7 月 5 日上午，商汤科技在「大爱无疆・向新力」人工智能论坛上宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。这一突破标志着商汤科技在车载人工智能领域迈出了重要一步，展示了其在多模态感知和交互能力方面的领先地位。
商汤绝影的车载端侧 8B 模型首包延迟可低至 300 毫秒以内，推理速度达到 40Tokens / 秒，并且能够覆盖主流算力平台。这一性能指标在当前的车载人工智能领域中具有显著的竞争优势，能够为车载系统提供更快速和高效的响应能力。
在 WAIC 2024 展台上，商汤绝影展示了其在多个不同算力平台上运行 2.1B 或 8B 端侧多模态大模型的适配能力。特别是在 200 TOPS + 平台上的 8B 模型车端部署方案，展示了其强大的多模态感知和交互能力。这一展示不仅证明了商汤绝影的技术实力，也为未来车载智能化产品的开发提供了新的可能性。
商汤绝影专为多模态大模型打造了高性能计算引擎「HyperPPL」，该引擎支持主流车载计算硬件和操作系统，适配多个车载芯片的部署平台。HyperPPL 支持 flash decode、segment prefill 等 400 多个硬件算子，并对算子进行性能优化，支持 int8、int4 模式和训练后量化，实现极致推理效率。在 Orin 平台上的推理速度超过 40 Tokens/S，并在内存上有明显优势。
商汤绝影将与合作伙伴共同打造全新的车载智能化产品，这一合作将进一步推动车载人工智能技术的发展和应用。通过与行业内领先企业的合作，商汤科技希望能够加速车载智能化产品的普及，为用户提供更加智能和便捷的驾驶体验。
总的来说，商汤科技在原生多模态大模型车端部署方面的突破，不仅展示了其在人工智能技术上的领先地位，也为未来车载智能化产品的发展提供了新的方向和可能性。
