作者 | 天涯
当前汽车行业内流行着一种新的提法:「AI 定义汽车」。同时,不少人认为,现在汽车行业正迎来从「软件定义汽车」到「AI 定义汽车」的新拐点。 那么这个拐点的标志就是 AI 大模型上车 。目前,自动驾驶和智能座舱是 AI 在汽车领域应用的两大主要场景。
从一定角度上来说,智能汽车的下半场竞争,便是 AI 与智能座舱以及智能驾驶的融合之战,看谁能够率先完成深度融合,大幅提升功能体验,谁就有可能率先拿到进入决赛的「入场券」。
在此次的北京车展上,很多车企也都提到了他们正在应用大模型。不过,目前所谓 AI 大模型上车,其实大模型并没有在车端运行,还是通过云端的大模型来给车端赋能。在智能座舱领域,车载语音助手和多模态交互是应用比较多的两个领域:
- 在车载语音助手领域,AI 大模型主要聚焦于深化语义理解和优化语料生成,从而精准捕捉用户的意图与需求,轻松应对复杂语句和语境,并输出自然、拟人、流畅且逻辑清晰的回答与建议,为用户提供更好的「情绪价值」。
- 在多模态交互领域,大模型技术的多模态特点可以综合处理语音、视觉、触觉等多种类型的数据,使智能座舱能更全方位地感知乘客和驾驶员的需求,提供多模态且更专业化的服务。
主机厂
1、蔚来 —— NOMI-GPT
2024 年 4 月 12 日,蔚来 NOMI GPT 端云多模态大模型正式上线,并同步对搭载 Banyan·榕智能系统(比如,ET5、ET7、ES7 等)的车型陆续开启推送。
NOMI GPT 是蔚来为 NOMI 量身打造的端云多模态大模型,包括自研的端云融合架构、多模态感知、认知中枢、情感引擎、记忆能力和 NOMI GPT Agents 等。

其中,认知中枢、情感引擎和端侧多模态感知是 NOMI 升级后的的三大核心技术架构,配合数十亿级的参数模型、毫秒级的响应速度,赋予了 NOMI 在感知、认知、决策等方面强大的复杂逻辑推理能力,进而具备了能与用户进行开放式问答的交互能力。
目前,NOMI GPT 可以让用户体验到:大模型百科、无限趣聊、魔法氛围、趣玩表情、用车问答以及 AI 场景生成在内的多项全新交互体验。
2、小鹏 —— AI 天玑系统
在 2024 北京车展上,小鹏举办「小鹏 X9 九冠王 AI 定义再进化」主题发布会,宣布 AI 天玑系统全球首发,将于 5 月 20 日将全量推送覆盖小鹏 X9、G6 、G9 、P7i 四款车型所有的 Pro 和 Max 版本。


3、理想 —— Mind GPT
2024 年 3 月 28 日,理想汽车宣布,Mind GPT 已通过国家《生成式人工智能服务管理暂行办法》备案并上线。理想汽车成为首个通过该备案的自研大模型的汽车厂商。
理想 MEGA 为 Mind GPT 的首搭车型。理想汽车从 0 到 1 构建了 Mind GPT 的原始基座模型。该模型拥有规模庞大的高质量、多样化训练数据,总量超过 3 万亿 Token。
Mind GPT 属于多模态认知大模型,采用自研 TaskFormer 神经网络架构,基于用车、娱乐和出行等场景使用 SFT、RLHF 等技术进行训练,让 Mind GPT 除了具备强大的语言理解、知识问答和文本生成能力外,还具备非常强的逻辑推理、记忆网络和用户语言界面生成能力。
Mind GPT 根据理想汽车的重点应用场景,量身定制了覆盖 111 个领域、超 1000 种以上的专属能力。在 Mind GPT 的加持下,让用户拥有了用车助手、娱乐助手、出行助手与百科老师。


4.广汽 —— 广汽 AI 大模型平台
2023 年 8 月 8 日,广汽正式推出 AI 大模型平台,依托该平台打造的首个量产大模型座舱将率先搭载在昊铂 GT 上。
广汽 AI 大模型平台包括数据层、AI 中台层、模型层和应用层四大部分。
最底层的数据层是以海量的用车和研发数据集为基础。其中,用车数据包括汽车感知数据、驾驶行为数据、多模态座舱数据等。首先,将底层的将结构化数据汇聚到 AI 中台层(比如,模型底层能力库、主流训练框架、识别调度系统、并行推理系统等);其次,再通过中台训练形成多种特定场景模型,包括视觉大模型、NLP 大模型、多模态大模型、专用大模型等。最后,平台可以根据最上层应用的需要,灵活调用多个模型,从而获得最优的推理结果,让应用服务精准、高效运行。

基于广汽星灵电子电气架构的原子化服务能力,广汽 AI 大模型平台与车端能力和云端生态深度融合,让 AI 大模型平台成为全场景应用的入口,重塑智能汽车场景交互范式。目前,广汽 AI 大模型平台的主要场景应用有:语音交互、用车体验和 AI 超级大脑。

广汽 AI 大模型平台在其它领域的赋能:广汽 AI 大模型平台的应用不仅可以应用到座舱,也可以赋能智能驾驶,它将进一步提高智能驾驶的感知能力,提升智能驾驶的安全性和可靠性。另外,大模型平台还可以应用到正向研发领域,将促进软件开发、虚拟验证、仿真测试等环节的效率,加快智能汽车迭代升级。在数字化领域,大模型将提升多模态数据的挖掘能力和效率,结合海量数据和大量案例,为智能汽车提供智能诊断、健康预测的能力,建立全生命周期健康专家系统。
科技公司
1、华为 - 千悟引擎大模型
2024 年 4 月 24 日,华为举办了华为智能汽车解决方案发布会,发布新品牌「华为乾崑」,该品牌定位智能汽车解决方案品牌,带来乾崑智驾、乾崑车控、乾崑车云、鸿蒙座舱四个方面的十大新品。
其中,新一代鸿蒙座舱搭载了千悟引擎大模型。该模型以华为云盘古大模型、MindSpore 异思计算框架和昇腾 AI 基础硬件平台等核心技术为基础底座。同时,联合鸿蒙视觉和晓译语音能力,打造有情感、会思考的语音助手,给用户提供深度个性化服务。

比如,用户可以通过千悟识人技术、小艺语音助手精准识别家庭成员并让它提供个性化服务。看懂手势、复制声纹、识别车内信息标识,实现真正的无感交互。

华为智能汽车解决方案 BU CEO 靳玉志在近期的发布会上对外表示,接下来将有 7 家车企的 10 个品牌会采用乾崑解决方案。包括东风旗下岚图/猛士,长安旗下深蓝/阿维塔,广汽旗下传祺,北汽旗下极狐/享界,赛力斯旗下问界,奇瑞旗下智界以及江淮旗下的新品牌。
2、百度 —— 文心一言
2024 年 3 月 25 日,极越汽车在北京举办汽车 AI 技术大会——AI DAY 2024。在智驾方面,发布了百度 Apollo 自动驾驶视觉大模型 VTA(Vision Takes All),大幅升级包括动静态检测、时序跟踪、实时建图、场景理解等能力。
作为极越纯视觉智驾方案的重要组成部分,OCC(占用网络)感知模型对障碍物的感知范围和精度大幅提升。新增的 OCC 3D 地图彩蛋令用户通过车机屏幕可以清晰看到汽车机器人眼中的世界。

2024 年 4 月 22 日,百度 Apollo 发布了全新升级文心一言赋能的智舱大模型 2.0。

智舱大模型 2.0 采用全新 MoE 架构,可支持本地化部署,并配套专属开发工具链,支持车企高效定制品牌特色,基于智能座舱体验打造差异化竞争力。

应用案例: 极越的 SIMO 实现了与百度文心一言的双向融合,带来更加自然、流畅和更富逻辑思考的人机交互体验。在 V1.4.0 版本中,SIMO 可以化身为全能管家,新增基于大模型的主动推荐和用车知识自由问答,能够支持音乐推荐、视频信息问答、景点推荐等功能。极越 CEO 夏一平曾例举了一个形象的例子,当用户在车上和朋友聊到某个电视剧情,但想不起其中细节时,可通过询问 SIMO,迅速找到该剧情并播放相应剧集。
据了解,目前包括极越、吉利、长城、红旗、岚图、东风启辰、凯迪拉克等主机厂都已经宣布接入基于文心大模型的生成式对话产品文心一言,正式开启 AI 大模型在智能座舱领域应用的「快车道」。
3、商汤科技 —— 「日日新 Sensenova」大模型
2024 年 4 月 23 日,商汤科技发布全新升级的「日日新 SenseNova 5.0」大模型,全面对标 GPT-4 Turbo,主流客观评测上达到或超越 GPT-4 Turbo,具备更强的知识、数学、推理及代码能力。
5.0 版本大模型能力提升主要得益三个方面:
- 采用混合专家架构(MoE),激活少量参数就能完成推理。且推理时上下文窗口达到 200K 左右。
- 基于超过 10TB tokens 训练、覆盖数千亿量级的逻辑型合成思维链数据。
- 商汤 AI 大装置 SenseCore 算力设施与算法设计的联合调优。
在本届北京车展上,商汤绝影首次向公众展示了面向量产的真·端到端自动驾驶解决方案 UniAD(Unified Autonomous Driving)的道路测试表现,同时还带来了以多模态场景大脑为核心的 AI 大模型座舱产品矩阵以及全新座舱 3D 交互演示。
随着城区成为智驾落地的主战场,场景计算的复杂度呈指数级增长。大量的人力资源投入也只是增加有限的规则,无法应对数量无限的复杂场景和长尾路况(corner case)。基于规则的智驾方案的天花板已开始显现。端到端技术的出现开辟了一条全新的道路,开始推动自动驾驶范式从铺设大量人力转变为持续算力投入和高质量数据输入。因此,行业需要真正的端到端自动驾驶方案。
虽然业内不少公司号称自己在做「端到端」智驾方案,不过大部分端到端方案采用的是更容易落地的由感知和决策两个模型组成的 「两段式」架构,两个模型之间依然存在信息传递过滤或丢失的问题。而 UniAD 将感知、决策、规划等模块都整合到一个全栈 Transformer 端到端模型,实现感知决策一体化的真·端到端自动驾驶。

UniAD 道路测试表现:在无高精地图条件下,仅依靠视觉感知的实际道路测试成果。无论是复杂城市道路还是无中线的乡村道路上,车辆能高效准确地完成包括大角度左转上桥、避让占道车辆及施工区域、绕行跑步行人等一系列高难度操作,做到「像人一样开车」。

在端到端系统基础上,商汤绝影还在本次车展期间前瞻介绍了新一代自动驾驶大模型 DriveAGI,推动自动驾驶从数据驱动向认知驱动的跃迁。
在智能座舱领域,商汤绝影积极推进 AI 大模型赋能智能座舱,打造「座舱大脑」,即基于大语言模型的能力去控制座舱里面的各种软硬件,为用户提供更多主动式、个性化的产品和服务。

基于多模态大模型、大语言模型、文生图模型等能力组合,商汤绝影构建了以多模态场景大脑为核心的一系列全景感知、主动关怀且富有创造力的大模型座舱产品。
比如,基于「商量」大语言模型:加持 AI 说明书、多元 SenseChat,「秒画」文生图模型赋能的产品「神笔」等等,商汤绝影正推进量产落地一系列主动关怀且富有创造力的大模型座舱产品和功能,打造有温度、更贴心的 AI 座舱。
应用案例:小米汽车 SU7 智能车舱中应用了商汤大模型技术,基于商汤端云大模型解决方案,小米汽车中的「小爱同学」为车主提供智能化交互体验。
4、科大讯飞 —— 星火大模型
2023 年 5 月,科大讯飞发布了「讯飞星火」认知大模型 1.0 版本。截止到目前,科大讯飞对星火大模型已经进行了四次迭代升级。2024 年 1 月 30 日,科大讯飞发布了首个基于全国产化算力平台训练的讯飞星火 V3.5 版本。

基于「讯飞星火+汽车」模式,科大讯飞创造性地将大模型与汽车产业深度整合,用人工智能全面赋能人车交互体验。

应用案例 1: 星纪元 ET 搭载了科大讯飞与奇瑞联合打造的 Lion AI 大模型。在效果实现上,Lion AI 大模型帮助座舱能实现毫秒级唤醒应答,人车交互不再拘束于定制的指令性话术,车辆使用、生活、情感、百科等各种问题随时提问、有问必答,结合符合人类的口语化表达特征,合成应答媲美真人发音,从功能和交互表现更贴近真人助手。星纪元 ET 支持 1800+功能点语音控制,覆盖全车 90%的操作,随想随说,满足全车人员娱乐、车控需求。
应用案例 2: 红旗 EHS7 搭载讯飞星火大模型,拥有 130 亿云端巨量参数认知,实时学习 12 小时以内的新鲜事件,并可融合生成文字与图片,生成时间小于 900 毫秒,快速识别需求,精准捕捉喜好,堪称行走的百科全书。
在汽车产业链中,目前,星火大模型已经助力了 10 多家车企,60 多种车型在全球加大覆盖,覆盖了 23 个语种,覆盖欧洲、中东、南美多个国家和地区,是中国汽车出海的最佳拍档。
参考文章
1. 全场景能力跃迁!广汽 AI 大模型平台首发亮相
https://mp.weixin.qq.com/s/tu0EUIA0YPjkE_KcBW9R_Q
2.商汤绝影系列原生态大模型即将亮相 2024 北京车展
https://mp.weixin.qq.com/s/bQzukMBisUzy5hjDTi5ScA
3.2024 中国电动汽车百人会论坛| 王晓刚主题发言回顾
https://mp.weixin.qq.com/s/9hiuv8rTKiiBESYdeN5a2g
4.科大讯飞刘俊峰:星火闪耀·智驱未来,大模型引导汽车产业新变革
https://mp.weixin.qq.com/s/C2EWb6zvR28ds0xMW7bizg
5.北京车展座舱趋势抢先看:未来出行新定义
https://mp.weixin.qq.com/s/wbL-ZvI3bqgd-z19jegIOQ
6.百度 AI 大模型生态全面赋能 极越 V1.4.0 升级超过 200 项功能 V2.0 版本即将发布
https://mp.weixin.qq.com/s/1TCxgZD4hCl7npF2-87kcQ
7.AI 出行时代如何真正联结人车家?极越汽车机器人给出答案(极越+百度)
https://mp.weixin.qq.com/s/GkbdJewyxiWKsJzurfbR2w
8.极越想打一场「翻身仗」 |甲子光年
https://mp.weixin.qq.com/s/1VarH_LrxnLGv6DRF6N8xw
9.腾讯云汽车行业大模型
https://mp.weixin.qq.com/s/4DYx2v_fhMNkYHXcHW1j4w
10.大模型赋能座舱,智能座舱新战场
https://mp.weixin.qq.com/s/w0mKRZOlIrCvDFppnp30jg
11.来 AI 大模型正式上车:NOMI 进化无限畅聊,有问必答
https://mp.weixin.qq.com/s/8kULRSCpREql0CWIjDYIIw
12.GPT 大模型上车,是噱头还是硬科技?
https://mp.weixin.qq.com/s/jWdoXqbyMA_Sn963pv8qIA
13.百度 Apollo 的「疯狂星期一」:「驾舱图」开启颠覆性上新
https://chejiahao.autohome.com.cn/info/15084953
14.北京车展 | 科大讯飞:解放生产力 释放想象力
https://mp.weixin.qq.com/s/wbc8LEwH_XAxwTkk9FpD9A




