3.车载摄像头应用趋势分析
3.1 行车场景应用趋势
1)前视一体机市场需求持续增大
据相关机构数据显示,2022 年中国乘用车市场(不含进口车型)装配 AEB 的车型销量达到 948.5 万辆,同比增长 21.4%,装配率也从 2021 年的 38.5%提升到 47.7%。
从车型价位分布来看,AEB 的配装率与车辆价格呈正相关。在国内乘用车市场,35 万元以上的价位车型 AEB 的装配率已经超过 90%;而 10 万~15 万的主销车型 AEB 的装配率却只有 35%,10 万元以下的车型 AEB 的装配率仅有 2.27%。
图表 23。 2022 年国内乘用车不同价位区间车型 AEB 的装配率情况

AEB 具体实现方案主要包括单雷达、单视觉、雷达+视觉三大类型,其中,基于前视一体机(1V)以及前视一体机+前置雷达的融合方案(1V1R)是比较主流的实现方式。AEB 渗透率的不断提升推动了前视一体机市场需求的持续增大。
- 政策法规驱动 AEB 渗透率不断提升
全球主要国家地区 AEB 相关法规政策的持续推进,在一定程度上提升了前视一体机的市场需求空间。
图表 24。 全球主要国家 AEB 相关法规政策情况

另外,欧盟的 E-NCAP、美国的 IIHS 以及中国的 C-NCAP 评价测试中也在不断增强 AEB 相关测试的场景内容。
图表 25。 AEB 评价内容变化点

如果车辆要出口到欧盟或北美等法规比较严苛的地区,前视摄像头基本是必选项。如果不使用前视一体机方案,那就只有选择域控制器方案,但这样又增加了成本。因此,一些对成本敏感度比较高的出口车型,不得不选择前视一体机方案。
同时,因 AEB 法规场景的测试要求越来越高,对于摄像头的分辨率要求也在提高。据业内人士透露,2MP 的前视一体机基本满足不了 E-NCAP 5 星的得分率要求,至少需要搭载分辨率在 5MP 以上的前视一体机。
- 高性价比进一步推动了前视一体机市场增速
与前视一体机搭配的解决方案通常有以下几种:1V、1V1R、1V3R 、1V5R 等。对于实现 L2 及以下的辅助驾驶功能,通过单目前视一体机搭配不同数量的毫米波雷达,依然是性价比比较高的方案。
虽然,当前基于单 J3、单 TDA4VM、单 A1000L/A1000、J3+TDA4VM,以及双 TDA4VM 等各种形式轻量级行泊一体域控系统在不断地落地应用,但短时间内他们在成本上依然不具备优势。
现阶段,2MP 前视一体机价位大概在 500~600 元左右,8MP 前视一体机价位大概在 800 元左右。对于轻量级的行泊一体域控方案,即便成本控制的再好,单域控硬件成本的价格也在千元级别,再加上外围感知传感器,总硬件成本会更高。因此对于一些车企来讲,中高端车型可能会选用行泊一体域控制器方案,对于走量的中低端车型还是倾向于采用前视一体机的方案配置。
2)前视应用 - 三目方案或将退出历史舞台
受摄像头 CMOS 图像传感器分辨率限制,最开始,在一些高阶智能驾驶系统方案中,为了能够充分覆盖前向的视野范围,不少车型采用了三目方案。但是在国内主流车企的最新平台车型中,前视方案中基本都采用了 2 颗高分辨率的摄像头,甚至有的只用了 1 颗 8MP 摄像头。这既有摄像头分辨率提升的因素,也有成本层面的考量。
图表 26。 不同品牌车型平台前视摄像头的应用情况

三目摄像头的主要应用情况如下:
- 长距离窄视角摄像头(28°~30°): 主要用于前向远距离目标的识别和探测,比如远距离交通标志识别、红绿灯状态识别、前方道路施工预警等。
- 中距离主视角摄像头(50°~52°): 主要用于前向中远距离目标的识别和探测。
- 短距离广视角摄像头(100°~120°): 主要用于及时识别近距离车辆加塞、十字路口横穿车辆/行人等。
图表 27。 特斯拉 HW3.0 系统三目摄像头结构示意图

据业内人士透露,如果是用于支持 L2 及以下的辅助驾驶功能,1 个 8MP 前视摄像头基本够用:水平 FOV110°~120°,车辆有效探测距离大概在 200m 以上。
但对于实现高阶智能驾驶功能,比如城市 NOA,前视摄像头不仅需要能够识别较远距离的红绿灯、减速带等,还需要在十字路口等复杂场景中,能够探测到相邻车道车辆或非机动车的运动情况,因此需要采用不同视场角的 3 颗摄像头进行探测距离和宽度上的互补,以扩大前向探测的广度和深度。
随着高清分辨率图像传感器的量产应用,单个高清摄像头在同样的视角情况下,便可以覆盖更远的距离。比如,索尼 IMX490(5.43MP 像素),即使使用单个 H-FOV50°摄像头,其有效覆盖范围也远超过 2 个 1.2MP 像素(H-FOV35°+H-FOV50°)的摄像头组合。因此,对于之前的三目摄像头方案,可以直接去掉长焦摄像头,只使用中焦和广角两个高分辨率摄像头即可。
3)前视/侧视摄像头模组去「ISP」化
整车 EE 架构在不断地迭代升级,现在已经由分布式 ECU 架构进入到集中式域控制器架构时代,并逐步向中央集成式架构迈进。
在集中式域控制器架构下,DCU 控制单元中的主控 SoC 芯片一般都直接带有 ISP 模块,可以支持多个摄像头 RAW Date 数据的处理,来帮助摄像头模组「减负」。因此,摄像头模组本身便可以无需安装 ISP,只作为信息采集的硬件设备即可。这样不仅可以降低整个系统的硬件成本,也解决了摄像头高清化所带来的散热问题;同时,也符合摄像头小型化和轻量化的发展趋势。
另外,应用算法最终是要在域控制器里运行,算法能达到什么样的效果,其实域控厂商最了解。把 ISP 放置到域控制器端,也便于域控厂商自己去做 ISP 调试,这样更容易充分发挥出算法能力。
因此,应用在行车 ADAS 中的前视、周视摄像头,通常不带 ISP 模块。但环视摄像头中的 CMOS 图像传感器一般会集成 ISP 模块。目前环视摄像头大多还是直接接入到车机去做 360°成像显示,如果摄像头模组厂商直接把 ISP 调试好,做成标准产品交付,会帮助主机厂或解决方案商在开发过程中避免复杂的 ISP 调优过程。
毕竟,车载摄像头 ISP 的调试具有比较大的技术门槛,多数 Tier1、芯片厂商以及主机厂并不具备 ISP 的调试能力。同样,ISP 的调试也是一项非常消耗人力资源的事情,即便是主机厂具备这样的能力,除非是一些重要项目,否则也会尽量避免自己去做调试。
4)侧视应用 - 超级鱼眼摄像头代替传统侧视摄像头+环视摄像头
随着智能驾驶功能的不断迭代升级,现在智能汽车上所配置的摄像头的数量越来越多,通常达到 9V~12V 的水平。更多的摄像头虽然可以覆盖到更多的场景,但对系统成本以及整个系统的可靠性而言,也会带来不小的挑战。毕竟传感器数量越多,整个系统失效的概率也会变大。
那么,是否能够对这些摄像头进行精简整合呢?华为曾在 2021 年上海车展上展出其正在研发的超级鱼眼摄像头,据介绍,该摄像头可以同时兼顾较大的 FOV 和长达 80m 的探测距离,可以用 4 个超级鱼眼摄像头替代传统侧视和环视共 8 个摄像头。
焉知汽车认为,只要超级鱼眼摄像头性能能够达到要求,从性价比角度来看,它是一种比较可取的方案,并符合当下企业追求性价比的趋势。据相关人士透露,目前已有不少企业在布局这样的方案。
对于这样的方案可能还会存在以下顾虑:
- 超级鱼眼摄像头在具备较大的 FOV 情况下,是否还能兼顾较远的探测距离?
- 通过之前传感器方案采集并标注的数据,现在还有多少能复用?
- 超级鱼眼摄像头作为侧视摄像头做远距离物体探测的时候,是否会因为畸变而存在一些问题?
- 车载摄像头通常都是定焦方案,超级鱼眼摄像头是否会考虑做成变焦方案?
3.2 泊车场景应用趋势
1)环视系统的「控制权」会转移到座舱或智驾域控
当前,环视摄像头主要有以下几种控制形式:
- 不带 APA 功能,只有 AVM 功能,环视摄像头直接接入到车机来控制;
- 带 APA 和 AVM 功能,环视摄像头直接接入到独立的泊车控制器里去控制;
- 带 APA 和 AVM 功能,并且配置有座舱域控制器,环视摄像头接入到座舱域控制器来控制;
- 除了带 APA 和 AVM 功能外,还带有 HPA 以及 AVP 等功能安全要求比较高的泊车功能,则环视摄像头接入到智能驾驶域控制器来控制。
对仅有 360 环视功能的中低端车型,4 颗环视摄像头一般会直接接入到车机系统。如果主机厂原先的一些旧车型平台,是由独立泊车控制器形式来实现 APA 和 AVM 功能,那么,为了保证开发成本可控,原平台上车型基本会继续沿用旧方案。但从长期来看,独立的泊车控制器的形式会消失,360 环视摄像头会直接接入到座舱域控或智能驾驶域控。
总的来讲,把环视摄像头接入到座舱域控制器,还是接入到智驾域控制器,应用目的不太一样 —— 接入到座舱,会更侧重 360 环视在人机界面的直观体验;接入到智驾域控制器,360 环视系统需要跟行车 ADAS 相关功能进行联动,会更强调功能的安全性和可靠性。
2)基于 360°环视摄像头进行感知功能拓展
之前的「价格战」让车企对成本更加地「斤斤计较」。对于供应商而言,如果产品没有较高的性价比,他们就很难打入到车企的供应链体系。
如何提高性价比,有一个比较常规的做法便是「加量不加价」,即一套解决方案在不提高成本的情况下,为车企提供尽可能多的功能体验,为车型增加宣传卖点。
对于泊车场景下的 360 环视功能也是如此,如何在原有硬件方案的基础上,对环视系统做一些感知功能方面的延伸,通过调整软件去增加更多实用性的功能是现在很多环视系统方案解决商一直在思考的问题。
目前,大家正在做的一些尝试,包括增加透明底盘、移动物体监测和预警(MOD)、车道偏离预警(LDW)、行车记录仪(DVR)、视觉开门提醒(DOW)等功能。
透明底盘:通过环视摄像头将拍摄到的图像进行拼接合成并保存历史帧图像。系统将根据车辆运动的数据(车速、档位、转向角等)预估车辆的行驶轨迹。参考车辆的行驶轨迹,并以车辆运动坐标代替图像坐标,调取与当前车底位置相对应的历史帧图像,并与实时的车辆外部图像进行叠加拼合,最终呈现出动态透明底盘的效果,并输出显示到舱内的显示屏上。
该功能的主要作用是让驾驶员能够看清轮胎的位置以及车底路面状况,及时让车辆避开井盖、坑洼、尖锐物体等,确保车辆在狭窄或崎岖不平等复杂路况下低速通行的安全性。
图表 28。 透明底盘工作原理流程图

右转辅助: 很多主车道旁边都有非机动车道,待绿灯右转时,机动车和非机动车一起右转,很容易发生交通事故。这种场景下,把环视摄像头作为角雷达的冗余传感器,能够有效避免事故的发生。
车道偏离预警 LDW: 车道偏离预警功能通常是基于前视摄像头来实现。但对于一些未配置前视摄像头的车型,可通过环视摄像头识别车道线来实现车道偏离预警功能,以提升车型的溢价能力。
移动物体监测功能 MOD: 随着摄像头距离探测精度提升,一些中低端车型出于成本考虑「砍掉」超声波雷达的情况下,完全可以用环视摄像头来实现近距离的移动物体检测功能。
车企是否希望在 360 环视功能的基础上再去拓展一些新的功能,首先,会考虑整个系统成本会增加多少;其次,要看新增功能的实用性如何,是否能成为一个宣传卖点。再一个也要看原车型硬件是否有足够的算力去支持集成这些功能。总之,在原来 360 环视系统的基础上做「加法」是一个必然的趋势。
3)中短期内,3MP 摄像头或将成为环视应用的主流产品
目前,在环视摄像头应用市场,主流应用还是 1.2MP/1.3MP,同时 2MP 环视摄像头也逐渐开始量产应用。
现在,环视摄像头的分辨率正在由 1.2MP 升级到 2MP 甚至是 3MP。比较重要的一个原因是:座舱内的中控显示屏幕的尺寸越来越大,现在动辄就是 13 英寸甚至 15 英寸大屏。据业内人士介绍,显示屏幕变大以后,在光线不均匀的情况下,1.2MP 摄像头输出图像的周边的噪点非常严重。2MP 摄像头输出的图像质量会提升很多,3MP 摄像头的输出显示的图像质量效果更佳。
为什么说 3MP 环视摄像头会直接成为中高端车型应用趋势呢?
因为在短期内,舱内屏幕尺寸的大小几乎不太可能发生较大的变化,摄像头像素再往上增加,对于图像显示效果上的提升也变得有限。如果单纯为了图像显示效果,目前来看,5MP 或 8MP 环视摄像头对屏幕显示效果的加成作用已经不大。
另外,也有价格方面的考量。目前 2MP 与 3MP 两者价格相差很小,一旦 3MP 摄像头的出货量提上来,可能会比 2MP 摄像头在价格上更具优势。
再者,3MP 环视摄像头更多地是应用在中高端车型上,支持行泊一体功能。也就是说 3MP 环视摄像头不仅用于近距离的物体成像和感知,还需要兼顾在行车场景下,更远距离的目标识别和和探测能力。据相关企业试验评估,针对行车工况下目标探测(比如 20m 以内的车辆,15m 以内的行人),相比 2MP 环视摄像头,3MP 环视摄像头的实现效果更佳。
那么,在行车场景下,5MP 甚至 8MP 环视摄像头的目标探测能力会更强,这毋庸置疑。但 5MP 或 8MP 环视摄像头在价格上是最大的障碍,短期内还无法下降到跟 2MP 或 3MP 摄像头相当的水平。
针对行车工况下的近距离目标探测,3MP 环视摄像头已经完全够用。如果要作为超级鱼眼摄像头实现周视和侧视的二合一,那么,这种情况下超级鱼眼摄像头也许会采用 5MP 甚至更高分辨率的 8MP 摄像头。
4)随着环视摄像头的感知能力增强,超声波雷达或将被取消
早期,泊车辅助功能是通过在后保险杠布置 4 颗超声波雷达,作为倒车时的安全辅助装置。紧接着摄像头开始引入到车载领域,通常在后牌照板上方布置 1 颗倒车后视摄像头,通过影像显示来辅助泊车。再往后,倒车影像功能升级为由 4 颗环视摄像头实现的 360 全景影像系统,4 颗倒车防撞超声波雷达也升级为由 12 颗超声波雷达来实现的半自动泊车(APA)功能。现在很多车型甚至都标配了基于 4 颗环视摄像头 +12 颗超声波雷达去实现的视觉融合全自动泊车系统。
从泊车功能的发展历程来看,环视摄像头最开始主要是用于成像,通过把车身周边的场景呈现给驾驶员去辅助其进行决策。现在环视摄像头不仅用于成像,同时也发挥感知作用,用于目标识别和探测。但测速和测距正是超声波雷达所擅长,如果环视摄像头测速和测距的精度能够跟超声波雷达媲美,是否意味着超声波雷达就可以被「砍掉」?
实际上,超声波雷达毕竟是一类性能稳定可靠且性价比非常高的感知传感器,短期内不太可能被完全取消掉。在目前情况下,如果要做到极致安全,超声波雷达还有其存在的价值:
- 超声波雷达适合短距离的障碍物监测,不需要特殊算法,非常适合应用在小算力泊车产品。
- 在地下停车场,车往后倒的时候,如果后面是一堵没任何纹理的墙,摄像头还无法完全精准识别和探测。如果加上超声波雷达,则可以避免碰撞的发生。
- 相比环视摄像头,超声波雷达可以输出高精度的点云信息(带距离和方位)。比如,寻找停车位,超声波雷达扫过后,有比较清晰的轮廓,置信度比较高。而通过摄像头扫描车位的范围还不够大,并且置信度有限。另外,超声波雷达在车位识别的正确率,特别是空间车位的识别上,具备一定的优势。
- 同一类传感器做得再好,总归还是有不足的地方,需要不同类型异构传感器之间进行互补。毫米波雷达在低速模式的精确度尚未达到一定水平的情况下,超声波雷达依然是与环视摄像头在低速场景下互补最合适的传感器。
虽然,目前超声波雷达的确具备存在的价值,但是从长期来看,超声波雷达被取消掉也存在很大的可能性。
- 随着摄像头分辨率提升,以及算法能力的提升,在充足算力的域控制器计算平台的支持下,环视摄像头的测距和测速能力也会不断提高。
- 从另外一个角度讲,对于一些中高配车型,如果本身配备了角雷达(毫米波雷达),角雷达的存在也会给超声波雷达带来一定的威胁。毫米波雷达一般都有高低速模式,只不过现在毫米波雷达的低速模式下的探测精度(±3~4cm)尚未达到超声波雷达的探测精度(±1cm)。
因此,随着环视摄像头测距和测速精度的提升,以及毫米波雷达在低速模式下探测精度的提高,超声波雷达最终很有可能被取消掉。
3.3 舱内场景应用趋势
摄像头在座舱内的应用主要有 DMS(驾驶员监测系统)和 OMS(乘员监测系统),通过摄像头采集数据,并利用深度学习算法对收集到的图像/视频数据进行处理,从而完成识别、检测、分类等多样任务。依托 AI 视觉技术的快速发展,基于红外摄像头的主动式感知方案已成为 DMS 和 OMS 的主流技术实现路径。
1)DMS 功能不断拓展
DMS 系统除了用于驾驶员状态监控外,还在不断地进行功能升级和拓展,进而提升整个座舱的安全性和舒适性体验。
- 基于 Face-ID 的定制化智能交互与服务
驾驶员进入驾驶位,系统自动启动摄像头并进行面部身份识别。如果是第一次用车,需要通过相关身份验证,然后创建专属的驾驶员 ID,并设置自己的驾驶行为偏好。待下次驾驶时,通过系统身份认证后,系统会根据驾驶员预设置好的偏好进行自动调节,比如座椅位置、外后视镜角度、播放曲目等。
- 通过更加智能的算法进行生理信号探测,提供更人性化和情感化的服务
随着 AI 视觉算法的增强,摄像头对人类面部动作的感知越来越精确,系统通过相关数据能够准确判断出驾驶员的情绪,当驾驶员情绪不佳的时候,智能聊天机器人能够主动问候,以示关心。
另外,DMS 摄像头还能实现驾驶员健康分析,通过分析驾驶员面部血氧含量,可测量出心跳、压力、呼吸等生物体征,并对驾驶员的健康状态进行实时的监测和提醒。
- DMS 监控范围扩展,升级为 IMS(座舱监控系统)
随着软件算法能力的提升以及 AI 视觉技术的发展,有些厂商在尝试将 DMS 与 OMS 合并为一体式的座舱监测系统(IMS),为座舱功能多样化提供技术基础。
可以基于一颗摄像头同时去实现 DMS 和 OMS 功能,它通常布置在内后视镜处,兼顾驾驶员及前后排乘客,不仅可以实现驾驶员的危险行为、疲劳驾驶、分神驾驶等状态监测,同时,还能对舱内乘客及相关物品进行实时感知和跟踪监测。
图表 29。 舱内监测系统方案

2)DMS 由独立控制走向被集成
最开始,DMS 通常使用独立的控制单元。但随着整车 EE 架构的演进和 AI 芯片技术的发展,用于座舱或智驾域控的主控 SoC 芯片中一般都集成有丰富的异构资源,比如基本都配置有图像处理模块-ISP 和 AI 处理单元-NPU,并且算力资源也有了富余,能够支持多通道视频的输入和处理能力。
DMS 功能跟智驾和座舱都有一定的相关性,被整合在哪个域也都存在一定的合理性。现在存在两种不同的集成路线方案:DMS 被集成到座舱域和 DMS 被集成到智驾域。
DMS 融合到哪个域合适,可以参考以下几点原则:
- 域控制器需有足够富余的硬件资源支持它集成进来。
- 有成本优势:总成本降低或只增加有限的设计和开发成本,能够提升产品的溢价能力。
- DMS 系统本身的功能安全等级不超出该域控制器本身的功能安全等级。
a.智能座舱域集成 DMS 功能
智能座舱也在不断地往智能化方向发展 —— 多屏互动、AR-HUD、拟人化人机交互和多模态人机交互等功能在智能座舱中变得越来越普遍。然而,DMS 是多模态人机交互的重要组成部分,如果将 DMS 算法集成到智能座舱域,可以共享智能座舱域控制器算力,同时,便于基于座舱内其它传感器输入的数据进行功能融合创新,进而打造更稳定、更可靠、更精确的 DMS 解决方案。
DMS 可以基于视觉,并结合面部表情与语音、手势实现多模态交互,不断丰富座舱的交互方式。比如,系统可以根据驾驶员的面部表情、语音和手势动作来综合判定判断驾驶员的心情变化,从而自动调节车内氛围和播放音乐类型。
b.智能驾驶域集成 DMS 功能
除了融合到智能座舱域,DMS 算法被集成到智能驾驶域也是另外一种比较主流的趋势。
在人机共驾阶段,DMS 是必不可少的驾驶辅助系统。DMS 系统不仅要监控驾驶员是否分心或疲劳驾驶,同时还要确保驾驶员处于随时能够接管车辆的最佳状态。DMS 系统设计的成熟度甚至会直接影响到 L3 级自动驾驶的落地时间。
智能驾驶系统可以根据 DMS 摄像头的探测数据,结合车辆行驶和控制状态进行分析,判断驾驶员是否处于疲劳驾驶,甚至脱离驾驶的状态,比如是否出现连续加速或减速、猛打方向、短时间内车辆连续偏离既定车道等不稳定驾驶状态。如果驾驶员被判定处于不安全的驾驶状态,必要情况下系统会直接接管车辆,主动减速并安全靠边停车。
总之,如果 DMS 与智能驾驶系统进行联动,涉及到了车辆的控制。那么,DMS 的功能安全设计要求必然会比较高。这种情况下,DMS 算法集成到智能驾驶域控更合适。
3)舱内视觉感知升级 — 从 2D 升维到 3D
传统 2D 摄像头可以实现二维平面成像,而 3D 视觉感知是一种深度传感技术,能够实现三维成像,除了提供目标对象的 X 和 Y 值之外,还能够提供深度值。因此,3D 视觉传感器可以更加真实、准确地呈现物体的形态与结构,再叠加 AI 大模型技术的应用,有望成为智能座舱中主流的视觉感知技术。
目前 3D 视觉感知主要有 3 种技术实现路径:双目立体视觉、结构光和 ToF。其中,双目立体视觉是被动式成像,受环境光影响较大,适合中远距离的户外场景。结构光和 ToF 属于主动式成像方案,适合室内外中短距离场景。
相比结构光,ToF 方案结构简单、可靠性更好;另外,据业内相关人士透露,在模组成本方面,应用结构光技术的 3D 传感摄像头模组成本约为 20 美元,采用 3D ToF 技术的 3D 传感摄像头模组成本约为 12~15 美元,ToF 技术方案具有明显的成本优势。整体来看,ToF 技术将会是舱内主流的 3D 视觉感知交互方案。
图表 30。 三种 3D 视觉感知方案对比

3D ToF(Time of Flight)工作原理: 首先使用调制的红外光源主动向目标物体发射光线脉冲,然后通过接收器接受返回的光信号,最后测量发射光和反射光之间的飞行时间或相位差得到目标物体的深度信息。
图表 31。 3D ToF 工作原理

3D ToF 传感器通过获取目标物体的水平、垂直、深度三维视觉数据,并输出点云图像,有助于使用 AI 模型进行训练。AI 大模型在座舱中不断地被推广应用,有助于推进 3D 视觉在座舱内的创新应用。
目前,ToF 方案正处于上车初期,在座舱内,主要用于实现的功能包括 DMS/OMS、3D 手势控制、车内驾驶员身份识别等。
图表 32。 ToF 技术在座舱内可实现的主要功能




