汽车电子与软件

汽车电子与软件

关注

详解舱内感知技术

环形隧道

2024-01-15

作者:Rick

本文大纲:

1、概述

2、 OMS

3、DMS

4、行车记录仪

5、360 环视

6、流媒体后视镜

一、概述

相比起用于 ADAS 感知系统的摄像头,用于智能座舱内部的摄像头,其功能特性和性能要求相对简单。例如,OMS 乘客监控摄像头,一般达到 5MP 即可有良好的效果。同时,OMS 也可应用于车内会议系统,还应用于车内儿童检测。DMS 驾驶员监测系统,SVC 360 环视摄像头,DVR 行车记录仪,均为自动驾驶域 ADC 与智能座舱域 CDC 共用的摄像头。下文将简要介绍这些摄像头。

对于车载摄像头来说,它的特点在于摄像头的安装位置,和 ISP 处理芯片之间的距离。在 2MP 以下的摄像头,一般会直接输出 YUV 格式的图像数据,无需额外的 ISP 进行图像处理。而 2MP 以上,则摄像头会输出 raw 原始数据,需要有独立的 ISP 进行摄像头图像格式处理。由于摄像头使用数目很多,如果每个摄像头都安排一个 ISP,那么成本将非常巨大。因此需要将 ISP 安排在 CDC 座舱控制器内部,而通过高速传输线缆将摄像头的 raw 数据传送到集中式的 ISP 来进行处理。此时就需要使用高速视频传输总线。

如同高速音视频传输接口章节所描述的一样,此时一般使用 GMSL 或者 FPDlink,实现远端 Camera 的 raw 数据传输到 CDC 中来。未来还可能采用的技术有 Mipi-A phy 和 ASA。此时 Serdes 芯片一般成对设置,在摄像头端集成有 serializer chip;在 CDC 端则设计有 desilizer chip;它们之间的距离可以长达 10 米,最长不超过 15 米。

作为 Camera 传输的桥接芯片和传输数据线,可以参考如下图片了解:

二、 OMS

OMS(Occupant Monitor System) 乘客及后座检测系统的简称。在法规上,已经有不少地区和国家在立法要求进行车内儿童检测。欧洲 NCAP 计划从 2023 年 1 月起增加对车内儿童存在检测的评分,各项规定非常细致。美国正在立法要求所有新车预装儿童存在检测功能,预计在 2025 年全面实施。据说国内相关规范也在评估制订中。

OMS 摄像头可以在一定程度上满足车内儿童存在检测的要求。为了提高检测的准确性,甚至还要求增加生命体征检测雷达(UWB 或者毫米波雷达)。从目前的实践来看,一般在前排后视镜位置布置一颗 5MP,甚至 8MP 的 OMS 主摄像头;在第二排第三排座位上方增加 2MP 的后排 OMS。通过人脸识别,动作捕获,活体检测等 AI 算法的应用,OMS 可以提升智能座舱车内的感知。

OMS 还可以为如下应用功能提供支持:车内视频会议系统;安全支付系统;人工智能助手融合感知系统等。

为了保证在座舱环境内任何光照强度下都能正常使用,OMS 一般要求支持 RGB-IR,可见光和红外光双波段工作模式,同时需要布置红外补光灯。在夜间可以采用 IR 红外光进行检测;在白天采用 RGB 可见光进行工作。

2.1 TOF

TOF 是 Time of flight 的简写,直译为飞行时间的意思。所谓飞行时间法 3D 成像,是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟 3D 激光传感器原理基本类似,只不过 3D 激光传感器是逐点扫描,而 TOF 相机则是同时得到整幅图像的深度信息。TOF 相机与普通机器视觉成像过程也有类似之处,都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非嵌入式三维探测、适用领域非常类似的双目测量系统相比,TOF 相机具有根本不同的 3D 成像机理。双目立体测量通过左右立体像对匹配后,再经过三角测量法来进行立体探测,而 TOF 相机是通过入、反射光探测来获取的目标距离获取。

由于 TOF 采用多点发射和测量的方法来计算并得出深度信息,因此它的特点是分辨率低,功耗高。受激光发射点的限制,其分辨率一般不会超过 640*480,功耗却是结构光的十倍以上。

2.2 双目结构光+RGB

双目结构光采用的是双目立体视觉的技术,它模仿人眼的左右视差,用 2 个红外摄像头从左右两个方向获取被测物体的两幅图像,然后计算图像对应点之间的偏差,采用三角测量的方式计算得出视差图,再转换为 3D 深度信息。在这里的结构光,指的是红外投射器会投出一个简单的红外光点阵,用来增强物体表面的纹理,然后再由 IR 摄像头拍摄物体图像,利用算法进行后期计算处理。

双目立体视觉系统的四个基本步骤:

1 相机标定:主要包含两部分内容: 单相机的内参标定和双目相机的外参标定,前者可以获得每个相机的焦距、光心、畸变系数等参数,后者可以获得双目相机之间的相机坐标系的旋转、平移关系。

2 立体校正:该过程是根据相机的标定结果,对两个相机采集到的原始图像进行校正,校正后的两张图像位于同一平面且互相平行,即图像的每行像素之间共线。

3 立体匹配:该过程是根据立体校正后的图像,进行像素点的匹配,匹配成功的点表示真实世界中的某点在这两个图像中的不同位置。

4 深度计算:对立体匹配后得到的 2 幅图,利用三角测量法逐个计算每一个像素点的视差,得到视差图后,再转换成为深度图。

双目的优点是硬件资源需求低,只要 2 个普通的 IR 相机,搭配一颗带 DSP 的 SOC 芯片即可计算获取深度图。但它的缺点是必须配置双目,并要求具有一定的基线长度,因此它的安装环境受限。

2.3 单目结构光

结构光,英文叫做 Structured light,基本原理是通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线(激光散斑),会因被摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。简单来说就是,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源,它发射出来的光经过一定的编码投影在物体上,通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

相对于 TOF,结构光的功耗较低,因为它只需要投射一小块区域就可以满足要求。它的分辨率和精度都高于 TOF,且成本也比 TOF 低。相比双目结构光,单目结构光的基线可以做得较小,方便布置在车内环境中。并且它在低光照条件下仍然可以使用,更适合车内环境。

2.4 OMS 视觉方案

在智能座舱内部的感知系统中,OMS 发挥出巨大的作用和优势。在语音识别之外,多模态识别对视觉感知的需求越来越高。其中,增加了深度信息的手势识别,人脸面部表情识别,情绪识别,口语识别等功能将给车载 AI 助手赋予更高的智能,提升了智能座舱的用户感受度,给予了良好的体验。

对上述感知摄像头方案进行比较,除了不带深度信息的单目 RGB+IR 之外,其余 3 种都是深度相机的可选项。

双目结构光+RGB 方案,最大的问题在于实现算法需要很高的计算资源,导致实时性很差,而且基本跟分辨率,检测精度挂钩。也就是说,分辨率越高,要求精度越高,则计算越复杂,同时,纯双目方案受光照,物体纹理性质影响。所增加的 RGB 摄像头只有 1 路,主要用于与深度图的对比显示。

TOF 方案,由于硬件条件限制,其分辨率较低,感知精度低于结构光和双目立体方案。需要多点激光发射,硬件成本高,但是它的算法复杂度低,实时性高,可达 120 帧率,并且硬件计算资源需求较低。

单目结构光方案,目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出,该方案解决了大多数环境下双目的问题。但是,在强光下,结构光核心技术激光散斑会被淹没,因此,在阳光强烈的时候,可能会失效。

三、DMS

DMS(Driver Monitor System)驾驶员监测系统的简称。指在驾驶员行驶过程中,全天候监测驾驶员的疲劳状态,危险驾驶行为等。在发现驾驶员出现疲劳,打哈欠,眯眼睛,抽烟,接打手持电话等行为后,DMS 系统及时的对此类行为进行分析,并进行语音和灯光等提示,起到警示驾驶员,纠正错误驾驶行为的作用。

由于 DMS 主要用于驾驶员异常行为的监测,因此它主要属于 ADC 自动驾驶域,而不属于 CDC 智能座舱域。但是 DMS 一般安装在舱内 A 柱下方,直接面对驾驶员的面部,因此也可以算入智能座舱内部的摄像头之一。

DMS 一般采用 2MP 的红外摄像头,无需采用 RGB 工作模式。它所拍摄的画面,需要让「机器」能够看得清,让 AI 算法对驾驶员的状态分析准确;而无需让「人」看得舒服。因此,DMS 只要求到 2MP 的像素分辨率即可,并且需要红外补光摄像头,保证在任何光照条件下都能够让机器看清楚驾驶员的面部特征。

需要注意的是,DMS 和 OMS 都具有红外补光灯,因此需要设计专门的红外灯同步信号,确保 DMS 和 OMS 的补光灯不能同时工作,以避免产生过曝现象。

DMS 感知算法的进一步提升,还包括眼动跟踪,面部表情,情绪监测等。与人工智能助手相配合的多模态识别,还将包含口型检测等进一步的 AI 识别算法得到应用。

四、行车记录仪

车载 DVR,即 Digital Video Recorder,也正是行车记录仪。在 DVR 的功能当中,分为车载前装 DVR 和后装 DVR。后装 DVR 一般是独立的行车记录仪设备,它使用音视频编码技术,将 DVR 自带的摄像头数据进行转换和压缩,保存在 DVR 的存储设备中。由于后装设备无需满足车规标准,在汽车出厂时也不包含此设备,需要在汽车配件市场进行后期安装,因此它可以采用消费级的电子芯片,其可靠性也远远达不到车规级的要求。

前装 DVR 则需要满足车规级标准,在汽车出厂时就已经安装完毕,它的使用年限和可靠性都需要按车规电子的标准来要求。

通常,前装 DVR 可以无需设置单独的摄像头,而是直接复用 ADAS 自动驾驶域的摄像头即可。一般来说,DVR 可以保存前向广域摄像头(FOV 达到 120°)+SVC 360 环视摄像头的图像数据。为了满足白天+黑夜的数据记录要求,以及满足进出隧道等摄像头高动态范围识别要求,前向 DVR 摄像头和 SVC 环视都要求满足 HDR(High Dynamic Range)的要求。因此,必须要求摄像头支持 HDR 模式,ISP 也要求支持 HDR 模式。

五、360 环视

SVC(Surround View Cameras)即环视摄像头,它一般布局在车头(前向),车尾(后向),左后视镜(左向),右后视镜(右向)。SVC 是多摄像头系统,允许驾驶员拥有 360 度视野,实时查看车辆周边环境。此系统通过显示图像合成算法,将多个摄像头的视角融合,得到在高处环视车辆的「上帝视角」。

SVC 同样主要属于 ADC 自动驾驶域,因为对于泊车辅助系统来说,需要 SVC 摄像头来帮助感知泊车的停车位和周边环境。因此,SVC 360 环视摄像头也被称为 Parking Assistance Camera。

SVC 摄像头具有如下几个特点:

六、流媒体后视镜

6.1 法规

CMS(Camera Monitor System)即流媒体后视镜。CMS 是用电子方式取代传统的玻璃镜面倒车镜,它有很多个名字,有叫电子侧视镜,虚拟倒车镜,电子倒车镜, 电子取代镜等,ISO 国际标准组织称其为摄像头监控系统,即 Camera Monitor System。

图片来源:奥迪

奥迪 e-tron 在 CMS 系统搭载了两个 7 英寸、1280x1080 的 OLED 屏幕。据称是 OLED 屏响应速度快大约 100 毫秒。奥迪表 示,外侧摄像头系统有助于将阻力系数从美国版的 0.28 提高到 欧洲版的 0.27。对于纯电动汽车来说,在高速公路上,这个微小的差别可以增加 3 英里的续航里程。这个非规则形状的 OLED 屏成本极高,且角度略低,容易导致驾驶员分心,下一代奥迪很有可能改回标准矩形,放在 A 柱附近。

目前全球只有日本和欧洲的法规允许使用电子后视镜系统代替玻璃视镜。欧洲法规方面主要有 UN ECE R46-2016《关于间接视野装置及安装间接视野装置车辆认证的统一规定》和 ISO 16505-2019《摄像头监视系统的人体工程学和性能方面的要求和试验程序》 。还有一个法规 IEEEP 2020 Standard for Automotive System Image Quality(车载相机图像质量标准), IEEEP2020 希望规范是车上的所有的摄像头图像质量相关的测试和问题。无论是人类视觉应用,还是计算机视觉应用都在其范畴。并且其主要规范的就是摄像头成像系统的图像质量。

目前 CMS 还需要专用的摄像头(HDR),传输通道,以及显示屏。摄像头分辨率和帧率一般最高只能达到 2MP 60fps 或者 4MP 30fps,且成本相当高昂,在实用性上还有一定的差距。

最新的中国国标 GB 15084-2022 已经于 2023-07-01 生效,允许汽车安装流媒体后视镜,其中包括各种 I,II,III 类镜。 一图读懂强制性国家标准 GB 15084-2022《机动车辆 间接视野装置 性能和安装要求》

6.2 CMS 性能要求

对于乘用车来说,首先需要区分 I 类镜和 III 类镜的区别,这个十分重要。

I 类镜,也称为电子内后视镜,它主要是利用后置摄像头,将 Camera 拍摄到的视频流传输到车内中央的后视镜上进行显示。而 III 类镜,也称为电子外后视镜,它主要用于替代车身左右侧外部后视镜,将安装在车身两侧向后观察位置的摄像头视频流显示在车内显示屏上。

在 GB15084-2022 中,对 CMS 的性能提出了非常具体的要求,并提出了检测标准:

  1. 亮度调节:监视器的亮度应能根据环境条件手动或自动调节。
  2. 方向均匀性:为了确保驾驶员在预期的不同方向观察显示屏时,显示屏具有足够的可见性,限制从不同方向观察的图像亮度衰减,并规定了方向均匀性。
  3. 亮度对比度复现:为了确保 CMS 在不同使用环境条件下的图像质量以及可辨识的车外视野,规定了亮度对比度复现的要求,分别选取阳光直射,散射环境光,日落条件,夜间条件等 4 种典型场景来评估。
  4. 灰度与色彩还原:CMS 应能在显示屏上显示至少 8 个不同的灰度等级;在色彩还原度测试上,按 ISO16505 规定的方法进行试验,并满足规定的要求。
  5. 弥散:为了避免强光源照射摄像机镜头而在显示屏上形成光芒状的亮条对驾驶员产生干扰,规定了弥散要求,限制弥散亮度值,不大于引起弥散的光源影像最大亮度值的 10%。
  6. 光晕和眩光:按 ISO16505 规定的方法进行试验,光晕和镜头眩光区域应不大于所显示影像面积的 25%。
  7. 点光源:为了在夜间行车时驾驶员能够明确区分车后机动车的两个前照灯,规定了点光源的要求。点光源发现系数应不小于 2.7,或点光源对比度系数应不小于 0.12。
  8. 锐度,景深,几何畸变:为了使驾驶员观察车外视野内目标的识别能力,需要规定锐度,景深,几何畸变的测试标准,并按 ISO16505 规定的方法进行验证。
  9. 帧率:CMS 的帧率至少为 30fps,在低光照条件或车辆低速行驶时可以降低到 15fps。
  10. 成像时间和系统延迟:显示器成像时间应小于 55ms,车外事件发生时到车内监视器输出图像的时间为系统延时,不应低于 200ms。
  11. 根据上述国标的测试标准来看,CMS 要满足汽车前装的要求,需要从摄像头,控制芯片,ISP 处理,显示屏等一系列环节进行系统分析,在光学,机械,电子等方面进行软硬综合一体的设计,才能得到满意的结果。

6.3 CMS 系统架构

CMS 系统有「MCU 方案」和「SOC 方案」两种配置——前者功能简单、价格低、延时低;后者功能丰富、价格高、延时高。CMS 系统核心的处理任务是 ISP,如果只是将 CMS 摄像头采集到的图像用来做显示的话,就只需要 MCU 即可;另外可以在经过 ISP 处理后的图像基础上加一些应用层的功能(例如 BSD、开门预警等功能),但是需要加 SOC。前者 MCU 方案功能简单,省去了 SOC 核心板成本,价格更低;后者 SOC 方案价格更高,由于新增一些功能处理,系统延时也相较于前者更高。MCU 方案中 ISP 处理可以放在显示屏里(屏厂 Tier1 偏好的方式),也可以放在摄像机里(摄像机 Tier1 偏好的方式)。对于 MCU 方案,CMS 系统负责 ISP 的处理器可以放在屏幕里,也可以放在摄像机中,这种方案没有独立的 CMS 控制器。对于 SOC 方案,可以放在独立的 CMS 控制器中,未来也可以被集成到智能驾驶域控制器或者智能座舱域控制器中。

上述不同的方案对应了不同的系统成本,简要介绍 2 种不同的系统架构方案 :

1、处理芯片 ISP 集成在屏幕,与相机模组分离: 显示屏供应商希望把整个处理囊括在屏里,也就是把基于显示屏为处理核心的模块嵌入到屏的板子上,来处理前端相机传输进来的图像信息,来配合整个屏的模组模块化设计。。

2、处理芯片 ISP 与相机集成在外耳,与舱内显示屏分离: 做耳镜也就是摄像头的供应商,他们希望把处理器嵌入到两侧耳镜当中,来适配舱内不同屏的厂家。这种方案可以使得整个系统小型化,在外耳镜端器件可以用小的封装在长条形或者半圆形的两侧耳镜模块当中。摄像头采集到的 Rawdata 传输进来可以在耳镜端直接做 ISP 处理,然后在舱内显示屏中做显示。

3、处理芯片 ISP 集成在智能座舱域控制器 CDC,Camera 复用: 在这种方案下,将以中央计算平台为中心,利用智能座舱 SOC 芯片强大的 ISP 处理能力,同时复用车载摄像头输入原始 raw data,实现成本最优。

在本方案中,摄像头为原车载 ADAS 域摄像头,ISP 使用了中央计算平台中的智能座舱 SOC,新增器件只有显示屏,可见在三种方案中成本最佳。但该方案对于 III 类镜所需的功能安全要求是一个挑战,因此还未能达到立即商用的程度,可以作为未来发展的一个方向进行研究。

参考文献

  1. 深度相机—TOF、RGB 双目、结构光原理及优势对比
  2. 汽车电子后视镜行业分析:法规落地,汽车后视镜百年变革正式开启
  3. 电子外后视镜开闸后的严峻挑战
本文著作权归作者所有,并授权 42 号车库独家使用,未经 42 号车库许可,不得转载使用。

评论 · 0

0/3
大胆发表你的想法~
赞
评论