作者：EatElephant
作为自动驾驶算法工程师，多传感器融合是实现自动驾驶的必由之路这是我们长期秉持的观点理念，但是 Tesla Autopilot 以及 FSD 似乎一直在挑战这一观点。显然 Elon Musk 和特斯拉的工程师都是行业中最为杰出的人才，他们不会不知道多传感器融合的重要性，也不会因为固执己见而坚持做明显错误的决策，但是到底 Tesla 为什么选择走纯视觉的路线而摒弃 Lidar 和毫米波雷达恐怕在今年的 AI Day 之前我们都无法 100% 确切知晓原因，但是 Elon 在他的 Twitter 上分享了一些对于这一决定的思考，这里我试着对这些理论做一些分析理解。
可以从马老板说明中看到，同时融合摄像头数据和毫米波雷达数据最大的障碍在于毫米波雷达信噪比很低，换句话说有大量误检测，将视觉感知结果与毫米波雷达结果进行融合时候，如果视觉和毫米波感知结果不一致，惯常做法是相信视觉而忽略毫米波检测结果。
为了进一步说明视觉毫米波融合的难题，首先介绍一下常见的多传感器融合策略。常用的多传感器融合策略分为前融合（紧耦合），后融合（松耦合），这里的前后指的是融合发生在算法处理数据得到结果之前还是之后。下面示意图来自多传感器融合技术（基本概念、前融合和后融合的区别） - 不止所见 - 博客园
前融合因为综合考虑多种传感器的原始信息后进行算法处理，不同传感器信息得到最大程度保留，因此理论上效果最好。但是相机数据是结构化的高分辨率图像数据，毫米波雷达原始数据则是角分辨率很低且没有高程信息的稀疏点云，这二者原始数据很难融合成一套输入给到神经网络模型，因此目前绝大多数方案都是使用后融合（松耦合）方案。
然而后融合的松耦合方案在各传感器各自处理自己数据的过程中势必造成信息的丢失，融合过程是使用损失了信息的传感器输出结果进行融合，理论上效果不如紧耦合。下图是特斯拉主相机图像与毫米波检测结果（蓝色绿色黄色的圆点）叠加可视化的效果，可以看到毫米波雷达的高度上没有区分，因此路牌车辆道路边缘等多个检测结果都被可视化在同一高度，又由于毫米波角分辨率差，导致很难通过横向位置来正确匹配视觉检测结果（红色方框）和毫米波检测结果（圆点）。
马斯克所说的信噪比低正是由于缺少高程信息以及角分辨率低这些毫米波雷达固有的缺陷所导致的。由于毫米波没有高程信息，所以毫米波无法区分井盖，龙门架这些对于行车不会造成影响的静态物体和白色静止大卡车这样会造成碰撞事故的静态障碍物，如果过分相信毫米波雷达，则每经过龙门架和井盖自动驾驶都要幽灵刹车，如果过度忽略毫米波雷达的检测结果，就会造成类似近两年特斯拉 Autopilot 即使装备毫米波雷达仍旧很多时候无法处理静止白色大卡车这一极端情况（所以现阶段使用 Autopilot 时候驾驶员一定要关注路况！！！）。
由于毫米波雷达无法区分障碍物与井盖龙门架，自动驾驶一般不太重视毫米波的静态检测结果，造成撞上静止的白色大货车这类事故的发生
曾经一度传出 Tesla 会使用 4D 毫米波雷达来避免当前毫米波雷达造成的问题，4D 毫米波具备更精确的角分辨率，理论上将帮助自动驾驶解决很多幽灵刹车和静态障碍物漏检的问题，我也曾经对 Tesla 能进行这一改进报以很大的期待，但是如今看来 Tesla 是准备彻底放弃毫米波了，这可能是出于 4D 毫米波产品还不成熟，成本高，产能不足，以及即使使用 4D 毫米波也很难找到合适的方法使毫米波雷达与相机进行前融合这些问题导致的。
其实从特斯拉的角度，他们如今 FSD 利用多相机融合实现的 Birdeye view 下的感知从实现的功能上来讲已经达到甚至超越激光雷达和毫米波雷达，只是在稳定性，泛化性上可能还有所不足，那么他们当务之急是如何迭代改进现有视觉融合方案，提高 Birdeye view 检测的泛化性。放弃了在绝大多数情况下性能不如相机的毫米波雷达反而简化了多传感器融合部分遇到的困难，同时节约成本，如果能够通过算法提升保证安全性，那这未尝不是一个合理的思路，但我对这一方案是否能够最终代替激光雷达和毫米波雷达至今仍旧期是期待但抱有疑虑，未来效果如何我们只能拭目以待了。
Tesla FSD Beta 通过多相机的融合获得的 Birdeye View 下的感知结果很多时候媲美伸直超越激光和毫米波雷达
