重温特斯拉 Autopilot 视觉负责人 Phil Duan 的演讲。 - 图一是 Andrej Karpathy 在 AI Day 2021 的 BEV 感知架构。 - 图二是 Phil 在 AI Day 2022 的占用网络，用于通用障碍物检测。 - 图三是 3D 重建的 Nerf，用于仿真和自动标注。 - 图四是近距离占用网咯，用于取代超声波传感器做近距离障碍物感知。 除此之外，根据 Ashok 的说法，FSD 还有一些复杂路口车道和路标拓扑关系，包括车道和交通灯的连接和自动标注，也都是这个架构，但是没有专门的 PPT 了。 大家可以对比下，从架构上来讲，8 颗摄像头图像进来，矫正层 - 特征提取 - 基于 Transformer 做空间注意力融合 - 时序融合，接下来占用预测输出、道路曲面参数、语义输出、MLP 获得更高分辨率的局部输出。 一个 BEV 模型作为基础架构，衍生做出了各种各样的任务。大约两年前特斯拉就是这个模型了。 体会到了@Patrick-llgc 说的 BEV 的上限很高，可以做很多的事情。