焉知智能汽车

焉知智能汽车

关注

规则与学习的量子纠缠:智驾端到端AI+规则链的_左右脑协同_共生系统

环形隧道

2025-12-23

作者 | 山丘

在人工智能与系统工程快速迭代的今天,传统模块化架构正面临前所未有的挑战——复杂的流程衔接、冗余的数据转换、高昂的运维成本,每一步都在拖慢技术落地的步伐。而端到端(End-to-End)实现方案的崛起,正在以革命性的方式重构这一格局:从原始输入到最终输出,模型自主完成全流程决策,消除中间环节的损耗,让系统真正具备「丝滑」的智能。

无论是自动驾驶中的感知-决策一体化,还是自然语言处理中的文本到动作直接映射,端到端设计正在证明:当系统摆脱人为划分的模块边界时,其性能与效率往往会突破想象的天花板。

我们在对接当前一些端到端方案(如 MMT 的端到端方案)的时候,发现他们的端到端方案除了真正的端到端 pipeline 以外,还会基于传统规则的方法生成一些规划控制指令,两条链路最终会在执行仲裁模块进行校验后仲裁输出。

本文结合当前主流智能驾驶中使用的端到端模型类型和体积(模型大小、算力需求),深入分析它们的运行原理、典型应用、部署难点以及对资源的要求。这些信息可以帮助你更好地做出链路切换、仲裁策略、算力调度等架构决策。

端到端+传统基于规则的 Pipeline,why?

当前,行业内端到端方案中有如下参考案例可以推敲。MMT 采用双链路并行,仲裁优选大模型,正在灰度推进关键场景 only by model。Wayve(英国)采用全端到端 Transformer 输出控制量,所有 fallback 转为模型 uncertainty 拒绝机制。Tesla 开发的自动泊车场景几乎完全端到端,NOA 场景中仍保留规则链做路径限制。百度 Apollo End-to-End Pilot 用传统链采集训练数据,逐步提升模型权重,提出了「去掉规则链」后的「Safety Shield」框架(非传统链)。

如上图逻辑,可以抽象出如下带仲裁的融合架构。传感器输入(Camera/Radar/LiDAR 等)整个感知完整的原始环境数据信息。E2E 大模型分支输出控制量 + 置信度/不确定性,传统模块链分支清晰透明的轨迹或指令输出。

仲裁模块融合两端输出进行判断/选择,安全守卫模块(可选)可以进行最后兜底,防止极端失效,最后由执行控制器输出。

那么,有人可能会问,这种模式有必要吗,这样做对于整个智驾域控的算力占用不是双倍的吗?

实际上这是在自动驾驶系统架构设计中非常经典但又常被质疑的一种混合冗余模式: 端到端学习链路 + 基于规则/传统模块链路,最终通过仲裁模块融合输出。 这种设计的动机:不是多余,而是 「冗余+安全性+工程落地过渡」 的体现。在真正的端到端模型达到足够的成熟度之前,这种方式显得很有必要。

1. 安全冗余机制

智驾系统必须具备 fail-safe 特性,不能完全依赖一条神经网络黑盒链路。

基于规则的传统链路是可解释、可验证的,对 corner case 更敏感,能提供一种 「保险机制」。

如果端到端模型出现偏差(如感知误差、学不到位等),仲裁模块可以 fallback 到规则链。

工程理由:这种结构在 ISO 26262 功能安全/FuSa 认证下更容易达标。

2. 阶段性过渡方案

当前的大模型/端到端方案仍处于试点/灰度阶段,难以完全替代成熟、调优多年的传统系统。MMT 这样的公司将端到端模型和已有传统控制模块并行上线,是为了更平滑地演进,而非「一刀切」。这有助于逐步采集真实数据,不断修正端到端系统。

3. 对比验证与自我监督训练

在上线阶段,可以对端到端模型和传统链路输出进行差异分析和自监督训练。类似于:传统模块 → ground truth teacher,端到端模型不断学习并拟合它,达到更高准确率。这种并联架构实际上形成一个在线知识蒸馏环境。

那么,有人可能会问另一个关键问题:这样做算力资源是不是浪费?

短期来看,确实是「双倍链路」,感知、决策、规划都要跑两套。这样会导致算力占用会更大,实时性压力增加,对域控或高性能 ECU 提出更高要求。但……从中长期来看,端到端模型逐步成熟 → 可用度提高 → 可主导仲裁决策。通过,传统链路逐步瘦身,仅保留极端场景 Fallback。最终端到端主导 + 小模型守护 + 轻量化仲裁,达到高性价比的闭环体系。

综上所述,这种通过传统基于规则的方式实现智能驾驶处理的模式是有必要的,短期是为了安全、可控与训练,而长期则是逐步过渡到纯模型驱动的架构。虽然存在一定的算力浪费,但也属于「战略性冗余」,是阶段性成本投入。如果需要优化这类架构,则需要精简传统链路,仅保留安全兜底逻辑,端到端模型提升可解释性/可控性,仲裁模块智能化,提高决策效率。

基于「双链路+仲裁」的端到端系统架构设计

下面我将以典型智能驾驶域控平台 Orin(或类似平台如征程 5)为基础,结合提出的「双链路+仲裁输出」架构,设计一套分核部署 + 动态链路调度 + 实时资源监控的优化方案。

对于端到端模型(E2E)包含:感知+决策+规划端到端 Transformer/ConvNet 网络。传统链(Rule-based)包含:模块化感知、行为决策、规划、控制,最终通过仲裁模块进行输出,目标是在不影响安全与性能的前提下,减小冗余链路带来的算力与能耗开销。

整个方案设计核心:软硬协同 + 按需运行 + 分核隔离。

模块部署策略示意图如下:

体优化策略与配置方法,可以通过分核绑定 + 线程调度优化(CPU)将传统链、仲裁、控制等关键模块做线程级隔离,避免干扰。

通过 E2E 模型部署 TensorRT 优化版本(GPU)中可以使用 FP16 或 INT8 校准后模型,减轻显存与算力压力,利用 TensorRT profiler 工具评估运行时间瓶颈。在场景感知+动态链路调度(模块状态机)中根据场景是否复杂决定是否启用 E2E 链,可以创建一个 Scene-Aware Decision Node,输出 bool 开关变量,控制是否调用 E2E 模型。

DLA / CPU 跑规则链轻量感知、仲裁模块设计建议(高性价比)。红绿灯检测、2D 障碍物检测迁移到 DLA 上,节省 GPU,使用 tiny YOLO / Fast-SCNN / 轻量 Unet 替代 ResNet/Transformer。

仲裁模块设计建议(高性价比)决策输入端到端模型轨迹 T_e2e 、规则链轨迹 T_rule 、模型置信度 C_e2e 。根据 Orin 平台实测数据参考,整个收益预估如下:

双 Pipeline 在运行过程中要如何仲裁?

传统规则链和大模型端到端分支在输出控制指令过程中出现两者不匹配或者差异很大的时候,要如何进行指令仲裁呢?

这是端到端大模型与传统规则链融合运行架构中的核心问题之一。 当两条链路输出的控制指令(如转向角、加速度、路径点等)存在显著差异时,仲裁机制应如何设计,既保障安全,又不过度限制大模型发挥。

整个仲裁逻辑的核心目标是在保障安全前提下最大化信任模型,并实现可控退化(fallback)机制。常用仲裁策略分为如下几类:

1、置信度门限仲裁

主要是基于模型置信度判断是否采用其结果,适用于 E2E 模型有 Uncertainty 输出,这种方式简单有效,调试也很友好。

2、轨迹/控制指令相似性判定

通过比较两者轨迹的偏差,设阈值决策,适用于连续轨迹输出类模型。这样可以兼顾结果安全与模型自由。

3、安全区域包容性判断

判断 E2E 轨迹是否落在传统轨迹生成的安全区域内,有显式路径规划区域定义的场景。可融合「软规则」,不极端否决模型。过程中,可判断模型输出轨迹是否完全处于传统链生成的「可通行区域」内(Frenet、BEV polygon)

若偏离但仍在安全范围内,则优先采用模型轨迹。

4、行为级容忍度判断

判断高层行为(如变道/刹车)是否一致,而非逐点轨迹一致,由于自动驾驶中常见同一目标多种路径。这样会更符合驾驶「目标一致但手法不同」的逻辑。比如,感知系统检测到前方有一个障碍物可能引发碰撞,对于端到端模型来说可以有两条轨迹生成。其一,是生成一条刹车轨迹避撞,另一条是生成绕障避障的方式避障。那么,这两种方式可能在规则链和端到端中产生不一样的控制逻辑信号,那么要用哪一种呢?

实际上,如果两个方案最终都能安全避障,关键看是否满足系统目标(安全、通畅、乘坐体验),是否违反了法规或系统硬规则(如压实线、逆行)。

5、置信加加速度加轨迹综合仲裁

采用多特征融合形成打分仲裁逻辑,对于高级城市 NOH / L3 场景,可实现精细、安全性高的组合仲裁。

仲裁过程中若发现频繁 fallback 到规则链,说明模型存在以下问题之一。当模型置信度偏低,可加入置信度训练项,如 Evidential Deep Learning。Wayve 将「轨迹偏移度 + 模型 uncertainty 」双阈值控制是否 fallback。轨迹偏移大,就需要加入对传统轨迹的「引导」辅助训练 loss(类似 distillation)。Tesla 则根据模型预测轨迹与规则轨迹之间的交叉区域进行容忍控制。若模型在特定场景失败,则可以将仲裁过程中 fallback 的 case 记录并用于增量训练。MMT 优先使用模型输出,若存在转向/加速度跳变,fallback 并记录日志用于追溯训练。

双链路并行架构中的算力优化

作为系统架构师,在智驾域控端负责架构设计时,可以考虑通过「运行时资源监控」、「模型切片部署」、「任务分时复用」等手段缓解双链路带来的资源压力。下面我会详细介绍针对「双链路(端到端+传统规则)并行架构」中存在的算力资源压力问题,从实际项目角度给出几种架构优化和算力复用策略,这些适用于当前主流智能驾驶域控制器(如英伟达 Orin、黑芝麻 A1000、地平线征程系列等)。

一、算力优化方向总览

二、关键技术实践详解

1 . 模块级分时复用调度

传统链与端到端链路在实时性上可以进行时序解耦。即将不同处理模块进行拆分后,分别辅以不同的处理频率。比如,在整个处理过程中,可以对感知模块:20Hz;E2E 决策模型:5Hz(降低频率,减轻 GPU 负载);传统规划模块:10Hz。实施方式可以利用 RTOS 或 Apollo/Cyber RT 架构下的定时器 & 时间片机制,在 ROS2/Autoware 中用 QoS 策略进行消息调度。实测收益可节省 20~30% GPU 占用。

2. 端到端模型切片部署(Scene-Aware Runtime)

根据工况感知判断是否运行端到端模型,类似「按需唤醒」。示例策略为在高速场景,优先端到端链路,而在城市红绿灯/交叉口,fallback 到传统规则链。技术实现上,通过构建环境感知状态机(如红绿灯检测、障碍密度判断),对 E2E 模型部署 Runtime Gate。整个过程的实测收益的场景覆盖 >80% 情况下,仅需运行部分链路,可节省大量峰值功耗。

3. 模型轻量化 + 异构核运行

通过将端到端模型拆成感知 → 可用 TensorRT 加速(FP16);决策 → 可选运行在 CPU/DLA 上(如 ONNX-Runtime)。将传统链,控制模块移至 MCU/小核,障碍物预测移至 CPU/独立线程。实测收益上,在 Orin 平台 CPU 占用下降 40%,GPU 功耗降低 25%。

4. 智能仲裁与置信度融合策略

在仲裁模块中增加端到端模型置信度(如 Softmax 输出最大值),与传统链输出的目标一致度打分。这样做的 优点是可以动态调节链路主导方,关键时刻兜底确保安全。

5. 将传统链路「瘦身」变成 Safety Guard 模式

不是双跑全链,而是保留最关键保底控制项。比如,地平线在城市 NOH 场景中,仅保留基于地图的车道限速/红绿灯辅助,主决策由模型主导。这样做的实测收益可以在规则链资源消耗 <30%,满足 ISO 26262 的 ASIL B 兜底要求。

总结起来,就是在混合架构下的资源复用可采用如下策略。通过按需调度 +基于场景唤醒减少端到端模型常驻运行,通过轻量化处理 + 仅做兜底降低传统规则链资源消耗,利用异构部署(DLA/CPU)降低 GPU 压力,利用智能仲裁 + 冗余链路提高系统安全性。

到底何时能够完全抛弃传统规则链路?

大家一定有一个疑问,像 MMT 这样采用大模型主线 + 传统规则链兜底的双链路架构,要达到什么目标/指标,才能放心地完全去掉规则链,只保留大模型+仲裁模块呢?

这是一个非常关键的问题,也是当前许多智驾大模型(尤其是端到端)研发团队正在面对的架构变革拐点问题。首先,我们需要先明确为什么传统链路现在不能去掉?从安全角度上讲,传统规则链路可解释性强,易 debug,corner case 下模型不可预期,基于规则的 fallback 是当前唯一稳定兜底方式。从工程角度上说,传统链已积累海量调参经验,场景覆盖成熟,训练数据分布外(OOD)时模型失效风险高。从法规与认证角度上讲,(ISO 26262、SOTIF)要求可验证、可解释,黑盒模型难以通过 ASIL C/D 等级认证。

那么,要达到「去掉规则链」的目标,通常需满足以下五大能力闭环。

在模型覆盖率和泛化能力方面,大模型在真实道路中,对绝大多数场景能稳定生成安全轨迹(包括长尾场景)。模型对异常输入能自我判断失效,拒绝输出危险动作(如 Uncertainty-aware E2E),从而提高鲁棒性与不确定性建模能力。模型能输出轨迹来源逻辑/置信度/注意力,辅助开发者验证和调试,这样可以提高可解释性和可验证性能力。系统具备自动收集 corner case 并持续训练的能力,完善数据闭环与自动再训练机制,实现模型迭代闭环。仲裁模块具备可信安全策略,即便没有传统链,也能用安全规则、置信度门限、轨迹相似性等仲裁逻辑保障安全兜底。

具体的关键「指标」标准如下:

因此,在真正「去掉传统链」前,很多团队会采用中间态:只保留关键兜底项,或转化为「安全守门员」模块。

比如,保留红绿灯刹车,Rule chain 只判断信号灯红灯状态并 override 控制。保留紧急制动策略,如遇前方静止障碍 <5m 强制执行 EB。保留「脱轨」检测器,检测大模型输出轨迹是否违反道路拓扑。模型失效检测器,置信度低、attention 偏离中心、输入脏图像等触发兜底。

总结起来,如何判断「可去规则链」?只要你满足以下五点,就可以放心大模型主导、去掉规则链了。

本文著作权归作者所有,并授权 42 号车库独家使用,未经 42 号车库许可,不得转载使用。

相关阅读

端到端智驾上车,理想的智驾团队有什么变化?

评论 · 0

0/3
大胆发表你的想法~
1
1