-
auo4 AI 观察 用户
TIER IV开源AutoE2E:7990万参数的端到端自动驾驶模型,用快-慢三层架构从L2++通向L4
自动驾驶正在从"模块化拼装"走向"端到端一体化"。11月11日,开源自动驾驶软件Autoware背后的日本公司TIER IV,联合Autoware基金会(AWF)Robotaxi工作组,发布并开源了端到端自动驾驶模型AutoE2E。这个模型只有7990万参数,代码以宽松的Apache 2.0协议上架GitHub,v1.0权重放在Hugging Face,研究机构和厂商都能下载、微调甚至商用。它的目标很明确:从L2++脱手辅助驾驶,一路扩展到未来的L4无人驾驶。
7990万参数,跑在车规芯片上
传统自动驾驶系统把感知、预测、规划拆成一串独立模块,而端到端模型把这些环节压进一个神经网络,直接从传感器数据输出驾驶轨迹。AutoE2E走的就是这条路,但它的参数量刻意做得很小——只有7990万(约0.08B),远小于动辄百亿千亿的大模型。
小不是妥协,而是为车规场景着想。汽车系统级芯片(SoC)对算力、功耗和成本极其敏感,一个紧凑的模型更容易被优化部署到车端。在KITScenes-Multimodal验证集上,微调后的AutoE2E在三秒预测时域内取得0.744米的平均位移误差(ADE),在八个开放的权重模型配置中排名第二。测试采用开环方式:让模型根据已记录的摄像头画面预测未来三秒轨迹,再与人类驾驶员的真实路径比对。
反射、想象、判断:一个快-慢三层架构
AutoE2E的核心设计是一套"快-慢"分层架构,由三个协同工作的模型组成,分别对应反射、想象与判断:
- 反射层(Reactive Model,10Hz):每秒十次把六路摄像头画面融合成鸟瞰图,规划未来6.4秒的加速度与转向。这是真正"开车"的一层。
- 想象层(JEPA世界模型,1Hz):不渲染像素,而是预测场景本身会如何演变,让规划器对"接下来可能发生什么"有种直觉。
- 判断层(无语言推理,1Hz):推演车辆为什么该这么开,比如为过马路的行人减速,全程不生成一个字的语言。
目前v1.0只包含反射层,世界模型和推理层仍在开发中,但共用同一个规划器。这意味着上面所有基准成绩,都是反射层单独跑出来的——完整三层架构的潜力尚未释放。AutoE2E支持低成本的纯摄像头方案用于高速和城市道路的脱手驾驶,也可以叠加激光雷达和毫米波雷达作为安全冗余,支撑全无人驾驶。
一次开源五个模型,覆盖不同传感器配置
AutoE2E只是TIER IV当天公布的一批开源端到端模型之一。这批成果被统一纳入"Autoware 2.0"架构——一套把AI模型与传统规则式软件灵活组合的下一代方案,覆盖从纯摄像头到含激光雷达、毫米波雷达、高精地图的多种配置:
- Alpamayo 2 Edge:英伟达的视觉-语言-动作基础模型版本,20亿参数(远小于34亿参数的Alpamayo 2 Super),纯摄像头输入、带推理能力,已完成与Autoware的集成,正在实车优化。
- METEOR:TIER IV自研的轻量多任务模型,仅1600万参数,基于CNN和鸟瞰图表示,面向私家车,不依赖高精地图,支持1到8路摄像头,还能跑在英伟达和瑞萨的芯片上。
- OnePlanner:把环境感知与运动规划合一,利用激光雷达点云和高精地图规划未来六秒,还能直接复用感知阶段提取的特征。
- LatentDrive:基于V-JEPA的世界模型方案,从摄像头视频直接规划未来四秒,同样不需要高精地图,与Autoware的集成还在进行中。
这批模型的参数量从1600万到20亿不等,给车企和零部件供应商提供了按自身需求挑选的空间。TIER IV创始人兼CEO加藤真平(Shinpei Kato)表示,车企必须能够把技术内化到自己的应用和性能需求里,而不依赖某个特定AI模型或半导体平台。
2027年上路,面向商业化推进
代码已在GitHub(autowarefoundation/auto_e2e)以Apache 2.0协议开放,允许研究及商业使用;v1.0检查点在Hugging Face同步发布。开发者可以检查代码、用自己的数据重训或微调,接入更完整的自动驾驶方案,并通过Robotaxi工作组参与共建。
AutoE2E目前已集成进Autoware做开环评估,实车闭环测试正在进行,更多道路试验计划在2027年展开。TIER IV与AWF正推进面向汽车SoC的优化,作为从开源研究走向实际部署的路径——不过L4能力仍是开发目标,具体部署性能和资源需求还要等平台级评估。对于想切入端到端自动驾驶又不想被单一芯片或模型锁死的团队来说,这套开源栈提供了一个可以立刻上手的起点。