理想正式进入AI大模型时代，端到端+VLM开启全量推送

今日报道 10月23日消息，理想汽车智驾水平再进一大步，宣布端到端+VLM正式全量推送。这标志着理想汽车智能驾驶正式进入AI大模型时代。 理想端到端+VLM于7月5日理想汽车夏季智能驾驶发布会上首次公布，是真正意义上one-model 结构的端到端，且率先将视觉语言模型VLM 部署到车端芯片上的双系统方案。 在实际场景中，可实现路边起步、环岛、U 型掉头等困难场景通行。同时基于独有的VLM，实现了限时公交车道、潮汐/可变车道、减速带、坑洼路面等场景识别和应对能力。在安全性、舒适性和效率上大幅提升，拟人化程度再上新的台阶。 从推出至今，在时隔不到三个月的时间里，双系统方案高速迭代，在充足的数据和算力支撑下，理想端到端智能驾驶比预想来的更快、更成熟。 据介绍，此次全量推送的版本是基于V4.8.6 模型，是在 400 万clips 基础上迭代的第16 个版本，增加了城市场景的数据配比，主要升级有三点： 1、提升了超车场景的理解能力，变道更积极； 2、提升了导航信息理解能力，导航变道时机更合理； 3、提升了障碍物检测精度，绕行幅度更合理。 此外，双系统还进行了交互升级：E2E系统1快思考交互升级；VLM系统2慢系统沟通可视化。 具体而言，系统1“快思考”的端到端模型文字弹窗相比无图NOA版本更加丰富更加易懂，实时交互按导航、交规、效率、博弈、注意提醒等相关的执行逻辑和动作。 系统2“慢思考”的 VLM 视觉语言模型新增图文视窗，在特殊场景下，将前方感知到的画面投射到页面内，配合文案讲解模型的思考过程和结果。 事实上，自特斯拉今年3月份在北美大范围推送V12版本的FSD后，华为、小鹏在国内就实现了分段式端到端上车。虽然理想算是后进者，但在技术方案上，却是与华为、小鹏所采用的传统的分段式截然不同的一体化One Model方案。这种方案的优势是可直接将传感器信息输入模型，减少中间环节，避免中间信息的损失，进而提高效率。 当然，分段式和一体化虽然有路径差异，但目前并也不能下定结论孰优孰劣，最终还是要看大规模的实际落地效果。 据了解，理想端到端+VLM在7月底推送了千人团用户版本进行了小规模测试，测试不到一个月的时间，用户总城市NOA行驶里程达到21.1万公里，单日城市NOA驾驶最长里程391公里，单次零接管城市NOA最长里程81.6公里。 随后在8月底的成都车展，理想了开启万人团测试，内测规模放大十倍。9月中旬，体验团正式开启推送，同时门店试驾车也实现了端到端上车，加速智驾技术的迭代和进化。 从理想两次的由“小”到“大”的测试结果来看，端到端+VLM在落地体验上得到了用户的认可。 尽管依靠一体化方案理想实现了弯道超车，可需要强调的是，有业内人士指出该路线显得颇为激进，因为在模型结构、训练方式、数据量以及AI算力上存在一定挑战。因此，理想引入VLM视觉语言模型，保障复杂场景下能够顺利通行。理想还使用泛化能力极强的世界模型，对双系统方案进行测试，确保该方案足够安全、高效。 此前，何小鹏就曾评价过端到端方案问题，何小鹏认为，从算力到OS、到模型、到数据、到地图等等，需逐一经历后才可解决，只靠一个模型根本搞不定。 郎咸朋 针对该问题，理想汽车智能驾驶副总裁郎咸朋解释，端到端最大的改变不是一个模型还是两个模型，而是从端到端开始，才真正的开始用人工智能的方式来做自动驾驶。 郎咸朋进一步表示，串联式的端到端、分小模块的自动驾驶能力，只能是根据自己的设计达到某种能力，而超出能力之外的东西，却无法做到的，边界显而易见。 郎咸朋认为，我们面临的是一个不确定的变化的复杂的世界，这里面没有任何的规则，理想能做的是给大模型喂高质量的数据，再加上训练提升模型的能力，让系统能做出更好的规划和决策。 据悉，在数据量方面，理想于10月18日正式宣布第100万辆新车交付，稳坐新势力头把交椅。目前其智能驾驶累积训练里程超过25亿公里，预计年底将超过30亿公里。 算力方面，理想当前训练算力为5.39EFLOPS，预计到2024年底将超过8EFLOPS，理想每年在训练算力的投入超过10亿元人民币。 随着消费者对智能驾驶技术的认可度不断提高，推动着该领域的快速发展。报告显示，我国自动驾驶市场规模由2018年的893亿元增至2023年的3301亿元。中商产业研究院分析师预测，2024年我国自动驾驶市场规模将达3832亿元。