Waymo引入谷歌Gemini大语言模型开发新型自动驾驶系统

11月1日消息，据报道，Waymo近日宣布其最新研究成果——一种名为“端到端多模态自动驾驶模型”（EMMA）的新模型。这一模型基于谷歌的多模态大语言模型（MLLM）“Gemini”，旨在提高无人驾驶车辆在复杂环境中的导航能力。据报道，传统的自动驾驶系统通常会为感知、映射、预测和规划等各种功能开发特定的“模块”。这种方法虽然在过去表现出色，但在扩展性和新环境适应性方面存在局限。Waymo认为，利用像 Gemini 这样的 MLLM 可以有效解决这些问题。这些模型通过大量互联网数据训练，不仅拥有丰富的“世界知识”，还能通过“链式推理”等技术展现出卓越的推理能力，模仿人类的思维方式处理复杂任务。尽管如此，EMMA 模型在实际应用中仍面临一些挑战。例如，由于计算开销过高，该模型目前无法整合来自激光雷达或雷达的 3D 传感器输入，只能处理有限数量的图像帧。此外，研究中也提到，像 Gemini 这样的 MLLM 可能会产生“幻觉”，而无人驾驶汽车中的容错率极为有限，因此在这些模型能够大规模部署之前，还需要进行更多的研究和测试。