技术解码 | 多模态大模型AI安全员为无人驾驶保驾护航

作为全球无人驾驶商业化领跑者，仙途智能Autowise.ai凭借前瞻性的视野和强大的产品技术实力，已在全球30余座城市部署了多款无人驾驶产品。为应对多地区、多场景、多产品的运营需求，仙途智能不断整合吸纳前沿人工智能技术和算法，新一代1vN无人驾驶远程运营体系全面引入多模态大模型技术作为AI安全员，凭借其强大的场景理解能力和精准判断能力，为无人驾驶车辆筑牢安全屏障。“多模态大模型”AI安全员：实时处理图像数据，识别危险场景多模态大模型是人工智能技术的一个关键进步，它将文本、图像、音频、视频等多种数据形式整合进统一的框架中，具备跨模态理解与生成能力，能够执行图像描述、视觉问答、视频生成等多种任务。依靠先进的多模态大模型技术，无人驾驶中的 AI 安全员能够对车辆运行过程中的相机图像进行实时处理与分析，识别出车辆行驶时遇到的危险场景和异常情况，为无人驾驶提供安全保障。算法难以100%覆盖的长尾场景，AI安全员从容应对无人驾驶车辆行驶过程中，除了需要与常规的交通参与者产生交互，还需要应对稀有而复杂的长尾场景。它们的发生概率很低，但一旦出现，会对自动驾驶系统带来巨大挑战。仙途智能无人驾驶清扫车作业时通常会贴边行驶，常见的长尾场景包括不规则的路面坑洞、临时的施工区域、偶发的交通事故等。长尾场景之所以重要，是因为它们代表了自动驾驶系统必须能够应对的罕见但危险的情况。对于人类驾驶员来说，处理这些边缘情况往往基于直觉和多年的经验积累。对于自动驾驶系统来说，为了在遇到这些罕见情况时仍能安全地操控车辆，需要大量的数据和复杂的算法来模拟人类的决策过程。但由于现实世界复杂多变，算法难以 100% 覆盖全部场景，此时就需要 AI 安全员介入，利用与人类相似的知识与经验理解场景、保证安全。AI安全员应用实例：理解场景，给出建议仙途智能基于历史接管数据与闭环仿真数据，利用大模型标注与人工对齐，构建了决策规划的异常数据集。在仙途智能常态化运营真实数据的不断充实下，多模态大模型的AI安全员将能够更加准确地理解场景并给出驾驶建议。来看几个实例。绿色框线代表无人驾驶车辆的规划轨迹（Planning Trajectory），红色框线代表无人车的关注区域（Region of Interest）。左上角黑色框线中的内容代表AI安全员对当前场景的理解和判断，包括天气情况、场景标签、驾驶建议等。仙途智能AI安全员场景实例案例集锦突然发生的交通事故无人驾驶清扫车正沿右侧辅道执行左贴边作业。雨后路面湿滑，外卖骑手在高速行驶时突然滑倒，非常危险。系统提示交通事故（Traffic Accident）状态码，并预警可能需要远程介入。所幸骑手无大碍，缓慢起身，系统提示减速慢行，小心行驶。临时交通管制及施工区域通行无人驾驶车辆辅道作业过程中，同时遇到辅道地面施工及主道高空作业，交警上前疏导交通。系统提示交警管控（Traffic Police Control）及施工区域（Construction Area）状态码，并预警可能需要远程介入。在远程运营的协助下，无人驾驶清扫车从主道第二车道绕行。应急车辆交互无人驾驶车辆正沿快速路辅路右侧执行贴边清扫任务，一辆闪烁警示灯的救护车突然出现在视野中并停靠在路边，代表着附近存在人员伤病的紧急情况。系统给出应急车辆（Emergency Vehicles）状态码，提示需要远程介入，同时在确保安全的情况下，车辆减速避让并变道绕行。弱势道路使用者交互无人驾驶清扫车正沿右侧辅道执行无人清扫作业，由于道路右侧的临停机动车，辅道十分狭窄，仅容一辆车通行。此时发现左侧有孩童和蹲坐的行人，系统提示高风险行人（High-Risk Pedestrians）状态码，表示需要减速慢行并预警可能需要远程介入。在高精度的感知和规划下，无人驾驶清扫车略微向右避开行人缓慢通过。AI的安全托底：人类远程安全员多途径辅助脱困部分紧急和极端场景下，AI安全员将给出请求远程介入的通知指令，主动告知人类远程安全员。远程安全员可以通过高清视频流（前视角及环视角实时画面）和实时传感器数据（高精地图、各类障碍物识别、路径规划等）获取车辆周边环境信息，使用多种挪车方式辅助车辆脱困。目前，仙途智能无人驾驶车辆已支持基于远程运营系统的参考线挪车、方向盘挪车、APP挪车和驾驶舱挪车，为车辆提供在紧急和极端场景下的安全托底和额外保障。远程辅助驾驶系统操作界面云端大模型作为AI安全员的使用，极大程度提升了无人驾驶车辆针对长尾场景的识别和理解能力，提高人类远程安全员的工作效率，为远程1vN规模的不断扩大夯实技术基石，全面扩展仙途智能全球化商业版图。未来，仙途智能将以更加开放的姿态，不断吸纳整合前沿人工智能技术和算法，通过持续创新突破，全方位提升无人驾驶技术的安全性与稳定性，为无人驾驶技术商业化的迅猛发展打造坚实的技术壁垒，为全球无人驾驶技术发展和产业变革贡献卓越力量。