盖世汽车讯 自动驾驶技术发展迅速，已从基于规则的系统发展到深度神经网络。然而，端到端模型仍然存在一些重大缺陷：它们通常缺乏对世界的认知，在罕见或模糊的场景下表现不佳，并且对其决策过程的解释能力有限。相比之下，大语言模型（LLM）擅长推理、理解上下文和解释复杂的指令。但是，LLM 的输出是语言形式而非可执行指令，这使得将其与实际车辆控制系统集成变得困难。这些不足之处凸显了对一种框架的需求，该框架能够将多模态感知与基于既定驾驶逻辑的结构化、可执行的决策输出相结合。解决这些挑战需要深入研究如何将多模态推理与自动驾驶规划器相结合。

图片来源：期刊《Visual Intelligence》