毫末顾维灏:大模型重塑汽车智能化路线
发布日期:2024-04-01 09:04 来源:爱卡汽车

    “以大模型、大算力、大数据为代表的自动驾驶3.0时代已经到来,这些都是智能汽车新质生产力关键要素。毫末将以技术领先的‘极致性价比’智驾产品,助力车企智能化革命。”2024年3月17日,毫末智行CEO顾维灏受邀出席中国电动汽车百人会论坛(2024),并在现场发表主题演讲《自动驾驶3.0时代,大模型重塑汽车智能化路线》。顾维灏透露,毫末第二代HPilot极致性价比无图NOH智驾产品,已陆续进入交付状态。

毫末智行CEO顾维灏受邀出席中国电动汽车百人会论坛

  本届中国电动汽车百人会论坛(2024)以“巩固和扩大新能源汽车发展优势”为主题,3月15日-3月17日在京召开。中国工程院院士邬贺铨,中国电动汽车百人会副理事长、中国科学院院士欧阳明高等来自政府主管部门、研究机构、企业的重磅嘉宾共聚一堂,聚焦产业变革趋势,探索产业发展新路径,共同为新能源汽车产业的繁荣与发展献计献策。

  近年来,全球科技竞争日趋激烈,ChatGPT、Sora的相继问世,引发国内大模型的涌现,智能驾驶也正在成为汽车革命下半场的主角。毫末率先布局大模型、大算力、大数据为代表的自动驾驶3.0时代,构建智能汽车新质生产力,希望用技术推进产业的进步。

  顾维灏认为,AI大模型技术是自动驾驶真正实现的唯一路径。端到端自动驾驶也会是未来很重要的技术方向,但还需要几年的时间才能到来。因此这几年是从离散到聚集,感知模型、认知模型、控制模型聚集到一块,从分散到聚集的一个过程。

  毫末发布了行业首个自动驾驶生成式大模型DriveGPT雪湖·海若之后,始终在坚定投入大模型技术的研发创新,在数据的筛选挖掘、自动标注、生成仿真以及认知可解释性等方面实现了显著的突破和创新。

毫末智行CEO顾维灏受邀出席中国电动汽车百人会论坛

  顾维灏解释,相比2.0时代主要采用传统模块化框架,3.0时代的技术框架会发生颠覆性变化。首先,自动驾驶会在云端实现感知大模型和认知大模型的能力突破,并将车端各类小模型逐步统一为感知模型和认知模型,同时将控制模块也 AI 模型化。随后,车端智驾系统的演进路线也是一方面会逐步全链路模型化,另一方面会逐步大模型化,即小模型逐渐统一到大模型内。然后,云端大模型也可以通过剪枝、蒸馏等方式逐步提升车端的感知能力,在通讯环境比较好的地方,大模型甚至可以通过车云协同的方式实现远程控车。最后,在未来,车端、云端都会是端到端的自动驾驶大模型。

毫末智行CEO顾维灏受邀出席中国电动汽车百人会论坛

  在感知阶段,DriveGPT 首先通过构建视觉感知大模型来实现对真实物理世界的学习,将真实世界建模到三维空间,再加上时序形成 4D 向量空间;然后,在构建对真实物理世界的 4D 感知的基础上,毫末进一步引入开源的图文多模态大模型,构建更为通用的语义感知大模型,实现文、图、视频多模态信息的整合,从而完成 4D 向量空间到语义空间的对齐,实现跟人类一样的“识别万物”的能力。

  在认知阶段,基于通用语义感知大模型提供的“万物识别”能力,DriveGPT 通过构建驾驶语言(Drive Language)来描述驾驶环境和驾驶意图,再结合导航引导信息以及自车历史动作,借助外部大语言模型 LLM 的海量知识来辅助给出驾驶决策。

  由于大语言模型已经学习到并压缩了人类社会的全部知识,因而也就包含了驾驶相关知识。毫末经过对大语言模型的专门训练和微调,从而让大语言模型更好地适配自动驾驶任务,使得大语言模型能真正看懂驾驶环境、解释驾驶行为,做出驾驶决策。认知大模型通过与大语言模型结合,使得自动驾驶认知决策获得了人类社会的常识和推理能力,也就是获得了世界知识,从而提升自动驾驶策略的可解释性和泛化性。

毫末智行CEO顾维灏受邀出席中国电动汽车百人会论坛

  演讲中,顾维灏分享了毫末的产品量产成果。目前,毫末已推出七款HPilot乘用车智能驾驶极致性价比产品,可满足高、中、低价位不同车型的量产需求。其中,HP170、HP370、HP570三款千元级辅助驾驶产品,已陆续进入交付状态。截至2024年3月,毫末HPilot搭载车辆超过20款,用户辅助驾驶行驶里程突破1.3亿公里。

  近日,在全球权威的自动驾驶nuScenes竞赛的最新评测中,毫末智行斩获纯视觉3D目标检测任务(nuScenes Detection task)无外部数据榜单第一名,并将关键性指标nuScenes Detection Score(NDS)提高到68.8%。

毫末智行CEO顾维灏受邀出席中国电动汽车百人会论坛

  今年恰逢中国电动汽车百人会论坛成立十周年,十年来百人会不仅深度参与新能源汽车行业政策制定,为各方提供重要信息与支持,更见证了行业的每一次飞跃,成为推动行业发展的重要力量。顾维灏表示:“毫末希望携手行业同仁,用最领先的技术、产品,助力中国和全球汽车产业的发展与壮大。”