云上加速,助跑闭环,华为云联合亿欧智库发布数据闭环发展白皮书
高等级自动驾驶将逐步迈进现实,海量数据处理及高效挖掘成为企业必须解决的头等难题,数据闭环因此越来越受到重视。云服务商因其智能化的基因与强大的数据处理能力,成为了现阶段自动驾驶产业发展的重要力量,以“第三方服务商”的身份与自动驾驶产业“双向奔赴”。通过云底座核心能力和云端大模型深度赋能数据处理全流程,为主机厂、Tier1等企业提供更智能、更高效率的数据及AI服务,加速数据闭环的实现。
基于此,亿欧智库联合华为云共同撰写白皮书,深入洞察自动驾驶数据闭环发展,详细拆解数据闭环各环节,从多角度分析数据闭环发展现状,同时探索具备专业积累及强大感知、计算、处理、存储等能力的云服务商可赋予各环节的价值。9月21日,华为全联接大会2023盘古汽车大模型圆桌上发布了《云服务新引擎,高效驱动自动驾驶数据闭环发展白皮书》(以下简称《白皮书》)。
以下为《白皮书》内容摘要:
一、半场激战,自动驾驶发展面临数据挑战
自动驾驶产业发展已进入下半场,智能化成为行业竞争的焦点。随着2023年大模型技术的迸发,高等级自动驾驶将逐步迈进现实。头部企业系统迭代加速,近两年纷纷开启L4级自动驾驶量产落地计划,向城市级应用延展。各地政府也相继出台政策扶持自动驾驶产业发展,促进前端技术落地应用。
在智能化级别提高、场景应用范围扩大的背景下,自动驾驶车辆收集到的数据量急剧增长,相应的预处理、模型训练难度随之加大,传输、存储成本也大幅提升……种种因素都对数据处理的效率和安全提出了更高的要求。
于是,环环相扣、数据连贯流通且能有效循环的闭环通路日渐重要。发展成熟的数据闭环能够提高数据传输、处理效率,切实增强可控性,提升自动驾驶研发效率。如今,数据闭环的构建与高效运转已然成为实现高等级自动驾驶落地的必要条件。
二、闭环在环,数据高效循环运转才能加速量产落地
随着自动驾驶等级不断升高,所配置的传感器平均数量增加,所收集到的异构数据类型与规模自然也随之变得繁多、庞大,L4级的量产将产生百万亿级的数据量。而面向大量数据的研发环节需要针对性设计开发工具,且相关的适配工作也需要投入很高成本,为此支撑研发的人力成本和时间成本也难以计数。极速增长的数据带来一系列处理难题,原本应紧密相连的数据平台与AI平台仍处于割裂状态,数据挖掘和利用效率仍然低下。此外,数据在多层级处理、流动中还暗含着大量的安全风险,一旦数据被攻击、窃取、篡改,将对企业、公民、社会乃至国家安全都造成严重损害。
亿欧智库认为,自动驾驶数据闭环发展之路荆棘满布,道阻且长,实现质变需行业共同努力,而云服务商是这其中至关重要的一环。
云服务为基,搭建数据闭环坚实底座
在数据处理方面,云服务能够发挥高效计算、超大存储、迅捷传输等能力,针对性处理数据。同时,云服务还打通了底层元数据管理模式,构建统一数据治理底座,基于连通共享的底座实现数据治理和AI开发的相互融合,打造数据与AI相互赋能的正向循环。
例如华为云ModelArts平台提供DataTurbo、TrainTurbo、InferTurbo 3层加速,分别提供数据加载、模型训练、模型推理三方面服务,能够助力数据读取时间缩短50%、训练效率提升40%+。统一的数据湖让数据存储成本下降20%、冷数据下沉率最高96%。此外,华为云还将数据生产线和AI生产线融合到一起,通过统一的数智融合开发平台,实现数据的无缝流转造,同时利用盘古大模型深度赋能数据闭环核心场景。
在研发成本方面,传统自动驾驶开发工具十分零散,开发流程之间相互割裂,工具链路调试费时费力,严重拖慢研发进程。云服务能够完整覆盖数据闭环各个环节,提供数据管理平台、AI模型训练平台、仿真评测平台等,形成全栈式研发工具链。串联互通的工具,增强了业务连续性,缩短了模型训练时间,大大减少了调试成本和人力成本,提升研发效率。
华为云在工具链构建上打造了全栈自动驾驶开发平台。不仅为客户提供一站式平台,从开发到测试再到商用,助力企业实现按需使用、即插即用;也提供模块化的解决方案,以数据服务、训练服务、仿真服务为主,帮助客户实现数据驱动的自动驾驶开发。
在数据安全方面,面对数据越多风险越大的高等级自动驾驶,以及汽车出海的热潮,云服务提供的安全合规方案至关重要。云厂商能够通过数据的全周期安全合规方案,实现采集合规、传输保密、存储安全、使用监管等。
华为云专为汽车行业打造的云基础设施——乌兰察布汽车专区,采用3分区合规架构、7层安全防护,同时依托有资质的图商伙伴能力,为自动驾驶数据提供全流程的安全合规保障。同时,华为云也化身车企的海外运营伙伴,通过联结全球的安全合规数据中心为车企提供全流程服务,助力中国车企安心出海。
大模型登台,加速数据闭环高效运转
业界普遍认为,自动驾驶的终局将是一个超大规模的端到端自动驾驶数据闭环,而大模型正是实现此形态的重要途径。其赋能自动驾驶数据闭环,实现降本增效,主要体现在感知和规控两方面。具体表现为多模态感知、数据处理与生成,驾驶过程中的决策和路径规划等,从而加速实现端到端自动驾驶。
亿欧智库调研发现,今年,特斯拉、小鹏、理想等主机厂,以及华为云、百度云、毫末智行等Tier1 厂商,都纷纷发布了各自的大模型及工具平台。而云端相较于车端能够部署较大模型的先天属性,让云服务商在自动驾驶产业发展洪流中有着至关重要的地位。通过在数据采集、挖掘、标注、存储、仿真等多个环节,借助大模型的深度学习能力多次迭代,性能实现快速提升。华为云打造了场景生成大模型、场景理解大模型、预标注大模型、多模态检索大模型等多个自动驾驶垂域大模型,促进数据高效循环、实现闭环。
三、云端之上,数据闭环各环节全面受益
从流程拆解来看,数据闭环可以大致分为数据采集、数据标注、模型训练、仿真测试和应用部署五大环节。云厂商所提供的服务能够渗透进各个环节,做到采集用云、数据入云、存算上云、测试进云、部署靠云的全链路支撑。
在采集上,面对越来越多且庞杂数据,云服务能够在海量数据中快速清洗、过滤、挖掘高价值数据。同时,通过搭建就近的汽车数据专用接入点,尽可能减少网络切换带来的传输时延问题。
在标注上,云端搭载的AI大模型能够进行自动标注,通过标签、以图搜图等方式智能化提取难例场景,构建高质量数据库与场景集,并及时反馈给算法加速迭代,提升标注效率。
模型训练与数据标注不可分割且紧密相关,基础数据提取后能够反复训练算法,同时经过不断训练的算法能够更进一步的赋能自动标注,实现更高精确度。
云平台仿真相对于算力弱、周期长且效率低的传统单机仿真,拥有更弹性的计算空间,可根据需要随时实现快速扩容,实现更加高效的仿真测试。同时,一些基于云服务能力运行的前沿技术也在加速研发,如NeRF正被多家企业用于3D城市级仿真场景重建等。
在部署时,高效的云服务能够在云端管理海量软件包,选择最安全合适的时间及场景对车辆进行OTA升级,避免耗时过长,影响用户的交互体验甚至是大规模车辆召回的风险。
四、适时而动,云厂商助力构筑数据闭环新范式
数据闭环发展道路上的挑战与痛点,本质上是产品硬实力的考验——是否能通过数据闭环赋能自动驾驶。基于此,《白皮书》提出数据闭环新范式,从技术、服务、生态三方面,突破产业发展瓶颈,为车企及Tier1厂商提供高质高效的服务。
新技术:软硬并举,上下限扩容打通技术壁垒
软件决定了自动驾驶的上限。传统的自动驾驶不同场景对应不同小模型,如CNN、RNN等,参数小、泛化性差,并不能支撑高等级自动驾驶的海量数据处理需求。未来,数据闭环将全面接入AI大模型,依托云服务的高效运算及处理能力,以底层模型+垂域布局的多层结构,提高软件技术上限,应用于多种场景。
华为云近期发布了盘古大模型3.0,包括“5+N+X”三层架构。L0层包括自然语言、视觉、多模态、预测、科学计算五个基础大模型,提供满足行业场景中的多种技能需求;L1层是N个行业大模型,华为云既可以提供使用行业公开数据训练的行业通用大模型,也可以基于行业客户的自有数据,训练专有大模型;L2层为客户提供了更多细化场景的模型,提供“开箱即用”的模型服务。盘古大模型采用完全的分层解耦设计,可以快速适配、快速满足行业的多变需求。
针对汽车行业,华为云发布盘古汽车大模型。覆盖了汽车设计、生产、营销、研发等业务场景,全场景提质增效和加速智能汽车量产。让车企的每一位员工都拥有自己的专家助手,让工作更高效,更轻松。针对自动驾驶,盘古汽车大模型通过构建数字孪生空间,生成复杂场景样本,让自动驾驶Corner Case学习训练周期从2周以上缩短到2天内。在商专车场景中,盘古可模拟矿区环境扬尘飞扬、上下长坡、大曲率转弯等场景并进行自动标注,4个月即可适配新的重卡车型。目前,新疆疆纳和内蒙古伊敏露天煤矿使用了华为商专车自动驾驶云服务,可实现60吨的重卡横向误差小于0.2米、精准停靠误差小于0.1米。
硬件决定了自动驾驶的下限。大量的数据需要强大的算力作为支撑,而此前全球的自动驾驶AI大模型研发都非常依赖英伟达的A100/H100芯片。但受限于国际政治及经济因素,国内自动驾驶研发面临缺芯危机,急需国内可用算力与服务。
在这一点上,华为云有足够的“底气”。基于大算力的昇腾基础芯片族,华为云打造了昇腾自动驾驶训练AI算力平台,实现AI算力全栈自主和硬件业务连续性,实现上下联结的软硬协同,为客户提供更全面、连贯、安全、便利的研发环境。
新服务:量产导向,商业化助推产品落地应用
出于对技术卡脖子风险的规避,当前诸多车企和自动驾驶方案商更青睐模块化的云服务产品形式。于是,具有开放性、可供客户自由选择组合的平台将成为未来的主流商业模式。此外,随着中国车企一路高歌挺进海外市场,云服务能力也将跟随车企向外输出,从智能汽车及智慧路网多角度赋能中系品牌拓展国际化市场。
华为云在商业模式上,既提供深度的生态共建服务,也提供灵活的模块化自动驾驶解决方案,实现按能上云,按需搭配,帮助企业减少重复开发的大量成本浪费。同时在出海服务上,也提供了全方位的数智化方案。如今,华为云在全球已有30个地理区、84个可用区,具备全球120+权威合规认证,服务全球170多个国家和地区,通过全球1张车用存算网,满足车企全球业务部署和本地化运营。
新生态:端云协同,车路云共建产业终极形态
2023年6月2日,国常会首提“车能路云”融合发展。对于数据闭环而言,从测试区域的有限车上初步实现闭环,到逐步泛化至量产车上形成规模,自动驾驶将会继续协同路端数据,通过车、路、云、人、网、图等多方感知叠加,同时充分发挥云服务的支撑能力,打开更大的想象空间,最终打造更好的出行生态体验。
在生态贡献上,深厚的企业沉淀让华为云成为行业中的佼佼者。华为云形成“1+3+M+N”全球汽车产业云基础设施布局,利用“M”个分布式车联网节点和“N”个车用数据接入点实现海量数据高效上云、极速传输,为端云协同构建强力基础。同时,华为云凭借ICT优势,在车端、路端、云端都继推出相关产品,从测试园区到城市道路,华为云携手生态伙伴,将智能的车和聪明的路连接起来,共同推进自动驾驶落地成熟。
五、行则将至,数据闭环助跑自动驾驶跃迁升级
数据闭环的发展首先是数据,然后是闭环。以数据为载体形成算法的持续迭代,核心在于“环”的跑通。在行业内各方企业携手共进的过程中,云服务商起着至关重要的作用,集清洗、挖掘、存储、标注、计算等多环节数据处理功能于一身,让数据有据、闭环成环。
自动驾驶是美好祈愿,是必行之势,一切正是方兴未艾。大模型的爆发同时赋予了自动驾驶更多想象空间,也成为了数据闭环发展的充要条件,而云服务将作为基础底座支撑大模型、赋能数据闭环。未来,在云服务能力加持下,大模型+数据闭环的实现,将助力自动驾驶更快发展、更稳生长。
以上观点来源于《云服务新引擎,高效驱动自动驾驶数据闭环发展白皮书》,关于数据闭环更多相关内容,详见《云服务新引擎,高效驱动自动驾驶数据闭环发展白皮书》,链接https://www.iyiou.com/research/202309301266。如您对报告内容感兴趣或者有任何问题,欢迎联系报告作者徐启惠:xuqihui@iyiou.com,黄时雨:huangshiyu@iyiou.com。