5月27日消息,已凝聚477万开发者的深度学习开源开放平台——百度飞桨迎来新的一波大更新。
近日,WAVE SUMMIT 2022深度学习开发者峰会上,百度 AI 技术生态总经理马艳军公布了飞桨最新的技 术、产品、生态进展,包括“5个产品方面”和“3个共创领域”的全新升级。
马艳军强调,飞桨的使命是“让强大的AI人人可用”。“强大”指的不是做浅的AI,而是深度的技术,同时又把使用门槛降得很低,让人人可用。飞桨的持续升级更新就是通过把技术做得更强、更自动化、更标准化,进而实现进一步降门槛,最终做到“强大AI人人可用”。
这里一起来看看,此次飞桨都有哪些新升级。
一、飞桨开源框架v2.3版发布 带来四大核心升级
马艳军介绍,从2019年“飞桨”中文名首次亮相,飞桨框架按照一年2个大版本的节奏做持续更新。此次正式发布飞桨开源框架v2.3版,进一步提供深度定制开发能力,并通过自动化等方式全面提升框架使用体验。
飞桨框架v2.3版在开发、训练、推理部署和云四个方面实现升级。
其一,灵活的深度定制开发:自2019年推出动静统一编程路径以来,此次新版本奉新针对高阶开发者深度定制开发需求,推出高复用性算子库,极大降低开发成本。典型算子内核(如einsum)代码量降低至业内领先水平;通用异构参数服务器架构升级,适配新硬件代码量从万行减少至千行,仅需添加图采样策略即可实现GPU三级存储图检索引擎。
其二,自动调优的高性能训练:针对开发者性能调优的困难,推出业内首个全流程性能自动调优方案。充分发挥软硬一体融合优势,关键环节感知硬件特性自动调优,开发者无需了解硬件特性,即可获得与专家级手工优化水平相当的性能。
其三,自动化压缩与高性能推理部:针对模型压缩对训练、推理、硬件特性等多方面依赖的复杂性,推出业内首个自动化压缩功能,通过蒸馏微调解除对模型训练代码的依赖,感知硬件延时,自动选择最优压缩方案,压缩精度与手工方法相当,代码量减少50%以上;高性能推理引擎实现端到端深度优化,端、边、云多平台推理性能全面提升。
其四,云上飞桨:针对多算力中心数据、算力共享面临的安全、效率挑战,推出业内首个异构多云自适应分布式训练架构,支持多个算力中心联合训练,实现算力共享与知识共享。通过多云聚合,充分发挥智算网络整体效能,赋能AI产业规模化生产及应用;飞桨专属云上部署编排工具,仅需两行配置,即可定制云上开发部署环境,基于多套件多模型配置模板,可快速完成多模型自由组合,实现AI应用高效落地。
二、“训推一体导航图”发布
真正把框架用好,还是需要结合场景,做跟场景的对接,做真正懂场景的功能。
此次飞桨“推理部署导航图”升级为“训推一体导航图”。 为AI 产业应用落地提供从开发、训练到推理部署的全流程智能导航。
三、飞桨产业级开源模型库升级
此次,飞桨产业级开源模型库,产业级开源算法超过500个,同时结合产业实际场景,打造的精度与性能平衡PP系列特色模型由13个新增至23个。
四、产业模型选型工具发布
如前所述,百度飞桨的产业级开源算法超过500个。模型如此多,开发者又该如何指导自己的业务到底该用哪一个模型和算法来解决呢?
因此,飞桨的“产业模型选型工具”应运而生。
据悉,“产业模型选型工具”源于飞桨的长期实践经验积累,能分析出用户真实产业落地诉求,并为开发者提供全流程选型建议,配套典型范例教程,最终降低AI应用落地门槛。
五、PaddleScience赛桨 首亮相
此次,飞桨继发布量子机器学习开发工具集量桨Paddle Quantum和生物计算平台飞桨螺旋桨PaddleHelix之后,面向AI for Science领域全新发布PaddleScience赛桨(v1.0 Beta),在更泛的科学领域,比如物理、化学、流体力学等,赋能基础科学研究。
据悉,PaddleScience赛桨具备支持多领域多场景算例、丰富的算法和开发接口、端到端核心框架功能支持、广泛适配异构硬件四大特征,能助力AI与科学计算领域深度融合,加速前沿技术在产业中的应用落地。同时,飞桨框架可以跟超算中心做软硬一体的深度适配,通过PaddleScience提供更通用、泛化的工具。
三大共创计划
基于飞桨大航海计划2.0,此次飞桨发布三大共创计划,推动中国最强大的AI开发者生态建设。
一是飞桨产业实践范例库共创计划,联合更多伙伴打造深度学习行业应用标杆,共享生态收益;
二是飞桨AI for Science共创计划,协同产学研合作伙伴打造AI for Science开源生态,推动科研创新与产业赋能。
三是飞桨硬件生态共创计划,从共聚、共研到共创,携手合作伙伴,软硬融合创新,共建繁荣硬件生态。
谈及硬件生态,马艳军表示,“AI芯片和深度学习框架共同构成AI时代的基础设施。在人工智能技术设施体系中,深度学习框架处在贯通硬件和应用的“腰部位置”,影响到整个人工智能体系建设以及产业竞争的进程甚至结果,是可以产生“上游效应”的重中之重。框架适配直接决定了硬件能否最大程度地发挥其计算性能,能否屏蔽底层基础不一致带来的高额研发成本,从而形成竞争优势。”
马艳军强调:“国产深度学习框架能否发展起来,以及国产深度学习框架能否跟芯片一起协同发展起来,直接关乎我国人工智能产业发展的根基。但框架和芯片的适配融合是个双向的工作,不是单方行为,需要框架和芯片紧密合作。”
目前,飞桨提供了硬件接入和适配的统一方案,提供了算子开发与映射、子图接入、整图接入、编译器接入一整套接入方案,能够有效对接不同成熟度的芯片;也是当前业界接入成本最低的方案。到现在为止,飞桨已经适配了30多款芯片,基本上覆盖了国内外最主流的芯片。
谈及飞桨的持续升级,马艳军表示,飞桨升级的核心驱动力来自三个方面:技术融合创新、以开发者需求为首位的功能体验、以及与生态共创共享。
以飞桨的本次升级为例,高复用性算子库、自动压缩技术、多云异构训练架构也都是技术持续创新的结果;产业模型选型工具就是针对广大应用开发者经常在飞桨社区提的问题作出的回应;训推一体工具链、硬件统一接入方案分别是在跟模型开发者、硬件生态开发者共创共享过程中驱动的。