编程语言应用

首页 » 常识 » 常识 » 华为昇思开源两年成果初现
TUhjnbcbe - 2024/5/13 17:19:00
北京较好的白癜风医院 https://disease.39.net/yldt/bjzkbdfyy/

华为全场景AI计算框架昇思MindSpore开源已有两年。3月26日-27日,昇思MindSporeTechDay活动在线上举办,华为面向开发者公布了目前开源进展和下一步计划。

两年开源将迎拐点

华为昇腾计算业务副总裁田昆阳说:“华为开源昇思MindSpore两年,年轻且充满活力,底层支持的模型类型和数量非常丰富,能够支撑全场景AI应用。”截至年3月,昇思MindSpore社区下载量突破万,社区贡献者超人,服务企业数量超家,与多个科研院所展开合作。

田昆阳说:“我们去年抓原生大模型,就是基于昇思MindSpore构筑的自主可控的大模型,鹏城神农、鹏城盘古、洛迦NET、紫东太初等是4个已经发布的大模型,在研发中的还有十多个,我们通过大模型收编小模型,做大泛化性、覆盖多场景,在这个赛道上我们还要坚持下去。”

目前,昇思MindSpore的开发者已经突破64万,核心贡献者近名,外部贡献者名。“这达到了一种临界状态,外部的贡献者已经超过华为内部的编程人员,整体份额预估达到5.6%,开源两年已经打下一个很好的生态基础,拐点马上要到来。”田昆阳表示,今年随着南向芯片越来越丰富,我们希望未来整体份额能够达到20%。

华为将昇思MindSpore作为AI的根技术来培养,AI框架就是在实用数据上用AI算力孵化算法,因此AI框架是开发的必备工程,实际上也以看作是AI开发的操作系统。“我们把AI框架打造成根技术,根繁叶茂才能长久发展。”

此外,昇思MindSpore重心也放在培养人才上,一方面与教育部合作培养,另一方面计划打造昇思开源创新基地,通过社团运作等多种方式,目标要覆盖多所科研高校,打下一个扎实的人才基础。

昇思MindSpore下一步重点

据昇思MindSpore首席架构师金雪锋介绍,昇思MindSpore在能力上下一步将有四个变化。

首先,昇思MindSpore在AI大模型上有很强的竞争力,已经支持了业界最多的并行模式,包括模型并行、流水线并行,做了很多大模型的训练和推理实践。比如鹏城盘古大模型、紫东太初多模态大模型等。同时在并行的编程接口上做了很多应用性的改进,在手动编程、半自动编程的基础上,今年将提供全自动的并行能力。工程师只需要像单机方式一样写程序就只可以。昇思MindSpore能实现全自动的并行部署和运行。

其次,今年可能会发布新的AI编程语言。随着在线AI训练系统越来越多,科学计算、AI+仿真新业务的拓展,Pathon在工业部署中性能的弱点逐步体现,华为希望通过自主研发编程语言能够比Pathon有很大的提升,目前这个编程语言已经开始进行内测。至于何时发布,金雪锋表示不急在一时,而是要等到编程语言的性能和易用性达到一定要求之后发布。时间点应该是在今年年内完成。

再次,昇思MindSpore今年将融入鸿蒙和欧拉生态,成为内置的AI引擎。在华为的数字底座体系中,鸿蒙是整个终端的底座,欧拉是整个ICT的底座,昇思MindSpore的融入,将使端、边、云真正融合起来。华为将会发布“AI+科学计算+数据分析”的融合解决方案,如已经公布的电磁仿真案例,今年年底会增加AI+数据融合的解决方案,方便开发工程师可以在多种混合业务上统一编程、部署和计算。

最后,要提升昇思MindSpore的易用性。过去两年,昇思MindSpore在功能易用性和完备性上有了不小的提升,但是这两方面一直还是弱点,今年易用性工作将是重中之重,从1.8版本开始会大力普及算子和API。

“如果之后你们看到成百上千的算子上线,大家不要惊讶。”金雪锋说,“经过今年的努力,我相信昇思MindSpore一定会让开发者用得越来越省心。

昇思MindSpore开源初见成果

在两天的线上会议中,来自华为和高校的开发者分享了昇思MindSpore1.6新版本、企业应用案例、AI大模型关键技术、AI+科学计算进展,也帮助开发者深入了解昇思MindSpore的技术创新之处和社区治理方式。

在分享的内容中,干货很多。昇思MindSpore1.6版本在易用性、开发效率、控制流性能等方面带来全新的升级:即时体验的开发套件MindSporeDevToolKit,一键环境管理,5分钟完成环境搭建;基于深度学习的智能代码补全,单模型开发键盘敲击次数可减少30%;开发全流程可视化,代码及对应的图结构及时查看,支撑集群训练性能问题的快速定位。

昇思MindSpore还展示了原生AI大模型成果。通过AI编译器实现多维度混合并行,支持数据并行、数据切片预处理等七维混合并行算法,这是并行维度业界最多、模型结构支持最全、单机容纳模型参数业界最强的AI框架,实现开发并行代码量降低80%、系统调整时间下降60%,单机完成千亿模型参数训练的超强能力。目前已训练出全球首个三模态大模型紫东.太初、全球首个遥感影像智能解译深度学习专用框架(武汉.LuojiaNet),并分别成立了“多模态人工智能产业联盟”和“智能遥感开源生态联盟”,开创了产业落地的新模式。

此外,在科学计算AI新赛道,昇思MindSpore通过架构创新,完成AI计算框架向AI融合框架的演进,通过神经网络模拟的非线性拟合,让科学家无需再解高维方程,提升科技创新效率,大幅度提高开发效率和科学计算性能。

作者丨刘晶

编辑丨徐恒

美编丨马利亚

1
查看完整版本: 华为昇思开源两年成果初现