编程语言应用

注册

 

发新话题 回复该主题

生成式AI时代,云计算能否再为开发者增添 [复制链接]

1#

作者

桑红妍

AI无疑是今年编程开发行业最激动人心的话题。大模型的迅速崛起让行业看到了新的市场机遇,而基于大模型技术的AI辅助编程工具已经初步展现出了颠覆开发工作流的潜力。企业和开发者意识到,人工智能技术将很快重塑每一个软件领域,通过自然语言交互和强大的推理能力创造全新的用户体验。

AI和云原生是相辅相成、不可分割的。由于巨大的存储和算力需求,大部分AI应用都需要云端支持,大模型应用更是如此。如果说过去几年云原生已经在相当程度上影响了软件产业,大模型热潮更是意味着云原生已经成为开发者的标准选项。在云端开发、部署、运营AI应用很快将成为每一位开发者的标准技能和工作流。历经PC和移动互联网变革后,软件产业又站在了新的历史转折点。

在这一技术转型时刻,开发者的心态普遍是激动而又迷惘的:该如何充分把握当下的技术变革机遇?如何利用大模型和云原生开发提升自己的开发效率,并改善应用的用户体验?如何将现有开发流程顺畅转向AI+云原生的新范式?要回答这些问题,仅靠程序员自己的思考总结远远不够,需要行业共同努力来探索解决方案。11月2日,阿里云和InfoQ联合举办了云栖大会特别节目《云栖“码”上聊》,围绕AI开发、云原生开发和AI时代的数据平台变革展开讨论,并向开发者介绍阿里云在这些领域的最新成果与见解。InfoQ将本期节目整理成文,以飨读者。

生成式AI崛起,编程开发将迎来怎样的变革?

当今依托大规模人工智能模型的应用正在全面开花,每一个行业都在尝试将大模型融入现有应用,改变传统的交互模式,创造全新的用户价值和体验。对于企业与开发者而言,当务之急是找到能够快速利用大模型能力,同时又能与传统的开发工作流无缝兼容的开发方法,才能站在潮流前端,快速抓住市场机遇,开拓生成式AI应用这一片蓝海。

目前,尝试运用大模型构建软件解决方案的开发者主要分为两大类别。第一类是比较熟悉机器学习技术,有能力自行训练、微调和部署大模型的专业开发人员。对于他们而言,当下面临的主要挑战是硬件基础设施的算力难题。训练一个GPT3.5级别的大模型,一般需要数千张GPU的集群运行两个月左右的时间。开发者需要尽可能优化集群的互联效率,减少每张GPU等待数据传输和同步的空闲时间;训练期间还会频繁出现某个迭代数据出错的困境,需要开发人员手动回滚、检查和对齐数据。这些困难往往占用了开发者的大部分精力,也提高了模型的训练成本和周期。

面对这一困境,阿里云给出的答案是名为PAI(PlatformofArtificialIntelligence)灵骏的大模型训练平台。该平台具有以下优势:

PAI灵骏带来了7.0版本的PAI网络架构,将点对点传输带宽提升到了3.2TBps,同时利用RDMA方式降低传输延迟。

灵骏推出了TorchAcc分布式训练框架,将程序分布式运算的复杂细节完全隐藏在后端,大大减轻了前端开发者的优化负担。

灵骏通过快速回滚、冗余硬件和分钟级Chekpoint的方式,大幅提升了集群的自愈能力,解决了大模型训练和推理时频繁出现的错误和数据恢复挑战。

开发者在灵骏平台上训练模型时,平台会完全接管网络优化、分布式计算优化和错误修复的工作,不仅能有效提升每一张GPU的实际利用率,还让开发者可以空出时间来做其他工作,效率大大提升。更为重要的是,灵骏并不需要开发者在训练自己的大模型之前专门学习和研究训练底层设施的各项细节,这让更多开发团队和企业可以更快地进入这一领域,提早创作出为特定业务领域优化的行业模型产品。

另一大类开发者则更多来自非技术背景的领域,例如艺术设计师、业务人员、科研人员、媒体工作者等等。基于大模型技术发展而来的AIGC产业正是他们活跃的舞台。他们在自己所属的行业中已经积累了丰富的素材、作品和经验,希望能通过大模型迅速利用这些资产,构建自己的专属知识库,为今后的工作构建高效率的智能助手。例如,建筑设计师会希望大模型收集自己的作品和素材数据后,能够根据提示自动生成符合自己风格的新作品参考,自媒体作者想要构建专属知识库,在创作新内容时快速调用以往的内容积累,等等。

这类开发者普遍没有编程经验,或者对代码并不在行。他们更希望能够通过简单的模块编排来实现自己想要的业务逻辑,并不关心背后的模型细节。对此,PAI集成了很多备受好评的行业和领域模型并通过线上服务和API的方式将这些具体的能力提供出来,甚至按照场景封装成低代码的模版,使得这些人员也能参与到大模型能力开发工作中。PAI还发布了能够一站式集成了热门的AIGC模型与配套的工具箱,使设计师能够迅速上手AIGC创作。在娱乐、服装、建筑、工艺美术行业,都有客户开始使用PAI平台的AIGC能力来创作商业作品。例如,有客户就将紫砂壶工艺品过去几个世纪的图样输入PAI平台进行精细整理和打标,最后训练出了一个行业模型来生成紫砂壶的全新设计图案。

值得注意的是,PAI平台本身就是构建在阿里云的云原生体系上的,与阿里云Serverless云原生架构紧密结合。换句话说,想要用好PAI,就要适应基于云原生Serverless的开发新范式,替换传统的,基于本地的开发工作流。另一方面,阿里云也在持续改进Serverless开发平台,为开发者带来更加便捷、低成本、高效率的开发体验。

全面Serverless再进一步,云原生开发迈向新台阶

回顾编程开发行业数十年的发展,从机器代码到汇编语言,再到高级语言甚至低代码工具,开发人员手上的工具越来越强大,程序员需要掌握的代码专业知识也愈加轻量化。进入云原生和AI时代,编程范式又迎来了下一次迭代,这就是被阿里云成为流程式开发的创新模式。

从应用视角来看,业务逻辑本质上都是一种业务流程,流程是逻辑的自然表现。应用的本质都是获取输入,经过处理产生输出,而各种数据从输入端到输出端的整个过程理应与业务需求相适应。应用架构并非无源之水,其设计和实现最终都应以完成业务目标为宗旨。因此,理想的应用开发流程应该与业务流程对应,使开发人员和业务人员都能清晰地把握应用与业务的各个环节之间的关系,并根据业务变化快速调整应用实现。

基于业务流程开发应用,就需要应用的各个部分高度解耦,以模块化的形式组装起来。但软件行业传统的单体式架构很难做到这一点,开发人员在实践中往往会陷入代码库愈加混乱无序的困境,造成软件难以维护更新的问题。而如今,基于云原生Serverless的全新开发范式解决了这一难题。Serverless化的云服务不仅向开发者提供资源,其本身也成为了构建应用各个部分的功能模块。将Serverless云服务的原子化构建能力按照业务流程的表现形式组合起来,就可以实现与业务流程完美对应的全新应用架构。基于这种理念的开发方法论,就是阿里云提出的流程式开发范式。它具有以下特征:

模块化,应用的各个部分是原子化的,高度解耦的能力,均可复用、组合;

自动化,阿里云提供了一系列配套工具来降低应用构建的复杂度,使得应用的部署和运维高度自动化;

智能化,流程编排、模块组合、代码编写等工作均可以通过阿里云提供的AI能力来理解和推荐,进一步减轻开发人员的负担;

可视化,业务流程可以通过可视化界面清晰展示出来。

基于流程式开发的理念,阿里云一方面将整个产品体系Serverless化,另一方面推出了云工作流这款新产品,使开发者可以自由、智能地编排云端的数百款服务,甚至第三方的SaaS服务,从而构建原子化的应用。

流程式开发的优势是非常明显的。与传统的开发范式相比,流程式开发通过Serverless服务隐藏了大量后端技术复杂性,使开发人员无需再

分享 转发
TOP
发新话题 回复该主题