编程语言应用

注册

 

发新话题 回复该主题

Meta让150亿参数语言模型会从头设计 [复制链接]

1#
北京看白癜风最好的地方 https://jbk.39.net/yiyuanzaixian/bjzkbdfyy/sfxbdf/

编辑:编辑部

Meta最新力作!经过训练的语言模型直接化身「造物主」,可以设计、生成蛋白质,生命的终极奥秘要被人工智能发现了吗?

AI在生物医学领域再次获得新进展。没错,这次还和蛋白质有关。

不同的是,过去的AI是发现蛋白质结构,这回开始自己设计和生成蛋白质结构了。如果说过去是「检察官」,现在说是进化成了「造物主」也不是不行。

参与本项研究的是Meta的AI研究机构中包括FAIR的蛋白质研究团队。作为在Facebook任职多年的首席AI科学家,YannLeCun也是第一时间转发了这个自家团队的成果,并给予高度评价。

BioRxiv上的这两篇论文是Meta在蛋白质设计/生成方面的「惊人」的成果。该系统使用模拟退火算法来寻找一个氨基酸序列,该序列的折叠方式符合所需的形状或满足约束条件(如对称性)。

ESM2,原子层级结构预测的模型

你猜的没错,这项研究和这两篇论文的基础,正是不久前由Meta提出的蛋白质预测和发现的大语言模型:ESM2。

这是一个亿参数的大模型。随着模型从万个参数扩展到0万个参数,内部表征中出现的信息能够在原子分辨率下进行三维结构预测。

利用大型语言模型来学习进化模式,可以直接从蛋白质序列中端到端地生成准确的结构预测,在保持准确性的同时,预测速度比当前最先进的方法快60倍。

事实上,借助于这种新的结构预测能力,Meta在短短两周内用一个由大约个GPU组成的集群上,预测出了图谱中超过6亿个宏基因组蛋白质的序列。

两篇论文的通信作者,来自MetaAI的AlexRives表示,ESM2语言模型展现出的通用性不仅超出了天然蛋白质的范围,而且还能够可编程地生成复杂和模块化的蛋白质结构。

蛋白质设计「专用编程语言」

工欲善其事,必先利其器。

为了让蛋白质设计和生成更有效率,研究人员在之前成果(主要是ESM2)的基础上,还专门开发了一种面向蛋白质设计的高级编程语言。

论文

分享 转发
TOP
发新话题 回复该主题