Meta AI实验室宣布将开源语言大模型OPT

Meta AI 实验室高调宣布，将开放自己的语言大模型 OPT（Open Pretrained Transformer，预训练变换模型），毫无保留地贡献出所有代码。

不夸张地说，在人工智能圈，这算得上是一个里程碑事件。

这个被称为OPT的大规模语言模型，自建立以来，各项参数与能力便精准对标OpenAI 的GPT3，甚至连缺点都是。后者在全球学术界建立的赫赫声望和随处可见的网络小说续写作品，想必已不必再过多赘述。

简而言之，这是一种利用巨量网络文本与书籍进行训练，可以将单词和短语串在一起组成精彩文本的深度学习算法模型。

它能生成复杂句子，有时候甚至读起来与人类撰写毫无无异（想粗浅了解GPT，可以看这篇《让00后疯狂的超级算法》）。某种程度上，它所具备的神奇人工文本模仿能力，被视为人类通往真正机器智能道路上的一个巨大突破口。

GPT3生成的文本

然而，“培育”大模型的代价，是昂贵的人力成本与成千上万块显卡。因此，许多学者都认为，把这种大模型开放出来，几乎不可能发生在“游走在垄断边缘”的大型科技公司身上。

譬如，OpenAI 的GPT3曾被专家粗略估算过，至少投入了1000万美元。他们后来为了摆脱入不敷出的现状，将GPT3作为一项付费服务来推广