热门文章
- GPT-4技术报告(附中、英文PDF下载,...
- Meta开源对标神经网络GPT-3的大规模...
- 图解网信办《生成式人工智能服务管理...
- 《哈工大-ChatGPT 调研报告 (仅供内部...
- 《ChatGPT的技术发展路径和带来的影响...
- 《AIGC行业深度报告(7)-ChatGPT:三大...
- 元宇宙“由虚向实”背后:生成式AI技术...
- 《AIGC深度报告:新一轮内容生产力革命...
- 《中国人工智能产业研究报告(Ⅴ):道阻...
- 《兴业证券-AIGC全方位解析与展望》(附...
- 科技公司史上第一次:Meta开源与GPT3...
- 《中国信通院-人工智能生成内容(AIGC)...
- 用全球最快 AI 超算秀肌肉后,黄仁勋...
- 元宇宙的最大变量AI注入后的化学反应
- 《增长黑盒&黑盒点评-2023中国AIGC应...
- 《ChatGPT:开启AI新纪元》(附PDF下载)
- 为元宇宙「打地基」,Meta 开发世界最快...
- AI+元宇宙!Meta离梦想更进一步?
- 微美全息战略投资海百川,AI-Star构建...
- 逐浪AIGC⑤丨大模型狂飙
Meta开源对标神经网络GPT-3的大规模语言模型OPT
人工智能语言处理领域的里程碑事件
Facebook改名Meta后,“财务厄运”并未因此终止,但技术作风却一如既往的大胆。
虽然自2022年2月以来,公司股价已下跌30% ,市值损失超过2500亿美元。但是,这并没有影响开发者们的精神世界与工作动力。
本周,来自Meta一小撮程序员的疯狂举动,在全球AI开发者群体中引发了巨大骚动——
Meta AI 实验室高调宣布,将开放自己的语言大模型 OPT(Open Pretrained Transformer,预训练变换模型),毫无保留地贡献出所有代码。
不夸张地说,在人工智能圈,这算得上是一个里程碑事件。
这个被称为OPT的大规模语言模型,自建立以来,各项参数与能力便精准对标OpenAI 的GPT3,甚至连缺点都是。后者在全球学术界建立的赫赫声望和随处可见的网络小说续写作品,想必已不必再过多赘述。
简而言之,这是一种利用巨量网络文本与书籍进行训练,可以将单词和短语串在一起组成精彩文本的深度学习算法模型。
它能生成复杂句子,有时候甚至读起来与人类撰写毫无无异(想粗浅了解GPT,可以看这篇《让00后疯狂的超级算法》)。某种程度上,它所具备的神奇人工文本模仿能力,被视为人类通往真正机器智能道路上的一个巨大突破口。
GPT3生成的文本
然而,“培育”大模型的代价,是昂贵的人力成本与成千上万块显卡。因此,许多学者都认为,把这种大模型开放出来,几乎不可能发生在“游走在垄断边缘”的大型科技公司身上。
譬如,OpenAI 的GPT3曾被专家粗略估算过,至少投入了1000万美元。他们后来为了摆脱入不敷出的现状,将GPT3作为一项付费服务来推广——只提供API,但不会开放模型本身和底层代码。
然而,Meta表示,会把不同参数规模的训练模型以及“OPT如何建造和训练”的详细信息分发给研究人员。
其中,也包括一份超过100页的算法训练日志——实验室记录下的每一个错误与崩溃现象,训练和添加数据的过程,以及有效与无效策略。
“考虑到计算成本,如果没有大量资金,这些模型很难复制。对于少数通过api可调用的模型(这里暗指GPT3),如果不能获得完整的模型权重,就难以进行研究。”他们在OPT的论文摘要里鲜明表达了态度,
“因此,我们推出了OPT(这是一个只有解码器的预训练变换模型),参数范围从125M到175B,目标是全面且负责任地分享给感兴趣的研究人员。”
“是真的开放。”
一位“正准备去看看他们实现情况”的中国开发者查阅了MetaAI网站后,告诉虎嗅,这的确是一个好消息。“从现有数据来看,整个训练代码都被贴出来了。Meta很了不起。”
擅用集体力量
这一次开源,毫无意外受到了学术界的高度认可,甚至有科学家称其是一个伟大的举动。
究其原因,一方面,一项强大技术,如何在一个封闭的企业精英团队中诞生,一直是包括学界在内大众好奇的焦点;
另一方面,“开源”的优势在于利用集体力量来解决问题,因此长期被硅谷的有识之士所倡导——更多人参与进来,技术突破便来得越快,漏洞便填得越快。
尽管大部分人几乎只记住了GPT3(因为它是迄今为止最好的“通才”),实际上,除了Meta,谷歌、微软都曾在2020年都推出过相似的大模型,但由于都是“关起家门”做私密研究,因此在“透明度”方面饱受诟病。
譬如,2021年的“谷歌人工智能伦理学科学家辞退事件”便引发了长达一年的“批判海啸”,而这一切都是因一篇探讨“语言大模型暗藏重大隐患”的论文而起。
被谷歌无理辞退的人工智能伦理科学家Timnit Gebru
没错,GPT3们不仅缺陷多多,而且非常致命。尽管多数责任应归咎背后的人类文本。
创业公司 Latitude 曾在2019年推出过一款基于GPT3开发的半开放冒险游戏 AI Dungeon。但没想到,随着用户增多,OpenAI监测到,有玩家竟然利用这项高阶技术,自发生成儿童性爱场景。
虽然用户利用GPT3生成的污言秽语也曾遭遇过广泛抨击,但这件事仍然让大众哗然。这也是外界第一次意识到,GPT3这类大模型更为深刻的阴暗面。因此,Latitude增加了审核系统,但却引发了与用户体验相关的一系列麻烦。
AI Dungeon游戏界面
然而,“越是危险,越不能回避危险”。这也是Facebook自称选择开放的关键原因之一。
Meta AI 负责人Joelle Pineau承认,团队解决不了所有问题,包括文本生成过程中的伦理偏见和恶毒词句。因此,他们诚邀天下豪杰,共同学习;而实际上,这也是一种彼此监督。
“我认为,建立信任的唯一途径是极端透明。”
我们查看了Meta提供的下载通道,发现实验室根据每个模型的参数规模设立了不同的下载条件:300亿参数以下可随意;而1750亿参数值模型,也就是与GPT3大小相同的OPT,则需要填写申请表证明用于非商业用途,获得批准后方可下载。
翻过大山,仍然是山
当然,理论上这个做法是可圈可点的,但一个更大的问题出现了:如果你要使用这个1750亿参数值的大模型,就意味着你的计算机要带得动它。
换句话说,你需要拥有足够的算力,这里可以直接换算成“财力”。
“一个参数如果是FP32,也就是4个字节大小。而1750亿参数值则先相当于7000亿字节,大约700G显存空间。而现在一张普通显卡是20GB。” 一个开发者向虎嗅称赞了Meta的做法,但他认为,对于普通开发者群体,该模型仍然是不可承受之重。
“虽然可以把不同参数放在不同显卡里的框架里,但据个人体验,目前仍然欠缺开源成熟的框架。”
因此,截至目前,这个开源大模型,仍然是属于大型科技公司、拥有充足资金的大型实验室与学术机构的“内部游戏”。
曾有家尝试做中国版GPT3的创业公司叹息说,他们也在想方设法实现GPT3可以实现的文字能力,但的确掣肘于有限算力。
事实上,除了巨头,GPT3一直难以解决的商业化难题,是让绝大部分企业呈观望之势的根本原因。尽管大型语言模型已成为过去几年来人工智能领域最热门的趋势之一。但至少目前来看,除了品牌营销优势,OpenAI 的投入产出比,很不尽如人意。
图片来自MIT
此外,在西方社会普遍认知中,比起技术突破,它们带来的巨量能源消耗更是一种原罪。
科学家Emma Strubell与合作者在2019年发表的论文,就揭露了大型语言模型在碳排放上超乎想象的环境破坏力(上图)。
他们发现,用一种神经结构搜索方法(NAS)训练出的特定语言模型,可产生284吨(626155磅),上图)二氧化碳,这大约是5辆小轿车长达5年的排放总量;
而谷歌搜索引擎的基础——BERT语言模型训练,则产生了0.65吨二氧化碳,Strubell提醒,这相当于一个乘客从纽约到旧金山往返航班的碳排放量。
更需要注意的是,这些数字都应被视为“最保守数值”:只是在一次性训练中的模型成本。
因此,考虑到能源效率与环境成本,西方不少科学家与开发者认为,某种程度上,大模型的训练开发也是在允许大型企业掠夺着环境资源,而这些成本,将会平摊在所有人身上。因此,他们并不希望企业加入到大模型队列中。
“尽管是无意识的,但这只会加大对边缘人群的打击。”
开源商业回报,巨大且无形
很多时候,人们会对开源模式发出这样的质疑:
有什么能比“两个来自竞争对手公司的员工,可以为同一个目标协作,还免费送出自己成果”更不可思议的事情?
譬如,可能连小学生都清楚的安卓系统,就是基于开源的Linux操作系统。这意味着,任何人都可以查看绝大多数安卓手机的核心代码,修改并分享它。
事实上,“开源”正是为不同利益群体,提供一种“利远大于弊”的长期技术合作方式——你增加的独特元素我能使用,那么我迭代的版本你也不会错过。
这种“互利”态度,让看似不可思议的“协作”成为可能,经过100多年来的反复修正,早已成为一种常态。如今,Linux 就是由全世界超过15000名程序员共同开发和维护。
而在人工智能领域内,最有名的案例则是谷歌的深度学习开源框架Tensorflow。它已是开发人工智能应用程序的标准框架之一。非常有趣,当Tensorflow在2015年开源时,外界也是发出了跟这次Meta开源大模型同样的疑问:
作为开放者,谷歌为什么要放弃对自己搜索业务如此重要的东西?
一部分原因上面讲过——外部开发人员把软件做的更好,该软件就能适应谷歌未来商业化的很多需要。就像当下,大模型商业化还尚不明朗,那么前期工作的开放性与主导性,就变得至关重要。
根据谷歌自己公布的数据,已有超过1300名外部人员在TensorFlow上帮助升级迭代。而完善后的Tensorflow,则为谷歌云上的相关付费服务输送了强力支持。
另外,我们永远不要小看开源软件为企业带来的巨大营销价值。
它最一流的“带货效果”,便是吸引和留住一众顶尖人才,不知道为大厂省下多少高昂的人力资本。这也与当下Meta开始收缩招聘规模的现状,做了完美呼应。
当然,优秀开源软件打的时间差和聚拢效应,将会使后来者很难在短时间内形成气候,Tensorflow与一众国产深度学习开源框架的往事就是最好的例子。
因此,Meta这一决定,将会让OpenAI陷入一个尴尬的境地——虽然名声很大,但它毕竟是一家创业公司。从另一个角度看,在寻找商业落地的过程中,大厂通过开放、免费等手段遏制对手,取得胜利,这种事情似乎永远都在发生。
但好处在于,这会让一家公司意识到,在商业世界,没有一分钟时间可用来顿足,绝不能停下创新的狂奔步伐——近期他们发布的达利系统第二代,也许是以GPT3为跳板,向文字与视觉融合方向跃升的最好标志。
元宇宙神评
相关主题
-
科技公司史上第一次:Meta开源与GPT3参数相当的大语言模型OPT
内容概要:Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措,可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。
-
让00后疯狂的超级算法
内容概要:即便是计算机视觉,也仅仅是在感知层面取得了突破,并未在下一次层——语义和逻辑推理上多大突破。这也是为何自动驾驶的“规划决策”如此难。
-
逐浪AIGC⑱丨迈入混战时代:科技公司竞速AI大模型
内容概要:目前AI大模型处于百花齐放的状态。
-
逐浪AIGC⑬丨英伟达新GPU“炸场”,未来人人都可以是程序员?
内容概要:AIGC算力成本有望大降?
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
Meta持续动荡:AI部门拆散重组,杨立昆投身元宇宙部门
-
元宇宙Metaverse或许正在带来隐私风险
内容概要:对于元宇宙的发展,人们的想法非常类似,他们期望元宇宙的创造者设计一个为人们服务的世界,而不是让人们为元宇宙提供服务。
-
据报道,Meta 已停止向广告商推销元宇宙
内容概要:在一份关于最近一轮的裁员声明中,扎克伯格仅两次提到了元宇宙,而人工智能开发则被描述为该公司的“最大单笔投资”。
-
图解网信办《生成式人工智能服务管理办法(征求意见稿)》V1.0.0(附PDF下载)
内容概要:2023年4月11日,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》,面向社会公开征求意见,旨在促进生成式人工智能技术健康发展和规范应用。
-
逐浪AIGC⑰丨AI迈入群雄逐鹿时代 阿里巴巴全方位迎战
内容概要:张勇的新开始,也是阿里云的新征程。
-
逐浪AIGC⑯|Meta入局来势汹涌 “生成式AI”引发技术争鸣
-
AI+元宇宙!Meta离梦想更进一步?
-
逐浪AIGC⑮ | AI伦理之惑:马斯克等科技大佬为何拦停GPT-5
内容概要:如今,我们的社会已经暂停其他可能造成灾难性影响的技术,对于人工智能也应该如此,“让我们享受一个漫长的‘AI之夏’,而不是毫无准备地进入秋天”。
-
逐浪AIGC⑭|黄仁勋对话OpenAI创始人 现代AI和ChatGPT如何诞生
内容概要:它还是那个神经网络,只是变得更强大。
-
放弃元宇宙,转型AI?Meta:不,两个我都要
-
逐浪AIGC⑩丨AI热潮下的惊喜、失落与期待
内容概要:国内AI生态的构建同样值得期待。
-
逐浪AIGC⑥丨文心一言开放测试 百度股价逆风翻盘
内容概要:AI大模型时代降临,本土大厂机会来了。
-
《AIGC行业深度报告(7)-ChatGPT:三大主线,AI算力需求井喷!》(附PDF下载)
内容概要:政策端与产业端持续发力,算力建设持续提速;大模型引爆海量算力需求,AI产业量价齐升;全球算力市场持续火热,AI芯片群星闪耀。
-
《兴业证券-AIGC全方位解析与展望》(附PDF下载)
内容概要:Gartner 预计,2022 年 AIGC 占全球数字数据量为1%,到 2025 年,这一比例将提升至10%。
-
《增长黑盒&黑盒点评-2023中国AIGC应用研究报告》(附PDF下载)
-
【元宇宙之约】第019期:AIGC能快速构建元宇宙行业的基础设施
内容概要:在雷涛看来,大模型只是解决基础能力,真正到每一个领域应用还是需要去做自己的数据训练;基础模型需要真正去理解用户,因为用户的问题是千差万别,答案也会千差万别。
-
【元宇宙之约】第018期:AIGC将为元宇宙解决两个技术难题
-
GPT-4技术报告(附中、英文PDF下载,含GPT-4 System Card_中文)
内容概要:这份技术报告介绍了 GPT-4,一种能处理图像和文本输入并生成文本输出的大型多模态模型。这类模型非常重要,因为它们有潜力被广泛应用于对话系统、文本摘要和机器翻译等领域。
-
英伟达元宇宙获得新硬件支持
内容概要:英伟达负责专业可视化的副总裁Bob Pette在本周举行的年度GTC(GPU技术大会)前的新闻发布会上表示,这家芯片制造商推出了一款名为OVX 3的新服务器,旨在创建和操作元宇宙。
-
逐浪AIGC⑫|制造“iPhone时刻”,英伟达再塑AI算力上限
-
逐浪AIGC⑪|半百微软,扎进AI变局
-
逐浪AIGC⑨丨文心一言实测体验:语文满分、数学学渣、画画水平一般般
内容概要:目前大概是个偏科严重的文科生吧。