热门文章
- NEOM旗下数字科技公司推出XVRS – 一...
- OpenXR一统江湖,终结VR/AR标准之争,...
- Meta开源对标神经网络GPT-3的大规模...
- 深入浅出,解读元宇宙应用与实践
- 元宇宙只是社会的衍生而不是全部
- 老牌黑客:在元宇宙实现人生巅峰的关...
- 元宇宙“由虚向实”背后:生成式AI技术...
- 英伟达发布“元宇宙”创作工...
- Epic发布虚幻引擎5,或打开游戏的元宇...
- 元宇宙的建设需要哪些硬件?
- 通往工业元宇宙的数字孪生,为何离不...
- 元宇宙的终极形式,竟然是脑机接口?
- 高通骁龙XR2平台,360度全景的视野,让...
- 香港大学建立全球首个元宇宙双子校园
- 立体逼真的城市细节,室外甚至室内的3...
- 解密通往元宇宙的三大入口,VR先...
- 2024年面世!谷歌将发布首款AR头显,携...
- 全球首款AR隐形眼镜问世:是元宇宙窗...
- 元宇宙、Web3.0入侵生活 科技人才投身...
- CES 2022:三星布置“元宇宙”概念展台
科技公司史上第一次:Meta开源与GPT3参数相当的大语言模型OPT
在生成文本段落、模拟人类对话及解决数学问题表现惊人的大型语言模型,显然是这几年AI发展最热门的领域之一。但这样的大型语言模型不仅能够自行生成有害内容,还可以将这样的内容通过在其上构建的下游应用程序传播开来。
理论上,更多人的参与对问题的解决应该会有所帮助。然而,由于语言模型的训练需要大量的数据和计算能力,迄今为止,它们仍然只是大型科技公司的特有项目。而在更广泛的群体如学界,以及担心人工智能滥用的伦理学家和社会科学家中,只有旁观的选项。
“我相信建立信任的唯一方法是极度透明。”Meta AI 的常务董事乔尔·皮诺(Joelle Pineau)说。当地时间5月3日,Meta AI开放了拥有1750亿参数的大语言模型OPT-175B(Open Pretrained Transformer,OPT)。
对于大型科技公司来说,这是一个前所未有的举动。即使是在大语言模型历史上,这也是第一次毫无保留,把预训练模型、训练代码以及使用代码全部公开。
“我们中的很多人都是大学的研究人员,”皮诺说,“我们知道大学和行业在建立这些模式的能力方面存在明显的差距。让研究人员共同讨论这一技术的好处是显而易见的。”她希望其他人能仔细研究他们的工作,对其进行拆解分析,或者在此基础上构建。她认为,当更多的人参与进来时,突破就会更快实现。
OPT语言模型中约有1750亿个参数(这些参数是神经网络在训练过程中可以被调整的参数),与OpenAI开创性的神经网络GPT-3规模基本相同,同时具有付费服务GPT-3的非凡能力和不可避免的缺陷。
皮诺不讳言,“这是经过精心设计的”,该团队在建立OPT时就考虑在语言任务的准确性和有害性方面与GPT-3相匹配。OPT是为了给研究人员提供一个类似的语言模型来进行研究。
OpenAI拒绝了对Meta的声明发表评论。
OpenAI的母公司谷歌正在探索在其搜索产品中使用大型语言模型,但也因为缺乏透明度而受到批评。谷歌在这方面受到诸多争议,其曾在人工智能伦理研究员Timnit Gebru想要发表一篇有关谷歌在当时的语言系统可能会从网站上学习包含偏见和仇恨言论的论文后辞退他,最近又解雇一位对已发表研究提出异议的员工。
那么,Meta为什么要这样做呢?毕竟Meta也是一家很少提及脸书和Instagram背后算法工作原理的科技公司,还曾以让其内部研究团队隐瞒对其不利的问题而闻名。
《麻省理工科技评论》认为,Meta采取不同方法的一个重要原因是皮诺本人,她多年来一直在推动人工智能研发过程中的透明度。
在核心学术会议发表研究的方式上,皮诺要求研究人员必须将包括代码和有关如何进行实验的详细信息与结果一起提交。她自2017年加入 Meta(当时的Facebook)以来,一直在其人工智能实验室倡导这种文化。
“Meta对开放科学的承诺是我在这里的原因,”皮诺说,“我不会因为其他条件来到这里工作。”
除了代码外,Meta也公布了开发日志。日志包含团队成员对于数据训练的每日更新:如何将其添加到模型中,以及何时、哪些有效、哪些无效。在100 多页的笔记中,研究人员记录了从2021年10月到2022年1月不间断运行的三个月训练过程中的每个错误、崩溃和重启。
斯坦福大学基础模型研究中心主任Percy Liang将大模型的开放程度总结成4个层次:
第一层论文开放,证明一些设想的可行性,并提供构建思路;第二层API开放,允许研究人员探索和评估现有模型的能力(如推理能力)和限制(如偏见);第三层模型权重开放和训练数据开放,允许研究人员逐步改进现有模型,开发更深入的可解释性技术和更有效的微调方法,让研究人员更好地理解训练数据在模型行为中的作用;第四层计算能力开放,允许研究人员尝试新的体系结构、训练目标和过程、进行数据融合,并在不同的领域开发全新的模型。
“更高层次的开放能让研究者专注于更深的问题,也同时会带来更多风险。”Percy Liang明确指出这一点。
Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措,可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。
“我不能告诉你,这种模型不会产生其他可怕的风险。”皮诺驳斥了“仅仅是因为它太危险”,所以不应该发布模型的想法。她说道,“我理解这些模型的弱点,但这不是一种研究心态。”
据《麻省理工科技评论》,曾在被谷歌因“违反了其行为准则”辞退的人工智能伦理研究员玛格丽特·米切尔(Margaret Mitchell)认为,OPT的发布是一个积极的举措。但她认为透明度是有限度的。她提问道,“语言模型是否经过了足够严格的测试?可预见的好处是否超过了其可预见的危害?在这个过程中如何避免错误信息的产生,或种族主义和厌恶女性的语言?“
华盛顿大学的计算语言学家艾米丽·M·本德(Emily M. Bender)曾在谷歌中心与米切尔共同合作过相关研究,她也担心着如何处理潜在的危害。“降低任何机器学习技术风险的真正关键是要在特定用例中进行评估和探索,例如这个系统是用来做什么的?谁将使用它?系统输出将如何呈现给他们?”
对于皮诺来说,这些担忧应该通过更多的公开讨论来解决,而不是减少沟通。“世界各地的人们对于什么样的对话是合适的有不同的看法,而人工智能是对话的一部分,”皮诺并不是希望语言模型能说出令每个人都同意的话,“但我们该如何应对呢?那就是在讨论过程中多去听却他人的声音”。
元宇宙神评
相关主题
-
Meta开源对标神经网络GPT-3的大规模语言模型OPT
-
让00后疯狂的超级算法
内容概要:即便是计算机视觉,也仅仅是在感知层面取得了突破,并未在下一次层——语义和逻辑推理上多大突破。这也是为何自动驾驶的“规划决策”如此难。
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
放弃元宇宙,转型AI?Meta:不,两个我都要
-
Meta持续动荡:AI部门拆散重组,杨立昆投身元宇宙部门
-
元宇宙热潮:缘起、影响与展望
-
Meta启示:AI是通往元宇宙的关键变量
-
Meta公司推多个AI项目布局元宇宙
-
巨头们竞相涌入元宇宙,小型企业该如何伺机而动?
内容概要:目前来看元宇宙不会影响到小型企业的发展,但在接下来的十年内可能会发生很多变化。很多有商业头脑的企业家都在密切关注着元宇宙的发展。
-
国外六大科技巨头是如何布局元宇宙的
内容概要:在本文中,我们就将以六个科技巨头对于元宇宙的布局为例,向大家展示企业在面对全新的商业概念时,究竟是如何对其进行重新解释,并让它们来为自己的商业目的服务的。
-
我们要如何接入、生活在元宇宙之中
-
马克·扎克伯格:努力构建元宇宙 2022年有七个投资重点
内容概要:马克·扎克伯格表示:我对过去一年在 Reels、商业和虚拟现实等重要增长领域取得的进展感到鼓舞,我们将在2022年继续投资这些和其他关键优先事项,同时努力构建元宇宙。
-
《中国人工智能产业研究报告(Ⅴ):道阻且长,行而不辍》(附PDF下载)
内容概要:AI成为企业数字化、智能化改革的重要抓手,也是各行业领军企业打造营收护城河的重要方向。落地AI应用对企业业务运营的商业价值与战略意义越来越明确。
-
加速元宇宙创新生态,阿里云和伙伴一起探寻奇点
-
构建低延迟元宇宙基础架构
内容概要:Meta的低延迟元宇宙基础架构具有广泛的商业前景和巨大的发展潜力,我们有理由相信,元宇宙将成为未来数字世界的重要组成部分,带给人们全新的体验和商业机会。
-
Meta发布去中心化,元宇宙或迎来新突破?
-
扎克伯格静静地埋葬了他的元宇宙?
内容概要:从现在开始,不要再和扎克伯格谈论元宇宙了。又有一件事情可以持续足够长的热情来做(人工智能),让他找到了新的追求。
-
从Meta、微软到字节、腾讯,巨头接连失意元宇宙,苹果入局能盘活市场吗?
内容概要:商道童言(Innovationcase)认为,新技术的发展需要时间的打磨,当前的冷静,也许是在等待下一次爆发。
-
ChatGPT,将元宇宙拍在沙滩上?
内容概要:“长江后浪推前浪,ChatGPT将元宇宙拍在沙滩上。”在ChatGPT火爆出圈的同时,近年“新贵”元宇宙则显落寞。
-
元宇宙烧了137亿美元,还得Facebook救Meta
内容概要:“仰望星空,脚踏实地”这句话很适合现在的 Meta——做着元宇宙的梦,踏实地赚广告费,以及裁员过冬,等待春天。
-
Meta 产品负责人:元宇宙正在追赶智能手机
-
元宇宙遇挫,发力社交电商,Meta的焦虑与野心