热门文章
- 《元宇宙产业链生态白皮书(2022年)》(...
- 《2022年中国虚拟人产业发展白皮书》发...
- 《2022元宇宙产业发展趋势报告》(完整...
- 《元宇宙发展研究报告3.0版》(附PDF下...
- 元宇宙何以赋能未来教育:变革与挑战
- 《虚拟数字人:元宇宙的主角破圈而来》(...
- 《2022虚拟人产业研究报告》(附PDF下载...
- 《初探元宇宙》(附下载)
- 《2022元宇宙产业技术和创新应用白皮...
- 《2021年中国边缘云计算行业展望报告》...
- 《清华大学:2020-2021年元宇宙发展研...
- 清华大学发布《元宇宙发展研究报告2.0...
- 《2021-2022元宇宙产业年度趋势报告》(...
- 《全球Web3生态创新观察报告》(附PDF下...
- 《2022年中国工业元宇宙发展洞见白皮...
- 扎克伯格关于元宇宙的演讲(附完整视...
- 《易观分析:元宇宙应用场景发展趋势分...
- 《腾讯研究院:数字人产业发展趋势报告...
- 《未来已来,品牌元宇宙内容营销指南》(...
- 2022年元宇宙重磅报告《元宇宙2022:蓄...
GPT-4技术报告(附中、英文PDF下载,含GPT-4 System Card_中文)
GPT-4 Technical Report
摘要
我们向大家介绍了 GPT-4,这是一个大规模的多模态模型,它能接受图像和文本输入,并产生文本输出。虽然在很多现实场景中,GPT-4 的能力不如人类,但在许多专业和学术评测中,它展示了与人类相媲美的表现,比如在模拟的律师资格考试中,得分排名前 10%。GPT-4 是一个基于 Transformer 的预训练模型,用于预测文档中的下一个标记。训练后的对齐过程提高了事实性和符合期望行为的表现。这个项目的核心部分是开发跨各种规模表现稳定的基础设施和优化方法。这使我们能够根据计算能力不超过 GPT-4 的 1/1000 的模型,准确预测 GPT-4 某些方 面的性能。
1 引言
这份技术报告介绍了 GPT-4,一种能处理图像和文本输入并生成文本输出的大型多模态模型。这类模型非常重要,因为它们有潜力被广泛应用于对话系统、文本摘要和机器翻译等领域。近年来,它们取得了很大的关注和进展。
开发这类模型的一个主要目标是提高它们理解和生成自然语言文本的能力,尤其是在更复杂和微妙的场景中。为了测试 GPT-4 在这类场景中的能力,我们对其进行了一系列原本为人类设计的考试评估。在这些评估中,GPT-4 表现相当出色,通常超过了绝大多数人类考生。例如,在模拟律师资格考试中,GPT-4 的成绩位于考生前 10%,而 GPT-3.5 的成绩位于考生后 10%。
在一系列传统的 NLP 基准测试中,GPT-4 的表现超过了之前的大型语 言模型和大多数最先进的系统(这些系统通常具有针对基准测试的训练或手工设计)。在 MMLU 基准测试中,一个涵盖 57 个主题的 英语多项选择题套件,GPT-4 不仅在英语方面大幅度超过现有模型,而且在其他语言方面也表现出强大的性能。在 MMLU 的翻译版本中, GPT-4 在 24 种语言中的26 种考虑中超越了英语的最先进的水平。我们将在后面的部分详细讨论这些模型能力的结果,以及模型安全性的改进和结果。
本报告还讨论了项目的一个关键挑战:开发在广泛规模范围内表现稳定的深度学习基础设施和优化方法。这使我们能够对 GPT-4 的预期性能 进行预测(基于类似方式训练的小规模运行),并通过最终运行进行测试,以提高我们对训练的信心。
尽管具有这些能力,但 GPT-4 与早期的 GPT 模型还是具有类似的局限性:它不是完全可靠的(例如,可能会出现“幻觉”现象),上下文窗口有限,且不能从经验中学习。在使用 GPT-4 的输出 时,特别是在可靠性很重要的场景中,应谨慎对待。
GPT-4 的能力和局限性带来了重大且新颖的安全挑战,我们认为,鉴于其潜在的社会影响,仔细研究这些挑战是一个重要的研究领域。本报告包括一份详细的系统卡片(附录后),描述了我们预见的一些风险,如偏见、虚假信息、过度依赖、隐私、网络安全、扩散等。报告还描述了我们为减轻 GPT-4 部署可能带来的潜在危害所采取的干预措施,包括 与领域专家进行对抗性测试和模型辅助安全流程。
2 技术报告的范围和局限性
3 可预测的扩展性
4 能力评估
5 限制
6 风险与缓解
7 结论
尾注:翻译内容基于 GPT-4 技术报告翻译 by GPT4 and Human Feedback - 知乎 (zhihu.com),感谢译者!本人结合英文原文,重新布局了图片、表格和注释内容,并修订了部分翻译较为生硬的语句,希 望能得到更多热心人士的完善建议。
元宇宙神评
相关主题
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
《中国人工智能产业研究报告(Ⅴ):道阻且长,行而不辍》(附PDF下载)
内容概要:AI成为企业数字化、智能化改革的重要抓手,也是各行业领军企业打造营收护城河的重要方向。落地AI应用对企业业务运营的商业价值与战略意义越来越明确。
-
《哈工大-ChatGPT 调研报告 (仅供内部参考)》(附PDF下载)
内容概要:哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从 技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍 及总结。 本报告仅供内部参考。
-
《“以实为本”的数字世界发展观-元宇宙可持续发展报告》(附PDF下载)
-
《中国信通院-人工智能生成内容(AIGC)白皮书(2022年)》(附PDF下载)
-
《2021人工智能竞赛白皮书》大牛云集的数字化练兵场和人才挖掘器(附白皮书下载)
-
元宇宙将有750亿新人类?新智元《中国AI和元宇宙产业七大趋势》(附PDF下载)
内容概要:元宇宙市场复合增长率将是AI的10倍,真人与虚拟人交互爆发式增长。未来元宇宙里10个人可能有9个是虚拟人。2021年,新智元选出的TOP10虚拟人都有谁?
-
《虚拟数字人:元宇宙的主角破圈而来》(附下载)
内容概要:虚拟数字人指存在于非物理世界中,由计算机手段创造及使用,并具有多重人类特征(外貌特征、人类表演能力、交互能力等)的综合产物。随元宇宙热潮,虚拟数字人作为先发场景产业备受关注。
-
2021年度十大前沿科技趋势:生命科学进入数据驱动时代,XR和AIGC催熟元宇宙
内容概要:我们正处于一个崭新的技术创新周期。但如果以年为单位,究竟又是哪些前沿技术和创新突破,正在从幕后来到台前,正在从实验室走向产业,又即将影响到我们每个人。。。
-
平台押注资本追捧 视听产业成元宇宙场景应用第一战场
内容概要:报告显示,元宇宙是一个需要长期才能实现的目标,在实现元宇宙的旅程之中会不断地出现像AIGC这样的爆点。有了AIGC支持后,人类至少一只脚已经开始在往真正的元宇宙时代迈进。
-
英伟达元宇宙获得新硬件支持
内容概要:英伟达负责专业可视化的副总裁Bob Pette在本周举行的年度GTC(GPU技术大会)前的新闻发布会上表示,这家芯片制造商推出了一款名为OVX 3的新服务器,旨在创建和操作元宇宙。
-
《ChatGPT的技术发展路径和带来的影响》(附PDF下载)
内容概要:InstructGPT/ChatGPT的效果非常亮眼,引入了人工标注之后,让模型的“价值观”和的正确程度和人类行为模式的“真实性”上都大幅的提升。
-
《元宇宙系列白皮书——用户核心,创作至上:消费元宇宙塑造商业新模型》(附PDF下载)
内容概要:德勤发布元宇宙系列白皮书之《用户核心,创作至上:消费元宇宙塑造商业新模型》,旨在借力于元宇宙带来的无限想象空间,以调动实体商业空间与数字消费创新活力。
-
扎克伯格静静地埋葬了他的元宇宙?
内容概要:从现在开始,不要再和扎克伯格谈论元宇宙了。又有一件事情可以持续足够长的热情来做(人工智能),让他找到了新的追求。
-
《创客贴:元宇宙行业发展趋势报告》(附PDF下载)
-
Unity中国亮相2023全球人工智能开发者先锋大会
-
各大企业巨亏裁员,元宇宙会是又一个泡沫吗?
-
ChatGPT火了,元宇宙凉了?
-
《普华永道-2023元宇宙展望》(附PDF下载)
内容概要:元宇宙尚未完全进入黄金时代,至少目前还没有。不过,当下它即可以为您创造真正的商业价值,并为企业重塑未来做好准备。
上一篇
明天再来看看?
上一篇:明天再来看看?