热门文章
- GPT-4技术报告(附中、英文PDF下载,...
- Meta开源对标神经网络GPT-3的大规模...
- 图解网信办《生成式人工智能服务管理...
- 《哈工大-ChatGPT 调研报告 (仅供内部...
- 《ChatGPT的技术发展路径和带来的影响...
- 《AIGC行业深度报告(7)-ChatGPT:三大...
- 元宇宙“由虚向实”背后:生成式AI技术...
- 《AIGC深度报告:新一轮内容生产力革命...
- 《中国人工智能产业研究报告(Ⅴ):道阻...
- 《兴业证券-AIGC全方位解析与展望》(附...
- 科技公司史上第一次:Meta开源与GPT3...
- 《中国信通院-人工智能生成内容(AIGC)...
- 用全球最快 AI 超算秀肌肉后,黄仁勋...
- 元宇宙的最大变量AI注入后的化学反应
- 《增长黑盒&黑盒点评-2023中国AIGC应...
- 《ChatGPT:开启AI新纪元》(附PDF下载)
- 为元宇宙「打地基」,Meta 开发世界最快...
- AI+元宇宙!Meta离梦想更进一步?
- 微美全息战略投资海百川,AI-Star构建...
- 逐浪AIGC⑤丨大模型狂飙
GPT-4技术报告(附中、英文PDF下载,含GPT-4 System Card_中文)
GPT-4 Technical Report
摘要
我们向大家介绍了 GPT-4,这是一个大规模的多模态模型,它能接受图像和文本输入,并产生文本输出。虽然在很多现实场景中,GPT-4 的能力不如人类,但在许多专业和学术评测中,它展示了与人类相媲美的表现,比如在模拟的律师资格考试中,得分排名前 10%。GPT-4 是一个基于 Transformer 的预训练模型,用于预测文档中的下一个标记。训练后的对齐过程提高了事实性和符合期望行为的表现。这个项目的核心部分是开发跨各种规模表现稳定的基础设施和优化方法。这使我们能够根据计算能力不超过 GPT-4 的 1/1000 的模型,准确预测 GPT-4 某些方 面的性能。
1 引言
这份技术报告介绍了 GPT-4,一种能处理图像和文本输入并生成文本输出的大型多模态模型。这类模型非常重要,因为它们有潜力被广泛应用于对话系统、文本摘要和机器翻译等领域。近年来,它们取得了很大的关注和进展。
开发这类模型的一个主要目标是提高它们理解和生成自然语言文本的能力,尤其是在更复杂和微妙的场景中。为了测试 GPT-4 在这类场景中的能力,我们对其进行了一系列原本为人类设计的考试评估。在这些评估中,GPT-4 表现相当出色,通常超过了绝大多数人类考生。例如,在模拟律师资格考试中,GPT-4 的成绩位于考生前 10%,而 GPT-3.5 的成绩位于考生后 10%。
在一系列传统的 NLP 基准测试中,GPT-4 的表现超过了之前的大型语 言模型和大多数最先进的系统(这些系统通常具有针对基准测试的训练或手工设计)。在 MMLU 基准测试中,一个涵盖 57 个主题的 英语多项选择题套件,GPT-4 不仅在英语方面大幅度超过现有模型,而且在其他语言方面也表现出强大的性能。在 MMLU 的翻译版本中, GPT-4 在 24 种语言中的26 种考虑中超越了英语的最先进的水平。我们将在后面的部分详细讨论这些模型能力的结果,以及模型安全性的改进和结果。
本报告还讨论了项目的一个关键挑战:开发在广泛规模范围内表现稳定的深度学习基础设施和优化方法。这使我们能够对 GPT-4 的预期性能 进行预测(基于类似方式训练的小规模运行),并通过最终运行进行测试,以提高我们对训练的信心。
尽管具有这些能力,但 GPT-4 与早期的 GPT 模型还是具有类似的局限性:它不是完全可靠的(例如,可能会出现“幻觉”现象),上下文窗口有限,且不能从经验中学习。在使用 GPT-4 的输出 时,特别是在可靠性很重要的场景中,应谨慎对待。
GPT-4 的能力和局限性带来了重大且新颖的安全挑战,我们认为,鉴于其潜在的社会影响,仔细研究这些挑战是一个重要的研究领域。本报告包括一份详细的系统卡片(附录后),描述了我们预见的一些风险,如偏见、虚假信息、过度依赖、隐私、网络安全、扩散等。报告还描述了我们为减轻 GPT-4 部署可能带来的潜在危害所采取的干预措施,包括 与领域专家进行对抗性测试和模型辅助安全流程。
2 技术报告的范围和局限性
3 可预测的扩展性
4 能力评估
5 限制
6 风险与缓解
7 结论
尾注:翻译内容基于 GPT-4 技术报告翻译 by GPT4 and Human Feedback - 知乎 (zhihu.com),感谢译者!本人结合英文原文,重新布局了图片、表格和注释内容,并修订了部分翻译较为生硬的语句,希 望能得到更多热心人士的完善建议。
元宇宙神评
相关主题
-
图解网信办《生成式人工智能服务管理办法(征求意见稿)》V1.0.0(附PDF下载)
内容概要:2023年4月11日,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》,面向社会公开征求意见,旨在促进生成式人工智能技术健康发展和规范应用。
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
《中国人工智能产业研究报告(Ⅴ):道阻且长,行而不辍》(附PDF下载)
内容概要:AI成为企业数字化、智能化改革的重要抓手,也是各行业领军企业打造营收护城河的重要方向。落地AI应用对企业业务运营的商业价值与战略意义越来越明确。
-
《哈工大-ChatGPT 调研报告 (仅供内部参考)》(附PDF下载)
内容概要:哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从 技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍 及总结。 本报告仅供内部参考。
-
《AIGC行业深度报告(3)-ChatGPT打响AI算力“军备战”》(附PDF下载)
内容概要:与通用服务器相比,AI服务器拥有更出色的高性能计算能力,未来,随着算力的持续增长,自然语言处理和图像、视频等AI模型的深入发展,AI服务器将被更广泛使用。
-
《“以实为本”的数字世界发展观-元宇宙可持续发展报告》(附PDF下载)
-
《中国信通院-人工智能生成内容(AIGC)白皮书(2022年)》(附PDF下载)
-
《2021人工智能竞赛白皮书》大牛云集的数字化练兵场和人才挖掘器(附白皮书下载)
-
元宇宙将有750亿新人类?新智元《中国AI和元宇宙产业七大趋势》(附PDF下载)
内容概要:元宇宙市场复合增长率将是AI的10倍,真人与虚拟人交互爆发式增长。未来元宇宙里10个人可能有9个是虚拟人。2021年,新智元选出的TOP10虚拟人都有谁?
-
《虚拟数字人:元宇宙的主角破圈而来》(附下载)
内容概要:虚拟数字人指存在于非物理世界中,由计算机手段创造及使用,并具有多重人类特征(外貌特征、人类表演能力、交互能力等)的综合产物。随元宇宙热潮,虚拟数字人作为先发场景产业备受关注。
-
《AIGC行业深度报告(7)-ChatGPT:三大主线,AI算力需求井喷!》(附PDF下载)
内容概要:政策端与产业端持续发力,算力建设持续提速;大模型引爆海量算力需求,AI产业量价齐升;全球算力市场持续火热,AI芯片群星闪耀。
-
据报道,Meta 已停止向广告商推销元宇宙
内容概要:在一份关于最近一轮的裁员声明中,扎克伯格仅两次提到了元宇宙,而人工智能开发则被描述为该公司的“最大单笔投资”。
-
《兴业证券-AIGC全方位解析与展望》(附PDF下载)
内容概要:Gartner 预计,2022 年 AIGC 占全球数字数据量为1%,到 2025 年,这一比例将提升至10%。
-
《增长黑盒&黑盒点评-2023中国AIGC应用研究报告》(附PDF下载)
-
《社交元宇宙的技术挑战与探索》(附PDF下载)
内容概要:社交元宇宙的场景,以及在当前及未来的阶段的一些技术尝试和探索,用AI,渲染等底层技术去创造内容,帮助用户赋能,与用户一起打造元宇宙时代的社交平台。
-
《解构未来:元宇宙技术实践与应用2023》(附PDF下载)
内容概要:那么人类到底如何才能够在众多的元宇宙空间中实现“自由切换与无缝衔接开放世界”,或许在白皮书中能够找到部分答案。
-
《LABS3.io-WEB3/元宇宙汽车行业应用数据 报告》(附PDF下载)
内容概要:该报告涵盖了59个汽车相关品牌的145个Web3/元宇宙项目,以更理性、更数据化的方式,回顾汽车品牌过去在元宇宙与web3.0领域的营销探索,最终预测该行业未来的营销趋势。
-
《毕马威-消费+元宇宙:重构消费想象,再造市场空间》(附PDF下载)
内容概要:元宇宙在消费行业的应用不仅仅是一个技术创新,更是一个消费和生产模式的革命,它将改变我们生产、购买商品和服务的方式,以及消费产业链的运行模式。
-
逐浪AIGC⑱丨迈入混战时代:科技公司竞速AI大模型
内容概要:目前AI大模型处于百花齐放的状态。
-
逐浪AIGC⑰丨AI迈入群雄逐鹿时代 阿里巴巴全方位迎战
内容概要:张勇的新开始,也是阿里云的新征程。