热门文章
- GPT-4技术报告(附中、英文PDF下载,...
- Meta开源对标神经网络GPT-3的大规模...
- 图解网信办《生成式人工智能服务管理...
- 《哈工大-ChatGPT 调研报告 (仅供内部...
- 《ChatGPT的技术发展路径和带来的影响...
- 《AIGC行业深度报告(7)-ChatGPT:三大...
- 元宇宙“由虚向实”背后:生成式AI技术...
- 《AIGC深度报告:新一轮内容生产力革命...
- 《中国人工智能产业研究报告(Ⅴ):道阻...
- 《兴业证券-AIGC全方位解析与展望》(附...
- 科技公司史上第一次:Meta开源与GPT3...
- 《中国信通院-人工智能生成内容(AIGC)...
- 用全球最快 AI 超算秀肌肉后,黄仁勋...
- 元宇宙的最大变量AI注入后的化学反应
- 《增长黑盒&黑盒点评-2023中国AIGC应...
- 《ChatGPT:开启AI新纪元》(附PDF下载)
- 为元宇宙「打地基」,Meta 开发世界最快...
- AI+元宇宙!Meta离梦想更进一步?
- 微美全息战略投资海百川,AI-Star构建...
- 逐浪AIGC⑤丨大模型狂飙
逐浪AIGC⑤丨大模型狂飙
编者按:1956年,人工智能(AI,Artificial Intelligence)的概念首次提出,迄今已逾六十载。60年来,AI历经了从爆发到寒冬、再到野蛮生长的历程,伴随着人机交互、机器学习等技术的提升,AI成为了技术时代的新趋势。
2022年,AI行业再度迎来新的节点,人工智能生成内容(AIGC,AI Generated Content)后来居上,以超出人们预期的速度成为科技革命历史上的重大事件。无论是“AI画师”DALL-E2,还是“万能陪聊”对话机器人ChatGPT,生成式AI正在迅速催生全新的科技革命系统、格局与生态。
时针转至2023年,由AIGC引发的热度不减反增,而全新的智能创作时代在带来深刻生产力变革的同时,也将进而改变人类的思想演进模式。就此,21世纪经济报道数字经济课题组策划了“逐浪AIGC”系列报道,多维解读AIGC带来的技术可能和商业图景。
21世纪经济报道记者倪雨晴 深圳报道
试想一下,一个月薪几千元的普通客服正给海外用户回邮件,他到处搜索外文来辅助回复工作,写出来的东西一看就会被用户认为是非母语的工作人员。
在2023年,当他面向ChatGPT后会发生怎样的变化?基础邮件文本可以直接生成,写邮件的效率或直接提高90%,而强大的AI能力甚至能做到邮件毫无外国人的痕迹。
虽然这个“AI助理”并不完美,但是毫无疑问ChatGPT提供了全新的生产力。面对ChatGPT,人们经历了惊艳、狂热、剖析、期待、质疑等一系列反应。正当舆论开始降温之时,OpenAI在3月15日直接抛出了GPT-4。
ChatGPT是基于GPT-3.5(Generative Pre-trained Transformer 3.5)自然语言(NLP)大模型开发而成。相比于上一代,GPT-4已经迭代为一个多模态大模型(Multimodal Model),不仅将文字输入限制提升至2.5万字,还可以支持图像输入,并且回答的准确性更高,也能生成歌词和创意文本。
目前在ChatGPT可以选取GPT-4模式,同时OpenAI也开放了GPT-4的API,新的浪潮继续涌动。在这一AI新物种迅猛进化的背后,AI大模型正在狂飙,这一次,GPT真正横扫了人工智能是人工智障的嘲讽。
迄今为止,我们无法想象ChatGPT的上限在哪里,它似乎只想花上百亿美金告诉我们,人工智能真的存在。而在任何尺度上,GPT及其配套的技术方向,将史无前例地改变着人类世界。
大模型崛起
2015年12月,硅谷大佬们启动了OpenAI的引擎,GPT计划才开始酝酿。彼时,谷歌已经在前一年收购了DeepMind,一年后,DeepMind团队研发的AlphaGo即将大放异彩,一场人机围棋大战直接将全球大众卷入AI世界。
而谷歌带来的AI高潮还未停止,在2017年,谷歌发布了Transformer大模型,成为了AI大模型的新分水岭。而谷歌也未预料到,Transformer却成为了OpenAI将ChatGPT培养为“变形金刚”的模型基础。
据悉,Transformer模型原本并不是专用于解决自然语言问题,而是解决机器翻译问题,但是大家发现用它做语言模型效果非常好,现在人工智能的各种问题都由它来解决,成为了基础模型。
角逐的种子已经埋下,AI的新战场悄然来临。2018年,OpenAI的GPT-1和谷歌的BERT共同出世,他们均使用了Transformer模型的架构,成为最具代表性的预训练语言模型。
看似旗鼓相当的起点,却通向了不同路径。2020年,OpenAI从GPT-3开始抢跑,率先进化为大型生成式预训练语言模型(LLM)的顶级玩家,并在2022年以ChatGPT一战封神。
(图片来源:华为语音语义首席科学家刘群《ChatGPT技术分析》报告)
华为语音语义首席科学家刘群在《ChatGPT技术分析》报告中总结道,从语言模型的发展来看,演进的过程中依次出现了n元语言模型、神经网络语言模型、循环神经网络语言模型、Transformer语言模型、预训练语言模型(以ELMo、BERT、GPT为代表)、大型生成式预训练语言模型(GPT-3、GPT-4)。
在大模型的演变过程中,国内也涌现出多个具有代表性的AI大模型。比如,在2021年,华为发布了首个中文千亿级的盘古模型,中科院自动化所提出首个三模态的紫东太初模型。
百度在2022年发布10个产业级知识增强的ERNIE模型,全面涵盖基础大模型、任务大模型、行业大模型。在2023年3月16日,百度正式推出文心一言,对标ChatGPT。据介绍,文心一言是新一代知识增强大语言模型,是在ERNIE及PLATO系列模型的基础上研发的。
眼下,在大模型舞台上,GPT正在开启新范式。一位AI资深从业者向21世纪经济报道记者表示,按照一般的AI的构建思路,大家往往会专注于一项应用。即一般的天才发明家会避免去创造一个全能的智能机器人,他们会把具体功能拆分成洗衣机、冰箱、微波炉,而具体功能解决具体场景需要不同的技术类型,因此一些厂商会避免去解决“太大”的问题。
同时,也有厂商会避免解决“太小”的问题,他们想创建全知全能的AI,想一起解决自然语言、自动驾驶、图像识别等各种通用的问题。以谷歌为例,它就是典型的在自然语言领域想的“太小”,在自动驾驶领域想的“太大”。
他认为,ChatGPT这款产品恰到好处,解决了“既不太大、又不太小”的问题,并不迁就于普通的商用场景,不急于解决具体的商用问题,但很明显它也不想只解决冰箱、微波炉式的问题,又有壮志雄心。“历史上所有的自然语言厂商,目前都没有做过如此庞大的自然语言应用。GPT是有多个发展语言方向,但是封装出了ChatGPT这个老少咸宜、妇孺皆可的自然语言用户体验的场景。”
可以看到,在人工智能领域,过于冒进和缺乏冒险精神都是非常危险的,AI就是人类智慧最前沿的角斗场。
ChatGPT棋高一着
伦敦大学学院计算机系教授、上海数字大脑研究院联合创始人兼院长汪军向21世纪经济报道记者表示,ChatGPT带来的技术革新,不亚于当时Google检索互联网带来的跃进,GPT家族与BERT模型本质上都基于Transformer大模型技术。
为何GPT能够抢先一步?汪军告诉记者:“Open AI比较早就专注于大模型训练,从GPT开始就发展得比较全面,其中一项技术是上下文学习(In-context Learning),GPT做的比较领先。”
根据相关论文,上下文学习的核心思路通过类比来学习。首先,它需要一些示例来形成一个演示上下文,这些示例通常是用自然语言模板编写的。然后将查询的问题和上下文演示连接在一起,形成带有提示的输入,并将其输入到语言模型中进行预测。
这意味着,大模型的学习方法更加接近人类,比如我们要理解互联网新词或者微信表情包的含义,通常会把它出现的上下文场景学一遍,比直接给概念更好理解。现在,大模型的训练,也可以通过学习上下文场景的方式来习得“相似的逻辑模式”,进行任务的演算。
GPT则将这技术运用的炉火纯青,汪军进一步解析道:“GPT-3可以打破任务的界限,本质上任何NLP(自然语言)的任务都可以用一段话,即一段上下文来描述,语言模型就可以根据不同的上下文场景生成不同的答案,然后进行整合。所以哪怕只是给ChatGPT一点点提示,然后给它上下文提示信息,一个大模型理论上就可以解决各种各样的机器学习问题。”
在他看来,这是对机器学习的重大变革,“以前我们根据任务来训练,现在不需要了,只要把问题用语言文字描述作为提示给到大模型,大模型根据提示就可以适用到特定问题给到结果。”
此外,人类反馈强化学习(RLHF,Reinforcement Learning from Human Feedback)也多次被专家们提及,因为GPT3.5与GPT-3的主要区别在于,新加入了人类反馈强化学习的训练方法。据了解,这一方法包括三个阶段,分别是监督策略模型、训练回报模型(需要人工根据结果排序为结果打分)、强化学习来增强输出结果。
“所谓的人类反馈强化学习就是通过人类的判断,让大模型找到最好的答案,形成一个模型,然后在最后一轮训练的时候,用强化学习来增强结果。即强化学习会通过之前训练好的模型来优化,从而和人的判断去对齐,”汪军指出,“但是这是很成熟的一套训练,属于比较经典的机器学习手段,并非GPT专有,而GPT做的更出色,一方面它有非常大的比较干净的数据,另一方面就是算力的问题,它的模型大到只有大厂有资源能干这件事情。”
GPT-4进化 OpenAI造梦
归纳来看,上述提到的技术点,涉及了AI的训练方法、输入和输出等多方面能力的优化。当然,基于GPT-3.5的ChatGPT仍存在缺点和瓶颈,包括信息不够准确、无法判定真实性、数学能力弱等等,但是GPT-4的现身又让大家看到了技术的迭代演进的方向。
其中,备受关注的一个能力是多模态,即GPT-4不仅可以阅读文字,还可以看懂图片信息,不少业内人士都曾指出多模态是大模型未来发展趋势之一,而OpenAI已经继续迈进。根据OpenAI的演示,当GPT-4看到一张网页的设计图时,它可以根据你的指令,直接写出网页代码。
一方面,“生成式”AI的力量再次展现。汪军谈道:“GPT本质上是生成型模型,现在输入人类语言后,输出的可以是代码、可以是图像、可以是表格、可以文本回答,未来也可能是生成其他可执行的东西,比如自动生成游戏,自动推荐产品,可以是各种各样的形式。所以人机交互完全改变,不是以前基于关键字的搜索,而是基于自然语言的全新交互。”
另一方面,看懂图片也有着重要意义。前述AI资深从业者告诉记者,GPT-4学习读懂各式各样信息的背后,意味着GPT正在把所有的信息归纳到统一的尺度上去处理。自然语言只是信息的一种体现形式,图片、视频等也是信息的载体,GPT则在将这些多样化的信息进行统一地阅读和推理。
海银资本创始合伙人王煜全就在一篇文章中评论道,多模态技术底层是“一切数据Token化”的变革,此处的Token是指AI大模型的数据单位,“一切数据Token化”指的是AI大模型加持下,文字、图片、声音所有数据都能被统一处理的新变革。
他表示:“人类社会中80%以上的数据都是图片、音频、视频等等非结构化的数据,这些数据不像文字、字符一样能被计算机处理,如何挖掘这些数据背后的价值成为大数据变革的一大方向。当时我预测AI会是这轮变革中重要的颠覆力量,如今OpenAI用实际行动证明了这个趋势正在到来。”
而AI大模型已经能使用多种类型的数据训练,王煜全举例道,OpenAI的AI绘画软件Dall-E就是基于GPT-3,用图片数据训练出来,一张图片最长会被转化为1024个Token。在他看来,GPT-4再前进了一步,这次体现出对图片信息更强的理解能力,提供了图片数据处理的新方案,这背后潜在的价值难以估量。
随着GPT带来的技术变革,业内也不禁想象,ChatGPT式的“AI助手”是否会成为未来互联网的唯一入口,甚至成为超越手机的入口,AI软硬件也将因它而重新定义。而令人震惊的是,OpenAI可不仅仅拥有技术,一位业内人士向记者表示:“OpenAI在技术之外,还有高超的传播技巧、融资能力,商业行销和技术创新组合出了化学反应。ChatGPT这是一款用户越用越强大的惊人产品,越多人的’调教’会让系统更加智能,用户的行为成为产品核心资产,堪称OpenAI在用用户融资。”
或者说,相比GPT的人工智能,OpenAI能够组织起这一系列的研发,体现了人类更高的智能。也很难想象,在拥有商业潜力却长年非盈利的状态下,一群高智力的人们聚集在一处,瞄着AI疯狂造梦,最终跑向的终点会是何处。
(作者:倪雨晴 编辑:林曦)
元宇宙神评
相关主题
-
《AIGC行业深度报告(7)-ChatGPT:三大主线,AI算力需求井喷!》(附PDF下载)
内容概要:政策端与产业端持续发力,算力建设持续提速;大模型引爆海量算力需求,AI产业量价齐升;全球算力市场持续火热,AI芯片群星闪耀。
-
《兴业证券-AIGC全方位解析与展望》(附PDF下载)
内容概要:Gartner 预计,2022 年 AIGC 占全球数字数据量为1%,到 2025 年,这一比例将提升至10%。
-
《增长黑盒&黑盒点评-2023中国AIGC应用研究报告》(附PDF下载)
-
图解网信办《生成式人工智能服务管理办法(征求意见稿)》V1.0.0(附PDF下载)
内容概要:2023年4月11日,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》,面向社会公开征求意见,旨在促进生成式人工智能技术健康发展和规范应用。
-
逐浪AIGC⑱丨迈入混战时代:科技公司竞速AI大模型
内容概要:目前AI大模型处于百花齐放的状态。
-
逐浪AIGC⑰丨AI迈入群雄逐鹿时代 阿里巴巴全方位迎战
内容概要:张勇的新开始,也是阿里云的新征程。
-
【元宇宙之约】第019期:AIGC能快速构建元宇宙行业的基础设施
内容概要:在雷涛看来,大模型只是解决基础能力,真正到每一个领域应用还是需要去做自己的数据训练;基础模型需要真正去理解用户,因为用户的问题是千差万别,答案也会千差万别。
-
逐浪AIGC⑯|Meta入局来势汹涌 “生成式AI”引发技术争鸣
-
逐浪AIGC⑮ | AI伦理之惑:马斯克等科技大佬为何拦停GPT-5
内容概要:如今,我们的社会已经暂停其他可能造成灾难性影响的技术,对于人工智能也应该如此,“让我们享受一个漫长的‘AI之夏’,而不是毫无准备地进入秋天”。
-
逐浪AIGC⑭|黄仁勋对话OpenAI创始人 现代AI和ChatGPT如何诞生
内容概要:它还是那个神经网络,只是变得更强大。
-
逐浪AIGC⑬丨英伟达新GPU“炸场”,未来人人都可以是程序员?
内容概要:AIGC算力成本有望大降?
-
逐浪AIGC⑫|制造“iPhone时刻”,英伟达再塑AI算力上限
-
逐浪AIGC⑪|半百微软,扎进AI变局
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
逐浪AIGC⑩丨AI热潮下的惊喜、失落与期待
内容概要:国内AI生态的构建同样值得期待。
-
逐浪AIGC⑨丨文心一言实测体验:语文满分、数学学渣、画画水平一般般
内容概要:目前大概是个偏科严重的文科生吧。
-
逐浪AIGC⑥丨文心一言开放测试 百度股价逆风翻盘
内容概要:AI大模型时代降临,本土大厂机会来了。
-
逐浪AIGC⑧丨GPT-4诞生次日,微软Office重生
内容概要:这其实是一场产业叠加的爆发。
-
逐浪AIGC⑦丨在新一轮AI全球竞赛中,中国企业要抓住产业场景优势
内容概要:在AI领域,中国企业也能够走出中国特色。
-
逐浪AIGC④丨新的AI浪潮来临,创业者该做什么?
内容概要:ChatGPT正掀起一场新的AI浪潮。
-
《AIGC行业深度报告(6)-ChatGPT:存算一体,算力的下一极》(附PDF下载)
内容概要:ChatGPT开启大模型“军备赛”,算力呈现明显缺口。存算一体,后摩尔时代的必然发展,存算一体为人工智能发展的必然选择。
-
AI+元宇宙!Meta离梦想更进一步?
-
【元宇宙之约】第018期:AIGC将为元宇宙解决两个技术难题
-
放弃元宇宙,转型AI?Meta:不,两个我都要
-
《中国人工智能产业研究报告(Ⅴ):道阻且长,行而不辍》(附PDF下载)
内容概要:AI成为企业数字化、智能化改革的重要抓手,也是各行业领军企业打造营收护城河的重要方向。落地AI应用对企业业务运营的商业价值与战略意义越来越明确。
-
加速元宇宙创新生态,阿里云和伙伴一起探寻奇点
-
《AIGC行业深度报告(5)-ChatGPT:加速计算服务器时代到来》(附PDF下载)
内容概要:ChatGPT的竞争本质即大模型储备竞赛,大模型出现带动AI服务器呈现加速状态,服务器架构随负载量扩张而不断优化,数字经济时代,服务器应用前景广阔。
-
中国 AIGC 与元宇宙创新创业创作大赛即将启动
内容概要:在实现元宇宙的过程中,会不断出现像AIGC这样的爆点,而我们将通过大赛的方式去追踪,用大赛去覆盖元宇宙成长过程中的每一个关键技术突破。
-
《AIGC行业深度报告(4)-ChatGPT:百度文心一言畅想》(附PDF下载)
-
AIGC挑战广告狂人!Meta推出AI生成广告服务,已填补公司百亿损失
内容概要:在竞争激烈的广告营销市场中,大数据和AI作用下的精准化打击能起到增益,也能大大降低内容制作成本,但创意、内容以及对目标客户的理解程度才是永恒的核心竞争力。
-
各大企业巨亏裁员,元宇宙会是又一个泡沫吗?
-
ChatGPT,将元宇宙拍在沙滩上?
内容概要:“长江后浪推前浪,ChatGPT将元宇宙拍在沙滩上。”在ChatGPT火爆出圈的同时,近年“新贵”元宇宙则显落寞。
-
《AIGC行业深度报告(2)-ChatGPT,重新定义搜索“入口”》(附PDF下载)
-
“魔珐科技”获1.3亿美元融资 元宇宙离《终极玩家》还有多远?
内容概要:元宇宙是当下创投市场当之无愧的风口,虚拟人作为入场券其热度也随之攀升,有望成为元宇宙中最先盈利的板块,因此也吸引了众多投资机构、互联网巨头的争相布局。
-
元宇宙“由虚向实”背后:生成式AI技术持续发展升级
内容概要:具备沉浸感、低延时、多元化、随时随地、身份属性明确的多模态内容既是元宇宙的基本单位,也是通往元宇宙的关键路径。
-
《2023年AIGC应用与实践展望报告-甲子光年》(附PDF下载)
内容概要:甲子光年智库特此展开AIGC应用与实践研究,输出《AIGC应用与实践研究报告》,期待与各方共同见证AIGC行业的星辰大海。
-
平台押注资本追捧 视听产业成元宇宙场景应用第一战场
内容概要:报告显示,元宇宙是一个需要长期才能实现的目标,在实现元宇宙的旅程之中会不断地出现像AIGC这样的爆点。有了AIGC支持后,人类至少一只脚已经开始在往真正的元宇宙时代迈进。
-
一文详解AIGC:推动元宇宙发展的加速器
内容概要:AIGC的出现意味着创作者将从繁冗的基础性工作中解脱出来,把更多的精力放到创意表达上,这是未来内容创作行业,甚至是人类工作方式的整体趋势。
-
一文读懂AIGC,万亿新赛道为何今年获得爆发?
-
从AI画画到“用声音做视频”,全球掘金AIGC
内容概要:登台的新宠儿名为“AIGC”,又称“生成式AI”(Generative AI)。这一领域正以令人侧目的速度发展,将创新和技术再度拉回到世界舞台的焦点。
-
红杉资本:生成式人工智能,一个充满创造性的新世界
-
《中国信通院-人工智能生成内容(AIGC)白皮书(2022年)》(附PDF下载)
-
Meta开源对标神经网络GPT-3的大规模语言模型OPT
-
科技公司史上第一次:Meta开源与GPT3参数相当的大语言模型OPT
内容概要:Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措,可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。
-
AIGC的“含科量”与“含资量”
-
GPT-4技术报告(附中、英文PDF下载,含GPT-4 System Card_中文)
内容概要:这份技术报告介绍了 GPT-4,一种能处理图像和文本输入并生成文本输出的大型多模态模型。这类模型非常重要,因为它们有潜力被广泛应用于对话系统、文本摘要和机器翻译等领域。
-
《ChatGPT的技术发展路径和带来的影响》(附PDF下载)
内容概要:InstructGPT/ChatGPT的效果非常亮眼,引入了人工标注之后,让模型的“价值观”和的正确程度和人类行为模式的“真实性”上都大幅的提升。
-
《哈工大-ChatGPT 调研报告 (仅供内部参考)》(附PDF下载)
内容概要:哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从 技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍 及总结。 本报告仅供内部参考。
-
Unity中国亮相2023全球人工智能开发者先锋大会
-
ChatGPT火了,元宇宙凉了?
-
元宇宙没失宠,XR也没凉
内容概要:元宇宙本身是长期建设的过程,在不断沉淀与发展中,会有很多的机遇与挑战,元宇宙新基建必然会迎来发展高潮,未来可期。
-
中国计算机行业协会罗军:ChatGPT的出现,将元宇宙实现至少提前了10年
-
《ChatGPT:开启AI新纪元》(附PDF下载)
内容概要:近日,财通证券发布研报《ChatGPT:开启AI新纪元》指出,ChatGPT加速应用场景落地,带动AI产业上游需求。
-
微软元宇宙大撤退!
内容概要:2023年开年第一波大裁员,微软重创手下VR/AR团队。有了「新宠」ChatGPT,手中的「元宇宙」真不香了。
-
如何推进人工智能与元宇宙的协同发展?