热门文章
- GPT-4技术报告(附中、英文PDF下载,...
- Meta开源对标神经网络GPT-3的大规模...
- 图解网信办《生成式人工智能服务管理...
- 《哈工大-ChatGPT 调研报告 (仅供内部...
- 《ChatGPT的技术发展路径和带来的影响...
- 《AIGC行业深度报告(7)-ChatGPT:三大...
- 元宇宙“由虚向实”背后:生成式AI技术...
- 《AIGC深度报告:新一轮内容生产力革命...
- 《中国人工智能产业研究报告(Ⅴ):道阻...
- 《兴业证券-AIGC全方位解析与展望》(附...
- 科技公司史上第一次:Meta开源与GPT3...
- 《中国信通院-人工智能生成内容(AIGC)...
- 用全球最快 AI 超算秀肌肉后,黄仁勋...
- 元宇宙的最大变量AI注入后的化学反应
- 《增长黑盒&黑盒点评-2023中国AIGC应...
- 《ChatGPT:开启AI新纪元》(附PDF下载)
- 为元宇宙「打地基」,Meta 开发世界最快...
- AI+元宇宙!Meta离梦想更进一步?
- 微美全息战略投资海百川,AI-Star构建...
- 逐浪AIGC⑤丨大模型狂飙
逐浪AIGC⑭|黄仁勋对话OpenAI创始人 现代AI和ChatGPT如何诞生
南方财经全媒体记者江月 上海报道
对话式机器人ChatGPT的诞生,令其开发商OpenAI成为家喻户晓的公司。3月22日,英伟达公司公布了其创始人兼CEO黄仁勋对话OpenAI联合创始人兼首席科学家Ilya Sutskever的视频。
一位是带来大规模算力的企业家,一位是促进人工智能飞跃的天才科学家,两人的对话不仅充满干货,也平实、真诚。面对同行甚至大众的好奇,他们对现代AI的起源过程、ChatGPT的工作原理和GPT-4的特点一一进行了拆解。
AI科学梦想萌芽
由于ChatGPT的走红,Sutskever成为当今全球最关注的人工智能科学家之一。他出生于俄罗斯,在以色列长大。他是如何开始AI(人工智能)梦想萌芽的?他见证的现代AI起源是怎样的过程?
Sutskever称,他对人工智能的兴趣,起源于他对AI巨大影响力的直觉,同时也对究竟“什么是意识”很感兴趣。
“在2000年之初,学习是只有人类或普通人就能做的事情,但计算机完全做不了。”Sutskever说。因此,“机器学习”被Sutskever认为是AI的一个重要突破点。
公开资料显示,Sutskever从2000年初到2012年,从多伦多大学拿到了数学方面的学士学位和计算机科学方面的硕士及博士学位,在师从Geoffrey Hinton期间,Sutskever开始研究神经网络。
“神经网络的特性就在于能够学习,它们是可以自动编程的并行计算机。”Sutskever解释称。“如果你了解到学习和神经网络的工作原理,就可以用数据从编程上去创造小计算机,和大脑的工作原理是相似的。”他表示。
上述微小的成就支撑Sutskever继续前行,虽然还不知道这到底有什么用,但他相信前途是光明的。
接着,Sutskever意识到神经网络的训练规模必须扩大。当时业内的普遍做法是仅用50个神经网络单元,几百个已经算很大。在行业研究起步之初,一切都是那么简单、粗糙、迷茫,Sutskever在没有被优化过的CPU代码上跑模型。“我们做了一些零碎的工作,虽然很酷,但大家还是不知道究竟这会怎样推动技术进步。”Sutskever坦言了他当时的内心感受。
在2012年,Sutskever和Alex Krizhevsky、Jeff Hinton一起创造了AlexNet,这是一种CNN(卷积神经网络)架构,可以算是现代AI的爆炸起点。Sutskever称:“在(AlexNet)诞生之前的两年,我很清楚地意识到‘有监督学习’才是发展方向。”在寻求让数据变得又大又深的同时,他了解到了ImageNet数据集,令他解决了一个“痛点”难题。
有了神经网络和数据,AI的突破还缺少一样武器,那就是“算力”。“虽然一开始不明白GPU的用途,但很快我们就发现它有多么适合ImageNet数据集。”另外,搭档Alex Krizhevsky是如此擅长GPU编程,很快就做出卷积核函数去训练神经网络。
“很多人都走了其他路径,但ImageNet这个数据集是如此之好、只是如此之难,如果用好了它就能创造出非常惊人的结果。”Sutskever尽管如此强调数据集的难度,但他和Alex、Jeff Hinton之后创造出的AlexNet震惊了世界,打破了计算机视觉的记录。
从完全不知道有什么用、到找到眉目,Sutskever渡过了AI职业生涯中的初级阶段,也可以看到他从事这项科学时一路坚持的心路历程。
详解ChatGPT
在ChatGPT得到赞誉和认可的同时,也有人怀疑它是否只是一个简单的“文字概率预测机”;当GPT-4出现时,非专业人士也仅了解其训练参数又进行了可观的升级,但并不了解它的实际能力到底提升在哪儿。Sutskever也对上述问题进行了详细回答。
首先,关于ChatGPT的工作形式,Sutskever表示,大语言模型其实是在进行“对世界的映射”。
“看起来,我们只是在学习文本中的统计相关性。”Sutskever直面大众的质疑,但他解释说:“但实际上神经网络学习的是这些文本对世界的一个映射,世界在这些文本中得以呈现了。”
他称,神经网络正在学习从人的角度去看这个世界、看人类和社会,以及看人们的梦想、动机、交互。“学习一个压缩的、抽象的、可用的表述,这就是准确预测下一个词所要做的工作。”Sutskever称。
上述对世界进行“映射”的工作,要求还原度、清晰度,这是预训练阶段的工作。不过,仅此一步,神经网络还没有达到Sutskever理想的效果。
第二步是微调和强化学习,不仅由人类老师来教机器,也要由人类和AI合作的强化学习来教机器。“在这个环节里,我们不是在教它知识,而是在教它沟通,教它变成我们想要的样子。”Sutskever解释称。
第二阶段做得越好,这个神经网络就越有用、越可靠。
因此,ChatGPT其实不是一种猜测文字出现概率的游戏,而是通过机器学习大量文本去认识世界并在人类调教下学会输出的过程。
GPT-4的改善
谈及在3月14日刚刚发布的GPT-4,Sutskever也非常自豪于它的提升,称其“可靠性令人惊奇”。
他透露,GPT-4的训练其实开始于发布之前的约半年。随着对文本的理解不断增加,GPT-4预测下一个词的能力也变得更好。
可靠性正是很多人诟病前几代大语言模型的“痛点”。在和ChatGPT对话过程中,很多人发现它有时候会“一本正经地胡编乱造”。正因如此,要想将ChatGPT引入严肃工作,恐怕还不能通过安全那道关卡。
“可靠性是让这些模型更有用、或者说真正有用的最大阻碍。”Sutskever承认这一点。不过,他为它辩解称,可靠性已经得到大幅改善。
“它的数学能力变得强大,你可以看到它真的进行了推导,还转换了单位。它还会解释网络梗,你给它看一个梗,问它为什么这个是好笑的,它会告诉你原因而且还能说对。”Sutskever描述着GPT-4的效果。
除此以外,Sutskever也表示GPT-4已经可以处理图像,而多模态大模型对世界的理解是不一样的。他也强调,人类是视觉动物、世界也是非常视觉化的,因此给机器“喂”图像十分必要,不会局限在文本学习上。
与机器人对话令人期待,连黄仁勋也忍不住对Sutskever不断提要求。“你能不能教人工智能学习语气呢?因为你知道一个‘好’字可能会体现人们千变万化的真实含义。”黄仁勋开玩笑称。的确,一个充满热情的“好”是发自内心的赞美和欣赏,而一个冷冰冰的“好”有可能释放出相反的意思。对此,Sutskever表示会考虑用音频来改善未来的大模型。
“我从事这项工作已经很久,差不多整整20年了。GPT-4让我看到它不再渺小,而是更加重要,它还是那个神经网络,只是变得更强大。”Sutskever如是表示。
元宇宙神评
相关主题
-
《AIGC行业深度报告(7)-ChatGPT:三大主线,AI算力需求井喷!》(附PDF下载)
内容概要:政策端与产业端持续发力,算力建设持续提速;大模型引爆海量算力需求,AI产业量价齐升;全球算力市场持续火热,AI芯片群星闪耀。
-
《兴业证券-AIGC全方位解析与展望》(附PDF下载)
内容概要:Gartner 预计,2022 年 AIGC 占全球数字数据量为1%,到 2025 年,这一比例将提升至10%。
-
《增长黑盒&黑盒点评-2023中国AIGC应用研究报告》(附PDF下载)
-
图解网信办《生成式人工智能服务管理办法(征求意见稿)》V1.0.0(附PDF下载)
内容概要:2023年4月11日,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》,面向社会公开征求意见,旨在促进生成式人工智能技术健康发展和规范应用。
-
逐浪AIGC⑱丨迈入混战时代:科技公司竞速AI大模型
内容概要:目前AI大模型处于百花齐放的状态。
-
逐浪AIGC⑰丨AI迈入群雄逐鹿时代 阿里巴巴全方位迎战
内容概要:张勇的新开始,也是阿里云的新征程。
-
【元宇宙之约】第019期:AIGC能快速构建元宇宙行业的基础设施
内容概要:在雷涛看来,大模型只是解决基础能力,真正到每一个领域应用还是需要去做自己的数据训练;基础模型需要真正去理解用户,因为用户的问题是千差万别,答案也会千差万别。
-
《AIGC行业深度报告(6)-ChatGPT:存算一体,算力的下一极》(附PDF下载)
内容概要:ChatGPT开启大模型“军备赛”,算力呈现明显缺口。存算一体,后摩尔时代的必然发展,存算一体为人工智能发展的必然选择。
-
逐浪AIGC⑯|Meta入局来势汹涌 “生成式AI”引发技术争鸣
-
逐浪AIGC⑮ | AI伦理之惑:马斯克等科技大佬为何拦停GPT-5
内容概要:如今,我们的社会已经暂停其他可能造成灾难性影响的技术,对于人工智能也应该如此,“让我们享受一个漫长的‘AI之夏’,而不是毫无准备地进入秋天”。
-
逐浪AIGC⑬丨英伟达新GPU“炸场”,未来人人都可以是程序员?
内容概要:AIGC算力成本有望大降?
-
逐浪AIGC⑫|制造“iPhone时刻”,英伟达再塑AI算力上限
-
逐浪AIGC⑪|半百微软,扎进AI变局
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
逐浪AIGC⑩丨AI热潮下的惊喜、失落与期待
内容概要:国内AI生态的构建同样值得期待。
-
逐浪AIGC⑨丨文心一言实测体验:语文满分、数学学渣、画画水平一般般
内容概要:目前大概是个偏科严重的文科生吧。
-
逐浪AIGC⑥丨文心一言开放测试 百度股价逆风翻盘
内容概要:AI大模型时代降临,本土大厂机会来了。
-
逐浪AIGC⑧丨GPT-4诞生次日,微软Office重生
内容概要:这其实是一场产业叠加的爆发。
-
逐浪AIGC⑦丨在新一轮AI全球竞赛中,中国企业要抓住产业场景优势
内容概要:在AI领域,中国企业也能够走出中国特色。
-
逐浪AIGC⑤丨大模型狂飙
-
AI+元宇宙!Meta离梦想更进一步?
-
【元宇宙之约】第018期:AIGC将为元宇宙解决两个技术难题
-
放弃元宇宙,转型AI?Meta:不,两个我都要
-
《中国人工智能产业研究报告(Ⅴ):道阻且长,行而不辍》(附PDF下载)
内容概要:AI成为企业数字化、智能化改革的重要抓手,也是各行业领军企业打造营收护城河的重要方向。落地AI应用对企业业务运营的商业价值与战略意义越来越明确。
-
加速元宇宙创新生态,阿里云和伙伴一起探寻奇点
-
《AIGC行业深度报告(5)-ChatGPT:加速计算服务器时代到来》(附PDF下载)
内容概要:ChatGPT的竞争本质即大模型储备竞赛,大模型出现带动AI服务器呈现加速状态,服务器架构随负载量扩张而不断优化,数字经济时代,服务器应用前景广阔。
-
中国 AIGC 与元宇宙创新创业创作大赛即将启动
内容概要:在实现元宇宙的过程中,会不断出现像AIGC这样的爆点,而我们将通过大赛的方式去追踪,用大赛去覆盖元宇宙成长过程中的每一个关键技术突破。
-
《AIGC行业深度报告(4)-ChatGPT:百度文心一言畅想》(附PDF下载)
-
AIGC挑战广告狂人!Meta推出AI生成广告服务,已填补公司百亿损失
内容概要:在竞争激烈的广告营销市场中,大数据和AI作用下的精准化打击能起到增益,也能大大降低内容制作成本,但创意、内容以及对目标客户的理解程度才是永恒的核心竞争力。
-
各大企业巨亏裁员,元宇宙会是又一个泡沫吗?
-
ChatGPT,将元宇宙拍在沙滩上?
内容概要:“长江后浪推前浪,ChatGPT将元宇宙拍在沙滩上。”在ChatGPT火爆出圈的同时,近年“新贵”元宇宙则显落寞。
-
《AIGC行业深度报告(2)-ChatGPT,重新定义搜索“入口”》(附PDF下载)
-
“魔珐科技”获1.3亿美元融资 元宇宙离《终极玩家》还有多远?
内容概要:元宇宙是当下创投市场当之无愧的风口,虚拟人作为入场券其热度也随之攀升,有望成为元宇宙中最先盈利的板块,因此也吸引了众多投资机构、互联网巨头的争相布局。
-
元宇宙“由虚向实”背后:生成式AI技术持续发展升级
内容概要:具备沉浸感、低延时、多元化、随时随地、身份属性明确的多模态内容既是元宇宙的基本单位,也是通往元宇宙的关键路径。
-
魔珐科技创始人柴金祥:虚拟人产业迎来井喷 推进商业复制时机已到
-
《2023年AIGC应用与实践展望报告-甲子光年》(附PDF下载)
内容概要:甲子光年智库特此展开AIGC应用与实践研究,输出《AIGC应用与实践研究报告》,期待与各方共同见证AIGC行业的星辰大海。
-
平台押注资本追捧 视听产业成元宇宙场景应用第一战场
内容概要:报告显示,元宇宙是一个需要长期才能实现的目标,在实现元宇宙的旅程之中会不断地出现像AIGC这样的爆点。有了AIGC支持后,人类至少一只脚已经开始在往真正的元宇宙时代迈进。
-
英伟达元宇宙获得新硬件支持
内容概要:英伟达负责专业可视化的副总裁Bob Pette在本周举行的年度GTC(GPU技术大会)前的新闻发布会上表示,这家芯片制造商推出了一款名为OVX 3的新服务器,旨在创建和操作元宇宙。
-
一文详解AIGC:推动元宇宙发展的加速器
内容概要:AIGC的出现意味着创作者将从繁冗的基础性工作中解脱出来,把更多的精力放到创意表达上,这是未来内容创作行业,甚至是人类工作方式的整体趋势。
-
一文读懂AIGC,万亿新赛道为何今年获得爆发?
-
从AI画画到“用声音做视频”,全球掘金AIGC
内容概要:登台的新宠儿名为“AIGC”,又称“生成式AI”(Generative AI)。这一领域正以令人侧目的速度发展,将创新和技术再度拉回到世界舞台的焦点。
-
红杉资本:生成式人工智能,一个充满创造性的新世界
-
《中国信通院-人工智能生成内容(AIGC)白皮书(2022年)》(附PDF下载)
-
Meta开源对标神经网络GPT-3的大规模语言模型OPT
-
科技公司史上第一次:Meta开源与GPT3参数相当的大语言模型OPT
内容概要:Meta此次以这样的程度开源其大型语言模型是一个非常大胆的举措,可能会产生当下想象不到的风险。这也是OpenAI对于不发布GPT-3的前身GPT-2给出的原因。
-
GPT-4技术报告(附中、英文PDF下载,含GPT-4 System Card_中文)
内容概要:这份技术报告介绍了 GPT-4,一种能处理图像和文本输入并生成文本输出的大型多模态模型。这类模型非常重要,因为它们有潜力被广泛应用于对话系统、文本摘要和机器翻译等领域。
-
《ChatGPT的技术发展路径和带来的影响》(附PDF下载)
内容概要:InstructGPT/ChatGPT的效果非常亮眼,引入了人工标注之后,让模型的“价值观”和的正确程度和人类行为模式的“真实性”上都大幅的提升。
-
《哈工大-ChatGPT 调研报告 (仅供内部参考)》(附PDF下载)
内容概要:哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从 技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍 及总结。 本报告仅供内部参考。
-
Unity中国亮相2023全球人工智能开发者先锋大会
-
ChatGPT火了,元宇宙凉了?
-
元宇宙没失宠,XR也没凉
内容概要:元宇宙本身是长期建设的过程,在不断沉淀与发展中,会有很多的机遇与挑战,元宇宙新基建必然会迎来发展高潮,未来可期。
-
中国计算机行业协会罗军:ChatGPT的出现,将元宇宙实现至少提前了10年
-
《ChatGPT:开启AI新纪元》(附PDF下载)
内容概要:近日,财通证券发布研报《ChatGPT:开启AI新纪元》指出,ChatGPT加速应用场景落地,带动AI产业上游需求。
-
微软元宇宙大撤退!
内容概要:2023年开年第一波大裁员,微软重创手下VR/AR团队。有了「新宠」ChatGPT,手中的「元宇宙」真不香了。
-
如何推进人工智能与元宇宙的协同发展?