热门文章
- GPT-4技术报告(附中、英文PDF下载,...
- Meta开源对标神经网络GPT-3的大规模...
- 图解网信办《生成式人工智能服务管理...
- 《哈工大-ChatGPT 调研报告 (仅供内部...
- 《ChatGPT的技术发展路径和带来的影响...
- 《AIGC行业深度报告(7)-ChatGPT:三大...
- 元宇宙“由虚向实”背后:生成式AI技术...
- 《AIGC深度报告:新一轮内容生产力革命...
- 《中国人工智能产业研究报告(Ⅴ):道阻...
- 《兴业证券-AIGC全方位解析与展望》(附...
- 科技公司史上第一次:Meta开源与GPT3...
- 《中国信通院-人工智能生成内容(AIGC)...
- 用全球最快 AI 超算秀肌肉后,黄仁勋...
- 元宇宙的最大变量AI注入后的化学反应
- 《增长黑盒&黑盒点评-2023中国AIGC应...
- 《ChatGPT:开启AI新纪元》(附PDF下载)
- 为元宇宙「打地基」,Meta 开发世界最快...
- AI+元宇宙!Meta离梦想更进一步?
- 微美全息战略投资海百川,AI-Star构建...
- 逐浪AIGC⑤丨大模型狂飙
逐浪AIGC⑬丨英伟达新GPU“炸场”,未来人人都可以是程序员?
编者按:1956年,人工智能(AI,Artificial Intelligence)的概念首次提出,迄今已逾六十载。60年来,AI历经了从爆发到寒冬、再到野蛮生长的历程,伴随着人机交互、机器学习等技术的提升,AI成为了技术时代的新趋势。
2022年,AI行业再度迎来新的节点,人工智能生成内容(AIGC,AI Generated Content)后来居上,以超出人们预期的速度成为科技革命历史上的重大事件。无论是“AI画师”DALL-E2,还是“万能陪聊”对话机器人ChatGPT,生成式AI正在迅速催生全新的科技革命系统、格局与生态。
时针转至2023年,由AIGC引发的热度不减反增,而全新的智能创作时代在带来深刻生产力变革的同时,也将进而改变人类的思想演进模式。就此,21世纪经济报道数字经济课题组策划了“逐浪AIGC”系列报道,多维解读AIGC带来的技术可能和商业图景。
21世纪经济报道记者骆轶琪 广州报道
“我们正处于AI的‘iPhone时刻’。”78分钟的GTC演讲过程中,NVIDIA(英伟达)创始人兼首席执行官黄仁勋提了三次这一观点。
正当一些行业人士感慨跑一次GPT-4训练需要庞大的资金成本支持时,英伟达自己来炸场了。面向迄今历史上用户数量增长最快的应用ChatGPT,英伟达发布了包括硬件迭代和云服务一系列组合,核心目的之一,就是加速运算速度、极大降低成本。
(ChatGPT是迄今历史上用户数量增长最快的应用,图源:英伟达发布会现场展示)
黄仁勋表示,类似ChatGPT大型语言模型(LLM)的部署是一个重要的全新推理工作负载,为了支持这类模型推理,英伟达发布一款新GPU,是带有双GPU NVLink的H100 NVL。同时基于NVIDIA Hopper架构的H100配有一个Transformer引擎,是为处理驱动ChatGPT的类似模型,相比用于GPT3处理的HGX A100来看,配备四对H100和双GPU NVLink的标准服务器速度最高可达10倍。“H100可以将大型语言模型的处理成本降低一个数量级。”他续称。
为什么在AI变革进程中GPU尤为重要?这是源于AI大模型在训练时,对基础设施的要求是大规模并行计算,这也是GPU相比于其他类型计算芯片如CPU(串行运算为主)等的显著优势。当然计算的同时也需相应配套高速数据存储、光模块、通信等一系列能力。
其中对英伟达的诉求最为旺盛。今年2月份发布最新业绩时,黄仁勋就曾表示:“AI正处于一个拐点,从初创企业到大型企业,我们看到生成式AI的多功能性和能力让全球企业感受到开发和部署AI战略的急迫性。”这也成为彼时业绩交流中的核心关键词。
在3月21日深夜的演讲中,他再次提到这一点,并且指出,“生成式AI是一种新型计算机,一种我们可以用人类语言进行编程的计算机,与PC、互联网、移动设备和云类似,每个人都可以命令计算机来解决问题,现在每个人都可以是程序员。”
(黄仁勋认为生成式AI是一种新型计算机,图源:英伟达发布现场)
在英伟达和一众合作伙伴的推动下,关于前两天还在火热探讨的“GPT会取代哪些职业”这个话题,似乎也并不那么让人困扰了。
算力账单
先看看这次炸场之前,用英伟达GPU产品部署一次GPT训练需要的实力。
CINNO Research半导体事业部总经理Elvis Hsu对21世纪经济报道记者分析,2023年是ChatGPT元年,构成人工智能的三大要素包括:数据、算法、算力,其中尤以芯片的算力是最重要一环。由于模型训练参数量的使用与算力成正相关,ChatGPT持续升级进程中,其参数使用量增长幅度不可谓不大,投入资金自然水涨船高。每一次模型训练所需的资金从数百万到千万美金不等,随着硬件和云计算服务的价格不断变化。
(GPT3论文概要,其参数使用量为1750亿,图源:Open AI官网公布)
“英伟达GPU A100每片约1万美金,除了投入的人力成本、网络宽带成本和数据储存之外,最重要的就负责算力的芯片成本支出,如何降低成本与功耗便成为未来发展AI芯片的重要课题。”他总结道。
之所以现阶段较难以准确预估训练背后的整体成本,是因为OpenAI在最新关于GPT-4的论文中,明确提到出于竞争和安全等因素考虑,相关模型具体信息选择并不公开。由此业内目前对于GPT-4背后的具体训练参数量并没有十分统一的测算结果,有认为是万亿级别,也有认为是百万亿级别。
(GPT4论文中并未公布训练量和模型架构等信息,图源:Open AI官网公布)
当然其中核心的成本考虑避不开GPU。IDC亚太区研究总监郭俊丽也对记者指出,算力是AI模型的能源,将最直接受益于人工智能的普及,也成为GPT-4最重头的成本投入。同时,想要训练类似ChatGPT的大模型,除了芯片投入,还包括服务器、通信等基础设施。
考虑到不同时期英伟达GPU相关芯片产品的价格有所波动,背后所需的软件能力配置也有不同,造成其具体算力账本一般是一个大概的构想。
郭俊丽进一步指出,基于参数数量和token数量估算,GPT-3训练一次的成本约为140万美元;对于一些更大的LLM模型,比如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM,采用同样的公式可得出,训练成本介于200万-1200万美元之间。
“以GPT-3.5为模型的ChatGPT模型,都要460万-500万美元。据OpenAI测算,自2012年以来,全球头部AI模型训练算力需求每3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍。以此来推测,GPT-4的运行成本将大幅高于GPT3.5。对于想要切入该赛道的企业来说,资金成本将会是一个门槛。”她得出结论。
TrendForce集邦咨询分析师曾伯楷综合对记者分析,从GhatGPT开发历程看,其在发展初期约采用1万颗NVIDIA A100 GPU(以下简称“A100”),经扩充升级后,运算资源估计已等同2万颗A100 GPU。目前ChatGPT并未实时更新文本数据,所有信息只涵盖至2021年,GPT-4也是如此,一旦ChatGPT开始更新数据、为用户提供更长篇幅的生成内容,且用户数持续成长至1.5亿户以上,则运算资源可能得再扩充1倍,届时或许要增加1.5-2万颗A100 GPU才能满足算力需求。
“在此基础上推估,大约到2025年,每一款类似ChatGPT的超大型AI聊天机器人算力需求,约等同2.5-4万颗A100 GPU;若以每张A100 GPU显卡价值2万美元估算,总体GPU建置成本将落在5-8亿美元。”他补充道,叠加考虑到GPT-4相比前代升级为多模态(multimodal)模型,能分析文字输入、也能进行图片解读,估计超大型AI聊天机器人的整体运算资源可能须再扩张5%左右。
从这个角度看,若是从无到有打造、训练类似GPT-4的超大型AI聊天机器人,并且能够向全球用户提供流畅的生成内容服务,其构建成本必然比ChatGPT 3.5高出一倍。“至于日后成本是否呈现倍数成长,仍取决于三方面:一是大型语言模型的发展趋势,二是全球AI聊天机器人应用的使用情况,三是硬件资源分配优化方案的进展。”曾伯楷续称。
在当前半导体行业仍没有完全走出周期低点的过程中,AIGC对算力的需求无疑对英伟达的业绩带来较大支撑,但是对于其他芯片类型来说可能影响不会那么显著。
Elvis对记者指出,由于在执行计算期间需要大容量、高速的存储支持,预计高阶的内存芯片需求将会扩大,短期对于低迷的市场助长有限,是因为普及度不够,但有利于长期高性能高带宽内存HBM及高容量服务器DRAM存储器市场的增长,这对于训练成本的下降稍有助益。
计算生态
基于前面的计算和判断,行业一种观点认为,当前要部署相关AI大模型需要较大的资金实力和能力魄力。由此引发进一步思考:难道AI大模型就只能以如此高成本运行,一般企业根本无力应对吗?
这在3月21日的发布中黄仁勋已经给出了答案:GPU本身已经在快速通过硬件产品和软件生态服务等综合方式,帮助更多AI大模型成长。
GTC期间,英伟达在硬件方面针对大型语言模型发布了新款GPU——带有双GPU NVLink的H100 NVL,配套Transformer引擎,相比前代用于处理GPT3的HGX A100相比,配置四对H100和双GPU NVLink标准服务器的速度最高可达10倍,由此将大型语言模型的处理成本降低一个数量级。
(新版本GPU产品将令AI大模型处理成本降低一个数量级,图源:英伟达发布现场)
同步发布的还有Grace Hopper超级芯片,黄仁勋指出这是处理超大型数据集的理想选择,比如可以用于推荐系统的AI数据库和大型语言模型。据介绍,通过900GB/s高速芯片对芯片的接口,英伟达Grace Hopper超级芯片可以连接Grace CPU和Hopper GPU。
为了加速生成式AI的工作,在软件方面英伟达还发布了AI Foundations云服务系列,为需要构建、完善、运行自定义大型语言模型和生成式AI的客户提供服务。
倘若换个角度,在目前全球GPU霸主英伟达之外,是否还能找到其他选择,用以探索更低成本,或者其他计算能力构成的基础设施模型?比如CPU+FPGA/ASIC,亦或是正在冉冉升起的技术路线Chiplet芯粒?
对此Elvis对记者分析,从技术架构来看,AI芯片一般可以分为GPU、FPGA、ASIC和类脑芯片四大类。GPU的关键性能是矩形并行计算,无论性能还是内存带宽均远大于同代的CPU,因此很适合人工智能发展。CPU因算力有限,但若能搭配开发周期短且灵活运用度高的FPGA,或是小型化、低功耗及高性能的ASIC,甚至是芯粒Chiplet的低成本优势,也不失为良策。
曾伯楷则指出,AI模型训练当前仍多以GPU为主,是因AI芯片功能各异、取向不同。比如GPU专为同时处理多重任务而设计,诸如处理图形、图像相关运算工作。由于该芯片采用统一渲染架构,能在算法尚未定型的领域中使用,故通用性程度较高、商业化较成熟。
相比之下,FPGA、ASIC虽然各有优缺点,但其历史积累不够。“即便CPU加FPGA或ASIC的单颗成本存在低于GPU的可能,但考虑芯片开发时间、通用性程度、算法成熟度等因素,仍以GPU为主流采用芯片。”他分析道。
这里需要补充的是,英伟达之所以能够制霸GPU领域多年,除了其很早就选择了这一路线外,也由此搭建了十分丰富的CUDA生态,这是GPU领域后来者尤为缺失的一项竞争力。
(黄仁勋称英伟达构建了加速计算的良性循环,图源:英伟达发布现场)
大模型未来
一方面底层基础设施随着软硬件持续迭代升级,匹配应用场景增加,成本已经快速下降;另一方面随着微软发布Microsoft 365 Copilot,应用到了GPT-4的能力这一举动,则体现出应用端对于大模型的思考。
正式推出市场几个月至今,GPT本身就在演绎着关于商业化的探索以及实战训练的迭代。作为一项尤为强悍的智能工具,距离“我们都可以是程序员”这件事,还有多远?
郭俊丽对记者分析,相比ChatGPT之前版本,GPT-4具备四大优点:更可靠、更有创造力,可以理解并处理指令的微妙之处;具备更高智能,在学术和专业考试中表现接近人类最好水平;接受图文类模特输入,可将应用范围拓展至机器人、智能驾驶等领域;利用模型调试、工程补丁、众包测评等方式减少谬误性显示,解决体验痛点。
综合这些都显示出AI大模型未来将对各种行业带来的模式重塑。本质上从训练成本到应用成本的双双下滑,将有望更快让我们真正拥抱AI大时代,包括其将进一步对工业、医疗等各行各业的提升。
GPT本身正在积极向外拥抱。2月,OpenAI 推出ChatGPT的付费订阅版ChatGPT Plus,提供比免费版更快速的服务以及新功能优先试用权,月费20美元。
3月初,官方再度宣布开放API应用程序接口,允许第三方开发者通过API将ChatGPT集成至他们的应用程序和服务中。按照每一千个Tokens/0.002美元收费,相比此前的GPT3,费用下降90%。
IDC中国研究总监卢言霞对21世纪经济报道记者分析,“个人认为,降低定价才能提高该产品的用量,如此也能让算法模型快速迭代。用量起来反哺模型,该产品的准确度会越来越高。”
她进一步指出,一般来说,AI大模型的变现有3种路线:卖算力,大模型用户自己训练自己部署;卖模型与算力高度结合,软硬一体优化方案;模型即服务,就是开放API。
“目前来看OpenAI采用该两种模式面向的对象不同。Plus订阅可能倾向于面向个人,后续开放API则是面向企业级客户。由于面向的对象不一样,就谈不上对比哪种方式更容易变现。”她续称。
随着核心且高昂的算力基础设施已经在积极提速降本、拥抱各行各业伙伴,我们距离黄仁勋提出的畅想似乎又接近了一些。
(作者:骆轶琪 编辑:张伟贤)
元宇宙神评
相关主题
-
《AIGC行业深度报告(7)-ChatGPT:三大主线,AI算力需求井喷!》(附PDF下载)
内容概要:政策端与产业端持续发力,算力建设持续提速;大模型引爆海量算力需求,AI产业量价齐升;全球算力市场持续火热,AI芯片群星闪耀。
-
《兴业证券-AIGC全方位解析与展望》(附PDF下载)
内容概要:Gartner 预计,2022 年 AIGC 占全球数字数据量为1%,到 2025 年,这一比例将提升至10%。
-
《增长黑盒&黑盒点评-2023中国AIGC应用研究报告》(附PDF下载)
-
图解网信办《生成式人工智能服务管理办法(征求意见稿)》V1.0.0(附PDF下载)
内容概要:2023年4月11日,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》,面向社会公开征求意见,旨在促进生成式人工智能技术健康发展和规范应用。
-
逐浪AIGC⑱丨迈入混战时代:科技公司竞速AI大模型
内容概要:目前AI大模型处于百花齐放的状态。
-
逐浪AIGC⑰丨AI迈入群雄逐鹿时代 阿里巴巴全方位迎战
内容概要:张勇的新开始,也是阿里云的新征程。
-
【元宇宙之约】第019期:AIGC能快速构建元宇宙行业的基础设施
内容概要:在雷涛看来,大模型只是解决基础能力,真正到每一个领域应用还是需要去做自己的数据训练;基础模型需要真正去理解用户,因为用户的问题是千差万别,答案也会千差万别。
-
《AIGC行业深度报告(6)-ChatGPT:存算一体,算力的下一极》(附PDF下载)
内容概要:ChatGPT开启大模型“军备赛”,算力呈现明显缺口。存算一体,后摩尔时代的必然发展,存算一体为人工智能发展的必然选择。
-
逐浪AIGC⑯|Meta入局来势汹涌 “生成式AI”引发技术争鸣
-
逐浪AIGC⑮ | AI伦理之惑:马斯克等科技大佬为何拦停GPT-5
内容概要:如今,我们的社会已经暂停其他可能造成灾难性影响的技术,对于人工智能也应该如此,“让我们享受一个漫长的‘AI之夏’,而不是毫无准备地进入秋天”。
-
逐浪AIGC⑭|黄仁勋对话OpenAI创始人 现代AI和ChatGPT如何诞生
内容概要:它还是那个神经网络,只是变得更强大。
-
逐浪AIGC⑫|制造“iPhone时刻”,英伟达再塑AI算力上限
-
逐浪AIGC⑪|半百微软,扎进AI变局
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
逐浪AIGC⑩丨AI热潮下的惊喜、失落与期待
内容概要:国内AI生态的构建同样值得期待。
-
逐浪AIGC⑨丨文心一言实测体验:语文满分、数学学渣、画画水平一般般
内容概要:目前大概是个偏科严重的文科生吧。
-
逐浪AIGC⑥丨文心一言开放测试 百度股价逆风翻盘
内容概要:AI大模型时代降临,本土大厂机会来了。
-
逐浪AIGC⑧丨GPT-4诞生次日,微软Office重生
内容概要:这其实是一场产业叠加的爆发。
-
逐浪AIGC⑦丨在新一轮AI全球竞赛中,中国企业要抓住产业场景优势
内容概要:在AI领域,中国企业也能够走出中国特色。
-
逐浪AIGC⑤丨大模型狂飙
-
AI+元宇宙!Meta离梦想更进一步?
-
【元宇宙之约】第018期:AIGC将为元宇宙解决两个技术难题
-
放弃元宇宙,转型AI?Meta:不,两个我都要
-
《中国人工智能产业研究报告(Ⅴ):道阻且长,行而不辍》(附PDF下载)
内容概要:AI成为企业数字化、智能化改革的重要抓手,也是各行业领军企业打造营收护城河的重要方向。落地AI应用对企业业务运营的商业价值与战略意义越来越明确。
-
加速元宇宙创新生态,阿里云和伙伴一起探寻奇点
-
《AIGC行业深度报告(5)-ChatGPT:加速计算服务器时代到来》(附PDF下载)
内容概要:ChatGPT的竞争本质即大模型储备竞赛,大模型出现带动AI服务器呈现加速状态,服务器架构随负载量扩张而不断优化,数字经济时代,服务器应用前景广阔。
-
中国 AIGC 与元宇宙创新创业创作大赛即将启动
内容概要:在实现元宇宙的过程中,会不断出现像AIGC这样的爆点,而我们将通过大赛的方式去追踪,用大赛去覆盖元宇宙成长过程中的每一个关键技术突破。
-
《AIGC行业深度报告(4)-ChatGPT:百度文心一言畅想》(附PDF下载)
-
AIGC挑战广告狂人!Meta推出AI生成广告服务,已填补公司百亿损失
内容概要:在竞争激烈的广告营销市场中,大数据和AI作用下的精准化打击能起到增益,也能大大降低内容制作成本,但创意、内容以及对目标客户的理解程度才是永恒的核心竞争力。
-
各大企业巨亏裁员,元宇宙会是又一个泡沫吗?
-
ChatGPT,将元宇宙拍在沙滩上?
内容概要:“长江后浪推前浪,ChatGPT将元宇宙拍在沙滩上。”在ChatGPT火爆出圈的同时,近年“新贵”元宇宙则显落寞。
-
《AIGC行业深度报告(2)-ChatGPT,重新定义搜索“入口”》(附PDF下载)
-
“魔珐科技”获1.3亿美元融资 元宇宙离《终极玩家》还有多远?
内容概要:元宇宙是当下创投市场当之无愧的风口,虚拟人作为入场券其热度也随之攀升,有望成为元宇宙中最先盈利的板块,因此也吸引了众多投资机构、互联网巨头的争相布局。
-
元宇宙“由虚向实”背后:生成式AI技术持续发展升级
内容概要:具备沉浸感、低延时、多元化、随时随地、身份属性明确的多模态内容既是元宇宙的基本单位,也是通往元宇宙的关键路径。
-
魔珐科技创始人柴金祥:虚拟人产业迎来井喷 推进商业复制时机已到
-
《2023年AIGC应用与实践展望报告-甲子光年》(附PDF下载)
内容概要:甲子光年智库特此展开AIGC应用与实践研究,输出《AIGC应用与实践研究报告》,期待与各方共同见证AIGC行业的星辰大海。
-
平台押注资本追捧 视听产业成元宇宙场景应用第一战场
内容概要:报告显示,元宇宙是一个需要长期才能实现的目标,在实现元宇宙的旅程之中会不断地出现像AIGC这样的爆点。有了AIGC支持后,人类至少一只脚已经开始在往真正的元宇宙时代迈进。
-
英伟达元宇宙获得新硬件支持
内容概要:英伟达负责专业可视化的副总裁Bob Pette在本周举行的年度GTC(GPU技术大会)前的新闻发布会上表示,这家芯片制造商推出了一款名为OVX 3的新服务器,旨在创建和操作元宇宙。
-
一文详解AIGC:推动元宇宙发展的加速器
内容概要:AIGC的出现意味着创作者将从繁冗的基础性工作中解脱出来,把更多的精力放到创意表达上,这是未来内容创作行业,甚至是人类工作方式的整体趋势。
-
一文读懂AIGC,万亿新赛道为何今年获得爆发?
-
从AI画画到“用声音做视频”,全球掘金AIGC
内容概要:登台的新宠儿名为“AIGC”,又称“生成式AI”(Generative AI)。这一领域正以令人侧目的速度发展,将创新和技术再度拉回到世界舞台的焦点。
-
红杉资本:生成式人工智能,一个充满创造性的新世界
-
《中国信通院-人工智能生成内容(AIGC)白皮书(2022年)》(附PDF下载)
-
AIGC的“含科量”与“含资量”
-
2021年度十大前沿科技趋势:生命科学进入数据驱动时代,XR和AIGC催熟元宇宙
内容概要:我们正处于一个崭新的技术创新周期。但如果以年为单位,究竟又是哪些前沿技术和创新突破,正在从幕后来到台前,正在从实验室走向产业,又即将影响到我们每个人。。。
-
GPT-4技术报告(附中、英文PDF下载,含GPT-4 System Card_中文)
内容概要:这份技术报告介绍了 GPT-4,一种能处理图像和文本输入并生成文本输出的大型多模态模型。这类模型非常重要,因为它们有潜力被广泛应用于对话系统、文本摘要和机器翻译等领域。
-
《ChatGPT的技术发展路径和带来的影响》(附PDF下载)
内容概要:InstructGPT/ChatGPT的效果非常亮眼,引入了人工标注之后,让模型的“价值观”和的正确程度和人类行为模式的“真实性”上都大幅的提升。
-
《哈工大-ChatGPT 调研报告 (仅供内部参考)》(附PDF下载)
内容概要:哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告,从 技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍 及总结。 本报告仅供内部参考。
-
Unity中国亮相2023全球人工智能开发者先锋大会
-
ChatGPT火了,元宇宙凉了?
-
元宇宙没失宠,XR也没凉
内容概要:元宇宙本身是长期建设的过程,在不断沉淀与发展中,会有很多的机遇与挑战,元宇宙新基建必然会迎来发展高潮,未来可期。
-
中国计算机行业协会罗军:ChatGPT的出现,将元宇宙实现至少提前了10年
-
《ChatGPT:开启AI新纪元》(附PDF下载)
内容概要:近日,财通证券发布研报《ChatGPT:开启AI新纪元》指出,ChatGPT加速应用场景落地,带动AI产业上游需求。
-
微软元宇宙大撤退!
内容概要:2023年开年第一波大裁员,微软重创手下VR/AR团队。有了「新宠」ChatGPT,手中的「元宇宙」真不香了。
-
如何推进人工智能与元宇宙的协同发展?