热门文章
- GPT-4技术报告(附中、英文PDF下载,...
- Meta开源对标神经网络GPT-3的大规模...
- 图解网信办《生成式人工智能服务管理...
- 《哈工大-ChatGPT 调研报告 (仅供内部...
- 《ChatGPT的技术发展路径和带来的影响...
- 《AIGC行业深度报告(7)-ChatGPT:三大...
- 元宇宙“由虚向实”背后:生成式AI技术...
- 《AIGC深度报告:新一轮内容生产力革命...
- 《中国人工智能产业研究报告(Ⅴ):道阻...
- 《兴业证券-AIGC全方位解析与展望》(附...
- 科技公司史上第一次:Meta开源与GPT3...
- 《中国信通院-人工智能生成内容(AIGC)...
- 用全球最快 AI 超算秀肌肉后,黄仁勋...
- 元宇宙的最大变量AI注入后的化学反应
- 《增长黑盒&黑盒点评-2023中国AIGC应...
- 《ChatGPT:开启AI新纪元》(附PDF下载)
- 为元宇宙「打地基」,Meta 开发世界最快...
- AI+元宇宙!Meta离梦想更进一步?
- 微美全息战略投资海百川,AI-Star构建...
- 逐浪AIGC⑤丨大模型狂飙
《AIGC行业深度报告(6)-ChatGPT:存算一体,算力的下一极》(附PDF下载)
ChatGPT开启大模型“军备赛”,存储作为计算机重要组成部分明显受益: ChatGPT开启算力军备赛,大模型参数呈现指数规模,引爆海量算力需求,模型计算量增长速度远超人工智能硬件算力增长速度,同时也对数据传输速度提出了更高的要求。XPU、内存、硬盘组成完整的冯诺依曼体系,以一台通用服务器为例,芯片组+存储的成本约占70%以上,芯片组、内部存储和外部存储是组成核心部件;存储是计算机的 重要组成结构,“内存”实为硬盘与CPU之间的中间人,存储可按照介质分类为ROM和RAM两部分。
存算一体,后摩尔时代的必然发展:过去二十年中,算力发展速度远超存储,“存储墙”成为加速学习时代下的一代挑战,原因是在后摩尔时代,存储带宽制约了计算系统的有效带宽,芯片算力增长步履维艰。因此存算一体有望打破冯诺依曼架构,是后摩时代下的必然选择,存算一体即数据存储与计算融合在同一个芯片的同一片区之中,极其适用于大数据量大规模并行的应用场景。存算一体优势显著,被誉为AI芯 片的“全能战士”,具有高能耗、低成本、高算力等优势;存算一体按照计算方式分为数字计算和模拟计算,应用场景较为广泛,SRAM、 RRAM有望成为云端存算一体主流介质。
存算一体前景广阔、渐入佳境: 存算一体需求旺盛,有望推动下一阶段的人工智能发展,原因是我们认为现在存算一体主要AI的算力需求、 并行计算、神经网络计算等;大模型兴起,存算一体适用于从云至端各类计算,端测方面,人工智能更在意及时响应,即“输入”即“输 出”,目前存算一体已经可以完成高精度计算;云端方面,随着大模型的横空出世,参数方面已经达到上亿级别,存算一体有望成为新一代 算力因素;存算一体适用于人工智能各个场景,如穿戴设备、移动终端、智能驾驶、数据中心等。我们认为存算一体为下一代技术趋势并有 望广泛应用于人工智能神经网络相关应用、感存算一体,多模态的人工智能计算、类脑计算等场景。
01、存算一体,开启算力新篇章
1.1、ChatGPT开启大模型“军备赛”,算力呈现明显缺口
ChatGPT开启算力军备赛: 我们已经在《ChatGPT: 百度文心一言畅想》中证明数据、平台、算力是打造大模型生态的必备基础,且算力 是训练大模型的底层动力源泉,一个优秀的算力底座在大模型(AI算法)的训练和推理具备效率优势;同时,我们在《ChatGPT打响AI算 力“军备战”》中证明算力是AI技术角逐“入场券”,其中AI服务器、AI芯片等为核心产品;此外,我们还在《ChatGPT , 英伟达DGX 引爆 AI “核聚变”》中证明以英伟达为代表的科技公司正在快速补足全球AI算力需求,为大模型增添必备“燃料”。
大模型参数呈现指数规模,引爆海量算力需求: 根据财联社和OpenAI数据,ChatGPT浪潮下算力缺口巨大,根据OpenAI数据,模型计算 量增长速度远超人工智能硬件算力增长速度,存在万倍差距。运算规模的增长,带动了对AI训练芯片单点算力提升的需求,并对数据传 输速度提出了更高的要求。根据智东西数据,过去五年,大模型发展呈现指数级别,部分大模型已达万亿级别,因此对算力需求也随之 攀升。
1.2、深度拆解服务器核心硬件组成部分
服务器的组成: 我们以一台通用服务器为例,服务器主要由主 板、内存、芯片组、磁盘、网卡、显卡、电源、主机箱等硬件 设备组成;其中芯片组、内部存储和外部存储是组成核心部件。 GPU服务器优势显著: GPU服务器超强的计算功能可应用于海 量数据处理方面的运算,如搜索、大数据推荐、智能输入法等, 相较于通用服务器,在数据量和计算量方面具有成倍的效率优 势。此外,GPU可作为深度学习的训练平台,优势在于1、 GPU 服务器可直接加速计算服务,亦可直接与外界连接通信; 2、GPU服务器和云服务器搭配使用,云服务器为主,GPU服务器负责提供计算平台;3、对象存储 COS 可以为 GPU 服务 器提供大数据量的云存储服务。
AI服务器芯片组价值成本凸显: 以一台通用服务器为例,主板 或芯片组占比最高,大约占成本50%以上,内存(内部存储+外部 存储)占比约为20%。此外,根据Wind及芯语的数据,AI服务器 相较于高性能服务器、基础服务器在芯片组(CPU+GPU)的价格往 往更高,AI服务器(训练)芯片组的成本占比高达83%、AI服务器 (推理)芯片组占比为50%,远远高于通用服务器芯片组的占比。
1.3、存储,计算机的重要组成结构
存储是计算机的重要组成结构: 存储器是用来存储程序和数据的部件,对于计算机来说,有了存储器才有记忆功能,才能保证正常工作。 存储器按其用途可分为主存储器和辅助存储器,主存储器又称内存储器(简称内存),辅助存储器又称外存储器(简称外存)。 内存: 主板上的存储结构,与CPU直接沟通,并用其存储数据的部件,存放当前正在使用的(即执行中)的数据和程序,一旦断电,其 中的程序和数据就会丢失; 外存: 磁性介质或光盘,像硬盘,软盘,CD等,能长期保存信息,并且不依赖于电力来保存信息。
XPU、内存、硬盘组成完整的冯诺依曼体系: “内存”实为硬盘与CPU之间的中间人,CPU如果直接从硬盘中抓数据,时间会太久。所以 “内存” 作为中间人,从硬盘里面提取数据,再让CPU直接到内存中拿数据做运算。这样会比直接去硬盘抓数据,快百万倍;CPU里面 有一个存储空间Register(寄存器),运算时,CPU会从内存中把数据载入Register, 再让Register中存的数字做运算,运算完再将结果 存回内存中,因此运算速度Register > 内存 > 硬盘,速度越快,价格越高,容量越低。
1.4、存算一体,后摩尔时代的必然发展
算力发展速度远超存储,存储带宽限制计算系统的速度: 在过去二十年,处理器性能以每年大约55%的速度提升,内存性能的提升速度 每年只有10%左右。因此,目前的存储速度严重滞后于处理器的计算速度。能耗方面,从处理单元外的存储器提取所需的时间往往是运 算时间的成百上千倍,因此能效非常低;“存储墙”成为加速学习时代下的一代挑战,原因是数据在计算单元和存储单元的频繁移动。
存储墙、带宽墙和功耗墙成为首要限制关键: 在传统计算机架构中,存储与计算分离,存储单元服务于计算单元,因此会考虑两者优先 级;如今由于海量数据和AI加速时代来临,不得不考虑以最佳的配合方式为数据采集、传输、处理服务,然而存储墙、带宽墙和功耗墙 成为首要挑战,虽然多核并行加速技术也能提升算力,但在后摩尔时代,存储带宽制约了计算系统的有效带宽,芯片算力增长步履维艰。
1.5、存算一体:AI芯片的“全能战士”
存算一体优势显著,被誉为AI芯片的“全能战士”其优势如下:1、成百上千倍的提高计算效率,降低成本:存算一体的优势是打破存储墙,消除不必要的数据搬移延迟和功耗,使用存储单元提升算力; 2、特定领域提供更高算力与能效:存算一体架构消除了计算与存储的界限,直接在存储器内完成计算,因此属于非冯诺伊曼架构,在特 定领域可以提供更大算力(1000TOPS以上)和更高能效(超过10-100TOPS/W),明显超越现有ASIC算力芯片; 3、存算一体代表了未来AI计算芯片的主流架构: 除AI计算外,存算技术也可用于感存算一体芯片和类脑芯片,可减少不必要的数据搬 运与使用存储单元参与逻辑计算提升算力,原因在于等效于在面积不变的情况下规模化增加计算核心数。
1.6、存算一体存储介质百花齐放
存算一体应用场景极其广阔: 端侧小算力场景,算力范围约从16TOPS至100TOPS,例如智 能可穿戴设备、智能安防、移动终端、AR\VR等。大算力场景,算力序曲在1000TOPS以上, 例如云计算数据中心、自动驾驶、GPT-4等大模型等。我们认为云和边缘大算力场景,是 存算一体芯片的优势领域,存算一体更具备核心影响力和竞争力;
SRAM、RRAM有望成为云端存算一体主流介质: 目前可用于存算一体的成熟存储器有NOR FLASH、SRAM、DRAM、RRAM、MRAM等;Nor Flash属于非易失性存储介质,在工艺制成上有 明显瓶颈;DRAM成本较低,容量大,但是速度慢;SRAM在速度方面和能效比方面具有优势, 特别是在存内逻辑技术发展起来之后具有明显的高能效和高精度特点;此外,PRAM有望成 为下一代主流研究方向,虽然目前来看材料依旧不稳定,但是具有高速、结构简单的优点, 有希望成为未来发展最快的新型存储器。
02、存算一体,打开海量应用空间
2.1、存算一体前景广阔、渐入佳境
存算一体需求旺盛,有望推动下一阶段的人工智能发展: 我们认为现在存算一体主要AI的算力需求、并行计算、神经网络计算等,因此 存算一体需求旺盛;以数据中心为例,百亿亿次(E级)的超级计算机成为各国比拼算力的关键点,为此美国能源部启动了“百亿亿次 计算项目”,我国则联合国防科大、中科曙光等机构推出首台E级超算,而E级超算面临的主要问题为功耗过高、现有技术超算功率高达 千兆瓦,需要一个专门的核电站来给它供电,而其中50%以上的功耗都来源于数据的“搬运”,本质原因是计算与存储分离所致。
大模型兴起,存算一体适用于从云至端各类计算:ChatGPT等“大模型”兴起,本质即为神经网络、深度学习等计算,因此,我们认为 对算力需求旺盛;端测方面,人工智能更在意及时响应,即“输入”即“输出”,同时,随着存算一体发展,存内计算和存内逻辑,已 经可以完成高精度计算;云端方面,随着大模型的横空出世,参数方面已经达到上亿级别,因此对算力的能耗方面考核更加严格,随着 SRAM和PRAM等技术进一步成熟,存算一体有望成为新一代算力因素,从而推动人工智能产业的发展。
2.2、存算一体为人工智能发展的必然选择
我们认为存算一体为下一代技术趋势,原因及创新应用科技场景如下:人工智能神经网络相关应用:存算一体具有能耗优势,其使用成本能大幅降低,可将带AI计算的中大量乘加计算的权重部分存在存储单元中从而在读取的同时进行数据输入和计算处理,从而完成卷积运算。因此存内计算和存内逻辑非常适合人工智能的深度神经网络应用和基于AI的大数据技术;
感存算一体,多模态的人工智能计算: 集传感、储存和运算为一体构建感存算一体架构,我们认为其为多模态时代下的应用场景, 通过传感器AI存算一体芯片,来实现零延时和超低功耗的智能视觉处理能力。我们认为其融入了CV(计算机视觉)、PRA(过程自动 画)、神经网络计算等多种计算方式,存算一体芯片具有时效、能耗等多重优势; 存算一体是类脑计算的关键技术基石: 类脑计算又称神经形态计算,是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计等算法总称;类脑计算属于大算力高能耗反冲, 存算一体极其适合大算力领域,因此天然适合应用在类脑计算领域,是类脑计算的关键技术基石。
报告节选:
元宇宙神评
相关主题
-
《AIGC行业深度报告(7)-ChatGPT:三大主线,AI算力需求井喷!》(附PDF下载)
内容概要:政策端与产业端持续发力,算力建设持续提速;大模型引爆海量算力需求,AI产业量价齐升;全球算力市场持续火热,AI芯片群星闪耀。
-
《增长黑盒&黑盒点评-2023中国AIGC应用研究报告》(附PDF下载)
-
逐浪AIGC⑱丨迈入混战时代:科技公司竞速AI大模型
内容概要:目前AI大模型处于百花齐放的状态。
-
逐浪AIGC⑰丨AI迈入群雄逐鹿时代 阿里巴巴全方位迎战
内容概要:张勇的新开始,也是阿里云的新征程。
-
逐浪AIGC⑭|黄仁勋对话OpenAI创始人 现代AI和ChatGPT如何诞生
内容概要:它还是那个神经网络,只是变得更强大。
-
逐浪AIGC⑬丨英伟达新GPU“炸场”,未来人人都可以是程序员?
内容概要:AIGC算力成本有望大降?
-
《AIGC行业深度报告(5)-ChatGPT:加速计算服务器时代到来》(附PDF下载)
内容概要:ChatGPT的竞争本质即大模型储备竞赛,大模型出现带动AI服务器呈现加速状态,服务器架构随负载量扩张而不断优化,数字经济时代,服务器应用前景广阔。
-
《AIGC行业深度报告(4)-ChatGPT:百度文心一言畅想》(附PDF下载)
-
《AIGC行业深度报告(3)-ChatGPT打响AI算力“军备战”》(附PDF下载)
内容概要:与通用服务器相比,AI服务器拥有更出色的高性能计算能力,未来,随着算力的持续增长,自然语言处理和图像、视频等AI模型的深入发展,AI服务器将被更广泛使用。
-
《AIGC行业深度报告(2)-ChatGPT,重新定义搜索“入口”》(附PDF下载)
-
《AIGC行业深度报告(1)-ChatGPT:开启AI新纪元-华西证券》(附PDF下载)
内容概要:相关厂商在降本增效的同时,有望提升其创作内容的质量、减少有害性内容传播等问题,实现创意激发,提升内容多样性,AIGC有望极大推动相关厂商商业化的发展,从而打开海量空间。
-
《兴业证券-AIGC全方位解析与展望》(附PDF下载)
内容概要:Gartner 预计,2022 年 AIGC 占全球数字数据量为1%,到 2025 年,这一比例将提升至10%。
-
图解网信办《生成式人工智能服务管理办法(征求意见稿)》V1.0.0(附PDF下载)
内容概要:2023年4月11日,国家互联网信息办公室发布《生成式人工智能服务管理办法(征求意见稿)》,面向社会公开征求意见,旨在促进生成式人工智能技术健康发展和规范应用。
-
【元宇宙之约】第019期:AIGC能快速构建元宇宙行业的基础设施
内容概要:在雷涛看来,大模型只是解决基础能力,真正到每一个领域应用还是需要去做自己的数据训练;基础模型需要真正去理解用户,因为用户的问题是千差万别,答案也会千差万别。
-
逐浪AIGC⑫|制造“iPhone时刻”,英伟达再塑AI算力上限
-
逐浪AIGC⑩丨AI热潮下的惊喜、失落与期待
内容概要:国内AI生态的构建同样值得期待。
-
逐浪AIGC⑨丨文心一言实测体验:语文满分、数学学渣、画画水平一般般
内容概要:目前大概是个偏科严重的文科生吧。
-
逐浪AIGC⑧丨GPT-4诞生次日,微软Office重生
内容概要:这其实是一场产业叠加的爆发。
-
逐浪AIGC⑤丨大模型狂飙
-
逐浪AIGC④丨新的AI浪潮来临,创业者该做什么?
内容概要:ChatGPT正掀起一场新的AI浪潮。
-
逐浪AIGC③丨国产版ChatGPT打响“第一枪”:文心一言终亮相
内容概要:先上桌,才能进入快速迭代的飞轮。
-
逐浪AIGC②丨别只盯着ChatGPT了,这波AI浪潮远不止于此
内容概要:AI 2.0是绝对不能错过的一次革命。
-
《AIGC深度报告:新一轮内容生产力革命的起点-国海证券》(附PDF下载)
内容概要:数据、算法、算力共振推动AIGC发展,模型开源及商业化带来的产品化浪潮及通用人工智能领域的初探推动AIGC破圈。
-
为元宇宙「打地基」,Meta 开发世界最快 AI 超级计算机
内容概要:虽然完全建成后的具体运算能力还未可知,但不可否认的是, Meta 的 AI 超级计算机拥有不俗的数据处理能力。从机器学习到硬件开发再到设计虚拟世界的体验,将成为 Meta 构建元宇宙的基石。
-
《2023年AIGC应用与实践展望报告-甲子光年》(附PDF下载)
内容概要:甲子光年智库特此展开AIGC应用与实践研究,输出《AIGC应用与实践研究报告》,期待与各方共同见证AIGC行业的星辰大海。
-
逐浪AIGC⑯|Meta入局来势汹涌 “生成式AI”引发技术争鸣
-
【元宇宙之约】第018期:AIGC将为元宇宙解决两个技术难题
-
逐浪AIGC⑮ | AI伦理之惑:马斯克等科技大佬为何拦停GPT-5
内容概要:如今,我们的社会已经暂停其他可能造成灾难性影响的技术,对于人工智能也应该如此,“让我们享受一个漫长的‘AI之夏’,而不是毫无准备地进入秋天”。
-
逐浪AIGC⑪|半百微软,扎进AI变局
-
《黑镜》里“自制”AI男友成真,GPT让普通人轻松构建元宇宙
-
逐浪AIGC⑥丨文心一言开放测试 百度股价逆风翻盘
内容概要:AI大模型时代降临,本土大厂机会来了。
-
逐浪AIGC⑦丨在新一轮AI全球竞赛中,中国企业要抓住产业场景优势
内容概要:在AI领域,中国企业也能够走出中国特色。
-
《ChatGPT的技术发展路径和带来的影响》(附PDF下载)
内容概要:InstructGPT/ChatGPT的效果非常亮眼,引入了人工标注之后,让模型的“价值观”和的正确程度和人类行为模式的“真实性”上都大幅的提升。
-
逐浪AIGC①丨OpenAI正式发布GPT-4 向超级AI进发?
-
AI+元宇宙!Meta离梦想更进一步?
-
平台押注资本追捧 视听产业成元宇宙场景应用第一战场
内容概要:报告显示,元宇宙是一个需要长期才能实现的目标,在实现元宇宙的旅程之中会不断地出现像AIGC这样的爆点。有了AIGC支持后,人类至少一只脚已经开始在往真正的元宇宙时代迈进。
-
GPT-4技术报告(附中、英文PDF下载,含GPT-4 System Card_中文)
内容概要:这份技术报告介绍了 GPT-4,一种能处理图像和文本输入并生成文本输出的大型多模态模型。这类模型非常重要,因为它们有潜力被广泛应用于对话系统、文本摘要和机器翻译等领域。
-
英伟达元宇宙获得新硬件支持
内容概要:英伟达负责专业可视化的副总裁Bob Pette在本周举行的年度GTC(GPU技术大会)前的新闻发布会上表示,这家芯片制造商推出了一款名为OVX 3的新服务器,旨在创建和操作元宇宙。
-
放弃元宇宙,转型AI?Meta:不,两个我都要
-
加速元宇宙创新生态,阿里云和伙伴一起探寻奇点
-
AIGC挑战广告狂人!Meta推出AI生成广告服务,已填补公司百亿损失
内容概要:在竞争激烈的广告营销市场中,大数据和AI作用下的精准化打击能起到增益,也能大大降低内容制作成本,但创意、内容以及对目标客户的理解程度才是永恒的核心竞争力。
-
ChatGPT火了,元宇宙凉了?
-
元宇宙没失宠,XR也没凉
内容概要:元宇宙本身是长期建设的过程,在不断沉淀与发展中,会有很多的机遇与挑战,元宇宙新基建必然会迎来发展高潮,未来可期。
-
ChatGPT,将元宇宙拍在沙滩上?
内容概要:“长江后浪推前浪,ChatGPT将元宇宙拍在沙滩上。”在ChatGPT火爆出圈的同时,近年“新贵”元宇宙则显落寞。