九游会j9体育(中国)官方网站我合计天下上充斥着生成式东谈主工智能系统-九游会J9(AG) 官方网站
(原标题:英伟达GPU九游会j9体育(中国)官方网站,好日子到头了?)
若是您但愿不错经常碰头,接待标星储藏哦~
起头:内容来自eetimes.jp,谢谢。
将来NVIDIA GPU需求增多的“GPU节”会发生什么?在本文中,咱们通过分析 AI(东谈主工智能)业绩器出货量数据来预测 NVIDIA“GPU 节”的将来。
NVIDIA的“GPU节”会竣事吗?
自2022年11月30日好意思国Open AI发布ChatGPT以来,生成式AI(东谈主工智能)成为一大激越,NVIDIA的GPU当作AI半导体启动流行。然而,在GPU的坐蓐中,存在两个瓶颈:台积电的中制程和高带宽内存(HBM)与DRAM堆叠,导致GPU在寰球范围内穷乏“瓶颈是HBM和台积电之间的中间制程吗?”
在这些GPU中,“H100”的需求量尤其大,其价钱飙升至4万好意思元,激勉了所谓的NVIDIA“GPU节”。
在这种情况下,台积电将中制程中介层产能翻倍,SK海力士等DRAM制造商增多了HBM产量,导致“H100”的交货工夫从52周责怪至20周。
那么,NVIDIA的“GPU节”会竣事吗?
因此,在这篇著作中,咱们将计划NVIDIA的“GPU节”是否行将竣事。先说论断,权衡即使到2024年,ChatGPT级AI援手和运营所需的高端AI业绩器(界说将在背面发挥)也只消3.9%的出货量。因此,谷歌、亚马逊、微软等云业绩提供商(CSP)的需求似乎压根无法得到欢叫。总之,到面前为止,NVIDIA 的“GPU 节”还仅仅一个启动,全面的生成式 AI 激越行将到来。
底下,咱们先毛糙回想一下NVIDIA GPU的两大瓶颈。
两个NVIDIA GPU瓶颈
在NVIDIA GPU的坐蓐中,代工场台积电小心通盘前、中、后工序。这里,中间工序是指分别坐蓐GPU、CPU、HBM等芯片,并将其遗弃在从12英寸硅片切下的方形基板上的工序。这种基板称为硅中介层(图 1)。
图1 2.5D到3D中出现的中级工艺,举例NVIDIA GPU(贵府起头:Tadashi Kamewada)
另外,台积电援手的NVIDIA GPU封装称为CoWoS(Chip on Wafer on Substrate),但两个瓶颈是硅中介层容量和HBM(图2)。情况如下。
图2 CoWoS结构和NVIDIA GPU上的两个瓶颈(起头:WikiChip)
CoWoS 于 2011 年援手,但而后,跟着 GPU 性能的栽植,GPU 芯片的尺寸不停增大,GPU 中装配的 HBM 数目也随之增多(图 3)。成果,硅中介层逐年变大,而从单个晶圆上可赢得的中介层数目却与之成反比减少。
图3 Interposer面积和HBM数目跟着每一代的增多而增多(贵府起头:KC Yee(TSMC))
此外,GPU中装配的HBM数目增多,HBM里面堆叠的DRAM芯片数目也增多。此外,DRAM每两年就会袖珍化一次,HBM圭表每两年更新一次以栽植性能。因此,顶端HBM供不应求。
在这种情况下,台积电将其硅中介层产能从2023年夏令前后的每月15000片翻倍至本年夏令前后的每月高出30000片。此外,三星电子和好意思光科技已赢得NVIDIA认证,并启动供应顶端HBM,此前由SK海力士主导。
受上述影响,需求量最高的NVIDIA H100的交货工夫从52周大幅责怪至20周。那么,AI业绩器的出货量因此增多了些许呢?
两类AI业绩器的界说
字据DIGITIMES Research发布的《寰球年度业绩器出货量,2023-2024》(Servers Report Database, 2024)表露,AI业绩器有两种类型:
配备两个或多个AI加快器但未配备HBM的系统称为“通用AI业绩器”。
配备至少四个搭载HBM的AI加快器的系统被称为“高端AI业绩器”。
这里的AI加快器是指为加快AI哄骗,很是是神经收集和机器学习而设想的特殊硬件,典型的例子即是NVIDIA的GPU。此外,ChatGPT级别的生成式AI的援手和运行需要大量高端AI业绩器,而不是通用AI业绩器。
那么,通用AI业绩器和高端AI业绩器的出货量分别是些许?
通用AI业绩器和高端AI业绩器出货量
图4表露了2022年至2023年通用AI业绩器和高端AI业绩器的出货量。权衡2022年通用AI业绩器出货量为34.4万台,2023年出货量为47万台,2024年出货量为72.5万台。
图4 通用AI业绩器和高端AI业绩器出货量(2022-2024)(贵府起头:DIGITIMES Research)
同期,ChatGPT级生成式AI援手和运营所需的高端AI业绩器权衡2022年出货3.4万台,2023年出货20万台,2024年出货56.4万台。
那么,高端AI业绩器的出货量能否欢叫好意思国CSP的需求呢?
图5表露了业绩器、通用AI业绩器和高端AI业绩器的出货数目。当我画出这张图并看着它时,我惊呆了,念念知谈“这是有些许高端AI业绩器正在出货吗? ”这是因为,从业绩器举座来看,不管是通用东谈主工智能业绩器如故高端东谈主工智能业绩器,出货量王人额外少。
图5 业绩器、通用AI业绩器、高端AI业绩器出货量
贵府起头:作家字据MIC和DIGITIMES
当我探讨援手和运行 ChatGPT 级别的生成式 AI 需要些许高端 AI 业绩器时,我愈加失望。
ChatGPT级别生成AI所需的高端AI业绩器
据报谈,ChatGPT 的援手和运营需要 30,000 台 NVIDIA DGX H100 高端 AI 业绩器(图 6)。当我看到这个三万台的数字时,我感到头晕。
图6 运行ChatGPT需要些许高端AI业绩器?(起头:HPC网站)
趁机说一句,“NVIDIA DGX H100”配备了八颗“H100”芯片,每颗芯片的价钱已飙升至4万好意思元,使得系统总价达到46万好意思元。换句话说,生成 ChatGPT 级别的 AI 需要投资 30,000 单元 x 460,000 好意思元 = 138 亿好意思元(按 1 好意思元 = 145 日元设想,约 2 万亿日元!)。
我合计天下上充斥着生成式东谈主工智能系统,但内容上如故(或将要)构建了些许 ChatGPT 类生成式东谈主工智能?(图7)
图7 业绩器出货量、高端AI业绩器出货量、ChatGPT级生成AI系统数目(起头:MIC和DIGITIMES)
由于2022年高端AI业绩器出货量为3.4万台,因此只可构建一套ChatGPT级AI系统(这恰是ChatGPT)。次年,即2023年,高端AI业绩器出货量达到20万台,因此不错构建6到7个ChatGPT级AI系统。由于权衡2024年将出货56.4万台高端AI业绩器,因此将有可能构建18至19个ChatGPT级AI系统。
不外,上述估算假定ChatGPT级AI不错用3万台高端AI业绩器“NVIDIA DGX H100”构建。然而,由于一代 AI 可能变得愈加复杂,在这种情况下可能需要高出 30,000 个 NVIDIA DGX H100。要而言之,好意思国通讯业绩提供商不太可能对现时高端东谈主工智能业绩器的出货量感到平稳。
面前,咱们来望望每个最终用户(举例好意思国的 CSP)领有些许台高端 AI 业绩器。
最终用户的高端东谈主工智能业绩器数目
图 8表露了最终用户的高端 AI 业绩器数目。2023年,领有OpenAI的微软领有最多的高端AI业绩器数目,为6.3万台,但到2024年,谷歌将高出微软,领有最多的高端AI业绩器。
图8 按最终用户折柳的高端东谈主工智能业绩器(2023-2024)(起头:DIGITIMES Research)
2024 年名次前五的分别是谷歌,以 162,000 台(5 个系统)名步骤一,微软以 90,000 台(3 个系统)名步骤二,超微以 68,000 台(2 个系统)名步骤三,亚马逊(67,000 台)名步骤四。2个系统),其次是Meta,以46,000个单元(1个系统)名步骤五(括号中的数字是ChatGPT类生成AI不错构建的系统数目)。由此可见,好意思国前五名光热发电企业把持了约80%的份额。
接下来咱们望望AI加快器的高端AI业绩器出货量(图9),正如预期,NVIDIA的GPU是AI加快器使用最多的,2024年将达到33.6万台。然而,令东谈主骇怪的是,第二受接待的公司不是AMD,而是谷歌。
图9 按东谈主工智能加快器折柳的高端东谈主工智能业绩器(2023-2024)(贵府起头:DIGITIMES Research)
谷歌援手了我方的张量贬责单元(TPU)当作东谈主工智能加快器。到2024年,搭载该TPU的高端AI业绩器数目将达到13.8万台。这里,从图8咱们知谈,谷歌到2024年将领有16.2万台高端AI业绩器。因此,权衡有 138,000 台配备了 Google 自家的 TPU,其余 24,000 台配备了 NVIDIA 的 GPU。换句话说,关于英伟达来说,谷歌既是客户,亦然可怕的敌东谈主。
另外,若是咱们再看一下2024年的出货量,名步骤三的AMD有4.5万台,名步骤四的亚马逊则以4万台紧随自后。亚马逊还在援手 AWS Trainium 当作东谈主工智能加快器。若是再等等,AMD可能会被亚马逊高出。
要而言之,面前,NVIDIA 的 AI 加快器出货量最多,但谷歌和亚马逊正在成为其强有劲的竞争敌手。NVIDIA的竞争敌手不是贬责器制造商AMD(固然不是靠近危急的英特尔),而是好意思国的CSP谷歌和亚马逊。
全面的生成式东谈主工智能激越行将到来
让咱们总结一下到面前为止的一切。字据 DIGITIMES Research 的一份求教,权衡到 2024 年,未必援手和运行 ChatGPT 级生成式 AI 的高端 AI 业绩器出货量仅占通盘业绩器的 3.9%。东谈主们合计这个出货量压根无法欢叫CSP的需求。
也即是说,NVIDIA 2023年至2024年的“GPU节”仅仅一个启动。因此,全面的生成式东谈主工智能激越很可能到来。让咱们不才面展示其基础。
图10表露了半导体行业协会 (SIA) 发布的按哄骗折柳的半导体市集过甚将来预测。据SIA预测,2030年寰球半导体市集范围将高出1万亿好意思元。
图10 按哄骗折柳的半导体出货量预测(起头:SIA博客)
舍弃 2030 年,最大的市集将是设想和数据存储。其中包括PC和业绩器(固然还有高端AI业绩器),但由于PC出货量不太可能大幅增多,因此业绩器可能会占大多数。
有线通讯是指用于数据中心的半导体。这意味着到2030年,设想和数据存储(3300亿好意思元)+有线通讯(600亿好意思元)=揣测3900亿好意思元将成为数据中心(包括PC)的半导体,成为寰球最大的市集。
另一件值得存眷的事情是数据中心市集过甚远景,如图11所示。2022年ChatGPT发布后,数据中心市集权衡将稳步增长。数据中心由三个成分构成:收集基础步骤、业绩器和存储,权衡从 2023 年到 2029 年,业绩器和存储将分别增多一倍傍边。
图11 数据中心市集预测(全面的生成式AI激越尚未到来)(贵府起头:作家字据Statista Market Insights数据制作)
这么,业绩器具半导体(包括高端AI业绩器)将占据寰球市集最大份额,数据中心市集也将扩大。
访佛终末一次。到面前为止,NVIDIA 的“GPU 节”还仅仅节前举止。全面的生成式东谈主工智能激越行将到来。
https://eetimes.itmedia.co.jp/ee/articles/2410/02/news064.html
半导体极品公众号推选
专注半导体范围更多原创内容
存眷寰球半导体产业动向与趋势
*免责声明:本文由作家原创。著作内容系作家个东谈主不雅点,半导体行业不雅察转载仅为了传达一种不同的不雅点,不代表半导体行业不雅察对该不雅点赞同或撑抓,若是有任何异议,接待关联半导体行业不雅察。
今天是《半导体行业不雅察》为您共享的第3904内容,接待存眷。
『半导体第一垂直媒体』
及时 专科 原创 深度
公众号ID:icbank
心爱咱们的内容就点“在看”共享给小伙伴哦九游会j9体育(中国)官方网站