随着生成性人工智能（genAI）的广泛应用，支撑其增长的基础设施已经达到供应瓶颈。根据国际数据公司（IDC）的调查，全球有66%的企业计划在未来18个月内投资genAI。在那些计划在2024年增加IT支出以支持genAI的企业中，预计有46%的资金将用于基础设施建设。目前，构建AI基础设施所必需的关键硬件供不应求。
在过去两年里，AI的迅猛发展导致了特殊高性能芯片供应不足，这些芯片是运行genAI和其他AI应用所必需的。芯片短缺问题主要集中在对Nvidia GPU的需求急剧增加，同时也包括来自AMD、Intel以及大型数据中心运营商的其他芯片需求。宾夕法尼亚大学计算机与信息科学系的Benjamin Lee教授指出，这一短缺情况尤其严重。
Lee教授提到，虽然对SK Hynix在韩国运营的晶圆厂生产的高带宽内存芯片需求激增，但这方面的关注度并不高。
最近，SK Hynix宣布，由于需求激增，其高带宽内存产品（HBM）几乎已被预订至2025年。市场研究公司TrendForce指出，由于AI芯片需求增长导致的显著溢价，HBM的价格最近上涨了5%至10%。
TrendForce的高级研究副总裁Avril Wu表示，从2024年开始，HBM芯片预计将占DRAM市场总价值的20%以上，到2025年可能超过30%。Wu在研究报告中指出，由于并非所有主要供应商都通过了客户的高性能HBM认证，导致买家不得不接受更高的价格以确保稳定和优质的供应。
为什么GPU需要高带宽内存呢？Lee解释说，如果没有HBM芯片，数据中心服务器的内存系统无法跟上高性能处理器的速度，如GPU。HBM的主要功能是向GPU提供其需要处理的数据。“任何购买用于AI计算的GPU的人，都必须配备高带宽内存，”Lee补充说。
换言之，如果没有足够的HBM，高性能GPU的效率将大打折扣，常常需要等待数据传输。总的来说，SK Hynix内存芯片的需求激增主要是由于对Nvidia GPU的高需求，以及在一定程度上，由于对AMD、Intel及其他AI芯片的需求。
“HBM作为一种相对较新的技术，由于其提供的更大带宽和容量，正在迅速获得市场青睐，”Gartner的分析师Gaurav Gupta说道。除了SK Hynix，其他内存供应商也面临类似情况。“对于Nvidia，存在一定的供应限制，但更多的是与其芯片的封装能力有关。”
尽管SK Hynix的供应已达到极限，但Samsung和Micron正在增加HBM的生产力，应能满足市场需求。市场正在变得更加多元化。Lee指出目前HBM的短缺主要集中在台积电的封装技术上，该公司是这一技术的独家供应商。台积电正在大幅增加其SOIC产能，并计划将CoWoS容量提高60%以上。“我预计到今年年底，短缺问题将得到缓解，”他说。
同时，更多的封装和晶圆厂供应商正在加入市场，并正在认证他们的技术以支持使用台积电封装技术的NVIDIA、AMD、Broadcom、Amazon等公司。
据彭博的分析师预计，Nvidia的生产约占全球AI服务器芯片供应的70%，今年其GPU销售收入预计将达到400亿美元。相较之下，竞争对手Intel和AMD预计将分别产生5亿美元和35亿美元的收入。但这三家公司都在尽可能快地增加产量。
根据TrendForce的报道，Nvidia正在通过增加其CoWoS和HBM的生产能力来应对GPU供应短缺。这种积极的措施预计将将目前平均40周的交货时间缩短一半，到2024年第二季度，随着新产能投产，供应链瓶颈问题将得到缓解。
IDC的计算半导体研究副总裁Shane Rau指出，尽管对AI芯片产能的需求非常高，市场正在进行调整。在服务器级GPU方面，正在增加晶圆、封装和内存的供应。“增加供应是关键，因为由于其性能和可编程性，服务器级GPU将继续是训练和运行大型AI模型的首选平台。”
