美国当地时间11月13日，在2023年全球超算大会（SC23）上，英伟达推出了新一代GPU H200。当日，英伟达的股价在截至收盘时间增长0.6%，为486.2美元，数据显示，英伟达创下了近7年来最长的连涨记录。这一次，英伟达将AI芯片的发展方向引向了存储和推理能力。
英伟达的新品，与早些时候英特尔和AMD透露的AI芯片发布计划呼应，AI芯片从以算力为中心的竞争向更加多样化发展。
AI芯片竞争焦点转向存储？
相比于前代H100，H200的性能提升了60%-90%，但是单看算力这一指标，H200的算力与H100基本相同，对比两者的产品规格表可以发现，实现算力不变而性能飞跃的关键点就是内存。
H100与H200规格对比英伟达在发布H200时表示，该产品是全球首款搭载HBM3e的GPU，而H100中使用的仍是HBM3。据了解，HBM3e能够为H200提供传输速度达4.8 TB/秒的141GB显存。与前代产品、常被其他竞争者视作“计量单位”的A100 相比，其容量也翻了近乎一倍，带宽增加了2.4 倍。AMD将发布MI300X事实上，英伟达在AI芯片方面的挑战者AMD在几个月前就强调了AI芯片存储容量的重要性。AMD CEO苏姿丰表示，AMD即将于今年12月推出的纯GPU产品Instinct MI300X使用具备192GB显存的HBM3，带宽为5.2GB/秒。值得注意的是，AMD产品具备8个HBM3显存堆栈，而英伟达产品仅有6个。同时，AMD首个AI加速器产品MI300A也拥有多达13颗小芯片，共包含1460亿个晶体管，配置128GB的HBM3内存，相比前代的MI250，MI300A的性能提高8倍，效率提高5倍。在英特尔方面，英特尔CEO帕特·基辛格曾在9月举行的英特尔on技术创新峰会上公布了英特尔AI芯片的路线图：到2024年，英特尔将推出采用5nm制程的Gaudi3，再下一代AI芯片代号则为Falcon Shores。Gaudi2于2022年推出，从产品规格来看，Gaudi2所使用的是6个HBM2堆栈共96GB。英特尔表示，Guadi3的算力将是前代产品Gaudi2的两倍，网络带宽、HBM容量是Gaudi2的1.5倍。
英特尔Gaudi2规格可以看出， 在各芯片企业的推动下，AI芯片的竞逐正从初期的算力指标竞争，进一步延展到存储领域，HBM（高带宽存储）几乎成为了未来AI芯片当中必备且必争的存储器。英伟达超大规模和高性能计算副总裁Ian Buck表示：“想要通过生成式AI和HPC应用创造智能，就必须使用大型、快速的GPU显存来高速、高效地处理海量数据。”半导体行业专家盛陵海告诉《中国电子报》记者：“从技术角度来讲，存储性能是提高AI训练能力的瓶颈，如果存储能力跟不上算力，整个模型的训练便难以高效运行；从企业角度来讲，发展存储性能也是性价比相对较高的方式之一。”据了解，当前最高规格高带宽存储器的HBM3e主要由SK海力士、三星以及美光提供。AI芯片性能提升贵在推理？大模型训练和推理的效率与效果是衡量GPU性能的重要指标，各大厂商也围绕着大模型训练与推理不断提升自身实力。H200与H100的推理性能对比H200的性能提升数据着重体现在模型推理上面。英伟达表示，H200在700亿参数的大语言模型Llama 2上的推理速度比H100提高了近一倍，功耗也会降低50%。同时，英伟达H200和H100由于都基于Hopper架构，互相之间具备强兼容性，可实现一定程度上的替换，同时英伟达透露，下一代采用全新架构的GPU B100也将于2024年推出，进一步强化训练和推理的性能。面向训练需求，半导体厂商推出了多块芯片互连的解决方案，用以支持更大参数的模型训练。英特尔的GAUDI 2 HLBA-225支持8块Guadi2共同运行；AMD推出Instinct平台同样搭载8块MI300X，被苏姿丰称作是“人工智能推理和训练的终极解决方案”；英伟达依靠自身NV link和NV Switch的高速互连技术，推出了HGX H200的服务器主板。英伟达称，客户可选择搭载4块或8块H200，配合Grace Hopper芯片可为各种应用工作负载提供最高的性能，包括针对1750亿参数以上超大模型的LLM训练和推理。“从训练来看，虽有目前常说的‘百模大战’，但是其参数量和精度等还需要进一步优化，同时，专业大模型的成熟度也不比通用大模型，故而当前的主要诉求仍在大模型训练上。”盛陵海说，“而同时，未来的推理需求则逐步增加，因为人工智能的应用落地，最终还是要看推理能力。”
