AMD MI300 AI芯片:超越英伟达H100,GPT-4性能提升超25%,大战一触即发!

新智元报道

编辑:好困 Aeneas

【新智元导读】面对即将到来的AI芯片大决战,不少芯片初创公司跃跃欲试,希望一举打破英伟达的垄断地位。而AMD的MI300,在部署32K上下文窗口的GPT-4模型时,居然比H100效果更好?

AI芯片大决战,即将来临!

AI硬件开发商初创公司的未来会怎样?

Tenstorrent CEO David Bennett直言不讳地表示,在我们这个行业,大部分初创公司的结局就是倒闭。

该如何生存?他建议初创企业应该保持灵活性,避免将自己局限在狭隘的用例中。

这里,Bennett指的并不是某个小众市场, 而是由SiMa.ai到Cerebras等数十家公司组成的一个广泛集团。他们共同筹集了数十亿美元的风投,来对抗这个市场的领导者——英伟达。

Bennett深谙此道。他曾在AMD从事销售工作十多年。

而他目前的雇主Tenstorrent的CEO,是Jim Keller,一位硬件传奇人物。他曾开发出支持iPhone 4和iPad 2的苹果A4和A5处理器,并在2016年至2018年负责特斯拉自动驾驶汽车的硬件工作。

Tenstorrent公司已经从富达风投和现代汽车等投资者筹集了超过3亿美元的资金,它遵循了Bennett的建议:从芯片到云计算等,提供一切服务。

Bennett表示,如今的芯片初创公司,大致都是在「为AI制造专用硬件」和「依赖当下流行模式」这两者之间徘徊。

英伟达的劣势:很难从头制造芯片

英伟达的AI芯片GPU起家的故事,实际上为今天的芯片初创公司提供了优势。

图形处理单元起初是为计算机图形学提供动力的,但由于它能并行执行多种计算,才在AI应用领域大放异彩。

不过,但这一意外也给英伟达带来了不利因素——现在,英伟达很难在不影响现有GPU业务的情况下,从头开始制造芯片了,而这,就给了新兴初创公司提供了机会,制造专为AI打造的新硬件。

比如,Tenstorrent的工程师就为未来的稀疏神经网络设计了Grayskull芯片,在这种网络中,冗余信息可以被去除。

尽管如此,Bennett认为,专注于为大语言模型构建芯片的初创公司,和Transformer架构捆绑得太紧了。

在这种架构下,基于Transformer的模型基本是在预测最有可能出现的下一个单词,因此它们一直被诟病生成的回答是基于概率,而非基于推理。

这也就意味着,在当前的AI热潮中,这些模型架构可能无法幸存下来。

毕竟,由于发展速度太快,如今的LLM寿命相对较短。昨天还炙手可热的模型,一两周后可能就会销声匿迹。

另一个对硬件公司来说风险很大的领域,就是制造专门用于推理的芯片。

这方面的代表是芯片开发商d-Matrix,它计划在明年上半年发布推理专用芯片。

乍一看,这个策略似乎不错。生成式AI应用的用户现在会越来越多地利用现有的专有或开源模型,而不是从头开始构建自己的模型。

正因如此,许多人认为,应该在模型推理上花更多钱,而非模型训练上。

虽然从商业角度来看,这可能是一个明智之举,但Bennett认为,过于狭隘地专注于推理,会阻碍硬件开发人员为其他可能更受欢迎的用例提供服务。

例如,对于运行模型所需的低精度计算,纯推理芯片就够了。

但是,如果开发者想要微调大模型,就很可能需要能处理更高精度计算的芯片了。

尖端芯片,把GPU和CPU放在一起

为了在即将到来的AI芯片大决战中幸存,芯片开发商需要改变芯片的架构。

今天,大多数芯片都是把GPU和CPU分开的。前者能够同时执行多种计算,后者负责执行更多的通用指令,管理更广泛的系统操作。

然而越来越多的尖端芯片(如英伟达的Grace Hopper 超级芯片和AMD即将推出的MI300A),都将GPU和CPU放在一起。

这种布局可以让CPU更快地准备数据,将数据加载到GPU上,从而加快模型的训练。

另外,硬件初创公司想要打破英伟达的市场主导地位,还面临着一个最大的障碍,就是软件优势。

英伟达用于编写机器学习应用程序的Cuda软件,只能在自家芯片上运行。而这实际上就把开发者锁定在了英伟达GPU上。

AMD MI300跑GPT-4更6

英伟达的霸主地位,就这么难以撼动?

Semianalysis记者Dylan Patel和Myron Xie最近就发文称,AMD的MI300在性价比方面,将会明显优于英伟达的H100!

他们表示,随着新一代MI300的推出,AMD即将成为英伟达和谷歌在LLM推理领域唯一的竞争对手。

相比之下,Groq、SambaNova、英特尔、亚马逊、微软等公司仍无法与之抗衡。

此外,为了应对英伟达基于CUDA构建的护城河,AMD一直在大力投资自己的RoCM软件、PyTorch生态系统和OpenAI的Triton。

随着Databricks、AI21、Lamini、Moreph等公司开始使用AMD GPU进行推理/训练,AMD自己的生态也愈发完善。

据业内人士透露,拥有更大显存的MI300,在部署32K上下文窗口的GPT-4模型时效果更好。

具体来说,与H100相比,MI300的性能优势在20%到25%之间,具体取决于上下文长度和提示长度/每次查询输出的token数量。

再加上更低廉的价格,MI300在性价比方面,将会明显优于英伟达的H100,甚至是H200。

大厂纷纷下单

目前,微软、Meta、甲骨文、谷歌、Supermicro/Quantadirect、亚马逊等公司已经向AMD下了大约205,000台MI300的订单。

在这之中,有120,000台专门供应给微软,25,000台给Meta,12,000台给甲骨文,8,000台给谷歌,5,000台给亚马逊公司,35,000台给其他公司。

而且由于数量巨大,微软购买MI300的价格预计要比其他客户低上不少。

为了计算MI300在明年为AMD带来的收入,需要从两个角度进行分析:AMD能确保多少供应量,以及主要客户会订购多少。

在供应方面,MI300的产能将在年内逐步提升,但由于英伟达B100会在第二季度开始出货,并在第三季度随着性价比更高的风冷版的推出而大幅提升,这将在很大程度上影响AMD在第四季度的出货量。

同时,还需要考虑内存制造商的HBM产量、CoWoS产量、封装产量以及使用CoWoS生产的每种加速器的情况,包括英伟达、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUC等。

即便如此,业内依然认为MI300X第四季度的出货量可以达到110,000台。

客户方面,微软、Meta、甲骨文、谷歌、Supermicro/Quantadirect和亚马逊是订单的主要来源,但也有一些订单来自供应链的其他部分,包括一些用于HPC型应用的MI300A。

利润方面,英伟达并没有降价的迹象,只是在价格不变的情况下增加了HBM容量/带宽。而与英伟达超过80%的利润率相比,AMD在MI300上的利润率仅勉强超过了50%。

AMD首席执行官苏姿丰表示,基于公司在AI方面的快速进展以及云计算客户的购买承诺,数据中心GPU的收入预计将在第四季度达到4亿美元,2024年将超过20亿美元。

这一增长也将使MI300成为AMD历史上销售额最快达到10亿美元的产品。

对此,业内对于MI300X的销售额则更加乐观——预期可以达到35亿美元。

从AMD目前在LLM训练和推理领域小于0.1%的市场份额来看,AMD在数据中心领域的市场份额依然会稳步增长。

参考资料:

https://www.theinformation.com/articles/an-ai-chip-armageddon-is-coming-biden-punts-on-open-source-llms?rc=epv9gi

https://www.semianalysis.com/p/amd-mi300-ramp-gpt-4-performance