新闻中心

首页 > 新闻中心> 行业新闻

AI训练芯片市场,只有一个赢家

发布时间:2023-01-17发布人:

AI训练芯片市场,只有一个赢家

  

1.png


人工智能芯片有两个功能。AI 构建者首先获取大量(或真正庞大的)数据集并运行复杂的软件来寻找该数据中的模式。这些模式被表示为模型,因此我们有芯片来“训练”系统生成模型。



然后,该模型用于根据新数据进行预测,并且该模型从该数据中推断出一些可能的结果。在这里,推理芯片针对已经训练过的模型运行新数据。这两个目的是非常不同的。



训练芯片旨在全速运行,有时一次运行数周,直到模型完成。因此,训练芯片往往很大。



推理芯片更加多样化,其中一些用于数据中心,另一些用于智能手机和摄像机等设备的“边缘”。这些芯片往往更加多样化,旨在优化不同方面,例如边缘的电源效率。当然,还有各种中间变体。关键是“AI芯片”之间存在很大差异。



对于芯片设计师来说,这些是非常不同的产品,但与所有半导体产品一样,最重要的是在它们上面运行的软件。从这个角度来看,情况要简单得多,但也复杂得令人眼花缭乱。



很简单,因为推理芯片通常只需要运行来自训练芯片的模型(是的,我们过于简单化了)。之所以复杂,是因为在训练芯片上运行的软件千差万别。这是至关重要的。现在有成百上千个框架用于训练模型。有一些非常好的开源库,但也有许多大型 AI 公司/超大规模公司构建了自己的库。



由于训练软件框架的领域非常分散,实际上不可能构建针对它们优化的芯片。正如我们过去指出的那样,软件中的小改动可以有效抵消专用芯片提供的增益. 此外,运行训练软件的人希望该软件针对其运行的芯片进行高度优化。运行这个软件的程序员可能不想弄乱每个芯片的复杂性,他们的生活已经够辛苦的了,构建这些训练系统。他们不想只为一个芯片学习低级代码,以后又要为新芯片重新学习技巧和快捷方式。即使该新芯片提供“20%”更好的性能,重新优化代码和学习新芯片的麻烦也会使该优势变得毫无意义。



这让我们想到了 CUDA——Nvidia 的低级芯片编程框架。至此,任何从事培训练系统工作的软件工程师都可能对使用 CUDA 有所了解。CUDA并不完美、优雅或特别简单,但它很熟悉。巨大的财富建立在这样的奇思妙想之上。由于用于训练的软件环境已经如此多样化且变化迅速,因此训练芯片的默认解决方案是 Nvidia GPU。



所有这些人工智能芯片的市场目前规模为数十亿美元,预计在可预见的未来每年将增长 30% 或 40%。麦肯锡的一项研究(可能不是这里最权威的来源)显示,到 2025 年,数据中心 AI 芯片市场将达到 130 亿美元至 150 亿美元——相比之下,目前 CPU 市场总额约为 750 亿美元。



在价值 150 亿美元的人工智能市场中,大约三分之二是推理,三分之一是训练。所以这是一个相当大的市场。所有这一切的一个问题是训练芯片的价格在 1,000 美元甚至 10,000 美元,而推理芯片的价格在 100 美元以上,这意味着训练芯片的总数只占总数的一小部分,大约 10%-20% 的单位。



从长远来看,这对市场如何形成很重要。



Nvidia 将获得大量训练利润,它可以在推理市场竞争中发挥作用,类似于英特尔曾经使用 PC CPU 来填充其晶圆厂和数据中心 CPU 以产生大部分利润。



需要明确的是,英伟达并不是这个市场上唯一的参与者。AMD 也生产 GPU,但从未开发出有效(或至少被广泛采用)的 CUDA 替代品。他们在 AI GPU 市场的份额相当小,我们认为这种情况不会很快改变。



有许多初创公司试图构建训练芯片,但大多因上述软件问题而陷入困境。值得一提的是,AWS 还部署了自己的、内部设计的训练芯片,巧妙地命名为Trainium。据我们所知,这取得了一定的成功,AWS 除了自己的内部(大量)工作负载外,在这里没有任何明显的优势。然而,我们知道他们正在推进下一代 Trainium,因此他们对目前的结果一定很满意。



其他一些超大规模企业也可能正在构建自己的训练芯片,尤其是谷歌,它即将推出专门针对训练进行调整的新 TPU 变体。这就是市场。简而言之,我们认为训练计算市场上的大多数人都希望在 Nvidia GPU 上构建他们的模型。




转载微信公众号:半导体行业观察


声明:本文版权归原作者所有,转发仅为更大范围传播,若有异议请联系我们修改或删除:zhangkai@cgbtek.com