最近，GPU Utils更新了对于英伟达H100显卡供需近况的分析著作亚星捕鱼，内部主要涌现、回来了现时影响GPU的主流厂商领有显卡的数目以及对显卡的需求量。

作家暗示，接洽到西席和推感性能，以及推理方面性价比，H100是当下最受宽饶的GPU（具体为8-GPU HGX H100 SXM）。

GPU Utils以为，保守推测，H100的供给缺口达到43万张。

本文简要回来了一下著作中枢数据供公共参考：

● OpenAI、特斯拉等厂商对GPU的需求量

● OpenAI、特斯拉等厂商领有的GPU数目

● 供应瓶颈、其他中枢数据

皇冠hg86a

需要 1000 张以上的 H100 或 A100的公司：

1、西席 LLM 的创业公司：

OpenAI (通过Azure)、Anthropic、Inflection (通过Azure和CoreWeave)、 Mistral AI；

2、云奇迹提供商：

三大云巨头：Azure、Google Cloud、AWS；

另一个公有云：Oracle；

更大的特有云：举例 CoreWeave、Lambda；

3、其他大公司：

特斯拉； 

需要100张以上的H100 或 A100的公司：

对开源模子进行大批微调的初创公司。

塔维奥强调，一些非洲国家表示支持俄罗斯，我们将密切关注并告诉他们，凡是支持俄罗斯的非洲国家，不管有多穷，财政有多困难，缺少多少粮食，芬兰都不会向他们援助一分钱。

1、OpenAI可能需要5万张，Inflection要2.2万张，Meta需要2.5万张（也有东谈主说 Meta 念念要10万张或更多）

2、大型云厂商，每家可能需要3万张（Azure、Google Cloud、AWS、Oracle）

3、Lambda 和 CoreWeave 以偏激他特有云可能统共需要10万张

4、Anthropic、Helsing、Mistral、Character，每家可能要1万张；

到这里，需求量就照旧达到了约「43.2万张」H100，以每块约3.5万好意思元策动，GPU的价值约为「150亿好意思元」。

而这，还不包括像字节（TikTok）、百度、腾讯这么需要大批H800的中国公司，以及一些需求正盛的金融公司：

如Jane Street、JP Morgan、Two Sigma、Citadel等金融巨头，正从数百台A100或H100启动部署，逐渐加多至数千张 A/H100。

OpenAI、特斯拉等厂商领有的GPU数目。

大公司 

1、GPT-4可能在1w-2.5w张A100上进行的西席，笔据马斯克的说法，GPT-5可能需要3w-5w张H100；

2、Meta约有2.1万张A100；

3、Tesla约有7000张A100；

4、Stability AI约有5000张A100； 

云厂商 

1、GPC约有2.5万块H100；Azure可能有1-4万块H100，Oracle可能近似；（其中，Azure 的大部分 GPU 齐将流向OpenAI。）

2、CoreWeavw有3.5-4万块H100——不是现货，而是预定的；

皇冠客服飞机：@seo3687

其他数据 

1、Falcon-40B，在384个A100上进行西席；

2、Inflection，在其GPT-3.5等效模子中使用了3500个H100；

1、瓶颈在哪？

供应；

2、谁在制造H100？

台积电；

3、三星、英特尔不错代工吗？

至少当今不能。面前，H100s和其他5nm英伟达GPU均由台积电代工。

往日，英伟达曾尝试让三星代工，但其后换掉。翌日，英伟达虽然有可能与英特尔、三星联接，但短期无法缓解供给病笃。

1、东谈主们需要哪些GPU？

主若是H100，具体来说，是8-GPU HGX H100 SXM，因其在西席和推理最快，且在推理方面性价比最高。

西席方面，企业主要激情内存带宽、FLOPS、缓存暖热存蔓延、FP8策动等附加功能、策动性能（与Cuda中枢数目相关）、互连速率（如InfiniBand）等，H100 比A100更受醉心，部分原因是缓存蔓延较低和FP8策动等。

2、H100 比 A100 快些许？

16-bit推理速率提升约3.5倍，16-bit西席速率提升约2.3倍。

3、为啥不买AMD？

某特有云CEO：

从表面上讲，一家公司不错购买一堆AMD的GPU，但要让一切往常运转需要技术。

建立技术(即使惟有2个月)，也可能就意味着比竞争敌手更晚插足市集。是以，当今英伟达的护城河是CUDA。

另一家特有云CEO：

莫得东谈主好意思瞻念冒险部署 10,000个 AMD GPU，这险些是 3 亿好意思元的投资。

4、面前公共在使用什么云？

a. OpenAI: Azure

b. Inflection: Azure and CoreWeave

c. Anthropic: AWS and Google Cloud

d. Cohere: AWS

e. Hugging Face: AWS

f. Stability AI: AWS

g. Character.ai: Google Cloud

h. X.ai: Oracle

i. Nvidia: Azure

开端：硬AI，原文标题：《Nvidia H100 GPU 供需近况：保守推测，还差43万张！》

本文主要参考（原文联结）：

https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need亚星捕鱼