NVIDIA H100從2022年9月量產投入市場，至今供不應求

2023年科技產業備受關注的人物與企業，莫非NVIDIA與其執行長黃仁勳莫屬。2月間，黃仁勳宣稱“AI的iPhone時刻”已經到來，半年之后，外界用連續2季的財報業績檢視NVIDIA，NVIDIA也在抱回外界難以想像的獲利。

NVIDIA公布的2024會計年度第2季（2QFY24）財報數據，揭示營收年增101%、淨利年增422%、毛利率高達71.2%的炸裂式業績，各項指標均遠超預期，而H100系列晶片在AI熱潮推動的大型語言模型訓練（LLM）市場中一卡難求。

AI算力需求呈現爆炸式成長，對云端業者而言，只能不斷採購AI伺服器；然對于LLM開發廠商來說，NVIDIA的資料中心業務瘋狂吸金，而客戶卻還未實現獲利。眼前LLM大浪未至，錢卻都被NVIDIA賺走了。

在財報公布前，NVIDIA高階AI GPU不斷傳出漲價聲，Barrron's引述分析師報告，H100制造成本為3,320美元，而售價則高達2.5萬~3萬美元，利潤接近成本的10倍；毛利率超過70%，對晶片產品而言，有些不可思議。

對此黃仁勳強調，NVIDIA提供的是軟體生態系統和硬體平臺，具備軟體生態架構的靈活性、多功能性，再加上廣大的安裝基礎及涵蓋范圍，程式碼數量和應用程式組合的類型相當瘋狂，簡單說，賣的是“準系統”而非“單一晶片”，但NVIDIA花了20年才走到這一步。

外界分析，NVIDIA構建的CUDA軟體生態，不僅讓旗下GPU受青睞，也是客戶無法輕易轉向超微（AMD）等競爭對手的主因。原因在于，AI算力的配置絕非簡單的硬體堆疊，即便把重達30多公斤、多達3.5萬個零件組成的NVIDIA HGX平臺層層堆起來，也堆不出LLM必須的AI算力。

要把1,000張加速卡、100臺AI伺服器放在一起，跑同一個LM訓練或推論任務，還需要大量的配套軟體、通訊網路，還不包括客戶的大量數據。這是一系列軟硬體聯合調用的複雜過程，黃仁勳把H100這類AI GPU稱為“技術奇蹟”，并非沒有原因。

H100從2022年9月量產投入市場，至今供不應求，甚至上一代的A100至今仍是搶手貨。NVIDIA聚焦于系統級伺服器產品，最新款DGX產品GH200集結256塊H100和Grace CPU，預料會在2023年下半量產后將躍居業績新推手。　

至于H100為何價格高昂？在硬體層面上，H100採用了四大先進技術。第一是臺積電4奈米制程（N4），要讓這一顆長26.8公分、寬11.1公分、含有800億個電晶體的H100發揮前所未有的效能，舉世當今非臺積電代工莫屬。

第二是連接技術，每張H100包含3個NVLink連接，這是NVIDIA獨家的資料傳輸技術，第四代NVlink可提供每秒900GB的GPU對GPU互連頻寬，以便將更多H100互連使用，獲得倍增的效能。

第三是80GB的HBM2e高頻寬記憶體，目前僅SK海力士（SK Hynix）、三星電子（Samsung Electroics）可供應，值得注意的是，NVIDIA剛剛宣布將最新的HBM3e植入最新GH200，是全球第一個支援HBM3e的GPU產品。

第四是臺積電的CoWoS封裝技術，臺積電正積極擴建CoWoS產能，但供不應求情況恐將持續到2024年。

這四大技術每一項均屬尖端領域，付出代價所費不貲，如果說LLM推動AI GPU加速運算時代來臨，但讓NVIDIA站在當前科技舞臺上獨舞的關鍵，卻是黃仁勳領導團隊的長期押注與心血累積。