自2022年11月Open AI發布ChatGPT以來，生成式AI（人工智能）需求在全球爆發式增長。這一系列AI應用運行在配備有NVIDIA GPU等AI半導體的AI服務器上。

不過，根據中國臺灣研究公司TrendForce在 2023年12月14日的預測，AI服務器出貨量增幅不會如預期。預計2022年AI服務器僅占所有服務器出貨量的6%，2023年為9%，2024年為13%，2025年為14%，2026年為16%。（圖1）。

圖1.服務器出貨數量、AI服務器占比、AI芯片晶圓占比。來源：TrendForce

其原因被認為是人工智能半導體的限速供應。目前，NVIDIA的GPU壟斷了約80%的AI半導體，制造在臺積電進行。在后續的流程中，會利用CoWoS進行封裝，但是CoWoS的產量目前是一個瓶頸。

另外，在CoWoS中，GPU周圍放置了多個HBM（高帶寬內存），這些HBM是堆疊的DRAM，這個HBM也被認為是瓶頸之一。

那么，為什么臺積電的CoWoS（Chip on Wafer on Substrate）產能持續不足呢？另外，雖然有三星電子、SK海力士、美光科技三大DRAM廠商，但為什么HBM也不夠呢？

本文討論了這些細節。NVIDIA GPU 等 AI 半導體的短缺預計將持續數年或更長時間。

臺積電的制造流程是什么？

圖 2顯示了 NVIDIA 的 GPU 是如何在臺積電制造的。首先，在預處理中，分別創建GPU、CPU、內存（DRAM）等。這里，由于臺積電不生產DRAM，因此似乎是從SK海力士等DRAM制造商那里獲得HBM。

圖2.2.5D 到 3D 中出現的制造工藝。來源：Tadashi Kamewada

接下來，將GPU、CPU、HBM等粘合到“硅中介層”上（Chip on Wafer，或CoW）。硅中介層具有預先形成的布線層和硅通孔(TSV)以連接芯片。

這一步驟完成后，將中介層貼到基板上（Wafer on Substrate，簡稱WoS），進行各種測試，CoWoS封裝就完成了。

圖3顯示了CoWoS的橫截面結構。兩個邏輯芯片（例如 GPU 和 CPU）以及具有堆疊式 DRAM 的 HBM 被粘合到硅中介層上，硅中介層上形成有布線層和 TSV。中介層通過與銅凸塊連接到封裝基板，并且該基板通過封裝球連接到電路板。

圖3.CoWoS結構和NVIDIA GPU等AI半導體的兩個瓶頸。來源：WikiChip

在這里，我們認為第一個瓶頸是硅中介層，第二個瓶頸是HBM，這是導致NVIDIA GPU短缺的原因。

硅中介層尺寸變得巨大

圖 4 顯示了自 2011 年以來 CoWoS 的換代情況。首先，我們可以看到，每一代的硅中介層都變得巨大。此外，安裝的 HBM 數量也在不斷增加。

圖4.每代HBM的轉接層面積和安裝數量增加。來源：臺積電

圖 5 顯示了從 CoWoS Gen 1 到 Gen 6 的 12 英寸晶圓中安裝的 Logic 芯片類型、HBM 標準和安裝數量、硅中介層面積以及可獲得的中介層數量。

圖5. CoWoS 代次、HBM 安裝數量、12 英寸晶圓轉接層數量。

可以看出，自第三代以來，HBM的安裝數量持續增長了1.5倍。此外，HBM 的標準也發生了變化，性能也得到了提高。此外，隨著中介層面積的增加，可以從 12 英寸晶圓獲得的中介層數量減少。

然而，這個采集數只是“將12英寸晶圓的面積除以中介層的面積得到的值”，實際的采集次數要小得多。

2023 年發布的第 6 代 CoWoS 中介層的面積為 3400 mm2，但如果我們假設它是一個正方形，它將是 58 mm × 58 mm。如果將其放置在 12 英寸晶圓上，晶圓邊緣上的所有中介層都將有缺陷。然后，一個58 mm × 58 mm中介層最多只能從 12 英寸晶圓上獲取 9 個。

圖6. 12英寸晶圓能獲得多少個中介層。來源：Tadashi Kamewada

此外，在中介層上形成布線層和TSV，但良率約為60~70%，因此從12英寸晶圓上可以獲得的良好中介層數量最多為6個。

使用這款中介層制作的 CoWoS 的代表性 GPU 是 NVIDIA 的“H100”，它在市場上競爭激烈，交易價格高達 40,000 美元。

臺積電的CoWoS產能不足

那么，臺積電的CoWoS制造產能有多大呢？

在 2023 年 11 月 14 日舉行的 DIGITIMES 研討會“生成式 AI 浪潮中 2024 年全球服務器市場的機遇與挑戰”中顯示，2023 年第二季度的產能為每月 13K~15K 件。據預測，2024 年第二季度月產量將翻倍至 30K~34K，從而縮小 NVIDIA GPU 的供需缺口。

然而，這種前景還很遙遠。這是因為，截至 2024 年 4 月，NVIDIA 仍然沒有足夠的 GPU。而TrendForce集邦咨詢在4月16日的新聞中表示，到2024年底，臺積電的CoWoS產能將達到每月40K左右，到2025年底將翻倍。

此外，TrendForce集邦咨詢報道稱，NVIDIA將發布B100和B200，但這些轉接板可能比 58 mm × 58 mm還要大。這意味著從12英寸晶圓上可以獲得的優質中介層的數量將進一步減少，因此即使臺積電拼命嘗試增加CoWoS產能，也無法生產足夠的GPU來滿足需求。

這款GPU CoWoS中介層的巨大和臺積電產能的增加，無論走多遠都沒有止境。

有人建議使用515×510mm棱柱形有機基板代替12英寸晶圓作為中介層。此外，美國的英特爾公司還提議使用矩形玻璃基板。當然，如果可以使用大型矩形基板，則可以比圓形12英寸晶圓更有效地獲得大量中介層。

然而，為了在矩形基板上形成布線層和TSV，需要專用的制造設備和傳輸系統。考慮到這些的準備工作，這需要時間和金錢。接下來解釋一下HBM的情況，這是另一個瓶頸。

HBM 的路線圖

如圖 4 和圖 5 所示，HBM 的數量隨著 CoWoS 的產生而增加，這也導致了中介層的巨大。DRAM制造商不應繼續制造相同標準的HBM。隨著 CoWoS 的發展，HBM 的各種性能需要改進。HBM 的路線圖如圖 7 所示。

圖 7.HBM 路線圖和 HBM 堆疊的 DRAM 數量。來源：DIGITIMES Research

首先，HBM 必須提高每秒交換數據的帶寬，以配合 GPU 性能的提高。具體來說，2016 年 HBM1 的帶寬為 128 GB/s，而 HBM3E 的帶寬將擴大約 10 倍，達到 1150 GB/s，將于 2024 年發布。

接下來，HBM 的內存容量 （GB） 必須增加。為此，有必要將堆疊在 HBM 中的 DRAM 芯片數量從 4 個增加到 12 個。下一代 HBM4 的 DRAM 層數預計將達到 16 層。

此外，HBM 的 I/O 速度 （GB/s） 也必須提高。為了同時實現所有這些目標，我們必須不惜一切代價實現DRAM的小型化。圖8顯示了按技術節點劃分的DRAM銷售比例的變化。2024 年將是從 1z （15.6 nm） 切換到 1α （13.8 nm） 的一年。之后，小型化將以 1 nm 的增量進行，例如 1β （12.3 nm）、1γ （11.2 nm） 和 1δ （10 nm）。

圖8.按技術節點劃分的DRAM銷售額百分比 。來源：Yole Intelligence

請注意，括號中的數字是該代DRAM芯片中實際存在的最小加工尺寸。

EUV也開始應用于DRAM

DRAM制造商必須以1nm的增量進行小型化，以實現高集成度和速度。因此，EUV（極紫外）光刻技術已開始應用于精細圖案的形成（圖9）。

圖9.DRAM廠商應用的EUV層數。來源：Yole Intelligence

最早在 DRAM 中使用 EUV 的公司是三星，在 1z 代中僅應用了一層。不過，這只是借用了三星邏輯代工廠的一條每月最大產量為 10,000 片晶圓的巨大 DRAM 生產線來實踐 EUV 應用。因此，從真正意義上講，三星只是從 1α 年開始在 DRAM 中使用 EUV，當時它在五層 DRAM 中使用了 EUV。

其次是在 HBM 領域市場份額第一的 SK hynix，它在 1α 生產時應用了 EUV。該公司計劃在 2024 年轉向 1β，并有可能在三到四層應用 EUV。因此，迄今只有幾個 EUV 單元的 SK hynix 將在 2024 年之前推出 10 個 EUV 單元。同樣擁有邏輯代工廠的三星公司被認為將擁有超過 30 個 EUV 單元。

最后，美光公司一直奉行盡可能少使用 EUV 的戰略，以便比其他任何地方都更快地推進其技術節點。事實上，美光在 1 β 之前都不使用 EUV。在開發過程中，它還計劃在 1 γ 時不使用 EUV，而是使用 ArF 沉浸 + 多圖案技術，但由于它發現很難提高產量，因為沒有更多的匹配空間，因此預計將從 1 γ 開始引入 EUV。

這三家 DRAM 制造商目前正在嘗試使用鏡頭孔徑為 NA = 0.33 的 EUV，但據認為，它們正在考慮從 2027-2028 年起改用高 NA。因此，DRAM 制造商的微型化進程仍將越走越遠。

現在，有多少 HBM 將采用這些最先進的工藝生產？

DRAM 出貨量和 HBM 出貨量

圖 10 顯示了 DRAM 出貨量、HBM 出貨量以及 HBM 占 DRAM 出貨量的百分比。如本節開頭所述，ChatGPT 于 2022 年 11 月發布，從而使英偉達公司的 GPU 在 2023 年取得重大突破。

圖10.DRAM 出貨量、HBM 出貨量和 HBM 所占百分比。來源：Yole Intelligence

與此同時，HBM 的出貨量也迅速增長：HBM 的出貨量從 2022 年的 27.5 億美元（3.4%）增長到 2023 年的 54.5 億美元（10.7%），幾乎翻了一番，到 2024 年更是翻了一番，達到 140.6 億美元（19.4%）。

從 DRAM 的出貨量來看，2021 年由于對 Corona 的特殊需求而達到高峰，但 2023 年這種特殊需求結束后，出貨量急劇下降。此后，出貨量有望恢復，并在 2025 年超過 2021 年的峰值。此外，從 2026 年起，出貨量預計將繼續增長，盡管會有一些起伏，到 2029 年將超過 1500 億美元。

另一方面，HBM 的出貨量預計將在 2025 年后繼續增長，但 HBM 在 DRAM 出貨量中所占的份額將在 2027 年后達到 24-25% 的飽和狀態。這是為什么呢？

各種 HBM 的發貨數量和 HBM 發貨總量

如圖 11 所示，通過觀察各種 HBM 的出貨量和 HBM 的總出貨量，可以揭開謎底。

圖11.各種 HBM 和所有 HBM 的出貨量。來源：Yole Intelligence

首先，在 2022 年之前，HBM2 是主要的出貨量。其次，2023 年，英偉達的 GPU 取得重大突破，HBM2E 取代 HBM2 成為主流。此外，HBM3 將在今年 2024 至 2025 年間成為主流。2026-2027 年，HBM3E 將成為出貨量最大的產品，而從 2028 年開始，HBM4 將扮演主角。

換句話說，HBM 將以大約兩年的間隔經歷世代更迭。這意味著 DRAM 制造商必須繼續以 1 納米為單位進行微型化，同時每兩年更新一次 HBM 標準。

因此，如圖 11 所示，2025 年后所有 HBM 的出貨量幾乎不會增加。這并不是因為 DRAM 制造商懈怠，而是因為他們必須盡最大努力生產最先進的 DRAM 和最先進的 HBM。

此外，2025 年后 HBM 出貨量不會大幅增長的原因之一是堆疊在 HBM 中的 DRAM 芯片數量將增加（圖 12）：隨著 GPU 性能的提高，HBM 的內存容量（GB）也必須增加，因此堆疊在 HBM 2 和 HBM2E 中的 DRAM 數量將增加。HBM2 和 HBM2E 中堆疊的 DRAM 數量將增加到 4-8 個 DRAM，HBM3 和 HBM3E 中堆疊的 DRAM 數量將增加到 8-12 個，HBM4 中堆疊的 DRAM 數量將增加到 16 個。

圖12.每個 HBM 的內存容量（GB）和 HBM 中的 DRAM 芯片堆疊數。來源：Yole Intelligence

這意味著 HBM2 只需要 4 到 8 個 DRAM，而 HBM4 將需要 2 到 4 倍的 DRAM，即 16 個 DRAM。這意味著，在 HBM4 時代，DRAM 制造商可以生產比 HBM2 多 2-4 倍的 DRAM，但出貨量仍與 HBM 相同。

因此，隨著 DRAM 繼續以 1nm 的增量縮小，HBM 兩年換一代，HBM 中堆疊的 DRAM 數量每一代都在增加，預計從 2025 年起，HBM 的總出貨量將達到飽和。

那么，HBM 的短缺會持續下去嗎？　DRAM 制造商是否無法進一步增加 HBM 的出貨量？

DRAM 制造商急于大規模生產 HBM

我們已經解釋了 DRAM 制造商無法大幅增加 HBM 出貨量的原因，但 DRAM 制造商仍然能夠達到他們的極限，倘若超過這個極限，他們就會嘗試大量生產 HBM。這是因為 HBM 的價格非常高。

圖 13 顯示了各種 HBM 和普通 DRAM 的每 GB 平均價格。普通 DRAM 和 HBM 在發布時的每 GB 價格都是最高的。雖然趨勢相同，但普通 DRAM 和 HBM 的每 GB 價格相差 20 倍以上。為了比較普通 DRAM 和 HBM 的每 GB 平均價格，圖 13 中的圖表顯示了普通 DRAM 的 10 倍價格。

圖13.各種 HBM 和普通 DRAM 的每 GB 平均價格比較。來源：Yole Intelligence

與普通 DRAM 的 0.49 美元相比，比較每 GB 的價格，在剛剛發布后的最高價格時，HBM2 的每 GB 價格大約是普通 DRAM 的 23 倍（11.4 美元），HBM2E 的每 GB 價格大約是普通 DRAM 的 28 倍（13.6 美元），HBM4 的每 GB 價格大約是普通 DRAM 的 30 倍（14.7 美元）。

此外，圖 14 顯示了各種 HBM 的平均價格。價格最高的 HBM2 為 73 美元，HBM2E 為 157 美元，HBM3 為 233 美元，HBM3E 為 372 美元，HBM4 則高達 560 美元。

圖14.各種 HBM 和標準 DRAM 的每 GB 平均價格比較。來源：Yole Intelligence

圖 15顯示了 HBM 的價格有多昂貴。例如，DRAM廠商在1z工藝中生產的16GB DDR5 DRAM最多為3~4美元。不過，今年，SK海力士發布的HBM3E售價將比361美元高出90~120倍。

DDR（雙倍數據速率）是一種內存標準。數據傳輸速度越來越快，DDR5 的速度是 DDR4 的兩倍，DDR6 的速度是 DDR5 的兩倍。2024 年將是 DDR4 向 DDR5 轉變的一年，DRAM 制造商也必須不斷更新其 DDR 標準。

圖15.各種半導體工藝、芯片尺寸、晶體管數量（位數）和平均價格的比較 

回到 HBM，HBM3E 的芯片尺寸與最新 iPhone 17 的 A15 仿生 AP（應用處理器）大致相同，后者采用臺積電最先進的 3nm 工藝生產，但價格高出 3.6 倍。DRAM的HBM高于高級邏輯。這是令人震驚的。而由于價格如此之高，DRAM廠商將竭盡全力增加出貨量，以主導HBM的霸主地位。

讓我們來看看三家DRAM制造商的路線圖。

DRAM 制造商爭奪 HBM

圖 16顯示了 2015~2024 年三家 DRAM 制造商如何生產 HBM。

圖16. SK 海力士、三星和美光的 HBM 路線圖。來源：DIGITIMES Research

HBM1 首次成功量產的是 SK 海力士。然而，就HBM2而言，三星比SK海力士率先實現量產。當 NVIDIA 的 GPU 在 2023 年取得重大突破時，SK海力士率先成功量產HBM3。這為SK海力士帶來了巨大的利益。

另一方面，另一家 DRAM 制造商美光最初開發了與 HBM 標準不同的混合內存立方體 （HMC）。然而，聯合電子器件工程委員會 （JEDEC） 是一個促進美國半導體標準化的行業組織，已正式認證了 HBM 標準而不是 HMC。因此，美光從2018年開始放棄HMC的開發，進入HBM的開發，遠遠落后于兩家韓國制造商。

因此，在HBM 的市場份額中， SK 海力士為 54%，三星為 41%，美光為 5%。

擁有最大HBM份額的SK海力士將于2023年開始在其NAND工廠M15生產HBM。此外，HBM3E 將于 2024 年上半年發布。此外，在 2025 年，目前正在建設中的 M15X 工廠將專門為 HBM 重新設計，以生產 HBM3E 和 HBM4。

另一方面，想要趕上SK海力士的三星計劃于2023年在三星顯示器的工廠開始生產HBM，2024年將HBM的產能翻倍，并在SK海力士之前于2025年量產HBM4。

一直落后的美光的目標是在2024~2025年跳過HBM3，與HBM3E競爭，并在2025年獲得20%的市場份額。此外，到2027~2028年，該公司還設定了在HBM4和HBM4E量產方面趕上韓國兩大制造商的目標。

這樣一來，三家DRAM廠商之間的激烈競爭可能會突破HBM出貨量的飽和，從而消除HBM的短缺。

NVIDIA的GPU短缺會持續多久？

在本文中，我們解釋了 NVIDIA GPU 等 AI 半導體全球短缺的原因。

1、NVIDIA 的 GPU 采用臺積電的 CoWoS 封裝制造。這個CoWoS的容量是完全不夠的。其原因是配備 GPU、CPU 和 HBM 等芯片的硅中介層每一代都變得越來越大。臺積電正試圖增加這個中間工藝的容量，但隨著GPU一代的推進，中介層也會變得巨大。

2、CoWoS 的 HBM 短缺。造成這種情況的原因是DRAM制造商必須繼續以1nm的增量進行小型化，HBM標準被迫每兩年更換一次，并且HBM中堆疊的DRAM芯片數量隨著每一代的增加而增加。

DRAM制造商正在盡最大努力生產HBM，但預計出貨量將在2025年之后飽和。然而，由于HBM的價格非常高，DRAM廠商之間競爭激烈，這可能導致HBM的短缺。

如上所述，有兩個瓶頸導致 NVIDIA 的 GPU 短缺：臺積電的制造產能短缺和 HBM 短缺，但這些問題不太可能在大約一年內得到解決。因此，預計未來幾年 NVIDIA 的 GPU 短缺將會繼續下去。