在AI技術(shù)的浪潮中，一匹黑馬突然殺出重圍，它就是Groq——一家以“地表最強(qiáng)推理”自居的AI芯片初創(chuàng)公司。近日，Groq發(fā)布了一款全新的AI芯片LPU（Language Processing Unit），聲稱其推理速度比英偉達(dá)GPU快10倍，而成本僅為十分之一。這一消息震動(dòng)了整個(gè)科技界，也引發(fā)了市場(chǎng)對(duì)AI芯片格局的重新思考。

Groq的LPU芯片究竟有何魔力？為何能在短時(shí)間內(nèi)引起如此大的關(guān)注？

首先，讓我們通過一組數(shù)據(jù)來直觀感受Groq的速度。在回答“什么是中性粒細(xì)胞？”這一相同問題時(shí)，Groq僅需6秒就能給出完整答案，而GPT-4則需要25秒。同樣，在數(shù)數(shù)的任務(wù)中，Groq也表現(xiàn)出了顯著的速度優(yōu)勢(shì)。這樣的性能優(yōu)勢(shì)，讓Groq在AI推理領(lǐng)域嶄露頭角。

然而，Groq的優(yōu)勢(shì)并非僅止于此。根據(jù)ArtificialAnalysis.ai的數(shù)據(jù)顯示，Groq推出的Mixtral 8x7B Instruct API以每秒處理約430個(gè)token的速度刷新了業(yè)界吞吐量記錄。而且，其每百萬個(gè)token的價(jià)格僅為0.27美元，遠(yuǎn)低于其他競(jìng)爭(zhēng)對(duì)手。在最新的LLM基準(zhǔn)測(cè)試中，Groq不僅在價(jià)格上優(yōu)勢(shì)明顯，而且在延遲與吞吐量等關(guān)鍵性能指標(biāo)上也擊敗了Microsoft Azure、Perplexity等競(jìng)爭(zhēng)對(duì)手。

那么，Groq為何能在短時(shí)間內(nèi)取得如此驚人的成績呢？這主要得益于其獨(dú)特的技術(shù)路徑。Groq從頭設(shè)計(jì)了一個(gè)張量流處理器（TSP）微架構(gòu)設(shè)計(jì)，這一設(shè)計(jì)打破了傳統(tǒng)CPU和GPU架構(gòu)的局限，為AI推理提供了全新的解決方案。通過軟件控制紅綠燈的方式，Groq的TSP技術(shù)讓同一方向的車輛快速前進(jìn)，大大提高了效率和速度。

當(dāng)然，我們也要看到，盡管Groq在速度上取得了顯著優(yōu)勢(shì)，但它并沒有研發(fā)新的AI模型，而只是一個(gè)模型啟動(dòng)器。這意味著，Groq的成功更多依賴于其硬件技術(shù)的突破，而非模型的創(chuàng)新。因此，未來Groq能否繼續(xù)保持領(lǐng)先地位，還需時(shí)間來驗(yàn)證。


全球巨頭挑戰(zhàn)者不少

英偉達(dá)在2024財(cái)年第四季度公布了財(cái)報(bào)，結(jié)果可謂驚艷，讓人瞠目結(jié)舌。股價(jià)一舉飆升16%，市值增加2770億美元，創(chuàng)下單日市值增長的最高紀(jì)錄！這樣的增長勢(shì)頭令人瞠目結(jié)舌，讓業(yè)界對(duì)英偉達(dá)的未來信心倍增！

英偉達(dá)的全年業(yè)績同樣令人驚艷，總營收達(dá)到609億美元，同比增長了126%，凈利潤更是高達(dá)298億美元，同比增長了581%！這不僅是數(shù)字的背后，更是英偉達(dá)在AI領(lǐng)域卓越實(shí)力的有力印證。數(shù)據(jù)中心業(yè)務(wù)的爆發(fā)增長，使英偉達(dá)從游戲顯卡制造商逐漸蛻變?yōu)锳I芯片產(chǎn)業(yè)的領(lǐng)導(dǎo)者。

然而，在這場(chǎng)股市的盛宴中，英偉達(dá)并非沒有對(duì)手。其面臨著兩大主要問題：

AI芯片賽道的寬度： 目前，AI芯片市場(chǎng)尚處于早期發(fā)展階段，其最終規(guī)模和發(fā)展方向仍存在不確定性。英偉達(dá)雖然占據(jù)領(lǐng)先地位，但能否長期保持優(yōu)勢(shì)還有待觀察。

競(jìng)爭(zhēng)對(duì)手的追趕： 英特爾、AMD、蘋果等科技巨頭都在發(fā)力AI芯片領(lǐng)域，并取得了一定進(jìn)展。隨著競(jìng)爭(zhēng)的加劇，英偉達(dá)的時(shí)間窗口可能會(huì)逐漸縮小。

微軟、亞馬遜、Meta、谷歌等科技巨頭都在積極籌備自研AI芯片的計(jì)劃。這也讓人們開始思考，英偉達(dá)的霸主地位是否能夠抵擋住這些巨頭的聯(lián)手反擊？

隨著云服務(wù)和人工智能的迅猛發(fā)展，這些科技巨頭紛紛布局自研AI芯片的領(lǐng)域，不僅為自身節(jié)省巨額支出，更是為了在AI生態(tài)中占據(jù)更大的話語權(quán)。谷歌的Gemini AI芯片、亞馬遜的自研芯片、Meta即將投產(chǎn)的第二代芯片Artemis，都是他們雄心勃勃的表現(xiàn)。

但是，自研AI芯片也不是一帆風(fēng)順的。高投入和低兼容性成為這些科技巨頭自研AI芯片所面臨的難題。不僅需要投入巨大的資金和人力，還需要解決與其他AI軟硬件的兼容性問題。這或許是英偉達(dá)保持領(lǐng)先地位的關(guān)鍵所在。

2024年，人工智能芯片展望

2023年，隨著以大語言模型為代表的人工智能市場(chǎng)持續(xù)火爆，我們看到了人工智能成為了半導(dǎo)體行業(yè)的最大推動(dòng)力，也見證了Nvidia驚人的銷售業(yè)績以及其市值創(chuàng)下新高。隨著新年的到來，我們也對(duì)2024年人工智能芯片做一個(gè)展望。


市場(chǎng)需求：人工智能仍將繼續(xù)火熱

從市場(chǎng)需求側(cè)來看，我們認(rèn)為人工智能在2024年仍然將繼續(xù)火熱，這也將繼續(xù)推動(dòng)相關(guān)的芯片行業(yè)保持良好的態(tài)勢(shì)。然而，與2023年不同的是，我們認(rèn)為在2024年，人工智能市場(chǎng)的需求會(huì)同時(shí)從云端慢慢擴(kuò)展到終端，這也將驅(qū)動(dòng)相應(yīng)的芯片市場(chǎng)發(fā)展。

首先，從云端需求來看，大語言模型仍然將是主要的增長點(diǎn)。同時(shí)，圖像生成類模型也會(huì)保持快速增長的勢(shì)頭。具體來說，大語言模型仍然是各大科技公司競(jìng)相研發(fā)的核心技術(shù)，包括OpenAI，微軟，谷歌，華為，阿里巴巴，百度等中外科技公司都在大力研發(fā)下一代的大語言模型，而包括中國移動(dòng)等傳統(tǒng)行業(yè)的公司也在入局大語言模型領(lǐng)域，同時(shí)還有大量的初創(chuàng)公司在依靠風(fēng)險(xiǎn)投資的支持也在大力開發(fā)大語言模型。大語言模型的百家爭(zhēng)鳴時(shí)代才剛剛開始并且遠(yuǎn)遠(yuǎn)沒有落下帷幕，在這樣的群雄逐鹿的時(shí)間節(jié)點(diǎn)，預(yù)計(jì)對(duì)于芯片的需求也會(huì)快速增長。大語言模型的特點(diǎn)是需要海量的數(shù)據(jù)和訓(xùn)練芯片資源，而且同時(shí)由于格局尚未塵埃落定有大量的公司在研發(fā)新的模型，因此總體來說訓(xùn)練芯片的需求會(huì)非常大。

而隨著云端人工智能交互進(jìn)入多模態(tài)時(shí)代，聊天機(jī)器人已經(jīng)不僅僅可以用文字回答，而且還可以完成看圖說話以及圖像甚至視頻生成等任務(wù)，因此我們認(rèn)為，圖像生成類的模型，以及圖像和語言結(jié)合的多模態(tài)模型也將會(huì)成為云端人工智能的一個(gè)重要增長點(diǎn)。

除了云端之外，我們認(rèn)為終端（包括手機(jī)和智能車）也將會(huì)成為人工智能的新增長點(diǎn)。手機(jī)上的人工智能雖然早已不再新鮮，但是隨著生成模型的成熟，我們可望看到這類模型落地手機(jī)端并賦能新的用戶體驗(yàn)。手機(jī)端生成類模型又分為兩種，一種是圖像生成類模型，即以擴(kuò)散模型（diffusion model）為代表的模型，這類模型可以實(shí)現(xiàn)高質(zhì)量超分辨以及高質(zhì)量修圖，從而可望給用戶的拍照和照片編輯帶來革命性的變化。另一類應(yīng)用是語言模型——與運(yùn)行在云端的大語言模型（LLM）相對(duì)地，過去幾個(gè)月我們看到了小語言模型（SLM）的興起。小語言模型和大語言模型一樣，都是主要用于語言的理解和生成（或者說，與人對(duì)話）；小語言模型在參數(shù)量變少之后，可以更靈活地應(yīng)用在一些專用的場(chǎng)景中（而不是像大語言模型一樣試圖覆蓋所有場(chǎng)景）并且提供很高的準(zhǔn)確性，同時(shí)還有可能運(yùn)行在終端設(shè)備中。

從智能車領(lǐng)域，一方面隨著端到端多任務(wù)大模型帶來的革命性性能提升（例如BEVFormer帶來的俯瞰場(chǎng)景識(shí)別性能提升，以及商湯在2023發(fā)布的UniAD帶來的多任務(wù)性能大幅提升）會(huì)推動(dòng)這類模型進(jìn)一步落地并且推動(dòng)芯片的需求，另一方面則是來自于語言模型人機(jī)交互這類源自于云端的人工智能應(yīng)用遷移到智能車場(chǎng)景。

因此，我們預(yù)測(cè)，2024年將會(huì)是人工智能持續(xù)火熱的一年，與2023年不同的是除了云端人工智能保持熱門之外，我們預(yù)計(jì)終端應(yīng)用場(chǎng)景也會(huì)成為新的人工智能需求增長點(diǎn)。


云端市場(chǎng)格局分析

云端人工智能芯片市場(chǎng)，我們預(yù)計(jì)Nvidia仍然將保持領(lǐng)跑地位，但是AMD等競(jìng)爭(zhēng)者預(yù)計(jì)也將獲得更多市場(chǎng)份額。

首先，如前所述，云端市場(chǎng)目前主要的需求在于大語言模型和生成式圖像的訓(xùn)練和推理。由于這些模型對(duì)于計(jì)算資源需求非常大，而且訓(xùn)練任務(wù)占的比例很大，因此給相應(yīng)的芯片設(shè)了一個(gè)很高的門檻。這里的門檻包括了：

- 芯片算力：為了支持巨大的計(jì)算量，芯片需要有足夠的計(jì)算單元，內(nèi)存容量和帶寬

- 分布式計(jì)算支持：對(duì)于大模型來說分布式計(jì)算是必須的

- 軟件兼容性和生態(tài)：對(duì)于訓(xùn)練來說，對(duì)于模型進(jìn)行反復(fù)快速迭代是一個(gè)很強(qiáng)的需求，因此必須有足夠好的生態(tài)來支持不同的模型算符快速迭代

目前而言，Nvidia在這一個(gè)領(lǐng)域仍然是領(lǐng)先，無論是其芯片和分布式計(jì)算性能，還是軟件生態(tài)兼容性來說，都是首選。這也是為什么2023年Nvidia的H100成為了人工智能相關(guān)公司最寶貴的資源，在市場(chǎng)上供不應(yīng)求。在2024 H2，Nvidia將會(huì)開始出貨H200，相對(duì)于H100來說，H200擁有40%和內(nèi)存帶寬提升以及80%的內(nèi)存容量提升，因此可望會(huì)被人工智能公司爭(zhēng)相購買。

在2024年，我們預(yù)計(jì)AMD在云端人工智能領(lǐng)域也將更加站穩(wěn)腳跟，并由此開始慢慢走向更大的市場(chǎng)份額。2023下半年，AMD發(fā)布了最新的MI300X用于高性能計(jì)算的GPU模組，該芯片包含大芯片粒（12個(gè)處理器/IO芯片粒），并且相比于H200來說，擁有更高（1.6倍）的FP8算力，以及更大的內(nèi)存容量和帶寬（1.2倍）。從AMD公布的實(shí)測(cè)數(shù)據(jù)來看，MI300X的推理能力大約比H100強(qiáng)20%-40%，訓(xùn)練性能則和H100持平。我們認(rèn)為，軟件生態(tài)（包括編譯器性能）將成為決定AMD在云端人工智能市場(chǎng)能否成功的決定性因素，而這一點(diǎn)預(yù)計(jì)在2024年將會(huì)有所改善：OpenAI將在最新發(fā)布的Triton框架中加入對(duì)于AMD MI300X的支持，而各大初創(chuàng)公司的人工智能加速軟件框架也在加強(qiáng)對(duì)于AMD GPU的支持。隨著芯片性能和軟件生態(tài)的提升，以及各大科技公司對(duì)于Nvidia GPU一家獨(dú)大地位的擔(dān)憂態(tài)度，我們預(yù)計(jì)2024年對(duì)于AMD的GPU在人工智能市場(chǎng)將會(huì)是重要的一年，預(yù)計(jì)將會(huì)看到更多客戶的應(yīng)用。

從供應(yīng)鏈角度，由于云端人工智能芯片對(duì)于HBM3等高帶寬內(nèi)存有著強(qiáng)力的需求，我們認(rèn)為HBM內(nèi)存以及高級(jí)封裝（如CoWoS）的產(chǎn)能仍然將會(huì)火熱，這也將推動(dòng)相應(yīng)半導(dǎo)體企業(yè)擴(kuò)大產(chǎn)能，以及積極研發(fā)下一代內(nèi)存和高級(jí)封裝技術(shù)。從這個(gè)角度看，人工智能應(yīng)用仍然將會(huì)是推動(dòng)半導(dǎo)體新技術(shù)高速發(fā)展的核心動(dòng)力。


終端市場(chǎng)格局分析

除了云端市場(chǎng)外，我們預(yù)計(jì)人工智能對(duì)于終端市場(chǎng)也有更強(qiáng)的需求，這也將推動(dòng)人工智能成為終端計(jì)算芯片中越來越重要的差異化元素。

在手機(jī)端，人工智能的使用頻率將會(huì)進(jìn)一步增強(qiáng)，這也會(huì)推動(dòng)芯片加入更多相應(yīng)的算力，并且將人工智能支持作為SoC的核心亮點(diǎn)。例如高通發(fā)布的Snapdragon 8 Gen 3就以“低于一秒的延遲實(shí)現(xiàn)圖像生成任務(wù)”作為一個(gè)重要賣點(diǎn)，估計(jì)這樣的人工智能能力將會(huì)深度集成到手機(jī)廠商的操作系統(tǒng)中。除了高通這樣的第三方芯片公司之外，自研手機(jī)芯片的系統(tǒng)廠商預(yù)計(jì)也會(huì)繼續(xù)加碼人工智能；蘋果雖然在這方面保持低調(diào)，但是預(yù)計(jì)在未來會(huì)以各種方式（加大NPU算力，或者是加大軟件支持）的方法來開始賦能更多人工智能在iPhone上的新拍攝用戶體驗(yàn)。vivo在自研ISP芯片領(lǐng)域已經(jīng)有了數(shù)年積累，而目前生成式人工智能對(duì)于拍攝體驗(yàn)的提升恰好和ISP有很強(qiáng)的協(xié)同作用，這也是2023年8月vivo發(fā)布的v3 ISP芯片強(qiáng)調(diào)了生成式人工智能作為一個(gè)核心亮點(diǎn)。未來，預(yù)計(jì)會(huì)看到越來越多這樣的芯片強(qiáng)調(diào)人工智能對(duì)于用戶體驗(yàn)上的賦能作用。

在智能汽車領(lǐng)域，Nvidia雖然不如在云端強(qiáng)勢(shì)，但是其Orin系列芯片仍然是各大車廠考慮的標(biāo)準(zhǔn)芯片模組。我們認(rèn)為，隨著人工智能大模型對(duì)于智能駕駛的賦能作用逐漸加強(qiáng)，無論是第三方芯片還是車廠自研的芯片都將會(huì)進(jìn)一步強(qiáng)化對(duì)于人工智能算力的投入，同時(shí)也推動(dòng)芯片性能的快速提升——最近，無論是蔚來發(fā)布新自研芯片的算力規(guī)格，還是特斯拉傳出將使用TSMC 3nm作為下一代芯片的生產(chǎn)工藝，都在提示著我們2024年人工智能將在智能車芯片領(lǐng)域扮演越來越重要的角色。