百度沈抖：大模型誰先用起來，誰就搶占先機
關鍵詞： 百度智能云大會 大模型 技術變革 產業變革 云計算 基礎設施 企業增長機會 GPU集群 計算時代 規模 高密 互聯 運維 硬件故障 算力平臺 模型訓練 穩定性 有效訓練時長 模型推理 長文本推理 用戶體驗 成本 大模型工具鏈 應用開發平臺 企業級應用 競爭優勢 生產力場景 增長機會
9月25日，在百度智能云大會上，百度集團執行副總裁、百度智能云事業群總裁沈抖表示，過去的一年，是大模型從技術變革走向產業變革的關鍵一年。大模型與云計算緊密結合，正在成為新型的基礎設施。這樣大范圍的基礎設施升級將帶來生產力的巨大躍遷。大模型給每個企業提供了平等的增長機會。不管企業大小、場景多少，誰先用起來，誰就搶占先機。
1834年，第一臺現代發電機誕生；到1882年，美國建成全球第一座現代電廠；再到電力成為全球性的能源基礎設施，用了大約90年。1969年，阿帕網連接了四所美國高校，到互聯網成為全球信息基礎設施，只用了大約30年。而大模型及其相關系統，在短短幾年內，正在迅速成為為新一代的基礎設施，這次變革的速度前所未有。
如何在這場變革中抓住機遇、引領未來？“相信不少人都聽說過‘萬卡集群’，但深入了解的應該不多，而真正用得上、用得好的，就更少了。其實，GPU集群完全不同于傳統的CPU集群，開啟了全新的計算時代。”沈抖表示。
簡單來說，GPU集群有三個特征：極致規模、極致高密和極致互聯。這些“極致”帶來了兩個方面的嚴峻挑戰。一方面是巨額的建設、運營成本，要想建立一個萬卡集群，單是GPU的采購成本就高達幾十億元；另一方面，在如此大規模的集群上，運維的復雜性急劇增加。
“我們知道，硬件不可避免地會出故障，而規模越大，出故障的概率就越高。”沈抖分析說道。他舉了個例子，Meta訓練llama3的時候，用了1.6萬張GPU卡的集群，平均每3小時就會出一次故障，而這些故障絕大多數是由GPU引起的。實際上，GPU是一種很敏感的硬件，連天氣、溫度的波動，都會影響到GPU的故障率。
“這兩個挑戰迫使我們重新思考如何構建、管理和維護這樣龐大而復雜的GPU集群，屏蔽硬件層的復雜性，為大模型落地的全流程提供一個簡單、好用的算力平臺，讓用戶能夠更容易地管理GPU算力、低成本地用好算力。”沈抖表示。
過去一年，企業用戶模型訓練需求猛增，需要的集群規模也越來越大。與此同時，大家對模型推理成本的持續下降的預期也越來越高。這些都對GPU管理的穩定性和有效性提出了更高要求。
“進入規模化訓練階段，最重要的就是穩定性。”沈抖指出，“大模型訓練是一個龐大的單一任務，需要齊步走。一個點出錯，整個集群就得停下、回滾到上一個記憶點。而GPU機器又很貴，每停一分鐘都是白白燒錢。這就是為什么‘有效訓練時長’這個指標很關鍵，它指的就是機器真正在工作的時間的占比。在萬卡任務上，百舸4.0可以保障有效訓練時長占比達到99.5%，遠高于行業內公布的相關指標。”
模型訓好了之后就是推理，也就是模型在各個場景被用起來的階段。在這個階段，最重要的兩件事是速度和成本。前者決定用戶體驗，后者決定性價比。而且，現在長文本推理逐漸成為主流，這兩個問題會越來越突出。
“模型在推理的時候，它需要把你的問題都轉化成token，算一遍之后才能開始出第一個字。而且這不是一次性的計算，每生成一個字都需要和前面所有字去做注意力計算。雖然這整體上是個串行過程，但通過架構分離、KV Cache、負載分配等一系列加速工作，百舸4.0整體上提高了推理效率，降低了成本，讓長文本推理效率提升了1倍以上。”沈抖介紹稱。
同時，他指出，大模型應用的爆發，離不開便捷、高效的大模型工具鏈和應用開發平臺。百度官方數據顯示，目前，在千帆大模型平臺上，文心大模型日均調用量超過7億次，累計幫助用戶精調了3萬個大模型，開發出70多萬個企業級應用。“這條陡峭的曲線，不僅反映了千帆平臺上大模型的調用量，也是過去18個月整個國內大模型產業發展的一個縮影，但這只是一個序幕。”
“過去一年，盡管充滿不確定性，但我們已經看到了一個確定的未來。那就是大模型正在加速深入生產力場景，成為企業獲得競爭優勢的關鍵要素。”沈抖表示，“我們相信，大模型給每個企業提供了平等的增長機會。不管企業大小、場景多少，誰先用起來，誰就搶占先機。”
