輝達押寶AI需求 促供應鏈擴產
輝達指出,全球市場對AI晶片需求已達「極端高漲」。圖/本報資料照片
輝達(NVIDIA)新一代Vera Rubin伺服器機櫃亮相,並揭露與Groq LPU機櫃級技術整合,鎖定高速AI推論市場。輝達AI基礎設施首席產品行銷經理克萊頓(Jesse Clayton)於GTC受訪指出,全球市場對AI晶片與Token(詞元)生成需求已達「極端高漲(extremely high)」,不僅反映於終端消耗量激增,也牽動供應鏈佈局節奏,輝達正擴大與全球企業合作,以填補產能與運算缺口。
AI應用邁向「多代理」與即時互動場景,對生成速度與反應時間要求升溫,資料中心包括800VDC(高壓直流)電源架構、液對液CDU(冷卻分配裝置)散熱系統、HBM記憶體、光通訊及連接器等相關供應鏈,研發進度皆超前,並提前進入量產準備。
輝達2025年主推GB300 NVL72架構,定調爲高效能運算的重要里程碑;2026年推出Vera Rubin NVL72則進一步鎖定推論市場,配置72顆Rubin GPU與36顆Vera CPU,並透過NVLink強化高頻寬連接,結合Groq LPU機櫃,成關鍵解方。
克萊頓表示,未來如程式碼編寫代理等高頻互動應用,需仰賴更低延遲架構支撐,資料中心可透過Vera Rubin與Groq LPU機櫃進行串接,大幅提升Token輸出效率。
就技術來看,Vera Rubin負責處理模型上下文與部分解碼流程,後續再將解碼工作拆分至Groq LPU協同運算,使大型模型推論效能實現量級突破,每秒最高可達到50萬~60萬個Token輸出,有效強化未來AI代理的即時回饋能力。
面對全球AI基礎設施建置潮,克萊頓強調臺灣供應鏈地位「極度重要」,如臺積電於晶片代工端扮演核心角色,支撐輝達新世代晶片的大量需求;同時,臺灣OEM/ODM廠在伺服器機櫃與托盤製造能力亦不可或缺。
儘管臺灣扮演供應核心,在需求爆發下,單一供應鏈可能難以消化全球性的產能缺口。克萊頓坦言,AI需求不僅體現於消耗Token的數量,更反映在生成Token所需的晶片上,輝達持續擴大全球合作版圖。