手機巴士NVIDIA最新研發的NVFP4 4-bit浮點運算格式正式突破技術瓶頸，成功將大型語言模型訓練成本砍半卻維持FP8精度效能，這項革新預計將重塑AI產業發展格局。
掀開AI高效能運算新篇章 NVFP4的成功驗證了企業能用更精簡的模型架構維持高效能表現，同時大幅降低推論成本。更關鍵的是，這項技術突破預示著未來訓練LLM（大型語言模型）的成本將下降到連中小企業都能從零訓練客製化模型，而不僅限於微調現有模型。
近年FP8（8-bit浮點格式）已成為產業標準，它在效能與效率間取得良好平衡，用較低運算成本就能維持模型準確度。而NVFP4更進一步採用4-bit格式，記憶體用量直接減半，卻能完全釋放新一代硬體的運算潛力。
破解4-bit精度兩難困境 過往MXFP4等4-bit格式最讓人頭痛的就是精度穩定性問題，畢竟4-bit只能表現16種數值。當從高精度格式轉換時，極端值經常導致資料失真。NVFP4透過多層級縮放技術聰明處理異常值，NVIDIA官方強調：「這種設計讓張量值在訓練過程中能獲得更加精確的呈現。」
研究團隊更開發出混合精度訓練法，只將部分神經網路層量化為4-bit，關鍵敏感層則保留BF16高精度格式。配合改良的反向傳播梯度計算方式，成功將訓練精度維持在FP8水準。
實測數據碾壓同級方案 在80億參數模型的實測中，NVFP4不僅收斂速度優於MXFP4，要達到相同效能等級，MXFP4還需多耗費36%訓練資料量，等於大幅增加時間與金錢成本。這項技術在數學推演與常識任務表現尤其亮眼，僅在後期編碼測試微幅落後。
NVIDIA AI產品總監Narasimhan指出：「NVFP4打破了既有框架限制，開發者能直接以4-bit格式訓練模型權重，不但維持精度，更讓團隊能跳脫硬體限制探索新架構。」相較之下，FP8格式仍受制於記憶體與頻寬需求，難以突破模型規模上限。
引爆AI產業鏈革新浪潮 這項突破不僅影響訓練階段，在模型推論端同樣帶來變革。採用NVFP4訓練的模型能實現更高速的推論吞吐量，大幅縮短AI工廠的投資回收週期。由於模型體積更精簡，即使在高負載的即時應用場景，也能維持高效能表現而不增加運算能耗。
Narasimhan展望：「未來將見證從通用型LLM轉向多元定制模型的典範轉移，中型企業甚至新創團隊都有能力從零打造專屬的高性能AI系統。」這項技術突破證明了精度優化無須犧牲品質，為下一世代智能系統開創全新可能性。
