Red Hat 宣布推出 Red Hat AI 3,這是其企業級 AI 平台的重大演進。新平台深度整合了推理伺服器、Red Hat Enterprise Linux AI 及 OpenShift AI,核心目標是將「分散式 AI 推理」引入企業級生產環境。此舉旨在簡化大規模高效能運算的複雜性,協助企業將人工智能項目從概念驗證(PoC)階段順利推進至實際生產,並為新一代代理式 AI(Agentic AI)的部署奠定基礎。
隨著企業逐漸將 AI 專案投入實戰,市場面臨著嚴峻的投資回報挑戰。根據麻省理工學院相關研究報告指出,約 95% 的組織在投入巨額資金後,仍未能獲得可衡量的財務回報。這主要歸因於資料私隱、成本控制困難以及多樣化模型管理等問題。Red Hat AI 3 的推出正是為了回應這些訴求,透過在混合多供應商環境中快速擴展 AI 工作負載,讓企業能在同一平台上協作,無論是在數據中心、公有雲還是邊緣環境,都能最大化硬件加速器的投資價值。
在技術架構層面,Red Hat 強調從「模型訓練」轉向「推理執行」的關鍵轉變。新平台引入了基於 vLLM 和社群專案開發的 llm-d 技術,重新定義了大型語言模型(LLM)在 Kubernetes 上的運行方式。透過智能分散式推理,系統能感知模型排程,支援跨平台硬件(如 NVIDIA 及 AMD)的靈活部署。這不僅降低了營運成本,更透過標準化的路徑確保了大規模部署時的可靠性,解決了單節點推理引擎難以應對的高度變動工作負載問題。
為了促進團隊協作,Red Hat AI 3 提供了統一的平台體驗。新功能包括「模型即服務(MaaS)」,讓 IT 團隊能成為內部的服務供應商,集中管理常用模型;以及「AI Hub」和「Gen AI Studio」,前者作為模型資產的中央樞紐,後者則為工程師提供快速原型化的互動環境。這些工具讓平台工程師與 AI 開發者能在同一體系下工作,加速生成式 AI 解決方案的落地。
展望未來,該平台已為代理式 AI 做足準備。Red Hat 引入了基於 Llama Stack 的統一 API 層及 Model Context Protocol(MCP),簡化了模型與外部工具的互動,這是構建自主 AI 代理的核心能力。配合新推出的模組化模型自訂工具包及 InstructLab 功能,企業能利用專有數據微調模型,在確保數據安全的前提下,獲得更精準且具商業價值的 AI 成果。
