Watch at Ease看見世界,讀懂生活。

科技 · 新聞解讀

IBM Bob 推出自託管版:哪些留在 OpenShift 叢集內,哪些不會

IBM 的代理式軟體開發平台現可把後端部署在客戶管理的 Red Hat OpenShift,也支援斷網環境。真正要問的不是只有「地端或雲端」,而是模型推論、日誌與生命週期責任實際落在哪裡。

顯示開發者接入客戶控制叢集,並分流至核准雲端模型或本地 GPU 模型的原創編輯插畫。
原創插畫:自託管 Bob 可使用核准的外部模型或全本地 GPU 模型,兩條路徑形成不同資料邊界。 Watch at Ease

IBM 已正式提供 IBM Bob 自託管部署,企業可以把這套代理式軟體開發平台的後端放在自行控制的基礎設施。它主要面向原始碼、受監管資料或關鍵系統不能進入供應商公共服務的團隊。

「自託管」本身不能說明模型推論的位置。Bob 後端、身分、稽核日誌與計量可在客戶管理的 Red Hat OpenShift 上,但混合設定仍可能把提示與程式碼上下文送往核准的外部模型服務;完全斷網則需要支援的本地模型與客戶 GPU。

因此採購判斷同時是架構與營運問題:必須追蹤實際模型路徑,並準備承擔 OpenShift 容量、升級、可用性、網路、儲存、身分、平台日誌、備份與事件回應。

客戶環境內運行什麼

IBM 文件把 Bob 自託管描述為 Red Hat OpenShift 上的命名空間工作負載,包含後端、推論閘道、身分、稽核日誌與使用計量,由 Operator 管理。Operator 與應用命名空間在容量足夠時可共用既有叢集,不必使用專用叢集。開發者繼續使用 Bob IDE 與 bob-shell,而內部端點及企業身分整合由客戶維運。

混合推論不等於全本地推論

混合路徑透過組織自行控制的雲端帳戶連接前沿模型。後端與日誌留在 OpenShift,但模型請求及其中的程式碼上下文會依組織與外部服務的協議離開叢集。若政策要求每個 token 與程式片段都不得出網,就必須使用支援的開放權重模型與客戶 GPU。發布資料列出 NVIDIA Nemotron 3 Ultra 和 Poolside Laguna S 2.1,但沒有單一通用 GPU 規格。

客戶承擔營運工作

IBM 文件把基礎設施、整合與生命週期作業交給客戶,包括擴縮、可用性、升級、網路、儲存和身分控制。安全事件日誌與監控在 OpenShift 平台層處理,不是 Bob 自動交付的完整功能。兩階段 bobctl 安裝將需要 cluster-admin 或同等核准的叢集資源,與命名空間部署分開,卻不會移除平台治理責任。

必要條件與斷網工作

公開必要條件包括有效授權、發布套件和有權使用的容器映像、支援的 OpenShift 叢集、管理工作站、相容的 oc、Helm 3.14 以上、Bash、OpenSSL、cert-manager 1.14 以上,以及足夠的運算、記憶體、儲存與工作節點容量。模型端點必須預先存在,因 Bob 不供應模型服務基礎設施。斷網安裝需把映像鏡像至私有登錄檔,也增加映像審查、登錄維護、修補與本地模型服務工作。

概念驗證檢查表

試點前要決定程式碼上下文是否必須完全離線,或可進入核准的雲端模型帳戶;確認 OpenShift 和私有登錄負責人;分配升級、備份與事件回應;核准模型路徑與容量預算;界定程式碼存取;把身分和平台日誌送入要求的 SIEM;並選定可量化的結果。IBM 表示單節點 OpenShift 可做概念驗證,但生產規模仍取決於模型、上下文長度與並行使用。

仍未證實的部分

現有資料沒有簡單公開價格、統一生產硬體表、與客戶無關的合規結論,或同 SaaS 版的中立效能比較。自託管提供更多控制,卻不會自動證明更便宜、更快、合規或完全沒有外部資料流。合適的下一步是架構審查,追蹤提示、程式碼上下文、日誌、身分與管理動作。

顯示企業平台人員管理叢集、身分、映像登錄、日誌、備份、網路和 GPU 系統的原創插畫。
原創插畫:自託管會把大量生命週期、安全、日誌、登錄、備份與模型服務工作轉給客戶。 Watch at Ease