Watch at Ease看見世界,讀懂生活。

科技 · 新聞解讀

Modal計畫為AI代理沙箱部署NVIDIA Vera CPU

Modal稱自家高負載測試的任務吞吐量最高達同類x86系統兩倍,但仍會保留Intel與AMD組成的混合機群。

原創概念插畫:多個AI代理沙箱連接無品牌伺服器處理器;並非真實設備或部署現場。
原創概念插畫:多個AI代理沙箱連接無品牌伺服器處理器;並非真實設備或部署現場。 Watch at Ease

Modal計畫把NVIDIA的Arm相容Vera CPU加入AI代理沙箱基礎設施,這是該公司首次從純x86機群轉向支援另一種架構。Reuters於10月19日獨立確認此部署計畫。

效能數字需要限定範圍:Modal稱,在並行沙箱早期測試中,Vera完成任務的吞吐量最高達同類x86 Granite Rapids系統兩倍。公司仍將測試競爭對手的新晶片並維持混合機群。

Modal增加Vera,而非放棄x86

Modal稱將為沙箱推出Vera支援。Reuters報導,公司會讓Vera與現有Intel及AMD產品並行,依工作需求選擇硬體。

「兩倍」來自Modal自有早期負載測試

Modal以50個驗證過的Terminal-Bench任務測試;高負載下完成任務吞吐量最高為同類x86兩倍,但並非通用CPU結論。

競爭負載比閒置測速更重要

Modal稱空載串行測試中Vera常較快,但並非每項領先且差距不大;多容器爭用資源時差距才擴大。

支援Arm需要改造基礎設施

Modal過去只使用x86。部署Vera須修改基礎設施與映像建置,因此這是有早期測試支持的計畫,不代表所有負載已遷移。

代理沙箱為何成為CPU戰略負載

代理沙箱負責編譯、程式搜尋、套件安裝及工具呼叫。CPU更快可縮短代理回應並減少強化學習時GPU等待。

原創概念插畫:三個無品牌處理器平台在混合機群中調度AI任務;並非真實架構圖。
原創概念插畫:三個無品牌處理器平台在混合機群中調度AI任務;並非真實架構圖。 Watch at Ease