科技 · 新聞解讀
Modal計畫為AI代理沙箱部署NVIDIA Vera CPU
Modal稱自家高負載測試的任務吞吐量最高達同類x86系統兩倍,但仍會保留Intel與AMD組成的混合機群。

Modal計畫把NVIDIA的Arm相容Vera CPU加入AI代理沙箱基礎設施,這是該公司首次從純x86機群轉向支援另一種架構。Reuters於10月19日獨立確認此部署計畫。
效能數字需要限定範圍:Modal稱,在並行沙箱早期測試中,Vera完成任務的吞吐量最高達同類x86 Granite Rapids系統兩倍。公司仍將測試競爭對手的新晶片並維持混合機群。
Modal增加Vera,而非放棄x86
Modal稱將為沙箱推出Vera支援。Reuters報導,公司會讓Vera與現有Intel及AMD產品並行,依工作需求選擇硬體。
「兩倍」來自Modal自有早期負載測試
Modal以50個驗證過的Terminal-Bench任務測試;高負載下完成任務吞吐量最高為同類x86兩倍,但並非通用CPU結論。
競爭負載比閒置測速更重要
Modal稱空載串行測試中Vera常較快,但並非每項領先且差距不大;多容器爭用資源時差距才擴大。
支援Arm需要改造基礎設施
Modal過去只使用x86。部署Vera須修改基礎設施與映像建置,因此這是有早期測試支持的計畫,不代表所有負載已遷移。
代理沙箱為何成為CPU戰略負載
代理沙箱負責編譯、程式搜尋、套件安裝及工具呼叫。CPU更快可縮短代理回應並減少強化學習時GPU等待。
