Watch at Ease看见世界,读懂生活。

科技 · 新闻解读

Modal计划为AI智能体沙箱部署NVIDIA Vera CPU

Modal称自家高负载测试的任务吞吐量最高达到同类x86系统的两倍,但仍会保留Intel和AMD组成混合机群。

原创概念插画:多个AI智能体沙箱连接无品牌服务器处理器;并非真实设备或部署现场。
原创概念插画:多个AI智能体沙箱连接无品牌服务器处理器;并非真实设备或部署现场。 Watch at Ease

Modal计划把NVIDIA的Arm兼容Vera CPU加入其AI智能体沙箱基础设施,这是该公司首次从纯x86机群转向支持另一种架构。Reuters于10月19日独立确认了这一部署计划。

性能数字必须限定范围:Modal称,在其并发沙箱早期测试中,Vera的已完成任务吞吐量最高达到同类x86 Granite Rapids系统的两倍。公司仍将测试竞争对手的新芯片,并维持混合机群。

Modal是在增加Vera,而不是放弃x86

Modal称将为其沙箱推出Vera支持。Reuters报道,公司会让Vera与现有Intel和AMD产品并行,并把任务分配给最合适的硬件。

“两倍”来自Modal自己的早期高负载测试

Modal用50个经验证的Terminal-Bench任务构建测试。在高负载早期运行中,已完成任务吞吐量最高为同类x86系统的两倍;这不是通用CPU结论。

竞争负载比空闲速度测试更重要

Modal称,空载串行测试中Vera通常更快,但并非每项都领先,差距也不大;多容器争用资源时差距才明显扩大。

支持Arm需要基础设施改造

Modal过去只运行x86机群。部署Vera需要修改基础设施与镜像构建系统,因此这是有早期测试支撑的计划,并非全部工作负载已经迁移。

智能体沙箱为何成为CPU战略负载

智能体沙箱承担编译、代码搜索、软件安装和工具调用。更快的CPU执行可缩短智能体响应,并减少强化学习任务等待时GPU的空闲。

原创概念插画:三个无品牌处理器平台在混合机群中调度AI任务;并非真实架构图。
原创概念插画:三个无品牌处理器平台在混合机群中调度AI任务;并非真实架构图。 Watch at Ease