Watch at Ease看见世界,读懂生活。

科技 · 新闻解读

亚马逊推出TorchNeuron:PyTorch模型无需重写即可迁移至Trainium

这套Apache 2.0后端计划于10月20日开放,支持Trainium2与Trainium3;它降低迁移阻力,但不保证所有工作负载表现一致。

原创编辑插画:匿名数据中心内的无品牌AI加速器,并非真实Trainium设备或AWS设施。
原创编辑插画:匿名数据中心内的无品牌AI加速器,并非真实Trainium设备或AWS设施。 Watch at Ease

亚马逊发布TorchNeuron,这是一套面向AWS Trainium的原生PyTorch后端。公司称,现有模型代码只需更改设备设置,无须为芯片重写。Reuters与亚马逊完整公告对这一核心说法一致。

该项目计划10月20日以Apache 2.0许可开源,支持Trainium2与Trainium3。它让评估亚马逊芯片更容易,但性能、功能覆盖和成本仍需按具体工作负载验证。

亚马逊发布了什么

TorchNeuron让PyTorch通过标准硬件注册机制连接Trainium,并保留测试、调试和扩展工具。

代码计划10月20日开放

亚马逊称项目将于10月20日在PyTorch大会以Apache 2.0许可开放,目前应视为计划发布而非已完成下载。

软件可移植性为何重要

CUDA生态长期是Nvidia的重要优势。TorchNeuron旨在降低团队评估Trainium时的软件迁移成本。

后端接入标准工作流

亚马逊称其兼容TorchTitan、FSDP和Hugging Face工具,并对大量模型测试。后者属于厂商说法,并非独立基准。

迁移前仍要验证什么

团队应以代表性模型检查算子覆盖、数值结果、编译时间、吞吐、延迟及总体成本。

原创编辑插画:服务器机架旁的匿名开发工作站,屏幕没有可读源代码。
原创编辑插画:服务器机架旁的匿名开发工作站,屏幕没有可读源代码。 Watch at Ease