テクノロジー · ニュース解説
Amazon、PyTorchを再実装せずTrainiumへ移せるTorchNeuronを発表
Apache 2.0で10月20日に公開予定。Trainium2と3を支援するが、全ワークロードの同等性を保証するものではない。
AmazonはAWS Trainium向けのネイティブPyTorchバックエンド、TorchNeuronを発表した。既存モデルは書き換えず、デバイス設定の変更で動かせるという。ReutersとAmazonの全文発表はこの中核説明で一致する。
10月20日にApache 2.0で公開し、Trainium2とTrainium3を支援する予定だ。評価は容易になるが、性能、機能範囲、費用はワークロードごとの検証が必要だ。
発表内容
PyTorchの標準ハードウェア登録機構を使い、テスト、デバッグ、拡張の流れを保つ。
10月20日に公開予定
PyTorch ConferenceでのApache 2.0公開は予定であり、現時点では完了済みの配布ではない。
移植性が重要な理由
CUDAはNvidiaの大きな強みだ。TorchNeuronはTrainium評価時のソフト移行コストを下げようとする。
標準ワークフローへの接続
TorchTitan、FSDP、Hugging Face対応などをAmazonが説明するが、独立ベンチマークではない。
移行前の確認
演算対応、数値挙動、コンパイル時間、速度、遅延、総費用を代表モデルで確認すべきだ。
