AWS 发布在 Trainium 上训练 Qwen3 教程

AWS Machine Learning Blog 发布教程，介绍在单台 trn2.48xlarge（16 颗 Trainium2、64 个逻辑 NeuronCore）上用 torchtitan 训练 Qwen3 的三种配置方法。教程称，torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备，沿用同一套 torchrun 启动模式训练 Qwen3-4B-Instruct-2507。 教程限定使用 AWS Deep Learning AMI for Neuron 或 Neuron PyTorch 训练容器，并要求固定文中列出的版本以复现示例。其中 Qwen3-30B-A3B 示例被缩减为 4 层、64 个专家，以便在单台 trn2.48xlarge 上运行；序列长度需设为 128×LNC 的倍数，LNC 为 2 时为 256。

AI 根据报道生成 · 2 天前更新