Deepgram将Nova-3移植至Trainium2,批处理每美元音频量提升11%–70%
热点事件持续更新
Deepgram将Nova-3移植至Trainium2,批处理每美元音频量提升11%–70%
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
Deepgram与AWS合作,把Nova-3语音转文字模型移植到Trainium2上运行:单台trn2.3xlarge实例承载8个模型副本。在Deepgram的离线、以吞吐为导向的批处理场景中,按评估时的实例价格计算,该配置每美元处理的音频量比其此前使用的计算方案多11%–70%。 移植通过TorchNeuron完成PyTorch适配,团队随后用NKILib融合kernel、手写FFN与conv2d kernel,并开发Rust数据并行运行时,让Deepgram自有模型服务器调用Trainium。 AWS称,这些收益可延伸至在自有VPC中通过Amazon SageMaker AI自托管Deepgram模型的客户。
AI 根据报道生成 · 23 小时前更新
最新进展10月20日 00:23
Deepgram 如何用 AWS Trainium 优化大规模语音 AI报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogDeepgram 如何用 AWS Trainium 优化大规模语音 AI
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,在单台 trn2.3xlarge 实例上运行 8 个模型副本,离线批处理场景每美元处理的音频量提升 11%–70%。团队用 TorchNeuron 完成 PyTorch 移植,并通过 NKILib 融合 kernel、手写 FFN 与 conv2d kernel 及 Rust 数据并行运行时持续调优。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1010月20日 01:00
- 近 24 小时变化
- –
02.557.510
06:0012:0018:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。