跳到正文
热点事件持续更新

Deepgram将Nova-3移植至Trainium2,批处理每美元音频量提升11%–70%

1 篇报道1 个报道来源23 小时前更新

先了解这件事

AI 综述

Deepgram与AWS合作,把Nova-3语音转文字模型移植到Trainium2上运行:单台trn2.3xlarge实例承载8个模型副本。在Deepgram的离线、以吞吐为导向的批处理场景中,按评估时的实例价格计算,该配置每美元处理的音频量比其此前使用的计算方案多11%–70%。 移植通过TorchNeuron完成PyTorch适配,团队随后用NKILib融合kernel、手写FFN与conv2d kernel,并开发Rust数据并行运行时,让Deepgram自有模型服务器调用Trainium。 AWS称,这些收益可延伸至在自有VPC中通过Amazon SageMaker AI自托管Deepgram模型的客户。

AI 根据报道生成 · 23 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. AWS Machine Learning Blog
    Deepgram 如何用 AWS Trainium 优化大规模语音 AI

    Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,在单台 trn2.3xlarge 实例上运行 8 个模型副本,离线批处理场景每美元处理的音频量提升 11%–70%。团队用 TorchNeuron 完成 PyTorch 移植,并通过 NKILib 融合 kernel、手写 FFN 与 conv2d kernel 及 Rust 数据并行运行时持续调优。

本事件热度走势

可比范围当前
5
可比范围峰值
1010月20日 01:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。