专为大语言模型训练定制 微软推出高效FP8混精度训练框架

DoNews11月10日立即，来自Microsoft Azure 和Microsoft研究工作院的两组研究工作人员推出了一个高效的 FP8 分离精度基本，专为大型语言数学方式特训量身定制。

经过测试，与普遍采用的 BF16 分离精度方式相比，FP8 分离精度基本内存租用增加 27% 至 42%，权重梯度网络系统支出显着降低 63% 至 65%。

运行反应速度比普遍采用的 BF16 基本（例如 Megatron-LM）快了 64%，比英伟达 Transformer Engine 的反应较快了 17%。

在特训 GPT-175B 数学方式时，分离 FP8 精度基本在 H100 GPU SDK上节约 21% 的内存，而且相比较 TE（Transformer Engine），特训时间段增加 17%。