微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本
发布时间:2023-06-27 17:51:14 文章来源:IT 之家
ZeRO++建立在ZeRO传输技术基础上,提供增强的通信策略,可提高训练效率


(相关资料图)

ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本 ... ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确 ... 微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。

标签:

资讯播报

乐活HOT

娱乐LOVE

精彩推送