ZeRO++-小猪号

微软推出 ZeRO++ 技术，可显著减少 AI 大模型训练时间和成本

微软研究人员日前推出了名为ZeRO++的新技术，其建立在现有的ZeRO传输技术基础上，并提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。当在每个GPU上使用小批量大小时，在高带宽集群中...