访问:
[活动]阿里云“企业飞天会员年终盛典”:新户最高可得1212元红包
百度文库联合会员活动:加送百度网盘年卡只需193.74元
该库于今年 2 月发布,可以在适度的硬件上训练大规模的人工智能模型。它只需要使用 800 块 Nvidia V100 显卡就可以创建具有万亿参数的深度学习模型,是目前世界上最大的模型的 5 倍多。如果没有DeepSpeed,同样的任务需要 4000 块 Nvidia A100(性能比 V100 快2.5倍),而且事件缩短了 100 多天。
在 GPT-3 显示模型在神经网和数据集越大的情况下继续改进后,这个工具特别有用。然而,这确实有可能将最新的创新推到资源较少的小型团队的范围之外,但DeepSpeed已经允许这些团队以最小的硬件与更大的服务竞争。转移到云处理可能会使大型模型AI训练更容易获得。
本文素材来自互联网