最近，Nous Research 的研究团队震撼科技界，推出了名为 DisTrO（分布式互联网训练）的新优化器。这项创新技术的诞生，意味着强大的 AI 模型不再是大公司的专利，普通用户也可以在家用自己的电脑进行高效训练。
DisTrO 的神奇之处在于，它能够极大地减少多个图形处理单元（GPU）之间的信息传输量，从而在普通网络条件下实现高效的 AI 模型训练。根据 Nous Research 的技术论文，DisTrO 的效率提升令人难以置信，训练效率比常见的 All-Reduce 算法提高了惊人的857倍，同时每一步训练所需传输的信息量也从74.4GB 降低到了仅86.8MB。这一革命性提升不仅让训练变得更加迅速和经济，还为更多人打开了参与这一领域的大门。
Nous Research 在社交平台上表示，通过 DisTrO，研究人员和机构不再需要依赖某一家企业来管理训练过程，这为创新和实验提供了更大的自由。这样的开放竞争环境无疑将推动技术进步，最终使整个社会受益。
在如今的 AI 训练中，硬件的需求常常让人感到无力。尤其是高性能的 Nvidia GPU 不仅稀缺而且昂贵，往往只有资金雄厚的公司才能承受。但 Nous Research 的理念恰恰相反，他们致力于以更低的成本向公众开放 AI 模型的训练，让更多人参与其中。DisTrO 通过降低 GPU 之间的全梯度同步需求，将通信开销减少了四到五个数量级，使得 AI 模型能够在普通家庭能够访问的100Mbps 下载和10Mbps 上传速度下进行训练。
在对 Meta 的 Llama2大型语言模型进行初步测试中，DisTrO 显示出与传统方法相当的训练效果，同时大幅降低了通信量。研究者们还指出，随着模型规模增大，通信需求的降低可能会更加显著，甚至达到1000到3000倍。这一切都让 AI 训练变得更加灵活，而 DisTrO 让世界各地分散的 GPU 更加高效地协同工作。
在这样一个充满机遇的时代，小易智创作为一家拥有超过10000个 AI 应用的智创平台，更是为大家提供了无限可能。通过小易智创的平台，无论是企业还是个人，都可以轻松接入多种领先的 AI 能力，满足不同需求。而且，小易智创支持灵活设置品牌，助您打造专属的 AI 公司。在这个风口之上，代理小易智创将是您迈向成功的绝佳机会！
相关文章
