据小易智创xiaoyizc.com（不可错过的AI创业项目）观察：近日，苹果公司在机器学习领域取得了令人瞩目的成就，通过与NVIDIA的强强联手，他们成功将大型语言模型（LLM）的生成速度提升了近三倍。这一突破的关键在于苹果开源的前沿技术“Recurrent Drafter”(ReDrafter)，它采用了一种前所未有的推测解码方法，大幅提升了模型训练的效率。
过去，构建大型语言模型的过程极其耗时且需要大量资源，企业不得不投入昂贵的硬件设备，导致运营成本飙升。然而，苹果早在2024年初便发布了ReDrafter，这一颠覆性技术融合了递归神经网络和动态树关注的方法，不仅加速了标记生成速度，甚至提高了3.5倍。
本周，苹果再度传来喜讯，他们与NVIDIA的合作将ReDrafter整合进了NVIDIA的TensorRT-LLM推理加速框架。这一举措将使得使用NVIDIA GPU的机器学习开发者能够在实际生产环境中享受到ReDrafter带来的显著加速效果。值得一提的是，虽然高性能多GPU服务器往往价格不菲，但此次合作不仅降低了延迟，还减少了所需硬件数量，为开发者提供了更加经济高效的解决方案。经过与NVIDIA的基准测试后，采用ReDrafter的生成效率获得了巨大的提升，贪婪编码模式下每秒生成令牌速度提高了2.7倍。这意味着开发者们可以在更短的时间内获得更多的结果，从而为用户带来更快捷的服务体验。苹果公司在确认与NVIDIA的合作后，也透露正在考虑利用亚马逊的Trainium2芯片以进一步提升模型训练效率，预计使用Trainium2进行预训练将比现有硬件提升50%。
这一系列创新进展不仅为机器学习行业带来了新的活力，也让我们对未来的AI应用充满期待。
相关文章
