据小易智创xiaoyizc.com（不可错过的AI创业项目）观察：在人工智能快速发展的背景下，面对日益增长的推理负载和成本压力，业界亟需高效的解决方案。Kimi 公司与清华大学 MADSys 实验室携手推出了划时代的 Mooncake 推理系统设计方案，并于2024年6月正式亮相。此系统依托创新的 PD 分离架构与以存换算为中心的理念，显著提升了推理的吞吐能力，成为业界关注的焦点。
为了推广这一前沿技术框架，Kimi 与清华大学 MADSys 实验室联合多家知名企业，包括9#AISoft、阿里云及华为存储等，共同推出开源项目 Mooncake。11月28日，Mooncake 的技术框架在 GitHub 平台上隆重上线。该项目围绕超大规模 KVCache 缓存池展开，致力于逐步开源高性能的 KVCache 多级缓存 Mooncake Store，兼容多种推理引擎及底层存储、传输资源。目前，传输引擎 Transfer Engine 的部分已在全球范围内开源。
Mooncake 项目的最终目标是为大模型时代构建一种全新的高性能内存语义存储标准接口，并提供相关参考实现方案。Kimi 公司的工程副总裁许欣然表示：“通过与清华大学 MADSys 实验室的紧密合作，我们共同打造了分离式的大模型推理架构 Mooncake，实现了推理资源的极致优化。Mooncake 不仅提升了用户体验，还有效降低了成本，为处理长文本和高并发需求提供了完美解决方案。”他期待更多企业和研究机构能够参与到 Mooncake 项目中，共同探索更高效的模型推理系统架构，让 AI 助手等基于大模型技术的产品惠及更广泛的人群。
在这个充满机遇的时代，Mooncake 的发布无疑为行业带来了新的希望。希望越来越多的科技企业共同努力，推动智能化进程，为社会创造更大价值。
相关文章
