月之暗面与清华联手打造推理新纪元

据小易智创xiaoyizc.com（不可错过的AI创业项目）观察：月之暗面科技有限公司与清华大学MADSys实验室的战略合作，推出了名为Mooncake的开源项目，意在构建一个以KVCache为核心的大型模型推理架构。早在2024年6月，双方便已联合发布了基于PD分离和以存换算架构的Kimi底层Mooncake推理系统设计方案，该方案极大提升了推理吞吐量，迅速引发了行业内的热议与关注。

Mooncake项目的灵感源自学术论文，围绕超大规模KVCache缓存池展开，凭借以存换算的创新理念，显著降低了算力开销，并提升了推理吞吐量。该项目采用分阶段的开源策略，将逐步向公众开放高性能KVCache多级缓存的Mooncake Store实现，同时兼容多种推理引擎及底层存储/传输资源。目前，传输引擎Transfer Engine部分已经在全球范围内开源。

月之暗面Kimi工程副总裁许欣然表示，与清华大学MADSys实验室的紧密合作，使得分离式大模型推理架构Mooncake得以顺利实现，从而对推理资源进行了极致优化。Mooncake不仅显著提升了Kimi的用户体验，降低了成本，更为处理长文本和高并发需求提供了切实可行的解决方案。公司坚信，通过与产学研机构的深度合作，能够推动整个行业朝着更加高效的推理平台迈进，同时诚邀更多企业和研究机构加入Mooncake项目，共同探索更先进的模型推理系统架构创新，以便让基于大模型技术的AI助手等产品惠及更广泛的人群。

总结来看，Mooncake项目无疑标志着AI推理领域的一次突破性进展，为未来的发展铺平了道路。