月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake

吴厣 人工智能 44
感谢小猪号网友 Skyraver 的线索投递!

小猪号 11 月 28 日消息,月之暗面 Kimi 和清华大学 MADSys 实验室 2024 年 6 月联合发布了 Kimi 底层的 Mooncake 推理系统设计方案。该系统基于以 KVCache 为中心的 PD 分离和以存换算架构,提升了推理吞吐量

月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake-第1张图片-小猪号

近日,为了进一步加速该技术框架的应用与推广,月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等共同发布开源项目 Mooncake,共建以 KVCache 为中心的大模型推理架构。

11 月 28 日,Mooncake 技术框架已开源上线,小猪号附地址如下:

https://github.com/kvcache-ai/Mooncake

月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake-第2张图片-小猪号

据介绍,Mooncake 开源项目从论文延伸,以超大规模 KVCache 缓存池为中心,通过以存换算的创新理念大幅度减少算力开销,提升了推理吞吐量。

本次开源将采用分阶段的方式,逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现,同时针对各类推理引擎和底层存储 / 传输资源进行兼容。其中传输引擎 Transfer Engine 部分现在已经在 GitHub 全球开源。

Mooncake 开源项目的最终目标是,为大模型时代打造一种新型高性能内存语义存储的标准接口,并提供参考实现方案。

月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake-第3张图片-小猪号

Mooncake 推理系统架构图

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,小猪号所有文章均包含本声明。

上一篇消息称亚马逊正开发视频 AI 模型,减少对 Anthropic 的依赖

下一篇当前分类已是最新一篇

抱歉,评论功能暂时关闭!