DeepSeek进一步开放：模型之外，推理框架也开源了

　　10月20日，DeepSeek宣布开源内部推理框架DeepInfer，进一步开放支撑大规模模型服务的工程能力。

　　根据官方介绍，DeepInfer已用于DeepSeek V4.1 Flash的高吞吐、低延迟推理服务，支持分布式推理、推测解码、结构化输出等能力，兼容英伟达与华为昇腾平台。未来，DeepSeek新模型的推理代码及后续优化也将在该项目中持续更新。

　　此次公告还介绍了生产级编解码组件deepseek-recipe，用于处理应用请求与模型输入、输出之间的转换，帮助第三方部署对齐官方API的处理逻辑。

　　在模型权重、计算与通信组件陆续开放之后，DeepSeek正在进一步分享如何高效运行模型的经验。对企业而言，拿到模型只是开始，如何控制成本、同时服务大量用户，仍有不少工程问题需要解决。

01 同一个模型，为什么运行成本不同?

　　推理，是训练好的模型接收输入、计算并生成输出的过程。普通聊天、分析图片、编写代码，都需要推理。

　　一个人向模型提问，与大量用户同时使用，对服务系统的要求不同。有人上传长篇报告，有人只问一句话，还有人让Agent连续读取文件、修改代码、运行测试。服务端需要安排这些请求，管理计算过程中的缓存，并协调多张芯片共同工作。

　　推理框架承担的就是这类任务。它影响芯片能否被充分利用、用户的等待时长，以及一套设备能承接多少请求。即使使用相同模型，部署方式不同，也可能产生不同的速度和成本。

　　DeepInfer整合了DeepSeek此前开放的高性能计算与通信组件，并加入调度、并行执行等优化。例如，推测解码通过先生成候选Token、再验证的方式加速输出;SWA Bounded Replay通过重放有限长度的近期内容，减少部分上下文状态恢复时的计算开销。

　　官方仓库目前列出的支持模型是V4.1 Flash，硬件包括NVIDIA SM100 GPU与华为昇腾950 NPU。DeepSeek首发提供离线推理及规模化服务所需的核心能力，但完整KV缓存系统、视觉编码与预填充和解码的分离部署，以及副本间负载均衡，还没有包含在此次发布中。这意味着，如果企业搭建完整在线服务，还需要集成配套系统。

　　deepseek-recipe解决的是另一类接入问题。它将不同API格式的请求转换成模型所需的提示词或Token，再把输出解析为回答、思考内容、工具调用等。模型计算、工具执行及HTTP服务，仍由使用方提供。接口处理方式对齐，有助于减少部署差异，但不代表第三方服务的速度、稳定性和答案都会与官方完全相同。

02 让Agent完成任务的成本降下来

　　此次发布与DeepSeek近期模型更新的方向相互呼应。

　　V4.1 Flash的技术报告指出，长任务Agent让模型需要处理越来越多的输入。代码、文档、历史对话和工具返回不断累积，读取这些内容，以及存储、搬运相关缓存，都会产生开销。

　　为此，V4.1 Flash在模型结构和缓存上进行了优化。官方披露，其全局KV缓存占用约为V4 Flash的四分之一;结合特定部署优化，持久化KV缓存占用约为八分之一。这里缩减的是对应缓存部分，不能直接等同于整体推理成本同比例下降。

　　10月17日更新的V4.1 Flash-1017，则强调在提升推理、编程和Agent任务表现的同时，减少任务执行时间与输出长度。

　　模型减少不必要的计算和输出，推理框架提高执行效率，两者共同影响完成一项任务的成本。对云服务商和企业部署团队而言，官方实现也提供了调优参考，有机会减少重复适配和摸索。

　　此前，DeepSeek已开放面向昇腾的矩阵计算库DeepGEMM-Ascend与通信库DeepEP-Ascend。此次推理框架进一步覆盖昇腾平台，也为国产算力部署提供了更完整的工程参考。不过，支持某个平台，并不能直接说明不同芯片的性能和成本已经相当。

　　DeepInfer也与DeepSeek此前开源的Harness有所区别：Harness负责组织模型、工具和任务执行过程，DeepInfer负责底层模型计算。两者可以配合，分别影响任务如何完成，以及计算如何高效进行。

03 从开放组件，到发布独立框架

　　DeepSeek对推理基础设施的开放，已有一段积累。

　　2025年2月的开源周，DeepSeek陆续发布FlashMLA、DeepEP、DeepGEMM，以及DualPipe、EPLB、3FS等项目，覆盖注意力计算、通信、矩阵运算、并行调度和存储。随后，它公开了V3/R1推理系统概览，介绍内部服务的设计与运行情况。

　　但是这些组件与技术说明，并不等于完整内部推理引擎已经公开。2025年4月，DeepSeek曾专门解释开放内部引擎的困难：代码基于较早的vLLM分支，做了大量定制;与内部基础设施深度耦合;团队维护大型开源项目的人力有限。因此，当时选择优先与现有开源项目合作，拆出可复用组件，并分享优化。

　　此次发布独立的DeepInfer仓库，意味着开放形式进一步发展。它与当时的工程判断并不矛盾，也不能据此认定所有部署障碍已经解决。

　　按照DeepSeek的表述，此次开放希望帮助开发者和企业优化大规模推理的吞吐与延迟，降低算力成本和能源消耗。对于使用方，这些目标最终需要在自己的硬件和业务中验证：能否以更少的计算资源，在可接受的等待时间内，稳定完成更多任务。