DeepSeek开源推理框架，有人算出AI的毛利：82%

没想到这也公开了。

10月20日下午，DeepSeek对外开放了其内部使用的推理框架DeepInfer，以及配套的token编解码组件deepseek-recipe。

DeepInfer目前是支撑DeepSeek大规模推理服务的基础，此次以Apache 2.0许可证发布，当前支持DeepSeek-V4.1-Flash。

这次发布迅速引起关注，昨天大家讨论的是DeepSeek现在让所有人都能快速部署自己的AI模型，今天换个角度想，不对，大模型推理怎么这么赚钱啊？

DeepSeek透露，基于这套系统，单个集群每天服务的吞吐量达到155万亿token，按API谷价计算，整体收入达到每卡每小时38美元。

这是什么概念呢？有人算出了毛利率是82%：假设你卖的API使用率足够高，并以每张B300每小时7美元的租金租用显卡，仅扣除租金后仍有可观的余量。

Hacker News上有人直接这样形容：一枚核弹。冰冷的数字告诉你AI没有泡沫。

DeepInfer为如今AI服务价格的讨论补充了关键数据，让我们第一次了解到把模型高效运行起来的工程能力。

对普通用户来说，调用大模型只是发出请求、等待回答。服务端则需要安排大量请求共享芯片，读取模型参数，调动分布在不同设备上的计算资源，还要控制排队和生成延迟。

大家会发现，模型都是DeepSeek的同样型号，但官方API和第三方部署的用起来不太一样，这是因为同一个模型，采用不同的推理实现，每张卡能同时服务多少用户、用户需要等多久都可能不同。推理框架解决的正是这类问题，它旨在提高推理效率，让单位算力的有效吞吐，以及用户感受到的响应速度实现最优水平。

这方面应该没有比DeepSeek自己做得更好的了。

DeepInfer主要面向大规模部署，支持英伟达SM100 GPU和华为昇腾950 NPU，整合优化算子、分布式并行、推测解码、异步调度等能力，也支持按JSON Schema等规则约束输出。DeepInfer最初主要基于vLLM开发，也参考了SGLang和TensorRT-LLM。

与此同时，deepseek-recipe负责把不同格式的API请求转换成模型使用的提示词和token序列，再把输出还原成相应格式的响应。它支持Chat Completions、Responses、Messages等接口格式，涵盖思考内容、工具调用和流式输出等处理。

这对第三方部署有重要意义：开发者可以复用官方的请求处理与编解码逻辑，减少同一套应用换到其他服务端后出现行为差异的机会。模型能否顺利接入已有Agent工作流，往往也取决于这些细节。

当前开源的仓库提供了离线推理及支撑大规模服务的核心能力，当然，完整线上服务仍需配套KV Cache系统、视觉编码与Prefill/Decode分离部署，以及跨副本负载均衡等组件。第三方获得了一套重要的引擎，落地时仍要完成系统集成。

这些部署工作的共同目标，是让每张卡少做重复计算，服务更多请求。

从官方部署资料看，DeepSeek的优化思路包括按推理阶段组织资源、复用上下文计算结果，以及提高每次解码的有效产出。

大模型处理请求时，先要处理输入上下文（也就是Prefill），然后逐步生成回答（也就是Decode）。把两个阶段分开部署可以分别安排资源，避免不同负载挤在一起。这有助于同时优化首个token的等待时间和后续生成速度。

缓存则尤其适合长对话和Agent。智能体调用工具后，下一轮请求常常再次携带前面的系统提示、工具说明和历史记录。如果能够复用已有上下文的中间计算结果，就可以减少反复处理同一段内容的开销。

一个突出的地方在于KV Cache的保留时间，官方透露说Agent流量保留3天，聊天流量保留7天。这些缓存放在独立的3FS存储集群里，各台Prefill机器都能读取。通过把跨天保留、共享存储和自动匹配结合起来，DeepSeek让已经算过的长上下文在更多后续请求中继续发挥作用。

其他家包括Anthropic、OpenAI和Google，缓存保留的时间大多在5分钟到24小时之间。

另一个例子是DSpark推测解码：先生成候选token，再交给主模型验证。DeepSeek进一步根据候选的预计接受率安排验证，减少花在低收益候选上的计算。官方部署问答估算，在所列生产工作点附近，动态长度验证相对固定验证5个候选token，可提高约4-7%的吞吐。

这些优化累积起来，改变的是每块显卡能够交付的服务量。他售价低但真不在亏钱，只要算力不闲着，而且计算卡买的越多就赚的越多。

围绕token成本的讨论，按当前官方的价格表，DeepSeek-V4.1-Flash和V4.1 Pro的API是这样的。

比较服务收入与成本，需要同时考虑输入、输出和缓存命中的构成。毕竟缓存命中输入的售价只有未命中的五十分之一。好就好在DeepSeek自己说了个38美元的数。

除了租GPU的7美元，即便把其他服务开支加上，API售价与成本之间仍有相当大的距离，这说明高效推理有可能同时做到低定价和可观的盈利空间，怪不得云服务厂商都在借钱盖数据中心。在Hacker News上，人们的讨论存在分歧，有人按更低的GPU成本推算出了更高的利润空间，也有人强调必须计算模型整个生命周期的投入。

不过之前「10个月内收回全部设备成本」的说法，现在算是有了依据。

另一方面，《The Information》上个月曾披露DeepSeek年化收入达到约10亿美元，大致对应每天274万美元，如果对照每卡每小时38美元的话，正好等效3000张卡。

DeepInfer提供了优化部署的代码起点。对大多数用户而言，更充分的推理竞争有望带来更低的调用成本和更好的响应体验。

不知未来是大家「不用去耽误梁叔叔训练AGI」，还是会等V4.1 Pro推出，再次挤爆DeepSeek服务器？

参考内容：

https://zhuanlan.zhihu.com/p/2095560295930508953 https://news.ycombinator.com/item?id=50163277 https://www.theinformation.com/articles/deepseeks-annualized-revenue-hits-1-billion-startup-finalizes-7-5-billion-fundraising https://x.com/Yuchenj_UW/status/2112591074409742733

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：关注DeepSeek的机器之心，编辑：泽南，36氪经授权发布。