DeepInfer-SM80:DeepSeek 新框架只认新卡,有人当天把它搬到 A100 和矿卡上——199 颗 star,一半来路可疑
它是什么 一套 vLLM 补丁加 30 个替换模块,让 A100、A800、3090 这些老一代显卡也能用上 DeepInfer 的加速思路跑 DeepSeek-V4.1-Flash,预填充快 20% 左右。
为什么火了 名字直接叫 DeepInfer-SM80、发布当天就出来,正好接住「我的老卡跑不了」的抱怨,被 HN 大帖评论和 CMP 170HX 矿卡玩家的 Discord、wiki 转开;后面一半 star 来自 6 分钟内集中出现的一批新注册刷量号。
C你可以怎么跟 别再做 A100 跑 DeepInfer;学这一招:下次大厂开源只支持新卡时,提前备好旧卡环境,当天出带硬数字的移植,用「官方名-旧架构」命名,到发布帖和对口硬件社区里直接递给要的人。
- 数据(每天更新) · 建库 2026-10-20 · 199 星 · 7 天 +109
GitHub · 星数 数据 2026-10-22 → 2026-11-08(18 天,17 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有
2026 年 10 月 20 日,DeepSeek 开源推理框架 DeepInfer,只支持英伟达最新的 Blackwell 和华为昇腾 950。Hacker News 上那条帖子冲到 2,355 分、892 条评论。当天 16:43(UTC),一位叫 segmondy 的用户在楼里问:「有人想让它在 sm80(A100 这一代)上跑起来吗?」四个半小时后,他自己回了一句:「有人已经抢先做了,我正在编译」,后面贴着一个仓库链接——HalfVulpes/Deepinfer-SM80,当天下午 13:22 刚建。三周后它有 199 颗 star。这篇讲它前 70 多颗是怎么来的,后面那 100 来颗为什么不该算数,以及「大厂只支持新卡、我当天移植到旧卡」这一招值不值得你下次也用。
它是什么
一句话:让 A100、A800、3090 这些老一代显卡也能用上 DeepInfer 那套加速思路,跑 DeepSeek-V4.1-Flash。
DeepInfer 的内核是为 Blackwell 的新指令写的,老卡上根本跑不起来。这个仓库把其中的核心想法改写成 Ampere 能用的版本,打成两份 vLLM 补丁,外加 30 个可以直接替换进 vLLM 的 Python/Triton/TileLang 模块,支持 100 万 token 上下文和投机解码。
README 第一屏就是成绩单:6 卡上,16K 长度的首次预填充快 20.5%,64K 快 24.2%,首字延迟从 13.2 秒降到 10.7 秒,单路生成快 5.9%;几个内核单独测快 2 到 22 倍,而且结果和原版逐位一致(bit-exact)。复现脚本、Docker 配方、已知问题清单都齐。11-06 作者还主动发了 v0.1.1,在 README 顶上写明「之前所有版本在 512 token 以上可能用错 top-k 索引,请更新」。
有个细节:README 里的测试卡写的是「GA100 64GB,74 个 SM」。正规 A100 是 108 个 SM。玩矿卡的社区 cmp.wiki 根据源码注释指出,这其实是解锁到 64GB 显存的 CMP 170HX 挖矿卡。作者 HalfFox(GitHub 2020 年注册,所在地填加拿大,11 个关注者,没有 X 账号)另外两个仓库也对得上:一个研究 170HX 的 PCIe 解锁,一个给 170HX 写 GLM 的内核。他本人就是矿卡改装玩家,README 也老实写了:换到 108 SM 的正规 A100 上,内核提速会小一些。
先看曲线
| 日期 | star | 发生了什么 |
|---|---|---|
| 10-20 | 0 | 建库,DeepInfer 发布当天 |
| 10-22 | 73 | 前两天的自然流量 |
| 10-22 → 11-05 | 73 → 93 | 两周日均一颗多,基本停了 |
| 11-06 | 94 | 14:38 发 v0.1.1,修一个正确性 bug |
| 11-07 | 164 | +70(Trendshift 记 11-06 当天 +86) |
| 11-08 | 199 | +35 |
(GitHub 每天记录;11-08 现查 199 颗、13 个 fork。)
一条曲线两段:前两天冲到 73,然后两周平躺;11-06 晚上突然又起来。两段的原因完全不同。
前 73 颗:名字和时机
蹭上发布当天。 DeepInfer 发布那天,社区里最多的抱怨就是「我的 A100 / 3090 跑不了」。LinkedIn 上有人问 A100 能不能用,dev.to 上有文章标题直接叫「DeepInfer 跑不了你的 RTX 5090」。这个仓库同一天出来,名字就叫 DeepInfer-SM80——「官方名 + 旧卡架构代号」,谁想在老卡上跑,一搜就搜到它(现在搜「DeepInfer A100 / SM80 port」它排第一)。
HN 大帖里的一条评论。 就是开头那位 segmondy。2,355 分的帖子底下,一条「有人已经做了」加链接,对正在找这个东西的人是最精准的推荐。
矿卡玩家的 Discord 和 wiki。 2026 年 8 月 Tom's Hardware 报道「$250 的 CMP 170HX 软件解锁到 64GB 显存」之后,冒出一群用六张、八张矿卡跑大模型的人。cmp.wiki 记着,10-20 当天就有两个人(其中一个叫 @segmond,大概率就是 HN 上那位)在 Discord 里贴了这个仓库;10-30 wiki 把它整理成一页「6 张卡跑 V4.1-Flash」的配方,参数、拓扑、实测速度一条条列好。这个仓库的内核本来就是按 170HX 的 74 个 SM 调的,等于正好写给他们用。
被动收录。 10-21 一个 AI 资讯站 MindPattern 写了条简讯(当时 73 颗),LibHunt 等聚合站自动收了进去。
作者自己一条帖子都没发过:X 上搜 DeepInfer 相关讨论没有他,Reddit 上也没有专帖。前 73 颗,全靠「当天、对名、对口社区」。
后面 100 来颗:大概率是买的
11-06 那一跳,找不到任何说得通的外部原因:没有新的帖子、没有媒体报道、vLLM 上游相关讨论的最后一条是 10-20。能找到的是另一件事:
- 当天 17:01 到 17:07(UTC),6 分钟里 10 个账号 fork 了它,其中两个落在同一秒;
- 这些账号都很新,有一个是 fork 前两个半小时才注册的,多数没有关注者;
- 它们在别处 fork、star 的也是同一批库(一个 Solana 交易接口、一个营销 skills 合集、一个 SEO 工具……),同一个库最多在这批号里重复出现 9 次——典型的刷量账号网络。
时间在 v0.1.1 发布后两个半小时。GitHub 现在不对外公开每颗 star 是谁、什么时候点的,所以这层只能推断(把握大),下单的是作者还是别人也确认不了。但可以肯定一件事:199 颗里,真正由这个项目本身赢来的,大约是 90 颗。
它不是第一个,只是最会挑日子的
让老卡跑 DeepSeek V4 系列,早就有人做了:
| 项目 | 上线 | star | 和它比 |
|---|---|---|---|
| wtdcode/vllm-backport | 2026-08 | 359 | 把整个 vLLM 回移到老卡,覆盖多个模型,更通用,知乎有拆解 |
| yhfgyyf/vllm-deepseek-v4-sm89 | 2026-06 | 203 | 针对 4090(SM89)和更新的卡,不是 A100 |
| shi3z/deepseekv4.1-A100-custom | 2026-09 | 69 | 日本开发者的 A100 定制版,没写说明 |
| Tokha233/deepseek-v4.1-flash-a100-turbo | 2026-09-14 | 20 | 8×A800 的补丁加测速,和它几乎同类,早一个月 |
| haosdent/vllm 的 A100 分支 | 2025-11 | 38 | 它的底座,它的第一份补丁就是这个分支改的 |
| keplerzip/…-a100-deepinfer | 2026-10-22 | 4 | 晚两天,也挂 DeepInfer 名字 |
| IgnisNet/DeepInfer-SM80 | 2026-10-20 | 1 | 官方仓的同名 fork,只占了名字 |
(GitHub,11-08。)
Tokha233 是最好的对照:同样是 A800 补丁加测速,早一个月,20 颗。差别只在有没有赶上 DeepInfer 这个名头。反过来,晚两天、同样挂 DeepInfer 名字的 keplerzip 只有 4 颗——名头只在头一两天值钱。
另外一头,单张 3090/4090 加内存、硬盘卸载的个人路线(Xolotl 480 颗、project-maya 2,643 颗)吃的是另一群人,不跟它抢。
真正的威胁在上游:vLLM 官方 issue #57144 正在讨论把 SM8x 支持合进主干,已经有人开了分支;上游最近一次目录改名,已经让这个仓库的补丁打不上新版。合进去那天,它就只剩历史意义。
如果是你
C。 这一招能学:大厂开源只支持新硬件时,当天移植到存量最大的旧硬件,用「官方名-旧架构」命名,接住发布帖和 issue 区里的抱怨。但照这个项目的实际收成看,自然量只有九十来颗,还要有写 GPU 内核的真本事和一屋子卡;它占的这个具体位置(Ampere 跑 V4.1)早有更大的同类,上游一合就没了。
适合谁:能写 CUDA/Triton 内核、手上有旧卡或矿卡集群、本来就在某个硬件玩家圈子里的人。对你来说这是一张很好的名片——一份带 bit-exact 微基准和复现脚本的移植,比一百颗 star 更能说明你的水平。
不适合谁:想再做一个「A100 跑 DeepInfer」的(已经有七八个,窗口过了);不会写内核、只会把别人的补丁打包的(这个圈子看数字,没有硬数据的移植没人信);想靠这个攒大量 star 的(天花板就是这群用旧卡的人)。
怎么做:盯着下一次「大厂开源但只支持新卡/新芯片」的发布——推理框架、注意力内核、量化工具都算。提前把旧卡环境准备好,发布当天或第二天出一个能跑的版本;名字直接用「官方名-旧架构」;README 第一屏放对比原版的提速表、结果是否逐位一致、一行复现命令,有已知问题主动写在最上面。
怎么获客:不用自己去大平台发帖。去官方发布帖(HN、Reddit、官方仓 issue 区)里找「我的卡能不能跑」的人,直接回链接;再递给对口的硬件玩家社区(像 CMP 170HX 的 Discord 和 wiki),让他们收成配方页。别买 star——这个仓库 6 分钟 10 个新号集中 fork 的痕迹,谁都能翻出来,在一个看工程信誉的圈子里,这比少一百颗更伤。
死线:按小时算。名头只在发布后一两天值钱,晚两天就是 keplerzip 的 4 颗;上游官方补上旧卡支持,一般在几周到两个月内。
算看错:① 下一次大厂只支持新卡的发布,有人当天做出旧卡移植、带了硬数字,一个月还不到 50 颗——说明这次的 73 颗主要靠 HN 那一条评论的运气;② 反过来,有人用同样做法一周冲过 500 颗自然 star,说明这条路比这里写的宽,该升一档;③ vLLM 在一个月内合进 SM8x 支持、这个仓库停在 200 颗不动——印证「移植的价值随上游跟进归零」,做之前就该想好下一个项目。
数据与出处
- GitHub:HalfVulpes/Deepinfer-SM80 的 README、提交、issue、fork 列表;star 和 fork 每天记录(10-22 起),11-08 现查 199 颗、13 个 fork;Trendshift 314195。
- Hacker News:DeepInfer 帖(item 50163277,2,355 分);segmondy 的提问(50169103,10-20 16:43 UTC)和回复(50172784,10-20 21:15 UTC)。
- cmp.wiki:「DeepSeek V4.1 Flash on 6x 8 GB (Deepinfer-SM80 TP2 x PP3)」配方页(10-30)及 Discord 出处;Tom's Hardware 2026-08 关于 CMP 170HX 解锁的报道。
- MindPattern 10-21 简讯;vLLM issue #57144、PR #56741。
- 竞品 star 数:GitHub,11-08。
- 「测试卡是解锁的 CMP 170HX」来自 cmp.wiki 对源码注释的解读;「11-06 那一跳是刷量」是推断,依据是 fork 时间、账号注册时间和这批账号共同 fork 的库,拿不到每颗 star 的明细。
研究底稿:竞品表、获客证据、完整研究报告
- 竞品
名字 在哪 上线 规模 它和这家不同在哪 wtdcode/vllm-backport 开源 2026-08-04 359 星 / 56 fork 通用的 vLLM 老卡回移,更早、更全,但不挂 DeepInfer 名头,不专攻 1M 上下文的内核提速 yhfgyyf/vllm-deepseek-v4-sm89 开源 2026-06-16 203 星 面向 SM89(4090)和 SM120,不是 Ampere Tokha233/deepseek-v4.1-flash-a100-turbo 开源 2026-09-14 20 星 同样是 8×A800 的 vLLM SM80 patch 加 benchmark,早一个月,但没有 DeepInfer 名头和发布热度 shi3z/deepseekv4.1-A100-custom 开源 2026-09-11 69 星 A100 定制版,无说明文档 guqiong96/Lvllmds4-x 开源 2026-07-18 61 星 CPU-GPU 混合推理路线 zenglanmu / thomaslwang 的 vLLM dsv41-sm80 分支(vLLM issue #57144) 开源 2026-07 / 2026-10-20 各 5 星 目标是合回 vLLM 上游;合进去之后本仓的价值会大幅下降 haosdent/vllm dsv4-flash-a100 开源 2025-11 38 星 本仓的底座,只负责让 V4 在 A100 上能跑,不带 DeepInfer 那套优化 Xolotl / lxe/dsx / sybil dsv41-flash-offload / mw00/project-maya 开源 2026-10 480 / 95 / 155 / 2643 星 单张消费卡加内存、NVMe 卸载的个人路线,不是多卡 Ampere 服务 GPUStack「8×A100 自部署 V4.1-Flash」教程 其他 2026-10 未核实 厂商教程加产品,走现成 vLLM 路径 deepseek-ai/DeepInfer 大厂功能 2026-10-16 约 25.6K 星 官方只支持 SM100 和昇腾 950;本仓填的正是这个空档 - 用户从哪来
- 查实 蹭平台事件:DeepInfer 发布当天移植并用同名命名:10-20 13:22 UTC 建库,和 DeepInfer 正式发布同一天;搜「DeepInfer A100/SM80 port」排第一
- 查实 HN 评论:DeepInfer 帖(2355 分)里 segmondy 回复「someone already beat me to it」并附本仓链接(item 50169103)
- 查实 CMP 170HX 玩家 Discord 和 cmp.wiki:cmp.wiki 记 10-20 @reala7096、@segmond 在 Discord 贴了这个库,10-30 整理成 6 卡 recipe 页
- 查实 AI 资讯聚合:MindPattern 10-21 简讯(当时 73 星);LibHunt、Git of Anton 被动收录
- 推断 疑似刷量:11-06 17:01–17:07 UTC,10 个新号(1 个当天注册)集中 fork,两个落在同一秒;这些号共同 fork/star vybenetwork、iFixAi、niubigeo 等同一批推广库;同一天 star +86,找不到外部来源
- 推断 作者自己发 X/Reddit:x-radar 语料 0 条,Reddit 无专帖,作者无 X 账号
HalfVulpes/Deepinfer-SM80 —— 为什么能跑出来
研究日期 2026-11-08 · 渠道 github · 数据卡 gh_HalfVulpes/Deepinfer-SM80
一句话结论
DeepSeek 10-16 建库、10-20 正式发布 DeepInfer(只支持 Blackwell SM100 和昇腾 950),作者当天就把它的思路移植到 Ampere(A100/A800/3090),仓库名直接叫 DeepInfer-SM80,蹭上发布热潮。HN 大帖里一条评论、CMP 170HX 矿卡玩家的 Discord 和 cmp.wiki 帮它在两天内自然拿到约 73 星,之后两周几乎不涨。11-06 那次 +86 星的突涨,大概率是买来的:同一天 17:01–17:07 UTC,10 个新注册的刷量号在 6 分钟内集中 fork 了它,和另一批被推广的库共用同一批账号;没找到任何外部帖子能解释这一跳。
它是什么
- 两份 vLLM patch,加 30 个能直接替换的 Python/Triton/TileLang 模块。作用是把 DeepInfer 针对 Blackwell 的内核思路(tcgen05/TMEM/CuteDSL)改写成 Ampere 的 mma.sync 版本,在 vLLM V1 上跑 DeepSeek-V4.1-Flash,支持 1M 上下文和 DSpark 投机解码。(README,github.com/HalfVulpes/Deepinfer-SM80)
- README 自报的成绩:6 卡 TP2×PP3 下,16K 冷启动 prefill +20.5%,64K +24.2%,单流 decode +5.9%;几个内核微基准提速 2–22 倍,且结果 bit-exact。
- 测试硬件其实是解锁后的矿卡 CMP 170HX。README 写的是 "NVIDIA GA100 64GB (SM80, 74 SMs)",cmp.wiki 根据源码注释指出,这就是解锁到 64GB 的 CMP 170HX(https://cmp.wiki/wiki/DeepSeek_V4.1_Flash_on_6x_8_GB_(Deepinfer-SM80_TP2_x_PP3))。作者另有两个库可以对上:CMP170HX-GPU(研究 170HX 的 PCIe 解锁)和 GLM-5.3-Kernels(给 170HX 写的 GLM 内核)。所以作者本人就是矿卡改装玩家,108 SM 的正规 A100/A800 上提速会小一些(README 和 KNOWN_ISSUES 里自己写了)。
- 作者 HalfFox,GitHub 号 2020 年注册,所在地填加拿大,11 个 follower,没有 X 账号。另一个上点星的库是 RISC-V-CPU(62 星)。
增长数据
| 时间 | star | 说明 |
|---|---|---|
| 10-20 13:22 UTC | 0 | 建库,DeepInfer 官方发布当天 |
| 10-22 | 73 | 我们的 github 库第一次观测到;前两天的自然流量 |
| 10-22 → 11-05 | 73 → 93 | 两周日均约 1.4 星,基本停滞 |
| 11-06 | 94 | 14:38 UTC 发 v0.1.1(修了一个 top-k 正确性 bug),14:45 开 issue #5 公告 |
| 11-06 17:01–17:07 UTC | — | 10 个刷量号集中 fork(forks 3→13) |
| 11-07 | 164 | +70(我们的库);Trendshift 记 11-06 当天 +86 |
| 11-08 | 199 | +35 |
出处:我们的 github 库 repo_day;Trendshift(https://trendshift.io/repositories/314195);GitHub API(forks、commits、issues)。GitHub 现在把 stargazers 接口关了(REST 返回 404,GraphQL 返回空),所以拿不到每个 star 的时间戳。
用户从哪儿来(增长手段)
第一波(10-20 至 10-22,约 73 星):自然流量,蹭 DeepInfer 发布
- HN 大帖里的评论。DeepInfer 的 HN 帖(id 50163277,2355 分、892 条评论,我们的 hackernews 库)下面,segmondy 先问"有没有人想在 sm80 上跑",接着自己回复"someone already beat me to it, I'm building now",附上本仓链接(https://news.ycombinator.com/item?id=50169103)。
- CMP 170HX 玩家 Discord 和 cmp.wiki。cmp.wiki 记录 10-20 当天 @reala7096 和 @segmond 在 Discord 里贴了这个库,10-30 又把它整理成"6 卡跑 V4.1-Flash"的 recipe 页。segmond 很可能就是 HN 上的 segmondy。这群人在 2026-08 Tom's Hardware 报道"$250 的 CMP 170HX 软件解锁到 64GB"之后冒出来(https://www.tomshardware.com/pc-components/gpus/nvidia-crypto-mining-gpus-hacked-to-restore-locked-away-vram-in-order-to-feed-ai-boom-software-mod-unlocks-64gb-of-vram-on-usd250-cmp-170hx),Reddit r/LocalLLM 上也有 4×170HX 跑 V4 Flash 的帖子。
- AI 资讯聚合站。MindPattern 10-21 写了一条简讯,当时记的是 73 星(https://mindpattern.ai/e/halfvulpes)。LibHunt、Git of Anton、gitcode 镜像都是被动收录。
- 名字截住搜索。用 Jina 搜 "DeepInfer A100 / SM80 port",它排在第一个。DeepInfer 只支持 SM100 这件事被媒体反复提到(LinkedIn 上有人问"A100 能不能跑"、dev.to 有文章"DeepInfer Won't Run on Your RTX 5090"),想在旧卡上跑的人一搜就搜到它。
- 作者本人没在 X、Reddit 上发过帖。我们的 x-radar 语料里 "DeepInfer"、"Deepinfer-SM80" 都是 0 条;Reddit 上也没找到专门的帖子。
第二波(11-06 至 11-07,+86 到 +105 星):大概率是刷量
- 11-06 17:01:25 到 17:07:15 UTC,10 个账号在 6 分钟内 fork 了本仓,其中 capacity12 和 cuongliver-sys 落在同一秒(17:04:16)。这些账号的共同点:
- 注册时间很新:ronaldhcarter86 是 11-06 14:26 注册的,也就是 fork 前 2.5 小时;sahiba55ok-hash 11-01 注册,sajalshah30-cmd 10-30 注册;多数没有 follower。
- 在别处 fork、star 的也是同一批库:vybenetwork/solana-swap-api、solana-mcp-vybe、ifixai-ai/iFixAi、Albert-Weasker/niubigeo、irinabuht12-oss/marketing-skills、Ryze-AI-Adgent/open-seo-mcp-skills、yi1108/printfilm 等,重复出现最多的有 9 次。这是典型的刷量号网络。
- 时间点在 v0.1.1 发布 2.5 小时之后。同一天找不到任何外部帖子、媒体报道或 vLLM 上游的动静能解释这一跳。vLLM issue #57144(SM8x 支持)最后一条评论是 10-20,和这次突涨无关。
- 结论:这一波高度怀疑是买的 star 和 fork。下单的是作者本人还是第三方,确认不了(拿不到 stargazer 明细;这几个号的公开 starred 列表里也没有本仓,说明 star 和 fork 可能来自两批不同的账号)。召回理由里"HN 新帖带来的精准曝光"站不住:HN 那条评论是 10-20 的,带来的是第一波。
竞品(同一件事:让 DeepSeek-V4/V4.1-Flash 跑在 Ampere 等旧卡上)
| 名称 | 在哪 | 上线 | 规模 | 和它不同在哪 |
|---|---|---|---|---|
| wtdcode/vllm-backport | 开源 | 2026-08-04 | 359 星 / 56 fork | 把整个 vLLM 回移到老卡上,覆盖多个模型。知乎有拆解文章,vLLM issue 里被推荐。更通用,但不带 DeepInfer 的名头,也不专攻 1M 上下文的优化 |
| yhfgyyf/vllm-deepseek-v4-sm89 | 开源 | 2026-06-16 | 203 星 / 28 fork | 目标是 SM89(4090)和 SM120,不是 SM80 |
| guqiong96/Lvllmds4-x | 开源 | 2026-07-18 | 61 星 | 从上面那个 fork 出来,做 CPU-GPU 混合推理,支持 SM80+ |
| shi3z/deepseekv4.1-A100-custom | 开源 | 2026-09-11 | 69 星 | 日本开发者的 A100 定制版,没写说明 |
| Tokha233/deepseek-v4.1-flash-a100-turbo | 开源 | 2026-09-14 | 20 星 | 8×A800 的 vLLM SM80 patch 加 benchmark,和本仓几乎同类,早一个月,但没赶上 DeepInfer 这个名头 |
| haosdent/vllm(dsv4-flash-a100 分支) | 开源 | 2025-11 | 38 星 | 本仓的上游底座(本仓的 00 patch 就是它的 rebase) |
| zenglanmu/vllm dsv41-sm80、thomaslwang/vllm dsv41-ampere | 开源分支 | 2026-07 / 10-20 | 各 5 星 | 走 vLLM 上游 issue #57144,打算合回主干;一旦合进去,本仓的意义就小了 |
| keplerzip/deepseek-v4.1-flash-1017-a100-deepinfer | 开源 | 2026-10-22 | 4 星 | 晚两天出来,也用 "deepinfer" 命名的 A100 方案 |
| GPUStack 官方博客"在 8 张 A100 上自部署 V4.1-Flash" | 其他(厂商教程) | 2026-10 | 未核实 | 教程加 GPUStack 产品,用的是现成 vLLM 路径 |
| Xolotl / sybil dsv41-flash-offload / lxe/dsx / mw00/project-maya | 开源 | 2026-10 | 480 / 155 / 95 / 2643 星 | 消费卡加内存、NVMe 卸载路线,面向单张 3090/4090 的个人用户,不是多卡 Ampere 服务 |
| deepseek-ai/DeepInfer 本体 | 大厂开源 | 2026-10-16 | 25,6xx 星 | 只支持 SM100 和昇腾 950;社区 SM90/H20 的移植都以 PR 或 issue 的形式提在官方仓里(#92、#148、#180、#235) |
| SGLang / vLLM 官方 | 开源 | 持续 | 极大 | vLLM 的 V4.1 跟踪 issue 只验证了 H200/GB200/MI350X,SM8x 还没合进主干 |
结论:Ampere 跑 V4.1-Flash 并不是空白,vllm-backport、Tokha233 都更早。本仓在"能不能跑"上没有独占性,它多出来的是 DeepInfer 这个名头、发布当天就出来、对着 baseline 的提速数字。
差异化
- 名字和时机。DeepInfer 发布当天(10-20)就出来,名字挂着 DeepInfer,首页第一句就是"把只支持 Blackwell 的 DeepInfer 搬到 A100/3090"。官方只支持 SM100 正是社区里最多人抱怨的地方,它正好接住了这股不满。
- 有可复现的硬数字。端到端 prefill +20–24%,内核 bit-exact 的微基准,6 卡 / 8 卡两种拓扑的对比,TP2×PP3 和 PP6 的分析。有外部贡献者 Louie0806 在 A800-80GB 上独立复跑(PR #3),作者也会主动公布 known issue(v0.1.1)。工程上可信度比较高。
- 专门为 74 SM 的 170HX 调过。正好命中"$250 矿卡解锁到 64GB"这批玩家:他们手上是 6 或 8 张 170HX,正需要多卡、1M 上下文的方案。cmp.wiki 把它收成了 recipe。
这几点是第一波 73 星的原因(名头加时机为主,硬数字决定它被认真对待)。199 星里大约一半来自 11-06 那一波疑似刷量,和差异化无关。
可见度
小圈子里在传:一条 HN 评论、CMP Discord 加 cmp.wiki 的 recipe、MindPattern 简讯,没有媒体报道,作者也没有社交媒体。开源项目,没有收入。
跟风者
- IgnisNet/DeepInfer-SM80:10-20 建的,是 DeepInfer 官方仓的同名 fork,只占了名字,1 星。
- keplerzip/deepseek-v4.1-flash-1017-a100-deepinfer:10-22 建的,同样挂 "deepinfer" 名头的 A100 方案,4 星。
- gitcode 镜像 cq_gc/Deepinfer-SM80(AtomGit,约 11-05)。
- 更大的格局是:DeepInfer 一发布,马上冒出一批"移植到 X 卡"的项目:kabishou11/deepinfer-hopper,DeepInfer 官方仓里的多个 SM90/H20 PR,以及 deepinfer-unpacked、mini-deepinfer、nanovllm2deepinfer 这类解读和学习用的库。
别人能借鉴的
- 大厂开源只支持新硬件时,当天移植到存量最大的旧硬件,仓库名直接用"官方名-旧架构",能接住官方仓的搜索流量和 issue 区里的诉求。
- 到对口的硬件玩家社区(这里是 CMP 170HX 的 Discord 和 wiki)去冷启动,比去大平台发帖更精准。
- README 里写"对 baseline 的提速 + bit-exact + 复现脚本 + 公开 known issue",这在推理圈子里是建立可信度的标准做法。
- 反面教材:自然流量平台期过后再买 star,刷量号会在 fork 时间上留下非常明显的痕迹(6 分钟、同一秒、新注册号)。
还不确定的
- 11-06 那次 star 突涨的具体来源(拿不到 stargazer 明细),以及下单的是谁。
- 第一波 73 星里,HN、Discord、MindPattern 各占多少。
- 真实使用量:issue 只有 5 个(作者自己开了 1 个),外部 PR 1 个,有人问有没有 Docker 镜像;多少 170HX 或 A100 用户真的在跑,不清楚。
- 窗口还能开多久:vLLM 上游的 PR #56741 已经改了目录名,本仓的 patch 打不上新版主干;SM8x 支持一旦合回 vLLM,本仓的价值就会下降。