只给 50 系显卡用的分叉,一个月拿了 690 星:Basalt 怎么借 Strata 的流量起来的

一个之前没做过知名项目的开发者,花一周时间把当时最火的本地推理引擎 Strata 分叉出来,砍掉 AMD、Intel 和老 N 卡的支持,只为 RTX 50 系重写 kernel,在同一份权重上跑出了 Strata 1.3–2.6 倍的速度。下面讲它怎么拿到星,这套打法哪部分你能照着做,哪个位置已经有人占了。

一个周六凌晨的 Reddit 帖子

2026 年 10 月 10 日凌晨(UTC 00:58),用户 jesdga95 在 r/LocalLLaMA 发帖,标题是一串数字:《Basalt: Flash-Next at 665 tok/s structured, 354 prose on a 5090 + 5060 Ti (2.6x Strata)》。正文第一句:「过去一周,我一直在做一个 Strata 的分叉,调得很狠,在同样的权重上吞吐最高能到 Strata 的 2.6 倍。」

他的机器是一张 5090 加一张 5060 Ti,9950X,32GB 内存。帖子后半段是自问自答,预先把几种质疑都答了:

• 「为什么不直接给 Strata 提 PR?」——这不是一个能合进去的功能,它重写了大部分解码 kernel,还去掉了非 Blackwell 显卡的支持。关键发现会推回上游。
• 「能支持我的 AMD 显卡吗?」——送我一张就支持。
• 「这是 vibe coding 写出来的垃圾。」——「是的,但它是快的垃圾。现在已经没人手写 CUDA kernel 了。」

这条帖子拿到 79 赞、134 条评论(据搜索摘要;Reddit 原帖正文打不开),之后被 prismix、devotd、agihunt 等几家 AI 新闻聚合站转写。GitHub 仓库是 10 月 6 日晚上建的,发帖时才 4 天。

它是什么

Basalt 是个本地推理引擎,用 C++/CUDA 写,专门跑 Qwen3.8-Flash-Next,一个总参 125B、每次只激活 6B 的 MoE 模型;11 月起加了 DeepSeek-V4.1-Flash。显存放不下的专家权重放进内存,第二张卡可以分担一部分专家。它提供 OpenAI / Anthropic 兼容接口,自带一个看吞吐的网页面板,只支持 Linux。权重重新打包成单个 .basalt 文件,放在 Hugging Face 上。

README 的致谢里写得很直白:「Strata:Basalt 分叉的项目(MIT)」。它没打算假装从零做起。

星是怎么涨起来的

GitHub 星数(10-17 起逐日记录):

近 7 天涨了 326,前 7 天是 179,每周都比上周快。86 个 fork 相对 628 星偏高,原因下面会说。

推着它涨的有四股力量:

一是 Strata 的流量。 Strata 9 月 24 日建库,到 11 月初已经 4 万多星,同期每周还在涨四五千。Qwen3.8-Flash-Next 是现在本地圈最热的模型,一大批 5090 用户涌进来,想把手里的卡用满。Basalt 的标题直接拿「2.6x Strata」做对比,等于站在 Strata 的人流里吆喝。

二是有第三方复现。 10 月 15 日,helix.ml 在两张 RTX PRO 6000 上测:单请求生成 229 tok/s,大约是 vLLM + NVIDIA NVFP4 的 3 倍(75.8),也比加了多 token 预测的 vLLM(130)快 1.8 倍。Fabio Akita 的开源跑分仓库在 5090 上测出它比 Strata 快 1.3–1.5 倍。他之前写过一篇很火的 Strata 文章。速度数字不只是作者自己报的,所以 LocalLLaMA 的读者信。

三是作者每发一个版本就发一帖。 10 月中有视觉支持的帖子和与 ninfer-ext 的对比帖(34 赞、67 评),11 月 3 日发 0.2.0,11 月 4 日在 issue 里宣布支持多模型。11-03 和 11-06 两天单日涨星 +50、+81,都在发帖之后。一个月里提交了 2,194 次 commit。

四是一个让用户提 PR 的跑分榜。 跑一条 basalt-bench --community,结果会写进仓库里的 benchmarks.json,用户提 PR 就能上项目主页的榜,现在已经有 45 行。最近 40 个 issue / PR 里大约四分之一是「我的 5070 Ti / 5080 / 5060 Ti 跑分」。要提 PR 就得先 fork,所以 fork 比偏高,有一部分是这个流程造出来的。用户想晒自己的卡,晒的过程本身就在给项目做曝光。

再加上用户自发写的安利帖。一位用户发《Basalt Appreciation Post! Do you have Blackwell and like being happy?》,开头是「我刚买了 5060 Ti 16GB,内存只有可怜的 32GB……」。这类帖子把受众从 5090 用户扩到了整个 50 系。

代价是什么

速度是靠砍东西换来的,作者和第三方都没回避:

• 只支持 Blackwell(RTX 50 系、RTX PRO 6000),只支持 Linux,要自己编译,没有一键安装。
• helix 的测试里,读一个 18.7 万 token 的长 prompt 用了 37.1 秒,vLLM 只要 16.5 秒;4 个请求同时跑,总吞吐 170.8 tok/s,不如 vLLM 的 227.7(helix 那次是单槽位串行处理;作者首发帖里说支持最多 8 路并发)。
• Hugging Face 上的下载数只显示 20,.basalt 自定义文件大概率没被计入,所以真实使用量看不出来。

星数的天花板也被硬件卡住了:只有 50 系和 RTX PRO 用户用得上。它不会长成 Strata,到现在也不是这个赛道里星最多的。

谁在跟它抢

10 月初那一周,围着 Strata 和 NInfer 冒出了一串分叉:

能看出来:「Blackwell 上最快」这个位置 Basalt 已经占了,Infernix 在后面抄它;AMD 和 Mac 两条线也各有两个项目。这条赛道 10 月就挤了,不是空地。

另外,X、Hacker News 和主流科技媒体上都没查到它的讨论。它的名气基本只在 r/LocalLLaMA 和 r/LocalLLM 这两个圈子里。

能学什么

这套打法比这个项目本身更值钱:

1. 在爆款项目的上升期做「专精分叉」。 上游为了兼容所有人,做不了极致;你只服务一类硬件或一类人,把上游做不了的那部分做到头。分叉存在的理由,就是上游合不进去。
2. 标题写倍数,数字可复现。 「2.6x Strata」比任何形容词都有用;再争取一两个独立第三方测一遍。
3. 先回答「为什么不提 PR 给上游」。 不答,评论区第一条就是「抢功劳」。
4. 让用户上榜。 跑分榜收 PR,用户想晒自己的卡,晒的过程就是你的 fork、PR 和曝光。
5. 每个版本都发一帖。 每次发帖第二天都在涨星。

如果是你

判断:B。可以试,但别照抄这一个,要抄它的打法。 「Blackwell × Qwen3.8-Flash-Next」已经被 Basalt 占住,后面还有 Infernix;再做一个只会是第三名。真正能复制的是「在热门项目刚爆的头两三周,给某一类被上游照顾不到的用户做一个极致分叉」。

适合谁: 能写 CUDA / Metal / ROCm kernel 的,或者至少能靠 AI 改 kernel、自己做跑分对比的开发者;手里有目标硬件,能自己测。Basalt 的作者就是拿自己桌上那两张卡起步的。

不适合谁: 没有底层性能功底、也拿不出可复现速度数字的(这一类项目全靠数字说话);手里没有目标硬件的(作者对 AMD 用户的回答是「送我一张」,测不了就不能支持)。

怎么做: 两条路。一是换硬件:Basalt 不碰 RTX 30 / 40 系,手里有 3090、4090 的人很多,一个「只为 Ampere / Ada 调到头」的同类分叉值得先搜一遍有没有人做(推断,未核实是否空着)。二是等下一个爆款:下一个像 Strata 这样两周破万星的推理或 agent 项目出现时,48 小时内判断它哪一类用户被照顾得最差,一周内拿出带倍数的跑分。

怎么获客: 照 Basalt 来:r/LocalLLaMA 发首帖,标题写「N 倍于 X」加硬件型号;正文自问自答「为什么不提 PR 给上游」;第一周主动请一两个写跑分的博主测;仓库里放一条命令就能生成跑分、提 PR 上榜。

什么时候之前: 窗口跟着模型走。Qwen3.8-Flash-Next 还热的时候,做它的硬件专精版还有人看;等下一代模型出来、Strata 的周涨星掉到几百,这一轮就过去了。下一轮的窗口是「爆款项目建库后两到三周」。

什么情况说明看错了: ① Strata 自己合进了针对 50 系的 kernel,速度差距缩到 1.2 倍以内,分叉存在的理由就没了;② Basalt 在 Qwen3.8 热度消退后星数停涨(周涨跌到 50 以下),说明专精分叉的星只是借来的,跟着上游一起退;③ 有人做了「Ampere / Ada 专精版」并发了带倍数的帖子,却拿不到 Basalt 一半的反响,说明这次靠的是 50 系新卡用户的热情,换硬件复制不了。