什么值得做
GitHub 开源项目 · 11-6 写
Wallawalla47/Infernix · Wallawalla47

一张 5090、一台 Windows 游戏机、一张跑分表:Infernix 怎么在推理引擎混战里拿到 274 star

它是什么 一个开源的 C++/CUDA 推理引擎,专门让一张 RTX 5090 在 Windows 上跑 125B 的 Qwen3.8-Flash-Next,专家权重放在内存里。

为什么火了 Strata 把「单卡跑百 B 模型」做火之后,大家都在找 5090 上最快的那个;Infernix 标题直接对标 Strata,主打精度不打折和 Windows 免安装,有第三方复测后选它当主力,竞品作者的横评也把它列进第一档。

C你可以怎么跟 别再做一个 Flash-Next 引擎;等下一个模型(比如 Qwen 4)出来,抢做没人认真服务的硬件(Mac、AMD、老卡组合)上的专用引擎,或者做一个跨引擎的质量评测工具,照它的路数用对比跑分加第三方复测在 Reddit 起量。

C 级:打法清楚、能学,但 5090 跑 Flash-Next 这块一个月里已有六七个引擎,Infernix 自己也只拿到 274 star,增速还不如 Basalt;要拿到大量 star 得在新模型发布的头几周当第一个,门槛是内核功底和高端硬件。 小圈子里在传
数据(每天更新) · 建库 2026-10-08 · 280 星 · 7 天 +112
GitHub · 星数
010020030010-1010-1710-2411-0111-08280
数据 2026-10-10 → 2026-11-08(30 天,30 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有

10 月 10 日,一个叫 zipzak 的 Reddit 用户花了一整天,在自己的 RTX 5090 加 192GB 内存的 Windows 机器上,把同一个模型分别放进 Strata 和 Infernix 两个推理引擎里跑。他在 r/LocalLLaMA 上写:「我被 Strata 惊到了,后来看到有人发 Infernix,说法挺夸张,好像也没多少人知道」,于是自己测了一遍。结论一句话:「Infernix NVFP4 is the daily driver」,以后主力用它,Strata 当备用。那几天 Infernix 的 star 从 54 涨到 98。它是一个业余开发者用 AI 写出来的专用引擎,只服务一个模型、一种显卡。下面说清楚:它是什么、star 从哪来、谁在跟它挤,以及你想靠类似的项目拿 star,还剩多少空间。

它是什么:只为一张卡、一个模型写的引擎

Infernix 是一个 C++/CUDA 推理引擎,只做一件事:在一张 RTX 5090 上跑 Qwen3.8,尤其是 Qwen3.8-Flash-Next。这是个 125B 总参数、每次只激活 6B 的 MoE 模型,专家权重放不进 32GB 显存,就卸载到内存里按需调用。它 10 月 8 日从另一个开源引擎 NInfer fork 出来,在上面加了 Flash-Next 的专家卸载、前缀缓存和 Windows 原生支持。

README 第一段就是一条「AI 免责声明」:fork 之后加的代码,连同大部分 README,基本都是 Claude Opus 5.5 和跑在 Infernix 自己身上的 Qwen3.8-27B 写的,「很可能既不完整也不完全准确,这是业余开发」。作者的 GitHub 账号 2019 年注册,只有这一个公开仓库,2 个 follower。仓库底部挂了 GitHub Sponsors,理由是「帮我付 Claude Code 的订阅费」。

截至 11-06:274 star、37 fork,约 1,939 次提交,当天还有好几次。

为什么是现在:一个模型带出来的一整个品类

起点不是 Infernix,是 Qwen3.8-Flash-Next 和 Strata。这个模型让「一张消费级显卡加一大条内存,跑百 B 级模型」第一次可行。10 月 4 日,Hacker News 上一条「在 RTX 4090 上以 100 tok/s 跑 Qwen 3.8 Flash Next(125B)」拿到 940 分、420 条评论,链的就是 Strata。到 11-06,Strata 有 4 万多 star,近 7 天还在涨 4,500 多。

之后整个 LocalLLaMA 都在问同一个问题:我这张 5090 上哪个最快?一篇 9 月 30 日的博客给这类东西起了个名字,叫「过拟合推理引擎」:只针对一两个模型和一类硬件,在这个小圈子里赢过 llama.cpp 这样的通用工具。有 AI 写代码,做一个专用引擎从几个月缩到几周。于是一个月里冒出了六七个:Strata 的各种 fork、Basalt、PolyStrata、capy-flash、Maya、Colibri……11 月 4 日 r/LocalLLaMA 上甚至有人发帖叫「Keeping up with new inference engines」,意思是新引擎多到跟不上了。

Infernix 没发明这个品类。它是在 Strata 带出来的需求里,找了个别人没占的角落。

star 是怎么来的:每一波都对得上一条 Reddit 帖

日期发生了什么star
10-08/09作者在 r/LocalLLM 发「Introducing Infernix - much faster than Strata on a 5090!」,标题直接拿 Strata 当靶子刚起步
10-10zipzak 的 A/B 长帖:262K 上下文下 Infernix decode 比 Strata 快 23%,512K 上下文、视觉都能用,质量统计上打平;Strata 冷启动约 1 分钟,Infernix 约 28 秒10-10 54 → 10-13 98
10-23/24竞品 Basalt 的作者自己发七引擎横评,结论是「Basalt 和 Infernix 领先其余」每天 +3~5
11-01作者发「Infernix - New Release!」:新权重、DFlash2 投机解码、--spec auto 自动调参、--lossless 逐位精确模式,还有一个类似 LM Studio 的网页启动器,Windows 上双击 exe 就能用168
11-02r/LocalLLaMA 有人发帖问:Basalt、Infernix、Strata 之间到底有没有质量损失的对比?177
11-03单日 +68,开库以来最多的一天245
11-06X 上 @TeksEdge 发「一张 RTX 5090 据说跑到 390 tps……全新的 Infernix」268~274

(star 数是每天抓取的;11-03 那一波具体来自哪条帖子,没法逐个 star 归因,是按时间对上的,推断。)

能看出三件事。第一,最值钱的不是作者自己发的帖,是第三方帮它跑的分。zipzak 那条帖被德语、日语、中文的 AI 新闻聚合站翻译转载了一圈,首波增长几乎全靠它。第二,竞争对手也在替它背书。Basalt 作者做横评时把它列进第一档,11-01 的发布帖下面,Basalt 维护者虽然质疑「首 token 快 5~8 倍」这个说法跟自己测的对不上,也公开肯定了启动器和 bit-exact 模式。第三,「精度」这个话题正好在 11-02 被社区自己提了出来,而这恰恰是 Infernix 从第一天就在讲的东西。

另外两个入口不太显眼,但量不小:

  • HuggingFace 上的权重。 作者从 9 月中旬起就在 HF 发自己转好格式的 Qwen3.8 量化权重,一共 15 个,其中包括去审查(uncensored)版本。下载最多的 27B-Uncensored 近 30 天有 9,758 次,远多于 GitHub star。每张模型卡都指回 Infernix。
  • Windows 免安装包。 不用装 CUDA Toolkit,下载解压就能跑,三个版本的 Release 累计下载约 1,400 次。Basalt 只做 Linux;Strata 也能在 Windows 上跑,但 Infernix 把 Windows 当头等用户。zipzak 那条帖里最惊讶的一句,就是「这两个居然都能在 Windows 上跑,而且装起来不算痛苦」。

没看到广告、达人或媒体报道。

它凭什么在一堆引擎里被看见

站在别人的热度上。 标题写「比 Strata 快」,README 里每张表都把 Strata、Basalt 列成对照组。用户本来在搜 Strata,横向比的时候自然会碰到它。README 最后还专门感谢了 Strata 的作者,说正是他「定下了单卡跑 Flash-Next 的标杆」。

跑分写得像论文,还主动认输。 README 第一屏就是成表的首 token、decode、agentic 回放数据,测试条件写到 PCIe 是 Gen5 x8、内存预算统一 84GiB。输的格子也照写:在 IQ3_S 量化上,Basalt 整体更快(4.4 分钟对 5.5 分钟),decode 也快 1.4~1.7 倍。在 LocalLLaMA,这种肯认输的表最容易被当真,也最容易引来别人复测。

占一个别人不想占的位置。 别的引擎拿精度换速度:8-bit 激活、跳过一部分专家、用 2-bit 的输出头做粗筛。Infernix 默认一样都不做,激活精度跟模型原始权重一致,还加了一个逐位精确的 --lossless 模式,专门留给人做质量对照。想要速度的,它也给了开关(--a8-activations、--expert-tail-skip)。再加上为 agent 编程做的前缀缓存,多轮对话第一个 token 回来更快:作者自测的 agentic 回放里,总耗时比 Strata 少 56%,比 Basalt 少 36%。它还兼容 Claude Code、Codex 这些工具发的请求格式。

真有人在折腾。 issue 和 PR 已经编到 #59,很多是用户自己贴的跑分,还有外部提交的 serve 模式、podman、Linux 跑分。37 个 fork 对 274 个 star,比例偏高,说明不只是随手点个赞。

它没做好的地方

量级小。Infernix 274 star,Strata 4 万多,差了两个数量级;同期起步的 Basalt 690 star,近 7 天涨 326,Infernix 只涨 107。它只在 r/LocalLLaMA 这个小圈子里出了名,没上过 HN,也没有主流媒体写过。

差异化窄,也容易被抄。精度这张牌,Basalt 维护者在评论区就回应了:可以出一个 Q8 稠密层的构建。作者自己的跑分有争议,还没有独立评测。最大的不确定是模型本身:作者在发布帖里说「Qwen 4 一出就支持」,可专为 Qwen3.8 过拟合出来的东西,换一代模型要改多少,外面看不出来。

谁在挤这条路

项目规模(11-06)和 Infernix 的区别
Strata40,874 star,近 7 天 +4,588;HN 940 分品类开创者,一键安装,12GB 以上的 RTX 卡都能跑,支持 GGUF
Basalt690 star,近 7 天 +326面向 Linux 和 Blackwell,decode 最快,靠降精度换速度;作者亲自做横评
NInfer3,269 starInfernix 的上游,支持多个模型和显卡
PolyStrata863 star,近 7 天 +220Strata 系衍生
strata-nvfp4224 starStrata 的 NVFP4 fork,20 到 50 系卡、12GB 起;跟 Infernix 一样走「fork 热门引擎再专门化」
capy-flash、ninfer-ext、Maya、Colibri未核实10 月新出的,在横评和讨论帖里被点名
llama.cpp、Ollama、LM Studio很大通用工具,在这个模型上慢;Basalt 的横评里,200K 上下文时 llama.cpp 首 token 要 162.86 秒,Basalt 23.79 秒

「5090 上跑 Flash-Next」这块地方,一个月里已经站满了人。

如果是你

一句话判断: 照着 Infernix 再做一个 Flash-Next 引擎,没意思。值得学的是它的打法:新模型一出,抢做「这个模型 × 这块卡」的专用工具,拿最火的那家当标尺写跑分。但它自己也只换来几百个 star。

适合谁: 懂 CUDA 或 Metal、ROCm 内核,手上真有对应硬件,愿意天天泡在 LocalLLaMA 的开发者。Infernix 的作者说明,有 AI 写代码,一个业余的人也能在几周里做出被竞品作者列进第一档的引擎。但前提是你能看懂、能测、能判断 AI 写出来的内核对不对。

不适合谁: 没有高端显卡的(5090 加 96~192GB 内存才是这群用户的标配,没机器就没法跑分,跑分就是这一行的全部说服力);想要上千 star 的(这个位置的天花板就是几百,上千要靠当第一个,像 Strata 那样);不想跟着模型更新一直追的。

怎么做:

  • 换硬件。 现在这几个引擎全围着 NVIDIA 转,5090 是主战场。苹果 M 系列大内存的 Mac、AMD 显卡、3090 双卡这类老卡组合,都是没被认真服务的人群(推断;3090 双卡、5080、12GB 笔记本卡上已经有人在发补丁帖,说明有需求)。
  • 抢下一个模型。 最大的窗口是 Qwen 4。谁第一个在一张常见消费卡上把它跑快,谁就是下一个 Strata。Infernix 的位置是从 Strata 的热度里分出来的;你要么当第一个,要么准备好当分到几百 star 的那个。
  • 做它没做好的那块。 社区 11-02 在问的「这些引擎到底掉了多少质量」,至今没人给出独立答案。一个跨引擎的质量和速度评测工具,或者一个能管住所有引擎的启动器,不用跟它们拼内核(推断)。

怎么获客: 照 Infernix 的路数来:Reddit 首发帖标题直接点最火那家的名字;README 第一屏放可复现的对比表,输的格子也写上;主动邀请手上有机器的人来复测,第三方的一条长帖比你自己发十条都管用。HuggingFace 上发好转换后的权重,模型卡链回仓库。给 Windows 用户做一个免安装包和一个图形启动器。

什么时候之前: 窗口跟着模型走。Qwen3.8-Flash-Next 这一波已经挤满了,下一个窗口是 Qwen 4 发布后的头两到三周(推断,依据是 Strata 发布 10 天就上了 HN 首页、一个月里冒出六七个对手)。

什么情况说明看错了: ① Qwen 4 出来后,llama.cpp 或 Ollama 头两周就把速度追平了专用引擎——「过拟合引擎」这个品类就只是一次性的; ② Strata、Basalt 换代时直接支持了新模型,没给后来者留空档——位置被先到的人锁住了; ③ 反过来:Infernix 在 Qwen 4 上第一个跑出来,star 跳到几千——那说明在这一行,「精度不打折」本身就能当一块招牌,值得重新看。

---

数据与出处:GitHub 仓库页、README、Releases 和 issues(11-06);逐日 star 为每天抓取(10-10 起);r/LocalLLaMA、r/LocalLLM 上 u/zipzak(10-10)、u/jesdga95(10-23/24)、作者 u/Suspicious-Mark-5450(11-01)的帖子,原帖经 equalexperts AI Wiki、Lumeric、KBlip、zgaiagent 等转载读取;Hacker News Strata 帖(10-04);carteakey.dev《The Rise of Overfit Inference Engines》(9-30);HuggingFace wallawalla47 主页(下载数为近 30 天);X 上 @TeksEdge 的帖子(11-06)。跑分均为作者或竞品作者自测,未经独立评测;引擎的真实使用人数未公开。

GitHub 仓库 ↗

研究底稿:竞品表、获客证据、完整研究报告
竞品
名字在哪上线规模它和这家不同在哪
Niko1221/Strata开源2026-09-2440,874 star,7 天 +4,588;HN 940 分一键安装、12GB 以上 RTX 卡都能跑、GGUF 量化、品类开创者;Infernix 只支持 5090,强调首 token 更快、精度不打折
jesdga95/basalt开源2026-10-06690 star,7 天 +326Linux / Blackwell,decode 最快但用 6/8/2-bit 降精度;Infernix 保持 checkpoint 精度,有 Windows 原生和启动器
Neroued/ninfer开源2026-06-263,269 starInfernix 的上游,支持多模型多卡;Infernix 加了 Flash-Next 专家卸载、混合前缀缓存和 Windows 支持
sergqwer/strata-nvfp4开源2026-09-29224 starStrata 的 NVFP4 fork,支持 12GB 以上的 20 到 50 系卡;Infernix 专攻 5090 和精度
simplexai-labs/PolyStrata开源2026-10-06863 star,7 天 +220Strata 系衍生(未细查)
llama.cpp / Ollama / LM Studio开源早已存在大通用 runtime,在这个模型上更慢(横评里 llama.cpp 200K 上下文首 token 162.86 s,Basalt 23.79 s);Infernix 是为单模型过拟合的专用引擎
用户从哪来
  • 查实 Reddit r/LocalLLM 首发帖(标题蹭 Strata):「Introducing Infernix - much faster than Strata on a 5090!」,约 10-08/09(Jina 搜索结果)
  • 查实 Reddit 第三方复测帖:u/zipzak 10-10 在 r/LocalLLaMA 发 Strata vs Infernix A/B,结论是把 Infernix 当主力;对应 10-10 到 10-13 star 从 54 涨到 98
  • 查实 竞品作者的横评背书:Basalt 作者 10-23/24 发七引擎横评,把 Basalt 和 Infernix 列为第一档
  • 查实 Reddit 发布帖 + 精度讨论帖:11-01「Infernix - New Release!」(启动器、新权重);11-02 质量退化讨论帖;11-03 star +68
  • 查实 AI 新闻聚合站自动转载:Lumeric、gffnews、zgaiagent、AGI Hunt、PulseAugur、kamol 等转载并翻译
  • 查实 HuggingFace 权重(含 uncensored 版)引流:15 个模型;27B-Uncensored 9,758 次下载、27B-NVFP4 7,355 次,模型卡指回 Infernix
  • 查实 X:@TeksEdge 11-06 的 390 tps 帖;发生在跳涨之后

Wallawalla47/Infernix 为什么能跑出来

一句话:Qwen3.8-Flash-Next(125B MoE)开源后,出现一波「只服务一个模型、一种显卡」的专用推理引擎。Infernix 是其中专做「单张 RTX 5090 + Windows 原生」的那个,用和 Strata、Basalt 逐项对比的 benchmark 帖在 r/LocalLLaMA 拿到关注。它的 star 是 Strata(4 万)这场热度溢出来的,量级小(274),而且对手 Basalt 涨得比它快。

1. 基本数据

项数值来源
建库2026-10-08(fork 自 Neroued/ninfer)GitHub API
Star / Fork274 / 37(2026-11-06 查);数据卡 268 / 37GitHub API;github 库 repo_day
近 7 天+107(前 7 天 +29);11-03 一天 +68(177→245)github 库 repo_day
曲线10-10 54 → 10-13 98(首发那波)→ 之后每天 +3~5 → 11-03 跳涨 → 回到每天 +4~12github 库 repo_day
Release 下载windows-2026.11.01 有 420 次,10.18 有 612 次,10.11 有 238 次(资产下载次数之和)GitHub releases API
HF 模型(作者自己转的权重)15 个;下载最多的是 NInferV3 时期的 Qwen3.8-27B-Uncensored-NVFP4(9,758)和 27B-NVIDIA-NVFP4(7,355);Flash-Next 的 IQ3_S 版 1,214,Dense8 版 534HuggingFace API(下载数是 HF 的近 30 天口径)
社区issue / PR 到 #59,大量外部 PR(serve、Claude Code 兼容、podman、Linux 跑分)GitHub issues
作者GitHub 账号 2019 年注册,2 个 follower,只有这 1 个公开库;Reddit 账号 u/Suspicious-Mark-5450GitHub API;Reddit 帖转载

README 开头就写了「AI 免责声明」:fork 以后加的代码基本是 Claude Opus 5.5 和跑在 Infernix 上的 Qwen3.8-27B 写的,属于业余开发。2026-11-06 一天就有多次提交,当前约 1,939 个 commit(GitHub 页面)。

2. 竞品:同一件事谁在做

背景是 Qwen3.8-Flash-Next(125B 总参数、6B 激活)。从 2026-09 下旬起,「在消费级显卡上跑它」变成 LocalLLaMA 的头号话题:HN 2026-10-04 有一条 940 分、420 评论的「Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s」,链到 Strata(hackernews 库)。carteakey.dev 2026-09-30 的文章《The Rise of Overfit Inference Engines》把这类东西叫「过拟合推理引擎」:只针对少数几个模型和一类硬件,在自己的小圈子里赢过通用 runtime;靠 AI 写代码,做一个专用 runtime 的成本从几个月降到几周。

竞品形态上线规模(2026-11-06)和 Infernix 的区别
Niko1221/Strata开源2026-09-2440,874 star,7 天 +4,588一键安装,12GB 以上的 RTX 卡都能跑,带 GGUF 量化,上过 HN 首页;Infernix 只支持 5090,强调第一个 token 来得更早、精度不打折
jesdga95/basalt开源2026-10-06690 star,7 天 +326面向 Linux / Blackwell,decode 最快,但靠更低精度换速度(6-bit 稠密层、8-bit 激活、2-bit 输出头筛选);作者自己发了七引擎横评。Infernix 拿「激活精度跟 checkpoint 一致」跟它对打
Neroued/ninfer开源(上游)2026-06-263,269 starInfernix 的母体,支持多个模型和显卡;Infernix 在它上面加了 Flash-Next 专家卸载、前缀缓存和 Windows 支持
sergqwer/strata-nvfp4开源(Strata fork)2026-09-29224 starNVFP4 版 Strata,支持 20 到 50 系卡、12GB 起;同样走「fork 一个热门引擎再专门化」的路
simplexai-labs/PolyStrata开源2026-10-06863 star,7 天 +220也是从 Strata 系衍生出来的(未细查)
capy-flash、ninfer-ext、Maya、Colibri开源2026-10未核实在 Basalt 的横评和 Reddit 帖「Keeping up with new inference engines」(2026-11-04)里被点名
llama.cpp / Ollama / LM Studio开源 / 桌面早已存在大通用;横评里 llama.cpp 不开 MTP,200K 上下文的第一个 token 要 162.86 s,Basalt 是 23.79 s(Basalt 作者的横评,经 Lumeric 转述)
vLLM / SGLang、DGX Spark 方案开源早已存在大面向服务器和多卡;Infernix 面向单张消费卡

结论:这个赛道很挤,也没有护城河。至少六七个专用引擎在同一个月出现。Infernix 没有发明这个品类,它在 Strata 和 Basalt 中间找了一个细分位置。

3. 用户怎么来的(增长手段)

  1. Reddit benchmark 帖(主渠道,已确认)
    • 约 10-08/09:作者在 r/LocalLLM 发「Introducing Infernix - much faster than Strata on a 5090!」(Jina 搜索结果;Reddit 原帖 403 打不开)。帖子标题直接蹭 Strata 的名字。
    • 10-10:第三方用户 u/zipzak 在 r/LocalLLaMA 发了 A/B 长帖「Qwen Flash Next @ 137 tok/s & 3,497 tok/s Prefill w/ 512k context on a 5090… comparing Strata and Infernix」:262K 上下文时 Infernix 的 decode 比 Strata 快 23%,结论是「Infernix NVFP4 is the daily driver」。Lumeric、KBlip、麦式 AI 情报站、equalexperts AI Wiki 等聚合站都转了(KBlip 记 69 互动)。这正对上 10-10 到 10-13 的首波(54→98)。
    • 10-23/24:Basalt 作者 u/jesdga95 在 r/LocalLLaMA 发七引擎横评,结论「Basalt and Infernix are ahead of the rest」(news.kamol.dev、Lumeric、ainews.leverageai 转述)。竞争对手把 Infernix 列为并列第一档,等于替它背书。
    • 11-01 14:40 UTC:作者发「Infernix - New Release!」(r/LocalLLaMA,r/LocalLLM 同时发)。内容是新权重、DFlash2、--spec auto、--lossless,以及一个类似 LM Studio 的 WebUI 启动器;还说「Qwen 4 一出就支持」。聚合站转载时记 169 star。Basalt 维护者在评论区回应,质疑 5 到 8 倍 TTFT 差距的说法,但肯定了启动器和 bit-exact BF16 模式(zgaiagent 摘要)。
    • 11-02:r/LocalLLaMA 帖「Do we have any benchmarks on quality degradation between Basalt, Infernix, Strata(-nvfp4)?」(AGI Hunt、communaute-ia 转述)。这正是 Infernix 主打的「精度不打折」论点。
    • 结果:11-02 +9,11-03 +68。时间对得上发布帖和精度讨论这两波。没法逐条归因,因为 GitHub stargazers 接口这次返回 404,拿不到每个 star 的时间。
  2. AI 新闻聚合站自动转载(已确认,被动):Lumeric(德语)、gffnews(日语,11-02 专门写了启动器)、PulseAugur 和 zgaiagent(中文)、AGI Hunt、readmex、artificialbuilds、trendshift 等,把每条 Reddit 帖翻译后再分发,放大了长尾曝光。
  3. HuggingFace 权重做入口(已确认):作者从 2026-09-17 起在 HF 发 NInfer 格式的 Qwen3.8-27B 量化权重,尤其是 uncensored / abliterated 版。27B-Uncensored 有 9,758 次下载,远多于 GitHub star。每张模型卡都指回 Infernix。「去审查模型 + 能直接跑」是 LocalLLaMA 的硬需求。
  4. Windows 原生 zip(已确认):Release 提供免装 CUDA Toolkit 的 Windows 包,三个版本累计约 1,400 次下载。Basalt 只做 Linux,Strata 虽然也支持 Windows,但 Infernix 把 Windows 当一等公民来做。
  5. X(弱):11-06 @TeksEdge(David Hendrickson)发帖「A single RTX 5090 reportedly hit 390 tps… brand-new Infernix」(多个聚合站转载)。这发生在跳涨之后,影响还没体现在数据里。x-radar 本地语料(五个圈子 core 层)里搜不到 Infernix,HN 库也零条。

没看到广告、达人或媒体的痕迹。

4. 它凭什么起来的

  • 时机:Qwen3.8-Flash-Next 这种「大 MoE、小激活」的模型,让「单卡 + 大内存」第一次能跑百 B 级模型。Strata 在 2026-10 初把这件事做火(HN 940 分,4 万 star),之后整个 LocalLLaMA 都在找「5090 上哪个最快」,需求和流量是现成的。
  • 借势:标题直接写「much faster than Strata」,每张表都把 Strata 和 Basalt 列成对照组。用户本来在搜 Strata,横向比较时自然会看到它。
  • benchmark 文化:README 里是成表的 TTFT、decode、agentic replay 数据,方法写得很细,还主动标出自己输的格子(比如 IQ3_S 上 Basalt 更快)。在 LocalLLaMA,这种「可复现、肯认输」的跑分帖最容易被转,也最容易引来第三方复测,而 zipzak 的复测成了它最好的广告。
  • 定位细分:单张 5090、Windows 原生、agentic coding(Claude Code、Codex 的 API 兼容,前缀缓存),精度不打折。这群人愿意为 5090 加 96 到 192GB 内存,很在乎第一个 token 多快回来和长上下文。
  • 社区参与:issue 里大量是用户自己贴的跑分(#37、#40、#45、#52、#58)和外部 PR。fork 37 对 star 274,比例偏高,说明是真有人在折腾,不是随手点赞。

5. 差异化,以及是不是它跑出来的原因

差异化有三条:

  1. 精度:激活精度跟 checkpoint 一致(大多 16-bit),不跳过专家,完整计算输出头,还有 --lossless 的 bit-exact 模式。竞品(Strata、Basalt)用 8-bit 激活、跳专家等手段换速度。
  2. 为 agent 场景优化:混合前缀缓存让多轮对话的第一个 token 来得快。在 agentic replay 测试里,它的 wall time 比 Strata 少 56%,比 Basalt 少 36%(作者自测)。
  3. Windows 原生和 GUI 启动器:类似 LM Studio。

这些差异化确实是它拿到关注的理由:zipzak 选它当主力,Basalt 作者把它列为第一档,社区讨论的焦点是「精度换速度值不值」。但差异化本身窄而且可以复制。Basalt 两天后就能补一个 Q8 dense 构建,作者也在评论里这么回应了。更大的因素是 Strata 带起来的品类热度。Infernix 的量级(274)和 Strata(4 万)差两个数量级,和 Basalt(690)也拉开了差距:Basalt 近 7 天涨 326,Infernix 涨 107。所以只能说它在小圈子里跑出来了,没有破圈。

6. 能见度

小圈子里在传:r/LocalLLaMA、r/LocalLLM 有作者帖、第三方复测、竞品横评;多国 AI 聚合站自动转载;11-06 才有一个 X 中号转。没上 HN,没有主流媒体。它是开源项目,不涉及收入。跟风者方面,没看到有人专门抄 Infernix,但整个「专用推理引擎」品类已经挤满了(Strata 系 fork、Basalt、capy-flash、ninfer-ext、Maya、Colibri)。

7. 可借鉴

  • 新的开源模型出来时,做「这个模型 × 这块卡」的专用工具。需求是现成的,通用工具总要慢几周。
  • 拿已经火的竞品当标尺,在标题里直接对比,用可复现的表格说话,主动承认输的地方,吸引第三方来复测。第三方帖比自己发的帖更有说服力。
  • 用 HF 权重(尤其是 uncensored 版)做引流入口,模型卡指回引擎。
  • 给 Windows 用户发免安装 zip,加一个 GUI 启动器。LocalLLaMA 里一大半人用 Windows 游戏机。
  • 用 AI 大量写代码来做专用 runtime(README 公开写了是 Claude Opus 5.5 写的),迭代极快,一天能有十几次提交。

8. 还不确定的

  • 11-03 的 +68 具体来自哪条帖:Reddit 原帖打不开(403),stargazers 时间戳接口返回 404,只能按时间对应推测。
  • 作者自己的 benchmark 有争议:Basalt 维护者质疑 5 到 8 倍 TTFT 的说法,没有独立评测。
  • Qwen 4 发布后专用引擎是否还要全部重写,窗口能开多久。
  • 这些推理引擎的真实使用量:Release 下载约 1,400 次,HF 下载数是近 30 天口径,不等于活跃用户。

出处

文章由 AI 根据公开数据和我们每天采集的数据写成,数字带出处,推断已标明