什么值得做
GitHub 开源项目 · 11-6 写
gufo-org/gufo · gufo-org

只为一颗芯片写的推理引擎:两个 Framework 用户的 Gufo,六周拿到 1,000 star

它是什么 一个只为 AMD Strix Halo(Ryzen AI Max+ 395、128GB 统一内存)手写内核的开源本地推理引擎,一个引擎跑 Qwen3.8、DeepSeek V4 Flash、语音和图像模型,接口兼容 OpenAI。

为什么火了 Qwen3.8-Flash-Next 开源后正好塞进这台机器,但 llama.cpp 长上下文慢(25 万 token 要等 41 分钟出第一个字),唯一快的 Halogen 又是闭源;Gufo 以开源替代的身份首发到硬件子版块,第三方复测出 11.7 倍提速,替它传开了。

B你可以怎么跟 别在 Strix Halo 上再做一个,换一台刚出货、现成工具没调好的大内存机器(或一个刚开源的爆款模型跨硬件做),在模型发布后 4 周内带可复现的基准和质量报告首发到这台硬件的垂直社区,请评测博主复测。

B 级:「新硬件 × 新爆款模型」的卡位套路清楚、可复制,但 Strix Halo 这一格已被 Gufo 和一堆同类占满,换平台做需要手写 GPU 内核的硬功夫,且只做一颗芯片天花板就是那个小圈子(同模型跨硬件的 Strata 有 4 万 star)。 小圈子里在传
数据(每天更新) · 建库 2026-08-11 · 1,104 星 · 7 天 +92
GitHub · 星数
4006008001k1.2k10-0910-1610-2411-0111-081.1k
数据 2026-10-09 → 2026-11-08(31 天,30 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有

2026 年 9 月 24 日,两个手里都有一台 128GB Framework Desktop 的意大利工程师,把自己写的本地推理引擎 Gufo 发到了 r/StrixHalo,当天涨了 123 个 star。它只支持一颗芯片(AMD Ryzen AI Max+ 395,也就是 Strix Halo),只跑几个模型,到 11 月 6 日有 1,096 star、188 fork。这篇讲它为什么能在 llama.cpp 的地盘上拿到 star,这套做法你能不能照搬,该搬到哪去。

一个 41 分钟变 3.5 分钟的数字

10 月 2 日,做 Kubernetes 推理平台 LLMKube 的作者写了一篇博客,开头是这样的:他往自己的 Strix Halo 里塞了一个 25 万 token 的提示,在跑了几个星期的 llama.cpp 上,第一个字要等大约 41 分钟才出来;换成一个他从没用过的新引擎 Gufo,三分半。

「我的第一反应不是兴奋,是问:我们确定吗?这种数字通常说明基准测试坏了。」

他接着把 llama.cpp 的四种调优配置都扫了一遍,取每个深度的最好成绩,再用同一套质量检查复测:25 万 token 的冷预填充,Gufo 每秒 1,184 token,llama.cpp 最好也只有 101,差 11.7 倍;编程题 LiveCodeBench 83 分对 82、83 分,质量没掉。他也老实写了 Gufo 的短板:单路解码慢 7%(33.5 对 36.2 tok/s)。最后他把自己的编码代理换到了 Gufo 上。

这篇文章就是 Gufo 被传开的方式:不是作者自己吹,是一个陌生人花几天复测、把结果写出来。

它是什么

一个用 C++ / HIP 手写内核的本地推理引擎,MIT 开源,只为 Strix Halo(gfx1151 核显、128GB 统一内存)优化。一个引擎里装了 Qwen3.8 27B、Qwen3.8 Flash-Next、DeepSeek V4 Flash、语音识别和合成、图像生成,对外是 OpenAI 兼容接口,README 里专门写了怎么接 Codex 和 Claude Code。

作者 Federico Izzo 在 Framework 社区的首发帖里是这么说的:「我们俩都有一台 128GB 的 Framework Desktop,受够了在一堆 llama.cpp fork 之间来回切换、给这个模型调一下、给那个模型调一下。我们想要一个为自己手里这台机器垂直整合的东西。」

几条规矩写在帖子里:只支持这台机器上同尺寸里最好的模型;每个模型单独写内核、不复用,「限制改代码的爆炸半径」;每个模型附一份质量报告;并发、取消请求、对话缓存当一等公民。

两个作者在 GitHub 上各约 30 个关注者,组织下只有这一个仓库,没有任何现成名气。

为什么是 9 月底火

三件事叠在一起:

  • 一个刚好塞得进的模型。 8 月 26 日 Qwen3.8-Flash-Next 开源,125B 的 MoE、每 token 只激活约 6B,4 bit 量化后正好放进 128GB 统一内存。买了 Framework Desktop 和各种 AI Max+ 395 迷你主机的人,第一次能在桌上跑一个接近前沿的模型。
  • 现成的工具不够快。 llama.cpp 能跑,但长上下文预填充慢得没法给编码代理用(上面那个 41 分钟)。同一天冒出来的快方案 Halogen 是闭源容器。r/StrixHalo 上一个 48 票的帖子标题就是「Gufo 看起来是闭源 Halogen 之外一个好的开源选择」——用户在找的就是这个位置。
  • 作者写得快。 57 天合并 440 个 PR,10-30 到 11-05 一周发了 5 个版本,到 v0.31.0。LLMKube 复测时撞到的缓存 bug,别人报、作者复现、修好发版,赶在那篇博客写完之前。

star 曲线很典型:8 月 11 日建库,9 月 23 日之前是 0(私下写了六周);9-24 +123,登上 Trendshift C++ 日榜第 5;9-25 +69,9-26 +54;之后每天稳定 10 到 35 个。最近 7 天 +100,前一个 7 天 +135,在慢慢减速。

star 从哪来

渠道发生了什么
Reddit 垂直版9-24 同时发 r/StrixHalo、r/LocalLLM,标题「Gufo: the all-in-one strix halo inference engine」,帖子正文就是一张基准表
厂商论坛9-25 转到 Framework 官方社区,作者逐条答疑(NPU 试过三种用法都不如纯 GPU、AMD 新驱动还不成熟),一直回到 10 月底
第三方复测LLMKube 10-02「41 分钟变 3.5 分钟」;日本 Hack-Log 10-01 拆解基准;aifinitee 10-18「开源追上了闭源」;elumenotion 11-02 试完 Strata 最后选了 Gufo
X 上的硬件玩家@TeksEdge 9-30 一条帖子 80 赞、5,500 浏览(131K 上下文 llama.cpp 7.98 对 Gufo 22.89 tok/s);@julianharris 直播用 Gufo + OpenCode 写代码
争议帖r/LocalLLaMA 10-01「70 tps,但你得看小字」(32 条评论)指出峰值来自让模型重复输出同一个词;作者随后在 README 补了说明
行业讨论r/LocalLLaMA 9-29「推理引擎会变成一个个一次性的东西」(185 条评论)、博文「过拟合推理引擎的兴起」,都把 Gufo 当例子

没有上 Hacker News,没有科技媒体专稿,没有大号转发。整个传播圈就是 Strix Halo 玩家这几千人(估)。

值得注意的一点:GitHub 简介里写的「73.17 tg」是投机解码在重复文本上接近 100% 命中的上限,真实编码场景用户自己说按 30 多 tok/s 估。这个数字吸了眼球,也招来了质疑;作者的处理是正面补说明、继续发质量报告,质疑帖反倒又带了一波流量。

谁在跟它抢

项目规模(11 月初)和 Gufo 的区别
Halogen(peonist-ai)1,245 / 158 star8-26 上线,闭源容器、一个模型一个服务,Flash-Next 解码快 13–18%
Strata(Niko1221)41,004 star只做 Qwen3.8-Flash-Next,但跨任意消费级显卡和多机——反过来的路线,人群大得多
llama.cpp13.3 万 star通用,在 Strix Halo 长上下文上慢一个数量级
kyuz0/amd-strix-halo-toolboxes2,018 star打包好的容器,不是新引擎,已经把 Gufo 加进构建选项
strixite、Qwenox、kyojin、halofpx 等97–266 star同期冒出的单人单模型窄引擎

Strix Halo 这个池子里,Gufo 已经是开源第一,同类小项目一堆。它的社区 fork 也在长:Windows 移植版(39 star)、两台机器 RDMA 互联版(22 star)、把预填充拆到 NPU 上的版本。

最该看的是 Strata:同一个模型,跨硬件做,41,000 star,是 Gufo 的 40 倍。「只做一颗芯片」换来了极限速度,也把天花板锁死在这颗芯片的用户数上。

能学什么

  1. 在「新硬件 × 新爆款模型」的交叉点上卡位。 不是做一个更好的 llama.cpp,而是「这台机器 + 这几个模型调到极限」。爆款模型开源后的两到六周,是用户最焦虑、现成工具最跟不上的时候。
  2. 选闭源对手已经证明了需求的位置。 Halogen 证明了「Strix Halo 上能快 10 倍」,用户想要的是开源版。
  3. 首发去硬件垂直社区,数字要让陌生人复现得出来。 子版块 + 厂商论坛 + 一张基准表 + 现成容器;剩下的传播交给复测博客。
  4. 把质量报告当成卖点。 这个圈子对「基准灌水」极度警惕,「每个模型附质量报告」「让整体变慢的快内核一律不收」本身就是信任。

如果是你

B。 套路清楚、可以复制,但 Strix Halo 这个位置已经被占满,而且门槛是手写 GPU 内核——会这个的人不多,不会的人别碰。

适合谁:写过 CUDA / HIP / Metal 内核、自己手里就有一台新硬件、天天在本地跑模型的人。两个人最好,一个写内核,一个管发版和社区。

不适合谁:只会调 API、包一层 UI 的;想在 Strix Halo 上再做一个同类引擎的(Gufo 一天 7 个 PR,你追不上);想靠这个赚钱的。

怎么做:换一台机器,别换做法。候选是正在出货、统一内存大、现成工具没调好的平台——NVIDIA DGX Spark 类的 GB10 小主机、128GB 的 Mac、下一代 AI PC 芯片(推断,哪个平台的玩家社区最活跃、llama.cpp 在上面最慢,就选哪个)。或者走 Strata 的反方向:一个刚开源的爆款模型,跨硬件做到最快——人群大得多,但要和更多人赛跑。不管选哪条,只支持两三个模型,每个模型附一份可复现的质量和速度报告,一开始就给 OpenAI 兼容接口和 Codex / Claude Code 的接法,因为买这类机器的人大多是想本地跑编码代理。

怎么获客:首发日同时发这台硬件的子版块、r/LocalLLaMA 类综合版、厂商官方论坛,正文就是基准表和一行 docker 命令;发完守在评论里答疑。主动给已经写过这台硬件评测的博主发消息,请他们复测;有人质疑数字,当天回、补说明。

死线:下一个能塞进这类机器的爆款开源模型发布后 4 周内。Gufo 是 Qwen3.8-Flash-Next 开源后第 29 天首发的,Halogen 是当天;晚于 6 周,位置大概率已经被人占了(推断)。

什么情况说明看错了:① llama.cpp 主线一两个月内补齐 Strix Halo 的长上下文预填充、Gufo 的日增掉到个位数——说明窄引擎只是工具没跟上时的一阵风;② 硬件厂商官方方案(AMD 的 Lemonade 之类)直接做到同样速度;③ 你挑的那台机器,首发两周内一个复测博客都没有——这个圈子太小,撑不起一千 star。

---

数据与出处:star、fork、发版来自 GitHub(11-06);日榜和 PR 数来自 Trendshift;首发帖原文来自 Framework 社区(9-25);复测数字来自 LLMKube(10-02)、aifinitee(10-18)、elumenotion(11-02)、Hack-Log(10-01);Reddit 帖子票数和评论数来自搜索摘要,原帖未能直接打开;X 帖子数据来自 @TeksEdge、@LFrefman、@julianharris 的公开帖。写「估」「推断」的地方是估和推断。

GitHub 仓库 ↗

研究底稿:竞品表、获客证据、完整研究报告
竞品
名字在哪上线规模它和这家不同在哪
Halogen(peonist-ai/halogen-flash-server、halogen-server)其他2026-08-261,245 / 158 star闭源容器、每个模型一个服务,Flash-Next 解码快 13–18%;Gufo 开源、一个引擎多模型
Niko1221/Strata开源2026-09-2441,004 star只做 Qwen3.8-Flash-Next 但跨任意消费级硬件;Gufo 只做一种芯片、多模型
llama.cpp 及 Strix Halo 调优 fork开源2023-0313.3 万 star通用全模型;Strix Halo 上长上下文预填充慢得多(250K 冷预填充 41 分钟 vs 3.5 分钟,LLMKube)
kyuz0/amd-strix-halo-toolboxes开源2025-07-282,018 star打包 llama.cpp/vLLM 的容器,不是新引擎;已把 Gufo 纳入构建
Lemonade(lemonade-sdk)大厂功能2025-05-156,128 starAMD 系通用 GPU+NPU 本地服务;Gufo 只追 Strix Halo 极限速度
Soulmate-Halo/heterogeneous-gpu-pd-lab开源2026-09-011,112 star用独显给大内存主机加速的异构方案,不是单芯片引擎
strixite / Qwenox / kyojin / halofpx / q38rocm开源2026-08~1097–266 star多为单人单模型的同类窄引擎,规模和维护强度都小于 Gufo
用户从哪来
  • 查实 Reddit 垂直子版块首发:2026-09-24 作者在 r/StrixHalo、r/LocalLLM 发「Gufo: the all-in-one strix halo inference engine」,当天 +123 star
  • 查实 厂商社区(Framework 论坛):9-25 cross-post 到 community.frame.work,作者持续答疑到 10 月底
  • 查实 第三方复测博客:LLMKube 10-02「41 分钟变 3.5 分钟」、aifinitee 10-18、elumenotion 11-02、Hack-Log 10-01
  • 查实 X 硬件玩家:@TeksEdge 9-30 帖 80 赞 5.5K 浏览、10-26 NPU fork 帖 45 赞;@julianharris 直播、@a4lg 推荐
  • 查实 争议与行业讨论帖:r/LocalLLaMA 10-01「read the fine print」(14 票 32 评论)、9-29「Inference Engines will become a series of one-offs」(50 票 185 评论)、「Rise of Overfit Inference Engines」博文及 Startup Fortune 报道
  • 查实 自家工程博客:gufo.blog「How Gufo caches a hybrid model」约 10 月中发到 r/LocalLLaMA、r/StrixHalo
  • 推断 Hacker News:hackernews 库搜 gufo 0 条

gufo-org/gufo:专为 AMD Strix Halo 做的开源本地推理引擎

研究日期 2026-11-06。仓库 github.com/gufo-org/gufo ,站点 gufo.blog ,MIT,C++/HIP。

一句话结论

Gufo 是两个意大利工程师(Francesco Bozzo,米兰;Federico Izzo,巴黎 Datadog 工程师)给自己手里的 Framework Desktop 128GB(Ryzen AI Max+ 395 / gfx1151)写的「垂直」推理引擎。它跑出来靠的是时机 + 卡位:2026-08-26 Qwen3.8-Flash-Next(125B MoE、6B 激活)开源后,Strix Halo 用户发现这台 128GB 统一内存机器正好装得下、但 llama.cpp 跑得慢(250K 冷预填充要 40 分钟);此时唯一快的方案 Halogen 是闭源容器。Gufo 在 9-24 以「开源版 Halogen」的身份发到 r/StrixHalo、r/LocalLLM、Framework 社区,当天 +123 star 上了 Trendshift C++ 第 5,随后靠第三方复测(LLMKube「41 分钟变 3.5 分钟」、X 上 @TeksEdge、aifinitee 评测)和 Reddit 上「open vs closed Halogen」的讨论持续涨。差异化是「开源 + 一个引擎管多种模型(文本/语音/图像)+ 每个模型带质量报告」,这正是它跑出来的原因;但赛道极窄(只服务一款芯片),天花板就是 Strix Halo 玩家圈。

1. 数据

  • star 曲线(Trendshift + 我们的 github 库 repo_day):2026-08-11 建库,9-23 之前 0 star(私下开发);9-24 +123(Trendshift C++ 日榜 #5),9-25 +69(#7)、9-26 +54(#8)、9-28 #19、9-30 #25;之后每天稳定 +10~35,10-11 观测期单日最高 +30。11-06 共 1,094 star、188 fork(GitHub API)。近 7 天 +100,前 7 天 +135,在缓慢减速。
  • 开发强度:57 天合并 440 个 PR(Trendshift);发版到 v0.31.0(11-05),10-30 到 11-05 一周发了 5 个版本。贡献者:francescobozzo 331 次提交、fedeizzo 261,之后有 jabata 60、sdwilsh 16 等十几个外部贡献者。
  • 社区 fork:Windows 移植 pixmaate/gufo(39 star)、双机 RDMA 版 neuhaus/gufo(22 star)、IQ4_XS 支持 johandevlabs/gufo-iq4_xs、以及在 GPU+NPU 之间拆分预填充的 fork(@TeksEdge 10-26 的 X 帖,45 赞)。kyuz0 的 amd-strix-halo-toolboxes(2,018 star)加了 rocm-10.0-gufo 构建参数。
  • 作者体量:两人 GitHub 粉丝各约 30,组织只有这一个库,没有现成名气。

2. 竞品

名称在哪上线规模和 Gufo 的不同
peonist-ai/halogen-flash-server / halogen-server(Halogen)开源仓库但引擎是闭源容器2026-08-261,245 / 158 star最直接的对手,单模型、闭源,Flash-Next 解码快 13–18%、131K 预填充更高;Gufo 开源、多模型
Niko1221/Strata开源2026-09-2441,004 star只做 Qwen3.8-Flash-Next,但跨硬件(游戏卡、多机);Gufo 反过来:只做一种芯片、多模型
ggml-org/llama.cpp(及 Strix Halo 调优 fork,如 Nathanw1014/strix-halo-llamacpp 224 star)开源202313.3 万 star通用、模型全;在 Strix Halo 上长上下文预填充慢得多(LLMKube 250K:41 分钟 vs Gufo 3.5 分钟)
kyuz0/amd-strix-halo-toolboxes开源2025-072,018 star打包好的 llama.cpp/vLLM 容器,不是新引擎;已把 Gufo 也纳入构建
lemonade-sdk/lemonade(AMD 系)开源 / 大厂2025-056,128 starAMD 官方系的 GPU+NPU 本地服务,通用;Gufo 只追 Strix Halo 极限速度
Soulmate-Halo/heterogeneous-gpu-pd-lab开源2026-09-011,112 star用独显给 AI Max+ 395 等大内存机加速,路线是异构硬件
strixite、Qwenox、kyojin、julianmb/halofpx、q38rocm开源2026-08~1097~266 star同类「过拟合引擎」,多是单人、单模型,规模都小于 Gufo

结论:同一件事(Strix Halo 上跑当红开源大模型)有一堆项目,Gufo 是开源里最大的那个,只被闭源的 Halogen 微微超过;Strata 的 41K star 来自更大的人群(任意消费级硬件),不在一个池子里。

3. 增长手段(证据)

  1. Reddit 首发(确认):2026-09-24 作者 Federico Izzo 在 r/StrixHalo、r/LocalLLM 同发「Gufo: the all-in-one strix halo inference engine」,讲「两个 Framework Desktop 128GB 用户,受够了在一堆 llama.cpp fork 之间切换」,配基准表。当天 +123 star。
  2. Framework 官方社区转帖(确认):9-25 cross-post 到 community.frame.work,作者在帖里逐条答疑(NPU 实验、驱动),9 月 25 日到 10 月 28 日一直有人回复。
  3. 第三方复测文章(确认):LLMKube 10-02「41 minutes to first token became 3.5」;aifinitee 10-18「开源追上了闭源」;elumenotion 11-02 测完 Strata 后最终选了 Gufo;日本 Hack-Log 10-01 拆解基准。
  4. X 上的硬件玩家(确认,量小):@TeksEdge 9-30 帖(80 赞、5.5K 浏览,llama.cpp 7.98 vs Gufo 22.89 tok/s @131K)、10-26 NPU fork 帖(45 赞);@julianharris 直播用 Gufo+OpenCode 写代码;@a4lg 日文推荐。没有大号。
  5. 争议也带流量(确认):r/LocalLLaMA 10-01「Gufo performance... 70tps but you need to read the fine print」(14 票、32 评论)指出 70 tok/s 来自「写 1000 次 red」这种重复输出;X 上 @LFrefman 转述「真实工作按 30 多 tok/s 计划」。作者随后在 README 加了「峰值来自重复输出」的说明。另有 r/LocalLLaMA 9-29「Inference Engines will become a series of one-offs」(50 票、185 评论)、10-05 前后「The Rise of Overfit Inference Engines」博文和帖子、Startup Fortune 报道,把 Gufo 列进「过拟合引擎」浪潮。
  6. 内容营销(确认):约 10 月中在 gufo.blog 发工程博文「How Gufo caches a hybrid model」(带交互图),发到 r/LocalLLaMA 和 r/StrixHalo。
  7. HN:没有(我们的 hackernews 库搜 gufo 0 条)。没有广告、没有媒体大报道。

4. 它为什么跑出来

  • 平台事件:Qwen3.8-Flash-Next 8-26 开源(HN 698 分、LocalLLaMA 650+ 评论的发布帖),125B MoE 正好塞进 128GB Strix Halo;一大批买了 Framework Desktop / 迷你主机的人突然有了「本地跑前沿模型」的强需求。
  • 现成方案有明显缺口:llama.cpp 长上下文预填充慢、要拼各种 fork;唯一快的 Halogen 是闭源镜像。Gufo 打的就是「开源、速度接近 Halogen」,r/StrixHalo「Gufo engine seems a good open source choice vs. the closed Halogen」(48 票、33 评论)正是这个心智。
  • 数字可被独立复现:LLMKube 用同一套质量门复测,250K 冷预填充 11.7 倍加速、LiveCodeBench 83/100 与 llama.cpp 持平;aifinitee 测到 250K 预填充 1,125 t/s。复测文章本身成了分发。
  • 对代理编程(Codex / Claude Code / OpenCode)友好:OpenAI 兼容 + Responses API、对话前缀缓存、8 路并发当一等公民,README 专门写了 Codex、Claude Code 的接法——买 Strix Halo 的人很多就是想本地跑编码代理。
  • 维护强度与开放协作:日均 7~8 个合并 PR、一周多个版本、作者在 issue 和论坛里快速修 bug(LLMKube 提到的缓存 bug 在文章写完前已修好),吸来了 Windows、RDMA、NPU 等社区 fork。

5. 差异化

  • vs Halogen:开源(MIT)+ 多模型一站式(Qwen3.8 27B、Flash-Next、DeepSeek V4 Flash、ASR、TTS、嵌入、图像/视频生成进行中)。
  • vs Strata/llama.cpp:只为一颗芯片写内核、每个模型单独内核不复用,换来 Strix Halo 上的极限预填充速度。
  • 「每个模型附质量报告」「更快但让整体请求变慢的内核一律拒绝」——针对这个圈子对「基准灌水」的警惕。
  • 这些差异化就是它跑出来的原因:开源对闭源 Halogen 是用户主动在找的东西;但「峰值数字靠重复输出」的争议也说明它的头部数字是营销口径。

6. 能见度与跟风

  • 能见度:小圈子里在传。r/StrixHalo、r/LocalLLaMA、Framework 社区、几个硬件博客和 X 小号;没有 HN、没有科技媒体专稿(Startup Fortune 只把它列在「窄引擎浪潮」里),纯开源无收入。
  • 跟风:社区 fork(Windows 版、RDMA 版、NPU 版、IQ4_XS 版)算衍生而非抄袭;同类窄引擎(strixite、Qwenox、kyojin、halofpx)在 8–10 月同时冒出,是并行赛跑。

7. 可借鉴

  • 新硬件 + 新爆款模型的交叉点上,做「为这台机器、这几个模型专门调到极限」的工具;选闭源对手已证明需求、但用户想要开源的位置。
  • 首发去硬件垂直社区(子版块 + 厂商论坛),配可复现的基准脚本;让第三方复测替你传播。
  • 正面处理基准质疑(补说明、附质量报告),争议帖本身也是流量。

8. 不确定

  • Reddit 原帖票数/评论数未能直接读取(Reddit 屏蔽抓取),首发帖热度只能靠 star 曲线和搜索摘要推断。
  • 真实装机量未知(容器镜像拉取数未查);Strix Halo 用户总量决定天花板。
  • Halogen 是否完全闭源以 aifinitee 的描述为准,未自己核实其仓库内容。
  • 增速在放缓(7 天 135 → 100);Qwen4 正式版或 llama.cpp 补齐优化后它能否保持优势未知。

出处

文章由 AI 根据公开数据和我们每天采集的数据写成,数字带出处,推断已标明