一张旧 AMD 显卡,比当红引擎快 47%:Avalon 靠一个对比数字,让 YouTube 替它拍了续集
它是什么 一个开源的本地大模型推理引擎:只为 Qwen3.8-Flash-Next 和「一张 AMD 消费级显卡 + 专家放内存」调优,在旧电脑上跑到约 98 t/s。
为什么火了 当红引擎 Strata 主要照顾 NVIDIA,AMD 显卡用户没有对口的引擎;Avalon 给出「同一台机器比 Strata 快 47%」这个数字,正好是那批做 Strata 视频的 YouTube 频道需要的续集选题,视频出来后 star 才起量。
C你可以怎么跟 别再做 AMD 跑 Qwen3.8;等下一个热门模型和当红引擎出来,挑它没顾上的硬件在自己机器上调到底,README 写成带硬件表和同机对比的实验报告,把数字递给正在做那个引擎视频的 YouTube 频道。
- 数据(每天更新) · 建库 2026-10-09 · 353 星 · 7 天 +257
GitHub · 星数 数据 2026-11-01 → 2026-11-08(8 天,8 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有
一个法国工程师用自己那台 Zen 2、DDR4、PCIe 3.0 的老台式机和一张 RX 7900 XT,给一个模型、一种显卡做了专用的推理引擎,README 里写着「同一台机器,比 Strata 快 47%」(后来更新成 44%)。他在 Reddit 发了帖,十天只拿到 10 个 star;接着一批专做 Strata 视频的 YouTube 频道把这个数字做成标题,十天后它涨到 369 个。这篇讲它是什么、star 从哪来、为什么是 AMD 这一格,以及你如果想做一个同样能拿到 star 的开源项目,该学哪一部分。
一条视频底下,作者自己来留言
2026 年 10 月 31 日,一个叫 Kai 的 YouTube 频道(7 万订阅)发了一条 27 分钟的视频,标题是《Avalon Just Beat Strata by 47% on AMD (9x Faster)》。简介第一句:
Avalon, a llama.cpp fork, beat Strata by 47% on a used Radeon RX 7900 XT, the one card Strata's maintainers never ran.
(Avalon 是 llama.cpp 的一个分支,在一张二手 RX 7900 XT 上比 Strata 快了 47%——Strata 的维护者从没在这张卡上跑过。)
到 11 月 7 日,这条视频有 7.9 万播放、1,221 个赞、168 条评论。评论区有两条特别值得看。
一条是作者本人。他署名「Fred aka Freriadoc」,先谢 Kai「是目前看 Avalon 看得最仔细的」,然后一条条补充:R9700 上 Strata 的成绩是维护者在 DDR5、PCIe 5.0 的机器上跑的,不能直接比;Windows 版已经能跑了,是一个叫 ppkrol 的用户移植的,他已经合并;README 没写测试用的是什么硬盘,他已经补上。最后一句是「你那四个问题我记进笔记了」。
另一条是用户 @coolas,23 个赞:
On my rig.... it is NOT 47%, it is 156% faster than the last strata!
他用的是一台 6 核老至强、64GB 内存、一张 AMD R9700,贴了一整张跑分表:Avalon 86.6 t/s,Strata 31.0 t/s。作者在自己的留言里引用了这组数字,后来又把它放进了 README 的「用户实测」一节。
这一来一回,基本就是 Avalon 这一个月的全部故事:一个对比数字,一批需要选题的解说频道,一群拿着 AMD 卡、愿意自己去跑分的玩家,和一个回得很快的作者。
它是什么
Avalon 是 llama.cpp 的一个分支,只为一个模型、一种机器调:模型是 Qwen3.8-Flash-Next(125B 参数的 MoE,512 个专家,每次激活 10 个),机器是「一张消费级 AMD 显卡 + 专家放在系统内存里」。
README 开头直接把作者的硬件列成一张表:Ryzen 7 3800XT(Zen 2 架构)、双通道 DDR4、B450 主板上的 PCIe 3.0、一张 20GB 的 RX 7900 XT,没有 NVIDIA,没有 CUDA。在这台机器上,89GB 的模型生成速度 98 t/s;内存只有 16GB 也能跑到约 49 t/s。用它自己的话说:「every number below comes from a desktop most people would call old」(下面每个数都来自一台大多数人会说是旧电脑的机器)。
技术上它做的事可以用一句话说:显存一个字节都不闲着,全借给「最常用的专家」做缓存;GPU 算缓存里的专家,CPU 同时算没命中的那部分;内存不够时,自己管一块内存池放专家,不交给系统的页缓存,所以 16GB 内存也不会崩。这些零件大多来自别的项目(buun-llama-cpp 的专家缓存、ik_llama.cpp 的量化格式),Avalon 把它们拼成一个为单个模型调好的成品,附一行安装命令和自己做的量化权重。
还有一个副线话题。作者在 README 里写,架构和整体优化思路是他自己的(「30 年的优化经验」),GPU 和 CPU 的 kernel 全部由 Claude Opus 5.5 写:
I am only the driver; the AI is the engine, and the rest of the car.
开源、MIT 协议、免费。作者的 GitHub 账号 2024 年注册,只有这一个仓库,没有 X 账号。
首发十天,只有 10 个 star
| 日期 | 发生了什么 | star |
|---|---|---|
| 10-22 前后 | 权重传到 Hugging Face;作者在 Reddit r/ROCm 发首帖,同步 r/LocalLLM | — |
| 10-28 | 没什么动静 | 10(网页存档) |
| 10-30 | Code Unpacked 发《This llama.cpp Fork Just Beat Strata by 47% on AMD》,2.6 万播放 | — |
| 10-31 | Kai 那条,7.9 万播放 | — |
| 11-01 | Code Bear、Code District、abd 等频道跟进 | 96 |
| 11-02 | 作者在 r/ROCm 发更新帖:支持 Windows、RTX 4090 上追平 Strata、16GB 内存够用 | 169(+73,单日最高) |
| 11-03 至 11-05 | KernelBrief「逐张卡跑分」、Medium 上一篇六张卡的对比、中文频道玩客笔记 7,184 播放 | 220 → 279 |
| 11-08 | 作者前一天提交了 21 次(多卡、NVIDIA 优化) | 353(+42);GitHub 页面实时 369 |
(star 来自每日 GitHub 快照;播放数是 YouTube 11-07 的数。)
fork 有 55 个,和 star 的比例约 15%,在开源项目里算高的,说明不少人是真下下来跑。issue 区 42 条,几乎全是带完整硬件和跑分数据的长报告:R9700、7900 XTX、RX 6800 XT、RTX 3090、5090、双卡。Hugging Face 上的权重累计下载 7,684 次,但这个库有 33 个分片,真实下载过完整模型的人可能只有几百(估)。
和它对标的 Strata 比,369 是个很小的数:Strata 9 月 24 日上线,到现在 4.1 万 star,最近 7 天还在涨 4,400。Avalon 拿到的是 Strata 热度溢出来的一小块。
带它起来的,是 Strata 的视频频道
Reddit 首帖十天 10 个 star,说明作者自己发帖几乎没用。转折点是 10 月 30 日、31 日那两条视频,之后一天之内到了 96。
这批频道有几个共同点:
- 本来就在做 Strata。Code Unpacked 的简介写「In my last video, Strata beat llama.cpp by about four times」(上一期 Strata 比 llama.cpp 快了四倍),这一期是「现在有个 llama.cpp 分支说它比 Strata 快 47%」。Kai 发完 Avalon 第二天又发了一条 Strata,22.5 万播放。对他们来说,Avalon 就是 Strata 的续集。
- 标题清一色是那个数字。「Beat Strata by 47%」「9x Faster」「47% Faster Than Strata on AMD」「What the 47% Really Measures」,能搜到的十几条视频里,大多把 47% 放在标题里。
- 不少是今年新开的号,简介格式很像,章节密、数字多,像是批量做科技解说的频道(推断)。没有证据显示作者付钱或安排过。
作者 11 月 2 日的那条更新帖是第二个推力,当天 +73。第三个推力是「寄生」在 Strata 的社区里:Strata 仓库 11 月 3 日有人开 issue,把官方 Strata、Strata 的 RDNA3 分支和 Avalon 放在一起跑分;r/LocalLLaMA 里开始有人这样推荐:「Strata (Nvidia) or Avalon (AMD)」。一个项目被人用一句话跟当红项目并列,说明它的定位已经立住了。
没找到的渠道:Hacker News 没有相关帖,X 上只有几条日文、中文小号转发,没有媒体报道,没有广告。
为什么是 AMD 这一格
「消费级电脑跑 Qwen3.8-Flash-Next」这条赛道非常挤:Strata、PolyStrata、FreeToken、basalt、Infernix,还有一堆针对 Mac 和 AMD Strix Halo 一体机的项目。但按硬件切开看,几乎都在做 NVIDIA,或者做大统一内存的机器。
「AMD 独立显卡 + 系统内存放专家」这一格,在 Avalon 之前没有像样的专用引擎。 Strata 的 AMD 支持是顺带的,Kai 说的「Strata 维护者从没跑过的那张卡」就是这个意思。而 7900 XT/XTX 这类卡,二手价比新的 RTX 5070 还便宜,玩家手里不少。Kai 视频底下有人留言:「我刚买了 RX 7900 XT,本来已经在考虑换 RTX 3090 好跑 Strata,先试试这个。」
让它可信的是 README 的写法,更像一份实验报告:
- 测试条件写得很细(同一天、同一套流程、两边都开投机解码、取中位数);
- 主动更正:之前给的 16GB、32GB 内存的数字测错了,README 里写明错在哪;
- 不利的也写:RTX 4090 上和 Strata 打平,prefill Strata 更快;
- 用困惑度和 GSM8K 证明「快不是因为把模型压小了」;
- 单开一节「用户实测(未经我验证)」,把别人的跑分连同条件一起列出来。
这种写法给了解说频道现成的素材(KernelBrief 那条「逐张卡跑分」几乎就是把这张表念了一遍),也让懂行的人愿意替它说话。
谁在抢这一格
| 项目 | 是什么 | 规模(GitHub star) | 和 Avalon 比 |
|---|---|---|---|
| Strata | 当红引擎,有桌面 App、一键安装 | 41,439 | 主要按 NVIDIA 调;在 RDNA3 上 Avalon 生成快 30–47%,但 Strata 有 App、支持多模型 |
| Strata-rdna3 | Strata 用户维护的 RDNA3 分支 | 79,近 7 天 +58 | 最直接的对手。Strata 仓库里的四方实测:它的 prefill 比 Avalon 高约 70%,生成比 Avalon 慢 |
| llama.cpp 主线 | Avalon 的底座 | 约 13 万 | 通用,读不了 Avalon 的权重;11 月起也开始让 CPU 算没命中的专家,在往同一个思路上靠 |
| buun-llama-cpp | Avalon 的直接来源 | 905 | 专家缓存、内存分层的实验分支,没为一个模型和 AMD 做到底 |
| basalt / Infernix / tandem.cpp | 同样是 Qwen3.8 专用引擎 | 751 / 280 / 47 | 只做 NVIDIA |
它的护城河很薄。对手的 prefill 已经比它快,主线也在吸收它的思路;权重格式只有 Avalon 能读,算一点锁定,但用户规模太小,谈不上锁住谁。目前还没有人直接仿它做「AMD 专用 Qwen 引擎」,55 个 fork 里唯一有 star 的是那个 Windows 移植(5 star),已经合回主干。
能学到什么
- 在当红项目的空白硬件格子里做专用版。一个开源爆款起来后,看它没顾上的硬件或平台(AMD、Windows、老卡、某种一体机),在那一格做到最好。不用打赢它,只要在那一格赢。
- 给一个「同一台机器比它快 X%」的数字。这个数字让所有做当红项目内容的人都能顺手做一期续集,流量是现成的。注意 Avalon 的数字敢让人查:测试条件全写了,所以视频博主愿意引用,评论区也有人跑出更高的数。
- YouTube 解说号是被低估的分发渠道。Reddit 首发没起量,YouTube 起量了。这批频道缺选题,一个带对比数字、带硬件表格的 README,就够他们做一条 10 到 27 分钟的视频。
- 去他们的评论区回话。作者在 Kai 视频下那条长留言 45 个赞,把更正、新功能、用户跑分都讲了一遍,等于一条免费的置顶补充。
- AI 写 kernel 降低了门槛,但没降到零。作者自己有 30 年优化经验,知道每一步该往哪调,AI 负责把 kernel 写出来。
如果是你
判断:能学到一套很清楚的打法,但直接跟进不太划算。再做一个「AMD 跑 Qwen3.8」已经晚了,这一格有 Avalon 和 Strata-rdna3,主线也在追;换个格子照做,门槛是真正的 GPU 性能调优,回报是几百个 star。
适合谁:做过 CUDA/ROCm/Metal 性能优化、手里有某种「没人管」的硬件、愿意每天回 issue 的开发者;用 AI 写 kernel 可以省掉大量体力活,但判断往哪调要靠你自己。
不适合谁:想靠这个赚钱的人(这类项目拿到的是 star 和名气);没有底层优化经验、只想让 AI 从头写一个推理引擎的人;没有自己那块硬件、只能租机器测的人,Avalon 的可信度一半来自「作者每天就在这台旧电脑上跑」。
怎么做:等下一个热门开源模型配上一个当红的专用引擎,看那个引擎没顾上哪种硬件(Intel Arc、老的 NVIDIA 专业卡、某种 AMD 卡,有没有人在做,未核实),在你自己的那台机器上调到底。README 第一屏放硬件表和「同机比当红引擎快 X%」,写清楚测法,承认哪里不如它。
怎么获客:先在对应硬件的 Reddit 版块发一帖,但别指望它。真正要做的是找到正在做那个当红引擎视频的 YouTube 频道,把对比数字和硬件表给他们;视频出来后去评论区补充、更正、贴用户跑分。在当红项目的 issue 和讨论里参与对比测试,让大家习惯一句「X 用 A,Y 用 B」。
什么时候之前:每个热门模型的窗口大概一到两个月。等当红引擎自己补上那块硬件,或者 llama.cpp 主线把同样的思路吸收进去,专用版就没有标题可写了(推断)。
什么情况说明看错了:你的对比数字发出去,两周内没有一个做当红引擎内容的频道接;或者当红引擎下一版就把你那一格补上了;或者你那块硬件的玩家太少,issue 区一直没人来报数。
研究底稿:竞品表、获客证据、完整研究报告
- 竞品
名字 在哪 上线 规模 它和这家不同在哪 Niko1221/Strata 开源 2026-09-24 41,439 star,近 7 天 +4,418 当红引擎,有 App 和一键安装,主要按 NVIDIA 调;Avalon 只做 AMD RDNA3,生成快 30–47%,但 prefill 慢,也没有 App nicejunjie/Strata-rdna3 开源 2026-10-07 79 star,近 7 天 +58 Strata 的 RDNA3 私人分支,同一批 7900 XTX 用户;实测 prefill 比 Avalon 高 70%,生成比 Avalon 慢(Strata #5113) llama.cpp 开源 2023-03 约 13 万 star Avalon 的底座,通用,读不了 Avalon 的权重;主线 11 月也开始吸收'CPU 算没命中的专家' spiritbuun/buun-llama-cpp 开源 2026-03-26 905 star Avalon 的起点(GPU 专家缓存、RAM 层),实验性质的通用分支,没为一个模型和 AMD 做到底 ikawrakow/ik_llama.cpp 开源 2024-06-27 3,380 star 提供 IQ3_KS 等量化类型,通用,没有专家缓存 FlashML-org/FreeToken 开源 2026-07-20 16,805 star 通用的桌面大模型引擎,不专门照顾 AMD 老平台 basalt / Infernix / tandem.cpp 开源 2026-10-06 / 10-08 / 11-01 751 / 280 / 47 star 同为 Qwen3.8 专用引擎,但只做 NVIDIA(Blackwell、5090、4090) halogen-flash-server / gufo / strixite 开源 2026-08 至 10 1,255 / 1,104 / 99 star AMD,但做的是 Strix Halo 统一内存 APU,不是独显加系统内存 Dyluhn/R9V、nasone32/llama.cpp-RDNA3-7900xtx-opt 开源 2026-08 / 09 69 / 85 star AMD 独显的配方或小改,没有完整的专家缓存引擎,也没有对比叙事 Lemonade(AMD lemonade-sdk) 大厂功能 早于 2026 AMD 官方 通用的 AMD 本地推理入口;Avalon 的 llama-server 可以替换它的 ROCm 后端 - 用户从哪来
- 查实 YouTube 本地 AI 解说频道(Strata 系列续集):10-30 Code Unpacked 2.6 万播放、10-31 Kai(7.03 万订阅)7.9 万播放 1,220 赞、11-01 Code Bear 1.27 万播放,另有 KernelBrief 6,584 等十几条;标题统一用'比 Strata 快 47%/9x';10-28 只有 10 star,视频之后 11-01 到 96、11-02 到 169
- 查实 作者 Reddit r/ROCm 首发帖和更新帖:约 10-22 首帖(同步 r/LocalLLM),到 10-28 只有 10 star;约 11-02 更新帖(Windows、4090 追平 Strata、16GB 够用)对上 11-02 的 +73
- 查实 寄生 Strata 社区和对比讨论:Strata issue #5113 把 Avalon 放进四引擎对比;r/LocalLLaMA 出现'Strata (Nvidia) or Avalon (AMD)'这类推荐
- 查实 用户跑分和 issue 回流:42 条 issue/PR,多为带完整数据的硬件报告;README 有'Reported by users'表;Windows 移植由用户贡献
- 查实 中文、日文二次传播:玩客笔记 7,184 播放、Star_Owal 4,951 播放;X 上只有一条日文小号推(115 浏览)
- 推断 HN / X 大号 / 广告 / Product Hunt:hackernews 库没有相关帖;x-radar 0 条;TikHub X 搜索只有几条小号
freriadoc/Avalon 为什么能跑出来
研究日期 2026-11-07(库里数据到 11-08)。数据来源:我们的 github 库(repo_day / repo_profile)、hackernews 库、x-radar、TikHub X 搜索、GitHub API、Wayback 存档、Hugging Face API、YouTube Data API、Jina / Brave / Exa 搜索。Reddit 正文抓不到(403),Reddit 部分只用了搜索摘要。
一句话
Avalon 是一个 llama.cpp 分支,只为一个模型 Qwen3.8-Flash-Next(125B MoE,512 个专家,每次激活 10 个)和一种机器做优化:一张 AMD 消费级显卡(RDNA3,ROCm)加上系统内存里的专家。作者 Frédéric BELVAL(GitHub freriadoc,账号 2024-11 注册,6 个粉丝,没有 X 账号)用自己的老台式机(Ryzen 3800XT、DDR4、PCIe 3.0、RX 7900 XT 20GB)跑出 98 t/s,README 写明比 Strata 同机快 44%。
结论:它是 Strata 热潮下"AMD 用户的答案"。 Strata 一个多月拿了 4 万多 star,但主要按 NVIDIA 调;AMD 显卡用户没有对口的引擎。Avalon 给了一个"同一台机器比 Strata 快 47%"的对比数字。这个"挑战者打赢了当红引擎"的标题被 YouTube 本地 AI 频道(大多是 Strata 视频的同一批频道)批量做成视频,star 从 10 月 28 日的 10 个涨到 11 月 8 日的 369 个。作者自己只在 r/ROCm 发过两帖,首帖几乎没带来 star。
数据
| 指标 | 数值 | 来源 |
|---|---|---|
| 建库 | 2026-10-09(提交历史从 10-28 开始,之前的历史可能被压掉了;HF 权重 10-22 上传) | GitHub API、HF API |
| star 曲线 | 10-28 为 10 → 11-01 为 96 → 11-02 为 169(+73,单日最高)→ 11-03 为 220 → 11-04 为 254 → 11-05 为 279 → 11-06 为 297 → 11-07 为 311 → 11-08 为 353(+42);GitHub 实时 369 | 10-28 来自 Wayback 存档页(stargazerCount 10、forksCount 1);其余来自 github 库 repo_day |
| fork | 55(fork/star 约 15%);排在前面的 fork 只有 ppkrol/Avalon_windows 有 5 star,其余都是 0 star 的个人 fork | GitHub API |
| issue / PR | 42 条(10-26 起),几乎都是真实硬件的长篇 bug 报告和跑分(R9700、7900 XTX、RX 6800 XT、RTX 3090/5090、双卡),另有 7 个外部 PR | GitHub API |
| HF 权重下载 | freriadoc/Qwen3.8-Flash-Next-Avalon-GGUF 累计 7,684 次、16 赞。这个库有 33 个分片,按文件计数的话完整下载可能只有几百次(未核实) | HF API |
| 对照 | Strata 41,439 star(近 7 天 +4,418);ISTA 的 GSQ-RCO 量化下载 689 万次 | github 库、HF API |
| 提交节奏 | 最近 100 个提交分布在 10-28 到 11-07,11-07 一天 21 个(多卡流水线、NVIDIA MMQ 等) | GitHub API |
时间线(拼起来的):
- 10-22:HF 上传权重;README 第一次给出同机对比(Strata 0.1.43 为 61.9 t/s,Avalon 为 91.0 t/s)。
- 10-22 前后:r/ROCm 首帖《Avalon, a llama.cpp fork that runs Qwen3.8-Flash-Next … at 92 t/s … on an "aging" computer》,同步发到 r/LocalLLM。作者也在 r/LocalLLaMA 的《OK, fine, Qwen 3.8 Flash Next is nice》帖下留言推荐。到 10-28 只有 10 个 star,说明 Reddit 首发几乎没起量。
- 10-24:ppkrol 做了 Windows 移植(10-31 合并进主干)。
- 10-30:Code Unpacked 发《This llama.cpp Fork Just Beat Strata by 47% on AMD》,2.6 万播放。
- 10-31:Kai(7.03 万订阅)发《Avalon Just Beat Strata by 47% on AMD (9x Faster)》,27 分钟,7.9 万播放、1,220 赞、168 评论。
- 11-01:Code Bear(6.03 万订阅)发《Avalon beats Strata 9x faster on AMD》,1.27 万播放;另有 Backprop Bureau、abd、Code District 等小频道。这天 star 到 96。
- 11-02 前后:作者在 r/ROCm 发更新帖《Avalon update: Windows support, RTX 4090 on par with Strata, 16 GB of RAM is enough》,当天 +73,是单日最高。
- 11-03:KernelBrief《Avalon LLM on your GPU, card by card》6,584 播放;AgenticEngineering 3,637 播放;Strata 仓库里出现 issue #5113,把 Strata-rdna3、官方 Strata 和 Avalon 放在一起跑分。
- 11-04:Medium《I Compared Avalon and Strata Across 6 GPUs》。
- 11-05:中文视频出现。玩客笔记(8,690 订阅)7,184 播放,Star_Owal 4,951 播放。
竞品
| 产品 | 类型 | 上线 | 规模 | 和 Avalon 的区别 |
|---|---|---|---|---|
| Niko1221/Strata | 开源引擎 + 桌面 App | 2026-09-24 | 41,439 star,近 7 天 +4,418 | 当红引擎,有一键安装、App、编程 agent 接入;主要按 NVIDIA 调,AMD 走 HIP 但作者没在 RDNA3 消费卡上调过(Kai 视频原话:"the one card Strata's maintainers never ran")。Avalon 在 RDNA3 上生成快 30–47%,但 prefill 慢,也没有 App |
| nicejunjie/Strata-rdna3 | 开源(Strata 的 RDNA3 分支) | 2026-10-07 | 79 star,近 7 天 +58 | 最直接的对手:同样给 7900 XT/XTX 用户。Strata #5113 的实测:它的 prefill 比 Avalon 高 70%,Avalon 的生成更快(106–117 vs 88–103 t/s) |
| ggml-org/llama.cpp | 开源 | 2023-03 | 约 13 万 star | Avalon 的底座。通用,不跑 Avalon 的权重格式;11-08 主线也开始让 CPU 算一部分没命中缓存的专家(X @johnroodepic),在往 Avalon 的思路上靠 |
| spiritbuun/buun-llama-cpp | 开源 | 2026-03-26 | 905 star | Avalon 的直接来源(GPU 专家缓存、LFU、RAM 层),是实验性质的通用分支,没为一个模型和 AMD 做到底 |
| ikawrakow/ik_llama.cpp | 开源 | 2024-06-27 | 3,380 star | 提供 IQ3_K / IQ3_KS 量化类型,通用,没有专家缓存这套 |
| FlashML-org/FreeToken | 开源 | 2026-07-20 | 16,805 star | 通用的"桌面跑数据中心模型",不专门照顾 AMD 老平台 |
| simplexai-labs/PolyStrata | 开源 | 2026-10-06 | 906 star | Strata 引擎加第二引擎、扩更多模型,走的是 NVIDIA 加一键安装的路子 |
| jesdga95/basalt、Wallawalla47/Infernix、ewhacc/tandem.cpp | 开源 | 2026-10-06 / 10-08 / 11-01 | 751 / 280 / 47 star | 都是 Qwen3.8 专用引擎,只做 NVIDIA(Blackwell、RTX 5090、RTX 4090) |
| halogen-flash-server、gufo、strixite、Qwenox | 开源 | 2026-08 至 10 | 1,255 / 1,104 / 99 / 133 star | AMD,但做的是 Strix Halo 这类大统一内存 APU,不是独显加系统内存 |
| Dyluhn/R9V、nasone32/llama.cpp-RDNA3-7900xtx-opt | 开源 | 2026-08 / 09 | 69 / 85 star | AMD 独显专用,但只是配方或小改,没有完整的专家缓存引擎,也没有对比叙事 |
| warpfront/hipfire | 开源 | 2026-03-21 | 804 star | RDNA 原生的 Rust 通用引擎,不针对单个模型 |
| Lemonade(AMD 的 lemonade-sdk) | 大厂工具 | 早于 2026 | AMD 官方 | 通用的 AMD 本地推理入口;Avalon 的 llama-server 可以直接替换它的 ROCm 后端(README 有说明,未测) |
| MTPLX、slotstream | 开源 | 2026-05 / 08 | 2,683 / 656 star | Mac 上的同类,硬件不重叠 |
结论:"消费级硬件跑 Qwen3.8-Flash-Next"这条赛道挤满了人,但按硬件切开看,"AMD 独显(RDNA3)+ 系统内存放专家"这一格在 Avalon 之前没有像样的专用引擎。Strata 的 AMD 支持是顺带的,Strata-rdna3 是 Strata 用户自己维护的私人分支(简介写 "Private Strata customizations")。
增长手段(证据)
- YouTube 本地 AI 频道批量做"挑战者打赢 Strata"视频(已证实,主因):能搜到 17 个以上标题或简介提到 Avalon 的视频,2026-10-30 到 11-05 集中出现,Avalon 专题视频合计约 16 万播放。最大的三条:Kai 7.9 万、Code Unpacked 2.6 万、Code Bear 1.27 万(YouTube Data API)。这些频道本来就在做 Strata(Kai 前一条《You Don't Need an Expensive GPU Anymore (Strata 100 tok/s)》22.5 万播放;Code Unpacked 简介写"In my last video, Strata beat llama.cpp by about four times"),Avalon 是"Strata 续集"。标题清一色用 47%、"9x Faster" 这类数字。不少频道是 2026 年新开的(Code Unpacked 7 月、KernelBrief 5 月、Backprop Bureau 10 月、The Marshal Explains 10-29),简介格式高度相似,像 AI 批量生产的科技解说号。时间对得上:10-28 只有 10 star,10-30/31 两条大视频之后,11-01 到了 96、11-02 到了 169。没有证据显示作者付费或安排。
- 作者在 Reddit r/ROCm 发帖(已证实,首发没起量,更新帖有效):首帖约 10-22,同步发到 r/LocalLLM,但到 10-28 只有 10 star。11-02 前后的更新帖(Windows、4090 追平 Strata、16GB 内存够用)对上了 11-02 的 +73。作者还在 r/LocalLLaMA 讨论 Qwen3.8 的帖子下留言推荐;r/LocalLLaMA《Are bespoke inference engines overhyped? My Strata experience on 2× R9700》里有人说是在 YouTube 刷到 Avalon 的。另有用户在《Is Qwen 3.8 27B still the king》里写"Strata (Nvidia) or Avalon (AMD)",可见在 r/LocalLLaMA 已经开始有"AMD 用 Avalon"的口碑定位。
- 寄生在 Strata 的社区里(已证实):Strata 仓库 issue #5113(11-03)把 Avalon 放进四引擎对比;Avalon 的 issue 区有用户贴 Strata 的启动日志,也有人要求"Copy --vram-reserve-mib from Strata"。"同一台机器对比 Strata"这个写法,让所有讨论 Strata 的地方都能顺手提到它。
- 用户跑分回流进 README(已证实):README 专门有一节"Reported by users",列 R9700、7900 XTX、Windows 11、W7800 的用户实测;42 条 issue 多是带完整数据的长报告。每条新硬件跑分都是一条可以转述的新素材,KernelBrief 的"card by card"视频就是从这些数据拼出来的。
- 下游项目开始接入(已证实,量小):tmac1973/llama-toolchest #494《Support curated llama.cpp forks (Avalon first)》;yeixio/toskar-core #1138 计划复现 Avalon 的结果;ppkrol 的 Windows 移植已合并。
- 中文、日文圈二次传播(已证实,量小):玩客笔记 7,184 播放、Star_Owal 4,951 播放;X 上只有一条日文推(@AIDev25,115 浏览)和一条中文视频转发(173 浏览)。
- 没找到的:HN(hackernews 库里没有相关帖)、X 大号转发(x-radar 本地语料 0 条,TikHub 实时搜索只有上面几条小号)、Product Hunt、广告。trending 不收建库不满 60 天的库,所以不算反证。
为什么跑出来
- 站在 Strata 的流量上:Strata 一个多月 4 万 star,把"游戏卡跑 125B"做成了大众话题,也养出了一批专门做 Strata 视频的 YouTube 频道。Avalon 提供了这批频道最想要的续集素材:挑战者、同机对比、一个大数字(47%)。
- 补上了 AMD 这一块:Strata 按 NVIDIA 调,RDNA3 消费卡(7900 XT/XTX,二手价比新 RTX 5070 还便宜)的用户没有对口的引擎。Avalon 在作者自己的 7900 XT 上调到底,Run Local AI 的视频直接把它讲成"买卡别只看 NVIDIA"。
- "老电脑"叙事能复现:Zen 2 CPU、DDR4、PCIe 3.0、B450 主板,README 开头把硬件列成表,还强调"16GB 内存也能跑 49 t/s"。普通玩家看了会觉得"我这台也行",愿意去试、去报数。
- 工程上的诚实感:README 主动更正过去 16/32GB 的数字测错了;NVIDIA 上写"打平,prefill Strata 更快";质量用困惑度和 GSM8K 证明"快不是因为模型变小"。这让懂行的人愿意替它说话,KernelBrief、Medium 文章都在做"它到底快在哪"的拆解。
- AI 写 kernel 的故事:作者自述架构和宏观优化是他自己的(30 年优化经验),GPU/CPU kernel 全部由 Claude Opus 5.5 写。这是一个有话题性的副线(首帖就写了"help from Opus 5.5")。
- 作者回得快:11-07 一天 21 个提交;issue 里的多卡、RDNA4、Windows 问题很快变成功能,留住了早期的 AMD 测试者。
差异化
和 Strata 比:Avalon 不做 App、不做多模型,只做"一个模型、一张 AMD RDNA3 卡、专家放内存",把显存每一个字节都借给专家缓存(compute buffer、KV 尾部轮流借),CPU 和 GPU 同时算,加上自己管理的 RAM 专家缓存(不用 page cache,16GB 内存也不崩)。它基于 llama.cpp,所以接口就是熟悉的 llama-server 或 OpenAI 兼容接口,还能塞进 Lemonade。和 llama.cpp、buun、ik_llama.cpp 比:它把这些项目的零件(专家缓存、IQ3_KS、预取、MTP)拼成一个为单个模型调好的成品,配一行安装命令和自己的混合量化权重。
这个差异是它跑出来的原因,但只是一半:"AMD 上比 Strata 快 47%"是能做成标题的硬差异;另一半是外部的 YouTube 频道需要 Strata 续集。没有后者,首发帖 10 天只拿到 10 个 star。它的护城河很薄:Strata-rdna3 的 prefill 已经比它高 70%,llama.cpp 主线也在吸收"CPU 算没命中的专家"这类思路;权重格式 stock llama.cpp 读不了,确实有一点锁定,但 HF 下载 7,684 次,规模太小,谈不上"锁住用户"。
能见度与跟风
- 小圈子里在传:r/ROCm 两帖、r/LocalLLaMA 零星提到;YouTube 约 17 条视频,Avalon 专题合计约 16 万播放;Medium 一篇;Strata 仓库 issue 里有人拿它做对比。HN 没有,X 大号没有,没有媒体报道。作者没有 X 账号,开源免费,不收钱。
- 跟风者:还没有人直接仿它做"AMD 专用 Qwen 引擎"。有 ppkrol/Avalon_windows(Windows 移植,5 star,已合并回主干)、54 个基本 0 star 的个人 fork、下游接入请求(llama-toolchest、toskar-core)。同期的 nicejunjie/Strata-rdna3(79 star,近 7 天 +58)更像是对手阵营的反击,不算跟风。
别人能借鉴的
- 在当红项目的"空白硬件格子"里做专用版:一个开源爆款(Strata)起来后,看它没覆盖好的硬件或平台(AMD、Windows、Mac、老卡),在那一格做到最好。
- 给出"同机对比当红项目"的单个大数字:"比 Strata 快 47%"让所有做 Strata 内容的人都能顺手做一期续集,流量是现成的。
- YouTube 解说号是开源项目被低估的分发渠道:这批 AI 批量生产的科技解说号缺选题,一个带对比数字、带硬件表格的 README 就够他们做一条 10–27 分钟的视频。Reddit 首发没起量,YouTube 起量了。
- README 当实验报告写:硬件表、测试方法、主动更正、用户跑分表,让二手解说有素材,也让懂行的人愿意背书。
- AI 写 kernel 降低了门槛:一个人用 Claude 写 GPU/CPU kernel,一个月做出能和 4 万 star 项目对打的引擎。下一个当红开源模型出来时,这套"单模型 × 单硬件"的打法可以再做一遍。
不确定
- 10-09 建库到 10-28 之间发生了什么(提交历史从 10-28 才开始,可能是私有库转公开,或者历史被压掉了)。
- 11-08 又涨 +42 的来源(可能是 11-07 多卡功能那批提交加上新帖,未核实)。
- 拿不到 stargazer 时间分布(API 返回 404),每天涨星来自哪个渠道只能按时间对。
- 这批 YouTube 频道是不是 AI 批量生产的号、有没有人安排:只看到"频道新、格式相似、都做 Strata 系列",没有作者参与的证据。
- HF 下载 7,684 次对应多少个真实用户(33 个分片)。
- 作者和领英上那位"Frédéric Belval(巴黎 Euronext 交易系统高性能优化顾问)"是不是同一个人,只是同名加经历吻合,未核实。