三条推、三个数字、1000 多颗星:Locals 是怎么在最挤的赛道里挤进来的

Generated-Computers/Locals:为什么能跑出来

一句话:Locals 是一个只跑在 Apple Silicon Mac 上的本地推理服务,专门给多个编码 agent 同时用(并发批处理、工具调用语法约束放在 GPU 上做、跨轮次和重启都保留 KV 缓存),在 8 路并发下自测比 mlx-lm 快约 3 倍。背后是一家刚成立的“研究型实验室” Generated Computers,创始人 Arip Asadulaev 是做 RL/最优传输的研究员。 结论:star 是创始人自己在 X 上发的几条帖带起来的,每次都配一个能放进标题的数字(3x、23x),而且两次蹭了别人新模型发布的热度(Liquid LFM3 发布当天、Qwenputer 走红一周后)。再加上一篇 arXiv 复杂度理论论文当“硬核背书”,最后被 AlphaSignal 这类 AI 资讯号转载。真实使用量很小:PyPI 累计下载不到 1000。

数据日期:2026-11-06。来源:我们的 github / x / hackernews 库,GitHub API,X 实时搜索(TikHub),Jina / Exa 网页搜索,pypistats。

1. 基本数据

逐日 star(github 库 repo_day)和对应事件:

最大的单日涨幅是 11-06 的 +487。最可能的来源是 AlphaSignal 资讯和它带出来的转载,但我们拿不到 stargazer 时间戳(GitHub 的 stargazers 接口对这个库返回 404),所以这一点未核实。

2. 竞品

Mac 本地推理服务这条赛道已经很挤了,几乎每家都打“比 X 快 2~4 倍”“给编码 agent 用”。

结论:竞品很多,而且 oMLX 已经把“Mac 上给 agent 用的推理服务”这个位置占住了(2.3 万 star)。Locals 没有开辟新品类,是在拥挤赛道里靠更会讲故事挤进来的。

3. 用户从哪来(增长手段)

1. 创始人的 X 帖,每条一个标题数字(已证实):发布帖 ❤1123 / 10.4 万浏览,之后每条有 star 的跳涨都对得上前一天的帖子。@machinestein 不是大号(30 天只发 4 条),一条 1000 赞的帖子就能带来约 270 star。
2. 蹭新模型发布(newsjacking)(已证实):
   • Liquid AI 发布 LFM3 当天,Locals 就上了“唯一能跑 LFM3”的支持(README 写着“No mlx-lm release can load it yet”),引用官方帖 → ❤804;
   • Qwenputer(别人把 RISC-V CPU 编进 Qwen 权重里,原帖 88 万浏览、Qwen 官方转发)走红一周后,Locals 用 C 在 CPU 上跑它,宣称快 23 倍 → ❤626,随后两天 +700 star;
   • Recursive 的 Flint(40B MoE)也是同样的套路。 做法是:新模型、新玩法一火,马上做“Mac 上最快 / 唯一能跑”的支持,写进 README 置顶的 “New:” 区块,再引用原帖。
3. 论文背书(已证实):arXiv 2610.09139(2026-10-06 提交)宣称把 Savitch 定理 50 年来的空间上界压低了,再把证明里的构造做成推理引擎。“复杂度理论突破 + 工程落地”这种叙事很适合传播;@DimitrisPapail(AI 研究圈 core 成员)也转发了 Qwenputer。
4. AI 资讯号和聚合站转载(已证实有,对 11-06 那波的带量作用未核实):AlphaSignal(11-05)、shiplog、hermes-ai、nav-ai、productradar、hdatf(韩文)、韩国 YouTube 视频、中文 X 搬运号(@dsoch8c、@qikamatata)。
5. Reddit r/LocalLLM 自发帖(已证实存在,发帖日期和热度未核实,页面被 403 拦了):“I just open sourced an Apple Silicon engine…”。
6. HN:库里没找到 Locals 的 Show HN(我们的门槛是 ≥5 分),等于在 HN 上没起来。
7. 没看到买量、刷星的证据。fork 比例 3.4% 偏低,但 README 写的就是用 uv tool install,用户不需要 fork;库也没有 suspect 标记。

4. 为什么能跑出来

• 时机:2026 年本地编码 agent(OpenCode、Claude Code 接本地模型、OpenClaw/Hermes)和小参数 agent 模型(Qwen3.5-4B、LFM3、Flint)同时成熟,“在 Mac 上并行开好几个 agent”成了真实需求,而 mlx-lm 在 4~8 路并发上不再变快,这个短板被 Locals 的图表直接画了出来。
• 叙事锋利:一张图、一个数字(87 → 271 tok/s,3.1x)、一句话(“Run many AI agents at once on your Mac”),对比对象选的是大家都知道的 mlx-lm 和 Ollama。
• 研究型背书:有 arXiv 论文,有“打破 Savitch 界”这种大词,在研究员圈里有话题性,和一般的“又一个 MLX 服务端”拉开了距离。
• 反复蹭热点:平台期一出现就借下一个热门模型再推一次。三次 star 跳涨全是这么来的。
• 上手门槛低:locals code ~/my-project 一条命令自动下载模型、启动服务、打开 OpenCode;locals launch 一条命令接 Claude Code、Cline、Aider 等工具。

5. 差异化,以及它是不是起量的原因

技术上的差异化:(1)语法约束(工具调用、JSON schema)放在 GPU 上算,不用查表,一个语法只占 3 MB(llguidance 最多要 1.5 GB),所以能同时挂 16 套工具 schema;(2)为小批量重写的 GPU kernel,并发越多越快;(3)agent 专用护栏:防复读、防死循环调同一个工具、内存保护;(4)locals run 把任务拆开、在多份项目拷贝里并行跑、让测试来决定用谁的结果。

这些差异化在传播里只起“可信度”作用,不是起量的直接原因。 普通用户分不清它和 oMLX、Rapid-MLX 的区别,所有跑分都是作者自测(AlphaSignal 也写了“await independent reproduction”)。真正带来 star 的是“3x / 23x”这类数字、论文叙事,外加踩准别人模型发布的节奏。PyPI 只有几百次下载,说明关注的人远多于真正装了用的人。

6. 可见度与跟风

• 收入:没有,开源免费。商业化方向在官网 /business(GPU 上的多 agent 推理引擎,号称“2x vLLM、成本减半”)和 /horizon(“像整台计算机一样的世界模型”),是典型的拿开源项目做声量、为企业业务或融资铺路。
• 可见度:小圈子里在传。只有 AI 资讯号(AlphaSignal 等)和中韩搬运号写过;没有主流科技媒体报道,没有大 V 专门推荐 Locals 本身(Dimitris Papailiopoulos 转的是 Qwenputer 的帖);HN 没起来。
• 跟风:没有直接抄 Locals 的。同类定位的新项目已经在出(Strim 10-30、Atomic Local AI Server 11-05),但更像赛道本来就挤,不是在抄它。

7. 别人能借鉴的

• 基础设施类开源项目的增长打法:盯着新模型发布,当天就做“Mac 上最快 / 唯一能跑”的支持,置顶在 README 的 “New:” 区块,X 上引用官方帖。每做一次就是一波免费流量。
• 用一张对比图讲清“它在哪儿不行、我在哪儿行”(mlx-lm 4→8 路吞吐不涨),比一整张跑分表更好传播。
• 论文 + 开源 + 一条命令上手,三件事同时做,研究员圈和开发者圈都能吃到。
• 名字、简介讲用户能感知的结果(“多开 agent、快 3 倍”),不讲技术名词。

8. 不确定的

• 11-06 那波 +487 具体从哪来(AlphaSignal、Reddit、还是别的大号转发),拿不到 stargazer 时间戳,未核实。
• 3x / 23x 都是作者自测,没有第三方复现;那篇论文的复杂度结论有没有被同行认可,未核实。
• 真实使用量:PyPI 下载很少,但很多人可能走 install.sh 或从 GitHub 用 uv 装,这部分数不到。
• 公司有没有融资、团队多大,未查到(看起来就是 1~2 个人)。