LLMTest

发布之后的表现

收入:indie(TrustMRR)库里没有 llmtest.io,也没有 PixelGrid / dev_404 相关档案库。所以它的真实流水、MRR、订阅数、是否挂牌出售,全部无法核实。按官网定价(10% 加价)推断,收入 = 客户经它代理的模型花费 × 10%,要跑出可观 MRR 需要相当大的调用量推断。

用户 / 下载:appstore、googleplay、macappstore、chromestore 四个库按名字和域名点查均无结果库。它是纯 Web/API 产品,没有移动端,商店库没有它属正常,不能当负面证据。

开发者关注:github 库按 homepage_domain=llmtest.io 和仓库名 llmtest 查,没有结果库。注意一个同名干扰项:GitHub 上 bahadiraraz/LLMTest(13 star、0 fork、MIT、最后提交 2026-03-09,已改名 assertllm、官网 assertllm.dev)是另一个人的开源项目,与 llmtest.io 无关GitHub 页面。llmtest.io 本身没有公开仓库。

讨论:hackernews 库里唯一命中是 2026-03-08 的 Show HN「LLMTest – The pytest for LLMs with 22 built-in assertions」,4 分、0 评论,链接是 llmtest.dev库——但该域名现已 301 到 assertllm.dev,是 Bahadir Araz 的开源项目,不是本档案的 llmtest.io,属同名误配。llmtest.io 本身在 HN 库里没有帖子。X 本地库(约 560 名 core 成员原创帖)按 llmtest / llmtest.io 正则查,零提及;创始人也不在任何圈子名单里库。

官网和公开网页:官网在线且明显在运营——首页有「NEW Autopilot」模块、/models 页列 653 个模型 / 80 家供应商(首页文案仍写「340+ models」,两处口径不一致)、/status 页显示 API Proxy、MCP Server、Benchmarks、Billing 全部 Operational、/blog 最新文章 2026-09-25官网。博客是典型 SEO 内容矩阵:大量「How to … in Node.js 2026」「Best LLMs for …」教程/对比文,面向 solo dev / indie hacker官网。aat.ee 收录页(2026-05-27 提交)9 upvotes、2 条评论,评论都是「这个 fallback 功能能省我几小时」这类泛泛好评官网。没有融资、收购、changelog 或创始人公开发言的记录。

自报 vs 实际

• 自报「340+ models」官网首页vs 官网 /models 页「653 models from 80 providers」官网:同一站点两个数字,首页文案没跟上,不是造假但说明文案维护滞后。
• 自报「Pricing: Free」aat.ee,2026-05-27vs 官网现价「10% on top of model cost」官网,2026-11-02:已从免费转为收费,旧档作废。
• PH 文案「OpenRouter + Intelligence」自报:把自己定位成 OpenRouter 的智能层。但 OpenRouter 本身已有大量模型路由/降级能力,这个差异化能否成立,库里没有任何收入或用户数据可以验证。
• 没有任何自报的用户数、MRR、下载量可对照——它也没公开这些。

为什么成了 / 没成

判断:目前是「活着但平」,更准确说是「在运营、但看不到增长证据」。

成的部分:产品定位清晰(LLM 成本优化 + 故障切换 + prompt 自动优化),切入点是真实的痛点——多模型 API 会挂、会限流、JSON 会坏,开发者确实要写 fallback 逻辑;PH 拿到日榜第 9、124 票,说明发布当天有基本盘。官网从 2026-03 的条款一路更新到 2026-09 的博客,还加了 Autopilot 新功能,不是发完就跑。

没成的部分(或至少没被验证):发布 5 个多月后,PH 关注数只有 139、评论 2 条、reviews 0 条库;indie 库里没有收入档案;HN、X 零讨论;GitHub 无仓库。一个开发者工具如果真被用起来,通常会在 HN / X / GitHub 至少留下痕迹,这里全无。它的获客几乎完全押在 SEO 博客上(博客标题全是长尾教程词),而 SEO 内容站要转化成付费 API 代理客户,链条很长。更根本的问题是:它做的是「代理层」,而 OpenRouter、LiteLLM、各家 SDK 自带的 fallback 都在做同一件事,且很多免费;10% 加价要客户愿意为一个中间层多付钱,门槛不低。

对想跟的人

这个方向还有位置,但位置不在「再做一个 LLM 代理 + fallback」——LiteLLM(62k star)、OpenRouter 已经把路由和降级做成基础设施,10% 加价很难说服人。真正没被填的是「用真实流量自动改 prompt 并证明没变差」这一层,LLMTest 的 Autopilot 五道安全门(95% 置信、双裁判一致、≥20% 省钱、golden set 不回归、长度偏差检查)是它最有意思的设计官网,但它的证据链是空的:PH 139 关注、0 条 review、indie 库无收入、HN/X 零提及。想跟的人要么把「自动优化 + 可回滚」做成能拿数据证明的闭环(比如公开 A/B 前后成本对比),要么就别碰代理层——因为代理层没有护城河,而它 5 个月零第三方信号,恰恰说明光靠 SEO 博客喂不出这个品类的付费客户。

没查到的

• indie(TrustMRR):没有 llmtest.io / PixelGrid 档案,收入、MRR、订阅数、for_sale、asking_price、channels、first_seen 全部无法给出。
• appstore / googleplay / macappstore / chromestore:均无结果(纯 Web 产品,预期如此)。
• github:无 llmtest.io 关联仓库;同名 bahadiraraz/LLMTest 是无关项目。
• hackernews:llmtest.io 无帖子;唯一命中是 llmtest.dev(已跳转 assertllm.dev)的同名误配。
• x 本地库:零提及,创始人不在圈子名单。
• 团队信息:PixelGrid 的规模、所在地、创始人实名与过往作品,公开网页查不到;aat.ee 的 maker 名「dev_404」无法对应到真实身份。
• 官网没有 changelog 页;Wayback 对 llmtest.io 无 2026-06 前的存档,无法比对早期定价/文案。