APIEval-20

发布之后的表现

收入

• indie(TrustMRR)库里没有 kusho.ai 或 APIEval-20库。KushoAI 是拿了 VC 的公司,本来就不在 TrustMRR 的覆盖范围(它只收愿意公开收入的独立开发者),所以「库里没有」不等于没收入。
• 官网自报「7Mn+ test executions」「5200+ Organizations」自报;PR 稿里写的是「30,000+ engineers across 6,000+ organizations」自报,PR Newswire 2026-04-08。两个数字口径不一致(5,200 vs 6,000+ 组织),且都无第三方可核。

用户 / 下载

• App Store、Google Play、Mac App Store 三个库里都没有它库——它是网页 + CLI + 数据集形态,没有移动端。
• Chrome 应用商店里有 KushoAI 的 3 个扩展库,2026-11-01 快照:KushoAI Browser Extension 1,000 用户(评分 5,1 个评分)、KushoAI UI Recorder 672 用户(评分 2.5,2 个评分)、KushoAI: Auto-generate API Tests 57 用户。三个加起来约 1,700 用户,量级很小,且与 APIEval-20 这个基准本身没有直接关系。
• HuggingFace 数据集 kusho-ai/api-eval-20:6 个 like,MIT 许可官网。这是「开源基准」最直接的采用度信号,6 个赞说明基本没被社区接住。

开发者关注

• GitHub 库里没有 kusho-co/api-eval-20库——它只有 3 star,低于 GitHub 库 50 星的收录门槛,所以「库里没有」是门槛问题不是不存在。
• 直接查 GitHub 网页官网:kusho-co/api-eval-20 3 star、0 fork、0 issue、最后更新 2026-05-27;同组织 kusho-ui-testing-tui 11 star、kusho-cli 6 star。整个 org 20 个仓库,没有一个过 15 star。fork/star 比 0/3,没有刷星迹象,但也没有任何外部贡献者。

讨论

• Hacker News 库里有 3 条 Show HN,全部指向 resources.kusho.ai库:2026-05-05「Open-source CLI to generate UI tests from user flows」10 分 3 评论;2026-06-04「Black-box API bug detection across 7 AI systems」11 分 4 评论;2026-06-17「A tool that scores your OpenAPI spec」6 分 2 评论。三条都没上过首页(front_hours=0),分数都在 10 分上下,基本是「发出去没人看」。
• X 本地库(560 人 core 层)里没有任何一条提到 kusho.ai 或 APIEval-20 的原创帖库;@kushoai、两位创始人 @saikia__、@sgawande1994 都不在圈子名单里库。创始人 X 粉丝量也很小(Abhishek 228、Sourabh 215)官网。
• 外部媒体覆盖主要靠 PR Newswire 通稿分发(PR Newswire、Morningstar、Yahoo Finance、StreetInsider、CXO Digitalpulse、aithority 等),属于付费通稿转载,不是记者主动报道官网。

官网动态

• 官网仍在运营且明显在往企业方向转型:首页已从「API 测试工具」改成「The reliability layer for modern software」,主打 API 契约测试 + 持续安全扫描 + 自愈测试基础设施 + 发布风险评分,面向 fintech / logistics / e-commerce / healthtech / oil & gas 等行业官网,2026-11-02。
• 博客仍在更新:2026-04-01 发布 APIEval-20 介绍,2026-06-03 发布《The Results from APIEval-20》结果报告(跑了 GPT-5、Claude Sonnet 4.6、Gemini 2.5 Pro、Claude Code、Cursor、Copilot 和 KushoAI 自己)官网。
• 没有融资或收购的新消息;最新一轮仍是 2024-02 的 $600K pre-seed官网。

自报 vs 实际

为什么成了 / 没成

作为基准,它没成。 一个基准的价值等于「有多少人拿它跑自己的系统并引用结果」。APIEval-20 发布 6 个月后:GitHub 3 star、HuggingFace 6 like、HN 三条 Show HN 最高 11 分、X 圈子里零提及。对比同期的 agent benchmark(如 SWE-bench 系列动辄上万 star),这个量级说明它没有进入任何人的评测流程。原因很直接:它由被评测方自己发布,且第一名就是自己。报告里 KushoAI 0.83 分、Claude Code 0.76 分,差距只有 0.07,而 KushoAI 又是唯一用「native workflow」的参赛者——这种结构让外部团队没有动机去引用它,因为引用等于替竞品背书。

作为 KushoAI 的营销资产,它成功了。 它换来了 PR Newswire 通稿被 Morningstar、Yahoo Finance、StreetInsider 等转载,给销售提供了「我们比 Cursor/Copilot 强」的话术,也支撑了官网从工具向企业平台(SSO/SAML、on-prem、99.9% SLA)的转型。所以它更像一篇带数据集的技术白皮书,而不是一个独立产品。

真正的隐忧是产品本身。 官网定价页只有 $0 和 Custom 两档,中间没有自助付费档——这意味着它靠销售驱动,而 KushoAI 只拿了 $600K pre-seed,却要做 on-prem 部署、SOC2/ISO27001、99.9% SLA 的企业级承诺。Chrome 扩展三个加起来 1,700 用户,说明自助侧的真实采用量很小。

对想跟的人

别跟「自己发基准、自己拿第一」这条路——APIEval-20 的 GitHub 3 star / HuggingFace 6 like 已经证明,评测方和被评测方是同一家时,社区不会接。真正有位置的是第三方中立基准:如果你能把 API 测试 agent 的评测做成「谁都能提交、结果公开可复现、发布方不参赛」,那现在这个赛道是空的(APIEval-20 的 20 个场景、97 个植入 bug 的规模也太小,报告自己承认「20 scenarios are thin」,APIEval-50 还在 roadmap 上)。最大的坑是:这个方向的天花板是「影响力」不是「收入」——基准本身几乎不可能收费,只能当获客漏斗,而漏斗下游的 API 测试工具市场已经被 Postman、Cursor、Copilot 和一堆 YC 公司挤满,KushoAI 自己用 $600K 打这个市场就是例子。

没查到的

• indie(TrustMRR):没有 kusho.ai / APIEval-20,拿不到任何收入、MRR、订阅数、是否挂牌出售的数据。
• App Store / Google Play / Mac App Store:三个库都没有它(无移动端产品)。
• X 本地库:560 人 core 层里零提及,创始人和官方号都不在名单里,拿不到圈内反应。
• GitHub 库:kusho-co/api-eval-20 只有 3 star,低于 50 星收录门槛,库里查不到,只能靠 GitHub 网页;因此没有 star 走势、fork/star 比、suspect 标记等结构化字段。
• 无法回答:APIEval-20 的实际下载/克隆量、有多少外部团队真的跑过它、KushoAI 的真实 ARR 和客户数(官网自报的 5,200/6,000 组织无第三方可核)。