PHBench

发布之后的表现

收入:indie(TrustMRR)库里没有 vela.partners 或 PHBench库。产品本身免费、无付费墙,所以「没有收入记录」与「不收费」一致,不是漏采。

用户 / 下载:App Store、Google Play、Mac App Store、Chrome 商店四个库都没有它库——它是纯网页 + API,没有客户端,符合预期。

开发者关注:GitHub 库没有 ihlamury/phbench(不到 50 星的老库不在名单)库。现查 GitHub 页面:20 star、1 fork、2 个 commit,最后一次提交 2026-05-12(「remove paper source from public repo」)GitHub。fork/star 比 5%,正常;但 20 star 对一个上了 PH 日榜第 3、有 arXiv 论文的项目来说非常低。

讨论:Hacker News 库按域名 phbench.com 查 0 条;按标题搜「PHBench / Series A Product Hunt」只命中两条无关 Show HN库。X 本地库(core 层 560 人)对 phbench / vela.partners 零提及,创始人 @theLLMpreneur 不在任何圈子名单里库。也就是说,PH 上拿了 386 票,但 HN 和 X 两个技术圈几乎没接住。

官网动态:站点在线且活跃。首页展示「TOP PICKS THIS WEEK Oct 19–25, 2026」,预测页有 2026-10-26 那一周 133 个 launch 的打分官网。工具页称基于「9,304 featured launches(2025-01 至 2026-07)」,首页称基准集是「67,292 launches(2019–2025)」——两个口径不同(基准集 vs 工具集),不是矛盾。arXiv 论文 2605.02974 于 2026-05-03 提交arXiv。母站 Vela 博客 2026-10-29 仍在更新官网。

自报 vs 实际

• 自报「4.7× lift over random」官网/论文:论文摘要写测试集 AP=0.037(95% CI 0.024–0.072),确实是 4.7× 随机基线;但同页也承认验证集 F0.5=0.284 是「144 次实验里挑最好」的选择偏差,真实测试集 F0.5 只有 0.097。自报的「4.7×」成立,但绝对精度很低(正样本率 0.78%)。
• 自报「Join 100+ readers」(周报订阅)自报:无第三方可核,库里没有该数据。
• 自报「#1 Product of the Month & Day on ProductHunt」官网:PH 库里 PHBench 这次发布是日榜第 3、周榜第 13、月榜第 46库。官网这句 #1 指的是同产品线 2024-12 的 Vela OS(日榜第 1、周榜第 5),不是 PHBench 本身——属于把母产品战绩挪用到子产品页,需指出。

为什么成了 / 没成

它本质不是「产品」,是 Vela Partners 的研究营销资产:一篇 arXiv 论文 + 一个公开 leaderboard + 一堆免费 PH 工具,目的是给这家量化 VC 引流(工具页底部直接挂 @theLLMpreneur 和 Vela 招聘/研究页)。所以用「收入 / 用户」衡量它天然失焦——它没有商业模式,也不打算有。

从「传播」看它只算半成:PH 日榜第 3、386 票说明发布当天有热度,但 20 个 GitHub star、HN 零条、X 零提及,说明热度没有沉淀成开发者社区。原因推断:①受众窄——「预测 Series A」对绝大多数开发者无直接用处,真正关心的是 VC 和创业者;②结果弱——0.78% 正样本率下 F0.5=0.097,「4.7× lift」听起来好但绝对命中率仍低,懂行的人不会当工具用;③它把最好的内容(论文、数据集)放在 arXiv/HF,站点只是门面,自然不产生 star 和讨论。

对想跟的人

这个方向的位置不在「预测融资」,而在用公开信号做 VC 的 sourcing 工具——Vela 自己就是这么用的(工具页导流到 Vela 的 YC S26 榜单、FounderBrain 等)。但坑很明确:PHBench 用 67,292 个 launch 只换来 528 个正样本、测试集 F0.5=0.097,数据量再大也压不住信噪比;而且它 20 star、HN 零条说明「免费 benchmark」换不来开发者关注。想跟的话,别做又一个预测模型,做给 VC 内部用的打分/尽调流水线(有付费方、数据不外泄),而不是公开 benchmark——公开 benchmark 的回报是论文引用,不是收入。

没查到的

• indie(TrustMRR):无 vela.partners / PHBench 记录,无法给出收入、MRR、订阅数、是否挂牌。
• appstore / googleplay / macappstore / chromestore:四个库均无,无榜单、评分、安装量。
• github 库:ihlamury/phbench 未入库(20 star < 50 门槛),star 走势只能靠 GitHub 页面单点(20 star / 1 fork / 2 commit)。
• hackernews / x 本地库:零提及;创始人 @theLLMpreneur 不在 X 圈子名单,无法看其发帖。
• 周报订阅数、API 实际调用量、站点流量:无公开来源,答不了。
• 注:数据包里另一条「PH Bench」(phben.ch,2017-08-14 发布,作者 sliday)是同名不同产品,与本次建档对象无关。