一个 172 星的唇形同步模型:论文库的星从哪来,以及它留下的那块空地
它是什么 给一段人脸视频配上新音频,自动把嘴型改成对得上新音频的样子,脸的其他部分不动;特点是遮挡、侧脸也能处理,而且一步出图、接近实时。
为什么火了 它没真正火,是普通论文库的量:看过论文的人先点星等代码,11 月 4 日权重能下载后,做数字人和配音的开发者自己摸过来,每天二十多颗,没有任何大号推过。
C你可以怎么跟 别去训模型跟它抢,做它没做的:把权重搬上 Hugging Face 配一个在线 demo、包成 ComfyUI 节点,或者用它公开的难例测试集做一个几家唇形同步模型的并排对比仓库,两三周内出手。
- 数据(每天更新) · 建库 2026-09-24 · 226 星 · 7 天 +127
GitHub · 星数 数据 2026-10-30 → 2026-11-08(10 天,10 次观测)。10-28 以前的点来自 deeply / 存档补录,不是每天都有
ComplexSync 是广州趣丸科技(TT 语音、「趣丸千音」配音平台背后的公司)AI 团队的 WACV 2027 论文代码,做的是「给已有视频按新音频改嘴型」,主打遮挡、侧脸、复杂光照这些现有开源方案容易翻车的画面。建库 43 天 172 星(GitHub,11-06),量级就是一个普通学术库。它值得看的不是星数,而是这条曲线怎么长出来的,以及它没做的那几件事——那是别人能接手的部分。
一个开发者在等权重
2026 年 10 月 29 日,GitHub 用户 hlevring(Henrik Levring)在这个仓库开了第一个 issue,标题是「Thanks + questions on release」:
论文很有意思,也恭喜中了 WACV。双流训练和蒸馏那部分很有意思。你们会放多步模型吗,还是只放一步的?我很期待,能给个大概的发布时间吗?
那时仓库里只有一份 README。11 月 3 日作者回复:推理代码和 Stage 1、Stage 3 两个权重都放出来了。他当天又回来说,模型页上找不到 stage1.pt 和 stage3.pt。作者再回:
权重还在上传。我们这边网络出了点问题,这几天内应该能传完。
两个 5.49 GB 的文件,到 11-03 才在 ModelScope 上传完。这条 issue 几乎就是这个仓库的全部故事:一群人看了论文在等,东西真能下载以后,他们才开始来。
它是什么
一句话:给一段人脸视频和一段新音频,输出嘴型对上新音频的视频,脸的其他部分不动。用途是数字人口播、短剧和视频翻译配音——趣丸千音自己就做这门生意。
技术上它是扩散模型,但蒸馏到了 1 步出图。仓库放了两个权重:Stage 1 走 12 步,Stage 3 是 1 步版,另外用遮挡修复数据微调过,README 说比 Stage 1 快一个数量级;论文自报超过 70 FPS,没有第三方复现过。它还发布了一个叫 Complex-Val 的测试集,200 多段「难」视频。
没放的东西也写在 README 里:训练代码、数据预处理、评测脚本、Stage 2 都不放;只能在 CUDA 上跑;权重只在 ModelScope,没上 Hugging Face。
星是怎么来的
| 日期 | 星 | 当天发生了什么 |
|---|---|---|
| 09-24 | – | 论文挂 arXiv,同日建库,只有 README |
| 10-15 | – | README 宣布中 WACV 2027,写「接下来几周放代码、权重和测试集」 |
| 10-30 | 57 | |
| 10-31 | 96 | 单日 +39,代码还没放,来源没找到 |
| 11-01 至 11-03 | 99 → 104 | 推理代码放出,权重还在传,每天 +2 到 +3 |
| 11-04 | 124 | 权重传完、修了加载 bug,+20 |
| 11-05 | 146 | +22 |
| 11-06 | 172 | +26 |
星数来自 GitHub 每日记录。分两段看:
第一段是「等代码」的星。 论文挂出、中稿、README 承诺「coming weeks」,alphaXiv、CatalyzeX 这类论文站自动收录,看论文的人顺手点星占位。10-31 那天的 +39 发生在放代码之前,X、Hacker News、Reddit、中文媒体都没搜到相关帖子,Hugging Face 的论文页也没收录它。推断是某个论文聚合页或中文群在转,未核实。
第二段是权重能下载以后。 代码 11-01 就放了,但权重没传完的那三天,每天只涨两三颗;11-04 权重能下,日增立刻跳到 20 以上,三天都没掉。来的人是想真跑一下的开发者,fork 只有 4,说明还没什么人在它上面改东西。
全程没有任何大号、媒体、社区帖推过它。公司以前给同一团队的 Playmate、Playmate2 发过新闻稿,这次没搜到。
天花板在哪
同一个作者账号的上一个仓库 Playmate2(AAAI 2026,多人音频驱动动画)停在 300 星。开源唇形同步这块的头部是这样的:
| 项目 | 上线 | 星数 | 和 ComplexSync 的差别 |
|---|---|---|---|
| Rudrabha/Wav2Lip | 2020-08 | 13,265 | 老 GAN 方案,画质糊,但人人都知道 |
| OpenTalker/video-retalking | 2022-09 | 约 7,300 | 效果好但慢 |
| TMElyralab/MuseTalk(腾讯音乐) | 2024-03 | 6,881,周增 47 | 实时方案的事实标准;ComplexSync 说自己在复杂场景和速度上更好 |
| bytedance/LatentSync | 2024-12 | 6,249,周增 34 | 同为扩散,多步、慢 |
| antonibigata/keysync | 2025-04 | 406 | 同样在解决参考帧泄漏 |
| zhangrongxiang/LeapTalk | 2026-07 | 212 | 也是单步实时,但做的是从一张图生成说话头像 |
| Sync Labs sync-3、Kling、HeyGen | 商业 | fal 上约 $3/分钟 | 闭源收费;sync-3 也主打「复杂场景」 |
MuseTalk 和 LatentSync 背后是腾讯和字节,发布时自带流量,所以几千星;ComplexSync 的技术点未必差,但它只在论文圈里被看见。按同团队的历史,它大概率停在几百星。
它没做好的部分
对想拿 star 的人,这个仓库最有用的不是模型本身,而是它留下的缺口:
- 权重不在 Hugging Face。 海外开发者找模型、点赞、跑 Space 都在 HF;ModelScope 对他们不友好,hlevring 就在那里卡了一天。权重是 Apache-2.0 协议,允许转发。
- 没有能直接点的 demo。 没有 Hugging Face Space、没有 Colab,README 里的示例视频都不带输入文件,自己准备视频和音频才能跑。
- 没有 ComfyUI 节点。 做数字人、短剧的创作者多数在 ComfyUI 里拼工作流,MuseTalk 和 LatentSync 都被社区包成了节点(推断:这些节点仓库也拿到了不少星,数字未逐个核实)。
- 没有对比。 论文说复杂场景比 MuseTalk、LatentSync 好,但没人在同一批「难」视频上把几家放在一起跑过给大家看。
如果是你
C:能学到「论文库怎么攒星」,但跟进它本身拿不到多少星。 原库的上限就是几百星,头部被大厂的仓库占着;围绕它做包装,能吃到的是它那几百星里溢出的一小部分。
适合谁:已经在做数字人、配音、AI 视频工作流的开发者,手上有 GPU,本来就要测各家唇形同步模型——顺手把测的过程开源,成本几乎为零;或者在做 ComfyUI 节点、想攒一个「AI 视频节点作者」名声的人。
不适合谁:想从头训一个唇形同步模型去和它抢的个人开发者——没有数据、算力和论文,拿不到星;以及没有 CUDA 机器、跑不起 5.5 GB 权重的人。
怎么做:三件小事里挑一件,越快越好。① 把 Stage 3 权重搬到 Hugging Face,配一个 Gradio Space,README 里引用 arXiv 编号,让 HF 论文页把它挂上;② 包一个 ComfyUI 节点,把 InsightFace、Whisper、VAE 的下载都自动化;③ 更值得的一件:做一个「复杂场景唇形同步对比」仓库,用它公开的 Complex-Val 把 ComplexSync、MuseTalk、LatentSync、Wav2Lip 放在同一批遮挡、侧脸视频上跑,出并排视频和速度表——这个不依赖某一个模型,每出一个新模型都能更新一次。
怎么获客:并排对比视频本身就是传播素材,发 X 和 Reddit 的 r/StableDiffusion、r/comfyui;去原仓库 issue 里说一声「我做了 HF 版 / ComfyUI 节点」,作者通常会愿意加进 README;中文这边发在做数字人和短剧出海的群和公众号里。
什么时候之前:两三周内。权重 11-04 才能下,现在正是第一批人想跑又嫌麻烦的时候;原团队自己补上 HF 和 demo,或者 ComfyUI 社区的熟手抢先包了,窗口就关了。
什么情况说明看错了:① 年底前 ComplexSync 过 1,000 星,或者被哪个大号推了一次——说明它会成为下一个 MuseTalk,包装它的项目会比 C 好得多;② 有人先做了 HF Space 或 ComfyUI 节点,一个月还不到 50 星——说明这块需求比想的小;③ 原团队一周内自己把权重放上 HF——第①条路就没了,只剩对比仓库那一条。
研究底稿:竞品表、获客证据、完整研究报告
- 竞品
名字 在哪 上线 规模 它和这家不同在哪 Rudrabha/Wav2Lip 开源 2020-08 13,265 星 老 GAN 方案画质糊;CS 是扩散模型、单步出图、高保真 TMElyralab/MuseTalk(腾讯音乐) 开源 2024-03 6,881 星,周增 47 事实上的实时标准方案;CS 宣称在复杂场景和速度(70+ FPS)上更好,未经第三方验证 bytedance/LatentSync 开源 2024-12 6,249 星,周增 34 多步 SD 扩散、慢;CS 蒸馏到 1 步实时 OpenTalker/video-retalking 开源 2022-09 7,300 星 慢、老;CS 实时 antonibigata/keysync 开源 2025-04 406 星 同样做防泄漏和高分辨率;CS 多了单步加速和复杂场景基准 zhangrongxiang/LeapTalk 开源 2026-07 212 星 同为单步实时,但做的是从图生成说话头像,不是改已有视频的嘴型 Sber Kandinsky S2V / Avatar 1.0 开源 2026-11-04 刚发布 MIT 协议、从图生成说话头像;CS 做的是改已有视频的嘴型 Sync Labs lipsync-2-pro / sync-3、Kling Lipsync、HeyGen 大厂功能 2024–2026 商业主流,约 $3/分钟(fal) 闭源收费、效果成熟;CS 权重免费,但只有推理代码、要 CUDA Playmate111/Playmate2(同团队) 开源 2025-10 300 星,已停涨 同一作者的上一个论文库,做多人音频驱动动画;说明这个团队的库通常就是几百星 - 用户从哪来
- 查实 arXiv 论文 + WACV 2027 中稿 + 论文聚合站自动收录:09-24 挂 arXiv,10-15 README 宣布中稿;alphaXiv、catalyzex、awesomepapers.io、syncai.news 都有收录(Exa)
- 查实 先承诺放代码、攒等待星:README 写明「coming weeks」放代码;issue #1(10-29)有开发者在催;放代码前已有 57 到 96 星
- 查实 放出权重(ModelScope):11-01 至 11-04 放代码和权重(5.49 GB 两个,11-03 传完),之后日增从 2 到 3 跳到 20 到 26
- 推断 公司官方新闻稿:趣丸给 Playmate、Playmate2 发过稿;这次没搜到,官网新闻页 403
- 推断 10-31 单日 +39 的外部触发:X、HN、Reddit、媒体都没找到,来源不明
Playmate111/ComplexSync 研究报告
数据日期 2026-11-06。来源:我们的 GitHub 库(repo_day / repo_profile)、GitHub 仓库页 / commits / issue #1、arXiv 2609.29225、ModelScope API、Jina / Exa / Brave 搜索、X 实时搜索(TikHub)、HN 库。
一句话结论
这是趣丸科技(广州趣丸网络,TT 语音、「趣丸千音」配音平台的母公司)AI 团队的论文代码库(WACV 2027),做「复杂场景下的实时唇形同步」。它不算真正「跑出来」:172 星仍是普通学术库的量级,同一作者的上一个库 Playmate2(AAAI 2026)停在 300 星。最近这波涨星有两段:一段是论文挂出、中稿后「先占坑、等放代码」的星;另一段是 11-01 到 11-04 真放出推理代码和权重以后,做数字人 / 配音的开发者慢慢摸过来。全网没找到任何大号、媒体、HN 或 Reddit 推过它。
1. 数据
| 日期 | 星 | 日增 | fork |
|---|---|---|---|
| 10-30 | 57 | – | 0 |
| 10-31 | 96 | +39 | 0 |
| 11-01 | 99 | +3 | 2 |
| 11-02 | 102 | +3 | 2 |
| 11-03 | 104 | +2 | 3 |
| 11-04 | 124 | +20 | 4 |
| 11-05 | 146 | +22 | 4 |
| 11-06 | 172 | +26 | 4 |
(我们的 GitHub 库 repo_day。10-28 起才每天拍;它 10-30 才进库,因为门槛是近 45 天新建且 ≥20 星。)
2. 时间线(仓库 commits、README News、issue #1)
- 09-24:arXiv 2609.29225 挂出,同日建库,库里只有 README。
- 10-12 / 10-15:更新 README,宣布中了 WACV 2027,写明「接下来几周放推理代码、权重和 Complex-Val 测试集」。
- 10-29:hlevring(Henrik Levring)开 issue #1,说读了论文、很期待,问代码和权重什么时候放。可见放代码之前已经有开发者在等。
- 10-31:单日 +39,这时代码还没放。触发点没找到:X、HN、Reddit、中文媒体都没有提到 ComplexSync 的帖子,HF Papers 也没收录(HF 返回 "Paper not found")。可能是论文聚合站或中文群在转,未核实。
- 11-01:提交推理代码(stage-1 是 12 步,stage-3 是 1 步蒸馏版)。11-02:README 加上 ModelScope 下载链接,Complex-Val 测试集上了 ModelScope。
- 11-02 至 11-04:ModelScope 上的 stage1.pt、stage3.pt 各 5.49 GB,上传到 11-03 才完成(ModelScope API 的 LastUpdated 是 11-03 PST;作者在 issue 里说「网络问题,还在传」)。11-04 又修了 PEFT 加载和 LoRA alpha。
- 11-04 至 11-06:权重真正能下以后,每天 +20 到 +26,fork 只有 4。
解读:真正的持续增长是从权重能下载那天开始的。说明来的人是想跑模型的开发者,而不是被某个大号带来的流量。量不大,但一直在涨。
3. 竞品(都是做「给已有视频按音频改嘴型」的)
| 名称 | 在哪 | 上线 | 规模 | 和 ComplexSync 的差别 |
|---|---|---|---|---|
| Rudrabha/Wav2Lip | 开源 | 2020-08 | 13,265 星 | 老牌 GAN 方案,画质糊;ComplexSync 是扩散模型、单步出图、高保真 |
| OpenTalker/video-retalking | 开源 | 2022-09 | 7,300 星 | SIGGRAPH Asia 2022,慢;CS 主打实时 |
| TMElyralab/MuseTalk(腾讯音乐) | 开源 | 2024-03 | 6,881 星,周增 47 | 实时(30fps)隐空间修补,事实上的标准方案;CS 宣称在复杂场景(遮挡、侧脸、光照)和速度(70+ FPS)上更好,未经第三方验证 |
| bytedance/LatentSync | 开源 | 2024-12 | 6,249 星,周增 34 | 基于 SD 的扩散方案,多步、慢;CS 也是扩散,但蒸馏到 1 步 |
| antonibigata/keysync | 开源 | 2025-04 | 406 星 | 同样做「防参考帧泄漏、高分辨率」;CS 另加了复杂场景基准 |
| zhangrongxiang/LeapTalk | 开源 | 2026-07 | 212 星 | 也是单步实时,但做的是说话人头像生成(从图生成),不是改已有视频的嘴型 |
| EfficientSync / PVSync / OmniSync | 论文 | 2025–2026 | 论文为主 | 同期学术竞品,ComplexSync 与之区别是同时放了权重和复杂场景测试集 |
| Kandinsky S2V / Avatar 1.0(Sber) | 开源 | 2026-11-04 | 刚发布 | 同周放出的开源数字人模型,MIT 协议,方向是从图生成说话头像 |
| Sync Labs lipsync-2-pro / sync-3、Kling Lipsync、HeyGen | 商业 API / 大厂功能 | 2024–2026 | 商业主流(fal 上约 $3/分钟) | 闭源收费;CS 是免费权重,但只有推理代码、要 CUDA |
| Playmate111/Playmate2(同团队) | 开源 | 2025-10 | 300 星,停涨 | 同一作者的上一个库(多人音频驱动动画),说明这个团队的库通常就是几百星 |
格局:开源唇形同步的头部是 MuseTalk、LatentSync、Wav2Lip,每家几千到一万多星,而且每周还在稳定涨。ComplexSync 是新来的学术挑战者,不缺竞品,只是没有大厂背书的流量。
4. 增长手段
| 渠道 | 证据 | 确认 |
|---|---|---|
| arXiv 论文 + 中稿 WACV | 09-24 挂 arXiv,10-15 中稿;被 alphaXiv、catalyzex、awesomepapers.io、syncai.news 等论文聚合站自动收录(Exa 搜索) | 是 |
| 「先承诺放代码」攒等待星 | README 10-15 写「coming weeks」;issue #1 有开发者在催;放代码前已有 57 到 96 星 | 是 |
| 放出权重(ModelScope) | 11-02 至 11-04 权重可下,之后日增 20+ | 是(时间对得上) |
| 公司官方宣传 | 趣丸以前给 Playmate(ICML 2025)、Playmate2(AAAI 2026)发过新闻稿,新浪、xinfinite 转载过;ComplexSync 这次没搜到官方稿(官网新闻页 403) | 否,未核实 |
| X / HN / Reddit / 媒体 | X 实时搜索 30 天 0 条;HN 库无;Reddit 无;HF Papers 未收录 | 否(查过,没有) |
| 10-31 单日 +39 的来源 | 没找到 | 否 |
5. 为什么能涨到现在这样
- 用户需求真实存在:数字人口播、短剧和漫剧出海配音都要改嘴型,现有开源方案在遮挡、侧脸、复杂光照下容易翻车,MuseTalk 和 LatentSync 都有这个问题。ComplexSync 的标题直接说中了这个痛点。
- 「实时 + 扩散」两头都占:单步去噪,论文称超过 70 FPS,在 LatentSync 的画质和 MuseTalk 的速度之间找到了卖点(论文自报,未核实)。
- 真放了权重:很多论文库只有 README。它放了两个 checkpoint 和测试集,涨星也是从权重能下载那天开始的。
- 靠资源:背后是有商业场景的公司(趣丸千音做短剧和视频翻译配音),有 GPU 和数据,能拿到顶会论文;但公司没做明显推广。
6. 差异化
- 技术:双流联合训练(减少参考帧泄漏)、蒸馏到单步、用视觉基础模型(VFM)的结构先验做关系对齐损失(更抗复杂场景),另外提出第一个「复杂唇形同步」基准 Complex-Val(200+ 段视频)。
- 这是不是它跑出来的原因:部分是。「复杂场景 + 实时」让开发者愿意点星收藏、试一试;但星数规模主要受限于没有任何分发。权重只放在 ModelScope、没上 Hugging Face,所以 HF Papers 页面也没有;只有推理代码;要 CUDA 和 5.5 GB 权重。海外开发者的触达明显受影响。
7. 可见度与跟风
- 可见度:还没什么人知道。X、HN、Reddit、媒体都是 0,只有论文聚合站在自动收录。
- 跟风者:无。这是论文代码,别人跟的是方向,不是这个库。
8. 可借鉴
- 学术或公司实验室发开源模型:先挂论文、占住仓库、承诺发布日期,能先攒一批等待的人;真正带来持续涨星的是「权重能下载」那一刻。
- 权重只放 ModelScope 会损失海外流量。同时放 HF,并让 HF Papers 收录(在 HF 仓库的 README 里引用 arXiv),是零成本的分发。
- 产品角度:「复杂场景下的唇形同步」是数字人和配音工具的真实短板。做配音或数字人 SaaS 的可以接入这类单步模型来降低成本(Apache-2.0 协议允许商用,但要自己验证效果)。
9. 不确定的
- 10-31 单日 +39 的来源(放代码之前)没找到。stargazer 明细这次拿不到:REST 返回 404 / 401,GraphQL 返回 0,所以没法看是不是同一批账号、是不是公司内部的人。
- 论文说的 70 FPS 和 SOTA 效果没有第三方复现;ModelScope 下载量 API 显示 0,可能是没统计。
- 增长能不能持续:同团队的 Playmate2 停在 300 星,这个库大概率也会停在几百星。