RepoPicks Radar

每天约 23:30 UTC 更新

指南

VideoReTalking

OpenTalker/video-retalkingAI 已审核

RepoPicks Radar 检查于

VideoReTalking 是什么?

VideoReTalking 拿一段已有的人物说话视频,重新处理面部,让嘴型配合另一段音轨,还可以选择改变表情(中立、微笑、惊讶、生气)。它来自西安电子科技大学、腾讯 AI Lab 和清华大学在 SIGGRAPH Asia 2022 发表的一篇论文。要运行它,你需要配置 Python 3.8 和一张支持 CUDA 11.1 的 NVIDIA 显卡,安装 ffmpeg,从一个 Google Drive 文件夹下载模型文件,再运行一条命令。另外还有一个 Colab notebook 和一个由其他人运营的付费页面。

VideoReTalking 免费开源(Apache-2.0),可以替代 HeyGen、D-ID和Rask AI。

VideoReTalking 安装有多容易?

B · 安装程序加一个简单步骤 · Web

  • Windows D
  • Linux D
  • Web B

最温和的入门方式是网页版,评级为 B:README 提供了一个 Colab notebook(quick_demo.ipynb)和一个 Replicate 页面,你只需打开页面点击运行,而不用安装任何东西。自己安装的评级是 D,适用于 Linux 和 Windows:`conda create -n video_retalking python=3.8`、`conda install ffmpeg`,然后是一行针对特定显卡的 PyTorch 安装命令,README 自己也限定了范围("This installation command only works on CUDA 11.1"),接着 `pip install -r requirements.txt`,还要手动把预训练模型下载到 `./checkpoints`,之后 `python3 inference.py` 才能运行。

VideoReTalking 的 GitHub 数据

星标
7,3002026年11月10日
下载量
461,156本周 945
增长
+16 天内新增星标

星标变化

7,2987,2997,3007,301 11月4日11月6日11月8日11月10日 7,2987,2997,3007,301 11月4日11月7日11月10日

事实

可运行于
Windows, Linux, Web
需要安装
Python, NVIDIA 显卡, FFmpeg
从源码编译需要
Python, FFmpeg
磁盘空间
100 MB–300 MB · 估算
账号或密钥
无
费用
免费 · 代码基于 Apache-2.0 协议免费提供。README 还链接了一个由他人运营的 Replicate 页面(cjwbw/video-retalking);这类服务按机器运行时间收费,README 并未说明这一点。
许可证
Apache-2.0 (宽松型)
可以替代
HeyGen, D-ID, Rask AI
GitHub 上的最近改动
2023年11月4日

VideoReTalking 的风险信号 (9)

  • 注意发布版本已过时

    最近一次发布在 2023-03-15(距今 1334 天)

    自动检查

  • 注意下载链接指向文件分享网站

    README 链接到 https://drive.google.com/drive/folders/18rhjMpxK8LVVxf7PI6XwOidt8Vouv_H0?usp=share_link

    自动检查

  • 注意依赖存在已知漏洞

    固定版本的依赖存在已知漏洞(OSV):basicsr:GHSA-86w8-vhw6-q9qq、PYSEC-2026-1215

    自动检查

  • 注意让真实的人看起来说了别的话

    README:"a new system to edit the faces of a real-world talking head video according to input audio, producing a high-quality and lip-syncing output video even with a different emotion",还配有一个 "face enhancement network" 用来 "improve the photo-realism"。项目自己的 Disclaimer 禁止 "fraud, deception, infringement of others' portrait rights, reputation rights",但代码里没有任何部分会检查视频里是谁,也不会在结果上做标记。

    AI 审核

  • 注意模型文件来自一个共享的google drive

    README 的 Pretrained Models 部分写道:"Please download our pre-trained models and put them in `./checkpoints`",指向一个 Google Drive 文件夹(drive.google.com/drive/folders/18rhjMpxK8LVVxf7PI6XwOidt8Vouv_H0)。没有这些文件什么都跑不起来,这个文件夹在 GitHub 之外,也没有给出任何大小、校验值或签名。

    AI 审核

  • 注意代码停留在一套老旧的软件栈上

    最近一次提交是在 2023-11-04(本次检查前 1100 天),说明文档固定了 Python 3.8、`torch==1.9.0+cu111` 和 `dlib==19.24.0`,有 215 个未关闭的 issue,对应 7298 个星标。这些版本都是 2021 年的,现在的显卡驱动或 Python 可能已经不接受它们,而且没有人更新过这份安装方法。

    AI 审核

  • 信息不是腾讯的官方产品

    Disclaimer:"This is not an official product of Tencent",第 5 条还补充说 "This open-source code does not have the ability to directly provide services to end-users"。有几位作者的署名单位是腾讯 AI Lab,但这个仓库是研究代码,不是有支持的产品。

    AI 审核

  • 信息建立在另外六个研究项目之上

    仓库里有一个 `third_part/` 文件夹,Acknowledgement 部分感谢了 Wav2Lip、PIRenderer、GFP-GAN、GPEN、ganimation_replicate 和 STIT "for sharing their code"。这些部分各有自己的许可证和条件,这个仓库里的 Apache-2.0 文件并不涵盖它们。

    AI 审核

  • 信息作者自己说明的限制

    README:"You can test any talking face videos without manual alignment. But it is worth noting that DNet cannot handle extreme poses." 预告片里的质量数据来自作者自己的论文(arXiv:2211.14758)。

    AI 审核

证据以原始语言显示。

Radar 无法验证的 VideoReTalking 相关内容

  • 考虑到 CUDA 11.1 和 Python 3.8 这些固定版本,以及三年没有提交,这份安装方法现在是否仍然能装上
  • Google Drive 的 checkpoints 里到底是什么,因为没有公布任何校验值或文件清单
  • 实际占用的磁盘空间,因为检查里的估算是基于经验推测的 100 到 300 MB,并未计入模型文件
  • 在你的显卡上处理一段视频要花多长时间,README 从未说明
  • 在你自己的素材上,尤其是侧脸或快速动作时,效果看起来有多逼真

类似项目

RepoPicks 应用

即将推出:用 RepoPicks 应用一键安装。

下载之前

在 GitHub 上查看版本页面