VideoReTalking
OpenTalker/video-retalkingAI 已审核
RepoPicks Radar 检查于
VideoReTalking 是什么?
VideoReTalking 拿一段已有的人物说话视频,重新处理面部,让嘴型配合另一段音轨,还可以选择改变表情(中立、微笑、惊讶、生气)。它来自西安电子科技大学、腾讯 AI Lab 和清华大学在 SIGGRAPH Asia 2022 发表的一篇论文。要运行它,你需要配置 Python 3.8 和一张支持 CUDA 11.1 的 NVIDIA 显卡,安装 ffmpeg,从一个 Google Drive 文件夹下载模型文件,再运行一条命令。另外还有一个 Colab notebook 和一个由其他人运营的付费页面。
VideoReTalking 安装有多容易?
B · 安装程序加一个简单步骤 · Web
- Windows D
- Linux D
- Web B
最温和的入门方式是网页版,评级为 B:README 提供了一个 Colab notebook(quick_demo.ipynb)和一个 Replicate 页面,你只需打开页面点击运行,而不用安装任何东西。自己安装的评级是 D,适用于 Linux 和 Windows:`conda create -n video_retalking python=3.8`、`conda install ffmpeg`,然后是一行针对特定显卡的 PyTorch 安装命令,README 自己也限定了范围("This installation command only works on CUDA 11.1"),接着 `pip install -r requirements.txt`,还要手动把预训练模型下载到 `./checkpoints`,之后 `python3 inference.py` 才能运行。
VideoReTalking 的 GitHub 数据
- 星标
- 7,3002026年11月10日
- 下载量
- 461,156本周 945
- 增长
- +16 天内新增星标
星标变化
事实
- 可运行于
- Windows, Linux, Web
- 需要安装
- Python, NVIDIA 显卡, FFmpeg
- 从源码编译需要
- Python, FFmpeg
- 磁盘空间
- 100 MB–300 MB · 估算
- 账号或密钥
- 无
- 费用
- 免费 · 代码基于 Apache-2.0 协议免费提供。README 还链接了一个由他人运营的 Replicate 页面(cjwbw/video-retalking);这类服务按机器运行时间收费,README 并未说明这一点。
- 许可证
- Apache-2.0 (宽松型)
- GitHub 上的最近改动
- 2023年11月4日
VideoReTalking 的风险信号 (9)
- 注意发布版本已过时
最近一次发布在 2023-03-15(距今 1334 天)
自动检查
- 注意下载链接指向文件分享网站
README 链接到 https://drive.google.com/drive/folders/18rhjMpxK8LVVxf7PI6XwOidt8Vouv_H0?usp=share_link
自动检查
- 注意依赖存在已知漏洞
固定版本的依赖存在已知漏洞(OSV):basicsr:GHSA-86w8-vhw6-q9qq、PYSEC-2026-1215
自动检查
- 注意让真实的人看起来说了别的话
README:"a new system to edit the faces of a real-world talking head video according to input audio, producing a high-quality and lip-syncing output video even with a different emotion",还配有一个 "face enhancement network" 用来 "improve the photo-realism"。项目自己的 Disclaimer 禁止 "fraud, deception, infringement of others' portrait rights, reputation rights",但代码里没有任何部分会检查视频里是谁,也不会在结果上做标记。
AI 审核
- 注意模型文件来自一个共享的google drive
README 的 Pretrained Models 部分写道:"Please download our pre-trained models and put them in `./checkpoints`",指向一个 Google Drive 文件夹(drive.google.com/drive/folders/18rhjMpxK8LVVxf7PI6XwOidt8Vouv_H0)。没有这些文件什么都跑不起来,这个文件夹在 GitHub 之外,也没有给出任何大小、校验值或签名。
AI 审核
- 注意代码停留在一套老旧的软件栈上
最近一次提交是在 2023-11-04(本次检查前 1100 天),说明文档固定了 Python 3.8、`torch==1.9.0+cu111` 和 `dlib==19.24.0`,有 215 个未关闭的 issue,对应 7298 个星标。这些版本都是 2021 年的,现在的显卡驱动或 Python 可能已经不接受它们,而且没有人更新过这份安装方法。
AI 审核
- 信息不是腾讯的官方产品
Disclaimer:"This is not an official product of Tencent",第 5 条还补充说 "This open-source code does not have the ability to directly provide services to end-users"。有几位作者的署名单位是腾讯 AI Lab,但这个仓库是研究代码,不是有支持的产品。
AI 审核
- 信息建立在另外六个研究项目之上
仓库里有一个 `third_part/` 文件夹,Acknowledgement 部分感谢了 Wav2Lip、PIRenderer、GFP-GAN、GPEN、ganimation_replicate 和 STIT "for sharing their code"。这些部分各有自己的许可证和条件,这个仓库里的 Apache-2.0 文件并不涵盖它们。
AI 审核
- 信息作者自己说明的限制
README:"You can test any talking face videos without manual alignment. But it is worth noting that DNet cannot handle extreme poses." 预告片里的质量数据来自作者自己的论文(arXiv:2211.14758)。
AI 审核
证据以原始语言显示。
Radar 无法验证的 VideoReTalking 相关内容
- 考虑到 CUDA 11.1 和 Python 3.8 这些固定版本,以及三年没有提交,这份安装方法现在是否仍然能装上
- Google Drive 的 checkpoints 里到底是什么,因为没有公布任何校验值或文件清单
- 实际占用的磁盘空间,因为检查里的估算是基于经验推测的 100 到 300 MB,并未计入模型文件
- 在你的显卡上处理一段视频要花多长时间,README 从未说明
- 在你自己的素材上,尤其是侧脸或快速动作时,效果看起来有多逼真