DreamTalk
ali-vilab/dreamtalkAI 已审核
RepoPicks Radar 检查于
DreamTalk 是什么?
DreamTalk 是阿里巴巴一篇研究论文附带的代码。给定一张正面照片和一段音频文件,它会生成一段这张脸说话的视频,并复刻参考视频里的说话风格和头部动作。它通过命令行运行,输出的是 256x256 的视频。模型文件已经不再提供下载:README 要求你给作者发邮件,并说明这个方法仅用于学术研究。你需要搭建一个带 Python 3.7、PyTorch、ffmpeg 和 dlib 的 conda 环境;建议使用显卡,也有速度较慢的 CPU 选项。
DreamTalk 安装有多容易?
E · 仅适合程序员 · Windows
- Windows E
- macOS E
- Linux E
三个系统的评分都一样,是 E,而 Linux 是现实中唯一可行的路径:你需要创建一个带 Python 3.7 的 conda 环境,安装带 CUDA 11.1 的 PyTorch 1.8,再加上 dlib 和 ffmpeg,然后运行一条很长的 python 命令,传入音频路径、一个 3DMM 风格文件和一个姿态文件。除此之外,模型文件本身无法下载,所以即便是开发者,在给作者发邮件之前也得不到任何结果。
即将推出:用 RepoPicks 应用一键安装。
DreamTalk 的 GitHub 数据
- 星标
- 1,7882026年11月10日
- 下载量
- —所有发布版本
- 增长
- —上次读取时无增长
星标变化
事实
- 可运行于
- Windows, macOS, Linux
- 需要安装
- Python, FFmpeg
- 从源码编译需要
- Python, FFmpeg
- 磁盘空间
- 160 MB–420 MB · 估算
- 账号或密钥
- 无
- 费用
- 免费 · 没有定价。代码是 MIT 许可,但 README 的免责声明说这个方法仅限于"RESEARCH/NON-COMMERCIAL USE ONLY"。
- 许可证
- MIT (宽松型)
- GitHub 上的最近改动
- 2024年1月6日
DreamTalk 的风险信号 (6)
- 注意依赖存在已知漏洞
固定版本的依赖存在已知漏洞(OSV):scipy: PYSEC-2023-102, PYSEC-2023-114;scikit-learn: GHSA-jw8x-6495-233v, PYSEC-2024-110;pillow: GHSA-22hg-r758-rrw9, GHSA-24rc-8hj2-v98c, GHSA-254f-3936-288h;numpy: GHSA-fpfv-jqm9-f5jm;opencv-python: GHSA-qr4w-53vh-m672, PYSEC-2023-183
自动检查
- 注意模型文件未公开提供
README「Download Checkpoints」:"In light of the social impact, we have ceased public download access to checkpoints. If you want to obtain the checkpoints, please request it by emailing [email protected]"——没有这些文件,代码什么也生成不了。
AI 审核
- 注意仅限研究和非商业用途
README 的 Disclaimer:"This method is intended for RESEARCH/NON-COMMERCIAL USE ONLY",邮件申请"implies your consent to use the provided method solely for academic research purposes",尽管代码文件里写的是 MIT。
AI 审核
- 注意能让真实人物的脸说出任何话
这个工具可以根据任意音频为"out-of-domain portraits"生成动画,包括"speech in multiple languages",所以一张照片加一段语音录音,就能生成一个人说出他从未说过的话的视频;作者以"social impact"为由停止了模型下载。
AI 审核
- 信息已被放弃,且基于已停止维护的 python 版本构建
最后一次提交是 2024-01-06(距检查时 1034 天前),还有 46 个未关闭的 issue,安装命令是"conda create -n dreamtalk python=3.7.0",搭配 PyTorch 1.8——这些都是已经不再获得支持的版本。
AI 审核
- 信息使用自己的视频作为参考需要额外步骤
README:风格和姿态文件是"3DMM parameter sequences extracted from reference videos",如果要用自己的视频,必须按照 PIRenderer 和 FOMM 的视频预处理脚本操作,视频需为 25 FPS 并裁剪为 256x256。
AI 审核
证据以原始语言显示。
Radar 无法验证的 DreamTalk 相关内容
- 作者是否仍会回复邮件并发送模型文件
- 用自己的照片和声音生成的效果如何,嘴型是否真的对得上
- Python 3.7 和 PyTorch 1.8 的环境在现在的电脑上是否还能安装
- 在唯一不需要 NVIDIA 显卡的 CPU 选项下,生成一段视频要花多长时间
- 真实的磁盘占用,因为模型文件没有公开,也就无法测量