RepoPicks Radar

每天约 23:30 UTC 更新

指南

DreamTalk

ali-vilab/dreamtalkAI 已审核

RepoPicks Radar 检查于

DreamTalk 是什么?

DreamTalk 是阿里巴巴一篇研究论文附带的代码。给定一张正面照片和一段音频文件,它会生成一段这张脸说话的视频,并复刻参考视频里的说话风格和头部动作。它通过命令行运行,输出的是 256x256 的视频。模型文件已经不再提供下载:README 要求你给作者发邮件,并说明这个方法仅用于学术研究。你需要搭建一个带 Python 3.7、PyTorch、ffmpeg 和 dlib 的 conda 环境;建议使用显卡,也有速度较慢的 CPU 选项。

DreamTalk 免费开源(MIT),可以替代 HeyGen和D-ID。

DreamTalk 安装有多容易?

E · 仅适合程序员 · Windows

  • Windows E
  • macOS E
  • Linux E

三个系统的评分都一样,是 E,而 Linux 是现实中唯一可行的路径:你需要创建一个带 Python 3.7 的 conda 环境,安装带 CUDA 11.1 的 PyTorch 1.8,再加上 dlib 和 ffmpeg,然后运行一条很长的 python 命令,传入音频路径、一个 3DMM 风格文件和一个姿态文件。除此之外,模型文件本身无法下载,所以即便是开发者,在给作者发邮件之前也得不到任何结果。

即将推出:用 RepoPicks 应用一键安装。

DreamTalk 的 GitHub 数据

星标
1,7882026年11月10日
下载量
—所有发布版本
增长
—上次读取时无增长

星标变化

1,7881,7891,790 11月6日11月7日11月8日11月9日11月10日 1,7881,7891,790 11月6日11月8日11月10日

事实

可运行于
Windows, macOS, Linux
需要安装
Python, FFmpeg
从源码编译需要
Python, FFmpeg
磁盘空间
160 MB–420 MB · 估算
账号或密钥
无
费用
免费 · 没有定价。代码是 MIT 许可,但 README 的免责声明说这个方法仅限于"RESEARCH/NON-COMMERCIAL USE ONLY"。
许可证
MIT (宽松型)
可以替代
HeyGen, D-ID
GitHub 上的最近改动
2024年1月6日

DreamTalk 的风险信号 (6)

  • 注意依赖存在已知漏洞

    固定版本的依赖存在已知漏洞(OSV):scipy: PYSEC-2023-102, PYSEC-2023-114;scikit-learn: GHSA-jw8x-6495-233v, PYSEC-2024-110;pillow: GHSA-22hg-r758-rrw9, GHSA-24rc-8hj2-v98c, GHSA-254f-3936-288h;numpy: GHSA-fpfv-jqm9-f5jm;opencv-python: GHSA-qr4w-53vh-m672, PYSEC-2023-183

    自动检查

  • 注意模型文件未公开提供

    README「Download Checkpoints」:"In light of the social impact, we have ceased public download access to checkpoints. If you want to obtain the checkpoints, please request it by emailing [email protected]"——没有这些文件,代码什么也生成不了。

    AI 审核

  • 注意仅限研究和非商业用途

    README 的 Disclaimer:"This method is intended for RESEARCH/NON-COMMERCIAL USE ONLY",邮件申请"implies your consent to use the provided method solely for academic research purposes",尽管代码文件里写的是 MIT。

    AI 审核

  • 注意能让真实人物的脸说出任何话

    这个工具可以根据任意音频为"out-of-domain portraits"生成动画,包括"speech in multiple languages",所以一张照片加一段语音录音,就能生成一个人说出他从未说过的话的视频;作者以"social impact"为由停止了模型下载。

    AI 审核

  • 信息已被放弃,且基于已停止维护的 python 版本构建

    最后一次提交是 2024-01-06(距检查时 1034 天前),还有 46 个未关闭的 issue,安装命令是"conda create -n dreamtalk python=3.7.0",搭配 PyTorch 1.8——这些都是已经不再获得支持的版本。

    AI 审核

  • 信息使用自己的视频作为参考需要额外步骤

    README:风格和姿态文件是"3DMM parameter sequences extracted from reference videos",如果要用自己的视频,必须按照 PIRenderer 和 FOMM 的视频预处理脚本操作,视频需为 25 FPS 并裁剪为 256x256。

    AI 审核

证据以原始语言显示。

Radar 无法验证的 DreamTalk 相关内容

  • 作者是否仍会回复邮件并发送模型文件
  • 用自己的照片和声音生成的效果如何,嘴型是否真的对得上
  • Python 3.7 和 PyTorch 1.8 的环境在现在的电脑上是否还能安装
  • 在唯一不需要 NVIDIA 显卡的 CPU 选项下,生成一段视频要花多长时间
  • 真实的磁盘占用,因为模型文件没有公开,也就无法测量

类似项目

RepoPicks 应用

即将推出:用 RepoPicks 应用一键安装。

下载之前

在 GitHub 上查看版本页面