RepoPicks Radar

Actualizado todos los días hacia las 23:30 UTC

Guías

DreamTalk

ali-vilab/dreamtalkRevisado por IA

Revisado por RepoPicks Radar el

¿Qué es DreamTalk?

DreamTalk es el código de un artículo de investigación de Alibaba. A partir de una foto de frente y un archivo de audio, genera un video de ese rostro hablando, copiando el estilo de habla y el movimiento de cabeza de un clip de referencia. Se ejecuta desde la línea de comandos y el resultado es un video de 256x256. Los archivos del modelo ya no se ofrecen para descargar: el README te pide enviar un correo al autor y dice que el método es solo para investigación académica. Construyes un entorno conda con Python 3.7, PyTorch, ffmpeg y dlib; se recomienda una tarjeta gráfica, con una opción más lenta por CPU.

DreamTalk es gratis y de código abierto (MIT) y puede reemplazar a HeyGen y D-ID.

¿Qué tan fácil es instalar DreamTalk?

E · solo para quien programa · Windows

  • Windows E
  • macOS E
  • Linux E

La misma E en todas partes, y Linux es la ruta realista: creas un entorno conda con Python 3.7, instalas PyTorch 1.8 con CUDA 11.1 además de dlib y ffmpeg, y luego ejecutas un comando largo de python con rutas al audio, un archivo de estilo 3DMM y un archivo de pose. Además, los archivos del modelo no se pueden descargar, así que ni siquiera un desarrollador puede obtener un resultado sin antes enviar un correo al autor.

Pronto: instala con 1 clic desde la app RepoPicks.

DreamTalk en GitHub

Estrellas
1788el 10 nov 2026
Descargas
—todas las versiones
Crecimiento
—sin ganancia en la última lectura

Estrellas a lo largo del tiempo

178817891790 6 nov7 nov8 nov9 nov10 nov 178817891790 6 nov8 nov10 nov

Datos

Funciona en
Windows, macOS, Linux
Necesitas instalar
Python, FFmpeg
Para compilar desde el código
Python, FFmpeg
Espacio en disco
160 MB–420 MB · estimación
Cuentas o claves
Ninguna
Costo
Gratis · Sin precio. El código es MIT, pero el aviso del README dice que el método es solo para "RESEARCH/NON-COMMERCIAL USE ONLY".
Licencia
MIT (Permisiva)
Puede reemplazar
HeyGen, D-ID
Último cambio en GitHub
6 ene 2024

Señales de riesgo de DreamTalk (6)

  • AtenciónDependencias con vulnerabilidades conocidas

    Dependencias fijadas con vulnerabilidades conocidas (OSV): scipy: PYSEC-2023-102, PYSEC-2023-114; scikit-learn: GHSA-jw8x-6495-233v, PYSEC-2024-110; pillow: GHSA-22hg-r758-rrw9, GHSA-24rc-8hj2-v98c, GHSA-254f-3936-288h; numpy: GHSA-fpfv-jqm9-f5jm; opencv-python: GHSA-qr4w-53vh-m672, PYSEC-2023-183

    revisión automática

  • AtenciónLos archivos del modelo no están disponibles públicamente

    README, "Download Checkpoints": "In light of the social impact, we have ceased public download access to checkpoints. If you want to obtain the checkpoints, please request it by emailing [email protected]" — sin ellos, el código no produce nada.

    revisión con IA

  • AtenciónSolo para investigación y uso no comercial

    README, Disclaimer: "This method is intended for RESEARCH/NON-COMMERCIAL USE ONLY", y la solicitud por correo "implies your consent to use the provided method solely for academic research purposes", aunque el archivo de código diga MIT.

    revisión con IA

  • AtenciónHace que la cara de una persona real diga cualquier cosa

    La herramienta anima "out-of-domain portraits" a partir de cualquier audio, incluyendo "speech in multiple languages", así que una foto más una grabación de voz produce un video de una persona diciendo palabras que nunca dijo; los autores detuvieron la descarga del modelo citando "social impact".

    revisión con IA

  • InfoAbandonado y construido sobre un python ya sin soporte

    Último commit el 2024-01-06 (1034 días antes de la revisión) con 46 issues abiertos, y la línea de instalación es "conda create -n dreamtalk python=3.7.0" con PyTorch 1.8 — versiones que ya no tienen soporte.

    revisión con IA

  • InfoPasos adicionales para usar tu propio video como referencia

    README: los archivos de estilo y pose son "3DMM parameter sequences extracted from reference videos", y para usar los tuyos debes seguir los scripts de preprocesamiento de video de PIRenderer y FOMM, con el video a 25 FPS recortado a 256x256.

    revisión con IA

La evidencia aparece en su idioma original.

Lo que Radar no pudo verificar de DreamTalk

  • Si el autor todavía responde el correo y envía los archivos del modelo
  • Cómo se ve el resultado con tu propia foto y voz, y si la boca realmente coincide
  • Si el entorno de Python 3.7 y PyTorch 1.8 todavía se instala en una computadora actual
  • Cuánto tarda un video en una CPU, la única opción sin tarjeta NVIDIA
  • El uso real de disco, ya que los archivos del modelo no están publicados y no se pueden medir

Proyectos parecidos

La app RepoPicks

Pronto: instala con 1 clic desde la app RepoPicks.

Antes de descargar

Ver la página de la versión en GitHub