DreamTalk
ali-vilab/dreamtalkRevisado por IA
Revisado por RepoPicks Radar el
¿Qué es DreamTalk?
DreamTalk es el código de un artículo de investigación de Alibaba. A partir de una foto de frente y un archivo de audio, genera un video de ese rostro hablando, copiando el estilo de habla y el movimiento de cabeza de un clip de referencia. Se ejecuta desde la línea de comandos y el resultado es un video de 256x256. Los archivos del modelo ya no se ofrecen para descargar: el README te pide enviar un correo al autor y dice que el método es solo para investigación académica. Construyes un entorno conda con Python 3.7, PyTorch, ffmpeg y dlib; se recomienda una tarjeta gráfica, con una opción más lenta por CPU.
DreamTalk es gratis y de código abierto (MIT) y puede reemplazar a HeyGen y D-ID.
¿Qué tan fácil es instalar DreamTalk?
E · solo para quien programa · Windows
- Windows E
- macOS E
- Linux E
La misma E en todas partes, y Linux es la ruta realista: creas un entorno conda con Python 3.7, instalas PyTorch 1.8 con CUDA 11.1 además de dlib y ffmpeg, y luego ejecutas un comando largo de python con rutas al audio, un archivo de estilo 3DMM y un archivo de pose. Además, los archivos del modelo no se pueden descargar, así que ni siquiera un desarrollador puede obtener un resultado sin antes enviar un correo al autor.
Pronto: instala con 1 clic desde la app RepoPicks.
DreamTalk en GitHub
- Estrellas
- 1788el 10 nov 2026
- Descargas
- —todas las versiones
- Crecimiento
- —sin ganancia en la última lectura
Estrellas a lo largo del tiempo
Datos
- Funciona en
- Windows, macOS, Linux
- Necesitas instalar
- Python, FFmpeg
- Para compilar desde el código
- Python, FFmpeg
- Espacio en disco
- 160 MB–420 MB · estimación
- Cuentas o claves
- Ninguna
- Costo
- Gratis · Sin precio. El código es MIT, pero el aviso del README dice que el método es solo para "RESEARCH/NON-COMMERCIAL USE ONLY".
- Licencia
- MIT (Permisiva)
- Último cambio en GitHub
- 6 ene 2024
Señales de riesgo de DreamTalk (6)
- AtenciónDependencias con vulnerabilidades conocidas
Dependencias fijadas con vulnerabilidades conocidas (OSV): scipy: PYSEC-2023-102, PYSEC-2023-114; scikit-learn: GHSA-jw8x-6495-233v, PYSEC-2024-110; pillow: GHSA-22hg-r758-rrw9, GHSA-24rc-8hj2-v98c, GHSA-254f-3936-288h; numpy: GHSA-fpfv-jqm9-f5jm; opencv-python: GHSA-qr4w-53vh-m672, PYSEC-2023-183
revisión automática
- AtenciónLos archivos del modelo no están disponibles públicamente
README, "Download Checkpoints": "In light of the social impact, we have ceased public download access to checkpoints. If you want to obtain the checkpoints, please request it by emailing [email protected]" — sin ellos, el código no produce nada.
revisión con IA
- AtenciónSolo para investigación y uso no comercial
README, Disclaimer: "This method is intended for RESEARCH/NON-COMMERCIAL USE ONLY", y la solicitud por correo "implies your consent to use the provided method solely for academic research purposes", aunque el archivo de código diga MIT.
revisión con IA
- AtenciónHace que la cara de una persona real diga cualquier cosa
La herramienta anima "out-of-domain portraits" a partir de cualquier audio, incluyendo "speech in multiple languages", así que una foto más una grabación de voz produce un video de una persona diciendo palabras que nunca dijo; los autores detuvieron la descarga del modelo citando "social impact".
revisión con IA
- InfoAbandonado y construido sobre un python ya sin soporte
Último commit el 2024-01-06 (1034 días antes de la revisión) con 46 issues abiertos, y la línea de instalación es "conda create -n dreamtalk python=3.7.0" con PyTorch 1.8 — versiones que ya no tienen soporte.
revisión con IA
- InfoPasos adicionales para usar tu propio video como referencia
README: los archivos de estilo y pose son "3DMM parameter sequences extracted from reference videos", y para usar los tuyos debes seguir los scripts de preprocesamiento de video de PIRenderer y FOMM, con el video a 25 FPS recortado a 256x256.
revisión con IA
La evidencia aparece en su idioma original.
Lo que Radar no pudo verificar de DreamTalk
- Si el autor todavía responde el correo y envía los archivos del modelo
- Cómo se ve el resultado con tu propia foto y voz, y si la boca realmente coincide
- Si el entorno de Python 3.7 y PyTorch 1.8 todavía se instala en una computadora actual
- Cuánto tarda un video en una CPU, la única opción sin tarjeta NVIDIA
- El uso real de disco, ya que los archivos del modelo no están publicados y no se pueden medir