MultiTalk
MeiGen-AI/MultiTalkRevisado por IA
Revisado por RepoPicks Radar el
¿Qué es MultiTalk?
MultiTalk es código de investigación (NeurIPS 2025) que convierte una imagen de referencia, una o varias pistas de voz y una instrucción escrita en un video en 480p de personas conversando, cantando o interactuando, con los labios sincronizados con el audio. También puede leer texto en voz alta con un modelo de voz propio (Kokoro). Los clips son cortos, de unos 15 segundos. Se ejecuta desde la terminal o desde una página web sencilla que tú mismo inicias, después de configurar Python en Linux, PyTorch para NVIDIA CUDA, FFmpeg y cuatro descargas de modelos por separado. Se necesita una tarjeta gráfica NVIDIA.
MultiTalk es gratis y de código abierto (Apache-2.0) y puede reemplazar a HeyGen, Synthesia y D-ID.
¿Qué tan fácil es instalar MultiTalk?
D · terminal, varias herramientas o tarjeta específica · Linux
Linux es la única plataforma documentada: un entorno conda, PyTorch y xformers compilados para CUDA 12.1, flash-attn compilado con ninja, FFmpeg, cuatro descargas de modelos desde Hugging Face y luego mover y crear enlaces simbólicos de archivos dentro de la carpeta de pesos antes del primer comando. Todos los ejemplos suponen una tarjeta gráfica NVIDIA.
Pronto: instala con 1 clic desde la app RepoPicks.
MultiTalk en GitHub
- Estrellas
- 3033el 10 nov 2026
- Descargas
- —todas las versiones
- Crecimiento
- +4estrellas en 6 días
Estrellas a lo largo del tiempo
Datos
- Funciona en
- Linux
- Necesitas instalar
- Python, FFmpeg, Tarjeta NVIDIA
- Para compilar desde el código
- Python, FFmpeg
- Espacio en disco
- 210 MB–570 MB · estimación
- Cuentas o claves
- Ninguna
- Costo
- Gratis
- Licencia
- Apache-2.0 (Permisiva)
- Último cambio en GitHub
- 22 may 2026
Señales de riesgo de MultiTalk (5)
- Atenciónvideo realista de personas reales hablando
README.md promete "Realistic Conversations" generadas a partir de "a multi-stream audio input, a reference image and a prompt" con "consistent lip motions aligned with the audio". La sección de licencia añade que tu uso "must not involve sharing any content that violates applicable laws, causes harm to individuals or groups, disseminates personal information intended for harm, spreads misinformation". Puede hacer que personas reales parezcan decir cosas que nunca dijeron.
revisión con IA
- Infodescargas grandes de modelos que no están en el repositorio
El README te pide descargar Wan2.1-I2V-14B-480P, chinese-wav2vec2-base, Kokoro-82M y MeiGen-MultiTalk con huggingface-cli en ./weights. Estos archivos pesan muchos gigabytes y no forman parte del repositorio.
revisión con IA
- Infolos pasos de instalación usan enlaces simbólicos con sudo
La preparación del modelo te indica ejecutar "sudo ln -s {Absolute path}/weights/MeiGen-MultiTalk/multitalk.safetensors weights/Wan2.1-I2V-14B-480P/" y renombrar un archivo dentro del modelo base descargado, así que la instalación modifica archivos con permisos de administrador.
revisión con IA
- Infosdk de una api en la nube entre los requisitos
requirements.txt incluye "dashscope", la librería cliente del servicio de IA de Alibaba Cloud, aunque los comandos documentados se ejecutan de forma local.
revisión con IA
- Infolos autores señalan modelos más nuevos
Las novedades del README.md mencionan InfiniteTalk (ago. 2025) y LongCat-Video-Avatar-1.5 (21 de mayo de 2026) como marcos de trabajo más nuevos y "upgraded" del mismo equipo; el último commit aquí es del 2026-05-22, y 720p y ComfyUI siguen como tareas pendientes en la lista Todo.
revisión con IA
La evidencia aparece en su idioma original.
Lo que Radar no pudo verificar de MultiTalk
- El espacio total en disco después de descargar el modelo base Wan2.1 14B y los otros tres conjuntos de modelos
- Cuánta memoria de tarjeta gráfica se necesita realmente y cuánto tarda un clip de 15 segundos
- Si los pasos de instalación fijados (wheels de CUDA 12.1, flash-attn 2.7.4) todavía funcionan hoy
- Si puede ejecutarse en Windows o macOS, que no están documentados
- La calidad real y la deriva de color que menciona el README en videos más largos