DreamTalk
ali-vilab/dreamtalkRevisado por IA
Verificado pelo RepoPicks Radar em
O que é DreamTalk?
DreamTalk é o código de um artigo de pesquisa da Alibaba. A partir de uma foto de frente e um arquivo de áudio, ele gera um vídeo desse rosto falando, copiando o estilo de fala e o movimento de cabeça de um clipe de referência. Ele roda pela linha de comando e o resultado é um vídeo de 256x256. Os arquivos do modelo não são mais oferecidos para download: o README pede que você envie um e-mail ao autor e diz que o método é só para pesquisa acadêmica. Você monta um ambiente conda com Python 3.7, PyTorch, ffmpeg e dlib; recomenda-se uma placa de vídeo, com uma opção mais lenta pela CPU.
DreamTalk é grátis e de código aberto (MIT) e pode substituir HeyGen e D-ID.
Quão fácil é instalar DreamTalk?
E · só para quem programa · Windows
- Windows E
- macOS E
- Linux E
A mesma E em todos os lugares, e o Linux é o caminho realista: você cria um ambiente conda com Python 3.7, instala o PyTorch 1.8 com CUDA 11.1 além de dlib e ffmpeg, e depois executa um comando longo em python com caminhos para o áudio, um arquivo de estilo 3DMM e um arquivo de pose. Além disso, os arquivos do modelo não podem ser baixados, então nem um desenvolvedor consegue obter um resultado sem antes enviar um e-mail ao autor.
Em breve: instale com 1 clique pelo app RepoPicks.
DreamTalk no GitHub
- Estrelas
- 1.788em 10 de nov. de 2026
- Downloads
- —todas as versões
- Crescimento
- —sem ganho na última leitura
Estrelas ao longo do tempo
Fatos
- Roda em
- Windows, macOS, Linux
- Você precisa instalar
- Python, FFmpeg
- Para compilar a partir do código
- Python, FFmpeg
- Espaço em disco
- 160 MB–420 MB · estimativa
- Contas ou chaves
- Nenhuma
- Custo
- Grátis · Sem preço. O código é MIT, mas o aviso do README diz que o método é apenas para "RESEARCH/NON-COMMERCIAL USE ONLY".
- Licença
- MIT (Permissiva)
- Última mudança no GitHub
- 6 de jan. de 2024
Sinais de risco de DreamTalk (6)
- AtençãoDependências com vulnerabilidades conhecidas
Dependências fixadas com vulnerabilidades conhecidas (OSV): scipy: PYSEC-2023-102, PYSEC-2023-114; scikit-learn: GHSA-jw8x-6495-233v, PYSEC-2024-110; pillow: GHSA-22hg-r758-rrw9, GHSA-24rc-8hj2-v98c, GHSA-254f-3936-288h; numpy: GHSA-fpfv-jqm9-f5jm; opencv-python: GHSA-qr4w-53vh-m672, PYSEC-2023-183
checagem automática
- AtençãoArquivos do modelo não estão disponíveis publicamente
README, "Download Checkpoints": "In light of the social impact, we have ceased public download access to checkpoints. If you want to obtain the checkpoints, please request it by emailing [email protected]" — sem eles, o código não produz nada.
revisão por IA
- AtençãoSomente para pesquisa e uso não comercial
README, Disclaimer: "This method is intended for RESEARCH/NON-COMMERCIAL USE ONLY", e o pedido por e-mail "implies your consent to use the provided method solely for academic research purposes", mesmo que o arquivo de código diga MIT.
revisão por IA
- AtençãoFaz o rosto de uma pessoa real dizer qualquer coisa
A ferramenta anima "out-of-domain portraits" a partir de qualquer áudio, incluindo "speech in multiple languages", então uma foto mais uma gravação de voz produz um vídeo de uma pessoa dizendo palavras que ela nunca disse; os autores interromperam o download do modelo citando "social impact".
revisão por IA
- InfoAbandonado e construído sobre um python sem suporte
Último commit em 2024-01-06 (1034 dias antes da checagem) com 46 issues abertas, e a linha de instalação é "conda create -n dreamtalk python=3.7.0" com PyTorch 1.8 — versões que já não têm suporte.
revisão por IA
- InfoPassos extras para usar seu próprio vídeo como referência
README: os arquivos de estilo e pose são "3DMM parameter sequences extracted from reference videos", e para usar os seus você precisa seguir os scripts de pré-processamento de vídeo do PIRenderer e do FOMM, com o vídeo a 25 FPS recortado para 256x256.
revisão por IA
As evidências aparecem no idioma original.
O que o Radar não conseguiu verificar em DreamTalk
- Se o autor ainda responde ao e-mail e envia os arquivos do modelo
- Como fica o resultado com sua própria foto e voz, e se a boca realmente combina
- Se o ambiente com Python 3.7 e PyTorch 1.8 ainda instala em um computador atual
- Quanto tempo um vídeo leva em uma CPU, a única opção sem placa NVIDIA
- O uso real de disco, já que os arquivos do modelo não são publicados e não podem ser medidos