RepoPicks Radar

Atualizado todo dia por volta das 23:30 UTC

Guias

DreamTalk

ali-vilab/dreamtalkRevisado por IA

Verificado pelo RepoPicks Radar em

O que é DreamTalk?

DreamTalk é o código de um artigo de pesquisa da Alibaba. A partir de uma foto de frente e um arquivo de áudio, ele gera um vídeo desse rosto falando, copiando o estilo de fala e o movimento de cabeça de um clipe de referência. Ele roda pela linha de comando e o resultado é um vídeo de 256x256. Os arquivos do modelo não são mais oferecidos para download: o README pede que você envie um e-mail ao autor e diz que o método é só para pesquisa acadêmica. Você monta um ambiente conda com Python 3.7, PyTorch, ffmpeg e dlib; recomenda-se uma placa de vídeo, com uma opção mais lenta pela CPU.

DreamTalk é grátis e de código aberto (MIT) e pode substituir HeyGen e D-ID.

Quão fácil é instalar DreamTalk?

E · só para quem programa · Windows

  • Windows E
  • macOS E
  • Linux E

A mesma E em todos os lugares, e o Linux é o caminho realista: você cria um ambiente conda com Python 3.7, instala o PyTorch 1.8 com CUDA 11.1 além de dlib e ffmpeg, e depois executa um comando longo em python com caminhos para o áudio, um arquivo de estilo 3DMM e um arquivo de pose. Além disso, os arquivos do modelo não podem ser baixados, então nem um desenvolvedor consegue obter um resultado sem antes enviar um e-mail ao autor.

Em breve: instale com 1 clique pelo app RepoPicks.

DreamTalk no GitHub

Estrelas
1.788em 10 de nov. de 2026
Downloads
—todas as versões
Crescimento
—sem ganho na última leitura

Estrelas ao longo do tempo

1.7881.7891.790 6 de nov.7 de nov.8 de nov.9 de nov.10 de nov. 1.7881.7891.790 6 de nov.8 de nov.10 de nov.

Fatos

Roda em
Windows, macOS, Linux
Você precisa instalar
Python, FFmpeg
Para compilar a partir do código
Python, FFmpeg
Espaço em disco
160 MB–420 MB · estimativa
Contas ou chaves
Nenhuma
Custo
Grátis · Sem preço. O código é MIT, mas o aviso do README diz que o método é apenas para "RESEARCH/NON-COMMERCIAL USE ONLY".
Licença
MIT (Permissiva)
Pode substituir
HeyGen, D-ID
Última mudança no GitHub
6 de jan. de 2024

Sinais de risco de DreamTalk (6)

  • AtençãoDependências com vulnerabilidades conhecidas

    Dependências fixadas com vulnerabilidades conhecidas (OSV): scipy: PYSEC-2023-102, PYSEC-2023-114; scikit-learn: GHSA-jw8x-6495-233v, PYSEC-2024-110; pillow: GHSA-22hg-r758-rrw9, GHSA-24rc-8hj2-v98c, GHSA-254f-3936-288h; numpy: GHSA-fpfv-jqm9-f5jm; opencv-python: GHSA-qr4w-53vh-m672, PYSEC-2023-183

    checagem automática

  • AtençãoArquivos do modelo não estão disponíveis publicamente

    README, "Download Checkpoints": "In light of the social impact, we have ceased public download access to checkpoints. If you want to obtain the checkpoints, please request it by emailing [email protected]" — sem eles, o código não produz nada.

    revisão por IA

  • AtençãoSomente para pesquisa e uso não comercial

    README, Disclaimer: "This method is intended for RESEARCH/NON-COMMERCIAL USE ONLY", e o pedido por e-mail "implies your consent to use the provided method solely for academic research purposes", mesmo que o arquivo de código diga MIT.

    revisão por IA

  • AtençãoFaz o rosto de uma pessoa real dizer qualquer coisa

    A ferramenta anima "out-of-domain portraits" a partir de qualquer áudio, incluindo "speech in multiple languages", então uma foto mais uma gravação de voz produz um vídeo de uma pessoa dizendo palavras que ela nunca disse; os autores interromperam o download do modelo citando "social impact".

    revisão por IA

  • InfoAbandonado e construído sobre um python sem suporte

    Último commit em 2024-01-06 (1034 dias antes da checagem) com 46 issues abertas, e a linha de instalação é "conda create -n dreamtalk python=3.7.0" com PyTorch 1.8 — versões que já não têm suporte.

    revisão por IA

  • InfoPassos extras para usar seu próprio vídeo como referência

    README: os arquivos de estilo e pose são "3DMM parameter sequences extracted from reference videos", e para usar os seus você precisa seguir os scripts de pré-processamento de vídeo do PIRenderer e do FOMM, com o vídeo a 25 FPS recortado para 256x256.

    revisão por IA

As evidências aparecem no idioma original.

O que o Radar não conseguiu verificar em DreamTalk

  • Se o autor ainda responde ao e-mail e envia os arquivos do modelo
  • Como fica o resultado com sua própria foto e voz, e se a boca realmente combina
  • Se o ambiente com Python 3.7 e PyTorch 1.8 ainda instala em um computador atual
  • Quanto tempo um vídeo leva em uma CPU, a única opção sem placa NVIDIA
  • O uso real de disco, já que os arquivos do modelo não são publicados e não podem ser medidos

Projetos parecidos

O app RepoPicks

Em breve: instale com 1 clique pelo app RepoPicks.

Antes de baixar

Baixar do GitHub

Ver a página da versão no GitHub