AudioLDM 2
haoheliu/AudioLDM2Revisado por IA
Verificado pelo RepoPicks Radar em
O que é AudioLDM 2?
Um modelo que transforma uma descrição escrita em áudio: efeitos sonoros, música curta ou fala a partir de uma transcrição mais uma descrição de quem fala. Também melhora a qualidade de uma gravação existente. Você pode testar de graça nas páginas dos autores no Hugging Face, ou instalar com Python e rodar uma página web local ou um comando de uma linha. Há sete arquivos de modelo diferentes disponíveis, incluindo um de alta fidelidade a 48 kHz. É código de pesquisa de um artigo publicado, com a última alteração em 2024.
AudioLDM 2 é grátis e pode substituir ElevenLabs, Suno e Epidemic Sound.
Quão fácil é instalar AudioLDM 2?
A · baixe e abra · Web
- Windows C
- macOS C
- Linux C
- Web A
O jeito mais fácil de começar é pela web, nota A: o README linka dois Hugging Face Spaces gratuitos mantidos pelo autor, onde você digita uma descrição e escuta o resultado, sem instalar nada. Instalar é nota C nos três sistemas: crie um ambiente Python 3.8 com conda, `pip3 install git+https://github.com/haoheliu/AudioLDM2.git`, depois rode `python3 app.py` para uma página web local ou `audioldm2 -t "..."` no terminal. Pode usar uma placa NVIDIA (cuda), um Mac com Apple Silicon (mps) ou só cpu, e a conversão de texto em fala também precisa do espeak instalado.
AudioLDM 2 no GitHub
- Estrelas
- 2.644em 10 de nov. de 2026
- Downloads
- —todas as versões
- Crescimento
- +1estrelas em 6 dias
Estrelas ao longo do tempo
Fatos
- Roda em
- Windows, macOS, Linux, Web
- Você precisa instalar
- Python, Placa NVIDIA
- Para compilar a partir do código
- Python, Placa NVIDIA
- Espaço em disco
- 950 MB–4,3 GB · estimativa
- Contas ou chaves
- Nenhuma
- Custo
- Grátis · Sem preço, mas o arquivo LICENSE é Creative Commons Attribution-NonCommercial-ShareAlike 4.0, que não permite uso comercial — enquanto o setup.py declara MIT.
- Licença
- NOASSERTION (Outra)
- Pode substituir
- ElevenLabs, Suno, Epidemic Sound
- Última mudança no GitHub
- 29 de set. de 2024
Sinais de risco de AudioLDM 2 (8)
- AtençãoDependências com vulnerabilidades conhecidas
Dependências fixadas com vulnerabilidades conhecidas (OSV): transformers: GHSA-29pf-2h5f-8g72, GHSA-37mw-44qp-f5jm, GHSA-37q5-v5qm-c9v8
checagem automática
- Atençãoconflito de licença não comercial com mit
O arquivo LICENSE é "Attribution-NonCommercial-ShareAlike 4.0 International", onde "NonCommercial means not primarily intended for or directed towards commercial advantage or monetary compensation", enquanto o setup.py define `license="MIT"` e o classificador "License :: OSI Approved :: MIT License". O GitHub reporta NOASSERTION, então nenhuma ferramenta consegue dizer qual se aplica ao que você produz com ele.
revisão por IA
- Atençãodesenvolvimento parado
O último commit na versão verificada é de 2024-09-29, 767 dias antes da checagem, não há releases, há 75 issues abertas, e o último item da lista TODO ("Add the style-transfer and inpainting code for the audioldm_48k checkpoint") continua sem marcar, com "PR welcomed".
revisão por IA
- Atençãopilha python antiga e fixada
As instruções de instalação pedem `python=3.8`, e o setup.py fixa `transformers==4.30.2`, `numpy<=1.23.5`, `librosa==0.9.2` e `gradio<4`. O requirements.txt também define `--extra-index-url https://download.pytorch.org/whl/cu113`, uma build de CUDA 11.3. Essas versões têm anos, e o transformers fixado é o mesmo que as checagens apontaram com vulnerabilidades conhecidas.
revisão por IA
- Infoinstala código sem versão fixa do git
O requirements.txt começa com `git+https://github.com/huggingface/diffusers.git` e a seção Diffusers manda rodar `pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate`. Isso instala o que estiver nesses branches no dia da instalação, não uma versão fixa.
revisão por IA
- Infoqualidade do resultado varia com o hardware
Seção do README "Random Seed Matters": "Sometimes model may not perform well (sounds weird or low quality) when changing into a different hardware. In this case, please adjust the random seed and find the optimal one for your hardware." A CLI também oferece `-n` candidatos por texto como "Automatic quality control".
revisão por IA
- Infopesado em um mac
O README sobre dispositivos: "mps ( Notice that the computation requires about 20GB of RAM. )" — ou seja, em um Mac com Apple Silicon você precisa de uma máquina com bastante memória.
revisão por IA
- Infoum caminho mais rápido existe em outro lugar
README: "The Diffusers version of the code runs upwards of **3x faster** than the native AudioLDM 2 implementation, and supports generating audios of arbitrary length", apontando para os checkpoints `cvssp/audioldm2` no Hugging Face. O código deste repositório é o original, mais lento.
revisão por IA
As evidências aparecem no idioma original.
O que o Radar não conseguiu verificar em AudioLDM 2
- Se a instalação ainda funciona hoje com Python 3.8 e essas versões fixadas
- Se as duas páginas de demonstração no Hugging Face ainda estão no ar
- Como realmente soam os efeitos sonoros, a música e a fala gerados
- O espaço real em disco ocupado pelos sete arquivos de modelo que você pode baixar
- Quanto tempo leva um clipe em um processador comum, sem placa de vídeo
- Qual licença vale para o áudio que você gera, dado o conflito entre LICENSE e setup.py