AudioLDM 2
haoheliu/AudioLDM2AI 已审核
RepoPicks Radar 检查于
AudioLDM 2 是什么?
一个把文字描述转换成音频的模型:音效、短音乐,或者根据一段转录文字加上说话人描述生成的语音。它还能提升已有录音的质量。你可以在作者的 Hugging Face 页面上免费试用,也可以用 Python 安装后运行本地网页或一条命令。提供七个不同的模型文件,其中包括一个 48 kHz 高保真版本。这是一篇已发表论文附带的研究代码,最后一次更改是在 2024 年。
AudioLDM 2 免费,可以替代 ElevenLabs、Suno和Epidemic Sound。
AudioLDM 2 安装有多容易?
A · 下载即用 · Web
- Windows C
- macOS C
- Linux C
- Web A
最简单的方式是网页端,评级 A:README 链接了作者运营的两个免费 Hugging Face Spaces,你只需输入描述并试听,无需安装任何东西。安装则是三个系统都是 C 级:用 conda 创建一个 Python 3.8 环境,执行 `pip3 install git+https://github.com/haoheliu/AudioLDM2.git`,然后用 `python3 app.py` 打开本地网页,或在终端里用 `audioldm2 -t "..."`。它可以使用 NVIDIA 显卡(cuda)、Apple Silicon Mac(mps)或纯 cpu,文字转语音还需要安装 espeak。
AudioLDM 2 的 GitHub 数据
- 星标
- 2,6442026年11月10日
- 下载量
- —所有发布版本
- 增长
- +16 天内新增星标
星标变化
事实
- 可运行于
- Windows, macOS, Linux, Web
- 需要安装
- Python, NVIDIA 显卡
- 从源码编译需要
- Python, NVIDIA 显卡
- 磁盘空间
- 950 MB–4.3 GB · 估算
- 账号或密钥
- 无
- 费用
- 免费 · 没有标价,但 LICENSE 文件是 Creative Commons Attribution-NonCommercial-ShareAlike 4.0,不允许商业使用——而 setup.py 却声明为 MIT。
- 许可证
- NOASSERTION (其他)
- 可以替代
- ElevenLabs, Suno, Epidemic Sound
- GitHub 上的最近改动
- 2024年9月29日
AudioLDM 2 的风险信号 (8)
- 注意依赖存在已知漏洞
锁定的依赖存在已知漏洞(OSV):transformers: GHSA-29pf-2h5f-8g72, GHSA-37mw-44qp-f5jm, GHSA-37q5-v5qm-c9v8
自动检查
- 注意许可证冲突:非商业 vs mit
LICENSE 文件是 "Attribution-NonCommercial-ShareAlike 4.0 International",其中写道 "NonCommercial means not primarily intended for or directed towards commercial advantage or monetary compensation",而 setup.py 却设置了 `license="MIT"` 以及分类标签 "License :: OSI Approved :: MIT License"。GitHub 显示 NOASSERTION(无法判定),所以没有任何工具能判断你用它制作的内容适用哪一个。
AI 审核
- 注意开发已经停止
被检查的快照中最后一次提交是 2024-09-29,距检查日已过去 767 天,没有任何 release,有 75 个未关闭的 issue,TODO 列表里最后一项("Add the style-transfer and inpainting code for the audioldm_48k checkpoint")仍未勾选,旁边写着 "PR welcomed"。
AI 审核
- 注意锁定了陈旧的 python 环境
安装说明要求 `python=3.8`,setup.py 锁定了 `transformers==4.30.2`、`numpy<=1.23.5`、`librosa==0.9.2` 和 `gradio<4`。requirements.txt 还设置了 `--extra-index-url https://download.pytorch.org/whl/cu113`,这是一个 CUDA 11.3 的构建版本。这些版本已经有好几年历史,被锁定的 transformers 正是检查中标记出已知漏洞的那个版本。
AI 审核
- 信息从 git 安装未锁定版本的代码
requirements.txt 开头就是 `git+https://github.com/huggingface/diffusers.git`,Diffusers 章节还让你运行 `pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate`。这会安装你安装当天那些分支上的任意内容,而不是固定版本。
AI 审核
- 信息输出质量因硬件而异
README 的 "Random Seed Matters" 一节写道:"Sometimes model may not perform well (sounds weird or low quality) when changing into a different hardware. In this case, please adjust the random seed and find the optimal one for your hardware." 命令行工具还提供每段文字生成 `-n` 个候选结果,称为 "Automatic quality control"。
AI 审核
- 信息在 mac 上很吃资源
README 在设备部分写道:"mps ( Notice that the computation requires about 20GB of RAM. )" ——也就是说在 Apple Silicon Mac 上,你需要一台内存很大的机器。
AI 审核
- 信息更快的路径在别处
README 写道:"The Diffusers version of the code runs upwards of **3x faster** than the native AudioLDM 2 implementation, and supports generating audios of arbitrary length",并指向 Hugging Face 上的 `cvssp/audioldm2` checkpoint。这个仓库里的代码是速度较慢的原始实现。
AI 审核
证据以原始语言显示。
Radar 无法验证的 AudioLDM 2 相关内容
- 在 Python 3.8 和这些锁定版本下,今天安装是否还能成功
- 那两个 Hugging Face 演示页面是否仍在线
- 生成的音效、音乐和语音实际听起来怎样
- 你可能下载的七个模型文件实际占用多少磁盘空间
- 在没有显卡、只用普通处理器时,生成一段音频需要多长时间
- 由于 LICENSE 和 setup.py 的说法冲突,你生成的音频到底适用哪种许可