RepoPicks Radar

每天约 23:30 UTC 更新

指南

AudioLDM 2

haoheliu/AudioLDM2AI 已审核

RepoPicks Radar 检查于

AudioLDM 2 是什么?

一个把文字描述转换成音频的模型:音效、短音乐,或者根据一段转录文字加上说话人描述生成的语音。它还能提升已有录音的质量。你可以在作者的 Hugging Face 页面上免费试用,也可以用 Python 安装后运行本地网页或一条命令。提供七个不同的模型文件,其中包括一个 48 kHz 高保真版本。这是一篇已发表论文附带的研究代码,最后一次更改是在 2024 年。

AudioLDM 2 免费,可以替代 ElevenLabs、Suno和Epidemic Sound。

AudioLDM 2 安装有多容易?

A · 下载即用 · Web

  • Windows C
  • macOS C
  • Linux C
  • Web A

最简单的方式是网页端,评级 A:README 链接了作者运营的两个免费 Hugging Face Spaces,你只需输入描述并试听,无需安装任何东西。安装则是三个系统都是 C 级:用 conda 创建一个 Python 3.8 环境,执行 `pip3 install git+https://github.com/haoheliu/AudioLDM2.git`,然后用 `python3 app.py` 打开本地网页,或在终端里用 `audioldm2 -t "..."`。它可以使用 NVIDIA 显卡(cuda)、Apple Silicon Mac(mps)或纯 cpu,文字转语音还需要安装 espeak。

AudioLDM 2 的 GitHub 数据

星标
2,6442026年11月10日
下载量
—所有发布版本
增长
+16 天内新增星标

星标变化

2,6442,6452,646 11月6日11月7日11月8日11月9日11月10日 2,6442,6452,646 11月6日11月8日11月10日

事实

可运行于
Windows, macOS, Linux, Web
需要安装
Python, NVIDIA 显卡
从源码编译需要
Python, NVIDIA 显卡
磁盘空间
950 MB–4.3 GB · 估算
账号或密钥
无
费用
免费 · 没有标价,但 LICENSE 文件是 Creative Commons Attribution-NonCommercial-ShareAlike 4.0,不允许商业使用——而 setup.py 却声明为 MIT。
许可证
NOASSERTION (其他)
GitHub 上的最近改动
2024年9月29日

AudioLDM 2 的风险信号 (8)

  • 注意依赖存在已知漏洞

    锁定的依赖存在已知漏洞(OSV):transformers: GHSA-29pf-2h5f-8g72, GHSA-37mw-44qp-f5jm, GHSA-37q5-v5qm-c9v8

    自动检查

  • 注意许可证冲突:非商业 vs mit

    LICENSE 文件是 "Attribution-NonCommercial-ShareAlike 4.0 International",其中写道 "NonCommercial means not primarily intended for or directed towards commercial advantage or monetary compensation",而 setup.py 却设置了 `license="MIT"` 以及分类标签 "License :: OSI Approved :: MIT License"。GitHub 显示 NOASSERTION(无法判定),所以没有任何工具能判断你用它制作的内容适用哪一个。

    AI 审核

  • 注意开发已经停止

    被检查的快照中最后一次提交是 2024-09-29,距检查日已过去 767 天,没有任何 release,有 75 个未关闭的 issue,TODO 列表里最后一项("Add the style-transfer and inpainting code for the audioldm_48k checkpoint")仍未勾选,旁边写着 "PR welcomed"。

    AI 审核

  • 注意锁定了陈旧的 python 环境

    安装说明要求 `python=3.8`,setup.py 锁定了 `transformers==4.30.2`、`numpy<=1.23.5`、`librosa==0.9.2` 和 `gradio<4`。requirements.txt 还设置了 `--extra-index-url https://download.pytorch.org/whl/cu113`,这是一个 CUDA 11.3 的构建版本。这些版本已经有好几年历史,被锁定的 transformers 正是检查中标记出已知漏洞的那个版本。

    AI 审核

  • 信息从 git 安装未锁定版本的代码

    requirements.txt 开头就是 `git+https://github.com/huggingface/diffusers.git`,Diffusers 章节还让你运行 `pip install --upgrade git+https://github.com/huggingface/diffusers.git transformers accelerate`。这会安装你安装当天那些分支上的任意内容,而不是固定版本。

    AI 审核

  • 信息输出质量因硬件而异

    README 的 "Random Seed Matters" 一节写道:"Sometimes model may not perform well (sounds weird or low quality) when changing into a different hardware. In this case, please adjust the random seed and find the optimal one for your hardware." 命令行工具还提供每段文字生成 `-n` 个候选结果,称为 "Automatic quality control"。

    AI 审核

  • 信息在 mac 上很吃资源

    README 在设备部分写道:"mps ( Notice that the computation requires about 20GB of RAM. )" ——也就是说在 Apple Silicon Mac 上,你需要一台内存很大的机器。

    AI 审核

  • 信息更快的路径在别处

    README 写道:"The Diffusers version of the code runs upwards of **3x faster** than the native AudioLDM 2 implementation, and supports generating audios of arbitrary length",并指向 Hugging Face 上的 `cvssp/audioldm2` checkpoint。这个仓库里的代码是速度较慢的原始实现。

    AI 审核

证据以原始语言显示。

Radar 无法验证的 AudioLDM 2 相关内容

  • 在 Python 3.8 和这些锁定版本下,今天安装是否还能成功
  • 那两个 Hugging Face 演示页面是否仍在线
  • 生成的音效、音乐和语音实际听起来怎样
  • 你可能下载的七个模型文件实际占用多少磁盘空间
  • 在没有显卡、只用普通处理器时,生成一段音频需要多长时间
  • 由于 LICENSE 和 setup.py 的说法冲突,你生成的音频到底适用哪种许可

类似项目

RepoPicks 应用

即将推出:用 RepoPicks 应用一键安装。

下载之前

在 GitHub 上查看版本页面