FunCodec
modelscope/FunCodecAI 已审核
RepoPicks Radar 检查于
FunCodec 是什么?
FunCodec来自阿里巴巴语音实验室,是一个面向神经音频编解码器的研究工具包:它把语音压缩成每秒250到16000比特的离散编码,再从编码还原出声音。Hugging Face和ModelScope上发布了六个预训练模型,项目还提供了LauraTTS的训练脚本,这是一个能从一小段样本模仿声音的文字转语音模型。一切都通过Linux上的shell脚本运行,需要Python和一块或多块GPU;没有应用程序,没有界面,也没有发布包。
FunCodec 安装有多容易?
E · 仅适合程序员 · Linux
这是给Linux上的研究者用的:你克隆仓库,运行`pip install --editable ./`,然后用Kaldi风格的`wav.scp`文件列表,驱动按阶段划分的shell脚本,例如`bash encoding_decoding.sh --stage 1 --gpu_devices "0,1"`。setup.py声明只支持Linux,没有图形化或一键式的途径,训练需要多块GPU。
即将推出:用 RepoPicks 应用一键安装。
FunCodec 的 GitHub 数据
- 星标
- 4492026年11月10日
- 下载量
- —所有发布版本
- 增长
- —上次读取时无增长
星标变化
事实
- 可运行于
- Linux
- 需要安装
- Python, 显卡
- 从源码编译需要
- Python, 显卡
- 磁盘空间
- 950 MB–4.3 GB · 估算
- 账号或密钥
- 无
- 费用
- 免费 · 代码是MIT许可,模型权重可以免费下载;成本只是GPU时间。
- 许可证
- MIT (宽松型)
- GitHub 上的最近改动
- 2024年1月5日
FunCodec 的风险信号 (5)
- 注意通过未加密的http安装包
requirements.txt只有一行:`--editable ./ -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com`。它让pip指向一个未加密(http)的包镜像,并关闭了对该镜像的证书校验,所以安装到的内容取决于这个镜像以及中间的网络环境。
AI 审核
- 注意自2024年1月起没有更新
最近一次提交是2024-01-05(本次检查前1038天),而且完全没有发布版本,README却仍然写着"This project is still working on progress",还有26个issue处于开放状态。依赖列表要求`torch>=1.12`,并锁定了`typeguard==2.13.3`,这类锁定版本正是容易在当前Python和PyTorch版本下出问题的那种。
AI 审核
- 注意从样本模仿一个声音
仓库的标签里包含"voicecloning",README介绍"LauraTTS... a powerful codec-based zero-shot text-to-speech synthesizer, which outperforms VALL-E in terms of semantic consistency and speaker similarity"。Zero-shot意味着只要一段某人的简短录音,就能让一个新声音说出任何内容,这可能侵犯声音和形象权。
AI 审核
- 信息模型要从仓库之外下载
模型权重不在仓库里:`bash encoding_decoding.sh --stage 0 --model_name ${model_name} --model_hub modelscope`(或`huggingface`)会从alibaba-damo在ModelScope或Hugging Face上的页面获取它们。那些模型页面可能有自己的条款,并不是仓库的MIT许可证。
AI 审核
- 信息许可证声明互相矛盾
LICENSE文件和setup.py中的`license="The MIT License"`都写着MIT,但setup.py的classifiers里却列出了"License :: OSI Approved :: Apache Software License"。README还补充说项目"contains various third-party components and some code modified from other repos under other open source licenses"(Kaldi、ESPnet、EnCodec)。
AI 审核
证据以原始语言显示。
Radar 无法验证的 FunCodec 相关内容
- 在将近三年没有提交的情况下,用当前的Python和PyTorch版本,安装是否还能顺利完成
- 模型在实际使用中(编码和训练)到底需要多少磁盘空间和显存
- 预训练模型是否仍然能从ModelScope和Hugging Face下载
- 相对VALL-E的质量宣称,在作者自己的测试之外是否依然成立
- 始终会安装的阿里云存储客户端(oss2)和训练时用到的wandb包,会往外发送什么数据