Tune-A-Video
showlab/Tune-A-VideoAI 已审核
RepoPicks Radar 检查于
Tune-A-Video 是什么?
Tune-A-Video 是 2023 年一篇研究论文(ICCV)的配套代码。你给它一段短视频和一句描述,它会在一块性能较强的 NVIDIA 显卡上微调 Stable Diffusion 图像模型约 10 到 15 分钟。之后你就可以让同样的动作换个主体或风格,例如把 "a man is skiing" 变成 "Spider Man is skiing on the beach"。整个过程都在终端和 Python 里完成;没有图形界面,项目自 2023 年 10 月起就没有再改动。
Tune-A-Video 免费开源(Apache-2.0),可以替代 Runway和Google Veo 3。
Tune-A-Video 安装有多容易?
D · 终端、多个工具或特定显卡 · Linux
文档只描述了 Linux 的配置方式:安装 Python 包,自己从 Hugging Face 下载 Stable Diffusion 权重,修改 YAML 配置,然后在 A100 这类显卡上运行 `accelerate launch train_tuneavideo.py`。之后要产出视频,还得照 README 里的片段自己写 Python 脚本;文档也给了一个 Colab 笔记本链接,可以不装任何东西先试试。
即将推出:用 RepoPicks 应用一键安装。
Tune-A-Video 的 GitHub 数据
- 星标
- 4,3592026年11月10日
- 下载量
- —所有发布版本
- 增长
- —上次读取时无增长
星标变化
事实
- 可运行于
- Linux
- 需要安装
- Python, NVIDIA 显卡
- 从源码编译需要
- Python, 显卡
- 磁盘空间
- 950 MB–4.3 GB · 估算
- 账号或密钥
- 无
- 费用
- 免费 · 代码采用 Apache-2.0。它所依赖的 Stable Diffusion 模型有各自的许可,训练还需要租用或自备 GPU。
- 许可证
- Apache-2.0 (宽松型)
- GitHub 上的最近改动
- 2023年10月25日
Tune-A-Video 的风险信号 (6)
- 注意依赖存在已知漏洞
锁定的依赖存在已知漏洞(OSV):torch: GHSA-3749-ghw9-m3mg, GHSA-47fc-vmwq-366v, GHSA-53q9-r3pm-6pq6; diffusers: GHSA-7wx4-6vff-v64p, GHSA-98h9-4798-4q5v, PYSEC-2026-2446
自动检查
- 注意依赖锁定在 2022 年的版本
requirements.txt 把 torch==1.12.1、torchvision==0.13.1、diffusers[torch]==0.11.1 和 bitsandbytes==0.35.4 全部锁死,都是 2022 年的版本。这些版本在当前的 Python 和显卡驱动上很难装上,也正是检查中被标记存在已知漏洞的那些依赖。
AI 审核
- 注意已无人维护
最后一次提交是 2023-10-25,距本次检查 1112 天,没有任何发布版本,有 37 个未关闭的问题,README 的 News 列表里最新一条是 2023 年 2 月。
AI 审核
- 信息没有界面,也没有成品程序
仓库里有 train_tuneavideo.py、配置文件和一个 Python 模块;"Inference" 一节只是一段代码片段,需要你自己粘进脚本里。唯一现成的界面是别人在 Hugging Face 上搭的 Gradio 演示。
AI 审核
- 信息示例提示词用了受保护的角色
README 的结果表格使用了 "Spider Man is skiing on the beach"、"Wonder Woman, wearing a cowboy hat"、"James Bond is dribbling a basketball"、"Mr Potato Head" 和 "modern disney style" 等提示词,还指向 Modern Disney、Anything V4.0 等微调模型。这类视频用到的角色和风格都归别人所有。
AI 审核
- 信息会改写真人的实拍画面
该方法拿一段真实视频,换一个主体重新生成,就像 "A man is skiing" 的示例那样;同样的步骤也适用于未经本人同意、可被辨认出身份的影像。
AI 审核
证据以原始语言显示。
Radar 无法验证的 Tune-A-Video 相关内容
- 2022 年的这些固定版本依赖,在当前的系统和显卡驱动上还能否安装并运行
- 实际需要多少显存,文中只给出了在一块 A100 上耗时 10 到 15 分钟
- 当你保留多份按视频微调的副本后,Stable Diffusion 权重和这些副本会占多少磁盘空间
- 文中链接的 Colab 笔记本和 Hugging Face 演示,在最后一次更新三年后是否还能用
- Stable Diffusion 和 DreamBooth 的模型许可,允许你拿生成的视频做什么