RepoPicks Radar

每天约 23:30 UTC 更新

指南

Tune-A-Video

showlab/Tune-A-VideoAI 已审核

RepoPicks Radar 检查于

Tune-A-Video 是什么?

Tune-A-Video 是 2023 年一篇研究论文(ICCV)的配套代码。你给它一段短视频和一句描述,它会在一块性能较强的 NVIDIA 显卡上微调 Stable Diffusion 图像模型约 10 到 15 分钟。之后你就可以让同样的动作换个主体或风格,例如把 "a man is skiing" 变成 "Spider Man is skiing on the beach"。整个过程都在终端和 Python 里完成;没有图形界面,项目自 2023 年 10 月起就没有再改动。

Tune-A-Video 免费开源(Apache-2.0),可以替代 Runway和Google Veo 3。

Tune-A-Video 安装有多容易?

D · 终端、多个工具或特定显卡 · Linux

文档只描述了 Linux 的配置方式:安装 Python 包,自己从 Hugging Face 下载 Stable Diffusion 权重,修改 YAML 配置,然后在 A100 这类显卡上运行 `accelerate launch train_tuneavideo.py`。之后要产出视频,还得照 README 里的片段自己写 Python 脚本;文档也给了一个 Colab 笔记本链接,可以不装任何东西先试试。

即将推出:用 RepoPicks 应用一键安装。

Tune-A-Video 的 GitHub 数据

星标
4,3592026年11月10日
下载量
—所有发布版本
增长
—上次读取时无增长

星标变化

4,3594,3604,361 11月5日11月6日11月7日11月8日11月9日11月10日 4,3594,3604,361 11月5日11月8日

事实

可运行于
Linux
需要安装
Python, NVIDIA 显卡
从源码编译需要
Python, 显卡
磁盘空间
950 MB–4.3 GB · 估算
账号或密钥
无
费用
免费 · 代码采用 Apache-2.0。它所依赖的 Stable Diffusion 模型有各自的许可,训练还需要租用或自备 GPU。
许可证
Apache-2.0 (宽松型)
可以替代
Runway, Veo 3
GitHub 上的最近改动
2023年10月25日

Tune-A-Video 的风险信号 (6)

  • 注意依赖存在已知漏洞

    锁定的依赖存在已知漏洞(OSV):torch: GHSA-3749-ghw9-m3mg, GHSA-47fc-vmwq-366v, GHSA-53q9-r3pm-6pq6; diffusers: GHSA-7wx4-6vff-v64p, GHSA-98h9-4798-4q5v, PYSEC-2026-2446

    自动检查

  • 注意依赖锁定在 2022 年的版本

    requirements.txt 把 torch==1.12.1、torchvision==0.13.1、diffusers[torch]==0.11.1 和 bitsandbytes==0.35.4 全部锁死,都是 2022 年的版本。这些版本在当前的 Python 和显卡驱动上很难装上,也正是检查中被标记存在已知漏洞的那些依赖。

    AI 审核

  • 注意已无人维护

    最后一次提交是 2023-10-25,距本次检查 1112 天,没有任何发布版本,有 37 个未关闭的问题,README 的 News 列表里最新一条是 2023 年 2 月。

    AI 审核

  • 信息没有界面,也没有成品程序

    仓库里有 train_tuneavideo.py、配置文件和一个 Python 模块;"Inference" 一节只是一段代码片段,需要你自己粘进脚本里。唯一现成的界面是别人在 Hugging Face 上搭的 Gradio 演示。

    AI 审核

  • 信息示例提示词用了受保护的角色

    README 的结果表格使用了 "Spider Man is skiing on the beach"、"Wonder Woman, wearing a cowboy hat"、"James Bond is dribbling a basketball"、"Mr Potato Head" 和 "modern disney style" 等提示词,还指向 Modern Disney、Anything V4.0 等微调模型。这类视频用到的角色和风格都归别人所有。

    AI 审核

  • 信息会改写真人的实拍画面

    该方法拿一段真实视频,换一个主体重新生成,就像 "A man is skiing" 的示例那样;同样的步骤也适用于未经本人同意、可被辨认出身份的影像。

    AI 审核

证据以原始语言显示。

Radar 无法验证的 Tune-A-Video 相关内容

  • 2022 年的这些固定版本依赖,在当前的系统和显卡驱动上还能否安装并运行
  • 实际需要多少显存,文中只给出了在一块 A100 上耗时 10 到 15 分钟
  • 当你保留多份按视频微调的副本后,Stable Diffusion 权重和这些副本会占多少磁盘空间
  • 文中链接的 Colab 笔记本和 Hugging Face 演示,在最后一次更新三年后是否还能用
  • Stable Diffusion 和 DreamBooth 的模型许可,允许你拿生成的视频做什么

类似项目

RepoPicks 应用

即将推出:用 RepoPicks 应用一键安装。

下载之前

在 GitHub 上查看版本页面