RepoPicks Radar

每天约 23:30 UTC 更新

指南

Text2Video-Zero

Picsart-AI-Research/Text2Video-ZeroAI 已审核

RepoPicks Radar 检查于

Text2Video-Zero 是什么?

Text2Video-Zero 根据一段文字提示,通过逐帧驱动一个图像模型(Stable Diffusion)来生成短视频,完全不涉及任何视频训练。它还可以跟随一段现有视频的姿势或边缘,或者根据一句指令改变它的风格,比如 "make it Van Gogh Starry Night"。这是 2023 年一篇论文配套的研究代码:需要 Python 3.9、CUDA,以及一块至少 12 GB 显存的 NVIDIA 显卡,把压缩调高后大约 7 GB 也可以。作者维护着一个免费的 Hugging Face 演示。这份代码自 2023 年 4 月以来没有再变过,这种方法现在也已经收录进 Diffusers 库里。

Text2Video-Zero 免费,可以替代 Runway、Pika和Google Veo 3。

Text2Video-Zero 安装有多容易?

A · 下载即用 · Web

  • Windows D
  • Linux D
  • Web A

网页版是最简单的方式,评级 A:作者维护着一个免费的 Hugging Face Space(PAIR/Text2Video-Zero),你只需输入一个提示词。自己动手安装在 Linux 和 Windows 上是 D 级:"Install requirements using Python 3.9 and CUDA >= 11.6",创建一个 virtualenv,`pip install -r requirements.txt` 里有 35 个锁定在 2023 年版本的依赖包,还要有一块 12 GB 显存的 NVIDIA 显卡,然后 `python app.py` 才会打开 127.0.0.1:7860 这个页面。macOS 没有评级,因为这个安装过程需要 CUDA。

Text2Video-Zero 的 GitHub 数据

星标
4,2472026年11月10日
下载量
—所有发布版本
增长
—上次读取时无增长

星标变化

4,2464,2474,248 11月6日11月7日11月8日11月9日11月10日 4,2464,2474,248 11月6日11月8日11月10日

事实

可运行于
Windows, Linux, Web
需要安装
Python, NVIDIA 显卡
从源码编译需要
Python, 显卡, FFmpeg
磁盘空间
950 MB–4.3 GB · 估算
账号或密钥
无
费用
免费 · 代码和模型都不收费。但这个许可证不是普通的开源许可证:它是 CreativeML Open RAIL-M,对你可以怎样使用它附加了一些规则。
许可证
NOASSERTION (其他)
可以替代
Runway, Pika, Veo 3
GitHub 上的最近改动
2023年4月14日

Text2Video-Zero 的风险信号 (10)

  • 注意下载链接指向文件分享网站

    README 里有一个指向 https://www.dropbox.com/s/uv90mi2z598olsq/Text2Video-Zero.MP4?dl=0 的链接

    自动检查

  • 注意依赖存在已知漏洞

    锁定版本的依赖存在已知漏洞(OSV):accelerate: GHSA-4j2p-28q2-5m79, PYSEC-2026-3804; basicsr: GHSA-86w8-vhw6-q9qq, PYSEC-2026-1215; diffusers: GHSA-7wx4-6vff-v64p, GHSA-98h9-4798-4q5v, PYSEC-2026-2446; gradio: GHSA-26jh-r8g2-6fpr, GHSA-279j-x4gx-hfrh, GHSA-34rf-p3r3-58x2; opencv_python: GHSA-qr4w-53vh-m672, PYSEC-2023-183; opencv-contrib-python: GHSA-cxjf-x6jp-p7mc, PYSEC-2023-181; pillow: GHSA-22hg-r758-rrw9, GHSA-24rc-8hj2-v98c, GHSA-254f-3936-288h; pytorch_lightning: GHSA-2vj5-px25-gjrp, GHSA-4cv3-v7pv-rfhf, GHSA-75m9-98v2-hjpm; torch: GHSA-3749-ghw9-m3mg, GHSA-53q9-r3pm-6pq6, GHSA-5pcm-hx3q-hm94; tqdm: GHSA-g7vv-2v7x-gj9p, PYSEC-2026-1976; transformers: GHSA-282v-666c-3fvg, GHSA-29pf-2h5f-8g72, GHSA-37mw-44qp-f5jm

    自动检查

  • 注意研究代码自 2023 年 4 月起就没再变动

    最后一次提交是在 2023-04-14(本次检查前 1304 天),完全没有任何发行版,这份安装方法锁定的还是那个时期的版本:`torch==1.13.1`、`diffusers==0.14.0`、`gradio==3.23.0`、`transformers==4.26.0`,environment.yaml 要求 python=3.8.5 和 cudatoolkit=11.3,而 README 又要求 Python 3.9。像 "We plan to continue optimizing our code" 这样的承诺之后并没有再出现新的提交。

    AI 审核

  • 注意许可证限制了你可以怎样使用它

    GitHub 没能识别出许可证类型(NOASSERTION),因为这个文件是 "CreativeML Open RAIL-M dated March 28, 2023",它说自己 "added use-based restrictions not permitting the use of the Model in very specific scenarios",而且任何衍生作品都必须带有 "at minimum - the same use-based restrictions"。这不是一份普通的宽松许可证,README 还补充说原始的 Stable Diffusion 代码也遵循同样的条款。

    AI 审核

  • 注意一个参数就能把页面公开到互联网上

    README 写道:"To access the app remotely, run this shell command: `python app.py --public_access`",后面还写着 "For security information about public access we refer to the documentation of gradio"。这个页面本身没有登录验证,所以它给出的地址谁拿到都能打开。

    AI 审核

  • 注意从社区网站加载模型文件

    代码通过 `get_model_list()` 列出并加载模型,"any base model for stable diffusion and any dreambooth model hosted on huggingface can now be loaded",README 还建议 "Dreambooth models can be obtained, for instance, from CIVITAI"。这些都是陌生人上传的文件,你的 Python 进程随后会把它们加载进来,而项目并没有提供任何校验或审核。

    AI 审核

  • 信息内置的风格模仿商业特许作品

    内置的 Dreambooth 模型分别叫 "Anime DB"、"Avatar DB"、"GTA-5 DB" 和 "Arcane DB",由关键词 `gtav style`、`arcane style` 和 `avatar style` 触发。它们的存在就是为了重现属于其他公司的电影和游戏的视觉风格,用这些内容能发布什么,取决于你所在的地方。

    AI 审核

  • 信息需要一块较大的 NVIDIA 显卡

    2023 年 3 月 28 日的更新说明写道:"We added a new low-memory setup. Minimum required GPU VRAM is currently **12 GB**",2023 年 4 月 6 日的说明提到用 Token Merging "and chunk size set to `2`, our code can run with **less than 7 GB VRAM**",代价是画质下降("too high values will decrease the image quality")。

    AI 审核

  • 信息默认情况下视频片段非常短

    文档里的示例调用用的是 `"video_length": 8` 帧,`fps = 4`,也就是一段两秒的片段,公开的结果展示也是 GIF。后来的一条更新说明生成的视频 "can have **arbitrary length**",但默认值和示例仍然停留在八帧。

    AI 审核

  • 信息代码里缺了一个功能

    README 的 Ablation Study 部分写道:"Adding `smooth_bg=True` activates background smoothing. However, our code does not include the salient object detector necessary to run that code." 仓库里还提到同样的方法也在 Diffusers 库里("available in Diffusers, starting from version `0.15.0`"),维护得比这份代码好。

    AI 审核

证据以原始语言显示。

Radar 无法验证的 Text2Video-Zero 相关内容

  • 2023 年的这套安装方法在当前的显卡驱动、Python 或 CUDA 版本上是否还能装上
  • 用你自己的提示词生成的视频效果好不好、稳不稳定,因为公开的示例是作者自己挑选的
  • 实际占用的磁盘空间,检查只是用启发式方法估算在 950 MB 到 4450 MB 之间,这还是在下载了 Stable Diffusion 和 Dreambooth 文件之后
  • 在你的显卡上生成一段视频要花多长时间,README 完全没有说明
  • 从社区网站下载的 Dreambooth 文件在加载之前里面到底有什么内容

类似项目

RepoPicks 应用

即将推出:用 RepoPicks 应用一键安装。

下载之前

在 GitHub 上查看版本页面