RepoPicks Radar

每天约 23:30 UTC 更新

指南

Paper2Video

showlab/Paper2VideoAI 已审核

RepoPicks Radar 检查于

Paper2Video 是什么?

Paper2Video 是 Show Lab(新加坡国立大学)的研究代码,用来生成研究者为学术会议录制的那种演讲视频。你提供论文的 LaTeX 源码、一张主讲人的方形照片和大约十秒的语音;智能体会撰写幻灯片、字幕和旁白,在幻灯片上移动光标,用克隆出的声音朗读文本,还可以加上数字主讲人画面。它还有一个不带主讲人的轻量模式。整个流程在终端运行,需要一块大显存的 NVIDIA 显卡和付费 AI 服务的密钥。

Paper2Video 安装有多容易?

D · 终端、多个工具或特定显卡 · Linux

只有 Linux 有安装说明,而且准备工作很长:一个 Python 3.10 的 conda 环境、tectonic 这个 LaTeX 引擎、在 shell 里导出的 API 密钥;要生成数字主讲人,还需要第二个 conda 环境,并克隆 Hallo2 项目、下载它的模型权重。README 说最低推荐显卡是 48 GB 的 NVIDIA A6000,示例命令里一次用了八块 GPU。

即将推出:用 RepoPicks 应用一键安装。

Paper2Video 的 GitHub 数据

星标
2,4222026年11月10日
下载量
—所有发布版本
增长
+76 天内新增星标

星标变化

2,4182,4192,4202,4212,4222,423 11月8日11月9日11月10日 2,4182,4192,4202,4212,4222,423 11月8日11月9日11月10日

事实

可运行于
Linux
需要安装
Python, NVIDIA 显卡, 其他工具
磁盘空间
未确定
账号或密钥
OpenAI, Google Gemini
费用
免费,API 另行收费 · 代码采用 MIT 许可,但流程会调用付费服务:README 推荐文本和视觉部分都用 GPT-4.1 或 Gemini 2.5 Pro。它也说支持在本地运行 Qwen 等开源模型,并把细节指向另一个项目。
许可证
MIT (宽松型)
可以替代
HeyGen, Synthesia, D-ID
GitHub 上的最近改动
2026年3月5日

Paper2Video 的风险信号 (6)

  • 注意会克隆人脸和声音

    README 的 Inference:流程接受 `--ref_img`("must be square portrait")和 `--ref_audio`("recommended: ~10s"),并用 Hallo2 模型生成该声音的语音以及该人脸的数字主讲人视频。同样的步骤,用在未经本人同意的照片和语音样本上也一样有效。

    AI 审核

  • 注意需要数据中心级显卡

    README 的 Inference:"The minimum recommended GPU for running this pipeline is NVIDIA A6000 with 48G",而两条示例命令都传入 `--gpu_list [0,1,2,3,4,5,6,7]`,也就是八块显卡,用于生成光标和渲染数字主讲人。

    AI 审核

  • 注意每个视频的花费不明

    README 的 Configure LLMs:整篇论文都要经过 GPT-4.1 或 Gemini 2.5 Pro 处理文本和视觉,幻灯片排版还使用树搜索(`--if_tree_search` 默认为 True),会反复调用模型。仓库没有给出做一个视频大约要花多少钱。

    AI 审核

  • 信息需要额外拉取另一个项目和模型权重

    README 的 Requirements:要生成真人主讲画面,你得执行 "git clone https://github.com/fudan-generative-vision/hallo2.git",为它单独建一个 conda 环境并下载模型权重,原因是 "potential package conflicts"。这些代码都不在本仓库里。

    AI 审核

  • 信息已有数月未更新

    最后一次提交是 2026-03-05,距本次检查 250 天,没有任何发布版本,README 里最新的更新说明来自 2025-10-15。

    AI 审核

  • 信息基准视频取自公开网站

    README 的 Acknowledgements:"The souces of the presentation videos are SlideLive and YouTuBe",也就是说,它用来比较的数据集是别人录制的演讲。

    AI 审核

证据以原始语言显示。

Radar 无法验证的 Paper2Video 相关内容

  • 处理一篇论文时 OpenAI 和 Gemini 的调用要花多少钱,以及需要重跑的概率有多高
  • 不带数字主讲人的轻量流程,能否在较小的显卡上跑起来
  • Hallo2 的权重和渲染出的视频需要多少磁盘空间
  • 幻灯片和旁白是否准确描述了论文,还是会编造需要读者自行核实的内容
  • 它在 Windows 或 macOS 上是否能运行,因为文档只给了 Linux 风格的说明

类似项目

RepoPicks 应用

即将推出:用 RepoPicks 应用一键安装。

下载之前

在 GitHub 上查看版本页面