Paper2Video
showlab/Paper2VideoAI 已审核
RepoPicks Radar 检查于
Paper2Video 是什么?
Paper2Video 是 Show Lab(新加坡国立大学)的研究代码,用来生成研究者为学术会议录制的那种演讲视频。你提供论文的 LaTeX 源码、一张主讲人的方形照片和大约十秒的语音;智能体会撰写幻灯片、字幕和旁白,在幻灯片上移动光标,用克隆出的声音朗读文本,还可以加上数字主讲人画面。它还有一个不带主讲人的轻量模式。整个流程在终端运行,需要一块大显存的 NVIDIA 显卡和付费 AI 服务的密钥。
Paper2Video 安装有多容易?
D · 终端、多个工具或特定显卡 · Linux
只有 Linux 有安装说明,而且准备工作很长:一个 Python 3.10 的 conda 环境、tectonic 这个 LaTeX 引擎、在 shell 里导出的 API 密钥;要生成数字主讲人,还需要第二个 conda 环境,并克隆 Hallo2 项目、下载它的模型权重。README 说最低推荐显卡是 48 GB 的 NVIDIA A6000,示例命令里一次用了八块 GPU。
即将推出:用 RepoPicks 应用一键安装。
Paper2Video 的 GitHub 数据
- 星标
- 2,4222026年11月10日
- 下载量
- —所有发布版本
- 增长
- +76 天内新增星标
星标变化
事实
- 可运行于
- Linux
- 需要安装
- Python, NVIDIA 显卡, 其他工具
- 磁盘空间
- 未确定
- 账号或密钥
- OpenAI, Google Gemini
- 费用
- 免费,API 另行收费 · 代码采用 MIT 许可,但流程会调用付费服务:README 推荐文本和视觉部分都用 GPT-4.1 或 Gemini 2.5 Pro。它也说支持在本地运行 Qwen 等开源模型,并把细节指向另一个项目。
- 许可证
- MIT (宽松型)
- GitHub 上的最近改动
- 2026年3月5日
Paper2Video 的风险信号 (6)
- 注意会克隆人脸和声音
README 的 Inference:流程接受 `--ref_img`("must be square portrait")和 `--ref_audio`("recommended: ~10s"),并用 Hallo2 模型生成该声音的语音以及该人脸的数字主讲人视频。同样的步骤,用在未经本人同意的照片和语音样本上也一样有效。
AI 审核
- 注意需要数据中心级显卡
README 的 Inference:"The minimum recommended GPU for running this pipeline is NVIDIA A6000 with 48G",而两条示例命令都传入 `--gpu_list [0,1,2,3,4,5,6,7]`,也就是八块显卡,用于生成光标和渲染数字主讲人。
AI 审核
- 注意每个视频的花费不明
README 的 Configure LLMs:整篇论文都要经过 GPT-4.1 或 Gemini 2.5 Pro 处理文本和视觉,幻灯片排版还使用树搜索(`--if_tree_search` 默认为 True),会反复调用模型。仓库没有给出做一个视频大约要花多少钱。
AI 审核
- 信息需要额外拉取另一个项目和模型权重
README 的 Requirements:要生成真人主讲画面,你得执行 "git clone https://github.com/fudan-generative-vision/hallo2.git",为它单独建一个 conda 环境并下载模型权重,原因是 "potential package conflicts"。这些代码都不在本仓库里。
AI 审核
- 信息已有数月未更新
最后一次提交是 2026-03-05,距本次检查 250 天,没有任何发布版本,README 里最新的更新说明来自 2025-10-15。
AI 审核
- 信息基准视频取自公开网站
README 的 Acknowledgements:"The souces of the presentation videos are SlideLive and YouTuBe",也就是说,它用来比较的数据集是别人录制的演讲。
AI 审核
证据以原始语言显示。
Radar 无法验证的 Paper2Video 相关内容
- 处理一篇论文时 OpenAI 和 Gemini 的调用要花多少钱,以及需要重跑的概率有多高
- 不带数字主讲人的轻量流程,能否在较小的显卡上跑起来
- Hallo2 的权重和渲染出的视频需要多少磁盘空间
- 幻灯片和旁白是否准确描述了论文,还是会编造需要读者自行核实的内容
- 它在 Windows 或 macOS 上是否能运行,因为文档只给了 Linux 风格的说明