Scrapling
D4Vinci/ScraplingAI 已审核
RepoPicks Radar 检查于
RepoPicks Radar 在这个项目中发现了较强的风险信号。它仍然可见,方便你查看证据,但不会出现在推荐中,只会出现在“有警示”筛选的排行榜里。
Scrapling 是什么?
一个用于从网站采集数据的 Python 库和终端命令。它可以发送普通网络请求,为需要 JavaScript 的页面驱动一个隐藏浏览器,一次跟踪整个网站的多个页面链接,支持暂停和继续,并把结果保存为 JSON、JSONL、CSV、XML 或整洁的 Markdown。它还附带一个服务器,让 AI 助手可以通过它浏览并提取数据。它是为程序员设计的,不过 `scrapling extract` 命令不写代码也能保存一个页面。你需要 Python 3.10+,浏览器部分还需要一次性下载一个浏览器。
Scrapling 安装有多容易?
C · 需要安装 1–2 个工具 · Windows
- Windows C
- macOS C
- Linux C
Windows、macOS 和 Linux 的步骤相同:安装 Python 3.10+,然后运行 `pip install "scrapling[fetchers]"` 和 `scrapling install` 来下载浏览器,再在终端或自己的 Python 代码里使用它。还有一个内置浏览器的现成 Docker 镜像,那又是多一个需要安装的工具。
Scrapling 的 GitHub 数据
- 星标
- 101,0702026年11月10日
- 下载量
- —所有发布版本
- 增长
- +6,2787 天内新增星标
星标变化
事实
- 可运行于
- Windows, macOS, Linux
- 需要安装
- Python, Docker
- 从源码编译需要
- Python, Docker
- 磁盘空间
- 100 MB–300 MB · 估算
- 账号或密钥
- 无
- 费用
- 免费 · 该库是免费的(BSD-3-Clause 许可)。大规模的任务通常意味着要向某家代理服务公司付费,而 README 本身也接受了多家这类公司的赞助。
- 许可证
- BSD-3-Clause (宽松型)
- 可以替代
- Browserbase, Bright Data
- GitHub 上的最近改动
- 2026年11月9日
Scrapling 的风险信号 (7)
- 高绕过网站的反爬虫防护
README 把这个列为主要功能:"Anti-bot Bypass: Advanced stealth capabilities with `StealthyFetcher` and fingerprint spoofing. Can easily bypass all types of Cloudflare's Turnstile/Interstitial with automation";示例代码使用了 `solve_cloudflare=True`,MCP 服务器部分说它使用 "our stealthy browser with the right tools to enable suitable AI models to bypass any CAPTCHA is faces while working (not to mention our Cloudflare solver)"。`pyproject.toml` 把项目描述为 "undetectable",并在关键词中重复了这个词。绕过一个网站用来阻止自动化访问的系统,违反了大多数网站的使用条款,许多国家也有关于规避技术访问保护的法律。README 自己的提醒也说这个库 "provided for educational and research purposes only",并要求 "Always respect the terms of service of websites and robots.txt files",而 spiders 列表显示,遵守 robots.txt 只是一个 "Optional `robots_txt_obey` flag"。
AI 审核
- 注意专门设计用来绕过网站的反爬虫防护
README 把绕过防护当作一项主要功能来宣传:"Anti-bot Bypass: Advanced stealth capabilities with `StealthyFetcher` and fingerprint spoofing. Can easily bypass all types of Cloudflare's Turnstile/Interstitial with automation",代码示例使用了 `solve_cloudflare=True`,MCP 部分说它能让 AI 模型 "bypass any CAPTCHA is faces",`pyproject.toml` 把项目描述为 "undetectable"。绕过网站用来阻止自动化访问的系统,违反了大多数网站的使用条款,在一些国家还可能违法。README 自己的提醒也说这个库 "for educational and research purposes only",并要求 "respect the terms of service of websites and robots.txt files"。
AI 审核
- 注意robots.txt 规则默认是关闭的
README 的 Spiders 列表写道:"Robots.txt Compliance: Optional `robots_txt_obey` flag that respects `Disallow`, `Crawl-delay`, and `Request-rate`"。一个网站为爬虫发布的规则,只有在你打开这个选项之后才会被遵守。
AI 审核
- 信息可以复制整个商品目录并隐藏你的地址
现成的模板中包括 `ShopifySpider`,用来 "collect products from public Shopify stores, one item per variant",而抓取器还提供代理轮换、TLS 指纹伪造(`impersonate='chrome'`)和通过 Cloudflare DNS-over-HTTPS 实现的 "DNS Leak Prevention"。用这种方式收集个人数据,也会带来隐私法规方面的义务。
AI 审核
- 信息README 里有一大块是付费广告位
README 中有很大一部分是代理服务和 CAPTCHA 破解公司的 "Platinum Sponsors" 和 "Sponsors" 板块,附带折扣码("Use code SCRAPLING35 for 35% discount"、"Code SCRAPEANDTAKE: 25% off"),还有一行写着 "Do you want to show your ad here?"。那里的推荐应该当作广告,而不是建议。
AI 审核
- 信息AI 服务器会把外部网页内容喂给你的助手
MCP 服务器 "Let[s] AI chatbots and agents (Claude/Cursor/etc) scrape through Scrapling with HTTP requests, browser actions, screenshots, saved login state"。README 说它 "protect[s] against Prompt-Injection",但这只是作者自己的说法;它访问的页面上的文字依然会传到你的助手那里。
AI 审核
- 信息保存的登录状态和抓取的流量会留在磁盘上
浏览器会话会保留 cookie 和状态(`StealthySession`,"saved login state"),`record_requests=True` 会 "saves text response bodies" 以便之后搜索。这些文件可能保存着你的登录信息,以及你访问过的网站的数据。
AI 审核
证据以原始语言显示。
Radar 无法验证的 Scrapling 相关内容
- Cloudflare 和 CAPTCHA 的处理方式今天是否依然有效,因为网站的防护一直在变化
- README 中的速度数据,是项目方自己测得的
- `scrapling install` 下载完整浏览器及其系统文件之后,实际占用的磁盘空间
- 一次爬取是否足够克制,不会导致目标网站封锁你的地址
- AI 服务器中关于防范提示注入的说法是否真的站得住