Scrapling 是什么、它和 BS4/Scrapy/Playwright 差在哪

0030 秒速览：三句话，和你的第一个动作

读完这一篇，你能做到三件事：① 在 BS4 / Scrapy / Playwright / Scrapling 四个名字之间说出各自的位置、什么时候该用谁；② 看到工程师装 Scrapling 时，知道该让他走哪条命令（避开 pip install scrapling 这种"装了一半"的姿势）；③ 在动手之前，知道这条线背后有法律和网站服务条款这两条硬线，无论选哪个都绕不过去。

如果只记三句话

接下来 60 秒：你的第一个动作

如果你打算今天就让工程师上手，先让他敲这两条命令（先把 pip 这条不够的事纠正掉，再装对的——§04 详细说明）：

# 第一步：装带浏览器和反爬能力的完整版（不要只敲 pip install scrapling）
pip install "scrapling[fetchers]"

# 第二步：下载浏览器本体（必须再跑这一条，否则任何 StealthyFetcher/DynamicFetcher 都起不来）
scrapling install

# 验证装好没：进 Python，import 不报错就说明解析器那一半就绪
python3 -c "from scrapling.parser import Adaptor; print('parser ok')"

这两条命令看着平淡，但第二步是新手最常踩的坑。只装不下载浏览器，等于买了辆车但没拿钥匙——程序会照常报错 ModuleNotFoundError 或 browser not found，而你不知道发生了什么。

关键数字（先有个量级感）

如果你只有半小时：按你的处境直接跳

01它是什么：名字像 Scrapy，但完全是另一件事

第一件事必须先破掉一个错想：看到名字里有「scrap」就以为是 Scrapy。它不是。

Scrapling ≠ Scrapy，看名字也想得到

它俩的关系更接近「重型卡车」和「越野自行车」：都能送东西，但场景不同。需要抓一两百页、且页面老改版、且可能被反爬挡——这是 Scrapling 的地盘；要稳定抓百万级页面、配齐工程化流水线——选 Scrapy 更稳。

它不是这四样东西

那它是什么：一句话定义

这句话里有四个词要拆开——拆完就没有生词了。

「解析器」是什么，为什么「比 BS4 快 785 倍」听着像吹牛

解析器的工作很简单：你给它一份网页 HTML（也就是浏览器「右键 → 查看源代码」看到的那一长串带尖括号的文字），它帮你把里面的「标题」「价格」「链接」这种结构化信息挑出来。BeautifulSoup 是这个领域二十年的老前辈，几乎所有 Python 爬虫教程都从它开始。Scrapling 的解析器叫 Adaptor，基于 Cython（一种把 Python 翻译成 C 代码以提升速度的工具）实现，所以同一份任务能快几百倍——这不是营销话术，是算法复杂度加底层语言的差距。

但快不等于「你应该用 Scrapling 替换 BS4」。如果你只爬一两个页面、偶尔用一次，BS4 慢几十毫秒你根本感觉不到；差距在你爬的页面多、改版频繁时才有意义。§03 的选型地图会告诉你什么时候这点速度值得换。

「Fetcher」是什么，为什么会有三个

解析器只负责「拿到 HTML 之后怎么办」。「怎么把 HTML 拿回来」是 Fetcher 的事。同一个网站，你可以用三种姿势去拿——

• Fetcher：发一个普通的网络请求（就像浏览器地址栏敲回车一样轻）。快、轻、不伪装，但碰到反爬墙就跪。
• StealthyFetcher：在请求里伪装成真实浏览器（改请求头里的指纹信息），能绕过大部分 Cloudflare 之类的拦截。
• DynamicFetcher：真的启动一个浏览器（Playwright 控制的 Chromium），等 JavaScript 把页面渲染好再读。慢、重，但能拿到「人眼看到」的版本。

三个怎么挑，§06 是一棵决策树。

「自适应」到底是什么

这是 Scrapling 最大的卖点，也是最多人被「自适应」两个字唬住的地方。它不是 AI、不是魔法，是一个确定性的相似度算法。具体在 §07 拆——这一节先让你知道「网站改版之后选择器失效」这件事到底是什么样子，下一节再给解法。

如果只能带走一句：Scrapling = 一个超快的解析器 + 三个能应付不同环境的 Fetcher + 一个「网站改版后还能找对元素」的自适应选择器 + 一个能整站爬的 Spider。它的位置是「BS4 太弱、Scrapy 太重」中间那一档。

02它解决什么：爬虫最常死的三种姿势

「它解决什么问题」这个问题，最好的问法是反过来问：不用它，爬虫会死在哪？答案是三种姿势，每一种都是工程师已经在群里骂过的具体痛。

死法一：网站改版，你写的「找价格的那行代码」失效了

你（或工程师）写了一段看起来人畜无害的代码：

# 工程师原话：「从商品页里把所有价格拿出来」
prices = page.css('.product .price::text').getall()

代码的意思是「把所有 class 叫 product 的元素里，class 叫 price 的元素的文字拿出来」。问题是 这套 CSS 选择器（用特定语法从 HTML 里挑元素的写法）依赖网站前端的代码——它哪天把 .price 改成 .price-tag，或者把 .product 包了一层 .product-card，你的脚本就一个价格也拿不到了。

普通解析器（BeautifulSoup、parsel）会沉默地返回空列表——没有报错、没有提示，第二天你才发现数据全空了。Scrapling 的自适应模式会把这个元素「记住」：下次再爬时，它按相似度找附近结构最像的节点，把价格拿回来。[1]

死法二：被反爬挡住，返回的是「验证你是人」那个页面

很多网站（尤其是电商、票务、新闻聚合）会部署反爬系统：检测到「访问速度不像人」「请求头不像浏览器」，就给你返回一个验证页面，而不是真实内容。BeautifulSoup 解析这种页面只会解析出 Cloudflare 的验证码，而不是你想要的数据。

Scrapling 的 StealthyFetcher 默认就能过 Cloudflare 的 Turnstile（Cloudflare 推出的一种「我不是机器人」验证）和 Interstitial（插入式「请检查你的浏览器」中间页）。它能过是因为它在请求时模拟了真实浏览器的指纹——浏览器和普通脚本在「打招呼」（握手）的细节上有一堆微妙差别，比如连接建立时的 TLS 握手信息、用 HTTP/2 还是 HTTP/1.1 发请求、Header 字段的顺序。普通脚本请求这些细节都是「裸」的，反爬系统一看就知道「这不是人」。Scrapling 把这些细节伪装成浏览器的样子。[1]

死法三：页面要 JavaScript 渲染，原始 HTML 里根本没有你要的东西

现代网站大量用 JavaScript 在浏览器里「拼出」最终内容。你打开「查看源代码」看到的是一堆空壳 div，价格、评论、商品列表都是浏览器跑完 JS 才填进去的。普通 Fetcher 拿到的是没跑 JS 的版本——什么都看不到。

Scrapling 的 DynamicFetcher 解决这个问题：它启动一个真实的浏览器进程（通过 Playwright），等 JS 跑完、页面真的「长出」内容了，再把 HTML 拿回来。代价是慢（启动浏览器要几秒，每页几秒），且占内存。

这三种死法，分别对应它哪一项能力

03选型地图：在 BS4 / Scrapy / Playwright / Scrapling 之间

这一节是全文最重要的一节——选错了工具，后面所有工作都白干。先记一句话：四个工具不是「新一代淘汰老一代」，是四个位置上各管一摊事。

四个工具的位置

三问决策法：拿这三句去问你的项目

四个工具跑同一份任务，速度量级差多少

这是 Scrapling 官方 README 给的 benchmark，对照任务是从 5,000 个嵌套元素的 HTML 里挑文字：

这数字反着读更重要：Parsel（Scrapy 自带）和 Scrapling 几乎一样快——所以如果你的瓶颈只在解析速度，从 BS4 升级到 Scrapling 收益很大，从 Parsel 升级到 Scrapling 收益微乎其微，应该看的是别的东西（自适应、Fetcher）。[1]

04装好：避开三个坑

安装是这一篇最容易翻车的环节——倒不是因为命令复杂，而是因为有三种常见姿势看着都像对的，但只有一种是对的。

三种安装姿势的区别

正确的完整流程（macOS / Linux）

# 第 1 步：检查 Python 版本（Scrapling 要求 3.10 或更高）
python3 --version

# 第 2 步：装带 Fetcher 的版本（带引号避免 shell 把 [] 解释成通配）
pip install "scrapling[fetchers]"

# 第 3 步：下载浏览器本体（StealthyFetcher / DynamicFetcher 都需要）
scrapling install

# 第 4 步：验证三个 Fetcher 都就位
python3 -c "from scrapling.fetchers import Fetcher, StealthyFetcher, DynamicFetcher; print('all ok')"

第一个坑：Python 版本不够

Scrapling 0.4.15 的官方元数据明确写明：requires_python_version ≥ 3.10。[2] Python 3.9 装不上当前版本。3.8 或以下更不用想。如果你电脑上只有 3.9，按本仓的 Python 快速上手 把 Python 升级到 3.11 或 3.12（当前推荐版）。

第二个坑：只装包不下浏览器

pip install "scrapling[fetchers]" 装的是「能调用浏览器」的代码，不包含浏览器本体。你必须再跑 scrapling install，它会从 Playwright 的 CDN 下载一个约 200 MB 的 Chromium。这一步没做就调用 StealthyFetcher 或 DynamicFetcher，会报 Executable doesn't exist at ... 之类的错。

第三个坑：在 Docker 之外的环境里 Windows 上用 bash 风格的引号

如果你用 Windows 的 PowerShell，"scrapling[fetchers]" 里的双引号也得留着——[fetchers] 是 pip 的「额外组件」语法，不加引号 shell 可能把它当成通配符。PowerShell 里的正确写法一样是双引号包起来。

如果你不想在本地装：Docker 一行

官方维护了一个把「包 + 浏览器 + 系统依赖」全装好的镜像：

docker pull pyd4vinci/scrapling
docker run --rm -it pyd4vinci/scrapling

这一行把镜像拉下来、起一个临时容器、进去就能用。适合「我就要试一下、不想污染本机环境」的场景。

05最小例子：10 行抓 quotes.toscrape.com

quotes.toscrape.com 是爬虫教程的「靶场」——一个专门为练习写的、不会反爬的、名言警句站点。Scrapling 的官方 README 就用它做最小例子。[1]

整段代码（10 行）

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')

# 拿到所有「名言」的文字（每条名言都包在 .quote 里的 .text 标签里）
quotes = page.css('.quote .text::text').getall()

# 拿到所有作者
authors = page.css('.quote .author::text').getall()

for q, a in zip(quotes, authors):
    print(f'{q}  —— {a}')

每一行在说什么（逐行翻译）

你将看到什么

运行后终端会印出一长串类似这样的行：

“The world as we have created it is a process... —— Albert Einstein”
“It is our choices, Harry, that show what we truly...” —— J.K. Rowling”

如果你看到这一行行打出来，最小闭环就通了。后面所有进阶能力都只是在这个闭环上加东西。

下一步：把它存成文件，而不是只打到屏幕

工程师拿到数据通常要存下来，不是只看着。存 CSV（一行一条数据、用逗号分隔的表格文件，Excel 能直接打开）的最小改动：

import csv
from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
authors = page.css('.quote .author::text').getall()

with open('quotes.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['名言', '作者'])
    for q, a in zip(quotes, authors):
        writer.writerow([q, a])

print(f'已写入 {len(quotes)} 条到 quotes.csv')

运行后你会得到一份 quotes.csv，Excel / WPS / Numbers 都能直接打开。

06三个 Fetcher 该用哪个：决策树

三个 Fetcher 不是「高低档」关系，是「不同场景用不同」。挑错既会白费力气，也会莫名其妙地失败。第一步永远是先用 Fetcher 试，跑通再换——别上来就挑最重的。

决策树（直接照抄）

三个 Fetcher 的速查表

用 StealthyFetcher 的最小例子

from scrapling.fetchers import StealthyFetcher, StealthySession

# 用「会话」模式：保持同一个浏览器实例，爬多页时比反复启动快
with StealthySession(headless=True, solve_cloudflare=True) as session:
    page = session.fetch('https://nopecha.com/demo/cloudflare')
    data = page.css('#padded_content a').getall()
    print(f'抓到 {len(data)} 条链接')

用 DynamicFetcher 的最小例子

from scrapling.fetchers import DynamicFetcher

page = DynamicFetcher.fetch('https://quotes.toscrape.com/')
data = page.css('.quote .text::text').getall()
print(f'抓到 {len(data)} 条')

07自适应到底是什么：网站改版后，它怎么找对元素

这是 Scrapling 最容易被误读的一项能力。「自适应」三个字听起来像 AI——它不是。它是一组确定性的相似度算法，加一个「上次对的选择器」的本地存档。下面用一个完整的场景把它讲透。

场景：你的爬虫上周还活着，今天全死了

上周你（或工程师）写了一段代码，从商品页抓价格：

# 上周的「正确版本」
prices = page.css('.product .price::text').getall()

今天电商网站前端改版——把 .product 改成了 .product-card，把 .price 改成了 .price-tag。你这段代码依然「成功跑完」，但返回的是空列表——因为它要找的元素不在了。

普通解析器在这件事上是「哑的」：它不报错、也不提醒，你第二天打开 CSV 文件才发现「价格列全空」。这是爬虫工程里最隐蔽的失败模式——失败长得像成功。

自适应模式的两次调用

Scrapling 的自适应把这个失败拆成两步：

from scrapling.fetchers import StealthyFetcher

# 第一次：网站还长得对的时候跑一次，告诉它「这些选择器是对的」
# auto_save=True 会把「正确版本」存到本地一个 .json 文件
page = StealthyFetcher.fetch('https://example.com/products')
products = page.css('.product .price::text', auto_save=True).getall()

# 一周后：网站改版了，你的旧选择器失效
# adaptive=True 会用相似度算法找新的位置
page = StealthyFetcher.fetch('https://example.com/products')
products = page.css('.product .price::text', adaptive=True).getall()
# 即使 .product 改名 .product-card，它仍能找到价格

它具体怎么找——相似度算法的三层判断

Scrapling 的官方文档对「自适应」的具体机制没展开到学术论文级，但 README 明确说用的是「similarity algorithms」（相似度算法）。[1] 根据 GitHub 仓库源码和文档行为可以反推出它的三层判断（这一段是本文做的机制性复述，不是从官方文档抄来的句子——它帮读者理解为什么能跑通，但具体实现以仓库为准）：

三层里只要有一层「对得上」，Scrapling 就会判定这是同一个节点。它不是猜，是确定性算法——同样的输入永远输出同样的结果。

08Spider：把一个站爬一遍

如果你的目标是「抓几十页、几百页」，上面的代码复制改改就能用。如果目标是「抓整个站点」，Scrapling 提供了一个叫 Spider 的整站框架——名字和概念都借鉴 Scrapy。

最小 Spider：一个会追链接的爬虫

from scrapling.spiders import Spider, Response

class QuoteSpider(Spider):
    name = "quotes"
    start_urls = ["https://quotes.toscrape.com/"]

    async def parse(self, response: Response):
        # 每条名言抓出来，吐一个字典出去
        for item in response.css('.quote'):
            yield {
                "text": item.css('.text::text').get(),
                "author": item.css('.author::text').get(),
            }

        # 找「下一页」按钮，如果有就追过去
        next_page = response.css('.next a::attr(href)').get()
        if next_page:
            yield response.follow(next_page, callback=self.parse)

QuoteSpider().start()

这段代码在做什么

1. 定义一个 Spider 类：给它一个名字（"quotes"）、一组起始 URL（start_urls）。
2. 写 parse 方法：每抓到一个页面，Scrapling 就把页面塞给这个方法，让它处理。「async def」表示这个方法是异步的（不阻塞、可以并发执行）——这是 Scrapling 默认的写法，因为整站爬虫要并发很多请求。
3. yield {...}：每条抓到的数据作为一个字典（字典＝「键-值」配对的数据结构，类似 Excel 的两列）扔出来——Scrapling 会自动收集这些。
4. response.follow(...)：告诉 Scrapling「这个链接也值得追」，然后用 self.parse 去处理下一页。
5. QuoteSpider().start()：启动爬虫。

几个 Spider 内置的好东西

09不能不讲的现实：法律、ToS、robots.txt

这一节是大多数爬虫教程不会写的一节。但它恰恰是你这种角色最该看的一节——因为工程师会埋头实现、不会主动停下去看 ToS，而「能爬到」和「可以爬」是两件完全不同的事。

三条硬线，任意一条卡住就别爬

三条线的优先级

当三条线冲突时，法律 > ToS > robots.txt。

• 法律管最严：它不管网站怎么写，只要你做的事触犯当地法规就违法
• ToS 是合同：违反 ToS 不一定违法，但网站可以起诉你违约、封你账号、追究民事赔偿
• robots.txt 是礼貌：不守是「不礼貌」、不一定违法，但被业界视为「恶意爬虫」的标志

哪些情况基本不用担心的「白名单」

下面这些场景通常风险较低，但仍不构成「自动合法」的依据——你得自己确认每一条：

• 目标站公开、不需要登录，且没有「禁止爬取」声明
• 你爬的是事实性数据（价格、天气、公开统计），不是受版权保护的内容（歌词、长文章全文）
• 你不存个人数据——姓名、邮箱、手机号、住址这些
• 你的请求频率不高——单站每秒不超过 1 次是常见「友好」上限
• 你给目标站留个联系方式，出问题对方能找到你

哪些情况「建议停下来」

• 需要登录才能访问的内容（你绕过了认证 = 多数 ToS 视为「未授权访问」）
• 抓的是别人的用户数据（评论、帖子、个人主页）
• 把抓来的数据整站镜像、再发布
• 绕开付费墙、付费内容
• 目标站明确说「禁止爬取 / 禁止自动化访问」

一个真实的判例：hiQ v. LinkedIn（美国 2022）

hiQ 是美国一家公司，靠抓 LinkedIn 公开个人资料做人才分析服务。LinkedIn 起诉 hiQ 违反《计算机欺诈与滥用法》（CFAA）。案子从 2017 年打到 2022 年，最终联邦第九巡回上诉法院判 hiQ 胜诉——理由是 LinkedIn 上的公开数据不构成「未授权访问」。

但这个判例不意味着你可以照抄：

• 它是美国判例，中国大陆、欧盟的法律环境不一样
• 即使胜诉，hiQ 也打了五年官司、烧了几百万律师费
• 判决的核心是「公开数据」，但 ToS 是否违反是另一个独立问题
• 案子到 2026 年还在被各种后续诉讼围绕

所以这个判例给你的结论是：「公开数据 + 不绕登录」是相对安全的方向，但「相对安全」≠「绝对无风险」。把它当参考、当启发，不要把它当成「合法」的保证书。

10五个坑：上手之后才知道的

这一节是「用起来之后」才会碰到的东西，教程里通常不讲，但每一个都能让你多花半天排错。

坑一：装了包，但 import 还是 ModuleNotFoundError

症状：pip install scrapling 成功，但 from scrapling.fetchers import Fetcher 报 ModuleNotFoundError: No module named 'scrapling.fetchers'。

原因：pip install scrapling 只装了解析器那一半。Fetcher 和 Spider 是「额外组件」，必须用 pip install "scrapling[fetchers]" 装。

解法：重装带额外组件的版本（§04）：

pip install "scrapling[fetchers]"
scrapling install

坑二：StealthyFetcher / DynamicFetcher 报「Executable doesn't exist」

症状：装好了包、import 也不报错，但一调用就报 Executable doesn't exist at ...chromium...。

原因：你装了「能调用浏览器的代码」，但浏览器本体没下载。scrapling install 这一步被跳过了。

解法：scrapling install。或者直接用 Playwright 的下载命令 playwright install chromium。

坑三：自适应模式第一次跑就失效

症状：你想用自适应，adaptive=True 一开，结果报 No saved selector found 或直接返回空。

原因：自适应需要「存档」——之前要跑过 auto_save=True 把「上次对的样子」存下来。你从来没存过，就没有「上次对的样子」，无从相似。

解法：先确认你爬过的页面在「网站长得还对」时跑过一次 auto_save=True。如果网站已经改版了——很遗憾，自适应救不回来，要么换工具、要么换目标站。

坑四：爬到一半被目标站封 IP

症状：前 50 页正常，第 51 页开始 403。

原因：你的请求频率触发了目标站的限速。哪怕 Scrapling 帮你绕过了 Cloudflare，「访问太快」这个行为本身是反爬信号。

解法：开 Spider 时设 download_delay=2（每页间隔 2 秒），或开 AutoThrottle。如果是整站爬千万页级别——这超出本文范围，且这类项目几乎都需要先和目标站谈，技术上能过不等于该做。

坑五：写脚本的人在 Jupyter 里跑的，本地 cron 定时跑就失败

症状：在 Jupyter 里跑得好好的，写成 .py 文件用 cron 定时跑就报错。

原因：Jupyter 默认 ~/.local/bin 在 PATH 里，cron 不一定有。装了包但系统 Python 找不到。

解法：用 python3 -m pip install 装到当前解释器的 site-packages，或者用虚拟环境。具体做法见本仓的 虚拟环境。

11一页纸：命令、选型、判断清单

命令速查

Fetcher 选型速查

「该不该用」四问

给工程师的四句验收话

这四句是把「我看不懂代码」换成「我能问出有明确答案的问题」的现成话——直接复制：

1. 在动手之前，把目标站的 ToS 和 robots.txt 各截一张图给我。
2. 你选的是 Fetcher / StealthyFetcher / DynamicFetcher 哪一个？为什么是这个？
3. 第一次跑通后，你跑过 auto_save=True 吗？（确认自适应能生效）
4. 这次的请求频率是多少？目标站有没有限速规则？

每一条都有明确的「是 / 否 / 列出具体值」的答案空间——这就是你缺的那种「可用依据」。

12名词速查：见到它们时别当成什么用

这些词你会在对接、看文档、问 AI 时撞见。第三列告诉你这个词不该被当成什么。

13常见问题

98来源与证据边界

这篇里凡是「现在是多少」「当前叫什么」「谁说的」的判断，都来自下面这些页面，核对日期统一为 2026-09-30。

官方文档与官方数据（一手）

• github.com/D4Vinci/Scrapling — 仓库 README — 一句话定义、四种 Fetcher、Spider 自适应选择器的官方表述、三种 Fetcher 的最小例子、免责声明（教育研究用途、遵守法律与 ToS）、benchmarks（§00、§02、§03、§05、§06、§07、§08、§09、§10）
• PyPI — scrapling 项目页 — 当前版 0.4.15（2026-08-23 上传）、requires_python ≥ 3.10、许可证 BSD-3-Clause、维护者 Karim Shoair（D4Vinci）、累计 53 个发行版本（§00、§04、§10）
• scrapling.readthedocs.io — 官方文档站 — 安装步骤、Spider 的 robots_txt_obey 开关说明、Spider 的 AutoThrottle / 暂停-续跑 / 限速等机制（§08）
• README 中的 benchmarks 表 — Scrapling / Parsel / PyQuery / Selectolax / BS4+lxml 在 5,000 个嵌套元素的解析任务上的耗时对比，官方给出 Scrapling 用 1.99 ms（§03、§07）

独立来源（不是厂商自述）

• hiQ Labs v. LinkedIn — 案件背景 — 2017 年起、2022 年第九巡回上诉法院判 hiQ 胜诉的关键事实（公开数据不构成未授权访问）。具体判例文号与法官意见可查 PACER（美国联邦法院文书系统）。这是本文用来校准「公开数据可不可以爬」这条边界的事实参照，不是模板（§09）

本文自己做的核对（不是转述）

• 「53 个版本、从 2024-10-13 起」：本文从 PyPI 的 release history 页逐条列出 v0.1 到 v0.4.15 的发布日期、版本号后得出。复核方式：打开 pypi.org/project/scrapling/#history，看版本列表的起止日期与本文一致。
• 「pip install scrapling 装了一半」：本文按官方文档的安装章节和 PyPI 元数据交叉核对，确认默认 pip install 不带 fetchers 子模块。复核方式：装基础包后执行 python3 -c "from scrapling.fetchers import Fetcher"，看到 ModuleNotFoundError 即确认。
• 「robots_txt_obey 默认不打开」：来自 Spider 的可选参数列表，文档没有把它列进默认行为。这是本文显式标注的「默认行为判断」，建议你用前自己再核一遍文档。
• 「自适应 = 相似度算法的三层判断」：这一段是机制性复述，不是从官方文档抄来的句子。官方仅说「similarity algorithms」，没有公布具体分层细节。本文按 README 行为表现与 GitHub 源码公开部分做出三层归纳，具体实现以仓库为准（§07）。

99一句话总结

留给你自己验的那一条

前面所有内容你都可以在文章里找到答案，只有这一条不行——它需要你自己的场景。请做一次：

拿你手上某个半途停下的项目，用 §11 的「该不该用四问」过一遍，然后写出你自己的那四行答案。例如：「我要抓的是某电商的商品价格——公开页面、没登录 → ① 成立；但 ToS 明确禁止自动化访问 → ① 其实不成立 → 停下来换 API」或者：「我要抓的是公司内部 wiki——ToS 没禁止、静态 HTML、不被反爬挡 → ①②③ 全不成立 → BeautifulSoup 就够，不用上 Scrapling」。

如果你写完发现某一条卡住了（比如 ToS 那一栏卡住、不知道算不算「禁止自动化」），那个卡住的地方就是你下一个动作——而不是再去读一篇爬虫教程。