装了AI Agent才发现，它的联网能力比想象中弱很多

2026-06-04 AIAgentClaude Code爬虫网页抓取浏览器自动化开源

装完 Agent 发现搜不到公众号、扒不了小红书、打不开登录后的页面——不是 Agent 的问题，是缺少一层联网能力。我让 Hermes 把几套工具跑了一遍实测，结果放在下面。

如果你用的是 Claude Code、Codex、OpenClaw 或者 Hermes Agent 这类工具，大概率遇到过这个情况：

跟 Agent 说「帮我搜一下最近社区关于供应链产品经理入门的讨论」，它要么给你几个打不开的链接，要么说「我无法访问实时网络内容」。

这不是你的 Agent 不行——大多数 Agent 的默认联网能力就是弱的。它们默认只有 WebSearch + WebFetch 两个工具，遇上动态页面、登录后页面、社会媒体内容，直接白给。

但确实有办法补上这层能力。最近在 X 上刷到有人推荐一套工具栈，说是能全覆盖——从扒公众号、搜小红书、批量抓数据，到浏览器自动化操作。

我让我的 Hermes 去跑了一遍实测，看看是不是真有说的那么神。5 个工具，4 个在这台 2GB 无头 VPS 上装通并跑出了结果。 下面是完整记录。

刷到的推荐：一个从轻到重的工具栈

原推说的是五件套，按操作强度从小到大排：

工具	定位	解决什么问题	能抓到什么
Agent-Reach	社媒信息采集脚手架	打通小红书/X/公众号/YouTube/Reddit等16个平台	文章全文Markdown、搜索结果摘要、字幕文本、帖子+评论
Scrapling	自适应抓取框架	批量爬取、绕过反爬、自动重定位元素	完整HTML页面、结构化文本、可自定义提取字段
Browser-use	AI 浏览器自动化	填表、点击、多步操作、登录后操作	页面截图、DOM内容、表单数据、操作日志
Web-access	Agent 联网 Skill	三层自动择优，CDP 直连日常浏览器	同Browser-use，但自带登录态
Claude in Chrome	Chrome 扩展	亲眼盯着 Agent 在浏览器里操作	实时操作画面、人工可中断

核心思路：从轻到重，够用就停，能不开浏览器就别开。

这四个项目在 GitHub 上的活跃度都不错。Agent-Reach 21.1K Stars，作者持续维护了 249 次提交；Scrapling 60.6K Stars，是目前增长最快的自适应抓取框架之一。

Agent-Reach GitHub 页面

Scrapling GitHub 页面

Browser-use 是 AI 浏览器自动化领域公认的头部项目，而 Web-access 虽然 Stars 数相对少（529），但版本迭代很快（已到 v2.5.3），功能设计也很扎实。Claude in Chrome 是 Anthropic 官方出的 Chrome 扩展，不是开源项目。

Browser-use GitHub 页面

Web-access GitHub 页面

我选的话题是「供应链产品经理如何学习、入门、找工作」——一个群里经常被问到的实际问题。这样跑出来的结果不只是工具评测，还能直接当素材用。

第一层：Agent-Reach — 先打通社媒渠道

这是第一个装的。它是个「脚手架」，不自己实现抓取逻辑，而是替你选好上游工具、配置好环境。

安装过程

装的时候遇到一个小坑——main.zip 打包有重复文件，从 GitHub clone 下来注释掉多余的 force-include 就好了。装完跑 agent-reach install --env=auto：

6/16 个渠道可用
装好即用渠道：GitHub、Jina Reader（任意网页）、Exa语义搜索、微信公众号、V2EX、RSS

我再装了 yt-dlp 激活了 YouTube，最终 8/16 个渠道在线。

实测：用 Exa 搜索「供应链产品经理入门」

mcporter call exa.web_search_exa query="供应链产品经理 入门 学习 书籍 经验" numResults=5

返回结果质量超出预期：

《我是如何成为一名跨境供应链产品经理的》 — 人人都是产品经理，2024年5月

作者 Leam 分享了自己 2019 年校招进入赛维时代做仓储系统 PM 的经历。里面有个细节我印象很深：他为了搞懂业务跑去仓库实习，跟着配货员走流程，最后自己画了一版仓储作业流程图。文中说了一句「供应链产品经理的必修课，是知道业务如何运转，而非系统功能设计」——这话放在今天依然适用。

《从0到1解析：供应链产品经理的三大核心优势与入行攻略》 — 人人都是产品经理，2025年5月

作者老杨分析了供应链 PM 的三个特点：容量足够大（不是一个行业，是一个专业）、门槛足够高（场景封闭，不是日常能接触到的）、年龄相对不敏感（C端平均26-27岁，供应链部门平均32-34岁）。

《实战供应链：业务梳理、系统设计与项目实战》 — 罗静（木笔）著

从 2008 年开始专注供应链领域，辗转九州通、京东、叮当快药、转转等企业。这本书从实战角度出发，覆盖了从供应链宏观全貌到核心系统搭建的完整链路。

三条结果都带完整的发布时间、作者、摘要，不是垃圾采集站的内容。

Jina Reader 也正常工作了，curl 一条命令就能把任意网页转成干净 Markdown——这是我们自己站的文章：

curl https://r.jina.ai/https://pmvitamin.com/articles/supply-chain-pm-learning-path.html
→ 成功提取全文，标题、段落、结构全部完整

这一层只花了约10分钟安装配置，0 API 费用。

第二层：Scrapling — 纯 Python 静态抓取

如果只想批量拉数据，Scrapling 比任何浏览器方案都轻。纯 Python，没 GUI 依赖。

安装

pip install scrapling

版本 0.4.8，安装过程很顺，没有进口问题。

实测：抓取 pmvitamin.com 多篇文章

我写了一个测试脚本，先抓首页再用 CSS 选择器提取内容：

状态码: 200
页面标题: PM维他命 · 供应链产品经理
批量抓取2篇文章：
  ✅ 「行业里说的「独占库存」，大多数是伪独占」（89段）
  ✅ 「一台2GB VPS上的Hermes Agent」（54段）

Scrapling 的自适应解析器是亮点——网页改版后它能自动重新定位元素。官方数据说解析 5000 个嵌套元素只要 2 毫秒，比 BS4 快 1600 倍，这个我没验证但它的性能体感确实很好。

不过 StealthyFetcher（隐身模式）我没跑通。 woshipm.com 的反爬太强了，在 VPS 上用 .fetch() 超时了。这是真实限制——隐身模式需要完整的 Playwright 浏览器环境，我这台机器虽然有 Chromium 但组合起来还是不够。如果你在桌面端跑，应该能绕过大部分反爬。

这一层约 3 分钟安装，批量抓取立刻可用。

第三层：Browser-use — 上浏览器

当静态抓取搞不定的时候，需要浏览器方案。

Browser-use 是当前 AI 浏览器自动化的头部项目（90K+ Stars）。核心思路是让 LLM 驱动真实浏览器操作，不是靠写死的 CSS 选择器。

安装

pip install browser-use
playwright install chromium

依赖挺重——装了 Chromium 浏览器、系统字体库、一堆共享库，2GB VPS 上大概占了 600MB 磁盘。但装完后我直接用 Playwright 测了浏览器能力：

页面导航 ✅ — 打开 pmvitamin.com，标题、导航栏全部正确
截图 ✅ — 首页（463KB）、文章列表（373KB）、文章详情（2MB）
内容提取 ✅ — 提取了 12 篇文章的标题和描述

新发的那篇文章已经排在第一了。

但有一个问题：Browser-use 的 AI 驱动层需要自己的 LLM API Key。 我这台 VPS 上 Hermes 用的 DeepSeek Key 没有暴露到环境变量里，Browser-use 拿不到。所以 AI 自主决策那部分（「打开网页、阅读内容、返回摘要」）我没能跑通。底层浏览器能力是完整的，就差这一个配置。

有 API Key 的话，Google Gemini、OpenAI、Anthropic 都支持。如果你计划用这套方案，记得提前准备。

这一层安装约 10 分钟（主要花在下载 Chromium 上），浏览器能力完整，AI 决策层需额外配置。 截图留存了 3 张，可以作为文章配图。

第四层：Web-access — 全场景自动调度

Web-access 是一个 Skill，不是独立工具。它的核心思路是让 Agent 自己判断用哪种方式联网。

安装与配置

npx skills install eze-is/web-access

装完跑依赖检查：

node: ✅ (v23.11.1)
browser CDP: ❌ (未连接 - 需要 Chrome 开启远程调试)

我在 VPS 上启动了 headless Chrome 并开启了 --remote-debugging-port=9222：

curl http://127.0.0.1:9222/json/version
→ Chrome/147.0.7727.15, HeadlessChrome, WebSocket 可用 ✅

CDP 连接成功了，能创建 tab、获取页面信息。

但坦白说，Web-access 在 VPS 上能发挥的能力有限。 它的真正价值是 CDP 直连你日常的 Chrome 浏览器，天然携带所有登录态。在 headless 环境下跑等于自废一半武功。这个工具适合在桌面端使用。

这一层安装 2 分钟，验证通过。桌面端体验会好很多。

第五层：Claude in Chrome — 扩展，不是工具

这是 Anthropic 官方出的 Chrome 扩展。它能让你亲眼看着 Claude 在页面里点击、填写、导航。

这个我没能在 VPS 上测试——无头 VPS 没有 GUI。从官方文档看它适用于：

认证复杂的页面（两步验证、扫码）
需要盯着 Agent 操作才放心的敏感任务
偶尔操作一次的场景

门槛是需要 Claude Pro 订阅。

装上后，搜「供应链产品经理怎么入门」能拿到什么？

跑完这一轮，回到最初的话题。我让这套工具栈去采集「供应链产品经理如何学习/入门/找工作」的信息：

Agent-Reach Exa 搜索 → 3 篇深度文章 + 1 本书，包含发布者、时间、完整摘要
Agent-Reach Jina Reader → 把《你不是缺资料，而是缺业务画面感》全文转成 Markdown
Scrapling → 批量抓取了 2 篇供应链PM文章，结构完整
Playwright 截图 → 首页、文章列表、文章详情，视觉素材到手

从「搜」到「采」到「存」，十几分钟，零 API 费用。

五个工具对比

工具	安装难度	VPS兼容	实测结论
Agent-Reach	中等	✅ 8/16渠道	Exa搜索质量好，无配置即可用
Scrapling	低	✅ 全部	比BS4快，批量抓取首选
Browser-use	高	⚠️ 底层OK	浏览器能力完整，需API Key驱动AI决策
Web-access	中	⚠️ CDP受限	桌面端才是主战场
Claude in Chrome	低	❌ 需GUI	VPS无GUI无法测试

项目	地址	Stars
Agent-Reach	github.com/Panniantong/Agent-Reach	21.1k
Scrapling	github.com/D4Vinci/Scrapling	60.6k
Browser-use	github.com/browser-use/browser-use	90k+
Claude in Chrome	claude.ai/chrome	官方产品
Web-access	github.com/eze-is/web-access	529

说真话部分

测完之后我得说几个限制：

1. StealthyFetcher 没跑通。 反爬绕过的场景我的 VPS 环境不够。桌面端应该能搞定大部分反爬。

2. Browser-use 的 AI 决策层没跑通。 底层 Chromium 是好的，缺 API Key。你想跑完整 AI 驱动浏览器的话，提前准备一个 API Key 就行。

3. Web-access 的 CDP 模式在 VPS 上发挥有限。 它的真正价值是带登录态的桌面 Chrome。

4. 封号风险真实存在。 涉 Cookie 的平台（小红书、Twitter）一定用小号。

5. 大部份场景第一层和第二层就够用了。 不需要动不动就上浏览器。够用就停。

最后说一句：不要为了用浏览器而用浏览器。 能在 CLI 解决的问题，别开浏览器；能静态抓的，别上渲染；能自动化的，别手动。这个工具栈的精髓不是「多强」，而是「够用就停」。