DeepSeek HarnessHub
Submit plugin

TC635807/better-crawler4agent ↗★ 2

better-crawler-4-agent-dsh

DeepSeek Harness (dsh) bundle for better-crawler-4-agent: registers this repository's real-browser URL-to-article-text MCP server in a dsh profile (fetch_url / fetch_urls / crawler_status). 适合需要高成功率网页抓取、规避反爬并提取干净正文的爬虫任务。

Agent collaborationIntegrations
Package
better-crawler-4-agent-dsh
Compatibility
Unverified
Version
1.1.0
License
MIT
Last updated
Sep 30, 2026

Install

$npx -p @deepseek-ai/dsh dsh plugin --profile web add github:TC635807/better-crawler4agent

README

Read the full README ↗

配置

全部通过环境变量，都有合理默认值：

变量默认说明
BETTER_CRAWLER_PYTHON—指定解释器，覆盖自动探测
BETTER_CRAWLER_BROWSERS_PATH—Chromium 所在目录
BETTER_CRAWLER_TIMEOUT25单页抓取超时（秒）
BETTER_CRAWLER_MAX_CHARS50000默认正文返回上限
BETTER_CRAWLER_ALLOW_PRIVATE0设为 1 放开内网限制（仅本地调试）
BETTER_CRAWLER_LOG_LEVELINFO日志级别（输出到 stderr）

关于 Playwright 版本

requirements.txt 锁定 playwright==1.61.0。原因是 playwright 与浏览器 revision 强绑定（1.61 → rev 1228，1.62 → rev 1234），放宽版本会让"复用已有浏览器"因 revision 不匹配而静默失败。

升级 playwright 时必须同步重装浏览器：

python -m playwright install chromium