TC635807/better-crawler4agent ↗★ 2
better-crawler-4-agent-dsh
DeepSeek Harness (dsh) bundle for better-crawler-4-agent: registers this repository's real-browser URL-to-article-text MCP server in a dsh profile (fetch_url / fetch_urls / crawler_status). 适合需要高成功率网页抓取、规避反爬并提取干净正文的爬虫任务。
설치
$
npx -p @deepseek-ai/dsh dsh plugin --profile web add github:TC635807/better-crawler4agent配置
全部通过环境变量，都有合理默认值：
| 变量 | 默认 | 说明 |
|---|---|---|
BETTER_CRAWLER_PYTHON | — | 指定解释器，覆盖自动探测 |
BETTER_CRAWLER_BROWSERS_PATH | — | Chromium 所在目录 |
BETTER_CRAWLER_TIMEOUT | 25 | 单页抓取超时（秒） |
BETTER_CRAWLER_MAX_CHARS | 50000 | 默认正文返回上限 |
BETTER_CRAWLER_ALLOW_PRIVATE | 0 | 设为 1 放开内网限制（仅本地调试） |
BETTER_CRAWLER_LOG_LEVEL | INFO | 日志级别（输出到 stderr） |
关于 Playwright 版本
requirements.txt 锁定 playwright==1.61.0。原因是 playwright 与浏览器 revision 强绑定（1.61 → rev 1228，1.62 → rev 1234），放宽版本会让"复用已有浏览器"因 revision 不匹配而静默失败。
升级 playwright 时必须同步重装浏览器：
python -m playwright install chromium