Skip to content

Bot 库管理

用来识别爬虫 / 机器人,方便你在白名单、例外、规则里按 Bot 名称或分类来放行或拦截。

面板入口:观测 → Bot 库管理

Bot 库列表

只识别,不自动拦

加了 Bot 不会自动拦截。要拦或放行,请去写 白名单 / 例外 / 自定义规则,条件里引用 Bot 名称、分类等。

识别从哪来

  1. 本地 Bot 档案(自建 + 内置种子)
  2. 远程签名库(面板可同步,补充识别)
  3. UA 启发式(例如是否像 bot)

怎么加本地 Bot

  1. 打开 Bot 库,点新建
  2. 名称,至少选 1 个 分类
  3. UA 模式:每行一条(普通子串,或按面板提示写正则)
  4. 备注可选;内置项不要乱改坏
  5. 保存

新建 Bot

常见分类(白话)

分类含义
搜索引擎Google、Bing、百度等
探测平台UptimeRobot、SEO 探测等
社交平台社交预览爬虫
爬虫程序curl、各类 HTTP 库 / 通用爬虫
恶意 Bot明确恶意
AI工具GPTBot、Claudebot 等(可自建)
内部程序站点自身回调类 UA(可自建)
其他系统预留兜底

首次安装会预置较完整的 Bot 档案(搜索引擎、社交、探测、爬虫、AI 等);可按需增删改,不需要的禁用即可。

分类管理

可新建显示名、排序。分类标识创建后不要乱改;别占用系统预留的「其他」。

远程库

面板有查看 / 同步入口,用来补充识别签名,同样不会自动拦截

推荐用法

  • 放行搜索引擎:白名单条件「Bot 分类 = 搜索引擎」(可再限路径)
  • 观察可疑爬虫:规则「像 bot」且「不是已知库」→ 观察
  • 拦恶意类:Bot 分类 = 恶意 → 拦截或挑战

完整步骤:放行合法爬虫

注意

  • 以为加了 Profile 就会自动拦 → 不会
  • UA 模式写太宽,普通浏览器也会被标成 Bot
  • CDN 真实 IP 配错时,日志和部分校验会失真

相关:在面板里加条件 · 自定义规则