去年开始做 GEO 之后，我在服务器上挂了脚本，纯粹出于好奇。想看看到底谁会来。
nister.promptmin.cn 这个站，内容不多，十几个页面。域名是 2024 年注册的，没什么权重。这种站在理论上属于"低速站点"——爬虫偶尔来一次，随便看看就走了。
但日志看了快一年之后，有几个发现跟预想的不一样。
Bytespider（字节的爬虫）第一次出现是 2025 年 6 月中旬，只抓了首页。然后隔了快三周才再次出现，这次多抓了三页。频率极其克制。它不像传统的搜索引擎蜘蛛那样一趟扫全站，而是一次来拿一点，过好久再来拿一点。我猜是因为它对独立小站很谨慎——先收集信号，确认你是个正经站，再逐步扩大抓取范围。
ClaudeBot 是另一个极端。它几乎每次先拉 sitemap，然后再按 sitemap 里的链接去抓。我们专门建了个 sitemap-ai.xml，里面只列了我们认为对 AI 最有价值的页面。ClaudeBot 是唯一一个每次都先看这个文件的爬虫。其他的爬虫要么忽略它，要么随便看一眼。
最意外的是爬虫的作息。网上一堆文章说爬虫周末休息、节假日频率低。但日志看完发现根本不是——AI 爬虫 24 小时都有，凌晨三四点也在抓，大年初一也没停过。因为它们的计算资源是弹性的。
没来的更值得说。截至 2026 年 1 月，DeepSeekBot 和 MoonshotBot 一次都没出现过。同一个网站，同样的 tech stack，同样的 sitemap 提交，结果有的爬虫天天来，有的完全不出现。没人知道为什么。可能是域名权重不够，可能是它们目前只爬头部站，可能是别的原因。
这让我觉得 GEO 最不靠谱的地方就是"等爬虫来"。你没法命令它来，只能把能做的都做了然后等。那些跟你承诺"三个月在全部 AI 平台稳定推荐"的服务商——他们自己知道自己的站被几家爬虫爬了吗？
接下来会继续记。等 DeepSeekBot 和 MoonshotBot 哪天第一次出现，我会单独写一篇。