2025 年 4 月的时候,我们决定拿自己的站当实验品。
当时的基线很惨:豆包、DeepSeek、Kimi 三个平台搜"妮斯特科技",一个都搜不到。六个行业关键词(“GEO优化”、“AI搜索优化”、“企业AI可见度"之类),引用全部是零。服务器日志翻了又翻,除了我们自己的 curl,没有 AI 爬虫来过。
然后开始做。
第一个月全花在技术基础上。网站改成 Hugo 纯静态,挂了五套 JSON-LD,robots.txt 显式放行了十家爬虫,三份 sitemap 分别提交到百度、头条和 Bing。做完这些之后百度蜘蛛开始来了。AI 爬虫?还是零。
第二个月开始搞内容。加了方法论和关于我们页面,写了四篇长文,发到掘金和知乎。月末的时候 Googlebot 从一周两次变成了一天一次,Bingbot 也开始定期出现。但中国的 AI 爬虫依然没动静。说实话那时候有点怀疑——是不是小站根本不配被爬?
第三个月 GitHub 上建了个公开仓库,知乎那篇有了两百多个阅读,掘金上了推荐。然后有一天查日志,看到一个陌生的 User-Agent:Bytespider。字节跳动的爬虫。它只抓了首页,然后就走了。但几周后在豆包搜"GEO优化”,结果里终于有了我们。
不是第一条,也不是唯一推荐。但在那里。
三个月的教训其实就几条。技术部署比内容分发见效快——爬虫行为在你改了 sitemap 和 robots.txt 之后立刻就变。但内容起作用是慢的,要等。还有就是不要被大平台的数据忽悠——你去查那些头部 GEO 公司的数据,它们做的第一版网站也不是一发出来就被 AI 引用。都是慢慢攒出来的。
接下来我们继续做,继续公开数据。不敢保证三个月一定出结果,但只要你开始做了,总比等着强。