《AI 读不懂的工厂》 第 02 章 · robots 把门关上
来源：鹿聚GEO · 行业动态 · 作者：孙先生（上海鹿聚信息科技有限公司）
系列： 《AI 读不懂的工厂》
副标题： 一家宁波模具企业的 GEO 改造实录
本章关键词： robots.txt、AIGEO、爬虫、Disallow、curl 验收
一
李海涛进机房的时候，孙顾问已经在笔记本上打开了三行命令。
「先别改文件。」孙顾问说，「我们 先看 AI 能不能进门。」
机房不大，两台机柜、一台 UPS、墙上贴着「非运维人员禁止操作」。王建平没进来，他在门外抽烟——老周昨晚又问了一句：「改几个文件，AI 就能认识咱们了？」
李海涛知道父亲那辈人信看得见摸得着的东西：钢、模架、试模报告。根目录里那个叫 robots.txt 的纯文本，在老人眼里像「玄学配置」。
孙顾问把命令投屏到李海涛的显示器：
curl -I https://www.example-mold.com/robots.txt
curl https://www.example-mold.com/robots.txt
curl -A "GPTBot" https://www.example-mold.com/robots.txt
「第三行，模拟 AI 访客的身份。」孙顾问说。
李海涛皱眉：「说人话。」
孙顾问换了个说法：「你们官网门口挂着 访客规则牌——谁可以进、谁不能进、哪些区域禁止参观。这个文件就叫 网站门口访客规则，写在 robots.txt 里。很多厂子对百度开放，对 AI 没写清楚；或者 测试环境的规则整包复制到正式站，把产品目录封死了。」
李海涛手有点抖。他想起三年前官网改版，外包公司交付时给了一份「安全加固版 robots」，他看都没看就上传了。
文件打开的瞬间，他脸色白了。
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /products/
Disallow: /cases/
Disallow: /uploads/
Disallow: /tmp/
# 测试环境请勿抓取
Disallow: /
最后一行注释像一记闷棍。
王建平探进半个脑袋：「Disallow 是什么？」
「 禁止进入。」孙顾问指着屏幕，「最后一行 Disallow: / 的意思是：全厂禁入。上面虽然单独写了后台、登录页不能进，但很多 AI 访客按 最严那条 执行——你们产品页、案例页， AI 根本进不来。」
李海涛喃喃：「所以 AI 把我们当贸易公司……是因为 它只读到了首页和关于我们？」
「对。首页如果写得泛，『模具解决方案提供商』这种，AI 只能猜。 产品证据在 /products/ 里，门却锁着。」
二
陈薇被叫进机房时，手里还拿着展会样品单。
她不懂 Disallow，但懂 销售后果：「也就是说，我们官网那些车灯模具案例页，AI 从来没读过？」
「可以这么理解。」孙顾问打开十二维诊断报告里的 D4 项，「AI 爬虫友好 · 未达标。报告里写得很清楚：访客规则里没写页面清单地址；且 /products/ 在禁止名单里。」
王建平这时走进来，听完三句，问：「谁的责任？」
李海涛肩膀塌下去：「我的。外包交付后我没验收。」
王建平没骂人，只问孙顾问：「改要多久？改完 AI 明天能不能搜到？」
「改文件十分钟；AI 重新来读 看平台节奏，通常几天到几周。」孙顾问说，「今天目标是 把门打开，并用验收命令留下 可复测的证据。明天能不能搜到，不敢承诺；三十天后同问句复测，可以对比。」
老张在门边探进半个脑袋：「我就想知道，改完采购员那个问句有没有戏。」
孙顾问答：「访客规则只是 链路 A 的第一道关。门开了，还要 页面清单 告诉 AI 有哪些页面，还要页面正文让 AI 读懂。 但这是正确顺序的第一步。」
李海涛：「页面清单又是啥？」
「 sitemap，下一章讲。」孙顾问说，「你可以理解成 给访客发的全厂导览册。」
三 · 技术动作
孙顾问在白板上写了 推荐写法（制造业 B2B）：
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /tmp/
Allow: /products/
Allow: /cases/
Allow: /news/
Allow: /uploads/
Allow: /assets/
Sitemap: https://www.example-mold.com/sitemap.xml
「原则四条。」他边写边说：
① 只禁后台和临时目录，不要禁 /products/、/cases/。
② 显式写清楚关键目录可以进，减少歧义。
③ 必须写上页面清单地址，指向真实可访问的 XML。
④ 不要用访客规则当权限控制，敏感接口靠账号密码。
李海涛问：「CSS、JS 要不要禁？外包说禁静态资源省带宽。」
王建平：「说人话。」
孙顾问：「页面靠样式和脚本才能显示完整内容。禁了 CSS/JS，AI 进来看到的是 空壳展厅——产品参数在表格里，表格样式在 CSS 里。 误封静态资源，等于门开了但灯灭了。」
他们在测试环境先改一版，跑完验收再推生产。李海涛手敲命令，孙顾问逐行核对。
验收清单：
# 1. HTTP 状态 200
curl -I https://www.example-mold.com/robots.txt
# 2. 内容含 Sitemap 声明
curl https://www.example-mold.com/robots.txt | grep -i sitemap
# 3. 确认 /products/ 未被 Disallow
curl https://www.example-mold.com/robots.txt | grep -i products
# 4. 模拟 AI 爬虫可读
curl -A "GPTBot" https://www.example-mold.com/robots.txt
陈薇拍照存档，文件名：2026-04-02_robots_验收_evidence.jpg。
「以后每次改访客规则，都跑这四条。」孙顾问说，「这就是 工程验收，不是『感觉应该没问题』。」
四
Nginx 还有一个小坑。
李海涛推生产后，curl 本地 200，外网同事却报 404。查日志发现 SPA 路由把 /robots.txt 吞进了 index.html。
孙顾问在配置里加了一段：
location = /robots.txt {
root /var/www/mold-site;
default_type text/plain;
}
「根目录文件必须 由 Web 服务器直接返回，不能交给前端路由。」
李海涛：「说人话。」
「门口那块 访客规则牌，得挂在固定位置，不能被首页模板盖住。」
改完再 curl，外网 200。李海涛在 priority_actions 清单第一条后面打了勾：修正 robots.txt · 已完成 · evidence 已存档。
王建平看着清单，问：「页面清单里还是只有六个 URL，门开了，爬虫进来往哪走？」
孙顾问笑：「 第 03 章的活。 死的页面清单，比关着的门还坑——门开了，里面是一张空地图。」
五 · 本章问答
李海涛： 我们以前也做过 SEO，keywords meta 都填过，为什么 AI 还是不行？
孙顾问： SEO 优化的是 搜索结果里的链接排名；AI 引用走的是 抓取→理解→生成答案。你们全站禁爬阶段，普通搜索引擎可能也受影响，只是百度有些历史索引还在。AI 新模型更依赖 可抓取的正文，meta keywords 几乎不起作用。
王建平： 外包公司说「安全加固」才加全站禁止，这行业普遍吗？
孙顾问： 不少。测试环境模板 未经生产验收 就上线，是制造业老站 Top3 问题。建议写进 官网变更流程：任何根目录文件改动，必须跑 curl 清单。
陈薇： 改完访客规则，销售能不能对外说「我们已 GEO 优化」？
孙顾问： 可以说 「AIGEO 基建第一步已完成，待页面清单与内容整改后复测」。别吹「已上 AI 推荐」—— 复测报告没出来之前，都是过程。」
六 · 本章小结
-
根因： 测试环境访客规则模板遗留全站禁止，产品/案例目录不可抓取。
-
动作： 按制造业 B2B 推荐写法重写 robots.txt，声明页面清单，Nginx 独立 location。
-
验收： curl 四条命令 + evidence 存档，priority_actions 第一条关闭。
-
认知： 网站门口访客规则是链路 A 第一道关；门开了，还有页面清单与内容文本化。
下章预告
第 03 章 · 死的 sitemap
门打开了，李海涛打开 sitemap.xml——仍然只有六个 URL，lastmod 全是改版那天。孙顾问说：「AI 爬虫进来，像进了一间 没有货架号的仓库。」
本文为《AI 读不懂的工厂》连载第 2 章 · 鹿聚GEO 制造业 GEO 实录系列
官网：https://www.lujugeo.cn