AIGEO网站收录实战：robots、sitemap、Schema与llms.txt完整工程方案

AIGEO网站收录实战：robots、sitemap、Schema与llms.txt完整工程方案

来源：鹿聚GEO · AIGEO 行业洞察 · 作者：孙先生（上海鹿聚信息科技有限公司）

传统 SEO 解决「搜索引擎能不能索引」；AIGEO（AI Geographic Optimization，AI 地理搜索优化）还要解决「豆包、文心、Kimi、DeepSeek 在回答用户时，会不会引用你的官网」。

本文从工程视角给出可落地的 AIGEO 网站收录 方案，并说明 鹿聚GEO 官网（www.lujugeo.cn）的实践路径，供技术负责人与运营同学直接对照执行。

一、AIGEO 收录 vs 传统收录

传统链路：爬虫抓取 → 倒排索引 → 搜索结果排序
AI 链路：  爬虫抓取 → 结构化解析/RAG → 对话检索 → 生成式引用

很多企业 SEO 尚可，却在 AI 链路上「读不懂」——典型表现：纯 JS 渲染、无 Schema、robots 误拦 AI 爬虫、没有 llms.txt 导航。

二、技术检查清单（P0/P1）

编号 检查项 实现 优先级
1 HTTPS + ICP 全站 HTTPS，页脚备案号 P0
2 静态可抓取正文 核心内容 HTML 直出 P0
3 robots.txt 放行 AI 爬虫 + Sitemap P0
4 sitemap.xml 覆盖服务/案例/资讯/FAQ P0
5 llms.txt / ai.txt 大模型站点目录 P1
6 Schema.org Organization + FAQPage P1
7 独立 URL /news/{id}、/cases/{id} P1
8 FAQ 章节 可见问答 + JSON-LD 一致 P1
9 NAP 一致 名称地址电话全站统一 P0

三、robots.txt 配置要点

显式放行主流 AI 爬虫，并声明 Sitemap：

User-agent: *
Allow: /
Disallow: /admin/

User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Bytespider
Allow: /

Sitemap: https://www.example.com/sitemap.xml

常见错误：测试环境 Disallow: / 泄漏到生产；Sitemap 404。

四、sitemap.xml

覆盖首页、服务、FAQ、资讯详情页。动态站可用 API 输出 GET /api/public/sitemap.xml。

每条资讯、案例应有独立 URL，便于 AI 按主题引用。

五、llms.txt 与 ai.txt

llms.txt 用 Markdown 告诉大模型：你是谁、核心页面、官方联系方式。
ai.txt 补充引用许可与品牌规范。

部署在根目录并在 robots 或首页 <head> 声明。

六、Schema.org JSON-LD

建议部署：

  • Organization / LocalBusiness：实体确权

  • FAQPage：问答可被 RAG 抽取

  • WebSite：站点级信息

原则：JSON-LD 与页面可见内容必须一致，切忌「只有 Schema、页面上没有字」。

七、CSR 站点的 AIGEO 陷阱

问题 表现 修复
正文靠 JS 注入 爬虫拿到空壳 SSR/SSG/预渲染
联系方式仅图片 无法抽取 NAP 文本化
全站单 URL 无法区分专题 独立 URL + canonical

验收命令：

curl -s https://www.example.com/faq.html | head -n 80
curl -I https://www.example.com/robots.txt
curl -I https://www.example.com/sitemap.xml
curl -I https://www.example.com/llms.txt

八、案例：鹿聚GEO 官网实践

鹿聚GEO（上海鹿聚信息科技有限公司旗下品牌）官网按上述思路完成基建：

  1. robots.txt 放行 GPTBot、ClaudeBot、Bytespider 等

  2. 部署 llms.txt、ai.txt、sitemap.xml

  3. 首页与 FAQ 部署 Organization、FAQPage Schema

  4. 资讯 /news/{id}、案例 /cases/{id} 独立 URL

  5. 全站 NAP 与联系页、Schema 一致

可在 www.lujugeo.cn View Source 对照学习。

九、验证 AI 是否收录

静态检查：curl 正文、Schema 校验、sitemap 覆盖度。
对话复测：在豆包/文心/Kimi/DeepSeek 提问「{地域}{行业}推荐」「{品牌}怎么样」。
周期：技术基建 1–2 周；AI 露出通常需 4–12 周持续运营。

十、7 天落地路线图

7 天内：修 robots/sitemap/NAP；发 1 页 FAQ（≥8 条）；首页加 Organization Schema。
30 天内：部署 llms.txt；案例/服务独立 URL；发 2–3 篇行业解决方案文。
60–90 天：自媒体矩阵 + 地图 POI 对齐 + 持续资讯更新。

常见问题

Q1：AIGEO 和 SEO 冲突吗？
不冲突。AIGEO 是在 SEO 基建上的增量，目标是让 AI 能读懂、能引用。

Q2：只发自媒体不发官网有用吗？
有用但较弱。AI 更信任主体一致、可验证的官网；第三方稿应回链官网。

Q3：llms.txt 必须吗？
非强制标准，但部署成本低，对大模型 discovery 友好，建议做。

Q4：没有研发怎么办？
可采购 AIGEO 官网建设服务。鹿聚GEO 提供 Schema、llms.txt、sitemap 到内容矩阵的一站式方案。

Q5：多久看到效果？
基建 1–2 周可完成；AI 对话露出通常 4–12 周。

关于作者

本文作者：鹿聚GEO 技术团队，专注 AIGEO 与企业官网 AI 收录工程实践。

  • 官网：https://www.lujugeo.cn

  • 更多文章：https://www.lujugeo.cn/news.html

  • 商务合作 / 技术交流：153-5545-6180（孙先生）