爬虫是怎么看一个网站的
很多「网站做了但没效果」的问题，卡在第一步：爬虫根本读不到或读不深。这篇按爬虫的实际动线讲清楚它看什么、企业能改什么。
它先看 robots.txt，再看 sitemap
爬虫进入一个站，通常先取 robots.txt（允许抓什么），再取 sitemap.xml（站上有哪些页面、最近什么时候改过）。sitemap 里的 lastmod 如果长期不动，爬虫就学不到「这里更新了」。
然后逐页抓 HTML，正文要在里面
正文完全靠浏览器脚本渲染、HTML 里只有空壳的页面，不少爬虫拿不到内容。自查很简单：禁用 JavaScript 打开页面，看正文还在不在；或者直接看服务器返回的源码里有没有正文文字。
它还会读结构化数据与内链
JSON-LD 帮助机器判断页面类型；站内链接决定它能沿着页面走到多远。孤立的页面（没有任何入口）通常很难被发现。
企业能做的四个动作
- 确认正文可抓：服务端渲染或静态导出，关键页面不依赖脚本。
- 把 sitemap 修对：列出真实页面，lastmod 跟着内容更新走，别每天写今天。
- 给页面入口：把新页面链接到首页或栏目页，别让它成为孤儿。
- 看日志验证：服务器日志里按爬虫统计访问，区分「读了正文」和「只扫了 sitemap」。
一个真实的对照
我们自己的城市站群（2026-10-30 公开看板，窗口自 9 月 5 日）：Googlebot 1,882 次、GPTBot 1,742 次，都在读正文；同期字节的 661 次验证请求里，绝大多数落在 robots.txt 与 sitemap.xml 上。同一批页面，不同爬虫的抓取深度完全不同——这不是「网站坏了」，是抓取预算与页面对爬虫吸引力的差异。
"An organization such as a school, NGO, corporation, club, etc."
Schema.org · schema.org/Organization
这条定义提醒一件事：结构化数据标注的是「实体」，标了不等于可信；事实本身要与公开可核对的信息一致。
来源与出处：抓取口径见 见度GEO；公开看板见 tz.tongzhuo.ink；建站与 GEO 服务说明见 桐灼官网。
本文为桐灼GEO 的公开方法说明，事实与案例读数来自桐灼官网公开页面及项目记录；数字标注时间范围，不承诺排名或引用次数。