构建信号SIGNAL TO BUILDEnglish站主登录 ↗
← 知识整理
出海增长 ／ 知识整理 · 中文

GSC Blog: Googlebot / JS-SEO / Mobile-first / Page Experience 演化(2016-2026)

Google Search Central blog 38 篇 Googlebot 用户代理 / JavaScript SEO / Mobile-first 转型 / Page Experience / Core Web Vitals / AMP 起落 / Crawl Budget 的主题化提炼。

资料来源：Google 搜索与 SEO · 本站发布：2026-09-26

SEO搜索引擎自然增长

TL;DR (一句话): 2016-2026 这十年 Google Search 干了 4 件大事 — ① 把 Googlebot 从"伪 iPhone Safari"换成"Chrome 内核 + evergreen + mobile-default"； ② 把索引从"desktop 为主"切到"mobile-only"(2016 announce → 2023 完成全网); ③ 把 JS 渲染从"让站点自己 prerender"演化到"Googlebot 自己用 evergreen Chromium 渲染,dynamic rendering 由权宜方案退场到不再首选"; ④ 把 Page Experience 从"AMP 强推 → CWV 软提示 → 2023 退役为'不存在单一 page experience 信号'"。AMP 是整个故事里起得最高、摔得最响的那个。

核心心法(贯穿十年的 4 条不变定律):

  1. 不要 UA 嗅探 Googlebot — 那叫 cloaking;feature detection + progressive enhancement 才对。
  2. Mobile-first indexing 与 mobile-friendly 是两件事 — 前者只是"用哪个版本抓",不给 ranking advantage;后者真的影响排名。
  3. Crawling 不是 ranking signal — 抓得多 ≠ 排名好;它只是入场券。
  4. 没有单一的 "page experience 信号" — Core Web Vitals / HTTPS / mobile-friendly / no interstitials 都是"hundreds of signals"中的几个,且搜索意图 > 页面体验(慢页也能排得高)。

Part 1 — Googlebot 演化:从 desktop 到 evergreen 到 mobile-default

1.1 完整时间线

时间 事件 关键细节
2016-04-18 smartphone Googlebot 从伪 iPhone 切到 Android Nexus 5X UA 改成 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) ... Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1)。理由:"renderer 更接近 Chrome 而不是 Safari"
2019-05-07 The New Evergreen Googlebot — 渲染引擎从 Chrome 41 一跃到 latest stable Chromium 74 Martin Splitt 公布。一口气解锁 1000+ 个新 web 平台特性:ES6+、IntersectionObserver、Web Components v1
2019-08-07 testing tools 也跟着 evergreen 升级 URL Inspection / Mobile-Friendly Test / Rich Results Test / AMP Test 全部对齐,先升渲染端,UA 字符串还没动
2019-10-02 公告 12 月起 UA 字符串里加 Chrome/W.X.Y.Z 占位 — 跟随 Chrome 版本号滚动 桌面/移动 UA 同步更新;evergreen 在 UA 层正式可见
2020-09-17 Googlebot will soon speak HTTP/2 11 月起对部分站启用 h2;仅 HTTPS 且支持 h2 的站才进,无 h2c。opt-out 用 421 状态码
2022-06-28 明确"Googlebot 抓单个资源上限 15 MB" 不是新限制,只是"被写进文档了"。每个子资源(CSS/JS)各自 15MB 上限(2023-03-16 update),HTML > 15MB 部分被 drop
2023-10-31 desktop Googlebot 基本停用 仅保留少数破损 mobile 站点的兜底抓取;Search Console 移除 indexing crawler 信息显示

1.2 Google 的原话(贯穿多年的核心劝告)

  • (2016-03) "User agent sniffing for Googlebot is not recommended and is considered to be a form of cloaking. Googlebot should be treated like any other browser."
  • (2019-10) "Sites that follow our recommendations to use feature detection and progressive enhancement instead of user agent sniffing should continue to work without any changes."
  • (2020-09) "Whether we crawl using h1 or h2 does not affect how your site is indexed... Is there any ranking benefit for a site in being crawled over h2? No."

1.3 反复出现的踩坑模式

  • UA 嗅探后给 bot 返错 — 比如把 Googlebot 当作"带 ad-blocker 的用户"挡掉,典型现象:Googlebot 抓到的不是正常页面而是 error message。
  • mobile 版用了 noindex/nofollow 但 desktop 没有 — mobile-first 切换后会突然丢索引。
  • block 了 .css / 图片 URL — Googlebot 渲染不全,排名下降。
  • 15MB 之外的内容做 SEO 关键判断 — 全部被 drop。inline scripts / CSS dust 务必抽到外部(2022-06 原文金句)。

Part 2 — Mobile-first indexing 完整转型史(7 年长征)

2.1 完整时间线

时间 关键节点 引用原话
2016-11-04 Mobile-first indexing (Doantam Phan) — 第一次官方 announce,实验起步 "begun experiments to make our index mobile-first... we will continue to be a single index"
2018-03-26 Rolling out mobile-first indexing — 实验 1.5 年后开始分站迁移,通过 Search Console 通知 "Mobile-first indexing is about how we gather content, not about how content is ranked. No ranking advantage."
2018-12-19 MFI + structured data + images — 已切过半全球结果 两大典型坑:① mobile 漏 structured data;② mobile 漏 alt text。"A page does not need to be mobile-friendly in order to be considered for mobile-first indexing."
2019-05-28 Mobile-First Indexing by default for new domains — 新域名 2019-07-01 起默认开 MFI "default state for new websites will be mobile-first indexing, there's no need to send a notification"
2020-03-05 Announcing MFI for the whole web — 70% 已切,全网 deadline 2020-09 推荐 responsive,不推 m-dot:"because of issues and confusion we've seen from separate mobile URLs"
2020-07-22 Prepare for MFI (with extra time) — COVID 延期到 2021-03 加 5 类新坑:lazy-loading 别绑 user interaction / 别 block CSS / mobile heading 不能缩水 / 图片不能用太小 thumbnail / video 必须保 placement
2023-10-31 Mobile-first is here — 7 年长征终点 desktop Googlebot 基本停用,仅兜底极少数破损 mobile 站点

2.2 不变的核心原则

  • 唯一索引,不是两套 — "We continue to have one single index that we use for serving search results. We do not have a 'mobile-first index' that's separate."(2018-03 起反复重申)
  • 内容必须等价:text / images / videos / links / structured data / meta tags / titles / descriptions / robots meta — 移动版和桌面版全部要平起平坐,否则切 MFI 会丢流量。
  • MFI ≠ mobile-friendly:MFI 是"用哪个版本抓",mobile-friendly 是"页面在小屏上是否好用",两件事正交。
  • 推 responsive,不推 m-dot:2019 起官方明确不推 separate mobile URLs。

2.3 检查工具

  • Search Console URL Inspection Tool — 看 "Crawled as" 字段。
  • Settings page — 显示当前站点状态。
  • Server logs — 看 Smartphone Googlebot 占比是否上升。

Part 3 — JavaScript SEO:从"你 prerender"到"我渲染"

3.1 完整演化弧

时间 节点 立场
2017-12-04 Rendering AJAX-crawling pages (John Mueller) — 宣告 AJAX crawling scheme(#! + _escaped_fragment_=)2018 Q2 退役 "we'll no longer be using the AJAX crawling scheme... Googlebot will render the #! URL directly" — 第一次明说"我自己渲染"
2019-01-31 Dynamic Rendering with Rendertron (Martin Splitt) — 在 evergreen 之前的过渡方案 dynamic rendering = 按 UA 切换 prerendered HTML 给 bot,client-side render 给用户;Rendertron 是 headless Chromium 实现
2019-03-06 Introducing a new JavaScript SEO video series (Martin Splitt) — YouTube 系列开播 覆盖:classic vs JS sites / Googlebot 如何 crawl-render-index / React Angular Vue 基础 / 测试调试工具 / dynamic rendering with Rendertron
2019-05-07 The New Evergreen Googlebot — Chromium 74 升级,1000+ 新特性 dynamic rendering 实质上变成了"备选 workaround"而非"首选" — Googlebot 自己就能跑 ES6+
2019-08-07 testing tools 也升 evergreen 站长能在工具里直接看到 Googlebot 渲染结果

3.2 当下立场(以 2019 后的口径为准)

  • 首选:Googlebot 自己用 evergreen Chromium 渲染你的 JS — 不需要你做任何特殊处理。
  • 次选:hybrid rendering(SSR + 客户端水合,如 Angular Universal)— 同时改善用户 FMP 和爬虫可见性。
  • 下下选:dynamic rendering(Rendertron / Puppeteer / Rendora 等)— "useful for content that changes often and needs JavaScript to display",但是个 workaround。后续(2022 年后)Google 文档实际把 dynamic rendering 标为 "not recommended as a long-term solution",本批 38 篇里未直接涵盖那篇 deprecation 公告,但 evergreen 升级实质上为它判了死缓。
  • 永远不要:返回不同内容给 Googlebot vs 用户(那是 cloaking)。Rendertron 输出的 prerendered HTML 必须与 user 端 hydrate 后等价。

3.3 Martin Splitt 系列的核心观点(精炼自 2019 系列起点)

JavaScript 给 SEO 带来的挑战:

  • 渲染需要时间和资源 — Googlebot 可能延迟 index 你的内容。
  • 需要分清:initial HTML、rendered DOM、indexed snapshot。
  • React/Angular/Vue 各有 SSR 方案,建议优先用框架自带 SSR/SSG。

Part 4 — Page Experience / Core Web Vitals 信号兴衰

4.1 完整时间线

时间 节点 关键变化
2018-01-17 Using page speed in mobile search ranking — "Speed Update" 2018-07 上线;"only affect pages that deliver the slowest experience";"a slow page may still rank highly if it has great, relevant content"
2018-01-10 Real-world data in PageSpeed Insights PSI 整合 CrUX 真实数据;Speed Score(FCP+DCL)/ Optimization Score / 分布图
2018-11-12 PageSpeed Insights now powered by Lighthouse Lighthouse 成为统一引擎;PSI = Lab Data(Lighthouse 模拟)+ Field Data(CrUX 28 天)
2020-05-28 Evaluating page experience — 第一次 announce Core Web Vitals 将成 ranking signal,并预告Top Stories 移除 AMP 硬要求 信号 = CWV(LCP+FID+CLS) + mobile-friendliness + HTTPS + intrusive interstitial。"A good page experience doesn't override having great, relevant content." 因 COVID 推迟,至少给 6 个月提前通知
2020-11-10 Timing for page experience 确定 2021-05 上线;计划测试"在搜索结果上加 visual indicator 标注好体验"
2021-04-19 More details on page experience update 实际 2021-06-15 起渐进 rollout,8 月底完成;Top Stories 正式向 non-AMP 开放;AMP badge 图标在 Top Stories 中移除;SXG 对所有内容开放(以前只给 AMP)
2021-08-04 Simplifying the Page Experience report Safe Browsing 明确不是 ranking signal,从 PE report 移除;Ad Experience widget 也移除(从未是 PE 因素);更新 PE 信号图:LCP/FID/CLS + Mobile Friendliness + HTTPS + No Intrusive Interstitials(6 项)
2021-11-04 Bringing page experience to desktop 2022-02 起 desktop 也用 CWV;mobile-friendliness 信号不参与 desktop
2023-04-19 The role of page experience in creating helpful content — 实质退役 "There is no single signal. Our core ranking systems look at a variety of signals that align with overall page experience." Search Console Page Experience report 改为只链文档;2023-12-01 起 Mobile Usability 报告 / Mobile-Friendly Test 工具 / API 全部退役
2024-03-12 INP 正式替代 FID 进入 CWV(贯穿所有 PE 文章的 update 段落标注) —

4.2 关键金句串联

  • (2018-01) "A slow page may still rank highly if it has great, relevant content."
  • (2020-05) "A good page experience doesn't override having great, relevant content. However, in cases where there are multiple pages that have similar content, page experience becomes much more important for visibility in Search."
  • (2021-04) 比喻 PE update 像加调料:"Rather than add the flavor all at once into the mix, we'll be slowly adding it all over this time period."
  • (2023-04) "There is no single signal. Our core ranking systems look at a variety of signals that align with overall page experience."
  • (2023-04) "Page experience is not an eligibility requirement to appear anywhere in the 'Top stories' section."

4.3 PE 信号"软化"的完整路径

2020 强力 announce → 2021 推迟 + 渐进 + 移除 AMP 要求 + 移除 Safe Browsing → 2023 明确"无单一信号"+ 退役专门 report + 退役 Mobile Usability report + 退役 Mobile-Friendly Test。

结论:Page Experience 从 2020 的"独立 ranking signal"软化为 2023 的"helpful content 的一个组成部分,无单一计算公式"。CWV(尤其 LCP/INP/CLS)仍重要,但不是排名保证。

Part 5 — AMP 起落史(整十年 saga)

5.1 起 — 2015-2016 强推期

  • 2015-10 (引用) AMP Project 开源启动。
  • 2016-01 AMP error report in Search Console — 给 publisher 先看的 preview。
  • 2016-03 AMP NewsLab Office Hours — 8 种语言(法/意/德/西/葡/俄/日/印尼)推广,显示全球力度。
  • 2016-08 AMP your content — 从 Top Stories 扩到整个 mobile 搜索结果页。已索引 150M AMP docs / 周增 4M。WaPo 报告"AMP 让加载时间下降 88%,移动搜索回访用户 +23%"。
  • 2016-09 一周内 3 篇连发(What is AMP / Webmaster forums Top Q / 8 tips to AMPlify);坚持口径:"AMP is not a ranking signal"。
  • 2016-10 Search Console 出独立 AMP testing tool,支持 share snapshot。

5.2 巅峰与边界 — 2017-2019

  • 2017-11 Engaging users through high-quality AMP — Content parity policy(2018-02-01 起强制):AMP 必须与 canonical 内容对等;teaser AMP 会被 demote 出 Top Stories(但不影响搜索排名本身)。25M domains 已采纳。
  • 2019-04 Instant-loading AMP from your own domain — Signed Exchanges (SXG) 落地,解决了"地址栏显示 google.com/amp 而非 publisher 域"的最大用户反馈。

5.3 撤退 — 2020-2023

  • 2020-05 Evaluating page experience — AMP 不再是 Top Stories 入场券:"AMP will no longer be necessary for stories to be featured in Top Stories on mobile; it will be open to any page."
  • 2020-08 Identify and fix AMP SXG errors — Search Console 加 SXG 错误报告(后期补救工具)。
  • 2020-11 Timing for page experience — AMP "one of the easiest and cost-effective ways" 来达到好 PE(给 AMP 一个台阶下)。
  • 2021-04 More details on page experience update — AMP badge 图标在 Top Stories 中移除;SXG 不再 AMP-only,向所有内容开放(这是另一记减分:SXG 曾是 AMP 独占技术优势)。
  • 2023-04 Page experience in search — Page Experience report 不再强调 AMP;实质上 AMP 时代结束。本 38 篇里没单独的"AMP deprecated"宣告,但 AMP 的官方提及频率从 2016 的月均数篇骤降到 2023 的几乎为零。

5.4 始终不变的边界

"AMP is not a ranking signal." — 从 2016 第一篇到 2023 一字不变。只是 Top Stories 入场券、地址栏品牌、SXG 独占等"次级特权"先后被取消,导致采纳激励彻底消失。

5.5 反复出现的教训

  • content parity — 教训了一批做 teaser AMP 的 publisher。
  • AMP cache + signed exchange 解决 URL 显示 — 但落地复杂,需要 CDN/服务器配合。
  • "AMP 是最简单达到好 PE 的方式"是 Google 给 AMP 的最后台阶 — 但 PE 既然已经"无单一信号",这个理由也站不住了。

Part 6 — Crawl budget 官方解释

6.1 唯一权威定义

2017-01-16, Gary Illyes — 本批 38 篇里唯一一篇 crawl budget 专文,后续多年仍是 canonical 答案。

Crawl budget = Crawl rate limit × Crawl demand

  • Crawl rate limit:并发连接数 + fetch 间隔;由 crawl health(站速 + 5xx 率)和 Search Console 设置共同决定。
  • Crawl demand:由 popularity(URL 热度)和 staleness(防止索引过期)决定。

6.2 两条最关键的边界

  • "If new pages tend to be crawled the same day they're published, crawl budget is not something webmasters need to focus on. 小于几千 URL 的站完全不用担心。"
  • "Crawling is NOT a ranking signal." (Increased crawl rate ≠ better positions)

6.3 6 类拖垮 crawl budget 的低价值 URL(按重要性排序)

  1. Faceted navigation + session identifiers
  2. On-site duplicate content
  3. Soft error pages
  4. Hacked pages
  5. Infinite spaces + proxies
  6. Low quality + spam

6.4 Q&A 速查

问题 答案
crawl-delay robots rule Googlebot 不处理
nofollow 能省 crawl budget 吗 不一定 — 其它页或外站可能无 nofollow 链入,仍会被抓
robots.txt disallow 计 crawl budget 吗 不计
AMP / hreflang / CSS / JS / AJAX 计 crawl budget 吗 都计
长 redirect 链 拖累 crawling
站速影响 crawl budget 吗 影响 — 快站 = 健康 = 给更多 budget;5xx + timeouts → 减 budget

Part 7 — 其他主题碎片

7.1 SEO Starter Guide 改版(2017-12)

  • deprecate:Webmaster Academy + 老 SEO Starter Guide PDF
  • 替代:新 SEO Starter Guide,补充 SEO 必要性 / structured data / mobile-friendly 三大段
  • 上线 9 语种,后续扩到 25 语种

7.2 Crawling December 2024 系列

本 38 篇候选清单不包含 Crawling December 2024 系列(caching / CDNs / faceted nav / resources)。若用户后续追加该 4 篇,本 Part 再展开。当前可关联到 Part 6 crawl budget 的延伸阅读。

7.3 PageSpeed Insights 工具自身演化(辅助主线)

  • 2018-01 引入 CrUX 真实数据 → Speed Score (FCP+DCL)
  • 2018-11 切到 Lighthouse 统一引擎 → Lab + Field 双数据
  • 2018-07 西语翻译公告(同步多语推广,无实质内容)

给我自己/团队的速查 Cheatsheet

做 SEO 时遇到的 7 个高频问题 → 答案:

  1. 要不要做 AMP? — 2026 立场:不要。Top Stories 已开放,AMP badge 已撤,SXG 已 generalize。除非已重度投入 AMP 基建,新项目不进 AMP。
  2. 要不要做 dynamic rendering? — 不要作为长期方案。Googlebot 已 evergreen Chromium,直接 CSR 即可;若 FMP/SEO 双吃紧,优先 SSR/SSG。
  3. 要不要担心 crawl budget? — 小于几千 URL 的站根本不用想。大站先治 faceted navigation 和重复内容。
  4. mobile-friendly test 工具去哪了? — 2023-12-01 退役。改用 Lighthouse 或 PageSpeed Insights。
  5. Core Web Vitals 还重要吗? — 重要,但不保证排名。好的 CWV 在"多个相关页"场景下成为 tiebreaker;内容相关性永远第一。
  6. Googlebot UA 怎么识别? — 永远用 feature detection,不 sniff UA;非要 sniff 就 match "Googlebot" 子串,并用反向 DNS 验证。
  7. 页面 > 15MB 怎么办? — 把 inline scripts / CSS 抽外部;数据 URI 算在 HTML 大小里;子资源各自 15MB 上限。

History

  • 2026-05-17 v1.0 — 一次性读完 38 篇 GSC blog,提炼 7 大主题。用了"读 15 篇先落盘 v0.1 + 读完追加 v1.0"两段式策略防止 stream timeout。所有 Part 完整,Crawling December 2024 系列因不在 38 篇范围内仅占位。

来源与关联资料