結論： Google 搜尋分成三個階段：爬取（找到網頁）、索引（理解網頁）、提供搜尋結果（決定顯示誰）。不是每個網頁都能通過三個階段，Google 也不保證一定會收錄。店家能做的，是確認自己的網站在每一步都沒有被擋住。

這是「SEO 教學週更」第 2 篇。上一篇〈SEO 是什麼？〉用「找得到、讀得懂、願意推薦」來說明 SEO，這篇把這三件事對應到 Google 實際的運作方式。

先知道兩件事

Google 官方文件開頭就寫明兩點：

  • Google 不收費。 付錢不能讓 Google 更常爬取你的網站，也不能讓排名變高。有人這樣保證，就是錯的。
  • Google 不保證收錄。 就算網站符合 Google 的基本規範，Google 也不保證一定會爬取、索引或顯示你的網頁。

另外，搜尋結果裡的網頁，絕大多數不是有人手動提交的，而是 Google 的爬蟲自己找到的。

第一步：爬取（Crawling）

Google 沒有一份「全世界網頁名冊」，所以要不斷尋找新網頁與更新過的網頁，這個過程叫做「網址探索」。Google 主要透過三種方式知道你的網頁存在：

  1. 以前來過。 Google 已經造訪過的網頁。
  2. 從連結找到。 例如分類頁連到一篇新文章，Google 讀到分類頁時就會發現這篇文章。
  3. 你主動提交。 透過網站地圖（sitemap）告訴 Google 有哪些網頁。

負責讀取網頁的程式叫做 Googlebot。它讀取網頁時，會用新版的 Chrome 執行網頁上的 JavaScript，看到的畫面和一般瀏覽器接近。

爬取常見的卡關原因

Google 官方列出的常見原因有三個：

  • 伺服器出問題。 網站回傳錯誤時，Googlebot 會放慢爬取速度，例如 HTTP 500 對它來說代表「慢一點」。
  • 網路問題。 主機或網路連線不穩，Googlebot 讀不到網頁。
  • 被 robots.txt 擋住。 網站管理者設定了不允許爬取的路徑。

另外兩種情況也常見：網頁需要登入才能看，Googlebot 不會登入；或是網頁存在，但網站內外沒有任何連結指向它，也沒有列在網站地圖裡，Google 就無從發現。

第二步：索引（Indexing）

爬到網頁後，Google 會試著理解網頁內容。它會分析文字，以及 <title> 標籤、圖片的 alt 屬性、圖片與影片等資訊。

這一步還有一件重要的事：判斷重複內容。 Google 會把內容相似的網頁分成一組，從中選出最具代表性的一頁，稱為「標準網頁」（canonical）。搜尋結果通常顯示的是標準網頁，其他版本只在特定情況下出現。

Google 也會收集網頁的語言、內容適用的國家、使用體驗等資訊，留到下一步使用。

和爬取一樣，索引也不保證。 Google 處理過的網頁不一定會被收進索引。

索引常見的卡關原因

Google 官方列出三個：

  • 內容品質低。 網頁沒有提供足夠有用的資訊。
  • robots meta 規則禁止索引。 例如網頁上有 noindex。
  • 網站設計讓索引變困難。 例如重要內容只存在圖片裡，沒有文字。

第三步：提供搜尋結果（Serving）

有人搜尋時，Google 從索引中找出相符的網頁，依品質與相關性排序。影響排序的因素有數百種，包括搜尋者的位置、語言與裝置。

Google 官方舉的例子是：在巴黎搜尋「腳踏車修理店」，和在香港搜尋同一個詞，看到的結果不同。搜尋類型也會改變頁面樣式：「腳踏車修理店」多半會顯示地圖與店家資訊，「現代腳踏車」則比較可能出現圖片。

這代表對在地店家來說，Google 商家檔案和網站一樣重要，第 11 篇會專門說明。

店家可以自己做的 3 個檢查

  1. 確認有沒有被收錄。 在 Google 搜尋 site:你的網址。有結果代表至少部分網頁已經被索引。
  2. 確認沒有被擋住。 在瀏覽器打開 你的網址/robots.txt，看看有沒有 Disallow: / 這一行。如果有，整個網站都不允許爬取。
  3. 確認有網站地圖。 打開 你的網址/sitemap.xml。多數網站平台會自動產生，第 9 篇會說明如何把它提交到 Google Search Console。

常見問題

新網站上線後，多久會被 Google 找到？

沒有固定時間。Google 會自己決定要爬哪些網站、多常爬、爬多少網頁。提交網站地圖，並讓其他已被收錄的網頁連到你的網站，可以幫助 Google 更快發現。

Search Console 顯示已索引，為什麼搜尋不到？

Google 官方列出的可能原因包括：內容和搜尋的詞不相關、內容品質較低，或有 robots meta 規則讓網頁不能顯示。已索引只代表有資格出現，不代表一定排在前面。

我的網站用 JavaScript 做的，Google 看得到嗎？

Googlebot 會執行 JavaScript，但仍有限制。如果重要內容要等使用者點擊才會出現，或只在瀏覽器端產生，建議直接檢查 Google 實際看到的畫面。第 23 篇會說明單頁式網站（SPA）的常見問題。

參考資料