なぜクロール頻度が重要か
Googlebotがサイトを訪れる頻度(=クロール頻度)が高いほど、以下のメリットがあります。
- 新規ページが数時間〜1日でインデックスされる
- 記事更新がすぐGoogleに反映される
- サーバーエラーからの復旧が速い
- サイト全体の評価が上がる(高品質サイトと認識)
逆にクロール頻度が低いと、公開した記事が1-4週間インデックスされないことも。
方法1-5:基本の最適化
方法1: sitemap.xmlを常に最新に保つ
新規ページ公開時にsitemap.xmlを即更新し、Search Consoleで再送信。更新頻度(changefreq)と優先度(priority)も適切に設定。
方法2: 内部リンクを強化
新規ページを公開したら、関連する既存ページから最低3-5本の内部リンクを張る。孤立ページはクロールされにくい。詳しくは内部リンク最適化ガイド参照。
方法3: サーバー応答速度を200ms以下に
Googlebotは応答が遅いサイトのクロール頻度を下げます。TTFB(Time To First Byte)を200ms以下に保つ。CDN(Cloudflare)+キャッシュ最適化で実現。
方法4: 更新頻度を上げる
Googleは定期的に更新されるサイトに頻繁に訪問します。週1本以上の新規記事または更新を継続。
方法5: Search Consoleでインデックス登録リクエスト
重要なページはURL検査→インデックス登録リクエストで手動プッシュ。1日10URLまで。
方法6-8:高度な技術
方法6: IndexNow(インデックスナウ)導入
Bing・Yandex主導のプッシュ型インデックス通知プロトコル。更新時にAPIで即通知。GoogleはまだIndexNowに対応していませんが、BingとYandexのインデックスが劇的に速くなる。
方法7: RSSフィードを常時更新
RSSフィード(/feed.xml)に最新記事を自動反映。GoogleはRSSもクロール対象として重視します。
方法8: robots.txtを適切に設計
Disallowで不要なページを除外することでクロールバジェットを節約し、重要ページへの頻度を上げる。
方法9-10:サイト品質の底上げ
方法9: Core Web Vitals(CWV)を改善
LCP・INP・CLSの3指標をすべてGood判定にする。Core Web Vitalsが良いサイトはクロール頻度も上がる傾向。詳しくはCore Web Vitalsガイド参照。
方法10: 重複コンテンツを排除
canonical・301リダイレクトで重複URLを統合。重複が多いサイトはクロール頻度が下がります。詳しくはcanonicalタグガイド参照。
クロール頻度の確認方法
Search Consoleで確認
設定 → クロール統計情報で以下を確認:
- 1日のクロール頻度:理想は50回/日以上
- サーバー応答時間:理想は500ms以下
- ダウンロードサイズ:1回あたりのKB
サーバーログで確認
Apache/NginxのアクセスログでGooglebotのUser-Agentをgrep。より詳細な訪問時刻・ページがわかる。
よくある質問(FAQ)
Q. 新規ドメインでもクロール頻度を上げられますか?
A. 時間はかかりますが可能です。新規ドメインは最初は週1-2回のクロールから始まり、更新頻度・品質・被リンクに応じて徐々に増えます。半年で日次クロール、1年で複数回/日が目安。
Q. sitemap.xmlの最適な更新頻度は?
A. 新規ページ公開時は即更新が基本。既存ページのlastmodは実際に更新した時だけ変更。虚偽の更新日はGoogleに見破られペナルティ対象になります。
Q. WordPressでクロール頻度を上げるプラグインは?
A. XML Sitemap & Google News(sitemap自動更新)、Rank MathまたはYoast SEO(sitemap+SEO)、WP Rocket(キャッシュ+応答速度改善)の組み合わせが鉄板。
Q. クロール頻度が極端に低い時の原因は?
A. (1)サーバー応答が遅い、(2)サイトに重大なエラーが連発、(3)低品質コンテンツと判定、(4)robots.txtで誤ってブロック、(5)サイトが長期間更新されていない、のいずれか。Search Consoleの『クロール統計情報』で状況確認を。
Q. 手動のインデックス登録リクエストは何回まで?
A. 1日10URLまでが上限です。重要なページから順にリクエスト。乱用するとGoogleから警告される可能性があるので、本当に重要なページだけに。
まとめ
クロール頻度の改善はsitemap・内部リンク・サーバー速度・更新頻度・品質の総合力で決まります。1つだけ対策してもあまり効かないので、10の方法を並行で進めるのが最速。
クロール頻度を上げる10の方法(保存版)
- sitemap.xml常時最新
- 内部リンク強化(新規ページに3-5本)
- サーバー応答200ms以下
- 週1本以上の更新
- Search Consoleで手動プッシュ
- IndexNow導入(Bing・Yandex)
- RSSフィード常時更新
- robots.txtで不要ページ除外
- Core Web Vitals全Good
- 重複コンテンツ排除
さらに深掘りしたい方へ(関連記事)
- クロールバジェット詳細 → クロールバジェット最適化
- 内部リンク強化 → 内部リンク最適化ガイド
- 重複URL統合 → canonicalタグガイド
- 表示速度最適化 → Core Web Vitalsガイド
この分野のご相談・改善支援はLIKaNONの無料相談よりお気軽にご連絡ください。個人事業主・小規模店舗の現場に合わせて提案します。