「AI クローラー課金」とは何か｜Cloudflare・AWS が迫る「引用されるサイト」の選別 | INSIGHT CUBE

【記事の要約（ここだけでもポイントは掴めます）】

Cloudflare と AWS が相次いで「AI クローラーへの課金機能」を提供しました。この本質は収益の問題ではなく、「AI 検索で自社が引用されるかどうか」を左右する、可視性の意思決定です。

AI クローラーのトラフィックの約 80% はモデルの学習目的であり、実際に引用・推薦という形でユーザーを送り返す「検索目的」のクロールはごく一部です（Cloudflare 調査）。
米国の小売サイトへの AI 経由の参照トラフィックは前年比 393% 増（Adobe, 2026年）。課金でクローラーを締め出せば、この成長の恩恵も同時に失います。
課金してクローラーを締め出すことは、そのまま「そのクローラーが生成する AI 回答から自社が消える」ことを意味する場合があります。

「課金すべきか」を考える前に、「どの AI クローラーが今、自社を引用しているか」を把握してください。把握ができていない状況でのクローラー課金は見えないコストを生み、自社ブランド言及への機会損失が発生する可能性があります。

目次非表示

1. 何が起きたか：ウェブの「30年の前提」が壊れた
- 1997年から眠っていたコードが動き出した
- なぜ今これが問題になるのか
2. AI クローラーに対する課金は「収益」ではなく「可視性」の意思決定である
3. 自社に合った設計はどちらか：コンテンツの性質で判断する
4. 今すぐ取るべき3つのアクション
まとめ：AI クローラーに対して「課金すべきか」より先に「把握」する
よくある質問
【参照・引用出典】

1. 何が起きたか：ウェブの「30年の前提」が壊れた

1997年から眠っていたコードが動き出した

2025年7月、Cloudflare が AI クローラーに対してコンテンツへのアクセス料を請求できる機能「Pay-Per-Crawl」を発表しました。

活用されたのは HTTP ステータスコード「402 Payment Required」。
これは、1997年に「将来の課金システムのために予約」されたまま、28年間使われることなく眠っていたコードです。

2026年6月には AWS（Amazon Web Services）が同様の機能を WAF 機能（Web Application Firewall：不正なアクセスからサイトを守るセキュリティツール）に追加しました。ウェブインフラの大手2社が1年以内に同じ機能を揃えたことで、AI クローラーへの課金は「実験」から「すべてのサイト運営者が選択を迫られる現実」になりました。

なぜ今これが問題になるのか

ウェブが成立して以来、クローラーとサイトの間には「クローラーにコンテンツを読ませる代わりに、インデックスされ、ユーザーがWebサイトに訪れる」という関係性がありました。

しかし、AI クローラーはコンテンツを読み取るだけで、Webサイトにユーザーを連れてくるかと言われればそうではありません。

それを裏付ける Cloudflare のデータによれば、AI ボットのトラフィックの約 80% がモデルの「学習目的」であり、ユーザーを送り返す可能性がある「引用・推薦目的」のクロールはごく一部です。

この一方的な関係に、コンテンツを持つサイト側が「待った」をかけ始めたのが今回の動きです。

2. AI クローラーに対する課金は「収益」ではなく「可視性」の意思決定である

ここが最も誤解されやすい点です。

15年以上のキャリアを持つWebサイト最適化のコンサルタントの Slobodan Manic 氏はこう断言しています。

「AI ボットへの課金は収益の意思決定ではなく、可視性の意思決定だ。」——Slobodan Manic 氏（Search Engine Journal, 2026年7月25日）

つまり、AI クローラー対策として課金をしてクローラーを締め出した瞬間、そのクローラーが生成する AI 回答から自社コンテンツが消えるリスクが生まれます。

Adobe が 2026年に公開したデータでは、米国の小売サイトへの AI 経由の参照トラフィックが前年比 393% 増に達しています。一方、課金でクローラーを拒絶すれば、確かにサーバーコストはゼロになります。しかし同時に、この 393% 成長の恩恵を受ける可能性も失います。

目に見えるコスト（AI クローラーのサーバー負荷）だけを見ていると、AI 回答が得られず機会損失が発生する。これが課金設定の最大の落とし穴です。

3. 自社に合った設計はどちらか：コンテンツの性質で判断する

「課金すべきか・開放すべきか」に一律の正解はありません。自社のコンテンツの性質によって、最適解は 180 度変わります。

コンテンツの性質	推奨の方向性	理由
ニュースアーカイブ・参照データベース・ライセンス可能な専門情報	課金を検討	独自性が高く、AI に「ただ乗り」される価値がある。支払いを拒否するクローラーを拒絶できる立場にある。
ブランド訴求・製品情報・マーケティングコンテンツ	開放を維持	AI 検索での可視性そのものが競争優位。クローラーが「自社を推薦する唯一のパイプライン」になっている場合がある。
両方を持つサイト（メディア・EC など）	コンテンツ別に設計	差別化コンテンツは課金対象・ブランド訴求コンテンツは開放、という分け方が現実的。

重要なのは、「サイト全体に一律のルールを適用しない」ことです。コンテンツの種類によって課金・開放を使い分けることで、守るべきものを守りながら AI 検索での可視性を維持できます。

4. 今すぐ取るべき3つのアクション

① 自社サイトへの AI クローラーを可視化する

課金設定より先に行うべきことは、どの AI クローラーが自社サイトに来ているかの把握です。サーバーログやアナリティクスでボット別のリクエスト数・対象パスを確認し、「学習目的」と「引用・推薦目的」のクローラーを分類します。

*※当社の提供するLLMOA（エルモア）では、**AI モデルごとの言及数や学習元となっている外部サイト**を把握することができます*

② 課金・ブロック前に小規模テストを実施する

課金モデルを一括適用するのではなく、まず 1つのボット・1つのコンテンツパスに限定して試験的に適用し、クロール量と AI 回答への露出の変化を観測します。

一括適用してしまうと「AI 検索から一切の自社情報が消えてしまう」となる可能性もあるためリスクです。

③ AI 検索経由の流入を定点観測する

GA4 で ChatGPT・Perplexity・Gemini などの AI 参照元からのセッション数を月次で追う体制を整えます。

このベースラインがあってはじめて、課金設定の前後で AI 流入がどう変化したかを評価できます。課金を「実験」として運用するために、計測設計が必要です。

「どのクローラーが自社を引用しているか」を把握してから判断する

AI クローラーへの対応を考える前提として、現在どの生成 AI が自社ブランドをどう認識・引用しているかを把握することが必要です。グラッドキューブの LLMOA（エルモア）は、ChatGPT・Gemini・AI Overviews など主要な生成 AI が自社ブランドをどう認識・引用・推薦しているかを可視化し、GEO・LLMO 施策の立案から実行・効果検証までをワンストップで支援します。「まず自社の現在地を知りたい」という段階からご相談いただけます。

まとめ：AI クローラーに対して「課金すべきか」より先に「把握」する

Cloudflare と AWS の動きが示したのは、AI クローラーへの課金が「やるかやらないか」の二択ではなく、「何を守り、何を開放するか」という設計の問題だということです。

判断の前に必要なのは3つの把握です。

自社にどの AI クローラーが来ているか
そのクローラーが AI 回答で自社を引用しているか
AI 経由の流入が今どれくらいあるか

この3つが揃ってはじめて、課金・開放・コンテンツ別設計のどれが自社に合うかを判断できます。「課金すべきか」という問いより先に、「把握できているか」を問い直してください。

よくある質問

Q. AI クローラーをブロックすると SEO にも影響しますか？: A. Googlebot などの検索エンジン用クローラーと AI クローラーは別物です。AI クローラーをブロックしても、通常の SEO への直接的な影響はありません。ただし Google の AI Overview 用のクロールをブロックした場合は、AI 検索での表示機会を失う可能性があります。robots.txt の設定は対象クローラーを個別に指定することが重要です。

Q. Cloudflare の Pay-Per-Crawl はすでに使えますか？: A. 2025年7月に発表されたプライベートベータ段階のサービスです。2026年7月27日時点では「早期アクセス登録」が公開され、一般提供に向けて準備が進んでいますが、実際の課金モデルの普及には AI エコシステム全体の対応が必要であり、現時点では「選択肢として存在する」段階です。

Q. 小規模サイトも AI クローラー課金を検討すべきですか？: A. 小規模サイトにとって優先すべきは課金設定より、AI 検索での可視性の確保です。独自性の高いコンテンツを持つサイトでない限り、まず「AI に正しく引用・推薦されること」に注力し、課金設定は AI 流入が確認できてから検討する順序が現実的です。

【INSIGHT CUBE 関連記事】

AI リファーラルの 92% は ChatGPT から｜677万セッション分析が示す「AI 検索の一強時代」と戦略的な意味