【記事の要約（ここだけでもポイントは掴めます）】
Cloudflare と AWS が相次いで「AI クローラーへの課金機能」を提供しました。この本質は収益の問題ではなく、「AI 検索で自社が引用されるかどうか」を左右する、可視性の意思決定です。
- AI クローラーのトラフィックの約 80% はモデルの学習目的であり、実際に引用・推薦という形でユーザーを送り返す「検索目的」のクロールはごく一部です（Cloudflare 調査）。
- 米国の小売サイトへの AI 経由の参照トラフィックは前年比 393% 増（Adobe, 2026年）。課金でクローラーを締め出せば、この成長の恩恵も同時に失います。
- 課金してクローラーを締め出すことは、そのまま「そのクローラーが生成する AI 回答から自社が消える」ことを意味する場合があります。
「課金すべきか」を考える前に、「どの AI クローラーが今、自社を引用しているか」を把握してください。把握ができていない状況でのクローラー課金は見えないコストを生み、自社ブランド言及への機会損失が発生する可能性があります。
1. 何が起きたか：ウェブの「30年の前提」が壊れた
1997年から眠っていたコードが動き出した
2025年7月、Cloudflare が AI クローラーに対してコンテンツへのアクセス料を請求できる機能「Pay-Per-Crawl」を発表しました。
活用されたのは HTTP ステータスコード「402 Payment Required」。
これは、1997年に「将来の課金システムのために予約」されたまま、28年間使われることなく眠っていたコードです。
2026年6月には AWS（Amazon Web Services）が同様の機能を WAF 機能（Web Application Firewall：不正なアクセスからサイトを守るセキュリティツール）に追加しました。ウェブインフラの大手2社が1年以内に同じ機能を揃えたことで、AI クローラーへの課金は「実験」から「すべてのサイト運営者が選択を迫られる現実」になりました。
なぜ今これが問題になるのか
ウェブが成立して以来、クローラーとサイトの間には「クローラーにコンテンツを読ませる代わりに、インデックスされ、ユーザーがWebサイトに訪れる」という関係性がありました。
しかし、AI クローラーはコンテンツを読み取るだけで、Webサイトにユーザーを連れてくるかと言われればそうではありません。
それを裏付ける Cloudflare のデータによれば、AI ボットのトラフィックの約 80% がモデルの「学習目的」であり、ユーザーを送り返す可能性がある「引用・推薦目的」のクロールはごく一部です。
この一方的な関係に、コンテンツを持つサイト側が「待った」をかけ始めたのが今回の動きです。
2. AI クローラー に対する課金は「収益」ではなく「可視性」の意思決定である
ここが最も誤解されやすい点です。
15年以上のキャリアを持つWebサイト最適化のコンサルタントの Slobodan Manic 氏はこう断言しています。
「AI ボットへの課金は収益の意思決定ではなく、可視性の意思決定だ。」——Slobodan Manic 氏（Search Engine Journal, 2026年7月25日）
つまり、AI クローラー 対策として課金をしてクローラーを締め出した瞬間、そのクローラーが生成する AI 回答から自社コンテンツが消えるリスクが生まれます。
Adobe が 2026年に公開したデータでは、米国の小売サイトへの AI 経由の参照トラフィックが前年比 393% 増に達しています。一方、課金でクローラーを拒絶すれば、確かにサーバーコストはゼロになります。しかし同時に、この 393% 成長の恩恵を受ける可能性も失います。
目に見えるコスト（AI クローラーのサーバー負荷）だけを見ていると、AI 回答が得られず機会損失が発生する。これが課金設定の最大の落とし穴です。
3. 自社に合った設計はどちらか：コンテンツの性質で判断する
「課金すべきか・開放すべきか」に一律の正解はありません。自社のコンテンツの性質によって、最適解は 180 度変わります。
| コンテンツの性質 | 推奨の方向性 | 理由 |
|---|---|---|
| ニュースアーカイブ・参照データベース・ライセンス可能な専門情報 | 課金を検討 | 独自性が高く、AI に「ただ乗り」される価値がある。支払いを拒否するクローラーを拒絶できる立場にある。 |
| ブランド訴求・製品情報・マーケティングコンテンツ | 開放を維持 | AI 検索での可視性そのものが競争優位。クローラーが「自社を推薦する唯一のパイプライン」になっている場合がある。 |
| 両方を持つサイト（メディア・EC など） | コンテンツ別に設計 | 差別化コンテンツは課金対象・ブランド訴求コンテンツは開放、という分け方が現実的。 |
重要なのは、「サイト全体に一律のルールを適用しない」ことです。コンテンツの種類によって課金・開放を使い分けることで、守るべきものを守りながら AI 検索での可視性を維持できます。
4. 今すぐ取るべき3つのアクション
① 自社サイトへの AI クローラーを可視化する
課金設定より先に行うべきことは、どの AI クローラーが自社サイトに来ているかの把握です。サーバーログやアナリティクスでボット別のリクエスト数・対象パスを確認し、「学習目的」と「引用・推薦目的」のクローラーを分類します。
② 課金・ブロック前に小規模テストを実施する
課金モデルを一括適用するのではなく、まず 1つのボット・1つのコンテンツパスに限定して試験的に適用し、クロール量と AI 回答への露出の変化を観測します。
一括適用してしまうと「AI 検索から一切の自社情報が消えてしまう」となる可能性もあるためリスクです。
③ AI 検索経由の流入を定点観測する
GA4 で ChatGPT・Perplexity・Gemini などの AI 参照元からのセッション数を月次で追う体制を整えます。
このベースラインがあってはじめて、課金設定の前後で AI 流入がどう変化したかを評価できます。課金を「実験」として運用するために、計測設計が必要です。
「どのクローラーが自社を引用しているか」を把握してから判断する
AI クローラーへの対応を考える前提として、現在どの生成 AI が自社ブランドをどう認識・引用しているかを把握することが必要です。グラッドキューブの LLMOA（エルモア）は、ChatGPT・Gemini・AI Overviews など主要な生成 AI が自社ブランドをどう認識・引用・推薦しているかを可視化し、GEO・LLMO 施策の立案から実行・効果検証までをワンストップで支援します。「まず自社の現在地を知りたい」という段階からご相談いただけます。
まとめ：AI クローラーに対して「課金すべきか」より先に「把握」する
Cloudflare と AWS の動きが示したのは、AI クローラーへの課金が「やるかやらないか」の二択ではなく、「何を守り、何を開放するか」という設計の問題だということです。
判断の前に必要なのは3つの把握です。
- 自社にどの AI クローラーが来ているか
- そのクローラーが AI 回答で自社を引用しているか
- AI 経由の流入が今どれくらいあるか
この3つが揃ってはじめて、課金・開放・コンテンツ別設計のどれが自社に合うかを判断できます。「課金すべきか」という問いより先に、「把握できているか」を問い直してください。
よくある質問
- Q. AI クローラーをブロックすると SEO にも影響しますか？
- A. Googlebot などの検索エンジン用クローラーと AI クローラーは別物です。AI クローラーをブロックしても、通常の SEO への直接的な影響はありません。ただし Google の AI Overview 用のクロールをブロックした場合は、AI 検索での表示機会を失う可能性があります。robots.txt の設定は対象クローラーを個別に指定することが重要です。
- Q. Cloudflare の Pay-Per-Crawl はすでに使えますか？
- A. 2025年7月に発表されたプライベートベータ段階のサービスです。2026年7月27日時点では「早期アクセス登録」が公開され、一般提供に向けて準備が進んでいますが、実際の課金モデルの普及には AI エコシステム全体の対応が必要であり、現時点では「選択肢として存在する」段階です。
- Q. 小規模サイトも AI クローラー課金を検討すべきですか？
- A. 小規模サイトにとって優先すべきは課金設定より、AI 検索での可視性の確保です。独自性の高いコンテンツを持つサイトでない限り、まず「AI に正しく引用・推薦されること」に注力し、課金設定は AI 流入が確認できてから検討する順序が現実的です。
【INSIGHT CUBE 関連記事】
AI リファーラルの 92% は ChatGPT から｜677万セッション分析が示す「AI 検索の一強時代」と戦略的な意味
AIリファーラルの92%はChatGPTから｜677万セッション分析が示す「AI検索の一強時代」と戦略的な意味
→ 本記事で触れた「AI 経由の流入」の規模感を、677万セッションの実データで裏付けます。AI クローラーを開放することの価値を理解するために合わせてお読みください。
AI に引用されるほど選ばれなくなる｜「引用率」という GEO 最大の罠
AI に引用されるほど選ばれなくなる｜「引用率」という GEO 最大の罠 → 「引用されること」と「推薦されること」は別の話です。クローラーを開放した後に「何を目指すか」の設計論として合わせてお読みください。
あなたの AI 回答は汚染されているかもしれない：「AIポイズニング」という新しいブランドリスクと防衛の3原則
あなたのAI回答は汚染されているかもしれない｜「AIポイズニング」という新しいリスクと防衛の3原則 → AI クローラーへの開放と並行して、AI 上での自社ブランドの「正確性」を守る施策として合わせてお読みください。
【参照・引用出典】
- Charging AI Bots Decides Which Agents Can Still Cite You（Search Engine Journal / Slobodan Manic, 2026年7月25日）：https://www.searchenginejournal.com/charging-ai-bots-decides-which-agents-can-still-cite-you/580050/
- Introducing Pay-Per-Crawl（Cloudflare Blog, 2025年7月1日）：https://blog.cloudflare.com/introducing-pay-per-crawl/
- AWS WAF adds AI traffic monetization capability（AWS Blog, 2026年6月15日）：https://aws.amazon.com/blogs/aws/aws-waf-adds-ai-traffic-monetization-capability-to-help-content-owners-charge-ai-bots-for-content-access/
- AI crawler traffic by purpose and industry（Cloudflare Blog）：https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/
- Lessons Learned From Adobe’s 2026 Q2 AI Traffic Report（Search Engine Journal）：https://www.searchenginejournal.com/lessons-learned-from-adobes-2026-q2-ai-traffic-report/574176/
