Cloudflareは2025年7月1日、AI（人工知能）モデルによるWebサイトクロールの影響を分析した結果と、その影響を測定するための指標を同社のインターネットトラフィック測定サービス「Cloudflare Radar」に追加したと発表した。この指標は、AIモデルがWebサイトをクロールする頻度と、そのサイトにトラフィックを送信する頻度の比率を表すものだ。
なお、本稿では「WebサイトをクロールするAIモデル」を「AIクローラー」と表現する。
●AIクローラーはWebサイト運営者にとって「うまみ」がない？
近年、AIクローラーによるWebサイトのクロールが増加傾向にある。
|
|
|
|
従来の検索エンジンのクローラーは、Webサイトをクロールし、検索結果を通じてユーザーをWebサイトに誘導することで、Webサイト運営者にトラフィックと収益機会をもたらしていた。
しかしCloudflareによると、AIクローラーは、クロールした情報をAIツールの中で提供するため、ユーザーが元サイトを訪れる必要がなくなる。Webサイト運営側から見ると、自社コンテンツの情報を大量にクロールされているのに、検索からの流入（リファラル）が極端に少ないという状態になっている。
Cloudflareが新しい指標を導入したのは、こうしたAIクローラーの影響を定量化するためだ。
●AIクローラーはどのくらいの影響がある？
Cloudflare Radarの「AIのインサイト」ページでは、AIクローラーや検索エンジンごとに、クロール数とリファー数（Webサイトに実際に送信されるトラフィック）の比率を表している。データ例は以下の通り。
|
|
|
|
例えば2025年6月のデータを見ると、GoogleのAIクローラーは「9.4対1」となっており、これは約10回のクロールごとに1件のトラフィックがあることを示している。OpenAIのAIクローラーは「1600対1」、AnthropicのAIクローラーは「70900対1」という割合になっている。
単純計算では、GoogleのAIクローラーはクロールしたページの約10％にトラフィックを送信しているのに対し、OpenAIのAIクローラーはクロールしたページの約0.06％にしかトラフィックを返していない。AnthropicのAIクローラーはさらに低く、クロールしたページの約0.0014％にしかトラフィックを送信していないことになる。
この指標（比率）は時間やクローラーごとに変動する。例えばある期間では、参照トラフィックはGoogleのAIクローラーによるものが圧倒的で、1日のうちでも比率が変化していたという。ただし、全体的に「クロールが多く、参照が少ない」という傾向はあった。
Cloudflareは、AIクローラーは従来の検索エンジンよりも多くのコンテンツを取得する一方で、サイトへのトラフィック還元が少ないため、これまでのような収益モデルを維持するのが難しくなっていると指摘している。
|
|
|
|
|
|
|
|
|
|
|
|
Copyright(C) 2025 ITmedia Inc. All rights reserved. 記事・写真の無断転載を禁じます。
掲載情報の著作権は提供元企業に帰属します。
IT・インターネット
ランキング
IT・インターネット
アクセス数ランキング
- 1
xAI、Grokの恐ろしい行動を謝罪（写真：ITmedia NEWS）49
話題数ランキング
- 1
xAI、Grokの恐ろしい行動を謝罪（写真：ITmedia NEWS）49
