
インターネットの歴史において、検索の基本的な仕組みは20年以上にわたって変わることはなかった。具体的には、コンテンツをインデックス化し、それをクエリ(検索文)のキーワードと一致させる手法が主流だった。しかし近年、AI(人工知能)技術の進化により、検索の在り方は大きく変わりつつある。AI搭載の検索エンジンと、「Google検索」をはじめとする従来の検索エンジンは、異なる原理で動作する。本稿はそれぞれの仕組みの違いについて解説する。
●「AI検索」と「従来の検索」の根本的な違いとは
AI検索と従来の検索エンジンの大きな違いは、回答の提供方法にある。従来の検索エンジンでは、クエリに関連するWebリンクの一覧を提示するだけにとどまっていたが、AI検索では、クエリに対する具体的な回答を自然言語で提示できる。以下に、それぞれの検索の流れを解説する。
AI検索
|
|
・クエリ入力
・ユーザーがクエリを自然言語で入力する。クエリは、トークン化や重要フレーズの特定といった処理を経て、システムにより解析される。
意図の把握と理解
・AI検索技術は、単にクエリ内の単語を解析するだけでなく、ユーザーがクエリを通じて何をしたいのか(意図)を解釈する。例えば、ユーザーの目的が「情報を得る」ことなのか、「特定のWebページにアクセスする」ことなのか、あるいは「購入や取引をする」ことなのかを判断する。
情報の取得
|
|
・AI検索システムは、ナレッジベースを用いてユーザーのクエリに回答する。ナレッジベースには、LLMが事前学習したデータと、Webクローリング(Webサイトに自動的にアクセスして情報を集めること)によるリアルタイムデータが含まれる。
応答の生成
・ユーザーのクエリとその意図に最も適する回答を生成する。LLMは正確性、関連性、一貫性を考慮して回答を調整する。必要に応じて、関連する引用や情報源のWebリンクを含めたり、フォローアップの質問を提案したりもする。
フィードバックと継続的学習
・多くのAI検索エンジンには、フィードバックメカニズムが組み込まれている。これにより、時間をかけてパフォーマンスを向上させることができる。このフィードバックは、ユーザーからの明示的な意見や、検索結果に対する暗黙的な反応を基にしている。
|
|
従来の検索
・クローリング
・クローラー(bot)がインターネット上のWebコンテンツをスキャンして、新しいページや更新されたページを見つけ出す。
解析と分析
・クローラーがWebコンテンツを見つけると、そのページの構成要素(メタディスクリプション<Webページの概要>や見出し、本文テキストなど)を分析する。これによりページ内の情報を理解し、他Webページへのリンクを抽出する。
インデックス作成
・見つけたページを、コンテンツ、キーワード、および解析データに基づいて分類し、インデックスに登録する。このインデックスは、検索エンジンが情報を効率的に取得するためのデータベースとなる。
ランク付け
・複雑なアルゴリズムを用いて、インデックス化したページをクエリとの関連性やページの品質に基づいてランク付けする。Googleの「PageRank」はその一例で、過去20年以上にわたり改良が加えられてきた。
検索エンジン結果ページ(SERP:Search Engine Results Page)
・ユーザーのクエリに関連する結果がランク付けされ、検索結果ページ(SERP)として表示される。SERPの項目には、タイトル、URL、および簡単な説明文(スニペット)が含まれる。
※本記事は米Informa TechTargetの記事を翻訳・編集したものです。