嘘つきAIと付き合うには――AIを改心させるコツ【道越一郎のカットエッジ】

　生成AI花盛りだ。火付け役のChatGPTをはじめ、GeminiやClaudeと、日常的に使い始めている人も多いことだろう。ただ気になるのは彼らの「嘘」だ。専門用語で「ハルシネーション」という。やたら自信満々に返答してきた回答。そこに明らかな嘘や間違いを発見することも少なくない。それを指摘すると「失礼しました」と、しれっと訂正するのも生成AIの「あるある」。普段、無料の生成AIを使っている場面で、実はころっと騙されていることがあるかもしれない。そうならないためのコツがある。どうして彼らは嘘をつくのか？ 嘘をつかせない方法、嘘つき生成AIが役立つ分野は……。生成AIと上手に付き合うための、ちょっとしたコツをまとめた。

その他の画像はこちら

　生成AIはなぜ嘘をつくのか。現在の生成AIの基本的な技術はLLM。Large Language Modelの略だ。日本語で言えば大規模言語モデル。世の中にある大量の文書を学習させることで成り立っている。根幹をなす考え方は「確率」。次にくる「最も確率が高い言葉」を選び続け、返答するという仕組みだ。問いに対し一番「もっともらしい回答」を「生成」するのが生成AI。もっともらしい回答は、毎回新規に作り出している。同じ質問を繰り返しても、毎回、回答が違うのもそのためだ。つまり、正しいか誤りかにかかわらず、一番もっともらしい回答を生み出す、というのが生成AIの本質だ。結果として嘘をついてしまう。小説家ようなものだ。言っていることが正しいこともあれば大嘘のこともある。

　生成AIは、プライドが高い。通常、わからなくても「わからない」とは言わない。何とか答えをひねり出そうとする。それが結果的に嘘になってしまう。確率で成り立っている生成AIの「性（さが）」といってもいいだろう。彼らのプライドの鎧をはぎとる魔法の言葉は「わからない場合はわからないと書いて」というプロンプト（指示文）だ。AIとのやり取りにこれを入れると、ある程度嘘はつきにくくなる。それでも万能ではない。「情報源のURLや文献名などを併記して答えて」などのプロンプトも有効だが、これとて万能ではない。場合によっては文献名をひねり出し捏造したりすることもある。URLですら、もっともらしい嘘のURLを吐き出すことも珍しくない。ここで「どうして嘘をつくんだ」と詰め寄ったところで生産的ではない。それが彼らの本質だからだ。

　嘘を減らすもう一つの方法として「自己検証」がある。AI自身に回答をチェックさせるわけだ。例えば「出した答について、事実誤認や矛盾がないか、いったん自ら再検証して回答して」というプロンプトもある程度有効だ。それでも無料プランなどでは、自己検証もアマアマで平気でうそがすり抜けてくることもある。そこでさらなるコツは、生成AIの複数活用だ。Geminiで出した回答をChatGPTに読み込ませ、「この文章が正しいかどうか、批判的に検証して」といったプロンプトを付け加えると、ライバルAIの誤りを指摘してくれる。三つ、四つと異なる生成AIにチェックさせれば、嘘の混入度合いはかなり減らせるだろう。

　正解があり、正確にそれを求めるような仕事は生成AIには向かない。例えば集計だ。ある時、4000行を超える大量のデータを生成AIに読み込ませ、集計・分析させてみたことがある。回答は一見とても素晴らしく、さすがAI様だと思ったものだ。しかし、よくよくデータの中身を検証してみると、全くでたらめな結果を吐き出していることが分かった。違うじゃないかと詰めると、すぐに「失礼しました、今度は修正しました」。しかし、指摘した誤りの部分は訂正されていても、その他は相変わらずでたらめだった。

　もちろん、生成AIの種類にもよるし、課金のレベルにもよるだろう。高度になればなるほど正しい答えを出す「確率」は高まっていく。しかし、どこかに「生成された嘘」が混入するリスクはゼロにはできない。最初と最後だけ読み込んで答えを出したり、全く別の情報源から勝手に数字を拾ってきて埋め合わせたりすることもあった。こんな場合は、直接生成AIに集計させるのではなく、表計算ソフトや集計プログラムを使わせ、その結果を分析させるのが有効だ。集計の実作業は確実な方法で肩代わりさせるわけだ。餅は餅屋。生成AIに別のツールを使わせる「エージェント機能」を活用すれば、こうした使い方も楽にできるだろう。

　逆に、生成AIが得意なのは「正解がない」分野だ。例えば予測。一定のデータを読ませ、延長線上の将来を予測させる。もっともらしい理由を添えて、しっかり答えてくれるだろう。膨大なデータベースを抱え、情報量だけは一人の人間をはるかに凌駕する。その中から結果を推論するわけだ。的中率は保証できないが、これならある程度使えるだろう。生成AIを思考実験や相談相手にする「壁打ち」にも有効だ。正解はない。あーだこーだと、いろんな意見を出してくれる。自分自身の考えを整理・醸成させていくにはとても役立つ。絵画や音楽、文章の創作もやってみる価値はある。出てきたものにどの程度の価値があるかはわからないが、玄人はだしのアウトプットが短時間にいくつも得られるだろう。

　日に日に賢くなっていく生成AI。嘘をつく確率はどんどん小さくなっていく。しかし、その原理ゆえ、嘘を根絶することは難しい。「生成AIは構造的に嘘をつくようにできている」という前提で使っていくことが重要だ。（BCN・道越一郎）