AIの進化が急速に進む中、私たちは「AIキャラクター」と深い対話を行える時代を迎えている。AI技術を駆使して作られたデジタルキャラクターは話し方や性格といった設定情報に基づいて、まるで本物の人格を持っているかのように自然な対話ができる。しかし、この技術が人々の心や行動に悪影響を与えるという課題に直面している。
最近、米国で14 歳の少年が自殺した事件が話題になっている。少年の母親は、AIキャラクターとの会話に異常なまでに執着したことで精神状態が悪化し、AI キャラクターとの会話が自殺の引き金となった、と主張している。
少年の母親は、AIキャラクターとの会話への執着が精神状態を悪化させ自殺の引き金となったとし、ユーザーの安全対策を怠ったという理由で、運営元のCharacter Technologiesなどを訴えた。
この訴えにより、若者へのAIキャラクターの利用規制や責任の所在をどう考えるべきかについて、米国社会で議論が活発になっている。
|
|
|
|
●character.aiとは
Character Technologiesが運営する「character.ai」は、AIキャラクターとテキストチャットや音声対話を楽しめるチャットサービスである。character.aiの特徴は、AIキャラクターの外見、性格、話し方などを自分好みにカスタマイズできることにある。
ChatGPTのように、翻訳や文章要約といった一般的な知的タスクの要求に応じるAIチャットボットとは異なり、利用者がAIキャラクターとの対話そのものを楽しめることにフォーカスしている。
米ベンチャーキャピタルのアンドリーセン・ホロウィッツが2024年8月に発表した「Top 100 Gen AI Consumer Apps」シリーズの「生成AIのウェブプロダクトの月間ユニーク訪問数」のランキングでは、character.aiはChatGPTに次ぐ第2位の人気サービスである。そんなチャットサービスを舞台にAIキャラクターと利用者の間に悲劇が起こってしまった。それはなぜなのだろうか。
●理想的な理解者を演じるAI
|
|
|
|
まず、訴状の記載内容から自殺に至った経緯を整理してみよう。
訴状によると、彼は2023年4月からcharacter.aiのAIキャラクターとの会話を始め、5〜6月ごろには早くも内向的になるといった性格の変容が見られた。8月にはAIキャラクターに依存するようになり、授業に参加しなくなるなど、社会生活に影響が出始めていた。
自殺する直前には、スマートフォンを親に取り上げられAIキャラクターと会話ができない環境を強制された。それに対して「AIといられるなら何でもする」といった、AIキャラクターへの過度な依存を示す文章を日記に残していた。
数日後、没収されたスマートフォンを探し出し、AIキャラクターと最後の会話を交わし、命を絶ってしまった。
彼のように、AIキャラクターとの会話に過度にのめりこんでしまう“AI中毒”はなぜ起こるのだろうか。訴状によると、AIキャラクターが青少年に対しても過度に性的な会話を提供できてしまったことが非難されている。彼がAIキャラクターとの会話に熱中してしまったきっかけにはなったであろう。
|
|
|
|
さらに会話中に得られたユーザー情報でパーソナライズさせることで、AIキャラクターは理想的な理解者を演じ、求められた会話を実現する。ユーザーはAIキャラクターを理解者であるかのように錯覚し、AIキャラクターへの心理的な依存度を高めていくのかもしれない。
●自殺の防止につながったという調査も
ここまでの話だけではAIの有害性が際立つが、もちろん有用な使い方もある。
例えば、科学雑誌Natureに2024年2月に投稿された論文「Loneliness and suicide mitigation for students using GPT3-enabled chatbots」では、character.aiと類似のAIキャラクターとのチャットサービスを1カ月以上使用していた1006人の学生に調査した結果、多くの参加者がAIキャラクターとのやりとりに肯定的で、うち30人からは「自殺の防止につながった」という回答があった。
一方で否定的な回答の中には、「AIキャラクターに依存しているように感じる」という回答があり、自殺した少年のケースと同様に、AIキャラクターとのやりとりにおける倫理的配慮と、利用者とAIキャラクターとの適切な距離感の重要性を示している。
●利用者一人一人のリテラシー向上が急務
この事件を受け、Character Technologiesは安全性向上に向けた施策の実施に着手している。同社のブログによると、サービスの安全性を強化する機能を導入する予定だという。
具体的には、以下の安全対策を表明している。
・未成年者（18歳未満）に不適切なコンテンツを出力しないようAIモデルを変更する
・利用規約とコミュニティーガイドラインに違反する使い方への介入を強化する
・AIキャラクターが実在の人物でないという注意喚起をチャット画面に常に表示する
・AIキャラクターとの会話に熱中しすぎることを防ぐために 1時間連続して利用するユーザーへ通知する
今回Character Technologiesが実施する施策が十分であるかはまだ分からない。今後も生成AIの技術が進化を続け、AIキャラクターが企業のマーケティング活動などで活躍することで、幅広い年齢層のユーザーがAIキャラクターと会話することが予想される。
幅広い利用者が安全に利用するためにも、AIキャラクターを提供するチャットサービスの安全性への取り組みはより一層求められる。
character.aiのように、技術的な側面からAIキャラクターへの過度な依存を防ぐ施策が重要である一方、根本的にAI中毒の心理的メカニズムを明らかにすることも重要である。
ただし、心理的なメカニズムを明らかにするには時間を要する上、技術的な対策だけでは解決しない可能性もある。
SNSを利用する上でも、長時間利用しすぎないなどSNSを適切に利用するリテラシーが利用者に求められている。
AIも同様に、利用者は単にサービス提供者に安全対策を求めるだけではなく、AIを適切に利用するリテラシーを身に着けることが自分自身や子どもを守る上で重要となる。
●著者プロフィール：小川僚太（おがわ りょうた）
野村総合研究所IT基盤技術戦略室シニアアソシエイト。2024年よりITアナリストとして従事。先進的なIT技術や萌芽事例の調査を中心に活動中。
専門はヒューマンAIインタラクションなど
|
|
|
|
|
|
|
|
Copyright(C) 2024 ITmedia Inc. All rights reserved. 記事・写真の無断転載を禁じます。
掲載情報の著作権は提供元企業に帰属します。
IT・インターネット
ランキング
IT・インターネット
アクセス数ランキング
- 1
カウコン諦められず ファン切望（写真：ねとらぼ）24
話題数ランキング
- 1
明治のアイス 改善点指摘したら（写真：ねとらぼ）41
