なんていったっけな、ほら、こんなヤツ。
そう、名称が分からなかったり思い出せなかったり。あるいは上手く言葉で説明できない場合は、絵に描いて伝えるという方法がある。
これは人から人に伝えるには手っとり早い方法だが、インターネットで調べる場合には、どうしてもキーワードといった言葉が必要だ。
しかし、AI（人工知能）に手書きの絵を学ばせれば、検索できるようになるのではないか？
そんなシステムが開発されていた。
|
|
|
|
絵の特徴を把握して検索する
手書きの絵から何が描かれているのか判断し、それが写されている写真を検索してくれるシステムを研究・開発したのは米ジョージア工科大学のJames Hays氏らのチームだ。
言葉で入力しなくても、手書きの絵をスキャンすれば、コンピューターがその絵で示したかったものが映っている写真を探し出してくれる。
[youtube https://www.youtube.com/watch?v=TnU3VzXxEh4]
この検索システムが優れているのは、手書きの絵の形状を単純にマッチングさせているのではないことだ。
手書きの絵の特徴を把握し、それに似たものが映っている写真をピックアップするのだ。
|
|
|
|
例えば足を伸ばして立っているカメの絵をスキャンして、その特徴を把握してから、類似のものが写っている写真を選び出しているため、草に埋もれて足が見えていないカメや、頭部が似ている蛇の写真までピックアップすることができる。
学習を続ければマッチ率を上げられるAI
この、手書きの絵に何が描かれているのかをコンピューターに解釈させるためには、ニューラルネットワークが使用された。
データベースを用意するために、Amazon Mechanical Turkというクラウドソーシングを利用して、664人にイラストを描かせた。ストックからランダムに選んだ写真を2秒間見せてから、記憶を頼りに描いてもらったのだ。
その結果、イラストと写真のマッチング成功率は37％だったという。一見低そうな数値だが、人間にやらせても54％だったということで、AIが学習を継続すれば、人間を超えるのは時間の問題ということだ。
オンラインショップや犯罪者探しに利用できるかも
このシステムでは、AIが絵を一旦言葉に変換しているわけではないので、無理矢理言葉にすることによるズレが生じない。
|
|
|
|
そのため、人間側の「こんな感じの形状だった」というアバウトな記憶で描かれた絵からでも、その特徴を解析して検索することができる。
そのため将来的には、オンラインショップで「こんなデザインの鞄がないかしら？」とラフなスケッチを描けば、候補となる商品を提案してくれるサービスができそうだ。
また、開発者らは、犯罪者を目撃した人たちに描かせた似顔絵から、警察のデータベースを照合して犯罪者を絞り込むと言ったシステムを作れる可能性もあるという。
そのうち、あまりにも下手な絵を描いたら、AIから、「おまえ、絵が下手だな」とツッコミを入れられる日が来るのかもしれない。
【参考】 ※ Scan your doodles to find the perfect matching photo online – New Scientist
※ A Search Engine That Matches Your Drawings to Photographs Isn’t Too Far Off | Innovation – Smithsonian
海外
