中国科学院による描画AI「DeepFaceDrawing」、スケッチから写実的な顔画像を生成！

GoogleのAutoDrawやNVIDIAのGAUGANなど、手書きのスケッチからより精巧なイラストを作成してくれるAIが登場している。

このほど、中国科学院コンピュータ技術研究所らの研究チームが発表した「DeepFaceDrawing」は、顔画像の作成に特化したもの。かなり写実的なイラストが生成できるのが特徴だ。

この描画AIを活用すれば、絵心に自信のない方もラフにスケッチして、リアルな顔画像が描けるようになる。スケッチを修正すると生成画像にも反映されるのも興味深い。
基礎となる顔画像を暗黙的にモデル化DeepFaceDrawingは、ユーザーのスケッチに応じた表現を可能にする。ユーザーによる入力をソフトな制約として利用しつつ、たとえスケッチが不完全でも高品質な顔画像を生成できる。

研究チームは、もっともらしい顔画像を暗黙的にモデル化し、元スケッチに忠実な顔画像の生成に役立てた。

まず、主要な顔パーツの特徴を学習し、スケッチに対応する部分を表現に沿って情報表現に反映する。
マッピング用のネットワークを作成中間層での出力を写実的な画像にマッピングする際に、別のディープニューラルネットワークを用いているようだ。

定量的評価の結果、DeepFaceDrawingが既存の描画AIよりも優れた生成能力を発揮。ユーザー調査でも使いやすさと表現力が示されたとのこと。

DeepFaceDrawingは、思い通りに顔画像を調整できて、一般的なユーザーにとっても使いやすそうだ。同研究内容を示した論文はSiggraph 2020で発表予定となっている。

参照元：DeepFaceDrawing: Deep Generation of Face Images from Sketches/ Geometry Learning