雑な手描きスケッチからリアルな顔写真を正確かつリアルタイムで作り出す「DeepFaceDrawing」

「DeepFaceDrawing」は中国科学院と香港城市大学の研究者チームが開発したもの。多くの場合、ディープラーニングで手描きイラストを写真に変換する技術は入力したイラストを固定したものとして扱いますが、新しいアプローチは訓練によって手描きスケッチから「それらしい顔」の配置を学んでおり、入力したスケッチから「おおよその配置」を見つけます。この場合、入力情報としての手描きスケッチは「固定的」ではなくより柔軟に扱われるとのこと。この手法により、不正確あるいはラフなスケッチからもリアルな顔を作り出せるそうです。

このシステムは「部品埋め込み」「特徴マッピング」「画像合成」という3つのモジュールから構成されており、部品埋め込みモジュールは自動エンコードアーキテクチャーと、それぞれ学習を行う5つの特徴記述子を持っています。この特徴記述子が左目・右目・鼻・口・スケッチのリマインダーに分かれていることから、ムービーにあったように、5つのスライダーで調整が可能になるわけです。