東京工業大学 渡辺研究室の研究チームが開発した「Realistic Dynamic Projection Mapping Using Real-Time Ray Tracing」は、リアルタイムレイトレーシングを用い、動く物体にぴったり追従してリアルな画像を投影し続けるプロジェクションマッピングだ。
近年、プロジェクションマッピング技術が進化している。特に、動く物体を追従し、ぴったり張り付いているかのように投影するダイナミックプロジェクションマッピングが目立つ。硬い物体はもちろん、Tシャツや紙のような柔らかい素材でも追跡し、映像を違和感なく投影することが可能だ。
東工大の研究チーム次の課題は、臨場感を高めることだとする。そのためには現実に近いリアルな画像の投影が必要となる。そこで研究チームは今回、光線の反射を再現してリアルなCGを生み出す手法として知られるレイトレーシングの改良型である「パストレーシング」をダイナミックプロジェクションマッピングと統合した。
パストレーシングの手法は、多くの光のサンプルと、レンダリングされた画像の各ピクセルに対するトレース結果を統合して計算するためかなりの時間を要し、GPUを使用してもノイズが多くなってしまう。
この課題については、ノイズの多い中間画像を高フレームレートで投影することで解決する。光の点滅を認識できないほどの速さで高速投影すると連続光に見える、一種の残像効果を利用したものだ。
システムは、高速プロジェクタ、カメラ、コンピュータで構成。実験では、500fpsのカメラでウサギの人形を追跡し、パストレーシング画像を947fps、1ピクセルあたり2サンプリング(spp)でレンダリングした。この画像を高速プロジェクタによる947fpsで投影することで、ノイズを低減させた画像に仕上がる。その結果、運動している物体に対して既存技術をしのぐ低遅延描画と臨場感を実現しているという。
パストレーシングの手法は、多くの光のサンプルと、レンダリングされた画像の各ピクセルに対するトレース結果を統合して計算するためかなりの時間を要し、GPUを使用してもノイズが多くなってしまう。