iPhone 12 ProのLiDARで現実空間を彩れるアプリ「Effectron」公開

iPhone 12 Pro / Pro Maxが搭載する地形取得センサーのLiDARを使い、現実空間にエフェクトをリアルタイム描画できるアプリが登場しました。

群馬県の株式会社アフェクションが開発した「Effectron」は、iPad Proが搭載するLiDARセンサーから取得した地形に、3次元的なエフェクトをリアルタイム描画することが可能。エフェクトは20種類から選択でき、自宅を映画「TRON」のようなグリッドに覆われた空間にしたり、オフィスの廊下を洞窟にして探検することもできます。

同アプリはこれまで、iPad Pro版が公開されていましたが、同じくLiDARを搭載するiPhone 12 Proの発売に合わせて、iPhone 12 Pro版がリリースされました。

なお、現実空間にエフェクトを適用するARアプリとしては「迷彩」などが存在します。こちらは、LiDAR非搭載のiPhone XS / XR以降でも利用できるわけですが、LiDARを利用することで、どの程度エフェクトが高度化できるのでしょうか。「Effectron」開発元は次のように説明しています。

──LiDARを使うことによる「迷彩」との違い。まず、初めに技術的な部分からお話します。「迷彩」の場合はARKit3から搭載されたピープルオクルージョンという機能を使い背景と人物を切り分けてエフェクトをかけています。背景のレイヤー1枚、人物のレイヤー1枚別々にエフェクトを乗せるイメージです。「迷彩」は実際の奥行は取得していませんが北千住デザインさんの優れた技術と映像センスで奥行を感じ取れるようなエフェクトになっています（実際お話を伺ったことはないので予想の範囲内の回答です）。一方、弊社の『Effectron』は実際に3次元のメッシュを生成しているため擬似的なものではなく、部屋を写したらカメラの動きに合わせ同じスケールで同じ形の3Dモデルを配置していているようなイメージです。今後のアップデートで、LiDARで地形を読み取って生成したメッシュに当たり判定（メッシュに3Dオブジェクトを置いてもすり抜けないようにする処理）をつけ、キャラクターが走り回ったり、雪を降らして積もらせるような機能も実装する予定です。現実空間にあるものに画面上であたり判定をつけるような処理はLiDARで地形を検出しないとできません。また、現段階の『Effectorn』でも多くのメリットがあります。生成したメッシュをかなり広範囲で保持しておけるので、建物の屋内の地形を取得して外からその建物を見るとメッシュがそのまま形が保持されているため建物内の内部構造を見ることができます。格子状のエフェクトを使い背景を暗くするとわかりやすいかと思います(今参考映像が手元にないので明日の15時ごろでしたらお送りできます)。

──今後のLiDAR活用について先程記しましたとおりLiDARセンサーが付いたことで擬似的だったARの表現が地形メッシュを生成することで大きく進化することができます。現実空間をリアルタイムで3D化できます。ポケモンGOを想像してもらうとわかりやすいかと思います。現状のポケモンGoではピカチュウが現実の空間にいるようには見えません。平面を検知して配置しているだけなので画面の中では浮いたように見えてしまいます。しかしLiDARを使い地形のメッシュを生成すれば地面の上を走り回ったり、壁にぶつかったり、段差を飛び越えたりと実際その空間にいるような表現が可能となります。また不動産などのエンターテイメン以外での活用方法も考えられます。ARKitより提供されたLiDARで取得したメッシュを壁、天井、椅子など自動で判別機能を使い壁紙を変て色合いを試したり、床の木材の材質を変えてみたりと様々な活用例があります。自分は今までARにあまり関心がありませんでしたが、LiDAR搭載により表現、活用の幅がこれまでのARと全く違うくらい広がったので『Effectron』を制作しました。