AirPodsで手の動きをリアルタイムトラッキングする「EarphoneTrack」

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中国科学技術大学と米マサチューセッツ大学アマースト校の研究チームが開発した「EarphoneTrack」は、マイク付き有線イヤフォンやマイク一体型ワイヤレスイヤフォンを使った音響モーショントラッキングシステムだ。ミリ単位の精度が可能で、例えば、AirPodsを手に持って動かすことで、スマートフォンやスマートグラスなどを操作できる。

音響モーショントラッキングは空気中での伝播速度が遅い（340m/s）ため、他の無線信号が飛び交う中でも微細なセンシングが行える利点から注目されている。今回の手法もミリ単位の精度で追跡が可能という。

　このような音響信号を用いた追跡は、マイクとスピーカーの両方を必要とする。両方を備えたデバイスは多数存在するが、研究チームは今回、軽くて小さいイヤフォンに着目した。手に持っても大きすぎず、耳から外してすぐ使える利便性があり、完全ワイヤレスイヤフォンならば基本2つのペアなので、両手を使って同時にトラッキングできるなど利点が多い。

　音響信号による通信方法は、単一周波数の正弦波信号を採用し、送信機（スピーカー）と受信機（マイク）間の信号が送られる時間で距離を測定している。

　今回のアプローチは、有線／無線を問わずマイクとスピーカーがそろえば機能する。ただし、それぞれ実装するにあたっての問題点が異なる。有線イヤフォンの場合は、スピーカーとマイクが絶縁体で分離しているため自己干渉が起こりにくい半面、スピーカーからマイクへの信号漏れが残っているため受信した信号を妨害してしまう。無線イヤフォンの場合は、正確な距離測定値を得るために周波数オフセット（送信と受信した信号の周波数のズレ）を補正しなければならないため、補正をシステムに組み込んだ。

音響モーショントラッキングは、デバイスを持った手を追跡するか、デバイスの前で動く手を追跡するかの2つに大きく分かれる。今回の手法は両方が可能だ。2次元移動だけでなく、3次元でも追跡できる。

　実験では市販のイヤフォンを用い、スマートフォンとPCの両方のプラットフォームに実装し、手に持ったマイク側を1D、2D、3Dで追跡する精度評価を行った。それぞれ1.1mm、1.9mm、6.9mmのミリ単位のトラッキング精度を達成し、レイテンシ約5msとリアルタイムに近いレベルも実証したとしている。