Googleの4足歩行ロボットは現実世界で歩き方を学ぶ！

タグ付けされたデータや人間による調整なしに、ロボットが自律的に歩き方を学べたら世話いらずだ。

Googleやカリフォルニア大学バークレー校の研究者らは、介入最小限でロボットに歩き方を学ばせることに成功した。

犬を連想させる4足歩行ロボットが歩き方を学ぶのには数時間しかかからなかったようだ。

・深層強化学習を用いて環境から学習

ロボットが環境から学ぶのには深層強化学習（deep RL）という技術が用いられる。今回利用されたのも同技術だが、シミュレーション環境で学習が進められることが多いのに対して、4足歩行ロボットの学習は現実世界を通して行われた。

歩行の学習はまず平面で行われ、転倒しにくい設計のロボットが、前進、後退、右旋回左旋回の動きをステップバイステップで学んでいった。

その間、人間がやることはコードでつながったコントローラーを調整することだけだ。

・安全に学習が進められる設計

Image: arXiv:2002.08550

安全性を確保しながらロボットの学習を進めることも重要なポイントで、これを達成するために研究者らはロボットの動きに制限をかけている。また、ロボットが既定のエリア外に行かないような調整も行っており、進みすぎたときには後退タスクを選択するというシンプルなプログラムを仕込んだ。

動画を観ると、最初は生まれたての子羊のような挙動のロボットが、80分後にはスタスタと歩くようになるさまが確認できる。平面での前後の歩行を学んだロボットは、次に柔らかいマットレス、そして窪みのあるドアマットの表面を歩くことに成功している。その後ロボットは、コントローラーでも操作できるようになった。

動画からは簡単そうに見える歩行の学習。たしかに人間による介入が少ないという意味では楽だが、同技術の実装はハードなもの。誰もがそれを意識せずに扱える世界が待ち望まれる。