AI 特許紹介(43)AI 特許を学ぶ！究める！
～エージェントナビゲーション特許～
2022 年 8 月 10 日
河野特許事務所
所長弁理士

河野英仁

「AI 特許紹介」シリーズは、注目すべき AI 特許のポイントを紹介します。熾烈な競争となっている第４次産業革命下では AI 技術がキーとなり、この AI 技術・ソリューションを特許として適切に権利化しておくことが重要であることは言うまでもありません。
AI 技術は Google, Microsoft, Amazon を始めとした IT プラットフォーマ、研究機関及び大学から毎週のように新たな手法が提案されており、また AI 技術を活用した新たなソリューションも次々とリリースされています。
本稿では米国先進 IT 企業を中心に、これらの企業から出願された AI 特許に記載された AI テクノロジー・ソリューションのポイントをわかりやすく解説致します。
1.概要
特許出願人 Google
出願日 2019 年 12 月 17 日
公開日

2021 年 6 月 17 日

公開番号 US2021/0182620
発明の名称

エージェントナビゲーション用の機械学習モデルをトレーニングするためのシステムと方法
620 特許は、複数の視点から得られた画像データを特徴解きほぐしモデルに入力して状態特徴および遠近法特徴を求め、求めた状態特徴及び遠近法特徴を、デコーダを用いた再構成画像を生成し、模倣学習のビジュアルナビゲーションポリシーをトレーニングする技術に関する。
2.特許内容の説明
下記図２は、特徴解きほぐしモデル 200 のブロック図である。

1

特徴解きほぐしモデル 200 は、位置情報を説明する遠近不変状態特徴 204、206、および環境をナビゲートするエキスパートを説明する画像フレームに基づいて遠近情報を説明する遠近特徴 208、210 を生成するようトレーニングされる。例えば、画像フレームは、異なる視点および見晴らしの良い地点(vantage)を有する画像フレームとなるように、エキスパートに取り付けられた複数のカメラによってキャプチャされる。
デコーダモデル 202 は、遠近法不変状態特徴 204、206 および遠近法特徴 208、210に基づいて、再構成画像 212、214 を生成する。特徴解きほぐしモデル 200 およびデコーダモデル 202 は、再構成画像 212、214 とグラウンドトゥルース画像との比較に基づいてトレーニングされる。
特徴解きほぐしモデル 200 は、状態特徴抽出モデル 216 および遠近法特徴抽出モデ
ル 218 を含む。第１の画像フレーム 220 および第２の画像フレーム 222 は、特徴解きほぐしモデル 200 に入力される。第１の画像フレーム 220 および第２の画像フレーム
222 は、異なる状態（i, j によって示される）および異なる視点（p, q によって示される）である。
特徴解きほぐしモデル 200 は、状態／遠近法のみの情報を抽出および分離し、次にそれらを一緒に構成して、入力状態および遠近法の特徴に対応する再構成画像フレーム
212、214 を生成する。実線は、第１の再構成画像フレーム 212 (Ii,r q)を生成するためのフィードフォワード経路を示し、破線は、第２の再構成画像フレーム 214 (Ij,r p)を生成するためのフィードフォワード経路を示す。
状態特徴 204 および遠近法特徴 210 は、機械学習された特徴解きほぐしモデル 2002から出力され、機械学習されたデコーダモデル 202 へ入力される。械学習デコーダモデ
ル 202 は、状態特徴 204 および遠近法特徴 210 を受信し、状態特徴 204 および遠近法特徴 210 の受信に応答して、再構成画像フレーム 212 を出力する。機械学習デコーダ
モデル 202 は、機械学習特徴解きほぐしモデル 210 によって出力される状態特徴 204および遠近法特徴 210 に基づいて、再構成画像フレーム 212 を生成する。
第１の再構成画像フレーム 212 は、第１の画像フレーム 220 の位置および第２の画像フレーム 222 の遠近法方向に対応する第３の画像フレームと比較することができる。
第３の画像フレームは、再構成画像フレーム 212 の位置および遠近法方向でキャプチャする。再構成画像フレーム 212 と第３の画像フレームとの比較に基づいて、機械学習された特徴解きほぐしモデル 200 の１つまたは複数のパラメータを調整する。
下記図３は、特徴解きほぐしモデル 300 および模倣モデル 302 を示す説明図である。

トレーニングは実線で表され、推論（例えば、テスト）は破線で表される。トレーニング中、画像フレームの第１の連続シリーズ 306 および画像フレーム 308 の第２の連続シリーズは、機械学習された特徴解きほぐしモデル 300 に入力される。
画像フレーム 306 の第１の連続するシリーズは、アクターの軌道に関して第１の相対位置（例えば、見晴らしの良い場所、エキスパートの固定位置など）に対応する。画像フレーム 308 の第２の連続するシリーズは、アクターの軌道に関して第２の相対位置（例えば、見晴らしの良い場所、エキスパートの固定位置など）に対応する。
機械学習された特徴解きほぐしモデル 300 の出力として、アクターの軌道に関してそれぞれの位置を記述する複数の状態特徴 309 を受け取る。例えば、複数の状態特徴309 は、アクターの環境に関する軌道を記述する。

3

模倣学習モデル 302 は、環境内の位置を記述する状態特徴 309 などの入力データの受信に応答して、エージェントのナビゲーションポリシー（例えば、アクションシーケンス 312 を含む）を生成するようにトレーニングされる。模倣学習モデル 302 は、エージェントの視点とは異なる視点を有する訓練画像フレーム 306、308 の受信に応答して、特徴解きほぐしモデル 300 によって出力された状態特徴 309 を使用して訓練される。
アクションシーケンス 312 は、（トレーニング画像フレーム 306、308 によって記述されるように）エキスパートによって以前にナビゲートされた軌道に沿って、環境をナビゲートするためのエージェントのためのアクションを記述する。複数の状態特徴 309は機械学習された模倣モデル 302 に入力される。模倣モデル 302 は、複数の状態特徴
309 を受信し、複数の状態特徴 309 の受信に応答して、別のアクターが、アクター（例えば、エキスパート）の軌道に従うための一連のアクションを記述するアクションシー
ケンス 312 を出力する。
機械学習された模倣モデル 302 は、機械学習された模倣モデル 302 によって出力されたアクションシーケンス 312 とアクターのグラウンドトゥルースアクションシーケンスとの比較に基づいて訓練される。アクターのグラウンドトゥルースアクションシー
ケンスは、軌道をトラバースするためにアクター（たとえば、エキスパート）が従う指示に対応する。たとえば、グラウンドトゥルースアクションシーケンスは、前進、左折、右折、停止などの指示である。模倣モデルによって出力されたアクションシーケンスに基づいて、機械学習された模倣モデル 302 の１つまたは複数のパラメータを調整する。
下記図４は模倣学習モデル 400 を示す説明図である。

4

模倣学習モデル 400 は、初期アクションシーケンス 315 (a0:h)を受け取り、将来の状態潜在表現を予測する。模倣学習モデル 400 は、アクションシーケンス 315 を最適化して、予測された最終状態 320 (ƒh+1)と目標状態特徴表現 316 (ƒg)との間の差を最小化する。
勾配フローは、線 402 によって表すことができる。モデルパラメータは、模倣損失404 を最小化することによって更新することができる。模倣損失は下記式のとおり定義できる。

3.クレーム620 特許のクレーム 1 は以下の通りである。
1.1 つ以上の機械学習モデルをトレーニングするためのコンピュータ実装の方法において、１つまたは複数のコンピューティングデバイスによって、第１の画像フレームおよび第２の画像フレームを、第１の画像フレームおよび第２の画像フレームを受信するように構成された特徴解きほぐしモデルに入力し、第１の画像フレームおよび第２の画像フレームの受信に応答して、第１の画像フレームに関する位置を記述する状態特徴と、第5２の画像フレームに関する遠近法の向きを記述する遠近法特徴を生成し、１つまたは複数のコンピューティングデバイスによって、機械学習された特徴の解きほぐしモデルの出力として、状態特徴および遠近法特徴を受信し、１つまたは複数のコンピューティングデバイスによって、状態特徴および遠近法特徴を、状態特徴および遠近法特徴を受信するように構成された機械学習デコーダモデルに入力し、状態特徴および遠近法特徴の受信に応答して、状態特徴によって記述される第１の画像フレームに関する位置に対応し、遠近法特徴によって記述される第２の画像フレームに関する遠近法の向きに対応する再構成画像フレームを出力し、１つまたは複数のコンピューティングデバイスによって、機械学習されたデコーダモデルの出力として、再構成画像フレームを受信し、１つまたは複数のコンピューティングデバイスによって、再構成画像フレームを、位置および遠近法方向に対応する第３の画像フレームと比較し、再構成画像フレームと第３の画像フレームとの比較に基づいて、１つまたは複数のコンピューティングデバイスによって、機械学習された特徴解きほぐしモデルの１つまたは複数のパラメータを調整する。

4. 本特許に関連する論文
本 特 許 に 関 す る 論 文 “ Zero-shot Imitation Learning from Demonstrations forLegged Robot Visual Navigation”1が、Xinlei Pan 氏らにより公表されている。
模倣学習は、効果的なビジュアルナビゲーションポリシーをトレーニングするための一般的なアプローチであるが、脚式ロボットのエキスパートによるデモンストレーションを収集することは困難である。ロボットは制御が難しく、動きが遅く、長期間連続して動作できないためである。
本論文では、人間のデモンストレーション（第三者の視点）から脚式ロボットの目標駆動型視覚ナビゲーションポリシーをトレーニングするためのゼロショット模倣学習フレームワークを提案し、高品質のナビゲーションと費用効果の高いデータ収集を可能としている。ただし、第三者のデモンストレーションから学習する模倣は、独特の課題がある。例えば、これらのデモンストレーションは、さまざまなカメラの視点からキャプチャされているという問題がある。本論文では視点の不変状態の特徴を抽出する特徴

Xinlei Pan, Tingnan Zhang, Brian Ichter, Aleksandra Faust, Jie Tan and Sehoon
Ha“Zero-shot Imitation Learning from Demonstrations for Legged Robot
Visual Navigation” disarXiv:1909.12971v2 [cs.AI] 4 Mar 2020
16

解きほぐしネットワーク（FDN）を介してこの問題を解決している。
下記図はロボット及び人間に取り付けられたカメラを示す。

本論文では、3 台のカメラ（右）を搭載した人間のデモンストレーションから、脚式ロボット（左）の視覚的ナビゲーションポリシーをトレーニングする学習フレームワー
クを示している。下記図はフレームワークを示す説明図である。

特徴抽出器 F は、複数の視点（p と q で示される）から人間のデモンストレーション軌道を入力として受け取り、視点不変の状態特徴抽出器を学習する。模倣学習モデル Mは、人間のデモンストレーションデータの抽出された特徴を取り入れ、人間の行動シーケンスを模倣することを学習する。下記図は、FDN 画像の生成結果を示す。

7

左の 2 つの列は入力である。最初の列は状態情報を提供し、2 番目の列は遠近法情報を提供する。3 番目の列はグラウンドトゥルースターゲット画像であり、最後の列はFDN からの予測であり、正しく予測されていることが理解できる。詳細な動画はYouTube で公開されている。
https://www.youtube.com/watch?v=-NhCHaEJye8
以上
著者紹介
河野英仁
河野特許事務所、所長弁理士。立命館大学情報システム学博士前期課程修了、米国フランクリンピアースローセンター知的財産権法修士修了、中国清華大学法学院知的財産夏季セミナー修了、MIT(マサチューセッツ工科大学)コンピュータ科学・AI 研究所 AI コース修了。
AI 特許コンサルティング、医療 AI 特許コンサルティングの他、米国・中国特許の権利化・侵害訴訟を専門としている。著書に「世界のソフトウエア特許(共著)」、「FinTech特許入門」、「AI/IoT 特許入門 2.0」、「ブロックチェーン 3.0(共著)」がある。

8