【手続補正書】
【提出日】令和2年12月18日(2020.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置が第１の時刻に撮像した視覚情報を入力する入力手段と、
前記入力手段が入力した視覚情報に基づいて、前記第１の時刻以降の第２の時刻の視覚情報または幾何情報の少なくとも一方を予測するための学習モデルを保持する保持手段と、
前記学習モデルを用いて、前記第２の時刻の視覚情報または幾何情報の少なくとも一方を予測する予測手段と、
前記予測手段が予測した第２の時刻の視覚情報または幾何情報の少なくとも一方に基づいて前記第２の時刻における前記撮像装置の位置姿勢を算出する第１の算出手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
撮像装置が第１の時刻に撮像した視覚情報を入力する入力手段と、
前記入力手段が入力した視覚情報に基づいて、前記第１の時刻以降の第２の時刻の視覚情報または幾何情報の少なくとも一方を予測するための学習モデルを保持する保持手段と、
前記学習モデルを用いて、前記第２の時刻の視覚情報または幾何情報の少なくとも一方を予測する予測手段と、
前記予測手段が予測し視覚情報または幾何情報の少なくとも一方に基づいて前記入力した第１の時刻における視覚情報、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一つに含まれる物体情報を算出する第２の算出手段と、
を備えることを特徴とする情報処理装置。
【請求項３】
前記予測手段は、前記予測手段が予測した前記第２の時刻の視覚情報または幾何情報の少なくとも一方をもとに前記第２の時刻以降の第３の時刻の視覚情報または幾何情報を予測することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記第１の算出手段は、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一方、および、撮像装置がさらに第２の時刻の近傍の時刻に取得した視覚情報に基づいて、前記撮像装置の位置姿勢を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記第２の算出手段は、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一方、および、撮像装置がさらに第２の時刻の近傍の時刻に取得した視覚情報に基づいて、前記撮像装置の位置姿勢を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記物体情報は、前記入力した視覚情報、前記予測した視覚情報または幾何情報の少なくとも一つに含まれる物体の物体種であることを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記物体情報は、前記入力した視覚情報、前記予測した視覚情報または幾何情報の少なくとも一つに含まれる物体の位置を示す情報または移動量を示す情報の少なくとも一方であることを特徴とする請求項２または６に記載の情報処理装置。
【請求項８】
撮像装置が撮像した視覚情報を入力する入力手段と、
前記入力手段が入力した視覚情報に基づいて、前記視覚情報に関連づいた第１の時刻以降の第２の時刻の視覚情報または幾何情報の少なくとも一方を予測するための学習モデルを保持する保持手段と、
前記学習モデルを用いて、前記第２の時刻の視覚情報または幾何情報の少なくとも一方を予測する予測手段と
前記予測手段が予測した第２の時刻の視覚情報または幾何情報の少なくとも一方に基づいて前記第２の時刻における前記撮像装置の位置姿勢を算出する第１の算出手段と、
前記予測手段が予測し視覚情報または幾何情報の少なくとも一方に基づいて前記入力した第１の時刻における視覚情報、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一つに含まれる物体情報を算出する第２の算出手段と、
を有することを特徴とする情報処理装置。
【請求項９】
前記予測手段が予測した視覚情報または幾何情報の少なくとも一方を基に、前記撮像装置を搭載した移動体を制御するための制御値を算出し、制御を行う制御手段をさらに備えることを特徴とする請求項１又は８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記制御手段は、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一方と、撮像装置が第２の時刻の近傍の時刻にさらに取得した視覚情報との一致度合をもとに、前記制御値を算出することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記第１の算出手段が第２の時刻の前記撮像装置の位置姿勢を算出し、
前記制御手段が、前記第２の時刻の撮像装置の位置姿勢に前記撮像装置の位置姿勢が一致するよう前記移動体を制御する制御値を算出する
ことを特徴とする請求項９に記載の情報処理装置。
【請求項１２】
前記予測手段が予測し視覚情報または幾何情報の少なくとも一方に基づいて前記入力した第１の時刻における視覚情報、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一つに含まれる物体情報を算出する第２の算出手段を更に有し、
前記制御手段は、前記第２の算出手段が算出した前記物体情報に基づいて、前記移動体を制御する制御値を算出する
ことを特徴とする請求項９乃至１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記予測手段は、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一方、および、撮像装置が第２の時刻の近傍の時刻にさらに取得した視覚情報の一致度合に基づいて、予測パラメータを調節する
ことを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
【請求項１４】
前記予測手段は、前記第１の算出手段が算出した第２の時刻の前記撮像装置の位置姿勢に基づいて予測パラメータを調節する
ことを特徴とする請求項１又は８のいずれか１項に記載の情報処理装置。
【請求項１５】
前記予測手段は、前記第２の算出手段が算出した前記物体情報に基づいて予測パラメータを調節する
ことを特徴とする請求項２、５、６、７、８のいずれか１項に記載の情報処理装置。
【請求項１６】
前記移動体の状態または前記移動体の周囲の状況の少なくとも一方の計測値を計測する計測手段を更に備え、
前記予測手段は、前記計測値をもとに予測パラメータを調節する
ことを特徴とする請求項９乃至１２のいずれか１項に記載の情報処理装置。
【請求項１７】
前記予測パラメータとは、前記予測手段が予測する時刻の時点、予測個数、予測時間間隔、予測範囲のうち少なくとも一つである
ことを特徴とする請求項１３乃至１６のいずれか１項に記載の情報処理装置。
【請求項１８】
前記撮像装置が撮像した視覚情報、前記予測手段が予測した第２の時刻の幾何情報、前記予測手段が予測した第２の時刻の視覚情報、前記第１の算出手段が算出した位置姿勢、のうち少なく一つをもとに表示情報を生成する生成手段と、
前記生成手段が生成した前記表示情報を提示する表示手段と、
を更に備えることを特徴とする請求項１、４、８乃至１２、１４，１６のいずれか１項に記載の情報処理装置。
【請求項１９】
前記撮像装置が撮像した視覚情報、前記予測手段が予測した第２の時刻の幾何情報、前記予測手段が予測した第２の時刻の視覚情報、前記第２の算出手段が算出した情報、のうち少なく一つをもとに表示情報を生成する生成手段と、
前記生成手段が生成した前記表示情報を提示する表示手段と、
を更に備えることを特徴とする請求項２、５乃至８、１５のいずれか１項に記載の情報処理装置。
【請求項２０】
前記視覚情報は、濃淡画像、ＲＧＢ画像、奥行き情報、距離画像、三次元点群データを撮像した画像のいずれか１つを含むことを特徴とする請求項１乃至１９のいずれか１項に記載の情報処理装置。
【請求項２１】
前記幾何情報は、前記視覚情報のピクセルごとに推定した奥行き情報のデプスマップであることを特徴とする請求項１乃至２０のいずれか１項に記載の情報処理装置。
【請求項２２】
撮像装置が第１の時刻に撮像した視覚情報を入力する入力工程と、
前記入力工程が入力した視覚情報に基づいて、前記第１の時刻以降の第２の時刻の視覚情報または幾何情報の少なくとも一方を予測するための学習モデルを用いて、前記第２の時刻の視覚情報または幾何情報の少なくとも一方を予測する予測工程と、
前記予測工程が予測した第２の時刻の視覚情報または幾何情報の少なくとも一方に基づいて前記第２の時刻における前記撮像装置の位置姿勢を算出する第１の算出工程と、
を備えることを特徴とする情報処理装置の制御方法。
【請求項２３】
撮像装置が第１の時刻に撮像した視覚情報を入力する入力工程と、
前記入力工程が入力した視覚情報に基づいて、前記第１の時刻以降の第２の時刻の視覚情報または幾何情報の少なくとも一方を予測するための学習モデルを用いて、前記第２の時刻の視覚情報または幾何情報の少なくとも一方を予測する予測工程と、
前記予測工程が予測し視覚情報または幾何情報の少なくとも一方に基づいて前記入力した第１の時刻における視覚情報、前記予測した第２の時刻の視覚情報または幾何情報の少なくとも一つに含まれる物体情報を算出する第２の算出工程と、
を備えることを特徴とする情報処理装置の制御方法。
【請求項２４】
コンピュータが読み込み実行することで、前記コンピュータに、請求項２２又は２３に記載の方法が備える各工程を実行させるためのプログラム。