(57)【要約】  本開示は、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することができるようにする制御装置、および制御方法、プログラム、並びに移動体に関する。自己位置に対応する場所に応じて、周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、マスクされた周囲の画像より、画像特徴量を抽出し、画像特徴量と、自己位置の位置情報とを対応付けて位置画像特徴量DB（データベース）に登録する。搭載された計算機に従い自律的に移動する多足ロボット、飛翔体、車載システムに適用することができる。
2019131198.tif 000002
【特許請求の範囲】
【請求項１】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む
制御装置。
【請求項２】
前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
請求項１に記載の制御装置。
【請求項３】
前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
前記第１のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
請求項２に記載の制御装置。
【請求項４】
前記第１の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
請求項１に記載の制御装置。
【請求項５】
前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
前記統合部は、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
請求項４に記載の制御装置。
【請求項６】
前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
請求項５に記載の制御装置。
【請求項７】
前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、
前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、
前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
請求項５に記載の制御装置。
【請求項８】
前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
請求項７に記載の制御装置。
【請求項９】
前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
請求項１に記載の制御装置。
【請求項１０】
前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
請求項９に記載の制御装置。
【請求項１１】
前記撮像部は、ステレオカメラであり、
前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
前記第１の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
請求項１に記載の制御装置。
【請求項１２】
前記自己位置推定部は、
時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
請求項１に記載の制御装置。
【請求項１３】
前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
請求項１２に記載の制御装置。
【請求項１４】
自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、
第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む
制御方法。
【請求項１５】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
してコンピュータを機能させるプログラム。
【請求項１６】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
を含む移動体。
【請求項１７】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御装置。
【請求項１８】
自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御方法。
【請求項１９】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
プログラム。
【請求項２０】
自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、および制御方法、プログラム、並びに移動体に関し、特に、自己位置を高精度に推定できるようにした制御装置、および制御方法、プログラム、並びに移動体に関する。
【背景技術】
【０００２】
周辺の画像を撮像し、撮像した画像内の特徴量から自己位置や姿勢を推定する技術がある。【０００３】
例えば、前方視野の案内表示などの特徴物と、記憶している画像との照合により前方特徴物を検出することで自己位置を認識して、走行を支援する技術が提案されている（特許文献１参照）。【０００４】
また、視線方向に対するテンプレート画像と撮像画像との照合から、ロボットや対象物体の位置・姿勢データを推定する技術が提案されている（特許文献２参照）。【０００５】
さらに、画像の特徴点とランドマーク情報とのパターン認識により特徴点を選出し、特徴点の個数でランドマーク候補を作り、位置を推定する技術が提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−０１２０１１号公報
【特許文献２】特開２０１２−１８５７５２号公報
【特許文献３】特開２０１０−０３３４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１乃至３のいずれにおいても、異なる位置であっても、周囲に類似した物体が多数存在し、検出される特徴量の多くが類似している環境においては、一致する特徴量が多く検出されることにより同一の位置として誤検出されることがあった。【０００８】
本開示は、このような状況に鑑みてなされたものであり、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定できるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の第１の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む制御装置である。【００１０】
前記第１のマスク生成部には、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成させるようにすることができる。【００１１】
前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含ませるようにすることができ、前記第１のマスク生成部には、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成させるようにすることができる。【００１２】
前記第１の特徴量抽出部には、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出させ、前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含ませるようにすることができる。【００１３】
前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含ませるようにすることができ、前記統合部には、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録させるようにすることができる。【００１４】
前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含ませるようにすることができる。【００１５】
前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含ませるようにすることができる。【００１６】
前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含ませるようにすることができ、前記自己位置不定状態である場合、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記検査部には、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査させ、前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部には、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力させるようにすることができる。【００１７】
前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成されるようにすることができる。【００１８】
前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成されるようにすることができる。【００１９】
前記撮像部は、ステレオカメラであり、前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含ませるようにすることができ、前記第１のマスク生成部には、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成させ、前記第１の特徴量抽出部には、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出させるようにすることができる。【００２０】
前記自己位置推定部には、時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定させ、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含ませるようにすることができる。【００２１】
前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度とすることができる。【００２２】
本開示の第１の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む制御方法である。【００２３】
本開示の第１の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部としてコンピュータを機能させるプログラムである。【００２４】
本開示の第１の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む移動体である。【００２５】
本開示の第１の側面においては、自己位置が推定され、周囲の画像が撮像され、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録される。【００２６】
本開示の第２の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御装置である。【００２７】
本開示の第２の側面の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御方法である。【００２８】
本開示の第２の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定するプログラムである。【００２９】
本開示の第２の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する移動体である。【００３０】
本開示の第２の側面においては、自己位置が推定され、周囲の画像が撮像され、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録され、前記データベースに基づいて、現在情報自己位置が推定され、前記現在情報自己位置が推定される場合、撮像された前記自己位置の周囲の画像より前記画像特徴量が抽出され、前記データベースにおいて、抽出された前記画像特徴量に対応付けて登録されている前記位置情報が現在情報自己位置として推定される。
【発明の効果】
【００３１】
本開示の一側面によれば、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本開示の概要を説明する移動体の構成例を示す図である。
【図２】本開示の概要を説明する図である。
【図３】本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。
【図４】本開示の第１の実施の形態に係る認識処理部の構成例の詳細なブロック図である。
【図５】場所関連非特徴部を説明する図である。
【図６】図４の認識処理部による自律移動制御処理を説明するフローチャートである。
【図７】時系列情報自己位置推定処理を説明するフローチャートである。
【図８】現在情報自己位置推定処理を説明するフローチャートである。
【図９】図４の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。
【図１０】場所関連非特徴部の応用例を説明する図である。
【図１１】本開示の第２の実施の形態に係る認識処理部の構成例の詳細なブロック図である。
【図１２】場所関連非特徴部生成登録処理を説明するフローチャートである。
【図１３】本開示の第３の実施の形態に係る認識処理部の構成例の詳細なブロック図である。
【図１４】図１３の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。
【図１５】図１３の認識処理部による自律移動制御処理を説明するフローチャートである。
【図１６】自己位置不定モード処理を説明するフローチャートである。
【図１７】汎用のコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３４】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．ソフトウェアにより実行させる例
【００３５】
＜＜１．本開示の概要＞＞
【００３６】
本開示の移動体は、異なる位置であるにもかかわらず、類似した特徴量の多い環境であって、同一の位置として誤検出され易い環境でも、高精度に区別して、自己位置を推定できるようにした移動体である。
【００３７】
図１は、本開示の移動体１１の概要となる構成例を示している。
【００３８】
移動体１１は、例えば、ロボットなどであり、センサ群２１、自律移動制御部２２、およびアクチュエータ群２３を備えている。
【００３９】
センサ群２１は、移動体１１の内部、および移動体１１の周囲の状況の認識に必要な各種の情報を検出するセンサ２１ａ−１乃至２１ａ−ｎを備えており、検出結果を自律移動制御部２２に出力する。また、センサ２１ａ−１乃至２１ａ−ｎについて特に区別する必要がない場合、単に、センサ２１ａと称するものとし、その他の構成についても同様に称する。
【００４０】
より具体的には、センサ２１ａ−１乃至２１ａ−ｎは、例えば、移動体１１の周囲を撮像するカメラ、移動体１１の動きを検出する加速度センサ、移動体１１の周囲に存在する物体までの距離を測定するLIDAR、ToF（Time of Flight）センサ、方向を検出する地磁気センサ、ジャイロセンサ、加速度センサ、周囲の気圧の変化を検出する気圧センサ、接触の有無等を検出する接触センサ、温度を検出する温度センサ、湿度を検出する湿度センサ、PSD（Position Sensitive Detector）測距センサおよび、地球上の位置を検出するGNSS（Global Navigation Satellite System）などを含む。
【００４１】
自律移動制御部２２は、センサ群２１の各種の検出結果より、周囲の状況を認識し、認識結果に基づいて行動計画を生成し、行動計画に応じて、ロボットを駆動させるアクチュエータ群２３の各種アクチュエータ２３ａ−１乃至２３ａ−ｎを動作させる。また、アクチュエータ２３ａ−１乃至２３ａ−ｎについて特に区別する必要がない場合、単に、アクチュエータ２３ａと称するものとし、その他の構成についても同様に称する。
【００４２】
より詳細には、自律移動制御部２２は、認識処理部３１、行動計画処理部３２、および行動制御処理部３３を備えている。
【００４３】
認識処理部３１は、センサ群２１より供給される検出結果に基づいて、認識処理を実行し、例えば、画像、人、物体、表情の種類、位置、属性、および自らや障害物の位置等を認識し、認識結果として行動計画処理部３２に出力する。また、認識処理部３１は、センサ群２１より供給される検出結果に基づいて、自己位置を推定する。
【００４４】
行動計画処理部３２は、認識結果に基づいて、移動体１１の全体の行動である、移動体１１の移動に係る機器の移動の軌跡、状態変化、および速度または加速度などの行動計画を生成し、行動制御処理部３３に供給する。
【００４５】
行動制御処理部３３は、行動計画処理部３２より供給される行動計画に基づいて、アクチュエータ群２３のアクチュエータ２３ａ−１乃至２３ａ−ｎのそれぞれの具体的な動きを制御するための制御信号を生成し、アクチュエータ群２３を動作させる。
【００４６】
アクチュエータ群２３は、行動制御処理部３３より供給される制御信号に基づいて、移動体１１を具体的に動作させるアクチュエータ２３ａ−１乃至２３ａ−ｎを動作させる。より詳細には、アクチュエータ２３ａ−１乃至２３ａ−ｎは、移動体１１の具体的な動き実現するモータ、サーボモータ、ブレーキ等の動作を制御信号に基づいて動作させる。
【００４７】
また、アクチュエータ２３ａ−１乃至２３ａ−ｎは、伸縮運動、屈伸運動、または旋回運動などを実現させる構成を含むと共に、情報を表示するLED（Light Emission Diode）やLCD（Liquid Crystal Display）などからなる表示部、および、音声を出力するスピーカなどの構成を含む。したがって、アクチュエータ群２３が制御信号に基づいて、制御されることにより、移動体１１を駆動させる各種の装置の動作が実現されると共に、情報が表示される、および音声が出力される。
【００４８】
すなわち、アクチュエータ群２３のアクチュエータ２３ａ−１乃至２３ａ−ｎが制御されることにより、移動体１１の移動に係る動作が制御されると共に、情報の表示や音声の出力などの各種の情報の提示も制御される。
【００４９】
＜本開示の自己位置推定の概要＞
認識処理部３１は、センサ群２１より供給される検出結果に基づいて、自己位置を推定する。
【００５０】
より具体的には、認識処理部３１は、センサ群２１により、例えば、カメラにより撮像される自己位置の周辺の画像より特徴量を抽出し、予め画像の特徴量と、位置とが対応付けて登録されたDB（データベース）の特徴量と照合して、一致する特徴量に対応付けて登録された位置の情報を読み出すことにより自己位置を推定する。
【００５１】
しかしながら、例えば、図２の左部で示されるようなオフィスビルの廊下などにおいては、階数が異なっていても、周囲の環境はほぼ類似していることがあり、抽出される特徴量においても、類似していることが多く、異なる階数であっても同一の階の廊下と自己位置を誤検出することがある。
【００５２】
特に、廊下の天井に設けられた照明類が多くの特徴量として検出されることにより、誤検出を誘発させる原因となっている。
【００５３】
そこで、本開示においては、図２の右部で示されるように、予め画像に対して、誤検出を誘発させ易い、換言すれば、他の階との区別には有用（有効）ではない特徴量を多く含む天井部分にマスク領域Ｚが付された状態で抽出される特徴量と位置情報とを対応付けてDBに登録させる。
【００５４】
すなわち、本開示においては、周囲の画像のうち、同一の特徴量が抽出され易い、他の位置との差異が少ない領域に対して、予めマスクを掛けた状態で特徴量を抽出して、位置情報と対応付けてDBを構成することにより、異なる位置であるにも拘わらず、類似した物体が多く存在するような環境においても位置を区別して高精度に自己位置を推定できるようにする。
【００５５】
＜＜２．第１の実施の形態＞＞
＜本開示の移動体を制御する移動体制御システムの構成例＞
上述した機能を実現させるための移動体１１を制御する移動体制御システムについて説明する。
【００５６】
図３は、本開示の移動体１１を制御する移動体制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図３の移動体制御システム１００は、本技術が適用され得るロボットからなる移動体１１を制御する移動体制御システムの一例であるが、他の移動体、例えば、航空機、船舶、およびマルチローターコプター（ドローン）などを制御するシステムとして適用することもできる。また、ロボットについても、車輪型のロボットや搭乗可能な自動運転車でもよいし、多足歩行型のロボットでもよい。
【００５７】
移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自律移動制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自律移動制御部１１０は、通信ネットワーク１１１を介して、相互に接続されている。通信ネットワーク１１１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、IEEE802.3等のＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス、あるいは規格化されていない独自の通信方式等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１１１を介さずに、直接接続される場合もある。
【００５８】
なお、以下、移動体制御システム１００の各部が、通信ネットワーク１１１を介して通信を行う場合、通信ネットワーク１１１の記載を省略するものとする。例えば、入力部１０１と自律移動制御部１１０が、通信ネットワーク１１１を介して通信を行う場合、単に入力部１０１と自律移動制御部１１０が通信を行うと記載する。
【００５９】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。
【００６０】
データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。
【００６１】
例えば、データ取得部１０２は、移動体の状態等を検出するための各種のセンサを備えることでセンサ群１１２を構成し、図１のセンサ２１ａ−１乃至２１ａ−ｎより構成されるセンサ群２１に対応する。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。
【００６２】
また、例えば、データ取得部１０２は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
【００６３】
さらに、例えば、データ取得部１０２は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【００６４】
通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
【００６５】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。
【００６６】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１１が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【００６７】
移動体内部機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【００６８】
出力制御部１０５は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【００６９】
出力部１０６は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。尚、出力制御部１０５および出力部１０６は、自律移動の処理には必須の構成ではないため、必要に応じて省略するようにしてもよい。
【００７０】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【００７１】
駆動系システム１０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、4本の脚の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを4本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
【００７２】
別の例では、駆動系システム１０８は、4基ないし6基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
【００７３】
さらに、別の例では、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。尚、出力制御部１０５、出力部１０６、駆動系制御部１０７、および駆動系システム１０８は、アクチュエータ群１１３を構成し、図１のアクチュエータ２３ａ−１乃至２３ａ−ｎからなるアクチュエータ群２３に対応する。
【００７４】
記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
【００７５】
自律移動制御部１１０は、自動運転又は運転支援等の自律移動に関する制御を行う。具体的には、例えば、自律移動制御部１１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部１１０は、操作者・ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。自律移動制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。このうち、検出部１３１、自己位置推定部１３２、および状況分析部１３３は、認識処理部１２１を構成し、図１の認識処理部３１に対応する。また、計画部１３４は、行動計画処理部１２２を構成し、図１の行動計画処理部３２に対応する。さらに、動作制御部１３５は、行動制御処理部１２３を構成し、図１の行動制御処理部３３に対応する。
【００７６】
検出部１３１は、自律移動の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。
【００７７】
移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５等に供給する。
【００７８】
移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
【００７９】
移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
【００８０】
自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。
【００８１】
さらに、自己位置推定部１３２は、センサ群１１２より供給される検出結果に基づいて、時系列に供給される時系列情報をデータベースに蓄積すると共に、蓄積した時系列の情報に基づいて、自己位置を推定し、時系列情報自己位置として出力する。また、自己位置推定部１３２は、センサ群１１２より供給される現在の検出結果に基づいて、自己位置を推定し、現在情報自己位置として出力する。そして、自己位置推定部１３２は、時系列情報自己位置と、現在情報自己位置とを統合する、または、切り替えることにより自己位置推定結果として出力する。さらに、自己位置推定部１３２は、現在情報自己位置を推定するにあたっては、センサ群１１２により検出される検出結果のうちの画像より抽出される画像特徴量と、位置とを対応付けた位置画像特徴量DB２２５（図４）を備えており、検出結果との照合により現在情報自己位置を推定する。自己位置推定部１３２は、センサ群１１２により撮像される画像に対して、位置を特定する上で有用ではない画像特徴量が多く検出される場所毎に、マスクすべき範囲の情報を備えている。自己位置推定部１３２は、位置画像特徴量DB２２５（図４）へと画像特徴量と位置とを対応付けて登録する際、センサ群１１２により撮像される画像に対して、場所に応じてマスクを付した状態で画像特徴量を抽出して登録する。これにより、位置を特定する上で有用ではない画像特徴量を多く含む範囲がマスクされて画像特徴量が抽出されることになるので、類似した画像特徴量、すなわち、位置を特定する上で有用ではない画像特徴量を多く含む環境でも、高精度に区別して自己位置を推定することが可能となる。尚、自己位置推定部１３２の詳細な構成については、図４を参照して後述する。
【００８２】
状況分析部１３３は、移動体及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。
【００８３】
マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自律移動の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【００８４】
状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）、道路地図（Lane Map）、または、点群地図（Point Cloud Map）とされる。
【００８５】
認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【００８６】
状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。
【００８７】
状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
【００８８】
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【００８９】
状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【００９０】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【００９１】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体の行動を示すデータを動作計画部１６３等に供給する。
【００９２】
動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体の動作を示すデータを、動作制御部１３５等に供給する。
【００９３】
動作制御部１３５は、移動体の動作の制御を行う。
【００９４】
より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
【００９５】
また、動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【００９６】
動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【００９７】
＜認識処理部の詳細な構成例＞
次に、図４を参照して、図３の移動体制御システム１００のうち、認識処理部３１に対応する自律移動制御部１１０の認識処理部１２１と、その周辺の具体的な構成例について説明する。
【００９８】
尚、ここでは、移動体が車輪型移動ロボットからなる移動体１１である例について説明するが、その他のロボットや車両などの移動体であってもよい。
【００９９】
センサ群１１２は、LIDAR２０１、車輪エンコーダ２０２、およびステレオカメラ２０３を備えているものとする。当然のことながら、４足歩行ロボットや車両等であれば、その他のセンサを使用するようにしてもよい。
【０１００】
LIDAR２０１は、移動体１１の周囲の物体までの距離を３次元点群データとして取得し、検出部１３１を介して、自己位置推定部１３２の時系列情報自己位置推定部２２１に時系列情報として出力する。
【０１０１】
車輪エンコーダ２０２は、移動体１１の位置情報（Ｘ，Ｙ，Ｚ）、姿勢（クォータニオン）、速度（ｄｘ，ｄｙ，ｄｚ）、加速度（ａｘ，ａｙ，ａｚ）、および角速度（ｗｘ，ｗｙ，ｗｚ）を検出し、検出部１３１を介して、時系列情報自己位置推定部２２１に時系列情報として出力する。
【０１０２】
ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、自己位置推定部１３２に現在情報として出力する。
【０１０３】
自己位置推定部１３２は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、現在情報自己位置推定部２２４、位置画像特徴量DB２２５、自己位置推定結果統合部２２６、非特徴領域マスク生成部２２７、場所関連非特徴部DB２２８、位置画像特徴量登録部２２９、および位置場所変換部２３０を備えている。
【０１０４】
また、自己位置推定部１３２には、自己位置を推定する自己位置推定処理を実行するモードと、自己位置推定処理に必要な、位置画像特徴量DB２２５（図４）に位置の情報に対応付けて画像特徴量を登録する、位置画像特徴量登録処理を実行するモードとがある。
【０１０５】
そこで、自己位置推定部１３２においては、位置画像特徴量登録処理を実行するための構成からなる位置画像特徴量登録処理ブロック２１１と、自己位置推定処理を実行するための自己位置推定処理ブロック２１２とからなる。
【０１０６】
位置画像特徴量登録処理ブロック２１１は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、非特徴領域マスク生成部２２７、場所関連非特徴部DB２２８、位置画像特徴量登録部２２９、および位置場所変換部２３０からなる。
【０１０７】
また、自己位置推定処理ブロック２１２は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、および現在情報自己位置推定部２２４からなる。
【０１０８】
時系列情報自己位置推定部２２１は、LIDAR２０１および車輪エンコーダ２０２より供給される、自己位置、および周囲の障害物の位置を表現する３次元点群データ等の時系列情報を時系列情報DB２２２に格納する。また、時系列情報自己位置推定部２２１は、時系列情報DB２２２より、過去から現在までの時系列情報を必要に応じて読み出し、読み出した過去から現在までの時系列情報に基づいて自己位置を推定し、自己位置推定結果統合部２２６に供給する。
【０１０９】
尚、時系列情報自己位置推定部２２１による、SLAM（Simultaneous Localisation and Mapping）を用いた具体的な自己位置推定方法については、「拡張カルマンフィルタを用いた移動ロボットの自己位置推定と環境認識」森本祐介，正滑川徹、「Simultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms Hugh Durrant-Whyte, Fellow, IEEE, and Tim Bailey」、および「Simultaneous Localisation and Mapping (SLAM): Part II State of the Art Tim Bailey and Hugh Durrant-Whyte」を参照されたい。尚、時系列情報自己位置推定部２２１により時系列情報に基づいて推定される自己位置を時系列情報自己位置と称する。
【０１１０】
デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成し、特徴量抽出部２２３、および非特徴領域マスク生成部２２７に出力する。
【０１１１】
特徴量抽出部２２３は、自己位置推定処理においては、デプス画像生成部２２０より供給されるデプス画像より画像特徴量を抽出して、現在情報自己位置推定部２２４、および位置画像特徴量登録部２２９に出力する。
【０１１２】
特徴量抽出部２２３は、位置画像特徴量登録処理においては、非特徴領域マスク生成部２２７より供給される、非特徴領域マスクにより一部がマスクされた、デプス画像より画像特徴量を抽出して、現在情報自己位置推定部２２４、および位置画像特徴量登録部２２９に出力する。
【０１１３】
現在情報自己位置推定部２２４は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB２２５より、抽出した特徴量に対応する位置の情報に基づいて、自己位置を推定し、自己位置推定結果統合部２２６に供給する。尚、現在情報自己位置推定部２２４により現在情報に基づいて推定される自己位置を現在情報自己位置と称する。
【０１１４】
自己位置推定結果統合部２２６は、自己位置推定処理においては、時系列情報自己位置と、現在情報自己位置とを、例えば、LIDAR２０１、車輪エンコーダ２０２、およびステレオカメラ２０３のそれぞれの状況に応じた信頼度などに応じて統合し、自己位置推定結果として状況認識部１５２に出力する。尚、自己位置推定結果統合部２２６は、求められた位置の情報と、そのタイミングで検出されたデプス画像の画像特徴量とを対応付けて位置画像特徴量DB２２５に登録する。すなわち、自己位置として推定された位置に対応付けて、そのタイミングにおけるデプス画像の特徴量を登録させることにより、一度、通った位置については、対応するデプス画像の画像特徴量が確実に存在することになるので、高精度に自己位置を推定することが可能となる。
【０１１５】
非特徴領域マスク生成部２２７は、位置画像特徴量登録処理において、時系列情報自己位置推定部２２１より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。
【０１１６】
ここで、位置場所変換部２３０は、位置情報と場所とが対応付けられて格納されたデータベースを記憶しており、時系列情報自己位置に基づいて、対応する場所の情報を読み出すことで、時系列情報位置情報を場所の情報に変換して出力する。位置場所変換部２３０が記憶するデータベースにおいては、例えば、時系列情報自己位置により特定される緯度経度の位置情報と、対応する建物の階数の部屋番号や廊下、道路などが場所の情報として対応付けて格納されている。
【０１１７】
これにより位置場所変換部２３０は、時系列情報自己位置推定部２２１より供給される時系列情報自己位置を、対応する場所の情報に変換して非特徴領域マスク生成部２２７に出力する。
【０１１８】
非特徴領域マスク生成部２２７は、位置場所変換部２３０より供給される場所の情報に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。
【０１１９】
そして、非特徴領域マスク生成部２２７は、読み出した場所関連非特徴部に基づいて、非特徴領域マスクを生成して、デプス画像生成部２２０によりステレオカメラ２０３のステレオ画像から生成されたデプス画像に対して、非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
【０１２０】
場所関連非特徴部DB２２８において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図５の左部で示されるように、場所に対応付けて予め登録されるテーブルで定義され、位置を特定するために用いられるデプス画像のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。つまり、図２でも示したように、オフィスビル内の廊下などでは、天井の照明が特徴量として多く検出されるが、複数の階で同一の構造であることが多いため、天井の照明の特徴量を用いると、いずれの階のフロアであるのかを特定し難く、誤検出が発生し易い。すなわち、ビル内のような環境では、天井には、位置を特定するために用いられる有用な特徴量は少なく、天井を除く範囲の特徴量の情報を用いた方がフロアを識別し易い。そこで、このような場合については、天井の範囲が場所関連非特徴部とされる。天井以外にもビル内では、ブラインド、模様付きの壁、タイル床、等、屋外では整備された新興住宅街、タイル張りの地面等が場所関連非特徴部としてあげられる。上記は一例であり場所関連非特徴部は上記に限定されない。
【０１２１】
より具体的には、図５の左部においては、場所として特定される、ABCビルの８Ｆにおいては、天井を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、天井が、場所関連非特徴部とされる。
【０１２２】
また、図５の左部においては、場所として特定される、エレベータホールにおいては、南向き壁、および床を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、南向き壁、および床が、場所関連非特徴部とされる。
【０１２３】
非特徴領域マスク生成部２２７は、場所関連非特徴部の情報に基づいて、場所ごとの非特徴領域マスクを生成し、デプス画像生成部２２０より供給されるデプス画像に対して付加して、特徴量抽出部２２３に供給する。
【０１２４】
したがって、図５の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がABCビルの８Ｆであることが特定されるときには、非特徴領域マスク生成部２２７は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、天井部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部２２３に供給する。
【０１２５】
同様に、図５の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がエレベータホールであることが特定されるときには、非特徴領域マスク生成部２２７は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、南向きの壁、および床部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部２２３に供給する。
【０１２６】
位置画像特徴量登録部２２９は、位置画像特徴量登録処理において、特徴量抽出部２２３より供給される画像特徴量の情報を、時系列情報自己位置推定結果と対応付けて位置画像特徴量DB２２５に登録する。
【０１２７】
このようにして、位置画像特徴量登録処理においては、供給されたデプス画像に基づいて、特徴量抽出部２２３は、デプス画像のうち、非特徴領域マスクが付加されていない範囲から画像特徴量を抽出する。結果として、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されるので、誤検出の発生を抑制することが可能となる。
【０１２８】
また、場所関連非特徴部DB２２８に登録される場所関連非特徴部は、図５の左部で示される条件以外でもよく、コンピュータによって物理的な場所の範囲が指定できるデータ形式であればよい。例えば、図５の右部で示されるように、緯度＜ｘ、かつ、経度＜ｙの範囲で特定される場所であるときでもよい。また、別の例では例えば、無線アクセスポイントXXXからの電波強度がY以内を場所といった、何らかの条件を満たす場所としてもよい。また、右部はコンピュータによってデプス画像内にマスクを生成可能な場所を指定できる情報及びデータ形式であればよい。たとえば所定の平面方向（例えば、重力方向に対して平行、または、重力方向に対して垂直のいずれか）であってもよい。また別の例では南向きの壁の範囲としてもよい。
【０１２９】
＜図４の自律移動制御部による自律移動推定処理＞
次に、図６のフローチャートを参照して、自己位置推定処理について説明する。
【０１３０】
ステップＳ１１において、時系列情報自己位置推定部２２１は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、時系列情報自己位置推定処理については、図７のフローチャートを参照して、後述する。
【０１３１】
ステップＳ１２において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して、後述する。
【０１３２】
ステップＳ１３において、自己位置推定結果統合部２２６は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部１５２に出力する。
【０１３３】
ステップＳ１４において、自己位置推定結果統合部２２６は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB２２５に登録する。
【０１３４】
ステップＳ１５において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
【０１３５】
ステップＳ１６において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
【０１３６】
ステップＳ１７において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
【０１３７】
ステップＳ１８において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
【０１３８】
ステップＳ１９において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
【０１３９】
ステップＳ２０において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１１に戻る。すなわち、終了が指示されるまで、ステップＳ１１乃至Ｓ２０の処理が繰り返されて、移動体１１は、自律的な移動を継続する。
【０１４０】
一方、ステップＳ２０において、終了が指示された場合、自律移動制御処理が終了する。
【０１４１】
すなわち、自己位置として推定された位置と、その位置を特定するために利用された現在情報である視差画像より求められたデプス画像の特徴量とが対応付けられて位置画像特徴量DB２２５に登録される。これにより、一度通過した位置に対応する現在情報である視差画像より求められたデプス画像より得られる特徴量が、位置に対応付けられて新たな情報として蓄積される。結果として、再び同一の位置を通過するときには、高精度に自己位置推定することが可能となる。
【０１４２】
また、以上の処理により、時系列情報自己位置と現在情報自己位置とが順次求められて、相互に統合された位置が自己位置推定結果として出力され、自己位置推定結果に基づいて、移動体１１の自律的な移動が制御される。
【０１４３】
＜時系列情報自己位置推定処理＞
次に、図７のフローチャートを参照して、時系列情報自己位置推定処理について説明する。
【０１４４】
ステップＳ３１において、LIDAR２０１は、移動体１１の周囲の物体までの距離を３次元点群データとして検出し、検出部１３１を介して、自己位置推定部１３２の時系列情報自己位置推定部２２１に時系列情報として出力する。
【０１４５】
ステップＳ３２において、車輪エンコーダ２０２は、移動体１１の位置情報、姿勢、速度、加速度、および角速度を検出し、検出部１３１を介して、時系列情報自己位置推定部２２１に時系列情報として出力する。
【０１４６】
ステップＳ３３において、時系列情報自己位置推定部２２１は、最新の時系列情報を取得し、時系列情報DB２２２に登録する。
【０１４７】
ステップＳ３４において、時系列情報自己位置推定部２２１は、時系列情報DB２２２に登録されている最新の時系列情報と、過去の時系列情報とから、例えば、カルマンフィルタや粒子フィルタを用いて、自己位置を推定する。そして、時系列情報自己位置推定部２２１は推定結果である自己位置を時系列情報自己位置情報として自己位置推定結果統合部２２６に出力する。
【０１４８】
以上の処理により、LIDAR２０１および車輪エンコーダ２０２により検出される時系列情報が順次検出されて、時系列情報DB２２２に順次蓄積されて、時系列に蓄積された過去から現在までの時系列に蓄積された時系列情報に基づいて、自己位置が推定されて、時系列情報自己位置として自己位置推定結果統合部２２６に出力される。
【０１４９】
＜現在情報自己位置推定処理＞
次に、図８のフローチャートを参照して、現在情報自己位置推定処理について説明する。
【０１５０】
ステップＳ５１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
【０１５１】
ステップＳ５２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
【０１５２】
ステップＳ５３において、特徴量抽出部２２３は、生成されたデプス画像に基づいて、画像特徴量を抽出する。
【０１５３】
ステップＳ５４において、現在情報自己位置推定部２２４は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB２２５より、抽出した画像特徴量に対応する位置の情報に基づいて、自己位置を推定する。そして、現在情報自己位置推定部２２４は、推定結果である自己位置を現在情報自己位置として自己位置推定結果統合部２２６に供給する。
【０１５４】
以上の処理により、ステレオカメラ２０３により視差画像が現在情報として撮像され、視差画像よりデプス画像が生成され、生成されたデプス画像の画像特徴量が抽出されて、画像特徴量に対応付けて登録されている位置情報に基づいて、現在情報自己位置が推定され、自己位置推定結果統合部２２６に出力される。
【０１５５】
＜図４の自律移動制御部による位置画像特徴量登録処理＞
次に、図９のフローチャートを参照して、図４の自律移動制御部１１０による位置画像特徴量登録処理について説明する。
【０１５６】
ステップＳ７１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
【０１５７】
ステップＳ７２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
【０１５８】
ステップＳ７３において、位置場所変換部２３０は、時系列情報自己位置推定部２２１の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換し、非特徴領域マスク生成部２２７に出力する。
【０１５９】
ステップＳ７４において、非特徴領域マスク生成部２２７は、場所関連非特徴部DB２２８にアクセスし、時系列情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を読み出す。そして、非特徴領域マスク生成部２２７は、場所関連非特徴部に基づいて、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
【０１６０】
ステップＳ７５において、非特徴領域マスク生成部２２７は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
【０１６１】
ステップＳ７６において、特徴量抽出部２２３は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部２２９に出力する。
【０１６２】
ステップＳ７７において、位置画像特徴量登録部２２９は、時系列情報自己位置と、画像特徴量とを対応付けて、位置画像特徴量DB２２５に登録する。
【０１６３】
以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な画像特徴量が生成される。
【０１６４】
結果として、他の位置との区別に有用な画像特徴量を用いた現在情報自己位置の推定が実現されるので、周辺に類似する物体が多く存在するような環境であっても、高精度に自己位置を推定することが可能となる。
【０１６５】
＜場所関連非特徴部の応用例＞
以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報であるが、場所を抽象化した場所属性を定義して、場所属性に対して、位置の区別に有用な画像特徴量が多く含まれる範囲の情報を対応付けるテーブルを設定することで、全ての場所に対して、場所関連非特徴部が設定されていない状態であっても、場所関連非特徴部を利用することが可能となる。
【０１６６】
すなわち、例えば、図１０の右部で示されるように、「特徴点が少ない高速道路」、「特徴点が多い高速道路」、「オフィスビル」、および「シティホテル」という、場所それぞれに対して抽象化された場所属性を定義し、それぞれの場所属性と、場所関連非特徴部とを対応付けたテーブルを設定するようにしてもよい。場所属性のそれぞれに対して設定される場所関連非特徴部としては、例えば、図１０の右部で示されるように、「特徴点が少ない高速道路」に対して、「標識以外（標識以外をマスクして、標識の範囲の特徴量を利用する）」が対応付けて設定されるようにしてもよい。また、「特徴点が多い高速道路」に対して、「壁面と風景以外（壁面と風景以外をマスクして、壁面と風景の範囲の特徴量を利用する）」が対応付けて設定されるようにしてもよい。さらに、「オフィスビス」に対して、「天井と窓側面（天井と窓側面をマスクして、天井と窓側面以外の範囲の特徴量を利用する）」が設定されるようにしてもよい。また、「シティホテル」に対して、「無し（全面をマスクせず、全面の特徴量を利用する）」が対応付けて設定されるようにしてもよい。
【０１６７】
図１０の右部のように場所属性と場所関連非特徴部とが対応付けられたテーブルを設定することにより、例えば、図１０の左部で示されるように、「東名高速」と「特徴点が少ない高速道路」、「中国自動車道」と「特徴点が少ない高速道路」、「ABCビル」と「オフィスビル」、および、「XXホテル」と「シティホテル」とが対応付けられることにより、場所に対応付けて場所関連非特徴部が対応付けられていなくても、場所の抽象化概念である場所属性が特定できれば、場所関連非特徴部を読み出すことができるので、適切に非特徴領域マスクを設定することが可能となる。
【０１６８】
換言すれば、場所が抽象化された場所属性と場所関連非特徴部とが定義されることにより、具体的な場所が特定できない場合でも、場所よりも抽象的な場所属性が特定されるだけで、場所関連非特徴部を特定することが可能となり、場所関連非特徴部を利用する上での自由度を向上させることが可能となる。
【０１６９】
以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報としては、画像内の特定の位置や方向を指定する例について説明してきたが、位置の区別に有用ではないものが含まれない範囲であればよい。例えば、場所関連非特徴部は、画像内に写り込んだディスプレイに表示された物体の範囲、時間の経過に伴って変化するような、例えば、木々、木漏れ日、空の領域、および動くものの範囲としてもよい。
【０１７０】
＜＜３．第２の実施の形態＞＞
以上においては、場所関連非特徴部DB２２８に、予め場所に対応付けて、場所関連非特徴部が登録されている例について説明してきたが、位置画像特徴量DB２２５には、自己位置が特定される度に、位置と画像特徴量とが新たに登録されるので、位置画像特徴量DB２２５に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB２２８に登録させるようにしてもよい。
【０１７１】
図１１は、位置画像特徴量DB２２５に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB２２８に登録させるようにした自己位置推定部１３２の構成例が示されている。尚、図１１の自己位置推定部１３２において、図４の自己位置推定部１３２と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
【０１７２】
すなわち、図１１の自己位置推定部１３２において、図４の自己位置推定部１３２と異なる点は、場所関連非特徴部生成登録部２４１が新たに設けられている点である。
【０１７３】
場所関連非特徴部生成登録部２４１は、位置が特定される度に更新される位置画像特徴量DB２２５に登録されている位置に対応する場所を求め、同一の場所に対応付けて登録されている複数の画像特徴量を読み出し、統計的に比較して、所定の閾値以上に類似した画像特徴量が多く存在する範囲を場所関連非特徴部として抽出し、場所に対応付けて、場所関連非特徴部DB２２８に登録する。
【０１７４】
すなわち、同一の位置に対応付けられている複数の画像特徴量のうち、所定の閾値よりも類似した画像特徴量が多く存在する範囲は、同一の位置を識別する上で不要であるため、その範囲を場所関連非特徴部とすることで、誤検出の発生を抑制することが可能となる。
【０１７５】
＜場所関連非特徴部生成登録処理＞
次に、図１２のフローチャートを参照して、場所関連非特徴部生成登録処理について説明する。
【０１７６】
ステップＳ９１において、場所関連非特徴部生成登録部２４１は、位置画像特徴量DB２２５にアクセスし、位置に基づいて特定される場所について、同一の場所に対応付けられている複数の画像特徴量を読み出す。
【０１７７】
ステップＳ９２において、場所関連非特徴部生成登録部２４１は、同一の場所に対応付けられている複数の画像特徴量を、統計的に処理し、所定の閾値よりも類似している画像特徴量を多く含む範囲を、新規の場所関連非特徴部として生成する。
【０１７８】
ステップＳ９３において、場所関連非特徴部生成登録部２４１は、生成した新規の場所関連非特徴部を、場所に対応付けて、場所関連非特徴部DB２２８に登録する。
【０１７９】
以上の処理により、位置画像特徴量DB２２５に登録される画像特徴量のうち、同一の場所に対応付けられる画像特徴量において、所定の閾値よりも類似する画像特徴量が多く含まれる、すなわち、場所を区別するために必要のない画像特徴量が含まれる範囲からなる場所関連非特徴部が生成されることになるので、同一の場所を特定する画像特徴量を必要最小限にすることが可能となり、誤検出の発生を抑制することが可能となる。
【０１８０】
＜＜４．第３の実施の形態＞＞
以上においては、同一の位置において区別するために必要のない画像特徴量を排除して位置画像特徴量DB２２５を生成して、周囲に類似する物体が存在するような環境でも高精度に自己位置推定を実現する例について説明してきた。
【０１８１】
ところで、移動体が抱き上げられる、滑る、急激な段差に落ち込む、電源投入直後などにより、直前の移動状態から急激な変化が発生することにより、自己位置不定状態となることがあるが、このような場合、時系列情報自己位置の推定結果は誤差が大きくなるため、現在情報自己位置のみを利用して自己位置を推定することになる。
【０１８２】
このような場合、現在情報自己位置が高精度に検出されているか否かを判定することで自己位置不定状態から脱したか否かを判定し、判定結果に応じて、時系列情報自己位置の使用を復帰させるようにしてもよい。
【０１８３】
より詳細には、予め場所関連非特徴部の情報に基づいて、デプス画像に対して自己位置の特定に有用でない画像特徴量を含む特徴領域をマスクして得られる非特徴領域特徴量を位置に対応付けて登録した位置非特徴領域特徴量DBを生成する。そして、自己位置不定状態となった場合には、現在情報自己位置に対応付けられた場所関連非特徴部により、デプス画像から得られる非特徴領域特徴量を求めると共に、推定された現在情報自己位置に対応付けて位置非特徴領域特徴量DBに登録されている非特徴領域特徴量を読み出し、両者の類似度に基づいて、推定された現在情報自己位置が適正であるか否かを判定するようにしてもよい。
【０１８４】
図１３は、予め位置非特徴領域特徴量DBを生成し、自己位置不定状態において、現在情報自己位置が適正であるか否かにより、自己位置不定状態を脱したか否かを判定するようにした自己位置推定部１３２の構成例を示している。
【０１８５】
図１３の自己位置推定部１３２において、図１１の自己位置推定部１３２における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
【０１８６】
すなわち、図１３の自己位置推定部１３２において、図１１の自己位置推定部１３２と異なる点は、非特徴領域特徴量抽出部２５１、自己位置検査部２５２、特徴領域マスク生成部２５３、特徴量抽出部２５４、位置非特徴領域特徴量登録部２５５、位置非特徴領域特徴量DB２５６、および位置場所変換部２５７（位置場所変換部２３０と同様のもの）が新たに設けられ、自己位置推定結果統合部２２６に自己位置不定判定部２７１が設けられた点である。
【０１８７】
自己位置不定判定部２７１は、例えば、時系列の自己位置の推定結果の変化量や電源投入直後などで、自己位置不定状態になったか否かを判定し、自己位置不定状態であるとみなされた場合、動作モードを通常モードから自己位置不定モードに遷移させ、自己位置推定結果統合部２２６を制御して、現在情報自己位置を自己位置推定結果として選択させる。
【０１８８】
非特徴領域特徴量抽出部２５１は、自己位置不定モードにおいて、位置場所変換部２５７により現在情報自己位置に基づいて、位置場所変換部２５７により変換された場所の情報より、場所関連非特徴部DB２２８より場所関連非特徴部を読み出す。そして、非特徴領域特徴量抽出部２５１は、デプス画像生成部２２０より供給されるデプス画像から特徴領域をマスクした画像より得られる特徴量を、非特徴領域特徴量として抽出して自己位置検査部２５２に供給する。
【０１８９】
自己位置検査部２５２は、自己位置不定モードにおいて、位置非特徴領域特徴量DB２５６にアクセスし、現在情報自己位置の推定結果に対応付けて、予め登録されている非特徴領域特徴量を読み出す。そして、自己位置検査部２５２は、非特徴領域特徴量抽出部２５１より供給される非特徴領域特徴量との類似度に基づいて、現在情報自己位置を検査し、検査結果として、類似度の情報を自己位置推定結果統合部２２６に出力する。
【０１９０】
自己位置推定結果統合部２２６の自己位置不定判定部２７１は、類似度が所定値よりも高く、求められる現在情報自己位置の精度が十分であるとみなせるときには、動作モードを、自己位置不定モードから通常モードに復帰させる。
【０１９１】
特徴領域マスク生成部２５３は、位置画像特徴量登録処理において、時系列情報自己位置推定部２２１より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。そして、特徴領域マスク生成部２５３は、読み出した場所関連非特徴部に基づいて、特徴領域マスクを生成して、デプス画像生成部２２０によりステレオカメラ２０３のステレオ画像から生成されたデプス画像に対して、特徴領域マスクを付加して、特徴量抽出部２５４に出力する。
【０１９２】
特徴量抽出部２５４は、特徴領域マスクが付加されたデプス画像より特徴量を抽出して、非特徴領域特徴量として位置非特徴領域特徴量登録部２５５に出力する。
【０１９３】
位置非特徴領域特徴量登録部２５５は、位置画像特徴量登録処理において、特徴量抽出部２５４より供給される画像特徴量である非特徴領域特徴量を、時系列情報自己位置推定結果と対応付けて位置非特徴領域特徴量DB２５６に登録する。
【０１９４】
場所関連非特徴部DB２２８において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図５の左部で示されるように、場所に対応付けて予め登録される、現在情報自己位置を特定するために用いられるデプス画像内のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。
【０１９５】
＜図１３の自律移動制御部による位置画像特徴量登録処理＞
次に、図１４のフローチャートを参照して、図１３の自律移動制御部１１０による位置画像特徴量登録処理について説明する。
【０１９６】
ステップＳ１０１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
【０１９７】
ステップＳ１０２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
【０１９８】
ステップＳ１０３において、位置場所変換部２３０は、時系列情報自己位置推定部２２１の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換して、非特徴領域マスク生成部２２７および特徴領域マスク生成部２５３に供給する。
【０１９９】
ステップＳ１０４において、非特徴領域マスク生成部２２７は、場所関連非特徴部DB２２８にアクセスし、場所に対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
【０２００】
ステップＳ１０５において、非特徴領域マスク生成部２２７は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
【０２０１】
ステップＳ１０６において、特徴量抽出部２２３は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部２２９に出力する。
【０２０２】
ステップＳ１０７において、位置画像特徴量登録部２２９は、時系列情報自己位置の推定結果と、画像特徴量とを対応付けて、位置画像特徴量DB２２５に登録する。
【０２０３】
ステップＳ１０８において、特徴領域マスク生成部２５３は、場所関連非特徴部DB２２８にアクセスし、時系列情報自己位置に基づいて、対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする特徴領域マスクを生成する。
【０２０４】
ステップＳ１０９において、特徴領域マスク生成部２５３は、デプス画像に対して、生成した特徴領域マスクを付加して、特徴量抽出部２５４に出力する。
【０２０５】
ステップＳ１１０において、特徴量抽出部２５４は、特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、非特徴領域特徴量として、位置非特徴領域特徴量登録部２５５に出力する。
【０２０６】
ステップＳ１１１において、位置非特徴領域特徴量登録部２５５は、時系列情報自己位置の推定結果と、非特徴領域特徴量とを対応付けて、位置非特徴領域特徴量DB２５６に登録する。
【０２０７】
以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されると共に、さらに、位置に対応付けて登録される非特徴領域特徴量は、デプス画像のうち、他の位置との区別に有用な画像特徴量が多く含まれる範囲がマスクされて、非特徴領域特徴量として抽出され、他の位置との区別に有用でない多くの非特徴領域特徴量が位置に対応付けて位置非特徴領域特徴量DB２５６が生成される。
【０２０８】
＜図１３の自律移動制御部による自律移動制御処理＞
次に、図１５のフローチャートを参照して、図１３の自律移動制御部１１０における自律移動制御処理について説明する。
【０２０９】
ステップＳ１２１において、時系列情報自己位置推定部２２１は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、時系列情報自己位置推定処理については、図７のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
【０２１０】
ステップＳ１２２において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
【０２１１】
ステップＳ１２３において、自己位置推定結果統合部２２６は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部１５２に出力する。
【０２１２】
ステップＳ１２４において、自己位置不定判定部２７１は、自己位置不定状態であるか否かを判定する。例えば、自己位置不定判定部２７１は、例えば、それまでの自己位置推定結果の変化量が所定値より大きく変化しているか否か、または、電源投入直後であるか否かに基づいて、自己位置不定状態であるか否かを判定する。
【０２１３】
ステップＳ１２４において、自己位置不定状態ではないと判定された場合、処理は、ステップＳ１２５に進む。
【０２１４】
ステップＳ１２５において、自己位置推定結果統合部２２６は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB２２５に登録する。
【０２１５】
ステップＳ１２６において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
【０２１６】
ステップＳ１２７において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
【０２１７】
ステップＳ１２８において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
【０２１８】
ステップＳ１２９において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
【０２１９】
ステップＳ１３０において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
【０２２０】
ステップＳ１３１において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１２１に戻る。すなわち、自己位置不定状態とならない限り、ステップＳ１２１乃至Ｓ１３１の処理、すなわち、動作状態が通常モードである場合の処理が繰り返されて、移動体１１は、自律的な移動を継続する。
【０２２１】
一方、ステップＳ１２４において、自己位置不定状態であるとみなされた場合、処理は、ステップＳ１３２に進む。
【０２２２】
ステップＳ１３２において、自己位置不定判定部２７１は、動作モードを自己位置不定モードに切り替えて、自己位置不定モード処理を実行させ、現在情報自己位置による自律移動制御処理を実現できるように制御する。そして、現在情報自己位置が適切に推定できる状態になるまで、自己位置不定モードの処理が継続され、適切な現在情報自己位置が推定できる状態になった場合、動作モードが、自己位置不定モードから通常モード（ステップＳ１２１乃至Ｓ１３１の処理）に復帰する。
【０２２３】
＜自己位置不定モード処理＞
次に、図１６のフローチャートを参照して、自己位置不定モード処理について説明する。
【０２２４】
ステップＳ１５１において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６および位置場所変換部２５７に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
【０２２５】
ステップＳ１５２において、位置場所変換部２５７は、現在情報自己位置に対応付けて登録されている場所の情報を読み出して非特徴領域特徴量抽出部２５１に出力する。
【０２２６】
ステップＳ１５３において、非特徴領域特徴量抽出部２５１は、場所関連非特徴部DB２２８にアクセスし、現在情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を抽出する。
【０２２７】
ステップＳ１５４において、非特徴領域特徴量抽出部２５１は、現在情報自己位置に応じた場所に対応付けて登録されている場所関連非特徴部に基づいて、デプス画像に対して特徴領域をマスクして、画像特徴量を抽出し、非特徴領域特徴量として自己位置検査部２５２に出力する。
【０２２８】
ステップＳ１５５において、自己位置検査部２５２は、位置非特徴領域特徴量DB２５６にアクセスし、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量を読み出す。
【０２２９】
ステップＳ１５６において、自己位置検査部２５２は、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量と、デプス画像より抽出された非特徴領域特徴量との類似度を計算する。
【０２３０】
ステップＳ１５７において、自己位置検査部２５２は、類似度が所定の閾値よりも高いか否かにより、現在情報自己位置が所定の精度で求められているか否かを判定する。すなわち、現在情報自己位置が十分な精度で求められていれば、両者は一致するため、類似度は所定の閾値よりも高くなるはずであるが、現在情報自己位置が十分な精度で求められていなければ、両者は一致せず、類似度も所定の閾値よりも低くなる。例えば、類似度が所定の閾値よりも低く、現在情報自己位置の精度が十分ではないとみなされた場合、処理は、ステップＳ１５８に進む。
【０２３１】
ステップＳ１５８において、自己位置推定結果統合部２２６は、現在情報自己位置を自己位置推定結果として、状況認識部１５２に出力する。
【０２３２】
ステップＳ１５９において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
【０２３３】
ステップＳ１６０において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
【０２３４】
ステップＳ１６１において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
【０２３５】
ステップＳ１６２において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
【０２３６】
ステップＳ１６３において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
【０２３７】
ステップＳ１６４において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１５１に戻る。すなわち、終了が指示されるまで、ステップＳ１５１乃至Ｓ１６４の処理が繰り返されて、移動体１１は、自己位置不定モードのまま、現在情報自己位置に基づいて、自律的な移動を継続する。
【０２３８】
一方、ステップＳ１６４において、終了が指示された場合、自律移動制御処理が終了する。すなわち、この場合、自己位置不定モードのまま自律移動制御処理が終了する。
【０２３９】
また、ステップＳ１５７において、類似度が所定の閾値よりも高く、現在情報自己位置推定結果により予め求められている非特徴領域特徴量が、現在情報自己位置に対応して求められる場所関連非特徴部に基づいて、デプス画像から得られる非特徴領域特徴量と一致する場合、現在情報自己位置が所定の精度以上であるとみなせる。このため、処理は、図１５のステップＳ１３１に戻り、動作モードが、自己位置不定モードから通常モードに戻り、それ以降の処理が繰り返される。
【０２４０】
すなわち、時系列情報自己位置は、絶対位置を取得することができないので、自己位置不定状態となった場合については、一度は現在情報自己位置により、絶対位置を取得する必要がある。そこで、以上のような処理により、自己位置不定状態となった場合については、現在情報自己位置が所定の精度で絶対位置を取得できる状態になるまで、現在情報自己位置を自己位置推定結果として利用し、自己位置推定結果がある程度の精度となった後のタイミングから時系列情報自己位置とを併せて、自己位置を推定させるようにする。
【０２４１】
尚、以上においては、現在情報自己位置推定処理にあたっては、ステレオカメラ２０３により撮像されたステレオ画像よりデプス画像生成部２２０によりデプス画像を生成して、デプス画像に対して、場所関連非特徴部に応じたマスクを施した後、画像特徴量を抽出することで、位置画像特徴量DB２２５より対応付けて登録された位置情報を読み出すことで、現在情報自己位置を推定する例について説明してきたが、ステレオカメラ２０３に代えて、例えば、LIDARを用いた３次元点群データを３次元画像として利用することにより、現在情報自己位置を推定するようにしてもよい。
【０２４２】
また、２次元の画像と、ToF（Time of Flight）センサとを組み合わせて、デプス画像を生成して現在情報自己位置を推定するようにしてもよい。
【０２４３】
＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【０２４４】
図１７は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０２４５】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０２４６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２４７】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０２４８】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２４９】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２５０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５１】
尚、図１７におけるCPU１００１が、図３における自律移動制御部１１０の機能を実現させる。また、図１７における記憶部１００８が、図３における記憶部１０９を実現する。
【０２５２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２５３】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５４】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２５５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５７】
尚、本開示は、以下のような構成も取ることができる。
【０２５８】
＜１＞  自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む
制御装置。
＜２＞  前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
＜１＞に記載の制御装置。
＜３＞  前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
前記第１のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
＜２＞に記載の制御装置。
＜４＞  前記第１の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
＜１＞乃至＜３＞のいずれかに記載の制御装置。
＜５＞  前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
前記統合部は、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
＜４＞に記載の制御装置。
＜６＞  前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
＜５＞に記載の制御装置。
＜７＞  前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、
前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、
前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
＜５＞に記載の制御装置。
＜８＞  前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
＜７＞に記載の制御装置。
＜９＞  前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
＜１＞乃至＜８＞のいずれかに記載の制御装置。
＜１０＞  前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
＜９＞に記載の制御装置。
＜１１＞  前記撮像部は、ステレオカメラであり、
前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
前記第１の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
＜１＞乃至＜１０＞のいずれかに記載の制御装置。
＜１２＞  前記自己位置推定部は、
時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
＜１＞乃至＜１１＞のいずれかに記載の制御装置。
＜１３＞  前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
＜１２＞に記載の制御装置。
＜１４＞  自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、
第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む
制御方法。
＜１５＞  自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
してコンピュータを機能させるプログラム。
＜１６＞  自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
を含む移動体。
＜１７＞  自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御装置。
＜１８＞  自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御方法。
＜１９＞  自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
プログラム。
＜２０＞  自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
移動体。
【符号の説明】
【０２５９】
１１  移動体，  ２１  センサ群，  ２１ａ，２１ａ−１乃至２１ａ−ｎ  センサ，  ２２  自律移動制御部，  ２３  アクチュエータ群，  ２３ａ，２３ａ−１乃至２３ａ−ｎ  アクチュエータ，  ３１  認識処理部，  ３２  行動計画処理部，  ３３  行動制御処理部，  ４１  ルート計画部，  ４２  行動計画部，  ４３  動作計画部，  １０２  データ取得部，  １０５  出力制御部，  １０６  出力部，  １０７  駆動系制御部，  １０８  駆動系システム，  １１０  自律移動制御部，  １１２  センサ群，  １１３  アクチュエータ群，  １２１  認識処理部，  １２２  行動計画処理部，  １２３  行動制御処理部，  １３４  計画部，  １６１  ルート計画部，  １６２  行動計画部，  １６３  動作計画部，  ２０１  LIDAR，  ２０２  車輪エンコーダ，  ２０３  ステレオカメラ，  ２２０  デプス画像生成部，  ２２１  時系列情報自己位置推定部，  ２２２  時系列情報DB，  ２２３  特徴量抽出部，  ２２４  現在情報自己位置推定部，  ２２５  位置画像特徴量DB，  ２２６  自己位置推定結果統合部，  ２２７  非特徴領域マスク生成部，  ２２８  場所関連非特徴部DB，  ２２９  位置画像特徴量登録部，  ２３０  位置場所変換部，  ２４１  場所関連非特徴部生成登録部，  ２５１  非特徴領域特徴量抽出部，  ２５２  自己位置検査部，  ２５３  特徴領域マスク生成部，  ２５４  特徴量抽出部，  ２５５  位置非特徴領域特徴量登録部，  ２５６  位置非特徴領域特徴量DB，  ２５７  位置場所変換部，  ２７１  自己位置不定状態判定部
【図１】
2019131198.tif 000003
【図２】
2019131198.tif 000004
【図３】
2019131198.tif 000005
【図４】
2019131198.tif 000006
【図５】
2019131198.tif 000007
【図６】
2019131198.tif 000008
【図７】
2019131198.tif 000009
【図８】
2019131198.tif 000010
【図９】
2019131198.tif 000011
【図１０】
2019131198.tif 000012
【図１１】
2019131198.tif 000013
【図１２】
2019131198.tif 000014
【図１３】
2019131198.tif 000015
【図１４】
2019131198.tif 000016
【図１５】
2019131198.tif 000017
【図１６】
2019131198.tif 000018
【図１７】
2019131198.tif 000019
【国際調査報告】
2019131198.tif 000020
2019131198.tif 000021
2019131198.tif 000022
2019131198.tif 000023