(57)【要約】  本開示は、移動可能領域を構成する平面を検出することができるようにする情報処理装置、および情報処理方法、プログラム、並びに移動体に関する。偏光カメラにより撮像される複数の偏光方向の偏光画像に基づいて、路面を構成する平面の法線方向を検出する。レーザ測距センサにより距離を測定し、路面上の点の位置を測定する。路面を構成する平面の法線方向の情報と、路面上の点の位置の情報とに基づいて、路面を構成する平面を特定する。本開示は、車載システムに適用することができる。
2019026714.tif 000002
【特許請求の範囲】
【請求項１】
移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と
を含む情報処理装置。
【請求項２】
複数の偏光方向の偏光画像を撮像する偏光カメラをさらに含み、
前記移動可能領域法線検出部は、前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する
請求項１に記載の情報処理装置。
【請求項３】
前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、
前記偏光画像より無偏光画像を再構成する再構成部と、
前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とをさらに含み、
前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
請求項２に記載の情報処理装置。
【請求項４】
前記属性設定部は、セマンティックセグメンテーションにより、前記無偏光画像の各画素について被写体の属性を設定する
請求項３に記載の情報処理装置。
【請求項５】
前記無偏光画像の各画素に設定される、前記被写体の属性の情報と、前記平面特定部により特定された平面の情報とに基づいて、環境マップを生成する環境マッピング部をさらに含む
請求項３に記載の情報処理装置。
【請求項６】
前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の情報と、障害物に属性が設定された画素の情報とに基づいて、前記移動可能領域を構成する前記平面上における前記障害物の位置を示す前記環境マップを生成する
請求項５に記載の情報処理装置。
【請求項７】
前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の領域と、障害物に属性が設定された画素の領域との鉛直下方の境界画素に対応する、前記移動可能領域を構成する前記平面上の位置を、前記移動可能領域を構成する前記平面上における前記障害物の位置として、前記環境マップを生成する
請求項６に記載の情報処理装置。
【請求項８】
前記環境マップは、占有格子地図（Occupancy Grid Map）である
請求項５に記載の情報処理装置。
【請求項９】
前記位置特定部により特定された前記移動可能領域上の点の位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含む
請求項２に記載の情報処理装置。
【請求項１０】
前記移動可能領域上の点までの距離を測定する測距部をさらに含み、
前記位置特定部は、前記測距部により測定された、前記移動可能領域上の点までの距離に基づいて、前記移動可能領域上の点の位置を特定する
請求項２に記載の情報処理装置。
【請求項１１】
前記測距部は、レーザ測距センサ、ステレオカメラ、または、ミリ波レーダである
請求項１０に記載の情報処理装置。
【請求項１２】
前記移動可能領域は、路面である
請求項１に記載の情報処理装置。
【請求項１３】
偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出し、
前記移動可能領域上の点の位置を特定し、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する
ステップを含む情報処理方法。
【請求項１４】
偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と
を含む処理をコンピュータに実行させるプログラム。
【請求項１５】
偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と、
前記平面特定部により特定された平面に基づいて環境マップを生成する環境マッピング部と、
前記環境マッピング部により生成された前記環境マップに基づいて移動経路を計画する計画部と、
前記計画部により計画された移動経路に基づいて前記移動体の動作を制御する制御部と
を含む移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、および情報処理方法、プログラム、並びに移動体に関し、特に、移動可能領域を構成する平面を検出できるようにした情報処理装置、および情報処理方法、プログラム、並びに移動体に関する。
【背景技術】
【０００２】
移動体の自律移動を実現するためには、自己位置を認識する必要がある。そのためには、まず、自己の周囲の状況を認識して、ローカルマップを生成し、自己位置を推定することになる。【０００３】
ここで、偏光画像を撮像し、撮像した偏光画像から法線ベクトルを推定し、法線ベクトルとデプスマップを統合して、デプスマップの精度を向上させる技術が提案されている（特許文献１参照）ので、この技術を応用し、偏光画像より得られる法線方向の情報から物体を認識し、ローカルマップの生成に利用することが考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１４３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、偏光画像より得られる法線方向の情報は、３次元情報ではないため、画像内の物体を認識できても、距離は認識できないので、直接ローカルマップを生成することはできない。【０００６】
本開示は、このような状況に鑑みてなされたものであり、特に、偏光画像より得られる法線方向の情報に基づいて、移動可能領域を構成する３次元空間における平面を認識できるようにすることで、ローカルマップを生成できるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の情報処理装置は、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部とを含む情報処理装置である。【０００８】
複数の偏光方向の偏光画像を撮像する偏光カメラをさらに含ませるようにすることができ、前記移動可能領域法線検出部には、前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出させるようにすることができる。【０００９】
前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、前記複数の偏光画像より無偏光画像を再構成する再構成部と、前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とをさらに含ませるようにすることができ、前記移動可能領域法線検出部には、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の、支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出させるようにすることができる。【００１０】
前記属性設定部には、セマンティックセグメンテーションにより、前記無偏光画像の各画素について、被写体の属性を設定させるようにすることができる。【００１１】
前記無偏光画像の各画素に設定される、前記被写体の属性の情報と、前記平面特定部により特定された平面の情報とに基づいて、環境マップを生成する環境マッピング部をさらに含ませるようにすることができる。【００１２】
前記環境マッピング部には、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の情報と、障害物に属性が設定された画素の情報とに基づいて、前記移動可能領域を構成する前記平面上における前記障害物の位置を示す前記環境マップを生成させるようにすることができる。【００１３】
前記環境マッピング部には、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の領域と、障害物に属性が設定された画素の領域との鉛直下方の境界画素に対応する、前記移動可能領域を構成する前記平面上の位置を、前記移動可能領域を構成する前記平面上における前記障害物の位置として、前記環境マップを生成させるようにすることができる。【００１４】
前記環境マップは、占有格子地図（Occupancy Grid Map）とすることができる。【００１５】
前記位置特定部により特定された前記移動可能領域上の点の位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含ませるようにすることができる。【００１６】
前記移動可能領域上の点までの距離を測定する測距部をさらに含ませるようにすることができ、前記位置特定部には、前記測距部により測定された、前記移動可能領域上の点までの距離に基づいて、前記移動可能領域上の点の位置を特定させるようにすることができる。【００１７】
前記測距部は、レーザ測距センサ、ステレオカメラ、または、ミリ波レーダとすることができる。【００１８】
前記移動可能領域は、路面とすることができる。【００１９】
本開示の一側面の情報処理方法は、偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出し、前記移動可能領域上の点の位置を特定し、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定するステップを含む情報処理方法である。【００２０】
本開示の一側面のプログラムは、偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部とを含む処理をコンピュータに実行させるプログラムである。【００２１】
本開示の一側面の移動体は、偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と、前記平面特定部により特定された平面に基づいて環境マップを生成する環境マッピング部と、前記環境マッピング部により生成された前記環境マップに基づいて移動経路を計画する計画部と、前記計画部により計画された移動経路に基づいて前記移動体の動作を制御する制御部とを含む移動体である。【００２２】
本開示の一側面においては、偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向が検出され、前記移動可能領域を構成する平面上の点の位置が特定され、前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面が特定される。
【発明の効果】
【００２３】
本開示の一側面によれば、特に、偏光画像より得られる法線方向の情報に基づいて、移動可能領域を構成する平面を認識することが可能となり、ローカルマップを生成させることが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本開示の路面を構成する平面を特定する原理を説明する図である。
【図２】路面を構成する平面に基づいた環境マップの生成方法を説明する図である。
【図３】本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。
【図４】本開示の環境マップを生成する構成例の詳細なブロック図である。
【図５】レーザ測距センサを説明する図である。
【図６】レーザ測距センサと偏光カメラとの座標系の変換を説明する図である。
【図７】画像内の被写体の表面の法線方向を検出する例を説明する図である。
【図８】路面を構成する平面を求める方法を説明する図である。
【図９】セマンティックセグメンテーションを説明する図である。
【図１０】環境マップの生成方法を説明する図である。
【図１１】環境マップ生成処理を説明するフローチャートである。
【図１２】環境マッピング処理を説明するフローチャートである。
【図１３】汎用のコンピュータの構成例を説明する図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の好適な実施の形態
２．ソフトウェアにより実行させる例
【００２７】
＜＜１．本開示の好適な実施の形態＞＞
＜本開示の概要＞
本開示の移動体は、自律移動に必要とされるローカルマップを生成する移動体である。
【００２８】
本開示の移動体１１における路面を構成する３次元空間における平面Ｓを特定し、特定した平面Ｓの情報に基づいて、環境マップを生成する概要について説明する。図１は、例えば、路面１３上を図中右方向である進行方向に向かって移動している移動体１１を示している。図１において、移動体１１の移動方向前方には、路面１３上に障害物１２が存在する。
【００２９】
図１の左部で示されるように、移動体１１は、偏光カメラ２１およびレーザ測距センサ２２を備えている。
【００３０】
偏光カメラ２１は、移動体１１の移動方向である前方を画角Ｚ１で、複数の偏光方向の偏光画像を撮像する。
【００３１】
移動体１１は、偏光カメラ２１により撮像された複数の偏光方向の偏光画像に基づいて、図１の右部で示されるように、路面１３を構成する平面Ｓの法線方向（法線ベクトル）Ｎ（ｎｘ，ｎｙ，ｎｚ）を検出することができる。尚、法線方向が検出できる原理については、特許文献１を参照されたい。
【００３２】
レーザ測距センサ２２は、ToF（Time of Flight）法により、移動体１１の移動方向であって、例えば、路面１３に対してレーザ光を発射したタイミングから、路面１３の点Ｘで反射した反射光を受光するまでの時間を計測することで、路面１３までの距離を測定する。
【００３３】
また、レーザ測距センサ２２により測定される位置は、移動体１１からの方向が予め特定されている路面１３上の位置までの距離であるので、距離が測定されることにより、平面Ｓ上の点Ｘ（ｘ，ｙ，ｚ）の位置が測定されることになる。
【００３４】
平面Ｓの法線方向Ｎ（ｎｘ，ｎｙ，ｎｚ）と、平面Ｓ上の点Ｘ（ｘ，ｙ，ｚ）とから路面１３を構成する平面Ｓを特定することができる。
【００３５】
すなわち、平面Ｓの方程式は、以下の式（１）により定義される。
【００３６】
【数１】
2019026714.tif 000003
・・・（１）
【００３７】
ここで、Ｘは、平面Ｓ上において、レーザ測距センサ２２により測定された平面Ｓ上の座標Ｘであり、Ｎは、平面Ｓの法線ベクトルであり、Tは、転置を表しており、ｄは、係数である。
【００３８】
すなわち、平面Ｓの法線ベクトルＮと、座標位置Ｘとを入力し、上述した式（１）を解くことで、係数ｄを求めることができるので、平面Ｓを特定することができる。
【００３９】
結果として、平面Ｓから構成される路面１３の平面を特定することができる。
【００４０】
＜路面を構成する平面を用いたローカルマップの生成＞
次に、図２を参照して、路面を構成する平面を用いたローカルマップ（後述する環境マップ）の生成について説明する。
【００４１】
例えば、偏光カメラ２１が、図２の左部で示されるように、３次元構造物３２−１，３２−２に左右から挟まれた空間内に路面３１があり、その路面３１上に人３４が存在し、その奥に空３３が見えるような構図となる画角Ｚ１で画像Ｐ１を撮像することを考える。
【００４２】
尚、偏光カメラ２１は、複数の偏光方向の画像を撮像するが、図２の左部の画像Ｐ１は、複数の偏光方向の画像を平均化することで、通常の無偏光画像として再構成した画像である。
【００４３】
画像Ｐ１内の被写体の種別は、後述するディープラーニング等の機械学習からなるセマンティックセグメンテーションにより、画素単位で識別することができる。
【００４４】
したがって、図２の左部で示される画像Ｐ１の場合、図２の中央上段で示されるように、画像Ｐ１内の下部における領域Ｚ３１に属する各画素は、路面３１を表したものであり、領域Ｚ３２−１，Ｚ３２−２に属する画素は、それぞれ左右の３次元構造物３２−１，３２−２を表したものであり、領域Ｚ３３に属する画素は、奥手の上方の空３３を表したものであり、領域Ｚ３４に属する画素は、人３４を表したものであることが、セマンティックセグメンテーションにより分類される。
【００４５】
画像Ｐ１は、２次元画像であるため、各画素の３次元空間における位置については認識できない。
【００４６】
しかしながら、路面３１については、図１における路面１３と同様に、レーザ測距センサ２２を用いて路面３１上の所定の点を測距することで、路面３１を構成する平面Ｓを特定することが可能であるので、画像Ｐ１上の領域Ｚ３１の各画素については、対応する路面３１を構成する平面Ｓにおける座標位置を特定することができる。
【００４７】
一方、３次元構造物３２−１，３２−２、および人３４などの、移動体１１にとっての障害物は、路面３１に立っていると仮定すれば、画像Ｐ１内において、３次元構造物３２−１，３２−２の領域Ｚ３２−１，Ｚ３２−２，および人３４の領域Ｚ３４のそれぞれと、路面３１の領域Ｚ３１との鉛直下方における境界は、３次元構造物３２−１，３２−２、および人３４の、路面３１上の立っている位置そのものと考えることができる。
【００４８】
ここで、図２の中央上段において、方形状のマスで示されるように、画像Ｐ１より路面の領域Ｚ３１と、３次元構造物３２−１，３２−２の領域Ｚ３２−１，Ｚ３２−２，および人３４の領域Ｚ３４のそれぞれとの鉛直下方における境界画素５１を考える。
【００４９】
すなわち、路面３１の領域Ｚ３１と、３次元構造物３２−１，３２−２、および人３４の領域Ｚ３２−１，３２−２，３４との境界に属する各境界画素５１の平面Ｓ上の位置は同一であると考えることができる。
【００５０】
そこで、図２の中央下段で示されるように、同一視線上の、境界画素５１と、平面Ｓ上の交点６１とを対応付けることにより、境界画素５１に属する３次元構造物３２−１，３２−２、および人３４等の障害物の路面を構成する平面Ｓ上の位置を特定できる。
【００５１】
結果として、図２の右部で示されるように、３次元構造物３２−１，３２−２、および人３４が存在することが仮定される、路面３１を構成する平面Ｓ上の位置の、交点６１の群からなる交点群６１−１，６１−２，６２に所定の高さの棒状の物体が存在することを仮定した配置を示すマップを、ローカルマップとして生成することができる。
【００５２】
尚、画像Ｐ１における空３３に属する領域Ｚ３３と路面３１との境界については、境界画素５１が設定されない。空３３は、路面３１に対して立っているものではないため、境界画素５１は設定されない。また、空３３の領域Ｚ３３については、空の色や画像内の配置などから推定することができるので、空３３の領域Ｚ３３の鉛直下方となる路面３１との境界の画素は、境界画素５１には設定させないようにすることができる。
【００５３】
図１，図２で示されるように、本開示においては、偏光カメラ２１を用いて偏光画像を撮像することで、路面１３を構成する平面の法線方向Ｎを検出し、レーザ測距センサ２２により路面１３を構成する平面上の点Ｘを特定し、法線方向Ｎと点Ｘとにより路面１３の平面Ｓを特定することが可能となる。
【００５４】
さらに、複数の偏光画像から無偏光画像を再構成して、画像内の各領域の属性を特定し、このうち、路面を構成する領域と、それ以外の構成との領域の画像内における鉛直下方での境界画素に対応する、路面を構成する平面Ｓ上の位置を特定することで、ローカルマップを生成することが可能となる。
【００５５】
＜本開示の移動体を制御する移動体制御システムの構成例＞
上述した機能を実現させるための移動体１１を制御する移動体制御システムについて説明する。
【００５６】
図３は、本開示の移動体１１を制御する移動体制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図３の移動体制御システム１００は、本技術が適用され得る移動体制御システムの一例であり、他の移動体、例えば、航空機、船舶、ドローン、およびロボットなどを制御するシステムとして適用することもできる。
【００５７】
移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自動運転制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自動運転制御部１１０は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
【００５８】
なお、以下、移動体制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１０が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１０が通信を行うと記載する。
【００５９】
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。
【００６０】
データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。
【００６１】
例えば、データ取得部１０２は、移動体の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
【００６２】
また、例えば、データ取得部１０２は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。尚、本開示の移動体制御システム１００においては、データ取得部１０２は、撮像装置として、図１の偏光カメラ２１を備えており、また、周囲情報検出センサとして、図１のレーザ測距センサ２２を備えている。
【００６３】
さらに、例えば、データ取得部１０２は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
【００６４】
また、例えば、データ取得部１０２は、移動体内部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、移動体室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
【００６５】
通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
【００６６】
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。
【００６７】
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１１が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
【００６８】
移動体内部機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
【００６９】
出力制御部１０５は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
【００７０】
出力部１０６は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
【００７１】
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
【００７２】
駆動系システム１０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
【００７３】
記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
【００７４】
自動運転制御部１１０は、自律移動又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１０は、運転者の操作に拠らずに自律的に移動する自動運転等を目的とした協調制御を行う。自動運転制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
【００７５】
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。
【００７６】
移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５等に供給する。
【００７７】
移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
【００７８】
移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
【００７９】
自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。
【００８０】
状況分析部１３３は、移動体及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。
【００８１】
マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【００８２】
状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
【００８３】
認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
【００８４】
状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。
【００８５】
状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
【００８６】
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
【００８７】
状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
【００８８】
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
【００８９】
行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体の行動を示すデータを動作計画部１６３等に供給する。
【００９０】
動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体の動作を示すデータを、動作制御部１３５等に供給する。
【００９１】
動作制御部１３５は、移動体の動作の制御を行う。
【００９２】
より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
【００９３】
また、動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【００９４】
動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
【００９５】
＜環境マップを生成する構成例＞
次に、図４を参照して、図３の移動体制御システム１００のうち、環境マップを生成する詳細な構成例について説明する。尚、ここでいう環境マップは、上述した、移動体の周囲の状況の認識に用いるローカルマップである状況認識用マップであり、より具体的には、占有格子地図（Occupancy Grid Map）を含むものである。
【００９６】
環境マップを生成する詳細な構成例は、図４で示されるように、データ取得部１０２、自動運転制御部１１０の検出部１３１における移動体外部情報検出部１４１、および状況分析部１３３の状況認識部１５２より構成される。
【００９７】
データ取得部１０２は、レーザ測距センサ２２、および偏光カメラ２１を備えている。
【００９８】
移動体外部情報検出部１４１は、３次元距離計測部３０１、座標系統合部３０２、法線検出部３０３、路面平面法線検出部３０４、画像再構成部３０５、セマンティックセグメンテーション部３０６、および路面平面算出部３０７を備えている。
【００９９】
状況認識部１５２は、環境マッピング部３２１を備えている。
【０１００】
レーザ測距センサ２２は、赤外光レーザを路面１３に対して投光すると共に、投光した赤外光レーザが路面１３の所定の点により反射されるとき、赤外光レーザの往復時間に基づいて、移動体１１から所定の角度を成して投光される路面１３上の点までの距離を測定し、測定結果を３次元距離計測部３０１に出力する。尚、レーザ測距センサ２２については、図５を参照して詳細を後述する。
【０１０１】
偏光カメラ２１は、複数の偏光方向のフィルタを通った、複数の偏光方向の偏光画像を撮像し、法線検出部３０３、および画像再構成部３０５に出力する。
【０１０２】
３次元距離計測部３０１は、レーザ測距センサ２２より供給される、移動体１１から所定の角度を成して投光される路面１３上の点までの距離の情報を取得し、路面１３を構成する平面上の３次元点座標の情報を求めて座標系統合部３０２に出力する。
【０１０３】
座標系統合部３０２は、３次元点座標を偏光カメラ２１の座標系に変換して、偏光カメラ２１のカメラ座標系に統合し、路面平面算出部３０７に出力する。尚、レーザ測距センサと偏光カメラとの座標系の統合については、図６を参照して詳細を後述する。
【０１０４】
法線検出部３０３は、複数の偏光方向の偏光画像に基づいて、偏光画像の画素単位の、被写体の表面の法線方向からなる法線マップを生成して路面平面法線検出部３０４、およびセマンティックセグメンテーション部３０６に出力する。尚、法線検出部３０３の法線検出については、図７を参照して、詳細を後述する。
【０１０５】
画像再構成部３０５は、複数の偏光方向の偏光画像の各画素の平均値を求めるようにすることで、無偏光画像を再構成してセマンティックセグメンテーション部３０６に出力する。
【０１０６】
セマンティックセグメンテーション部３０６は、法線マップと無偏光画像とに基づいて、各画素が属する被写体の種別をディープラーニングなどの機械学習を用いて推定し、推定結果をセマンティックラベルとして設定し、環境マッピング部３２８に出力する。また、セマンティックセグメンテーション部３０６は、セマンティックラベル毎に分類された画素の情報のうち、路面１３にラベリングされた画素の情報を路面平面法線検出部３０４に出力する。尚、セマンティックセグメンテーションについては、図９を参照して詳細を後述する。
【０１０７】
路面平面法線検出部３０４は、法線検出部３０３からの法線マップと、路面１３にラベリングされた画素の情報とを用いて、路面１３を構成する平面の法線方向（路面の法線ベクトル）を求め、路面法線の情報として路面平面算出部３０７に出力する。尚、路面平面法線検出については、図８を参照して、詳細を後述する。
【０１０８】
路面平面算出部３０７は、路面法線の情報である、路面平面を構成する平面の法線ベクトルの情報と、平面上の３次元点座標の情報とに基づいて、路面を構成する平面を算出し、環境マッピング部３０８に出力する。
【０１０９】
環境マッピング部３２１は、路面１３を構成する平面の情報と、セマンティックラベリングの情報とに基づいて、環境マッピング処理により環境マップを生成する。尚、環境マッピングについては、図１０を参照して詳細を後述する。
【０１１０】
＜レーザ測距センサ＞
次に、図５を参照して、レーザ測距センサ２２の詳細について説明する。レーザ測距センサ２２は、図５で示されるように、測距部３５１、投光部３５２、および受光部３５３を備えている。
【０１１１】
測距部３５１は、投光部３５２を制御して、所定の角度を成して、路面１３の方向に対して赤外光レーザを投光させる。このとき、測距部３５１は、投光部３５２により赤外光レーザを投光したタイミングの時刻を記憶する。
【０１１２】
また、測距部３５１は、受光部３５３を制御して、投光した赤外光レーザの（路面１３に対応する）障害物３６１からの反射光を受光させると共に、赤外光レーザが受光されるタイミングの時刻を記憶する。
【０１１３】
そして、測距部３５１は、投光部３５２より赤外光レーザが投光される時刻と、受光部３５３により障害物３６１より反射された反射光が受光される時刻との差分から、障害物３６１までの往復時間を求め、求められた往復時間より障害物３６１までの距離を測距する。
【０１１４】
尚、図５においては、レーザ測距センサ２２の測距の原理を説明するものであり、実際には、レーザ測距センサ２２は、移動体１１から所定の角度で路面１３上の所定の点までの距離を測定する。
【０１１５】
＜レーザ測距センサと偏光カメラとの座標系の統合＞
次に、図６を参照して、レーザ測距センサ２２と偏光カメラ２１との座標系の統合について説明する。
【０１１６】
図６で示されるように、レーザ測距センサ２２により距離が計測される、路面１３上の点Xのレーザ測距センサ２２の座標系の座標XLaser（＝［xl,yl,zl］の転置）と、偏光カメラ２１の座標系の座標Xcam（＝［xc,yc,zc］の転置）との関係は、キャリブレーションにより事前センサ配置情報として知られており、例えば、以下の式（２）として求められている。
【０１１７】
Xcam＝RXLaser+T
・・・（２）
【０１１８】
ここで、Rは、レーザ測距センサ２２と偏光カメラ２１とのなす角を示す回転行列であり、Tは、レーザ測距センサ２２と偏光カメラ２１との位置関係から求められる並進ベクトルである。
【０１１９】
座標系統合部３０２は、上述した式（２）を演算することにより、レーザ測距センサ２２の座標系の情報として測定された路面１３を構成する平面上の点Xの座標を、カメラ座標系に変換して統合する。
【０１２０】
＜偏光画像からの法線検出＞
次に、図７を参照して、偏光画像からの法線検出について説明する。
【０１２１】
法線検出部３０３は、複数の偏光画像に基づいて、画像内の各画素の属する被写体の表面の法線方向を天頂角θおよび方位角φからなる極座標として求めて、法線マップを生成する。
【０１２２】
例えば、図７の画像Ｐ１の場合、法線方向を示す矢印の分布が法線マップ（図８の最左部）とされる。
【０１２３】
すなわち、図７においては、画像Ｐ１内のほぼ中央付近から下部の領域が、路面３１の領域Ｚ３１とされ、左右の領域が、３次元構造物３２−１，３２−２の（壁の）領域Ｚ３２−１，Ｚ３２−２とされ、中央上部の領域が空３３の領域Ｚ３３とされ、そして、右側の３次元構造物３２−２の領域Ｚ３２−２の左部であり、かつ、路面３１からなる領域Ｚ３１上に立つ人３４の領域が領域Ｚ３４とされている。
【０１２４】
路面３１の領域Ｚ３１上では、路面３１に対して垂直方向である法線方向を示す矢印が分布している。また、画像Ｐ１の左部となる３次元構造物３２−１（の壁）の領域Ｚ３２−１では、壁に対して垂直方向である図中右方向の矢印が分布している。さらに、画像Ｐ１の右部となる３次元構造物３２−２（の壁）の領域Ｚ３２−２では、壁に対して垂直方向である図中左方向の矢印が分布している。
【０１２５】
＜路面平面法線検出＞
次に、図８を参照して、路面平面法線検出について説明する。
【０１２６】
路面平面法線は、路面を構成する平面の法線であるが、法線マップのうち、セマンティックセグメンテーションにより路面にラベリングされている領域の画素における支配的な法線方向として検出される。
【０１２７】
すなわち、例えば、図８の最左部で示されるような法線マップＰ１１である場合を考える。このとき、図８の左から２番目で示されるように、法線マップＰ１１のうち、路面１３にラベリングされる画素の領域が領域Ｚ１１である場合、法線マップの領域Ｚ１１がROI（Region of Interest）領域（関心領域）として抽出される。
【０１２８】
次に、図８の左から３番目で示されるように、抽出した領域Ｚ１１の法線のうち、例えば、偏光カメラ２１と正対している法線などの明らかに路面の法線方向ではない法線が除外される。
【０１２９】
そして、残された法線のヒストグラムが生成されて、支配的な法線が抽出される。法線の情報は、天頂角θおよび方位角φより構成される極座標からなる。このため、極座標からなる法線の情報が、直交座標系に変換されて、図８の最右部で示されるように、路面を構成する平面Ｓの法線ベクトルＮ［ｎｘ，ｎｙ，ｎｚ］として出力される。
【０１３０】
＜セマンティックセグメンテーション＞
次に、図９を参照して、セマンティックセグメンテーションについて説明する。
【０１３１】
例えば、図９の左部の法線マップＰ１と無偏光画像Ｐ３１とから、ディープラーニングなどの機械学習により、画像内における各画素について、画像内のいずれの被写体に属するかが推定され、推定結果がセマンティックラベルとして付与される。ただし、ここでは、路面、障害物、および空の最低３種類がセマンティックラベルとして分類できれば良い。
【０１３２】
例えば、図９の左部の画像Ｐ１における、鉛直方向と検出された法線ベクトルの内積の絶対値が、所定値よりも大きい領域Ｚ３１については、路面３１としてセマンティックラベリングされるようにし、それ以外の領域Ｚ３２−１，Ｚ３２−２，Ｚ３４については、３次元構造物３２−１，３２−２および人３４をまとめて、障害物としてセマンティックラベリングされるようにしてもよい。
【０１３３】
また、輝度レベルが高く、画像上方の領域Ｚ３３は空３３としてセマンティックラベリングされるようにしてもよい。
【０１３４】
＜環境マッピング＞
次に、図１０を参照して、環境マッピングについて説明する。
【０１３５】
図１０の左部で示される無偏光画像Ｐ１に対して、セマンティックセグメンテーションにより路面３１の領域Ｚ３１、３次元構造物３２−１，３２−２の領域Ｚ３２−１，Ｚ３２−２、空３３の領域Ｚ３３、および人３４の領域Ｚ３４のそれぞれにセマンティックラベルが付されているものとする。ここでは、路面３１の領域Ｚ３１および空３３の領域Ｚ３３以外は、障害物であるものとみなすため、領域Ｚ３２−１，Ｚ３２−２、およびＺ３４は、障害物の領域であるものとする。
【０１３６】
この場合、路面３１の領域Ｚ３１と、障害物の領域Ｚ３２−１，Ｚ３２−２、およびＺ３４との鉛直下方の境界の画素（方形状のマス目で示される画素）が、境界画素５１として抽出される。
【０１３７】
そして、偏光カメラ２１のカメラ座標系の各境界画素５１の座標が、路面３１を構成する平面Ｓ上の座標に変換される。
【０１３８】
すなわち、図１０の中央部で示されるように、偏光カメラ２１が、例えば、無偏光画像Ｐ１を撮像する場合、焦点位置が画像中心（中心画素）Ｐｃであるものとし、偏光カメラ２１の撮像位置を始点としたとき境界画素５１への視線ベクトルは、（ｘｉ，ｙｉ，ｆ）となる。ここで、ｘｉ，ｙｉは、中心画素Ｐｃを原点としたときの偏光カメラ２１の画像Ｄにおける画素位置であり、ｆは、偏光カメラ２１から画像中心（中心画素）Ｐｃを焦点位置としたときの焦点距離である。
【０１３９】
このとき、偏光カメラ２１の視点から路面３１を構成する平面Ｓ上の境界画素５１に対応する交点Ｘｐは、以下の式（３）で示される。
【０１４０】
【数２】
2019026714.tif 000004
・・・（３）
【０１４１】
ここで、ｓは、係数であり、スカラ量である。すなわち、偏光カメラ２１を始点とした交点Ｘｐまでのベクトルは、視線ベクトルＶｅの係数ｓ倍となる。このため、上述した式（１）で定義される、路面を構成する平面Ｓの方程式に、式（３）を代入すると定数ｓが求められ、この定数ｓが求められることで、平面Ｓ上の交点６１の座標が求められる。
【０１４２】
このようにして求められた路面３１を構成する平面Ｓ上の、障害物との境界画素５１に、例えば、図１０の右上部で示されるように、所定の高さの障害物が存在することを仮定することで、無偏光画像Ｐ１に対応する路面３１と障害物３２−１，３２−２，３４との３次元分布が求められる。
【０１４３】
これらの無偏光画像Ｐ１に対応する路面３１と障害物３２−１，３２−２，３４との３次元分布の情報に基づいて、障害物の領域Ｚ３２−１，Ｚ３２−２およびＺ３４に対応する交点群６１−１，６１−２，６２を平面Ｓ上の上面からみた分布が、環境マップＭとして生成される。
【０１４４】
＜環境マップ生成処理＞
次に、図１１のフローチャートを参照して、環境マップ生成処理について説明する。
【０１４５】
ステップＳ１１において、偏光カメラ２１は、所定の画角で、例えば、移動体の前方を複数の偏光方向のフィルタを通して、複数の偏光方向の偏光画像を撮像し、法線検出部３０３、および画像再構成部３０５に出力する。
【０１４６】
ステップＳ１２において、レーザ測距センサ２２は、図５を参照して説明したように、レーザ光を路面に対して投光すると共に、路面からの反射光を受光して、それぞれの投光時刻と、受光時刻との時刻の差分から、いわゆる、ToF法により路面１３までの距離を測定し、測定結果を３次元距離計測部３０１に出力する。
【０１４７】
ステップＳ１３において、３次元距離計測部３０１は、レーザ測距センサ２２の測距結果に基づいて、レーザ光が反射された、路面１３を構成する平面Ｓ上の３次元点座標を、レーザ測距センサ２２の座標系の座標として特定し、座標系統合部３０２に出力する。
【０１４８】
ステップＳ１４において、座標系統合部３０２は、図６を参照して説明したように、レーザ測距センサ２２の座標系の路面１３を構成する平面Ｓ上の３次元点座標を、偏光カメラ２１のカメラ系座標に変換して路面平面算出部３０７に出力する。
【０１４９】
ステップＳ１５において、画像再構成部３０５は、複数の偏光方向の画像の各画素について平均値を求めることで、無偏光画像を再構成してセマンティックセグメンテーション部３０６に出力する。
【０１５０】
ステップＳ１６において、法線検出部３０３は、偏光画像に基づいて、図７を参照して説明したように、各画素について、偏光画像内の被写体の表面の法線方向を検出して、法線マップとして路面平面法線検出部３０４、およびセマンティックセグメンテーション部３０６に出力する。
【０１５１】
ステップＳ１７において、セマンティックセグメンテーション部３０６は、図９を参照して説明したように、無偏光画像と、法線マップとに基づいて、無偏光画像の各画素について、画像内の被写体のいずれに属するのかをセマンティックセグメンテーションにより画素単位でラベリングして、画素単位でセマンティックラベルを付して環境マッピング部３２１に出力する。このとき、セマンティックセグメンテーション部３０６は、路面にラベリングされた画素の情報を路面平面法線検出部３０４に出力する。
【０１５２】
ステップＳ１８において、路面平面法線検出部３０４は、図８を参照して説明したように、法線マップと路面にラベリングされた画素の情報とから、路面の法線方向を検出して路面平面算出部３０７に出力する。
【０１５３】
ステップＳ１９において、路面平面算出部３０７は、路面の法線方向の情報と、路面を構成する平面上の３次元点座標の情報に基づいて、図１を参照して説明したように、路面１３を構成する平面Ｓの方程式を算出し、路面平面の情報として環境マッピング部３２１に出力する。
【０１５４】
ステップＳ２０において、環境マッピング部３２１は、路面平面の情報と、セマンティックラベルとに基づいて、環境マッピング処理を実行して、環境マップを生成して出力する。尚、環境マッピング処理については、図１２のフローチャートを参照して、詳細を説明する。
【０１５５】
ステップＳ２１において、終了が指示されたか否かが判定されて、終了が指示されない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ２１において、終了が指示されると、処理が終了する。
【０１５６】
すなわち、以上の処理により、レーザ測距センサ２２により測距される路面を構成する平面上の３次元点座標と、偏光カメラ２１により撮像される複数の偏光方向の偏光画像により求められる路面を構成する平面における法線方向とが求められる。これにより、路面を構成する平面上の３次元点座標と、路面を構成する平面における法線方向との情報から路面を構成する平面Ｓを特定することが可能となる。
【０１５７】
結果として、特定された路面を構成する平面Ｓの情報を用いることで、環境マッピング処理により環境マップを生成することが可能となる。
【０１５８】
＜環境マッピング処理＞
次に、図１２のフローチャートを参照して、環境マッピング部３２１による環境マッピング処理について説明する。
【０１５９】
ステップＳ３１において、環境マッピング部３２１は、図１０の左部を参照して説明したように、セグメンテーションラベルに基づいて、無偏光画像より、路面３１の領域Ｚ３１と障害物３２−１，３２−２，３４の領域Ｚ３２−１，Ｚ３２−２，Ｚ３４との境界の境界画素５１を検出する。
【０１６０】
ステップＳ３２において、環境マッピング部３２１は、図１０の中央部を参照して説明したように、境界画素５１の無偏光画像上の座標を、対応する路面３１を構成する平面上の交点６１の座標に変換する。
【０１６１】
ステップＳ３３において、環境マッピング部３２１は、図１０の右部を参照して説明したように、境界画素５１の平面上の交点６１の座標の情報に基づいて、路面３１を構成する平面上に障害物が存在する位置を示す環境マップを生成して出力する。
【０１６２】
以上の処理により、無偏光画像内に含まれる路面と障害物との情報に基づいて、環境マップを生成することが可能となる。
【０１６３】
尚、以上においては、レーザ測距センサ２２が路面の１点を測距し、路面を構成する交点が１点である例について説明してきたが、複数の路面上の点を測距して、路面上の複数の交点を用いて、路面を構成する平面を特定するようにしてもよい。
【０１６４】
また、移動体１１から路面上の所定の点を測定するにあたっては、レーザ測距センサ３２のみならず、ステレオカメラやミリ波レーダを用いて検出するようにしてもよい。
【０１６５】
さらに、以上においては、路面が凹凸のない平面であることが前提とされているが、凹凸のある路面であっても、路面の法線方向は、路面としてラベリングされている範囲の画素単位の法線方向のうち支配的な法線方向が利用されるため、凹凸を含めた平均的な法線方向として扱うことができる。また、路面上の複数の交点を求めて、それらの平均などを利用することもできるので、路面を構成する平均的な平面を求めるようにしてもよい。
【０１６６】
また、以上においては、移動体１１の移動方向に対する路面を構成する平面について説明してきたが、移動体が移動しようとする移動可能領域を構成する平面であればよい。
【０１６７】
さらに、以上においては、路面の法線方向については、複数の偏光方向の偏光画像より求められる法線マップを用いて、路面の属性が設定された画素の法線方向のうち、支配的な法線方向を求める例について説明してきたが、法線方向が求められればよいので、他の方法で法線方向を求めるようにしてもよい。例えば、既知の地図の情報を用いて法線方向を求めるようにしてもよいし、ステレオカメラを用いて法線方向を求めるようにしてもよい。
【０１６８】
＜＜２．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【０１６９】
図１３は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１７０】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１７１】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７２】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１７３】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１７４】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１７５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７６】
尚、図１３におけるCPU１００１が、図３における自動運転制御部１１０の機能を実現させる。また、図１３における記憶部１００８が、図３における記憶部１０９を実現する。
【０１７７】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１７８】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７９】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８２】
尚、本開示は、以下のような構成も取ることができる。
【０１８３】
＜１＞  移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と
を含む情報処理装置。
＜２＞  複数の偏光方向の偏光画像を撮像する偏光カメラをさらに含み、
前記移動可能領域法線検出部は、前記偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する
＜１＞に記載の情報処理装置。
＜３＞  前記偏光画像における被写体の表面の法線方向を画素単位で検出し、法線マップとして出力する法線方向検出部と、
前記複数の偏光画像より無偏光画像を再構成する再構成部と、
前記無偏光画像の各画素について、被写体の属性を設定する属性設定部とをさらに含み、
前記移動可能領域法線検出部は、前記属性設定部により前記無偏光画像の画素のうち、前記移動可能領域に属性が設定された画素が存在する領域に対応する、前記法線マップ上の、支配的な前記法線方向を、前記移動可能領域を構成する平面の法線方向として検出する
＜２＞に記載の情報処理装置。
＜４＞  前記属性設定部は、セマンティックセグメンテーションにより、前記無偏光画像の各画素について、被写体の属性を設定する
＜３＞に記載の情報処理装置。
＜５＞  前記無偏光画像の各画素に設定される、前記被写体の属性の情報と、前記平面特定部により特定された平面の情報とに基づいて、環境マップを生成する環境マッピング部をさらに含む
＜３＞に記載の情報処理装置。
＜６＞  前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の情報と、障害物に属性が設定された画素の情報とに基づいて、前記移動可能領域を構成する前記平面上における前記障害物の位置を示す前記環境マップを生成する
＜５＞に記載の情報処理装置。
＜７＞  前記環境マッピング部は、前記無偏光画像の各画素に設定される、前記被写体の属性の情報のうち、前記移動可能領域に属性が設定された画素の領域と、障害物に属性が設定された画素の領域との鉛直下方の境界画素に対応する、前記移動可能領域を構成する前記平面上の位置を、前記移動可能領域を構成する前記平面上における前記障害物の位置として、前記環境マップを生成する
＜６＞に記載の情報処理装置。
＜８＞  前記環境マップは、占有格子地図（Occupancy Grid Map）である
＜５＞に記載の情報処理装置。
＜９＞  前記位置特定部により特定された前記移動可能領域上の点の位置を示す座標系を、前記偏光カメラにより撮像される偏光画像の座標系に統合する座標系統合部をさらに含む
＜２＞に記載の情報処理装置。
＜１０＞  前記移動可能領域上の点までの距離を測定する測距部をさらに含み、
前記位置特定部は、前記測距部により測定された、前記移動可能領域上の点までの距離に基づいて、前記移動可能領域上の点の位置を特定する
＜２＞に記載の情報処理装置。
＜１１＞  前記測距部は、レーザ測距センサ、ステレオカメラ、または、ミリ波レーダである
＜１０＞に記載の情報処理装置。
＜１２＞  前記移動可能領域は、路面である
＜１＞に記載の情報処理装置。
＜１３＞  偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出し、
前記移動可能領域上の点の位置を特定し、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する
ステップを含む情報処理方法。
＜１４＞  偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と
を含む処理をコンピュータに実行させるプログラム。
＜１５＞  偏光画像に基づいて、移動体の移動可能領域を構成する平面の法線方向を検出する移動可能領域法線検出部と、
前記移動可能領域を構成する平面上の点の位置を特定する位置特定部と、
前記移動可能領域の法線方向と、前記移動可能領域上の点の位置とで移動可能領域を構成する平面を特定する平面特定部と、
前記平面特定部により特定された平面に基づいて環境マップを生成する環境マッピング部と、
前記環境マッピング部により生成された前記環境マップに基づいて移動経路を計画する計画部と、
前記計画部により計画された移動経路に基づいて前記移動体の動作を制御する制御部と
を含む移動体。
【符号の説明】
【０１８４】
１１  移動体，  １２  障害物，  ２１  偏光カメラ，  ２２  レーザ測距センサ，  ３１  路面，  ３２，３２−１，３２−２  ３次元構造物，  ３３  空，  ３４  人，  ５１  境界画素（画素），  ６１  交点（点），  ６１−１，６１−２，６２  交点群，  １０２  データ取得部，  １１０  自動運転制御部，  １４１  移動体外部情報検出部，  １５２  状況認識部，  ３０１  ３次元距離計測部，  ３０２  座標系統合部，  ３０３  法線検出部，  ３０４  路面平面法線検出部，  ３０５  画像再構成部，  ３０６  セマンティックセグメンテーション部，  ３２１  環境マッピング部，  ３５１  測距部，  ３５２  投光部，  ３５３  受光部
【図１】
2019026714.tif 000005
【図２】
2019026714.tif 000006
【図３】
2019026714.tif 000007
【図４】
2019026714.tif 000008
【図５】
2019026714.tif 000009
【図６】
2019026714.tif 000010
【図７】
2019026714.tif 000011
【図８】
2019026714.tif 000012
【図９】
2019026714.tif 000013
【図１０】
2019026714.tif 000014
【図１１】
2019026714.tif 000015
【図１２】
2019026714.tif 000016
【図１３】
2019026714.tif 000017
【国際調査報告】
2019026714.tif 000018
2019026714.tif 000019