(57)【要約】【課題】対象と空間との境界を精度良く識別すること。【解決手段】第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、を備える識別装置。【選択図】図３
2019174975.tif 000002
【特許請求の範囲】
【請求項１】
第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、
前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、
を備える識別装置。
【請求項２】
前記第一の距離情報は、撮像装置により前記第一の地点から前記対象を撮像して得られた第一の距離画像情報に含まれる情報であり、
前記第二の距離情報は、前記撮像装置により前記第二の地点から前記対象を撮像して得られた第二の距離画像情報に含まれる情報である、
請求項１に記載の識別装置。
【請求項３】
複数の前記特徴点は、前記撮像装置からみて前記対象の手前側端に対応する第一の特徴点および前記対象の奥側端に対応する第二の特徴点を含み、
前記第一の地点および前記第二の地点はともに、前記撮像装置、前記第一の特徴点および前記第二の特徴点が、一直線上に存在しない地点であり、
前記識別部は、前記第一の距離情報に基づいて複数の前記特徴点の第一の推定位置をそれぞれ推定するとともに、前記第二の距離情報に基づいて複数の前記特徴点の第二の推定位置をそれぞれ推定し、
前記第一の推定位置および前記第二の推定位置に基づいて、複数の前記特徴点の位置をそれぞれ特定し、
特定された複数の前記特徴点の位置に基づいて、前記対象と前記空間との境界を識別する、
請求項２に記載の識別装置。
【請求項４】
複数の前記特徴点は、前記撮像装置からみて前記対象の手前側端に対応する第一の特徴点および前記対象の奥側端に対応する第二の特徴点を含み、
前記第一の地点は、前記撮像装置、前記第一の特徴点および前記第二の特徴点が、一直線上に存在しない地点であり、
前記第二の地点は、前記撮像装置、前記第一の特徴点および前記第二の特徴点が、略一直線上に存在する地点であり、
前記識別部は、前記第一の距離情報に基づいて複数の前記特徴点の推定位置をそれぞれ推定するとともに、前記第二の距離情報に基づいて複数の前記特徴点同士を結ぶ境界ラインを決定し、
前記推定位置および前記境界ラインに基づいて、複数の前記特徴点の位置をそれぞれ特定し、
特定された複数の前記特徴点の位置に基づいて、前記対象と前記空間との境界を識別する、
請求項２に記載の識別装置。
【請求項５】
前記入力部は、前記第一の地点および前記第二の地点とは異なる第三の地点から複数の前記特徴点までの第三の距離情報の入力をさらに受け付け、
前記識別部は、前記第一の距離情報、前記第二の距離情報および前記第三の距離情報に基づいて、前記対象と空間との境界を識別する、
請求項４に記載の識別装置。
【請求項６】
第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力ステップと、
前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別ステップと、
を備える識別方法。
【請求項７】
コンピュータに、
第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力処理と、
前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別処理と、
を実行させる識別プログラム。
【請求項８】
請求項７に記載の識別プログラムを記録した一時的でない有形の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体に関する。
【背景技術】
【０００２】
従来、２台のカメラを用いて３次元モデルを生成するシステムが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６２０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、自動駐車システムが普及している。自動駐車システムでは、自車を駐車するスペースの有無を精度良く検知することが重要である。そのためには、駐車車両（対象）と空間との境界を精度良く識別することが求められる。
【０００５】
また、光飛行時間測距法（以下、「ＴＯＦ（Time of Flight）方式」という）を用いた測距法が知られている。ＴＯＦ方式で自車両から駐車車両までの距離を求め、駐車車両と空間との境界を識別しようとする場合、自車両から駐車車両までの距離を精度良く推定することが重要となる。
【０００６】
本開示の目的は、対象と空間との境界を精度良く識別することである。
【課題を解決するための手段】
【０００７】
本開示の一形態は、第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、を備える識別装置である。
【０００８】
なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであってもよい。
【発明の効果】
【０００９】
本開示によれば、対象と空間との境界を精度良く識別することができる。
【図面の簡単な説明】
【００１０】
【図１】識別装置を含む運転支援システムの構成を示すブロック図
【図２Ａ】出射光および戻り光の状態を示す図
【図２Ｂ】光飛行時間測距法の概要を示す図
【図３】測距処理および識別処理の一例を示すフローチャート
【図４】撮像装置により駐車車両を撮像して得られた距離画像の一例を示す図
【図５Ａ】１台の駐車車両に隣接するスペースを検知する様子を示す図
【図５Ｂ】１台の駐車車両に隣接するスペースを検知する様子を示す図
【図５Ｃ】１台の駐車車両に隣接するスペースを検知する様子を示す図
【図５Ｄ】１台の駐車車両に隣接するスペースを検知する様子を示す図
【図５Ｅ】１台の駐車車両に隣接するスペースを検知する様子を示す図
【図５Ｆ】１台の駐車車両に隣接するスペースを検知する様子を示す図
【図６Ａ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｂ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｃ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｄ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｅ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｆ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｇ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｈ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｉ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｊ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｋ】２台の駐車車両の間のスペースを検知する様子を示す図
【図６Ｌ】２台の駐車車両の間のスペースを検知する様子を示す図
【発明を実施するための形態】
【００１１】
以下、本開示の一実施形態に係る識別装置１００が搭載された周辺監視システム１について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。
【００１２】
周辺監視システム１は例えば車両Ｖに搭載される。以下、周辺監視システム１は、車両Ｖの側方を監視するものとして説明を続けるが、車両Ｖの側方以外（前方、後方または全周囲方向）を監視してもよい。
【００１３】
周辺監視システム１は、図１に示すように、光源２１０および画像センサ２２０を一体化した撮像装置２００と、識別装置１００とを備える。
【００１４】
撮像装置２００は、例えば、車両Ｖの側面に、車両Ｖの進行方向と直交する向きに取り付けられる（図５Ａを参照）。なお、撮像装置２００の取り付け位置は、車両Ｖの側面には限定されない。また、撮像装置２００の取り付け向きは、車両Ｖの進行方向と直交する向きには限定されない。
【００１５】
光源２１０は、撮像範囲に向けて、パルスや正弦波等の周期をもった不可視光（例えば、赤外光や近赤外光）を出射可能に取り付けられている。
【００１６】
画像センサ２２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、光源２１０と概ね同じ場所に、自身の光軸が車両Ｖの進行方向と直交する方向に延在するように取り付けられる。
【００１７】
識別装置１００は、例えばＥＣＵ（Electronic Control Unit）であって、車両Ｖの側方監視を制御するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。
【００１８】
プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して光源２１０および画像センサ２２０に各種制御信号を出力する。
【００１９】
識別装置１００は、プロセッサがプログラムを実行することで、図１に示すように、撮像制御部１１０、測距部１２０、識別部１３０、記憶部１４０等として機能する。
【００２０】
撮像制御部１１０は、光源２１０からの出射光の諸条件（具体的には、パルス幅、パルス振幅、パルス間隔、パルス数等）を制御すべく、光源２１０に対して制御信号を出力する。
【００２１】
また、撮像制御部１１０は、画像センサ２２０における戻り光の受光の諸条件（具体的には、露光時間、露光タイミング、露光回数等）を制御すべく、画像センサ２２０に含まれる周辺回路に対して制御信号を出力する。
【００２２】
上記露光制御等により、画像センサ２２０は、所定周期（所定フレームレート）で、撮像範囲に関する赤外画像信号および距離画像信号を識別装置１００に出力する。
【００２３】
画像センサ２２０から識別装置１００に出力される距離画像における各画素には、ＴＯＦ方式により導出された距離情報が含まれている。なお、図２Ａは、ターゲットＴまでの距離ｄｔを導出する際の出射光および戻り光の状態を示す模式図である。
【００２４】
ここで、ＴＯＦ方式による測距の一例について説明する。光源２１０からの出射光は、図２Ｂに示すように、単位周期において、第一パルスＰａと、第二パルスＰｂとを少なくとも一組含む。これらのパルス間隔（すなわち、第一パルスＰａの立ち下がりエッジから第二パルスＰｂの立ち上がりエッジまでの時間）は、Ｇａである。また、これらのパルス振幅は互いに等しくＳａとし、これらのパルス幅は互いに等しくＷａとする。
【００２５】
画像センサ２２０は、撮像制御部１１０により、第一パルスＰａおよび第二パルスＰｂの出射タイミングに基づくタイミングで露光するように制御される。具体的には、画像センサ２２０は、図２Ｂに例示するように、光源２１０からの出射光が撮像範囲のターゲットＴで反射されて戻ってきた不可視光に対して、第一露光、第二露光および第三露光を行う。
【００２６】
第一露光は、第一パルスＰａの立ち上がりと同時に始まり、光源２１０からの出射光との関係で予め設定される露光時間Ｔｘ後に終了する。このような第一露光は、第一パルスＰａに対する戻り光成分を受光することを目的としている。
【００２７】
第一露光による画像センサ２２０の出力Ｏａは、斜格子状のハッチングを付した戻り光成分Ｓ０と、ドットのハッチングを付した背景成分ＢＧとを含む。戻り光成分Ｓ０の振幅は、第一パルスＰａの振幅よりも小さい。
【００２８】
ここで、第一パルスＰａおよびその戻り光成分Ｓ０の各立ち上がりエッジの時間差をΔｔとする。Δｔは、撮像装置２００から物標Ｔまでの距離ｄｔを、不可視光が往復するのに要する時間である。
【００２９】
第二露光は、第二パルスＰｂの立ち下がりと同時に始まり、露光時間Ｔｘ後に終了する。このような第二露光は、第二パルスＰｂに対する戻り光成分を受光することを目的としている。
【００３０】
第二露光による画像センサ２２０の出力Ｏｂは、全ての戻り光成分ではなく部分的な戻り光成分Ｓ１（斜格子状のハッチング部分を参照）と、ドットのハッチングを付した背景成分ＢＧとを含む。
【００３１】
なお、上記成分Ｓ１は、次の式（１）で表せる。
Ｓ１＝Ｓ０×（Δｔ／Ｗａ）  …（１）
【００３２】
第三露光は、第一パルスＰａおよび第二パルスＰｂの戻り光成分を含まないタイミングで始まり、露光時間Ｔｘ後に終了する。このような第三露光は、戻り光成分と無関係な不可視光成分である背景成分ＢＧのみを受光することを目的としている。
【００３３】
第三露光による画像センサ２２０の出力Ｏｃは、ドットのハッチングを付した背景成分ＢＧのみを含む。
【００３４】
上記のような出射光と戻り光との関係から、撮像装置２００からターゲットＴまでの距離ｄｔは、次の式（２）〜（４）により導出することができる。
Ｓ０＝Ｏａ−ＢＧ  …（２）
Ｓ１＝Ｏｂ−ＢＧ  …（３）
ｄｔ＝ｃ×（Δｔ／２）＝｛（ｃ×Ｗａ）／２｝×（Δｔ／Ｗａ）＝｛（ｃ×Ｗａ）／２｝×（Ｓ１／Ｓ０）  …（４）
ここで、ｃは光速である。
【００３５】
また、本実施形態では、画像センサ２２０は、隣接する複数の画素の情報を加算して画像信号を生成する、いわゆる格子変換を行う。ただし、本開示において、隣接する複数の画素の情報を加算して画像信号を生成することは必須ではない。
【００３６】
測距部１２０は、画像センサ２２０から受け取った赤外画像または距離画像から、車両Ｖの側方に位置する駐車車両の特徴点を抽出するとともに、距離画像において特徴点に対応する画素を特定し、距離画像に含まれる距離情報に基づいて特徴点までの距離を導出する。なお、特徴点は、所定のルールにしたがって予め定められる点であり、例えば車両であれば、ヘッドライト、ドアノブ等、光波の反射率が高い部位およびこれらの部位から所定の距離だけ離れた部位等である。
【００３７】
識別部１３０は、測距部１２０で導出された特徴点までの距離に基づいて、駐車可能スペースを識別する。
【００３８】
記憶部１４０は、測距処理や識別処理で用いられる各種情報を記憶する。
【００３９】
周辺監視システム１からは、駐車可能スペースに関する信号等が出力される。このような情報は、例えばＡＤＡＳ（Advanced Driver Assistance System）  ＥＣＵに送信される。ＡＤＡＳ  ＥＣＵは、これらの情報を用いて、車両Ｖの自動駐車を行う。
【００４０】
次に、識別装置１００の測距部１２０および識別部１３０において行われる測距処理および識別処理について、図３のフローチャートを参照して詳細に説明する。
【００４１】
まず、ステップＳ１で、測距部１２０は、画像センサ２２０から受け取った赤外画像または距離画像から駐車車両Ｐの複数の特徴点Ｃｉ（ｉ＝１〜Ｎ：Ｎは自然数）を抽出し、距離画像において特徴点Ｃｉに対応する画素Ｐ１ｉを特定する。なお、ステップＳ１の処理を実行する時点で、車両Ｖは第一の地点に存在している。また、ステレオカメラの場合と異なり、ＴＯＦカメラの場合には、赤外画像と距離画像間で物標の画素ずれが生じない。そのため、いずれの画像から特徴点Ｃｉを抽出しても画面上の画素位置は同一であり、本実施形態で説明する効果は何ら変わりがないことは当然のことである。
【００４２】
続くステップＳ２で、測距部１２０は、ステップＳ１において特定した画素Ｐ１ｉが有する距離情報に基づいて、車両Ｖから特徴点Ｃｉまでの距離を導出する。なお、以下の説明において、「車両Ｖから特徴点Ｃｉまでの距離」とは、「撮像装置２００から特徴点Ｃｉまでの距離」と同じ意味である。
【００４３】
なお、本実施形態では、画素Ｐ１ｉが有する距離情報および距離画像において画素Ｐ１ｉの上下に存在する複数の画素が有する距離情報を用いて、車両Ｖから特徴点Ｃｉまでの距離を導出するようにしている。
【００４４】
これは以下の理由による。図４に示す撮像装置２００により駐車車両Ｐを撮像して得られた距離画像において、特徴点Ｃｉに対応する画素Ｐｉが有する距離情報には、出射部２１０から出射される光波の強さや駐車車両Ｐからの反射波の強さに起因する誤差が含まれる。
【００４５】
そのため、画素Ｐｉと概同一の距離情報を持つと考えられる画素Ｐｉの上下に存在する複数の画素Ｐｉ１〜Ｐｉ６の距離情報を併せて用いることで、車両Ｖから特徴点Ｃｉまでの距離を、所定の範囲を有するものとして捉えるようにしている。なお、物標の座標系に対して画像センサの座標系が一致しない場合には、ヨー、ピッチ、ロールを補正して座標系を合わせた上で、特徴点Ｃｉに対応する画素Ｐｉの上下に位置する画素を抽出する際に、最も近い画素を選択してもよいし、周辺画素の情報から推定してもよいことはもちろんのことである。
【００４６】
ステップＳ２に続くステップＳ３で、測距部１２０は、車両Ｖが上述の第一の地点から、所定の第二の地点に移動したか否かを判定する。
【００４７】
ステップＳ３で、車両Ｖが第二の地点に移動していないと判定された場合（ステップＳ３：ＮＯ）、ステップＳ３の処理を繰り返す。
【００４８】
一方、ステップＳ３で、車両Ｖが第二の地点に移動したと判定された場合（ステップＳ３：ＹＥＳ）、処理はステップＳ４へ進む。
【００４９】
ステップＳ４で、測距部１２０は、画像センサ２２０から受け取った赤外画像または距離画像において、駐車車両Ｐの特徴点Ｃｉに対応する画素Ｐ２ｉを特定する。
【００５０】
続くステップＳ５で、測距部１２０は、ステップＳ４で特定した画素Ｐ２ｉが有する距離情報に基づいて、車両Ｖから特徴点Ｃｉまでの距離を導出する。この際も、ステップＳ２と同様に、測距部１２０は、画素Ｐ２ｉおよび距離画像において画素Ｐ２ｉの上下に存在する複数の画素の距離情報を用いる。
【００５１】
続くステップＳ６で、識別部１３０は、測距部１２０で導出された第一の地点における車両Ｖから駐車車両Ｐの特徴点Ｃｉまでの距離と、第二の地点における車両Ｖから駐車車両Ｐの特徴点Ｃｉまでの距離とに基づいて、駐車車両Ｐと空間との境界を識別する。駐車車両Ｐと空間との境界を識別する方法については、後述する具体例において詳細に説明する。
【００５２】
続くステップＳ７で、識別部１３０は、駐車可能スペースを決定する。
【００５３】
次に、識別装置１００によって行われる駐車可能スペースの決定の第一具体例について、図５Ａ〜図５Ｆを参照して説明する。図５Ａ〜図５Ｆは、駐車場内を移動する車両Ｖが駐車可能スペースを検出する様子を示す天頂図である。以下に説明する第一具体例では、車両Ｖの側方に１台の駐車車両Ｐが存在する状況で、車両Ｖが前進する際に、駐車車両Ｐに隣接する駐車可能スペースを決定するものとする。
【００５４】
図５Ａに示すように、車両Ｖの側方に向けて光波が出射される。図５Ａおよび図５Ｃでは、光波の出射された領域がハッチングを付して示されている。例えば、撮像装置２００から出射される光波の水平方向のＦＯＶ（Field of View）は１２０°である。なお、このようなＦＯＶは任意に設定することができる。
【００５５】
図５Ａの状態では、車両Ｖが前進中で第一の地点におり、車両Ｖの進行方向に対して右斜め前方に駐車車両Ｐが駐車している。撮像装置２００から出射された光波は、駐車車両Ｐの前面および左側面で反射する。
【００５６】
測距部１２０は、撮像装置２００により得られた赤外画像または距離画像から、駐車車両Ｐの前面および左側面の特徴点Ｃ１〜Ｃ９を抽出し、特徴点Ｃ１〜Ｃ９に対応する画素Ｐ１ｉＣ１〜Ｐ１ｉＣ９を決定する。
【００５７】
なお、Ｃ３は、駐車車両Ｐの左側面の撮像装置２００からみて手前側端に対応する特徴点であり、Ｃ９は、駐車車両Ｐの左側面の撮像装置２００からみて奥側端に対応する特徴点である。
【００５８】
続いて、測距部１２０は、距離画像を用いて、車両Ｖから特徴点Ｃ１〜Ｃ９までの距離を導出する。具体的には、測距部１２０は、特徴点Ｃ１〜Ｃ９に対応する画素Ｐ１ｉＣ１〜Ｐ１ｉＣ９および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Ｖから特徴点Ｃ１〜Ｃ９までの距離を導出する。このようにして導出された車両Ｖから特徴点Ｃ１〜Ｃ９までの距離は、所定の範囲を有する値である。
【００５９】
続いて、測距部１２０は、導出された車両Ｖから特徴点Ｃ１〜Ｃ９までの距離をもとに、特徴点Ｃ１〜Ｃ９の位置（第一の推定位置）を推定する。図５Ｂは、特徴点Ｃ１〜Ｃ９の第一の推定位置を天頂図上にプロットしたものである。図５Ｂに示すように、特徴点Ｃ１〜Ｃ９の第一の推定位置は、線分Ｌ１Ｃ１〜Ｌ１Ｃ９として表される。各画素の距離情報にはショットノイズ等の雑音成分が含まれるため、実際の距離に対して誤差が含まれることになる。特徴点の上下方向に存在する画素は、撮像装置２００からの方位角が等しいため、それらのうち最小距離となる画素と、最大距離となる画素とを結ぶことで、各線分Ｌ１Ｃ１〜Ｌ１Ｃ９を得ることができる。
【００６０】
車両Ｖが前進を続け、第二の地点に到達すると（図５Ｃ）、測距部１２０は、撮像装置２００により得られた赤外画像または距離画像において、Ｃ１〜Ｃ９に対応する画素Ｐ２ｉＣ１〜Ｐ２ｉＣ９を決定する。なお、車両Ｖが第一の地点から第二の地点まで移動した際の移動量は、例えば車両Ｖの車速情報と舵角情報から算出してもよいことはもちろんのことである。また、それ以外にも、上述の移動量は、ミリ波レーダ、ソナー、カメラ等のセンサから推定してもよく、また、ＴＯＦカメラの画像情報から推定してもよいことは言うまでもない。
【００６１】
そして、測距部１２０は、距離画像を用いて、車両Ｖから特徴点Ｃ１〜Ｃ９までの距離を導出する。具体的には、測距部１２０は、特徴点Ｃ１〜Ｃ９に対応する画素Ｐ２ｉＣ１〜Ｐ２ｉＣ９および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Ｖから特徴点Ｃ１〜Ｃ９までの距離を導出する。このようにして導出された車両Ｖから特徴点Ｃ１〜Ｃ９までの距離は、所定の範囲を有する値である。
【００６２】
なお、第一具体例では、第二の地点は、撮像装置２００、特徴点Ｃ３および特徴点Ｃ９が一直線上に存在しない地点である。換言すると、第二の地点は、撮像装置２００から出射された光波が駐車車両Ｐの側面で反射する範囲に存在する。この場合、第二の地点は、車両Ｖに搭載したＴＯＦカメラが、駐車車両Ｐの左側輪郭が存在する位置よりも手前となる位置である。このことは、駐車スペースを探索する際に、対象となる駐車車両を通過するよりも以前に駐車車両の輪郭を精度良く推定できることを意味している。つまり、自動駐車する際に車両制御を適用するタイミングを、対象となる駐車車両に至る以前の時刻に設定することができ、自動駐車の車両制御に関する設定の自由度を飛躍的に高めることが期待できる。
【００６３】
続いて、測距部１２０は、導出された車両Ｖから特徴点Ｃ１〜Ｃ９までの距離をもとに、特徴点Ｃ１〜Ｃ９の位置（第二の推定位置）を推定する。図５Ｄは、特徴点Ｃ１〜Ｃ９の第二の推定位置を天頂図上にプロットしたものである。特徴点Ｃ１〜Ｃ９の第二の推定位置は、線分Ｌ２Ｃ１〜Ｌ２Ｃ９として表される。
【００６４】
識別部１３０は、上述のようにして導出した第一の地点における撮像装置２００から特徴点Ｃ１〜Ｃ９までの距離と、第二の地点における撮像装置２００から特徴点Ｃ１〜Ｃ９までの距離とに基づいて、駐車車両Ｐと空間との境界を識別する。
【００６５】
例えば、図５Ｂと図５Ｄとを重ね合わせることで、図５Ｅが得られる。図５Ｂにおいて特徴点Ｃ１〜Ｃ９の第一の推定位置を示す線分Ｌ１Ｃ１〜Ｌ１Ｃ９と、図５Ｄにおいて特徴点Ｃ１〜Ｃ９の第二の推定位置を示す線分Ｌ２Ｃ１〜Ｌ２Ｃ９とは、図５Ｅに示すように交点ＩＣ１〜ＩＣ９でそれぞれ交差する。
【００６６】
識別部１３０は、図５Ｂにおいて特徴点Ｃ１を示す線分Ｌ１Ｃ１と、図５Ｄにおいて特徴点Ｃ１を示す線分Ｌ２Ｃ１との交点ＩＣ１を、特徴点Ｃ１の位置であると決定する。特徴点Ｃ２〜Ｃ９の位置についても同様である。
【００６７】
そして、識別部１３０は、上述の手順で決定された特徴点Ｃ１〜Ｃ９の位置を結ぶことにより、駐車車両Ｐと空間との境界を決定する。また、特徴点Ｃ９は撮像装置２００からみて駐車車両Ｐの奥側端に対応する特徴点である。そのため、識別部１３０は、特徴点Ｃ９に基づいて駐車車両Ｐの後面を決定する。
【００６８】
図５Ｆには、駐車車両Ｐの前面、左側面および後面が決定された様子が描かれている。このように、駐車車両Ｐの左側面からの反射光を十分に得られる第一の地点および第二の地点での測距情報を用いることで、駐車車両Ｐの左側面を精度良く決定することができる。なお、駐車車両Ｐの右側面についても、左側面を決定したのと同様の手順により決定することができる。具体的には、車両Ｖが前進を続け、撮像装置２００が駐車車両Ｐの右側面を超えて到達した地点（第一の地点）における測距情報と、車両Ｖがさらに前進を続けて到達した地点（第二の地点）における測距情報とを用いることで、駐車車両Ｐの右側面を決定することができる。
【００６９】
このようにして、駐車車両Ｐの輪郭（駐車車両Ｐと空間との境界）が決定されると、さらに、識別部１３０は、ＴＯＦカメラからの情報に基づいて、駐車車両Ｐの左側および／または右側に、車両Ｖが乗り越えられない障害物がないことを検知する。さらに、識別部１３０は、駐車車両Ｐの左側および／または右側に、車両Ｖが駐車可能な、例えば平面視で長方形のスペース（すなわち、車両Ｖが入る空間）が存在することを検知する。以上のようにして、最終的に、識別部１３０は、駐車車両Ｐの左側および／または右側に隣接する駐車可能スペースを決定する。
【００７０】
次に、識別装置１００によって行われる駐車可能スペースの決定の第二具体例について、図６Ａ〜図６Ｈを参照して説明する。図６Ａ〜図６Ｈは、駐車場内を移動する車両Ｖが駐車可能スペースを検出する様子を示す天頂図である。以下に説明する第二具体例では、車両Ｖの側方に２台の駐車車両Ｐ１およびＰ２が間隔を空けて存在する状況で、車両Ｖが前進する際に、駐車車両Ｐ１と駐車車両Ｐ２との間の駐車可能スペースを決定するものとする。
【００７１】
図６Ａに示すように、車両Ｖの側方に向けて光波が出射される。図６Ａ、図６Ｃ、図６Ｇおよび図６Ｉでは、光波の出射された領域がハッチングを付して示されている。例えば、撮像装置２００から出射される光波の水平方向のＦＯＶ（Field of View）は１２０°である。なお、このようなＦＯＶは任意に設定することができる。
【００７２】
図６Ａの状態では、車両Ｖが前進中で駐車車両Ｐ１に対する第一の地点におり、車両Ｖの進行方向に対して右斜め前方に駐車車両Ｐ１が駐車している。さらに、駐車車両Ｐ１の右側に、間隔を空けて駐車車両Ｐ２が駐車している。撮像装置２００から出射された光波は、駐車車両Ｐ１の前面および左側面で反射する。
【００７３】
測距部１２０は、撮像装置２００により得られた赤外画像または距離画像から、駐車車両Ｐ１の前面および左側面の特徴点Ｃ１〜Ｃ９を抽出し、特徴点Ｃ１〜Ｃ９に対応する画素Ｐ１ｉＣ１〜Ｐ１ｉＣ９を決定する。
【００７４】
なお、Ｃ３は、駐車車両Ｐ１の左側面の撮像装置２００からみて手前側端に対応する特徴点であり、Ｃ９は、駐車車両Ｐ１の左側面の撮像装置２００からみて奥側端に対応する特徴点である。
【００７５】
続いて、測距部１２０は、距離画像を用いて、車両Ｖから特徴点Ｃ１〜Ｃ９までの距離を導出する。具体的には、測距部１２０は、特徴点Ｃ１〜Ｃ９に対応する画素Ｐ１ｉＣ１〜Ｐ１ｉＣ９および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Ｖから特徴点Ｃ１〜Ｃ９までの距離を導出する。このようにして導出された車両Ｖから特徴点Ｃ１〜Ｃ９までの距離は、所定の範囲を有する値である。
【００７６】
続いて、測距部１２０は、導出された車両Ｖから特徴点Ｃ１〜Ｃ９までの距離をもとに、特徴点Ｃ１〜Ｃ９の位置（第一の推定位置）を推定する。図６Ｂは、特徴点Ｃ１〜Ｃ９の第一の推定位置を天頂図上にプロットしたものである。図６Ｂに示すように、特徴点Ｃ１〜Ｃ９の第一推定位置は、線分Ｌ１Ｃ１〜Ｌ１Ｃ９として表される。なお、この時点では、ハッチングを付したエリアＡ１が駐車禁止エリアとして設定される。
【００７７】
車両Ｖが前進を続けると、駐車車両Ｐ１の右側面の略延長線上に撮像装置２００が存在する状態となる（図６Ｃ）。本例では、このような地点を駐車車両Ｐ１に対する第二の地点として扱う。このような状態となったことは、撮像装置２００からみて奥行き方向の距離情報が得られたことにより判断することができる。
【００７８】
測距部１２０は、撮像装置２００により得られた赤外画像または距離画像から、駐車車両Ｐ１の前面および右側面の特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５を抽出し、特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５に対応する画素Ｐ２ｉＣ１〜Ｐ２ｉＣ３およびＰ２ｉＣ１０〜Ｐ２ｉＣ１５を決定する。なお、この状態で、撮像装置２００により得られた赤外画像または距離画像において、特徴点Ｃ１０〜Ｃ１５は、特徴点Ｃ１と重なっているか、特徴点Ｃ１のごく近傍に存在することになる。
【００７９】
測距部１２０は、距離画像を用いて、車両Ｖから特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５までの距離を導出する。具体的には、測距部１２０は、特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５に対応する画素Ｐ２ｉＣ１〜Ｐ２ｉＣ３およびＰ２ｉＣ１０〜Ｐ２ｉＣ１５および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Ｖから特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５までの距離を導出する。このようにして導出された車両Ｖから特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５までの距離は、所定の範囲を有する値である。
【００８０】
続いて、測距部１２０は、導出された車両Ｖから特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５までの距離をもとに、特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５の位置（第二の推定位置）を推定する。図６Ｄは、特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５の第二の推定位置を天頂図上にプロットしたものである。
【００８１】
第二具体例では、特徴点Ｃ３、Ｃ１０〜Ｃ１５が略一直線上に存在する状態を第二の地点とすることで、図６Ｄに示すように、特徴点Ｃ３、Ｃ１０〜Ｃ１５を結んだ境界ラインＬＲが決定される。このような境界ラインＬＲは、駐車車両Ｐ１の右側面に相当する。
【００８２】
識別部１３０は、上述のようにして導出した第一の地点における車両Ｖから特徴点Ｃ１〜Ｃ９までの距離と、第二の地点における車両Ｖから特徴点Ｃ１〜Ｃ３およびＣ１０〜Ｃ１５までの距離とに基づいて、駐車車両Ｐ１と空間との境界を識別する。
【００８３】
例えば、図６Ｂと図６Ｄとを重ね合わせることで、図６Ｅが得られる。図６Ｂにおいて特徴点Ｃ２、Ｃ３の第一の推定位置を示す線分Ｌ１Ｃ２、Ｌ１Ｃ３と、図６Ｄにおいて特徴点Ｃ２、Ｃ３の第二の推定位置を示す線分Ｌ２Ｃ２、Ｌ２Ｃ３とは、図６Ｅに示すように交点ＩＣ２、ＩＣ３でそれぞれ交差する。
【００８４】
また、図６Ｂにおいて特徴点Ｃ１の第一の推定位置を示す線分Ｌ１Ｃ１と、図６Ｄにおいて駐車車両Ｐ１の右側面を示す境界ラインＬＲとは、図６Ｅに示すように交点ＩＣ１で交差する。
【００８５】
識別部１３０は、線分Ｌ１Ｃ２、Ｌ１Ｃ３と線分Ｌ２Ｃ２、Ｌ２Ｃ３との交点および線分Ｌ１Ｃ１と境界ラインＬＲとの交点を結ぶことにより、駐車車両Ｐ１と空間との境界を決定する。図６Ｆには、駐車車両Ｐ１の前面および右側面が決定された様子が描かれている。なお、この時点で、駐車禁止エリアはエリアＡ２に設定され、駐車車両Ｐ１の前面および右側面に関するエリアが最適化される。
【００８６】
また、この時点で、図６Ｃに示すように、撮像装置２００から出射された光波は、駐車車両Ｐ２の前面および左側面でも反射している。すなわち、図６Ｃの状態において、車両Ｖは、駐車車両Ｐ２に対して第一の地点に存在している。そこで、測距部１２０は、撮像装置２００により得られた赤外画像または距離画像から、駐車車両Ｐ２の前面および左側面の特徴点Ｃ２１〜Ｃ２９を抽出し、特徴点Ｃ２１〜Ｃ２９に対応する画素Ｐ１ｉＣ２１〜Ｐ１ｉＣ２９を決定する（図６Ｇ参照）。
【００８７】
なお、Ｃ２３は、駐車車両Ｐ２の左側面の撮像装置２００からみて手前側端に対応する特徴点であり、Ｃ２９は、駐車車両Ｐ２の左側面の撮像装置２００からみて奥側端に対応する特徴点である。
【００８８】
続いて、測距部１２０は、距離画像を用いて、車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離を導出する。具体的には、測距部１２０は、特徴点Ｃ２１〜Ｃ２９に対応する画素Ｐ１ｉＣ２１〜Ｐ１ｉＣ２９および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離を導出する。このようにして導出された車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離は、所定の範囲を有する値である。
【００８９】
続いて、測距部１２０は、導出された車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離をもとに、特徴点Ｃ２１〜Ｃ２９の位置（第一の推定位置）を推定する。図６Ｈは、特徴点Ｃ２１〜Ｃ２９の第一の推定位置を天頂図上にプロットしたものである。図６Ｈに示すように、特徴点Ｃ２１〜Ｃ２９の第一推定位置は、線分Ｌ１Ｃ２１〜Ｌ１Ｃ２９として表される。なお、この時点では、ハッチングを付したエリアＡ３が駐車禁止エリアとして設定される。
【００９０】
車両Ｖがさらに前進を続けると、撮像装置２００、特徴点Ｃ２３および特徴点Ｃ２９が略一直線上に存在する状態となる（図６Ｉ）。本例では、このような地点を駐車車両Ｐ２に対する第二の地点として扱う。この状態で、撮像装置２００により得られた赤外画像または距離画像において、特徴点Ｃ２４〜Ｃ２９は、特徴点Ｃ２３と重なっているか、特徴点Ｃ２３のごく近傍に存在することになる。
【００９１】
測距部１２０は、撮像装置２００により得られた赤外画像または距離画像において、Ｃ２３〜Ｃ２９に対応する画素Ｐ２ｉＣ２１〜Ｐ２ｉＣ２９を決定する。
【００９２】
そして、測距部１２０は、距離画像を用いて、車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離を導出する。具体的には、測距部１２０は、特徴点Ｃ２１〜Ｃ２９に対応する画素Ｐ２ｉＣ２１〜Ｐ２ｉＣ２９および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離を導出する。このようにして導出された車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離は、所定の範囲を有する値である。
【００９３】
続いて、測距部１２０は、導出された車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離をもとに、特徴点Ｃ２１〜Ｃ２９の位置（第二の推定位置）を推定する。図６Ｊは、特徴点Ｃ２１〜Ｃ２９の第二の推定位置を天頂図上にプロットしたものである。
【００９４】
本例では、特徴点Ｃ２３および特徴点Ｃ２９が略一直線上に存在する状態を第二の地点とすることで、図６Ｊに示すように、特徴点Ｃ２３〜Ｃ２９を結んだ境界ラインＬＬが決定される。このような境界ラインＬＬは、駐車車両Ｐ２の左側面に相当する。
【００９５】
識別部１３０は、上述のようにして導出した第一の地点における車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離と、第二の地点における車両Ｖから特徴点Ｃ２１〜Ｃ２９までの距離とに基づいて、駐車車両Ｐ２と空間との境界を識別する。
【００９６】
例えば、図６Ｈと図６Ｊとを重ね合わせることで、図６Ｋが得られる。図６Ｈにおいて特徴点Ｃ２１、Ｃ２２の第一の推定位置を示すＬ１Ｃ２１、Ｌ１Ｃ２２と、図６Ｊにおいて特徴点Ｃ２１、Ｃ２２の第二の推定位置を示すＬ２Ｃ２１、Ｌ２Ｃ２２とは、図６Ｋに示すように交点ＩＣ２１、ＩＣ２２でそれぞれ交差する。
【００９７】
また、図６Ｈにおいて特徴点Ｃ２３〜Ｃ２９の第一の推定位置を示す線分Ｌ１Ｃ２３〜Ｌ１Ｃ２９と、図６Ｊにおいて駐車車両Ｐ２の左側面を示す境界ラインＬＬとは、図６Ｋに示すように交点ＩＣ２３〜ＩＣ２９でそれぞれ交差する。
【００９８】
また、特徴点Ｃ２９は撮像装置２００からみて駐車車両Ｐ２の奥側端に対応する特徴点である。そのため、識別部１３０は、特徴点Ｃ２９に基づいて駐車車両Ｐ２の後端を決定する。図６Ｌには、駐車車両Ｐ２の前面および左側面が決定された様子が描かれている。なお、この時点で、駐車禁止エリアはエリアＡ４に設定され、駐車車両Ｐ２の左側面および前面に関するエリアが最適化される。
【００９９】
このようにして、駐車車両Ｐ１およびＰ２の輪郭が決定されると、さらに、識別部１３０は、ＴＯＦカメラからの情報に基づいて、駐車車両Ｐ１の右側と駐車車両Ｐ２の左側との間に、車両Ｖが乗り越えられない障害物がないことを検知する。さらに、識別部１３０は、駐車車両Ｐ１の右側と駐車車両Ｐ２の左側との間に、車両Ｖが駐車可能な、例えば平面視で長方形のスペース（すなわち、車両Ｖが入る空間）が存在することを検知する。以上のようにして、最終的に、識別部１３０は、駐車車両Ｐ１およびＰ２の間の駐車可能スペースを決定する。
【０１００】
なお、上述の例では、駐車車両Ｐ１に関して、車両Ｖが駐車車両Ｐ１の右側面の略延長線上に撮像装置２００が存在する地点を第二の地点とし、第一の地点での測距情報および第二の地点での測距情報を用いるものを説明したが、これに限定されない。
【０１０１】
車両Ｖが駐車車両Ｐ１の右側面の略延長線上に撮像装置２００が存在する地点では、駐車車両Ｐ１のボディ色、構造等によっては、駐車車両Ｐ１の右側面からの反射光が十分に得られないことが考えられる。また、そこから少し進んだ地点においても、同様に、駐車車両Ｐ１の右側面からの反射光が十分でなく、実際には駐車車両Ｐ１が存在するエリアに駐車車両Ｐ１が存在しないと誤って推定してしまうことが考えられる。このような場合、駐車禁止エリアが過小推定される可能性がある。
【０１０２】
これに対し、例えば、車両Ｖがさらに進んで、撮像装置２００と駐車車両Ｐ１との角度がある程度大きくなり、駐車車両Ｐ１の右側面からの反射光が十分に得られる地点を、駐車車両Ｐ１に関する第三の地点とし、第三の地点でも測距を行うことが考えられる。このような第三の地点としては、例えば、駐車車両Ｐ２に関する第二の地点が挙げられる。
【０１０３】
このようにすれば、実際には駐車車両Ｐ１が存在するエリアに駐車車両Ｐ１が存在しないと誤って推定してしまうことを防止することができ、駐車禁止エリアが過小推定されることを好適に防止することができる。
【０１０４】
すなわち、撮像装置２００と駐車車両の側面とが一直線上に存在しない第一の地点と、撮像装置２００と駐車車両の側面とが略一直線上に存在する第二の地点での測距情報に加え、さらに、撮像装置２００と駐車車両の側面とが一直線上に存在しない第三の地点での測距情報を用いることで、識別精度を向上させることができる。
【０１０５】
以上説明したように、本開示に係る識別装置は、第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、を備える。
【０１０６】
本開示に係る識別装置によれば、対象と空間との境界を精度良く識別することができる。
【０１０７】
なお、上述の実施形態では、駐車車両と空間との境界を識別するものを例に説明を行ったが、これに限定されない。例えば、駐車スペース内に放置されたショッピングカート等の障害物と空間との境界を識別することも可能である。なお、本実施形態では、第一の地点、第二の地点、および第三の地点で撮影した画像を用いて、駐車可能なスペースを精度良く推定する具体例を説明したが、これに限定されない。より多くの地点で撮影した画像を用いることで、より高い精度で駐車スペースを推定可能となることが期待できることは言うまでもない。ただし、より多くの画像を用いることにより演算量が増加するため、駐車スペースと駐車車両との境界を精度良く求めることができれば、用いる画像が少ないほど好ましいことは自明のことである。
【産業上の利用可能性】
【０１０８】
本開示に係る識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体によれば、対象と空間との境界を精度良く識別することができ、車載用途に好適である。
【符号の説明】
【０１０９】
１  周辺監視システム
１００  識別装置
１１０  撮像制御部
１２０  測距部
１３０  識別部
１４０  記憶部
２００  撮像装置
２１０  光源
２２０  画像センサ
Ｖ  車両
Ｐ、Ｐ１、Ｐ２  駐車車両
【図１】
2019174975.tif 000003
【図２Ａ】
2019174975.tif 000004
【図２Ｂ】
2019174975.tif 000005
【図３】
2019174975.tif 000006
【図４】
2019174975.tif 000007
【図５Ａ】
2019174975.tif 000008
【図５Ｂ】
2019174975.tif 000009
【図５Ｃ】
2019174975.tif 000010
【図５Ｄ】
2019174975.tif 000011
【図５Ｅ】
2019174975.tif 000012
【図５Ｆ】
2019174975.tif 000013
【図６Ａ】
2019174975.tif 000014
【図６Ｂ】
2019174975.tif 000015
【図６Ｃ】
2019174975.tif 000016
【図６Ｄ】
2019174975.tif 000017
【図６Ｅ】
2019174975.tif 000018
【図６Ｆ】
2019174975.tif 000019
【図６Ｇ】
2019174975.tif 000020
【図６Ｈ】
2019174975.tif 000021
【図６Ｉ】
2019174975.tif 000022
【図６Ｊ】
2019174975.tif 000023
【図６Ｋ】
2019174975.tif 000024
【図６Ｌ】
2019174975.tif 000025