(57)【要約】【課題】特徴線に対応する対応線を抽出する、改善された有効対応要素抽出装置、有効対応要素抽出方法、プログラム、および非一時的記録媒体を提供する。【解決手段】有効対応要素抽出装置は、第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択する対応線候補選択部と、第１のカメラパラメータと、第２のカメラパラメータに基づいて、第１の線上の第１の点、第１の位置、および第２の位置で定まる平面と、第２の位置、第２のカメラ焦点距離、および第２の方向で定まる平面との交線に対応する第２の撮像画像内の線上に、第２の線上の第２の点があると判定した場合、第１の線および第２の線に関連付けられた有効対応要素を抽出する有効対応線抽出部と、を備える。【選択図】図１
2018124634.tif 000002
【特許請求の範囲】
【請求項１】
第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択する対応線候補選択部と、
前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出する有効対応要素抽出部と、
を備える有効対応要素抽出装置。
【請求項２】
前記第１の線の長さは、前記第２の線の長さ以下である、請求項１に記載の有効対応要素抽出装置。
【請求項３】
前記有効対応要素抽出部は、前記第１のカメラパラメータおよび前記第２のカメラパラメータに基づいて算出される前記第１の点に対応するエピポーラ線と、前記第２の線との交点が、前記第２の点である場合に、前記第２の撮像画像内の線上に前記第２の点があると判定する、請求項１または２に記載の有効対応要素抽出装置。
【請求項４】
前記有効対応要素抽出部は、前記第１のカメラパラメータおよび前記第２のカメラパラメータに基づいて定まるエピポーラ拘束条件を、前記第１の点および前記第２の点が満たす場合に、前記第２の撮像画像内の線上に前記第２の点があると判定する、請求項１または２に記載の有効対応要素抽出装置。
【請求項５】
前記有効対応要素抽出部は、前記第１のカメラパラメータおよび前記第２のカメラパラメータに基づいて定まる射影変換条件を、前記第１の点および前記第２の点が満たす場合に、前記第２の撮像画像内の線上に前記第２の点があると判定する、請求項１または２に記載の有効対応要素抽出装置。
【請求項６】
前記第２の点は、前記第２の線の端点の一方から他方の端点まで、所定の距離ずつ進みながら順次選択される、請求項４または５に記載の有効対応要素抽出装置。
【請求項７】
前記第２の点は、前記第２の線の中点を開始点として、中点に近い点から順に、前記第２の線の端点に達するまで順次選択される、請求項４または５に記載の有効対応要素抽出装置。
【請求項８】
前記第１の点は、前記第１の線の端点の一方から他方の端点まで、所定の距離ずつ進みながら順次選択される、請求項１から７のいずれかに記載の有効対応要素抽出装置。
【請求項９】
前記有効対応要素は、前記第１の線および前記第２の線からなる有効対応線である、請求項１から８のいずれかに記載の有効対応要素抽出装置。
【請求項１０】
前記有効対応要素は、前記第１の点および前記第２の点を含む有効対応点の組である、請求項１から８のいずれかに記載の有効対応要素抽出装置。
【請求項１１】
前記有効対応要素は、前記有効対応点に含まれる前記第１の点および前記第２の点がある前記第１の線内の範囲および前記第２の線内の範囲である、請求項１０に記載の有効対応要素抽出装置。
【請求項１２】
前記第１の点は、前記第１の線の中点を開始点として、中点に近い点から順に、前記第１の線の端点に達するまで順次選択される、請求項１から７のいずれかに記載の有効対応要素抽出装置。
【請求項１３】
前記第１の点は、前記第１の線のいずれかの端点から選択され、前記第２の点は、前記第２の線のいずれかの端点から選択される、請求項３から５のいずれかに記載の有効対応要素抽出装置。
【請求項１４】
第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択するステップと、
前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出するステップと、
を備える有効対応要素抽出方法。
【請求項１５】
有効対応要素抽出装置が備えるコンピュータに、
第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択するステップと、
前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出するステップと、
を実行させるプログラム。
【請求項１６】
コンピュータ読み取り可能なプログラムを記録した非一時的記録媒体であって、
通知装置が備えるコンピュータに、
第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択するステップと、
前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出するステップと、
を実行させるプログラムを記録した非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、有効対応要素抽出装置、有効対応要素抽出方法、プログラム、および非一時的記録媒体に関する。
【背景技術】
【０００２】
近年、カメラ技術の進歩、コストダウン等に伴い、車載カメラを利用して運転を支援するための様々なシステムが開発されている。例えば、車載カメラによって撮像された車両の周囲の画像から、路面上にある輪止め、縁石、ポール等の立体的な形状を検出し、検出した位置に基づいて車両を誘導することにより、車両の自動駐車を支援するシステムが開発されている。
【０００３】
そのようなシステムの１つに、被写体を撮像した複数の撮像画像に含まれる、被写体上の特徴点に対応する対応点を抽出し、抽出した対応点から特徴点の三次元座標を復元するシステムがある。そのような特徴点としては、例えば、対応の取りやすさからコーナ点が用いられる。しかしながら、コーナ点が撮像画像に含まれない場合、特徴点を抽出することができない。また、ノイズにより誤った特徴点が撮像画像に含まれる場合、誤った対応点を抽出してしまう問題がある。そこで、特徴点を用いる手法に代えて、特徴線に対応する対応線を抽出する手法が提案されている（非特許文献１）。
【０００４】
また、三次元空間に置かれた平面を２台のカメラで観察したとき、対応点のカメラ画像は射影変換によりお互いに変換できることが示されている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Lilian  Zhang  ,  Reinhard  Koch  :  An  efficient  and  robust  line  segment  matching  approach  based  on  LBD  descriptor  and  pairwise  geometric  consistency, J.Vis. Commun. Image R.
【非特許文献２】蚊野  浩, 金出  武雄  :  任意のカメラ配置におけるステレオ視とステレオカメラ校正，電子情報通信学会論文誌，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．１１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載の手法は、特徴点を用いる手法と比較して誤対応が少ない。しかしながら、誤った対応線には、無視すべきでないものが含まれる問題がある。
【０００７】
本開示の目的は、特徴線に対応する対応線を抽出する、改善された有効対応要素抽出装置、有効対応要素抽出方法、プログラム、および非一時的記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る有効対応要素抽出装置は、第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択する対応線候補選択部と、前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出する有効対応要素抽出部と、を備える構成を採る。
【０００９】
本開示の一態様に係る有効対応要素抽出方法は、第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択するステップと、前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出するステップと、を備える構成を採る。
【００１０】
本開示の一態様に係るプログラムは、有効対応要素抽出装置が備えるコンピュータに、第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択するステップと、前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出するステップと、を実行させる構成を採る。
【００１１】
本開示の一態様に係るコンピュータ読み取り可能なプログラムを記録した非一時的記録媒体は、通知装置が備えるコンピュータに、第１の位置から第１の方向に被写体を撮像した、第１のカメラ焦点距離を有する第１の撮像画像内で検出された第１の線と、第２の位置から第２の方向に前記被写体を撮像した、第２のカメラ焦点距離を有する第２の撮像画像内で検出された第２の線と、を選択するステップと、前記第１の位置、前記第１の方向、および前記第１のカメラ焦点距離を含む第１のカメラパラメータと、前記第２の位置、前記第２の方向、および前記第２のカメラ焦点距離を含む第２のカメラパラメータに基づいて、前記第１の線上の第１の点、前記第１の位置、および前記第２の位置で定まる平面と、前記第２の位置、前記第２のカメラ焦点距離、および前記第２の方向で定まる平面との交線に対応する前記第２の撮像画像内の線上に、前記第２の線上の第２の点があると判定した場合、前記第１の線および前記第２の線に関連付けられた有効対応要素を抽出するステップと、を実行させるプログラムを記録した構成を採る。
【発明の効果】
【００１２】
本開示によれば、特徴線に対応する対応線を抽出する、改善された有効対応要素抽出装置、有効対応要素抽出方法、プログラム、および非一時的記録媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示に係る有効対応要素抽出システムの構成図である。
【図２】基本行列を導くための説明図である。
【図３】第１の実施の形態に係る有効対応要素抽出システムの動作フローチャートである。
【図４】第１の実施の形態に係る有効対応要素抽出システムの動作の説明図である。
【図５】第２から第４の実施の形態に係る有効対応要素抽出システムの動作フローチャートである。
【図６】第２の実施の形態における、図５のステップＳ２３の処理内容を示す動作フローチャートである。
【図７】第２の実施の形態に係る有効対応要素抽出システムの動作の説明図である。
【図８】第３の実施の形態における、図５のステップＳ２３の処理内容を示す動作フローチャートである。
【図９】第３の実施の形態に係る有効対応要素抽出システムの動作の説明図である。
【図１０】第４の実施の形態における、図５のステップＳ２３の処理内容を示す動作フローチャートである。
【図１１】第５の実施の形態に係る有効対応要素抽出システムの動作フローチャートである。
【図１２】第５の実施の形態に係る有効対応要素抽出システムの動作の説明図である。
【図１３】第６の実施の形態に係る有効対応要素抽出システムの動作フローチャートである。
【図１４】第６の実施の形態に係る有効対応要素抽出システムの動作の説明図である。
【図１５】コンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。図１は、本開示に係る有効対応要素抽出システム１の構成図である。有効対応要素抽出システム１は、ステレオ撮像部２と、対応線候補検出部３と、制御部４と、三次元座標復元部５と、車両制御部６とを備える。
【００１５】
ステレオ撮像部２は、異なる位置から同一の被写体を撮像し、複数の撮像画像を画像データとして取得する。一例において、ステレオ撮像部２は、ステレオ画像を撮像するステレオカメラの右側カメラおよび左側カメラである。例えば、制御部４は、右側カメラおよび左側カメラの位置および撮像方向を、車両情報として取得することができる。
【００１６】
他の一例において、ステレオ撮像部２は、移動しながら同一の被写体を撮像し、複数の撮像画像を画像データとして取得する単一のカメラである。例えば、制御部４は、複数の撮像画像のそれぞれが撮像されたカメラの位置および撮像方向を、車両情報として取得することができる。
【００１７】
対応線候補検出部３は、ステレオ撮像部２が撮像した複数の撮像画像内に、同一の被写体に対応する対応線の候補となる線を検出する。例えば、対応線候補検出部３は、ステレオ撮像部２が撮像した第１の撮像画像内に、第１の線を検出し、ステレオ撮像部２が撮像した第２の撮像画像内に、第２の線を検出する。一例において、対応線候補検出部３は、撮像画像内に含まれるエッジを検出し、検出したエッジの周囲の画素値の勾配方向に基づいて、第１の線および第２の線を対応線の候補として検出する。エッジを検出するための手法としては、例えば、Ｃａｎｎｙ変換、Ｓｏｂｅｌ演算子、Ｓｃｈａｒｒ演算子、Ｐｒｅｗｉｔｔ演算子、Ｒｏｂｅｒｔｓ  ｃｒｏｓｓ演算子等を用いる既知の手法が挙げられる。
【００１８】
有効対応要素抽出装置として機能する制御部４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、制御部４の各ブロックの動作を集中制御する。制御部４は、対応線候補選択部７と、対応点候補選択部８と、有効対応点判定部９と、有効対応要素抽出部１０として機能することができる。
【００１９】
対応線候補選択部７は、第１の撮像画像および第２の撮像画像から、対応線候補Ｌ１，Ｌ２を選択する。一例において、対応線候補選択部７は、第１の撮像画像に含まれるＬ１の長さが第２の撮像画像に含まれるＬ２の長さよりも小さくなるように、第１の撮像画像および第２の撮像画像を入れ替える。
【００２０】
対応点候補選択部８は、対応線候補Ｌ１，Ｌ２から対応点候補を選択する。一例において、対応点候補選択部８は、対応線候補選択部７が選択した対応線候補Ｌ１，Ｌ２に対し、Ｌ１の両端点およびＬ２の両端点の組み合わせを、対応点候補として選択する。
【００２１】
他の一例において、対応点候補選択部８は、対応線候補の片方の線の中点を選択開始点として、中点に近い点から順に、線の端点に達するまで、中点の両側に線上の点を順次選択する。例えば、対応点候補選択部８は、前回に選択した点と中点との距離がＤであるときに、中点を挟んで前回に選択した点と反対側に、距離Ｄ＋δの点を選択する。ここで、所定の差分δは任意の正の数である。
【００２２】
他の一例において、対応点候補選択部８は、対応線候補の端点の一方を選択開始点として、他方の端点に向けて、δずつ進みながら、線上の他の点を順次選択する。ここで、所定の差分δは任意の正の数である。
【００２３】
有効対応点判定部９は、対応点候補選択部８が選択した対応線候補上に、有効対応点があるか否かを判定する。一例において、有効対応点判定部９は、対応点候補選択部８が選択した対応点が、エピポーラ拘束条件を満たすか否かを判定することにより、有効対応点があるか否かを判定する。他の一例において、有効対応点判定部９は、エピポーラ線と対応線候補とが交点をもつか否かを判定することにより、有効対応点があるか否かを判定する。エピポーラ拘束条件およびエピポーラ線については、図２を参照して後述する。
【００２４】
他の一例において、有効対応点判定部９は、対応点候補選択部８が選択した対応点が、射影変換条件を満たすか否かを判定することにより、有効対応点があるか否かを判定する。射影変換条件については、図１０を参照して後述する。
【００２５】
有効対応要素抽出部１０は、有効対応点があると有効対応点判定部９が判定した場合、対応線候補に関連付けられた有効対応要素を抽出する。一例において、有効対応要素は、例えば、有効対応線（inlier）である対応線候補自体である。他の一例において、有効対応要素は、有効対応点の組である。他の一例において、有効対応要素は、有効対応点に含まれる点がある、有効対応線内の範囲である。
【００２６】
三次元座標復元部５は、有効対応要素抽出部１０が抽出した有効対応要素に基づいて、被写体の三次元座標を復元する。一例において、有効対応要素抽出部１０が有効対応線内の対応点を抽出した場合、三次元座標復元部５は、公知のステレオビジョンの原理に基づいて、対応点に対応する被写体の三次元座標を復元する。
【００２７】
車両制御部６は、三次元座標復元部５が復元した被写体の三次元座標に基づいて、車両を制御する。一例において、車両制御部６は、三次元座標復元部５が復元した被写体の三次元座標から、輪止め、縁石、ポールを検出し、検出された輪止め、縁石、ポールの位置に基づいて、車両を移動させる。
【００２８】
＜諸概念の説明−その１＞
次に、本開示において用いられるエピポーラ拘束値、エピポーラ拘束条件、およびエピポーラ線を説明するための準備として、同次座標、カメラ座標系、画像座標系、正規化画像座標系、画像座標系および正規化画像座標系の間の座標変換、基本行列、および基礎行列を次に説明する。
【００２９】
＜同次座標＞
二次元座標ｘ＝（ｘ，ｙ）に対して、実数ａ１，ａ２，ａ３が、
【数１】
2018124634.tif 000003
を満たすとき、
【数２】
2018124634.tif 000004
をｘの同次座標とよび、
【数３】
2018124634.tif 000005
で表す。次の同値関係〜：
【数４】
2018124634.tif 000006
を用いると、
【数５】
2018124634.tif 000007
と書くことができる。三次元座標に対しても、同様に同次座標を定義することができる。
【００３０】
なお、本明細書において、数式中の太字はベクトルを表すことに留意する。但し、本文中においては、縦ベクトルを横ベクトルで、また太字を細字で記載することがあることに留意する。
【００３１】
＜カメラ座標系＞
カメラ座標系は、カメラの位置に原点Ｏをとり、カメラ座標からカメラの水平方向、垂直方向、および光軸方向にそれぞれＸ軸、Ｙ軸、およびＺ軸をとる三次元座標系である。
【００３２】
＜画像座標系＞
カメラ座標系の原点Ｏからカメラ焦点距離ｆだけカメラ座標系のＺ軸の正方向に離れた点ｃを通る、カメラ座標系のＺ軸に垂直な平面を画像平面とよぶ。画像座標系は、カメラ座標系のＸ軸およびＹ軸にそれぞれ平行なｕ軸およびｖ軸をとる、画像平面内の二次元座標系である。点ｃの画像座標は（ｃｕ，ｃｖ）である。
【００３３】
＜正規化画像座標系＞
カメラ座標系の原点Ｏから単位距離１だけカメラ座標系のＺ軸の正方向に離れた点ｏを通る、カメラ座標系のＺ軸に垂直な平面を正規化画像平面とよぶ。正規化画像座標系は、カメラ座標系のＸ軸およびＹ軸にそれぞれ平行なｘ軸およびｙ軸をとる、点ｏを原点とする正規化画像平面内の二次元座標系である。点ｏの正規化画像座標は（０，０）である。
【００３４】
＜画像座標系および正規化画像座標系の間の座標変換＞
カメラ座標系の原点Ｏと三次元空間内の点Ｑとを通る直線が、画像平面および正規化画像平面と、それぞれ画像座標ｍ＝（ｕ，ｖ）の点および正規化画像座標ｘ＝（ｘ，ｙ）の点において交わっているとする。初等幾何学の知識を用いて、
【数６】
2018124634.tif 000008
を導くことができる。ここで、δｕ，δvは、それぞれ画像平面における１画素の横幅および縦幅である。カメラ焦点距離ｆ、１画素の横幅δｕおよび縦幅δvは、カメラ固有のパラメータである。一例において、カメラ固有のパラメータであるカメラ焦点距離ｆ、１画素の横幅δｕおよび縦幅δvは、制御部４が取得する車両情報に含まれる。（数式１）は、同次座標
【数７】
2018124634.tif 000009
を用いて、
【数８】
2018124634.tif 000010
と書き直すことができる。但し、
【数９】
2018124634.tif 000011
である。
【００３５】
＜基本行列＞
図２は、基本行列を導くための説明図である。三次元空間において、第１のカメラ座標系の原点Ｏと三次元空間内の点Ｑを通る直線が、第１の正規化画像Ｉ１上の第１の正規化画像座標ｘにある点Ｑ１で交わるとする。さらに、三次元空間において、第２のカメラ座標系の原点Ｏ’と三次元空間内の点Ｑを通る直線が、第２の正規化画像Ｉ２上の第２の正規化画像座標ｘ’の点Ｑ２で交わるとする。
【００３６】
第１の正規化画像座標および第２の正規化画像座標の間の座標系の回転を表す回転行列をＲとすると、第１のカメラ座標系を用いて表したＱ１の座標ベクトル（ｘ，ｙ，１）が、第２のカメラ座標系を用いてＲ（ｘ，ｙ，１）と表されることに留意する。さらに、第２のカメラ座標系を用いて表したＱ２の座標ベクトル（ｘ’，ｙ’，１）とＱ２の第２の正規化画像座標の同次座標
【数１０】
2018124634.tif 000012
とが、次の式を満たすことに留意する。
【数１１】
2018124634.tif 000013
【００３７】
図２から明らかであるように、線分ＯＯ’と線分ＯＱ１と線分Ｏ’Ｑ２とは、同一平面内にある。したがって、第２のカメラ座標系を用いて表した、第１のカメラ座標系の原点Ｏの位置ベクトルをｔとすると、
【数１２】
2018124634.tif 000014
が同一平面内にあることが判る。したがって、ｔと
【数１３】
2018124634.tif 000015
と
【数１４】
2018124634.tif 000016
のスカラ積はゼロとなる。したがって、次の式が成り立つ。
【数１５】
2018124634.tif 000017
この式は、次のように変形することができる。
【数１６】
2018124634.tif 000018
但し、
【数１７】
2018124634.tif 000019
である。したがって、次の式（数式３）が成り立つ。
【数１８】
2018124634.tif 000020
ここで、行列
【数１９】
2018124634.tif 000021
を基本行列とよぶ。
【００３８】
なお、上述のように、第１のカメラ座標系および第２のカメラ座標系の相対的な関係は、回転行列Ｒおよび位置ベクトルｔによって特徴付けることができる。一例において、回転行列Ｒおよび位置ベクトルｔは、制御部４が取得する車両情報に含まれるカメラの位置および撮像方向に基づいて算出される。
【００３９】
＜基礎行列＞
第１のカメラ座標系の原点Ｏと三次元空間内の点Ｑとを通る直線が、第１の画像平面および第１の正規化画像平面と、それぞれ第１の画像座標ｍの点および第１の正規化画像座標ｘの点において交わっているとする。（数式２）より、第１の画像座標ｍの同次座標
【数２０】
2018124634.tif 000022
と第１の正規化画像座標ｘの同次座標
【数２１】
2018124634.tif 000023
との間に、次の関係が成り立つことが導かれる。
【数２２】
2018124634.tif 000024
【００４０】
第２のカメラ座標系の原点Ｏ’と三次元空間内の点Ｑとを通る直線が、第２の画像平面および第２の正規化画像平面と、それぞれ第２の画像座標ｍ’の点および第２の正規化画像座標ｘ’の点において交わっているとする。（数式２）より、第２の画像座標ｍ’の同次座標
【数２３】
2018124634.tif 000025
と正規化画像座標ｘの同次座標
【数２４】
2018124634.tif 000026
との間に、次の関係が成り立つことが導かれる。
【数２５】
2018124634.tif 000027
【００４１】
これらの式を、（数式３）に代入し、行列の転置公式
【数２６】
2018124634.tif 000028
を用いると、
【数２７】
2018124634.tif 000029
が成り立つ。したがって、次の式が成り立つ。
【数２８】
2018124634.tif 000030
ここで、行列
【数２９】
2018124634.tif 000031
を基礎行列とよぶ。
【００４２】
＜エピポーラ拘束値、エピポーラ拘束条件＞
三次元空間において、第１のカメラ座標系の原点Ｏと三次元空間内の点Ｑを通る直線が、第１の画像座標ｍで表される第１の画像Ｉ１上の点で交わるとする。この場合、第２の画像座標ｍ’で表される第２の画像Ｉ２上の点において、第２のカメラ座標系の原点Ｏ’と三次元空間内の点Ｑを通る直線が交わる場合、基礎行列Ｆと第１の画像座標ｍおよび第２の画像座標ｍ’の同次座標との間に、
【数３０】
2018124634.tif 000032
の関係が成り立つ。そこで、第１の画像座標ｍおよび第２の画像座標ｍ’に対して、エピポーラ拘束値ｅｖを
【数３１】
2018124634.tif 000033
と定義すると、（数式４）は、
【数３２】
2018124634.tif 000034
と書くこともできる。条件（数式５）を狭義のエピポーラ拘束条件とよぶ。
【００４３】
なお、撮像画像における誤差等を考慮して、狭義のエピポーラ拘束条件に代えて、次の条件（広義のエピポーラ拘束条件とよぶ）を用いることもできる。
【数３３】
2018124634.tif 000035
ここで、εは基礎行列Ｆに応じて選ぶことができる任意の正の定数である。
【００４４】
（狭義の）エピポーラ拘束条件は、第１の画像座標ｍの点（第１の点）、第１のカメラ座標系の原点Ｏ（第１の位置）、および第２のカメラ座標系の原点Ｏ’（第２の位置）で定まる平面と、第２の位置、カメラ焦点距離ｆ（第２のカメラ焦点距離）、および第２のカメラ座標系のＺ軸方向（第２の方向）で定まる平面との交線に対応する第２の画像Ｉ２内の線上に第２の画像座標ｍ’の点（第２の点）があるための条件として、特徴付けることができる。
【００４５】
＜エピポーラ線＞
また、第１の画像座標ｍの点に対応する第２の画像内のエピポーラ線は、第２の画像座標ｍ’を用いて、
【数３４】
2018124634.tif 000036
と表すことができる。
【００４６】
エピポーラ線は、第１の画像座標ｍの点（第１の点）、第１のカメラ座標系の原点Ｏ（第１の位置）、および第２のカメラ座標系の原点Ｏ’（第２の位置）で定まる平面と、第２の位置、カメラ焦点距離ｆ（第２のカメラ焦点距離）、および第２のカメラ座標系のＺ軸方向（第２の方向）で定まる平面との交線に対応する第２の画像Ｉ２内の線として、特徴付けることができる。
【００４７】
第１の実施の形態から第３の実施の形態および第５の実施の形態から第６の実施の形態においては、基礎行列Ｆは、車両から取得したステレオ撮像部２の情報に基づいて算出されるものとする。
【００４８】
（第１の実施の形態）
図３は、第１の実施の形態に係る有効対応要素抽出システム１の動作フローチャートである。まず、ステップＳ１１において、制御部４は、対応線候補Ｌ１，Ｌ２を選択する（対応線候補選択部７としての処理）。
【００４９】
ステップＳ１２において、制御部４は、候補対応点（ｍ１，ｍ２）を｛（ｓｔ１，ｓｔ２），（ｓｔ１，ｅｎｄ２），（ｅｎｄ１，ｓｔ２），（ｅｎｄ１，ｅｎｄ２）｝から選択する（対応点候補選択部８としての処理）。ここで、ｓｔ１およびｅｎｄ１は、Ｌ１の両端点である。また、ｓｔ２およびｅｎｄ２は、Ｌ２の両端点である。線の端点は、公知の画像処理技法を用いて求めることができる。
【００５０】
ステップＳ１３において、制御部４は、候補対応点（ｍ１，ｍ２）に対して、エピポーラ拘束値ｅｖ（ｍ１，ｍ２）を算出し、エピポーラ拘束条件を満たすか否か（｜ｅｖ（ｍ１，ｍ２）｜＜εであるか否か）を判定する（有効対応点判定部９としての処理）。
【００５１】
｜ｅｖ｜＜εであると判定した場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１４に進む。ステップＳ１４において、制御部４は、対応線候補Ｌ１，Ｌ２を有効対応線であると判定し、フローを終了する（有効対応要素抽出部１０としての処理）。
【００５２】
一方、｜ｅｖ｜＜εでないと判定した場合（ステップＳ１３：Ｎｏ）、ステップＳ１５に進む。ステップＳ１５において、制御部４は、候補対応点（ｍ１，ｍ２）の選択が終了したか否かを判定する（対応点候補選択部８としての処理）。
【００５３】
候補対応点（ｍ１，ｍ２）の選択が終了していない判定した場合（ステップＳ１５：Ｎｏ）、ステップＳ１２に戻り、別の候補対応点（ｍ１，ｍ２）を選択する（対応点候補選択部８としての処理）。
【００５４】
一方、候補対応点（ｍ１，ｍ２）の選択が終了したと判定した場合（ステップＳ１５：Ｙｅｓ）、ステップＳ１６に進む。ステップＳ１６において、制御部４は、対応線候補Ｌ１，Ｌ２を無効対応線（outlier）と判定し、フローを終了する（有効対応要素抽出部１０としての処理）。
【００５５】
図４は、第１の実施の形態に係る有効対応要素抽出システム１の動作の説明図である。ステレオ撮像部２（Ｃａｍ１，Ｃａｍ２）が、三次元空間内の線Ｌを、それぞれ撮像画像Ｉ１，Ｉ２内に、Ｌ１，Ｌ２として撮像している。対応線候補検出部３は、エッジ検出の画像処理により、Ｌ１，Ｌ２を対応線候補として検出している。
【００５６】
対応線候補選択部７が、対応線候補Ｌ１，Ｌ２を選択し、対応点候補選択部８が、候補対応点（ｍ１，ｍ２）として、例えば（ｅｎｄ１，ｅｎｄ２）を選択する。次いで、有効対応点判定部９は、エピポーラ拘束値ｅｖ（ｅｎｄ１，ｅｎｄ２）を算出し、エピポーラ拘束条件を満たすか否か（｜ｅｖ（ｅｎｄ１，ｅｎｄ２）｜＜εであるか否か）を判定する。エピポーラ拘束条件を満たすと判定された場合、有効対応要素抽出部１０は、対応線候補Ｌ１，Ｌ２を有効対応線として抽出する。
【００５７】
このように、第１の実施の形態に係る有効対応要素抽出装置によれば、対応線候補の全ての端点の組み合わせがエピポーラ拘束条件を満たさない場合であっても、有効対応線を抽出することができる場合がある。例えば、対応線候補の片方の端点が撮像画像において他の物体の影になっている場合であっても、有効対応線を抽出することができ、抽出率を向上することができる。また、エピポーラ拘束条件を用いることにより、誤った有効対応線の抽出を軽減することができる。
【００５８】
（第２の実施の形態）
第１の実施の形態においては、対応線候補の端点を抽出する必要がある。また、例えば対応線候補Ｌ１，Ｌ２の片方（例えばＬ１）の両端点が、撮像画像において他の物体の影になっている場合、撮像画像から求めた対応線候補の端点が実際の対応線候補の端点とは異なる場合がある。そこで、以下の実施の形態において、対応線候補の端点を抽出せずに、有効対応線を求める方法を説明する。
【００５９】
図５は、第２から第４の実施の形態に係る有効対応要素抽出システム１の動作フローチャートである。ステップＳ２１において、制御部４は、対応線候補Ｌ１，Ｌ２を選択する（対応線候補選択部７としての処理）。一例において、Ｌ１の長さがＬ２の長さ以下であるように選択する。
【００６０】
ステップＳ２２において、制御部４は、Ｌ１上の点ｍ１を選択する（対応点候補選択部８としての処理）。一例において、対応点候補選択部８は、Ｌ１の中点を、点ｍ１の選択開始点とする。他の一例において、対応点候補選択部８は、Ｌ１の端点の一方を、点ｍ１の選択開始点とする。
【００６１】
ステップＳ２３において、制御部４は、Ｌ２上の対応点ｍ２を求める（対応点候補選択部８および有効対応点判定部９としての処理）。第２の実施の形態における、ステップＳ２３の処理内容は、図６を参照して後述する。
【００６２】
ステップＳ２４において、制御部４は、対応点ｍ２が存在するか否かを判定する（有効対応要素抽出部１０としての処理）。対応点ｍ２が存在すると判定した場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２５に進む。ステップＳ２５において、制御部４は、対応線候補Ｌ１，Ｌ２を有効対応線と判定する（有効対応要素抽出部１０としての処理）。
【００６３】
一方、対応点ｍ２が存在しないと判定した場合（ステップＳ２４：Ｎｏ）、ステップＳ２６に進む。ステップＳ２６において、制御部４は、ｍ１が選択終了点であるか否かを判定する（対応点候補選択部８としての処理）。ｍ１が終了選択点でないと判定した場合（ステップＳ２６：Ｎｏ）、ステップＳ２２に戻り、対応点候補選択部８は、Ｌ１上の他の点ｍ１を選択する。一例において、対応点候補選択部８は、Ｌ１の中点に近い点から順に、Ｌ１上の他の点ｍ１を選択する。他の一例において、対応点候補選択部８は、Ｌ１の端点の一方から他方の端点に向けて順に、Ｌ１上の他の点ｍ１を選択する。
【００６４】
一方、ｍ１が終了選択点であると判定した場合（ステップＳ２６：Ｙｅｓ）、ステップＳ２７に進む。ステップＳ２７において、制御部４は、対応線候補Ｌ１，Ｌ２を無効対応線と判定し、フローを終了する（有効対応要素抽出部１０としての処理）。
【００６５】
図６は、第２の実施の形態における、図５のステップＳ２３の処理内容を示す動作フローチャートである。ステップＳ３１において、有効対応点判定部９は、ｍ１に対応する第２の撮像画像におけるエピポーラ線ｅｐ１：
【数３５】
2018124634.tif 000037
を求める。
【００６６】
ステップＳ３２において、有効対応点判定部９は、エピポーラ線ｅｐ１とＬ２とが交点ｍ２をもつか否かを判定する。交点をもつと判定した場合（Ｓ３２：Ｙｅｓ）、ステップＳ３３に進む。ステップＳ３３において、有効対応点判定部９は、ｍ２が存在すると判定し、フローを終了する。
【００６７】
一方、交点をもたないと判定した場合（Ｓ３２：Ｎｏ）、ステップＳ３４に進む。ステップＳ３４において、有効対応点判定部９は、ｍ２が存在しないと判定し、フローを終了する。
【００６８】
図７は、第２の実施の形態に係る有効対応要素抽出システム１の動作の説明図である。ステレオ撮像部２（Ｃａｍ１，Ｃａｍ２）が、三次元空間内の線Ｌを、それぞれ撮像画像Ｉ１，Ｉ２内に、Ｌ１，Ｌ２として撮像している。対応線候補検出部３は、エッジ検出の画像処理により、Ｌ１，Ｌ２を対応線候補として検出している。
【００６９】
対応線候補選択部７が、対応線候補Ｌ１，Ｌ２を選択し、対応点候補選択部８が、Ｌ１上の点ｍ１を選択する。次いで、有効対応点判定部９は、ｍ１に対応する第２の撮像画像におけるエピポーラ線ｅｐ１を求める。図７において、Ｌ２とエピポーラ線ｅｐ１とが交点ｍ２をもっているので、有効対応点判定部９は、エピポーラ線ｅｐ１とＬ２とが交点ｍ２をもつと判定する。したがって、有効対応要素抽出部１０は、対応線候補Ｌ１，Ｌ２を有効対応線として抽出する。
【００７０】
このように、第２の実施の形態に係る有効対応要素抽出装置によれば、対応線候補Ｌ１，Ｌ２の片方（例えばＬ１）の両端点が、撮像画像において他の物体の影になっている場合であっても、有効対応線Ｌ１，Ｌ２を抽出することができ、抽出率を向上することができる。また、エピポーラ線を用いることにより、誤った有効対応線の抽出を軽減することができる。
【００７１】
（第３の実施の形態）
図８は、第３の実施の形態における、図５のステップＳ２３の処理内容を示す動作フローチャートである。第３の実施の形態は、図５に示される第２から第４の実施の形態に係る動作フローチャートにおいて、ステップＳ２３の処理内容を、図８で示される処理内容に変更する点を除いて、第２の実施の形態と同様である。以下、相違する点について説明する。
【００７２】
ステップＳ４１において、対応点候補選択部８は、Ｌ２上の点ｍ２を選択する。一例において、対応点候補選択部８は、Ｌ２の中点を、点ｍ２の選択開始点とする。他の一例において、対応点候補選択部８は、Ｌ２の端点の一方を、点ｍ２の選択開始点とする。
【００７３】
ステップＳ４２において、有効対応点判定部９は、候補対応点（ｍ１，ｍ２）に対して、エピポーラ拘束値ｅｖ（ｍ１，ｍ２）を算出し、エピポーラ拘束条件を満たすか否か（｜ｅｖ（ｍ１，ｍ２）｜＜εであるか否か）を判定する。
【００７４】
ｍ１，ｍ２がエピポーラ拘束条件を満たすと判定した場合（ステップＳ４２：Ｙｅｓ）、ステップＳ４３に進む。ステップＳ４３において、有効対応点判定部９は、対応点ｍ２が存在すると判定し、フローを終了する。
【００７５】
一方、ｍ１，ｍ２がエピポーラ拘束条件を満たさないと判定した場合（ステップＳ４２：Ｎｏ）、ステップＳ４４に進む。ステップＳ４４において、対応点候補選択部８は、ｍ２が選択終了点であるか否かを判定する。
【００７６】
ｍ２が選択終了点でないと判定した場合（ステップＳ４４：Ｎｏ）、ステップＳ４１に戻り、Ｌ２上の他の点ｍ２を選択する。一例において、対応点候補選択部８は、Ｌ２の中点に近い点から順に、Ｌ２上の他の点ｍ２を選択する。他の一例において、対応点候補選択部８は、Ｌ２の端点の一方から他方の端点に向けて順に、Ｌ２上の他の点ｍ２を選択する。
【００７７】
一方、ｍ２が選択終了点であると判定した場合（ステップＳ４４：Ｙｅｓ）、ステップＳ４５に進む。ステップＳ４５において、有効対応点判定部９は、対応点ｍ２が存在しないと判定し、フローを終了する。
【００７８】
図９は、第３の実施の形態に係る有効対応要素抽出システム１の動作の説明図である。ステレオ撮像部２（Ｃａｍ１，Ｃａｍ２）が、三次元空間内の線Ｌを、それぞれ撮像画像Ｉ１，Ｉ２内に、Ｌ１，Ｌ２として撮像している。対応線候補検出部３は、エッジ検出の画像処理により、Ｌ１，Ｌ２を対応線候補として検出している。
【００７９】
対応線候補選択部７が、対応線候補Ｌ１，Ｌ２を選択し、対応点候補選択部８が、Ｌ１上の点ｍ１を選択し、対応点候補選択部８は、Ｌ２上の点ｍ２を選択する。次いで、有効対応点判定部９は、エピポーラ拘束値ｅｖ（ｍ１，ｍ２）を算出し、エピポーラ拘束条件を満たすか否か（｜ｅｖ（ｍ１，ｍ２）｜＜εであるか否か）を判定する。エピポーラ拘束条件を満たすと判定された場合、有効対応要素抽出部１０は、対応線候補Ｌ１，Ｌ２を有効対応線として抽出する。
【００８０】
このように、第３の実施の形態に係る有効対応要素抽出装置によれば、対応線候補Ｌ１，Ｌ２の片方（例えばＬ１）の両端点が、撮像画像において他の物体の影になっている場合であっても、有効対応線Ｌ１，Ｌ２を抽出することができ、抽出率を向上することができる。また、エピポーラ拘束条件を用いることにより、誤った有効対応線の抽出を軽減することができる。
【００８１】
（第４の実施の形態）
次に、射影変換条件を用いる第４の実施の形態を説明する。
【００８２】
三次元空間において、第１のカメラ座標系の原点Ｏと三次元空間内の点Ｑを通る直線が、第１の画像座標ｍ１で表される第１の画像Ｉ１上の点で交わるとする。このとき、非特許文献２に示されている手順に従えば、ｍ１に対して、第２のカメラの第２の画像上での、ｍ１の対応点候補である画像座標ｍ２ｃを求めることが出来る。このことを、
【数３６】
2018124634.tif 000038
と定義する。なお、非特許文献２によると射影変換行列は、姿勢変化量を含む車両情報と、予め設定された平面、例えば、Ｚ軸方向の複数の平面から求めることができる。さらに、第１の画像座標ｍ１および第２の画像座標ｍ２に対して、射影変換距離値Ｖを、
【数３７】
2018124634.tif 000039
と定義する。ここで、ｄは、座標空間において定義された任意の距離である。このとき、
【数３８】
2018124634.tif 000040
を満たすｍ２を、ｍ１の対応とみなすことができる。条件（数式１８）を狭義の射影変換条件とよぶ。
【００８３】
なお、撮像画像における誤差等を考慮して、狭義の射影変換条件に代えて、次の条件（広義の射影変換条件とよぶ）を用いることもできる。
【数３９】
2018124634.tif 000041
ここで、εは任意の正の定数である。狭義および広義の射影変換の条件とともに、ｍ２ｃを基準とした距離から、対応点であるｍ２を決定しようとしている。
【００８４】
図１０は、第４の実施の形態における、図５のステップＳ２３の処理内容を示す動作フローチャートである。第４の実施の形態は、図５に示される第２から第４の実施の形態に係る動作フローチャートにおいて、ステップＳ２３の処理内容のうちステップＳ４２の処理内容を、図１０のステップＳ４２’で示される処理内容に変更する点を除いて、第３の実施の形態と同様である。以下、相違する点について説明する。
【００８５】
ステップＳ４２’において、有効対応点判定部９は、候補対応点（ｍ１，ｍ２）に対して、射影変換距離値Ｖ（ｍ１，ｍ２）を算出し、射影変換条件を満たすか否か（Ｖ（ｍ１，ｍ２）＜εであるか否か）を判定する（有効対応点判定部９としての処理）。
【００８６】
ｍ１，ｍ２が射影変換条件を満たすと判定した場合（ステップＳ４２’：Ｙｅｓ）、ステップＳ４３に進む。一方、ｍ１，ｍ２が射影変換条件を満たさないと判定した場合（ステップＳ４２’：Ｎｏ）、ステップＳ４４に進む。
【００８７】
このように、第４の実施の形態に係る有効対応要素抽出装置によれば、対応線候補Ｌ１，Ｌ２の片方（例えばＬ１）の両端点が、撮像画像において他の物体の影になっている場合であっても、有効対応線Ｌ１，Ｌ２を抽出することができ、抽出率を向上することができる。また、射影変換条件を用いることにより、誤った有効対応線の抽出を軽減することができる。
【００８８】
（第５の実施の形態）
図１１は、第５の実施の形態に係る有効対応要素抽出システム１の動作フローチャートである。第５の実施の形態においては、動作に伴い変化するフラグが使用される。一例において、フラグは、ＯＦＦ（初期値）、ＯＮ、ＳＴＯＰの３つの値をとる。
【００８９】
ステップＳ５１において、制御部４は、対応線候補Ｌ１，Ｌ２を選択する（対応線候補選択部７としての処理）。一例において、Ｌ１の長さがＬ２の長さ以下であるように選択する。
【００９０】
ステップＳ５２において、制御部４は、Ｌ１上の点ｍ１を選択する（対応点候補選択部８としての処理）。一例において、対応点候補選択部８は、Ｌ１の端点の一方を、点ｍ１の選択開始点とする。
【００９１】
ステップＳ５３において、制御部４は、Ｌ２上の対応点ｍ２を求める（対応点候補選択部８および有効対応点判定部９としての処理）。一例において、図６を参照して説明されたように、有効対応点判定部９は、エピポーラ線ｅｐ１とＬ２とが交点ｍ２をもつか否かを判定することにより、Ｌ２上の対応点ｍ２を求める。他の一例において、図８を参照して説明されたように、対応点候補選択部８が選択したｍ２に対して、ｍ１，ｍ２がエピポーラ拘束条件を満たすか否かを有効対応点判定部９が判定することにより、Ｌ２上の対応点ｍ２を求める。他の一例において、図１０を参照して説明されたように、対応点候補選択部８が選択したｍ２に対して、ｍ１，ｍ２が射影変換条件を満たすか否かを有効対応点判定部９が判定することにより、Ｌ２上の対応点ｍ２を求める。
【００９２】
ステップＳ５４において、制御部４は、対応点ｍ２が存在するか否かを判定する（有効対応要素抽出部１０としての処理）。対応点ｍ２が存在しないと判定した場合（ステップＳ５４：Ｎｏ）、ステップＳ５５に進む。
【００９３】
ステップＳ５５において、制御部４は、フラグの値がＯＮか否かを判定する（有効対応要素抽出部１０としての処理）。フラグの値がＯＮであると判定した場合（ステップＳ５５：Ｙｅｓ）、ステップＳ５６に進む。ステップＳ５６において、制御部４は、Ｐ１ＥをＰ１Ｐに、Ｐ２ＥをＰ２Ｐに、フラグの値をＳＴＯＰに、それぞれ設定し、ステップＳ５９に進む（有効対応要素抽出部１０としての処理）。一方、フラグの値がＯＮでないと判定した場合（ステップＳ５５：Ｎｏ）、直接ステップＳ５９に進む。
【００９４】
一方、対応点ｍ２が存在すると判定した場合（ステップＳ５４：Ｙｅｓ）、ステップＳ５７に進む。ステップＳ５７において、フラグの値がＯＦＦか否かを判定する（有効対応要素抽出部１０としての処理）。フラグの値がＯＦＦであると判定した場合（ステップＳ５７：Ｙｅｓ）、ステップＳ５８に進む。
【００９５】
ステップＳ５８において、制御部４は、Ｐ１Ｓをｍ１に、Ｐ２Ｓをｍ２に、Ｐ１Ｐをｍ１に、Ｐ２Ｐをｍ２に、フラグの値をＯＮに、それぞれ設定し、ステップＳ５９に進む（有効対応要素抽出部１０としての処理）。一方、フラグの値がＯＦＦでないと判定した場合（ステップＳ５７：Ｎｏ）、直接ステップＳ５９に進む。
【００９６】
ステップＳ５９において、制御部４は、フラグの値がＳＴＯＰであるか否かを判定する。フラグの値がＳＴＯＰであると判定した場合（ステップＳ５９：Ｙｅｓ）、ステップＳ６０において、制御部４は、範囲（Ｐ１Ｓ，Ｐ１Ｅ）と範囲（Ｐ２Ｓ，Ｐ２Ｅ）とを、有効対応範囲と判定し、フローを終了する（有効対応要素抽出部１０としての処理）。
【００９７】
一方、フラグの値がＳＴＯＰでないと判定した場合（ステップＳ５９：Ｎｏ）、ステップＳ６１において、制御部４は、ｍ１が選択終了点であるか否かを判定する（対応点候補選択部８としての処理）。ｍ１が終了選択点でないと判定した場合（ステップＳ６１：Ｎｏ）、ステップＳ５２に戻り、対応点候補選択部８は、Ｌ１上の他の点ｍ１を選択する。一例において、対応点候補選択部８は、Ｌ１の端点の一方から他方の端点に向けて順に、Ｌ１上の他の点ｍ１を選択する。
【００９８】
一方、ｍ１が終了選択点であると判定した場合（ステップＳ６１：Ｙｅｓ）、ステップＳ６２に進む。ステップＳ６２において、制御部４は、対応線候補Ｌ１，Ｌ２を無効対応線と判定し、フローを終了する（有効対応要素抽出部１０としての処理）。
【００９９】
図１２は、第５の実施の形態に係る有効対応要素抽出システム１の動作の説明図である。ステレオ撮像部２（Ｃａｍ１，Ｃａｍ２）が、三次元空間内の線Ｌを、それぞれ撮像画像Ｉ１，Ｉ２内に、Ｌ１，Ｌ２として撮像している。対応線候補検出部３は、エッジ検出の画像処理により、Ｌ１，Ｌ２を対応線候補として検出している。
【０１００】
対応線候補選択部７が、対応線候補Ｌ１，Ｌ２を選択し、対応点候補選択部８が、Ｌ１上の点ｍ１を選択する。次いで、有効対応点判定部９は、ｍ１に対応する第２の撮像画像におけるエピポーラ線ｅｐ１を求める。図１２において、Ｌ２とエピポーラ線ｅｐ１とが交点ｍ２をもっているので、有効対応点判定部９は、エピポーラ線ｅｐ１とＬ２とが交点ｍ２をもつと判定する。
【０１０１】
フラグの値がＯＦＦである場合、Ｐ２Ｓがｍ２に設定され、Ｐ２Ｐがｍ２に設定される。対応点候補選択部８がｍ１を移動させるのに伴い、設定されるＰ２Ｐ＝ｍ２も移動する。さらに対応点候補選択部８がｍ１を移動させると、ある時点でエピポーラ線ｅｐ１とＬ２とが交点ｍ２をもたなくなる。その時点で、フラグの値がＳＴＯＰに設定され、Ｐ２Ｅ＝Ｐ２Ｐ（最後に求めたエピポーラ線ｅｐ１とＬ２との交点）に設定される。その結果、有効対応要素抽出部１０は、範囲（Ｐ１Ｓ，Ｐ１Ｅ）（図示せず）と範囲（Ｐ２Ｓ，Ｐ２Ｅ）とを、有効対応範囲として抽出する。
【０１０２】
このように、第５の実施の形態に係る有効対応要素抽出装置によれば、対応線候補Ｌ１，Ｌ２の片方（例えばＬ１）の両端点が、撮像画像において他の物体の影になっている場合であっても、有効対応線Ｌ１，Ｌ２のうち、対応する範囲を有効対応範囲として抽出することができ、抽出率を向上することができる。また、エピポーラ線等の幾何学的な拘束条件を用いることにより、誤った有効対応線および有効対応範囲の抽出を軽減することができる。
【０１０３】
（第６の実施の形態）
図１３は、第６の実施の形態に係る有効対応要素抽出システム１の動作フローチャートである。ステップＳ７１において、対応線候補Ｌ１，Ｌ２を選択する（対応線候補選択部７としての処理）。一例において、Ｌ１の長さがＬ２の長さ以下であるように選択する。
【０１０４】
ステップＳ７２において、カウンタＮＵＭの値をＮに設定する（有効対応要素抽出部１０としての処理）。ここで、Ｎは、対応線候補Ｌ１，Ｌ２において求める対応点のペアの個数であり、任意の整数を設定することができる。
【０１０５】
ステップＳ７３において、制御部４は、Ｌ１上の点ｍ１を選択する（対応点候補選択部８としての処理）。一例において、対応点候補選択部８は、Ｌ１の中点を、点ｍ１の選択開始点とする。他の一例において、対応点候補選択部８は、Ｌ１の端点の一方を、点ｍ１の選択開始点とする。
【０１０６】
ステップＳ７４において、制御部４は、Ｌ２上の対応点ｍ２を求める（対応点候補選択部８および有効対応点判定部９としての処理）。一例において、図６を参照して説明されたように、有効対応点判定部９は、エピポーラ線ｅｐ１とＬ２とが交点ｍ２をもつか否かを判定することにより、Ｌ２上の対応点ｍ２を求める。他の一例において、図８を参照して説明されたように、対応点候補選択部８が選択したｍ２に対して、ｍ１，ｍ２がエピポーラ拘束条件を満たすか否かを有効対応点判定部９が判定することにより、Ｌ２上の対応点ｍ２を求める。他の一例において、図１０を参照して説明されたように、対応点候補選択部８が選択したｍ２に対して、ｍ１，ｍ２が射影変換条件を満たすか否かを有効対応点判定部９が判定することにより、Ｌ２上の対応点ｍ２を求める。
【０１０７】
ステップＳ７５において、制御部４は、対応点ｍ２が存在するか否かを判定する（有効対応要素抽出部１０としての処理）。対応点ｍ２が存在すると判定した場合（ステップＳ７５：Ｙｅｓ）、ステップＳ７６に進む。ステップＳ７６において、Ｐ１［ＮＵＭ］をｍ１に、Ｐ２［ＮＵＭ］をｍ２に設定し、ＮＵＭから１を引き、ステップＳ７７に進む。一方、対応点ｍ２が存在しないと判定した場合（ステップＳ７５：Ｎｏ）、直接ステップＳ７７に進む。
【０１０８】
ステップＳ７７において、ＮＵＭがゼロに等しいか否かを判定する。ＮＵＭがゼロに等しいと判定した場合（ステップＳ７７：Ｙｅｓ）、ステップＳ７８に進む。ステップＳ７８において、Ｐ１［１，…，ＮＵＭ］とＰ２［１，…，ＮＵＭ］とを有効対応点群と判定し、フローを終了する（有効対応要素抽出部１０としての処理）。
【０１０９】
一方、ＮＵＭがゼロに等しくないと判定した場合（ステップＳ７７：Ｎｏ）、ステップＳ７９に進む。ステップＳ７９において、制御部４は、ｍ１が選択終了点であるか否かを判定する（対応点候補選択部８としての処理）。ｍ１が終了選択点でないと判定した場合（ステップＳ７９：Ｎｏ）、ステップＳ７３に戻り、対応点候補選択部８は、Ｌ１上の他の点ｍ１を選択する。一例において、対応点候補選択部８は、Ｌ１の中点に近い点から順に、Ｌ１上の他の点ｍ１を選択する。他の一例において、対応点候補選択部８は、Ｌ１の端点の一方から他方の端点に向けて順に、Ｌ１上の他の点ｍ１を選択する。
【０１１０】
一方、ｍ１が終了選択点であると判定した場合（ステップＳ７９：Ｙｅｓ）、ステップＳ８０に進む。ステップＳ８０において、制御部４は、対応線候補Ｌ１，Ｌ２を無効対応線と判定し、フローを終了する（有効対応要素抽出部１０としての処理）。
【０１１１】
図１４は、第６の実施の形態に係る有効対応要素抽出システム１の動作の説明図である。対応線候補選択部７が、対応線候補Ｌ１，Ｌ２を選択し、対応点候補選択部８が、Ｌ１上の点ｍ１を選択する。次いで、有効対応点判定部９は、ｍ１に対応する第２の撮像画像におけるエピポーラ線ｅｐ１を求める。図１４において、Ｌ２とエピポーラ線ｅｐ１とが交点ｍ２をもっているので、有効対応点判定部９は、エピポーラ線ｅｐ１とＬ２とが交点ｍ２をもつと判定する。この場合、ｍ１，ｍ２は有効対応点である。
【０１１２】
カウンタＮＵＭの値がゼロに等しくなるまで、Ｐ１［ＮＵＭ］にｍ１が設定され、Ｐ２［ＮＵＭ］にｍ２が設定される。対応点候補選択部８がｍ１を移動させるのに伴い、ｍ２も移動する。カウンタＮＵＭの値がゼロに等しくなった場合、Ｐ１［１，…，ＮＵＭ］とＰ２［１，…，ＮＵＭ］には、複数の対応点が有効対応点の組として設定される。
【０１１３】
このように、第６の実施の形態に係る有効対応要素抽出装置によれば、対応線候補Ｌ１，Ｌ２の片方（例えばＬ１）の両端点が、撮像画像において他の物体の影になっている場合であっても、所望の数の有効対応点を抽出することができ、公知である対応点に基づく三次元座標の復元処理を利用することができる。また、エピポーラ線等の幾何学的な拘束条件を用いることにより、誤った有効対応点の抽出を軽減することができる。
【０１１４】
＜第７の実施の形態＞
第１から第６の実施の形態においては、車両情報から求めた回転角および移動量に基づいて算出した基礎行列や射影変換行列を用いている。これに代えて、複数の画像座標における既知の対応点から、ＲＡＮＳＡＣ法などにより推定した回転角および移動量に基づいて算出した基礎行列や射影変換行列を用いる実施の形態も考えられる。
【０１１５】
一般に、第１の画像座標および第２の画像座標の４つの対応点｛（ｍ１ｊ，ｍ２ｊ）｜ｊ＝１，２，３，４｝（４つの対応点の三次元座標は同一平面に存在）が与えられると、連立方程式を解くことにより、射影変換行列Ｈを算出することができる。そこで、複数の既知の対応点または推定した対応点からなる集合Ｓから、４つの対応点を選択し、選択した４つの対応点を用いて、射影変換行列Ｈを算出する。次いで、集合Ｓに属する対応点のうち、射影変換行列Ｈに基づく射影変換条件を満たす対応点の割合が所定の割合（例えば７０％）を超えた場合、射影変換行列Ｈを推定した射影変換行列として出力する。所定の割合（例えば７０％）を超えない場合、新たな４つの対応点を選択し、射影変換条件を満たす対応点の割合が所定の割合を超えるまで、所定の回数繰り返す。
【０１１６】
一例において、４つの対応点は、集合Ｓからランダムに選択してもよい（ＲＡＮＳＡＣ）。他の一例において、集合Ｓの対応点に対して与えられたスコア値の高いものから４つを選択して４つの対応点としてもよい。
【０１１７】
また、一般に、第１の画像座標および対応する推定された三次元座標の３つの組み合わせ｛（ｍｊ，ｍ２ｊ）｜ｊ＝１，２，３｝が与えられると、連立方程式を解くことにより、基礎行列Ｆを算出することができる。そこで、射影変換行列Ｈの推定と同様にして基礎行列Ｆの推定を行うこともできる。
【０１１８】
このように、本開示に係る有効対応要素抽出装置によれば、被写体上の特徴点に対応する対応点を抽出する場合に必要となる、誤対応の処理が不要となる分、より少ない計算量によって、被写体の三次元座標を復元することができる。
【０１１９】
図１５は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
【０１２０】
図１５に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【０１２１】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【０１２２】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【産業上の利用可能性】
【０１２３】
本開示に係る通知システムは、自動運転システムを備えた車両に適用されるのに好適である。
【符号の説明】
【０１２４】
１  有効対応要素抽出システム
２  ステレオ撮像部
３  対応線候補検出部
４  制御部
５  三次元座標復元部
６  車両制御部
７  対応線候補選択部
８  対応点候補選択部
９  有効対応点判定部
１０  有効対応要素抽出部
【図１】
2018124634.tif 000042
【図２】
2018124634.tif 000043
【図３】
2018124634.tif 000044
【図４】
2018124634.tif 000045
【図５】
2018124634.tif 000046
【図６】
2018124634.tif 000047
【図７】
2018124634.tif 000048
【図８】
2018124634.tif 000049
【図９】
2018124634.tif 000050
【図１０】
2018124634.tif 000051
【図１１】
2018124634.tif 000052
【図１２】
2018124634.tif 000053
【図１３】
2018124634.tif 000054
【図１４】
2018124634.tif 000055
【図１５】
2018124634.tif 000056