(57)【要約】【課題】検出対象のオブジェクトまでの距離を正確に算出することができるオブジェクト検出装置を得る。【解決手段】互いに離れて設置された第１および第２のカメラ１Ｌ、１Ｒで撮影した画像から検出対象のオブジェクトを検出すると共に、第１のカメラ１Ｌの画像上の第２のカメラ１Ｒの代表点の座標および第２のカメラ１Ｒの画像上の第１のカメラ１Ｌの代表点の座標を検出するオブジェクト座標検出部２と、第１および第２のカメラの画像から検出対象のオブジェクトまでの距離を算出する距離計算部３２を有したステレオカメラ処理部３と、オブジェクト座標検出部２が検出した第１のカメラの代表点の座標および第２のカメラの代表点の座標から、ステレオカメラ処理部３の距離計算部３２が距離を算出するためのパラメータを算出するパラメータ計算部６を備えた。【選択図】図１
2017192008.tif 000002
【特許請求の範囲】
【請求項１】
互いに離れて設置された第１および第２のカメラで撮影した画像から検出対象となるオブジェクトを検出するオブジェクト検出装置であって、前記第１または第２のカメラの画像から検出対象のオブジェクトを検出すると共に、前記第１のカメラの画像上の第２のカメラの代表点の座標および前記第２のカメラの画像上の第１のカメラの代表点の座標を検出するオブジェクト座標検出部と、前記第１および第２のカメラの画像から前記検出対象のオブジェクトまでの距離を算出する距離計算部を有したステレオカメラ処理部と、前記オブジェクト座標検出部が検出した第１のカメラの代表点の座標および第２のカメラの代表点の座標から、前記ステレオカメラ処理部の距離計算部が距離を算出するためのパラメータを算出するパラメータ計算部を備えたオブジェクト検出装置。
【請求項２】
前記検出対象のオブジェクトの特徴量空間上の境界線のデータを記憶した第１の境界値データ記憶部を備え、前記オブジェクト座標検出部は、前記第１または第２のカメラで撮影した画像の特徴量と、前記第１の境界値データ記憶部から入力した検出対象のオブジェクトの特徴量空間上の境界線との空間的な位置関係に基づき、検出対象らしさを表すスコアを出力して前記検出対象のオブジェクトを検出するようにした請求項１に記載のオブジェクト検出装置。
【請求項３】
前記第１および第２のカメラを対象とした特徴量空間上の境界線のデータを記憶した第２の境界値データ記憶部を備え、前記オブジェクト座標検出部は、前記第１および第２のカメラで撮影した画像の特徴量と、前記第２の境界値データ記憶部から入力したカメラを対象とした特徴量空間上の境界線との空間的な位置関係に基づき、前記第１のカメラの画像上の第２のカメラの代表点の座標および前記第２のカメラの画像上の第１のカメラの代表点の座標を検出するようにした請求項１または請求項２に記載のオブジェクト検出装置。
【請求項４】
前記ステレオカメラ処理部は、前記第１のカメラによって撮像された基準画像の画素毎に、前記第２のカメラによって撮像された比較画像をステレオマッチング処理により対応付けし、この対応点を用いて基準画像の画素毎に検出対象オブジェクトが存在する領域までの距離に応じて生じる画素のズレを視差ベクトルして求める対応点検出部と、前記対応点検出部によって求められた視差ベクトルから得られる前記検出対象のオブジェクトが存在する領域までの遠近情報である距離情報を数値化した距離を計算する距離計算部を備えた請求項１から請求項３のいずれか１項に記載のオブジェクト検出装置。
【請求項５】
前記オブジェクト座標検出部が検出した前記第１のカメラおよび前記第２のカメラの代表点の座標を記憶するカメラ座標記憶部を備え、前記パラメータ計算部は、前記カメラ座標記憶部からの第１および第２のカメラの代表点の座標、前記第１と第２のカメラ間の距離を用いて、前記ステレオカメラ処理部の距離計算部が距離を算出するためのパラメータを算出するようにした請求項１から請求項４のいずれか１項に記載のオブジェクト検出装置。
【請求項６】
前記パラメータ計算部が算出するパラメータｘＢ、ｙＢ、Ｘ’ は、次式で算出するようにした請求項５に記載のオブジェクト検出装置。
ｘＢ＝Ｂ・ｘＲ／ｆＲＤ
ｙＢ＝Ｂ・ｙＲ／ｆＲＤ
Ｘ’＝Ｂ／ｆＬＤ・Ｘ
但し、Ｂは第１と第２のカメラ間の距離
ｘＲ、ｙＲは第１と第２のカメラの代表点の座標
ｆＲＤ＝√ｘＲ２＋ｙＲ２＋ｆａ２（ｆａは第１のカメラの焦点距離）
ｆＬＤ＝√ｘＬ２＋ｙＬ２＋ｆｂ２（ｆｂは第２のカメラの焦点距離）
【請求項７】
前記第１のカメラおよび前記第２のカメラの代表点が、カメラのレンズの中心となるようにした請求項１から請求項６のいずれか１項に記載のオブジェクト検出装置。
【請求項８】
前記第１のカメラおよび前記第２のカメラの画角の和が１８０°以上となるようにした請求項１から請求項７のいずれか１項に記載のオブジェクト検出装置。
【請求項９】
前記第１のカメラおよび前記第２のカメラの代表点からあらかじめ決められた位置に複数の識別の容易なパターンを配置し、前記パターンの座標を検出して前記カメラの代表点の座標を算出するにした請求項１から請求項６のいずれか１項に記載のオブジェクト検出装置。
【請求項１０】
前記第１のカメラおよび前記第２のカメラの代表点からあらかじめ決められた位置に複数の光源を設置し、前記光源の座標を検出して前記カメラの代表点の座標を算出するにした請求項１から請求項６のいずれか１項に記載のオブジェクト検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラで撮影された画像から、検出対象となる歩行者や車両などのオブジェクトを検出するオブジェクト検出装置に関するものである。
【背景技術】
【０００２】
近年、四輪自動車等の車両に搭載したカメラの画像から、道路上の車両、歩行者、自転車などの対象（検出対象オブジェクト）を検出し、その距離を計算し、ドライバーにそれらに応じた注意を喚起し、事故を未然に防止する技術が開発され、車両用運転支援システムとして実用化されつつある。
このシステムは、２台１組のカメラＬとカメラＲが撮像した画像から、検出対象オブジェクト（歩行者、車両、自転車など）を検出し、その距離を計算し、それらに応じた注意をドライバーに喚起する。
【０００３】
このような検出対象（歩行者、車両、自転車など）を検出するオブジェクト検出装置として、撮影された画像の各画像内にスキャンウィンドウを設定するスキャンウィンドウ設定手段と、設定されたスキャンウィンドウ内の画像に対して、各々のスキャンウィンドウから抽出した特徴量と事前に構築した特徴量空間上の境界線との位置関係に基づきオブジェクトを検出するオブジェクト検出手段を備え、オブジェクト検出手段で検出された過去処理結果と今回処理結果に基づき、高精度および高速で検出対象オブジェクトを検出するようにしたものが知られている（特許文献１参照）。
【０００４】
また、２台１組のカメラで構成されたステレオカメラと、カメラで撮影された画像のノイズの判定および除去をおこなうノイズ判定／除去部と、ノイズの判定および除去が行われた画像とカメラで撮影された画像とをステレオマッチング処理によって対象物体が存在する領域の視差画像を求め、距離分布情報（距離画像）を取得するステレオカメラ処理部を備え、撮影された画像に含まれるノイズに起因するステレオマッチング処理の誤対応を減少させ、信頼性の高い距離画像を得るようにしたものが知られている（特許文献２参照）。
【０００５】
さらに、２台以上の撮影手段により視差画像を撮影して三次元距離画像を得る装置において、一方の画像について各画素毎の特徴抽出を行う手段と、得られた特徴に従って対応点検索のための窓関数を設定する手段とを備え、設定された窓関数に従って対応点検索を行うことにより、各画素の視差量を決定し、各画素の示す位置までの距離を計算するようにした三次元距離画像計測装置も知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１９８００６号公報
【特許文献２】特開２００９−１０４３６６号公報
【特許文献３】特開平９−３３２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１には、連続して撮影された画像から、対象となるオブジェクトを検出する装置および方法が記載されているものの、オブジェクトまでの距離を測定することは記載されていない。
特許文献２は、異なる位置に配置した２台のカメラによって対象物体を撮像した一対の画像の相関を求め、この相関から対象物体に対する２台のカメラの視差を求め、この視差からカメラの取り付け位置や焦点距離などのカメラパラメータを用いて三角測量の原理により対象物体までの距離を測定するものであるが、カメラの配置の調整やパラメータの補正の後に、パラメータと実際のカメラの配置との間に差異が生じると、カメラと対象物体との距離Ｚを正確に計算することができない。特に一方のカメラの光軸の方向に関係するパラメータは大きく影響する。そのため、差異が生じた際には、カメラの配置の調整やパラメータの補正が必要となるが、特別な機材や作業が必要となるため、直ちに調整や補正を行うことが困難である。
【０００８】
また、特許文献２のような従来の技術では、上記の理由から、カメラの配置が変化しないように、カメラＬ、Ｒを強固な筐体に固定する必要がある。さらに、距離精度を向上するために、カメラＬとカメラＲ間の距離Ｂを大きくすることが困難である。
一方で、カメラの焦点距離ｆａ、ｆｂは、カメラの焦点が合っている状態で、差異が生じることは少なく、また、カメラＬとカメラＲ間の距離Ｂが大きいときには、距離Ｂの差異の影響は小さい。
特許文献３も、複数のカメラの視差から距離を計測するものであり、特許文献２と同様な課題がある。
【０００９】
この発明は、上記のような課題を解決するためになされたものであり、検出対象のオブジェクトまでの距離を正確に算出することができるオブジェクト検出装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
この発明に係るオブジェクト検出装置は、互いに離れて設置された第１および第２のカメラで撮影した画像から検出対象となるオブジェクトを検出するオブジェクト検出装置であって、第１または第２のカメラの画像から検出対象のオブジェクトを検出すると共に、第１のカメラの画像上の第２のカメラの代表点の座標および第２のカメラの画像上の第１のカメラの代表点の座標を検出するオブジェクト座標検出部と、第１および第２のカメラの画像から検出対象のオブジェクトまでの距離を算出する距離計算部を有したステレオカメラ処理部と、オブジェクト座標検出部が検出した第１のカメラの代表点の座標および第２のカメラの代表点の座標から、ステレオカメラ処理部の距離計算部が距離を算出するためのパラメータを算出するパラメータ計算部を備えたものである。
であるものである。
【発明の効果】
【００１１】
この発明によれば、互いに離れて設置された第１および第２のカメラで撮影した画像から検出対象となるオブジェクトを検出すると共に、第１のカメラの画像上の第２のカメラの画像の代表点の座標と、第２のカメラの画像上の第１のカメラの画像の代表点の座標によって、検出対象となるオブジェクトまでの距離の計算に用いるパラメータを算出するので、特別な機材を用いることなく、必要なときにパラメータを補正することができる、という効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１に係るオブジェクト検出装置の概略構成図である。
【図２】この発明の実施の形態１に係るオブジェクト検出装置のカメラの設置状態を示す図である。
【図３】この発明の実施の形態１に係るオブジェクト検出装置において距離を算出する原理を説明する図である。
【図４】この発明の実施の形態１に係るオブジェクト検出装置のカメラの代表点を検出する図である。
【図５】この発明の実施の形態１に係るオブジェクト検出装置のカメラの他の設置状態を示す図である。
【図６】この発明の実施の形態２に係るオブジェクト検出装置のカメラの代表点を検出する場合のカメラの斜視図である。
【図７】この発明の実施の形態３に係るオブジェクト検出装置のカメラの代表点を検出する場合のカメラの斜視図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
以下、この発明の実施の形態１に係るオブジェクト検出装置を図１から図４に基づいて詳細に説明する。
図１はオブジェクト検出装置の構成を示す概略構成図であり、歩行者や車両などの検出対象オブジェクトを検出するためのカメラ１Ｌ、１Ｒと、カメラ１Ｌ、１Ｒで撮影された画像を入力するオブジェクト座標検出部２およびステレオカメラ処理部３と、オブジェクト座標検出部２に検出対象の境界線データを入力する境界値データ記憶部４と、オブジェクト座標検出部２とステレオカメラ処理部３との間に接続されるカメラ座標記憶部５、パラメータ計算部６およびパラメータ記憶部７と、オブジェクト座標検出部２とステレオカメラ処理部３からの出力により検出対象の検出結果を表示する検出結果表示部８とで構成されている。
【００１４】
２台１組のカメラ１Ｌ、１Ｒは、互いに所定距離を離して、例えば図２に示すように自車両の前部左右に設置される。カメラ１Ｌ、１Ｒは、それぞれの画角の合計が１８０°以上になるものを用い、実施例では各カメラ１Ｌ、１Ｒの画角が概略１２０°のカメラを用いて、合計１８０°以上になるようにしている。
また、カメラ１Ｌ、カメラ１Ｒは、お互いが視界に入るように設置する。さらに、カメラ１Ｌ、カメラ１Ｒは、両方の視界に入る領域がなるべく広くなるように設置する。また、カメラ１Ｌとカメラ１Ｒの距離は、できる限り離した方が、高い精度が得られる。
【００１５】
オブジェクト座標検出部２は、スキャンウインドウ設定部２１とオブジェクト検出部２２で構成されている。
スキャンウインドウ設定部２１は、カメラ１Ｌで撮影された画像に、例えば縦横１画素毎に位置を変えたスキャンウインドウを設定する。オブジェクト検出部２２は、スキャンウインドウ設定部２１で設定されたスキャンウインドウに対して、スキャンウインドウから抽出した特徴量と、事前に構築した特徴量空間上の境界線（境界値データ記憶部４からの境界線データ）との空間的な位置関係に基づき、検出対象らしさを表すスコアを出力する。
【００１６】
ステレオカメラ処理部３は、対応点検出部３１と距離計算部３２で構成されている。
対応点検出部３１は、カメラ１Ｌによって撮像された基準画像と、カメラ１Ｒによって撮像された比較画像とを元画像メモリにストアし、ステレオマッチング処理によって基準画像の画素毎に比較画像の画素を対応付ける。このステレオマッチング処理では、例えば特許文献３に式（３）として開示されている相関関数などの評価関数に従って対応点探索が行われる。また、対応点検出部３１は、探索された対応点を用いて基準画像の画素毎に検出対象オブジェクトが存在する領域までの距離に応じて生じる画素のズレ（＝視差）を視差ベクトルＶｐとして求める。この視差ベクトルＶｐは、基準画像を構成する画素毎に配置すると、視差画像を構成する。
【００１７】
距離計算部３２は、対応点検出部３１によって求められた視差ベクトルＶｐから得られる検出対象オブジェクト（歩行者、車両など）が存在する領域までの遠近情報である距離情報を数値化した距離Ｚを計算する。この距離Ｚは、基準画像を構成する画素毎に配置すると、距離分布情報を構成する。
境界値データ記憶部４は、検出対象オブジェクト（歩行者、車両など）の特徴量空間上の境界線のデータを記憶する境界値データ記憶部４１と、カメラ１Ｌとカメラ１Ｒを検出対象とする特徴量空間上の境界線のデータを記憶する境界値データ記憶部４２で構成されている。
【００１８】
境界値データ記憶部４１は、検出対象オブジェクト（歩行者、車両など）の検出対象サンプルと非検出対象サンプルの特徴量空間上の境界線のデータを記憶し、境界線のデータは、検出対象サンプルと非検出対象サンプル（検出対象以外の物体や、何も物体がない画像）からＨＯＧ特徴量などの特徴量を抽出し、その特徴量空間上の学習サンプル（検出対象サンプルと非検出対象サンプル）の分布に基づいて、ＳＶＭ（Support Vector Machine）やブースティング法などの代表的な統計的学習手法を用いることで、特徴量空間上の検出対象サンプルと非検出対象サンプルの境界線を学習して構築する。
境界値データ記憶部４２は、カメラ１Ｌとカメラ１Ｒを検出対象として、境界値データ記憶部４１と同様に、特徴量空間上の検出対象サンプルと非検出対象サンプルの境界線を学習して構築する。
【００１９】
カメラ座標記憶部５は、オブジェクト検出部２２が検出したカメラ１Ｌとカメラ１Ｒの代表点の座標（ｘＬ，ｙＬ）および座標（ｘＲ、ｙＲ） を記憶する。
パラメータ計算部６は、カメラ１Ｌの画像からオブジェクト検出部２２が検出したカメラ１Ｒの画像の代表点の座標（ｘＲ、ｙＲ）と、カメラ１Ｒの画像からオブジェクト検出部２２が検出したカメラ１Ｌの画像の代表点の座標 （ｘＬ，ｙＬ）より、ステレオカメラ処理部３の距離計算部２２が検出対象オブジェクト（歩行者、車両など）までの距離の計算に使うパラメータを算出し、パラメータ記憶部７に登録する。
このパラメータの内容については後で詳しく説明する。
【００２０】
スキャンウインドウ設定部２１は、カメラ１Ｌの画像データ以外にカメラ１Ｒの画像データを切り替えて入力できるようになっている。また、オブジェクト検出部２２は、境界値データ記憶部４１からの検出対象オブジェクト（車両、歩行者など）の特徴量空間上の境界線のデータ以外に、境界値データ記憶部４２からのカメラ１Ｌとカメラ１Ｒを検出対象とする特徴量空間上の境界線のデータも切り替えて入力できるようになっている。スキャンウインドウ設定部２１へのカメラ入力の切り替え、オブジェクト検出部２２への境界値データ記憶部４からのデータ切り替えなどは、図示しない制御部によって行われる。
【００２１】
次に、この発明の実施の形態１に係るオブジェクト検出装置の動作を図３および図４に基づいて説明する。
図３おいて、スキャンウインドウ設定部２１は、カメラ１Ｌまたはカメラ１Ｒで撮影した画像を入力して、その画像上のＱａ（ｘａ，ｙａ）を代表点とする複数のスキャンウインドウを設定してオブジェクト検出部２２に入力する。一方、オブジェクト検出部２２は、境界値データ記憶部４１から検出対象オブジェクト（車両、歩行者など）の特徴量空間上の境界線のデータを入力する。オブジェクト検出部２２は、スキャンウインドウ設定部２１で設定された各々のスキャンウインドウ内のオブジェクトの検出対象らしさを、各々のスキャンウインドウから抽出した特徴量と、境界値データ記憶部４１から入力した検出対象オブジェクトの特徴量空間上の境界線との空間的な位置関係に基づき、検出対象らしさを表すスコアを出力する。
【００２２】
検出結果表示部８は、オブジェクト検出部２２からのスコアを入力して、このスコアが予め設定した閾値を超えれば、検出対象のオブジェクト（車両または歩行者）として表示する。
なお、カメラ１Ｌで撮影した画像から検出対象のオブジェクトを検出する方法は、特許文献１などに詳しく説明されているから、これ以上の説明は省略する。
【００２３】
ステレオカメラ処理部３の対応点検出部３１は、カメラ１Ｌによって撮像された基準画像と、カメラ１Ｒによって撮像された比較画像とをステレオマッチング処理によって基準画像の画素毎に比較画像の画素を対応付けし、この対応点を用いて基準画像の画素毎に検出対象オブジェクトが存在する領域までの距離に応じて生じる画素のズレ（＝視差）を視差ベクトルして求める。距離計算部３２は、対応点検出部３１によって求められた視差ベクトルから得られる検出対象のオブジェクトが存在する領域までの遠近情報である距離情報を数値化した距離Ｚを計算する。
【００２４】
即ち、図３に示すように、検出対象のオブジェクトの点Ｑ（ｘ，ｙ，ｚ）は、光軸Ｏａ、Ｏｂ間に所定の距離Ｂで互いに離されて設置された第１および第２のカメラ１Ｌ、１Ｒで撮影される。第１および第２のカメラ１Ｌ、１Ｒで撮影された画像における点Ｑ（ｘ，ｙ，ｚ）のＸ−Ｙ座標平面上の投影点の座標Ｑａ（ｘａ、ｙａ）、Ｑｂ（ｘｂ、ｙｂ）が求められる。この座標Ｑａ（ｘａ、ｙａ）とＱｂ（ｘｂ、ｙｂ）とから、視差Ｑａ−Ｑｂ＝（ｘａ―ｘｂ）、（ｙａ―ｙｂ）が求められ、点Ｑ（ｘ，ｙ，ｚ）の投影点に対応する検出対象のオブジェクトの点Ｑ（ｘ，ｙ，ｚ）までの距離ＺがＺ＝Ｂ・ｆ／（ｘａ―ｘｂ）で算出される。
【００２５】
スキャンウインドウ設定部２１が、カメラ１Ｌの画像上のＱａ（ｘａ，ｙａ）を代表点とするスキャンウインドウを設定し、オブジェクト検出部２２が、検出対象オブジェクトを検出したとするスコアを出力すると同時に、ステレオカメラ処理部３の対応点検出部３１が、代表点Ｑａの対応点をＱａ（ｘａ，ｙａ）として出力したとする。
【００２６】
カメラ１Ｌの視点を原点０とする３次元の座標系（右手系）を考え、カメラ１Ｌの投影面が、Ｚ軸に垂直にｆａ（カメラ１Ｌの焦点距離）の位置にあるとすると、
【数１】
2017192008.tif 000003
にある検出対象オブジェクトのカメラ１Ｌ上の画像Ｑａ（ｘａ，ｙａ）は、
【数２】
2017192008.tif 000004
にあることになる。
【００２７】
また、カメラ１Ｒの視点は、
【数３】
2017192008.tif 000005
にあるとし、カメラ１Ｒの投影面は、カメラ１Ｒの視点からｆｂ（カメラ１Ｒの焦点距離）の位置にあるとし、カメラ１Ｒ上の画像Ｑｂ（ｘｂ，ｙｂ）  は、
【数４】
2017192008.tif 000006
にあるとする。
【００２８】
原点０から対象オブジェクトがあるＱまでの距離をＺ 、ＱＢからＱまでの距離をＺＢとすると、次式（１）〜（３）が成り立つ。
Ｚ・αｘ＝ＺＢ・βｘ＋ｘＢ・・・（１）
Ｚ・αｙ＝ＺＢ・βｙ＋ｙＢ・・・（２）
Ｚ・αｚ＝ＺＢ・βｚ＋ｚＢ・・・（３）
（Ｚα＝  ＺＢ・β＋ＱＢ  ）
【数５】
2017192008.tif 000007
【００２９】
ここで、αは、Ｑａを使うと、次式（４）のように表すことができる。
【数６】
2017192008.tif 000008
【００３０】
【数７】
2017192008.tif 000009
【００３１】
式（１）（２）よりＺＢを削除すると、
【数８】
2017192008.tif 000010
また、式（５）（６）より、
【数９】
2017192008.tif 000011
となるので、これらと式（４）のαｘ＝ｘａ／ｆａＤ、αｙ＝ｙａ／ｆａＤを式（８）に代入すると、次式（９）になる。
【００３２】
【数１０】
2017192008.tif 000012
式（９）において、特許文献２の図１１と同じ構成になるように ｆａ＝ｆｂ＝ｆとし、視点が
【数１１】
2017192008.tif 000013
になるようにカメラ１Ｌを平行移動した位置にカメラ１Ｒを設置すると、
Ｑ＝Ｘ’Ｑ’＋ＱＢ  ・・・（１０） 
【００３３】
ここで、
【数１２】
2017192008.tif 000014
は、移動した視点を原点とする座標系でのＱの座標と表すときのときの、３×３行列Ｘ’は単位行列
【数１３】
2017192008.tif 000015
となり、
Ｑ＝Ｑ’＋ＱＢ  ・・・（１１）
となる（平行移動ＱＢのみで、回転移動なし、だから）。
【００３４】
検出対象オブジェクトが、
【数１４】
2017192008.tif 000016
にあるとき（カメラ１Ｌの視点を原点０とする座標系）、カメラ１Ｌの画像上のＱａにあり（見える）、
【数１５】
2017192008.tif 000017
にあるとき（カメラ１Ｒの視点を原点とする座標系）、カメラ１Ｌの画像上のＱｂにある（見える）。
【００３５】
式（１２）（１３）を式（１１）に代入すると、Ｚ座標からＺ＝Ｚ’で、これと ｆａ＝ｆｂ＝ｆを、Ｙ座標Ｚ／ｆａ・ｙａ＝Ｚ’／ｆｂ／ｙｂに代入すると、
ｙａ＝ｙｂ    ・・・（１４）
となる。また、式（１１）で、Ｑ’＝Ｑｂのとき、
【数１６】
2017192008.tif 000018
ｘｂ’＝ｘｂ＋Ｂ、ｙｂ’＝ｙｂ  ・・・（１５）
となる。
【００３６】
式（９）へ式（１４）（１５）を代入し、ｆ＝ｆａＤと近似すると（視点から検出対象オブジェクトまでの距離Ｚ（大文字のＺ）をｚ座標（小文字のｚ）で近似すると）、特許文献２の［数１］と同じ、式（１６）となる。
【数１７】
2017192008.tif 000019
数１７特許文献２には特に記載されていないが、従来例においては、工場出荷時や修理時に式（１６）が成り立つようにカメラ１Ｌ、カメラ１Ｒの位置を調整したり、パラメータ
【数１８】
2017192008.tif 000020
の成分を補正する。
【００３７】
この発明では、本来の検出対象オブジェクト（車両、歩行者など）の検出、距離計算に先立ち、ステレオカメラ処理部３の距離計算部３２が使うパラメータ、すなわち式（９）のｘＢ、ｙＢと、 式（９）のｘｂ’、ｙｂ’を、ｘｂ、ｙｂから式（１０）のＱ＝Ｘ’Ｑ’＋ＱＢを算出するためのパラメータＸ’（行列）を算出する。
はじめに、スキャンウインドウ設定部２１にカメラ１Ｌの画像を入力し、オブジェクト検出部２２にカメラ１Ｒの特徴量空間上の境界線のデータを入力する。カメラ１Ｒの境界線のデータは、検出対象サンプル（ここではカメラＲ）と非検出対象サンプル（カメラＲ以外）の画像データから代表点の座標を出力するようにあらかじめ学習、構築する（カメラ１Ｌの境界線のデータも同様に学習、構築しておく）。このときのカメラ１Ｒの代表点は、カメラ１Ｌのレンズの中心（図３の視点０に相当）となるようにする。
オブジェクト座標検出部２は、図４（ａ）に示すように、カメラ１Ｌの画像上のカメラ１Ｒの画像を検出し、検知したカメラ１Ｒの代表点の座標（ｘＲ、ｙＲ）を出力する。代表点の座標（ｘＲ、ｙＲ）は、カメラ座標記憶部５に登録する。
【００３８】
次に、スキャンウインドウ設定部２１にカメラ１Ｒの画像を入力し、オブジェクト検出部２２にカメラ１Ｌの特徴量空間上の境界線のデータを入力する。オブジェクト座標検出部２は、図４（ｂ）に示すように、カメラ１Ｒの画像上のカメラ１Ｌの画像を検出し、検知したカメラ１Ｌの代表点の座標（ｘＬ、ｙＬ）を出力する。このときのカメラ１Ｌの代表点（ｘＬ、ｙＬ）は、カメラ１Ｒのレンズの中心となるようにする。代表点の座標（ｘＬ、ｙＬ）は、同じくカメラ座標記憶部５に登録する。
【００３９】
パラメータ計算部６は、カメラ１Ｒの代表点の座標（ｘＲ、ｙＲ）と、カメラ１Ｌ、１Ｒ間の距離Ｂを用いて、ｘＢ、ｙＢを以下のように計算する。式（１）〜（４）において、座標Ｑの検出対象オブジェクトがカメラ１Ｒになったことに相当するので、ｘａ＝ｘＲ、ｙａ＝ｙＲ、Ｚ＝Ｂ(検出対象オブジェクト＝カメラ１Ｒまでの距離ＺはＢ )、ＺＢ＝０
（カメラ１Ｒから検出対象オブジェクト＝カメラ１Ｒまでの距離ＺＢは、０ ）となり、式（１７）〜（１９）で表される。
【００４０】
【数１９】
2017192008.tif 000021
【００４１】
また、パラメータ計算部６は、式（１７）〜（１９）のｘＢ、ｙＢ、ｚＢとｘＬ、ｙＬを用いて、パラメータＸ’を算出する。式（１０）で、カメラ１Ｒの画像上でカメラ１Ｌは、座標（ｘＬ、ｙＬ）にあるので、
【数２０】
2017192008.tif 000022
【数２１】
2017192008.tif 000023
【００４２】
式（２０）に式（１７）〜（１９）を代入して整理すると、式（２１）となる。
【数２２】
2017192008.tif 000024
【００４３】
式（２１）において
【数２３】
2017192008.tif 000025
とすると、  ａ＝Ｘ・ｂ    ・・・（２２）
と表すことができる。
【００４４】
列ベクトルｂを３×１行列と考えて、この疑似逆行列
ｂ＋＝ｂＴ（ｂｂＴ）−１    ・・・（２３）     を考える。
ここで、ｂＴは、ｂの転置行列を示し、（ｂｂＴ）−１は、ｂとｂＴの行列積ｂｂＴの逆行列を示す。ｂが３×１行列（ｂＴが１×３行列）であることと、行列積の定義から、ｂｂＴは、（全ての対角成分が０でない）対角行列になり、（行列の定理から正則行列となり、）逆行列（ｂｂＴ）−１が存在する。
【００４５】
式（２２）の両辺に、右からｂ＋をかけると、左辺がａｂ＋＝ａｂＴ（ｂｂＴ）−１、右辺がＸｂｂ＋＝ＸｂｂＴ（ｂｂＴ）−１＝Ｘ（ｂｂＴ）（ｂｂＴ）−１＝Ｘとなるから、
ａｂＴ（ｂｂＴ）−１＝Ｘ  ・・・（２４）     となる。
よって、カメラ１Ｌの画像上で検出したカメラ１Ｒの代表点の座標（ｘＲ、ｙＲ）  に由来するａと、カメラ１Ｒの画像上で検出したカメラ１Ｌの代表点の座標（ｘＬ、ｙＬ）に由来するｂから、次式（２５）によりパラメータＸ’を算出する。
【数２４】
2017192008.tif 000026
【００４６】
パラメータ計算部６は、以上のように算出したパラメータｘＢ、ｙＢ、Ｘ’をパラメータ記憶部７に登録する。システムの運用時においては、パラメータ記憶部７のパラメータを距離計算部２２に入力し、距離計算部２２は式（９）、（１０）を用いて、検出対象までの距離Ｚを算出する。
ステレオカメラ処理部３で算出された検出対象までの距離Ｚは検出結果表示部８に入力され、検出結果表示部８はオブジェクト座標検出部２で検出された検出対象オブジェクト（歩行者、車両、自転車など）と共にそこまでの距離を表示する。
【００４７】
このように、カメラ１Ｌの画像上のカメラ１Ｒの画像の代表点の座標と、カメラ１Ｒの画像上のカメラＬの画像の代表点の座標によって、検出対象までの距離Ｚを算出する距離計算部２２が使用するパラメータを補正するので、特別な機材を用いることなく、必要なときにパラメータを補正することができる。
また、補正を簡便に行えるため、カメラ１Ｒ、カメラ１Ｌを強固な筐体で固定する必要がなく、距離精度を向上するために、カメラ１Ｌとカメラ１Ｒ間の距離Ｂを大きくすることができる。
カメラ１Ｌ、カメラ１Ｒの座標は、従来の構成（オブジェクト座標検出部）を用いて行うため、特別な構成を追加する必要がない。
【００４８】
図２において、カメラ１Ｌ、カメラ１Ｒを車両前方に設置して前方の検出対象オブジェクトを検出するとき、カメラの位置より左右の対象を検出するためには、カメラ１Ｌ、カメラ１Ｒの画角の合計が１８０°以上になるようにするとよい。
また、式（９）、（１０）から距離Ｚを算出するので、カメラ１Ｌ、カメラ１Ｒの焦点距離ｆａ、ｆｂは異なっていてもよい。そのため、図５のように、カメラ１Ｌ、カメラ１Ｒ（ｆａ＞ｆｂ）を車両の側面に設置することで、車両の側方のオブジェクトを検出することができる。
【００４９】
実施の形態２．
次に、この発明の実施の形態２に係るオブジェクト検出装置を図６に基づいて詳細に説明する。
実施の形態１では、カメラ１Ｌ、カメラ１Ｒの代表点の座標は、レンズの中心座標としたが、実施の形態２の発明は、図６に示すようにカメラ１Ｌ、カメラ１Ｒの代表点からあらかじめ決められた位置に識別の容易なパターン（図６では、三角△、菱型◇、五角形）を配置し、１つまたは複数のパターンの座標を検出して、そこからカメラ１Ｌ、カメラ１Ｒの代表点の座標を算出してもよい。
【００５０】
実施の形態３．
次に、この発明の実施の形態３に係るオブジェクト検出装置を図７に基づいて詳細に説明する。
カメラ１Ｌ、カメラ１Ｒの代表点の座標は、実施の形態１ではレンズの中心座標、実施の形態２では識別の容易なパターンとしたが、実施の形態３の発明は、夜間など暗い環境では、カメラ１Ｌ、カメラ１Ｒの認識が困難になるため、図７に示すようにカメラ１Ｌ、カメラ１Ｒの代表点からあらかじめ決められた位置に複数のＬＥＤなどの光源を設置し、点灯したＬＥＤの座標を検出し、そこからカメラ１Ｌ、カメラ１Ｒの代表点の座標を算出してもよい。
【００５１】
以上、この発明の実施の形態を記述したが、この発明は実施の形態に限定されるものではなく、種々の設計変更を行うことが可能であり、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
【産業上の利用可能性】
【００５２】
この発明は、カメラ１Ｌとカメラ１Ｒが撮像した画像から、検出対象オブジェクト（歩行者、車両、自転車など）を検出し、その距離を計算し、それらに応じた注意をドライバーに喚起する、車両搭載の車外監視ステレオカメラ画像処理装置（車両用運転支援システム）として有用である。
【符号の説明】
【００５３】
１Ｌ、１Ｒ：カメラ、 ２：オブジェクト座標検出部、３：ステレオカメラ処理部、
４：境界値データ記憶部、５：カメラ座標記憶部、６：パラメータ計算部、
７：パラメータ記憶部、８：検出結果表示部、２１： スキャンウインドウ設定部、
２２：オブジェクト検出部、３１：対応点検出部、３２：距離計算部、
４１：検出対象オブジェクト（歩行者、車両など）の境界値データ記憶部、
４２：カメラ１Ｌとカメラ１Ｒを検出対象とする境界値データ記憶部
【図１】
2017192008.tif 000027
【図２】
2017192008.tif 000028
【図３】
2017192008.tif 000029
【図４】
2017192008.tif 000030
【図５】
2017192008.tif 000031
【図６】
2017192008.tif 000032
【図７】
2017192008.tif 000033