(57)【要約】  ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を取得して保持するとともに、ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を取得して保持する画像保持部４と、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３による立体物Ａの影Ｓを検出する影検出部５とを設け、立体物検出部６が影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａを検出する。
2010029592.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮影するカメラと、上記車両の周囲に向けて光を照射するランプと、上記ランプが消灯している状態で、上記カメラにより撮影された第１の画像を取得するとともに、上記ランプが点灯している状態で、上記カメラにより撮影された第２の画像を取得する画像取得手段と、上記画像取得手段により取得された第１の画像と第２の画像を比較して、上記第２の画像上に投影されている上記ランプによる立体物の影を検出する影検出手段と、上記影検出手段により検出された立体物の影を用いて、上記立体物を検出する立体物検出手段とを備えた車両周囲監視装置。
【請求項２】
立体物検出手段は、影検出手段により検出された立体物の影を用いて、立体物の高さを算出することを特徴とする請求項１記載の車両周囲監視装置。
【請求項３】
影検出手段は、太陽によって立体物の影が第１の画像上に投影されている場合、ランプによる立体物の影の代わりに、太陽による立体物の影を検出することを特徴とする請求項１記載の車両周囲監視装置。
【請求項４】
立体物検出手段は、太陽から照射される光の方向を検出し、その光の方向と太陽による立体物の影を用いて、上記立体物を検出することを特徴とする請求項３記載の車両周囲監視装置。
【請求項５】
車両の周囲を撮影するカメラと、上記車両の周囲に向けて光を照射する第１のランプと、上記第１のランプと異なる位置から上記車両の周囲に向けて光を照射する第２のランプと、上記第１及び第２のランプが消灯している状態で、上記カメラにより撮影された第１の画像、上記第１のランプが点灯して、上記第２のランプが消灯している状態で、上記カメラにより撮影された第２の画像、及び上記第１のランプが消灯して、上記第２のランプが点灯している状態で、上記カメラにより撮影された第３の画像を取得する画像取得手段と、上記画像取得手段により取得された第１の画像と第２の画像を比較して、上記第２の画像上に投影されている上記第１のランプによる立体物の影を検出するとともに、上記画像取得手段により取得された第１の画像と第３の画像を比較して、上記第３の画像上に投影されている上記第２のランプによる立体物の影を検出する影検出手段と、上記影検出手段により検出された第１のランプによる立体物の影を用いて、上記立体物を検出するとともに、上記影検出手段により検出された第２のランプによる立体物の影を用いて、上記立体物を検出する立体物検出手段と、上記立体物検出手段により第１のランプによる立体物の影を用いて検出された立体物と上記第２のランプによる立体物の影を用いて検出された立体物を照合して、上記立体物検出手段の検出結果の妥当性を評価する検出結果評価手段とを備えた車両周囲監視装置。
【請求項６】
検出結果評価手段は、立体物検出手段により第１のランプによる立体物の影を用いて検出された立体物の座標と第２のランプによる立体物の影を用いて検出された立体物の座標が異なる場合、車両が存在している路面と立体物の影が存在している路面が一致していない旨の認定を行うことを特徴とする請求項５記載の車両周囲監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周囲に存在している立体物を検出する車両周囲監視装置に関するものである。
【背景技術】
【０００２】
従来の車両周囲監視装置は、車両の運転席から死角になる領域を撮影するカメラを設け、ユーザがカメラにより撮影された画像を見ることで、死角領域を視認できるようにしている。
その際、ユーザが、画像上に存在している物体が車両と接触するか否かを判断できることが重要であるが、単一の画像を見るだけでは、物体の高さを把握することが困難であるため、車両と接触するか否かの判断が難しい。【０００３】
例えば、図１６（ｂ）に示すように、高さが異なる物体Ａ，Ｂ，Ｃのどれか１つが車両の周辺に存在しているとき、車両に取り付けられたカメラによって、その物体を撮影すると、カメラにより撮影された画像は、すべて図１６（ａ）のようになる。
実際の物体がＣである場合には、物体Ｃは路面上にあり、車両とは接触する可能性が少ないが、物体がＡである場合にはこのまま後進すると車両に接触してしまう。運転上では画像上の物体Ｄが車両と接触するか否かの判断が重要であるが、カメラにより撮影された画像上では、物体Ａ，Ｂ，Ｃが同じ長さの物体Ｄとして表示されてしまうため車両と接触するか否かの判断は困難である。【０００４】
ただし、物体Ｄの高さを検出して、物体Ｄの実体が物体Ａ，Ｂ，Ｃのどれであるかを確認することができれば、物体Ｄが車両と接触するか否かを判断することができる。
例えば、以下の特許文献１には、車両の移動距離とカメラにより撮影された画像上の物体の移動距離とを比較して、画像上の物体が立体物であることを検出する手法が開示されている。【０００５】
【特許文献１】特開２００７−０８７２３６号公報（段落番号［００３０］から［００３４］、図１）
【０００６】
従来の車両周囲監視装置は以上のように構成されているので、画像上の物体が立体物であることを検出するには、車両の移動距離を用いる必要があり、車両が停止している状態では、画像上の物体が立体物であることを検出することができないなどの課題があった。【０００７】
この発明は上記のような課題を解決するためになされたもので、車両が停止している状態でも、立体物を検出することができる車両周囲監視装置を得ることを目的とする。
【発明の開示】
【０００８】
この発明に係る車両周囲監視装置は、ランプが消灯している状態で、カメラにより撮影された第１の画像を取得するとともに、ランプが点灯している状態で、カメラにより撮影された第２の画像を取得する画像取得手段と、画像取得手段により取得された第１の画像と第２の画像を比較して、第２の画像上に投影されているランプによる立体物の影を検出する影検出手段とを設け、立体物検出手段が影検出手段により検出された立体物の影を用いて、立体物を検出するようにしたものである。
【０００９】
このことによって、車両が停止している状態でも、立体物を検出することができるなどの効果がある。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による車両周囲監視装置を示す構成図である。
【図２】この発明の実施の形態１による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。
【図３】この発明の実施の形態１による車両周囲監視装置の処理内容を示すフローチャートである。
【図４】ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。
【図５】ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。
【図６】立体物Ａの高さｈの表示例を示す説明図である。
【図７】この発明の実施の形態２による車両周囲監視装置を示す構成図である。
【図８】この発明の実施の形態２による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。
【図９】この発明の実施の形態２による車両周囲監視装置の処理内容を示すフローチャートである。
【図１０】ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。
【図１１】ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。
【図１２】この発明の実施の形態３による車両周囲監視装置を示す構成図である。
【図１３】この発明の実施の形態３による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。
【図１４】この発明の実施の形態３による車両周囲監視装置の検出結果評価に用いる説明図である。
【図１５】この発明の実施の形態３による車両周囲監視装置の処理内容を示すフローチャートである。
【図１６】従来の車両周囲監視装置のカメラにより撮影された画像等を示す説明図である。
【発明を実施するための最良の形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による車両周囲監視装置を示す構成図である。
また、図２はこの発明の実施の形態１による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。【００１２】
図１，２において、カメラ２は例えば車両１の後部に設置され、車両１の周囲を撮影する。
ランプ３は例えば車両１の後部に設置され、制御部７の指示の下、車両１の周囲に向けて光を照射する。【００１３】
画像保持部４は制御部７の指示の下、ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１（第１の画像）を取得して保持するとともに、ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２（第２の画像）を取得して保持する処理を実施する。
なお、画像保持部４及び制御部７から画像取得手段が構成されている。【００１４】
影検出部５は制御部７の指示の下、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３による立体物Ａの影Ｓを検出する処理を実施する。
なお、影検出部５及び制御部７から影検出手段が構成されている。【００１５】
立体物検出部６は制御部７の指示の下、影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａを検出する処理を実施する。即ち、影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）を算出する処理を実施する。
なお、立体物検出部６及び制御部７から立体物検出手段が構成されている。【００１６】
制御部７はランプ３、画像保持部４、影検出部５、立体物検出部６及び表示部８の動作を制御する処理部であり、制御部７は立体物検出部６により検出された立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）をユーザが必要な情報に変換して表示部８に表示する。
表示部８は液晶ディスプレイなどから構成されており、制御部７の指示の下、カメラ２により撮影された画像や、ユーザが必要な情報などを表示する。【００１７】
図２において、座標（ｘl，ｙl，ｚl）はランプ３が設置されている位置を示す座標であり、座標（ｘ0，ｙ0，ｚ0）は立体物Ａの頂点の座標である。
また、座標（ｘb，ｙb，ｚb）は立体物Ａが路面と交わっている点の座標であり、座標（ｘs，ｙs，ｚs）は立体物Ａの頂点に対応する影Ｓの端点の座標である。
図３はこの発明の実施の形態１による車両周囲監視装置の処理内容を示すフローチャートである。【００１８】
次に動作について説明する。
まず、制御部７は、ランプ３が消灯している状態で、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部７から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ１を取得して保持する（ステップＳＴ１）。【００１９】
ここで、図４はランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。
図４において、座標（ｕ0，ｖ0）は図２における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）に対応する点の画像Ｐ１上の座標である。
座標（ｕb，ｖb）は図２における立体物Ａと路面の交点の座標（ｘb，ｙb，ｚb）に対応する点の画像Ｐ１上の座標である。
ただし、ランプ３が消灯している状態で撮影されているので、ランプ３による立体物Ａの影Ｓは、図４の画像Ｐ１上には投影されていない。【００２０】
次に、制御部７は、ランプ３を点灯して（ステップＳＴ２）、ランプ３による立体物Ａの影Ｓを路面上に生成してから、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部７から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ２を取得して保持する（ステップＳＴ３）。【００２１】
ここで、図５はランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。
図５において、座標（ｕ0，ｖ0）は図２における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）に対応する点の画像Ｐ２上の座標である。
座標（ｕb，ｖb）は図２における立体物Ａと路面の交点の座標（ｘb，ｙb，ｚb）に対応する点の画像Ｐ２上の座標である。
座標（ｕs，ｖs）は図２における影Ｓの端点の座標（ｘs，ｙs，ｚs）に対応する点の画像Ｐ２上の座標である。【００２２】
制御部７は、画像保持部４が画像Ｐ１，Ｐ２を取得すると、ランプ３による立体物Ａの影Ｓの検出指令を影検出部５に出力する。
影検出部５は、制御部７から影Ｓの検出指令を受けると、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３による立体物Ａの影Ｓを検出する（ステップＳＴ４）。【００２３】
例えば、画像Ｐ１の各画素値から画像Ｐ２の各画素値を減算し、その減算値が所定の閾値以上である画素が存在する部分を立体物Ａの影Ｓとして検出する。
ただし、影Ｓの検出方法については、特に限定するものではなく、例えば、ユーザが画像Ｐ１と画像Ｐ２を見比べて、影Ｓが存在していると判断する位置を指定するようにしてもよい。
なお、影検出部５は、ランプ３による立体物Ａの影Ｓを検出すると、図２の影Ｓの端点の座標（ｘs，ｙs，ｚs）に対応する図５の点の座標（ｕs，ｖs）を取得する。【００２４】
制御部７は、影検出部５がランプ３による立体物Ａの影Ｓを検出すると、立体物Ａの検出指令を立体物検出部６に出力する。
立体物検出部６は、制御部７から立体物Ａの検出指令を受けると、影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａを検出する。
即ち、立体物検出部６は、影検出部５により検出された立体物Ａの影Ｓを用いて、図２における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を算出する（ステップＳＴ５）。【００２５】
以下、立体物検出部６における立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）の算出例を具体的に説明する。
まず、カメラ２の光学中心を座標原点として、座標軸であるＺ軸をカメラ２の視線方向、Ｙ軸をＺ軸と直交して上方に向かう方向、Ｘ軸をＹ軸及びＺ軸と直交する方向とする。
カメラ２とランプ３が車両１に固定されており、カメラ２とランプ３の位置関係が不変であるため、立体物検出部６は、予め、ランプ３が設置されている位置を測定することにより、ランプ３が設置されている位置の座標（ｘl，ｙl，ｚl）を求めておくようにする。【００２６】
また、立体物検出部６は、立体物Ａが路面と交わっている点の座標（ｘb，ｙb，ｚb）と、立体物Ａの頂点に対応する影Ｓの端点の座標（ｘs，ｙs，ｚs）とが同じ平面（車両の路面）上に存在しているので、予め、カメラ２により撮影される画像上の点と、車両１の路面上の点との関係（以下、「カメラ画像／路面関係」と称する）を平面射影変換などで求めておくようにする。
立体物検出部６は、画像保持部４が画像Ｐ２を取得すると、カメラ画像／路面関係にしたがって、画像Ｐ２上の座標（ｕb，ｖb）から、図２における立体物Ａと路面の交点の座標（ｘb，ｙb，ｚb）を算出する。【００２７】
また、立体物検出部６は、カメラ画像／路面関係にしたがって、画像Ｐ２上の座標（ｕs，ｖs）から、図２における影Ｓの端点の座標（ｘs，ｙs，ｚs）を算出する。
ただし、図２における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）は、車両１の路面上に存在しておらず、カメラ画像／路面関係にしたがって、画像Ｐ２上の座標（ｕ0，ｖ0）から算出することができないので、立体物検出部６は、以下のように算出する。【００２８】
立体物検出部６は、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）が、既に算出している座標（ｘl，ｙl，ｚl）と座標（ｘs，ｙs，ｚs）の中間に位置しているので、座標（ｘl，ｙl，ｚl）と座標（ｘs，ｙs，ｚs）を用いて、下記の式（１）に示すように、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を定義する。
【数１】
2010029592.tif 000003
【００２９】
また、立体物検出部６は、座標ｘ0，ｙ0については、カメラ２の焦点距離ｆと座標（ｘ0，ｙ0，ｚ0）に対応する画像Ｐ２上の座標（ｕ0，ｖ0）を用いて表すことができるので、下記の式（２）のように、座標ｘ0，ｙ0を定義する。
【数２】
2010029592.tif 000004
ただし、焦点距離ｆは、カメラ１の固有値であるため、予め測定して求めておくものとする。【００３０】
立体物検出部６は、上記のようにして、式（１）と式（２）を定義すると、式（１）と式（２）から、下記の式（３）を導出する。
【数３】
2010029592.tif 000005
【００３１】
立体物検出部６は、式（３）を導出すると、式（３）における“ｓ”の値を求め、“ｓ”の値を式（１）に代入することにより、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を算出する。【００３２】
制御部７は、立体物検出部６が立体物Ａを検出すると、立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）をユーザが必要な情報に変換して表示部８に表示する（ステップＳＴ６）。
例えば、立体物Ａの高さｈを表示する場合には、下記の式（４）に示すように、立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）から高さｈを算出して、表示部８に表示する。
【数４】
2010029592.tif 000006
【００３３】
図６は立体物Ａの高さｈの表示例を示す説明図である。図６では、立体物Ａの高さｈが２５ｃｍである例を示している。
図６では、立体物Ａの高さｈの具体的な高さを表示しているが、情報提示の手法については特に限定するものではない。
例えば、車両１に接触するか否かの情報を表示すれば足りる場合には、車両１が乗り越えられない高さｈ以上の立体物Ａを強調表示するようにしてもよい。【００３４】
以上で明らかなように、この実施の形態１によれば、ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を取得して保持するとともに、ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を取得して保持する画像保持部４と、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３による立体物Ａの影Ｓを検出する影検出部５とを設け、立体物検出部６が影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａを検出するように構成したので、車両１が停止している状態でも、立体物Ａを検出することができるなどの効果を奏する。【００３５】
実施の形態２．
図７はこの発明の実施の形態２による車両周囲監視装置を示す構成図である。
また、図８はこの発明の実施の形態２による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。
図７及び図８において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。【００３６】
影検出部１１は制御部１４の指示の下、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ１上に投影されている太陽による立体物Ａの影Ｓを検出する処理を実施する。
なお、影検出部１１及び制御部１４から影検出手段が構成されている。【００３７】
太陽情報入力部１２は例えばＧＰＳを用いて車両１の位置を求め、車両１の位置と現在時刻から太陽の位置を計算し、太陽情報として、太陽光線の方向を示す単位ベクトルを立体物検出部１３に与える処理を実施する。
立体物検出部１３は制御部１４の指示の下、影検出部１１により検出された太陽による立体物Ａの影Ｓと太陽情報入力部１２から与えられる太陽情報とを用いて、立体物Ａを検出する処理を実施する。
なお、太陽情報入力部１２、立体物検出部１３及び制御部１４から立体物検出手段が構成されている。【００３８】
制御部１４はランプ３、画像保持部４、影検出部１１、立体物検出部１３及び表示部８の動作を制御する処理部であり、制御部１４は立体物検出部１３により検出された立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）をユーザが必要な情報に変換して表示部８に表示する。【００３９】
図８において、ベクトル（ｘv，ｙv，ｚv）は太陽光線の方向を示す単位ベクトルである。
図９はこの発明の実施の形態２による車両周囲監視装置の処理内容を示すフローチャートである。【００４０】
上記実施の形態１では、影検出部５がランプ３による立体物Ａの影Ｓを検出し、立体物検出部６がランプ３による立体物Ａの影Ｓを用いて、立体物Ａを検出するものについて示したが、太陽によって立体物Ａの影Ｓが投影される場合には、影検出部１１が太陽による立体物Ａの影Ｓを検出し、立体物検出部１３が太陽による立体物Ａの影Ｓを用いて、立体物Ａを検出するようにしてもよい。【００４１】
次に動作について説明する。
まず、制御部１４は、ランプ３が消灯している状態で、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部１４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ１を取得して保持する（ステップＳＴ１１）。【００４２】
ここで、図１０はランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。
図１０において、座標（ｕ0，ｖ0）は図８における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）に対応する点の画像Ｐ１上の座標である。
座標（ｕb，ｖb）は図８における立体物Ａと路面の交点の座標（ｘb，ｙb，ｚb）に対応する点の画像Ｐ１上の座標である。
ランプ３が消灯している状態では、ランプ３から立体物Ａに向けて光が照射されないので、ランプ３の影響を受けずに、太陽による立体物Ａの影Ｓが画像Ｐ１上に投影される。
座標（ｕs，ｖs）は図８における影Ｓの端点の座標（ｘs，ｙs，ｚs）に対応する点の画像Ｐ１上の座標である。【００４３】
次に、制御部１４は、ランプ３を点灯して（ステップＳＴ１２）、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部１４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ２を取得して保持する（ステップＳＴ１３）。
ランプ３を点灯している状態では、ランプ３から照射された光が立体物Ａに照らされるため、太陽による立体物Ａの影Ｓが目立たなくなる。【００４４】
ここで、図１１はランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。
図１１において、座標（ｕ0，ｖ0）は図８における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）に対応する点の画像Ｐ２上の座標である。
座標（ｕb，ｖb）は図８における立体物Ａと路面の交点の座標（ｘb，ｙb，ｚb）に対応する点の画像Ｐ２上の座標である。【００４５】
制御部１４は、画像保持部４が画像Ｐ１，Ｐ２を取得すると、太陽による立体物Ａの影Ｓの検出指令を影検出部１１に出力する。
影検出部１１は、制御部１４から影Ｓの検出指令を受けると、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ１上に投影されている太陽による立体物Ａの影Ｓを検出する（ステップＳＴ１４）。【００４６】
例えば、画像Ｐ１の各画素値から画像Ｐ２の各画素値を減算し、その減算値が所定の閾値以上である画素が存在する部分を立体物Ａの影Ｓとして検出する。
ただし、影Ｓの検出方法については、特に限定するものではなく、例えば、ユーザが画像Ｐ１と画像Ｐ２を見比べて、影Ｓが存在していると判断する位置を指定するようにしてもよい。
なお、影検出部１１は、太陽による立体物Ａの影Ｓを検出すると、図８の影Ｓの端点の座標（ｘs，ｙs，ｚs）に対応する図１０の点の座標（ｕs，ｖs）を取得する。【００４７】
太陽情報入力部１２は、例えば、ＧＰＳを用いて車両１の位置（緯度経度）を求め、車両１の位置と現在時刻から太陽の位置を計算し、太陽情報として、太陽光線の方向を示す単位ベクトル（ｘv，ｙv，ｚv）を算出する（ステップＳＴ１５）。【００４８】
制御部１４は、影検出部１１が太陽による立体物Ａの影Ｓを検出し、太陽情報入力部１２が太陽光線の方向を示す単位ベクトル（ｘv，ｙv，ｚv）を算出すると、立体物Ａの検出指令を立体物検出部１３に出力する。
立体物検出部１３は、制御部１４から立体物Ａの検出指令を受けると、影検出部１１により検出された立体物Ａの影Ｓと太陽情報入力部１２により算出された単位ベクトル（ｘv，ｙv，ｚv）を用いて、立体物Ａを検出する。
即ち、立体物検出部１３は、影検出部５により検出された立体物Ａの影Ｓと単位ベクトル（ｘv，ｙv，ｚv）を用いて、図８における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を算出する（ステップＳＴ１６）。【００４９】
以下、立体物検出部１３における立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）の算出例を具体的に説明する。
まず、カメラ２の光学中心を座標原点として、座標軸であるＺ軸をカメラ２の視線方向、Ｙ軸をＺ軸と直交して上方に向かう方向、Ｘ軸をＹ軸及びＺ軸と直交する方向とする。【００５０】
立体物検出部１３は、立体物Ａが路面と交わっている点の座標（ｘb，ｙb，ｚb）と、立体物Ａの頂点に対応する影Ｓの端点の座標（ｘs，ｙs，ｚs）とが同じ平面（車両の路面）上に存在しているので、予め、カメラ画像／路面関係を平面射影変換などで求めておくようにする。
立体物検出部１３は、画像保持部４が画像Ｐ１を取得すると、カメラ画像／路面関係にしたがって、画像Ｐ１上の座標（ｕb，ｖb）から、図８における立体物Ａと路面の交点の座標（ｘb，ｙb，ｚb）を算出する。【００５１】
また、立体物検出部１３は、カメラ画像／路面関係にしたがって、画像Ｐ１上の座標（ｕs，ｖs）から、図８における影Ｓの端点の座標（ｘs，ｙs，ｚs）を算出する。
ただし、図８における立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）は、車両１の路面上に存在しておらず、カメラ画像／路面関係にしたがって、画像Ｐ１上の座標（ｕ0，ｖ0）から算出することができないので、立体物検出部１３は、以下のように算出する。【００５２】
立体物検出部１３は、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）と既に算出している座標（ｘs，ｙs，ｚs）が同一の方向、即ち、太陽情報入力部１２により算出された単位ベクトル（ｘv，ｙv，ｚv）が示す方向に存在しているので、座標（ｘs，ｙs，ｚs）と単位ベクトル（ｘv，ｙv，ｚv）を用いて、下記の式（５）に示すように、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を定義する。
【数５】
2010029592.tif 000007
【００５３】
立体物検出部１３は、式（５）のように、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を定義すると、上記実施の形態１の立体物検出部６と同様にして、式（２）を定義し、式（５）と式（２）を用いて、式（５）における“ｔ”の値を求めることで、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を算出する。【００５４】
制御部１４は、立体物検出部１３が立体物Ａを検出すると、上記実施の形態１の制御部７と同様に、立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）をユーザが必要な情報に変換して表示部８に表示する（ステップＳＴ１７）。
例えば、立体物Ａの高さｈを表示する場合には、上記の式（４）を用いて、立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）から高さｈを算出して表示する。【００５５】
以上で明らかなように、この実施の形態２によれば、ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を取得して保持するとともに、ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を取得して保持する画像保持部４と、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ１上に投影されている太陽による立体物Ａの影Ｓを検出する影検出部１１とを設け、立体物検出部１３が影検出部１１により検出された立体物Ａの影Ｓと太陽情報入力部１２により算出された単位ベクトル（ｘv，ｙv，ｚv）を用いて、立体物Ａを検出するように構成したので、車両１が停止している状態でも、立体物Ａを検出することができるなどの効果を奏する。【００５６】
実施の形態３．
図１２はこの発明の実施の形態３による車両周囲監視装置を示す構成図である。
また、図１３はこの発明の実施の形態３による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。
図１２及び図１３において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。【００５７】
第１のランプであるランプ３ａは例えば車両１の後部に設置され、制御部２４の指示の下、車両１の周囲に向けて光を照射する。
第２のランプであるランプ３ｂは例えば車両１の後部において、ランプ３ａと異なる位置に設置され、制御部２４の指示の下、ランプ３ａと異なる位置から車両１の周囲に向けて光を照射する。【００５８】
画像保持部２１は制御部２４の指示の下、ランプ３ａ，３ｂが消灯している状態で、カメラ２により撮影された画像Ｐ１（第１の画像）を取得して保持するとともに、ランプ３ａが点灯して、ランプ３ｂが消灯している状態で、カメラ２により撮影された画像Ｐ２（第２の画像）を取得して保持し、また、ランプ３ａが消灯して、ランプ３ｂが点灯している状態で、カメラ２により撮影された画像Ｐ３（第３の画像）を取得して保持する処理を実施する。
なお、画像保持部２１及び制御部２４から画像取得手段が構成されている。【００５９】
影検出部２２は制御部２４の指示の下、画像保持部２１に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３ａによる立体物Ａの影Ｓａを検出するとともに、画像保持部２１に保持されている画像Ｐ１と画像Ｐ３を比較して、画像Ｐ３上に投影されているランプ３ｂによる立体物Ａの影Ｓｂを検出する処理を実施する。
なお、影検出部２２及び制御部２４から影検出手段が構成されている。【００６０】
立体物検出部２３は制御部２４の指示の下、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａを検出するとともに、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａを検出する処理を実施する。
なお、立体物検出部２３及び制御部２４から立体物検出手段が構成されている。【００６１】
制御部２４はランプ３ａ，３ｂ、画像保持部２１、影検出部２２、立体物検出部２３及び表示部２５の動作を制御する処理部であり、制御部２４は立体物検出部２３によりランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物を照合して、立体物検出部２３の検出結果の妥当性を評価する処理を実施する。即ち、ランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物の座標と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物の座標とが異なる場合、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していない旨の認定を実施する。
なお、制御部２４は検出結果評価手段を構成している。【００６２】
表示部２５は液晶ディスプレイなどから構成されており、制御部２４の指示の下、カメラ２により撮影された画像や、ユーザが必要な情報を表示するほか、制御部２４により車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していない旨の認定がなされた場合、例えば、注意を喚起する情報を表示する。【００６３】
上記実施の形態１，２において、立体物Ａの正確な３次元座標（ｘ0，ｙ0，ｚ0）を検出するには、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致している必要がある。
例えば、図１３に示すように、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２とが同一平面でない場合、路面Ｒ２に投影される立体物Ａの影Ｓが、図２の立体物Ａの影Ｓより短くなるため、立体物Ａの正確な３次元座標（ｘ0，ｙ0，ｚ0）を算出することができない。【００６４】
立体物Ａの不正確な３次元座標（ｘ0，ｙ0，ｚ0）をユーザに提示してしまうと、車両１が立体物Ａと接触しないはずなのに、接触してしまうなどの問題が発生するため、正確に立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）が算出されているか否かを検証できることが重要である。
そこで、この実施の形態３では、正確に立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）が算出されているか否かを検証できるようにしている。【００６５】
図１４はこの発明の実施の形態３による車両周囲監視装置の検出結果評価に用いる説明図である。
図１４において、点Ｄ１は立体物Ａの影Ｓが仮に路面Ｒ１上に存在するとすれば、ランプ３ａにより投影される影Ｓａの端点である。
点Ｄ２はランプ３ａにより立体物Ａの影Ｓａが実際に路面Ｒ２上に投影される場合において、その立体物Ａの影Ｓａをもとにカメラ２により撮影される画像から算出される点である。
点Ｄ３はランプ３ａにより実際に路面Ｒ２上に投影される立体物Ａの影Ｓａの端点である。【００６６】
点Ｄ４は立体物Ａの影Ｓが仮に路面Ｒ１上に存在するとすれば、ランプ３ｂにより路面に投影される影Ｓｂの端点である。
点Ｄ５はランプ３ｂにより実際に路面Ｒ２上に投影される場合の立体物Ａの影Ｓｂの端点である。【００６７】
１つのカメラ２を用いて、立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）を求める場合に、上記実施の形態１で述べた手法で、カメラ２により撮影された画像上の点Ｄ３を３次元座標に変換すると、点Ｄ２の座標になる。
その理由は、上記実施の形態１では、車両１と立体物Ａの影Ｓが同じ路面Ｒ１上に存在していることを利用して求めているため、カメラ２から見て、点Ｄ３と同じ座標にある路面Ｒ１上の点Ｄ２に変換されてしまうからである。【００６８】
この場合、式（１）では、正しくは立体物Ａの座標が、ランプ３ａと点Ｄ３の中間にあるとして求める必要があるが、実際には路面Ｒ１上の点Ｄ２とランプ３ａの中間にある座標として求めてしまうため、異なった座標が求められることになる。
また、もう１つのランプ３ｂを用いて、立体物Ａの座標を求める場合も、同様に、ランプ３ｂと点Ｄ５の中間にあるとして求める必要があるが、路面Ｒ１上の点Ｄ４とランプ３ｂの中間にある座標として求めてしまうため、異なった座標が求められることになる。【００６９】
立体物Ａの影Ｓが路面Ｒ１上に存在している場合には、ランプ３ａによる影Ｓａから求めた立体物Ａの座標と、ランプ３ｂによる影Ｓｂから求めた立体物Ａの座標が一致する。
しかしながら、立体物Ａの影Ｓが路面Ｒ１上に存在していない場合には、上述したように、求めた座標が異なるため、車両１と影Ｓが同じ路面上に存在していないことを検出することができる。
図１５はこの発明の実施の形態３による車両周囲監視装置の処理内容を示すフローチャートである。【００７０】
次に動作について説明する。
まず、制御部２４は、ランプ３ａ，３ｂが消灯している状態で、画像の取得指令を画像保持部２１に出力する。
画像保持部２１は、制御部２４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ１を取得して保持する（ステップＳＴ２１）。【００７１】
次に、制御部２４は、ランプ３ａを点灯して（ステップＳＴ２２）、画像の取得指令を画像保持部２１に出力する。このとき、ランプ３ｂについては点灯せずに、消灯している状態を維持する。
画像保持部２１は、制御部２４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ２を取得して保持する（ステップＳＴ２３）。【００７２】
次に、制御部２４は、ランプ３ａを消灯して、ランプ３ｂを点灯してから（ステップＳＴ２４）、画像の取得指令を画像保持部２１に出力する。
画像保持部２１は、制御部２４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ３を取得して保持する（ステップＳＴ２５）。【００７３】
制御部２４は、画像保持部２１が画像Ｐ１，Ｐ２，Ｐ３を取得すると、ランプ３ａ，３ｂによる立体物Ａの影Ｓａ，Ｓｂの検出指令を影検出部２２に出力する。
影検出部２２は、制御部２４から影Ｓａ，Ｓｂの検出指令を受けると、画像保持部２１に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３ａによる立体物Ａの影Ｓａを検出する。
また、画像保持部２１に保持されている画像Ｐ１と画像Ｐ３を比較して、画像Ｐ３上に投影されているランプ３ｂによる立体物Ａの影Ｓｂを検出する（ステップＳＴ２６）。
影検出部２２による影の検出方法は、上記実施の形態１による影検出部５と同様であるため詳細な説明を省略する。【００７４】
制御部２４は、影検出部２２がランプ３ａによる立体物Ａの影Ｓａと、ランプ３ｂによる立体物Ａの影Ｓｂとを検出すると、立体物Ａの検出指令を立体物検出部２３に出力する。
立体物検出部２３は、制御部２４から立体物Ａの検出指令を受けると、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａを検出する。
即ち、立体物検出部２３は、上記実施の形態１の立体物検出部６と同様に、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を算出する（ステップＳＴ２７）。【００７５】
また、立体物検出部２３は、制御部２４から立体物Ａの検出指令を受けると、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａを検出する。
即ち、立体物検出部２３は、上記実施の形態１の立体物検出部６と同様に、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を算出する（ステップＳＴ２７）。【００７６】
制御部２４は、立体物検出部２３が立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を算出すると、ランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物Ａの頂点の座標（ｘ0，ｙ0，ｚ0）を比較する（ステップＳＴ２８）。
制御部２４は、２つの座標（ｘ0，ｙ0，ｚ0）が同じであれば、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していると認定する。
一方、２つの座標（ｘ0，ｙ0，ｚ0）が異なっていれば、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していないと認定する。【００７７】
制御部２４は、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していると認定すると、上記実施の形態１の制御部７と同様に、立体物検出部２３により算出された立体物Ａの３次元座標（ｘ0，ｙ0，ｚ0）をユーザが必要な情報に変換して表示部２５に表示する（ステップＳＴ２９）。
一方、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していないと認定すると、立体物Ａの正確な３次元座標（ｘ0，ｙ0，ｚ0）を算出することができない旨の注意情報を表示部２５に表示する（ステップＳＴ３０）。【００７８】
以上で明らかなように、この実施の形態３によれば、画像保持部２１に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３ａによる立体物Ａの影Ｓａを検出するとともに、画像保持部２１に保持されている画像Ｐ１と画像Ｐ３を比較して、画像Ｐ３上に投影されているランプ３ｂによる立体物Ａの影Ｓｂを検出する影検出部２２と、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａを検出するとともに、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａを検出する立体物検出部２３とを設け、制御部２４が、ランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物の座標と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物の座標とが異なる場合、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していない旨の認定を行うように構成したので、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していないことが原因で、立体物Ａの正確な３次元座標（ｘ0，ｙ0，ｚ0）を算出することができない場合に、ユーザに注意を喚起して、不意な接触を回避することができる効果を奏する。
【産業上の利用可能性】
【００７９】
以上のように、この発明に係る車両周囲監視装置は、周囲に存在している立体物を検出して、不意な接触を回避する用途に適している。
【図１】
2010029592.tif 000008
【図２】
2010029592.tif 000009
【図３】
2010029592.tif 000010
【図４】
2010029592.tif 000011
【図５】
2010029592.tif 000012
【図６】
2010029592.tif 000013
【図７】
2010029592.tif 000014
【図８】
2010029592.tif 000015
【図９】
2010029592.tif 000016
【図１０】
2010029592.tif 000017
【図１１】
2010029592.tif 000018
【図１２】
2010029592.tif 000019
【図１３】
2010029592.tif 000020
【図１４】
2010029592.tif 000021
【図１５】
2010029592.tif 000022
【図１６】
2010029592.tif 000023
【国際調査報告】
2010029592.tif 000024
2010029592.tif 000025
2010029592.tif 000026
2010029592.tif 000027