(57)【要約】      （修正有）【課題】誤検出、誤報知を防止した車両周囲監視装置を提供する。【解決手段】画像処理ＥＣＵ２０が、カメラ１０から基準画像情報及び比較画像情報を取得し、これらに対して画像処理を行い、比較画像情報上において基準画像情報に対して変化している変化領域を抽出し、この画像領域の濃度の一様性を評価し、当該評価された前記変化領域の濃度の一様性を所定値と比較し、前記変化領域が、物体自体であるか、それとも物体の影であるかの判定を行い、前記変化領域が物体自体である場合には、モニタ７０上に物体がマークで重畳表示され、スピーカ７０が物体の存在を報知する。【選択図】  図１
2004200864.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮像する撮像手段と、
前記撮像手段が撮像した第１の画像情報、及び前記撮像手段が前記第１の画像情報の撮像後に撮像した第２の画像情報を取得し、前記第１の画像情報と第２の画像情報とを比較し、前記第２の画像情報上において前記第１の画像情報に対して変化している変化領域を抽出する変化領域抽出手段と、
前記変化領域抽出手段により抽出された前記変化領域の濃度の一様性を評価する一様性評価手段と、
前記評価された変化領域の濃度の一様性を所定値と比較し、前記変化領域が、物体自体であるか否かの判定を行う判定手段と、
前記判定手段による判定結果に基づいて、前記車両の運転者に対して報知を行う報知手段とを備えた車両周囲監視装置。
【請求項２】
前記一様性評価手段は、前記変化領域の濃度の分散値を算出することにより、前記変化領域の濃度の一様性を評価する請求項１記載の車両周囲監視装置。
【請求項３】
前記車両が有するシフト操作部から取得される信号と、前記車両の車速値とに基づいて、前記変化領域抽出手段が、前記撮像手段から前記第１の画像情報を逐次取得して、前記第１の画像情報を更新する請求項１又は２記載の車両周囲監視装置。
【請求項４】
車両の周囲の第１の画像情報を撮像するステップと、
前記第１の画像情報の撮像後に前記車両の周囲の第２の画像情報を撮像するステップと、
前記第１の画像情報と第２の画像情報とを比較し、前記第２の画像情報上において前記第１の画像情報に対して変化している変化領域を抽出するステップと、
前記抽出された変化領域の濃度の一様性を評価するステップと、
前記評価された変化領域の濃度の一様性を所定値と比較し、前記変化領域が、物体自体であるか否かの判定を行うステップと、
その判定結果に基づいて、前記車両の運転者に対して報知を行うステップとを備えた車両周囲監視方法。
【請求項５】
前記抽出された変化領域の濃度の一様性を評価するステップにおいて、
前記変化領域の濃度の分散値を算出することにより、前記変化領域の濃度の一様性を評価する請求項４記載の車両周囲監視方法。
【請求項６】
前記車両が有するシフト操作部から取得される信号と、前記車両の車速値とに基づいて、前記第１の画像情報が逐次更新される請求項４又は５記載の車両周囲監視方法。
【発明の詳細な説明】
【０００１】
【技術分野】
本発明は、画像処理により車両後方などの車両周囲の監視をし、車両の運転者に対して報知を行うことにより、安全確認の支援を行う車両周囲監視装置及び車両周囲監視方法に関する。
【０００２】
【背景技術】
車両の周囲の安全確認のために、車両の停車時に、カメラを用いて撮影した基準画像情報と、当該基準画像情報の撮像後に撮影した比較画像情報とを取得し、当該基準画像情報及び比較画像情報に対して画像処理を行い、比較画像情報上において基準画像情報に対して変化した変化領域を抽出し、当該抽出された変化領域が障害物の侵入による変化であるか否かの判定を行い、当該判定結果に基づいて車両の運転者に対して報知を行う車両周囲監視装置が知られている（例えば、特許文献１及び特許文献２参照）。
【０００３】
しかしながら、上記の車両周囲監視装置では、画像情報上に現れた変化領域が、障害物自体であるか、又は、障害物の影であるかの区別されていないため、障害物の影が障害物自体でないにも関わらず、当該影の領域分をも障害物の領域として誤検出され、車両の進行に影響がないにも関わらず報知するおそれがある。
【０００４】
また、基準画像情報の取得時から比較画像情報を取得するまでの間に、例えば曇りから晴れに突然変化したり、逆に晴れから曇りに突然変化するように、天候が急変する場合があり、この天候の急変により、太陽の日射量が増減し、自車両の周囲が明るくなったり暗くなったりする場合がある。この日射の急変に伴い、自車両の周囲に存在する柱、看板、建築物、駐車車両等の、基準画像情報には存在しない障害物の影が比較画像情報に出現したり、消失したりする。
【０００５】
これらの影は、基準画像情報と比較画像情報との比較の際に、基準画像情報に対する比較画像情報における変化の領域として抽出され、あたかも障害物が車両の後方に出現・消失したかのように誤検出されてしまい、車両の進行に影響がないにも関わらず報知をするおそれがある。
【０００６】
【特許文献１】
特開２０００−１７７５１３号公報
【特許文献２】
特開２０００−１８２０２７号公報
【発明の開示】
本発明は、車両の周囲を監視して安全確認の支援を行う車両周囲監視装置及び車両周囲監視方法に関し、特に、誤検出、誤報知を防止した車両周囲監視装置及び車両周囲監視方法を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明によれば、車両の周囲を撮像する撮像手段と、前記撮像手段が撮像した第１の画像情報、及び前記撮像手段が前記第１の画像情報の撮像後に撮像した第２の画像情報を取得し、前記第１の画像情報と第２の画像情報とを比較し、前記第２の画像情報上において前記第１の画像情報に対して変化している変化領域を抽出する変化領域抽出手段と、前記変化領域抽出手段により抽出された前記変化領域の濃度の一様性を評価する一様性評価手段と、前記評価された変化領域の濃度の一様性を所定値と比較し、前記変化領域が、物体自体であるか否かの判定を行う判定手段と、前記判定手段による判定結果に基づいて、前記車両の運転者に対して報知を行う報知手段とを備えた車両周囲監視装置が提供される。
【０００８】
また、上記目的を達成するために、本発明によれば、車両の周囲の第１の画像情報を撮像するステップと、前記第１の画像情報の撮像後に前記車両の周囲の第２の画像情報を撮像するステップと、前記第１の画像情報と第２の画像情報とを比較し、前記第２の画像情報上において前記第１の画像情報に対して変化している変化領域を抽出するステップと、前記抽出された変化領域の濃度の一様性を評価するステップと、前記評価された変化領域の濃度の一様性を所定値と比較し、前記変化領域が、物体自体であるか否かの判定を行うステップと、その判定結果に基づいて、前記車両の運転者に対して報知を行うステップとを備えた車両周囲監視方法が提供される。
【０００９】
本発明では、撮像手段が、車両の周囲の第１の画像情報を撮像し、さらに当該撮像手段が、当該第１の画像情報の撮像後に前記車両の周囲の第２の画像情報を撮像する。そして、変化領域抽出手段が、第１の画像情報及び第２の画像情報を取得し、第１の画像情報及び第２の画像情報に対して画像処理を行って、第１の画像情報と第２の画像情報とを比較し、第２の画像情報上において第１の画像情報に対して変化している領域（以下、単に、変化領域ともいう。）を抽出する。この抽出された変化領域の濃度の一様性を、一様性評価手段が評価し、判定手段が、当該評価された変化領域の濃度の一様性と所定値とを比較し、第２の画像情報上において第１の画像情報に対する変化が、物体自体による変化であるか、それとも物体の影による変化かの判定を行い、報知手段が、当該判定に基づいて、車両の運転者に対して報知を行う。
【００１０】
本発明によれば、前記変化領域の濃度の一様性の評価を行うことにより、車両の周囲に生じた変化が、物体自体によるものか、それとも当該物体の影によるものであるかの区別をすることが可能となり、画像情報における物体の影の出現・消失による誤検出を防止することができ、誤報知を防止することが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１は本発明の実施形態に係る車両周囲監視装置のシステム構成を示すブロック図、図２は本発明の実施形態に係る車両周囲監視装置を搭載した車両の模式図、図３は図１の画像処理ＥＣＵの内部構成を示すブロック図である。
【００１２】
本発明の実施形態に係る車両周囲監視装置１は、特に車両１００の後方周囲を監視する装置であり、図１に示すように、車両の後方周囲を撮像するカメラ１０（撮像手段）と、当該カメラ１０より取得した画像情報に基づいて障害物の存在の有無の判定を行う画像処理ＥＣＵ２０（変化領域抽出手段、一様性評価手段、判定手段）と、位置計測機能及び経路誘導機能を有する車両用のナビゲーションＥＣＵ３０と、リバーススイッチ４０と、車速センサ５０と、スピーカ６０（報知手段）と、画像処理ＥＣＵ２０からの後方画像情報Ｑ１又はナビゲーションＥＣＵ３０からのナビゲーション画像情報Ｑ２を車室内に表示するモニタ７０とを備えている。なお、図１には、上記のように構成される車両周囲監視装置１を動作させる上で必要な電源等は特に図示していないが、例えば車両１００の車載バッテリーなどから当該車両周囲監視装置１に電力が供給される。
【００１３】
カメラ１０は、図２に示すように、車両１００の後方周囲を撮像可能なように、車両１００のボディの後方に設置されたＣＣＤ方式のカメラであり、その光軸が路面１１０と交差するように、路面１１０と平行な面に対してやや下向きに傾斜して設置されており、撮像した後方画像情報Ｑ１を画像処理ＥＣＵ２０に送信可能なように接続されている。なお、カメラ１０は上記のようなＣＣＤカメラに限定されることはなく他の方式でも良く、例えば、ＣＭＯＳ方式等のカメラを採用しても良い。
【００１４】
画像処理ＥＣＵ２０は、カメラ１０により撮像された後方画像情報Ｑ１から、後述する画像処理用の基準画像情報Ｑ１１及び比較画像情報Ｑ１２を適宜取得し、当該画像情報Ｑ１１、Ｑ１２に基づいて、車両１００の後方周囲の障害物の存在の有無の判定を行うものである。
【００１５】
この画像処理ＥＣＵ２０は、図３に示すように、画像処理ＥＣＵ２０全体の動作を制御するためのプログラムを実行するＣＰＵ２１と、画像情報の濃度値を基に画像フレーム間、画素間での、例えば、算術演算、論理演算、フィルタリング、エッジ抽出処理、２値化処理、ラベリング処理、回転・移動・拡大・縮小等の図形的処理などの画像処理を高速で実行可能な画像処理用プロセッサ２２ａ及び画像データをフレーム単位で複数記憶できる画像メモリ２２ｂを有する画像処理部２２と、上記のプログラムの処理過程で必要に応じてデータを一時的に記憶するＲＡＭ２３と、ＣＰＵ２１の実行するプログラムを格納するＲＯＭ２４と、ＣＰＵ２１の指令に基づいて、画像処理部２２で画像処理された後方画像情報Ｑ１又はナビゲーションＥＵＣ３０からのナビゲーション画像情報Ｑ２を適宜切り替えてモニタ７０に出力する画像切替部２５と、ＣＰＵ２１とリバーススイッチ４０、車速センサ５０、スピーカ６０との間に位置して信号入出力の仲介を行う入出力インターフェース２６とを備えている。
【００１６】
図３に示すように、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２、ＲＡＭ２３、ＲＯＭ２４及び入出力インターフェイス２６と信号を入出力可能なように接続されている。また、当該ＣＰＵ２１は、画像切替部２５に対して信号を出力可能なように接続されている。
【００１７】
この画像処理ＥＣＵ２０は、具体的には、まず、カメラ１０により撮像された後方画像情報Ｑ１から、車両１００が後方進行中（リバースポジションが選択された状態）に一旦停止した際に基準となる基準画像情報Ｑ１１（第１の画像情報）を取得する。さらに、当該基準画像情報Ｑ１１の撮像後に車両１００の後方で生じた変化を抽出するために、一旦停止が継続されている間に、比較画像情報Ｑ１２（第２の画像情報）をカメラ１０から取得する。次に、取得した基準画像情報Ｑ１１及び比較画像情報Ｑ１２に対して画像処理を行い、比較画像情報Ｑ１２上で基準画像情報Ｑ１１に対して変化している変化領域ＡＲを抽出する。そして、この抽出された変化領域ＡＲにおける濃度の一様性（バラツキ）の評価を行い、当該一様性に基づいて、変化領域ＡＲが障害物の影であるとの判定をする。車両１００が後方進行中の一旦停止の間、随時、比較画像情報Ｑ１２が更新され、上記の判定が繰り返される。なお、この画像処理ＥＣＵ２０の詳細な動作については、後に詳述する。
【００１８】
ナビゲーションＥＣＵ３０は、ＧＰＳ等により自車両１００の位置を計測し、モニタ７０を介して、地図上に自車両１００の現在位置を示す位置計測機能を有すると共に、自車両１００を目的地まで誘導する経路誘導機能を有する。このナビゲーションＥＣＵ３０は、位置計測機能により計測された自車両１００の現在位置、及び、経路誘導機能による目的地への誘導のための情報を含むナビゲーション画像情報Ｑ２を、モニタ７０の画面を通して運転者に対して出力するために、画像処理ＥＣＵ２０の画像切替部２５に接続されている。
【００１９】
リバーススイッチ４０は、車両１００のギヤシフト（不図示）におけるリバースポジションの選択の有無を検出するものである。このリバーススイッチ４０は、当該リバーススイッチ４０の検出結果を画像処理ＥＣＵ２０のＣＰＵ２１に出力可能なように、画像処理ＥＣＵ２０の入出力インターフェイス部２６に接続されている。
【００２０】
車速センサ５０は、車両１００の移動距離に比例したパルス信号を画像処理ＥＣＵ２０のＣＰＵ２１に出力するものである。この車速センサ５０は、当該車速センサ５０での検出結果を画像処理ＥＣＵ２０のＣＰＵ２１に出力可能なように、画像処理ＥＣＵ２０の入出力インターフェイス部２６に接続されている。画像処理ＥＣＵ２０のＣＰＵ２１は、車速センサ５０から取得した所定時間内のパルス数に基づいて車両１００の車速を算出する。
【００２１】
スピーカ６０は、画像処理ＥＣＵ２０における障害物の有無の判定結果に基づいて、例えば、警告音などの運転者の注意や警告を促す報知内容を運転者に対して聴覚的に出力するものであり、車両１００の車室内に設置されている。このスピーカ６０は、報知内容を報知する指示を入力可能なように、画像処理ＥＣＵ２０の入出力インターフェイス部２６に接続されている。
【００２２】
モニタ７０は、カメラ１０により撮像された後方画像情報Ｑ１又はナビゲーションＥＣＵ３０より出力されたナビゲーション画像情報Ｑ２を、運転者に対して視覚的に適宜出力するものであり、車両１００の車室内に設置されている。このモニタ７０は、後方画像情報Ｑ１及びナビゲーション画像情報Ｑ２を切り替えて出力する画像処理ＥＣＵ２０の画像切替部２５に接続されている。
【００２３】
以下に、車両周囲監視装置１の全体の処理の流れについて、図６及び図７に示す例と共に説明する。
【００２４】
図４は本発明の実施形態に係る車両周囲監視装置のシステム全体の動作を示すフローチャート、図５は図４のステップＳ１２０における画像領域の一様性の評価の詳細なフローチャート、図６（Ａ）〜（Ｆ）は物体の影を検出する過程を説明するための模式図、図７（Ａ）〜（Ｆ）は物体自体を検出する過程を説明するための模式図、図８は画像情報における物体の影の濃度分布の一例を示すグラフ、図９は画像情報における物体自体の濃度分布の一例を示すグラフである。
【００２５】
なお、図６（Ａ）〜（Ｆ）は、車両周囲監視装置１による車両１００の後方周囲の監視中に、日射量が変化し、道路１１０に並置された柱１２０の影１２０’が現れた場合の例を示す。また、図７（Ａ）〜（Ｆ）は、車両周囲監視装置１による車両１００の後方周囲の監視中に、他の車両１３０が接近していた場合の他の例を示す。但し、図６（Ｃ）〜（Ｅ）及び図７（Ｃ）〜（Ｅ）に示す画像情報は、画像処理ＥＣＵ２０における画像処理の過程を説明するための図であり、実際にモニタ７０を介して運転者に対して表示されるものではない。
【００２６】
まず、運転者がイグニッションスイッチ（不図示）をオンにし、車両１００のエンジンが始動すると、図４に示すステップＳ１０において、画像処理ＥＣＵ２０のＣＰＵ２１が画像切替部２５に対して、ナビゲーションＥＣＵ３０から出力されるナビゲーション画像情報Ｑ２を選択するよう指令を出力し、当該指令に基づいて画像切替部２５がモニタ７０に対して、ナビゲーション画像情報Ｑ２を選択して出力し、車室内に設置されたモニタ７０に、例えば、自車両１００の現在位置が表示された地図画面等のナビゲーションの画面が表示される。
【００２７】
次に、図４のステップＳ２０において、画像処理ＥＣＵ２０のＣＰＵ２１は、入出力インターフェイス部２６を介して、リバーススイッチ４０から検出信号を取得し、当該検出信号に基づいて、リバースポジションの選択の有無を判断する。
【００２８】
当該判断において、車両１００が通常の前進走行していたり、或いは停車している場合で、リバースポジションが選択されない限り（ステップＳ２０にてＮＯ）、ステップＳ１０を繰り返し、上記のようなナビゲーションの画面のモニタ７０での表示を継続する。
【００２９】
当該判断において、車両１００の駐車等のために、リバースポジションが選択された場合には（ステップＳ２０にてＹＥＳ）、ステップＳ３０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像切替部２５に対して画像処理部２２から出力される後方画像情報Ｑ１を選択するように指令を出力し、当該指令に基づいて、モニタ７０に対してナビゲーション画像情報Ｑ２から後方画像情報Ｑ１に切り替えて出力し、モニタ７０の画面にカメラ１０により車両１００の後方が撮像された例えば、図６（Ａ）や図７（Ａ）に示すような車両１００の後方周囲を映し出した後方画像情報Ｑ１が表示される。
【００３０】
次に、ステップＳ４０において、画像処理ＥＣＵ２０のＣＰＵ２１は、入出力インターフェイス部２６を介して、車速センサ５０からパルス信号を取得し、当該信号に基づいて、車両１００の現在の車速値ＶＴが０に等しいか否かの判断（ＶＴ＝０）を行う。
【００３１】
車両１００が前進又は後退走行中であり、当該判断において、車速値ＶＴが０でない場合には（ＶＴ≠０、ステップＳ４０においてＮＯ）、ステップＳ４５において、画像処理ＥＣＵ２０のＣＰＵ２１は、ＲＡＭ２３に記憶されている基準画像セットフラグＳＦをオフにし（ＳＦ＝０）、再度、ステップＳ２０に戻り、リバースポジションの選択の有無の判断を行う。
【００３２】
なお、この基準画像セットフラグＳＦは、基準画像情報Ｑ１１の更新の必要性の有無を示すフラグである。例えば、車両１００が後退走行開始後に後方確認等のため初めて一旦停止するような、新たな基準画像情報Ｑ１１を取得する必要がある場合にはオフ（ＳＦ＝０）で表現され、これに対して、車両１００が後退走行中の一旦停止を継続しており、新たな基準画像情報Ｑ１１を取る必要がない場合にはオン（ＳＦ＝１）で表現される。
【００３３】
従って、ステップＳ４５において、基準画像セットフラグＳＦをオフ（ＳＦ＝０）にするのは、車両１００が一旦停止の状態から走行を開始（ステップＳ４０にてＮＯ）したために、この走行により後方周囲の状況が変化しており、次の一旦停止時には、新たな基準画像情報Ｑ１１を取得して更新する必要があるためである。なお、初期状態において（エンジン始動時）は、基準となる基準画像情報Ｑ１１が常に必要とされるため、当該基準画像セットフラグＳＦはオフ（ＳＦ＝０）に設定されている。
【００３４】
車両１００が、リバースポジション選択時に、例えば後方確認のために一旦停止し、ステップＳ４０において、車速値ＶＴが０であると判断された場合には（ＶＴ＝０、ステップＳ４０においてＹＥＳ）、ステップＳ５０において、画像処理ＥＣＵ２０のＣＰＵ２１は、上記の基準画像セットフラグＳＦがオンであるか否か、即ち、新たな基準画像情報Ｑ１１を取得して更新する必要があるか否かの判断を行う。
【００３５】
この判断において、基準画像セットフラグＳＦがオフである（ＳＦ＝０）と判断された場合には（ステップＳ５０にてＮＯ）、ステップＳ６０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２に対して、カメラ１０より入力される後方画像情報Ｑ１から基準画像情報Ｑ１１を取得するように指令を出力する。この指令に基づいて、画像処理ＥＣＵ２０の画像処理部２２は、カメラ１０より入力される後方画像情報Ｑ１から基準画像情報Ｑ１１を取得し、当該基準画像情報Ｑ１１を、画像処理部２２の画像メモリ２２ｂに記憶する。
【００３６】
図６に示す例では、画像処理部２２の画像メモリ２２ｂに記憶される基準画像情報Ｑ１１は、図６（Ａ）に示す画像情報であり、図７に示す例の場合には、図７（Ａ）に示す画像情報である。なお、図６（Ａ）の状態は、太陽が雲に隠れて日照量が比較的少ない状態にあり、図７（Ａ）の状態は、カメラ１０の撮像可能範囲内に他の車両１３０がまだ侵入していない状態である。
【００３７】
次に、図４のステップＳ７０において、画像処理ＥＣＵ２０のＣＰＵ２１が、ＲＡＭ２３に記憶された基準画像セットフラグＳＦをオンにし（ＳＦ＝１）、ステップＳ８０に進む。
【００３８】
ステップＳ５０の判断において、基準画像セットフラグＳＦがオンである（ＳＦ＝１）と判断された場合には（ステップＳ５０にてＹＥＳ）、例えば、車両１００の後方進行中における例えば後方確認などのための一旦停止が継続して行われており、新たな基準画像情報Ｑ１１に更新する必要がないので、ステップＳ８０の処理に進む。
【００３９】
ステップＳ８０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２に対して、カメラ１０より入力される後方画像情報Ｑ１から比較画像情報Ｑ１２を取得するように指令を出力する。この指令に基づいて、画像処理ＥＣＵ２０の画像処理部２２は、カメラ１０より入力される後方画像情報Ｑ１から比較画像情報Ｑ１２を取得し、当該比較画像情報Ｑ１２を、画像処理部２２の画像メモリ２２ｂに記憶する。この比較画像情報Ｑ１２は、ステップＳ６０において取得された基準画像情報Ｑ１１の撮像時の後に撮像されたものであり、基準画像情報Ｑ１１の撮像時から当該比較画像情報Ｑ１２撮像時の間に、例えば、日射量の変化による影の出現や他の車両１３０の接近などの車両１００の後方周囲で生じた変化が含まれている。
【００４０】
図６に示す例では、画像処理部２２の画像メモリ２２ｂに記憶される比較画像情報Ｑ１２は、図６（Ｂ）に示す画像情報であり、図７に示す例では、図７（Ｂ）に示す画像情報である。
【００４１】
図６に示す例において、図６（Ａ）に示す基準画像情報Ｑ１１が取得された時点から、図６（Ｂ）に示す比較画像情報Ｑ１２が取得される時点までの間に、太陽を覆っていた雲が移動し、急速に日射量が多くなっている。白黒の濃度階調を０から２５５の２５６段階で表現した場合、この天候の急変により、画像情報上において、図６（Ａ）の背景部の平均濃度値は約９０であったのに対し、図６（Ｂ）の背景部の平均濃度値は約２００となり、道路に並置された柱１２０の影１２０’が、車両１００の後方の路面１１０に出現している。なお、この柱の影１２０’の平均濃度値は約８０である。
【００４２】
図７に示す例においては、図７（Ａ）に示す基準画像情報Ｑ１１が所得された時点から図７（Ｂ）に示す比較画像情報Ｑ１２が取得される時点までの間に、自車両１００の後方において他の車両１３０が接近してきている。
【００４３】
次に、図４のステップＳ９０において、画像処理ＥＣＵ２０のＣＰＵ２１は、画像処理部２２に対し、基準画像情報Ｑ１１と比較画像情報Ｑ１２との差分処理の実行の指令を出力する。画像処理部２２は、この指令に基づいて、画像メモリに記憶された基準画像情報Ｑ１１と、比較画像情報Ｑ１２との差分処理を実行し、基準画像情報Ｑ１１と比較画像情報Ｑ１２との相違点、即ち、基準画像情報Ｑ１１の取得から比較画像情報Ｑ１２の取得までの間に車両１００の後方周囲において生じた変化が示された差分画像情報を取得する。なお、この差分画像情報には、基準画像情報Ｑ１１取得時から比較画像情報Ｑ１２取得時までの間に、車両１００の後方で生じた変化ではない複数の細かなエッジ１４０や小領域（不図示）が含まれている。
【００４４】
図６に示す例において、基準画像情報Ｑ１１と比較画像情報Ｑ１２との差分処理後の差分画像情報は、図６（Ｃ）に示す画像情報である。当該差分処理の結果、図６（Ｃ）に示す差分画像情報には、約１１０（＝｜［比較画像情報Ｑ１２の背景部平均濃度２００］−［基準画像情報Ｑ１１の背景部平均濃度約９０］｜）の平均濃度の背景部が示されている。また、比較画像情報Ｑ１２上にのみ存在する柱の影１２０’が平均濃度約１０（＝｜［基準画像情報Ｑ１１の背景部平均濃度９０］−［比較画像情報Ｑ１２の柱の影１２０’の平均濃度８０］｜）で示されている。さらに、差分処理の結果生じた細かなエッジ１４０が残っている。
【００４５】
図７に示す例において、基準画像情報Ｑ１１と比較画像情報Ｑ１２との差分処理後の差分画像情報は、図７（Ｃ）に示す画像情報である。当該差分処理の結果、図７（Ｃ）に示す画像情報には、他の車両１３０の領域と、複数の細かなエッジ１４０が残されている。
【００４６】
次に、図４のステップＳ１００において、画像処理ＥＣＵ２０の画像処理部２２は、差分画像情報の各画素の濃度と、予め設定された所定濃度値とを比較して２値化処理を行い、次に、当該２値化処理で残った連結する画素同士にラベルを付与し（ラベリング処理）、所定の面積以上の大きさを持つラベルのみを残し、２値化処理により濃度値０となった領域をテンプレートＴＰとして設定し、ＴＰ画像情報を画像メモリ２２ｂに記憶する。当該ＴＰ画像情報において２値化処理によりテンプレートＴＰ以外の領域は濃度値２５５で示されている。この２値化及びラベリング処理によい、差分処理の結果生じた細かなエッジ１４０や小領域が除去される。
【００４７】
図６に示す例において、２値化及びラベリング処理後のＴＰ画像情報は、図６（Ｄ）に示す画像情報である。図６（Ｄ）において柱の影１２０’を示す領域がテンプレートＴＰ１で示されている。この２値化及びラベリング処理により、差分処理の結果生じた複数の細かなエッジ１４０が除去されている。
【００４８】
また、図７に示す例において、２値化及びラベリング処理後のＴＰ画像情報は、図７（Ｄ）に示す画像情報である。図７（Ｄ）において他の車両１３０を示す領域がテンプレートＴＰ２で示されている。この２値化及びラベリング処理により、差分処理の結果生じた複数の細かなエッジ１４０が除去されている。
【００４９】
なお、図６（Ｄ）及び図７（Ｄ）には、同一の比較画像情報Ｑ１２上に単一のテンプレートＴＰしか示されていないが、車両１００の後方周囲の状況によっては、ＴＰ１、ＴＰ２、ＴＰ３、・・・、ＴＰｎ（ｎは自然数）のように同一のＴＰ画像情報上に複数のテンプレートＴＰが存在する場合がある。
【００５０】
次に、図４のステップＳ１１０において、画像処理ＥＣＵ２０の画像処理部２２は、ステップＳ８０で取得した比較画像情報Ｑ１２に、上記の２値化及びラベリング処理により得られたＴＰ画像情報を適用して、比較画像情報Ｑ１２においてＴＰ画像情報のテンプレートＴＰと一致する部分を、基準画像情報Ｑ１１取得時から比較画像情報Ｑ１２取得時までの間に生じた変化した変化領域ＡＲとして残し、当該変化領域ＡＲ以外の領域を除去する。この動作により、比較画像情報Ｑ１２上の変化領域ＡＲのみを切り出すことができる。
【００５１】
図６の例において、抽出された変化領域ＡＲのみが示された比較画像情報Ｑ１２は、図６（Ｅ）に示す画像情報である。図６（Ｅ）において、柱の影１２０’を示す領域のみが変化領域ＡＲ１で示されている。また、図７に示す例において、抽出された変化領域ＡＲのみが示された比較画像情報Ｑ１２は、図７（Ｅ）に示す画像情報である。図７（Ｅ）において、他の車両１３０を示す領域のみが変化領域ＡＲ２で示されている。なお、図６（Ｅ）及び図７（Ｅ）には、同一の比較画像情報Ｑ１２上に単一の変化領域ＡＲのみしか存在していないが、同一の比較画像情報Ｑ１２上に存在するテンプレートＴＰの数に対応して、同一の比較画像情報Ｑ１２上にｎ個の変化領域ＡＲ１、ＡＲ２、ＡＲ３、・・・、ＡＲｎが存在する場合もある。
【００５２】
次に、図４のステップＳ１２０において、画像処理ＥＣＵ２０の画像処理部２２は、ステップＳ１１０で抽出された比較画像領域Ｑ１２の変化領域ＡＲの濃度の一様性の評価を行い、変化領域ＡＲが障害物自体であるか物体の影であるかの判定を行う。
【００５３】
ここで、図８には、例えば図６（Ｂ）に示す柱の影１２０’のような物体の影の濃度分布の一例が示されており、図９には、例えば図７（Ｂ）に示す他の車両１３０のような物体自体の濃度分布の一例が示されている。例えば、図８に示す物体の影の平均濃度値は８３．９であり、図９に示す物体自体の平均濃度値は８８．４であり、物体自体でもその影でも平均濃度値上においては大差はない。
【００５４】
しかしながら、例えば、図８に示す物体の影の濃度は全体として平均濃度に対して比較的一様であり、その濃度分散値が６０．９であるのに対して、図９に示す物体自体の濃度は全体として平均濃度に対して比較的一様性が弱く、その濃度分散値は１０５８．８であり、物体自体とその影とに著しい差異が存在する。本発明の実施形態では、このような物体自体とその影との濃度の一様性の差異に基づいて、変化領域ＡＲが障害物自体であるか否かの判定を行うものである。なお、図８及び図９の例に伴って上記に示した平均濃度値は、本発明の実施形態における濃度の一様性評価による物体自体の判断方法の説明のために用いた一例にすぎず、実際の日射量等の周囲環境の違いにより異なってくるものである。
【００５５】
変化領域ＡＲの濃度の一様性の評価は、図５に示すフローチャートに従って進められる。
【００５６】
まず、図５のステップＳ１２１において、画像処理ＥＣＵ２０のＣＰＵ２１は、変化領域ＡＲの数ｎを、ＲＡＭ２３内に記憶された変化領域数Ｎａにセットする（Ｎａ＝ｎ）。次に、ステップＳ１２２において、画像処理ＥＣＵ２０のＣＰＵ２１は、ＲＡＭ２３内に記憶されたカウンタｃを１にセットする（ｃ＝１）。
【００５７】
次に、図５のステップＳ１２３において、画像処理ＥＣＵ２０の画像処理部２２は、変化領域ＡＲ（ｎ＝１）の平均濃度値Ｅを式１に基づいて算出する。なお、この平均濃度値Ｅは、変化領域ＡＲを占めるＮ個の画素の各濃度Ｐ（ｉ）（ｉは１、２、３、・・・、Ｎの自然数）の平均で算出される。
【００５８】
【式１】
2004200864.tif 000003
次に、図５のステップＳ１２４において、画像処理ＥＣＵ２０の画像処理部２２は、上記の平均濃度値Ｅから変化領域ＡＲの濃度分散値Ｖを式２に基づいて算出する。
【００５９】
【式２】
2004200864.tif 000004
次に、図５のステップＳ１２５において、画像処理ＥＣＵ２０のＣＰＵ２１は、ステップＳ１２４で算出された変化領域ＡＲの濃度分散値Ｖを予め定められた所定の所定値Ｗとの比較を行う。この所定の所定値Ｗの具体的な数値は、上述の図８及び図９の場合を例にとると、例えば、６０．９＜Ｗ＜１０５８．８の間から選択される。
【００６０】
当該比較において、変化領域ＡＲの濃度分散値Ｖが、所定値Ｗより大きい場合には（Ｖ＞Ｗ、ステップＳ１２５にてＹＥＳ）、ステップＳ１２６において、変化領域ＡＲを実体のある障害物と判定し、ＲＡＭ２３に変化領域ＡＲの属性を障害物領域として記憶をする。
【００６１】
これに対し、変化領域ＡＲの濃度分散値Ｖが、所定値Ｗ以下である場合には（Ｖ≦Ｗ、ステップＳ１２５にてＮＯ）、ステップＳ１２７において、変化領域ＡＲが障害物自体ではなく、日射量の変化による物体の影と判定し、ＲＡＭ２３に変化領域ＡＲの属性を影領域として記憶をする。
【００６２】
次に、図５のステップＳ１２８において、画像処理ＥＣＵ２０のＣＰＵ２１は、カウンタｃと、変化領域数Ｎａとを比較する。当該比較において、カウンタｃが変化領域数Ｎａに満たない場合には（ｃ＜Ｎａ、ステップＳ１２８にてＮＯ）、ステップＳ１２９において、画像処理ＥＣＵ２０のＣＰＵ２１は、ＲＡＭ２３内に記憶されたカウンタｃをインクリメントさせて（ｃ＝ｃ＋１）、ステップＳ１２３に戻り、比較画像情報Ｑ１２上に存在する次の変化領域ＡＲの判定を行う。従って、カウンタｃが変化領域数Ｎａと一致するまで、図５のステップＳ１２３からステップＳ１２８までの動作が繰り返され、ｎ個の変化領域ＡＲ１、ＡＲ２、ＡＲ３、・・・、ＡＲｎに対して、それぞれ平均濃度値Ｅ１、Ｅ２、Ｅ３、・・・、Ｅｎ及び濃度分散値Ｖ１、Ｖ２、Ｖ３、・・・、Ｖｎの算出が行われ、それぞれ障害物の判定が行われる。
【００６３】
図５のステップＳ１２８の比較において、カウンタｃが変化領域数Ｎａと等しい場合には（ｃ＝Ｎａ、ステップＳ１２８にてＹＥＳ）、同一の比較画像情報Ｑ１２上に存在するｎ個全ての変化領域ＡＲ１、ＡＲ２、ＡＲ３、・・・、ＡＲｎの一様性の評価が終了したこととなるので、図４のステップＳ１３０に進む。
【００６４】
図４のステップＳ１３０において、画像処理ＥＣＵ２０のＣＰＵ２１は、ステップＳ１２０での属性が障害物領域として登録された変化領域ＡＲが一つ以上存在するか否かの判断を行う。
【００６５】
当該判断において、障害物登録された変化領域ＡＲが一つ以上存在している場合には（ステップＳ１３０にてＹＥＳ）、画像処理ＥＣＵ２０の画像処理部２２は、ＣＰＵ２１の指令に基づいて、カメラ１０が撮像した後方画像情報Ｑ１上に、障害物登録された変化領域ＡＲに相当する位置に障害物であることを示すマーク１５０を重畳表示する。これと共に、スピーカ６０が、画像処理ＥＣＵ２０のＣＰＵ２１の指令に基づいて、例えば、ブザー音のような運転者に対して自車両１００の後方周囲に障害物が出現したことを知らせる報知内容を報知する。図７に示す例において、図７（Ｆ）では、障害物である他の車両１３０にマーク１５０が重畳表示されている。これに対し、図６に示す例において、図６（Ｆ）では、柱の影１２０’は、障害物自体でないため、マーク１５０が重畳表示されていない。
【００６６】
図４のステップＳ１３０での障害物登録された変化領域ＡＲが存在していない場合（ステップＳ１３０にてＮＯ）、或いは、ステップＳ１５０においてスピーカ６０が報知を行った後、ステップＳ２０に戻り、画像処理ＥＣＵ２０のＣＰＵ２１が、リバースポジションの選択の有無の判断を行い、上記の動作を繰り返す。
【００６７】
以上のように、比較画像情報上において基準画像情報に対して変化している変化領域の濃度の一様性の評価を行い、この評価に基づいて、当該変化領域が物体自体により生じたものか、或いは物体の影により生じたものかの判断を行うことにより、物体の影の誤検出による誤報知を防止することが可能となる。
【００６８】
以下に、本発明の実施形態に係る車両周囲監視装置１を具体的な例に則して動作の流れについて説明する。
【００６９】
まず、運転者が車両１００に乗り込み、エンジンをかけた後、前進走行し、或いは停止中である場合には、車室内のモニタ７０にはナビゲーション画面が絶えず表示されている（ステップＳ１０及びＳ２０）。
【００７０】
前進走行から、例えば駐車などで後退走行するために、運転者がシフト操作をしてギヤシフトをリバースポジションに入れると、リバーススイッチ４０がこれを検出して（ステップＳ２０）、モニタ７０がナビゲーション画面から車両後方の撮像画面に切り替えられる（ステップＳ３０）。
【００７１】
そして、後退走行している車両１００が、例えば後方確認などのために一旦停止すると（ステップＳ４０）、カメラ１０により基準画像情報Ｑ１１及び比較画像情報Ｑ１２を取得する（ステップＳ５０〜Ｓ８０）。なお、この時点での上記の動作は、エンジン始動後の初めての後退走行であるため、基準画像セットフラグＳＦが初期状態（ＳＦ＝０）となっており、無条件で基準画像情報Ｑ１１が取得される。取得された画像情報Ｑ１１、Ｑ１２に対して画像処理を行って変化領域ＡＲを抽出し、この変化領域ＡＲの濃度の一様性の評価をして、当該変化領域ＡＲが物体自体による変化か、或いは物体の影による変化であるかの判定を行う（ステップＳ９０〜１３０）。当該判定結果に基づいて、モニタ７０上の障害物が存在する位置にマーク１５０を重畳表示する（ステップＳ１４０）と共に、スピーカ６０が報知を行う（ステップＳ１５０）。
【００７２】
後方確認などのための一旦停止が継続されている間は、車両１００の後方周囲の基準となる画像を更新する必要がなく、基準画像セットフラグＳＦがオン（ＳＦ＝１）になっているので、新たな基準画像情報Ｑ１１が取得されることはなく、比較画像情報Ｑ１２のみが逐次更新されて、２回目以降の上記の動作が行われる。なお、ステップＳ１３０において、車両１００の後方から障害物が存在しないと判定された場合、マーク１５０の重畳表示及びスピーカ６０による報知は行わない。
【００７３】
後方確認が終了し、再び車両１００が後退走行を開始すると（ステップＳ４０）、次回の一旦停止時に車両１００の後方周囲の様子が変わるため、基準画像セットフラグＳＦがオフ（ＳＦ＝０）にされる（ステップＳ４５）。
【００７４】
再度、後方確認などのために車両１００が一旦停止すると（ステップＳ４０）、上記のように基準画像セットフラグＳＦがオフ（ＳＦ＝０）となっているため、新たな基準画像情報Ｑ１１を取得して更新し（ステップＳ６０）、一連の動作（ステップＳ８０〜Ｓ１３０）を行い、マーク１５０の重畳表示及びスピーカ６０による報知（ステップＳ１４０及びステップＳ１５０）が行われる。
【００７５】
このように、車両後方進行中に、例えば後方確認などのために一旦停止する毎に、障害物の検出の基準となる基準画像情報を逐次更新することにより、車両の後方周囲の情報を常に最新の状態に維持することができ、正確な後方周囲の監視が可能となる。
【００７６】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。例えば、上記の実施形態では、車両の後方周囲を監視する車両周囲監視装置として説明したが、車両の後方周囲に限定されず、車両の前方周囲や側方周囲等を監視しても良い。また、上記の実施形態では、変化領域の濃度の一様性の評価に、当該変化領域の濃度の分散値を用いたが、特に分散値に限定されず、例えば、当該変化領域の濃度の標準偏差を用いても良い。さらに、上記の実施形態では、ナビゲーションシステムと連動した車両周囲監視装置として説明したが、特にこれに限定されず、ナビゲーション装置、オーディオ、エアコン、車両のメンテナンス情報などの集中的に制御するシステムと連動していても良い。
【図面の簡単な説明】
【図１】図１は本発明の実施形態に係る車両周囲監視装置のシステム構成を示すブロック図である。
【図２】図２は本発明の実施形態に係る車両周囲監視装置を搭載した車両の模式図である。
【図３】図３は図１の画像処理ＥＣＵの内部構成を示すブロック図である。
【図４】図４は本発明の実施形態に係る車両周囲監視装置のシステム全体の動作を示すフローチャートである。
【図５】図５は図４のステップＳ１２０における画像領域の一様性の評価の詳細なフローチャートである。
【図６】図６（Ａ）〜（Ｆ）は物体の影を検出する過程を説明するための模式図である。
【図７】図７（Ａ）〜（Ｆ）は物体自体を検出する過程を説明するための模式図である。
【図８】図８は画像情報における物体の影の濃度分布の一例を示すグラフである。
【図９】図９は画像情報における物体自体の濃度分布の一例を示すグラフである。
【符号の説明】
１…車両周囲監視装置
１０…カメラ
２０…画像処理ＥＣＵ
３０…ナビゲーションＥＣＵ
４０…リバーススイッチ
５０…車速センサ
６０…スピーカ
７０…モニタ
１００…自車両
１２０…柱
１２０’…柱の影
１３０…他の車両
ＡＲ…変化領域
Ｑ１…後方画像情報
Ｑ１１…基準画像情報
Ｑ１２…比較画像情報
Ｑ２…ナビゲーション画像情報
ＴＰ…テンプレート
【図１】
2004200864.tif 000005
【図２】
2004200864.tif 000006
【図３】
2004200864.tif 000007
【図４】
2004200864.tif 000008
【図５】
2004200864.tif 000009
【図６】
2004200864.tif 000010
【図７】
2004200864.tif 000011
【図８】
2004200864.tif 000012
【図９】
2004200864.tif 000013