(57)【特許請求の範囲】
【請求項１】
車両周辺を定期的に撮像する撮像手段と、
前記撮像手段が撮像した各撮像タイミング又はサンプリングされた各撮像タイミングについて、車両の移動径路が基準径路記憶手段に記憶された基準径路と乖離しているか否かを判定し、乖離していないと判定した場合に当該撮像タイミングで前記撮像手段により撮像された画像を背景画像として背景画像記憶手段に記憶させる判定記憶制御手段と、
を備える車両用背景画像収集装置。
【請求項２】
前記判定制御手段は、車両の走行に応じて逐次、前記判定処理及び記憶制御処理を実行する手段である、
請求項１に記載の車両用背景画像収集装置。
【請求項３】
前記撮像手段の各撮像画像は撮像画像記憶手段に逐次記憶され、
前記判定制御手段は、所定の実行タイミングで、前記記憶された撮像画像に対して一括して前記判定処理及び記憶制御処理を実行する手段である、請求項１に記載の車両用背景画像収集装置。
【請求項４】
車両の位置を特定する位置特定手段を備え、
前記判定記憶制御手段は、該位置特定手段により特定された車両の位置に基づいて、車両の移動径路が前記基準径路と乖離しているか否かを判定する手段である、
請求項１ないし３のいずれか１項に記載の車両用背景画像収集装置。
【請求項５】
車両挙動を検出する車両挙動検出手段を備え、
前記判定記憶制御手段は、該車両挙動検出手段により検出された車両挙動に基づいて、車両の移動径路が前記基準径路と乖離しているか否かを判定する手段である、
請求項１ないし４のいずれか１項に記載の車両用背景画像収集装置。
【請求項６】
運転者の運転操作量を検出する運転操作量検出手段を備え、
前記判定記憶制御手段は、該運転操作量検出手段により検出された運転操作量に基づいて、車両の移動径路が前記基準径路と乖離しているか否かを判定する手段である、
請求項１ないし５のいずれか１項に記載の車両用背景画像収集装置。
【請求項７】
車両の位置を特定する位置特定手段を備え、
前記基準径路は、過去に前記位置特定手段により特定された車両の位置に基づき生成される、
請求項１ないし６のいずれか１項に記載の車両用背景画像収集装置。
【請求項８】
前記基準径路は、道路形状記憶手段に記憶された道路形状を参照して生成される、
請求項１ないし７のいずれか１項に記載の車両用背景画像収集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像において、通常とは異なる物体等が撮像された異常領域を認識する画像認識装置に関する。
【背景技術】
【０００２】
従来、車載カメラやレーダー装置等において認識された障害物との衝突を回避するように、又は衝突時の衝撃を和らげるように種々の車両制御を行なう制御システムが、ＰＣＳ（Pre-crush  Safety  System）等の名称で知られている。
【０００３】
車載カメラを用いて障害物や道路の陥没等、車両が回避すべき物体を認識する際に困難を伴うのが、撮像画像の所定領域に存在する障害物等を、当該領域に当然に存在するもの（道路に描画された白線等）と判別して認識を行なうことである。係る判別のために、白線等以外に何も写っていない背景画像を予め用意し、撮像画像と比較すると好適である。
【０００４】
これに関連し、検知領域の画像を撮像する監視カメラと、その監視カメラにて撮像された画像データに基づいて検知領域内の車両の有無を検知する画像処理ユニットを備え、監視カメラにて順次撮像される画像データを濃淡投影処理にて画像処理し、現時点の投影処理データとその前の投影処理データとの差分値の最大値を求めるとともに、車両検出をしていないときの投影差分最大値の移動平均処理を行って背景データを求め、それら投影処理データの差分最大値と背景データに基づいて車両の有無を判定する走行車両検知システムについての発明が開示されている（例えば、特許文献１参照）。
【特許文献１】特開２００４−１８５５３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１には、監視車線において、車両を検知していないときの投影差分最大値に対して移動平均を求めることにより背景データを求める旨が記載されている（段落「００２８」）。しかしながら、当該システムは、固定カメラによって車両を検知することを想定したものであり、必ずしもそのまま車載装置に適用可能な技術ではない。車両の走行軌跡は、基本的に同一車線を走行している場合であっても障害物を回避したりする行動によってブレが生じるため、径路上の各地点における背景画像として用いるのに適さない画像を撮像する場合があるからである。
【０００６】
本発明はこのような課題を解決するためのものであり、車両における障害物検知を行なう際の基準となる背景画像を適切に収集することが可能な車両用背景画像収集装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の一態様は、
車両周辺を定期的に撮像する撮像手段と、
前記撮像手段が撮像した各撮像タイミング又はサンプリングされた各撮像タイミングについて、車両の移動径路が基準径路記憶手段に記憶された基準径路と乖離しているか否かを判定し、乖離していないと判定した場合に当該撮像タイミングで前記撮像手段により撮像された画像を背景画像として背景画像記憶手段に記憶させる判定記憶制御手段と、
を備える車両用背景画像収集装置である。
【０００８】
この本発明の一態様によれば、車両の移動径路が基準径路記憶手段に記憶された基準径路と乖離していない状態で撮像手段により撮像された画像を背景画像として背景画像記憶手段に記憶させるため、車両が基準径路に準じて走行している過程で撮像された画像のみが背景画像記憶装置に記憶されることとなる。従って、車両が障害物の回避走行を行なった際等、特殊な径路を走行した際に撮像した画像は除外されることとなる。この結果、車両における障害物検知を行なう際の基準となる背景画像を適切に収集することができる。
【０００９】
本発明の一態様において、
前記判定制御手段は、例えば、車両の走行に応じて逐次、前記判定処理及び記憶制御処理を実行する手段である。
【００１０】
また、本発明の一態様において、
前記撮像手段の各撮像画像は撮像画像記憶手段に逐次記憶され、
前記判定制御手段は、所定の実行タイミングで、前記記憶された撮像画像に対して一括して前記判定処理及び記憶制御処理を実行する手段であるものとしてもよい。
【００１１】
また、本発明の一態様において、
車両の位置を特定する位置特定手段を備え、
前記判定記憶制御手段は、該位置特定手段により特定された車両の位置に基づいて、車両の移動径路が前記基準径路と乖離しているか否かを判定する手段であるものとしてもよい。
【００１２】
また、本発明の一態様において、
車両挙動を検出する車両挙動検出手段を備え、
前記判定記憶制御手段は、該車両挙動検出手段により検出された車両挙動に基づいて、車両の移動径路が前記基準径路と乖離しているか否かを判定する手段であるものとしてもよい。
【００１３】
また、本発明の一態様において、
運転者の運転操作量を検出する運転操作量検出手段を備え、
前記判定記憶制御手段は、該運転操作量検出手段により検出された運転操作量に基づいて、車両の移動径路が前記基準径路と乖離しているか否かを判定する手段であるものとしてもよい。
【００１４】
また、本発明の一態様において、
車両の位置を特定する位置特定手段を備え、
前記基準径路は、過去に前記位置特定手段により特定された車両の位置に基づき生成されるものとしてもよい。
【００１５】
また、本発明の一態様において、
前記基準径路は、道路形状記憶手段に記憶された道路形状を参照して生成されるものとしてもよい。
【００１６】
なお、基準径路記憶手段、背景画像記憶手段、撮像画像記憶手段、道路形状記憶手段は、同一の記憶装置により実現されてもよいし、異なる記憶装置により実現されてもよい。
【発明の効果】
【００１７】
本発明によれば、車両における障害物検知を行なう際の基準となる背景画像を適切に収集することが可能な車両用背景画像収集装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１９】
＜第１実施例＞
以下、本発明の第１実施例に係る車両用背景画像収集装置１について説明する。本実施例の車両用背景画像収集装置１は、車両に搭載される装置であって、各撮像位置に関して障害物の位置等を検知するための基準画像となる背景画像を収集するための装置である。なお、これに限らず、本発明は所定の移動径路を周回移動する移動ロボット等に適用されてもよい。
【００２０】
［構成］
図１は、第１実施例に係る車両用背景画像収集装置１の全体構成の一例を示す図である。車両用背景画像収集装置１は、車載カメラ１０と、記憶装置２０と、車速センサー３０と、ナビゲーション装置４０と、ＥＣＵ（Electronic  Control  Unit）５０と、を備える。
【００２１】
車載カメラ１０は、例えば、ウインドシールド中央上部に配設されたＣＣＤ（Charge-Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子を利用したカメラであり、車両前方を撮像領域とし、数［ｍｓ］毎に繰り返し撮像を行なう。図２は、車載カメラ１０のハードウエア構成の一例を示す図である。カメラ１０は、例えば、撮像レンズ１２と、イメージセンサー１４と、電子制御部１６と、を備える。以下、カメラ２０がＣＣＤカメラであるものとして説明する。
【００２２】
イメージセンサー１４は、例えばインターライン型イメージセンサーであり、光電変換を行なう受光素子であるフォトダイオードと、これに対応するＣＣＤとをそれぞれ２次元平面状に配列し、フォトダイオードとＣＣＤの間にアナログスイッチとして機能するトランスファゲートを有する。各フォトダイオードの前側（撮像レンズ１２側）には、集光のためのマイクロレンズが取り付けられている。なお、こうした構造は、あくまでイメージセンサー１４の機能を簡易に説明するために模式的に例示したものであり、機能性向上等のための如何なる設計変更も許容される。また、インターライン型イメージセンサーに限らず、ＣＣＤ自体が受光素子として機能するフルフレームトランスファ型やフレームトランスファ型のイメージセンサーを用いてもよい。
【００２３】
電子制御部１６は、例えば、マイクロコンピューターや電子回路等が用いられ、イメージセンサー１４が有するトランスファゲートの開閉タイミングを制御することによりカメラ１０のシャッタースピードや撮像周期（例えば、１秒間に数十回程度）を調節する。そして、電子制御部１６は、イメージセンサー１４の出力回路から出力されるデータに対して所定のゲインによる増幅等を行なって、入力画像データとしてＥＣＵ５０に出力する。
【００２４】
記憶装置２０は、ＨＤＤ（Hard  Disc  Drive）やＤＶＤ（Digital  Versatile  Disk）ドライブ、ＣＤドライブ、フラッシュメモリ等の記憶装置、或いはこれらの組み合わせである。記憶装置２０の記憶媒体には、基準径路情報２２及び背景画像情報２４が記憶される。
【００２５】
車速センサー３０は、例えば、車両の各車輪に取り付けられた車輪速センサーとスキッドコントロールコンピューターからなり、車輪速センサーが出力する車輪速パルス信号をスキッドコントロールコンピューターが車速矩形波パルス信号（車速信号）に変換してＥＣＵ５０に出力する。なお、係る情報通信は、専用通信線を用いて行なわれてもよいが、複数の制御装置が情報を参照可能な多重通信線に情報が出力される態様であってもよい。
【００２６】
ナビゲーション装置４０は、例えば、ＧＰＳ（Global  Positioning  System）受信機４２と、地図データ４５を格納した記憶装置４４と、ディスプレイ装置や音声入出力装置を含む入出力装置４６と、ナビゲーション制御用コンピューター４８と、を備える。地図データ４５は、例えば交差点等を示すノードと、ノードを接続するリンクとにより道路形状を表現したものであり、各リンクに付随して車線数や道路曲率、道路幅員等の情報が記憶されている。ナビゲーション制御用コンピューター４８は、ＧＰＳ受信機４２が受信したＧＰＳ衛星からの電波信号の時間差に基づく演算により、車両の現在位置（緯度、経度、高度）を特定する。そして、地図データ４５を参照して入出力装置４６に対して入力された目的地に至るまでの推奨径路を生成し、ナビゲーション表示や音声案内を行なうように入出力装置４６を制御する。ナビゲーション制御用コンピューター４８が特定した車両の現在位置は、ＥＣＵ５０に出力される。
【００２７】
ＥＣＵ５０は、例えば、ＣＰＵ（Central  Processing  Unit）を中心としてＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等がバスを介して相互に接続されたコンピューターユニットであり、その他、ＨＤＤ（Hard  Disc  Drive）やＤＶＤ（Digital  Versatile  Disk）ドライブ、ＣＤ（Compact  Disc）ドライブ、フラッシュメモリ等の記憶装置やＩ／Ｏポート、タイマー、カウンター等を備える。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。
【００２８】
［背景画像収集処理］
ＥＣＵ５０は、車載カメラ１０が撮像した各撮像タイミング又はサンプリングされた各撮像タイミングについて、ナビゲーション制御用コンピューター４８により特定された車両の位置に基づき車両の移動径路が記憶装置２０に記憶された基準径路情報２２に含まれる基準径路と乖離しているか否かを判定し、乖離していないと判定した場合に当該撮像タイミングで車載カメラ１０により撮像された画像を背景画像情報２４として記憶装置２０に記憶させる。なお、本実施例に係るＥＣＵ５０は、車両の走行に応じて逐次、上記判定処理及び記憶制御処理を実行する。
【００２９】
「サンプリングされた各撮像タイミング」とは、車載カメラ１０が１秒間に数十回程度撮像する各撮像タイミングから、所定走行距離毎、或いは所定時間毎にサンプリングした撮像タイミングをいう。以下の説明では、車両が１［ｍ］走行する度に、車載カメラ１０が撮像した画像を抽出し、その画像が撮像されたタイミングについて、上記の判定を行なうものとする。車両の走行距離は、車速センサー３０の出力を積分する、又は出力パルス数をカウントすることにより把握することができる。
【００３０】
本発明における基準径路とは、その道路を走行した際に通過した標準的ないし平均的な径路をいい、特段の障害物回避行動等を行なわずに走行した径路を意味する。基準径路は、予め後述する学習処理等によって生成され、基準径路情報２２として記憶装置２０に記憶されている。
【００３１】
ＥＣＵ５０は、例えば、ある撮像タイミングにおいて基準径路との車線幅方向の乖離が所定値以下である場合に、その撮像タイミングにおいて車両の移動径路が基準径路から乖離していないと判定する（図３参照）。そして、その撮像タイミングで撮像された画像をその撮像タイミングにおける車両の現在位置及び進行方向と共に、背景画像として記憶装置２０に記憶させる。
【００３２】
また、ある撮像タイミングにおいてその前後の移動径路（例えば数［ｍ］前から数［ｍ］後までの車両の現在位置を抽出したもの）の、当該位置における基準径路との類似度を所定の評価量で評価して、車両の移動径路が基準径路から乖離しているか否かを判定してもよい（図４参照）。この場合、所定の評価量は、車線幅方向の乖離の総和や最大値の関数として定義される。
【００３３】
これらの処理によって、車両がその道路における標準的ないし平均的な径路を走行している過程で撮像された画像のみが背景画像情報２４として記憶装置２０に記憶される。従って、車両が障害物の回避走行を行なった際等、特殊な径路を走行した際に撮像した画像は除外されることとなる。この結果、車両における障害物検知を行なう際の基準となる背景画像を適切に収集することができる。なお、背景画像の利用態様については後述する。
【００３４】
［基準径路生成処理］
ＥＣＵ５０は、ナビゲーション制御用コンピューター４８により特定された車両の現在位置に基づき、基準径路を生成する。具体的には、例えば、前述した地図データ４５における各リンクを通過する毎に、そのリンク内でナビゲーション制御用コンピューター４８により特定された車両の現在位置を所定周期でサンプリングして抽出された一連の現在位置を連ねて直線補間等を行なった曲線又は直線（コンピューター処理上では点の集合となってもよい）を、そのリンクにおける移動径路の１つとして記憶装置２０に記憶させる。そして、各リンクについてある程度のサンプル数が得られたときに、複数の移動径路の平均を求める等の手法により、基準径路を生成する。また、サンプル数が十分でない場合や、特異な径路が出現した等の場合は、地図データ４５に含まれるリンク毎の形状（曲率なリンク長等）を参照して、基準径路を生成してもよい。
【００３５】
本実施例の車両用背景画像収集装置１によれば、車両における障害物検知を行なう際の基準となる背景画像を適切に収集することができる。
【００３６】
＜第２実施例＞
以下、本発明の第２実施例に係る車両用背景画像収集装置２について説明する。本実施例の車両用背景画像収集装置２は、車両に搭載される装置であって、各撮像位置に関して障害物の位置等を検知するための基準画像となる背景画像を収集するための装置である。なお、これに限らず、本発明は所定の移動径路を周回移動する移動ロボット等に適用されてもよい。
【００３７】
［構成］
第２実施例に係る車両用背景画像収集装置２は、ハードウエア構成において第１実施例に係る車両用背景画像収集装置１と共通するため、図１を参照することとし、各構成要素についての説明を省略する。
【００３８】
［背景画像収集処理］
本実施例において、車載カメラ１０の各撮像画像は、記憶装置２０に逐次（一時的に）記憶される。そして、本実施例に係るＥＣＵ５０は、所定の実行タイミング（例えばエンジン停止により１回の走行が終了した際等）で、記憶装置２０に記憶された各撮像画像に対して一括して判定処理及び記憶制御処理を実行する。なお、各撮像タイミングにおける判定手法等については、第１実施例と同様である。また、［基準径路生成処理］については、第１実施例と同様であるため、説明を省略する。
【００３９】
本実施例の車両用背景画像収集装置２によれば、車両における障害物検知を行なう際の基準となる背景画像を適切に収集することができる。
【００４０】
＜その他の実施例＞
第１実施例及び第２実施例では、ＧＰＳ等により特定された車両の現在位置の推移によって車両の移動径路が基準径路と乖離しているか否かを判定するものとしたが、これに限らず、ヨーレートセンサーの出力及び車速から導出される車両の移動径路と、基準径路とを比較して判定を行なってもよい。すなわち、曲率が大きくない道路において湾曲した径路を走行した場合、その付近で障害物の回避、路側設備の利用等が行なわれたと判断し、その付近で撮像された撮像画像を背景画像から除外する。
【００４１】
また、同様の理由により、ステアリング操舵角センサーやブレーキ踏量センサー等、運転者の運転操作量を検出するセンサー類の出力に基づいて、車両の移動径路が基準径路と乖離しているか否かを判定するものとしてもよい。
【００４２】
＜背景画像の利用態様＞
以下、背景画像の利用態様の一例について述べる。背景画像は、ＳＯＢＥＬフィルター等を適用することにより、隣接画素との輝度差や画素値差が大きいエッジ点が抽出された背景エッジ画像に変換され、その中から道路区画線等の輪郭を示す一連のエッジ点が抽出される。そして、車載カメラ１０が車両の走行に応じて撮像する撮像画像も同様にエッジ画像に変換され、変換後のエッジ画像から道路区画線等の輪郭を示すエッジ点が除去されることにより、歩行者や車両等の障害物の輪郭を示すエッジ点が抽出されることとなる。
【００４３】
この抽出されたエッジ点で画成される画像上の位置領域を２次元平面上の位置に変換すると、障害物との距離や相対速度が算出可能となる。そして、算出された障害物との距離や相対速度を用いて、種々の衝突安全制御が行なわれる。
【００４４】
衝突安全制御は、例えば、障害物との距離や相対速度等に対して所定の閾値を適用することにより衝突可能性を判定し、その判定結果に応じて、音声や表示による警報制御、ブレーキペダルの操作量に対する制動力のブースト率を高める制御、操舵比を大きくする制御、シートベルトを自動的に巻き上げ、適切な力で乗員をシートに拘束する制御、自動的に制動力を出力する制御等を行なう。なお、実施例に係るＥＣＵ５０は、係る衝突安全制御を行なう制御装置に統合されてもよい。
【００４５】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【産業上の利用可能性】
【００４６】
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
【図面の簡単な説明】
【００４７】
【図１】第１実施例に係る車両用背景画像収集装置１、及び第２実施例に係る車両用背景画像収集装置２の全体構成の一例を示す図である。
【図２】車載カメラ１０のハードウエア構成の一例を示す図である。
【図３】車両の移動径路が基準径路から乖離しているか否かを判定する様子を示す図である。
【図４】車両の移動径路が基準径路から乖離しているか否かを判定する他の様子を示す図である。
【符号の説明】
【００４８】
１  車両用背景画像収集装置
１０  車載カメラ
１２  撮像レンズ
１４  イメージセンサー
１６  電子制御部
２０、４４  記憶装置
２２  基準径路情報
２４  背景画像情報
３０  車速センサー
４０  ナビゲーション装置
４２  ＧＰＳ受信機
４４  記憶装置
４５  地図データ
４６  入出力装置
４８  ナビゲーション制御用コンピューター
５０  ＥＣＵ
【図１】
0004946903.tif 000002
【図２】
0004946903.tif 000003
【図３】
0004946903.tif 000004
【図４】
0004946903.tif 000005