(57)【特許請求の範囲】
【請求項１】
赤外線カメラにより捉えられた画像中の背景画像と対象物画像とに関連し、前記画像の輝度値のヒストグラムに現れる度数のピークにそれぞれ対応した前記輝度値の間に、前記画像に含まれる輝度値を２つに分類する閾値を設定して前記画像の２値化処理を行う赤外線画像処理装置において、
前記閾値を用いた２値化処理により抽出される画像の面積が所定時間の間に所定回数以上所定範囲になるように、前記閾値を変更する輝度閾値設定手段を備え、
前記輝度閾値設定手段には、前記背景画像に関連して現れる度数のピークに対応した輝度値より大きい最小輝度閾値と、前記対象物画像に関連して現れる度数のピークに対応した輝度値より小さい最大輝度閾値とが予め設定され、
前記輝度閾値設定手段は、前記最小輝度閾値と前記最大輝度閾値との間で前記閾値を変更するとともに、変更した閾値が前記最小輝度閾値以下の場合は前記最小輝度閾値を閾値として設定し、変更した閾値が前記最大輝度閾値以上である場合は、前記最大輝度閾値を閾値として設定することを特徴とする赤外線画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、赤外線カメラにより撮影された画像の２値化処理により、対象物抽出を行う赤外線画像処理装置に関する。
【０００２】
【従来の技術】
従来、赤外線カメラにより捉えられた画像から車両や歩行者等の対象物を抽出する際には、対象物画像と対象物以外の背景画像とを区別するために、画像の２値化処理が行われている。画像の２値化処理は、赤外線カメラにより捉えられた画像中の背景画像と対象物画像とに関連し、画像の輝度値のヒストグラムに現れる度数（画素の数）のピーク（背景ピークと対象物ピーク）に対応した輝度値の間に、画像に含まれる輝度値を２つに分類する閾値を設定して行われる。
【０００３】
また、例えばこのように赤外線カメラにより捉えられた画像の輝度値のヒストグラムに基づき、背景ピークと対象物ピークの間に閾値を設定して２値化処理を行う赤外線画像処理装置には、特開２００１−１６０１４４号公報に記載のものがある。同公報によると、この画像処理装置は、ステレオカメラにより撮影された２つの画像のそれぞれに、輝度値Ｉを横軸として輝度値Ｉを取る画素の数、すなわち度数Ｈ［Ｉ］を縦軸とするヒストグラムを算出して背景ピークと対象物ピークに対応する輝度値を求め、ステレオカメラにより撮影された２つの画像のコントラスト値を比較する。そして、コントラスト値の大きい方を基準画像とすると共に、設定された輝度値により基準画像の２値化処理を行い、対象物を抽出している。これにより、この画像処理装置は、ステレオカメラにより撮影された画像間のコントラスト差に起因する対象物判定の失敗を回避することができる。
【０００４】
【発明が解決しようとする課題】
しかし、対象物の赤外線放射量の相違や、外界環境における季節、天気、時間、更には外気温度等の変化により、輝度値ヒストグラムの背景ピーク及び対象物ピークの位置が変化した場合、上述のような従来の装置では、変化に対応して正確に対象物が抽出できなかったり、対象物以外のものを抽出してしまうという問題があった。また、対象物が小さい場合や、カメラが汚れている場合等に、対象物ピークが現れにくい場合があり、この場合も同様に、対象物が抽出できなかったり、対象物以外のものを抽出してしまう可能性があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像の輝度値ヒストグラムの変化に対応して画像を２値化処理する赤外線画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係わる赤外線画像処理装置は、赤外線カメラにより捉えられた画像中の背景画像と対象物画像とに関連し、前記画像の輝度値のヒストグラムに現れる度数のピークにそれぞれ対応した前記輝度値の間に、前記画像に含まれる輝度値を２つに分類する閾値（例えば実施の形態の輝度閾値ＩＴＨ）を設定して前記画像の２値化処理を行う赤外線画像処理装置において、前記閾値を用いた２値化処理により抽出される画像の面積が所定時間の間に所定回数以上所定範囲になるように、前記閾値を変更する輝度閾値設定手段（例えば第１、第２の実施の形態のステップＳ４、第１の実施の形態のステップＳ３１〜ステップＳ４５、第２の実施の形態のステップＳ４６〜ステップＳ４９）を備え、前記輝度閾値設定手段には、前記背景画像に関連して現れる度数のピークに対応した輝度値より大きい最小輝度閾値と、前記対象物画像に関連して現れる度数のピークに対応した輝度値より小さい最大輝度閾値とが予め設定され、前記輝度閾値設定手段は、前記最小輝度閾値と前記最大輝度閾値との間で前記閾値を変更するとともに、変更した閾値が前記最小輝度閾値以下の場合は前記最小輝度閾値を閾値として設定し、変更した閾値が前記最大輝度閾値以上である場合は、前記最大輝度閾値を閾値として設定することを特徴とする。
以上の構成を備えた赤外線画像処理装置は、輝度閾値設定手段により、２値化処理によって抽出される画像の面積が所定範囲になるように閾値を変更することで、輝度値のヒストグラムに現れる背景ピークと期待される対象物ピークとにそれぞれ対応する輝度値の映像ノイズによるバラツキに対して、これに影響なく高温対象物を２値化抽出できるようになる。さらに、輝度閾値設定手段により、２値化処理によって抽出される画像の面積が所定範囲になるように閾値を変更した場合に、その上限値と下限値によって閾値の変更範囲を限定することにより、２値化処理の動作を保証し、２値化処理後の画像から対象物が抽出できない等の事象を解消することができる。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の赤外線画像処理装置の構成を示すブロック図である。
図１において、符号１は、本実施の形態の赤外線画像処理装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニットであって、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ、２Ｌと当該車両のヨーレートを検出するヨーレートセンサ３、更に、当該車両の走行速度（車速）を検出する車速センサ４とブレーキの操作を検出するためのブレーキセンサ５が接続される。これにより、画像処理ユニット１は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【０００９】
また、画像処理ユニット１には、音声で警報を発するためのスピーカ６と、赤外線カメラ２Ｒ、２Ｌにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Ｄｉｓｐｌａｙや自車両のコンソールに設置されるＮＡＶＩＤｉｓｐｌａｙ、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するＨＵＤ（Head Up Display ）７ａ等を含む画像表示装置７が接続されている。
【００１０】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（中央演算装置）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ６の駆動信号、ＨＵＤ７ａ等の表示信号などを出力する出力回路を備えており、赤外線カメラ２Ｒ、２Ｌ及びヨーレートセンサ３、車速センサ４、ブレーキセンサ５の各出力信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１１】
また、図２に示すように、赤外線カメラ２Ｒ、２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ、２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ、２Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１２】
次に、本実施の形態の動作について図面を参照して説明する。
図３は、本実施の形態の赤外線画像処理装置の画像処理ユニット１における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌの出力信号である赤外線画像を取得して（ステップＳ１）、Ａ／Ｄ変換し（ステップＳ２）、グレースケール画像を画像メモリに格納する（ステップＳ３）。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１３】
次に、車両や歩行者等の対象物画像と対象物以外の背景画像とを区別するために、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、この基準画像に対して行う２値化処理に用いる輝度閾値ＩＴＨを設定する２値化閾値変更処理を行う（ステップＳ４）。なお、２値化閾値変更処理については、詳細を後述する。
また、ステップＳ４において、２値化処理に用いる輝度閾値ＩＴＨが決定されたら、基準画像の画像信号の２値化処理、すなわち、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う（ステップＳ５）。
【００１４】
図４（ａ）は、赤外線カメラ２Ｒにより得られたグレースケール画像を示し、これに２値化処理を行うことにより、図４（ｂ）に示すような画像を得る。なお、図４（ｂ）において、例えばＰ１からＰ４の枠で囲った物体を、表示画面上に白色として表示される対象物（以下「高輝度領域」という）とする。
赤外線画像から２値化された画像データを取得したら、２値化した画像データをランレングスデータに変換する処理を行う（ステップＳ６）。ランレングスデータにより表されるラインは、２値化により白となった領域を画素レベルで示したもので、いずれもｙ方向には１画素の幅を有しており、またｘ方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【００１５】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする（ステップＳ７）ことにより、対象物を抽出する処理を行う（ステップＳ８）。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを１つの対象物とみなすことにより、例えば図４（ｂ）に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心Ｇ、面積Ｓ及び外接四角形の縦横比ＡＳＰＥＣＴを算出する（ステップＳ９）。
【００１６】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，・・・Ｎ−１）とすると、ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物（Ｎ個のランレングスデータ）について積算することにより算出する。また、対象物Ａの重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と各ランレングスデータの座標ｘ［ｉ］、またはｙ［ｉ］とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Ｓで割ることにより算出する。
更に、縦横比ＡＳＰＥＣＴは、対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１７】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う（ステップＳ１０）。時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出したら、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定されたら、対象物Ｃ、Ｄをそれぞれ対象物Ａ、Ｂというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【００１８】
なお、以上説明したステップＳ５〜Ｓ１０の処理は、２値化した基準画像（本実施の形態では、右画像）について実行する。
次に、車速センサ４により検出される車速ＶＣＡＲ及びヨーレートセンサ３より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒを算出する（ステップＳ１１）。
【００１９】
一方、ステップＳ１０とステップＳ１１の処理に平行して、ステップＳ１２〜Ｓ１４では、対象物と自車両１０との距離ｚを算出する処理を行う。この演算はステップＳ１０、及びステップＳ１１より長い時間を要するため、ステップＳ１０、Ｓ１１より長い周期（例えばステップＳ１〜Ｓ１１の実行周期の３倍程度の周期）で実行される。
まず、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する（ステップＳ１２）。
【００２０】
次に、左画像中から探索画像Ｒ１に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する（ステップＳ１３）。具体的には、探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａを探索領域として設定する。
【００２１】
ステップＳ１３の処理により、基準画像（右画像）中に探索画像Ｒ１と、左画像中にこの対象物に対応する対応画像Ｒ４とが抽出されるので、次に、探索画像Ｒ１の重心位置と対応画像Ｒ４の重心位置と視差Δｄ（画素数）を求め、これから自車両１０と対象物との距離ｚを算出する（ステップＳ１４）。
次に、ステップＳ１１における回頭角θｒの算出と、ステップＳ１４における対象物との距離算出が完了したら、画像内の座標（ｘ，ｙ）及び距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する（ステップＳ１５）。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示すように、赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【００２２】
また、実空間座標が求められたら、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う（ステップＳ１６）。回頭角補正は、時刻ｋから（ｋ＋１）までの期間中に自車両１０が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔｘだけｘ方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【００２３】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔＴのモニタ期間内に得られた、回頭角補正後のＮ個（例えばＮ＝１０程度）の実空間位置データ、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める（ステップＳ１７）。
次いで、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【００２４】
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００２５】
また、ステップＳ１７において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う（ステップＳ１８）。
警報判定処理（ステップＳ１８）は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、及び進入衝突判定処理により、自車両１０と検出した対象物との衝突の可能性を判定する処理である。
なお、接近判定領域内か否かの判定処理は、衝突判定処理において、自車両１０と検出した対象物との衝突の可能性があると判定された場合に実行される。更に、進入衝突判定処理は、接近判定領域内か否かの判定処理において、自車両１０と検出した対象物との衝突の可能性がないと判定された場合に実行される。
以下、図５に示すように、自車両１０の進行方向に対してほぼ９０°の方向から、速度Ｖｐで進行してくる対象物２０がいる場合を例に取って説明する。
【００２６】
まず、衝突判定処理は、図５において、対象物２０が時間ΔＴの間に距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０とのＺ方向の相対速度Ｖｓを求め、両者が高さＨ以内で相対速度Ｖｓを維持して移動すると仮定して、余裕時間Ｔ以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Ｔは、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものである。従って、余裕時間Ｔは例えば２〜５秒程度に設定される。またＨは、高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００２７】
また、接近判定領域内か否かの判定処理は、図６に示すように、赤外線カメラ２Ｒ、２Ｌで監視可能な領域を太い実線で示す外側の三角形の領域ＡＲ０とすると、領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域であって、対象物が自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域ＡＲ１、すなわち対象物がそのまま存在し続ければ自車両１０との衝突の可能性がきわめて高い接近判定領域ＡＲ１内に存在するか否かを判定する処理である。なお、接近判定領域ＡＲ１も所定高さＨを有する。
【００２８】
更に、進入衝突判定処理は、上述の接近判定領域ＡＲ１よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域ＡＲ２、ＡＲ３を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域ＡＲ１に進入すると共に自車両１０と衝突するか否かを判定する処理である。なお、進入判定領域ＡＲ２、ＡＲ３も所定高さＨを有する。
【００２９】
警報判定処理（ステップＳ１８）において衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理のいずれにおいても、自車両１０と検出した対象物との衝突の可能性がないと判定された場合（ステップＳ１８のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
また、警報判定処理（ステップＳ１８）において、衝突判定処理により自車両１０と検出した対象物との衝突の可能性があると判定され、更に接近判定領域内か否かの判定処理と進入衝突判定処理とのどちらかにより、自車両１０と検出した対象物との衝突の可能性があると判定された場合（ステップＳ１８のＹＥＳ）、ステップＳ１９の警報出力判定処理へ進む。
【００３０】
ステップＳ１９では、ブレーキセンサ５の出力ＢＲから自車両１０の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う（ステップＳ１９）。
もし、自車両１０の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し（ステップＳ１９のＮＯ）、ステップＳ１へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００３１】
また、加速度Ｇｓが所定閾値ＧＴＨ以下であるとき、または自車両１０の運転者がブレーキ操作を行っていなければ、直ちにステップＳ２０の処理へ進み（ステップＳ１９のＹＥＳ）、対象物と接触する可能性が高いので、スピーカ３を介して音声による警報を発する（ステップＳ２０）とともに、画像表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像を出力し、接近してくる対象物を自車両１０の運転者に対する強調映像として表示する（ステップＳ２１）。なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓがそのまま維持された場合に、対象物と自車両１０との距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【００３２】
以上が、本実施の形態の赤外線画像処理装置の画像処理ユニット１における対象物検出・警報動作であるが、次に、図７に示すフローチャートを参照して、図３に示したフローチャートのステップＳ４における２値化閾値変更処理について更に詳しく説明する。
図７は、本実施の形態の２値化閾値変更処理動作を示すフローチャートである。
図７において、まず、画像処理ユニット１は、これが画像処理ユニット１の起動後の初回の２値化閾値変更処理か否かを判定する（ステップＳ３１）。
ステップＳ３１において、これが画像処理ユニット１の起動後の初回の２値化閾値変更処理であった場合（ステップＳ３１のＹＥＳ）、画像処理ユニット１は、図３に示したフローチャートのステップＳ３において取得されたグレースケール画像の輝度値ヒストグラムを作成する（ステップＳ３２）。輝度値ヒストグラムは、温度の高いもの程白く表示されるグレースケール画像の画素をその輝度値Ｉを横軸として輝度値Ｉを取る画素の数、すなわち度数Ｈ［Ｉ］を縦軸として表したものである。
【００３３】
そして、求められた輝度値ヒストグラムから、モード法により輝度閾値ＩＴＨに初期値ＩＮＩ＿ＴＨの設定を行う（ステップＳ３３）。ここで、モード法による２値化閾値設定について図８を参照して説明すると、モード法による２値化閾値設定は、赤外線カメラにより捉えられた画像中の背景画像と対象物画像とに関連して輝度値ヒストグラム５０に現れる、背景ピーク５１と高温対象物ピーク５２として示される度数Ｈ［Ｉ］のピークにそれぞれ対応した背景ピーク輝度値５３と高温対象物ピーク輝度値５４との間に、輝度値をＱ［％］と（１００−Ｑ）［％］とに分けて、画像に含まれる輝度値を２つに分類する輝度閾値ＩＴＨ５５を設定する方法である。
また、このように初回の２値化閾値変更処理動作では、モード法により輝度閾値ＩＴＨに初期値ＩＮＩ＿ＴＨの設定したら、２値化閾値変更処理動作を終了し、図３に示したフローチャートのステップＳ５へ戻り、対象物の検出・警報動作を続ける。
【００３４】
一方、ステップＳ３１において、これが画像処理ユニット１の起動後の初回の２値化閾値変更処理でなかった場合（ステップＳ３１のＮＯ）、画像処理ユニット１は、前回の処理で決定された輝度閾値ＩＴＨを用いて、本実施の形態において基準画像とする赤外線カメラ２Ｒにより今回得られた右画像の２値化処理を行う（ステップＳ３４）。
次に、２値化画像の２値化面積率Ｐを算出する（ステップＳ３５）。ここで２値化面積率Ｐは、２値化対象物画像が画面全体に占める割合を示したもので、次式で定義される。
Ｐ＝２値化対象物の全体画素数／２値化対象画面全体の画素数×１００［％］
【００３５】
そして、２値化面積率Ｐが求められたら、２値化面積率Ｐが規定値α［％］以下で、かつ輝度閾値ＩＴＨが最小輝度閾値Ｍｉｎ＿ＴＨでないか否かを判定する（ステップＳ３６）。
ステップＳ３６において、２値化面積率Ｐが規定値α［％］以下で、かつ輝度閾値ＩＴＨが最小輝度閾値Ｍｉｎ＿ＴＨでない場合（ステップＳ３６のＹＥＳ）、次に、ステップＳ３６の条件を過去Ｎ秒間（例えば１秒間程度）にＭ回以上クリアしたか否かを判定する（ステップＳ３７）。なお、この判定は、２値化閾値変更処理動作のハンチングが起きないように、ステップＳ３６の判定結果の平均化のために行う。
【００３６】
ステップＳ３７において、ステップＳ３６の条件を過去Ｎ秒間にＭ回以上クリアしていた場合（ステップＳ３７のＹＥＳ）、輝度閾値ＩＴＨから規定の割合Ｘを差し引き、輝度閾値ＩＴＨの減少を行う（ステップＳ３８）。
そして、輝度閾値ＩＴＨが最小輝度閾値Ｍｉｎ＿ＴＨ以下であるか否かを判定する（ステップＳ３９）。
ステップＳ３９において、輝度閾値ＩＴＨが最小輝度閾値Ｍｉｎ＿ＴＨ以下であった場合（ステップＳ３９のＹＥＳ）、輝度閾値ＩＴＨに最小輝度閾値Ｍｉｎ＿ＴＨを設定する（ステップＳ４０）。
【００３７】
また、ステップＳ３７において、ステップＳ３６の条件を過去Ｎ秒間にＭ回以上クリアしていなかった場合（ステップＳ３７のＮＯ）、２値化閾値変更処理動作を終了する。
更に、ステップＳ３９において、輝度閾値ＩＴＨが最小輝度閾値Ｍｉｎ＿ＴＨ以下でなかった場合（ステップＳ３９のＮＯ）も、２値化閾値変更処理動作を終了する。
【００３８】
一方、ステップＳ３６において、２値化面積率Ｐが規定値α［％］より大きかった場合、または輝度閾値ＩＴＨが最小輝度閾値Ｍｉｎ＿ＴＨであった場合（ステップＳ３６のＮＯ）、ステップＳ３５において求められた２値化面積率Ｐが、規定値β［％］以上で、かつ輝度閾値ＩＴＨが最大輝度閾値Ｍａｘ＿ＴＨでないか否かを判定する（ステップＳ４１）。
ステップＳ４１において、２値化面積率Ｐが規定値β［％］以上で、かつ輝度閾値ＩＴＨが最大輝度閾値Ｍａｘ＿ＴＨでない場合（ステップＳ４１のＹＥＳ）、次に、ステップＳ４１の条件を過去Ｎ秒間（例えば１秒間程度）にＭ回以上クリアしたか否かを判定する（ステップＳ４２）。なお、この判定は、２値化閾値変更処理動作のハンチングが起きないように、ステップＳ４１の判定結果の平均化のために行う。
【００３９】
ステップＳ４２において、ステップＳ４１の条件を過去Ｎ秒間にＭ回以上クリアしていた場合（ステップＳ４２のＹＥＳ）、輝度閾値ＩＴＨに規定の割合Ｘを足し込み、輝度閾値ＩＴＨの増加を行う（ステップＳ４３）。
そして、輝度閾値ＩＴＨが最大輝度閾値Ｍａｘ＿ＴＨ以上であるか否かを判定する（ステップＳ４４）。
ステップＳ４４において、輝度閾値ＩＴＨが最大輝度閾値Ｍａｘ＿ＴＨ以上であった場合（ステップＳ４４のＹＥＳ）、輝度閾値ＩＴＨに最大輝度閾値Ｍａｘ＿ＴＨを設定する（ステップＳ４５）。
【００４０】
一方、ステップＳ４１において、２値化面積率Ｐが規定値β［％］より小さかった場合、または輝度閾値ＩＴＨが最大輝度閾値Ｍａｘ＿ＴＨであった場合（ステップＳ４１のＮＯ）、２値化閾値変更処理動作を終了する。
また、ステップＳ４２において、ステップＳ４１の条件を過去Ｎ秒間にＭ回以上クリアしていなかった場合（ステップＳ４２のＮＯ）、２値化閾値変更処理動作を終了する。
更に、ステップＳ４４において、輝度閾値ＩＴＨが最大輝度閾値Ｍａｘ＿ＴＨ以上でなかった場合（ステップＳ４４のＮＯ）も、２値化閾値変更処理動作を終了する。
【００４１】
なお、上述の最小輝度閾値Ｍｉｎ＿ＴＨは、画像の２値化処理に際して、外界環境変化による路面の影響を受けないように求められた輝度閾値の下限値のことであって、以下のように設定される。
すなわち、最小輝度閾値Ｍｉｎ＿ＴＨの設定について図面を参照して説明すると、図９に示すように最小輝度閾値Ｍｉｎ＿ＴＨ６０は、
１）輝度値ヒストグラムにおいて、背景ピークと期待される高温対象物ピークとにそれぞれ対応する２つの輝度値の間に設定され、この閾値により確実に高温対象物を抽出できること。
２)背景ピークと高温対象物ピークとにそれぞれ対応する輝度値の映像ノイズによるバラツキに対して、影響なく高温対象物を２値化抽出できること。
という条件により設定される。なお、最小輝度閾値Ｍｉｎ＿ＴＨ６０より下の閾値で、図１０（ａ）に示す２値化対象画像に２値化処理を行った場合、図１０（ｂ）に示すように、歩行者以外にも路面や背景等を抽出する結果となる。
【００４２】
また、上述の最大輝度閾値Ｍａｘ＿ＴＨは、画像の２値化処理に際して、外界環境変化により対象物が抜け落ちないように求められた輝度閾値の上限値のことであって、以下のように設定される。
すなわち、最大輝度閾値Ｍａｘ＿ＴＨの設定について図面を参照して説明すると、図１１に示すように最大輝度閾値Ｍａｘ＿ＴＨ６１は、
１）最小輝度閾値Ｍｉｎ_ＴＨと期待される高温対象物ピークに対応する輝度値との間、または最小輝度閾値Ｍｉｎ_ＴＨと高温対象物最大輝度値との間に設定され、この閾値より上の閾値では高温対象物を抽出できないこと。
という条件により設定される。
【００４３】
ここでいう外界環境変化とは、例えば季節の変化や、屋内ガレージから車両を屋外へ出すとき、他車両の後ろを走行しているとき等、自車両の周囲の温度が変化することを言う。
また、上述の２値化面積率Ｐを判定するための規定値αとβは、実際の走行環境では、路面や空が写るために１０％以下の値とすることが好ましい。
【００４４】
なお、以上説明した２値化閾値変更処理は、赤外線カメラ２Ｒにより得られた右画像を用いて行われる。
更に、本実施の形態では、画像処理ユニット１が、輝度閾値設定手段を含んでいる。より具体的には、図３のＳ４、図７のＳ３１〜Ｓ４５が輝度閾値設定手段に相当する。
【００４５】
以上説明したように、本実施の形態の赤外線画像処理装置は、赤外線画像から歩行者等の対象物を抽出するための２値化処理において、その輝度閾値ＩＴＨを、２値化処理により抽出される画像の面積が所定範囲になるように、その上下限値である最小輝度閾値Ｍｉｎ＿ＴＨと最大輝度閾値Ｍａｘ＿ＴＨとの間で変更する。また、輝度閾値ＩＴＨを変更する場合には、閾値変更条件を規定時間内に何回満たしたかを計数すると共に、一定割合Ｘを輝度閾値ＩＴＨから差し引く、あるいは一定割合Ｘを輝度閾値ＩＴＨへ足し込むことにより輝度閾値ＩＴＨを増加減することで、閾値設定処理のハンチングと一瞬の外界環境変化に対して処理が敏感になることを防止し、安定した２値化処理を行うことができる。
【００４６】
（第２の実施の形態）
次に、図面を参照して本発明の第２の実施の形態について説明する。
本発明の第２の実施の形態の赤外線画像処理装置が、第１の実施の形態の赤外線画像処理装置と比較して異なる部分は、第１の実施の形態で図７のフローチャートを用いて説明した赤外線画像処理装置の画像処理ユニット１における２値化閾値変更処理動作が、図１２にフローチャートを示す２値化閾値変更処理動作に変更されることである。
なお、第２の実施の形態の赤外線画像処理装置の構成や、２値化閾値変更処理動作以外の動作については、第１の実施の形態の赤外線画像処理装置と同一であるので、ここでは説明を省略する。
【００４７】
次に、図１２のフローチャートを用いて、第２の実施の形態の赤外線画像処理装置の画像処理ユニット１における２値化閾値変更処理動作を具体的に説明する。
本実施の形態の２値化閾値変更処理動作は、第１の実施の形態で図７を用いて説明したステップＳ３１〜Ｓ４５の２値化閾値変更処理動作において、ステップＳ３８の動作がステップＳ４６とステップＳ４７の動作に、ステップＳ４３の動作がステップＳ４８とステップＳ４９の動作に、それぞれ変更されることが特徴である。また、図１２に示す本実施の形態の２値化閾値変更処理動作において、図７に示す第１の実施の形態の２値化閾値変更処理動作と同じステップ番号を付与した処理は、第１の実施の形態で説明した処理と同じ動作を行う処理である。
【００４８】
従って、本実施の形態の２値化閾値変更処理動作について、ステップＳ４６、Ｓ４７、Ｓ４８、Ｓ４９の処理を中心に説明する。
まず、第１の実施の形態と同様に、ステップＳ３１〜Ｓ３４の処理を行い、ステップＳ３５において２値化された基準画像の２値化面積率Ｐを求める。そして、ステップＳ３６における判定の結果、２値化面積率Ｐが規定値α［％］以下で、かつ輝度閾値ＩＴＨが最小輝度閾値Ｍｉｎ＿ＴＨでない場合（ステップＳ３６のＹＥＳ）、ステップＳ３７において、２値化閾値変更処理動作のハンチングが起きないように、ステップＳ３６の判定結果の平均化を行う（ステップＳ３７のＹＥＳ）。
【００４９】
次に、本実施の形態の２値化閾値変更処理動作では、第１の実施の形態の２値化閾値変更処理動作がステップＳ３８において一定割合Ｘで輝度閾値ＩＴＨを減少させたのに対して、まず、画像処理ユニット１は、第１の実施の形態において図７で説明したステップＳ３２と同様に、図３に示したフローチャートのステップＳ３において取得されたグレースケール画像の輝度値ヒストグラムを作成する（ステップＳ４６）。
そして、求められた輝度値ヒストグラムから、モード法により輝度閾値ＩＴＨに新しい閾値ｍｏｄｅ＿ＴＨの設定を行う（ステップＳ４７）。なお、モード法による２値化閾値設定については、第１の実施の形態で図８を参照して説明したのでここでは説明を省略する。
【００５０】
ステップＳ４７において、新しい閾値が輝度閾値ＩＴＨに設定されたら、第１の実施の形態と同様に、ステップＳ３９〜Ｓ４０の処理をおこなって、２値化閾値変更処理動作を終了する。
【００５１】
一方、ステップＳ３６において、条件が満たされなかった場合（ステップＳ３６のＮＯ）、ステップＳ４１へ進む。そして、ステップＳ３５において求められた２値化面積率Ｐが、ステップＳ４１における判定の結果、規定値β［％］以上で、かつ輝度閾値ＩＴＨが最大輝度閾値Ｍａｘ＿ＴＨでない場合（ステップＳ４１のＹＥＳ）、ステップＳ４２において、２値化閾値変更処理動作のハンチングが起きないように、ステップＳ４１の判定結果の平均化を行う（ステップＳ４１のＹＥＳ）。
【００５２】
次に、本実施の形態の２値化閾値変更処理動作では、第１の実施の形態の２値化閾値変更処理動作がステップＳ４３において一定割合Ｘで輝度閾値ＩＴＨを増加させたのに対して、まず、画像処理ユニット１は、第１の実施の形態において図７で説明したステップＳ３２と同様に、図３に示したフローチャートのステップＳ３において取得されたグレースケール画像の輝度値ヒストグラムを作成する（ステップＳ４８）。
そして、求められた輝度値ヒストグラムから、モード法により輝度閾値ＩＴＨに新しい閾値ｍｏｄｅ＿ＴＨの設定を行う（ステップＳ４９）。
ステップＳ４９において、新しい閾値が輝度閾値ＩＴＨに設定されたら、第１の実施の形態と同様に、ステップＳ４４〜Ｓ４５の処理をおこなって、２値化閾値変更処理動作を終了する。
【００５３】
なお、以上説明した２値化閾値変更処理は、第１の実施の形態と同様に、赤外線カメラ２Ｒにより得られた右画像を用いて行われる。
また、本実施の形態では、画像処理ユニット１に含まれる輝度閾値設定手段は、第１の実施の形態で説明した図３のＳ４、及び図１２のＳ３１〜Ｓ３７、Ｓ３９〜Ｓ４２、Ｓ４４〜Ｓ４５、Ｓ４６〜Ｓ４９が相当する。
【００５４】
以上説明したように、本実施の形態の赤外線画像処理装置は、赤外線画像から歩行者等の対象物を抽出するための２値化処理において、その輝度閾値ＩＴＨを、２値化処理により抽出される画像の面積が所定範囲になるように、その上下限値である最小輝度閾値Ｍｉｎ＿ＴＨと最大輝度閾値Ｍａｘ＿ＴＨとの間で変更する。また、輝度閾値ＩＴＨを変更する場合には、閾値変更条件を規定時間内に何回満たしたかを計数すると共に、モード法により直接閾値を設定することで、閾値設定処理のハンチングを防止し、２値化処理の正確な閾値設定を素早く行うことができる。
【００５５】
【発明の効果】
以上の如く、請求項１に記載の赤外線画像処理装置によれば、輝度閾値設定手段により、２値化処理によって抽出される画像の面積が所定範囲になるように閾値を変更し、輝度値のヒストグラムに現れる背景ピークと期待される対象物ピークとにそれぞれ対応する輝度値の映像ノイズによるバラツキを吸収することで、バラツキに影響なく高温対象物を２値化抽出できるようになる。
従って、２値化処理を行うための閾値を、外界環境変化に対応して変動させることで対象物抽出精度が向上し、歩行者等の対象物に対する検出・警報動作の信頼性が向上するという効果が得られる。
【００５６】
請求項２に記載の赤外線画像処理装置によれば、輝度閾値設定手段により、２値化処理によって抽出される画像の面積が所定範囲になるように閾値を変更した場合に、その上限値と下限値によって閾値の変更範囲を限定することにより、２値化処理の動作を保証する。
従って、不適切な閾値が設定されることが防止され、外界環境変化に対して装置動作のロバスト性が向上するため、装置の動作環境範囲を広げることができるという効果が得られる。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態の赤外線画像処理装置の構成を示すブロック図である。
【図２】  車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図３】  同実施の形態の赤外線画像処理装置の対象物検出・警報動作を示すフローチャートである。
【図４】  赤外線カメラにより得られるグレースケール画像とその２値化画像を示す図である。
【図５】  衝突が発生しやすい場合を示す図である。
【図６】  車両前方の領域区分を示す図である。
【図７】  同実施の形態の２値化閾値変更処理動作を示すフローチャートである。
【図８】  同実施の形態のモード法による２値化閾値設定を示す図である。
【図９】  同実施の形態の最小輝度閾値の設定について示す図である。
【図１０】  最小輝度閾値より下の閾値によって２値化処理を行った場合について示す図である。
【図１１】  同実施の形態の最大輝度閾値の設定について示す図である。
【図１２】  第２の実施の形態の２値化閾値変更処理動作を示すフローチャートである。
【符号の説明】
１    画像処理ユニット
２Ｒ、２Ｌ    赤外線カメラ
３    ヨーレートセンサ
４    車速センサ
５    ブレーキセンサ
６    スピーカ
７    画像表示装置
１０    自車両
Ｓ４、Ｓ３１〜Ｓ４５、Ｓ４６〜Ｓ４９    輝度閾値設定手段
【図１】
0003756452.tif 000002
【図２】
0003756452.tif 000003
【図３】
0003756452.tif 000004
【図４】
0003756452.tif 000005
【図５】
0003756452.tif 000006
【図６】
0003756452.tif 000007
【図７】
0003756452.tif 000008
【図８】
0003756452.tif 000009
【図９】
0003756452.tif 000010
【図１０】
0003756452.tif 000011
【図１１】
0003756452.tif 000012
【図１２】
0003756452.tif 000013