(57)【特許請求の範囲】
【請求項１】
赤外波長域の画像と可視波長域の画像とを撮像できる撮像部と、
前記赤外波長域の画像上の撮影地点と前記可視波長域の画像上の撮影地点とから、特徴量を算出する特徴量算出部と、
前記算出された特徴量を、赤外波長域の特徴量と可視波長域の特徴量とで形成される特徴量空間において複数領域に分類する基準を決定する分類基準決定部と、
前記分類基準決定部によって決定された基準に従って前記特徴量空間を複数領域に分類し、当該分類の結果に基づいて前記撮影地点に分類番号を付与する分類部と、
前記分類する基準を更新するか否かを判定する分類基準更新判定部とを備え、
前記分類基準更新判定部は、連続入力される前記赤外波長域の画像と前記可視波長域の画像とに対して前記分類する基準を更新するか否かを判定し、当該判定結果を前記分類基準決定部に出力し、
前記分類基準決定部は、前記判定結果が「更新する」の場合には前記分類する基準を再決定し、前記判定結果が「更新無し」の場合には前記分類する基準を再決定しない、
領域分割装置。
【請求項２】
前記特徴量は、輝度値である、請求項１記載の領域分割装置。
【請求項３】
分類基準決定部は、前記赤外波長域の画像上の画素および前記可視波長域の画像上の画素の一部を用いて、分類する基準を決定する、請求項１記載の領域分割装置。
【請求項４】
分類基準更新判定部は、前記赤外波長域の画像と前記可視波長域の画像との双方または一方の画素全体の特徴量の平均値が、直前に処理した画像の画素全体の特徴量の平均値よりも一定量大きい場合に更新すると判断する、請求項１記載の領域分割装置。
【請求項５】
赤外波長域の画像と可視波長域の画像とを撮像できる撮像部と、
前記赤外波長域の画像上の撮影地点と前記可視波長域の画像上の撮影地点とから、特徴量を算出する特徴量算出部と、
前記算出された特徴量を、赤外波長域の特徴量と可視波長域の特徴量とで形成される特徴量空間において複数領域に分類する基準を決定する分類基準決定部と、
前記分類基準決定部によって決定された基準に従って前記特徴量空間を複数領域に分類し、当該分類の結果に基づいて前記撮影地点に分類番号を付与する分類部と、
前記分類する基準を更新するか否かを判定する分類基準更新判定部と、
連続入力される前記赤外波長域の画像と前記可視波長域の画像とからそれぞれの背景画像を作成する背景画像作成部と、
前記赤外波長域の背景画像上の撮影地点と前記可視波長域の背景画像上の撮影地点とから、特徴量を算出する背景特徴量算出部と、
前記分類基準決定部によって決定された基準に従って、前記背景特徴量算出部によって算出された特徴量を前記特徴量空間に分類し、当該分類結果に基づいて前記背景画像の撮影地点に分類番号を付与する背景画像分類部と、
前記背景画像分類部と前記分類部により出力された各撮影地点の分類番号の一致度を判定し、一致しない撮影地点の集合を対象物であると出力する、一致判定部と、
を備える対象物抽出装置。
【請求項６】
赤外線カメラと可視波長カメラとを用いて、赤外波長域の画像と可視波長域の画像とを撮像する撮像ステップと、
前記赤外波長域の画像上の撮影地点と前記可視波長域の画像上の撮影地点とから、特徴量を算出する特徴量算出ステップと、
前記算出された特徴量を、赤外波長域の特徴量と可視波長域の特徴量とで形成される特徴量空間において複数領域に分類する基準を決定する分類基準決定ステップと、
連続入力される前記赤外波長域の画像と前記可視波長域の画像とに対して前記分類する基準を更新するか否かを判定し、
前記判定結果が「更新する」の場合には前記分類する基準を再決定し、前記判定結果が「更新無し」の場合には前記分類する基準を再決定しない、分類基準更新判定ステップと、
前記判定結果が「更新する」の場合には、再決定した分類する基準に従い、前記判定結果が「更新無し」の場合には、前記分類基準決定ステップによって決定された基準に従って、前記特徴量空間を複数領域に分類し、当該分類の結果に基づいて前記撮影地点に分類番号を付与する分類ステップと、
を含む、領域分割方法。
【請求項７】
請求項１から４までのいずれか一つの領域分割装置または請求項５の対象物抽出装置をコンピュータに実行させるためのプログラムを格納した情報記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、赤外線画像と可視画像を用いて画像を複数の領域に分割する画像領域分割装置または方法、および画像から対象物を抽出する対象物抽出装置または方法に関する。
【０００２】
【従来の技術】
赤外線画像と可視画像の両方を用いて画像処理を行う従来技術の例として、特許番号第２８５０８９０号（以下、公報１と記述する）に記載されている、複合センサ型車両感知器の発明がある。
【０００３】
図１０は、公報１に記載されている複合センサ型車両感知器のブロック図である。複合センサ型車両感知器は、撮像部１１０と環境計測部１２０と信号処理部１３０とを有する構成となっている。撮像部１１０は、可視ＣＣＤカメラ１１１と、赤外線域撮像カメラ１１２とを備える構成となっている。環境計測部１２０は、照度計１２１と、温度計１２２とを備える構成となっている。信号処理部１３０は、ビデオＡ／Ｄ変換器１３１，１３３と、フレームメモリ１３２、１３４と、ディジタルシグナルプロセッサ１３５と、ＣＰＵ１３５と、外部出力Ｉ／Ｆ１３７とＡ／Ｄ変換器１３８、１３９とを備える構成になっている。１１０の撮像部で赤外線画像と可視画像の両方を撮影し、１３０の信号処理部で処理を行うことで車両感知を行う。
【０００４】
図１１は、公報１に記載されている複合センサ型車両感知器のメインフローチャートである。車両を検出する際に、複数の情報を組合せて車両と影とを区別する処理を示している。まず、Ｆ１で赤外線画像を取得し、Ｆ２で温度・照度データを取得、Ｆ３で可視画像を取得する。これらの取得された情報からＦ４で周囲の環境の検出を行い悪天候の判定を行う。Ｆ４で悪天候と判定されない場合は、可視画像と赤外画像のそれぞれに閾値処理を行い、車両候補を特定する。また、Ｆ４で悪天候と判定された場合は、可視画像は使わず赤外線画像のみを使用して車両かどうかの判定を行う。
【０００５】
【発明が解決しようとする課題】
従来法の第１の問題点は、検出物体の種類を増やした場合に、多くの場合分けと多くの閾値の設定を追加しなければならないことである。
【０００６】
なぜなら、公報１においては車両を検出するために、可視画像に対して閾値による天候判断と車両検出を行い、赤外線画像に対して閾値による車両検出を行う。もし、色や温度が違う車両も検出や、人間の検出も加えたりして検出物体の種類を増やす場合、そのたびに可視画像と赤外画像の両方に対して適切な場合分けと適切な閾値の設定が必要になるからである。
【０００７】
従来法の第２の問題点は、適切な閾値が設定されたとしても撮影範囲の照明条件や温度条件が大きく変動する場合に、固定の閾値では対応できず適切な背景差分の閾値の設定が困難なことである。
【０００８】
なぜなら、公報１においては固定の閾値を設定しその閾値との比較によって変化の検出を行っているが、赤外線画像、可視画像ともに照明や温度の変動によって輝度値は大きく変動するのに、固定の閾値を用いると、物体の過剰検出や未検出が起こりやすくなるからである。
【０００９】
本発明の目的は、上述した従来の問題点を解決し、特徴量空間の領域分割によって多くの検出物体に対しても適切な輝度値の閾値の指定が行え、特徴量空間の分類結果の背景差分によって撮影の環境が大きく変動した場合でも適切な対象物の検出を行うことのできる、領域分割および対象物抽出装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の領域分割装置は、赤外波長域の画像と可視波長域の画像とを撮像できる撮像部と、前記赤外波長域の画像上の撮影地点と前記可視波長域の画像上の撮影地点とから、特徴量を算出する特徴量算出部と、前記算出された特徴量を、赤外波長域の特徴量と可視波長域の特徴量とで形成される特徴量空間において複数領域に分類する基準を決定する分類基準決定部と、前記分類基準決定部によって決定された基準に従って前記特徴量空間を複数領域に分類し、当該分類の結果に基づいて前記撮影地点に分類番号を付与する分類部と、前記分類する基準を更新するか否かを判定する分類基準更新判定部とを備え、前記分類基準更新判定部は、連続入力される前記赤外波長域の画像と前記可視波長域の画像とに対して前記分類する基準を更新するか否かを判定し、当該判定結果を前記分類基準決定部に出力し、前記分類基準決定部は、前記判定結果が「更新する」の場合には前記分類する基準を再決定し、前記判定結果が「更新無し」の場合には前記分類する基準を再決定しない。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
（実施の形態１）
図１は単一フレーム画像の領域分割装置のシステム構成図を示し、図１において１１は撮像部、１２は特徴量算出部、１３は分類基準決定部、１４は分類部、１５は画像構成部である。
【００１４】
以上のように構成された領域分割装置において、以下、その動作を述べる。
【００１５】
１１は遠赤外波長域の画像と可視波長域の画像が撮影できる撮像部である。撮像素子としては、複数の波長に感度を持ち、別々に信号を出力できる単一のカメラ、もしくは両波長域をそれぞれ撮影できる２台のカメラを用いて撮像部を構成する。図２は、遠赤外画像（２２）と可視画像（２１）の例である。それぞれ同じ撮影範囲で撮影されている。
【００１６】
１２は特徴量算出部である。１１の撮像部からは、各撮影地点における、可視カメラのＲＧＢそれぞれの波長に関する輝度値と、赤外カメラの輝度値が送られてくる。これらの複数の輝度値から複数の特徴量を算出する。本実施例では、赤外カメラの輝度値と、可視カメラの輝度値の２つを特徴量とした。図３に、すべての画素を２次元の特徴量空間にプロットした図を示す。縦軸は可視の輝度値、横軸は赤外の輝度値である。この２次元特徴量空間内の画素を複数のグループに分類し、領域分割を行う。
【００１７】
１３の分類基準決定部で、分類基準を決定する。分類方法として、再配置クラスタリングを行う。再配置クラスタリングとは、最初に初期クラスタ位置として、一定数のクラスタ中心を特徴量空間の適当な場所に配置し、繰り返し計算によりクラスタ中心を特徴量空間の分布を分割するように移動させる方法である。例えばＫ−ｍｅａｎｓ法などが、再配置クラスタリングの一手法である。このクラスタ中心を決定する作業が、分類基準決定に相当し、本実施例における分類基準とはクラスタ中心の位置のことである。
【００１８】
図４にＫ−ｍｅａｎｓ法による、クラスタ中心の決定の様子を示す。（ａ）は初期クラスタ中心の位置を示し９個のクラスタ中心を特徴量空間に均等に配置した。（ｂ）は計算後のクラスタ中心の位置を示す。２次元の特徴量の分布に従い、特徴量の分布を反映するようにクラスタ中心が移動した。
【００１９】
１４の分類部では分類基準決定部で決められたクラスタ中心の位置に基づいて各画素の分類が行われる。分類は、各画素が最も近いクラスタ中心を探索し、そのクラスタ番号が分類番号となる。こうして各画素にはそれぞれ分類番号が与えられる。
【００２０】
１５は画像構成部である。ここで１４の分類部で各画素に与えられた分類番号に特定の輝度を割り振り、人間が見てもクラスタが区別できるようにしたが図５である。また、それぞれのクラスタに、どのような領域が良く現れているかを調べて、図４（ｂ）に示す。一例として、路面領域を多く含むクラスタと背景の植物の領域を多く含むクラスタに属する画素を抜き出したものを、図６（ａ）と（ｂ）に示す。これは、自動的に構成されたクラスタの画素を抽出したもので、赤外画像や可視画像に対する閾値を設定せずに得られたものである。
【００２１】
このように、赤外画像と可視画像から２次元の特徴量空間を構成し、そのクラスタリングによりおおまかな領域分割が可能である。従来法のように、赤外画像と可視画像のそれぞれに、検出対象物の種類ごとに閾値を設定して切出す方法と比較して、クラスタが自動的に構成されるので、単純にクラスタ番号を指定するだけで特徴量空間で同じ特定の性質を持つ画素の領域を得ることができる。
【００２２】
なお、本実施例では、特徴量として可視画像と赤外画像の輝度値を使用したが、他にも可視の赤色輝度、緑色輝度、青色輝度や色相、彩度などに変換した後の数値を特徴量として使用してもよい。特に、色相を使用すると、輝度情報とは違う情報が得られる。例えば屋外で使用した場合に、影の影響を低減するなどの効果が考えられる。
【００２３】
なお、本実施例では特徴量として可視画像と赤外画像の輝度値を使用したが、他の特徴量として、周りの画素の値との差を選択することもできる。これにより、画素の周辺との比較ができエッジ情報を反映させることができる。
【００２４】
なお、本実施例では、使用する特徴量をあらかじめ決定してあったが、複数の特徴量候補をあらかじめ準備して、それぞれの候補間での特徴量としての相関を取り、相関の小さな特徴量同士を採用することで、より分類がしやすくなる。
【００２５】
なお、本実施例では、常に赤外画像と可視画像を使用しているが、状況によっては両方の画像を使用しない場合が良い場合がある。例えば、照明がない場合夜になるとほとんど可視画像が役に立たない場合などである。このため、あらかじめ画像全体の輝度平均と分散を取り、どちらかもしくは両方が一定基準より小さい場合には、その画像は使用しないことで、状況の変動に強い領域分割装置が構成できる。
【００２６】
なお、本実施例では、２次元の特徴量空間でのクラスタリングの例を説明したが、３次元以上の多次元の特徴量空間のクラスタリングを行うことで、多くの特徴を反映させた領域分割が行える。
【００２７】
なお、本実施例では、再配置クラスタリングとしてＫ−ｍｅａｎｓを使用したが、他の再配置クラスタリングを実現する方法を使用しても良い。また、階層的クラスタリングを行う方法を使用しても同様の効果が得られる。
【００２８】
なお、本実施例では、分類基準決定部においてクラスタ中心を決定するのにすべての画素の特徴量を用いて特徴量空間のクラスタリングを行ったが、すべての画素の特徴量を用いずにランダムサンプリングなどにより、一部の画素の特徴量を使用することで、クラスタリングに伴う計算量の削減を行うことができる。
【００２９】
なお、本実施例では初期クラスタの数を9個としているが、画像の輝度の分散が大きい場合はクラスタの数を多く、分散が小さい場合はクラスタの数を少なくする等、適切な数のクラスタを柔軟に設定することで、より画像の輝度値の分布に適した領域分割を行うことができる。
【００３０】
（実施の形態２）
図７は、動画などの連続する複数フレームの画像に対してそれぞれ領域分割を行う領域分割装置のシステム構成図を示し、図１と同一部分は同一番号を付して説明する。図７において１１は撮像部、１２は特徴量算出部、１３は分類基準決定部、１４は分類部、７１は分類基準更新判定部である。
【００３１】
以上のように構成された領域分割装置において、以下、その動作を述べる。
【００３２】
本領域分割装置は、（実施の形態１）における単一フレーム画像からの領域分割を連続する複数フレームの画像に対して行うものである。
【００３３】
構成上は、１１から１４までは（実施の形態１）と同様の動作をし、７１の分類基準更新判定部が追加されている。連続する複数フレームに対して動作させる場合、近いフレームの画像は似ていることが想定されるので、分類基準は毎フレームごとに決定する必要はない。この分類基準を更新するかどうかを判定するのが、７１の分類基準更新判定部である。７１の分類基準更新判定部は一定のフレーム間隔ごとに分類基準を更新し、分類基準が更新されない時は、前回決定された分類基準を使用する。
【００３４】
このように、動画などの連続する画像入力に対して、毎フレームの画像の領域分割を行うことができる。また分類基準更新判定部を持つことにより、不要な分類基準決定部の計算を大幅に削減できる。
【００３５】
なお、本実施例では７１の分類基準更新判定部において、一定のフレーム間隔で行ったが、赤外画像または可視画像の画素全体の輝度値平均の変化量が一定量よりも大きい場合に、分類基準を更新してもよい。
【００３６】
なお、本実施例では７１の分類基準更新判定部において、一定のフレーム間隔で行ったが、温度計または照度計を持ち、その温度計または照度計の変化度合いが一定量よりも大きい場合に分類基準を更新してもよい。
【００３７】
なお、本実施例においても（実施の形態１）にように１５の画像構成部を追加により、図５のように人間が識別できる画像として表示できる。特に本実施例においては、各フレーム毎に、図５のような画像を作成して、動画として表示できる。
【００３８】
（実施の形態３）
図８は、対象物抽出装置のシステム構成図を示し、図１と同一部分は同一番号を付して説明する。図８において１１は撮像部、１２は特徴量算出部、１３は分類基準決定部、１４は分類部、７１は分類基準更新判定部、８１は背景画像作成部、８２は背景特徴量算出部、８３は背景画像分類部、８４は一致判定部である。
【００３９】
以上のように構成された対象物抽出装置において、以下、その動作を述べる。
【００４０】
本対象物抽出装置は、（実施の形態２）の領域分割装置の構成に、特徴量空間での背景差分に関する背景画像作成部（８１）、背景特徴量算出部（８２）、背景画像分類部（８３）、一致判定部（８４）を加えたことにより、従来の赤外線画像や可視画像の輝度値の背景差分ではなく、多次元特徴量空間における分類番号で背景差分を行う。これにより、背景とは異なった領域が抽出され、対象物が抽出できる。
【００４１】
１１から１４および７１は、（実施の形態１）および（実施の形態２）と同じ動作を行う。
【００４２】
８１は背景画像作成部である。ここでは、赤外画像と可視画像それぞれの背景画像を作成する。毎フレームごとに取得される赤外画像と可視画像を使用して、背景画像は更新される。
【００４３】
８２は背景特徴量算出部である。赤外画像と可視画像それぞれの背景画像に対して、特徴量を計算する。処理内容は入力画像が異なること以外は１２の特徴量算出部と同じであり、１２の特徴量算出部が背景画像の入力を受けて背景画像の特徴量を算出することで、８２の背景特徴量算出部の省略も可能である。
【００４４】
８３は背景画像分類部である。８２で算出された背景画像の特徴量空間を１３の分類基準決定部で決定された分類基準に従って分類を行う。処理は特徴量空間が異なること以外は１４の分類部と同じであり、１４の分類部が背景画像の特徴量の入力を受けて背景画像の分類を行うことで、８３の背景画像分類部の省略も可能である。
【００４５】
８４は、一致判定部である。１４の分類部により分類された現フレーム画像の分類結果と８３の背景画像分類部により分類された背景画像の分類結果を各画素ごとに比較を行い、分類番号が同じ画素は背景と同じと判定され、分類番号が違う画素は変化画素と判定される。この判定を全画素について行った後、変化画素の連結面積が一定量以上である場合に対象物であると判定される。
【００４６】
図９に、本対象物抽出装置によって決定された分類基準（クラスタ中心位置）の時間による変化を示す。中心付近の領域が１４：３０におけるクラスタ中心位置（９１）、左下付近の領域が１７：３０におけるクラスタ中心位置（９２）である。時間変化によって、特徴量である赤外の輝度値および、可視の平均輝度値は低くなっているが、クラスタ中心が、特徴量空間内の特徴量の分布に応じて移動することで、分類基準も変化している。このため、分類部によって時間帯の変化による輝度値の変化が起きても、決められた数のクラスタが構成される。
【００４７】
このように、特徴量空間のクラスタリング結果に基づく背景更新を行うことで、対象物の抽出を行える。また、各クラスタに関して最も近い他のクラスタ中心との距離が、一般的な背景差分における閾値と同様の意味を持つ。このクラスタ中心は図９で示したように照明条件の変化に伴う画像の分布の変化に応じて移動する。このためクラスタ中心間の距離も変化することで適切な差分の閾値を与えることと同様の効果が得られ、本対象物抽出装置によれば閾値設定を不要にできる。
【００４８】
なお、本実施例において、８３の背景画像分類部は毎フレーム毎に計算されるが、毎フレーム毎の背景の変化は小さいことから、７１の分類基準更新判定部の分類基準の更新の判定と同様の判定が使用可能である。これにより、分類基準決定部によって分類基準が更新された場合にのみ、背景画像分類部の背景画像の分類計算を行う処理も有効である。
【００４９】
なお、本実施例において、８４の一致判定部において対象物領域として出力される面積の和が一定以上の場合に７１の分類基準更新判定部で更新が必要と判定することにより、分類基準が画像の変化に追従できずに大きな面積が対象物として出力された場合に、分類基準を更新して現フレームの特徴量分布に適したものにできる。
【００５０】
また、上記実施の形態１〜３において、各手続きの全部または一部の手続きをコンピュータに実行させるためのプログラムを記録した媒体を用いる、あるいは通信路または放送を通じてプログラムをダウンロードして実行することにより、上記の場合と同様の効果を実現することが可能である。
【００５１】
また、上記実施の形態の実現手段としてはハードウェアを用いて実現してもよいし、あるいはコンピュータ上のソフトウェアを用いて実現してもよい。
【００５２】
【発明の効果】
以上のように本発明によれば、赤外画像および可視画像から算出した特徴量を一つの特徴量空間で扱うことにより、２つの画像を別々に閾値処理せずにクラスタ番号を指定することで領域を切出すことができる。
【００５３】
また、時間的に連続して稼動する領域分割装置に関しても、同様に閾値を設定せずに領域分割が行え、分類基準の更新の判定を行うことにより、計算量を削減できる。
【００５４】
また、対象物抽出装置を構成するために特徴量空間のクラスタリング結果の背景差分を行うことにより、撮影範囲の照明環境や温度環境が大きく変動し赤外画像および可視画像の輝度値が大きく変動した場合にも、特徴量空間の中ではクラスタ中心が移動し、適切な領域分割が行える。この結果、従来法のように画像変動に対して閾値を設定し直すことなく、対象物の抽出が行え物体の過剰検出や未検出を減らすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による単一フレームの領域分割装置のシステム構成図
【図２】本発明の実施の形態１による遠赤外画像と可視画像の例を示す図
【図３】本発明の実施の形態１による全ての画素の特徴量を２次元特徴量空間にプロットした図
【図４】本発明の実施の形態１による初期クラスタ中心位置と計算後のクラスタ中心位置を示す図
（ａ）初期クラスタ中心位置を示す図
（ｂ）計算後のクラスタ中心の位置を示す図
【図５】本発明の実施の形態１による各画素の分類番号に輝度値を与えた画像を示す図
【図６】本発明の実施の形態１による特定のクラスタに属する画素のみを抽出した画像を示す図
【図７】本発明の実施の形態２による連続した複数フレームの画像に対する領域分割装置のシステム構成図
【図８】本発明の実施の形態３による対象物抽出装置のシステム構成図
【図９】本発明の実施の形態３による時間帯の変化に伴うクラスタ中心位置の変化を示す図
【図１０】特許番号第２８５０８９０号に記載されている、複合センサ型車両感知器の構成を示すブロック図
【図１１】特許番号第２８５０８９０号に記載されている、複合センサ型車両感知器のメインフローチャート
【符号の説明】
１１  撮像部
１２  特徴量算出部
１３  分類基準決定部
１４  分類部
２１  可視画像
２２  遠赤外画像
７１  分類基準更新判定部
８１  背景画像作成部
８２  背景特徴量算出部
８３  背景画像分類部
８４  一致判定部
９１  １４：３０におけるクラスタ中心の分布
９２  １７：３０におけるクラスタ中心の分布
１１０  撮像部
１１１  可視ＣＣＤカメラ
１１２  赤外線域撮像カメラ
１２０  環境計測部
１２１  照度計
１２２  温度計
１３０  信号処理部
１３１，１３３  ビデオＡ／Ｄ変換器
１３２，１３４  フレームメモリ
１３５  ディジタルシグナルプロセッサ（ＤＳＰ）
１３６  ＣＰＵ
１３７  外部出力Ｉ／Ｆ
１３８，１３９  Ａ／Ｄ変換器
【図１】
0004140126.tif 000002
【図２】
0004140126.tif 000003
【図３】
0004140126.tif 000004
【図４】
0004140126.tif 000005
【図５】
0004140126.tif 000006
【図６】
0004140126.tif 000007
【図７】
0004140126.tif 000008
【図８】
0004140126.tif 000009
【図９】
0004140126.tif 000010
【図１０】
0004140126.tif 000011
【図１１】
0004140126.tif 000012