(57)【要約】【課題】カメラ画像から移動体を検出する移動体検出装置に係り、カメラが移動する条件でも、移動体を検出することを課題とする。【解決手段】輝度変換部２１は、略平行な光学軸で左右に配置した２つのカメラで撮影した左右のカラー画像を、左右の輝度画像に変換し、２画像整合部２２は、左右の輝度画像を整合させ、差分処理して、２カメラ整合差分画像を得る。フレーム間差分算出部２３は、連続するフレームの２カメラ整合差分画像を差分処理して、フレーム間差分画像を得る。移動体検出部２６は、フレーム間差分画像に基づいて、移動体の領域を検出する。【選択図】        図２
2004334462.tif 000002
【特許請求の範囲】
【請求項１】
以下の要素を有することを特徴とする移動体検出装置
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る２画像整合部
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得るフレーム間差分算出部
（３）フレーム間差分画像に基づいて、移動体の領域を検出する移動体検出部。
【請求項２】
前記左右の画像は、左右の輝度画像であることを特徴とする請求項１記載の移動体検出装置。
【請求項３】
前記二つのフレームは、連続する二つのフレームであることを特徴とする請求項１記載の移動体検出装置。
【請求項４】
移動体検出部は、フレーム間差分画像の強度の分布に基づいて、移動体の領域を検出することを特徴とする請求項１記載の移動体検出装置。
【請求項５】
移動体検出部は、フレーム間差分画像をセルに分割し、移動体の領域を含む移動体セルを検出することを特徴とする請求項１に記載の移動体検出装置。
【請求項６】
移動体検出部は、セル内の差分画像の強度が大きいセルの数が少ない場合に、当該強度が大きいセルを移動体セルと判断することを特徴とする請求項５に記載の移動体検出装置。
【請求項７】
移動体検出部は、セル内の差分画像の平均強度がセル内差分強度閾値を越えるセルの数が、セル数閾値より小さい場合に、当該平均強度がセル内差分強度閾値を越えるセルを移動体セルと判断することを特徴とする請求項６に記載の移動体検出装置。
【請求項８】
移動体検出部は、連続するフレームで、連続して検出されることを条件に移動体の領域を検出することを特徴とする請求項１記載の移動体検出装置。
【請求項９】
以下の要素を有することを特徴とする移動体検出方法
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る工程
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得る工程
（３）フレーム間差分画像に基づいて、移動体の領域を検出する工程。
【請求項１０】
移動体検出装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る処理
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得る処理
（３）フレーム間差分画像に基づいて、移動体の領域を検出する処理。
【請求項１１】
移動体検出装置となるコンピュータに、以下の手順を実行させるためのプログラム
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る手順
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得る手順
（３）フレーム間差分画像に基づいて、移動体の領域を検出する手順。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ画像から移動体を検出する移動体検出装置に係り、カメラが移動する条件でも、移動体を検出できる移動体検出装置に関する。
【０００２】
【従来の技術】
人間や肉食動物は、２眼が近接し、その光学軸はほぼ平行である。そして、両眼の視差により距離の推定を行うことができるが、移動物体の認識や残像効果は、このような目の働きとして重要な役割を果たしているものと考えられる。
【０００３】
本発明は、移動物体の認識や残像効果を意識し、カメラからの画像を用いて移動体の検出や追跡を行う装置に関する。図２１は、応用例として人型ロボットの外観例を示す図である。
【０００４】
従来技術として、１眼カメラによる移動物体の検出・識別には、背景差分、フレーム間差分やオプティカル・フローが使用されてきた。しかし、背景差分では静止背景画面を更新する必要があり、また、フレーム間差分では静止物体を本質的に検出しなとい問題点がある。
【０００５】
２眼や多眼カメラによる物体検出は、従来からステレオ視として多くの研究がなされ、照明や影に影響されず、静止物体を検出し、物体３Ｄ復元が可能である点で優れている。
図２２は、視差Ｄｘ算出するための位置関係を示す図である。カメラ座標をＬ（Ｘｏ＋ｔ／２，０，０）、Ｒ（Ｘｏ−ｔ／２，０，０）、カメラ焦点距離をｆとし、目標座標を（Ｘｐ，０，Ｚｐ）とすると、２カメラ配置での視差Ｄｘは、３角形の相似関係から、Ｘｒ／ｆ＝（Ｘｏ＋ｔ−Ｘｐ／２）／Ｚｐ，Ｘｌ／ｆ＝（Ｘｏ−ｔ／２−Ｘｐ）／Ｚｐが得られる。２式からＸｏを消去するとＤｘ＝Ｘｒ−Ｘｌ＝（ｔｆ）／Ｚｐとなる。従って、カメラ配置とカメラ特性から、ｔとｆは既知であるから、Ｄｘを何らかの手段で知ることで、目標までの距離Ｚｐが得られる。
【０００６】
特開平５−２３１８２２号公報で提案されている様な視差から目標距離を求める従来の方式では、Ｄｘを得る為に２カメラ画像での目標の対応関係を知るために目標の大まかな位置に整合用の子窓枠を設定し、２カメラ画像において目標の特徴となる基準位置をスライド整合によって一致させることによって整合量を求め、Ｄｘを得ていた。
また、特開平７−２５３３１０号公報では、クラスタリング方式で視差をゼロにする整合を行いＤｘを得て、目標距離Ｚｘを得ている。
【０００７】
しかし、２台のカメラを搭載する物体が自由に動いている場合には、周囲の景色が変化すると共に、目標とする物体の相対距離Ｚｐも変化するため、２台のカメラの画像をあるフレームで、目標距離Ｚｐで整合させて２カメラ差分処理した視差は、次のフレームでは変化する。
また、整合させる画像枠の中の画像も刻々変化するため子窓枠位置設定では、目標の基準位置が子窓枠を超えることが発生し、また、目標の特徴寸法も変化する為、スライド整合では対応が難しい場面が多くなる問題がある。
また、クラスタリング方式では、対象に対する標本ベクトルが予め用意しておく必要があるが、任意の対象が撮像される場合には、それらに対応する標本ベクトルが準備されておらず、標本ベクトルとクラスターの対応付けができない。
【０００８】
カメラ移動がある場合は、異なる視点からの画像間の特徴点追跡法が開発され、移動体の特徴点分離も開発されてきた。例えば、特開平８−２４９４７１号公報である。
しかし、特徴点追跡法では、剛体以外の形状が柔軟に変化する移動体について、特徴点の抽出が困難であり、画像間での全体的な対応付けが難しいという問題が生じる。また、予め目標の色を指定しなければならなかった。
【０００９】
【特許文献１】
特開平５−２３１８２２号公報
【特許文献２】
特開平７−２５３３１０号公報
【特許文献３】
特開平８−２４９４７１号公報
【００１０】
【発明が解決しようとする課題】
移動体の検出に関する従来技術は、カメラが固定されている条件で移動体を検出したが、本発明は、その欠点を除くためになされたものであって、その目的とするところは、カメラが移動する条件でも、移動体の検出を可能とすることが課題である。
【００１１】
【課題を解決するための手段】
本発明に係る移動体検出装置は、
以下の要素を有することを特徴とする
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る２画像整合部
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得るフレーム間差分算出部
（３）フレーム間差分画像に基づいて、移動体の領域を検出する移動体検出部。
【００１２】
前記左右の画像は、左右の輝度画像であることを特徴とする。
【００１３】
前記二つのフレームは、連続する二つのフレームであることを特徴とする。
【００１４】
移動体検出部は、フレーム間差分画像の強度の分布に基づいて、移動体の領域を検出することを特徴とする。
【００１５】
移動体検出部は、フレーム間差分画像をセルに分割し、移動体の領域を含む移動体セルを検出することを特徴とする。
【００１６】
移動体検出部は、セル内の差分画像の強度が大きいセルの数が少ない場合に、当該強度が大きいセルを移動体セルと判断することを特徴とする。
【００１７】
移動体検出部は、セル内の差分画像の平均強度がセル内差分強度閾値を越えるセルの数が、セル数閾値より小さい場合に、当該平均強度がセル内差分強度閾値を越えるセルを移動体セルと判断することを特徴とする。
【００１８】
移動体検出部は、連続するフレームで、連続して検出されることを条件に移動体の領域を検出することを特徴とする。
【００１９】
本発明に係る移動体検出方法は、
以下の要素を有することを特徴とする
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る工程
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得る工程
（３）フレーム間差分画像に基づいて、移動体の領域を検出する工程。
【００２０】
本発明に係るプログラムを記録したコンピュータ読み取り可能な記録媒体は、移動体検出装置となるコンピュータに、以下の処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る処理
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得る処理
（３）フレーム間差分画像に基づいて、移動体の領域を検出する処理。
【００２１】
本発明に係るプログラムは、
移動体検出装置となるコンピュータに、以下の手順を実行させるためのプログラムであることを特徴とする
（１）平行又は略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得る手順
（２）二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を得る手順
（３）フレーム間差分画像に基づいて、移動体の領域を検出する手順。
【００２２】
【発明の実施の形態】
実施の形態１．
以下本発明を図面に示す実施例に基づいて説明する。図１は、左右カメラを用いた画像処理装置の概略を示す図である。
本発明に係る画像処理装置は、左右カメラ１、移動体検出装置２、目標追跡装置３、及び表示手段４を有している。左右カメラ１は、ほぼ平行な光学軸で、近接（１０ｃｍ程度）位置に設置されている。移動体検出装置２は、左右のカメラカラー画像を入力し、移動体を検出するように構成されている。目標追跡装置３は、検出された移動体を目標として追跡するように構成されている。表示手段４は、例えば無線媒体によるインターフェースを介して、画像や移動体の位置を表示するように構成されている。
【００２３】
まず、移動体検出装置２と目標追跡装置３の構成について説明する。図２は、移動体検出装置２の構成を示す図である。移動体検出装置２は、輝度変換部２１、２画像整合部２２、フレーム間差分算出部２３、及び移動体検出部２６（差分強度分布判定部２４と連続フレーム検定部２５）を備えている。
２画像整合部２２は、略平行な光学軸で左右に配置した２つのカメラで撮影した左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像Ｄを得るように構成されている。フレーム間差分算出部２３は、二つのフレームについての２カメラ整合差分画像Ｄを差分処理して、フレーム間差分画像ＦＤを得るように構成されている。移動体検出部２６は、フレーム間差分画像ＦＤに基づいて、移動体の領域を検出するように構成されている。
【００２４】
図３は、目標追跡装置３の構成を示す図である。目標追跡装置３は、表示インターフェース・データ処理部３１、特徴点算出部３２、色特性算出部３３、及び同一性検定部３４を備えている。
表示インターフェース・データ処理部３１は、連続するフレーム毎に、カラー画像を入力するほか、表示インタフェースを制御し、各パラメータを記憶するように構成されている。特徴点算出部３２は、移動体セル番号とフレーム間差分画像ＦＤ（カラー画像中の移動体の領域を特定する情報の例）を入力し、これらに基づいて、移動体の特徴点（例えば、重心や頂点）を判定するように構成されている。色特性算出部３３は、特徴点の色特性（例えば、色比率ヒストグラム）を算出し、目標追跡データとして記憶するように構成されている。同一性検定部３４は、目標追跡データを記憶した以降の後続フレームについて、カラー画像の部分（例えば、重心の小窓、頂点の小窓、サーチ対象の枠内の小窓群）の色特性を算出し、目標追跡データと比較することにより、当該部分が前記移動体と同一のものの位置か否かを判定するように構成されている。
【００２５】
次に、移動体検出の処理（大域的検出処理）について説明する。輝度変換部２１は、順次左右カメラカラー画像を入力し、左右の輝度画像に変換する。図４は、左カメラ画像の例を示す図であり、図５は、右カメラ画像の例を示す図である。便宜的に白黒で示しているが、実際は、カラー画像である。
【００２６】
２画像整合部２２は、左右の輝度画像の中にある遠方四角形領域Ａに対して、輝度画像のスライディング整合処理を行い、最小の差分強度分布になるようにする。最小視差ＤＡの整合状態に調整し、この時のスライド量を固定値の初期設定整合値として保存する。そして、２画像整合部２２は、各フレームについて、初期整合設定値（スライド量）を用いた修正により得られる２カメラ整合差分画像（差分画像Ｄ）を生成する。図６は、２カメラ整合差分画像Ｄの例を示す図である。
【００２７】
６０１は、遠方四角形領域Ａの例である。遠方四角形領域Ａは、画面内の最遠方領域に初期設定される。その結果、遠方四角形領域Ａよりも近距離にある領域に関し、２カメラ画像の視差は、最小視差ＤＡよりも大きな視差値になる。以下、この大きな視差を積極的に利用して検出処理を行う。
【００２８】
フレーム間差分算出部２３は、各フレーム毎に生成される２カメラ整合差分画像Ｄに関し、その前のフレームで生成された２カメラ整合差分画像Ｄとの差分画像を生成する。つまり、２カメラ整合差分画像Ｄについてのフレーム間の差分画像を生成する。これを、フレーム間差分画像ＦＤと呼ぶ。図７は、フレーム間差分画像ＦＤの例を示す図である。
【００２９】
カメラ移動が緩やかな場合には、フレーム間差分画像ＦＤは、視差を解消した固定幅のエッジ画像となり、差分強度分布は小さなものとなる。一方、カメラ移動が大きい場合には、画面全体にカメラ移動による視差が現れる為、フレーム間差分画像ＦＤは、エッジが画面全体に広がった画像となる。このようなカメラが動いている時とカメラが静止している時のフレーム間差分強度分布の違いを、カメラと相対的な動きをする移動体の検出に利用する。
【００３０】
図８と図９は、カメラが大きく移動した際の２カメラ整合差分画像Ｄとフレーム間差分画像ＦＤの例を示している。図１０と図１１は、カメラの移動が小さいときの２カメラ整合差分画像Ｄとフレーム間差分画像ＦＤの例を示している。
図１２、図１３、図１４は、それぞれ図７、図９、図１１のフレームに関する平均差分強度分布を示す図である。つまり、図１３は、カメラが大きく移動した際の平均差分強度分布を示し、図１４は、カメラの移動が小さいときの平均差分強度分布を示している。
これらの図については、後に詳述する。
【００３１】
差分強度分布判定部２４は、差分強度の分布を判定し、移動体候補のセルを抽出する処理を行う。その為に、まずフレーム間差分画面ＦＤを大域的に分割する。具体的には、ｍ×ｎの画面セルに分割する。そして、分割した画面セル内の平均強度Ｉを求める。
【００３２】
次に、予め設定されているセル内差分強度閾値Ｉｃｅｌｌ、セル数閾値Ｎｃｅｌｌを、表示インターフェース・データ処理部３１のパラメータ記憶領域から読み込む。そして、各画面セル毎に、その平均強度Ｉがセル内差分強度閾値Ｉｃｅｌｌを超えるか否か判定し、超えたセルをカウントし、高強度セル数Ｎを算出する。
【００３３】
更に、高強度セル数Ｎとセル数閾値Ｎｃｅｌｌを比較する。この比較結果を、移動体候補検出の判定条件とする。
Ｎ≧Ｎｃｅｌｌの場合には、カメラの移動が大きいと想定されるので、移動体の検出を見送る。
０＜Ｎ＜Ｎｃｅｌｌの場合は、一部の画面セルにのみ強度分布の変化が現れていることを意味し、カメラの移動が小さく、移動体が画面内に存在すると想定される。従って、これらの高強度の画面セルを移動体候補として登録する。具体的には、当該セル番号を、移動体候補セル番号として一時的に記憶する。
【００３４】
連続フレーム検定部２５は、移動体の検出の連続性を検定し、連続して検出された場合に、移動体と判定する処理を行う。連続フレーム検定部２５は、その為、まず予め設定されているフレーム間連続検出回数の閾値Ｄｔｈを、表示インターフェース・データ処理部３１のパラメータ記憶領域から読み込む。更に、各フレームの処理で、移動体候補セル番号が繰り返し検出されている回数をカウントする。このようにして得られるフレーム間での移動体候補連続検出回数Ｄの検定処理を行う。
Ｄ≧Ｄｔｈ、つまり連続検出の回数が閾値に至った場合には、移動体候補セルを移動体セルとして登録する。具体的には、当該移動体候補セル番号を、移動体セル番号として記憶する。
Ｄ＜Ｄｔｈ、つまり連続検出の回数が閾値に至らなかった場合には、画像のゆらぎの影響等による差分強度の変化であって、移動体による差分強度の変化ではないと想定されるので、移動体候補登録を抹消する。つまり、当該移動体候補セル番号は、移動体セル番号としない。
例えば、Ｄｔｈ＝５の場合には、５回の検出処理に対して、５回共に検出されなければ、移動体候補セルは条件を満たさないので、その移動体候補セルの登録を抹消する。移動体検出処理のフレーム毎の出力は、移動体セル番号Ｄｔと差分強度Ｉｔである。
【００３５】
この移動体検出処理は、連続するフレーム数であるフレーム間連続検出回数Ｄｔｈにより特定される期間を条件として判定しているが、その期間が人の目の残像時間（３０ｍｓｅｃ程度）に相当するフレーム間隔で判定することが最適である。
【００３６】
次に、目標追跡の処理について説明する。特徴点算出部３２は、移動体検出処理で生成した各フレームのフレーム間差分画像ＦＤについて、移動体セルとその近傍のセルを含むセル枠（窓枠）を設定し、そのセル枠の中で、差分強度に関するＢｌｏｂ（画素）重心座標の計算を行う。これにより、移動体の重心位置を得ることができる。尚、近傍のセルも含めるのは、近傍のセルに跨って移動体が存在する場合にも、正確な重心位置を得るためである。
【００３７】
特徴点算出部３２は、更に、重心位置を基準として、頭部座標（頂点座標）を計算する。頂点位置、つまり移動体と想定される領域の中で最も高い位置の座標を求め、頭部座標とする。
【００３８】
色特性算出部３３は、Ｂｌｏｂ重心位置を基準（例えば、中心）として重心の小窓を設定して、その重心の小窓の色比率ヒストグラム計算処理を行う。また、頭部座標を基準（例えば、中心）として、頭部の小窓を設定して、その頭部の小窓の色比率ヒストグラム計算を行う。
【００３９】
そして、色特性算出部３３は、重心位置の座標データと色比率ヒストグラムデータ、及び頭部位置の座標データと色比率ヒストグラムデータは、追跡目標を特定する目標追跡データとして記憶する。
【００４０】
同一性検定部３４は、フレーム間の異なる移動体セル間で、セル位置近傍相関処理と色類似性相関処理を行って追跡目標の同一性を検証する。セル位置近傍相関処理は、セルの位置が近い場合に、同一性を肯定し、色類似性相関処理は、色比率ヒストグラム計算処理により得られる色比率ヒストグラムデータが近似する場合に、同一性を肯定する。このとき、先のフレームにおけるセル位置と色比率ヒストグラムデータとして、記憶している目標追跡データを用いる。
両相関処理の結果が共に同一性を肯定した場合に、追跡目標が一致すると判定する。
【００４１】
追跡目標として一致しない場合には、新規の目標追跡データとして、上記と同じ処理により初期設定値に記憶する。このように、目標追跡データが初期設定値として記憶されている状態を、目標追跡データが確立しているという。
【００４２】
目標追跡データが確立している追跡目標については、移動体検出処理でセル検出が無い場合でも、そのフレームに対して、予測目標位置を算出して、目標存在推定窓枠を設定し、その局所的な範囲内で、重心色類似性相関サーチ処理、頭部色類似性相関サーチ処理、及び局所的な特徴点対応処理から目標位置を算出し、目標追跡座標データとして更新する。
つまり、移動体が静止している場合には、移動体の位置が差分強度として検出されないので、目標追跡データとして記憶している重心の色比率ヒストグラムデータに近似する色比率ヒストグラムデータを有する領域を、当該フレームから抽出し、その領域を移動体の位置として処理する。
【００４３】
次に、色類似性相関処理について詳述する。色類似性相関については、例えば、以下の２通りの方式が考えられる。ＣＨＩ（Ｃｏｌｏｒ  ＨｉｓｔｏｇｒａｍＩｎｔｅｒｓｅｃｔｉｏｎ）による色類似性を用いた色類似性相関処理と、ＢＣ（Ｂｈａｔ−ｔａｃｈａｒｙｙａ）係数による色類似性を用いた色類似性相関処理である。
【００４４】
まず、ＣＨＩによる色類似性について説明する。ＣＨＩによる２つの密度分布ＰｕとＱｕの間の色類似性は、次で定義される。
【数１】
2004334462.tif 000003
【００４５】
ＣＨＩによる色類似性により相関処理を行う場合に、色特性算出部３３は、このＣＨＩ分布を、追跡枠内の重心を基準にした小窓内部で計算する。そして、色特性算出部３３は、追跡開始時点の色ヒストグラム分布をＱｕとして記憶する。同一性検定部３４は、以降のフレームでの小窓内部の色ヒストグラム分布をＰｕ（ｙ）として、ＱｕとＰｕの間の色類似性を検定する。色は、比率カラー（ｒ，ｇ，ｂ）とＢｉｎサイズ１６を用いて計算する。頭部の小窓に対しても同様に処理する。
【００４６】
次に、ＢＣによる色類似性について説明する。色類似性の尺度は、色密度分布に基づいている。目標の基準色を表現する特性ｚが一つの密度関数ｑｚを持つとし、一方、新たなフレームで位置ｘに中心を持つ目標候補が密度ｐｚ（ｘ）に従って分布した特性を持つと仮定する。そのとき、色類似検索の課題は、新たなフレーム画像内で、密度ｐｚ（ｘ）が基準目標密度ｑｚに最も近いような座標位置ｘを発見することである。そのため、同一性検定部３４は、Ｂ係数に従って２つの密度間の類似性分布を計算する。その一般的な形式は以下で定義される。
【数２】
2004334462.tif 000004
【００４７】
上述の類似性尺度式は、任意の密度に対して正しく、目標のスケールに対して不変である。サンプルデータから上式を計算する為に、密度ｐとｑの計算では、カラーヒストグラムから導いた簡易密度を次の様に定義する。
（ａ）基準目標の離散色密度Ｑ＝Ｑｕ（ｕ＝１，…，ｍ）（正規化条件付）は、目標の追跡開始時点での重心の小窓から得られる基準ｍ−ｂｉｎ比率カラーヒストグラムとする。
（ｂ）新ビデオフレームでの目標候補の色密度Ｐ（ｘ）＝（Ｐｕ（ｘ））（ｕ＝１，…，ｍ）（正規化条件付き）は、追跡ｇｒｏｕｐｉｎｇ  ｂｏｘ内で頭部座標と重心座標とから得られる小窓の中でｍ−ｂｉｎ比率カラーヒストグラムを計算して得られる。
【００４８】
Ｂ係数分布のサンプル値計算は、次式で得られる。
【数３】
2004334462.tif 000005
ＰとＱは、共にＲＧＢの３次元データである。この式の幾何学的な意味は、ｍ次元（色量子化のビン数）、単位ベクトル間の角度のコサインである。Ｂ係数ρは、次式でＢｈａｔｔａｃｈａｒｙａ距離ＲＢと関係付けられる。
ρ（ｘ）＝ｅｘｐ（−ＲＢ（ｘ））
【００４９】
２つの分布の非類似性距離ＲＢを最小にすることは、Ｂ計数ρを最大化することである。つまり、２つの分布の最大類似性は、Ｂ計数ρを最大化する座標位置を窓枠内でサーチして求める。頭部の小窓に対しても同様に処理する。
【００５０】
最後に、実験の結果について補足説明する。
まず、移動２眼カメラによる移動体検出処理の実験について説明する。前述の図４と図５のカメラ画像は、簡易型２眼Ｗｅｂカメラによる映像である。２つのカメラを１０ｃｍの間隔で設置し、ほぼ平行に光学軸を向け、カメラ校正無しで撮影している。
【００５１】
図６の２カメラ整合差分画像Ｄは、図４の左カメラ画像と図５の右カメラ画像に対して、事務所奥のキャビネット部分を写した画像内上方中央の遠方四角形領域Ａ６０１について、差分Ｇｒａｙ（輝度）画像の強度和が最小になるように、ピクセル単位でマッチングをとった後の２眼差分Ｇｒａｙ（輝度）画像である。従って、遠方四角形領域Ａの視差が最小になっている。遠方四角形領域Ａより手前にある物体は、視差として物体エッジが広がっている。
【００５２】
図７は、図６の２カメラ整合差分画像Ｄと次フレーム画像の差分画像とのフレーム間差分画像ＦＤである。このフレーム間で、２眼カメラはほとんど動いていない。従って、静止カメラでの背景差分と同じ効果で強度がほぼ消え、２眼による物体エッジもほぼ一定の幅である。
【００５３】
図８は、２眼カメラが大きく動いている場合に、遠方四角形領域Ａで強度マッチさせた２カメラ整合差分画像Ｄである。図９は、図８の差分画像Ｄと次フレーム画像の差分画像とのフレーム間差分画像ＦＤである。図９の画像では、カメラ移動量に伴う物体エッジの広がりが存在する。これは、図７の物体エッジのオプティカルフローによる移動時間差拡がりと見ることもできる。
【００５４】
図１０と図１１は、移動体が登場した場合の２カメラ整合差分画像Ｄとフレーム間差分画像ＦＤの例を示している。２眼カメラが大きく動いていない場合には、画面分割による強度閾値処理によって移動体の検出が可能である。
【００５５】
図１２から図１４は、フレーム間差分画像ＦＤにおいて、Ｘ軸方向に８分割し、Ｙ軸方向に８分割し、合計６４に分割した場合の分割窓（画像セル）内の平均差分強度分布を示している。図１２は、図７に対応し、図１３は、図９に対応し、図１４は、図１１に対応している。図中、縦軸は、分割セルの平均差分強度値（０〜６０）を示し、横軸は、画像分割番号（Ｘ軸方向：１〜８，Ｙ軸方向：１〜８）を示している。
【００５６】
図１２では、全てのセルで平均強度が４０以下である。これに対して、図１３では、多くのセルの平均強度が４０を超えている。ここでは、実験的に、セル内差分強度閾値Ｉｃｅｌｌ＝４０、セル数閾値Ｎｃｅｌｌ＝５に設定する。
【００５７】
図１３の例のように、５個以上のセルにＩｃｅｌｌを超えるものがある場合は、そのフレームでの移動体検出処理をパスする。
【００５８】
図１４の例では、セル座標（４，４）の位置にのみ平均強度が４０を超えるセルが存在する。このセル座標（４，４）を移動体候補セル番号として登録する。登録したセルは、フレーム間で近傍座標相関処理の上、連続する５フレームで検定処理（５ｏｕｔ  ｏｆ  ５）を実施して、移動体目標として登録される。
【００５９】
次に、動く２眼カメラによる移動体の追跡の実験結果について説明する。
移動体検出処理において検出した移動体に対して、追跡処理した右カメラの追跡画像の例を図１５から図１８に示す。それぞれ、図１５は、Ｎｏ２７フレーム、図１６は、Ｎｏ４１フレーム、図１７は、Ｎｏ１１０フレーム、図１８は、Ｎｏ２００フレームの追跡画像である。
【００６０】
図１５の例で、大きな枠１５０１は、追跡処理のＢｌｏｂ処理対象範囲を示し、小窓１５０２は、検出されたＢｌｏｂ重心位置を示す。この小窓に対して色比率ヒストグラムを算出する。追跡確立と共に基準の色比率ヒストグラムとして登録する。
【００６１】
図１６の例で、大きな枠１６０１と重心の小窓１６０２は、図１５と同じ意味であるが、この例では、重心の小窓１６０２の色比率ヒストグラムと基準色比率ヒストグラムとの色類似性検定に失敗した為、大きな枠１６０１内で色類似性サーチを実施している。その結果、色類似性検定に成功した位置を、色類似性重心位置として小窓１６０３に示している。
【００６２】
図１７は、移動体検出処理で移動体を検出していないが、既に追跡確立した目標が存在する場合の例を示している。大きな枠１７０１内で色類似性サーチを実施して、色類似性検定に成功した色類似性重心位置を小枠１７０３で示している。ここでは、局所的な特徴点１７０４（この例では、頭部）対応により前フレーム画像と現フレーム画像との間の座標対応量を求め、大きな枠１７０１を現フレーム画像でシフトさせた後に色類似性検定を行っている。
【００６３】
図１８の例は、目標が遮蔽されている為、色類似性だけでは目標捕捉継続が困難になり初めている状況を示している。
【００６４】
最後に、長いフレーム期間での追跡目標の軌跡について例を示して説明する。図１９は、ＣＨＩによる色類似性を用いた場合の軌跡の例を示す図である。図２０は、ＢＣによる色類似性を用いた場合の軌跡の例を示す図である。
図中、横軸は画像フレーム番号を示し、縦軸は画像Ｘ座標（ピクセル値）を示している。フレーム番号２０から、オフィス内歩行者が画面内左側から登場する。フレーム番号２１から、移動体検出処理が始まり、フレーム番号２６で、オフィス歩行者の追跡に入り、フレーム番号６０付近で、歩行者は座席に座りほぼ静止状態になる。
【００６５】
しかし、２眼カメラ本体が動いている為にＸ座標値が変化していることが見てとれる。図１９と図２０は、カメラの動きのままフレーム番号２００までその目標を追跡している状態の軌跡を示している。
【００６６】
色類似性相関尺度としては、ＣＨＩ方式、ＢＣ方式共にほぼ同等の識別性能であるが、いずれの方式も、類似色の局所的なピークの存在に引かれる場合があり、また、目標が遮蔽された場合の色類似相関処理の終了判定に難しい面を持っている。従って、特徴点対応との併用が有効である。
【００６７】
以上のように、本発明は、動く２眼カメラによる移動体の追跡（追尾）に対する新しい方式を提案するものである。２台のカメラを近接設置し、光学軸をほぼ平行固定した配置で、視差を利用した大域的検出処理とＢｌｏｂ重心処理、色類似性尺度処理とを併用し、カメラ移動がある場合にも、移動体追跡が可能となる。大域的検出は、差分強度の平均場検出と累積残像検出の２段階の検出からなる。
【００６８】
上述の例では、ロボットに搭載されることを想定して、移動体検出処理及び目標追跡処理について説明したが、自由に動くロボット以外の物体にも本発明を適用できるのことは、勿論である。
【００６９】
画像処理装置は、コンピュータにより構成可能であり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。
【００７０】
【発明の効果】
本発明は、左右の画像を、連続するフレーム毎に差分処理して、２カメラ整合差分画像を得て、さらに二つのフレームについての２カメラ整合差分画像を差分処理して、フレーム間差分画像を求め、このフレーム間差分画像に基づいて、移動体の領域を検出するので、カメラが移動する条件でも、移動体の検出を可能となる。
【図面の簡単な説明】
【図１】左右カメラを用いた画像処理装置の概略を示す図である。
【図２】移動体検出装置の構成を示す図である。
【図３】目標追跡装置の構成を示す図である。
【図４】左カメラ画像の例を示す図である。
【図５】右カメラ画像の例を示す図である。
【図６】２カメラ整合差分画像Ｄの例を示す図である。
【図７】フレーム間差分画像ＦＤの例を示す図である。
【図８】カメラが大きく移動した際の２カメラ整合差分画像Ｄの例を示す図である。
【図９】カメラが大きく移動した際のフレーム間差分画像ＦＤの例を示す図である。
【図１０】カメラの移動が小さいときの２カメラ整合差分画像Ｄを示す図である。
【図１１】カメラの移動が小さいときのフレーム間差分画像ＦＤを示す図である。
【図１２】図７のフレームに関する平均差分強度分布を示す図である。
【図１３】図９のフレームに関する平均差分強度分布を示す図である。
【図１４】図１１のフレームに関する平均差分強度分布を示す図である。
【図１５】追跡画像の例（Ｎｏ２７フレーム）を示す図である。
【図１６】追跡画像の例（Ｎｏ４１フレーム）を示す図である。
【図１７】追跡画像の例（Ｎｏ１１０フレーム）を示す図である。
【図１８】追跡画像の例（Ｎｏ２００フレーム）を示す図である。
【図１９】ＣＨＩによる色類似性を用いた場合の軌跡の例を示す図である。
【図２０】ＢＣによる色類似性を用いた場合の軌跡の例を示す図である。
【図２１】人型ロボットの外観例を示す図である。
【図２２】視差Ｄｘ算出するための位置関係を示す図である。
【符号の説明】
１  左右カメラ、２  移動体検出装置、３  目標追跡装置、４  表示手段、２１  輝度変換部、２２  ２画像整合部、２３  フレーム間差分算出部、２４  差分強度分布判定部、２５  連続フレーム検定部、２６  移動体検出部、３１  表示インターフェース・データ処理部、３２  特徴点算出部、３３  色特性算出部、３４  同一性検定部。
【図１】
2004334462.tif 000006
【図２】
2004334462.tif 000007
【図３】
2004334462.tif 000008
【図４】
2004334462.tif 000009
【図５】
2004334462.tif 000010
【図６】
2004334462.tif 000011
【図７】
2004334462.tif 000012
【図８】
2004334462.tif 000013
【図９】
2004334462.tif 000014
【図１０】
2004334462.tif 000015
【図１１】
2004334462.tif 000016
【図１２】
2004334462.tif 000017
【図１３】
2004334462.tif 000018
【図１４】
2004334462.tif 000019
【図１５】
2004334462.tif 000020
【図１６】
2004334462.tif 000021
【図１７】
2004334462.tif 000022
【図１８】
2004334462.tif 000023
【図１９】
2004334462.tif 000024
【図２０】
2004334462.tif 000025
【図２１】
2004334462.tif 000026
【図２２】
2004334462.tif 000027