(57)【要約】【課題】  背景の色が追跡対象と似てしまったり、照明の影響などがあったりする場合でも、追跡対象を確実に追跡することができる画像処理装置を提供する。【解決手段】  画像処理装置１は、エッジ情報検出部１１、輝度情報検出部１２、重み関数作成部１３、移動位置算出部１４、画像領域分割部１５、およびサイズ決定部１６を備えている。重み関数作成部１３は、エッジ情報検出１１から出力されるエッジ情報に基づいて重み関数を作成する。移動位置算出部１４は、エッジ情報検出部１１から出力されたエッジ情報および輝度情報検出部１２から出力された輝度情報に重み関数を用いて変換してヒストグラムを作成する。これらのエッジ情報および輝度情報のヒストグラムから検出対象領域の移動位置を算出する。【選択図】  図１
2005242703.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像された画像から検出対象領域のエッジ情報を検出するエッジ情報検出手段と、
前記撮像手段で撮像された画像から前記検出対象領域の輝度情報を検出する輝度情報検出手段と、
前記検出対象領域におけるエッジ情報の密度分布と輝度情報の密度分布とに基づいて、前記検出対象領域の移動位置を求める移動位置算出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記検出対象領域におけるエッジ情報の密度分布に基づいて重み関数を作成する重み関数作成手段を備え、
前記移動位置算出手段は、前記エッジ情報の密度分布および前記輝度情報の密度分布に、それぞれ前記重み関数を積算して得られる密度分布に基づいて、前記検出対象領域の移動位置を求める請求項１に記載の画像処理装置。
【請求項３】
前記検出対象領域を複数のブロックに分割する領域分割手段を備え、
前記移動位置算出手段は、前記複数のブロックごとに、前記エッジ情報と前記輝度情報との密度分布を求め、求めた密度分布に基づいて前記検出対象領域の移動位置を求める請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記検出対象領域を複数のブロックに分割する領域分割手段と、
前記移動位置算出手段で移動先が求められた前記検出対象領域の大きさを決めるサイズ決定手段と、を備え、
前記サイズ決定手段は、複数の候補サイズを用意し、各候補サイズについて、領域分割手段で分割されたブロックごとに、予め求められたテンプレートとの相関度を算出し、相関度が所定のしきい値以上となるブロックの数が多い候補サイズを前記検出対象領域の大きさとして決定する請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
【請求項５】
前記サイズ決定手段は、前記所定のしきい値となるブロックの数が同数となったときには、前記相関度の総和を比較して、相関度がもっとも高い候補サイズを前記検出対象領域の大きさとして決定する請求項４に記載の画像処理装置。
【請求項６】
前記サイズ決定手段は、前記検出対象領域の中央に配置される候補サイズの相関度を高く評価する請求項４または請求項５に記載の画像処理装置。
【請求項７】
撮像手段で撮像された画像から検出対象領域のエッジ情報を検出するエッジ情報検出工程と、
前記撮像手段で撮像された画像から前記検出対象領域の輝度情報を検出する輝度情報検出工程と、
前記検出対象領域におけるエッジ情報の密度分布と輝度情報の密度分布とに基づいて、前記検出対象領域の移動位置を求める移動位置算出工程と、
を含むことを特徴とする画像処理方法。
【請求項８】
前記検出対象領域におけるエッジ情報の密度分布に基づいて重み関数を作成する重み関数作成工程をさらに含み、
前記移動位置算出工程で、前記エッジ情報の密度分布および前記輝度情報の密度分布に、それぞれ前記重み関数を積算して得られる密度分布に基づいて、前記検出対象領域の移動位置を求める請求項７に記載の画像処理方法。
【請求項９】
前記検出対象領域を複数のブロックに分割する領域分割工程をさらに含み、
前記移動位置算出工程で、前記複数のブロックごとに、前記エッジ情報と前記輝度情報との密度分布を求め、求めた密度分布に基づいて前記検出対象領域の移動位置を求める請求項７または請求項８に記載の画像処理方法。
【請求項１０】
前記検出対象領域を複数のブロックに分割する領域分割工程と、
前記移動位置算出工程で移動先が求められた前記検出対象領域の大きさを決めるサイズ決定工程と、をさらに備え、
前記サイズ決定工程で、複数の候補サイズを用意し、各候補サイズについて、領域分割手段で分割されたブロックごとに、予め求められたテンプレートとの相関度を算出し、相関度が所定のしきい値以上となるブロックの数が多い候補サイズを前記検出対象領域の大きさとして決定する請求項７〜請求項９のうちのいずれか１項に記載の画像処理方法。
【請求項１１】
前記サイズ決定工程で、前記所定のしきい値となるブロックの数が同数となったときには、前記相関度の総和を比較して、相関度がもっとも高い候補サイズを前記検出対象領域の大きさとして決定する請求項１０に記載の画像処理方法。
【請求項１２】
前記サイズ決定工程で、前記検出対象領域の中央に配置される候補サイズの相関度を高く評価する請求項１０または請求項１１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に係るものであり、特に、動体の追跡を行うための画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像中における動体を追跡して検出する方法として、平均値シフト（Mean Shift）法というものがある。この平均値シフト法は、各データ値をデータの局所平均値だけずらせる反復法であり、平均値シフト法を用いた動体追跡を行うものとして、たとえば米国特許第６３６３１６０号明細書に開示されたものがある。この方法は、１つのカメラで追跡対象となる動体を撮像し、追跡対象の情報（特徴量）を用いて撮像画像を逐次更新しながら追跡対象を自動的に追跡するというものである。
【特許文献１】米国特許第６３６３１６０号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記特許文献１に開示された動体追跡において追跡対象の追跡を行う際には、特徴量として色情報や輝度値が用いられていた。このため、たとえば追跡対象の背景が追跡対象と似た色となった場合には、追跡対象が背景に同化してしまう。また、照明の影響で追跡対象の色が変化してしまった場合に、追跡対象の特徴量が変化してしまう。これらの場合には、その後の追跡ができなくなってしまうという問題があった。
【０００４】
そこで、本発明の課題は、背景の色が追跡対象と似てしまったり、照明の影響などがあったりする場合でも、追跡対象を確実に追跡することができる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決した本発明に係る画像処理装置は、撮像手段で撮像された画像から検出対象領域のエッジ情報を検出するエッジ情報検出手段と、撮像手段で撮像された画像から検出対象領域の輝度情報を検出する輝度情報検出手段と、検出対象領域におけるエッジ情報の密度分布と輝度情報の密度分布とに基づいて、検出対象領域の移動位置を求める移動位置算出手段と、を備えるものである。
【０００６】
本発明に係る画像処理装置においては、エッジ情報の密度分布と輝度情報の密度分布とに基づいて、検出対象領域の移動位置を求めている。このため、色の情報を用いることなく、検出対象領域の移動位置を求めることができるので、背景の色と追跡対象の色とが似ている場合や照明の影響がある場合でも、追跡対象を確実に追跡することができる。
【０００７】
ここで、検出対象領域におけるエッジ情報の密度分布に基づいて重み関数を作成する重み関数作成手段を備え、移動位置算出手段は、エッジ情報の密度分布および輝度情報の密度分布に、それぞれ重み関数を積算して得られる密度分布に基づいて、検出対象領域の移動位置を求める態様とすることができる。
【０００８】
本発明に係る画像処理装置においては、エッジ情報の密度分布に基づいて作成した重み関数をエッジ情報の密度分布および輝度情報の密度分布に積算した密度分布に基づいて移動位置を求めている。このため、検出対象領域の移動量を大きなものとすることができるので、計算量の削減に寄与することができる。
【０００９】
また、検出対象領域を複数のブロックに分割する領域分割手段を備え、移動位置算出手段は、複数のブロックごとに、エッジ情報と輝度情報との密度分布を求め、求めた密度分布に基づいて検出対象領域の移動位置を求める態様とすることもできる。
【００１０】
このように、検出対象領域を複数のブロックに分割して検出対象領域の移動位置を求めることにより、高い精度で検出対象領域の移動位置を求めることができる。
【００１１】
さらに、検出対象領域を複数のブロックに分割する領域分割手段と、移動位置算出手段で移動先が求められた検出対象領域の大きさを決めるサイズ決定手段と、を備え、サイズ決定手段は、複数の候補サイズを用意し、各候補サイズについて、領域分割手段で分割されたブロックごとに、予め求められたテンプレートとの相関度を算出し、相関度が所定のしきい値以上となるブロックの数が多い候補サイズを検出対象領域の大きさとして決定する態様とすることができる。
【００１２】
撮像手段に対する追跡対象の距離が変化すると、追跡対象の大きさが変化し、その変化に応じて検出対象領域の大きさを変えることになる。ここで、本発明では、検出対象領域の大きさを変えるにあたり、検出対象領域を複数のブロックに分割して、ブロックごとにテンプレートとの相関度を算出して、相関度が所定のしきい値以上となるブロックが多い大きさを移動後の検出対象領域の大きさとしている。このため、移動後の検出対象領域の大きさを、高い精度で決定することができる。
【００１３】
また、サイズ決定手段は、所定のしきい値となるブロックの数が同数となったときには、相関度の総和を比較して、相関度がもっとも高い候補サイズを検出対象領域の大きさとして決定する態様とすることもできる。
【００１４】
検出対象領域を複数のブロックに分割して、しきい値以上となるブロックの数が同数となったときには、移動後の検出対象領域の大きさを決定しかねる。この場合、本発明に係る画像処理装置では、相関度の総和を比較して、検出対象領域の大きさを設定するので、高い精度で移動後の検出対象領域の大きさを決定することができる。
【００１５】
さらには、サイズ決定手段は、検出対象領域の中央に配置される候補サイズの相関度を高く評価する態様とすることができる。
【００１６】
検出対象領域の中央位置は、相関度を算出する際に大きな影響を与える位置となる。このため、中央に配置される位置の相関度を高く評価することにより、さらに高い精度で移動後の検出対象領域の大きさを決定することができる。
【００１７】
また、上記課題を解決した本発明に係る画像処理方法は、撮像手段で撮像された画像から検出対象領域のエッジ情報を検出するエッジ情報検出工程と、撮像手段で撮像された画像から検出対象領域の輝度情報を検出する輝度情報検出工程と、検出対象領域におけるエッジ情報の密度分布と輝度情報の密度分布とに基づいて、検出対象領域の移動位置を求める移動位置算出工程と、を含むことを特徴とする。
【００１８】
ここで、検出対象領域におけるエッジ情報の密度分布に基づいて重み関数を作成する重み関数作成工程をさらに含み、移動位置算出工程で、エッジ情報の密度分布および輝度情報の密度分布に、それぞれ重み関数を積算して得られる密度分布に基づいて、検出対象領域の移動位置を求める態様とすることができる。
【００１９】
また、検出対象領域を複数のブロックに分割する領域分割工程をさらに含み、移動位置算出工程で、複数のブロックごとに、エッジ情報と輝度情報との密度分布を求め、求めた密度分布に基づいて検出対象領域の移動位置を求める態様とすることもできる。
【００２０】
さらに、検出対象領域を複数のブロックに分割する領域分割工程と、移動位置算出工程で移動先が求められた検出対象領域の大きさを決めるサイズ決定工程と、をさらに備え、サイズ決定工程で、複数の候補サイズを用意し、各候補サイズについて、領域分割手段で分割されたブロックごとに、予め求められたテンプレートとの相関度を算出し、相関度が所定のしきい値以上となるブロックの数が多い候補サイズを検出対象領域の大きさとして決定する態様とすることもできる。
【００２１】
また、サイズ決定工程で、所定のしきい値となるブロックの数が同数となったときには、相関度の総和を比較して、相関度がもっとも高い候補サイズを検出対象領域の大きさとして決定する態様とすることもできる。
【００２２】
そして、サイズ決定工程で、検出対象領域の中央に配置される候補サイズの相関度を高く評価する態様とすることもできる。
【発明の効果】
【００２３】
本発明に係る画像処理装置および画像処理方法によれば、背景の色が追跡対象と似てしまったり、照明の影響などがあったりする場合でも、追跡対象を確実に追跡することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る画像処理装置のブロック構成図である。
【００２５】
図１に示すように、本実施形態に係る画像処理装置１は、エッジ情報検出部１１、輝度情報検出部１２、重み関数作成部１３、移動位置算出部１４、画像領域分割部１５、およびサイズ決定部１６を備えている。また、画像処理装置１には、撮像手段であるカメラ２が接続されている。カメラ２は、追跡対象、たとえば人の顔を含む領域を含むデジタルな画像を撮像しており、撮像した画像に所定の処理を施した後、画像処理装置１におけるエッジ情報検出部１１および輝度情報検出部１２に出力している。本実施形態においては、追跡対象を含む領域が検出対象領域となる。
【００２６】
エッジ情報検出部１１では、カメラ２から出力された画像にエッジ処理を施すことにより、画像からエッジ情報を検出している。また、輝度情報検出部１２では、画像中における輝度を検出している。エッジ情報検出部で検出されたエッジ情報は、重み関数作成部および移動位置算出部１４に出力される。また、輝度情報検出部１２で検出されたエッジ情報は、移動位置算出部１４に出力される。
【００２７】
重み関数作成部１３は、エッジ情報検出部１１から出力されたエッジ情報に基づいて、検出対象領域の移動位置を求める際の重み関数を求めて、移動位置算出部１４に出力する。移動位置算出部１４には、予め検出対象領域のエッジヒストグラムおよび輝度ヒストグラムのテンプレートが記憶されている。移動位置算出部１４では、エッジ情報検出部１１から出力されたエッジ情報、輝度情報検出部１２から出力された輝度情報、および重み関数作成部１３から出力された重み関数に演算処理を施す。その結果と、予め記憶されたエッジヒストグラムおよび輝度ヒストグラムとを比較するなどして、検出対象領域の移動位置を算出する。
【００２８】
移動位置算出部１４は、算出した検出対象領域の移動位置を画像領域分割部１５に出力する。画像領域分割部１５では、移動位置算出部１４から出力された検出対象領域に相当する画像をたとえば９等分した状態に分割し、分割画像をサイズ決定部１６に出力する。サイズ決定部１６には、予め求められた検出対象領域のテンプレートを３×３の９つのブロックに等分割された画像が記憶されている。サイズ決定部１６では、分割画像に後に説明する処理を施すことにより、検出対象領域のサイズ（大きさ）を決定する。
【００２９】
以上の構成を有する本実施形態に係る画像処理装置における画像処理方法について説明する。図２は、本実施形態に係る画像処理方法の手順を示すフローチャートである。ここでは、画像処理方法の全体の流れについて先に説明し、続いて各処理の詳細について説明する。
【００３０】
カメラ２で撮像された画像は、画像処理装置１におけるエッジ情報検出部１１および輝度情報検出部１２に出力される。エッジ情報検出部１１では、カメラ２から出力された画像からエッジ情報を抽出する（Ｓ１）。また、輝度情報検出部１２では、カメラ２から出力された画像から輝度情報を抽出する（Ｓ１）。
【００３１】
エッジ情報検出部１１および輝度情報検出部１２において、それぞれエッジ情報および輝度情報を抽出したら、エッジ情報検出部１１および輝度情報検出部１２から、移動位置算出部１４に対してエッジ情報および輝度情報が出力される。また、エッジ情報検出部１１からは重み関数作成部１３に対してもエッジ情報が出力される。重み関数作成部１３では、検出対象領域の移動位置の推定を行う際に用いる重み関数を作成し、作成した重み関数を移動位置算出部１４に出力する。
【００３２】
移動位置算出部１４では、エッジ情報検出部１１および輝度情報検出部１２から出力されたエッジ情報および輝度情報を、重み関数作成部１３から出力された重み関数を用いて変換して（Ｓ２）、ヒストグラムを作成する。エッジ情報および輝度情報の変換については後に説明する。こうして、エッジ情報および輝度情報を変換したら、これらの情報に基づいて、平均値シフト法によって検出対象領域の移動位置の候補領域を算出する（Ｓ３）。そして、検出対象領域の重心位置の移動量を求め、重心位置の移動量が所定のしきい値Ｔｈ未満となっているか否かを判断する（Ｓ４）。
【００３３】
その結果、重心位置の移動量がしきい値Ｔｈ未満となっていない場合には、ステップＳ３に戻って次の候補領域を算出する。一方、重心位置の移動量がしきい値Ｔｈ未満となっている場合には、候補領域を検出対象領域の移動位置として決定し、検出対象領域のサイズ決定処理を行う（Ｓ５）。
【００３４】
検出対象領域のサイズを決定したら、検出対象領域を求められた候補領域に移動させ、求められた画像サイズに変換する（Ｓ６）。そして、処理を終了するか否かを判断し（Ｓ７）、終了しない場合には、ステップＳ１に戻って同様の処理を繰り返す。また、終了する場合には、そのまま終了する。
【００３５】
それでは、エッジ情報および輝度情報（以下「特徴量情報」ともいう）の変換（Ｓ２）の手順について説明する。図３は、特徴量情報を変換する手順を示すフローチャートである。
【００３６】
特徴量情報を変換する際には、重み関数が用いられるが、この重み関数は、重み関数作成部１３において、予め記憶される下記（１）式に示すガウス関数Ｇ（ｘ）についての分散σ２を決定することにより作成される。
【００３７】
【数１】
2005242703.tif 000003
重み関数作成部１３には、エッジ情報検出部１１から出力される図４（ａ）に示すような検出対象領域Ｒ内における顔Ｆの横顔または図４（ｂ）に示すような検出対象領域Ｒ内における正面を向いた顔Ｆなど、顔の向きの方向に応じたエッジ画像が出力される。このエッジ画像から得られるエッジに関してガウス関数Ｇ（ｘ）とのたたみ込み（Convolution）を行い、σについて最適解を決定することによって、ガウス関数Ｇ（ｘ）の分散σ２が自動的に求められる。こうして求めた分散σ２を有するガウス関数Ｇ（ｘ）を重み関数（密度関数）として作成する。この重み関数から、検出対象領域の中心座標Ｃを中心として、各画素のGaussian値Ｇを求める（Ｓ１１）。
【００３８】
重み関数作成部１３で作成された重み関数Ｇ（ｘ）は、重み関数作成部１３から移動位置算出部１４に出力される。一方、移動位置算出部１４には、エッジ情報検出部１１からエッジ情報が出力され、輝度情報検出部１２から輝度情報が出力されている。移動位置算出部１４では、両特徴量に対してそれぞれエッジヒストグラムＨ＿Ｅおよび輝度ヒストグラムＨ＿Ｉを作成する（Ｓ１２）。これらのエッジヒストグラムＨ＿Ｅおよび輝度ヒストグラムＨ＿Ｉを用いて平均値シフト（Mean Shift）法を用いて検出対象領域の移動位置を決定する。
【００３９】
ここで、重み関数を用いることなくエッジ情報についてヒストグラムを作成すると、たとえば図５（ａ）に示すようなエッジヒストグラムとなる。このヒストグラムは、たとえば単純に各画素におけるエッジに重みが加えられておらず、単純な累積度数ヒストグラムとなっている。したがって、たとえばＩ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）など、エッジについての輝度の度数が５０であるものが４個、１００のものが６個、１５０のものが９個、２００のものが４個加算されたのみのヒストグラムとなっている。
【００４０】
これに対して、これに対して、本実施形態に係るエッジヒストグラムＨ＿Ｅには、各画素に対する頻度としてGaussian値Ｇを使用している。たとえば、エッジの輝度が５０のヒストグラムに着目してみると、図５（ｂ）に示すように、Ｉ１′＝（ＧＩ１）、Ｉ２＝Ｉ２′（ＧＩ２）…を加算した４個の数値Ａ５０＝ΣＩｎ′が求められる。同様にして、各度数の数値を求めることにより、重み係数を積算したエッジヒストグラムＨ＿Ｅを作成することができる。
【００４１】
このようにして求めたエッジヒストグラムＨ＿Ｅおよび輝度ヒストグラムＨ＿Ｉに基づいて、検出対象領域の移動位置の候補となる候補領域が求められる。候補領域を求めるにあたり、エッジヒストグラムＨ＿Ｅおよび輝度ヒストグラムＨ＿Ｉには各画素の重みが加わっていることから、検出対象領域の移動量を大きくとることができるようになる。したがって、その分、演算量の低減を図ることができる。
【００４２】
また、同様にして、各画素の輝度についても、重みを加えた輝度ヒストグラムＨ＿Ｉを作成する（Ｓ１２）。これらのエッジヒストグラムＨ＿Ｅおよび輝度ヒストグラムＨ＿Ｉを候補領域の両ヒストグラムとなる。それから、検出対象領域の各画素について、エッジの重みＷＥ（ｘ、ｙ）および輝度の重みＷＩ（ｘ、ｙ）を下記（２）式および（３）式によってそれぞれ求めておく（Ｓ１３）。
【００４３】
【数２】
2005242703.tif 000004
【００４４】
【数３】
2005242703.tif 000005
ここで求められる特徴量の重みは、テンプレートの特徴量ヒストグラムと候補領域の特徴量ヒストグラムとを比較して求められる。そして、（２）式におけるＨ＿Ｐ＿Ｉｔは、たとえば図６（ａ）に示すテンプレートの輝度ヒストグラムにおける度数ｔａを表すものである。また、（３）式におけるＨ＿Ｐ＿Ｉｗは、たとえば図６（ｂ）に示す候補領域の輝度ヒストグラムにおける度数ｃａを表すものである。また、同様にしてエッジの重みも求められる。
【００４５】
続いて、移動位置算出部１４では、候補領域が検出対象領域と近似しているか否かにより、候補領域が検出対象領域の移動位置と一致しているか否かを判断する。この判断の手順を図７に示すフローチャートに沿って説明する。
【００４６】
まず、移動位置算出部１４に予め記憶されているテンプレートの輝度ヒストグラムと移動先の候補となっている候補領域の輝度ヒストグラムＨ＿Ｉの相関Ｓ＿Ｉを求める（Ｓ２１）。輝度の相関Ｓ＿Ｉは、下記（４）式に基づいて求められる。
【００４７】
【数４】
2005242703.tif 000006
次に、テンプレートのエッジヒストグラムと候補領域のエッジヒストグラムＨ＿Ｅとの相関Ｓ＿Ｅを求める（Ｓ２２）。エッジの相関Ｓ＿Ｅは、下記（５）式で求められる。
【００４８】
【数５】
2005242703.tif 000007
こうして、輝度の相関Ｓ＿Ｉとエッジの相関Ｓ＿Ｅの相関とを求めたら、輝度の相関とエッジの相関とを統合した全体相関Ｓ＿Ａを求める（Ｓ２３）。全体相関Ｓ＿Ａは、下記（６）式によって求めることができる。
【００４９】
【数６】
2005242703.tif 000008
こうして、全体相関Ｓ＿Ａを求めたら、予め移動位置算出部１４に記憶された相関しきい値と全体相関Ｓ＿Ａとを比較し、全体相関Ｓ＿Ａが相関しきい値Ｒ＿ＴＨ以下であるか否かを判断する（Ｓ２４）。その結果、全体相関Ｓ＿Ａが相関しきい値Ｒ＿ＴＨ以下である場合には、候補領域を他の候補領域に変更する（Ｓ２５）。一方、全体相関Ｓ＿Ａが相関しきい値Ｒ＿ＴＨを超えている場合には、候補領域が検出対象領域の移動位置であると判断して、移動位置を決定して処理を終了する。
【００５０】
このように、候補領域が検出対象領域と近似しているか否かによって、検出対象領域の移動位置を確実に求めることができる（Ｓ３）。こうして、移動位置を求めたら、検出対象領域の重心の移動量を求め、重心の移動量がしきい値Ｔｈ未満であるか否かを判断する（Ｓ４）。動体の移動速度はある程度の上限があるので、重心の移動量が大きすぎる場合には、異なる物体を追跡対象として認識してしまった可能性が高くなる。したがって、検出対象領域の移動前後における重心の移動量を求め、移動量がしきい値Ｔｈ以上である場合には、ステップＳ３に戻って候補領域の算出を行う。一方、重心の移動量がしきい値Ｔｈ未満のときには、検出対象領域の移動位置を決定する。
【００５１】
このように、本実施形態に係る画像処理装置では、色情報を用いることなく、エッジ情報および輝度度情報を用いて検出対象領域の移動位置を決定している。このため、背景に追跡対象の似ている色があった場合や照明の具合によって追跡対象の色が変化してしまった場合でも、検出対象領域を確実に求めることができる。
【００５２】
また、検出対象領域の移動位置を求めるにあたり、移動前の検出対象領域のエッジ情報を用いて求めた重み関数を用いてヒストグラムを作成している。このため、検出対象領域の移動量を大きくすることができるので、検出対象領域の移動位置を求める際の演算量を低減することができる。
【００５３】
移動位置算出部１４において検出対象領域の移動位置を決定したら、続いて、検出対象領域のサイズ（大きさ）を決定する（Ｓ５）。カメラ２と追跡対象との距離に変化がない場合には、カメラ２に撮像される追跡対象の大きさに変化はないが、カメラ２と追跡対象との距離に変化があるときに、追跡対象を含む検出対象領域は、画像内で大きさが変化する。そこで、検出対象領域の移動位置を決定する際に、検出対象領域のサイズを決定する。以下、検出対象領域のサイズを決定する手順について説明する。図８は、検出対象領域のサイズを決定する手順を示すフローチャートである。
【００５４】
移動位置算出部１４で求められた移動位置は、移動位置算出部１４から画像領域分割部１５に出力される。画像領域分割部１５では、移動位置における検出対象領域を移動前のサイズ、移動前より小さいサイズ（×０．９）、移動前より大きいサイズ（×１．１）の３つのサイズとして用意する。
【００５５】
これらのサイズのうち、まず移動前と同サイズの検出対象領域を３×３の９つのブロックに等分割する（Ｓ３１）。画像領域分割部１５で９つのブロックに分割された検出対象領域は、サイズ決定部１６に出力される。
【００５６】
サイズ決定部１６では、図９（ａ）に示すように。テンプレート２０を９つにブロック化した画像と、図９（ｂ）に示すように、移動後における検出対象領域２１を９つにブロック化した画像とにおける各ブロックについて、エッジのヒストグラムを比較する。サイズ決定部１６には、テンプレート２０の各ブロックにおけるエッジのヒストグラムをブロック内の総画素数で割った結果が予め記憶されており、サイズ決定部１６では、移動後の検出対象領域２１における各ブロックのエッジのヒストグラムをそれぞれ算出する（Ｓ３２）。
【００５７】
続いて、移動後の検出対象領域２１における各ブロックのエッジのヒストグラムを、ブロック内に含まれる総画素数で除算する（Ｓ３３）。こうしてヒストグラムをブロック内の総画素で割った結果とテンプレートにおけるエッジのヒストグラムをブロック内の総画素数で割った結果とから、テンプレートにおけるブロックと、このブロックに対応する検出対象領域のブロックの相関値を算出して、検出対象領域とテンプレートとを比較する（Ｓ３３）。このようにして、移動後における検出対象領域とテンプレートとの相関を求める。
【００５８】
このような検出対象領域のブロック化からテンプレートとの比較までの工程を、移動前より小さいサイズの検出対象領域および移動前より大きいサイズの検出対象領域についても行う。そうして、それぞれのサイズの検出対象領域における各ブロックのテンプレートとの相関を求める。
【００５９】
このようにしてテンプレートとの相関を求められた各サイズの検出対象領域について、ブロック番号を上段左から順に１，２，３、中段を４，５，６、下段を７，８，９としたときの各ブロックのテンプレートとの相関を図１０に示す。ここで、本実施形態では、各ブロックについて、相関が所定のしきい値以上となっているか否かを判断し、相関がしきい値以上となるブロックの数がもっとも多いサイズを検出対象領域のサイズとして決定する。ここでは、しきい値を各ブロックのすべてについて０．８に設定した。
【００６０】
図１０からわかるように、移動前より小さいサイズでは、相関がしきい値以上となったブロック数は０であった。移動前と同サイズでは、相関がしきい値以上となったブロック数は５であった。移動前より大きいサイズでは、相関がしきい値以上となったブロック数６であった。この結果から、移動後の検出対象領域の大きさを、移動前の大きさより大きいサイズとすると決定する。
【００６１】
本実施形態のように、検出対象領域を複数のブロックに分割し、相関の大きいブロックの数が大きいサイズを検出対象領域のサイズとして処理を行っている。このように、移動後における検出対象領域を複数のブロックに分割し、各ブロックとテンプレートとの相関関係から、検出対象領域のサイズを決定している。このため、背景などのノイズが含まれて精度が落ちることにより、誤判断することを抑制することができる。
【００６２】
このようにして移動位置における検出対象領域のサイズを決定したら、検出対象領域を求められたサイズとして移動位置に移動させる。こうして、追跡対象を含む検出対象領域の移動位置を決定することができる。
【００６３】
また、検出対象領域の移動後のサイズを決定するにあたり、図１１に示すように、相関のしきい値を以上となるブロックが同数となることがある。この例では、移動後の検出対象領域が小さいサイズではしきい値以上となるブロックは０であるが、移動後の検出対象領域が同じサイズと大きいサイズとの場合には、しきい値以上となるブロックはいずれも５個であり同数となっている。
【００６４】
このような場合には、移動後の検出対処領域の大きさを、各ブロックのテンプレートとの相関度を加算し、その数値が大きいサイズを移動後の検出対象領域のサイズとする。図１１の例では、移動後の検出対象領域のサイズが同じ場合における各ブロックの相関度の加算値は６．６である。また、移動後の検出対象領域のサイズが大きい場合における各ブロックの相関度の加算値は６である。したがって、この場合には、移動後の検出対象領域のサイズを移動前と同じサイズとすることになる。
【００６５】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では検出対象領域の全体についてエッジ情報および輝度情報の密度分布を求めて検出対象領域の移動位置を求めているが、たとえば検出対象領域を複数のブロックに分割し、各ブロックにおけるエッジ情報および輝度情報の密度分布を求めて、検出対象領域の移動位置を求める態様とすることができる。
【００６６】
また、上記実施形態では、検出対象領域のサイズを決定するにあたり、検出対象領域を９個のブロックに分割しているが、１６分割、２５分割、あるいはそれ以外の数のブロックに分割する態様とすることもできる。さらに、上記実施形態では、相関度を求める際、各ブロックのしきい値をいずれも０．８と同数に設定しているが、検出対象領域の中央位置に近い位置のブロックのしきい値を、他のブロックのしきい値よりも大きくする態様とすることもできる。検出対象領域の中央位置には、通常、追跡対象を特定するために特徴的な部分が集まっていることが多いことから、検出対象領域の中央のしきい値を高くすることにより、さらに高い精度で検出対象領域の移動後のサイズを決定することができる。あるいは、しきい値として、各ブロックごとに、検出対象領域の移動位置を求める際に用いた重み関数に応じた係数を掛けて、その数値をしきい値とする態様とすることもできる。
【図面の簡単な説明】
【００６７】
【図１】画像処理装置のブロック構成図である。
【図２】画像処理方法の手順を示すフローチャートである。
【図３】特徴量情報を変換する手順を示すフローチャートである。
【図４】（ａ）は、検出対象領域内における顔の横顔を示す模式図、（ｂ）は、検出対象領域内における正面を向いた顔を示す模式図である。
【図５】（ａ）は、重み関数を利用しない場合のエッジ情報のヒストグラム、（ｂ）は、重み関数を用いた場合のエッジ情報のヒストグラムの一部である。
【図６】（ａ）は、テンプレートの輝度ヒストグラムにおける度数を示すグラフ、（ｂ）は、候補領域の輝度ヒストグラムにおける度数を示すグラフである。
【図７】候補領域が検出対象領域の移動位置と一致しているか否かの判断手順を示すフローチャートである。
【図８】検出対象領域のサイズを決定する手順を示すフローチャートである。
【図９】（ａ）は、テンプレートを９つにブロック化した画像の模式図、（ｂ）は、移動後における検出対象領域を９つにブロック化した画像の模式図である。
【図１０】検出対象領域における各ブロックのテンプレートとの相関を示す表である。
【図１１】検出対象領域における各ブロックのテンプレートとの相関の他の例を示す表である。
【符号の説明】
【００６８】
１…画像処理装置、２…カメラ、１１…エッジ情報検出部、１２…輝度情報検出部、１３…重み関数作成部、１４…移動位置算出部、１５…画像領域分割部、１６…サイズ決定部、２０…テンプレート、２１…検出対象領域。
【図１】
2005242703.tif 000009
【図２】
2005242703.tif 000010
【図３】
2005242703.tif 000011
【図４】
2005242703.tif 000012
【図５】
2005242703.tif 000013
【図６】
2005242703.tif 000014
【図７】
2005242703.tif 000015
【図８】
2005242703.tif 000016
【図９】
2005242703.tif 000017
【図１０】
2005242703.tif 000018
【図１１】
2005242703.tif 000019