(57)【要約】【課題】手などの検出対象体の検出精度を向上できる画像分析装置を提供する。【解決手段】画像データから検出対象体を検出する画像分析装置であって、画像データに含まれる基準画像部分を検出し、画像データから、検出対象体の候補となる部分を検出対象候補部分として検出し、基準画像部分と、検出対象候補部分と、の性状の相対的関係を利用して、検出対象候補部分のうちから、検出対象体を含む部分を特定する画像分析装置である。【選択図】図２
2007122218.tif 000002
【特許請求の範囲】
【請求項１】
画像データから検出対象体を検出する画像分析装置であって、
前記画像データに含まれる基準画像部分を検出する手段と、
前記画像データから、検出対象体の候補となる部分を検出対象候補部分として検出する一次検出手段と、
前記検出した基準画像部分と、検出対象候補部分との性状の相対的関係を利用して、前記検出対象候補部分のうちから、検出対象体を含む部分を特定する二次検出手段と、
を含み、当該二次検出手段にて特定した検出対象体を含む部分を表す情報を出力することを特徴とする画像分析装置。
【請求項２】
請求項１に記載の画像分析装置であって、
前記検出対象体は、前記画像データ内で移動可能な対象物であり、
前記二次検出手段は、検出対象体の動きに係る情報に基づく動的ノードと、動きに関わらない情報に基づく静的ノードと、候補決定ノードとを含むベイジアンネットワークにより、検出対象体を含む部分を特定しており、前記動的ノードと静的ノードとは、それぞれの候補決定ノードへの接続態様が異なることを特徴とする画像分析装置。
【請求項３】
コンピュータを用いて、画像データから検出対象体を検出する画像分析方法であって、
前記画像データに含まれる基準画像部分を検出する工程と、
前記画像データから、検出対象体の候補となる部分を検出対象候補部分として検出する一次検出工程と、
前記検出した基準画像部分と、検出対象候補部分との性状の相対的関係を利用して、前記検出対象候補部分のうちから、検出対象体を含む部分を特定する二次検出工程と、
を含み、当該二次検出工程にて特定した検出対象体を含む部分を表す情報を出力することを特徴とする画像分析方法。
【請求項４】
コンピュータに、
画像データから検出対象体を検出させる画像分析プログラムであって、
前記画像データに含まれる基準画像部分を検出する手順と、
前記画像データから、検出対象体の候補となる部分を検出対象候補部分として検出する一次検出手順と、
前記検出した基準画像部分と、検出対象候補部分との性状の相対的関係を利用して、前記検出対象候補部分のうちから、検出対象体を含む部分を特定する二次検出手順と、
を実行させ、当該二次検出手順にて特定した検出対象体を含む部分を表す情報を所定の処理に供することを特徴とする画像分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから人物の手の部分など検出対象体を検出する画像分析装置に関する。
【背景技術】
【０００２】
撮像した画像から人物の手の動きを検出することで、撮像された人物の行動を認識することなどが研究されている。従来、手や腕の検出においては、例えば特許文献１、２に開示されているように学習処理によって獲得した肌色情報を用いたものが知られている。
【特許文献１】特開２００２−２８８６４０号公報
【特許文献２】特開平８−４４４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、現実には、照明条件や撮像される人物固有の肌の色などによって撮像される肌の色は異なっており、学習処理によって獲得した色を用いて対象物を検出する方法では、検出精度に限界がある。例えば、人物の肌の色よりも背景部分にある木製書棚が、学習獲得した肌の色に近い場合もある。この場合背景の書棚が対象物である手として検出されることもある。
【０００４】
一方、着席している人物の手などは、当該人物の顔の位置や、背景にある物からの相対的な位置や色調の関係から、その可動範囲や色調の範囲がおおよそ規定される。例えば手が顔の位置から所定の範囲以上離れた場所で検出されることはない。
【０００５】
従って、例えば顔や、背景など、検出対象物との関係で、基準とすることのできる画像部分が特定できるのであれば、当該基準となる画像部分からの相対的関係等によって検出対象体の検出精度を向上できる。
【０００６】
本発明は上記実情に鑑みて為されたもので、手などの検出対象体の検出精度を向上できる画像分析装置を提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００７】
上記従来例の問題点を解決するための本発明は、画像データから検出対象体を検出する画像分析装置であって、前記画像データに含まれる基準画像部分を検出する手段と、前記画像データから、検出対象体の候補となる部分を検出対象候補部分として検出する一次検出手段と、前記検出した基準画像部分と、検出対象候補部分との性状の相対的関係を利用して、前記検出対象候補部分のうちから、検出対象体を含む部分を特定する二次検出手段と、を含み、当該二次検出手段にて特定した検出対象体を含む部分を表す情報を出力することを特徴としている。
【０００８】
ここで前記検出対象体は、前記画像データ内で移動可能な対象物であり、前記二次検出手段は、検出対象体の動きに係る情報に基づく動的ノードと、動きに関わらない情報に基づく静的ノードと、候補決定ノードとを含むベイジアンネットワークにより、検出対象体を含む部分を特定しており、前記動的ノードと静的ノードとは、それぞれの候補決定ノードへの接続態様が異なることとしてもよい。
【０００９】
また、本発明の一態様は、コンピュータを用いて、画像データから検出対象体を検出する画像分析方法であって、前記画像データに含まれる基準画像部分を検出する工程と、前記画像データから、検出対象体の候補となる部分を検出対象候補部分として検出する一次検出工程と、前記検出した基準画像部分と、検出対象候補部分との性状の相対的関係を利用して、前記検出対象候補部分のうちから、検出対象体を含む部分を特定する二次検出工程と、を含み、当該二次検出工程にて特定した検出対象体を含む部分を表す情報を出力することを特徴としている。
【００１０】
さらに本発明の別の態様は、コンピュータに、画像データから検出対象体を検出させる画像分析プログラムであって、前記画像データに含まれる基準画像部分を検出する手順と、前記画像データから、検出対象体の候補となる部分を検出対象候補部分として検出する一次検出手順と、前記検出した基準画像部分と、検出対象候補部分との性状の相対的関係を利用して、前記検出対象候補部分のうちから、検出対象体を含む部分を特定する二次検出手順と、を実行させ、当該二次検出手順にて特定した検出対象体を含む部分を表す情報を所定の処理に供することを特徴としている。
【発明を実施するための最良の形態】
【００１１】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像分析装置は、図１に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、及び撮像部１５を含んで構成される。
【００１２】
ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作する。本実施の形態では、この制御部１１が、処理の対象となる画像データから基準画像部分を検出する処理と、この基準画像部分との相対的関係を利用して検出対象体を特定する処理とを実行している。この制御部１１の具体的な処理の内容については後に詳しく述べる。
【００１３】
記憶部１２は、ＲＡＭ（Random Access Memory）等のメモリ素子を含む、コンピュータ可読な記録媒体である。この記憶部１２は制御部１１によって実行されるプログラムが格納されている。また、この記憶部１２は、制御部１１のワークメモリとして動作する。
【００１４】
操作部１３は、キーボードやマウスなどであり、ユーザの指示操作の入力を受けて、当該指示操作の内容を制御部１１に出力する。表示部１４は、ディスプレイなどであり、制御部１１から入力される指示に従って情報を表示する。撮像部１５は、カメラ等であり、所定のタイミングごとに撮像される静止画像を順次、制御部１１に出力する。
【００１５】
本実施の形態では制御部１１は、この撮像部１５によって撮像される各静止画像を処理の対象となる画像データとして、検出対象体の検出を行なう。以下の説明では、検出対象体は、人物の手であるとして説明を行なう。
【００１６】
制御部１１が記憶部１２に格納されているプログラムを実行することにより、本実施の形態の画像分析装置は、機能的に、図２に示すように、基準画像部分検出部２１と、一次検出部２２と、二次検出部２３と、出力処理部２４とを含むものとなる。また、本実施の形態では一次検出部２２は、色ヒストグラム生成部３１と、活性化マップ生成部３２と、候補検出部３３とを含んで構成される。
【００１７】
ここで基準画像部分検出部２１は、撮像部１５が出力する静止画像の一つを注目画像データとして、当該注目画像データから基準となる画像部分（基準画像部分）を検出して特定する。ここで基準画像部分は、予めユーザによって設定された特徴を備えた画像部分であり、例えば人物の顔や、背景にあるホワイトボード（ホワイトボードの場合、予め定めた領域内において所定面積以上の白色領域などとして条件を定めることができる）とする。一例として人物の顔を特定する場合は、従来開発されている顔認識処理を適用することができる。本実施の形態では、基準画像部分として人物の顔を検出するものとする。ここで、基準画像部分検出部２１が画像データから基準画像としての人物の顔を検出できなかった場合は、一次検出部２２や二次検出部２３の処理を実行しないようにしてもよい。基準画像部分検出部２１は、検出した顔が撮像されている領域を特定する情報（顔部分を含む座標情報）を一次検出部２２と二次検出部２３とに出力する。
【００１８】
一次検出部２２は、処理対象となった画像データから検出対象体としての手の候補となる部分を検出対象候補部分として検出する。本実施の形態では、基準画像として顔の画像部分を検出しているので、この一次検出部２２は、当該顔の画像部分の色の情報を利用して手の画像候補部分を検出すればよい。
【００１９】
本実施の形態の一次検出部２２の色ヒストグラム生成部３１は、対象となる画像データのうち、基準画像部分検出部２１が検出した画像部分に含まれる画素値のヒストグラム（顔部分の色ヒストグラム）を生成し、記憶部１２に格納する。
【００２０】
活性化マップ生成部３２は、対象となる画像データの各画素を順次注目画素として選択し、記憶部１２に格納された色ヒストグラム中で、注目画素の画素値に対応するビンの頻度値を用いて、注目画素がどれだけ肌色に近いかを表すマップ（活性化マップ）を生成する。ここでの活性化マップは、元の画像データと同サイズのデータ値の２次元配列であり、注目画素に対応するデータ値をここでのマップの値とする。例えば、色ヒストグラムにおいて、ＲＧＢ色空間での値、（Ｒi，Ｇi，Ｂi）の頻度値がｘであった場合、画素値が（Ｒi，Ｇi，Ｂi）である注目画素についてはその活性化マップ上の値をｘとする（いわゆるバックプロジェクション方式）。なお、肌色の最頻値との色空間上の距離の逆数等をマップ上の値とする相関値方式を用いてこの活性化マップを生成してもよい。さらに色データを撮像されている人物について、例えば予め登録されている顔画像データや不特定多数の顔画像データから学習によって獲得し、その色分布により活性化マップを作成してもよい。活性化マップ生成部３２は、生成した活性化マップを記憶部１２に格納する。
【００２１】
候補検出部３３は、活性化マップの値を参照して平均的に高い画素を選択する。例えば、活性化マップ上のデータ値のマトリクスにおいて、左上隅から順に、３×３のデータ値のブロックを選択し、以降、右方向に１画素分ずつずらしながら当該ブロックを移動しながら、３×３のデータ値のブロックを選択していき、各ブロックにおいてブロックに含まれる３×３のデータ値の平均値を演算し、３×３のブロックの中央のデータ値に関連づけて、平均活性度として記憶部１２に格納する。また、ブロックが右端に至ったところで下へ１画素分ずれて、再度左隅から順次右へと１画素分ずつ移動しながら順次、ブロックを選択して、同様の処理を行う。これにより、平均活性度マップが生成される。
【００２２】
候補検出部３３は、引き続いて図３に示す処理を開始し、まず識別番号を表す変数を「０」に設定しておく。そしてこの平均活性度マップ上で平均活性度が最大となっているデータ値の位置を初期点として選択し（Ｓ１）、さらに当該初期点を中心とした所定初期サイズの領域を仮領域として選択する（Ｓ２）。そして当該仮領域内のデータ値の重心を演算する。ここで重心は、０次モーメントＭ00を、
【数１】
2007122218.tif 000003
とし、また、ｘ，ｙ軸方向に係る１次モーメントＭ10及びＭ01を、
【数２】
2007122218.tif 000004
として、仮領域中心位置ｘc，ｙcを、
【数３】
2007122218.tif 000005
により得る（Ｓ３）。ここでＩ（ｘ，ｙ）は、活性化マップ上で、画素位置（ｘ，ｙ）に対応する位置でのデータ値である。
【００２３】
候補検出部３３は、ここで演算した０次モーメントＭ00に対応するサイズの矩形領域で、仮領域中心位置ｘc，ｙcを中心とする新たな仮領域を画定し（Ｓ４）、当該新たな仮領域が、前回の仮領域と同サイズで、その中心位置が前回の仮領域の中心位置と同じであるか否かを判断する（Ｓ５）。ここでサイズ及び中心位置が同じであれば（収束したならば）、当該仮領域を一次候補領域として画定し、当該画定した一次候補領域を表す情報（ここでは領域が矩形領域であるとしているので、当該矩形の左上端の座標値と矩形のサイズとを表す情報で構わない）を記憶部１２に格納する（Ｓ６）。ここで、一次候補領域を表す情報には、識別番号を表す変数の値を識別子として関連付け、さらに当該変数の値を１だけインクリメントする（Ｓ７）。
【００２４】
候補検出部３３は、既に定めた一次候補領域を除いてさらに初期点の選択を行ない、複数の一次候補領域を定める。ここでは一次候補領域をＮ個定めることとして予め定められているとする。この場合、候補検出部３３は、選択した一次候補領域の数（ここではインクリメント後の変数の値）が、設定された数Ｎとなったか否かを調べて（Ｓ８）、なっていれば処理を終了する。
【００２５】
また、処理Ｓ８において、選択した一次候補領域の数が設定された数Ｎ未満である場合は、既に定めた一次候補領域を除く処理（例えば活性化マップと平均活性度マップとにおいて、一次候補領域として既に定めた部分のデータ値を「０」に設定する処理）を実行し（Ｓ９）、処理Ｓ１に移行して処理を続ける。
【００２６】
また候補検出部３３は、処理Ｓ５において収束していなければ、候補検出部３３は、処理Ｓ３に戻って、新たに定めた仮領域について、重心や１次モーメントを演算して、新たな仮領域を定める処理を続ける。
【００２７】
なお、処理Ｓ８において判断に用いられるパラメータＮは、演算速度との関係で定めればよい。例えば撮像部１５が１秒間あたり１８コマの静止画像を撮像して出力している（フレームレートは、０．０５５６秒／フレーム）とき、一つの一次候補領域の画定に係る時間が高々数ミリ秒程度であるときには、Ｎ＝４とすれば１フレームにおけるすべての一次候補領域の画定に係る時間は、０．０４秒未満（これは０．０５５６秒／フレームのフレームレート未満）と見込まれるので、Ｎ＝４と定めればよい。
【００２８】
さらにこの候補検出部３３の処理Ｓ１からＳ６までの処理は、カムシフト（CamShift）法として、Gary r. Bradski, "Computer Vision Face Tracking For Use in a Perceptual User Interface" , Intel Technology Journal Q2, 1998に開示された処理を応用したものであるが、本実施の形態では、これ以外にも手と考えられる領域を複数検出可能な方法であれば、どのような方法であってもよい。
【００２９】
また、カムシフト法を用いる場合においても、ここまでの説明では、仮領域の傾きを変更していないが、二次モーメントを用いて仮領域の傾きや縦横比を変化させてもよい。
【００３０】
二次検出部２３は、基準画像部分と検出対象候補部分との性状の相対的関係を利用して、検出対象候補部分となった一次候補領域のうちから、検出対象体を含む部分を特定する。
【００３１】
ここでは二次検出部２３は、事前に知識として得られている複数の特徴次元間の依存関係を積極的に利用可能なベイジアンネットワークを用いるものとする。
【００３２】
ベイジアンネットワークはグラフィカルモデリングと呼ばれ（Whittaker, J., "Graphical Models in Applied Multivariate Statistics", John Wiley and Sons (1990)）、ｎ（ｎは自然数）個の確率変数の集合{Ｘ1，…Ｘn}について、この集合の要素である確率変数間の直接的な条件付き依存関係（因果関係）を有向辺で結んだ非循環有向グラフで表現されるものである。非循環有向グラフであるから、任意の確率変数から有向辺をたどっても、元の確率変数に戻ることはない。また、各確率変数の値は、離散的であると連続的であるとを問わない。
【００３３】
ベイジアンネットワークでは、ネットワーク構造をこのようにグラフを用いて表現できるので、以下、各確率変数をノードと呼び、有向辺をエッジと呼ぶこととする。また、ノードＸiに向かって入射するエッジがある場合、当該エッジを出射するノード（単数であっても複数であってもよい）は、いずれもノードＸiの親ノードと呼び、Ｐａ（Ｘi）と表記する。
【００３４】
この場合の確率変数Ｘiに関する依存関係は、ノードＸiの確率変数の値ｘiを用いた条件付き確率
【数４】
2007122218.tif 000006
で表される。そして全体の確率変数に関する同時確率分布は、この条件付き確率の積となり、
【数５】
2007122218.tif 000007
となる。
【００３５】
本実施の形態では、確率変数として、直前のフレームにおいて手（検出対象体）として検出された領域を特定する情報（例えば各一次候補領域を表す情報に関連付けられた識別子）、直前のフレームにおいて手（検出対象体）として検出された領域に近接する、現在対象となっている画像データ内の一次候補領域を特定する情報、現在対象となっている画像データ内で手（検出対象体）と判断される一次候補領域を特定する情報、ならびに各一次特徴領域の特徴ノード群を用いる。
【００３６】
なお、手として検出される領域等を特定する情報は、左右の夫々の手に対応して各々２つずつのノードとなる。また特徴ノード群は、一次候補領域の縦横比（Ａ）、基準画像部分の面積と一次候補領域の面積との比（Ｂ）、基準画像部分と一次候補領域との相対位置を表す情報（Ｃ）、基準画像部分と一次候補領域との距離（Ｄ）、一次候補領域の傾き（Ｅ）、肌色の強度（一次検出部２２において用いた活性化マップのデータ値；Ｆ）、クラスタ重心の数（Ｇ）、共有クラスタ数（Ｈ）、平均輝度値（Ｉ）、輝度分散値（Ｊ）、平均輝度エッジ値（Ｋ）、平均色エッジ値ａ（Ｌ）、及び平均色エッジ値ｂ（Ｍ）を含む。
【００３７】
ここで一次候補領域の縦横比（Ａ）は一次候補領域の縦横サイズの比（ｈ／ｗ、ここでｈは縦方向の長さ、ｗは横方向の長さ）であり、図４に例示するように、画像の縦軸に対してなす角度θが０≦θ≦π／２である辺を横方向とする。
【００３８】
基準画像部分の面積と一次候補領域の面積との比（Ｂ）は、ｗ×ｈを、基準画像部分の面積で除したものである。
【００３９】
基準画像部分と一次候補領域との相対位置を表す情報（Ｃ）は、基準画像部分の中心のｙ座標に対し、一次候補領域の中心が上下いずれに存在するかを表す二値のデータである。
【００４０】
基準画像部分と一次候補領域との距離（Ｄ）は、基準画像部分の中心と一次候補領域の中心との座標上の距離であってもよいが、本実施の形態では、基準画像部分として顔が撮像されている領域を検出しているので次のように定めてもよい。すなわち、基準画像部分として撮像された顔から図５に示すように相対的な左右の肩の位置を推定し、左右の各肩の推定位置を中心として予め仮想的な手の長さとして定められた長さｒを半径とする２つの円Ｃ１，Ｃ２を描画し、一次候補領域がこれらの円内にあるか否かを表す値とする。
【００４１】
一次候補領域の傾き（Ｅ）であり、傾きの値θそのものを用いる。また肌色の強度（Ｆ）は、一次候補領域に含まれる画素に対応して、一次検出部２２において演算された活性化マップのデータ値の和を、一次候補領域の面積で除して正規化したものである。
【００４２】
クラスタ重心の数（Ｇ）は、対象画像データを予め複数の領域（クラスタ）に分割しておき、一次候補領域内にクラスタ重心の数がいくつあるかを表す値である。ここではクラスタ分割の方法としては、座標値と画素値のL*a*b*の色空間での値を利用したLab特徴次元などを用いたＫ−ｍｅａｎ法などがある。共有クラスタ数（Ｈ）は、一次候補領域と重なり合う部分を有するクラスタの総数を表す。
【００４３】
さらに平均輝度値（Ｉ）は、一次候補領域に対応する画素値の輝度値（L*a*b*のL）の平均であり、輝度分散値（Ｊ）は、当該輝度の分散値である。平均輝度エッジ値（Ｋ）は、一次候補領域に対応する領域内の輝度エッジ値の平均値である。同様に、平均色エッジ値ａ（Ｌ）、及び平均色エッジ値ｂ（Ｍ）は、一次候補領域に対応する領域内の色エッジ値の平均値とする。なお、ここでは色空間としてlab空間のabを例として用いたが、検出対象体の色の特徴に応じて、色空間はどのようなものであっても構わない。
【００４４】
また、基準画像部分と一次候補領域との相対位置を表す情報（Ｃ）を除き、他の特徴ノード群の値は、その値域ないし予め学習用データとして採録されているデータの一次候補領域から集積した値の変化範囲を例えば４分割して、どの分割範囲（段階）にあるかを、０，１，２，３の４つの値で示したものとする。また、基準画像部分と一次候補領域との相対位置を表す情報（Ｃ）は、二値の値であるので、０または１をとるものとする。
【００４５】
本実施の形態では、検出対象体は、撮像される人物の手であり、撮像される静止画像データ内で移動可能な対象物である。そこで二次検出部２３におけるこのベイジアンネットワークでは、検出対象体の動きに係る情報に基づく確率変数である動的ノードと、検出対象体の動きに関わらない情報に基づく確率変数である静的ノードとを区別して因果関係を設定する。
【００４６】
このように動的ノードと静的ノードとを区別したベイジアンネットワークはグラフ図としては、図６に例示するようなものとなる。ここでは候補決定ノードとして、検出対象体を含む一次候補領域に関連付けられた識別子を表すノード１，２（本実施形態では検出対象体は手であり、画像データ中で２つあるので、２つのノードとする）を設定する。また、撮像部１５から逐次的に入力される画像データであって、前回入力された画像データから、二次検出部２３が手として認識した一次候補領域に関連付けられた識別子を表すノード３，４を設定し、このノード３，４の双方から各ノード１，２へと因果関係を設定する。また、ノード１から２への因果関係も設定する。なお、前回の画像データに検出対象体が撮像されていなければ、ノード３，４は削除する。
【００４７】
さらに、前回手として認識した一次候補領域から、最も近い位置にある今回の一次候補領域に関連付けられた識別子のノード５，６を設定し、候補決定ノード１，２からそれぞれノード５とノード６とへの因果関係を設定する。
【００４８】
また、一次候補領域として検出した（本実施の形態では４つの）領域について生成した特徴ノード群Ａ１からＡ１３、Ｂ１からＢ１３、Ｃ１からＣ１３，Ｄ１からＤ１３の各々に対して、候補決定ノード１，２の双方から因果関係を設定する。
【００４９】
このように本実施の形態では、検出対象体の動きに係る情報に基づくノード３，４，５，６（動的ノード）と、検出対象体の動きとは直接関わらない情報に基づく特徴ノード群（静的ノード）と、候補決定ノード１，２とを含むベイジアンネットワークにより、検出対象体を含む部分を特定する。ここで動的ノードと静的ノードとは、それぞれの候補決定ノードへの接続態様（因果関係）が異なるように設定されている。
【００５０】
またベイジアンネットワークは予め用意した学習サンプルを用いて学習処理しておく。すなわち、まず実際に撮像された画像データを用いて検出対象体を認識する処理を行う前に、学習過程として各確率変数を、既に説明したようにいずれも離散化された有限の値（「０」、「１」、「２」、「３」のいずれか、または「０」または「１」）となるものとし、親ノードのないノードについての事前確率分布として多項分布の共役分布であるディリクレ分布を用いるとする。
【００５１】
そして例えば学習サンプルとなる動画像データを制御部１１に入力し、基準画像部分検出部２１と一次検出部２２とにより、一次候補領域を決定させる。ここで一次候補領域のうち、実際に検出対象体を含んでいる一次候補領域に関連付けられた識別子を、正解値として制御部１１に入力しておく。
【００５２】
そして二次検出部２３は、各ノードの状態遷移条件付確率を、
【数６】
2007122218.tif 000008
で計算する。ここで
【数７】
2007122218.tif 000009
は、ノードの確率変数Ｘiの状態がｋであることを示し、
【数８】
2007122218.tif 000010
は、Ｘiの親ノード群の状態の組み合わせをｊとして表している。αijkは、ディリクレ分布のハイパーパラメータである。Ｎijkは、（ｉ，ｊ，ｋ）で指定される状態の組み合わせの生起回数である。ここでハイパーパラメータαijkは、一様事前分布となるよう、Ｘiの取り得る状態の数をｓｔａｔｅ（ｉ）として、
【数９】
2007122218.tif 000011
によってハイパーパラメータを定めればよい。なお、欠損データがある場合は、Ｎijkを、期待値Ｅ［Ｎijk］に置き換えて、いわゆるＥＭアルゴリズム（A. Demster,et. al., "Maximum Likelihood from Incomplete Data via the EM algorithm", Journal of the Royal Statistical Society, B39, pp1-38, 1977）を利用して条件付確率を求めればよい。
【００５３】
これにより二次検出部２３は、どのような特徴を保持する一次候補領域が手を含み、また、どのような特徴を保持する一次候補領域が手を含む領域であるかを学習することとなる。
【００５４】
この学習処理により、推論に要するすべての条件付確率が決定できれば、ベイジアンネットワークで適用される確率推論処理により一次候補領域の各々について、検出対象体である手を含むか否かを確率的に判断できることとなる。なお、確率推論処理としては、F.V.Jensen，"Bayesian Networks and Decision Graphs"などの文献で知られている、クラスタリング手法の一種であるジャンクションツリーアルゴリズムや、疑似乱数を用いた確率的サンプリング手法などを用いる。
【００５５】
確率推論処理を実行すると、親ノードを証拠の集合として、その証拠が与えられた下での条件付確率（事後確率）が計算される。ここでは候補決定ノードであるノード１，２について事後確率を計算し、これらノード１と２それぞれにおいて、最大の事後確率をとる状態を選択する。ここでノード１，２においては、一次候補領域の識別子か、手が対象画像データ中にないことを表す値、もしくは一次候補領域の内にないことを表す値などを採り得る。なお、ノード２はノード１を親ノードとし、ノード１と重複した一次候補領域とならないように条件付確率を設定しておくが、その他はノード１と同様に最大事後確率をとる状態を選択する。これにより、ノード１，２において手が含まれる確率の高い一次候補領域の識別子が見いだされる。
【００５６】
出力処理部２４は、二次検出部２３において一次候補領域のうち、検出対象体としての手が含まれる確率が最も高いと判断される一次候補領域の識別子が見いだされると、当該識別子によって特定される一次候補領域の座標情報を、対象となった画像データに関連づけて記憶部１２に記録する。
【００５７】
この座標情報は、連続的に入力される対象画像データの撮像間隔と、手の移動距離とに基づく手の移動速度の演算など、所定の処理に供される。
【００５８】
本実施の形態によると、撮像部１５にて連続的に撮影される画像データが逐次的に処理の対象として入力され、基準画像部分検出部２１が、処理の対象となった画像データから基準画像部分として例えば人物の顔部分を特定する。
【００５９】
一次検出部２２は、例えば色の情報等、比較的少数の特徴量情報に基づいて、処理の対象となった画像データから検出対象体の撮像されている領域を、一次候補領域として複数選択する。
【００６０】
二次検出部２３は、選択した一次候補領域のうち、基準画像部分となった例えば顔部分の領域に基づいて定められる基準位置から所定距離範囲にあるか否かなど比較的多数の特徴量の情報に基づいて、検出対象体が含まれる確率が高いとされる一次候補領域を特定する。そして二次検出部２３が特定した領域が検出対象体の位置を表すものとして、出力処理部２４にて出力され、その後の処理に利用される。このように基準画像部分からの相対的関係を利用して、手などの検出対象体の検出精度を向上できる。
【００６１】
なお、ここまでの説明では、図６に例示したベイジアンネットワークを用いて二次検出部２３としての処理を実行することとしているが、このネットワークの構造は、これに限られない。例えばここまでの説明では、特徴ノード群に含まれる、基準画像部分と、検出対象候補部分（一次候補領域）との性状の相対的関係を表す確率変数として、基準画像部分の面積と一次候補領域の面積との比（Ｂ）、基準画像部分と一次候補領域との相対位置を表す情報（Ｃ）、及び基準画像部分と一次候補領域との距離（Ｄ）を用いているが、これだけでなく、平均輝度値（Ｉ）が、基準画像部分に含まれる画素の平均輝度値との差や比など、基準画像部分との相対的関係によって定められてもよい。同様に、平均輝度エッジ値（Ｋ）、平均色エッジ値ａ（Ｌ）、及び平均色エッジ値ｂ（Ｍ）等も、基準画像部分として特定された、例えば顔の色との相対色を利用したものであってもよい。
【００６２】
さらに、基準画像部分の面積と一次候補領域の面積との比（Ｂ）、基準画像部分と一次候補領域との相対位置を表す情報（Ｃ）、及び基準画像部分と一次候補領域との距離（Ｄ）などは、基準画像部分が複数検出された場合や、検出対象体が複数ある場合は、それぞれ複数あってもよい。
【００６３】
さらにここまでの説明では、顔を基準として手を検出する例について述べたが、同様にして腕や手（手の甲など）の部分を基準として指などを検出してもよい。また、顔と手とを基準として足を検出してもよい。また、人体を基準もしくは検出体とするのに限らず、相対的な位置関係を有する、物体と人体（例えば装置と利用者の身体の一部）あるいは物体と異なる物体（例えば機械の本体と可動部）にも適用できる。
【００６４】
また、二次検出部２３は、ここではベイジアンネットワークを利用することとしたが、二次検出部２３はベイジアンネットワークに限られない。例えば、他の確率伝播モデルとして隠れマルコフモデル（ＨＭＭ）、マルコフチェーンモンテカルロ（ＭＣＭＣ）、ブースティングなどの処理を用いてもよいし、サポートベクタマシン（SVM）などの分類器を利用しても良い。
【００６５】
［実施例]
以上の実施の形態を実装した例として、正面向きに撮影された人物の手の動きを検出することを目的として、基準画像部分検出部２１に顔を検出させ、二次検出部２３として図６に示したベイジアンネットワークを用いて処理を実験的に行なった。
【００６６】
また、学習時には、５つの互いに異なる動画像を利用し、合計４９２８フレームの静止画像データを処理させて各ノードの条件付き確率を学習させた。さらに確率推論処理として、比較的高速に、厳密な解の得られるジャンクションツリーを実装した。
【００６７】
実験の対象となる画像データは、動画像データであって、顔抽出が可能なフレーム数が１６０９あり、両手が画像中に常に出現している（オクリュージョンが存在しない）状態のものとした。
【００６８】
まず、比較の対象として、一次候補領域において上位２位までの領域に手が含まれる割合（すなわち従来例と同様の割合）は、４５．２％であった。なお、上位４位までに手が含まれる割合は、７３．７％である。
【００６９】
一方、二次検出部２３による検出精度は約６５．８％となった。また、図６のベイジアンネットワークから、動的ノードのみを利用した場合の検出精度を実験的に求めたところ、約４９．３％となった。この結果は動き情報を加味すれば検出精度は向上するが、さらに複数の特徴（静的ノード）を利用すればさらに精度を向上させることが可能であることを示している。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態に係る画像分析装置の一例を表す構成ブロック図である。
【図２】本発明の実施の形態に係る画像分析装置の一例を表す機能ブロック図である。
【図３】本発明の実施の形態に係る画像分析装置における一次検出部の動作例を表すフローチャート図である。
【図４】本発明の実施の形態に係る画像分析装置が画定する一次候補領域の形状例を表す説明図である。
【図５】本発明の実施の形態に係る画像分析装置における顔と手との相対的位置関係の設定例を表す説明図である。
【図６】本発明の実施の形態に係る画像分析装置における二次検出部において用いられるベイジアンネットワークの構成例を表す説明図である。
【符号の説明】
【００７１】
１１  制御部、１２  記憶部、１３  操作部、１４  表示部、１５  撮像部、２１  基準画像部分検出部、２２  一次検出部、２３  二次検出部、２４  出力処理部、３１  色ヒストグラム生成部、３２  活性化マップ生成部、３３  候補検出部。
【図１】
2007122218.tif 000012
【図２】
2007122218.tif 000013
【図３】
2007122218.tif 000014
【図４】
2007122218.tif 000015
【図５】
2007122218.tif 000016
【図６】
2007122218.tif 000017