(57)【要約】【課題】画像の領域分割・分類を高速かつ高精度に行うことができる画像処理装置を提供する。【解決手段】画像から部分領域を抽出する領域抽出部Ａ１０１と、部分領域の判定を行う規則を生成する判定規則生成部Ａ１０２と、部分領域の画素比較によって判定のための比較を行う部分領域比較部Ａ１０３と、判定規則に基づいて判定を行う判定部Ａ１０４と、判定規則の中から適切な判定規則を選択する判定規則選択部Ａ１０５と、それを記憶する判定規則記憶部Ａ１０６と、判定規則の統計情報を算出する判定規則統計算出部Ａ１０７と、それを記憶する判定規則統計記憶部Ａ１０８と、部分領域の判定結果と判定規則統計から特徴量を算出する判定規則特徴算出部Ａ１０９と、各クラス分類のもつ判定規則特徴を記憶する判定規則特徴記憶部Ａ１１０と、各クラス分類のもつ判定規則特徴と分類すべき部分領域から算出された判定規則特徴とを比較することによって部分領域の分類を決定する判定規則特徴比較部Ａ１１１とを備える。【選択図】      図１
2009271890.tif 000002
【特許請求の範囲】
【請求項１】
入力画像中の部分領域を複数のクラスに分類する画像処理装置において、
入力画像から前記部分領域を抽出する抽出部と、
（１）前記部分領域より小さい領域である比較領域をｎ個設定し、前記各比較領域の特徴量をそれぞれ比較して、ｍ個に分類する判定規則であって、（２）前記部分領域における前記比較領域の設定位置がそれぞれ異なる複数の判定規則を記憶する規則記憶部と、
（１）前記部分領域を決定木に基づいて分類するものであり、（２）前記決定木の各ノードにおいて前記規則記憶部からそれぞれ異なる予め定められた判定規則を呼び出し、（３）前記各ノードで前記部分領域をｍ個に分類し、かつ、（４）前記各ノードにおける前記各クラスの確率を求める分類部と、
前記部分領域に関して前記各ノードにおける前記各クラスの確率から構成される入力ベクトルを求める入力ベクトル算出部と、
学習画像に基づいて、前記決定木の前記各ノードにおける前記各クラスの確率から構成される学習ベクトルを記憶する学習ベクトル記憶部と、
前記入力ベクトルと、前記各クラスの学習ベクトルとの類似度をそれぞれ求め、これら類似度に基づいて前記部分領域の前記クラスを決定する決定部と、
を備える画像処理装置。
【請求項２】
前記入力画像が、静止画像、または、動画像である、
請求項１記載の画像処理装置。
【請求項３】
前記比較領域が、一画素である、
請求項１記載の画像処理装置。
【請求項４】
前記入力ベクトル算出部は、前記各ノードにおいて、前記各クラスの確率について重み付けを行って前記入力ベクトルを求める、
請求項１記載の画像処理装置。
【請求項５】
前記決定部における前記類似度は、前記入力ベクトルと前記各クラスの学習ベクトルとの相関値、または、カーネルマッチングに基づく値である、
請求項１記載の画像処理装置。
【請求項６】
前記判定規則は、前記比較領域の画素値、または、前記比較領域の予め決められたクラス分類情報で前記比較領域を分類する、
請求項１記載の画像処理装置。
【請求項７】
前記決定部は、
前記各判定規則がもつ適用頻度統計のうち、他の分類クラスに対する頻度の割合に基づいて重み付けを行って前記類似度を計算する、
請求項１記載の画像処理装置。
【請求項８】
入力画像中の部分領域を複数のクラスに分類する画像処理方法において、
入力画像から前記部分領域を抽出する抽出ステップと、
（１）前記部分領域より小さい領域である比較領域をｎ個設定し、前記各比較領域の特徴量をそれぞれ比較して、ｍ個に分類する判定規則であって、（２）前記部分領域における前記比較領域の設定位置がそれぞれ異なる複数の判定規則を記憶する規則記憶ステップと、
（１）前記部分領域を決定木に基づいて分類するものであり、（２）前記決定木の各ノードにおいて前記規則記憶部からそれぞれ異なる予め定めめられた判定規則を呼び出し、（３）前記各ノードで前記部分領域をｍ個に分類し、かつ、（４）前記各ノードにおける前記各クラスの確率を求める分類ステップと、
前記部分領域に関して前記各ノードにおける前記各クラスの確率から構成される入力ベクトルを求める入力ベクトル算出ステップと、
学習画像に基づいて、前記決定木の前記各ノードにおける前記各クラスの確率から構成される学習ベクトルを記憶する学習ベクトル記憶ステップと、
前記入力ベクトルと、前記各クラスの学習ベクトルとの類似度をそれぞれ求め、これら類似度に基づいて前記部分領域の前記クラスを決定する決定ステップと、
を備える画像処理方法。
【請求項９】
入力画像中の部分領域を複数のクラスに分類する画像処理プログラムにおいて、
入力画像から前記部分領域を抽出する抽出機能と、
（１）前記部分領域より小さい領域である比較領域をｎ個設定し、前記各比較領域の特徴量をそれぞれ比較して、ｍ個に分類する判定規則であって、（２）前記部分領域における前記比較領域の設定位置がそれぞれ異なる複数の判定規則を記憶する規則記憶機能と、
（１）前記部分領域を決定木に基づいて分類するものであり、（２）前記決定木の各ノードにおいて前記規則記憶部からそれぞれ異なる予め定めめられた判定規則を呼び出し、（３）前記各ノードで前記部分領域をｍ個に分類し、かつ、（４）前記各ノードにおける前記各クラスの確率を求める分類機能と、
前記部分領域に関して前記各ノードにおける前記各クラスの確率から構成される入力ベクトルを求める入力ベクトル算出機能と、
学習画像に基づいて、前記決定木の前記各ノードにおける前記各クラスの確率から構成される学習ベクトルを記憶する学習ベクトル記憶機能と、
前記入力ベクトルと、前記各クラスの学習ベクトルとの類似度をそれぞれ求め、これら類似度に基づいて前記部分領域の前記クラスを決定する決定機能と、
をコンピュータに実現させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をある特性をもつ領域毎に分類する画像処理装置及びその方法並びにプログラムに関するものである。
【背景技術】
【０００２】
ガウシアン、ウェーブレット、ＳＩＦＴなどの特徴量をもとに画像の領域分割・分類を行う技術がある（非特許文献１参照）。
【０００３】
また、ランダム決定木（ｒａｎｄｏｍｉｚｅｄ  ｔｒｅｅ）、または、それを複数持つランダム決定林（ｒａｎｄｏｍｉｚｅｄ  ｄｅｃｉｓｉｏｎ  ｆｏｒｅｓｔ）と呼ばれる方法によって、画像の領域分割・分類に役立つ特徴（ｖｉｓｕａｌ  ｗｏｒｄｓ）を選択する方法がある（非特許文献２参照）。
【０００４】
また、部分領域内の画素値の比較に基づく決定木によって画像内の特徴点を検出する方法がある（非特許文献３参照）。
【０００５】
また、ｔｅｘｔｏｎと呼ばれるテクスチャなどの特徴量の相対的位置関係によって画像の領域分割・分類を行うｔｅｘｔｏｎｂｏｏｓｔと呼ばれる方法がある（非特許文献４参照）。
【非特許文献１】J. Winn, A. Criminisi, and T. Minka. Categorization by learned universal visual dictionary. In ICCV, Vol. 2, pp. 1800.1807, Beijing, China, October 2005.
【非特許文献２】F. Moosmann, B. Triggs, and F. Jurie. Fast discriminative visual codebooks using randomized clustering forests. In NIPS, 2006.
【非特許文献３】V. Lepetit, P. Lagger, and P. Fua. Randomized trees for real-time keypoint recognition. In CVPR, pp. 2:775.781, 2005.
【非特許文献４】J. Shotton, J. Winn, C. Rother, and A. Criminisi. Textonboost for image understanding: Multi-class object recognition and segmentation by jointly modeling texture, layout, and context. IJCV, To appear 2007.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ガウシアン、ウェーブレット、ＳＩＦＴなどの特徴量は、計算に時間がかかるという問題点がある。
【０００７】
また、ランダム決定林によって選択された特徴を用いる方法やｔｅｘｔｏｎｂｏｏｓｔでは、十分な領域分割・分類性能が得られないという問題点がある。
【０００８】
そこで、本発明は、画像の領域分割・分類を高速かつ高精度に行うことができる画像処理装置及びその方法を提供する。
【課題を解決するための手段】
【０００９】
本発明は、入力画像中の部分領域を複数のクラスに分類する画像処理装置において、入力画像から前記部分領域を抽出する抽出部と、（１）前記部分領域より小さい領域である比較領域をｎ個設定し、前記各比較領域の特徴量をそれぞれ比較して、ｍ個に分類する判定規則であって、（２）前記部分領域における前記比較領域の設定位置がそれぞれ異なる複数の判定規則を記憶する規則記憶部と、（１）前記部分領域を決定木に基づいて分類するものであり、（２）前記決定木の各ノードにおいて前記規則記憶部からそれぞれ異なる予め定められた判定規則を呼び出し、（３）前記各ノードで前記部分領域をｍ個に分類し、かつ、（４）前記各ノードにおける前記各クラスの確率を求める分類部と、前記部分領域に関して前記各ノードにおける前記各クラスの確率から構成される入力ベクトルを求める入力ベクトル算出部と、学習画像に基づいて、前記決定木の前記各ノードにおける前記各クラスの確率から構成される学習ベクトルを記憶する学習ベクトル記憶部と、前記入力ベクトルと、前記各クラスの学習ベクトルとの類似度をそれぞれ求め、これら類似度に基づいて前記部分領域の前記クラスを決定する決定部と、を備える画像処理装置である。
【発明の効果】
【００１０】
本発明によれば、画像の領域分類を高速かつ高精度に行うことができる。
【発明を実施するための最良の形態】
【００１１】
（第１の実施形態）
本発明の第１の実施形態の画像処理装置は、画像からの対象検出・領域分割・領域分類を行うものであり、例えば、図１５のように、画像をある特性をもつ領域毎に分割したり、それらをクラス分類したり、ある特性をもつ対象の占める領域を判定する。
【００１２】
以下で、画像処理装置における対象検出・領域分割・領域分類手段について説明する。
【００１３】
なお、以下の各実施形態では、「画像」には静止画像及び動画像が含まれる。
【００１４】
（１）画像処理装置の構成
図１は、本実施形態の画像処理装置の全体構成を示すブロック図である。
【００１５】
図１の画像処理装置は、領域入力部Ａ１０１、判定規則生成部Ａ１０２、部分領域比較部Ａ１０３、判定部Ａ１０４、判定規則選択部Ａ１０５、判定規則記憶部Ａ１０６、判定規則統計算出部Ａ１０７、判定規則統計記憶部Ａ１０８、判定規則特徴算出部Ａ１０９、判定規則特徴記憶部Ａ１１０、判定規則特徴比較部Ａ１１１とを備える。
【００１６】
領域抽出部Ａ１０１は、入力画像から部分領域を抽出する。
【００１７】
判定規則生成部Ａ１０２は、部分領域の判定を行う判定規則を生成する。ここで「判定規則」とは、部分領域より小さい領域である比較領域（例えば、一画素である）をｎ個設定し、各画素の特徴量をそれぞれ比較して、ｍ個に分類するものであって、この判定規則は、部分領域における画素の設定位置においてそれぞれ異なるものである。
【００１８】
部分領域比較部Ａ１０３は、部分領域の画素比較によって判定のための比較を行う。
【００１９】
判定部Ａ１０４は、判定規則生成部Ａ１０２により生成された判定規則に基づいて判定を行う。
【００２０】
判定規則選択部Ａ１０５は、判定規則生成部Ａ１０２により生成された判定規則の中から適切な判定規則を選択する。
【００２１】
判定規則記憶部Ａ１０６は、判定規則選択部Ａ１０５により選択された判定規則を記憶する。
【００２２】
判定規則統計算出部Ａ１０７は、判定規則生成部Ａ１０２により生成された判定規則の統計情報を算出する。
【００２３】
判定規則統計記憶部Ａ１０８は、判定規則統計算出部Ａ１０７により算出された判定規則の統計情報を記憶する。
【００２４】
判定規則特徴算出部Ａ１０９は、部分領域の判定結果と判定規則の統計情報から特徴量を算出する。
【００２５】
判定規則特徴記憶部Ａ１１０は、各クラス分類のもつ判定規則の特徴量を記憶する。
【００２６】
判定規則特徴比較部Ａ１１１は、各クラス分類のもつ判定規則の特徴量と分類すべき部分領域から算出された判定規則の特徴量とを比較することによって部分領域の分類を決定する。
【００２７】
なお、各部Ａ１０１〜Ａ１１１の各機能は、コンピュータに記憶又は伝送されたコンピュータ読み取り可能なプログラムによっても実施することが可能である。
【００２８】
（２）学習処理Ａ−（ａ）
まず、分類手段である「決定木」を作成する学習処理Ａ−（ａ）について、図１と図２に基づいて説明する。
【００２９】
（２−１）ステップ１
最初に、クラス分類の教示された学習画像Ａ２００から、領域抽出部Ａ１０１が部分領域集合Ａ２０１を抽出する。
【００３０】
（２−２）ステップ２
次に、判定規則生成部Ａ１０２は、部分領域の判定を行うために画素比較を行う判定規則を多数生成する。
【００３１】
これは、例えば図５に示すように、部分領域内のある画素Ａ１のカラー値、または画素Ａ１とＡ２の輝度値の和・輝度値の差・輝度値の絶対値の差など画素値に関する計算値を計算し、その画素に関する計算値がある閾値を超えるか超えないかによって、決定木の左側集合に分類するか右側集合に分類するかを判定すればよい。画素Ａ１とＡ２の位置や、どのような式によって値を比較するか、閾値などはランダムに決定すればよい。
【００３２】
ここで、従来法のようにガウシアン、ウェーブレット、ＳＩＦＴなどのフィルタ処理結果を使うのではなく、画素を直接比較することにより、高速な判定を行うことができる。このような画素比較に基づく判定規則によって、部分領域比較部Ａ１０３は各部分領域を比較し、判定部Ａ１０４は部分領域分類を判定して部分領域の集合を分割する。
【００３３】
（２−３）ステップ３
次に、判定規則選択部Ａ１０５は、判定部Ａ１０４で得られた判定結果に基づいて最も適切な判定規則ｆ０，０（図２のＡ２０２）を選択して、判定規則記憶部Ａ１０６がそれを記憶する。
【００３４】
判定規則選択部Ａ１０５における判定規則の選択は、下記の方法がある。
【００３５】
第１の方法は、単純に部分領域の集合を均等に分割するような規則を選択する。
【００３６】
第２の方法は、よりクラス毎にまとまった集合に分割されるようにクラスのエントロピーが最小となるような規則を選択する。
【００３７】
（２−４）ステップ４
一方、判定規則統計算出部Ａ１０７は、どのようなクラス分類に属する部分領域が判定規則ｆ０，０で判定を受けたかの統計情報を算出し、判定規則統計記憶部Ａ１０８がそれを記憶する。
【００３８】
その統計情報は、例えばＡ２０３のような、クラス分類毎の頻度または頻度を全頻度で割った確率を用いればよい。このような処理を部分領域集合が十分小さくなるまで繰り返すことで、分類のための決定木が図２のように作成できる。
【００３９】
（３）学習処理Ａ−（ｂ）
次に、得られた決定木に基づいたクラス分類の特徴量の学習処理Ａ−（ｂ）について、図１と図３に基づいて説明する。
【００４０】
まず、部分領域集合Ａ３０１のうち、クラスＣ１に属するものを上記決定木に基づいて次のように処理する。
【００４１】
部分領域比較部Ａ１０３は、判定規則記憶部Ａ１０６が記憶する判定規則ｆ０，０に基づいて比較を行い、判定部Ａ１０４が部分領域の集合分割を判定する。
【００４２】
このとき、判定規則特徴算出部Ａ１０９は、判定規則統計記憶部Ａ１０８が記憶する統計情報Ａ３０３に基づいて、判定規則特徴を算出する。例えば、ある部分領域が深さ１の０番目のノードＡ３０４で判定規則の適用を受けたとすると、ノードＡ３０４が保持する統計情報Ａ３０３を、クラスＣ１の特徴量Ａ３０５における対応部分Ａ３０６に加算する。
【００４３】
このような処理を部分領域が末端ノードに達するまで繰り返す。
【００４４】
クラスＣ１に属する部分領域集合全てに対して同様の処理を行い、必要によって正規化を行うことにより、クラスＣ１のもつ特徴量Ａ３０５が計算される。
【００４５】
判定規則特徴記憶部Ａ１１０はこれらの特徴量Ａ３０５を記憶する。
【００４６】
このようにして、末端ノードだけでなくその途中の深さにある中間ノードの統計情報も用いて特徴量Ａ３０５を作成することにより、より高精度のクラス分類を行うことができるようになる。
【００４７】
（４）分類処理Ａ−（ｃ）
次に、入力画像を分類する分類処理Ａ−（ｃ）について、図１と図４に基づいて説明する。
【００４８】
（４−１）ステップ１
まず、領域抽出部Ａ１０１が、入力画像Ａ４００から分類すべき領域ｒ内の部分領域集合Ａ４０１を抽出する。ここで、分類すべき対象が画素１個である場合は、その画素を含む部分領域を抽出すればよい。
【００４９】
部分領域集合Ａ４０１に対して、上記の学習処理Ａ−（ｂ）と同様の処理によって特徴量を加算することにより、領域ｒの特徴量Ａ４０２が得られる。
【００５０】
（４−２）ステップ２
そして、判定規則特徴比較部Ａ１１１は、算出された特徴量Ａ４０２と、判定規則特徴記憶部Ａ１１０が記憶する各クラス分類の特徴量Ａ４０３とを比較し、類似度の高さに基づいて領域ｒがどのクラス分類に属するかを判定して出力する。
【００５１】
ところで、領域ｒの特徴量Ａ４０２はベクトル値であるため、この特徴量Ａ４０２は入力ベクトルとみることができ、同じくベクトル値である各クラス分類の特徴量Ａ４０３は学習ベクトルとみることができる。そのため、類似度は入力ベクトルと学習ベクトルの相関値を用いればよい。
【００５２】
または、次のように類似度を計算してもよい。
【００５３】
部分領域ｒの深さｄのノードにおけるｊ番目の特徴量をＨｒ（ｄ，ｊ）、分類クラスｃの深さｄのノードにおけるｊ番目の特徴量をＨｃ（ｄ，ｊ）とし、Ｈｒ（ｄ，ｊ）とＨｃ（ｄ，ｊ）の類似度Ｉｄを次のように求める。
【数１】
2009271890.tif 000003
【００５４】
これをもとに、以下のようにして部分領域ｒの特徴量Ｈｒと分類クラスｃの特徴量Ｈｃの類似度Ｋ（Ｈｒ，Hｃ）を計算する。但し、決定木の最大の深さをＤとする。すなわち、類似度をカーネルマッチング法によって求める。
【数２】
2009271890.tif 000004
【００５５】
そして、本実施形態の場合、カーネルマッチング関数Ｋ０（Ｈｒ、Ｈｃ）を、異なる解像度毎に足し合わせてピラミッドカーネルマッチングを行う方法の考えをさらに進め、決定木の深さ毎に、すなわち、（Ｉｄ−Ｉｄ−１）毎に重みを付けている。
【００５６】
このような類似度計算を行うことにより、決定木においてより詳細な分類が行われている深い位置（ｄが大）での特徴量を重視した類似度を算出できる。
【００５７】
（５）効果
以上のようにして部分領域ｒのクラス分類を行うことで、従来よりも高精度のクラス分類が実現できる。
【００５８】
（６）部分領域の事前確率に基づく補正
学習画像Ａ２００には、検出したいクラス分類だけでなく、背景のような関係性の低いクラス分類が多く含まれる場合がある。
【００５９】
そこで分類処理Ａ−（ｃ）において、判定規則特徴比較部Ａ１１１が、全ての学習画像Ａ２００から計算された判定規則統計情報を加算した特徴量Ａ５０１（図６参照）を算出し、それを比較処理に用いてもよい。
【００６０】
具体的には、学習画像Ａ２００の各部分領域が前節の処理において末端ノードに達したら、そのノードに対応する判定規則統計情報をクラス毎に加算していき、Ａ５０１のような累計をとる。
【００６１】
この結果、得られるクラス毎の頻度（確率）をＰ（ｃ）とすると、Ｐ（ｃ）の大きいクラスｃは学習画像Ａ２００において広い領域を占める背景である可能性が高く、そのような背景の統計情報が過大に評価されている可能性が高い。
【００６２】
そこで、入力領域ｒがクラスｃに属する確率Ｐ（ｃ｜ｒ）を以下のようにしてＰ（ｃ）によって重み付け補正する。
【数３】
2009271890.tif 000005
【００６３】
これにより、学習画像Ａ２００に含まれる背景クラスに大きく影響を受けずに領域ｒのクラス分類を行うことができる。
【００６４】
（第２の実施形態）
（１）画像処理装置の構成
図７は、本発明の第２の実施形態の全体構成を示すブロック図である。図７の画像処理装置は、図１の画像処理装置とほぼ同じ構成をとる。
【００６５】
画像処理装置は、領域抽出部Ｂ１０１、判定規則生成部Ｂ１０２、部分領域比較部Ｂ１０３、判定部Ｂ１０４、判定規則選択部Ｂ１０５、判定規則記憶部Ｂ１０６、判定規則統計算出部Ｂ１０７、判定規則統計記憶部Ｂ１０８、判定規則特徴算出部Ｂ１０９、判定規則特徴記憶部Ｂ１１０、判定規則特徴比較部Ｂ１１１とを備える。
【００６６】
領域抽出部Ｂ１０１は、入力画像から部分領域を抽出する。
【００６７】
判定規則生成部Ｂ１０２は、部分領域の判定を行う判定規則を生成する。
【００６８】
部分領域比較部Ｂ１０３は、決定木の前節で算出された部分領域のクラス分類情報及び判定規則特徴Ａ４０２（図４）を参照することで判定のための比較を行う。
【００６９】
判定部Ｂ１０４は、判定規則生成部Ｂ１０２により生成された判定規則に基づいて判定を行う。
【００７０】
判定規則選択部Ｂ１０５は、判定規則生成部Ｂ１０２により生成された判定規則の中から適切な判定規則を選択する。
【００７１】
判定規則記憶部Ｂ１０６は、判定規則選択部Ａ１０５により選択された判定規則を記憶する。
【００７２】
判定規則統計算出部Ｂ１０７は、判定規則統計算出部Ａ１０７により算出された判定規則の統計情報を算出する。
【００７３】
判定規則統計記憶部Ｂ１０８は、判定規則統計算出部Ｂ１０７により算出された統計情報を記憶する。
【００７４】
判定規則特徴算出部Ｂ１０９は、部分領域の判定結果と判定規則の統計情報から特徴量を算出する。
【００７５】
判定規則特徴記憶部Ｂ１１０は、各クラス分類のもつ判定規則の特徴量を記憶する。
【００７６】
判定規則特徴比較部Ｂ１１１は、各クラス分類のもつ判定規則の特徴量と分類すべき部分領域から算出された判定規則の特徴量とを比較することによって部分領域の分類を決定する。
【００７７】
各部Ｂ１０１〜Ｂ５１１の各機能は、コンピュータに記憶または伝送されたコンピュータ読み取り可能なプログラムによっても実施することが可能である。
【００７８】
（２）学習処理Ｂ−（ａ）
まず、分類手段である決定木を作成する学習処理Ｂ−（ａ）について、図７と図８に基づいて説明する。この学習処理は、第１の実施形態の学習処理Ａ−（ａ）とほぼ同様の処理を行う。
【００７９】
（２−１）ステップ１
最初に、クラス分類の教示された学習画像Ｂ２００から、領域抽出部Ｂ１０１が部分領域集合Ｂ２０１を抽出する。
【００８０】
（２−２）ステップ２
次に、判定規則生成部Ｂ１０２は、部分領域の判定を行うために、第１の実施形態で得られた部分領域のクラス分類情報及び判定規則特徴Ａ４０２（図４）に基づいて比較を行う判定規則を多数生成する。
【００８１】
これは、例えば図１１のように、注目部分領域と、そこからある相対位置にある参照部分領域のクラス分類を調べ、それがある組み合わせであれば決定木の左側集合に分類し、別の組み合わせであれば決定木の右側集合に分類するといった判定規則である。
【００８２】
また、注目部分領域と参照部分領域の判定規則特徴Ａ４０２を比較し、これらの類似度がある閾値を超えるか超えないか、または、これらの特徴量の差の合計・和の合計・積和などの値がある閾値を超えるか超えないか、による判定規則でよい。
【００８３】
相対位置や、どのような式で比較するか、閾値の値などはランダムに決定すればよい。ここで、従来法のようにｔｅｘｔｏｎ（非特許文献４参照）などの特徴量ではなく、第１の実施形態で得られたクラス分類や特徴量を用いることにより、より詳細な比較を行うことができる。
【００８４】
このような判定規則によって部分領域比較部Ｂ１０３は各部分領域を比較し、判定部Ｂ１０４は部分領域分類を判定して部分領域の集合を分割する。
【００８５】
（２−３）ステップ３
次に、判定規則選択部Ｂ１０５は、Ｂ１０４で得られた判定結果に基づいて最も適切な判定規則ｇ０，０（図８のＢ２０２）を選択して、判定規則記憶部Ｂ１０６がそれを記憶する。
【００８６】
判定規則選択部Ｂ１０５における判定規則の選択は、下記の方法がある。
【００８７】
第１の方法は、単純に部分領域の集合を均等に分割するような規則を選択する。
【００８８】
第２の方法は、よりクラス毎にまとまった集合に分割されるようにクラスのエントロピーが最小となるような規則を選択する。
【００８９】
（２−４）ステップ４
一方、判定規則統計算出部Ｂ１０７は、どのようなクラス分類に属する部分領域が判定規則ｇ０，０で判定を受けたかの統計情報を算出し、判定規則統計記憶部Ｂ１０８がそれを記憶する。
【００９０】
その統計情報は、例えばＢ２０３のような、クラス分類毎の頻度または頻度を全頻度で割った確率を用いればよい。このような処理を部分領域集合が十分小さくなるまで繰り返すことで、分類のための決定木が図８のように作成できる。
【００９１】
（３）学習処理Ｂ−（ｂ）
次に、得られた決定木に基づいてクラス分類の特徴量の学習処理Ｂ−（ｂ）について、図７と図９に基づいて説明する。
【００９２】
まず、部分領域集合Ｂ３０１のうち、クラスＣ１に属するものを上記決定木に基づいて次のように処理する。
【００９３】
部分領域比較部Ｂ１０３は、判定規則記憶部Ｂ１０６が記憶する判定規則ｇ０，０に基づいて比較を行い、判定部Ｂ１０４が部分領域分類を判定する。
【００９４】
このとき、判定規則特徴算出部Ｂ１０９は、判定規則統計記憶部Ｂ１０８が記憶する統計情報Ｂ３０３に基づいて、判定規則特徴を算出する。例えば、ある部分領域が深さ１の０番目のノードＢ３０４で判定規則の適用を受けたとすると、ノードＢ３０４が保持する統計情報Ｂ３０３を、特徴量Ｂ３０５における対応部分Ｂ３０６に加算する。
【００９５】
このような処理を部分領域が末端ノードに達するまで繰り返す。
【００９６】
クラスＣ１に属する部分領域集合全てに対して同様の処理を行い、必要によって正規化を行うことにより、クラスＣ１のもつ特徴量Ｂ３０５が計算される。判定規則特徴記憶部Ｂ１１０はこれらの特徴量を記憶する。
【００９７】
このようにして、末端ノードだけでなくその途中の深さにある中間ノードの統計情報も用いて特徴量Ｂ３０５を作成することにより、より高精度のクラス分類を行うことができるようになる。
【００９８】
（４）分類処理Ｂ−（ｃ）
次に、入力画像を分類する分類処理Ｂ−（ｃ）について図７と図１０に基づいて説明する。
【００９９】
まず、領域抽出部Ｂ１０１が、入力画像Ｂ４００から分類すべき領域ｒ内の部分領域集合Ｂ４０１を抽出する。ここで、分類すべき対象が画素１個である場合は、その画素を含む部分領域ｒを抽出すればよい。
【０１００】
部分領域集合Ｂ４０１に対して、前述の学習処理Ｂ−（ｂ）と同様の処理によって特徴量を加算することにより、領域ｒの特徴量Ｂ４０２が得られる。
【０１０１】
そして、判定規則特徴比較部Ｂ１１１は、算出された特徴量Ｂ４０２と、判定規則特徴記憶部Ｂ１１０が記憶する各クラス分類の特徴量Ｂ４０３とを比較し、類似度の高さに基づいて領域ｒがどのクラス分類に属するかを判定して出力する。
【０１０２】
ここで類似度は、特徴量Ｂ４０２とＢ４０３の相関値を用いればよいし、または式（１）と同様に計算してもよい。
【０１０３】
（５）効果
以上のようにして部分領域ｒのクラス分類を行うことで、従来よりも高精度のクラス分類が実現できる。
【０１０４】
（６）部分領域の事前確率に基づく補正
学習画像Ｂ２００には、検出したいクラス分類だけでなく、背景のような関係性の低いクラス分類が多く含まれる場合がある。そこで１．２節と同様、前節の処理Ｂ−（ｃ）において、判定規則特徴比較部Ｂ１１１が、全ての学習画像Ｂ２００から計算された判定規則統計情報を加算した特徴量Ｂ５０１（図１２）を算出し、それを比較処理に用いてもよい。
【０１０５】
具体的には、学習画像Ｂ２００の各部分領域が前節の処理において末端ノードに達したら、そのノードに対応する判定規則統計情報をクラス毎に加算していき、Ｂ５０１のような累計をとる。
【０１０６】
この結果、得られるクラス毎の頻度（確率）をＰ（ｃ）とすると、Ｐ（ｃ）の大きいクラスｃは学習画像Ｂ２００において広い領域を占める背景である可能性が高く、そのような背景の統計情報が過大に評価されている可能性が高い。そこで、入力領域ｒがクラスｃに属する確率Ｐ（ｃ｜ｒ）を以下のようにしてＰ（ｃ）によって重み付け補正する。
【数４】
2009271890.tif 000006
【０１０７】
これにより、学習画像Ｂ２００に含まれる背景クラスに大きく影響を受けずに領域ｒのクラス分類を行うことができる。
【０１０８】
（７）画像全体のクラス分類
上記第１の実施形態、第２の実施形態で得られる部分領域のクラス分類から、画像全体のクラス分類を得ることができる。
【０１０９】
例えば、画像に含まれる各画素のクラス分類結果のうち、もっとも頻度の高いクラス分類を画像全体のクラス分類とすればよい。または図１３のＢ６０１のように、分類すべき部分領域ｒとして入力画像全体を用いればよい。
【０１１０】
（第３の実施形態）
（１）画像処理装置の構成
図１４は、本発明の第３の実施形態の全体構成を示すブロック図である。
【０１１１】
図１４の画像処理装置は、画像全体のクラス分類を行う画像分類部Ｃ１０１と、画像からの対象検出・領域分割・領域分類を行う対象検出・領域分割・領域分類部Ｃ１０２とを備える。
【０１１２】
（２）処理内容
まず、画像全体のクラス分類を行う画像分類部Ｃ１０１は、３節で述べた処理によって、画像全体がクラス分類ｃに属する確率Ｐwhole（ｃ）を算出する。
【０１１３】
次に対象検出・領域分割・領域分類部Ｃ１０２は、まず第１の実施形態、第２の実施形態のような処理を行うことによって、入力領域ｒがクラスｃに属する確率Ｐorg（ｃ｜ｒ）を算出する。
【０１１４】
さらに、対象検出・領域分割・領域分類部Ｃ１０２は、Ｐwhole（ｃ）を用いて、
【数５】
2009271890.tif 000007
【０１１５】
として、入力領域ｒがクラスｃに属する確率Ｐnew（ｃ｜ｒ）を算出する。ここで、ａはクラス分類の確率Ｐwhole（ｃ）をどれだけ重視するかを示す重み係数であり、ａが大きいほどＰwhole（ｃ）が重視される。
【０１１６】
クラス分類ｃだと判定される画像においては、部分領域ｒもクラス分類ｃに属する可能性が高いため、このように部分領域のクラス分類判定に画像全体の分類結果を用いることで、より高精度のクラス分類を行うことができる。
【０１１７】
（性能改善の評価）
本実施形態の画像処理装置による処理と、従来方法の処理と比較した結果を図１７の表に示す。
【０１１８】
ＭＳＲＣデータセット（非特許文献４参照）で評価したところ、従来のｔｅｘｔｏｎｂｏｏｓｔ方法（非特許文献４参照）による正解率５８％、ｍａｒｃｏｖ  ｆｉｅｌｄ方法（J. Verbeek and B. Triggs. Region classification with marcov field aspect models. In CVPR, 2007.）による正解率６４％である。これに対して、本発明（本実施形態の画像処理装置）では６７％となり、より高い正解率を得た。
【０１１９】
また、処理時間についても、従来のｔｅｘｔｏｎｂｏｏｓｔ方法が６．０秒／枚、従来のｍａｒｋｏｖｆｉｅｄ方法が２．０秒／枚である。これに対して、本実施形態の画像処理装置では、０．１秒／枚と大幅に短縮することができた。
【０１２０】
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【０１２１】
上記各実施形態では、静止画像内の近傍領域を示す部分領域で説明したが、動画像においても、図１６のように、画像内の近傍及び時間方向の近傍を示す時空間的部分領域を用い、図５の比較対象であるＡ１及びＡ２や図１１の比較部分領域を異なる時刻の画像から選択することを許すことにより、静止画像と同様に処理を行うことができる。
【図面の簡単な説明】
【０１２２】
【図１】本発明の第１の実施形態の全体構成図である。
【図２】第１の実施形態の処理Ａ−（ａ）の概要である。
【図３】第１の実施形態の処理Ａ−（ｂ）の概要である。
【図４】第１の実施形態の処理Ａ−（ｃ）の概要である。
【図５】部分領６内の画素比較の例である。
【図６】第１の実施形態の処理の概要２である。
【図７】第２の実施形態の全体構成図である。
【図８】第２の実施形態の処理Ｂ−（ａ）の概要である。
【図９】第２の実施形態の処理Ｂ−（ｂ）の概要である。
【図１０】第２の実施形態の処理Ｂ−（ｃ）の概要である。
【図１１】部分領域のクラス分類及び判定規則特徴の比較の例である。
【図１２】第２の実施形態の処理の概要２である。
【図１３】画像全体のクラス分類処理の概要である。
【図１４】第３の実施形態の全体構成図である。
【図１５】対象検出・領域分割・領域分類の概念図である。
【図１６】画像の部分領域の概念図である。
【図１７】性能評価の表である。
【符号の説明】
【０１２３】
Ａ１０１    領域抽出部
Ａ１０２    判定規則生成部
Ａ１０３    部分領域比較部
Ａ１０４    判定部
Ａ１０５    判定規則選択部
Ａ１０６    判定規則記憶部
Ａ１０７    判定規則統計算出部
Ａ１０８    判定規則統計記憶部
Ａ１０９    判定規則特徴算出部
Ａ１１０    判定規則特徴記憶部
Ａ１１１    判定規則特徴比較部
【図１】
2009271890.tif 000008
【図２】
2009271890.tif 000009
【図３】
2009271890.tif 000010
【図４】
2009271890.tif 000011
【図５】
2009271890.tif 000012
【図６】
2009271890.tif 000013
【図７】
2009271890.tif 000014
【図８】
2009271890.tif 000015
【図９】
2009271890.tif 000016
【図１０】
2009271890.tif 000017
【図１１】
2009271890.tif 000018
【図１２】
2009271890.tif 000019
【図１３】
2009271890.tif 000020
【図１４】
2009271890.tif 000021
【図１５】
2009271890.tif 000022
【図１６】
2009271890.tif 000023
【図１７】
2009271890.tif 000024