(57)【要約】【課題】写真画像等の画像データから抽出した複数種類の特徴量に基づいて画像をオブジェクト領域毎に領域分割する画像分割方法および装置において、より適切な領域分割を行う。【解決手段】特徴量抽出手段により画像の画素毎に輝度色情報およびテクスチャ情報を求め、領域分割手段により輝度色情報およびテクスチャ情報の組み合わせが同等である画素を統合して画像をその統合された画素群の構成する複数の領域Ｉ〜ＶＩに分割し、領域統合手段によりこれらの領域のうちの注目領域ＩＩＩおよび注目領域Ｖを輝度色情報が同等である隣接する他の領域ＶＩと統合し、画像を複数の領域１〜４に分割する。【選択図】          図３
2004258752.tif 000002
【特許請求の範囲】
【請求項１】
画像の画素毎に複数種類の特徴量を求め、該複数種類の特徴量の組み合わせが同等である画素を統合して、前記画像を該統合された画素群が構成する複数の領域に分割し、該領域の少なくとも１つの領域を注目領域とし、該注目領域を前記複数種類の特徴量のうち少なくとも１種類の特徴量が同等である該注目領域に隣接する他の領域と統合して前記画像を複数の領域に分割することを特徴とする画像分割方法。
【請求項２】
前記他の領域が複数あるとき、
該複数の他の領域のうち前記注目領域との複数種類の特徴量のうちいずれか１つの特徴量の特徴量空間における距離が最小となる他の領域を前記注目領域と統合して前記画像を複数の領域に分割することを特徴とする請求項１記載の画像分割方法。
【請求項３】
画像の画素毎に複数種類の特徴量を求める特徴量抽出手段と、前記複数種類の特徴量の組み合わせが同等である画素を統合して前記画像を該統合された画素群が構成する複数の領域に分割する領域分割手段と、前記領域の少なくとも１つの領域を注目領域とし、該注目領域を前記複数種類の特徴量のうち少なくとも１種類の特徴量が同等である該注目領域に隣接する他の領域と統合して前記画像を複数の領域に分割する領域統合手段とを備えたことを特徴とする画像分割装置。
【請求項４】
前記領域統合手段が、
前記他の領域が複数あるとき、
該複数の他の領域のうち前記注目領域との複数種類の特徴量のうちいずれか１つの特徴量の特徴量空間における距離が最小となる他の領域を前記注目領域と統合して前記画像を複数の領域に分割するものであることを特徴とする請求項３記載の画像分割装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データから抽出した複数種類の特徴量に基づいて画像を複数の領域に分割する画像分割方法および装置に関するものである。
【０００２】
【従来の技術】
デジタルカメラ等で撮像した画像は、たとえば人物や海、空、建物その他の背景等を含むものである。その画像の中からその人物や背景等の画像データが１つのオブジェクトとして抽出すれば、各オブジェクト毎に異なる画像処理を行うことができるとともに、各オブジェクトの意味を判別してユーザーに提示することもできる。このためには、画像に含まれているオブジェクト毎にそれぞれオブジェクト領域を分割する必要がある。
【０００３】
そこで、１つのオブジェクトを構成する画像データは、色情報、テクスチャ情報、ウェーブレット係数等の特徴量が類似したものとなっている性質を利用し、画像データから上記特徴量を抽出し、この特徴量に基づいて画像を複数のオブジェクト領域に分割する方法が提案されている。たとえば、特許文献１においては、画像データの各画素について複数種類の特徴量を抽出し、その複数種類の特徴量を要素とした複数の特徴ベクトルを生成し、その特徴ベクトルを類似する特徴ベクトル毎に分類してクラスタリングし、そのクラスタリングされた結果に基づいて画像を複数のオブジェクト領域に分割する方法が提案されている。
【０００４】
【特許文献１】
特願２００２−２４６３９５号
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のように複数種類の特徴量からなる特徴ベクトルに基づいて画像を領域分割する際には、輝度情報や色情報とテクスチャ情報とではダイナミックレンジが異なるので、たとえば、各特徴量に異なる所定の係数を掛けて特徴ベクトルを生成するなどして重み付けがなされる。したがって、この重み付け次第で領域分割の結果が異なることになるため、重み付けの最適化が必要となるが、最適な重み付けは画像の対象毎に異なるため容易ではなく、画像の対象と重み付けを関連づけたデータベースなどが必要となりコストアップにもなる。
【０００６】
本発明は、画像データから抽出した複数種類の特徴量に基づいて画像を複数の領域に分割する画像分割方法および装置において、上記のようなデータベースなどを必要とすることなく、適切に画像をオブジェクト領域毎に分割することができる画像分割方法および装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像分割方法は、画像の画素毎に複数種類の特徴量を求め、その複数種類の特徴量の組み合わせが同等である画素を統合して、画像をその統合された画素群が構成する複数の領域に分割し、その領域の少なくとも１つの領域を注目領域とし、その注目領域を複数種類の特徴量のうち少なくとも１種類の特徴量が同等である該注目領域に隣接する他の領域と統合して画像を複数の領域に分割することを特徴とする。
【０００８】
ここで、上記「複数種類の特徴量」としては、たとえば、輝度情報、色情報およびテクスチャ情報などがある。テクスチャ情報とは画像におけるエッジに関する情報であり、たとえば、ウェーブレット変換係数、ＤＣＴ係数および１次微分フィルタ演算処理結果、２次微分フィルタ処理結果などを利用することができる。
【０００９】
上記「複数種類の特徴量の組み合わせが同等」とは、画素が有する複数の特徴量の各特徴量のそれぞれが同じ分類に属することを意味する。同じ分類に属するとは、たとえば、特徴量の値が所定の値の範囲内にあることをいう。また、そのような所定の値の範囲内にある特徴量を他の１つの値に置き換えた場合に、その値の組み合わせが同じであることも含むものとする。
【００１０】
上記画像分割方法においては、他の領域が複数あるとき、その複数の他の領域のうち注目領域との複数種類の特徴量のうちいずれか１つの特徴量の特徴量空間における距離が最小となる他の領域を注目領域と統合して画像を複数の領域に分割するようにすることができる。
【００１１】
ここで、上記「特徴量の特徴量空間における距離」とは、たとえば、上記注目領域における全画素の特徴量の平均値と他の領域における全画素の特徴量の平均値とのユークリッド距離のことをいう。
【００１２】
本発明の画像分割装置は、画像の画素毎に複数種類の特徴量を求める特徴量抽出手段と、複数種類の特徴量の組み合わせが同等である画素を統合して画像をその統合された画素群が構成する複数の領域に分割する領域分割手段と、上記領域の少なくとも１つの領域を注目領域とし、その注目領域を複数種類の特徴量のうち少なくとも１種類の特徴量が同等である該注目領域に隣接する他の領域と統合して画像を複数の領域に分割する領域統合手段とを備えたことを特徴とする。
【００１３】
上記画像分割装置においては、領域統合手段を、他の領域が複数あるとき、その複数の他の領域のうち注目領域との複数種類の特徴量のうちいずれか１つの特徴量の特徴量空間における距離が最小となる他の領域を注目領域と統合して画像を複数の領域に分割するものとすることができる。
【００１４】
【発明の効果】
本発明の画像分割方法および装置によれば、画像の画素毎に複数種類の特徴量を求め、その複数種類の特徴量の組み合わせが同等である画素を統合して画像をその統合された画素群が構成する複数の領域に分割し、該領域の少なくとも１つの領域を注目領域とし、その注目領域を複数種類の特徴量のうち少なくとも１種類の特徴量が同等である該注目領域に隣接する他の領域と統合して画像を複数の領域に分割するようにしたので、上述したようなデータベースを必要とすることなく、適切なオブジェクト領域毎の領域分割を行うことができる。
【００１５】
上記画像分割方法および装置において、他の領域が複数あるとき、その複数の他の領域のうち注目領域との複数種類の特徴量のうちいずれか１つの特徴量の特徴量空間における距離が最小となる他の領域を注目領域と統合して画像を複数の領域に分割するようにした場合には、注目領域と統合する他の領域の最適化を図ることができ、より適切なオブジェクト領域毎の領域分割を行うことができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の画像分割方法を実施する画像分割装置の一実施形態について説明する。図１は上記実施形態の構成を示すブロック図である。本実施形態による画像分割装置は、画像の画素毎に輝度色情報およびテクスチャ情報を抽出し、この輝度色情報およびテクスチャ情報のそれぞれの組み合せが同等である画素を統合して画像を複数の領域に分割し、その領域の少なくとも１つの領域を輝度色情報が同等である隣接領域と統合して画像を複数の領域に分割するものである。
【００１７】
本実施形態による画像分割装置は、図１に示すように、画像データから輝度色情報およびテクスチャ情報を抽出する特徴量抽出手段１０、特徴量抽出手段１０により抽出された輝度色情報およびテクスチャ情報のそれぞれについてクラスタリング処理を施すクラスタリング処理手段１２、クラスタリング処理手段１２によりクラスタリング処理の施された輝度色情報およびテクスチャ情報のそれぞれについてラベリング処理を施すラベリング処理手段１４、ラベリング処理手段１４によりラベリング処理の施された輝度色情報およびテクスチャ情報のそれぞれについて微小領域統合処理を施す微小領域統合処理手段１６、微小領域統合処理手段１６により微小領域統合処理の施された輝度色情報およびテクスチャ情報のそれぞれについて、ラベリングデータの組み合せが同じ画素を統合して画像を複数の領域に分割する領域分割手段２０、および領域分割手段２０により分割された複数の領域のうちの所定の画素数以下の領域を輝度色情報に基づいてその領域に隣接する領域に統合して画像を複数の領域に分割し、領域分割画像を出力する領域統合手段２２とを備えている。
【００１８】
特徴量抽出手段１０は、図１に示すように、画像データから輝度色情報を抽出するＲＧＢ−ＹＣＣ変換処理部１１と画像データからテクスチャ情報を抽出するテクスチャ情報抽出処理部１３とを有している。
【００１９】
ラベリング処理手段１４は、実空間において同じクラスタを示す数値を有する画素がまとまっている領域に対して同じラベルを付けてラベリング処理を行うものである。このラベリング処理は、クラスタリング処理手段１２においてクラスタリングされた結果は、同じクラスタに属している画素はベクトル空間ではまとまるが、実空間では離散的に分布していることもあるため施される処理である。
【００２０】
微小領域統合処理手段１６は、ラベリング処理手段１４によりラベリング処理を施した結果に基づいて領域分割すると、数画素〜数十画素からなる微小領域は実際は不必要な領域であるのに、１つの領域として分割されてしまうため、このような微小領域を隣接領域に統合する処理を行うものである。
【００２１】
次に、本発明の画像分割装置の一実施形態の作用について説明する。
【００２２】
まず、画像データが特徴量抽出手段１０のＲＧＢ−ＹＣＣ変換処理部１１およびテクスチャ情報抽出処理部１３に入力される。そして、ＲＧＢ−ＹＣＣ変換処理部１１は、画像データの各画素データについてのＲＧＢ成分を生成し、このＲＧＢ成分にＲＧＢ−ＹＣＣ変換処理を施し、画像データの各画素データについてのＹＣＣ成分を生成する。なお、本実施の形態では、輝度色情報として上記のようにＹＣＣ成分を生成するようにしたが、各画素データについてのＲＧＢ成分をそのまま利用してもよい。また、上記のようにＹＣＣ成分に変換することに限らず、ＨＳＶ変換、Ｌ＊ａ＊ｂ＊変換などを利用して輝度色情報を抽出するようにしてもよい。そして、ＲＧＢ−ＹＣＣ変換処理部１１は各画素データについてのＹＣＣ成分をクラスタリング処理手段１２に出力する。
【００２３】
クラスタリング処理手段１２は、ＹＣＣ成分の各成分（Ｙ成分、Ｃｂ成分およびＣｒ成分）を要素としたベクトル空間（輝度色情報としてＹＣＣ成分を利用する場合には３次元空間）上において、各画素データについてのＹＣＣ成分の各成分を要素とするベクトルをマッピングする。マッピングされたベクトル空間では、似ているＹＣＣ成分を持つ画素データのベクトルが集まりクラスタが形成されるため、このクラスタ毎に各画素データをまとめる。そして、各クラスタに割り当てられた画素データにクラスタ毎に異なる数値を付し、その結果をラベリング処理手段１４に出力する。
【００２４】
ラベリング処理手段１４は、上記のようにして求められたベクトル空間上でのクラスタリング処理結果を実空間に写像し、実空間において同じクラスタの属する画素がまとまっている領域の画素に同じ名前（たとえば、数値で０，１，２…）を付する。そして、ラベリング処理手段１４はラベリング処理結果を微小領域統合処理手段１６に出力する。
【００２５】
微小領域統合処理手段１６は、入力されたラベリング処理結果に基づいて分割された領域のうち、最も画素数が少ない最小領域を抽出する。そして、この最小領域の画素数が所定の閾値（所定の閾値としては、たとえば全体画素数の１／１０００程度）以下である場合に、この領域を処理対象領域とし、この処理対象領域が外接する矩形領域に存在する隣接領域（図２参照）を抽出する。そして、処理対象領域の代表値として処理対象領域内の画素データのＹ成分、Ｃｂ成分およびＣｒ成分のそれぞれの平均値を求める。また、同様に、各隣接領域について上記代表値を求める。そして、処理対象領域の代表値と隣接領域の代表値とをＹ成分、Ｃｒ成分およびＣｂ成分を軸とする３次元座標上にプロットした場合の処理対象領域の代表値から隣接領域の代表値までのユークリッド距離を計測する。そして、その中から最短距離となる隣接領域を抽出し、処理対象領域と隣接領域とを統合し、その統合された処理対象領域の画素のラベルを隣接領域の画素のラベルに付けなおす。そして、次に再び最も画素数の少ない最小領域を抽出し、この最小領域の画素数が所定の閾値以下である場合には、上記と同様にして隣接領域と統合する。そして、所定の閾値以下の画素数である領域がなくなるまで上記処理を繰り返し、その結果を領域分割手段１８に出力する。
【００２６】
一方、画像データが入力されたテクスチャ情報抽出処理部１３は、画像データからエッジ信号を検出し、そのエッジ信号の検出結果を各画素データのテクスチャ情報としてクラスタリング処理手段１２に出力する。エッジ信号の検出は、たとえば、１次微分フィルタ処理やラプラシアンフィルタ処理などを用いて行うようにしてもよいし、ウェーブレット変換係数やＤＣＴ係数をテクスチャ情報として用いるようにしてもよい。また、縦、横および斜めの１次微分フィルタ処理の結果を３次元の情報として利用するようにしてもよいし、画像データＳ０に多重解像度処理を施し、高解像度画像におけるテクスチャ情報および低解像度画像におけるテクスチャ情報を２次元の情報として利用するようにしてもよい。
【００２７】
クラスタリング処理部１２は、入力されたエッジ信号の検出結果に基づいて、エッジ信号が集合した部分とエッジ信号が少ない部分とでクラスタリングし、その結果をラベリング処理手段１４に出力する。具体的には、エッジ信号にモフォロジー演算処理を施した結果などを用いてクラスタリングするようにすればよい。
【００２８】
ラベリング処理手段１４は、入力されたクラスタリング処理結果に基づき、上記と同様にしてラベリング処理を施し、微小領域統合処理手段１６は、上記ラベリング処理結果に上記と同様にして微小領域統合処理を施し、その結果を領域分割手段１８に出力する。
【００２９】
上記のようにして領域分割手段１８には、画像データを輝度色情報に基づいて領域分割された結果とテクスチャ情報に基づいて領域分割された結果とが入力される。そして、たとえば、輝度色情報に基づいて領域分割した結果が、図３（ａ）に示すような、ラベル０の付された領域Ａ、ラベル１の付された領域Ｂおよびラベル２の付された領域Ｃの３つの領域に分割されたものであり、また、テクスチャ情報に基づいて領域分割された結果が、図３（ｂ）に示すような、ラベル０の付された領域ａおよびラベル１の付された領域ｂの２つの領域に分割されたものであるとすると、領域分割手段１８は、輝度色情報領域分割結果において付されたラベルとテクスチャ情報分割結果において付されたラベルとの両方に基づいて各画素に再びラベリングする。具体的には、たとえば、所定の画素について、輝度色情報領域分割結果のラベルが０であって、テクスチャ情報領域分割結果のラベルが０である場合には、その画素にはラベル０を付し、所定の画素について、輝度色情報領域分割結果のラベルが１であって、テクスチャ情報領域分割結果のラベルが０である場合には、その注目画素には統合ラベル１を付し、というように輝度色情報領域分割結果のラベルとテクスチャ情報領域分割結果のラベルとの組み合せが同じもの対して同じ統合ラベルが付される。統合ラベルは図４の表に従って付され、その統合ラベルに基づいて画像が領域Ｉ〜領域ＶＩに領域分割される。上記のようにして再領域分割された結果が、領域統合手段２０に出力される。
【００３０】
領域統合手段２０は、入力された再領域分割された結果について、上記に説明した微小領域統合処理手段１６における処理と同様の処理を施すが、処理対象領域を判断する際の画素数の閾値は、たとえば、上記閾値よりも大きい値にするなど異なるものとしてもよい。また、領域統合処理手段２０は、輝度色情報に基づいてのみ領域統合処理を行う。図３（ｃ）のように再領域分割された結果において、領域Ｉ〜領域ＶＩのうち領域ＩＩＩと領域Ｖが処理対象領域と判断された場合にはまず、領域ＩＩＩは領域ＩＶとともに領域Ｃであったため、輝度色情報を代表値とした距離は０となり、図３（ｄ）に示すように、領域ＩＩＩと領域ＩＶが統合されて領域４となり、領域Ｖと領域ＩＩはともに領域Ｂであったため、両者の代表値間の距離は０となり、図３（ｄ）に示すように、領域Ｖと領域ＩＩが統合されて領域２となる。また、領域ＩＶは、領域が大きく、画素数が閾値より大きいため、図３（ｄ）に示すように、独立した新しい領域３となる。上記のように領域統合処理を施すことにより、図３（ｃ）の段階で微小領域となった場合は、輝度色情報に基づいて分割された領域に復元し、微小領域にならなかった場合は、輝度色情報の基づいて分割された領域をさらに分割することが可能となる。つまり、輝度色情報による領域分割画像とテクスチャ情報による領域分割画像の長所を兼ね備えた領域分割画像を生成することができる。
【００３１】
また、人間は画像を遠くから見た場合、主に輝度変化と色変化でオブジェクト領域毎の分割を行っていると考えられるので、上記のように輝度色情報に基づいて領域統合処理を施すようにすれば、より人間の感覚に近い領域分割を行うことができる。
【００３２】
なお、図３（ｄ）においては、輝度色情報であるＹＣＣ成分に基づいて領域統合処理を施しているが、輝度情報（Ｙ成分）だけで領域統合処理を施すようにしてもよい。
【００３３】
また、上記実施形態においては、輝度色情報およびテクスチャ情報のそれぞれについてクラスタリング処理およびラベリング処理を施した後、それぞれのラベリング処理の結果について微小領域統合処理を施すようにしたが、この微小領域統合処理を行わないようにしてもよく、上記それぞれのラベリング処理の結果に基づいて領域分割手段１８において再領域分割処理を行うようにしてもよい。
【００３４】
また、上記実施形態においては、輝度色情報およびテクスチャ情報のそれぞれについてクラスタリング処理を施した後、それぞれのクラスタリング処理結果にラベリング処理を施すようにしたが、ラベリング処理を行わないようにしてもよく、輝度色情報およびテクスチャ情報のそれぞれについてクラスタリング処理を施した後に、それぞれのクラスタリング処理の結果により各画素に付されたクラスタの数値を用いて統合ラベルを各画素に付し、その統合ラベルに基づいて再領域分割するようにしてもよい。なお、上記の場合、たとえば、輝度色情報に基づくクラスタリング処理結果におけるクラスタ数が１６で、テクスチャ情報に基づくクラスタリング処理結果におけるクラスタ数が４である場合には、１６×４＝６４個の統合ラベルが付されることになる。
【００３５】
なお、上記本発明による画像分割方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【図面の簡単な説明】
【図１】本発明の画像分割装置の一実施形態を示すブロック図
【図２】図１に示す画像分割装置における微小領域統合処理を説明するための図
【図３】図１に示す画像分割装置の領域分割手段および領域統合手段における処理を説明するための図
【図４】図１に示す画像分割装置の領域分割手段における処理を説明するための図
【符号の説明】
１０    特徴量抽出手段
１１    ＲＧＢ−ＹＣＣ変換処理部
１２    クラスタリング処理手段
１３    テクスチャ情報抽出処理部
１４    ラベリング処理手段
１６    微小領域統合処理手段
１８    領域分割手段
２０    領域統合手段
【図１】
2004258752.tif 000003
【図２】
2004258752.tif 000004
【図３】
2004258752.tif 000005
【図４】
2004258752.tif 000006