(57)【要約】【課題】関心領域と周辺領域の領域情報や領域特徴を階層的に記述して階層的な領域分割を行なうことで、階層的な画像の自動インデクシング等を実現する。【解決手段】テクスチャ領域検出手段２は、解析対象となる画像データから大局的なテクスチャ領域を検出する。関心領域設定手段３は、この各テクスチャ領域に対する関心領域を設定する。周辺領域検出手段４は、この関心領域の部分領域との類似性が認められる当該関心領域の周辺領域を検出する。領域表現手段５は、この関心領域と周辺領域とに基づいて領域情報や領域特徴を階層的に記述する。【選択図】　　図１
2004021381.tif 000002
【特許請求の範囲】
【請求項１】
解析対象となる画像から大局的なテクスチャ領域を検出するテクスチャ領域検出手段と、
この検出されたテクスチャ領域の各々に対する関心領域を設定する関心領域設定手段と、
この関心領域の部分領域との類似性が認められる当該関心領域の周辺領域を検出する周辺領域検出手段と、
前記関心領域と前記周辺領域とに基づいて領域情報又は領域特徴を階層的に記述する領域表現手段と、
を備えている画像解析装置。
【請求項２】
前記テクスチャ領域検出手段は、前記解析対象の画像を所定の大きさのタイルに分割して、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、この特徴ベクトルに基づいて前記各タイルのラベリング又はクラスタリングを行なうことを、所定回数繰り返すことにより、前記テクスチャ領域の検出を行なう、請求項１に記載の画像解析装置。
【請求項３】
前記周辺領域検出手段は、対象となる画像を所定の大きさのタイルに分割し、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、前記関心領域内の前記タイルとその他の領域内の前記タイルとの間で前記特徴ベクトル同士の差異を算出し、前記関心領域に対する前記周辺領域の設定を行なうことを、所定回数繰り返すことにより、前記周辺領域の検出を行なう、請求項１又は２に記載の画像解析装置。
【請求項４】
解析対象となる画像から大局的なテクスチャ領域を検出するテクスチャ領域検出処理と、
この検出されたテクスチャ領域の各々に対する関心領域を設定する関心領域設定処理と、
この関心領域の部分領域との類似性が認められる当該関心領域の周辺領域を検出する周辺領域検出処理と、
前記関心領域と前記周辺領域とに基づいて領域情報又は領域特徴を階層的に記述する領域表現処理と、
をコンピュータに実行させるコンピュータに読取可能なプログラム。
【請求項５】
前記テクスチャ領域検出処理は、前記解析対象の画像を所定の大きさのタイルに分割して、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、この特徴ベクトルに基づいて前記各タイルのラベリング又はクラスタリングを行なうことを、所定回数繰り返すことにより、前記テクスチャ領域の検出を行なう、請求項４に記載のプログラム。
【請求項６】
前記周辺領域検出処理は、対象となる画像を所定の大きさのタイルに分割し、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、前記関心領域内の前記タイルとその他の領域内の前記タイルとの間で前記特徴ベクトル同士の差異を算出し、前記関心領域に対する前記周辺領域の設定を行なうことを、所定回数繰り返すことにより、前記周辺領域の検出を行なう、請求項４又は５に記載のプログラム。
【請求項７】
請求項４〜６の何れかの一に記載のプログラムを記憶している記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像解析装置、プログラム及び記憶媒体に関する。
【０００２】
【従来の技術】
領域分割は、画像解析における基本的な処理の一つであり、エッジによって境界を規定する方法、ある特徴量に基づいて領域の成長又は分割を繰り返す方法、特徴空間でのクラスタリングによる方法、及び、これらを組み合わせた方法の４つに大別することができる。
【０００３】
また、前述の特徴量に基づく方法において使用される特徴量としては、濃度値の各種統計量や、空間−周波数領域でのエネルギー分布パターンなどが主である。なお、後者の特徴量については、特にテクスチャ解析における有用性が高いとされる。
【０００４】
【発明が解決しようとする課題】
この種の画像解析技術における主要な目的は、基準となる特徴量が一様である領域を正確な形状で切り分けることである。しかしながら、画像に内在する特徴には、比較的広い領域でのみ観測が可能なものや、他の特徴をもつ領域との境界がはっきりしないものも考えられる。このような場合は、領域形状の自由度よりも、大局的な特徴をうまく捉えることを優先した手段を採ることが望ましいと考えられる。さらに、複数の領域をまとめて一つのオブジェクトとして検出することを考えた場合、従来のように単に一様な特徴を有するという基準に基づく分割だけでは明らかに不十分である。
【０００５】
この発明の目的は、階層的な画像の自動インデクシング、類似画像検索、オブジェクト検出を実現することである。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、解析対象となる画像から大局的なテクスチャ領域を検出するテクスチャ領域検出手段と、この検出されたテクスチャ領域の各々に対する関心領域を設定する関心領域設定手段と、この関心領域の部分領域との類似性が認められる当該関心領域の周辺領域を検出する周辺領域検出手段と、前記関心領域と前記周辺領域とに基づいて領域情報又は領域特徴を階層的に記述する領域表現手段と、を備えている画像解析装置である。
【０００７】
したがって、関心領域と周辺領域の領域情報や領域特徴を階層的に記述して階層的な領域分割を行なうことができるので、階層的な画像の自動インデクシングが実現し、また、階層的な類似画像検索やオブジェクト検出を実現することができる。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像解析装置において、前記テクスチャ領域検出手段は、前記解析対象の画像を所定の大きさのタイルに分割して、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、この特徴ベクトルに基づいて前記各タイルのラベリング又はクラスタリングを行なうことを、所定回数繰り返すことにより、前記テクスチャ領域の検出を行なう。
【０００９】
したがって、解析対象となる画像から大局的なテクスチャ領域を検出する処理を的確に行なうことができる。
【００１０】
請求項３に記載の発明は、請求項１又は２に記載の画像解析装置において、前記周辺領域検出手段は、対象となる画像を所定の大きさのタイルに分割し、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、前記関心領域内の前記タイルとその他の領域内の前記タイルとの間で前記特徴ベクトル同士の差異を算出し、前記関心領域に対する前記周辺領域の設定を行なうことを、所定回数繰り返すことにより、前記周辺領域の検出を行なう。
【００１１】
したがって、部分領域との類似性が認められる関心領域の周辺領域を検出する処理を的確に行なうことができる。
【００１２】
請求項４に記載の発明は、解析対象となる画像から大局的なテクスチャ領域を検出するテクスチャ領域検出処理と、この検出されたテクスチャ領域の各々に対する関心領域を設定する関心領域設定処理と、この関心領域の部分領域との類似性が認められる当該関心領域の周辺領域を検出する周辺領域検出処理と、前記関心領域と前記周辺領域とに基づいて領域情報又は領域特徴を階層的に記述する領域表現処理と、をコンピュータに実行させるコンピュータに読取可能なプログラムである。
【００１３】
したがって、関心領域と周辺領域の領域情報や領域特徴を階層的に記述して階層的な領域分割を行なうことができるので、階層的な画像の自動インデクシングが実現し、また、階層的な類似画像検索やオブジェクト検出を実現することができる。
【００１４】
請求項５に記載の発明は、請求項４に記載のプログラムにおいて、前記テクスチャ領域検出処理は、前記解析対象の画像を所定の大きさのタイルに分割して、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、この特徴ベクトルに基づいて前記各タイルのラベリング又はクラスタリングを行なうことを、所定回数繰り返すことにより、前記テクスチャ領域の検出を行なう。
【００１５】
したがって、解析対象となる画像から大局的なテクスチャ領域を検出する処理を的確に行なうことができる。
【００１６】
請求項６に記載の発明は、請求項４又は５に記載のプログラムにおいて、前記周辺領域検出処理は、対象となる画像を所定の大きさのタイルに分割し、この各タイル独立に所定の分解レベルまでウェーブレットフレーム分解を実行してから、当該タイル毎に特徴ベクトルの抽出を行なって、前記関心領域内の前記タイルとその他の領域内の前記タイルとの間で前記特徴ベクトル同士の差異を算出し、前記関心領域に対する前記周辺領域の設定を行なうことを、所定回数繰り返すことにより、前記周辺領域の検出を行なう。
【００１７】
したがって、部分領域との類似性が認められる関心領域の周辺領域を検出する処理を的確に行なうことができる。
【００１８】
請求項７に記載の発明は、請求項４〜６の何れかの一に記載のプログラムを記憶している記憶媒体である。
【００１９】
したがって、記憶しているプログラムにより請求項４〜６の何れかの一に記載の発明と同様の作用、効果を奏する。
【００２０】
【発明の実施の形態】
本発明の一実施の形態について説明する。
【００２１】
図１は、本実施の形態である画像解析装置１の概略構成を示す機能ブロック図である。この画像解析装置１は、解析対象となる画像データから大局的なテクスチャ領域を検出するテクスチャ領域検出手段２と、この各テクスチャ領域に対する関心領域を設定する関心領域設定手段３と、この関心領域の部分領域との類似性が認められる当該関心領域の周辺領域を検出する周辺領域検出手段４と、この関心領域と周辺領域とに基づいて領域情報や領域特徴を階層的に記述する領域表現手段５とを備えている。
【００２２】
図１は、画像解析装置１の電気的な接続を示すブロック図である。図１に示すように、画像解析装置１は、各種演算を行ない画像解析装置１の各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されている。
【００２３】
バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、マウス、キーボード等により構成される入力装置１５と、ＬＣＤ、ＣＲＴ等の表示装置１６と、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８とが接続され、また、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されている。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。
【００２４】
磁気記憶装置１４には、この発明のプログラムを実現する画像解析プログラムが記憶されている。この画像解析プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールにより画像解析装置１は動作可能な状態となる。すなわち、ＣＰＵ１１が画像解析プログラムに基づいて動作することにより、テクスチャ領域検出手段２、関心領域設定手段３、周辺領域検出手段４及び領域表現手段５の機能を実現する。そして、テクスチャ領域検出手段２によりテクスチャ領域検出処理を、関心領域設定手段３により関心領域設定処理を、周辺領域検出手段４により周辺領域検出処理を、領域表現手段５により領域表現処理を、それぞれ実現する。なお、画像解析プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。
【００２５】
以下では、画像解析プログラムに基づいて画像解析装置１が行なう処理の内容について説明する。
【００２６】
図３は、画像解析装置１においてテクスチャ領域検出手段２が行なう処理の概略を示すフローチャートである。図３に示すように、まず、所定のカウンタのカウント値ｋを０に初期化する（ステップＳ１）。次に、解析対象とする画像を所定の大きさのタイルに分割する（ステップＳ２）。例えば、原画像を（２ｋ＋１）２個のタイルに等分割する方法や、原画像を１枚のタイルとみなした上で各タイルを毎回４等分する方法などが考えられる。
【００２７】
次に、各タイル独立に、所定の分解レベルまでウェーブレットフレーム分解を実行する（ステップＳ３）。ウェーブレットフレーム分解の最も簡単な実施法は、ウェーブレット分解におけるダウンサンプリングを省略することである。また、分解レベルの限度は、タイルの大きさを考慮して決めればよい。
【００２８】
この後、タイル毎に特徴ベクトルの抽出を行なう（ステップＳ４）。すなわち、ステップＳ３のウェーブレットフレーム分解により、分解レベル毎に、ＬＬ成分、ＨＬ成分、ＬＨ成分そしてＨＨ成分の４種類にそれぞれ対応する係数値がタイルの画素数と同数ずつ得られる。ここで、Ｌは低域、Ｈは高域を表すアルファベットである。また、これらが二つ並んだ場合には、前に位置するアルファベットが水平方向、後に位置するアルファベットが垂直方向に対応するものとする。特徴ベクトルの要素には、各成分の平均エネルギーなどを採用すればよい。なお、必ずしもすべての分解レベルやすべての成分を特徴ベクトルの要素に採用する必要はない。例えば、微細な周期的変動による影響を抑制したい場合には、周期の短いフレームを用いる分解レベルの成分を使用しない方法もある。また、低域成分のエネルギーが高くなりすぎてしまう場合には、各分解レベルのＬＬ成分を使用しないことも考えられる。
【００２９】
次に、ステップＳ４にて抽出した特徴ベクトルに基づいて、各タイルのラベリング又はクラスタリングを行なう（ステップＳ５）。ラベリングについては、例えば、隣接するタイル間で特徴ベクトル同士の差異を算出し、その値が所定の値より小さいときに双方に同一の仮ラベルを与えておき、全タイルに対してその処理が終わった時点で、所定の数より多くのタイルに同一の仮ラベルが付与されている場合にその仮ラベルを確定し、確定したラベルを付与されたタイルはそれ以降ラベルの変更を行なわない、という方法が考えられる。なお、初期状態では、いずれのタイルにも例えば０などの初期ラベルを付与するといった処理をする場合もある。また、ラベリングに際して具体的に付与するラベルについては、双方のタイルとも現時点でのラベルが初期ラベルの場合は、未使用の仮ラベルを付与し、そうでない場合は、初期ラベルよりも仮ラベル、仮ラベルよりも確定ラベルを優先し、それらの種別が同一なら、他の隣接タイルとの特徴ベクトルの差異がより小さい方のラベルに統一するなどの規則が考えられる。
【００３０】
一方、クラスタリングについては、所定の数のクラスタ中心から所定の範囲内にある特徴ベクトルをもつタイルを同一のクラスタに分類すればよい。ただし、同じクラスタに分類されるタイルが近隣に存在しないタイルについては、分類を保留することも考えられる。
【００３１】
最後に、カウント値ｋを、繰り返し回数を表す所定値Ｋと比較する（ステップＳ６）。カウント値ｋがＫに達していないときは（ステップＳ６のＹ）、カウント値ｋを１だけインクリメントし（ステップＳ７）、ステップＳ２以降の処理を繰り返す。ｋの値がＫに達したときは（ステップＳ６のＮ）、一連の処理を終了する。
【００３２】
画像解析装置１において、関心領域設定手段３が行なう処理は、テクスチャ領域検出手段２が検出した領域のうちから関心領域を設定することである。関心領域とは、情報の重要性が相対的に高いとみなせる領域のことであり、これは領域の重心と画像の中心との距離や領域の大きさといった評価値に基づいて決めればよい。なお、関心領域は必ずしも一つでなくてもよい。テクスチャ領域検出手段２によって検出された領域の例を図４、関心領域設定手段３によって設定された関心領域の例を図５にそれぞれ示す。図４及び図５において、破線は、解析の対象とする画像の外形に対応し、実線は、検出または設定された領域の外形に対応するものとする。そして、Ｒ０〜Ｒ４がテクスチャ領域検出手段２によって検出された領域を示し、ＲＯＩが関心領域設定手段３によって設定された関心領域を示している。
【００３３】
図６は、画像解析装置１において、周辺領域検出手段４が行なう処理の概略を示すフローチャートである。図６に示すように、まず、所定のカウンタのカウント値ｋをＫに初期化する（ステップＳ１１）。そして、分析対象とする画像を所定の大きさのタイルに分割する（ステップＳ１２）。これは、例えば、原画像を（２ｋ＋１）２個のタイルに等分割すればよい。
【００３４】
次に、各タイル独立に所定のレベルまでウェーブレットフレーム分解を実行する（ステップＳ１３）。続いて、タイル毎に特徴ベクトルの抽出を行なう（ステップＳ１４）。そして、関心領域内のタイルとその他の領域内のタイルとの間で、特徴ベクトル同士の差異を算出する（ステップＳ１５）。この際、タイル間の位置関係による重み付けをするなどの方法も考えられる。次に、関心領域に対する周辺領域の設定を行なう（ステップＳ１６）。具体的には、ステップＳ１５で求めた各タイル間の差異が所定の値より小さくなるタイルを、周辺領域として設定すればよい。
【００３５】
最後に、カウント値ｋを、繰り返し回数を表す所定値Ｊと比較する（ステップＳ１７）。カウント値ｋの値がＪに達していないときは（ステップＳ１７のＹ）、カウント値ｋを１だけインクリメントし（ステップＳ１８）、ステップＳ１２以降の処理を繰り返す。カウント値ｋの値がＪに達したときは（ステップＳ１７のＮ）、一連の処理を終了する。
【００３６】
画像解析装置１において、領域表現手段５が行なう処理は、関心領域と周辺領域の情報や特徴を階層的に記述することである。領域情報には、領域の位置や形状を対応させればよい。一方、領域特徴には、テクスチャ領域検出手段２や周辺領域検出手段４で使用した特徴ベクトルや濃度値の統計量などを対応させればよい。
【００３７】
このように、画像解析装置１によれば、関心領域と周辺領域の領域情報や領域特徴を階層的に記述して階層的な領域分割を行なうことができるので、階層的な画像の自動インデクシングが実現し、また、階層的な類似画像検索やオブジェクト検出を実現することができる。
【００３８】
なお、図７に示すように、周辺領域の外側に位置する背景領域の情報や特徴をさらに階層的に記述することも考えられる。この場合、例えば周辺領域の外側に隣接するタイルなど、周辺領域と所定の位置関係にあるタイルを背景領域として扱えばよい。
【００３９】
【発明の効果】
請求項１，４に記載の発明は、関心領域と周辺領域の領域情報や領域特徴を階層的に記述して階層的な領域分割を行なうことができるので、階層的な画像の自動インデクシングが実現し、また、階層的な類似画像検索やオブジェクト検出を実現することができる。
【００４０】
請求項２，５に記載の発明は、請求項１，４に記載の発明において、解析対象となる画像から大局的なテクスチャ領域を検出する処理を的確に行なうことができる。
【００４１】
請求項３，６に記載の発明は、請求項１，２，４，５に記載の発明において、部分領域との類似性が認められる関心領域の周辺領域を検出する処理を的確に行なうことができる。
【００４２】
請求項７に記載の発明は、請求項４〜６の何れかの一に記載の発明と同様の効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態である画像解析装置の機能ブロック図である。
【図２】画像解析装置の電気的な接続を示すブロック図である。
【図３】画像解析装置のテクスチャ領域検出手段の処理を説明するフローチャートである。
【図４】テクスチャ領域検出手段によって検出された領域の例を示す説明図である。
【図５】関心領域設定手段によって設定された関心領域の例を示す説明図である。
【図６】画像解析装置の領域表現手段の処理を説明するフローチャートである。
【図７】画像解析装置で周辺領域の外側に位置する背景領域の情報や特徴をさらに階層的に記述する場合の説明図である。
【符号の説明】
１　　画像解析装置
２　　テクスチャ領域検出手段
３　　関心領域設定手段
４　　周辺領域設定手段
５　　領域表現手段
【図１】
2004021381.tif 000003
【図２】
2004021381.tif 000004
【図３】
2004021381.tif 000005
【図４】
2004021381.tif 000006
【図５】
2004021381.tif 000007
【図６】
2004021381.tif 000008
【図７】
2004021381.tif 000009