(57)【要約】【課題】コンテンツ内に含まれる画素値の色空間内での分布に着目することにより、コンテンツを一意に識別可能にする。【解決手段】本発明は、入力された画像を複数の小領域に分割し、分割された前記小領域に対して、各小領域に含まれる色情報を色空間にマッピングし、マッピングされた結果に基づいて、色空間内でクラスタリングし、色空間内の各クラスタに対して、代表情報を求め、各クラスタの代表情報から小領域の特徴量を求め、画像全体の情報列を形成する。【選択図】図１
2007188176.tif 000002
【特許請求の範囲】
【請求項１】
画像を特定することを目的として、画像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定方法であって、
画像分割手段が、入力された画像を複数の小領域に分割する領域分割ステップと、
色情報マッピング手段が、前記領域分割ステップで分割された前記小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピングステップと、
色情報クラスタリング手段が、前記色情報マッピングステップでマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリングステップと、
クラスタ代表情報抽出手段が、前記色情報クラスタリングステップで得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出ステップと、
情報列形成手段が、各クラスタの代表情報から小領域の特徴量を求め、画像全体の情報列を形成する情報列形成ステップと、
を行うことを特徴とするコンテンツ情報特定方法。
【請求項２】
映像を特定することを目的として、映像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定方法であって、
画像分割手段が、入力された映像の各フレームを複数の小領域に分割する領域分割ステップと、
色情報マッピング手段が、前記領域分割ステップで分割された前記小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピングステップと、
色情報クラスタリング手段が、前記色情報マッピングステップでマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリングステップと、
クラスタ代表情報抽出手段が、前記色情報クラスタリングステップで得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出ステップと、
情報列形成手段が、各クラスタの代表情報から小領域の特徴量を求め、フレーム毎に情報列を形成し、時間軸方向に並べて情報列を形成する情報列形成ステップと、
を行うことを特徴とするコンテンツ情報特定方法。
【請求項３】
前記領域分割ステップにおいて、
画像ないし映像のフレーム全体に対して、画像の特性に応じた複数種類の大きさの領域に分割するステップを行う請求項１または２記載のコンテンツ情報特定方法。
【請求項４】
前記色情報クラスタリングステップにおいて、
画像ないし映像の各フレーム内の隣接関係に基づいて、クラスタリングするステップを行う、請求項１または２記載のコンテンツ情報特定方法。
【請求項５】
画像を特定することを目的として、画像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定装置であって、
入力された画像を複数の小領域に分割する領域分割手段と、
前記領域分割手段で分割された前記小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピング手段と、
前記色情報マッピング手段でマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリング手段と、
前記色情報クラスタリング手段で得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出手段と、
各クラスタの代表情報から小領域の特徴量を求め、画像全体の情報列を形成する情報列形成手段と、
を有することを特徴とするコンテンツ情報特定装置。
【請求項６】
映像を特定することを目的として、映像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定装置であって、
入力された映像の各フレームを複数の小領域に分割する領域分割手段と、
前記領域分割手段で分割された前記小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピング手段と、
前記色情報マッピング手段でマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリング手段と、
前記色情報クラスタリング手段で得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出手段と、
各クラスタの代表情報から小領域の特徴量を求め、フレーム毎に情報列を形成し、時間軸方向に並べて情報列を形成する情報列形成手段と、
を有することを特徴とするコンテンツ情報特定装置。
【請求項７】
前記領域分割手段は、
画像ないし映像のフレーム全体に対して、画像の特性に応じた複数種類の大きさの領域に分割する手段を含む請求項５または６記載のコンテンツ情報特定装置。
【請求項８】
前記色情報クラスタリング手段は、
画像ないし映像の各フレーム内の隣接関係に基づいて、クラスタリングする手段を含む、請求項５または６記載のコンテンツ情報特定装置。
【請求項９】
コンピュータを、
前記請求項５乃至８記載のコンテンツ情報特定装置として機能させることを特徴とするコンテンツ情報特定プログラム。
【請求項１０】
コンピュータを、
前記請求項５乃至８記載のコンテンツ情報特定装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ情報特定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、画像もしくは映像のようなコンテンツを一意に特定するために必要な情報を抽出することを目的とした局所色空間分布を利用したコンテンツ情報特定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【０００２】
詳しくは、インターネットや外部に流通しているコンテンツの不正利用の防止やコンテンツ検索、コンテンツをキーとしたリファレンスサービスへの適用を目的とするものである。
【背景技術】
【０００３】
従来のコンテンツを特定するための代表的な技術には、電子透かし技術を用いてコンテンツ自体に情報を埋め込む方法とコンテンツ自体の特徴量を用いる方法がある。
【０００４】
まず、電子透かし技術では、事前にＩＤ等の識別情報をコンテンツに電子透かしとして埋め込んでおき、識別対象のコンテンツから透かし情報を検出することにより、所定のコンテンツかどうかを特定することができる（例えば、非特許文献１参照）。
【０００５】
一方、後者のコンテンツの特徴量を用いる方法では、コンテンツを適当な大きさの小領域に分割し、各小領域の特徴量（例えば平均値）を要素とするベクトルが類似していれば互いのコンテンツが類似であると見做す技術である（例えば、非特許文献２参照）。
【非特許文献１】http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/denshi_sukashi/2_b_1.htm
【非特許文献２】Jia Li, James Z Wang, Gio Wiederhold, “IRM: Ingrated Region Matching for Image Retrieval”, Proceedings of the eighth ACM international conference on Multimedia, pp.147-156 (2000)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の従来手法には以下のような課題があった。
【０００７】
電子透かし技術は、コンテンツ自体に識別情報を重畳するため、品質劣化を招くと同時に、事前に透かしを埋め込むという作業が生じるため手間がかかるという問題があった。
【０００８】
一方、コンテンツ特徴量抽出技術は、類似のコンテンツを検索するための特徴量抽出を目的としており、同一の特徴量を持つコンテンツが複数存在しうるため、同一のコンテンツのみを検出するには不適である。上記の問題の原因の一つは、コンテンツの特徴量を小領域の平均値等で代表している点にある。即ち、１つの小領域に対して、複数種類の色領域（明らかに異なる物体領域の色）がある場合、小領域を代表する値である平均値は、小領域内に含まれるどの領域の色をも代表していないという点である。この解決策として、コンテンツの分割数を細かくする手段が考えられるが、異なる色を持つ物体領域が必ずしも分割の形状と合致しているとは限らないため、情報量が多くなる割には的確に各小領域の特徴を表しているとはいえない。
【０００９】
本発明は、上記の点に鑑みなされたもので、コンテンツ内に含まれる画素値の色空間内での分布に着目することにより、コンテンツを一意に識別することのできるコンテンツ情報特定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
図１は、本発明の原理を説明するための図である。
【００１１】
本発明（請求項１）は、画像を特定することを目的として、画像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定方法であって、
画像分割手段が、入力された画像を複数の小領域に分割する領域分割ステップ（ステップ１）と、
色情報マッピング手段が、領域分割ステップで分割された小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピングステップ（ステップ２）と、
色情報クラスタリング手段が、色情報マッピングステップでマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリングステップ（ステップ３）と、
クラスタ代表情報抽出手段が、色情報クラスタリングステップで得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出ステップ（ステップ４）と、
情報列形成手段が、各クラスタの代表情報から小領域の特徴量を求め、画像全体の情報列を形成する情報列形成ステップ（ステップ５）と、を行う。
【００１２】
本発明（請求項２）は、映像を特定することを目的として、映像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定方法であって、
画像分割手段が、入力された映像の各フレームを複数の小領域に分割する領域分割ステップと、
色情報マッピング手段が、領域分割ステップで分割された小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピングステップと、
色情報クラスタリング手段が、色情報マッピングステップでマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリングステップと、
クラスタ代表情報抽出手段が、色情報クラスタリングステップで得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出ステップと、
情報列形成手段が、各クラスタの代表情報から小領域の特徴量を求め、フレーム毎に情報列を形成し、時間軸方向に並べて情報列を形成する情報列形成ステップと、を行う。
【００１３】
また、本発明（請求項３）は、請求項１または２の領域分割ステップにおいて、
画像ないし映像のフレーム全体に対して、画像の特性に応じた複数種類の大きさの領域に分割するステップを行う。
【００１４】
また、本発明（請求項４）は、請求項１または２の色情報クラスタリングステップにおいて、
画像ないし映像の各フレーム内の隣接関係に基づいて、クラスタリングするステップを行う。
【００１５】
図２は、本発明の原理構成図である。
【００１６】
本発明（請求項５）は、画像を特定することを目的として、画像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定装置であって、
入力された画像を複数の小領域に分割する領域分割手段２０と、
領域分割手段２０で分割された小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピング手段３０と、
色情報マッピング手段３０でマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリング手段４０と、
色情報クラスタリング手段４０で得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出手段５０と、
各クラスタの代表情報から小領域の特徴量を求め、画像全体の情報列を形成する情報列形成手段６０と、を有する。
【００１７】
本発明（請求項６）は、映像を特定することを目的として、映像自体から情報を抽出する局所色分布を利用したコンテンツ情報特定装置であって、
入力された映像の各フレームを複数の小領域に分割する領域分割手段２０と、
領域分割手段２０で分割された小領域に対して、各小領域に含まれる色情報を色空間にマッピングする色情報マッピング手段３０と、
色情報マッピング手段３０でマッピングされた結果に基づいて、色空間内でクラスタリングする色情報クラスタリング手段４０と、
色情報クラスタリング手段４０で得られた色空間内の各クラスタに対して、代表情報を求めるクラスタ代表情報抽出手段５０と、
各クラスタの代表情報から小領域の特徴量を求め、フレーム毎に情報列を形成し、時間軸方向に並べて情報列を形成する情報列形成手段６０と、を有する。
【００１８】
また、本発明（請求項７）は、請求項５または６の領域分割手段２０において、
画像ないし映像のフレーム全体に対して、画像の特性に応じた複数種類の大きさの領域に分割する手段を含む。
【００１９】
また、本発明（請求項８）は、請求項５または６の色情報クラスタリング手段４０において、
画像ないし映像の各フレーム内の隣接関係に基づいて、クラスタリングする手段を含む。
【００２０】
本発明（請求項９）は、コンピュータを、請求項５乃至８記載のコンテンツ情報特定装置として機能させるコンテンツ情報特定プログラムである。
【００２１】
本発明（請求項１０）は、コンピュータを、請求項５乃至８記載のコンテンツ情報特定装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２２】
上記のように本発明によれば、画像ないし映像の各フレームを小領域に分割し、小領域毎に色空間内のクラスタリングを行い、当該画像ないし映像の各フレーム内に含まれる色領域を抽出することにより、コンテンツを一意に識別するための情報を正確に表現することが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、図面と共に本発明の実施の形態を説明する。
【００２４】
なお、以下に示す図面において、実施の形態で同一機能を有するものについては同一符号を付し、その繰り返しの説明は省略する。
【００２５】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における装置構成図である。
【００２６】
同図に示すコンテンツ情報特定装置は、画像入力部１０、領域分割部２０、色情報マッピング部３０、色情報クラスタリング部４０、クラスタ代表情報抽出部５０、情報列形成部６０、情報列出力部７０、データベース８０、及び記憶メモリ９０から構成される。
【００２７】
画像入力部１０、領域分割部２０、色情報マッピング部３０、色情報クラスタリング部４０、クラスタ代表情報抽出部５０、情報列形成部６０、情報列出力部７０は、記憶メモリ９０と接続されている。
【００２８】
画像入力部１０は、入力された画像を記憶メモリ９０に格納する。
【００２９】
領域分割部２０は、記憶メモリ９０から画像を取得して、複数の領域に分割し、領域を記憶メモリ９０に格納する。
【００３０】
色情報マッピング部３０は、記憶メモリ９０から取得した各領域毎に座標に対応する画素値（例えば、ＲＧＢ成分）を割り当てたものを作成し、これを記憶メモリ９０に格納する。
【００３１】
色情報クラスタリング部４０は、記憶メモリ９０から領域毎のマッピングの結果を取得し、同一の小領域からの画素値で色空間内で近傍に位置するもの同士を一つにまとめてクラスタを生成し、各画素にクラスタの番号を割り当て（ラベリング）、その結果を記憶メモリ９０に保存する。
【００３２】
クラスタ代表情報抽出部５０は、記憶メモリ９０からクラスタリングの結果を取得し、領域毎に同一のラベルを持つ画素値の集合から代表情報を求め、その結果を記憶メモリ９０に格納する。
【００３３】
情報列形成部６０は、記憶メモリ９０から代表情報を取得し、情報列をある順番に基づいて並べて情報列出力部７０に渡す。
【００３４】
情報列出力部７０は、情報列形成部６０から取得したデータをデータベース８０に出力する。
【００３５】
以下、上記の構成における動作を説明する。
【００３６】
図４は、本発明の一実施の形態における処理の流れを示し、図５は、本発明の一実施の形態における処理イメージを示す。
【００３７】
以下では、画像を対象とする場合について説明するが、映像の各フレームにおける処理を画像に置き換えることによって映像の場合にも適用可能である。
【００３８】
ステップ１１０）  まず、はじめに、画像入力部１０により画像が入力されると、当該入力画像を記憶メモリ９０に格納する。
【００３９】
ステップ１２０）  次に、領域分割部２０が、記憶メモリ９０上にある画像を、複数の小領域に分割し、各小領域を記憶メモリ９０に格納する。各小領域は、図６（ａ）に示すように、画像全体に対して全て同一の大きさとする。小領域への分割においては、各小領域の画素数を固定にしても構わないし、分割数を固定（小領域の画素数は画像サイズに依存）しても構わない。
【００４０】
ステップ１３０）  その後、領域分割部２０によって得られた小領域に対して色情報マッピング部３０は、小領域内の画素値を色空間上にマッピングし、その結果を各領域毎に記憶メモリ９０に格納する。図６（ｂ）に示すように、領域１や領域２のように１つの小領域に複数種類の色が含まれている場合は、ＲＧＢ空間内で画素値が色の塊のような形で分布する。なお、ここでは、画素値をマッピングする色空間としてＲＧＢ空間を用いた例を示したが、実際にはＲＧＢ空間に限定されることなく、L*a*b*やL*u*v*等の均等色空間や、ＸＹＺ三刺激値を軸とする三次元空間であっても構わないし、また、ｘｙ色度図のような二次元空間にマッピングしても構わない。
【００４１】
ステップ１４０）  色情報クラスタリング部４０は、記憶メモリ９０から上記の色情報マッピング処理の結果を取得して、同一小領域からの画素値で色空間内で近傍に位置するもの同士を一つにまとめてクラスタを生成し、クラスタリング結果を記憶メモリ９０に格納する。なお、色空間内での近傍の判断は、例えば、３次元空間におけるユークリッド距離を計算し、その値がある閾値以下であれば近傍と見做す方法の他、色空間内での画素を原点からのベクトルと見做し、ベクトル間のなす角がある閾値以下であれば近傍と見做す等の方法がある。
【００４２】
ステップ１５０）  クラスタ代表情報抽出部５０は、記憶メモリ９０から各小領域に含まれる画素値の色空間内でのクラスタリング結果を取得して、当該クラスタに対して代表情報を抽出し、記憶メモリ９０に格納する。代表情報には、例えば、クラスタを構成する画素の平均画素値や分散、画素値の最頻値等を用いる。
【００４３】
ステップ１６０）  情報列形成部６０は、記憶メモリ９０に格納されているクラスタの代表情報を取得し、当該代表情報に基づいて情報列を生成し、記憶メモリ９０に格納する。各小領域に含まれるクラスタの数が複数種類ある場合、小領域毎にクラスタの代表情報を順番につなげて情報列とする。図７では、各小領域毎に、クラスタの代表情報を数値の小さい順に並べて情報列を形成する様子が示されている。領域１では、色情報クラスタリング部４０において、２種類のクラスタが生成されたため、各クラスタの代表情報が順番に並んでいる。一方、領域２からは、３種類のクラスタ生成されるため、クラスタの個数に対応して代表情報が並べられている。なお、情報列を生成する際の、小領域の順番は、画像の左上を起点としてラスタ形式に並べても構わないし、領域分割部２０による分割の段階で外側に位置する小領域のうち、最も輝度の高いものを起点として螺旋状に小領域のデータを並べても構わないし、それ以外の事前に決めた規則に従って並べても構わない。
【００４４】
ステップ１７０）  情報列形成部６０で生成され、記憶メモリ９０に格納されている情報列をデータベース８０に格納する。
【００４５】
［第２の実施の形態］
本実施の形態では、上記の第１の実施の形態におけるステップ１２０からステップ１３０間における他の例について説明する。
【００４６】
図８は、本発明の第２の実施の形態における装置構成図であり、図３の領域分割部２０と色情報マッピング部３０との間に、周波数特性計算部１１０、小領域特性判定部１２０、小領域統合・分割部１３０を付加した構成である。
【００４７】
図９は、本発明の第２の実施の形態における領域分割処理以降の動作のフローチャートである。以下に示す処理は、前述のステップ１２０とステップ１３０の間において行われる処理であり、その他の処理については、前述の第１の実施の形態と同様であるため、その説明を省略する。
【００４８】
ステップ１２０）  第１の実施の形態と同様に、領域分割部２０において、画像全体に対して同一の大きさからなる小領域に分割する。
【００４９】
ステップ１２１）  次に、周波数特性計算部１１０において、小領域毎に、周波数特性を計算する。ここで、周波数特性とは、以下の式（１）に示すフーリエ変換から得られる数値に対し、式（２）によって計算したパワースペクトルである。
【００５０】
【数１】
2007188176.tif 000003
なお、式（１）において、ｆ（ｘ）は座標系ｘにおける画素値であり、Ｆ（ｆ）はフーリエ変換結果である。
【００５１】
Ｐ（ｆ）＝│Ｆ（ｆ）│２                      式（２）
ステップ１２２）  上記で得られた周波数特性に基づき、小領域特性判定部１２０は、ステップ１２０で最初に分割した小領域を分割するか、統合するか、そのままにするかを判定する。１つの小領域の中に１種類の色領域しか存在しない場合には、パワースペクトルは図１０（ａ）に示すように、周波数成分の最も低い部分のみにピークを持つ。一方、１つの小領域の中に複数種類の色領域が存在する場合は図１０（ｂ）に示すように、複数の周波数成分に対してピークを持つ。上述の周波数特性により、パワースペクトルのピークが複数ある場合に、小領域を分割すると判断する。また、ピークが１種類のみの場合は、画像上で上下左右に隣接する領域が同様の特性を持っていれば、それらを１つの領域として統合すると判断する。
【００５２】
ステップ１２３）  最後に、小領域統合・分割部１３０は、小領域特性判定ステップ１２２における結果に基づいて、ステップ１２０での最初の小領域への分割結果に対して、統合と分割を行う。小領域をさらに分割する際には、より小さい小領域の画素数を固定する方法と、分割数を固定にする方法があるがどちらであっても構わない。
【００５３】
なお、ここでは、小領域の分割の判断を１回のみとしているが、分割後の小領域に対して、再度、周波数特性を計算し、分割か否かの判定を繰り返しても構わない。
【００５４】
また、上記の説明では、小領域の分割・統合の判断に周波数特性を用いる方法について説明したが、周波数特性を用いる代わりに、主成分分析による特性を用いて判断する方法もある。この場合の動作を以下に示す。
【００５５】
図１１は、本発明の第２の実施の形態における画像を小領域に分割する際の動作のフローチャートである。
【００５６】
ステップ１２０）  画像を同一の大きさからなる小領域に分割する。
【００５７】
ステップ１２４）  小領域毎に主成分を求める。主成分は小領域に含まれる画素値から共分散行列を作成し、その固有値、固有ベクトルを求めることによって得られる。固有値の大きい方から順に、第１主成分ベクトル、第２主成分ベクトル、…となる。ここでは、Ｒ，Ｇ，Ｂという三成分からなる色空間を対象としているため、第３主成分までが得られる。
【００５８】
ステップ１２５）  次に、各主成分の寄与率の相対関係（固有値の大小関係）に基づいて、小領域の統合と分割の判定を行う。第１主成分の寄与率が他の第２主成分以降の寄与率に比較して圧倒的に大きい場合には、対象小領域に含まれる色が１種類である可能性が高いため、分割を行わないものとし、更に、画像上で上下左右に隣接する領域も同様の特性があれば、それらを一つの領域として統合すると判断する。一方、第１主成分と第２主成分の寄与率が近似している場合には、１つの小領域に複数の色が含まれている可能性が高いため、小領域に分割すると判定する。
【００５９】
ステップ１２３）  最後に、主成分特性判定ステップ１２５における結果に基づいて、ステップ１２０での最初の小領域への分割結果に対して、統合と分割を行う。
【００６０】
図１２に、図６で示した画像を例に、小領域を統合・分割した結果を示す。図１２では、統合領域３及び統合領域４が、小領域統合・分割ステップ（ステップ１２３）によって統合された領域であり、分割領域５および分割領域６が分割された領域の例を示す。一つの小領域内に複数の色が含まれている場合には、小領域が更に分割されており、小領域内が殆ど同一の色で占められている場合には、その上下左右にある同一の特性を持つ領域と統合されていることが示されている。
【００６１】
なお、上述では、小領域特性判定ステップ（ステップ１２２）での結果に基づいて小領域の統合と分割の両方を行う処理について説明しているが、分割もしくは統合のどちらかの処理のみを実行しても構わない。
【００６２】
次の色情報マッピングステップ（ステップ１３０）は、前述の第１の実施の形態と同様であるので、説明は省略する。
【００６３】
各小領域から色空間への画素値のマッピング（色情報マッピングステップ（ステップ１３０））の後、色空間内で近傍に位置する画素同士を一つにまとめてクラスタリングする（ステップ１４０）。第１の実施の形態で説明したように、異なる小領域の画素は、色空間で近傍に位置している場合であっても、別なクラスタとして生成する。さらに、クラスタ生成後、クラスタとして生成可能かどうかの判定を行い、条件を満足しているもののみクラスタとして残す。ここで、クラスタ生成可否の判断は、例えば、クラスタ内に含まれる画素数が所定の数以上あるかどうか、もしくは、クラスタ内に含まれる画素数の、小領域内の画素数に示す割合が一定以上であるかどうかのような基準を用いる。なお、色空間内での近傍の判断に関しては、第１の実施の形態での説明と同様であるため説明を省略する。
【００６４】
また、次のクラスタ代表情報抽出ステップ（ステップ１５０）も、第１の実施の形態と同様であるため、この説明も省略する。
【００６５】
情報列形成ステップ（ステップ１６０）では、クラスタ代表情報抽出ステップ（ステップ１５０）で得られた結果に基づいて、画像の特性を表現する情報列を形成する。この処理では、各小領域に含まれるクラスタの数が複数種類ある場合、代表クラスタを一つ選定し、情報列を生成する。以下、クラスタ代表情報抽出部５０における、代表クラスタの選定方法について説明する。
【００６６】
図１３は、本発明の第２の実施の形態における代表クラスタの選定処理のフローチャートである。
【００６７】
ステップ１６１）  クラスタ代表情報抽出部５０は、各小領域に対して、クラスタの特徴情報を計算する。ここで、クラスタの特徴情報とは、例えば、一つのクラスタに含まれる画素数、クラスタ内の画素値の分散、クラスタの半径等の情報である。以下では、１クラスタ内の画素数を特徴情報とする場合について説明するが、分散や半径を用いても構わない。
【００６８】
ステップ１６２）  小領域毎にクラスタの特徴情報の計算結果から、一つのクラスタ内に含まれる画素の数が最も多いものを、代表クラスタに選定する。クラスタに含まれる画素数が多いということは、一小領域内でその色領域が占める割合が最も大きいことを示している。また、クラスタの特徴情報に、クラスタ内の画素数の分散を用いる場合は、分散の最も大きいクラスタを選択し、クラスタの半径を特徴情報に用いる場合は、半径の最も大きいクラスタを選択する。
【００６９】
ステップ１６０）  以上の処理により、一小領域に一つの代表クラスタが得られるので、これらのクラスタの代表情報から情報列を生成する。
【００７０】
なお、情報列の生成においては、第１の実施の形態にて説明したように、小領域を左上起点としたラスタ形式、輝度の大小に基づいて事前に決めた起点かららせん状等の方法に従って順番に並べても構わないのは自明である。
【００７１】
情報列に用いるクラスタとして、第１の実施の形態では、一小領域内の全てのクラスタを用いる場合について、第２の実施の形態では、複数のクラスタから一つを選択する場合について説明したが、これらの処理の前に、小領域毎に各クラスタの統計的な性質に基づいて、どちらかの方法を選択するという判断ステップを設けても構わない。例えば、小領域から得られる複数のクラスタに対し、クラスタ間分散とクラスタ内分散を計算し、
クラスタ間分散／クラスタ内分散  ＞  ｔｈ            式（３）
である場合、全てのクラスタの代表情報を用いると判定し、
クラスタ間分散／クラスタ内分散  ≦  ｔｈ            式（４）
である場合、複数のクラスタから一つを選択すると判断する。ここで、ｔｈは閾値である。
【００７２】
上記の判定においては、小領域の画素値をＲＧＢ色空間にマッピングすると、図１４の領域７のように複数のクラスタが離れて分布する場合と、領域８のように複数のクラスタが近い位置で分布する場合があり、それぞれ、クラスタ内分散に対するクラスタ間分散の値が異なる特性を持つことを利用する。即ち、前者は、小領域内で明らかに異なる色領域が複数存在する状態であり、クラスタ内分散に対するクラスタ間分散の比は大きくなり、（式（３））、一方、後者は前者に比較して小さい（式（４））。なお、式（３）、式（４）では、等号を式（４）に付けたが、式（３）に付けても構わないことは自明である。
【００７３】
ステップ１７０）  最後に、上記で生成された情報列をデータベース８０に格納する。
【００７４】
また、本発明は、上記の第１の実施の形態、第２の実施の形態で示した図３、図８に示す機能をプログラムとして構築し、コンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００７５】
また、構築されたプログラムをハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することも可能である。
【００７６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７７】
本発明は、インターネットや外部に流通しているコンテンツの不正利用の防止やコンテンツ検索、コンテンツをキーとしたリファレンスサービスに適用可能である。
【図面の簡単な説明】
【００７８】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における装置構成図である。
【図４】本発明の第１の実施の形態におけるフローチャートである。
【図５】本発明の第１の実施の形態における処理イメージを示す図である。
【図６】本発明の第１の実施の形態における領域分割の例である。
【図７】本発明の第１の実施の形態における情報列形成の例である。
【図８】本発明の第２の実施の形態における装置構成図である。
【図９】本発明の第２の実施の形態における領域分割処理以降の動作のフローチャートである。
【図１０】本発明の第２の実施の形態における小領域分割判断において分割する／しない場合の代表的なパワースペクトルの例である。
【図１１】本発明の第２の実施の形態における画像を小領域に分割する際の動作のフローチャートである。
【図１２】本発明の第２の実施の形態における領域分割処理の後、統合・分割判断を行った結果の例である。
【図１３】本発明の第２の実施の形態における代表クラスタの選定処理のフローチャートである。
【図１４】本発明の第２の実施の形態における小領域から得られるクラスタ分布の様子を示す図である。
【符号の説明】
【００７９】
１  領域
２  領域
３  統合領域
４  統合領域
５  分割領域
６  分割領域
７  領域
８  領域
１０  画像入力部
２０  領域分割手段、領域分割部
３０  色情報マッピング手段、色情報マッピング部
４０  色情報クラスタリング手段、色情報クラスタリング部
５０  クラスタ代表情報抽出手段、クラスタ代表情報抽出部
６０  情報列形成手段、情報列形成部
７０  情報列出力部
８０  データベース
９０  記憶メモリ
１１０  周波数特性計算部
１２０  小領域特性判定部
１３０  小領域統合・分割部
【図１】
2007188176.tif 000004
【図２】
2007188176.tif 000005
【図３】
2007188176.tif 000006
【図４】
2007188176.tif 000007
【図５】
2007188176.tif 000008
【図６】
2007188176.tif 000009
【図７】
2007188176.tif 000010
【図８】
2007188176.tif 000011
【図９】
2007188176.tif 000012
【図１０】
2007188176.tif 000013
【図１１】
2007188176.tif 000014
【図１２】
2007188176.tif 000015
【図１３】
2007188176.tif 000016
【図１４】
2007188176.tif 000017