(57)【要約】【課題】コンテンツ自体の情報を用いつつ、かつ、回転変換にロバストな画像情報抽出・検索を可能にする。【解決手段】本発明は、入力された画像を均等な小領域（ブロック）に分割し、領域分割されたブロック毎に代表情報を抽出し、各ブロックの代表情報に基づいて画像情報を表現する際の起点を求め、起点となるブロックを先頭として画像の全てもしくは、一部のブロックの代表情報からなる情報列を形成し、データベースに格納する。そして、入力された対象画像について、上記と同様の方法で情報列を形成し、データベースに格納されている複数の画像のそれぞれに対応する画像情報の情報列を検索し、該画像情報の情報列との一致度を判定し、一致と判定された場合に、該当の画像を出力する。【選択図】図１
2007148685.tif 000002
【特許請求の範囲】
【請求項１】
画像を特定することを目的として画像自体から情報を抽出する画像情報抽出方法であって、
領域分割手段が、入力された画像を均等な小領域（ブロック）に分割する領域分割ステップと、
代表情報抽出手段が、領域分割されたブロック毎にブロック内の画素値の情報を加工して得られる値に基づいて代表情報を抽出する代表情報抽出ステップと、
起点決定手段が、各ブロックの代表情報を順番に並べるための起点となる起点ブロックを求める起点決定ステップと、
情報列形成手段が、前記起点決定ステップで得られた前記起点ブロックを先頭として画像の全てもしくは、一部のブロックの代表情報からなる情報列を形成し、データベースに格納する情報列形成ステップと、
を行うことを特徴とする画像情報抽出方法。
【請求項２】
前記代表情報抽出ステップにおいて、
全てのブロックに対して、同一種別の代表情報を抽出する、
請求項１記載の画像情報抽出方法。
【請求項３】
前記代表情報抽出ステップにおいて、
ブロック毎に、異なる種別の代表情報を抽出する、
請求項１記載の画像情報抽出方法。
【請求項４】
前記起点決定ステップにおいて、
画像の四角周辺の１乃至複数のブロックを選択するブロック選択ステップと、
前記ブロック選択ステップによって得られた１乃至複数のブロックに対して、同一種別の代表情報からその平均値を計算する第１の平均代表情報計算ステップと、
前記第１の平均代表情報計算ステップによって得られた四角周辺の１乃至複数のブロックの代表情報の平均値の大小関係に基づいて起点を求める第１の起点選択ステップと、
を行う請求項１記載の画像情報抽出方法。
【請求項５】
前記起点決定ステップにおいて、
画像の外周に属するブロックを方向別に分割するブロック方向別選択ステップと、
分割された１乃至複数のブロックの同一種別の代表情報から平均値を計算する第２の平均代表情報計算ステップと、
前記第２の平均代表情報計算ステップによって得られた方向毎の平均代表情報の大小関係に基づいて起点を求める第２の起点選択ステップと、
を行う請求項１記載の画像情報抽出方法。
【請求項６】
前記代表情報抽出ステップ及び前記起点決定ステップにおいて、
各ブロックから抽出される代表情報は、同一ブロック内に含まれる画素値の統計量もしくは、形状に関する情報もしくはエッジの強度もしくは主成分方向もしくはＤＣＴ係数及びこれらの組み合わせ、もしくはこれらの情報を加工したものである、
請求項１乃至５記載の画像情報抽出方法。
【請求項７】
前記情報列形成ステップにおいて、
前記起点決定ステップによって得られた起点となるブロックを先頭に、時計回り、乃至は、反時計回りに、らせん状にブロックの代表情報データを並べて情報列を形成する、
請求項１記載の画像情報抽出方法。
【請求項８】
前記情報列形成ステップにおいて、
前記起点決定ステップによって得られた起点となるブロックを先頭として、ラスタ形式でブロックの代表情報データを順に並べて前記情報列を形成する、
請求項１記載の画像情報抽出方法。
【請求項９】
コンピュータに、
請求項１乃至８記載のステップを実行させることを特徴とする画像情報抽出プログラム。
【請求項１０】
入力画像と同一のものを複数の画像の情報列が格納されたデータベースから検索する画像情報検索方法であって、
領域分割手段が、入力された対象画像を均等な小領域（ブロック）に分割する領域分割ステップと、
代表情報抽出手段が、領域分割された前記ブロック毎にブロック内の画素値の情報を加工して得られる値に基づいて代表情報を抽出する代表情報抽出ステップと、
起点決定手段が、各ブロックの代表情報を順番に並べるための起点となる起点ブロックを求める起点決定ステップと、
情報列形成手段が、前記起点決定ステップで得られた起点となるブロックを先頭として画像の全て、もしくは、一部のブロックの代表情報からなる情報列を形成する情報列形成ステップと、
情報列一致判定手段が、前記情報列形成ステップで得られた情報列と、前記データベースに格納されている前記複数の画像のそれぞれに対応する画像情報の情報列を検索し、該画像情報の情報列との一致度を判定する情報列一致判定ステップと、
画像出力手段が、前記情報列一致判定ステップにおいて、一致と判定された場合に、該当の画像を出力する画像出力ステップと、
を行うことを特徴とする画像情報検索方法。
【請求項１１】
入力画像と同一のものを複数の画像の情報列が格納されたデータベースから検索する画像情報検索方法であって、
領域分割手段が、入力された対象画像を均等な小領域（ブロック）に分割する領域分割ステップと、
部分代表情報抽出手段が、領域分割された前記ブロックの一部に対して、ブロック内の画素値の情報を加工して得られる値に基づいて代表情報を抽出する部分代表情報抽出ステップと、
一致可能性判定手段が、前記部分代表情報抽出ステップで得られた一部のブロックの代表情報を用いて、前記データベースに格納されている複数の画像それぞれに対応する画像情報の情報列との一致可能性の判定を行う一致可能性判定ステップと、
前記一致可能性判定ステップにて一致可能性があると判定された場合、前記対象画像の全てのブロックに対して代表情報を求める代表情報抽出ステップと、
情報列形成手段が、前記代表情報抽出ステップで得られたブロック毎の代表情報に基づいて情報列を形成する情報列形成ステップと、
情報列一致判定手段が、前記情報列形成ステップで得られた情報列と、前記一致可能性判定ステップにおいて一致可能性ありと判定された前記データベースに格納されている前記複数の画像に対応する情報列との一致度を判定する情報列一致判定ステップと、
画像出力手段が、前記情報列一致判定ステップにおいて、一致と判定された場合に、該当の画像を出力する画像出力ステップと、
を行うことを特徴とする画像情報検索方法。
【請求項１２】
前記一致可能性判定ステップにおいて、
前記データベースに格納されている画像に対応する情報列から起点となるブロックの位置を求める、
請求項１１記載の画像情報検索方法。
【請求項１３】
複数の画像の情報列が格納されたデータベースを有するコンピュータに、
請求項１０乃至１２記載のステップを実行させることを特徴とする画像情報検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報抽出方法及び画像情報検索方法及びプログラムに係り、特に、画像を一意に特定するために必要な情報を抽出するための画像情報抽出方法及びプログラム、及び、得られた画像表現に基づいて、所定の画像と同一かどうかを検索・判定する画像情報検索方法及びプログラムに関する。
【背景技術】
【０００２】
従来、コンテンツの不正利用の抑止を目的として、インターネット等、外部に出回っているコンテンツとローカルデータベース内に格納されているコンテンツが同一であるかどうかを判定する手法には、三種類の方式が知られている。
【０００３】
１つ目は電子透かし技術であり、２つ目はハッシュ関数、３つ目は特徴量マッチング技術である。以下、それぞれの技術に関して概要を説明する。
【０００４】
まず、１つ目の電子透かし技術を用いた方法では、コンテンツを一意に表す情報、例えば、ＩＤ等の情報を電子透かしとして事前にコンテンツに埋め込み、外部に出回っているコンテンツから透かし情報を検出し、ＩＤ等の識別情報が一致するか否かによって同一を判定する（例えば、非特許文献１参照）。
【０００５】
２つ目のハッシュ関数を用いた方法では、オリジナルコンテンツのハッシュ値と、外部に出回っているコンテンツのハッシュ値とが一致するか否かで同一を判定する（例えば、非特許文献２参照）。
【０００６】
３つ目の特徴量マッチング技術を用いた方法では、コンテンツを適当な大きさのブロックに分割し、各ブロックの特徴量（例えば、平均値）を要素とするベクトル（特徴量）を生成し、外部に出回っているコンテンツの特徴量を表すベクトルとの類似度によって同一か否かを判定する（例えば、非特許文献３参照）。
【非特許文献１】http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/denshi_sukashi/index.htm
【非特許文献２】http://e-words.jp/w/E3838FE38383E382B7E383A5E996A2E695B0.html
【非特許文献３】Jia Li, James Z Wang, Gio Wiederhold, “IRM: Integrated Region Matching for Image Retrieval”, Proceedings of the eighth ACM international conference on Multimedia, pp. 147-156 (2000)
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の従来手法には以下のような課題がある。
【０００８】
電子透かし技術は、コンテンツ自体に識別するための情報を重畳するものであるため、コンテンツの品質劣化を招くと同時に、事前に透かしを埋め込む作業が生じるため手間がかかるという問題がある。
【０００９】
一方、ハッシュ関数を用いる方法においては、ビット列の微小な変化に対しても異なったハッシュ値に変換されるという特性をもっているため、例えば、インターネットに公開する際に行うフォーマット変換（圧縮含む）によっても、オリジナルコンテンツとは全く異なるハッシュ値に変換され、同一のコンテンツでありながら異なるものとして判定されてしまうという問題がある。
【００１０】
また、上記の２つの技術の問題、即ち、電子透かし技術における画像品質の劣化と情報埋め込み作業の煩雑さという問題、及び、ハッシュ関数における微小な変動に対する識別性能が低下する問題に対しては、本質的に、コンテンツ自体の情報を用いることと、コンテンツの小領域（ブロック）の代表情報（特徴量）を用いること、即ち、特徴量マッチング技術によって、解決することができる。しかしながら、このような技術は、ベクトル（特徴量）の生成方法がブロックの並び順に依存し、コンテンツの回転がブロックの順番（ベクトルの要素の順番）に影響するため、同一の画像であっても異なるコンテンツとして判定されるという問題がある。
【００１１】
本発明は、上記の点に鑑みなされたもので、コンテンツ自体の情報を用いつつ、かつ、回転変換にロバストな画像情報抽出・検索可能な画像情報抽出方法、画像情報検索方法、及び、これらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
図１は、本発明の原理を説明するための図（その１）である。
【００１３】
本発明（請求項１）は、画像を特定することを目的として画像自体から情報を抽出する画像情報抽出方法であって、
領域分割手段が、入力された画像を均等な小領域（ブロック）に分割する領域分割ステップ（ステップ１）と、
代表情報抽出手段が、領域分割されたブロック毎にブロック内の画素値の情報を加工して得られる値に基づいて、代表情報を抽出する代表情報抽出ステップ（ステップ２）と、
起点決定手段が、各ブロックの代表情報を順番に並べるための起点となる起点ブロックを求める起点決定ステップ（ステップ３）と、
情報列形成手段が、起点決定ステップで得られた起点ブロックを先頭として画像の全てもしくは、一部のブロックの代表情報からなる情報列を形成し、データベースに格納する情報列形成ステップ（ステップ４）と、を行う。
【００１４】
また、本発明（請求項２）は、請求項１の代表情報抽出ステップにおいて、
全てのブロックに対して、同一種別の代表情報を抽出する。
【００１５】
また、本発明（請求項３）は、請求項１の代表情報抽出ステップにおいて、
ブロック毎に、異なる種別の代表情報を抽出する。
【００１６】
また、本発明（請求項４）は、請求項１の起点決定ステップにおいて、
画像の四角周辺の１乃至複数のブロックを選択するブロック選択ステップと、
ブロック選択ステップによって得られた１乃至複数のブロックに対して、同一種別の代表情報からその平均値を計算する第１の平均代表情報計算ステップと、
第１の平均代表情報計算ステップによって得られた四角周辺の１乃至複数のブロックの代表情報の平均値の大小関係に基づいて起点を求める第１の起点選択ステップと、を行う。
【００１７】
また、本発明（請求項５）は、請求項１の起点決定ステップにおいて、
画像の外周に属するブロックを方向別に分割するブロック方向別選択ステップと、
分割された１乃至複数のブロックの同一種別の代表情報から平均値を計算する第２の平均代表情報計算ステップと、
第２の平均代表情報計算ステップによって得られた方向毎の平均代表情報の大小関係に基づいて起点を求める第２の起点選択ステップと、を行う。
【００１８】
また、本発明（請求項６）は、請求項１乃至５の代表情報抽出ステップ及び起点決定ステップにおける、各ブロックから抽出される代表情報は、同一ブロック内に含まれる画素値の統計量もしくは、形状に関する情報もしくはエッジの強度もしくは主成分方向もしくはＤＣＴ係数及びこれらの組み合わせ、もしくはこれらの情報を加工したものである。
【００１９】
また、本発明（請求項７）は、請求項１の情報列形成ステップにおいて、
起点決定ステップによって得られた起点となるブロックを先頭に、時計回り、乃至は、反時計回りに、らせん状にブロックの代表情報データを並べて情報列を形成する。
【００２０】
また、本発明（請求項８）は、請求項１の情報列形成ステップにおいて、
起点決定ステップによって得られた起点となるブロックを先頭として、ラスタ形式でブロックの代表情報データを順に並べて情報列を形成する。
【００２１】
本発明（請求項９）は、コンピュータに、請求項１乃至８記載のステップを実行させる画像情報抽出プログラムである。
【００２２】
図２は、本発明の原理を説明するための図（その２）である。
【００２３】
本発明（請求項１０）は、入力画像と同一のものを複数の画像の情報列が格納されたデータベースから検索する画像情報検索方法であって、
領域分割手段が、入力された対象画像を均等な小領域（ブロック）に分割する領域分割ステップ（ステップ１０）と、
代表情報抽出手段が、領域分割されたブロック毎にブロック内の画素値の情報を加工して得られる値に基づいて代表情報を抽出する代表情報抽出ステップ（ステップ１１）と、
起点決定手段が、各ブロックの代表情報を順番に並べるための起点となる起点ブロックを求める起点決定ステップ（ステップ１２）と、
情報列形成手段が、起点決定ステップ（ステップ１２）で得られた起点ブロックを先頭として画像の全て、もしくは、一部のブロックの代表情報からなる情報列を形成する情報列形成ステップ（ステップ１３）と、
情報列一致判定手段が、情報列形成ステップ（ステップ１３）で得られた情報列と、データベースに格納されている複数の画像のそれぞれに対応する画像情報の情報列を検索し、該画像情報の情報列との一致度を判定する情報列一致判定ステップ（ステップ１４）と、
画像出力手段が、情報列一致判定ステップ（ステップ１４）において、一致と判定された場合に、該当の画像を出力する画像出力ステップ（ステップ１５）と、を行う。
【００２４】
本発明（請求項１１）は、入力画像と同一のものを複数の画像の情報列が格納されたデータベースから検索する画像情報検索方法であって、
領域分割手段が、入力された対象画像を均等な小領域（ブロック）に分割する領域分割ステップと、
部分代表情報抽出手段が、領域分割されたブロックの一部に対して、ブロック内の画素値の情報を加工して得られる値に基づいて代表情報を抽出する部分代表情報抽出ステップと、
一致可能性判定手段が、部分代表情報抽出ステップで得られた一部のブロックの代表情報を用いて、データベースに格納されている複数の画像それぞれに対応する画像情報の情報列との一致可能性の判定を行う一致可能性判定ステップと、
一致可能性判定ステップにて一致可能性があると判定された場合、対象画像の全てのブロックに対して代表情報を求める代表情報抽出ステップと、
情報列形成手段が、代表情報抽出ステップで得られたブロック毎の代表情報に基づいて情報列を形成する情報列形成ステップと、
情報列一致判定手段が、情報列形成ステップで得られた情報列と、一致可能性判定ステップにおいて一致可能性ありと判定されたデータベースに格納されている複数の画像に対応する情報列との一致度を判定する情報列一致判定ステップと、
画像出力手段が、情報列一致判定ステップにおいて、一致と判定された場合に、該当の画像を出力する画像出力ステップと、を行う。
【００２５】
また、本発明（請求項１２）は、請求項１１の一致可能性判定ステップにおいて、
データベースに格納されている画像に対応する情報列から起点となるブロックの位置を求める。
【００２６】
本発明（請求項１３）は、複数の画像の情報列が格納されたデータベースを有するコンピュータに、請求項１０乃至１２記載のステップを実行させる画像情報検索プログラムである。
【発明の効果】
【００２７】
上記のように本発明によれば、画像を均一のブロックに分割し、各ブロックの代表情報を起点位置から順に並べることにより、回転不変の画像情報として表現でき、かつ、回転角不明の画像から、同一の画像を検索することが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、図面と共に本発明の実施の形態を説明する。
【００２９】
なお、本実施の形態に利用する図面において、同一機能を有するものついては同一符号を付し、その繰り返しの説明は省略する。
【００３０】
［第１の実施の形態］
本実施の形態では画像の情報列を作成し、データベースに格納する処理を説明する。
【００３１】
図３は、本発明の第１の実施の形態における画像情報抽出装置の構成図である。
【００３２】
同図に示す画像情報抽出装置は、画像入力部１０１、入力された画像や、各構成要素の処理結果等を一時的に格納するメモリ１０２、入力された画像をブロックに分割する領域分割部１０３、分割されたブロック毎にブロック内の画素値の情報を加工して得られる値に基づいて代表情報を抽出する代表情報抽出部１０４、代表情報を順番に並べるための起点ブロックを求める起点決定部１０５、起点となるブロックを先頭として画像の全て、または、一部のブロックの代表情報からなる情報列を形成する情報列形成部１０６、情報列を格納するデータベース（ＤＢ）１０７から構成される。
【００３３】
次に、上記の構成における動作を説明する。
【００３４】
図４は、本発明の第１の実施の形態における概要動作のフローチャートである。
【００３５】
ステップ２０１）  まず、始めに、画像入力部１０１に画像が入力されると、メモリ１０２に格納する。
【００３６】
ステップ２０２）  次に、領域分割部１０３により、メモリ１０２に格納されている入力画像を、均等な小領域（ブロック）に分割する。画像を小領域に分割する際には、事前に決められたサイズ（画素数）のブロックに分割する方法と、縦方向と横方向のブロック数を固定して画像を分割する方法（この場合、各ブロックのサイズ（画素数）は画像毎に異なる）があり、どちらの方法を選択しても構わない。
【００３７】
ステップ２０３）  その後、代表情報抽出部１０４において、領域分割部１０３で得られたブロック毎に代表情報を計算する。ここで、代表情報とは、ブロック内の画素値の平均値や分散、標準偏差等の統計量や、ガウスフィルタ等で得られたエッジ強度の情報など、ブロック内の画素値の情報を加工して得られる値であれば何であっても構わない。また、全ブロックに関して同一種別の代表情報を用いても構わないし、ブロック毎に異なった代表情報を用いても構わない。さらに、代表情報を求める際の画素値の元となる色空間は、ＲＧＢの三成分をもつもの（ＲＧＢ空間）であっても構わないし、ＲＧＢ空間を輝度成分のみからなる空間に変換したものや、人間の知覚に近い均等色空間を用いても構わないことは自明である。
【００３８】
ステップ２０４）  次に、起点決定部１０５において、代表情報抽出部１０４で得られたブロック毎の代表情報を順番に並べるための起点を求める。起点の求め方に関して、ステップ２０４の詳細な処理の流れを示した図５のフローチャート及び図６を参照して説明する。
【００３９】
図５は、本発明の第１の実施の形態における起点決定部の処理のフローチャートであり、図６は、本発明の第１の実施の形態における起点ブロックを決める様子を示す図である。
【００４０】
まず、画像の四角の近辺のブロックを選択する（ステップ３０１）。図６（ａ）は画像を縦横７つのブロックに分割し、四角付近のブロックとして、左上（ＵＬ）、右上（ＵＲ）、左下（ＬＬ）、右下（ＬＲ）に位置するブロックを選択した様子を示したものである。
【００４１】
次に、この四角付近のブロックを対象に、同一種別の代表情報を求め、その平均値を計算する（ステップ３０２）。なお、代表情報抽出部１０４における代表情報抽出ステップ２０３の処理の際に、全てのブロックに対して同一種別の代表情報を求めている場合には、ステップ３０２では、平均を求める操作のみで構わない。ステップ３０２で得られた４種類の代表情報の平均値の中で、最大値を持つ四角付近のブロックを求め、角に位置するブロックを起点とする（ステップ３０３）。
【００４２】
図６（ｂ）は、ＬＲが四角付近のブロックの中で最大となり、角の位置にあるブロック（図中濃い色のブロック）を起点として決定する様子を示す。
【００４３】
なお、上述の説明では、四角周辺のブロックとして、角を含む縦横各２ブロックを対象としたが、実際には、角のみ（縦横１ブロック）でも構わないし、また、縦横各３ブロックであっても構わない。さらには、図６（ｃ）に示すような水平方向に長い画像の場合には、縦横のブロック数を変えても構わない。
【００４４】
ステップ２０５）  最後に、情報列形成部１０６では、起点決定部１０５において得られた起点ブロックを先頭に時計周りにブロックを選択しながら各ブロックの代表情報を成分とする情報列を形成する。図７（ａ）では、図６（ｂ）にて示した起点ブロック（右下の角のブロック）を始点として、時計周りにブロックを外側から内側に向かってらせん状に順番に選択していく様子を示している。また、図７（ｂ）は、情報列生成の様子を示しており、ブロック１の代表情報から順番に、情報の桁数を固定して情報列を作成する様子を示す。また、図８に示すように、図６（ｂ）での起点ブロック（右下の角）が画像の左上と見做して、ラスタ形式でブロックを選択しても構わない。
【００４５】
［第２の実施の形態］
本実施の形態における装置構成図及び概要動作のフローチャートは、それぞれ第１の実施の形態の図３、図４と同様であるため、全体の処理の流れに関する説明は省略する。
【００４６】
以下では、起点決定部１０５における起点決定ステップ２０４の動作について説明する。
【００４７】
図９は、本発明の第２の実施の形態における起点決定部のフローチャートであり、図１０は、本発明の第２の実施の形態における起点ブロックを決める様子を示す図である。
【００４８】
まず、画像の外周のブロックを、方向別に分割し、各方向に属するブロックを一まとまりとして選択する（ステップ３０４）。図１０（ａ）は、画像を縦横各７ブロックに分割し、画像の外周のブロックに対して、上側（ＵＰ）、下側（ＤＷ）、左側（ＬＴ）、右側（ＲＴ）の４方向に分割した様子を示している。次に、ステップ３０４にて選択されたブロックを対象に、第１の実施の形態と同様に、同一種別の代表情報を求め、その平均値を計算する（ステップ３０２）。なお、代表情報抽出部１０４における代表情報抽出ステップ２０３の処理の際に、全てのブロックに対して同一種別の代表情報を求めている場合は、ステップ３０２では、平均を求める操作のみで構わない。ステップ３０２で得られた外周ブロックの方向別の代表情報の平均値の中で、最大値を持つものを求め、中央に位置するブロックを起点とする（ステップ３０３）。
【００４９】
図１０（ｂ）は、ＤＷを四領域の中で最大の平均代表情報となる領域として、ＤＷ領域の真中のブロックを起点ブロックの位置として決める様子を示したものである。起点ブロックの決め方については、上述のように、方向別に求めた領域の中の真中に位置するブロックとする方法だけでなく、最大の代表情報をもつブロックを起点としても構わないし、進行方向（時計回り）上で次の角を起点としても構わない。また、方向別の外周ブロックの領域についても、上述のように上側、下側、左側、右側の四領域にこだわる必要はなく、左上部、右上部、左下部、右下部等のような８領域を対象にしても構わないことは自明である。
【００５０】
次の情報列形成部１０６における情報列形成ステップ２０５での操作では、前述の第１の実施の形態での説明と同様、起点となるブロックを先頭に時計回りにブロックを選択しながら各ブロックの代表を成分とする情報列を形成する。なお、上述の情報列形成ステップ２０５においては、第１の実施の形態での説明と同様、起点となるブロックが角の場合は、画像の左上の位置と見做し、ラスタ形式にブロックを選択しながら代表情報を成分とする情報列を形成しても構わない。起点となるブロックが角でない場合は、時計回りもしくは反時計回りで最初に来る角を、画像の左上の位置のブロックと見做せば同様の操作が行えることは自明である。
【００５１】
［第３の実施の形態］
図１１は、本発明の第３の実施の形態における画像情報検索装置の構成図である。
【００５２】
同図に示す画像情報検索装置は、図３の構成に、既にデータベース１０７に格納されている複数の画像に対応する画像情報の情報列との一致度を判定する情報列一致判定部１０８、情報列一致判定部１０８で一致している画像を出力する画像出力部１０９を付加した構成である。
【００５３】
本実施の形態では、第１の実施の形態もしくは、第２の実施の形態により画像の情報列が既に得られ、データベース１０７に格納されているものとし、入力画像と同じ画像がデータベース１０７中にあるかどうかを検索する方法について説明する。
【００５４】
図１２は、本発明の第３の実施の形態における画像情報検索装置の概要動作のフローチャートである。
【００５５】
図１２に示すフローチャートのうち、ステップ２０１〜２０５までは、前述の第１の実施の形態における図４のステップ２０１〜２０５までの画像入力部１０１から情報列形成部１０６までの流れと同様であるため、その説明は省略する。
【００５６】
以下、情報列一致判定部１０８と画像出力部１０９についての動作を説明する。
【００５７】
ステップ２０６）  情報列一致判定部１０８では、情報列形成部１０６にて得られた入力画像の情報列に対して、データベース１０７内に格納されている情報列と比較する。情報列は、図７（ｂ）に示すような形式で表現されており、以下に示す方法に基づいて、一致度合を計算し、一致か否かを判断する。
【００５８】
ｘを入力画像から得られた情報列、ｙをデータベース１０７に格納されている被検索側画像の情報列であるとする。
【００５９】
ｘ＝｛ａ１，ａ２，…，ａｎ｝                        （１）
ｙ＝｛ｂ１，ｂ２，…，ｂｎ｝                        （２）
但し、ａｉ，ｂｉ（ｉ＝１，２，…，ｎ）は、各ブロックの代表情報であるとする。ｎはブロックの総数である。
【００６０】
この時、一致度合Ｄは次式で表現される。
【００６１】
Ｄ＝［｛Σ（ａｉ−ｂｉ）２｝／ｎ］１／２            （３）
上記の式（３）で表される一致度合Ｄは、ｎ次元ユークリッド空間における点ｘと点ｙの距離に相当する。この値が、閾値ｔｈ１より小さい場合に、一致であると判定する。一致と判定されない場合には、データベース１０７内にある他の画像の情報列に対して一致度合Ｄを計算し、同様の判定を行う。
【００６２】
なお、上述の説明では、２つの情報列の一致度合Dの判定を、式（３）で表されるような各情報列をｎ次元の空間の点と見做して、２点間の距離に基づいて行う方法について説明したが、一致度合の判定方法はこれに限定される必要はなく、以下のような方式であっても構わない。
【００６３】
例えば、情報列をｎ次元空間のベクトルと見做すことにより、ベクトル間のなす角によって判定する方法も可能である。この場合は、次式θがｔｈ２より小さい場合に一致であると判定する。
【００６４】
θ＝ArcCos［（Σ〔ａｉ・ｂｉ〕）／（｜ｘ｜・｜ｙ｜）］        （４）
さらには、例えば、情報列の各ブロックに対応する代表情報毎に、一致しない個数Ｍが閾値ｔｈ３より小さい場合に、一致であると判定する方法も可能である。
【００６５】
Ｍ＝Σｍｉ      但し、ｍｉ＝０  （ａｉ＝ｂｉのとき）        （５）
ｍｉ＝１  （ａｉ≠ｂｉのとき）
ステップ２０７）  最後に、画像出力部１０９では、情報列一致判定部１０８において、入力画像の情報列と一致すると判定された画像をモニタ等の外部出力装置に出力する。
【００６６】
［第４の実施の形態］
本実施の形態においても画像情報検索装置およびその動作について説明する。
【００６７】
図１３は、本発明の第４の実施の形態における画像情報検索装置の構成図である。
【００６８】
同図に示す画像情報検索装置は、図１１の構成に、既にデータベース１０７に格納されている複数の画像に対応する画像情報の情報列との一致可能性の判定を行う一致可能性判定部１１０を付加した構成である。
【００６９】
本実施の形態では、第３の実施の形態と同様に、第１の実施の形態もしくは第２の実施の形態により、画像の情報列が既にデータベース１０７に格納されているものとし、入力画像と同じ画像がデータベース１０７中にあるかどうかを検索する方法を説明する。
【００７０】
図１４は、本発明の第４の実施の形態における画像情報検索装置の概要動作のフローチャートである。
【００７１】
図１４に示すフローチャートのうち、ステップ２０１、２０２までは、第１の実施の形態における図４のステップ２０１，２０２の画像入力部１０１から領域分割部１０３の処理と同様であるため、その説明を省略する。以下、代表情報抽出部１０４（ステップ２０８）以降の動作について説明する。
【００７２】
ステップ２０８）  代表情報抽出部１０４は、第１の実施の形態で説明したように、入力画像に対して、領域分割部１０３で得られた各ブロックの代表情報を求める部分であるが、本実施の形態においては、まず、一致の可能性を判定し、比較対象画像の数を減少させると同時に、情報列の起点（ブロック）の位置を得ることを目的として、一部のブロックを対象に代表情報を求める。ここで、一部のブロックとして外周に属するブロックを選択する。図１５（ａ）では、左上のブロックを起点として、時計回りに順に外側の１列を順番にブロックを抽出する様子が示されている。１番目のブロックから２４番目のブロックに対して代表情報を求める。
【００７３】
ステップ２０９）  一致可能性判定部１１０において、ステップ２０８で得られた一部のブロックの代表情報に基づいて、データベース１０７内の画像の情報列と比較し、一致可能性を判定する。
【００７４】
一致可能性ありと判定された場合は、次のステップ２０３に進むが、可能性なしと判定された場合には、データベース１０７の他の画像に対して、ステップ２０８からの操作を繰り返す。
【００７５】
情報列一致判定ステップ２０９における、入力画像とデータベース１０７内の画像に対応する情報列の比較・判断方法については、以下に説明する。
【００７６】
図１５（ｂ）のａ１，ａ２，…，ａ２４は、入力画像の外側のブロックに対応する部分情報列を画像の左上に位置するブロックを起点として順番に並べたものであり、ｂ１，ｂ２，…，ｂ２４は、データベース１０７内の比較対象画像の外側のブロックに対応する部分情報列である。データベース１０７内の部分情報列は、第１の実施の形態や、第２の実施の形態で説明したような方法に基づいて決められた起点ブロックから順番に各ブロックの代表情報を並べたものであり、起点ブロックの位置は画像により様々である。部分情報列の比較に関しては、ａ１を基準に、ｂ１と同じか、ｂ２と同じか、…というように、ｂ２４まで順にチェックしていく方法もあるが、ここでは、短時間に一致／不一致を見分ける方法を述べる。
【００７７】
画像のブロック数は同数であり、かつ、順番の方向性が同じ（ここでは時計回りとする）であり、部分情報列を抽出する際の起点ブロックのみが異なるという性質を用いることにより、少ない回数での一致・不一致判断を実現する。入力画像の部分情報列から、一定間隔でブロックの代表情報を抽出する。図１５（ｂ）では、６つおきにブロックを選択している様子が示されている。例えば、ａ１，ａ７，ａ１３，ａ１９，をピックアップする。同じ６つおきの間隔で、ｂの部分列に対しても、最初は、ｂ１，ｂ７，ｂ１３，ｂ１９の組み合わせで比較し、一致しない場合は、他の組み合わせ、即ち、ｂ２，ｂ８，ｂ１４，ｂ２０で比較し、以下、順に１ずつ候補をずらし、ｂ６，ｂ１２，ｂ１８，ｂ２４の組み合わせまで確認しても一致したものがなかった場合には一致可能性がないと見做し、１回でも一致した場合は、一致可能性ありと判断する。
【００７８】
また、上記の説明では、６つおきのブロックのペアで比較しているが、４つおきでも、８つおきでも構わないことは自明である。
【００７９】
上記の動作により、「一致可能性あり」と判定された場合には、データベース１０７側の画像の起点ブロックの位置も同時に明らかになる。
【００８０】
ステップ２０３）  上記の一致可能性判定ステップ２０９において、一致可能性有りと判定された場合、代表情報抽出部１０４にて再度、入力画像の全てのブロックを対象に代表情報を抽出する。
【００８１】
以降の手順、即ち、情報列形成部１０６での情報列の形成（ステップ２０５）、情報列一致判定部１０８における情報列の一致度合の判定（ステップ２０６）、及び、情報列一致判定ステップ２０６で一致すると判定された画像を画像出力部１０９に出力する（ステップ２０７）までの手順は第３の実施の形態の場合と同様であるのでその説明を省略する。
【００８２】
なお、本発明は、上記の第１、第２の実施の形態における画像情報抽出方法の動作、及び、第３、第４の実施の形態における画像情報検索方法の動作をプログラムとして構築し、画像情報抽出装置、画像情報検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００８３】
また、構築されたプログラムを、ハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、画像情報抽出装置、画像情報検索装置として利用されるコンピュータにインストールして実行させる、または、配布することが可能である。
【００８４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８５】
本発明は、インターネットや外部に出回っているコンテンツの不正利用の防止やコンテンツ検索、画像をキーとしたリファレンスサービスに適用可能である。
【図面の簡単な説明】
【００８６】
【図１】本発明の原理を説明するための図（その１）である。
【図２】本発明の原理を説明するための図（その２）である。
【図３】本発明の第１の実施の形態における画像情報抽出装置の構成図である。
【図４】本発明の第１の実施の形態における画像情報抽出装置の概要動作のフローチャートである。
【図５】本発明の第１の実施の形態における起点決定部の動作のフローチャートである。
【図６】本発明の第１の実施の形態における起点ブロックを決める様子を示す図である。
【図７】本発明の第１の実施の形態における情報列生成の様子を示す図である。
【図８】本発明の第１の実施の形態における情報列生成の様子を示す図である。
【図９】本発明の第２の実施の形態における起点決定部の動作のフローチャートである。
【図１０】本発明の第２の実施の形態における起点ブロックを決める様子を示す図である。
【図１１】本発明の第３の実施の形態における画像情報検索装置の構成図である。
【図１２】本発明の第３の実施の形態における画像情報検索装置の概要動作のフローチャートである。
【図１３】本発明の第４の実施の形態における画像情報検索装置の構成図である。
【図１４】本発明の第４の実施の形態における画像情報検索装置の概要動作のフローチャートである。
【図１５】本発明の第４の実施の形態におけるブロック起点を求める操作を示す図である。
【符号の説明】
【００８７】
１０１  画像入力部
１０２  メモリ
１０３  領域分割部
１０４  代表情報抽出部
１０５  起点決定部
１０６  情報列形成部
１０７  ＤＢ（データベース）
１０８  情報列一致判定部
１０９  画像出力部
１１０  一致可能性判定部
【図１】
2007148685.tif 000003
【図２】
2007148685.tif 000004
【図３】
2007148685.tif 000005
【図４】
2007148685.tif 000006
【図５】
2007148685.tif 000007
【図６】
2007148685.tif 000008
【図７】
2007148685.tif 000009
【図８】
2007148685.tif 000010
【図９】
2007148685.tif 000011
【図１０】
2007148685.tif 000012
【図１１】
2007148685.tif 000013
【図１２】
2007148685.tif 000014
【図１３】
2007148685.tif 000015
【図１４】
2007148685.tif 000016
【図１５】
2007148685.tif 000017