(57)【特許請求の範囲】
【請求項１】
周波数成分に基づいて冗長成分を削除することで情報圧縮処理された複数の画像データをキーワードと対応付けて格納した格納手段と、
入力されたキーワードに対して上位概念のキーワードを派生してキーワード群を取得する取得手段と、
前記キーワード群の最上位概念から１つまたは複数のキーワードを用いて前記格納手段に格納された画像データについてキーワード検索を行う第１検索手段と、
前記キーワード群の前記第１検索手段で用いられたキーワードよりも下位概念のキーワードを用いて基準画像を選択する選択手段と、
前記選択手段で選択された基準画像を前記情報圧縮処理して得られたデータの所定周波数成分の範囲の情報と、前記第１検索手段で検索された画像データの前記所定周波数成分範囲の情報とを用いて照合を行い、照合結果に基づいて画像データを抽出する第２検索手段と、
前記選択手段と前記第２検索手段を繰り返して抽出結果を絞り込む制御手段とを備え、
前記制御手段は、前回に用いたキーワードよりも下位概念のキーワードを用いて前記選択手段に新たな基準画像を選択させ、
前記第２検索手段には、前回の照合に用いた周波数成分範囲よりも拡大された周波数成分範囲の情報を用いて、前記新たな基準画像と前回の照合により抽出された各画像の照合を行わせることを特徴とする情報処理装置。
【請求項２】
前記第２検索手段における照合は、画像データの色情報を用いることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記格納手段に格納される画像データのキーワードを、該画像データにパターン認識処理を施すことで生成するキーワード生成手段を更に備えることを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
周波数成分に基づいて冗長成分を削除することで情報圧縮処理された複数の画像データをキーワードと対応付けて格納した格納手段に対して画像検索を行うための情報処理方法であって、
入力されたキーワードに対して上位概念のキーワードを派生してキーワード群を取得する取得工程と、
前記キーワード群の最上位概念から１つまたは複数のキーワードを用いて前記格納手段に格納された画像データについてキーワード検索を行う第１検索工程と、
前記キーワード群の前記第１検索工程で用いられたキーワードよりも下位概念のキーワードを用いて基準画像を選択する選択工程と、
前記選択工程で選択された基準画像を前記情報圧縮処理して得られたデータの所定周波数成分の範囲の情報と、前記第１検索工程で検索された画像データの前記所定周波数成分範囲の情報とを用いて照合を行い、照合結果に基づいて画像データを抽出する第２検索工程と、
前記選択工程と前記第２検索工程を繰り返して抽出結果を絞り込む制御工程とを備え、
前記制御工程は、前回に用いたキーワードよりも下位概念のキーワードを用いて前記選択工程に新たな基準画像を選択させ、
前記第２検索工程に、前回の照合に用いた周波数成分範囲よりも拡大された周波数成分範囲の情報を用いて、前記新たな基準画像と前回の照合により抽出された各画像の照合を行わせることを特徴とする情報処理方法。
【請求項５】
前記第２検索工程における照合は、画像データの色情報を用いることを特徴とする請求項４に記載の情報処理方法。
【請求項６】
前記格納手段に格納される画像データのキーワードを、該画像データにパターン認識処理を施すことで生成するキーワード生成工程を更に備えることを特徴とする請求項４または５に記載の情報処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、格納された情報より所望の情報を検索する情報処理方法及び装置に関する。特に、画像、音声、文字（フォント等）を始めとする情報より所望の情報を検索するのに好適な情報処理方法及び装置に関する。
【０００２】
【従来の技術】
画像データベースに対する検索の例を挙げ、一般的な情報検索装置を説明する。図１３は従来の画像検索システムの構成を表すブロック図である。この種の情報検索装置においては、画像入力後に圧縮処理を施し（１３１）、得られた圧縮データに画像毎に言語キーワードを付与して（１３３）蓄積メモリ内へ格納する（１３４）。以上のような処理により画像データベースが構築される。
【０００３】
画像データの検索に際しては、検索希望の分類をキーワードにて検索入力情報としてキーワード検索処理回路へ入力する。この情報に応じて画像毎に付与された言語キーワードにより画像データの絞り込みを行う（１３０）。キーワード検索によりある程度まで絞り込まれた画像データ群（圧縮データ群）を順次伸張再生し（１３１）、最終的に目視により検索を遂行する。
【０００４】
この様な用途を前提にして、画像の圧縮処理にプログレッシブ符号化を用いたものがある。これは再生時にプログレッシブ復号処理が進行するのに従い、低解像度の画像から順次高解像度の画像に変化していく。使用者が要否の判断を下した時点で次の画像に切り換えることができる為、無駄な時間を省略できる点でしばしば利用される手法である。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の情報検索装置には次のような問題がある。即ち、
（１）上記何れの情報検索手法においても、検索時に各々の画面に対して伸張処理を行う必要がある．
（２）上記何れの情報検索手法においても、言語キーワード以外では、目視による判断が必要とされる．
である。これら２つの問題点は、今後のデータベースの大容量化と遠隔化に伴い、更に大きく表面化してくるものと考えられる。
【０００６】
また、今後ネットワーク化が進展していき、分散化されたデータベースにアクセスして情報検索する機会が非常に多くなると考えられるが、上記問題点に起因して画像データをネットワーク経由で転送する必要が発生する。従って、たとえデータが圧縮状態であっても、ネットワークを経由させるデータ量が膨大となってしまう。
【０００７】
本発明は上記の問題に鑑みてなされたものであり、情報圧縮を施した状態にて蓄積された複数のデータ群より所望のデータを検索するに際して、情報圧縮を施した状態にてデータの照合処理を行うことを可能とする情報処理方法及び装置を提供することを目的とする。
【０００８】
また、本発明の他の目的は、複数の圧縮データ群より所望のデータを検索する際に、圧縮データの一部を用いてデータの照合処理を行うことを可能とし、データ検索において使用するデータ量を低減する情報処理方法及び装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明の情報処理装置は以下の構成を備える。即ち、
周波数成分に基づいて冗長成分を削除することで情報圧縮処理された複数の画像データをキーワードと対応付けて格納した格納手段と、
入力されたキーワードに対して上位概念のキーワードを派生してキーワード群を取得する取得手段と、
前記キーワード群の最上位概念から１つまたは複数のキーワードを用いて前記格納手段に格納された画像データについてキーワード検索を行う第１検索手段と、
前記キーワード群の前記第１検索手段で用いられたキーワードよりも下位概念のキーワードを用いて基準画像を選択する選択手段と、
前記選択手段で選択された基準画像を前記情報圧縮処理して得られたデータの所定周波数成分の範囲の情報と、前記第１検索手段で検索された画像データの前記所定周波数成分範囲の情報とを用いて照合を行い、照合結果に基づいて画像データを抽出する第２検索手段と、
前記選択手段と前記第２検索手段を繰り返して抽出結果を絞り込む制御手段とを備え、
前記制御手段は、前回に用いたキーワードよりも下位概念のキーワードを用いて前記選択手段に新たな基準画像を選択させ、
前記第２検索手段には、前回の照合に用いた周波数成分範囲よりも拡大された周波数成分範囲の情報を用いて、前記新たな基準画像と前回の照合により抽出された各画像の照合を行わせる。
【００１０】
また、上記の目的を達成するための本発明の他の態様による情報処理方法は、
周波数成分に基づいて冗長成分を削除することで情報圧縮処理された複数の画像データをキーワードと対応付けて格納した格納手段に対して画像検索を行うための情報処理方法であって、
入力されたキーワードに対して上位概念のキーワードを派生してキーワード群を取得する取得工程と、
前記キーワード群の最上位概念から１つまたは複数のキーワードを用いて前記格納手段に格納された画像データについてキーワード検索を行う第１検索工程と、
前記キーワード群の前記第１検索工程で用いられたキーワードよりも下位概念のキーワードを用いて基準画像を選択する選択工程と、
前記選択工程で選択された基準画像を前記情報圧縮処理して得られたデータの所定周波数成分の範囲の情報と、前記第１検索工程で検索された画像データの前記所定周波数成分範囲の情報とを用いて照合を行い、照合結果に基づいて画像データを抽出する第２検索工程と、
前記選択工程と前記第２検索工程を繰り返して抽出結果を絞り込む制御工程とを備え、
前記制御工程は、前回に用いたキーワードよりも下位概念のキーワードを用いて前記選択工程に新たな基準画像を選択させ、
前記第２検索工程に、前回の照合に用いた周波数成分範囲よりも拡大された周波数成分範囲の情報を用いて、前記新たな基準画像と前回の照合により抽出された各画像の照合を行わせる。
【００２５】
【実施例】
以下に添付の図面を参照して、本発明の好適な一実施例を説明する。
【００２６】
＜実施例１＞
以下の実施例では、ＤＣＴベースの圧縮符号化を用いた画像データベースに対し、画像照合処理に画像データの『ＤＣ成分』のみを用いた自動パターン照合処理を行う例を説明する。
【００２７】
図１は本実施例における情報検索システムの構成を示すブロック図である。同図において、情報処理装置Ａと情報処理装置Ｂは通信端末１３、１４を介して相互に通信可能に接続されている。また、本例において、情報処理装置Ａは、画像データを入力してデータベース（メイン画像ファイルＤ４）を構築する機能と、このデータベースより所望の画像を検索する機能とを有する。一方、情報処理装置Ｂは、画像データを入力して外部データベースＤ５を構築する機能を有する。通信端末１３、１４の間の通信により、情報処理装置Ａは、外部データベースＤ５に格納された画像情報を検索することもできる。
【００２８】
情報処理装置Ａにおいて、不図示のスキャナ等から入力された画像情報は、圧縮処理部１５にて圧縮され、メイン画像ファイルＤ４へ蓄積され、データベースが構築される。キーワード付与部１８は、入力された画像データに対応したキーワードを付与するべくキーワードデータを生成し、当該画像データに対応付けてメイン画像ファイルＤ４に格納する。ここで、キーワードは入力された画像をパターン認識することで自動生成される、或は不図示のキーボード等より入力される。尚、キーワードの語数は可変であり、必要に応じた語数だけ生成される。以上のようにして、データベースが構築される。
【００２９】
情報処理装置Ｂにおいても同様にしてデータベースの構築が行われる。即ち、不図示のスキャナ等から入力された画像データは圧縮処理部１６にてデータ圧縮され、外部データベースＤ５に蓄積される。キーワード付与部１９は、入力された画像データに対するキーワードを生成し、当該画像データに対応付けてキーワードを外部データベースＤ５に蓄積する。
【００３０】
Ｄ３はワークファイルであり、検索によって抽出された画像やデータ等を格納する。即ち、複数回の検索作業に際して、毎回全データを読まず、２回目からは検索対象となったことを示すフラグ（図２により後述の検索フラグ３３）が１となっているものだけを調べるためのデータバッファとして、また、通信回線を介して得たデータを一時的に格納し、通信回線における通信量を低減させる。
【００３１】
図２は、データベースに登録されたデータの構成例を示す図である。同図に示すように、データの先頭からデータ識別ＩＤ３１、時間情報３２、…高域成分３９が配置されている。データ管理用の情報である管理情報は、シリアルナンバー等で構成されるデータ識別ＩＤ３１、写真撮影年月日や画像登録日時等の時間情報３２で構成される。検索フラグ３３は検索対象であるか否かを判別するもので、１の状態で検索対象、０で検索対象外を示す。キーワード３４は、一語当り２０桁程度設けるか、対応コード表を用いて１６ビット／キーワード程度で済ませても良い、必要に応じて付与する語数は拡張可能としておくのが望ましい。
【００３２】
残りのデータは画像データであり、圧縮方式ＩＤ３５、ＤＣ成分３６、低域成分３７、中域成分３８、高域成分３９で構成される。圧縮方式ＩＤ３５は画像データの圧縮方式を識別するための情報であり、圧縮規格、圧縮率、画像構造等を記憶しておく。本実施例では、ＤＣＴ方式における周波数領域変換後の画像データを直流分、低域、中域、高域成分に分離し、夫々ＤＣ成分３６、低域成分３７、中域成分３８、高域成分３９に格納してある。
【００３３】
次に、図１乃至図４を参照して本実施例１の動作について説明する。図３は実施例１における情報検索の手順を表すフローチャートである。
【００３４】
まず、上記のごとき構造を有するデータベースシステムに対して検索指示を入力する（ステップＳ１００）。該検索指示はキーワードにて与えられる場合が多いが、キーワード以外に画像作成日等の時間情報等を用いてもよい。以下、キーワードによる検索指示の場合を説明する。
【００３５】
不図示のキーボード等より入力された検索指示は階層制御部１０へ入力される。階層制御部１０は、検索指示に応じた検索用の基準画像を出力する。このとき、階層制御部１０は、キーワードデータベースＤ１より入力されたキーワードの上位概念のキーワードを獲得する。キーワードを上位概念から下位概念へ順次更新してサーチ部１２へ出力する。サーチ部１２はメイン画像ファイルＤ４へアクセスし、階層制御部１０より入力されたキーワードを用いて画像を検索し、画像の前抽出を行う（ステップＳ１０１、Ｓ１０２、Ｓ１０３）。尚、キーワードによってデータベース（メイン画像ファイルＤ４）より検索されたデータの検索フラグ３３は１にセットされる。
【００３６】
以上のようなキーワードによる画像の抽出を終えた後、更に詳細な検索が必要な場合は、検索フラグ３３が１にセットされたデータについて、更に画像データ（圧縮データ）による検索が行われることになる。
【００３７】
階層制御部１０は、現在のキーワードの階層位置より一つ高次のキーワードを獲得する。このキーワードに基づいて画像データベースＤ２より基準画像を抽出し、圧縮処理部１１へ出力する。圧縮処理部１１では、入力された基準画像を検索されたデータの圧縮方式ＩＤに従った圧縮処理（本例ではＤＣＴ）が行われる（ステップＳ１０４、Ｓ１０５）。サーチ部１２はそのＤＣ成分を抽出してメイン画像ファイルＤ４内の各画像データのＤＣ成分を用いて照合を行う（ステップＳ１０６〜Ｓ１０８）。照合の結果に応じて各画像データの検索フラグ３３をセットし、ワークファイルを作成し、検索結果の出力を行う（ステップＳ１０９〜Ｓ１１１）。
【００３８】
尚、上記の構成では、基準画像を圧縮処理部１１で圧縮処理するが、システム内で用いる圧縮方式を例えばＤＣＴに決めておき、画像データベースＤ２に格納する基準画像データも予めＤＣＴで圧縮されたものとしておけば、圧縮処理部１１及びステップＳ１０５は不要となり、構成が簡素化されると共に処理時間が短縮される。
【００３９】
以下、更に具体的に説明する。図４は本実施例１における検索処理の概念を表す図である。同図は、検索用キーワードの階層（検索キーワード３００）と、データベース内の画像情報の構造（情報圧縮状態３０１）と、抽出処理を複数回実行する時の検索対象データ数の変化（検索対象データ群３０２）とを対応させて、模式的に階層表現したものである。
【００４０】
図４において、検索キーワード３００にはキーワードの階層表現の一例が示されている。例えば、画像データベースの中から“鈴木拓哉”さんを抽出しようとし、“鈴木拓哉”というキーワードを入力すると、階層制御部の階層判断処理にて、“鈴木拓哉”の上位概念の“男性”と更に上位概念の“人間”を知識データベースであるキーワードデータベースＤ１より抽出してくる。更に、“人間”よりも上位概念である“哺乳類”、“動物”、“生物”がキーワードとして検索される。
【００４１】
尚、ここでは、便宜上、抽象度の高い上位概念ほど『低次階層』とし、抽象度の低い下位概念ほど『高次階層』と呼ぶことにして、情報圧縮状態３０１の画像周波数の高低と呼称を合わせることとする。
【００４２】
次に、画像圧縮データの検索照合処理に使用する周波数領域と検索対象のデータ数の減少の関係の概念を検索対象データ群３０２に示す。前述の画像情報に付与したキーワードだけでは絞りきれない程に精度の高い抽出処理が必要な時は画像情報に付与したキーワードより更に高次のキーワードを選定して画像照合による抽出処理を実行する。例えば、画像情報中のキーワードには、“生物”→“哺乳類”までしか登録されていなかった場合、その次に高次な概念の“人間”のグループのデータ抽出は画像の照合に頼ることになる。
【００４３】
前述したように、データベース中の画像情報に付与したキーワード（ここでは生物→哺乳類）で前抽出を行い（ステップＳ１０３）、データベースよりデータの抽出行う。こうして抽出されたデータを対象に、圧縮データのＤＣ成分による照合処理が行われる。本例では、「人間」というキーワードによる基準画像を用いて、ＤＣ成分のみを用いた画像照合処理が行われる。３０２ａは、キーワードで抽出されたデータの、基準画像に対するマッチング度の分布を示している。
【００４４】
階層制御部１０において、低次の照合処理のキーワードが“人間”に設定されると、リファレンスの画像データベースＤ２から標準的“人間”画像を読み出す（ステップＳ１０４）。前述のデータベース中に規定されている画像処理方法（圧縮方式ＩＤ３５）に則り、同様の圧縮処理を施し、照合作業用の基準画像データを生成する（ステップＳ１０５）。更に、照合処理に使用する周波数成分（この例ではＤＣ成分）のみを基準画像データより抽出し、実作業用のリファレンス画像データ（キー画像データ）を生成する（ステップＳ１０６）。このＤＣ成分のみの圧縮データ（キー画像データ）と、検索対象データ（キーワード検索で抽出された画像データ）中のＤＣ成分を用いて照合処理を実行する（ステップＳ１０７、Ｓ１０８）。
【００４５】
照合処理の結果、抽出された画像データに対しては検索フラグ３３を１にセットし、抽出されなかった画像データに対しては検索フラグ３３を０にセットする（ステップＳ１０９）。ここで、抽出される画像データは、３０２ａの分布のうち所定値以上のマッチング度を有する画像データである。このようにして、照合処理によって抽出された画像データは伸張処理部１７にて伸張され、検索結果として出力される（ステップＳ１１１）。
【００４６】
以上のように実施例１では、キーワード検索による抽出作業で抽出された画像データに対して、ＤＣ成分を用いた画像の照合処理を施し、画像データの抽出を行う。このため、画像の照合処理において用いられるデータは圧縮データのＤＣ成分だけなので、扱うデータ量の低減、処理の高速化が達成される。このようにして抽出された画像データに対して初めて画像の伸張処理が実行され、出力（表示）される。
【００４７】
尚、以上の説明は点線で囲った情報処理装置Ａ内で完結した検索処理の場合であるが、情報処理装置Ｂに分散管理された外部データベースＤ５へネットワークを介してアクセスすることも可能である。以下にこれを説明する。
【００４８】
上述の情報処理装置Ａで完結する処理の場合とは、サーチ部１２がメイン画像ファイルＤ４ではなく、通信端末１３、１４を介して外部データベースＤ５へアクセスする点が異なる。サーチ部１２は、情報処理装置Ａの通信端末１３を介してネットワークに接続する。そして、情報処理装置Ｂの通信端末１４を経由して外部データベースＤ５へアクセスする。このとき、本実施例では画像データを伸張展開せず、更に、ＤＣ成分のデータのみをネットワーク上に転送する。このため、ネットワーク上を転送するデータ量が飛躍的に少なくなり、作業効率が格段に向上することは明らかである。また、必要に応じて、転送データを作業用のワークファイルＤ３に一時的に格納しておくことで、データ通信の頻度を低下できる。図３のステップＳ１０７における外部データベースへのアクセスは以上のようにして達成される。
【００４９】
図５と図６を参照して、サーチ部１２におけるサーチ処理の具体例を説明する。図５は検索対象画像と、基準画像の一例を表す図である。図６はサーチ部１２の詳細な構成を表すブロック図である。
【００５０】
サーチ部１２では、検索キーワードに対応する検索基準画像Ｒが複数画素ブロックで構成されており、検索対象画像（Ｓ−１，Ｓ−２，…，Ｓ−ｎ）と相対位置をシフトして相関のある程度高いものを抽出する。
【００５１】
キーワードにより設定され入力された基準画像Ｒは、シフト＆拡大／縮小回路７１で検索対象画像との相対位置と主要画像の大きさの合わせ込みを行う。この処理結果と検索対象画像Ｓ−ｎが差分演算回路７２へ入力され、画像データの差分の積算値が算出される。相関評価回路７３は、この積算値の大小を評価して相関の有無を判断する。その結果、相関の高い検索対象画像を検索結果として出力する。この相関判断処理を、ｎを変数として検索対象全て（ここでは、キーワード検索で抽出された画像）について処理していく。
【００５２】
ここで、上記の検索対象画像及び基準画像に対応するデータは、本実施例１では各画像の圧縮データのうちのＤＣ成分である。即ち、基準画像の縦横８画素のデータをＤＣＴにより周波数座標に変換し、その中からＤＣ成分のみを抽出したものである。
【００５３】
このＤＣ成分のみのデータは、逆ＤＣＴ変換しなくとも、元の画像を１／６４に縮小したような画像データに対応しているので、対象画像に合わせて、相関検出処理時に、シフト＆拡大／縮小回路によって適宜拡大（場合によっては縮小）する必要がある。以上より、ＤＣ成分について、圧縮データに逆ＤＣＴ変換を施すことなく画像の照合処理が行なえる。
【００５４】
図７は、検索基準画像と検索対象画像から各々ＤＣ成分のみを抽出して再構成した画像の概念を示す図である。上記の相関検出の為のパターンマッチングにこのＤＣ成分画像を用いる。
【００５５】
図８はニューラルネットワークを用いて画像照合を行う為の構成を示すブロック図である。検索対象画像（Ｓ−ｎ）を、ＤＣ成分のみのデータで再画像構成し（図７参照）、この再構成画像のうちのｎ個のデータを前記ニューラルネットワークの入力層に入力する。その後中間層１と中間層２を経て出力層へｍ個の識別結果をサーチ結果として出力する。
【００５６】
ｎは識別処理に必要なパラメータ数、ｍは識別結果の分解能力によって設定される。例えば、縦横６４画素の基準画像を用い、各画素をひとつずつのデータとして利用する場合は、ｎ＝４０９６となる。又、出力層は複数のキーワードに対応した幾つかに分類すれば良い場合は、そのキーワード数に相当する数でよい。更に、入力画像の個々を完全に識別する場合は、その入力数と同等の出力数（つまりｍ＝ｎ）となる。
【００５７】
この階層型ニューラルネットワークの入力層と中間層１を結ぶ各々の経路毎に設定される重み付け係数、中間層１と中間層２を結ぶ各々の経路毎に設定される重み付け係数、そして中間層２と出力層を結ぶ各々の経路毎に設定される重み付け係数は、前述同様の処理にて基準画像から各々ＤＣ成分のみを抽出して再構成した学習用データ（図７参照）にて数値がある程度収束するまで学習させておく。
【００５８】
尚、入力データは前記の画素の生データの他に、所定のエリア毎の輝度値や色情報、更にはそれらの差分等の前処理したデータを用いることもできる。
【００５９】
又、学習用のデータは、元サンプリングデータや、ＤＣ成分のみ抽出したデータの他に、必要に応じて各周波数毎に部分抽出したデータから逆変換により再構成された画像を用いても良い。
【００６０】
更に、複数周波数成分に対応して複数の学習済み係数テーブルを準備しておいてもよい。
【００６１】
以上説明したように、実施例１によれば、特定の周波数成分の情報を用いて画像の抽出処理を行うので演算量が少なくて済む。特にＤＣ成分のみを用いた処理の場合、演算量は大幅に削減可能である。また、ネットワーク等を介してデータベースにアクセスするような場合でも、ネットワーク上のデータ転送量を飛躍的に減少させることができる。加えて、各種の画像圧縮の国際規格にＤＣ成分を含んだものが多いので、様々な画像データを検索の対象とすることが可能となる。
【００６２】
ちなみに動画像圧縮方式の一種のＭＰＥＧ方式の中に、ＤピクチャーというＤＣ成分のデータのみで構成された高速サーチ用のモードが定義してあるが、上記画像データを検索対象にすると、更に効率の良い検索が可能である。
【００６３】
＜実施例２＞
圧縮符号化にＤＣＴベースのＭＰＥＧ１を用いて、要求精度を満足するまで複数回の自動パターン照合処理を行う多段検索例を説明する。実施例２のシステム構成は実施例１（図１及び図２）と同様であるのでここでは説明を省略する。
【００６４】
実施例２の動作を図９及び図１０を参照して説明する。図９は実施例２における検索処理の手順を表すフローチャートである。また、図１０は実施例２における検索処理の概念を表す図である。
【００６５】
ステップＳ２００で不図示のキーボードより検索のためのキーワードを入力すると、階層制御部１０において入力されたキーワードの上位概念を示すキーワードが抽出される。そして、この上位概念を示すキーワードによりメイン画像ファイルＤ４のデータ検索が行われ、画像データの前抽出が実行される。この前抽出処理において抽出されたデータは、その検索フラグ３３が「１」にセットされる。次に、前抽出で用いられたキーワードより一つ下位の概念を示すキーワードにより画像データベースＤ２をアクセスし（ステップＳ２０２）、キーとすべき基準画像を抽出する（ステップＳ２０３）。そして、この基準画像について所定の圧縮処理を施し、その結果を保持する（ステップＳ２０４）。
【００６６】
以上の処理は実施例１のステップＳ１００〜ステップＳ１０５とほぼ同様である。但し、実施例１では圧縮データの一部を保持すれば良い（例えば、ＤＣＴ変換であればＤＣ成分を保持すれば良い）が、実施例２では全ての圧縮データを保持しておく。ここでは、ＤＣＴ変換を用いるものとし、基準画像の圧縮データをＤＣ成分、低域成分、中域成分、高域成分に分類して保持する。
【００６７】
実施例２では、３段階での抽出作業を実行するものとする。１回目の抽出作業ではＤＣ成分による照合処理を行い画像データの１回目の抽出を行う。まず、ステップＳ２０５において、基準画像の圧縮データよりＤＣ成分を抽出する。ステップＳ２０６では、メイン画像ファイルＤ４中の各検索対象の画像データ（前抽出処理において検索フラグが「１」にセットされた圧縮データ）のＤＣ成分を抽出する。そして、ステップＳ２０７において、基準画像と検索対象画像のＤＣ成分を照合処理することで、画像の検索を行う。この検索処理の結果、画像データ群３０２ａ（図１０）のようなマッチング度の分布が得られ、所定の閾値を越えるマッチング度を有する画像データの検索フラグ３３が「１」に、他の画像データの検索フラグが「０」にセットされる（ステップＳ２０８）。このようにして抽出された画像データはワークファイルＤ３に格納される（ステップＳ２０９）。
【００６８】
この１回目の抽出処理による検索件数は、図１０において画像データ群３０２ａで示される。この１回目の検索結果が要求精度を満足したか否かを判定し、満足していればステップＳ２１１へ、満足していなければステップＳ２１２へ夫々進む。ここでは、要求精度の判断として、抽出されたデータの数を基準とする。即ち、抽出されたデータ数が所定数以内であれば要求精度を満足したものとする。要求精度を満足しない場合は、ステップＳ２１２において上限周波数を上げ（本実施例では圧縮データの低域成分までを用いるものとする）、ステップＳ２０５へ戻り、２回目の抽出処理に入る。
【００６９】
２回目の抽出処理では、この１回目の抽出処理で抽出された画像データ群３０２ａに対して検索処理が行われる。２回目の抽出処理では、１回目の抽出処理で検索フラグ３３に１をセットされたデータ群３０２ａを検索対象とし、圧縮データにおける周波数の低域成分３７までをもちいて照合処理を行う。この結果、画像データ群３０２ｂに示すようなマッチング度の分布が得られる。１回目の抽出処理と同様に、所定の閾値以上のマッチング度を有するデータが抽出され、検索フラグ３３が「１」にセットされる。そして、検索結果の精度に対する判断を行い、充分な結果であれば検索処理を終了するが、抽出精度が不十分と判断した場合には、更に３回目の抽出処理が行われる。
【００７０】
なお、２回目の抽出処理においては低域成分３７を用いて処理をおこなうが、その手法はＤＣ成分を用いた照合処理と同様である。例えば、低域成分までに８個の周波数成分データがあれば、８／６４＝１／８に対応した画像となり、ＤＣ成分の場合と同様の手順で照合がおこなえることは明らかである。
【００７１】
３回目の抽出処理では、２回目の抽出処理で抽出された画像データ群３０２ｂに対して抽出処理が行われる。また、照合処理に用いられるデータは中域成分３８と高域成分３９迄を含む全圧縮データである。この３回目の抽出処理の結果、抽出される画像データ群は更に絞り込まれ、画像データ群３０２ｃとなる。
【００７２】
以上のように、抽出処理の回を重ねるごとに、検索対象となる画像データ群のデータ数が減少する。このように減少した画像データ群を対象に、使用する圧縮データの上限周波数を引き上げ、更なる高周波数データを用いた、より精度の高い画像照合処理を行う。この場合、画像データ一件当りの演算量は増加するが、検索対象となる画像データの数が減少しているので、処理時間の増大化を防止できる。
【００７３】
以上のような照合処理が終了して初めて、画像の伸張処理を実行し、抽出結果を出力（表示）する。
【００７４】
以上説明したように、実施例２によれば、１回目の照合処理時には圧縮データのＤＣ成分のみが用いられるので、データ演算量が大幅に低減できる。よって、大雑把なデータ群抽出処理を簡易的な処理で、かつ迅速に済ませることが可能となる。
【００７５】
又、２回目以降の絞り込み処理では、検索対象データ数が減少したことで、より高い精度を要求される抽出処理により多くの演算時間を分配できる。このように多段抽出処理の各段階において、要求される抽出精度に応じた演算負荷で処理されるので、応答時間に大きなバラツキがなく使用者の感覚に合致する極めて扱い易いシステムが構築可能となる。
【００７６】
＜実施例３＞
圧縮符号化にＤＣＴベースのＭＰＥＧを用いて、階層的自動パターン照合処理を行う例を説明する。尚、本実施例３のシステム構成等は、実施例１（図１及び図２）と同様である。
【００７７】
実施例３では、３階層の抽出作業を実行し、夫々の階層では、前段で“検索フラグ＝１”を付けられたデータ群を検索対象として認識する。図１１は実施例３における検索処理の手順を表すフローチャートである。また、図１２は実施例３における検索処理の概念を表す図である。以下、実施例３における検索処理を詳細に説明する。
【００７８】
まず、実施例１、実施例２と同様に、入力されたキーワードについて上位概念のキーワードを獲得し、獲得されたキーワードを階層化する。そして、上位概念のキーワードから低次のキーワードへの検索を行い、データの前抽出を行う（ステップＳ３００〜Ｓ３０３）。その後、キーワードによる１回目の検索処理を開始する。１回目の検索処理では、低次のキーワード（図１２では「人間」）を選定し（ステップＳ３０４）、これを用いてＤＣ成分による照合処理を行う。
【００７９】
ステップＳ３０５、ステップＳ３０６において、画像データベースＤ２へアクセスし、選定されたキーワードに対応する基準画像を抽出する。ステップＳ３０７では、圧縮処理部１１が、ステップＳ３０６で選定された対応画像に圧縮処理を施す。そして、ステップＳ３０８ではキーワードの階層に応じた圧縮データの抽出が行われる。１回目の検索処理では、低次のキーワードであるので、ＤＣ成分のみが抽出される。ステップＳ３０９、ステップＳ３１０では、メイン画像ファイルＤ４の前抽出処理で抽出された各データについて、そのＤＣ成分を用いた照合処理が行われる。この照合処理の結果、前抽出されたデータは画像データ群３０２ａに示すような分布を有し、マッチング度が所定値よりも大きい画像データが抽出データとして抽出される（ステップＳ３１１）。
【００８０】
ステップＳ３１１にて抽出されたデータはワークファイルＤ３に格納される（ステップＳ３１２）。ステップＳ３１３では、上記抽出の結果、要求精度を満足したか否かを判断し、満足していればステップＳ３１４へ、満足していなければステップＳ３１５へ進む。ここで要求精度は、抽出されたデータの件数で表されるものとする。
【００８１】
抽出の結果、要求精度が満足されていない場合は、ステップＳ３１５において次の階層のキーワードを選定してステップＳ３０５へ戻る。この結果、２回目の検索処理では、一階層高次にシフトした検索キーワード（図１２では「男性」）に対応する基準画像を画像データベースＤ２より抽出し、前述同様の圧縮処理が施される。そして、ステップＳ３０８〜ステップＳ３１０の照合処理では、圧縮データ中の低域成分までが用いられる。尚、ここで検索対象となる画像データは、１回目の検索処理で検索フラグが「１」にセットされたデータであることは実施例２の場合と同様である。この結果、前回の照合作業よりも、高い階層次数のより精度の高い画像照合処理が行われることになる。
【００８２】
以上のようにして、２回目の抽出処理が終わると、その抽出結果が要求精度を満足したか否かが判断され、満足していなければ３回目の検索処理に入る。３回目の検索処理では、ステップＳ３１５において、更に高次のキーワード（図１２では「鈴木拓哉」）が選定される。そして、このキーワードに対応する基準画像を画像データベースＤ２より抽出し、前述同様の圧縮処理が施される。３回目の検索処理におけるステップＳ３０８〜ステップＳ３１０の照合処理では、圧縮データ中の高域成分（即ち全圧縮データ）が用いられる。
【００８３】
また、３回目の検索処理においては、前回の検索処理において“検索フラグ＝１”を付けられたデータ群を検索対象とする。３回目の処理が終了した場合は、必ず要求精度を満足するものとし、処理はステップＳ３１３よりステップＳ３１４へ進む。このようにして照合処理が終了してから、初めて画像の伸張処理を実行し、抽出結果を出力（表示）する。
【００８４】
以上説明したように実施例３によれば、階層的に定義された検索情報の低次検索情報を、該圧縮情報の低域側の周波数成分に対応させたことで、１回目の照合処理のデータ演算量が大幅に低減できる。よって、１回目の抽出処理における大雑把なデータ群抽出処理を簡易的な処理にて済ませる事ができる。又、より高次の検索情報を、より高域側の周波数成分の情報に対応させる事で、２回目以降の、精度を要求される抽出処理により多くの時間を配分できる。
【００８５】
また、検索情報に関しても利用者の所望の階層からの検索処理を可能にでき、効率良く所望のデータ群を抽出できる。
【００８６】
尚、圧縮符号化にＭＰＥＧ以外の方式を用いても良い。例えば、符号構造自体が階層的なピラミッド符号化を始め、サブバンド符号化、算術符号化、フラクタル符号化、コピー符号化等の波形符号化に利用できるばかりでなく、圧縮過程そのものにパターン認識技術を用いる認識符号化等の知的符号化は、より適合性の高いものである。
【００８７】
また、実施例２、実施例３においても、予めシステムで用いる圧縮方法を決めておき、基準画像をその圧縮方法に従って圧縮して画像データベースＤ２に格納すれば、基準画像に対する圧縮処理が不要となることは明らかである。
【００８８】
以上説明したように上記実施例によれば、以下に示すような効果が得られる。即ち、情報伸張処理を行うことなく、所望のデータ群を抽出できるので、扱うデータ量が減少し、処理が高速になる。扱うデータ量の減少は、ネットワーク上のデータベースを含めた抽出処理において、ネットワークへの負荷を軽減する。
【００８９】
また、特定周波数成分を用いて抽出処理するので演算量が少なくて済む。特にＤＣ成分のみを用いた処理の場合、演算量は大幅に削減可能である。加えて、各種の画像圧縮の国際規格にＤＣ成分を含んだものが多いので、様々な画像データを検索の対象とすることが可能となる。ちなみに動画像圧縮方式の一種のＭＰＥＧ１方式の中に、ＤピクチャーというＤＣ成分のデータのみで構成された高速サーチ用のモードが定義してあるが、上記画像データを検索対象にすると、更に効率の良い検索が可能である。
【００９０】
また、階層符号化データ群に階層的に定義された検索情報を用いるので、利用者の検索思考手順とシステムの演算処理手順が一致しており、全体の検索処理に無駄が生じない。
【００９１】
また、低次検索情報を用いた抽出処理の結果に対し、より高次の検索情報を用いた抽出処理を施す多段抽出処理により、必要に応じた抽出精度、或は必要に応じた抽象度レベルを選択的に実行可能となり、全体の検索処理に無駄が生じない。
【００９２】
また、低域周波数成分を用いる抽出処理の結果に対し、より高域側の周波数成分を用いる抽出処理を行う多段抽出処理のため、対象データ群数の多い低域（低次）の初期検索時には個々の演算量が少なくて済む。また、より詳細な照合処理に必要な高域（高次）の検索時には対象データの数が絞り込まれており、結果的に各検索階層毎に処理演算量は平均化されることになる。つまり、検索コマンドを入力してからの応答時間（レスポンス）が、各検索段階においてバラツキなく利用出来るようになり、システムの操作感が向上する。又、データ照合処理を行うＣＰＵの負荷設計に大きな余裕を見込む必要が無くなるので能力的に１ランク低い低価格の素子の利用が可能になる。或はタイムシェアによりＣＰＵを利用する場合、空き時間に他の多くの処理を実行可能になる。
【００９３】
また、階層的に定義された検索情報の低次検索情報を、該圧縮情報の低域側の周波数成分に対応させたことで、１回目の照合処理のデータ演算量が大幅に低減できる。このため、大雑把なデータ群の抽出処理を簡易的な処理にて、短時間に済ませることができる。又、より高次の検索情報を、より高域側の周波数成分の情報に対応させることで、２回目以降の照合処理を高精度に行なえる。また、１回目の照合処理に慮り対象となるデータが絞り込まれているので、精度を要求される２回目以降の抽出処理により大きの演算時間を分配できる。
【００９４】
また、検索キーワードの階層シフトと、画像処理に用いる上限周波数のシフトを連動させるので、キーワードの階層的絞り込みと画像照合精度が同時に向上するという相乗効果を有し、回を重ねる度に加速度的に検索結果の質が向上する。このように多階層抽出処理の各階層において、要求される抽出精度に応じた演算負荷（つまり応答時間）で処理されるので、使用者の感覚に合致する極めて扱い易いシステムが構築可能となった。
【００９５】
また、検索情報に関しても利用者の抽象度に応じ、任意の階層からの検索処理が可能となり、効率良く所望のデータ群を抽出できる。
【００９６】
また、一般に、遠隔データベースにアクセスし情報検索を実行する機会が増加する傾向にあるが、上記実施例によると伸張処理を行う事なく自動的に検索処理が可能となる。このため、検索結果を伝送路を通して使用者へ伝送する場合にも、絞り込まれた抽出結果を圧縮されたデータ形態で伝送されるので通信路への負荷および伝送時間の節約になる。ひいては検索作業全体の効率向上にも貢献できる。
【００９７】
また、検索キーワードに関する知識データベースを階層形式にて蓄積しているので、指定されたキーワードの階層に到達するまでの関連を確認し、キーワードのみの検索で前処理の抽出を終え、画像処理による抽出の負荷を軽減し総合的な処理の効率を上げることができる。
【００９８】
また、処理時間的には不利であるが、抽出精度を求める場合には、キーワードの付与処理の施されている階層に対しても、画像処理による抽出作業を実行するとキーワードの付与漏れデータも抽出できる可能性が有り、全体の検索精度が向上する。
【００９９】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【０１００】
【発明の効果】
以上のように本発明によれば、情報圧縮を施した状態にて蓄積された複数のデータ群より所望のデータを検索するに際して、情報圧縮を施した状態にてデータの照合処理を行うことが可能となる。
【０１０１】
また、本発明によれば、複数の圧縮データ群より所望のデータを検索する際に、圧縮データの一部を用いてデータの照合処理を行うことが可能となり、データ検索において使用するデータ量を低減できる。
【０１０２】
【図面の簡単な説明】
【図１】本実施例における情報検索システムの構成を示すブロック図である。
【図２】データベースに登録されたデータの構成例を示す図である。
【図３】実施例１における情報検索の手順を表すフローチャートである。
【図４】本実施例１における検索処理の概念を表す図である。
【図５】検索対象画像と、基準画像の一例を表す図である。
【図６】サーチ部１２の詳細な構成を表すブロック図である。
【図７】検索基準画像と検索対象画像から各々ＤＣ成分のみを抽出して再構成した画像を概念的に示す図である。
【図８】ニューラルネットワークを用いて画像照合を行う為の構成を示すブロック図である。
【図９】実施例２における検索処理の手順を表すフローチャートである。
【図１０】実施例２における検索処理の概念を表す図である。
【図１１】実施例３における検索処理の手順を表すフローチャートである。
【図１２】実施例３における検索処理の概念を表す図である。
【図１３】従来の画像検索システムの構成を表すブロック図である。
【符号の説明】
１０  階層制御部
１１、１５、１６  圧縮処理部
１２  サーチ部
１３、１４  通信端末
１７  伸張処理部
１８、１９  キーワード付与部
Ｄ１  キーワードデータベース
Ｄ２  画像データベース
Ｄ３  ワークファイル
Ｄ４  メイン画像ファイル
Ｄ５  外部データベース
【図１】
0003720412.tif 000002
【図２】
0003720412.tif 000003
【図３】
0003720412.tif 000004
【図４】
0003720412.tif 000005
【図５】
0003720412.tif 000006
【図６】
0003720412.tif 000007
【図７】
0003720412.tif 000008
【図８】
0003720412.tif 000009
【図９】
0003720412.tif 000010
【図１０】
0003720412.tif 000011
【図１１】
0003720412.tif 000012
【図１２】
0003720412.tif 000013
【図１３】
0003720412.tif 000014