(57)【要約】【課題】  指定した検索要求に従った適切な情報検索を行うことができる情報検索装置を提供する。【解決手段】  検索要求入力処理を行い（Ｓ３００１）、検索重みが指定されているか否かを判断し（Ｓ３００２）、検索語及び感性パターンに基づく検索を実行し（Ｓ３００４、Ｓ３００６）、検索結果を指定された検索重みに基づき統合し（Ｓ３００７）、得られた結果を表示する（Ｓ３００８）。【選択図】  図１８
2005056438.tif 000002
【特許請求の範囲】
【請求項１】
複数種類のマルチメディア情報を相互に関連付けて管理し、その管理されているマルチメディア情報から所望のマルチメディア情報を検索する情報検索装置であって、
前記複数種類のマルチメディア情報にまたがる条件が指定された検索語を入力して解析するとともに、各マルチメディア情報の検索の相対的な割合を抽出する解析手段と、
前記解析手段の解析結果に基づき、前記各マルチメディア情報毎に解析された条件との類似度を算出する類似度算出手段と、
前記各マルチメディア情報毎に算出された類似度に前記相対的な割合に応じた重み付けを行って、該各マルチメディア情報それぞれに対応する検索結果を統合する統合手段と、
前記統合手段で統合された検索結果に基づいて、最終的な検索結果を出力する出力制御手段と
を備えることを特徴とする情報検索装置。
【請求項２】
前記割合は、相対的な割合を示すパターンから抽出される
ことを特徴とする請求項１に記載の情報検索装置。
【請求項３】
前記解析手段の解析により、入力された１つの検索条件から、各マルチメディア情報を検索するためのそれぞれの条件を抽出する
ことを特徴とする請求項１又は請求項２に記載の情報検索装置。
【請求項４】
前記マルチメディア情報が、画像及び文字を含む
ことを特徴とする請求項１乃至請求項３のいずれかに記載の情報検索装置。
【請求項５】
複数種類のマルチメディア情報を相互に関連付けて管理し、その管理されているマルチメディア情報から所望のマルチメディア情報を検索する情報検索方法であって、
前記複数種類のマルチメディア情報にまたがる条件が指定された検索語を入力して解析するとともに、各マルチメディア情報の検索の相対的な割合を抽出する解析工程と、
前記解析工程の解析結果に基づき、前記各マルチメディア情報毎に解析された条件との類似度を算出する類似度算出工程と、
前記各マルチメディア情報毎に算出された類似度に前記相対的な割合に応じた重み付けを行って、該各マルチメディア情報それぞれに対応する検索結果を統合する統合工程と、
前記統合工程で統合された検索結果に基づいて、最終的な検索結果を出力する出力制御工程と
を備えることを特徴とする情報検索方法。
【請求項６】
請求項５に記載の機能を実現するコンピュータプログラムを記憶したコンピュータ可読記録メモリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種類のマルチメディア情報を管理し、その管理されているマルチメディア情報から所望のマルチメディア情報を検索する情報検索装置及びその方法、コンピュータ可読メモリに関するものである。
【背景技術】
【０００２】
従来、マルチメディア情報、例えば、画像を検索する情報検索装置として、入力したキーワードと、画像に対応づけられたキーワードとの一致を図ることによって所望の画像を得る情報検索装置が実現されている。また、入力したキーワードのみならず、入力したキーワードと関連する関連キーワードと画像に対応づけられたキーワードとの一致を図ることによって、入力したキーワードとの完全一致のみでは得られなかった画像を得る情報検索装置もまた実現されている。また、画像のカラー情報などを利用して、入力したキーワードとカラー情報の対応をとり、類似したカラー情報をもつ画像を得る情報検索装置が考案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の情報検索装置では、入力したキーワードの示す検索要求に対して、所望の検索結果を求めるための検索条件を操作者が指定することができず、意図する検索結果を選られないという問題点があった。例えば、「さわやか」という検索要求に対して、操作者が「さわやか」な感じの特徴パターンを持つ画像のみを欲している場合であっても、「さわやか」な音楽の楽譜面や「さわやか」な感じのするスポーツマンなど、「さわやか」という検索要求から連想される内容語を持つ画像を提示してしまい、検索要求にそぐわない画像を提示してしまっていた。
【０００４】
本発明は上記の問題点に鑑みてなされたものであり、指定した検索要求に従った適切な情報検索を行うことができる情報検索装置及びその方法、コンピュータ可読メモリを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための本発明による情報検索装置は以下の構成を備える。即ち、
複数種類のマルチメディア情報を相互に関連付けて管理し、その管理されているマルチメディア情報から所望のマルチメディア情報を検索する情報検索装置であって、
前記複数種類のマルチメディア情報にまたがる条件を解析するとともに、各マルチメディア情報の検索の相対的な割合を抽出する解析手段と、
前記解析手段の解析結果に基づき、前記各マルチメディア情報毎に解析された条件との類似度を算出する類似度算出手段と、
前記各マルチメディア情報毎に算出された類似度に前記相対的な割合に応じた重み付けを行って、該各マルチメディア情報それぞれに対応する検索結果を統合する統合手段と、
前記統合手段で統合された検索結果に基づいて、最終的な検索結果を出力する出力制御手段と
を備える。
【０００６】
また、好ましくは、前記割合は、相対的な割合を示すパターンから抽出される。
【０００７】
また、好ましくは、前記解析手段の解析により、入力された１つの検索条件から、各マルチメディア情報を検索するためのそれぞれの条件を抽出する。
【０００８】
また、好ましくは、前記マルチメディア情報が、画像及び文字を含む。
【０００９】
上記の目的を達成するための本発明による情報検索方法は以下の構成を備える。即ち、
複数種類のマルチメディア情報を相互に関連付けて管理し、その管理されているマルチメディア情報から所望のマルチメディア情報を検索する情報検索方法であって、
前記複数種類のマルチメディア情報にまたがる条件を解析するとともに、各マルチメディア情報の検索の相対的な割合を抽出する解析工程と、
前記解析工程の解析結果に基づき、前記各マルチメディア情報毎に解析された条件との類似度を算出する類似度算出工程と、
前記各マルチメディア情報毎に算出された類似度に前記相対的な割合に応じた重み付けを行って、該各マルチメディア情報それぞれに対応する検索結果を統合する統合工程と、
前記統合工程で統合された検索結果に基づいて、最終的な検索結果を出力する出力制御工程と
を備える。
【発明の効果】
【００１０】
以上説明したように、本発明によれば、指定した検索要求に従った適切な情報検索を行うことができる情報検索装置及びその方法、コンピュータ可読メモリを提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
【００１２】
図１は本発明の実施形態の情報検索装置の構成を示す図である。
【００１３】
図１において、１１はマイクロプロセッサ（ＣＰＵ）であり、画像情報検索のための演算、論理判断等を行い、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。アドレスバスＡＢは、ＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢは、ＣＰＵ１１の制御の対象とする各構成要素のコントロール信号を転送して印加する。データバスＤＢは、各構成相互間のデータ転送を行う。
【００１４】
１２は読出し専用の固定メモリ（ＲＯＭ）であり、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。１３は１ワード１６ビットで構成される書込み可能なランダムアクセスメモリ（ＲＡＭ）であり、各構成要素からの各種データの一時記憶に用いられる。また、図２において後述する検索語保持部２０２、検索観点保持部２０３、検索重み保持部２０４、決定重み保持部２０７、展開連想語保持部２０９、展開感性パターン保持部２１３、検索結果保持部２１６を記憶する。
【００１５】
１４は外部メモリ（ＤＩＳＫ）であり、図２において後述する概念判別辞書２０５、連想語辞書２１１、イメージ語と感性パターンの対応保持部２１５、画像内容語保持部２１９、画像保持部２１８、感性パターン保持部２２０、画像特徴量保持部２２２、画像特徴量と感性パターンの対応保持部２２３を格納する。また、図２において後述する検索要求入力処理部２０１、重み判定処理部２０６、連想語展開処理部２０８、連想語による画像内容語検索処理部２１０、感性パターン展開処理部２１２、感性パターン検索処理部２１４、検索結果統合処理部２１７、画像特徴抽出処理部２２１、感性パターン判定処理部２２４の各処理部を実行するプログラムが格納される。また、これらのプログラムを格納する記憶媒体としては、ＲＯＭ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、メモリカード、光磁気ディスクなどを用いることができる。
【００１６】
１５はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、検索を指示する検索キー及びカーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。１６は表示用ビデオメモリ（ＶＲＡＭ）であり、表示すべきデータのパターンを記憶する。１７はＣＲＴコントローラ（ＣＲＴＣ）であり、ＶＲＡＭ１６に記憶された内容をＣＲＴ１８に表示する役割を担う。１８は陰極線管等を用いた表示装置（ＣＲＴ）であり、ＣＲＴ１８におけるドット構成の表示パターンおよびカーソルの表示がＣＲＴＣ１７によって制御される。１９はネットワークコントローラ（ＮＩＣ）であり、Ｅｔｈｅｒｎｅｔ（登録商標）等のネットワークに接続する役割を担う。
【００１７】
かかる各構成要素からなる情報検索装置においては、ＫＢ１５からの各種の入力及びＮＩＣ１９から供給されるネットワーク経由の各種入力に応じて作動する。ＫＢ１５からの入力及びＮＩＣ１９からの入力が供給されると、まず、インタラプト信号がＣＰＵ１１に送られ、ＣＰＵ１１がＤＩＳＫ１４内に記憶してある各種の制御信号を読み出し、それらの制御信号に従って、各種の制御が行われる。また、本発明に係わるプログラムを格納した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが、記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は達成される。
【００１８】
次に、本実施形態の情報検索装置の機能構成について、図２を用いて説明する。
【００１９】
図２は本発明の実施形態の情報検索装置の機能構成を示すブロック図である。
【００２０】
図２において、２０１は所望の検索対象に関する要求事項（検索語、検索観点検索重み等）を入力する検索要求入力処理部である。２０２は検索要求入力処理部２０１によって入力された検索語を記憶する検索語保持部である。２０３は検索要求入力処理部２０１によって入力された検索観点を記憶する検索観点保持部である。２０４は検索要求入力処理部２０１によって入力された検索重みを記憶する検索重み保持部である。
【００２１】
２０５は検索対象となる概念に関係する検索観点、反対の意味を持つ反意概念、概念を検索する際の重み判定のための２種類の係数を有する概念判別辞書である。２０６は検索語保持部２０２に記憶された検索語を検索する際に、連想語と感性パターンのいずれを重視して検索すべきか重みを与える重み判定処理部である。２０７は重み判定処理部２０６で決定された検索重みを記憶する決定重み保持部である。
【００２２】
２０８は検索語保持部２０２に記憶された検索語を連想語辞書２１１を参照して連想語に展開し、また、入力された検索語の反意概念を概念判別辞書２０５から得て、反意概念から連想語に展開する連想語展開処理部である。２０９は連想語展開処理部２０８によって展開された連想語を格納する展開連想語保持部である。２１０は展開連想語保持部２０９を参照して画像内容語保持部２１９に格納された画像内容語のうち展開された連想語と合致するものを検索する連想語による画像内容語検索処理部である。
【００２３】
２１１は見出しとなる概念ごとに展開される連想語を連想観点と対応させて格納した連想語辞書である。２１２は検索語保持部２０２に記憶された検索語をイメージ語と感性パターンの対応保持部２１５を参照して感性パターンに展開し、また、記憶された検索語の反意概念を概念判別辞書２０５から得て、反意概念から感性パターンに展開する感性パターン展開処理部である。
【００２４】
２１５はイメージ語と感性パターンの対応をとって格納したイメージ語と感性パターンの対応保持部であり、イメージ語とそのイメージ語に関連づけられた各連想語に対応する感性パターンＩＤが記憶されている。ここで、イメージ語と感性パターンの対応保持部２１５のデータ格納例を、図３に示す。尚、イメージ語と感性パターンの対応保持部２１５の構成の詳細については、後述する。  ２１３は感性パターン展開処理部２１２で展開した感性パターンを一時的に保存する展開感性パターン保持部であり、ＲＡＭ１３に格納される。ここで、感性パターン展開処理部２１３のデータ格納例を、図４に示す。尚、感性パターン展開処理部２１３の構成の詳細については、後述する。
【００２５】
２１４は展開感性パターン保持部２１３を参照して、感性パターン保持部２２０に格納された感性パターンのうち展開された感性パターンと類似するものを検索する感性パターン検索処理部である。２１７は検索結果保持部２１６に記憶された連想語による画像内容語の検索結果と感性パターンの検索結果とを重み判定処理部２０６によって得た検索重みに基づいて検索結果を統合する検索結果統合処理部である。
【００２６】
２１７は画像保持部２１８に格納された画像情報に描写されている概念を言語で記述し格納した画像内容語保持部である。２１８は検索対象となる画像情報を格納した画像保持部である。２２０は画像保持部２１８に格納された画像情報から得られた感性パターンを格納する感性パターン保持部であり、画像情報を示す画像ＩＤごとに各感性パターンとの適合度が記憶されている。ここで、感性パターン保持部２２０のデータ格納例を、図５に示す。尚、感性パターン保持部２２０の構成の詳細については、後述する。
【００２７】
２２１は画像保持部２１８に格納された画像情報から物理的な画像特徴量を抽出する画像特徴抽出処理部である。物理的な画像特徴量は、色情報をもとに分割された領域や一定面積で分けられたブロック、または画像全体から抽出される視覚的な特徴である。画像特徴量とは、例えば、画像の色分布やヒストグラム、画像の濃淡分布、テクスチャ、エッジ、周波数分布等の数値化された情報であり、例えば、図６のように表わされる。尚、画像特徴量の詳細については、後述する。
【００２８】
２２２は画像特徴抽出処理部２２１によって得られた画像特徴量を格納する画像特徴量保持部である。２２３は画像特徴量と感性パターンの対応をとって記憶した画像特徴量と感性パターンの対応保持部であり、感性パターンＩＤと各ＩＤに対応した画像特徴量が記憶されている。ここで、画像特徴量と感性パターンの対応保持部２２３のデータ格納例を、図７に示す。尚、画像特徴量と感性パターンの対応保持部２２３の詳細については、後述する。
【００２９】
２２４は画像特徴量保持部２２２と画像特徴量と感性パターンの対応保持部２２３とを参照して、感性パターンと画像情報から抽出した画像特徴量とを比較・照合し、その適合度を求める感性パターン判定処理部である。
【００３０】
次に、検索要求入力処理部２０１において入力された検索要求事項に関連する検索観点の表示例について、図８を用いて説明する。
【００３１】
図８は本発明の実施形態の検索要求入力処理部において入力された検索観点の表示例を示す図である。
【００３２】
図８では、検索語「渋い」に対して、検索観点が「色調」「味」「雰囲気一般」の３つが存在し、ここでは、網掛け表示されている「色調」が検索観点として選択されていることを示している。キーボード１５上のカーソル移動キーを押下することにより、網掛け表示は「色調」から「味」または「雰囲気一般」というように遷移し、ユーザは所望の検索観点を指定することができる。
【００３３】
次に、検索要求入力処理２０１において、連想語による検索重みと、感性パターンによる検索重みのどちらを重視して検索するかを操作者が指示する場合の操作パネルの表示例について、図９を用いて説明する。
【００３４】
図９は本発明の実施形態の検索重みを指示する場合の操作パネルの表示例を示す図である。
【００３５】
図９において、スライドボタン４１を左方向にスライドさせると連想語による検索を重視するような指示が行われ、右方向にスライドさせると感性パターンによる検索を重視する指示が行われる。スライドボタン４１で検索重みを指定した後、ボタン４３を押下することで、検索重みの指示が行われる。表示領域内ボタン４２は検索重みを明示的に指定しない場合に押下し、その場合、所定の検索重みの指示が行われる。
【００３６】
次に、画像保持部２１８の構成について、図１０を用いて説明する。
【００３７】
図１０は本発明の実施形態の画像保持部の構成を示す図である。
【００３８】
画像保持部２１８は、画像情報（画像ファイル）を示す画像ＩＤとその画像情報が格納されている場所を示す画像ファイル格納パスを対応づけて、画像情報を管理している。図１０において、２１８０は画像ＩＤを示し、１つの画像ファイルにつき一意に付与された識別番号である。２１８１は画像ＩＤに対応する画像ファイルのＤＩＳＫ１４における格納先を示すファイルパスであり、ＭＳ−ＤＯＳのディレクトリとファイルに相当する。図には示していないが、画像ファイルはヘッダ部と画像データ部に分けられる。ヘッダ部にはその画像ファイルからデータを読み取るときに必要な情報や、画像の内容を説明する付帯的な情報が格納される。情報としては、その画像の画像フォーマット名を示す画像フォーマット識別子、ファイルサイズ、画像の幅・高さ・深さ、圧縮の有無、カラーパレットの情報、解像度、画像データの格納位置へのオフセット等の情報が格納されている。画像データ部は画像データを順次格納している部分である。本実施形態において、このような画像フォーマットとして、Ｍｉｃｒｏｓｏｆｔ社のＢＭＰフォーマットを用いるものとするが、ＧＩＦフォーマットあるいはＪＰＥＧ、ＦｌａｓｈＰｉｘのようなその他の圧縮フォーマットを用いても同様の構成をなすことができる。
【００３９】
次に、画像内容語保持部２１９の構成について、図１１を用いて説明する。
【００４０】
図１１は本発明の実施形態の画像内容語保持部の構成を示す図である。
【００４１】
画像内容語保持部２１９は、画像ＩＤと画像内容語を対応づけて、画像情報を管理している。図１１において、２１９００は図１０の画像ＩＤ２１８０と対応する画像ＩＤを格納し、２１９０１は画像ＩＤ２１９００に対応する画像ファイルを描写する画像内容語を格納する。画像内容語は、画像ファイルに描写されている画像特徴を言葉にしたもので、キーワードを文字コード（例えば、ｕｎｉｃｏｄｅ）で格納する。キーワードは、１つの画像ファイルについて複数個格納してもよく、画像内容語保持部２１９は画像ＩＤ２１９００をキーとする画像内容語２１９０１のリストで表される。また、図１２に示すように、画像内容語２１９１０をキーとする画像ＩＤ２１９１１のリストで表しても良い。
【００４２】
次に、概念判別辞書２０５の構成について、図１３を用いて説明する。
【００４３】
図１３は本発明の実施形態の概念判別辞書の構成を示す図である。
【００４４】
概念判別辞書２０５は、図１３に示すように、検索要求となる検索語に関する情報を提供するものであり、検索語に対応する見出し語２０５０と見出し語２０５０に関係する検索観点２０５１、見出し語２０５０と反対の意味をもつ反意概念２０５２、見出し語２０５０を検索する際の連想重み２０５３、見出し語２０５０を検索する際の感性パターン重み２０５４とを対応させて格納している。
【００４５】
次に、連想語辞書２１１の構成について、図１４を用いて説明する。
【００４６】
図１４は本発明の実施形態の連想語辞書の構成を示す図である。
【００４７】
連想語辞書２１１は、見出し語２１１１に対する連想語の一組を一意に番号付ける連想ＩＤ２１１０と、連想の起点となる見出し語２１１１、見出し語２１１１から連想される連想語２１１２、連想語２１１２の連想に関係する連想観点２１１３、見出し語２１１１と連想語２１１２との間の連想の強さを示す連想強度２１１４とから構成される。連想強度２１１４は、０から１０の絶対値をとり、符号が連想語の適用状態をあらわす。即ち、連想強度２１１４が正数である場合は、連想強度数値が大きいほど連想関係による結びつきが強い（共起性が高い）ことを示し、逆に連想強度が負数である場合は、連想強度が大きいほど連想関係が成り立たないことを示す。例えば、図示の連想ＩＤ＝１２６５３３の連想データは、見出し語「素朴」に対応する連想語「民芸品」は「６」の強さで連想が可能な言葉であるが、連想ＩＤ＝１２６５３６の連想データにおける連想語「シャンデリア」は連想強度が負数であるので「９」の強さで連想できない言葉であることがわかる。
【００４８】
次に、検索結果保持部２１６の構成について、図１５を用いて説明する。
【００４９】
図１５は本発明の実施形態の検索結果保持部の構成を示す図である。
【００５０】
検索結果保持部２１６は、連想語による画像内容語検索処理部２１０と感性パターン検索処理部２１４によって検索された画像ＩＤを格納する。図１５において、２１６０は検索された画像ＩＤを格納し、２１６１は連想語による画像内容語検索処理部２１７で一致した連想強度が正数である連想語の数を、２１６２は一致した連想語の連想語辞書２１１における連想語ＩＤ２１１０のリストを最大２０個まで格納する。連想語一致数２１６１が０である場合は、連想語ＩＤ２１６２はヌルコードが埋められる。２１６３は画像ＩＤ２１６０に対する連想語による検索一致度を格納する。連想語一致数２１６１が０である場合は、連想一致度２１６３には０が格納される。
【００５１】
２１６４は感性パターン検索処理部２２３で検索された類似度の最も高い感性パターンの数を、２１６５は一致した感性パターンの感性パターンＩＤのリストを最大２０個まで格納する。感性パターン一致数２１６４が０である場合は、感性パターンＩＤ２１６５はヌルコードが埋められる。２１６６は画像ＩＤ２１６０に対する感性パターン検索による検索一致度を格納する。感性パターン一致数２１６４が０である場合は、感性パターン一致度２１６６には０が格納される。２１６７は、連想一致度２１６３と感性パターン一致度２１６６とをパラメータとして求めた検索要求に対する画像ＩＤ２１６０の一致度を格納する。
【００５２】
ここで、上述した展開感性パターン保持部２１３の構成の詳細について、図４を用いて説明する。
【００５３】
図４において、２１３０−１は、この感性パターンの展開元であるイメージ語であり、検索語保持部２０２と同じイメージ語が格納されている。本実施形態では、「さわやかな」という文字列が格納されており、文字列はＮＵＬＬコードで終了する。２１３０−２は、「さわやかな」というイメージ語から展開された感性パターンの数で、本実施形態では、７である。２１３０−３は、「さわやかな」というイメージ語を実際に展開したデータの格納先の領域を示すアドレスである。アドレス２１３０−３は、展開データ２１３０−４にリンクしている。
【００５４】
２１３０−４は、「さわやかな」から実際に展開された展開データであり、ここには、感性パターンの数２１３０−２の個数分の連想語と感性パターンの組が格納されている。本実施形態では、連想語と感性パターンの組が７組格納されている。２１３０−５は、イメージ語「さわやかな」と「さわやかな」の連想語「森林」に対応した感性パターンＩＤである。本実施形態では、５が格納されている。２１３０−６は、「さわやかな」というイメージ語の連想語である。本実施形態では、「森林」という文字列が格納されており、文字列はＮＵＬＬコードで終了する。
【００５５】
次に、上述したイメージ語と感性パターンの対応保持部２１５の構成の詳細について、図３を用いて説明する。
【００５６】
図３において、２１５０−１は、この感性パターンの展開元となるイメージ語である。本実施形態では、「さわやかな」「トロピカルな」等の文字列が格納されており、文字列はＮＵＬＬコードで終了する。２１５０−２は、イメージ語２１５０−１から展開された連想語である。本実施形態では、「さわやかな」に対して「森林」「高原」「青空」等の連想語が記憶されており、文字列はＮＵＬＬコードで終了する。この部分に文字列が格納されていない場合、即ち、ＮＵＬＬコードのみの場合は、この感性パターンが、「さわやかな」というイメージ語全てに適応でき、特に連想語が指定されていないことを表している。
【００５７】
２１５０−３は、イメージ語２１５０−１と連想語２１５０−２に対応した感性パターンＩＤである。本実施形態では、イメージ語「さわやかな」とその連想語「森林」に対する感性パターンＩＤとして、５、６が格納されている。また、「さわやかな」に対する反意概念として「さわやかでない」に対する感性パターンも記憶されている。本実施形態では、「さわやかでない」には、特に連想語はなく、感性パターンＩＤとして１と１０が登録されている。
【００５８】
次に、上述した感性パターン保持部２２０の構成の詳細について、図５を用いて説明する。
【００５９】
図５において、２２００−１は、登録する画像を識別するための画像ＩＤである。画像ＩＤは、画像保持部２１８に記憶されている番号と同じものが使用され、このシステムにおいて画像を一意に定義付けている。２２００−２には、感性パターンＩＤが格納されている。本実施形態では、それぞれの画像について、画像特徴量と感性パターンの対応保持部２２３に記憶されているすべての感性パターンに対する適合度が求められるため、全ての感性パターンＩＤが格納されている。２２００−３は、各画像と感性パターンの適合度を示す数値である。適合度は０から１までの数で、０はこの画像が感性パターンにまったく適合しなかったことを示しており、１に近いほど適合性が高いことを示している。例えば、本実施形態では、画像ＩＤ００１の画像に対して、感性パターン１との適合度は０．１０、感性パターン２との適合度は０である。
【００６０】
次に、上述した画像特徴量の詳細について、図６を用いて説明する。
【００６１】
図６では、１つの画像から抽出される画像特徴をＸ1，Ｘ2，Ｘ3，…，Ｘn、画像特徴量を抽出する領域・ブロックをＢ1，Ｂ2，…，Ｂm、各領域・ブロックから抽出された画像特徴量をｘ11〜ｘmnで表している。また、図１６では、特に、色彩的画像特徴量を抽出した場合の例を示しており、画像の領域またはブロックごとに代表的な色を抽出したものである。領域・ブロックＢ1，Ｂ2，…，Ｂnから抽出された代表色はＣ1（Ｒ1，Ｇ1，Ｂｌ）、Ｃ2（Ｒ2，Ｇ2，Ｂ2），…，Ｃn（Ｒn，Ｇn，Ｂn）で、それぞれの画像特徴量はｃ1〜ｃnである。
【００６２】
次に、画像特徴量保持部２２２の構成について、図１７を用いて説明する。
【００６３】
図１７は本発明の実施形態の画像特徴量保持部の構成を示す図である。
【００６４】
図１７において、２２２０−１は、登録する画像を識別するための画像ＩＤである。画像ＩＤは、画像保持部２１８に記憶されている番号と同じものが使用されている。２２２０−２は、画像特徴量を抽出したブロックまたは領域を示す番号である。本実施形態では、各領域・ブロックの番号をＢ1，Ｂ2，…，Ｂmで表している。２２２０−３は、２２２０−２に示す領域・ブロックＢ1，Ｂ2，…，Ｂmから抽出された画像特徴を示した情報である。本実施形態は、色彩的画像特徴を抽出した場合の例を示しており、色彩を表す情報Ｃ11（Ｒ11，Ｇ11，Ｂ11），…，Ｃ1n（Ｒ1n、Ｇ1n、Ｂ1n）が格納されている。２２２０−４は、各領域・ブロックから抽出された画像特徴の画像特徴量を示している。本実施形態では、画像特徴Ｃ11（Ｒ11，Ｇ11，Ｂ11），…，Ｃ1n（Ｒ1n，Ｇ1n，Ｂ1n）の画像特徴量としてｃ11，…，ｃ1nが格納されている。
【００６５】
次に、上述した画像特徴量と感性パターンの対応保持部２２３の構成の詳細について、図７を用いて説明する。
【００６６】
図７において、２２３０−１は感性パターンＩＤであり、感性パターンを一意に識別する番号である。２２３０−２は、各感性パターンＩＤに対応付けられた画像特徴量である。本実施形態では、感性パターンを色彩的画像特徴量で表現しており、各感性パターンＩＤに対する色成分（ＲＧＢやＨＶＣなどの色空間における値）の組み合わせが記憶されている。ここでは、色成分としてＲＧＢ色空間における値が登録されいてる。また、ＲＧＢ値は、０〜２５５までの整数であり、各感性パターンＩＤに対応付けられた色の数は、最大ｍ個である。
【００６７】
次に、本実施形態で実行される処理について、図１８を用いて説明する。
【００６８】
図１８は本発明の実施形態で実行される処理を示すフローチャートである。
【００６９】
ステップＳ３００１で、図２における検索要求入力処理部２０１の動作を行う処理モジュールによって、検索要求入力処理を行う。尚、この検索要求入力処理の詳細については、後述する。ステップＳ３００２で、検索重み保持部２０４を参照し、検索重みが指定されていれば、その値を決定重み保持部２０７に格納する。一方、検索重みが指定されていなければ、概念判別辞書２０５を参照し、検索語保持部２０２に格納された検索語を見出し語２０５０から検索し、対応する連想重み２０５３、感性パターン重み２０５４を読み出し、決定重み保持部２０７に格納する。尚、検索語保持部２０２に一致する見出し語２０５０が存在しない場合は、既定値として連想重み、感性パターン重みとも５を決定重み保持部２０７に格納するものとする。
【００７０】
ステップＳ３００３で、決定重み保持部２０７を参照し、連想重みが０であるか否かを判定する。連想重みが０である場合（ステップＳ３００３でＹＥＳ）、ステップＳ３００５へ進む。一方、連想重みが０でない場合（ステップＳ３００３でＮＯ）、ステップＳ３００４へ進む。
【００７１】
ステップＳ３００４で、図２における連想語展開処理部２０８、連想語による画像内容語検索処理部２１０の動作を行う処理モジュールによって、連想語による検索処理を行う。尚、連想語による検索処理の詳細については、後述する。
【００７２】
ステップＳ３００５で、決定重み保持部２０７を参照し、感性パターン重みが０であるか否かを判定する。感性パターン重みが０である場合（ステップＳ３００５でＹＥＳ）、ステップＳ３００７へ進む。一方、感性パターン重みが０でない場合（ステップＳ３００５でＮＯ）、ステップＳ３００６へ進む。
【００７３】
ステップＳ３００６で、図２における感性パターン展開処理部２１２、感性パターン検索処理部２１４の動作を行う処理モジュールによって、感性パターンによる検索処理を行う。尚、感性パターンによる検索処理の詳細については、後述する。ステップＳ３００７で、図２における検索結果統合処理部２１７の動作を行う処理モジュールによって、検索結果統合処理を行う。尚、検索結果統合処理の詳細については、後述する。
【００７４】
ステップＳ３００８で、ステップ３００７によって得られた検索結果に格納されている画像ＩＤに対応する画像ファイルを画像保持部２１８より取り出して表示する。尚、この処理は、同種の情報検索装置において広く行われている公知の処理である。
【００７５】
次に、ステップＳ３００１の検索要求入力処理の詳細について、図１９を用いて説明する。
【００７６】
図１９は本発明の実施形態の検索要求入力処理の詳細を示すフローチャートである。
【００７７】
ステップＳ２０１１で、検索要求となる検索語を入力する。検索語の入力はＫＢ１５から入力された文字コードをＲＡＭ１３上の検索語保持部２０２に格納することにより行われる。次に、ステップ２０１２において、検索語保持部２０２に格納された検索語に関連する検索観点を概念判別辞書２０５から取り出す。つまり、検索語保持部２０２の検索語と一致する見出し語２０５０に対する検索観点２０５１をすべて取り出す。例えば、検索語が「渋い」である場合、検索観点として「色調」、「味」、「雰囲気一般」の３つを得ることができる。
【００７８】
ステップＳ２０１３で、検索観点があるか否かを判定する。検索観点がある場合（ステップＳ２０１３でＹＥＳ）、ステップＳ２０１４へ進む。一方、検索観点がない場合（ステップＳ２０１３でＮＯ）、ステップＳ２０１６へ進む。
【００７９】
ステップ２０１４で、図８で説明した検索観点を指定するための画面を表示する。ステップ２０１５で、表示された画面における検索観点から、所望の検索観点を選択する。そして、選択された検索観点は検索観点保持部２０３に格納される。
【００８０】
ステップＳ２０１６で、検索要求に対する検索処理に関し、連想語による検索と感性パターンによる検索のいずれを重視して検索を行うかを指示する検索重みを入力する。所望の検索重みを、図９に示した操作パネル上のスライドボタン４１を操作し、連想語を重視する割合、感性パターンを重視する割合を指定する。検索重みを指定しない場合は、図９に示した操作パネル上の表示領域内ボタン４２を押下して、検索の重みの既定値を指定する。
【００８１】
ステップＳ２０１７で、検索重みの指定があるか否かを判定する。検索重みの指定がない場合（ステップＳ２０１７でＮＯ）、つまり、検索重みの既定値が指定された場合は、処理を終了する。一方、検索重みの指定がある場合（ステップＳ２０１７でＹＥＳ）、ステップＳ２０１８に進み、指定された連想語の重み、感性パターンの重みを検索重み保持部２０４に格納し、処理を終了する。
【００８２】
次に、ステップＳ３００４の連想語による検索処理の詳細を示すフローチャートである。
【００８３】
図２０は本発明の実施形態の連想語による検索処理の詳細を示すフローチャートである。
【００８４】
ステップＳ２１０１で、検索語保持部２０２に格納されている検索語を連想語辞書２１１の見出し語２１１１と一致する連想語データを検索する。検索語に一致する見出し語が存在する場合、その連想ＩＤをすべて展開連想語保持部２０９に格納する。次に、ステップＳ２１０２で、概念判別辞書２０５を検索し、検索語２０２と一致する見出し語が存在する場合、その見出し語に対応する検索観点２０５１を取り出す。取り出された検索観点２０５１と、検索観点保持部２０３に格納されている検索観点とを比較し、一致している場合、この見出し語に対応する反意概念２０５２を取り出す。一方。検索観点が一致していない場合、引き続き検索語と見出し語の一致するデータの検索を行い、最終的に見出し語と検索観点の一致する反意概念が見つからなければ、ステップ２１０３へ進む。
【００８５】
ステップＳ２１０３で、ステップＳ２１０２で見つかった反意概念と一致する見出し語を持つ連想語を連想語辞書２１１から検索する。反意概念に一致する見出し語が存在する場合、その連想ＩＤを反意概念であることを示す状態符号を付与して、展開連想語保持部２０９に格納する。
【００８６】
ステップ２１０４で、展開連想語保持部２０９に格納された連想ＩＤから連想語を取り出し、連想語と一致する画像内容語を画像内容語保持部２１９から検索し、その検索結果を検索結果保持部２１６に格納する。具体的には、まず、展開連想語保持部２０９より連想ＩＤを取り出し、連想語辞書２１１を参照して、対応する連想データを抽出する。次に、抽出した連想データの連想強度２１１４を取り出し、展開連想語保持部２０９より取り出した連想ＩＤに反意概念の状態符号が付与されていた場合、連想強度の符号を反転して負数となるようにする。但し、連想強度がすでに負数であった場合、その連想データは廃棄して、次の連想データをチェックする。このようにして得た連想強度をＲＡＭ１３上のワークメモリＡＳＣＦ（不図示）にセットする。
【００８７】
次に、連想ＩＤに対応する連想観点を取り出し、検索観点保持部２０３に格納された検索観点と比較する。一致する場合、所定値αをＲＡＭ１３上のワークメモリＶＰＦ（不図示）にセットする。一致しない場合、α×０．１の値をＲＡＭ１３上のワークメモリＶＰＦにセットする。
【００８８】
次に、連想ＩＤに対応する連想語と一致する画像内容語を画像内容語保持部２１９から検索する。検索される場合、その画像ＩＤ２１９１１を検索結果保持部２１６の検索された画像ＩＤ２１６０にセットし、連想語一致数２１６１に１をセットし、連想語ＩＤ２１６２に検索対象となっている連想ＩＤをセットする。そして、連想一致度２１６３に、連想語一致によるスコアの所定値βにＲＡＭ１３上のワークメモリＡＳＣＦの値とワークメモリＶＰＦの値を乗じた値を連想一致度として格納する。尚、すでに同じ画像ＩＤが格納されている場合は、連想語一致数２１６１の値を＋１し、連想語ＩＤ２１６２に新たな連想語ＩＤを加え、格納済の連想一致度２１６３の値に、求めた連想一致度を加えて新しい連想一致度として値を更新する。
【００８９】
次に、ステップＳ３００６の感性パターンによる検索処理と、ステップＳ３００７の検索結果統合処理の詳細について、図２１を用いて説明する。
【００９０】
図２１は本発明の実施形態のステップＳ３００６の感性パターンによる検索処理と、ステップＳ３００７の検索結果統合処理の詳細を示すフローチャートである。
【００９１】
この処理は、ＤＩＳＫ１４に格納されている処理プログラムに従って制御される。
【００９２】
まず、検索要求入力処理部２０１で、利用者から画像を検索するための検索要求が入力される。検索要求には、１つまたは複数の検索語、検索観点等が含まれる。本実施形態で入力される検索語は、「さわやかな」感じ、「あたたかい」感じ等の画像の印象を表す抽象的なイメージ語である。入力された検索語は、検索語保持部２０２に格納される。本実施形態では、例えば、「さわやかな」というイメージ語が格納されているものとする。
【００９３】
次に、ステップＳ２１４１で、イメージ語と感性パターンの対応保持部２１５を参照して、検索語保持部２０２に保持されているイメージ語を感性パターンに展開する。この処理は、感性パターン展開処理部２１２で行われる処理である。本実施形態では、検索語保持部２０２にイメージ語「さわやかな」が、また、展開連想語保持部２０９には「さわやかな」から展開された連想語「森林」「高原」「青空」等が保持されており、イメージ語と感性パターンの対応保持部２１５を参照して、それぞれに対応する感性パターンＩＤに展開する。例えば、イメージ語「さわやかな」−連想語「森林」に対する感性パターンＩＤとして、００５，００６を、また、イメージ語「さわやかな」−連想語「高原」に対する感性パターンＩＤとして００７を取得する。
【００９４】
次に、ステップＳ２１４２で、展開された感性パターンＩＤとイメージ語・連想語の組を展開感性パターン保持部２１３に格納する。この時のデータ格納例は、図４に示した通りである。ステップＳ２１４３で、感性パターン保持部２２０を参照して、展開感性パターン保持部２１３に格納されている感性パターンＩＤに対する適合度が０より大きい画像の画像ＩＤを全て取得する。この処理は、感性パターン検索処理部２１４で行われる処理であり、この処理を展開感性パターン保持部２１３に保持されているすべての感性パターンについて行う。
【００９５】
次に、ステップＳ２１４４で、取得した感性パターンＩＤと画像ＩＤとその適合度の組を検索結果保持部２１６に格納する。ステップＳ２１４５で、検索結果保持部２１６に保持されている連想語による画像内容語検索結果と感性パターン検索結果を参照して、決定重み保持部２０７に保持されている検索重みをもとに両検索結果を一つの検索結果として統合する。この処理は、検索結果統合処理部２１７で行われる処理である。また、この処理には、各連想語毎に両検索結果の共通要素をとる方法や、各検索に対する重みから統合適合度を求め、結合適合度が上位のものから適切な検索結果とする方法などがある。本実施形態では、統合適合度を求める方法を例に挙げて説明する。
【００９６】
検索結果保持部２１６に記憶されている連想語「森林」と一致した画像の連想適合度をＡ、連想語「森林」に対応した感性パターンＩＤ００５に適合した画像の感性適合度をＢ、決定重み保持部２０７に保持されたそれぞれの検索重みをｗ1、ｗ2（ｗ1＋ｗ2＝１）としたとき、統合適合度は、
統合適合度＝ｗ1＊Ａ＋ｗ2＊Ｂ
となる。または、統合適合度＝（ｗ1＊Ａ2＋ｗ2＊Ｂ2）1/2で求めることができる。そして、統合適合度を全ての連想語の全感性パターンについて求める。一つの画像ＩＤが複数の感性パターンＩＤに対して０より大きい適合度を持つ場合は、一つの画像に対して複数の統合適合度が得られるが、この場合は、最も大きい結合適合度の画像を検索結果として採用する。この処理を、どちらかの検索結果が０よりも大きい全ての画像について行い、統合適合度が所定の閾値Ｘよりも高い画像を統合した検索結果とする。
【００９７】
つまり、ステップＳ２１４６で、処理対象の画像の結合適合度が閾値Ｘより大きいか否かを判定する。結合適合度が閾値Ｘ以下の場合（ステップＳ２１４６でいいえ）、ステップＳ２１４５に戻る。一方、結合適合度が閾値Ｘより大きい場合（ステップＳ２１４６ではい）、ステップＳ２１４７に進む。ステップＳ２１４７で、処理対象の画像の画像ＩＤを検索結果として検索結果保持部２１６に保持する。ステップＳ２１４８で、次の処理対象の画像があるか否かを判定する。ある場合（ステップＳ２１４８ではい）、ステップＳ２１４５に戻る。一方、ない場合（ステップＳ２１４８でいいえ）、ステップＳ２１４９に進む。
【００９８】
ステップＳ２１４９で、画像ＩＤとその結合適合度の組を検索結果保持部２１６に格納することにより、処理を終了する。
【００９９】
次に、検索対象の画像を登録する画像登録処理について、図２２を用いて説明する。
【０１００】
図２２は本発明の実施形態の画像登録処理を示すフローチャートである。
【０１０１】
この処理は、ＤＩＳＫ１４に格納されている処理プログラムに従って制御される。
【０１０２】
まず、ステップＳ２２０１で、ユーザから登録する画像が指示される。登録する画像は、ＤＩＳＫ１４や、不図示の外部記憶装置、画像入力装置またはこの画像処理装置に接続された画像データベース・サーバ等に格納されている画像の中から指定される。本実施形態では、検索の対象となる画像があらかじめ記憶されており、この中から画像が選択されるものとする。
【０１０３】
次に、ステップＳ２２０２で、指定された画像の画像ファイル名に対応した画像ＩＤ、および登録するために必要となる各種画像情報を取得し、画像特徴抽出処理部２２１に与える。画像ＩＤは、画像を管理するために、画像ファイル名に対応付けられて記憶されているＩＤであり、画像ファイル名から画像保持部２１８のデータを検索して取得する。画像の各種画像情報とは、例えば、この画像のファイルフォーマットがビットマップ形式の場合は、画像の幅及び高さのピクセル値、１ピクセル当たりのビット数、画像のサイズ（バイト単位）、ビットマップイメージが実際に格納されている領域のアドレス等である。これらの画像情報は、画像ファイルのヘッダ部分に格納されているので、ヘッダ部を参照することにより取得できる。画像のファイルフォーマットが、ビットマップ形式ではなく、ＪＦＩＦやＦｌａｓｈＰｉｘの場合も、同様にファイルのヘッダ部から必要な情報を得ることができる。また、画像保持部２１８に、これらの画像情報を格納しておき、登録時に参照することにより取得するようにしてもよい。
【０１０４】
次に、ステップＳ２２０３で、指定された画像ＩＤに対する画像情報を解析し、物理的な画像特徴量を抽出する。この処理は、画像特徴量抽出処理部２２１で行われる処理である。この例は、図１６で説明した通りである。次に、ステップＳ２２０４で、抽出された画像特徴量ｃ1〜Ｃnとこの画像の画像ＩＤを対応づけて、画像特徴量保持部２２２に記憶する。この例は、図１７に示した通りである。
【０１０５】
次に、ステップＳ２２０５で、感性パターンと画像特徴量の対応保持部２２３を参照して、画像特徴量と感性パターンの対応保持部２２３に記憶されているすべての感性パターンＩＤとその感性パターンに対応づけられた画像特徴量を取得する。この例は、図７に示した通りである。
【０１０６】
次に、ステップＳ２２０６で、取得した感性パターンと、この画像に対する画像特徴量との適合度を求める。この処理は、感性パターン判定処理部２２４で行われる処理であり、ステップＳ２２０５で、取得した感性パターンそれぞれについて、感性パターンに対応付けられた色彩的画像特徴量とステップＳ２２０３で抽出された画像特徴量とを比較・照合して、その適合度を求める。適合度は、画像特徴量と感性パターンの対応保持部２２３に記憶されているすべての感性パターンについて求める。適合度を算出するには、余弦測度を用いたベクトル演算や統計処理などの手法が用いられる。
【０１０７】
次に、ステップＳ２２０７で、ステップＳ２２０６で求められたすべての感性パターンと画像の適合度を、この画像の画像ＩＤに対応づけて感性パターン保持部２２０に記憶する。この例は、図５に示した通りである。
【０１０８】
以上説明したように、本実施形態によれば、所望のマルチメディア情報を検索するために重視すべき検索要求（検索語、検索観点等）を指定することができるようになるため、指定した検索要求にしたがった適切な検索が可能になり、目的とする所望のマルチメディア情報を精度良く取り出すことができる。
【０１０９】
上記実施形態では、検索対象として画像情報を用いて説明したが、画像情報以外のマルチメディア情報についても、情報特徴量抽出を行い、情報特徴量と感性パターンとを対応づけることによって、本発明を適用することができる。
【０１１０】
以上の説明において、検索対象となる画像保持部２１８、画像内容語保持部２１９、感性パターン保持部２２０は、単一の装置を構成するＤＩＳＫ１４に配置するものとして説明したが、これらの構成要件を異なる装置に分散配置し、ＮＩＣ１９を介してネットワーク上で処理を行うようにすることも可能である。
【０１１１】
尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１１２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１１３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１１５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１６】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施形態の情報検索装置の構成を示す図である。
【図２】本発明の実施形態の情報検索装置の機能構成を示すブロック図である。
【図３】本発明の実施形態の感性パターンと連想語の対応保持部の構成を示す図である。
【図４】本発明の実施形態の展開感性パターン保持部の構成を示す図である。
【図５】本発明の実施形態の感性パターン保持部の構成を示す図である。
【図６】本発明の実施形態の画像特徴量の一例を示す図である。
【図７】本発明の実施形態の画像特徴量と感性パターン保持部の構成を示す図である。
【図８】本発明の実施形態の検索要求入力処理部において入力された検索観点の表示例を示す図である。
【図９】本発明の実施形態の検索重みを指示する場合の操作パネルの表示例を示す図である。
【図１０】本発明の実施形態の画像保持部の構成を示す図である。
【図１１】本発明の実施形態の画像内容語保持部の構成を示す図である。
【図１２】本発明の実施形態の画像内容語保持部の構成の他の一例を示す図である。
【図１３】本発明の実施形態の概念判別辞書の構成を示す図である。
【図１４】本発明の実施形態の連想語辞書の構成を示す図である。
【図１５】本発明の実施形態の検索結果保持部の構成を示す図である。
【図１６】本発明の実施形態の画像特徴量の他の一例を示す図である。
【図１７】本発明の実施形態の画像特徴量保持部の構成を示す図である。
【図１８】本発明の実施形態で実行される処理を示すフローチャートである。
【図１９】本発明の実施形態の検索要求入力処理の詳細を示すフローチャートである。
【図２０】本発明の実施形態の連想語による検索処理の詳細を示すフローチャートである。
【図２１】本発明の実施形態のステップＳ３００６の感性パターンによる検索処理と、ステップＳ３００７の検索結果統合処理の詳細を示すフローチャートである。
【図２２】本発明の実施形態の画像登録処理を示すフローチャートである。
【符号の説明】
【０１１８】
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  ＤＩＳＫ
１５  ＫＢ
１６  ＶＲＡＭ
１７  ＣＲＴＣ
１８  ＣＲＴ
１９  ＮＩＣ
【図１】
2005056438.tif 000003
【図２】
2005056438.tif 000004
【図３】
2005056438.tif 000005
【図４】
2005056438.tif 000006
【図５】
2005056438.tif 000007
【図６】
2005056438.tif 000008
【図７】
2005056438.tif 000009
【図８】
2005056438.tif 000010
【図９】
2005056438.tif 000011
【図１０】
2005056438.tif 000012
【図１１】
2005056438.tif 000013
【図１２】
2005056438.tif 000014
【図１３】
2005056438.tif 000015
【図１４】
2005056438.tif 000016
【図１５】
2005056438.tif 000017
【図１６】
2005056438.tif 000018
【図１７】
2005056438.tif 000019
【図１８】
2005056438.tif 000020
【図１９】
2005056438.tif 000021
【図２０】
2005056438.tif 000022
【図２１】
2005056438.tif 000023
【図２２】
2005056438.tif 000024