(57)【特許請求の範囲】
【請求項１】
自己と検索対象物との関係を、自己の動作として表現された文章を入力するための文章入力フィールドをディスプレイ上に表示して前記文章の入力を受け付ける入力手段と、
前記入力手段により入力された文章から固定キー及びコンテキストキーを生成するキー生成手段と、
検索対象物である複数のイメージデータファイル、および当該各イメージデータファイルに付随する固定キーの集合及びコンテキストキーの集合をイメージデータファイルに対応付けて保持したキーワードテーブルを保持するファイル保持手段と、
ファイル保持手段で保持されている前記キーワードテーブルをキー生成手段により生成された固定キー及びコンテキストキーにより検索し、対応するイメージデータファイルを検索するファイル検索手段と、
ファイル保持手段で保持されているキーワードテーブルのコンテキストキー集合をキー生成手段で生成されたコンテキストキーにより確率的に更新するキー更新手段と、
ファイル検索手段により検索されたイメージデータファイルの集合を表示するファイル出力手段を備え、
上記キー更新手段は、
各コンテキストキーの入れ替え順位をキー置換可能確率順位テーブルにより決定する手段と、
キーの書き換えにおいて、キーワードテーブルのコンテキストキーの上記入れ替え順位と、キー生成手段で生成されたコンテキストキーの上記入れ替え順位と、キー置換可能閾値確率テーブルとにより求まる所定の確率によりキーの置き換えを行う手段と、
を含むことを特徴とするイメージ検索装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、写真，絵，イラストなどの非文字のイメージ情報のデータベースから所望するイメージ情報を検索するイメージ検索装置に関し、更に詳細には、検索対象物のイメージ情報に対して、自己から見た検索対象物との関係を自然言語の文章により表現して検索対象を指示入力し、そのイメージ情報に付随するキーの集合を保持しているデータベースの中から必要とするイメージ情報を検索して抽出するイメージ検索装置に関するものである。
【０００２】
【従来の技術】
従来から、写真，絵，イラスト等のイメージ情報を保持しているデータベースは、他のデータベースと同様に、そのイメージ情報のレコードの検索のため、当該イメージ情報を特徴付ける様々なキーの集合が付加される。ここで付加するキーは、当該イメージ情報のイメージの全体の特徴を表わすキーを１つだけ付加するのでなく、イメージ情報の中に含まれている個々の事物の内容についても、それらを特徴づけるキーが付加される。つまり、イメージ情報の内容となるイメージ構成部品のそれぞれの内容を、個別に表わすキーを付けることが、なされている。
【０００３】
また、例えば、特開平５−９４４７８号公報に記載されている「画像データベースシステム」のように、画像データのイメージの事象の状態属性を表わす動詞や副詞により、画像データを検索できるようにする提案がある。ここでは、画像データのキーとして、当該データ内容のイメージから受ける印象語などをあらかじめ調査しておき、画像データのレコードに付加する。
【０００４】
また、イメージの量的特徴をキーにしたり、ユーザに描かせた例示画像をもとにして、パターンマッチングなどの手法により画像データの検索を行う提案もある。また、文字キーの変わりに、イメージの縮小したものをインデックスとして表示し、所望するイメージを取り出すための支援としたものもある。
【０００５】
また、別の例として、検索のため画像データに付加するキーは変更しないが、ニューラルネットワークを応用してユーザの入力キーの過去の傾向を学習し、連想ワードを生成し、人為性をともなわないで、自動的にユーザの望むイメージの集合を限定するような提案もある（特開平５−２３３７０７号公報，特開平５−３１４１８６公報参照）。
【０００６】
【発明が解決しようとする課題】
このように、従来の画像データベースシステムにおいては、検索のために画像データの内容に対するキーを予め付加しておく必要があり、適切なキーが付けられていない場合には、ユーザが、目的とするイメージを検索するのに、試行錯誤のための多大な時間を費やさなければならなかった。
【０００７】
もちろん、適当にキーが付加された画像データのレコードをデータベースに格納し、画像データベースシステムが完成された後、キーを変更することも可能であるが、試行錯誤により画像データのレコードの内容に適切なキーを付加するためのメンテナンスの時間を無視することはできない。
【０００８】
また、従来における画像データに付加されるキーは、本質的に、画像データのイメージ内容の事物，またはイメージ内に現われる事物と事物の関係，あるいは事物の属性などの表わすものが用いられるが、それらのコンテキストをキーとして利用するものは開発されていない。ここでのコンテキストとは、検索対象となる画像データと当該画像データを利用する利用者との関係を、利用者自身の間係として表現するものであり、検索対象画像と自己の「私」との間係を、自己の動作関係として表現するものである。
【０００９】
このようなコンテキストの概念の類似のものとして、検索対象の画像データに対する印象を表わす言葉（印象語）を、検索キーとして用いる場合があるが、その場合、写真や絵画などの画像データの内容に対する感性的印象語は、個人によって、あるいは時によって、また、時代によって、かなり異なっており、そのような印象語をキーとするデータベースシステムでは、目的とする写真や絵画をデータベース内で検索できる（見つけられる）確率は、人によって様々にばらつきがあることになる。
【００１０】
本発明は、このような問題点を解決するためになされたものであり、本発明の第１の目的は、ユーザがキーを指定し、希望するイメージが発見される度に、キーを確率的に更新し、長期的に見た場合、ユーザの望む適切なキーがイメージデータに付加できるイメージ検索装置を提供することある。
【００１１】
また、本発明の第２の目的は、イメージ内の事物の部品やその属性を基にしたキーや、印象などを基にしたキー以外に、イメージに対するコンテキストを基にしたキーを登録し、そのコンテキストによるキーによりイメージの検索を可能にしたイメージ検索装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記のような目的を達成するため、本発明のイメージ検索装置においては、自己と検索対象物との関係を、自己の動作として表現された文章を入力するための文章入力フィールドをディスプレイ上に表示して前記文章の入力を受け付ける入力手段と、前記入力手段により入力された文章から固定キー及びコンテキストキーを生成するキー生成手段と、検索対象物である複数のイメージデータファイル、および当該各イメージデータファイルに付随する固定キーの集合及びコンテキストキーの集合をイメージデータファイルに対応付けて保持したキーワードテーブルを保持するファイル保持手段と、ファイル保持手段で保持されている前記キーワードテーブルをキー生成手段により生成された固定キー及びコンテキストキーにより検索し、対応するイメージデータファイルを検索するファイル検索手段と、ファイル保持手段で保持されているキーワードテーブルのコンテキストキー集合をキー生成手段で生成されたコンテキストキーにより確率的に更新するキー更新手段と、ファイル検索手段により検索されたイメージデータファイルの集合を表示するファイル出力手段を備え、上記キー更新手段は、各コンテキストキーの入れ替え順位をキー置換可能確率順位テーブルにより決定する手段と、キーの書き換えにおいて、キーワードテーブルのコンテキストキーの上記入れ替え順位と、キー生成手段で生成されたコンテキストキーの上記入れ替え順位と、キー置換可能閾値確率テーブルとにより求まる所定の確率によりキーの置き換えを行う手段と、を含むことを特徴とする。
【００１３】
【作用】
本発明によるイメージ検索装置においては、入力手段が、自己と検索対象物との関係を、自己の動作として表現された文章を入力するための文章入力フィールドをディスプレイ上に表示して前記文章の入力を受け付けると、キー生成手段が、前記入力手段により入力された文章から固定キー及びコンテキストキーを生成する。例えば、英文の場合には、単語の区切にスペースがあるので、スペースにより単語を切り出して、検索キーとする。日本語の場合には、文章の形態素解析を行い、単語を切り出して検索キーとする。ファイル保持手段が、検索対象物である複数のイメージデータファイル、および当該各イメージデータファイルに付随する固定キーの集合及びコンテキストキーの集合をイメージデータファイルに対応付けて保持したキーワードテーブルを保持しているので、ファイル検索手段が、ファイル保持手段で保持されている前記キーワードテーブルをキー生成手段により生成された固定キー及びコンテキストキーにより検索し、対応するイメージデータファイルを検索する。また、キー更新手段は、ファイル保持手段で保持されているキーワードテーブルのコンテキストキー集合をキー生成手段で生成されたコンテキストキーにより確率的に更新する。ファイル出力手段が、ファイル検索手段により検索されたイメージデータファイルの集合を表示する。この場合に、上記キー更新手段は、各コンテキストキーの入れ替え順位をキー置換可能確率順位テーブルにより決定し、キーの書き換えにおいて、キーワードテーブルのコンテキストキーの上記入れ替え順位と、キー生成手段で生成されたコンテキストキーの上記入れ替え順位と、キー置換可能閾値確率テーブルとにより求まる所定の確率によりキーの置き換えを行う。
【００１４】
【実施例】
以下、本発明の実施例について図面を参照して説明する。図１は、本発明の実施例のイメージ検索装置の要部の構成を示すブロック図である。図１において、１１は表示入力装置、１２は入力キー生成装置、１３はキー更新装置、１４はファイル検索装置、１５はファイル保持装置、１６はファイル名出力装置である。
【００１５】
図１に示す構成のイメージ検索装置においては、表示入力装置１１が、検索対象を指示する当該文章を入力すると、入力キー生成装置１２が、入力された文章から検索キーを生成する。例えば、英文の場合には、単語の区切にスペースがあるので、スペースにより単語を切り出して、検索キーとする検索キーの生成処理を行い、その検索キーの集合をファイル検索装置１４に供給する。また、日本語の場合には、文章の形態素解析を行い、単語を切り出して、自立語を抽出して、検索キーとする検索キーの生成を行い、その検索キーの集合をファイル検索装置１４に供給する。
【００１６】
ファイル保持装置１５は、検索対象物のデータおよび当該データに付随するキーの集合のファイルを保持している。なお、後述するように、ここでのファイル保持装置１５において保持されるキーの集合は、キー更新装置１３により、検索処理の過程で更新が行われるので、初期状態においては、適当なキーの集合が保持されているだけで良い。ファイル検索装置１４が、ファイル保持装置１５で保持されているファイルを、入力キー生成装置１２により生成された検索キーにより検索する。
【００１７】
キー更新装置１３は、後述するように、ファイル保持装置１５で保持されているファイルのキー集合を入力キー生成装置１２で生成された検索キーに従って、その利用頻度，キー置換確率などのパラメータにより、所定のアルゴリズムに従って更新する。そして、検索された結果は、ファイル名出力装置１６により、ファイル検索装置１４により検索されたファイル名の集合を表示出力する。
【００１８】
このようの動作の全体の流れの概略をまとめると、次のようになる。まず、表示入力装置１１により、ユーザが検索したい検索対象物のイメージに対して想起することを文章により入力すると、入力された文章は、入力キー生成装置１２に送られ、そこで、日本語の場合、自立語が抽出され、検索キーの集合が生成される。この検索キーの集合は、イメージの事象や事物、あるいはそれらの属性を表わす名前とイメージに対するコンテキスト部分を含んでいる。この検索キーの集合が、次に、ファイル検索装置１４に送られる。送られてきた検索キーの集合に基づいて、ファイル検索装置１４は、ファイル保持装置１５に保持されているファイルの中から、検索キーの集合またはその一部のキーをインデックスに持つファイルの集合を抽出する。抽出されたファイル名は、ファイル名出力装置１６に送られ、ユーザに対して表示される。
【００１９】
そして、ユーザより検索されたファイル１つのファイル名のみが、希望したイメージであるとして、再び、表示入力装置１１において指示すると、入力キー生成装置１２において、一時的に保持されている検索キーの集合が、キー更新装置１３に送られる。また、指示されたファイル名も、表示入力装置１１からキー更新装置１３に送られる。キー更新装置１３は、送られてきたファイル名をもとにして、ファイル保持装置１５から、そのファイル名に対応しているファイルにアクセスし、その対応のキーの集合を取り出して、ここで取り出されたキーの集合を、検索キーの集合に所定ルールに従って更新する。つまり、更新されたキーの集合は、ファイル保持装置１５に送られ、ファイル保持装置１５において、保持されている先のアクセスされたファイルのキーの集合に変更される。
【００２０】
このイメージ検索装置においては、ファイルを取り出すためのキーとして、すなわち、検索キー（ファイルに付加するキー）として、ユーザはイメージファイルのデータにつけられた伝統的な従来型のキーワードのキーのほかに、イメージの内容に対するコンテキストを利用する。また、そのコンテキストのキーは、目的とするファイルの数を限定するための２次キーとしても利用でき、より効率の良い検索が可能となる。
【００２１】
また、コンテキストのキーは、検索処理の都度に、その検索結果に基づき、後述するような更新処理が行われるので、イメージファイルの各々のデータに付与されたキーは、入力された文章により生成された検索キーによって、より適切なものに置き換えられ、長期的に当該イメージ検索装置を利用した場合、ユーザの望むキーの集合がファイルに対応付けられる。従って、長期的に見た場合、目的にそぐわないファイルは、初期の間の検索の際に取り出されるが、その目的にそぐわないファイルの数は次第に減り、一回の検索に費やす時間が軽減される。
【００２２】
また、この実施例のイメージ検索装置においては、入力された文章による検索キーが既存のキーに置き換える場合のアルゴリズムは、決定論的なアリゴリズムではなく、ある確率で置き換えるアルゴリズムを利用して、キーの更新処理を行っている。このように、適切にキーを付与する方法は、つまり、ここでのイメージファイルに付与されたキーの集合を更新する方法は、焼きなまし法や遺伝的アルゴリズムで採用されている方法であり、そのため、結果としてバイアスのある偏って付与されたキーの集合が、恒久的に付与されている状態は少なくなる。
【００２３】
図２は、本実施例の表示入力装置のユーザインタフェース画面の一例を示す図である。本実施例に表示入力装置においては、自己と自己から見た検索対象物との関係を自然言語の文章により表現して検索対象を指示するため、図２に示すように、入力ウィンドウ２０には、第１の文章入力フィールド２１，第２の文章入力フィールド２２，第３の文章入力フィールド２３，訂正ボタン２４，および終了ボタン２５が設けられている。また、ここには、マウスポインタ２６が設けられており、各々のボタン（２４，２５）に対する指示を行い、また、文章入力のための文字入力カーソルを、各々の文章入力フィールド（２１，２２，２３）に位置決めする。そして、キーボードにより文章入力を行う。
【００２４】
ユーザは、検索ウィンドウのメニューからの選択によって、通常の従来の検索キーによるイメージ検索処理に加え、コンテキストによるイメージ検索処理を選択できる。コンテキストによる検索処理を選択すると、表示画面には、図２に示すように、入力ウィンドウ２０が表示される。コンテキストによる検索処理を選択して利用する場合、入力ウィンドウ２０の表示内容に示されるように、ユーザは、希望するイラストの対象物を思い浮かべながら、「私」という検索対象物のイラストに対して外にある物と、対象物との関係を表す文章を書くように案内される。
【００２５】
つまり、文章入力フィールド（２１，２２，２３）において、検索対象物に対する自己の関係を、文章入力により「私」という主語を用いて書くことが要求される。したがって、例えば、ユーザにとって、取り出したいイラスト（検索対象物）が「机の上に置かれたペン」のイメージであるとすると、ユーザは、そのような物（イラスト）のイメージを頭に浮かべ、更に「私」という主語で始まる文章を作成し、例えば「私は、机の上に置かれたペンを手で取り上げる」あるいは「私は、机の上に置かれたペンで小説を書く」などと、検索対象物と自己との関係を表現するための文章入力を行う。ここで入力された文章において、その中の「取り上げる」や「書く」などの動詞が、イラスト（検索対象物）に対するコンテキストとなる。
【００２６】
また、別の例として、例えば、取り出したいイラストが「公園」のイメージであるとすると、ユーザはそのような対象物を頭の中に浮かべ、更に「私」という主語を用いる文章を作成して、例えば「私は公園で遊ぶ」あるいは「私は公園で彼女とデートをする」などの文章を入力する。この場合の「遊ぶ」や「デートをする」などの動詞がイラストに対するコンテキストとなる。
【００２７】
文章入力の完了の後、ユーザは、訂正ボタン２４または終了ボタン２５を、マウスポインタ２６の操作により選択指示する。ここでユーザは、訂正ボタン２４を選択指示すると、これまでの入力により完了した文章を、再び、訂正して変更することの指示となる。また、終了ボタン２５を選択指示すると、入力ウィンドウ２０の文章入力フィールド（２１，２２，２３）に入力された文章が、表示入力装置１１から入力キー生成装置１２に送出されて、（日本語の場合に）形態素解析が行われて、自立語が取り出され、検索に必要なキーが生成される。このとき、文章が完成していなかったり、不十分の場合には、表示入力装置１１に処理制御が戻り、表示入力装置１１の入力ウィンドウ２０において、先に入力された文章がハイライトされ、当該入力文章の訂正を案内するメッセージが表示される。そして、再びユーザの入力指示を待つ状態となる。
【００２８】
このようにして、表示入力装置１１において、入力ウィンドウ２０の文章入力フィールド（２１，２２，２３）に入力された文章が、入力キー生成装置１２に送られて、形態素解析（日本語の番合）が行われ、自立語が取り出されて、検索に必要なキーが生成される。そして、生成されたキーの集合が、検索のためのキーとして、ファイル検索装置１４に供給されて、イメージファイルのデータの検索処理が行われる。
【００２９】
図３は、ファイル保持装置におけるファイル・キーテーブルに一例を示す図である。ファイル保持装置１５には、前述したように、検索対象物となるイラストイメージのデータをファイルとして保持しており、これに対応して、当該データに付随するキーの集合のファイルを、図３に示すように、ファイル・キーテーブル３０として保持している。このファイル・キーテーブル３０は、ファイル名フィールド３１，アドレスフィールド３２，固定キーフィールド３３，およびコンテキストキーフィールド３４から構成されており、それぞれのフィールドデータとして、検索対象物となるイラストイメージのデータに対応して、ファイルデータのファイル名，ファイルの格納位置の物理アドレス，従来型のキーワード検索に用いる固定キー，および、コンテキストキーの各々のデータを保持している。
【００３０】
ファイル検索装置１４では、入力キー生成装置１２により生成されたキーの集合に基づいて、ファイル保持装置１５におけるファイル・キーテーブル３０を参照して検索処理を行う。
【００３１】
次に、ここで、本実施例のイメージ検索装置の特徴となっているコンテキストを利用したキー（コンテキストキー）により、従来の固定キーに比べて、よりファイルの数を限定して検索できることを説明する。なお、コンテキストキーとしては、入力文章中に表わされた動詞のみならず、形容詞や形容動詞をも使うことが可能であり、また、これらはユーザが文章入力を行うことにより抽出される。これらのキーは、従来型キーワードの固定キーによる検索キーの入力では、入力されることのない（検索キーとして利用されることのない）キーである。
【００３２】
表示入力装置１１によって、図２に示すように、例えば、入力ウィンドウ２０を表示し、更に、ユーザは、文章入力フィールド（２１，２２，２３）により文章入力を行い、その後の終了ボタン２５の指示により、コンテキストキーによる検索処理が指示されたとする。
【００３３】
この場合、ユーザが、文書作成などにおいて、今、悲しそうな顔をした人のイラスト（イメージデータ）を欲しているとすると、従来型のキーワード検索処理を行う場合には、例えば、「人」というキーワードで、そのカテゴリーに属する全てのイメージファイルを取り出さねばならない。しかし、コンテキストによる検索を行う場合には、ユーザは、図２に示す文章入力フィールドに「私は悲しくしている人を慰めたい」と文章により対象物を自己との関係で特定する入力を行う。そして、終了ボタン２５をマウスポインタ２６によりクリックする。
【００３４】
これにより、入力された文章「私は悲しくしている人を慰めたい」は、入力キー生成装置１２に送られ、形態素解析によって、自立語のそれぞれの単語が抽出され、つまり、ここでは、検索キーとして「人」，「悲しい」，「慰める」が生成される。したがって、これらの検索キーが、ファイル検索装置１４に送られると、ファイル検索装置１４は、ファイル保持装置１５をアクセスし、そこに保持されているファイル・キーテーブル３０を参照する。そして、ファイル・キーテーブル３０を参照し、例えば、固定キーフィールド３３のキーワードのデータにより、従来型のキーワード検索処理を行うと、固定キーフィールド３３の検索キーのデータにより、固定キーの「人」によって、ファイル１とファイル４が検索されて出力される。
【００３５】
更に、この例の中で、生成されたキーの集合の中には、コンテキストキーとして「慰める」という動詞のキーワードがあるので、コンテキストキーフィールド３４に保持されている検索キーのデータにより、この例では、ファイル４が的確に限定されて出力される。この結果、コンテキストキーを検索キーとして使用することにより、従来型のキーでは特定できなかったレベルまで、所望するファイルの数を限定できる。
【００３６】
このようにして、様々にイメージファイルの検索処理を行い、ユーザが所望のイメージデータが得られたとすると、次に操作終了のため、ユーザはファイルを閉じる操作を行う。そのとき、図４に示すように、ダイアログウィンドウ４０が開かれ、これまでに行ってきた検索処理の中において、生成されたキーにより、イメージファイルのキーを更新するか否かの指示を受け付ける。ユーザがキーの更新を指示すると、生成されたキーによるイメージファイルのキーを更新する処理が実行される。なお、図４において、４１は肯定指示ボタン、４２は否定指示ボタン、４３はマウスポインタである。
【００３７】
図５は、キー更新処理の中のキー入れ替え処理の処理フローを示すフローチャートである。ユーザにより、キー更新が指示された場合、ここでは、キーの使用頻度，ユニーク度，キーの順位（キーとして望ましいレベル）にしたがって、キーの入れ替え処理を行い、その後に、ファイル・キーテーブルのキーの更新処理を行う。次に、図５を参照して、ここでのキー入れ替え処理を説明する。
【００３８】
図５に示すキー入れ替え処理では、キーの使用頻度，ユニーク度，キーの順位にしたがって、キーの入れ替え処理を行うが、この場合、キー置換可能確率順位テーブル（図６），第１キー置換可能閾値確率テーブル（図７），第２キー置換可能閾値確率テーブル（図８），および、キー・ユニーク度・利用頻度テーブル（図９）を用いるので、まず、これらのテーブルの内容について説明する。
【００３９】
図６は、キー置換可能確率順位テーブルの一例を示す図である。図６に示すように、キー置換可能確率順位テーブル６０は、ユニーク度６１と利用頻度６２をパラメータとして、キー置換可能確率順位を規定するテーブルである。ここでは、ユニーク度が高く、かつ利用頻度の高い場合に、最高位のキー置換可能確率順位を与えるようにしている。また、逆に、ユニーク度が低く、かつ利用頻度の低い場合に、最低位のキー置換可能確率順位を与える。この順位により、生成されたキーを既存のキーに入れ替える。順位が早い、すなわち、１に近いほど、そのキー型のキーに置き換えられる確率が小さい。具体的には、キーとして好ましいものであることを意味している。
【００４０】
また、図７は、第１のキー置換可能閾値確率テーブルの一例を示す図である。図７に示すように、第１のキー置換可能閾値確率テーブル７０は、入力キーの順位７１と既存キーの順位７２をパラメータとして、キー置換可能閾値の確率を規定するテーブルである。つまり、既存キーが、入力キーで置き換えられる可能性を示す確率を規定している。この確率は、それぞれのキーの順位で決まる。また、この例では、既存キーはできるだけ、キーとして残る可能性が高いように確率が決められる。従って、この表は対角線に対して対称でない。ここに規定するテーブルの確率により、既存キー（行）は、入力キー（列）に置き換えられる。ここでは、入力キーの順位が高く、かつ既存キーの順位が低い場合に、高いキー置換可能閾値の確率が与えられる。
【００４１】
図８は、第２のキー置換可能閾値確率テーブルの一例を示す図である。図８に示す第２のキー置換可能閾値確率テーブル８０は、既存キーと比ベない場合のキー置換可能閾値の確率を規定するテーブルであり、入力キーの順位８１をパラメータとして、キー置換可能閾値の確率を規定している。つまり、前述の第１のキー置換可能閾値確率テーブル７０と同様であるが、対応する既存キーがない場合の確率を与えるテーブルとなっている。換言すれば、入力キーが単独で、どのような確率でファイルのキーとして取り入れられるかを表している。もちろん、その確率はキーの順位に依存する。ここに規定するテーブルの確率により、入力キーがファイルのキーとなる。入力キーの順位が低い場合に、低いキー置換可能閾値の確率が与えられる。
【００４２】
また、図９は、キー・ユニーク度・利用頻度テーブルの一例を示す図である。図９に示すように、キー・ユニーク度・利用頻度テーブル９０は、キー名フィールド９１，参照ファイル数フィールド９２，ユニーク度フィールド９３，利用頻度フィールド９４から構成されており、コンテキトのキーに対応して、その参照ファイル数と、ユニーク度と、利用頻度のデータを保持している。
【００４３】
次に、キー更新処理の中で実行されるキー入れ替え処理を説明する。キー入れ替え処理は、キー更新装置１３において実行される。キー入れ替え処理の実行の際に参照されるキー置換可能確率順位テーブル６０，第１のキー置換可能閾値確率テーブル７０，および、第２のキー置換可能閾値確率テーブル８０は、キー更新装置１３において保持されている。また、キー・ユニーク度・利用頻度テーブル９０とファイル・キー・テーブル３０は、ファイル保持装置１５に保持されている。もちろん、前の３つのテーブルの全部または一部がファイル保持装置１５に保持されるようにしてもよい。
【００４４】
次に、キー入れ替え処理を説明する。以下の説明においては、置き換えが考慮される入力キーおよび既存キーは、それぞれコンテキストキーを指すものとする。もちろん、イラストの部品や属性を指す従来型のキーとコンテキストよるキーを区別せずに、キーの置き換えを行うようにしてもよい。
【００４５】
図５を参照する。キー入れ替え処理が開始されると、まず、ステップ５１において、既存キーの集合を入れ替え順位の遅いものから（降順に）並ベ、次に、ステップ５２において、入力キーの集合を入れ替え順位の早いものから（昇順に）並ベる。次に、ステップ５３において、並ベられた入力キーと既存キーの対を作る。この対の作り方は、できるだけ好ましいキー（順位が早いキー）をファイルのキーとして取り入れ、できるだけ好ましくないキー（順位が遅いキー）をファイルから取り除こうという考えに基づいている。
【００４６】
次に、ステップ５４において、入力キーと既存キーの対については、第１のキー置換可能閾値確率テーブル７０に従って確率的に入力されたキーの数が最大数に達するまで、入れ替えを行う。したがって、入力キーと既存キーの対がない場合には、何もしない。次に、ステップ５５において、入力キーと既存キーの数を比較して、入力キーの数が多いか否かを判定する。入力キーの数が多くない場合には、そのまま処理を終了するが、入力キーの数が多い場合、ステップ５６において、入力キーだけが存在する場合と、入力キーと既存キーとの対ができなく、入力キーだけが余る場合に、第２のキー置換可能閾値確率テーブル８０に従って確率的に入力されたキーの数が最大数に達するまで入れ替えを行う。
【００４７】
具体例で説明する。今、取り出したいイラストを、例えば「人」の絵が描かれている内容の画像とすると、前述のように、ユーザは、表示入力装置１１を用いて、自己と検索対象物の関係を、例えば「私は、この人と一緒に働く」という文章として入力する。この入力された文章を基にして、入力キー生成装置１２は、「人」という従来型のキーワードと共に、「働く」という動詞と「一緒に」という副詞をコンテキストキーとして生成する。この従来型のキーおよびコンテキストのキーは、入力された文章と共に、入力キー生成装置１２に一時的に保持され、そして、ファイル検索装置１４とキー更新装置１３に送出される。
【００４８】
ファイル検索装置１４は、まず、従来型キーの「人」を、まず、検索キーとして検索処理を行い、ファイル保持装置１５に保持されているファイル・テーブルに格納されている該当のファイル１とファイル４を探し当てる（図３）。この場合の例は、２つのファイルだけが１つのキーで取り出されたが、通常はもっと多くの複数のファイルが取り出される。
【００４９】
ユーザは、ここで探し当てられた（ヒットした）ファイル１とファイル４をオープンし、例えば、ファイル１が、本当に自己が所望している目的のファイルであるとすると、前述したように、ファイル１の内容を確認し、ファイル１を閉じる操作を行う。これにより、表示入力装置１１では、ダイアログウィンドウ４０によってユーザにキーを「更新」するか否かを尋ねるので（図４）、ユーザが「更新」をマウスポインタにより選択指示する。これによって、その指示信号がキー更新装置１３に送られ、キーの更新が開始される。もちろん、このような指示を行うことなしに、自動的にキーの更新処理を始めるようにしても良い。
【００５０】
ファイル１のキーとして格納されている既存キーの内、コンテキストのキーは「話す」と「歩く」である。次に、キー・ユニーク度・利用頻度テーブル９０を参照して、これらの単語のユニーク度と利用頻度を調べる。ユニーク度はそのキーが参照しているファイルの数の逆数であり、利用頻度は、この例では直近３ヶ月間の当該キーの利用通算回数を用いるが、もちろん、ここでの利用頻度として、過去すべての通算や過去一年以内の通算など他のいろいろな量を用いてもよいことは明らかである。
【００５１】
また、ここでのユニーク度および利用頻度の判定では「高い」または「低い」の２つのレベルで判定することにしているが、もちろん、３以上の数のレベルの判定で合っても良いし、また、数値のまま扱っても良い。ここでのユニーク度の判定では、１／１００以上であれば「高い」と判定し、１／１００未満であれば「低い」と判定する。利用頻度では、１０以上あれば「高い」と判定し、１０未満であれば「低い」と判定する。
【００５２】
したがって、ここでのキー入れ替え処理の対象のファイル１の既存キーのコンテキストキーの「話す」のユニーク度は「低い」であり、その利用頻度（アクセス度）は「高い」である。また、「歩く」のユニーク度は「高い」であり、利用頻度は「高い」である。
【００５３】
この場合、図６のキー置換可能確率順位テーブル６０により、その置換可能確率の順位を求めると、「話す」は順位“２”であり、同様に、「歩く」の順位を求めると、順位“１”となる。これらのキーは既存キーであるので、順位の遅いものから並べると（ステップ５１）、「話す」（順位２），「歩く」（順位１）の順番に並べられる。この順番で当該既存キーと入力キーとの入れ替えが考慮される。この結果、置換可能確率の高いキーから、そのキーが取り除かれることになる。
【００５４】
また、入力キー内のコンテキストキーは「働く」と「一緒に」である。前述の場合と同様に、入力キーに対しても置換可能確率の順位を求めて、順位の早いものから順に並べる（ステップ５２）。つまり、この場合、「働く」のユニーク度は「低い」であり、利用頻度も「低い」である。したがって、コンテキストキーの入力キー「働く」は、図６のキー置換可能確率順位テーブル６０により、その置換可能確率の順位を求めると、順位“３”と判定される。また、この場合の入力キーの「一緒に」のユニーク度は「高い」であり、利用頻度は「低い」であると推定する。なぜなら、入力キーの「一緒に」は、キー・ユニーク度・利用頻度テーブル９０には現れておらず、そのユニーク度は１（１/１００以上）であり、「高い」と判定され、また、利用頻度は１（１０以下）であり、「低い」と判定されるからである。このため、同じく、その置換可能確率の順位を求めると、順位“２”と判定される。
【００５５】
これらのキーは、入力キーのコンテキストキーであるので、順位の早いものから並べられ、「一緒に」（順位２），「働く」（順位３）の順番に並べられ、この順番で当該入力キーと既存キーとの入れ替えが考慮される。これにより、できる限り、置換可能確率の小さいものから、キーが登録されたキーとして取り入れられる。
【００５６】
次に、並べられた入力キーと既存キーの対をつくる（ステップ５３）。ここで作成される（既存キー，入力キー）の対は、（話す，一緒に）の対と（歩く，働く）の対である。最初の対から順に入れ替えの考慮がなされる。この対は、１つのファイルに付与できるコンテキストキーの最大値の数まで、キーが書き換えられるように考慮される。最大値の数以上の対は、キーの対象から外され無視される。ここでの順位の決め方は、ユニーク度と使用頻度（アクセス度）で決めるようにしているが、それ以外の方法で決めるようにしてもよい。また、ここでは、この１つのファイルに付与できるコンテキストキーの最大値は“５”としているが、もちろん、他の最大値の数としてもよい。
【００５７】
次に、入れ替えのためのキー置換可能閾値確率が求められる。最初の対については、（話す，一緒に）＝（順位２，順位２）であり、その閾値確率は、図７の第１のキー置換可能閾値確率テーブル７０により、“０．５”と求められる。２つ目の対は、（歩く，働く）＝（順位１，順位３）であり、その閾値確率は、同じく、図７の第１のキー置換可能閾値確率テーブル７０により、“０．０５”と求められる。そして、例えば、１から１００までの整数が等しい確率で現れるような乱数を発生させ、それを０から１までのスケールに直して、それぞれのペアについて、閾値確率より大きいか、小さいかを調べて、キーの入れ替えを行う。小さければ、入れ替えを行い、大きければ、入れ替えを行わない。
【００５８】
つまり、最初の対は、半々の確率（確率＝０．５）で入力キーと既存キーとの入れ替えが起こる。今、最初の発生した乱数がスケールされて、“０．３”だったとすると、既存キーの「話す」が入力キーの「一緒に」に置き換えられる。また、次の対では、発生した乱数がスケールされて、“０．４”だったとすると、その対の閾値確率“０．０５”より大きいので、置き換えは起こらない。入れ替えの対がなくなると、キー入れ替えルーチンは終了する。この結果、新しい既存キーの集合は、（一緒に，歩く）となり、図３に示すファイル・キーテーブルのファイル１に対応するコンテキストキー（話す，歩く）は、この２つのキー（一緒に，歩く）に入れ替えられる。
【００５９】
また、この場合、入力キーのキー「一緒に」のユニーク度と利用頻度も共に１に更新され、図９に示すキー・ユニーク度・利用頻度テーブル９０の１つのエントリとして、新たな一行が加わる。更に、ここで、キー・ユニーク度・利用頻度テーブル９０におけるキー「話す」のユニーク度と利用頻度も更新される。この場合、ユニーク度は少しあがる。即ち、ユニーク度は、１／１２０から１／１１９へ、利用頻度は８１から８２に変更される。
【００６０】
ところで、入力キーが既存キーより多くある場合に、まず、入力キーと既存キーの対については、入れ替えを行い（ステップ５４）、その後、既存キーとの対のない入力キーがキー更新処理の中で、ファイルのキーとして取り入れられる方法は、入力キーだけを処理の対象として、図８の第２のキー置換可能閾値確率テーブル８０を用いて、実行される。特に、イメージファイルのデータ・ベースの稼働の初期の段階では、あるファイルについてはコンテキストキーが付与されていない場合があるので、入力キーのみによるキー入れ替え処理（ステップ５６）が実行される。この場合、特殊な例として、図８に示す第２のキー置換可能閾値確率テーブル８０において、キーの順位に関係なく、その閾値確率をすべて１にすることにより、入力キーは無条件で、当該ファイルのキーとして受け入れられるようにしてもよい。その場合には、２種類のプロセス（ファイルに付けられたキーの数が０か比較的少ない場合とファイルに付けられたキーの数が多い場合の２つプロセス）に分けられて、処理が行われる。
【００６１】
このようにして、本実施例の場合には、イメージデータのファイルに付与されるキーの更新は、最初の指示を除いて、全く人手を介することなくなされるので、ユーザは、その更新方法やプロセスにおいて、人手を煩わせることなく、キーの更新を行うことができる。また、キーの更新プロセスで用いられる各々の処理は、各々のテーブル（図５，図６，図７）をアクセスするだけなので、複雑な計算式の処理を実行することなく、その仕様の変更が容易である。
【００６２】
【発明の効果】
以上に説明したように、本発明のイメージ検索装置によれば、ユーザはイメージをデータベースから抽出するために、従来型のイメージの部品や属性をキーとして使うだけなく、希望する対象物と自己との関係により記述して、イメージに対するコンテキストをキーとして用いることが可能である。従って、ユーザは、希望するイメージを従来に比べて、より的確に限定することができ、また、コンテキストを利用することにより、直接にイメージ内容を指定することなく、これまでに見ていないイメージまでも検索対象として指示することが従来よりも容易に行える。更に、また、ユーザが、希望するイメージを取り出した後、ユーザが選んだキーにより、キーの入れ替えが確率的に行われ、ファイルに適切なキー登録されるので、次回からの検索キーの選択および更新は、更に確率的に適切なものに近づく。これよって、付与されたキーの集合が、偏ったものに恒久的に付与されている状態が避けられ、長期的に見た場合、ユーザの望む適切なキーがファイルに付加される。
【図面の簡単な説明】
【図１】図１は本発明の実施例のイメージ検索装置の要部の構成を示すブロック図、
【図２】図２は本実施例の表示入力装置のユーサインタフェース画面の一例を示す図、
【図３】図３はファイル保持装置におけるファイル・キーテーブルに一例を示す図、
【図４】図４はキー更新処理のダイアログウィンドウの一例を示す図、
【図５】図５はキー更新処理の中のキー入れ替え処理の処理フローを示すフローチャート、
【図６】図６はキー置換可能確率順位テーブルの一例を示す図、
【図７】図７は第１のキー置換可能閾値確率テーブルの一例を示す図、
【図８】図８は第２のキー置換可能閾値確率テーブルの一例を示す図、
【図９】図９はキー・ユニーク度・利用頻度テーブルの一例を示す図である。
【符号の説明】
１１…表示入力装置、１２…入力キー生成装置、１３…キー更新装置、１４…ファイル検索装置、１５…ファイル保持装置、１６…ファイル名出力装置、２０…入力ウィンドウ、２１…第１の文章入力フィールド、２２…第２の文章入力フィールド、２３…第３の文章入力フィールド、２４…訂正ボタン、２５…終了ボタン、２６…マウスポインタ、３０…ファイル・キーテーブル、３１…ファイル名フィールド、３２…アドレスフィールド、３３…固定キーフィールド、３４…コンテキストキーフィールド、６０…キー置換可能確率順位テーブル、６１…ユニーク度のパラメータ、６２…利用頻度のパラメータ、７０…第１のキー置換可能閾値確率テーブル、８０…第２のキー置換可能閾値確率テーブル、９０…キー・ユニーク度・利用頻度テーブル、９１…キー名フィールド、９２…参照ファイル数フィールド、９３…ユニーク度フィールド、９４…利用頻度フィールド。
【図１】
0003608253.tif 000002
【図２】
0003608253.tif 000003
【図３】
0003608253.tif 000004
【図４】
0003608253.tif 000005
【図５】
0003608253.tif 000006
【図６】
0003608253.tif 000007
【図７】
0003608253.tif 000008
【図８】
0003608253.tif 000009
【図９】
0003608253.tif 000010