(57)【特許請求の範囲】
【請求項１】
データと、該データの特徴を表わす属性情報とを対応付けて管理する管理手段と、
前記属性情報間の類似性及び反意性を定義した定義情報を保持する定義情報保持手段と、
指定された検索クエリと類似性のある属性情報を前記定義情報保持手段から取得する第１の取得手段と、
前記指定された検索クエリと類似性のある属性情報に基づいて前記管理手段により管理されている属性情報を検索して、対応するデータを抽出する抽出手段と、
前記指定された検索クエリと反意性を持つ属性情報を前記定義情報保持手段から取得する第２の取得手段と、
前記抽出手段により抽出されたデータから、前記指定された検索クエリと反意性を持つ属性情報を有するデータを除去する除去手段とを備えることを特徴とするデータ検索装置。
【請求項２】
データと、該データの特徴を表わす属性情報とが対応付けられて管理されているデータベースと、前記属性情報間の類似性及び反意性を定義した定義情報を保持する定義情報保持手段と、受け取り手段と、第１及び第２の取得手段と、抽出手段と、除去手段とを備えたデータ検索装置において、前記データベースからデータを検索するデータ検索方法であって、
前記受け取り手段が、検索クエリを受け取る受け取り工程と、
第１の取得手段が、前記受け取り工程により受け取った検索クエリと類似性のある属性情報を前記定義情報保持手段から取得する第１の取得工程と、
前記抽出手段が、前記検索クエリと類似性のある属性情報に基づいて前記データベースを検索して、対応するデータを抽出する抽出工程と、
第２の取得手段が、前記検索クエリと反意性を持つ属性情報を前記定義情報保持手段から取得する第２の取得工程と、
前記除去手段が、前記抽出工程により抽出されたデータから、前記指定された検索クエリと相反する特徴情報を有するデータを除去する除去工程とを備えることを特徴とするデータ検索方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データ、映像データ、音声データ等のデータベースから所望のデータを検索するためのデータ検索方法および装置に関するものである。
【０００２】
【従来の技術】
一般に、画像、映像、音声等のマルチメディア・データを検索する場合には、予め各データにキーワード等のデータの特徴を表す情報を付加しておき、これらキーワード等の情報を指定することにより、その情報が付加されたデータを検索することが行われている。
【０００３】
また、例えば、画像データの検索においては、画像データから受ける印象をもとに曖昧な検索を行うこともできる。このような検索方法としては、特開平５−２８２３７５号や特開平８−３２９０９６号に記載されているように、画像データに付加した付加情報をｎ次元空間に配置し、検索条件として指定された範囲（ｎ次元空間における範囲）内の付加情報を持つ画像データを検索する。
【０００４】
【発明が解決しようとする課題】
しかしながら上記のような、マルチメディア・データから受ける印象をもとに曖昧な検索を行う場合においては、例えば、「明るい感じ」「暗い感じ」「暖かい感じ」「冷たい感じ」等のキーワードを用いて画像の微妙な印象を表現するのは難しい。
【０００５】
例えば、画像データの場合、視覚的な特徴を表す付加情報としては、「赤い」「青い」等の色に関する情報、「丸い」「三角」「尖った」等の形状に関する情報、更には「ざらざらした感じ」「つるつるした感じ」等のテクスチャに関する情報がある。これらの視覚的な特徴を表す付加情報は、画像データから物理的な画像特徴量を抽出することによって付加したり、または人間の主観的な評価によって付加することができる。
【０００６】
ここで、「赤い感じ」等、画像の色合いによる曖昧な印象をもとに検索を行う場合、ユーザが色座標等により指定した色（色座標上の位置）と検索範囲（色座標上の範囲）から、当該検索範囲に含まれる色情報が付加されている画像データを検索する。このようにして検索された画像は、その画像の一部分に指定された色またはその色に類似した色情報が存在する。しかしながら、そのような画像であっても、指定された色の補色や対比色に近い色が多く存在すれば、その色の印象が打ち消されてしまう。このため、そのような画像からは、たとえ一部分が赤くても、必ずしも「赤い感じ」という印象は受けない。
【０００７】
このように、マルチメディア・データには様々な要素があるため、一つのデータが様々な特徴を持つことになる。ところが、人間の感覚において相反する意味をもつ特徴は、それぞれの特徴から受ける印象を打ち消す性質がある。このため、この様な特徴を示す付加情報をマルチメディア・データに付加し、これらの付加情報を利用してデータから受ける印象に基づく曖昧な検索を行う場合は、ユーザの検索要求に対する特徴と距離が近い付加情報を持つことだけから判断する検索を行うと、必ずしもユーザの意図に合った検索結果が得られないということがあるという問題があった。
【０００８】
本発明は、上記の問題に鑑みてなされたものであり、画像特徴に基づく曖昧な検索を、人間の感覚に適応するように行えるデータ検索方法及び装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明のデータ検索装置は例えば以下の構成を備える。すなわち、
データと、該データの特徴を表わす属性情報とを対応付けて管理する管理手段と、
前記属性情報間の類似性及び反意性を定義した定義情報を保持する定義情報保持手段と、
指定された検索クエリと類似性のある属性情報を前記定義情報保持手段から取得する第１の取得手段と、
前記指定された検索クエリと類似性のある属性情報に基づいて前記管理手段により管理されている属性情報を検索して、対応するデータを抽出する抽出手段と、
前記指定された検索クエリと反意性を持つ属性情報を前記定義情報保持手段から取得する第２の取得手段と、
前記抽出手段により抽出されたデータから、前記指定された検索クエリと反意性を持つ属性情報を有するデータを除去する除去手段とを備える。
【００１０】
また、上記の目的を達成するための遠隔カメラ制御装置は、
データと、該データの特徴を表わす属性情報とが対応付けられて管理されているデータベースと、前記属性情報間の類似性及び反意性を定義した定義情報を保持する定義情報保持手段と、受け取り手段と、第１及び第２の取得手段と、抽出手段と、除去手段とを備えたデータ検索装置において、前記データベースからデータを検索するデータ検索方法であって、
前記受け取り手段が、検索クエリを受け取る受け取り工程と、
第１の取得手段が、前記受け取り工程により受け取った検索クエリと類似性のある属性情報を前記定義情報保持手段から取得する第１の取得工程と、
前記抽出手段が、前記検索クエリと類似性のある属性情報に基づいて前記データベースを検索して、対応するデータを抽出する抽出工程と、
第２の取得手段が、前記検索クエリと反意性を持つ属性情報を前記定義情報保持手段から取得する第２の取得工程と、
前記除去手段が、前記抽出工程により抽出されたデータから、前記指定された検索クエリと相反する特徴情報を有するデータを除去する除去工程とを備える。
【００１１】
【発明の実施の形態】
以下、添付の図面を参照して、本発明の好適な実施形態を詳細に説明する。
【００１２】
図１は、本実施形態を実現する画像検索装置の一例について示すブロック図である。
【００１３】
図１において、１１はＬＡＮケーブル（不図示）を介して画像データベース・サーバ等の各種サーバとＬＡＮ接続するためのＬＡＮ接続部である。ＬＡＮケーブルとしては、１０ＢａｓｅＴ用のケーブル等が挙げられる。１３はウィンドウ表示を可能とし、画像情報の登録・検索などを含む画像情報処理の全般を行う画像処理装置であり、パーソナルコンピュータ等によって実現される。
【００１４】
１４〜１８は、画像処理装置１３の内部構成を示している。１４はＣＰＵであり、補助記憶部１５に格納されているプログラムに従い、画像処理装置１３の制御を司る。１５は補助記憶部であり、画像データの蓄積や画像処理装置を制御するための制御プログラム等を格納する。なお、補助記憶部１５は、ハードディスク等で構成される。１６はＲＡＭであり、ＣＰＵ１４で使用するデータの一時的な記憶を行う。１７は表示装置であり、操作状況や操作環境をウィンドウ・文字・絵等で表示したり、補助記憶部１５に記憶された画像データに基づく画像を表示する。１８は操作部であり、キーボードやマウス等で構成され、画像処理装置１３に対する各種の操作入力を行う。
【００１５】
１９は外部記憶装置であり、画像処理装置１３にプログラムや画像情報等を供給する。外部記憶装置１９は、フロッピーディスク等で構成される。２０は入力装置であり、画像データ等を入力するためのスキャナ等で構成される。なお、外部記憶装置１９と補助記憶部１５は同一の記憶装置で構成してもよい。
【００１６】
図２は、本実施形態による画像検索装置の機能構成を説明するブロック図である。図２において、２１は画像情報格納部であり、画像データおよびその画像データに関する各種情報を補助記憶部１５もしくは外部記憶装置１９に格納する。なお、画像データは入力装置２０より入力される。２２は付加情報設定部であり、キーワードを画像データに手動で付加したり、画像データの視覚的な特徴等の付加情報を自動または手動により画像データに付加する。手動によって付加情報を設定する場合は、キーワードを操作部１８を介して入力し、設定することになる。２３は検索指示部であり、言語・記号・画像特徴等を用いて、ユーザが検索を指示する。指示入力は操作部１８を用いて行われる。
【００１７】
２４は付加情報関係定義部であり、画像データに付加されたキーワードやその他の付加情報に関する類似性および反意性等の関係を定義する定義情報を保持する。なお、この定義情報は、補助記憶部１５に格納される。２５は第１マッチング部であり、検索指示部２３で指示された検索クエリと、付加情報関係定義部２４の定義情報に基づいて当該検索クエリから展開した情報とを付加情報にもつ画像データを抽出する。２６は第２マッチング部であり、検索クエリから展開された情報と相反する特徴が、第１マッチング部２５で抽出された画像データに付加されている場合は、その画像データを検索結果から除去する。２７は検索結果出力部であり、第２マッチング部２６のマッチング結果を加工し、これを表示装置１７によって出力（可視表示）する。
【００１８】
なお、上記各機能は、図１で示したハードウエア構成においてＣＰＵ１４が所定の制御プログラム（本例では外部記憶装置１９或いは補助記憶装置１５よりＲＡＭ１６上にロードされる）を実行することにより実現される。特に、画像情報格納部２１及び付加情報設定部２２による画像データの格納と付加情報の付加は、図３で後述するフローチャートによって示される制御手順をＣＰＵ１４が実行することにより実現される。また、第１マッチング部２５と第２マッチング部２６は、ＣＰＵ１４が図４で後述するフローチャートによって示される制御を実行することで実現される。
【００１９】
図３は、本実施形態の画像検索装置における、画像登録時の内部処理の一例を示すフローチャートである。以下、図３を用いて、本実施形態における画像登録処理について説明する。
【００２０】
操作部１８を介してユーザから画像を登録する旨の指示が与えられると、ステップＳ３１において、登録するべき画像データが入力装置２０から画像処理装置１３に取り込まれる。次に、ステップＳ３２に進み、ステップＳ３１で取り込んだ画像データの特徴情報を自動または手動で付加する。これは、付加情報設定部２２で行われる処理であり、本例では例えば次のようにして付加情報の設定を行う。
【００２１】
すなわち、（１）画像データをソフトウエアまたはハードウエアにより分析して、自動的に画像特徴量を抽出して付加情報とする、（２）取り込んだ画像を表示装置１７に表示し、ユーザが表示装置１７に表示された画像を見て当該画像に対する主観評価を行い、操作部１８を介して手動でキーワードや画像の視覚的特徴に関する評価値を入力する。或いは、画像の視覚的特徴量を周知の手法により自動的に抽出、付加する。自動的な画像分析で抽出される画像特徴量には、例えば、色情報、画像の濃淡分布、テクスチャ、エッジ、領域、面積、位置、周波数分布等がある。画像特徴量は、例えば表１に示すようなテーブルで出力される。表１は、ある画像から領域・ブロック毎に画像特徴を抽出した場合の例である。
【００２２】
【表１】
0003897460.tif 000002
【００２３】
また、手動で画像特徴を入力する場合は、画像に対する視覚的な印象を主観的に評価し、これを画像の付加情報とする。しかしながら、特徴量を詳細に評価するのは難しいので、たとえば表２に示す様に、印象を表す言葉や、色や形状等のおおまかな特徴を予め用意されたキーワードや記号で表現する。たとえば、表２の形状の欄のように、画像中の主要な物体の形状を「○」や「△」等で表現する。
【００２４】
【表２】
0003897460.tif 000003
【００２５】
次に、ステップＳ３３において、画像情報格納部２１は、ステップＳ３２で抽出した画像データの特徴情報を、画像識別子や画像ファイル名、その他の画像管理情報とともに補助記憶部１５内部の画像データベースに格納する。或いは、ＬＡＮ接続部１１により接続されている画像データベース・サーバ等のハードディスクに格納されるようにしてもよい。
【００２６】
ステップＳ３４における判断により、以上のステップＳ３１〜Ｓ３３までの処理を登録すべき全ての画像に対して行う。
【００２７】
たとえば、「カラーイメージスケール」（小林重順、日本カラーデザイン研究所編、講談社）の９頁から１３頁には、色彩や単語間の関係をウォーム・クール軸、ソフト・ハード軸による座標空間で定義したものが記載されている。付加情報関係定義部２４においては、このような関係を用いて、各付加情報どうしの関係を表すデータを定義してある。これらの付加情報関係は画像検索時に使用される。以下、付加情報どうしの類似性および反意性等の関係の一例について説明する。
【００２８】
マルチメディアデータの特徴の関係を表現する手法としては、例えば、特公昭５６−４６０８２号「カラーイメージスケール」の明細書に記載されている様な手法がある。これは、単色、配色、および言語から連想する色彩を、色相と色調によって心理学的に分析し、ウォーム・クール軸、ソフト・ハード軸、クリア・グレイッシュ軸からなる座標空間上に配置するもので、これによって色彩における関係を表現することができる。また、色彩から言語もしくは言語から色彩へと等価変換することにより、言語と色彩の関係を表現することも可能である。
【００２９】
また、形状、テクスチャ等、他の画像特徴に関しても、同様にイメージ調査を行い、その調査データを基に多変量解析などを用いて因子分析することにより、座標空間上にマッピングすることができると考えられる。
【００３０】
この様な手法を用いて、マルチメディアデータの特徴をｎ次元座標空間にマッピングした場合は、例えば、２つの特徴の関係は、それぞれの位置によるユークリッド距離を求めることにより数値で表すことができる。距離が近ければ２つの特徴には類似性があり、距離が遠ければそれらの２つ特徴は相反する関係、または対立に近い関係を持っているということができる。例えば、単色イメージの場合、上述の文献「カラーイメージスケール」の第９頁に掲載されているウォーム・クール軸、ソフト・ハード軸による座標空間に各トーンを配置することができる。また、配色については、例えば、上述の文献「カラーイメージスケール」の第１１頁に掲載されているごとき座標空間に配色をマップすることができる。
【００３１】
また、色に関しては、各色情報をＨＶＣ色空間やＬｕｖ色空間等の各種色空間上に展開し、２つの色の色差を求めることにより、同様に、色差から各色どうしの関係を表現することができる（文献「カラーイメージスケール」の第１３頁に掲載の座標空間）。
【００３２】
また、言葉に関しては、例えば、暖かい−涼しい、軽い−重い、の様に反対語の対からなる語、および、暖かい−温かい、暑いの様に類似性のある語を定義することにより、各語の関係を表現することができる。
【００３３】
次に、本実施形態による検索処理を説明する。図４は、本実施形態の画像検索装置による画像検索処理の一例を示す処理フローチャートである。なお、画像情報格納部２１により、補助記憶部１５には、あらかじめ、検索対象となる画像データおよび各画像データ毎の特徴情報が格納されている。
【００３４】
まず、検索指示部２３は表示装置１７に操作画面を表示し、操作部１８を介してユーザからの検索指示を受け取る。検索指示は、言葉、記号、画像特徴等によって、検索クエリとして与えられる。ステップＳ５１では、入力された検索クエリと付加情報関係定義部２４に定義されているデータに基づき、当該検索クエリに類似性のある特徴情報に展開する。そして、ステップＳ５２において、ステップＳ５１で展開された特徴情報が第１マッチング部２５に提供される。第１マッチング部２５は、画像情報格納部２１によって格納されている画像データの中から提供された特徴情報を付加情報にもつ画像データ（画像識別子）を抽出する。
【００３５】
次に、ステップＳ５２で取得された画像識別子は第２マッチング部２６に渡される。第２マッチング部２６では、この画像識別子についてのみ処理を行う。まず、ステップＳ５３において、入力された検索クエリと付加情報関係定義部２４に定義されているデータから、展開された情報と相反する特徴情報を取得する。取得された特徴情報は第２マッチング部２６に渡される。次にステップＳ５４において、第２マッチング部２６は、ステップＳ５２で抽出した画像データのうち、ステップＳ５３で取得した検索クエリと相反する特徴情報が付加情報として付加されている画像データを検索結果から除く。
【００３６】
次に、ステップＳ５５において、ステップＳ５４で検索結果として残された画像識別子を検索結果出力部２７に提供し、残された画像識別子に基づいてマッチング結果を表示するためのデータを生成する。そして、ステップＳ５６において、生成されたデータを表示装置１７によって表示する。
【００３７】
以上説明したように、本実施形態によれば、ユーザの検索要求にあった特徴またはそれに類似した特徴をもつ画像データの中から、検索要求とは相反する特徴を有する画像データを検索結果から除くことにより、ユーザの感覚にあったマルチメディア検索が行える。尚、上記実施形態ではステップＳ５４において相反する特徴を有する画像を検索結果から除去しているが、相反する特徴を有した画像を別の画像と区別して検索結果として表示するようにしても良い。また、上記実施形態では画像データの検索を例に挙げて説明したが、音声データや文書（コード）データの検索にも適用できることは明らかである。
【００３８】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４０】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、画像特徴に基づく曖昧な検索を、人間の感覚に適応するように行えるという効果がある。
【００４５】
【図面の簡単な説明】
【図１】本実施形態を実現する画像検索装置の一例について示すブロック図である。
【図２】本実施形態による画像検索装置の機能構成を説明するブロック図である。
【図３】本実施形態の画像検索装置における、画像登録時の内部処理の一例を示すフローチャートである。
【図４】本実施形態の画像検索装置による画像検索処理の一例を示す処理フローチャートである。
【図１】
0003897460.tif 000004
【図２】
0003897460.tif 000005
【図３】
0003897460.tif 000006
【図４】
0003897460.tif 000007