(57)【特許請求の範囲】
【請求項１】
画像データと、前記画像データに含まれる複数の特徴量に関する特徴量情報とを関連づけた画像特徴量テーブルを記憶する画像特徴量記憶部と、
入力画像データの中から複数の特徴量を抽出して特徴量情報を生成し、前記入力画像データと前記特徴量情報とを関連づけて、前記画像特徴量記憶部に記憶されている前記画像特徴量テーブルを更新する特徴量抽出手段と、
２次元マップ用の第１の特徴量および第２の特徴量を設定する２次元マップ用特徴量設定手段と、
前記画像特徴量記憶部に記憶された前記画像特徴量テーブルの中から前記第１の特徴量または前記第２の特徴量の少なくともいずれか一方を含む画像データを検索して、前記画像データに対応する特徴量情報を関連づけたサムネイルリストを生成する検索手段と、
前記第１の特徴量および前記第２の特徴量を２軸とした２次元マップを構築し、前記第１の特徴量および前記第２の特徴量から前記２次元マップ上の画像データの表示位置を特定し、表示手段に表示させるレイアウト構築手段と
を備えた画像ブラウザシステムであって、
表示された前記２次元マップに基づいて、前記２次元マップ内に表示された前記画像データの中から参照画像を設定するとともに、前記参照画像に関連付けられる第３の特徴量を設定する追加条件設定手段をさらに備え、
前記レイアウト構築手段は、前記検索手段で検索された前記サムネイルリストと、前記追加条件設定手段で設定された前記参照画像および前記第３の特徴量とに基づいて、前記参照画像に含まれている第３の特徴量と、前記参照画像以外の画像データに含まれている第３の特徴量との類似度を求め、前記表示手段に表示されている２次元マップ上の前記参照画像以外の画像データの中で、前記第３の特徴量に関して前記参照画像と類似度の高い画像データを強調表示するための２次元マップを再構築する
ことを特徴とする画像ブラウザシステム。
【請求項２】
請求項１に記載の画像ブラウザシステムにおいて、
前記レイアウト構築手段は、構築した前記２次元マップ内に、第１の特徴量および第２の特徴量が同じ値であり表示位置が重複する画像データがある場合には、前記第１の特徴量および前記第２の特徴量の少なくとも一方を変化させて２次元マップを再構築して表示位置の重複を防止することを特徴とする画像ブラウザシステム。
【請求項３】
請求項１または２に記載の画像ブラウザシステムにおいて、
前記レイアウト構築手段は、類似度の高い順に所定数の画像データを、時間的に表示サイズを変化させて順次表示させるように２次元マップを構築することを特徴とする画像ブラウザシステム。
【請求項４】
請求項１または２に記載の画像ブラウザシステムにおいて、
前記レイアウト構築手段は、類似度の高い順に所定数の画像データを線でつないで表示させるように２次元マップを構築することを特徴とする画像ブラウザシステム。
【請求項５】
請求項１または２に記載の画像ブラウザシステムにおいて、
前記レイアウト構築手段は、類似度の高い順に所定数の画像データを、時間的に表示位置を変化させて順次表示させるように２次元マップを構築することを特徴とする画像ブラウザシステム。
【請求項６】
請求項１ないし５のいずれか１項に記載の画像ブラウザシステムにおいて、
前記特徴量抽出手段は、前記入力画像データに基づく相関色空間を使用して前記複数の特徴量を抽出することを特徴とする画像ブラウザシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データの中から所望の特徴量を含む画像データを効率よく取り出して表示する画像ブラウザシステムに関する。
【背景技術】
【０００２】
従来の画像ブラウザシステムは、多次元の特徴量空間から２つの軸を選択し、対応する座標に縮小画像（サムネイル）を配置することでブラウジングを可能としていた（例えば、特許文献１参照）。図５は、従来装置におけるグラフィック・ユーザ・インターフェイスを示した模式図である。この図５において、Ｘ軸の特徴量選択ボタン１１１とＹ軸の特徴量選択ボタン１１０とで選択された２軸により表現されるブラウズエリア１０２に、Ｘ軸、Ｙ軸に対応する画像がサムネイル１０３として表示される。
【０００３】
このようにして表示されるブラウズエリア１０２は、拡大縮小率１０１によって表示のスケールを変更することが可能となっており、サムネイルの密集した箇所を、より細かにブラウズすることを可能としている。また、特徴量を３つ使用し、３次元空間でのブラウジングも可能であるとしている。
【０００４】
【特許文献１】特開平１１―１７５５３５号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術には次のような課題がある。従来の画像ブラウザシステムは、２次元空間表示において、２つの特徴量のみしか扱っておらず、スケール変更機能を併用しても、より多くの特徴量との関連性を見出すことが困難であった。
【０００６】
また、３つの特徴量を３次元空間で表示するシステム構成では、３次元空間を２次元空間であるディスプレイに投影するため、３次元的な重なり合いが発生し、ブラウジングの見通しが悪くなっていた。さらに、全体を把握するために、３次元空間を回転させる必要があることから、処理量が増え、使い勝手がよくないといった問題もあった。
【０００７】
本発明は上述のような課題を解決するためになされたもので、画像ブラウズ時に、表示処理に要する演算量を削減するとともに、より多くの特徴量との関連を視覚的に容易に認識できる画像ブラウザシステムを得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像ブラウザシステムは、画像データと、画像データに含まれる複数の特徴量に関する特徴量情報とを関連づけた画像特徴量テーブルを記憶する画像特徴量記憶部と、入力画像データの中から複数の特徴量を抽出して特徴量情報を生成し、入力画像データと特徴量情報とを関連づけて、画像特徴量記憶部に記憶されている画像特徴量テーブルを更新する特徴量抽出手段と、２次元マップ用の第１の特徴量および第２の特徴量を設定する２次元マップ用特徴量設定手段と、画像特徴量記憶部に記憶された画像特徴量テーブルの中から第１の特徴量または第２の特徴量の少なくともいずれか一方を含む画像データを検索して、前記画像データに対応する特徴量情報を関連づけたサムネイルリストを生成する検索手段と、第１の特徴量および第２の特徴量を２軸とした２次元マップを構築し、前記第１の特徴量および前記第２の特徴量から前記２次元マップ上の画像データの表示位置を特定し、表示手段に表示させるレイアウト構築手段とを備えた画像ブラウザシステムであって、表示された２次元マップに基づいて、２次元マップ内に表示された画像データの中から参照画像を設定するとともに、参照画像に関連付けられる第３の特徴量を設定する追加条件設定手段をさらに備え、レイアウト構築手段は、検索手段で検索されたサムネイルリストと、追加条件設定手段で設定された参照画像および第３の特徴量とに基づいて、参照画像に含まれている第３の特徴量と、参照画像以外の画像データに含まれている第３の特徴量との類似度を求め、表示手段に表示されている２次元マップ上の参照画像以外の画像データの中で、第３の特徴量に関して参照画像と類似度の高い画像データを強調表示するための２次元マップを再構築するものである。
【発明の効果】
【０００９】
本発明によれば、２次元マップの中から規準となる参照画像を指定するとともに、参照画像に関連付けられる第３の特徴量を指定し、参照画像に含まれる第３の特徴量を基にした類似度を求めることにより、第３の特徴量について、参照画像と類似度の高い画像データを２次元マップ上に強調表示することができ、画像ブラウズ時に、表示処理に要する演算量を削減するとともに、より多くの特徴量との関連を視覚的に容易に認識できる画像ブラウザシステムを得ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の画像ブラウザシステムの好適な実施の形態につき図面を用いて説明する。
本発明の画像ブラウザシステムは、２次元マップ上に表示された画像データの中から参照画像を選択し、参照画像に関連付けられる新たな第３の特徴量を指定することにより、第３の特徴量について参照画像と類似度の高い他の画像データを特定して２次元マップ上に強調表示することを特徴とするものである。
【００１１】
実施の形態１．
図１は、本発明の実施の形態１における画像ブラウザシステムの構成図である。この図１の画像ブラウザシステム１０は、画像特徴量記憶部１１、特徴量抽出手段１２、２次元マップ用特徴量設定手段１３、検索手段１４、レイアウト構築手段１５、および追加条件設定手段１６で構成される。さらに、外部に２次元マップを表示する表示手段２０を備えている。
【００１２】
画像特徴量記憶部１１は、あらかじめ定められた複数の特徴量が、それぞれの入力画像データにどの程度含まれているかを定量的に示す特徴量情報を、それぞれの入力画像データと対応付けてなる画像特徴量テーブルを記憶する記憶部である。
【００１３】
特徴量抽出手段１２は、外部から取り込んだ入力画像データの中から、あらかじめ定められた複数の特徴量を定量的に抽出し、取り込んだ入力画像データに対応した特徴量情報を生成し、取り込んだ入力データと生成した特徴量情報を関連づけて、画像特徴量記憶部１１に記憶されている画像特徴量テーブルを更新する。
【００１４】
２次元マップ用特徴量設定手段１３は、ユーザが、画像特徴量記憶部１１に記憶された入力画像データの中から所望の画像を取り出したい際に、その所望の画像に含まれる２つの特徴量（第１の特徴量および第２の特徴量に相当）を指定するための設定手段である。このようにして、２つの特徴量をキーとして、それらの特徴量と関連性の高い画像を抽出していくこととなる。
【００１５】
検索手段１４は、２次元マップ用特徴量設定手段１３により指定された２つの特徴量に関する情報を、それぞれ２次元マップ用のＸ軸、Ｙ軸の特徴量として検索するためにクエリに変換し、画像特徴量記憶部１１にアクセスする。この検索により、検索手段１４は、指定された２つの特徴量の少なくとも一方を含む入力画像データおよび特徴量情報を画像特徴量テーブルの中から抽出することができる。
【００１６】
さらに、検索手段１４は、抽出した入力画像データおよび特徴量情報に基づいて、表示に必要なサムネイル（縮小画像）を生成するとともに、生成したサムネイルとＸ軸、Ｙ軸の特徴量とを関連づけた表示用のサムネイルリストを生成する。また、本発明においては、後に新たな第３の特徴量を指定された場合にも対応できるように、このサムネイルリストには、Ｘ軸、Ｙ軸以外のすべての特徴量に関する特徴量情報も付随されている。
【００１７】
レイアウト構築手段１５は、検索手段１４で生成されたサムネイルリストを取得し、このサムネイルリストに基づいて、指定された２つの特徴量に関する２次元マップを生成し、表示手段２０に出力させる。
【００１８】
追加条件設定手段１６は、表示手段２０に表示された２次元マップを見たユーザが、表示されているサムネイルを元にして、さらなる検索条件を追加するための設定手段である。より具体的には、ユーザは、表示されているサムネイルの中から所望のサムネイルを１つ選択して参照サムネイル（参照縮小画像に相当）の設定を行う。さらに、ユーザは、参照サムネイルに含まれている特徴量の中で、すでに指定している第１の特徴量および第２の特徴量以外の特徴量として第３の特徴量を設定する。
【００１９】
これに対して、レイアウト構築手段１５は、追加条件設定手段１６により設定された参照サムネイルおよび第３の特徴量と、検索手段１４から取得したサムネイルリストに含まれている特徴量情報とに基づいて、参照サムネイルに含まれている第３の特徴量と、その他のサムネイルに含まれている第３の特徴量との比較演算を行う。
【００２０】
そして、レイアウト構築手段１５は、この演算結果に基づいて、第３の特徴量について参照サムネイルと類似度の高い１つあるいは複数のサムネイルを特定し、特定したサムネイルを強調表示させるために、２次元マップを再構築し、表示手段２０に表示させる。この結果、ユーザは、自らが最も抽出したい画像として２次元マップの中から選択した参照サムネイルに対して、第３の特徴量の類似度が高いサムネイルを、強調表示内容に基づいて識別することができる。
【００２１】
以上のように、実施の形態１によれば、最初に指定された２軸分の特徴量に基づいて、対応するサムネイルを２次元マップ上に表示し、その上で、規準となる参照サムネイルおよび第３の特徴量を指定し、参照サムネイルに含まれている第３の特徴量を基にした、類似度の高いサムネイルを強調表示することができる。
【００２２】
これにより、２次元マップとして関連づけられた第１の特徴量および第２の特徴量に加えて、第３の特徴量の類似度を評価尺度として加味することができ、３軸分の特徴量の関連を、より簡単に把握可能な画像ブラウザシステムを構築することができる。さらに、３軸分の情報表示に当たっては、３次元空間から２次元空間への投影処理が不要であり、表示処理に要する演算量も少ないという利点がある。
【００２３】
実施の形態２．
本実施の形態２では、レイアウト構築手段１５による２次元マップの再構築による強調表示の第１の具体例について説明する。
図２は、本発明の実施の形態２における強調表示の一例を示す図である。図２において、レイアウト構築手段１５は、強調表示するサムネイルのサイズを時間的に変動させる。
【００２４】
たとえば、強調表示させるためのサムネイルの大きさを、時間ｔ１の間は、ｘ＝ｘ１、ｙ＝ｙ１とし、時間ｔ２の間は、ｘ＝ｘ２、ｙ＝ｙ２とする。そして、レイアウト構築手段１５は、このような強調表示処理を繰り返し行って、表示手段２０に再構築後の２次元マップを表示させることにより、強調するサムネイルの大きさを時間的に変化させることができる。
【００２５】
この結果、ユーザは、新たに指定した第３の特徴量について、指定した参照サムネイルと関連性の高いサムネイルを、視覚的に明確に確認することが可能となる。なお、このような強調表示を行うサムネイルは、参照サムネイルと最も類似度の高い１つのサムネイルには限られない。類似度の高い順に、複数のサムネイルの強調表示を順次行うことも可能である。
【００２６】
以上のように、実施の形態２によれば、新たに指定した第３の特徴量について、指定した参照サムネイルと類似度の高いサムネイルを、一定時間毎にサイズを変更して表示させることができる。これにより、第３の特徴量の類似度を評価尺度として加味した際にも、３軸分の特徴量の情報を、２次元マップ上で視覚的に容易に確認することができる。さらに、３軸分の情報表示に当たっては、３次元空間から２次元空間への投影処理が不要であり、表示処理に要する演算量も少ないという利点がある。
【００２７】
実施の形態３．
本実施の形態３では、レイアウト構築手段１５による２次元マップの再構築による強調表示の第２の具体例について説明する。
図３は、本発明の実施の形態３における強調表示の一例を示す図である。図３において、サムネイル（ｒｅｆ）は、追加条件設定手段１６で指定した参照サムネイルである。また、サムネイル（Ｓ１）は、２次元マップに表示されたサムネイルの中で、第３の特徴量について、参照サムネイルとの類似度が最も高いサムネイルである。さらに、サムネイル（Ｓ２）は、第３の特徴量について、参照サムネイルとの類似度がサムネイル（Ｓ１）の次に高いサムネイルである。
【００２８】
本実施の形態３では、参照サムネイル（ｒｅｆ）と、第３の特徴量について類似度が高いサムネイル（Ｓ１）、（Ｓ２）を線で結んで表示させることにより、強調表示を行っている。より具体的には、レイアウト構築手段１５は、２次元マップに表示されているすべてのサムネイルに含まれている第３の特徴量のそれぞれと、参照サムネイル（ｒｅｆ）に含まれている第３の特徴量との比較演算を行い、類似度の高いサムネイルとして、サムネイル（Ｓ１）、（Ｓ２）を特定する。
【００２９】
さらに、レイアウト構築手段１５は、参照サムネイル（ｒｅｆ）とサムネイル（Ｓ１）とを結ぶための線Ｌ１と、サムネイル（Ｓ１）とサムネイル（Ｓ２）とを結ぶための線Ｌ２とを表示させるために、Ｌ１、Ｌ２の始点、終点の座標を特定して表示手段２０に表示させることとなる。
【００３０】
図３に示したように、指定された参照サムネイル（ｒｅｆ）と、指定された第３の特徴量について参照サムネイル（ｒｅｆ）と最も類似度が高いサムネイル（Ｓ１）とが最初に線Ｌ１で繋がれる。さらに、次に類似度の高いサムネイル（Ｓ２）が、サムネイル（Ｓ１）と線Ｌ２で繋がれる。これにより、２次元分布を表示した状態で、参照サムネイルに対して、第３の特徴量について関連性の高いサムネイルを、視覚的に確認しやすく表示することができる。
【００３１】
以上のように、実施の形態３によれば、新たに指定した第３の特徴量について、指定した参照サムネイルと類似度の高いサムネイルを、参照サムネイルと線で繋いで表示させることができる。これにより、第３の特徴量の類似度を評価尺度として加味した際にも、３軸分の特徴量の情報を、２次元マップ上で視覚的に容易に確認することができる。さらに、３軸分の情報表示に当たっては、３次元空間から２次元空間への投影処理が不要であり、表示処理に要する演算量も少ないという利点がある。
【００３２】
実施の形態４．
本実施の形態４では、レイアウト構築手段１５による２次元マップの再構築による強調表示の第３の具体例について説明する。
図４は、本発明の実施の形態４における強調表示の一例を示す図である。図４において、レイアウト構築手段１５は、強調表示するサムネイルの表示位置を時間的に変動させる。
【００３３】
たとえば、強調表示させるためのサムネイルの位置を、時間ｔ１の間は、（ｘ１、ｙ１）で示される座標位置とし、時間ｔ２の間は、（ｘ２、ｙ２）で示される位置に移動させる。そして、レイアウト構築手段１５は、このような強調表示処理を繰り返し行って、表示手段２０に再構築後の２次元マップを表示させることにより、強調するサムネイルの位置を時間的に変化させることができる。
【００３４】
この結果、ユーザは、新たに指定した第３の特徴量について、指定した参照サムネイルと関連性の高いサムネイルを、視覚的に明確に確認することが可能となる。なお、このような強調表示を行うサムネイルは、参照サムネイルと最も類似度の高い１つのサムネイルには限られない。類似度の高い順に、複数のサムネイルの強調表示を順次行うことも可能である。
【００３５】
以上のように、実施の形態４によれば、新たに指定した第３の特徴量について、指定した参照サムネイルと類似度の高いサムネイルを、一定時間毎に位置を変更して表示させることができる。これにより、第３の特徴量の類似度を評価尺度として加味した際にも、３軸分の特徴量の情報を、２次元マップ上で視覚的に容易に確認することができる。さらに、３軸分の情報表示に当たっては、３次元空間から２次元空間への投影処理が不要であり、表示処理に要する演算量も少ないという利点がある。
【００３６】
なお、上述の実施の形態においては、新たな評価尺度として第３の特徴量を１つ追加する場合について説明したが、本発明は、これに限定されるものではない。新たな評価尺度として、複数個の特徴量を指定することも可能である。例えば、第３の特徴量に加えて第４の特徴量も評価尺度として用いた場合には、第３の特徴量についての類似度と第４の特徴量の類似度から算出される新たな類似度（例えば、両類似度の平均値、あるいは、二乗平均値など）を用いることにより、同様の強調表示を行うことができる。これにより、４軸分以上の特徴量の情報を、２次元マップ上で視覚的に容易に表示することが可能である。
【００３７】
また、本発明においては、指定された２軸分の特徴量が同じ値をもつサムネイルは、同じ位置に表示されることになる。そこで、指定された２軸分の特徴量が同一である複数のサムネイルが存在する場合には、レイアウト構築手段１５は、表示させるサムネイルの座標をＸ軸Ｙ軸のどちらか片方あるいは両方を少し変化させることにより、重複を回避して表示手段２０に表示させる。この結果、重なりつつも完全に隠れることなく、同じ値を持つ複数のサムネイルの表示を実現することが可能となる。
【００３８】
また、本発明のような２次元マップ表示の場合、特徴量抽出手段１２によって抽出すべき特徴量として、画像データに基づく相関色温度を用いることが可能である。この場合には、色温度の物理量（数値）と視覚的な感度とが合致しているため、人間の視覚によるブラウズ効率を向上させた表示が可能となる。
【００３９】
また、上述の実施の形態においては、検索手段１４において縮小画像を生成する場合について説明したが、本発明は、これに限定されるものではない。例えば、画像データのサイズが２次元マップ上に表示可能な大きさであれば、必ずしも縮小画像を用いる必要はなく、縮小していない画像データを用いても同様の効果を得ることが可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態１における画像ブラウザシステムの構成図である。
【図２】本発明の実施の形態２における強調表示の一例を示す図である。
【図３】本発明の実施の形態３における強調表示の一例を示す図である。
【図４】本発明の実施の形態４における強調表示の一例を示す図である。
【図５】従来装置におけるグラフィック・ユーザ・インターフェイスを示した模式図である。
【符号の説明】
【００４１】
１０  画像ブラウザシステム、１１  画像特徴量記憶部、１２  特徴量抽出手段、１３  ２次元マップ用特徴量設定手段、１４  検索手段、１５  レイアウト構築手段、１６  追加条件設定手段、２０  表示手段。
【図１】
0004754986.tif 000002
【図２】
0004754986.tif 000003
【図３】
0004754986.tif 000004
【図４】
0004754986.tif 000005
【図５】
0004754986.tif 000006