(57)【要約】【課題】  複数のサムネイルを画面上にて分類表示する画像表示装置および方法およびプログラムを提供する。【解決手段】  画像表示装置（１１）において、特徴量抽出部（５）は、サムネイル生成部（４）が生成した画像データ（３１）のサムネイルデータ（３３）から特徴量抽出条件（３５）にて各サムネイルの特徴量を抽出して特徴量算出結果（３６）に登録し、ベクトル空間展開部（６）、類似度算出部（７）、グループ化／ソート制御部（８）が、特徴量算出結果（３６）基づいて画像の類似度によるサムネイルのクラスタリングを行い、サムネイル表示制御部（１０）は、サムネイル一覧表示用データ作成部（９）がサムネイル管理情報（３４）の表示優先順位にて作成した表示用データにて表示部への表示制御を行う。【選択図】  図１
2005236646.tif 000002
【特許請求の範囲】
【請求項１】
複数のサムネイルを画面上に分類表示する画像表示装置において、
前記複数のサムネイルの画像データに対して所定の抽出条件に基づいて少なくとも一つ以上の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段にて抽出された特徴量から各サムネイル間の類似度の度合いを算出する類似度算出手段と、
前記類似度算出手段にて算出された類似度に基づいて、前記複数のサムネイルをグループ化するグループ化手段と、
前記グループ化手段によるグループ化に基づき前記複数のサムネイルを画面上に表示するサムネイル表示手段を
具備することを特徴とする画像表示装置。
【請求項２】
前記グループ化手段によりグループ化されたグループにおいて、所定の条件に基づいて代表サムネイルを特定して管理する代表サムネイル管理手段と、
前記代表サムネイル管理手段にて特定された前記代表サムネイルの一覧を表示するとともに、該表示した代表サムネイルのうち選択された代表サムネイルと同一のグループに属するサムネイルの一覧を階層的に表示するサムネイル階層表示手段と
をさらに具備する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記特徴量抽出手段は、
前記所定の抽出条件として、前記サムネイルの画像領域をユーザが処理毎に指定する抽出条件指定手段
をさらに具備し、
前記抽出条件指定手段にて指定された内容に基づいて特徴量を抽出する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項４】
複数のサムネイルを画面上に分類表示する画像表示方法であって、
前記複数のサムネイルの画像データに対して所定の抽出条件に基づいて少なくとも一つ以上の特徴量を特徴量抽出手段により抽出し、
前記特徴量抽出手段にて抽出された特徴量から各サムネイル間の類似度の度合いを類似度算出手段により算出し、
前記類似度算出手段にて算出された類似度に基づいて、前記複数のサムネイルをグループ化手段によりグループ化し、
前記グループ化による手段グループ化に基づき前記複数のサムネイルをサムネイル表示手段により画面上に表示する
ことを特徴とする画像表示方法。
【請求項５】
複数のサムネイルを画面上に分類表示する処理をコンピュータに実行させる画像表示プログラムであって、
特徴量抽出手段が前記複数のサムネイルの画像データに対して所定の抽出条件に基づいて少なくとも一つ以上の特徴量を抽出するステップと、
類似度算出手段が前記特徴量抽出手段にて抽出された特徴量から各サムネイル間の類似度の度合いを算出するステップと、
前記類似度算出手段にて算出された類似度に基づいて、グループ化手段が前記複数のサムネイルをグループ化するステップと、
前記グループ化手段によるグループ化に基づき、サムネイル表示手段が、前記複数のサムネイルを画面上に表示するステップとを
具備することを特徴とする画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶した各画像データの類似度を分析してグループ分けを行い、グループ分けを行った結果に基づいて画像のサムネイルの一覧表示を行う技術に関し、特に、各画像のサムネイルを分析対象としてサムネイルの一覧表示を制御する画像表示装置および方法およびプログラムに関する。
【背景技術】
【０００２】
従来の画像検索を行う技術として、特許文献１に記載の「画像検索方法およびその装置およびこれを利用した検索サービス」が開示されている。
【０００３】
この特許文献１の発明は、画像検索の結果を検索者が理解しやすくかつ利用しやすい形で検索者へ提示することを目的とし、多様な観点によって抽出された大量の画像の特徴量を統計処理してベクトル空間を生成し、ベクトル空間から任意の軸を選び、対応する座標に縮小画像を配置することで序列に従ったブラウジング表示を行う。
【０００４】
ユーザは、ブラウジング表示画面の座標を指定するセンタリング、拡大縮小率の指定によって縮小画像集合の概観表示と詳細表示とを連続的に操作し、序列に従って配置された画像を画像指定あるいは領域指定によって参照画像として一度に選択し、それらの参照画像に対して特徴量の選択と重みの指定を一度に行い、画像検索を行う。
【特許文献１】特開平１１−１７５５３５号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の発明は、各画像ファイルのコンテンツからＮ個の特徴量を抽出し、各特徴量を座標軸とするＮ次のベクトル空間にそれぞれ配置する表示方法を使用している。
【０００６】
しかし、特徴量の抽出対象が画像ファイルのコンテンツであるため、被検索対象となる各画像サイズの違いがある場合、特徴量を抽出する条件にばらつきが生じるため、適切な分析結果を得るための抽出条件を調整する必要があるといった問題が生じた。
【０００７】
また、分析結果が特徴量を軸とする座標空間上に配置して表現されるので、分析結果を理解するには、分析手法に関する一定レベルの知識が必要となり、一般ユーザには利用しにくいといった問題が生じた。
【０００８】
よって、本発明は、サムネイルに変換した画像データに基づいて画像の類似度を分析し、分析結果をサムネイルの一覧画面におけるサムネイルの表示形態に反映して表示することによって、サムネイルを参照しながら、目的の画像と同様の特徴をもつグループを経由して、目的の画像を迅速に特定することができる画像表示装置および方法およびプログラムの提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の発明は、複数のサムネイルを画面上に分類表示する画像表示装置において、複数のサムネイルの画像データに対して所定の抽出条件に基づいて少なくとも一つ以上の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段にて抽出された特徴量から各サムネイル間の類似度の度合いを算出する類似度算出手段と、類似度算出手段にて算出された類似度に基づいて、複数のサムネイルをグループ化するグループ化手段と、グループ化手段によるグループ化に基づき複数のサムネイルを画面上に表示するサムネイル表示手段を具備することを特徴とする。
【００１０】
また、請求項２の発明は、請求項１の発明において、グループ化手段によりグループ化されたグループにおいて、所定の条件に基づいて代表サムネイルを特定して管理する代表サムネイル管理手段と、代表サムネイル管理手段にて特定された代表サムネイルの一覧を表示するとともに、表示した代表サムネイルのうち選択された代表サムネイルと同一のグループに属するサムネイルの一覧を階層的に表示するサムネイル階層表示手段とをさらに具備することを特徴とする。
【００１１】
また、請求項３の発明は、請求項１の発明において、特徴量抽出手段は、所定の抽出条件として、サムネイルの画像領域をユーザが処理毎に指定する抽出条件指定手段をさらに具備し、抽出条件指定手段にて指定された内容に基づいて特徴量を抽出することを特徴とする。
【００１２】
また、請求項４の発明は、複数のサムネイルを画面上に分類表示する画像表示方法であって、複数のサムネイルの画像データに対して所定の抽出条件に基づいて少なくとも一つ以上の特徴量を特徴量抽出手段により抽出し、特徴量抽出手段にて抽出された特徴量から各サムネイル間の類似度の度合いを類似度算出手段により算出し、類似度算出手段にて算出された類似度に基づいて、複数のサムネイルをグループ化手段によりグループ化し、グループ化による手段グループ化に基づき複数のサムネイルをサムネイル表示手段により画面上に表示することを特徴とする。
【００１３】
また、請求項５の発明は、複数のサムネイルを画面上に分類表示する処理をコンピュータに実行させる画像表示プログラムであって、特徴量抽出手段が複数のサムネイルの画像データに対して所定の抽出条件に基づいて少なくとも一つ以上の特徴量を抽出するステップと、類似度算出手段が特徴量抽出手段にて抽出された特徴量から各サムネイル間の類似度の度合いを算出するステップと、類似度算出手段にて算出された類似度に基づいて、グループ化手段が複数のサムネイルをグループ化するステップと、グループ化手段によるグループ化に基づき、サムネイル表示手段が、複数のサムネイルを画面上に表示するステップとを具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、処理対象画像の特徴量の算出による類似画像のグループ化処理、グループ化した結果の表示制御を各処理対象画像から生成したサムネイルを用いて処理することができる。
【００１５】
これにより、被分析対象となる画像の特徴を同一規格の画像サイズで処理することができ、従来の画像データを直接取り扱う時に比べて、処理負荷の軽減化を実現することができる。
【００１６】
また、サムネイルの一覧表示においては、画像の類似性をサムネイルの並び順、グループ化、階層表示等を用いた表示態様によって表現することができるので、ユーザは、目的のサムネイルにすばやく辿り着くことができ、画像検索時間の短縮化を実現することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の画像表示装置および方法およびプログラムについて添付図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の画像表示装置において、サムネイルの類似度による分類および分類したサムネイルの表示制御を行うための、モジュール構成および処理データを示した制御ブロック図である。
【００１９】
図１において、画像表示装置１１は、画像のサムネイルを生成するサムネイル生成機能、生成した各サムネイルの画像データから所定の特徴量を抽出する特徴量抽出機能、各サムネイル間の類似性をクラスタリング等の手法を用いて分析するグラスタリング機能、グループ化した結果をサムネイル一覧画面における表示態様にて表現するサムネイル表示機能を具備し、ユーザに対する画像検索のための操作環境を提供する。
【００２０】
表示態様の例としては、類似性に基づいてサムネイルをソートして表示する一覧画面、あるいは、クラスタリングによってグループ化されたサムネイルを、グループ毎の代表サムネイルと、そのグループに属するサムネイルの一覧に分けて表示する階層表示画面がある。
【００２１】
図１において、上記各機能をソフトウエア的に制御するための構成として、画像表示装置１１は、メインモジュールとしての画像表示主制御部２を中心に、入力操作検出・解析部１、記憶部３、サムネイル生成部４、特徴量抽出部５、ベクトル空間展開部６、類似度算出部７、グループ化／ソート制御部８、サムネイル一覧表示用データ作成部９、サムネイル表示制御部１０をサブモジュールとして具備する。
【００２２】
記憶部３は、類似画像の分類、画像の表示制御に必要な各情報を記憶するデータ記憶手段であり、画像データ３１、画像データ管理情報３２、サムネイルデータ３３、サムネイル管理情報３４、特徴量抽出条件３５、特徴量算出結果３６、表示レイアウト情報３７を記憶して管理する。
【００２３】
画像データ３１は、類似度による分類対象となる画像データを記憶したファイルである。
【００２４】
サムネイルデータ３３は、画像データ３１を所定の規格に基づいて画像変換を行って作成したサムネイルの画像データを記憶したファイルである。
【００２５】
画像データ管理情報３２は、画像データ３１と、画像データ３１から生成されたサムネイルデータ３３との対応を管理するための情報である。
【００２６】
画像データ管理情報３２は、例えば図２に示すように、画像データ３１が記録された画像ファイルの識別情報を示す「元画像ファイルＩＤ」、画像データ３１から生成したサムネイルの画像データを記憶したファイルを特定するための識別子となる「サムネイル識別子」を画像データ３１毎に記憶して管理する。
【００２７】
特徴量抽出条件３５は、特徴量を抽出する対象領域、特徴量の識別情報、特徴量のデータとして取得する値の内容等を予め定義して管理するための情報である。
【００２８】
特徴量抽出条件３５は、例えば、図３に示すように、各サムネイルデータ３３から抽出する特徴量を識別するための「特徴量識別子」、サムネイルにおいて特徴量の抽出対象となる領域を特定する情報としての「特徴量抽出領域」等を有する。
【００２９】
特徴量の具体例としては、対象領域に指定された各画素の色情報から得られる輝度、明度等の情報として所定の規則に従って数値化されたデータ等を取り扱う。
【００３０】
図１に戻り、特徴量算出結果３６は、サムネイルデータ３３毎の特徴量を特徴量抽出条件３５に基づいて抽出した結果を、サムネイル毎に記録して管理するための情報である。
【００３１】
特徴量算出結果３６は、例えば、図４に示すように、画像データ管理情報３２に登録された「サムネイル識別子」毎の特徴量の抽出結果を、図３に示した特徴量抽出条件３５にて定義された各「特徴量識別子」にてマトリクス上に展開して記録したテーブルである。
【００３２】
図１に戻り、サムネイル管理情報３４は、特徴量算出結果３６に記録された各サムネイルの特徴量に基づいて、クラスタリングによる類似したサムネイルのグループ化した結果を記憶して管理する情報である。
【００３３】
サムネイル管理情報３４は、例えば、図５に示すように、サムネイルの識別情報として、画像データ管理情報３２に登録された「サムネイル識別子」と、サムネイルデータ３３を記憶したファイルの識別子としての「サムネイルファイル名」、サムネイルが属するグループの識別子としての「クラスタＩＤ」、サムネイル間の類似性を一次の配列としてソートした結果を示す「優先順位」、分類された各グループ内において、代表となるサムネイルを識別するための「代表フラグ」を記録して管理する。
【００３４】
再度、図１に戻り、表示レイアウト情報３７は、類似度によって分類およびソートした結果を、表示部に対してどのように表示するかの画面レイアウトの種別、および、レイアウト毎の表示パターン、強調表示の背景色等を設定して管理する情報である。
【００３５】
入力操作検出・解析部１は、画像表示装置１１が有する図示しない操作部からの操作データを受信し、オペレータにて指定された処理対象となる画像データ３１もしくはサムネイルデータ３３を特定し、入力画面の情報、処理結果の出力画面のレイアウト種別等、入力データの解析結果を画像表示主制御部２に出力する。
【００３６】
画像表示主制御部２は、入力操作検出・解析部１から出力された入力データを受信し、サムネイル生成部４、特徴量抽出部５、ベクトル空間展開部６、類似度算出部７、グループ化／ソート制御部８、サムネイル一覧表示用データ作成部９を順に制御して、類似するサムネイルのグループ化、および、分類結果に基づいて作成した表示用データを、サムネイル表示制御部１０に出力する。
【００３７】
サムネイル生成部４は、処理対象となる画像データ３１のサムネイルをサムネイルデータ３３として記憶部３に生成する。
【００３８】
特徴量抽出部５は、サムネイルデータ３３毎の特徴量を特徴量抽出条件３５に設定された抽出条件に基づいて抽出し、抽出結果を特徴量算出結果３６として記憶部３に生成する。
【００３９】
サムネイルを類似度によってグループ化するための第１の処理として、ベクトル空間展開部６は、特徴量算出結果３６に記録された各特徴量から、特徴量抽出条件３５にて定義されたＮ個の特徴量を各ベクトル方向とするベクトル空間（図６）へ展開するための、各ベクトル方向における大きさを算出する。
【００４０】
サムネイルを類似度によってグループ化するための第２の処理として、類似度算出部７は、ベクトル空間に展開された各サムネイル間の距離をそれぞれ算出して算出結果を記憶部３に一次的に記憶する。
【００４１】
サムネイルを類似度によってグループ化するための第３の処理として、グループ化／ソート制御部８は、類似度算出部７にて算出されたベクトル空間における各サムネイル間の距離に基づいてクラスタリングを行い、類似するサムネイルのグループ化を行う。
【００４２】
クラスタリングを行う例としては、「ウォード法」等を用いてグループ化を行う方法がある。
【００４３】
図７は、図６のベクトル空間に展開した各サムネイルを、距離の近いものを順にグループ化する際の手法を模式的に表した図である。
【００４４】
図７に示したグラフは、縦軸７００は、隣接するサムネイルあるいはクラスタ間等における距離の長さを示し、横軸７０６には、対応するサムネイルを、例えば、原点からの距離が短く、尚且つ、距離の近いサムネイル同士が隣り合うようにソートしたものである。
【００４５】
例えば、図７の場合、距離ｈ１（７０５）を上限としてクラスタリングを行うと、「クラスタＣ１」（７０１）、「クラスタＣ２」（７０２）、「クラスタＣ３」（７０３）、「クラスタＣ４」（７０４）の４つにグループ分けすることができる。
【００４６】
また、各クラスタの代表サムネイルとして、各クラスタ内のサムネイルのうち、例えば、最も原点に近い側のサムネイル、「Ｉ１２」、「Ｉ２２」、「Ｉ３４」、「Ｉ４１」（７０７）を得ることができる。
【００４７】
また、横軸に示したサムネイルの序列を、サムネイルの表示優先順位として各サムネイルに割り当てを行うようにしても良い。
【００４８】
再度、図１に戻り、グループ化／ソート制御部８は、クラスタリングによるグループ化した情報および、各サムネイルの表示優先順位、クラスタ毎の代表サムネイルの情報を、サムネイル管理情報３４に設定する。
【００４９】
サムネイル一覧表示用データ作成部９は、グループ化したサムネイルを、オペレータにて指定された画面レイアウトに基づいて、例えば、図８に示すような、サムネイル一覧表示画面８０１、もしくは、図９（Ａ）、図９（Ｂ）に示すようなサムネイル階層表示画面９０１の画面を、画像表示装置１１の図示しない表示部へ表示するための表示用データを作成する。
【００５０】
サムネイル表示制御部１０は、サムネイル一覧表示用データ作成部９にて作成された表示用データに基づいて、サムネイル分類・表示装置１１の図示しない表示部に対して画面表示制御を行う。
【００５１】
図８において、サムネイル一覧表示画面８０１は、グループ化／ソート制御部８にて割り当てられた各サムネイルの優先順位でサムネイルをソートして一覧表示を行った画面である。
【００５２】
また、クラスタリングによって分類された各クラスタのサムネイル郡に対して、それぞれ異なる背景色の表示領域（図８の８０２、８０３、８０４、８０５、８０６）を画面に設け、グループ別の強調表示を行う。
【００５３】
図８の表示レイアウトによれば、類似するサムネイルをグループ化して表示できるのみならず、表示されたサムネイル間の距離にて類似性を表現することができ、オペレータは、多くのサムネイルから、目的の特徴を持ったサムネイルを迅速に見つけだすことが容易になる。
【００５４】
また、図９において、サムネイル階層表示画面９０１は、グループ化／ソート制御部８にて決定されたクラスタ毎の代表サムネイルのみを、表示優先順位に基づいてソートして一覧表示した画面（図９の（Ａ））と、図９（Ａ）に表示した代表サムネイルのうち、オペレータが指定した選択サムネイル９０４と同じグループに属するサムネイルを、類似サムネイル表示領域９０５上にソートして一覧表示した画面（図９の（Ｂ））の２つのレイアウトがある。
【００５５】
また、図９（Ａ）は、所望する特徴をもった代表サムネイルを代表サムネイル表示領域９０２から選択し、類似サムネイル一覧表示用ボタン９０３を押下することによって図９（Ｂ）の画面に遷移することができ、図９（Ｂ）は、類似サムネイル表示領域９０５に表示された、戻るボタン９０７を押下することで、図９（Ａ）の画面に戻ることができる。
【００５６】
これにより、サムネイル階層表示画面９０１をオペレータが操作することによって、「代表サムネイルの一覧」、「選択した代表サムネイルと同じ特徴をもつサムネイルの一覧」といった、階層的な表示が可能であるため、オペレータは、目的のサムネイルと同じ特徴をもつサムネイル一覧を絞り込み表示することができ、目的のサムネイルに短時間で辿り着くことができる。
【００５７】
次に、図１に示した画像表示装置１１における、サムネイルの分類、表示制御方法について図１に示した制御モジュールおよびデータに付与した符号と、図１０および、図１１に示したフローチャートを用いて説明する。
【００５８】
図１０は、サムネイルの類似度による分類と、分類結果に基づくサムネイル一覧画面の表示制御の流れを示すフローチャートである。
【００５９】
入力操作検出・解析部１からの入力データを受信すると、画像表示主制御部２は、サムネイル生成部４により、指定された各画像データ３１のサムネイルを、サムネイルデータ３３として記憶部３に生成するとともに、サムネイルデータ３３毎に付与した識別情報を、画像データ管理情報３２に登録する（Ｓ１０１）。
【００６０】
画像表示主制御部２は、特徴量抽出部５の制御により、ステップＳ１０１で生成した各サムネイルデータ３３の特徴量を特徴量抽出条件３５に基づいて抽出し、抽出した各特徴量を特徴量算出結果３６に登録する（Ｓ１０３）。
【００６１】
画像表示主制御部２は、ベクトル空間展開部６を制御し、特徴量算出結果３６に登録された特徴量に基づいて、サムネイルの特徴を示すベクトル空間に各サムネイルを展開する（Ｓ１０４）。
【００６２】
画像表示主制御部２は、類似度算出部７の制御により、ステップＳ１０４で展開したベクトル空間上の各サムネイルにおいて、各サムネイル間の距離をそれぞれ計算する（Ｓ１０５）。
【００６３】
画像表示主制御部２は、グループ化／ソート制御部８を制御し、ステップＳ１０５にて計算したサムネイル間の距離に基づいてクラスタリングを行い、各サムネイルが分類されたクラスタの情報、表示優先順位をサムネイル管理情報３４に設定する（Ｓ１０６）。
【００６４】
画像表示主制御部２は、サムネイル一覧表示用データ作成部９により、サムネイル管理情報３４に設定された、クラスタ識別子、表示優先順位と、表示レイアウト情報３７に記録された出力画面のレイアウトに基づいて、表示用データを作成し、サムネイル表示制御部１０に対して表示部への画面表示を指示する（Ｓ１０７）。
【００６５】
なお、図１０に示したフローチャートにおいて、ステップＳ１０１に示したサムネイルの生成処理からステップＳ１０３に示した算出した特徴量の登録処理は、ステップＳ１０４以降の処理とは別の独立した処理単位に分けて事前に実施することが可能であり、処理対象画像に対応するサムネイルデータおよび特徴量の算出データが生成済みの場合には、既存のサムネイルの画像データ、サムネイルの特徴量データの生成処理をそれぞれ省略し、記憶部３から読み出して処理する構成にしても良い。
【００６６】
次に、図１０のステップＳ１０７に示した、サムネイル一覧画面の表示制御についてのさらなる詳細な処理手順を図１１のフローチャートに示して説明する。
【００６７】
図１１において、サムネイル一覧表示用データ作成部９は、出力画面の表示レイアウトを判断し（Ｓ２０１）、出力レイアウトが図８に示すようなサムネイル一覧表示画面８０１である場合（Ｓ２０１―ＹＥＳ）、サムネイル一覧表示用データ作成部９は、サムネイル管理情報３４に記録された「表示優先順位」を各サムネイルに取得し、取得した「表示優先順位」の昇順あるいは降順にてソートし（Ｓ２０２）、ソート結果に基づいて、画面表示用データを作成する（Ｓ２０３）。
【００６８】
再度、ステップＳ２０１に戻り、出力する画面が図９に示したサムネイル階層表示画面９０１である場合で（Ｓ２０１−ＮＯ）、かつ、図９（Ａ）に示すような代表サムネイルの一覧表示を行う場合（Ｓ２０５−ＮＯ）、サムネイル一覧表示用データ作成部９は、サムネイル管理情報３４の「代表フラグ」の登録データが「ＯＮ」となる代表サムネイルの識別子と、それに対応する「表示優先順位」をそれぞれ抽出し（Ｓ２０６）、抽出した優先順位に基づいて代表サムネイルをソートする（Ｓ２０７）。
【００６９】
サムネイル一覧表示用データ作成部９は、ソート結果に基づいて、代表サムネイルの一覧を表示するための表示用データを作成する（Ｓ２０８）。
【００７０】
再度、ステップＳ２０５に戻り、表示レイアウトが図９（Ｂ）に示したサムネイル階層表示画面９０１を表示する場合（Ｓ２０５−ＹＥＳ）、サムネイル一覧表示用データ作成部９は、オペレータが選択した代表サムネイル９０４のクラスタ識別子を入力データから特定し（Ｓ２０９）、特定したクラスタ識別子が登録された代表サムネイル以外の全サムネイルを、サムネイル管理情報３４の「クラスタ識別子」を参照して抽出する（Ｓ２１０）。
【００７１】
ステップＳ２１０にて抽出した各サムネイルをサムネイル管理情報３４に設定された「表示優先順位」に基づいてソートし（Ｓ２１１）。
【００７２】
ソートした結果に基づいて、選択された代表サムネイルがと同一のグループに属するサムネイルの詳細表示領域をもつ表示データを作成して画像表示主制御部２に出力する（Ｓ２１２）。
【００７３】
画像表示主制御部２は、サムネイル一覧表示用データ作成部９が、ステップＳ２０３、ステップＳ２０８、あるいはステップＳ２１２にて作成した画面表示用データに基づいて、サムネイル一覧画面の表示制御を行うようサムネイル表示制御部１０に対して指示する（Ｓ２０４）。
【００７４】
以上が、図１に示したサムネイル分類・表示装置１１における画像表示方法についての説明である。
【００７５】
なお、図１に示した特徴量抽出部５が抽出する特徴量の抽出基準は、図３に示した特徴量抽出条件３５に予め設定して静的取り扱う以外の構成として、特徴量を抽出する任意の領域をユーザがサムネイルの表示要求を行う度に指定することが可能なユーザインタフェース表示手段を画像表示装置１１に追加し、特徴量抽出部５は、指定された抽出条件に基づいて特徴量を抽出し、サムネイルの分類処理を行う構成にしてもよい。
【００７６】
また、図８および図９に示したサムネイルの一覧表示に関連して、図８に示したグラスタ毎に異なる色の強調枠を表示する際の色設定、あるいは、クラスタスタ毎に改ページを行うなどの設定を、ユーザが自由に設定変更することが可能な図１２に示した一覧画面表示方法指定設定画面１２０１のようなユーザインタフェースを表示する手段をサムネイル分類・表示装置１１に追加した構成にしてもよい。
【００７７】
また、図９に示した図９（Ｂ）の画面において、サムネイルの階層数は、代表サムネイルと、代表サムネイルと同一のサムネイルに属するサムネイル一覧の２階層で表示する例を示したが、これ以外に、図７に示したようなクラスタリングの過程にて生じたツリー構造を、表示の階層構造に適用して２階層以上の表示制御を行うようにしても良い。
【産業上の利用可能性】
【００７８】
本発明の画像表示装置および方法およびプログラムは、画像データを含むファイルの検索、画像データを閲覧するサービスを提供する画像ビューイングあるいはファイルビューイングアプリケーション、画像・文書ファイリングシステムおよび装置等に利用可能であり、特に、多くの画像もしくはサムネイルから目的の特徴をもった画像を速やかに特定することが必要とされる場合に有効である。
【図面の簡単な説明】
【００７９】
【図１】本発明に係る画像表示装置において、類似度による画像の分類および分類したサムネイルの表示制御を行うための、モジュール構成および処理データの関連を示した制御ブロック図である。
【図２】画像表示装置の記憶部に記憶される画像データ管理情報に登録して管理されるデータの例を示した図である。
【図３】画像表示装置の記憶部に記憶される特徴量抽出条件に登録して管理されるデータの例を示した図である。
【図４】画像表示装置の記憶部に記憶される特徴量算出結果に登録して管理されるデータの例を示した図である。
【図５】画像表示装置の記憶部に記憶されるサムネイル管理情報に登録して管理されるデータの例を示した図である。
【図６】算出したn個の特徴量をベクトル軸にもつベクトル空間上にサムネイルをプロットした時の例を概略的に示したベクトル空間図である。
【図７】図６に示したベクトル空間にプロットした各サムネイル間の距離に基づいて、クラスタリングによるグループ分けを行った時の例を示す図である。
【図８】サムネイル一覧表示画面の例を示す画面イメージ図である。
【図９】サムネイル階層表示画面の例を示す画面イメージ図である。
【図１０】画像表示装置にて記憶管理される画像データを、サムネイルを用いて、分類して一覧表示する処理の流れを示すフローチャートである。
【図１１】画像表示装置において、図８、図９に示したサムネイルの画面表示制御の処理手順を示すフローチャートである。
【図１２】図８および図９に示したサムネイルの一覧画面における表示オプションを設定するための画面示した画面イメージ図である。
【符号の説明】
【００８０】
１    入力操作検出・解析部
２    画像表示主制御部
３      記憶部
３１    画像データ
３２    画像データ管理情報
３３    サムネイルデータ
３４    サムネイル管理情報
３５    特徴量抽出条件
３６    特徴量算出結果
３７    表示レイアウト情報
４    サムネイル生成部
５    特徴量抽出部
６    ベクトル空間展開部
７    類似度算出部
８    グループ化／ソート制御部
９    サムネイル一覧表示用データ作成部
１０    サムネイル表示制御部
１１    画像表示装置  ６０１    特徴量Ｐ１ベクトル軸
６０２    特徴量Ｐ２ベクトル軸
６０３    特徴量ＰＮベクトル軸
６０４    クラスタＣ１
６０５    クラスタＣ３
６０６    クラスタＣ４
６０７    クラスタＣ２
７００    縦軸（距離）
７０１    クラスタＣ１
７０２    クラスタＣ２
７０３    クラスタＣ３
７０４    クラスタＣ４
７０５    閾値
７０６    横軸（サムネイル識別子）
７０７    代表サムネイル
８０１    サムネイル一覧表示画面
８０２    クラスタＣ１サムネイル強調表示領域
８０３    クラスタＣ２サムネイル強調表示領域
８０４    クラスタＣ３サムネイル強調表示領域
８０５    クラスタＣ４サムネイル強調表示領域
９０１    サムネイル階層表示画面
９０２    代表サムネイル表示領域
９０３    類似サムネイル一覧表示用ボタン
９０４    選択サムネイル
９０５    類似サムネイル表示領域
９０６    類似サムネイル
９０７    戻るボタン
１２０１    一覧画面表示方法指定設定画面
【図１】
2005236646.tif 000003
【図２】
2005236646.tif 000004
【図３】
2005236646.tif 000005
【図４】
2005236646.tif 000006
【図５】
2005236646.tif 000007
【図６】
2005236646.tif 000008
【図７】
2005236646.tif 000009
【図８】
2005236646.tif 000010
【図９】
2005236646.tif 000011
【図１０】
2005236646.tif 000012
【図１１】
2005236646.tif 000013
【図１２】
2005236646.tif 000014