(57)【要約】【課題】多数の解析要素について相互の関連性を可視化するとともに、必要に応じて一部の解析要素について細かな特徴の差を可視化することができるようにすること。【解決手段】複数の解析要素（画像）を、それら相互の関連性に従って所定の空間（第２空間１４）上に配置する。この空間を示す画像をモニタにより表示するとともに、ユーザの操作に従って空間の一部領域の指定を受け付ける。そして、指定された一部領域に配置された指定画像を、再度、それら相互の関連性に従って所定の空間上に配置するとともに、その空間を示す画像をモニタにより表示する。【選択図】図５
2007164301.tif 000002
【特許請求の範囲】
【請求項１】
複数の解析要素のそれぞれについて、複数種類の特徴量のそれぞれの値を取得する特徴量取得手段と、
前記特徴量取得手段により取得される値に基づいて、前記各特徴量に対応する座標軸を有する第１空間における、前記各解析要素の位置座標を算出する第１位置座標算出手段と、
前記第１位置座標算出手段により算出される前記位置座標に基づき、前記第１空間における１又は複数の特徴方向を算出する特徴方向算出手段と、
前記特徴方向算出手段により算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記位置座標と、に基づいて、前記特徴方向算出手段により算出される前記各特徴方向に対応する座標軸を有する第２空間における、前記各解析要素の位置座標を算出する第２位置座標算出手段と、
前記第２位置座標算出手段により算出される前記各位置座標に基づいて、前記各解析要素に関する表示がなされた、前記第２空間の全部又は一部を示す画像を表示する空間画像表示手段と、
前記第２空間の一部領域を指定する領域指定手段と、を含み、
前記特徴方向算出手段は、前記領域指定手段により指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素である、１又は複数の指定解析要素の、前記第１位置座標算出手段により算出される前記第１空間における位置座標に基づき、前記第１空間における１又は複数の特徴方向を再度算出し、
前記第２位置座標算出手段は、前記特徴方向算出手段により再度算出される前記特徴方向と、前記各指定解析要素の前記第１空間における前記位置座標と、に基づいて、前記特徴方向算出手段により再度算出される前記各特徴方向に対応する座標軸を有する指定解析要素用第２空間における、前記各指定解析要素の位置座標を算出し、
前記空間画像表示手段は、前記第２位置座標計算手段により算出される前記各指定解析要素の前記位置座標に基づいて、該指定解析要素に関する表示がなされた、前記指定解析要素用第２空間の全部又は一部を示す画像を表示する、
を含むことを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記領域指定手段により指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素を計数するとともに、その数が所定数以上の場合には前記特徴方向の再計算を制限する手段をさらに含む、
ことを特徴とする情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置において、
前記特徴方向算出手段は、前記第１位置座標算出手段により算出される前記位置座標間の類似度を要素とする類似度行列の１又は複数の固有ベクトルを算出し、該１又は複数の固有ベクトルを前記１又は複数の特徴方向とする、
ことを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置において、
前記第２位置座標算出手段は、前記特徴方向算出手段により算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記位置座標と、の内積に基づいて、前記第２空間における前記各解析要素の位置座標を算出する、
ことを特徴とする情報処理装置。
【請求項５】
請求項１乃至４のいずれかに記載の情報処理装置において、
前記特徴方向算出手段は、前記第１位置座標算出手段により算出される前記各指定解析要素の前記第１空間における位置座標間の類似度を要素とする類似度行列の１又は複数の固有ベクトルを算出し、該１又は複数の固有ベクトルを前記１又は複数の特徴方向として再び取得する、
ことを特徴とする情報処理装置。
【請求項６】
請求項５に記載の情報処理装置において、
前記第２位置座標算出手段は、前記特徴方向算出手段により再度算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記各指定解析要素の前記第１空間における位置座標と、の内積に基づいて、前記指定解析要素用第２空間における前記各解析要素の位置座標を算出する、
ことを特徴とする情報処理装置。
【請求項７】
複数の解析要素のそれぞれについて、複数種類の特徴量のそれぞれの値を取得する特徴量取得ステップと、
前記特徴量取得ステップで取得される値に基づいて、前記各特徴量に対応する座標軸を有する第１空間における、前記各解析要素の位置座標を算出する第１位置座標算出ステップと、
前記第１位置座標算出ステップで算出される前記位置座標に基づき、前記第１空間における１又は複数の特徴方向を算出する特徴方向算出ステップと、
前記特徴方向算出ステップで算出される前記特徴方向と、前記第１位置座標算出ステップで算出される前記位置座標と、に基づいて、前記特徴方向算出ステップで算出される前記各特徴方向に対応する座標軸を有する第２空間における、前記各解析要素の位置座標を算出する第２位置座標算出ステップと、
前記第２位置座標算出ステップで算出される前記各位置座標に基づいて、前記各解析要素に関連する表示がなされた、前記第２空間の全部又は一部を示す画像を表示する空間画像表示ステップと、
前記第２空間の一部領域を指定する領域指定ステップと、
前記領域指定ステップで指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素である、１又は複数の指定解析要素の、前記第１位置座標算出手段により算出される前記第１空間における位置座標に基づき、前記第１空間における１又は複数の特徴方向を再度算出するステップと、
再度算出される前記特徴方向と、前記各指定解析要素の前記第１空間における前記位置座標と、に基づいて、再度算出される前記各特徴方向に対応する座標軸を有する指定解析要素用第２空間における、前記各指定解析要素の位置座標を算出するステップと、
算出される前記指定解析要素用第２空間における前記各指定解析要素の位置座標に基づいて、該指定解析要素に関連する表示がなされた、前記指定解析要素用第２空間の全部又は一部を示す画像を表示するステップと、
を含むことを特徴とするデータ解析方法。
【請求項８】
複数の解析要素のそれぞれについて、複数種類の特徴量のそれぞれの値を取得する特徴量取得手段と、
前記特徴量取得手段により取得される値に基づいて、前記各特徴量に対応する座標軸を有する第１空間における、前記各解析要素の位置座標を算出する第１位置座標算出手段、
前記第１位置座標算出手段により算出される前記位置座標に基づき、前記第１空間における１又は複数の特徴方向を算出する特徴方向算出手段、
前記特徴方向算出手段により算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記位置座標と、に基づいて、前記特徴方向算出手段により算出される前記各特徴方向に対応する座標軸を有する第２空間における、前記各解析要素の位置座標を算出する第２位置座標算出手段、
前記第２位置座標算出手段により算出される前記各位置座標に基づいて、前記各解析要素に関連する表示がなされた、前記第２空間の全部又は一部を示す画像を表示する空間画像表示手段、及び
前記第２空間の一部領域を指定する領域指定手段
としてコンピュータを機能させるためのプログラムであって、
前記特徴方向算出手段は、前記領域指定手段により指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素である、１又は複数の指定解析要素の、前記第１位置座標算出手段により算出される前記第１空間における位置座標に基づき、前記第１空間における１又は複数の特徴方向を再度算出し、
前記第２位置座標算出手段は、前記特徴方向算出手段により再度算出される前記特徴方向と、前記各指定解析要素の前記第１空間における前記位置座標と、に基づいて、前記特徴方向算出手段により再度算出される前記各特徴方向に対応する座標軸を有する指定解析要素用第２空間における、前記各指定解析要素の位置座標を算出し、
前記空間画像表示手段は、前記第２位置座標計算手段により算出される前記各指定解析要素の前記位置座標に基づいて、該指定解析要素に関連する表示がなされた、前記指定解析要素用第２空間の全部又は一部を示す画像を表示する、
ことを特徴とするプログラム。
【請求項９】
請求項８に記載されたプログラムが格納されたコンピュータ読取り可能な情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、データ解析方法、プログラム及び情報記憶媒体に関する。
【背景技術】
【０００２】
デジタルカメラやハードディスクレコーダの普及により、電子データ形式で多数の静止画や動画が各種メディアに録り溜められるようになっている。従来、このようにして録り溜められた多数の画像の中から所望の画像に速やかにアクセスできるようにするため、各画像のサムネイル画像を一覧表示するものが知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、あまりに膨大な数のサムネイル画像が、例えば単に記録順に表示されても、ユーザは所望の画像に速やかにアクセスすることができない。そこで、本願発明者らは、多数の画像（解析要素）の相互の関連性を解析して、その結果を画像表示する技術を開発した。この技術によれば、多数の画像が、関連性が高いもの同士は近接して、関連性が低いもの同士は離間して配置された「空間画像」が表示されるために、ユーザはこの空間画像を頼りにして、多数の画像の中から所望のものを速やかに探し出すことができる。また、同技術は、静止画像のみならず、動画像、文字、音声などについても、それら解析要素の相互の関連性を解析して、その結果を空間画像として表示すること、すなわち可視化することに利用できる。
【０００４】
しかしながら、本願発明者らの検討によれば、この技術では、多数の解析要素について相互の関連性を一度に解析するために、各解析要素の細かな特徴の差が捨象されてしまい、上記空間画像にそれが反映されない問題があることが見出された。
【０００５】
本発明は上記課題に鑑みてなされたものであって、その目的は、多数の解析要素について相互の関連性を可視化するとともに、必要に応じて一部の解析要素について細かな特徴の差を可視化することができる情報処理装置、データ解析方法、プログラム及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る情報処理装置は、複数の解析要素のそれぞれについて、複数種類の特徴量のそれぞれの値を取得する特徴量取得手段と、前記特徴量取得手段により取得される値に基づいて、前記各特徴量に対応する座標軸を有する第１空間における、前記各解析要素の位置座標を算出する第１位置座標算出手段と、前記第１位置座標算出手段により算出される前記位置座標に基づき、前記第１空間における１又は複数の特徴方向を算出する特徴方向算出手段と、前記特徴方向算出手段により算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記位置座標と、に基づいて、前記特徴方向算出手段により算出される前記各特徴方向に対応する座標軸を有する第２空間における、前記各解析要素の位置座標を算出する第２位置座標算出手段と、前記第２位置座標算出手段により算出される前記各位置座標に基づいて、前記各解析要素に関連する表示がなされた、前記第２空間の全部又は一部を示す画像を表示する空間画像表示手段と、前記第２空間の一部領域を指定する領域指定手段と、を含む。そして、第２空間の一部領域が指定されると、前記特徴方向算出手段は、前記領域指定手段により指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素である、１又は複数の指定解析要素の、前記第１位置座標算出手段により算出される前記第１空間における位置座標に基づき、前記第１空間における１又は複数の特徴方向を再度算出する。また、前記第２位置座標算出手段は、前記特徴方向算出手段により再度算出される前記特徴方向と、前記各指定解析要素の前記第１空間における前記位置座標と、に基づいて、前記特徴方向算出手段により再度算出される前記各特徴方向に対応する座標軸を有する指定解析要素用第２空間における、前記各指定解析要素の位置座標を算出する。そして、前記空間画像表示手段は、前記第２位置座標計算手段により算出される前記各指定解析要素の前記位置座標に基づき、該指定解析要素に関連する表示がなされた、前記指定解析要素用第２空間の全部又は一部を示す画像を表示する。
【０００７】
また、本発明に係るデータ解析方法は、複数の解析要素のそれぞれについて、複数種類の特徴量のそれぞれの値を取得する特徴量取得ステップと、前記特徴量取得ステップで取得される値に基づいて、前記各特徴量に対応する座標軸を有する第１空間における、前記各解析要素の位置座標を算出する第１位置座標算出ステップと、前記第１位置座標算出ステップで算出される前記位置座標に基づき、前記第１空間における１又は複数の特徴方向を算出する特徴方向算出ステップと、前記特徴方向算出ステップで算出される前記特徴方向と、前記第１位置座標算出ステップで算出される前記位置座標と、に基づいて、前記特徴方向算出ステップで算出される前記各特徴方向に対応する座標軸を有する第２空間における、前記各解析要素の位置座標を算出する第２位置座標算出ステップと、前記第２位置座標算出ステップで算出される前記各位置座標に基づいて、前記各解析要素に関連する表示がなされた、前記第２空間の全部又は一部を示す画像を表示する空間画像表示ステップと、前記第２空間の一部領域を指定する領域指定ステップと、前記領域指定ステップで指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素である、１又は複数の指定解析要素の、前記第１位置座標算出手段により算出される前記第１空間における位置座標に基づき、前記第１空間における１又は複数の特徴方向を再度算出するステップと、再度算出される前記特徴方向と、前記各指定解析要素の前記第１空間における前記位置座標と、に基づいて、再度算出される前記各特徴方向に対応する座標軸を有する指定解析要素用第２空間における、前記各指定解析要素の位置座標を算出するステップと、算出される前記指定解析要素用第２空間における前記各指定解析要素の位置座標に、該指定解析要素に関連する表示がなされた、前記指定解析要素用第２空間の全部又は一部を示す画像を表示するステップと、を含むことを特徴とする。
【０００８】
また、本発明に係るプログラムは、複数の解析要素のそれぞれについて、複数種類の特徴量のそれぞれの値を取得する特徴量取得手段、前記特徴量取得手段により取得される値に基づいて、前記各特徴量に対応する座標軸を有する第１空間における、前記各解析要素の位置座標を算出する第１位置座標算出手段、前記第１位置座標算出手段により算出される前記位置座標に基づき、前記第１空間における１又は複数の特徴方向を算出する特徴方向算出手段、前記特徴方向算出手段により算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記位置座標と、に基づいて、前記特徴方向算出手段により算出される前記各特徴方向に対応する座標軸を有する第２空間における、前記各解析要素の位置座標を算出する第２位置座標算出手段、前記第２位置座標算出手段により算出される前記各位置座標に基づいて、前記各解析要素に関連する表示がなされた、前記第２空間の全部又は一部を示す画像を表示する空間画像表示手段、及び前記第２空間の一部領域を指定する領域指定手段としてコンピュータを機能させるためのプログラムである。ここで、前記第２空間の一部領域が指定されると、前記特徴方向算出手段は、前記領域指定手段により指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素である、１又は複数の指定解析要素の、前記第１位置座標算出手段により算出される前記第１空間における位置座標に基づき、前記第１空間における１又は複数の特徴方向を再度算出する。また、前記第２位置座標算出手段は、前記特徴方向算出手段により再度算出される前記特徴方向と、前記各指定解析要素の前記第１空間における前記位置座標と、に基づいて、前記特徴方向算出手段により再度算出される前記各特徴方向に対応する座標軸を有する指定解析要素用第２空間における、前記各指定解析要素の位置座標を算出する。また、前記空間画像表示手段は、前記第２位置座標計算手段により算出される前記各指定解析要素の前記位置座標に基づき、該指定解析要素に関連する表示がなされた、前記指定解析要素用第２空間の全部又は一部を示す画像を表示する。さらに、本発明に係る情報記憶媒体は、このプログラムが格納されたコンピュータ読取り可能な情報記憶媒体である。
【０００９】
本発明では、各解析要素について、複数種類の特徴量のそれぞれの値を取得するとともに、この値に従って各評価要素の第１空間における位置座標を算出している。第１空間は、各特徴量に対応する座標軸を有する空間である。なお、解析要素は、例えば画像、文字列、音楽、映像等であり、画像の特徴量は、例えば配色、空間周波数の分布、構図、画像ファイル名等の関連する文字列等によって定められる。また、文字列の特徴量は、例えば長さ、作成時期、どのようなコンテンツで用いられる文字列であるか、等によって定められる。さらに、音楽の特徴量は、例えば長さ、周波数分布、作曲者等によって定められる。映像の特徴量は、例えば監督、出演者、解説文中に特定のキーワードが含まれているか等によって定められる。
【００１０】
そして、上記のようにして算出される第１空間の位置座標が近い解析要素は、似た特徴を有していると評価できる。本発明では、第１空間における特徴方向が算出される。例えば、多くの解析要素の位置座標がある方向に延びる第１空間の方向を特徴方向として算出すればよい。その後、こうして算出される特徴方向と、第１空間における各解析要素の位置座標と、に基づいて、各特徴方向に対応する座標軸を有する第２空間における各解析要素の位置座標を算出する。
【００１１】
第１空間の座標軸は各特徴量に対応しており、その特徴方向は、多数の解析要素の典型的特徴を示していると評価できる。例えば、解析要素として画像を考えると、緑色が多く使われ、特定の高い空間周波数成分を有する画像は、いずれも植物をマクロ撮影した画像であろうし、青色が多く使われ、低い空間周波数成分を多く有する画像は、いずれも夏の海を撮影した画像であろう。本発明では、各特徴方向に対応する座標軸を有する第２空間に、前記各解析要素を配置するとともに、その一部又は全部を表示するようにしたので、各解析要素の関連性を分かりやすく表示することができる。
【００１２】
さらに、本発明では、第２空間の一部領域をユーザが指定することができる。この指定は、例えばマウス等のポインティングデバイスにより行うようにすれば好適である。そして、指定された一部領域内に配置された解析要素（指定解析要素）について、第１空間の特徴方向が再計算される。そして、再計算された特徴方向に対応する座標軸を有する指定解析要素用第２空間に指定解析要素が配置され、この様子が表示される。本発明では、ユーザの領域指定に応じて、指定された解析要素について第１空間の特徴方向を再計算して、それに従って指定解析用第２空間の表示が行われるので、必要に応じて一部の解析要素について細かな特徴の差を可視化することができるようになる。
【００１３】
なお、前記領域指定手段により指定される前記第２空間の一部領域に位置座標が含まれる前記解析要素を計数するとともに、その数が所定数以上の場合には前記特徴方向の再計算を制限する手段をさらに含むようにしてもよい。こうすれば、特徴方向の再計算の量が多くなって、指定解析要素用第２空間の表示に時間が掛かる場合には、その再計算・表示をしないようにでき、ユーザの利便性を向上できる。
【００１４】
また、前記特徴方向算出手段は、前記第１位置座標算出手段により算出される前記位置座標間の類似度を要素とする類似度行列の１又は複数の固有ベクトルを算出し、該１又は複数の固有ベクトルを前記１又は複数の特徴方向とするようにしてもよい。また、前記第２位置座標算出手段は、前記特徴方向算出手段により算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記位置座標と、の内積に基づいて、前記第２空間における前記各解析要素の位置座標を算出するようにしてもよい。
【００１５】
同様に、前記特徴方向算出手段は、前記第１位置座標算出手段により算出される前記各指定解析要素の前記第１空間における位置座標間の類似度を要素とする類似度行列の１又は複数の固有ベクトルを算出し、該１又は複数の固有ベクトルを前記１又は複数の特徴方向として再び取得するようにしてもよい。また、前記第２位置座標算出手段は、前記特徴方向算出手段により再度算出される前記特徴方向と、前記第１位置座標算出手段により算出される前記各指定解析要素の前記第１空間における位置座標と、の内積に基づいて、前記指定解析要素用第２空間における前記各解析要素の位置座標を算出するようにしてもよい。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【００１７】
本実施形態に係る画像表示装置では、デジタルカメラ等の撮像機器により録り溜められた画像、或いはインターネット等のネットワーク上で収集された画像を、それら相互の関連性が分かりやすいようにしてモニタに表示するものであり、コンピュータで本実施形態に係るプログラムを実行することにより実現されている。
【００１８】
図１は、本画像表示装置における処理を説明する概念図であり、本実施形態では、まず表示対象となる多数の画像を第１空間１０上に配置する。第１空間１０は、多数の座標軸１２を有しており、各座標軸１２は画像の特徴量に対応している。
【００１９】
例えば、座標軸１２の１つは、画像の所定領域で使用されている赤成分の平均値に対応しており、座標軸１２の他の１つは、画像の所定領域で使用されている緑成分の平均値に対応しており、座標軸１２のさらに他の１つは、画像の所定領域で使用されている青成分の平均値に対応している。
【００２０】
また、座標軸１２の他の１つは、画像に関連づけられた文字列データ（例えば画像の説明文のデータや、画像のファイル名のデータ）の中に特定の単語（例えば「海」や「山」等）が含まれている回数（又は同単語が含まれているかを示す値）に対応しており、座標軸１２の他の１つは、画像の撮影日時が所定期間に入っているか否かを示す値に対応している。さらに、座標軸１２の他の１つは、画像にセグメンテーション処理を施した場合に、所定領域に所定サイズのセグメントが表されている個数に対応しており、座標軸１２の他の１つは、画像に表されている顔の個数（又は顔が表されているか否かを示す値）に対応している。また、座標軸１２の１つは、画像の所定範囲の空間周波数成分の総量に対応している。
【００２１】
本実施形態では、表示対象となる多数の画像を取得して、各画像の上記各特徴量の値を計算する。そして、各特徴量の値を、該特徴量に対応する座標軸の成分とするようにして、各画像の第１空間における位置座標を算出する。下記の式（１）は、ｉ番目の画像の第１空間における位置座標ｇｉを算出するためのものである。
【００２２】
【数１】
2007164301.tif 000003
【００２３】
表示対象となる画像は、図２に示すようにして縦横に１２分割され、必要に応じて部分領域毎に特徴量の値が算出される。そして、上記式（１）において、ｇｋｉ（ｋ＝１〜ｍ）は、位置座標ｇｉの第ｋ成分であり、そのうちｇ１ｉ〜ｇｐｉは、それぞれ画像の各部分領域Ａ１〜Ａ１２で使用されている赤、緑、青の各色成分の平均値ｇ’１ｉ〜ｇ’ｐｉに、重み係数ωｃをそれぞれ乗算して得られる。
【００２４】
また、上記式（１）において、ｇｐ＋１ｉ〜ｇｑｉは、それぞれ画像に関連づけられた文字列データに特定の単語が含まれている回数ｇ’ｐ＋１ｉ〜ｇ’ｑｉに、重み係数ωｌを乗算して得られる。また、上記式（１）において、ｇｑ＋１ｉ〜ｇｒｉは、画像の撮影日時が所定期間に入っているかを示す値ｇ’ｑ＋１ｉ〜ｇ’ｒｉに、重み係数ωｔを乗算して得られる。
【００２５】
また、本実施形態では、各画像に対してセグメンテーションが行われる。セグメンテーションは、特徴の一様な部分領域に分割する処理であり、例えば所定の色差内の色情報が割り当てられた画素群からなる部分領域を各セグメントとして選出する処理である。この処理では、図３に示すように、各セグメントＳの重心位置Ｐ、高さＨ、幅Ｗが算出される。そして、上記式（１）において、ｇｒ＋１ｉ〜ｇｓｉは、各画像の各部分領域Ａ１〜Ａ１２に重心位置Ｐが配置されている、高さＨや幅Ｗが所定条件を満たすセグメントＳの個数ｇ’ｒ＋１ｉからｇ’ｓｉに、重み係数ωｓを乗算して得られる。
【００２６】
また、本実施形態では、各画像に対して顔認識処理を適用しており、上記式（１）において、ｇｓ＋１ｉは、画像に写されている顔の個数ｇ’ｓ＋１ｉに、重み係数ωｒを乗算して得られる。さらに、上記式（１）において、ｇｓ＋２ｉ〜ｇｍｉは、各画像における所定範囲の空間周波数成分の総量ｇ’ｓ＋２ｉ〜ｇ’ｍｉに、重み係数ωｆを乗算して得られる。図１は、このようにして算出される第１空間１０の位置座標に各画像が配置された様子を示している。
【００２７】
本実施形態では、次に、こうして第１空間１０に配置された各画像の位置座標に基づき、第１空間１０の１又は複数の特徴方向を算出する。特徴方向は、例えば第１空間１０において画像が集中して配置されている場所を示す方向等とすることができる。ここでは、以下のようにして第１空間１０の特徴方向を算出するようにしている。すなわち、次式（２）により、第１空間１０におけるｉ番目の画像の位置座標ｇｉとｊ番目の画像の位置座標ｇｊの類似度Ｈｉｊを算出するとともに、次式（３）に示すように、類似度Ｈｉｊをｉｊ要素とするＮ×Ｎの類似度行列を求める。ここで、Ｎは画像の総数である。そして、この類似度行列Ｈの固有ベクトルの全部又は一部を特徴方向としている。
【００２８】
【数２】
2007164301.tif 000004
【００２９】
【数３】
2007164301.tif 000005
【００３０】
類似度行列は実対称行列であり、その固有ベクトルはべき乗法によって算出できるものである。そして、べき乗法は、行列要素のうち特徴要素を強め、非特徴要素を平均化する作用を有するものであり、これにより算出される固有ベクトルは、第１空間１０に内在する特徴方向を顕在化したものと評価できる。なお、特徴方向の算出方法は、上記類似度行列Ｈの固有ベクトルを算出する方法に限定されるものではなく、第１空間における特徴的な方向を算出するものであれば、どのような方法であってもよい。例えば、第１空間１０において画像が集中配置されている方向等を特徴方向としてもよい。
【００３１】
次に、本実施形態では、こうして算出される特徴方向に対応する座標軸により張られる第２空間を用意して、各画像の第２空間における位置座標を算出する。図４は、本実施形態に係る画像表示装置により表示される、第２空間を示す画像の一例である。第２空間１４の各座標軸１６は第１空間１０の特徴方向に対応しており、ある種類の画像の典型的特徴を示している。第２空間１４における各画像の位置座標を求める場合、具体的には、第１空間１０における各画像の位置座標を示すベクトルと、第１空間１０の各特徴方向を示す単位ベクトル（上記類似度行列Ｈの固有ベクトルを長さ１にしたもの）と、の内積を算出し、その値を、第２空間１４における画像の位置座標のうち、当該特徴方向に対応する座標軸１６の成分とする。すなわち、第１空間１０における特徴方向を示す単位ベクトルｅｉ（つまり類似度行列Ｈのｉ番目の固有ベクトルを大きさ１にしたもの。）と、ｊ番目の画像の位置座標ｇｊと、の内積を、ｊ番目の画像の第２空間１４における位置座標の第ｉ成分とする。但し、特徴方向の総数をＭとすると、１≦ｉ≦Ｍである。
【００３２】
同図に示すように、第２空間１４を示す画像において、解析要素たる画像のうち１つはカーソル１９により識別表示されている。このカーソル１９は、コンピュータのマウスやキーボード等の操作手段により移動操作をさせて、ユーザは任意の画像を識別表示させることができるようになっている。そして、いずれかの画像をカーソル１９により識別表示させた状態で、コンピュータのマウスやキーボード等の操作手段により拡大表示操作をさせることで、識別表示されている画像をコンピュータのモニタに拡大して表示させることができる。また、コンピュータのマウスやキーボード等の操作手段により領域指定操作をさせることで、図５に示すように、第２空間１４を示す画像の一部に任意の境界線１７を表示させることができるようになっている。すなわち、ユーザは操作手段によりモニタに境界線１７を表示させ、この境界線１７により第２空間１４の一部領域を任意の位置に任意のサイズで指定できるようになっている。こうして第２空間１４の一部領域が指定されると、その領域内に第２空間１４の位置座標を有する画像（指定画像）について、図６に示す指定画像用第２空間１４ａの画像が表示されるようになっている。この画像は、図４に示す第２空間１４の画像に代えて表示されてもよいし、第２空間１４の画像とともに表示されてもよい。指定画像用第２空間１４ａの画像を生成する場合には、まず指定画像の第１空間１０における位置座標を再度取得し、それらの位置座標に基づいて、第１空間１０の特徴方向を再計算する。この際、ユーザにより指定されなかった画像の位置座標は特徴方向の再計算に用いない。指定画像用第２空間１４ａは、再計算された特徴方向に対応する座標軸１６ａを有しており、この指定画像用第２空間１４ａに、指定画像が配置される。このときも、第１空間１０における各指定画像の位置座標を示すベクトルと、再計算された第１空間１０の各特徴方向を示す単位ベクトル（第１空間における各指定画像の位置座標に基づいて生成された類似度行列Ｈ’の固有ベクトルを長さ１にしたもの）と、の内積を算出し、その値を、指定画像用第２空間１４ａにおける画像の位置座標のうち、当該特徴方向に対応する座標軸１６ａの成分とする。すなわち、第１空間１０における再計算後の特徴方向を示す単位ベクトルｅｉ（つまり類似度行列Ｈ’のｉ番目の固有ベクトルを大きさ１にしたもの。）と、ｊ番目の指定画像の位置座標ｇｊと、の内積を、ｊ番目の指定画像の指定画像用第２空間１４ａにおける位置座標の第ｉ成分とする。
【００３３】
図５及び図６を比較して分かるように、図５の第２空間１４の画像では、楕円や円の画像と２つの人物画像の差が明確に表されていないのに対して、図６の指定画像用第２空間１４ａの画像では、それらの差が明確に表されている。すなわち、楕円や円の画像の位置と、２つの人物画像の位置と、が大きく離れており、一方楕円や円の画像は相互に近い位置にあり、また２つの人物画像の位置も近い位置にあり、図５の画像に比して、図６の画像の方が、各画像の微細な特徴の差を明確に示していることが分かる。第２空間１４の一部領域内に位置座標がある画像（指定画像）の数は画像の総数に比べて少ないので、従って上記類似度行列Ｈ’のサイズも小さくなり、その固有値・固有ベクトルの計算も高速に行うことができる。このため、本実施形態によれば、ユーザが第２空間１４の一部領域を指定すると、それに応じて高速に指定画像用第２空間１４ａの画像を表示することができるようになる。
【００３４】
ここで、本実施形態に係る画像表示装置の構成について説明する。図７は、本実施形態に係る画像表示装置２０の機能ブロック図である。画像表示装置２０は、例えばパーソナルコンピュータや家庭用ゲーム機等の各種のコンピュータシステムを用いて実現されるものであり、本発明を適用したプログラムをインストールして実行することにより、同図に示す画像記憶部２２、画像取得部２４、画像特徴量取得部２６、第１画像位置座標算出部２８、特徴方向算出部３１、第２画像位置座標算出部３４、空間画像表示部３６、ユーザインタフェース部３７が実現される。ここで、特徴方向算出部３１は、類似度行列算出部３０、固有値・固有ベクトル算出部３２を含んでいる。
【００３５】
画像記憶部２２は、例えばハードディスク記憶装置等から構成されており、デジタルカメラで撮影された画像や、インターネット等の通信ネットワークを介して入手された画像が格納される。また、各画像の説明文を示す文字列データや各画像の撮影日時を示す数値データも、それらの画像に関連づけて格納される。
【００３６】
画像取得部２４は、画像記憶部２２に格納された各画像のデータ、各画像に関連づけられた文字列データや数値データを順次取得し、これを画像特徴量取得部２６に渡す。画像特徴量取得部２６は、画像取得部２４から渡される各画像について、複数種類の特徴量の各値を算出する。ここでは、画像特徴量取得部２６は、図８に示すように、平均色算出部２６ａ、文字情報取得部２６ｂ、日時情報取得部２６ｃ、セグメント評価部２６ｄ、顔認識部２６ｅ及びＤＣＴ変換部２６ｆを含んでいる。平均色算出部２６ａは、各画像の特徴量の値として、各画像の各部分領域Ａ１〜Ａ１２の平均色の、赤、緑、青の各色成分の値ｇ’１ｉ〜ｇ’ｐｉを算出する。文字情報取得部２６ｂは、各画像の特徴量の値として、各画像に関連づけられた文字列データにおける所定の単語の使用回数の値ｇ’ｐ＋１ｉ〜ｇ’ｑｉを算出する。日時情報取得部２６ｃは、各画像の特徴量の値として、各画像に関連づけられた日時データが示す撮影日時が所定期間内であるか否かを示す値ｇ’ｑ＋１ｉ〜ｇ’ｒｉを算出する。セグメント評価部２６ｄは、各画像の特徴量の値として、各画像の各部分領域Ａ１〜Ａ１２に重心位置Ｐが配置されている、高さＨ又は幅Ｗに関する所定の条件を満たすセグメントＳの個数ｇ’ｒ＋１ｉ〜ｇ’ｓｉを算出する。顔認識部２６ｅは、各画像に対して顔認識処理を適用とするとともに、該画像の特徴量の値として、該画像に表された顔の個数ｇ’ｓ＋１ｉを算出する。顔認識処理は、公知の各種手法を用いることができる。さらに、ＤＣＴ変換部２６ｆは、各画像に対して直交変換処理を施し、各画像の特徴量として、該画像の各部分領域Ａ１〜Ａ１２の所定範囲の空間周波数成分の総量ｇ’ｓ＋２ｉ〜ｇ’ｍｉを算出する。
【００３７】
第１画像位置座標算出部２８は、こうして算出される各画像の特徴量の値に対して、それぞれ特徴量の種類に応じた重み係数を乗算して、該画像の第１空間１０における位置座標ｇｉ（ｉ＝１，２，３，…）を算出する。こうして算出される位置座標は類似度行列算出部３０及び第２画像位置座標算出部３４に供給される。
【００３８】
類似度行列算出部３０は、上記式（２）に従って各画像（第１空間１０における位置座標）間の類似度Ｈｉｊを算出し、それを行列要素とする類似度行列Ｈを算出する。固有値・固有ベクトル算出部３２は、こうして算出される類似度行列Ｈの固有値・固有ベクトルを算出する。類似度行列Ｈは実対称行列であるから、例えばべき乗法等のコンピュータ処理に適した方法により、その固有値・固有ベクトルを容易に求めることができる。第２画像位置座標算出部３４は、こうして算出される固有ベクトルのうち全部又は固有値の大きなものから順に所定個数を選択し、それを単位ベクトル化し、第１空間１０の特徴方向を示すベクトルとする。そして、それらのベクトルと、第１画像位置座標算出部２８から供給される位置座標ｇｉと、の内積を計算することにより、各画像の第２空間１４における位置座標を算出する。これらの位置座標は空間画像表示部３６に供給され、空間画像表示部３６では、各画像を、第２空間１４における該画像の位置座標に配置するとともに、その様子を第２空間１４に設定した所与の視点（図示せず）から見た画像を生成し、それをモニタに表示する。
【００３９】
ユーザインタフェース部３７は、マウスやキーボード等の操作手段を含んで構成されており、図４の画像に表されたカーソル１９によりユーザが任意の画像を指定して、拡大表示操作を行ったり、領域指定操作を行うことができる。拡大表示操作が行われると、上述のようにカーソル１９により識別表示された画像が拡大してコンピュータのモニタに表示される。また、領域指定操作が行われ、第２空間１４における一部領域が指定されると、ユーザインタフェース部３７は、その領域内に位置座標を有する画像の個数を計数する。すなわち、ユーザインタフェース部３７は第２画像位置座標算出部３４から各画像の第２空間１４における位置座標を取得しており、第２空間１４の一部領域がユーザにより指定されると、取得した情報に基づいて、その領域内に位置座標を有する画像の個数を計数する。こうして計数される画像の個数は、指定画像用第２空間１４ａに関する演算処理の量、すなわち指定画像用第２空間１４ａの画像を表示するための処理時間に大きく影響する。そこで、ユーザインタフェース部３７は、指定された領域内の画像の個数が所定個数以上であれば、特徴方向算出部３１による特徴方向の再計算を行わせないようにする。この場合、モニタにその旨を表示したり、或いはアラーム音を出力させて、指定画像の個数が所定個数以上である旨をユーザに報知することが望ましい。
【００４０】
ユーザインタフェース部３７は、指定された領域内の画像の個数が所定数未満であれば、領域内の画像を類似度行列算出部３０に通知する。類似度行列算出部３０は、通知された画像の第１空間における位置座標を第１画像位置座標算出部２８から再度取得して、それらを用いて類似度行列Ｈ’を算出する。また、固有値・固有ベクトル算出部３２は、類似度行列Ｈ’の固有値及び固有ベクトルを算出する。この固有ベクトルは、指定画像のみ配置された第１空間の特徴方向として用いられる。第２画像位置座標算出部３４は、この特徴方向（固有ベクトル）と、各指定画像の第１空間における位置座標（第１画像位置座標算出部２８から取得される）と、に基づいて、各指定画像の指定画像用第２空間１４ａにおける位置座標を算出する。そして、空間画像表示部３６は、こうして算出される位置座標を用いて、図６に示すようにして、指定画像用第２空間１４ａの画像をモニタに表示する。
【００４１】
以上説明した画像表示装置２０によれば、第２空間１４を示す画像をモニタに表示させることで、多数の画像の相互の関連性をユーザに分かりやすく伝えることができ、ユーザは所望の画像を速やかに探し出すことができるようになる。また、第２空間１４の一部領域をユーザが任意に指定することで、その領域内に配置された画像について、それら相互の関連性をより詳細に示す、指定画像用第２空間１４ａの画像が表示されるので、ユーザは、必要に応じて各画像の細かな特徴の差をモニタに表示させ、そこから所望の画像を簡単に探せるようにできる。
【００４２】
なお、本発明は上記実施形態に限定されるものではなく、例えば、以上の説明では解析要素として画像を用いたが、文字列、映像、音楽等、あらゆるデータを解析要素として用いることができる。また、各解析要素の特徴量としては、様々なものを採用してよいのはもちろんである。
【図面の簡単な説明】
【００４３】
【図１】第１空間を概念的に示す図である。
【図２】画像から特徴量の値を算出する手法を説明する図である。
【図３】画像に含まれるセグメントの値を示す図である。
【図４】第２空間の画像を示す図である。
【図５】第２空間の一部領域を指定する様子を示す図である。
【図６】更新後の第２空間（指定画像用第２空間）の画像を示す図である。
【図７】本発明の実施形態に係る画像表示装置の機能ブロック図である。
【図８】画像特徴量取得部の詳細構成を示す図である。
【符号の説明】
【００４４】
１０  第１空間、１２，１６  座標軸、１４  第２空間、２０  画像表示装置、２２  画像記憶部、２４  画像取得部、２６  画像特徴量取得部、２６ａ  平均色算出部、２６ｂ  文字情報取得部、２６ｃ  日時情報取得部、２６ｄ  セグメント評価部、２６ｅ  顔認識部、２６ｆ  ＤＣＴ変換部、２８  第１画像位置座標算出部、３０  類似度行列算出部、３１  特徴方向算出部、３２  固有値・固有ベクトル算出部、３４  第２画像位置座標算出部、３６  空間画像表示部、３７  ユーザインタフェース部。
【図１】
2007164301.tif 000006
【図２】
2007164301.tif 000007
【図３】
2007164301.tif 000008
【図４】
2007164301.tif 000009
【図５】
2007164301.tif 000010
【図６】
2007164301.tif 000011
【図７】
2007164301.tif 000012
【図８】
2007164301.tif 000013