(57)【特許請求の範囲】
【請求項１】
低解像度化情報生成部と、自己組織化処理部と、処理結果保存部とを備えた複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照装置において、
前記対象情報は複数の解像度を持ち、
前記低解像度化情報生成部は、前記複数の対象情報から、当該解像度がＲMからＲ1に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像度化情報群を生成し、
前記自己組織化処理部は、
解像度Ｒ1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
順次、
前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度ＲK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、
前記処理結果保存部は、前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照装置。
【請求項２】
さらに、可視化インデックス生成部と、検索候補情報一覧生成部と、段階的可視化手段と、操作表示部とを備えた類似情報分類参照装置であって、
前記自己組織化マップ作成部は、前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップを作成し、
前記可視化インデックス生成部は、前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
前記検索候補情報一覧生成部は、前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
前記操作表示部は、前記可視化インデックス生成部により生成した参照ベクトルのインデックスと、前記検索候補情報一覧生成部により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
前記自己組織化マップ作成部による処理、前記可視化インデックス生成部による処理、前記検索候補情報一覧生成部による処理および前記操作表示部による処理を繰り返すことで、前記段階的可視化手段は、検索候補情報を可視化して絞り込むことを特徴とする請求項１に記載の対象情報の類似情報分類参照装置。
【請求項３】
前記自己組織化マップ作成部における自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも１回クラスタリング処理を繰り返すことを特徴とする請求項１または請求項２に記載の対象情報の類似情報分類参照装置。
【請求項４】
前記対象情報が画像であり、前記自己組織化マップ作成部における自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする請求項１から請求項３の何れかに記載の類似情報分類参照装置。
【請求項５】
前記自己組織化処理部が自己組織化処理続行判断部をさらに備え、
自己組織化処理続行判断部は、より高い階層の自己組織化処理を行うか否かを判断し、当該判断結果に応じて自己組織化処理部における処理を続行または中止させることを特徴とする請求項１から請求項４の何れかに記載の類似情報分類参照装置。
【請求項６】
問い合わせ情報を入力して、当該問い合わせ情報と、前記処理結果保存部に保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする請求項１から請求項５の何れかに記載の類似情報分類参照装置。
【請求項７】
コンピュータを用いて、当該コンピュータに内蔵されまたは接続された記憶装置に搭載されたプログラムにより実行される、複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照方法において、
前記対象情報は解像度を持ち、
前記複数の対象情報から、当該解像度がＲMからＲ1に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像度化情報群を生成し、ついで、
解像度Ｒ1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
順次、
前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度ＲK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、この後、
前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照方法。
【請求項８】
前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップ作成し、
前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
前記参照ベクトルのインデックスと、前記対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
上記処理を繰り返すことで、検索候補情報を可視化して絞り込むことを特徴とする請求項７に記載の対象情報の類似情報分類参照方法。
【請求項９】
前記自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも１回クラスタリング処理を繰り返すことを特徴とする請求項７または請求項８に記載の対象情報の類似情報分類参照方法。
【請求項１０】
前記対象情報が画像であり、前記自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする請求項７から請求項９の何れかに記載の類似情報分類参照方法。
【請求項１１】
自己組織化処理において、より高い階層の自己組織化処理を行うか否かを判断することを特徴とする請求項７から請求項１０の何れかに記載の類似情報分類参照方法。
【請求項１２】
問い合わせ情報を入力して、問い合わせ情報と、保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする請求項７から請求項１１の何れかに記載の類似情報分類参照方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、  解像度を持つ複数の対象情報の類似情報分類参照装置および類似情報分類参照方法に関し、タグ情報やクエリを用いずにかつ小さい特徴量の情報を捨てずに階層状の自己組織化処理を生成する技術およびこの自己組織化処理を利用した高速検索技術に関する。
【背景技術】
【０００２】
近年、インターネットの発達とデジタル化カメラの普及により、個人がコンピュータ上に大量の画像を蓄積して利用するようになっている。これらの画像を検索する手法として、現在主流なのはファイル名やフォルダの分類を用いた検索である。
【０００３】
この種の検索では、画像ファイルのファイル名や、画像を格納するフォルダのフォルダ名には、通し番号や日付が用いた手法が採用されることが多いが、この手法はユーザが対象情報の撮影時期等を記憶していることが前提となるため利用することが難しい。
【０００４】
そこで、最近では画像内容を用いた検索方法（画像内容検索）に関する研究が盛んに行われている。この画像内容検索は、画像の内容そのものをインデックスとして検索できるため、ファイル名やフォルダ名を用いた検索と比べて、検索に用いることができる情報が多く、優れた検索方法といえる。
【特許文献１】特開２００６−２３５９７１
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、画像内容検索では、画像の内容をインデックス化するために画像認識が必要である。たとえば、自己組織化技術を用い、学習に際して画像の小さい特徴を捨てることなしに検索する手法も知られているが（特許文献１参照）、この手法では対象情報数が少ないときには、対象情報中から検索画像に類似する画像を抽出することができる。しかし、被検索対象の画像数が膨大になると対象情報中から検索画像に類似する画像を抽出する時間も膨大となり、実質上、画像を抽出できず実用的とはいえない。
【０００６】
この不都合を解消するために、自己組織化処理において、小さな特徴を捨て、処理する画像数を減らすことも考えられるが、小さな特徴を捨てたために、コンピュータによる判断と人間の認識との乖離が発生してしまい、これも実用的とはいえない。
さらに、類似画像をクエリとして用いる手法もあるが、この手法では、タグや日付などの付加的な情報によらないため、利用価値が高いと考えられているが、クエリ画像の作成そのものが難しく、この手法も実用的とはいえない。
【０００７】
本発明の目的は、タグ情報やクエリを用いずにかつ小さい特徴量の情報を捨てずに、自己組織化により被処理対象画像を階層状に分類する技術およびこの自己組織化処理を利用した高速検索技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明者は、解像度を高くしつつ、自己組織化処理において学習プロセスを伴う低解像度化画像群のクラスタリングを行い、このクラスタリングにより分けられた低解像度化画像群について同様の自己組織化処理を順次繰り返し行うことで、大量の画像を効率的かつ自動またはユーザ操作により分類ができ、または検索ができるとの知見を得て本発明をなすに至った。
【０００９】
本発明の類似情報分類参照装置は（１）から（６）を要旨とする。
（１）
低解像度化情報生成部と、自己組織化処理部と、処理結果保存部とを備えた複数の対象情報から所望の情報を抽出するための類似情報分類参照装置において、
前記対象情報は複数の解像度を持ち、
前記低解像度化情報生成部は、前記複数の対象情報から、当該解像度がＲMからＲ1に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像度化情報群を生成し、
前記自己組織化処理部は、
解像度Ｒ1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
順次、
前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度ＲK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、
前記処理結果保存部は、前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照装置。
【００１０】
本発明において、検索対象は、典型的には画像、音声であるが、たとえばデジタル波形データなどの解像度を持つ情報であれば本発明を適用することができる。
【００１１】
本発明において、自己組織化処理の階層が低い場合には、自己組織化処理部に入力される低解像度化情報の数は多く、学習を伴う適切なクラスタリング（特徴により分割）を行うことができる。自己組織化処理の階層が高くなるにつれて、自己組織化処理部に入力される低解像度化情報の数が少なくなるが、低解像度化情報の解像度が小さけいままだと、自己組織化処理に使用される情報が減少してしまう。このことから、本発明では、解像度がＲMからＲ1に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像度化情報群を生成しておき、自己組織化処理の階層が高くなるにしたがって、自己組織化処理部に入力する低解像度化情報の解像度をＲ1からＲMに順次増大させている。
【００１２】
本発明では、解像度をＲ1からＲMに順次増大させるべく、第２階層以降の自己組織化処理の際には、直前の階層におけるクラスタリングに際して分割された画像をより高い解像度に置き換えたものを使用する。
【００１３】
（２）
さらに、可視化インデックス生成部と、検索候補情報一覧生成部と、段階的可視化手段と、操作表示部とを備えた類似情報分類参照装置であって、
前記自己組織化マップ作成部は、前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップを作成し、
前記可視化インデックス生成部は、前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
前記検索候補情報一覧生成部は、前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
前記操作表示部は、前記可視化インデックス生成部により生成した参照ベクトルのインデックスと、前記検索候補情報一覧生成部により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
前記自己組織化マップ作成部による処理、前記可視化インデックス生成部による処理、前記検索候補情報一覧生成部による処理および前記操作表示部による処理を繰り返すことで、前記段階的可視化手段は、検索候補情報を可視化して絞り込むことを特徴とする（１）に記載の対象情報の類似情報分類参照装置。
【００１４】
（３）
前記自己組織化マップ作成部における自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、少なくとも１回クラスタリング処理を繰り返すことで学習を行うことを特徴とする（１）または（２）に記載の対象情報の類似情報分類参照装置。
【００１５】
この学習では、自己組織化マップ作成部に入力される低解像度化情報を用いて参照ベクトルを更新する。この更新（すなわち学習）は１度とは限らず、２回以上とする（再学習を行う）ようにできる。本発明では、この自己組織化マップ作成における学習（または再学習）においては、通常は、自己組織化マップ作成部に入力された入力画像を捨てることはしないので、コンピュータ処理による判断と人間の認識との乖離をなくすことができる。
【００１６】
（４）
前記対象情報が画像であり、前記自己組織化マップ作成部における自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする（１）から（３）の何れかに記載の類似情報分類参照装置。
【００１７】
（５）
前記自己組織化処理部が自己組織化処理続行判断部をさらに備え、
自己組織化処理続行判断部は、より高い階層の自己組織化処理を行うか否かを判断し、当該判断結果に応じて自己組織化処理部における処理を続行または中止させることを特徴とする（１）から（４）の何れかに記載の類似情報分類参照装置。
【００１８】
（６）
問い合わせ情報を入力して、当該問い合わせ情報と、前記処理結果保存部に保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする（１）から（５）の何れかに記載の類似情報分類参照装置。
【００１９】
本発明の類似情報分類参照方法は（７）から（１２）を要旨とする。
（７）
複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照方法において、
前記対象情報は解像度を持ち、
前記複数の対象情報から、当該解像度がＲMからＲ1に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像度化情報群を生成し、ついで、
解像度Ｒ1の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ2の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ3の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
順次、
前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度ＲK-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、この後、
前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照方法。
【００２０】
（８）
前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップ作成し、
前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
前記参照ベクトルのインデックスと、前記対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
上記処理を繰り返すことで、検索候補情報を可視化して絞り込むことを特徴とする（７）に記載の対象情報の類似情報分類参照方法。
【００２１】
（９）
前記自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも１回クラスタリング処理を繰り返すことを特徴とする（７）または（８）に記載の対象情報の類似情報分類参照方法。
【００２２】
（１０）
前記対象情報が画像であり、前記自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする（７）から（９）の何れかに記載の類似情報分類参照方法。
【００２３】
（１１）
自己組織化処理において、より高い階層の自己組織化処理を行うか否かを判断することを特徴とする（７）から（１０）の何れかに記載の類似情報分類参照方法。
【００２４】
（１２）
問い合わせ情報を入力して、当該問い合わせ情報と、保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする（７）から（１１）の何れかに記載の類似情報分類参照方法。
【発明の効果】
【００２５】
本発明では、小さい特徴量の情報を捨てることなく、対象情報を階層ごとに順次クラスタリングしているので、タグ情報やクエリ（対象情報が画像の場合にはクエリ画像）を用いることなく、人間が行う本来の情報比較とは乖離しない検索結果を抽出することができる。
【００２６】
また、本発明では、階層構造の自己組織化マップ上の検索対象に近い対象情報を、自己組織化マップ作成に際してクラスタリングされたセルから選択し、このセルを元にさらに自己組織化処理を行う。これらの処理を繰り返すことで、検索結果を高速で絞り込むことができる。
【００２７】
さらに、本発明では、類似情報分類参照装置および類似情報分類参照方法や類似情報分類参照装置や類似情報分類参照方法では、自己組織化マップは可視化しなくてもよいし、自己組織化マップを可視化しておき、検索対象に近い対象情報をユーザに選択させることもできる。
【００２８】
対象情報が画像である場合には、これまで日付やテキストでの検索が行われていたたとえば画像データベースの画像や、デジタルカメラのメモリ内の画像を、ユーザが直感的に参照し、目的の画像を瞬時に検索することが可能となる。た、オンラインサーバに本発明を組み込むことで、インターネット上の画像検索エンジンとしての利用も可能である。
【発明を実施するための最良の形態】
【００２９】
図１は本発明の類似情報分類参照装置および類似情報分類参照方法の実施形態を示す機能ブロック図であり、図２は図１の類似情報分類参照装置１の処理を詳しく示す図である。
図１において、類似情報分類参照装置１は、複数の解像度を持つ対象情報から所望の情報を抽出するためのもので、元情報記憶装置１０と、低解像度化情報生成部１１と、低解像度化情報保存部１２と、自己組織化処理部１３と、処理結果保存部１４とを備えている。
【００３０】
元情報記憶装置１０は、典型的には、本発明の処理装置を構成するコンピュータや本発明方法を実行するプログラムが搭載されたコンピュータに内蔵または接続された記憶装置であるが、これに限定されず、その一部または全部がネットワーク上の他のコンピュータに内蔵または接続された記憶装置であってもよい。
【００３１】
低解像度化情報生成部１１は、元情報記憶装置１０の記憶されている複数の対象情報から、図２に示すような解像度がＲMからＲ1に順次低下するＭ段階（Ｍは２以上の整数）の低解像度化情報群ＧM，ＧM-1，・・・，Ｇ2，Ｇ1を生成する（すなわち、ＲM＞ＲM-1＞・・・＞Ｒ2＞Ｒ1）。この低解像度化は、Ｗａｖｅｌｅｔ変換によって作成することができるし、Ｗａｖｅｌｅｔ変換以外の変換方法によっても作成することができる。
【００３２】
たとえば、Ｍ＝４である低解像度化情報群Ｇ4を構成する画像は、元の低解像度化情報群Ｇ4の各画像を解像度Ｒ4（たとえば、６４×６４）に変換したものであり、低解像度化情報群Ｇ3を構成する画像は、解像度Ｒ4の各画像を解像度Ｒ3（たとえば、３２×３２）に変換したものである。また、低解像度化情報群Ｇ2を構成する画像は、解像度Ｒ3の各画像を解像度Ｒ2（たとえば、１６×１６）に変換したものであり、低解像度化情報群Ｇ1を構成する画像は、解像度Ｒ2の各画像を解像度Ｒ1（たとえば、８×８）に変換したものである。
【００３３】
本実施形態では、上記のように階層が低いほど自己組織化処理における入力画像の解像度が低く、階層が高いほど自己組織化処理における入力画像の解像度が高く設定されている。第１階層では入力画像数が多いので、低解像度でも十分な特徴の正規分布をとらえることができ、クラスタを構成することができる。しかし、階層が高くなるにつれて入力画像数は小さくなりクラスタリングの情報量が減少してしまうので、入力画像数が少ない場合には解像度を高くして、クラスタリングの情報量のバランスをとっている。こうすることで、局所的な特徴を、自己組織化処理における学習とクラスタリングに利用できる。
【００３４】
低解像度化情報保存部１２は、必ず必要とされるものではないが、低解像度化情報群ＧM，ＧM-1，・・・，Ｇ2，Ｇ1を保存しておくことで、自己組織化処理における学習する際に使い分けることで、アップコンバートや、ダウンコンバートの手間を省くことができる。
【００３５】
自己組織化処理部１３は、以下の（Ａ1）から（ＡN）の処理を行う。
（Ａ1）低解像度化情報保存部１２に保存されている解像度Ｒ1の低解像度化情報群Ｇ1について、低解像度化情報群Ｇ1を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行う。
（Ａ2）第１階層の自己組織化処理によるクラスタリング結果を元に、このクラスタリング結果に対応する低解像度化情報保存部１２に保存されている解像度Ｒ2の複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行う。
（Ａ3）第２階層の各自己組織化処理によるクラスタリング結果を元に、このクラスタリング結果に対応する解像度Ｒ3の複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行う。
・・・
（ＡK）第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ−１）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度ＲKの複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行う。
・・・
（ＡN）記各第（Ｎ−１）階層（Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度ＲNの複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行う。
【００３６】
自己組織化処理は、第Ｍ階層まで行う必要はなく、たとえば、図４の説明において述べるように、クラスタの個数が所定のしきい値に達したときに、繰り返しの処理を停止することができる。上述の「Ｎ≦Ｍ」は、自己組織化処理を第Ｍ階層まで行わないときは「Ｎ＜Ｍ」であり、第Ｍ階層まで行ったときは「Ｎ＝Ｍ」であることを意味している。
【００３７】
処理結果保存部１４は、第１階層から第Ｎ階層の自己組織化処理の結果を保存しておく。
以下、図１の類似情報分類参照装置１の詳細を図２により説明する。図２では、検索対象画像群Ｇはｑ個の対象情報ｇ1，ｇ2，・・・，ｇqからなる。
低解像度化情報生成部１１は、複数の対象情報ｇ1，ｇ2，・・・，ｇqから、解像度がＲMからＲ1に順次低下するＭ段階の低解像度化情報群ＧM，・・・，Ｇ3，Ｇ2，Ｇ1を生成する。
【００３８】
図２では、低解像度化情報群は、最も解像度が低い群から、
ｇ11，ｇ12，・・・，ｇ1q、
ｇ21，ｇ22，・・・，ｇ2q、
・・・
ｇM1，ｇM2，・・・，ｇMq、
で表してある。
【００３９】
自己組織化処理部１３は、まず、解像度Ｒ1の低解像度化情報群Ｓ1について、この低解像度化情報群Ｓ1を構成する複数の低解像度化情報ｇ11，ｇ12，・・・，ｇ1qを入力としてクラスタリングを含む第１階層の自己組織化処理を行い自己組織化マップＳＯＭ１を作成する。
【００４０】
図２では、第１階層の自己組織化処理においてＳＯＭ１の作成処理が行われ、低解像度化情報ｇ11，ｇ12，・・・，ｇ1qは、クラスタリングにより３集合（低解像度化情報群Ｓ1-1，Ｓ1-2，Ｓ1-3）に分けられている。解像度Ｒ1の低解像度化情報群は、低解像度化情報ｇ21，ｇ22，・・・，ｇ2qからなるので、これらｇ21，ｇ22，・・・，ｇ2qは、低解像度化情報群Ｓ1-1，Ｓ1-2，Ｓ1-3の何れかに属している。
【００４１】
自己組織化処理部１３は、次に、第１階層の自己組織化処理におけるクラスタリング結果を元に、解像度Ｒ2の複数の低解像度化情報群（ここでは、Ｓ1-1，Ｓ1-2，Ｓ1-3の３つ）についてそれぞれ自己組織化処理を行う。
【００４２】
第１階層のクラスタリングにより分割された画像の解像度Ｒ1であるが、第２階層の自己組織化処理では、解像度Ｒ2の画像が用いられる。言い換えると、第２階層の自己組織化処理では、低解像度化情報群Ｇ1を構成する解像度Ｒ1の低解像度化情報を、解像度Ｒ2の低解像度化情報に置き換えられる。
【００４３】
すなわち、第２階層における低解像度化情報群Ｓ1-1についての自己組織化処理では、低解像度化情報群Ｓ1-1を構成する複数の低解像度化情報（解像度Ｒ2）を入力としてクラスタリングを含む第２階層の自己組織化処理を行う。同様に、第２階層における低解像度化情報群Ｓ1-2，Ｓ1-3についての自己組織化処理では、低解像度化情報群Ｓ1-2，Ｓ1-3を構成する複数の低解像度化情報（解像度Ｒ2）を入力として、それぞれクラスタリングを含む第２階層の自己組織化処理を行う。
【００４４】
これらの第２階層の自己組織化処理において自己組織化マップＳＯＭ２（１），ＳＯＭ２（２），ＳＯＭ２（３）が作成される。
第２階層の自己組織化処理は、これら３つの低解像度化情報群Ｓ1-1，Ｓ1-2，Ｓ1-3についてそれぞれ行われる。
【００４５】
自己組織化マップＳＯＭ２（１）の作成処理においては、低解像度化情報群Ｓ1-1を構成する複数の低解像度化情報は、クラスタリングにより５集合（低解像度化情報群Ｓ1-1-1，Ｓ1-1-2，Ｓ1-1-3，Ｓ1-1-4，Ｓ1-1-5）に分けられている。
自己組織化マップＳＯＭ２（２）の作成処理においては、低解像度化情報群Ｓ1-2を構成する複数の低解像度化情報は、クラスタリングにより４集合（低解像度化情報群Ｓ131，Ｓ132，Ｓ133，Ｓ134）に分けられている。
【００４６】
ＳＯＭ２（３）の作成処理においては、低解像度化情報群Ｓ1-3を構成する複数の低解像度化情報は、クラスタリングにより２集合（低解像度化情報群Ｓ1-3-1，Ｓ1-3-2）に分けられている。
第３階層の自己組織化処理は、ＳＯＭ２（１）の作成処理においてクラスタリングされた５集合（低解像度化情報群Ｓ1-1-1，Ｓ1-1-2，Ｓ1-1-3，Ｓ1-1-4，Ｓ1-1-5）、ＳＯＭ２（２）の作成処理においてクラスタリングされた４集合（低解像度化情報群Ｓ131，Ｓ132，Ｓ133，Ｓ134）、ＳＯＭ２（３）の作成処理においてクラスタリングされた２集合（低解像度化情報群Ｓ1-3-1，Ｓ1-3-2）の、合計で１１の低解像度化情報群についてそれぞれ行われる。
【００４７】
以下、順次、各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度ＲK-1の複数の低解像度化情報群について低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを行う第Ｋ階層の自己組織化処理を行う。
【００４８】
図３は、図１および図２における類似情報分類参照装置１の処理を示すフローチャートである。
図３では、解像度（Ｒａ）の入力画像を、低解像度化情報保存部１２から取得して（Ｓ１２０）、自己組織化処理部１３による処理を行う（Ｓ１３０）とともに、クラスタリングを行う（Ｓ１４０）。自己組織化マップおよびクラスタリングの結果は、処理結果保存部１４に保存される。
【００４９】
次に、該当する階層において作成していない自己組織化マップが残っているかが判断される（Ｓ１５０）。Ｐは自己組織化処理の直前の階層におけるクラスタ数であり、直前の階層でのクラスタ数が、「３」である場合にはＰ＝３である。残っていないとき（すなわち、図３のｋ（ｋは、Ｓ１１０において初期化されている）が直前の階層のクラスタの個数Ｐに達しているとき）は処理を終了し（Ｓ１５０の「ＹＥＳ」）、残っているとき（すなわち、図３のｋが直前の階層のクラスタ数Ｐに達していないとき）はｋをインクリメントし（Ｓ１６０）、処理をＳ１２０に戻して、他の自己組織化マップの作成処理を行う。
【００５０】
図４は、図１の類似情報分類参照装置１を検索装置とした場合の実施形態を示す機能ブロック図である。また、図５に類似情報分類参照装置１の検索処理の流れを示す。
図４および図５に示す処理により、図１および図２の実施形態の類似情報分類参照装置や類似情報分類参照方法を使用して、問い合わせ画像（検索対象画像）に近い画像を、階層の低い階層から高い階層で比較することで（段階的に自己組織化マップのセルから選択することを繰り返すことで）、検索結果を絞り込むことができ、ユーザが意図する画像（問い合わせ画像と類似した画像（同一の画像のこともある））を検索することができる。
【００５１】
図４において、類似情報分類参照装置１は、元情報記憶装置１０と、低解像度化情報生成部１１と、低解像度化情報保存部１２と、自己組織化処理部１３と、処理結果保存部１４とに加え、可視化インデックス生成部１６と、検索候補情報一覧生成部１７と、段階的可視化手段１８と、操作表示部１９とを備えている。また、図４では、自己組織化処理部１３は、自己組織化処理本体部１３０と、自己組織化マップ作成部１３１と、自己組織化処理続行判断部１３２とを備えている。
【００５２】
図４の自己組織化処理部１３は、図１における自己組織化処理部１３と実質上同じであり、図１の自己組織化処理部１３よりも詳しく記述してある。自己組織化処理本体部１３０は自己組織化処理を行う。
【００５３】
自己組織化マップ作成部１３１は第１階層から第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップを作成する。自己組織化マップの個数は、階層が上位となるに従って増加する。第Ｋ階層の自己組織化マップの個数ＱSOMは、
ＱSOM＝ｔ2＋ｔ3＋・・・ｔk
である。ただし、
ｔ2＝第２階層のクラスタ数
ｔ3＝第３階層のクラスタ数
・・・
ｔk＝第ｋ階層のクラスタ数
である。
【００５４】
以下、自己組織化マップ作成部１３１における学習（自己組織化学習）について説明する。自己組織化マップ作成部１３１は、低解像度化情報保存部１２の画像を入力し、学習を行う。
自己組織化マップは、高次元データの視覚化と近似表現を目的として作成されるもので、本発明で用いる自己組織化マップは、参照ベクトルを二次元配列状に並べた基本的なものである。これらの参照ベクトルは自らの座標と、内部データを保持している。入力として与えるベクトルは、本発明では低解像度化情報保存部１２に保存されている低解像度化情報（画像）である。
【００５５】
可視化インデックス生成部１６は、第１階層から第Ｎ階層の自己組織化マップにおける参照ベクトルのインデックスを生成する。参照ベクトルの個数は、たとえば数個のこともあるし、１０００個を超えることもある。
【００５６】
本実施形態では、第１階層の自己組織化マップの参照ベクトルの初期ベクトルは任意であり、学習により、第１階層の低解像度化情報群Ｇ１を構成する画像の特徴が反映されるように変更が加えられる。
【００５７】
第２階層では、第１階層の自己組織化処理におけるクラスタリングにより生成された複数の画像群（たとえば４つの画像群）についてそれぞれ自己組織化処理が行われ、自己組織化マップが作成される（画像群が４つの場合には４つの自己組織化マップが作成される）。このときの参照ベクトルの参照ベクトルは、第１階層の学習により変更された参照ベクトルに基づいて作成することができる。
【００５８】
検索候補情報一覧生成部１７は、第１階層から第Ｎ階層においてクラスタリングされた対象情報の一覧を生成する。ここで、検索対象情報の一覧は、対象情報ｇ1，ｇ2，・・・，ｇqの一覧とすることもできるし、たとえば第２階層の自己組織化処理においては解像度がＲ2の画像情報の一覧である。
【００５９】
自己組織化処理続行判断部１３２は、自己組織化マップのあるものについては、より高い階層の自己組織化処理を行うか否かを判断し、自己組織化マップ作成部１３１に処理を停止させる（停止命令ＳＴＰを出力する）。たとえば、自己組織化処理続行判断部１３２は、ある自己組織化マップのクラスタの個数が所定数（たとえば、１０）以下となったときに、当該自己組織化マップについては、自己組織化マップ作成部１３１に繰り返しの処理を停止させることができる。
【００６０】
操作表示部１９は、可視化インデックス生成部１６により生成した参照ベクトルのインデックスと、検索候補情報一覧生成部１７により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化して画像（ＳＯＭ画像）として出力する。
【００６１】
自己組織化マップ作成部１３１による処理、可視化インデックス生成部１６による処理、検索候補情報一覧生成部１７による処理および操作表示部１９による処理を、上記のようにして繰り返すことで、検索候補情報が可視化しつつ絞り込まれる。
処理結果保存部１４は、第１階層から第Ｋ階層の自己組織化処理の結果を保存しておく。
自己組織化マップ作成部１３１における学習は、参照ベクトルが初期化された状態から始まる。本実施形態では、自己組織化後のクラスタの配置に一意性を持たせるため、色合いと輝度のグラデーションを用いて初期化する。
【００６２】
まず、低解像度化情報保存部からランダムに選出した一つのデータを、自己組織化マップ作成部１３１に入力する。
自己組織化マップ作成部１３１の参照ベクトルのうち、入力画像（入力ベクトル）との距離が最も近い参照ベクトル（選択参照ベクトルと言う）を選択する。
【００６３】
選択参照ベクトルは、学習により入力画像に空間的に近づくように更新される（具体的には、選択参照ベクトル内部データ）。学習回数は通常は複数であり、学習に際しては、選択参照ベクトルと入力画像との空間距離に応じた重み付けがなされる。
選択参照ベクトルの学習は、近傍の参照ベクトルを伴って行われる。本実施形態では、選択参照ベクトルの近傍にある参照ベクトルが同時に更新される。
【００６４】
自己組織化マップ作成部１３１における学習では、個々の参照ベクトルが入力データ空間の確率密度分布に従って特徴空間上に展開し、入力画像群の特徴空間を２次元配列状に表現する。
【００６５】
次に、色空間上の距離について述べる。人の肌を構成する主な色である肌色は、ＹＵＶ色空間内においてＹ軸方向では２１０−４０＝１７０の幅に分布しているのに対し、ＵＶ平面に射影して得た領域の広がりは（１３０?８０）×（１７０?１３０）＝５０×４０である。この領域の広がりが一致度に寄与し、その比は１７０／５０＝３．４〜１７０／４０＝４．２５４である。そこでｄＹとｄＵ，ｄＶとの寄与度を同等にするために混合係数Ｋcを導入する。
ｄi,j＝ｄＹi,j＋Ｋc×（ｄＵi,j＋ｄＶi,j）
とすることで、Ｋc＝４とした場合には、好適な結果が得られた。
【００６６】
本実施形態は顔画像のみを対象とするものではないが、色合いを強く反映したクラスタを発生させ易くするため、Ｋc＝４とした混合係数による色差の寄与度補正を行った距離を用いている。また、本実施形態では、学習の初期での参照ベクトルは正方形ではあり、サイズ（たとえば、１３×１３）は、学習中に縦横ともにたとえば２ずつ減少させている（たとえば、５回目の終了時のサイズは３×３である）。
【００６７】
自己組織化マップ作成部１３１における学習では、画像の持つ特徴に従って自己組織化が成される。すなわち、画像の中でオブジェクトの大きさや配置、陰影、色合いなどが距離を決める大きな要素となるため、これらの特徴を示すクラスタが形成される。
【００６８】
図５に示すように、検索に際しては、問合わせ画像Ｇｒは、低解像度化情報生成部１１により、複数段階の低解像度画像（前述したＭ段階の低解像度化処理と同じ処理により生成された画像）に変換されて低解像度化情報保存部１２に保存される。そして、比較処理部Ｃ１，Ｃ１，・・・，ＣＭにより参照ベクトルとの比較が順次行われ、絞込みを行うことで、問合わせ画像Ｇｒに近い画像を抽出することができる。図５では、最終段階（Ｍ段階）までの比較処理を行っているが、検索画像が絞り込まれたときは、検索を途中の段階で止めるようにすることもできる。
【００６９】
なお、低解像度化情報生成部１１により低解像度化される様子を図６（Ａ）から（Ｄ）に示す。図６（Ａ）は最も解像度が高く、（Ｂ），（Ｃ），（Ｄ）のように順次解像度が低くなっている。また、任意の初期ベクトル（画像）を入力とした自己組織化マップの自己組織化結果を図７に示す。これが、画像を検索するためのインデックスになる。
【００７０】
自己組織化処理部では学習により更新された参照ベクトルによりクラスタリングされる。クラスタリングの方法は以下のように定めた。近傍距離Ｄnbhdを、全参照ベクトルについて求め，Ｄnbhdが所定の閾値よりも大きい参照ベクトルをクラスタ参照ベクトルとしてある。自己組織化マップ上の参照ベクトの近傍距離Ｄnbhdを、たとえば、自身が持つ参照ベクトルと近傍の８個の参照ベクトルの持つ参照ベクトルとの距離として定義することができる。
【００７１】
図８（Ａ）は近傍距離Ｄnbhdを可視化した図であり、色が濃い部分ほど近傍距離が小さい。クラスタ参照ベクトルか否かを決定する閾値γは、近傍距離Ｄnbhdの標準偏差を用いて定めた。図８（Ｂ）は近傍距離を用いてのクラスタリング結果を示す図である。接触しているクラスタ参照ベクトルをまとめて、１から昇順でクラスタ番号を付けてある。
【００７２】
自己組織化の結果得られた複数の参照ベクトルと、入力画像保存装置に保存されている対応する解像度の画像との距離（色空間での距離）を比較し、全ての元画像自己組織化マップのどの参照ベクトルに属するかを決定する。次に、分割結果記録部と照会され、参照ベクトルのクラスタ番号に従って、元画像はグループ分けされる。
【００７３】
グループ分けされた元画像は、自己組織化部に再び入力され、階層が低い自己組織化マップのあるクラスタの次の階層に新しく自己組織化マップが作られる。これを、自己組織化処理続行判断部１３１が停止命令を出すまで繰り返す。
図９は、図４における類似情報分類参照装置１の検索処理を示すフローチャートである。
図９では、問い合わせ画像の特徴を、自己組織化マップ（ＳＯＭｉ（ｊ））と比較して、繰り返し比較を行う例を示している。まず、ＳＯＭｉ（ｊ）のｉ，ｊは初期化されている（Ｓ２１０）。
【００７４】
処理結果保存部１４から自己組織化マップＳＯＭｉ（ｊ）を呼び出し（Ｓ２２０）、参照ベクトルを操作表示部１９に表示し（Ｓ２３０）、自己組織化マップの画像が問い合わせ画像に該当するが判断される（Ｓ２４０）。該当しない場合（Ｓ２４０の「ＮＯ」）には、ｊをインクリメントし（Ｓ２５０）同一階層の他のＳＯＭｉ（ｊ＋１）について同様の比較判断を行う（Ｓ２１０からＳ２４０）。Ｓ２５０において該当する場合（Ｓ２５０の「ＹＥＳ」）には、処理を終了するかが判断される。類似する画像が検索され処理が必要でなくなった場合には処理は終了する。通常は、処理を終了する場合には、元画像の表示等が行われるが、説明の便宜上、図９では説明を省略している。
【００７５】
Ｓ２６０において処理を終了しない場合（Ｓ２６０の「ＮＯ」）には、自己組織化マップＳＯＭｉ（ｊ）のｉをインクリメントするとともに、ｊを初期化（ｊ＝１）して、処理をＳ２１０に戻す。
【図面の簡単な説明】
【００７６】
【図１】本発明の類似情報分類参照装置および類似情報分類参照方法の実施形態を示す機能ブロック図である。
【図２】図１の類似情報分類参照装置の処理を詳しく示す図である。
【図３】図１および図２における類似情報分類参照装置の処理を示すフローチャートである。
【図４】図１の類似情報分類参照装置を検索装置とした場合の実施形態を示す機能ブロック図である。
【図５】図４の類似情報分類参照装置における検索処理を示す説明図である。
【図６】低解像度化情報生成部１１により低解像度化される様子を示す図であり、（Ａ）から（Ｄ）には順次解像度が低くなっている様子が示されている。
【図７】画像を検索するためのインデックスの例を示す図である。
【図８】（Ａ）は色空間での近傍距離を可視化した図であり、（Ｂ）は近傍距離を用いてのクラスタリング結果を示す図である。
【図９】図４における類似情報分類参照装置の検索処理を示すフローチャートである。
【符号の説明】
【００７７】
１  類似情報分類参照装置
１０  元情報記憶装置
１１  低解像度化情報生成部
１２  低解像度化情報保存部
１３  自己組織化処理部
１４  処理結果保存部
１５比較処理部
１６  可視化インデックス生成部
１７  検索候補情報一覧生成部
１８  段階的可視化手段
１９  操作表示部
１３１  自己組織化マップ作成部
１３２  自己組織化処理続行判断部
【図１】
0005277498.tif 000002
【図２】
0005277498.tif 000003
【図３】
0005277498.tif 000004
【図４】
0005277498.tif 000005
【図５】
0005277498.tif 000006
【図９】
0005277498.tif 000007
【図６】
0005277498.tif 000008
【図７】
0005277498.tif 000009
【図８】
0005277498.tif 000010