(57)【特許請求の範囲】
【請求項１】
分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、
前記分類項目を設定し、設定した分類項目それぞれに対し、前記基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定する設定手段と、
前記分類項目毎に、前記設定手段で設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、
前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、
前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、
前記検索手段は、
問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、
前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、
前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、
前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、
を備えたことを特徴とする画像分類装置。
【請求項２】
分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、
前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定すると共に、設定した各基準画像毎に前記分類対象の画像との類似度を求める際に使用する特徴量の種類を設定する設定手段と、
前記分類項目毎に、前記設定手段で設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、
前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、
前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、
前記検索手段は、
問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、
前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、
前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、
前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、
を備えたことを特徴とする画像分類装置。
【請求項３】
分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、
前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定する設定手段と、
前記分類項目毎に、前記設定手段で設定された各基準画像および前記分類対象の画像の類似度を求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、
前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、
前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、
前記検索手段は、
問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、
前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、
前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、
前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、
を備えたことを特徴とする画像分類装置。
【請求項４】
分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、
前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定する設定手段と、
前記分類項目毎に、前記設定手段で設定された各基準画像および前記分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して前記分類対象の画像の総合類似度を求める演算手段と、
前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、
前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、
前記検索手段は、
問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、
前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、
前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、
前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、
を備えたことを特徴とする画像分類装置。
【請求項５】
前記設定手段は、前記演算手段で求める類似度に対し、前記基準画像の種類に応じて任意の重み付けを行うことができるように、前記各基準画像毎に重要度を設定することが可能であり、
前記演算手段は、前記分類項目毎に、前記各基準画像および分類対象の画像の類似度を求め、求めた類似度に対して前記設定手段で設定された重要度に応じた重み付けを行った後、前記総合類似度を求めることを特徴とする請求項２ないし４の何れか一項に記載の画像分類装置。
【請求項６】
前記設定手段は、複数種類の特徴量を用いて前記基準画像および分類対象の画像の類似度を求める場合に、前記演算手段で求める類似度に対し、前記基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、
前記演算手段は、前記分類項目それぞれについて、前記各種類の特徴量毎に前記各基準画像および分類対象の画像の類似度を求め、前記各種類の特徴量毎に求めた類似度に対して前記設定手段で設定された重要度に応じた重み付けを行った後、前記総合類似度を求めることを特徴とする請求項３または４に記載の画像分類装置。
【請求項７】
さらに、複数種類の特徴量を用いて前記基準画像および分類対象の画像の類似度を求める場合に、前記演算手段で求める類似度に対し、前記特徴量の種類に応じて任意の重み付けを行うことができるように、前記分類項目毎に、前記設定手段で設定された各基準画像間の類似度を各種類の特徴量毎に求め、前記各種類の特徴量毎に求めた類似度に基づいて前記各基準画像間における各特徴量毎の重要度を決定する重要度決定手段を備え、
前記演算手段は、前記分類項目それぞれについて、前記各種類の特徴量毎に前記各基準画像および分類対象の画像の類似度を求め、前記各種類の特徴量毎に求めた類似度に対して前記重要度決定手段で決定された重要度に応じた重み付けを行った後、前記総合類似度を求めることを特徴とする請求項３または４に記載の画像分類装置。
【請求項８】
前記設定手段は、前記分類項目毎に分類された画像をさらに分類するための分類項目を設定可能であることを特徴とする請求項１ないし７の何れか一項に記載の画像分類装置。
【請求項９】
分類対象の複数の画像から画像の特徴を表す少なくとも一種類の特徴量を抽出し、抽出した特徴量を用いて前記分類対象の各画像を類似する画像同士のグループに分類する画像分類装置であって、
前記特徴量の種類を指定する指定手段と、
前記指定手段で特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、前記分類対象の各画像を類似する画像同士のグループに分類する分類手段と、
前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示する表示手段と、
前記グループ毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、
前記指定手段は、さらに、前記表示手段によって表示された代表画像の一つを指定すると共に、前記特徴量の種類を指定可能であり、
前記分類手段は、前記指定手段で前記代表画像および前記特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、
前記表示手段は、前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、
前記検索手段は、
問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、
前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、
前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、
前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、
を備えたことを特徴とする画像分類装置。
【請求項１０】
前記表示手段は、前記指定手段で指定可能な特徴量の種類を画面表示し、前記指定手段で指定された特徴量の種類に関連付けて前記分類手段で分類された各グループの代表画像を画面表示して、前記分類対象の複数の画像を分類した結果を木構造で画面表示することを特徴とする請求項９に記載の画像分類装置。
【請求項１１】
前記分類対象の画像は、前記検索手段で検索された画像であることを特徴とする請求項１ないし１０の何れか一項に記載の画像分類装置。
【請求項１２】
前記抽出基準は、少なくとも画像を何分割するかを表す分割数を前記粗さのレベルとして段階的に定義しており、
前記特徴抽出手段は、前記段階的に定義された粗さのレベルのいずれか一つに応じて前記特徴量を抽出する場合、該当する分割数に基づいて画像を分割して複数の分割画像を生成し、生成した各分割画像から前記特徴量をそれぞれ抽出することにより、前記問合せ画像および検索対象の画像から分割画像単位の特徴量からなる特徴量群を抽出し、
前記検索手段は、前記特徴量群を利用して前記問合せ画像および検索対象の画像の類似度を求める場合、前記問合せ画像および検索対象の画像の対応する分割画像毎の類似度を該当する特徴量を用いてそれぞれ求めることにより、前記問合せ画像および検索対象の画像の類似度を求めることを特徴とする請求項１ないし１１の何れか一項に記載の画像分類装置。
【請求項１３】
前記抽出基準は、前記段階的に定義された粗さのレベル中の最も粗い特徴量を示すレベルとして、画像を分割することなく、画像全体を特徴量の抽出対象とするレベルを含み、
前記特徴抽出手段は、前記画像全体を特徴量の抽出対象とするレベルに応じて特徴量を抽出する場合、前記問合せ画像および検索対象の画像から画像全体を対象として特徴量を抽出することを特徴とする請求項１ないし１２の何れか一項に記載の画像分類装置。
【請求項１４】
前記指定手段は、検索結果の画像を前記問合せ画像として指定可能であることを特徴とする請求項１ないし１３の何れか一項に記載の画像分類装置。
【請求項１５】
前記請求項１ないし１４の何れか一項に記載の画像分類装置の各手段としてコンピュータを機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、大量の画像の中からユーザが希望する画像を探し出すための画像検索装置および大量の画像を所定の分類先に分類する画像分類装置に関し、ユーザが望む通りの方法で精度の高い画像検索処理および画像分類処理を行うことが可能な画像検索装置および画像分類装置に関する。
【０００２】
【従来の技術】
近年、コンピュータ技術や画像処理技術の発達に伴って、大量の電子画像を蓄積して画像データベースを構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索装置である。
【０００３】
画像検索装置の一つとして、各画像に言葉を用いた検索キーを付与し、文書の検索と同様な方法で、入力されたキーワードと画像に付された検索キーとを照合し、キーワードと一致する検索キーが付された画像を検索結果として返すというものがある。
【０００４】
ところが、人間が画像から受ける印象は人によって異なるため、画像に付された検索キーがその画像から人間が受ける印象を全て言い表しているとは言えず、従って言葉による検索キーを用いた画像検索では満足な画像を得ることができない場合が多い。なぜなら、画像中に登場する人間，動物，建物等の事物（以下「オブジェクト」と定義する）の形状特徴や位置関係については、適切な言葉で表現することができない場合が多いからである。
【０００５】
そのため、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像（以下「問合せ画像」と記述する）を与え、問合せ画像に類似する画像を画像データベースの中から検索できるようにすることが望ましい。このような検索装置を実現するために、問合せ画像および検索対象の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と検索対象の画像の特徴量との類似性を判定し、問合せ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索装置は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。
【０００６】
また、画像そのものを問合せ画像とするのではなく、各画像の特徴量として画像の色（色のヒストグラム），テクスチャ，オブジェクトの形状等を抽出してデータベース化しておき、画像を検索する際に、データベース化した画像の特徴量を検索条件として指定することによって、指定した特徴量を有する画像を検索するという検索装置も提案されている（Myron Flickner et al, “Query by Imageand Video Content: The QBIC System,” Computer, September 1995, pp23-32）。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来の画像検索装置においては、検索条件の指定に自由度がなく、ユーザの意図を検索条件として正確に表現することができないという点で不便であった。したがって、ユーザの意図を装置側に正確に伝えることができず、ユーザの望む画像を精度良く得ることは困難であった。さらに、ユーザの意図を装置側に正確に伝え、ユーザの意図通りの検索処理を行うことを可能にするためには、ユーザが望む方法で検索処理を行えるように様々な検索手法が用意されていなければならない。
【００１１】
本発明は上記に鑑みてなされたものであって、ユーザの意図を検索条件として正確に表現できるようにし、精度の高い画像検索処理を行うことが可能な画像検索装置における画像検索処理を画像分類処理に応用し、ユーザの意図を画像分類の基準となる分類条件として正確に表現できるようにし、精度の高い画像の分類処理を行うことが可能な画像分類装置を提供することを目的とする。
【００３１】
【課題を解決するための手段】
本発明の画像分類装置は、分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、前記分類項目を設定し、設定した分類項目それぞれに対し、前記基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定する設定手段と、前記分類項目毎に、前記設定手段で設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、前記検索手段は、問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、を備えた。
【００３２】
本発明の画像分類装置は、分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定すると共に、設定した各基準画像毎に前記分類対象の画像との類似度を求める際に使用する特徴量の種類を設定する設定手段と、前記分類項目毎に、前記設定手段で設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、前記検索手段は、問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、を備えた。
【００３３】
本発明の画像分類装置は、分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定する設定手段と、前記分類項目毎に、前記設定手段で設定された各基準画像および前記分類対象の画像の類似度を求めると共に、求めた類似度を合計して前記分類対象の画像の総合類似度を求める演算手段と、前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、前記検索手段は、問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、を備えた。
【００３４】
本発明の画像分類装置は、分類対象の画像の分類先となる分類項目毎に前記分類対象の画像の分類基準となる基準画像を設定し、前記各分類項目毎に設定された基準画像および前記分類対象の画像からそれぞれ抽出した画像の特徴を表す少なくとも一種類の特徴量を用いることにより、前記各分類項目毎に前記基準画像および分類対象の画像の類似度を求め、求めた類似度に基づいて前記分類対象の画像を前記分類項目のいずれかに分類する画像分類装置であって、前記分類項目を設定し、設定した分類項目毎に、前記基準画像を複数設定する設定手段と、前記分類項目毎に、前記設定手段で設定された各基準画像および前記分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して前記分類対象の画像の総合類似度を求める演算手段と、前記演算手段で前記分類項目毎に求めた前記分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、前記分類対象の画像の分類先となる分類項目を決定する決定手段と、前記分類項目毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、前記検索手段は、問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、を備えた。
【００３９】
本発明の画像分類装置は、分類対象の複数の画像から画像の特徴を表す少なくとも一種類の特徴量を抽出し、抽出した特徴量を用いて前記分類対象の各画像を類似する画像同士のグループに分類する画像分類装置であって、前記特徴量の種類を指定する指定手段と、前記指定手段で特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、前記分類対象の各画像を類似する画像同士のグループに分類する分類手段と、前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示する表示手段と、前記グループ毎に分類された任意の画像を問合せ画像として用いることにより、前記問合せ画像と同一または類似の画像を検索する検索手段と、を備え、前記指定手段は、さらに、前記表示手段によって表示された代表画像の一つを指定すると共に、前記特徴量の種類を指定可能であり、前記分類手段は、前記指定手段で前記代表画像および前記特徴量の種類が指定された場合に、指定された種類の特徴量を用いて前記代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、前記表示手段は、前記分類手段で分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、前記検索手段は、問合せ画像を少なくとも一つ指定し、さらに、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定する指定手段と、前記問い合わせ画像及び複数の検索対象の画像から少なくとも一種類の特徴量を抽出する際に、前記抽出基準に基づいて少なくとも前記指定手段で指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出する特徴抽出手段と、前記検索対象の画像毎に、前記指定手段で指定された粗さのレベルに応じて抽出された少なくとも一種類の特徴量を用いて前記問合せ画像との類似度を求める検索手段と、前記検索手段で前記検索対象の画像毎に求めた類似度に基づいて、検索結果を出力する出力手段と、を備えた。
【００４４】
本発明の記録媒体は、また、本発明の画像分類装置の何れか一の各手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体である。
【００４５】
【発明の実施の形態】
以下、本発明に係る画像検索装置および画像分類装置の実施の形態について、添付の図面を参照しつつ詳細に説明する。
【００４６】
〔実施の形態１〕
まず、本発明に係る画像検索装置について説明する。図１は、実施の形態１に係る画像検索装置のブロック構成図である。図１に示す画像検索装置は、パーソナルコンピュータやワークステーション等のコンピュータ１００で構成されており、全体を制御するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、問合せ画像，検索実行命令等の入力を行うためのキーボード１０４およびマウス１０５と、例えば検索結果の画像を表示するためのＣＲＴや液晶ディスプレイ等のモニタ１０６と、本発明の画像検索装置としての機能をＣＰＵ１０１（コンピュータ１００）に実行させるための画像検索ソフト１０７，複数の画像が登録された画像ＤＢ１０８，画像ＤＢ１０８中の画像から抽出した特徴量が登録された画像特徴ＤＢ１０９等を記憶したハードディスク１１０と、画像を入力するためのスキャナやディジタルカメラを接続するためのインターフェイス（Ｉ／Ｆ）１１１と、インターネットやＬＡＮのようなネットワーク１１２にコンピュータ１００（画像検索装置）を接続するためのネットワーク・アダプタ１１３と、上記各部を接続するバス１１４と、を備えている。
【００４７】
図２は、図１に示した画像検索装置において実行される処理を示すブロック図である。処理の詳細な内容については後述するが、図２において、ユーザ・インターフェイス（Ｕ／Ｉ）部１５１（本発明の指定手段および出力手段に該当する）は、ユーザに対して画像検索を行うための検索条件入力画面，検索結果表示画面等を表示して、検索条件の入力，検索結果の出力処理等を実行する。特徴抽出エンジン１５２（本発明の重要度決定手段および特徴抽出手段に該当する）は、画像ＤＢ１０８に登録する画像（検索対象の画像）および検索時に指定される問合せ画像から画像の特徴量を抽出する処理を実行する。さらに、マッチング・エンジン１５３（本発明の検索手段に該当する）は、問合せ画像から抽出された特徴量と画像特徴ＤＢ１０９に登録された画像ＤＢ１０８中の画像の特徴量とを比較し、問合せ画像の特徴に該当する特徴を有する画像を検索する処理を実行する。
【００４８】
なお、図２において、Ｕ／Ｉ部１５１，特徴抽出エンジン１５２およびマッチング・エンジン１５３は、図１に示した画像検索ソフト１０７を構成するモジュールを意味している。これら各部による処理は、図１に示したＣＰＵ１０１が画像検索ソフト１０７を実行することによって実現される。
【００４９】
つぎに、前述した構成を有する画像検索装置によって実行される処理について、
（１）特徴量抽出処理
（２）画像検索処理
の順で説明する。
【００５０】
（１）特徴量抽出処理
まず、検索対象の画像を画像ＤＢ１０８に登録する処理を例にとって、画像の特徴を表す特徴量を各画像から抽出する処理を説明する。ここでは、一例として、従来から良く知られている画像の色特徴（色ヒストグラム），画像のエッジ特徴および画像中のテクスチャ特徴を特徴量として抽出するものとする。
【００５１】
図３は、実施の形態１に係る画像検索装置において実行される画像登録処理の概略を示すフローチャートである。図２に示した特徴抽出エンジン１５２は、Ｕ／Ｉ部１５１を介して登録対象となる画像を入力する（Ｓ１１）。入力する画像は、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像等、いかなるものであっても良い。
【００５２】
そして、特徴抽出エンジン１５２は、入力した画像から特徴量を抽出する処理を実行する（Ｓ１２）。このステップＳ１２において、上記３種類の特徴量が各画像から抽出されるものとする。これら３種類の特徴量は、以下に示すように従来から知られている方法を用いて各画像から抽出することができる。
【００５３】
画像の色ヒストグラム（以下、単に「色」と記述する）は、適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶなどが一般的）を選択して複数の領域に分割し、画像の各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を全体のピクセル数により正規化することによって得ることができる。画像のエッジ（以下、「構造」と記述する）は、例えばｓｏｂｅｌのようなエッジ抽出フィルタを用いて得ることができる。さらに、テクスチャは、同時生起行列に基づくテクスチャ抽出によって得ることができる（参考文献：高木幹夫雄，下田陽久監修，「画像解析ハンドブック」，東京大学出版会，１９９１年）。
【００５４】
ステップＳ１２で画像から特徴量を抽出した後、特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する元の画像に関連付けて、抽出した特徴量を画像特徴ＤＢ１０９に登録する（Ｓ１３）。また、元の画像も画像ＤＢ１０８に登録される。
【００５５】
なお、画像検索の高速化という観点から、画像ＤＢ１０８に登録する検索対象の画像については、登録時に予め特徴量を抽出して画像特徴ＤＢ１０９に登録しておくことが好ましい。ただし、画像検索時に検索対象の各画像から特徴量を抽出することにする場合には、予め特徴量を抽出しておく必要はない。
【００５６】
図３に示した処理を実行することにより、画像ＤＢ１０８に登録された画像は、抽出した特徴量の種類毎に図４に示すような特徴空間にマップされることになる。画像検索時においては、後述するように問合せ画像から画像の特徴量を抽出し、同じく図４に示す特徴空間にマップする。図４に示すポイント（黒点）は、特徴空間にマップされた画像を示し、問合せ画像のポイントと各画像のポイント間の距離が画像の類似度となる。なお、画像の特徴量の多くはベクトルデータであり、類似度であるポイント間の距離の計算には一般にユークリッド距離などのベクトルの距離定義式が利用される。また、画像の特徴量の種類に合わせて独自の距離を定義することもできる。
【００５７】
（２）画像検索処理
続いて、実施の形態１に係る画像検索装置において実行される画像検索処理について説明する。実施の形態１に係る画像検索装置は、単に問合せ画像を検索条件として指定するのみでは問合せ画像とユーザが検索結果として希望する画像との類似観点を装置に伝えられないという点を考慮したものであって、検索に使用する特徴量の種類毎に問合せ画像を指定することによって、ユーザが適切と考える仮想的な一つの問合せ画像を表現できるようにしたものである。なお、前述したように、ここで使用可能な特徴量の種類としては、色，構造およびテクスチャの３種類であるものとし、検索対象の画像は画像ＤＢ１０８に登録された画像であるものとする。
【００５８】
図５は検索時に使用される検索ウインドウを示す説明図であり、図６は実施の形態１に係る画像検索処理を示すフローチャートである。図２のＵ／Ｉ部１５１は、画像検索処理を実行する際に図５に示す検索ウインドウ２００ａを図１に示したモニタ１０６上に画面表示する。検索ウインドウ２００ａは、画像検索に用いられる色，構造およびテクスチャの特徴量毎にそれぞれ一つの問合せ画像を指定するための画像指定欄Ａ，ＢおよびＣと、画像検索処理の実行を指定するための検索ボタン２０１と、検索結果の画像を表示する画像表示欄２０２と、を備えている。
【００５９】
ユーザは、図５に示した各画像指定欄において、特徴量の種類毎に問合せ画像をそれぞれ指定する（Ｓ１０１）。問合せ画像として指定する画像は、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像等、いかなるものであっても良い。
【００６０】
ここで、問合せ画像の指定方法について具体的に説明する。前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造（オブジェクトの配置等）の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。
【００６１】
ユーザは、図５に示すように、これら３枚の画像Ａ，ＢおよびＣをそれぞれ画像指定欄Ａ，ＢおよびＣに問合せ画像として指定する。具体的には、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａを特徴量「色」に対応する画像指定欄Ａに指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂを特徴量「構造」に対応する画像指定欄Ｂに、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃを特徴量「テクスチャ」に対応する画像指定欄Ｃに指定する。
【００６２】
なお、以下の説明において、画像指定欄Ａに指定された画像を問合せ画像Ａと、画像指定欄Ｂに指定された画像を問合せ画像Ｂと、画像指定欄Ｃに指定された画像を問合せ画像Ｃと呼ぶことにする。
【００６３】
このように、単に問合せ画像を複数指定するだけでなく、画像検索に使用される各種類の特徴量毎に問合せ画像を指定することにより、ユーザが適切と考える仮想的な一つの問合せ画像を表現できると共に、検索に対するユーザの意図を装置側に正確に伝えることが可能となる。したがって、後述する検索処理によって、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【００６４】
図６のフローチャートの説明に戻る。ユーザが図５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから対応する種類の特徴量を抽出する処理を実行する（Ｓ１０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【００６５】
なお、問合せ画像Ａ，ＢおよびＣから抽出した特徴量が画像特徴ＤＢ１０９に登録されている場合には、図６のステップＳ１０２の処理をスキップすることができる。
【００６６】
続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、該当する特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して、検索対象の画像の総合類似度を求める処理を実行する（Ｓ１０３）。
【００６７】
このステップＳ１０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。この画像間の距離が、二つの画像の類似度に該当し、距離が短いほど二つの画像が色の特徴において類似していることになる。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求める。
【００６８】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の種類の数をＮ、特徴量ｊの問合せ画像をＱj、検索対象の画像をＩi、特徴量ｊの画像間の距離式をＤj（）とすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【００６９】
【数１】
0004340367.tif 000002
【００７０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【００７１】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図５の画像表示欄２０２に表示する（Ｓ１０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【００７２】
なお、画像表示欄２０２には検索対象の画像を全て表示する必要はなく、予め定めた数の画像のみを表示したり、予め定めた閾値以下（総合類似度が画像間の距離で表されている場合）の総合類似度を得た画像のみを表示することにしても良い。すなわち、検索結果をどのように表示するかについては任意に設定・変更することが可能である（以下の実施の形態においても同様）。
【００７３】
また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。
【００７４】
このように、実施の形態１に係る画像検索装置によれば、問合せ画像および検索対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの問合せ画像を指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を対応する種類の特徴量を用いて求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。
【００７５】
例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。
【００７６】
なお、実施の形態１の説明において、全ての種類の特徴量にそれぞれ対応して問合せ画像を指定することにしたが、必ず全ての種類の特徴量に対応して問合せ画像を指定する必要はない。また、色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類および数を限定することを意図したものではない。
【００７７】
〔実施の形態２〕
実施の形態２に係る画像検索装置は、実施の形態１の場合と同様に、単に問合せ画像を検索条件として指定するのみでは問合せ画像とユーザが検索結果として希望する画像との類似観点を装置に伝えられないという点を考慮したものであって、複数の問合せ画像と検索に使用する特徴量の種類とを指定することによって、ユーザが適切と考える仮想的な一つの問合せ画像を表現できるようにしたものである。なお、実施の形態２に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【００７８】
図７は検索時に使用される検索ウインドウを示す説明図であり、図８は実施の形態２に係る画像検索処理を示すフローチャートである。図２のＵ／Ｉ部１５１は、画像検索処理を実行する際に図７に示す検索ウインドウ２００ｂを図１に示したモニタ１０６上に画面表示する。検索ウインドウ２００ｂは、複数の問合せ画像を指定するための画像指定欄Ａ，ＢおよびＣと、各画像指定欄に指定した問合せ画像毎に、検索対象の画像との類似度を求める際に使用する特徴量の種類を指定するための特徴量指定ボタン２０３と、画像検索処理の実行を指定するための検索ボタン２０１と、検索結果の画像を表示する画像表示欄２０２と、を備えている。
【００７９】
実施の形態１で説明したように、前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。
【００８０】
ユーザは、図７に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定する（Ｓ２０１）。
【００８１】
具体的に、ユーザは、図７に示すように３枚の画像Ａ，ＢおよびＣを画像指定欄Ａ，ＢおよびＣに問合せ画像として指定する。そして、ユーザは、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａについては、特徴量指定ボタン２０３において「色」を指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂについては「構造」を、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃについては「テクスチャ」を指定する。
【００８２】
このように、単に問合せ画像を複数指定するだけでなく、指定した各問合せ画像毎にユーザが重視する画像の特徴に該当する特徴量を指定することにより、ユーザが適切と考える仮想的な一つの問合せ画像を表現できると共に、検索に対するユーザの意図を装置側に正確に伝えることが可能となる。したがって、後述する検索処理によって、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【００８３】
ただし、図７においては、各問合せ画像に対してそれぞれ異なる種類の特徴量を指定することにしたが、同一種類の特徴量を指定しても良い。すなわち、複数の問合せ画像全てに同一種類の特徴量を指定しても良い。
【００８４】
そして、ユーザが図７の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣ，ならびに特徴量の種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから指定された種類の特徴量を抽出する処理を実行する（Ｓ２０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【００８５】
なお、問合せ画像Ａ，ＢおよびＣから抽出した特徴量が画像特徴ＤＢ１０９に登録されている場合には、図８のステップＳ２０２の処理をスキップすることができる。
【００８６】
続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、ユーザが指定した種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ２０３）。
【００８７】
このステップＳ２０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。この画像間の距離が、二つの画像の類似度に該当し、距離が短いほど二つの画像が色の特徴において類似していることになる。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求める。
【００８８】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、特徴量ｊの画像間の距離式をＤj（）、ｋ番目の画像の特徴量ｊの指定の有無をｔjk（指定されていれば１、指定されていなければ０）とすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【００８９】
【数２】
0004340367.tif 000003
【００９０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【００９１】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図７の画像表示欄２０２に表示する（Ｓ２０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【００９２】
なお、画像表示欄２０２には検索対象の全ての画像を表示する必要はなく、予め定めた数の画像のみを表示したり、予め定めた閾値以下（総合類似度が画像間の距離で表されている場合）の総合類似度を得た画像のみを表示することにしても良い。
【００９３】
また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。
【００９４】
このように、実施の形態２に係る画像検索装置によれば、問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定し、検索対象の画像毎に、指定された種類の特徴量を用いて各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。
【００９５】
例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。加えて、指定した各問合せ画像毎にユーザが希望する特徴量を指定することができるため、実施の形態１に係る画像検索装置に比べ、検索条件を自由に設定することができる。
【００９６】
なお、実施の形態２の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。すなわち、問合せ画像を１枚のみ指定しても同様の方法で検索処理を行うことができるが、実施の形態２においては複数枚指定することに意味がある。また、色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。
【００９７】
〔実施の形態３〕
実施の形態３に係る画像検索装置は、実施の形態２の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。
【００９８】
図９は、実施の形態３に係る画像検索装置において用いられる検索ウインドウ２００ｃを示す説明図である。図９に示す検索ウインドウ２００ｃは、図７に示した検索ウインドウ２００ｂの構成に加えて、画像指定欄Ａ，ＢおよびＣに指定された問合せ画像毎に相対的な重要度を指定するための重要度指定バー２０４を備えている。
【００９９】
実施の形態１および２で説明したように、前提として、ユーザが検索結果として希望する画像を適切に表現した一枚の画像は存在しないが、例えば、検索結果として希望する画像に画像の配色の雰囲気が似た画像Ａ，画像の構造の雰囲気が似た画像Ｂおよび画像中のテクスチャの雰囲気が似た画像Ｃが見つかったものとする。
【０１００】
ユーザは、図９に示すように、これら３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに問合せ画像Ａ，ＢおよびＣとして指定する。つぎにユーザは、検索結果として希望する画像に画像の配色の雰囲気が似ている問合せ画像Ａについては特徴量指定ボタン２０３において「色」を指定する。同様に、検索結果として希望する画像に画像の構造の雰囲気が似ている問合せ画像Ｂについては「構造」を、画像中のテクスチャの雰囲気が似ている問合せ画像Ｃについては「テクスチャ」を指定する。
【０１０１】
続いて、ユーザは重要度指定バー２０４を用いて各問合せ画像に重要度を指定する。この重要度指定バー２０４は、一例として、各問合せ画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することができるように構成されている。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０１０２】
例えば、問合せ画像Ａ，ＢおよびＣのうち、検索結果として希望する画像に類似する配色を持った問合せ画像Ａが最も重要である、即ち、検索結果として問合せ画像Ａのような配色の画像が特に欲しいとユーザが感じる場合、ユーザは重要度指定バー２０４を「＋」方向の所望の位置に移動させ、問合せ画像Ａは重要であることを指定する。このようにして重要度が指定されると、後述する検索時において、検索対象の画像と問合せ画像Ａとの類似度に対し、問合せ画像Ａに対して指定された重要度に応じた「＋」の重み付けが行われる。
【０１０３】
なお、例えば、問合せ画像Ｃのようなテクスチャの画像は検索結果として欲しくないとユーザが感じる場合、ユーザは重要度指定バー２０４を「−」方向の所望の位置に移動させる。すなわち、「−」方向の重要度を指定することによりＮＯＴ条件を問合せ画像に付与することができる。したがって、こんな特徴を有する画像は検索結果として欲しくないとユーザが考える画像を問合せ画像として指定することも可能である。この場合、検索対象の画像と問合せ画像Ｃとの類似度に対し、問合せ画像Ｃに対して指定された重要度に応じた「−」の重み付けが行われることになる。
【０１０４】
このように、問合せ画像毎にユーザが重要度を指定することを可能にすることにより、検索に対するユーザの意図を検索条件として正確に表現することが可能となる。すなわち、後述する検索処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。なお、必ず重要度を指定しなければならないわけではなく、ユーザが希望する場合に、希望する問合せ画像に対して指定すれば良い。
【０１０５】
つぎに、実施の形態３に係る画像検索装置による画像検索処理について説明する。図１０は、実施の形態３に係る検索処理を示すフローチャートである。ユーザは、図９に示した各画像指定欄に問合せ画像を複数指定し、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定すると共に、必要に応じて重要度を指定する（Ｓ３０１）。図９に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、各問合せ画像Ａ，ＢおよびＣ毎に特徴量の種類および重要度を指定したものとする。
【０１０６】
続いて、ユーザが図９の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣ，ならびに特徴量の種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから指定された種類の特徴量を抽出する処理を実行する（Ｓ３０２）。すなわち、特徴抽出エンジン１５２は、問合せ画像Ａから色の特徴量を、問合せ画像Ｂから構造の特徴量を、問合せ画像Ｃからテクスチャの特徴量を抽出する。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１０７】
続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、ユーザが指定した種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ３０３）。
【０１０８】
このステップＳ３０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、重要度指定バー２０４で指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、テクスチャの特徴量に基づいて検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。
【０１０９】
なお、重み付けの対象となる類似度は画像同士の特徴量間の距離であるため、「＋」の重要度に基づく「＋」の重み付けは画像間の距離を短くする方向に働き、「−」の重要度に基づく「−」の重み付けは画像間の距離を長くする方向に働くことになる。
【０１１０】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、特徴量ｊの画像間の距離式をＤj（）、ｋ番目の画像の特徴量ｊの重要度をｗjk（該当する特徴が指定されていなければ０）とすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【０１１１】
【数３】
0004340367.tif 000004
【０１１２】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１１３】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図９の画像表示欄２０２に表示する（Ｓ３０４）。ここでは、総合類似度として、検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１１４】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、画像表示欄２０２に表示された画像をマウス１０５でクリックすることにより、画像を拡大して表示する処理を行うことも可能である。
【０１１５】
このように、実施の形態３に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０１１６】
なお、実施の形態３の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。ただし、実施の形態３においては、問合せ画像毎に重要度を指定するため、複数枚の問合せ画像を指定することに意味がある。
【０１１７】
また、詳細な説明については省略するが、実施の形態１で説明した画像検索装置においても、実施の形態３で説明したように各問合せ画像毎に重要度を指定することができるようにしても良い。
【０１１８】
〔実施の形態４〕
実施の形態４に係る画像検索装置は、ユーザの意図を検索条件として正確に表現するための一つの手法として、ＡＮＤ検索を実行可能にするものである。なお、実施の形態４に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【０１１９】
図１１は、実施の形態４に係る画像検索装置において用いられる検索ウインドウ２００ｄを示す説明図である。この検索ウインドウ２００ｄは、画像指定欄Ａ，ＢおよびＣ，検索ボタン２０１ならびに画像表示欄２０２に加え、ＡＮＤ検索の実行を指定するためのＡＮＤ指定ボタン２０５およびＯＲ検索の実行を指定するためのＯＲ指定ボタン２０６を備えている。ＯＲ検索については、後述する実施の形態８において詳細に説明することにし、ここではＡＮＤ検索についてのみ説明する。また、検索の際に用いる特徴量は一種類であるものとするが、当然、複数種類の特徴量を用いることにしても良い。
【０１２０】
続いて、実施の形態４に係る画像検索装置による画像検索処理について説明する。図１２は、実施の形態４に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定し、ＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ４０１）。図１１に示したように、ユーザは、３枚の問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０１２１】
続いて、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ４０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１２２】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ４０３）。
【０１２３】
このステップＳ４０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、検索対象の画像と問合せ画像Ｃとの距離を求める。
【０１２４】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、画像間の距離式をＤ（）とすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【０１２５】
【数４】
0004340367.tif 000005
【０１２６】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１２７】
なお、複数種類の特徴量を用いて検索を行う場合は、各種類の特徴量毎に検索対象の画像および各問合せ画像の類似度（距離）を求め、検索対象の画像毎に、特徴量毎に求めた各問合せ画像との類似度の全てを合計して総合類似度を求めれば良い。
【０１２８】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ４０４）。ここでの総合類似度は、問合せ画像Ａ，ＢおよびＣの全てに対する検索対象の各画像の類似度を意味しているため、画像のＡＮＤ検索が実行されたことになる。ただし、ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１２９】
そして、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１３０】
このように、実施の形態４に係る画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ＡＮＤ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０１３１】
なお、実施の形態４の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０１３２】
〔実施の形態５〕
実施の形態５に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。
【０１３３】
図１３は、実施の形態５に係る画像検索装置において用いられる検索ウインドウ２００ｅを示す説明図である。図１３に示す検索ウインドウ２００ｅは、図１１に示した検索ウインドウ２００ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各問合せ画像毎に相対的な重要度を指定する重要度指定バー２０７を備えている。
【０１３４】
この重要度指定バー２０７は、実施の形態３で説明したように、各問合せ画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。したがって、ユーザが重要と考える問合せ画像に対して「＋」の重要度を指定し、このような画像に類似する画像は検索結果として欲しくないと考える場合は該当する問合せ画像に対して「−」の重要度を指定することができる。指定した重要度は、求めた類似度に対する重み付けとして検索結果に反映される。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０１３５】
つぎに、実施の形態５に係る画像検索装置による画像検索処理について説明する。図１４は、実施の形態５に係る検索処理を示すフローチャートである。ユーザは、図１３に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に必要に応じて重要度を指定し、さらにＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ５０１）。図１３に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、指定した各問合せ画像Ａ，ＢおよびＣ毎に任意の重要度を指定したものとする。
【０１３６】
そして、ユーザが図１３の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ５０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１３７】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ５０３）。
【０１３８】
このステップＳ５０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｅにおいて指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。
【０１３９】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、画像間の距離式をＤ（）、ｋ番目の画像の重要度をｗkとすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【０１４０】
【数５】
0004340367.tif 000006
【０１４１】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１４２】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１３の画像表示欄２０２に表示する（Ｓ５０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１４３】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１４４】
このように、実施の形態５に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０１４５】
なお、実施の形態５の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０１４６】
〔実施の形態６〕
実施の形態６に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。
【０１４７】
図１５は、実施の形態６に係る画像検索装置において用いられる検索ウインドウ２００ｆを示す説明図である。図１５に示す検索ウインドウ２００ｆは、図１１に示した検索ウインドウ２００ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各問合せ画像Ａ，ＢおよびＣ毎に、検索に使用される特徴量の種類毎の重要度を指定する重要度指定バー２０８を備えている。なお、検索に使用される特徴量としては、一例として、色，構造およびテクスチャの３種類を用いるものとする。
【０１４８】
重要度指定バー２０８は、各種類の特徴量毎の重要度を各問合せ画像毎に指定することを可能とするものであって、実施の形態３の重要度指定バー２０４（図９参照）で説明したように「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０１４９】
具体的に、この重要度の指定方法を図１５の問合せ画像Ａを例にとって説明する。例えば、問合せ画像Ａにおける配色は検索結果として希望する画像に近いと考える場合、ユーザは色の重要度指定バー２０８を操作して「＋」の重要度を指定する。一方、問合せ画像Ａにおける構造は検索結果として希望する画像とはほとんど似ていないと考える場合、ユーザは構造の重要度指定バー２０８を操作して「−」の重要度を指定する。
【０１５０】
そして、後に説明する検索処理において、問合せ画像Ａと検索対象の画像の類似度が色の特徴量，構造の特徴量およびテクスチャの特徴量毎に求められる。上記例においては、色の特徴量に「＋」の重要度が、構造の特徴量に「−」の特徴量が指定されているため、色の特徴量を用いて求めた類似度に対して「＋」の重要度に応じた「＋」の重み付けが行われ、構造の特徴量を用いて求めた類似度に対して「−」の重要度に応じた「−」の重み付けが行われる。この処理は、検索対象の各画像との類似度に対して実行される。
【０１５１】
問合せ画像ＢおよびＣについても、上述した特徴量毎の重要度を指定することにより、問合せ画像Ａのような処理が実行されることになる。
【０１５２】
このように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することにより、検索に対するユーザの意図を確実に装置側に伝えることが可能となる。そして、検索処理によって、重要度は各種類の特徴量毎に求めた類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。なお、必ず重要度を指定しなければならないわけではなく、ユーザが希望する場合に、希望する問合せ画像の任意の特徴量に対して指定すれば良い。
【０１５３】
つぎに、実施の形態６に係る画像検索装置による画像検索処理について説明する。図１６は、実施の形態６に係る検索処理を示すフローチャートである。ユーザは、図１５に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に特徴量の種類毎の重要度を指定し、さらにＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ６０１）。図１５に示したように、ユーザは、問合せ画像Ａ，ＢおよびＣを指定し、各種類の特徴量毎の重要度を各問合せ画像Ａ，ＢおよびＣ毎に指定したものとする。
【０１５４】
そして、ユーザが図１５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ６０２）。その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１５５】
続いて、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ６０３）。
【０１５６】
このステップＳ６０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｆにおいて問合せ画像Ａに対して指定された色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、検索ウインドウ２００ｆで問合せ画像Ａに対して指定された構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０１５７】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０１５８】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、特徴量ｊの画像間の距離式をＤj（）、ｋ番目の画像の特徴量ｊの重要度をｗjkとすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【０１５９】
【数６】
0004340367.tif 000007
【０１６０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１６１】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１５の画像表示欄２０２に表示する（Ｓ６０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１６２】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１６３】
このように、実施の形態６に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０１６４】
なお、実施の形態６の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０１６５】
〔実施の形態７〕
実施の形態７に係る画像検索装置は、実施の形態４の画像検索装置において、検索に対するユーザの意図を装置側が汲み取ることができるようにしたものである。
【０１６６】
前述した実施の形態５および６においては、ユーザが問合せ画像の重要度または問合せ画像毎に各特徴量の重要度を指定する必要があったが、実施の形態７に係る画像検索装置においては、画像検索に使用する特徴量を用いてユーザによって指定された問合せ画像間の類似度を求め、求めた特徴量毎の類似度に基づいて各問合せ画像間における特徴量毎の重要度を装置側で決定し、類似度に対する重み付けとして反映するという点が特徴となる。ここでは、例として、色，構造およびテクスチャの３種類の特徴量を用いて検索処理を行うものとし、検索条件を指定するための検索ウインドウは図１１に示した検索ウインドウ２００ｄと同一であるものとする。
【０１６７】
つぎに、実施の形態７に係る画像検索装置による画像検索処理について説明する。図１７は、実施の形態７に係る検索処理を示すフローチャートである。ユーザは、図１１に示した検索ウインドウ２００ｄを表示させ、各画像指定欄に問合せ画像を複数指定すると共に、ＡＮＤ指定ボタン２０５を選択してＡＮＤ条件による画像検索処理を指定する（Ｓ７０１）。ユーザは、問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０１６８】
そして、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ７０２）。
【０１６９】
続いて、特徴抽出エンジン１５２は、抽出した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ同士の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する（Ｓ７０３）。
【０１７０】
具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、問合せ画像同士の特徴間距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするように設定する。
【０１７１】
例えば、σ2を特徴ｉにおける全ての問合せ画像間の距離の分散とするとｉ番目の特徴量の重要度ｗkは以下の式で決定することができる。ｋはｗkが適正な値に収まるようにするための任意の係数である。
【０１７２】
【数７】
0004340367.tif 000008
【０１７３】
なお、距離の分散の程度に応じて、前述した実施の形態３，５および６で説明したように、「＋」の重要度や「−」の重要度を設定することも可能である。
【０１７４】
その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量および対応する重要度をマッチング・エンジン１５３に渡す。
【０１７５】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度を合計して検索対象の画像の総合類似度を求める処理を実行する（Ｓ７０４）。
【０１７６】
このステップＳ７０４における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０１７７】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０１７８】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１７９】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ７０５）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣとの特徴量間の距離の合計を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１８０】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１８１】
このように、実施の形態７に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行うことにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。
【０１８２】
なお、実施の形態７の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０１８３】
〔実施の形態８〕
実施の形態８に係る画像検索装置は、ユーザの意図を検索条件として正確に表現するための一つの手法として、ＯＲ検索を実行可能にするものである。実施の形態８に係る画像検索装置による画像検索処理は、実施の形態４で説明に用いた図１１の検索ウインドウ２００ｄにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０１８４】
図１８は、実施の形態８に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定し、ＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ８０１）。ユーザは、図１１に示すように３枚の問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０１８５】
そして、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ８０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０１８６】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求めると共に、求めた各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ８０３）。
【０１８７】
このステップＳ８０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて検索対象の画像と問合せ画像Ｂとの距離を求めると共に、検索対象の画像と問合せ画像Ｃとの距離を求める。
【０１８８】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。換言すれば、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択する。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、画像間の距離式をＤ（）とすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【０１８９】
【数８】
0004340367.tif 000009
【０１９０】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０１９１】
なお、複数種類の特徴量を用いて検索を行う場合は、各種類の特徴量毎に検索対象の画像および各問合せ画像の類似度（距離）を求め、検索対象の画像毎に、各種類の特徴量毎に求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度（最も短い距離）を選択して総合類似度とすれば良い。
【０１９２】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ８０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０１９３】
なお、実施の形態８においては、検索対象の画像が問合せ画像Ａ，ＢおよびＣのいずれか一つと類似していれば、高い類似性を示す総合類似度が得られる。したがって、ＯＲ検索が実現されることになる。
【０１９４】
また、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０１９５】
このように、実施の形態８に係る画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度を選択し、選択した類似度に基づいて検索結果を出力することにより、ＯＲ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０１９６】
なお、実施の形態８の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０１９７】
〔実施の形態９〕
実施の形態９に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。実施の形態９に係る画像検索装置による画像検索処理は、実施の形態５で説明に用いた図１３の検索ウインドウ２００ｅにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０１９８】
図１９は、実施の形態９に係る画像検索処理を示すフローチャートである。ユーザは、図１３に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像毎に必要に応じて重要度を指定し、さらにＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ９０１）。ユーザは、図１３に示したように問合せ画像Ａ，ＢおよびＣを指定し、指定した各問合せ画像Ａ，ＢおよびＣ毎に任意の重要度を指定したものとする。
【０１９９】
そして、ユーザが図１３の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから所定の特徴量を抽出する処理を実行する（Ｓ９０２）。その後、特徴抽出エンジン１５２は、抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０２００】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、所定の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ９０３）。
【０２０１】
このステップＳ９０３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、所定の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｅで指定された問合せ画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を求め、求めた距離に対して問合せ画像Ｂの重要度に応じた重み付けを行うと共に、検索対象の画像と問合せ画像Ｃとの距離を求め、求めた距離に対して問合せ画像Ｃの重要度に応じた重み付けを行う。
【０２０２】
その後、マッチング・エンジン１５３は、検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。ここで、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、画像間の距離式をＤ（）、ｋ番目の画像の重要度をｗkとすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【０２０３】
【数９】
0004340367.tif 000010
【０２０４】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０２０５】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１３の画像表示欄２０２に表示する（Ｓ９０４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２０６】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０２０７】
このように、実施の形態９に係る画像検索装置によれば、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０２０８】
なお、実施の形態９の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０２０９】
〔実施の形態１０〕
実施の形態１０に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図をさらに正確に表現できるようにしたものである。実施の形態１０に係る画像検索装置による画像検索処理は、実施の形態６で説明に用いた図１５の検索ウインドウ２００ｆにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０２１０】
図２０は、実施の形態１０に係る画像検索処理を示すフローチャートである。ユーザは、図１５に示した各画像指定欄に問合せ画像を複数指定すると共に、指定した各問合せ画像に特徴量の種類毎の重要度を指定し、さらにＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ１００１）。ユーザは、図１５に示したように問合せ画像Ａ，ＢおよびＣを指定し、各種類の特徴量毎の重要度を各問合せ画像Ａ，ＢおよびＣ毎に指定したものとする。
【０２１１】
そして、ユーザが図１５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ１００２）。その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０２１２】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ１００３）。
【０２１３】
このステップＳ１００３における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、検索ウインドウ２００ｆにおいて問合せ画像Ａに対して指定された色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、検索ウインドウ２００ｆで問合せ画像Ａに対して指定された構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０２１４】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、問合せ画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０２１５】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。ここで、特徴量の数をＮ、問合せ画像の数をＭ、ｋ番目の問合せ画像をＱk、検索対象の画像をＩi、特徴量ｊの画像間の距離式をＤj（）、ｋ番目の画像の特徴量ｊの重要度をｗjkとすると、検索対象の各画像毎の総合類似度Ｓiは以下のように表わされる。
【０２１６】
【数１０】
0004340367.tif 000011
【０２１７】
マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０２１８】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１５の画像表示欄２０２に表示する（Ｓ１００４）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２１９】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０２２０】
このように、実施の形態１０に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行うことにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０２２１】
なお、実施の形態１０の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０２２２】
〔実施の形態１１〕
実施の形態１１に係る画像検索装置は、実施の形態８の画像検索装置において、検索に対するユーザの意図を装置側が汲み取ることができるようにしたものである。実施の形態１１に係る画像検索装置による画像検索処理は、実施の形態８（実施の形態４）で説明に用いた図１１の検索ウインドウ２００ｄにおいて、ＡＮＤ指定ボタン２０５ではなく、ＯＲ指定ボタン２０６が指定された場合に実行される。
【０２２３】
図２１は、実施の形態１１に係る画像検索処理を示すフローチャートである。ユーザは、図１１に示した各画像指定欄に問合せ画像を複数指定すると共に、ＯＲ指定ボタン２０６を選択してＯＲ条件による画像検索処理を指定する（Ｓ１１０１）。ユーザは、図１１に示したように問合せ画像Ａ，ＢおよびＣを指定したものとする。
【０２２４】
その後、ユーザが図１１の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像Ａ，ＢおよびＣを特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、各問合せ画像Ａ，ＢおよびＣから色，構造およびテクスチャの３種類の特徴量を抽出する処理を実行する（Ｓ１１０２）。
【０２２５】
続いて、特徴抽出エンジン１５２は、抽出した３種類の特徴量毎に、各問合せ画像Ａ，ＢおよびＣ同士の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各問合せ画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する（Ｓ１１０３）。
【０２２６】
具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、ユーザが指定した複数の問合せ画像同士の特徴間距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするように設定する。例えば、各特徴量の重要度は、実施の形態７で示した数７を用いて決定することができる。
【０２２７】
その後、特徴抽出エンジン１５２は、３種類の特徴量毎に抽出した各問合せ画像の特徴量および対応する重要度をマッチング・エンジン１５３に渡す。
【０２２８】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、３種類の特徴量を用いて各問合せ画像Ａ，ＢおよびＣとの類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各問合せ画像Ａ，ＢおよびＣとの類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求める処理を実行する（Ｓ１１０４）。
【０２２９】
このステップＳ１１０４における処理を検索対象の一つの画像を例にとって具体的に説明する。マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、色の特徴量を用いて類似度を求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、検索対象の画像と問合せ画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離をそれぞれ求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０２３０】
マッチング・エンジン１５３は、同様に、検索対象の画像と問合せ画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、検索対象の画像と問合せ画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０２３１】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた検索対象の画像と各問合せ画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする。マッチング・エンジン１５３は、このようにして検索対象の画像毎に総合類似度を求め、検索対象の画像毎の総合類似度をＵ／Ｉ部１５１に出力する。
【０２３２】
Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎の総合類似度を参照し、例えば総合類似度の高い順に検索対象の画像を図１１の画像表示欄２０２に表示する（Ｓ１１０５）。ここでは総合類似度として検索対象の画像と問合せ画像Ａ，ＢおよびＣのいずれか一つとの特徴量間の距離を用いているため、実際には、総合類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、総合類似度は０以上の値を持ち、総合類似度が０のときはいずれか一つの問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２３３】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。
【０２３４】
このように、実施の形態１１に係る画像検索装置によれば、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行うことにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。
【０２３５】
なお、実施の形態１１の説明において、問合せ画像として３枚の画像を用いたが、問合せ画像の枚数は３枚に限定されるものではない。また、特徴量の種類は、色，構造およびテクスチャの３種類に限定されるものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０２３６】
〔実施の形態１２〕
実施の形態１２に係る画像検索装置は、前述した実施の形態１〜１１と異なる視点で画像検索を行うことを可能にするものである。なお、実施の形態１２に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【０２３７】
実施の形態１２に係る画像検索装置は、検索時に使用する特徴量の粗さのレベル（視点の細かさ）をユーザが指定できるようにし、ユーザによって指定された粗さのレベルに対応する特徴量を利用して、問合せ画像および検索対象の画像の類似度を求めるというものである。ここで、特徴量の粗さとは、画像から抽出された特徴量が、抽出対象の画像の所定の特徴をどの程度忠実に表現しているかの度合いを示すものであると定義することにする。そこで、以下では、
１．特徴量抽出処理
２．画像検索処理
の順で実施の形態１２に係る画像検索装置によって実行される処理について説明する。
【０２３８】
１．特徴量抽出処理
ここでは、検索対象の画像については粗さの異なる複数の特徴量を予め抽出しておくことにし、問合せ画像のうち、特徴量が抽出されていない問合せ画像については検索実行時に特徴量を抽出することにする。検索対象の画像から特徴量を抽出するタイミングは、実施の形態１で説明したように、検索対象の画像を画像ＤＢ１０８に登録するときとする。そこで、図３を参照しつつ各画像から特徴量を抽出する処理について説明する。
【０２３９】
図２の特徴抽出エンジン１５２は、Ｕ／Ｉ部１５１を介して登録対象となる画像を入力し（Ｓ１１）、入力した画像から特徴量を抽出する処理を実行する（Ｓ１２）。
【０２４０】
実施の形態１２においては、例えば、少なくとも画像を何分割するかを表す分割数を特徴量の粗さのレベルとして段階的に定義した抽出基準に基づいて、特徴抽出エンジン１５２が画像から粗さの異なる特徴量を抽出できるようにしている。具体的に、抽出基準として例えば以下のような特徴量の粗さのレベルが定義されており、特徴抽出エンジン１５２は、ステップＳ１１で入力した画像から同一の特徴（色，構造等）について異なる粗さのレベルの特徴量を抽出する。なお、抽出される特徴量は粗さが異なるのみであって、特徴量の種類（例えば、色，構造等）は同一である
【０２４１】
・レベル１：図２２（ａ）に示すように、画像全体から特徴量１を抽出する。
・レベル２：図２２（ｂ）に示すように、画像を４分割して分割画像Ａ〜Ｄを生成し、各分割画像Ａ〜Ｄからそれぞれ特徴量Ａ〜Ｄを抽出することにより、一つの画像から特徴量Ａ〜Ｄからなる特徴量２（特徴量群）を抽出する。
・レベル３：図２２（ｃ）に示すように、画像を８分割して分割画像Ａ〜Ｈを生成し、各分割画像Ａ〜Ｈからそれぞれ特徴量Ａ〜Ｈを抽出することにより、一つの画像から特徴量Ａ〜Ｈからなる特徴量３（特徴量群）を抽出する。
・レベル４：図２２（ｄ）に示すように、画像を１６分割して分割画像Ａ〜Ｐを生成し、各分割画像Ａ〜Ｐからそれぞれ特徴量Ａ〜Ｐを抽出することにより、一つの画像から特徴量Ａ〜Ｐからなる特徴量４（特徴量群）を抽出する。
【０２４２】
ここで、画像の構造（エッジ）および色（色ヒストグラム）を特徴量として抽出する処理を例にとって、画像からレベル１〜４の特徴量を抽出する処理を具体的に説明する。
【０２４３】
（１）構造
▲１▼  レベル１
例えばｓｏｂｅｌのようなエッジ抽出フィルタを用いて、ステップＳ１１で入力した画像からエッジ情報を抽出する。抽出したエッジ情報から、エッジの位置，エッジの強度および方向を得ることができる。エッジの強度については適当な閾値で２値化し、上下左右斜め方向のエッジ成分のエッジ画像データを得る。一例として、図２３に示す画像から得た上下左右斜め方向のエッジ成分のエッジ画像データを図２４（ａ）〜図２４（ｄ）に示す。
【０２４４】
図２４（ａ）〜図２４（ｄ）のエッジ画像データについて、エッジ部分を黒画素、その他を白画素と仮定し、
・画像全体に対する黒画素の割合
・黒画素の重心
・黒画素の分散
・黒画素の連結矩形のサイズの平均
・黒画素の連結矩形のサイズの分散
というようなエッジ情報を各エッジ画像データから抽出し、これを画像全体の構造の特徴量１とする。
【０２４５】
▲２▼  レベル２
図２４（ａ）〜図２４（ｄ）のエッジ画像データをそれぞれ図２２（ｂ）に示すように分割画像Ａ〜Ｄに分割し（４分割）、各分割画像Ａ〜Ｄから▲１▼で説明したエッジ情報を抽出して分割画像単位の構造の特徴量Ａ〜Ｄを得る。その結果、特徴量Ａ〜Ｄからなる特徴量２を画像から抽出することができる。
【０２４６】
▲３▼  レベル３および４
また、レベル３については図２４（ａ）〜図２４（ｄ）のエッジ画像データをそれぞれ図２２（ｃ）に示したように分割画像Ａ〜Ｈに分割し（８分割）、レベル４については図２２（ｄ）に示したように分割画像Ａ〜Ｐに分割し（１６分割）、レベル２の場合と同様の方法でそれぞれ特徴量Ａ〜Ｈからなる特徴量３および特徴量Ａ〜Ｐからなる特徴量４を画像から抽出することができる。
【０２４７】
（２）色
つぎに、画像の色（色ヒストグラム）を特徴量として抽出する処理を説明する。
【０２４８】
▲１▼  レベル１
適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選択して複数の領域に分割し、ステップＳ１１で入力した画像の各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を画像全体のピクセル数で正規化することによって図２２（ａ）に示した画像全体を対象とした特徴量１を抽出する。
【０２４９】
▲２▼  レベル２
適当な色空間（例えばＬａｂ，Ｌｕｖ，ＨＳＶ等）を選択して複数の領域に分割すると共に、ステップＳ１１で入力した画像を図２２（ｂ）に示したように分割画像Ａ〜Ｄに分割する（４分割）。そして、分割画像Ａの各ピクセルが色空間中のどの領域に対応するかを調べ、領域毎のピクセル数を分割画像Ａ全体のピクセル数で正規化することによって特徴量Ａを抽出することができる。他の分割画像Ｂ〜Ｄについても同様な処理を行ってそれぞれ特徴量Ｂ〜Ｄを抽出し、特徴量Ａ〜Ｄからなる特徴量２をステップＳ１１で入力した画像から抽出する。
【０２５０】
▲３▼  レベル３およびレベル４
レベル３についてはステップＳ１１で入力した画像を図２２（ｃ）に示したように分割画像Ａ〜Ｈに分割し（８分割）、レベル４については図２２（ｄ）に示したように分割画像Ａ〜Ｐに分割し（１６分割）、レベル２の場合と同様の方法でそれぞれ特徴量Ａ〜Ｈからなる特徴量３および特徴量Ａ〜Ｐからなる特徴量４を画像から抽出する。
【０２５１】
このように、分割数を変化させて同一の画像から特徴量を抽出することにより、例えば、ある画像は全体的には青であるが、詳細に見ると青と少しの赤が混じっているといったような、視点の細かさに依存した特徴量を抽出することができる。例えば、青を中心とする画像中のいずれの位置に赤が分散しているかという情報を含む特徴量を抽出することができる。
【０２５２】
このようにして、ステップＳ１１で入力した画像から各レベルの特徴量を抽出した後、図３のフローチャートに示すように、特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する元の画像に関連付けて、抽出した特徴量を画像特徴ＤＢ１０９に登録する（Ｓ１３）。
【０２５３】
なお、ここでは、画像の構造および色の特徴を特徴量として抽出することを例にとって説明したが、他の種類の特徴を特徴量として抽出することにしても良い。また、例えば画像を４分割するといった場合であっても、図２２（ｂ）に示した分割方法以外にも様々な方法が考えられる（例えば、画像を縦長または横長に４分割する等）。したがって、分割方法は任意に設定することが可能である。
【０２５４】
２．画像検索処理
図２５は、実施の形態１２に係る画像検索装置で使用される検索ウインドウ２００ｇの一例を示す説明図である。検索ウインドウ２００ｇは、画像指定欄Ａ〜Ｃ，検索ボタン２０１および画像表示欄２０２に加え、検索に使用する特徴量の種類を指定する特徴指定欄２０９と、特徴指定欄２０９で指定された種類の特徴量のうち、いずれのレベル（粗さ）の特徴量を用いるかを指定する粗さレベル指定欄２１０と、を備えている。特徴指定欄２０９では、例えば構造の特徴量および色の特徴量のいずれか一方または両方を指定することができ、粗さレベル指定欄２１０では、例えばレベル１〜４の少なくとも一つを指定することができるものとする。粗さレベル指定欄２１０で指定可能なレベルは、前述した特徴量の抽出基準の各レベルに対応している。
【０２５５】
なお、特徴指定欄２０９において、いずれの特徴量も指定されなかった場合には、構造および色の両方の特徴量を用いて検索処理が行われるものとし、粗さレベル指定欄２１０においていずれのレベルも指定されなかった場合には、全てのレベルの特徴量を用いて検索処理が行われるものとする。また、使用可能な種類の特徴量を全て指定できるようにするため、特徴指定欄２０９に「全て」というボタンを用意することにしても良い。同様に、レベルを全て指定できるようにするため、粗さレベル指定欄２１０に「全て」というボタンを用意することにしても良い。
【０２５６】
続いて、実施の形態１２に係る画像検索処理について説明する。なお、ここでは、検索ウインドウ２００ｇにおける検索条件の指定の仕方に応じて異なる処理が行われることになることから、最初に図２６のフローチャートを参照しつつ画像検索処理の概略を説明した後、異なる検索条件毎に場合分けして個別に説明することにする。
【０２５７】
（１）画像検索処理の概略
まず、実施の形態１２に係る画像検索処理の概略を説明する。ユーザは、図２５に示した画像指定欄に問合せ画像を少なくとも一つ指定すると共に、特徴指定欄２０９および粗さレベル指定欄２１０において、検索時に使用する特徴量の種類および使用する特徴量の粗さのレベルを指定する（Ｓ１２０１）。
【０２５８】
続いて、ユーザが図２５の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像，特徴量の種類および粗さのレベルの種類を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、指定された特徴量の種類および粗さのレベルに応じて問合せ画像から特徴量を抽出する（Ｓ１２０２）。ただし、ユーザによって指定された問合せ画像から既に特徴量が抽出されている場合には、このステップＳ１２０２の処理をスキップすることができる。また、検索対象の画像について特徴量を抽出していない場合は、この時点で特徴量を抽出することにしても良い。その後、特徴抽出エンジン１５２は、抽出した問合せ画像の特徴量をマッチング・エンジン１５３に渡す（図４の特徴空間にそれぞれマップする）。
【０２５９】
マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、検索ウインドウ２００ｇにおいて指定されたレベルの特徴量を用いて問合せ画像との類似度を求める処理を実行する（Ｓ１２０３）。すなわち、マッチング・エンジン１５３は、該当するレベルの特徴量に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像との距離を各特徴毎に定義された距離定義式を用いて求める。
【０２６０】
特徴量Ｆは通常、ベクトルとしてＦ＝｛ｆ１，ｆ２，ｆ３，・・・，ｆｎ｝であらわされ、画像ａ、ｂから抽出した特徴量をそれぞれＦａ、Ｆｂとすると、以下の数１１で示す差分距離式Ｄ（Ｆａ，Ｆｂ）が一般に距離定義式として用いられる。
【０２６１】
【数１１】
0004340367.tif 000012
【０２６２】
「構造」、「色」の特徴量の場合にもこの距離式が利用できるが、「構造」での「画像全体に対する黒画素の割合」をヒストグラムとして特徴量とした場合には、画像中のエッジが十分にある場合には適切な類似度を得ることが可能であるが、画像中のエッジが少ない場合には適切な類似度を得られない。
【０２６３】
人間のエッジに対する類似感覚では、たとえば画像中にエッジがない画像と少しでもある画像の場合には大きな違いを感じるが、画像が十分にエッジを持っている場合には、その量が多少異なっていてもその違いには鈍感である。そこで、差分距離式よりも距離の精度を高めるためにヒストグラムを全エッジ画素数で正規化する（正規化距離式）ことによって、この問題を解決することが可能である。
【０２６４】
つまり、ヒストグラムの要素は以下の式で与えられる。
ｆｏｉ＝ｆｉ／Ｎ
なお、ｆｏｉは正規化されたヒストグラムの要素である。また、全画素数Ｎは、数１２の式で与えられる。
【０２６５】
【数１２】
0004340367.tif 000013
【０２６６】
なお、ベクトル要素がすべて０でＳ＝０の時は正規化はおこなわない。つまり、正規化距離式は数１３の式で与えられる。
【０２６７】
【数１３】
0004340367.tif 000014
【０２６８】
画像中のエッジが少ない場合には上記式が有効であるが、多い場合には従来のヒストグラムの方が適切な類似度を得ることができる。そこで、エッジが多い場合には従来式に近い計算式になり、少ない場合には上記式に近い計算式になるような数１４の式を考案した。
【０２６９】
【数１４】
0004340367.tif 000015
【０２７０】
なお、正規化のための値を全画素数により以下の数１５のように変動させる。
【０２７１】
【数１５】
0004340367.tif 000016
ｋは定数であり、対象とする画像集合によって適宜指定する。
【０２７２】
以上のような計算を検索時に行うだけでなく、予め特徴量の抽出時に正規化や半正規化で得られるベクトルに変換してデータベースに登録することで、検索時には単純な差分式を用いて距離を求めることができ、高速な検索をおこなうことも可能である。
【０２７３】
上記半正規化式により画像中のエッジの多い少ないに関わらず適切な類似度を算出することができるが、検索時に計算する場合には式が複雑な分、時間がかかるという問題がある。そこで、エッジ数および要求される検索速度に従い従来の差分距離式と正規化距離式を選択し算出する。
【０２７４】
たとえば、以下のように場合分けが可能である。
１）両方の画像のエッジ割合がある閾値Ａ以上の場合
差分距離式を選択
２）どちらか一方が閾値Ａより下の場合
ａ）高速性が要求される場合
差分距離式を選択
ｂ）高速性が要求されない場合
正規化距離式を利用
【０２７５】
ただし、この方式では場合分けにより、異なる式を選択するので結果として得られる距離空間は距離の公理を満たさない。距離の公理を満たす必要がある場合には半正規化式が望ましい。
【０２７６】
続いて、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。ただし、ここでは類似度として検索対象の画像と問合せ画像との特徴量間の距離を用いているため、実際には、類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、類似度は０以上の値を持ち、類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０２７７】
（２）画像検索処理の具体例
つぎに、前述した図２６のフローチャートに対応させつつ、
▲１▼  一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」が指定された場合
▲２▼  一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」が指定された場合
▲３▼  一つの問合せ画像，特徴量として「色」および粗さレベルとして二つ以上のレベルが指定された場合
▲４▼  複数種類の特徴量が指定された場合
▲５▼  複数の問合せ画像が指定された場合
の順で具体的に実施の形態１２に係る画像検索処理を説明する。
【０２７８】
▲１▼  一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」が指定された場合
図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル１」を指定したものとする（Ｓ１２０１）。
【０２７９】
特徴抽出エンジン１５２は、図２２（ａ）に示すように、問合せ画像全体を対象として、特徴量「色」について「レベル１」に該当する特徴量である「特徴量１」を抽出する（Ｓ１２０２）。
【０２８０】
そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量１に基づいて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。具体的には、該当する特徴量１に基づいて図４に示した特徴量空間中にプロットされた検索対象の画像と問合せ画像との距離を各特徴毎に定義された距離定義式を用いて求める。
【０２８１】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０２８２】
このように、レベル１のような粗さの特徴量を選択して画像検索処理を実行することができるようにすることにより、例えば、色の特徴量を用いて検索を
場合にあっては、全体的に青い画像を検索するというような検索処理を実行することが可能となる。
【０２８３】
なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合であっても、同様な処理で検索処理を行うことができる。
【０２８４】
▲２▼  一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」が指定された場合
図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および粗さレベルとして「レベル２」を指定したものとする（Ｓ１２０１）。
【０２８５】
特徴抽出エンジン１５２は、図２２（ｂ）に示すように、問合せ画像を分割画像Ａ〜Ｄに分割し、各分割画像Ａ〜Ｄからそれぞれ「色」の特徴量Ａ〜Ｄを抽出する（Ｓ１２０２）。その結果、特徴量「色」について「レベル２」に該当する特徴量であって、特徴量Ａ〜Ｄからなる「特徴量２」が問合せ画像から抽出されることになる。
【０２８６】
そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量２に基づいて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。具体的には、検索対象の画像および問合せ画像の分割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士および分割画像Ｄ同士の類似度を求める。より詳細には、特徴抽出エンジン１５２において抽出された特徴量２に基づいて、図４に示した特徴量空間中にプロットされた分割画像Ａ同士，分割画像Ｂ同士，分割画像Ｃ同士および分割画像Ｄ同士の距離を各特徴毎に定義された距離定義式を用いて求める。ここでは分割画像Ａ〜Ｄのそれぞれについて類似度を求めることになるため、４つの類似度を得ることになる。
【０２８７】
続いて、マッチング・エンジン１５３は、求めた４つの類似度を用いて、検索対象の画像および問合せ画像の類似度を決定する。類似度の決定方法としては、例えば以下のような方法が考えられる。
▲２▼−１  ４つの類似度の二乗和により検索対象の画像および問合せ画像の類似度を決定する。
▲２▼−２  ４つの類似度を合計することにより、検索対象の画像および問合せ画像の類似度を決定する（ＡＮＤ検索参照）。
▲２▼−３  ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像および問合せ画像の類似度を決定する（ＯＲ検索参照）。
なお、▲２▼−１〜▲２▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
【０２８８】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０２８９】
このように、レベル２のような粗さの特徴量を選択して画像検索処理を実行することができるようにすることにより、例えば、色の特徴量を用いて検索を行う場合にあっては、全体的に青いがある部分には赤が混じっている画像を検索するというような検索処理を実行することが可能となる。すなわち、どの色が画像のどの位置に存在するかを踏まえた検索処理が可能となり、画像全体を対象として抽出した特徴量（レベル１）を用いた検索では行うことができない細かい視点で検索処理を行うことができる。
【０２９０】
なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合にあっても、同様な処理で検索処理を行うことができる。また、粗さレベルのレベル３および４が指定された場合であっても、前述したレベル２の処理と同様な処理で検索処理を行うことが可能であるため、ここでは説明を省略する。
【０２９１】
▲３▼  一つの問合せ画像，特徴量として「色」および粗さレベルとして二つ以上のレベルが指定された場合
ここでは、粗さレベルとして二つ以上のレベルが指定された場合の一例として、粗さレベルが全て指定された場合に基づいて画像検索処理を説明する。そこで、図２５に示した検索ウインドウ２００ｇにおいて、ユーザが、一つの問合せ画像，特徴量として「色」および全ての粗さレベルを指定したものとする（Ｓ１２０１）。前述したように、粗さレベル指定欄２１０においていずれのレベルも指定しない場合または全てのレベルを指定した場合に、粗さレベルを全て指定したことになる。
【０２９２】
特徴抽出エンジン１５２は、図２２（ａ）〜図２２（ｄ）に示すように、検索ウインドウ２００ｇにおいて指定された問合せ画像から、レベル１〜４に応じて特徴量１〜４を抽出する（Ｓ１２０２）。なお、レベル１に対応する特徴量１は▲１▼の項で説明した方法で、レベル２〜４に対応する特徴量２〜４は▲２▼の項で説明した方法で抽出することができる。
【０２９３】
そして、マッチング・エンジン１５３は、特徴抽出エンジン１５２において抽出された問合せ画像および検索対象の画像の特徴量１〜４を用いて、検索対象の画像毎に問合せ画像との類似度を求める（Ｓ１２０３）。ここでは、各特徴量（レベル）毎に検索対象の画像および問合せ画像の類似度を求めることになり、その結果、検索対象の画像毎に問合せ画像に対する４つの類似度が得られることになる。なお、特徴量１（レベル１）を用いて検索対象の画像および問合せ画像の類似度を求める処理は、▲１▼の項で説明した処理と同様である。また、特徴量２〜４（レベル２〜４）を用いて検索対象の画像および問合せ画像の類似度を求める処理は、それぞれ▲２▼の項で説明した処理と同様である。
【０２９４】
続いて、マッチング・エンジン１５３は、検索対象の画像毎に各レベルに応じて求めた問合せ画像との４つの類似度を用いて、問合せ画像との最終的な類似度を決定する。最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
▲３▼−１  ４つの類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲３▼−２  ４つの類似度を合計することにより、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。
▲３▼−３  ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。
【０２９５】
▲３▼−１および▲３▼−２の方法で問合せ画像との最終的な類似度を決定することにする場合にあっては、例えば、全体的に青く、かつ、ある部分に赤が混じっている画像を検索するというような検索処理（ＡＮＤ検索）を実行することが可能となる。すなわち、全ての（二つ以上の）粗さのレベルの特徴量を用いるため、特定のレベルの特徴量のみを用いて検索を行う場合に比べて、高い精度で希望する画像を検索することができる。また、▲３▼−３の方法で問合せ画像との最終的な類似度を決定することにする場合にあっては、例えば、全体的に青い画像および全体的に青くある部分に赤が混じっている画像のいずれかを検索するというような検索処理（ＯＲ検索）を実行することが可能となる。
【０２９６】
なお、▲３▼−１〜▲３▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
【０２９７】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との類似度を参照し、例えば類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０２９８】
このように、粗さの異なる特徴量を複数選択して画像検索処理を実行することができるようにすることにより、特定の粗さの特徴量を一つ用いる場合に比べて、検索に対する視点が異なる様々な方法で検索処理を実行することが可能となる。なお、詳細な説明については省略するが、特徴量として「構造」や他の種類の特徴量が指定された場合にあっても、同様な処理で検索処理を行うことができる。
【０２９９】
▲４▼  複数種類の特徴量が指定された場合
特徴指定欄２０９において複数種類の特徴量が指定された場合、特徴抽出エンジン１５２は、検索ウインドウ２００ｇで指定された種類およびレベルの特徴量を問合せ画像からそれぞれ抽出する（Ｓ１２０２）。例えば、構造および色の特徴量が指定された場合、特徴抽出エンジン１５２は、問合せ画像から、構造の特徴量について該当する粗さレベルの特徴量を抽出すると共に、色の特徴量について該当するレベルの特徴量を抽出する（図２２参照）。
【０３００】
そして、マッチング・エンジン１５３は、検索対象の画像毎に、問合せ画像との類似度を特徴量の種類毎に求め、求めた特徴量の種類毎の類似度を用いて、問合せ画像との最終的な類似度を決定する（Ｓ１２０３）。
【０３０１】
最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
▲４▼−１  特徴量の種類毎に求めた類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲４▼−２  特徴量の種類毎に求めた類似度を合計することにより、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。この方法を用いる場合は、複数種類の特徴量に応じたＡＮＤ検索を実行することが可能となる。
▲４▼−３  特徴量の種類毎に求めた類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。この方法を用いる場合は、複数種類の特徴量に応じたＯＲ検索を実行することが可能となる。
なお、▲４▼−１〜▲４▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
【０３０２】
また、例えば、問合せ画像が一つ、構造および色の特徴量ならびに粗さレベル１および２が指定された場合には、検索対象の画像毎に、レベル１の構造の特徴量を用いて得た類似度，レベル２の構造の特徴量を用いて得た類似度，レベル１の色の特徴量を用いて得た類似度およびレベル２の色の特徴量を用いて得た類似度が得られることになる。このような場合、得られた全ての類似度を合計して問合せ画像との最終的な類似度を決定することにしても良いし（▲４▼−２（▲４▼−１）の方法を参照）、得られた類似度の中から最も高い（値の小さい）類似度を選択して問合せ画像との最終的な類似度を決定することにしても良い（▲４▼−３の方法を参照）。また、これに代えて、特徴量の種類毎に各レベルの類似度を合計し、または各レベルの類似度の中から最も高い（値の小さい）類似度を選択して、特徴量の種類毎の問合せ画像に対する類似度を求めた後、前述した▲４▼−１〜▲４▼−３のいずれかの方法を用いて問合せ画像との最終的な類似度を決定することにしても良い。
【０３０３】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０３０４】
▲５▼  複数の問合せ画像が指定された場合
複数の問合せ画像が指定された場合、特徴抽出エンジン１５２は、検索ウインドウ２００ｇで指定された種類およびレベルの特徴量を各問合せ画像からそれぞれ抽出する（Ｓ１２０２）。そして、マッチング・エンジン１５３は、▲１▼〜▲４▼のいずれかの項で説明したようにして検索対象の画像毎に各問合せ画像との類似度を求めた後、検索対象の画像の総合類似度を求める（Ｓ１２０３）。
【０３０５】
総合類似度を求める方法としては、例えば以下のような方法がある。
▲５▼−１  各検索対象の画像毎に、各問合せ画像との類似度の二乗和を総合類似度とする（ＡＮＤ検索の変形）。
▲５▼−２  各検索対象の画像毎に、各問合せ画像との類似度を合計して総合類似度とする（ＡＮＤ検索を参照）。この方法を用いる場合は、ＡＮＤ検索を実行することが可能となる。
▲５▼−３  各検索対象の画像毎に、各問合せ画像との類似度の中から最も高い（値の小さい）類似度を選択して総合類似度とする（ＯＲ検索を参照）。この方法を用いる場合は、ＯＲ検索を実行することが可能となる。
【０３０６】
なお、▲５▼−１〜▲５▼−３のいずれの方法を利用するかを検索ウインドウ２００ｇで指定することができるようにしても良い。
場合
【０３０７】
その後、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた総合類似度を参照し、例えば総合類似度の高い（値の小さい）順に検索対象の画像を図２５の画像表示欄２０２に表示する（Ｓ１２０４）。
【０３０８】
以上説明したように、実施の形態１２に係る画像検索装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。したがって、ユーザが望む通りの画像検索処理を行うことが可能となる。
【０３０９】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、特徴量の種類を構造および色としたが、構造のみ、または色のみを用いることにしても良いし、他の種類の特徴量を用いることにしても良い。また、複数の問合せ画像や複数種類の特徴量を指定する場合に、他の実施の形態で説明したように重要度を指定することができるようにしても良い。
【０３１０】
また、実施の形態１２においては、画像を何分割するかによって特徴量の粗さを定義することにしたが、画像のみではなく、画像中に存在するオブジェクトも特徴量の抽出対象とし、オブジェクトを何分割するかによってオブジェクト単位の特徴量の粗さを定義することにしても良い。画像中に存在するオブジェクトも特徴量の抽出対象とする場合の検索処理は、前述した検索処理と同様であるため、ここでは詳細な説明を省略する。
【０３１１】
さらに、前述したように、画像を分割して得た分割画像毎に特徴量を抽出することを利用して、以下のような画像検索処理を実現することも可能である。ここでは、説明の便宜上、画像を４分割する場合を例として、実施の形態１２に係る画像検索装置の変形例を説明する。
【０３１２】
（変形例１）
前述した実施の形態１２においては、問合せ画像および検索対象の画像の分割画像をそれぞれ一対一対応で比較して類似度を求めることにより、問合せ画像および検索対象の画像の類似度を求めていた。これに対し、変形例１は、例えば、図２７に示すように問合せ画像の分割画像の一つを指定し、指定した分割画像と検索対象の画像の各分割画像との類似度を求めることにより、検索対象の画像の中から、問合せ画像の特定の分割画像と類似する分割画像を有する画像を探し出すことができるようにするものである。
【０３１３】
（変形例２）
変形例２は、例えば、図２８に示すように、問合せ画像全体と検索対象の画像の各分割画像との類似度を求めることにより、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにするものである。
【０３１４】
詳細な説明については省略するが、このような変形例１および変形例２のような検索処理を可能とすることにより、様々な方法で画像の検索を行うことが可能となる。
【０３１５】
〔実施の形態１３〕
実施の形態１３に係る画像検索装置は、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにすることにより、前述した実施の形態１〜１２と異なる視点で画像検索を行うことを可能にするものである。なお、実施の形態１３に係る画像検索装置において、実施の形態１で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像検索処理についても共通する点については適宜説明を省略する。
【０３１６】
具体的に、実施の形態１３に係る画像検索装置は、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行することにより、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができるようにするものである。
【０３１７】
実施の形態１３に係る画像検索装置において、検索対象の画像中の所定のサイズの領域と問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理については様々な手法を用いることが可能であるが、ここでは図２９および図３０に示すような手法を用いることにする。例えば、図２９に示すように、問合せ画像を４分割して分割画像ａ〜ｄを生成し、各分割画像から所定の種類の特徴量を抽出し、また、検索対象の画像を１６分割して分割画像Ａ〜Ｐを生成し、各分割画像から問合せ画像の場合と同様の種類の特徴量を抽出する。ただし、問合せ画像および検索対象の画像の分割数を、それぞれ８および１６に限定するものではなく、問合せ画像の分割数＜検索対象の画像の分割数という関係にあれば良い。そして、各分割画像から抽出した特徴量を用いて、図３０（ａ）〜図３０（ｉ）に示すように、問合せ画像と検索対象の画像の一部との類似度を順次求める。図３０は、それぞれ図２９に示した検索対象の画像を示し、検索対象の画像中の斜線部分は問合せ画像と比較されている領域に該当する。なお、問合せ画像および検索対象の画像の分割数を逆にすれば（例えば、問合せ画像を１６分割し、検索対象の画像を８分割する。すなわち、問合せ画像の分割数＞検索対象の画像の分割数）、問合せ画像中に含まれている画像を検索することが可能となる。
【０３１８】
以下、実施の形態１３に係る画像検索装置による画像検索処理について具体的に説明する。なお、前提として、少なくとも検索対象の画像については、図２９に示したように各分割画像からそれぞれ特徴量が抽出されているものとする。特徴量を抽出する具体的な処理については、実施の形態１２で説明した通りであるため、ここでは詳細な説明を省略する。また、抽出する特徴量の種類は、色，構造等いかなるものであっても良い。
【０３１９】
図３１は、実施の形態１３に係る画像検索処理のフローチャートであり、図３２は、検索ウインドウ２００ｈの一例を示す説明図である。ユーザは、図３２に示す画像指定欄Ａ〜Ｃのいずれかに問合せ画像を少なくとも一つ指定する（Ｓ１３０１）。ここでは、説明を単純にするために、問合せ画像が一つ指定されたものとする。
【０３２０】
続いて、ユーザが図３２の検索ボタン２０１を指定すると、Ｕ／Ｉ部１５１は、問合せ画像を特徴抽出エンジン１５２に入力し、特徴抽出エンジン１５２は、問合せ画像から所定の種類の特徴量を抽出する（Ｓ１３０２）。特徴抽出エンジン１５２は、図２９に示したように、問合せ画像を分割して分割画像ａ〜ｄを生成し、各分割画像から所定の種類の特徴量を抽出する。ただし、ユーザによって指定された問合せ画像から既に特徴量が抽出されている場合には、このステップＳ１３０２の処理をスキップすることができる。
【０３２１】
そして、マッチング・エンジン１５３は、画像ＤＢ１０８に登録されている検索対象の画像毎に、特徴抽出エンジン１５２で抽出した特徴量を用い、検索対象の画像中の所定の領域と問合せ画像との類似度を求める処理を検索対象の画像の全体にわたって実行し、問合せ画像との類似度を求める（Ｓ１３０３）。
【０３２２】
このステップＳ１３０３において実行される処理の一例について、図３０を参照しつつ詳細に説明する。例えば、図３０（ａ）に着目して説明すると、マッチング・エンジン１５３は、特徴抽出エンジン１５２で予め抽出した問合せ画像および検索対象の画像の各分割画像の特徴量を用いて、
・問合せ画像の分割画像ａと検索対象の画像の分割画像Ａとの類似度
・問合せ画像の分割画像ｂと検索対象の画像の分割画像Ｂとの類似度
・問合せ画像の分割画像ｃと検索対象の画像の分割画像Ｅとの類似度
・問合せ画像の分割画像ｄと検索対象の画像の分割画像Ｆとの類似度
をそれぞれ求める。換言すれば、図４に示した特徴量空間中にプロットされた分割画像同士の距離を各特徴毎に定義された距離定義式を用いて求める。ここでは４つの分割画像毎に類似度を求めるため、４つの類似度が得られることになる。
【０３２３】
続いて、マッチング・エンジン１５３は、求めた４つの類似度を用いて、図３０（ａ）に示した検索対象の画像の領域と問合せ画像との類似度を決定する。類似度の決定方法としては、例えば以下のような方法が考えられる。
▲１▼−１  ４つの類似度の二乗和により検索対象の画像の領域と問合せ画像との類似度を決定する。
▲１▼−２  ４つの類似度を合計することにより、検索対象の画像の領域と問合せ画像との類似度を決定する（ＡＮＤ検索を参照）。
▲１▼−３  ４つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像の領域と問合せ画像との類似度を決定する（ＯＲ検索を参照）。
なお、▲１▼−１〜▲１▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３２４】
マッチング・エンジン１５３は、図３０（ｂ）〜図３０（ｉ）に示す場合についても前述した処理を実行し、検索対象の画像の各領域と問合せ画像との類似度を決定する。
【０３２５】
図３０（ａ）〜図３０（ｉ）のように、検索対象の画像の各領域と問合せ画像との類似度を求めた結果、検索対象の画像毎に、問合せ画像との９つの類似度が得られることになる。そこで、マッチング・エンジン１５３は、検索対象の画像毎に、９つの類似度を用いて問合せ画像との最終的な類似度を決定する処理を実行する。最終的な類似度の決定方法としては、例えば以下のような方法が考えられる。
【０３２６】
▲２▼−１  ９つの類似度の二乗和により、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲２▼−２  ９つの類似度を合計することにより、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＡＮＤ検索を参照）。
▲２▼−３  ９つの類似度の中から最も高い（値の小さい）類似度を選択することにより、検索対象の画像と問合せ画像との最終的な類似度を決定する（ＯＲ検索を参照）。
なお、▲２▼−１〜▲２▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３２７】
図３１のフローチャートの説明に戻り、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３によって検索対象の画像毎に求められた問合せ画像との最終的な類似度を参照し、例えば類似度の高い順に検索対象の画像を図３２の画像表示欄２０２に表示する（Ｓ１３０４）。ここでは類似度として検索対象の画像と問合せ画像との特徴量間の距離を用いているため、実際には、類似度の値の小さい順に検索対象の画像が画像表示欄２０２に表示されることになる。すなわち、類似度は０以上の値を持ち、類似度が０のときは各問合せ画像の特徴量および検索対象の画像の特徴量が等しいということを意味する。
【０３２８】
なお、以上の説明は、指定された問合せ画像が一つで検索に用いられる特徴量の種類も一種類であったが、複数種類の特徴量を用いることもできるし、問合せ画像を複数指定することもできる。
【０３２９】
そこで、複数種類の特徴量を用いる場合の処理の一例を簡単に説明する。マッチング・エンジン１５３は、前述したように、同一種類の特徴量毎に検索対象の画像と問合せ画像との類似度を求める。そして、マッチング・エンジン１５３は、例えば以下のような方法で異なる種類の特徴量毎に求めた類似度を用いて、検索対象の画像毎に、問合せ画像との類似度を決定することができる。
【０３３０】
▲３▼−１  特徴量の種類毎に求めた類似度の二乗和により、問合せ画像との最終的な類似度を決定する（ＡＮＤ検索の変形）。
▲３▼−２  特徴量の種類毎に求めた類似度を合計することにより、問合せ画像との最終的な類似度を決定する。この方法を用いる場合は、複数種類の特徴量に応じたＡＮＤ検索を実行することが可能となる。
▲３▼−３  特徴量の種類毎に求めた類似度の中から最も高い（値の小さい）類似度を選択することにより、問合せ画像との最終的な類似度を決定する。この方法を用いる場合は、複数種類の特徴量に応じたＯＲ検索を実行することが可能となる。
なお、▲３▼−１〜▲３▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３３１】
また、複数の問合せ画像が指定された場合の処理の一例を簡単に説明する。マッチング・エンジン１５３は、前述したように、検索対象の画像と各問合せ画像との類似度を求める。そして、マッチング・エンジン１５３は、例えば以下のような方法を用いて、検索対象の画像毎に、各問合せ画像に対する検索対象の画像の類似度を決定することができる。
【０３３２】
▲４▼−１  各検索対象の画像毎に、各問合せ画像との類似度の二乗和を検索対象の画像の総合類似度とする（ＡＮＤ検索の変形）。この方法を用いると、問合せ画像としての複数の画像を含む画像を検索することが可能となる。
▲４▼−２  各検索対象の画像毎に、各問合せ画像との類似度を合計して検索対象の画像の総合類似度とする。この方法を用いる場合は、複数の問合せ画像を用いたＡＮＤ検索を実行することが可能となる。すなわち、問合せ画像としての複数の画像を含む画像を検索することが可能となる。
▲４▼−３  各検索対象の画像毎に、各問合せ画像との類似度の中から最も高い（値の小さい）類似度を選択して検索対象の画像の総合類似度とする。この方法を用いる場合は、複数の問合せ画像を用いたＯＲ検索を実行することが可能となる。すなわち、問合せ画像としての複数の画像のいずれかを含む画像を検索することができる。
なお、▲４▼−１〜▲４▼−３のいずれの方法を利用するかを検索ウインドウ２００ｈで指定することができるようにしても良い。
【０３３３】
以上説明したように、実施の形態１３に係る画像検索装置によれば、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と指定された問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行し、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができる。したがって、ユーザの意図するような画像検索を実現する一つの手法を提供することができる。
【０３３４】
なお、画像表示欄２０２に表示された検索結果の画像を参照した結果、絞込み検索を行いたい場合には、画像表示欄２０２に表示された画像を問合せ画像として指定して同様の検索処理を行うこともできる。また、複数の問合せ画像や複数種類の特徴量を指定する場合に、他の実施の形態で説明したように重要度を指定することができるようにしても良い。
【０３３５】
〔実施の形態１４〕
続いて、本発明に係る画像分類装置について説明する。この画像分類装置は、前述した画像検索装置と同様に、画像間の類似度を用いて画像を分類するものである。画像を予め分類しておくことで、分類を辿るだけでユーザが所望する画像を探し出すことができる。こうすることで画像検索とは異なる方法で容易にユーザの所望する画像を探すことが可能となる。
【０３３６】
本発明の実施の形態１４に係る画像分類装置は、実施の形態１で説明した画像検索処理を応用して画像を分類するものである。したがって、実施の形態１で説明した点と共通する点については適宜説明を省略することにする。
【０３３７】
図３３は、実施の形態１４に係る画像分類装置のブロック構成図である。図３３において、図１に示した画像検索装置と同一の構成については同一の符号を付し、ここでは異なる点についてのみ説明する。図３３に示す画像分類装置は、図１に示した画像検索装置と異なる点として、本発明の画像分類装置としての機能をＣＰＵ１０１（コンピュータ１００）に実行させるための画像分類ソフト３０１と、分類項目（後述するフォルダ），分類対象の画像を各分類項目に分類するための分類条件，分類した結果の画像情報等が登録される分類木ＤＢ３０２と、を備えている。
【０３３８】
図３４は、図３３に示した画像分類装置において実行される処理を示すブロック図であり、図２に対応するものである。ユーザ・インターフェイス（Ｕ／Ｉ）部１５１（本発明の設定手段，指定手段および表示手段に該当する）は、ユーザに対して画像分類を行うための分類項目設定画面，分類結果表示画面等を表示して、分類条件の入力，分類結果の出力処理等を実行する。特徴抽出エンジン１５２は、画像ＤＢ１０８に登録する画像（分類対象の画像）および後述する分類基準として設定される画像から画像の特徴量を抽出する処理を実行する。さらに、マッチング・エンジン１５３（本発明の演算手段，決定手段，分類手段および検索手段に該当する）は、基準画像と分類対象の画像との類似度を求め、求めた類似度に基づいて分類対象の画像の分類先となる分類項目を決定する処理（例えば、分類木ＤＢ３０２に登録された分類項目に画像のＩＤを登録して分類する）を実行する。
【０３３９】
つぎに、前述した構成を有する画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。ここでは画像ＤＢ１０８に登録された複数の画像を分類対象の画像とする。また、画像を分類する際に用いる特徴量は画像の色，構造およびテクスチャであり、画像ＤＢ１０８中の分類対象の画像からは、図３を用いて実施の形態１で説明した処理によって既に各種類の特徴量が抽出されているものとする。
【０３４０】
（１）分類項目設定処理
図３５は、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウ３５０ａの一例を示す説明図である。図３４のＵ／Ｉ部１５１は、ユーザによって画像分類ウインドウ３５０ａの表示が指定されると、図３５に示すような画像分類ウインドウ３５０ａを表示し、ユーザの指示に応じて後述するフォルダの作成や分類条件の設定等の処理を実行する。
【０３４１】
この図３５には、既に画像を管理するための項目（以下「フォルダ」と記述する）が設定されている様子が示されているが、ここではルートに当たる画像ＤＢフォルダ３５１のみが存在しているものと仮定し、各フォルダを設定する処理を説明する。
【０３４２】
図３５中の画像ＤＢフォルダ３５１は、画像ＤＢ１０８中に登録された画像の全てを管理するフォルダである。なお、この画像ＤＢフォルダ３５１の設定を変更することにより、分類対象の画像を画像ＤＢ中の画像から別の画像に変更することができる。例えば、実施の形態１〜１３で説明した画像検索装置で検索した結果の画像を指定して分類することも可能である。
【０３４３】
ユーザは、この画像ＤＢフォルダ３５１の下位に画像ＤＢ１０８の画像を分類する分類先となる新たなフォルダを設定する。例えば、ユーザは、図示しないメニューから「フォルダ作成」を選択し、画像ＤＢフォルダ３５１の下位にフォルダ３５２を作成する。
【０３４４】
そして、ユーザは、フォルダ３５２に分類対象の画像（画像ＤＢ１０８中の画像）を分類するための分類条件を設定するため、フォルダ３５２を選択すると共に、図示しないメニューから「分類条件設定」を選択し、図３５に示されている分類条件設定ウィンドウ３６０ａを表示させる。
【０３４５】
分類条件設定ウインドウ３６０ａは、図５に示した検索ウインドウ２００ａの一部とほぼ同一の構成であり、分類条件設定ウインドウ３６０ａには、実施の形態１で説明した検索条件と同様の方法で分類条件を設定することができる。分類条件設定ウインドウ３６０ａは、画像を分類する際に使用される例えば色，構造およびテクスチャの特徴量毎に、分類対象の画像を分類するための基準として用いられる複数の基準画像（画像検索の問合せ画像に該当する）を指定するための画像指定欄Ａ，ＢおよびＣと、所望のフォルダに対して分類条件の設定を指定するための設定ボタン３６１と、を備えている。
【０３４６】
基準画像として指定する画像としては、例えば、スキャナで読み取った画像，ディジタルカメラで撮像した画像，ネットワーク１１２を介してダウンロードした画像，予めハードディスク１１０に記憶されていた画像，画像ＤＢ１０８に登録されている画像等、いかなるものであっても良い。
【０３４７】
ユーザは、実施の形態１で説明したように、例えば３枚の画像を各種類の特徴量に対応させ、それぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定する。また、図示することは省略するが、分類条件設定ウインドウ３６０ａからフォルダ毎に、基準画像および検索対象の画像の類似度の閾値を設定することができる。後述するように、フォルダに設定された基準画像との類似度が閾値を超えた分類対象の画像がそのフォルダに分類されることになる。ここではフォルダ毎に閾値を設定することにするが、フォルダ全体を対象として一つの閾値を設定することにしても良い。
【０３４８】
そして、ユーザが設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、指定された基準画像および閾値を分類条件としてフォルダ３５２に設定する。なお、基準画像として設定された画像から特徴量を抽出していない場合にあっては、分類条件をフォルダに設定する際に特徴抽出エンジン１５２が特徴量を抽出する処理を行うことにしても良い。もちろん、画像を分類する処理を行う際に各基準画像から必要な特徴量を抽出することにしても良い。
【０３４９】
なお、ユーザは、フォルダ３５４〜３５７のように、作成したフォルダ（例えばフォルダ３５３）に分類される画像をさらに分類するためのフォルダ（例えば、フォルダ３５３に対してフォルダ３５４および３５５）を作成し、同様に分類条件を設定することができる。
【０３５０】
このようにして、図３５に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。Ｕ／Ｉ部１５１は、作成したフォルダや対応する分類条件をフォルダ情報として、フォルダの階層構造に関する情報と共に分類木ＤＢ３０２に登録する。
【０３５１】
実施の形態１で説明したように、各フォルダ毎に単に基準画像を複数指定するだけでなく、画像を分類する際に使用される各種類の特徴量に対応させて各問合せ画像を指定できるため、ユーザが適切と考える仮想的な一つの基準画像を表現できると共に、分類に対するユーザの意図を分類基準として正確に表現することが可能となる。したがって、後述する分類処理によって、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０３５２】
（２）画像分類処理
図３６は、実施の形態１４の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、対応する種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。
【０３５３】
このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３５の分類条件設定ウインドウ３６０ａを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求める。
【０３５４】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数１を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０３５５】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた分類対象の画像の総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０３５６】
そして、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超える場合、そのフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０３５７】
以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。なお、フォルダ毎に得られた総合類似度に応じて、分類対象の画像は２以上のフォルダに分類されることもあり得る。
【０３５８】
図３７は、画像ＤＢ１０８中の画像を各フォルダ３５２〜３５８に分類した後の画像分類ウインドウ３５０ａの様子を示す説明図である。各フォルダ３５２〜３５８には、マッチング・エンジン１５３によって選択された代表画像が表示されている。また、ユーザが特定のフォルダを選択すると、そのフォルダに分類された画像が画像分類ウインドウ３５０ａの右側に一覧表示される。
【０３５９】
このように、実施の形態１４に係る画像分類装置によれば、分類項目を設定し、設定した分類項目それぞれに対し、基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。
【０３６０】
例えば、基準画像として適切な画像が存在しない場合であっても、分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの問合せ画像として使用することができる。
【０３６１】
なお、ここでは色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。
【０３６２】
また、図３７に示したように、フォルダ毎に代表画像を表示することにしたが、これに代えて、フォルダ名を表示したり、フォルダに設定した基準画像を表示することにしても良い。
【０３６３】
さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０３６４】
〔実施の形態１５〕
実施の形態１５に係る画像分類装置は、実施の形態２で説明した画像検索処理を応用して画像を分類するものである。なお、実施の形態１５に係る画像分類装置において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。
【０３６５】
以下に、実施の形態１５に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０３６６】
（１）分類項目設定処理
図３８は、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウ３５０ｂの一例を示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図３８に示すような分類条件設定ウインドウ３６０ｂを表示させる。
【０３６７】
図３８に示す分類条件設定ウインドウ３６０ｂは、図７に示した検索ウインドウ２００ｂの一部とほぼ同一の構成であり、分類条件設定ウインドウ３６０ｂには、実施の形態２で説明した検索条件と同様の方法で分類条件を設定することができる。分類条件設定ウインドウ３６０ｂは、分類対象の画像を分類するための基準として用いられる複数の基準画像（画像検索の問合せ画像に該当する）を指定するための画像指定欄Ａ，ＢおよびＣと、各画像指定欄に指定した基準画像毎に、分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する特徴量指定ボタン３６２と、対応するフォルダに対して分類条件の設定を指定するための設定ボタン３６１と、を備えている。
【０３６８】
ユーザは、実施の形態２で説明したように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、各基準画像Ａ，ＢおよびＣ毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する。図３８に示す分類条件設定ウインドウ３６０ｂは、一例として色・構造・テクスチャの中から所望の特徴量を指定することができるようになっている。
【０３６９】
また、図示することは省略するが、分類条件設定ウインドウ３６０ｂからフォルダ毎に、基準画像および検索対象の画像の類似度の閾値を設定することができる。後述するように、フォルダに設定された基準画像との類似度が閾値を超えた分類対象の画像がそのフォルダに分類されることになる。ここではフォルダ毎に閾値を設定することにするが、フォルダ全体を対象として一つの閾値を設定することにしても良い。
【０３７０】
そして、ユーザが設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、指定された基準画像，特徴量の種類および閾値を分類条件としてフォルダ３５２に設定する。なお、基準画像として設定された画像から特徴量を抽出していない場合にあっては、分類条件をフォルダに設定する際に特徴抽出エンジン１５２が特徴量を抽出する処理を行うことにしても良い。もちろん、画像を分類する処理を行う際に各基準画像から必要な特徴量を抽出することにしても良い。
【０３７１】
なお、ユーザは、フォルダ３５４〜３５７のように、作成したフォルダ（例えばフォルダ３５３）に分類される画像をさらに分類するためのフォルダ（例えば、フォルダ３５３に対してフォルダ３５４および３５５）を作成し、同様に分類条件を設定することができる。
【０３７２】
このようにして、図３８に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。Ｕ／Ｉ部１５１は、作成したフォルダや対応する分類条件をフォルダ情報として、フォルダの階層構造に関する情報と共に分類木ＤＢ３０２に登録する。
【０３７３】
実施の形態２で説明したように、各フォルダ毎に単に基準画像を複数指定するだけでなく、指定した各基準画像毎にユーザが重視する画像の特徴に該当する特徴量を指定できるため、ユーザが適切と考える仮想的な一つの基準画像を表現できると共に、分類に対するユーザの意図を分類基準として正確に表現することが可能となる。したがって、後述する分類処理によって、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０３７４】
（２）画像分類処理
実施の形態１５の画像分類処理について図３６を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ユーザが指定した種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。
【０３７５】
このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３８の分類条件設定ウインドウ３６０ｂを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求める。
【０３７６】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数２を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０３７７】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた分類対象の画像の総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０３７８】
そして、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、分類対象の画像の総合類似度が閾値を超える場合、そのフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０３７９】
以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。なお、フォルダ毎に得られた総合類似度に応じて、分類対象の画像は２以上のフォルダに分類されることもあり得る。画像の分類処理が実行されると、図３８の画像分類ウインドウ３５０ｂの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０３８０】
このように、実施の形態１５に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定すると共に、設定した各基準画像毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を設定し、フォルダ毎に、設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して総合類似度を求め、フォルダ毎に求めた総合類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。
【０３８１】
例えば、基準画像として適切な画像が存在しない場合であっても、分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの問合せ画像として使用することができる。
【０３８２】
なお、ここでは色，構造およびテクスチャの３種類の特徴量を用いることにしたが、これらはあくまでも例示であって、特徴量の種類を限定することを意図したものではない。
【０３８３】
さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０３８４】
〔実施の形態１６〕
実施の形態１６に係る画像分類装置は、実施の形態１５の画像分類装置において、実施の形態３で説明した画像検索処理を応用することにより、分類に対するユーザの意図をさらに正確に表現できるようにしたものである。なお、実施の形態１６において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。
【０３８５】
以下に、実施の形態１６に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０３８６】
（１）分類項目設定処理
図３９は、実施の形態１６に係る画像分類装置において用いられる画像分類ウインドウ３５０ｃを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図３９に示すような分類条件設定ウインドウ３６０ｃを表示させる。
【０３８７】
図３９に示す分類条件設定ウインドウ３６０ｃは、図３８に示したものに加えて（実施の形態３の検索ウインドウ２００ｃに示すように）、画像指定欄Ａ，ＢおよびＣに指定された各基準画像毎に相対的な重要度を指定する重要度指定バー３６３を備えている。
【０３８８】
ユーザは、図３９に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，ＢおよびＣ毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を指定する。
【０３８９】
続いて、実施の形態３の重要度指定バー２０４で説明したように、ユーザは重要度指定バー３６３を用いて各基準画像に重要度を指定する。この重要度指定バー３６３は、各基準画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能とするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０３９０】
このように、基準画像毎にユーザが重要度を指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０３９１】
さらに、ユーザはフォルダ３５２の閾値を指定し、設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、基準画像，特徴量の種類，重要度および閾値を分類条件としてフォルダ３５２に設定する。
【０３９２】
このような処理を各フォルダに対して行うことにより、図３９に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。設定されたフォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０３９３】
（２）画像分類処理
図４０は、実施の形態１６の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ユーザが指定した種類の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。
【０３９４】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図３９の分類条件設定ウインドウ３６０ｃを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、構造の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、テクスチャの特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。
【０３９５】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数３を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０３９６】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０３９７】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０３９８】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図３９の画像分類ウインドウ３５０ｃの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０３９９】
このように、実施の形態１６に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４００】
なお、詳細な説明については省略するが、実施の形態１４で説明した画像分類装置においても、実施の形態１６で説明したように各問合せ画像毎に重要度を指定することができるようにしても良い。
【０４０１】
〔実施の形態１７〕
実施の形態１７に係る画像分類装置は、ユーザの意図を分類条件として正確に表現するための一つの手法として、実施の形態４で説明したＡＮＤ検索を応用した画像分類処理を行うものである。なお、実施の形態１７に係る画像分類装置において、実施の形態１４で既に説明した構成については同一の符号を使用して詳細な説明を省略し、画像分類装置の動作についても共通する点については適宜説明を省略する。また、実施の形態１７に係る画像分類装置においては、画像間の類似度を求める際に用いる特徴量は一種類であるものとするが、当然、複数種類の特徴量を用いることにしても良い。
【０４０２】
以下に、実施の形態１７に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４０３】
（１）分類項目設定処理
図４１は、実施の形態１７に係る画像分類装置において用いられる画像分類ウインドウ３５０ｄを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４１に示すような分類条件設定ウインドウ３６０ｄを表示させる。
【０４０４】
図４１に示す分類条件設定ウインドウ３６０ｄは、画像指定欄Ａ，ＢおよびＣ，ならびに設定ボタン３６１に加え、ＡＮＤ条件を指定するためのＡＮＤ指定ボタン３６４およびＯＲ条件を指定するためのＯＲ指定ボタン３６５が設けられている点である。なお、ＯＲ条件については、後述する実施の形態２１において詳細に説明する。
【０４０５】
ユーザは、図４１に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定する。さらに、ユーザがフォルダ３５２の閾値を指定し、設定ボタン３６１を指定すると、Ｕ／Ｉ部１５１は、基準画像，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４０６】
このような処理を各フォルダに対して行うことにより、図４１に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定されたフォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０４０７】
（２）画像分類処理
実施の形態１７の画像分類処理について図３６を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１４０１）。
【０４０８】
このステップＳ１４０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、分類対象の画像と基準画像Ｃとの距離を求める。
【０４０９】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数４を参照）。なお、複数種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求める場合は、各種類の特徴量毎に分類対象の画像および各基準画像の類似度（距離）を求め、分類対象の画像毎に、各基準画像に対する全ての類似度を合計して総合類似度を求めれば良い。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４１０】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１４０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１４０２）。ただし、ここでは、類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４１１】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１４０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４１２】
以上説明したステップＳ１４０１〜Ｓ１４０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ検索対象の画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４１３】
このように、実施の形態１７に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定し、フォルダ毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して総合類似度を求め、フォルダ毎に求めた総合類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定するため、ＡＮＤ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０４１４】
なお、実施の形態１７においては、特徴量の種類を特に示さなかったが、色，構造およびテクスチャ等、いかなる種類の特徴量であっても単独でまたは複数組み合わせて用いることができる。
【０４１５】
さらに、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０４１６】
〔実施の形態１８〕
実施の形態１８に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態５で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。
【０４１７】
以下に、実施の形態１８に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４１８】
（１）分類項目設定処理
図４２は、実施の形態１８に係る画像分類装置において用いられる画像分類ウインドウ３５０ｅを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４２に示すような分類条件設定ウインドウ３６０ｅを表示させる。
【０４１９】
図４２に示す分類条件設定ウインドウ３６０ｅは、図４１に示した分類条件設定ウインドウ３６０ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各基準画像間の相対的な重要度を指定する重要度指定バー３６６を備えている。
【０４２０】
ユーザは、図４２に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定すると共に、重要度指定バー３６６を用いて基準画像Ａ，ＢおよびＣ毎に重要度を指定する。この重要度指定バー３６６は、実施の形態５の重要度指定バー２０７で説明したように、各基準画像毎に「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０４２１】
このように、基準画像毎にユーザが重要度を指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０４２２】
さらに、ユーザがＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定すると共に、フォルダ３５２の閾値を指定した後、設定ボタン３６１を指定すると、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４２３】
このような処理を各フォルダに対して行うことにより、図４２に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定された各フォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０４２４】
（２）画像分類処理
実施の形態１８の画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して総合類似度を求める処理を実行する（Ｓ１６０１）。
【０４２５】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、所定の特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。
【０４２６】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数５を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４２７】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４２８】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４２９】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４２の画像分類ウインドウ３５０ｅの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４３０】
このように、実施の形態１８に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４３１】
〔実施の形態１９〕
実施の形態１９に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態６で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。なお、実施の形態１９に係る画像分類装置においては、例として、色，構造およびテクスチャの３種類の特徴量を用いて分類処理を行うものとする。
【０４３２】
以下に、実施の形態１９に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４３３】
（１）分類項目設定処理
図４３は、実施の形態１９に係る画像分類装置において用いられる画像分類ウインドウ３５０ｆを示す説明図である。ここで、ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４３に示すような分類条件設定ウインドウ３６０ｆを表示させる。
【０４３４】
図４３に示す分類条件設定ウインドウ３６０ｆは、図４１に示した分類条件設定ウインドウ３６０ｄに加えて、画像指定欄Ａ，ＢおよびＣに指定された各基準画像毎に、分類対象の画像との類似度を求める際に使用される特徴量の種類毎の重要度を指定するための重要度指定バー３６７を備えている。
【０４３５】
ユーザは、図４３に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、指定した基準画像Ａ，ＢおよびＣ毎に、特徴量の種類毎の重要度を指定する。この重要度指定バー３６７は、実施の形態６で説明したように、各基準画像の特徴量の種類毎に、「０」を中心にして「＋」の重要度および「−」の重要度を指定することを可能にするものである。なお、重要度として「＋」方向および「−」方向の両方ではなく、「＋」方向のみ、または「−」方向のみを指定できるようにしても良い。
【０４３６】
このように、各種類の特徴量毎の重要度を各基準画像毎に指定することにより、分類に対するユーザの意図を正確に表現することが可能となる。すなわち、後述する分類処理によって、重要度は各種類の特徴量毎に求めた類似度に対する重み付けとして反映されるため、ユーザの意図が反映された分類結果の画像を得ることが可能となる。
【０４３７】
さらに、ユーザは、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定すると共に、フォルダ３５２の閾値を指定した後、設定ボタン３６１を選択すると、Ｕ／Ｉ部１５１は、基準画像，重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４３８】
このような処理を各フォルダに対して行うことにより、図４３に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定された各フォルダのフォルダ情報は、分類木ＤＢ３０２に登録される。
【０４３９】
（２）画像分類処理
実施の形態１９に係る画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。
【０４４０】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが基準画像Ａに対して指定した色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａとの距離を構造の特徴量およびテクスチャの特徴量を用いてそれぞれ求め、求めた各距離に対し、ユーザが基準画像Ａに対して指定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０４４１】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０４４２】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする（数６を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４４３】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４４４】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４４５】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４３の画像分類ウインドウ３５０ｆの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４４６】
このように、実施の形態１９に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、フォルダそれぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４４７】
なお、特徴量の種類は、色，構造およびテクスチャの３種類に限定するものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０４４８】
〔実施の形態２０〕
実施の形態２０に係る画像分類装置は、実施の形態１７の画像分類装置において、実施の形態７で説明した画像検索処理を応用することにより、分類に対するユーザの意図を装置側が汲み取ることができるようにしたものである。なお、実施の形態２０に係る画像分類装置は、例として、色，構造およびテクスチャの３種類の特徴量を用いて分類処理を行うものとする。
【０４４９】
前述した実施の形態１８および１９においては、ユーザが基準画像の重要度または各基準画像に特徴量毎の重要度を指定する必要があったが、実施の形態２０に係る画像分類装置においては、ユーザによってフォルダ毎に指定された基準画像間の類似度を、基準画像および分類対象の画像の類似度を求める際に使用する特徴量を用いて求め、求めた特徴量毎の類似度に基づいて各基準画像間における特徴量毎の重要度を装置側で決定し、類似度に対する重み付けとして反映するという点が特徴となる。
【０４５０】
以下に、実施の形態２０に係る画像分類装置の動作について、
（１）分類項目設定処理
（２）画像分類処理
の順で説明する。
【０４５１】
（１）分類項目設定処理
図４１を用いて分類項目設定処理について説明する。ユーザは、フォルダ３５２を作成したものとし、フォルダ３５２に分類条件を設定するため、図４１に示すような分類条件設定ウインドウ３６０ｄを表示させる。
【０４５２】
ユーザは、図４１に示すように、例えば３枚の画像をそれぞれ画像指定欄Ａ，ＢおよびＣに基準画像Ａ，ＢおよびＣとして指定し、ＡＮＤ指定ボタン３６４を選択してＡＮＤ条件を指定する。さらに、ユーザがフォルダ３５２の閾値を指定し、設定ボタン３６１を選択すると、特徴抽出エンジン１５２は、色，構造およびテクスチャの３種類の特徴量毎に、各基準画像Ａ，ＢおよびＣ間の距離（類似度）を求め、求めた各特徴量毎の距離に基づいて各基準画像Ａ，ＢおよびＣ間における特徴量毎の重要度を決定する。
【０４５３】
具体的に、特徴抽出エンジン１５２は、３種類の特徴量毎に、基準画像同士の特徴間の距離を求める。各特徴量毎に求めた距離の分散が大きい場合にはその特徴量についてはユーザは関知していないことを意味し、分散が小さい場合にはユーザはその特徴量を分類基準として重視していると判断できる。したがって、分散が大きい特徴量の場合には重要度を小さくし、分散が小さい場合には重要度を大きくするようにする（数７を参照）。
【０４５４】
特徴抽出エンジン１５２は、３種類の特徴量毎の重要度をＵ／Ｉ部１５１に入力し、Ｕ／Ｉ部１５１は、基準画像，特徴抽出エンジン１５２で決定された重要度，ＡＮＤ条件の指定および閾値を分類条件としてフォルダ３５２に設定する。
【０４５５】
このような処理を各フォルダに対して行うことにより、図４１に示すような複数のフォルダ３５２〜３５８が分類対象の画像を分類するための分類項目として設定される。なお、設定されたフォルダのフォルダ情報は分類木ＤＢ３０２に登録される。
【０４５６】
（２）画像分類処理
つぎに、実施の形態２０の画像分類処理について図４０を参照しつつ説明する。ユーザが分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度を合計して分類対象の画像の総合類似度を求める処理を実行する（Ｓ１６０１）。
【０４５７】
このステップＳ１６０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離を求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０４５８】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０４５９】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離を合計し、距離の合計値を総合類似度とする。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４６０】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ１６０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ１６０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４６１】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ１６０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４６２】
以上説明したステップＳ１６０１〜Ｓ１６０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８に分類された画像のうち、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４６３】
このように、実施の形態２０に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行うことにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った画像の分類結果を返すことが可能となる。したがって、ユーザが望む通りの分類処理を実現することができ、ユーザが望む分類結果を得ることができる。
【０４６４】
なお、特徴量の種類は、色，構造およびテクスチャの３種類に限定するものではなく、いかなる種類の特徴量の組み合わせであっても良い。
【０４６５】
〔実施の形態２１〕
実施の形態２１に係る画像分類装置は、ユーザの意図を分類条件として正確に表現するための一つの手法として、実施の形態８で説明したＯＲ検索を応用した画像分類処理を行うものである。
【０４６６】
実施の形態２１に係る画像分類装置による画像の分類処理は、実施の形態１７で説明に用いた図４１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１７における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０４６７】
なお、ＯＲ条件の指定と共に、図４１に示したフォルダ３５２には、実施の形態１７の場合と同様に基準画像Ａ，ＢおよびＣ，ならびに閾値が分類条件として設定されたものとする。
【０４６８】
図４４は、実施の形態２１の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２１０１）。
【０４６９】
このステップＳ２１０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求めると共に、分類対象の画像と基準画像Ｃとの距離を求める。
【０４７０】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める（数８を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に最も高い類似性を示す類似度を選択して総合類似度を求める。
【０４７１】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ２１０１で選択した類似度が閾値を超えるか否かを判定する（Ｓ２１０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４７２】
そして、マッチング・エンジン１５３は、選択した類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２１０３）。すなわち、マッチング・エンジン１５３は、選択した類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４７３】
以上説明したステップＳ２１０１〜Ｓ２１０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い類似度（ステップＳ２１０１で選択された類似度のことであり、距離で表現すれば最も小さい類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４７４】
なお、実施の形態２１の画像分類処理においては、分類対象の画像が、あるフォルダに設定された各基準画像のいずれかに対して閾値以上の類似度が得られる程類似していればそのフォルダに分類されることになる。したがって、実施の形態２１の画像分類処理にＯＲ検索が応用されていることがわかる。
【０４７５】
このように、実施の形態２１に係る画像分類装置によれば、フォルダを設定し、設定したフォルダ毎に、基準画像を複数設定し、フォルダ毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択し、各フォルダ毎に選択した類似度および予め設定された分類先決定基準に基づいて分類対象の画像の分類先となるフォルダを決定するため、ＯＲ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０４７６】
なお、詳細な説明については省略するが、画像ＤＢ１０８に新たに画像が登録された場合、その画像についても分類処理を行うことにより、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。例えば、Ｕ／Ｉ部１５１が画像ＤＢ１０８の状態を監視することにすれば、人手を要することなく、画像ＤＢ１０８中の画像を常に分類した状態に保つことができる。
【０４７７】
〔実施の形態２２〕
実施の形態２２に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態９で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。
【０４７８】
実施の形態２２に係る画像分類装置による画像の分類処理は、実施の形態１８で説明に用いた図４２の分類条件設定ウインドウ３６０ｅにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１８における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０４７９】
なお、ＯＲ条件の指定と共に、図４２に示したフォルダ３５２には、実施の形態１８の場合と同様に基準画像Ａ，ＢおよびＣ，各基準画像の重要度ならびに閾値が分類条件として設定されたものとする。
【０４８０】
図４５は、実施の形態２２の画像分類処理を示すフローチャートである。ユーザが分類処理の開始を指示すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、所定の特徴量を用いて各基準画像および分類対象の画像との類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。
【０４８１】
このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４２の分類条件設定ウインドウ３６０ｅを参照）および分類対象の画像の類似度を所定の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、所定の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが指定した基準画像Ａの重要度に応じて重み付けを行う。マッチング・エンジン１５３は、同様に、所定の特徴量に基づいて分類対象の画像と基準画像Ｂとの距離を求め、求めた距離に対して基準画像Ｂの重要度に応じた重み付けを行うと共に、所定の特徴量に基づいて分類対象の画像と基準画像Ｃとの距離を求め、求めた距離に対して基準画像Ｃの重要度に応じた重み付けを行う。
【０４８２】
その後、マッチング・エンジン１５３は、分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める（数９を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４８３】
続いて、マッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４８４】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４８５】
以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４２の画像分類ウインドウ３５０ｅの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４８６】
このように、実施の形態２２に係る画像分類装置によれば、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、フォルダ毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４８７】
〔実施の形態２３〕
実施の形態２３に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態１０で説明した画像検索処理を応用することにより、分類に対するユーザの意図を正確に表現できるようにしたものである。
【０４８８】
実施の形態２３に係る画像分類装置による画像の分類処理は、実施の形態１９で説明に用いた図４３の分類条件設定ウインドウ３６０ｆにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態１９における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０４８９】
なお、ＯＲ条件の指定と共に、図４３に示したフォルダ３５２には、実施の形態１９の場合と同様に基準画像Ａ，ＢおよびＣ，各基準画像について特徴量の種類毎に指定された重要度ならびに閾値が分類条件として設定されたものとする。
【０４９０】
つぎに、実施の形態２３に係る画像分類処理について図４５を参照しつつ説明する。ユーザが画像分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。
【０４９１】
このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４３の分類条件設定ウインドウ３６０ｆを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、ユーザが基準画像Ａに対して指定した色の特徴量の重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａとの距離を構造の特徴量およびテクスチャの特徴量を用いて求め、求めた各距離に対し、ユーザが基準画像Ａに対して指定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０４９２】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｂに対して指定された各特徴量毎の重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、基準画像Ｃに対して指定された各特徴量毎の重要度に応じた重み付けを行う。
【０４９３】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度とする（数１０を参照）。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０４９４】
続いて、マッチング・エンジン１５３は、分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０４９５】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０４９６】
以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４３の画像分類ウインドウ３５０ｆの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０４９７】
このように、実施の形態２３に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、フォルダそれぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行うことにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０４９８】
〔実施の形態２４〕
実施の形態２４に係る画像分類装置は、実施の形態２１の画像分類装置において、実施の形態１１で説明した画像検索処理を応用することにより、分類に対するユーザの意図を装置側が汲み取ることができるようにしたものである。
【０４９９】
実施の形態２４に係る画像分類装置による画像の分類処理は、実施の形態２０で説明に用いた図４１の分類条件設定ウインドウ３６０ｄにおいて、ＡＮＤ指定ボタン３６４ではなく、ＯＲ指定ボタン３６５が選択された場合に実行される。そこで、実施の形態２０における「（１）分類項目設定処理」の説明において、ＯＲ指定ボタン３６５が選択されたものとして、以下にＯＲ条件による画像分類処理を説明する。
【０５００】
なお、ＯＲ条件の指定と共に、図４１に示したフォルダ３５２には、実施の形態２０の場合と同様に基準画像Ａ，ＢおよびＣ，特徴量の種類毎に特徴抽出エンジン１５２で決定された重要度ならびに閾値が分類条件として設定されたものとする。
【０５０１】
つぎに、実施の形態２４の画像分類処理について図４５を参照しつつ説明する。ユーザが画像分類処理の開始を指定すると、図３４のマッチング・エンジン１５３は、フォルダ３５２〜３５８毎に、３種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求め、求めた各類似度に対して重要度に応じた重み付けを行い、各類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求める処理を実行する（Ｓ２２０１）。
【０５０２】
このステップＳ２２０１における処理についてフォルダ３５２を例にとって具体的に説明する。マッチング・エンジン１５３は、分類木ＤＢ３０２のフォルダ情報を参照し、フォルダ３５２に設定された基準画像Ａ（図４１の分類条件設定ウインドウ３６０ｄを参照）および分類対象の画像の類似度を色の特徴量を用いて求める。すなわち、マッチング・エンジン１５３は、色の特徴量に基づいて図４に示した特徴量空間中にプロットされた分類対象の画像と基準画像Ａとの距離を例えばユークリッド距離などのベクトルの距離定義式を用いて求める。続いて、マッチング・エンジン１５３は、求めた距離に対し、特徴抽出エンジン１５２で色の特徴量について決定した重要度に応じて重み付けを行う。さらに、マッチング・エンジン１５３は、分類対象の画像と基準画像Ａについて、構造の特徴量およびテクスチャの特徴量を用いた距離を求め、求めた各距離に対し、特徴抽出エンジン１５２で決定した構造の特徴量の重要度およびテクスチャの特徴量の重要度に応じて重み付けを行う。
【０５０３】
マッチング・エンジン１５３は、同様に、分類対象の画像と基準画像Ｂとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。また、分類対象の画像と基準画像Ｃとの距離を３種類の特徴量毎に求め、求めた各距離に対し、各種類の特徴量毎に決定された重要度に応じた重み付けを行う。
【０５０４】
その後、マッチング・エンジン１５３は、３種類の特徴量毎に求めた分類対象の画像と各基準画像Ａ，ＢおよびＣとの距離の中から最も短い距離を選択して総合類似度を求める。マッチング・エンジン１５３は、このようにしてフォルダ３５２〜３５８毎に総合類似度を求める。
【０５０５】
続いて、マッチング・エンジン１５３は、分類木ＤＢ３０２を参照して、フォルダ３５２〜３５８毎に、ステップＳ２２０１で求めた総合類似度が閾値を超えるか否かを判定する（Ｓ２２０２）。ただし、ここでは類似度として距離を用いており、距離が短い（距離の値が小さい）ほど類似性が高いことになるため、実際には、総合類似度が閾値以下（または未満）であるか否かを判定することになる。
【０５０６】
そして、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダに分類対象の画像を分類する（Ｓ２２０３）。すなわち、マッチング・エンジン１５３は、求めた総合類似度が閾値を超えるフォルダを分類対象の画像の分類先として決定し、分類木ＤＢ３０２中に登録された該当するフォルダのフォルダ情報に関連付けて分類対象の画像のＩＤ（予め設定されているものとする）を分類木ＤＢ３０２に登録する。
【０５０７】
以上説明したステップＳ２２０１〜Ｓ２２０３の処理を画像ＤＢ１０８中に登録されている各画像に対して実行することにより、画像ＤＢ１０８中の画像を分類することができる。また、マッチング・エンジン１５３は、各フォルダ３５２〜３５８それぞれに分類された画像の中から、最も高い総合類似度（距離で表現すれば最も小さい総合類似度）を持つ画像を代表画像として選択し、該当するフォルダ情報に関連付けて分類木ＤＢ３０２に登録する。画像の分類処理が実行されると、図４１の画像分類ウインドウ３５０ｄの各フォルダ３５２〜３５８には、図３７に示すように代表画像が表示される。
【０５０８】
このように、実施の形態２４に係る画像分類装置によれば、複数種類の特徴量を用いて基準画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行うことにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザが望む通りの画像分類処理を実現することができ、ユーザが望む画像の分類結果を得ることができる。
【０５０９】
〔実施の形態２５〕
つぎに、実施の形態２５に係る画像分類装置について説明する。実施の形態２５に係る画像分類装置は、ユーザが希望する基準で画像を動的に分類していき、所望の画像を探し出すことができるようにするものである。
【０５１０】
なお、実施の形態２５に係る画像分類装置の構成および画像分類ソフトの構成は図３３および図３４の通りであるため、ここではこれらについての説明を省略し、画像分類処理についてのみ説明することにする。また、分類対象となる画像は、ここでは画像ＤＢ１０８に登録されている画像であるものとし、これらの画像からは色，構造およびテクスチャの特徴量が抽出されて画像特徴ＤＢ１０９に登録されているものとする。
【０５１１】
図４６〜図４８は、実施の形態２５における画像分類処理の説明図である。ユーザが図示しないメニューから「画像分類処理」を選択すると、図３４のＵ／Ｉ部１５１は、図４６に示す画像分類ウインドウ４００を画面表示する。
【０５１２】
図４６に示す画像分類ウインドウ４００には、初期状態として、画像ＤＢ１０８中の全ての画像を対象とした分類項目４０１と、画像ＤＢ１０８中に登録された画像を動的に分類していく際に使用する特徴量の種類を表す分類項目４０２ａ，４０３ａおよび４０４ａとが示されている。ユーザが分類項目４０２ａ，４０３ａおよび４０４ａのいずれかを選択することにより、画像ＤＢ１０８中の画像が動的に分類されることになる。
【０５１３】
ここで、分類項目４０２ａは、色の特徴量を用いて画像を分類する際に使用する項目であり、分類項目４０３ａは、構造の特徴量を用いて画像を分類する際に使用する項目であり、分類項目４０４ａは、テクスチャの特徴量を用いて画像を分類するための項目である。
【０５１４】
図４６において、ユーザが分類項目４０２ａを指定したものとすると、Ｕ／Ｉ部１５１は、色の特徴量が指定されたことをマッチング・エンジン１５３に通知する。マッチング・エンジン１５３は、色の特徴空間（図４参照）において画像ＤＢ１０８中の画像をNearest Neighbor法やＫ−平均アルゴリズム等の一般的なクラスタリング手法を用いてクラスタリングする（類似する画像同士のグループに分類する）と共に、個々のクラスタから代表画像を選択する。なお、代表画像については、例えばクラスタの中心の画像を代表画像として選択する等、代表画像同士が非類似であれば選択方法はいかなるものであっても良い。
【０５１５】
そして、Ｕ／Ｉ部１５１は、マッチング・エンジン１５３からクラスタリングの結果を入力し、図４７に示すように、ユーザによって選択された分類項目４０２ａに関連付けて代表画像４０５〜４０８を表示する。図４７においては、代表画像が４枚表示されているため、画像ＤＢ１０８の画像が色の特徴量により４つのクラスタに分類されたことが示されている。つまり、実施の形態２５においては、特徴量の種類を指定することによって生成されるクラスタが実質的な分類項目ということになる。ユーザは必要に応じて代表画像以外の各クラスタに属する画像を表示して見ることができる。
【０５１６】
図４８は、代表画像４０７のクラスタを色の特徴空間でさらにクラスタリングして分類した結果を示している。このように、段階的に特徴量の種類を指定していくことにより、ユーザは目的の画像にたどり着くことができる。
【０５１７】
なお、色以外の特徴量については詳細な説明を省略するが、構造やテクスチャの特徴量が選択された場合であっても、同様に特徴空間でクラスタリングが行われ、画像が分類されていくことになる。
【０５１８】
このように、実施の形態２５に係る画像分類装置によれば、特徴量の種類が指定されると、指定された種類の特徴量を用いて分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、分類対象の各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、さらに、表示された代表画像の一つが指定されるとと共に、特徴量の種類が指定されると、指定された種類の特徴量を用いて代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示することにより、画像を分類したい時にユーザが希望する基準で画像を動的に分類していくことが可能となるため、画像の分類を利用して所望の画像を探し出すことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５１９】
また、特徴量の種類を分類項目４０２，４０３および４０４として画面表示し、指定された分類項目に関連付けて、分類された各グループの代表画像を画面表示することにより、図４８に示すように画像ＤＢ１０８中の画像を分類した結果を木構造で画面表示できるため、ユーザが画像分類処理の様子を一目で認識でき、動的な画像分類処理の利便性の向上を図ることができる。
【０５２０】
なお、実施の形態２５の画像分類処理によって画像を分類した結果を、例えば分類履歴として分類木ＤＢ３０２に登録しておくことにより、再利用することができる。
【０５２１】
また、分類対象の画像は画像ＤＢ１０８中の画像に限定されるものではなく、例えば実施の形態１〜１３の画像検索装置で検索した結果の複数の画像を分類対象の画像として用いることもできる。
【０５２２】
〔実施の形態２６〕
つぎに、実施の形態２６の画像分類装置について説明する。実施の形態２６に係る画像分類装置は、実施の形態１４〜２５で説明した画像分類装置の一部または全てを一つの画像分類装置として統合したものである。すなわち、実施の形態１４〜２５における説明から明らかなように、これらの装置は図３３および図３４に示したような共通の構成で実現可能なものであるため、容易に統合することができる。
【０５２３】
実施の形態１４〜２５で説明した画像分類装置を一つに統合することにより、各フォルダ毎に異なる方法で分類条件を設定することができる。例えば、図３５において、フォルダ３５２には実施の形態１４で説明した分類条件を、フォルダ３５３には実施の形態１７で説明した分類条件を、フォルダ３５８には実施の形態２１で説明した分類条件をそれぞれ設定することができる。
【０５２４】
なお、分類条件の設定処理や画像の分類処理については各実施の形態の項で説明した通りであるため、ここでは説明を省略する。
【０５２５】
このように、実施の形態１４〜２５で説明した画像分類装置を一つに統合することにより、さまざまな視点で分類条件を設定することができ、分類条件の設定に関する自由度を増すことができる。
【０５２６】
なお、画像分類装置の場合と同様の理由で、実施の形態１〜１３で説明した画像検索装置を一つの装置として統合することも可能である。これにより、異なる検索方法を組み合わせて所望の画像を検索することが可能となる。
【０５２７】
〔実施の形態２７〕
さらに、実施の形態１〜２５で説明した画像検索装置および画像分類装置の一部または全てを一つの装置として統合することもできる（画像検索装置または画像分類装置のマッチング・エンジン１５３に画像検索処理および画像分類処理の両方の機能を持たせるということ）。つまり、本発明の実施の形態で説明した画像検索処理および画像分類処理においては、図２および図３４に示したマッチング・エンジン１５３が画像から抽出した特徴量を用いて画像間の類似度を求めることが基本となっていることから、実施の形態１〜２５で説明した画像検索装置および画像分類装置を一つの装置に容易に統合することが可能である。
【０５２８】
詳細な説明については省略するが、実施の形態１〜２５で説明した画像検索装置および画像分類装置を一つの装置に統合することによって以下のような処理を行うことが可能となる。
【０５２９】
（１）実施の形態１４〜２５で説明したいずれかの画像分類処理で各フォルダ（分類項目）に分類した画像の中から選択した画像を問合せ画像として指定して、実施の形態１〜１３で説明したいずれかの画像検索処理で画像検索を行うことができる。
（２）実施の形態１〜１３で説明したいずれかの画像検索処理で検索された検索結果の画像を分類対象とし、実施の形態１４〜２５（または２６）で説明したいずれかの画像分類処理で分類することができる。
（３）実施の形態１４〜２５で説明したいずれかの画像分類処理で特定のフォルダ（分類項目）に分類された複数の画像を検索対象とし、実施の形態１〜１３で説明したいずれかの画像検索処理で所望の画像を検索することができる。
【０５３０】
このように、実施の形態１〜２５で説明した画像検索装置および画像分類装置の一部または全てを一つの装置に統合することにより、自由に画像検索処理や画像分類処理を実行することが可能となる。
【０５３１】
以上説明したように、本発明に係る画像処理装置および画像分類装置は、各フローチャートに基づく手順に従って、予め用意されたプログラムをコンピュータで実行することによって実現される。このプログラムは、前述した各実施の形態毎、または任意に組み合わせて提供することが可能である。
【０５３２】
このプログラムは、ハードディスク，フロッピーディスク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。そして、図４９（ａ）に示すように、プログラムは、記録媒体４５０からＣＰＵ１０１（コンピュータ１００）によって読み出され、ＣＰＵ１０１がプログラムに基づく処理を実行することによって本発明に係る画像検索装置および／または画像分類装置が実現される。
【０５３３】
また、このプログラムは、図４９（ｂ）に示すように、サーバ４５１の記録媒体からインターネットやＬＡＮのようなネットワークを介してダウンロードし、ＣＰＵ１０１に読み込むという形態においても実行可能なものである。また、ネットワークではなく、例えば放送波でプログラムを配信することによってもダウンロードして実行することができる。
【０５３４】
また、前述した各実施の形態においては特に言及しなかったが、本発明の画像検索装置および画像分類装置は、静止画に限らず、動画像にも適用することができる。これは、動画像は連続する静止画からなるものであるからである。
【０５３５】
また、実施の形態１〜３で説明した画像検索処理は実施の形態４〜７で説明したＡＮＤ検索と同様の手法を用いたものであるといえ、それらに対して実施の形態８〜１１で説明したＯＲ検索を適用することも可能であることから、検索ウインドウ２００ａ，２００ｂおよび２００ｃ（図５，図７および図９）において、ＡＮＤ条件およびＯＲ条件を指定できるようにしても良い。実施の形態１４〜１６で説明した画像分類装置においても、同様に、分類条件の一つしてＡＮＤ条件およびＯＲ条件を指定できるようにしても良い。
【０５３６】
また、実施の形態４〜７で説明した画像検索装置，実施の形態８〜１１で説明した画像検索装置，実施の形態１７〜２０で説明した画像分類装置，および実施の形態２１〜２４で説明した画像分類装置においては、それぞれＡＮＤ条件またはＯＲ条件を指定することにしているが、ＡＮＤ条件またはＯＲ条件の指定は必須のものではない。換言すれば、ＡＮＤ条件またはＯＲ条件を指定しなくても、各実施の形態で説明した処理を実行するように装置を構成することができる。
【０５３７】
また、詳細な説明については省略するが、実施の形態１４〜２４で説明した画像分類装置において、例えば図３５に示したフォルダ３５４に画像を分類する処理を実行するタイミングは、フォルダ３５３に画像が分類された後となる。なぜなら、フォルダ３５４はフォルダ３５３に分類された画像をさらに分類するためのものであるからである。加えて、画像を分類するためのフォルダの追加・削除や、フォルダに設定した分類条件の変更等の処理を自由に行うこともできる。
【０５３８】
さらに、詳細な説明については省略するが、例えばクライアント・サーバシステムにおいて、サーバに各実施の形態で説明した画像検索装置または画像分類装置の機能を持たせるようにして、クライアントから検索条件を指定したり、分類された画像をクライアントの画面に表示させたりすることが可能であることは明らかである。
【０５３９】
（１）以上説明したように、上記実施形態の画像検索装置によれば、問合せ画像および検索対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの問合せ画像を指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を対応する種類の特徴量を用いて求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。具体的には、例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。
【０５４０】
（２）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定すると共に、指定した各問合せ画像毎に検索対象の画像との類似度を求める際に使用する特徴量の種類を指定し、検索対象の画像毎に、指定された種類の特徴量を用いて各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて検索結果を出力することにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、検索に対するユーザの意図を確実に装置に伝えることができるため、検索に対するユーザの意図を正確に反映した検索結果を得ることができ、ユーザが望む通りの精度の高い画像検索処理を行うことができる。具体的には、例えば、問合せ画像として適切な画像が存在しない場合であっても、検索結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を問合せ画像として指定し、これらの画像を合わせたものを一つの問合せとして使用することができる。
【０５４１】
（３）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度を合計して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて、検索結果を出力することにより、ＡＮＤ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０５４２】
（４）また、上記実施形態の画像検索装置によれば、問合せ画像を複数指定し、検索対象の画像毎に、指定された各問合せ画像との類似度を求めると共に、求めた各問合せ画像との類似度の中から最も高い類似性を示す類似度を選択して検索対象の画像の総合類似度を求め、検索対象の画像毎に求めた総合類似度に基づいて、検索結果を出力することにより、ＯＲ検索を行うことが可能となるため、ユーザの意図を検索条件として正確に表現するための一つの手法を提供することができる。
【０５４３】
（５）また、上記実施形態の画像検索装置によれば、さらに、求めた類似度に対し、問合せ画像の種類に応じて任意の重み付けを行うことができるように、各問合せ画像毎に重要度を指定することが可能であり、検索対象の画像毎に、各問合せ画像との類似度を求め、求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０５４４】
（６）また、上記実施形態の画像検索装置によれば、さらに、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、問合せ画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各問合せ画像毎に指定することが可能であり、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、指定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を検索条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された検索結果の画像を得ることが可能となる。
【０５４５】
（７）また、上記実施形態の画像検索装置によれば、さらに、複数種類の特徴量を用いて問合せ画像および検索対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎に、指定された各問合せ画像間の類似度を求め、求めた各種類の特徴量毎の類似度に基づいて各問合せ画像間における各種類の特徴量毎の重要度を決定し、検索対象の画像それぞれについて、各種類の特徴量毎に各問合せ画像との類似度を求め、各種類の特徴量毎に求めた各問合せ画像との類似度に対し、決定した各種類の特徴量毎の重要度に応じた重み付けを行った後、総合類似度を求めることにより、装置側でユーザが指定した問合せ画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った検索結果を返すことが可能となる。したがって、ユーザが望む通りの検索処理を実現することができ、ユーザが望む検索結果を得ることができる。
【０５４６】
（８）また、上記実施形態の画像検索装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。したがって、ユーザが望む通りの画像検索処理を行うことが可能となる。
【０５４７】
（９）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、少なくとも画像を何分割するかを表す分割数を粗さのレベルとして段階的に定義しており、段階的に定義された粗さのレベルのいずれか一つに応じて特徴量を抽出する場合、該当する分割数に基づいて画像を分割して複数の分割画像を生成し、生成した各分割画像から特徴量をそれぞれ抽出することにより、問合せ画像および検索対象の画像から分割画像単位の特徴量からなる特徴量群を抽出し、特徴量群を利用して問合せ画像および検索対象の画像の類似度を求める場合、問合せ画像および検索対象の画像の対応する分割画像毎の類似度を該当する特徴量を用いてそれぞれ求めることにより、問合せ画像および検索対象の画像の類似度を求めるようにしたため、画像の分割数で特徴量の粗さのレベルを容易に定義することができ、各分割画像毎に類似度を求めることによって画像検索に画像特徴の位置関係という概念を導入することが可能となる。したがって、精度の高い画像検索処理を実行することが可能となる。
【０５４８】
（１０）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、段階的に定義された粗さのレベル中の最も粗い特徴量を示すレベルとして、画像を分割することなく、画像全体を特徴量の抽出対象とするレベルを含み、画像全体を特徴量の抽出対象とするレベルに応じて特徴量を抽出する場合、問合せ画像および検索対象の画像から画像全体を対象として特徴量を抽出するため、画像特徴の位置関係を無視した単純なレベルでの検索処理を含めることが可能となる。
【０５４９】
（１１）また、上記実施形態の画像検索装置によれば、さらに、抽出基準が、画像中に存在するオブジェクトを特徴量の抽出対象とする場合に、オブジェクトから抽出する特徴量の粗さのレベルの定義を含むため、さらに異なる視点で検索条件を指定することが可能となり、ユーザの意図を検索条件として正確に表現することができる。
【０５５０】
（１２）また、上記実施形態の画像検索装置によれば、さらに、複数の検索対象の画像については抽出基準で定義された全ての粗さのレベルに応じた特徴量を予め抽出しておき、指定された問合せ画像のうち、特徴量が抽出されていない問合せ画像については類似度を求める処理を実行する前に指定された粗さのレベルに応じた特徴量を抽出するようにしたため、画像検索処理の高速化を図ることができる。
【０５５１】
（１３）また、上記実施形態の画像検索装置によれば、さらに、問合せ画像を少なくとも一つ指定し、検索対象の画像毎に、検索対象の画像中の所定のサイズの領域と指定された問合せ画像との類似度を予め抽出した所定の特徴量を用いて求める処理を検索対象の画像全体にわたって繰り返し実行し、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索対象の画像の中から、問合せ画像を含む画像を探し出すことができる。したがって、ユーザの意図するような画像検索を実現する一つの手法を提供することができる。
【０５５２】
（１４）また、上記実施形態の画像検索装置によれば、さらに、検索結果の画像を問合せ画像として指定できるため、さらに詳細な絞込み検索を行うことができ、ユーザが望む通りの検索処理を実現することができる。
【０５５３】
（１５）また、上記実施形態のコンピュータ読み取り可能な記録媒体によれば、上記実施形態のいずれか１つに記載の画像検索装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、このプログラムをコンピュータに実行させることにより、検索条件を指定する際にユーザの視点を確実に装置に伝えることを可能とすると共に、ユーザの視点に合った検索結果を返すことを可能とする画像検索装置を実現することが可能となる。すなわち、ユーザが望む通りの検索処理を実現することができる画像検索装置を実現することが可能となる。
【０５５４】
（１６）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目それぞれに対し、基準画像および分類対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの基準画像を設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を対応する種類の特徴量を用いて求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。すなわち、基準画像として適切な画像が存在しない場合であっても、例えば分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの基準画像として使用するため、分類条件を指定する際にユーザの視点を確実に装置に伝えることができると共に、このような基準画像を使用して分類処理を実行するため、ユーザの望む分類先に画像を適切に分類することが可能となる。
【０５５５】
（１７）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定すると共に、設定した各基準画像毎に分類対象の画像との類似度を求める際に使用する特徴量の種類を設定し、分類項目毎に、設定された種類の特徴量を用いて各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定することにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることができると共に、分類に対するユーザの意図を確実に装置に伝えることができるため、分類に対するユーザの意図を正確に反映した分類結果を得ることができ、ユーザが望む通りの分類処理を実現することができる。すなわち、基準画像として適切な画像が存在しない場合であっても、例えば分類結果として望む画像に色の雰囲気が似た画像やオブジェクトの形状の雰囲気が似た画像を基準画像として指定し、これらの画像を合わせたものを一つの基準画像として使用するため、分類条件を指定する際にユーザの視点を確実に装置に伝えることができると共に、このような基準画像を使用して分類処理を実行するため、ユーザの望む分類先に画像を適切に分類することが可能となる。
【０５５６】
（１８）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度を合計して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定するため、ＡＮＤ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５５７】
（１９）また、上記実施形態の画像分類装置によれば、分類項目を設定し、設定した分類項目毎に、基準画像を複数設定し、分類項目毎に、設定された各基準画像および分類対象の画像の類似度を求めると共に、求めた類似度の中から最も高い類似性を示す類似度を選択して分類対象の画像の総合類似度を求め、分類項目毎に求めた分類対象の画像の総合類似度および予め設定された分類先決定基準に基づいて、分類対象の画像の分類先となる分類項目を決定するため、ＯＲ検索処理を応用した画像分類処理を行うことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５５８】
（２０）また、上記実施形態の画像分類装置によれば、さらに、求めた類似度に対し、基準画像の種類に応じて任意の重み付けを行うことができるように、各基準画像毎に重要度を設定することが可能であり、分類項目毎に、各基準画像および分類対象の画像の類似度を求め、求めた類似度に対し、設定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０５５９】
（２１）また、上記実施形態の画像分類装置によれば、さらに、複数種類の特徴量を用いて基準画像および分類対象の画像の類似度を求める場合に、求めた類似度に対し、基準画像および特徴量の種類に応じて任意の重み付けを行うことができるように、各種類の特徴量毎の重要度を各基準画像毎に設定することが可能であり、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、設定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、ユーザの意図を分類条件として正確に表現できるため、ユーザの意図を正確に装置に伝えることが可能となると共に、重要度は類似度に対する重み付けとして反映されるため、ユーザの意図が反映された画像の分類結果を得ることが可能となる。
【０５６０】
（２２）また、上記実施形態の画像分類装置によれば、さらに、複数種類の特徴量を用いて基準画像および分類対象の画像の類似度を求める場合に、求めた類似度に対し、特徴量の種類に応じて任意の重み付けを行うことができるように、分類項目毎に、設定された各基準画像間の類似度を各種類の特徴量毎に求め、各種類の特徴量毎に求めた類似度に基づいて各基準画像間における各特徴量毎の重要度を決定し、分類項目それぞれについて、各種類の特徴量毎に各基準画像および分類対象の画像の類似度を求め、各種類の特徴量毎に求めた類似度に対し、決定された重要度に応じた重み付けを行った後、総合類似度を求めることにより、装置側でユーザが指定した基準画像間における各種類の特徴量の重要度を判断し、判断した重要度を画像間の類似度に反映させるため、ユーザの意図に合った画像の分類結果を返すことが可能となる。したがって、ユーザが望む通りの分類処理を実現することができ、ユーザが望む分類結果を得ることができる。
【０５６１】
（２３）また、上記実施形態の画像分類装置によれば、さらに、分類項目毎に分類された画像をさらに分類するための分類項目を設定できるため、詳細な画像の分類処理を実行することが可能となる。
【０５６２】
（２４）また、上記実施形態の画像分類装置によれば、特徴量の種類が指定されると、指定された種類の特徴量を用いて分類対象の各画像間の類似度を求め、求めた分類対象の各画像間の類似度に基づいて、分類対象の各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示し、さらに、表示された代表画像の一つを指定すると共に、特徴量の種類を指定すると、指定された種類の特徴量を用いて代表画像の属するグループに分類された各画像を類似する画像同士のグループに分類し、分類された各グループからそれぞれグループを代表する代表画像を選択して画面表示することにより、画像を分類したい時にユーザが希望する基準で画像を動的に分類していくことが可能となるため、画像の分類を利用して所望の画像を探し出すことが可能となる。したがって、新たな分類方法で画像を分類可能な画像分類装置を提供することができる。
【０５６３】
（２５）また、上記実施形態の画像分類装置によれば、さらに、指定可能な特徴量の種類を画面表示し、指定された特徴量の種類に関連付けて各グループの代表画像を画面表示し、分類対象の複数の画像を分類した結果を木構造で画面表示するため、ユーザが画像分類処理の様子を一目で認識でき、動的な画像分類処理の利便性の向上を図ることができる。
【０５６４】
（２６）また、上記実施形態の画像分類装置によれば、さらに、分類項目毎に分類された任意の画像を問合せ画像として用いて、問合せ画像と同一または類似の画像を検索するため、装置の利便性の向上を図ることができる。
【０５６５】
（２７）また、上記実施形態の画像分類装置によれば、さらに、上記実施形態のいずれか一つに記載の画像検索装置を用いて検索を行うため、検索条件を指定する際にユーザの視点を確実に装置に伝えることが可能となると共に、ユーザの視点に合った検索結果を返すことが可能となり、装置の利便性の向上を図ることができる。
【０５６６】
（２８）また、上記実施形態の画像分類装置によれば、さらに、分類対象の画像が検索結果の画像であるため、例えば、画像の分類を検索結果の絞込みに応用することが可能となる。
（２９）また、上記実施形態のコンピュータ読み取り可能な記録媒体によれば、上記実施形態のいずれか一つに記載の画像分類装置の各手段としてコンピュータを機能させるためのプログラムを記録したため、このプログラムを実行することにより、分類条件を指定する際にユーザの視点を確実に装置に伝えることを可能とすると共に、ユーザの視点に合った分類項目に画像を分類することを可能とする画像分類装置を実現することが可能となる。すなわち、ユーザの望む分類先に画像を適切に分類することが可能となる画像分類装置を実現することができる。
【０５６７】
【発明の効果】
本発明の画像分類装置によれば、問合せ画像を少なくとも一つ指定すると共に、画像から抽出する特徴量の粗さのレベルを粗から細に向かって段階的に定義した抽出基準に基づいて、検索に利用する特徴量の粗さのレベルを少なくとも一つ指定し、抽出基準に基づいて、問合せ画像および複数の検索対象の画像から少なくとも指定された粗さのレベルに該当する特徴量を所定のタイミングで抽出し、検索対象の画像毎に、指定された粗さのレベルに応じた特徴量を用いて問合せ画像との類似度を求め、検索対象の画像毎に求めた類似度に基づいて検索結果を出力するため、検索精度の異なる複数種類の検索処理を実行することが可能となる。すなわち、ユーザが検索に使用する特徴量の粗さのレベルを少なくとも一つ指定することができるため、検索に対するユーザの視点の細かさを検索条件として表現でき、ユーザの意図を検索条件として正確に表現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像検索装置のブロック構成図である。
【図２】本発明の実施の形態１に係る画像検索装置において実行される処理を示すブロック図である。
【図３】本発明の実施の形態１に係る画像検索装置において実行される画像登録処理の概略を示すフローチャートである。
【図４】本発明に係る画像検索装置において、画像から抽出した特徴量に応じて各画像を特徴空間にマップした様子を示す説明図である。
【図５】本発明の実施の形態１に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図６】本発明の実施の形態１に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図７】本発明の実施の形態２に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図８】本発明の実施の形態２に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図９】本発明の実施の形態３に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１０】本発明の実施の形態３に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１１】本発明の実施の形態４に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１２】本発明の実施の形態４に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１３】本発明の実施の形態５に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１４】本発明の実施の形態５に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１５】本発明の実施の形態６に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図１６】本発明の実施の形態６に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１７】本発明の実施の形態７に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１８】本発明の実施の形態８に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図１９】本発明の実施の形態９に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２０】本発明の実施の形態１０に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２１】本発明の実施の形態１１に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２２】本発明の実施の形態１２に係る画像検索装置において、問合せ画像および検索対象の画像から抽出する特徴量の粗さのレベルを説明する説明図である。
【図２３】本発明の実施の形態１２に係る画像検索装置における特徴量抽出処理（エッジ特徴の抽出）を説明する説明図である。
【図２４】本発明の実施の形態１２に係る画像検索装置における特徴量抽出処理（エッジ特徴の抽出）を説明する説明図である。
【図２５】本発明の実施の形態１２に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図２６】本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図２７】本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理の変形例１を示す説明図である。
【図２８】本発明の実施の形態１２に係る画像検索装置において実行される画像検索処理の変形例２を示す説明図である。
【図２９】本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理の概略を説明するための説明図である。
【図３０】本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理の概略を説明するための説明図である。
【図３１】本発明の実施の形態１３に係る画像検索装置において実行される画像検索処理を示すフローチャートである。
【図３２】本発明の実施の形態１３に係る画像検索装置において検索時に使用される検索ウインドウを示す説明図である。
【図３３】本発明の実施の形態１４に係る画像分類装置のブロック構成図である。
【図３４】本発明の実施の形態１４に係る画像分類装置において実行される処理を示すブロック図である。
【図３５】本発明の実施の形態１４に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図３６】本発明の実施の形態１４に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図３７】本発明の実施の形態１４に係る画像分類装置において、画像が分類された後の画像分類ウインドウの様子を示す説明図である。
【図３８】本発明の実施の形態１５に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図３９】本発明の実施の形態１６に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４０】本発明の実施の形態１６に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図４１】本発明の実施の形態１７に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４２】本発明の実施の形態１８に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４３】本発明の実施の形態１９に係る画像分類装置において、画像の分類項目の設定処理や分類後の画像の表示を行うための画像分類ウインドウの一例を示す説明図である。
【図４４】本発明の実施の形態２１に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図４５】本発明の実施の形態２２に係る画像分類装置において実行される画像分類処理を示すフローチャートである。
【図４６】本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。
【図４７】本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。
【図４８】本発明の実施の形態２５に係る画像分類装置において実行される画像分類処理を示す説明図である。
【図４９】本発明に係る画像検索装置および／または画像分類装置を実現するプログラムを記録した記録媒体およびプログラムの配布形態を示す説明図である。
【符号の説明】
１００      コンピュータ
１０７      画像検索ソフト
１０８      画像ＤＢ
１０９      画像特徴ＤＢ
１５１      Ｕ／Ｉ部
１５２      特徴抽出エンジン
１５３      マッチング・エンジン
２００ａ〜２００ｈ      検索ウインドウ
２０１      検索ボタン
２０２      画像表示欄
２０３，３６２      特徴量指定ボタン
２０４，２０７，２０８，３６３，３６６，３６７      重要度指定バー
２０５，３６４      ＡＮＤ指定ボタン
２０６，３６５      ＯＲ指定ボタン
２０９      特徴指定欄
２１０      粗さレベル指定欄
３０１      画像分類ソフト
３０２      分類木ＤＢ
３５０ａ〜３５０ｆ      画像分類ウインドウ
３５１〜３５８      フォルダ
３６０ａ〜３６０ｆ      分類条件設定ウィンドウ
３６１      設定ボタン
４００      画像分類ウインドウ
４０１，４０２ａ〜４０４ａ，４０２ｂ〜４０４ｂ      分類項目
４０５〜４１２      代表画像
４５０      記録媒体
４５１      サーバ
【図１】
0004340367.tif 000017
【図２】
0004340367.tif 000018
【図３】
0004340367.tif 000019
【図４】
0004340367.tif 000020
【図５】
0004340367.tif 000021
【図６】
0004340367.tif 000022
【図７】
0004340367.tif 000023
【図８】
0004340367.tif 000024
【図９】
0004340367.tif 000025
【図１０】
0004340367.tif 000026
【図１１】
0004340367.tif 000027
【図１２】
0004340367.tif 000028
【図１３】
0004340367.tif 000029
【図１４】
0004340367.tif 000030
【図１５】
0004340367.tif 000031
【図１６】
0004340367.tif 000032
【図１７】
0004340367.tif 000033
【図１８】
0004340367.tif 000034
【図１９】
0004340367.tif 000035
【図２０】
0004340367.tif 000036
【図２１】
0004340367.tif 000037
【図２２】
0004340367.tif 000038
【図２３】
0004340367.tif 000039
【図２４】
0004340367.tif 000040
【図２５】
0004340367.tif 000041
【図２６】
0004340367.tif 000042
【図２７】
0004340367.tif 000043
【図２８】
0004340367.tif 000044
【図２９】
0004340367.tif 000045
【図３０】
0004340367.tif 000046
【図３１】
0004340367.tif 000047
【図３２】
0004340367.tif 000048
【図３３】
0004340367.tif 000049
【図３４】
0004340367.tif 000050
【図３５】
0004340367.tif 000051
【図３６】
0004340367.tif 000052
【図３７】
0004340367.tif 000053
【図３８】
0004340367.tif 000054
【図３９】
0004340367.tif 000055
【図４０】
0004340367.tif 000056
【図４１】
0004340367.tif 000057
【図４２】
0004340367.tif 000058
【図４３】
0004340367.tif 000059
【図４４】
0004340367.tif 000060
【図４５】
0004340367.tif 000061
【図４６】
0004340367.tif 000062
【図４７】
0004340367.tif 000063
【図４８】
0004340367.tif 000064
【図４９】
0004340367.tif 000065