(57)【特許請求の範囲】
【請求項１】
画像データから取り出した特徴ベクトルに基づき前記画像データの分類を行う画像データ分類装置であって、
あらかじめ複数の参照群に分類された画像データの特徴ベクトルに基づき、２種類以上の距離定義により、個々の画像データ間のベクトル間距離を算出する距離算出手段と、
前記算出されたベクトル間距離により、前記参照群に属する画像データの分類を行い、この分類結果を前記参照群と比較して、当該ベクトル間距離を算出した距離定義を評価し、前記参照群の分類と類似した分類がなされた距離定義を選択する距離定義選択手段と、
未分類の画像データに対し、前記選択された距離定義を適用して、当該未分類の画像データの分類を行う分類手段と、
を有する画像データ分類装置。
【請求項２】
請求項１に記載の画像データ分類装置であって、前記距離算出手段によるベクトル間距離の算出は、前記特徴ベクトルの分散、共分散および密度の少なくとも一つに基づいて行われる、画像データ分類装置。
【請求項３】
請求項１に記載の画像データ分類装置であって、前記距離算出手段によるベクトル間距離の算出は、前記特徴ベクトルの所定の空間軸に関する出現確率に基づいて行われる、画像データ分類装置。
【請求項４】
請求項１に記載の画像データ分類装置であって、前記画像データの特徴ベクトルは、当該画像データの登録に関する空間軸を含み、前記距離算出手段によるベクトル間距離の算出は、前記画像の登録に関する空間軸に対応した出現確率に基づいて行われる、画像データ分類装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの分類に関する。
【０００２】
【従来の技術】
従来、登録された画像データを分類および検索するために、画像データと共にキーワードなどのコード情報を付加するのが一般的であった。このコード情報は、画像データを登録する際、またはすでに登録された画像データを分類、整理する際に、キーボードなどから入力されていた。しかし、このような方法では、分類あるいは検索対象となる画像データを登録する際に、コード情報を人手によって入力しなければならず、多大な作業量を要するという問題があった。
【０００３】
そこで、画像データから様々な特徴量を抽出して特徴ベクトルを構成し、これをコード情報に代わる情報として分類、検索に用いる方法が提案されている。また、画像データ間の類似度は、画像データから抽出した特徴ベクトル間の距離の近さに応じて定義されているが、特徴ベクトルの分布やベクトル距離計算の定義に類似度が依存してしまい、望ましい類似度が求められない可能性が指摘されていた。この特徴ベクトルの分布による依存性を排除するために、特開平９−２６５５２９号公報に記載された技術においては、特徴ベクトルの分布により分類結果を補正することにより、分布による影響を排除している。
【０００４】
また、特徴ベクトルによる分類を行う場合、様々な側面から画像データを捉えるために多くの種類の特徴量を抽出しており、特徴ベクトルが高次元となっていた。特徴ベクトルを用いて分類、検索を行う場合、これが高次元であると、ベクトルの照合の処理時間が増大するという問題があった。
【０００５】
そこで、多くの場合、蓄積された特徴ベクトルに対して主成分分析を行うことで、特徴ベクトルの直交性を保証し、分散の小さい空間軸を排除することにより、特徴ベクトルの次元数を抑えている。また、特開平１１−２１９３４７号公報では、蓄積された特徴ベクトルを階層的に記述しておき、検索あるいは分類の際には、可能性の低い階層の照合を省略することにより、処理の高速化を図っている。
【０００６】
【発明が解決しようとする課題】
しかし、前述の公報に記載された技術によっても、特徴ベクトルにより分類あるいは検索された結果が、妥当性のあるものであるのか保証することはできなかった。つまり、特徴ベクトルにより分類された結果が、ユーザの望むような分類となっていない場合があった。
【０００７】
また、蓄積されている特徴ベクトルの空間軸数が非常に多かったり、蓄積されている特徴ベクトルの分散が大きい場合には、主成分分析を行っても特徴ベクトルの空間軸数を十分に減らすことができない場合があった。
【０００８】
本発明は、このような問題点を考慮してなされたものであり、画像データから抽出した特徴ベクトルによる分類が、ユーザの望む分類に近くなるようにし、また処理負担の軽減することを目的とする。
【０００９】
【課題を解決するための手段】
前述の課題を解決するために、本発明にかかる画像データ分類装置においては、まず、あらかじめ複数の参照群に分類された画像データの特徴ベクトルに基づき、２種類以上の距離定義により、個々の画像データ間のベクトル区間距離を算出し、この算出されたベクトル間距離により、前記参照群に属する画像データの分類を行う。そして、この分類結果を前記参照群の分類のされ方と比較して、参照群の分類と類似した分類結果が得られた距離定義を得る。この距離定義を適用して未分類の画像データの分類を行う。
【００１０】
また、前記距離算出手段によるベクトル間距離の算出は、前記特徴ベクトルの分散、共分散および密度の少なくとも一つに基づいて行うことができる。
【００１１】
また、前記距離算出手段によるベクトル間距離の算出は、前記特徴ベクトルの所定の空間軸に関する出現確率に基づいて行うことができる。
【００１２】
また、前記画像データの特徴ベクトルは、当該画像データの登録に関する空間軸を含み、前記距離算出手段によるベクトル間距離の算出は、前記画像の登録に関する空間軸に対応した出現確率に基づいて行うことができる。
【００１３】
また、他の画像データ分類装置は、あらかじめ複数の参照群に分類された画像データのｎ次元特徴ベクトルに基づき、前記参照群間のベクトル間距離を算出する。また、このｎ次元特徴ベクトルの各空間軸の、ベクトル間距離に関する寄与度を算出し、この寄与度の高い空間軸を、ｎより小さいｍ個を抽出し、ｍ次元の特徴ベクトル空間を抽出する。そして、未分類の画像データに対し、前記ｍ次元特徴ベクトル空間において、ベクトル間距離に基づき、前記未分類の画像データの分類を行う。
【００１４】
前記寄与度の算出にあたっては、前記ｎ次元特徴ベクトルの少なくとも一つの空間軸を排除した特徴ベクトルに基づき参照群間の距離を算出し、この距離とｎ次元特徴ベクトルに基づく距離との比較により、前記排除した空間軸の寄与度を算出することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。図１は、本実施形態の画像データ分類装置が適用されるネットワークの概略構成を示す図である。ネットワークには、インストールされた所定のプログラムによって本実施形態の画像データ分析装置として機能するコンピュータであるクライアント１、紙などの印刷媒体上の画像を取り込むスキャナ２、データベースを提供するデータベースサーバー３およびネットワークの管理を行うウェブサーバー４が接続されている。また、ノート型コンピュータ、携帯情報端末などの外部端末５とネットワークを接続するルータ６も設けられている。画像データは、前記のスキャナの他、ネット上から、外部端末５から、さらにはクライアント１の外部記憶媒体用のドライブから読み込むことができる。
【００１６】
図２は、本実施形態の機能構成図であって、特に画像データを分類するための距離定義の選択にかかる構成を示している。画像データ１０は、二つの参照群１２，１４に、あらかじめ分類されて、記憶されている。この分類は、ユーザにとって好ましいものとなっている。特徴ベクトル抽出手段１６により、第１の参照群１２と第２の参照群１４に分類されている各画像データより特徴ベクトルを抽出する。抽出された各特徴ベクトル間の距離を距離算出手段１８により算出する。距離算出手段１８は、Ｎ個の距離定義に基づきぞれぞれの距離を算出する第１距離算出部１８-1、第２距離算出部１８-2、・・・第Ｎ距離算出部１８-Nを含む。距離算出手段１８で算出された複数の距離は、それぞれ評価手段２０によりその距離定義の妥当性が評価される。評価手段２０は、Ｎ個の距離算出部１８-1〜１８-Nに１対１に対応してＮ個の評価部、すなわち第１評価部２０-1、第２評価部２０-2、・・・第Ｎ評価部２０-Nを含んでいる。各評価部２０-1〜２０-Nは、対応する距離算出部１８-1〜１８-Nが各々算出した距離に基づき、二つの参照群１２，１４に属する画像データを再度分類する。そして、この再分類が、好ましく分類された参照群の分類と、どの程度類似するかを評価する。各評価部２０-1〜２０-Nの評価結果に基づき、距離定義選択手段２２は、適切な距離定義を選択する。距離定義の選択は、その距離定義によって分類された画像データが、参照群１２，１４と同じように、またはどの程度類似して分類されているかに基づき行うことができる。
【００１７】
図３は、本実施形態の機能構成図であって、特に、好ましい分類を行うために選択され定義された距離に基づく未分類の画像データの分類にかかる構成を示している。未分類画像データ２４のそれぞれの特徴ベクトルが、特徴ベクトル抽出手段２６によって抽出される。さらに、距離算出手段２８によって、抽出された各特徴ベクトル間の距離が算出される。このときの距離算出に用いられる距離定義は、前述の距離定義選択手段２２により選択されたものである。分類手段３０により、算出された各ベクトル間距離に基づき未分類の各画像データ２４の分類を行い、分類された画像データを、データベース３２に登録する。
【００１８】
図４は、本実施形態の、画像データの距離定義の選択に係る処理フローチャートである。まず、すでに好ましい分類が行われている画像データを入力し（Ｓ１００）、特徴ベクトルの抽出を行い（Ｓ１０２）、データベース３２に登録する。このときの好ましい分類とは、例えばユーザによる分類およびその評価を事前に行ったものであり、客観評価の他、主観評価による分類も含まれる。また、特徴ベクトルとは、画像データにより定量的に取り出すことのできる値からなるｎ次元ベクトルである。例えば、画像データに含まれる色情報やエッジ情報など、画像処理によって得られるｎ個の特徴量からなる。上記一連の処理を分析対象となる画像データがなくなるまで繰り返す（Ｓ１０４）。
【００１９】
次に、所定の複数の距離定義から一つを選び（Ｓ１０６）、ステップＳ１００で入力された画像データの分類された群（参照群）間で、特徴ベクトル間距離を求める（Ｓ１０８）。ここでいう距離定義とは、ベクトル間の距離（類似度または非類似度としてもよい）を求める上での定義のことで、例えば、チェビシェフ距離、特徴ベクトルの分散、共分散を考慮に入れたマハラノビス距離あるいはユークリッド距離などを用いる。独自に定義したもの、例えば各分類の密度を考慮に入れた距離や画像データの登録者、登録順序、登録間隔および登録日時などの少なくとも一つに対応した出現確率を反映させた距離などを用いてもよい。出現確率とは、例えば、ある画像データに、登録日時が近い画像データが来たときに、後者の画像データが、前者の画像データに同一の群に分類される確率を示す。登録者が同じであれば、同傾向の画像データが登録される傾向が強いと考えられる。また、登録順序や登録日時が近い画像であれば、一つのイベント（例えば運動会）の各シーンの映像である可能性が高いと考えられる。
【００２０】
計算された距離に基づき、特徴ベクトルの分類を行う（Ｓ１１０）。ここで分類とは、特徴ベクトル間の距離を基に、その距離の近いものをまとめていくというものである。一般にクラスタ分析などといわれる方法を用いる。クラスタ解析には階層的手法と非階層的手法があるが、ここではどちらを用いることもできる。全特徴ベクトルの分類が終了したならば（Ｓ１１２）、事前の分類、すなわち参照群を分けた分類との比較を行う（Ｓ１１４）。上記ステップＳ１０６〜Ｓ１１４を、評価対象となる距離定義がなくなるまで繰り返し（Ｓ１１６）、全ての距離定義について評価が終了したら、最終的に距離定義の選択を行う（Ｓ１１８）。この距離定義の選択は、各距離定義に対してなされた評価の結果を比較し、事前に好ましく分類された参照群に、より類似する分類がなされた距離定義を選択する。
【００２１】
図５は、本実施形態の、未分類画像データの分類に係る処理を示すフローチャートである。まず、これから分類する（未分類の）画像データを取り込み（Ｓ１２０）、これらの各画像データの特徴ベクトルを抽出し、これをデータベース３２に登録する（Ｓ１２２）。この特徴ベクトルは、図４に示すチャートのステップＳ１０２で抽出したものと同等のベクトルであり、画像データより定量的に取り出すことができる値からなるｎ次元ベクトルである。特徴ベクトルの抽出を分類対象となる画像データがなくなるまで繰り返す（Ｓ１２４）。
【００２２】
次に、図４のチャートのステップＳ１１８で選択された距離定義を呼び出し（Ｓ１２６）、この距離計算方法に基づき未分類画像データの各特徴ベクトル間の距離の算出を行う（Ｓ１２８）。算出された距離に基づき、図４のチャートのステップＳ１１０と同様の分類手法により、特徴ベクトルの、すなわち未分類画像データの分類を行う（Ｓ１３０）。分類が終了した（Ｓ１３２）ならば、分類結果をデータベース３２に登録する（Ｓ１３８）。
【００２３】
以上のように、本実施形態においては、すでに分類されている画像データと同様または類似の分類となるような距離定義に基づき新たな画像データの分類を行う。したがって、新たな画像データを分類する際に、すでに分類されている画像データを参照して、この分類と同等または類似の分類を自動的に行うことが可能となる。
【００２４】
図６は、本発明の関連技術の機能構成図であって、特に画像データを分類するための特徴ベクトルの抽出にかかる構成を示している。画像データ５０は、二つの参照群５２，５４に、あらかじめ分類されて、記憶されている。この分類は、ユーザにとって好ましいものとなっている。第１の参照群５２と第２の参照群５４に分類されている各画像データは、ｎ次元の特徴ベクトルを有している。この特徴ベクトルの各空間軸が表す特徴量を一つずつ特徴量抽出手段５８により抽出する。そして、その特徴量の一つずつに対して特徴量評価手段６０にてその特徴量が画像データ５０を二つの参照群５２，５４に分けるに当たってどの程度寄与しているかを評価する。具体的には、特徴量抽出手段５８は、前記ｎ次元特徴ベクトルを構成する第１〜第ｎの空間軸のうち、それぞれ一つを抽出する第１〜第ｎ特徴量抽出部５８-1〜５８-nを含む。特徴量評価手段６０は、前述の第１〜第ｎ特徴量抽出部５８-1〜５８-nに１対１に対応して第１〜第ｎ特徴量評価部６０-1〜６０-nを含む。各特徴量評価部６０-1〜６０-nは、それぞれ対応する各特徴量抽出部５８-1〜５８-nで抽出された特徴量に対して参照群５２，５４の分類の寄与度を評価する。具体的には、抽出された一つの特徴量（空間軸）を除いた（ｎ−１）次元の特徴ベクトルを形成し、この特徴ベクトルに基づき参照群５２，５４に属する画像データ５０を再分類する。この再分類が、二つの参照群５２，５４と同様または類似の分類となるのであれば、除いた特徴量は参照群５２，５４の分類への寄与が低いことが判断できる。逆に、再分類において、大きく分類が異なるようになれば、除いた特徴量が参照群５２，５４の分類への寄与が高いことが判断できる。各空間軸に対して評価を行い、特徴ベクトル構成手段６２により寄与度の高いｍ個（ｎ＞ｍ）の空間軸によりｍ次特徴ベクトルを構成する。
【００２５】
図７は、本発明の関連技術の機能構成図であって、特に、好ましい分類を行うために抽出されたｍ次元特徴ベクトルに基づく未分類の画像データの分類にかかる構成を示している。未分類画像データ６４のそれぞれのｍ個の特徴量が特徴量抽出手段６６により抽出される。特徴量抽出手段は、ｍ個の第１〜第ｍ特徴量抽出部６６-1〜６６-mにより構成され、一つの特徴量に対し、一つの抽出部が対応している。抽出された特徴量より、特徴ベクトル生成手段６８にて、ｍ次元特徴ベクトルを生成する。このｍ次元特徴ベクトル空間において、分類手段７０にて分類を行い、分類結果をデータベース７２に登録する。
【００２６】
図８は、本発明の関連技術の、分類のための特徴量の抽出に係る処理フローチャートである。まず、すでに好ましい分類が行われている画像データを入力し（Ｓ２００）、各画像データごとにｎ個の特徴量を抽出し、データベース７２に登録する（Ｓ２０２）。ここで、特徴量とは、画像データより定量的に取り出すことのできる値であり、例えば、画像データに含まれる色情報やエッジ情報など、画像処理によって得られる値である。この処理を分析対象となる画像データがなくなるまで繰り返す（Ｓ２０４）。
【００２７】
次に、ｎ次元特徴ベクトル空間から、一つの特徴量（空間軸）を除いた特徴量で構成される（ｎ−１）次元特徴ベクトル空間を取り出し（Ｓ２０６）、参照群５２，５４間の距離を測る（Ｓ２０８）。この際（ｎ−１）次元特徴ベクトル空間における参照群の重心を求め、この重心間の距離を測り、参照群間の距離とする。こうして得られた（ｎ−１）次元特徴ベクトル空間における参照群間の距離と、ｎ次元特徴ベクトル空間における参照群間の距離からウイルクスのΛ統計量を求めて比較し、取り除かれた特徴量が分類に寄与しているかを示す寄与度を求める（Ｓ２１０）。この処理をｎ個の特徴量全てに対して行う（Ｓ２１２）。上記の寄与度に基づき、実際の分類に用いるｍ次元特徴ベクトル空間を選択する。この際、統計的に有意と認められる特徴量を選択し、あるいは所定の条件で抽出した寄与度の上位ｉ個または上位ｊ％の特徴量を選択する（Ｓ２１４）。
【００２８】
図９は、本発明の関連技術の、未分類画像データの分類に係る処理を示すフローチャートである。まず、これから分類する（未分類の）画像データを取り込み（Ｓ２１６）、これらの各画像データの特徴量を抽出し、これをデータベース７２に登録する（Ｓ２１８）。この特徴量は、図８に示すチャートのステップＳ２０２で抽出したものと同等のベクトルであり、画像データより定量的に取り出すことができる値からなるｎ個の特徴量である。特徴ベクトルの抽出を分類対象となる画像データがなくなるまで繰り返す（Ｓ２２０）。
【００２９】
次に、図８のチャートのステップＳ２１４で決定した特徴ベクトル空間を用い（Ｓ２２２）、未分類画像データの各特徴ベクトル間の距離の算出を行う（Ｓ２２４）。算出された距離に基づき、特徴ベクトルの分類を行う（Ｓ２２６）。この分類は、特徴ベクトル間の距離を基に、その距離の近いものをまとめていくというものである。一般にクラスタ分析などといわれる方法を用いる。クラスタ解析には、階層的手法と非階層的手法があるが、どちらを用いてもよい。特徴ベクトルの分類が終了したら（Ｓ２２８）、分類結果をデータベースに登録し（Ｓ２３０）、終了する。
【００３０】
上記関連技術によれば、すでに分類されている画像データの分類に関し、寄与度の高い特徴量により構成される特徴量ベクトルにより、新たな画像データの分類を行う。よって、新たな画像データの分類をする際に、すでに分類されている画像データの分類と同様または類似する分類を自動的に行うことができる。また、寄与度の高い特徴量を選び出していることにより、分類に用いる特徴量ベクトルの次元を低くすることができ、処理負担が軽減される。
【図面の簡単な説明】
【図１】  ネットワーク環境の一例を示す図である。
【図２】  本実施形態の機能を示すブロック図であり、特に分類に用いる距離定義の決定に係る構成を示す図である。
【図３】  本実施形態の機能を示すブロック図であり、特に未分類の画像データの分類に係る構成を示す図である。
【図４】  本実施形態の処理を示すフローチャートであり、特に分類に用いる距離定義の決定に係るチャートである。
【図５】  本実施形態の処理を示すフローチャートであり、特に未分類の画像データの分類に係るチャートである。
【図６】  の機能を示すブロック図であり、特に分類に用いる特徴量の抽出に係る構成を示す図である。
【図７】  本発明の関連技術の機能を示すブロック図であり、特に未分類の画像データの分類に係る構成を示す図である。
【図８】  本発明の関連技術の処理を示すフローチャートであり、特に分類に用いる特徴量の抽出に係る構成を示す図である。
【図９】  本発明の関連技術の処理を示すフローチャートであり、特に未分類の画像データの分類に係るチャートである。
【符号の説明】
１０，５０  画像データ（分類済み）、１２，５２  第１参照群、１４，５４  第２参照群、１６  特徴ベクトル抽出手段、１８  距離算出手段、２０  評価手段、２２  距離定義選択手段、２４，６４  画像データ（未分類）、２６  特徴ベクトル抽出手段、２８  距離算出手段、３０  分類手段、３２，７２  データベース、５８  特徴量抽出手段、６０  特徴量評価手段、６２  特徴ベクトル構成手段、６６  特徴量抽出手段、６８  特徴ベクトル生成手段、７０  分類手段。
【図１】
0004036009.tif 000002
【図２】
0004036009.tif 000003
【図３】
0004036009.tif 000004
【図４】
0004036009.tif 000005
【図５】
0004036009.tif 000006
【図６】
0004036009.tif 000007
【図７】
0004036009.tif 000008
【図８】
0004036009.tif 000009
【図９】
0004036009.tif 000010