(57)【要約】【課題】入力されたデータが適切なカテゴリに分類されることが要求されているが、カテゴリは、アプリケーションが求める分類、又は、ユーザが定める種別であるため、入力されたデータによっては、カテゴリの分布が部分的に重複し、最適な分類が実行できないといった課題がある。【解決手段】複数のモデルデータからなるモデルデータ群を、分離された分布であるクラスに分類するために、クラス数及び次元数を予め算出し、求めたクラス数及び次元数に従いクラス構成を決定し、モデルデータ群をクラス毎に分類し、この各クラスの代表値と入力されたデータとを比較し、最も類似度の高い代表値を持つクラスを判定し、この判定したクラスが属するカテゴリを求めることで、入力されるデータのカテゴリを求めるように構成したものである。【選択図】図２ 
2004178569.tif 000002
【特許請求の範囲】
【請求項１】
複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出するクラス数・次元数決定部と、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類するクラス構成構築部と、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する特徴抽出行列算出部と、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出するモデル特徴ベクトル算出部とを有するデータ分類装置。
【請求項２】
クラス数・次元数決定部は、複数のモデルデータから推定されるモデル確率分布を用いたモデル選択の基準である情報量基準が最小となるクラス構成のクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小なるクラス数及び次元数を用いて、クラス内分散を小さくする手法であるクラスタリングによりクラスを構築する請求項１記載のデータ分類装置。
【請求項３】
クラス数・次元数決定部は、複数のモデルデータから算出される単位行列である共分散行列を用いて前記複数のモデルデータを変換し、前記変換された複数のモデルデータを用いた情報量基準が最小となるクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小となるクラス数及び次元数を用いてクラス内分散を小さくするクラスタリングによりクラスを構築し、特徴抽出行列算出部は、前記単位行列の共分散行列により変換された前記複数のモデルデータを、前記クラスのクラス内分散は小さい分布、クラス間分散は大きい分布に変換する場合に用いる特許抽出行列を算出する請求項１記載のデータ分類装置。
【請求項４】
クラス数・次元数決定部は、複数のモデルデータから算出される特徴ベクトルの分布とカテゴリ又はクラスの分布との類似度を含む判断評価基準を用いてクラス数及び次元数を算出する請求項１記載のデータ分類装置。
【請求項５】
判断評価基準は、Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ情報量を含む基準である請求項４記載のデータ分類装置。
【請求項６】
クラス構成構築部は、既にクラスに分類されたモデルデータと第１のクラス数及び次元数とを用いて算出された第１の評価量基準と、前記既にクラスに分類されたモデルデータと前記第１のクラス数及び次元数と異なる第２のクラス数及び次元数を用いて算出された第２の評価量基準とを比較し、評価量基準が小さいクラス数及び次元数を用いてクラスを再度構築する請求項１ないし５のいずれか記載のデータ分類装置。
【請求項７】
請求項１ないし６のいずれか記載のデータ分類装置と、認識対象となる物体を含む入力データを、前記特徴抽出行列を用いて入力特徴ベクトルに変換する入力特徴ベクトル算出部と、前記クラス毎の特徴ベクトルの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する入力データ判定部とを含む物体認識装置。
【請求項８】
複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第１のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第２のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する
第３のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第４のステップとを含むデータ分類方法。
【請求項９】
複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第１のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第２のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第３のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第４のステップと、認識対象となる物体を含む入力データが入力され、前記入力データが前記特徴抽出行列を用いて入力特徴ベクトルに変換する第５のステップと、前記クラスの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する第６のステップとを有する物体認識方法。
【請求項１０】
コンピュータに、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第１のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第２のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第３のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第４のステップとを含むデータ分類方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データが分類されているカテゴリを、カテゴリよりも小さい分布であるクラスを構築するデータ分類装置及びデータ分類方法と、データ分類装置により構成されたクラスに、入力されたデータを分類し、データに含まれる物体を認識する物体認識装置及び物体認識方法に関する。
【背景技術】
【０００２】
従来、逐次入力されるデータを、カテゴリに分類し、データに含まれる物体を認識する物体認識装置がある。
【０００３】
まず、従来の物体認識装置は、入力されたデータがどのカテゴリに入るかを分類する際に、入力されたデータのベクトルと、夫々のカテゴリの代表ベクトルとを求める。ここで、カテゴリの代表ベクトルは、カテゴリに含まれる全モデルデータのベクトルの重心ベクトルである。
【０００４】
次に、従来の物体認識装置は、入力されたデータのベクトルと、カテゴリの代表ベクトルとを比較し、入力されたデータのベクトルと最も類似度の高い代表ベクトルを持つカテゴリを検出する。そして、従来の物体認識装置は、入力さらたデータを、最も類似度の高い代表ベクトルを持つカテゴリに分類し、データに含まれる物体の認識を行う（例えば、特許文献１）。
【特許文献１】特開２０００−２４２７８４号公報（第４−６頁、第２、３図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、物体認識装置は、入力されたデータが適切なカテゴリに分類されることが要求されているが、カテゴリは、アプリケーションが求める分類、又は、ユーザが定める種別であるため、入力されたデータによっては、カテゴリの分布が部分的に重複し、最適な分類が実行できないといった課題がある。
【０００６】
ここで、カテゴリをより小さい分布となるクラスに分類することが要求されているが、データの分類が不適切であったり、クラス数が過剰に多すぎたり、汎化能力のないクラス構成であったりする課題があった。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、カテゴリの分布では、分類が不適切な場合に、適切なクラスを構成し、入力データを正確なカテゴリに分類し、入力データに含まれる物体の認識の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
この課題を解決するために本発明は、複数のモデルデータからなるモデルデータ群を、分離された分布であるクラスに分類するために、クラス数及び次元数を予め算出し、求めたクラス数及び次元数に従いクラス構成を決定し、モデルデータ群をクラス毎に分類し、この各クラスの代表値と入力されたデータとを比較し、最も類似度の高い代表値を持つクラスを判定し、この判定したクラスが属するカテゴリを求めることで、入力されるデータのカテゴリを求めるように構成したものである。
【０００９】
つまり、予め複数のモデルデータからなるモデルデータ群を所定の項目に従い分類することで、モデルデータ群をアプリケーションが求めるカテゴリより小さい分布を持ち、冗
長性のないクラスに再度分類し、このクラスの代表値と逐次入力されるデータとを比較し、入力されたデータと最も類似度の高い代表値を持つクラスを判定し、この判定したクラスが属するカテゴリを求めることで入力されたデータのカテゴリを求めることである。
【００１０】
言い換えると、モデルデータが数個で構成されるクラスではなく、また、モデルデータ群に特化したものではなく、逐次入力されるデータに対しても効果のあるクラス構成である。
【００１１】
以上より、逐次入力されるデータを正確なクラスに分類し、且つ正確なカテゴリに分類することができるため、データ分類の精度を向上させ、実用的なデータ分類をすることが可能となる。
【発明の効果】
【００１２】
以上のように本発明によれば、クラスの分類を正確に行うことができるようなクラス数及び次元数を求めた上で、クラス数及び次元数に従ったクラス構成を求めることで、逐次入力されるデータと最も類似度の高いクラスを検出し、この検出したクラスの属するカテゴリを求めるようにできる。これにより、カテゴリの分布に関わらず、逐次入力されたデータを正確なカテゴリに分類することができ、従来の方法でのデータのカテゴリ分類を誤る確率を、低減することができるという有利な効果が得られる。
【発明を実施するための最良の形態】
【００１３】
本発明の第１の発明は、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出するクラス数・次元数決定部と、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類するクラス構成構築部と、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する特徴抽出行列算出部と、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出するモデル特徴ベクトル算出部とを有するデータ分類装置としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるという作用を有する。
【００１４】
本発明の第２の発明は、クラス数・次元数決定部は、複数のモデルデータから推定されるモデル確率分布を用いたモデル選択の基準である情報量基準が最小となるクラス構成のクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小なるクラス数及び次元数を用いて、クラス内分散を小さくする手法であるクラスタリングによりクラスを構築する第１の発明に記載のデータ分類装置としたものであり、情報量基準とクラスタリングとを用いることにより、カテゴリより小さい分布であるクラスを容易に構築することができるという作用を有する。
【００１５】
本発明の第３の発明は、クラス数・次元数決定部は、複数のモデルデータから算出される単位行列である共分散行列を用いて前記複数のモデルデータを変換し、前記変換された複数のモデルデータを用いた情報量基準が最小となるクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小となるクラス数及び次元数を用いてクラス内分散を小さくするクラスタリングによりクラスを構築し、特徴抽出行列算出部は、前記単位行列の共分散行列により変換された前記複数のモデルデータを、前記クラスのクラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特許抽出行列を算出する第１の発明に記載のデータ分類装置としたものであり、共分散行列を用いて複数のモデルデータを変換することで、カテゴリより小さい分布であるクラスを容易に構築することがで
きるという作用を有する。
【００１６】
本発明の第４の発明は、クラス数・次元数決定部は、複数のモデルデータから算出される特徴ベクトルの分布とカテゴリ又はクラスの分布との類似度を含む判断評価基準を用いてクラス数及び次元数を算出する第１の発明に記載のデータ分類装置としたものであり、モデルデータの分布と、カテゴリ又はクラスの分布との類似度を含む評価基準を用いて、カテゴリを冗長なく細かいクラスに分類するものであり、分類されたカテゴリ毎にパターンベクトルを抽出し、パターンベクトルの分布から分類がし易くすることができるという作用を有する。
【００１７】
本発明の第５の発明は、判断評価基準は、Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ情報量を含む基準である第４の発明に記載のデータ分類装置としたものであり、判断評価基準Ｆを最小化することで、Ｆｉｓｈｅｒ基準から導かれたサンプルのクラス構成と類似する分布でありながら、ＡＩＣを最小化するクラス数と次元数を求めることができるという作用を有する。
【００１８】
本発明の第６の発明は、クラス構成構築部は、既にクラスに分類されたモデルデータと第１のクラス数及び次元数とを用いて算出された第１の評価量基準と、前記既にクラスに分類されたモデルデータと前記第１のクラス数及び次元数と異なる第２のクラス数及び次元数を用いて算出された第２の評価量基準とを比較し、評価量基準が小さいクラス数及び次元数を用いてクラスを再度構築する第１ないし５のいずれかの発明に記載のデータ分類装置としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができ、データ分類の精度を向上させ、実用的なデータ分類が可能となり、データに含まれる物体の認識の精度が向上するという作用を有する。
【００１９】
本発明の第７の発明は、第１ないし６のいずれかの発明に記載のデータ分類装置と、認識対象となる物体を含む入力データを、前記特徴抽出行列を用いて入力特徴ベクトルに変換する入力特徴ベクトル算出部と、前記クラス毎の特徴ベクトルの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する入力データ判定部とを含む物体認識装置としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるデータベースを用いて、物体認識を実行することができるため、物体認識の精度を向上することができるという作用を有する。
【００２０】
本発明の第８の発明は、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第１のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第２のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第３のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第４のステップとを含むデータ分類方法としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるという作用を有する。
【００２１】
本発明の第９の発明は、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第１のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記
モデルデータを前記クラスに分類する第２のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第３のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第４のステップと、認識対象となる物体を含む入力データが入力され、前記入力データが前記特徴抽出行列を用いて入力特徴ベクトルに変換する第５のステップと、前記クラスの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する第６のステップとを有する物体認識方法としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるデータベースを用いて、物体認識を実行することができるため、物体認識の精度を向上することができるという作用を有する。
【００２２】
本発明の第１０の発明は、コンピュータに、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第１のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第２のステップと、前記クラスに分類されているのモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第３のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第４のステップとを含むデータ分類方法を実行させるためのプログラムとしたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるという作用を有する。
【００２３】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２４】
（実施の形態１）
図１は、第１の実施の形態による物体認識装置のブロック図を示す。ここでは、データを画像データとした構成について説明する。
【００２５】
ここで、１０１は、データ分類を行うコンピュータシステムを示し、１０２は、プログラムに基づいて所定の処理を行うＣＰＵを示し、１０３は、プログラムを格納し、ＣＰＵ１０２のワーク領域となるメモリを示し、１０４〜１０７は、外部とのデータのやり取りをするインターフェースユニット（Ｉｎｔｅｒ  Ｆａｃｅ  Ｕｎｉｔ：Ｉ／Ｆ）を示し、１０８は、２次記憶装置や光磁気ディスクなどで構成される、コンピュータシステムの外部に設けられたカテゴリを構成する画像データであるモデルデータを保存するモデルデータデータベースを示し、１０９は、モデルデータデータベースのモデルデータを一時的に蓄積するモデルデータメモリを示す。
【００２６】
また、１１０は、物体の画像を撮影するためのビデオカメラを示し、１１１は、ビデオカメラ１１０から逐次入力される画像データを一時的に蓄積する画像メモリを示し、１１２は、入力手段であるキーボード及び表示手段であるディスプレイを示し、１１４は、画像データの画素値を１次元ベクトルに表現したパターンベクトルを格納するパターンベクトルメモリを示し、１１５は、モデルデータのパターンベクトルであるモデルパターンベクトルを、カテゴリ毎に格納するカテゴリ構成モデルデータデータベースを示す。
【００２７】
また、１１６は、モデルデータを、クラス数及び次元数に従い構成されたクラス毎に格納したクラス構成モデルデータデータベースを示し、１１７は、コンピュータシステム１０１内部の各構成を接続するＣＰＵバスを示し、１１８は、物体認識装置が分類した結果
を出力する出力端子を示す。
【００２８】
更に、１２０は、クラス数及び次元数を格納したクラス数・次元数メモリを示し、１２１は、座標系を特徴座標系に変換する特徴抽出行列を格納した特徴抽出行列メモリを示し、１２２は、モデルデータの特徴ベクトルであるモデル特徴ベクトルを記憶するモデル特徴ベクトルデータベースを示し、１２３は、画像データの特徴ベクトルである入力特徴ベクトルを記憶する特徴ベクトルメモリを示す。
【００２９】
以上のように構成された物体認識装置は、予め蓄積された各カテゴリに分類されたモデルデータを、冗長することなく更に細かく分類するクラスを構成し、各クラスの特徴を示す特徴ベクトルの代表値を求めるオフライン処理と、ビデオカメラ１１０から逐次入力される画像データとオフライン処理で求めた特徴ベクトルの代表値を比較し、該当するクラスを判断し、画像データの分類を行い、画像データに含まれる物体の認識を行うオンライン処理とに大別される。
【００３０】
まず、物体認識装置のオフライン処理について、図２ないし図４を用いて詳細に説明する。
【００３１】
図２は、第１の実施の形態による物体認識装置のオフライン処理のための機能ブロック図である。
【００３２】
ここで、２０１は、モデルパターンからパターンベクトルを作成するパターンベクトル作成部を示し、２０２は、カテゴリを冗長なく細かく分類するためのクラス構成におけるクラス数及び次元数を算出するクラス数・次元数算出部を示し、２０３は、カテゴリ構成をクラス構成に再構成するクラス構成構築部を示し、２０４は、モデルデータから特徴ベクトルを作成する学習手段である特徴抽出行列算出部を示し、２０５は、特徴抽出行列を用いてパターンベクトルを、モデル特徴ベクトルに変換する算出するモデル特徴ベクトル算出部を示し、メモリ１０３に格納されているプログラムに相当し、ＣＰＵ１０２により実行される。
【００３３】
また、オフライン処理は、Ｉ／Ｆ１０４、１０６、モデルデータメモリ１０９、キーボード・ディスプレイ１１２、カテゴリ構成モデルデータデータベース１１５、クラス構成モデルデータデータベース１１６、クラス数・次元数メモリ１２０、特徴抽出行列メモリ１２１、パターンベクトル作成部２０１、クラス数・次元数決定部２０２、クラス構成構築部２０３、特徴抽出行列算出部２０４及びモデル特徴ベクトル算出部２０５から構成される。
【００３４】
なお、図２は、カテゴリに属するモデルデータをクラスに分類し、クラスの特徴ベクトルを生成する特徴ベクトル生成装置として利用することもできる。
【００３５】
また、図３は、第１の実施の形態による物体認識装置のオフライン処理の動作フローチャートである。
【００３６】
まず、機能ブロックと動作フローチャートの関係を説明し、その後、各機能ブロックの詳細な説明を記述する。
【００３７】
モデルデータデータベース１０８には、複数のモデルデータが格納されている。モデルデータは、Ｉ／Ｆ１０４を介してモデルデータメモリ１０９に格納される（Ｓ３０１）。
【００３８】
パターンベクトル作成部２０１は、モデルデータから任意に長方形の部分画像であるモ
デルパターンを抽出し、画素値を１次元ベクトルに表現したベクトルであるパターンベクトルを作成する（Ｓ３０２）。
【００３９】
次に、パターンベクトル作成部２０１は、ユーザがキーボード１１２から入力したモデルパターンに対応するカテゴリ情報から、パターンベクトルに分類したカテゴリ名を記述したラベルを作成する。
【００４０】
そして、パターンベクトル作成部２０１は、作成したパターンベクトルにラベルを付与し、ユーザが入力したカテゴリ毎に分類した状態で、カテゴリ構成モデルデータデータベース１１５に格納する（Ｓ３０３）。
【００４１】
次に、クラス数・次元数決定部２０２が、カテゴリ構成モデルデータデータベース１１５を参照し、分類されたカテゴリ毎にパターンベクトルを抽出し、パターンベクトルの分布から分類がしやすくなるクラス数及び次元数を、ＡＩＣ法により算出し、クラス数・次元数メモリ１２０に格納する（Ｓ３０４）。
【００４２】
次に、クラス構成構築部２０３が、クラス数・次元数メモリ１２０からクラス数及び次元数を抽出し、最もクラス内分散を小さくするクラス構成を、ＩＳＯＤＡＴＡ法により求め、パターンベクトルをクラスに分類する。そして、パターンベクトルに、求めたクラス構成に基づいて分類したクラスのラベルをつけ、クラス構成モデルデータデータベース１１６に格納する（Ｓ３０５）。
【００４３】
次に、特徴抽出行列算出部２０４は、クラス構成モデルデータデータベース１１６に格納されている各パターンベクトルから、クラス内に含まれるパターンベクトルが最もまとまり、更に、クラス間が最も分離されるような特徴抽出行列を算出する。そして、特徴抽出行列算出部２０４は、算出した特徴抽出行列を、特徴抽出行列メモリ１２１に格納する（Ｓ３０６）。
【００４４】
次に、モデル特徴ベクトル算出部２０５が、特徴抽出行列メモリ１２１を参照して得た特徴抽出行列を用いて、クラス構成モデルデータデータベース１１６に格納されたパターンベクトルをモデル特徴ベクトルに変換する（Ｓ３０７）。
【００４５】
次に、モデル特徴ベクトル算出部２０５は、クラス毎のモデル特徴ベクトルの平均値を計算し、クラス毎のモデル特徴ベクトルの代表値として、モデル特徴ベクトルデータベース１２２に登録する（Ｓ３０８）。
【００４６】
以上が、物体認識装置がオフラインで実行するプロセスである。
【００４７】
次に、各機能ブロックの詳細な説明を、数式を用いて記述する。
【００４８】
まず、パターンベクトル作成部２０１について説明する。
【００４９】
パターンベクトル作成部２０１は、モデルデータからモデルパターンを抽出し、パターンベクトルを作成する。
【００５０】
なお、モデルパターンの大きさ及びその形は、いかなる物でも良く、エッジ画像をベクトル化したもの、二値画像の座標情報を１次元ベクトルに表現したベクトルでも良く、モデルデータをモデルパターンとしても良い。
【００５１】
次に、パターンベクトル作成部２０１は、キーボード１１２から入力したモデルパター
ンに対応するカテゴリ情報から、カテゴリ名を記述したラベルを作成する。
【００５２】
なお、ディスプレイ１１２に表示した対応するモデルパターンを見て、モデルパターンに対応するカテゴリ情報入力しても良い。
【００５３】
また、ラベルとは、モデルパターンの種類や所属等を表現する情報である。
【００５４】
なお、ユーザが入力するカテゴリ情報は、物体認識装置のアプリケーションが求めるカテゴリ情報である。
【００５５】
そして、パターンベクトル作成部２０１は、パターンベクトルにラベルを付与し、カテゴリ構成モデルデータデータベース１１５に格納する。
【００５６】
なお、第１の実施の形態では、パターンベクトルのカテゴリを表すラベルをカテゴリに分類した後で付与するが、モデルデータに初めからカテゴリを表すラベルが付されている形態であってもよい。この場合には、パターンベクトル作成部２０１が、カテゴリのラベルと参照することで、パターンベクトルをカテゴリに分類し、カテゴリ構成モデルデータデータベース１１５に格納する。
【００５７】
次に、カテゴリ構成モデルデータデータベース１１５の構成について、図４を用いて説明する。図４は、第１の実施の形態によるカテゴリ構成モデルデータデータベースの構成を示す図である。
【００５８】
図４に示すように、カテゴリ構成モデルデータデータベース１１５には、アプリケーションが求めるカテゴリ４０１と、カテゴリ４０１に対応するモデルデータとの組が複数格納されている。
【００５９】
なお、カテゴリ構成モデルデータデータベース１１５に格納されるモデルデータはパターンベクトルである。
【００６０】
また、アプリケーションが求めるカテゴリとしては、人物を示す「Ａさん」、「Ｂさん」、「Ｃさん」などのカテゴリや、車のタイプを示す「セダン」、「トラック」、「ＲＶ」などのカテゴリや、物体までの距離を示す情報など、さまざまなカテゴリが考えられる。また、カテゴリ４０１に対応するモデルデータには、カテゴリ４０１の名前のラベル４０２が付与されている。
【００６１】
図４の例では、ラベル４０２を３ビットで示し、カテゴリＡの画像ａ１、画像ａ２には「００１」というラベル４０２が、カテゴリＢの画像ｂ１及び画像ｂ２には「０１０」というラベル４０２、カテゴリＣの画像ｃ１及び画像ｃ２には「０１１」というラベル４０２が、画像データのヘッダ部に付与されている。
【００６２】
次に、クラス数・次元数決定部２０２について説明する。
【００６３】
クラス数・次元数決定部２０２が、カテゴリ構成モデルデータデータベース１１５を参照し、カテゴリ毎にパターンベクトルを抽出し、クラス数及び次元数を算出し、クラス数・次元数メモリ１２０に格納する。
【００６４】
具体的には、与えられたデータからあるモデル確率分布を推定するときのモデル選択の基準である情報量規準の一例であるＡＩＣ（Ａｋａｉｋｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ｃｒｉｔｅｒｉｏｎ）を用いて、クラス数及び次元数を算出することが可能である。ＡＩＣ
については、坂元慶行、石黒真木夫、北川源四郎著、「情報量統計学」、第一版、共立出版、１９８３年、ｐ４２に記載されている。ＡＩＣは、（数１）によって表される。
【００６５】
【数１】
2004178569.tif 000003
【００６６】
パターンベクトルの座標系により示されるモデル確率分布を、多次元正規分布による混合分布と仮定すると、（数２）によって表される。
【００６７】
【数２】
2004178569.tif 000004
【００６８】
ここで、ｘは、パターンベクトルを示し、ｎiは、ｃｌａｓｓ  ｉの標本数を示し、Ｋは、クラス数を示し、ｄは次元数を示す。
【００６９】
（数２）のＡＩＣが最小になるように推定したパターンベクトルの座標系によるモデル確率分布のパラメータであるクラス数と次元数が、求めるクラス数及び次元数の値であり、クラス数・次元数メモリ１２０に格納すればよい。
【００７０】
なお、この例では、モデル確率分布として、多次元正規分布による混合分布を仮定したが、ポアッソン分布、あるいは多項分布等、モデルデータに合わせて仮定しても良い。
【００７１】
なお、本発明の第１の実施の形態では、クラス数及び次元数を求めたが、クラス数のみであっても、同様な効果を得ることが可能である。
【００７２】
次に、クラス構成構築部２０３について説明する。
【００７３】
クラス構成構築部２０３は、クラス数及び次元数を抽出し、ＩＳＯＤＡＴＡ法によりクラス構成を求め、パターンベクトルにクラスを示すラベルを付与し、クラスに分類し、クラス構成モデルデータデータベース１１６に格納する。
【００７４】
ここで、クラスのラベルには、モデルデータが所属するクラスを識別する情報であるクラス番号及びクラス名と、クラス構成の構築に用いた項目の内容が記述される。この際に、クラス構成構築部２０３は、各クラスの代表値を計算し、クラス構成モデルデータデータベース１１６に格納してもよい。
【００７５】
なお、クラスのラベルには、所属するクラスがわかるだけの情報、例えばクラスの番号のみを記述し、カテゴリを示すラベルの後に追加する形態でも良い。
【００７６】
このように、クラスの種別を示すクラス番号、クラスに対応するカテゴリ及びクラス構成の構築に用いた項目と、クラスに分類されたモデルデータとの組が、クラス構成モデルデータデータベース１１６に複数格納されている。
【００７７】
なお、ここで、クラスの代表値を格納しておき、後のモデル特徴ベクトルの代表値計算に用いても良い。
【００７８】
ここで、クラス構成構築部２０３に用いられるＩＳＯＤＡＴＡ法は、森健一著、「パターン認識」、第三版、電子情報通信学会、１９８８年、ｐ１２２に記載されている。具体的には、ＩＳＯＤＡＴＡ法は、クラスタの分割と併合を繰り返し、クラス内分散を小さくするクラスタリング手法である。
【００７９】
なお、クラス構成構築部２０３は、クラスタリング法としてＩＳＯＤＡＴＡ法を採用するが、ＩＳＯＤＡＴＡ法以外のクラスタリング法、例えばＫ−ｍｅａｎ法などを用いても良い。
【００８０】
次に、特徴抽出行列算出部２０４について説明する。
【００８１】
特徴抽出行列算出部２０４は、各クラスのパターンベクトルから、クラス内に含まれるパターンベクトルが最もまとまり、更に、クラス間が最も分離されるような特徴抽出行列を算出し、特徴抽出行列メモリ１２１に格納する。
【００８２】
なお、第１の実施の形態では、特徴抽出行列ＡTを、Ｆｉｓｈｅｒ．Ｒ．Ａ．，“Ｔｈｅ  ｕｓｅ  ｏｆ  ｍｕｌｔｉｐｌｅ  ｍｅａｓｕｒｅｍｅｎｔｓ  ｉｎ  ｔａｘｏｎｏｍｉｃ  ｐｒｏｂｌｅｍｓ”，  Ａｎｎ．Ｅｕｇｅｎｉｃｓ．７．Ｐａｒｔ  ＩＩ，ｐｐ．１７９−１８８，１９３６．）に記載されているＦｉｓｈｅｒの判別関数の考えに従って算出した。
【００８３】
ここで、特徴抽出行列ＡTは、モデルデータより作成したパターンベクトルを表現する空間である座標系を、モデルデータから求めたクラスのクラス間分散ＣBができるだけ大きく、かつクラス内分散ＣWができるだけ小さくなるような特徴をもつ特徴座標系であるモデル特徴ベクトルに変換するための行列である。
【００８４】
まず、特徴抽出行列算出部２０４が、クラス構成モデルデータデータベース１１６を参照し、同一クラスに分類されるパターンベクトルのセットを抽出する。次に、特徴抽出行列算出部２０４は、パターンベクトルのセットからクラス内共分散行列ＣWを、クラス毎に（数３）に従って計算する。
【００８５】
【数３】
2004178569.tif 000005
【００８６】
次に、特徴抽出行列算出部２０４は、クラス間共分散行列ＣBを、各パターンベクトルのセットから（数４）に従って計算する。
【００８７】
【数４】
2004178569.tif 000006
【００８８】
さらに、特徴抽出行列算出部２０４は、全クラスの共分散行列ＣTを、（数５）に従って計算する。
【００８９】
【数５】
2004178569.tif 000007
【００９０】
ここで、特徴抽出行列算出部２０４は、Ｆｉｓｈｅｒの考えに従い判別評価基準として、クラス間の分散であるクラス間共分散行列ＣBをできるだけ大きく、同時にクラス内のパターンベクトルの分散であるクラス内共分散行列ＣWをできるだけ小さくなるように、クラス間分散行列ＣBとクラス内分散行列ＣWとの分散比である（数６）を最大にするような変換ベクトルａを求める。
【００９１】
【数６】
2004178569.tif 000008
【００９２】
カテゴリ９００が３つのクラスで構成される場合について、図５を用いて説明する。２次元で表示されているパターンベクトルの分散である各クラスのクラス内分散９０１に、特徴抽出行列を乗算し、１次元の特徴座標系に変換されたクラス内分散９０２が小さく、
かつクラス間分散行列ＣBを大きくすることで、クラス間の分布領域が離れる。
【００９３】
つまり、特徴抽出行列を調整することで、特徴座標系が移動するため、特徴座標系に変換される１次元のクラス内分散９０２を調整することができ、クラスの特徴が明らかにすることができる。
【００９４】
また、（数６）を最大にするような変換ベクトルａを求めるのは、固有値問題（数７）を解くことに等しい。
【００９５】
【数７】
2004178569.tif 000009
【００９６】
そこで、特徴抽出行列算出部２０４は、（数７）からＡを転置したＡTを求め、求めたＡTを特徴抽出行列として特徴抽出行列メモリ１２１に記憶する。
【００９７】
次に、モデル特徴ベクトル算出部２０５について説明する。
【００９８】
モデル特徴ベクトル算出部２０５は、特徴抽出行列を用いて、パターンベクトルをモデル特徴ベクトルに変換し、クラス毎のモデル特徴ベクトルの平均値を代表値として、モデル特徴ベクトルデータベース１２２に登録する。
【００９９】
なお、クラス毎のモデル特徴ベクトルの代表値は、平均値以外の値、例えば中間値等であっても良い。
【０１００】
モデル特徴ベクトルデータデータベース１２２には、クラスと、クラスに対応するモデルデータのモデル特徴ベクトルと、クラスにおけるモデル特徴ベクトルの代表値との組が複数格納されている。ただし、モデルデータのモデル特徴ベクトルを省略することが可能である。
【０１０１】
また、データ処理装置１００は、クラス数及び次元数を複数回繰り返し計算することもできる。
【０１０２】
図６に、特徴抽出行列を複数回繰り返し計算する場合の、オフライン処理の動作フローチャートを示す。
【０１０３】
図３に示したＳ３０３のステップを処理した後に、クラス数及び次元数をモデルデータ分類されているカテゴリと同数とし、Ｓ３０５に移行する（Ｓ１００１）。
【０１０４】
次に、Ｓ３０５からＳ３０７までの処理を行い、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたＡＩＣ値を比較し、再度、クラス数及び次元数を求める処理の実行を決定する。ただし、クラス数及び次元数を求める処理回数が１回目は、閾値とＡＩＣ値の比較を行うことなく、Ｓ１００３に移行してもよい（Ｓ１００２）。
【０１０５】
次に、Ｓ１００２において算出されたモデル特徴ベクトルの分布状態から、クラス数及び次元数を変えないで（数２）を用いて第１のＡＩＣ値を算出する。
【０１０６】
次に、クラス数及び次元数を増加して、第２のＡＩＣ値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。
【０１０７】
ここで、第１のＡＩＣ値と第２のＡＩＣ値を比較し、第２のＡＩＣ値が第１のＡＩＣ値を上回れば、求めるクラス数及び次元数を第１のＡＩＣ値を求めたクラス数及び次元数とし、第１のＡＩＣ値と第２のＡＩＣ値が同値、若しくは第１のＡＩＣ値が第２のＡＩＣ値を上回れば、求めるクラス数及び次元数は第２のＡＩＣ値を求めたクラス数とする。
【０１０８】
つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるＡＩＣは減少することが望ましい（Ｓ１００３）。
【０１０９】
次に、Ｓ１００３で求めたクラス数及び次元数を用いて、Ｓ３０５からＳ３０７の処理を実行し、Ｓ１００２において、分類するデータにより決まる閾値と、Ｓ３０７で求めたモデル特徴ベクトルとを比較し、閾値未満ならＳ３０８に移行し、閾値以上ならＳ１００３に移行し、再度、クラス数及び次元数の算出を実行する（Ｓ１００２）。
【０１１０】
以上ように、第１の実施の形態によれば、オフライン処理により、予めカテゴリ毎に分類しておいたモデルデータを、カテゴリの形状に合わせたクラス数及び次元数とする、分離しやすいクラス構成に再構成することができる。
【０１１１】
更に、分離しやすいクラス構成を、クラス内のモデルデータの分布を小さくすると共に、クラス間のクラス分布を大きくした状態で、画像データとクラスとの比較を行える。つまり、クラスの分布の特徴が明らかな状態で画像データとクラスとの比較を行えるので、画像データのクラスとの比較が正確に行えるようになる。
【０１１２】
次に、物体認識装置のオンライン処理について説明する。オンライン処理目的は、画像データが最も類似するクラスを判定し、画像データに含まれる物体の認識を行うことである。
【０１１３】
まず、物体認識装置のオンライン処理を行うための構成について図７及び図８を用いて説明する。
【０１１４】
図７は、第１の実施の形態による物体認識装置のオンライン処理のための機能ブロック図である。
【０１１５】
ここで、５０１は、特徴抽出行列を用いて入力パターンベクトルを入力特徴ベクトルに変換し、特徴ベクトルメモリ１２１に格納する入力特徴ベクトル算出部入力を示し、５０２は、入力特徴ベクトルと、モデル特徴ベクトルの代表値とを比較して類似度を計算する入力パターンベクトル判別部を示し、５０３は、入力パターンベクトルと最も高い類似度を算出したクラスと、算出したクラスの属するカテゴリを判定する入力データ判定部を示す。
【０１１６】
また、オンライン処理は、Ｉ／Ｆ１０５、画像メモリ１１１、パターンベクトルメモリ１１４、特徴抽出行列メモリ１２１、モデル特徴ベクトルデータベース１２２、特徴ベクトルメモリ１２３、パターンベクトル作成部２０１、入力特徴ベクトル算出部５０１、入力パターンベクトル判定部５０２及び入力データ判定部５０３から構成され、パターンベクトル作成部２０１、入力特徴ベクトル算出部５０１、入力パターンベクトル判別部５０２、入力データ判定部５０３は、ＣＰＵ１０２がメモリ１０３に格納されたプログラムを読みこむことで行う。
【０１１７】
次に、図８は本発明の第１の実施の形態による物体認識装置のオンライン処理の動作フローチャートを示す。
【０１１８】
まず、機能ブロックと動作フローチャートとの関係を説明し、その後、各機能ブロックの詳細な説明を記述する。
【０１１９】
まず、物体認識装置は、ビデオカメラ１１０から認識対象となる画像データを入力する。次に、物体認識装置は、画像データを、Ｉ／Ｆ１０５を介して画像メモリ１１１に送り、記憶する（Ｓ６０１）。
【０１２０】
次に、パターンベクトル作成部２０１が、画像メモリ１１１に一旦蓄えられた画像データから、一部のデータを抽出し、さらにこの一部のデータの画素値を１次元のデータ列として表現した入力パターンベクトルを作成し、パターンベクトルメモリ１１４に蓄積する（Ｓ６０２）。
【０１２１】
次に、入力特徴ベクトル算出部５０１が、パターンベクトルメモリ１１４に格納された入力パターンベクトルに、特徴抽出行列メモリ１２３に格納されたオフライン時に求めた特徴抽出行列を用いて入力特徴ベクトルを算出する（Ｓ６０３）。
【０１２２】
そして、入力特徴ベクトル算出部５０１は、入力特徴ベクトルを入力パターンベクトル判断部５０２に出力する。
【０１２３】
次に、入力パターンベクトル判別部５０２が、モデル特徴ベクトルデータベース１２２に格納された各クラスの代表値を抽出し、入力特徴ベクトルと各クラスの代表値との類似度を計算する（Ｓ６０４）。
【０１２４】
次に、入力データ判定部５０３が、入力パターンベクトル判別部５０２が判定した入力特徴ベクトルと、各クラスの代表値との類似度を比較し、最も類似度の高いクラスを認識結果として判定する（Ｓ６０５）。
【０１２５】
次に、入力データ判定部５０３は、入力パターンベクトルと最も類似度の高いクラスの属するカテゴリを判定し、画像データに含まれる物体を認識する（Ｓ６０６）。
【０１２６】
なお、画像認識などを用いることで、カテゴリ内を更に探索することも可能である。
【０１２７】
以上が、物体認識装置がオンラインで実行するプロセスである。
【０１２８】
次に、各機能ブロックの詳細な説明を記述する。
【０１２９】
まず、パターンベクトル作成部２０１について説明する。
【０１３０】
パターンベクトル作成部２０１は、画像データから入力パターンベクトルを作成し、パターンベクトルメモリ１１４に蓄積する。
【０１３１】
なお、クラス構成モデルデータデータベース１１６に格納されているモデルデータのパターンベクトルがクラス毎に異なる方法で作成されている場合には、パターンベクトル作成部２０１は、画像データからクラス毎に定められたパターンベクトルの作成方法に従い入力パターンベクトルを作成する。
【０１３２】
また、パターンベクトル作成部２０１は、入力パターンベクトルの画像内座標の代表値
、例えば、画像内における画像データの中心点の座標をパターンベクトルメモリ１１４に蓄積してもよい。
【０１３３】
次に、入力特徴ベクトル算出部５０１について説明する。
【０１３４】
入力特徴ベクトル算出部５０１は、入力パターンベクトル及び特徴抽出行列ＡTから、（数８）を用いて入力特徴ベクトルを算出する（Ｓ６０３）。
【０１３５】
【数８】
2004178569.tif 000010
【０１３６】
ここで、ｂは、入力パターンベクトルであり、ＡTは、特徴抽出行列であり、ｆは、入力特徴ベクトルである。
【０１３７】
そして、入力特徴ベクトル算出部５０１は、特徴ベクトルメモリ１２１に入力特徴ベクトルを蓄積する。
【０１３８】
次に、入力パターンベクトル判別部５０２について説明する。
【０１３９】
入力パターンベクトル判別部５０２は、入力特徴ベクトルと各クラスの代表値との類似度を計算する
なお、画像データと各クラスとの類似度を、入力特徴ベクトル及び各クラスの代表値のユークリッド距離により判断している。類似度は、入力特徴ベクトルと、各クラスの代表値とのユークリッド距離が近いほど高い。
【０１４０】
なお、類似度は、相関距離などの他の指標を用いても良い。
【０１４１】
次に、入力データ判定部５０３について説明する。
【０１４２】
入力データ判定部５０３は、最も類似度の高いクラスを認識結果として判定し、入力パターンベクトルと最も類似度の高いクラスの属するカテゴリを判定し、クラス、クラスにおける種別、カテゴリおよび入力パターンベクトルを、出力端子１１８から出力する。
【０１４３】
なお、データ処理装置１００は、上述したオフラインとオンラインの処理を繰り返し行うことで、データ分類精度を上げることも可能である。
【０１４４】
つまり、オンライン処理において入力データ判別部５０３が画像データの属するカテゴリが複数あると判断した場合に、クラス数・次元数決定部２０２及びクラス構成構築部２０３の処理を再実行し、クラス数を変更し、モデルデータをクラス分けすることで、クラスの分布を、分類可能なクラス構成に再構築する。
【０１４５】
なお、モデルデータとして異なる距離で撮影した複数の画像を採用すると共に距離をカテゴリとして採用し、入力された画像データに最も類似度の高いカテゴリを認識することで、入力された画像データの実空間上の距離を認識する距離検出システムに応用できる。
【０１４６】
また、画像データの種類とモデルデータとをかえることで、物体認識装置を、ゲートシステム、虹彩認証システム、指紋認証システム、文字認識システム、人物検出システム、車検出システム、車認識システムなどにも応用できる。
【０１４７】
なお、第１の実施の形態では、逐次入力されるデータとして画像データを用いて画像データの分類を行ったが、逐次入力されるデータとして、例えば音声データなどのようにカテゴリという概念に分け、どのカテゴリに属するか認識処理をするデータであればいかなるデータを用いても良い。
【０１４８】
また、第１の実施の形態では、モデルデータをパターンベクトルに変換してから、カテゴリ構成モデルデータデータベース１１５およびクラス構成モデルデータデータベース１１６に格納したが、モデルデータをモデルパターンで格納しても、モデルデータのまま格納しても良い。
【０１４９】
この場合は、必要に応じて、カテゴリ構成モデルデータデータベース１１５およびクラス構成モデルデータデータベース１１６からモデルパターンもしくはモデルデータを抽出しパターンベクトルを作成するようにする。
【０１５０】
なお、第１の実施の形態では、特徴抽出行列として、クラス内分散およびクラス間分散を考慮した行列を用いたが、クラス毎の特徴が明確に現れる座標系に変換する行列であればいかなる行列であっても良い。
【０１５１】
例えば、特徴抽出行列として、主成分分析手法や部分空間法等を行う座標系に変形する行列を用いても良い。主成分分析手法を行う座標系は、サンプルデータであるモデルデータ間の間隔を広げる固有空間の座標系である。
【０１５２】
また、部分空間法を行う座標系は、座標系の次元を下げてクラスの特徴をあらわす座標系である。なお、主成分分析手法や部分空間法については、森健一著、「パターン認識」、第三版、電子情報通信学会、１９８８年、ｐ１３に開示されている。
【０１５３】
本実施の形態のように、オフライン処理として、カテゴリのパターンベクトル化し、ＡＩＣなどの情報量基準の使用し、クラスを構成し、各クラス内に含まれるパターンベクトルが最もまとまり、更に、クラス間が最も分離されるような特徴抽出行列を算出し、クラス単位のパターンベクトルの特徴座標系に変換し、クラス代表値を算出し、オンライン処理として、ビデオカメラ１１０から逐次入力されるデータとオフライン処理で求めた特徴ベクトルの代表値を比較し、該当するクラスを判断し、逐次入力されるデータの分類を行う構成とすることで、予め蓄積された各カテゴリに分類されたモデルデータを、カテゴリだけでは分類できないデータを、冗長することなく更に細かくクラスに分類することで、最適なカテゴリに分類することができる。
【０１５４】
従って、カテゴリ分布の形状、分散の程度、ノイズデータの有無及びノイズデータの程度等、データの性質に合ったクラス数及び次元数を求めることによって、データを分類しやすくなるクラス構成が構築できるという効果が得られる。
【０１５５】
（実施の形態２）
第１の実施の形態による物体認識装置は、オフライン処理において、カテゴリのモデルデータをパターンベクトルとし、クラスを構築し、クラスに分類されたパターンベクトルの座標を変換し、クラスの代表値を算出し、オンライン処理において、入力データの分類を実行するのに対し、第２の実施の形態による物体認識装置は、オフライン処理において、カテゴリのモデルデータから求められたパターンベクトルの座標を変換し、クラスを構築し、クラスの代表値を算出し、オンライン処理において、入力データの分類を実行するものである。
【０１５６】
以下、第２の実施の形態による物体認識装置の動作について、図９及び図１０を用いて
説明する。第１の実施の形態と異なるのはオフライン処理であるので、オンライン処理については省略する。
【０１５７】
図９は、８０１は、座標変換したパターンベクトルのモデル確率分布からクラスを構築するためのクラス数及び次元数を決定するクラス数・次元数決定部を示し、８０２は、全モデルデータから求めたパターンベクトルの座標を変換し、クラス数及び次元数を用いてカテゴリからクラスを構築するクラス構成構築部を示し、８０３は、クラスの代表値を求めるための特徴抽出行列を算出する特徴抽出行列算出部を示す。
【０１５８】
また、第２の実施の形態による物体認識装置のオフライン処理は、Ｉ／Ｆ１０４、１０６、モデルデータメモリ１０９、キーボード・ディスプレイ１１２、カテゴリ構成モデルデータデータベース１１５、クラス構成モデルデータデータベース１１６、クラス数・次元数メモリ１２０、特徴抽出行列メモリ１２１、パターンベクトル作成部２０１、モデル特徴ベクトル算出部２０５、クラス数・次元数決定部８０１、クラス構成構築部８０２及び特徴抽出行列算出部８０３から構成される。
【０１５９】
物体認識装置のオフライン処理について、図１０のオフライン処理の動作フローチャートを用いて説明する。
【０１６０】
まず、物体認識装置は、第１の実施の形態と同様にＳ３０１〜Ｓ３０３の処理を行い、カテゴリ構成モデルデータデータベース１１５を構築する。
【０１６１】
次に、クラス構成構築部２０３は、カテゴリ構成モデルデータデータベース１１５から全モデルデータのパターンベクトルを出力し、パターンベクトルの座標変換を行うために、（数５）を用いて全パターンベクトルの共分散行列ＣTを求める（Ｓ７０１）。
【０１６２】
次に、クラス構成構築部８０２は、後段の特徴抽出行列ＡTの算出を可能にするために、座標系を共分散行列ＣTが単位行列になる座標系に変換する。具体的には、クラス構成構築部８０２は、（数９）に示す行列Ｕを用いて、座標系を共分散行列ＣTが単位行列になる座標系に変換する（Ｓ７０２）。
【０１６３】
【数９】
2004178569.tif 000011
【０１６４】
ここで、Ｕは、変換行列を示し、Ｉは、単位行列を示す。
【０１６５】
次に、クラス数・次元数決定部８０１は、行列Ｕで変換された座標系において、第１の実施の形態と同様にＡＩＣを最小化するモデル確率分布を推定し、クラス数及び次元数を求める（Ｓ７０３）。
【０１６６】
次に、クラス構成構築部８０２は、行列Ｕで変換された座標系で、クラス数・次元数決定部８０１において求めたクラス数及び次元数に従って、最もクラス内分散ＣWを小さくするクラス構成を、ＩＳＯＤＡＴＡ法により求める。
【０１６７】
次に、クラス構成構築部８０２は、求めたクラス構成に基づいてクラス構成モデルデータデータベース１１６を作成する（Ｓ７０４）。
【０１６８】
ここで、共分散行列ＣTは一定であるため、（数１０）から最もクラス内分散ＣWを小さ
くするクラス構成を求めることで、判別基準Ｊ1を最大化するクラス構成を求めることになる。
【０１６９】
これにより、物体認識装置は、（数１０）に示される判別基準Ｊ1を算出し、判別基準Ｊ1を最大化にすることで、特徴抽出行列ＡTを算出することができる（Ｓ７０５）。
【０１７０】
【数１０】
2004178569.tif 000012
【０１７１】
以降、物体認識装置は、求めたクラス構成モデルデータデータベース１１６を元に第１の実施の形態と同様に、Ｓ３０７及びＳ３０８の処理を行い、クラス識別が精度良くできるモデル特徴ベクトルから各クラスの代表値を算出することができる。
【０１７２】
なお、特徴抽出行列ＡTは、第１の実施の形態と同様に、（数３）から（数８）を用いて算出することもできる。
【０１７３】
また、第１の実施の形態と同様に、図１１に示すように、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたＡＩＣ値を比較することで、再度、クラス数及び次元数を求める処理の実行を判断することも可能である。
【０１７４】
図１１は、第２の実施の形態による物体認識装置のオフライン処理の動作を示したフローチャートである。Ｓ３０１からＳ３０３、Ｓ３０７、Ｓ３０８、Ｓ７０１、Ｓ７０２、Ｓ７０４、Ｓ７０５の動作は、図６と同様であるため、ここでの説明は省略する。
【０１７５】
まず、Ｓ３０１からＳ７０２までの処理を実行し、座標系を共分散行列ＣTが単位行列になる座標系に変換した後に、Ｓ１１０１にて、クラス数及び次元数をモデルデータ分類されているカテゴリと同数とし、Ｓ３０５に移行する。
【０１７６】
次に、Ｓ７０４、Ｓ７０５、Ｓ３０７の処理を行い、Ｓ１１０２にて、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたＡＩＣ値を比較し、再度、クラス数及び次元数を求める処理の実行を決定する。ただし、クラス数及び次元数を求める処理回数が１回目は、閾値とＡＩＣ値の比較を行うことなく、Ｓ１１０３に移行してもよい。
【０１７７】
次に、Ｓ１１０３にて、算出されたモデル特徴ベクトルの分布状態から、クラス数及び次元数を変えないで（数２）を用いて第１のＡＩＣ値を算出する。次に、クラス数及び次元数を増加して、第２のＡＩＣ値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。
【０１７８】
ここで、第１のＡＩＣ値と第２のＡＩＣ値を比較し、第２のＡＩＣ値が第１のＡＩＣ値を上回れば、求めるクラス数及び次元数を第１のＡＩＣ値を求めたクラス数及び次元数とし、第１のＡＩＣ値と第２のＡＩＣ値が同値、若しくは第１のＡＩＣ値が第２のＡＩＣ値を上回れば、求めるクラス数及び次元数は第２のＡＩＣ値を求めたクラス数とし、Ｓ７０４に移行する。
【０１７９】
つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるＡＩＣは減少することが望ましい。
【０１８０】
以上、本実施の形態のように、モデルデータのパターンベクトルから共分散行列ＣTを
求め、共分散行列ＣTが単位行列になる座標系に変換されたモデルデータから最適なクラス数を決定し、モデルデータをクラスに分類し、各クラスの代表値を求めることで、オンライン処理において、逐次入力されるデータの属するクラスが求められ、更にカテゴリを求めることができる。
【０１８１】
従って、カテゴリ分布の形状、分散の程度、ノイズデータの有無及びノイズデータの程度等、データの性質に合ったクラス数及び次元数を求めることによって、データを分類しやすくなるクラス構成が構築できるという効果が得られる。
【０１８２】
以上、本発明の物体認識装置を用いて、顔画像認識の評価実験を行った。実験対象は２３人、画素データは９×１２画素、２５６階調とした。モデルデータは、５通りの照明条件で撮影した顔画像と、その２年後に撮影したランダムな照明条件の顔画像を約６２０枚とし、カテゴリ分類される入力データは、照明条件がモデルデータと同一だが、異なる顔画像５００枚とした。
【０１８３】
ここでは、カテゴリを対象人数の２３とし、モデルデータは６２０枚の画像データから特定の照明条件を選択し、本発明の形態によるオフライン処理を施し、最適なクラスを構築した。
【０１８４】
次に、オンライン処理として、オンライン処理で用いたモデルデータの照明条件を除外した画像データを入力データとして、物体認識を行った。ここでは、カテゴリが対象人数と同一であるため、入力データをクラスに分類することで、物体を認識することになる。
【０１８５】
以上の顔画像認識を行った結果としては、従来の物体認識装置では、カテゴリ分類を誤る確率である誤分類率が１８．５％であったものが、本発明の実施の形態を用いた物体認識装置では、誤分類率が５．４％と約１３％の精度向上が得られた。
【０１８６】
また、モデルデータに、撮影方向の異なる画像データを用いた場合は、誤分類率が１０．１％から２．５％に精度が向上した。
【０１８７】
なお、本発明は、プログラムによって実現し、これをフレキシブルディスク等の記録媒体に記録して移送することにより、独立した他のコンピュータシステムで容易に実施のすることができる。
【０１８８】
なお、記録媒体は、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば、同様に実施することができる。
【０１８９】
（実施の形態３）
第３の実施の形態による物体認識装置は、複数のモデルデータから算出される特徴ベクトルの分布と、カテゴリ又はクラスの分布との２つの分布の類似度を含む評価基準を用いて、クラスを構築するものである。
【０１９０】
以下、第３の実施の形態による物体認識装置の動作について、図１２を用いて説明する。第１の実施の形態と異なるのはオフライン処理であるので、オンライン処理については後述する。
【０１９１】
ここで、クラス数・次元数決定部１１０１は、モデルデータの分布と、カテゴリ又はクラスの分布との類似度を含む評価基準を用いて、カテゴリを冗長なく細かいクラスに分類するものであり、カテゴリ構成モデルデータデータベース１１５から分類されたカテゴリ毎にパターンベクトルを抽出し、パターンベクトルの分布から分類がし易くなる様に、評
価基準を最適化するものであり、Ｆｉｓｈｅｒ基準に基づく特徴空間と、ＡＩＣに基づくクラス数及び次元数と、これらから決定されるクラス構成とを同時に最適化する方法を示すものである。
【０１９２】
なお、Ｉ／Ｆ１０４、１０６、モデルデータメモリ１０９、キーボード・ディスプレイ１１２、カテゴリ構成モデルデータデータベース１１５、クラス構成モデルデータデータベース１１６、クラス数・次元数メモリ１２０、特徴抽出行列メモリ１２１、パターンベクトル作成部２０１、クラス構成構築部２０３、特徴抽出行列算出部２０４及びモデル特徴ベクトル算出部２０５は、第１の実施の形態と同様の動作であるため、ここでの説明は省略する。
【０１９３】
Ｆｉｓｈｅｒ基準とＡＩＣとの両基準の妥協点を求めるため、（数１１）に示す判定評価基準ＦＡＩＣを設け、これを最小化するクラス構成と特徴空間を決定する。評価基準ＦＡＩＣは、ＡＩＣと重み係数を乗算したＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ情報量（Ｋ−Ｌ情報量）を足し合わせた式である。ここでＫ−Ｌ情報量は、ＡＩＣにより決まる分布と特徴空間をＦｉｓｈｅｒ基準で最適化した際に与えたクラス構成との分布の近さを測る判定評価基準として用いている。
【０１９４】
ここで、複数のモデルデータから算出される特徴ベクトルの分布には、Ｆｉｓｈｅｒ基準に基づく特徴空間上における特徴ベクトル群の分布が該当し、カテゴリ又はクラスの分布には、Ｆｉｓｈｅｒ基準に基づく特徴空間上における特徴ベクトル群のカテゴリ又はクラス毎の分布が該当し、類似度には、Ｋ−Ｌ情報量が該当する。
【０１９５】
この時、Ｆｉｓｈｅｒ基準で最適化した特徴空間上におけるサンプルのクラス構成の密度関数をモデル分布ｆ（ｘ）、ＡＩＣにより決まる分布の密度関数を真の分布ｇ（ｘ）とおく。例えばこの時、サンプルのクラス構成の分布ｆ（ｘ）も、最適な特徴空間上では混合正規分布をなすと仮定する。
【０１９６】
【数１１】
2004178569.tif 000013
【０１９７】
以上のことから、評価基準ＦＡＩＣの最小化により、Ｆｉｓｈｅｒ基準から導かれたサンプルのクラス構成と類似する分布でありながら、ＡＩＣを最小化するクラス数と次元数を求めることができる。
【０１９８】
なお、第３の実施の形態による物体認識装置のクラス構成方法を、第２の実施の形態による物体認識装置に適応することも可能であり、図１３に、構成図を示す。
【０１９９】
図１３によるクラス数・次元数決定部１３０１は、座標変換したパターンベクトルの分布とカテゴリあるいはクラスの分布との類似度を含む評価基準を最適化するものであり、第２の実施の形態と同様に行列Ｕで変換された座標系において、ＦＡＩＣを最小化するクラス数及び次元数を求めるものである。
【０２００】
次に、第３の実施の形態による物体認識装置のオフライン処理による動作の流れを、図１４を用いて説明する。
【０２０１】
ここで、図１４は、図１２の構成による物体認識装置によるオフライン処理の動作を示すフローチャートである。
【０２０２】
第１の実施の形態では、図６に示したフローチャートにおいて、Ｆｉｓｈｅｒ基準をベースにしたステップ（Ｓ３０６）と、ＡＩＣを用いてクラス数と特徴空間の次元を決定するステップ（Ｓ１００３）を交互に繰り返すプロセスとなっている。
【０２０３】
これに対して、第３の実施の形態では、Ｆｉｓｈｅｒ基準をベースにしたステップ（Ｓ３０６）と、ＦＡＩＣを用いてクラス数と特徴空間の次元を決定するステップ（Ｓ１３０２）を交互に繰り返すプロセスとなっている。
【０２０４】
ここで、Ｓ３０１からＳ３０７、Ｓ１０００の動作は、図６と同様であるため、説明は省略する。
【０２０５】
まず、Ｓ３０１からＳ３０７までの処理を行い、モデル特徴ベクトル算出部２０５が、モデル特徴ベクトルを算出し、次に、クラス数・次元数決定部１１０１が、（数１１）より求まるＦＡＩＣ値（第１のＦＡＩＣ値）と閾値を比較し、閾値以上である場合は、Ｓ１３０２に移行し、閾値未満である場合は、Ｓ３０８に移行する。なお、初回は必ず、繰り返し処理を行うようにしておいてもよい（Ｓ１３０１）。
【０２０６】
次に、Ｓ３０８にて、モデル特徴ベクトル算出部２０５は、クラス毎のモデル特徴ベクトルの平均値を計算し、クラス毎のモデル特徴ベクトルの代表値として、モデル特徴ベクトルデータベース１２２に登録する。
【０２０７】
なお、Ｓ１３０２に移行した場合は、クラス数・次元数決定部１１０１が、算出されたモデル特徴ベクトルの分布状態から、クラス数及び次元数を増加して、（数１１）を用いて第２のＦＡＩＣ値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。
【０２０８】
ここで、第１のＦＡＩＣ値と第２のＦＡＩＣ値を比較し、第２のＦＡＩＣ値が第１のＦＡＩＣ値を上回れば、求めるクラス数及び次元数を第１のＦＡＩＣ値を求めたクラス数及び次元数とし、第１のＦＡＩＣ値と第２のＦＡＩＣ値が同値、若しくは第１のＦＡＩＣ値が第２のＦＡＩＣ値を上回れば、求めるクラス数及び次元数は第２のＦＡＩＣ値を求めたクラス数とする。
【０２０９】
つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるＦＡＩＣは減少することが望ましい。
【０２１０】
次に、Ｓ１３０２で求めたクラス数及び次元数を用いて、再度、Ｓ３０５からＳ３０７の処理を実行する。
【０２１１】
また、図１５は、図１３の構成による物体認識装置によるオフライン処理の動作を示すフローチャートである。
【０２１２】
まず、図１１と同様に、Ｓ３０７の処理を行い、Ｓ１４０１にて、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたＦＡＩＣ値を比較し、再度、クラス数及び次元数を求める処理の実行を決定する。ただし、クラス数及び次元数を求める処理回数が１回目は、閾値とＦＡＩＣ値の比較を行うことなく、Ｓ１４０２に移行してもよい。
【０２１３】
次に、Ｓ１４０２にて、算出されたモデル特徴ベクトルの分布状態から、クラス数及び
次元数を変えないで（数１１）を用いて第１のＦＡＩＣ値を算出する。次に、クラス数及び次元数を増加して、第２のＦＡＩＣ値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。
【０２１４】
ここで、第１のＦＡＩＣ値と第２のＦＡＩＣ値を比較し、第２のＦＡＩＣ値が第１のＦＡＩＣ値を上回れば、求めるクラス数及び次元数を第１のＦＡＩＣ値を求めたクラス数及び次元数とし、第１のＦＡＩＣ値と第２のＦＡＩＣ値が同値、若しくは第１のＦＡＩＣ値が第２のＦＡＩＣ値を上回れば、求めるクラス数及び次元数は第２のＦＡＩＣ値を求めたクラス数とし、Ｓ７０４に移行する。
【０２１５】
つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるＦＡＩＣは減少することが望ましい。
【０２１６】
以上の構成により、実施の形態３による画像認識装置は、実施の形態１、２による画像認識装置に比べて、（数１１）を利用することによって、一つの評価基準を最適化するだけで、一度にクラスの分類を正確に行うことができるような特徴空間と、クラス数及び次元数を求めた上でのクラス構成を求めることができる。
【産業上の利用可能性】
【０２１７】
本発明にかかるデータ分類装置、物体認識装置、データ分類方法及び物体認識方法は、クラスの分類を正確に行うことができるようなクラス数及び次元数を求めた上で、クラス数及び次元数に従ったクラス構成を求めることで、逐次入力されるデータと最も類似度の高いクラスを検出し、この検出したクラスの属するカテゴリを求めるようにでき、カテゴリの分布に関わらず、逐次入力されたデータを正確なカテゴリに分類することができ、従来の方法でのデータのカテゴリ分類を誤る確率を、低減することができるという有利な効果を有し、データが分類されているカテゴリを、カテゴリよりも小さい分布であるクラスを構築するデータ分類装置及びデータ分類方法と、データ分類装置により構成されたクラスに、入力されたデータを分類し、データに含まれる物体を認識する物体認識装置及び物体認識方法等として有用である。
【図面の簡単な説明】
【０２１８】
【図１】本発明第１の実施の形態による物体認識装置の構成を示す図
【図２】同第１の実施の形態による物体認識装置のオフライン処理の構成を示す図
【図３】同第１の実施の形態による物体認識装置のオフライン処理のフローチャート
【図４】同第１の実施の形態によるカテゴリ構成モデルデータデータベースを示す図
【図５】同第１の実施の形態によるパターンベクトルの座標変換を示す図
【図６】同第１の実施の形態による物体認識装置のオフライン処理のフローチャート
【図７】同第１の実施の形態による物体認識装置のオンライン処理の構成を示す図
【図８】同第１の実施の形態による物体認識装置のオンライン処理のフローチャート
【図９】同第２の実施の形態による物体認識装置のオフライン処理の構成を示す図
【図１０】同第２の実施の形態による物体認識装置のオフライン処理のフローチャート
【図１１】同第２の実施の形態による物体認識装置のオフライン処理のフローチャート
【図１２】同第３の実施の形態による物体認識装置のオフライン処理の構成を示す図
【図１３】同第３の実施の形態による物体認識装置のオフライン処理の構成を示す図
【図１４】同第３の実施の形態による物体認識装置のオフライン処理のフローチャート
【図１５】同第３の実施の形態による物体認識装置のオフライン処理のフローチャート
【符号の説明】
【０２１９】
１００  物体認識装置
１０１  コンピュータシステム
１０２  ＣＰＵ
１０８  画像データベース
１１０  ビデオカメラ
１１２  キーボード・ディスプレイ
１１４  パターンベクトルメモリ
１１５  カテゴリ構成モデルデータデータベース
１１６  クラス構成モデルデータデータベース
１２０  クラス数・次元数メモリ
１２１  特徴抽出行列メモリ
１２２  モデル特徴ベクトルデータベース
１２３  特徴ベクトルメモリ
２０１  パターンベクトル作成部
２０２、８０１、１２０１、１３０１  クラス数・次元数決定部
２０３、８０２  クラス構成構築部
２０４、８０３  特徴抽出行列算出部
２０５  モデル特徴ベクトル算出部
５０１  入力特徴ベクトル算出部
５０２  入力パターンベクトル判別部
５０３  入力データ判定部
【図１】
2004178569.tif 000014
【図２】
2004178569.tif 000015
【図３】
2004178569.tif 000016
【図４】
2004178569.tif 000017
【図５】
2004178569.tif 000018
【図６】
2004178569.tif 000019
【図７】
2004178569.tif 000020
【図８】
2004178569.tif 000021
【図９】
2004178569.tif 000022
【図１０】
2004178569.tif 000023
【図１１】
2004178569.tif 000024
【図１２】
2004178569.tif 000025
【図１３】
2004178569.tif 000026
【図１４】
2004178569.tif 000027
【図１５】
2004178569.tif 000028