(57)【要約】【課題】学習データがないクラスを含むクラス分類の精度を高めること。【解決手段】情報処理装置１００は、未知データを配置した未知データプールＰｕを生成するデータプール生成部１１０、未知データプールＰｕからランダムに１つの中心データと、特徴量空間Ｓ１上で中心データの特徴量の近傍に位置する特徴量を有する近傍データとを学習サンプルＬとして複数収集する学習サンプル収集部１２０、学習サンプルＬを用いて、複数の識別器Ｄを生成する識別器生成部１３０、それぞれのデータについて、データを複数の識別器Ｄに入力してそれぞれ識別することによって得られる複数の出力値Ｒを、特徴量空間Ｓ１とは異なる出力特徴量空間Ｓ２上に表される出力特徴量Ｖｏｕｔとしてデータに対応付ける出力特徴量取得部１４０、およびそれぞれのデータを、出力特徴量Ｖｏｕｔに基づいて、所定の数のクラスのいずれかに分類するクラス分類部１６０を備える。【選択図】図１
2011248636.tif 000002
【特許請求の範囲】
【請求項１】
データ群に含まれる、特徴量空間上に表される特徴量を有するデータのうち、分類されるクラスが未知である未知データを配置した未知データプールを生成するデータプール生成部；
前記未知データプールからランダムに１つの中心データを抽出し、前記特徴量空間上で前記中心データの特徴量の近傍に位置する特徴量を有する近傍データを、該特徴量の前記特徴量空間上での前記中心データの特徴量からの距離が小さい順に所定の数まで抽出し、抽出された前記中心データおよび前記近傍データを学習サンプルとして複数収集する学習サンプル収集部；
前記複数収集された学習サンプルを用いて、複数の識別器を生成する識別器生成部；
前記データ群に含まれるそれぞれの前記データについて、前記データを前記複数の識別器に入力してそれぞれ識別することによって得られる複数の出力値を、前記特徴量空間とは異なる出力特徴量空間上に表される出力特徴量として前記データに対応付ける出力特徴量取得部；および
前記データ群に含まれるそれぞれの前記未知データを、前記出力特徴量に基づいて、所定の数の前記クラスのいずれかに分類するクラス分類部
を備える情報処理装置。
【請求項２】
前記データプール生成部は、さらに、前記データ群に含まれる前記データのうち、分類される前記クラスが既知である既知データを配置した、前記既知データが分類される前記クラスのラベルを有する既知データプールを生成し、
前記学習サンプル収集部は、さらに、同一の前記ラベルを有する前記既知データプールからランダムに所定の数の前記データを抽出し、抽出された前記データを学習サンプルとして収集する、
請求項１に記載の情報処理装置。
【請求項３】
前記学習サンプル収集部は、前記未知データプールから抽出したデータによる学習サンプルと、前記既知データプールから抽出したデータによる学習サンプルとの数の比率を、前記既知データが分類される前記クラスと、前記既知データが分類されない前記クラスとの数の比率に応じて決定する、
請求項２に記載の情報処理装置。
【請求項４】
前記出力特徴量に対して次元圧縮処理を行う次元圧縮部
をさらに備え、
前記クラス分類部は、前記次元圧縮部によって次元圧縮処理された前記出力特徴量に基づいて前記データを分類する、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
データ群に含まれる、特徴量空間上に表される特徴量を有するデータのうち、分類されるクラスが未知である未知データを配置した未知データプールを生成するステップ；
前記未知データプールからランダムに１つの中心データを抽出し、前記特徴量空間上で前記中心データの特徴量の近傍に位置する特徴量を有する近傍データを、該特徴量の前記特徴量空間上での前記中心データの特徴量からの距離が小さい順に所定の数まで抽出し、抽出された前記中心データおよび前記近傍データを学習サンプルとして複数収集するステップ；
前記複数収集された学習サンプルを用いて、複数の識別器を生成するステップ；
前記データ群に含まれるそれぞれの前記データについて、前記データを前記複数の識別器に入力してそれぞれ識別することによって得られる複数の出力値を、前記特徴量空間とは異なる出力特徴量空間上に表される出力特徴量として前記データに対応付けるステップ；および
前記データ群に含まれるそれぞれの前記未知データを、前記出力特徴量に基づいて、所定の数の前記クラスのいずれかに分類するステップ
を含む情報処理方法。
【請求項６】
データ群に含まれる、特徴量空間上に表される特徴量を有するデータのうち、分類されるクラスが未知である未知データを配置した未知データプールを生成する手段；
前記未知データプールからランダムに１つの中心データを抽出し、前記特徴量空間上で前記中心データの特徴量の近傍に位置する特徴量を有する近傍データを、該特徴量の前記特徴量空間上での前記中心データの特徴量からの距離が小さい順に所定の数まで抽出し、抽出された前記中心データおよび前記近傍データを学習サンプルとして複数収集する手段；
前記複数収集された学習サンプルを用いて、複数の識別器を生成する手段；
前記データ群に含まれるそれぞれの前記データについて、前記データを前記複数の識別器に入力してそれぞれ識別することによって得られる複数の出力値を、前記特徴量空間とは異なる出力特徴量空間上に表される出力特徴量として前記データに対応付ける手段；および
前記データ群に含まれるそれぞれの前記未知データを、前記出力特徴量に基づいて、所定の数の前記クラスのいずれかに分類する手段
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、特徴量空間上に表される特徴量を有するデータを、所定の数のクラスのいずれかにそれぞれ分類する情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
機械学習の分野において、クラス分類と呼ばれる問題がある。この問題は、データが分類される所定の数のクラスが定義された場合に、それぞれのデータがどのクラスに分類されるかを、データの特徴量に基づいて予測するという問題である。例えば、画像データを対象とした機械学習では、特定の物体が含まれる画像データが分類されるクラスを定義し、それぞれの画像データにどの物体が含まれるかを、画像データの特徴量に基づいて予測するという形で、クラス分類の問題が扱われる。
【０００３】
クラス分類には、学習データから識別器を作成して分類する、いわゆる教師あり分類と、学習データのない状態で分類する、いわゆる教師なし分類とがある。教師あり分類としては、例えばサポートベクタマシン（ＳＶＭ：Support  Vector  Machine）などが知られている。また、教師なし分類としては、例えばクラスタ解析などが知られている。
【０００４】
ここで、教師あり分類は、既にクラスに分類されたデータから分類の基準を学習し、その基準を反映してデータを分類するため、分類の精度が高い。しかし、教師あり分類では、まだデータが分類されていないクラスにデータを分類することができない。データが分類されていないクラスからは、そのクラスへの分類の基準を学習するための学習データが取得できないからである。一方、教師なし分類は、まだデータが分類されていないクラスにデータを分類できる。しかし、教師なし分類は、学習データを用いないため、教師あり分類に比較すると分類の精度が低い。特に、次元が大きい特徴量を有するデータの教師なし分類においては、データが高次元化することによって汎化誤差が向上しなくなる、次元の呪い（curse  of  dimensionality）と呼ばれる現象によって、さらに分類の精度が低下してしまう。そこで、次元が高い特徴量を有するデータの教師なし分類をする場合、主成分分析（ＰＣＡ：Principal  Component  Analysis）、または独立成分分析（ＩＣＡ：Independent  Component  Analysis）などのアルゴリズムを用いて次元圧縮し、特徴量を低次元化する場合がある。
【０００５】
このようなクラス分類において、予測の精度を高めるための技術が開発されている。例えば、非特許文献１には、冗長に用意された識別器を用いることによって、個々の識別器の誤りを訂正するＥＣＯＣ（Error  Correcting  Output  Code）を用いたクラス分類の技術が記載されている。また、非特許文献２には、画像データにおいて、局所パターンの分布に基づくＢａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓと呼ばれる特徴量を用いたクラス分類の技術が記載されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Thomas  G.  Dietterich  and  Ghulum  Bakiri，“Solving  Multiclass  Learning  Problems  via  Error-Correcting  Output  Codes”，Journal  of  Artificial  Intelligence  Research，1995年，Vol.2，pp.263-286
【非特許文献２】Gabriella  Csurka  et  al.，“Visual  Categorization  with  Bags  of  Keypoints”，Proc.  of  ECCV  Workshop  on  Statistical  Learning  in  Computer  Vision，2004年，pp.59-74
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献１に記載されたＥＣＯＣでは、識別器を生成するための学習データが用意できることが前提になる。従って、学習データがないクラスにデータを分類するためには、依然として従来の教師なし分類の手法を用いる必要があり、学習データがないクラスを含むクラス分類の精度を高めることは難しい。また、非特許文献２に記載されたＢａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓは、高次元でスパースな特徴量空間で表される特徴量である。従って、そのまま教師なし分類に用いれば、次元の呪いの影響を大きく受けて分類の精度が低下してしまう。また、Ｂａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ特徴量に対してＰＣＡまたはＩＣＡなどのアルゴリズムを用いた次元圧縮をしようとすると、データの分散やはずれ値の影響を受けて、意味のない成分ばかりが残る可能性がある。つまり、クラス分類に適した次元圧縮をすることが難しい。結果として、非特許文献１および非特許文献２に記載されているような技術が開発されているにもかかわらず、学習データがないクラスを含むクラス分類においては、それらを利用して精度を高めることが難しいという問題があった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、学習データがないクラスを含むクラス分類の精度を高めることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、データ群に含まれる、特徴量空間上に表される特徴量を有するデータのうち、分類されるクラスが未知である未知データを配置した未知データプールを生成するデータプール生成部、上記未知データプールからランダムに１つの中心データを抽出し、上記特徴量空間上で上記中心データの特徴量の近傍に位置する特徴量を有する近傍データを、該特徴量の上記特徴量空間上での上記中心データの特徴量からの距離が小さい順に所定の数まで抽出し、抽出された上記中心データおよび上記近傍データを学習サンプルとして複数収集する学習サンプル収集部、上記複数収集された学習サンプルを用いて、複数の識別器を生成する識別器生成部、上記データ群に含まれるそれぞれの上記データについて、上記データを上記複数の識別器に入力してそれぞれ識別することによって得られる複数の出力値を、上記特徴量空間とは異なる出力特徴量空間上に表される出力特徴量として上記データに対応付ける出力特徴量取得部、および上記データ群に含まれるそれぞれの上記未知データを、上記出力特徴量に基づいて、所定の数の上記クラスのいずれかに分類するクラス分類部を備える情報処理装置が提供される。
【００１０】
このような構成によって、特徴量空間での学習により生成された、クラス分類に適した表現力を有する出力特徴量を用いて未知データをクラス分類し、分類の精度を高めることができる。また、高次元の特徴量を、識別器の数まで低次元化し、分類の精度をさらに高めることができる。
【００１１】
上記データプール生成部は、さらに、上記データ群に含まれる上記データのうち、分類される上記クラスが既知である既知データを配置した、上記既知データが分類される上記クラスのラベルを有する既知データプールを生成し、上記学習サンプル収集部は、さらに、同一の上記ラベルを有する上記既知データプールからランダムに所定の数の上記データを抽出し、抽出された上記データを学習サンプルとして収集してもよい。
【００１２】
上記学習サンプル収集部は、上記未知データプールから抽出したデータによる学習サンプルと、上記既知データプールから抽出したデータによる学習サンプルとの数の比率を、上記既知データが分類される上記クラスと、上記既知データが分類されない上記クラスとの数の比率に応じて決定してもよい。
【００１３】
上記情報処理装置は、上記出力特徴量に対して次元圧縮処理を行う次元圧縮部をさらに備え、上記クラス分類部は、上記次元圧縮部によって次元圧縮処理された上記出力特徴量に基づいて上記データを分類してもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、データ群に含まれる、特徴量空間上に表される特徴量を有するデータのうち、分類されるクラスが未知である未知データを配置した未知データプールを生成するステップ、上記未知データプールからランダムに１つの中心データを抽出し、上記特徴量空間上で上記中心データの特徴量の近傍に位置する特徴量を有する近傍データを、該特徴量の上記特徴量空間上での上記中心データの特徴量からの距離が小さい順に所定の数まで抽出し、抽出された上記中心データおよび上記近傍データを学習サンプルとして複数収集するステップ、上記複数収集された学習サンプルを用いて、複数の識別器を生成するステップ、上記データ群に含まれるそれぞれの上記データについて、上記データを上記複数の識別器に入力してそれぞれ識別することによって得られる複数の出力値を、上記特徴量空間とは異なる出力特徴量空間上に表される出力特徴量として上記データに対応付けるステップ、および上記データ群に含まれるそれぞれの上記未知データを、上記出力特徴量に基づいて、所定の数の上記クラスのいずれかに分類するステップを含む情報処理方法が提供される。
【００１５】
また、上記課題を解決するために、本発明のさらに別の観点によれば、データ群に含まれる、特徴量空間上に表される特徴量を有するデータのうち、分類されるクラスが未知である未知データを配置した未知データプールを生成する手段、上記未知データプールからランダムに１つの中心データを抽出し、上記特徴量空間上で上記中心データの特徴量の近傍に位置する特徴量を有する近傍データを、該特徴量の上記特徴量空間上での上記中心データの特徴量からの距離が小さい順に所定の数まで抽出し、抽出された上記中心データおよび上記近傍データを学習サンプルとして複数収集する手段、上記複数の学習サンプルを用いて、複数の識別器を生成する手段、上記データ群に含まれるそれぞれの上記データについて、上記データを上記複数の識別器に入力してそれぞれ識別することによって得られる複数の出力値を、上記特徴量空間とは異なる出力特徴量空間上に表される出力特徴量として上記データに対応付ける手段、および上記データ群に含まれるそれぞれの上記未知データを、上記出力特徴量に基づいて、所定の数の上記クラスのいずれかに分類する手段としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、学習データがないクラスを含むクラス分類の精度を高めることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図２】同実施形態に係るデータ群について説明するための図である。
【図３】同実施形態に係る特徴量空間上の未知データの特徴量について説明するための図である。
【図４】同実施形態に係る特徴量空間上の未知データの特徴量についてクラスごとに説明するための図である。
【図５】同実施形態に係る一連の処理を示すフローチャートである。
【図６】同実施形態に係るデータプールの生成処理を示す図である。
【図７】同実施形態に係る学習サンプルの収集処理を示す図である。
【図８】同実施形態に係る識別器の生成処理を示す図である。
【図９】同実施形態に係る識別器による既知データの識別を示す図である。
【図１０】同実施形態に係る識別器による未知データの識別を示す図である。
【図１１】同実施形態に係る出力特徴量の取得処理を示す図である。
【図１２】同実施形態に係る出力特徴量空間上の未知データの出力特徴量について説明するための図である。
【図１３】同実施形態に係る出力特徴量空間上の未知データの出力特徴量についてクラスごとに説明するための図である。
【図１４】本発明の実施形態の変形例において処理対象となるデータの構成について説明するための図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
なお、説明は以下の順序で行うものとする。
１．本発明の実施形態
１−１．情報処理装置の構成
１−２．クラス分類の処理
２．変形例
３．まとめ
【００２０】
＜１．本発明の実施形態＞
［１−１．情報処理装置の構成］
まず、図１を参照して、本発明の実施形態に係る情報処理装置の構成について説明する。
【００２１】
図１は、本発明の実施形態に係る情報処理装置１００の機能構成を示すブロック図である。図１を参照すると、情報処理装置１００は、データプール生成部１１０、学習サンプル収集部１２０、識別器生成部１３０、出力特徴量取得部１４０、次元圧縮部１５０、クラス分類部１６０、および記憶部１７０を含む。なお、後述するように、情報処理装置１００は次元圧縮部１５０を含まない構成であってもよい。
【００２２】
上記の情報処理装置１００の機能構成要素のうち、データプール生成部１１０、学習サンプル収集部１２０、識別器生成部１３０、出力特徴量取得部１４０、次元圧縮部１５０、およびクラス分類部１６０は、例えば集積回路などを含む回路構成によってハードウェアとして実装されてもよく、または、記憶部１７０を構成する記憶装置またはリムーバブル記憶媒体に格納されたプログラムをＣＰＵ（Central  Processing  Unit）が実行することによって、ソフトウェアとして実装されてもよい。記憶部１７０は、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などの記憶装置、および光ディスク、磁気ディスク、半導体メモリなどのリムーバブル記憶媒体を必要に応じて組み合わせて実装される。
【００２３】
情報処理装置１００は、記憶部１７０に格納されたデータ群に含まれるデータを、所定の数のクラスのいずれかにそれぞれ分類する。ここで、それぞれのデータは、データの特徴を表す特徴量を有する。特徴量は、特徴量空間上に表される。例えば、特徴量は、多次元のベクトルであり、特徴量空間は、特徴量のベクトルが表されるベクトル空間である。データ群の中には、分類されるクラスが未知である未知データが含まれる。データ群の中には、さらに、分類されるクラスが既知である既知データが含まれてもよい。また、クラスは、何らかの基準で分類されたデータの集合であり、クラスを相互に識別するラベルを有する。
【００２４】
データプール生成部１１０は、データ群に含まれるデータを配置したデータプールを生成する。具体的には、データプール生成部１１０は、未知データを配置した未知データプールと、既知データを配置した既知データプールとを生成する。ここで、未知データプールは、未知データ全体が配置される単一のデータプールである。一方、既知データプールは、クラスのラベルと同一のラベルを有し、そのクラスに分類された既知データが配置される。なお、データ群に既知データが存在しない場合、データプール生成部１１０は、未知データプールだけを生成する。
【００２５】
学習サンプル収集部１２０は、データプール生成部１１０によって生成されたデータプールから、所定の数のデータを抽出して学習サンプルとして複数収集する。未知データプールからは、ランダムサンプリングと最近傍探索によって学習サンプルが収集される。具体的には、学習サンプル収集部１２０は、未知データプールから１つのデータをランダムに抽出し、このデータを中心データとする。次に、学習サンプル収集部１２０は、特徴量空間上で中心データの特徴量の近傍に位置する特徴量を有する近傍データを、該特徴量の特徴量空間上での中心データの特徴量からの距離が小さい順に所定の数まで抽出し、こうして抽出された中心データおよび近傍データを学習サンプルとする。一方、既知データプールからは、データプールのラベルに従って学習サンプルが収集される。具体的には、学習サンプル収集部１２０は、同一のラベルを有する既知データプールの中から、ランダムに所定の数のデータを抽出し、こうして抽出されたデータを学習サンプルとする。
【００２６】
識別器生成部１３０は、学習サンプル収集部１２０によって収集された複数の学習サンプルを用いて、複数の識別器（classifier）を生成する。識別器は、入力されたデータに対して、ある分類と他の分類を識別する値、例えば識別超平面からのからの距離または確率などを出力する。識別器としては、例えば、２つの分類を識別する２クラス識別器を用いてもよい。なお、識別器生成部１３０が生成した識別器によって識別される対象については、後述する。
【００２７】
出力特徴量取得部１４０は、データ群に含まれるそれぞれのデータについて、データを識別器生成部１３０が生成した複数の識別器に入力する。出力特徴量取得部１４０は、さらに、それぞれのデータについて、複数の識別器に入力して識別した結果得られる複数の出力値を取得し、出力特徴量としてデータに対応付ける。ここで、出力特徴量は、データがもともと有していた特徴量の特徴量空間とは異なる、出力特徴量空間上に表される特徴量である。例えば、出力特徴量は、識別器の数と同じ次元を有するベクトルであり、出力特徴量空間は、出力特徴量のベクトルが表されるベクトル空間である。出力特徴量は、もとの特徴量空間での学習により生成されるため、クラス分類に適した表現力を有する。また、識別器生成部１３０で生成する識別器の数を設定することによって、出力特徴量の次元を、データがもともと有していた特徴量の次元よりも低次元化してもよい。
【００２８】
次元圧縮部１５０は、出力特徴量取得部１４０によって取得され、データに対応付けられた出力特徴量について、さらなる低次元化をする場合に設けられる。次元圧縮部１５０は、例えばＰＣＡまたはＩＣＡなどのアルゴリズムを用いて、出力特徴量に対して次元圧縮を行う。ここで、例えば、データがもともと有していた特徴量がＢａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ特徴量である場合を考える。Ｂａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ特徴量は、高次元でスパースな特徴量空間で表される特徴量であるため、そのままの状態で次元圧縮処理を行おうとすると、データの分散や、はずれ値の影響を受けて、意味のない成分ばかりが残るおそれがある。つまり、クラス分類に適さない形で低次元化されるおそれがある。これに対して、出力特徴量は、上記のように識別器の出力値であるため、データの分散やはずれ値の影響を直接受けることなく次元圧縮処理を行うことができる。
【００２９】
クラス分類部１６０は、データ群に含まれる未知データを、出力特徴量に基づいて、所定の数のクラスのいずれかに分類する。ここで、未知データの分類には、例えばクラスタ解析などの教師なし分類の手法が用いられうる。出力特徴量は、もとの特徴量空間での学習により生成されるため、クラス分類に適した表現力を有する。そのため、クラス分類部１６０における教師なし分類の精度は、もとの特徴量を用いた教師なし分類に比べて向上しうる。また、上記のように、出力特徴量の次元が、データがもともと有していた特徴量の次元よりも低い次元の出力値特徴量である場合、クラス分類部１６０における教師なし分類の精度は、さらに向上しうる。また、データ群に既知データが含まれる場合、出力特徴量は、既知データの学習サンプルから生成された識別器の出力値を含む。この場合、出力特徴量は、実際のクラス分類において重要な特徴を反映したものになり、クラス分類部１６０における教師なし分類の精度は、さらに向上しうる。
【００３０】
記憶部１７０には、情報処理装置１００における処理に必要なデータが格納される。例えば、記憶部１７０には、情報処理装置１００における分類の対象となるデータ群が格納される。また、記憶部１７０には、情報処理装置１００の各部の処理において生成されたデータが一時的に格納されてもよい。さらに、記憶部１７０には、情報処理装置１００の各機能がソフトウェアによって実装される場合に、ＣＰＵによって実行されることで各機能を実現するプログラムが、一時的または永続的に格納されてもよい。
【００３１】
情報処理装置１００は、上記で説明した構成要素の他に、データ群および分類結果などの情報を入出力するためのＵＳＢ（Universal  Serial  Bus）またはＬＡＮ（Local  Area  Network）などの通信インターフェース、および、処理の実行時などにユーザの指示を取得するためのキーボードまたはマウスなどの入力装置など、図示されていない構成要素を必要に応じて含んでもよい。
【００３２】
［１−２．クラス分類の処理］
（対象となるデータについて）
次に、図２〜４を参照して、本発明の実施形態に係るクラス分類の処理の対象となるデータについて説明する。なお、以下の説明においては、クラス分類の対象となるデータが、何らかの物体を含む画像データであり、データが分類されるクラスが、画像に含まれる物体である場合を例として説明する。しかし、特徴量を有するデータであれば、画像データ以外のデータ、例えば音声データまたは動画データなどにも、本発明の実施形態を適用することができる。また、以下の説明においては、データの有する特徴量が、Ｂａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ特徴量である場合を例として説明する。しかし、特徴量空間上に表される特徴量であれば、他のいかなる特徴量にも本発明の実施形態を適用することができる。特に、データの有する特徴量の次元が高い場合には、本発明の実施形態を適用したより有利な効果を得ることができる。
【００３３】
図２は、本発明の実施形態に係るデータ群Ｇについて説明するための図である。図２を参照すると、データ群Ｇは、既知データと未知データとを含む。なお、上述の通り、データ群Ｇは必ずしも既知データを含まなくてもよい。
【００３４】
既知データは、図の例では、“カメラ”、“ヒョウ”、“時計”のラベルをそれぞれ有するクラスに分類されている。例えば、“カメラ”のラベルを有するクラスに分類されているデータは、図においてカメラ１、カメラ２、…として示されている。これらのデータは、何らかの方法によって、カメラが含まれる画像データであることが既知であるデータである。同様に、“ヒョウ”のラベルを有するクラスに分類されているデータが、ヒョウ１、ヒョウ２、…として、“時計”のラベルを有するクラスに分類されているデータが、時計１、時計２、…として、それぞれ示されている。
【００３５】
未知データは、図の例では、上記の３つのクラスのいずれにも分類されていないデータである。未知データは、図において未知１、未知２、未知３、…として示されている。未知データは、この時点ではクラスに分類されていないが、何らかの基準によって、“盆栽”、“カップ”、“ノートＰＣ”、“フェリー”、“パンダ”、“ひまわり”の６つのクラスのいずれかに分類されることが決まっている。従って、図の例におけるデータ群Ｇに含まれるデータは、既知の３つを合わせた９つのクラスのいずれかにそれぞれ分類される。
【００３６】
既知データおよび未知データを含むデータ群Ｇのそれぞれのデータは、特徴量を有する。ここで、例えば、既知データにおいて、“カメラ”のラベルを有するクラスに分類されているデータの特徴量には、カメラを含む画像の特徴が反映されている。同様に、“ヒョウ”のラベルを有するクラスに分類されているデータの特徴量には、ヒョウを含む画像の特徴が反映されている。また、“時計”のラベルを有するクラスに分類されているデータの特徴量には、時計を含む画像の特徴が反映されている。一方、未知データが分類される“盆栽”、“カップ”、“ノートＰＣ”、“フェリー”、“パンダ”、“ひまわり”の６つのクラスについては、それぞれのクラスに分類されるデータが、どのような特徴量の傾向を有するのかはわからない。ここで、このような未知データの特徴量について、図３および図４を参照してさらに説明する。
【００３７】
図３は、本発明の実施形態に係る特徴量空間Ｓ１上の未知データの特徴量について説明するための図である。図４は、本発明の実施形態に係る特徴量空間Ｓ１上の未知データについてクラスごとに説明するための図である。図３を参照すると、データ群Ｇに含まれる未知データの特徴量が表された特徴量空間Ｓ１が示されている。図４を参照すると、“盆栽”、“カップ”、“ノートＰＣ”、“フェリー”、“パンダ”、“ひまわり”の６つのクラスに分類される未知データのそれぞれの特徴量が表された特徴量空間Ｓ１ａ〜Ｓ１ｆが示されている。なお、図３および図４において、それぞれの特徴量は、サモンマップを用いて二次元に射影されている。
【００３８】
図３および図４において示されるように、各クラスに分類される未知データのそれぞれの特徴量は、クラスごとにある程度の傾向をもって特徴量空間Ｓ１に分布している。しかし、例えば、特徴量空間Ｓ１ｅに表される“パンダ”のクラスと、特徴量空間Ｓ１ｆに表される“ひまわり”のクラスは、特徴量空間Ｓ１上でかなりの部分が重なり合って表されている。そのため、精度の低いクラス分類では、これらのクラスに未知データを正確に分類することは難しい。ここで、未知データのそれぞれが有する特徴量は、高次元の特徴量であるＢａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ特徴量であるため、未知データの特徴量を用いて、クラスタ解析などの教師なし分類を行う場合、上述の次元の呪いの影響によって、分類の精度が低くなり、各クラスに未知データを正確に分類することが難しくなる。このようなデータについて、本発明の実施形態にかかるデータ分類処理は、特に有利な効果を奏する。以下で、その各ステップの処理について説明する。
【００３９】
（データプールの生成処理）
次に、図５〜図１３を参照して、本発明の実施形態に係るクラス分類の一連の処理について説明する。図５は、本発明の実施形態に係る一連の処理を示すフローチャートである。以下、図５のフローチャートを随時参照しながら、他の図面を合わせて参照し、情報処理装置１００におけるクラス分類の処理について説明する。
【００４０】
図５を参照して、まず、データプール生成部１１０が、データ群Ｇのデータを配置したデータプールを生成する（ステップＳ１０１）。ここで、データプールの生成処理について、図６を参照して説明する。
【００４１】
図６は、本発明の実施形態に係るデータプールＰの生成処理を示す図である。図６を参照すると、データ群Ｇに含まれるデータのうち、分類されるクラスが未知である未知データを配置した未知データプールＰｕが生成される。図示された例では、ひまわりが含まれる画像データ、カップが含まれる画像データ、および盆栽が含まれる画像データが、未知データとして未知データプールＰｕに配置されている。図示された例では未知データプールＰｕは１つだが、複数の未知データプールＰｕが生成されてもよい。
【００４２】
さらに、分類されるクラスが既知である既知データがデータ群Ｇに存在する場合、既知データを配置した既知データプールＰｋが生成される。既知データプールＰｋは、それぞれ、配置される既知データが分類されるクラスのラベルを有する。図示された例では、“カメラ”のラベルを有するクラスに分類された既知データが配置される既知データプールＰｋ１（ラベルは“カメラ”）、“ヒョウ”のラベルを有するクラスに分類された既知データが配置される既知データプールＰｋ２（ラベルは“ヒョウ”）、および“時計”のラベルを有するクラスに分類された既知データが配置される既知データプールＰｋ３（ラベルは“時計”）がそれぞれ生成される。
【００４３】
（学習サンプルの収集処理）
再び図５を参照して、続いて、学習サンプル収集部１２０が、データプールのデータを学習サンプルとして収集する（ステップＳ１０３）。ここで、学習サンプルの収集処理について、図７を参照して説明する。
【００４４】
図７は、本発明の実施形態に係る学習サンプルＬの収集処理を示す図である。図７を参照すると、未知データプールＰｕから学習サンプルＬＮが収集され、既知データプールＰｋ１から学習サンプルＬ１が収集される。学習サンプル収集は、いずれかのデータプールのデータを、続く処理における識別器の生成のために十分な所定の数だけ抽出し、抽出された所定の数のデータを１つの学習サンプルＬとする処理を繰り返すことによって行われる。
【００４５】
未知データプールＰｕからの学習サンプルＬＮは、特徴量空間Ｓ１での距離を制約として収集される。まず、未知データプールＰｕから、１つの中心データがランダムに抽出される。この中心データは、未知データプールＰｕ内のどこから抽出されてもよい。次に、中心データに対する近傍データが抽出される。ここで、近傍データとは、特徴量空間Ｓ１上で、中心データの特徴量の近傍に位置する特徴量を有するデータである。近傍データは、その特徴量の特徴量空間Ｓ１上での中心データの特徴量からの距離が小さい順に、抽出されたデータの数が中心データを含めて所定の数になるまで抽出される。近傍データの抽出には、最近傍探索のアルゴリズムが用いられてもよい。このような処理によって収集された、未知データプールＰｕから収集された学習サンプルＬＮに含まれる一群のデータは、特徴量空間Ｓ１上の場所はランダムであるものの、各データは特徴量空間Ｓ１上で互いに近傍に位置するという特徴を有する。
【００４６】
一方、既知データプールＰｋ１からの学習サンプルＬ１は、データプールのラベルを制約として収集される。ここでは、既知データプールＰｋ１の中からランダムに所定の数だけデータが抽出される。既知データプールＰｋ１から収集された学習サンプルＬ１に含まれる一群のデータは、既知データプールＰｋ１のデータだけからなり、他の既知データプールＰｋ２、Ｐｋ３、または未知データプールＰｕのデータは含まれない。
【００４７】
データ群Ｇに既知データが存在する場合、未知データプールＰｕから抽出したデータによる学習サンプルＬと、既知データプールＰｋから抽出したデータによる学習サンプルＬとの数の比率は、既知データが分類されるクラスと既知データが分類されないクラスとの数の比率に応じて決定されてもよい。これについて、図示された例の場合で具体的に説明する。図示された例において、クラスの所定の数は９つであり、そのうち３つ（“カメラ”、“ヒョウ”、“時計”）は、既知データが分類されるクラス、残りの６つ（“盆栽”、“カップ”、“ノートＰＣ”、“フェリー”、“パンダ”、“ひまわり”）は、既知データが分類されないクラスである。この場合、学習サンプルＬは、既知データプールＰｋ１から１、既知データプールＰｋ２から１、既知データプールＰｋ３から１、および未知データプールＰｕから６の割合で収集される。つまり、既知データプールＰｋ１から１０の学習サンプルＬを収集した場合、既知データプールＰｋ２からも１０、既知データプールＰｋ３からも１０、未知データプールＰｕからは６０の学習サンプルＬを収集する。続くステップにおいて、このようにして収集された学習サンプルＬを用いて識別器を生成することによって、どのクラスにも偏りなく対応する複数の識別器を生成することができ、それぞれのクラスへの分類の精度を偏りなく高めることができる。
【００４８】
（識別器の生成処理）
再び図５を参照して、続いて、識別器生成部１３０が、複数収集された学習サンプルＬから複数の識別器を生成する（ステップＳ１０５）。ここで、識別器の生成処理について、図８〜１０を参照して説明する。
【００４９】
図８は、本発明の実施形態にかかる識別器Ｄの生成処理を示す図である。図８を参照すると、学習サンプルＬ１および学習サンプルＬ２を用いて識別器Ｄ１が生成され、学習サンプルＬ３および学習サンプルＬ４を用いて識別器Ｄ２が生成され、以下同様に、学習サンプルＬＮ−１および学習サンプルＬＮを用いて生成される識別器Ｄｎまで、合計ｎ個の識別器が生成される。ここでは、識別器Ｄの一例として、２クラス識別器（one-versus-one  classifier）を用いる。２クラス識別器は、入力されたデータに対して、そのデータを２つの分類に分けるための実数の値、例えば識別超平面からの距離、または確率などを出力する。このような２クラス識別器の生成には、例えばＳＶＭなどの教師あり分類のアルゴリズムを用いることができる。識別器Ｄの生成に用いられる学習サンプルＬは、ステップＳ１０３において学習サンプル収集部１２０によって複数収集される。識別器生成部１３０は、複数の学習サンプルＬを偏りなく用いて、複数の識別器Ｄを生成するのが望ましい。
【００５０】
上記の例において、識別器Ｄの識別の対象となる２つの分類は、識別器Ｄが生成された元となる２つの学習サンプルによって与えられる。例えば、学習サンプルＬ１が既知データプールＰｋ１から収集され、学習サンプルＬ２が既知データプールＰｋ２から収集されるものとする。この場合、識別器Ｄ１は、既知データプールＰｋ１に含まれるデータと、既知データプールＰｋ２に含まれるデータとを２つの分類として、入力されたデータを識別してこの２つの分類に分けるための値を出力する。つまり、識別器Ｄ１は、“カメラ”のラベルを有するクラスに分類された既知データと、“ヒョウ”のラベルと有するクラスに分類された既知データとを識別する。
【００５１】
また、別の例として、学習サンプルＬＮ−１が未知データプールＰｕから収集され、学習サンプルＬＮも未知データプールＰｕから収集されるものとする。この場合、識別器Ｄｎは、未知データプールＰｕに含まれる未知データのうち、特徴量空間Ｓ１上のどこかで互いに近傍に位置する一群の未知データと、特徴量空間Ｓ１上の別のどこかで互いに近傍に位置する一群の未知データとを２つの分類として、入力されたデータをこの２つの分類に分けるための値を出力する。つまり、識別器Ｄｎは、この時点ではクラスに分類されていないが、特徴量空間Ｓ１上に表した結果何らかの類似性を有すると考えられる未知データと、同じくこの時点ではクラスに分類されていないが、特徴量空間Ｓ１上に表した結果別の何らかの類似性を有すると考えられる未知データとを識別する。このような識別器Ｄの動作について、図９および図１０を参照してさらに説明する。
【００５２】
図９は、本発明の実施形態に係る識別器Ｄによる既知データの識別を示す図である。図９を参照すると、識別器Ｄａは、“盆栽”のラベルを有するクラスに分類された所定の数の既知データ、および、“ヒョウ”のラベルを有するクラスに分類された所定の数の既知データをそれぞれ学習サンプルとして生成される。そのため、識別器Ｄａには、“盆栽”のラベルを有するクラスに分類されるデータと、“ヒョウ”のラベルを有するクラスに分類されるデータとのそれぞれの何らかの特徴点が反映されている。従って、識別器Ｄａは、“盆栽”のラベルを有するクラスに分類されるデータと、“ヒョウ”のラベルを有するクラスに分類されるデータとを識別する。例えば、“盆栽”のラベルを有するクラスに分類された既知データが入力された場合、識別器Ｄａは、入力されたデータが“盆栽”に分類されることを示す値を出力する。また、“盆栽”または“ヒョウ”のラベルを有するクラスのいずれにも分類されていない未知データが入力された場合、識別器Ｄａは、入力されたデータが“盆栽”または“ヒョウ”のどちらに近いか、どのぐらい近いかを示す値を出力する。
【００５３】
図１０は、本発明の実施形態に係る識別器Ｄによる未知データの識別を示す図である。図１０を参照すると、識別器Ｄｂは、特徴量空間Ｓ１上のある位置の近傍に位置する所定の数の未知データ（図の例では、ひまわり、パンダなど）、および、特徴量空間Ｓ１上の別の位置の近傍に位置する所定の数の未知データ（図の例では、カメラ、カップなど）を、それぞれ学習サンプルとして生成される。そのため、識別器Ｄｂには、特徴量空間Ｓ１上である位置の近傍に位置するデータと、特徴量空間Ｓ１上で別の位置の近傍に位置するデータとのそれぞれの何らかの特徴点が反映されている、従って、識別器Ｄｂは、特徴量空間Ｓ１上である点の近傍に位置するデータと、特徴量空間Ｓ１上で別の点の近傍に位置するデータとを識別する。例えば、図において左側のグループにあるひまわりやパンダなどのデータに、特徴量空間Ｓ１上で近い位置にあるデータが入力された場合、識別器Ｄｂは、入力されたデータが、図において左側のグループに近いことを示す値を出力する。
【００５４】
このように、識別器Ｄは、特徴量空間Ｓ１上に表されるデータの入力に対して、何らかの基準によってデータを２つの分類に識別する値を出力する。図９の例において、識別器Ｄａは、既知データが分類された“盆栽”または“ヒョウ”のクラスのうちのどちらに近いかという基準で、入力データを分類する。つまり、識別器Ｄａの出力値は、入力データが盆栽またはヒョウのどちらにより近いかを示す実数の値になる。一方、図１０の例において、識別器Ｄｂは、２つのグループの未知データがそれぞれ位置する特徴量空間Ｓ１上の位置のどちらに近いかという基準で、入力データを分類する。つまり、識別器Ｄｂの出力値は、特徴量空間Ｓ１上で何らかの類似性を持つデータの２つのグループのうちのどちらにより近いかを示す実数の値になる。
【００５５】
（出力特徴量の取得処理）
再び図５を参照して、続いて、出力特徴量取得部１４０は、データ群Ｇのデータを複数の識別器Ｄのそれぞれに入力し、識別することによって、出力特徴量を取得する（ステップＳ１０７）。ここで、出力特徴量の取得処理について、図１１〜１３を参照して説明する。
【００５６】
図１１は、本発明の実施形態に係る出力特徴量Ｖｏｕｔの取得処理を示す図である。図１１を参照すると、出力特徴量Ｖｏｕｔは、ｎ個の出力値Ｒ１、Ｒ２、…Ｒｎを要素として含む。出力値Ｒ１、Ｒ２、…Ｒｎは、データ群Ｇに含まれる１つのデータを、識別器生成部１３０が生成したｎ個の識別器Ｄ１、Ｄ２、…Ｄｎにそれぞれ入力して識別した結果として出力される。出力特徴量取得部１４０は、データ群Ｇに含まれるデータのそれぞれについて、出力特徴量Ｖｏｕｔを取得し、それぞれのデータに対応付ける。出力特徴量Ｖｏｕｔは、識別器Ｄの数と同じ次元を有するベクトルである。従って、識別器生成部１３０において生成される識別器Ｄの数を設定することによって、出力特徴量Ｖｏｕｔの次元を設定することができる。そのため、例えば、データが有するもとの特徴量が、高次元の特徴量であるＢａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ特徴量であるような場合にも、識別器Ｄの数を特徴量の次元よりも小さい数に設定することによって、もとの次元よりも低い次元で出力特徴量Ｖｏｕｔを取得することができる。従って、未知データに対するクラスタ解析などの教師なし分類において、精度の低下を抑制することができる。
【００５７】
ここで、出力特徴量Ｖｏｕｔの要素である出力値Ｒについてさらに説明する。例えば、出力特徴量Ｖｏｕｔは、識別器Ｄ１の出力値Ｒ１を含む。図８を参照して説明したように、識別器Ｄ１は、“カメラ”のラベルを有する既知データプールＰｋ１から抽出される学習サンプルＬ１、および“ヒョウ”のラベルを有する既知データプールＰｋ２から抽出される学習サンプルＬ２を用いて生成される２クラス識別器である。よって、識別器Ｄ１の出力値Ｒ１は、入力データがカメラまたはヒョウのどちらにより近いかを示す実数の値になる。
【００５８】
また、出力特徴量Ｖｏｕｔは、識別器Ｄｎの出力値Ｒｎを含む。図８を参照して説明したように、識別器Ｄｎは、未知データプールＰｕに含まれ、特徴量空間Ｓ１上のどこかで互いに近傍に位置する学習サンプルＬＮ−１、および同じく未知データプールＰｕに含まれ、特徴量空間Ｓ１上の別のどこかで互いに近傍に位置する学習サンプルＬＮを用いて生成される２クラス識別器である。よって、識別器Ｄｎの出力値Ｒｎは、入力データが特徴量空間Ｓ１上で何らかの類似性をもつデータの２つのグループのうちのどちらにより近いかを示す実数の値になる。
【００５９】
このように、出力特徴量Ｖｏｕｔは、データが、何らかの類似性をもつデータの２つのグループのうちのどちらに近いかを示す出力値Ｒを要素とする。ここで、未知データから抽出された学習サンプルＬを含んで生成される識別器Ｄにおいて、何らかの類似性とは、データを特徴量空間Ｓ１上に表した場合の特徴量空間Ｓ１上での距離の近さである。未知データから抽出される学習サンプルの最初の１つのデータは、未知データの中からランダムに抽出される。そのため、未知データから抽出される学習サンプルＬの数が十分に多ければ、未知データから抽出される学習サンプルＬを含んで生成される複数の識別器Ｄの複数の出力値Ｒは、特徴量空間Ｓ１上における未知データの分布をある程度網羅的に反映することができる。
【００６０】
また、既知データから抽出された学習サンプルＬを含んで生成される識別器Ｄにおいて、何らかの類似性とは、既知データが分類されるクラスが有する所与のラベルである。なお、上述の通り、本発明の実施形態において、既知データは必ずしも存在しなくてもよい。しかし、既知データが存在する場合、例えば「カメラとヒョウであればどちらに近いか」というように、既知データから、実際のクラス分類において重要な特徴に基づく分類の結果を取り出して、出力特徴量Ｖｏｕｔに出力値Ｒとして含めることができる。これによって、既知データと未知データが混在する場合に、未知データのみを対象とした教師なし分類よりも高い精度で未知データの分類をすることができる。
【００６１】
図１２は、本発明の実施形態に係る出力特徴量空間Ｓ２上の未知データの出力特徴量Ｖｏｕｔについて説明するための図である。図１３は、本発明の実施形態に係る出力特徴量空間Ｓ２上の未知データの出力特徴量Ｖｏｕｔについてクラスごとに説明するための図である。図１２を参照すると、データ群Ｇに含まれる未知データの出力特徴量Ｖｏｕｔが表された出力特徴量空間Ｓ２が示されている。図１３を参照すると、“盆栽”、“カップ”、“ノートＰＣ”、“フェリー”、“パンダ”、“ひまわり”の６つのクラスに分類される未知データのそれぞれの出力特徴量Ｖｏｕｔが表された出力特徴量空間Ｓ２ａ〜Ｓ２ｆが示されている。なお、図１２および図１３において、それぞれの出力特徴量Ｖｏｕｔは、サモンマップを用いて二次元に射影されている。
【００６２】
図１２および図１３において示されるように、出力特徴量空間Ｓ２においては、各クラスの出力特徴量Ｖｏｕｔが、特徴量空間Ｓ１に比べて、よりクラスごとに偏って分布している。例えば、出力特徴量空間Ｓ２ｅおよび出力特徴量空間Ｓ２ｆを参照すると、特徴量空間Ｓ１においてかなりの部分が重なり合っていた“パンダ”のクラスと“ひまわり”のクラスとが、クラスごとに異なる方向に偏って分布している。このように、出力特徴量空間Ｓ２は、特徴量空間Ｓ１とは異なる特徴量空間である。従って、出力特徴量空間Ｓ２上に分布する各データの出力特徴量Ｖｏｕｔは、特徴量空間Ｓ１上に分布する各データの特徴量とは異なる傾向をもって分布しうる。
【００６３】
（出力特徴量の次元圧縮処理）
再び図５を参照して、続いて、次元圧縮部１５０が、出力特徴量Ｖｏｕｔを次元圧縮する（ステップＳ１０９）。このステップは、必要に応じて実行される。つまり、ステップＳ１０９は、ステップＳ１０７において生成された出力特徴量Ｖｏｕｔをさらに低次元化する場合に実行される。例えば、特徴量空間Ｓ１上における未知データの分布を網羅的に出力値Ｒに反映させるために、ステップＳ１０５において生成される識別器Ｄの数を多く設定した場合、出力特徴量Ｖｏｕｔの次元は高くなる。そのような場合に、ステップＳ１０９において出力特徴量Ｖｏｕｔを次元圧縮することによって、未知データに対するクラスタ解析などの教師なし分類における精度の低下を抑えることができる。
【００６４】
ステップＳ１０９における次元圧縮には、例えばＰＣＡ、ＩＣＡまたはＭＤＳ（Multidimensional  Scaling）などのアルゴリズムを用いてもよい。ここで、出力特徴量Ｖｏｕｔの要素である、識別器Ｄの出力値Ｒは、データを２つの分類に分けるための、例えば識別超平面からの距離または確率などの実数値である。従って、出力特徴量Ｖｏｕｔの次元圧縮にＰＣＡ、ＩＣＡまたはＭＤＳなどのアルゴリズムを用いても、データが有するもとの特徴量に含まれるはずれ値や、データの分散などの影響を受けにくい。また、ここで、データ群Ｇに既知データが存在する場合、次元圧縮される出力特徴量Ｖｏｕｔに、既知データを含んで生成された識別器Ｄの出力値Ｒが含まれることによって、実際のクラス分類において重要な特徴をとらえて次元圧縮することができる。
【００６５】
（出力特徴量に基づくデータの分類処理）
続いて、クラス分類部１６０が、データ群Ｇに含まれる未知データを、それぞれのデータの出力特徴量Ｖｏｕｔに基づいて分類する（ステップＳ１１１）。未知データの分類には、例えばクラスタ解析などの教師なし分類の手法が用いられうるが、分類の精度は従来よりも向上する。これは、もとの特徴量空間Ｓ１での学習により生成された、クラス分類に適した表現力を有する出力特徴量Ｖｏｕｔが分類に用いられるからである。また、データが有する多次元の特徴量を、識別器Ｄの数まで低次元化された出力特徴量Ｖｏｕｔに変換し、いわゆる次元の呪いによる分類の精度の低下を抑制できるからである。さらに、ステップＳ１０９において出力特徴量Ｖｏｕｔが次元圧縮された場合、出力特徴量Ｖｏｕｔをさらに低次元化し、分類の精度をさらに高めることができる。その上さらに、データ群Ｇに既知データが存在する場合には、出力特徴量Ｖｏｕｔを生成するための学習、および次元圧縮において、実際のクラス分類において重要な特徴を反映させることができ、分類の精度をさらに高めることができる。
【００６６】
＜２．変形例＞
次に、図１４を参照して、本発明の実施形態の変形例について説明する。なお、以下で説明する、対象となるデータの構成以外の機能構成は、上記で説明した本発明の実施形態と略同一であるため、詳細説明は省略する。
【００６７】
図１４は、本発明の実施形態の変形例において処理対象となるデータの構成について説明するための図である。図１４を参照すると、処理対象となるデータには、ハッチングされた部分で示される既知データと、それ以外の部分で示される未知データとが含まれる。ここで、既知データは、３つのクラス（“カメラ”、“ヒョウ”、“時計”のラベルを有するクラス）のいずれかに分類されている。未知データには、上記の３クラス以外のクラスに分類されるデータに加えて、上記の３クラスに分類されるべきデータだがこの時点では未知データであるデータが含まれる。つまり、この変形例において、未知データは、“カメラ”、“ヒョウ”、“時計”、“盆栽”、“カップ”、“ノートＰＣ”、“フェリー”、“パンダ”、“ひまわり”の９つのクラスのいずれかに分類されうる。
【００６８】
この場合、既知データが分類されているクラス（“カメラ”、“ヒョウ”、“時計”）に分類されるべき未知データからも、それ以外の未知データと同様に、学習サンプルＬが収集される。つまり、これらの未知データから収集される学習サンプルＬは、特徴量空間Ｓ１上での距離を制約として収集される。また、既知データからの学習サンプルは、既知データとして認識されているデータ（図中のハッチングされた部分）から収集される。このようにして、既知データが分類されたクラスにさらに分類されるべき未知データを含むデータのクラス分類の処理においても、本発明の実施形態を適用することができる。
【００６９】
＜３．まとめ＞
以上説明した本発明の実施形態においては、データ群Ｇに含まれる未知データを、データの特徴量とは異なる出力特徴量Ｖｏｕｔを用いて、所定の数のクラスのいずれかに分類する。ここで、出力特徴量Ｖｏｕｔは、データの特徴量が表される特徴量空間Ｓ１におけるそれぞれのデータの特徴量の距離を制約として抽出された複数の学習サンプルＬを用いて生成された、複数の識別器Ｄの出力値Ｒを含む。このような構成によって、特徴量空間Ｓ１での学習により生成された、クラス分類に適した表現力を有する出力特徴量Ｖｏｕｔを用いて未知データをクラス分類し、分類の精度を高めることができる。また、高次元の特徴量を、識別器Ｄの数まで低次元化し、分類の精度をさらに高めることができる。
【００７０】
また、本発明の実施形態においては、データ群Ｇに、分類されるクラスが既知である既知データが含まれる場合に、分類されるクラスのラベルを制約として、既知データからも学習サンプルＬを収集する構成としてもよい。このような構成によって、実際のクラス分類において重要な特徴を反映した識別器Ｄを生成し、その出力値Ｒを含む出力特徴量Ｖｏｕｔを用いてクラス分類をし、分類の精度をさらに高めることができる。
【００７１】
また、本発明の実施形態においては、データ群Ｇに、分類されるクラスが既知である既知データが含まれる場合に、未知データから収集される学習サンプルＬと、既知データから収集される学習サンプルＬとの比率を、所定の数のクラスのうち、既知データが分類されるクラスと、既知データが分類されないクラスとの数の比率に応じて決定する構成としてもよい。このような構成によって、どのクラスにも偏りなく収集された学習サンプルＬから生成された識別器Ｄの出力値Ｒを含む出力特徴量Ｖｏｕｔを用いてクラス分類をし、それぞれのクラスへの分類の精度を偏りなく高めることができる。
【００７２】
また、本発明の実施形態においては、出力特徴量Ｖｏｕｔを、さらに次元圧縮する構成としてもよい。このような構成によって、識別器Ｄの数を多く設定しても、クラス分類に用いる出力特徴量Ｖｏｕｔの次元を低く抑え、特徴量空間Ｓ１における十分な学習と、分類の精度とを両立させることができる。
【００７３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７４】
例えば、上記実施形態では、クラス分類の対象となるデータを画像データとしたが、本発明はかかる例に限定されない。例えば、音声データ、動画データ、またはテキストデータなど、特徴量を有するあらゆるデータが、本発明を適用したクラス分類の対象になりうる。
【００７５】
また、上記実施形態では、クラス分類の対象となるデータの一例である画像データが有する特徴量をＢａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ特徴量としたが、本発明はかかる例に限定されない。例えば、特徴量は、ＳＩＦＴ特徴量などの他の特徴量でもよい。
【００７６】
また、上記実施形態では、識別器を２クラス識別器としたが、本発明はかかる例に限定されない。例えば、１対他識別器（one-versus-the-rest  classifier）など、他の種類の識別器が用いられてもよい。
【符号の説明】
【００７７】
１００    情報処理装置
１１０    データプール生成部
１２０    学習サンプル収集部
１３０    識別器生成部
１４０    出力特徴量取得部
１５０    次元圧縮部
１６０    データ分類部
Ｇ        データ群
Ｓ１      特徴量空間
Ｐｋ      既知データプール
Ｐｕ      未知データプール
Ｌ        学習サンプル
Ｄ        識別器
Ｒ        出力値
Ｖｏｕｔ    出力特徴量
Ｓ２      出力特徴量空間
【図１】
2011248636.tif 000003
【図２】
2011248636.tif 000004
【図３】
2011248636.tif 000005
【図４】
2011248636.tif 000006
【図５】
2011248636.tif 000007
【図６】
2011248636.tif 000008
【図７】
2011248636.tif 000009
【図８】
2011248636.tif 000010
【図９】
2011248636.tif 000011
【図１０】
2011248636.tif 000012
【図１１】
2011248636.tif 000013
【図１２】
2011248636.tif 000014
【図１３】
2011248636.tif 000015
【図１４】
2011248636.tif 000016