(57)【要約】【課題】３以上のクラスからなる時系列信号を効率的に精度よく識別することができる、時系列信号識別装置、時系列信号識別方法、およびプログラムを提供する。【解決手段】識別器生成装置１は、時系列信号に正しいクラスが対応付けられた学習データＡを取り込む。そして、弱識別器ｈt,kによる学習データＡの識別結果と、その学習データＡの正しいクラスとの一致度を示す識別スコアｒt,kを計算し、識別能力が最大となるように弱識別器ｈt,kを設定して識別器１００を生成する。時系列信号識別装置２は、識別器１００を取得し、クラス毎に強識別器Ｈkを生成して、識別対象データ（時系列信号）のクラスを識別する。【選択図】図１
2011181021.tif 000002
【特許請求の範囲】
【請求項１】
時系列信号を所定時間毎に区切った時刻フレーム毎に、その時刻フレームにおける識別対象データを並べた系列である時系列信号を３以上のクラスに識別する時系列信号識別装置であって、
前記時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの識別対象データの系列の入力を受け付ける第１の入力部と、
前記第１の入力部が受け付けた識別対象データの系列が当該クラスに属する度合いを算出する強識別器を前記クラス毎に生成する強識別器生成部と、
前記強識別器生成部が生成した前記クラス毎の強識別器を用いて、前記第１の入力部が受け付けた識別対象データの系列が前記クラスに属する度合いを計算し、前記クラス毎に計算された当該クラスに属する度合いうちの最大値を示す前記強識別器のクラスを、前記時系列信号の属するクラスとするデータ識別部と、を備え、
前記時系列信号すべてを識別することなく、前記時系列信号が属するクラスを識別することを特徴とする時系列信号識別装置。
【請求項２】
前記第１の入力部には、前記時刻フレーム毎および前記クラス毎に１以上用意された識別対象データが自身のクラスに属するか否かを識別する弱識別器と、各時刻フレームにおける弱識別器の信頼度を表す識別重みとが入力され、
前記強識別器生成部は、前記クラス毎に、前記第１の入力部が受け付けた時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの時刻フレーム毎の前記弱識別器を、当該弱識別器の識別重みにより足し合わせたものを前記強識別器とする
ことを特徴とする請求項１に記載の時系列信号識別装置。
【請求項３】
前記時刻フレーム毎に、当該時刻フレームの学習用の識別対象データとしての時系列信号と、当該学習用の識別対象データの属する正しいクラスとが対応付けられた学習データの入力を受け付ける第２の入力部と、
前記第２の入力部が受け付けた学習データにおける各時刻フレームの時系列信号を、前記時刻フレームの古い順に取得し、前記取得した時刻フレームの時系列信号について、前記弱識別器の識別結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとが一致するほど値が高くなるように、前記クラスそれぞれについて当該時刻フレームにおける識別スコアを計算する識別スコア計算部と、
前記計算した識別スコアを大きくするように、前記時刻フレーム毎および前記クラス毎に、前記弱識別器を設定する弱識別器学習部と、
前記時刻フレーム毎および前記クラス毎の識別スコアが高いほど値が大きくなるように、前記時刻フレーム毎に識別重みを設定する識別重み設定部と、をさらに備え、
前記弱識別器学習部で設定した前記弱識別器と前記識別重み設定部で設定した前記識別重みとを、前記第１の入力部に入力する前記弱識別器および前記識別重みとする
ことを特徴とする請求項２に記載の時系列信号識別装置。
【請求項４】
前記時刻フレームの古い順に取得した時系列信号を、前記弱識別器学習部で設定した前記弱識別器が識別した結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとを比較し、前記弱識別器の識別結果が正しければ値が小さくなるように、前記弱識別器の識別結果が誤っていれば値が大きくなるように、誤差重みを計算し、前記計算した誤差重みを、前記取得した時系列信号における時刻フレームの次の時刻フレームの学習データに対する前記誤差重みとして設定する誤差重み計算部をさらに備え、
前記識別スコア計算部は、前記誤差重み計算部が計算した誤差重みが大きい学習データの時刻フレームにおける前記識別スコアの値が大きくなるように計算すること
を特徴とする請求項３に記載の時系列信号識別装置。
【請求項５】
前記識別スコア計算部は、
前記取得した時刻フレームの時系列信号を前記弱識別器により識別した結果、当該クラスに属さない時系列データを正しく当該クラスに属さないと識別できたときに、当該クラスおよび当該時刻フレームにおける識別スコアが高くなるように、前記識別スコアを計算する
ことを特徴とする請求項４に記載の時系列信号識別装置。
【請求項６】
時系列信号を所定時間毎に区切った時刻フレーム毎に、その時刻フレームにおける識別対象データを並べた系列である時系列信号を３以上のクラスに識別する時系列信号識別装置に用いられる時系列信号識別方法であって、
前記時系列信号識別装置は、
前記時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの識別対象データの系列の入力を受け付けるステップと、
前記受け付けた識別対象データの系列が当該クラスに属する度合いを算出する強識別器を前記クラス毎に生成するステップと、
前記生成したクラス毎の強識別器を用いて、前記受け付けた識別対象データの系列が前記クラスに属する度合いを計算し、前記クラス毎に計算された当該クラスに属する度合いうちの最大値を示す前記強識別器のクラスを、前記時系列信号の属するクラスとするステップと、を実行し、
前記時系列信号すべてを識別することなく、前記時系列信号が属するクラスを識別することを特徴とする時系列信号識別方法。
【請求項７】
前記時刻フレーム毎および前記クラス毎に１以上用意された識別対象データが自身のクラスに属するか否かを識別する弱識別器と、各時刻フレームにおける弱識別器の信頼度を表す識別重みとの入力を受け付けるステップを実行し、
前記強識別器を前記クラス毎に生成するステップにおいて、
前記クラス毎に、前記受け付けた時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの時刻フレーム毎の前記弱識別器を、当該弱識別器の識別重みにより足し合わせたものを前記強識別器とするステップを、
さらに実行することを特徴とする請求項６に記載の時系列信号識別方法。
【請求項８】
前記時刻フレーム毎に、当該時刻フレームの学習用の識別対象データとしての時系列信号と、当該学習用の識別対象データの属する正しいクラスとが対応付けられた学習データの入力を受け付けるステップと、
前記受け付けた学習データにおける各時刻フレームの時系列信号を、前記時刻フレームの古い順に取得し、前記取得した時刻フレームの時系列信号について、前記弱識別器の識別結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとが一致するほど値が高くなるように、前記クラスそれぞれについて当該時刻フレームにおける識別スコアを計算するステップと、
前記計算した識別スコアを大きくするように、前記時刻フレーム毎および前記クラス毎に、前記弱識別器を設定するステップと、
前記時刻フレーム毎および前記クラス毎の識別スコアが高いほど値が大きくなるように、前記時刻フレーム毎に識別重みを設定するステップと、をさらに実行し、
前記設定した前記弱識別器と前記設定した前記識別重みとを、前記学習データの入力を受け付けるステップにおいて入力する前記弱識別器および前記識別重みとする
ことを特徴とする請求項７に記載の時系列信号識別方法。
【請求項９】
前記時刻フレームの古い順に取得した時系列信号を、前記設定した前記弱識別器が識別した結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとを比較し、前記弱識別器の識別結果が正しければ値が小さくなるように、前記弱識別器の識別結果が誤っていれば値が大きくなるように、前記誤差重みを計算し、前記計算した誤差重みを、前記取得した時系列信号における時刻フレームの次の時刻フレームの学習データに対する前記誤差重みとして設定するステップをさらに実行し、
前記識別スコアを計算するステップにおいて、前記計算した誤差重みが大きい学習データの時刻フレームにおける前記識別スコアの値が大きくなるように計算すること
を特徴とする請求項８に記載の時系列信号識別方法。
【請求項１０】
前記識別スコアを計算するステップにおいて、
前記取得した時刻フレームの時系列信号を前記弱識別器により識別した結果、当該クラスに属さない時系列データを正しく当該クラスに属さないと識別できたときに、当該クラスおよび当該時刻フレームにおける識別スコアが高くなるように、前記識別スコアを計算する
ことを特徴とする請求項９に記載の時系列信号識別方法。
【請求項１１】
請求項６ないし請求項１０のいずれか１項に記載の時系列信号識別方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像や音声等の時系列信号を分類するための、時系列信号識別装置、時系列信号識別方法、およびプログラムに関する。
【背景技術】
【０００２】
動画像や音声等の時系列信号が、複数のクラスのいずれに属するかを識別する技術は、これまで以下に示すものが提案されている。なお、ここでクラスとは、例えば、映像信号であれば、「自動車の運転者がバックミラーに手を伸ばしている」「自動車の運転者がエンジンキーを差し込もうと手を伸ばしている」等の動作内容の種別を表し、音声信号であれば、「あ」「い」といった個々の単語や、「検索」「再検索」といった意味を持つ単語等の種別を表す。
【０００３】
時系列信号によらない一般の識別アルゴリズムとしては、Support Vector Machine（ＳＶＭ）（非特許文献１参照）や、Adaboost（非特許文献２，３参照）等がある。また、時系列信号についての識別アルゴリズムとして、隠れマルコフモデルが知られている（非特許文献４参照）。これらの技術を実行する際には、対象となる単一の時系列信号を最初から最後まで入力し、信号全体の情報から最適な認識結果を推定する、というのが通常の認識方法である。
【０００４】
一方、実際に、時系列信号のクラスを識別して、その識別情報を利用しようとする多くの場面においては、一連の時系列信号の入力が終了する前、つまり最後まで時系列信号が入力されるのを待たずに、できるだけ初期の信号から、その時系列信号の属するクラスを認識する必要がある。例えば、入力中の時系列信号から「自動車の運転者がエンジンキーを差し込もうと手を伸ばしている」というクラスを識別し、その識別情報を用いて、エンジンを始動させるための鍵穴を点灯する等のように、人間の動作を認識しその補助を行うような場面に適用することができる。この時系列信号のクラスをできるだけ早期に認識する問題は、早期認識問題と呼ばれる。
【０００５】
この早期認識問題に対して、Earlyboost（早期認識ブースティング）法（非特許文献５参照）が提案されている。このEarlyboost法では、時刻フレーム１での観測情報だけから、できるだけ高い識別性能を満たす識別器を選定する。続いて、時刻フレーム２の情報を用いて、時刻フレーム１の情報で識別に失敗した時系列信号をできるだけ正しく識別できるように識別器を更新する。このように、現在識別しようとする時刻フレームの１つ前の時刻フレームで識別に失敗した識別器を、より正しく識別できるように更新していくことで、時系列信号の各時刻フレームで可能な限り最大の認識性能をもつ識別器を構成する。
【０００６】
また、以上説明した識別方法は、識別するクラスが２クラスに限られるものである。つまり、あるクラスに属するか否かの識別に限られるものである。この点に関して、前記した非時系列信号の識別方法であるAdaboost（非特許文献２，３参照）を、３クラス以上（多クラス）の識別に拡張した識別方法として、Adaboost.MH（非特許文献６参照）が提案されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Burges, C. J. C., “A Tutorial on Support Vector Machines for Pattern Recognition”, Data Mining and Knowledge Discovery, Vol. 2, No. 2,  pp. 121-167, 1998.
【非特許文献２】Freund, Y. and Schapire, R. E., “A Decision-theoretic Generalizing of On-line Learning and an Application to Boosting”, Journal of Computing Systems and Science, Vol. 55, No. 1, pp. 119-139, 1997.
【非特許文献３】八木 康史 (編集), 斎藤 英雄(編集)、コンピュータビジョン最先端ガイド〈1〉Level Set, Graph Cut, Particle Filter, Tensor, AdaBoost (CVIMチュートリアルシリーズ)、 第5章、アドコムメディア（2009年）
【非特許文献４】L. R. Rabiner, “A Tutorial on Hidden Markov Models and Selected applications in Speech Recognition”, Proceedings of the IEEE, Vol. 77, No. 2, pp. 257-286, 1989.
【非特許文献５】Uchida, S. and Amamoto, K., “Early Recognition of Sequential Patterns by Classifier Combination”, in Proceedings of the International Conference on Pattern Recognition (ICPR), 2008.
【非特許文献６】Schapire, R. and Singer, Y., “Improved Boosting Algorithms using Confidence-rated Predictions”, Machine Learning, Vol. 37, No. 3, pp. 297-336, 1999.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記したＳＶＭ、Adaboost、Adaboost.MHによる技術は、非時系列信号に関する識別方法であるため、時系列信号の識別に対応させることはできない。また、隠れマルコフモデルによる技術は、単一の時系列信号を最初から最後まで入力し、信号全体の情報から最適な認識結果を推定することを前提としているため、時系列信号が終了する前にその信号の属するクラスを識別する早期認識を行うことができない。また、Earlyboost法は、２クラスの早期認識にしか適用できない、つまり、ある時系列信号を識別する場合に、設定したあるクラスに属するか否かの判定しかできないものである。よって、より複雑な多クラス間の識別が要求される、実際の識別問題に対しては、そのまま利用することができない。
【０００９】
これに対し、早期認識が可能なEarlyboost法等の２クラス識別モデルを３クラス以上の多クラスに適用させようとすると、以下のような方法が考えられる。（１）３以上のＫ個のクラスが設定されている場合に、そのＫ個のクラスそれぞれについて、「着目するクラス」と「その他のクラス」という２クラスの識別問題を解決する識別器を準備し、それらの識別スコアを比較する。（２）二項係数kＣ2によるクラスペア間すべてについて２クラス識別器を構成し、複数の識別器で２クラス識別を行い、その結果を総合して目的の時系列信号の認識を行う。
【００１０】
しかし、これらの方法には、以下の問題がある。まず、（１）の方法では、本来異なる分布を持つ複数のクラスを「その他のクラス」という１つのクラスに集約するため、その識別関数が複雑になり、精度のよい識別器を得ることが難しい。一方、（２）の方法では、このような問題は生じないが、kＣ2のパターンにより大量の識別器の学習、認識処理が必要となるため、計算量が莫大となる。
【００１１】
このような背景に鑑みて本発明がなされたのであり、本発明は、３以上のクラスからなる時系列信号を効率的に精度よく識別することができる、時系列信号識別装置、時系列信号識別方法、およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するため、請求項１に記載の発明は、時系列信号を所定時間毎に区切った時刻フレーム毎に、その時刻フレームにおける識別対象データを並べた系列である時系列信号を３以上のクラスに識別する時系列信号識別装置であって、前記時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの識別対象データの系列の入力を受け付ける第１の入力部と、前記第１の入力部が受け付けた識別対象データの系列が当該クラスに属する度合いを算出する強識別器を前記クラス毎に生成する強識別器生成部と、前記強識別器生成部が生成した前記クラス毎の強識別器を用いて、前記第１の入力部が受け付けた識別対象データの系列が前記クラスに属する度合いを計算し、前記クラス毎に計算された当該クラスに属する度合いうちの最大値を示す前記強識別器のクラスを、前記時系列信号の属するクラスとするデータ識別部と、を備え、前記時系列信号すべてを識別することなく、前記時系列信号が属するクラスを識別することを特徴とする時系列信号識別装置とした。
【００１３】
また、請求項６に記載の発明は、時系列信号を所定時間毎に区切った時刻フレーム毎に、その時刻フレームにおける識別対象データを並べた系列である時系列信号を３以上のクラスに識別する時系列信号識別装置に用いられる時系列信号識別方法であって、前記時系列信号識別装置が、前記時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの識別対象データの系列の入力を受け付けるステップと、前記受け付けた識別対象データの系列が当該クラスに属する度合いを算出する強識別器を前記クラス毎に生成するステップと、前記生成したクラス毎の強識別器を用いて、前記受け付けた識別対象データの系列が前記クラスに属する度合いを計算し、前記クラス毎に計算された当該クラスに属する度合いうちの最大値を示す前記強識別器のクラスを、前記時系列信号の属するクラスとするステップと、を実行し、前記時系列信号すべてを識別することなく、前記時系列信号が属するクラスを識別することを特徴とする時系列信号識別方法とした。
【００１４】
このようにすることで、本発明に係る時系列信号識別装置は、時刻フレームの先頭から時系列信号よりも短い所定の時刻フレームまでの識別対象データの系列を受け付け、受け付けた識別対象データの系列がクラスに属する度合いを算出する強識別器を生成する。そして、クラス毎の強識別器が、入力された識別対象データについてそのクラスに属するか否かの一致度合いを計算し、その計算結果のうちの最大値を示す強識別器のクラスを、入力された識別対象データの属するクラスとすることができる。
よって、本発明によれば、時系列信号識別装置が、時系列信号のすべてを識別することなく、効率的に精度よく３以上のクラスの認識することが可能となる。
【００１５】
請求項２に記載に発明は、前記第１の入力部に、前記時刻フレーム毎および前記クラス毎に１以上用意された識別対象データが自身のクラスに属するか否かを識別する弱識別器と、各時刻フレームにおける弱識別器の信頼度を表す識別重みとが入力され、前記強識別器生成部は、前記クラス毎に、前記第１の入力部が受け付けた時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの時刻フレーム毎の前記弱識別器を、当該弱識別器の識別重みにより足し合わせたものを前記強識別器とすることを特徴とする請求項１に記載の時系列信号識別装置とした。
【００１６】
また、請求項７に記載の発明は、前記時刻フレーム毎および前記クラス毎に１以上用意された識別対象データが自身のクラスに属するか否かを識別する弱識別器と、各時刻フレームにおける弱識別器の信頼度を表す識別重みとの入力を受け付けるステップを実行し、前記強識別器を前記クラス毎に生成するステップにおいて、前記クラス毎に、前記受け付けた時刻フレームの先頭から前記時系列信号よりも短い所定の時刻フレームまでの時刻フレーム毎の前記弱識別器を、当該弱識別器の識別重みにより足し合わせたものを前記強識別器とするステップを、さらに実行することを特徴とする請求項６に記載の時系列信号識別方法とした。
【００１７】
このようにすることで、本発明に係る時系列信号識別装置は、入力される弱識別器および識別重み用いて、クラス毎に、時系列信号よりも短い所定の時刻フレームまでの時刻フレーム毎の弱識別器を、その弱識別器の識別重みにより足し合わせて強識別器とすることができる。
よって、本発明によれば、この強識別器が、各時刻フレームにおける弱識別器の識別重みを考慮して、識別対象データのクラスを識別するため、時系列信号識別装置が、３以上のクラスの時系列信号をさらに精度を向上させて識別することが可能となる。
【００１８】
請求項３に記載の発明は、前記時刻フレーム毎に、当該時刻フレームの学習用の識別対象データとしての時系列信号と、当該学習用の識別対象データの属する正しいクラスとが対応付けられた学習データの入力を受け付ける第２の入力部と、前記第２の入力部が受け付けた学習データにおける各時刻フレームの時系列信号を、前記時刻フレームの古い順に取得し、前記取得した時刻フレームの時系列信号について、前記弱識別器の識別結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとが一致するほど値が高くなるように、前記クラスそれぞれについて当該時刻フレームにおける識別スコアを計算する識別スコア計算部と、前記計算した識別スコアを大きくするように、前記時刻フレーム毎および前記クラス毎に、前記弱識別器を設定する弱識別器学習部と、前記時刻フレーム毎および前記クラス毎の識別スコアが高いほど値が大きくなるように、前記時刻フレーム毎に識別重みを設定する識別重み設定部と、をさらに備え、前記弱識別器学習部で設定した前記弱識別器と前記識別重み設定部で設定した前記識別重みとを、前記第１の入力部に入力する前記弱識別器および前記識別重みとすることを特徴とする請求項２に記載の時系列信号識別装置とした。
【００１９】
また、請求項８に記載の発明は、前記時刻フレーム毎に、当該時刻フレームの学習用の識別対象データとしての時系列信号と、当該学習用の識別対象データの属する正しいクラスとが対応付けられた学習データの入力を受け付けるステップと、前記受け付けた学習データにおける各時刻フレームの時系列信号を、前記時刻フレームの古い順に取得し、前記取得した時刻フレームの時系列信号について、前記弱識別器の識別結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとが一致するほど値が高くなるように、前記クラスそれぞれについて当該時刻フレームにおける識別スコアを計算するステップと、前記計算した識別スコアを大きくするように、前記時刻フレーム毎および前記クラス毎に、前記弱識別器を設定するステップと、前記時刻フレーム毎および前記クラス毎の識別スコアが高いほど値が大きくなるように、前記時刻フレーム毎に識別重みを設定するステップと、をさらに実行し、前記設定した前記弱識別器と前記設定した前記識別重みとを、前記学習データの入力を受け付けるステップにおいて入力する前記弱識別器および前記識別重みとすることを特徴とする請求項７に記載の時系列信号識別方法とした。
【００２０】
このようにすることで、本発明に係る識別器生成装置は、時系列信号に正しいクラスが対応付けられた学習データを用いて、時刻フレーム毎およびクラス毎に設定された弱識別器による学習データの識別結果とその学習データの正しいクラスとが一致するほど値が高くなるように識別スコアを計算し、その計算した識別スコアを大きくするように弱識別器を設定することができる。そして、その識別スコアが高いほど値が大きくなるように、識別重みを設定することができる。
よって、本発明によれば、識別対象データのクラスの識別を行う際に、各時刻フレーム毎に弱識別器の重みを考慮することができ、弱識別器を識別能力の観点で最適に統合した強識別器を生成することができる。
【００２１】
請求項４に記載の発明は、前記時刻フレームの古い順に取得した時系列信号を、前記弱識別器学習部で設定した前記弱識別器が識別した結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとを比較し、前記弱識別器の識別結果が正しければ値が小さくなるように、前記弱識別器の識別結果が誤っていれば値が大きくなるように、誤差重みを計算し、前記計算した誤差重みを、前記取得した時系列信号における時刻フレームの次の時刻フレームの学習データに対する前記誤差重みとして設定する誤差重み計算部をさらに備え、前記識別スコア計算部は、前記誤差重み計算部が計算した誤差重みが大きい学習データの時刻フレームにおける前記識別スコアの値が大きくなるように計算することを特徴とする請求項３に記載の時系列信号識別装置とした。
【００２２】
また、請求項９に記載の発明は、前記時刻フレームの古い順に取得した時系列信号を、前記設定した前記弱識別器が識別した結果と、前記学習データに示される当該時刻フレームの時系列信号の属する正しいクラスとを比較し、前記弱識別器の識別結果が正しければ値が小さくなるように、前記弱識別器の識別結果が誤っていれば値が大きくなるように、前記誤差重みを計算し、前記計算した誤差重みを、前記取得した時系列信号における時刻フレームの次の時刻フレームの学習データに対する前記誤差重みとして設定するステップをさらに実行し、前記識別スコアを計算するステップにおいて、前記計算した誤差重みが大きい学習データの時刻フレームにおける前記識別スコアの値が大きくなるように計算す  ることを特徴とする請求項８に記載の時系列信号識別方法とした。
【００２３】
よって、本発明によれば、弱識別器による認識結果とその学習データの正しいクラスとを比較し、認識結果が正しければ誤差重みが小さくなるように設定し、認識結果が誤っていれば誤差重みが大きくなるように設定する。このように設定した誤差重みを用いて次の時刻フレームにおける識別スコアを計算することで、学習データの属するクラスの識別を誤った弱識別器をより正しく認識できるように更新して、弱識別器および識別重みを計算することができる。
【００２４】
請求項５に記載の発明は、前記識別スコア計算部が、前記取得した時刻フレームの時系列信号を前記弱識別器により識別した結果、当該クラスに属さない時系列データを正しく当該クラスに属さないと識別できたときに、当該クラスおよび当該時刻フレームにおける識別スコアが高くなるように、前記識別スコアを計算することを特徴とする請求項４に記載の時系列信号識別装置とした。
【００２５】
また、請求項１０に記載の発明は、前記識別スコアを計算するステップにおいて、前記取得した時刻フレームの時系列信号を前記弱識別器により識別した結果、当該クラスに属さない時系列データを正しく当該クラスに属さないと識別できたときに、当該クラスおよび当該時刻フレームにおける識別スコアが高くなるように、前記識別スコアを計算することを特徴とする請求項９に記載の時系列信号識別方法とした。
【００２６】
よって、本発明によれば、弱識別器が当該クラスに属さない時系列データを正しく属さないと識別できたとき、識別スコアが高くなるようにした上で、弱識別器を設定することができる。
【００２７】
請求項１１に記載の発明は、請求項６ないし請求項１０のいずれか１項に記載の時系列信号識別方法を、コンピュータに実行させるためのプログラムとした。
【００２８】
このようなプログラムによれば、請求項６ないし請求項１０のいずれか１項に記載の時系列信号識別方法を、一般的なコンピュータの実行させることができる。
【発明の効果】
【００２９】
本発明によれば、３以上のクラスからなる時系列信号を効率的に精度よく識別することができる、時系列信号識別装置、時系列信号識別方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本実施形態に係る識別器生成装置の構成例を示す機能ブロック図である。
【図２】本実施形態に係る識別器生成装置の処理の流れを示すフローチャートである。
【図３】本実施形態に係る時系列信号識別装置の構成例を示す機能ブロック図である。
【図４】本実施形態に係る時系列信号識別装置の処理の流れを示すフローチャートである。
【図５】本実施形態に係る時系列信号識別装置を用いた実験例における時系列信号の平均識別率である。
【図６】本実施形態に係る時系列信号識別装置の実験結果と従来技術のEarlyboost（早期認識ブースティング）を適用した実験結果とを比較した図である。
【発明を実施するための形態】
【００３１】
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
【００３２】
≪識別器生成装置および時系列信号識別装置の動作概要≫
まず、本実施形態に係る識別器生成装置１および時系列信号識別装置２の動作概要について説明する。
【００３３】
本実施形態に係る識別器生成装置１は、時系列信号に正しいクラスが対応付けられた学習データＡを取り込み、弱識別器ｈt,kと識別重みαtとを記憶する識別器１００を生成する装置である。本実施形態に係る時系列信号識別装置２が、この識別器１００の情報を取り込み、識別対象データ（時系列信号）ｘについてクラスの識別を行う。なお、本実施形態においては、識別器生成装置１と時系列信号識別装置２とが備える機能を分けて説明するが、１つの筐体として時系列信号識別装置２に、識別器生成装置１が備える機能を含むように構成することもできる。
【００３４】
識別器生成装置１は、学習データＡを時刻フレームの古い順に取り込み、時刻フレーム毎およびクラス毎に設定された弱識別器ｈt,kによる学習データＡの識別結果と、その学習データＡの正しいクラスとの一致度を示す識別スコアｒt,kを計算する。なお、弱識別器ｈt,kは、その時系列信号が自身のクラスに属するか否かを識別する関数である。そして、識別器生成装置１は、計算した識別スコアｒt,kを用いて、その識別スコアｒt,kを最大にするように、つまり識別能力が最大となるように弱識別器ｈt,kのパラメータを調整する。次に、識別器生成装置１は、その時刻フレームにおける弱識別器ｈt,kの信頼度を示す識別重みαtを、すべてのクラスの識別スコアｒt,kを考慮して決定する。
【００３５】
続いて、識別器生成装置１は、次の時刻フレームを処理するにあたり、各クラスにおける弱識別器ｈt,kが学習データＡのクラスを正しく認識した場合に小さく、誤って認識した場合には大きくするような誤差重みＤt,i,kを、次の時刻フレームにおける識別スコアｒt,kに設定して、その識別スコアｒt,kを計算する。このような処理を繰り返すことで、１つ前の時刻フレームでの弱識別器ｈt,kの認識の誤りを修正するように、弱識別器ｈt,kと識別重みαtが設定される。
【００３６】
そして、時系列信号識別装置２は、識別器生成装置１が生成した識別器１００（弱識別器ｈt,kと識別重みαt）を取得し、クラス毎に強識別器Ｈkを生成する。この強識別器Ｈkは、各時刻フレームにおける識別重みαtを考慮して、入力された時系列信号（識別対象データ）ｘが自身のクラスに属するか否かの一致度合を計算する。そして、その計算結果のうちの最大値を示す強識別器Ｈkのクラスを、入力された識別対象データｘの属するクラスとして識別する。
【００３７】
≪識別器生成装置≫
次に、識別器生成装置１について具体的に説明する。図１は、本実施形態に係る識別器生成装置１の構成例を示す機能ブロック図である。識別器生成装置１は、入力される学習データＡを用いて、識別器１００に記憶される定数情報１３１、弱識別器情報（ｈ1,1，ｈ1,2，…，ｈT,K）１３２、および識別重み情報（α1，α2，…，αT）１３３を生成する装置であり、図１に示すように、制御部１０と、入力部（第２の入力部）１１と、出力部１２と、記憶部１３とを含んで構成される。
【００３８】
まず、この識別器生成装置１において使用する各種データについて説明する。なお、本実施形態において、Ｒは１次元実数の集合を表し、Ｒｄはｄ次元実数ベクトルの集合を表す。また、ｔは時刻フレームのインデックス（ｔ＝１，２，…，Ｔ）を表すものとする。
【００３９】
識別器生成装置１に入力される学習データＡは、時系列信号ｘｉおよびその時系列信号ｘｉの属するクラス変数ｙｉの組からなる。このクラス変数ｙｉは、予め識別器生成装置１の管理者等から付与されるその時系列信号ｘｉの正しいクラスである。なお、ｉは、学習データＡのインデックスであり、ｉ＝１，２，…，Ｎとする。よって、学習データＡ＝｛ｘｉ，ｙｉ｝Ｎｉ＝１である。
【００４０】
時系列信号ｘｉは、ｄ次元実数ベクトルｘi,tのシーケンスである。シーケンス長、すなわち時系列信号ｘｉの長さは、すべてのｉにおいてＴとする。つまり、時刻フレームのインデックスがｔ＝１，２，…，Ｔとすると、ｘｉ＝｛ｘi,t∈Ｒｄ｝である。また、クラス変数ｙｉの最大クラス数をＫとし、その値は事前に与えられる。よって、クラス変数ｙｉ∈｛１，２，…，Ｋ｝である。なお、ここでは、クラスを表す記号（クラスラベル）として１，…，ＫのＫ種類の数字を用いるが、Ｋ種類のクラスを識別できるものであれば、記号列等をクラスラベルとして用いてもよい。この学習データＡとなる時系列信号ｘｉは、予めビデオカメラやマイクロフォン等から取得しておいた時系列信号ｘｉを利用することができる。
【００４１】
識別器生成装置１は、入力部１１を介して入力される学習データＡを用いて、その学習データＡに関する各定数（学習データの総数Ｎ，識別したいクラスの総数Ｋ，時刻フレームの総数Ｔ，時系列信号ｘｉの次元数ｄ）を記憶部１３に保存した上で、識別器１００の情報として最適に設定した、（１）弱識別器ｈt,k、（２）識別重みαｔを記憶していく。
【００４２】
ここで、弱識別器ｈt,kは、時系列信号ｘｉの時刻フレームｔにおける値ｘi,tを受け取ると、その値がクラスｋに属すると認識する場合には「１」を、クラスｋ以外に属すると認識する場合には「−１」を返す関数である。また、識別重みαｔ∈Ｒ，ｔ＝１，２，…，Ｔは、弱識別器ｈt,1：kに対する重みである。なお、本実施形態に係る時系列信号識別装置２は、識別対象データのクラスの識別を行う際に、各時刻フレームｔについて弱識別器ｈt,1：kの識別重みαｔを最適に設定することで、弱識別器ｈt,1：kを識別能力の観点で最適に統合した強識別器Ｈｋを生成することができる。
【００４３】
また、弱識別器ｈt,kと識別重みαｔの計算過程で誤差重みＤt,i,k∈Ｒ、ｔ＝１，２，…，Ｔ、ｉ＝１，２，…，Ｎ、ｋ＝１，２，…，Ｋ、および識別スコアｒt,k∈Ｒ、ｔ＝１，２，…，Ｔ、ｋ＝１，２，…，Ｋが必要となる（詳細は後記する）。
【００４４】
（装置構成）
以下、識別器生成装置１の構成を具体的に説明する。
入力部（第２の入力部）１１は、外部からの情報を入力する入力インタフェースからなり、学習データＡ等の入力を受け付け、制御部１０に引き渡す。また出力部１２は、識別器生成装置１が生成した情報を出力する出力インタフェースからなり、識別器１００に記憶された各種情報を、時系列信号識別装置２等へ出力する。また、記憶部１３は、制御部１０の処理に必要な各種データ（定数情報１３１，弱識別器情報１３２，識別重み情報１３３，誤差重み情報１３４，識別スコア情報１３５）を記憶するデータ記憶部１３０と、最適に設定したパラメータとして、定数情報（Ｎ，Ｋ，Ｔ，ｄ）１３１、弱識別器情報（ｈ1,1，ｈ1,2，…，ｈT,K）１３２、および識別重み情報（α1，α2，…，αT）１３３が記憶される識別器１００とが格納される。
【００４５】
制御部１０は、識別器生成装置１の全体の制御を司り、初期設定部１０１と、識別スコア計算部１０２と、弱識別器学習部１０３と、識別重み計算部１０４と、識別器生成部１０５と、誤差重み計算部１０６とを含んで構成される。なお、この制御部１０の機能は、例えば、識別器生成装置１の記憶部１３に記憶されたプログラムをＣＰＵ（Central Processing Unit）が不図示のメモリ部に展開し実行することで実現される。
【００４６】
初期設定部１０１は、変数となる弱識別器ｈt,k、識別重みαｔ、誤差重みＤt,i,k、識別スコアｒt,kを初期化する。具体的には、弱識別器ｈt,kの各パラメータには、後記する従来技術で示される各弱識別器毎に適当な値を設定する。識別重みαｔおよび識別スコアｒt,kには、実数値を設定する。また、識別スコアｒt,kには、すべての誤差重みＤt,i,kを１／（ＮＫ）に設定する。これらの初期値は、識別器生成装置１が時刻フレームｔ＝１において後記する各計算処理を実行するために、適当な値として入力をしておくものである。
また、初期設定部１０１は、入力部１１を介して、学習データＡを取得する。そして、初期設定部１０１は、その学習データＡに関する各定数（学習データの総数Ｎ，クラスの総数Ｋ，時刻フレームの総数Ｔ，時系列信号ｘｉの次元数ｄ）を、定数情報１３１として記憶部１３に記憶する。
【００４７】
識別スコア計算部１０２は、すべてのクラスｋ（ｋ＝１，２，…，Ｋ）について、以下の（式１）により識別スコアｒt,kを計算する。そして、識別スコア計算部１０２は、計算した識別スコアｒt,kをデータ記憶部１３０内に、識別スコア情報１３５として記憶する。
【００４８】
【数１】
2011181021.tif 000003
【００４９】
ここで、関数ｇk（ｙi）は、正しいクラス（クラス変数）ｙiを受け取り、ｙi＝ｋならば「１」を、そうでなければ「−１」を返す変数である。この識別スコアｒt,kは、正しいクラスｙiと、弱識別器ｈt,kによる識別結果ｈt,k（ｘi,t）とが、「クラスｋに属するもしくは属さないか」という点で一致すればその値が増加する。また、この識別スコアｒt,kは、後記する誤差重みＤt,i,kが大きい程、その値が増加する。
【００５０】
弱識別器学習部１０３は、すべてのクラスｋ（ｋ＝１，２，…，Ｋ）について、decision stump、kNN識別器、線形Fisher判別器等の既存の弱識別器（例えば、「ビショップ，Ｃ．Ｍ．、“パターン認識と機械学習”、シュプリンガージャパン、2007」参照）を利用して、その弱識別器ｈt,k（ｔ＝１，２，…，Ｔ、ｋ＝１，２，…，Ｋ）のパラメータを、以下の（式２）を満たすように設定する。そして、弱識別器学習部１０３は、設定した弱識別器ｈt,kをデータ記憶部１３０内に、弱識別器情報１３２として記憶する。
【００５１】
【数２】
2011181021.tif 000004
【００５２】
この（式２）は、識別スコアｒt,kを最大にするように弱識別器ｈt,kのパラメータを決定することを意味する。
【００５３】
ここで、弱識別器ｈt,kを構成するパラメータは、使用する弱識別器ｈt,kの種類により規定される。例えば、decision stumpの場合には、閾値を設定する次元とその閾値、kNN識別器の場合には、具体的なレベル分布、線形Fisher判別器の場合には、判別軸の方向ベクトル（固有ベクトル）、固有値および判別軸上の閾値となる。なお、弱識別器ｈt,kとしては既知の識別器であれば、どれも利用することができる。また、実際の計算において、この識別スコアｒt,kを最大にする設定は、真の最大値を取らなくてもよく、デフォルト（初期）の弱識別器ｈt,kよりも、識別スコアｒt,kを最大値に近づけるように設定するものであればよい。
【００５４】
識別重み計算部１０４は、識別スコア計算部１０２が計算した識別スコアｒt,kを用いて、時刻フレーム毎に設定したすべてのクラスの弱識別器ｈt,kの信頼度を示す識別重みαｔを、以下の（式３）により計算する。そして、識別重み計算部１０４は、計算した識別重みαｔをデータ記憶部１３０内に、識別重み情報１３３として記憶する。
【００５５】
【数３】
2011181021.tif 000005
【００５６】
この（式３）により計算される識別重みαｔは、全Ｋクラスに関する識別スコア（Σkｒt,k）が利用されている。このことによって、識別対象データの識別時に時系列信号識別装置２は、すべてのクラスの識別能力を考慮した識別重みαｔにより、時刻フレーム毎に、弱識別器ｈt,1：kの重みを最適に設定して、強識別器Ｈkを生成することができる。
【００５７】
識別器生成部１０５は、時刻フレームの古い順に取得した学習データが、ｔ＜Ｔであるか否か（つまり、最後の時刻フレームＴのデータまで処理したか否か）を判定し、ｔ＜Ｔであれば誤差重み計算部１０６へデータを引き渡す。また、ｔ＝Ｔの場合には、すべての学習データＡを処理したとして、データ記憶部１３０に記憶した定数情報１３１、弱識別器情報１３２および識別重み情報１３３を、識別器１００に記憶する。
【００５８】
誤差重み計算部１０６は、誤差重みＤt,i,kを、以下の（式４）を用いて更新する。そして、時刻フレームｔを１増加させ、識別スコア計算部１０２へ引き渡す。
【００５９】
【数４】
2011181021.tif 000006
【００６０】
ここで∝は、Σi,kＤt+1,i,k＝１となるように正規化することを意味する。この（式４）は、弱識別器ｈt,kによる認識結果が正しければ重みを小さくし、認識結果が誤っていれば重みを増大させることを表す。したがって、次の時刻フレームでの弱識別器ｈt,kの設定時には、この時刻フレームで認識に失敗したシーケンスを正しく認識するように認識の誤りを修正する。この繰り返しにより、各時刻フレームにおいてできるだけこれまでの認識の誤りを修正するように弱識別器ｈt,kおよび識別重みαｔを設定していくため、早期認識が実現される。
【００６１】
（動作手順）
次に、図１を参照しつつ、図２に沿って、本実施形態に係る識別器生成装置１の動作手順について説明する。
図２は、本実施形態に係る識別器生成装置１の処理の流れを示すフローチャートである。
【００６２】
まず、識別器生成装置１の初期設定部１０１は、学習データＡを入力する前処理として、弱識別器ｈt,k、識別重みαｔ、誤差重みＤt,i,k、識別スコアｒt,kの初期値を設定する（ステップＳ１０１）。具体的には、弱識別器ｈt,kの各パラメータには、各弱識別器ｈt,kとして適当な値を設定する。識別重みαｔおよび識別スコアｒt,kには、「０」や「１」等の適当な実数値を設定する。また、識別スコアｒt,kには、すべての誤差重みＤt,i,kを１／（ＮＫ）に設定する。そして、初期設定部１０１は、これらの設定した各数値をデータ記憶部１３０に記憶する。
【００６３】
次に、初期設定部１０１は、入力部１１を介して学習データＡを取得し、その学習データＡに関する各定数（学習データの総数Ｎ，クラスの総数Ｋ，時刻フレームの総数Ｔ，時系列信号ｘｉの次元数ｄ）を、データ記憶部１３０の定数情報１３１に記憶する。そして、初期設定部１０１は、時刻フレームをｔ＝１に設定する（ステップＳ１０２）。
【００６４】
続いて、識別スコア計算部１０２は、時刻フレームｔ＝１から順に、学習データＡを取得し、前記した（式１）を用いて、識別スコアｒt,kを計算する（ステップＳ１０３）。そして、識別スコア計算部１０２は、計算した識別スコアｒt,kをデータ記憶部１３０の識別スコア情報１３５に記憶する。
【００６５】
次に、弱識別器学習部１０３は、前記した（式２）にしたがって、ステップＳ１０３で計算した識別スコアｒt,kを、最大にするように弱識別器ｈt,kを設定する（ステップＳ１０４）。そして、弱識別器学習部１０３は、設定した弱識別器ｈt,kをデータ記憶部１３０の弱識別器情報１３２に記憶する。
【００６６】
続いて、識別重み計算部１０４は、前記した（式３）を用いて、識別重みαｔを計算する（ステップＳ１０５）。そして、識別重み計算部１０４は、計算した識別重みαｔをデータ記憶部１３０の識別重み情報１３３に記憶する。
【００６７】
次に、識別器生成部１０５は、時刻フレームがｔ＝Ｔであるか否かを判定する（ステップＳ１０６）。ここで、ｔ＝Ｔではなく、ｔ＜Ｔの場合には（ステップＳ１０６→Ｎｏ）、まだ処理していない学習データＡがあるとして、次のステップＳ１０７へ進む。
【００６８】
ステップＳ１０７において、誤差重み計算部１０６は、誤差重みＤt,i,kを前記した（式４）を用いて更新する。そして、誤差重み計算部１０６は、更新した誤差重みＤt,i,kをデータ記憶部１３０の誤差重み情報１３４に記憶する。続いて、誤差重み計算部１０６は、時刻フレームｔを１つ増加させ（ステップＳ１０８）、ステップＳ１０３へ戻り処置を続ける。
【００６９】
一方、ステップＳ１０６において、ｔ＝Ｔであると判定された場合には（ステップＳ１０６→Ｙｅｓ）、すべての学習データＡの処理を終えたとして、次のステップＳ１０９へ進む。そして、ステップＳ１０９において、識別器生成部１０５は、データ記憶部１３０に記憶されたデータのうち、定数情報１３１と、弱識別器情報１３２と、識別重み情報１３３とを取得し、記憶部１３内に識別器１００を生成する。
【００７０】
以上にように、本実施形態に係る識別器生成装置１および識別器生成方法によれば、３以上のクラスからなる時系列信号について、時刻フレームｔの値を１つずつ増やしながら、ｔ＝Ｔに到達するまで処理が繰り返され、弱識別器ｈt,kや識別重みαｔ等の値を最適に設定することができる。そして、その設定された定数情報１３１、弱識別器情報１３２、および識別重み情報１３３を識別器１００として生成し、時系列信号識別装置２が利用する。また、この識別器生成装置１により設定される弱識別器ｈt,kや識別スコアｒt,k等の数は、時系列長Ｔおよびクラス数Ｋに対して線形でしか増加しない。よって、前記した二項係数kＣ2によるクラスペア間すべてについて２クラス識別器を構成する方法に比べ、時系列信号識別装置２は、この識別器１００を用いることで、計算負荷を低減することができる。
【００７１】
なお、識別器生成装置１が生成した識別器１００は、本実施形態では、識別器生成装置１の記憶部１３内に生成するものとしたが、識別器生成部１０５が出力部１２を介して、識別器生成装置１の外部に設置された記憶手段に記憶するようにしてもよいし、通信ネットワーク等を介して直接時系列信号識別装置２に出力するようにしてもよい。また、識別器生成装置１を含むように時系列信号識別装置２を構成した場合には、時系列信号識別装置２は、識別器生成装置１が処理し記憶部１３に記憶された、定数情報１３１、弱識別器情報１３２、および識別重み情報１３３を取得し処理を行うことができる。
【００７２】
≪時系列信号識別装置≫
次に、時系列信号識別装置２について具体的に説明する。図３は、本実施形態に係る時系列信号識別装置２の構成例を示す機能ブロック図である。時系列信号識別装置２は、本実施形態に係る識別器生成装置１で生成された識別器１００を用いて、入力される時系列信号（識別対象データ）のクラスを識別する装置であり、図３に示すように、制御部２０と、入力部（第１の入力部）２１と、出力部２２と、記憶部２３とを含んで構成される。
【００７３】
まず、この時系列信号識別装置２に入力される時系列信号ｘについて説明する。この時系列信号（識別対象データ）ｘ＝｛ｘ１，ｘ２，…，ｘＬ｝は、前記した学習データＡとは異なりその時系列信号の属するクラスｙ∈｛１，…，Ｋ｝が付与されていないデータであり、時系列信号識別装置２によりクラスの識別が行われる。ここで、Ｌは、識別対象データのシーケンス長であり、Ｌ≦Ｔとする。なお、識別対象データのシーケンス長Ｌが識別器生成装置１に入力された学習データＡのシーケンス長Ｔを超える場合（Ｌ＞Ｔの場合）は、ｘＴ＋１，…，ｘＬのデータに対応する弱識別器ｈt,k等を時系列信号識別装置２が備えていないため処理を行わず、Ｌ＝Ｔとして処理を行う。この入力される時系列信号は、予め記憶部２３等に記憶しておいた時系列信号を用いてもよいし、ビデオカメラやマイクロホンから取得した所定の時刻フレームの時系列信号を利用してもよい。
【００７４】
以下、図３を参照して、時系列信号識別装置２の構成を具体的に説明する。
入力部（第１の入力部）２１は、外部からの情報を入力する入力インタフェースからなり、時系列信号（識別対象データ）ｘの入力を受け付けて、制御部２０に引き渡す。また、入力部２１は、本実施形態に係る識別器生成装置１が生成した識別器１００の各情報を受け付けて、記憶部２３に記憶する。ここで、時系列信号識別装置２が取得する識別器１００の情報は、定数情報１３１として記憶された、学習データのインデックス数Ｎ、クラスＫ、時刻フレームＴ、次元数ｄと、弱識別器情報１３２と、識別重み情報１３３に関する情報である。
【００７５】
また、出力部２２は、時系列信号識別装置２が生成した情報を出力する出力インタフェースからなり、記憶部２３に記憶された時系列信号の識別結果（識別したクラス）を出力する。また、記憶部２３には、識別器生成装置１から入力部２１を介して取得した識別器１００と、識別対象データの処理結果が識別結果情報２３０として記憶される。
【００７６】
制御部２０は、時系列信号識別装置２の全体の制御を司り、強識別器生成部２０１と、データ識別部２０２とを含んで構成される。なお、この制御部２０の機能は、例えば、時系列信号識別装置２の記憶部２３に記憶されたプログラムをＣＰＵが不図示のメモリ部に展開し実行することで実現される。
【００７７】
強識別器生成部２０１は、入力部２１を介して、識別器１００の情報を取得し記憶部２３に記憶する。そして、強識別器生成部２０１は、識別器１００に記憶された弱識別器ｈt,kと識別重みαｔとを用いて、各時刻フレームにおける弱識別器ｈt,kを、（式５）を満たすようにクラス毎に統合した強識別器Ｈｋ（クラスｋ＝１，２，…，Ｋ）を生成する。
【００７８】
【数５】
2011181021.tif 000007
【００７９】
なお、強識別器生成部２０１は、識別器１００において識別重みαｔが記憶されていない場合に、識別重みαｔを用いることなく、自身のクラスに属すると識別した弱識別器ｈt,kの識別結果を、前記自身のクラスに属さないと識別した弱識別器ｈt,kの識別結果よりも高い値として設定し、各クラスの弱識別器ｈt,kの識別結果を時刻フレームそれぞれについて足し合わせて強識別器Ｈｋ（クラスｋ＝１，２，…，Ｋ）を生成することができる。
また、識別器１００に記憶された識別重みαｔを用いて、（式５）のように強識別器Ｈｋを生成した場合には、時刻フレーム毎に弱識別器ｈt,kの重みを最適に設定して、クラス毎の強識別器Ｈkを生成することができる。よって、時系列信号識別装置２の識別精度をさらに上げることが可能となる。
【００８０】
なお、十分に信頼度の高い識別結果が得られていると考えられる場合には、入力部２１で受け付ける識別対象データをx'={x_1, x_2, ..., x_L'} (L'≦L)とし、（式５）においてL=L'とした強識別器Ｈｋを識別に用いることにより、時系列信号のLフレームが入力される前に識別結果を出力してもよい。
【００８１】
データ識別部２０２は、入力部２１を介して時系列信号ｘを受け取り、強識別器生成部２０１が生成したクラス毎の強識別器Ｈkを用いて、その時系列信号ｘがどの程度クラスｋらしいかを計算する。
【００８２】
そして、データ識別部２０２は、時系列信号（識別対象データ）ｘの識別結果ｙ∈｛１，２，…，Ｋ｝を、以下の（式６）を満たすように計算する。
【００８３】
【数６】
2011181021.tif 000008
【００８４】
この（式６）は、（式５）において強識別器生成部２０１が生成したクラス毎の強識別器Ｈｋによる計算結果のうちの最大値を示す強識別器Ｈｋのクラスを、入力された時系列信号（識別対象データ）ｘの属するクラスとすることを意味する。
【００８５】
また、データ識別部２０２は、計算結果（識別したクラスｙ）を識別結果情報２３０として記憶部２３に記憶し、その識別結果情報２３０を出力部２２を介して、外部装置（例えば、ディスプレイ等）に出力する。
【００８６】
（動作手順）
次に、図３を参照しつつ、図４に沿って、本実施形態に係る時系列信号識別装置２の動作手順について説明する。
図４は、本実施形態に係る時系列信号識別装置２の処理の流れを示すフローチャートである。
【００８７】
まず、時系列信号識別装置２の強識別器生成部２０１は、入力部２１を介して、識別器１００の各情報（定数情報１３１、弱識別器情報１３２、識別重み情報１３３）を取得し、記憶部２３に記憶する（ステップＳ２０１）。
【００８８】
そして、強識別器生成部２０１は、識別器１００に記憶された弱識別器ｈt,kと識別重みαｔとを用いて、各時刻フレームにおける弱識別器ｈt,kを、（式５）を満たすようにクラス毎に統合した強識別器Ｈｋ（クラスｋ＝１，２，…，Ｋ）を生成する（ステップＳ２０２）。
【００８９】
次に、データ識別部２０２は、まだ、強識別器Ｈｋ（ｘ）を用いて計算していないクラスｋ∈｛１，２，…，Ｋ｝のうちの１つを選択する（ステップＳ２０３）。
【００９０】
続いて、データ識別部２０２は、入力部２１を介して識別対象データｘを取得し、（式５）を用いて、ステップＳ２０３で選択したクラスの強識別器Ｈｋ（ｘ）の計算をする（ステップＳ２０４）。
【００９１】
そして、データ識別部２０２は、すべてのクラスｋ＝｛１，２，…，Ｋ｝について強識別器Ｈｋ（ｘ）の計算をしたか否かを判定する（ステップＳ２０５）。ここで、まだ計算をしていないクラスが残っている場合には（ステップＳ２０５→Ｎｏ）、ステップＳ２０３に戻り処理を続ける。一方、すべてのクラスｋについての計算を終えた場合には（ステップＳ２０５→Ｙｅｓ）、次のステップＳ２０６に進む。
【００９２】
ステップＳ２０６において、データ識別部２０２は、時系列信号（識別対象データ）ｘの識別結果ｙ∈｛１，２，…，Ｋ｝を、前記した（式６）を用いて計算する（ステップＳ２０７）。そして、データ識別部２０２は、その計算結果である時系列信号（識別対象データ）ｘのクラスｙを識別結果情報２３０として記憶部２３に記憶する（ステップＳ２０７）。
【００９３】
このようにすることで、本発明に係る時系列信号識別装置２および時系列信号識別方法によれば、３以上のクラスの時系列信号を効率的に精度よく認識することが可能となる。また、識別器生成装置１により生成される識別器１００に含まれる弱識別器ｈt,kは、誤差重みＤt,i,kを用いて、各時刻フレームでの認識の誤りを修正するように次の時刻フレームにおいて設定されているため、本発明に係る時系列信号識別装置２は、早期認識の性能をさらに向上させることができる。
【００９４】
≪本発明の実験例≫
次に、本発明に係る時系列信号識別装置２を用いた実験例を説明する。実験は、ドライブシミュレータ内に設置されたカメラで撮影された運転者の動作に関する時系列信号を用いた。７人の運転者に対して、３０セットの運転シミュレーションを行わせ、その中で、各運転者は、１２クラスの動作を行うことが指示される。例えば、クラスは、「ハンドル保持」、「エアコン操作」、「カーナビ操作」等の動作が設定される。この運転者の動作を撮影した動画像から、各運転者の左手、右手、および左肘の位置を自動的に追跡し、その追跡結果を識別対象データ（時系列信号）として利用する。識別対象データ（時系列信号）は、３つの関節の画像座標（ｈ，ｗ）からなるため、ｄ＝６次元の実数ベクトルの時系列信号となる。
【００９５】
また、弱識別器ｈとしては、decision stumpを利用した（前記した“パターン認識と機械学習”参照）。このdecision stumpの弱識別器ｈは、最も単純な２値分類器である。ｄ 次元ベクトルｘi,tに対して、ｄ 個のベクトル要素のうち１つを選択し、それに対する閾値判定によってクラスラベル｛１，−１｝を付与する。弱識別器ｈのパラメータは、例えば以下のように設定される。
１． ｊ ∈ ｛１，２，…，ｄ｝
２． ｖ ∈ Ｒ
３． ｓ ∈ ｛１，−１｝
ここで、ｊは識別に利用する次元のインデックスである。ｖは指定した次元における識別閾値である。また、ｓは、クラスの正負を決定するものであり、例えば、以下の（式７），（式８）のように設定される。
【００９６】
【数７】
2011181021.tif 000009
【００９７】
この識別対象データ（時系列信号）に対し、正しいクラスを付した学習データを用意して実験を行った。実験では交差検定法(交差数６) を行ってクラスの認識性能を計算した。
【００９８】
図５は、本実施形態に係る時系列信号識別装置２を用いて、７人の運転者により得られた時系列信号の平均識別率である。横軸が識別対象データの時刻フレームを、縦軸が識別率を表す。太線は本実施形態に係る時系列信号識別装置２の認識率、細線は早期認識の上で重要な誤差重みＤt,i,kの更新処理（本実施形態に係る識別器生成装置１の誤差重み計算部１０６による（式４）の処理） を行わず弱識別器ｈを設定した場合の認識率である。図５に示す結果より明らかなように、誤差重みＤt,i,kの更新を行うことにより、認識率と早期認識に関する性能が向上することが示される。
【００９９】
図６は、本実施形態に係る時系列信号識別装置２と、既存の早期認識方法であるEarlyboost（早期認識ブースティング）法とを比較した図である。ここでは、Earlyboost 法を３クラス以上の多クラスで扱うために、Ｋ 個のクラスそれぞれについて「着目するクラス」と「その他のクラス」という２クラスの識別問題を解決する識別器を準備し、それらの識別スコアを比較する方法を用いた。図６に示すように、Earlyboost 法を多クラスに適用した場合に比べ、本実施形態に係る時系列信号識別装置２の方が、精度よく、かつ早期に識別率を向上させていることがわかる。なお、図５に示した本実施形態に係る識別器生成装置１において、誤差重みＤt,i,kの更新処理を行わずに、時系列信号識別装置２が、処置を行った場合においても、図６に示すEarlyboost 法を多クラスに適用した場合に比べ、早期に精度よく識別率が向上することが示された。
【符号の説明】
【０１００】
１      識別器生成装置
２      時系列信号識別装置
１０，２０  制御部
１１，２１  入力部
１２，２２  出力部
１３，２３  記憶部
１００  識別器
１０１  初期設定部
１０２  識別スコア計算部
１０３  弱識別器学習部
１０４  識別重み計算部
１０５  識別器生成部
１０６  誤差重み計算部
１３０  データ記憶部
１３１  定数情報
１３２  弱識別器情報
１３３  識別重み情報
１３４  誤差重み情報
１３５  識別スコア情報
２０１  強識別器生成部
２０２  データ識別部
２３０  識別結果情報
【図１】
2011181021.tif 000010
【図２】
2011181021.tif 000011
【図３】
2011181021.tif 000012
【図４】
2011181021.tif 000013
【図５】
2011181021.tif 000014
【図６】
2011181021.tif 000015