(57)【要約】【課題】ビデオデータの映像内容を精度よく識別する。【解決手段】ビデオデータ識別装置７０は、HMMを用いた時系列識別部１１、処理対象のビデオデータから非時系列特徴量を抽出する非時系列特徴量抽出部７１−１乃至７１−Ｍ、およびＮＮを用いたパターン識別部７２から構成される。入力パターン識別部７２は、時系列識別部１１から入力されるＮ個の尤度値と、非時系列特徴量抽出部７１−１乃至７１−Ｍから入力されるＭ個の非時系列特徴量とを基にした（Ｎ＋Ｍ）次元の入力パターンに対応するシーンを識別結果として出力する。本発明は、時系列データを分類する装置に適用できる。【選択図】図５
2009122829.tif 000002
【特許請求の範囲】
【請求項１】
時系列入力データをＮ個のクラスに分類する情報処理装置において、
前記時系列入力データの時系列特徴量を抽出する時系列特徴量抽出手段と、
抽出された前記時系列特徴量を予め学習されている確率モデルに適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちの任意のクラスに属することの尤度値を算出する前記Ｎ個の算出手段と、
算出された前記Ｎ個の尤度値を含むＮ次元以上のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定する判定手段と
を含むことを特徴とする情報処理装置。
【請求項２】
前記時系列入力データはビデオデータであり、
前記Ｎ個のクラスは、前記ビデオデータの映像内容としての異なるＮ種類のシーンである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記時系列入力データの非時系列特徴量を抽出する非時系列特徴量抽出手段をさらに含み、
前記判定手段は、算出された前記Ｎ個の尤度値と抽出されたＭ個の非時系列特徴量を含む（Ｎ＋Ｍ）次元のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記確率モデルは隠れマルコフモデルであり、
前記パターン識別部はニューラルネットワークである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
時系列入力データをＮ個のクラスに分類する情報処理装置の情報処理方法において、
前記時系列入力データの時系列特徴量を抽出し、
抽出された前記時系列特徴量を予め学習されている確率モデルに適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちの任意のクラスに属することの尤度値を算出し、
算出された前記Ｎ個の尤度値を含むＮ次元以上のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定する
ステップを含むことを特徴とする情報処理方法。
【請求項６】
時系列入力データをＮ個のクラスに分類する情報処理装置の制御用のプログラムであって、
前記時系列入力データの時系列特徴量を抽出し、
抽出された前記時系列特徴量を予め学習されている確率モデルに適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちの任意のクラスに属することの尤度値を算出し、
算出された前記Ｎ個の尤度値を含むＮ次元以上のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定する
ステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えばテレビジョン番組に代表されるビデオデータの映像内容を識別する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えばテレビジョン番組のダイジェスト版を自動的に生成したり、ハイライトシーンを自動的に抽出したりするために用いる手段として、その映像内容を識別する方法が提案されている。
【０００３】
テレビジョン番組などの時系列のビデオデータの映像内容を識別する場合、確率モデルの一つであり、時系列データを処理対象とできる隠れマルコフモデル（以下、HMM(Hidden Markov Model)と称する）を用いる方法がある（例えば、非特許文献１参照）。
【０００４】
非特許文献１には、野球中継番組の映像内容を、HMMを用いて識別する方法が記載されている。具体的には、野球中継番組の映像内容（ピッチングシーン、ホームランシーン、内野ゴロシーン、四球シーン、三振シーンなど）に対応するHMMを予め学習によって生成しておき、野球中継番組のビデオデータを学習済みの各HMMに供給し、出力される尤度値が最大であるHMMに対応するシーンを、野球中継番組の映像内容として識別するようになされている。
【０００５】
ここで、各HMMは、入力されるビデオデータが対応するシーンであることの尤度値を出力するものである。例えばホームランシーンに対応するHMMは、入力されるビデオデータがホームランシーンであることの尤度値を出力する。
【０００６】
【非特許文献１】Nguyen Huu Bach、篠田浩一、古井貞、「隠れマルコフモデルを用いた野球放送の自動的インデクシング」、画像の認識・理解シンポジウム（MIRU2005）、２００５年７月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したHMMを用いた従来の映像識別では、その映像内容を識別することができる。しかしながら、映像内容を誤って識別してしまうこともあるので、より高い精度で映像内容を識別できる手法の出現が望まれている。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、ビデオデータの映像内容を精度よく識別できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面である情報処理装置は、時系列入力データをＮ個のクラスに分類する情報処理装置において、前記時系列入力データの時系列特徴量を抽出する時系列特徴量抽出手段と、抽出された前記時系列特徴量を予め学習されている確率モデルに適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちの任意のクラスに属することの尤度値を算出する前記Ｎ個の算出手段と、算出された前記Ｎ個の尤度値を含むＮ次元以上のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定する判定手段とを含むことを特徴とする。
【００１０】
前記時系列入力データはビデオデータであり、前記Ｎ個のクラスは、前記ビデオデータの映像内容としての異なるＮ種類のシーンであるようにすることができる。
【００１１】
本発明の一側面である情報処理装置は、前記時系列入力データの非時系列特徴量を抽出する非時系列特徴量抽出手段をさらに含むことができ、前記判定手段は、算出された前記Ｎ個の尤度値と抽出されたＭ個の非時系列特徴量を含む（Ｎ＋Ｍ）次元のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定するようにすることができる。
【００１２】
前記確率モデルは隠れマルコフモデルであり、前記パターン識別部はニューラルネットワークであるようにすることができる。
【００１３】
本発明の一側面である情報処理方法は、時系列入力データをＮ個のクラスに分類する情報処理装置の情報処理方法において、前記時系列入力データの時系列特徴量を抽出し、抽出された前記時系列特徴量を予め学習されている確率モデルに適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちの任意のクラスに属することの尤度値を算出し、算出された前記Ｎ個の尤度値を含むＮ次元以上のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定するステップを含むことを特徴とする。
【００１４】
本発明の一側面であるプログラムは、時系列入力データをＮ個のクラスに分類する情報処理装置の制御用のプログラムであって、前記時系列入力データの時系列特徴量を抽出し、抽出された前記時系列特徴量を予め学習されている確率モデルに適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちの任意のクラスに属することの尤度値を算出し、算出された前記Ｎ個の尤度値を含むＮ次元以上のパターンを、予め学習されているパターン識別部に適用することにより、前記時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかを判定するステップを含む処理を情報処理装置のコンピュータに実行させることを特徴とする。
【００１５】
本発明の一側面においては、時系列入力データの時系列特徴量が抽出され、抽出された時系列特徴量を予め学習されている確率モデルに適用することにより、時系列入力データがＮ個のクラスのうちの任意のクラスに属することの尤度値が算出される。さらに、算出されたＮ個の尤度値を含むＮ次元以上のパターンを、予め学習されているパターン識別部に適用することにより、時系列入力データが前記Ｎ個のクラスのうちのいずれのクラスに属するかが判定される。
【発明の効果】
【００１６】
本発明の一側面によれば、時系列入力データを精度よく分類することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の第１の実施の形態であるビデオデータ識別装置の構成例を示している。このビデオデータ識別装置１０は、時系列に入力されるテレビジョン番組などのビデオデータを処理対称とし、その時系列の映像内容を識別するものであり、時系列識別部１１およびパターン識別部１２から構成される。
【００１９】
以下、野球中継番組のビデオデータを処理対象として、その映像内容（ピッチングシーン、ホームランシーン、内野ゴロシーン、四球シーン、三振シーンなど）を識別する場合を例に説明する。
【００２０】
時系列識別部１１は、例えばHMMを用いてビデオデータを識別するものであり、時系列特徴量抽出部２１、および複数のシーン別HMM識別部２２−１乃至２２−Ｎから構成される。
【００２１】
時系列特徴量抽出部２１は、ビデオデータを所定の期間（例えば、数秒単位、数フレーム単位など）に区切り、各期間の時系列特徴量として、動き量、画像ヒストグラム、主成分分析による特徴量、フラクタル特徴量、フレーム間輝度差分特徴量などを抽出する。抽出された時系列特徴量はシーン別HMM識別部２２−１乃至２２−Ｎに供給される。
【００２２】
シーン別HMM識別部２２−１は、ビデオデータの映像内容として想定される１つのシーン（例えば、ピッチングシーン）に対応して予め学習されたもの（後述）であり、時系列特徴量抽出部２１から入力される時系列特徴量が対応するシーン（いまの場合、ピッチングシーン）のものであることの尤度値を算出する。
【００２３】
シーン別HMM識別部２２−２は、ビデオデータの映像内容として想定される１つのシーン（例えば、ホームランシーン）に対応して予め学習されたもの（後述）であり、時系列特徴量抽出部２１から入力される時系列特徴量が対応するシーン（いまの場合、ホームランシーン）のものであることの尤度値を算出する。
【００２４】
同様に、シーン別HMM識別部２２−３乃至２２−Ｎも、ビデオデータの映像内容として想定されるそれぞれ異なる１つのシーンに対応して予め学習されたものであり、時系列特徴量抽出部２１から入力される時系列特徴量が対応するシーンのものであることの尤度値を算出する。
【００２５】
したがって、時系列識別部１１からは、入力されるビデオデータの映像内容が、想定されるＮ種類のシーンであるかを示す情報として、Ｎ種類の尤度値が出力されることになる。
【００２６】
パターン識別部１２は、例えば、ニューラルネットワーク（以下、ＮＮと称する）を用いてパターン識別を実行するものであり、入力パターン生成部３１、およびシーン判定部３２から構成される。
【００２７】
入力パターン生成部３１は、時系列識別部１１のシーン別HMM識別部２２−１乃至２２−Ｎから入力されるＮ個の尤度値を基にしてＮ次元の入力パターンを生成し、シーン判定部３２に出力する。予め学習されているシーン判定部３２は、入力パターン生成部３１から入力されるＮ次元の入力パターンのＮ種類のシーン毎の尤度値を算出し、その最大値に対応するシーンを映像内容の識別結果として出力する。なお、シーン判定部３２の学習は、学習用ビデオデータ（時系列のシーンが人によって識別されているもの）を用い、例えばバックプロパゲーションアルゴリズムによって行うことができる。
【００２８】
次に、図２は、学習用ビデオデータを用いて図１のシーン別HMM識別部２２−１乃至２２−Ｎを学習させる時系列学習装置４０の構成例を示している。
【００２９】
この時系列学習装置４０は、時系列特徴量抽出部４１、操作部４２、セレクタ４３、およびシーン別HMM学習部４４−１乃至４４−Ｎから構成される。
【００３０】
時系列特徴量抽出部４１は、図１の時系列特徴量抽出部２１と同様、学習用ビデオデータを所定の期間（例えば、数秒単位、数フレーム単位など）に区切り、各期間の時系列特徴量として、動き量、画像ヒストグラム、主成分分析による特徴量、フラクタル特徴量、フレーム間輝度差分特徴量などを抽出してセレクタ４３に出力する。
【００３１】
操作部４２は、例えば学習用ビデオデータのシーンを識別するオペレータ（人）によって操作され、オペレータによるシーンの識別結果をセレクタ４３に通知する。セレクタ４３は、操作部４２からのオペレータによるシーンの識別結果に対応して、時系列特徴量抽出部４１から供給される時系列特徴量を、シーン別HMM学習部４４−１乃至４４−Ｎのいずれかに供給する。なお、シーン別HMM学習部４４−１乃至４４−Ｎは、それぞれ異なる映像内容（ピッチングシーン、ホームランシーン、内野ゴロシーン、四球シーン、三振シーンなど）のうちの１つに対応付けられているものとする。
【００３２】
例えば、シーン別HMM学習部４４−１がピッチングシーン、シーン別HMM学習部４４−２がホームランシーン、シーン別HMM学習部４４−３が内野ゴロシーンに対応付けられているとする。そして、学習用ビデオデータを見たオペレータによってその映像内容がホームランシーンであると識別されて操作部４２が操作された場合、セレクタ４３は、そのシーンの時系列特徴量をシーン別HMM学習部４４−２に供給する。また、学習用ビデオデータを見たオペレータによってその映像内容が内野ゴロシーンであると識別されて操作部４２が操作された場合、セレクタ４３は、そのシーンの時系列特徴量をシーン別HMM学習部４４−３に供給する。
【００３３】
シーン別HMM学習部４４−１乃至４４−Ｎは、セレクタ４３を介して供給される時系列特徴量に基づいてHMMを学習する。この学習には、Baum-Welchアルゴリズムを用いることができる。そして、シーン別HMM学習部４４−１乃至４４−Ｎによる識別が所望の精度に達するまで異なる複数の学習用ビデオデータを用いて学習を繰り返し、所望の精度に達した場合、シーン別HMM学習部４４−１乃至４４−Ｎの最終的なHMMを、図１の時系列識別部１１のシーン別HMM認識部２２−１乃至２２−Ｎに適用される。
【００３４】
次に、ビデオデータ識別装置１０がビデオデータのシーンを精度よく識別できるようになるための事前の学習処理について、図３のフローチャートを参照して説明する。
【００３５】
初めにステップＳ１乃至３の処理により、時系列識別部１１のシーン別HMM識別部２２−１乃至２２−Ｎが学習される。
【００３６】
具体的には、ステップＳ１において、時系列学習装置４０の時系列特徴量抽出部４１は、学習用ビデオデータを所定の期間に区切り、各期間の時系列特徴量を抽出して、セレクタ４３に出力する。
【００３７】
ステップＳ２において、セレクタ４３は、操作部４２からのオペレータによるシーンの識別結果に対応して、時系列特徴量抽出部４１から供給された時系列特徴量を、シーン別HMM学習部４４−１乃至４４−Ｎのいずれかに供給する。シーン別HMM学習部４４−１乃至４４−Ｎは、セレクタ４３を介して供給される時系列特徴量に基づいてHMMを学習する。
【００３８】
ステップＳ３において、シーン別HMM学習部４４−１乃至４４−Ｎによる識別が所望の精度に達したか否かが判定され、所望の精度に達するまで、ステップＳ１乃至Ｓ３の処理が繰り返される。そして、ステップＳ３において、シーン別HMM学習部４４−１乃至４４−Ｎによる識別が所望の精度に達した場合、シーン別HMM学習部４４−１乃至４４−Ｎの最終的なHMMが、図１の時系列識別部１１のシーン別HMM認識部２２−１乃至２２−Ｎに適用される。処理はステップＳ４に進められる。
【００３９】
次にステップＳ４乃至８の処理により、パターン識別部１２のシーン判定部３２が学習される。
【００４０】
具体的には、ステップＳ４において、学習用ビデオデータから時系列特徴量が抽出されて、上述したステップＳ１乃至Ｓ３の処理で学習されたシーン別HMM認識部２２−１乃至２２−Ｎに供給される。
【００４１】
ステップＳ５において、シーン別HMM認識部２２−１乃至２２−Ｎは、供給された時系列特徴量がそれぞれ想定されたシーンに対応するものであることの尤度値を算出して、入力パターン生成部３１に出力する。ステップＳ６において、入力パターン生成部３１は、シーン別HMM識別部２２−１乃至２２−Ｎから入力されたＮ個の尤度値を基にしてＮ次元の入力パターンを生成してシーン判定部３２に出力する。
【００４２】
ステップＳ７において、シーン判定部３２は、入力パターン生成部３１から入力されたＮ次元の入力パターンと、学習用ビデオデータを見たオペレータによるシーン識別の結果とに基づいてＮＮを学習する。
【００４３】
ステップＳ８において、シーン判定部３２による識別が所望の精度に達したか否かが判定され、所望の精度に達するまで、ステップＳ４乃至Ｓ８の処理が繰り返される。そして、ステップＳ８において、シーン判定部３２による識別が所望の精度に達した場合、当該学習処理は終了される。
【００４４】
次に、以上説明した学習処理によって学習されたシーン別HMM識別部２２−１乃至２２−Ｎとシーン判別部３２を含むビデオデータ識別装置１０による、ビデオデータのシーン識別処理について、図４のフローチャートを参照して説明する。
【００４５】
ステップＳ１１において、時系列識別部１１の時系列特徴量抽出部２１は、処理対象のビデオデータを所定の期間に区切り、各期間の時系列特徴量を抽出する。ステップＳ１２において、時系列特徴量抽出部２１は、抽出した時系列特徴量をシーン別HMM識別部２２−１乃至２２−Ｎに供給する。シーン別HMM識別部２２−１乃至２２−Ｎは、供給された時系列特徴量が、対応するシーン（ピッチングシーン、ホームランシーン、内野ゴロシーン、四球シーン、三振シーンなど）のものであることの尤度値を算出する。算出された尤度値は、パターン識別部１２の入力パターン生成部３１に供給される。
【００４６】
ステップＳ１３において、入力パターン生成部３１は、時系列識別部１１のシーン別HMM識別部２２−１乃至２２−Ｎから入力されるＮ個の尤度値を基にしてＮ次元の入力パターンを生成し、シーン判定部３２に出力する。
【００４７】
ステップＳ１４において、シーン判定部３２は、入力パターン生成部３１から入力されたＮ次元の入力パターンのＮ種類のシーン毎の尤度値を算出し、その最大値に対応するシーンを映像内容の識別結果として出力する。
【００４８】
以上で、ビデオデータ識別装置１０によるシーン識別処理の説明を終了する。以上説明したように、ビデオデータ識別装置１０によれば、ビデオデータのシーンを、HMMを用いて識別するのではなく、複数のHMMから出力されるＮ個の尤度値のパターンを用いたパターン判定によって識別するので、HMMだけを用いて識別する場合に比較して誤識別を減少させて、識別精度の向上が期待できる。
【００４９】
次に、図５は、本発明の第２の実施の形態であるビデオデータ識別装置の構成例を示している。このビデオデータ識別装置７０は、図１のビデオデータ識別装置１０と同様の時系列識別部１１、処理対象のビデオデータから非時系列特徴量を抽出する非時系列特徴量抽出部７１−１乃至７１−Ｍ、およびパターン識別部７２から構成される。
【００５０】
非時系列特徴量抽出部７１−１乃至７１−Ｍは、処理対象のビデオデータを所定の期間（例えば、数秒単位、数フレーム単位など）に区切り、各期間の非時系列特徴量として、代表的な画像パターン、代表色、画面上の代表的な物体の有無情報などを抽出してパターン識別部７２に出力する。
【００５１】
パターン識別部７２は、例えば、ＮＮを用いてパターン識別を実行するものであり、入力パターン生成部８１、およびシーン判定部８２から構成される。
【００５２】
入力パターン生成部８１は、時系列識別部１１のシーン別HMM識別部２２−１乃至２２−Ｎから入力されるＮ個の尤度値と、非時系列特徴量抽出部７１−１乃至７１−Ｍから入力されるＭ個の非時系列特徴量とを基にして（Ｎ＋Ｍ）次元の入力パターンを生成し、シーン判定部８２に出力する。予め学習されているシーン判定部８２は、入力パターン生成部８１から入力される（Ｎ＋Ｍ）次元の入力パターンのＮ種類のシーン毎の尤度値を算出し、その最大値に対応するシーンを映像内容の識別結果として出力する。なお、シーン判定部８２の学習は、学習用ビデオデータ（時系列のシーンが人によって識別されているもの）を用い、例えばバックプロパゲーションアルゴリズムによって行うことができる。
【００５３】
次に、ビデオデータ識別装置７０がビデオデータのシーンを精度よく識別できるようになるための事前の学習処理について、図６のフローチャートを参照して説明する。
【００５４】
初めに、上述した図６のステップＳ１乃至３の処理と同様のステップＳ３１乃至３３の処理により、時系列識別部１１のシーン別HMM識別部２２−１乃至２２−Ｎが学習される。
【００５５】
次にステップＳ３４乃至３９の処理により、パターン識別部７２のシーン判定部８２が学習される。
【００５６】
具体的には、ステップＳ３４において、学習用ビデオデータから時系列特徴量が抽出されて、上述したステップＳ３１乃至Ｓ３３の処理で学習されたシーン別HMM認識部２２−１乃至２２−Ｎに供給される。
【００５７】
ステップＳ３５において、シーン別HMM認識部２２−１乃至２２−Ｎは、供給された時系列特徴量がそれぞれ想定されたシーンに対応するものであることの尤度値を算出して、パターン識別部７２の入力パターン生成部８１に出力する。
【００５８】
ステップＳ３６において、非時系列特徴量抽出部７１−１乃至７１−Ｍは、学習用ビデオデータを所定の期間に区切り、各期間の非時系列特徴量を抽出してパターン識別部７２の入力パターン生成部８１に出力する。
【００５９】
ステップＳ３７において、入力パターン生成部８１は、シーン別HMM識別部２２−１乃至２２−Ｎから入力されたＮ個の尤度値と、非時系列特徴量抽出部７１−１乃至７１−Ｍから入力されたＭ個の非時系列特徴量を基にして（Ｎ＋Ｍ）次元の入力パターンを生成してシーン判定部８２に出力する。
【００６０】
ステップＳ３８において、シーン判定部８２は、入力パターン生成部８１から入力された（Ｎ＋Ｍ）次元の入力パターンと、学習用ビデオデータを見たオペレータによるシーン識別の結果とに基づいてＮＮを学習する。
【００６１】
ステップＳ３９において、シーン判定部８２による識別が所望の精度に達したか否かが判定され、所望の精度に達するまで、ステップＳ３４乃至Ｓ３９の処理が繰り返される。そして、ステップＳ３９において、シーン判定部８２による識別が所望の精度に達した場合、当該学習処理は終了される。
【００６２】
次に、以上説明した学習処理によって学習されたシーン別HMM識別部２２−１乃至２２−Ｎとシーン判別部８２を含むビデオデータ識別装置７０による、ビデオデータのシーン識別処理について、図７のフローチャートを参照して説明する。
【００６３】
ステップＳ５１において、時系列識別部１１の時系列特徴量抽出部２１は、処理対象のビデオデータを所定の期間に区切り、各期間の時系列特徴量を抽出する。ステップＳ５２において、時系列特徴量抽出部２１は、抽出した時系列特徴量をシーン別HMM識別部２２−１乃至２２−Ｎに供給する。シーン別HMM識別部２２−１乃至２２−Ｎは、供給された時系列特徴量が、対応するシーン（ピッチングシーン、ホームランシーン、内野ゴロシーン、四球シーン、三振シーンなど）のものであることの尤度値を算出する。算出された尤度値は、パターン識別部７２の入力パターン生成部８１に供給される。
【００６４】
ステップＳ５３において、非時系列特徴量抽出部７１−１乃至７１−Ｍは、処理対象のビデオデータを所定の期間に区切り、各期間の非時系列特徴量を抽出してパターン識別部７２の入力パターン生成部８１に出力する。
【００６５】
ステップＳ５４において、入力パターン生成部８１は、シーン別HMM識別部２２−１乃至２２−Ｎから入力されたＮ個の尤度値と、非時系列特徴量抽出部７１−１乃至７１−Ｍから入力されたＭ個の非時系列特徴量を基にして（Ｎ＋Ｍ）次元の入力パターンを生成してシーン判定部８２に出力する。
【００６６】
ステップＳ５５において、シーン判定部８２は、入力パターン生成部８１から入力された（Ｎ＋Ｍ）次元の入力パターンのＮ種類のシーン毎の尤度値を算出し、その最大値に対応するシーンを映像内容の識別結果として出力する。
【００６７】
以上で、ビデオデータ識別装置７０によるシーン識別処理の説明を終了する。以上説明したように、ビデオデータ識別装置１０によれば、ビデオデータのシーンを、HMMを用いて識別するのではなく、複数のHMMから出力されるＮ個の尤度値とＭ個の非時系列特徴量とのパターンを用いたパターン判定によって識別するので、HMMだけを用いて識別する場合に比較して誤識別を減少させて、識別精度の向上が期待できる。また、非時系列特徴量を用いたシーン識別が可能となる。
【００６８】
なお、本実施の形態においては、時系列識別部１１にHMMを用いたが、HMM以外の確率モデルを用いるようにしてもよい。また、パターン識別部１２および７２にはＮＮを用いたが、ＮＮ以外のパターン識別アルゴリズムを用いるようにしてもよい。
【００６９】
また、本発明は、ビデオデータのシーン識別のみならず、任意の種類の時系列データを分類する場合に適用することができる。
【００７０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
【００７１】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００７２】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７３】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００７４】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００７６】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００７７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００７８】
【図１】本発明を適用したビデオデータ識別装置の第１の構成例を示すブロック図である。
【図２】図１のシーン別HMM識別部を学習させる時系列学習装置の構成例を示すブロック図である。
【図３】図１のビデオデータ識別装置に対応する学習処理を説明するフローチャートである。
【図４】図１のビデオデータ識別装置によるシーン識別処理を説明するフローチャートである。
【図５】本発明を適用したビデオデータ識別装置の第２の構成例を示すブロック図である。
【図６】図５のビデオデータ識別装置に対応する学習処理を説明するフローチャートである。
【図７】図５のビデオデータ識別装置によるシーン識別処理を説明するフローチャートである。
【図８】汎用のコンピュータの構成例を示すブロックである。
【符号の説明】
【００７９】
１０  ビデオデータ識別装置，  １１  時系列識別部，  １２  パターン識別部，  ２１  時系列特徴量抽出部，  ２２  シーン別HMM識別部，  ３１  入力パターン生成部，  ３２  シーン判定部，  ４０  時系列学習装置，  ４１  時系列特徴量抽出部，  ４２  操作部，  ４３  セレクタ，  ４４  シーン別HMM学習部，  ７０  ビデオデータ識別装置，７１  時系列識別部，  ７２  パターン識別部，  ８１  入力パターン生成部，  ８２  シーン判定部，  １００  コンピュータ，  １０１  CPU，  １１１  リムーバブルメディア
【図１】
2009122829.tif 000003
【図２】
2009122829.tif 000004
【図３】
2009122829.tif 000005
【図４】
2009122829.tif 000006
【図５】
2009122829.tif 000007
【図６】
2009122829.tif 000008
【図７】
2009122829.tif 000009
【図８】
2009122829.tif 000010