(57)【要約】【課題】各スポーツに対して汎用的に利用可能で、客観的な判別基準によりイベントを判別することができるイベント判別装置及びイベント判別プログラムを提供する。【解決手段】イベント判別装置１は、スポーツ用の映像データにおける特定のシーンであるイベントを判別するもので、シルエット画像を抽出するシルエット画像抽出手段３と、シルエット特徴ベクトルを抽出するシルエット特徴量抽出手段５と、フォーメーション特徴ベクトルを生成するフォーメーション定量化手段７と、判別用特徴ベクトルを出力する変換手段９と、イベントを判別するイベント判別手段１１と、を備える構成とした。【選択図】図１
2008198038.tif 000002
【特許請求の範囲】
【請求項１】
スポーツ用の映像データにおける特定のシーンであるイベントを判別するイベント判別装置であって、
前記映像データを構成する画像に含まれる画素の所定の画素値を基準として、背景領域と非背景領域とを区別して、当該非背景領域を、人物のシルエット領域としたシルエット画像を抽出するシルエット画像抽出手段と、
このシルエット画像抽出手段で抽出されたシルエット画像に含まれるシルエット領域について座標情報を少なくとも含む当該シルエット領域の特徴量を示すベクトルであるシルエット特徴ベクトルを抽出するシルエット特徴量抽出手段と、
このシルエット特徴量抽出手段で抽出されたシルエット特徴ベクトルの座標情報を用いて、前記人物の位置関係を定量化したベクトルである位置関係特徴ベクトルを生成する位置関係特徴ベクトル生成手段と、
この位置関係特徴ベクトル生成手段で生成された位置関係特徴ベクトルに、前記特徴量を重み付ける予め設定した行列を乗じたベクトルである判別用特徴ベクトルを出力する変換手段と、
この変換手段で出力された判別用特徴ベクトルを用い、この判別用特徴ベクトルが得られたときのイベントの生起確率について、予め前記イベントの種別ごとにモデル化した確率モデルを参照することで、前記イベントを判別するイベント判別手段と、
を備えることを特徴とするイベント判別装置。
【請求項２】
前記シルエット特徴量抽出手段は、前記座標情報として、前記スポーツが行われているグラウンドの空間と座標値とが予め対応付けられている座標空間上の座標値を、前記シルエット特徴ベクトルに含めることを特徴とする請求項１に記載のイベント判別装置。
【請求項３】
前記シルエット特徴量抽出手段は、
前記スポーツが行われているグラウンドの空間と座標値とが予め対応付けられている座標空間上の座標値と、
前記シルエット画像に含まれるシルエット領域ごとに、色ベクトル統計量を評価し、前記シルエット領域に含まれる人物が属している所属チームを判別した所属チーム情報と、
を前記シルエット特徴ベクトルに含めて出力することを特徴とする請求項１に記載のイベント判別装置。
【請求項４】
前記シルエット特徴量抽出手段は、前記シルエット画像に含まれるシルエット領域の経過時間による移動を検出し、当該シルエット領域の移動量を速度ベクトルとして、前記シルエット特徴ベクトルに含めて出力することを特徴とする請求項１に記載のイベント判別装置。
【請求項５】
前記位置関係特徴ベクトル生成手段は、前記シルエット特徴ベクトルに含まれる座標値に基づいて、前記グラウンドの空間を分割した局所領域それぞれに存在する人物を計数し、この計数した結果を前記位置関係特徴ベクトルに含めて出力することを特徴とする請求項２に記載のイベント判別装置。
【請求項６】
前記位置関係特徴ベクトル生成手段は、前記シルエット特徴ベクトルに含まれる座標値と所属チーム情報とに基づいて、前記グラウンドの空間を分割した局所領域それぞれに存在する人物の数を所属チームごとに計数し、この計数した結果を前記位置関係特徴ベクトルに含めて出力することを特徴とする請求項３に記載のイベント判別装置。
【請求項７】
前記位置関係特徴ベクトル生成手段は、前記シルエット特徴ベクトルに含まれる速度ベクトルの集合平均値を求め、この求めた結果を前記位置関係特徴ベクトルに含めて出力することを特徴とする請求項４に記載のイベント判別装置。
【請求項８】
前記変換手段は、主成分分析による主成分群からなる重み行列を前記位置関係特徴ベクトルにかけることで、前記判別用特徴ベクトルを出力することを特徴とする請求項１乃至請求項７のいずれか一項に記載のイベント判別装置。
【請求項９】
前記変換手段は、フィッシャー判別基準に基づく重み行列を前記位置関係特徴ベクトルにかけることで、前記判別用特徴ベクトルを出力することを特徴とする請求項１乃至請求項７のいずれか一項に記載のイベント判別装置。
【請求項１０】
前記イベント判別手段は、前記イベント種別ごとに前記判別用特徴ベクトルの生起確率をモデル化した確率モデルを参照し、最も確率値の高いイベント種別を出力することを特徴とする請求項１乃至請求項９のいずれか一項に記載のイベント判別装置。
【請求項１１】
前記確率モデルとしてガウス混合モデルを用いることを特徴とする請求項１０に記載のイベント判別装置。
【請求項１２】
スポーツ用の映像データにおける特定のシーンであるイベントを判別するために、コンピュータを、
前記映像データを構成する画像に含まれる画素の所定の画素値を基準として、背景領域と非背景領域とを区別して、当該非背景領域を、人物のシルエット領域としたシルエット画像を抽出するシルエット画像抽出手段、
このシルエット画像抽出手段で抽出されたシルエット画像に含まれるシルエット領域について座標情報を少なくとも含む当該シルエット領域の特徴量を示すベクトルであるシルエット特徴ベクトルを抽出するシルエット特徴量抽出手段、
このシルエット特徴量抽出手段で抽出されたシルエット特徴ベクトルの座標情報を用いて、前記人物の位置関係を定量化したベクトルである位置関係特徴ベクトルを生成する位置関係特徴ベクトル生成手段、
このフォーメーション定量化手段で生成されたフォーメーション特徴ベクトルに、前記特徴量を重み付ける予め設定した行列を乗じたベクトルである判別用特徴ベクトルを出力する変換手段、
この変換手段で出力された判別用特徴ベクトルを用い、この判別用特徴ベクトルが得られたときのイベントの生起確率について、予め前記イベントの種別ごとにモデル化した確率モデルを参照することで、前記イベントを判別するイベント判別手段、
として機能させることを特徴とするイベント判別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データにおけるイベントを判別するイベント判別装置及びイベント判別プログラムに関する。
【背景技術】
【０００２】
従来、スポーツを撮影した映像データであるスポーツ映像から、特定のシーンであるイベントを検出するイベント検出手法として、カメラのパン、ズーム操作などの構図やカメラワークをスポーツ映像から検出し、画角や撮影方向及びカメラワークの遷移に基づいて、イベントを間接的に検出する手法がある（例えば、非特許文献１）。
【０００３】
また、従来のイベント検出手法には、構図に加え、色、カット点などに基づいて、スポーツ映像の重要性を判別したり、スポーツ映像の分野（ニュース、スポーツ中継などの別）を判別したりするものがある（例えば、特許文献１、特許文献２）。
【０００４】
さらに、従来のイベント検出手法には、スポーツ映像における選手に関する特徴量からイベントの種別及びタイミングを検出する手法があり、選手位置および選手速度の瞬時の状況（フォーメーション）を解析する手法がある（例えば、特許文献２）。
また、従来のイベント検出手法には、イベント推測手段をモジュール化し、モジュールの使い分けによりさまざまな分野のイベント検出に対応した手法もある（例えば、特許文献３）。
【特許文献１】特開平９−６５２８７号公報
【特許文献２】特開２００６−２５１８８５号公報
【特許文献３】特開２００６−２８５８７８号公報
【特許文献４】特開２０００−１２３１８４号公報
【非特許文献１】「スポーツ中継映像データベースのカメラワーク情報による特徴解析手法」  日本データベース学会  Letters Vol.1, No.2, pp.32-35.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のイベント検出手法（非特許文献１、特許文献１及び特許文献２）は、カメラワークに基づいて間接的にシーンを判別するものであるため、スポーツ映像を撮影したカメラマンの技量差や演出上の意図によっては、意に反したイベント検出結果が出力される可能性がある。
【０００６】
ちなみに、特許文献１に開示されている従来のイベント検出手法は、映像スイッチングや画像内の色を参照することもできるが、元々画像内の被写体単位の動きを解析するものではないため、スポーツ映像の詳細なイベントの判別には適していない。
【０００７】
一方、特許文献３に開示されている従来のイベント検出手法は、被写体の配置や動きからシーンを判別するため、カメラマンの技量差は影響せずに、被写体の配置や動きというスポーツ映像におけるイベントに直接的に関連する情報を解析することができ、スポーツ映像のイベントを判別することができる。しかし、この特許文献３に開示されている従来のイベント検出手法を、各種スポーツに適用するためには、スポーツごとにルールベースを主観的に整備する必要があり、主観的にルールベースを構築した結果、イベントを検出できる精度がルールベースを構築した人のスポーツに関する知識量に専ら依存してしまうという問題がある。
【０００８】
さらに、特許文献４に開示されている従来のイベント検出手法では、ルールベースとなるイベント推測手段について、モジュール化することで汎用化を図っているが、ルールベースの構築法は主観的であるので、やはり、イベントを検出できる精度がルールベースを構築した人のスポーツに関する知識量に専ら依存してしまうという問題がある。
【０００９】
そこで、本発明では、前記した問題を解決し、各スポーツに対して汎用的に利用可能で、客観的な判別基準によりイベントを判別することができるイベント判別装置及びイベント判別プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、請求項１に記載のイベント判別装置は、スポーツ用の映像データにおける特定のシーンであるイベントを判別するイベント判別装置であって、シルエット画像抽出手段と、シルエット特徴量抽出手段と、位置関係特徴ベクトル生成手段と、変換手段と、イベント判別手段と、を備える構成とした。
【００１１】
かかる構成によれば、イベント判別装置は、シルエット画像抽出手段によって、映像データを構成する画像に含まれる画素の所定の画素値を基準として、背景領域と非背景領域とを区別して、当該非背景領域を、人物のシルエット領域としたシルエット画像を抽出する。続いて、イベント判別装置は、シルエット特徴量抽出手段によって、シルエット画像抽出手段で抽出されたシルエット画像に含まれるシルエット領域について座標情報を少なくとも含む当該シルエット領域の特徴量を示すベクトルであるシルエット特徴ベクトルを抽出する。そして、イベント判別装置は、位置関係特徴ベクトル生成手段によって、シルエット特徴量抽出手段で抽出されたシルエット特徴ベクトルの座標情報を用いて、人物の位置関係を定量化したベクトルである位置関係特徴ベクトルを生成する。
【００１２】
また、イベント判別装置は、変換手段によって、位置関係特徴ベクトル生成手段で生成された位置関係特徴ベクトルに、特徴量を重み付ける予め設定した行列を乗じたベクトルである判別用特徴ベクトルを出力する。そして、イベント判別装置は、イベント判別手段によって、変換手段で出力された判別用特徴ベクトルを用い、この判別用特徴ベクトルが得られたときのイベントの生起確率について、予めイベントの種別ごとにモデル化した確率モデルを参照することで、イベントを判別する。
【００１３】
なお、確率モデルを参照することで、イベントを判別するとは、イベントの生起確率が当該確率モデルで設定した閾値を超えた場合であるとしてもよいし、イベントの生起確率から得られた確率密度関数が、当該確率モデルで予め設定した密度分布と近似した場合であるとしてもよいし、イベントごとの生起確率を、その大きさ順にならべ、当該生起確率の大きいから所定の個数のイベントを抽出する過程によるとしてもよい。
【００１４】
請求項２に記載のイベント判別装置は、請求項１に記載のイベント判別装置において、前記シルエット特徴量抽出手段が、前記座標情報として、前記スポーツが行われているグラウンドの空間と座標値とが予め対応付けられている座標空間上の座標値を、前記シルエット特徴ベクトルに含めることを特徴とする。
【００１５】
かかる構成によれば、イベント判別装置は、シルエット特徴量抽出手段によって、座標空間上の座標値をシルエット特徴ベクトルに含めて出力することで、被写体がグラウンドの空間のどこに存在するのかを判明させる。
【００１６】
請求項３に記載のイベント判別装置は、請求項１に記載のイベント判別装置において、前記シルエット特徴量抽出手段が、前記スポーツが行われているグラウンドの空間と座標値とが予め対応付けられている座標空間上の座標値と、前記シルエット画像に含まれるシルエット領域ごとに、色ベクトル統計量を評価し、前記シルエット領域に含まれる被写体が属している所属チームを判別した所属チーム情報と、を前記シルエット特徴ベクトルに含めて出力することを特徴とする。
【００１７】
かかる構成によれば、イベント判別装置は、シルエット特徴量抽出手段によって、座標空間上の座標値と所属チーム情報とをシルエット特徴ベクトルに含めて出力することで、所属チームごとに被写体がグラウンドの空間のどこに存在するのかを判明させる。
【００１８】
請求項４に記載のイベント判別装置は、請求項１に記載のイベント判別装置において、前記シルエット特徴量抽出手段が、前記シルエット画像に含まれるシルエット領域の経過時間による移動を検出し、当該シルエット領域の移動量を速度ベクトルとして、前記シルエット特徴ベクトルに含めて出力することを特徴とする。
【００１９】
かかる構成によれば、イベント判別装置は、シルエット特徴量抽出手段によって、速度ベクトルを、シルエット特徴ベクトルに含めて出力することで、被写体が移動する速度を判明させる。
【００２０】
請求項５に記載のイベント判別装置は、請求項２に記載のイベント判別装置において、前記位置関係特徴ベクトル生成手段が、前記シルエット特徴ベクトルに含まれる座標値に基づいて、前記グラウンドの空間を分割した局所領域それぞれに存在する被写体を計数し、この計数した結果を前記位置関係特徴ベクトルに含めて出力することを特徴とする。
【００２１】
かかる構成によれば、イベント判別装置は、位置関係特徴ベクトル生成手段によって、被写体を計数した結果を、位置関係特徴ベクトルに含めて出力することで、局所領域に存在する被写体の数を判明させる。
【００２２】
請求項６に記載のイベント判別装置は、請求項３に記載のイベント判別装置において、前記位置関係特徴ベクトル生成手段は、前記シルエット特徴ベクトルに含まれる座標値と所属チーム情報とに基づいて、前記グラウンドの空間を分割した局所領域それぞれに存在する被写体の数を所属チームごとに計数し、この計数した結果を前記位置関係特徴ベクトルに含めて出力することを特徴とする。
【００２３】
かかる構成によれば、イベント判別装置は、位置関係特徴ベクトル生成手段によって、所属チームごとの被写体を計数した結果を、位置関係特徴ベクトルに含めて出力することで、局所領域に存在する所属チームごとの被写体の数を判明させる。
【００２４】
請求項７に記載のイベント判別装置は、請求項４に記載のイベント判別装置において、前記位置関係特徴ベクトル生成手段が、前記シルエット特徴ベクトルに含まれる速度ベクトルの集合平均値を求め、この求めた結果を前記位置関係特徴ベクトルに含めて出力することを特徴とする。
【００２５】
かかる構成によれば、イベント判別装置は、位置関係特徴ベクトル生成手段によって、速度ベクトルの集合平均値を、位置関係特徴ベクトルに含めて出力することで、被写体の集合がどのぐらいの速度（平均速度）で移動しているのかを判明させる。
【００２６】
請求項８に記載のイベント判別装置は、請求項１乃至請求項７のいずれか一項に記載のイベント判別装置において、前記変換手段が、主成分分析による主成分群からなる重み行列を前記位置関係特徴ベクトルにかけることで、前記判別用特徴ベクトルを出力することを特徴とする。
【００２７】
かかる構成によれば、イベント判別装置は、変換手段によって、主成分分析による主成分群からなる重み行列を用いることで、位置関係特徴ベクトルを判別用特徴ベクトルに変換する。つまり、この変換手段は、人物の位置関係の特徴を示すベクトルを、どの様なイベントに該当するのかを示すベクトルに置き換えている。
【００２８】
請求項９に記載のイベント判別装置は、請求項１乃至請求項７のいずれか一項に記載のイベント判別装置において、前記変換手段は、フィッシャー判別基準に基づく重み行列を前記位置関係特徴ベクトルにかけることで、前記判別用特徴ベクトルを出力することを特徴とする。
【００２９】
かかる構成によれば、イベント判別装置は、変換手段によって、フィッシャー判別基準に基づく重み行列を用いることで、位置関係特徴ベクトルを判別用特徴ベクトルに変換する。
【００３０】
請求項１０に記載のイベント判別装置は、請求項１乃至請求項９のいずれか一項に記載のイベント判別装置において、前記イベント判別手段は、前記イベント種別ごとに前記判別用特徴ベクトルの生起確率をモデル化した確率モデルを参照し、最も確率値の高いイベント種別を出力することを特徴とする。
【００３１】
かかる構成によれば、イベント判別装置は、イベント判別手段によって、確率モデルを参照することで、客観的にイベント種別を判別している。
【００３２】
請求項１１に記載のイベント判別装置は、請求項１０に記載のイベント判別装置において、前記確率モデルとしてガウス混合モデルを用いることを特徴とする。
かかる構成によれば、イベント判別装置は、イベント判別手段によって、ガウス混合モデルを参照することで、客観的にイベント種別を判別している。
【００３３】
請求項１２に記載のイベント判別プログラムは、スポーツ用の映像データにおける特定のシーンであるイベントを判別するために、コンピュータを、シルエット画像抽出手段、シルエット特徴量抽出手段、位置関係特徴ベクトル生成手段、判別用特徴ベクトルを出力する変換手段、イベント判別手段、として機能させる構成とした。
【００３４】
かかる構成によれば、イベント判別プログラムは、シルエット画像抽出手段によって、映像データを構成する画像に含まれる画素の所定の画素値を基準として、背景領域と非背景領域とを区別して、当該非背景領域を、人物のシルエット領域としたシルエット画像を抽出し、シルエット特徴量抽出手段によって、シルエット画像抽出手段で抽出されたシルエット画像に含まれるシルエット領域について座標情報を少なくとも含む当該シルエット領域の特徴量を示すベクトルであるシルエット特徴ベクトルを抽出する。そして、イベント判別プログラムは、位置関係特徴ベクトル生成手段によって、シルエット特徴量抽出手段で抽出されたシルエット特徴ベクトルの座標情報を用いて、人物の位置関係を定量化したベクトルである位置関係特徴ベクトルを生成し、変換手段によって、位置関係特徴ベクトル生成手段で生成された位置関係特徴ベクトルに、特徴量を重み付ける予め設定した行列を乗じたベクトルである判別用特徴ベクトルを出力する。そして、イベント判別プログラムは、イベント判別手段によって、変換手段で出力された判別用特徴ベクトルを用い、この判別用特徴ベクトルが得られたときのイベントの生起確率について、予めイベントの種別ごとにモデル化した確率モデルを参照することで、イベントを判別する。
【発明の効果】
【００３５】
請求項１、１２に記載の発明によれば、スポーツ用の画像から、シルエット画像を抽出した後、シルエット特徴ベクトル、位置関係特徴ベクトル、判別用特徴ベクトルを求めることで、各スポーツに対して汎用的に利用可能で、客観的な判別基準によりイベントを判別することができる。
【００３６】
請求項２に記載の発明によれば、シルエット特徴ベクトルに、座標空間上の座標値を含めることで、シルエット領域の位置が正確に判明することになり、イベントの判別に、客観的な判別基準を採用することができる。
【００３７】
請求項３に記載の発明によれば、シルエット特徴ベクトルに、座標空間上の座標値と所属チーム情報とを含めることで、シルエット領域の位置と所属するチームとが正確に判明することになり、イベントの判別に、客観的な判別基準を採用することができる。
【００３８】
請求項４に記載の発明によれば、シルエット特徴ベクトルに、速度ベクトルを含めることで、シルエット領域の移動量が正確に判明することになり、イベントの判別に、客観的な判別基準を採用することができる。
【００３９】
請求項５に記載の発明によれば、位置関係特徴ベクトルに、局所領域における被写体の計数を含めることで、被写体の数が正確に判明することになり、イベントの判別に、客観的な判別基準を採用することができる。
【００４０】
請求項６に記載の発明によれば、位置関係特徴ベクトルに、局所領域における所属チームごとの被写体の計数を含めることで、所属チームごとの被写体の数が正確に判明することになり、イベントの判別に、客観的な判別基準を採用することができる。
【００４１】
請求項７に記載の発明によれば、位置関係特徴ベクトルに、速度ベクトルの集合平均値を含めることで、被写体の集合がどのぐらいの速度（平均速度）で移動しているのかが正確に判明することになり、イベントの判別に、客観的な判別基準を採用することができる。
【００４２】
請求項８に記載の発明によれば、位置関係特徴ベクトルを、主成分分析による主成分群からなる重み行列を用いて判別用特徴ベクトルに変換することで、イベントの判別に、客観的な判別基準を採用することができる。
【００４３】
請求項９に記載の発明によれば、位置関係特徴ベクトルを、フィッシャー判別基準に基づく重み行列を用いて判別用特徴ベクトルに変換することで、イベントの判別に、客観的な判別基準を採用することができる。
【００４４】
請求項１０に記載の発明によれば、イベントの判別に、確率モデルを用いることで、客観的にイベント種別を判別することができる。
【００４５】
請求項１１に記載の発明によれば、イベントの判別に、ガウス混合モデルを用いることで、客観的にイベント種別を判別することができる。
【発明を実施するための最良の形態】
【００４６】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（イベント判別装置の構成）
図１はイベント判別装置のブロック図である。この図１に示すように、イベント判別装置１は、入力された映像データ（１ショットごとの画像（入力画像Ｉ））について、イベント種別を判別するもので、シルエット抽出手段３と、シルエット特徴量抽出手段５と、フォーメーション定量化手段（位置関係特徴ベクトル生成手段）７と、変換手段９と、イベント判別手段１１とを備えている。
【００４７】
シルエット抽出手段３は、映像データを構成する１ショットごとの画像（入力画像Ｉ）に含まれる画素の画素値について、所定の画素値を基準として、背景領域と非背景領域とを区別することで、非背景領域である被写体（ここでは、人物、選手）のシルエットを示すシルエット画像を抽出するものである。ここで、図６を参照して、入力画像Ｉからシルエット画像Ｂを抽出する場合について説明する。
【００４８】
ここでは、シルエット抽出手段３は、入力画像Ｉからシルエット画像Ｂを抽出するのに、背景差分法を用いており、この背景差分法を用いるのに当たり、背景差分演算手段３ａを備えている。図６に例示すように、入力画像Ｉの非背景領域と背景領域を分類して、２値画像であるシルエット画像Ｂを出力する。
【００４９】
この場合、シルエット抽出手段３には、図示を省略した記憶手段が備えられ、この記憶手段に被写体の写っていない背景画像Ｊが記憶されている。そして、シルエット抽出手段３は、背景差分演算手段３ａによって、入力画像Ｉと背景画像Ｊとの画素ごとの差分値を評価することで、シルエット画像Ｂを生成している。
【００５０】
背景差分演算手段３ａにおける演算過程を具体的に説明する。まず、画素位置（Ｘ，Ｙ）における入力画像Ｉ、背景画像Ｊ及びシルエット画像Ｂの画素値を、それぞれＩ（Ｘ，Ｙ）、Ｊ（Ｘ，Ｙ）及びＢ（Ｘ，Ｙ）とする。また、画素値Ｉ（Ｘ，Ｙ）及びＪ（Ｘ，Ｙ）は、モノクロ画像の場合には１次元の輝度値とし、また、カラー画像や多バンド画像の場合には２次元以上のベクトル値（例えば、赤色、緑色及び青色からなる３次元の色ベクトル値）とする。さらに、一方、画素値Ｂ（Ｘ，Ｙ）は０又は１のいずれかの値をとるものとし、背景画素に対しては値０を、非背景画素に対しては値１を設定するものとする。
【００５１】
そうすると、例えば、背景差分演算手段３ａは、０以上の閾値ｂにより、次に示す数式（１）を用いた演算を行って、シルエット画像Ｂを得ることができる。
【００５２】
【数１】
2008198038.tif 000003
【００５３】
また、例えば、シルエット抽出手段３は、背景差分法以外に、クロマキー法によってシルエット画像Ｂを抽出するものとしてもよい。この場合、市販の汎用的なクロマキー装置を用いてハードクロマキーを適用することができる。図１に戻る。
【００５４】
シルエット特徴量抽出手段５は、シルエット抽出手段３によって抽出されたシルエット画像Ｂに含まれる各シルエット領域（単連結領域）Ｓｐを抽出し、このシルエット領域（単連結領域）Ｓｐに対して、少なくとも座標情報を含む特徴ベクトル（シルエット特徴ベクトル）ｇｐを抽出するものである。
【００５５】
なお、シルエット領域Ｓｐに付した下付き文字ｐは、シルエット画像Ｂに含まれる単連結領域を互いに区別するための番号を表すものである。また、座標情報は、スポーツが行われているグラウンドの空間と座標値とが予め対応付けられている座標空間上の座標値（実座標）で表されるものである。
【００５６】
また、シルエット特徴ベクトルｇｐには、座標情報である実座標の他に、実座標の時間微分又は時間差分としての速度、当該シルエット領域Ｓｐに含まれる人物の推定人数、当該シルエット領域Ｓｐに含まれる人物の所属するチームを分類したチーム識別子（所属チーム情報）のいずれか０個以上を含めるものとしてもよい。
【００５７】
ここで、図２、３を参照して、シルエット特徴量抽出手段５の詳細な構成を説明する。
図２に示すように、シルエット特徴量抽出手段５は、シルエット画像Ｂと入力画像Ｉとを入力として、シルエット特徴ベクトル｛ｇｐ｝を出力するもので、ラベリング手段１３と、重心演算手段１５と、逆投影手段１７と、速度推定手段１９と、人数推定手段２１と、色判別手段２３とによって構成されている。
【００５８】
ラベリング手段１３は、シルエット画像Ｂに含まれる単連結領域それぞれに対してラベル付けを行うことで、各単連結領域を互いに区別するものである。ここで、ラベリング手段１３によるラベル付けを、図７に例示する。この図７に示すように、シルエット画像Ｂに含まれる単連結領域（図７のシルエット画像Ｂにおいて白で表した領域）それぞれに対してラベル付けを行うことで、各単連結領域を互いに区別しており、ラベリング手段１３により得られた単連結領域をＳｐと記し、ｐ＝１，２，……，Ｐ（Ｐはシルエット画像Ｂに含まれる単連結領域の総数）とする。図２に戻る。
【００５９】
重心演算手段１５は、ラベリング手段１３によって、ラベル付けした単連結領域Ｓｐの重心（ξｐ，ηｐ）を演算によって求めるものである。この重心演算手段１５は、次に示す数式（２）を用いた演算を行って、単連結領域Ｓｐの重心（ξｐ，ηｐ）を求めている。
【００６０】
【数２】
2008198038.tif 000004
【００６１】
ここでいう重心とは、画像平面上に存在する単連結領域Ｓｐを代表する１点であり、平面図形の重心を指している。この重心の他に、例えば、単連結領域Ｓｐに外接する円、楕円、多角形等の中心など、重心の替わりに用いことも可能である。
【００６２】
逆投影手段１７は、重心演算手段１５で求められた重心座標（ξｐ，ηｐ）が実空間においてどの位置（実座標）に対応するかを求めるものである。逆投影手段１７では、映像データを撮影したカメラの第一光学主点を始点とし、この第一光学主点と単連結領域Ｓｐの重心（ξｐ，ηｐ）とを通る半直線ｒｐを想定し、予め実空間上に仮想的においた曲面Πと半直線ｒｐとが交わる交点を求め、当該交点の座標を実座標（ｘｐ，ｙｐ，ｚｐ）としている。
【００６３】
なお、曲面Πとしては、例えば、地上高Ｈ／２の曲面（地面が平らな場合は平面）とすることができる。ここに、Ｈは人物（対象画像に現れ得るスポーツ選手）の平均的な身長とし、例えば、Ｈ＝１．８［メートル］とすることができる。
【００６４】
速度推定手段１９は、逆投影手段１７によって得られた実座標（ｘｐ，ｙｐ，ｚｐ）の履歴に基づき、実速度（ｕｐ，ｖｐ，ｗｐ）を算出するものである。この速度推定手段１９は、例えば、現在（時刻ｔ）の実座標（ｘｐ（ｔ），ｙｐ（ｔ），ｚｐ（ｔ））と、記憶された時間ΔＴ過去の実座標（ｘｐ（ｔ−ΔＴ），ｙｐ（ｔ−ΔＴ），ｚｐ（ｔ−ΔＴ））とに基づいて、次に示す数式（３）を用いた演算によって、実速度（ｕｐ，ｖｐ，ｗｐ）を算出することができる。
【００６５】
【数３】
2008198038.tif 000005
【００６６】
なお、逆投影手段１７及び速度推定手段１９を用いる代わりに、図３に示すように拡張カルマンフィルタ２５を用いて、重心（ξｐ，ηｐ）から実座標（ｘｐ，ｙｐ，ｚｐ）及び実速度（ｕｐ，ｖｐ，ｗｐ）を推定する構成（シルエット特徴量抽出手段５Ａ）としてもよい。
この場合、シルエット特徴量抽出手段５Ａの拡張カルマンフィルタ２５は、まず、次に示す数式（４）を用いて、時刻ｔにおける状態ベクトルｓｐ（ｔ）を定義する。
【００６７】
【数４】
2008198038.tif 000006
【００６８】
さらに、シルエット特徴量抽出手段５Ａの拡張カルマンフィルタ２５は、時刻ｔにおける状態ベクトルｓｐ（ｔ）から時刻ｔ＋ΔＴにおける状態ベクトルｓｐ（ｔ＋ΔＴ）への状態遷移を、次に示す数式（５）を用いてモデル化する。
【００６９】
【数５】
2008198038.tif 000007
【００７０】
この数式（５）において、φ（ｔ，ｓｐ（ｔ））は、時刻ｔにおける状態ベクトルｓｐ（ｔ）から時刻ｔ＋ΔＴにおける状態ベクトルｓｐ（ｔ＋ΔＴ）への状態遷移のノミナル値（ノミナルの状態遷移）を与えるベクトル関数であり、一方、ν（ｔ）は時刻ｔにおいて付加されるプロセス雑音である。
例えば、ノミナルの状態遷移を等速直線運動としてモデル化する場合には、次に示す数式（６）を用いる。
【００７１】
【数６】
2008198038.tif 000008
【００７２】
また、プロセス雑音には、例えば、平均０、共分散行列Σνのガウス雑音を仮定して、次に示す数式（７）を用いてモデル化する。
【００７３】
【数７】
2008198038.tif 000009
この数式（７）において、Ｅ［・］は集合平均を、また、上付きのＴはベクトル又は行列の転置をそれぞれ表している。
【００７４】
続いて、シルエット特徴量抽出手段５Ａの拡張カルマンフィルタ２５は、時刻ｔにおける単連結領域Ｓｐの重心をｏｐ（ｔ）＝［ξｐ（ｔ），ηｐ（ｔ）］Ｔとおいて、例えば、観測モデルを、次に示す数式（８）を用いて定義する。
【００７５】
【数８】
2008198038.tif 000010
【００７６】
この数式（８）において、ｈ（ｔ，ｓ）は、状態量ｓｐ（ｔ）から重心ｏｐ（ｔ）を得る理想的な（雑音なしの）場合の変換を表している。例えば、図９に示すように状態量ｓｐ（ｔ）に対応する実座標から第一光学主点へ至る半直線ｒ’ｐを想定し、当該半直線ｒ’ｐが画像平面と交わる点をもって重心ｏｐ（ｔ）とするという一連の変換操作をｈ（ｔ，ｓ）とすることができる。
【００７７】
一方、数式（８）において、μ（ｔ）は観測雑音である。例えば、観測雑音μ（ｔ）として、平均０、共分散行列Σμのガウス雑音を仮定して、次に示す数式（９）を用いてモデル化する。
【００７８】
【数９】
2008198038.tif 000011
【００７９】
以上の数式（４）乃至数式（９）のモデルに基づき、シルエット特徴量抽出手段５Ａは、拡張カルマンフィルタ２５を構成することで、重心（ξｐ，ηｐ）から実座標（ｘｐ，ｙｐ，ｚｐ）および実速度（ｕｐ，ｖｐ，ｗｐ）を推定することができる。図２に戻る。
【００８０】
人数推定手段２１は、単連結領域Ｓｐの各々について、当該領域Ｓｐに含まれる人物の数（人数）ｎｐを推定するものである。ここでは、人数推定手段２１は、単連結領域Ｓｐの面積Ａｐと実座標（ｘｐ，ｙｐ，ｚｐ）とに基づいて人数ｎｐを推定することができる。連結領域Ｓｐの面積Ａｐを、次に示す数式（１０）を用いて定義すると、次に示す数式（１１）を用いて、人数ｎｐを推定することができる。
【００８１】
【数１０】
2008198038.tif 000012
【００８２】
【数１１】
2008198038.tif 000013
この数式（１１）において、αは正の定数であり、単連結領域Ｓｐに含まれる人数ｎｐが得られるよう定めるものとする。
【００８３】
色判別手段２３は、単連結領域Ｓｐ内における入力画像Ｉの色を評価し、当該領域Ｓｐに対応する人物の所属チームを判別するものである。ここでは、色判別手段２３は、単連結領域Ｓｐ内における入力画像Ｉの色ヒストグラムγｐ（ｃ）を用いて所属チームを判別する。ここにｃは色ベクトルを表すものとすると、色ヒストグラムγｐ（ｃ）は次に示す数式（１２）のように表すことができる。
【００８４】
【数１２】
2008198038.tif 000014
【００８５】
この数式（１２）において、δｃ，Ｉはクロネッカーのデルタで、ｃ＝Ｉのときに値１を、ｃ≠Ｉのときに値０をとるものとする。
なお、サッカーやバスケットボールのように、コート左右に分かれて競技を行うスポーツにおいて、コート左側を自陣とするチームの識別子ｋｐ値を−１、コート右側を自陣とするチームの識別子ｋｐの値を＋１とする。
【００８６】
この色判別手段２３は、ユニフォームの種類ψごとに予め登録された色のテンプレートを、予め図示を省略した記憶手段に保持している。例えば、ユニフォーム種別ψのテンプレートとして、色ヒストグラムΓψ（ｃ）を用いることができる。
【００８７】
続いて、色判別手段２３は、次に示す数式（１３）を用いた演算により、観測された色ヒストグラムγｐ（ｃ）が、どのユニフォーム種別ψに似ているかを判別し、その結果をΨとする。
【００８８】
【数１３】
2008198038.tif 000015
【００８９】
この数式（１３）において、｛｝内はヒストグラム間の距離を表し、例えば、Bhattacharrya距離を用いることができる。
色判別手段２３は、得られたユニフォーム種別Ψが左チームのもの（サッカーにおいては左チームのフィールド選手または左チームのゴールキーパーのユニフォーム）であればｋｐ＝−１を出力し、ユニフォーム種別Ψが右チームのもの（サッカーにおいては右チームのフィールド選手または右チームのゴールキーパーのユニフォーム）であればｋｐ＝＋１を出力する。
【００９０】
さらに、色判別手段２３は、人数推定手段２１により得られた人数ｎｐを考慮してもよい。例えば、人数ｎｐが１人程度（例えば０．５以上１．５未満）の場合には、前記した通り、ｋｐ＝−１又はｋｐ＝＋１を出力し、人数ｎｐが１人程度以外の場合にはｋｐ＝０を出力するものとすることができる。なお、この色判別手段２３では、複数人が重なり合った単連結領域Ｓｐを敢えてチーム分類せず、例えば、当該単連結領域Ｓｐに両チームの人物が半々の割合で存在するものとして扱うことができる。図１に戻る。
【００９１】
シルエット特徴量抽出手段５は、以上により得られた実座標（ｘｐ，ｙｐ，ｚｐ）、実速度（ｕｐ，ｖｐ，ｗｐ）、推定人数ｎｐ及びチーム識別子ｋｐのいずれか１成分以上からなるベクトルをさらに単連結領域の数Ｐ個分並べたベクトルを、シルエット特徴ベクトルσとして、フォーメーション定量化手段７に出力する。
【００９２】
フォーメーション定量化手段７は、シルエット特徴量抽出手段５により得られたシルエット特徴ベクトルσに基づき、人物の位置関係を示すフォーメーションの特徴を定量化したベクトルであるフォーメーション特徴ベクトルｆを求めるものである。
【００９３】
例えば、フォーメーション特徴ベクトルｆは、グラウンド（競技場）を分割した部分領域群｛Ｄｑ｝（ｑは部分領域を互いに区別するための番号）内のそれぞれに存在する人物の数を列記したものとすることができる。
【００９４】
さらに、フォーメーション特徴ベクトルｆは、グランド（競技場）を分割した部分領域群｛Ｄｑ｝内のそれぞれに存在する特定チーム所属の選手人数を列記したものとすることができる。以下の説明では、部分領域Ｄｑ内に存在するチームκ（左チームをκ＝−１、右チームをκ＝＋１とする）所属の選手人数をＮ（ｑ，ｋ）と記載することとする。
【００９５】
部分領域Ｄｑについて、例えば、図１０に示すように、競技場（例えば、サッカーにおいてはサッカーコート、若干の場外領域を含めてもよい）をＱ個の格子状に分割し、そのｑ番目（例えば、左から右へ主走査、手前から奥へ副走査するラスタスキャンの順序とする）の部分領域をＤｑとおくことができる。このとき、部分領域Ｄｑ内に存在する人数Ｎ（ｑ，κ）は、次に示す数式（１４）を用いて計数することができる。
【００９６】
【数１４】
2008198038.tif 000016
【００９７】
ただし、この数式（１４）において、ｄ（ｋｐ，κ）は、次に示す数式（１５）のような関数として定義することができる。
【００９８】
【数１５】
2008198038.tif 000017
【００９９】
なお、フォーメーション定量化手段７は、単連結領域群｛Ｓｐ｝のうち、シルエット特徴ベクトルσ内のチームの識別子ｋｐが計数対象のチームκと一致したＳｐだけを抽出する機能を有している。また、フォーメーション定量化手段７は、このｄ（ｋ，κ）の定義により、シルエット特徴ベクトルσ内に含まれるチームの識別子ｋｐが値０（複数人数の場合など）をとった場合には、１／２の重みでカウントするものとした。
【０１００】
さらに、フォーメーション定量化手段７は、部分領域Ｄｑをファジイ集合として扱うことも可能である。この場合、フォーメーション定量化手段７は、部分領域Ｄｑの座標（ｘ，ｙ）におけるメンバシップ関数をｍｑ（ｘ，ｙ）とおいて、部分領域Ｄｑ内に存在する人数Ｎ（ｑ，κ）を、次に示す数式（１６）を用いて計数することができる。
【０１０１】
【数１６】
2008198038.tif 000018
【０１０２】
ここで、部分領域Ｄｑの設定方法における例を説明する。例えば、図１１に示す部分領域Ｄｑのように、グラウンド（競技場）を平面とすると、この平面上の座標（Ｇｘ（ｑ），Ｇｙ（ｑ））を中心とするメンバシップ関数ｍｑ（ｘ，ｙ）によって、次に示す数式（１７）を用いて、ファジイ集合を定義することができる。
【０１０３】
【数１７】
2008198038.tif 000019
【０１０４】
例えば、横Ｅｘ、奥行きＥｙの大きさの領域（競技場）を横方向Δｘ個、奥行き方向Δｙ個の格子状に配列した合計Ｑ＝Δｘ×Δｙ個のファジイ集合による部分領域Ｄｑにより覆う場合に、次に示す数式（１８）を用いて表した各パラメータを用いることができる。
【０１０５】
【数１８】
2008198038.tif 000020
【０１０６】
ただし、この数式（１８）において、ｑｍｏｄΔｘは、ｑをΔｘで割ったときの余りを表し、逆カギ括弧及び」で挟まれたｘは、ｘより大きくない最大の整数を表している。
【０１０７】
例えば、１０５メートル×６８メートルのサッカーコートを各辺１２５％に拡大した領域（Ｅｘ＝１３１．２５、Ｅｙ＝８５．００）を横方向Δｘ＝５個、奥行き方向Δｙ＝５個の合計Ｑ＝２５個のファジイ集合による部分領域Ｄｑにより覆う場合には、次に示す数式（１９）を用いて表すことができる。
【０１０８】
【数１９】
2008198038.tif 000021
【０１０９】
この数式（１９）をまとめると、次に示す数式（２０）と表すことができる。
【０１１０】
【数２０】
2008198038.tif 000022
以下、説明を簡単にするために、部分領域Ｄｑのインデクスｑを、次に示す数式（２１）を用いて、（ｑｘ，ｑｙ）の組み合わせで表すこととする。
【０１１１】
【数２１】
2008198038.tif 000023
【０１１２】
ただし、この数式（２１）において、Δｘが奇数の場合にはｑｘは整数を、Δｘが偶数の場合にはｑｘは半整数をとるものとし、そのいずれの場合においてもｑｘは−（Δｘ−１）／２以上かつ＋（Δｘ−１）／２以下の値をとるものとする。
【０１１３】
また、Δｙが奇数の場合にはｑｙは整数を、Δｙが偶数の場合にはｑｙは半整数をとるものとし、そのいずれの場合においてもｑｙは−（Δｙ−１）／２以上かつ＋（Δｙ−１）／２以下の値をとるものとする。
【０１１４】
（ｑｘ，ｑｙ）の組み合わせとｑとの関係について、図１２にΔｘ＝５、Δｙ＝５の場合を、また、図１３にΔｘ＝４、Δｙ＝４の場合を、それぞれ例示する。なお、図示を省略しているが、Δｘが奇数かつΔｙが偶数の場合や、Δｘが偶数かつΔｙが奇数の場合であっても構わない。
【０１１５】
また、フォーメーション定量化手段７は、フォーメーション特徴ベクトルｆの成分として、全選手の平均速度ベクトル（Ｕ，Ｖ，Ｗ）、特定チームκ  （κ∈｛−１，＋１｝）に所属の選手の平均速度ベクトル（Ｕκ，Ｖκ，Ｗκ）の一部乃至全部を含めることができる。この場合、平均速度ベクトル（Ｕκ，Ｖκ，Ｗκ）を、次に示す数式（２２）或いは数式（２３）を用いて定義する。
【０１１６】
【数２２】
2008198038.tif 000024
【０１１７】
【数２３】
2008198038.tif 000025
【０１１８】
フォーメーション定量化手段７は、以上により求めた、部分領域Ｄｑ内に存在するチームκ所属の選手人数をＮ（ｑ，ｋ）、全選手の平均速度ベクトル（Ｕ，Ｖ，Ｗ）、および特定チームκ  （κ∈｛−１，＋１｝）に所属の選手の平均速度ベクトル（Ｕκ，Ｖκ，Ｗκ）の一部乃至全部をまとめたベクトルをフォーメーション特徴ベクトルｆとする。
例えば、フォーメーション特徴ベクトルｆは、前記の全てを用いて、次に示す数式（２４）のように表したり、前記の一部を用いて、次に示す数式（２５）のように表したりすることができる。
【０１１９】
【数２４】
2008198038.tif 000026
【０１２０】
【数２５】
2008198038.tif 000027
【０１２１】
変換手段９は、フォーメーション定量化手段７で生成されたフォーメーション特徴ベクトルｆに、特徴量を重み付ける予め設定した行列（後記する重み行列）を乗じる演算をし、その演算結果を判別用特徴ベクトルχとして出力するものである。
【０１２２】
ここでは、変換手段９は、重み行列Φとフォーメーション特徴ベクトルｆとの積を演算し、その演算結果を判別用特徴ベクトルχとして出力する。判別用特徴ベクトルχは次に示す数式（２６）を用いて表すことができる。
【０１２３】
【数２６】
2008198038.tif 000028
【０１２４】
例えば、重み行列Φは、あらかじめ学習用の画像入力群｛Ｉｉ｝から得られるフォーメーション特徴ベクトル群｛ｆｉ｝を主成分分析することにより定めることができる。
この場合、学習用の画像入力群｛Ｉｉ｝  （ｉ∈｛１，２，……，ＴＬ｝）を、シルエット抽出手段３、シルエット特徴量抽出手段５及びフォーメーション定量化手段７により処理し、フォーメーション特徴ベクトル群｛ｆｉ｝を得る。
【０１２５】
続いて、フォーメーション特徴ベクトル群｛ｆｉ｝の共分散行列Σｆを、次に示す数式（２７）を用いて求める。
【０１２６】
【数２７】
2008198038.tif 000029
【０１２７】
さらに、共分散行列Σχの固有ベクトルを、その固有値が大きい方からＭ個求める。第ｍ番目（ｍ∈｛１，２，……，Ｍ｝）の固有ベクトルをβｍとおく。最後に、固有ベクトルβｍの転置を行方向に並べた行列をもって重み行列Φを、例えば、次に示す数式（２８）を用いて定義する。
【０１２８】
【数２８】
2008198038.tif 000030
【０１２９】
また、重み行列Φは、フィッシャー重みマップ（参考文献：  篠原、大津：  「フィッシャー重みマップを用いた顔画像からの表情認識」、電子情報通信学会技術研究報告ＰＲＭＵ２００３−２６９、ｖｏｌ．１０３、ｎｏ．７３７、ｐｐ．７９−８４、２００３年）を用いて定義することができる。
【０１３０】
ここで、変換手段９で用いる重み行列Φの決定手順を、図４を参照して説明する。なお、図４に示したものは、図１に示したイベント判別装置１に、重み行列Φを決定する手段（分別手段２７、分散演算手段２９及び一般化固有値問題演算手段３１）を追加したものであり、イベント判別装置１Ａとする。そして、イベント判別装置１の構成と同様のものは同一の符号を付してその説明を省略する。
【０１３１】
まず、図４に示すように、イベント判別装置１Ａは、学習用の映像データ（学習用画像入力群｛Ｉｉ｝）を、シルエット抽出手段３に入力し、このシルエット抽出手段３及びシルエット特徴抽出手段２により処理し、フォーメーション特徴ベクトル群｛ｆｉ｝を得る。
【０１３２】
分別手段２７は、イベント種別正解データ入力（入力されたイベント種別正解データ群｛ｅｉ｝）とフォーメーション特徴ベクトル群｛ｆｉ｝とに基づき、フォーメーション特徴ベクトル群｛ｆｉ｝をイベント種別ｅごとに分別し、イベント種別ｅごとのフォーメーション特徴ベクトル集合Ｆｅを、次に示す数式（２９）を用いて得るものである。
【０１３３】
【数２９】
2008198038.tif 000031
【０１３４】
分散演算手段２９は、次に示す数式（３０）を用いて、クラス内（同一イベント同士の）分散ΣＷ及びクラス間（異イベント間）の分散ΣＢを求めるものである。
【０１３５】
【数３０】
2008198038.tif 000032
【０１３６】
この数式（３０）において、｜Ｆ｜は、集合Ｆの要素数を表している。
一般化固有値問題演算手段３１は、フィッシャーの判別基準に基づく一般化固有値問題を、次に示す数式（３１）を解くことによって、重み行列Φを定めるものである。
【０１３７】
【数３１】
2008198038.tif 000033
【０１３８】
この数式（３１）において、βは固有ベクトル、またλはその固有値としている。この場合、固有値λの大きい方から数えてｍ番目の固有ベクトルβをβｍとしたとき、次に示す数式（３２）により、重み行列Φを定義することができる。
【０１３９】
【数３２】
2008198038.tif 000034
【０１４０】
また、重み行列Φは、前記した主成分分析やフィッシャーの判別基準によらずに設定することも可能である。
例えば、フォーメーション特徴ベクトルｆの成分の重み付け及び組み合わせによってイベントの識別を容易にするような重み行列を設計者の主観により設定することができる。例えば、グラウンド（競技場）の四隅に対応する部分領域Ｄｑ内（四隅の部分領域のインデクスｑを左手前ｑＡ、右手前ｑＢ、左奥ｑＣおよび右奥ｑＤとする）の選手人数の単純平均を得るようＮ（ｑ，ｋ）の該当成分の線形結合をとる重みベクトルβｍ１を、次に示す数式（３３）、（３４）、（３５）を用いて定義することができる。
【０１４１】
【数３３】
2008198038.tif 000035
【０１４２】
【数３４】
2008198038.tif 000036
【０１４３】
【数３５】
2008198038.tif 000037
【０１４４】
なお、数式（３５）では、グラウンド（競技場）の場所ごとに、符号を変えた重みベクトルβｍ２やβｍ３を定義している。
そして、これらを、次に示す数式（３６）のように組み合わせることによって、重み行列Φを定義することができる。
【０１４５】
【数３６】
2008198038.tif 000038
【０１４６】
さらにまた、数式（２７）、数式（３２）、数式（３３）乃至数式（３５）など種々の方法で得た（または主観的に設計した）重みベクトルβ●を自由に組み合わせてもよい。
【０１４７】
さらに、変換手段９は、フォーメーション特徴ベクトルｆの非線形変換φにより、次に示す数式（３７）を用いて、判別用特徴ベクトルχを求めてもよい。
【０１４８】
【数３７】
2008198038.tif 000039
【０１４９】
この場合、変換手段９は、例えば、Ｎ次元のフォーメーション特徴ベクトルｆの第ｎ成分をｆｎ、Ｍ次元判別用特徴ベクトルの第ｍ成分をχｍとおいたとき、次に示す数式（３８）を用いて、ｆの２次形式と１次形式との結合により非線形変換を施すことができる。
【０１５０】
【数３８】
2008198038.tif 000040
【０１５１】
この数式（３８）において、ａ●およびｂ●は、それぞれ３階および２階のテンソルとし、その各成分は定数とする。図１に戻る。
【０１５２】
イベント判別手段１１は、変換手段９により得られた判別用特徴ベクトルχと、予めイベントを分類したイベント種別の生起確率をモデル化した確率モデルとを参照して、イベントの種別を判別し、判別した結果（判別結果Ｅ）を出力するものである。
【０１５３】
ここでは、イベント判別手段１１は、判別用特徴ベクトルχが与えられたときのイベント種別ｅの生起確率Ｐ（ｅ｜χ）をモデル化した確率モデルを参照することで、最も確からしいイベント種別Ｅを、次に示す数式（３９）を用いて求め、出力している。ここで、確率モデルを参照し、イベントを判別するとは、各イベントの生起確率の確率値の大小や、分布形状から、特定のイベントを選択する演算を行うことを指している。
【０１５４】
【数３９】
2008198038.tif 000041
【０１５５】
この数式（３９）において、生起確率Ｐ（ｅ｜χ）は、例えば、次に示す数式（４０）を用いたイベント種別ｅごとのガウス混合モデルにより表されるものとしてもよい。
【０１５６】
【数４０】
2008198038.tif 000042
【０１５７】
この数式（４０）において、Ｋｅはイベント種別ｅに対するガウス混合モデルの混合数を、ｗｅ，ｋは当該ガウス混合モデルを構成する第ｋのガウス分布に対する重みを、μｅ，ｋは前記第ｋのガウス分布の平均ベクトルを、また、Σｅ，ｋは前記第ｋのガウス分布の共分散行列を、それぞれ表している。
【０１５８】
また、混合数Ｋｅは、イベント種別ｅによって異なる定数としてもよいし、全イベント種別に対して共通の定数（例えば５）としてもよい。
重みｗｅ，ｋ、平均ベクトルμｅ，ｋ及び共分散行列Σｅ，ｋは以下の手順により、学習用の映像データに基づいて定めることができる。以下、重みｗｅ，ｋは、次に示す数式（４１）を用いて、パラメータωｅ，ｋとパラメータｐｅとの積により表すこととする。
【０１５９】
【数４１】
2008198038.tif 000043
【０１６０】
ここで、イベント判別手段１１の詳細な構成について、図５を参照して説明する。図５に示すように、イベント判別手段１１は、ＥＭアルゴリズム実行手段３３と、事前確率演算手段３５と、掛算手段３７とを備えている。なお、このイベント判別手段１１には、イベント種別ｅごとの判別用特徴ベクトル集合Ｘｅが入力されているものとする。
このイベント種別ｅごとの判別用特徴ベクトル集合Ｘｅは、イベント種別ｅごとのフォーメーション特徴ベクトル集合Ｆｅを構成する全フォーメーション特徴ベクトルｆを、変換手段９によって、判別用特徴ベクトルχに変換することで作成されたものである。
【０１６１】
例えば、変換手段９は、重み行列Φによる線形変換によって、イベント種別ｅごとの判別用特徴ベクトル集合Ｘｅを作成する場合には、次に示す数式（４２）を用いる。
【０１６２】
【数４２】
2008198038.tif 000044
【０１６３】
ＥＭアルゴリズム実行手段３３は、次式に定める確率密度関数ｐ（χ｜ｅ）が集合Ｘｅの密度分布を近似するように、次に示す数式（４３）を用いて、パラメータωｅ，ｋ、μｅ，ｋ及びΣｅ，ｋを決定するものである。
【０１６４】
【数４３】
2008198038.tif 000045
【０１６５】
この数（４３）において、パラメータωｅ，ｋ、μｅ，ｋ及びΣｅ，ｋはＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムにより求めることができる。
事前確率演算手段１０は、次に示す数式（４４）を用いて、パラメータｐｅを定めるものである。
【０１６６】
【数４４】
2008198038.tif 000046
【０１６７】
掛算手段１１は、数式（４１）の演算を実行することで、イベント種別ｅのガウス混合モデルの第ｋのガウス分布に対する重みｗｅ，ｋを得るものである。
【０１６８】
イベント判別手段１１では、数式（４１）乃至数式（４４）の操作を全イベント種別ｅに対して実行することで、数式（４０）に示したガウス混合モデル群の重みｗｅ，ｋ、平均ベクトルμｅ，ｋ及び共分散行列Σｅ，ｋを全て決定することができる。
【０１６９】
イベント判別装置１によれば、スポーツ用の入力画像Ｉから、シルエット画像Ｂを抽出した後、シルエット特徴ベクトルｇ、フォーメーション特徴ベクトルｆ、判別用特徴ベクトルχを求めることで、各スポーツに対して汎用的に利用可能で、客観的な判別基準によりイベントを判別することができる。
【０１７０】
（イベント判別装置の動作）
次に、図１４を参照して、イベント判別装置１の概略の動作について説明する（適宜、図１参照）。
まず、イベント判別装置１は、シルエット画像抽出手段３によって、シルエット画像を抽出し（ステップＳ１）、シルエット特徴量抽出手段５によって、シルエット画像からシルエット領域（単連結領域）を抽出し、シルエット特徴ベクトルを抽出する（ステップＳ２）。
【０１７１】
続いて、イベント判別装置１は、フォーメーション定量化手段７によって、フォーメーション特徴ベクトルを生成し（ステップＳ３）、変換手段９によって、フォーメーション特徴ベクトルに重み行列をかけることで、判別用特徴ベクトルを出力する（ステップＳ４）。そして、イベント判別装置１は、イベント判別手段１１によって、判別用特徴ベクトルに基づいて、イベントの種別を判別する（ステップＳ５）。
【０１７２】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、イベント判別装置１として説明したが、当該装置１の各構成の処理を実現可能にコンピュータ言語で記述したイベント判別プログラムとして構成することも可能である。この場合、同様の効果を得られる。
【図面の簡単な説明】
【０１７３】
【図１】本発明の実施形態に係るイベント判別装置のブロック図である。
【図２】シルエット特徴量抽出手段の詳細な構成を示すブロック図である。
【図３】シルエット特徴量抽出手段の詳細な他の構成（拡張カルマンフィルタを用いる場合の構成）を示すブロック図である。
【図４】学習により重み行列を得る手段を付加したイベント判別装置のブロック図である。
【図５】イベント判別手段の詳細な構成（学習によりガウス混合モデルのパラメータを得る手段を含む）を示すブロック図である。
【図６】背景差分法によるシルエット抽出手段の動作を説明する図である。
【図７】ラベリング手段の動作を説明する図である。
【図８】逆投影手段の動作を説明する図である。
【図９】拡張カルマンフィルタの観測モデルにおける観測の動作を説明する図である。
【図１０】部分領域の配置の一例を示す図である。
【図１１】部分領域をファジイ集合とする場合のメンバシップ関数の一例を示す図である。
【図１２】（ｑｘ，ｑｙ）の組み合わせとｑとの関係の一例を示す図である。
【図１３】（ｑｘ，ｑｙ）の組み合わせとｑとの関係の他の一例を示す図である。
【図１４】イベント判別装置の全体の概略動作を示したフローチャートである。
【符号の説明】
【０１７４】
１      イベント判別装置
３      シルエット抽出手段
３ａ    背景差分演算手段
５      シルエット特徴量抽出手段
７      フォーメーション定量化手段（位置関係特徴ベクトル生成手段）
９      変換手段
１１    イベント判別手段
１３    ラベリング手段
１５    重心演算手段
１７    逆投影手段
１９    速度推定手段
２１    人数推定手段
２３    色判別手段
２５    拡張カルマンフィルタ
２７    分別手段
２９    分散演算手段
３１    一般化固有値問題演算手段
３３    ＥＭアルゴリズム実行手段
３５    事前確率演算手段
３７    掛算手段
【図１】
2008198038.tif 000047
【図２】
2008198038.tif 000048
【図３】
2008198038.tif 000049
【図４】
2008198038.tif 000050
【図５】
2008198038.tif 000051
【図６】
2008198038.tif 000052
【図７】
2008198038.tif 000053
【図８】
2008198038.tif 000054
【図９】
2008198038.tif 000055
【図１０】
2008198038.tif 000056
【図１１】
2008198038.tif 000057
【図１２】
2008198038.tif 000058
【図１３】
2008198038.tif 000059
【図１４】
2008198038.tif 000060