(57)【要約】【課題】  映像を解析して、当該映像におけるイベント（出来事）、特に、スポーツ映像におけるイベント（特定のプレイ等）を検出することができる映像解析装置および映像解析プログラムを提供する。【解決手段】  映像解析装置１は、入力された映像を解析するものであって、シルエット映像を生成するシルエット映像生成手段２と、人物領域を追跡する人物追跡手段３と、色分類番号を出力する色識別手段４と、特徴ベクトルを計算する特徴ベクトル抽出手段５と、イベントを検出するイベント検出手段６と、イベントを特定するポストフィルタ手段７と、を備える。【選択図】      図１
2006285878.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像を解析する映像解析装置であって、
前記映像からシルエット映像を生成するシルエット映像生成手段と、
このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段と、
前記推定座標と、前記シルエット映像と、前記映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段と、
前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する特徴ベクトル計算手段と、
この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段と、
このイベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、前記フラグ信号間の論理演算との少なくとも一方の処理を行って、前記イベントを特定するイベント出力信号を出力するポストフィルタ手段と、
を備えることを特徴とする映像解析装置。
【請求項２】
前記領域追跡手段は、
前記シルエット画像に含まれるそれぞれのシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域の形状に関する領域情報を生成するラベリング手段と、
前記領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、前記ラベル番号および前記単連結領域の面積を出力する面積判定手段と、
前記ラベリング手段で生成された領域情報と前記映像を撮影したカメラの投影中心とに基づいて、３次元空間における各単連結領域の存在場所を示す実座標を、前記ラベル番号と共に出力する逆投影変換手段と、
前記追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、前記ラベル番号と、前記面積判定手段から出力された単連結領域の面積と、前記実座標とに基づいて、前記ラベル番号に対応させた前記識別番号と、前記実座標と前記遅延予測座標とを対応させた観測座標とを出力すると共に、前記面積判定手段から出力された単連結領域の面積を前記追跡領域の面積として出力する検出追跡手段と、
この検出追跡手段で出力された観測座標を、時間方向に濾波予測し、前記推定座標および前記推定速度と、前記予測座標および前記予測速度とを、前記識別番号と共にそれぞれ出力する予測推定手段と、
この予測推定手段から出力された前記予測座標および前記予測速度を、前記所定単位時間遅延して、前記識別番号と共に前記検出追跡手段に出力する遅延手段と、
を備えることを特徴とする請求項１に記載の映像解析装置。
【請求項３】
前記特徴ベクトルは、前記シルエットの数を推定したシルエット数推定値、複数の前記シルエットからなるシルエット群の分布の散らばり度合いを定量化したシルエット群分布定量化値、前記シルエット間の距離を定量化したシルエット間距離定量化値、前記シルエット群の分布を代表する座標を定量化したシルエット群重心定量化値、前記シルエットの速さを定量化したシルエット速さ定量化値、前記シルエットの速度を定量化したシルエット速度定量化値および予め特定したシルエットである特定シルエットが特定の場所に存在するか否かを判定した判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする請求項１または請求項２に記載の映像解析装置。
【請求項４】
入力されたスポーツ映像を解析する映像解析装置であって、
前記スポーツ映像からシルエット映像を生成するシルエット映像生成手段と、
このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段と、
前記推定座標と、前記シルエット映像と、前記スポーツ映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段と、
前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルを計算する特徴ベクトル計算手段と、
この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段と、
このイベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、前記フラグ信号間の論理演算との少なくとも一方の処理を行って、前記イベントを特定するイベント出力信号を出力するポストフィルタ手段と、
を備えることを特徴とする映像解析装置。
【請求項５】
前記領域追跡手段は、
前記シルエット画像に含まれるそれぞれの所定面積範囲の領域である人物のシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域の形状に関する領域情報を生成するラベリング手段と、
前記領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、前記ラベル番号および前記単連結領域の面積を出力する面積判定手段と、
前記ラベリング手段で生成された領域情報と前記スポーツ映像を撮影したカメラの投影中心とに基づいて、３次元空間における各単連結領域の存在場所を示す実座標を、前記ラベル番号と共に出力する逆投影変換手段と、
前記追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、前記ラベル番号と、前記面積判定手段から出力された単連結領域の面積と、前記実座標とに基づいて、前記ラベル番号に対応させた前記識別番号と、前記実座標と前記遅延予測座標とを対応させた観測座標とを出力すると共に、前記面積判定手段から出力された単連結領域の面積を前記追跡領域の面積として出力する検出追跡手段と、
この検出追跡手段で出力された観測座標を、時間方向に濾波予測し、前記推定座標および前記推定速度と、前記予測座標および前記予測速度とを、前記識別番号と共にそれぞれ出力する予測推定手段と、
この予測推定手段から出力された前記予測座標および前記予測速度を前記所定単位時間遅延して、前記識別番号と共に前記検出追跡手段に出力する遅延手段と、
を備えることを特徴とする請求項４に記載の映像解析装置。
【請求項６】
前記特徴ベクトルは、前記人物のシルエットの数を推定した人物数推定値、複数の前記人物のシルエットからなる人物シルエット群の分布の散らばり度合いを定量化した人物群分布定量化値、前記人物のシルエット間の距離を定量化した人物間距離定量化値、前記人物群の分布を代表する座標を定量化した人物群重心定量化値、前記人物のシルエットの速さを定量化した人物速さ定量化値、前記人物のシルエットの速度を定量化した人物速度定量化値および予め特定した人物のシルエットである特定人物シルエットが特定の場所に存在するか否かを判定した判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする請求項４または請求項５に記載の映像解析装置。
【請求項７】
入力された映像を解析するために、コンピュータを、
前記映像からシルエット映像を生成するシルエット映像生成手段、
このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段、
前記推定座標と、前記シルエット映像と、前記映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段、
前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する特徴ベクトル計算手段、
この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段、
このイベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、前記フラグ信号間の論理演算との少なくとも一方の処理を行って、前記イベントを特定するイベント出力信号を出力するポストフィルタ手段、
として機能させることを特徴とする映像解析プログラム。
【請求項８】
入力されたスポーツ映像を解析するために、コンピュータを、
前記スポーツ映像からシルエット映像を生成するシルエット映像生成手段、
このシルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、前記シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する領域追跡手段、
前記推定座標と、前記シルエット映像と、前記スポーツ映像とに基づき、前記追跡領域の色を識別し、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と前記識別番号とを対応付けて出力する色識別手段、
前記識別番号と対応付けられた、前記推定座標および前記推定速度と、前記追跡領域の面積と、前記色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する特徴ベクトル計算手段、
この特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、前記スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、検出した結果を示すフラグ信号を出力するイベント検出手段、
このイベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、前記フラグ信号間の論理演算との少なくとも一方の処理を行って、前記イベントを特定するイベント出力信号を出力するポストフィルタ手段、
として機能させることを特徴とする映像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の解析に係り、特に、スポーツ映像を対象にして、当該スポーツ映像内に含まれている人物の座標、移動速度、色等を評価して、スポーツ映像におけるシーンを解析する映像解析装置および映像解析プログラムに関する。
【背景技術】
【０００２】
従来の映像解析装置（画像解析システム）としては、入力された映像内における物体領域を追跡して、当該物体領域の座標を出力するものが開示されている（例えば、特許文献１〜３）。
【０００３】
特許文献１に開示されている「運動物体計測装置および球技分析システムおよびデータサービスシステム」は、サッカー等の球技を対象として、複数組のＴＶカメラを利用して撮影した映像により、横方向や奥行き方向のみではなく、高さ方向を含めた３次元で、ボール位置を計測する手法である。
【０００４】
特許文献２に開示されている「画像解析システム、画像解析方法および画像解析プログラム記録媒体」は、入力された映像を解析して、複数の物体の分離・合体を想定した追跡手法である。
特許文献３に開示されている「画像特徴抽出装置、画像特徴照合装置および画像検索装置」は、入力された映像を構成する画像から得られた様々な特徴量をファジィルールによって、演算することで、所望の画像を当該映像から検索する手法である。
【特許文献１】特開２００１−２７３５００号公報
【特許文献２】特開２００２−６３５７７号公報
【特許文献３】特開平５−６４３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の映像解析装置（画像解析システム）では、映像を構成する画像から物体追跡を行って、この追跡した物体の座標を出力するか、または、映像を構成する画像から直接得られる特徴量（色など）によって、当該画像を分類するものが主流を占めており、画像からの物体追跡の結果と、画像から得られる特徴量を複合的に解析することにより、映像におけるイベント（出来事）、特に、スポーツ映像におけるイベント（特定のプレイ等）を検出することが可能なものが存在していないかった。
【０００６】
そこで、本発明では、映像を解析して、当該映像におけるイベント（出来事）、特に、スポーツ映像におけるイベント（特定のプレイ等）を検出することができる映像解析装置および映像解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、請求項１に記載の映像解析装置は、入力された映像を解析する映像解析装置であって、シルエット映像生成手段と、領域追跡手段と、色識別手段と、特徴ベクトル計算手段と、イベント検出手段と、ポストフィルタ手段と、を備える構成とした。
【０００８】
かかる構成によれば、映像解析装置は、シルエット映像生成手段によって、入力された映像からシルエット映像を生成する。シルエット映像とは、背景色の情報に基づいて、人物等の被写体のシルエットを抽出した映像であり、例えば、背景差分法を用いて生成する。なお、ここでいうシルエットとは、背景色と設定した色と異なった色の、任意の面積を有している領域を指し、人物、物体、風景等を指している。続いて、映像解析装置は、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、シルエット画像間の差に基づいて追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。
【０００９】
そして、映像解析装置は、色識別手段によって、推定座標と、シルエット映像と、映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。
【００１０】
それから、映像解析装置は、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定するイベント出力信号を出力する。
【００１１】
なお、予め設定した条件とは、例えば、特徴量ごとの閾値を予め設定しておき、特徴量のいずれかが閾値を越えた場合や、複数の特徴量の組み合わせにおいて、それぞれの特徴量が閾値を越えた場合を指すものである。また、時間方向のフィルタ処理とは、時間方向において、起こりうるイベントを予測することで、フラグ信号を絞り込んでいく処理を指し、フラグ信号間の論理演算とは、フラグ信号同士で、論理演算を行うことで、同一時刻に起こり得ないイベントを除去していく処理を指している。
【００１２】
請求項２に記載の映像解析装置は、請求項１に記載の映像解析装置において、前記領域追跡手段が、ラベリング手段と、面積判定手段と、逆投影変換手段と、検出追跡手段と、予測推定手段と、遅延手段と、を備える構成とした。
【００１３】
かかる構成によれば、映像解析装置は、ラベリング手段によって、シルエット画像に含まれるそれぞれのシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域の形状に関する領域情報を生成する。なお、単連結領域とは、ある領域がその内部を通る曲線によって、２点を繋ぐことができる場合を連結領域とすると、この連結領域上での任意の単一閉曲線の内部が常に当該連結領域の内部である場合を指すものである。また、領域情報は、少なくとも単連結領域の形状を推定することが可能な座標や長さ（座標間距離）を含むものである。
【００１４】
続いて、映像解析装置は、面積判定手段によって、領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、ラベル番号および単連結領域の面積を出力する。そして、映像解析装置は、逆投影変換手段によって、ラベリング手段で生成された領域情報と映像を撮影したカメラの投影中心に基づいて、３次元空間（実際の空間）における各単連結領域の存在場所を示す実座標を、ラベル番号と共に出力する。そして、映像解析装置は、検出追跡手段によって、追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、ラベル番号と、面積判定手段から出力された単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。
【００１５】
そして、映像解析装置は、予測推定手段によって、検出追跡手段で出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度と、予測座標および予測速度とを、識別信号と共にそれぞれ出力し、遅延手段によって、予測推定手段から出力された予測座標および予測速度を所定単位時間遅延して、識別番号と共に検出追跡手段に出力する。
【００１６】
請求項３に記載の映像解析装置は、請求項１または請求項２に記載の映像解析装置において、前記特徴ベクトルが、シルエット数推定値、シルエット群分布定量化値、シルエット間距離定量化値、シルエット群重心定量化値、シルエット速さ定量化値、シルエット速度定量化値および判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする。
【００１７】
かかる構成によれば、特徴ベクトル計算手段により計算した特徴ベクトルを構成する特徴量（値）の一つとなるシルエット数推定値は、シルエットの数を推定したものであり、シルエット群分布定量化値は、複数のシルエットからなるシルエット群の分布の散らばり度合いを定量化したものであり、シルエット間距離定量化値は、シルエット間の距離を定量化したものである。また、シルエット群重心定量化値は、シルエット群の分布を代表する座標を定量化したものであり、シルエット速さ定量化値は、シルエットの速さを定量化したものである。また、特徴ベクトルを構成する値の一つとなるシルエット速度定量化値は、シルエットの速度を定量化したものであり、判定値は、予め特定したシルエットである特定シルエットが特定の場所に存在するか否かを判定したものである。
【００１８】
請求項４に記載の映像解析装置は、入力されたスポーツ映像を解析する映像解析装置であって、シルエット映像生成手段と、領域追跡手段と、色識別手段と、特徴ベクトル計算手段と、イベント検出手段と、ポストフィルタ手段と、を備える構成とした。
【００１９】
かかる構成によれば、映像解析装置は、シルエット映像生成手段によって、スポーツ映像からシルエット映像を生成し、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。
【００２０】
続いて、映像解析装置は、色識別手段によって、推定座標と、シルエット映像と、スポーツ映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを対応付けて出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。
【００２１】
そして、映像解析装置は、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定するイベント出力信号を出力する。
【００２２】
請求項５に記載の映像解析装置は、請求項４に記載の映像解析装置において、前記領域追跡手段が、ラベリング手段と、面積判定手段と、逆投影変換手段と、検出追跡手段と、予測推定手段と、遅延手段と、を備える構成とした。
【００２３】
かかる構成によれば、映像解析装置は、ラベリング手段によって、シルエット画像に含まれるそれぞれの所定面積範囲の領域である人物のシルエットを単連結領域とし、この単連結領域に対してラベル番号を付加し、当該ラベル番号を付加した単連結領域に関する領域情報を生成し、面積判定手段によって、領域情報に基づいて、各単連結領域の面積を求め、求めた面積が一定範囲内にある単連結領域について、ラベル番号および面積を出力する。そして、映像解析装置は、逆投影変換手段によって、ラベリング手段で生成された領域情報とスポーツ映像を撮影したカメラの投影中心とに基づいて、３次元空間における各単連結領域の存在場所を示す実座標を、ラベル番号と共に出力する。
【００２４】
そして、映像解析装置は、検出追跡手段によって、追跡領域の座標および速度の予測された予測座標および予測速度が予め設定された所定単位時間遅延されて出力された、遅延予測座標および遅延予測速度と、ラベル番号と、面積判定手段から出力された単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、映像解析装置は、予測推定手段によって、検出追跡手段で出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度と、予測座標および予測速度とを、識別信号と共にそれぞれ出力し、遅延手段によって、予測推定手段から出力された予測座標および予測速度を所定単位時間遅延して、識別番号と共に検出追跡手段に出力する。
【００２５】
請求項６に記載の映像解析装置は、請求項４または請求項５に記載の映像解析装置において、前記特徴ベクトルが、人物領域数推定値、人物領域群分布定量化値、人物領域間距離定量化値、人物群重心定量化値、人物領域速さ定量化値、人物領域速度定量化値および判定値の少なくとも一つ以上の特徴量によって構成されることを特徴とする。
【００２６】
かかる構成によれば、特徴ベクトル計算手段により計算された特徴ベクトルを構成する特徴量（値）の一つとなる人物領域数推定値は、人物のシルエットの数を推定したものであり、人物領域群分布定量化値は、複数の人物のシルエットからなる人物シルエット群の分布の散らばり度合いを定量化したものであり、人物間距離定量化値は、人物のシルエット間の距離を定量化したものである。また、人物群重心定量化値は、人物シルエット群の分布を代表する座標を定量化したものであり、人物領域速さ定量化値は、人物のシルエットの速さを定量化したものである。また、特徴ベクトルを構成する値の一つとなる人物領域速度定量化値は、人物のシルエットの速度を定量化したものであり、判定値は、予め特定した人物のシルエットである特定人物シルエットが特定の場所に存在するか否かを判定したものである。
【００２７】
請求項７に記載の映像解析プログラムは、入力された映像を解析するために、コンピュータを、シルエット映像生成手段、領域追跡手段、色識別手段、特徴ベクトル計算手段、イベント検出手段、ポストフィルタ手段、として機能させる構成とした。
【００２８】
かかる構成によれば、映像解析プログラムは、シルエット映像生成手段によって、映像からシルエット映像を生成し、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれるシルエットを追跡領域とし、シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。続いて、映像解析プログラムは、色識別手段によって、推定座標と、シルエット映像と、映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを対応付けて出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。
【００２９】
そして、映像解析プログラムは、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定するイベント出力信号を出力する。
【００３０】
請求項８に記載の映像解析プログラムは、入力されたスポーツ映像を解析するために、コンピュータを、シルエット映像生成手段、領域追跡手段、色識別手段、特徴ベクトル計算手段、イベント検出手段、ポストフィルタ手段、として機能させる構成とした。
【００３１】
かかる構成によれば、映像解析プログラムは、シルエット映像生成手段によって、スポーツ映像からシルエット映像を生成し、領域追跡手段によって、シルエット映像生成手段で生成されたシルエット映像を構成するシルエット画像に含まれる所定面積範囲の領域である人物のシルエットを追跡領域とし、シルエット画像間の差に基づいて当該追跡領域を追跡し、当該追跡領域を識別するための識別番号と対応付けて、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積とを出力する。続いて、映像解析プログラムは、色識別手段によって、推定座標と、シルエット映像と、スポーツ映像とに基づき、追跡領域の色を識別して、識別した結果に基づいて、当該色を分類するために予め設定した色分類番号と識別番号とを対応付けて出力し、特徴ベクトル計算手段によって、識別番号と対応付けられた、推定座標および推定速度と、追跡領域の面積と、色分類番号との少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。
【００３２】
そして、映像解析プログラムは、イベント検出手段によって、特徴ベクトル計算手段で計算された特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、検出した結果を示すフラグ信号を出力し、ポストフィルタ手段によって、イベント検出手段で出力されたフラグ信号に、時間方向のフィルタ処理と、前記フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定するイベント出力信号を出力する。
【発明の効果】
【００３３】
請求項１、７に記載の発明によれば、映像からシルエット映像を生成し、シルエット映像に含まれるシルエットを追跡領域とし、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積と、当該追跡領域の色を示す色分類番号を出力し、これらの少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。さらに、特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、映像に含まれる各シーンで発生した出来事を示すイベントとして検出し、時間方向のフィルタ処理と、フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定する。このため、入力された映像を解析して、当該映像に含まれている被写体（人物や物体等）の実際の空間上における座標と、速度と、色と、大きさ（面積）によって特徴付けられるイベント（出来事）を検出することができる。
【００３４】
請求項２に記載の発明によれば、シルエット映像に含まれるそれぞれのシルエットを単連結領域とし、ラベル番号を付加し、各単連結領域の面積が一定範囲内にある単連結領域について、遅延予測座標および遅延予測速度と、ラベル番号と、単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度を出力する。このため、映像に含まれる被写体（人物や物体等）を、当該映像の進行時間に沿って（時間方向に）追跡して、当該被写体の座標を出力すると共に、当該被写体の速度および当該被写体の見かけの大きさを出力することができる。
【００３５】
請求項３に記載の発明によれば、特徴ベクトルに含まれる特徴量が、シルエット数推定値と、シルエット群分布定量化値と、シルエット速さ定量化値と、シルエット速度定量化値と、判定値との少なくとも１つを備えているので、こういった座標と、速度と、面積と、色分類といった低次の映像特徴量を、映像のイベントに関する高次の映像特徴量に変換することができる。
【００３６】
請求項４、８に記載の発明によれば、スポーツ映像からシルエット映像を生成し、シルエット映像に含まれる人物のシルエットを追跡領域とし、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積と、当該追跡領域の色を示す色分類番号を出力し、これらの少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算する。さらに、特徴ベクトルに含まれる特徴量が、予め設定した条件を満たした場合を、スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、時間方向のフィルタ処理と、フラグ信号間の論理演算との少なくとも一方の処理を行って、イベントを特定する。このため、スポーツ映像を解析して、当該スポーツ映像における特定のプレイ等を検出することができる。
【００３７】
請求項５に記載の発明によれば、シルエット映像に含まれるそれぞれの人物のシルエットを単連結領域とし、ラベル番号を付加し、各単連結領域の面積が一定範囲内にある単連結領域について、遅延予測座標および遅延予測速度と、ラベル番号と、単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度を出力する。このため、スポーツ映像に含まれる被写体（選手等）を、当該スポーツ映像の進行時間に沿って（時間方向に）追跡して、当該被写体の座標を出力すると共に、当該被写体の速度および当該被写体の見かけの大きさを出力することができる。
【００３８】
請求項６に記載の発明によれば、特徴ベクトルに含まれる特徴量が、人物数推定値と、人物群分布定量化値と、人物速さ定量化値と、人物速度定量化値と、判定値との少なくとも１つを備えているので、こういった座標と、速度と、面積と、色分類といった低次の映像特徴量を、スポーツ映像のイベント（特定のプレイ等）に関する高次の映像特徴量に変換することができる。
【発明を実施するための最良の形態】
【００３９】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（映像解析装置の構成）
図１は映像解析装置のブロック図である。図１に示すように、映像解析装置１は、入力された映像（入力映像）を解析して、当該入力映像によって表現されているイベント（出来事）を出力するもので、シルエット映像生成手段２と、人物追跡手段（領域追跡手段）３と、色識別手段４と、特徴ベクトル抽出手段（特徴ベクトル計算手段）５と、イベント検出手段６と、ポストフィルタ手段７とを備えている。特に、この映像解析装置１は、スポーツ映像を解析して、当該スポーツ映像のイベント（特定のプレイ等）を出力するものである。
【００４０】
この映像解析装置１では、入力映像を構成する１枚１枚の画像を入力画像Ｉ（ｘ，ｙ）とし、この入力画像Ｉ（ｘ，ｙ）の画像座標（ｘ，ｙ）に含まれている画素値をｉ（ｘ，ｙ）とする。なお、画素値ｉ（ｘ，ｙ）は、輝度値のみで表される場合もあれば、色（色彩）を表現する２次元以上のベクトルで表される場合もある。この映像解析装置１では、例えば、画素値ｉ（ｘ，ｙ）として、色彩を表現する赤成分、緑成分および青成分からなる３次元の色ベクトルを用いることができる。また、この映像解析装置１では、画素値ｉ（ｘ，ｙ）として、輝度値および２種類の色差値からなる３次元の色ベクトルを用いることができる。なお、この実施形態では、画素値ｉ（ｘ，ｙ）として、輝度値および２種類の色差値からなる３次元の色ベクトルを用いている。
【００４１】
シルエット映像生成手段２は、入力画像Ｉ（ｘ，ｙ）から人物領域（追跡領域）と、非人物領域とを分割した２値（０または１）のシルエット画像Ｓ（ｘ，ｙ）を生成するものである。なお、シルエット映像は、複数のシルエット画像Ｓ（ｘ，ｙ）によって構成される。ここでは、例えば、所定面積範囲の領域である人物領域（人物のシルエット）にはＳ（ｘ，ｙ）＝１の値を、非人物領域にはＳ（ｘ，ｙ）＝０の値をそれぞれ割り当てるものとする。なお、ここでいうシルエットとは、背景色と設定した色と異なった色の、任意の面積を有している領域を指し、人物、物体、風景等を指している。
【００４２】
このシルエット映像生成手段２によって、シルエット画像Ｓ（ｘ，ｙ）を生成する手法としては、例えば、ハードクロマキーに代表されるような背景色情報に基づく手法を用いることができる。この背景色情報に基づく手法では、まず、色ベクトルｃに対して、Ｋ（ｃ）なる関数を定義する。この関数Ｋ（ｃ）は、背景色が色ベクトルｃで表されるときにはＫ（ｃ）＝０となり、背景色が色ベクトルｃで表されないときにはＫ（ｃ）＝１となるように予め設定されているものである。
【００４３】
このような関数Ｋ（ｃ）は、色ベクトルｃを入力とする表形式の要素群（データ群）、つまり、ルックアップテーブル（予め設定した色分類番号に相当）によって実現することができる。この場合、ルックアップテーブルの各要素のうち、背景色に対応する要素には“０”を、その他の要素には“１”を予め設定（登録）しておくものとする。例えば、芝生で行うスポーツに関する入力映像の場合、芝生らしい色（例えば、緑色）に対応する要素を“０”とし、それ以外の色に対応する要素を“１”と設定しておくことが想定される。
【００４４】
具体的に説明すると、関数Ｋ（ｃ）を用いたハードクロマキーは、次に示す（１）式を用いることで実現される。
【数１】
2006285878.tif 000003
【００４５】
また、シルエット映像生成手段２によって、シルエット画像Ｓ（ｘ，ｙ）を生成する手法としては、例えば、背景差分法を用いることができる。この背景差分法による場合、予め、人物の映っていない画像（以下、背景画像という）Ｂ（ｘ，ｙ）を作成しておき、入力画像Ｉ（ｘ，ｙ）との差分を計算し、さらに、閾値処理することでシルエット画像Ｓ（ｘ，ｙ）を生成する。例えば、閾値処理を行う関数をＴ（ｃ）として、次に示す（２）式を用いることで、シルエット画像Ｓ（ｘ，ｙ）が生成される。
【数２】
2006285878.tif 000004
【００４６】
（２）式において、閾値処理の関数Ｔ（ｃ）は、入力画像Ｉ（ｘ，ｙ）の画素値が輝度値のみである場合には、例えば、ゼロ未満（以下）の閾値θ0およびゼロ以上（を越える）の閾値θ1に基づいて定義される、次に示す（３）式を用いることができる。
【００４７】
【数３】
2006285878.tif 000005
【００４８】
また、入力画像Ｉ（ｘ，ｙ）の画素値として、多次元の色ベクトルを用いる場合には、色ベクトルｃが色ベクトル空間内の一定領域内にある場合には、Ｔ（ｃ）＝０、それ以外の場合にはＴ（ｃ）＝１とする。例えば、色ベクトルｃが赤成分ｃR、緑成分ｃGおよび青成分ｃBにより構成される場合に、ゼロ未満（以下）の三つの閾値θR0、θG0およびθB0、並びに、ゼロ以上（を越える）の三つの閾値θR1、θG1およびθB1に基づいて定義される、次に示す（４）式を用いることができる。
【００４９】
【数４】
2006285878.tif 000006
【００５０】
人物追跡手段３は、シルエット映像生成手段２で生成された複数のシルエット画像からなるシルエット映像中の各人物のシルエット（追跡領域）を追跡して、時間方向の対応付けを行って、実空間（実際の空間、３次元空間）内における各人物の座標、速度および大きさに関する情報を出力するものである。この人物追跡手段３の詳細な構成を、図２に示す。
【００５１】
図２に示すように、人物追跡手段３は、ラベリング手段３１と、面積判定手段３２と、逆投影変換手段３３と、検出・追跡手段（検出追跡手段）３４と、予測・推定手段（予測推定手段）３５と、遅延手段３６とを備えている。
【００５２】
ラベリング手段３１は、入力されたシルエット映像を構成するシルエット画像Ｓ（ｘ，ｙ）に含まれている各シルエットに対して、各々異なるラベル番号ｌ∈｛１，２，・・・，Ｎ｝を付加（付与）するものである。ここで、シルエット画像Ｓ（ｘ，ｙ）に含まれている各シルエットは単連結領域であり、Ｓ（ｘ，ｙ）＝１で表すこととする。
【００５３】
面積判定手段３２は、ラベリング手段３１でラベル番号が付加された各シルエットの面積Ａ（ｌ）を求めると共に、このシルエット面積Ａ（ｌ）が人物の大きさとして妥当であるか否かを判定し、判定した結果、妥当な面積のシルエットのみを抽出するものである。なお、抽出されたラベル番号の集合をＬとすると、この集合Ｌは次に示す（５）式で表せる。つまり、集合Ｌは、人物として妥当な面積のシルエットの集合であるといえる。
Ｌ＝｛ｌ｜Ａ（ｌ）が人物の大きさとして妥当、ｌ∈｛１，２，・・・，Ｎ｝｝
・・・（５）式
【００５４】
そして、この面積判定手段３２は、集合Ｌを領域情報として、逆投影変換手段３３に出力すると共に、ラベル番号ｌおよびシルエット面積Ａ（ｌ）を検出・追跡手段３４に出力する。なお、領域情報は、シルエット（単連結領域）の形状に関するものであればよい。例えば、領域情報として、シルエットの座標、座標間距離（長さ）等を含んでいればよい。
【００５５】
この面積判定手段３２において、各シルエットの面積Ａ（ｌ）が人物の大きさとして妥当であるか否かの判定の仕方は、ここでは、人物の大きさとして妥当であるとする面積の上限および下限の閾値を設け、所定範囲を設定しておき、各シルエットの面積Ａ（ｌ）が所定範囲にある場合には妥当であると判定する仕方を採用している。
【００５６】
ここで、集合Ｌを求める手法について、図３、図４を参照して説明する。
図３に示すように、ラベル番号ｌのシルエットの重心（シルエット領域の画像上における重心）Ｇ（ｌ）を求め、入力映像を撮影したカメラ（図示せず）の投影中心からシルエット画像平面上のシルエットの重心Ｇ（ｌ）を通る半直線を引く。この半直線が実空間上における地面から高さｈの平面と交差する点Ｈ（ｌ）を求める。例えば、高さｈの値として人物の身長（例えば、成人の平均身長）の１／２程度の値を設定することにより、シルエットの重心Ｇ（ｌ）が当該シルエットの高さのほぼ１／２の高さに位置することから、点Ｈ（ｌ）は、実空間上における人物の重心座標とほぼ一致することになる。なお、この点Ｈ（ｌ）が実座標に相当している。
【００５７】
続いて、図４に示すように、人物の大きさ程度の立体（人物の体積に相当する立体、直方体や円柱等）を点Ｈ（ｌ）の座標に配置したと仮定し、この立体を透視変換して、シルエット画像平面上における立体の像を求める。人物の大きさ程度の立体として、直方体を用いた場合には、当該直方体を投影面（表示装置（図示せず）の表示面）に写像した際の像の輪郭は、四角形、五角形または六角形の多角形の形状となる。
【００５８】
そして、得られた直方体の像において、投影面に対面する面の面積、または、得られた直方体の像に外接する方形（バウンディングボックス）の面積を求め、Ａest（ｌ）とする。また、０＜ｋ0≦ｋ1に基づいて定義される、次に示す（６）式を用いた閾値処理により集合Ｌを求めてもよい。
【００５９】
【数６】
2006285878.tif 000007
【００６０】
これら図３、図４を参照して説明した、集合Ｌを求める手法では、カメラ（図示せず）から人物までの距離に応じて、正規化した面積を評価しているので、カメラから人物までの距離によらずに人物らしい大きさのシルエット（領域）のみを抽出することができる。
【００６１】
図２に戻って、映像解析装置１における人物追跡手段３の構成の説明を続ける。
逆投影変換手段３３は、面積判定手段３２から出力された集合Ｌ（人物として妥当な面積のシルエットに付加されているラベル番号の集合）に属する各シルエット（各人物領域）のシルエット画像平面上における重心を、実空間に逆投影することにより、実空間上での人物の座標を計算するものである。ここでは、逆投影変換手段３３は、図３に示した点Ｈ（ｌ）を人物の実座標として、ラベル番号ｌと共に、検出・追跡手段３４に出力している。
【００６２】
検出・追跡手段３４は、集合Ｌに属する各ラベル番号ｌ（ｌ∈Ｌ）のシルエット（以下、人物領域という）の各実座標（Ｈ（ｌ））と、遅延手段３６から出力された１単位時間前（所定単位時間）までに追跡・予測されているシルエットの各座標との距離を比較することで、ラベル番号ｌと、既に（１単位時間前までに）追跡・予測されている人物のシルエット（人物領域）に付加（付与）されている識別番号ｍとの対応付け行うものである。
【００６３】
この検出・追跡手段３４は、例えば、ラベル番号ｌの人物領域の実空間上での座標Ｈ（ｌ）と、既に追跡されている識別番号ｍの人物領域との座標（遅延手段３６から出力された予測座標）ｘt|t-1（ｍ）との距離に基づいて、次に示す（７）式を用いて、識別番号ｍに対応するラベル番号ｌmatch（ｍ）を求める。このラベル番号ｌmatch（ｍ）を求めることで、ラベル番号ｌと識別番号ｍとの対応付けがなされることになる。
【００６４】
【数７】
2006285878.tif 000008
【００６５】
或いは、検出・追跡手段３４は、ラベル番号ｌmatch（ｍ）を求める際に、実座標Ｈ（ｌ）と予測座標ｘt|t-1（ｍ）との距離が閾値以内でない場合には、対応付けに失敗したとして、ラベル番号ｌmatch（ｍ）に特別な値を設定してもよい。つまり、ラベル番号ｌmatch（ｍ）に特別な値を設定しておくことで、ラベル番号ｌmatch（ｍ）が当該特別な値をとった場合、ラベル番号ｌに対応する識別番号ｍは存在していないとする。この特別な値には、例えば、“０”を用いることができる。このように閾値を用いて、実座標Ｈ（ｌ）と予測座標ｘt|t-1（ｍ）との対応付けを行う場合、次に示す（８）式を用いる。
【００６６】
【数８】
2006285878.tif 000009
【００６７】
そして、検出・追跡手段３４は、実座標と予測座標との対応付けを行った結果であるラベル番号ｌmatch（ｍ）が付加された人物領域のシルエット画像上における座標に基づいて、識別番号ｍが付加された人物領域の実空間上における座標（以下、観測座標という）ｙt（ｍ）を求める。ここでは、ラベル番号ｌmatch（ｍ）が付加された人物領域の実空間上における重心Ｈ（ｌmatch（ｍ））の示す座標を、観測座標ｙt（ｍ）としている。
【００６８】
なお、検出・追跡手段３４は、集合Ｌには存在するが、対応する識別番号ｍの存在しないラベル番号ｌが検出された場合には、当該ラベル番号ｌに、新たな識別番号ｍを付加（付与）し、且つ、この新たな識別番号ｍが付加された人物領域の実空間上における座標Ｈ（ｌ）に基づいて観測座標ｙt（ｍ）を設定し、出力してもよい。
【００６９】
また、検出・追跡手段３４は、対応するラベル番号ｌの無い識別番号ｍが存在した場合には、当該識別番号ｍを無効とし、当該識別番号ｍが付加されている人物領域の観測座標ｙt（ｍ）を出力しなくてもよい。
【００７０】
さらに、検出・追跡手段３４は、逆投影変換手段３３からラベル番号ｌごとに入力された面積Ａ（ｌ）の中から、ラベル番号ｌmatch（ｍ）のものを面積α（ｍ）として出力する。すなわち、α（ｍ）＝Ａ（ｌmatch（ｍ））とする。なお、この面積α（ｍ）および識別番号ｍは、特徴ベクトル抽出手段５（図１）に出力される。
【００７１】
予測・推定手段３５は、検出・追跡手段３４から出力された識別番号ｍと、観測座標ｙt（ｍ）とを受け取って、観測座標ｙt（ｍ）にフィルタ処理を行うことで、推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）、予測座標ｘt+1|t（ｍ）および予測速度ｖt+1|t（ｍ）を出力するものである。
【００７２】
この予測・推定手段３５は、例えば、推定座標ｘt|t（ｍ）として、観測座標ｙt（ｍ）をそのまま出力してもよい。また、予測・推定手段３５は、推定速度ｖt|t（ｍ）を推定座標ｘt|t（ｍ）の履歴から計算することが可能である。予測・推定手段３５は、例えば、次に示す（９）式を用いて、推定速度ｖt|t（ｍ）を、現在の推定座標ｘt|t（ｍ）と、１単位時間過去における推定座標ｘt-1|t-1（ｍ）との差分から計算することが可能である。
【００７３】
【数９】
2006285878.tif 000010
【００７４】
また、予測・推定手段３５は、推定座標ｘt|t（ｍ）を計算する際に、例えば、ラベル番号ｌmatch（ｍ）の観測座標ｙt（ｍ）の履歴と、推定座標ｘt|t（ｍ）の履歴とを重み付けして、加算した値を、現在の推定座標ｘt|t（ｍ）とすることも可能である。
【００７５】
さらに、予測・推定手段３５は、例えば、カルマン（ｋａｌｍａｎ）フィルタ、或いは、拡張カルマンフィルタによって、推定座標ｘt|t（ｍ）と推定速度ｖt|t（ｍ）との少なくとも一方を求めてもよい。予測・推定手段３５がカルマンフィルタを採用する場合は、次に示す（１０）式を用いて、状態ベクトルｚt|tを定義する。
【００７６】
【数１０】
2006285878.tif 000011
【００７７】
また、遅延手段３６（詳細は後記する）から出力される、遅延された予測座標ｘt|t-1（ｍ）と、遅延された予測速度ｖt|t-1（ｍ）とにより構成される状態ベクトルｚt|t-1を、次に示す（１１）式を用いて定義する。
【００７８】
【数１１】
2006285878.tif 000012
【００７９】
このように、状態ベクトルｚt|tと、状態ベクトルｚt|t-1とから、次に示す（１２）式（カルマンフィルタを観測更新式）を適用することにより、遅延手段３６から出力される、遅延された予測座標ｘt|t-1（ｍ）および遅延された予測速度ｖt|t-1（ｍ）から、現在（現時点）の推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）を求めることができる。
【００８０】
【数１２】
2006285878.tif 000013
【００８１】
なお、この（１２）式において、Ｐt|t-1は、時点ｔ−１までの情報から推定された、時点ｔにおける状態ベクトルの誤差共分散行列であり、Ｐ0|-1を初期値として、例えば、４行×４列の任意の半正定値行列を設定している。Ｋtは、時点ｔにおけるカルマンフィルタからの出力（推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ））を示す行列である。また、（１２）式において、Ａは観測行列であり、Ｉ2×2は２行２列の単位行列であり、Ｏ2×2は２行２列のゼロ行列であり、次に示す（１３）式によって定義される。
【００８２】
【数１３】
2006285878.tif 000014
【００８３】
この（１３）式では、観測行列Ａとして、２行４列の行列を設定している。さらに、Ｒtは時点ｔにおける観測雑音の共分散行列であり、次に示す（１４）式によって定義される。
【００８４】
【数１４】
2006285878.tif 000015
【００８５】
この（１４）式では、観測雑音の共分散行列Ｒtとして、２行２列の対角行列を設定している。なお、この（１４）式におけるρxおよびρyには、適切な正の定数、若しくは、経過時間に伴って変化する正の変数を設定することが可能である。例えば、（７）式または（８）式の計算に用いた座標Ｈ（ｌ）と予測座標ｘt|t-1（ｍ）との距離に応じて、ρxまたはρyを変化させてもよい。なお、予測・推定手段３５がカルマンフィルタを採用する場合、対応するラベル番号ｌの存在しない識別番号ｍ（すなわち、観測座標ｙt（ｍ）が予測・推定手段３５に入力されなかった場合）に対しては、（９）式の代わりに、次に示す（１５）式を用いることとする。
【００８６】
【数１５】
2006285878.tif 000016
【００８７】
さらに、予測・推定手段３５は、推定座標ｘt|t（ｍ）と推定速度ｖt|t（ｍ）に基づき、次の時点ｔ＋１における予測座標ｘt+1|t（ｍ）と予測速度ｖt+1|t（ｍ）を、次に示す（１６）式を用いて求め、出力する。
【００８８】
【数１６】
2006285878.tif 000017
【００８９】
この（１６）式では、等速度モデルを参照することで、予測座標ｘt+1|t（ｍ）と予測速度ｖt+1|t（ｍ）とを求めることができる。なお、（１６）式において、Δｔは処理の時間間隔であり、例えば、１単位時間周期（周期Ｔ）で行う場合、Δｔ＝１となる。
【００９０】
また、予測・推定手段３５は、カルマンフィルタを採用した場合、次に示す（１７）式（漸化式）を用いて、予測座標ｘt+1|t（ｍ）と予測速度ｖt+1|t（ｍ）とを求めることが可能である。
【００９１】
【数１７】
2006285878.tif 000018
【００９２】
この（１７）式において、Ｆは、１単位時間における状態遷移モデルを表す行列（状態遷移行列）であり、この状態遷移行列Ｆは、等速度モデルを参照する場合、次に示す（１８）式によって定義される。
【００９３】
【数１８】
2006285878.tif 000019
【００９４】
また、（１７）式において、Ｑは、状態遷移行列Ｆによる予測によって、新たに加えられる誤差をモデル化したプロセス雑音の共分散行列であり、例えば、プロセス雑音の共分散行列Ｑは、４行４列の半正定値行列を設定している。
【００９５】
さらに、（１７）式において、状態ベクトルの誤差共分散行列Ｐt|tまたはＰt+1|tのある成分、若しくは、いずかの行列、或いは、トレースがある数値範囲に入った場合、すなわち、推定誤差が大きくなったと想定された場合には、予測・推定手段３５は、該当する識別番号ｍを無効とし、該当する推定座標ｘt|t（ｍ）、予測座標ｘt+1|t（ｍ）、推定速度ｖt|t（ｍ）および予測速度ｖt+1|t（ｍ）を出力しない。
【００９６】
つまり、推定誤差が大きくなったと想定された場合には、状態ベクトルの誤差共分散行列Ｐt|tまたはＰt+1|tのある成分が大きくなることが確認されており、これらの行列のある成分、特に対角成分に着目し、当該対角成分が、ある閾値を越えた場合には、該当する推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）、または、予測座標ｘt+1|t（ｍ）、および予測速度ｖt+1|t（ｍ）が信頼できないものとして無効化する。例えば、次に示す（１９）式のように、状態ベクトルの誤差共分散行列Ｐt|tのトレースが閾値θP以上になった場合には、予測・推定手段３５は、該当する識別番号ｍを無効にすることができる。
【００９７】
【数１９】
2006285878.tif 000020
【００９８】
遅延手段３６は、予測・推定手段３５から出力された予測座標ｘt+1|t（ｍ）および予測速度ｖt+1|t（ｍ）を、１単位時間遅延して、遅延された予測座標ｘt|t-1（ｍ）および遅延された予測速度ｖt|t-1（ｍ）を、検出・追跡手段３４に出力するものである。
【００９９】
図１に戻って、映像解析装置１の構成の説明を続ける。
色識別手段４は、入力映像と、シルエット映像生成手段２で生成されたシルエット映像（複数のシルエット画像Ｓ（ｘ，ｙ））と、人物追跡手段３の予測・推定手段３５から出力された識別番号ｍ、推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）とに基づいて、入力映像中の各人物のシルエット（各追跡領域、識別番号ｍ）の着衣の色（追跡領域の色）を識別して、色分類番号Ｃ（ｍ）を出力するものである。
この色識別手段４は、例えば、特願２００５−１１９５９の「色識別装置および色識別プログラム」に記載されている手法を用いることができる。
【０１００】
例えば、当該装置１に入力する入力映像を、サッカー競技映像とする場合、一方のチームのフィールド選手を“０”、一方のチームのゴールキーパーを“１”、他方のチームのフィールド選手を“２”、他方のチームのゴールキーパーを“３”、審判を“４”、その他（ボールボーイ、監督、観客等）を“５”といったように、色分類番号Ｃ（ｍ）を定める（割り振る）ことができる。
【０１０１】
特徴ベクトル抽出手段５は、人物追跡手段３の検出・追跡手段３４から出力された識別番号ｍおよび面積α（ｍ）と、人物追跡手段３の予測・推定手段３５から出力された識別番号ｍ、推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）と、色識別手段４から出力された識別番号ｍおよび色分類番号Ｃ（ｍ）とに基づいて、特徴ベクトルに含める特徴量を求めて出力するものである。
【０１０２】
なお、この特徴ベクトル抽出手段５では、識別番号ｍと対応付けられた、面積α（ｍ）と、推定座標ｘt|t（ｍ）と、推定速度ｖt|t（ｍ）と、色分類番号Ｃ（ｍ）との少なくとも一つの入力情報に基づいて、特徴ベクトルに含める特徴量を計算しているが、入力情報の種類（数）が増加するほど、特徴ベクトルに含める特徴量の種類（数）も増加することになり、この結果、イベント検出手段６によるイベントの検出精度が向上することになる。この特徴ベクトル抽出手段５の詳細な構成を図５に示す。
【０１０３】
図５に示すように、特徴ベクトル抽出手段５は、人数計測手段５１と、人物群分散計測手段５２と、人物間距離計測手段５３と、人物群重心計測手段５４と、平均速さ計測手段５５と、平均速度計測手段５６と、特定領域監視手段５７とを備えている。
【０１０４】
人数計測手段５１は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）、色分類番号Ｃ（ｍ）および面積α（ｍ）の少なくとも１つの情報に基づいて、入力映像内に含まれる人物の数（人数）Ｎ（シルエット数推定値、人物数推定値）を推定するものである。この人数計測手段５１は、最も簡単な手法として、入力された識別番号ｍの総数を数えることで、人数Ｎを求めることができる。また、人数計測手段５１は、図６に示す構成によって、人数Ｎを求めてもよい。
【０１０５】
図６に示すように、人数計測手段５１は、クロック手段５１１と、順次面積選択手段５１２と、順次座標選択手段５１３と、人物像面積推定手段５１４と、除算手段５１５と、総和演算手段５１６とを備えている。
【０１０６】
クロック手段５１１は、順次増加または減少する数値時系列を生成して、この数値時系列を、順次面積選択手段５１２、順次座標選択手段５１３および総和演算手段５１６に出力するものである。この数値時系列は、各手段５１２、５１３、５１６において、入力された情報を処理するタイミングを同期させるために基準となるものである。
【０１０７】
順次面積選択手段５１２は、識別番号ｍ、面積α（ｍ）および色分類番号Ｃ（ｍ）が入力され、クロック手段５１１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの色分類番号Ｃ（ｍ）が特定の値（色識別手段４の説明のところで示した例であれば、０〜５の整数）のものを抽出して、該当したものの面積α（ｍ）を除算手段５１５に出力するものである。
【０１０８】
例えば、前記したように、当該装置１に入力された入力映像がサッカー競技映像であり、一方のチームのフィールド選手が“０”、一方のチームのゴールキーパーが“１”、他方のチームのフィールド選手が“２”、他方のチームのゴールキーパーが“３”、審判が“４”、その他（ボールボーイ、監督、観客等）が“５”と、色分類番号Ｃ（ｍ）が設定されている場合、色分類番号Ｃ（ｍ）が“０”から“３”のもののみを抽出することにより、選手のみを選択する（選び出す）ことができる。
【０１０９】
順次座標選択手段５１３は、識別番号ｍ、色分類番号Ｃ（ｍ）、推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）が入力され、クロック手段５１１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの色分類番号Ｃ（ｍ）が特定の値（色識別手段４の説明のところで示した例であれば、０〜５の整数）のものを抽出して、該当したものの推定座標ｘt|t（ｍ）を人物像面積推定手段５１４に出力するものである。この順次座標選択手段５１３は、順次面積選択手段５１２と同様に、色分類番号Ｃ（ｍ）が特定の値のものを抽出し、そして、識別番号ｍを介在させ、当該識別番号ｍが対応している推定座標ｘt|t（ｍ）を出力している。順次座標選択手段５１３は、順次面積選択手段５１２と同様に、入力映像がサッカー競技映像である場合、特定の値を“０”から“３”とすれば、選手のみを選択する（選び出す）ことができる。
【０１１０】
人物像面積推定手段５１４は、人物の大きさ程度の立体（人物の体積に相当する立体、直方体や円柱等）を、順次座標選択手段５１３から出力された推定座標ｘt|t（ｍ）に配置したと仮定し、透視変換を行うことで、画像平面における像を推定するものである。図７に示すように、立体として、直方体を用いた場合には、当該直方体を画像平面（投影面、表示装置（図示せず）の表示面）に写像した際の像の輪郭は、四角形、五角形または六角形の多角形の形状となる。
【０１１１】
そして、人物像面積推定手段５１４は、得られた直方体の像において、画像平面（投影面）に対面する面の面積、または、得られた像に外接する方形（バウンディングボックス）の面積を求め、推定面積αest（ｍ）とする。
【０１１２】
図６に戻って、映像解析装置１の特徴ベクトル抽出手段５の人数計測手段５１の構成の説明を続ける。
除算手段５１５は、順次面積選択手段５１２から出力された面積α（ｍ）を、人物像面積推定手段５１４から出力された推定面積αest（ｍ）で除算して、除算した結果である面積比ｒ（ｍ）を総和演算手段５１６に出力するものである。この除算手段５１５から出力される面積比ｒ（ｍ）は、次に示す（２０）式で表される。
【０１１３】
【数２０】
2006285878.tif 000021
【０１１４】
この（２０）式で表される面積比ｒ（ｍ）は、入力画像Ｉ（ｘ，ｙ）に映っている人物間のオクルージョンがなく（重なり合いがなく）、シルエット画像Ｓ（ｘ，ｙ）に含まれているシルエット一つに対して、人物一人が丁度含まれている場合には、入力映像を撮影しているカメラの撮影地点（カメラの投影中心）から、人物までの距離によらずにほぼ一定の値をとる。
【０１１５】
また、シルエット画像Ｓ（ｘ、ｙ）に含まれているシルエット一つに対して、複数の人物が含まれている場合には、通常、含まれている人物数の増加に伴って、面積比ｒ（ｍ）の値も増加することが推測される。
【０１１６】
そこで、（２０）式の代わりに、次に示す（２１）式を用いて、面積比ｒ（ｍ）を求めてもよい。
【０１１７】
【数２１】
2006285878.tif 000022
【０１１８】
この（２１）式において、ｋは定数とし、この定数の値は、面積比ｒ（ｍ）が一つのシルエット内に含まれる人物の数とほぼ一致するような値をとることが好適である。
【０１１９】
総和演算手段５１６は、除算手段５１５から出力された面積比ｒ（ｍ）を、クロック手段５１１から出力された数値時系列に従ったタイミングで累積し、累積した結果（累積結果）を人数Ｎとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。
【０１２０】
図５に示した人物群分散計測手段５２は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）、色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物の分布が広がっている度合いを定量化し、人物群分布面積Ｖ（シルエット群分布定量化値、人物群分布定量化値）として出力するものである。この人物群分散計測手段５２の詳細な構成を図８に示す。
【０１２１】
図８に示すように、人物群分散計測手段５２は、クロック手段５２１と、順次座標選択手段５２２と、共分散行列演算手段５２３と、分布面積演算手段５２４とを備えている。なお、クロック手段５２１および順次座標選択手段５２２は、図６に示したクロック手段５１１および順次座標選択手段５１３と同様であるので、説明を省略する。
【０１２２】
共分散行列演算手段５２３は、順次座標選択手段５２２から出力された推定座標ｘt|t（ｍ）の共分散行列を求めるものである。この共分散行列演算手段５２３は、例えば、順次座標選択手段５２２から出力された推定座標ｘt|t（ｍ）およびｘt|t（ｍ）［ｘt|t（ｍ）］T（Ｔはベクトルの転置を表す）を、クロック手段５２１から出力された数値時系列に従ったタイミングで累積すると共に、順次座標選択手段５２２から出力された推定座標ｘt|t（ｍ）の個数（サンプル数）を数えることで、共分散行列Ｄを求める。
【０１２３】
この共分散行列演算手段５２３により求められた共分散行列Ｄの各成分を、次に示す（２２）式によって定義する。
【０１２４】
【数２２】
2006285878.tif 000023
【０１２５】
分布面積演算手段５２４は、共分散行列演算手段５２３で求められた共分散行列Ｄに基づいて、実空間上での人物分布範囲を定量化した人物群分布面積Ｖを求め、特徴ベクトルを構成する特徴量の一つとして出力するものである。人物群分布面積Ｖは、実空間上での面積と同じ次元を有しており、次に示す（２３）式を用いて求めることができる。なお、（２３）式において、βは、０以上の定数である。
【０１２６】
【数２３】
2006285878.tif 000024
【０１２７】
図５に示した人物間距離計測手段５３は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）に基づいて、入力映像内に含まれる人物間が近接している度合いを定量化し、人物間距離ｄ（シルエット間距離定量化値、人物間距離定量化値）として出力するものである。この人物間距離計測手段５３の詳細な構成を図９に示す。
【０１２８】
図９に示すように、人物間距離計測手段５３は、カウンタ手段５３１と、第一番号対応座標選択手段５３２と、第二番号対応座標選択手段５３３と、距離演算手段５３４と、最小値演算手段５３５と、平均値演算手段５３６とを備えている。
【０１２９】
カウンタ手段５３１は、二つのカウンタ（図示せず）を備えてなり、当該カウンタの出力ｍ1およびｍ2を組み合わせて、二つの識別番号ｍ1およびｍ2の全ての組み合わせを走査するものである。なお、ここでいう「走査」とは、いわゆるラスタスキャンを指しており、ここでは、（ｍ1，ｍ2）を（０，０）（１，０）（２，０）、・・・、（０，１）（１，１）（２，１）、・・・、（０，２）（１，２）（２，２）といったように全ての組み合わせを発生させることを意味している。
【０１３０】
第一番号対応座標選択手段５３２は、識別番号ｍの推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）が入力され、カウンタ手段５３１から出力された識別番号ｍ1に対応する推定座標ｘt|t（ｍ1）を、距離演算手段５３４に出力するものである。
【０１３１】
第二番号対応座標選択手段５３３は、識別番号ｍの推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）が入力され、カウンタ手段５３１から出力された識別番号ｍ2に対応する推定座標ｘt|t（ｍ2）を、距離演算手段５３４に出力するものである。
【０１３２】
距離演算手段５３４は、第一番号対応座標選択手段５３２から出力された識別番号ｍ1の推定座標ｘt|t（ｍ1）と、第二番号対応座標選択手段５３３から出力された識別番号ｍ2の推定座標ｘt|t（ｍ2）との距離をｄm1,m2を求め、最小値演算手段５３５に出力するものである。この距離ｄm1,m2は、次に示す（２４）式によって表される。
【０１３３】
【数２４】
2006285878.tif 000025
【０１３４】
最小値演算手段５３５は、距離演算手段５３４から出力された距離ｄm1,m2と、カウンタ手段５３１から出力された識別番号ｍ1とに基づいて、識別番号ｍ2の推定座標ｘt|t（ｍ2）から最も距離の近い推定座標ｘt|t（ｍ1）までの距離ｄmin（ｍ2）を、次に示す（２５）式を用いて求め、平均値演算出手段５３６に出力するものである。
【０１３５】
【数２５】
2006285878.tif 000026
【０１３６】
平均値演算手段５３６は、最小値演算手段５３５から出力された距離ｄmin（ｍ2）と、カウンタ手段５３１から出力された識別番号ｍ2とに基づいて、次に示す（２６）式を用いて、距離ｄmin（ｍ2）を識別番号ｍ2に亘って平均演算を行って、平均値ｄを求め、この平均値ｄを人物間距離ｄとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。
【０１３７】
【数２６】
2006285878.tif 000027
【０１３８】
図５に示した人物群重心計測手段５４は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が分布している人物分布（人物群）の重心を、人物群重心ｇ（シルエット群重心定量化値、人物群重心定量化値）として出力するものである。この人物群重心計測手段５４の詳細な構成を図１０に示す。
【０１３９】
図１０に示すように、人物群重心計測手段５４は、クロック手段５４１と、順次座標選択手段５４２と、平均値演算手段５４３とを備えている。クロック手段５４１および順次座標選択手段５４２は、図６に示したクロック手段５１１および順次座標選択手段５１３と同様であるので、説明を省略する。
【０１４０】
平均値演算手段５４３は、順次座標選択手段５４２から出力された推定座標ｘt|t（ｍ）の平均値（ベクトル）を、次に示す（２７）式を用いて、クロック手段５４１から出力された数値時系列に従ったタイミングで求め、人物群重心ｇとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。
【０１４１】
【数２７】
2006285878.tif 000028
【０１４２】
図５に示した平均速さ計測手段５５は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が分布している人物分布（人物群）の重心の速さを、平均速さｓ（シルエット速さ定量化値、人物速さ定量化値）として出力するものである。この平均速さ計測手段５５の詳細な構成を図１１に示す。
【０１４３】
図１１に示すように、平均速さ計測手段５５は、クロック手段５５１と、順次速度選択手段５５２と、絶対値演算手段５５３と、平均値演算手段５５４とを備えている。クロック手段５５１は、図６に示したクロック手段５１１と同様であるので、説明を省略する。
【０１４４】
順次速度選択手段５５２は、識別番号ｍ、色分類番号Ｃ（ｍ）、推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）が入力され、クロック手段５５１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの色分類番号Ｃ（ｍ）が特定の値のものを抽出して、該当したものの推定速度ｖt|t（ｍ）を、絶対値演算手段５５３に出力するものである。順次速度選択手段５５２は、前記したように、入力映像がサッカー競技映像である場合、特定の値を“０”から“３”とすれば、選手のみの推定速度ｖt|t（ｍ）を選択する（選び出す）ことができる。
【０１４５】
絶対値演算手段５５３は、順次速度選択手段５５２から出力された推定速度ｖt|t（ｍ）の絶対値を求めるものである。この推定速度ｖt|t（ｍ）の絶対値は、次に示す（２８）式によって定義される。
【０１４６】
【数２８】
2006285878.tif 000029
【０１４７】
平均値演算手段５５４は、絶対値演算手段５５３から出力された推定速度ｖt|t（ｍ）の絶対値の平均値を、次に示す（２９）式を用いて求めた平均速さｓとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。
【０１４８】
【数２９】
2006285878.tif 000030
【０１４９】
図５に示した平均速度計測手段５６は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が分布している人物分布（人物群）の重心の速度を、平均速度ｕ（シルエット速度定量化値、人物速度定量化値）として出力するものである。この平均速度計測手段５６の詳細な構成を図１２に示す。
【０１５０】
図１２に示すように、平均速度計測手段５６は、クロック手段５６１と、順次速度選択手段５６２と、平均値演算手段５６３とを備えている。なお、クロック手段５６１は図６に示したクロック手段５１１と同様であり、順次速度選択手段５６２は図１１に示した順次速度選択手段５５２と同様であるので、説明を省略する。
【０１５１】
平均値演算手段５６３は、順次速度選択手段５５２から出力された推定速度ｖt|t（ｍ）の平均値を、次に示す（３０）式を用いて、クロック手段５６１から出力された数値時系列に従ったタイミングで求め、平均速度ｕとし、特徴ベクトルを構成する特徴量の一つとして出力するものである。
【０１５２】
【数３０】
2006285878.tif 000031
【０１５３】
図５に示した特定領域監視手段５７は、入力された各人物（各追跡領域）の識別番号ｍの推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）および色分類番号Ｃ（ｍ）に基づいて、入力映像内に含まれる人物が特定領域に含まれているか否かを判定し、判定した結果を、監視結果ｗ（判定値）として出力するものである。この特定領域監視手段５７の詳細な構成を図１３に示す。
【０１５４】
図１３に示すように、特定領域監視手段５７は、クロック手段５７１と、順次番号対応座標選択手段５７２と、色分類別２次元閾値演算手段５７３とを備えている。なお、クロック手段５７１は、図６に示したクロック手段５１１と同様であるので、説明を省略する。
【０１５５】
順次番号対応座標選択手段５７２は、識別番号ｍ、推定座標ｘt|t（ｍ）および推定速度ｖt|t（ｍ）が入力され、クロック手段５７１から出力された数値時系列に従ったタイミングで、順次指定される識別番号ｍの推定座標ｘt|t（ｍ）を、色分類別２次元閾値演算手段５７３に出力するものである。
【０１５６】
色分類別２次元閾値演算手段５７３は、識別番号ｍおよび色分類番号Ｃ（ｍ）が入力され、順次番号対応座標選択手段５７２から出力された識別番号ｍの推定座標ｘt|t（ｍ）に基づいて、色分類番号Ｃ（ｍ）ごとに予め設定された領域Ｗ（Ｃ）内に、当該色分類番号Ｃ（ｍ）が付加（付与）されている人物の識別番号ｍの推定座標ｘt|t（ｍ）（色分類番号Ｃ（ｍ）が該当している人物の推定座標ｘt|t（ｍ）とする）が含まれているか否かを判定するものである。
【０１５７】
そして、色分類別２次元閾値演算手段５７３は、次に示す（３１）式を用いて、領域Ｗ（Ｃ）内に、色分類番号Ｃ（ｍ）が該当している人物の推定座標ｘt|t（ｍ）が含まれている場合には、監視結果ｗ＝ＴＲＵＥを、領域Ｗ（Ｃ）内に、色分類番号Ｃ（ｍ）が該当している人物の推定座標ｘt|t（ｍ）が含まれていない場合には、監視結果ｗ＝ＦＡＬＳＥを、特徴ベクトルを構成する特徴量の一つとして出力するものである。
【０１５８】
【数３１】
2006285878.tif 000032
【０１５９】
例えば、色分類別２次元閾値演算手段５７３は、入力映像がサッカー競技映像である場合、サッカーコートの右側の二つのコーナー（右奥または右手前のコーナー）を中心とするそれぞれ半径ｑメートルの２円内の和集合で構成される領域Ｗ（１）と、サッカーコートの左側の二つのコーナー（左奥または左手前のコーナー）を中心とするそれぞれ半径ｑメートルの２円内の和集合で構成される領域Ｗ（３）とする。
【０１６０】
なお、これらＷ（１）およびＷ（３）の括弧内の数字“１”および“３”は色分類番号を指している。ここでは、この色分類番号は、右側に向かって攻撃するチームのフィールド選手を“１”、右側に向かって攻撃するチームのゴールキーパーを“２”、左側に向かって攻撃するチームのフィールド選手を“３”、左側に向かって攻撃するチームのゴールキーパーを“４”、審判を“５”、その他（ボールボーイ、監督、観客等）を“６”としている。
【０１６１】
つまり、Ｗ（１）は、色分類番号１の選手（右側に向かって攻撃するチームのフィール選手）が右奥または右手前のコーナーに来た（いる）場合、Ｗ（３）は色分類番号３の選手（左側に向かって攻撃するチームのフィールド選手）が左奥または左手前のコーナーに来た（いる）場合に監視結果ｗ＝ＴＲＵＥとなる。なお、通常、右側または左側に向かって攻撃しているチーム（攻撃側）のゴールキーパーが、守備側のコーナーに来ることはないので、Ｗ（２）（色分類番号２のゴールキーパー（右側に向かって攻撃するチームのゴールキーパー）が右奥または右手前のコーナーに来た（いる）場合）と、Ｗ（４）（色分類番号４のゴールキーパー（左側に向かって攻撃するチームのゴールキーパー）が左奥または左手前のコーナーに来た（いる）場合）とは空集合φとしておく。
【０１６２】
また、Ｗ（５）（色分類番号５の審判がいずれかのコーナーに来た（いる）場合）およびＷ（６）（色分類番号６のボールボーイ、監督、観客等がいずれかのコーナーに来た（いる）場合）も空集合φと設定しておく。そうすることで、守備側のコーナーに、攻撃側の選手（フィールド選手）がいるか否かを判定することができる。
【０１６３】
なお、特徴ベクトル抽出手段５（図１、図５参照）を実装する場合には、クロック手段５１１（図６参照）、クロック手段５２１（図８参照）、クロック手段５４１（図１０参照）、クロック手段５５１（図１１参照）、クロック手段５６１（図１２参照）およびクロック手段５７１（図１３参照）を共通化し、順次座標選択手段５１３（図６参照）、順次座標選択手段５２２（図８参照）および順次座標選択手段５４２（図１０参照）を共通化し、順次速度選択手段５５２（図１１参照）および順次速度選択手段５６２（図１２参照）を共通化して、より少ない手段数によって行ってもよい。
【０１６４】
図１に戻って、映像解析装置１の構成の説明を続ける。
イベント検出手段６は、特徴ベクトル抽出手段５から出力された特徴ベクトルの少なくとも１つの成分（特徴量）に基づいて、入力映像に含まれている映像シーンを特徴付けるイベント（出来事）を検出し、検出した結果を、フラグＥ（フラグ信号）として、ポストフィルタ手段７に出力するものである。なお、このイベント検出手段６は、必要に応じた数ｎ（ｎは任意の整数）のイベント検出手段６（６−１）、６（６−２）、・・・、６（６−ｎ）を備えることができる。
【０１６５】
つまり、このイベント検出手段６は、特徴ベクトルに含まれている特徴量が、予め設定した条件を満たした場合を、イベントとして検出し、検出した結果を示すフラグＥ（フラグ信号）として出力するものである。なお、予め設定した条件とは、ここでは、入力映像を、サッカー映像として、後記する（３６）式から（４２）式までに示した条件を採用している。このイベント検出手段６の詳細な構成を図１４に示す。
【０１６６】
図１４に示すように、イベント検出手段６は、特徴ベクトルを構成する特徴量の数ｎに応じた数の特徴量間演算手段６１（６１−１）、６１（６１−２）、・・・、６１（６１−ｎ）と、閾値演算手段６２（６２−１）、６２（６２−２）、・・・、６２（６２−ｎ）と、論理演算手段６３と、遅延手段６４とを備えている。
【０１６７】
特徴量間演算手段６１は、特徴ベクトルを構成する複数の特徴量の間で演算を行って、演算した結果の値をγとして、閾値演算手段６２に出力するものである。以下、γを複合特徴量と呼称し、必要に応じて下付きの添え字をして区別するものとする。
【０１６８】
この特徴量間演算手段６１は、例えば、入力された特徴ベクトルの複数種類の特徴量の中から、一種類の特徴量のみを選択し、選択した特徴量の値を変換すること無く出力することができる。次に示す（３２）式は、人数Ｎ、人物間距離ｄ、平均速さｓに関する複合特徴量（一種類（単一）の特徴量をそのまま選択して出力しているので、実際には複合していないが、便宜上、複合特徴量と呼称する）γpop、γdistおよびγspdの一例を示している。
【０１６９】
【数３２】
2006285878.tif 000033
【０１７０】
なお、この場合、イベント検出手段６には、特徴量間演算手段６１を設けずに、一種類の特徴ベクトルのみを直接、閾値演算手段６２に入力するようにしてもよい。
また、特徴量間演算手段６１は、例えば、入力れた特徴ベクトルのうち、一種類の特徴量のベクトル値を選択し、当該特徴量に線形または非線形の変換を施して出力することが可能である。次に示す（３３）式は、人物群重心ｇの第一成分（水平成分）、平均速度ｕの第一成分（水平成分）を抽出した複合特徴量γgravおよびγveloの一例を示している。
【０１７１】
【数３３】
2006285878.tif 000034
【０１７２】
さらに、特徴量間演算手段６１は、例えば、入力された特徴ベクトルのうち、複数種の特徴量の間で演算を行った結果を、複合特徴量γとして出力することが可能である。例えば、人数Ｎと人物群分布面積Ｖとに基づいて、次に示す（３４）式を用いて、人口密度に相当する複合特徴量γpdを演算（計算）することが可能である。
【０１７３】
【数３４】
2006285878.tif 000035
【０１７４】
さらにまた、特徴量間演算手段６１は、例えば、入力された特徴ベクトルのうち、真理値たる一種類の特徴量のみを選択し、当該真理値のＴＲＵＥおよびＦＡＬＳＥに応じて、それぞれ異なる値を出力することが可能である。次に示す（３５）式は、特定領域監視手段５７から出力された監視結果ｗに応じた複合特徴量γrgnの一例を示している。
【０１７５】
【数３５】
2006285878.tif 000036
【０１７６】
なお、この特定領域監視手段５７から出力された監視結果ｗに応じた複合特徴量γrgnの場合、イベント検出手段６には、特徴量間演算手段６１および閾値演算手段６２を設けずに、監視結果ｗ（真理値たる一種類の特徴量）を直接、論理演算手段６３に入力してもよい。
【０１７７】
閾値演算手段６２は、特徴量間演算手段６１から出力された複合特徴量γが、予め設定された範囲内にある場合に、真理値Ｌ＝ＴＲＵＥを、予め設定された範囲内にない場合に、真理値Ｌ＝ＦＡＬＳＥを、論理演算手段６３に出力するものである。この閾値演算手段６２は、例えば、複合特徴量γとして、平均速さγsが入力され、予め設定された閾値θs（以下、θに下付添え字は、添え字に対応した閾値を示す）により設定された範囲γs≧θsを、平均速さγsが満たす場合、真理値Ｌ＝ＴＲＵＥを、平均速さγsを満たさない場合、真理値Ｌ＝ＦＡＬＳＥを出力することが可能である。
【０１７８】
論理演算手段６３は、少なくとも１つの閾値演算手段６２から出力された真理値Ｌ1、Ｌ2、・・・、Ｌn（以下、真理値Ｌの下付添え字により、複数の真理値Ｌを区別する）および遅延手段６４から出力された真理値Ｊ（詳細は後記する）に基づいて、予め設定した論理演算を行って、この論理演算を行った演算結果を、イベントを示すフラグＥ（以下、フラグＥの下付添え字により、複数のフラグＥを区別する）として出力するものである。
【０１７９】
この論理演算手段６３は、遅延手段６４から出力された真理値Ｊが存在する場合には、当該真理値Ｊに対しても、真理値Ｌに行った論理演算と、同一または異なる論理演算を行って、この論理演算を行った演算結果を、真理値（複数の真理値からなるベクトル）ｅとして、遅延手段６４に出力する。
【０１８０】
遅延手段６４は、論理演算手段６３から出力された真理値ｅ（真理値ｅがベクトルの場合、各成分）を所定時間遅延して、真理値Ｊとして、論理演算手段６３に出力するものである。なお、イベント検出手段６には、遅延手段６４を設けずに、論理演算手段６３から真理値ｅを出力することと、真理値Ｊを出力することとを省略してもよい。
【０１８１】
ここで、入力映像がサッカー映像である場合のイベント検出手段６の処理について説明する。
サッカー映像において、コーナーキックのイベントを検出する場合には、例えば、コーナーに一人の攻撃側の選手がいて、攻撃側の選手および守備側の選手の動きが少なく、ペナルティエリア内に多くの選手が存在し、且つ、人口密度が高い状態を検出すればよいことになる。こういった状況を、次に示す（３６）式を用いて表し、コーナーキックのイベントに関するフラグＥCKを求めることができる。
【０１８２】
【数３６】
2006285878.tif 000037
【０１８３】
この（３６）式において、Ｌcorner1は、コーナー（右側の２コーナーに設定した半径ｑメートルの２つ円内の和集合Ｗ（１）および左側の２コーナーに設定した半径ｑメートルの２つの円内の和集合Ｗ（３）、並びに、空集合φであるＷ（２）、Ｗ（４）、Ｗ（５）およびＷ（６））のいずれかに選手がいるか否かを示す真理値であり、この場合、ｗ（ＴＲＵＥ）であるので、コーナーに選手がいることを示している。Ｌstatic1は、平均速さｓが平均速さｓの閾値θstatic1以内または以上であるかを示す真理値であり、この場合、ｓ≦θstatic1であるので、平均速さｓは閾値θstatic1以内であることを示している。また、Ｌmany1は、人数Ｎが人数Ｎの閾値θmany1以内または以上であるかを示す真理値であり、この場合、Ｎ≧θmanyであるので、人数Ｎは閾値θmany1以上であることを示している。Ｌdense1は、人口密度γpdが人口密度の閾値θdense1以内または以上であるかを示す真理値であり、この場合、γpd≧θdense1であるので、人口密度γpdはθdense1以上であることを示している。Ｅck1は、コーナーキックのイベントに関するフラグの一つであり、この場合、Ｌcorner1、Ｌstatic1、Ｌmany1およびＬdense1のすべてを満たす場合に検出される。
【０１８４】
なお、ここでは、イベント検出手段６１は、特定領域監視手段５７（図５、図１３参照）から出力された監視結果ｗを、特徴量間演算手段６１および閾値演算手段６２を介さずに、直接、真理値Ｌcorner1として、設定している。また、イベント検出手段６１は、人物計測手段５１（図５、図６参照）から出力された人数Ｎと、平均速さ計測手段５５（図５、図１１参照）から出力された平均速さｓとを、特徴量間演算手段６１を介さず、直接、閾値演算手段６２に入力し、この閾値演算手段６２の演算結果（計算結果）を、真理値Ｌmany1、Ｌstatic1として設定している。
【０１８５】
また、サッカー映像において、フリーキックのイベントを検出する場合、フリーキックのイベントに関するフラグＥFKは、次に示す（３７）式を用いて求めることができる。
【０１８６】
【数３７】
2006285878.tif 000038
【０１８７】
この（３７）式において、Ｌcorner2は、コーナー（右側の２コーナーに設定した半径ｑメートルの２つ円内の和集合Ｗ（１）および左側の２コーナーに設定した半径ｑメートルの２つの円内の和集合Ｗ（３）、並びに、空集合φであるＷ（２）、Ｗ（４）、Ｗ（５）およびＷ（６））のいずれかに選手がいるか否かを示す真理値であり、この場合、ｗ（ＴＲＵＥ）であるので、コーナーに選手がいることを示している。Ｌstatic2は、平均速さｓが平均速さｓの閾値θstatic2以内または以上であるかを示す真理値であり、この場合、ｓ≦θstatic2であるので、平均速さｓは閾値θstatic2以内であることを示している。また、Ｌmany2は、人数Ｎが人数Ｎの閾値θmany2以内または以上であるかを示す真理値であり、この場合、Ｎ≧θmany2であるので、人数Ｎは閾値θmany2以上であることを示している。Ｌdense2は、人口密度γpdが人口密度の閾値θdense以内または以上であるかを示す真理値であり、この場合、γpd≧θdense2であるので、人口密度γpdはθdense2以上であることを示している。ＥFk2は、フリーキックのイベントに関するフラグの一つであり、この場合、Ｌcorner2に（¬：論理否定）が付加されているので、Ｌcorner2を満たさず、且つ、Ｌstatic2、Ｌmany2およびＬdense2を満たす場合に検出される。
つまり、フリーキックの場合、コーナーキックとは異なり、コーナーエリアに選手がいることはないと想定でき、他の状況はコーナーキックとほぼ同じとなる。
【０１８８】
また、サッカー映像において、左側に向かって攻撃しているイベントを検出する場合、左側に向かって攻撃しているイベントに関するフラグＥleftは、次に示す（３８）式を用いて求めることができる。
【０１８９】
【数３８】
2006285878.tif 000039
【０１９０】
この（３８）式において、Ｌleft3は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）を符号反転した−γvelo（左に向かう選手の平均速度）が平均速度ｕの閾値θleft3以内または以上であるかを示す真理値であり、この場合、−γvelo≧θleft3であるので、平均速度ｕの第一成分を符号反転した−γveloは閾値θleft3以上であることを示している。また、Ｌmany3は、人数Ｎが人数Ｎの閾値θmany3以内または以上であるかを示す真理値であり、この場合、Ｎ≧θmany3であるので、人数Ｎは閾値θmany3以上であることを示している。Ｅleft3は、左側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌleft3およびＬmany3を満たす場合に検出される。
【０１９１】
また、サッカー映像において、右側に向かって攻撃しているイベントを検出する場合、右側に向かって攻撃しているイベントに関するフラグＥrightは、次に示す（３９）式を用いて求めることができる。
【０１９２】
【数３９】
2006285878.tif 000040
【０１９３】
この（３９）式において、Ｌright4は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）γvelo（右に向かう選手の平均速度）が平均速度ｕの閾値θright4以内または以上であるかを示す真理値であり、この場合、γvelo≧θright4であるので、平均速度ｕの第一成分γveloは閾値θright4以上であることを示している。また、Ｌmany4は、人数Ｎが人数Ｎの閾値θmany4以内または以上であるかを示す真理値であり、この場合、Ｎ≧θmany4であるので、人数Ｎは閾値θmany4以上であることを示している。Ｅright4は、右側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌright4およびＬmany4を満たす場合に検出される。
【０１９４】
さらに、サッカー映像において、左側のゴール付近で、左側に向かって攻撃しているイベントを検出する場合、この左側ゴール付近で、左側に向かって攻撃しているイベントに関するフラグＥleft＿goalは、次に示す（４０）式を用いて求めることができる。
【０１９５】
【数４０】
2006285878.tif 000041
【０１９６】
この（４０）式において、Ｌleft5は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）を符号反転した−γvelo（左に向かう選手の平均速度）が平均速度ｕの閾値θleft5以内または以上であるかを示す真理値であり、この場合、−γvelo≧θleft5であるので、平均速度ｕの第一成分を符号反転した−γveloは閾値θleft5以上であることを示している。また、Ｌgoal5は、人物群重心ｇの第一成分（右向きを正とした場合の人物群重心ｇの水平成分）を符合反転した−γgravが人物群重心ｇの閾値θgoal5以内または以上であるかを示す真理値であり、この場合、−γgrav≧θgoal5であるので、人物群重心ｇの第一成分を符合反転した−γgravは閾値θgoal5以上であることを示している。Ｌmany5は、人数Ｎが人数Ｎの閾値θmany5以内または以上であるかを示す真理値であり、この場合、Ｎ≧θmany5であるので、人数Ｎは閾値θmany5以上であることを示している。Ｅleft＿goal5は、左側ゴール付近で、左側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌleft5、Ｌgoal5およびＬmany5を満たす場合に検出される。
【０１９７】
さらにまた、サッカー映像において、右側のゴール付近で、右側に向かって攻撃しているイベントを検出する場合、この右側ゴール付近で、右側に向かって攻撃しているイベントに関するフラグＥright＿goalは、次に示す（４１）式を用いて求めることができる。
【０１９８】
【数４１】
2006285878.tif 000042
【０１９９】
この（４１）式において、Ｌright6は、平均速度ｕの第一成分（右向きを正とした場合の平均速度ｕの水平成分）γvelo（右に向かう選手の平均速度）が平均速度ｕの閾値θright6以内または以上であるかを示す真理値であり、この場合、γvelo≧θright6であるので、平均速度ｕの第二成分γveloは閾値θright6以上であることを示している。また、Ｌgoal6は、人物群重心ｇの第一成分（右向きを正とした場合の人物群重心ｇの水平成分）γgravが人物群重心ｇの閾値θgoal6以内または以上であるかを示す真理値であり、この場合、γgrav≧θgoal6であるので、人物群重心ｇの第一成分γgravは閾値θgoal6以上であることを示している。Ｌmany6は、人数Ｎが人数Ｎの閾値θmany6以内または以上であるかを示す真理値であり、この場合、Ｎ≧θmany6であるので、人数Ｎは閾値θmany6以上であることを示している。Ｅright＿goal6は、右側ゴール付近で、右側に向かって攻撃しているイベントに関するフラグの一つであり、この場合、Ｌright6、Ｌgoal6およびＬmany6を満たす場合に検出される。
【０２００】
或いはまた、サッカー映像において、攻撃の方向が右方向から左方向に、または、左方向から右方向に変化する瞬間のイベントに関するフラグＥturnは、次に示す（４２）式を用いて求めることができる。
【０２０１】
【数４２】
2006285878.tif 000043
【０２０２】
この（４２）式において、Ｌright7は、平均速度ｕの第一成分γvelo（右に向かう選手の平均速度）が平均速度ｕの閾値θright7以内または以上であるかを示す真理値であり、この場合、γvelo≧θright7であるので、平均速度ｕの第一成分γveloは閾値θright7以上であることを示している。Ｌleft7は、平均速度ｕの第一成分を符合反転した−γvelo（左に向かう選手の平均速度）が平均速度ｕの閾値θleft7以内または以上であるかを示す真理値であり、この場合、−γvelo≦θleft7であるので、平均速度ｕの第一成分を符合反転した−γveloは閾値θleft7以内であることを示している。また、Ｌmany7は、人数Ｎが人数Ｎの閾値θmany7以内または以上であるかを示す真理値であり、この場合、Ｎ≧θmany7であるので、人数Ｎは閾値θmany7以上であることを示している。ｅright7はフラグＥturnを検出するために遅延手段６４に入力する真理値の一つであり、Ｌright7およびＬmany7を満たす場合に検出される。ｅleft7はフラグＥturnを検出するために遅延手段６４に入力する真理値の一つであり、Ｌleft7およびＬmany7を満たす場合に検出される。Ｅturn7は、攻撃の方向が右方向から左方向に、または、左方向から右方向に変化する瞬間のイベントに関するフラグの一つであり、この場合、Ｌleft7および１単位時間過去のｅright7（遅延手段６４で遅延されたｅright7）を満たすか、または、Ｌright7および１単位時間過去のｅleft7（遅延手段６４で遅延されたｅleft7）を満たし、且つ、Ｌmany7を満たす場合に検出される。
【０２０３】
図１に戻って、映像解析装置１の構成の説明を続ける。
ポストフィルタ手段７は、イベント検出手段６から出力された１以上のフラグＥに対して、時間方向のフィルタ処理と、フラグＥ間の論理演算処理との少なくとも一方の処理を行って、最終的なイベント出力（イベントを特定するイベント出力信号）εを求めるものである。以下、イベント出力εに付される下付添え字（後記する）により、複数のイベント出力εを区別することとする。このポストフィルタ手段７の詳細な構成を図１５に示す。
【０２０４】
図１５に示すように、ポストフィルタ手段７は、時間率フィルタ手段７１（７１−１、７１−２、・・・、７１−７）と、タイムアウト処理手段７２（７２−１、７２−２、・・・、７２−７）と、イベント特定論理演算手段７３（７３−２、７３−４、７３−５、７３−６）とを備えている。
【０２０５】
時間率フィルタ手段７１は、入力されたフラグＥそれぞれに対して、時間方向のフィルタ処理を施すものである。この時間率フィルタ手段７１の詳細な構成を図１６に示す。
図１６に示すように、時間率フィルタ手段７１は、遅延手段７１１（７１１−１、７１１−２、７１１−３、・・・、７１１−（Δ−１））と、時間率演算手段７１２と、閾値演算手段７１３とを備えている。
【０２０６】
遅延手段７１１は、複数（Δ−１）個（Δは１以上の整数）から構成されており、入力されたフラグＥを１単位時間遅延させて、時間率演算手段７１２に出力すると共に、連続して配置されている次の遅延手段７１１に出力するものである。
【０２０７】
時間率演算手段７１２は、時間率フィルタ手段７１に入力されるフラグＥの真理値ＴＲＵＥおよび遅延手段７１１から出力される（Δ−１）個のフラグＥの真理値ＴＲＵＥの総数を数え、数えた総数をΔで除算した結果（除算結果、時間率ρ）を、閾値演算手段７１３に出力するものである。
【０２０８】
閾値演算手段７１３は、時間率演算手段７１２から出力された除算結果（時間率ρ）が、予め設定した閾値θρ以上上であるか否かを判定し、閾値θρ以上であった場合に、真理値ＴＲＵＥを、閾値θρ以上でなかった場合に、真理値ＦＡＬＳＥを、タイムアウト処理手段７２（図１５）に出力するものである。
【０２０９】
ここで、時間率フィルタ手段７１の処理を、図１７に示すフラグＥの真理値（ＴＲＵＥまたはＦＡＬＳＥ）の例を参照して説明する（適宜、図１６参照）。
まず、時間率フィルタ手段７１は、（Δ−１）個の遅延手段７１１によって、時刻ｔ（現時点ｔ）から時刻ｔ−Δ（Δ単位時間過去の時点ｔ−Δ）に至る幅Δの窓を、入力されたフラグＥの真理値の時系列に対して設定する。続いて、時間率フィルタ手段７１は、時間率演算手段７１２によって、当該窓内において、真理値がＴＲＵＥであった割合（時間率ρ）を求めて閾値演算手段７１３に出力する。そして、時間率フィルタ手段７１は、閾値演算手段７１３によって、時間率ρと閾値θρとの比較を行い、時間率ρが閾値θρ以上になった場合には、出力をＴＲＵＥ（入力真理値をＴＲＵＥ）とし、時間率ρが閾値θρ未満の場合には、出力をＦＡＬＳＥ（入力真理値をＦＡＬＳＥ）とする。
【０２１０】
図１５に示したタイムアウト処理手段７２は、時間率フィルタ手段７１から入力された入力真理値（ＴＲＵＥまたはＦＡＬＳＥ）を、δ単位時間に基づいて、タイムアウト処理を行って、真理値ＴＲＵＥまたは真理値ＦＡＬＳＥを、イベント特定論理演算手段７３に出力するものである。
【０２１１】
すなわち、このタイムアウト処理手段７２は、時間率フィルタ手段７１から入力された入力真理値がＴＲＵＥの場合には、真理値ＴＲＵＥを、イベント特定論理演算手段７３に出力するものである。また、タイムアウト処理手段７２は、入力真理値がＦＡＬＳＥであり、且つ、入力真理値がＴＲＵＥからＦＡＬＳＥに立ち下がった時点からδ単位時間を経過するまでの間は、真理値ＴＲＵＥを出力する。
【０２１２】
また、このタイムアウト処理手段７２は、時間率フィルタ手段７１から入力された入力真理値がＦＡＬＳＥであり、且つ、入力真理値がＴＲＵＥからＦＡＬＳＥに立ち下がった時点からδ単位時間を超える場合には、真理値ＦＡＬＳＥを出力する。このタイムアウト処理手段７２の詳細な構成を図１８に示す。
【０２１３】
図１８に示すように、タイムアウト処理手段７２は、単安定マルチバイブレータ手段７２１と、論理和演算手段７２２とを備えている。
単安定マルチバイブレータ手段７２１は、入力真理値（ＴＲＵＥまたはＦＡＬＳＥ）の立ち下がりエッジ（ＴＲＵＥからＦＡＬＳＥになった瞬間）を検出し、最近（直近）の立ち下がりの時点からδ単位時間を経過するまでの間のみ真理値ＴＲＵＥを、論理和演算手段７２２に出力する。また、単安定マルチバイブレータ手段７２１は、最近の立ち下がり時点からδ単位時間を経過した後は、真理値ＦＡＬＳＥを、論理和演算手段７２２に出力するものである。
【０２１４】
論理和演算手段７２２は、タイムアウト処理手段７２に入力された入力真理値と、単安定マルチバイブレータ手段７２１から出力された真理値との論理和を演算（計算）し、演算結果を出力するものである。
【０２１５】
ここで、タイムアウト処理手段７２の処理を、図１９に示す入力真理値の例を参照して説明する（適宜、図１８参照）。
まず、タイムアウト処理手段７２は、入力真理値の時系列に対して、単安定マルチバイブレータ手段７２１によって、入力真理値の立ち下がりエッジを検出し、最近（直近）の立ち下がりの時点からδ単位時間を経過するまでの間のみ真理値ＴＲＵＥを、最近の立ち下がり時点からδ単位時間を経過した後は、真理値ＦＡＬＳＥを、論理和演算手段７２２に出力する。そして、タイムアウト処理手段７２は、論理和演算手段７２２によって、入力された入力真理値と、単安定マルチバイブレータ手段７２１から出力された真理値との論理和（いわゆる、ｏｒ）をとる。つまり、タイムアウト処理手段７２の入力と、単安定マルチバイブレータ手段７２１の出力とのいずれかがＴＲＵＥの場合には、真理値ＴＲＵＥを出力する。
【０２１６】
なお、図１５に示したイベント特定論理演算手段７３は、タイムアウト処理手段７２から出力された真理値ＴＲＵＥまたは真理値ＦＡＬＳＥとに基づいて、論理演算を行って、論理演算を行った結果をイベント出力（イベント出力信号）として出力するものである。
【０２１７】
例えば、イベント特定論理演算手段７３（７３−２）は、タイムアウト処理手段７２（７２−１）から出力された真理値ＦＡＬＳＥと、タイムアウト処理手段７２（７２−１）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力εFKとして出力する。
【０２１８】
このように、コーナーキックのイベント出力εCKと、フリーキックのイベント出力εFKとの論理積をとっている理由は、サッカー映像において、コーナーキックとフリーキックとを比較すると、ボールを蹴る位置（コーナーか任意の箇所）が異なっているだけで、選手の平均速さや人口密度といった状況は似かよっていて、区別が難しいからである。つまり、コーナーキックとフリーキックとは同時には起こり得ないことを根拠に、この論理積をとることによって、いずれかのイベントを特定することができる。
【０２１９】
例えば、イベント特定論理演算手段７３（７３−４）は、タイムアウト処理手段７２（７２−３）から出力された真理値ＦＡＬＳＥと、タイムアウト処理手段７２（７２−４）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力εright＿goalとして出力する。
【０２２０】
このように、左側ゴール付近で、左側に向かって攻撃しているイベント出力εleft＿goaと、右側ゴール付近で、右側に向かって攻撃しているイベント出力εright＿goaとの論理積をとっている理由は、サッカー映像において、ボールの位置する場所が左側ゴール付近にあるのか右側ゴール付近にあるのかが異なっているだけで、選手の平均速さや人物群重心の場所は似かよっていて、区別が難しいからである。つまり、左側ゴール付近と右側ゴール付近とには同時にボールが存在しないことを根拠に、この論理積をとることによって、いずれかのイベントを特定することができる。
【０２２１】
例えば、イベント特定論理演算手段７３（７３−５）は、イベント特定論理演算手段７３（７３−４）から出力されたイベント出力εright＿goalの論理否定と、タイムアウト処理手段７２（７２−５）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力εleftとして出力する。
【０２２２】
このように、右側ゴール付近で、右側に向かって攻撃しているイベント出力εright＿goalと、左側に向かって攻撃しているイベント出力εleftとの論理積をとっている理由は、サッカー映像において、右側ゴール付近にボールが位置しているが、左側に攻撃する選手にボールが奪われた、いわゆる“カウンター”を検出するためである。
【０２２３】
例えば、イベント特定論理演算手段７３（７３−６）は、イベント特定論理演算手段７３（７３−５）から出力されたイベント出力εleftの論理否定と、タイムアウト処理手段７２（７２−６）から出力された真理値との論理積（いわゆる、ａｎｄ）を計算し、論理演算を行った結果を、イベント出力εrightとして出力する。
【０２２４】
このように、左側に向かって攻撃しているイベント出力εleftと、右側に向かって攻撃しているイベント出力εrightとの論理積をとっている理由は、サッカー映像において、ボールを蹴っている選手が左方向に攻撃する選手なのか右方向に攻撃する選手なのかが異なっているだけで、選手の平均速さや人物群重心の場所は似かよっていて、区別が難しいからである。つまり、右側に向かって攻撃することと左側に向かって攻撃することとは同時に発生しないことを根拠に、この論理積をとることによって、いずれかのイベントを特定することができる。
【０２２５】
なお、ポストフィルタ手段７（図１５参照）は、入力されたフラグＥの真理値や、時間率フィルタ手段７１から出力された真理値や、タイムアウト処理手段７２から出力された真理値や、イベント特定論理演算手段７３から出力されたイベント出力を、任意の時間率フィルタ手段７１、タイムアウト処理手段７２およびイベント特定論理演算手段７３に出力することが可能である（ポストフィルタ手段７内の各構成の任意の接続が可能である）。
【０２２６】
例えば、図２０に示すように、ポストフィルタ手段７Ａを、構成することも可能である。図２０に示したポストフィルタ手段７Ａは、フラグＥCKの真理値とフラグＥFKの真理値とを入力とし、図１５に示した時間率フィルタ手段７１（７１−１）およびタイムアウト処理手段７２（７２−１）によってイベント出力εCKを出力する系統と、時間率フィルタ７１（７１−２）、タイムアウト処理手段７２（７２−２）およびイベント特定論理演算手段７３（７３−２）によってイベント出力εFKを出力する系統とに、新たに、イベント特定論理演算手段７３（７３−８）およびイベント特定論理演算手段７３（７３−９）を付加した構成となっている。
【０２２７】
イベント特定論理演算手段７３（７３−８）は、フラグＥCKの真理値とフラグＥFKの真理値とに基づいて、イベント出力εを時間率フィルタ７１（７１−２）に出力するものである。
イベント特定論理演算手段７３（７３−９）は、時間率フィルタ手段７１（７１−１）から出力された真理値と、時間率フィルタ手段７１（７１−２）から出力された真理値とに基づいて、イベント出力εをタイムアウト処理手段７２（７２−２）に出力するものである。
【０２２８】
図１に示した映像解析装置１によれば、シルエット映像生成手段２によって、スポーツ映像からシルエット映像を生成し、シルエット映像に含まれる人物のシルエットを追跡領域とし、当該追跡領域の推定座標および推定速度と、当該追跡領域の面積と、当該追跡領域の色を示す色分類番号を出力し、特徴ベクトル抽出手段５によって、これらの少なくとも一つに基づき、特徴ベクトルに含める特徴量を計算し、イベント検出手段６によって、特徴量が、予め設定した条件を満たした場合を、スポーツ映像に含まれる各シーンで発生した特定のプレイを示すイベントとして検出し、ポストフィルタ手段７によって、イベントを特定する。このため、スポーツ映像を解析して、当該スポーツ映像における特定のプレイ等を検出することができる。
【０２２９】
また、この映像解析装置１によれば、人物追跡手段３によって、シルエット映像に含まれるそれぞれの人物のシルエットを単連結領域とし、ラベル番号を付加し、各単連結領域の面積が一定範囲内にある単連結領域について、遅延予測座標および遅延予測速度と、ラベル番号と、単連結領域の面積と、実座標とに基づいて、ラベル番号に対応させた識別番号と、実座標と遅延予測座標とを対応させた観測座標とを出力すると共に、面積判定手段から出力された単連結領域の面積を追跡領域の面積として出力する。そして、出力された観測座標を、時間方向に濾波予測し、推定座標および推定速度を出力する。このため、スポーツ映像に含まれる被写体（選手等）を、当該スポーツ映像の進行時間に沿って（時間方向に）追跡して、当該被写体の座標を出力すると共に、当該被写体の速度および当該被写体の見かけの大きさを出力することができる。
【０２３０】
さらに、この映像解析装置１によれば、特徴ベクトル抽出手段５によって、特徴ベクトルに含まれる特徴量が、人物数推定値と、人物群分布定量化値と、人物間距離定量化値と、人物速さ定量化値と、人物速度定量化値と、判定値との少なくとも１つを備えているので、こういった座標と、速度と、面積と、色分類といった低次の映像特徴量を、スポーツ映像のイベント（特定のプレイ等）に関する高次の映像特徴量に変換することができる。
【０２３１】
（映像解析装置の全体動作）
次に、図２１に示すフローチャートを参照して、映像解析装置１の全体の動作を説明する（適宜、図１参照）。なお、この図２１に示したフローチャートは、入力映像として、サッカー映像が入力された場合に、映像解析装置１の概略の動作を説明したものである。
【０２３２】
まず、映像解析装置１は、シルエット映像生成手段２によって、入力映像（複数の入力画像Ｉ（ｘ，ｙ））からシルエット映像（複数のシルエット画像Ｓ（ｘ，ｙ））を生成し（ステップＳ１）、人物追跡手段３によって、シルエット映像に含まれている領域（人物のシルエット）を追跡領域とし、識別番号ｍ、推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）および面積α（ｍ）を出力する（ステップＳ２）。
【０２３３】
また、映像解析装置１は、入力映像と、シルエット映像生成手段２から出力されたシルエット映像と、人物追跡手段３から出力された追跡領域および識別番号ｍとから、色識別手段４によって、識別番号ｍと色分類番号Ｃ（ｍ）とを対応付ける（ステップＳ３）。そして、映像解析装置１は、特徴ベクトル抽出手段５によって、入力された識別番号ｍ、推定座標ｘt|t（ｍ）、推定速度ｖt|t（ｍ）、面積α（ｍ）および色分類番号Ｃ（ｍ）とに基づいて、人数Ｎ、人物分布面積Ｖ、人物間距離ｄ、人物群重心ｇ、平均速さｓ、平均速度ｕおよび監視結果ｗの少なくとも１つを含む特徴ベクトルを出力する（ステップＳ４）。
【０２３４】
そして、映像解析装置１は、イベント検出手段６によって、イベント（特定のプレイ）を示すフラグによって、当該イベントを検出し（ステップＳ５）、ポストフィルタ手段７によって、イベントを特定し、コーナーキックを示すイベント出力εCKと、フリーキックを示すイベント出力εFKと、左側ゴール付近で、左側に向かって攻撃していることを示すイベント出力εleft＿goalと、右側ゴール付近で、右側に向かって攻撃していることを示すイベント出力εright＿goalと、左側に向かって攻撃していることを示すイベント出力εleftと、右側に向かって攻撃イベント出力εrightと、選手の攻撃する向き（右方向から左方向、または、左方向から右方向）が変わったことを示すイベント出力εturnとのいずれかを出力する（ステップＳ６）。
【０２３５】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、映像解析装置１に入力される入力映像を、専ら、スポーツ映像として説明したがこれに限定されるものではなく、風景が描写された映像や、ドラマの映像等であってもよい。
【０２３６】
また、映像解析装置１の各構成の処理を行わせるように、一般的または汎用的なコンピュータ言語によって記述した映像解析プログラムとして構成することも可能である。この場合、映像解析装置１と同様の効果を得ることができる。
【図面の簡単な説明】
【０２３７】
【図１】本発明の実施形態に係る映像解析装置のブロック図である。
【図２】図１に示した人物追跡手段の構成の一例を示したブロック図である。
【図３】面積判定手段による処理の概念を説明した図である。
【図４】面積判定手段および逆投影手段による処理の概念を説明した図である。
【図５】特徴ベクトル抽出手段の構成の一例を示したブロック図である。
【図６】人数計測手段の構成の一例を示したブロック図である。
【図７】人物像面積推定手段の構成の一例を示したブロック図である。
【図８】人物群分散計測手段の構成の一例を示したブロック図である。
【図９】人物間距離計測手段の構成の一例を示したブロック図である。
【図１０】人物群重心計測手段の構成の一例を示したブロック図である。
【図１１】平均速さ計測手段の構成の一例を示したブロック図である。
【図１２】平均速度計測手段の構成の一例を示したブロック図である。
【図１３】特定領域監視手段の構成の一例を示したブロック図である。
【図１４】イベント検出手段の構成の一例を示したブロック図である。
【図１５】ポストフィルタ手段の構成の一例を示したブロック図である。
【図１６】時間率フィルタ手段の構成の一例を示したブロック図である。
【図１７】時間率フィルタ手段による処理を説明した図である。
【図１８】タイムアウト処理手段の構成の一例を示したブロック図である。
【図１９】タイムアウト処理手段による処理を説明した図である。
【図２０】ポストフィルタ手段の別の構成の一例を示したブロック図である。
【図２１】図１に示した映像解析装置の全体動作を説明したフローチャートである。
【符号の説明】
【０２３８】
１      映像解析装置
２      シルエット映像生成手段
３      人物追跡手段
４      色識別手段
５      特徴ベクトル抽出手段（特徴ベクトル計算手段）
６      イベント検出手段
７      ポストフィルタ手段
３１    ラベリング手段
３２    面積判定手段
３３    逆投影変換手段
３４    検出・追跡手段（検出追跡手段）
３５    予測・推定手段（予測推定手段）
３６    遅延手段
５１    人数計測手段
５２    人物群分散計測手段
５３    人物間距離計測手段
５４    人物群重心計測手段
５５    平均速さ計測手段
５６    平均速度計測手段
５７    特定領域監視手段
６１    特徴量間演算手段
６２    閾値演算手段
６３    論理演算手段
６４    遅延手段
７１    時間率フィルタ手段
７２    タイムアウト処理手段
７３    イベント特定論理演算手段
５１１  クロック手段
５１２  順次面積選択手段
５１３  順次座標選択手段
５１４  人物像面積推定手段
５１５  除算手段
５１６  総和演算手段
５２１  クロック手段
５２２  順次座標選択手段
５２３  共分散行列演算手段
５２４  分布面積演算手段
５３１  クロック手段
５３２  第一番号対応座標選択手段
５３３  第二番号対応座標選択手段
５３４  距離演算手段
５３５  最小値演算手段
５３６  平均値演算手段
５４１  クロック手段
５４２  順次座標選択手段
５４３  平均値演算手段
５５１  クロック手段
５５２  順次速度選択手段
５５３  絶対値演算手段
５５４  平均値演算手段
５６１  クロック手段
５６２  順次速度選択手段
５６３  平均値演算手段
５７１  クロック手段
５７２  順次番号対応座標選択手段
５７３  色分類別２次元閾値演算手段
７１１  遅延手段
７１２  時間率演算手段
７１３  閾値演算手段
７２１  単安定マルチバイブレータ手段
７２２  論理和演算手段
【図１】
2006285878.tif 000044
【図２】
2006285878.tif 000045
【図３】
2006285878.tif 000046
【図４】
2006285878.tif 000047
【図５】
2006285878.tif 000048
【図６】
2006285878.tif 000049
【図７】
2006285878.tif 000050
【図８】
2006285878.tif 000051
【図９】
2006285878.tif 000052
【図１０】
2006285878.tif 000053
【図１１】
2006285878.tif 000054
【図１２】
2006285878.tif 000055
【図１３】
2006285878.tif 000056
【図１４】
2006285878.tif 000057
【図１５】
2006285878.tif 000058
【図１６】
2006285878.tif 000059
【図１７】
2006285878.tif 000060
【図１８】
2006285878.tif 000061
【図１９】
2006285878.tif 000062
【図２０】
2006285878.tif 000063
【図２１】
2006285878.tif 000064