(57)【要約】【課題】映像を解析することにより、映像の中で頻繁に現れる特徴的な特定動作を、高速かつ正確に検出する。【解決手段】特定動作テンプレート作成部２０には、特定動作の特徴ベクトルがテンプレートとして予め記憶されている。特徴量計算部１０は、映像から特徴ベクトルを計算し、識別計算部３０は、特徴量計算部１０により計算された特徴ベクトルと、特定動作テンプレート作成部２０により記憶された特徴ベクトルとを比較し、特定動作を識別する。この特徴ベクトルは、フレーム番号、動き方位番号及びブロック番号による要素、すなわち、所定フレームの所定ブロック内に存在する所定動き方位の画素数を要素にしたベクトルである。動き方位に着目した特徴ベクトルのマッチング処理を、予め記憶した特定動作の特徴ベクトルと、計算した特徴ベクトルとの間で行うから、映像の中から特定動作を検出することができる。【選択図】図１
2010267029.tif 000002
【特許請求の範囲】
【請求項１】
映像を解析して特定動作を検出する特定動作検出装置において、
前記映像の中で動きのある領域を検出し、前記動き領域に対し、その重心位置を中心にして予め設定された数のブロックに区切り、前記動き領域における動きの向きが、予め設定された数の動き方位のうちのいずれの動き方位に該当するかを判定し、前記映像のフレーム、動き方位及びブロック毎に、前記動き方位に該当する画素数を要素とした特徴量を計算する特徴量計算部、
特定動作の前記特徴量を予め記憶する記憶部、及び、
前記特徴量計算部により計算された特徴量と、前記記憶部により予め記憶された特徴量とを比較し、特定動作を検出する検出部、
を備えたことを特徴とする特定動作検出装置。
【請求項２】
請求項１に記載の特定動作検出装置において、
前記特徴量計算部は、
前記映像の各画素について、速度ベクトルを計算する速度ベクトル計算手段、
前記速度ベクトル計算手段により計算された速度ベクトルの大きさと予め設定された閾値とを比較し、動き領域を検出し、前記動き領域の重心位置を計算する動き領域検出及び重心計算手段、及び、
前記動き領域検出及び重心計算手段により検出された動き領域に対し、前記重心位置を中心にして予め設定された数のブロックに区切り、前記速度ベクトル計算手段により計算された速度ベクトルの方向が、予め設定された数の動き方位のうちのいずれの動き方位に該当するかを判定し、前記映像のフレーム、動き方位及びブロック毎に、前記動き方位に該当する画素数を要素とした特徴量を計算する特徴量計算手段、
を備えたことを特徴とする特定動作検出装置。
【請求項３】
請求項２に記載の特定動作検出装置において、
前記特徴量計算部の特徴量計算手段は、予め設定された領域について、前記ブロックの区切り、動き方位の判定及び特徴量の計算を行うことを特徴とする特定動作検出装置。
【請求項４】
請求項２または３に記載の特定動作検出装置において、
前記特徴量計算部は、
前記映像の各画素について、時間的に平均化した画素値を計算する時間積分手段、及び、
前記時間積分手段により計算された画素値を用いて、前記映像における連続するフレームの各画素について、前記フレーム間の画素値の差分を計算する差分計算手段を備え、
前記速度ベクトル計算手段は、前記差分計算手段により計算された画素値の差分に基づいて、各画素についての速度ベクトルを計算することを特徴とする特定動作検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツ番組等の映像を解析することにより、映像の中の特定動作を検出する装置に関する。
【背景技術】
【０００２】
従来、映像を解析することにより、映像の中の特定動作を検出する装置が知られている（特許文献１〜３を参照）。例えば、特許文献１の特定動作検出装置は、セキュリティの分野において、固定された監視用ビデオカメラにより人物の動作を撮影し、その人物の異常行動を検出するものである。具体的には、特定動作検出装置は、映像のフレーム間差分データを計算し、立体高次局所自己相関によって特徴データを抽出し、抽出した特徴データと、過去の正常動作の特徴データから生成した部分空間との間の距離に基づいて、通常は起こることのない異常行動を検出する。ここで、立体高次局所自己相関によって抽出される特徴データは、所定の画素における画素値（差分値）、及び所定の画素からみて変位のあるＮ個の画素の画素値（差分値）に基づいて、積分処理により計算されるフレーム毎のデータである。
【０００３】
また、特許文献２の特定動作検出装置は、スポーツの分野において、スポーツ映像と同期した打撃時の音響情報に基づいて、スポーツ映像から選手の動作を検出するものである。具体的には、特定動作検出装置は、コンテンツから映像情報、及びボール等による打撃音の音響情報を取得し、映像情報、打撃時刻における使用用具の位置及びルール情報に基づいて、選手の動作を検出する。これにより、選手等によって使用用具が映像の中で隠蔽されている場合であっても、選手の動作を確実に検出することができる。つまり、映像情報のみにより選手の動作を検出する装置に比べ、動作の誤検出を回避することができる。
【０００４】
また、特許文献３の特定動作検出装置は、映像中の被写体の動きベクトルを算出し、動きベクトルの方向のみからなるヒストグラムを生成し、予め記憶した標準的なヒストグラムと生成したヒストグラムとを比較することにより、被写体の動作を検出するものである。
【０００５】
また、動作検出手法の一つとして、身体の３次元モデルを用いて映像中の身体動作を推定する技術が知られている（非特許文献１を参照）。この技術では、身体の向きに関わらず身体動作を推定することができることから、身体動作を検出するための応用技術として開発が進められており、この技術を特定動作検出装置に組み込むための試みがなされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−７９２７２号公報
【特許文献２】国際公開第２００４／１３８１２号明細書
【特許文献３】特開２００２−３７３３４０号公報
【非特許文献】
【０００７】
【非特許文献１】山本正信、「ドリフト修正機能を有する動画像からの身体動作推定法」、電子情報通信学会論文誌、D-II,Vol.J88-D-II,No.7,pp.1153-1165,2005
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のとおり、特許文献１の特定動作検出装置は、映像の中から、通常は起こることのない異常動作を検出するものである。このため、スポーツ映像における野球の投手動作、テニスのサーブ動作、相撲の立会い動作等のように、映像の中で頻繁に現れる特徴的な動作を検出する場合には、この特定動作検出装置を用いることができないという問題があった。
【０００９】
また、特許文献２の特定動作検出装置は、コンテンツから映像情報及び音響情報を取得し、映像情報、使用用具の位置及びルール情報に基づいて選手の動作を検出するものである。この特定動作検出装置により動作を検出するためには、スポーツ毎に異なる固有のルール情報を予め設定する必要があり、所定の打撃音等の音響情報をコンテンツから取得する必要がある。このため、スポーツ毎に異なるルール情報を設定することが困難であり、音響情報を扱うための処理負荷が高い等の問題があった。
【００１０】
また、特許文献３の特定動作検出装置は、映像から算出した被写体の動きベクトルに基づいてヒストグラムを生成し、標準的なヒストグラムと生成したヒストグラムとを比較して被写体の動作を検出するものである。しかしながら、この動きベクトルは、画面全体の動きに着目して算出するものであるから、画面内の複数の領域で複雑な動きが発生する場合には、検出誤差が大きくなるという問題があった。
【００１１】
また、非特許文献１の動作検出手法は、３次元モデルを用いるものであるから、その処理に多大な時間を要し、完全自動化には至っていないのが現状である。
【００１２】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像を解析することにより、映像の中で頻繁に現れる特徴的な動作を、高速かつ正確に検出可能な特定動作検出装置を提供することにある。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明による特定動作検出装置は、映像を解析して特定動作を検出する特定動作検出装置において、前記映像の中で動きのある領域を検出し、前記動き領域に対し、その重心位置を中心にして予め設定された数のブロックに区切り、前記動き領域における動きの向きが、予め設定された数の動き方位のうちのいずれの動き方位に該当するかを判定し、前記映像のフレーム、動き方位及びブロック毎に、前記動き方位に該当する画素数を要素とした特徴量を計算する特徴量計算部、特定動作の前記特徴量を予め記憶する記憶部、及び、前記特徴量計算部により計算された特徴量と、前記記憶部により予め記憶された特徴量とを比較し、特定動作を検出する検出部、を備えたことを特徴とする。
【００１４】
また、本発明による特定動作検出装置は、前記特徴量計算部が、前記映像の各画素について、速度ベクトルを計算する速度ベクトル計算手段、前記速度ベクトル計算手段により計算された速度ベクトルの大きさと予め設定された閾値とを比較し、動き領域を検出し、前記動き領域の重心位置を計算する動き領域検出及び重心計算手段、及び、前記動き領域検出及び重心計算手段により検出された動き領域に対し、前記重心位置を中心にして予め設定された数のブロックに区切り、前記速度ベクトル計算手段により計算された速度ベクトルの方向が、予め設定された数の動き方位のうちのいずれの動き方位に該当するかを判定し、前記映像のフレーム、動き方位及びブロック毎に、前記動き方位に該当する画素数を要素とした特徴量を計算する特徴量計算手段、を備えたことを特徴とする。
【００１５】
また、本発明による特定動作検出装置は、前記特徴量計算部の特徴量計算手段が、予め設定された領域について、前記ブロックの区切り、動き方位の判定及び特徴量の計算を行うことを特徴とする。
【００１６】
また、本発明による特定動作検出装置は、前記特徴量計算部が、前記映像の各画素について、時間的に平均化した画素値を計算する時間積分手段、及び、前記時間積分手段により計算された画素値を用いて、前記映像における連続するフレームの各画素について、前記フレーム間の画素値の差分を計算する差分計算手段を備え、前記速度ベクトル計算手段が、前記差分計算手段により計算された画素値の差分に基づいて、各画素についての速度ベクトルを計算することを特徴とする。
【発明の効果】
【００１７】
以上のように、本発明によれば、映像の中で動きのある領域を検出し、その動き領域に対し、重心位置を中心にして予め設定された数のブロックに区切り、動きの向きが、予め設定された数の動き方位のうちのいずれの動き方位に該当するかを判定し、映像のフレーム、動き方位及びブロック毎に、動き方位に該当する画素数を要素とした特徴量を計算し、予め記憶された特定動作の特徴量と比較することにより、特定動作を検出するようにした。これにより、映像の中で頻繁に現れる特徴的な動作を、高速かつ正確に検出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態による特定動作検出装置の構成を示すブロック図である。
【図２】映像中の切り出し領域を説明する図である。
【図３】（ａ）は、４個のブロックに分割した例を示す図である。（ｂ）は、８個のブロックに放射状に分割した例を示す図である。（ｃ）は、画素位置分布の標準偏差により１６個のブロックに分割した例を示す図である。（ｄ）は、画素位置分布の標準偏差により３６個のブロックに分割した例を示す図である。
【図４】（ａ）は、垂直の直線及び水平の直線により４個の動き方位に分割した例を示す図である。（ｂ）は、所定の角度の直線により４個の動き方位に分割した例を示す図である。（ｃ）は、所定の角度の直線により１２個の動き方位に分割した例を示す図である。
【図５】動き方位数を４、ブロック数を４に設定した場合の動き方位を反映した画像例を示す図である。
【図６】フレーム数を８、動き方位数を１０、ブロック数を４に設定した場合の特徴ベクトルをヒストグラムで表した例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態について、図面を参照して説明する。
図１は、本発明の実施形態による特定動作検出装置の構成を示すブロック図である。この特定動作検出装置１は、特徴量計算部１０、特定動作テンプレート作成部（記憶部）２０及び識別計算部（検出部）３０を備えている。特定動作テンプレート作成部２０には、特定動作の特徴ベクトルがテンプレートとして予め記憶されており、特徴量計算部１０は、特定動作を検出したい映像から特徴ベクトルを計算し、識別計算部３０は、特徴量計算部１０により計算された特徴ベクトルと、特定動作テンプレート作成部２０により記憶されたテンプレートの特徴ベクトルとを比較し、特定動作を識別する。
【００２０】
〔特徴量計算部〕
まず、特徴量計算部１０について説明する。特徴量計算部１０は、時間積分手段１１、背景差分手段（差分計算手段）１２、オプティカルフロー計算手段（速度ベクトル計算手段）１３、動き領域検出及び重心計算手段１４、特徴ベクトル計算手段（特徴量計算手段）１５及び領域切り出し手段１６を備えている。
【００２１】
特徴量計算部１０が図示しない記憶部から映像を読み出すと、領域切り出し手段１６は、映像を入力し、オペレータの操作によって映像から特定動作を検出したい領域を切り出し領域として設定し、その領域の座標を動き領域検出及び重心計算手段１４に出力する。尚、記憶部には、固定カメラによって撮影された映像が記憶されているものとする。したがって、特定動作を検出したい切り出し領域は、撮影された映像に応じて所定位置に設定される。
【００２２】
図２は、映像中の切り出し領域を説明する図である。図２に示すように、映像の中の左下部に位置する枠が、オペレータの操作により指定された切り出し領域である。前述のとおり、映像は固定カメラにより撮影されたものであるから、映像における全ての時間において、この切り出し領域内に、検出したい特定動作が存在することになる。オペレータは、映像の中から特定動作を検出したい領域を切り出し領域として指定し、領域切り出し手段１６は、オペレータによる領域の指定を受けて、切り出し領域の座標を設定する。
【００２３】
図１に戻って、特徴量計算部１０が図示しない記憶部から映像を読み出すと、時間積分手段１１は、映像を入力し、各画素について、時間的に平均化した画素値を計算する。具体的には、時間積分手段１１は、ある時刻のフレーム番号ｆの画像において、座標（ｘ，ｙ）における各画素値をＩ(f)（ｘ，ｙ）とすると、以下の式により、同一座標の画素値と重み係数とを積算し、時間的に平均化した画素値を計算する。
Ｉ(f)itg（ｘ，ｙ）＝（１−α）Ｉ(f)（ｘ，ｙ）−αＩ(f-1)（ｘ，ｙ）
ここで、αは重み係数である。時間積分手段１１により計算された画素値は、背景差分手段１２に出力される。
【００２４】
重み係数αは、例えば０．４に設定する。これにより、過去のフレームよりも現在のフレームの画素値に重みを置くことができ、過去よりも現在のフレームに着目した画素値を計算することができる。このように、時間積分手段１１は、映像の各画素値から時間的に平均化した画素値を計算するようにしたから、画像はややぼけてしまうものの、ランダムに混入する映像の時間変動分を補正することができ、ノイズ成分を減らすことができる。尚、特徴量計算部１０は、映像に含まれるノイズ成分が少ない場合には、時間積分手段１１を備える必要がない。この場合、背景差分手段１２が映像を直接入力する。
【００２５】
背景差分手段１２は、時間積分手段１１から時間的に平均化された画素値を入力し、連続するフレームの各画素について、以下の背景差分処理の式により、画素値の差分を計算する。
Ｉ(f)sub（ｘ，ｙ）＝ｍａｘ（｜Ｉ(f)itg（ｘ，ｙ）−Ｉ(f-1)itg（ｘ，ｙ）｜−ＴＨsub，０）
ここで、ＴＨsubは、予め設定された閾値である。前記式により、画素値の差分Ｉ(f)sub（ｘ，ｙ）は負の値になることはなく、０以上の値となる。これにより、画素値の差分が閾値よりも小さい場合、本来は負の値になるところを０の値に設定することにより、ノイズを除去することができる。また、画素値の差分を計算することにより物体の移動を判定することができるから、移動物体領域を抽出することができる。背景差分手段１２により計算された画素値の差分は、オプティカルフロー計算手段１３に出力される。
【００２６】
また、背景差分手段１２は、暗い画像領域の画素が、明るい画像領域と同じような割合で変動したときであっても、明るい画像領域の画素と同様な結果が得られるように、以下の背景差分処理の式により、画素値の差分を計算する。
【数１】
2010267029.tif 000003
ただし、
【数２】
2010267029.tif 000004
である。ここで、Ｓは、着目している画素（ｘ，ｙ）の近傍を示している。この背景差分処理の式を用いることにより、暗い色成分を有する物体が移動する画像であっても、背景差分手段１２は、画素値の差分を精度高く計算することができる。
【００２７】
オプティカルフロー計算手段１３は、背景差分手段１２から画素値の差分を入力し、その画素値の差分が予め設定された閾値以上となる物体移動領域を抽出する。そして、オプティカルフロー計算手段１３は、物体移動領域について、Ｌｕｃａｓ＆Ｋａｎａｄｅ手法またはブロックマッチング手法を用いて、各画素について速度ベクトルを計算する。オプティカルフロー計算手段１３により計算された速度ベクトルは、動き領域検出及び重心計算手段１４に出力される。
【００２８】
ここで、Ｌｕｃａｓ＆Ｋａｎａｄｅ手法は、フレーム間において物体の画素値が変わらないことを前提にして、動きのある点がどの方向へどの程度移動したかを示す速度ベクトルを計算するものである。すなわち、移動する物体について、移動前の画素値と移動後の画素値が等しいものとして、テーラー展開及び１次微分の状態方程式によって、移動する物体の速度ベクトルを計算する。また、ブロックマッチング手法は、フレーム間では物体の画素値の違いがあまりないことを前提にして、フレーム内を分割した複数のブロックを探索し、移動前の物体を含むブロックと移動後の物体を含むブロックとの間のマッチングを行い、その差が小さいブロックを特定することにより、速度ベクトルを計算するものである。精度を多少犠牲にしても高速性を重要視する場合には、Ｌｕｃａｓ＆Ｋａｎａｄｅ手法が用いられる。高速性を多少犠牲にしても精度を重要視する場合には、ブロックマッチング手法が用いられる。尚、Ｌｕｃａｓ＆Ｋａｎａｄｅ手法及びブロックマッチング手法は、速度ベクトルを計算するための例示であり、本発明はこれらの手法に限定されるものではなく、他の手法を用いるようにしてもよい。
【００２９】
映像中の動きが、特定動作検出装置１により検出されるべき特定動作のみの場合（例えば、投球動作、テニスのサーブ動作、相撲の立会い動作のみの場合）、特定動作検出装置１は、画像全体に対して処理を行う必要がない。これは、背景差分手段１２の背景差分処理による画素値の差分、及びオプティカルフロー計算手段１３の速度ベクトル計算処理による速度ベクトルが、特定動作の動きのある領域内でのみ得られれば、特定動作を検出することができるからである。しかしながら、一般に、映像中の動きには、特定動作に加えてそれ以外の動作も含まれる場合があり得る。そこで、オプティカルフロー計算手段１３は、特定動作が含まれる領域を予め設定しておき、その領域に対して速度ベクトルを計算する。これにより、後述する識別計算部３０において、特定動作を精度高く識別することができる。時間積分手段１１及び背景差分手段１２においても、予め設定された領域に対して処理を行うことにより、同様の効果を奏することができる。また、特定動作検出装置１全体として、高速処理を実現することができる。
【００３０】
動き領域検出及び重心計算手段１４は、オプティカルフロー計算手段１３から速度ベクトルを入力すると共に、領域切り出し手段１６から切り出し領域の座標を入力する。そして、動き領域検出及び重心計算手段１４は、切り出し領域内の各画素について、速度ベクトルの大きさと予め設定された閾値とを比較し、速度ベクトルの大きさが閾値以上となる画素を特定し、その画素の領域を動き領域として検出し、以下の式により、動き領域の重心位置（座標）を計算する。
【数３】
2010267029.tif 000005
ここで、Ｍは、閾値以上となった速度ベクトルの集合を示し、Ｎは、その集合に含まれる要素（画素）の総数を示す。動き領域検出及び重心計算手段１４により検出された動き領域の座標及び計算された重心位置（座標）並びに動き領域の速度ベクトルは、特徴ベクトル計算手段１５に出力される。尚、動き領域検出及び重心計算手段１４は、切り出し領域以外の画素については処理を行わない。これにより、後述する識別計算部３０において、特定動作を精度高く識別することができ、特定動作検出装置１全体として、高速処理を実現することができる。
【００３１】
特徴ベクトル計算手段１５は、動き領域検出及び重心計算手段１４から動き領域の座標及び重心位置並びに速度ベクトルを入力し、動き領域を含む切り出し領域に対し、動き領域の重心位置を中心にして、予め設定された方式により得られた数のブロックに区切る。そして、特徴ベクトル計算手段１５は、ブロック内の各画素について、速度ベクトル（方向）に基づいて、その方向が、予め設定された所定数分の動き方位のうちのいずれの動き方位に該当するかを判定し、フレーム番号、動き方位番号及びブロック番号毎に、その動き方位に該当する画素数を要素とした特徴ベクトルを計算する。
【００３２】
図３（ａ）〜（ｄ）は、動き領域の重心位置を中心にして、予め設定された方式により得られた数のブロックに区切るブロック分割手法を説明する図である。丸印が重心位置であり、実線が分割線である。図３（ａ）は、重心位置を中心にして垂直の縦線及び水平の横線によって、４個のブロックに分割した画像を示している。図３（ｂ）は、重心位置を中心にして４本の放射状の直線によって、８個のブロックに分割した画像を示している。図３（ｃ）は、重心位置を中心にして、動き成分を持つ画素位置分布に対し垂直及び水平方向の位置の標準偏差によって、正負共に１倍の標準偏差の箇所で区切り、１６個のブロックに分割した画像を示している。図３（ｄ）は、重心位置を中心にして、動き成分を持つ画素位置分布に対し垂直及び水平方向の位置の標準偏差によって、正負共に２倍の標準偏差の箇所で区切り、３６個のブロックに分割した画像を示している。このように、特徴ベクトル計算手段１５は、動き領域を含む切り出し領域に対し、予め設定された手法に従って、図３（ａ）〜（ｄ）に示した数のブロックに区切る。
【００３３】
斜め方向に分割する図３（ｂ）、または標準偏差によって分割する図３（ｃ）（ｄ）に示したブロック分割手法を用いることにより、より細かな動きを反映した特徴ベクトルを計算することができる。
【００３４】
図４（ａ）〜（ｃ）は、動き方位を説明する図である。図４（ａ）は、垂直の直線及び水平の直線により、均等に円周を４個の動き方位に分割した例を示している。図４（ｂ）は、所定の角度の斜め方向の直線により４個の動き方位に分割した例を示している。この例は、分割角度について、水平方向の割合を少なくし、垂直方向の割合を多くしている。この場合、均等に分割するようにしてもよい。図４（ｃ）は、所定の角度の直線により１２個の動き方位に不均等に分割した例を示している。この場合、均等に分割するようにしてもよいし、１６個の動き方位に分割するようにしてもよい。このように、特徴ベクトル計算手段１５は、ブロック内の各画素について、速度ベクトルを構成する大きさ及び方向のうちの方向のデータに基づいて、その方向が、予め設定された所定数分の動き方位のうちのいずれの動き方位に該当するか、またはいずれにも該当しないかを判定する。例えば、図４（ａ）に示した動き方位を用いる場合、特徴ベクトル計算手段１５は、ブロック内の画素について、速度ベクトルの方向のデータと、図４（ａ）の動き方位（右上方向、右下方向、左上方向、左下方向）とを比較し、該当する動き方位を判定する。すなわち、速度ベクトルの方向のデータに基づいて、物体がどの向きに動いたかを判定する。いずれにも該当しない場合は動きがないものとする。
【００３５】
図５は、動き方位数を４、ブロック数を４に設定した場合の動き方位を反映した画像例を示す図であり、図３（ａ）に示した４個のブロックに分割する手法、及び図４（ａ）に示した４個の動き方位に分割する手法を用いた例を示している。図５において、斜線部が左上方向の動き方位が判定された画素を示し、黒塗り部が右下方向の動き方位が判定された画素を示している。
【００３６】
特徴ベクトル計算手段１５は、各ブロックの各画素について動き方位を判定した後、ｘtm,ori,blkを要素とする特徴ベクトルを計算する。ここで、ｔｍはフレーム番号、ｏｒｉは動き方位番号、ｂｌｋはブロック番号を示す。ｘtm,ori,blkは、フレームｔｍ及びブロックｂｌｋにおける画素に対し、動き方位ｏｒｉが判定された画素数である。特徴ベクトルｘは以下の式により表される。
ｘ＝（ｘ0,0,0，ｘ1,0,0，・・・，ｘTM,0,0，ｘ0,1,0，・・・，ｘTM,ORI,0，ｘ0,0,1，・・・，ｘTM,ORI,BLK）
ここで、ＴＭは本特徴ベクトルに組み込むフレームの総数−１、ＯＲＩは動き方位を表す円周を分割した総数−１、ＢＬＫは動き領域の重心位置を中心にしてブロックに分割した総数−１を示す。したがって、特徴ベクトルｘの次元は（ＴＭ＋１）×（ＯＲＩ＋１）×（ＢＬＫ＋１）となる。
【００３７】
尚、ここでは、特徴ベクトルを、フレーム番号、動き方位番号及びブロック番号による３次元の要素、すなわち、所定フレームの所定ブロック内に存在する所定動き方位の画素数を要素にしたベクトルとしたが、フレーム番号、動き方位番号及びブロック番号に加えて、動き大きさ番号を含む４次元の要素としたベクトルとしてもよい。この場合、特徴ベクトル計算手段１５は、ブロック内の各画素について、速度ベクトル（方向）に基づいて、その方向が、予め設定された所定数分の動き方位のうちのいずれの動き方位に該当するかを判定し、かつ、速度ベクトル（大きさ）に基づいて、その大きさが、予め設定された所定数分の大きさのうちいずれの大きさに該当するかを判定し、フレーム番号、動き方位番号及びブロック番号毎に、その動き方位及び大きさに該当する画素数を要素とした特徴ベクトルを計算する。
【００３８】
図６は、フレーム数８、動き方位数１０、ブロック数４に設定した場合の特徴ベクトルｘをヒストグラムで表した例を示す図である。図６において、縦軸は特徴ベクトルｘの要素の値（画素数）、横軸は特徴ベクトルｘの要素を特定するための番号（フレーム番号，動き方位番号，ブロック番号）、点線は動き方位の境を示す。最左端は、フレーム番号＝０、動き方位番号＝０、ブロック番号＝０の要素の画素数、第１番目の点線位置の手前は、フレーム番号＝７、動き方位番号＝０、ブロック番号＝０の要素の画素数、第１番目の点線位置は、フレーム番号＝０、動き方位番号＝１、ブロック番号＝０の要素の画素数、最右端は、フレーム番号＝７、動き方位番号＝９、ブロック番号＝３の要素の画素数が示してある。
【００３９】
ここで、特徴ベクトル計算手段１５は、特徴ベクトルｘにおいて、そのヒストグラムの特定のビン（特定の要素）の値が他の値に比べて極端に大きい場合には、他のバランスを考慮して、その極端に大きい値を予め設定された適切な値に変更する。例えば、以下のシグモイド関数を用いて適切な値に変更する。
ｙ＝１／（１＋ｅ-a(x1-b)）
ここで、ｘ１は計算した特徴ベクトルｘの要素の値、ｙは変更後の値、ａ，ｂは予め設定された定数を示す。これにより、ノイズの影響をなくすことができる。
【００４０】
図１に戻って、特定動作テンプレート作成部２０には、特定動作の特徴ベクトルがテンプレートとして予め記憶されている。特定動作テンプレート作成部２０は、特定動作毎の特徴ベクトルを記憶するため、特徴量計算部１０により計算された特徴ベクトルを入力すると共に、その特徴ベクトルの動作（特定動作）名称を入力し、特定動作の名称と特徴ベクトルとを対にして記憶する。具体的には、特徴量計算部１０は、映像から特定動作として検出されるフレームのタイミング、すなわち、野球の投球動作の場合はボールのリリースの瞬間、テニスのサーブ動作の場合はラケットがボールに当たる瞬間、相撲の立会い動作の場合は立会い後に両力士がぶつかる瞬間のフレームを中心として、所定時間のフレームに対し特徴ベクトルを計算する。また、特定動作テンプレート作成部２０は、特徴量計算部１０から特徴ベクトル及びその特定動作の名称を入力し、テンプレートとして記憶する。例えば、特定動作が投球動作の場合、特徴量計算部１０は、代表的な１０名の投手毎にセンターカメラにより撮影された３シーンの映像を対象にして特徴ベクトルを計算し、特定動作テンプレート作成部２０は、特徴量計算部１０により計算された各特徴ベクトルを記憶するようにしてもよいし、これらの特徴ベクトルの各要素を平均化して記憶するようにしてもよい。尚、映像から特定動作として検出されるタイミングは、予め設定される。
【００４１】
識別計算部３０は、特徴量計算部１０により計算された特徴ベクトルと、特定動作テンプレート作成部２０により記憶されたテンプレートの特定動作の名称及び特徴ベクトルとを入力し、特定動作の名称によって検出対象であると判定した場合、これらの特徴ベクトルを比較することにより、特定動作を識別する。識別手法としては、例えば、部分空間法、単純テンプレートマッチング法、複数テンプレートマッチング法、ＳＶＭ（サポートベクターマシン）等を用いる。
【００４２】
例えば、部分空間法を用いる場合、識別計算部３０は、特定動作テンプレート作成部２０から、複数の特徴ベクトルを入力し、これらの特徴ベクトルを用いて部分空間を生成する。そして、識別計算部３０は、特徴量計算部１０から入力した特徴ベクトルを部分空間に射影し、その射影した結果の大きさと予め設定された閾値とを比較し、射影の大きさが閾値以上であるときに、特徴量計算部１０から入力した特徴ベクトルを構成するフレームの映像が投球動作であると判定する。
【００４３】
また、複数テンプレートマッチング法を用いる場合、識別計算部３０は、特定動作テンプレート作成部２０から、複数の特徴ベクトルを入力し、これらの特徴ベクトルと特徴量計算部１０から入力した特徴ベクトルとの間で内積をそれぞれ計算する。そして、識別計算部３０は、その計算結果と予め設定された閾値とを比較し、計算結果が閾値以上となる特徴ベクトルの数が所定数以上のときに、特徴量計算部１０から入力した特徴ベクトルを構成するフレームの映像が投球動作であると判定する。
【００４４】
尚、識別計算部３０は、部分空間法または複数テンプレートマッチング法に用いるテンプレートの特徴ベクトルを、特定動作テンプレート作成部２０から入力した複数の特徴ベクトルから選定するようにしてもよい。具体的には、識別計算部３０は、特定動作テンプレート作成部２０から複数の特徴ベクトルを入力し、これらの複数の特徴ベクトルの各要素を平均化し、平均化特徴ベクトルを計算する。そして、識別計算部３０は、入力した複数の特徴ベクトルと平均化特徴ベクトルとの間で内積をそれぞれ計算し、その計算結果が大きい方から所定数の特徴ベクトルを選定する。識別計算部３０は、選定した所定数の特徴ベクトルと特徴量計算部１０から入力した特徴ベクトルとを用いることにより、特定動作を検出する。これにより、特定動作の識別精度を高めることができ、識別処理の高速化を実現することができる。また、識別計算部３０は、複数テンプレートマッチング法に用いる特徴ベクトルを選定することなく、特定動作テンプレート作成部２０に記憶された投球動作についての全ての特徴ベクトルを対象にして内積を計算し、識別処理を行うようにしてもよい。
【００４５】
また、識別計算部３０は、前述した部分空間法、複数テンプレートマッチング法等の識別手法を組み合わせて用いるようにしてもよい。この場合、識別計算部３０は、全ての識別手法において条件を満たす場合（投球動作であると判定した場合）、総合的な結果として、投球動作であると判定する。
【００４６】
尚、特徴量計算部１０が右投げの投手についての特徴ベクトルを計算した場合には、識別計算部３０は、特定動作テンプレート作成部２０から、予め設定された利き腕の区別に従って、右投げの投手についての特徴ベクトルのみを入力し、特定動作を検出するようにしてもよい。このように、右投げの投手についての特徴ベクトル及び左投げの投手についての特徴ベクトルを別々のテンプレートとして特定動作テンプレート作成部２０に予め記憶しておき、識別計算部３０は、特徴量計算部１０が右投げの投手について特徴ベクトルを計算した場合、特定動作テンプレート作成部２０から右投げの投手についての特徴ベクトルのみを入力し、特徴量計算部１０が左投げの投手について特徴ベクトルを計算した場合、特定動作テンプレート作成部２０から左投げの投手についての特徴ベクトルのみを入力し、特定動作を検出する。これにより、特定動作の識別精度を高めることができ、特定動作を一層正確に検出することができる。
【００４７】
以上のように、本発明の実施形態による特定動作検出装置１によれば、特定動作テンプレート作成部２０には、特定動作の特徴ベクトルがテンプレートとして予め記憶されており、特徴量計算部１０は、特定動作を検出したい映像から特徴ベクトルを計算し、識別計算部３０は、特徴量計算部１０により計算された特徴ベクトルと、特定動作テンプレート作成部２０により記憶されたテンプレートの特徴ベクトルとを比較し、特定動作を識別するようにした。この特徴ベクトルは、フレーム番号、動き方位番号及びブロック番号による要素、すなわち、所定フレームの所定ブロック内に存在する所定動き方位の画素数を要素にしたベクトルである。
【００４８】
映像の中で頻繁に現れる特徴的な動作を検出する場合には、その特定動作の特徴ベクトルを特定動作テンプレート作成部２０に記憶させておけばよいから、簡易な手法にて特定動作を検出することができる。
【００４９】
また、前述した特許文献２の特定動作検出装置のような、スポーツ毎に異なるルール情報を設定したり、映像情報以外の音響情報を取得したりする必要がないから、簡易な手法にて特定動作を検出することができる。
【００５０】
また、切り出し領域に対してのみ、動き領域の検出、重心計算、特徴ベクトル計算等の処理を行えばよいから、画面全体に対して処理を行う場合に比べ、特定動作検出装置１全体として、高速処理を実現することができる。また、画面内の複数の領域で、特定動作とは関係のない動きが発生する場合であっても、特定動作を高速かつ正確に検出することができる。これにより、映像の中で頻繁に現れる特徴的な動作を、高速かつ正確に検出することができる。
【００５１】
尚、特定動作検出装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。特定動作検出装置１に備えた特徴量計算部１０、特定動作テンプレート作成部２０及び識別計算部３０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。特徴量計算部１０に備えた時間積分手段１１、背景差分手段１２、オプティカルフロー計算手段１３、動き領域検出及び重心計算手段１４、特徴ベクトル計算手段１５及び領域切り出し手段１６についても同様である。
【符号の説明】
【００５２】
１  特定動作検出装置
１０  特徴量計算部
１１  時間積分手段
１２  背景差分手段
１３  オプティカルフロー計算手段
１４  動き領域検出及び重心計算手段
１５  特徴ベクトル計算手段
１６  領域切り出し手段
２０  特定動作テンプレート作成部
３０  識別計算部
【図１】
2010267029.tif 000006
【図２】
2010267029.tif 000007
【図３】
2010267029.tif 000008
【図４】
2010267029.tif 000009
【図５】
2010267029.tif 000010
【図６】
2010267029.tif 000011