(57)【特許請求の範囲】
【請求項１】
時系列に連続した複数のフレーム画像からなる照合用映像に基づいて、前記複数のフレーム画像毎に、照合用映像内の物体または人体の動きの履歴を各画素の画素値の変化で表したＭｏｔｉｏｎ  Ｈｉｓｔｏｒｙ  Ｉｍａｇｅ（ＭＨＩ）を照合用ＭＨＩとして作成する作成手段と、
前記作成手段により作成されたフレーム画像毎の照合用ＭＨＩの各々と、分析対象の動作を表すテンプレート用映像から作成されたフレーム毎のＭＨＩをテンプレートＭＨＩとして時系列に並べた時系列テンプレートＭＨＩとを照合し、前記照合用ＭＨＩの各々と最も類似する前記テンプレートＭＨＩが前記時系列テンプレートＭＨＩの何番目のテンプレートＭＨＩであるかを示す情報、及び前記照合用ＭＨＩにおける前記テンプレートＭＨＩの位置を照合結果として出力する照合手段と、
を含む動作分析装置。
【請求項２】
前記照合用ＭＨＩ及び前記テンプレートＭＨＩは、各画素の画素値が第１画素値から第２画素値の範囲で表され、かつ処理対象のフレーム画像において動きが認識された部分に対応する画素の画素値を前記第１画素値とし、動きが認識されなかった部分に対応する画素の画素値を、時間の経過と共に徐々に前記第２画素値へ変化させたＭＨＩであって、前記フレーム画像毎に、前記第２画素値へ変化させる程度を異ならせた複数のＭＨＩを含む請求項１記載の動作分析装置。
【請求項３】
作成手段と、照合手段とを含む動作分析装置における動作分析方法であって、
前記作成手段は、時系列に連続した複数のフレーム画像からなる照合用映像に基づいて、前記複数のフレーム画像毎に、照合用映像内の物体または人体の動きの履歴を各画素の画素値の変化で表したＭｏｔｉｏｎ  Ｈｉｓｔｏｒｙ  Ｉｍａｇｅ（ＭＨＩ）を照合用ＭＨＩとして作成し、
前記照合手段は、前記作成手段により作成されたフレーム画像毎の照合用ＭＨＩの各々と、分析対象の動作を表すテンプレート用映像から作成されたフレーム毎のＭＨＩをテンプレートＭＨＩとして時系列に並べた時系列テンプレートＭＨＩとを照合し、前記照合用ＭＨＩの各々と最も類似する前記テンプレートＭＨＩが前記時系列テンプレートＭＨＩの何番目のテンプレートＭＨＩであるかを示す情報、及び前記照合用ＭＨＩにおける前記テンプレートＭＨＩの位置を照合結果として出力する
動作分析方法。
【請求項４】
コンピュータを、請求項１または請求項２記載の動作分析装置を構成する各手段として機能させるための動作分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作分析装置、方法、及びプログラムに係り、特に、アピアランス（物体・人体などの見え方）に基づいて物体や人体などの動作を分析する動作分析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
物体や人体などの動作の分析は、コンピュータビジョンと呼ばれる技術分野において極めて重要である。そのための手法の一つとしてアピアランスに基づく方法が広く用いられている。中でも、Ｍｏｔｉｏｎ  Ｈｉｓｔｏｒｙ  Ｉｍａｇｅ（ＭＨＩ）に基づく手法は、実装の簡便さなどから極めて広く利用されている（例えば、非特許文献１参照）。
【０００３】
ＭＨＩは、物体の動きを表現する画像であり、各画素の画素値として、近い時間に動きがあると明るい値が与えられ、動きがないと次第に暗くなっていく。具体的には、時系列に連続するフレーム画像（映像）において、最近のフレーム（処理対象のフレーム）において輝度変化が認識された部分に対応する画素には、明るい輝度値が与えられ、時間の経過と共にその輝度値が暗くなっていく画像である。暗くなる程度はＤｅｃａｙｉｎｇパラメータにより定められる。
【０００４】
ＭＨＩは、ノイズに強い手法であり、検索対象となる動作を１枚のＭＨＩにより表現し（テンプレートＭＨＩ）、テンプレートＭＨＩと照合対象の映像から作成されたＭＨＩとの照合により、検索対象の動作が発生している箇所を同定する試みが行われている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Bobick et al., "The recognition of human movement using temporal templates", IEEE TPAMI, 23(3), pp.257-267, 2001.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
バイオメカニクス分野では、特定の動作（例えばピッチングフォーム）の分析を目標とし、例えば、一連の動作内での状態（姿勢など）がどのような時間発展で生じるのか、また、一連の動作の異なる試行（トライアル）において、各姿勢が検出される位置のトライアル毎の違いなどを分析したいという要求がある。
【０００７】
しかしながら、従来の手法では、ＭＨＩはパラメータにより定まる一定時間の動作の履歴を保持した１枚の画像であるため、テンプレートＭＨＩによる照合では、テンプレートＭＨＩと最も類似した時刻が得られるのみである。そのため、動作内での状態の時間発展、すなわち、前回のトライアルにおける動作よりゆっくりした動きをしたであるとか、動作内のある時点まではゆっくりした動きをしたが、その後、素早い動きをしたといった、動作中の状態がどのように時間的に遷移したか、ということを分析することができない、という問題がある。同様に、その動作中の状態が、前回のトライアル時と比べてどのような位置関係の場所で起きているか、ということを分析することができない、という問題がある。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、同一動作の異なるトライアルにおいて、トライアル間での動きの相違を分析することができる動作分析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の動作分析装置は、時系列に連続した複数のフレーム画像からなる照合用映像に基づいて、前記複数のフレーム画像毎に、照合用映像内の物体または人体の動きの履歴を各画素の画素値の変化で表したＭｏｔｉｏｎ  Ｈｉｓｔｏｒｙ  Ｉｍａｇｅ（ＭＨＩ）を照合用ＭＨＩとして作成する作成手段と、前記作成手段により作成されたフレーム画像毎の照合用ＭＨＩの各々と、分析対象の動作を表すテンプレート用映像から作成されたフレーム毎のＭＨＩをテンプレートＭＨＩとして時系列に並べた時系列テンプレートＭＨＩとを照合し、前記照合用ＭＨＩの各々と最も類似する前記テンプレートＭＨＩが前記時系列テンプレートＭＨＩの何番目のテンプレートＭＨＩであるかを示す情報、及び前記照合用ＭＨＩにおける前記テンプレートＭＨＩの位置を照合結果として出力する照合手段と、を含んで構成されている。
【００１０】
本発明の動作分析装置によれば、作成手段が、時系列に連続した複数のフレーム画像からなる照合用映像に基づいて、複数のフレーム画像毎に、照合用映像内の物体または人体の動きの履歴を各画素の画素値の変化で表したＭｏｔｉｏｎ  Ｈｉｓｔｏｒｙ  Ｉｍａｇｅ（ＭＨＩ）を照合用ＭＨＩとして作成する。画素値は、例えば、輝度値や色情報などとすることができる。画素値の変化としては、例えば、最近動きが認識された画素は明るい輝度値を与え、動きが認識されない画素は時間の経過と共に輝度値を暗くするなどして、映像内の物体または人体の動きの履歴を表現する。
【００１１】
そして、照合手段が、作成手段により作成されたフレーム画像毎の照合用ＭＨＩの各々と、分析対象の動作を表すテンプレート用映像から作成されたフレーム毎のＭＨＩをテンプレートＭＨＩとして時系列に並べた時系列テンプレートＭＨＩとを照合し、照合用ＭＨＩの各々と最も類似する前記テンプレートＭＨＩが時系列テンプレートＭＨＩの何番目のテンプレートＭＨＩであるかを示す情報、及び照合用ＭＨＩにおけるテンプレートＭＨＩの位置を照合結果として出力する。
【００１２】
このように、フレーム画像毎のテンプレートＭＨＩを時系列に並べた時系列テンプレートＭＨＩと、フレーム画像毎に作成された照合用ＭＨＩとを照合して、最も類似するテンプレートＭＨＩ及びその位置を得るため、同一動作の異なるトライアルにおいて、動作中の状態の時間的遷移や位置関係などのトライアル間での動きの相違を分析することができる。
【００１３】
また、前記照合用ＭＨＩ及び前記テンプレートＭＨＩは、各画素の画素値が第１画素値から第２画素値の範囲で表され、かつ処理対象のフレーム画像において動きが認識された部分に対応する画素の画素値を前記第１画素値とし、動きが認識されなかった部分に対応する画素の画素値を、時間の経過と共に徐々に前記第２画素値へ変化させたＭＨＩであって、前記フレーム画像毎に、前記第２画素値へ変化させる程度を異ならせた複数のＭＨＩを含むことができる。
【００１４】
このように、フレーム画像毎のＭＨＩにおいて、画素値の変化の程度を異ならせた複数のＭＨＩを作成することで、動作の中で動きの速度が変化する場合にも対応した、適切なＭＨＩを得ることができる。
【００１５】
また、本発明の動作分析方法は、作成手段と、照合手段とを含む動作分析装置における動作分析方法であって、前記作成手段は、時系列に連続した複数のフレーム画像からなる照合用映像に基づいて、前記複数のフレーム画像毎に、照合用映像内の物体または人体の動きの履歴を各画素の画素値の変化で表したＭｏｔｉｏｎＨｉｓｔｏｒｙＩｍａｇｅ（ＭＨＩ）を照合用ＭＨＩとして作成し、前記照合手段は、前記作成手段により作成されたフレーム画像毎の照合用ＭＨＩの各々と、分析対象の動作を表すテンプレート用映像から作成されたフレーム毎のＭＨＩをテンプレートＭＨＩとして時系列に並べた時系列テンプレートＭＨＩとを照合し、前記照合用ＭＨＩの各々と最も類似する前記テンプレートＭＨＩが前記時系列テンプレートＭＨＩの何番目のテンプレートＭＨＩであるかを示す情報、及び前記照合用ＭＨＩにおける前記テンプレートＭＨＩの位置を照合結果として出力する方法である。
【００１６】
また、本発明の動作分析プログラムは、コンピュータを、上記の動作分析装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１７】
以上説明したように、本発明の動作分析装置、方法、及びプログラムによれば、フレーム画像毎のテンプレートＭＨＩを時系列に並べた時系列テンプレートＭＨＩと、フレーム画像毎に作成された照合用ＭＨＩとを照合して、最も類似するテンプレートＭＨＩ及びその位置を得るため、同一動作の異なるトライアルにおいて、トライアル間での動きの相違を分析することができる、という効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】第１及び第２の実施の形態の動作分析装置の機能的構成を示すブロック図である。
【図２】第１の実施の形態の動作分析装置におけるテンプレート設定処理ルーチンの内容を示すフローチャートである。
【図３】第１の実施の形態における各時刻のＭＨＩ作成方法を説明するための図である。
【図４】時系列テンプレートＭＨＩシーケンスの一例を示す図である。
【図５】第１の実施の形態の動作分析装置におけるテンプレート照合処理ルーチンの内容を示すフローチャートである。
【図６】照合結果の一例を示す図である。
【図７】Ｄｅｃａｙｉｎｇパラメータの相違によるＭＨＩの相違を説明するための図である。
【図８】第２の実施の形態における各時刻のマルチタイムスケールＭＨＩ作成方法を説明するための図である。
【図９】テンプレート領域の情報の他の設定方法を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２０】
第１の実施の形態に係る動作分析装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述するテンプレート設定処理ルーチン及びテンプレート照合処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、テンプレート設定部２０及びテンプレート照合部４０を含んだ構成で表すことができる。
【００２１】
テンプレート設定部２０は、設定部２２を含んだ構成で表すことができる。また、テンプレート照合部４０は、ＭＨＩ作成部４２及び照合部４４を含んだ構成で表すことができる。
【００２２】
設定部２２は、分析対象の動作を表すテンプレート用の映像を入力とし、テンプレート領域記憶部２４に記憶されたテンプレート領域の情報に基づいて、その領域に対応したＭＨＩ画像によるテンプレートＭＨＩを作成して、テンプレート記憶部３０に記憶する。後述するように、各時刻におけるＭＨＩ画像によるテンプレートＭＨＩが時系列に作成されるため、以下では、時系列に作成された複数のテンプレートＭＨＩを「時系列テンプレートＭＨＩシーケンス」と呼ぶ。
【００２３】
入力されるテンプレート用の映像は、分析対象の動作を表す映像（時系列に連続した複数フレームの画像）であり、予め記憶装置に記憶された映像ファイルから入力してもよいし、カメラで撮影された映像を入力してもよい。また、映像の各フレームには、フレーム番号ｔが付与されており、フレーム番号ｔのフレームは時刻ｔのフレームであることを示す。
【００２４】
時系列テンプレートＭＨＩシーケンスは、テンプレート用の映像における各時刻のフレーム画像から各時刻におけるＭＨＩを作成して、時系列に並べることにより作成する。具体的には、時刻ｔにおけるＭＨＩの画素（ｘ，ｙ）での画素値Ｈ（ｘ，ｙ，ｔ）を、下記（１）式により求める。なお、ここでは、ＭＨＩの画素値として０（暗い）〜２５５（明るい）の値を与える場合について説明する。
【００２５】
【数１】
0005766623.tif 000002
【００２６】
ここで、ｇはＤｅｃａｙｉｎｇパラメータであり、動きが認識されない画素について、時間の経過と共にその輝度値を暗くする際の暗くする程度を示すパラメータである。ここでは、ＭＨＩの画素値として０〜２５５の２５６階調を用いるため、ｇ＝４ということは、２５６／４＝６４フレーム分の情報により構成されるＭＨＩと言える。同様にｇ＝１６では、１６フレーム分、６４では４フレーム分の情報から構成されるＭＨＩとなる。
【００２７】
Ｄ（ｘ，ｙ，ｔ）は、入力された映像における時刻ｔのフレーム内の画素（ｘ，ｙ）に物体または動きが存在するかを判定する関数である。例えば、背景差分やフレーム間差分の閾値処理などを利用することができ、
Ｄ（ｘ，ｙ，ｔ）＝ＴＨ（Ｉ（ｘ，ｙ，ｔ）−Ｉ（ｘ，ｙ，ｔ−１））
などを用いることができる。ここで、Ｉ（ｘ，ｙ，ｔ）は、時刻ｔのフレーム内の画素（ｘ，ｙ）の画素値をあらわす。また、ＴＨ（ａ）は、ａを閾値処理により二値化する関数であり、例えば、ａが閾値以上であれば、画素（ｘ，ｙ）に物体または動きが存在すると判定して“１”を返し、ａが閾値未満であれば、画素（ｘ，ｙ）に物体または動きが存在しないと判定して“０”を返す関数である。閾値の設定方法は予め定めておくものとする。常に一定の閾値を用いることも可能であるし、大津の二値化法のように、クラス間分散÷クラス内分散を最大化する閾値を動的に設定しても構わない。
【００２８】
テンプレート領域の情報は、入力されたテンプレート用の映像の中で時系列テンプレートＭＨＩシーケンスを作成するために用いるフレームを示す情報として、テンプレート作成開始フレーム番号及びテンプレート作成終了フレーム番号を含む。また、テンプレートとして切り出す領域を示す情報として、テンプレート位置及び大きさを含む。このようなテンプレート領域の情報が、テンプレート領域記憶部２４に予め記憶されている。設定部２２では、作成された各時刻のテンプレートＭＨＩから、このテンプレート領域の情報が示す部分を切り出して、各部分（切り出されたテンプレートＭＨＩ）にユニークなテンプレート番号を付与して、時系列テンプレートＭＨＩシーケンスとしてテンプレート記憶部３０に記憶する。
【００２９】
ＭＨＩ作成部４２は、照合用の映像を入力とし、探索範囲記憶部４６に記憶された探索範囲の情報に基づいて、その範囲に対応した照合用ＭＨＩを作成し、時刻ｔ毎に照合用ＭＨＩを更新する。
【００３０】
入力される照合用映像は、予め記憶装置に記憶された映像ファイルから入力してもよいし、カメラで撮影された映像を入力してもよい。また、映像の各フレームには、フレーム番号ｔが付与されている。
【００３１】
各時刻ｔの照合用ＭＨＩは、設定部２２と同様に、ＭＨＩの画素（ｘ，ｙ）での画素値Ｈ（ｘ，ｙ，ｔ）を（１）式により求めることにより作成または更新する。
【００３２】
探索範囲の情報は、作成された照合用ＭＨＩからテンプレートＭＨＩとの照合を行うための範囲を定めたものであり、画像中の（空間的な）範囲を示す位置及び大きさなどである。探索範囲は矩形である必要はない。また、照合用ＭＨＩ全体を探索範囲とする場合には、探索範囲を予め定めておく必要はない。
【００３３】
照合部４４は、ＭＨＩ作成部４２で作成され、探索範囲で切り出された照合用ＭＨＩを入力とし、探索範囲内の照合領域とテンプレート記憶部３０に記憶された時系列テンプレートＭＨＩシーケンスとを照合して、最も類似するテンプレートＭＨＩのテンプレート番号、及び照合領域の位置を出力する。
【００３４】
より具体的には、探索範囲内をテンプレートＭＨＩと同サイズの探索枠で走査しながら、探索枠内の照合用ＭＨＩを照合領域として抽出する。抽出された各位置における照合領域と時系列テンプレートＭＨＩシーケンスの各テンプレートＭＨＩとを比較し、例えば、画像間のユークリッド距離などを用いて最も類似するテンプレートＭＨＩのテンプレート番号を取得する。また、その照合領域を抽出した際の探索枠の位置を取得する。探索枠の位置は、例えば、探索枠のいずれかの角や中心の座標位置（水平方向位置及び垂直方向位置）とすることができる。なお、テンプレートＭＨＩと照合領域との比較は、上記の画像間のユークリッド距離に限定されず、画像同志を比較する方法及び距離尺度として従来既知の手法を適用することができる。
【００３５】
次に、図２を参照して、第１の実施の形態の動作分析装置１０において実行されるテンプレート設定処理ルーチンについて説明する。
【００３６】
ステップ１００で、テンプレート領域記憶部２４に記憶されたテンプレート領域の情報（テンプレート作成開始フレーム番号ｔＳ、テンプレート作成終了フレーム番号ｔＥ、テンプレート位置及び大きさ）を読み出す。
【００３７】
次に、ステップ１０２で、テンプレート用映像から時系列に沿って時刻ｔ（フレーム番号ｔ）の１フレームを読み込む。最初に読み込むフレームは、フレーム番号ｔＳのフレームより所定フレーム前（例えば、１フレーム前）のフレームとする。
【００３８】
次に、ステップ１０４で、時刻ｔのテンプレートＭＨＩを作成する。具体的には、図３に示すように、時刻ｔのフレーム（入力画像）と１時刻遅れ（ｔ−１）のフレームとの差分をとるなどして、時刻ｔのフレーム内の各画素（ｘ，ｙ）に物体または動きが存在するか否かを示す２値化を行う。そして、（１）式に従って、動きが存在する画素の画素値を２５５にすると共に、動きが存在しないと判定された画素の画素値を、１時刻遅れのフレームのＭＨＩの画素値からｇだけ暗くしたＭＨＩを作成する。
【００３９】
次に、ステップ１０６で、上記ステップ１０２で読み込んだフレームのフレーム番号ｔが、上記ステップ１００で読み出したテンプレート作成開始フレーム番号ｔＳ以上、かつテンプレート作成終了フレーム番号ｔＥ以下か否かを判定する。ｔＳ≦ｔ≦ｔＥの場合には、ステップ１０８へ移行し、上記ステップ１０４で作成したテンプレートＭＨＩから、上記ステップ１００で読み出したテンプレート領域の情報が示すテンプレート位置及び大きさのテンプレート領域を切り出して、時刻ｔのテンプレートＭＨＩとしてユニークなテンプレート番号を付与して、テンプレート記憶部３０に記憶する。そして、ステップ１０２へ戻り、次のフレームを読み込んで、処理を繰り返す。
【００４０】
一方、上記ステップ１０６で、ｔ＜ｔＳまたはｔ＞ｔＥと判定された場合には、ステップ１１０へ移行し、現在のフレーム番号ｔがテンプレート作成終了フレーム番号ｔＥを超えたか否かを判定する。ｔ≦ｔＥの場合には、ステップ１０２へ戻り、次のフレームを読み込んで、処理を繰り返す。ｔ＞ｔＥの場合には、テンプレート設定処理を終了する。
【００４１】
これにより、テンプレート記憶部３０に、ｔＳ〜ｔＥの各時刻ｔにおけるテンプレートＭＨＩが時系列に並んだ時系列テンプレートＭＨＩシーケンスが記憶された状態となる。図４に時系列テンプレートＭＨＩシーケンスの例を示す。図４の例は、投手がボールを投げる動作に関する時系列テンプレートＭＨＩシーケンスであり、各画像の下の数値はテンプレート番号を示している。
【００４２】
次に、図５を参照して、第１の実施の形態の動作分析装置１０において実行されるテンプレート照合処理ルーチンについて説明する。
【００４３】
ステップ１２０で、探索範囲記憶部４６に記憶された探索範囲の情報（画像中の（空間的な）範囲を示す位置及び大きさ）を読み出す。次に、ステップ１２２で、照合用映像から時系列に沿って時刻ｔ（フレーム番号ｔ）の１フレームを読み込む。
【００４４】
次に、ステップ１２４で、上記テンプレート設定処理のステップ１０４と同様に、時刻ｔの照合用ＭＨＩを作成する。２フレーム目以降の処理の場合には、１フレーム目で作成した照合用ＭＨＩを更新することにより、時刻ｔの照合用ＭＨＩとする。
【００４５】
次に、ステップ１２６で、上記ステップ１２４で作成または更新された照合用ＭＨＩから、上記ステップ１２０で読み出した探索範囲を切り出し、後段の処理（ステップ１３０）へ受け渡す。
【００４６】
次に、ステップ１２８で、照合用映像が終了したか否かを判定し、終了していない場合には、ステップ１２２へ戻り、次のフレームを読み込んで、処理を繰り返す。照合用映像が終了した場合には、ステップ１３０へ移行する。
【００４７】
ステップ１３０では、上記ステップ１２６で照合用ＭＨＩ切り出された各時刻ｔにおける探索範囲内各々をテンプレートＭＨＩと同サイズの探索枠で走査しながら、探索枠内の照合用ＭＨＩを照合領域として抽出する。照合用ＭＨＩの各位置において抽出された照合領域各々と時系列テンプレートＭＨＩシーケンスの各テンプレートＭＨＩとを比較し、最も類似するテンプレートＭＨＩのテンプレート番号を取得する。また、その照合領域を抽出した際の探索枠の位置を取得する。
【００４８】
次に、ステップ１３２で、上記ステップ１３０での照合結果を出力して、テンプレート照合処理を終了する。
【００４９】
図６に、照合結果の一例を示す。図６上部は確認用の映像表示であり、図６下部が照合結果を示している。図６下部の３つの図は、左から、照合領域と最も類似するテンプレートＭＨＩのテンプレート番号、その照合領域が抽出された水平方向位置、及び垂直方向位置を示しており、いずれも横軸が時間である。図６に示す通り、時系列テンプレートＭＨＩシーケンス中のどのテンプレートＭＨＩに最も類似しているか、また、その状態がどの時刻に、どの場所（画像上の位置）で現れたかを可視化することができる。より具体的には、図６左図からは、動作中の状態がどのように時間的に遷移したかということを分析することができる、図６中央図及び右図からは、異なるトライアル間での位置関係の相違等を分析することができる。
【００５０】
以上説明したように、第１の実施の形態の動作分析装置によれば、各時刻のテンプレートＭＨＩを時系列に並べた時系列テンプレートＭＨＩシーケンスを作成しておき、照合用映像の各時刻において作成された照合用ＭＨＩと最も類似するテンプレートＭＨＩ及びその位置を得るため、同一動作の異なるトライアルにおいて、トライアル間での動きの相違を分析することができる。
【００５１】
次に、第２の実施の形態について説明する。なお、第２の実施の形態の動作分析装置について、第１の実施の形態の動作分析装置１０と同様の部分については、同一符号を付して、詳細な説明を省略する。
【００５２】
図１に示すように、第２の実施の形態に係る動作分析装置２１０は、テンプレート設定部２２０及びテンプレート照合部２４０を含み、テンプレート設定部２２０は、設定部２２２を含んだ構成で表すことができ、また、テンプレート照合部２４０は、ＭＨＩ作成部２４２及び照合部２４４を含んだ構成で表すことができる。
【００５３】
ここで、第２の実施の形態で用いるＭＨＩの原理について説明する。
【００５４】
ＭＨＩは、オブジェクトの動きの速度により適切なＤｅｃａｙｉｎｇパラメータが異なる。動きが速い場合に、小さなＤｅｃａｙｉｎｇパラメータを用いると、時間分解能の極めて小さいＭＨＩとなってしまう。一方、動きが遅い場合に、大きなＤｅｃａｙｉｎｇパラメータを用いると、動きがほとんど検出されないＭＨＩとなってしまう。これを第１の実施の形態のように時系列に拡張する場合、動作の中で動きの速度が変化するため単一のＤｅｃａｙｉｎｇパラメータにより適切なＭＨＩを得ることが困難な場合もある。
【００５５】
この例を、図７を参照して説明する。図７は、投球動作を表すＭＨＩの例であり、３０ｆｐｓ（フレーム／秒）の映像を対象とした処理結果である。詳細には、時刻１，２，・・・，５，・・・，１０，・・・，２０において、Ｄｅｃａｙｉｎｇパラメータｄ（τ）＝４，１６，６４とした場合の各ＭＨＩを示している。図７の上段は、映像内のその時刻におけるフレーム画像を示している。例えば、Ｄｅｃａｙｉｎｇパラメータｄ（τ）＝４では、時刻２，５，１０のＭＨＩは極めて類似する。ｄ（τ）＝６４では、時刻２，５，１０で得られるＭＨＩに大きな違いが確認できる。しかし、ｄ（τ）＝６４、時刻１０の場合のＭＨＩを見ると、動き（画素値が明るい画素）がほとんど含まれておらず、動きを検出することが困難になることが想像される。
【００５６】
そこで、第１の実施の形態で用いた各時刻におけるテンプレートＭＨＩ及び照合用ＭＨＩを、異なる複数のＤｅｃａｙｉｎｇパラメータにより生成した複数のＭＨＩをセットにした新しいＭＨＩに拡張し、上記の問題を解決する。第２の実施の形態では、このように拡張されたＭＨＩを、「マルチタイムスケールＭＨＩ」と呼ぶ。以下、各部について詳述する。
【００５７】
設定部２２２は、第１の実施の形態の設定部２２と同様に、テンプレート用の映像を入力とし、テンプレート領域記憶部２４に記憶されたテンプレート領域の情報に基づいて、時系列テンプレートＭＨＩシーケンスを作成する。ただし、各時刻のテンプレートＭＨＩは、上記原理に従って、マルチタイムスケールＭＨＩとして作成する。具体的には、マルチタイムスケールＭＨＩを、ｍＨ（ｘ，ｙ，ｔ）＝｛Ｈ１（ｘ，ｙ，ｔ），・・・，ＨＮ（ｘ，ｙ，ｔ）｝とし、下記（２）式により求める。
【００５８】
【数２】
0005766623.tif 000003
【００５９】
ここで、Ｎは予め定めたタイムスケール数であり、ｄ（１），ｄ（２），・・・，ｄ（Ｎ）は、各タイムスケールにおけるＤｅｃａｙｉｎｇパラメータである。設定部２２２では、作成された各時刻のタイムスケール毎のテンプレートＭＨＩから、テンプレート領域の情報が示す部分を切り出して、各部分（切り出されたテンプレートＭＨＩ）にユニークなテンプレート番号を付与して、時系列テンプレートＭＨＩシーケンスとしてテンプレート記憶部３０に記憶する。
【００６０】
ＭＨＩ作成部２４２は、第１の実施の形態のＭＨＩ作成部４２と同様に、照合用の映像を入力とし、探索範囲記憶部４６に記憶された探索範囲の情報に基づいて、その範囲に対応した照合用ＭＨＩを作成し、時刻ｔ毎に照合用ＭＨＩを更新する。ただし、各時刻の照合用ＭＨＩは、上記原理に従って、（２）式により、マルチタイムスケールＭＨＩとして作成または更新する。
【００６１】
照合部２４４は、第１の実施の形態の照合部４４と同様に、ＭＨＩ作成部４２で作成され、探索範囲で切り出された照合用ＭＨＩを入力とし、探索範囲内の照合領域とテンプレート記憶部３０に記憶された時系列テンプレートＭＨＩシーケンスとを照合して、最も類似するテンプレートＭＨＩのテンプレート番号、及び照合領域の位置を出力する。照合領域と各テンプレートＭＨＩとを比較する際には、Ｄｅｃａｙｉｎｇパラメータが同一の画像同士を比較する。
【００６２】
第２の実施の形態の動作分析装置２１０におけるテンプレート設定処理及びテンプレート照合処理は、第１の実施の形態の動作分析装置１０におけるテンプレート設定処理及びテンプレート照合処理においてＭＨＩを作成する点に替えて、マルチタイムスケールＭＨＩを作成する点が異なるだけであるので、図８を参照して、マルチタイムスケールＭＨＩの作成方法について説明する。
【００６３】
まず、時刻ｔのフレーム（入力画像）と１時刻遅れ（ｔ−１）のフレームとの差分をとるなどして、時刻ｔのフレーム内の各画素（ｘ，ｙ）に物体または動きが存在するか否かを示す２値化を行う。これがＤ（ｘ，ｙ，ｔ）に相当する。そして、（２）式に従って、動きが存在する画素（Ｄ（ｘ，ｙ，ｔ）＝１の画素）の画素値を２５５にすると共に、動きが存在しないと判定された画素（Ｄ（ｘ，ｙ，ｔ）＝０の画素）の画素値を、Ｄｅｃａｙｉｎｇパラメータ＝ｄ（１）として作成された１時刻遅れのフレームのＭＨＩの画素値からｄ（１）だけ暗くしたＭＨＩ１を作成する。また、動きが存在する画素（Ｄ（ｘ，ｙ，ｔ）＝１の画素）の画素値を２５５にすると共に、動きが存在しないと判定された画素（Ｄ（ｘ，ｙ，ｔ）＝０の画素）の画素値を、Ｄｅｃａｙｉｎｇパラメータ＝ｄ（２）として作成された１時刻遅れのフレームのＭＨＩの画素値からｄ（２）だけ暗くしたＭＨＩ２を作成する。同様に、タイムスケール毎にＭＨＩＮまで作成する。すなわち、時刻ｔについてＤｅｃａｙｉｎｇパラメータが異なるＮ個のＭＨＩを作成する。
【００６４】
以上説明したように、第２の実施の形態の動作分析処理装置によれば、時系列に並んだ複数のマルチタイムスケールＭＨＩを時系列テンプレートＭＨＩシーケンスとして作成しておき、照合用映像の各時刻においてもマルチタイムスケールＭＨＩにより照合用ＭＨＩを作成して、最も類似するテンプレートＭＨＩ及びその位置を得るため、同一動作の異なるトライアルにおいて、トライアル間での動きの相違をより詳細に分析することができる。
【００６５】
なお、上記第１及び第２の実施の形態では、予めテンプレート領域記憶部２４に記憶したテンプレート領域の情報を用いて、テンプレート領域を切り出す場合について説明したが、入力されたテンプレート用映像を確認しながら、マウス操作等によって、テンプレート作成開始フレーム、終了フレーム、テンプレート位置及び大きさ等を指定してもよい。この例を図９に示す。
【００６６】
図９のインタフェースでは、入力された映像が表示される映像再生ウィンドウ５０の横に、テンプレート作成開始ボタン５２、テンプレート作成終了ボタン５４、映像再生ボタン５６、コマ送りボタン５８が配置されている。このようなインタフェースにおいては、マウスのクリック、キーボードの矢印キーなどを用いて、映像再生ボタン５６を選択することにより、映像再生ウィンドウ５０に映像を表示する。コマ送りボタン５８を選択して、映像を１フレームずつコマ送りしながら、テンプレート作成開始フレームが表示されたところで、テンプレート作成開始ボタン５２を選択する。引き続き映像を１フレームずつコマ送りしながら、各フレームにおいて、マウス等の操作により映像再生ウィンドウ５０上でテンプレートＭＨＩとして切り出す部分、すなわちテンプレート位置及び大きさを指定する。そして、テンプレート作成終了フレームが表示されたところで、テンプレート作成終了ボタン５４を選択する。このように、映像を再生及び確認しながら、テンプレート領域の情報を指定することができる。
【００６７】
また、上記実施の形態では、ＭＨＩの各画素を明るい輝度値から時間の経過と共に暗くすることにより動きの履歴を表現する場合について説明したが、暗い輝度値から徐々に暗くしたり、ある色（例えば赤色）から徐々に他の色（例えば青色）に変化させたりすることにより、動きの履歴を表現するようにしてもよい。
【００６８】
また、上記実施の形態では、テンプレート設定部とテンプレート照合部とを同一のコンピュータで構成する場合について説明したが、別々のコンピュータで構成するようにしてもよい。
【００６９】
また、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７０】
また、上述の動作分析装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００７１】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００７２】
１０、２１０  動作分析装置
２０、２２０  テンプレート設定部
２２、２２２  設定部
２４   テンプレート領域記憶部
３０   テンプレート記憶部
４０、２４０  テンプレート照合部
４２、２４２  ＭＨＩ作成部
４４、２４４  照合部
４６   探索範囲記憶部
【図１】
0005766623.tif 000004
【図２】
0005766623.tif 000005
【図３】
0005766623.tif 000006
【図４】
0005766623.tif 000007
【図５】
0005766623.tif 000008
【図６】
0005766623.tif 000009
【図７】
0005766623.tif 000010
【図８】
0005766623.tif 000011
【図９】
0005766623.tif 000012