(57)【要約】【課題】映像から特定の動作のシーンを高精度で判定することができる特定動作判定装置を提供する。【解決手段】特定動作判定装置５は、入力映像のフレーム画像の、当該フレーム画像に連続する隣接フレーム画像に対する撮影時のずれを補正する撮影方向補正手段５２と、補正されたフレーム画像と隣接フレーム画像との差分画像を生成して所定の基準により複数の特徴量を算出する特徴量算出手段５３と、この特徴量を時系列に並べて次元圧縮した時系列データを生成する時系列データ算出手段５４と、この時系列データと、リファレンス時系列データ記憶装置３に記憶された、人物の特定の動作の映像における当該人物の領域の動きの特徴を示すリファレンス時系列データとの相関係数を算出して、所定の閾値以上となる区間に対応する映像を特定の動作の映像と判定する動作判定手段５６とを備えることを特徴とする。【選択図】図１
2008287594.tif 000002
【特許請求の範囲】
【請求項１】
人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを補正し、補正された当該フレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて前記人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出し、この特徴量を前記映像ごとに時系列に並べて次元圧縮して生成されたリファレンス時系列データを予め記憶するリファレンス時系列データ記憶装置から、当該リファレンス時系列データを参照して、入力された入力映像から、当該入力映像に含まれる人物の特定の動作の映像を判定する特定動作判定装置であって、
前記入力映像の時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正する撮影方向補正手段と、
この撮影方向補正手段によって補正されたフレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて前記所定の基準により正規化された複数の特徴量を算出する特徴量算出手段と、
この特徴量算出手段によって算出された特徴量を当該入力映像において時系列に並べて次元圧縮した時系列データを生成する時系列データ算出手段と、
前記リファレンス時系列データ記憶装置に記憶された前記リファレンス時系列データと、前記時系列データ算出手段によって生成された時系列データとの相関係数を算出して、前記時系列データにおいて、前記相関係数が所定の閾値以上となる区間に対応する映像を前記特定の動作の映像と判定する動作判定手段と、
を備えることを特徴とする特定動作判定装置。
【請求項２】
請求項１に記載の特定動作判定装置において用いられる、人物の特定の動作の映像における前記人物の領域の動きの特徴を示すリファレンス時系列データを生成するリファレンスデータ生成装置であって、
前記人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正する撮影方向補正手段と、
この撮影方向補正手段によって補正されたフレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて前記人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出する特徴量算出手段と、
この特徴量算出手段によって算出された特徴量を当該映像において時系列に並べて次元圧縮した前記リファレンス時系列データを生成する時系列データ算出手段と、
を備えることを特徴とするリファレンスデータ生成装置。
【請求項３】
人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを補正し、補正された当該フレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて前記人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出し、この特徴量を前記映像ごとに時系列に並べて次元圧縮して生成されたリファレンス時系列データを予め記憶するリファレンス時系列データ記憶装置から、当該リファレンス時系列データを参照して、入力された入力映像から、当該入力映像に含まれる人物の特定の動作の映像を判定するためにコンピュータを、
前記入力映像の時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正する撮影方向補正手段、
この撮影方向補正手段によって補正されたフレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて所定の基準により正規化された複数の前記特徴量を算出する特徴量算出手段、
この特徴量算出手段によって算出された特徴量を当該入力映像において時系列に並べて次元圧縮した時系列データを生成する時系列データ算出手段、
前記リファレンス時系列データ記憶装置に記憶された前記リファレンス時系列データと、前記時系列データ算出手段によって生成された時系列データとの相関係数を算出して、前記時系列データにおいて、前記相関係数が所定の閾値以上となる区間に対応する映像を前記特定の動作の映像と判定する動作判定手段、
として機能させることを特徴とする特定動作判定プログラム。
【請求項４】
請求項１に記載の特定動作判定装置において用いられる、人物の特定の動作の映像における前記人物の領域の動きの特徴を示すリファレンス時系列データを生成するためにコンピュータを、
前記人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正する撮影方向補正手段、
この撮影方向補正手段によって補正されたフレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて前記人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出する特徴量算出手段、
この特徴量算出手段によって算出された特徴量を当該映像において時系列に並べて次元圧縮した前記リファレンス時系列データを生成する時系列データ算出手段、
として機能させることを特徴とするリファレンスデータ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像解析の技術に係り、特に、映像に含まれる人物の特定の動作を判定するための特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラムに関する。
【背景技術】
【０００２】
一般に、投球シーンでは、ピッチャの後ろから撮影した映像（以下、ＰＣサイズ映像と言う）が放送される。そのため、野球中継の映像から投球シーンを抽出するためには、当該映像からＰＣサイズ映像を検知すれば投球シーンをもれなく収集することが可能に思える。しかし、実際にはピッチャの交代の場面などの投球シーン以外でもＰＣサイズ映像が用いられる場合があるため、ＰＣサイズ映像を検知しても、投球シーンのみを抽出することはできず、更には、投球のタイミングを判定することはできない。
【０００３】
そこで、従来、テレビ放送等の映像信号から所望のシーンを検索する方法が提案されている。例えば、事前に登録されたバッタの顔の特徴量やピッチャ領域の上下動の推移の情報を参照して、野球のプレイの開始時刻と終了時刻を判定し、オンプレイ映像を抽出する方法が開示されている（特許文献１参照）。
【０００４】
また、スポーツ番組の画面中央付近の文字スーパによる得点表示によって得点シーンを検出し、また、映像中の物体や背景の動きベクトル量により特徴的なシーンを検出する方法が提案されている（特許文献２参照）。
【特許文献１】特開２００６−２３８３９３号公報（段落番号００３４〜００８９）
【特許文献２】特開平１１−５５６１３号公報（段落番号００２４〜００３５）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の方法では、顔の特徴量を登録するため、予め登録すべき情報が膨大になり、また、処理負荷も高くなるため、リアルタイム処理に向かない。更に、ピッチャの上下動の推移はシンプルな特徴量であるため、投球以外の動作を投球動作と誤判定してしまう可能性があるという問題があった。
【０００６】
また、特許文献２に記載の方法では、スーパ表示から特定シーンを判定するが、スーパ表示のない映像から特定のシーンを判定することはできない。更に、動きベクトルを用いた判定では単純な閾値処理によって判定しているため、誤判定する可能性があるという問題があった。
【０００７】
なお、野球のイベント（例えば、三振、ヒット、ダブルプレーなど）は、ほとんどが投球シーンを起点としている。従って、野球のイベントを判定するためには、まず投球シーンを識別することが肝要である。そして、このようなイベントの情報を、過去の膨大な映像にメタデータとして付与する場合において、この膨大な映像から投球シーンのような特定の動作のシーンを自動的に判定することが望まれていた。
【０００８】
本発明は、前記従来技術の問題を解決するために成されたもので、顔の特徴量や、スーパ表示を用いずに、映像から特定の動作のシーンを高精度で判定することができる特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、請求項１に記載の特定動作判定装置は、人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを補正し、補正された当該フレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて前記人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出し、この特徴量を前記映像ごとに時系列に並べて次元圧縮して生成されたリファレンス時系列データを予め記憶するリファレンス時系列データ記憶装置から、当該リファレンス時系列データを参照して、入力された入力映像から、当該入力映像に含まれる人物の特定の動作の映像を判定する特定動作判定装置であって、撮影方向補正手段と、特徴量算出手段と、時系列データ算出手段と、動作判定手段とを備える構成とした。
【００１０】
かかる構成によれば、特定動作判定装置は、撮影方向補正手段によって、入力映像の時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正し、特徴量算出手段によって、撮影方向補正手段で補正されたフレーム画像と、隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて所定の基準により正規化された複数の特徴量を算出する。また、特定動作判定装置は、時系列データ算出手段によって、特徴量算出手段で算出された特徴量を当該入力映像において時系列に並べて次元圧縮した時系列データを生成し、動作判定手段によって、リファレンス時系列データ記憶装置に記憶されたリファレンス時系列データと、時系列データ算出手段で生成された時系列データとの相関係数を算出して、時系列データにおいて、相関係数が所定の閾値以上となる区間に対応する映像を特定の動作の映像と判定する。
【００１１】
これによって、特定動作判定装置は、入力映像から時系列データを生成して、入力映像に含まれる特定の動作の映像を判定することができる。ここで、特定の動作の映像を用いて、リファレンス時系列データが予め生成されている。このリファレンス時系列データは、特定の動作の映像におけるフレーム画像間の差分画像から解析されるため、当該特定の動作の映像における人物の領域の動きの特徴を示すものであり、また、時系列データは、入力映像におけるフレーム画像間の差分画像から解析されるため、入力映像における人物の領域の動きの特徴を示すものとなる。そのため、特定動作判定装置は、時系列データにおいて、リファレンス時系列データと相関の高い区間に対応する入力映像内の映像を特定の動作の映像と判定することができる。
【００１２】
また、請求項２に記載のリファレンスデータ生成装置は、請求項１に記載の特定動作判定装置において用いられる、人物の特定の動作の映像における前記人物の領域の動きの特徴を示すリファレンス時系列データを生成するリファレンスデータ生成装置であって、撮影方向補正手段と、特徴量算出手段と、時系列データ算出手段とを備える構成とした。
【００１３】
かかる構成によれば、リファレンスデータ生成装置は、撮影方向補正手段によって、人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正し、特徴量算出手段によって、撮影方向補正手段で補正されたフレーム画像と、隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出する。また、リファレンスデータ生成装置は、時系列データ算出手段によって、特徴量算出手段で算出された特徴量を当該映像において時系列に並べて次元圧縮したリファレンス時系列データを生成する。
【００１４】
これによって、リファレンスデータ生成装置は、特定の動作の映像から、当該特定の動作の映像における人物の領域の動きの特徴を示すリファレンス時系列データを生成することができる。
【００１５】
更に、請求項３に記載の特定動作判定プログラムは、人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを補正し、補正された当該フレーム画像と、前記隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて前記人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出し、この特徴量を前記映像ごとに時系列に並べて次元圧縮して生成されたリファレンス時系列データを予め記憶するリファレンス時系列データ記憶装置から、当該リファレンス時系列データを参照して、入力された入力映像から、当該入力映像に含まれる人物の特定の動作の映像を判定するために、コンピュータを、撮影方向補正手段、特徴量算出手段、時系列データ算出手段、動作判定手段として機能させることとした。
【００１６】
かかる構成によれば、特定動作判定プログラムは、撮影方向補正手段によって、入力映像の時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正し、特徴量算出手段によって、撮影方向補正手段で補正されたフレーム画像と、隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて所定の基準により正規化された複数の特徴量を算出する。また、特定動作判定プログラムは、時系列データ算出手段によって、特徴量算出手段で算出された特徴量を当該入力映像において時系列に並べて次元圧縮した時系列データを生成し、動作判定手段によって、リファレンス時系列データ記憶装置に記憶されたリファレンス時系列データと、時系列データ算出手段で生成された時系列データとの相関係数を算出して、時系列データにおいて、相関係数が所定の閾値以上となる区間に対応する映像を特定の動作の映像と判定する。
【００１７】
これによって、特定動作判定プログラムは、入力映像から時系列データを生成して、入力映像に含まれる特定の動作の映像を判定することができる。ここで、特定の動作の映像を用いて、特定の動作の映像における人物の領域の動きの特徴を示すリファレンス時系列データを予め生成しておくことで、特定動作判定プログラムは、時系列データにおいて、リファレンス時系列データと相関の高い区間に対応する映像を特定の動作の映像と判定することができる。
【００１８】
また、請求項４に記載のリファレンスデータ生成プログラムは、請求項１に記載の特定動作判定装置において用いられる、人物の特定の動作の映像における前記人物の領域の動きの特徴を示すリファレンス時系列データを生成するために、コンピュータを、撮影方向補正手段、特徴量算出手段、時系列データ算出手段として機能させることとした。
【００１９】
かかる構成によれば、リファレンスデータ生成プログラムは、撮影方向補正手段によって、人物の特定の動作の映像における時系列のフレーム画像の各々について、当該フレーム画像に連続する他のフレーム画像である隣接フレーム画像に対する、当該フレーム画像全体の撮影時のずれを検出して補正し、特徴量算出手段によって、撮影方向補正手段で補正されたフレーム画像と、隣接フレーム画像との差分画像を生成して、当該差分画像に基づいて人物の領域の動きの特徴を示す所定の基準により正規化された複数の特徴量を算出する。また、リファレンスデータ生成プログラムは、時系列データ算出手段によって、特徴量算出手段で算出された特徴量を当該映像において時系列に並べて次元圧縮したリファレンス時系列データを生成する。
【００２０】
これによって、リファレンスデータ生成プログラムは、特定の動作の映像から、当該特定の動作の映像における人物の領域の動きの特徴を示すリファレンス時系列データを生成することができる。
【発明の効果】
【００２１】
本発明に係る特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラムでは、以下のような優れた効果を奏する。
【００２２】
請求項１又は請求項３に記載の発明によれば、入力映像の時系列データに基づいて、当該入力映像に含まれる特定の動作の映像を判定することができる。そして、従来のように、顔を識別する必要がなく、更に、時系列データを生成する際に特徴量を次元圧縮するため、処理負荷を低くすることができる。また、従来のスーパ表示のように後から映像に付加された付加情報を用いる必要がないので、付加情報の付加されていない入力映像に対しても適用することができる。また、入力映像内の人物の領域の動きの特徴を示す時系列データに基づいて、人物の特定の動作の映像であるかを判定するため、高精度に特定の動作の映像であるかを判定することができる。
【００２３】
請求項２又は請求項４に記載の発明によれば、特定の動作の映像からリファレンス時系列データを生成することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、本発明におけるリファレンスデータ生成装置及び特定動作判定装置を備える特定動作抽出システムについて説明する。
【００２５】
［特定動作抽出システムの構成］
まず、図１を参照して、特定動作抽出システムＳの構成について説明する。図１は、本発明のリファレンスデータ生成装置及び特定動作判定装置を備える特定動作抽出システムの構成を示したブロック図である。
【００２６】
特定動作抽出システムＳは、人物の特定の動作が撮影された複数の過去の映像である特定動作映像に基づいて、当該動作による人物の動きの特徴を示すリファレンス時系列データを生成して、当該リファレンス時系列データに基づいて、外部から入力された入力映像から、この入力映像に含まれる当該動作の映像を判定するものである。特定動作抽出システムＳは、リファレンスデータ生成装置１と、リファレンス時系列データ記憶装置３と、特定動作判定装置５とを備えて構成されている。なお、ここでは、特定動作抽出システムＳが、野球の投球の動作の映像（シーン）を抽出する場合を例に説明するが、カメラを固定して撮影する固定撮影に近い状態で撮影される映像であれば、投球動作に限らず、野球の他の動作や、様々なスポーツの動作や、スポーツ以外の動作にも適用可能である。
【００２７】
リファレンスデータ生成装置１は、外部から入力された特定動作映像に基づいて、当該動作による人物の動きの特徴を示すリファレンス時系列データを生成するものである。ここで生成されたリファレンス時系列データは、リファレンス時系列データ記憶装置３に記憶される。
【００２８】
なお、ここで入力される特定動作映像とは、人物の特定の動作の映像であり、例えば、過去に撮影された映像から、人手によって特定の動作の開始から終了までの区間のみが抽出された映像である。また、リファレンス時系列データは、特定動作映像の人物の動きの特徴を示すものであり、後記する特定動作判定装置５において、特定の動作の映像であるか否かを判定する基準となるデータである。
【００２９】
リファレンス時系列データ記憶装置３は、リファレンスデータ生成装置１によって生成されたリファレンス時系列データを記憶するもので、ハードディスク等の一般的な記憶手段である。このリファレンス時系列データは、特定動作判定装置５によって参照されて用いられる。
【００３０】
特定動作判定装置５は、リファレンス時系列データ記憶装置３に記憶されたリファレンス時系列データに基づいて、外部から入力された入力映像から、人物の特定の動作の映像を判定するものである。ここで特定の動作の映像と判定された映像の区間を示す情報は、外部に出力される。
【００３１】
ここで、特定動作判定装置５は、リファレンスデータ生成装置１がリファレンス時系列データを生成する方法と同じ方法によって、入力映像における人物の動きの特徴を示す時系列データを生成する。そして、リファレンス時系列データ記憶装置３に記憶されたリファレンス時系列データを、特定の動作の映像の特徴量を学習した学習結果として用い、このリファレンス時系列データに対して相関の高い時系列データに対応する区間の映像を特定の動作の映像と判定する。なお、特定動作判定装置５によって入力映像を判定する際には、すでにリファレンス時系列データがリファレンス時系列データ記憶装置３に記憶されていることとする。
【００３２】
以下、リファレンスデータ生成装置１と、特定動作判定装置５との詳細な構成について説明する。
（リファレンスデータ生成装置の構成）
リファレンスデータ生成装置１の構成について説明する。リファレンスデータ生成装置１は、画像記憶手段１１と、撮影方向補正手段１２と、特徴量算出手段１３と、時系列データ算出手段１４とを備える。
【００３３】
画像記憶手段１１は、外部から入力された特定動作映像を記憶して、各種の信号／画像処理をするためのメモリであり、例えば、特定動作映像を１フレーム単位でデジタルデータとして記録するものである。ここで記憶されるフレーム画像は１フレーム分遅延されて、撮影方向補正手段１２及び特徴量算出手段１３に出力される。
【００３４】
撮影方向補正手段１２は、外部から入力された入力信号のフレーム画像（以下、現フレーム画像Ｉｍａｇｅｔと言う）の、画像記憶手段１１から入力された１フレーム遅延されたフレーム画像（隣接フレーム画像Ｉｍａｇｅｔ−１）に対する撮影方向のずれによる画像のずれを補正するものである。ここで補正された現フレーム画像Ｉｍａｇｅｔは、特徴量算出手段１３に出力される。
【００３５】
ここで、野球中継における投球映像は、固定撮影とみなせるほど撮影時のカメラの撮影方向は変化しない場合が多いが、実際にはカメラマンの手の震えや、カメラの設置位置の振動等によって、カメラには微小な揺れが生じる。そして、後記する特徴量算出手段１３では、現フレーム画像Ｉｍａｇｅｔと隣接フレーム画像Ｉｍａｇｅｔ−１との差分画像を生成して、当該現フレーム画像Ｉｍａｇｅｔ内の人物領域における動きを検出するが、この時に現フレーム画像Ｉｍａｇｅｔに、隣接フレーム画像Ｉｍａｇｅｔ−１に対してカメラの揺れによるずれが生じていると、正確な人物領域の動きの解析が困難になる。そこで、ここでは、撮影方向補正手段１２によって、現フレーム画像Ｉｍａｇｅｔの隣接フレーム画像Ｉｍａｇｅｔ−１に対する動きベクトルを算出して、現フレーム画像Ｉｍａｇｅｔ全体の位置を補正することとした。
【００３６】
この動きベクトルは、例えば、ブロックマッチング法によって算出することができる。ここで、図２を参照（適宜図１参照）して、撮影方向補正手段１２がブロックマッチング法によって動きベクトルを算出して、現フレーム画像Ｉｍａｇｅｔのずれを補正する方法について説明する。図２は、現フレーム画像と、現フレーム画像内の注目矩形領域との例を模式的に示す模式図、（ａ）は、現フレーム画像の例を模式的に示す模式図、（ｂ）は、（ａ）のＢで示した、現フレーム画像内の注目矩形領域の例を模式的に示す模式図である。
【００３７】
まず、撮影方向補正手段１２は、図２（ａ）に示す現フレーム画像Ｉｍａｇｅｔ内に注目矩形領域Ｂを設定する。ここでは、撮影方向補正手段１２は、操作者からの指令に基づいて、注目矩形領域Ｂを設定することとした。ここで、野球中継の投球シーンでは、撮影方向がほぼ固定されるため、看板などの特徴的は背景はいつも同じ位置に現れる。そのため、ひとつの野球中継において、操作者は、領域（注目矩形領域Ｂ）の位置及び大きさを一度指定すれば、以降変更せずに同じ領域を用いることができる。このとき、なるべく選手の領域にかからない領域が指定されることが好ましい。なお、撮影方向補正手段１２は、操作者からの指令によらず、例えば、所定の位置に所定の大きさの注目矩形領域Ｂを自動で設定することとしてもよい。
【００３８】
そして、図２（ｂ）に示すような注目矩形領域Ｂが設定されたとする。そうすると、撮影方向補正手段１２は、ブロックマッチングにより、画像記憶手段１１から入力された１フレーム遅延された隣接フレーム画像Ｉｍａｇｅｔ−１から、この注目矩形領域Ｂの画像と一致する箇所を求めて、この注目矩形領域Ｂの動きベクトルを求める。ここで、動きベクトルが例えば（１，２）であった場合に、撮影方向補正手段１２は、現フレーム画像Ｉｍａｇｅｔの全画素を（−１，−２）ずつ移動することで、現フレーム画像Ｉｍａｇｅｔと隣接フレーム画像Ｉｍａｇｅｔ−１と間のずれを補正することができる。ここで、撮影方向補正手段１２には、特定動作映像を構成する現フレーム画像Ｉｍａｇｅｔと隣接フレーム画像Ｉｍａｇｅｔ−１とが順次入力され、撮影方向補正手段１２は、前記の処理をフレームごとに行う。
【００３９】
図１に戻って説明を続ける。特徴量算出手段１３は、撮影方向補正手段１２から入力された現フレーム画像Ｉｍａｇｅｔと、画像記憶手段１１から入力された隣接フレーム画像Ｉｍａｇｅｔ−１とに基づいて、特定動作映像の人物の動きの特徴を示す特徴量を算出するものである。ここで算出された特徴量は、時系列データ算出手段１４に出力される。ここで、特徴量算出手段１３は、現フレーム画像Ｉｍａｇｅｔと隣接フレーム画像Ｉｍａｇｅｔ−１との差分画像を生成して、この画像における特徴量を算出する。
【００４０】
ここでは、特徴量算出手段１３は、現フレーム画像Ｉｍａｇｅｔと隣接フレーム画像Ｉｍａｇｅｔ−１との差分を示す２値化画像を生成して、特徴量を算出することとした。以下、特徴量算出手段１３が差分を示す２値化画像を生成して、特徴量を算出する方法について説明する。
【００４１】
ここで、特徴量算出手段１３による差分算出時の画素値は、輝度であってもよいし、赤、青、緑などの特定の色としてもよい。そして、特徴量算出手段１３は、算出された差分の絶対値が閾値以上である領域の画素値を「１」、それ以外の領域の画素値を「０」とした２値化画像を生成する。これによって、現フレーム画像Ｉｍａｇｅｔと隣接フレーム画像Ｉｍａｇｅｔ−１との間で動きが生じた領域（例えば、投球時の腕）のみを抽出することができる。
【００４２】
更に、特徴量算出手段１３は、得られた差分画像（２値化画像）から、その画像における特徴量を算出する。ここで、野球の映像では、投球ごとに撮影方向が若干変化するため、差分が生じ、動きが生じた領域として抽出された領域（以下、差分領域と言う）の画像座標をそのまま特徴量とすることができない。例えば、ホームベースの重心の画像座標は、撮影方向が変われば変化する。そこで、特徴量算出手段１３は、撮影方向の変化を考慮して、撮影方向の変化の影響を排除した下記の特徴量を算出することした。なお、これらの特徴量は一例であり、特徴量算出手段１３は、人物の動きの特徴を示す他の特徴量を算出することとしてもよい。
【００４３】
ここでは、特徴量算出手段１３は、差分画像から、差分領域の画素数（以下、差分画素数と言う）、差分領域の分散、差分領域の重心の移動速度（以下、重心速度と言う）、投手領域の差分画素数、投手領域の主軸の傾きを特徴量として算出することとした。ここで、図３を参照して、特徴量算出手段１３が各特徴量を算出する方法について説明する。図３は、特徴量算出手段によって生成された差分画像を模式的に示す模式図である。なお、図３では、差分領域を白で示した。
【００４４】
＜差分画素数＞
差分画素数は、差分画像全体における差分領域の画素の総数である。ここで、特徴量算出手段１３は、差分画像の画素値が「１」である画素の総数を求める。
【００４５】
＜差分領域の分散＞
差分領域の分散は、差分領域の重心Ｃからの差分の分散である。ここで、特徴量算出手段１３は、水平方向の分散と、垂直方向の分散とを算出することとした。
【００４６】
＜重心速度＞
重心速度は、差分領域の重心Ｃの、前フレームの差分領域の重心Ｃからの移動量である。ここで、特徴量算出手段１３は、重心Ｃの水平方向の移動量と垂直方向の移動量とを算出することとした。
【００４７】
＜投手領域の差分画素数＞
投手領域の差分画素数は、例えば図３に示すように、差分領域の重心Ｃから水平及び垂直方向にそれぞれ一定画素数（例えば、σを標準偏差として２σ）以内の領域を投手領域Ｑとした時の、投手領域Ｑ内の差分領域の画素数である。更に、ここでは、特徴量算出手段１３は、投手領域Ｑを４等分して、左上領域Ｑ１、右上領域Ｑ２、左下領域Ｑ３及び右下領域Ｑ４の各々についての差分画素数も求めることとした。
【００４８】
＜投手領域の主軸の傾き＞
投手領域の主軸の傾きは、投手領域Ｒ内の差分領域の主軸Ｍの傾きである。ここで、特徴量算出手段１３は、投手領域Ｒ内の画像の２次モーメントを求めることで、投手領域の主軸の傾きを算出することができる。ここで、画像Ｉ（ｘ，ｙ）のｐ＋ｑ次モーメントＭｐｑは、以下の式（１）で表される。そして、特徴量算出手段１３は、投手領域の主軸の傾きθを以下の式（２）によって算出することができる。
【００４９】
【数１】
2008287594.tif 000003
【００５０】
更に、特徴量算出手段１３は、以上のようにして算出した各値を、０〜１の範囲で正規化して、差分画像の特徴量とする。例えば、特徴量算出手段１３は、正規化後の差分画素数ｓ＿ｃｎｔを、以下の式（３）によって算出することができる。ここで、ＮＩは、差分画像の全画素数、ＮＳは、差分画素数である。
ｓ＿ｃｎｔ＝ＮＳ／ＮＩ      …（３）
【００５１】
図１に戻って説明を続ける。時系列データ算出手段１４は、特徴量算出手段１３によって算出された特定動作映像ごとの特徴量を時系列に並べて次元圧縮するものである。ここで次元圧縮されて生成されたリファレンス時系列データは、リファレンス時系列データ記憶装置３に記憶される。
【００５２】
ここで、投球動作は３秒程度で完了することが多い。例えば、３秒間の特定動作映像である場合には、この特定動作映像は９０フレーム（３［秒］×３０［フレーム／秒］）となり、フレームごとに処理した場合に、次元ごとに９０個の特徴量が時系列に並ぶこととなる。ただし、特徴量算出手段１３によって算出された特徴量をすべて用いると次元数が高く（ここでは１１次元）、処理負荷が大きい。そこで、時系列データ算出手段１４は、特徴量について主成分分析を施し、次元を圧縮する。なお、圧縮後の次元数は、２〜５次元程度が好ましい。以下、時系列データ算出手段１４による次元圧縮について説明する。
【００５３】
時系列データ算出手段１４は、以下の式（４）に示すような特徴量の行列Ａを生成する。ここで、ａｔｊ（ｔ＝０〜Ｔ，ｊ＝１〜Ｎ）は、時刻ｔにおけるｊ番目の特徴量であり、行列Ａの成分である。また、Ｔは映像の時間長、Ｎは特徴量の種類の数（次元数）を示す。
【００５４】
【数２】
2008287594.tif 000004
【００５５】
時系列データ算出手段１４は、この行列Ａについて主成分分析を施すことで、以下の式（５）に示す固有値Ｐ０〜ＰＴと、固有ベクトルＶ０〜ＶＴが求められる。なお、式（５）では、固有値Ｐ０〜ＰＴの値が大きい順に上から並べた。ここで、ｖｉｊ（ｉ＝０〜Ｔ，ｊ＝１〜Ｎ）は、固有ベクトルＶｔの成分である。そして、時系列データ算出手段１４は、一定値以上の固有値Ｐ０〜ＰＫ（Ｋ＜Ｔ）を持つ主成分のみを利用することにより、次元数をＫ個に圧縮できる。
【００５６】
【数３】
2008287594.tif 000005
【００５７】
更に、時系列データ算出手段１４は、フレームごとに固有ベクトルと特徴量との内積を算出することで、主成分得点を算出し、この主成分得点を時系列に並べたものをリファレンス時系列データとする。リファレンス時系列データの例を、図４に示す。なお、ここでは、次元圧縮後の次元数を３とし、図４において、３次元の主成分得点の時系列のデータｓ１〜ｓ３から構成されるリファレンス時系列データの例を示している。図４は、時系列データ算出手段によって算出されたリファレンス時系列データの例を示すグラフである。図４において、横軸をフレーム数（時刻）、縦軸を主成分得点とした。
【００５８】
以上によって、リファレンスデータ生成装置１は、外部から入力された特定動作映像から、後記する特定動作判定装置５において特定の動作の映像であるか否かを判定する基準となるリファレンス時系列データを生成することができる。
【００５９】
（特定動作判定装置の構成）
次に、特定動作判定装置５の構成について説明する。特定動作判定装置５は、画像記憶手段５１と、撮影方向補正手段５２と、特徴量算出手段５３と、時系列データ算出手段５４と、入力時系列データ記憶手段５５と、動作判定手段５６とを備える。
【００６０】
画像記憶手段５１は、外部から入力された入力映像を記憶して、各種の信号／画像処理をするためのメモリであり、例えば、入力映像を１フレーム単位でデジタルデータとして記録するものである。ここで記憶されるフレーム画像は１フレーム分遅延されて、撮影方向補正手段５２及び特徴量算出手段５３に出力される。
【００６１】
撮影方向補正手段５２は、外部から入力された入力信号のフレーム画像（以下、現フレーム画像Ｉｍａｇｅｔと言う）の、画像記憶手段５１から入力された１フレーム遅延されたフレーム画像（隣接フレーム画像Ｉｍａｇｅｔ−１）に対する撮影方向のずれによる画像のずれを補正するものである。ここで補正された現フレーム画像Ｉｍａｇｅｔは、特徴量算出手段５３に出力される。なお、この撮影方向補正手段５２は、リファレンスデータ生成装置１の撮影方向補正手段１２と比べて、入力される映像が、例えば、野球中継の映像のような、特定の動作の映像を含む入力映像となり、出力先が特徴量算出手段５３となっただけで、機能は同一である。
【００６２】
特徴量算出手段５３は、撮影方向補正手段５２から入力された現フレーム画像Ｉｍａｇｅｔと、画像記憶手段５１から入力された隣接フレーム画像Ｉｍａｇｅｔ−１とに基づいて、入力映像の人物の動きの特徴を示す特徴量を算出するものである。ここで算出された特徴量は、時系列データ算出手段５４に出力される。なお、この特徴量算出手段５３は、リファレンスデータ生成装置１の特徴量算出手段１３と比べて、入力される映像が、例えば、野球中継の映像のような、特定の動作の映像を含む入力映像となり、出力先が時系列データ算出手段５４となっただけで、算出される特徴量の種類や算出方法は同一である。
【００６３】
時系列データ算出手段５４は、特徴量算出手段５３によって算出された入力映像ごとの特徴量を時系列に並べて次元圧縮するものである。ここで次元圧縮されて生成された時系列データは、入力時系列データ記憶手段５５に記憶される。なお、この時系列データ算出手段５４は、リファレンスデータ生成装置１の時系列データ算出手段１４と比べて、入力される特徴量が入力映像の特徴量となり、生成される時系列データが入力時系列データ記憶手段５５に記憶されることとしただけで、次元圧縮の方法や圧縮後の次元数は同一である。
【００６４】
ここで、特定動作判定装置５が、入力映像から人物の特定の動作の映像をリアルタイムで判定する場合には、時系列データ算出手段５４は、特徴量算出手段５３から１フレーム分の特徴量が入力されるたびに、このフレームから所定数（例えば、数秒間に相当するフレーム数）のフレームだけ遡った特徴量を時系列に並べて次元圧縮して、時系列データを生成することとしてもよい。
【００６５】
入力時系列データ記憶手段５５は、時系列データ算出手段５４によって生成された時系列データを記憶するもので、ハードディスク等の一般的な記憶手段である。この時系列データは、動作判定手段５６によって参照されて用いられる。
【００６６】
動作判定手段５６は、リファレンス時系列データ記憶装置３に記憶されたリファレンス時系列データと、入力時系列データ記憶手段５５に記憶された時系列データとの相関係数を算出し、入力映像に含まれる特定の動作（投球）の映像を判定して検出するものである。ここで特定の動作の映像と判定された映像の区間を示す情報は、外部に出力される。
【００６７】
ここで、動作判定手段５６は、ある主成分ｘについての相関係数ｒｘを、以下の式（６）によって算出することができる。ここで、Ｉｔは、時刻ｔにおける時系列データの主成分ｘの主成分得点、Ｒｔは、時刻ｔにおけるリファレンス時系列データの主成分ｘの主成分得点である。
【００６８】
【数４】
2008287594.tif 000006
【００６９】
そして、動作判定手段５６は、すべての主成分について相関係数を算出し、固有値に応じた重みを掛けて足し合わせることで、最終的な相関係数を算出する。ここで、動作判定手段５６は、以下の式（７）によって最終的な相関係数Ｒを算出することができる。なお、ｗｘは主成分ｘの重み、Ｐｘは固有値を示す。
【００７０】
【数５】
2008287594.tif 000007
【００７１】
動作判定手段５６は、この相関係数Ｒを、時系列データに対して１フレームずつずらして時系列データ全体の区間に対して算出する。なお、特定動作判定装置５が、入力映像から人物の特定の動作の映像をリアルタイムで判定する場合には、時系列データ算出手段５４によって１フレームずつ開始時刻をずらした所定数のフレーム分の時系列データが生成されるため、動作判定手段５６は、各々の時系列データについて、式（６）によって相関係数ｒｘを算出すればよい。そして、動作判定手段５６が、時系列データにおいて、相関係数が所定の閾値を越えた区間に対応する入力映像の一部の映像を、特定の動作の映像と判定し、この映像の区間を示す時刻（フレームの番号）の情報を出力する。
【００７２】
これによって、特定動作判定装置５は、リファレンス時系列データ記憶装置３に記憶されたリファレンス時系列データに基づいて、入力映像から特定の動作の映像を判定することができる。
【００７３】
以上、特定動作抽出システムＳの構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、野球の投球のシーンを判定する場合を例に挙げて説明したが、本発明のリファレンスデータ生成装置１及び特定動作判定装置５は、野球に限らず、様々な動作に適用可能である。例えば、特定動作抽出システムＳは、サッカのコーナ付近を撮影したカメラ映像を解析することで、コーナキックが行われたか否かを判定することができる。また、例えば、セキュリティの分野においても、防犯カメラ等の映像に適用することで、異常行動の判定などを行うことができる。
【００７４】
更に、特定動作抽出システムＳによって判定された映像に対してメタデータを付与することで、メタデータの生成を自動で行うことができる。また、得られた情報を、野球中継などで提示して、視聴者への状況理解を促進することも可能である。特に、テレビ放送やデータ放送や、インタネットなどに向けた映像制作を支援することに貢献できる。
【００７５】
なお、リファレンスデータ生成装置１が、特定の動作を行う人物（投手）に対応付けられた特定動作映像を、外部から順次入力することとして、この人物ごとにリファレンス時系列データを生成することとしてもよい。このとき、リファレンス時系列データ記憶装置３は、人物ごとのリファレンス時系列データを、人物を識別する識別情報（例えば、人名や投手名）に対応付けて記憶する。更に、特定動作判定装置５の動作判定手段５６は、生成された時系列データと、それぞれの人物に対応するリファレンス時系列データとの相関を分析する。そして、動作判定手段５６は、ある人物の識別情報が対応付けられたリファレンス時系列データと相関の高い時系列データに対応する映像を、当該人物の特定の動作の映像と判定することができる。このように、特定動作判定装置５は、人物を識別して特定の動作の映像を判定でき、人物の識別情報とともに、特定の動作の映像と判定された投球の映像の時刻の情報を出力することができる。
【００７６】
また、リファレンスデータ生成装置１が、リファレンス時系列データを生成する際に、例えば、操作者によって指定された特定動作映像の投球のタイミングの時刻の情報を当該リファレンス時系列データに対応付けてリファレンス時系列データ記憶装置３に記憶することとしてもよい。このとき、特定動作判定装置５の動作判定手段５６は、あるリファレンス時系列データと相関の高い時系列データに対応する映像において、当該リファレンス時系列データに対応付けられた投球タイミングの時刻に相当する時刻をこの映像における投球タイミングとすることで、特定動作判定装置５は、特定の動作の映像と判定した映像の投球のタイミングも判定して出力することができる。
【００７７】
更に、リファレンスデータ生成装置１が、リファレンス時系列データを生成する際に、投球のタイミングの時刻の情報に加えて、特徴量算出手段１３によって算出された、当該時刻に対応する人物領域の位置（重心）の情報もまた当該リファレンス時系列データに対応付けてリファレンス時系列データ記憶装置３に記憶することとしてもよい。このとき、特定動作判定装置５の動作判定手段５６は、あるリファレンス時系列データと相関の高い時系列データに対応する映像において、当該リファレンス時系列データに対応付けられた投球タイミングの時刻をこの映像における投球タイミングとするとともに、当該時刻における人物（投手）のフレーム画像内における位置も出力することができる。
【００７８】
そして、この特定動作判定装置５によって特定の動作の映像と判定された映像の区間を示す時刻の情報と、投球タイミングの時刻の情報と、人物の位置の情報とを、同一の入力映像を入力して投球の映像からボールを抽出・追跡して投球軌跡を示す軌跡画像を生成する投球軌跡作画装置（例えば、特開２００５−１２３８２４号公報参照、図示せず）に出力することとしてもよい。この投球軌跡作画装置は、入力映像の各々のフレーム画像中に、ボールを探索する狭い探索範囲を設定することで、この探索範囲内からボールをリアルタイムで抽出して追跡することができる。このような投球軌跡作画装置に野球中継の映像のみを直接入力しても、この装置では投球の有無や投球のタイミングは検出できず、更に、放送カメラでは投球の合間にカメラ動作が行われるため、投球タイミングやボールの探索範囲の初期位置を毎回手動で設定する必要があった。
【００７９】
そこで、特定動作判定装置５が、特定の動作の映像と判定された映像の区間を示す時刻の情報と、投球タイミングの時刻の情報と、人物の位置の情報とを当該投球軌跡作画装置に入力することとすると、投球軌跡作画装置は、特定動作判定装置５から入力された映像の区間を示す時刻の情報に基づいて、入力映像の当該区間について軌跡画像を作画し、投球のタイミングを示す時刻をボールの抽出開始の時刻とし、更に、人物の位置をボールのおおよそのリリースポイントとみなして、この位置の情報に基づいて探索範囲を設定することで、特定動作判定装置５と投球軌跡作画装置とを用いて、軌跡画像の生成をすべて自動で行うことが可能になる。更に、特定動作判定装置５と投球軌跡作画装置とに入力する入力映像には放送カメラ映像を用いることができるため、新たなカメラの設置やキャリブレーションの必要がなく、運用性が高い。
【００８０】
ただし、リアルタイムで軌跡画像を生成する場合において、本発明の特定動作判定装置５は、投球終了後に動作の判定がなされるため、この判定結果が投球軌跡作画装置に入力されるのを持っていては、投球軌跡作画装置が探索範囲を初期設定するタイミングを過ぎてしまう。そこで、特定動作判定装置５に入力される入力映像に比べて数秒程度遅延させた映像を投球軌跡作画装置に入力することで、特定動作判定装置５からの判定結果の入力後に、投球軌跡作画装置が、遅延された入力映像のフレーム画像中に探索範囲を初期設定し、ボールを抽出して追跡することができる。
【００８１】
なお、リファレンスデータ生成装置１及び特定動作判定装置５は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、リファレンスデータ生成プログラム及び特定動作判定プログラムとして動作させることも可能である。
【００８２】
［特定動作抽出システムの動作］
次に、図５及び図６を参照（適宜図１参照）して、本発明におけるリファレンスデータ生成装置１及び特定動作判定装置５を備える特定動作抽出システムＳの動作について説明する。図５は、本発明におけるリファレンスデータ生成装置のリファレンスデータ生成動作を示したフローチャートである。図６は、本発明における特定動作判定装置の特定動作判定動作を示したフローチャートである。
【００８３】
（リファレンスデータ生成動作）
まず、図５を参照（適宜図１参照）して、リファレンスデータ生成装置１が、特定動作判定装置５の判定における特定の動作の判定基準となるリファレンスデータを生成するリファレンスデータ生成動作について説明する。
【００８４】
リファレンスデータ生成装置１は、撮影方向補正手段１２によって、外部から特定動作映像を入力して、当該特定動作映像の現フレーム画像Ｉｍａｇｅｔの、画像記憶手段１１から入力された１フレーム遅延された隣接フレーム画像Ｉｍａｇｅｔ−１に対する撮影方向のずれによる画像のずれを補正する（ステップＳ１１）。続いて、リファレンスデータ生成装置１は、特徴量算出手段１３によって、ステップＳ１１において補正された現フレーム画像Ｉｍａｇｅｔと、画像記憶手段１１から入力された隣接フレーム画像Ｉｍａｇｅｔ−１との差分画像を生成して、この差分画像から、特定動作映像の人物の動きの特徴を示す特徴量を算出する（ステップＳ１２）。
【００８５】
そして、リファレンスデータ生成装置１は、撮影方向補正手段１２によって、この特定動作映像のすべてのフレーム画像について特徴量の算出が終了したかを判断する（ステップＳ１３）。そして、終了していない場合には（ステップＳ１３でＮｏ）、リファレンスデータ生成装置１は、ステップＳ１１に戻って、撮影方向補正手段１２が、次のフレーム画像のずれを補正する動作以降の動作を行う。
【００８６】
一方、終了した場合には（ステップＳ１３でＹｅｓ）、リファレンスデータ生成装置１は、時系列データ算出手段１４によって、ステップＳ１２において算出された当該特定動作映像の特徴量を時系列に並べて次元圧縮し、リファレンス時系列データを生成する（ステップＳ１４）。そして、リファレンスデータ生成装置１は、時系列データ算出手段１４によって、ステップＳ１４において生成されたリファレンス時系列データを、リファレンス時系列データ記憶装置３に記憶して（ステップＳ１５）動作を終了する。
【００８７】
（特定動作判定動作）
更に、図６を参照して、特定動作判定装置５が、図５に示すリファレンスデータ生成動作によって生成されたリファレンス時系列データを用いて、入力映像から特定の動作の映像を判定する特定動作判定動作について説明する。
【００８８】
特定動作判定装置５は、撮影方向補正手段５２によって、外部から入力映像を入力して、当該入力映像の現フレーム画像Ｉｍａｇｅｔの、画像記憶手段５１から入力された１フレーム遅延された隣接フレーム画像Ｉｍａｇｅｔ−１に対する撮影方向のずれによる画像のずれを補正する（ステップＳ５１）。続いて、特定動作判定装置５は、特徴量算出手段５３によって、ステップＳ５１において補正された現フレーム画像Ｉｍａｇｅｔと、画像記憶手段５１から入力された隣接フレーム画像Ｉｍａｇｅｔ−１との差分画像を生成して、この差分画像から、入力映像の人物の動きの特徴を示す特徴量を算出する（ステップＳ５２）。
【００８９】
そして、特定動作判定装置５は、撮影方向補正手段５２によって、この入力映像のすべてのフレーム画像について終了したかを判断する（ステップＳ５３）。そして、終了していない場合には（ステップＳ５３でＮｏ）、特定動作判定装置５は、ステップＳ５１に戻って、撮影方向補正手段５２が、次のフレーム画像のずれを補正する動作以降の動作を行う。
【００９０】
一方、終了した場合には（ステップＳ５３でＹｅｓ）、特定動作判定装置５は、時系列データ算出手段５４によって、ステップＳ５２において算出された当該入力映像の特徴量を時系列に並べて次元圧縮し、時系列データを生成する（ステップＳ５４）。そして、特定動作判定装置５は、時系列データ算出手段５４によって、ステップＳ５４において生成された時系列データを、入力時系列データ記憶手段５５に記憶する（ステップＳ５５）。更に、特定動作判定装置５は、動作判定手段５６によって、ステップＳ５５において記憶された時系列データと、リファレンスデータ生成動作（図５参照）によって生成された各々のリファレンス時系列データとの相関係数を算出して、相関係数が閾値以上の映像を特定の動作の映像と判定して（ステップＳ５６）、動作を終了する。
【図面の簡単な説明】
【００９１】
【図１】本発明のリファレンスデータ生成装置及び特定動作判定装置を備える特定動作抽出システムの構成を示したブロック図である。
【図２】現フレーム画像と、現フレーム画像内の注目矩形領域との例を模式的に示す模式図、（ａ）は、現フレーム画像の例を模式的に示す模式図、（ｂ）は、（ａ）のＢで示した、現フレーム画像内の注目矩形領域の例を模式的に示す模式図である。
【図３】本発明のリファレンスデータ生成装置の特徴量算出手段によって生成された差分画像を模式的に示す模式図である。
【図４】本発明のリファレンスデータ生成装置の時系列データ算出手段によって算出されたリファレンス時系列データの例を示すグラフである。
【図５】本発明におけるリファレンスデータ生成装置のリファレンスデータ生成動作を示したフローチャートである。
【図６】本発明における特定動作判定装置の特定動作判定動作を示したフローチャートである。
【符号の説明】
【００９２】
Ｓ      特定動作抽出システム
１      リファレンスデータ生成装置
１１    画像記憶手段
１２    撮影方向補正手段
１３    特徴量算出手段
１４    時系列データ算出手段
３      リファレンス時系列データ記憶装置
５      特定動作判定装置
５１    画像記憶手段
５２    撮影方向補正手段
５３    特徴量算出手段
５４    時系列データ算出手段
５５    入力時系列データ記憶手段
５６    動作判定手段
【図１】
2008287594.tif 000008
【図２】
2008287594.tif 000009
【図３】
2008287594.tif 000010
【図４】
2008287594.tif 000011
【図５】
2008287594.tif 000012
【図６】
2008287594.tif 000013