(57)【要約】【課題】特定の動作タイミングにおける画像の比較を簡便に行う。【解決手段】動作解析装置１は、ランニングを行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングの画像（フレーム画像）Ｇ１を抽出し、当該特定の動作タイミングの画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングの画像（フレーム画像）Ｇ２を抽出し、それぞれの画像Ｇ１，Ｇ２を互いに比較可能な態様で表示部１５に表示させる。【選択図】図１２
2020175047.tif 000002
【特許請求の範囲】
【請求項１】
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段と、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段と、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
を備えることを特徴とする動作解析装置。
【請求項２】
前記第１の抽出手段は、前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータがある場合、当該センシングデータから周期的に出現する前記特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影されたフレーム画像を前記映像から抽出する、
ことを特徴とする請求項１に記載の動作解析装置。
【請求項３】
前記第１の抽出手段及び前記第２の抽出手段のそれぞれは、前記特定の動作タイミングのフレーム画像に加え当該フレーム画像の前後に撮影された所定数のフレーム画像を抽出し、
前記表示制御手段は、前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれの各フレーム画像を互いに比較可能な態様で表示手段に表示させる、
ことを特徴とする請求項１又は２に記載の動作解析装置。
【請求項４】
前記表示手段に表示される前記映像のフレーム画像と前記手本映像のフレーム画像とを比較する比較手段と、
前記比較手段による比較の結果を報知する報知手段と、
を備えることを特徴とする請求項１〜３のいずれか一項に記載の動作解析装置。
【請求項５】
前記映像の被写体と前記手本映像の被写体とのうちの少なくともいずれか一方のサイズを補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせる補正手段を備え、
前記第１の抽出手段は、前記補正手段によって前記映像の被写体のサイズと前記手本映像の被写体のサイズとが合わせられた後の当該映像から前記特定の動作タイミングのフレーム画像を抽出する、
ことを特徴とする請求項１〜４のいずれか一項に記載の動作解析装置。
【請求項６】
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出工程と、
前記第１の抽出工程によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出工程と、
前記第１の抽出工程と前記第２の抽出工程とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御工程と、
を含むことを特徴とする動作解析方法。
【請求項７】
コンピュータを、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作解析装置、動作解析方法及びプログラムに関する。
【背景技術】
【０００２】
従来、実施者が技能（例えば、ゴルフ）に関する身体動作（例えば、ゴルフのスイング）を行いながら、自分（実施者）の動きと規範技能者の動きとを比較検討し、規範技能者の動きを的確に再現できているかどうかを自分自身で確認することができる身体技能習得支援装置が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５２３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されている身体技能習得支援装置では、特定の動作タイミングにおける動きを比較検討しようとした場合、実施者の操作に基づいて身体動作情報と技能情報とから当該特定の動作タイミングの画像をそれぞれ指定しなければならないため面倒であるという問題がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、特定の動作タイミングにおける画像の比較を簡便に行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る動作解析装置は、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段と、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段と、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、特定の動作タイミングにおける画像の比較を簡便に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】動作解析装置の概略構成を示すブロック図である。
【図２】センサー装置２をユーザーが装着した状態を示す図である。
【図３】測定処理の流れを示すフローチャートである。
【図４】着地タイミング設定処理の流れを示すフローチャートである。
【図５】前後方向、左右方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
【図６】離地タイミング設定処理の流れを示すフローチャートである。
【図７】前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
【図８】図７に示すグラフのうち、２８．９秒から２９．１秒の間の一部分を拡大したグラフである。
【図９】前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
【図１０】前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
【図１１】前後方向、上下方向それぞれの加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
【図１２】動作解析処理の流れを示すフローチャートである。
【図１３】ランニングフォーム比較画面の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
【００１０】
≪動作解析装置１の構成≫
本実施形態の動作解析装置１は、周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から当該ユーザーの動作を解析するための装置である。以下では、周期的な動作の繰り返しから成る運動としてランニングを例に挙げて説明を行う。
【００１１】
図１は、本発明を適用した一実施形態の動作解析装置１の概略構成を示すブロック図である。
図１に示すように、動作解析装置１は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、記憶部１３と、操作部１４と、表示部１５と、通信部１６とを備える。
【００１２】
ＣＰＵ（第１の抽出手段、第２の抽出手段、表示制御手段、比較手段、報知手段、補正手段）１１は、動作解析装置１の各部を制御する。ＣＰＵ１１は、記憶部１３に記憶されているシステムプログラム及びアプリケーションプログラムのうち、指定されたプログラムを読み出してＲＡＭ１２に展開し、当該プログラムとの協働で各種処理を実行する。
【００１３】
ＲＡＭ１２は、揮発性のメモリであり、各種のデータやプログラムを一時的に格納するワークエリアを形成する。
【００１４】
記憶部１３は、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＨＤＤ（Hard Disk Drive）などにより構成される。記憶部１３には、ＣＰＵ１１で実行されるシステムプログラムやアプリケーションプログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００１５】
また、記憶部１３には、所定の映像データを記憶するための映像記憶部（図示省略）が設けられている。所定の映像データとは、例えば、トレッドミルを用いてランニングを行っているユーザーを連続的に撮影した映像に関する映像データである。この映像記憶部に上記映像データが記憶される際、当該映像データの映像の撮影時にユーザーに装着されたセンサー装置２（後述）から取得され、当該映像と同期が取れている加速度信号データ（センシングデータ）と、ユーザーのランニング動作におけるサイクル（周期）の各局面（着地タイミング、最下点タイミング、離地タイミング、最高点タイミング等）のデータとがそれぞれ対応付けられて記憶される。このランニング動作におけるサイクル（周期）の各局面のデータは、動作解析装置１により測定処理（後述）が実行されることによって算出されるデータである。
【００１６】
また、記憶部１３には、所定の手本映像データを記憶するための手本映像記憶部（図示省略）が設けられている。ここで、所定の手本映像データとは、手本となるランナーがトレッドミルを用いてランニングを行っている様子を連続的に撮影した手本映像に関する映像データである。この所定の手本映像データは、上述した所定の映像データと同様に、当該手本映像データの映像の撮影時に手本となるランナーに装着されたセンサー装置２（後述）から取得され、当該映像と同期が取れている加速度信号データ（センシングデータ）と、当該ランナーのランニング動作におけるサイクル（周期）の各局面のデータとがそれぞれ対応付けられて手本映像記憶部に記憶される。
【００１７】
また、記憶部１３には、後述する動作解析処理（図１２参照）が実行された際、動作解析の結果として報知されるコメントを記憶したコメントテーブル（図示省略）が設けられている。このコメントテーブルには、例えば、ランニング動作におけるサイクル（周期）の局面（動作タイミング）ごとに「動作解析の対象となるランナーの姿勢と手本となるランナーの姿勢の相違点」、「コメント」等の項目が設けられており、これらの項目に関するデータが互いに対応付けられて記憶されるようになっている。
【００１８】
ここで、図２を用いて、上記センサー装置２について説明する。図２は、センサー装置２をユーザーが装着した状態を示す図である。
図２に示すように、センサー装置２は、本体部２Ａと、ベルト部２Ｂとを有しており、ベルト部２Ｂによって、ユーザーの腰の位置で本体部２Ａが固定されている。ここで、左右方向をＸ軸とし、前後方向をＹ軸とし、上下方向をＺ軸とする。Ｘ軸においては左手方向を正、右手方向を負とする。Ｙ軸においては進行方向逆向きを正とし、進行方向を負とする。Ｚ軸においては上方向を正、下方向を負とする。センサー装置２は、加速度センサー（図示省略）を備えており、この加速度センサーによって出力される３軸（Ｘ軸、Ｙ軸、Ｚ軸）方向の加速度信号データ（センシングデータ）をランニング動作時に逐次記録可能となっている。
【００１９】
操作部１４は、例えば、タッチパネルを備え、ユーザーからのタッチ入力を受け付け、その操作情報をＣＰＵ１１に出力する。
タッチパネルは、表示部１５と一体となって形成され、例えば、静電容量方式、抵抗膜方式、超音波表面弾性波方式等の各種方式により、ユーザーによる表示部１５上の接触位置のＸＹ座標を検出する。そして、タッチパネルは、接触位置のＸＹ座標に係る位置信号をＣＰＵ１１に出力する。
【００２０】
表示部（表示手段）１５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、ＣＰＵ１１から指示された表示情報に従い各種表示を行う。
【００２１】
通信部１６は、モデム、ルータ、ネットワークカード等により構成される。通信部１６は、通信ネットワークを介して接続された外部機器とのデータ送受信を行う。
【００２２】
≪動作解析装置１の動作≫
［測定処理］
次に、図３〜図１１を用いて、動作解析装置１により実行される測定処理について説明する。
【００２３】
図３は、測定処理の流れを示すフローチャートである。
なお、図５及び図７〜図１１は、前後方向、左右方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。以下の説明では、上記測定処理に加速度信号の波形がどう用いられているかを、図５及び図７〜図１１を参照して説明する。また、本実施形態では、図５及び図７〜図１１に示す部分にのみ上記測定処理が施される場合を例示して説明するが、当該測定処理は、前後方向、左右方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。
【００２４】
図３に示すように、上記測定処理が実行されると、ＣＰＵ１１は、まず、着地タイミング設定処理を行う（ステップＳ１）。ここで、着地タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面に触れたタイミングを指す。なお、着地タイミング設定処理の詳細については後述する。
【００２５】
次いで、ＣＰＵ１１は、最下点タイミングの設定を行う（ステップＳ２）。具体的には、ＣＰＵ１１は、後述する高さ位置波形Ｔの極小値Ｔｍｉｎ（図５参照）を示すタイミングを最下点タイミングとして設定する。ここで、最下点タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面に触れている間において、腰が最も低い位置を通過したタイミングを指す。
【００２６】
次いで、ＣＰＵ１１は、離地タイミング設定処理を行う（ステップＳ３）。ここで、離地タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面から離れたタイミングを指す。なお、離地タイミング設定処理の詳細については後述する。
【００２７】
次いで、ＣＰＵ１１は、最高点タイミングの設定を行う（ステップＳ４）。具体的には、ＣＰＵ１１は、後述する高さ位置波形Ｔの極大値Ｔｍａｘ（図５参照）を示すタイミングを最高点タイミングとして設定する。ここで、最高点タイミングとは、ランニング動作におけるサイクルの一局面であり、走っているユーザーの足（一方の足）が地面から離れた後、腰が最も高い位置を通過したタイミングを指す。
【００２８】
次いで、ＣＰＵ１１は、着地タイミング設定処理によって設定された着地タイミングと、離地タイミング設定処理によって設定された離地タイミングと、の差分の時間を接地時間として算出する（ステップＳ５）。
これにより、ランニング動作におけるサイクルの各局面のデータ（着地タイミング、最下点タイミング、離地タイミング、最高点タイミング、及び接地時間）が算出されて、ＣＰＵ１１は測定処理を終了する。
【００２９】
次に、上記の測定処理における着地タイミング設定処理（ステップＳ１）の詳細について説明する。
図４は、着地タイミング設定処理の流れを示すフローチャートである。
図５は、前後方向、左右方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。以下の説明では、着地タイミング設定処理に加速度信号の波形がどう用いられているかを、図５を参照して説明する。また、本実施形態では、図５に示す部分にのみ着地タイミング設定処理が施される場合を例示して説明するが、着地タイミング設定処理は、前後方向、左右方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。
【００３０】
図４に示すように、着地タイミング設定処理が実行されると、ＣＰＵ１１は、まず、上下方向の加速度信号（第２加速度信号）ＡｃｃＺ１に対して例えば移動平均等の周知の平滑化処理を行う（ステップＳ１１）。
次いで、ＣＰＵ１１は、平滑化後の上下方向の加速度信号ＡｃｃＺ２の波形の極大値Ｚｍａｘを求め、この極大値Ｚｍａｘを示すタイミングを基準タイミング（第四基準タイミング）として時間軸を分割する（ステップＳ１２）。図５では、極大値Ｚｍａｘに基づいて線Ｐ１，Ｐ２，Ｐ３で時間軸を分割している。この線Ｐ１と，線Ｐ２の間の分割領域、線Ｐ２と線Ｐ３との間の分割領域を第一分割領域Ｒ１と称す。
【００３１】
次いで、ＣＰＵ１１は、平滑化前の上下方向の加速度信号ＡｃｃＺ１を第一分割領域Ｒ１毎に二度積分することで、センサー装置２の高さ位置を表す高さ位置波形Ｔを求める（ステップＳ１３）。
次いで、ＣＰＵ１１は、各第一分割領域Ｒ１内にある高さ位置波形Ｔの極大値Ｔｍａｘを示すタイミングを基準タイミング（第一基準タイミング）として時間軸を分割する。図５では、極大値Ｔｍａｘに基づいて線Ｐ４，Ｐ５，Ｐ６で時間軸を分割している。この線Ｐ４，Ｐ５，Ｐ６を歩の切れ目（例えば奇数歩目と偶数歩目の境界）に設定する（ステップＳ１４）。この線Ｐ４，Ｐ５，Ｐ６で分割された領域を第二分割領域と称す。なお、説明の便宜上、以下においては、連続する二つの第二分割領域のうち、先(時間的に前)の方を「先の第二分割領域Ｒ２１」とし、後（時間的に後）の方を「後の第二分割領域Ｒ２２」とする。
【００３２】
次いで、ＣＰＵ１１は、各第二分割領域Ｒ２１，Ｒ２２のうち前半部分（例えば歩の切れ目（線Ｐ４，Ｐ５）から、平滑化後の上下方向の加速度信号ＡｃｃＺ２の波形の極大値位置（線Ｐ２，Ｐ３））内において、前後方向の加速度信号（第１加速度信号）ＡｃｃＹの波形の正の極大値を探索する（ステップＳ１５）。
図５では、先の第二分割領域Ｒ２１に正の極大値Ｙｍａｘが一つあり、後の第二分割領域Ｒ２２に正の極大値Ｙｍａｘが二つある場合を例示している。
【００３３】
次いで、ＣＰＵ１１は、各第二分割領域Ｒ２１，Ｒ２２の前半部分にある正の極大値Ｙｍａｘが一つであるか否かを判断し、一つである場合にはその正の極大値Ｙｍａｘを特定しステップＳ１８に移行し、二つ以上である場合にはステップＳ１７に移行する（ステップＳ１６）。
ここで、着地時においてはその着地動作による衝撃によって減速するために、前後方向の加速度信号ＡｃｃＹの波形には正の値にピーク（極大値）が生じることになる。この正の極大値Ｙｍａｘが、進行方向に対して減速を示す極値である。
しかし、走り方や速度によっては同様のピークが複数生じることもある。換言すると、着地時においては前後方向の加速度信号ＡｃｃＹの波形に少なくとも一つは正の極大値が生じることになる。このため、ステップＳ１６では、正の極大値が一つであるか否かを判断している。なお、本実施形態では、前後方向の加速度信号ＡｃｃＹは、進行方向逆向きを正とし、進行方向を負としているため、前後方向の加速度信号ＡｃｃＹの波形における減速を示す極値が正の極大値Ｙｍａｘとなっているが、正負が逆の場合は減速を示す極値が負の極小値となる。
【００３４】
ステップＳ１７では、ＣＰＵ１１は、左右方向の加速度信号ＡｃｃＸの波形に基づいて複数の正の極大値Ｙｍａｘから一つ特定する。例えば、走行による着地時においては、片足だけが着地することになるため、上体は左右方向に傾くことになる。このとき、無意識のうちに体勢を整えるために、左右方向に上体が揺れ動くことになる。つまり、左右方向の加速度信号ＡｃｃＸの波形においては、着地時に左右のブレを示す波形が現れることになる。この波形を基にすれば、着地時を特定することが可能である。
具体的には、ＣＰＵ１１は、後の第二分割領域Ｒ２２の前半部分内において、所定間隔内に左右方向の加速度信号ＡｃｃＸの波形の極値Ｘｍ１，Ｘｍ２，Ｘｍ３が三つ存在し、なおかつ当該三つの極値Ｘｍ１，Ｘｍ２，Ｘｍ３のうち隣接する極値Ｘｍ１，Ｘｍ２，Ｘｍ３の差分が所定値以上であると、左右のブレを示す波形として認定する。そして、ＣＰＵ１１は三つの極値Ｘｍ１，Ｘｍ２，Ｘｍ３のうち最初に発生した極値Ｘｍ１に近い正の極大値Ｙｍａｘを特定する。
なお、「所定間隔」や、「所定値」については、実験やシミュレーションなどにより得られた値が用いられる。具体的には所定間隔としては４０〜１００ｍｓの範囲に収まる値が好ましく、７０ｍｓがより好ましい。また、所定値としては５〜１５ｍ/ｓ２の範囲に収まる値が好ましく、１０ｍ/ｓ２がより好ましい。
【００３５】
次いで、ＣＰＵ１１は、特定した正の極大値Ｙｍａｘの位置（時間）を着地タイミングとして設定し（ステップＳ１８）、着地タイミング設定処理を終了する。
【００３６】
次に、上記の測定処理における離地タイミング設定処理（ステップＳ３）の詳細について説明する。
図６は、離地タイミング設定処理の流れを示すフローチャートである。
図７、図９、図１０は、前後方向、及び上下方向の加速度信号の波形の一部分を例示的に抜き出して示すグラフである。
図８は、図７に示すグラフのうち、２８．９秒から２９．１秒の間の一部分を拡大したグラフである。
以下の説明では、離地タイミング設定処理に加速度信号の波形がどう用いられているかを、図７〜図１０を参照して説明する。また、本実施形態では、図７〜図１０に示す部分にのみ離地タイミング設定処理が施される場合を例示して説明するが、離地タイミング設定処理は、前後方向、及び上下方向それぞれの加速度信号の波形の全体を対象として実行される。
【００３７】
図６に示すように、離地タイミング設定処理が実行されると、ＣＰＵ１１は、まず、前後方向の加速度信号（第１加速度信号）ＡｃｃＹに対して移動平均を用いた平滑化処理を行う（ステップＳ２１）。
具体的には、ＣＰＵ１１は、前後方向の加速度信号ＡｃｃＹに対して、タップ数が１１〜１５（ここで、タップ数はサンプリング周波数が２００Ｈｚであって、サンプリング周期が５ｍｓである場合のサンプル数であって、移動平均を算出する期間が対象とする信号の前後２５〜３５ｍｓの期間（第１期間）である場合に対応する）の三角移動平均（第一の移動平均）を算出し、当該三角移動平均による平滑化処理後の第１信号（以下、ＦＡｃｃＹ_２と称す）を求めるとともに、タップ数が３〜５（タップ数はサンプリング周波数が２００Ｈｚである場合のサンプル数であって、移動平均を算出する期間が対象とする信号の前後５〜１０ｍｓの期間（第２期間）である場合に対応する）の三角移動平均（第二の移動平均）を算出し、当該三角移動平均による平滑化処理後の第２信号（以下、ＦＡｃｃＹ_１と称する）を求める。ここで、三角移動平均は対象とする信号のノイズを低減する効果を有するものであり、周知の手法である。この三角移動平均による平滑化処理においては、タップ数（サンプル数）を多くする程、信号が平滑化される効果が大きくなる。
【００３８】
次いで、ＣＰＵ１１は、変数ｎを、サンプリング周期（例えば、５ｍｓ）毎のサンプリングタイミングに、時間の経過に応じて順次付した番号として、第二分割領域（上述の図５における線Ｐ４、Ｐ５間、又は、線Ｐ５、Ｐ６間の第二分割領域と同様に設定される領域であり、図７の線Ｌ１，Ｌ２間の領域）のうちの後半部分において、ＦＡｃｃＹ_２が負から正、すなわち加速から減速へと変化するタイミング（プラスゼロクロスタイミング；ｎ＝ＺＣ）を探索する（ステップＳ２２）。そして、ＣＰＵ１１は、探索して取得した上記タイミング（ＺＣ）を第二基準タイミングとして設定する。図７〜図１０では、第二基準タイミングを線ＬＺＣで示している。
ここで、プラスゼロクロスタイミング（ＺＣ）を探索するに際して、図８の破線の丸で囲った領域に示すように、離地前にも、ＡｃｃＹの値がノイズや体の動き方によって負から正に急峻に変化するタイミングが発生してしまう場合がある。そして、タップ数が比較的小さいＦＡｃｃＹ_１ではこの急峻な変化が残っていて、同様に負から正に急峻に変化する。これに対して、図８に示すように、タップ数が比較的大きいＦＡｃｃＹ_２では、ＡｃｃＹやＦＡｃｃＹ_１では負から正に急峻に変化する場合であっても、この急峻な変化が緩和されて、負から正に変化するタイミングは現れないようになる。そこで、本実施形態では、タップ数を比較的大きくしたＦＡｃｃＹ_２を用いることによって、プラスゼロクロスタイミング（ＺＣ）を適正に探索することができるようにしている。なお、上記のタップ数はサンプリング周波数が２００Ｈｚでサンプリング周期が５ｍｓの場合であり、タップ数は加速度信号のサンプリング周波数によって変化する。また、サンプリング数、サンプリング期間は上記の値に限定されるものではなく、上記の値の近傍であればよい。
【００３９】
次いで、ＣＰＵ１１は、第二分割領域（図７の線Ｌ１，Ｌ２で分割された領域）のうちの後半部分において、ＦＡｃｃＹ_２が極大値となるタイミング（ＬＭＸ）を探索する（ステップＳ２３）。そして、ＣＰＵ１１は、上記タイミング（ＬＭＸ）を第三基準タイミングとして設定する。図７〜図１０では、第三基準タイミングを線ＬＬＭＸで示している。
【００４０】
次いで、ＣＰＵ１１は、第二基準タイミングと第三基準タイミングとの間、すなわち線ＬＺＣ，ＬＬＭＸで分割された探索期間において、先ず、第二基準タイミングから１サンプリング周期後のサンプリングタイミング（ｎ＝ＺＣ＋１、ステップＳ２４）から第三基準タイミング（ＬＭＸ）の間のサンプリング周期毎のＦＡｃｃＹ_１の値の、ＦＡｃｃＹ_１の１サンプリング周期前の値に対する差分（ＦＡｃｃＹ_１（ｎ）−ＦＡｃｃＹ_１（ｎ−１））を算出し、当該差分の値が予め定められた閾値ＴＨ未満であるか否かを判定する（ステップＳ２５）。ここで、ステップＳ２５の閾値処理は、例えば、ノイズや体の固有の動き等の影響によって、第二基準タイミングの後、極大値が一気に現れる場合や、途中で変曲点が見られる波形の後に極大値が現れる場合に、離地タイミングを正確に特定できるようにすることを目的としてなされている。また、当該閾値処理では、ＡｃｃＹのデータに含まれているノイズの影響を抑制するため、ＦＡｃｃＹ_１を用いている。ここで、閾値ＴＨは、０ｍ／ｓ２に近い値（例えば、０．５ｍ／ｓ２）とする。なお、閾値ＴＨは、ＦＡｃｃＹ_１の極大値に応じて段階的に設定しても良い。例えば、ＦＡｃｃＹ_１の極大値が５ｍ／ｓ２未満の場合は０．５ｍ／ｓ２とし、当該極大値が５ｍ／ｓ２以上の場合は１．０ｍ／ｓ２とする。
【００４１】
ステップＳ２５において、上記差分が閾値ＴＨ未満でないと判定された場合（ステップＳ２５；ＮＯ）、ＣＰＵ１１は、上記変数ｎを１インクリメントし（ステップＳ２６）、このときの変数ｎが示すサンプリングタイミングが第三基準タイミング（ＬＭＸ）であるか否かを判定する（ステップＳ２７）。
ステップＳ２７において、このときの変数ｎが示すサンプリングタイミングが第三基準タイミング（ＬＭＸ）でないと判定された場合（ステップＳ２７；ＮＯ）、ステップＳ２５へ戻り、ＣＰＵ１１は、ステップＳ２５以降の処理を繰り返し行う。
一方、ステップＳ２７において、このときの変数ｎが示すサンプリングタイミングが第三基準タイミング（ＬＭＸ）であると判定された場合（ステップＳ２７；ＹＥＳ）、すなわち、第二基準タイミング（ＺＣ）と第三基準タイミング（ＬＭＸ）との間において、上記差分が閾値ＴＨ未満であるという条件が満たされなかった場合、ＣＰＵ１１は、図９に示すように、当該第三基準タイミング（ＬＭＸ）を離地タイミングとして設定し（ステップＳ２８）、離地タイミング設定処理を終了する。
【００４２】
また、ステップＳ２５において、上記差分が閾値ＴＨ未満であると判定された場合（ステップＳ２５；ＹＥＳ）、ＣＰＵ１１は、このときの変数ｎが示すサンプリングタイミングにおける上下方向の加速度信号ＡｃｃＺの値が所定値Ｃ１未満であり、且つ、ＦＡｃｃＹ_１の値が特定値Ｃ２以上であるか否かを判定する（ステップＳ２９）。
ステップＳ２９の判定処理でＡｃｃＺの値が所定値Ｃ１未満であるか否かを判定しているのは、足が地面に設置している間は、ＡｃｃＺの値が正側すなわち上向きになっており、ＡｃｃＺの値が所定値Ｃ１以上である場合（例えば、図９の破線の丸で囲った領域参照）は、足はまだ地面に接していると想定されるためである。ここで、所定値Ｃ１は、重力加速度９．８０６６５ｍ／ｓ２よりも若干大きい値（例えば、１２ｍ／ｓ２）とする。
また、ステップＳ２９の判定処理でＦＡｃｃＹ_１の値が特定値Ｃ２以上であるか否かを判定しているのは、ＦＡｃｃＹ_１の極大値に対して、ＦＡｃｃＹ_１の値が非常に小さい場合（図１０の破線の丸で囲った領域参照）は、そのタイミングにおいてＡｃｃＹの上昇率が０になっていたとしても、まだ足が地面から離れていないと想定されるためであり、離地タイミングでは、比較的大きな速度の変化（減少）が生じると想定されるためである。ここで、特定値Ｃ２は、第二基準タイミング（ＺＣ）から第二分割領域の後端（例えば、図７の線Ｌ２参照）までの範囲におけるＦＡｃｃＹ_１の値の最大値に所定の係数（例えば、４０〜６０％）を掛けた値とする。
【００４３】
ステップＳ２９において、上記判定条件を満たしていないと判定された場合（ステップＳ２９；ＮＯ）、ステップＳ２６へ移行し、ＣＰＵ１１は、それ以降の処理を行う。
一方、ステップＳ２９において、上記判定条件を満たしていると判定された場合（ステップＳ２９；ＹＥＳ）、ＣＰＵ１１は、このときの変数ｎが示すサンプリングタイミング（図８及び図１０参照）を離地タイミングとして設定し（ステップＳ３０）、離地タイミング設定処理を終了する。
【００４４】
上述したように、ＣＰＵ１１は、着地タイミング設定処理（ステップＳ１）、最下点タイミングの設定処理（ステップＳ２）、離地タイミング設定処理（ステップＳ３）及び最高点タイミングの設定処理（ステップＳ４）を実行することにより、例えば、図１１に示すように、一方の足が地面に触れた接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した最下点時（最下点タイミング）、この足が地面から離れた離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した最高点時（最高点タイミング）、並びに、逆の足が地面に触れた逆足接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した逆足最下点時（最下点タイミング）、この足が地面から離れた逆足離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した逆足最高点時（最高点タイミング）を検出（抽出）することができる。
【００４５】
［動作解析処理］
次に、図１２を用いて、動作解析装置１により実行される動作解析処理について説明する。図１２は、動作解析処理の流れを示すフローチャートである。
【００４６】
図１２に示すように、まず、ＣＰＵ１１は、操作部１４を介して、ユーザー所望の映像データの指定がなされたか否かを判定する（ステップＳ３１）。
【００４７】
ステップＳ３１において、ユーザー所望の映像データの指定がなされていないと判定された場合（ステップＳ３１；ＮＯ）、ＣＰＵ１１は、ユーザー所望の映像データの指定がなされるまでの間、ステップＳ３１の判定処理を繰り返し行う。
一方、ステップＳ３１において、ユーザー所望の映像データの指定がなされたと判定された場合（ステップＳ３１；ＹＥＳ）、ＣＰＵ１１は、指定された映像データを記憶部１３の映像記憶部（図示省略）から取得する（ステップＳ３２）。
【００４８】
次いで、ＣＰＵ１１は、手本映像データを記憶部１３の手本映像記憶部（図示省略）から取得する（ステップＳ３３）。
【００４９】
次いで、ＣＰＵ１１は、ステップＳ３２で取得した映像データに基づいて映像の被写体のサイズを補正することにより、当該映像の被写体のサイズと、ステップＳ３３で取得した手本映像データの手本映像の被写体のサイズとを合わせる映像サイズ補正処理を行う（ステップＳ３４）。なお、映像サイズ補正処理では、例えば、ステップＳ３３で取得した手本映像データに基づいて手本映像の被写体のサイズを補正することにより、上記映像の被写体のサイズと、当該手本映像の被写体のサイズとを合わせるようにしてもよい。また、上記映像と上記手本映像のそれぞれの被写体のサイズを互いに補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせるようにしてもよい。
【００５０】
次いで、ＣＰＵ１１は、操作部１４を介して、特定の動作タイミングの指定がなされたか否かを判定する（ステップＳ３５）。ここで、特定の動作タイミングとは、ランニングを行っている際に周期的に出現するタイミング（局面）であり、具体的には、上述の測定処理によって検出された左足が地面に触れた接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した最下点時（最下点タイミング）、この足が地面から離れた離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した最高点時（最高点タイミング）、並びに、右足が地面に触れた逆足接地時（着地タイミング）、この足の接地中に腰が最も低い位置を通過した逆足最下点時（最下点タイミング）、この足が地面から離れた逆足離地時（離地タイミング）、及び、この足が地面から離れた後、腰が最も高い位置を通過した逆足最高点時（最高点タイミング）である。
【００５１】
ステップＳ３５において、特定の動作タイミングの指定がなされていないと判定された場合（ステップＳ３５；ＮＯ）、ＣＰＵ１１は、特定の動作タイミングの指定がなされるまでの間、ステップＳ３５の判定処理を繰り返し行う。
一方、ステップＳ３５において、特定の動作タイミングの指定がなされたと判定された場合（ステップＳ３５；ＹＥＳ）、ＣＰＵ１１は、指定された特定の動作タイミングの画像（フレーム画像）を、ステップＳ３２で取得した映像データの映像から抽出する（ステップＳ３６）。例えば、特定の動作タイミングとして、左足による着地タイミングが指定された場合、ＣＰＵ１１は、ステップＳ３２で取得した映像データと対応付けられて記憶されている加速度信号データから当該左足による着地タイミングとして検出されたタイミングを特定し、このタイミングに撮影された画像（フレーム画像）を当該映像データの映像から抽出する。
【００５２】
次いで、ＣＰＵ１１は、指定された特定の動作タイミングの画像（フレーム画像）を、ステップＳ３３で取得した手本映像データの手本映像から抽出する（ステップＳ３７）。例えば、特定の動作タイミングとして、左足による着地タイミングが指定された場合、ＣＰＵ１１は、ステップＳ３３で取得した手本映像データと対応付けられて記憶されている加速度信号データから当該左足による着地タイミングとして検出されたタイミングを特定し、このタイミングに撮影された画像（フレーム画像）を当該手本映像データの手本映像から抽出する。
【００５３】
次いで、ＣＰＵ１１は、ステップＳ３６（又はステップＳ４１）で抽出された特定の動作タイミングの画像Ｇ１（図１３参照）と、ステップＳ３７で抽出された特定の動作タイミングの画像Ｇ２（図１３参照）と、に基づいて動作解析を行う（ステップＳ３８）。具体的には、ＣＰＵ１１は、各画像Ｇ１，Ｇ２からそれぞれの被写体の関節点を抽出し、抽出された各関節点の位置から各被写体の姿勢を推定する。そして、ＣＰＵ１１は、画像Ｇ２の被写体の姿勢に対する画像Ｇ１の被写体の姿勢の相違点を導出する。
【００５４】
次いで、ＣＰＵ１１は、ステップＳ３８での動作解析の結果として、ランニングフォーム比較画面２０を表示部１５に表示する（ステップＳ３９）。
【００５５】
図１３は、ランニングフォーム比較画面２０の一例を示す図である。
図１３に示すように、ランニングフォーム比較画面２０では、ステップＳ３６（又はステップＳ４１）で抽出された特定の動作タイミング（左足による着地タイミング）の画像Ｇ１と、ステップＳ３７で抽出された特定の動作タイミング（左足による着地タイミング）の画像Ｇ２とが左右に並べられた状態で表示される。また、各画像Ｇ１，Ｇ２の下方のコメント欄Ｃには、ステップＳ３８での動作解析の結果である画像Ｇ２の被写体の姿勢に対する画像Ｇ１の被写体の姿勢の相違点に対応するコメント（例えば、「着地タイミングの重心が後ろ重心になっています。左足の真上に重心がくるように心がけましょう。」）が表示されるようになっている。
【００５６】
次いで、ＣＰＵ１１は、操作部１４を介して、動作解析処理を継続する指示がなされたか否かを判定する（ステップＳ４０）。
【００５７】
ステップＳ４０において、動作解析処理を継続する指示がなされたと判定された場合（ステップＳ４０；ＹＥＳ）、ＣＰＵ１１は、指定された特定の動作タイミングの他の画像（フレーム画像）を、ステップＳ３２で取得した映像データの映像から抽出する（ステップＳ４１）。そして、ＣＰＵ１１は、処理をステップＳ３８へ戻し、それ以降の処理を繰り返し行う。
一方、ステップＳ４０において、動作解析処理を継続する指示がなされていないと判定された場合（ステップＳ４０；ＮＯ）、ＣＰＵ１１は、操作部１４を介して、動作解析処理を終了する指示がなされたか否かを判定する（ステップＳ４２）。
【００５８】
ステップＳ４２において、動作解析処理を終了する指示がなされていないと判定された場合（ステップＳ４２；ＮＯ）、ＣＰＵ１１は、処理をステップＳ４０へ戻し、それ以降の処理を繰り返し行う。
一方、ステップＳ４２において、動作解析処理を終了する指示がなされたと判定された場合（ステップＳ４２；ＹＥＳ）、ＣＰＵ１１は、ランニングフォーム比較画面２０に表示された各画像Ｇ１，Ｇ２とコメントを記憶部１３に保存し（ステップＳ４３）、動作解析処理を終了する。
【００５９】
以上のように、動作解析装置１によれば、ランニングを行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングの画像（フレーム画像）Ｇ１を抽出し、当該特定の動作タイミングの画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングの画像（フレーム画像）Ｇ２を抽出し、それぞれの画像Ｇ１，Ｇ２を互いに比較可能な態様で表示部１５に表示させるので、特定の動作タイミングにおける画像Ｇ１，Ｇ２の比較を簡便に行うことができる。
【００６０】
また、動作解析装置１によれば、映像の撮影時にユーザーに装着されたセンサー装置２から取得され、当該映像と同期が取れている加速度信号データがある場合、当該加速度信号データから周期的に出現する特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影された画像Ｇ１を映像から抽出するので、特定の動作タイミングにおける画像Ｇ１を的確に抽出することができる。
【００６１】
また、動作解析装置１によれば、ランニングフォーム比較画面２０に表示される各画像Ｇ１，Ｇ２を比較し、比較の結果を当該ランニングフォーム比較画面２０においてコメントとして表示（報知）するので、動作解析の対象ランナーと手本となるランナーとの違いを分かりやすくことができる。
【００６２】
また、動作解析装置１によれば、映像の被写体のサイズを補正することにより、当該映像の被写体のサイズと手本映像の被写体のサイズとを合わせ、映像の被写体のサイズと手本映像の被写体のサイズとが合わせられた後の当該映像から特定の動作タイミングの画像Ｇ１を抽出するので、ランニングフォーム比較画面２０において各画像Ｇ１，Ｇ２を比べやすくすることができる。
【００６３】
以上、本発明を実施形態に基づいて具体的に説明してきたが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
例えば、上記実施形態において、周期的な動作の繰り返しから成る運動としてランニングを一例に挙げて説明を行ったが、当該運動はランニングに限定されるものではなく、ウォーキング、水泳、スキー、スケート、自転車などの運動を対象としてもよい。
【００６４】
また、上記実施形態において、動作解析装置１により特定の動作タイミングの画像Ｇ１，Ｇ２を抽出するようにしたが、例えば、動作解析処理のステップＳ３６において画像Ｇ１を抽出する際に、この画像Ｇ１の前後に撮影された所定数の画像を抽出し、また、ステップＳ３７において画像Ｇ２を抽出する際に、この画像Ｇ２の前後に撮影された所定数の画像を抽出し、ランニングフォーム比較画面２０において、これらの画像を互いに比較可能な態様で表示させるようにしてもよい。
【００６５】
また、上記実施形態において、例えば、記憶部１３の映像記憶部に記憶されている映像データに対応付けられている加速度信号データと、手本映像記憶部に記憶されている手本映像データに対応付けられている加速度信号データと、を特定の動作タイミングにおけるデータ同士で比較した際、各データに顕著な違いが現れている場合、この動作タイミングにおける画像を映像データの映像と手本映像データの手本映像とからそれぞれ抽出し、抽出された各画像を比較可能な態様で表示部１５に表示させるようにしてもよい。
【００６６】
また、上記実施形態において、動作解析装置１によって動作解析を行う映像データに加速度信号データが対応付けられていない場合、当該映像データの映像の各画像（フレーム画像）に対して被写体の姿勢の推定処理を行うことによって、特定の動作タイミングにお  ける画像を抽出するようにしてもよい。
【００６７】
また、上記実施形態において、動作解析装置１は、ランニングフォーム比較画面２０を表示部１５に表示するようにしたが、例えば、外部の機器の表示部（図示省略）にランニングフォーム比較画面２０を表示させるようにしてもよい。
【００６８】
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３にフラッシュメモリ、ＥＥＰＲＯＭ、ＨＤＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【００６９】
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
〔付記〕
＜請求項１＞
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段と、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段と、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段と、
を備えることを特徴とする動作解析装置。
＜請求項２＞
前記第１の抽出手段は、前記映像の撮影時に前記ユーザーに装着されたモーションセンサから取得され、当該映像と同期が取れているセンシングデータがある場合、当該センシングデータから周期的に出現する前記特定の動作タイミングを抽出し、当該特定の動作タイミングに撮影されたフレーム画像を前記映像から抽出する、
ことを特徴とする請求項１に記載の動作解析装置。
＜請求項３＞
前記第１の抽出手段及び前記第２の抽出手段のそれぞれは、前記特定の動作タイミングのフレーム画像に加え当該フレーム画像の前後に撮影された所定数のフレーム画像を抽出し、
前記表示制御手段は、前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれの各フレーム画像を互いに比較可能な態様で表示手段に表示させる、
ことを特徴とする請求項１又は２に記載の動作解析装置。
＜請求項４＞
前記表示手段に表示される前記映像のフレーム画像と前記手本映像のフレーム画像とを比較する比較手段と、
前記比較手段による比較の結果を報知する報知手段と、
を備えることを特徴とする請求項１〜３のいずれか一項に記載の動作解析装置。
＜請求項５＞
前記映像の被写体と前記手本映像の被写体とのうちの少なくともいずれか一方のサイズを補正することにより、当該映像の被写体のサイズと当該手本映像の被写体のサイズとを合わせる補正手段を備え、
前記第１の抽出手段は、前記補正手段によって前記映像の被写体のサイズと前記手本映像の被写体のサイズとが合わせられた後の当該映像から前記特定の動作タイミングのフレーム画像を抽出する、
ことを特徴とする請求項１〜４のいずれか一項に記載の動作解析装置。
＜請求項６＞
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出工程と、
前記第１の抽出工程によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出工程と、
前記第１の抽出工程と前記第２の抽出工程とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御工程と、
を含むことを特徴とする動作解析方法。
＜請求項７＞
コンピュータを、
周期的な動作の繰り返しから成る運動を行っているユーザーを連続的に撮影した映像から周期的に出現する特定の動作タイミングのフレーム画像を抽出する第１の抽出手段、
前記第１の抽出手段によって前記特定の動作タイミングのフレーム画像が抽出された場合に、連続的に撮影した所定の手本映像から当該特定の動作タイミングのフレーム画像を抽出する第２の抽出手段、
前記第１の抽出手段と前記第２の抽出手段とによって抽出されたそれぞれのフレーム画像を互いに比較可能な態様で表示手段に表示させる表示制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００７０】
１    動作解析装置
１１  ＣＰＵ（第１の抽出手段、第２の抽出手段、表示制御手段、比較手段、報知手段、補正手段）
１５  表示部（表示手段）
【図１】
2020175047.tif 000003
【図２】
2020175047.tif 000004
【図３】
2020175047.tif 000005
【図４】
2020175047.tif 000006
【図５】
2020175047.tif 000007
【図６】
2020175047.tif 000008
【図７】
2020175047.tif 000009
【図８】
2020175047.tif 000010
【図９】
2020175047.tif 000011
【図１０】
2020175047.tif 000012
【図１１】
2020175047.tif 000013
【図１２】
2020175047.tif 000014
【図１３】
2020175047.tif 000015