(57)【要約】【課題】一連のピッチング動作における重要な運動状態が生起した時点の相対的な時間関係をフィードバックとして提示することができる運動状態時間情報提示技術を提供する。【解決手段】第１カメラの画像領域を撮影した第１入力映像から、前足が接地した時点である時点Ａを抽出する第１時点抽出部１１０と、第２カメラの画像領域を撮影した第２入力映像から、体幹が水平回転を開始した時点である時点Ｂを抽出する第２時点抽出部１２０と、時点Ａと時点Ｂから、時点Ａと時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成し、提示する相対的時間関係フィードバック提示部１３０とを含む。【選択図】図２
2018114138.tif 000002
【特許請求の範囲】
【請求項１】
ピッチング動作での前足が接地する様子を撮影するカメラを第１カメラ、前記第１カメラが撮影する投球方向と鉛直方向に対して平行な面上の一定の領域を第１カメラの画像領域、ピッチング動作での体幹が水平回転する様子を撮影するカメラを第２カメラ、前記第２カメラが撮影する頭上から地面を見下ろした面上の一定の領域を第２カメラの画像領域とし、
前記第１カメラの画像領域を撮影した第１入力映像から、前足が接地した時点である時点Ａを抽出する第１時点抽出部と、
前記第２カメラの画像領域を撮影した第２入力映像から、体幹が水平回転を開始した時点である時点Ｂを抽出する第２時点抽出部と、
前記時点Ａと前記時点Ｂから、前記時点Ａと前記時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成し、提示する相対的時間関係フィードバック提示部と
を含む運動状態時間情報提示装置。
【請求項２】
請求項１に記載の運動状態時間情報提示装置であって、
前記第１時点抽出部は、
前記第１入力映像から、フレーム時刻t(t=0,1,…)における第１入力映像の画像C1t(x,y)（ただし、(x,y)は前記第１カメラの画像領域内の画素の座標位置を表す）を二値化した二値画像B1t(x,y)を生成する二値画像生成部と、
隣り合うフレーム時刻t-1,tにおける二値画像B1t-1(x,y),B1t(x,y)から、次式により算出されるフレーム時刻t(t=1,…)における前足の移動速度の絶対値vt
【数１０】
2018114138.tif 000012
（ただし、t=0については、v0=0とする）を用いて、前記時点Ａを抽出する二値画像差分抽出部と
を含む運動状態時間情報提示装置。
【請求項３】
請求項１または２に記載の運動状態時間情報提示装置であって、
さらに、
前記時点Ａと前記時点Ｂと球速測定器が測定した球速から、球速が最大となると予想される時点Ａと時点Ｂの時間間隔である最適時間間隔を推定する最適時間間隔推定部と
を含む運動状態時間情報提示装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の運動状態時間情報提示装置であって、
前記相対的時間関係フィードバック提示部は、
音を用いて前記相対的時間関係フィードバックを生成する
ことを特徴とする運動状態時間情報提示装置。
【請求項５】
ピッチング動作での前足が接地する様子を撮影するカメラを第１カメラ、前記第１カメラが撮影する投球方向と鉛直方向に対して平行な面上の一定の領域を第１カメラの画像領域、ピッチング動作での体幹が水平回転する様子を撮影するカメラを第２カメラ、前記第２カメラが撮影する頭上から地面を見下ろした面上の一定の領域を第２カメラの画像領域とし、
運動状態時間情報提示装置が、前記第１カメラの画像領域を撮影した第１入力映像から、前足が接地した時点である時点Ａを抽出する第１時点抽出ステップと、
前記運動状態時間情報提示装置が、前記第２カメラの画像領域を撮影した第２入力映像から、体幹が水平回転を開始した時点である時点Ｂを抽出する第２時点抽出ステップと、
前記運動状態時間情報提示装置が、前記時点Ａと前記時点Ｂから、前記時点Ａと前記時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成し、提示する相対的時間関係フィードバック提示ステップと
を含む運動状態時間情報提示方法。
【請求項６】
請求項５に記載の運動状態時間情報提示方法であって、
前記第１時点抽出ステップは、
前記第１入力映像から、フレーム時刻t(t=0,1,…)における第１入力映像の画像C1t(x,y)（ただし、(x,y)は前記第１カメラの画像領域内の画素の座標位置を表す）を二値化した二値画像B1t(x,y)を生成する二値画像生成ステップと、
隣り合うフレーム時刻t-1,tにおける二値画像B1t-1(x,y),B1t(x,y)から、次式により算出されるフレーム時刻t(t=1,…)における前足の移動速度の絶対値vt
【数１１】
2018114138.tif 000013
（ただし、t=0については、v0=0とする）を用いて、前記時点Ａを抽出する二値画像差分抽出ステップと
を含む運動状態時間情報提示方法。
【請求項７】
請求項５または６に記載の運動状態時間情報提示方法であって、
さらに、
前記運動状態時間情報提示装置が、前記時点Ａと前記時点Ｂと球速測定器が測定した球速から、球速が最大となると予想される時点Ａと時点Ｂの時間間隔である最適時間間隔を推定する最適時間間隔推定ステップと
を含む運動状態時間情報提示方法。
【請求項８】
請求項１ないし４のいずれか１項に記載の運動状態時間情報提示装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体動作における運動状態の時間情報を提示する技術に関し、特に一連のピッチング動作における重要な運動状態が生起した時点の相対的な時間関係を提示する技術に関する。
【背景技術】
【０００２】
スポーツスキルを習得しようとする際、できるだけ効果的に訓練を行いたいという欲求がある。筋力発揮能力を高める訓練や心肺機能を高める訓練などは、スポーツの種類によらず期待する効果が比較的明確であることから、一般に有用と考えられている。しかし、これらの基礎的訓練は、即座にある特定のスポーツスキルの上達につながるわけではない。個々のスポーツに特有のテクニックの習得には、基礎的訓練以外にそのスポーツに合わせた訓練が必要であり、また、このような訓練には様々な要求レベルの違いもある。
【０００３】
例えば、野球のピッチャーの投球動作（ピッチング動作）も、習得が非常に難しい運動課題の一つである。ピッチングの目的はバッターが打ちづらい球を投げることであり、そのためには、手から離れた球が所望の空間的軌道を通過するように投げる能力と、その球の速さ（球速）を調節する能力の両方が同時に要求される。特に、速い球を投げるためには、下肢、体幹、上肢各部の関節の運動が適切な時間順序で生じること（以下、運動連鎖という）が重要である（非特許文献１）。
【０００４】
しかし、球速を高める効果を有する運動連鎖を確実に身に付ける訓練法は確立されていない。例えば、球速を高める訓練方法として有効と考えられるのは、経験と実績のある優秀な指導者が言葉や身振りを介して、学習者に対して改善指導を行うことであるが、指導者の指導方法やスキルレベルには個人差があるため、すべての学習者が適切な指導を受けられるとは限らない。そこで、より多くの学習者が球速を高める上で有効な指導を受けられる手段や技術の開拓が望まれている。
【０００５】
指導者が学習者に対してピッチングを指導する際、学習者のピッチングを映像に記録し、その再生映像を見ながら運動をどう修正すべきか確認することが、一般によく行われている。この方法は、学習者の運動の様子を指導者・学習者が客観的視点で共有できるという点で有用である。しかし、ピッチングの一連の動作は非常に高速なため、再生映像を見る者の視覚的あるいは認知的注意の向け方に依存して運動の主観的な把握の仕方が変わってしまい、運動をどう修正すべきかについて的確な指針が得られるとは限らない。
【０００６】
そこで、記録した映像を時間方向に引き伸ばして再生（スロー再生やコマ送り再生）することにより、運動の視認性を高めることがよく行われる。また、ピッチング映像の視認性を高めるために、映像から人物領域だけを抽出して表示するとともに、その手先など特定部位の運動軌跡を映像上に重ねて表示する技術がある（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】R. F. Escamilla, G. S. Fleisig, S. W. Barrentine, N. Zheng, J. R. Andrews, “Kinematic comparisons of throwing different types of baseball pitches”, Journal of Applied Biomechanics, Vol.14, Issue 1, pp.1-23, 1998.
【非特許文献２】篁俊市郎, 斎藤隆文, 田中秀幸, “スポーツ指導のためのビデオ映像処理”, 情報処理学会研究報告 グラフィクスとCAD(CG) 2003(15(2002-CG-110)), pp.37-42, 2003.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、スロー再生やコマ送り再生のように、時間方向に引き伸ばされた運動を見る場合、身体に働いている外力（重力、地面反力、慣性力）の影響を把握しづらくなるため、的確な運動修正指針を得ることは難しくなってしまう。
【０００９】
また、非特許文献２の技術のような視認性を高める方法を用いても、運動連鎖の時間的な構造を正確に認知することは難しく、やはり的確な運動修正指針を得ることは難しい。
【００１０】
そこで本発明は、一連のピッチング動作における重要な運動状態が生起した時点の相対的な時間関係をフィードバックとして提示することができる運動状態時間情報提示技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様は、ピッチング動作での前足が接地する様子を撮影するカメラを第１カメラ、前記第１カメラが撮影する投球方向と鉛直方向に対して平行な面上の一定の領域を第１カメラの画像領域、ピッチング動作での体幹が水平回転する様子を撮影するカメラを第２カメラ、前記第２カメラが撮影する頭上から地面を見下ろした面上の一定の領域を第２カメラの画像領域とし、前記第１カメラの画像領域を撮影した第１入力映像から、前足が接地した時点である時点Ａを抽出する第１時点抽出部と、前記第２カメラの画像領域を撮影した第２入力映像から、体幹が水平回転を開始した時点である時点Ｂを抽出する第２時点抽出部と、前記時点Ａと前記時点Ｂから、前記時点Ａと前記時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成し、提示する相対的時間関係フィードバック提示部とを含む。
【発明の効果】
【００１２】
本発明によれば、一連のピッチング動作における重要な運動状態が生起した時点の相対的な時間関係をフィードバックとして提示することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】ピッチング動作の模式図。
【図２】運動状態時間情報提示装置１００の構成の一例を示す図。
【図３】第１カメラ９０１及び第２カメラ９０２の画像領域の一例を示す図。
【図４】運動状態時間情報提示装置１００の動作の一例を示す図。
【図５】第１時点抽出部１１０の構成の一例を示す図。
【図６】第１時点抽出部１１０の動作の一例を示す図。
【図７】第２カメラ９０２の画像領域の二値画像と体幹ベクトルrtの関係の一例を示す図（右手投げの場合）。
【図８】第２カメラ９０２の画像領域の二値画像と体幹ベクトルrtの関係の一例を示す図（左手投げの場合）。
【図９】第２時点抽出部１２０の構成の一例を示す図。
【図１０】第２時点抽出部１２０の動作の一例を示す図。
【図１１】運動状態時間情報提示装置２００の構成の一例を示す図。
【図１２】第１カメラ９０１、第２カメラ９０２、球速測定器９０３の配置関係の一例を示す図。
【図１３】運動状態時間情報提示装置２００の動作の一例を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１５】
＜技術的背景＞
図１は、ピッチング動作の模式図である。本連続動作の中で注目する運動状態（以下、イベントともいう）の生起時点は、前足（つまり、投球方向に向かって踏み出す足）が接地する時点である時点Ａと、体幹の水平回転（つまり、体正面を投球方向に向ける運動）が始まる時点である時点Ｂの２点である。時点Ａと時点Ｂの２点に注目する理由は、以下の通りである。球速は、球が手から離れる時点（時点Ｃ）における指先の対地速度に他ならないが、ピッチングの運動学的解析によれば、その指先の対地速度を高める上で重要なのは、時点Ａ（前足接地）から時点Ｃ（球離れ）までの間に体幹の水平回転速度をできる限り大きくすることである（非特許文献１）。時点Ｃでは体正面は投球方向を向いた状態になるのが自然であるから、時点Ａから時点Ｃの間に体幹の水平回転速度を十分高めるには、時点Ａにおける体幹の向きと時点Ｃにおける体幹の向きの差が大きいほど有利である。そして、その向きの差に直接影響するのは、時点Ａと時点Ｂの相対的な時間関係であると考えられる。
【００１６】
そこで、時点Ａと時点Ｂの相対的な時間関係、つまり時点Ａと時点Ｂの時間順序や時間間隔をフィードバックとして指導者や学習者に提示する。これにより、指導者や学習者によるピッチング動作の修正の支援を効果的に行えると考えられる。
【００１７】
＜第一実施形態＞
図２〜図４を参照して運動状態時間情報提示装置１００について説明する。図２に示すように運動状態時間情報提示装置１００は、第１時点抽出部１１０、第２時点抽出部１２０、相対的時間関係フィードバック提示部１３０、記録部１９０を含む。記録部１９０は、運動状態時間情報提示装置１００の処理に必要な情報を適宜記録する構成部である。
【００１８】
第１カメラ９０１、第２カメラ９０２は運動状態時間情報提示装置１００に接続しており、第１カメラ９０１、第２カメラ９０２により撮影された映像が運動状態時間情報提示装置１００の入力となっている。図３は、左手投げのピッチャーによる投球を第１カメラ９０１及び第２カメラ９０２で撮影している様子を示すものである。第１カメラ９０１で撮影するのは、ピッチング動作での前足が接地する様子である。また、第２カメラ９０２で撮影するのは、ピッチング動作での体幹が水平回転する様子である。
【００１９】
第１カメラ９０１により撮影された映像である第１入力映像は、第１時点抽出部１１０の処理対象となる。第１時点抽出部１１０における処理のため、第１入力映像に求められる条件がいくつかある。まず、第１カメラ９０１は、対地固定されており、投球方向と鉛直方向に対して平行な面上の一定の領域（以下、第１カメラ９０１の画像領域という）を撮影し続けている必要がある。また、第１カメラ９０１による映像には、ピッチング中に投球方向に前足を踏み出すときの接地位置周辺が含まれている必要がある一方で、ピッチング開始前の静止状態における前足位置周辺は含まれていない方が好ましい。さらに、第１カメラ９０１による映像には、前足と類似の色を有する部分が（前足以外には）含まれない方が好ましい。
【００２０】
第２カメラ９０２により撮影された映像である第２入力映像は、第２時点抽出部１２０の処理対象となる。第２時点抽出部１２０における処理のため、第２入力映像に求められる条件がいくつかある。まず、第２カメラ９０２は、対地固定されており、頭上から地面を見下ろした面上の一定の領域（以下、第２カメラ９０２の画像領域という）を撮影し続けている必要がある。また、第２カメラ９０２による映像には、ピッチング中の体幹が完全に含まれている必要がある。さらに、第２カメラ９０２による映像には、体幹と類似の色を有する部分が（体幹以外には）含まれない方が好ましい。
【００２１】
第１時点抽出部１１０が第１入力映像から前足が接地する時点（時点Ａ）を抽出する際や第２時点抽出部１２０が第２入力映像から体幹の水平回転が始まる時点（時点Ｂ）を抽出する際には、前足および体幹の色情報を利用する。したがって、第１入力映像、第２入力映像は、ＲＧＢのようにできるだけ分解能の高いカラー情報を含むのが好ましい。また、時間分解能、空間分解能もできるだけ高いのが好ましい。
【００２２】
運動状態時間情報提示装置１００は、第１カメラの画像領域を撮影した第１入力映像と第２カメラの画像領域を撮影した第２入力映像から、前足が接地した時点である時点Ａと体幹が水平回転を開始した時点である時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成し、提示する。
【００２３】
図４に従い運動状態時間情報提示装置１００の動作について説明する。第１時点抽出部１１０は、第１カメラの画像領域を撮影した第１入力映像から、前足が接地した時点である時点Ａを抽出する（Ｓ１１０）。第１時点抽出部１１０は、第１カメラ９０１の画像領域を撮影した第１入力映像の各フレーム時刻における画像を前足の色を基準として二値化することにより二値画像を生成し、隣接する２つのフレーム時刻の二値画像間の差分情報をもとに前足接地イベントを検出し、時点Ａを抽出する。
【００２４】
以下、図５〜図６を参照して第１時点抽出部１１０について説明する。図５に示すように第１時点抽出部１１０は、二値画像生成部１１２、二値画像差分抽出部１１４を含む。
【００２５】
図６に従い第１時点抽出部１１０の動作について説明する。各フレーム時刻t(t=0,1,…)における第１入力映像の画像をC1t(x,y)とする。ここで、(x,y)は第１カメラ９０１の画像領域内の画素の座標位置を表す。つまり、C1t(x,y)は(x,y)にある画素の色を表すp次元ベクトルである。例えば、画素の色を表すためにＲＧＢ階調値を用いる場合は、p=3となる。また、画像C1t(x,y)を二値化するため、前足の色を表すp次元ベクトルの基準値T1と二値化判定のための閾値d1を事前に与える（ただし、d1は正の数とする）。基準値T1、閾値d1は記録部１９０に事前に記録されているのでもいいし、二値画像生成部１１２の処理が開始される時点で入力されるのでもよい。
【００２６】
二値画像生成部１１２は、第１入力映像から、フレーム時刻t(t=0,1,…)における第１入力映像の画像C1t(x,y)を二値化した二値画像B1t(x,y)を生成する（Ｓ１１２）。二値画像生成部１１２の動作を詳細に説明する。まず、二値画像生成部１１２は、フレーム時刻t(t=0,1,…)における第１入力映像の画像C1t(x,y)の各座標位置(x,y)でのC1t(x,y)と前足の色を表す基準値T1との距離||C1t(x,y)-T1||を算出する。距離||C1t(x,y)-T1||の算出には、例えばp次元ユークリッド距離を用いるとよい。次に、二値画像生成部１１２は、距離||C1t(x,y)-T1||を閾値d1と比較することにより、その座標位置(x,y)の画素の色が前足の色と類似しているかの判定結果を生成し、その判定結果に基づいてフレーム時刻tにおける二値画像B1t(x,y)を生成する。具体的には、||C1t(x,y)-T1||<d1の場合（類似している場合）、B1t(x,y)=1、それ以外の場合（類似していない場合）、B1t(x,y)=0として二値画像B1t(x,y)を生成する。なお、||C1t(x,y)-T1||<d1の代わりに、||C1t(x,y)-T1||≦d1を用いてもよい。
【００２７】
二値画像差分抽出部１１４は、Ｓ１１２で生成した、隣り合うフレーム時刻t-1,tにおける二値画像B1t-1(x,y),B1t(x,y)から、各座標位置(x,y)におけるB1t-1(x,y)とB1t(x,y)の差分の絶対値の画像領域全体（第１カメラの画像領域Ω1）での総和をフレーム時刻tにおける前足の移動速度の絶対値vtとして算出し、絶対値vtを用いて時点Ａを抽出する（Ｓ１１４）。二値画像差分抽出部１１４の動作を詳細に説明する。まず、二値画像差分抽出部１１４は、フレーム時刻t-1における二値画像B1t-1(x,y)とフレーム時刻tにおける二値画像B1t(x,y)から、式(1)によりフレーム時刻t(t=1,…)における前足の移動速度の絶対値vtとして算出する。
【数１】
2018114138.tif 000003
ただし、t=0については、v0=0とする。
【００２８】
次に、二値画像差分抽出部１１４は、フレーム時刻t,t+1における絶対値vt,vt+1を用いて式(2)を満たすフレーム時刻tを前足が接地したフレーム時刻（以下、tAと表す）であると判定し、時点ＡtAとして抽出する。
【数２】
2018114138.tif 000004
ここで速度閾値vは、前足が接地したフレーム時刻を特定するための正の数である。速度閾値vは記録部１９０に事前に記録されているのでもいいし、二値画像差分抽出部１１４の処理が開始される時点で入力されるのでもよい。
【００２９】
なお、式(1)の代わりに式(3)を用い速度の値を正規化したうえで判定してもよい。
【数３】
2018114138.tif 000005
【００３０】
第２時点抽出部１２０は、第２カメラの画像領域を撮影した第２入力映像から、体幹が水平回転を開始した時点である時点Ｂを抽出する（Ｓ１２０）。第２時点抽出部１２０は、第２カメラ９０２の画像領域を撮影した第２入力映像の各フレーム時刻における画像を体幹の色を基準として二値化することにより二値画像を生成し、体幹領域の分布の主成分方向から体幹の向きである偏角を推定し、偏角を用いて投球方向への回転開始イベントを検出し、時点Ｂを抽出する。ここで、体幹領域の分布の主成分の傾きの逆正接（アークタンジェント）として偏角を推定する。このため、逆正接関数が定義可能となるように体幹の回転範囲を制限しなければならない。そこで、右肩の肩峰から左肩の肩峰へ向かうベクトル（体幹ベクトル）をrとし、その偏角θが一連のピッチング動作の開始から終了までの間ずっと-π/2<θ<π/2（右手投げの場合）またはπ/2<θ<3π/2（左手投げの場合）が満たされるように、第２カメラ９０２の向きを設定する（図７及び図８参照）。あるいは、第２カメラ９０２で映像を撮影した後、各フレーム時刻の画像に対して一定の座標回転変換を施してもよい。以下、フレーム時刻tにおける体幹ベクトルをrt、偏角をθtと表す。
【００３１】
以下、図９〜図１０を参照して第２時点抽出部１２０について説明する。図９に示すように第２時点抽出部１２０は、二値画像生成部１２２、二値画像主成分抽出部１２４を含む。
【００３２】
図１０に従い第２時点抽出部１２０の動作について説明する。各フレーム時刻t(t=0,1,…)における第２入力映像の画像をC2t(x,y)とする。ここで、(x,y)は第２カメラ９０２の画像領域内の画素の座標位置を表す。つまり、C2t(x,y)は(x,y)にある画素の色を表すp次元ベクトルである。例えば、画素の色を表すためにＲＧＢ階調値を用いる場合は、p=3となる。また、画像C2t(x,y)を二値化するため、体幹の色を表すp次元ベクトルの基準値T2と二値化判定のための閾値d2を事前に与える（ただし、d2は正の数とする）。基準値T2、閾値d2は記録部１９０に事前に記録されているのでもいいし、二値画像生成部１２２の処理が開始される時点で入力されるのでもよい。
【００３３】
二値画像生成部１２２は、第２入力映像から、フレーム時刻t(t=0,1,…)における第２入力映像の画像C2t(x,y)を二値化した二値画像B2t(x,y)を生成する（Ｓ１２２）。二値画像生成部１２２の動作を詳細に説明する。まず、二値画像生成部１２２は、フレーム時刻t(t=0,1,…)における第２入力映像の画像C2t(x,y)の各座標位置(x,y)でのC2t(x,y)と体幹の色を表す基準値T2との距離||C2t(x,y)-T2||を算出する。距離||C2t(x,y)-T2||の算出には、例えばp次元ユークリッド距離を用いるとよい。次に、二値画像生成部１２２は、距離||C2t(x,y)-T2||を閾値d2と比較することにより、その座標位置(x,y)の画素の色が体幹の色と類似しているかの判定結果を生成し、その判定結果に基づいてフレーム時刻tにおける二値画像B2t(x,y)を生成する。具体的には、||C2t(x,y)-T2||<d2の場合（類似している場合）、B2t(x,y)=1、それ以外の場合（類似していない場合）、B2t(x,y)=0として二値画像B2t(x,y)を生成する。なお、||C2t(x,y)-T2||<d2の代わりに、||C2t(x,y)-T2||≦d2を用いてもよい。
【００３４】
二値画像主成分抽出部１２４は、Ｓ１２２で生成したフレーム時刻tにおける二値画像B2t(x,y)から、体幹領域の全画素の（つまり、B2t(x,y)=1を満たす(x,y)の）x座標のベクトルXt=(x1t,…, xit,…,xNtt)とy座標のベクトルYt=(y1t,…,yit,…,yNtt)（1≦i≦Nt、iは整数、Ntはフレーム時刻tにおける体幹領域の総画素数）の共分散行列の固有ベクトルet=(ext, eyt)の傾きeyt/extの逆正接をフレーム時刻tにおける体幹ベクトルrtの偏角θtとして算出し、偏角θtを用いて時点Ｂを抽出する（Ｓ１２４）。二値画像主成分抽出部１２４の動作を詳細に説明する。まず、二値画像主成分抽出部１２４は、フレーム時刻tにおける二値画像B2t(x,y)から、体幹領域の全画素の（つまり、B2t(x,y)=1を満たす(x,y)の）x座標のベクトルXt=(x1t,…, xit,…,xNtt)とy座標のベクトルYt=(y1t,…,yit,…,yNtt)（1≦i≦Nt、iは整数、Ntはフレーム時刻tにおける体幹領域の総画素数）を抽出する。次に、二値画像主成分抽出部１２４は、Xt,Ytの共分散行列の固有ベクトルet=(ext, eyt)を算出、式(4)により算出される固有ベクトルetの傾きeyt/extの逆正接をフレーム時刻t(t=0,…)における体幹ベクトルrtの偏角θtとして算出する。
【００３５】
【数４】
2018114138.tif 000006
【００３６】
最後に、二値画像主成分抽出部１２４は、フレーム時刻t,t+1における偏角θt,θt+1を用いて、右手投げの場合は式(5R)を満たすフレーム時刻tを、左手投げの場合は式(5L)を満たすフレーム時刻tを、体幹の水平回転が開始したフレーム時刻（以下、tBと表す）であると判定し、時点ＢtBとして抽出する。
【００３７】
【数５】
2018114138.tif 000007
【００３８】
【数６】
2018114138.tif 000008
【００３９】
ここで偏角閾値Θは、体幹の投球方向への回転開始フレーム時刻を特定するための数であり、右手投げの場合は-π/2<Θ<π/2を、左手投げの場合はπ/2<Θ<3π/2を満たす数である。偏角閾値Θは記録部１９０に事前に記録されているのでもいいし、二値画像主成分抽出部１２４の処理が開始される時点で入力されるのでもよい。
【００４０】
なお、偏角θtを上述の方法にて算出するのは、固有ベクトルetの傾きeyt/extと体幹領域の分布の主成分の傾きとが一致することからである。
【００４１】
相対的時間関係フィードバック提示部１３０は、Ｓ１１０で抽出した時点ＡとＳ１２０で抽出した時点Ｂから、時点Ａと時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成し、提示する（Ｓ１３０）。例えば、音を用いて相対的時間関係フィードバックを提示することができる。
【００４２】
以下、相対的時間関係フィードバックを音として提示する方法の例を２つ説明する。
【００４３】
（方法１）時点ＡtAと時点ＢtBの時間間隔|tB-tA|だけ離して識別可能な２種類の音sA,sBを１回ずつ鳴らすことで相対的時間関係フィードバックを提示する。その際、音sA,sBの提示順序は、tA<tBならばsA,sBの順、tB<tAならばsB,sAの順とする。また、tA=tBの場合は音sA,sBを同時に提示する。ここで、音sA,sBそれぞれの時間長は、互いに同じでも異なっていてもよく、それぞれ聴取可能な範囲でできる限り短くする。音sA,sBの例として、(1)互いに識別可能な程度に異なる基本周波数の周期音、(2)互いに識別可能な程度に異なる周波数成分からなる非周期音、(3)一方が周期音で他方が非周期音などの構成が考えられる。
【００４４】
（方法２）基本周波数が滑らかに単調増加または単調減少する時間長|tB-tA|のスイープ音やチャープ音を相対的時間関係フィードバックとして提示する。その際、基本周波数の変化方向は、識別可能な程度に異なる２つの基本周波数をfA,fBとして、tA<tBならばfAからfBへの変化、tB<tAならばfBからfAへの変化とする。また、tA=tBの場合は音を提示しない。
【００４５】
なお、（方法１）については、第１時点抽出部１１０での処理の所要時間と第２時点抽出部１２０での処理の所要時間が一致する場合、tAが得られたとき即座に音sAを提示し、tBが得られたとき即座に音sBを提示するのでもよい。これに対して、（方法２）は、tA,tBが抽出された後にスイープ音等を提示する必要がある。
【００４６】
また、相対的時間関係フィードバックを提示する方法は音に限られるものではなく、人が視聴覚等にて感得できるものであればどのようなものを用いてもよい。例えば、光、皮膚振動などを用いることもできる。
【００４７】
Ｓ１１０とＳ１２０については、必ずしもＳ１１０、Ｓ１２０の順に実行する必要はない。例えば、Ｓ１２０、Ｓ１１０の順に実行してもよい。また、リアルタイムで相対的時間関係フィードバックを提示するためには、Ｓ１１０とＳ１２０を時間的に並行して実行するのが好ましい。
【００４８】
本実施形態の発明によれば、ピッチング訓練の際の、学習者のピッチング動作を撮影した２種類の映像から、前足接地時点と体幹水平回転開始時点を抽出することにより、一連のピッチング動作における重要な運動状態が生起した時点の相対的な時間関係をフィードバックとして提示することが可能となる。また、相対的な時間関係を音で提示することにより、学習者および指導者はその音を聞いて重要な運動状態の生起した時間順序や時間間隔を把握することができる。その結果、指導者がピッチング動作の修正を指導したり、学習者が自主的にピッチング動作を修正したりすることにより、球速を高めるのに有効な訓練を行なうことができる。
【００４９】
ピッチング動作における理想的な運動連鎖は、１秒に満たない非常に短時間の中で複数の運動状態が然るべき順序で次々と生起するものであるため、ピッチング動作を撮影した映像から学習者や指導者が複数の運動状態の生起順序や時間間隔などを正確に認知することは困難であるが、本実施形態の発明によれば、学習者や指導者はそのような短時間に凝縮された複数の運動状態の生起順序や時間間隔などを正確に認知することが可能となる。特に、運動状態に関連する時間情報の提示に音を用いることは、人間の時間情報の認知処理能力を考えた場合には、極めて効果的である。聴覚、視覚、皮膚感覚など時間情報を伝達しうる感覚モダリティの中で、聴覚は特に時間分解能に関して特に優れている（参考非特許文献１）ため、音による提示は、時間的に非常に近接して起こる複数イベントの生起時刻を正確に把握する処理に最も適していると考えられる。
（参考非特許文献１）L. E. Humes, T. A. Busey, J. C. Craig, D. Kewley-Port, “The effects of age on sensory thresholds and temporal gap detection in hearing, vision, and touch”, Atten Percept Psychophys, Vol.71, No.4, pp.860-871, 2009.
【００５０】
＜第二実施形態＞
第一実施形態では、２種類の映像からピッチング動作中で重要な運動状態である前足接地と体幹水平回転開始の２つの時点を抽出することにより、ピッチング動作修正のための指針となる相対的時間関係フィードバックを提示し、ピッチング訓練ができるようにしたが、球速測定器で測定した球速も確認しながらピッチング訓練ができるようにしてもよい。そこで、第二実施形態では、球速測定器で測定される球速も入力とする運動状態時間情報提示装置について説明する。
【００５１】
図１１〜図１３を参照して運動状態時間情報提示装置２００について説明する。図１１に示すように運動状態時間情報提示装置２００は、第１時点抽出部１１０、第２時点抽出部１２０、相対的時間関係フィードバック提示部１３０、最適時間間隔推定部２４０、記録部１９０を含む。記録部１９０は、運動状態時間情報提示装置２００の処理に必要な情報を適宜記録する構成部である。
【００５２】
第１カメラ９０１、第２カメラ９０２は運動状態時間情報提示装置２００に接続しており、第１カメラ９０１、第２カメラ９０２により撮影された映像が運動状態時間情報提示装置２００の入力となっている。第１カメラ９０１、第２カメラ９０２、第１入力映像、第２入力映像に対する要件や特徴は第一実施形態のそれと同じである。
【００５３】
また、球速測定器９０３は運動状態時間情報提示装置２００に接続しており、球速測定器９０３で測定された球速が運動状態時間情報提示装置２００の入力となっている（図１２参照）。球速測定器９０３は、ある閾値以上の速さで移動する物体を検出したときに、その速さを出力し、それ以外のときは出力を行わないものとする。また、球速測定器９０３は、１回の投球につき高々１回の出力しか行わないように、物体の速さを測定する時間間隔を適切に設定するものとする。
【００５４】
運動状態時間情報提示装置２００は、第１カメラの画像領域を撮影した第１入力映像と第２カメラの画像領域を撮影した第２入力映像と球速から、前足が接地した時点である時点Ａと体幹が水平回転を開始した時点である時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成すると同時に、球速が最大になると予想される時点Ａと時点Ｂの時間間隔である最適時間間隔を推定し、提示する。
【００５５】
図１３に従い運動状態時間情報提示装置２００の動作について説明する。第１時点抽出部１１０は、第１カメラの画像領域を撮影した第１入力映像から、前足が接地した時点である時点Ａを抽出する（Ｓ１１０）。第２時点抽出部１２０は、第２カメラの画像領域を撮影した第２入力映像から、体幹が水平回転を開始した時点である時点Ｂを抽出する（Ｓ１２０）。相対的時間関係フィードバック提示部１３０は、Ｓ１１０で抽出した時点ＡとＳ１２０で抽出した時点Ｂから、時点Ａと時点Ｂの相対的な時間関係を反映した相対的時間関係フィードバックを生成し、提示する（Ｓ１３０）。Ｓ１１０〜Ｓ１３０までの処理は運動状態時間情報提示装置１００と同様である。以下、時点ＡをtA、時点ＢをtBとする。
【００５６】
最適時間間隔推定部２４０は、Ｓ１１０で抽出した時点ＡtAとＳ１２０で抽出した時点ＢtBと球速測定器９０３が測定した球速から、球速が最大となると予想される時点Ａと時点Ｂの時間間隔である最適時間間隔Δtbestを推定する（Ｓ２４０）。最適時間間隔推定部２４０の具体的な処理は、以下のようになる。まず、最適時間間隔推定部２４０は、k回目のピッチング動作における球速vball(k)と同時に入力される、k回目のピッチング動作における前足接地時点である時点ＡtAと体幹水平回転開始時点である時点ＢtBから時間間隔Δt(k)=tB-tAを算出する。次に、最適時間間隔推定部２４０は、c1,c2,c3を定数とし、時間間隔を要素とする時間間隔ベクトルTk=[Δt(1),…, Δt(k)]とその各要素の２乗を要素とする２乗時間間隔ベクトルSk=[Δt(1)2,…,Δt(k)2]、単位数である1を各要素とする単位数ベクトルE=[1,…,1]、球速を要素とする球速ベクトルVk=[vball(1),…, vball(k)]の間に、
【００５７】
【数７】
2018114138.tif 000009
の関係が成り立つと仮定し、
【００５８】
【数８】
2018114138.tif 000010
が最小になるc1,c2,c3を推定する（ただし、'はベクトルの転置を表す）。ここで、
【００５９】
【数９】
2018114138.tif 000011
【００６０】
である。c1,c2,c3の推定には、最小二乗法などを用いることができる。また、k-1回目以前のピッチングデータである時間間隔ベクトルTk-1=[Δt(1),…, Δt(k-1)]と球速ベクトルVk-1=[vball(1),…, vball(k-1)]は記録部１９０に記録されているものとする。このとき、c1<0の場合、二次関数f(x)=c1x2+c2x+c3は上に凸であり、その最大値はx=-c2/2c1において与えられる。一方、c1≧0の場合、二次関数f(x)の最大値を定義することができない。そこで、最適時間間隔推定部２４０は、c1<0のとき、球速が最大になると予想される最適時間間隔ΔtbestをΔtbest=-c2/2c1と推定する一方、c1≧0のとき、最適時間間隔Δtbestを不定と推定する。
【００６１】
なお、最適時間間隔Δtbestの提示方法は、相対的時間関係フィードバック提示部１３０と同様でよい。つまり、音、光、皮膚振動などを用いることができる。
【００６２】
最適時間間隔Δtbestをピッチングの度に提示する必要がない場合、その提示タイミングは例えばユーザが外部から提示の指示をしたときに限ってもよい。また、最適時間間隔Δtbestをピッチングの度に提示する場合、投球ごとに相対的時間関係フィードバック提示部１３０が相対的時間関係フィードバックを提示した後、数秒の間をおいて自動的に提示するといった方法で行ってもよい。
【００６３】
本実施形態の発明によれば、ピッチング訓練の際の、学習者のピッチング動作を撮影した２種類の映像から、前足接地時点と体幹水平回転開始時点を抽出することにより、一連のピッチング動作の中で異なる重要な運動状態が生起した時点の相対的な時間関係をフィードバックとして提示することが可能となる。また、球速に関するデータをあわせて取得することにより、球速が最大になると予想される時点Ａと時点Ｂの時間間隔である最適時間間隔も提示できるようになる。これにより、より効果的な訓練が行えるものと期待される。
【００６４】
＜変形例＞
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００６５】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００６６】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００６７】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００６８】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００６９】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００７０】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７２】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００７３】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018114138.tif 000014
【図２】
2018114138.tif 000015
【図３】
2018114138.tif 000016
【図４】
2018114138.tif 000017
【図５】
2018114138.tif 000018
【図６】
2018114138.tif 000019
【図７】
2018114138.tif 000020
【図８】
2018114138.tif 000021
【図９】
2018114138.tif 000022
【図１０】
2018114138.tif 000023
【図１１】
2018114138.tif 000024
【図１２】
2018114138.tif 000025
【図１３】
2018114138.tif 000026