(57)【要約】【課題】本発明は、競技中のプレイヤーに測定装置を身に付けることなく、競技画像からリアルタイムで前記プレイヤーの心拍数等の生理指標を推定する方法を提供し、推定した生理指標の情報をトレーニングや試合にフィードバックする、又はスポーツ放送などにおける情報として役立てる。【解決手段】プレイヤーの画像を取得する画像取得手段と、前記取得された画像を処理する画像処理手段と、処理画像から前記プレイヤーの位置情報を推定する位置情報推定手段と、前記位置情報の経時変化から、移動速度、又は加速度、又は総移動距離のいずれか一つ、或いは複数を計算する演算手段と、前記演算手段による演算結果を用いて前記プレイヤーの生理指標を推定する生理指標推定手段によって前記プレイヤーの生理指標を推定する。【選択図】　　図１
2004073398.tif 000002
【特許請求の範囲】
【請求項１】
プレイヤーの画像を取得する画像取得段階と、前記取得された画像から測定対象の画像を抽出する画像抽出手段と、前記抽出された測定対象の画像から前記プレイヤーの位置情報を推定する位置情報推定段階と、前記位置情報の経時変化から、移動速度、又は加速度、又は総移動距離のいずれか一つ、或いは複数を計算する演算段階と、前記演算段階による演算結果を用いて前記プレイヤーの生理指標を推定する生理指標推定段階を有することを特徴とする画像処理による運動中の生理指標の推定方法。
【請求項２】
前記画像取得段階において１台のビデオカメラで画像を取得し、前記位置情報推定段階において２次元の位置情報を推定する請求項１に記載の画像処理による運動中の生理指標推定方法。
【請求項３】
前記画像取得段階において複数台のビデオカメラで画像を取得し、前記位置情報推定段階において３次元の位置情報を推定する請求項１に記載の画像処理による運動中の生理指標推定方法。
【請求項４】
前記生理指標の推定段階において、前記生理指標を移動速度に関する関数として表し、前記関数を用いた演算を行う請求項１乃至３のいずれかに記載の画像処理による運動中の生理指標の推定方法。
【請求項５】
前記生理指標としてプレイヤーの心拍数を推定する請求項１乃至４のいずれかに記載の画像処理による運動中の生理指標の推定方法。
【請求項６】
心拍数推定の演算方法として、心拍数を移動速度に関する一次関数として表した関係式を演算に用いる請求項５に記載の画像処理による運動中の生理指標推定方法。
【請求項７】
前記心拍数推定の演算方法として、心拍数を移動速度の二乗に関する一次関数として表した関係式を演算に使用する請求項５に記載の画像処理による運動中の生理指標の推定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スポーツ競技中のプレイヤーの競技画像から前記プレイヤーの生理指標をリアルタイムで推定する生理指標推定方法及び推定システムに関し、より詳しくは、競技画像よりプレイヤーの位置情報を推定し、前記位置情報の経時的変化から移動速度、加速度、総移動距離を演算し、前記移動速度、加速度、総移動距離から心拍数をリアルタイムに推定する生理指標推定方法に関する。
【０００２】
【従来の技術】
従来、運動中の心拍数等の生理指標の計測には心拍計等を装着する必要があった。しかし、スポーツの競技中に心拍計等を相手方プレイヤーに装着することはできず、試合中にプレイヤーが心拍計等を装着することをルールとして禁じているスポーツもある。そのため、試合中のプレイヤーの心拍数等をリアルタイムに測定することができない場合が多かった。
【０００３】
【発明が解決しようとする課題】
これまでの運動生理学の研究により、心拍数等の生理指標と移動速度は相関関係があることが知られている。移動速度と心拍数の関係が分かれば、前記移動速度より心拍数等の生理指標を推定することができる。このことから、撮影した画像からプレイヤーの移動速度を推定し、前記移動速度から心拍数等の生理指標が推定できれば、特別な測定装置を競技中にプレイヤーが身に付けたり、競技の合間に生理指標を計測する必要がなく、競技中にリアルタイムに生理指標を推定することができ、自チームのプレイヤーだけでなく相手チームのプレイヤーの生理指標も推定することができる。推定された生理指標の情報は、自チームのプレイヤーの交代を判断する材料としたり、或いは相手チームのプレイヤーのコンディションを推定する材料として、詳細な戦力分析による戦略を可能とする。又試合中のみではなく、練習においてもトレーニング課題の把握、検討を行うためのデータとして役立てることができる。
【０００４】
本発明は、上述のような事情によりなされたものであり、本発明の目的は、競技中のプレイヤーに心拍計等の生理指標を測定する装置を身に付けることなく、画像処理を用いて競技中のプレイヤーの移動速度等を測定し、前記プレイヤーの移動速度等から心拍数等の生理指標を試合中又はトレーニング中にリアルタイムで推定する方法を提供し、推定した生理指標を試合やトレーニングにフィードバックすること、又はスポーツ放送等における情報として役立てることである。
【０００５】
【課題を解決するための手段】
本発明は、画像処理による運動中の生理指標の推定方法及び推定システムに関し、本発明の上記目的は、プレイヤーの画像を取得する画像取得手段と、前記取得された画像を処理する画像処理手段と、処理画像から前記プレイヤーの位置情報を推定する位置情報推定手段と、前記位置情報の経時変化から、移動速度、又は加速度、又は総移動距離のいずれか一つ、或いは複数を計算する演算手段と、前記演算手段による演算結果を用いて前記プレイヤーの生理指標を推定する生理指標推定手段を有することを特徴とする画像処理による運動中の生理指標の推定方法によって達成される。
【０００６】
また、本発明の上記目的は、１台のビデオカメラを有する前記画像取得手段を持ち、前記位置情報として２次元の位置情報を推定する前記位置情報推定手段を持つことによって、或いは複数台のビデオカメラを有する前記画像取得手段を持ち、前記位置情報として３次元の位置情報を推定する前記位置情報推定手段をもつことによって、或いは前記生理指標の推定手段として、前記生理指標を移動速度による関数として表し、前記関数を用いた演算を行うことによって、或いは前記生理指標としてプレイヤーの心拍数を推定することによって、或いは心拍数の推定の演算方法として、心拍数を移動速度に関する一次関数として表した関係式を演算に用いることによって、或いは前記心拍数の推定手段の演算方法として、心拍数を移動速度の二乗に関する一次関数として表した関係式を演算に使用することによって、より効果的に達成される。
【０００７】
【発明の実施の形態】
以下に本発明の概要と実施例について、図面を参照して説明する。
【０００８】
図１は本発明の概要を示した図である。画像取得手段１によってプレイヤーとコートの画像が撮影され、画像データが画像抽出手段２へと送られる。画像抽出手段によって、測定対象の画像が抽出され抽出画像データが位置測定手段３へと送られる。位置測定手段３によって、測定対象の重心及び、２次元位置情報又は３次元位置情報が推定され、演算手段４へとデータが送られる。前記演算手段４は、位置情報の経時的変化によって、測定対象の速度、又は加速度、又は総移動距離を計算し、生理指標推定手段５へと送られ、前記速度、又は加速度、又は総移動距離等と生理指標の関係を表した関数を用いた演算が行われ、生理指標が推定される。
【０００９】
図２は本発明に係る画像処理による運動中の生理指標の推定方法のフローチャートを示している。画像取得手段１によってコート及びプレイヤーを撮影し（ステップＳ１）、画像抽出手段２によって計測対象の画像が抽出される（ステップＳ２）。計測対象の抽出方法としては、予めプレイヤーがいないコートを撮影しておいて競技中の映像との差分をとることでプレイヤーの画像を抽出する方法、或いは計測対象の色合い及び色の濃さ及び輝度による評価で、計測対象と背景を区別し計測対象を抽出する方法等がある。後者の方法においては、計測対象となるのは、プレイヤーの全身像である必要はなく、プレイヤーの着用しているシャツやパンツ等をターゲットとすることもできる。ただし、この場合、前記シャツやパンツの色が背景と区別しやすい色でなければ、計測対象の画像抽出が困難になる場合があるため、計測対象の画像抽出が困難な場合は、可能であれば、計測前に前記シャツやパンツの色を適当な色にしておくことが望ましい。また、プレイヤーの体の各部にマーカーを取り付け、前記マーカーを追従することによって体の各部の位置情報を計測することも可能である。
【００１０】
次に画像抽出によって得られた計測対象の重心を求め（ステップ３）、前記重心を用いて、位置情報推定手段３によって位置情報を求める（ステップＳ４）。カメラを１台使用することで２次元座標の計測を行い、２次元位置情報を得ることができる。さらに複数台のカメラを用いることによって、それぞれのカメラによって計測された２次元位置情報をあわせることにより、計測対象の３次元位置情報を得ることが可能である。
【００１１】
さらに前記重心の変位を求め、演算手段４によって前記重心移動速度又は加速度又は総移動距離のいずれか、或いはその中の複数を計算する（ステップＳ５）。
【００１２】
これまでの運動生理学の研究により、心拍数等の生理指標と運動中の移動速度との間に相関関係があることが知られている。そこで、本発明に係る画像処理による運動中の生理指標推定方法では、心拍数等の生理指標と運動中の移動速度との間の関係を関数として求めることによって、前記移動速度から生理指標を推定するものである（ステップ６）。しかし、前記生理指標を、移動速度だけでなく、加速度、総移動距離を用いた関数として表すことも考えられる。
【００１３】
とくに、本発明に係る生理指標の推定方法の実施例においては、心拍数Ｈが理論上の負荷Ｗの一次関数Ｈ＝αＷ＋βであるとし、さらにはＷ＝ｍｖ２／ｔの関係があることから、Ｈ＝αｍｖ２／ｔ＋βとあらわすことができると考え、該式を利用する。ただし、α、βは定数、ｍはプレイヤーの質量、ｔは移動時間とする。すなわち心拍数Ｈは速度の二乗ｖ２の一次関数であるとして演算を行う。ここでα、βの値は、競技の種類、測定対象となるプレイヤーの競技経験年数等によって適宜決定する定数である。
【００１４】
前記α、βの値は競技経験や身体的特徴等の条件によってプレイヤーをグループ分けし、それぞれのプレイヤーの心拍数の推定にあたっては　前記プレイヤーの属するグループに対応するα、βの値を使用することで本発明の精度を高めることができる。さらには、各々のプレイヤーに対してα、βの値を予め決定することによって、より精度の高い心拍数の推定が可能となる。又、心拍数と移動速度のデータの蓄積によって、より妥当なα、βの値を決定すること、或いは心拍数を求めるための、より妥当な関係式を決定することができる。
【００１５】
移動速度の他に加速度や総移動距離の複数のパラメータを変数として含んだ関係式を決定し、心拍数等の生理指標を求めることも可能である。関係式を求めるにあたり、身長や体重等のデータを考慮することもできる。
【００１６】
図１の画像抽出手段２から生理指標推定手段５にかけての作業はソフト化し市販のパソコンによって処理することが可能であり、これによって安価に本発明を実施することが可能であり、学校のクラブ活動や体育実技等においても手軽に使用することができる。
【００１７】
以下に、バドミントンにおける本発明の実施例を詳細に示す。
【００１８】
図３は、本実施例におけるコートとビデオカメラ１の配置の関係を示したものである。前記配置は体育館において、本発明に係る画像処理による運動中の生理指標の推定方法を実施したものである。ビデオカメラ１の配置場所に図の位置を選んだのは、前記位置のみが１台のビデオカメラ１でコート全体の撮影を行うことができたからであり、コート全体の撮影を行うことができれば、カメラの配置場所には特別な制限はない。
【００１９】
本実施例においてはコートのサイドラインに平行にＹ軸を、バックバウンダリーラインに平行にＸ軸をとり、ＸＹ平面でのプレイヤーの２次元の位置座標を求める。プレイヤーの上下の運動は誤差に含まれるものとし考慮にいれない。本実施例では毎秒１０回の画像を取得し、計測対象は、色合い、色の濃さ、輝度の３つの要素で評価し背景と区別される。
【００２０】
物体の位置座標と移動距離は計測目標の重心を用いて計測される。ここで用いられる前記重心は、二値図形の１次モーメントに相当し、これは物体の重心を表すのに最も一般的であると同時に、ノイズやボケに対して非常に強く、また多少の環境の変化にも影響されにくい特徴がある。
【００２１】
図４はドットで表された二値図形の一例を示したものである。平面上の碁盤目の各マス目に座標を与える。図３では、６×６の碁盤目の左下を基準座標として（０，０）と置き、左右方向にｘ軸、上下方向にｙ軸をとる。また、右をｘ軸の正の向き、上をｙ軸の正の向きと定めている。碁盤目のマス目を黒く塗りつぶした部分が前記二値図形を示している。ここで重心の座標を（ｘ１，ｙ１）とし、前記二値図形の存在するマス目の座標を（ｘ，ｙ）と表す。また、Ｐ（ｘ，ｙ）を座標（ｘ，ｙ）における重み関数とする。すると、重心の座標は数１に記した式によって得られる。ｘ１は前記重心のｘ座標を、ｙ１は前記重心のｙ座標である。
【００２２】
【数１】
2004073398.tif 000003
よって、図４の図形の重心は（ｘ１，ｙ１）＝（３．０，２．０）となる。
【００２３】
ここで、実際の座標を（ｘ，ｙ），計測座標を（Ｕ，Ｖ），Ｂ１，Ｂ２，．．．，Ｂ８を校正座標とする。本実施例に使用された座標値を実際の長さに変換する実長換算を行うにあたって用いられる一般式を下記数２の式（Ａ）及び式（Ｂ）に、キャリブレーション係数の算出式を式（Ｃ）及び式（Ｄ）に，実際の座標の推定式を式（Ｅ）及び式（Ｆ）に示した。
【００２４】
【数２】
2004073398.tif 000004
計測データには、マーカーが見えなくなる等して正常なデータが得られていない部分が存在する。そこで、この欠損部分は３次スプライン関数を用いた補間を行う。また計測データには何らかの形でノイズが混入しているため、最適周波数を計算し、これを用いてＢｕｔｔｅｒｗｏｒｔｈ型ローパスデジタルフィルタによりノイズを取り除くデータの平滑化を行う。
【００２５】
得られた移動距離と移動時間から、演算手段４によって重心の移動速度を求める。本実施例においては毎秒１０回画像を取得しているので、画像間には０．１秒の時間の隔たりがあり、時間的に連続する２つの画像での前記重心の変位距離を０．１秒で除することによって、重心の移動速度を求めることができる。
【００２６】
最後に、心拍数推定手段５によって移動速度と心拍数の相関関係式を用いた演算を行い、移動速度から心拍数を推定する。
【００２７】
移動速度と心拍数の関係を決定するためプレイヤー７名を被験者としデータ収集を行った。
【００２８】
図５に前記被験者による自転車エルゴメーターを使用した運動負荷検査による負荷と心拍数との関係を示したグラフを示す。前記被験者に心拍計を装着し、はじめの２分間をウォーミングアップして１００Ｗから２分ごとに２０Ｗずつ負荷を上げていく。負荷をあげた２分後の心拍数をその負荷に対する心拍数とし、被験者が疲労困憊になるまで自転車エルゴメーターをこがせた。各被験者にオールアウトまでこがせた結果、プレイヤー２のみが２６０Ｗまで、プレイヤー７は２２０Ｗまで、他の５名は２４０Ｗまでこぐことができた。運動負荷検査の結果を回帰分析することによって、心拍数と負荷には直線の相関関係があることが確認できた。
【００２９】
そこで、心拍数Ｈが理論上の負荷Ｗの一次関数Ｈ＝αＷ＋β（ただし、α、βは定数とする）で表されるものとし、さらにはＷ＝Ｆ×ｖ＝ｍ×ａ×ｖ＝ｍ×ｖ／ｔ×ｖ＝ｍｖ２／ｔの関係があることから、Ｈ＝αｍｖ２／ｔ＋βとあらわすことができる。ただし、Ｆ、ａ、ｔはそれぞれ力、加速度、時間を表す。該式より心拍数Ｈは速度ｖの二次関数で表すことができるとして速度から心拍数を推定するための演算を行う。ここでα、βの値は、競技の種類、測定対象となるプレイヤーの競技経験年数等によって適宜決定する定数である。本実施例においては、今回収集したデータを解析し、心拍数と移動速度の二乗の間での直線回帰式を求めたが、さらなるデータの蓄積とその分析によって、より妥当性の高い相関関係式が見つかる可能性がある。
【００３０】
次に、被験者に心拍数計測装置を装着させ、１５ポイントのバドミントンの試合を２ゲーム行わせた。２回の試合のうち、最初の試合をゲーム１、２回目の試合をゲーム２とよぶことにする。心拍数は試合前にホイッスルに合わせて心拍測定装置にマーキングを入れて、撮影しているビデオカメラとの同期をとり５秒毎に測定した。
【００３１】
本実施例においては、上述したように心拍数ＨがＨ＝αｍｖ２／ｔ＋βの関係にあると仮定し、γ＝αｍ／ｔとおくことによって、Ｈ＝γｖ２＋βとし、心拍数Ｈが速度の二乗ｖ２の一次関数となると考え、Ｈとｖ２の回帰式を求める。しかし、負荷をかけると同時に前記負荷に対応する心拍数に達するわけではない。
【００３２】
図６はプレイヤー３の行ったゲーム２の心拍数対時間及びｖ２対時間グラフである。前記グラフより心拍数はｖ２に遅れて反応していることが分かる。そこで、試合中に取得したデータを用いて、心拍数とｖ２が何秒後に最も相関が高くなるかを調べた結果、ｖ２と前記ｖ２を計測してから４５秒遅れた心拍数Ｈ’との相関係数が高くなっていることが分かった。そこで本実施例においては、相関係数が最も高くなるｖ２と前記ｖ２を計測してから４５秒後の心拍数Ｈ’の間での回帰直線を求めた。
【００３３】
さらに、５秒間のｖ２の平均値と心拍数の相関関係を調べ、移動平均するデータの点数がいくつのときが妥当であるかを調べた。５点、１１点、１５点のそれぞれに対して移動平均の相関係数を比べたところ、１５点平均の相関係数が最も高いこと、平滑化点数を上げるほど雑音振幅は小さくなるが、ピーク値誤差は平滑化点数が１５点より増えると大きくなること等から、１５点移動平均が妥当であるとした。
【００３４】
各被験者に対してゲーム１の心拍数とｖ２から立てた回帰直線に、ゲーム２のｖ２の値を代入してゲーム２の心拍数を予想し、その予想の適切さを検討した。検討には、ｐ値と相関係数と残差平方和と平均二乗残差とＧｏｏｄ　ｏｆ　ｆｉｔ（以下、ＧＯＦとよぶ）、を用いた。ＧＯＦは当てはまりのよさを表すもので、計算式は数３の（Ａ）式で与えられる。
【００３５】
【数３】
2004073398.tif 000005
表１は、各被験者に対して求めた回帰直線に関して、ｐ値と相関係数と残差平方和と平均二乗残差とＧＯＦをまとめたものである。すべての被験者において、ＧＯＦが９９％以上という高い割合で予測ができた。
【００３６】
【表１】
2004073398.tif 000006
次に、被験者７人のゲーム１及びゲーム２の全てのデータを使用して回帰直線を求め、これを心拍数の予想式とした。前記予想式を数３の（Ｂ）式に示した。前記予想式を被験者全員のゲーム１及びゲーム２のそれぞれのデータに対して当てはめて、ｐ値と相関係数と残差平方和と平均二乗残差とＧＯＦをまとめたのが表２である。プレイヤー４のゲーム２はｐ＝０．０５３であったが、他はすべてｐ＜０．０１となり有意であった。
【００３７】
【表２】
2004073398.tif 000007
本実施例においては、心拍数を移動速度に関する関数として表したが、前記移動速度の他にも、加速度、心拍を計測する時点での総移動距離、身長、体重等をパラメータとしてもつ関数として表すことも可能である。また、本実施例における被験者は７名であるが、被験者の人数、試合数を増やすことによって、相関式の精度を上げることが可能である。
【００３８】
【発明の効果】
ゲーム分析を従来の方法のようにゲームが終わってから行うのではなく、分析の対象としたゲーム中にその進行とともに集計・分析処理をリアルタイムで行い、ゲーム現場での作戦の変更、あるいはプレイヤーの交代等を行うときの客観的データとすることができる。
【００３９】
また、視覚イメージによるフィードバックは運動技能学習に多大な影響を与えるといわれ、運動直後にＶＴＲによって得られた情報を提示することで目標と自分の動きを比較しやすく、技術レベルの向上に有効である。
【００４０】
さらには、適当なパラメータを用いた相関式を求めることで、画像より心拍数以外の生理指標を推定することも可能である。
【図面の簡単な説明】
【図１】本発明の概要を示した図である。
【図２】本発明の実施例のフローチャートを示した図である。
【図３】本発明のバドミントンにおける実施例におけるコートとカメラの配置の関係を示した図である。
【図４】ドットで表現された二値図形の一例を示す図である。
【図５】各被験者の心拍数対負荷グラフを示す図である。
【図６】被験者プレイヤー３の心拍数対時間及び速度の二乗対時間グラフを示した図である。
【符号の説明】
１　ビデオカメラ
２　画像処理手段
３　位置情報推定手段
４　演算手段
５　心拍数推定手段
【図１】
2004073398.tif 000008
【図２】
2004073398.tif 000009
【図３】
2004073398.tif 000010
【図４】
2004073398.tif 000011
【図５】
2004073398.tif 000012
【図６】
2004073398.tif 000013