(57)【要約】【課題】撮影装置を用いた従来のモーション練習支援システムにおいては低コストとすると練習者への結果の表示が適切で無いなどの問題があった。【解決手段】撮影装置で練習者を撮影し、撮影映像から練習者の姿勢データを生成し、この姿勢データに基づいて姿勢モデルを生成し、この姿勢モデルを任意視点での視野画像に変換し、これを練習者に表示する。また、練習者の姿勢データと比較対象となる別の姿勢データとの差異を練習者に表示する。【選択図】図７
2017158184.tif 000002
【特許請求の範囲】
【請求項１】
練習者のモーションを練習者が確認する練習支援システムであって、
練習者を撮影する撮影装置と、
前記撮影装置が撮影した練習者の映像に基づいて練習者の姿勢を推定する姿勢推定部と、
前記姿勢推定部が推定した姿勢データに基づき姿勢モデルを生成する姿勢モデル生成部と、
前記姿勢モデル生成部が生成した姿勢モデルを任意の視点からの映像として練習者に表示する姿勢モデル表示部と、
を具備することを特徴とする練習支援システム。
【請求項２】
請求項１に記載の練習支援システムであって、
さらに、
練習者が自身との比較するための時系列姿勢データ群である参照モーションデータを保持する参照モーションデータ保持部と、
姿勢比較部と、
を具備し、
前記姿勢比較部は、
前記姿勢推定部が推定した姿勢データと、前記参照モーションデータ保持部に保持されている参照モーションデータの姿勢データと、を比較し、
比較結果を前記姿勢モデル表示部に重畳して表示する
ことを特徴とする練習支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツなどの練習におけるフォーム確認に用いる装置に関するものである。
【背景技術】
【０００２】
スポーツなどの練習において、練習者以外の視点で練習者のフォームを確認することは熟達する上で大変有用であり、この観点に立った先行技術が幾つかあり、一例を先行技術文献の特許文献１として示す。
また、カメラで直接撮影できていない領域を人体の構造に基づいて推定する技術がある（非特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５２３３３号公報
【非特許文献１】「人体の構造に基づいた単一画像からの姿勢推定手法」御厨隆志，吉次信也，尾下真樹（九州大学）（http://www.cg.ces.kyutech.ac.jp/paper/miru07.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
（アングル問題）
従来の方式ではカメラで撮影したアングルでしかフォームの検討ができないため、カメラを複数用意するか、必要に応じて都度カメラの設置位置を変えなくてはならなかった。すなわち、カメラを複数用意するとコストが上昇し、都度カメラの設置位置を変えるのであると使い勝手が悪く煩雑である、といった課題があった。
【０００５】
（理解容易性問題）
また、ＨＭＤ（ヘッドマウントディスプレイ）や練習者の周辺に立設した大型パネルディスプレイに練習者に撮影した映像を見せる際、左右逆転処理をするなどの設定が必要となり使いやすい方式では無い。また、練習者自身の視点での映像とならないので、動作の方向が主観的に一致せず、直感的に解かり易いとは言えない、といった課題もあった。
【課題を解決するための手段】
【０００６】
そこで本願発明者はこれらの問題を解決すべく、本願発明を成した。
【０００７】
本発明の練習支援システムは、
「練習者を撮影する撮影装置と、
撮影装置が撮影した練習者の映像に基づいて練習者の姿勢を推定する姿勢推定部と、
姿勢推定部が推定した姿勢データに基づき姿勢モデルを生成する姿勢モデル生成部と、
姿勢モデル生成部が生成した姿勢モデルを任意の視点からの映像として練習者に表示する姿勢モデル表示部と、を具備する」
ことを特徴としている。
【０００８】
更に本発明の練習支援システムは、
「前述の練習支援システムにさらに、
練習者が自身との比較するための時系列姿勢データ群である参照モーションデータを保持する参照モーションデータ保持部と、姿勢比較部と、を具備し、
姿勢比較部は、姿勢推定部が推定した姿勢データと、参照モーションデータ保持部に保持されている参照モーションデータの姿勢データと、を比較し、比較結果を姿勢モデル表示部に重畳して表示する」
ことを特徴としている。
【発明の効果】
【０００９】
本発明により、前述のアングル問題と理解容易性問題が解決でき、必要最低限のカメラで練習支援システムを構築することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明システムの撮影装置と練習者を示す図である。
【図２】図１の撮影装置が撮影した練習者の画像である。
【図３】本発明システムの撮影装置と練習者を示す図である。
【図４】図２の撮影装置が撮影した練習者の画像である。
【図５】カメラ画像と自己視点での視野を比較する図である。
【図６】本発明システムの構成を示す図である。
【図７】本発明システムのデータ処理の概要を示す図である。
【図８】本発明システムの出力する映像の例の示す図である。
【発明を実施するための形態】
【実施例】
【００１１】
（実施例１）
本発明のシステムでは、まず練習者がスポーツのフォーム練習を行う場所に撮影装置を設置する。設営装置は具体的にはビデオカメラである。練習者がフォーム練習を行う際の一連の動作中にビデオカメラの視野から練習者が出てしまわない程度の位置に設置する。
【００１２】
練習者は本システムを稼働させる。前述の撮影装置が撮影を開始し、撮影した映像に基づいて加工したものを練習者が装着した表示部へ表示する。表示部の具体的な例としてはＨＭＤである。
撮像装置と練習者との関係は、図１や図３に示す通りであり、撮像装置は練習者の周囲に配置される。
撮影装置が撮影した映像は、例えば図２や図４のように、設置された場所と練習者との相対的な位置関係によって決定される。この状態でも練習者は自身のフォームを客観的に観察することは可能であるが、前述の課題に記載した通り、異なる視野でのフォーム確認は簡単にできない。
【００１３】
図５は、撮像装置が撮像する画像と練習者の自己視野との違いを比較したものである。
撮像装置の画像は練習者の外部から練習者に向かう視線に基づくものであり、自己視野は練習者の頭部にある眼より外部へ向かう視線に基づくものである。すなわち、撮像装置の画像と練習者の自己視野とは本質的にベクトルが真逆であり、相互置換えが困難な情報である。
【００１４】
図６は、本発明システムの構成を示す図である。この図に基づいて本発明システムの処理について説明する。
まず、撮影部（＝撮像装置）により練習者を映像として捉える。データ収集部は映像以外の練習者情報を収集するものであり、例えば肢体の特定箇所にモーションセンサーを取り付けている場合やマイクロフォンなどの音声収集機器である。
【００１５】
姿勢推定部は、撮影部が捉えた映像（およびデータ収集部が収集した練習者情報）に基づいて、練習者の姿勢を推定し姿勢データを生成する。
３Ｄ人体モデル生成部は、姿勢データに基づいて練習者の姿勢と同じになるような立体の人体モデルのモデルデータを生成する。このモデルデータはモデリングによって生成されるので、姿勢以外の外見については実際の練習者と差異を生じる場合がある。
【００１６】
仮想カメラ配置設定部は、前述の３Ｄ人体モデル生成部が生成したモデルデータを実際の可視画像とする際の視線情報（原点および方向）を定義する。本実施例では練習者の眼の位置を視線原点とし、視線方向は予め設定した注目したい部位（例えば腕）とする。但し、他の実施例ではこれに限定されない。
設定視点画像合成部は、前述のモデルデータと視線情報に基づいて、練習者に見せる画像である自己視点画像を合成する。
表示部は、前述の自己視点画像を表示する。これにより、練習者自身に撮像装置を取り付けなくても、練習者は自身の姿勢についてモデル化された画像を視認することが可能となる。
【００１７】
練習者は図示しない指示部を通じて視野変更を指示し、好みの任意原点から任意方向への視野を表示部に表示させることもできる。指示部と指示の方法は、具体的には専用の小型リモコンであっても良いし、音声認識システムを採用して練習者が音声にて指示をしても良い。指示部と指示の方法について、本発明では特に限定しない。
【００１８】
（実施例２）
次に、参照モーションとの比較について説明する。
参照モーションとは練習者自身のフォームと比較する対象のことで、例えばお手本である。具体的にはプロフェッショナルの選手や指導者のフォームをモーションデータとして取りこんだものである。参照モーションは自身の過去のフォームであっても良い。本実施例では自身の過去のフォームとする。
練習者は、図示しない参照モーションデータの保持部に保持されている参照モーションデータのなかから任意のものを一つ選択し、自身のフォームとの比較を開始する。
【００１９】
図７は、過去のフォームのモデルデータと今現在の自身のフォームとを比較する手順を示している。
また、図６の記録部は、実施例１では使用しなかったが、一連のフォームのモデルデータを記録しておき、連続した動作であるモーションとしての挙動を把握可能とする。これに基づいて軌跡計算部が練習者の動きのある部位の移動方向と速度を計算する。この計算結果は練習者に対し表示部を介して通知するようにもできる。
【００２０】
図８は、参照モーションデータ（自身の過去のフォーム）と現在のフォームとの差異を右腕について比較したものを、表示部において表示される態様の例である。練習者はこの差異を観察しながらフォームの練習を繰返し、差異が無くなるように自身のフォームを修正する。この結果、自身の過去のフォームを改めて習得することになる。
なお、参照モーションデータとしては他にもお手本となるプロフェッショナル選手や指導者のものを用いて、新たなるフォームを習得するなどしても良い。
【００２１】
本発明のシステムは、撮影装置は１台だけでも良いが、複数であっても良い。複数であった方がより精度の高い姿勢モデルを生成可能となる。
また、撮影装置が１台だけであっても、練習者が事前に撮影装置の前で立位のまま水平に一回転するなどすれば姿勢モデルの生成に必要な画像情報が得られるので、より精度の高いものとなる。
【００２２】
以上、本発明について好適な実施例を挙げて説明したが、本発明はこれらの実施例に限定されるものではなく、発明の精神を逸脱しない限り多くの改変を施すことが可能であるのは勿論である。
【産業上の利用可能性】
【００２３】
量産可能な撮影装置や電子機器を用いてモーション練習支援システムを実現することができ、最低１台の撮影装置で良いので低コスト化が可能で、更には撮影した映像から生成した姿勢モデルの表示によって効率的に練習が可能となり、練習者の工数・時間を節約できるなどの効果を有している。
【図１】
2017158184.tif 000003
【図２】
2017158184.tif 000004
【図３】
2017158184.tif 000005
【図４】
2017158184.tif 000006
【図５】
2017158184.tif 000007
【図６】
2017158184.tif 000008
【図７】
2017158184.tif 000009
【図８】
2017158184.tif 000010