(57)【要約】      （修正有）【課題】映像の比較が容易となる画像表示方法および画像表示システムを提供する。【解決手段】画像表示方法は、ゴルフクラブの運動情報を含む第１の運動を撮影した第１映像４２と、ゴルフクラブの運動情報を含む第２の運動を撮影した第２映像４６と、を備える。キャリブレーション工程では、第１映像４２と第２映像４６とに撮影されているマーカーに含まれる長さ情報、位置情報および方向情報により、第１映像４２と第２映像４６の座標軸を算出し、撮像装置を設置した位置および姿勢を推定する。第１映像４２と第２映像４６との座標軸と、第１映像４２と第２映像４６とのタイミングと、を合わせ、第１映像４２と第２映像４６とをモニター４０に並べて表示する。【選択図】図６
2018026697.tif 000002
【特許請求の範囲】
【請求項１】
運動具の運動情報を含む第１の運動を撮影した第１映像と、
運動具の運動情報を含む第２の運動を撮影した第２映像と、を備え、
前記第１映像と前記第２映像との座標軸と、前記第１映像と前記第２映像とのタイミングと、を合わせて表示することを特徴とする画像表示方法。
【請求項２】
前記第１映像と前記第２映像との画角を合わせて表示することを特徴とする請求項１に記載の画像表示方法。
【請求項３】
前記第１映像と前記第２映像とを重ねて表示することを特徴とする請求項１又は請求項２に記載の画像表示方法。
【請求項４】
前記第１映像の変化量と前記第２映像の変化量とのそれぞれの前記変化量が最小となるように表示することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像表示方法。
【請求項５】
前記タイミングとは、インパクト、スイング開始、およびトップのいずれか１つであることを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像表示方法。
【請求項６】
少なくとも前記インパクト時において、前記第１映像と前記第２映像との基準位置を合わせて表示することを特徴とする請求項５に記載の画像表示方法。
【請求項７】
前記基準位置は、ボール、クラブヘッド、シャフト、手、腰、および頭のいずれか１つであることを特徴とする請求項６に記載の画像表示方法。
【請求項８】
第１の運動を撮影した第１映像の座標軸を決定する手段と、
第２の運動を撮影した第２映像の座標軸を決定する手段と、
前記第１映像の座標軸と前記第２映像の座標軸とが合うように２次元の映像を変形表示する手段と、
を備えたことを特徴とする画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示方法および画像表示システムに関する。
【背景技術】
【０００２】
近年、様々な分野において被撮影者の運動を解析する装置が求められている。例えば、ゴルフクラブ、テニスラケット、および野球バット等、運動器具のスイング軌道などの被撮影者の運動フォームを解析し、解析結果から被撮影者に適した運動器具の選定、運動フォームの改善を行うことで競技力の向上につなげることができる。
特許文献１では、学習者のゴルフスイングフォームをビデオカメラで撮影した動画像に、手本となる３次元スケルトン画像を重ね合わせて表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２３０６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の方法では、ビデオカメラで撮影した動画像と３次元スケルトン画像を重ね合わせる作業を学習者が３次元スケルトン画像を拡大・縮小、回転させることで行っていた。そのため、動画像と３次元スケルトン画像を正確に重ね合わせるのに長時間を要するという課題があった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］本適用例に係る画像表示方法は、運動具の運動情報を含む第１の運動を撮影した第１映像と、運動具の運動情報を含む第２の運動を撮影した第２映像と、を備え、前記第１映像と前記第２映像との座標軸と、前記第１映像と前記第２映像とのタイミングと、を合わせて表示することを特徴とする。
【０００７】
本適用例によれば、２つの映像の座標軸を合わせることで、どちらか一方の映像を変形することにより、２つの映像を同じ方向から撮影された映像として表示することができる。また、２つの映像のタイミングを合わせることで、２つの映像を同じ時系列で撮影された映像として表示することができる。そのため、撮影された２つの映像における運動（運動フォーム）の違いを短時間で確認し易くなり、運動フォームを正確にチェックすることができる。
【０００８】
［適用例２］上記適用例に記載の画像表示方法において、前記第１映像と前記第２映像との画角を合わせて表示することが好ましい。
【０００９】
本適用例によれば、２つの映像の画角を合わせて表示することにより、撮影された２つの映像が同じ大きさとなるので、運動フォームをより比較し易くなり、運動フォームを正確にチェックすることができる。
【００１０】
［適用例３］上記適用例に記載の画像表示方法において、前記第１映像と前記第２映像とを重ねて表示することが好ましい。
【００１１】
本適用例によれば、２つの映像を重ねて表示することにより、撮影された２つの映像における運動フォームがより比較し易くなる。
【００１２】
［適用例４］上記適用例に記載の画像表示方法において、前記第１映像の変化量と前記第２映像の変化量とのそれぞれの前記変化量が最小となるように表示することが好ましい。
【００１３】
本適用例によれば、撮影された２つの映像における運動の動作幅や運動開始から運動終了までの時間等の変化量を最小にして表示することにより、２つの映像の運動フォームをより比較し易くすることができる。
【００１４】
［適用例５］上記適用例に記載の画像表示方法において、前記タイミングとは、インパクト、スイング開始、およびトップのいずれか１つであることが好ましい。
【００１５】
本適用例によれば、タイミングがインパクト、スイング開始、およびトップのいずれか１つであることにより、２つの映像の運動フォームをより比較し易くなる。
【００１６】
［適用例６］上記適用例に記載の画像表示方法において、少なくとも前記インパクト時において、前記第１映像と前記第２映像との基準位置を合わせて表示することが好ましい。
【００１７】
本適用例によれば、インパクト時における２つの映像の基準位置を合わせて表示することにより、２つの映像の運動フォームをより比較し易くなる。
【００１８】
［適用例７］上記適用例に記載の画像表示方法において、前記基準位置は、ボール、クラブヘッド、シャフト、手、腰、および頭のいずれか１つであることが好ましい。
【００１９】
本適用例によれば、２つの映像を合わせる基準位置がボール、クラブヘッド、シャフト、手、腰、および頭のいずれか１つであることにより、２つの映像の運動フォームをより比較し易くなる。
【００２０】
［適用例８］本適用例に係る画像表示システムは、第１の運動を撮影した第１映像の座標軸を決定する手段と、第２の運動を撮影した第２映像の座標軸を決定する手段と、前記第１映像の座標軸と前記第２映像の座標軸とが合うように２次元の映像を変形表示する手段と、を備えたことを特徴とする。
【００２１】
本適用例によれば、２つの映像の座標軸を合わせることで、どちらか一方の２次元の映像を変形することにより、２つの映像を同じ方向から撮影された映像として表示することができる。そのため、撮影された２つの映像における運動フォームの違いを短時間で確認し易くなり、運動フォームを正確にチェックすることができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る画像表示システムを説明する平面図。
【図２】本実施形態に係る画像表示方法を示すフローチャート。
【図３】マーカーを示す平面図。
【図４】ワールド座標系の説明図。
【図５】本実施形態に係る画像表示方法における画像表示システムの表示画面。
【図６】本実施形態に係る画像表示方法における画像表示システムの表示画面。
【図７】変形例に係る画像表示方法における画像表示システムの表示画面。
【発明を実施するための形態】
【００２３】
以下、画像表示システムおよび画像表示方法の一実施形態として、ゴルフスイングを撮影した映像を一例として挙げ、図面を参照して説明する。なお、使用する図面は、説明する部分が認識可能な状態となるように、適宜拡大又は縮小して表示している。
【００２４】
（実施形態）
＜画像表示システム＞
先ず、本発明の実施形態に係る画像表示システムについて、図１を参照し説明する。
図１は、本実施形態に係る画像表示システムを説明する平面図である。
【００２５】
本実施形態に係る画像表示システムは、第１の運動としてのゴルフスイングを撮影した第１映像４２（図５参照）の座標軸を決定する手段と、第２の運動としてのゴルフスイングを撮影した第２映像４４（図５参照）の座標軸を決定する手段と、第１映像４２の座標軸と第２映像４４の座標軸とが合うように２次元の映像を変形表示する手段と、を備えている。そのため、図１に示すように、運動具としてのゴルフクラブ３４を握持した被撮影者３０、マーカー１０、およびボール３６を設置した位置および姿勢の異なるビデオカメラやスマートフォン等の撮像装置２０，２１で撮影した２つのゴルフスイングの映像を、画像表示システムにおけるパソコンで３次元座標変換処理を施し、それぞれの映像に撮影されたマーカー１０を基準として座標軸を決定後、２つの映像の座標軸が合うように２次元の映像を変形してパソコンのモニター４０（図５参照）に並べて表示することができる。従って、２つの映像が同じ方向から撮影された映像として表示されるので、撮影された２つの映像におけるゴルフスイングフォームの違いを短時間で確認し易くなり、ゴルフスイングフォームを正確にチェックすることができる。
【００２６】
また、撮影されたマーカー１０には、長さ情報、位置情報、および方向情報が含まれているため、映像の座標軸と共に、２つの映像に撮影された被撮影者３０の大きさを合わせること、つまり、２つの映像の画角を合わせて表示することもできる。そのため、２つの映像における被撮影者３０の大きさを略等しくし、同じ方向から撮影された映像として、パソコンのモニター４０に並べて表示することができる。従って、２つのゴルフスイングフォームをより比較し易くなり、ゴルフスイングフォームを正確にチェックすることができる。
【００２７】
また、画像表示システムでは、ゴルフスイングを撮影した２つの映像のインパクト、スイング開始、およびトップの少なくともいずれか１つのタイミングを合わせて表示することができるので、パソコンのモニター４０にタイミングの合った２つの映像を並べて表示することにより、２つの映像のゴルフスイングフォームをより比較し易くなる。
【００２８】
＜画像表示方法＞
次に、本発明の実施形態に係る画像表示方法について、図２〜図６を参照し説明する。
図２は、本実施形態に係る画像表示方法を示すフローチャートである。図３は、マーカーを示す平面図である。図４は、ワールド座標系の説明図である。図５と図６は、本実施形態に係る画像表示方法における画像表示システムの表示画面である。
【００２９】
本実施形態に係る画像表示方法は、先ず、映像入力工程（ステップＳ１）において、三脚２２等に固定された撮像装置２０でゴルフスイングを撮影した第１映像４２と撮像装置２１でゴルフスイングを撮影した第２映像４４とを画像表示システムのパソコンに入力する。
【００３０】
次に、キャリブレーション工程（ステップＳ２）では、先ず、パソコンにおいて、第１映像４２および第２映像４４に撮影されているマーカー１０を検出する。この検出方法は、テンプレートマッチング、特徴量抽出、および特徴点抽出等の既知の手法を用いて行うことができる。なお、これらの手法は、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）で一般的に用いられているものである。
マーカー１０は、図３に示すように、形状が一辺の長さをＭＬ１とする正方形であり、中央部が空白の枠状の第１マーカー１２と、第１マーカー１２の内角の一つと第１マーカー１２の二つの内辺とに接する矩形状の第２マーカー１４と、で構成されている。なお、マーカー１０の一辺の長さＭＬ１は長さ情報となり、後述するワールド座標系における各座標軸の長さの基準となる。
【００３１】
マーカー１０において、矩形状の第２マーカー１４が接する第１マーカー１２の内角に対向し、内角と最短に位置する外角の位置がボール３６の位置（ボール位置Ｐ）とする位置情報である。また、マーカー１０の一辺に沿ってボール位置Ｐを通過する方向がボール３６の飛球方向Ｘとする方向情報である。なお、マーカー１０のボール位置Ｐと飛球方向Ｘとは、後述するワールド座標系における原点と座標軸の基準とになる。
【００３２】
次に、第１映像４２と第２映像４４とに撮影されているマーカー１０に含まれる長さ情報、位置情報、および方向情報により、第１映像４２と第２映像４４の座標軸を算出し、撮像装置２０，２１を設置した位置および姿勢を推定する。
２次元の画像から３次元空間内で撮像装置２０，２１の位置および姿勢を推定する手順は以下のようにする。
【００３３】
先ず、マーカー１０に含まれる位置情報であるボール位置Ｐおよび方向情報である飛球方向Ｘにより、ワールド座標系を定める。例えば、図４に示すように、ボール位置Ｐを原点とし、ボール３６の飛球方向ＸをＸ軸、Ｘ軸と直交する方向をＹ軸、Ｘ軸とＹ軸に直交する鉛直方向をＺ軸、と定義する。また、マーカー１０に含まれる長さ情報である一辺の長さＭＬ１により、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向の長さが定義される。
【００３４】
その後、カメラ座標系（カメラを中心にした座標系）からワールド座標系へ変換する変換行列を求める。この変換行列は一般に「外部パラメーター（ｅｘｔｅｒｎａｌ  ｐａｒａｍｅｔｅｒ又はｅｘｔｒｉｎｓｉｃ  ｐａｒａｍｅｔｅｒ）」と呼ばれている。なお、この一連の計算は、ＰｎＰ問題（Ｐｅｒｓｐｅｃｔｉｖｅ  ｎ−Ｐｏｉｎｔ  Ｐｒｏｂｌｅｍ）と呼ばれるものであり、この問題の解き方も既知の手法である。この計算は、オープンソースソフトウェアライブラリーであるＯｐｅｎＣＶに実装されている「ｓｖ：：ｓｏｌｖｅＰｎＰ（）」と言う関数を用いて行うことができる。また、マーカーの大きさ、柄、色は予め決まっており、システムがそのマーカーを画像内で認識することにより座標値を決める場合もある。
【００３５】
外部パラメーターを求める計算において、内部パラメーター（ｉｎｔｅｒｎａｌ  ｐａｒａｍｅｔｅｒ又はｉｎｔｒｉｎｓｉｃ  ｐａｒａｍｅｔｅｒ）を使用する。内部パラメーターとは、外部の３次元空間の情報をどのように２次元の画像センサーへ投影するかを決めるためのパラメーターであり、カメラ固有の情報である。スマートフォン等の撮像装置２０，２１には内部パラメーターを取得する機能（ＡＰＩ）が備わっている機種もあり、その機種においては、この取得機能を使って内部パラメーターを取得できる。そのため、上述した計算はスマートフォンに備えられているコンピューター（ＣＰＵ）において処理することもできる。従って、映像情報と共にスマートフォンの位置および姿勢情報を入力するとことにより、より早く映像を変形処理することができる。
【００３６】
以上の手順により、３次元空間内における撮像装置２０，２１の位置および姿勢を推定することができる。なお、撮像装置２０，２１の姿勢とは、撮像装置２０，２１のＸ軸を回転軸とする回転角度やＹ軸を回転軸とする回転角度のことであり、鉛直方向であるＺ軸方向を基準とした角度である。
【００３７】
図５に、パソコンに入力された第１映像４２と第２映像４４とをモニター４０に並べて表示し、それぞれ算出した座標軸を映像に合わせて表示した映像を示す。
【００３８】
その後、映像変形工程（ステップＳ３）では、第１映像４２の座標軸に第２映像４４の座標軸が合うように、第２映像４４を回転又は拡大縮小して、２次元の第２映像４４を変形する。２つの映像の座標軸を合わせるとは、キャリブレーション工程（ステップＳ２）で推定した第１映像４２および第２映像４４を撮影した撮像装置２０，２１を設置した位置および姿勢から、第１映像４２を撮影した撮像装置２０を設置した位置および姿勢と第２映像４４を撮影した撮像装置２１を設置した位置および姿勢とを一致させることである。
【００３９】
従って、２つの撮像装置２０，２１を設置した位置および姿勢の差を算出し、その差に基づいて、第２映像４４を回転又は拡大縮小することで、後述する映像表示工程（ステップＳ５）において、図６に示すように、変形した第２映像４６が第１映像４２と同じ方向から撮影された映像として表示することができ、また、２つの映像の画角を合わせて表示することができる。
【００４０】
また、第１映像４２および第２映像４４に撮影された被撮影者３０の身長やゴルフスイングの動作幅が異なる場合には、その変化量としての差が最小になるように第１映像４２又は第２映像４４を変形して表示することにより、２つの映像のゴルフスイングフォームをより比較し易くすることができる。この時、第１映像４２と第２映像４４との両方の映像を変形しても良く、第１映像４２および第２映像４４のそれぞれの映像の変化量としての差（元の映像と変形後の映像の変化量の差）が最小となるように変形しても構わない。
【００４１】
なお、本実施形態では、第１映像４２の座標軸に第２映像４４の座標軸を合わせるように第２映像４４を変形しているが、これに限定されることはなく、第２映像４４の座標軸に第１映像４２の座標軸を合わせるように第１映像４２を変形しても構わない。
【００４２】
次に、タイミング調整工程（ステップＳ４）では、第１映像４２および第２映像４４に撮影されたゴルフスイングにおける、インパクト、スイング開始、およびトップのいずれか１つのタイミングを合わせて表示する。ここで、インパクト、スイング開始、およびトップのタイミングを、複数の慣性センサーを備えた運動検出装置をゴルフクラブ３４に装着し、運動検出装置がゴルフクラブ３４およびゴルフクラブ３４を握持する被撮影者３０が一定期間静止している状態から動き出す時やクラブヘッドが最低位置又は最高位置に達した時を運動出力信号に基づいて検出することで、２つの映像のゴルフスイングフォームをより正確にタイミングを合わせて表示することができる。
【００４３】
なお、インパクト時において、第１映像４２および第２映像４４において、ボール３６、クラブヘッド、シャフト、手、腰、および頭のいずれか一つを基準位置として合わせて表示することで、２つの映像のゴルフスイングフォームをより比較し易くすることができる。
【００４４】
また、第１映像４２および第２映像４４に撮影されたゴルフスイングにおいて、２つの映像におけるゴルフスイング開始からゴルフスイング終了までの時間が異なる場合には、その変化量としての時間差が最小になるように第１映像４２又は第２映像４４の撮影時間を調整して表示することにより、２つの映像のゴルフスイングフォームをより比較し易くすることができる。
【００４５】
その後、映像表示工程（ステップＳ５）では、図６に示すように、パソコンのモニター４０に第１映像４２と変形した第２映像４６を並べて表示する。
【００４６】
なお、本実施形態では、長さ情報、位置情報、および方向情報が含まれマーカー１０を用いて説明しているが、これに限定されることはなく、ボール３６の配置位置を座標軸の原点となる位置情報とし、ボール３６のサイズを長さ情報としても構わない。そのため、マーカー１０を方向情報が含まれるライン状の簡単な構成とすることができる。
【００４７】
また、本実施形態では、第１映像４２の座標軸に第２映像４４の座標軸を合わせるために第２映像４４を変形したが、これに限定されることはなく、第１映像４２の座標軸と第２映像４４の座標軸とを、第１映像４２の座標軸と第２映像４４の座標軸との中間の座標軸にそれぞれ合わせる。つまり、第１映像４２と第２映像４４とをそれぞれ変形し表示する方法でも構わない。この場合、一方の映像のみを変形させる場合に比べ、映像の変形量が小さくなり、２つの映像の比較がよりし易くなる。
【００４８】
以上述べたように、本実施形態の画像表示システムおよび画像表示方法によれば、以下の効果を得ることができる。
ゴルフクラブ３４の運動情報を含むゴルフスイングを撮影した第１映像４２と、ゴルフクラブ３４の運動情報を含むゴルフスイングを撮影した第２映像４４と、の座標軸を合わせることで、どちらか一方の映像を変形することにより、２つの映像を同じ方向から撮影された映像として表示することができる。また、第１映像４２と第２映像４４とのタイミングを合わせることで、２つの映像を同じ時系列で撮影された映像として表示することができる。そのため、画像表示システムのモニター４０に、第１映像４２と変形された第２映像４６とを並べて表示することができるので、撮影された２つの映像におけるゴルフスイングフォームの違いを短時間で確認し易くなり、ゴルフスイングフォームを正確にチェックすることができる。
【００４９】
また、画像表示システムのモニター４０に、第１映像４２と変形された第２映像４６との画角を合わせて表示することにより、撮影された２つの映像が同じ大きさとなるので、ゴルフスイングフォームをより比較し易くなり、ゴルフスイングフォームを正確にチェックすることができる。
【００５０】
また、第１映像４２および第２映像４４に撮影されたゴルフスイングにおいて、２つの映像における撮影された被撮影者３０の身長やゴルフスイングの動作幅が異なる場合には、その変化量としての差が最小になるように第１映像４２又は第２映像４４を変形して表示することにより、また、２つの映像におけるゴルフスイング開始からゴルフスイング終了までの時間が異なる場合には、その変化量としての時間差が最小になるように第１映像４２又は第２映像４４の撮影時間を調整して表示することにより、２つの映像のゴルフスイングフォームをより比較し易くすることができる。
【００５１】
（変形例）
次に、変形例に係る画像表示方法について、図７を参照し説明する。
図７は、変形例に係る画像表示方法における画像表示システムの表示画面である。
【００５２】
変形例に係る画像表示方法は、上述した画像表示方法が第１映像４２と変形された第２映像４６とを並べてモニター４０に表示しているのに対し、図７に示すように、第１映像４２に変形した第２映像４６を重ね合わせて表示している。
【００５３】
第１映像４２に変形された第２映像４６を重畳して表示する方法は、透視変換（又は、射影変換、ホモグラフィ変換）と呼ばれ、代表的なオープンソースソフトウェアのＯｐｅｎＣＶの「ｃｖＷａｒｐＰｅｒｓｐｅｃｔｉｖｅ（）」と言う関数を用いて行うことができる。また、数式１のように、回転と平行移動を合わせた行列式を演算することによっても透視変換が計算でき、モニター４０に第１映像４２に変形された第２映像４６を重畳して表示することができる。
【００５４】
【数１】
2018026697.tif 000003
【００５５】
ここで、Ｘ，Ｙ，Ｚは透視変換後の座標値。ｘ、ｙ、ｚは透視変換前の座標値、αはｘ軸を中心にした回転角度、βはｙ軸を中心にした回転角度、γはｚ軸を中心にした回転角度、ｔx，ｔy，ｔzは変換前の原点から変換後の原点へのズレ成分である。
【００５６】
以上述べたように、変形例の画像表示方法によれば、以下の効果を得ることができる。
第１映像４２に変形された第２映像４６を重畳して表示することにより、撮影された２つの映像を並べて表示する場合に比べ、ゴルフスイングフォームをより比較し易くなる。
【００５７】
上述した本発明に係る画像表示システムおよび画像表示方法は、運動フォームが重要であるスポーツ、例えば、野球のバッティングフォームやテニスのスイングフォームのチェックや改善に応用可能である。
【符号の説明】
【００５８】
１０…マーカー、１２…第１マーカー、１４…第２マーカー、２０，２１…撮像装置、２２…三脚、３０…被撮影者、３４…ゴルフクラブ、３６…ボール、４０…モニター、４２…第１映像、４４，４６…第２映像。
【図１】
2018026697.tif 000004
【図２】
2018026697.tif 000005
【図３】
2018026697.tif 000006
【図４】
2018026697.tif 000007
【図５】
2018026697.tif 000008
【図６】
2018026697.tif 000009
【図７】
2018026697.tif 000010