(57)【要約】【課題】スイングの良否が手軽に診断できる方法の提供。【解決手段】本発明に係るゴルフスイングの診断方法は、次のステップを含む。  （ｘ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ。  （ｙ）演算部が、上記複数のフレームを用いて、シャフトの位置を判断するためのチェックフレームと他のフレームとで差分処理及び二値化処理を行い、二値化された差分画像を得るステップ。  （ｚ）演算部が、この差分画像又はその修正画像にハフ変換処理を施して、シャフト位置の抽出を試みるステップ。【選択図】図２６
2013118876.tif 000002
【特許請求の範囲】
【請求項１】
ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ、
演算部が、上記複数のフレームを用いて、シャフトの位置を判断するためのチェックフレームと他のフレームとで差分処理及び二値化処理を行い、二値化された差分画像を得るステップ、
及び
演算部が、この差分画像又はその修正画像にハフ変換処理を施して、シャフト位置の抽出を試みるステップ
を含むゴルフスイングの診断方法。
【請求項２】
次のステップ（Ｓａ）及び／又はステップ（Ｓｂ）を更に含む請求項１に記載の診断方法。
（Ｓａ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームのシャフト位置が抽出されたか否かによって、ゴルファーの姿勢の良否が判断されるステップ。
（Ｓｂ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームのシャフト位置が抽出された場合、そのシャフト位置によってゴルファーの姿勢の良否が判断されるステップ。
【請求項３】
上記チェックフレームが、トップのフレームである請求項１又は２に記載の診断方法。
【請求項４】
上記チェックフレームが、フィニッシュのフレームである請求項１又は２に記載の診断方法。
【請求項５】
ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ
演算部が、上記複数のフレームから、複数の所定フレームを抽出するステップ、
演算部が、上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得るステップ、
演算部が、上記複数の差分画像に対してＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得るステップ、
演算部が、上記ＡＮＤ画像を用いて、シャフト探索領域を決定するステップ、
及び、
演算部が、複数の上記ＡＮＤ画像又はその修正画像のそれぞれにハフ変換処理を施して、シャフト位置の時系列的な抽出を試みるステップ
を含むゴルフスイングの診断方法。
【請求項６】
演算部が、 上記差分画像及び／又は上記ＡＮＤ画像に収縮処理及び膨張処理を施して、マスク画像を得るステップ、
及び、
演算部が、上記ＡＮＤ画像と上記マスク画像との差分処理によって、マスク処理済み差分画像を得るステップ
を更に含み、
上記修正画像が、このマスク処理済み差分画像である請求項５に記載の診断方法。
【請求項７】
上記時系列的な抽出の結果として、チェックフレームのシャフト位置の抽出結果と、このチェックフレームより前のシャフト位置の抽出結果とが得られ、
チェックフレームのシャフト位置が抽出できなかった場合、このチェックフレームより前のシャフト位置が抽出されたか否かによって、このチェックフレームにおけるシャフト位置の抽出の適否が判断される請求項５又は６に記載の診断方法。
【請求項８】
好ましくは、上記チェックフレームがトップ又はフィニッシュのフレームである請求項７に記載の診断方法。
【請求項９】
（Ａ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを撮影するカメラ
（Ｂ）撮影された画像データを記憶するメモリ
及び
（Ｃ）演算部
を備えており、
上記演算部が、
（Ｃ１）上記画像データから、複数の所定フレームを抽出する機能、
（Ｃ２）上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得る機能、
（Ｃ３）上記複数の差分画像にＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得る機能、
（Ｃ４）上記ＡＮＤ画像を用いて、シャフト探索領域を決定する機能、
及び、
（Ｃ５）複数の上記ＡＮＤ画像又はその修正画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
を有するゴルフスイングの診断システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゴルフスイングの良否を診断する方法に関する。
【背景技術】
【０００２】
ゴルファーがゴルフボールを打撃するとき、左右の爪先を結ぶ線が打撃方向とほぼ平行となるようにアドレスする。右利きのゴルファーのアドレスでは、左足が打撃方向前側に位置し、右足が打撃方向後側に位置する。アドレスでは、ゴルフクラブのヘッドはゴルフボールの近くに位置する。この状態からゴルファーはテイクバックを開始し、ヘッドを後へ、次いで上方へと振り上げる。最もヘッドが振り上げられた位置がトップである。トップから、ダウンスイングが開始される。ダウンスイングの開始時点は、切り返しと称されている。切り返しの後、ヘッドが振り下ろされ、ヘッドがゴルフボールと衝突する（インパクト）。インパクト後、ゴルファーはゴルフクラブを前方へ、次いで上方へと振り抜き（フォロースルー）、フィニッシュを迎える。
【０００３】
ゴルファーの技量向上において、適切なスイングフォームの習得が重要である。技量向上の一助とすべく、スイング診断がなされている。スイング診断では、ビデオカメラでスイングが撮影される。ゴルフ用品の開発に役立つ資料の収集の目的で、スイングが撮影されることもある。
【０００４】
古典的なスイング診断では、ティーチングプロ等が動画を見て、スイング中の問題点を指摘する。一方、画像処理によってスイングを診断しようとの試みも、なされている。画像処理による場合、多数のフレームの中から、診断に必要なフレームが抽出される必要がある。この抽出方法の一例が、特開２００５−２１０６６６号公報に開示されている。この方法では、差分処理によって抽出がなされる。また、精度のよいスイング診断には、良好な画像が必要とされる。特開２０１１−７８０６６号には、スイング撮影時における手ブレ補正方法の一例が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１０６６６号公報
【特許文献２】特開２０１１−７８０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特開２００５−２１０６６６公報に開示された方法では、シャフトにマークが付いたゴルフクラブが用いられる。このようなゴルフクラブが、事前に準備される必要がある。この方法は、ゴルフ用品ショップでの撮影に基づいてなされる診断には適している。しかし、ゴルフコースやドライビングレンジで、一般のゴルフクラブを用いてスイングがなされる場合の診断には、不向きである。
【０００７】
本発明の目的は、スイングの良否が手軽に診断できる方法の提供にある。
【課題を解決するための手段】
【０００８】
本発明に係るゴルフスイングの診断方法は、次のステップを含む。
（ｘ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ。
（ｙ）演算部が、上記複数のフレームを用いて、シャフトの位置を判断するためのチェックフレームと他のフレームとで差分処理及び二値化処理を行い、二値化された差分画像を得るステップ。
（ｚ）演算部が、この差分画像又はその修正画像にハフ変換処理を施して、シャフト位置の抽出を試みるステップ。
【０００９】
好ましくは、この診断方法は、次のステップ（Ｓａ）及び／又はステップ（Ｓｂ）を更に含む。
（Ｓａ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームのシャフト位置が抽出されたか否かによって、ゴルファーの姿勢の良否が判断されるステップ。
（Ｓｂ）上記シャフト位置の抽出を試みるステップにおいて上記チェックフレームのシャフト位置が抽出された場合、そのシャフト位置によってゴルファーの姿勢の良否が判断されるステップ。
【００１０】
好ましくは、上記チェックフレームが、トップのフレームである。好ましくは、上記チェックフレームが、フィニッシュのフレームである。
【００１１】
他の観点による本発明は、次のステップを含む。
（１）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブをカメラが撮影し、シャフト位置を決めるための複数のフレームが得られるステップ。
（２）演算部が、上記複数のフレームから、複数の所定フレームを抽出するステップ。
（３）演算部が、上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得るステップ。
（４）演算部が、上記複数の差分画像に対してＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得るステップ。
（５）演算部が、上記ＡＮＤ画像を用いて、シャフト探索領域を決定するステップ。
（６）演算部が、複数の上記ＡＮＤ画像又はその修正画像のそれぞれにハフ変換処理を施して、シャフト位置の時系列的な抽出を試みるステップ。
【００１２】
好ましくは、この診断方法は、次のステップを更に含む。
（７）演算部が、 上記差分画像及び／又は上記ＡＮＤ画像に収縮処理及び膨張処理を施して、マスク画像を得るステップ。
（８）演算部が、上記ＡＮＤ画像と上記マスク画像との差分処理によって、マスク処理済み差分画像を得るステップ。
【００１３】
好ましくは、上記修正画像が、このマスク処理済み差分画像である。
【００１４】
好ましくは、上記時系列的な抽出の結果として、チェックフレームのシャフト位置の抽出結果と、このチェックフレームより前のシャフト位置の抽出結果とが得られる。好ましくは、このチェックフレームのシャフト位置が抽出できなかった場合、このチェックフレームより前のシャフト位置が抽出されたか否かによって、このチェックフレームにおけるシャフト位置の抽出の適否が判断される。好ましくは、上記チェックフレームは、トップ又はフィニッシュのフレームである。
【００１５】
本発明に係るゴルフスイングの診断システムは、
（Ａ）ゴルフクラブをスイングしてゴルフボールを打撃するゴルファー及びこのゴルフクラブを撮影するカメラ
（Ｂ）撮影された画像データを記憶するメモリ
及び
（Ｃ）演算部
を備えている。上記演算部が、
（Ｃ１）上記画像データから、複数の所定フレームを抽出する機能、
（Ｃ２）上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得る機能、
（Ｃ３）上記複数の差分画像にＡＮＤ処理を施し、シャフト位置を抽出するためのＡＮＤ画像を得る機能、
（Ｃ４）上記ＡＮＤ画像を用いて、シャフト探索領域を決定する機能、
及び、
（Ｃ５）複数の上記ＡＮＤ画像又はその修正画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
を有する。
【発明の効果】
【００１６】
本発明に係る方法により、ゴルフスイングの良否が手軽に診断されうる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の一実施形態に係るスイング診断システムが示された概念図である。
【図２】図２は、図１のシステムによってなされるゴルフスイングの診断方法が示されたフローチャートである。
【図３】図３は、図１のカメラの画面が示された説明図である。
【図４】図４は、チェックフレームの決定方法が示されたフローチャートである。
【図５】図５は、アドレスのフレームが決定される方法が示されたフローチャートである。
【図６】図６は、ソーベル法のための説明図である。
【図７】図７は、二値化された画像である。
【図８】図８は、インパクトのフレームが決定される方法が示されたフローチャートである。
【図９】図９は、第４４番目のフレームと基準フレームとの差分の結果が示された画像である。
【図１０】図１０は、第６２番目のフレームと基準フレームとの差分の結果が示された画像である。
【図１１】図１１は、第７５番目のフレームと基準フレームとの差分の結果が示された画像である。
【図１２】図１２は、第７６番目のフレームと基準フレームとの差分の結果が示された画像である。
【図１３】図１３は、第７７番目のフレームと基準フレームとの差分の結果が示された画像である。
【図１４】図１４は、第７８番目のフレームと基準フレームとの差分の結果が示された画像である。
【図１５】図１５は、差分値が示されたグラフである。
【図１６】図１６は、トップのフレームが決定される方法が示されたフローチャートである。
【図１７】図１７は、差分値が示されたグラフである。
【図１８】図１８は、テイクバックの所定位置のフレームが決定される方法が示されたフローチャートである。
【図１９】図１９は、第３０番目のフレームと基準フレームとの差分の結果が示された画像である。
【図２０】図２０は、第３９番目のフレームと基準フレームとの差分の結果が示された画像である。
【図２１】図２１は、第４１番目のフレームと基準フレームとの差分の結果が示された画像である。
【図２２】図２２は、第４３番目のフレームと基準フレームとの差分の結果が示された画像である。
【図２３】図２３は、第５２番目のフレームと基準フレームとの差分の結果が示された画像である。
【図２４】図２４は、第５７番目のフレームと基準フレームとの差分の結果が示された画像である。
【図２５】図２５は、トップのシャフトの抽出方法の一例が示されたフローチャートである。
【図２６】図２６は、図２５の抽出方法の過程で生成される画像を示す図である。
【図２７】図２７は、アドレス画像のエッジ画像におけるシャフト探索範囲が示された図である。
【図２８】図２８は、アドレスでの手元位置が示されたマスク画像１である。
【図２９】図２９は、図２８に頭の位置が追加されたマスク画像１である。
【図３０】図３０は、図２９にトップ近傍での手元位置が追加されたマスク画像１である。
【図３１】図３１は、シャフト探索領域の一例が示されたＡＮＤ画像である。
【図３２】図３２は、シャフト探索領域の他の例が示されたＡＮＤ画像である。
【発明を実施するための形態】
【００１８】
以下、適宜図面が参照されつつ、好ましい実施形態に基づいて本発明が詳細に説明される。
【００１９】
図１に示されたシステム２は、携帯電話機４とサーバ６とを備えている。携帯電話機４とサーバ６とは、通信回線８を介して接続されている。携帯電話機４は、カメラ１０、メモリ１２及び送受信部１４を備えている。メモリ１２の具体例としては、ＲＡＭ、ＳＤカード（ミニＳＤ、マイクロＳＤ等を含む）及びその他の記憶媒体が挙げられる。サーバ６は、演算部１６、メモリ１８及び送受信部２０を備えている。典型的な演算部１６は、ＣＰＵである。
【００２０】
図２には、図１のシステム２によってなされるゴルフスイング診断方法のフローチャートが示されている。この診断方法では、カメラ１０によって撮影がなされる（ＳＴＥＰ１）。図３には、撮影が開始される前の画面が示されている。この画面は、携帯電話機４のモニタ（図示されず）に表示される。この画面には、ゴルフクラブ２２を持ったゴルファー２４のアドレスが撮影されている。この画面では、ゴルファー２４が後方から撮影されている。この画面には、第一枠２６及び第二枠２８が示されている。これらの枠２６、２８は、携帯電話機４のＣＰＵ（図示されず）の上で実行されるソフトウエアにより、表示される。これらの枠２６、２８は、撮影者がカメラ１０のアングルを決定するときの一助となる。撮影者は、第一枠２６にグリップ３０が含まれ、第二枠２８にヘッド３２が含まれるように、カメラ１０のアングルを決定する。これらの枠２６、２８は、カメラ１０とゴルファー２４との距離の決定の一助ともなる。
【００２１】
図３に示された状態から、撮影が開始される。撮影開始後、ゴルファー２４はスイングを開始する。ゴルフボール（図示されず）が打撃され、さらにスイングが終了するまで、撮影が継続される。撮影により、動画のデータが得られる。このデータは、多数のフレームからなる。これらフレームが、メモリ１２に記憶される（ＳＴＥＰ２）。各フレームの画素数は、例えば６４０×４８０である。各画素は、ＲＧＢ系の色情報を有している。
【００２２】
撮影者又はゴルファー２４が携帯電話機４を操作することにより、動画のデータがサーバ６へと送信される（ＳＴＥＰ３）。データは、携帯電話機４の送受信部１４から、サーバ６の送受信部２０へ送信される。送信は、通信回線８を介してなされる。データは、サーバ６のメモリ１８に記憶される（ＳＴＥＰ４）。
【００２３】
演算部１６は、手ブレ補正を行う（ＳＴＥＰ５）。後に詳説される通り、本発明に係る診断方法では、フレーム間の差分処理がなされる。手ブレ補正は、この差分処理の精度を高める。手ブレ補正方法の一例が、特開２０１１−７８０６６に開示されている。携帯電話機４が十分な手ブレ補正機能を有している場合、演算部１６による手ブレ補正が省略されうる。
【００２４】
演算部１６は、多数のフレームの中から、スイングの良否の判定に供されるフレームを決定する（ＳＴＥＰ６）。以下、このフレームはチェックフレームと称される。例えば、
（１）アドレス
（２）テイクバック中の所定位置
（３）トップ
（４）切り返し
（５）インパクト
（６）フィニッシュ
に相当するフレームが、抽出される。テイクバック中の所定位置には、腕が水平である位置が含まれる。切り返しとは、ダウンスイングの開始直後の状態を意味する。切り返しでは、腕はほぼ水平である。チェックフレームの抽出ステップ（ＳＴＥＰ６）の詳細は、後に説明される。
【００２５】
演算部１６は、それぞれのチェックフレームに関し、輪郭を決定する（ＳＴＥＰ７）。具体的には、ゴルファー２４の体の輪郭又はゴルフクラブ２２の輪郭を決定する。演算部１６は、この輪郭に基づき、スイングの良否を判定する（ＳＴＥＰ８）。
【００２６】
判定結果は、サーバ６の送受信部２０から携帯電話機４の送受信部１４へと送信される（ＳＴＥＰ９）。判定結果は、携帯電話機４のモニタに表示される（ＳＴＥＰ１０）。モニタを見たゴルファー２４は、スイングのうち是正すべき箇所を知ることができる。このシステム２は、ゴルファー２４の技量の向上に寄与しうる。
【００２７】
前述の通り、チェックフレームの決定（ＳＴＥＰ６）は、演算部１６が行う。この演算部１６は、以下の機能を有する。
（１）上記画像データから抽出されたフレームのエッジ画像を得る機能
（２）このエッジ画像に対して所定の閾値に基づく二値化を施し、二値化画像を得る機能
（３）この二値化画像にハフ処理を施してゴルフクラブ２２のシャフト３４の位置を抽出し、ゴルフクラブ２２の先端座標を特定する機能
（４）異なるフレーム間の先端座標を対比することにより、アドレス時の仮フレームを決定する機能
（５）上記仮フレームよりも所定数後のフレームから逆送りで各フレームの基準領域内の色情報を算出し、この色情報の変化に基づいてアドレス時のフレームを決定する機能
（６）上記アドレス時のフレームから所定数後のフレームを基準フレームとして、この基準フレーム以降の各フレームとこの基準フレームとの差分値を算出し、この差分値の変化に基づいてインパクトのフレームを決定する機能
（７）上記インパクトのフレームよりも前の複数のフレームに関して直前フレームとの差分値を算出し、この差分値に基づいてトップのフレームを決定する機能
（８）上記インパクトのフレームよりも後の複数のフレームに関して直前フレームとの差分値を算出し、この差分値に基づいてフィニッシュのフレームを決定する機能
（９）上記アドレスのフレーム以降の複数のフレームに関し、このアドレスのフレームとの差分値を算出する機能
（１０）各フレームの差分画像にハフ変換処理を施して、シャフト３４の位置を抽出する機能
（１１）上記シャフト３４の位置の変化に基づいて、テイクバック中の所定のポジションのフレームを決定する機能
（１２）上記複数の画像データから、複数の所定フレームを抽出する機能
（１３）上記複数の所定フレームを用いて差分処理及び二値化処理を行い、複数の二値化された差分画像を得る機能
（１４）上記複数の差分画像にＡＮＤ処理を施し、ＡＮＤ画像を得る機能
（１５）上記ＡＮＤ画像を用いて、シャフト探索領域を決定する機能
（１６）複数の上記ＡＮＤ画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
（１７）複数の上記ＡＮＤ画像を修正して得られた複数の修正画像にハフ変換処理を施して、シャフト位置の時系列的な抽出を試みる機能
（１８）所定のピクセル数以上の面積の領域を残し、所定のピクセル数未満の面積の領域を消去するラベリング機能
（１９）収縮処理を行う機能
（２０）膨張処理を行う機能 
(２１）差分画像に収縮処理及び膨張処理を施してマスク画像を得る機能
(２２）上記ＡＮＤ画像と上記マスク画像との差分処理によって、マスク処理済み差分画像を得る機能
(２３）上記マスク処理済み差分画像にハフ変換処理を施して、シャフト位置の抽出を試みる機能
（２４）チェックフレーム及びそのチェックフレームの前の１以上のフレームについてハフ変換処理を施して、複数のフレームについてシャフトの位置の抽出結果を得る機能
（２５）上記（２４）における複数の抽出結果に基づいて、チェックフレームにおけるシャフトの位置及び／又はスイングの良否を判断する機能
【００２８】
なお、本願において、「シャフト抽出を試みる」との表現を用いているのは、トップ等のチェックフレームにおいてシャフトの抽出が困難な場合があることを考慮したためである。
【００２９】
図４には、チェックフレームの決定方法のフローチャートが示されている。この決定方法は、アドレスのフレームが決定されるステップ（ＳＴＥＰ６１）、インパクトのフレームが決定されるステップ（ＳＴＥＰ６２）、トップのフレームが決定されるステップ（ＳＴＥＰ６３）、テイクバックの所定位置のフレームが決定されるステップ（ＳＴＥＰ６４）及びフィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）を含む。テイクバックの所定位置とは、例えば、腕が水平である位置である。なお、フィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は省略されてもよい。
【００３０】
フィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は、例えば、インパクトのフレームから所定数後のフレームとされうる。また、このフィニッシュのフレームが決定されるステップ（ＳＴＥＰ６５）は、トップのフレームが決定されるステップ（ＳＴＥＰ６３）と同様の方法とされてもよい。
【００３１】
図４に示された方法によって決定されたフレームに基づいて、他のチェックフレームが決定されてもよい。例えば、インパクトのフレームから所定数前のフレームが、切り返しのフレームとされうる。
【００３２】
図５には、アドレスのフレームが決定される方法のフローチャートが示されている。この方法では、各フレームが、ＲＧＢ画像から濃淡画像へと変換される（ＳＴＥＰ６１１）。この変換は、後のエッジ検出を容易とする目的でなされる。濃淡画像における値Ｖは、例えば以下の数式によって算出される。
Ｖ ＝ ０．３０ ・ Ｒ ＋ ０．５９ ・ Ｇ ＋ ０．１１ ・ Ｂ 
【００３３】
この濃淡画像からエッジが検出され、エッジ画像が得られる（ＳＴＥＰ６１２）。エッジでは、値Ｖの変化が大きい。従って、値Ｖの変化に対して微分又は差分が行われることにより、エッジが検出されうる。微分又は差分の演算に際し、ノイズが除去されることが好ましい。エッジの検出方法の一例として、ソーベル（Ｓｏｂｅｌ）法が挙げられる。他の方法によってエッジが検出されてもよい。他の方法としては、プレビット（Ｐｒｅｗｉｔｔ）法が例示される。
【００３４】
図６は、ソーベル法のための説明図である。図６中のＡからＩは、各画素の値Ｖを表している。値Ｅから、ソーベル法により、値Ｅ’が計算される。値Ｅ’は、エッジ強度である。値Ｅ’は、下記数式によって得られる。
Ｅ’ ＝ （ｆｘ２ ＋ｆｙ２）１／２
この数式において、ｆｘ及びｆｙは、下記数式によって得られる。
ｆｘ ＝ Ｃ ＋ ２ ・ Ｆ ＋ Ｉ − （Ａ ＋ ２ ・ Ｄ ＋ Ｇ）
ｆｙ ＝ Ｇ ＋ ２ ・ Ｈ ＋ Ｉ − （Ａ ＋ ２ ・ Ｂ ＋ Ｃ）
【００３５】
このエッジ画像の各画素が、二値化される（ＳＴＥＰ６１３）。二値化の閾値は、天候、時刻等に応じ、適宜決定される。二値化により、モノクロ画像が得られる。モノクロ画像の一例が、図７に示されている。
【００３６】
このモノクロ画像のデータが、ハフ変換に供される（ＳＴＥＰ６１４）。ハフ変換は、幾何学的形状の規則性を利用して画像から線を抽出する方法である。ハフ変換により、直線、円、楕円等が抽出されうる。本実施形態では、ハフ変換により、ゴルフクラブ２２のシャフト３４に対応する直線が抽出される。
【００３７】
直線は、この直線に直交する線がｘ軸に対してなす角度θと、この直線と原点との距離ρとによって表されうる。角度θは、原点（０，０）を中心とする時計回りの角度である。原点は、左上である。ｘ−ｙ平面上の直線は、θ−ρ平面上での点に対応する。一方、ｘ−ｙ平面上の点（ｘｉ，ｙｉ）は、θ−ρ平面上では、下記数式で表される正弦曲線に変換される。
ρ ＝ ｘｉ ・ ｃｏｓθ ＋ ｙｉ ・ ｓｉｎθ
ｘ−ｙ平面上で同一直線上にある点をθ−ρ平面に変換すると、全ての正弦曲線が１つの点で交差する。θ−ρ平面において多数の正弦曲線が通過する点が判明すれば、この点に相当するｘ−ｙ平面上の直線が判明する。
【００３８】
このハフ変換により、シャフト３４に対応する直線の抽出を試みる。テイクバックにおけるシャフト３４が水平であるフレームでは、シャフト３４の軸方向は、カメラ１０の光軸とほぼ一致する。このようなフレームでは、シャフト３４に対応する直線は抽出され得ない。本実施形態では、ρを指定せず、θを３０°以上６０°以下と指定し、ｘを２００以上４８０以下と指定し、ｙを２５０以上５３０以下と指定して、直線の抽出を試みる。θをこの範囲に指定するので、直立するポールに相当する直線は、抽出されない。地面に置かれ水平方向に延在する物体に相当する直線も、抽出されない。θを３０°以上６０°以下に指定することでシャフト３４に相当しない直線をシャフト３４に相当する直線と誤認識することが防がれる。本実施形態では、投票数（１つの直線が通過する画素の数）が１５０以上である直線の中で最大のものを、シャフト３４に対応する直線とみなす。ハフ変換によってシャフト３４に相当する直線が抽出されたフレームでは、シャフト３４の先端座標（直線の先端位置）が取得される（ＳＴＥＰ６１５）。
【００３９】
本実施形態では、撮影開始後５０枚目のフレームから、逆送りで、先端座標の取得がなされる。前後のフレームとの間での、先端の移動距離が所定値以下となるフレームを、アドレスの仮フレームと決定する（ＳＴＥＰ６１６）。本実施形態では、第二枠２８（図３参照）の中に先端があり、かつ（ｆ−１）番目から（ｆ＋２）番目までの先端の移動距離の総和が４０以下であるｆ番目のフレームを、仮フレームとする。
【００４０】
仮フレームの前後の複数のフレームに関し、ＳＡＤ（色情報）が算出される（ＳＴＥＰ６１７）。ＳＡＤは、下記の数式（Ｆ１）によって算出される。
ＳＡＤ ＝ （ＲＳＡＤ ＋  ＧＳＡＤ ＋ ＢＳＡＤ） ／ ３      （Ｆ１）
この数式（Ｆ１）において、ＲＳＡＤは下記数式（Ｆ２）によって算出され、ＧＳＡＤは下記数式（Ｆ３）によって算出され、ＢＳＡＤは下記数式（Ｆ４）によって算出される。
ＲＳＡＤ ＝ （Ｒｆ１ − Ｒｆ２）２      （Ｆ２）
ＧＳＡＤ ＝ （Ｇｆ１ − Ｇｆ２）２      （Ｆ３）
ＢＳＡＤ ＝ （Ｂｆ１ − Ｂｆ２）２      （Ｆ４）
上記数式（Ｆ２）において、Ｒｆ１はｆ番目の第二枠２８内のＲ値を表し、Ｒｆ２は（ｆ＋１）番目の第二枠２８内のＲ値を表す。上記数式（Ｆ３）において、Ｇｆ１はｆ番目の第二枠２８内のＧ値を表し、Ｇｆ２は（ｆ＋１）番目の第二枠２８内のＧ値を表す。上記数式（Ｆ４）において、Ｂｆ１はｆ番目の第二枠２８内のＢ値を表し、Ｂｆ２は（ｆ＋１）番目の第二枠２８内のＢ値を表す。
【００４１】
仮フレームから所定数後のフレームから、逆送りで、各フレームのＳＡＤが算出される。本実施形態では、仮フレームから７後のフレームから、仮フレームから１０前のフレームまでのＳＡＤが算出される。ＳＡＤが最初に５０未満となったフレームをもって、アドレスの本フレームと決定される（ＳＴＥＰ６１８）。このフレームは、チェックフレームである。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。ＳＡＤが５０未満であるフレームが存在しないときは、ＳＡＤが最小であるフレームが、アドレスの本フレームと決定される。
【００４２】
図８には、インパクトのフレームが決定される方法のフローチャートが示されている。アドレスのフレームは既に決定されているので、このアドレスのフレームから所定数後のフレームを、基準フレームと決定する（ＳＴＥＰ６２１）。基準フレームは、インパクト前であって、かつ第二枠２８にゴルフクラブ２２が写っていないフレームである。本実施形態では、アドレスのフレームから２５後のフレームが、基準フレームとされる。
【００４３】
基準フレームと、この基準フレームの後の各フレームとの間で、差分処理がなされる（ＳＴＥＰ６２２）。差分処理は、画像処理の１つとして既知な処理である。図９から１４に、差分画像が示されている。それぞれの画像の詳細は、以下の通りである。
図９：第４４番目のフレームと基準フレームとの差分画像
図１０：第６２番目のフレームと基準フレームとの差分画像
図１１：第７５番目のフレームと基準フレームとの差分画像
図１２：第７６番目のフレームと基準フレームとの差分画像
図１３：第７７番目のフレームと基準フレームとの差分画像
図１４：第７８番目のフレームと基準フレームとの差分画像
【００４４】
差分処理後の画像について、第二枠２８内の差分値が算出される（ＳＴＥＰ６２３）。この差分値が、図１５のグラフに示されている。このグラフより、第７７番目のフレームの差分値が最も大きいことが分かる。この第７７番目のフレームが、インパクトのフレームと決定される（ＳＴＥＰ６２４）。このフレームは、チェックフレームの一例である。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。
【００４５】
図１６には、トップのフレームが決定される方法のフローチャートが示されている。インパクトのフレームは、既に決定されている。このインパクトのフレームから、インパクトの所定数前までのフレームについて、差分処理がなされる（ＳＴＥＰ６３１）。差分処理は、当該フレームと、当該フレームの１つ後のフレームとの間でなされる。差分処理により、差分値が得られる。この差分値が、図１７に示されている。本実施形態では、インパクトよりも１５前のフレームからインパクトのフレームまでの間で、差分値が最小であるフレームが選定される（ＳＴＥＰ６３２）。図１７の例では、第７７番目のフレームがインパクトのフレームであり、第６５番目のフレームがトップのフレームである。第６５番目のフレームは、チェックフレームである。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。
【００４６】
フィニッシュのフレームが決定される方法は、トップのフレームが決定される方法と同様とされうる。インパクトのフレームは、既に決定されている。このインパクトの所定数後のフレームから、最後のフレームまでについて、差分処理がなされる。差分処理は、当該フレームと、当該フレームの１つ後のフレームとの間でなされる。差分処理により、差分値が得られる。例えば、インパクトよりも所定数後のフレームから最後のフレームまでの間で、差分値が最小であるフレームが、フィニッシュのフレームに選定される。このフィニッシュのフレームは、チェックフレームである。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。
【００４７】
図１８には、テイクバックの所定位置のフレームが決定される方法のフローチャートが示されている。アドレスのフレームは、既に決定されている。このアドレスのフレーム以降のフレームに、差分処理がなされる（ＳＴＥＰ６４１）。この差分処理は、アドレスのフレームを基準フレームとし、この基準フレームと他のフレームとの間でなされる。図１９から２４に、差分画像が示されている。それぞれの画像の詳細は、以下の通りである。
図１９：第３０番目のフレームと基準フレームとの差分画像
図２０：第３９番目のフレームと基準フレームとの差分画像
図２１：第４１番目のフレームと基準フレームとの差分画像
図２２：第４３番目のフレームと基準フレームとの差分画像
図２３：第５２番目のフレームと基準フレームとの差分画像
図２４：第５７番目のフレームと基準フレームとの差分画像
【００４８】
これらの差分画像において、縦ｙの画素数は６４０であり、横ｘの画素数は４８０である。これら差分画像に、ハフ変換がなされる（ＳＴＥＰ６４２）。ハフ変換により、シャフト３４に相当する直線が算出されうる。それぞれの差分画面において、下記の条件を満たす直線の有無が判定される（ＳＴＥＰ６４３）。
θ：５°以上８５°以下
ρ：指定無し
ｘ：０以上２４０以下
ｙ：０以上３２０以下
投票数：１００以上
これら条件を満たす直線が抽出されるフレームでは、シャフト３４がゴルファー２４の胴よりも左側に位置している。アドレスのフレーム以降のフレームであって最初にこれら条件を満たす直線が抽出されたフレーム（以下「合致フレーム」と称する）が、チェックフレームである。合致フレームから所定数後のフレームが、チェックフレームと決定されてもよい。合致フレームから２つ後のフレームにおいて、右利きゴルファー２４の左腕がほぼ水平であることが、経験的に判明している。このチェックフレームについて、輪郭の決定（ＳＴＥＰ７）及びスイングの良否の判定（ＳＴＥＰ８）がなされる。
【００４９】
以下、トップのシャフト位置の抽出方法が説明される。図２５は、この抽出方法の一例を示すフローチャートである。図２６は、この抽出方法の各段階で得られる画像を示す。この抽出方法では、対象画像から、シャフト以外の部分が除去されうる。この除去により、精度の高いシャフト位置の抽出が可能とされうる。なお、本願において対象画像とは、シャフトの位置が抽出される画像を意味する。対象画像にハフ変換処理が施されて、シャフトの位置が抽出される。好ましい対象画像は、後述されるＡＮＤ画像、又は、このＡＮＤ画像の修正画像である。この修正画像の一例は、後述される差分画像Ｄｐ−Ｄである。この修正画像は、例えば、ＡＮＤ画像をマスク画像によって修正することで得られる。
【００５０】
トップのフレームにおいて、シャフトが見えないことがある。例えば、トップにおいてシャフトが目標方向を向いた場合、シャフトが見えないことがある。この場合、トップでのシャフト位置が抽出されない。しかし、本実施形態では、トップでのシャフト位置が抽出されない場合であっても、スイングの良否が判断されうる。
【００５１】
この抽出方法では、差分処理をスタートする画像Ｔが決定される（ＳＴＥＰ１１００）。前述したように、トップのフレームは、既に決定されている。この画像Ｔは、トップのフレームから所定数前のフレームとされる。この所定数は、好ましくは３以上１０以下であり、より好ましくは５である。好ましくは、この画像Ｔは、トップ直前の画像とされる。本実施形態では、この画像Ｔは、トップのフレームから５前のフレームである。
【００５２】
トップのフレームにおいてシャフトが見えない場合であっても、トップより前のフレームでは、シャフトは見える。差分処理をスタートする画像Ｔは、トップに近く且つシャフトが見えやすいフレームに決定されるのが好ましい。
【００５３】
次に、差分Ａがなされる（ＳＴＥＰ１１１０）。この差分Ａは、上記画像Ｔとアドレス画像との差分処理である。図２６には、この差分Ａによって得られる差分画像Ｄｐ−Ａが示されている。
【００５４】
次に、差分Ｂがなされる（ＳＴＥＰ１１２０）。この差分Ｂは、画像Ｔと、その画像Ｔから所定数後のフレームとの差分処理である。本実施形態では、この所定数は２とされている。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。図２６には、この差分Ｂによって得られる差分画像Ｄｐ−Ｂが示されている。
【００５５】
次に、差分Ｃがなされる（ＳＴＥＰ１１３０）。この差分Ｃは、画像Ｔと、その画像Ｔから所定数前のフレームとの差分処理である。本実施形態では、この所定数が２とされている。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。図２６には、この差分Ｃによって得られる差分画像Ｄｐ−Ｃが示されている。
【００５６】
このように、差分Ｂ及び差分Ｃでは、画像Ｔの前後で且つ画像Ｔに近いフレームと画像Ｔとの差分がなされる。
【００５７】
次に、ＡＮＤ処理がなされる（ＳＴＥＰ１１４０）。差分画像Ｄｐ−Ｂと差分画像Ｄｐ−Ｃとの間で、ＡＮＤ処理がなされる。このＡＮＤ処理により、差分画像Ｄｐ−Ｂと差分画像Ｄｐ−Ｃとの両方に存在する画素のみが、残される。図２６には、このＡＮＤ処理によって得られるＡＮＤ画像Ａｎ−１が示されている。このＡＮＤ画像Ａｎ−１では、画像Ｔにおけるシャフト以外の部分が効果的に除去されている。
【００５８】
このＡＮＤ処理は、差分画像の修正処理の一例である。ＡＮＤ画像Ａｎ−１は、上記修正画像の一例である。
【００５９】
このＡＮＤ画像Ａｎ−１が対象画像とされてもよい。ただし、本実施形態では、シャフト位置の抽出の精度を更に高めるため、以下のステップがなされる。
【００６０】
次に、マスク画像１が生成される（ＳＴＥＰ１１５０）。このステップでは、差分画像Ｄｐ−Ａに処理が施される。このマスク画像１の生成ステップは、差分画像Ｄｐ−Ａに、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５０である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、４回の膨張処理がなされる。得られたマスク画像１が、図２６において、符号Ｍｐ−１で示されている。
【００６１】
このマスク画像１（画像Ｍｐ−１）は、シャフト以外の部分の画像を除去するために用いられる。図２６が示すように、マスク画像１（画像Ｍｐ−１）では、シャフト部分の画素は除去されており、主としてゴルファー部分の画素が残されている。
【００６２】
次に、マスク画像２が生成される（ＳＴＥＰ１１６０）。このステップでは、ＡＮＤ画像Ａｎ−１に処理が施される。このマスク画像２の生成ステップは、ＡＮＤ画像Ａｎ−１に、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、３回の膨張処理がなされる。このマスク画像２が、図２６において、符号Ｍｐ−２で示されている。
【００６３】
このマスク画像２（画像Ｍｐ−２）は、シャフト以外の部分（ヘッド）の画像を除去するために用いられる。図２６が示すように、マスク画像２（画像Ｍｐ−２）では、シャフト部分の画素は除去されており、主として画像Ｔにおけるヘッドの画素が残されている。このマスク画像２は、シャフト以外の部分（ヘッド）を除去するのに役立つ。
【００６４】
次に、差分Ｄがなされる（ＳＴＥＰ１１７０）。この差分Ｄは、ＡＮＤ画像Ａｎ−１から、マスク画像１及びマスク画像２が除去される差分処理である。図２６には、この差分Ｄによって得られる差分画像Ｄｐ−Ｄが示されている。マスク画像１、２を用いて差分Ｄがなされることで、ＡＮＤ画像Ａｎ−１から、シャフト以外の部分が効果的に除去されている。この差分画像Ｄｐ−Ｄは、マスク処理済み差分画像の一例である。この差分画像Ｄｐ−Ｄは、上記修正画像の一例である。
【００６５】
次に、シャフト探索領域が決定される（ＳＴＥＰ１１８０）。シャフト探索領域が限定されることで、シャフト位置の抽出の精度が向上しうる。
【００６６】
シャフト探索領域は、シャフトが存在する可能性が高い領域に設定される。シャフト探索領域が狭すぎると、シャフトがこの領域から外れる可能性が高まる。一方、シャフト探索領域が広すぎると、シャフトの抽出精度が低下しうる。これらの点を考慮して、適切なシャフト探索領域が設定される。
【００６７】
好ましくは、このシャフト探索領域の決定では、上記の各ステップで得られた画像のいずれかを用いて特徴点が抽出される。この特徴点に基づいて、シャフト探索領域が決定される。この特徴点の抽出の一例については、後述される。
【００６８】
次に、ハフ変換処理が実施される（ＳＴＥＰ１１９０）。決定されたシャフト探索領域において、ハフ変換処理が実施される。このハフ変換処理により、シャフトが抽出される。ただし。シャフトが見えない場合には、このハフ変換処理によっても、シャフトは抽出されない。
【００６９】
次に、画像Ｔがトップか否かが判断される（ＳＴＥＰ１２００）。画像Ｔがトップであれば、シャフトの抽出が終了される。画像Ｔがトップでない場合、画像Ｔの１後のフレームが選択され（ＳＴＥＰ１２１０）、上記差分ステップに戻る。画像Ｔがトップとなるまで、このループが繰り返される。このループにより、シャフト位置の時系列的な抽出が試行される。本実施形態では、トップの５フレーム前が当初の画像Ｔであるから、本実施形態では、上記ループが６回繰り返される。このように、本実施形態では、トップ前からトップまでの複数のフレームについて、シャフト位置の抽出が試行される。よって、複数のフレームのそれぞれについてシャフト位置の抽出結果が時系列的に得られる。
【００７０】
これらの複数のフレームでの抽出結果に基づき、トップのシャフト位置が判断される。この抽出結果は、以下の結果ＡからＣに分類される。
［結果Ａ］：トップのシャフト位置が抽出されている。
［結果Ｂ］：トップのシャフト位置は抽出されていないが、トップ前の少なくとも１のフレームについてはシャフト位置が抽出されている。
［結果Ｃ］：シャフト位置の抽出を試みた全てのフレームについて、シャフト位置が抽出されていない。
【００７１】
結果Ａの場合、その抽出されたトップでのシャフト位置に基づいて、スイングの良否（トップの姿勢の良否）が判断される。
【００７２】
結果Ｂの場合、トップ前（トップ近傍）でのシャフト位置の抽出には成功している。よって、トップ近傍でのシャフト位置の抽出に失敗しているという状況ではない。結果Ｂが得られた場合、トップのシャフト位置が抽出されていないという結果は、信頼性が高い。即ち、結果Ｂの場合、トップにおいてシャフトが目標方向に対して略平行であると判断されうる。  
【００７３】
トップにおいてシャフトが目標方向に対して平行な状態は、良好なシャフト位置である。結果Ｂが得られた場合、トップでのゴルファー２４の姿勢は良好であると判断される。
【００７４】
結果Ｃの場合、結果Ｂと同様に、トップでのシャフト位置の抽出は出来ていない。しかし、更に結果Ｃでは、トップ前（トップ近傍）でのシャフト位置の抽出もできていない。この結果Ｃは、トップ近傍でのシャフト位置の抽出に失敗していることを示す。即ち、結果Ｃは、トップ近傍においてシャフトが見える状況であるにも関わらず、何らかの原因で、シャフトの抽出に失敗している状況を示している。なぜなら、トップより前においてシャフトが見えないという状況は考えにくいからである。よって、結果Ｃが得られた場合は、トップのシャフト位置が不明であると判断される。この場合、トップでのゴルファー２４の姿勢の良否は判断されない。
【００７５】
これらの抽出結果に関する判断は、次のステップ（Ｓａ）又は（Ｓｂ）を含む。
（Ｓａ）シャフト位置の抽出を試みるステップにおいてチェックフレームのシャフト位置が抽出されたか否かによって、ゴルファーの姿勢の良否が判断されるステップ。
（Ｓｂ）上記シャフト位置の抽出を試みるステップにおいてチェックフレームのシャフト位置が抽出された場合、そのシャフト位置によってゴルファーの姿勢の良否が判断されるステップ。
【００７６】
好ましくは、上記ステップ（Ｓａ）は、次のステップ（Ｓａ１）を含む。
（Ｓａ１）チェックフレームのシャフト位置が抽出できなかった場合、このチェックフレームより前のシャフト位置が抽出されたか否かによって、このチェックフレームにおけるシャフト位置の抽出の適否が判断される
【００７７】
このステップ（Ｓａ１）では、上記チェックフレームより前のシャフト位置が抽出される場合に、上記チェックフレームにおけるシャフト位置の抽出が適切であると判断される。このステップ（Ｓａ１）では、上記チェックフレームより前のシャフト位置が抽出されない場合に、上記チェックフレームにおけるシャフト位置の抽出が不適切であると判断される。
【００７８】
好ましくは、上記ステップ（Ｓａ）は、次のステップ（Ｓａ２）を含む。
（Ｓａ２）シャフト位置の抽出を試みるステップにおいてチェックフレームのシャフト位置が抽出されず、且つ、このチェックフレームの前のフレームにおいてシャフト位置が抽出された場合、シャフト位置（ゴルファーの姿勢）が良好であると判断されるステップ。
【００７９】
なお、ステップ（Ｓａ１）及び（Ｓａ２）において、チェックフレームの前のフレームとは、好ましくは、時系列的な抽出結果として得られた複数のフレームの抽出結果のうち、上記チェックフレーム以外の他のフレームの抽出結果である。本実施形態では、チェックフレームがトップのフレームである。
【００８０】
単にチェックフレーム（トップのフレーム）のシャフト位置を抽出するのみでは、結果Ｂと結果Ｃとが区別できない。よって、単にトップのシャフト位置を抽出するのみでは、トップ近傍でのシャフト位置の抽出に失敗しているにも関わらず、シャフト位置が良好と判断されうる。本実施形態では、トップ前のフレームからシャフト位置を追跡することで、トップでのシャフトの抽出結果の信頼性を高めている。
【００８１】
以下に、上記差分ステップ（ＳＴＥＰ１１１０、１１２０、１１３０）の詳細が例示的に示される。なお、この差分ステップでの差分処理は、原画像（カラー画像）からの差分処理である。よって、この差分ステップでは、二値化された差分画像を得るために、差分処理の後に二値化処理がなされる。一方、本願では、二値化画像同士の差分処理も含まれている。この差分処理では、差分処理の後に二値化処理は不要である。
【００８２】
この差分ステップの一例では、差分の対象となる２つのフレームの各画素について、色相Ｈ、彩度Ｓ及び明度Ｖが算出される。この算出の計算式が以下の（１）から（４）に示される。
【００８３】
【数１】
2013118876.tif 000003
【００８４】
上記（１）が示すように、色相Ｈは、５つの場合分けによって決定される。Ｒ、Ｇ及びＢは、それぞれ、ＲＧＢ系の色情報の値である。また、ｄ＝２Ｒ−Ｇ−Ｂである。このｄは、「denominator」の略である。Ｌは輝度である。
【００８５】
ＲＧＢ系からＨＳＶ系への変換は、公知である。上記以外の公知の変換式が用いられても良い。
【００８６】
次に、算出された色相Ｈ、彩度Ｓ及び明度Ｖに基づいて、画素間の色距離が算出される。差分される一方のフレームにおいて、色相がＨ１とされ、彩度がＳ１とされ、明度がＶ１とされる。差分される他方のフレームにおいて、色相がＨ２とされ、彩度がＳ２とされ、明度がＶ２とされる。色相がＨ１であり、彩度がＳ１であり且つ明度がＶ１である色ベクトルがＣ１とされる。色相がＨ２であり、彩度がＳ２であり且つ明度がＶ２である色ベクトルがＣ２とされる。色距離Ｄ（Ｃ１，Ｃ２）は、次の式（５）から（１６）により算出される。ただし、色距離Ｄ（Ｃ１，Ｃ２）は、０以上１０．０以下である。なお、式（７）では、Ｈｕｅ−Ｓａｔｕｒａｔｉｏｎ空間におけるＣ１とＣ２との色距離ΔＨが求められている。式（１５）及び式（１６）で対数を採っているのは、Ｓ１及びＳ２が低い場合においても色距離を正確に算出するためである。式（５）におけるａ、ｂ及びｃは定数であり、本実施形態では、ａは５．１とされ、ｂは２．２５とされ、ｃは２．６５とされる。
【００８７】
【数２】
2013118876.tif 000004
【００８８】
この色距離Ｄ（Ｃ１，Ｃ２）の計算が、差分処理の一例である。この色距離Ｄ（Ｃ１，Ｃ２）に基づいて、二値化処理がなされる。この二値化処理では、色距離Ｄ（Ｃ１，Ｃ２）が所定値以上である画素が１とされ、色距離Ｄ（Ｃ１，Ｃ２）が所定値未満である画素が０とされる。本実施形態では、色距離Ｄ（Ｃ１，Ｃ２）が０．４以上である画素が１とされ、色距離Ｄ（Ｃ１，Ｃ２）が０．４未満である画素が０とされる。この二値化処理により、二値化された差分画像が得られる。
【００８９】
次に、シャフト探索領域の決定ステップ（ＳＴＥＰ１１８０）の一例が説明される。この決定ステップは、特徴点を抽出するステップを含む。この特徴点に基づき、シャフト探索領域が決定される。適切なシャフト探索領域を決定するのに適した特徴点が選択される。
【００９０】
本実施形態では、第１の特徴点として、ヘッド画像の中心点ＨＣ１（図示省略）が抽出される。この中心点ＨＣ１は、上記マスク画像２（画像Ｍｐ−２；図２６参照）に写っているヘッド画像の中心点である。このヘッド画像において、ｘの最大値Ｘ１、ｘの最小値Ｘ２、ｙの最大値Ｙ１及びｙの最小値Ｙ２が決定される。中心点ＨＣ１のｘがＸｃとされ、中心点ＨＣ１のｙがＹｃとされるとき、これらのＸｃ及びＹｃは次の式によって算出される。
Ｘｃ＝（Ｘ１＋Ｘ２）／２
Ｙｃ＝（Ｙ１＋Ｙ２）／２
【００９１】
本実施形態では、第２の特徴点として、アドレスでの手元位置が抽出される。このアドレスでの手元位置を抽出するステップは、アドレスでのシャフトを抽出するステップＳｔ１と、このステップＳｔ１の結果に基ついてアドレスでの手元位置が抽出されるステップＳｔ２とを含む。
【００９２】
ステップＳｔ１では、アドレスのエッジ画像ＥＡｐが用いられる（図２７参照）。なおこの図２７では、エッジ画像の記載は省略されている。好ましくは、ステップＳｔ１では、所定のシャフト探索範囲が決定される。このシャフト探索範囲は、アドレスにおけるシャフトの位置を考慮して決定される。本実施形態では、このシャフト探索範囲は、ｘが２４０から４８０までであり、ｙが３２０から６４０までである（図２７参照）。ステップＳｔ１では、このシャフト探索範囲に、ハフ変換処理が施される。このハフ変換処理により、シャフトの位置が抽出される。
【００９３】
図２８は、ステップＳｔ２を説明するための図である。このステップＳｔ２では、マスク画像１（画像Ｍｐ−１）が用いられる。このステップＳｔ２では、ステップＳｔ１で抽出されたシャフト位置に沿った直線Ｌｓが用いられる。この直線Ｌｓと、画像Ｍｐ−１との交点に基づいて、アドレスでの手元位置ＡＧ１が決定される（図２８参照）。この手元位置ＡＧ１のｘがＸａとされる。この手元位置ＡＧ１のｙがＹａとされる。
【００９４】
本実施形態では、第３の特徴点として、トップ（又はトップ近傍）における頭の位置が抽出される。この頭の位置の抽出では、マスク画像１（画像Ｍｐ−１）が用いられる。図２９において示される長方形は、頭の位置の抽出における探索範囲である。本実施形態では、この探索範囲のｘは、［Ｘａ−４０］から［４８０×０．８］までとされている。この探索範囲のｙは、２０からＹａまでとされている。この探索範囲に存在する画像において、ｙが最小（図２９において最も上側）の点が、頭の位置ＴＨ１とされる（図２９参照）。この頭の位置ＴＨ１のｘがＸｈとされる。この頭の位置ＴＨ１のｙがＹｈとされる。
【００９５】
本実施形態では、第４の特徴点として、トップ（又はトップ近傍）における手元の位置が抽出される。この手元の位置の抽出では、マスク画像１（画像Ｍｐ−１）が用いられる。図３０において示される長方形は、この手元の位置の抽出における探索範囲である。本実施形態では、この探索範囲のｘは、４０から［Ｘｈ−４０］までとされている。この探索範囲のｙは、２０からＹａまでとされている。この探索範囲に存在する画像において、ｙが最小（図３０において最も上側）の点が、手元の位置ＴＧ１とされる（図３０参照）。この手元の位置ＴＧ１のｘがＸｔとされる。この手元の位置ＴＧ１のｙがＹｔとされる。
【００９６】
この位置ＴＧ１が適宜修正されてもよい。本実施形態では、最終的に決定される手元位置のｙがＹｆとされるとき、このＹｆは［Ｙｔ＋１０］とされる。最終的に決定される手元位置のｘがＸｆとされるとき、このＸｆはＸｔ（修正無し）とされる。
【００９７】
以上のステップにより、次の特徴点が決定している。
・ヘッド画像の中心点ＨＣ１（Ｘｃ，Ｙｃ）
・トップ（又はトップ近傍）における手元位置（Ｘｆ，Ｙｆ）
これらの特徴点に基づいて、本ステップ（ＳＴＥＰ１１８０）の最終目的である、シャフト探索領域が決定される。
【００９８】
決定されるシャフト探索領域の一例が、図３１に四角形で示されている。この領域のｘは、［Ｘｆ−２０］から［Ｘｃ＋２０］までである。この領域のｙは、［Ｙｃ−２０］から［Ｙｆ＋２０］までである。このようにして、シャフト探索領域が決定される。この決定されたシャフト探索領域において、ハフ変換処理（ＳＴＥＰ１１９０）がなされる。ｋのハフ変換処理において、投票数が所定数以上の直線が、シャフトとして抽出される。この投票数は、３以上１０以下が好ましく、より好ましくは６である。θの拘束条件は設定されないのが好ましい。
【００９９】
図３２は、他のＡＮＤ画像Ａｎ−１を示す。この図３２の実施形態のように、ＡＮＤ画像においてヘッドが見えないことがある。この場合、マスク画像２（画像Ｍｐ−２）にも、ヘッドの画像は存在しない。よって、上記中心点ＨＣ１の座標（Ｘｃ，Ｙｃ）は決定されえない。この場合、他の特徴点を用いて、シャフト探索領域が決定されうる。図３２に四角形で示された領域は、この決定されたシャフト探索領域の一例である。この領域の決定では、腰位置のｘ座標Ｘｂと、腰位置のｙ座標Ｙｂとが用いられる。更に、この領域の決定では、ＡＮＤ画像Ａｎ−１における最大のｘ座標Ｘｍが用いられる。図３２における画像における右端のｘが、Ｘｍである。
【０１００】
Ｘｂ及びＹｂの決定方法の一例は次の通りである。ＡＮＤ画像Ａｎ−１において、体のバック側（背中等）のライン（バックライン）で極値をとる点が、腰位置Ｂ１（Ｘｂ，Ｙｂ）とされうる。図３２には、この決定された腰位置Ｂ１の一例が示されている。
【０１０１】
この腰位置Ｂ１（Ｘｂ，Ｙｂ）を用いて、シャフト探索領域が決定されている。図３２で示される実施形態において、シャフト探索領域のｘはＸｂからＸｍまでであり、シャフト探索領域のｙはＹｆからＹｚまでである。但し、Ｙｚは、次の式により算出される。
Ｙｚ＝（（Ｙｂ−Ｙｆ）／３）＋Ｙｆ
【０１０２】
このように、トップ（又はトップ近傍）におけるシャフト探索領域は、複数の特徴点に基づいて、決定されうる。シャフト探索領域を適切に設定することで、シャフト抽出の精度が向上しうる。
【０１０３】
フィニッシュのシャフト位置の抽出は、トップのシャフト位置の抽出と似た方法によってなされうる。フィニッシュにおいても、トップと同様に、シャフトが見えない場合がある。よって、この方法は、フィニッシュのシャフト位置の抽出にも有効に適用されうる。
【０１０４】
フィニッシュのシャフト位置の抽出では、好ましくは、インパクトの所定数後のフレームからシャフトが追跡される。この追跡が開始されるフレームは、インパクトとフィニッシュとの間のフレームである。好ましくは、この所定数は、５以上１５以下であり、より好ましくは１０である。この追跡により、フィニッシュでのシャフト位置が抽出されなかった場合においても、適切な判断がなされうる。
【０１０５】
以下、フィニッシュのシャフト位置の抽出方法の概略が説明される。この抽出方法の概略は、トップの場合（図２５参照）と似ているので、以下では、図２５を参照しつつ、トップの場合との相違点のみが説明される。
【０１０６】
この抽出方法では、差分処理をスタートする画像Ｔが決定される（前述のＳＴＥＰ１１００参照）。前述したように、インパクトのフレームは、既に決定されている。この画像Ｔは、インパクトのフレームから所定数後のフレームとされる。本実施形態では、この画像Ｔは、インパクトのフレームから１０後のフレームである。
【０１０７】
フィニッシュのフレームにおいてシャフトが見えない場合であっても、フィニッシュより前のフレームでは、シャフトは見える。差分処理をスタートする画像Ｔは、フィニッシュに近く且つシャフトが見えやすいフレームに決定されるのが好ましい。
【０１０８】
図２５の実施形態（トップのシャフト位置の抽出方法）では、差分処理をスタートする画像Ｔは、アドレスからトップまでの間のフレームである。これに対して、フィニッシュのシャフト位置の抽出方法では、差分処理をスタートする画像Ｔは、インパクトからフィニッシュまでの間のフレームである。
【０１０９】
次に、差分Ａがなされる（前述のＳＴＥＰ１１１０参照）。この差分Ａは、上記画像Ｔとアドレス画像との差分処理である。この差分Ａにより、差分画像ＤＡが得られる。
【０１１０】
次に、差分Ｂがなされる（前述のＳＴＥＰ１１２０参照）。この差分Ｂは、画像Ｔと、その画像Ｔから所定数後のフレームとの差分処理である。この差分Ｂにより、差分画像ＤＢが得られる。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。
【０１１１】
次に、差分Ｃがなされる（前述のＳＴＥＰ１１３０参照）。この差分Ｃは、画像Ｔと、その画像Ｔから所定数前のフレームとの差分処理である。この差分Ｃにより、差分画像ＤＣが得られる。この所定数は、好ましくは１以上３以下であり、より好ましくは２である。
【０１１２】
このように、差分Ｂ及び差分Ｃでは、画像Ｔの前後で且つ画像Ｔに近いフレームと画像Ｔとの差分がなされる。
【０１１３】
次に、ＡＮＤ処理がなされる（前述のＳＴＥＰ１１４０参照）。差分画像ＤＢと差分画像ＤＣとの間で、ＡＮＤ処理がなされる。このＡＮＤ処理により、両差分画像に存在する画素のみが、残される。このＡＮＤ処理により、ＡＮＤ画像Ａ１が生成される。このＡＮＤ画像Ａ１では、画像Ｔにおけるシャフト以外の部分が効果的に除去されている。
【０１１４】
このＡＮＤ画像Ａ１が対象画像とされてもよい。ただし、シャフト位置の抽出の精度を更に高める観点から、好ましくは、以下のステップがなされる。
【０１１５】
次に、マスク画像１が生成される（前述のＳＴＥＰ１１５０参照）。このステップでは、差分画像ＤＡに処理が施される。このマスク画像１の生成ステップは、差分画像ＤＡに、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５０である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、４回の膨張処理がなされる。
【０１１６】
このマスク画像１は、シャフト以外の部分の画像を除去するために用いられる。図示されないが、マスク画像１では、シャフト部分の画素は除去されており、主としてゴルファー部分の画素が残されている。
【０１１７】
次に、マスク画像２が生成される（前述のＳＴＥＰ１１６０参照）。このステップでは、ＡＮＤ画像Ａ１に処理が施される。このマスク画像２の生成ステップは、ＡＮＤ画像Ａ１に、収縮処理、ラベリング処理及び膨張処理が施される。先ず収縮処理がなされ、点状のノイズ等が除去される。好ましくは、この収縮処理は、複数回なされる。本実施形態では、３回の収縮処理がなされる。次に、ラベリング処理がなされる。ラベリング処理では、所定のピクセル数以上の面積を有する領域が残され、所定のピクセル数以下の面積を有する領域が除去される。本実施形態では、このラベリング処理における所定のピクセル数は、１５である。次に、膨張処理がなされる。この膨張処理により、画像のサイズが、上記収縮処理の前の状態に戻される。好ましくは、この膨張処理は、複数回なされる。本実施形態では、３回の膨張処理がなされる。
【０１１８】
このマスク画像２は、シャフト以外の部分（ヘッド）の画像を除去するために用いられる。図示されないが、マスク画像２では、シャフト部分の画素は除去されており、主として画像Ｔにおけるヘッドの画素が残されている。このマスク画像２は、シャフト以外の部分（ヘッド）を除去するのに役立つ。
【０１１９】
次に、差分Ｄがなされる（前述のＳＴＥＰ１１７０参照）。この差分Ｄは、ＡＮＤ画像Ａ１から、マスク画像１及びマスク画像２が除去される差分処理である。マスク画像１、２を用いて差分Ｄがなされることで、ＡＮＤ画像Ａ１から、シャフト以外の部分が効果的に除去されている。
【０１２０】
次に、シャフト探索領域が決定される（前述のＳＴＥＰ１１８０参照）。シャフト探索領域が限定されることで、シャフト位置の抽出の精度が向上しうる。
【０１２１】
シャフト探索領域は、シャフトが存在する可能性が高い領域に設定される。シャフト探索領域が狭すぎると、シャフトがこの領域から外れる可能性が高まる。一方、シャフト探索領域が広すぎると、シャフトの抽出精度が低下しうる。これらの点を考慮して、適切なシャフト探索領域が設定される。
【０１２２】
好ましくは、このシャフト探索領域の決定では、上記の各ステップで得られた画像のいずれかを用いて特徴点が抽出される。この特徴点に基づいて、シャフト探索領域が決定される。
【０１２３】
次に、ハフ変換処理が実施される（前述のＳＴＥＰ１１９０参照）。決定されたシャフト探索領域において、ハフ変換処理が実施される。このハフ変換処理により、シャフトが抽出される。ただし。シャフトが見えない場合には、このハフ変換処理によっても、シャフトは抽出されない。
【０１２４】
このハフ変換処理におけるシャフト抽出では、投票数が所定数以上とされる。この投票数は、この投票数は、５以上１５以下が好ましく、より好ましくは１０である。好ましくは、θの拘束条件は設定されない。
【０１２５】
このハフ変換処理において、投票数が上記所定数（例えば１０）未満である場合がありうる。この場合、差分画像Ｄに代えて、ＡＮＤ画像Ａ１にハフ変換処理が施されても良い。即ちこの場合、ＡＮＤ画像Ａ１が対象画像とされてもよい。このハフ変換処理により、投票数が所定数（例えば１０）以上の直線が抽出された場合、この直線がシャフトとして抽出される。ＡＮＤ画像Ａ１を対象画像とする場合、θの拘束条件が付加されるのが好ましい。好ましいθの拘束条件は、０°以上−９０°である。
【０１２６】
次に、画像Ｔがフィニッシュか否かが判断される（前述のＳＴＥＰ１２００参照）。画像Ｔがフィニッシュであれば、シャフトの抽出が終了される。画像Ｔがフィニッシュでない場合、画像Ｔの１後のフレームが選択され（前述のＳＴＥＰ１２１０参照）、上記差分ステップに戻る。画像Ｔがフィニッシュとなるまで、このループが繰り返される。本実施形態では、よって、フィニッシュ前からフィニッシュまでの複数のフレームについて、シャフト位置の抽出が試行される。よって、複数のフレームのそれぞれについてシャフト位置の抽出結果が得られる。
【０１２７】
これらの複数のフレームでの抽出結果に基づき、フィニッシュのシャフト位置が判断される。この抽出結果は、以下の結果ＡからＣに分類される。
［結果Ａ］：フィニッシュのシャフト位置が抽出されている。
［結果Ｂ］：フィニッシュのシャフト位置は抽出されていないが、フィニッシュ前の少なくとも１のフレームについてはシャフト位置が抽出されている。
［結果Ｃ］：シャフト位置の抽出を試みた全てのフレームについて、シャフト位置が抽出されていない。
【０１２８】
結果Ａの場合、その抽出されたフィニッシュでのシャフト位置に基づいて、スイングの良否（フィニッシュの姿勢の良否）が判断される。
【０１２９】
結果Ｂの場合、フィニッシュ前（フィニッシュ近傍）でのシャフト位置の抽出には成功している。よって、フィニッシュ近傍でのシャフト位置の抽出に失敗しているという状況ではない。結果Ｂが得られた場合、フィニッシュのシャフト位置が抽出されていないという結果は、信頼性が高い。即ち、結果Ｂの場合、フィニッシュにおいてシャフトが目標方向に対して略平行であると判断されうる。あるいは、フィニッシュにおいてシャフトが体によって隠れている場合も想定される。  
【０１３０】
結果Ｃの場合、結果Ｂと同様に、フィニッシュでのシャフト位置の抽出は出来ていない。しかし、更に結果Ｃでは、フィニッシュ前（フィニッシュ近傍）でのシャフト位置の抽出もできていない。この結果Ｃは、フィニッシュ近傍でのシャフト位置の抽出に失敗していることを示す。即ち、結果Ｃは、フィニッシュ近傍においてシャフトが見える状況であるにも関わらず、何らかの原因で、シャフトの抽出に失敗している状況を示している。なぜなら、フィニッシュより前（インパクトからフィニッシュまで）においてシャフトが見えないという状況は考えにくいからである。よって、結果Ｃが得られた場合は、フィニッシュのシャフト位置が不明であると判断される。この場合、フィニッシュでのゴルファー２４の姿勢の良否は判断されない。
【０１３１】
単にフィニッシュのシャフト位置を抽出するのみでは、結果Ｂと結果Ｃとが区別できない。よって、単にフィニッシュのシャフト位置を抽出するのみでは、フィニッシュ近傍でのシャフト位置の抽出に失敗しているにも関わらず、この失敗を認識することなく、シャフト位置が判断されうる。本実施形態では、フィニッシュ前のフレームからシャフト位置を追跡することで、フィニッシュでのシャフトの抽出結果の信頼性が高められている。
【０１３２】
チェックフレームは、トップ及びフィニッシュに限定されない。チェックフレームの決定により、種々のポジションでのスイング診断が可能である。例えば、アドレス時のシャフト３４に相当する直線と、ダウンスイング時のシャフト３４に相当する直線とのなす角度により、スイングの良否が判定されてもよい。
【０１３３】
この実施形態ではサーバ６の演算部１６が各処理を行うが、携帯電話機４の演算部１６が各処理を行ってもよい。この場合、携帯電話機４とサーバ６との接続は不要である。
【産業上の利用可能性】
【０１３４】
本発明に係る方法では、ゴルフ場、プラクティスレンジ、ゴルフショップ、一般家庭の庭等においてなされるスイングが、診断されうる。
【符号の説明】
【０１３５】
２・・・システム
４・・・携帯電話機
６・・・サーバ
１０・・・カメラ
１６・・・演算部
２２・・・ゴルフクラブ
２６・・・第一枠
２８・・・第二枠
３６・・・シャフト探索領域
Ａｎ−１・・・ＡＮＤ画像
Ｄｐ−Ａ、Ｄｐ−Ｂ、Ｄｐ−Ｃ、Ｄｐ−Ｄ・・・差分画像
Ｍｐ−１、Ｍｐ−２・・・マスク画像
【図１】
2013118876.tif 000005
【図２】
2013118876.tif 000006
【図３】
2013118876.tif 000007
【図４】
2013118876.tif 000008
【図５】
2013118876.tif 000009
【図６】
2013118876.tif 000010
【図７】
2013118876.tif 000011
【図８】
2013118876.tif 000012
【図９】
2013118876.tif 000013
【図１０】
2013118876.tif 000014
【図１１】
2013118876.tif 000015
【図１２】
2013118876.tif 000016
【図１３】
2013118876.tif 000017
【図１４】
2013118876.tif 000018
【図１５】
2013118876.tif 000019
【図１６】
2013118876.tif 000020
【図１７】
2013118876.tif 000021
【図１８】
2013118876.tif 000022
【図１９】
2013118876.tif 000023
【図２０】
2013118876.tif 000024
【図２１】
2013118876.tif 000025
【図２２】
2013118876.tif 000026
【図２３】
2013118876.tif 000027
【図２４】
2013118876.tif 000028
【図２５】
2013118876.tif 000029
【図２６】
2013118876.tif 000030
【図２７】
2013118876.tif 000031
【図２８】
2013118876.tif 000032
【図２９】
2013118876.tif 000033
【図３０】
2013118876.tif 000034
【図３１】
2013118876.tif 000035
【図３２】
2013118876.tif 000036