(57)【要約】【課題】これにより、使用者の動作の種類の判定を容易に行うことができる。【解決手段】撮像装置１は、画像取得部５２と、ボール検出部５３と、パッティング判定部５８と、を備える。画像取得部５２は、使用者の動作が撮像された複数の画像を取得する。ボール検出部５３は、画像取得部５２により取得された複数の画像から、特定の被写体の位置を検出する。パッティング判定部５８は、ボール検出部５３により各画像の特定の被写体の位置に基づいて、前記使用者の動作の種類を判定する。【選択図】図２
2015008940.tif 000002
【特許請求の範囲】
【請求項１】
使用者の動作が撮像された複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の画像の各画像から、特定の被写体の位置を検出する第１の検出手段と、
前記第１の検出手段により検出された各画像の特定の被写体の位置に基づいて、前記使用者の動作の種類を判定する動作判定手段と、
を備えることを特徴とする動作判定装置。
【請求項２】
前記動作判定手段は、前記第１の検出手段により検出された前記特定の被写体の位置の軌跡の種類を判定する第１の判定手段を有し、
前記第１の判定手段による判定結果により前記被写体の動作の種類を判定する、
ことを特徴とする請求項１に記載の動作判定装置。
【請求項３】
前記動作判定手段は、前記第１の判定手段により前記軌跡の種類が曲線であると判定されると、当該曲線を円周とする半径と所定の長さの大小関係を判定する第２の判定手段を有し、
前記第２の判定手段による判定結果に基づいて、所定の瞬間における前記使用者の動作の状態を更に判定する、
ことを特徴とする請求項２に記載の動作判定装置。
【請求項４】
前記画像取得手段により取得された複数の画像のうち、所定の瞬間の画像を特定する画像特定手段と、
前記画像特定手段により特定された特定の被写体における判定対象の画像間の位置変化を算出する算出手段と、を備え、
前記第２の判定手段は、前記算出手段により算出された位置変化に基づいて、所定の瞬間における動作の状態を判定する、
ことを特徴とする請求項３に記載の動作判定装置。
【請求項５】
前記動作判定手段により判定された動作の種類の情報を表示手段に表示させる表示制御手段を更に備えたことを特徴とする請求項１から４の何れか１項に記載の動作判定装置。
【請求項６】
前記表示制御手段は、前記画像取得手段により取得された画像中の特定の被写体とともに、前記動作の種類の情報を前記表示手段に表示させることを特徴とする請求項５に記載の動作判定装置。
【請求項７】
前記画像取得手段により取得された複数の画像から、前記特定の被写体に関するマルチモーション画像を生成する画像生成手段を更に備え、
前記表示制御手段は、前記マルチモーション画像と前記動作の種類の情報とを前記表示手段に表示させることを特徴とする請求項５又は６に記載の動作判定装置。
【請求項８】
前記画像取得手段により取得された複数の画像から、前記特定の被写体とは異なる領域の位置を検出する第２の検出手段と、
前記第１の検出手段により検出された特定の被写体の位置と当該特定の被写体とは異なる領域の位置のズレ量を算出するズレ量算出手段と、
を更に備え、
前記表示制御手段は、前記ズレ量算出手段により算出されたズレ量を前記表示手段に表示させることを特徴とする請求項５から７のいずれか１項に記載の動作判定装置。
【請求項９】
前記画像取得手段は、使用者の動作としてゴルフのパターのスイングを撮影した複数の画像を取得し、
前記第１の検出手段は、前記特定の被写体として、少なくともパターのヘッドを含む領域を検出し、
前記動作判定手段は、使用者の動作の種類としてパッティングスタイルを判定する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の動作判定装置。
【請求項１０】
被写体を連続的に撮像する撮像手段を備え、
前記画像取得手段は、前記撮像手段により連続的に撮像された画像を前記複数の画像として取得する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の動作判定装置。
【請求項１１】
使用者の動作が撮像された複数の画像を取得する取得ステップと、
前記取得ステップにより取得された前記複数の画像から、特定の被写体の位置を検出する検出ステップと、
前記検出ステップにより検出された各画像の特定の被写体に基づいて、被写体の動作の種類を判定する動作判定ステップと、
を含むことを特徴とする動作判定方法。
【請求項１２】
コンピュータを、
使用者の動作が撮像された複数の画像を取得する取得手段、
前記取得手段により取得された前記複数の画像から、特定の被写体の位置を検出する検出手段、
前記検出手段により検出された各画像の特定の被写体の位置に基づいて、使用者の動作の種類を判定する動作判定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の動作を判定する動作判定装置、動作判定方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像の判定においては、パッティング動作をチェックするため、ゴルフクラブのヘッド内にスイングと同一方向の透明なパイプを設け、当該ゴルフクラブの中に配置された鋼球の振る舞いによって、ゴルフススイングが所望のものとなっているかを確認する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３４３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１は、クラブの中身に特殊な加工をしてしまうため、クラブ自体の重心が大幅に変わってしまい、実際のスイングを想定したフォームの確認には有用でない虞がある。
【０００５】
そこで、本願発明は、上記問題点に鑑み、使用者の動作の種類の特定を容易に行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像判定装置は、
使用者の動作が撮像された複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の画像の各画像から、特定の被写体の位置を検出する第１の検出手段と、
前記第１の検出手段により検出された各画像の特定の被写体の位置に基づいて、前記使用者の動作の種類を判定する動作判定手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被写体の動作の種類の判定を容易に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、を実行するための機能的構成を示す機能ブロック図である。
【図３】取得した画像のうち、特定されたインパクト前の画像と、インパクト後の画像を示す図である。
【図４】インパクト及びインパクト前後のマーカの位置の違いによるパターの軌道タイプの違いを示す図である。
【図５】パッティングスタイルの判定結果の表示例を示す図である。
【図６】図２の機能的構成を有する図１の撮像装置が実行するパッティングスタイル表示処理の流れを説明するフローチャートである。
【図７】パッティングスタイル表示処理のうちパッティングスタイル判定処理の詳細な流れを説明するフローチャートである。
【図８】パッティングスタイルの判定結果の他の表示例を示す図である。
【図９】パッティングスタイルの判定結果の他の表示例を示す図である。
【図１０】パッティングスタイルの判定結果の他の表示例を示す図である。
【図１１】パッティングスタイルの判定結果の他の表示例を示す図である。
【図１２】パッティングスタイル表示処理のうちパッティングスタイル判定処理の変形例の詳細な流れを説明するフローチャートである。
【図１３】パッティングスタイルの判定結果の他の表示例を示す図である。
【図１４】パッティングスタイルの判定結果の他の表示例を示す図である。
【図１５】パッティングスタイルの判定結果の他の表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「画像のデータ」と呼ぶ。画像のデータは、ＣＰＵ１１や画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２０】
以上のような構成を有する撮像装置１においては、使用者であるスイング対象者のパッティング動作の種類である打ち方（以下、「パッティングスタイル」という）を、撮影した画像に基づいて、自動的に判定することができる。
ゴルフのパターにおいては、多種多様なスタイルがあり、パッティングをするスイング対象者がどのようなパッティングスタイルであるかを知ることは、パッティングスタイルの修正や練習に有効である。また、使用するパターは、パッティングスタイルに基づいて選定する傾向がある。しかしながら、スイング対象者が自己のパッティングスタイルを客観的に知ることは難しいという現状がある。
そこで、本実施形態の撮像装置１においては、スイング対象者の客観的なパッティングスタイルを容易に認識することができる機能を有する。
また、本実施形態の撮像装置１においては、パッティングスタイルの判定のために高速撮影を可能にする構成を有し、さらに、スイング対象者本人が撮影操作を行うことを想定して、セルフタイマー機能、撮影対象を自動判別して撮影を行う機能、リモート撮影機能等の各種機能を有する。
【００２１】
本実施形態の撮像装置１において判定するパッティングスタイルについて説明する。
本実施形態においては、パッティングスタイルは、大きく分けて２種類のパッティングの方式があり、手首を固定し振り子のようにしてインパクトを中心に左右対称にパッティングを行う振り子式、あるいは、ストローク式（以下、統一的に「ストローク式」という）と呼ばれる方式と、手首を使ってパッティングする「タップ式」と呼ばれる方式に別れる。
また、各方式において、インパクトにおいて、パターがどのように当たったかをパターのヘッドの軌道から見たパッティングの軌跡は、「アッパーブロー」，「ダウンブロー」，「レベルブロー」の３種類ある。
「アッパーブロー」は、スイングにおいてクラブヘッドが描く弧（以下、「スイングアーク」ともいう）の最下点を過ぎた後がインパクト位置となり、上昇しながらパターがボールに当たる。
「ダウンブロー」は、スイングアークの最下点の手前がインパクト位置となり、下降しながらパターがボールに当たる。
「レベルブロー」は、スイングアークの最下点がインパクト位置となり、水平にパターがボールに当たる。
パッティングにおいては、基本的には、「アッパーブロー」が良いとされているが、個人の趣向により左右され、絶対的なパッティングはないとされているため、自己のパッティングスタイルを客観的に知ることの要求が高い。
【００２２】
図２は、このような撮像装置１の機能的構成のうち、パッティングスタイル表示処理を実行するための機能的構成を示す機能ブロック図である。
「パッティングスタイル表示処理」とは、パッティングの動作を撮影し、撮影されたパッティングの動作を含む画像を解析して、パッティングスタイルを判定し、表示するまでの一連の処理をいう。本例では、スイング対象者に対峙する方向から当該スイング対象者の撮影を行う例について説明する。本例においては、少なくとも、ボールと、インパクト前後のクラブのヘッドが撮影範囲内に収まる位置で撮影を行う。
【００２３】
パッティングスタイル表示処理は、図２に示すように、ＣＰＵ１１において、撮像制御部５１と、画像取得部５２と、ボール検出部５３と、インパクト画像検出部５４と、画像特定部５５と、マーカ検出部５６と、軌道判定部５７と、パッティング判定部５８と、出力制御部５９とが機能する。
また、記憶部１９の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、撮像部１６から順次取得した画像のデータが記憶される。また、画像記憶部７１は、例えば、テンポラリメモリ７１ａとリングバッファメモリ７１ｂから構成される。
【００２４】
撮像制御部５１は、入力部１７に対する入力操作により、撮影を開始するように撮像部１６を制御する。また、後述するように、ボール検出部５３の指示により、撮像制御部５１は、ライブビュー画像のための第１のフレームレート（例えば、３０ｆｐｓ）から、リングバッファメモリ７１ｂのための第２のフレームレート（例えば、２００ｆｐｓ）となるように撮像部１６を制御する。
【００２５】
画像取得部５２は、撮像部１６から出力される画像を取得する。その後、取得した画像は、画像記憶部７１のテンポラリメモリ７１ａに記憶される。
【００２６】
ボール検出部５３は、テンポラリメモリ７１ａに記憶された画像からボールを検出する。本実施形態においては、ボール検出部５３は、画像記憶部７１のテンポラリメモリ７１ａに一時的に記憶された画像であるライブビュー画像からボールの有無と、ボールの位置の検出を行う。ボールの位置の検出は、例えば、既存のエッジ抽出の技術等を用いる。ボール検出部５３は、ボールを検出すると、撮像制御部５１に対し、画像の撮像のフレームレートを第１のフレームレートから第２のフレームレートにするよう指示を行う。撮像制御部５１は、ボール検出部５３からの指示があると、第２のフレームレートで画像を撮像するよう撮像部１６を制御する。
また、ボール検出部５３は、ボールを検出すると、リングバッファメモリ７１ｂを起動させるよう画像記憶部７１に指示を行う。リングバッファメモリ７１ｂが起動されると、第２のフレームレートで撮像された画像がテンポラリメモリ７１ａとリングバッファメモリ７１ｂに逐次格納させるようになる。その後、第２のフレームレートでテンポラリメモリ７１ａに格納された画像は、インパクト画像検出部５４に逐次供給され、出力部１８に供給される画像のフレームレートは、第１のフレームレートとなるように間引かれる。
また、ボール検出部５３は、ボールの大きさから画像の実際のサイズを換算する換算値（Ｐｉｘｅｌをｃｍにした換算値）を導き出す。換算値は、例えば、ボールの大きさが規定の大きさであることを前提にして導き出すことが可能となる。このため、ボールの大きさを任意に入力するように構成してもよい。このように換算値を導き出すことにより、画像に含まれる被写体の実際の大きさを算出することができる。
【００２７】
インパクト画像検出部５４は、供給された画像の中からインパクトの瞬間の画像を検出する。インパクト画像検出部５４は、例えば、ボールの位置が変化した画像の直近の画像を特定する等で、取得した画像の差分からインパクトの動作を含む画像を検出する。
また、インパクト画像検出部５４は、インパクトの瞬間の画像を検出すると、所定時間の経過後にリングバッファメモリ７１ｂを停止させるよう画像記憶部７１に指示を行う。リングバッファメモリ７１ｂには、最終的に、インパクトの瞬間の画像と、当該インパクトの瞬間の前後の瞬間の画像が記憶させることになる。
その後、リングバッファメモリ７１ｂに格納された各画像は画像特定部５５に供給される。
【００２８】
画像特定部５５は、リングバッファメモリ７１ｂから供給された各画像からインパクト画像検出部５４により検出された瞬間の前後の画像（インパクト前の画像と、インパクト後の画像）を特定する。
図３は、インパクト画像検出部５４により検出されたインパクトの瞬間の画像ｉ１（以下、「インパクトの画像ｉ１」という）と、画像特定部５５により特定されたインパクトの直前の画像ｉ２（以下、「インパクト前の画像ｉ１」という）と、インパクトの直後の画像ｉ３（以下、「インパクト後の画像ｉ３」という）を示す。
【００２９】
マーカ検出部５６は、画像特定部５５により特定された画像と、インパクトの画像におけるクラブヘッドに貼り付けられたマーカの位置を検出する。本実施形態において、マーカ検出部５６は、パターのクラブヘッドに貼り付けたマーカを検出したが、クラブヘッド自体をマーカとして検出するように構成してもよい。また、マーカの検出の方法は、色による方法や、パターンマッチング技術による方法が考えられる。
【００３０】
軌道判定部５７は、マーカ検出部５６により検出された、インパクトの瞬間とインパクトの瞬間の前後の画像におけるマーカの位置に基づいて、パターの軌道を算出する。本実施形態において、軌道判定部５７は、パターの軌道の種類（以下、「軌道タイプ」ともいう）と、当該パターの軌道中のマーカ位置が構成する傾き（以下、単に「傾き」ともいう）を算出する。
【００３１】
ここで、パターの軌道の判定方法を以下に説明する。
まず、インパクトとインパクト前後の画像におけるマーカの位置から、マーカが円弧状に遷移する（以下、単に「円」ともいう）か、直線上に遷移する（以下、単に「直線」ともいう）かを表すパターの軌道タイプを判定する。
具体的には、以下の式（１）により、パターの軌道タイプを判定する。式（１）の解が０となる場合には、直線と判定でき、解が０以外となる場合には、円と判定できる。また、式（１−１）乃至式（１−４）から導き出される解を式（１）に代入することでパターの軌道タイプが判定できる。
パターの軌道タイプ＝（Ａ１×Ｂ２−Ａ２×Ｂ１）・・・（１）
Ａ１＝２（Ｘ２−Ｘ１）・・・（１−１）
Ｂ１＝２（Ｙ２−Ｙ１）・・・（１−２）
Ａ２＝２（Ｘ３−Ｘ１）・・・（１−３）
Ｂ２＝２（Ｙ３−Ｙ１）・・・（１−４）
ここで、「Ｘ１」，「Ｘ２」，「Ｘ３」とは、インパクト前の画像，インパクトの画像，インパクト後の画像の３つの画像におけるマーカの中心座標のＸ座標を示す。「Ｙ１」，「Ｙ２」，「Ｙ３」とは、インパクト前の画像，インパクトの画像，インパクト後の画像の３つの画像におけるマーカの中心座標のＹ座標を示す。
【００３２】
また、式（１）の解が０以外、即ち、円と判定できる場合には、以下の式（２）により、パターの長さに対する円の半径の比率を算出する。式（２−１−１）乃至式（２−１−１）を導き出して、最終的に式（２−１）から導き出される解を式（２）に代入して算出する。
パターの長さに対する円の半径の比率＝円の半径Ｒ／パターの長・・・（２）
円の半径Ｒ＝ｓｑｒｔ（（Ｘ−Ｘ１）（Ｘ−１）＋（Ｙ−Ｙ１）（Ｙ−Ｙ１））・・・（２−１）
円弧の中心座標Ｘ＝（Ｂ１×Ｃ２）／（Ａ１×Ｂ２−Ａ２×Ｂ１）・・・（２−１−１）
円弧の中心座標Ｙ＝（Ｃ１×Ａ２−Ｃ２×Ａ１）／（Ａ１×Ｂ２−Ａ２×Ｂ１）・・・（２−１−２）
Ａ１＝２（Ｘ２−Ｘ１）・・・（２−１−３）
Ｂ１＝２（Ｙ２−Ｙ１）・・・（２−１−４）
Ａ２＝２（Ｘ３−Ｘ１）・・・（２−１−５）
Ｂ２＝２（Ｙ３−Ｙ１）・・・（２−１−６）
Ｃ１＝Ｘ１×Ｘ１−Ｘ２×Ｘ２＋Ｙ１×Ｙ１−Ｙ２×Ｙ２・・・（２−１−７）
Ｃ２＝Ｘ１×Ｘ１−Ｘ３×Ｘ３＋Ｙ１×Ｙ１−Ｙ３×Ｙ３・・・（２−１−８）
ここで、「パターの長さ」は、本実施形態においては、使用するパターの長さに応じて任意に入力される値である。本例では、実際のパターの長さを用いるために、ボール等から導き出した画像内の被写体の大きさの換算値（Ｐｉｘｅｌをｃｍにした換算値）で考慮することにより行う。「ｓｑｒｔ」とは、平方根を示す。
【００３３】
図４は、インパクトの瞬間及びインパクトの瞬間の前後のマーカの位置の違いによるパターの軌道タイプの違いを示す図である。なお、図４において、「Ｐ１」は、インパクト前のマーカの位置を示し、「Ｐ２」は、インパクト時のマーカの位置を示し、「Ｐ３」は、インパクト後のマーカの位置を示す。
上述した式（１）の解により、解が０以外であった場合には、図４（ａ）に示すように円弧状にマーカの位置が遷移しており、解が０であった場合には、図４（ｂ）に示すような直線上にマーカが遷移していることがわかる。
【００３４】
次に、パターの軌道の判定方法においては、マーカ位置の傾きを算出する。
マーカ位置の傾きθは、直線については、図４（ｂ）に示すように、インパクト・インパクト前後のマーカ位置の３点Ｐ１乃至Ｐ３を通過する線Ｌ３と、水平線Ｌ４とのなす角を導き出すことで算出する。また、円についても、インパクト・インパクト前後のマーカ位置の３点を略通過する線と水平線とのなす角を導き出すことで算出する。
上述したように、軌道タイプと、各軌道タイプにおける傾きを求めることで、パッティングスタイルを判定することができる。
【００３５】
図２に戻り、パッティング判定部５８は、軌道判定部５７により算出された軌道タイプと、各軌道タイプにおける傾きから、パッティングスタイルを判定する。
【００３６】
本実施形態においては、６種類のパッティングスタイルに分けて判定を行う。具体的には、パッティングスタイルは、「ストローク式」における「ダウンブロー」，「レベルブロー」，「アッパーブロー」と、「タップ式」における「ダウンブロー」，「レベルブロー」，「アッパーブロー」との合計６種類に分けられる。
パッティング判定部５８は、まず、パッティングの方式を判定する。具体的には、パッティング判定部５８は、軌道タイプが「直線」か「円」かでパッティング方式を判定する。軌道タイプが「直線」の場合には、「ストローク式」とし、軌道タイプが「円」の場合には、「ストローク式」または「タップ式」とする。
また、軌道タイプが「円」の場合には、さらに、パターの長さと円弧の半径との比率から、パターの長さよりも円弧の半径が長い場合には、「ストローク式」と判定し、短い場合には、「タップ式」と判定する。本実施形態においては、パターの長さよりも円弧の半径が長い場合とは、円弧の半径がパターの長さより約１０％以上長いとする。なお、手打ちとなるタップ式は、パター自体の長さより、実際の回転中心となる手首の位置やグリップの位置をパターの長さとして用いれば精度の高い判定が行える。
【００３７】
次に、パッティング判定部５８は、「直線」又は「円」における傾きから、ボールとパターのクラブヘッドの接触の仕方として「ダウンブロー」，「レベルブロー」，「アッパーブロー」のいずれかを判定する。
具体的には、本実施形態においては、傾きが−２度以上ある場合には、「ダウンブロー」とし、−２度から＋２度の間であれば「レベルブロー」とし、＋２度以上である場合には「アッパーブロー」として判定する。
なお、「円」の場合には、図４（ａ）に示すように、中心Ｃ１とインパクトのマーカ位置の点Ｐ２を結んだ線Ｌ１と、円の中心Ｃ１とその鉛直方向にある点Ｐ４とを結んだ線Ｌ２のなす角θにおいて、インパクトのマーカ位置の点Ｐ２が点Ｐ４よりも前側にある時がプラスθであり、後ろ側にある時がマイナスθである。
【００３８】
図２に戻り、出力制御部５９は、パッティング判定部５８により判定されたパッティングスタイルに基づいて、パッティングスタイルの判定結果を表示出力するように出力部１８を制御する。
図５は、パッティングスタイルの判定結果の表示例を示す図である。
パッティングスタイルの判定結果は、例えば、フォームのイメージが容易にわかるように、スイング対象者全体を示し、判定されたパッティングの方式を模式的に表示する画像を提示するようにしてもよい。
例えば、「タップ式」の場合には、図５（ａ）に示すように、グリップ近傍とパターヘッドまでの動作箇所を強調して表示する画像を合成して提示してもよい。
また、「ストローク式」の場合には、図５（ｂ）に示すように、パターの延長線上にある胸付近からパターヘッドまでの動作箇所を強調して表示する画像を合成して提示してもよい。
本実施形態においては、パッティングスタイルの判定結果は、別に撮影された判定対象者本人のアドレス時の画像にパッティング方式による強調処理を施した合成画像で行う。
これにより、客観的な指標で判定された自己のパッティングスタイルを容易に確認できると共に、自己を被写体とした画像で提示されるためにパッティングスタイルがよりイメージしやすくなり、以降のフォームの修正等の練習に役立てやすくなる。
【００３９】
次に、上述した機能的構成を有する図１の撮像装置が実行するパッティングスタイル表示処理の流れを説明する。
図６は、図２の機能的構成を有する図１の撮像装置が実行するパッティングスタイル表示処理の流れを説明するフローチャートである。
【００４０】
ユーザは、パッティングスタイル表示処理にあたり、事前に、パターのクラブヘッド（被写体の正面から撮影可能なヘッドの位置）にマーカを貼るとともに、パターのヘッドからグリップ端部までのパターの長さの情報を入力しておく。
【００４１】
ステップＳ１において、インパクト画像検出部５４は、まず、画像からボールの検出を行う。具体的には、ボールの検出とは、撮影された画像を解析して、画像内においてボールの大きさや位置を検出することを意味する。ボールの検出は、インパクトの検出と、規定の大きさであるボールの大きさに基づいて画像のスケール換算値を算出するために行う。
ボールの検出は、具体的には、取得した画像からエッジ検出する。なお、ボールの検出は、エッジ検出に限られず、例えば、パターン検出や色の領域検出等の既存のボール検出技術を用いてもよい。
ボールの検出は、ライブビュー画像の撮影時に行う。詳細には、撮像制御部５１は、画像を撮影するように撮像部１６を制御する。そして、画像取得部５２は、ボールの検出があるまでは、撮像部１６により撮影された画像をライブビュー画像として取得する。その後、インパクト画像検出部５４は、取得したライブビュー画像からボールの有無と、ボールの位置の検出を行う。ボールの位置の検出は、例えば、既存のエッジ抽出の技術等を用いる。
【００４２】
ステップＳ２において、リングバッファメモリ７１ｂに画像を格納するため、撮像制御部５１は、第２のフレームレートで連続的に画像を撮影するように撮像部１６を制御させ、画像記憶部７１は、当該連続的に撮像された画像をリングバッファメモリ７１ｂに逐次格納する。
当該処理とともに、第２のフレームレートでテンポラリメモリ７１ａに格納された画像は、インパクト画像検出部５４に逐次供給される。
【００４３】
ステップＳ３において、インパクト画像検出部５４は、テンポラリメモリ７１ａから供給された画像から、インパクトの瞬間の画像が検出されたか否かを判定する。インパクト画像検出部５４は、テンポラリメモリ７１ａから供給された画像を解析して、ボールの位置変化等からインパクトを検出する。その結果、供給された複数の画像の中から、図３に示すインパクトの画像ｉ１が検出される。
インパクトの画像が検出されたと判定された場合には、処理はステップＳ４に進む。即ち、インパクトの画像が検出されたと判定されるまで当該処理が行われることになる。
【００４４】
ステップＳ４において、画像特定部５５は、検出されたインパクトの瞬間を撮影した画像に基づいて、インパクトの瞬間の前後の画像を画像記憶部から取り出す。その結果、取得した複数の画像の中から、図３に示すインパクト前の画像ｉ２及びインパクト後の画像ｉ３が検出される。
【００４５】
ステップＳ５において、マーカ検出部５６は、検出されたインパクトの瞬間の画像及び取り出したインパクトの瞬間の前後の画像におけるヘッドに貼られたマーカ位置の検出を行う。
【００４６】
ステップＳ６において、軌道判定部５７は、軌道の種類の判定をする。具体的には、軌道判定部は、検出された各画像におけるマーカの位置の変化から、軌道タイプ（「直線」か「円」）を判定する。具体的には、軌道判定部５７は、式（１）により軌道タイプを判定する。
また、軌道判定部は、「円」であると判定した場合には、「円」を構成する半径を算出して、パターの長さとの比較を行う。具体的には、軌道判定部５７は、式（２）により軌道タイプを判定する。
また、軌道判定部５７は、パターの傾きθ（角度）を算出する。具体的には、インパクトとインパクト前後のマーカ位置の各点を通過する線と、水平線のなす角θを導き出して傾きθを算出する。
【００４７】
ステップＳ７において、パッティング判定部５８は、パッティングスタイルを判定する。「パッティングスタイル判定処理」とは、軌道判定部５７によって判定された軌道に基づいて、パッティングスタイルを判定する一連の処理である。パッティングスタイル判定処理は、後述する。
【００４８】
ステップＳ８において、出力部１８は、判定結果を表示出力する。詳細には、出力制御部５９は、判定結果を、１枚のパッティングの遷移と軌道がわかる画像として表示出力するように出力部１８を制御する。具体的には、出力制御部５９は、判定されたパッティングスタイルの方式に応じて、図５（ａ）又は５（ｂ）に示すような判定結果を生成して、出力部１８に表示出力させる。
その後、パッティングスタイル表示処理は、終了する。
【００４９】
次に、パッティングスタイル表示処理のうちパッティングスタイル判定処理の詳細な流れを説明する。
図７は、パッティングスタイル表示処理のうちパッティングスタイル判定処理の詳細な流れを説明するフローチャートである。
【００５０】
ステップＳ１１において、パッティング判定部５８は、軌道タイプが「円」か「直線」か、を判定する。具体的には、パッティング判定部５８は、式（１）の解が０以外である場合には、「円」と判定し、解が０である場合には、「直線」と判定する。
【００５１】
「直線」であると判定された場合には、ステップＳ１１において「直線」となり、処理はステップＳ１２に進む。
【００５２】
ステップＳ１２において、パッティング判定部５８は、「ストローク式」と判定する。その後処理は、ステップＳ１６に進む。ステップＳ１６以降の処理は後述する。
【００５３】
これに対して、「円」であると判定された場合には、ステップＳ１１において「円」となり、処理はステップＳ１３に進む。
【００５４】
ステップＳ１３において、パッティング判定部５８は、円の半径がパター長よりも長い（本実施形態においては、円の半径がパター長より１０％以上長い）か否かを判定する。具体的には、パッティング判定部５８は、式（２）において判定する。この際、「円」の場合には、図４（ａ）に示すように、円の中心Ｃ１がインパクトのマーカ位置の点Ｐ２よりも後ろ側、即ち、円の中心Ｃ１の鉛直方向にある円弧の点Ｐ４よりも前側にあることが前提となる。
【００５５】
「円の半径」が「パター長」よりも１０％以上長い場合には、ステップＳ１３においてＹＥＳとなり、処理はステップＳ１４に進む。
「円の半径」が「パター長」よりも１０％以上長くない場合には、ステップＳ１３においてＮＯとなり、処理はステップＳ１５に進む。
【００５６】
ステップＳ１４において、パッティング判定部５８は、「ストローク式」と判定する。その後処理は、ステップＳ１６に進む。
【００５７】
ステップＳ１５において、パッティング判定部５８は、「タップ式」と判定する。その後処理は、ステップＳ１６に進む。
【００５８】
ステップＳ１６において、パッティング判定部５８は、「傾きθ」を判定する。具体的に、パッティング判定部５８は、導き出されたインパクトとインパクト前後のマーカ位置の各点を通過する線と、水平線のなす角θである傾きがどの範囲に属するのかを判定する。
【００５９】
傾きθが−２度以上である場合には、ステップＳ１６において「θ≦−２°」となり、処理はステップＳ１７に進む。
傾きθが−２度から＋２度の範囲である場合には、ステップＳ１６において「−２°＜θ＜＋２°」となり、処理はステップＳ１８に進む。
傾きθが＋２度以上である場合には、ステップＳ１６において「θ≧−２°」となり、処理はステップＳ１９に進む。
【００６０】
ステップＳ１７において、パッティング判定部５８は、「ダウンブロー」と判定する。
ステップＳ１８において、パッティング判定部５８は、「レベルブロー」と判定する。
ステップＳ１９において、パッティング判定部５８は、「アッパーブロー」と判定する。
その後、パッティングスタイル判定処理は、終了する。
【００６１】
＜第１の変形例＞
上述した実施形態においては、判定結果を、単にパッティングスタイルの方式をアドレスの姿勢を撮影した画像に方式を絵的に表示したがこれに限られない。
出力部１８に表示出力される判定結果の他の表示例について説明する。本例では、表示指示を行った場合には、インパクトの画像を表示し、その後（本例では、２秒後）に、一連のパッティング動作を重畳的に１枚に表示した画像（以下、「マルチモーション画像」という）を出力部１８に表示させる。
【００６２】
図８乃至１１は、出力部１８に表示出力される判定結果（１）乃至（４）の表示例を示す図である。今回、判定結果としては、ボールの中心からインパクトの位置がどれだけズレていたかを示す「インパクトズレ量」と、ボールとクラブヘッドのインパクトの瞬間のクラブヘッドの軌道の方向を示す「軌道方向」と、クラブヘッドのスイングの方式を示す「軌道形状」とを模式的に表示する。
【００６３】
判定結果（１）では、図８（ａ）に示すように、「インパクトズレ量」：（ボール中心から上方に）５．５４ｍｍ，「軌道方向」：アッパーブロー，「軌道形状」：ストローク式という判定結果となった。
【００６４】
この場合、図８（ｂ）に示すインパクト画像においては、ボールの外形（破線）と、ボールの中心線（破線）を模式的に表示し、インパクト画像におけるマーカ（実線）と、マーカの位置から想定されるマーカの中心線（実線）が表示される。また、画像領域のボールとマーカ等の表示以外の領域には、インパクトズレ量の数値（＋０５．５４）を表示する。
【００６５】
また、図８（ｃ）に示すマルチモーション画像においては、所定時間が経過した画像を重畳的に１枚の画像として表示して、パターとマーカとボールの遷移を模式的に表示する。また、インパクトズレ量の数値に加えて、「軌道方向」がアッパーブローであることを示す「ＵＰ」と、「軌道形状」がストローク式であることを示す「ＳＴＲ」とが表示される。
【００６６】
本例では、「インパクトズレ量」：（ボール中心から上方に）５．５４ｍｍ，「軌道方向」：アッパーブロー，「軌道形状」：ストローク式であるために、パター及びマーカがインパクト時のマーカ線から上方に徐々に移動し、インパクト後においてはボールもボールの中心線よりも徐々に上方に移動していることがわかる。
【００６７】
判定結果（２）では、図９（ａ）に示すように、「インパクトズレ量」：（ボール中心から上方に）７．２０ｍｍ，「軌道方向」：レベルブロー，「軌道形状」：ストローク式という判定結果となった。
【００６８】
この場合、図９（ｂ）に示すインパクト画像においては、ボールの外形（破線）と、ボールの中心線（破線）を模式的に表示し、インパクト画像におけるマーカ（実線）と、マーカの位置から想定されるマーカの中心線（実線）が表示される。また、画像領域のボールとマーカ等の表示以外の領域には、インパクトズレ量の数値（＋０７．２０）を表示する。
【００６９】
また、図９（ｃ）に示すマルチモーション画像においては、所定時間が経過した画像を重畳的に１枚の画像として表示して、パター及びマーカとボールの遷移を模式的に表示する。また、インパクトズレ量の数値に加えて、「軌道方向」がレベルブローであることを示す「ＬＶ」と、「軌道形状」がストローク式であることを示す「ＳＴＲ」とが表示される。
【００７０】
本例では、「インパクトズレ量」：（ボール中心から上方に）７．２０ｍｍ，「軌道方向」：レベルブロー，「軌道形状」：ストローク式であるために、パター及びマーカがインパクト時のマーカ線からほぼ水平に移動し、インパクト後においてはボールもボールの中心線よりも上方に移動していることがわかる。
【００７１】
判定結果（３）では、図１０（ａ）に示すように、「インパクトズレ量」：（ボール中心から上方に）４．２５ｍｍ，「軌道方向」：ダウンブロー，「軌道形状」：ストローク式という判定結果となった。
【００７２】
この場合、図１０（ｂ）に示すインパクト画像においては、ボールの外形（破線）と、ボールの中心線（破線）を模式的に表示し、インパクト画像におけるマーカ（実線）と、マーカの位置から想定されるマーカの中心線（実線）が表示される。また、画像領域のボールとマーカ等の表示以外の領域には、インパクトズレ量の数値（＋０４．５２）を表示する。
【００７３】
また、図１０（ｃ）に示すマルチモーション画像においては、所定時間が経過した画像を重畳的に１枚の画像として表示して、パター及びマーカとボールの遷移を模式的に表示する。また、インパクトズレ量の数値に加えて、「軌道方向」がダウンブローであることを示す「ｄＷ」と、「軌道形状」がストローク式であることを示す「ＳＴＲ」とが表示される。
【００７４】
本例では、「インパクトズレ量」：（ボール中心から上方に）４．５２ｍｍ，「軌道方向」：ダウンブロー，「軌道形状」：ストローク式であるために、パター及びマーカがインパクト時のマーカ線から上方から下方に徐々に移動し、インパクト後においてはボールもボールの中心線よりも若干上方に移動していることがわかる。
【００７５】
判定結果（４）では、図１１（ａ）に示すように、「インパクトズレ量」：（ボール中心から上方に）１．４６ｍｍ，「軌道方向」：アッパーブロー，「軌道形状」：タップ式という判定結果となった。
【００７６】
この場合、図１１（ｂ）に示すインパクト画像においては、ボールの外形（破線）と、ボールの中心線（破線）を模式的に表示し、インパクト画像におけるマーカ（実線）と、マーカの位置から想定されるマーカの中心線（実線）が表示される。また、画像領域のボールとマーカ等の表示以外の領域には、インパクトズレ量の数値（＋０１．４６）を表示する。
【００７７】
また、図１１（ｃ）に示すマルチモーション画像においては、所定時間が経過した画像を重畳的に１枚の画像として表示して、パター及びマーカとボールの遷移を模式的に表示する。また、インパクトズレ量の数値に加えて、「軌道方向」がアッパーブローであることを示す「ＵＰ」と、「軌道形状」がタップ式であることを示す「ＴＡＰ」とが表示される。
【００７８】
本例では、「インパクトズレ量」：（ボール中心から上方に）１．４６ｍｍ，「軌道方向」：アッパーブロー，「軌道形状」：タップ式であるために、パター及びマーカがインパクト時のマーカ線から下方から上方に徐々に移動し、インパクト後においてはボールもボールの中心線よりも上方に移動していることがわかる。
【００７９】
本例では、判定結果を、インパクト時のマーカ位置と、ボールの中心位置に基づいて、パターの移動方向に沿って描かれた直線を表示することで、ボール中心からのズレと、パッティングスタイルを直感的に認識することができるようになる。
【００８０】
＜第２の変形例＞
上述した実施形態においては、スイング対象者を正面から撮影した場合を例として説明した。
本例では、スイング対象者の上方から撮影した場合を例として説明する。上方から撮影することで、クラブヘッドのボール進行方向の側方への軌道が確認できる。このため、ストレート軌道か、円弧軌道（アーク軌道）かを判定することができる。さらに、円弧軌道のうち、インサイドアウト軌道か、インサイドイン軌道か、アウトサイドイン軌道かを判定することができる。これにより、スイング対象者のスイング軌道におけるスイングのスタイルを確認することができる。
【００８１】
図１２は、パッティングスタイル表示処理のうちパッティングスタイル判定処理の変形例の詳細な流れを説明するフローチャートである。
本例においては、スイング対象者のスイングを上方から撮影した画像に基づいて判定を行う。パッティングスタイルの判定は、マーカの遷移からスイングの軌道を直線的な「ストレート軌道」又は、曲線的な「円弧（アーク）軌道」と、に分類される。また、パッティングスタイルの判定は、マーカの傾きに応じて、「インサイドアウト」，「インサイドイン」，「アウトサイドイン」と、に分類する。
これにより、ボールの転動方向に影響を与えるパッティングスタイルを判定することができる。
【００８２】
ステップＳ２１において、パッティング判定部５８は、マーカの軌道が「円」か「直線」か、を判定する。具体的には、パッティング判定部５８は、式（１）の解が０以外である場合には、「円」と判定し、解が０である場合には、「直線」と判定する。
【００８３】
「直線」であると判定された場合には、ステップＳ２１において「直線」となり、処理はステップＳ２２に進む。
【００８４】
ステップＳ２２において、パッティング判定部５８は、「ストレート軌道」と判定する。その後処理は、ステップＳ２４に進む。ステップＳ２４以降の処理は後述する。
【００８５】
これに対して、「円」であると判定された場合には、ステップＳ２１において「円」となり、処理はステップＳ２３に進む。
【００８６】
ステップＳ２３において、パッティング判定部５８は、「円弧（アーク）軌道」と判定する。なお、「円」であると判定された場合でも、実測等によりほぼ無限遠にちかい円弧もほぼ直線であると判定できたため「ストレート軌道」として判定するように構成してもよい。
【００８７】
ステップＳ２４において、パッティング判定部５８は、傾きθを判定する。具体的に、パッティング判定部５８は、導き出されたインパクト・インパクト前後のマーカ位置の各点を通過する線と、ボールの中心線のなす角θである傾きがどの範囲に属するのかを判定する。
【００８８】
傾きθが−２度以上である場合には、ステップＳ２４において「θ≦−２°」となり、処理はステップＳ２５に進む。
傾きθが−２度から＋２度の範囲である場合には、ステップＳ２４において「−２°＜θ＜＋２°」となり、処理はステップＳ２６に進む。
傾きθが−２度以上である場合には、ステップＳ２４において「θ≦−２°」となり、処理はステップＳ２７に進む。
【００８９】
ステップＳ２５において、パッティング判定部５８は、「インサイドアウト」と判定する。
ステップＳ２６において、パッティング判定部５８は、「インサイドイン」と判定する。
ステップＳ２７において、パッティング判定部５８は、「アウトサイドイン」と判定する。
その後、パッティングスタイル判定処理は、終了する。
【００９０】
図１３乃至１５は、出力部１８に表示出力される判定結果（５）乃至（７）の表示例を示す図である。なお、判定結果としては、図７乃至図９で示した判定結果と同様の表示を行う。
具体的には、判定結果（５）においては、「インパクトズレ量：−４．１０ｍｍ」，「軌道方向：アウトサイドイン」，「軌道形状：アーク」となる図１３（ａ）の例では、図１３（ｃ）に示すように、インパクトズレ量を示す「−０４．１０」，軌道方向を示す「ＯＩ」，軌道形状を示す「ＡＲＣ」がインパクト時のボール中心線とマーカ中心線と、マルチモーション画像と共に表示される。
また、判定結果（６）においては、「インパクトズレ量：４．６４ｍｍ」，「軌道方向：インサイドイン」，「軌道形状：ストレート」となる図１４（ａ）の例では、図１４（ｃ）に示すように、インパクトズレ量を示す「＋０４．６４」，軌道方向を示す「ＩＩ」，軌道形状を示す「ＳＴＲ」がインパクト時のボール中心線とマーカ中心線と、マルチモーション画像と共に表示される。
また、判定結果（７）においては、「インパクトズレ量：９．１４ｍｍ」，「軌道方向：インサイドアウト」，「軌道形状：ストレート」となる図１５（ａ）の例では、図１５（ｃ）に示すように、インパクトズレ量を示す「＋０９．１４」，軌道方向を示す「ＩＯ」，軌道形状を示す「ＳＴＲ」がインパクト時のボール中心線とマーカ中心線と、マルチモーション画像と共に表示される。
【００９１】
以上のように構成される撮像装置１は、画像取得部５２と、ボール検出部５３と、パッティング判定部５８と、を備える。
画像取得部５２は、複数の画像を取得する。
ボール検出部５３は、画像取得部５２により取得された複数の画像から、使用者の動作に関連する所定の領域を検出する。
パッティング判定部５８は、ボール検出部５３により検出された使用者の動作に関連する所定の領域における軌跡の種類を判定する。
また、パッティング判定部５８は、軌跡の種類の判定結果に応じて、使用者の動作の種類を判定する。
これにより、撮像装置１においては、例えば、実際のスイングにおけるフォーム等の使用者の動作の種類の判定を容易に行うことができる。また、軌跡の種類を指標とするために客観的な判定結果を出力することができる。
【００９２】
パッティング判定部５８は、軌跡の種類として、軌跡が直線か曲線かを判定する。
これにより、撮像装置１においては、直線と曲線とで判定可能となる使用者の動作の種類を判定することができる。
【００９３】
パッティング判定部５８は、軌跡の種類が曲線であると判定されると、当該曲線を円周とする半径と所定の長さの大小関係を判定し、当該判定結果に基づいて、使用者の動作の種類を更に判定する。
これにより、撮像装置１においては、例えば、パッティングスタイル等の使用者の動作の種類を簡単に判定することができる。
【００９４】
また、撮像装置１は、画像特定部５５と、軌道判定部５７と、を備える。
画像特定部５５は、画像取得部５２により取得された複数の画像のうち、所定の瞬間の画像を特定する。
軌道判定部５７は、所定の領域における判定対象の画像間の位置変化から傾きを算出する。
パッティング判定部５８は、軌道判定部５７によって算出された傾きに基づいて、所定の瞬間における動作の状態を判定する。
【００９５】
画像取得部５２は、使用者の動作としてゴルフのパターのスイングを撮影した画像を取得する。
ボール検出部５３は、使用者の動作に関連する所定の領域として、少なくともボールとパターのヘッドを含む領域を検出する。
パッティング判定部５８は、使用者の動作の種類としてパッティングスタイルを判定する。
これにより、撮像装置１においては、パッティングスタイルを簡単に判定することができる。
【００９６】
また、撮像装置１は、画像を撮像する撮像部１６を備える。
画像取得部５２は、撮像部１６により連続的に撮像された画像を複数の画像として取得する。
これにより、撮像装置１においては、画像の取得から判定までを１つの装置で一貫して行うことができる。
【００９７】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９８】
また、上述の実施形態では、処理負担や回路等のコスト的な観点からインパクトと、インパクトの直近のインパクト前後の２枚の画像（合計３枚の画像）を判定用の画像としたがこれに限られない。インパクトの前後の複数枚の画像を判定用の画像として用いてもよく、画像の枚数が増えるほど判定結果の精度を高めることができる。本例では判定が可能な最低限度の枚数として３枚の画像を用いて説明を行っている。
【００９９】
また、上述の実施形態では、パターの長さを、実際のパターの長さ（全長）としていたがこれに限られない。パッティングにおいては、垂直にパターを使用しているわけではなく、多少傾けて使用する。このような実情を考慮して、パターは、傾けて使用することを想定してライ角（地面とシャフトの中心線とが作り出す角度）を設けて設計されている。一般的には、７０度から７１度のライ角を設けている。このような実情から、予めライ角を考慮した長さで、パター長を設定することにより、より精度高くパッティングスタイルの判定を行うことができる。
具体的には、ライ角を７０度とした場合、以下式（３）により、ライ角を考慮したパター長を算出することができる。
ライ角を考慮したパター長＝ｓｉｎ７０×実際のパターの長さ・・・（３）
【０１００】
また、上述の実施形態では、ボールと、インパクト前後のクラブのヘッドを撮影可能な範囲で撮影を行ったがこれに限られない。例えば、ボールを含むスイング対象者全体が入る範囲を撮影するように構成してもよい。この場合、ボール近傍を撮影する場合に比べて判定のために高解像度が要求されるが、パターの長さ等を取得した画像から割り出せるために、入力等のユーザの作業を減らすことができる。
【０１０１】
また、上述の実施形態では、判定フローでパッティングスタイルを判別したが、予め全ての軌道タイプを選別したテーブル等を用いてパッティングスタイルを判別するように構成してもよい。
【０１０２】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、パッティングスタイル表示機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【０１０３】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１０４】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１０５】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【０１０６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１０７】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０８】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
使用者の動作が撮像された複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された前記複数の画像の各画像から、特定の被写体の位置を検出する第１の検出手段と、
前記第１の検出手段により検出された各画像の特定の被写体の位置に基づいて、前記使用者の動作の種類を判定する動作判定手段と、
を備えることを特徴とする動作判定装置。
［付記２］
前記動作判定手段は、前記第１の検出手段により検出された前記特定の被写体の位置の軌跡の種類を判定する第１の判定手段を有し、
前記第１の判定手段による判定結果により前記被写体の動作の種類を判定する、
ことを特徴とする付記１に記載の動作判定装置。
［付記３］
前記動作判定手段は、前記第１の判定手段により前記軌跡の種類が曲線であると判定されると、当該曲線を円周とする半径と所定の長さの大小関係を判定する第２の判定手段を有し、
前記第２の判定手段による判定結果に基づいて、所定の瞬間における前記使用者の動作の状態を更に判定する、
ことを特徴とする付記２に記載の動作判定装置。
［付記４］
前記画像取得手段により取得された複数の画像のうち、所定の瞬間の画像を特定する画像特定手段と、
前記画像特定手段により特定された特定の被写体における判定対象の画像間の位置変化を算出する算出手段と、を備え、
前記第２の判定手段は、前記算出手段により算出された位置変化に基づいて、所定の瞬間における動作の状態を判定する、
ことを特徴とする付記３に記載の動作判定装置。
［付記５］
前記動作判定手段により判定された動作の種類の情報を表示手段に表示させる表示制御手段を更に備えたことを特徴とする付記１から４の何れか１つに記載の動作判定装置。
［付記６］
前記表示制御手段は、前記画像取得手段により取得された画像中の特定の被写体とともに、前記動作の種類の情報を前記表示手段に表示させることを特徴とする付記５に記載の動作判定装置。
［付記７］
前記画像取得手段により取得された複数の画像から、前記特定の被写体に関するマルチモーション画像を生成する画像生成手段を更に備え、
前記表示制御手段は、前記マルチモーション画像と前記動作の種類の情報とを前記表示手段に表示させることを特徴とする付記５又は６に記載の動作判定装置。
［付記８］
前記画像取得手段により取得された複数の画像から、前記特定の被写体とは異なる領域の位置を検出する第２の検出手段と、
前記第１の検出手段により検出された特定の被写体の位置と当該特定の被写体とは異なる領域の位置のズレ量を算出するズレ量算出手段と、
を更に備え、
前記表示制御手段は、前記ズレ量算出手段により算出されたズレ量を前記表示手段に表示させることを特徴とする付記５から７のいずれか１つに記載の動作判定装置。
［付記９］
前記画像取得手段は、使用者の動作としてゴルフのパターのスイングを撮影した複数の画像を取得し、
前記第１の検出手段は、前記特定の被写体として、少なくともパターのヘッドを含む領域を検出し、
前記動作判定手段は、使用者の動作の種類としてパッティングスタイルを判定する、
ことを特徴とする付記１乃至５のいずれか１つに記載の動作判定装置。
［付記１０］
被写体を連続的に撮像する撮像手段を備え、
前記画像取得手段は、前記撮像手段により連続的に撮像された画像を前記複数の画像として取得する、
ことを特徴とする付記１乃至６のいずれか１つに記載の動作判定装置。
［付記１１］
使用者の動作が撮像された複数の画像を取得する取得ステップと、
前記取得ステップにより取得された前記複数の画像から、特定の被写体の位置を検出する検出ステップと、
前記検出ステップにより検出された各画像の特定の被写体に基づいて、被写体の動作の種類を判定する動作判定ステップと、
を含むことを特徴とする動作判定方法。
［付記１２］
コンピュータを、
使用者の動作が撮像された複数の画像を取得する取得手段、
前記取得手段により取得された前記複数の画像から、特定の被写体の位置を検出する検出手段、
前記検出手段により検出された各画像の特定の被写体の位置に基づいて、使用者の動作の種類を判定する動作判定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１０９】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記録部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・画像取得部，５３・・・ボール検出部，５４・・・インパクト画像検出部，５５・・・画像特定部，５６・・・マーカ検出部，５７・・・軌道判定部，５８・・・パッティング判定部，５９・・・出力制御部，７１・・・画像記憶部，７１ａ・・・テンポラリメモリ，７１ｂ・・・リングバッファメモリ
【図１】
2015008940.tif 000003
【図２】
2015008940.tif 000004
【図３】
2015008940.tif 000005
【図４】
2015008940.tif 000006
【図５】
2015008940.tif 000007
【図６】
2015008940.tif 000008
【図７】
2015008940.tif 000009
【図８】
2015008940.tif 000010
【図９】
2015008940.tif 000011
【図１０】
2015008940.tif 000012
【図１１】
2015008940.tif 000013
【図１２】
2015008940.tif 000014
【図１３】
2015008940.tif 000015
【図１４】
2015008940.tif 000016
【図１５】
2015008940.tif 000017