(57)【要約】【課題】画像に表示される基準となる指標を設定する際のユーザの負担を軽減すること。【解決手段】撮像装置１は、補助線設定処理部５１を備える。補助線設定処理部５１は、物体の一連の動作が撮像された複数の画像データを取得する。また、補助線設定処理部５１は、取得された複数の画像データの各々を複数の領域に区分けする。補助線設定処理部５１は、複数の領域から、複数の画像データ間で変化がある領域を特定する。補助線設定処理部５１は、特定された領域を基準として、複数の画像データの何れかに重畳させるための指標を生成する。【選択図】図４
2016123637.tif 000002
【特許請求の範囲】
【請求項１】
物体の一連の動作が撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データの各々を複数の領域に区分けする区分け手段と、
前記複数の領域から、前記複数の画像データ間で変化がある領域を特定する第１の特定手段と、
前記第１の特定手段により特定された領域を基準として、前記複数の画像データの何れかに重畳させるための指標を生成する生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記複数の領域から、前記複数の画像データ間で変化がある複数の領域を抽出する抽出手段を更に備え、
前記第１の特定手段は、前記抽出手段により抽出された複数の領域のうち、前記物体から所定方向に離れた領域を前記変化がある領域として特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の特定手段は、複数の変化がある領域のうち、前記物体から所定方向に最も遠い領域を特定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段により取得された複数の画像データの各々に共通する部分領域を設定する設定手段と、
前記設定手段により設定された前記複数の画像データ間の部分領域間で変化があった複数の時点から所定の時点を特定する第２の特定手段と、
を備え、
前記第１の特定手段は、前記第２の特定手段により特定された所定の時点に基づいて、前記変化がある領域を特定する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記指標は、前記物体の動作を評価する基準となる指標である、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の特定手段は、前記物体の一連の動作のうち、所定の動作に対応した前記複数の領域において、前記複数の画像データ間の変化がある領域を特定する、
ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記物体の一連の動作とは、ゴルフのスイングの動作である、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記物体の所定の状態を模した基準に基づいて、前記指標を生成する、
ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
物体の一連の動作が撮像された複数の画像データを取得する取得ステップと、
前記取得ステップにより取得された複数の画像データの各々を複数の領域に区分けする区分けステップと、
前記複数の領域から、前記複数の画像データ間で変化がある領域を特定する特定ステップと、
前記特定ステップにより特定された領域を基準として、前記複数の画像データの何れかに重畳させるための指標を生成する生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
物体の一連の動作が撮像された複数の画像データを取得する取得手段、
前記取得手段により取得された複数の画像データの各々を複数の領域に区分けする区分け手段、
前記複数の領域から、前記複数の画像データ間で変化がある領域を特定する特定手段、
前記特定手段により特定された領域を基準として、前記複数の画像データの何れかに重畳させるための指標を生成する生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、録画されたゴルフスイングの動画像上に当該スイングのチェックのための基準線を表示させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２０１８９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術は、動画像上に表示される基準線を手動で調整する必要があるため、当該調整を行うユーザに負担がかかるという問題があった。
【０００５】
本発明は、上記のような問題に鑑みてなされたものであり、画像に表示される基準となる指標を設定する際のユーザの負担を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
物体の一連の動作が撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データの各々を複数の領域に区分けする区分け手段と、
前記複数の領域から、前記複数の画像データ間で変化がある領域を特定する第１の特定手段と、
前記第１の特定手段により特定された領域を基準として、前記複数の画像データの何れかに重畳させるための指標を生成する生成手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像に表示される基準となる指標を設定する際のユーザの負担を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】本実施形態における補助線の設定手法を説明するための模式図である。
【図３】本実施形態におけるスイングの評価手法を説明するための模式図である。
【図４】図１の撮像装置の機能的構成のうち、スイング評価結果報知処理を実行するための機能的構成を示す機能ブロック図である。
【図５】図４の機能的構成を有する図１の撮像装置が実行するスイング評価結果報知処理の流れを説明するフローチャートである。
【図６】評価結果報知処理のうち、補助線設定処理の流れを説明するフローチャートである。
【図７】評価結果報知処理のうち、スイングポイント検出処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２０】
このように構成される撮像装置１においては、ゴルフのスイングを撮影した動画像において、スイングの評価を行うための補助線を自動的に設定することができる機能を有する。
【００２１】
ここで、補助線の設定について説明する。
本実施形態において設定される補助線は、アドレス時のクラブヘッドの位置からスイングを行っている者（以下、単に「被写体」という。）の肩へ向かって設定されるシャフトラインとなる第１補助線Ｌ１と、腰に向かって設定されるスイングプレーンとなる第２補助線Ｌ２とで構成される。
【００２２】
図２は、本実施形態における補助線の設定手法を説明するための模式図である。なお、本実施形態においては、被写体を後方から撮影して、後方からのスイングに対して、補助線の設定やスイングの評価を行う。補助線を設定する動画像には、図２（ａ）に示すように、出力部１８のライブビュー画面に表示される人型グリッドＨＧ（本実施形態においては、人型グリッドＨＧの足から腰までの部分）に被写体が一致するようにして撮影されたものが用いられる。
【００２３】
補助線の設定は、まず、図２（ｂ）に示す動画像に対して、図２（ｃ）に示すように動きの変化を判定するために領域ＧＲ（本実施形態においては、格子状のグリッド領域ＧＲ）に分割する。
【００２４】
その後、図２（ｄ）〜（ｆ）に示すように動画像のコマを進めて再生して、図２（ｇ）に示すように一連のスイングのうち、動きのあった領域ＭＲを抽出する。ゴルフのスイングにおいては、後方からの場合、振り上げから振り下ろしの動作となるために、アドレスの姿勢においてクラブヘッドが右下にあった場合には、斜め上の左上への振り上げ時の動作が動きのあった領域ＭＲとして抽出されることになる。
【００２５】
次に、図２（ｈ）に示すように、抽出された動きのあった領域ＭＲのうち、テイクバックのタイミングで最も被写体ＯＢから水平方向に離れたポイントをクラブヘッドの位置として、補助線の始点を含む領域ＳＲを決定する。
【００２６】
次に、図２（ｉ）に示すように、決定した補助線の始点を含む領域ＳＲから人型グリッドＨＧの肩を通過する線を設定してシャフトラインとなる第１補助線Ｌ１とし、腰を通過する線を設定して理想的なスイングプレーン（スイングの軌道）となる第２補助線Ｌ２の補助線を設定する。
【００２７】
最後に、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画して、補助線を設定する。
このように、人型グリッドＨＧに基づいて撮影した被写体から、補助線の始点を含む領域ＳＲを決定し、人型グリッドＨＧに基づいて、補助線を設定することで、自動的に補助線を設定することができ、ユーザの利便性を向上させることができる。また、人型グリッドＨＧに基づいて、補助線を設定することで、グリッド基準の正確な補助線を設定することができる。
【００２８】
また、撮像装置１においては、撮影した動画像からスイングポイントを特定し、設定した補助線等を用いて、スイングポイントを特定して、スイングの評価を自動的に行うことができる機能を有する。スイングの評価は、スイングが適切な範囲のものであるかの評価と、インサイドアウトやアウトサイドイン等のスイングの軌道の種類の評価を行うものである。
【００２９】
ここで、本実施形態におけるスイングの評価手法について説明する。
図３は、本実施形態におけるスイングの評価手法を説明するための模式図である。
【００３０】
スイングの評価においては、まず、図３（ａ）及び（ｂ）に示すように、補助線が設定された状態において、動画像から動きのあった領域を抽出する。
【００３１】
次に、図３（ｃ）及び（ｄ）に示すように、検出したテイクバック、インパクト、フォロー等の各スイングポイントにおいて、第１補助線Ｌ１及び第２補助線Ｌ２から構成される検出エリアからのクラブヘッドの距離を割り出す。なお、各スイングポイントは、クラブヘッドである変換点が人型グリッドＨＧの位置と、補助線Ｌ１，Ｌ２の始点ＳＲとの位置関係で特定する。具体的には、図３（ｃ）のように変化点（クラブヘッド）が人型グリッドＨＧに対して、補助線Ｌ１，Ｌ２の始点ＳＲ寄りにある場合は、テイクバックとし、図３（ｄ）のように変化点（クラブヘッド）が人型グリッドＨＧに対して、補助線Ｌ１，Ｌ２の始点ＳＲ寄りでない場合は、トップとする。
【００３２】
次に、図３（ｅ）及び（ｆ）に示すように、割り出した検出エリアからのクラブヘッドの距離が所定値以上であるか否かを判定して、スイングの評価を行う。検出エリアからのクラブヘッドの距離が所定値以上である場合には、評価が悪くなり、検出エリアからのクラブヘッドの距離が所定値内である場合には、評価が良くなる。
【００３３】
また、本実施形態のスイング評価においては、各スイングの評価に加えて、スイングの軌道の種類の評価も行う。具体的には、図３（ｇ）に示すように、検出エリアとクラブヘッドの位置変化から、アウトサイドインやインサイドアウト等のスイングの軌道を評価する。「アウトサイドイン」とは、バックスイングやダウンスイングですでに飛球線を越えていて、インパクト以降のフォロースルーではインサイドに入ってくるスイングの軌道の種類であり、「インサイドアウト」とは、バックスイングやダウンスイングでクラブが飛球線よりも内側で、インパクトで飛球線に接しインパクト以降のフォロースルー時は、飛球線の内側に入っているスイングの軌道の種類である。
【００３４】
このような撮像装置１では、このような評価の結果を、出力部１８を介して映像や音声で報知／警告する機能を有する。具体的には、撮像装置１では、評価結果の程度（例えば、スイング全体又はスイングの各スイングポイントでの良否，当該良否の程度やスイングの軌道の良否，当該良否の程度）に応じた種々の報知／警告を行う。
【００３５】
図４は、このような撮像装置１の機能的構成のうち、スイング評価結果報知処理を実行するための機能的構成を示す機能ブロック図である。
「スイング評価結果報知処理」とは、補助線を動画像に設定し、設定した補助線に基づいて、動画像内のスイングを評価し、当該評価結果を報知する一連の処理をいう。
「スイング評価結果報知処理」は、「補助線設定処理」を含む。「補助線設定処理」とは、動画像の被写体上に補助線を設定する一連の処理である。「補助線設定処理」は、「スイングポイント検出処理」を含む。「スイングポイント検出処理」とは、テイクバックスターとのタイミングと、インパクトのタイミングのスイングポイントの検出を行う一連の処理である。
【００３６】
スイング評価結果報知処理を実行する場合には、図４に示すように、ＣＰＵ１１において、補助線設定処理部５１と、スイングポイント検出処理部５２と、検出エリア設定部５３と、スイング判定部５４と、報知制御部５５と、スイング軌道判定部５６が機能する。
【００３７】
また、記憶部１９の一領域には、画像記憶部７１と、判定情報記憶部７２と、が設定される。
【００３８】
画像記憶部７１には、判定対象となる動画像のデータが記憶される。なお、画像記憶部７１に記憶される動画像は、ライブビュー画像に重畳的に表示した図２（ａ）に示すような人型グリッドＨＧのガイドに合うように後方からゴルフのスイングをしている被写体を撮影した動画像である。
【００３９】
判定情報記憶部７２には、設定した補助線と各スイングポイント（テイクバック・トップ・インパクト・フォロー）との距離の情報が記憶される。
【００４０】
補助線設定処理部５１は、補助線設定処理を実行する。補助線設定処理の実行の結果、動画像上にスイングの判定基準となる補助線が設定される。
【００４１】
詳細には、補助線設定処理部５１は、検出したスイングポイント（テイクバックのスタートのタイミングとインパクトのタイミング）のフレーム付近の各フレームを、図２（ｃ）に示すように動きの変化を判定するために領域ＧＲ（本実施形態においては、格子状のグリッド領域ＧＲ）に分割する。そして、補助線設定処理部５１は、図２（ｇ）に示すように一連のスイングのうち、動きのあった領域ＭＲを抽出する。
【００４２】
また、補助線設定処理部５１は、被写体からテイクバックタイミングで水平方向に最も離れたポイントを補助線の始点として決定する。即ち、補助線設定処理部５１は、図２（ｈ）に示すように、抽出された動きのあった領域ＭＲのうち、テイクバックのタイミングで最も被写体ＯＢから水平方向に離れたポイントをクラブヘッドの位置として、補助線の始点を含む領域ＳＲを決定する。
【００４３】
また、補助線設定処理部５１は、決定した補助線の始点から人型グリッドＨＧを結ぶように補助線を設定する。即ち、補助線設定処理部５１は、図２（ｉ）に示すように、決定した補助線の始点を含む領域ＳＲから人型グリッドＨＧの肩を通過する線を設定してシャフトラインとなる第１補助線Ｌ１とし、腰を通過する線を設定して理想的なスイングプレーン（スイングの軌道）となる第２補助線Ｌ２の補助線を設定する。その結果、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画することで、各補助線を設定する。
【００４４】
スイングポイント検出処理部５２は、スイングポイント検出処理を実行する。スイングポイント検出処理の実行の結果、スイングポイント（テイクバックのスタート及びインパクトのタイミング）のフレームが検出される。
詳細には、スイングポイント検出処理部５２は、人型グリッドＨＧの位置からクラブが通過するインパクト付近に検出エリアを設定する。そして、スイングポイント検出処理部５２は、動画像フレームを順次比較して変化を検出する。さらに、スイングポイント検出処理部５２は、検出の回数に応じて、スイングポイント（１回目：テイクバックのスタート、２回目：インパクトのタイミング）のフレームが検出される。
【００４５】
検出エリア設定部５３は、補助線設定処理部５１によって設定された両補助線付近の領域にスイングの検出エリアを設定する。
【００４６】
スイング判定部５４は、変化点であるクラブのヘッドの位置により、スイングポイントを特定する。具体的には、スイング判定部５４は、テイクバックスタート後において、変化点であるクラブヘッドが人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りか否かを判定し、図３（ｃ）に示すような人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りである場合には、テイクバックであり、図３（ｄ）に示すような人型グリッドＨＧよりも補助線の始点寄りでない人型グリッドＨＧよりも先にある場合には、トップとする。
また、スイング判定部５４は、トップとされて、テイクバックスタート後でないときにおいて、変化点であるクラブのヘッドが人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りか否かを判定し、人型グリッドＨＧよりも補助線始点寄りである場合には、インパクト（本実施形態においては、インパクト直前）であり、人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りでない人型グリッドＨＧよりも先にある場合には、フォローとする。
【００４７】
また、スイング判定部５４は、設定した補助線と各スイングポイント（テイクバック・トップ・インパクト・フォロー）との距離を判定する。具体的には、スイング判定部５４は、特定した各スイングポイントのシーンにおけるクラブヘッドの位置から、設定した補助線との距離を算出する。
また、スイング判定部５４は、算出された各スイングポイントでの補助線からの距離を判定情報記憶部７２に記憶させる。
【００４８】
また、スイング判定部５４は、判定情報記憶部７２に記憶させた各スイングポイントでの補助線からの距離が所定値以上であるか否かを判定する。判定の結果、各スイングポイントでの補助線からの距離が所定値以上である場合には、異常なスイングであると判定され、所定値以内である場合には、正常なスイングであると判定される。
【００４９】
報知制御部５５は、正常である旨の報知や異常である旨の報知として警告を発するように出力部１８を制御する。具体的には、報知制御部５５は、スイング判定部５４による各スイングポイントでの補助線からの距離が所定値以上であるか否かの判定結果において正常なスイングである場合には、正常である旨の報知を行い、異常なスイングである場合には、警告を発するように出力部１８を制御する。この際、報知制御部５５は、例えば、音で報知／警告を行う場合、正常時と異常時で異なる音や色に鳴り分けをしたり、正常時には発音せず、異常時のみ発音したり正常／異常で異なる報知／警告をするように出力部１８を制御することもできる。
また、補助線からの距離の程度から、正常／異常の中に程度を設けた場合には、報知制御部５５は、正常／異常の程度に対応して、報知／警告の頻度、大きさ、音質を変えて、報知／警告を行うように出力部１８を制御する。
また、報知制御部５５は、各スイングポイントにおいて個別に正常／異常の可否を判定している場合には、各スイングポイントの別、正常／異常の別、正常／異常の程度の別で、報知／警告の頻度、大きさ、音質を変えて、報知／警告を行うように出力部１８を制御する。
また、報知制御部５５は、各スイングポイントでの評価を総合的な結果として出力する場合には、単純に正常／異常の別で報知／警告する他に、総合的な評価がどの程度の要素で構成されているかの割合で、報知／警告の頻度、大きさ、音質を変えて、報知／警告を行うように出力部１８を制御する。
その結果、出力部１８では、正常である旨の報知や警告が出力される。
【００５０】
また、報知制御部５５は、スイング軌道判定部５６で判定されたスイングの軌道を表示するように出力部１８を制御する。
その結果、出力部１８では、図３（ｈ）に示すように、スイングの軌道をイメージした絵柄として表示出力される。なお、この際、報知制御部５５は、スイングの軌道の評価結果の報知／警告を、単なる音、アナウンス音、スイングの軌道をイメージしたサウンド、文字情報等で行うように出力部１８を制御することができる。
【００５１】
スイング軌道判定部５６は、スイングのクラブヘッドの位置のズレ量から、スイングの軌道の種類を判定する。具体的には、スイング軌道判定部５６は、検出エリアとクラブヘッドの位置変化から、アウトサイドインやインサイドアウト等のスイングの軌道を評価する。
【００５２】
図５は、図４の機能的構成を有する図１の撮像装置が実行するスイング評価結果報知処理の流れを説明するフローチャートである。
スイング評価結果報知処理は、ユーザによる入力部１７へのスイング評価結果報知処理開始の操作により開始される。また、本実施形態においては、ライブビュー画像に重畳的に表示した図２（ａ）に示すような人型グリッドＨＧのガイドに合うように後方からゴルフのスイングをしている被写体を撮影した動画像が画像記憶部７１に記憶され、当該動画像を処理対象の動画像として用いる。
【００５３】
ステップＳ１１において、補助線設定処理部５１は、画像記憶部７１から判定対象となる動画像を取得して、補助線設定処理を実行する。補助線設定処理の結果、動画像上に補助線が重畳的に描画されて設定される。具体的には、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画して、補助線を設定する。
補助線設定処理の流れについては後述する。
【００５４】
ステップＳ１２において、検出エリア設定部５３は、設定した補助線付近に検出エリアを設定する。
【００５５】
ステップＳ１３において、スイング判定部５４は、動画像内のシーン（フレーム）がテイクバックスタート後である否かを判定する。詳細には、スイング判定部５４は、判定対象となるフレームがスイングポイント検出処理で決定されたテイクバックスタート後であるか否かを判定する。
テイクバックスタート後でない場合には、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１７に進む。ステップＳ１７以降の処理は後述する。
テイクバックスタート後である場合には、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。
【００５６】
ステップＳ１４において、スイング判定部５４は、変化点が人型グリッドＨＧより補助線の始点寄りであるか否かを判定する。即ち、スイング判定部５４は、テイクバックスタート後において、変化点であるクラブヘッドが人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りか否かを判定し、図３（ｃ）に示すような人型グリッドＨＧよりも補助線Ｌ１，Ｌ２の始点ＳＲ寄りである場合には、テイクバックであり、図３（ｄ）に示すような人型グリッドＨＧよりも補助線の始点寄りでない人型グリッドＨＧよりも先にある場合には、トップとする。
変化点が人型グリッドＨＧより補助線の始点寄りである場合には、ステップＳ１４においてＹＥＳと判定されて、処理はステップＳ１５に進む。
変化点が人型グリッドＨＧより補助線の始点寄りでない場合には、ステップＳ１４においてＮＯと判定されて、処理はステップＳ１６に進む。
【００５７】
ステップＳ１５において、スイング判定部５４は、テイクバックスタートの補助線からの距離を判定、当該判定結果を判定情報記憶部７２に記録させる。
【００５８】
ステップＳ１６において、スイング判定部５４は、トップ補助線からの距離を判定、当該判定結果を判定情報記憶部７２に記録させる。
【００５９】
ステップＳ１７において、スイング判定部５４は、変化点が人型グリッドＨＧより補助線の始点寄りであるか否かを判定する。
変化点が人型グリッドＨＧより補助線の始点寄りである場合には、ステップＳ１７においてＹＥＳと判定されて、処理はステップＳ１８に進む。
変化点が人型グリッドＨＧより補助線の始点寄りでない場合には、ステップＳ１７においてＮＯと判定されて、処理はステップＳ１９に進む。
【００６０】
ステップＳ１８において、スイング判定部５４は、インパクト直前の補助線からの距離を判定、当該判定結果を判定情報記憶部７２に記録させる。
【００６１】
ステップＳ１９において、スイング判定部５４は、フォローの補助線からの距離を判定し、当該判定結果を判定情報記憶部７２に記録させる。
【００６２】
ステップＳ２０において、スイング判定部５４は、それぞれの補助線からの距離が所定値以上であるか否かを判定する。
それぞれの補助線からの距離が所定値以上である場合には、ステップＳ２０においてＹＥＳと判定されて、処理はステップＳ２１に進む。
それぞれの補助線からの距離が所定値以上でない場合には、ステップＳ２０においてＮＯと判定されて、処理はステップＳ２２に進む。
【００６３】
ステップＳ２１において、報知制御部５５は、異常である旨を報知したり、補助線からの距離（ズレ量）を加味した異常を報知したりして、警告を発するように出力部１８を制御する。その結果、出力部１８から警告音が出力される。
【００６４】
ステップＳ２２において、報知制御部５５は、正常である旨を報知したり、補助線からの距離（ズレ量）を加味した正常の報知をしたりするように出力部１８を制御する。その結果、出力部１８から正常である旨の報知音が出力される。
【００６５】
ステップＳ２３において、スイング軌道判定部５６は、スイングポイントごとのズレ量からスイング軌道を判定する。
【００６６】
ステップＳ２４において、報知制御部５５は、インサイドアウト／アウトサイドインなどの状態を報知したり、スイングポイントごとのズレ量を加味して、インサイドアウト／アウトサイドインなどの状態の程度を報知したりするように出力部１８を制御する。その結果、出力部１８から警告音等が出力される。
その後、スイング判定処理は終了する。
【００６７】
図６は、スイング評価結果報知処理のうち、補助線設定処理の流れを説明するフローチャートである。
【００６８】
ステップＳ４１において、スイングポイント検出処理部５２は、スイングポイント検出処理を実行する。スイングポイント検出処理の実行の結果、動画像からスイングポイントか検出される。
スイングポイント検出処理の流れについては後述する。
【００６９】
ステップＳ４２において、補助線設定処理部５１は、スイングポイント検出付近のエリアを分割してクラブヘッド通過ポイントを抽出する。具体的には、補助線設定処理部５１は、検出したスイングポイント（テイクバックのタイミングスタートとインパクトのタイミング）のフレーム付近の各フレームを、図２（ｃ）に示すように動きの変化を判定するために領域ＧＲ（本実施形態においては、格子状のグリッド領域ＧＲ）に分割する。そして、補助線設定処理部５１は、図２（ｇ）に示すように一連のスイングのうち、動きのあった領域ＭＲを抽出する。
【００７０】
ステップＳ４３において、補助線設定処理部５１は、被写体からテイクバックタイミングで水平方向に最も離れたポイントを補助線の始点として決定する。具体的には、補助線設定処理部５１は、図２（ｈ）に示すように、抽出された動きのあった領域ＭＲのうち、テイクバックのタイミングで最も被写体ＯＢから水平方向に離れたポイントをクラブヘッドの位置として、補助線の始点を含む領域ＳＲを決定する。
【００７１】
ステップＳ４４において、補助線設定処理部５１は、補助線始点から人型グリッドＨＧを結ぶように補助線を設定する。具体的には、補助線設定処理部５１は、図２（ｉ）に示すように、決定した補助線の始点を含む領域ＳＲから人型グリッドＨＧの肩を通過する線を設定してシャフトラインとなる第１補助線Ｌ１とし、腰を通過する線を設定して理想的なスイングプレーン（スイングの軌道）となる第２補助線Ｌ２の補助線を設定する。そして、補助線設定処理部５１は、図２（ｊ）に示すように、当該設定したシャフトラインとなる第１補助線Ｌ１及びスイングプレーンとなる第２補助線Ｌ２を動画像上に重畳的に描画して、補助線を設定する。
【００７２】
図７は、スイング評価結果報知処理のうち、スイングポイント検出処理の流れを説明するフローチャートである。
【００７３】
ステップＳ６１において、スイングポイント検出処理部５２は、人型グリッドＨＧの位置からクラブヘッドが通過するインパクト付近の領域にクラブヘッドの変化を検出する変化検出エリアを設定する。
【００７４】
ステップＳ６２において、スイングポイント検出処理部５２は、動画像を構成するフレームを順次比較して変化を検出する。
【００７５】
ステップＳ６３において、スイングポイント検出処理部５２は、変化を検出したか否かを判定する。
変化を検出しない場合には、ステップＳ６３においてＮＯと判定されて、処理はステップＳ６２に戻る。
変化を検出した場合には、ステップＳ６３においてＹＥＳと判定されて、処理はステップＳ６４に進む。
【００７６】
ステップＳ６４において、スイングポイント検出処理部５２は、検出された変化が１回目か否かを判定する。
１回目の場合には、ステップＳ６４においてＹＥＳと判定されて、処理はステップＳ６５に進む。
１回目でない場合には、ステップＳ６４においてＮＯと判定されて、処理はステップＳ６６に進む。
【００７７】
ステップＳ６５において、スイングポイント検出処理部５２は、検出された変化が１回目であるためクラブを振り上げるテイクバックスタートであると判定する。その後、処理はインパクトタイミングを検出するためにステップＳ６２に戻る。
【００７８】
ステップＳ６６において、スイングポイント検出処理部５２は、検出された変化が２回目であるか否かを判定する。
２回目の場合には、ステップＳ６６においてＹＥＳと判定されて、処理はステップＳ６７に進む。
【００７９】
ステップＳ６７において、スイングポイント検出処理部５２は、検出された変化が１回目であるためクラブを振り下ろしたインパクトタイミングと判定する。
【００８０】
これに対して、２回目でない場合には、テイクバックでもインパクトでもないためテイクバックでもステップＳ６６においてＮＯと判定されて、スイングポイント検出処理は終了する。
【００８１】
したがって、撮像装置１においては、事前にスイングプレーンとシャフトラインの補助線の設定をする。詳細には、クラブヘッドから腰へのラインとクラブヘッドから肩へのラインを補助線として自動で設定する。そして、スイングの開始時を判定し、画面内の動作の切り替わりによってスイングフェーズを判定する。
また、撮像装置１においては、スイングフェーズ（スタート・インパクト）は特定エリアの画像差分で判断し、補助線を設定したエリア外の画像差分を検出してどの程度補助線から離れているか記録する。この際、補助線から一定以上離れている場合にスイングエラーと判断し警告を発し、該当するフェーズでライン外にスイングがはみ出た場合、警告を発し、スイングポイントごとのズレ量からインサイドアウトやアウトサイドインを判定し、警告を発するように構成する。即ち、撮像装置１は、ゴルフにおいて理想的なスイング軌道から外れた場合に警告する機能を有する。
【００８２】
以上のように構成される撮像装置１は、補助線設定処理部５１を備える。
補助線設定処理部５１は、物体の一連の動作が撮像された複数の画像データを取得する。
また、補助線設定処理部５１は、取得された複数の画像データの各々を複数の領域に区分けする。
補助線設定処理部５１は、複数の領域から、複数の画像データ間で変化がある領域を特定する。
補助線設定処理部５１は、特定された領域を基準として、複数の画像データの何れかに重畳させるための指標を生成する。
これにより、撮像装置１においては、自動的に指標を生成することができるために、画像に表示される基準となる指標を設定する際のユーザの負担を軽減することができる。
【００８３】
また、補助線設定処理部５１は、複数の画像データ間で変化がある複数の領域を抽出する。
また、補助線設定処理部５１は、抽出された複数の領域のうち、物体から所定方向に離れた領域を変化がある領域として特定する。
これにより、撮像装置１においては、より簡単に自動的に指標を生成することができる。
【００８４】
補助線設定処理部５１は、複数の変化がある領域のうち、物体から所定方向に最も遠い領域を特定する。
これにより、撮像装置１においては、簡単に指標を生成することができる。
【００８５】
また、補助線設定処理部５１は、取得された複数の画像データの各々に共通する部分領域である検出エリアを設定する。
また、補助線設定処理部５１は、設定された複数の画像データ間の部分領域である検出エリア間で変化があった複数の時点から所定の時点を特定する。
また、補助線設定処理部５１は、特定された所定の時点に基づいて、変化がある領域を特定する。
これにより、撮像装置１においては、所定の時点に基づいて、変化がある領域を特定することで、簡単に指標を生成することができる。
【００８６】
指標は、物体の動作を評価する基準となる指標である。
これにより、撮像装置１においては、物体の動作を評価することができる。
【００８７】
補助線設定処理部５１は、物体の一連の動作のうち、所定の動作に対応した複数の領域において、複数の画像データ間の変化がある領域を特定する。
これにより、撮像装置１においては、効率的に複数の画像データ間の変化がある領域を特定することができる。
【００８８】
物体の一連の動作とは、ゴルフのスイングの動作である。
これにより、撮像装置１においては、ゴルフのスイングの動作の指標を生成することができる。
【００８９】
補助線設定処理部５１は、物体の所定の状態を模した基準に基づいて、指標を生成する。
これにより、撮像装置１においては、物体の所定の状態を模した基準に基づいて、指標を生成するために、正確な指標を生成することができる。
【００９０】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９１】
上述の実施形態では、処理対象の画像として、動画像を例示したが、例えば、連写した画像を処理対象の画像としてもよい。
【００９２】
また、上述の実施形態では、テイクバック直線の静止状態のクラブヘッドを抽出して、補助線の始点としたがこれに限られず、例えば、ボールを抽出して補助線の始点としてもよい。
【００９３】
また、上述の実施形態では、同一の動画像を用いて、補助線の設定及びスイングの評価を行ったが、例えば、事前に補助線の設定用にスイングをして補助線の設定を行って、評価対象のスイングをリアルタイムに評価するように構成することもできる。そして、評価結果が良い場合や悪い場合に、音等で報知するように構成することができる。
【００９４】
また、上述の実施形態では、異常と判定されたフレームにおいて、クラブヘッドの位置を強調表示してエラー箇所を表示するように構成してもよい。また、上述の実施形態では、検出エリアからはみ出した位置や量（補助線との距離）によって警告の種類・音量を変えるように構成してもよい。
また、検出エリアからはみ出した時点のスイングの種類によって警告の種類・音量を変えるようにしても良い。
【００９５】
また、上述の実施形態では、音を報知／警告の例としたがこれに限られず、人間が知覚することができる手段で報知／警告が行われればよく、例えば、音の他に、ライト等による光、バイブレーション等による振動等で報知／警告を行うことができる。
【００９６】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、スイング評価結果報知処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００９７】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００９８】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００９９】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【０１００】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１０１】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０２】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
物体の一連の動作が撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データの各々を複数の領域に区分けする区分け手段と、
前記複数の領域から、前記複数の画像データ間で変化がある領域を特定する第１の特定手段と、
前記第１の特定手段により特定された領域を基準として、前記複数の画像データの何れかに重畳させるための指標を生成する生成手段と、
を備えたことを特徴とする画像処理装置。
［付記２］
前記複数の領域から、前記複数の画像データ間で変化がある複数の領域を抽出する抽出手段を更に備え、
前記第１の特定手段は、前記抽出手段により抽出された複数の領域のうち、前記物体から所定方向に離れた領域を前記変化がある領域として特定する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記第１の特定手段は、複数の変化がある領域のうち、前記物体から所定方向に最も遠い領域を特定する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記取得手段により取得された複数の画像データの各々に共通する部分領域を設定する設定手段と、
前記設定手段により設定された前記複数の画像データ間の部分領域間で変化があった複数の時点から所定の時点を特定する第２の特定手段と、
を備え、
前記第１の特定手段は、前記第２の特定手段により特定された所定の時点に基づいて、前記変化がある領域を特定する、
ことを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。
［付記５］
前記指標は、前記物体の動作を評価する基準となる指標である、
ことを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。
［付記６］
前記第１の特定手段は、前記物体の一連の動作のうち、所定の動作に対応した前記複数の領域において、前記複数の画像データ間の変化がある領域を特定する、
ことを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記物体の一連の動作とは、ゴルフのスイングの動作である、
ことを特徴とする付記１乃至６の何れか１つに記載の画像処理装置。
［付記８］
前記生成手段は、前記物体の所定の状態を模した基準に基づいて、前記指標を生成する、
ことを特徴とする付記１乃至７の何れか１つに記載の画像処理装置。
［付記９］
物体の一連の動作が撮像された複数の画像データを取得する取得ステップと、
前記取得ステップにより取得された複数の画像データの各々を複数の領域に区分けする区分けステップと、
前記複数の領域から、前記複数の画像データ間で変化がある領域を特定する特定ステップと、
前記特定ステップにより特定された領域を基準として、前記複数の画像データの何れかに重畳させるための指標を生成する生成ステップと、
を含むことを特徴とする画像処理方法。
［付記１０］
物体の一連の動作が撮像された複数の画像データを取得する取得手段、
前記取得手段により取得された複数の画像データの各々を複数の領域に区分けする区分け手段、
前記複数の領域から、前記複数の画像データ間で変化がある領域を特定する特定手段、
前記特定手段により特定された領域を基準として、前記複数の画像データの何れかに重畳させるための指標を生成する生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１０３】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・補助線設定処理部，５２・・・スイングポイント検出処理部，５３・・・エリア検出部，５４・・・スイング判定部，５５・・・報知制御部，５６・・・スイング軌道判定部，７１・・・画像記憶部，７２・・・判定情報記憶部
【図１】
2016123637.tif 000003
【図２】
2016123637.tif 000004
【図３】
2016123637.tif 000005
【図４】
2016123637.tif 000006
【図５】
2016123637.tif 000007
【図６】
2016123637.tif 000008
【図７】
2016123637.tif 000009