(57)【特許請求の範囲】
【請求項１】
第１の撮影環境下において異なる撮影角度で撮影された動画像を複数取得する動画像取得手段と、
前記動画像取得手段により取得された複数の動画像夫々の撮影角度と、前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された動画像の撮影角度とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記第２の撮影環境下で撮影された動画像の撮影角度に最も近似する撮影角度で撮影された動画像を前記第１の撮影環境下で撮影された複数の動画像から選択する選択手段と、
前記選択手段により選択された前記第１の撮影環境下で撮影された動画像における移動物体の軌跡を、前記第２の撮影環境下に適合するように補正する軌跡補正手段と、
前記軌跡補正手段によって補正された軌跡を外部に出力させる出力手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記軌跡補正手段は、前記第１の撮影環境下で撮影された動画像における第１の特徴点と、前記第１の撮影環境とは異なる前記第２の撮影環境下で撮影された動画像における第２の特徴点との相違に基づいて、前記第１の撮影環境下で撮影された動画像中の前記移動物体の軌跡を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画像取得手段により取得される第１の撮影環境下で撮影された複数の動画像の撮影角度と、前記第２の撮影環境下で撮影された動画像の撮影角度とから撮影角度の差分を算出する撮影角度差分算出手段、
を更に備え、
前記選択手段は、前記撮影角度の差分から、前記第２の撮影環境下で撮影された動画像に最も近似する動画像を前記第１の撮影環境下で撮影された複数の動画像から選択する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の撮影環境下、及び前記第２の撮影環境下は、撮影手段により被写体の一連の動作の動画像を撮影する方向、及び／又は位置であることを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
前記軌跡補正手段は、前記第１の撮影環境下で撮影された動画像から移動物体の軌跡を取得する第１の軌跡取得手段と、
を更に備え、
前記撮影角度差分算出手段によって算出された撮影角度の差分に基づいて、前記第１の軌跡取得手段によって取得された軌跡を補正する補正手段と、
を有し、
前記出力手段は、前記補正手段によって補正された軌跡を外部に出力することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記軌跡補正手段は、
撮影手段によって第１の撮影環境下で撮影して得られた動画像における第１の特徴点で交差する２以上の直線を設定する第１設定手段と、
撮影手段によって前記第１の撮影環境とは異なる第２の撮影環境下で撮影された動画像における第２の特徴点で交差する２以上の直線を設定する第２設定手段と、
前記第１設定手段によって設定された２以上の直線のなす角度から前記第１の撮影環境下での撮影手段の撮影角度を算出し、前記第２設定手段によって設定された２以上の直線のなす角度から前記第２の撮影環境下での撮影手段の撮影角度を算出する撮影角度算出手段と、
を備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記軌跡補正手段は、
前記移動物体の画像を指定する画像指定手段と、
前記撮影手段によって第１の撮影環境下で撮影された動画像から前記画像指定手段によって指定された画像に対応する画像を抽出する画像抽出手段と、
を有し、
前記第１の軌跡取得手段は、前記画像抽出手段によって抽出された画像に基づいて前記軌跡を取得することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記軌跡補正手段は、前記撮影手段によって第１の撮影環境下で撮影された動画像における第３の特徴点としての直線を設定する第３設定手段と、
前記撮影手段によって第２の撮影環境下で撮影された動画像における第４の特徴点としての直線を設定する第４設定手段と、
前記第３設定手段によって設定された直線と、前記第４設定手段によって設定された直線との長さの比率を算出する比率算出手段と、
を有し、
前記補正手段は、前記比率算出手段によって算出された比率に基づいて、前記第１の軌跡取得手段によって取得された軌跡の位置をさらに補正することを特徴とする請求項６から７の何れか１項に記載の画像処理装置。
【請求項９】
前記軌跡補正手段は、前記第３設定手段によって設定された直線と、前記第４設定手段によって設定された直線との位置の差分を算出する位置差分算出手段を有し、
前記補正手段は、前記位置差分算出手段によって算出された位置の差分に基づいて、前記第１の軌跡取得手段によって取得された軌跡の位置をさらに補正することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第１設定手段は、前記撮影手段によって第１の撮影環境下で複数の撮影角度でそれぞれ撮影された動画像における移動物体に対応して２以上の直線をそれぞれ設定し、
前記第１の軌跡取得手段は、前記軌跡を撮影毎に取得し、
前記撮影角度算出手段は、複数の撮影角度を算出し、
前記選択手段は前記撮影角度算出手段によって算出された複数の撮影角度から、前記撮影角度算出手段によって算出された撮影角度に最も近似する撮影角度の動画像を選択し、
前記撮影角度差分算出手段は、前記選択手段により選択された動画像の撮影角度と、前記撮影角度算出手段によって算出された第２の撮影環境下で撮影された動画像の撮影角度との差分を算出し、
前記補正手段は、前記撮影角度差分算出手段によって算出された撮影角度の差分に基づいて、前記第１の軌跡取得手段によって取得された複数の軌跡を前記撮影角度差分算出手段によって選択された撮影角度に対応する位置に補正することを特徴とする請求項６に記載の画像処理装置。
【請求項１１】
前記第１の軌跡取得手段は、前記移動物体としての直線を設定し、該直線の軌跡を前記軌跡として取得することを特徴とする請求項５に記載の画像処理装置。
【請求項１２】
前記軌跡補正手段は、撮影手段によって第２の撮影環境下で撮影された動画像から前記移動物体とは異なる移動物体の軌跡を取得する第２軌跡取得手段を有し、
前記出力手段は、前記軌跡補正手段によって補正された前記軌跡とともに、前記第２軌跡取得手段によって取得された軌跡を外部に出力することを特徴とする請求項１から１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記軌跡補正手段は、補正された前記軌跡と、前記第２軌跡取得手段によって取得された第２軌跡との差分を判定する軌跡差分判定手段を備え、
前記出力手段は、前記軌跡差分判定手段による判定結果を外部に出力することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記出力手段は、撮影手段によって第１の撮影環境下で撮影された動画像のうちの所定のタイミングにおける静止画像に対応する、補正された前記軌跡を外部に出力することを特徴とする請求項１から１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記出力手段は、前記補正された軌跡を表示手段に表示させることを特徴とする請求項１から１４の何れか１項に記載の画像処理装置。
【請求項１６】
画像処理装置を用いた画像処理方法であって、
第１の撮影環境下において異なる撮影角度で撮影された動画像を複数取得する動画像取得ステップと、
前記動画像取得ステップにより取得された複数の動画像夫々の撮影角度と、前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された動画像の撮影角度とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記第２の撮影環境下で撮影された動画像の撮影角度に最も近似する撮影角度で撮影された動画像を前記第１の撮影環境下で撮影された複数の動画像から選択する選択ステップと、
前記選択ステップにより選択された前記第１の撮影環境下で撮影された動画像における移動物体の軌跡を、前記第２の撮影環境下に適合するように補正する軌跡補正ステップと、
前記軌跡補正ステップによって補正された軌跡を外部に出力させる出力ステップと、
を含むことを特徴とする画像処理方法。
【請求項１７】
コンピュータを、
第１の撮影環境下において異なる撮影角度で撮影された動画像を複数取得する動画像取得手段、
前記動画像取得手段により取得された複数の動画像夫々の撮影角度と、前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された動画像の撮影角度とを比較する比較手段、
前記比較手段による比較結果に基づいて、前記第２の撮影環境下で撮影された動画像の撮影角度に最も近似する撮影角度で撮影された動画像を前記第１の撮影環境下で撮影された複数の動画像から選択する選択手段、
前記選択手段により選択された前記第１の撮影環境下で撮影された動画像における移動物体の軌跡を、前記第２の撮影環境下に適合するように補正する軌跡補正手段、
前記軌跡補正手段によって補正された軌跡を外部に出力させる出力手段、
として機能させるプログラム。
【請求項１８】
第１の撮影環境下において異なる撮影角度で撮影された複数の動画像、及び第１の撮影
環境とは異なる第２撮影環境下で撮影された第２の動画像を取得する動画像取得手段と、
前記動画像取得手段により取得された前記複数の動画像の夫々から移動物体の軌跡を取得する軌跡取得手段と、
前記動画像取得手段により取得された前記複数の動画像の夫々の撮影角度を算出する第１の撮影角度算出手段と、
前記動画像取得手段により取得された前記第２の動画像の撮影角度を算出する第２の撮影角度算出手段と、
前記第１の撮影角度算出手段によって算出された複数の撮影角度から前記第２の撮影角度算出手段によって算出された撮影角度に最も近似するものを選択する選択手段と、
前記選択手段により選択された前記撮影角度と前記第２の撮影角度算出手段により算出された撮影角度との差分を算出する撮影角度差分算出手段と、
前記撮影角度差分算出手段により算出される前記撮影角度の差分に基づいて、前記軌跡取得手段により取得された複数の軌跡から前記選択手段により選択された撮影角度に対応する軌跡の位置を補正する軌跡補正手段と、
を備えることを特徴とする画像処理装置。
【請求項１９】
前記動画像取得手段によって取得された前記複数の動画像における移動体の夫々に対応して２以上の直線をそれぞれ設定する第１設定手段と、
前記第２の動画像における移動体に対応して２以上の直線を設定する第２設定手段と、をさらに備え、
前記第１の撮影角度算出手段は、前記第１設定手段により設定された２以上の直線のなす角度から前記第１の撮影環境下で撮影された前記複数の動画像の夫々の撮影角度を算出し、
前記第２の撮影角度算出手段は、前記第２設定手段により設定された２以上の直線のなす角度から前記第２の撮影環境下で撮影された前記第２の動画像の撮影角度を算出する、
ことを特徴とする請求項１８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、テニス、ゴルフあるいは野球等におけるスイングをカメラ撮影し、撮影したスイングの画像を見ながらフォームをチェックすることが行われている（例えば、特許文献１）。
【０００３】
また、このようなフォームのチェックを行うにあたり、ゴルフクラブ等の動体の軌跡を表示するようにしてチェックを容易にするようにしたものもある（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１１７０４５号公報
【特許文献２】特開平１１−９８４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、フォームのチェックは、自分のスイングをカメラ撮影してこれをチェックするだけでなく、例えば、プロ選手やインストラクター等の理想のフォームによるスイングを撮影しておき、これと比較表示してチェックを行う場合がある。
【０００６】
しかしながら、このような場合、理想のフォームによるスイングを撮影するカメラの角度等の撮影条件が自分のスイングを撮影したときと一致するとは限らないため、このような状況においては、上記各特許文献に記載の技術を用いたとしても、理想のフォームを正確に把握することができず、フォームのチェックが困難であるという問題があった。
【０００７】
本発明の課題は、撮影条件が異なっても理想のフォームを正確に把握することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、本発明の画像処理装置は、
第１の撮影環境下において異なる撮影角度で撮影された動画像を複数取得する動画像取得手段と、
前記動画像取得手段により取得された複数の動画像夫々の撮影角度と、前記第１の撮影環境下とは異なる第２の撮影環境下で撮影された動画像の撮影角度とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記第２の撮影環境下で撮影された動画像の撮影角度に最も近似する撮影角度で撮影された動画像を前記第１の撮影環境下で撮影された複数の動画像から選択する選択手段を備え、
前記選択手段により選択された前記第１の撮影環境下で撮影された動画像における移動物体の軌跡を、前記第２の撮影環境下に適合するように補正する軌跡補正手段と、
前記軌跡補正手段によって補正された軌跡を外部に出力させる出力手段と、
を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影条件が異なっても理想のフォームを正確に把握することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システムの全体構成を示す図である。
【図２】画像処理装置の内部構成を示す図である。
【図３】制御部の機能的構成を示す図である。
【図４】動体の軌跡を表示又は解析する手順について説明するフローチャートである。
【図５】データ登録処理について説明するフローチャートである。
【図６】フォームチェック開始フレームの指定画面について説明する図である。
【図７】ラインの指定を行う画面について説明する図である。
【図８】スイング動作者の位置の指定を行う画面について説明する図である。
【図９】テニスラケットの位置の指定を行う画面について説明する図である。
【図１０】テニスラケットの位置の指定を行う画面について説明する図である。
【図１１】バックスイング開始フレームの指定画面について説明する図である。
【図１２】フォロースイング開始フレームの指定画面について説明する図である。
【図１３】フォロースイング終了フレームの指定画面について説明する図である。
【図１４】規定したラインの傾きについて説明する図である。
【図１５】撮影角度の算出について説明する図である。
【図１６】撮影角度の算出について説明する図である。
【図１７】テニスラケットの軌跡について説明する図である。
【図１８】チェック対象の動画像について説明する図である。
【図１９】ファイル選択画面について説明する図である。
【図２０】軌跡の補正について説明する図である。
【図２１】軌跡の補正について説明する図である。
【図２２】動画像の再生タイミングについて説明する図である。
【図２３】チェック対象者のフォームの診断画面について説明する図である。
【図２４】フォームチェック開始フレームの指定画面について説明する図である。
【図２５】ラインの指定を行う画面について説明する図である。
【図２６】スイング動作者の位置の指定を行う画面について説明する図である。
【図２７】ゴルフクラブの位置の指定を行う画面について説明する図である。
【図２８】ゴルフクラブの位置の指定を行う画面について説明する図である。
【図２９】バックスイング開始フレームの指定画面について説明する図である。
【図３０】フォロースイング開始フレームの指定画面について説明する図である。
【図３１】フォロースイング終了フレームの指定画面について説明する図である。
【図３２】規定したラインの傾きについて説明する図である。
【図３３】撮影角度の算出について説明する図である。
【図３４】撮影角度の算出について説明する図である。
【図３５】撮影角度の算出について説明する図である。
【図３６】撮影角度の算出について説明する図である。
【図３７】軌跡の補正について説明する図である。
【図３８】軌跡の補正について説明する図である。
【図３９】チェック対象者のフォームの診断画面について説明する図である。
【図４０】ゴルフクラブとスイング動作者の肩の位置の指定を行う画面について説明する図である。
【図４１】ゴルフクラブとスイング動作者の肩の位置の指定を行う画面について説明する図である。
【図４２】軌跡の設定について説明する図である。
【図４３】ゴルフクラブの軌跡について説明する図である。
【発明を実施するための形態】
【００１１】
図１に、本発明の一実施形態における画像処理システム１００の全体構成を示す。
画像処理システム１００は動体の軌跡を表示又は解析するためのシステムであり、本実施の形態では、一例として、テニスコートにおけるテニススイングの軌跡を表示又は解析する場合について説明する。なお、本実施の形態によれば、ゴルフスイング、野球でのバットのスイング、その他の動体の軌跡の表示又は解析が可能である。
【００１２】
画像処理システム１００は、撮影手段としてのカメラ１〜３、ＨＵＢ４、画像処理装置１０、プリンタ５、メディア書込部６等を備えて構成される。これらはＬＡＮ（Local Area Network）ケーブル７により接続されている。
【００１３】
カメラ１〜３は、１秒間に３０枚程度の静止画像を撮影して動画像を出力する高機能のデジタルカメラである。秒間撮像フレーム数（フレームレート）はｆｐｓ（frame per second）で表される。すなわち、カメラ１〜３のフレームレートは３０[fps]である。本実施の形態では、上述したように、フレームレートが３０[fps]であるカメラを適用したが、フレームレートはこれに限らず、例えば、フレームレートが３００〜１２００[fps]であるハイスピードカメラを適用してもよい。
【００１４】
カメラ１は、テニスコートのバックラインに対して第１の撮影角度でスイング動作者を撮影するカメラであり、当該位置で撮影した動画像の画像データを画像処理装置１０に出力する。カメラ２は、テニスコートのバックラインに対して第２の撮影角度でスイング動作者を撮影するカメラであり、当該位置で撮影した動画像の画像データを画像処理装置１０に出力する。カメラ３は、テニスコートのバックラインに対して第３の撮影角度でスイング動作者を撮影するカメラであり、当該位置で撮影した動画像の画像データを画像処理装置１０に出力する。
【００１５】
画像処理装置１０は、カメラ１〜３により撮影された動画像の画像データを入力して、入力した画像データによる動画像の表示又は解析等を行う。
【００１６】
図２に、画像処理装置１０の内部構成を示す。
画像処理装置１０は、制御部１１、入力部１２、表示部１３、記憶部１４、接続部１５等を備えて構成される。また、各部はバス１６により接続される。本実施の形態において、画像処理装置１０は、例えば、パーソナルコンピュータ等の情報処理装置により構成される。なお、画像処理装置の機能をカメラ１〜３が備える構成であってもよい。
【００１７】
軌跡補正手段として機能する制御部１１は、図示しないＣＰＵやＲＡＭ等を備えて構成され、記憶部１４との協働により画像処理装置１０の各部を集中制御する。すなわち、制御部１１は、記憶部１４に記憶された各種プログラムを実行することにより、図３に示すように、第１設定部１１ａ、第２設定部１１ｂ、第１軌跡取得部１１ｃ、第２軌跡取得部１１ｄ、第１撮影角度算出部１１ｅ、第２撮影角度算出部１１ｆ、撮影角度差分算出部１１ｇ、補正部１１ｈ、第３設定部１１ｉ、第４設定部１１ｊ、比率算出部１１ｋ、位置差分算出部１１ｍ、軌跡差分判定部１１ｎ、画像指定部１１ｐ、移動対象画像抽出部１１ｒ及び表示制御部１１ｓとして機能する。
【００１８】
第１設定部１１ａは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第１の特徴点として交差する２以上の直線を設定する。具体的には後述するが、第１設定部１１ａは、ある撮影環境下で理想のフォームによるスイングを撮影して得られた動画像に基づいてユーザにより２以上の直線を設定する。この２以上の直線は、例えば、テニスコートにあっては、バックラインとサイドラインに沿ってそれぞれ設定された直線である。
【００１９】
第２設定部１１ｂは、カメラ１〜３によって第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点として交差する２以上の直線を設定する。具体的には後述するが、第２設定部１１ｂは、理想のフォームを撮影したときとは異なる撮影環境下でチェック対象のスイングを撮影して得られた動画像に基づいてユーザにより２以上の直線を設定する。この２以上の直線は、例えば、テニスコートにあっては、バックラインとサイドラインに沿ってそれぞれ設定された直線である。
【００２０】
第１軌跡取得部１１ｃは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から第１の移動対象の軌跡を第１軌跡として取得する。具体的には後述するが、第１軌跡取得部１１ｃは、撮影した理想のフォームによるスイングの動画像からテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡を取得する。
【００２１】
第２軌跡取得部１１ｄは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像から第２の移動対象の軌跡を第２軌跡として取得する。具体的には後述するが、第２軌跡取得部１１ｄは、撮影したチェック対象のスイングの動画像からテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡を取得する。
【００２２】
第１撮影角度算出部１１ｅは、第１設定部１１ａによって設定された２以上の直線のそれぞれのなす角度から第１の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。具体的には後述するが、第１撮影角度算出部１１ｅは、理想のフォームによるスイングを撮影して得られた動画像から設定された２以上の直線のそれぞれのなす角度から、ある位置に対するカメラ１〜３の撮影角度を算出する。
【００２３】
第２撮影角度算出部１１ｆは、第２設定部１１ｂによって設定された２以上の直線のそれぞれのなす角度から第２の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。具体的には後述するが、第２撮影角度算出部１１ｆは、チェック対象のスイングを撮影して得られた動画像から設定された２以上の直線のそれぞれのなす角度から、ある位置に対するカメラ１〜３の撮影角度を算出する。
【００２４】
撮影角度差分算出部１１ｇは、第１撮影角度算出部１１ｅによって算出された撮影角度と、第２撮影角度算出部１１ｆによって算出された撮影角度との差分を算出する。
【００２５】
補正部１１ｈは、撮影角度差分算出部１１ｇによって算出された撮影角度の差分に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置を補正する。具体的には後述するが、補正部１１ｈは、第１の撮影環境下で撮影されたときのカメラ１〜３の撮影角度と第２の撮影環境下で撮影されたときのカメラ１〜３の撮影角度との差分から、撮影した理想のフォームによるスイングの動画像から取得されたテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡の位置を補正する。
【００２６】
第３設定部１１ｉは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第３の特徴点としての直線を設定する。具体的には後述するが、第３設定部１１ｉは、理想のフォームによるスイングを撮影して得られた動画像に基づいて、ユーザにより第１の特徴点としての直線とは異なる直線を設定する。この直線は、例えば、理想のフォームによるスイングを行うスイング動作者の体の中心線に沿って設定された直線である。
【００２７】
第４設定部１１ｊは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像における第４の特徴点としての直線を設定する。具体的には後述するが、第４設定部１１ｊは、チェック対象のスイングを撮影して得られた動画像に基づいて、ユーザにより第２の特徴点としての直線とは異なる直線を設定する。この直線は、例えば、チェック対象のスイングを行うスイング動作者の体の中心線に沿って設定された直線である。
【００２８】
比率算出部１１ｋは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線との長さの比率を算出する。
【００２９】
位置差分算出部１１ｍは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線との位置の差分を算出する。すなわち、位置差分算出部１１ｍは、第３の特徴点としての直線の位置と、第４の特徴点としての直線の位置とのずれ量を求める。
【００３０】
軌跡差分判定部１１ｎは、補正部１１ｈによって補正された第１軌跡と、第２軌跡取得部１１ｄによって取得された第２軌跡との差分を判定する。具体的には後述するが、軌跡差分判定部１１ｎは、撮影したチェック対象のスイングの動画像からテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡が、位置が補正された撮影した理想のフォームによるスイングの動画像から取得されたテニスラケットやゴルフクラブのヘッド等の移動対象の軌跡からどのくらいずれているかを判定する。
【００３１】
画像指定部１１ｐは、第１の移動対象の画像を指定する。具体的には後述するが、画像指定部１１ｐは、移動対象を特定するために、ユーザによって当該移動対象部分の画像を指定する。
【００３２】
移動対象画像抽出部１１ｒは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から画像指定部１１ｐによって指定された画像に対応する画像を抽出する。具体的には後述するが、移動対象画像抽出部１１ｒは、ユーザによって指定された画像をテンプレートとするテンプレートマッチングを行う。これにより、理想のフォームによるスイングを撮影して得られた動画像を構成する各静止画像からテンプレートに相当する画像を抽出する。
【００３３】
表示制御部１１ｓは、表示部１３の表示制御を行う。
【００３４】
入力部１２は、カーソルキーや各種機能キーを備えたキーボード及びマウス等を備えて構成され、操作信号を制御部１１に出力する。
【００３５】
表示部１３は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等により構成され、制御部１１からの表示信号に従って画面表示を行う。
【００３６】
記憶部１４は、ＨＤＤ（Hard Disk Drive）等により構成され、各種プログラム及び各種データを記憶する。
【００３７】
接続部１５は、ＵＳＢ（Universal Serial Bus）等のバスインターフェイスにより構成され、カメラ１〜３から出力された動画像の画像データを入力し、一方でプリンタ５やメディア書込部６に動画像又は静止画像の画像データを出力する。
【００３８】
図１に戻り、ＨＵＢ４は、カメラ１〜３と画像処理装置１０との間に介在する集線装置であってこれらを接続する。
プリンタ５は、画像処理装置１０からの印刷指示に従い、印刷媒体（例えば紙等）に対して印刷処理を行う。プリンタ５は、例えば、ページプリンタ等の印刷装置により構成される。
メディア書込部６は、画像処理装置１０の書込指示に従い、デジタルの動画像の画像データをＤＶＤ等のメディア（可搬型記録媒体）に書き込む機器である。なお、メディア書込部６は、画像処理装置１０に内蔵されるものとしてもよい。
【００３９】
次に、上述のようにして構成された画像処理システム１００を用いて、動体の軌跡を表示又は解析する手順について、図４を参照しながら説明する。
なお、以下の説明において、カメラ１〜３によりテニススイング時のスイング動作者が同時期に撮影され、撮影された各方向の動画像の画像データが画像処理装置１０により記憶されるものとする。
【００４０】
最初に、ある撮影環境（第１の撮影環境）下において、例えばインストラクターやプロ選手のスイング等、見本とするフォーム（理想のフォーム）によるスイングの撮影をカメラ１〜３によって行う。なお、撮影に使用するカメラの数は３つに限らず、１つであっても、２以上であってもよい。撮影された動画像の画像データ（理想のフォームの動画像データ）は、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０１）。
【００４１】
次に、理想のフォームによるスイングの撮影時とは異なる撮影位置（第２の撮影環境下）にて、フォームのチェックを行いたいスイングの撮影をカメラ１〜３によって行う。ここで、撮影するカメラはカメラ１〜３の何れかであってもよい。撮影された動画像の画像データ（チェック対象の動画像データ）は、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０２）。
【００４２】
次に、制御部１１は、記憶部１４から理想のフォームの動画像データを読み出し、移動対象であるテニスラケットの軌跡を取得するための各種データの登録を行う（ステップＳ１０３）。ここで、図５を参照して、テニスラケットの軌跡を取得するためのデータ登録処理の手順について説明する。なお、以下の説明においては、理想のフォームの動画像データを用いて各種データの登録を行う内容について説明するが、チェック対象の動画像データを用いた各種データの登録も同様の手順にて行われる。
【００４３】
最初に、制御部１１は、読み出した理想のフォームの動画像データから、フォーム開始フレームの指定を行う（ステップＳ２０１）。すなわち、制御部１１は、フォームの診断を開始するフレームの指定を行う。より具体的には、例えば、図６に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。なお、図６には、テニスラケットＲ１を把持したスイング動作者Ｑ１がテニスコート上でスイングしている様子が表示されている。テニスコートは、コーナーＣ１で交差するバックラインＢＬ１とサイドラインＳＬ１とに囲まれている。また、表示画面上に表示された選択ボタンＢ１，Ｂ２は、例えば、入力部１２としてのマウスの操作により入力することができる。そして、制御部１１は、表示画面上にフォーム開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォーム開始フレームを指定する。
【００４４】
次に、制御部１１は、第１設定部１１ａを機能させて、指定されたフォーム開始フレームの静止画像を利用したバックライン及びサイドラインの指定を行う（ステップＳ２０２）。具体的には、例えば、図７に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ１〜Ｐ３の位置が変位操作されることにより、バックラインＢＬ１及びサイドラインＳＬ１をラインＬ１，Ｌ２によって規定する。なお、表示画面上に表示されたポインタＰ１〜Ｐ３は、例えば、入力部１２としてのマウスによるドラッグ操作によって変位させることができる。ポインタＰ１〜Ｐ３の位置は、例えば、制御部１１の備えるＲＡＭに保存される。
【００４５】
次に、制御部１１は、第３設定部１１ｉを機能させて、スイング動作者Ｑ１の位置の指定を行う（ステップＳ２０３）。具体的には、例えば、図８に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ４，Ｐ５の位置が変位操作されることにより、スイング動作者Ｑ１の位置をラインＬ３によって規定する。ラインＬ３の規定は、例えば、スイング動作者Ｑ１の首と腰の部分をそれぞれポインタＰ４，Ｐ５で規定することにより行うことができる。なお、表示画面上に表示されたポインタＰ４，Ｐ５は、例えば、入力部１２としてのマウスによるドラッグ操作によって変位させることができる。ポインタＰ４，Ｐ５の位置は、例えば、制御部１１の備えるＲＡＭに保存される。
【００４６】
次に、制御部１１は、画像指定部１１ｐを機能させて、テニスラケットＲ１の位置の指定を行う（ステップＳ２０４）。具体的には、例えば、図９、図１０に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＴ１，Ｔ２の位置が変位操作されると、当該ポインタＴ１，Ｔ２の位置により方形状の枠ＦＴを規定する。テニスラケットＲ１の指定は、例えば、図１０に示すように、テニスラケットＲ１の左上部分と右下部分とをそれぞれポインタＴ１，Ｔ２で規定することにより行うことができる。なお、表示画面上に表示されたポインタＴ１，Ｔ２は、例えば、入力部１２としてのマウスによるドラッグ操作によって変位させることができる。ポインタＴ１，Ｔ２の位置は、例えば、制御部１１の備えるＲＡＭに保存される。
【００４７】
次に、制御部１１は、理想のフォームの動画像データから、バックスイング開始フレームの指定を行う（ステップＳ２０５）。すなわち、制御部１１は、バックスイングの動作の開始に相当するフレームの指定を行う。より具体的には、例えば、図１１に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にバックスイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、バックスイング開始フレームを指定する。
【００４８】
次に、制御部１１は、理想のフォームの動画像データから、フォロースイング開始フレームの指定を行う（ステップＳ２０６）。すなわち、制御部１１は、フォロースイングの動作の開始に相当するフレームの指定を行う。より具体的には、例えば、図１２に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング開始フレームを指定する。
【００４９】
次に、制御部１１は、理想のフォームの動画像データから、フォロースイング終了フレームの指定を行う（ステップＳ２０７）。すなわち、制御部１１は、フォロースイングの動作の終了に相当するフレームの指定を行う。より具体的には、例えば、図１３に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング終了フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング終了フレームを指定する。
【００５０】
以上のようにして理想のフォームのデータ登録が完了すると、制御部１１は、図４に示すように、第１撮影角度算出部１１ｅを機能させて、理想のフォームによるスイングが撮影されたときのテニスコートのバックラインに対する撮影角度（理想のフォームの撮影角度）を算出する（ステップＳ１０４）。
【００５１】
具体的には、制御部１１は、図１４に示すように、ラインＬ１，Ｌ２によって規定されたバックライン及びサイドラインの水平線ＨＬに対する傾き、すなわち、角度α，βを求める。ここで、理想のフォームによるスイングが撮影されたときのテニスコートの状況を平面視で表すと、図１５（Ａ）に示すようになる。なお、立体視で表した状態を、図１５（Ｂ）に示す。このとき、カメラ１〜３のうちの一のカメラＣＭと、バックラインＢＬとサイドラインＳＬとの交点であるコーナーとを結ぶ軸線をｙ軸とし、このコーナーに接するとともにｙ軸と直交する軸線をｘ軸とすると、ｘ軸とバックラインＢＬとでなす角度はα０となり、ｘ軸とサイドラインＳＬとでなす角度はβ０となる。このとき、バックラインＢＬとｙ軸とがなす角度が撮影角度θとなる。テニスコートを平面視でみた場合、バックラインＢＬとサイドラインＳＬとのなす角度は９０°であり、下記式（１）の関係が成り立つ。なお、ａは変換係数を示す。
（ａ×ｓｉｎα０）２＋（ａ×ｓｉｎβ０）２＝１・・・（１）
【００５２】
さらに、これをｘｙｚ軸上で表すと、図１６に示すようになる。平面視においては、視点はｚ軸上とされているため、これを実際のカメラＣＭの視点にするために、ｘ軸を回転軸として、全体を角度δ回転させる。すると、ｘｙｚ軸上にある任意の点Ｘは、ｘ軸で回転してＸ´となる。すなわち、点Ｘの座標を（ｘ，ｙ，ｚ）とし、点Ｘ´の座標を（ｘ´，ｙ´，ｚ´）とすると、点Ｘ´の座標は下記式（２）のようにして求めることができる。
【数１】
0005874475.tif 000002
【００５３】
上記式（２）によれば、変換係数ａは１／ｃｏｓδとなることがわかる。
そして、バックラインＢＬとサイドラインＳＬの交点であるコーナーの位置のｚ軸上の高さを０とすると、下記式（３）及び下記式（４）の関係が成り立つ。
ｓｉｎα＝ｃｏｓδ×ｓｉｎα０・・・（３）
ｓｉｎβ＝ｃｏｓδ×ｓｉｎβ０・・・（４）
【００５４】
すなわち、上記式（３）及び上記式（４）から下記式（５）を表すことができる。
（１／ｃｏｓδ×ｓｉｎα）２＋（１／ｃｏｓδ×ｓｉｎβ）２＝１・・・（５）
したがって、下記式（６）及び下記式（７）の関係が成り立つ。
ｃｏｓθ＝１／ｃｏｓδ×ｓｉｎβ・・・（６）
ｓｉｎθ＝１／ｃｏｓδ×ｓｉｎα・・・（７）
これにより、撮影角度θを求めることができる。なお、上述した説明は、カメラ１〜３のうちの一のカメラＣＭについての撮影角度θを求めるものであるが、他のカメラについても同様の手順で撮影角度θを求めることができる。
【００５５】
以上のようにして、理想のフォームの撮影角度を算出すると、制御部１１は、第１軌跡取得部１１ｃを機能させて、撮影した理想のフォームによるスイングの動画像から移動対象であるテニスラケットの軌跡を取得する（ステップＳ１０５）。具体的には、制御部１１は、移動対象画像抽出部１１ｒを機能させて、理想のフォームによるスイングの動画像のうち、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、テニスラケットの部分の画像を抽出する。すなわち、制御部１１は、先ず、画像指定部１１ｐを機能させて上述のようにして指定されたテニスラケットの画像をテンプレートとする。次に、制御部１１は、理想のフォームの動画像のうち、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、テンプレートとした画像とマッチングする画像の部分を抽出する。制御部１１は、この抽出された画像をテニスラケットの部分の画像とし、この抽出された画像の中心を軌跡としてプロットする。その結果、例えば、図１７に示されるようなフレーム毎の軌跡Ｈ１〜Ｈｎを取得することができる。テンプレートマッチングの手法は、公知のものが採用できるが、例えば、最初にテンプレートを設定したフレームの次のフレームの静止画像から、テンプレートとした画像の座標の近傍の一定範囲を探索範囲とし、例えば、ＲＧＢ等の画像のパラメータの差分が最も小さい領域を特定する。その次以降のフレームの静止画像についても同様の手順を繰り返すことにより、各フレームについてテンプレートとマッチングする画像の部分を特定する。
【００５６】
制御部１１は、上述した処理を、カメラ１〜３のそれぞれで撮影して得られた動画像についてそれぞれ実施する。
【００５７】
次に、カメラ１〜３のそれぞれで撮影されて得られた理想のフォームの動画像データを、上述のようにして生成された、テニスラケットの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、理想のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１０６）。なお、理想のフォームデータファイルは、ファイル名が指定される。また、理想のフォームデータファイルは、理想のフォームの動画像データを作成する毎に生成される。
【００５８】
次に、制御部１１は、第２設定部１１ｂ及び第４設定部１１ｊ等を機能させて、記憶部１４からチェック対象の動画像データを読み出し、移動対象であるテニスラケットの軌跡を取得するための各種データの登録を行う（ステップＳ１０７）。テニスラケットの軌跡を取得するためのデータの登録の処理手順は、上述した理想のフォームによるスイングの動画像についてのテニスラケットの軌跡を取得するためのデータの登録の処理手順と同様である。すなわち、制御部１１は、図１８に示すようなチェック対象のスイングの動画像を表示部１３の表示画面上に表示させた後に、フォーム開始フレームの指定、バックラインＢＬ２及びサイドラインＳＬ２の規定、スイング動作者Ｑ２の位置の指定、テニスラケットＲ２の位置の指定、バックスイング開始フレームの指定、フォロースイング開始フレームの指定及びフォロースイング終了フレームの指定を行う。
【００５９】
続いて、制御部１１は、第２撮影角度算出部１１ｆを機能させて、チェック対象者のスイングが撮影されたときのテニスコートのバックラインに対する撮影角度（チェック対象者の撮影角度）を算出する（ステップＳ１０８）。チェック対象者の撮影角度の算出は、上述した理想のフォームの撮影角度の算出と同様の手順により行うことができる。
【００６０】
次に、制御部１１は、第２軌跡取得部１１ｄを機能させて、撮影したチェック対象者のスイングの動画像から移動対象であるテニスラケットの軌跡を取得する（ステップＳ１０９）。チェック対象者のスイングの動画像におけるテニスラケットの軌跡の取得方法は、上述した理想のフォームによるスイングの動画像におけるテニスラケットの軌跡の取得方法と同様の手順により行うことができる。
【００６１】
次に、制御部１１は、カメラ１〜３の１つ又は２以上で撮影されて得られたチェック対象の動画像データを、上述のようにして生成された、テニスラケットの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、チェック対象のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１１０）。なお、チェック対象のフォームデータファイルは、ファイル名が指定される。
【００６２】
その後、制御部１１は、チェック対象のフォームデータファイルを記憶部１４から読み出した後（ステップＳ１１１）、理想のフォームデータファイルを記憶部１４から読み出す（ステップＳ１１２）。制御部１１は、理想のフォームデータファイルを読み出すときは、例えば、表示部１３の表示画面上に、図１９に示すようなファイル選択画面を表示する。ユーザは、例えば、入力部１２であるマウスやキーボードを操作して、ファイル選択画面におけるリストから何れかを選択することにより、任意の理想のフォームデータファイルを選択することができる。
【００６３】
次に、制御部１１は、補正部１１ｈ、比率算出部１１ｋ及び位置差分算出部１１ｍを機能させて、ステップＳ１１２において読み出したファイルに含まれる理想のフォームによるスイングの動画像についてのテニスラケットの軌跡データの位置の補正を行う（ステップＳ１１３）。
ここで、本実施の形態では、カメラ１〜３により、３つの撮影角度によって理想のフォームによるスイングを撮影し、それぞれの動画像を取得している。そのため、テニスラケットの軌跡データの位置の補正を行う対象である動画像を選択する。テニスラケットの軌跡データの位置の補正を行う対象である動画像の選択は、理想のフォームによるスイングを撮影した動画像の撮影角度のそれぞれを、チェック対象のスイングを撮影して得られた動画像の撮影角度と比較し、撮影角度の差分の最も小さいものの動画像を特定することにより行う。
【００６４】
具体的には、先ず、図２０（Ａ）に示すように、理想のフォームによるスイングが撮影されたときのテニスコートの状況を平面視で表したとき、スイング動作者の体の中心からテニスラケットの中心ＲＣまでの距離を距離ｒで表し、テニスボールが飛来する方向（例えば、クロスの方向）である打球の方向に対する、スイング動作者の体の中心とテニスラケットの中心ＲＣを結ぶ線の角度を角度εで表すことができる。このとき、バックラインＢＬに対する打球の方向のなす角度は、例えば、６０°である。また、このとき、バックラインＢＬに対して撮影角度θをなす軸線と直交する線に対するスイング動作者の体の中心とテニスラケットの中心ＲＣを結ぶ線の角度は角度γで表すことができる。そして、チェック対象のスイングの動画像に対する理想のフォームによるスイングの動画像の変換係数をＡとすると、理想のフォームによるスイングの動画像における、バックラインＢＬに対して撮影角度θをなすカメラＣＭを通る軸線とテニスラケットの中心ＲＣとの距離Ｘ（図２０（Ａ）、図２０（Ｂ）参照）は、下記式（８）によって表すことができる。
Ｘ＝Ａ×ｒ×ｃｏｓγ・・・（８）
なお、変換係数Ａは、例えば、図２１に示すように、理想のフォームによるスイングの動画像において規定したラインＬ３の長さに対する、チェック対象のスイングの動画像において規定したラインＬ４の長さの割合によって求めることができる。
【００６５】
ここで、角度γは、下記式（９）によって表すことができる。
γ＝ａｂｓ（９０°−（ε−６０°＋θ）
＝ａｂｓ（１５０°−ε−θ）・・・（９）
【００６６】
そして、理想のフォームによるスイングの動画像における撮影角度とチェック対象のスイングの動画像における撮影角度とのずれ量をΔθとすると、チェック対象のスイングの動画像における撮影角度とした場合の距離Ｘ´を、下記式（１０）により表すことができる。すなわち、距離Ｘを距離Ｘ´に変換することができる。なお、撮影角度のずれ量Δθは、制御部１１が、撮影角度差分算出部１１ｇを機能させて求められる。
Ｘ´＝Ａ×ｒ×ｃｏｓ（γ＋Δθ）
＝Ａ×ｒ×ｃｏｓγ×ｃｏｓΔθ−Ａ×ｒ×ｓｉｎγ×ｓｉｎΔθ
＝Ｘ×ｃｏｓΔθ−Ａ×ｒ×ｓｉｎγ×ｓｉｎΔθ・・・（１０）
【００６７】
例えば、理想のフォームによるスイングの動画像における撮影角度とチェック対象のスイングの動画像における撮影角度とのずれ量Δθが１０°である場合には、Ｘ´は下記式（１１）により求められる。
Ｘ´＝０．９８×Ｘ−Ａ×ｒ×ｓｉｎγ×０．１７・・・（１１）
【００６８】
ここで、理想のフォームにおける上述の角度εを求める。角度εは、例えば、理想のフォームによるスイングの動画像において、予め、バックスイング開始の状態となる時間、フォロースイング開始の状態となる時間及びフォロースイング終了の状態となる時間をそれぞれ設定し、そこから、時間の経過により予測することができる。例えば、バックスイングの開始のときの角度εを０°とした場合、バックスイングの終了のとき、すなわち、フォロースイングの開始のときの角度εは１８０°となり、フォロースイングの終了のときの角度εは０°となる。これらの時間は、例えば、上述したようにして指定したバックスイング開始フレーム、フォロースイング開始フレーム及びフォロースイング終了フレームにより特定することができる。
【００６９】
そして、角度εが求められると、上記式（９）により角度γを求めることができ、これにより、上記式（１０）における「Ａ×ｒ×ｓｉｎγ」の解が得られる結果、距離Ｘ´を求めることができる。
このようにして理想のフォームのフレーム毎の軌跡Ｈ１〜Ｈｎを距離Ｘから距離Ｘ´とすることにより変換することができる。
【００７０】
そして、制御部１１は、上述したようにして変換された理想のフォームの軌跡の位置を、チェック対象のスイングの動画像におけるスイング動作者Ｑ２の位置に対応するようにシフトする。これにより、チェック対象のスイングの動画像におけるチェック対象者のテニスラケットの軌跡との比較表示を行うことができるようになる。具体的には、制御部１１は、上述のようにして変換された理想のフォームのフレーム毎の軌跡Ｈ１〜Ｈｎのそれぞれの座標（Ｘ１，Ｙ１）〜（Ｘｎ，Ｙｎ）を、それぞれシフトして（Ｘ１´，Ｙ１´）〜（Ｘｎ´，Ｙｎ´）に補正する。各軌跡Ｈ１〜Ｈｎの補正後の座標は、図２１に示すように、第３設定部１１ｉが機能して上述したようにして規定されたポインタＰ４，Ｐ５の座標Ｐ４（ｘ０，ｙ０），Ｐ５（ｘ１，ｙ１）と、第４設定部１１ｊが機能して上述したようにして規定されたポインタＰ６，Ｐ７の座標Ｐ６（ｘ２，ｙ２），Ｐ７（ｘ３，ｙ３）とに基づき、下記式（１２）及び下記式（１３）により求めることができる。なお、下記式（１２）及び下記式（１３）においては、理想のフォームのフレーム毎の軌跡Ｈｎの座標（Ｘｎ，Ｙｎ）から座標（Ｘｎ´，Ｙｎ´）への変換式を示すが、他の軌跡の座標についても同様にして求めることができる。
Ｘｎ´＝（ｙ０−ｙ１）／（ｙ２−ｙ３）×Ｘｎ＋（ｘ２−ｘ０）・・・（１２）
Ｙｎ´＝（ｙ０−ｙ１）／（ｙ２−ｙ３）×Ｙｎ＋（ｙ２−ｙ０）・・・（１３）
【００７１】
以上のようにして理想のフォームによるスイングの動画像についてのテニスラケットの軌跡の位置の補正を行った後、制御部１１は、図４に示すように、補正した理想のフォームのテニスラケットの軌跡と、チェック対象者のテニスラケットの軌跡とを表示部１３に表示するための表示データを生成する（ステップＳ１１４）。なお、フレーム毎の軌跡を点で表示してもよいし、点を結んだ線で表示するようにしてもよい。このとき、テニスラケットのスイングのタイミングは、理想のフォームによるスイングの動画像とチェック対象のスイングの動画像とで異なる場合があるため、例えば、図２２（Ａ）に示すように、各動画像の再生タイミングを、上述したようにして指定したバックスイング開始フレームで合わせるのが好ましい。すると、図２２（Ａ）に示すように、理想のフォームによるスイングとチェック対象者のスイングとでスイングの速度が異なる場合には、これをユーザに認識できるように表示することができるようになる。この場合において、理想のフォームによるスイングとチェック対象者のスイングとでスイングの速度を合わせたいときには、例えば、図２２（Ｂ）に示すように、理想のフォームによるスイングの動画像において、フレーム数が増加するように静止画像を追加する。静止画像の追加は、例えば、理想のフォームによるスイングの動画像の一部のフレームの静止画像と同一の静止画像を挿入することで実現することができる。また、チェック対象のスイングの動画像の一部のフレームの静止画像を間引くようにしてもよい。このようにすると、理想のフォームのテニスラケットの軌跡とチェック対象者のテニスラケットの軌跡との相異をより明確に理解させることができるようになる。そして、制御部１１は、軌跡差分判定部１１ｎを機能させて、これらの軌跡の差分を判定することによりチェック対象者のテニスラケットの軌跡の診断を行う（ステップＳ１１５）。具体的には、例えば、制御部１１は、フォロースイング開始時における軌跡の差分や、フォロースイング終了時における軌跡の差分等が所定の大きさであるか否かを判定する。そして、制御部１１は、診断結果に対応するメッセージを表示するための表示データを生成する（ステップＳ１１６）。制御部１１は、表示部１３の表示画面上に、チェック対象のスイングの動画像を表示するとともに、ステップＳ１１４及びステップＳ１１６において生成された表示データに基づく表示を行う（ステップＳ１１７）。その結果、例えば、図２３に示すような画面が表示部１３の表示画面上に表示される。図２３では、フォロースイング終了時における、補正した理想のフォームのテニスラケットの軌跡と、チェック対象者のテニスラケットの軌跡との差分が所定の大きさを超えているため、補正した理想のフォームのテニスラケットの軌跡ＳＷ１及びチェック対象者のテニスラケットの軌跡ＳＷ２とともに、例えば、「フォロースルーを高くしましょう」といった表示が行われている。なお、各軌跡は、表示されたフレームの動画像に応じて順次表示するようにしてもよい。例えば、３０フレーム目の動画像が表示部１３の表示画面に表示されるタイミングでは、１〜３０フレーム目までの軌跡を表示するようにし、３１フレーム以降の軌跡は表示しない。また、本実施の形態では、チェック対象のスイングの動画像を表示する場合において、打球をヒットする瞬間や、スイング開始のタイミング等の代表的なタイミングにおける静止画像を表示することができる。このとき、当該表示された静止画像に対応する、補正された理想のフォームのテニスラケットの軌跡を表示する。
【００７２】
次に、本実施の形態の他の例として、上述した画像処理システム１００を用いて、ゴルフ練習場におけるゴルフスイングの軌跡を表示又は解析する場合について説明する。なお、以下の説明において示される各ステップは、図４及び図５における各処理に対応しているため、これらの図面を参照するものとする。
【００７３】
まず、ある撮影環境（第１の撮影環境）下において、上述したようにして、理想のフォームによるスイングの撮影をカメラ１〜３によって行う。撮影された理想のフォームの動画像データは、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０１）。
また、理想のフォームによるスイングの撮影時とは異なる撮影位置（第２の撮影環境下）にて、上述したようにして、フォームのチェックを行いたいスイングの撮影をカメラ１〜３によって行う。撮影されたチェック対象の動画像データは、画像処理装置１０の制御部１１の制御により、例えば、記憶部１４に記憶される（ステップＳ１０２）。
【００７４】
次に、制御部１１は、記憶部１４から理想のフォームの動画像データを読み出し、移動対象であるゴルフクラブの軌跡を取得するための各種データの登録を行う（ステップＳ１０３）。
【００７５】
ここで、ゴルフクラブの軌跡を取得するためのデータ登録処理の手順について説明すると、先ず、制御部１１は、読み出した理想のフォームの動画像データから、フォーム開始フレームの指定を行う（ステップＳ２０１）。より具体的には、例えば、図２４に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。なお、図２４には、ゴルフクラブＷ１を把持したスイング動作者Ｑ３がマットＭ１上でスイングしている様子が表示されている。マットＭ１は、左端部ＭＬ１と先端部ＭＴ１と右端部ＭＲ１とに囲まれている。そして、制御部１１は、表示画面上にフォーム開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォーム開始フレームを指定する。
【００７６】
次に、制御部１１は、第１設定部１１ａを機能させて、指定されたフォーム開始フレームの静止画像を利用したマットＭ１の左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１の指定を行う（ステップＳ２０２）。具体的には、例えば、図２５に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ１１〜Ｐ１４の位置が変位操作されることにより、マットの左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１をそれぞれラインＬ１１〜Ｌ１３によって規定する。なお、本実施の形態では、マットの左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１の３点を規定し、撮影角度の算出の精度を向上するようにしたが、これらのうちの２点を規定して撮影角度の算出を行うようにしてもよい。ポインタＰ１１〜Ｐ１４の位置は、例えば、制御部１１の備えるＲＡＭに保存される。
【００７７】
次に、制御部１１は、第３設定部１１ｉを機能させて、スイング動作者Ｑ３の位置の指定を行う（ステップＳ２０３）。具体的には、例えば、図２６に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＰ１５，Ｐ１６の位置が変位操作されることにより、スイング動作者Ｑ３の位置をラインＬ１４によって規定する。ポインタＰ１５，Ｐ１６の位置は、例えば、制御部１１の備えるＲＡＭに保存される。
【００７８】
次に、制御部１１は、画像指定部１１ｐを機能させて、ゴルフクラブＷ１の位置の指定を行う（ステップＳ２０４）。具体的には、例えば、図２７、図２８に示すように、制御部１１は、表示部１３の表示画面上に表示されたポインタＴ１１，Ｔ１２の位置が変位操作されると、当該ポインタＴ１１，Ｔ１２の位置により方形状の枠ＦＧを規定する。ゴルフクラブＷ１の規定は、例えば、図２８に示すように、ゴルフクラブＷ１のヘッドの左上部分と右下部分とをそれぞれポインタＴ１１，Ｔ１２で規定することにより行うことができる。ポインタＴ１１、Ｔ１２の位置は、例えば、制御部１１の備えるＲＡＭに保存される。
【００７９】
次に、制御部１１は、理想のフォームの動画像データから、バックスイング開始フレームの指定を行う（ステップＳ２０５）。より具体的には、例えば、図２９に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にバックスイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、バックスイング開始フレームを指定する。
【００８０】
次に、制御部１１は、理想のフォームの動画像データから、フォロースイング開始フレームの指定を行う（ステップＳ２０６）。より具体的には、例えば、図３０に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング開始フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング開始フレームを指定する。
【００８１】
次に、制御部１１は、理想のフォームの動画像データから、フォロースイング終了フレームの指定を行う（ステップＳ２０７）。より具体的には、例えば、図３１に示すように、制御部１１は、表示部１３の表示画面上に表示された選択ボタンＢ１，Ｂ２が入力されることにより、画面に表示された理想のフォームによるスイングの動画像を構成する静止画像を時系列的に切り換えて表示する。そして、制御部１１は、表示画面上にフォロースイング終了フレームとして適切な静止画像が表示されたときにセットボタンＢ３が入力されることにより、フォロースイング終了フレームを指定する。
【００８２】
以上のようにして理想のフォームのデータ登録が完了すると、制御部１１は、第１撮影角度算出部１１ｅを機能させて、理想のフォームの撮影角度を算出する（ステップＳ１０４）。
【００８３】
具体的には、制御部１１は、図３２に示すように、ラインＬ１１〜Ｌ１３によって規定されたマットＭ１の左端部ＭＬ１、先端部ＭＴ１及び右端部ＭＲ１の水平線ＨＬに対する傾き、すなわち、角度α，ζ，βを求める。ここで、理想のフォームによるスイングが撮影されたときのマットの状況を平面視で表すと、図３３に示すようになる。このとき、カメラ１〜３のうちの一のカメラＣＭと、マットの先端部ＭＴと右端部ＭＲとの交点であるコーナーとを結ぶ軸線をｙ軸とし、ｙ軸と直交する軸線をｘ軸とすると、ｘ軸とマットの右端部ＭＲとでなす角度はβ０となり、ｘ軸とマットの先端部ＭＴとでなす角度はζ０となる。
【００８４】
ここで、先ず、マットの先端部ＭＴと右端部ＭＲとの交点について注目し、マットの右端部ＭＲに対するカメラＣＭとこの交点とを結ぶ軸線のなす角度θ１について求める。マットを平面視でみた場合、マットの先端部ＭＴと右端部ＭＲとのなす角度は９０°であり、また、図３３によれば、角度θ１は角度ζ０と一致することがわかり、下記式（１４）の関係が成り立つ。なお、ａ１は変換係数を示す。
（ａ１×ｓｉｎβ０）２＋（ａ１×ｓｉｎζ０）２＝１・・・（１４）
【００８５】
上述したようにして、これをｘｙｚ軸上で表した場合、平面視においては、視点はｚ軸上とされているため、これを実際のカメラＣＭの視点にするために、ｘ軸を回転軸として全体を角度δ１回転させる。すると、上述によれば、変換係数ａ１は、１／ｃｏｓδ１となることがわかる。
そして、マットの先端部ＭＴと右端部ＭＲの交点であるコーナーの位置のｚ軸上の高さを０とすると、下記式（１５）及び下記式（１６）の関係が成り立つ。
ｓｉｎβ＝ｃｏｓδ１×ｓｉｎβ０・・・（１５）
ｓｉｎζ＝ｃｏｓδ１×ｓｉｎζ０・・・（１６）
【００８６】
すなわち、上記式（１５）及び上記式（１６）から下記式（１７）を表すことができる。
（１／ｃｏｓδ１×ｓｉｎβ）２＋（１／ｃｏｓδ１×ｓｉｎζ）２＝１・・・（１７）
したがって、下記式（１８）及び下記式（１９）の関係が成り立つ。
ｃｏｓθ１＝１／ｃｏｓδ１×ｓｉｎβ・・・（１８）
ｓｉｎθ１＝１／ｃｏｓδ１×ｓｉｎζ・・・（１９）
これにより、角度θ１を求めることができる。
【００８７】
次に、図３４を参照して、マット先端部ＭＴと左端部ＭＬとの交点について注目し、マット左端部ＭＬに対するカメラＣＭとこの交点とを結ぶ軸線のなす角度θ２について求める。マットを平面視でみた場合、マットの先端部ＭＴと左端部ＭＬとのなす角度は９０°であり、下記式（２０）の関係が成り立つ。なお、ａ２は変換係数を示す。
（ａ２×ｓｉｎα１）２＋（ａ２×ｓｉｎζ１）２＝１・・・（２０）
【００８８】
上述したようにして、これをｘｙｚ軸上で表した場合、平面視においては、視点はｚ軸上とされているため、これを実際のカメラＣＭの視点にするために、ｘ軸を回転軸として全体を角度δ２回転させる。すると、上述によれば、変換係数ａ２は、１／ｃｏｓδ２となることがわかる。
そして、マットの先端部ＭＴと左端部ＭＬの交点であるコーナーの位置のｚ軸上の高さを０とすると、下記式（２１）及び下記式（２２）の関係が成り立つ。
ｓｉｎα＝ｃｏｓδ２×ｓｉｎα１・・・（２１）
ｓｉｎζ＝ｃｏｓδ２×ｓｉｎζ１・・・（２２）
【００８９】
すなわち、上記式（２１）及び上記式（２２）から下記式（２３）を表すことができる。
（１／ｃｏｓδ２×ｓｉｎα）２＋（１／ｃｏｓδ２×ｓｉｎζ）２＝１・・・（２３）
したがって、下記式（２４）及び下記式（２５）の関係が成り立つ。
ｃｏｓθ２＝１／ｃｏｓδ２×ｓｉｎα・・・（２４）
ｓｉｎθ２＝１／ｃｏｓδ２×ｓｉｎζ・・・（２５）
これにより、角度θ２を求めることができる。
【００９０】
次に、角度θ１及び角度θ２から撮影角度θを求める。
図３５に示すように、マットを平面視でみた場合、撮影角度θは、下記式（２６）によって表すことができる。
θ＝ｈ２´／（ｈ１´＋ｈ２´）×θ１＋ｈ１´／（ｈ１´＋ｈ２´）×θ２・・・（２６）
【００９１】
上記式（２６）に示される関係は、表示画面上においてもほぼ同じになるので、図３６に示すように、ラインＬ１１とラインＬ１２との交点とゴルフクラブのヘッドの中心ＷＣとの水平方向の距離ｈ１と、ラインＬ１２とラインＬ１３との交点とゴルフクラブのヘッドの中心ＷＣとの水平方向の距離ｈ２を求めると、下記式（２７）によって撮影角度θを算出することができる。なお、ゴルフクラブのヘッドの中心ＷＣは、上述のようにしてポインタＴ１１，Ｔ１２の位置により規定された枠ＦＧの中心である。
θ＝ｈ２／（ｈ１＋ｈ２）×θ１＋ｈ１／（ｈ１＋ｈ２）×θ２・・・（２７）
これにより、撮影角度θを求めることができる。なお、上述した説明は、カメラ１〜３のうちの一のカメラＣＭについての撮影角度θを求めるものであるが、他のカメラについても同様の手順で撮影角度θを求めることができる。
【００９２】
以上のようにして、理想のフォームの撮影角度を算出すると、制御部１１は、第１軌跡取得部１１ｃを機能させて、撮影した理想のフォームによるスイングの動画像から移動対象であるゴルフクラブの軌跡を取得する（ステップＳ１０５）。具体的には、制御部１１は、移動対象画像抽出部１１ｒを機能させて、理想のフォームによるスイングの動画像のうち、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、ゴルフクラブの部分の画像を抽出する。すなわち、制御部１１は、先ず、画像指定部１１ｐを機能させて上述のようにして指定されたゴルフクラブのヘッドの画像をテンプレートとする。次に、制御部１１は、理想のフォームによるスイングの動画像のうち、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、テンプレートとした画像とマッチングする画像の部分を抽出する。制御部１１は、この抽出された画像をゴルフクラブのヘッドの部分の画像とし、この抽出された画像の中心を軌跡としてプロットする。その結果、上述と同様にフレーム毎の軌跡を取得することができる。
【００９３】
制御部１１は、上述した処理を、カメラ１〜３のそれぞれで撮影して得られた動画像についてそれぞれ実施する。
【００９４】
次に、カメラ１〜３のそれぞれで撮影されて得られた理想のフォームの動画像データを、上述のようにして生成された、ゴルフクラブの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、理想のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１０６）。なお、理想のフォームデータファイルは、ファイル名が指定される。また、理想のフォームデータファイルは、理想のフォームの動画像データを作成する毎に生成される。
【００９５】
次に、制御部１１は、第２設定部１１ｂ及び第４設定部１１ｊ等を機能させて、記憶部１４からチェック対象の動画像データを読み出し、移動対象であるゴルフクラブの軌跡を取得するための各種データの登録を行う（ステップＳ１０７）。ゴルフクラブの軌跡を取得するためのデータの登録の処理手順は、上述した理想のフォームによるスイングの動画像についてのゴルフクラブの軌跡を取得するためのデータの登録の処理手順と同様である。
【００９６】
続いて、制御部１１は、第２撮影角度算出部１１ｆを機能させて、チェック対象者のスイングが撮影されたときの撮影角度（チェック対象者の撮影角度）を算出する（ステップＳ１０８）。チェック対象者の撮影角度の算出は、上述した理想のフォームの撮影角度の算出と同様の手順により行うことができる。
【００９７】
次に、制御部１１は、第２軌跡取得部１１ｄを機能させて、撮影したチェック対象者のスイングの動画像から移動対象であるゴルフクラブの軌跡を取得する（ステップＳ１０９）。チェック対象者のスイングの動画像におけるゴルフクラブの軌跡の取得方法は、上述した理想のフォームによるスイングの動画像におけるゴルフクラブの軌跡の取得方法と同様の手順により行うことができる。
【００９８】
次に、制御部１１は、カメラ１〜３の１つ又は２以上で撮影されて得られたチェック対象の動画像データを、上述のようにして生成された、ゴルフクラブの軌跡を取得するための各種データ、撮影角度、フレーム毎の軌跡データ等とともに、チェック対象のフォームデータファイルとして、例えば、記憶部１４に保存する（ステップＳ１１０）。なお、チェック対象のフォームデータファイルは、ファイル名が指定される。
【００９９】
その後、制御部１１は、チェック対象のフォームデータファイルを記憶部１４から読み出した後（ステップＳ１１１）、理想のフォームデータファイルを記憶部１４から読み出す（ステップＳ１１２）。理想のフォームデータファイルの読み出しの要領は上述したとおりである。
【０１００】
次に、制御部１１は、補正部１１ｈ、比率算出部１１ｋ及び位置差分算出部１１ｍを機能させて、ステップＳ１１２において読み出したファイルに含まれる理想のフォームによるスイングの動画像についてのゴルフクラブの軌跡データの位置の補正を行う（ステップＳ１１３）。なお、ゴルフクラブの軌跡データの位置の補正を行う対象である動画像の選択の要領は上述したとおりである。
【０１０１】
具体的には、先ず、図３７に示すように、理想のフォームによるスイングが撮影されたときのゴルフ練習場のマットの状況を平面視で表したとき、スイング動作者の体の中心からゴルフクラブのヘッドの中心ＷＣまでの距離を距離ｒで表し、打球の方向とは垂直の方向に対するスイング動作者の体の中心とゴルフクラブのヘッドの中心ＷＣを結ぶ線の角度を角度εで表すことができる。また、このとき、マットの右端部ＭＲに対して撮影角度θをなす軸線と直交する線に対するスイング動作者の体の中心とゴルフクラブのヘッドの中心ＷＣを結ぶ線の角度は角度γで表すことができる。そして、チェック対象者のスイングの動画像における、マットの右端部ＭＲに対して撮影角度θのなすカメラＣＭを通る軸線とゴルフクラブのヘッドの中心ＷＣとの距離Ｘ（図３７、図３８参照）は、上記式（８）によって同様に表すことができる。
なお、変換係数Ａは、上述したように、理想のフォームによるスイングの動画像において規定したラインの長さに対する、チェック対象者のスイングの動画像において規定したラインの長さの割合によって求めることができる。
【０１０２】
ここで、角度γは、下記式（２８）によって表すことができる。
γ＝ε−θ・・・（２８）
【０１０３】
そして、理想のフォームによるスイングの動画像における撮影角度とチェック対象者のスイングの動画像における撮影角度とのずれ量をΔθとすると、チェック対象者のスイングの動画像における撮影角度とした場合の距離Ｘ´については、上記式（１０）により同様に表すことができる。なお、撮影角度のずれ量Δθは、制御部１１が、撮影角度差分算出部１１ｇを機能させて求められる。
【０１０４】
ここでも上述の要領で、理想のフォームにおける上述の角度εを求める。例えば、バックスイングの開始のときの角度εを０°とした場合、フォロースイングの開始のときの角度εは１８０°となる。また、インパクトのときの角度εは０°となり、フォロースイングの終了のときの角度εは１８０°となる。
【０１０５】
そして、角度εが求められると、上記式（２８）により角度γを求めることができ、これにより、上記式（１０）における「Ａ×ｒ×ｓｉｎγ」の解が得られる結果、距離Ｘ´を求めることができる。
このようにして理想のフォームのフレーム毎の軌跡を距離ＸからＸ´とすることにより変換することができる。
【０１０６】
そして、制御部１１は、上述したようにして変換された理想のフォームの軌跡の位置を、チェック対象者のスイングの動画像におけるスイング動作者の位置に対応するようにシフトする。これにより、チェック対象者のスイングの動画像におけるチェック対象者のゴルフクラブの軌跡との比較表示を行うことができるようになる。理想のフォームの軌跡の位置のシフトの要領は上述と同様にして実施することができる。
【０１０７】
以上のようにして理想のフォームによるスイングの動画像についてのゴルフクラブの軌跡の位置の補正を行った後、制御部１１は、図４に示すように、補正した理想のフォームのゴルフクラブの軌跡と、チェック対象者のゴルフクラブの軌跡とを表示部１３に表示するための表示データを生成する（ステップＳ１１４）。なお、フレーム毎の軌跡を点で表示してもよいし、点を結んだ線で表示するようにしてもよい。そして、制御部１１は、必要に応じて、軌跡差分判定部１１ｎを機能させて、チェック対象者のゴルフクラブの軌跡の診断を行い（ステップＳ１１５）、診断結果に対応するメッセージを表示するための表示データを生成する（ステップＳ１１６）。制御部１１は、表示部１３の表示画面上に、チェック対象の動画像を表示するとともに、ステップＳ１１４及びステップＳ１１６において生成された表示データに基づく表示を行う（ステップＳ１１７）。その結果、例えば、図３９に示すような画面が表示部１３の表示画面上に表示される。図３９では、補正した理想のフォームのゴルフクラブの軌跡ＳＷ３及びチェック対象者のゴルフクラブの軌跡ＳＷ４の表示が行われている。
【０１０８】
また、上述した実施の形態では、ゴルフクラブのヘッドの画像の中心を軌跡としてプロットするようにしたが、スイング動作者の体の中心からゴルフクラブのヘッドまでのラインを設定し、この設定されたラインの軌跡をプロットすることもできる。
【０１０９】
具体的には、例えば、上述したようにしてゴルフクラブＷ１の位置の指定を行う場合に、図４０及び図４１に示すように、ゴルフクラブＷ１の位置の指定とともに、ゴルフクラブＷ１のスイングの起点となるスイング動作者の肩の位置を指定する。より具体的には、例えば、制御部１１は、表示部１３の表示画面上に表示されたポインタＴ２１〜Ｔ２４の位置が変位操作されると、当該ポインタＴ２１，Ｔ２２の位置により方形状の枠ＦＧａを規定するとともに、ポインタＴ２３，Ｔ２４の位置により方形状の枠ＦＳａを規定する。そして、図４１に示すように、枠ＦＧａによりゴルフクラブＷ１のヘッドが囲まれ、枠ＦＳａによりスイング動作者の肩が囲まれると、図４２に示すように、枠ＦＧａと枠ＦＳａの中心が結ばれた直線が規定される。そして、上述した要領で、制御部１１が移動対象画像抽出部１１ｒを機能させて、フォロースイング開始フレームからフォロースイング終了フレームまでの間の動画像を構成する静止画像のそれぞれについて、枠ＦＧａ及び枠ＦＳａでそれぞれ規定した画像をテンプレートとして、当該テンプレートとした画像とマッチングする画像の部分を抽出する。そして、この抽出された画像の各中心を直線で結んで、これを軌跡とする。例えば、図４３に示すように、フレーム毎にテンプレートにマッチングした画像の各中心を直線で結ぶと、ライン状の軌跡Ｊ１〜Ｊｎを取得することができる。そして、このようにして得られたライン状の軌跡Ｊ１〜Ｊｎを、上述したようにして位置の補正を行い、その結果を表示部１３の表示画面上に表示する。その結果、ゴルフクラブの軌跡の表示に多様性を持たすことができるようになる。
【０１１０】
以上説明したように、本実施の形態では、制御部１１は、第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、第１の撮影環境下で撮影して得られた動画像か得られた第１の移動対象である第１軌跡を補正する。表示制御部１１ｓは、制御部１１によって補正された軌跡を表示させる。その結果、第１の撮影環境と第２の撮影環境とで撮影角度等の撮影環境が異なっても、第１軌跡の位置を第２の撮影環境における撮影角度に合わせて補正して表示することができるので、第２の撮影環境での第１軌跡の位置を正確に把握することができる。そのため、例えば、第１軌跡の位置を正確に把握するために、第２の撮影環境において再度動画像を撮影する必要がなくなる。
【０１１１】
また、本実施の形態では、第１設定部１１ａは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第１の特徴点として交差する２以上の直線を設定する。第１軌跡取得部１１ｃは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から第１の移動対象の軌跡（第１軌跡）を取得する。第２設定部１１ｂは、カメラ１〜３によって第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点として交差する２以上の直線を設定する。第１撮影角度算出部１１ｅは、第１設定部１１ａによって設定された２以上の直線のそれぞれのなす角度から第１の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。第２撮影角度算出部１１ｆは、第２設定部１１ｂによって設定された２以上の直線のそれぞれのなす角度から第２の撮影環境下で撮影されたときのカメラ１〜３の撮影角度を算出する。撮影角度差分算出部１１ｇは、第１撮影角度算出部１１ｅによって算出された撮影角度と、第２撮影角度算出部１１ｆによって算出された撮影角度との差分を算出する。補正部１１ｈは、撮影角度差分算出部１１ｇによって算出された撮影角度の差分に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置を補正する。表示制御部１１ｓは、補正部１１ｈによって補正された第１軌跡を表示させる。その結果、第１の撮影環境と第２の撮影環境とで撮影角度が異なっても、第１軌跡の位置を第２の撮影環境における撮影角度に合わせて補正して表示することができるので、第２の撮影環境での第１軌跡の位置を正確に把握することができる。
【０１１２】
また、本実施の形態では、画像指定部１１ｐは、第１の移動対象の画像を指定する。移動対象画像抽出部１１ｒは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像から画像指定部１１ｐによって指定された画像に対応する画像を抽出する。第１軌跡取得部１１ｃは、移動対象画像抽出部１１ｒによって抽出された画像に基づいて第１軌跡を取得する。その結果、容易に第１軌跡の抽出を行うことができるようになる。
【０１１３】
また、本実施の形態では、第３設定部１１ｉは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像における第３の特徴点としての直線を設定する。第４設定部１１ｊは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像における第４の特徴点としての直線を設定する。比率算出部１１ｋは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線の長さの比率を算出する。補正部１１ｈは、比率算出部１１ｋによって算出された比率に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置をさらに補正する。その結果、第１の軌跡の位置を、例えば、第２の撮影環境下で撮影して得られた動画像のスケールに合わせて表示することができるので、第２の撮影環境での第１軌跡の位置をより正確に把握することができる。
【０１１４】
また、本実施の形態では、位置差分算出部１１ｍは、第３設定部１１ｉによって設定された直線と、第４設定部１１ｊによって設定された直線との位置の差分を算出する。補正部１１ｈは、位置差分算出部１１ｍによって算出された位置の差分に基づいて、第１軌跡取得部１１ｃによって取得された第１軌跡の位置をさらに補正する。その結果、第１の軌跡の位置を、例えば、第２の撮影環境下で撮影して得られた動画像の所定の位置に合わせて表示することができるので、第２の撮影環境での第１軌跡の位置をより正確に把握することができる。
【０１１５】
また、本実施の形態では、第１設定部１１ａは、カメラ１〜３によって第１の撮影環境下で複数の撮影角度でそれぞれ撮影して得られた動画像に対応して２以上の直線をそれぞれ設定する。第１軌跡取得部１１ｃは、第１軌跡を撮影毎に取得する。第１撮影角度算出部１１ｅは、複数の撮影角度をそれぞれ算出する。撮影角度差分算出部１１ｇは、第１撮影角度算出部１１ｅによって算出された複数の撮影角度から第２撮影角度算出部１１ｆによって算出された撮影角度に最も近似するものを選択するとともに、選択された撮影角度と第２撮影角度算出部１１ｆによって算出された撮影角度との差分を算出する。補正部１１ｈは、撮影角度差分算出部１１ｇによって算出された撮影角度の差分に基づいて、第１軌跡取得部１１ｃによって取得された複数の第１軌跡から撮影角度差分算出部１１ｇによって選択された撮影角度に対応するものの位置を補正する。その結果、第１軌跡の位置の補正量を小さくすることができ、第１軌跡の位置の補正の精度を高めることができる。
【０１１６】
また、本実施の形態では、第１軌跡取得部１１ｃは、第１の移動対象としての直線を設定し、直線の軌跡を第１軌跡として取得する。その結果、より多様な軌跡表示を行うことができるので、例えば、より多様なフォームの解析を行うことができるようになる。
【０１１７】
また、本実施の形態では、第２軌跡取得部１１ｄは、カメラ１〜３によって第２の撮影環境下で撮影して得られた動画像から第２の移動対象の軌跡を第２軌跡として取得する。表示制御部１１ｓは、制御部１１によって補正された第１軌跡とともに、第２軌跡取得部１１ｄによって取得された第２軌跡を表示させる。その結果、第１軌跡と第２軌跡とを比較表示することができる。
【０１１８】
また、本実施の形態では、軌跡差分判定部１１ｎは、補正された第１軌跡と、第２軌跡取得部１１ｄによって取得された第２軌跡との差分を判定する。表示制御部１１ｓは、軌跡差分判定部１１ｎによる判定結果に応じた表示を行わせる。その結果、例えば、軌跡によって特定されるフォームについての適切なアドバイスを示すことができる等、利便性が向上する。
【０１１９】
また、本実施の形態では、表示制御部１１ｓは、カメラ１〜３によって第１の撮影環境下で撮影して得られた動画像のうちの所定のタイミングにおける静止画像に対応する、補正された第１軌跡を表示させる。その結果、例えば、打球がヒットする瞬間等のあるタイミングにおける軌跡の解析が容易となる。
【０１２０】
なお、本実施の形態では、テニスコートのラインや、ゴルフ練習場のマットを第１の特徴点及び第２の特徴点として規定し、これにより撮影角度を求めるようにしたが、第１の特徴点及び第２の特徴点については撮影する対象に応じて適宜設定することができる。例えば、野球のバットのスイングを撮影する場合には、バッターボックスを特徴点として規定することができる。また、特徴点は、テニスコートのラインや、ゴルフ練習場のマット等に限らず、他のものであってもよく、例えば、樹木や建造物であってもよい。このとき、固定されている物体を特徴点の対象とするのが好ましい。
【０１２１】
また、本実施の形態では、第３の特徴点及び第４の特徴点として、スイング動作者の体の長さを規定するようにしたが、第３の特徴点及び第４の特徴点においても撮影する対象に応じて適宜設定することができる。例えば、第３の特徴点及び第４の特徴点として、スイング動作者の足の長さ、頭の先からつま先までの長さ、あるいは、スイングする腕及び移動対象であるテニスラケットやゴルフクラブの先までの長さであってもよい。
【０１２２】
また、本実施の形態では、第３の特徴点及び第４の特徴点としてのスイング動作者の体の長さをポインタにより規定するようにしたが、例えば、上述したテンプレートマッチングの手法により被写体追跡を行って規定するようにしてもよい。具体的には、例えば、
スイング動作者の肩周辺の画像と、腰周辺の画像とをテンプレートとして設定し、フォロースイング開始フレームからフォロースイング終了フレームまでの動画像を構成する静止画像のそれぞれについて、テンプレートとした画像とマッチングする画像の部分を抽出する。そして、抽出した肩周辺の画像の中心と、腰周辺の画像の中心とを結ぶ線をスイング動作者の体の長さとして規定する。これにより、スイング動作者が移動した場合でも正確に位置を把握することができるようになる。
【０１２３】
また、本実施の形態では、第２の撮影環境下で撮影して得られたチェック対象の動画像データを保存し、保存した動画像データを読み出して、移動対象の軌跡を取得するための各種データの登録を行うようにしたが、第２の撮影環境下で撮影して得られたリアルタイムでの動画像を利用して、各種データの登録を行うようにしてもよい。
【０１２４】
また、本実施の形態では、理想のフォームの動画像データやチェック対象の動画像データを利用して、ユーザの入力により移動対象の軌跡を取得するための各種データの登録を行うようにしたが、画像認識を行って、自動的に各種データの登録を行うことができるものであってもよい。
【０１２５】
また、本実施の形態では、チェック対象者のスイングの動画像に、理想のフォームの移動対象の軌跡と、チェック対象の移動対象の軌跡とを表示部１３に比較表示するようにしたが、チェック対象者のスイングの動画像に、理想のフォームの移動対象の軌跡のみ表示するようにしてもよい。
【０１２６】
また、本実施の形態では、第１の撮影環境で理想のフォームによるスイングを撮影し、第２の撮影環境でチェック対象者のスイングを撮影するようにしたが、第１の撮影環境でチェック対象者のスイングを撮影し、第２の撮影環境で理想のフォームによるスイングを撮影してもよい。
【０１２７】
また、本実施の形態では、テンプレート画像にマッチングする画像を抽出することによってフレーム毎の軌跡を取得するようにしたが、入力部１２の操作等によってフレーム毎に軌跡を手動で規定するようにしてもよい。
【０１２８】
また、本実施の形態では、カメラ１〜３にて第１の撮影環境で理想のフォームによるスイングを撮影し、この撮影した理想のフォームによるスイングの動画像を利用して軌跡を取得するようにしたが、理想のフォームによるスイングの動画像の画像データが、カメラ１〜３にて撮影して得たものではなく、メディアや通信手段により取得されたものであってもよい。
【０１２９】
また、本実施の形態では、理想のフォームによるスイングの動画像の画像データを複数種類取得し、ユーザにより選択して軌跡の表示を行うようにしたが、取得する理想のフォームによるスイングの動画像の画像データを１種類のみとしてもよい。
【０１３０】
また、本実施の形態では、比率算出部１１ｋ及び位置差分算出部１１ｍによる軌跡の位置補正を行うようにしたが、これら各機能部による位置補正を実施しないものであってもよい。
【０１３１】
本発明の実施の形態及び変形例を説明したが、本発明の範囲は、上述の実施の形態及び変形例に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、前記第１の撮影環境下で撮影して得られた動画像から得られた移動対象である軌跡を補正する軌跡補正手段と、
前記軌跡補正手段によって補正された軌跡を表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記軌跡補正手段は、
撮影手段によって第１の撮影環境下で撮影して得られた動画像における第１の特徴点として交差する２以上の直線を設定する第１設定手段と、
前記撮影手段によって第１の撮影環境下で撮影して得られた動画像から移動対象の軌跡を取得する軌跡取得手段と、
撮影手段によって前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点として交差する２以上の直線を設定する第２設定手段と、
前記第１設定手段によって設定された２以上の直線のそれぞれのなす角度から前記第１の撮影環境下で撮影されたときの撮影手段の撮影角度を算出する第１撮影角度算出手段と、
前記第２設定手段によって設定された２以上の直線のそれぞれのなす角度から前記第２の撮影環境下で撮影されたときの撮影手段の撮影角度を算出する第２撮影角度算出手段と、
前記第１撮影角度算出手段によって算出された撮影角度と、前記第２撮影角度算出手段によって算出された撮影角度との差分を算出する撮影角度差分算出手段と、
前記撮影角度差分算出手段によって算出された撮影角度の差分に基づいて、前記軌跡取得手段によって取得された軌跡の位置を補正する補正手段と、
を備え、
前記表示制御手段は、前記補正手段によって補正された軌跡を表示させることを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記軌跡補正手段は、
前記移動対象の画像を指定する画像指定手段と、
前記撮影手段によって第１の撮影環境下で撮影して得られた動画像から前記画像指定手段によって指定された画像に対応する画像を抽出する移動対象画像抽出手段と、
を備え、
前記軌跡取得手段は、前記移動対象画像抽出手段によって抽出された画像に基づいて前記軌跡を取得することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記軌跡補正手段は、
前記撮影手段によって第１の撮影環境下で撮影して得られた動画像における第３の特徴点としての直線を設定する第３設定手段と、
前記撮影手段によって第２の撮影環境下で撮影して得られた動画像における第４の特徴点としての直線を設定する第４設定手段と、
前記第３設定手段によって設定された直線と、前記第４設定手段によって設定された直線との長さの比率を算出する比率算出手段と、
を備え、
前記補正手段は、前記比率算出手段によって算出された比率に基づいて、前記軌跡取得手段によって取得された軌跡の位置をさらに補正することを特徴とする請求項２又は３に記載の画像処理装置。  
＜請求項５＞
前記軌跡補正手段は、前記第３設定手段によって設定された直線と、前記第４設定手段によって設定された直線との位置の差分を算出する位置差分算出手段を備え、
前記補正手段は、前記位置差分算出手段によって算出された位置の差分に基づいて、前記軌跡取得手段によって取得された軌跡の位置をさらに補正することを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
前記第１設定手段は、前記撮影手段によって第１の撮影環境下で複数の撮影角度でそれぞれ撮影して得られた動画像に対応して２以上の直線をそれぞれ設定し、
前記軌跡取得手段は、前記軌跡を撮影毎に取得し、
前記第１撮影角度算出手段は、複数の撮影角度をそれぞれ算出し、
前記撮影角度差分算出手段は、前記第１撮影角度算出手段によって算出された複数の撮影角度から前記第２撮影角度算出手段によって算出された撮影角度に最も近似するものを選択するとともに、該選択された撮影角度と前記第２撮影角度算出手段によって算出された撮影角度との差分を算出し、
前記補正手段は、前記撮影角度差分算出手段によって算出された撮影角度の差分に基づいて、前記軌跡取得手段によって取得された複数の軌跡から前記撮影角度差分算出手段によって選択された撮影角度に対応するものの位置を補正することを特徴とする請求項２〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記軌跡取得手段は、前記移動対象としての直線を設定し、該直線の軌跡を前記軌跡として取得することを特徴とする請求項２〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記軌跡補正手段は、前記撮影手段によって第２の撮影環境下で撮影して得られた動画像から第２の移動対象の軌跡を第２軌跡として取得する第２軌跡取得手段を備え、
前記表示制御手段は、前記軌跡補正手段によって補正された前記軌跡とともに、前記第２軌跡取得手段によって取得された第２軌跡を表示させることを特徴とする請求項１〜７の何れか一項に記載の画像処理装置。
＜請求項９＞
前記軌跡補正手段は、補正された前記軌跡と、前記第２軌跡取得手段によって取得された第２軌跡との差分を判定する軌跡差分判定手段を備え、
前記表示制御手段は、前記軌跡差分判定手段による判定結果に応じた表示を行わせることを特徴とする請求項８に記載の画像処理装置。
＜請求項１０＞
前記表示制御手段は、前記撮影手段によって第１の撮影環境下で撮影して得られた動画像のうちの所定のタイミングにおける静止画像に対応する、補正された前記軌跡を表示させることを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
＜請求項１１＞
画像処理装置を用いた画像処理方法であって、
第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、前記第１の撮影環境下で撮影して得られた動画像から得られた移動対象である軌跡を補正する軌跡補正ステップと、
前記軌跡補正ステップにおいて補正された軌跡を表示する表示ステップと、
を含むことを特徴とする画像処理方法。
＜請求項１２＞
コンピュータを、
第１の撮影環境下で撮影して得られた動画像における第１の特徴点と、前記第１の撮影環境とは異なる第２の撮影環境下で撮影して得られた動画像における第２の特徴点との相違に基づいて、前記第１の撮影環境下で撮影して得られた動画像から得られた移動対象である軌跡を補正する軌跡補正手段、
前記軌跡補正手段によって補正された軌跡を表示させる表示制御手段、
として機能させるプログラム。
【符号の説明】
【０１３２】
１００  画像処理システム
１，２，３  カメラ（撮影手段）
１０  画像処理装置
１１  制御部（軌跡補正手段）
１１ａ  第１設定部
１１ｂ  第２設定部
１１ｃ  第１軌跡取得部
１１ｄ  第２軌跡取得部
１１ｅ  第１撮影角度算出部
１１ｆ  第２撮影角度算出部
１１ｇ  撮影角度差分算出部
１１ｈ  補正部
１１ｉ  第３設定部
１１ｊ  第４設定部
１１ｋ  比率算出部
１１ｍ  位置差分算出部
１１ｎ  軌跡差分判定部
１１ｐ  画像指定部
１１ｒ  移動対象画像抽出部
１１ｓ  表示制御部
１３  表示部（表示手段）
【図１】
0005874475.tif 000003
【図２】
0005874475.tif 000004
【図３】
0005874475.tif 000005
【図４】
0005874475.tif 000006
【図５】
0005874475.tif 000007
【図６】
0005874475.tif 000008
【図７】
0005874475.tif 000009
【図８】
0005874475.tif 000010
【図９】
0005874475.tif 000011
【図１０】
0005874475.tif 000012
【図１１】
0005874475.tif 000013
【図１２】
0005874475.tif 000014
【図１３】
0005874475.tif 000015
【図１４】
0005874475.tif 000016
【図１５】
0005874475.tif 000017
【図１６】
0005874475.tif 000018
【図１７】
0005874475.tif 000019
【図１８】
0005874475.tif 000020
【図１９】
0005874475.tif 000021
【図２０】
0005874475.tif 000022
【図２１】
0005874475.tif 000023
【図２２】
0005874475.tif 000024
【図２３】
0005874475.tif 000025
【図２４】
0005874475.tif 000026
【図２５】
0005874475.tif 000027
【図２６】
0005874475.tif 000028
【図２７】
0005874475.tif 000029
【図２８】
0005874475.tif 000030
【図２９】
0005874475.tif 000031
【図３０】
0005874475.tif 000032
【図３１】
0005874475.tif 000033
【図３２】
0005874475.tif 000034
【図３３】
0005874475.tif 000035
【図３４】
0005874475.tif 000036
【図３５】
0005874475.tif 000037
【図３６】
0005874475.tif 000038
【図３７】
0005874475.tif 000039
【図３８】
0005874475.tif 000040
【図３９】
0005874475.tif 000041
【図４０】
0005874475.tif 000042
【図４１】
0005874475.tif 000043
【図４２】
0005874475.tif 000044
【図４３】
0005874475.tif 000045