(57)【特許請求の範囲】
【請求項１】
撮像装置により複数の被写体の各々を撮像した複数の画像データを同期させる画像処理装置であって、
前記撮像装置により前記複数の被写体の各々を撮像した複数の動画像データの各々から複数の静止画像データを生成する生成手段と、
この生成手段により生成された前記複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループに分ける分割手段と、
この分割手段により分けられたグループ単位で、前記複数の被写体の静止画像データどうしを同期させる同期手段と、
前記グループ単位で前記複数の被写体の各々の静止画像データの数に差がある場合、前記グループ単位で前記複数の被写体の各々の静止画像データの数を同一とするよう、前記複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データに、前記数の差に応じた数の追加の静止画像データを加える追加手段と、
前記追加手段により追加の静止画像データを加える位置または方法を任意に選択する選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記選択可能な位置として、複数の静止画像データのグループの冒頭または末尾を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記選択可能な方法として、複数の静止画像データのグループの冒頭から末尾にかけて振り分けて加える方法を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記追加手段により加えられた追加の静止画像データに応じた表示内容と共に表示させる文字列を設定する設定手段を備えることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記グループは、ゴルフクラブのスイングの開始からスイングのトップまでの第１パートと、前記スイングのトップからボールへのインパクトまでの第２パートと、前記ボールへのインパクトからスイングの終了までの第３パートであることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
撮像装置により複数の被写体の各々を撮像した複数の画像データを同期させる同期方法であって、
前記撮像装置により前記複数の被写体の各々を撮像した複数の動画像データの各々から複数の静止画像データを生成する生成処理と、
この生成処理により生成された前記複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループに分ける分割処理と、
この分割処理により分けられたグループ単位で、前記複数の被写体の静止画像データどうしを同期させる同期処理と、
前記グループ単位で前記複数の被写体の各々の静止画像データの数に差がある場合、前記グループ単位で前記複数の被写体の各々の静止画像データの数を同一とするよう、前記複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データに、前記数の差に応じた数の追加の静止画像データを加える追加処理と、
前記追加処理により追加の静止画像データを加える位置または方法を任意に選択する選択処理と、
を含むことを特徴とする同期方法。
【請求項７】
撮像装置により複数の被写体の各々を撮像した複数の画像データを同期させる画像処理装置のコンピュータを、
前記撮像装置により前記複数の被写体の各々を撮像した複数の動画像データの各々から複数の静止画像データを生成する生成手段、
この生成手段により生成された前記複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループに分ける分割手段、
この分割手段により分けられたグループ単位で、前記複数の被写体の静止画像データどうしを同期させる同期手段、
前記グループ単位で前記複数の被写体の各々の静止画像データの数に差がある場合、前記グループ単位で前記複数の被写体の各々の静止画像データの数を同一とするよう、前記複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データに、前記数の差に応じた数の追加の静止画像データを加える追加手段、
前記追加手段により追加の静止画像データを加える位置または方法を任意に選択する選択手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、同期方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の被写体の各々を撮像した複数の動画像データを同期させて表示させるため、各々の動画像データの再生内容における所定のタイミング（例えば、所定の動画フレーム等）を同期タイミングとし、同期タイミングを同時に再生させるようにすることで同期タイミング以後の複数の動画像データの再生を同期させる動画再生方法がある（例えば、特許文献１及び特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−８０７３５号公報
【特許文献２】特開２００２−３４４８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動画再生方法では、複数の被写体の各々を撮像した複数の動画像データを十分に同期させることができない場合があった。
例えば、所定の時間連続した所定の動作を行う複数の被写体の各々を撮像した複数の動画像データを同期させるにあたり、各被写体により行われる所定の動作の進行速度が異なる場合、同期を取ったタイミングから再生が進むにつれて次第に各々の動画像データにおける各被写体の動作がずれ、各被写体の動作が同期しない状態となる。一方、このような複数の動画像データにおいて、動画像データの終了タイミング（例えば、所定の動作の完了タイミング等）で複数の動画像データを同期させた場合、所定の動作の開始タイミングがずれるので、やはり各被写体の動作は同期しない。
【０００５】
本発明の課題は、複数の被写体の各々を撮像した複数の動画像データに基づく画像の同期の精度をより高めることができる画像処理装置、同期方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の画像処理装置は、撮像装置により複数の被写体の各々を撮像した複数の画像データを同期させる画像処理装置であって、前記撮像装置により前記複数の被写体の各々を撮像した複数の動画像データの各々から複数の静止画像データを生成する生成手段と、この生成手段により生成された前記複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループに分ける分割手段と、この分割手段により分けられたグループ単位で、前記複数の被写体の静止画像データどうしを同期させる同期手段と、前記グループ単位で前記複数の被写体の各々の静止画像データの数に差がある場合、前記グループ単位で前記複数の被写体の各々の静止画像データの数を同一とするよう、前記複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データに、前記数の差に応じた数の追加の静止画像データを加える追加手段と、前記追加手段により追加の静止画像データを加える位置または方法を任意に選択する選択手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数の被写体の各々を撮像した複数の動画像データに基づく画像の同期の精度をより高めることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態による画像処理装置を含むゴルフスイング解析システムを示す図である。
【図２】ゴルフスイング解析システム及び画像処理装置の構成を示すブロック図である。
【図３】画像処理装置による画像処理の流れの一例を示すフローチャートである。
【図４】スイング対象抽出画面の一例を示す図である。図４（ａ）は、スイング対象画面の初期表示内容の一例を示す図である。図４（ｂ）は、スイング開始の静止画像データを選択しているときのスイング対象画面の表示内容の一例を示す図である。図４（ｃ）は、各種のタイミングに対応した静止画像データの選択が完了した後のスイング対象画面の表示内容の一例を示す図である。
【図５】基準位置情報テーブルの一例を示す図である。図５（ａ）は初期化された状態の基準位置情報テーブルの一例を示す図である。図５（ｂ）は正面静止画像に対するスイング対象抽出後の基準位置情報テーブルの一例を示す図である。図５（ｃ）は正面静止画像に対して後方静止画像及びボール静止画像を同期させた後の基準位置情報テーブルの一例を示す図である。
【図６】複数の被写体の基準位置情報テーブルの対応関係の一例を示す図である。
【図７】複数の被写体のゴルフスイングの静止画像データどうしを同期させた合成静止画像データの一例を示す図である。
【図８】図６に示す複数の被写体の基準位置情報テーブルに対応した第１〜第３パートの静止画像データの数の一例を示す図である。
【図９】パートの冒頭に追加の静止画像データを加える場合の一例を模式的に示す図である。
【図１０】パートの末尾に追加の静止画像データを加える場合の一例を模式的に示す図である。
【図１１】パートの冒頭から末尾にかけて追加の静止画像データを振り分けて加える場合の一例を模式的に示す図である。
【図１２】パートの冒頭から末尾にかけて追加の静止画像データを振り分けて加える場合の処理の流れをスクリプトで示した場合の一例を示す図である。
【図１３】パート単位のスイング画像同期の処理の流れの一例を示すフローチャートである。
【図１４】冒頭追加処理の流れの一例を示すフローチャートである。
【図１５】末尾追加処理の流れの一例を示すフローチャートである。
【図１６】均等振分処理の流れの一例を示すフローチャートである。
【図１７】図１６に示す均等振分処理の流れの続きを示すフローチャートである。
【図１８】正面静止画像、後方静止画像及びボール静止画像を手動で同期させるための画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１１】
図１は、本発明の一実施形態による画像処理装置１０を含むゴルフスイング解析システム１を示す図である。ゴルフスイング解析システム１は、３台のカメラ２、３、４と、ＨＵＢ５と、画像処理装置１０と、プリンタ６と、ディスクライタ７と、を備える。
【００１２】
カメラ２、３、４は、ゴルフスイングを行う被写体（α又はβ）又はゴルフボールを載置するピンＰ及びその付近をそれぞれ異なる角度から撮像する。
なお、以下の説明において、被写体から見てゴルフボールが飛翔する方向を前方、その反対側を後方とし、さらに、被写体から見てゴルフボールが載置される側を正面とする。
【００１３】
カメラ２はゴルフスイングを行うヒトである被写体の正面側から被写体を撮像し、カメラ３は同被写体の後方から被写体を撮像する。カメラ４は被写体の正面側からピンＰ及びその付近を撮像することで、ゴルフボール及びゴルフボールを打つゴルフクラブＷのヘッドを撮像する。カメラ２、３、４は撮像画像を動画像データとして出力する。
【００１４】
カメラ２、３、４は、動画撮像時の秒間撮像フレーム数（frame per second：ｆｐｓ）を所定の値（例えば、300〜1200[fps]）とすることができる。本実施形態において、カメラ２、３は300[fps]、カメラ４は1200[fps]で撮像を行う。
【００１５】
ＨＵＢ５は、３台のカメラ２、３、４と画像処理装置１０との間に介在する集線装置であり、３台のカメラ２、３、４と画像処理装置１０とを接続する。
【００１６】
画像処理装置１０は、撮像装置（例えば、３台のカメラ２、３、４等）により複数の被写体（例えば、α及びβ）の各々を撮像した複数の画像データを同期させる画像処理装置である。画像処理装置１０は、３台のカメラ２、３、４により撮像された動画像データを記憶し、当該動画像データを基にした複数の静止画像データに対して各種の処理を行う。その詳細については後述する。
【００１７】
プリンタ６は、印刷媒体（例えば紙等）に対して印刷を施す。プリンタ６は、例えばページプリンタ等の印刷装置により構成される。
ディスクライタ７は、画像処理装置１０の制御によりデジタルデータをＤＶＤメディアに書き込む機器である。
【００１８】
次に、画像処理装置１０の構成について説明する。図２は、ゴルフスイング解析システム１及び画像処理装置１０の構成を示すブロック図である。
画像処理装置１０は、ＣＰＵ１１と、ＲＡＭ１２と、ＲＯＭ１３と、記憶装置１４と、入力装置１５と、表示装置１６と、インターフェース１７、１８、１９と、これらの各構成を相互接続するバス２０と、を有する。
本実施形態において、画像処理装置１０は、例えば、パーソナルコンピュータ、デスクトップコンピュータ等の情報処理装置により構成される。
【００１９】
ＣＰＵ１１は、ＲＯＭ１３や記憶装置１４からプログラム、データ等を読み込んで実行処理すると共に、画像処理装置１０の各部や画像処理装置１０に接続されている各構成の動作制御を行う。ＣＰＵ１１が読み込んだプログラム、データ等及びＣＰＵ１１の処理において一時的に生じたパラメータ等はＲＡＭ１２に格納される。
【００２０】
ＲＯＭ１３は、例えばＲＯＭチップ等であり、プログラム、データ等を記憶する。
記憶装置１４は、例えばハードディスクドライブやフラッシュメモリ等であり、プログラム、データ等を記憶することができる。記憶装置１４は、カメラ２、３、４により撮像された複数の動画像データや、当該動画像データに基づいて生成される複数の静止画像データ、基準位置情報テーブル、複数の動画像データの各々のｆｐｓ等を記憶するための記憶領域を有している。
また、ＲＯＭ１３や記憶装置１４は、ＣＰＵ１１が行う各種の処理に応じたプログラムを記憶している。
【００２１】
入力装置１５は、例えばキーボードやマウス等であり、ユーザの手動による画像処理装置１０に対する入力操作を受け付ける。
【００２２】
表示装置１６は、例えば液晶ディスプレイや有機エレクトロルミネッセンス（Electro-Luminescence：ＥＬ）ディスプレイ等により構成され、画像処理装置１０の画面出力処理に応じた内容を表示する。
【００２３】
インターフェース１７、１８、１９は、例えばＵＳＢ（Universal Serial Bus）等のバスインターフェースであり、画像処理装置１０と外部機器との接続を可能にする。カメラ２、３、４はＨＵＢ５を介してインターフェース１７に接続され、プリンタ６はインターフェース１８に接続され、ディスクライタ７はインターフェース１９に接続される。
【００２４】
次に、画像処理装置１０により行われる処理について説明する。図３は、画像処理装置１０による画像処理の流れの一例を示すフローチャートである。
【００２５】
まず、３つのカメラ２、３、４が、３方向からの撮影を行う（ステップＳ１）。撮影は、ユーザによる所定の入力操作により、画像処理装置１０が３台のカメラ２、３、４を動作させて被写体を撮像する処理である。３台のカメラ２、３、４により撮像された動画像データは、画像処理装置１０に転送される。画像処理装置１０は転送された動画像データを記憶装置１４に記憶する。
【００２６】
以下の説明において、カメラ２の撮像による動画像データに関するものに「ＦＲ」を付加し、カメラ３の撮像による動画像データに関するものに「ＢＫ」を付加し、カメラ４の撮像による動画像データに関するものに「ＢＬ」を付加して説明する。
また、本実施形態では、カメラ２、３、４により、二人（α、β）のゴルフスイングがそれぞれ一回ずつ撮影される。画像処理装置１０の記憶装置１４は、二人のゴルフスイングを撮像した各々の動画像データを記憶する。以下、αのゴルフスイングを撮像した動画像データに関するものに「α＿」を付加し、βのゴルフスイングを撮像した動画像データに関するものに「β＿」を付加して説明する。
【００２７】
次に、画像処理装置１０は静止画像生成を行う（ステップＳ２）。静止画像生成は、カメラ２、３、４により撮像された複数の被写体（α、β）の各々を撮像した複数の動画像データの各々から複数の静止画像データを生成する処理である。生成された複数の静止画像データは記憶装置１４に記憶される。
【００２８】
静止画像データの各々には、ゴルフスイングが撮像された人物を示す符号（例えば、α＿又はβ＿）と、基となった動画像データを示す符号（例えば、「ＦＲ」、「ＢＫ」又は「ＢＬ」等）と、番号と、を付したファイル名が付与される。番号は、例えば、初期値１の連番であり、動画像データの最初のフレームに対応する静止画像データのファイル名に１が付与され、以降継続して付与されるフレームの番号は順次増加する。
例えば、αを撮像した動画像データＦＲから生成された静止画像データを例に挙げると、「α＿ＦＲ００００００１」、「α＿ＦＲ００００００２」…のように、所定の桁数（例えば、７桁）の連番による番号が末尾に付されたファイル名が付与される。
動画像データＢＫ、動画像データＢＬや、βの動画像データの各々に基づいて生成された静止画像データについても同様である。以下の説明において、静止画像データの各々に付与される番号を「静止画像の番号」と記載し、動画像データＦＲから生成された静止画像データを「正面静止画像」と記載し、動画像データＢＫから生成された静止画像データを「後方静止画像」と記載し、動画像データＢＬから生成された静止画像データを「ボール静止画像」と記載する。
【００２９】
生成される静止画像データの枚数は、動画像データの各々のｆｐｓに応じる。例えば、300[fps]の動画像データを静止画像データにした場合、１秒間の動画像データに対応した静止画像データは300[枚]生成される。つまり、一の静止画像データは、動画像データにおける一の画像フレームに対応する。
画像処理装置１０は、各カメラのｆｐｓを管理、記憶する。具体的には、カメラ２のｆｐｓをＦＲｆｐｓの値とし、カメラ３のｆｐｓをＢＫｆｐｓの値とし、カメラ４のｆｐｓをＢＬｆｐｓの値として記憶装置１４に記憶する。
【００３０】
次に、ユーザの入力内容に基づいて、画像処理装置１０はスイング対象抽出を行う（ステップＳ３）。スイング対象抽出は、α、βの複数の静止画像データのうち、ゴルフスイングの開始から終了までを撮像した複数の静止画像データを特定する処理である。これは、カメラ２、３、４による動画像データの撮像時にゴルフスイングと関係がない撮像画像が含まれることがあるために行われる処理である。ゴルフスイング中と関係がない撮像画像として、例えば被写体が姿勢を整える動作を行っている最中や、被写体がその他の動作（例えば、煙草を吸う等）を行っている最中の撮像画像等が挙げられる。
【００３１】
図４を用いて、スイング対象抽出の具体的内容の一例を示す。
図４（ａ）は、スイング対象抽出画面の一例を示す図である。図４（ａ）は、スイング対象画面の初期表示内容の一例を示す。図４（ｂ）は、スイング開始の静止画像データを選択しているときのスイング対象画面の表示内容の一例を示す。図４（ｃ）は、各種のタイミングに対応した静止画像データの選択が完了した後のスイング対象画面の表示内容の一例を示す。
【００３２】
図４（ａ）〜（ｃ）に示すように、スイング対象抽出画面は、複数の静止画像データをグループ単位で分ける境目に対応する各種のタイミングの名称（例えば、スイング開始、スイングのトップ、インパクト、スイング終了等）と、これらの各種のタイミングに対応する静止画像データを選択、決定、確認するための静止画像表示部と、静止画像表示部に表示された静止画像データを選択するためのスクロールバー３０と、を表示項目に含む。
【００３３】
なお、「スイング開始」は、被写体がゴルフボールを打つ前の動作としてゴルフクラブＷを後方経由で振り上げる動作（テークバック）を開始する動作シーンである。「スイングのトップ（以下の記載及び図面では、単に「トップ」と記載）」は、被写体がゴルフボールを打つため、テークバック後にゴルフクラブＷを振り下ろす動作を開始する動作シーンである。「インパクト」は、ゴルフクラブＷのヘッドがゴルフボールを打つ瞬間（インパクト瞬間）のシーンである。「スイング終了」は、ゴルフボールを打った後、被写体がゴルフクラブＷを前方へ振りぬく動作の終了（フォロースルー終了）シーンである。
【００３４】
スクロールバー３０は、矢印ボタン３１、３２やスクロールゲージ３４、スクロールゲージ３４の移動範囲に対応するバー３３等を含む。スクロールゲージ３４は、矢印ボタン３１、３２に対する操作や、スクロールゲージ３４の左右に位置するバー３３に対する操作、スクロールゲージ３４を左右に移動させる操作等に応じて左右に移動する。そして、スクロールゲージ３４の移動に応じて、フォーカスの当たった静止画像表示部に表示される静止画像データの表示内容が遷移する。図４（ｂ）に示す例では、スクロールゲージ３４の移動に応じて、ゴルフスイング中の被写体の姿勢が変化し、被写体により振られるゴルフクラブＷの位置が変化する例を示している。
ここで、バー３３の範囲は、カメラ２により撮像された動画像データから生成された一人（例えば、α又はβ）の全ての正面静止画像に対応する。
【００３５】
なお、図４（ｂ）では、スイング開始の静止画像表示部に対する選択操作を例示しているが、ユーザは、トップ、インパクト及びスイング終了についても同様に各々のタイミングに対応する静止画像データの選択を行うことができ、図４（ｃ）に示すように、各種のタイミングに応じた静止画像データを特定することができる。つまり、ユーザは、フォーカスを当てる静止画像表示部の変更と、スクロールバー３０に対する入力操作とにより、各種のタイミング（例えば、スイング開始、トップ、インパクト、スイング終了等）に応じた正面静止画像を特定することができる。
【００３６】
また、スイング対象抽出において、ＣＰＵ１１は、基準位置情報テーブル情報を生成、更新する。
図５は、基準位置情報テーブルの一例を示す図である。図５（ａ）は初期化された状態の基準位置情報テーブルの一例を示す。図５（ｂ）は正面静止画像に対するスイング対象抽出後の基準位置情報テーブルの一例を示す。図５（ｃ）は正面静止画像に対して後方静止画像及びボール静止画像を同期させた後の基準位置情報テーブルの一例を示す。
【００３７】
基準位置情報テーブルは、複数のカメラ２、３、４により撮像された動画像データに対応する各種の静止画像データ（例えば、正面静止画像、後方静止画像及びボール静止画像）のそれぞれについて、ゴルフスイング中の各種のタイミング（例えば、スイング開始、トップ、インパクト、スイング終了等）に対応する静止画像の番号を有するファイル名を記憶するテーブルである。基準位置情報テーブルは、記憶装置１４に記憶される。
【００３８】
スイング対象抽出の開始時に、ＣＰＵ１１は、例えば、初期化された状態の基準位置情報テーブルを生成する。初期化された状態の基準位置テーブルは、図５（ａ）に示すように、ゴルフスイング中の各種のタイミングと、各種の静止画像の先頭の番号を有する静止画像データのファイル名とを対応付けている。
【００３９】
スイング対象抽出画面に対するユーザの入力操作等により、正面静止画像についてスイング対象抽出が行われると、ＣＰＵ１１は、図５（ｂ）に示すように、基準位置情報テーブルの正面静止画像の各種のタイミングに対応付けられた静止画像データのファイル名を、スイング対象抽出画面において特定された各種のタイミングの静止画像データに応じた番号を有するファイル名とする。
【００４０】
そして、正面静止画像に対するスイング対象抽出が完了すると、ＣＰＵ１１は、以下の式（１）、（２）に基づいて、ゴルフスイング中の各種のタイミングに対応する後方静止画像及びボール静止画像の静止画像の番号を算出する。
ＢＫｎｏ＝ＦＲｎｏ×ＢＫｆｐｓ／ＦＲｆｐｓ−（ＢＫｆｐｓ／ＦＲｆｐｓ）＋１…（１）
ＢＬｎｏ＝ＦＲｎｏ×ＢＬｆｐｓ／ＦＲｆｐｓ−（ＢＬｆｐｓ／ＦＲｆｐｓ）＋１…（２）
上記の式（１）、（２）において、ＦＲｎｏは、正面静止画像の静止画像の番号を示し、ＢＫｎｏは、後方静止画像の静止画像の番号を示し、ＢＬｎｏは、ボール静止画像の静止画像の番号を示す。本実施形態では、ＦＲｆｐｓとＢＫｆｐｓとは同一（300[fps]）であるので、各種のタイミングのＦＲｎｏとＢＫｎｏとは同一となる。また、ＢＬｆｐｓ（1200[fps]）は、ＦＲｆｐｓ（300[fps]）の４倍であるので、各種のタイミングのＢＬｎｏは、ＦＲｎｏの４倍から３を減じた値（ＦＲｎｏ×４−（４）＋１）となる。
ＣＰＵ１１は、図５（ｃ）に示すように、基準位置情報テーブルの後方静止画像及びボール静止画像の各種のタイミングに対応付けられた静止画像データのファイル名を、式（１）、（２）により算出されたＢＫｎｏ、ＢＬｎｏに応じた静止画像の番号を有するファイル名とする。
【００４１】
スイング対象抽出は、複数の被写体（例えば、α及びβ）の各々に対して個別に行われ、二人の各々により行われたゴルフスイングの各種のタイミングに対応する静止画像の番号を有するファイル名が特定される。
図６は、複数の被写体の基準位置情報テーブルの対応関係の一例を示す図である。
なお、ＣＰＵ１１は、複数の被写体（例えば、α及びβ）の基準位置情報テーブルを個別に生成、更新してもよいし、複数の被写体の情報を含む一つの基準位置情報テーブルを生成してもよい。
スイング対象抽出により決定された、複数の静止画像データに含まれる各種のタイミング（例えば、スイング開始、トップ、インパクト、スイング終了等）に対応する静止画像の番号は、複数の静止画像データをグループ単位で区切る基準となる。
【００４２】
次に、画像処理装置１０は、スイング画像同期を行う（ステップＳ４）。スイング画像同期は、複数の動画像データの各々から生成された複数の静止画像データをグループ単位で同期させ、同期された同一タイミングの複数の被写体（α、β）の各々の静止画像どうしを合成した複数の合成静止画像データを生成する処理である。スイング画像同期により、例えば、図７に示すように、複数の被写体（例えば、α及びβ）のゴルフスイングの静止画像データどうしを同期させた複数の合成静止画像データを、ゴルフスイングの開始（例えば、「スイング開始」のタイミング）から終了（例えば、「スイング終了」のタイミング）までについて得ることができる。スイング画像同期の詳細は、後述する。
【００４３】
スイング画像同期の後、画像処理装置１０は同期動画生成を行う（ステップＳ５）。同期動画生成は、スイング画像同期が完了した静止画像データを合成して一つの動画像データを生成する処理である。ＣＰＵ１１は、複数の被写体（例えば、α及びβ）のゴルフスイングを撮像した静止画像データを表示内容に含む複数の合成静止画像データを連続するフレームとした一つの動画像データを生成する。ここで、同期動画生成によって得られた一つの動画像データは、ディスクライタ７によりＤＶＤビデオディスクのデータとしてＤＶＤメディアに記録することができる。
また、画像処理装置１０は、同期動画生成により生成された動画像データを再生する処理である同期動画再生を行う（ステップＳ６）。
【００４４】
次に、スイング画像同期の詳細について説明する。
スイング画像同期において、ＣＰＵ１１は、まず、α、βの各々の複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループ（例えば、第１パート、第２パート、第３パート等）に分ける。
具体的には、ＣＰＵ１１は、ゴルフスイングの各種のタイミングに基づいて、スイング開始からスイング終了までの複数の静止画像データを複数のグループに分割し、分割された各々のパートに含まれる静止画像データの数を特定する。
ここで、ＣＰＵ１１は、「スイング開始」のタイミングから「トップ」のタイミングまでの静止画像データのグループを、ゴルフクラブＷのスイングの開始からスイングのトップまでの第１パートとする。また、ＣＰＵ１１は、「トップ」のタイミングから「インパクト」のタイミングまでの静止画像データのグループを、スイングのトップからボールへのインパクトまでの第２パートとする。また、ＣＰＵ１１は、「インパクト」のタイミングから「スイング終了」のタイミングまでの静止画像データのグループを、ボールへのインパクトからスイングの終了までの第３パートとする。ＣＰＵ１１は、二人のゴルフスイングの静止画像データの各々について、基準位置情報テーブルに設定されたファイル名の番号に基づいて、第１〜第３パートに含まれる静止画像データの数を特定する。
【００４５】
以下、αのゴルフスイングの静止画像データのうち、第１パートに含まれる静止画像データの数をＡ１Ｎとし、第２パートに含まれる静止画像データの数をＢ１Ｎとし、第３パートに含まれる静止画像データの数をＣ１Ｎとする。また、βのゴルフスイングの静止画像データのうち、第１パートに含まれる静止画像データの数をＡ２Ｎとし、第２パートに含まれる静止画像データの数をＢ２Ｎとし、第３パートに含まれる静止画像データの数をＣ２Ｎとする。
【００４６】
図８は、図６に示す複数の被写体の基準位置情報テーブルに対応した第１〜第３パートの静止画像データの数の一例を示す図である。
図８に示す例の場合、Ａ２ＮはＡ１Ｎより大きく、Ｂ２ＮはＢ１Ｎより大きく、Ｃ２ＮはＣ１Ｎより大きい。以下の説明では、これらの大小関係に基づいて説明するが、一例であって、これに限られるものではない。例えば、パートの一部又は全部について、αの静止画像データの数の方がβの静止画像データの数よりも多くてもよい。
【００４７】
各々のパートに含まれる静止画像データの数の特定後、ＣＰＵ１１は、グループ単位（パート単位）で、複数の被写体（α、β）の静止画像データどうしを同期させる。具体的には、ＣＰＵ１１は、例えば、カメラ２、３、４により撮像された二人のゴルフスイングの動画像データから生成された複数の静止画像データを、第１パート、第２パート、第３パートのパート単位で同期させる。
【００４８】
パート単位で複数の静止画像データを同期させるにあたり、ＣＰＵ１１は、二人の各々を撮像した動画像データから生成された複数の静止画像データの数を、パート単位で比較する。
ここで、静止画像データの数が同一である場合、ＣＰＵ１１は、パートの冒頭の番号から末尾の番号まで、一対一の対応関係で二人の静止画像データを同期させるための対応付けを行う。例えば、仮に、第１パートに含まれる静止画像データの数が、α、β共に１０［枚］であった場合、第１パートに含まれるαの１枚目の静止画像データとβの１枚目の静止画像データとを同期させ、αの２枚目の静止画像データとβの２枚目の静止画像データとを同期させ…、のように、冒頭（１枚目）から末尾（１０枚目）までを一対一の対応関係で同期させる。
【００４９】
一方、ＣＰＵ１１は、グループ単位（パート単位）で複数の被写体（α、β）の各々の静止画像データの数に差がある場合、グループ単位で複数の被写体の各々の静止画像データの数を同一とするよう、複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データに追加の静止画像データを加える補完処理を行う。
例えば、ＣＰＵ１１は、第１のパートにおける二人の静止画像データの数であるＡ１Ｎ、Ａ２Ｎについて、Ａ２ＮがＡ１Ｎより大きく、静止画像データの数に差があることから、静止画像データの数を同一とするよう、数が少ないＡ１Ｎに対応するαの第１パートに追加の静止画像データを加える。
【００５０】
ＣＰＵ１１は、パートの冒頭又は末尾あるいはパートの冒頭から末尾にかけて振り分けるように追加の静止画像データを加える。以下、順次説明する。
【００５１】
図９は、パートの冒頭に追加の静止画像データを加える場合の一例を模式的に示す図である。図９〜図１１では、数が少ない方のαの静止画像データの数が「３」、数が多い方のβの静止画像データの数が「１０」、静止画像データの数の差が「７」である場合について模式的に示している。また、追加された静止画像データにマスキングを施して示している。
パートの冒頭に追加の静止画像データを加える場合、ＣＰＵ１１は、複数の静止画像データの数の差に応じた数の追加の静止画像データを、パート単位で分割された複数の静止画像データのうち数が少ない複数の静止画像データのパートの冒頭に加える。
具体的には、ＣＰＵ１１は、数が少ないＡ１Ｎに対応するαの第１パートの冒頭の静止画を、静止画像データの数の差に応じて複製する。そして、ＣＰＵ１１は、複製された静止画像データを、数が多いＡ２Ｎに対応するβの第１パートの冒頭部分の複数の静止画像データと同期させる。これにより、例えば、図９に示すように、静止画像データの数の差（「７」）に応じたβの冒頭部分の複数の静止画像データ（β１〜β７）は、複製されたαの冒頭の静止画像データ（α１）と同期するよう対応付けられる。
また、ＣＰＵ１１は、静止画像データの数の差に応じたパートの冒頭部分に引き続く番号を有するファイル名の静止画像データを、一対一の対応関係で同期させる。これにより、例えば、図９に示すように、βの複数の静止画像データ（β８〜β１０）と、αの複数の静止画像データ（α１〜α３）とが同期するよう対応付けられる。
【００５２】
より具体的には、ＣＰＵ１１は、数の多い方の静止画像データの数（例えば、Ａ２Ｎの値）を基準として、冒頭から数えた数（静止画像のコマ数）が、数が多い方の静止画像データの数から数が少ない方の静止画像データの数を減じた値（例えば、Ａ２Ｎ−Ａ１Ｎの値）以下の静止画像データについて、その次に同期させる静止画像の番号のうち、数が少ない方の静止画像の番号を据え置き、数が多い方の静止画像の番号を順次進める。そして、ＣＰＵ１１は、数の多い方の静止画像データを基準として、冒頭から数えた数が、数が多い方の静止画像データの数から数が少ない方の静止画像データの数を減じた値に１を加えた値（例えば、Ａ２Ｎ−Ａ１Ｎ＋１の値）以上であって、数が多い方の静止画像データの数から１を減じた値（例えば、Ａ２Ｎ−１の値）以下の静止画像データについて、その次に同期させる静止画像の番号を、数が少ない方及び数が多い方の静止画像データの双方とも順次進める。
【００５３】
図１０は、パートの末尾に追加の静止画像データを加える場合の一例を模式的に示す図である。
パートの末尾に追加の静止画像データを加える場合、ＣＰＵ１１は、複数の静止画像データの数の差に応じた数の追加の静止画像データを、パート単位で分割された複数の静止画像データのうち数が少ない複数の静止画像データのパートの末尾に加える。
具体的には、ＣＰＵ１１は、静止画像データの数の差に応じたパートの冒頭部分から、数が少ない方の静止画像データの末尾の静止画像データまでの複数の静止画像データを、一対一の対応関係で同期させる。これにより、例えば、図１０に示すように、βの複数の静止画像データ（β１〜β３）と、αの複数の静止画像データ（α１〜α３）とが同期するよう対応付けられる。
また、ＣＰＵ１１は、数が少ないＡ１Ｎに対応するαの第１パートの末尾の静止画を、静止画像データの数の差に応じて複製する。そして、ＣＰＵ１１は、複製された静止画像データを、数が多いＡ２Ｎに対応するβの第１パートの末尾部分の複数の静止画像データと同期させる。これにより、例えば、図１０に示すように、静止画像データの数の差（「７」）に応じたβの末尾部分の複数の静止画像データ（β４〜β１０）は、複製されたαの末尾の静止画像データ（α３）と同期するよう対応付けられる。
【００５４】
より具体的には、ＣＰＵ１１は、数の多い方の静止画像データの数（例えば、Ａ２Ｎの値）を基準として、冒頭から数えた数（静止画像のコマ数）が、数が少ない方の画像の数（例えば、Ａ１Ｎの値）未満の静止画像データについて、その次に同期させる静止画像の番号を、数が少ない方及び数が多い方の静止画像データの双方とも順次進める。そして、ＣＰＵ１１は、数の多い方の静止画像データを基準として、冒頭から数えた数が、数が少ない方の画像の数（例えば、Ａ１Ｎの値）以上であって、数が多い方の静止画像データの数から１を減じた値（例えば、Ａ２Ｎ−１の値）以下の静止画像データについて、その次に同期させる静止画像の番号のうち、数が少ない方の静止画像の番号を据え置き、数が多い方の静止画像の番号を順次進める。
【００５５】
図１１は、パートの冒頭から末尾にかけて追加の静止画像データを振り分けて加える場合の一例を模式的に示す図である。図１２は、パートの冒頭から末尾にかけて追加の静止画像データを振り分けて加える場合の処理の流れをスクリプトで示した場合の一例を示す図である。
まず、ＣＰＵ１１は、数が少ない方の冒頭の静止画像データと、数が多い方の棒等の静止画像データとを一対一の対応関係で同期させる。これにより、例えば、図１１に示すように、βの冒頭の静止画像データ（β１）と、αの冒頭の静止画像データ（α１）とが同期するよう対応付けられる。
【００５６】
また、ＣＰＵ１１は、数が多い方を基準として、同期処理が完了された静止画像データの枚数のカウントを行う。カウントされた数値は、ＣＰＵ１１により設定された所定の変数（例えば、「ｋ」）に格納され、管理される。
【００５７】
次に、数が多い方の冒頭から２枚目の静止画像データと同期させる画像を決定するにあたり、ＣＰＵ１１は、所定の変数（例えば、「ｊ」）を初期値１で設定し、以下の式（３）に基づいて別の変数（例えば、「Ｓｊ」）の値を算出する。
Ｓｊ＝ｊ×（Ａ２Ｎ／Ａ１Ｎ）…（３）
【００５８】
そして、ＣＰＵ１１は、ｋの値が、Ｓｊの値の小数点を切り上げた値と等しいか比較する。
ここで、ｋの値が、Ｓｊの値の小数点を切り上げた値と等しい場合、ＣＰＵ１１は、同期させる数の少ない方の静止画像データ及び数の多い方の静止画像データを、共に、直前に同期された静止画像データの次の番号を有するファイル名の静止画像データとする。そして、ＣＰＵ１１は、ｊの値に１を加え、再度、上記の式（３）に基づいてＳｊの値を算出する。
一方、ｋの値がＳｊの値の小数点を切り上げた値と等しくない場合、ＣＰＵ１１は、同期させる静止画像データのうち、数の少ない方の静止画像データを、直前に同期された静止画像データと同一の番号を有するファイル名の静止画像データとし、数の多い方の静止画像データを、直前に同期された静止画像データの次の番号を有するファイル名の静止画像データとする。つまり、この場合、ＣＰＵ１１は、数の多い方の静止画像の番号だけを進ませて、数の少ない方の静止画像の番号を据え置いて、静止画像データを同期させる。
【００５９】
ＣＰＵ１１は、同期させる静止画像データを冒頭から順次決定すると共に、ｋの値をカウントアップし、上記の処理を繰り返す。
また、ｋの値がＡ２Ｎから１を減じた値（例えば、Ａ２Ｎ−１の値）と等しい場合、ＣＰＵ１１は、上記の処理より優先して、同期させる数の少ない方の静止画像データ及び数の多い方の静止画像データを、共に、パートにおける各々の末尾の静止画像データとする。そして、ＣＰＵ１１は、パートの末尾の静止画像データの同期を完了させることにより、当該パートのスイング画像同期を終了する。
【００６０】
例えば、冒頭から２枚目の静止画像データの同期の場合、ｋ＝１である。また、図１１に示す例になぞらえて、Ａ２Ｎ＝１０、Ａ１Ｎ＝３とした場合、ｊ＝１の場合のＳｊの値は１０／３であり、小数点を切り上げたＳｊの値は４となる。この場合、ｋの値が、Ｓｊの値の小数点を切り上げた値と同一でないので、ＣＰＵ１１は、数の多い方の静止画像データの番号だけを進ませて、数の少ない方の静止画像の番号を据え置いて、静止画像データを同期させる。よって、図１１に示すように、β２とα１とが同期するよう対応付けられる。同様の処理が、ｋが４未満の間繰り返され、β３、β４も、α１と同期するよう対応付けられる。この場合、β２〜β４との同期のために、α１の静止画像データが追加される。
【００６１】
一方、冒頭から５枚目の静止画像データの同期の場合、ｋ＝４である。この場合、ｋの値が、Ｓｊの値の小数点を切り上げた値と同一となる。この場合、ＣＰＵ１１は、同期させる数の少ない方の静止画像データ及び数の多い方の静止画像データを、共に、直前に同期された静止画像データの次の番号を有するファイル名の静止画像データとする。よって、図１１に示すように、β４の次のβ５と、α１の次のα２とが同期するよう対応付けられる。
【００６２】
以降、同様に、β６、β７との同期のために、α２の静止画像データが追加される。また、β９、β１０との同期のために、α３の静止画像データが追加される。
【００６３】
図９〜図１１では、ボール静止画像を同期させる場合の例について示しているが、スイング画像同期において、ＣＰＵ１１は、二人のゴルフスイングの正面静止画像、後方静止画像及びボール静止画像を一括して、パート単位で同期させる。
なお、静止画像データの同期において、進める静止画像の番号の大きさは、静止画像データの基となった動画像データのｆｐｓに基づく。例えば、本実施形態の正面静止画像と後方静止画像の基となったカメラ２、３のｆｐｓ（300[fps]）は同一であるので、一方の静止画像の番号が１進むことに応じて、他方の静止画像の番号も１進む。一方、ボール静止画像の基となったカメラ４のｆｐｓ（1200[fps]）は、正面静止画像及び後方静止画像の４倍であるので、正面静止画像及び後方静止画像の番号が１進むことに応じて、ボール静止画像の番号は４進む。言い換えれば、正面静止画像の番号が１進むことに応じて、後方静止画像の番号は、（１×ＢＫｆｐｓ／ＦＲｆｐｓ）進み、ボール静止画像の番号は、（１×ＢＬｆｐｓ／ＦＲｆｐｓ）進むこととなる。
【００６４】
また、上記の説明は、第１パートに含まれる複数の被写体としての二人（α及びβ）の静止画像データの数（Ａ１Ｎ、Ａ２Ｎ）に基づいて行っているが、第２パートの静止画像データの数であるＢ１Ｎ、Ｂ２Ｎ及び第３パートの静止画像データの数であるＣ１Ｎ、Ｃ２Ｎについても、Ａ１Ｎ、Ａ２Ｎの場合と同様である。
【００６５】
また、画像処理装置１０は、追加された静止画像データに応じた表示内容と共に表示させる文字列を設定することができる。
具体的には、画像処理装置１０は、スイング画像同期により追加された静止画像データと共に表示させるコメントを設定する機能を有する。コメントの追加は、入力装置１５を介して行われる。本実施形態では、パートの冒頭又は末尾に追加の静止画像データを加える場合、ユーザは、例えば、図７に示すように、追加された静止画像データと共に表示されるコメントを設定することができる。本実施形態では、設定されたコメントは、冒頭又は末尾に連続して追加された静止画像データを含む全ての合成後の静止画像データに設定されるが、合成後の静止画像データの一部のみに設定するようにしてもよいし、合成後の静止画像データに個別のコメントを設定可能としてもよい。
コメントを設定することにより、同期された複数の静止画像データ（例えば、二人のゴルフスイング等）についての比較に関する情報を付加することができる等、画像の同期に関する情報を付加することができる。
【００６６】
本実施形態の画像処理装置１０は、補完処理において追加の静止画像データを加える位置を任意に選択、設定することができる機能を有する。具体的には、画像処理装置１０は、追加の静止画像データを加える場合、パートの冒頭に追加の静止画像データを加えるか、パートの末尾に追加の静止画像データを加えるか、追加の静止画像データをパートの冒頭から末尾にかけて振り分けるか、のいずれかとする設定を予め記憶装置１４に記憶させている。ユーザにより、入力装置１５等を介して追加の静止画像データを加える処理に関する設定が行われると、画像処理装置１０は、設定の内容に応じて追加の画像を加える設定を更新、記憶する。また、本実施形態の画像処理装置１０は、追加の静止画像データを加える位置の選択を、パート単位で個別に行うことができる。
【００６７】
次に、パート単位のスイング画像同期の処理の流れを、図１３及至図１７のフローチャートを参照して説明する。図１３及至図１７では、スイング画像同期の処理の一例として、第１のパートの静止画像データの数（Ａ１Ｎ、Ａ２Ｎ）を用いて説明するが、第２パート（Ｂ１Ｎ、Ｂ２Ｎ）、第３パート（Ｃ１Ｎ、Ｃ２Ｎ）も同様である。
【００６８】
画像処理装置１０のＣＰＵ１１は、まず、基準位置情報テーブルを読み出し（ステップＳ１１）、二人のゴルフスイングを撮像した動画像データの各々から生成された複数の正面静止画像、後方静止画像及びボール静止画像の第１パートの冒頭の番号及び末尾の番号並びに第１パートに含まれる静止画像データの数（Ａ１Ｎ、Ａ２Ｎ）を取得する。
【００６９】
次に、ＣＰＵ１１は、二人のゴルフスイングの静止画像データのうち、第１パートの冒頭の番号を有する正面静止画像、後方静止画像及びボール静止画像を読み出し（ステップＳ１２〜Ｓ１４）、読み出された各々の静止画像データを合成して１枚の合成静止画像データ（図７参照）を生成し（ステップＳ１５）、記憶装置１４に保存する（ステップＳ１６）。
【００７０】
次に、ＣＰＵ１１は、第１パートのうち、数の多い方の静止画像データの末尾の番号を有する各々の静止画像データを合成した合成静止画像データの生成を完了したか否か判定する（ステップＳ１７）。
ここで、第１パートの末尾の番号を有する各々の静止画像データを合成した合成静止画像データの生成を完了していないと判定された場合（ステップＳ１７：ＮＯ）、ＣＰＵ１１は、追加の静止画像データを加える位置の設定に応じた補完処理を行う。
【００７１】
具体的には、ＣＰＵ１１は、まず、第１パートについて、パートの冒頭に追加の静止画像データを加える設定がなされているか否かを判定する（ステップＳ１８）。ここで、第１パートの冒頭に追加の静止画像データを加える設定がなされていると判定された場合（ステップＳ１８：ＹＥＳ）、ＣＰＵ１１は、複数の静止画像データの数の差（Ａ２Ｎ−Ａ１Ｎ）に応じた数の追加の静止画像データを、パート単位で分割された複数の静止画像データのうち数が少ない複数の静止画像データ（αの静止画像データ）のパートの冒頭に加えるための処理（冒頭追加処理）を行う（ステップＳ１９）。
【００７２】
ここで、冒頭追加処理について、図１４のフローチャートを参照して説明する。
ＣＰＵ１１は、処理対象の静止画像データについて、Ａ２Ｎを基準として第１パートの冒頭から数えた数（静止画像のコマ数）が、Ａ２Ｎ−Ａ１Ｎの値以下であるか否か判定する（ステップＳ３１）。ここで、Ａ２Ｎ−Ａ１Ｎの値以下であると判定された場合（ステップＳ３１：ＹＥＳ）、ＣＰＵ１１は、αの静止画像の番号を据え置き、βの静止画像の番号を順次進める番号の変更処理を行う。具体的には、βの正面静止画像及び後方静止画像の番号に１を加算し（ステップＳ３２、ステップＳ３３）、βのボール静止画像の番号に４を加算する（ステップＳ３４）。また、ＣＰＵ１１は、入力装置１５を介して入力されたコメントを読み出す（ステップＳ３５）。
【００７３】
一方、ステップＳ３１にて、Ａ２Ｎ−Ａ１Ｎの値以下でないと判定された場合（ステップＳ３１：ＮＯ）、ＣＰＵ１１は、α及びβの静止画像の番号を順次進める番号の変更処理を行う。具体的には、α及びβの正面静止画像及び後方静止画像の番号に１を加算し（ステップＳ３６、ステップＳ３７）、α及びβのボール静止画像の番号に４を加算する（ステップＳ３８）。
【００７４】
そして、ＣＰＵ１１は、ステップＳ３４又はステップＳ３７の処理後の番号を有する正面静止画像、後方静止画像及びボール静止画像を読み出し（ステップＳ３９）、冒頭追加処理を終了する。
冒頭追加処理の終了後、ＣＰＵ１１は、処理をステップＳ１５へ移行させる。コメントの読み出しが行われている場合、ＣＰＵ１１は、合成静止画像データにコメントをあわせて合成する。
【００７５】
また、ステップＳ１８にて、第１パートの冒頭に追加の静止画像データを加える設定がなされていないと判定された場合（ステップＳ１８：ＮＯ）、ＣＰＵ１１は、第１パートについて、パートの末尾に追加の静止画像データを加える設定がなされているか否かを判定する（ステップＳ２０）。ここで、第１パートの末尾に追加の静止画像データを加える設定がなされていると判定された場合（ステップＳ２０：ＹＥＳ）、ＣＰＵ１１は、複数の静止画像データの数の差（Ａ２Ｎ−Ａ１Ｎ）に応じた数の追加の静止画像データを、パート単位で分割された複数の静止画像データのうち数が少ない複数の静止画像データ（αの静止画像データ）のパートの末尾に加えるための処理（末尾追加処理）を行う（ステップＳ２１）。
【００７６】
ここで、末尾追加処理について、図１５のフローチャートを参照して説明する。
ＣＰＵ１１は、処理対象の静止画像データについて、Ａ２Ｎを基準として第１パートの冒頭から数えた数（静止画像のコマ数）が、Ａ１Ｎの値未満であるか否か判定する（ステップＳ４１）。ここで、Ａ１Ｎの値未満であると判定された場合（ステップＳ４１：ＹＥＳ）、ＣＰＵ１１は、α及びβの静止画像の番号を順次進める番号の変更処理を行う。具体的には、α及びβの正面静止画像及び後方静止画像の番号に１を加算し（ステップＳ４２、ステップＳ４３）、α及びβのボール静止画像の番号に４を加算する（ステップＳ４４）。
【００７７】
一方、ステップＳ４１にて、Ａ１Ｎの値以下でないと判定された場合（ステップＳ４１：ＮＯ）、ＣＰＵ１１は、αの静止画像の番号を据え置き、βの静止画像の番号を順次進める番号の変更処理を行う。具体的には、βの正面静止画像及び後方静止画像の番号に１を加算し（ステップＳ４５、ステップＳ４６）、βのボール静止画像の番号に４を加算する（ステップＳ４７）。また、ＣＰＵ１１は、入力装置１５を介して入力されたコメントを読み出す（ステップＳ４８）。
【００７８】
そして、ＣＰＵ１１は、ステップＳ４４又はステップＳ４８の処理後の番号を有する正面静止画像、後方静止画像及びボール静止画像を読み出し（ステップＳ４９）、末尾追加処理を終了する。
末尾追加処理の終了後、ＣＰＵ１１は、処理をステップＳ１５へ移行させる。コメントの読み出しが行われている場合、ＣＰＵ１１は、合成された合成静止画像データにコメントをあわせて合成する。
【００７９】
また、ステップＳ２０にて、第１パートの冒頭に末尾の静止画像データを加える設定がなされていないと判定された場合（ステップＳ２０：ＮＯ）、ＣＰＵ１１は、複数の静止画像データの数の差（Ａ２Ｎ−Ａ１Ｎ）に応じた数の追加の静止画像データを、パート単位で分割された複数の静止画像データのうち数が少ない複数の静止画像データ（αの静止画像データ）のパートの冒頭から末尾にかけて追加の静止画像データを振り分けて加えるための処理（均等振分処理）を行う（ステップＳ２２）。
【００８０】
ここで、均等振分処理について、図１６及び図１７のフローチャートを参照して説明する。
まず、ＣＰＵ１１は、Ａ２Ｎを基準として、処理対象の静止画像の番号が冒頭から２枚目の静止画像の番号であるか否か判定する（ステップＳ５１）。ここで、処理対象の静止画像の番号が冒頭から２枚目の静止画像の番号であると判定された場合（ステップＳ５１：ＹＥＳ）、ＣＰＵ１１は、変数ｋを設定し、ｋの値を１とする（ステップＳ５２）。
また、ＣＰＵ１１は、変数ｊを設定し、ｊの値を１とする（ステップＳ５３）。そして、ＣＰＵ１１は、上記の式（３）に基づいてＳｊの値を算出する（ステップＳ５４）。
【００８１】
そして、ＣＰＵ１１は、Ａ２Ｎを基準として、処理対象の静止画像の番号が末尾の静止画像の番号であるか否か判定する。即ち、ＣＰＵ１１は、ｋの値がＡ２Ｎから１を減じた値（Ａ２Ｎ−１）と等しいか否か判定する（ステップＳ５５）。ここで、ｋの値がＡ２Ｎ−１と等しいと判定された場合（ステップＳ５５：ＹＥＳ）、ＣＰＵ１１は、α及びβの正面静止画像、後方静止画像及びボール静止画像の番号を、第１パートにおける各々の末尾の番号とする（ステップＳ５６〜Ｓ５８）。
【００８２】
一方、ステップＳ５５にて、ｋの値がＡ２Ｎ−１と等しくないと判定された場合（ステップＳ５５：ＮＯ）、ＣＰＵ１１は、ｋの値が、Ｓｊの値の小数点を切り上げた値と等しいか否か判定する（ステップＳ５９）。ここで、ｋの値が、Ｓｊの値の小数点を切り上げた値と等しいと判定された場合（ステップＳ５９：ＹＥＳ）、ＣＰＵ１１は、α及びβの静止画像の番号を順次進める番号の変更処理を行う。具体的には、α及びβの正面静止画像及び後方静止画像の番号に１を加算し（ステップＳ６０、ステップＳ６１）、α及びβのボール静止画像の番号に４を加算する（ステップＳ６２）。さらに、ＣＰＵ１１は、ｊの値に１を加え（ステップＳ６３）、上記の式（３）に基づいてＳｊの値を再度算出する（ステップＳ６４）。
【００８３】
一方、ステップＳ５７にてｋの値がＳｊの値の小数点を切り上げた値と等しくないと判定された場合（ステップＳ５９：ＮＯ）、ＣＰＵ１１は、αの静止画像の番号を据え置き、βの静止画像の番号を順次進める番号の変更処理を行う。具体的には、βの正面静止画像及び後方静止画像の番号に１を加算し（ステップＳ６５、ステップＳ６６）、βのボール静止画像の番号に４を加算する（ステップＳ６７）。
【００８４】
また、ＣＰＵ１１は、ステップＳ６４又はステップＳ６７の処理後、ｋの値に１を加える（ステップＳ６８）。そして、ＣＰＵ１１は、ステップＳ５８又はステップＳ６８の処理後の番号を有する正面静止画像、後方静止画像及びボール静止画像を読み出し（ステップＳ６９）、均等振分処理を終了する。
均等振分処理の終了後、ＣＰＵ１１は、処理をステップＳ１５へ移行させる。
【００８５】
また、ステップＳ１７にて、第１パートの末尾の番号を有する各々の静止画像データを合成した合成静止画像データの生成を完了したと判定された場合（ステップＳ１７：ＹＥＳ）、ＣＰＵ１１は、１回分のパート単位のスイング画像同期を終了する。
スイング画像同期において、ＣＰＵ１１は、全てのパートに対してパート単位のスイング画像同期を行う。全てのパートに対してのパート単位のスイング画像同期が終了すると、ＣＰＵ１１は、画像処理装置１０は同期動画生成以降の処理を行う。
【００８６】
以上のように、本実施形態のゴルフスイング解析システム１によれば、画像処理装置１０が、複数の被写体（例えば、α、β等）の各々を撮像した複数の動画像データの各々から生成された複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループに分け、グループ単位で、複数の被写体の静止画像データどうしを同期させるので、グループ単位で区切られた複数のタイミングを基準として、複数の被写体の各々を撮像した複数の動画像データから生成された複数の静止画像データどうしを同期させることができ、複数の被写体の各々を撮像した複数の動画像データに基づく画像の同期の精度をより高めることができる。
【００８７】
また、画像処理装置１０が、グループ単位で複数の被写体の各々の静止画像データの数に差がある場合、グループ単位で複数の被写体の各々の静止画像データの数を同一とするよう、複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データに追加の静止画像データを加えるので、同期させる複数の静止画像データの基となる、複数の被写体の各々の複数の動画像データの各々のフレーム数や撮像時刻等が異なる場合であっても、数が少ない複数の静止画像データに追加の静止画像データを加えることで、複数の動画像データの各々のフレーム数や撮像時刻等の違いを埋め合わせることができる。即ち、複数の被写体の各々の複数の動画像データの各々のフレーム数や撮像時刻等が異なる場合であっても、これらの複数の動画像データに基づく画像の同期をより高い精度で行うことができる。
【００８８】
また、画像処理装置１０が、グループ単位の複数の被写体の各々の静止画像データの数の差に応じた数の追加の静止画像データを、複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データのグループの冒頭に加えるので、複数の動画像データに基づく画像を同期させた後の表示内容は、相対的に再生時間が長い動画像データ（例えば、相対的にフレーム数が多い動画像データや、相対的に撮像時刻が長い動画像データ等）の画像が先に表示内容を変じ、追加の静止画像データの数に対応するフレーム数や撮像時刻の経過後に、相対的に再生時間が短い動画像データ（例えば、相対的にフレーム数が少ない動画像データや、相対的に撮像時刻が短い動画像データ等）の画像の表示内容の変化も伴う表示内容となり、再生の開始タイミングの違いにより同期された複数の静止画像データの基となった複数の動画像データの再生時間の違いを明確に確認することができる。
【００８９】
また、画像処理装置１０が、グループ単位の複数の被写体の各々の静止画像データの数の差に応じた数の追加の静止画像データを、複数の被写体の各々の複数の静止画像データのグループの末尾に加えるので、複数の動画像データに基づく画像を同期させた後の表示内容は、相対的に再生時間が短い動画像データ（例えば、相対的にフレーム数が少ない動画像データや、相対的に撮像時刻が短い動画像データ等）の画像が先に終了し、相対的に再生時間が長い動画像データ（例えば、相対的にフレーム数が多い動画像データや、相対的に撮像時刻が長い動画像データ等）の画像の再生の終了を待つ表示内容となり、再生の終了タイミングの違いにより同期された複数の静止画像データの基となった複数の動画像データの再生時間の違いを明確に確認することができる。
【００９０】
また、画像処理装置１０が、グループ単位の複数の被写体の各々の静止画像データの数の差に応じた数の追加の静止画像データを、複数の被写体の各々の複数の静止画像データのグループの冒頭から末尾にかけて振り分けて加えるので、同期させる複数の静止画像データの基となる複数の動画像データの各々のフレーム数や撮像時刻等が異なる場合であっても、フレーム数や撮像時刻等の差をパートの開始から終了までにかけて分散させることができ、フレーム数や撮像時刻等の差による同期のずれをパートの冒頭又は末尾に集積させることがなくなり、同期のずれを視覚的に軽減することができる。即ち、同期させる複数の静止画像データの基となる複数の動画像データの各々のフレーム数や撮像時刻等が異なる場合であっても、複数の動画像データに基づく画像の同期をより高い精度で行うことができる。
【００９１】
また、画像処理装置１０が、追加の静止画像データに応じた表示内容と共に表示させる文字列（例えば、コメント等）を設定するので、文字列の内容に応じた情報を同期された画像と共に示すことができる。
【００９２】
また、同期の単位となるグループが、ゴルフクラブＷのスイングの開始からスイングのトップまでの第１パートと、スイングのトップからボールへのインパクトまでの第２パートと、ボールへのインパクトからスイングの終了までの第３パートであるので、第１パートから第３パートの３つのパートに分けられた各々のパート単位で、ゴルフにおいてボールを打つ動作の開始から終了を撮像した複数の動画像データに基づく画像どうしを同期させることができ、ゴルフスイングを撮像した動画像データに基づく画像の同期の精度をより高めることができる。
【００９３】
また、画像処理装置１０が、同期された同一タイミングの複数の被写体の各々の静止画像データどうしを合成して複数の合成静止画像データを生成し、さらに、複数の合成静止画像データに基づいて動画像データを生成するので、生成された動画像データは、複数の動画像データから生成された複数の静止画像データどうしがグループ単位で同期された動画像データとなり、当該動画像データにより、同期された複数の動画像データに基づく画像を容易に確認することができる。即ち、複数の動画像データに基づく複数の静止画像データどうしの同期処理の結果の確認をより容易に行うことができる。
【００９４】
また、同期動画再生を行うことにより、グループ単位で同期された二人のゴルフスイングの開始から終了までの一連の二人の動作（例えば、姿勢変化等）を比較しながら確認することができる。
【００９５】
なお、本発明は、上記の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記の実施形態では、ＨＵＢ５を介して複数のカメラ２、３、４と画像処理装置１０とが接続されているが、接続形態の一例であり、これに限られるものではない。他の接続形態として、例えば、複数のカメラの各々に動画像データの記録のための端末を設け、画像処理装置と各々の端末をと接続するようにしてもよい。また、被写体を撮像するカメラは３台に限らず、１台でも２台以上でもよい。
また、カメラと画像処理装置とは必ずしも接続されていなくともよい。例えば、画像処理装置は、カメラにより撮像された動画像データが記憶された所定の記憶装置や記憶媒体から動画像データを取得するようにしてもよい。
【００９６】
また、上記の実施形態において同期される複数の被写体を撮像した静止画像データの基となる複数の動画像データ（二人のゴルフスイングの正面静止画像、後方静止画像及びボール静止画像）は一例であり、これに限られるものではない。例えば、３以上の複数の被写体による動作をそれぞれ撮像した複数の動画像データの各々から複数の静止画像データを生成して、これらの静止画像データの一部又は全部をグループ単位で区切り、同期させるようにしてもよい。また、本発明は、ゴルフスイングを撮像した動画像データに基づく静止画像データの同期においても、正面静止画像、後方静止画像、ボール静止画像に限らず、任意の角度からゴルフスイングを行っている被写体やボール、ゴルフクラブＷ等を撮像した動画像データに基づく静止画像データを同期させることができる。
【００９７】
また、同期の単位となるグループは、上記の実施形態における第１パート、第２パート及び第３パートに限らない。本発明は、グループの区切り目を任意に設定することができる。
【００９８】
また、一の被写体の動作を同時に撮像した複数の動画像データに基づく静止画像データどうしの同期と、異なる被写体の動作間での同期と、の順番は問わない。例えば、上記の実施形態では、αの正面静止画像、後方静止画像及びボール静止画像を同期させ、βの正面静止画像、後方静止画像及びボール静止画像を同期させた後に、αとβの静止画像データどうしを同期させているが、αとβのいずれかの静止画像データを同期させた後、αとβのそれぞれで正面静止画像、後方静止画像及びボール静止画像を同期させるようにしてもよい。
【００９９】
また、上記の実施形態では、スイング対象抽出において、正面静止画像に対して手動でスイングの開始から終了までの各種のタイミングを設定し、後方静止画像及びボール静止画像を式（１）、（２）に基づいて同期させているが、一例であって、これに限られるものではない。例えば、図１８に示すような、正面静止画像と後方静止画像とボール静止画像とを手動で同期させるための画面に対するユーザの操作内容に応じて、同期させる正面静止画像、後方静止画像及びボール静止画像の番号の対応関係を決定するようにしてもよい。
【０１００】
また、本実施形態では、同期動画生成において第1パートから第３パートまでの全てのパートを含む一の動画像データを生成するが、パート単位での動画像データを生成するようにしてもよい。
【０１０１】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮像装置により複数の被写体の各々を撮像した複数の画像データを同期させる画像処理装置であって、前記撮像装置により前記複数の被写体の各々を撮像した複数の動画像データの各々から複数の静止画像データを生成する生成手段と、この生成手段により生成された前記複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループに分ける分割手段と、この分割手段により分けられたグループ単位で、前記複数の被写体の静止画像データどうしを同期させる同期手段と、を備えることを特徴とする画像処理装置。
＜請求項２＞
前記グループ単位で前記複数の被写体の各々の静止画像データの数に差がある場合、前記グループ単位で前記複数の被写体の各々の静止画像データの数を同一とするよう、前記複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データに追加の静止画像データを加える追加手段を備えることを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記追加手段は、前記グループ単位の前記複数の被写体の各々の静止画像データの数の差に応じた数の追加の静止画像データを、前記複数の被写体の各々の複数の静止画像データのうち数が少ない複数の静止画像データのグループの冒頭に加えることを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記追加手段は、前記グループ単位の前記複数の被写体の各々の静止画像データの数の差に応じた数の追加の静止画像データを、前記複数の被写体の各々の複数の静止画像データのグループの末尾に加えることを特徴とする請求項２に記載の画像処理装置。
＜請求項５＞
前記追加手段は、前記グループ単位の前記複数の被写体の各々の静止画像データの数の差に応じた数の追加の静止画像データを、前記複数の被写体の各々の複数の静止画像データのグループの冒頭から末尾にかけて振り分けて加えることを特徴とする請求項２に記載の画像処理装置。
＜請求項６＞
前記追加手段により加えられた追加の静止画像データに応じた表示内容と共に表示させる文字列を設定する設定手段を備えることを特徴とする請求項３又は４に記載の画像処理装置。
＜請求項７＞
前記グループは、ゴルフクラブのスイングの開始からスイングのトップまでの第１パートと、前記スイングのトップからボールへのインパクトまでの第２パートと、前記ボールへのインパクトからスイングの終了までの第３パートであることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
＜請求項８＞
前記同期手段により同期された同一タイミングの前記複数の被写体の各々の静止画像データどうしを合成して複数の合成静止画像データを生成する合成手段と、前記複数の合成静止画像データに基づいて動画像データを生成する動画像生成手段と、を備えることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
＜請求項９＞
撮像装置により複数の被写体の各々を撮像した複数の画像データを同期させる画像処理装置のコンピュータを、前記撮像装置により前記複数の被写体の各々を撮像した複数の動画像データの各々から複数の静止画像データを生成する手段、生成された前記複数の静止画像データをそれぞれ時系列に沿って設けられた複数のグループに分ける手段、前記グループ単位で、前記複数の被写体の各々の静止画像データどうしを同期させる手段、として機能させることを特徴とするプログラム。
【符号の説明】
【０１０２】
１      ゴルフスイング解析システム
２，３，４  カメラ
１０    画像処理装置
１１    ＣＰＵ
１２    ＲＡＭ
１３    ＲＯＭ
１４    記憶装置
１５    入力装置
１６    表示装置
【図１】
0005821236.tif 000002
【図２】
0005821236.tif 000003
【図３】
0005821236.tif 000004
【図４】
0005821236.tif 000005
【図５】
0005821236.tif 000006
【図６】
0005821236.tif 000007
【図７】
0005821236.tif 000008
【図８】
0005821236.tif 000009
【図９】
0005821236.tif 000010
【図１０】
0005821236.tif 000011
【図１１】
0005821236.tif 000012
【図１２】
0005821236.tif 000013
【図１３】
0005821236.tif 000014
【図１４】
0005821236.tif 000015
【図１５】
0005821236.tif 000016
【図１６】
0005821236.tif 000017
【図１７】
0005821236.tif 000018
【図１８】
0005821236.tif 000019