(57)【要約】【課題】被写体の動作の挙動をより把握し易くできる画像を提供すること。【解決手段】撮像装置１においては、画像取得部７１と、マルチモーション画像生成部７２と、を備える。画像取得部７１は、被写体の一連の動作が撮像された複数の画像を取得する。マルチモーション画像生成部７２は、被写体の一連の動作を解析し、画像取得部７１により取得された少なくとも一つの画像と解析結果とに基づいて、解析結果を反映させた画像を生成する。【選択図】図２
2014064125.tif 000002
【特許請求の範囲】
【請求項１】
被写体の一連の動作が撮像された複数の画像を取得する取得手段と、
前記被写体の一連の動作を解析する解析手段と、
前記取得手段により取得された少なくとも一つの画像と前記解析手段による解析結果とに基づいて、前記解析結果を反映させた画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。
【請求項２】
前記生成手段は、前記取得手段により取得された複数の画像と前記解析手段による解析結果とに基づいて、前記解析結果を反映させた画像として、前記一連の動作の画像を合成するとともに前記解析結果を反映させた画像を生成する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記解析結果に対応する情報を複数記憶する記憶手段を更に備え、
前記生成手段は、前記解析結果を反映させた画像として、前記一連の動作の画像に前記記憶手段により記憶された情報を合成した画像を生成することを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
前記記憶手段は、前記一連の動作に関する速度又は加速度に関する情報を前記解析結果に対応する情報として記憶し、
前記生成手段は、前記解析結果を反映させた画像として、前記一連の動作の画像に前記記憶手段により記憶された速度又は加速度に関する情報を合成した画像を生成する
ことを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記生成手段により生成された画像を表示手段に表示させる表示制御手段を更に備えたことを特徴とする請求項１から４の何れか１項に記載の画像生成装置。
【請求項６】
画像生成装置が実行する画像生成方法であって、
被写体の一連の動作が撮像された複数の画像を取得する取得ステップと、
前記被写体の一連の動作を解析する解析ステップと、
前記取得ステップにより取得された少なくとも一つの画像と前記解析ステップによる解析結果とに基づいて、前記解析結果を反映させた画像を生成する生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項７】
コンピュータを、
被写体の一連の動作が撮像された複数の画像を取得する取得手段、
前記被写体の一連の動作を解析する解析手段、
前記取得手段により取得された少なくとも一つの画像と前記解析手段による解析結果とに基づいて、前記解析結果を反映させた画像を生成する生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の一連の動作を解析する画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来の技術として、ユーザによりスイングされたゴルフのクラブヘッド（以下、単に「クラブヘッド」という）の動きの一連の軌跡を静止画像に合成表示させる技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−９８４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献では、単にクラブヘッドの動きを表示するだけでは、被写体の動作の状況を把握しにくい虞がある。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、被写体の動作の状況をより把握し易くすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像生成装置は、
被写体の一連の動作が撮像された複数の画像を取得する取得手段と、
前記被写体の一連の動作を解析する解析手段と、
前記取得手段により取得された少なくとも一つの画像と前記解析手段による解析結果とに基づいて、前記解析結果を反映させた画像を生成する生成手段と、
を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、被写体の動作の状況をより把握し易くできる。
【図面の簡単な説明】
【０００８】
【図１】本発明における画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、マルチモーション表示処理を実行するための機能的構成を示す機能ブロック図である。
【図３】図２の撮像装置の出力部において表示出力されるマルチモーション表示を説明するための図である。
【図４】図２の機能構成を有する図１の撮像装置が実行するマルチモーション表示処理の流れの一例を示すフローチャートである。
【図５】マルチモーション表示処理のうち、マルチモーション画像生成処理の詳細な流れを示すフローチャートである。
【図６】マルチモーション表示処理のうち、オブジェクト画像生成処理の詳細な流れを示すフローチャートである。
【図７】図２の撮像装置の出力部において表示出力されるマルチモーション表示の他の表示例を示す図である。
【図８】図２の撮像装置の出力部において表示出力されるマルチモーション表示の他の表示例を示す図である。
【図９】第２実施形態におけるセンサの機能構成について説明する機能ブロック図である。
【図１０】図１の撮像装置及び図９のセンサが実行するセンサ計測処理の流れを示すフローチャートである。
【図１１】第２実施形態に係るオブジェクト画像生成処理の流れを示すフローチャートである。
【図１２】図２の撮像装置の出力部において表示出力されるマルチモーション表示の他の表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
＜第１実施形態＞
図１は、本発明における画像生成装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【００１１】
撮像装置１は、例えばデジタルカメラとして構成される。
【００１２】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１３】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１４】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１５】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００１６】
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１７】
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
【００１８】
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
【００１９】
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２０】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
【００２１】
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
【００２２】
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
【００２３】
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。
【００２４】
入力部１８は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
【００２５】
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
【００２６】
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
【００２７】
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２８】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２９】
図２は、図１の撮像装置１の機能的構成のうち、マルチモーション表示処理を実行するための機能的構成を示す機能ブロック図である。
【００３０】
マルチモーション表示処理とは、取得した動画像のデータにおける被写体の特定の動作を連続的に撮像した画像を重畳合成したマルチモーション画像のデータと、当該マルチモーション画像に含まれる被写体の速度を表すオブジェクト画像とを重畳的に表示するまでの一連の処理である。
本実施形態において、撮像装置１は、ゴルフのスイングを行っている対象を被写体として撮像する例について説明する。
なお、本実施形態において、撮像された被写体の動作を、一連の動作（以下、「全体動作」とも呼ぶ。）と、一連の動作を構成する部分的な動作（以下、「部分動作」と呼ぶ。）として特定する。即ち、ゴルフのスイングを撮像して合成画像を生成する本実施形態においては、全体動作がスイングの一連の動作であり、部分動作がスイングを構成する各動作（例えば、アドレス，バックスイング，トップ，ダウンスイング，インパクト，フォロースイング，フィニッシュ）である。
また、本実施形態において、マルチモーション画像は、全体動作ではなく、例えば、インパクトからフォローやインパクトからフィニッシュ等の部分動作について生成するものとする。
【００３１】
マルチモーション表示処理が実行される場合には、図２に示すように、ＣＰＵ１１において、撮像制御部５１と、出力制御部５２とが機能し、画像処理部１４において、画像取得部７１と、マルチモーション画像生成部７２と、オブジェクト画像生成部７３とが機能する。
ただし、図２は例示であり、ＣＰＵ１１の機能の少なくとも一部を画像処理部１４に委譲してもよいし、逆に、画像処理部１４の機能の少なくとも一部をＣＰＵ１１に委譲してもよい。
【００３２】
この場合、記憶部２０の一領域として設けられた取得画像記憶部９１と、生成画像記憶部９２と、が用いられる。
取得画像記憶部９１においては、撮像部１７から出力され、画像取得部７１により取得された撮像画像のデータが記憶されている。
生成画像記憶部９２においては、マルチモーション画像生成部７２から出力されたマルチモーション画像のデータと、オブジェクト画像生成部７３から出力されたオブジェクト画像のデータが記憶されている。
【００３３】
撮像制御部５１は、各種撮像条件を設定し、撮像部１７における撮像の動作を制御する。撮像制御部５１は、入力部１８からの撮影を開始する操作（以下、「撮影開始操作」という）を受けて撮像部１７における撮像の動作を開始する制御を行う。
本実施形態においては、被写体の動作を撮像するため、撮像制御部５１は、撮像部１７により動画像を撮像させる。
【００３４】
出力制御部５２は、生成画像記憶部９２に記憶されるマルチモーション画像とオブジェクト画像を重畳的に表示出力するように、出力部１９を制御する。
【００３５】
画像取得部７１は、撮像部１７から出力された動画像のデータを、一連の動作を示す複数の画像のデータである複数の単一画像（静止画像）として取得可能なデータとして取得する。その後、画像取得部７１は、取得した動画像のデータを取得画像記憶部９１に記憶させる。
【００３６】
マルチモーション画像生成部７２は、動画像データの解析により特定された被写体の所定の動作を含む単一画像のデータを合成してマルチモーション画像のデータを生成する処理を実行する。そして、マルチモーション画像生成部７２は、生成したマルチモーション画像のデータを生成画像記憶部９２に記憶させる処理を実行する。このようなマルチモーション画像生成部７２により行われる処理をマルチモーション画像生成処理という。
【００３７】
即ち、マルチモーション画像生成部７２は、単一画像に写り込んだ被写体の動作の特定を行う。また、マルチモーション画像生成部７２は、特定した動作を単一画像に対応付ける。詳細には、マルチモーション画像生成部７２は、取得画像記憶部９１から動画像のデータを取得し、当該動画像を構成する単一画像内に写り込んだ被写体の動作を特定する。そして、マルチモーション画像生成部７２は、特定した被写体の動作を、対応する単一画像に対応付けて、取得画像記憶部９１に記憶させる。本実施形態においては、マルチモーション画像生成部７２は、全体動作となるスイングの動作と、スイングを構成する動作（例えば、アドレス，バックスイング，トップ，ダウンスイング，インパクト，フォロースイング，フィニッシュ）を人の動作、クラブの動作（特に、クラブヘッドの動作）から特定する。
【００３８】
被写体の動作に属する部分動作を特定する手法については、特に限定されないが、例えば、スイングの時間から判断して部分動作を推定して特定する手法を用いてもよく、基準となる画像との比較において、部分動作を特定する等の画像マッチング技術の手法を用いてもよい。また、画像からクラブやクラブヘッドを抽出して、抽出したクラブやクラブヘッドの位置関係から、スイングの部分動作を特定するような手法を用いてもよい。
このような被写体の動作に属する部分動作を特定する手法については、公知又は今後登場するであろう任意の手法、例えば特開２００８−２７８３８６号公報，特開２００９−５３７８６号公報，特許第４４１５１９８号等に開示されている手法等を採用することができる。
【００３９】
また、マルチモーション画像生成部７２は、特定された単一画像を合成し、マルチモーション画像のデータを生成する。
詳細には、マルチモーション画像生成部７２は、スイングの部分動作に対応する単一画像が選択された場合（例えば、ダウンスイング）には、ダウンスイングを写した単一画像を全て１枚の静止画像として合成したマルチモーション画像のデータを生成する。なお、本実施形態において、マルチモーション画像は、部分動作に対応する単一画像と、部分動作と時間的に前後に位置する単一画像とが含めて合成される。即ち、ダウンスイングの部分動作で、部分合成画像のデータを生成する場合には、ダウンスイングの前後（トップとダウンスイングとの間の動作と、ダウンスイングからインパクトとの間の動作）の動作が写り込んだ単一画像を合成する。
また、マルチモーション画像生成部７２は、マルチモーション画像の生成に際し、動作の主体となる部分（例えば、クラブヘッドやボール）のみを合成することができる。即ち、マルチモーション画像生成部７２は、選択された動作を最もよく表す画像に動作の軌道がわかるように、当該動作を最もよく表す画像の前後に動きのある部分を合成することができる。
【００４０】
オブジェクト画像生成部７３は、マルチモーション画像生成部７２により生成されたマルチモーション画像に重畳的に表示されて、マルチモーション画像の所定の部分（本実施形態においては、動作主体となる部分のうち最も速度の速い部分）を視覚的に認識できるようなオブジェクト画像のデータを生成する処理を実行する。そして、オブジェクト画像生成部７３は、生成したオブジェクト画像のデータを生成画像記憶部９２に記憶させる処理を実行する。なお、このようなオブジェクト画像生成部７３により行われる処理をオブジェクト画像生成処理という。
【００４１】
詳細には、オブジェクト画像生成部７３は、マルチモーション画像生成部７２により生成されたマルチモーション画像の動作主体となる部分を解析して、最も速度の速い部分を算出する。オブジェクト画像生成部７３は、具体的には、マルチモーション画像内の動作主体であるクラブヘッドの間隔を計測して、当該計測したクラブヘッドの間隔から相対速度を算出して、動作主体となる部分のうち最も速度の速い部分を割り出す。
そして、オブジェクト画像生成部７３は、算出された最も速度の速い部分を強調的に表示するためのオブジェクト画像のデータを生成する。オブジェクト画像生成部７３は、最も速度の速い部分に重なるように、動作主体の軌道を表示するようなオブジェクト画像のデータを生成する。
【００４２】
次に、上述したように構成される撮像装置１の出力部１９において表示出力される表示画像について説明する。
図３は、図２の撮像装置１の出力部１９において表示出力されるマルチモーション表示を説明するための図である。
図３（ａ）乃至（ｃ）は、スイング対象者を正面側から撮影した構図の画像であり、図３（ｄ）乃至（ｆ）は、スイング対象者を側面側（スイング方向でいうと背面側）から撮影した構図の画像である。また、図３（ａ），（ｂ）はそれぞれマルチモーション画像を示し、図３（ｂ），（ｅ）はそれぞれオブジェクト画像を示し、図３（ｃ），（ｆ）はそれぞれマルチモーション画像にオブジェクト画像を重畳表示した場合の表示画面を示す図である。
【００４３】
図３（ａ）の例は、スイング対象者を正面から撮影した得た動画像のデータに基づいて生成したマルチモーション画像ｇｍ１である。当該マルチモーション画像ｇｍ１は、スイング動作の内においてアドレス付近のクラブヘッドがマルチモーション部分Ｒｍ１として連続的に表示可能となる。
このようなマルチモーション画像ｇｍ１のマルチモーション部分Ｒｍ１から割り出された速度に対応した部分（本実施形態においては最も速い速度となる部分（以下、「最速部分」という））をオブジェクトｏｂ１により表示したのが、図３（ｂ）に示すオブジェクト画像ｇｏ１である。
【００４４】
本実施形態においては、図３（ａ）に示すようなマルチモーション画像ｇｍ１と、図３（ｂ）に示すようなオブジェクト画像ｇｏ１と、を重畳的に表示させることにより図３（ｃ）に示すようなマルチモーション表示を行う。
このように本実施形態におけるマルチモーション表示においては、マルチモーション画像ｇｍ１のマルチモーション部分Ｒｍ１の表示がなされている部分の内で最も速度が速い部分に、速さを模式的に表したオブジェクトｏｂ１を表示するオブジェクト画像ｇｏ１を重畳的に表示して強調させることができる。このため、ユーザに対して、スイングの確認等において、被写体の動作の状況をより把握し易い表示を行うことができるようになる。
【００４５】
なお、本実施形態においては、正面側からスイング対象者を撮影した構図をマルチモーション表示に用いることに限られない。種々の構図でマルチモーション表示を行うことができるが、例えば、図３（ｄ）乃至（ｆ）に示すように、スイング対象者を側面側（スイング方向でいうと後方）から撮影した等の様々な構図でマルチモーション表示を行うことができる。
【００４６】
次に、図４のフローチャートを参照して、図２の機能的構成を有する図１の撮像装置１が実行するマルチモーション表示処理について説明する。なお、本例では、スイング動作全体をマルチモーション表示可能な全体合成画像のデータは生成せずに、スイング動作の所定の部分をマルチモーション表示可能な部分合成画像のデータをマルチモーション画像のデータとして生成する例について説明する。
図４は、図２の機能構成を有する図１の撮像装置１が実行するマルチモーション表示処理の流れの一例を示すフローチャートである。
【００４７】
ユーザの入力部１８に対する所定の操作により、マルチモーション表示処理の開始が指示されると、マルチモーション表示処理が開始されて、次のような処理が実行される。
【００４８】
ステップＳ１において、撮像制御部５１は、入力部１８からの撮像開始操作がなされたか否かを判断する。
入力部１８からの撮像開始操作がなされた場合には、ステップＳ１においてＹＥＳと判断されて、処理はステップＳ２に進む。その後、撮像制御部５１は、撮像部１７を制御して、撮像を開始する。
また、入力部１８からの撮像開始操作されない場合は、ステップＳ１においてＮＯと判断されて、待機状態となる。
【００４９】
ステップＳ２において、画像取得部７１は、一連の動作を示す複数の画像のデータとして動画像のデータを取得する。詳細には、入力部１８からの撮像開始の入力を受けて、撮像制御部５１は、撮像部１７において撮像を開始する。そして、画像取得部７１は、撮像部１７によって撮像された動画像のデータを取得する。また、画像取得部７１は、取得した動画像のデータを取得画像記憶部９１に格納する。
【００５０】
ステップＳ３において、マルチモーション画像生成部７２は、取得した動画像のデータに基づいて、マルチモーション画像生成処理を実行して、マルチモーション画像のデータを生成し、生成したマルチモーション画像のデータを生成画像記憶部９２に記憶させる。
マルチモーション画像生成処理の詳細な流れについては後述する。
【００５１】
ステップＳ４において、オブジェクト画像生成部７３は、マルチモーション画像生成部７２により生成されたマルチモーション画像のデータに基づいて、オブジェクト画像生成処理を実行して、オブジェクト画像のデータを生成し、生成したオブジェクト画像のデータを生成画像記憶部９２に記憶させる。オブジェクト画像生成処理の詳細な流れについては後述する。
【００５２】
ステップＳ５において、出力制御部５２は、マルチモーション画像（詳細には、動作主体の内最も速度が速い部分）にオブジェクト画像を重畳的に表示させるように出力部１９を制御する。その結果、出力部１９には、例えば、図３（ｃ）の例に示すようなマルチモーション表示が行われることになる。
これにより、マルチモーション表示処理は終了する。
【００５３】
次に、マルチモーション表示処理のうち、マルチモーション画像生成処理の詳細な流れについて説明する。
図５は、マルチモーション表示処理のうち、マルチモーション画像生成処理の詳細な流れを示すフローチャートである。
【００５４】
ステップＳ３１において、マルチモーション画像生成部７２は、動画像のデータを特定する。即ち、マルチモーション画像生成部７２は、動画像のデータを解析して、動画像のデータを構成する単一画像のデータを特定する。単一画像のデータの特定は、単一画像内に写り込んだ被写体の動作を特定することにより行う。
具体的には、マルチモーション画像生成部７２は、動画を構成する単一画像に写り込んだ被写体の動作が例えば、ダウンスイングに属していることを特定する。
【００５５】
ステップＳ３２において、マルチモーション画像生成部７２は、特定結果と単一画像との対応付けを行う。
詳細には、マルチモーション画像生成部７２は、ステップＳ３１で特定された部分動作であることを示すデータと、単一画像のデータとを対応付けて、取得画像記憶部９１に記憶させる。
【００５６】
ステップＳ３３において、マルチモーション画像生成部７２は、全ての単一画像を合成し、マルチモーション画像のデータを生成する。詳細には、マルチモーション画像生成部７２は、単一画像の全てを１つの静止画像として合成し、マルチモーション画像のデータを生成する。
これにより、マルチモーション画像生成処理は、終了する。
【００５７】
次に、マルチモーション表示処理のうち、オブジェクト画像生成処理の詳細な流れについて説明する。
図６は、マルチモーション表示処理のうち、オブジェクト画像生成処理の詳細な流れを示すフローチャートである。
【００５８】
ステップＳ４１において、オブジェクト画像生成部７３は、マルチモーション画像生成部７２により生成されたマルチモーション画像内のクラブヘッド間隔を計測する。即ち、所定の撮像間隔で撮像されている動画データから生成されたマルチモーション画像に写り込んでいるクラブヘッドの位置を、例えば、クラブヘッド間の位置の差分を取ることによりクラブヘッドの間隔を計測する。
【００５９】
ステップＳ４２において、オブジェクト画像生成部７３は、ステップＳ４１において計測されたクラブヘッドの間隔から、クラブヘッドの相対速度を算出する。そして、オブジェクト画像生成部７３は、算出したクラブヘッドの相対速度から、最速部分の領域を割り出す。
【００６０】
ステップＳ４３において、オブジェクト画像生成部７３は、ステップＳ４２において割り出された最速部分に対応するオブジェクト画像のデータを生成する。
これにより、オブジェクト画像生成処理は、終了する。
【００６１】
以上、図２の機能的構成を有する図１の撮像装置１が実行するマルチモーション表示処理の流れについて説明した。
本実施形態においては、図３（ｃ）の例に示すようなマルチモーション表示を行ったが、これに限られず、種々の表示を行うことができる。
次に、マルチモーション表示の他の表示例について説明する。
図７及び図８は、図２の撮像装置１の出力部１９において表示出力されるマルチモーション表示の他の表示例を示す図である。
【００６２】
上述したマルチモーション表示においては、図３（ｃ）に示すように、最速部分のみをオブジェクト画像により表示するように構成したが、これに限られない。マルチモーション表示は、例えば、図７（ａ）に示すように、最速部分に対応するオブジェクトｏｂ１と最も遅い部分に対応するオブジェクトｏｂ３を含むオブジェクト画像ｇｏ３を生成することによりマルチモーション画像ｇｍ３における速度を強調するように構成してもよい。この場合、最速部分と最も遅い部分とを識別可能にする必要があり、この場合、最速部分には速さを想起させる暖色系の色を付すなどイメージに対応した色を付して色分け表示をしたり、オブジェクト画像の太さを変えたりして、識別可能に構成することができる。なお、図面の関係上、ハッチングにて識別可能に表示している。
【００６３】
また、上述したマルチモーション表示においては、オブジェクト画像ｇｏ４は、単に、最速部分の軌道に重なるように最速部分の領域を覆うような画像を生成したがこれに限られない。例えば、図７（ｂ）に示すように、最速部分のスイングの軌道とスイング方向がわかるようにスイング方向に向けた矢印の形状となるようなオブジェクトｏｂ４を含むオブジェクト画像ｇｏ４を生成してもよい。また、速度を想起させる種々の形状でオブジェクト画像を生成してもよい。
【００６４】
また、上述したマルチモーション表示においては、マルチモーション画像から割り出した相対速度に基づいて算出された最速部分に対応してオブジェクト画像を生成したがこれに限られない。例えば、マルチモーション画像においてマルチモーション表示が行われている部分の全ての領域において、速度を表示させるように構成してもよい。この場合、色分け表示を行うように構成することができ、速度に応じて段階的に色を変化させるように構成してもよい。
さらに、上述したマルチモーション表示は、相対速度である必要もなく、絶対速度を算出して、当該算出した絶対速度で表示させるようにしてもよい。この場合も、絶対速度に応じた色分け等により識別するように構成してもよい。また、最速部分や最も遅い部分に絶対速度の値を表示させるように構成してもよい。さらには、図７（ｃ）に示すように、絶対速度を表示するゲージｏｂｇを併せて表示するように構成してもよい。この場合、ユーザが色により直感的な速度を認識視することができると共に、ゲージにより、実際の速度をイメージすることができるようになる。また、最速部分や最も遅い部分に限らず、マルチモーション部分の全範囲にオブジェクトｏｂ５を設けるオブジェクト画像ｇｏ５を生成してもよい。
【００６５】
また、上述したマルチモーション表示は、１つのマルチモーション表示のみを行うように構成したがこれに限られない。例えば、図８（ａ）に示すように、マルチモーション部分の全ての領域に対応するオブジェクトｏｂ５を含むオブジェクト画像ｇｍ６が表示されるマルチモーション表示と、最速部分に対応するオブジェクトｏｂ１を含むオブジェクト画像ｇｍ７が表示されるマルチモーション表示とを切り替える等上述した種々のマルチモーション表示との画面切り替えを可能にするように構成してもよい。このように構成することでユーザがより最速部分を認識し易くなる等の効果を得ることができる。
【００６６】
また、マルチモーション画像表示を比較可能に、１画面表示を行うように構成してもよい。この場合、例えば、図８（ｂ）に示すように、過去のスイングを表示したものと、現在のスイングを表示したもの等の撮影期間の異なるマルチモーション画像ｇｍ８，ｇｍ９に基づいた表示を行ったり、他者のスイングを表示したりするように構成してもよい。これにより、ユーザは、１画面表示で速度の異なる部分を比較することができ、過去の現在、又は自己と他者等との違いを明確に認識することができる。
【００６７】
以上、本発明の第１実施形態に係る撮像装置１について説明した。
次に、本発明の第２実施形態に係る撮像装置１について説明する。
【００６８】
＜第２実施形態＞
第２実施形態に係る撮像装置１の機能的構成は、第１実施形態に係る撮像装置１の機能的構成と同様である。即ち、図１はそのまま、本発明の第２実施の形態に係る撮像装置１の機能的構成を示している。よって、本発明の第２実施の形態に係る撮像装置１の機能的構成の説明は省略する。
【００６９】
第２実施形態と第１実施形態との差異点は、クラブヘッドの速度に関して、より精度の高い速度を得るために、ゴルフクラブのクラブヘッドやグリップにセンサを取り付けて、当該センサからの情報（以下、「センサ情報」という）に基づいて、クラブヘッドの速度を算出する点である。即ち、第１実施形態では、クラブヘッドの速度を割り出す手法として、マルチモーション画像内におけるクラブヘッドの遷移でクラブヘッドの速度を割り出す画像計測による図６の手法が採用されていた。これに対して、第２実施形態では、ゴルフクラブに搭載したセンサのセンサ情報基づいて、図６に代えて図１０及び１１の手法が採用される。
また、第２実施形態においては、画像計測に加えて、センサによる計測を行うように構成される。このように構成することで、センサにより精度の高い速度の計測ができる上に、センサからの情報がなくてもマルチモーション表示を行うことができる。
【００７０】
図９は、第２実施形態におけるセンサの機能構成について説明する機能ブロック図である。
センサ１００は、図９に示すように、ゴルフクラブにおいてゴルフクラブのヘッドとグリップ付近に搭載され、センサ部１０１と、センサ通信部１０２と、を備える。
センサ部１０１は、ゴルフクラブの位置を検出することができる加速度／角加速度センサにより構成されている。また、センサ部１０１は、撮像部１７での撮影開始と共に通信部２１から送信される同期信号に基づいて計測を開始し、撮影の終了と共に通信部２１から送信される撮影終了の信号に基づいて計測を終了する。
センサ通信部１０２は、通信部２１と通信可能に構成され、同期信号の送受信とセンサ部１０１からセンサ情報を取得して、通信部２１に送信する。
【００７１】
一方、ＣＰＵ１１は、撮像部１７において撮像を開始した場合に、同期信号をセンサ１００に送信するように通信部２１を制御し、撮像を終了した場合に、撮影終了の信号をセンサ１００に送信するように通信部２１を制御する。
また、オブジェクト画像生成部７３は、通信部２１を介して、センサ情報を取得する。オブジェクト画像生成部７３は、取得したセンサ情報からクラブヘッドの軌跡と速度を解析する。オブジェクト画像生成部７３は、同期信号に基づいて、解析したクラブヘッドの軌跡と速度と、動画像データを構成する単一画像を同期化して、対応付ける。
また、オブジェクト画像生成部７３は、対応付けた単一画像に基づいて、最速部分を特定して、当該最速部分に対応するオブジェクト画像のデータを生成する。
【００７２】
次に、センサ計測処理の詳細な流れについて説明する。
図１０は、図１の撮像装置１及び図９のセンサ１００が実行するセンサ計測処理の流れを示すフローチャートである。
ステップＳ５１において、ＣＰＵ１１は、他のセンサを使用しているか否かを判断する。
他のセンサを使用している場合には、ステップＳ５１においてＹＥＳと判断されて、処理はステップＳ５２に進む。
他のセンサを使用していない場合には、ステップＳ５１においてＮＯと判断されて、センサ計測処理は終了する。
【００７３】
ステップＳ５２において、ＣＰＵ１１は、撮像部１７における撮像が開始されたこと契機に、同期信号をセンサ１００に送信するように通信部２１を制御する。その結果、通信部２１は、同期信号をセンサ１００に送信する。
【００７４】
ステップＳ５３において、センサ通信部１０２は、同期信号を受信して、センサ部１０１に出力する。そして、センサ部１０１は、取得した同期信号に基づいて、計測を開始する。
【００７５】
ステップＳ５４において、ＣＰＵ１１は、撮像部１７における撮像が開始されたこと契機に、撮像終了の信号をセンサ１００に送信するように通信部２１を制御する。その結果、通信部２１は、撮像終了の信号をセンサ１００に送信する。
撮像終了の信号を受信したセンサ通信部１０２は、撮像終了の信号をセンサ部１０１に出力する。そして、センサ部１０１は、取得した撮像終了の信号に基づいて、計測を終了する。その後、センサ部１０１により検出されたセンサ情報は、センサ通信部１０２を介して通信部２１に送信される。これによりセンサ計測処理は終了する。
【００７６】
以上、センサ計測処理の詳細な流れについて説明した。
以下、第２実施形態に係るオブジェクト画像生成処理の詳細な流れについて説明する。
図１１は、第２実施形態に係るオブジェクト画像生成処理の流れを示すフローチャートである。なお、本フローチャートにおいて、ステップＳ７５乃至ステップＳ７７は、図６のステップＳ４１乃至ステップＳ４３と同一の処理であるため説明を省略する。
【００７７】
ステップＳ７１において、ＣＰＵ１１は、他のセンサを使用しているか否かを判断する。
他のセンサを使用している場合には、ステップＳ７１においてＹＥＳと判断されて、処理はステップＳ７２に進む。
他のセンサを使用していない場合には、ステップＳ７１においてＮＯと判断されて、処理はステップＳ７５に進む。なお、ステップＳ７５以降の処理の説明は省略する。
【００７８】
ステップＳ７２において、ＣＰＵ１１は、通信部２１を介して、センサ１００からのセンサ情報（加速度／角加速度の情報）を取得する。
【００７９】
ステップＳ７３において、オブジェクト画像生成部７３は、取得したセンサ情報に基づいて、クラブヘッドの軌跡と速度を解析して特定する。
【００８０】
ステップＳ７４において、オブジェクト画像生成部７３は、同期信号に基づいて、解析したクラブヘッドの軌跡と速度と、動画像データを構成する単一画像を同期化して、対応付ける。その後、処理はステップＳ７７に移行して、オブジェクト画像生成部７３は、対応付けた単一画像に基づいて、最速部分を特定して、当該最速部分に対応するオブジェクト画像のデータを生成する。
このようにマルチモーション表示処理を構成することで、クラブヘッドの速度算出の精度を高めることができる。
【００８１】
以上のようなマルチモーション表示処理を実行する撮像装置１は、画像取得部７１と、マルチモーション画像生成部７２と、出力制御部５２と、を備える。
画像取得部７１は、被写体の一連の動作が撮像された複数の画像を取得する。
マルチモーション画像生成部７２は、被写体の一連の動作を解析し、画像取得部７１により取得された少なくとも一つの画像とマルチモーション画像生成部７２による解析結果とに基づいて、解析結果を反映させた画像を生成する。
従って、撮像装置１においては、取得された少なくとも一つの画像と解析結果とに基づいて、解析結果を反映させた画像を生成することができる。これにより、ユーザは、被写体の動作の状況をより把握し易くできる。
【００８２】
また、マルチモーション画像生成部７２は、画像取得部７１により取得された複数の画像と、解析結果とに基づいて、解析結果を反映させた画像として一連の動作の画像を合成するとともに解析結果を反映させた画像を生成する。
従って、撮像装置１においては、複数の画像と、解析結果とに基づいて、一連の動作の画像を合成するとともに解析結果を反映させた画像を生成する。これにより、ユーザは、被写体の動作の状況をより把握し易くできる。
【００８３】
また、撮像装置１は、解析結果に対応する情報を複数記憶する取得画像記憶部９１を備える。
マルチモーション画像生成部７２は、解析結果を反映させた画像として、一連の動作の画像に取得画像記憶部９１により記憶された情報を合成した画像を生成する。
従って、撮像装置１においては、解析結果を反映させた画像として、一連の動作の画像に取得画像記憶部９１により記憶された情報を合成した画像を生成する。これにより、ユーザは、被写体の動作の状況をより把握し易くできる。
【００８４】
また、取得画像記憶部９１は、一連の動作に関する速度又は加速度に関する情報を解析結果に対応する情報として記憶する。
マルチモーション画像生成部７２は、解析結果を反映させた画像として、一連の動作の画像に取得画像記憶部９１により記憶された速度又は加速度に関する情報を合成した画像を生成する。
従って、撮像装置１においては、速度又は加速度に関する情報を合成するために、ユーザが被写体の動作の状況をより把握し易くできる。
【００８５】
また、撮像装置１は、マルチモーション画像生成部７２により生成された画像を出力部１９に表示出力させる出力制御部５２を更に備える。
従って、撮像装置１においては、マルチモーション画像生成部７２により生成された画像を出力部１９に表示することができ、撮像装置１でユーザが被写体の動作の状況を把握することができる。
【００８６】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００８７】
上述の実施形態では、撮像装置１により撮像した被写体の動作を含んだ複数の画像を動画像のデータとして、画像取得部７１により取得したが、これに限られない。取得される画像のデータは、例えば、一連の動作を含んだ複数の画像でもよく、動画像に限らず、静止画像でもよく、また、撮像部によって撮像された画像でなく外部から取得した画像でもよい。
【００８８】
また、上述の実施形態では、動作主体たるクラブヘッドに対応したオブジェクトを含むオブジェクト画像を生成するように構成したがこれに限られない。マルチモーション表示において動作対象の速度等の状態を表示できるようであればよく、例えば、図１２（ａ）に示すように、スイングを行っている対象者の手首や、図１２（ｂ）に示すように肩等の体の動きに対して、オブジェクトｏｂ６，ｏｂ７を含むオブジェクト画像ｇｏ１０，ｇｏ１１を生成して、マルチモーション表示を行うように構成してもよい。なお、図１２は、図２の撮像装置の出力部において表示出力されるマルチモーション表示の他の表示例を示す図である。
【００８９】
また、上述の実施形態では、表示の際にマルチモーション画像にオブジェクト画像を重畳的に表示させることでマルチモーション表示を行うように構成したがこれに限られず、オブジェクト画像のデータとマルチモーション画像のデータとを合成して、１枚の画像のデータを生成するように構成してもよい。このように構成することにより、表示における特殊な処理を行わなくても所望の表示画面を提供することができる。即ち、生成した画像を特殊な表示機能を備えない表示装置においても利用することもできる。
【００９０】
また、上述の実施形態では、複数の連続的な動作が写り込んだマルチモーション画像と共に速度等の動作の状態を表示するオブジェクトを表示するように構成したがこれに限られない。例えば、所定の動作のみを示す単一画像に、速度等の動作の状態を表示するオブジェクトを表示するように構成してもよい。
【００９１】
また、上述の実施形態では、一連の動作として、ゴルフのスイングを例に説明したがこれに限られない。例えば、一連の動作として、特に往復運動を含んだ動作が好ましく、野球、テニス、野球等の球技のスポーツや、剣道や柔道等の武術の動作にも限られず、また、一連の規則的に定められた動作にも限られない。一連の動きの一部分動作を抽出することで、合成した画像において一部分動作が容易に把握し易くなったり、画像自体が煩雑にならなかったりするものであればよい。
なお、一連の動作の合成画像に解析結果を反映させた画像を表示出力することで、被写体の動作の状況をより把握し易くできるようにしたが、上述の実施形態は、これに限られない。
つまり、解析対象となった複数の画像中の単一の画像に対して一連の動作の解析結果を反映させた画像を生成して表示出力するようにしても良い。
このような構成でも、ユーザは、被写体の動作の状況を把握し易い。
【００９２】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、合成画像生成機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００９３】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００９４】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００９５】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【００９６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００９７】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９８】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の一連の動作が撮像された複数の画像を取得する取得手段と、
前記被写体の一連の動作を解析する解析手段と、
前記取得手段により取得された少なくとも一つの画像と前記解析手段による解析結果とに基づいて、前記解析結果を反映させた画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。
［付記２］
前記生成手段は、前記取得手段により取得された複数の画像と前記解析手段による解析結果とに基づいて、前記解析結果を反映させた画像として、前記一連の動作の画像を合成するとともに前記解析結果を反映させた画像を生成する
ことを特徴とする付記１に記載の画像生成装置。
［付記３］
前記解析結果に対応する情報を複数記憶する記憶手段を更に備え、
前記生成手段は、前記解析結果を反映させた画像として、前記一連の動作の画像に前記記憶手段により記憶された情報を合成した画像を生成することを特徴とする付記１又は２に記載の画像生成装置。
［付記４］
前記記憶手段は、前記一連の動作に関する速度又は加速度に関する情報を前記解析結果に対応する情報として記憶し、
前記生成手段は、前記解析結果を反映させた画像として、前記一連の動作の画像に前記記憶手段により記憶された速度又は加速度に関する情報を合成した画像を生成する
ことを特徴とする付記３に記載の画像生成装置。
［付記５］
前記生成手段により生成された画像を表示手段に表示させる表示制御手段を更に備えたことを特徴とする付記１から４の何れか１つに記載の画像生成装置。
［付記６］
画像生成装置が実行する画像生成方法であって、
被写体の一連の動作が撮像された複数の画像を取得する取得ステップと、
前記被写体の一連の動作を解析する解析ステップと、
前記取得ステップにより取得された少なくとも一つの画像と前記解析ステップによる解析結果とに基づいて、前記解析結果を反映させた画像を生成する生成ステップと、
を含むことを特徴とする画像生成方法。
［付記７］
コンピュータを、
被写体の一連の動作が撮像された複数の画像を取得する取得手段、
前記被写体の一連の動作を解析する解析手段、
前記取得手段により取得された少なくとも一つの画像と前記解析手段による解析結果とに基づいて、前記解析結果を反映させた画像を生成する生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００９９】
１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像部，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，２３・・・センサ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・出力制御部，７１・・・画像取得部，７２・・・マルチモーション画像生成部，７３・・・オブジェクト画像，９１・・・取得画像記憶部，９２・・・生成画像記憶部
【図１】
2014064125.tif 000003
【図２】
2014064125.tif 000004
【図４】
2014064125.tif 000005
【図５】
2014064125.tif 000006
【図６】
2014064125.tif 000007
【図９】
2014064125.tif 000008
【図１０】
2014064125.tif 000009
【図１１】
2014064125.tif 000010
【図３】
2014064125.tif 000011
【図７】
2014064125.tif 000012
【図８】
2014064125.tif 000013
【図１２】
2014064125.tif 000014