(57)【要約】【課題】ユーザ好みの構図により生成された画像を用いて適切に合成画像を生成する。【解決手段】撮像部１３０は、被写体を撮像して時系列で連続する複数の画像を生成する。撮像動作状態取得部１２０は、生成された複数の画像の撮像動作時における撮像方向を軸とする回転角度（０度、９０度）を撮像動作状態情報として取得する。画像処理部１５０は、複数の画像に含まれるゴルフプレイヤーのゴルフスイングの遷移を表す合成画像を生成するための画像処理を、その取得された撮像状態情報に基づいて複数の画像について行う。例えば、画像処理部１５０は、撮像状態情報により特定される回転角度が９０度である場合には、複数の画像のそれぞれについて回転処理を行い、その回転角度が０度である場合には回転処理を行わない。画像合成部１６０は、画像処理が施された複数の画像を合成して合成画像を生成する。【選択図】図１
2011139282.tif 000002
【特許請求の範囲】
【請求項１】
時系列で連続して生成された複数の画像の撮像動作時における撮像動作状態を示す撮像動作状態情報を取得する撮像動作状態取得部と、
前記複数の画像に含まれる注目被写体による特定動作の遷移を表す合成画像を生成するための画像処理を前記取得された撮像状態情報に基づいて前記複数の画像について行う画像処理部と、
前記画像処理が施された複数の画像を合成して合成画像を生成する画像合成部と
を具備する画像処理装置。
【請求項２】
前記撮像動作状態取得部は、前記撮像動作時における撮像方向を軸とする回転角度を前記撮像動作状態情報として取得する請求項１記載の画像処理装置。
【請求項３】
前記画像処理部は、前記撮像状態情報により特定される前記回転角度に応じて前記複数の画像のそれぞれについて回転処理を行う請求項２記載の画像処理装置。
【請求項４】
前記画像処理部は、前記撮像状態情報により特定される前記回転角度が特定角度である場合には前記複数の画像のそれぞれについて回転処理を行い、前記撮像状態情報により特定される前記回転角度が特定角度でない場合には前記複数の画像について回転処理を行わない請求項３記載の画像処理装置。
【請求項５】
前記画像処理部は、前記撮像状態情報により特定される前記回転角度が特定角度である場合において回転処理される前記複数の画像と、前記撮像状態情報により特定される前記回転角度が特定角度でない場合において回転処理されない前記複数の画像とが、前記合成画像のサイズに応じた特定サイズとなるように前記画像処理を行う請求項４記載の画像処理装置。
【請求項６】
前記画像処理部は、前記複数の画像のそれぞれが前記合成画像のサイズに応じた特定サイズとなるように前記画像処理を行う請求項１記載の画像処理装置。
【請求項７】
複数種類の特定動作に関する加工情報を記憶する記憶部と、
前記加工情報が記憶されている複数種類の特定動作のうちから所望の特定動作を指定する指定操作を受け付ける操作受付部とをさらに具備し、
前記画像処理部は、前記指定された特定動作に関する加工情報を用いて前記取得された撮像状態情報に基づいて前記複数の画像について前記画像処理を行う
請求項１記載の画像処理装置。
【請求項８】
被写体を撮像して時系列で連続する複数の画像を生成する撮像部と、
前記生成された複数の画像の撮像動作時における撮像動作状態を示す撮像動作状態情報を取得する撮像動作状態取得部と、
前記複数の画像に含まれる注目被写体による特定動作の遷移を表す合成画像を生成するための画像処理を前記取得された撮像状態情報に基づいて前記複数の画像について行う画像処理部と、
前記画像処理が施された複数の画像を合成して合成画像を生成する画像合成部と
を具備する撮像装置。
【請求項９】
時系列で連続して生成された複数の画像の撮像動作時における撮像動作状態を示す撮像動作状態情報を取得する撮像動作状態取得手順と、
前記複数の画像に含まれる注目被写体による特定動作の遷移を表す合成画像を生成するための画像処理を前記取得された撮像状態情報に基づいて前記複数の画像について行う画像処理手順と、
前記画像処理が施された複数の画像を合成して合成画像を生成する画像合成手順と
を具備する画像処理方法。
【請求項１０】
時系列で連続して生成された複数の画像の撮像動作時における撮像動作状態を示す撮像動作状態情報を取得する撮像動作状態取得手順と、
前記複数の画像に含まれる注目被写体による特定動作の遷移を表す合成画像を生成するための画像処理を前記取得された撮像状態情報に基づいて前記複数の画像について行う画像処理手順と、
前記画像処理が施された複数の画像を合成して合成画像を生成する画像合成手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、時系列で連続する複数の画像を処理する画像処理装置、撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して撮像画像（画像データ）を生成し、この生成された撮像画像を画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。また、これらの撮像装置を用いて、例えば、ゴルフや野球等のスポーツの様子をコンテンツとして記録することが広く行われている。このように記録されたコンテンツ（例えば、動画コンテンツ）については、例えば、スポーツのフォーム（例えば、ゴルフスイングやバッティング（野球））確認において用いることができる。
【０００３】
例えば、スポーツのフォーム（例えば、ゴルフスイングやバッティング（野球））確認をする場合に、その動作遷移を容易に把握することができるように、その動作遷移を表す画像を合成画像として生成する合成画像生成方法が提案されている。例えば、連続撮影画像から複数枚の画像を所定間隔で選択し、この選択された複数枚の画像を用いて合成画像を生成する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−４４５７３号公報（図９）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、例えば、ゴルフスイングを行う人物の動作遷移を表す合成画像を生成することができる。
【０００６】
ここで、合成画像を生成するための画像を撮影する場合を想定する。例えば、ユーザ好みの構図により、撮像範囲が垂直方向に長くなるように撮影が行われる場合や撮像範囲が水平方向に長くなるように撮影が行われる場合が想定される。しかしながら、上述の従来技術では、合成画像を生成する際に用いられる複数の画像を撮影する場合には、その撮像範囲が水平方向に長くなるようにした状態でその撮影を行う必要がある。このため、例えば、立った人物を被写体として、撮像範囲が垂直方向に長くなるように撮影を行った場合には、上述の従来技術では、その合成画像を適切に生成することができない。
【０００７】
そこで、例えば、ゴルフスイングやバッティング（野球）の動作遷移を表す画像（例えば、合成画像）を生成する場合には、ユーザ好みの構図により生成された画像を用いて適切に合成画像を生成することが重要となる。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、ユーザ好みの構図により生成された画像を用いて適切に合成画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列で連続して生成された複数の画像の撮像動作時における撮像動作状態を示す撮像動作状態情報を取得する撮像動作状態取得部と、上記複数の画像に含まれる注目被写体による特定動作の遷移を表す合成画像を生成するための画像処理を上記取得された撮像状態情報に基づいて上記複数の画像について行う画像処理部と、上記画像処理が施された複数の画像を合成して合成画像を生成する画像合成部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像動作状態情報を取得し、合成画像を生成するための画像処理を、その取得された撮像状態情報に基づいて複数の画像について行い、この画像処理が施された複数の画像を合成して合成画像を生成するという作用をもたらす。
【００１０】
また、この第１の側面において、上記撮像動作状態取得部は、上記撮像動作時における撮像方向を軸とする回転角度を上記撮像動作状態情報として取得するようにしてもよい。これにより、撮像動作時における撮像方向を軸とする回転角度を撮像動作状態情報として取得するという作用をもたらす。
【００１１】
また、この第１の側面において、上記画像処理部は、上記撮像状態情報により特定される上記回転角度に応じて上記複数の画像のそれぞれについて回転処理を行うようにしてもよい。これにより、撮像状態情報により特定される回転角度に応じて、複数の画像のそれぞれについて回転処理を行うという作用をもたらす。
【００１２】
また、この第１の側面において、上記画像処理部は、上記撮像状態情報により特定される上記回転角度が特定角度である場合には上記複数の画像のそれぞれについて回転処理を行い、上記撮像状態情報により特定される上記回転角度が特定角度でない場合には上記複数の画像について回転処理を行わないようにしてもよい。これにより、撮像状態情報により特定される回転角度が特定角度である場合には、複数の画像のそれぞれについて回転処理を行い、撮像状態情報により特定される回転角度が特定角度でない場合には、複数の画像について回転処理を行わないという作用をもたらす。
【００１３】
また、この第１の側面において、上記画像処理部は、上記撮像状態情報により特定される上記回転角度が特定角度である場合において回転処理される上記複数の画像と、上記撮像状態情報により特定される上記回転角度が特定角度でない場合において回転処理されない上記複数の画像とが、上記合成画像のサイズに応じた特定サイズとなるように上記画像処理を行うようにしてもよい。これにより、撮像状態情報により特定される回転角度が特定角度である場合において回転処理される複数の画像と、撮像状態情報により特定される回転角度が特定角度でない場合において回転処理されない複数の画像とが、合成画像のサイズに応じた特定サイズとなるように画像処理を行うという作用をもたらす。
【００１４】
また、この第１の側面において、上記画像処理部は、上記複数の画像のそれぞれが上記合成画像のサイズに応じた特定サイズとなるように上記画像処理を行うようにしてもよい。これにより、複数の画像のそれぞれが、合成画像のサイズに応じた特定サイズとなるように画像処理を行うという作用をもたらす。
【００１５】
また、この第１の側面において、複数種類の特定動作に関する加工情報を記憶する記憶部と、上記加工情報が記憶されている複数種類の特定動作のうちから所望の特定動作を指定する指定操作を受け付ける操作受付部とをさらに具備し、上記画像処理部は、上記指定された特定動作に関する加工情報を用いて上記取得された撮像状態情報に基づいて上記複数の画像について上記画像処理を行うようにしてもよい。これにより、複数種類の特定動作のうちから所望の特定動作を指定する指定操作を受け付けると、この指定された特定動作に関する加工情報を用いて、取得された撮像状態情報に基づいて複数の画像について画像処理を行うという作用をもたらす。
【００１６】
また、本発明の第２の側面は、被写体を撮像して時系列で連続する複数の画像を生成する撮像部と、上記生成された複数の画像の撮像動作時における撮像動作状態を示す撮像動作状態情報を取得する撮像動作状態取得部と、上記複数の画像に含まれる注目被写体による特定動作の遷移を表す合成画像を生成するための画像処理を上記取得された撮像状態情報に基づいて上記複数の画像について行う画像処理部と、上記画像処理が施された複数の画像を合成して合成画像を生成する画像合成部とを具備する撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像動作状態情報を取得し、合成画像を生成するための画像処理を、その取得された撮像状態情報に基づいて複数の画像について行い、この画像処理が施された複数の画像を合成して合成画像を生成するという作用をもたらす。
【発明の効果】
【００１７】
本発明によれば、ユーザ好みの構図により生成された画像を用いて適切に合成画像を生成することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。
【図３】本発明の第１の実施の形態における撮像装置１００を用いて行われる撮影の様子および撮影対象となる人物の動作遷移を模式的に示す。
【図４】本発明の第１の実施の形態における撮像部１３０により生成される撮像画像を時系列で模式的に示す図である。
【図５】本発明の第１の実施の形態における画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。
【図６】本発明の第１の実施の形態における表示部１９１の表示例および加工情報記憶部１４０の記憶内容の一例を示す図である。
【図７】本発明の第１の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。
【図８】本発明の第１の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。
【図９】本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。
【図１０】本発明の第１の実施の形態における表示部１９１の表示例および加工情報記憶部４１０の記憶内容の一例を示す図である。
【図１１】本発明の第１の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。
【図１２】本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。
【図１３】本発明の第１の実施の形態における表示部１９１の表示例および加工情報記憶部４５０の記憶内容の一例を示す図である。
【図１４】本発明の第１の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。
【図１５】本発明の第１の実施の形態における撮像装置５００の機能構成例を示すブロック図である。
【図１６】本発明の第１の実施の形態におけるレイヤ分離部５４１による合成対象画像の分離方法を模式的に示す図である。
【図１７】本発明の第１の実施の形態におけるレイヤ加工部５４２により回転処理された画像と、レイヤ加工部５４２により切取処理がされた画像とを簡略化して示す図である。
【図１８】本発明の第１の実施の形態におけるレイヤ合成部５４３による合成方法を模式的に示す図である。
【図１９】本発明の第１の実施の形態におけるレイヤ合成部５４３による合成対象画像の合成方法を模式的に示す図である。
【図２０】本発明の第２の実施の形態における撮像装置６００の機能構成例を示すブロック図である。
【図２１】本発明の第２の実施の形態における撮像装置６２０の機能構成例を示すブロック図である。
【図２２】本発明の第３の実施の形態における撮像装置による合成画像の生成対象となる注目被写体および特定動作の一例を示す図である。
【図２３】本発明の第３の実施の形態における撮像装置による合成画像の生成対象となる注目被写体および特定動作の特徴の一例を示す図である。
【図２４】本発明の第３の実施の形態における撮像装置７００の機能構成例を示すブロック図である。
【図２５】本発明の第３の実施の形態における表示部１９１の表示例を示す図である。
【図２６】本発明の第３の実施の形態における加工情報記憶部７２０の記憶内容の一例を示す図である。
【図２７】本発明の第３の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。
【図２８】本発明の第３の実施の形態における撮像装置７００による合成画像の生成の流れを模式的に示す図である。
【図２９】本発明の第４の実施の形態における携帯電話装置８５０の外観構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（合成画像生成制御：ユーザ操作により指定された撮像動作状態に基づいて画像の加工処理を行う例）
２．第２の実施の形態（合成画像生成制御：撮像装置により取得された撮像動作状態に基づいて画像の加工処理を行う例）
３．第３の実施の形態（合成画像生成制御：ユーザ操作により指定された撮像動作状態と注目被写体の特定動作とに基づいて画像の加工処理を行う例）
４．第４の実施の形態（合成画像生成制御：携帯電話装置への適用例）
【００２０】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、操作受付部１１０と、撮像動作状態取得部１２０と、撮像部１３０と、加工情報記憶部１４０と、画像処理部１５０と、画像合成部１６０と、合成画像保持部１７０と、合成画像記憶部１８０と、表示制御部１９０と、表示部１９１とを備える。撮像装置１００は、例えば、複数の画像データを連続して生成する連続撮像動作（連写動作）を行うことが可能なデジタルビデオカメラによって実現することができる。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。
【００２１】
操作受付部１１０は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた操作信号を、撮像動作状態取得部１２０、撮像部１３０または表示制御部１９０に出力する。例えば、操作受付部１１０は、合成画像を生成するための合成画像記録モードの設定を指示する合成画像記録モード設定操作が受け付けられた場合には、合成画像記録モードの設定を指示する制御信号を撮像部１３０に出力する。そして、撮像画像の表示開始を指示する制御信号を表示制御部１９０に出力する。なお、合成画像記録モードの設定操作は、例えば、合成画像記録モードの設定ボタンの押下操作により行われる。また、例えば、操作受付部１１０は、合成画像記録モードが設定されている場合において、撮像動作の開始を指示する開始指示操作が受け付けられた場合には、連続撮像動作の開始を指示する制御信号を撮像部１３０に出力する。また、例えば、操作受付部１１０は、撮像動作状態を指定する指定操作が受け付けられた場合には、指定された撮像動作状態の種類を示す制御信号を撮像動作状態取得部１２０に出力する。また、例えば、操作受付部１１０は、合成画像を表示させる指示操作が受け付けられた場合には、合成画像の表示を指示する制御信号を表示制御部１９０に出力する。これらの操作入力は、例えば、撮像装置１００に設けられているボタン等の操作部材を用いて行うようにしてもよく、また、リモコン（リモートコントローラ）操作等により無線通信により行うようにしてもよい。
【００２２】
撮像動作状態取得部１２０は、撮像動作時における撮像装置１００の状態（撮像動作状態）を取得するものであり、取得された撮像動作状態を示す情報（撮像動作状態情報）を保持する。この撮像動作状態情報は、図２に示すように、撮像装置１００の光軸を中心とした場合における撮像装置１００の回転角度を示す情報であり、例えば、０度（横撮り）、９０度（縦撮り）の情報が保持される。すなわち、撮像動作状態情報は、撮像動作時における撮像装置１００の撮像方向を軸とする回転角度を示す情報である。そして、撮像動作状態取得部１２０は、保持されている撮像動作状態情報を画像処理部１５０に供給する。
【００２３】
撮像部１３０は、レンズ（例えば、図２に示すレンズ１３１）を介して入射された被写体の光を電気信号に変換する撮像素子（図示せず）と、この撮像素子の出力信号を処理して撮像画像（画像データ）を生成する信号処理部（図示せず）とを備える。すなわち、撮像部１３０において、レンズを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより撮像画像が生成される。この撮像画像の生成は、操作受付部１１０から出力される撮像動作の開始指示情報に基づいて行われる。そして、生成された撮像画像が画像処理部１５０に供給されて、所定の画像処理が行われる。また、生成された撮像画像が表示制御部１９０に供給されて表示部１９１に表示される。
【００２４】
また、撮像部１３０は、合成対象画像記録モードが設定されている場合には、連続撮像動作を行う。連続撮像動作は、予め設定されている撮像間隔、またはユーザにより設定された撮像間隔で連続して撮像画像の生成処理を行うことにより、所定数の撮像画像を生成する撮像動作である。
【００２５】
加工情報記憶部１４０は、画像処理部１５０による合成対象画像の加工処理に用いられる情報（加工情報）を記憶するものであり、記憶されている加工情報を画像処理部１５０に供給する。なお、加工情報記憶部１４０の記憶内容については、図６（ｂ）を参照して詳細に説明する。
【００２６】
画像処理部１５０は、撮像部１３０から供給された撮像画像について、撮像動作状態取得部１２０に保持されている撮像動作状態情報に基づいて、合成画像として用いるための各種の加工処理を行うものである。具体的には、画像処理部１５０は、加工情報記憶部１４０に記憶されている加工情報のうち、撮像動作状態取得部１２０に保持されている撮像動作状態情報に関連付けられている加工情報に基づいて、撮像部１３０から供給された撮像画像について加工処理を行う。この加工処理として、切り取り、拡大縮小、回転、座標移動等の幾何学的な演算処理が行われる。そして、画像処理部１５０は、加工処理が施された画像（合成対象画像）を画像合成部１６０に出力する。なお、画像処理部１５０による加工処理については、図７および図８を参照して詳細に説明する。
【００２７】
画像合成部１６０は、画像処理部１５０から出力された合成対象画像について画像合成処理を行うことにより合成画像を生成するものであり、生成された合成画像を合成画像記憶部１８０に記憶させる。具体的には、画像合成部１６０は、画像処理部１５０から出力された合成対象画像が、当てはめるべき画素範囲に配置されるように、各合成対象画像を合成する。また、画像合成部１６０は、直前に合成対象となった合成対象画像の合成処理後に、その合成画像（履歴画像）を合成画像保持部１７０に順次保持させる。そして、画像合成部１６０は、次の合成対象となる合成対象画像の合成処理を行う際には、合成画像保持部１７０に保持されたその合成画像（履歴画像）を合成画像保持部１７０から取得して合成処理に用いる。また、生成途中の合成画像を表示する設定がされている場合には、画像合成部１６０が、合成対象画像の合成処理後に、その合成画像（履歴画像）を表示制御部１９０に順次供給する。これにより、その合成画像（履歴画像）が表示部１９１に順次表示される。なお。画像合成部１６０による画像合成処理については、図５、図７、図８を参照して詳細に説明する。
【００２８】
合成画像保持部１７０は、画像合成部１６０による画像合成処理において生成された合成画像（履歴画像）を順次保持するものであり、保持されている合成画像を画像合成部１６０に供給する。すなわち、合成画像保持部１７０には、画像合成部１６０による画像合成処理が行われている場合に、生成途中の合成画像が順次更新されて保持される。
【００２９】
合成画像記憶部１８０は、画像合成部１６０により生成された合成画像を記憶するものであり、記憶されている合成画像を表示制御部１９０に供給する。すなわち、合成画像記憶部１８０には、画像合成部１６０による画像合成処理が終了した場合に、その生成された合成画像が記憶される。
【００３０】
表示制御部１９０は、操作受付部１１０により受け付けられた操作入力に応じて、合成画像記憶部１８０に記憶されている合成画像または撮像部１３０から出力された撮像画像を表示部１９１に表示させるものである。また、表示制御部１９０は、操作受付部１１０により受け付けられた操作入力に応じて、各操作を行うための表示画面（例えば、図６（ａ）に示す撮像動作状態指定画面２００）を表示部１９１に表示させる。
【００３１】
表示部１９１は、表示制御部１９０の制御に基づいて、各画像を表示するものである。表示部１９１として、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等を用いることができる。
【００３２】
［撮像装置の外観構成例および撮像動作状態例］
図２は、本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。図２では、撮像装置１００の正面（すなわち、被写体に向けられるレンズ面）側の外観構成例を簡略化して示す。また、図２（ａ）には、撮像装置１００を用いて撮影が行われる場合における撮像動作状態の一例（いわゆる、横撮り）を示し、図２（ｂ）には、撮像装置１００を用いて撮影が行われる場合における撮像動作状態の他の例（いわゆる、縦撮り）を示す。なお、本発明の第１の実施の形態で示す撮像装置の外観は、説明の容易のため、簡略化して図示する。例えば、撮像装置１００の外側面には、電源スイッチ等の操作部材が備えられているが、これらの図示および説明を省略する。
【００３３】
撮像装置１００は、シャッターボタン（レリーズボタン）１１１およびレンズ１３１を備える。なお、シャッターボタン１１１は、図１に示す操作受付部１１０に対応し、レンズ１３１は、図１に示す撮像部１３０に対応する。
【００３４】
シャッターボタン１１１は、撮像部１３０により生成された画像データを静止画ファイルとして記録媒体（図示せず）に記録する際に押下されるボタンである。また、合成画像記録モードが設定されている場合において、シャッターボタン１１１が押下された場合には、合成画像を生成するための撮像画像（時系列で連続する複数の画像）の生成を指示する制御信号が撮像部１３０に供給される。この制御信号が供給されると、撮像部１３０は連続撮像動作を開始する。そして、撮像部１３０による連続撮像動作により生成された複数の画像が、画像処理部１５０に順次供給される。
【００３５】
レンズ１３１は、外界の光を集光するレンズであり、この入射光がズームレンズおよびフォーカスレンズを介して撮像部１３０の撮像素子に供給される。
【００３６】
ここで、撮像装置１００を用いて撮影を行う場合について説明する。例えば、撮像装置１００を用いて撮影を行う場合には、図２（ａ）に示すように、撮像範囲が横長となる撮影（いわゆる、横撮り）や、図２（ｂ）に示すように、撮像範囲が縦長となる撮影（いわゆる、縦撮り）が行われることが多い。すなわち、図２（ａ）に示すように、撮像範囲が横長となる撮影が行われる場合には、撮像装置１００の上下方向と、撮影者の上下方向とが同一となる。これに対して、図２（ｂ）に示すように、撮像範囲が縦長となる撮影が行われる場合には、例えば、図２（ａ）に示す撮像装置１００を、光軸１３２を回転軸として矢印１３３方向にα度（例えば、９０度）回転させた状態で撮影が行われる。このように、複数の撮像動作状態で生成された撮像画像の一例を図４に示す。
【００３７】
［合成画像の生成例］
次に、合成画像を生成する場合における生成処理の遷移の一例を簡略化して示す。
【００３８】
図３は、本発明の第１の実施の形態における撮像装置１００を用いて行われる撮影の様子および撮影対象となる人物の動作遷移を模式的に示す。
【００３９】
図３（ａ）には、撮像装置１００と、撮像装置１００の撮影対象となる人物３００との位置関係を模式的に示す。人物３００は、例えば、ゴルフ練習場でゴルフクラブ３０１のスイングの練習をしている人物である。人物３００は、図３（ａ）に示す姿勢から、ゴルフクラブ３０１を振り回すことにより、ゴルフクラブ３０１をゴルフボール３０２に当てて、ゴルフボール３０２を所望の方向に飛ばす。
【００４０】
図３（ｂ）には、人物３００の動作遷移を模式的に示す。画像３１１乃至３１８は、図３（ａ）に示す状態において、人物３００によるゴルフスイングの練習の様子を時系列で示す画像群である。また、図３（ｂ）では、画像３１１乃至３１８を時間軸に沿って並べて示す。例えば、画像３１１は、人物３００がゴルフスイングを開始した際における画像であり、画像３１８は、人物３００がゴルフスイングを終了した際における画像であるものとする。また、画像３１２乃至３１７は、画像３１１から画像３１８までの間に、ゴルフスイングをしている人物３００の動作遷移を表す画像である。
【００４１】
［撮像画像の生成例］
図４は、本発明の第１の実施の形態における撮像部１３０により生成される撮像画像を時系列で模式的に示す図である。図４（ａ）には、図２（ａ）に示す撮像装置１００の撮像動作状態（いわゆる、「横撮り」）で撮像部１３０により生成された撮像画像３３１乃至３３４（画像群３３０）を矩形により模式的に示す。図４（ｂ）には、図２（ｂ）に示す撮像装置１００の撮像動作状態（いわゆる、「縦撮り」）で撮像部１３０により生成された撮像画像３４１乃至３４４（画像群３４０）を矩形により模式的に示す。
【００４２】
なお、撮像画像３３１および３４１は、図３（ｂ）に示す画像３１１に対応し、撮像画像３３２および３４２は、図３（ｂ）に示す画像３１２に対応する。また、撮像画像３３３および３４３は、図３（ｂ）に示す画像３１３に対応し、撮像画像３３４および３４４は、図３（ｂ）に示す画像３１４に対応する。
【００４３】
ここで、撮像部１３０により生成される撮像画像の水平方向（左右方向）の長さ（横幅）をＷ１とし、垂直方向（上下方向）の長さ（縦幅）をＨ１とする。例えば、撮像部１３０により生成される撮像画像の画像サイズをＶＧＡサイズ（６４０画素×４８０画素）とすることができる。すなわち、Ｗ１＝６４０、Ｈ１＝４８０とすることができる。
【００４４】
次に、撮像部１３０による連続撮像動作により生成された複数の画像を用いて合成画像を生成する例について説明する。なお、この例では、連続撮像動作により生成される８枚の画像を用いて静止画の合成画像を生成する場合を例にして説明する。また、本発明の第１の実施の形態では、合成画像として、ゴルフスイングを行う人物の動作遷移に関する合成画像を生成する例を示す。
【００４５】
［合成画像の生成例］
図５は、本発明の第１の実施の形態における画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。
【００４６】
図５（ａ）には、撮像部１３０により生成された撮像画像（フレーム）Ｆ１乃至Ｆ８を模式的に示す。図５（ａ）および（ｂ）では、撮像部１３０により生成された撮像画像Ｆ１乃至Ｆ８を矩形で示し、この矩形内に各撮像画像を表す符号（Ｆ１乃至Ｆ８）を付す。
【００４７】
図５（ｂ）には、合成対象画像（撮像画像Ｆ１乃至Ｆ８）により生成される合成画像３２０を模式的に示す。図５（ｂ）では、図５（ａ）と同様に、合成対象画像を矩形で示し、この矩形内に各合成対象画像を表す符号（Ｆ１乃至Ｆ８）を付す。
【００４８】
画像処理部１５０は、撮像部１３０により生成された撮像画像Ｆ１乃至Ｆ８について、合成のための加工処理（例えば、両端部の切り取り）を行う。そして、画像合成部１６０は、画像処理部１５０により加工処理が施された合成対象画像Ｆ１乃至Ｆ８を合成することにより、合成画像３２０を生成する。例えば、画像合成部１６０は、画像処理部１５０により加工処理が施された合成対象画像Ｆ１乃至Ｆ８を時系列で並べて合成する。例えば、上部の左端部から時系列で４つの合成対象画像Ｆ１乃至Ｆ４を並べるように合成させ、また、下部の左端部から時系列で４つの合成対象画像Ｆ５乃至Ｆ８を並べるように合成させる。なお、合成対象画像の合成位置については、例えば、撮像部１３０による連続撮像動作の生成順序に基づいて決定される。
【００４９】
これにより、例えば、図５（ｃ）に示すように、ゴルフスイングの練習を行う人物の動作の遷移を表す合成画像３２１が生成される。
【００５０】
図５（ｃ）には、画像合成部１６０により生成された合成画像３２１を簡略化して示す。合成画像３２１は、図４（ｂ）に示す画像３１１乃至３１８に対応する撮像画像を用いて生成された合成画像である。ここで、合成画像３２１を構成する各合成対象画像の水平方向（左右方向）の長さ（横幅）をＷ２とし、垂直方向（上下方向）の長さ（縦幅）をＨ２とする。また、合成画像３２１の水平方向（左右方向）の長さ（横幅）をＷ１０とし、垂直方向（上下方向）の長さ（縦幅）をＨ１０とする。すなわち、Ｗ１０＝Ｗ２×４であり、Ｈ１０＝Ｈ２×２である。
【００５１】
ここで、上述したように、撮像装置１００を用いて行われる撮像動作状態として、複数の撮像動作状態（例えば、図２に示す「横撮り」および「縦撮り」）が想定される。また、図４に示すように、同一の被写体を撮像する場合でも、撮像動作状態が異なる場合には、撮像画像に含まれる被写体の向きが異なることになる。例えば、図４（ａ）に示す画像群３３０を用いて合成画像を生成する生成処理と、図４（ｂ）に示す画像群３４０を用いて合成画像を生成する生成処理とを同一の生成処理をする場合を想定する。この場合には、何れかの合成画像に含まれる人物の向きが横向きとなり、その動作遷移を正確に把握することができないおそれがある。このため、例えば、生成された撮像画像を用いて合成画像を生成する場合には、撮像動作状態に応じて、被写体の向きを考慮する必要がある。そこで、本発明の第１の実施の形態では、撮像画像の生成時における撮像動作状態を取得し、この取得された撮像動作状態に基づいて、撮像画像の加工処理を行うことにより、適切な合成画像を生成する例を示す。
【００５２】
［撮像動作状態の指定画面の表示例および加工情報記憶部の記憶例］
図６は、本発明の第１の実施の形態における表示部１９１の表示例（撮像動作状態指定画面２００）および加工情報記憶部１４０の記憶内容の一例を示す図である。
【００５３】
図６（ａ）には、撮像動作状態を指定するための撮像動作状態指定画面２００を示す。撮像動作状態指定画面２００には、「横撮り」ボタン２０１と、「縦撮り」ボタン２０２と、戻るボタン２０３と、決定ボタン２０４とが設けられている。
【００５４】
「横撮り」ボタン２０１および「縦撮り」ボタン２０２は、動作遷移に関する合成画像を構成する画像を撮像する場合における撮像動作状態を指定する際に押下されるボタンである。例えば、表示部１９１がタッチパネルにより構成されている場合には、所望のボタンの押下操作により指定することができる。例えば、図２（ａ）に示す撮像装置１００の状態（いわゆる、横撮り）で撮影が行われる場合には、「横撮り」ボタン２０１が押下される。また、例えば、図２（ｂ）に示す撮像装置１００の状態（いわゆる、縦撮り）で撮影が行われる場合には、「縦撮り」ボタン２０２が押下される。
【００５５】
決定ボタン２０４は、撮像動作状態を指定する押下操作がされた後に、その指定を決定する際に押下されるボタンである。戻るボタン２０３は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
【００５６】
図６（ｂ）には、加工情報記憶部１４０の記憶内容の一例を模式的に示す。加工情報記憶部１４０には、回転角度１４３と、合成対象画像のアスペクト比１４４と、合成対象画像のサイズ１４５とが、横撮り１４１および縦撮り１４２に関連付けて格納されている。なお、横撮り１４１は、図２（ａ）に示す撮像動作状態に対応し、縦撮り１４２は、図２（ｂ）に示す撮像動作状態に対応する。
【００５７】
回転角度１４３には、図２（ａ）に示す撮像動作状態を基準とした場合における回転角度が格納される。例えば、横撮り１４１に関連付けて「０度」が格納され、縦撮り１４２に関連付けて「９０度」が格納される。
【００５８】
合成対象画像のアスペクト比１４４には、合成対象画像のアスペクト比が格納される。なお、アスペクト比は、画像の縦および横の長さ（ピクセル数）の比を意味する値である。例えば、人物がゴルフスイングを行う場合には、そのスイングは立った状態で行われ、また、水平方向の移動量もほとんどない。このため、例えば、合成対象画像のアスペクト比として、比較的縦長となる値（例えば、アスペクト比「３：４」）が格納される。
【００５９】
合成対象画像のサイズ１４５には、合成対象画像のサイズが格納される。このサイズは、合成画像のサイズ、合成画像を構成する合成対象画像の数、合成対象画像のアスペクト比等に基づいて決定される。
【００６０】
ここで、例えば、図６（ａ）に示す撮像動作状態指定画面２００において、所望のボタン（例えば、「横撮り」ボタン２０１）が押下され、決定ボタン２０４が押下された場合を想定する。この場合には、その旨の操作信号が操作受付部１１０から撮像動作状態取得部１２０に出力され、撮像動作状態取得部１２０がその指定された撮像動作状態を示す撮像動作状態情報（横撮り）を保持する。そして、画像処理部１５０は、撮像動作状態取得部１２０に保持されている撮像動作状態情報（横撮り）に関連付けて加工情報記憶部１４０に格納されている加工情報（横撮り１４１）に基づいて、撮像部１３０から供給された画像について各加工処理を行う。この加工処理については、図７および図８を参照して詳細に説明する。
【００６１】
［撮像動作状態に基づく画像合成の生成例］
図７および図８は、本発明の第１の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。図７に示す例では、図６（ａ）に示す撮像動作状態指定画面２００において「横撮り」ボタン２０１が押下され、決定ボタン２０４が押下された場合における撮像画像の加工処理および合成画像の生成処理の一例を示す。
【００６２】
図７（ａ）には、撮像部１３０により生成された撮像画像３３３を矩形により模式的に示す。この撮像画像３３３は、図４（ａ）に示す撮像画像３３３と同一であるものとする。また、図４（ａ）に示す画像群３３０に含まれる他の撮像画像（撮像画像３３１、３３２、３３４乃至３３６等）については、図示およびその説明を省略する。
【００６３】
図７（ｂ）には、画像処理部１５０による加工処理の流れを模式的に示す。加工処理の対象となる撮像画像３３３は、上述したように、横幅Ｗ１および縦幅Ｈ１の画像サイズである。また、撮像画像３３３には縦方向に立った人物が含まれているため、回転処理を行う必要がない。また、撮像画像３３３に含まれる人物を基準とする場合に撮像画像３３３は横長であるのに対し、合成画像を構成する各合成対象画像のサイズは縦長である。このため、撮像画像３３３については、切取処理および拡大縮小処理（または切取処理のみ）を行う必要がある。
【００６４】
すなわち、画像処理部１５０は、「横撮り」１４１に関連付けて加工情報記憶部１４０（図６（ｂ）に示す）に格納されている加工情報に基づいて、撮像画像３３３について切取処理および拡大縮小処理（または切取処理のみ）を行う。例えば、画像処理部１５０は、撮像画像３３３の両端部の領域を切り取った後の画像のアスペクト比が、合成対象画像のアスペクト比１４４（図６（ｂ）に示す）と同一となるように、撮像画像３３３について切取処理を行う。また、画像処理部１５０は、両端部の領域を切り取った後の画像が、合成対象画像のサイズ１４５（図６（ｂ）に示す）となるように、撮像画像３３３について拡大縮小処理を行う。なお、「横撮り」１４１に関連付けて加工情報記憶部１４０に格納されている回転角度１４３（図６（ｂ）に示す）は「０度」であるため、回転処理は行われない。
【００６５】
具体的には、画像処理部１５０は、撮像画像３３３における両端部の横幅Ｗ３の領域（切取領域３５２および３５３）を切り取り、横幅Ｗ４および縦幅Ｈ１の画像サイズとする切取処理を行う。この切取処理では、切取処理の前後における画像（撮像画像および切り取った後の画像）の中心位置を一致させる。続いて、画像処理部１５０は、横幅Ｗ４および縦幅Ｈ１の画像が、横幅Ｗ２および縦幅Ｈ２の画像サイズとなるように、拡大縮小処理を行う。
【００６６】
例えば、撮像部１３０により生成される撮像画像３３３の画像サイズをＶＧＡサイズとする場合を想定する（すなわち、Ｗ１＝６４０、Ｈ１＝４８０）。また、合成画像のサイズを１４４０画素×９６０画素とし（すなわち、Ｗ１０＝１４４０、Ｈ１０＝９６０）、合成画像の１コマのサイズ（合成対象画像のサイズ）を３６０画素×４８０画素とする（すなわち、Ｗ２＝３６０、Ｈ２＝４８０）。この場合に、撮像画像の画像サイズの縦幅Ｈ１と、合成対象画像のサイズの縦幅Ｈ２とが同一である。このため、画像処理部１５０は、撮像画像３３３における両端部の横幅Ｗ３（１４０画素）の領域（切取領域３５２および３５３）を切り取る切取処理のみを行う。すなわち、この切取処理後の画像サイズＷ４×Ｈ１（３６０画素×４８０画素）と、合成対象画像の１コマのサイズＷ２×Ｈ２（３６０画素×４８０画素）とが同一であるため、拡大縮小処理が行われない。
【００６７】
続いて、画像合成部１６０が、画像処理部１５０により加工処理が施された合成対象画像３５１について合成処理を行う。
【００６８】
図７（ｃ）には、画像合成部１６０により合成処理がされた画像（合成画像３５４）を簡略化して示す。この例では、図５（ｃ）に示す合成画像３２１が生成されるまでの間におけるある時点の合成状態を示す。例えば、図７（ｃ）に示す状態は、合成対象画像３５１（３つの合成対象画像３５５、３５６、３５１）について合成処理が行われた時点であるものとする。なお、合成対象画像３５５、３５６は、図４（ａ）に示す撮像画像３３１、３３２について画像処理部１５０により加工処理が施された画像である。
【００６９】
図７（ｂ）に示すように、画像処理部１５０により撮像画像３３３について加工処理が施されて合成対象画像３５１が生成される。続いて、画像合成部１６０が、合成対象画像３５１を、既に生成されている合成画像（合成対象画像３５５および３５６）に合成することにより、合成画像３５４を生成する。
【００７０】
ここで、画像合成部１６０は、図７（ｃ）に示すように、３以上の合成対象画像を順次合成させて合成画像を生成する場合には、時系列に沿って合成対象画像を順次合成することにより、合成画像を生成する。また、時系列で連続する２つの合成対象画像のうち、時間軸において前の合成対象画像については、その後の合成対象画像の合成処理時までの間、合成画像保持部１７０に保持させておく。
【００７１】
このように、画像合成部１６０により生成された合成画像は、合成画像記憶部１８０に記憶される。そして、例えば、ユーザ操作に応じて、表示部１９１に表示される。また、例えば、画像合成部１６０により合成画像が生成される毎に、自動的に表示部１９１に表示させるようにしてもよい。
【００７２】
図８に示す例では、図６（ａ）に示す撮像動作状態指定画面２００において「縦撮り」ボタン２０２が押下され、決定ボタン２０４が押下された場合における撮像画像の加工処理および合成画像の生成処理の一例を示す。
【００７３】
図８（ａ）には、撮像部１３０により生成された撮像画像３４３を矩形により模式的に示す。この撮像画像３４３は、図４（ｂ）に示す撮像画像３４３と同一であるものとする。また、図４（ｂ）に示す画像群３４０に含まれる他の撮像画像（撮像画像３４１、３４２、３４４乃至３４６等）については、図示およびその説明を省略する。
【００７４】
図８（ｂ）には、画像処理部１５０による加工処理の流れを模式的に示す。加工処理の対象となる撮像画像３４３は、上述したように、横幅Ｗ１および縦幅Ｈ１の画像サイズである。また、撮像画像３４３には横方向に立った人物が含まれているため、回転処理を行う必要がある。また、撮像画像３４３に含まれる人物を基準とする場合に撮像画像３４３は縦長であり、合成画像を構成する各合成対象画像のサイズも縦長である。このため、撮像画像３４３については、切取処理により切り取られる領域を、図７（ａ）に示す撮像画像３３３よりも少なくすることができる。
【００７５】
すなわち、画像処理部１５０は、「縦撮り」１４２に関連付けて加工情報記憶部１４０（図６（ｂ）に示す）に格納されている回転角度１４３（９０度）に基づいて撮像画像３４３について回転処理を行う。また、画像処理部１５０は、「縦撮り」１４２に関連付けて加工情報記憶部１４０に格納されている他の加工情報に基づいて、撮像画像３４３について切取処理および拡大縮小処理を行う。例えば、画像処理部１５０は、所定領域を切り取った後の画像のアスペクト比が、合成対象画像のアスペクト比１４４（図６（ｂ）に示す）と同一となるように、撮像画像３４３について切取処理を行う。また、画像処理部１５０は、所定領域を切り取った後の画像が、合成対象画像のサイズ１４５（図６（ｂ）に示す）となるように、撮像画像３４３について拡大縮小処理を行う。なお、回転処理後の撮像画像３４３が、合成対象画像のサイズとなっている場合には、切取処理および拡大縮小処理が行われない。
【００７６】
具体的には、画像処理部１５０は、撮像画像３４３を矢印３６０方向に９０度回転させる回転処理を行う。また、画像処理部１５０は、回転処理後の撮像画像３４３が、合成対象画像のサイズ１４５（図６（ｂ）に示す）となるように、撮像画像３４３について切取処理および拡大縮小処理を行う。
【００７７】
例えば、撮像部１３０により生成される撮像画像３４３の画像サイズ、合成画像のサイズ、合成画像の１コマのサイズ（合成対象画像のサイズ）を、図７に示す例と同一とする場合を想定する。すなわち、Ｗ１＝６４０、Ｈ１＝４８０、Ｗ２＝３６０、Ｈ２＝４８０、Ｗ１０＝１４４０、Ｈ１０＝９６０とする場合を想定する。
【００７８】
この場合に、回転処理後の撮像画像３４３のアスペクト比（Ｈ１：Ｗ１＝３：４）と、合成対象画像のアスペクト比１４４（３：４）とが同一である。このため、画像処理部１５０は、撮像画像３４３についての切取処理を行わず、拡大縮小処理のみを行う。すなわち、画像処理部１５０は、回転処理後の画像サイズＨ１×Ｗ１（４８０画素×６４０画素）が、合成画像の１コマのサイズＷ２×Ｈ２（３６０画素×４８０画素）となるように縮小処理を行い、合成対象画像３６１を生成する。
【００７９】
続いて、画像合成部１６０が、画像処理部１５０により加工処理が施された合成対象画像３６１について合成処理を行う。
【００８０】
図８（ｃ）には、画像合成部１６０により合成処理がされた画像（合成画像３６２）を簡略化して示す。この例では、図５（ｃ）に示す合成画像３２１が生成されるまでの間におけるある時点の合成状態を示す。例えば、図８（ｃ）に示す状態は、合成対象画像３６１（３つの合成対象画像３６３、３６４、３６１）について合成処理が行われた時点であるものとする。なお、合成対象画像３６３、３６４は、図４（ｂ）に示す撮像画像３４１、３４２について画像処理部１５０により加工処理が施された画像である。
【００８１】
図８（ｂ）に示すように、画像処理部１５０により撮像画像３４３について加工処理が施されて合成対象画像３６１が生成される。続いて、画像合成部１６０が、合成対象画像３６１を、既に生成されている合成画像（合成対象画像３６３および３６４）に合成することにより、合成画像３６２を生成する。
【００８２】
このように、画像合成部１６０により生成された合成画像は、合成画像記憶部１８０に記憶される。そして、例えば、ユーザ操作に応じて、表示部１９１に表示される。また、例えば、画像合成部１６０により合成画像が生成される毎に、自動的に表示部１９１に表示させるようにしてもよい。
【００８３】
ここで、横撮りで撮影が行われた場合に生成される合成画像と、縦撮りで撮影が行われた場合に生成される合成画像とについて説明する。例えば、横撮りで撮影が行われた場合には、図７（ｂ）に示すように、加工処理により撮像画像３３３の両端部の切取領域３５２および３５３（１４０画素×４８０画素×２）が不要な領域として破棄される。このため、横撮りで撮影が行われて合成画像が生成される場合には、撮像部１３０により生成される撮像画像の解像度のうち、一部の解像度を有効に活かすことができない可能がある。例えば、図７（ｂ）に示す例では、撮像部１３０により生成される撮像画像３３３の解像度（６４０画素×４８０画素）のうち、３６０画素×４８０画素のみしか活かすことができない。
【００８４】
一方、例えば、縦撮りで撮影が行われた場合には、図８（ｂ）に示すように、加工処理において、撮像画像３４３のうち不要な領域として破棄される領域がほとんど存在しない。このため、縦撮りで撮影が行われて合成画像が生成される場合には、撮像部１３０により生成される撮像画像の解像度を有効に活かすことができる。すなわち、撮像画像や撮像素子の高い解像度を十分に生かすことができる。また、比較的低い解像度の画像と、比較的高い解像度の画像とをリサイズして、同一サイズの画像を生成する場合には、比較的高い解像度の画像の方がノイズを低減させることができる。
【００８５】
このように、図８（ｂ）に示す例では、撮像部１３０により生成される撮像画像３４３の解像度（６４０画素×４８０画素）を十分に活かして合成画像を生成することができる。このため、撮像部１３０による撮像対象となる撮像範囲を十分に活かして撮影を行うことができる。例えば、合成画像を生成するための撮像を行う場合に、撮影者は、撮像範囲に注目被写体（例えば、ゴルフプイレイヤー）が十分含まれるように、縦撮りを行うことができる。このため、縦長の被写体を比較的近接距離で（または、ズーム撮影）撮影することが可能になる。また、例えば、ゴルフの打ちっぱなし場で撮影する場合には、比較的狭い場所で撮影することが多い。このように比較的狭い場所（狭い撮影空間）で撮影を行う場合にも、縦撮りを行うことができるため、ユーザ好みの構図で撮影された画像を用いて合成画像を容易に生成することができる。なお、このように狭い撮影空間で撮影を行う場合には、例えば、ワイドコンバージョンレンズ等と組み合わせて撮影を行うことによりその効果を高めることができる。
【００８６】
また、合成画像に用いる撮像画像の不要な領域を削減することができるため、撮像画像を保持するメモリ等のリソースや消費電力の浪費を抑えることができる。
【００８７】
［撮像装置の動作例］
図９は、本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。この例では、撮像動作状態がユーザにより指定され、この指定された撮像動作状態情報が撮像動作状態取得部１２０に保持されている場合を例にして説明する。
【００８８】
最初に、合成画像記録モードが設定されているか否かが判断される（ステップＳ９００）。合成画像記録モードが設定されていない場合には（ステップＳ９００）、合成画像生成処理の動作を終了する。合成画像記録モードが設定されている場合には（ステップＳ９００）、撮像動作の指示操作が行われたか否かが判断される（ステップＳ９０１）。撮像動作の指示操作が行われていない場合には（ステップＳ９０１）、撮像動作の指示操作が行われるまで監視を継続する。
【００８９】
また、撮像動作の指示操作が行われた場合には（ステップＳ９０１）、撮像部１３０が撮像画像の生成処理を行う（ステップＳ９０２）。そして、この生成された撮像画像を処理対象画像とする。
【００９０】
続いて、画像処理部１５０が、撮像動作状態取得部１２０に保持されている撮像動作状態情報を取得し、これに関連付けて加工情報記憶部１４０に記憶されている加工情報（指定された撮像動作状態に対応する加工情報）を取得する（ステップＳ９０３）。なお、この例では、撮像画像が生成される毎に、撮像動作状態情報および加工情報を取得する例を示す。ただし、撮像動作の開始指示があった後に（ステップＳ９０１）、撮像動作状態情報および加工情報を取得し、この取得された加工情報を画像処理部１５０が保持して加工処理に用いるようにしてもよい。なお、ステップＳ９０３は、特許請求の範囲に記載の撮像動作状態取得手順の一例である。
【００９１】
続いて、画像処理部１５０が、取得された加工情報（指定された撮像動作状態に対応する加工情報）に基づいて加工処理を行う（ステップＳ９０４乃至Ｓ９０９）。具体的には、画像処理部１５０が、取得された加工情報の回転角度（図６（ｂ）に示す回転角度１４３）が「０度」であるか否かを判断する（ステップＳ９０４）。そして、回転角度が「０度」でない場合には（ステップＳ９０４）、画像処理部１５０が、取得された加工情報の回転角度に基づいて、処理対象画像について回転処理を行い（ステップＳ９０５）、ステップＳ９０６に進む。また、回転角度が「０度」である場合には（ステップＳ９０４）、ステップＳ９０６に進む。
【００９２】
続いて、画像処理部１５０が、取得された加工情報のアスペクト比（図６（ｂ）に示す合成対象画像のアスペクト比１４４）と、処理対象画像のアスペクト比とが同一であるか否かを判断する（ステップＳ９０６）。これらのアスペクト比が同一でない場合には（ステップＳ９０６）、画像処理部１５０が、加工情報のアスペクト比と、撮像画像のアスペクト比とが同一となるように、処理対象画像について切取処理を行い（ステップＳ９０７）、ステップＳ９０８に進む。また、加工情報のアスペクト比と、撮像画像のアスペクト比とが同一である場合には（ステップＳ９０６）、ステップＳ９０８に進む。
【００９３】
続いて、画像処理部１５０が、指定された撮像動作状態に対応する加工情報のサイズ（図６（ｂ）に示す合成対象画像のサイズ１４４）と、処理対象画像のサイズとが同一であるか否かを判断する（ステップＳ９０８）。これらのサイズが同一でない場合には（ステップＳ９０８）、画像処理部１５０が、加工情報のサイズと、処理対象画像のサイズとが同一となるように、処理対象画像について拡大縮小処理を行い（ステップＳ９０９）、ステップＳ９１０に進む。また、加工情報のサイズと、処理対象画像のサイズとが同一である場合には（ステップＳ９０８）、ステップＳ９１０に進む。なお、この例では、回転処理、切取処理、拡大縮小処理の順序で加工処理を行う例を示すが、これらの順序を変更して加工処理を行うようにしてもよい。例えば、拡大縮小処理、切取処理、回転処理の順序で加工処理を行うようにしてもよい。なお、ステップＳ９０４乃至Ｓ９０９は、特許請求の範囲に記載の画像処理手順の一例である。
【００９４】
続いて、画像合成部１６０が、加工処理が施された処理対象画像について画像合成処理を行う（ステップＳ９１０）。なお、ステップＳ９１０は、特許請求の範囲に記載の画像合成手順の一例である。続いて、生成途中の合成画像を表示する設定がされているか否かが判断される（ステップＳ９１１）。生成途中の合成画像を表示する設定がされている場合には（ステップＳ９１１）、表示制御部１９０が、処理対象画像の合成処理後の合成画像（生成途中の合成画像）を表示部１９１に表示させる（ステップＳ９１２）。また、生成途中の合成画像を表示する設定がされていない場合には（ステップＳ９１１）、ステップＳ９１３に進む。
【００９５】
続いて、所定数の処理対象画像の合成処理が終了したか否かが判断され（ステップＳ９１３）、所定数の処理対象画像の合成処理が終了した場合には、合成画像生成処理の動作を終了する。このように生成された合成画像は合成画像記憶部１８０に記憶される。また、合成画像生成処理の動作終了後に、生成された合成画像を自動的に表示部１９１に表示させるようにしてもよい。一方、所定数の処理対象画像の合成処理が終了していない場合には（ステップＳ９１３）、ステップＳ９０２に戻る。
【００９６】
［合成対象画像の数を変更して合成画像を生成する例］
以上では、合成画像を構成する合成対象画像の数が同一である場合における画像合成の生成例を示した。ここで、例えば、ゴルフスイングの動作遷移をさらに細かく見たいような場合には、合成対象画像の数を増加して合成画像を生成する場合も想定される。そこで、以下では、ユーザ操作により撮像動作状態および合成対象画像の数を指定して、合成画像を生成する例を示す。また、この例では、合成対象画像の数として、８または１０を指定する例を示す。
【００９７】
［撮像動作状態および合成対象画像の数の指定画面の表示例および加工情報記憶部の記憶例］
図１０は、本発明の第１の実施の形態における表示部１９１の表示例（指定画面４００）および加工情報記憶部４１０の記憶内容の一例を示す図である。
【００９８】
図１０（ａ）には、撮像動作状態および合成対象画像の数を指定するための指定画面４００を示す。指定画面４００は、図６（ａ）に示す撮像動作状態指定画面２００の一部を変形したものである。このため、撮像動作状態指定画面２００と共通する部分には、共通の符号を付して、これらの説明を省略する。
【００９９】
指定画面４００には、「横撮り、８枚」ボタン４０１と、「縦撮り、８枚」ボタン４０２と、「横撮り、１０枚」ボタン４０３と、「縦撮り、１０枚」ボタン４０４と、戻るボタン２０３と、決定ボタン２０４とが設けられている。
【０１００】
「横撮り、８枚」ボタン４０１および「縦撮り、８枚」ボタン４０２は、図６（ａ）に示す「横撮り」ボタン２０１および「縦撮り」ボタン２０２に対応するボタンであり、合成対象画像の数として８を指定する場合に押下されるボタンである。
【０１０１】
「横撮り、１０枚」ボタン４０３および「縦撮り、１０枚」ボタン４０４は、合成対象画像の数として１０を指定する場合に押下されるボタンである。また、「横撮り、１０枚」ボタン４０３および「縦撮り、１０枚」ボタン４０４は、図６（ａ）に示す例と同様に、動作遷移に関する合成画像を構成する画像を撮像する場合における撮像動作状態を指定する際に押下される。例えば、図２（ａ）に示す撮像装置１００の状態（いわゆる、横撮り）で撮影が行われる場合には、「横撮り、１０枚」ボタン４０３が押下される。また、例えば、図２（ｂ）に示す撮像装置１００の状態（いわゆる、縦撮り）で撮影が行われる場合には、「縦撮り、１０枚」ボタン４０４が押下される。
【０１０２】
図１０（ｂ）には、加工情報記憶部４１０の記憶内容の一例を模式的に示す。なお、加工情報記憶部４１０は、図６（ｂ）に示す加工情報記憶部１４０の一部を変更したものである。このため、以下では、加工情報記憶部１４０と異なる部分を中心にして説明し、共通する部分についての説明の一部を省略する。
【０１０３】
加工情報記憶部４１０には、回転角度４１５と、合成対象画像のアスペクト比４１６と、合成対象画像のサイズ４１７とが、横撮り（８枚）４１１、縦撮り（８枚）４１２、横撮り（１０枚）４１３および縦撮り（１０枚）４１４に関連付けて格納されている。なお、横撮り（８枚）４１１および横撮り（１０枚）４１３は、図２（ａ）に示す撮像動作状態に対応し、縦撮り（８枚）４１２および縦撮り（１０枚）４１４は、図２（ｂ）に示す撮像動作状態に対応する。
【０１０４】
回転角度４１５、合成対象画像のアスペクト比４１６および合成対象画像のサイズ４１７は、図６（ｂ）に示す回転角度１４３、合成対象画像のアスペクト比１４４および合成対象画像のサイズ１４５に対応する。すなわち、横撮り（８枚）４１１および縦撮り（８枚）４１２に対応する回転角度４１５、合成対象画像のアスペクト比４１６および合成対象画像のサイズ４１７には、図６（ｂ）と同一の加工情報が格納されている。また、横撮り（１０枚）４１３および縦撮り（１０枚）４１４に対応する回転角度４１５、合成対象画像のアスペクト比４１６および合成対象画像のサイズ４１７には、合成画像のサイズおよび合成対象画像の数に応じて各値が格納されている。
【０１０５】
［撮像動作状態に基づく画像合成の生成例］
図１１は、本発明の第１の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。この例は、図１０（ａ）に示す指定画面４００において「縦撮り、１０枚」ボタン４０４が押下され、決定ボタン２０４が押下された場合における撮像画像の加工処理および合成画像の生成処理の一例を示す。なお、この例は、図８に示す例の変形例であり、加工処理の一部が異なる。このため、以下では、図８に示す例と異なる部分を中心にして説明し、共通する部分についての説明の一部を省略する。なお、「縦撮り、１０枚」ボタン４０４が押下され、決定ボタン２０４が押下された場合における撮像画像の加工処理および合成画像の生成処理については、切取領域の範囲が異なる以外は、図７に示す例と同様である。
【０１０６】
図１１（ａ）には、撮像部１３０により生成された撮像画像３４３を矩形により模式的に示す。この撮像画像３４３は、図８（ａ）と同様に、図４（ｂ）に示す撮像画像３４３と同一であるものとする。
【０１０７】
図１１（ｂ）には、画像処理部１５０による加工処理の流れを模式的に示す。回転処理については、図８（ｂ）に示す例と同様である。また、画像処理部１５０は、「縦撮り（１０枚）」４１４に関連付けて加工情報記憶部４１０に格納されている他の加工情報に基づいて、撮像画像３４３について切取処理および拡大縮小処理を行う。
【０１０８】
例えば、撮像部１３０により生成される撮像画像３３３の画像サイズをＶＧＡサイズとする場合を想定する（すなわち、Ｗ１＝６４０、Ｈ１＝４８０）。また、合成画像のサイズを１４４０画素×９６０画素とし（すなわち、Ｗ１０＝１４４０、Ｈ１０＝９６０）、合成画像の１コマのサイズ（合成対象画像のサイズ）を２８８画素×４８０画素とする（すなわち、Ｗ５＝２８８、Ｈ２＝４８０）。
【０１０９】
この場合に、回転処理後の撮像画像３４３のアスペクト比（Ｈ１：Ｗ１＝３：４）と、合成対象画像のアスペクト比４１６（３：５）とが異なる。このため、画像処理部１５０は、撮像画像３４３について切取処理を行い、さらに拡大縮小処理を行う。すなわち、画像処理部１５０は、撮像画像３４３における両端部の横幅Ｈ３（４８画素）の領域（切取領域４２１および４２２）を切り取る切取処理を行う。続いて、回転処理後の画像サイズＨ４×Ｗ１（３８４画素×６４０画素）が、合成画像の１コマのサイズＷ５×Ｈ２（２８８画素×４８０画素）となるように縮小処理を行い、合成対象画像４２３を生成する。
【０１１０】
続いて、画像合成部１６０が、画像処理部１５０により加工処理が施された合成対象画像３６１について合成処理を行う。
【０１１１】
図１１（ｃ）には、画像合成部１６０により合成処理がされた画像（合成画像４２４）を簡略化して示す。なお、合成対象画像４２５、４２６は、図４（ｂ）に示す撮像画像３４１、３４２について画像処理部１５０により加工処理が施された画像である。
【０１１２】
図１１（ｂ）に示すように、画像処理部１５０により撮像画像３４３について加工処理が施されて合成対象画像４２３が生成される。続いて、画像合成部１６０が、合成対象画像４２３を、既に生成されている合成画像（合成対象画像４２５および４２６）に合成することにより、合成画像４２４を生成する。
【０１１３】
このように、合成画像のサイズを同一とし、合成対象画像の数を変更する場合についても、ユーザの指定操作により容易に合成画像を生成することができる。
【０１１４】
ここで、合成対象画像の数を増加する場合には、横撮りおよび縦撮りの何れの場合についても切取領域が発生する。例えば、横撮りの場合には、合成対象画像のサイズを２８８画素×４８０画素とするため、両端部の切取領域（１７６画素×２）を切り取る必要がある。すなわち、縦撮りの場合における切取領域の面積（１枚の面積）は、６１４４０（＝４８画素×６４０画素×２）となるのに対し、横撮りの場合における切取領域の面積は、１６８９６０（＝１７６画素×４８０画素×２）となる。このため、縦撮りにより合成画像を生成する場合には、横撮りにより合成画像を生成する場合と比較して、３倍近くの切取領域を削減することが可能である。
【０１１５】
［他の撮像動作状態を指定して合成画像を生成する例］
以上では、横撮りおよび縦撮りの２種類の撮像動作状態を指定して合成画像を生成する例を示した。ここで、例えば、撮像装置１００を斜めに傾けた状態（いわゆる、斜め撮り）で撮像動作が行われる場合も想定される。そこで、以下では、ユーザ操作により斜め撮りを指定して合成画像を生成する例を示す。
【０１１６】
［撮像動作状態例］
図１２は、本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。図１２に示す例は、撮像装置１００を用いて撮影が行われる場合における撮像動作状態の一例（いわゆる、斜め撮り）を示す例である。
【０１１７】
ここで、撮像装置１００を用いて斜め撮りを行う場合には、例えば、図１２に示すように、撮像範囲が斜め方向に縦長となるように撮影が行われる。具体的には、例えば、図１２に示す撮像装置１００を、光軸１３２を回転軸として矢印４３０方向にβ度（例えば、４０乃至６０度）回転させた状態で撮影が行われる。
【０１１８】
［撮像動作状態の指定画面の表示例および加工情報記憶部の記憶例］
図１３は、本発明の第１の実施の形態における表示部１９１の表示例（撮像動作状態指定画面４４０）および加工情報記憶部４５０の記憶内容の一例を示す図である。
【０１１９】
図１３（ａ）には、撮像動作状態を指定するための撮像動作状態指定画面４４０を示す。撮像動作状態指定画面４４０は、図６（ａ）に示す撮像動作状態指定画面２００の一部を変形したものである。このため、撮像動作状態指定画面２００と共通する部分には、共通の符号を付して、これらの説明を省略する。
【０１２０】
撮像動作状態指定画面４４０には、「横撮り」ボタン２０１と、「縦撮り」ボタン２０２と、「斜め撮り」ボタン４４１と、戻るボタン２０３と、決定ボタン２０４とが設けられている。
【０１２１】
「斜め撮り」ボタン４４１は、動作遷移に関する合成画像を構成する画像を撮像する場合における撮像動作状態を指定する際に押下されるボタンである。例えば、図１２に示す撮像装置１００の状態（いわゆる、斜め撮り）で撮影が行われる場合に、「斜め撮り」ボタン４４１が押下される。
【０１２２】
図１３（ｂ）には、加工情報記憶部４５０の記憶内容の一例を模式的に示す。なお、加工情報記憶部４５０は、図６（ｂ）に示す加工情報記憶部１４０の一部を変更したものである。このため、以下では、加工情報記憶部１４０と異なる部分を中心にして説明し、共通する部分についての説明の一部を省略する。
【０１２３】
加工情報記憶部４５０には、回転角度４５４と、合成対象画像のアスペクト比４５５と、合成対象画像のサイズ４５６とが、横撮り４５１、縦撮り４５２および斜め撮り４５３に関連付けて格納されている。なお、横撮り４５１および縦撮り４５２は、図６（ｂ）に示す横撮り１４１および縦撮り１４２に対応する。
【０１２４】
また、回転角度４５４、合成対象画像のアスペクト比４５５および合成対象画像のサイズ４５６は、図６（ｂ）に示す回転角度１４３、合成対象画像のアスペクト比１４４および合成対象画像のサイズ１４５に対応する。具体的には、斜め撮り４５３に対応する回転角度４５４には、撮像動作時における角度（β）が格納されている。また、斜め撮り４５３に対応する合成対象画像のアスペクト比４５５および合成対象画像のサイズ４５６には、合成画像のサイズおよび合成対象画像の数に応じて各値が格納されている。
【０１２５】
［撮像動作状態に基づく画像合成の生成例］
図１４は、本発明の第１の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。この例は、図１３（ａ）に示す撮像動作状態指定画面４４０において「斜め撮り」ボタン４０１が押下され、決定ボタン２０４が押下された場合における撮像画像の加工処理および合成画像の生成処理の一例を示す。なお、この例は、図１１に示す例の変形例であり、加工処理の一部が異なる。このため、以下では、図１１に示す例と異なる部分を中心にして説明し、共通する部分についての説明の一部を省略する。
【０１２６】
図１４（ａ）には、撮像部１３０により生成された撮像画像４６１を矩形により模式的に示す。なお、画像群４６０に含まれる他の撮像画像（撮像画像４６１の前後の撮像画像）については、図示およびその説明を省略する。
【０１２７】
図１４（ｂ）には、画像処理部１５０による加工処理の流れを模式的に示す。画像処理部１５０は、「斜め撮り」４４１に関連付けて加工情報記憶部４５０（図１３（ｂ）に示す）に格納されている回転角度４５４（β度）に基づいて撮像画像４６１について回転処理を行う。また、画像処理部１５０は、「斜め撮り」４４１に関連付けて加工情報記憶部４５０に格納されている他の加工情報に基づいて、撮像画像４６１について切取処理および拡大縮小処理を行う。
【０１２８】
具体的には、画像処理部１５０は、撮像画像４６１を矢印４７０方向にβ度回転させる回転処理を行う。また、画像処理部１５０は、回転処理後の撮像画像４６１が、合成対象画像のサイズ４５６（図１３（ｂ）に示す）となるように、回転処理後の撮像画像４６１について切取処理および拡大縮小処理を行う。例えば、画像処理部１５０は、回転処理後の撮像画像４６１における両端部の横幅Ｈ５の領域（切取領域４６２および４６３）を切り取る切取処理を行う。続いて、切取処理後の画像サイズ（画像４６４のサイズ（Ｗ６×Ｈ６））が、合成画像の１コマのサイズＷ２０×Ｈ２０となるように縮小処理を行い、合成対象画像４６５を生成する。
【０１２９】
続いて、画像合成部１６０が、画像処理部１５０により加工処理が施された合成対象画像４６５について合成処理を行う。
【０１３０】
図１４（ｃ）には、画像合成部１６０により合成処理がされた画像（合成画像４６６）を簡略化して示す。なお、合成画像４６６は、画像群４６０に含まれる他の撮像画像（撮像画像４６１の前後の撮像画像）について画像処理部１５０により加工処理が施された画像が合成された画像である。
【０１３１】
図１４（ｂ）に示すように、画像処理部１５０により撮像画像４６１について加工処理が施されて合成対象画像４６５が生成される。続いて、画像合成部１６０が、合成対象画像４６５を、既に生成されている合成画像に合成することにより、合成画像を生成する。そして、撮像画像４６１の後の撮像画像についても、同様に加工処理および合成処理を行うことにより、合成画像４６６が生成される。
【０１３２】
このように、横撮り、縦撮り以外の撮像動作状態（斜め撮り）を指定することにより、ユーザ好みの合成画像を容易に生成することができる。ここで、斜め撮りを指定して合成画像を生成する場合には、合成対象画像として用いる画像においては、その一部が欠ける領域が存在するが、横撮り、縦撮りの場合と比較して、縦方向に長い解像度を有効に活かすことができる。
【０１３３】
［画像合成の変形例］
以上では、合成対象画像のサイズとなるように撮像画像に加工処理を施して、この加工処理が施された合成対象画像を並べるように合成して合成画像を生成する例を示した。以下では、隣接する合成対象画像の一部が互いに重複するように合成画像を生成する例を示す。すなわち、合成対象画像を注目被写体レイヤと背景レイヤとに分類して合成画像を生成する例を示す。
【０１３４】
［撮像装置の構成例］
図１５は、本発明の第１の実施の形態における撮像装置５００の機能構成例を示すブロック図である。撮像装置５００は、図１に示す撮像装置１００において、撮像部１３０、画像処理部１５０および画像合成部１６０の代わりに、撮像部５１０、被写体情報生成部５２０、選択部５３０およびレイヤ処理部５４０を設けたものである。なお、これら以外の点は、撮像装置１００と略同様であるため、共通する部分については、同一の符号を付して、これらの一部の説明を省略する。撮像装置５００は、例えば、被写体を撮像して撮像（画像データ）を生成し、この画像データについて画像解析により各特徴量を抽出し、この抽出された各特徴量を用いて各種画像処理を施すことが可能なデジタルビデオカメラによって実現することができる。
【０１３５】
撮像部５１０は、図１に示す撮像部１３０と同様に、撮像画像（画像データ）を生成するものである。なお、撮像部５１０は、合成対象画像記録モードが設定されている場合には、一定のフレームレートで撮像画像（フレーム）を生成し、生成された撮像画像を画像選択部５３１に順次供給する。さらに、生成された撮像画像と、この撮像画像の生成時における各レンズ（例えば、フォーカスレンズ、ズームレンズ）の位置および合焦位置とが、被写体情報生成部５２０に供給される。
【０１３６】
被写体情報生成部５２０は、撮像部５１０により生成された撮像画像およびこの撮像画像の生成時における各情報（例えば、レンズの位置および合焦位置）に基づいて、撮像画像に関する被写体情報を生成するものである。そして、被写体情報生成部５２０は、生成された被写体情報を画像選択部５３１に順次供給する。この被写体情報は、例えば、撮像部５１０により生成された撮像画像に含まれる被写体のうち、注目被写体の領域と、その背景領域とを判別するための情報である。この被写体情報として、例えば、奥行マップ（いわゆる、デプスマップ（Depth Map））が生成される。ここで、奥行マップは、撮像位置（例えば、撮像装置５００の位置）から、撮像画像に含まれる被写体までの距離（被写体距離）を表すデータである。この奥行マップの生成方法として、例えば、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等の方法を用いることができる。例えば、ＴＯＦ方式は、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とに基づいて被写体までの距離を算出する方法である。
【０１３７】
選択部５３０は、画像選択部５３１および座標計算部５３２を備える。
【０１３８】
画像選択部５３１は、撮像部５１０により生成された撮像画像のうちから、レイヤ処理部５４０による合成画像の生成処理に用いられる画像（対象画像）を選択するものである。例えば、画像選択部５３１は、撮像部５１０により生成された撮像画像のうちから、一定間隔毎の画像を対象画像として選択する。また、例えば、注目被写体の動作遷移を視認するのに適した間隔となるように、対象画像を選択するようにしてもよい。そして、画像選択部５３１は、選択された対象画像に関する情報（例えば、対象画像、この画像に関する被写体情報）を座標計算部５３２およびレイヤ分離部５４１に出力する。
【０１３９】
座標計算部５３２は、画像選択部５３１から出力された各対象画像について、レイヤ処理部５４０による合成画像の生成処理に用いられる座標計算を行うものであり、求められた座標をレイヤ加工部５４２に出力する。この座標計算では、計算対象となる対象画像に関する合成画像に合成すべき画素位置が計算される。すなわち、この座標計算では、最終的に生成される合成画像の中で、計算対象となる合成対象画像を当てはめる画素範囲が計算される。
【０１４０】
レイヤ処理部５４０は、レイヤ分離部５４１と、レイヤ加工部５４２と、レイヤ合成部５４３とを備える。
【０１４１】
レイヤ分離部５４１は、画像選択部５３１により選択された対象画像について、対応する被写体情報を用いてレイヤ分離を行うものである。ここで、レイヤとは、１つの画像（フレーム）について、注目被写体部分および背景部分を分離させた各画像を意味するものとする。そして、レイヤ分離部５４１は、分離された各レイヤ画像をレイヤ加工部５４２に出力する。
【０１４２】
レイヤ加工部５４２は、レイヤ分離部５４１から出力された各レイヤ画像について、座標計算部５３２により求められた座標を用いて、合成画像として生成するための各種の加工処理を行うものである。この加工処理は、上述した加工処理と同様である。そして、レイヤ加工部５４２は、加工処理が施されたレイヤ画像をレイヤ合成部５４３に出力する。なお、レイヤ加工部５４２は、特許請求の範囲に記載の画像処理部の一例である。
【０１４３】
レイヤ合成部５４３は、レイヤ加工部５４２から出力されたレイヤ画像について画像合成処理を行うものであり、生成された合成画像を合成画像記憶部１８０に記憶させる。具体的には、レイヤ合成部５４３は、レイヤ加工部５４２から出力されたレイヤ画像が、当てはめるべき画素範囲に配置されるように、各レイヤ画像を合成する。また、レイヤ合成部５４３は、直前に合成対象となったレイヤ画像の合成処理後に、その合成画像（履歴画像）を合成画像保持部１７０に順次保持させる。そして、レイヤ合成部５４３は、次の合成対象となるレイヤ画像の合成処理を行う際には、合成画像保持部１７０に保持されたその合成画像（履歴画像）を合成画像保持部１７０から取得して合成処理に用いる。なお、レイヤ合成部５４３は、特許請求の範囲に記載の画像合成部の一例である。
【０１４４】
［合成対象画像のレイヤ分離例］
図１６は、本発明の第１の実施の形態におけるレイヤ分離部５４１による合成対象画像の分離方法を模式的に示す図である。この例では、画像選択部５３１により選択された対象画像について、被写体情報生成部５２０により生成された被写体情報に基づいて、２つのレイヤに分離する例を示す。なお、図１６乃至図１９に示す例では、縦撮りをした場合における画像合成例を示す。
【０１４５】
図１６（ａ）には、対象画像５５０と、対象画像５５０について生成された被写体情報５５２とを示す。なお、対象画像５５０は人物５５１が含まれる画像である。また、被写体情報生成部５２０により生成された被写体情報として、例えば、注目被写体領域に対応する画素には「１」が付与され、注目被写体以外の領域（例えば、背景領域）に対応する画素には「０」が付与される情報が生成される。なお、図１６（ａ）では、人物５５１に対応する領域（注目被写体領域）を白塗り領域５５３とし、人物５５１以外の領域（背景領域）を黒塗り領域として、被写体情報５５２を模式的に示す。
【０１４６】
上述したように、撮像部５１０により生成された撮像画像と、この撮像画像に関連付けて被写体情報生成部５２０により生成された被写体情報とが、画像選択部５３１に順次供給される。また、画像選択部５３１は、撮像部５１０から供給された撮像画像のうちから、レイヤ処理部５４０による合成画像の生成処理に用いられる画像を選択する。そして、画像選択部５３１は、選択された対象画像と、この対象画像について生成された被写体情報とをレイヤ分離部５４１に出力する。そして、レイヤ分離部５４１は、対応する被写体情報を用いて、画像選択部５３１から出力された対象画像を２つのレイヤに分離する。
【０１４７】
図１６（ｂ）には、レイヤ分離部５４１により分離された注目被写体レイヤ５６０と、背景レイヤ５６２とを示す。注目被写体レイヤ５６０は、図１６（ａ）に示す対象画像５５０における注目被写体領域（すなわち、被写体情報５５２として「１」が付与された画素領域）が抜き出された画像である。すなわち、対象画像５５０に含まれる人物５５１に対応する領域５６１が抜き出される。また、背景レイヤ５６２は、図１６（ａ）に示す対象画像５５０における背景部分（すなわち、被写体情報５５２として「０」が付与された画素領域）が抜き出された画像である。すなわち、対象画像５５０に含まれる人物５５１以外の領域（背景領域）に対応する領域（領域５６３以外の領域）が抜き出される。
【０１４８】
このように分離された各レイヤ画像について、レイヤ加工部５４２により各種の加工処理が行われる。この加工例については、図１７を参照して詳細に説明する。
【０１４９】
［合成対象画像の加工例］
図１７は、本発明の第１の実施の形態におけるレイヤ加工部５４２により回転処理された画像と、レイヤ加工部５４２により切取処理がされた画像とを簡略化して示す図である。また、図１７では、説明の容易のため、レイヤ分離される前の状態の対象画像を用いて加工処理を行う場合の一例を示す。
【０１５０】
図１７（ａ）には、レイヤ加工部５４２により回転処理（矢印５７２に示す方向）された対象画像５７０を示す。また、図１７（ｂ）には、レイヤ加工部５４２による切取処理を模式的に示す。なお、対象画像５７０には、ゴルフスイングを行う人物５７１が含まれているものとする。
【０１５１】
図１７（ａ）に示す対象画像５７０は、例えば、縦幅Ｗ１および横幅Ｈ１の画像サイズであるものとする。例えば、対象画像５７０の画像サイズをＶＧＡサイズ（６４０画素×４８０画素）とすることができる。すなわち、Ｗ１＝６４０、Ｈ１＝４８０とすることができる。
【０１５２】
図１７（ｂ）に示す横幅Ｈ５１は、切取領域５７３および５７４の幅である。この切取領域５７３および５７４以外の画像は、図１７（ａ）に示す対象画像５７０における推移動作有効領域に対応する画像である。この推移動作有効領域は、加工前の対象画像に含まれる被写体のうち、注目被写体を切り出すための領域である。例えば、推移動作有効領域に対応する画像の画像サイズを３２０画素×６４０画素とすることができる。
【０１５３】
図１７（ｂ）に示す横幅Ｈ５２は、切取領域５７５および５７６の幅である。切取領域５７３乃至５７６以外の画像（横幅Ｈ５３の画像）は、図１７（ａ）に示す対象画像５７０における残存背景領域に対応する画像である。この残存背景領域は、合成処理において背景画像として用いる領域である。例えば、残存背景領域に対応する画像の画像サイズを１６０画素×６４０画素とすることができる。
【０１５４】
なお、推移動作有効領域と残存背景領域との中心位置は、対象画像の中心位置と一致するものとする。
【０１５５】
なお、図１７に示す例は一例であり、被写体の大きさやその動きに応じて、推移動作有効領域および残存背景領域の幅および高さについて、適切な設定を行い、合成処理に用いる画像として切り出すことが好ましい。
【０１５６】
［画像合成例］
図１８は、本発明の第１の実施の形態におけるレイヤ合成部５４３による合成方法を模式的に示す図である。この例では、時系列で連続する２つの合成対象画像について合成処理を行う例を示す。
【０１５７】
図１８（ａ）には、レイヤ分離部５４１により分離され、レイヤ加工部５４２により加工された合成対象画像（時系列で連続する２つの合成対象画像）を簡略化して示す。上述したように、レイヤ分離部５４１により合成対象画像が注目被写体レイヤおよび背景レイヤに分離される。また、レイヤ分離部５４１により分離された注目被写体レイヤおよび背景レイヤについて、レイヤ加工部５４２が加工処理を行う。このように、時系列で連続する２つの合成対象画像について分離および加工がされることにより、図１８（ａ）に示すように、４つのレイヤ（第１優先画像５８１乃至第４優先画像５８４）が生成される。
【０１５８】
第１優先画像５８１は、時間軸において後の合成対象画像の注目被写体レイヤであり、第３優先画像５８３は、その合成対象画像の背景レイヤであるものとする。また、第２優先画像５８２は、時間軸において前の合成対象画像の注目被写体レイヤであり、第４優先画像５８４は、その合成対象画像の背景レイヤであるものとする。また、これらの画像を合成する場合には、優先順位の高い画像が上書きされるように合成される。
【０１５９】
図１８（ｂ）には、各レイヤ画像の優先順位に基づいて生成された合成画像５８９を示す。すなわち、レイヤ合成部５４３が、優先順位に基づいて、４つのレイヤ（第１優先画像５８１乃至第４優先画像５８４）を合成することにより、合成画像５８９を生成する。合成画像５８９は、第３優先画像５８３および第４優先画像５８４により合成された背景領域に、第１優先画像５８１に含まれる人物画像５８５と、第２優先画像５８２に含まれる人物画像５８６とが上側に重なるように合成された画像である。この場合に、第３優先画像５８３が第４優先画像５８４よりも上側に重なるように合成される。また、第１優先画像に含まれる人物画像５８５が、第２優先画像５８２に含まれる人物画像５８６よりも上側に重なるように合成される。
【０１６０】
なお、図１９に示すように、３以上の合成対象画像を順次合成させて合成画像を生成する場合には、時系列に沿って合成対象画像を順次合成することにより、合成画像を生成する。また、時系列で連続する２つの合成対象画像のうち、時間軸における前の合成対象画像については、その後の合成対象画像の合成処理時までの間、合成画像保持部１７０に保持させておく。
【０１６１】
図１９は、本発明の第１の実施の形態におけるレイヤ合成部５４３による合成対象画像の合成方法を模式的に示す図である。この例では、図１９（ｂ）に示す合成画像５９５が生成されるまでの間における合成対象画像の合成例の一例を示す。
【０１６２】
図１９（ａ）には、図１９（ｂ）に示す合成画像５９５が生成されるまでの間におけるある時点の合成状態を示す。例えば、図１９（ａ）に示す状態は、合成対象画像５９２（２つのレイヤ画像）について合成処理が行われた時点であるものとする。すなわち、図１９（ａ）では、合成対象画像５９２に対応する推移動作有効領域Ｅ１０と、直前の合成対象画像５９３とについて合成処理がされた合成画像５９１とを示す。この例では、直前に合成対象となった各レイヤ画像を合成画像保持部１７０に保持しておくものとする。
【０１６３】
ここで、合成対象画像５９２における領域Ｅ１１については、直前の合成対象画像５９３と合成対象画像５９２との間で重複する領域がない。このため、合成対象画像５９２を合成画像５９１に合成する場合には、合成対象画像５９２における領域Ｅ１１については、合成対象画像５９２の推移動作有効領域の画素をそのまま新たな合成画像として、合成画像５９１に上書き合成する。
【０１６４】
しかしながら、合成対象画像５９２における領域Ｅ１２については、直前の合成対象画像５９３の一部と重複している。そこで、合成対象画像５９２における領域Ｅ１２については、図１８で示したように、優先順位に従って各レイヤ画像を合成する。
【０１６５】
すなわち、レイヤ合成部５４３は、領域Ｅ１２については、今回の合成対象となる合成対象画像５９２と、合成画像保持部１７０に保持されている直前の合成対象画像５９３との各レイヤ画像を用いて、優先順位に従って各レイヤ画像を合成する。この合成により、合成対象画像５９２および５９３から領域Ｅ１１＋Ｅ１２の合成画像が生成される。そして、レイヤ合成部５４３は、このように生成された領域Ｅ１１＋Ｅ１２の合成画像を、合成画像保持部１７０に保持されている合成画像（直前の合成対象画像５９３が合成された合成画像）に上書き合成する。すなわち、レイヤ合成部５４３は、このように合成により生成された領域Ｅ１１＋Ｅ１２の合成画像と、合成画像保持部１７０に保持されている合成画像に対応するＥ１とを貼り付ける処理を行う。
【０１６６】
また、今回の合成対象となった合成対象画像５９２（２つのレイヤ画像）と、今回の合成処理により生成された合成画像とが、合成画像保持部１７０に保持され、次の合成処理に用いられる。このように生成された合成画像の一例を図１９（ｂ）に示す。
【０１６７】
このように、合成処理の際に連続する画像間で重複する領域（例えば、領域Ｅ１２）については、優先順位に従って各レイヤ画像を合成することにより、注目被写体の一部を欠損させずに合成画像を生成することができる。このため、多数の合成対象画像を用いて合成画像を生成する場合でも、注目被写体の動作を適切に表現することができる動作推移画像を生成することができる。
【０１６８】
このように、レイヤ合成部５４３により生成された合成画像５９５は、合成画像記憶部１８０に記憶される。そして、例えば、ユーザ操作に応じて、表示部１９１に表示される。また、例えば、レイヤ合成部５４３により合成画像が生成される毎に、自動的に表示部１９１に表示させるようにしてもよい。
【０１６９】
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、合成対象画像の加工処理に用いられる撮像動作状態をユーザ操作により指定する例を示した。本発明の第２の実施の形態では、ユーザ操作以外の方法により撮像動作状態を取得する例を示す。
【０１７０】
［撮像装置の構成例］
図２０は、本発明の第２の実施の形態における撮像装置６００の機能構成例を示すブロック図である。撮像装置６００は、図１に示す撮像装置１００において、撮像動作状態取得部１２０の代わりに、撮像動作状態取得部６１０を設けたものである。なお、これら以外の点は、撮像装置１００と略同様であるため、共通する部分については、同一の符号を付して、これらの一部の説明を省略する。
【０１７１】
撮像動作状態取得部６１０は、撮像装置６００の加速度、動き、傾き等を検出することにより撮像装置６００の姿勢を検出して撮像動作状態を取得するものであり、取得された撮像動作状態を示す情報（撮像動作状態情報）を画像処理部１５０に供給する。この撮像動作状態情報として、図２に示すように、撮像装置６００の光軸を中心とした場合における撮像装置６００の回転角度（０度（横撮り）、９０度（縦撮り））の情報が取得される。撮像動作状態取得部６１０は、例えば、ジャイロセンサや加速度センサにより実現することができる。
【０１７２】
［撮像装置の他の構成例］
図２１は、本発明の第２の実施の形態における撮像装置６２０の機能構成例を示すブロック図である。撮像装置６２０は、図１に示す撮像装置１００において、撮像動作状態取得部１２０の代わりに、被写体情報検出部６３０を設けたものである。なお、これら以外の点は、撮像装置１００と略同様であるため、共通する部分については、同一の符号を付して、これらの一部の説明を省略する。
【０１７３】
被写体情報検出部６３０は、撮像部１３０により生成された撮像画像に含まれる被写体の情報を検出して撮像動作状態を取得するものであり、取得された撮像動作状態を示す情報（撮像動作状態情報）を画像処理部１５０に供給する。そして、被写体情報検出部６３０は、取得された撮像動作状態情報を画像処理部１５０に供給する。この撮像動作状態情報として、図２に示すように、撮像装置６００の光軸を中心とした場合における撮像装置６００の回転角度（０度（横撮り）、９０度（縦撮り））の情報が取得される。
【０１７４】
例えば、被写体情報検出部６３０は、撮像部１３０により生成された撮像画像に含まれる人物の顔を検出し、この検出された顔の上下方向を特定して撮像動作状態を取得する。また、例えば、被写体情報検出部６３０は、撮像部１３０により生成された撮像画像に含まれる人体を検出し、この検出された人体の上下方向を特定して撮像動作状態を取得する。なお、撮像画像に含まれる顔の検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと撮像画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、撮像画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。また、検出された顔の属性情報として、検出された顔の撮像装置における上下方向を検出することができる。この属性検出方法として、例えば、顔画像における２点間の輝度の差分値を用いた弱判別器により各属性を検出する検出方法を用いることができる（例えば、特開２００９−１１８００９号参照。）。これらの検出方法により、人物の顔の撮像画像における上下方向を求めることができる。なお、被写体情報検出部６３０は、特許請求の範囲に記載の撮像動作状態取得部の一例である。
【０１７５】
＜３．第３の実施の形態＞
本発明の第１および第２の実施の形態では、主にゴルフスイングを行う人物についてその動作遷移を合成画像として生成する例を示した。ここで、例えば、ゴルフ以外のスポーツについてその動作遷移を合成画像として生成する場合についても、本発明の第１および第２の実施の形態を適用することができる。また、一定の規則により注目被写体が移動する特定動作についてその動作遷移を合成画像として生成する場合についても、本発明の第１および第２の実施の形態を適用することができる。そこで、本発明の第３の実施の形態では、これらの合成画像をユーザの好みに応じて生成する例を示す。
【０１７６】
［注目被写体の例］
図２２は、本発明の第３の実施の形態における撮像装置による合成画像の生成対象となる注目被写体および特定動作の一例を示す図である。図２３は、本発明の第３の実施の形態における撮像装置による合成画像の生成対象となる注目被写体および特定動作の特徴の一例を示す図である。
【０１７７】
図２２には、注目被写体および特定動作の一例を図形化して示す。例えば、人物６５１は、野球のバッティングを行う人物であり、人物６５２は、野球のピッチングを行う人物であり、人物６５３は、サッカーのシュートを行う人物である。また、人物６５４は、テニスのサーブを行う人物であり、人物６５５は、バスケのシュートを行う人物であり、人物６５６は、水泳のクロールを行う人物である。また、人物６５７は、剣道を行う人物であり、人物６５８は、陸上の短距離走を行う人物である。
【０１７８】
また、図２２に示す各人物６５１乃至６５８の特定動作（野球のバッティング等）により想定される移動範囲６６１乃至６６８を点線の矩形で概略的に示す。
【０１７９】
図２３には、図２２に示す注目被写体および特定動作の特徴の一例を表形式で示す。図２３に示す表には、図２２に示す注目被写体および特定動作の特徴として、注目被写体の状態６７２と、動作範囲６７３と、撮像動作方法６７４と、合成対象画像のアスペクト比６７５とを示す。また、図２２における対応図番を対応図面６７１に示す。
【０１８０】
注目被写体の状態６７２は、注目被写体（人物６５１乃至６５８）の状態である。例えば、水泳は、図２２（ｆ）に示すように、人物の状態が水平方向となる状態で行われる。このため、「横長」が注目被写体の状態６７２に示される。一方、水泳以外のスポーツは、主に立った状態で行われる。このため、「縦長」が注目被写体の状態６７２に示される。
【０１８１】
動作範囲６７３は、想定される注目被写体の動作範囲（特定動作の動作範囲）である。例えば、注目被写体の動作範囲が比較的大きい場合には「大」が示され、注目被写体の動作範囲が比較的小さい場合には「小」が示され、これらの間程度である場合には「中」が示される。また、これらの主な移動方向が括弧書きで示される。なお、水泳および陸上（短距離走）については、常に移動しているため、その旨が示される。
【０１８２】
撮像動作方法６７４は、注目被写体を撮影する場合における撮像装置の状態である。例えば、水泳および陸上（短距離走）については、上述したように、常に移動しているため、その移動に応じて、撮像装置を移動させる必要がある。一方、他のスポーツについては、一定範囲内を移動することが多いため、撮像装置を固定して撮影を行うことができる。
【０１８３】
合成対象画像のアスペクト比６７５は、合成画像を構成する合成対象画像のサイズに対応する値である。この合成対象画像のアスペクト比６７５は、注目被写体の移動範囲に対応するものであり、例えば、図２２に示す移動範囲６６１乃至６６８（点線の矩形）の縦横比に対応する。
【０１８４】
［撮像装置の構成例］
図２４は、本発明の第３の実施の形態における撮像装置７００の機能構成例を示すブロック図である。撮像装置７００は、図１に示す撮像装置１００において、加工情報記憶部１４０の代わりに加工情報記憶部７２０を設け、特定動作情報取得部７１０を追加したものである。なお、これら以外の点は、撮像装置１００と略同様であるため、共通する部分については、同一の符号を付して、これらの一部の説明を省略する。
【０１８５】
特定動作情報取得部７１０は、注目被写体により行われる特定動作（例えば、スポーツ等）を取得するものであり、取得された特定動作を示す情報（特定動作情報）を保持する。この特定動作情報は、例えば、図２２および図２３に示すように、各スポーツを示す情報が保持される。そして、特定動作情報取得部７１０は、保持されている特定動作情報を画像処理部１５０に供給する。
【０１８６】
加工情報記憶部７２０は、画像処理部１５０による合成対象画像の加工処理に用いられる情報（加工情報）を記憶するものであり、記憶されている加工情報を画像処理部１５０に供給する。なお、加工情報記憶部７２０の記憶内容については、図２６を参照して詳細に説明する。また、加工情報記憶部７２０は、特許請求の範囲に記載の記憶部の一例である。
【０１８７】
［特定動作の指定画面の表示例］
図２５は、本発明の第３の実施の形態における表示部１９１の表示例（特定動作指定画面７３０）を示す図である。特定動作指定画面７３０は、特定動作を指定するための指定画面である。特定動作指定画面７３０には、特定動作ボタン７３１乃至７４０と、戻るボタン７４１と、決定ボタン７４２とが設けられている。
【０１８８】
特定動作ボタン７３１乃至７４０は、特定動作を指定する際に押下されるボタンである。例えば、特定動作ボタン７３１乃至７４０は、図２２および図２３に示す各スポーツに対応するボタンである。
【０１８９】
決定ボタン７４２は、特定動作を指定する押下操作がされた後に、その指定を決定する際に押下されるボタンである。戻るボタン７４１は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
【０１９０】
［加工情報記憶部の記憶例］
図２６は、本発明の第３の実施の形態における加工情報記憶部７２０の記憶内容の一例を示す図である。加工情報記憶部７２０には、回転角度７２１と、合成対象画像のアスペクト比７２２と、合成対象画像のサイズ７２３とが、特定動作７５１乃至７６０に関連付けて格納されている。なお、ゴルフ（スイング）７５１は、図６（ｂ）に示す横撮り１４１および縦撮り１４２に対応する。
【０１９１】
回転角度７２１には、図２（ａ）に示す撮像動作状態を基準とした場合における回転角度が格納される。例えば、特定動作７５１乃至７６０における横撮りに関連付けて「０度」が格納され、特定動作７５１乃至７６０における縦撮りに関連付けて「９０度」が格納される。
【０１９２】
合成対象画像のアスペクト比７２２には、合成対象画像のアスペクト比が格納される。図２６に示す例では、図２３に示す合成対象画像のアスペクト比６７５と同一の値を用いる例を示す。
【０１９３】
合成対象画像のサイズ７２３には、合成対象画像のサイズが格納される。このサイズは、合成画像のサイズ、合成画像を構成する合成対象画像の数、合成対象画像のアスペクト比等に基づいて決定される。なお、図２６に示す例では、ゴルフ（スイング）７５１に対応する値のみを記載し、他の値についてはその特徴を以下に記載する。
【０１９４】
例えば、野球（バッティング）７５２のアスペクト比については、横長に設定することが好ましいが、垂直方向の動作範囲がほとんどないため、ゴルフ（スイング）７５１の場合よりも横長に設定しなくてもよい。また、例えば、野球（ピッチング）７５３のアスペクト比については、水平方向に大きく移動するため、横長に設定することが好ましい。また、例えば、サッカー（シュート）７５４のアスペクト比については、水平方向に大きく移動するため、横長に設定することが好ましく、野球（ピッチング）７５３の場合よりも横長にすることが好ましい。また、例えば、テニス（サーブ）７５５のアスペクト比については、ゴルフ（スイング）７５１の場合と同様に設定することができる。また、例えば、バスケ（シュート）７５６のアスペクト比については、ジャンプシュートが想定されるが、水平方向への移動がほとんどないため、縦長に設定することが好ましい。また、例えば、水泳７５７のアスペクト比については、注目被写体に追従させて撮像装置７００を移動させるため、注目被写体の移動による影響を考慮しなくてもよいことが多い。ただし、水泳は垂直方向の移動がほとんどないため、横長に設定することが好ましい。また、例えば、陸上（短距離走）７５８のアスペクト比については、注目被写体に追従させて撮像装置７００を移動させるため、注目被写体の移動による影響を考慮しなくてもよいことが多い。なお、陸上（短距離走）は水平方向の移動があまり大きくないと想定されるため、縦長に設定することが好ましい。また、例えば、剣道７５９のアスペクト比については、サッカー（シュート）７５４の場合と同様に設定することができる。また、例えば、瓦割り７６０のアスペクト比については、水平方向への移動がほとんどないため、縦長に設定することが好ましい。
【０１９５】
ここで、撮像装置７００による加工処理について説明する。例えば、横撮りで野球のピッチングシーンを撮影する場合を想定する。この場合には、例えば、図６（ａ）に示す撮像動作状態指定画面２００において、ユーザが「横撮り」ボタン２０１を押下し、決定ボタン２０４を押下する。この場合には、その旨の操作信号が操作受付部１１０から撮像動作状態取得部１２０に出力され、撮像動作状態取得部１２０がその指定された撮像動作状態を示す撮像動作状態情報（横撮り）を保持する。
【０１９６】
また、図２５に示す特定動作指定画面７３０において、ユーザが「野球（ピッチング）」ボタン７３３を押下し、決定ボタン７４２を押下する。この場合には、その旨の操作信号が操作受付部１１０から特定動作情報取得部７１０に出力され、特定動作情報取得部７１０がその指定された特定動作を示す特定動作情報（野球（ピッチング））を保持する。そして、画像処理部１５０は、撮像動作状態取得部１２０に保持されている撮像動作状態情報（横撮り）と、特定動作情報取得部７１０に保持されている特定動作情報（野球（ピッチング））とに関連付けられている加工情報を取得する。すなわち、画像処理部１５０は、加工情報記憶部１４０に格納されている加工情報（野球（ピッチング）７５３の横撮り）を取得し、この加工情報に基づいて、撮像部１３０から供給された撮像画像について各加工処理を行う。このように行われる加工処理の例を図２７に示す。
【０１９７】
［撮像動作状態に基づく画像合成の生成例］
図２７は、本発明の第３の実施の形態における画像処理部１５０による撮像画像の加工処理および画像合成部１６０による合成画像の生成処理の流れの一例を模式的に示す図である。この例は、横撮りおよび野球（ピッチング）が指定された場合における撮像画像の加工処理および合成画像の生成処理の一例を示す。なお、この例は、図１１に示す例の変形例であり、回転処理をしない点、合成画像のサイズ、合成対象画像の数等が、図１１に示す例とは異なるが、他の部分は共通する。このため、以下での詳細な説明を省略する。
【０１９８】
このように、複数種類の注目被写体の特定動作について合成画像を生成する場合についても、複数種類の注目被写体の特定動作の中から所望の特定動作をユーザが指定することにより容易に合成画像を生成することができる。これにより、ユーザ好みの画像を容易に生成することができる。
【０１９９】
以上では、撮像部より連続して生成された撮像画像を用いて、合成画像を生成する例を示した。ここで、例えば、撮像画像から注目被写体のみを抽出して、この抽出された注目被写体を他の背景画像に重ねて合成することにより、合成画像を生成する場合についても、本発明の実施の形態を適用することができる。そこで、以下では、撮像画像から抽出された注目被写体を、他の背景画像に重ねて合成することにより合成画像を生成する例について説明する。
【０２００】
［背景画像に注目被写体を重ねて合成画像を生成する例］
図２８は、本発明の第３の実施の形態における撮像装置７００による合成画像の生成の流れを模式的に示す図である。図２８（ａ）には、合成対象となる画像群８００および背景画像８０５を示す。画像群８００は、縦撮りで撮影された撮像画像８０１乃至８０４により構成される画像群であり、撮像画像８０１乃至８０４には特定動作（例えば、垂直方向にジャンプをする動作）を行う人物８０６が含まれる。背景画像８０５は、横撮りで撮影された撮像画像であり、背景画像８０５には木や太陽が含まれる。
【０２０１】
図２８（ｂ）には、撮像画像８０１乃至８０４に含まれる注目被写体の画像と、背景画像８０５とが合成された合成画像８１１乃至８１４を示す。
【０２０２】
例えば、図６（ａ）に示す撮像動作状態指定画面２００において指定された撮像動作状態と、図２５に示す特定動作指定画面７３０において指定された注目被写体の特定動作とに関連付けられている加工情報が取得される。そして、取得された加工情報に基づいて、撮像画像８０１乃至８０４について各加工処理を行う。続いて、加工処理が行われた撮像画像８０１乃至８０４に含まれる注目被写体（人物８０６）が抽出される。そして、抽出された注目被写体の画像を、背景画像８０５における水平方向の中心位置付近に重ねて合成することにより、図２８（ｂ）に示す合成画像８１１乃至８１４が生成される。この合成画像８１１乃至８１４については、図５等に示すように並べて配置するようにしてもよい。
【０２０３】
＜４．第４の実施の形態＞
本発明の第１乃至第３の実施の形態では、ユーザの上下方向と、撮像装置の上下方向とを同一とした場合における撮像範囲が横長となる撮像装置を例にして説明した。ここで、撮像装置の他の例として、撮像部を備える携帯電話装置（いわゆる、カメラ付き携帯電話装置）を想定する。この携帯電話装置は、例えば、通話機能やメール機能を使用する際には、その長手方向が垂直方向となるように使用されることが多い。このため、携帯電話装置の通常の使用状態では、撮像範囲が縦長となることが多い。そこで、本発明の第４の実施の形態では、通常の使用状態で撮像範囲が縦長となる携帯電話装置について説明する。
【０２０４】
［携帯電話装置の外観構成例］
図２９は、本発明の第４の実施の形態における携帯電話装置８５０の外観構成例を示す図である。携帯電話装置８５０は、撮像部を備える携帯電話装置であり、操作部８５１および表示部８５２を備える。図２９（ａ）には、携帯電話装置８５０を使用する際における一態様の正面側を示し、図２９（ｂ）には、携帯電話装置８５０を使用する際における他の態様の正面側を示す。
【０２０５】
上述したように、携帯電話装置８５０は、通常の使用時では、図２９（ａ）に示す状態で使用されることが多いため、この状態における撮像範囲が基準として設定されている。そこで、本発明の第１乃至第３の実施の形態における加工情報記憶部の回転角度（例えば、図２６に示す回転角度７２１）の横撮りおよび縦撮りの値を入れ替えることにより、携帯電話装置８５０に本発明の第１乃至第３の実施の形態を適用することができる。例えば、図２９（ｂ）に示す撮像動作状態で野球（ピッチング）の撮影が行われた場合には、回転処理を行った後に、図２７（ｂ）に示す加工処理を行うことにより、図２７（ｃ）に示す合成画像７８５を生成することができる。
【０２０６】
なお、本発明の実施の形態では、画像入力部の一例として撮像部を備える撮像装置を例にして説明した。ただし、外部で生成された連写静止画像群または動画のフレーム画像群を入力する入力部を備える画像処理装置に本発明の実施の形態を適用することができる。また、本発明の実施の形態では、出力部の一例として表示部を備える撮像装置を例にして説明した。ただし、生成された合成画像を他の出力部により出力させるようにしてもよい。例えば、生成された合成画像のメモリへの展開や、ハードディスクやフラッシュメモリ、ネットワーク先等の外部記憶メディアへの書き込み等を行う出力部を備えるようにしてもよい。
【０２０７】
また、本発明の実施の形態では、静止画の合成画像を生成する例を示した。ただし、例えば、合成画像を生成する過程を動画として表示する合成画像生成処理に、本発明の実施の形態を適用することができる。また、加工処理が施された合成対象画像については、例えば、合成対象とする以外に、特定動作の遷移を表す複数の画像（例えば、スライドショーに用いられる画像）として用いるようにしてもよい。
【０２０８】
また、パーソナルコンピュータ、ビデオシステム、編集装置等の画像処理装置に本発明の実施の形態を適用することができる。また、本発明の実施の形態における処理手順を、処理プログラムに組み込むことも可能である。
【０２０９】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２１０】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２１１】
１００、５００、６００、６２０、７００  撮像装置
１１０  操作受付部
１２０、６１０  撮像動作状態取得部
１３０、５１０  撮像部
１４０、４１０、４５０、７２０  加工情報記憶部
１５０  画像処理部
１６０  画像合成部
１７０  合成画像保持部
１８０  合成画像記憶部
１９０  表示制御部
１９１、８５２  表示部
５２０  被写体情報生成部
５３０  選択部
５３１  画像選択部
５３２  座標計算部
５４０  レイヤ処理部
５４１  レイヤ分離部
５４２  レイヤ加工部
５４３  レイヤ合成部
６３０  被写体情報検出部
７１０  特定動作情報取得部
８５０  携帯電話装置
８５１  操作部
【図１】
2011139282.tif 000003
【図２】
2011139282.tif 000004
【図３】
2011139282.tif 000005
【図４】
2011139282.tif 000006
【図５】
2011139282.tif 000007
【図６】
2011139282.tif 000008
【図７】
2011139282.tif 000009
【図８】
2011139282.tif 000010
【図９】
2011139282.tif 000011
【図１０】
2011139282.tif 000012
【図１１】
2011139282.tif 000013
【図１２】
2011139282.tif 000014
【図１３】
2011139282.tif 000015
【図１４】
2011139282.tif 000016
【図１５】
2011139282.tif 000017
【図１６】
2011139282.tif 000018
【図１７】
2011139282.tif 000019
【図１８】
2011139282.tif 000020
【図１９】
2011139282.tif 000021
【図２０】
2011139282.tif 000022
【図２１】
2011139282.tif 000023
【図２２】
2011139282.tif 000024
【図２３】
2011139282.tif 000025
【図２４】
2011139282.tif 000026
【図２５】
2011139282.tif 000027
【図２６】
2011139282.tif 000028
【図２８】
2011139282.tif 000029
【図２７】
2011139282.tif 000030
【図２９】
2011139282.tif 000031