(57)【要約】【課題】連続的に撮影を行った撮影対象の動きを一見して把握できるようにする。【解決手段】連続撮影を実行した後（ステップＳ１）、レイアウト合成撮影に設定されているか否かを判断し（ステップＳ２）、設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から複数枚の画像を所定間隔（又はランダム）に選択する（ステップＳ４）。すなわち、図７に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Ｐから、複数枚画像Ｐ１〜Ｐ９を所定間隔で選択する。次に、選択された複数枚の画像を、所定のサイズ、レイアウトで１枚の画像に合成する（ステップＳ５）。このステップＳ５での処理により、例えば１列目から３列目までに時系列的に画像Ｐ１〜Ｐ９が配置されたミルククラウンの合成画像Ｐ０が生成される。そして、この合成された画像データを符号化してメモリに記憶する（ステップＳ６）。【選択図】図６
2009044573.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレーム周期に従って撮像する撮像手段と、
この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段と、
この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段と、
この画像合成手段により生成された前記合成画像を表示する表示手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記画像記憶手段は、開始操作に応じて前記画像の記憶を開始するとともに、終了操作に応じて前記画像の記憶を終了し、
前記選択手段は、前記画像記憶手段が記憶を終了した直後における連続画像から、間欠的に画像を選択し、
前記表示手段は、前記画像記憶手段が記憶を終了した直後において前記合成画像を表示することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記記録手段に記録された複数の画像からなる連続画像を再生する再生手段を更に備え、
前記選択手段は、前記再生手段により前記連続画像を再生する再生モードにおいて、当該連続画像を構成する複数の画像から、間欠的に画像を選択することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記合成手段は、前記選択手段により選択された複数の画像を配置して、単一の合成画像を生成することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記合成手段は、前記選択手段により選択された複数の画像の所定部分を各々切り出し、この切り出した部分画像を所定の方向に配列して、単一の合成画像を生成することを特徴とする請求項１記載の撮像装置。
【請求項６】
前記合成手段は、前記選択手段により選択された複数の画像を重ね合わせて、単一の合成画像を生成することを特徴とする請求項１記載の撮像装置。
【請求項７】
操作手段を更に備え、
前記選択手段は、前記操作手段に対する操作に応じて、前記複数の画像から異なる間欠タイミングで画像を選択することを特徴とする請求項４、５又は６記載の撮像装置。
【請求項８】
撮影シーンに対応して、異なるフレーム周期と異なる画像合成形態とを記憶した制御情報記憶手段を備え、
前記撮像手段は、前記制御情報記憶手段から選択された撮影シーン対応するフレーム周期に従って撮像し、
前記画像合成手段は、前記選択された撮影シーン対応する画像合成形態で前記複数の画像を合成することを特徴とする請求項１記載の撮像装置。
【請求項９】
所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段とを備える装置が有するコンピュータを、
前記画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段、
この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段、
この画像合成手段により生成された前記合成画像を表示させる表示制御手段
として機能させることを特徴とする画像処理プログラム。
【請求項１０】
所定のフレーム周期に従って撮像する撮像ステップと、
この撮像ステップにより前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶ステップと、
この画像記憶ステップにより記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択ステップと、
この選択ステップにより選択された複数の画像を合成して、合成画像を生成する画像合成ステップと、
この画像合成ステップにより生成された前記合成画像を表示する表示ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速度撮影機能を備えた撮像装置、及びこの撮像装置に用いられる画像処理プログラム及び画像処理方法関する。
【背景技術】
【０００２】
従来、高速で移動する物体を明瞭な画像でスロー再生可能に撮影する高速度撮像装置が提案されている。この高速度撮像装置は、第１、第２、第３の撮像素子を順次作動させることにより、高速移動する球状物体を短い時間間隔で撮像して、時系列的に連続する複数の画像を得る。したがって、これら時系列的に連続する複数の画像をスロー再生した場合であっても、明瞭に球状物体の動作を再生することができる（例えば、特許文献１参照。）。
【特許文献１】特開平０６−２２３２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、今日においては６百万画素の解像度で６０フレーム／秒、ＶＧＡの低解像度でも３００フレーム／秒以上など、高解像度で高速度撮影が可能なＣＭＯＳイメージセンサが開発されるに至っている。このようなＣＭＯＳイメージセンサを利用すると、前述した従来技術のように第１、第２、第３の撮像素子を用いることなく、コンパクトカメラでも高解像度で高フレームレートの高速連写や動画撮影が可能となる。
【０００４】
しかしながら、前記ＣＭＯＳイメージセンサを利用すると、短時間で大量のフレーム画像が簡単に撮影できる反面、撮影されたフレーム画像の数は膨大となってしまう。このため、撮影した全てのフレーム画像を同一画面上にマルチ表示したり、同一紙面上にプリントアウトすることが困難となり、ユーザにおいて撮影対象の全体的な動きの特徴を確認したり把握することが困難となる。
【０００５】
また、各フレーム画像は時間的に近接していることから、時間的に隣接する画像の変化は微小なものとなり、近似するフレーム画像が多数存在する。このため、例え撮影した全てのフレーム画像の同一画面上のマルチ表示や、同一紙面上へのプリントアウトの際、近似する画像が多数存在することにより、ユーザは撮影対象の全体的な動きを的確に把握することが困難となる。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、連続撮影された画像からなる合成画像を生成・表示する際、ユーザが所望する態様の合成画像を作成、表示が可能となる撮像装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために請求項１記載の発明にあっては、所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段と、この画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段と、この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段と、この画像合成手段により生成された前記合成画像を表示する表示手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の発明にあっては、前記画像記憶手段は、開始操作に応じて前記画像の記憶を開始するとともに、終了操作に応じて前記画像の記憶を終了し、前記選択手段は、前記画像記憶手段が記憶を終了した直後における連続画像から、間欠的に画像を選択し、前記表示手段は、前記画像記憶手段が記憶を終了した直後において前記合成画像を表示することを特徴とする。
【０００９】
また、請求項３記載の発明にあっては、前記記録手段に記録された複数の画像からなる連続画像を再生する再生手段を更に備え、前記選択手段は、前記再生手段により前記連続画像を再生する再生モードにおいて、当該連続画像を構成する複数の画像から、間欠的に画像を選択することを特徴とする。
【００１０】
また、請求項４記載の発明にあっては、前記合成手段は、前記選択手段により選択された複数の画像を配置して、単一の合成画像を生成することを特徴とする。
【００１１】
また、請求項５記載の発明に係る撮像装置にあっては、前記合成手段は、前記選択手段により選択された複数の画像の所定部分を各々切り出し、この切り出した部分画像を所定の方向に配列して、単一の合成画像を生成することを特徴とする。
【００１２】
また、請求項６記載の発明にあっては、前記合成手段は、前記選択手段により選択された複数の画像を重ね合わせて、単一の合成画像を生成することを特徴とする。
【００１３】
また、請求項７記載の発明にあっては、操作手段を更に備え、前記選択手段は、前記操作手段に対する操作に応じて、前記複数の画像から異なる間欠タイミングで画像を選択することを特徴とする。
【００１４】
また、請求項８記載の発明にあっては、撮影シーンに対応して、異なるフレーム周期と異なる画像合成形態とを記憶した制御情報記憶手段を備え、前記撮像手段は、前記制御情報記憶手段から選択された撮影シーン対応するフレーム周期に従って撮像し、前記画像合成手段は、前記選択された撮影シーン対応する画像合成形態で前記複数の画像を合成することを特徴とする。
【００１５】
また、請求項９記載の発明にあっては、所定のフレーム周期に従って撮像する撮像手段と、この撮像手段により前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶手段とを備える装置が有するコンピュータを、前記画像記憶手段に記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択手段、この選択手段により選択された複数の画像を合成して、合成画像を生成する画像合成手段、この画像合成手段により生成された前記合成画像を表示させる表示制御手段として機能させることを特徴とする。
【００１６】
また、請求項１０記載の発明にあっては、所定のフレーム周期に従って撮像する撮像ステップと、この撮像ステップにより前記フレーム周期に従って撮像された複数の画像からなる連続画像を記憶する画像記憶ステップと、この画像記憶ステップにより記憶された連続画像を構成する複数の画像から、間欠的に画像を選択する選択ステップと、この選択ステップにより選択された複数の画像を合成して、合成画像を生成する画像合成ステップと、この画像合成ステップにより生成された前記合成画像を表示する表示ステップとを含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、ユーザが所望する態様の合成画像の作成、表示が可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係る撮像装置１の回路構成を示すブロック図である。撮像装置１は、高速連続撮影機能を備えており、図に示すように、制御回路２を有している。制御回路２には、ＣＰＵ３とこのＣＰＵ３にデータバス４を介して各々接続されたインターフェース５、音声入出力回路６、入力回路７、メモリカードインターフェース８、ＵＳＢコントローラ９、入出力インターフェース１０、入出力回路１１、入出力ポート１２、１３、ＨＤＤインターフェース１４が設けられている。音声入出力回路６には、マイク１６がアンプ１７及びＡ／Ｄ変換器１８を介して接続されているとともに、スピーカ１９がアンプ２０及びＤ／Ａ変換器２１を介して接続されている。入力回路７には、各種操作キー、スイッチ等が設けられた操作入力部２２が接続され、メモリカードインターフェース８には脱着自在に設けられた画像メモリ媒体２５が接続されている。ＵＳＢコントローラ９はＵＳＢ端子２６に接続されており、入出力インターフェース１０はアンテナ２７を有する無線ＬＡＮ送受信部２８に通信コントローラ２９を介して接続されている。また、入出力回路１１には、外部トリガー端子３０がトリガー検出部３１を介して接続されている。
【００１９】
前記入出力ポート１２には、焦点レンズ駆動部３２、ズームレンズ駆動部３３、絞り駆動部３４及びシャッタ駆動部３５が接続されているとともに、ストロボ３６がストロボ駆動回路３７を介して接続され、測光／測距センサ３８が検出回路３９を介して接続されている。前記入出力ポート１３には、当該撮像装置１の上下方向のブレを検出する角速度センサ（Ｙ／Ｐｉｔｃｈ）４０と、上下方向のブレを検出する角速度センサ（Ｘ／Ｙａｗ）４２とが各々検出回路４１、４３を介して接続されている。ＨＤＤインターフェース１４には、ＨＤＤ記憶装置４６が接続されている。ＨＤＤ記憶装置４６は、ディスク媒体４７を有するとともに、モータ４８、モータドライバ４９、マイコン部５０、ＶＣモータ５１、ヘッドアンプ５２、リード／ライトチャンネル＋ＣＯＤＥＣ５３、ＨＤＤ制御部５４等を有している。
【００２０】
また、制御回路２には、電池４４が電源制御部４５を介して接続され、電源制御部４５は制御回路２により制御されて各部に電池４４からの電力を供給する。さらに、前記データバス４には音声ＣＯＤＥＣ（符号器／復号器）１５、プログラムメモリ２３及びデータメモリ２４が接続されている。音声ＣＯＤＥＣ１５は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ２３は、後述するフローチャートに示す制御回路２が動作するためのプログラムを格納しており、データメモリ２４は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。
【００２１】
一方、ズームレンズを含む撮像光学系５５の後方光軸上には、撮像素子５６が配置されているとともに、撮像光学系５５中には前記絞り駆動部３４により駆動される絞り５７及び前記シャッタ駆動部３５により駆動されるシャッタ５８が介挿されている。また、前記焦点レンズ駆動部３２は、撮像光学系５５中の焦点レンズを駆動し、ズームレンズ駆動部３３はズームレンズを駆動するように構成されている。
【００２２】
前記撮像素子５６は、並列読み出しなどの高速読み出しが可能なものであり、イメージセンサ部５９、水平走査部６０、垂直走査部６１、Ｐ／Ｓ変換部６２を有している。この撮像素子５６には、ＤＳＰ部６３が接続されている。ＤＳＰ部６３には、撮像素子５６のＰ／Ｓ変換部６２から取り込んだ画像信号を処理するためのＳ／Ｐ変換部６４、バッファメモリ６５、ＷＢ補正部６６、リサイズ／画素補間部６７、カラー補間部６８、輪郭補正部６９、ガンマ補正部７０、マトリクス回路部７１を備えているとともに、前記垂直走査部６１の周期を制御するためのコントローラ７３、前記バッファメモリ６５及び画像認識処理ほかデジタル信号処理部７２を備えている。
【００２３】
前記マトリクス回路部７１と画像認識処理ほかデジタル信号処理部７２とは、画像データバス７４を介してバッファメモリ７５、画像ＣＯＤＥＣ（符号器／復号器）７６、動画像ＣＯＤＥＣ（符号器／復号器）７７及び表示駆動回路７８に接続され、画像データバス７４は前記制御回路２のインターフェース５に接続されている。画像認識処理ほかデジタル信号処理部７２は、撮影された複数の画像をデジタル処理して合成し、バッファメモリ７５は、画像ＣＯＤＥＣ７６及び動画像ＣＯＤＥＣ７７が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路７８は、（ファインダ）表示部７９を駆動する。
【００２４】
図２及び図３は、前記プログラムメモリ２３に格納されているシーン別撮影プログラムの設定データの例を示す図である。すなわち、撮像装置１は、高速度連写、動画撮影のみならず静止画撮影を可能であって、図２に示すように一般のシーン別（静止画）撮影プログラムにおいては、人物を撮影する場合、風景を撮影する場合等のシーン別撮影プログラム毎に見本画像と、この見本画像と説明等を表示させるための表示用データが記憶されている。
【００２５】
また、これら見本画像等に対応して「高速度撮影の条件」と「その他の撮影条件／補正条件」が記憶されている。「高速度撮影の条件」としては、「撮影速度（ｆ／ｓ（frame/second））」、「連続撮影コマ数」、「露出時間（ｓ）」、「画像サイズ」、「トリガー条件」、「再生速度（ｆ／ｓ）」、「画像合成」が記憶されており、その「他の撮影条件／補正条件」としては、「ストロボ」、「ホワイトバランス」、「ＩＳＯ感度、測光方式」、「ＡＦエリア」、「フィルタ」、「色強調」、「彩度」、「シャープネス」等が記憶されている。
【００２６】
また、図３に示すように高速度撮影のシーン別撮影プログラムにおいては、ミルククラウンを撮影する場合、走る車を撮影する場合、ゴルフスィングを撮影する場合等の、高速度撮影のシーン別撮影プログラム毎に見本画像と、この見本画像と説明等を表示させるための表示用データが記憶されているとともに、前述した「高速度撮影の条件」と「その他の撮影条件／補正条件」が記憶されている。
【００２７】
そして、図２は一般（単一の静止画）のシーン別撮影プログラムの設定データであることから、「撮影速度（ｆ／ｓ）」、「連続撮影コマ数」は記憶されておらず、図３は高速度撮影のシーン別撮影プログラムの設定データであることから、「撮影速度（ｆ／ｓ）」として「１２００ｆｐｓ」、「３００ｆｐｓ」等が記憶され、「連続撮影コマ数」として「連続６００コマ（０．５秒）」、「連続９００コマ（３秒）」等が記憶されている。
【００２８】
また、図３の高速度撮影のシーン別撮影プログラムの設定データにおける「高速度撮影の条件」の「画像合成」は、高速度撮影された複数の画像から間欠的に画像を選択して１枚の画像に合成する際の画像合成形態を示す。
【００２９】
つまり、ミルククラウンを撮影する場合の「画像合成」に対応して記憶されている「レイアウト合成９枚」は、シーン別撮影プログラムにおいて「ミルククラウン」を選択して高速度撮影を行った場合、合成画像を生成する際には、高速度撮影された複数の画像から９枚を間欠的選択して、後述するレイアウト合成することを意味する。また、ゴルフスィングを撮影する場合の「画像合成」に対応して記憶されている「横並びスライス合成」は、シーン別撮影プログラムにおいて「ゴルフスィング」を選択して高速度撮影を行った場合、合成画像を生成する際には、画像を代並びにして後述するスライス合成することを意味する。
【００３０】
なお、「高速度撮影の条件」の中には、図３に示すミルククラウンにおける「６０ｆｐｓ（スロー再生１／２０）」のように再生時の速度である「再生速度（ｆ／ｓ）」も含まれている。
【００３１】
（全体的動作）
図４及び図５は、本発明の第１の実施の形態における処理手順を示す一連のフローチャートである。制御回路２はプログラムメモリ２３に格納されているプログラムに基づき、このフローチャートに示すような処理を実行する。先ず、ユーザによる操作入力部２２での操作により、撮影モードが設定されているか否かを判断する（ステップＳ１０１）。撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ１０２）。
【００３２】
撮影モードが設定された場合には、ユーザによる操作入力部２２での操作により、「シーン別撮影プログラムから選択」が選択されたか否かを判断する（ステップＳ１０３）。「シーン別撮影プログラムから選択」が選択されなかった場合には、操作入力に応じて、撮影速度（コマ数／秒）、露出時間及びその他の撮影条件を設定して（ステップＳ１０４）、ステップＳ１０９に進む。
【００３３】
「シーン別撮影プログラムから選択」が選択された場合には、シーン別撮影プログラムの見本画像又はその一覧を表示部７９に表示し（ステップＳ１０５）、操作入力に応じて、シーン又は見本画像を選択する（ステップＳ１０６）。また、この選択されたシーン又は見本画像のプログラムに従って、その他の撮影条件（図２、３参照）を設定する（ステップＳ１０７）。
【００３４】
次に、ズーム処理、ＡＦ処理、測光処理を実行した後（ステップＳ１０８）、被写体像のスルー画像を表示部７９に表示させる（ステップＳ１０９）。このスルー画像の表示状態におけるフレーム周期は、通常の低速周期例えば３０ｆｐｓである。ユーザはこの表示部７９に表示されたスルー画像を見ながら、この撮像装置１の向きを調整する。この間、操作入力部２２に設けられているレリーズ釦が操作されたか、又は所定の撮影操作があったか否か、及び開始トリガーが検出されたか否かを判断し（図５、ステップＳ１１０）、いずれもない場合にはその他のキー処理、表示処理を実行する（ステップＳ１１１）。
【００３５】
また、レリーズ釦の操作や撮影操作があったか、又は開始トリガーが検出された場合には、前記ステップＳ１０６で選択された選択シーンは高速度の連続撮影か否かを判断する（ステップＳ１１２）。選択シーンが高速度の連続撮影である場合には、選択されたシーン又は見本画像に従って、必要な撮影速度（コマ数／秒）、コマ数、及び露出時間を設定する（ステップＳ１１３）。つまり、ミルククラウンの撮影シーンが選択された場合には、撮影速度は「１２００ｆｐｓ」であることから、撮影速度として１２００ｆｐｓ（第２のフレーム周期）が設定され、コマ数は「６００コマ」であることからコマ数として６００が設定され、露出時間は「１／６０００（ｓ）」であること露出時間として１／６０００（ｓ）が設定される。これにより、フレーム周期は前記通常の周期例えば３０ｆｐｓ（第１のフレーム周期）から、これよりも高い１２００ｆｐｓ（第２のフレーム周期）に変化することとなる。
【００３６】
さらに、設定された撮影速度に基づいて、撮影時間間隔を設定する（ステップＳ１１４）。つまり、ミルククラウンの撮影シーンが選択された場合には、撮影速度は１２００ｆｐｓであることから、撮影時間間隔は１／１２００秒となり、撮影時間間隔として１／１２００秒が設定される。
【００３７】
次に、設定された露出時間、及びその他の撮影条件に基づいて、露出及び撮影処理を行って１フレーム分の画像を撮影する（ステップＳ１１５）。また、この撮影した１フレーム分の撮影画像データを圧縮し符号化して（ステップＳ１１６）、メモリ（バッファメモリ７５）に記録する（ステップＳ１１７）。このとき、前記ステップＳ１１０で開始トリガーを検出した時点で撮影した撮影画像データに関しては、図７、図９、図１２に示すように、開始トリガー点の撮影画像データであることを示す情報も記録する。なお、図７に示すように、当該シーンにおける代表的な画像を特定するための代表トリガーを検出して、代表トリガー点の撮影画像データであることを示す情報も記録するようにしてもよい。しかる後、撮影コマ数をカウントするカウンタをカウントアップさせる（ステップＳ１１８）。
【００３８】
次に、撮影コマ数が設定コマ数（ミルククラウンの場合「６００コマ」）以上となったか否かを判断し（ステップＳ１１９）、撮影コマ数≧設定コマ数となっていなければ、計時処理を行って前回の１フレームの撮影からの時間を計時する（ステップＳ１２０）。この計時した前回の１フレーム撮影からの時間が、前記ステップＳ１１４で設定した撮影時間間隔（１／１２００秒）を経過したか否かを判断する（ステップＳ１２２）。そして、撮影時間間隔を経過した時点でステップＳ１１５からの処理を繰り返す。したがって、ミルククラウンの撮影シーンが選択された場合には、ステップＳ１１５からの処理が１／１２００秒の周期で繰り返され、１／１２００秒毎に撮影された各フレーム画像データがメモリ（バッファメモリ７５）に蓄積されていく。
【００３９】
そして、本例の場合撮影コマ数が「６００」となると、撮影コマ数＝設定コマ数となり、ステップＳ１１９の判断がＹＥＳとなる。よって、ステップＳ１１９からステップＳ１２２に進み、終了トリガーを発生させる。また、連続撮影画像データ（６００のフレーム画像データ）を、グループデータとして、撮影条件とともにメモリ（画像メモリ媒体２５、又はディスク媒体４７）に記録する処理を実行する。ここで、前述のように撮影条件には、「再生速度（ｆ／ｓ）」も含まれることから、「再生速度（ｆ／ｓ）」もグループデータとともに記録されることとなる。また、前記ステップＳ１２２で終了トリガーを発生した時点で撮影した撮影画像データに関しては、図７、図９、図１２に示すように、終了トリガー点の撮影画像データであることを示す情報も記録する。
【００４０】
さらに、レイアウト合成や多重合成などの自動編集機能に設定されているか否かを判断し（ステップＳ１２４）、設定されていない場合には、ステップＳ１２５及びステップＳ１２６の処理を行うことなく、ステップＳ１２７に進む。また、設定されている場合には、後述するように設定条件に基づいて、連続撮影画像から抽出した所定の画像を自動編集し（ステップＳ１２５）、この編集された画像データをメモリ（画像メモリ媒体２５、又はディスク媒体４７）に記録する（ステップＳ１２６）。しかる後に、前記連続撮影した撮影画像又は自動編集済画像を表示部７９にレビュー表示する（ステップＳ１２７）。
【００４１】
なお、ステップＳ１２５の自動編集処理については、後述の図６〜図１２において詳細に説明する。
【００４２】
他方、ステップＳ１２４での判断の結果、連続撮影ではなく単一の静止画撮影であった場合には、設定された撮影条件に基づいて、露出して撮影処理し（ステップＳ１２８）、撮影画像データを圧縮、符号化する（ステップＳ１２９）。また、この圧縮、符号化した画像データを撮影情報とともにメモリ（画像メモリ媒体２５、又はディスク媒体４７）へ記録した後（ステップＳ１３０）、この撮影画像を表示部７９にレビュー表示する（ステップＳ１３１）。
【００４３】
（高速度撮影画像の合成処理）
次に、図６〜図１２に従って、前記ステップＳ１２５で実行される「設定条件に基づいて、連続撮影画像から抽出した所定の画像を自動編集」の処理例（１）〜（３）である自動編集処理（１）〜（３）について説明する。
図６の自動編集処理（１）は、高速度撮影画像のレイアウト合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後（ステップＳ１）、レイアウト合成撮影に設定されているか否かを判断し（ステップＳ２）、設定されてない場合にはその他の処理に移行する（ステップＳ３）。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から複数枚の画像を所定間隔（又はランダム）に選択する（ステップＳ４）。すなわち、図７に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Ｐから、複数枚（本例では９枚）の画像Ｐ１〜Ｐ９を所定間隔で選択する。
【００４４】
次に、選択された複数枚の画像を、所定のサイズ、レイアウトで１枚の画像に合成する（ステップＳ５）。このステップＳ５での処理により、図７に例示するように、１列目から３列目までに時系列的に画像Ｐ１〜Ｐ９が配置されたミルククラウンの合成画像Ｐ０が生成される。そして、この合成された画像データを符号化してメモリに記憶する（ステップＳ６）。
したがって、前述のようにミルククラウンを撮影する場合の「画像合成」に対応して「レイアウト合成９枚」が記憶されていることから、ユーザがシーン別撮影プログラムにおいて「ミルククラウン」を選択して高速度撮影を行った場合には、図５のステップＳ１２５で図７に例示したミルククラウンの合成画像Ｐ０が生成されることとなる。
【００４５】
よって、ユーザが選択した撮影シーン（ミルククラウン）に応じて適切な合成形態の合成画像Ｐ０を生成することができる。
【００４６】
また、この合成画像Ｐ０は、図５のステップＳ１２７で表示部７９にレビュー表示されることから、ユーザがこれを視認することより、連続的に撮影を行った撮影対象の動きを一見して把握することができる。
【００４７】
しかも、図５のステップＳ１２７におけるプレビュー表示は、撮影終了直後に実行されることから、撮影直後において迅速に連続的に撮影を行った撮影対象の動きを一見して把握することができる。
【００４８】
なお、図５のフローチャートにおいて、ステップＳ１２５の処理が実行される以前に連続撮影等が行われており、また、次ステップＳ１２６でメモリへの記録を行うことから、ステップＳ１２５においては、図６のステップＳ４とステップＳ５の処理を行えばよい。
【００４９】
図８の自動編集処理（２）は、高速度撮影画像のスライス合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後（ステップＳ１１）、スライス合成撮影に設定されているか否かを判断し（ステップＳ１２）、設定されてない場合にはその他の処理に移行する（ステップＳ１３）。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から所定数枚の画像を選択する（ステップＳ１４）。すなわち、図９に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Ｐから、所定数枚（本例では６枚）の画像Ｐ１〜Ｐ６を間欠的に選択する。
【００５０】
次に、撮影プログラムに従って、各画像の中央など一部領域をスライスして切り出す（ステップＳ１５）。このステップＳ１５での処理により、図９に例示するように、画像Ｐ１〜Ｐ６の中央部をスライスして切り出したスライス画像ＰＳ１〜ＰＳ６が生成される。引き続き、複数画像からのスライス画像を、所定間隔ずつ（横方向又は縦方向に）ずらして重ねて合成する（ステップＳ１６）。これにより、図９に例示するように、スライス画像ＰＳ１〜ＰＳ６を所定間隔ずつ横方向にずらして重ねて合成されたゴルフスィングの合成画像Ｐ０が生成されることとなる。そして、この合成された画像データを符号化してメモリに記憶する（ステップＳ１７）。
したがって、前述のようにゴルフスィングを撮影する場合の「画像合成」に対応して「横並びスライス合成」が記憶されていることから、ユーザがシーン別撮影プログラムにおいて「ゴルフスィング」を選択して高速度撮影を行った場合には、図５のステップＳ１２５で図９に例示したゴルフスィングの合成画像Ｐ０が生成されることとなる。
【００５１】
よって、ユーザが選択した撮影シーン（ゴルフスィング）に応じて適切な合成形態の合成画像Ｐ０を生成することができる。
【００５２】
なお、図５のフローチャートにおいて、ステップＳ１２５の処理実行される以前に連続撮影等が行われており、また、次ステップＳ１２６でメモリへの記録を行うことから、ステップＳ１２５においては、図８のステップＳ１４〜Ｓ１６の処理を行えばよい。また、図９に示したゴルフスィングに限ることなく、図１０に示した他の動作体に関しても、この高速度撮影画像のスライス合成処理を用いることができる。
【００５３】
図１１の自動編集処理（３）は、高速度撮影画像の多重焼き合成処理の処理手順を示すフローチャートである。前述のように、選択されたシーン別の撮影プログラムに基づいて連続撮影を実行した後（ステップＳ２１）、多重焼き合成撮影に設定されているか否かを判断し（ステップＳ２２）、設定されてない場合にはその他の処理に移行する（ステップＳ２３）。設定されている場合には、撮影プログラムとトリガー信号に従って、連続撮影画像から所定間隔毎に（又は全画像）を選択する（ステップＳ２４）。すなわち、図１２に示すように開始トリガー点から終了トリガー点までの複数の連続撮影画像Ｐから、所定間隔毎に画像Ｐ１〜ＰＮを選択する。
【００５４】
次に、選択された複数枚の画像を、重ね合わせて多重合成する（ステップＳ２５）。このステップＳ２５での処理により、図１２に例示するように、単一のボールがバウンドを繰り返す合成画像Ｐ０が生成されることとなる。そして、この合成された画像データを符号化してメモリに記憶する（ステップＳ２６）。
【００５５】
なお、図５のフローチャートにおいて、ステップＳ１２５の処理実行される以前に連続撮影等が行われており、また、次ステップＳ１２６でメモリへの記録を行うことから、ステップＳ１２５においては、図１１のステップＳ２４とステップＳ２５の処理を行えばよい。
【００５６】
（再生、編集）
図１３及び図１４は、本実施の形態における再生、編集モードの処理手順を示す一連のフローチャートである。先ず、ユーザによる操作入力部２２での操作により、再生又は編集モードが設定されているか否かを判断する（ステップＳ３０１）。再生又は編集モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ３０２）。再生又は編集モードが設定された場合には、画像の再生表示が指示されたか否か判断する（ステップＳ３０３）。画像の再生表示に移行すべき場合には、当該画像再生が高速度撮影の画像再生であるか否かを判断する（ステップＳ３０６）。高速度の撮影画像の再生ではなく、通常の連写あるいは動画の再生である場合には、選択された画像を伸張、復号して表示部７９にて再生する。
【００５７】
当該画像再生が高速度撮影の画像再生である場合には、撮影画像データに記録されていた撮影時のシーンに応じて、再生方法を自動的に設定する（ステップＳ３０７）。したがって、前述したミルククラウンの高速度撮影画像を再生する場合には、「再生速度（ｆ／ｓ）」として「６０ｆｐｓ（スロー再生１／２０）」が記録されていることから、「６０ｆｐｓ（スロー再生１／２０）」が自動設定されることとなる。次に、図７、図９、図１２に示した開始トリガー点を検索し、選択された画像又はグループ画像を開始トリガー点から伸張、復号して設定された再生方法やスロー再生速度等に従って、表示部７９に再生表示する（ステップＳ３０９）。また、前記ステップＳ３０３での判断の結果、画像の再生表示でない場合には、一覧表示に移行すべきか否かを判断し（ステップＳ３０４）、一覧表示に移行すべき場合には、画像データの一覧表示又はサムネイル画像の一覧を表示部７９に表示する（ステップＳ３０５）。
【００５８】
そして、ステップＳ３０５、Ｓ３０９、Ｓ３１０のいずれかに続くステップＳ３１１においては、ユーザによる操作入力部２２での操作により、画像選択の操作があったか否かを判断し、画像選択の操作があった場合には、操作入力に応じて再生する画像を選択し、当該画像の再生表示に移行する（ステップＳ３１２）。また、画像選択の操作がなかった場合には、早送り又は早戻し再生操作があったか否かを判断し（ステップＳ３１３）、あった場合には設定された早送り又は早戻し速度の従って、動画像を早送り、早戻し再生する（ステップＳ３１４）。
【００５９】
ステップＳ３１３での判断の結果、早送り又は早戻し再生操作がなかった場合には、一覧表示操作があったか否かを判断し（ステップＳ３１５）、あった場合には画像データの一覧表示に移行する（ステップＳ３１６）。また、一覧表示操作がなかった場合には（ステップＳ３１５；ＮＯ）、メニュー操作があったか否かを判断する（ステップＳ３１７）。メニュー操作があった場合には、メニュー画面の表示へ移行し（ステップＳ３１８）、なかった場合には、その他のキー処理に移行する（ステップＳ３１９）。
【００６０】
他方、ステップＳ３０４での判断の結果、一覧表示に移行すべきでない場合には、メニュー表示に移行すべきか否かを判断する（図１４、ステップＳ３２０）。メニュー表示に移行すべき場合には、操作項目などを選択するメニュー画面を表示部７９に表示する（ステップＳ３２１）。そして、この表示した項目に対する選択操作があったか否かを判断し（ステップＳ３２２）、なかった場合にはその他のキー処理を実行する（ステップＳ３２４）。選択操作があった場合には、当該選択操作に応じて、各編集項目を選択し、該当項目の編集画面へ移行する（ステップＳ３２３）。
【００６１】
また、ステップＳ３２０での判断の結果、メニュー表示に移行すべきでない場合には、各編集画像の表示に移行すべきであるか否かを判断し（ステップＳ３２５）、各編集画像の表示に移行すべきでない場合には、その他の表示処理を実行する（ステップＳ３２６）。また、各編集画像の表示に移行すべき場合には、再生画像と共に、該当する編集項目の操作画面を表示する（ステップＳ３２７）。そして、この再生画像に対応してトリガー情報の記録があるか否かを判断し（ステップＳ３２８）、ある場合には記録されたトリガー情報を該当シーンに対応して表示する（ステップＳ３２９）。
【００６２】
次に、自動編集操作があったか否かを判断し（ステップＳ３３０）、あった場合には記録されたトリガー情報に応じて、編集条件などを自動的に入力又は選択する（ステップＳ３３３）。また、自動編集操作がなかった場合には、編集操作があったか否かを判断し（ステップＳ３３１）、なかった場合にはその他のキー処理を実行する（ステップＳ３３２）。編集操作があった場合には、操作入力及び記録トリガー情報に応じて、編集条件などを入力又は選択する（ステップＳ３３４）。
【００６３】
そして、ステップＳ３３３又はＳ３３４に続くステップＳ３３５においては、該当する編集処理、つまり、下記編集処理のいずれかを実行する
・図６のレイアウト合成処理である自動編集処理（１）におけるステップＳ４及びＳ５の処理。
・図８のスライス合成処理である自動編集処理（２）におけるステップＳ１４〜Ｓ１６の処理。
・図１１の多重焼き合成処理である自動編集処理（３）におけるステップＳ２４及びＳ２５の処理。
【００６４】
次にその編集結果を表示部７９にプレビュー表示する（ステップＳ３３６）。引き続き、編集された画像を記録する指示がなされたか否か（操作入力部２２にてＯＫ操作がなされたか否か）を判断する（ステップＳ３３７）。当該指示がなされた場合には、元の画像データとは別に、編集された画像データを、撮影条件、編集条件データとともに、メモリ媒体（画像メモリ媒体２５、又はディスク媒体４７）へ記録する（ステップＳ３３９）。
【００６５】
したがって、本実施の形態においては、シーンまたは見本画像を選択して撮影された画像や動画像を再生する場合には、撮影時にシーン別に予め設定されたスロー再生などの再生方法や、シーンに最適な再生フレーム速度で再生表示が行われる。
【００６６】
また、再生時にも自動編集処理（１）〜（３）いずれか実行されて、これらいずれかの編集処理で生成された合成画像を表示させることができるとともに、記録することができる。
【００６７】
（撮像素子）
前記撮像素子５６を、例えば、ＣＣＤイメージセンサで構成した場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Ｆｌｏａｔｉｎｇ  Ｄｉｆｆｕｓｉｏｎ）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ回路（相関二重サンプル回路）でノイズ除去およびサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａ／Ｄ変換器）でデジタル撮像信号に変換されて、ＤＳＰ（信号処理回路）に出力される。
【００６８】
一方、撮像素子をＣＭＯＳ（相補型金属一酸化膜半導体）イメージセンサで構成する場合には、図１に示したような、一般的なＡＰＳ（増幅型画素センサ）型のＣＭＯＳセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子（アンプ）が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内アンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出すことができる。ＣＣＤのように順番に取り出さなくとも、ＣＭＯＳセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切出して読出す場合には、高速で読み出せる。
【００６９】
また、ＣＣＤでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、ＣＭＯＳセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またＣＭＯＳ  ＬＳＩ等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に各種のＣＭＯＳ回路や加算演算回路などデジタル論理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。その反面、ＣＭＯＳセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ（ＦＰＮ）や暗電流、ＫＴＣ雑音が大きい難点があったが、（ＣＣＤと同様に）埋め込みフォトダイオードとＦＤアンプを用いる構造にして、暗電流とＫＴＣ雑音を低減できるようになり、列信号線毎に並列に並んだ列回路に設けたＣｏｌｕｍｎ型のＣＤＳ／ＡＤＣ回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズを除去できるようになり、列回路毎に積分型や巡回型、逐次型などのＡＤ変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。
【００７０】
本実施の形態に係る撮像装置１に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図１５に示す撮像素子２００を用いることが好ましい。すなわち、この撮像素子２００は、タイミング発生回路２０１に接続された垂直走査回路２０２と水平走査回路２０３及び列回路部２０４を備えるとともに、並列直列変換部２０４、符号器２０５を有している。列回路部２０４には、ＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７、画素加算回路２０８を一組とする回路が複数設けられて、各々列信号線２０９が接続されている。一方、垂直走査回路２０２には、行選択線（アドレス線）２１０と転送ＴＣ線（行読出し線）２１１及び行リセット線２１２とが接続されている。また、イメージセンサ部２１３には、複数の単位画素回路２１４が設けられており、各単位画素回路２１４は、前記列信号線２０９、行選択線（アドレス線）２１０、転送ＴＣ線（行読出し線）２１１、行リセット線２１２に接続されたフォトダイオード２１５等で構成されている。
【００７１】
したがって、この撮像素子２００においては、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ回路２０７の後段に隣接する同色（フィルタ）の複数の画素の信号同士をデジタル信号で加算する画素加算回路２０８を設けることにより、デジタルズーム時には、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号を読出しできるように構成し、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようにしてある。
【００７２】
なお、選択読出された選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ回路２０７から水平走査回路２０２の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力するか、若しくは、並列のデジタル信号を符号化し、並列／直列変換回路により変換して、直列のデジタル撮像信号として出力して、高解像度の撮像信号を、ＤＳＰに高速フレームレートで転送出力することができる。
【００７３】
また、図３に示した前記プログラムメモリ２３に格納されているシーン別撮影プログラムの設定データにおいて、「高速度の撮影条件」として、図示した「撮影速度（ｆ／ｓ）」〜「合成画像ほか」に加えて、各シーンに対応させて、撮像素子２００にから画素の信号を読み出す画像領域を記憶しておき、撮影シーンが選択された場合には、記憶された画像領域内の画素の撮像信号を読み出す選択読み出しを行うようにしてもよい。
【００７４】
（他の実施の形態）
（１）第２の実施の形態
図１６は、本発明の第２の実施の形態における処理手順を示すフローチャートである。まず、レイアウト合成撮影が選択されたか否かを判断し（ステップＳ４０１）、選択されていない場合にはその他の処理に移行する（ステップＳ４０２）。レイアウト合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する（ステップＳ４０３）。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うＰＡＳＴ連写を実行する（ステップＳ４０４）。このステップＳ４０４での処理により、バッファメモリ７５には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
【００７５】
次に、トリガー入力又は撮影終了指示があったか否かを判断し（ステップＳ４０５）、トリガー入力又は撮影終了指示があるまで、ステップＳ４０４の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はＰＡＳＴ連写を終了する（ステップＳ４０６）。つまり、本実施の形態においては、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はＰＡＳＴ連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はＰＡＳＴ連写を継続して、所定時間後に終了する。
【００７６】
したがって、バッファメモリ７５には、図１７（Ａ）に示すように、撮影を開始した時点からトリガー入力又は撮影終了指示があった時点である代表トリガー点Ｔまでのみならず、代表トリガー点Ｔから所定時間が経過した時点までの、高速フレームレートで撮影された連続撮影画像Ｐが順次記憶されることとなる。
【００７７】
次に、撮影プログラムと（レリーズ釦など）トリガー信号に従って、連続撮影画像Ｐから複数の画像を所定間隔で選択する。つまり、図１７（Ｂ）に示すように、撮影プログラムとトリガー信号に従った所定間隔が２ｍｓであるならば、代表トリガー点Ｔを０ｍｓとして、０ｍｓ、２ｍｓ、４ｍｓ・・・の間隔で連続撮影画像Ｐから画像Ｐ１、Ｐ２、Ｐ３・・・を選択する。
【００７８】
引き続き、これら選択された画像Ｐ１、Ｐ２、Ｐ３・・・を所定のサイズ、レイアウトで１枚の画像に合成する（ステップＳ４０８）。また、このように自動合成された画像をファインダ（表示部７９）に撮影後レビュー表示、又は記録前プレビュー表示する（ステップＳ４０９）。つまり、前記連続撮影画像Ｐをこの時点で画像メモリ媒体２５に記録して、しかる後に図１７（Ｃ）に示した画像Ｐ１、Ｐ２、Ｐ３・・・が合成された合成画像Ｐ０をファインダに表示（レビュー表示）してもよいし、前記連続撮影画像Ｐはこの時点で画像メモリ媒体２５に記録することなく、後述するステップＳ４１９で記録し、合成画像Ｐ０をファインダに表示（プレビュー表示）してもよい。
【００７９】
次に、操作入力部２２に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する（ステップＳ４１０）。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する（ステップＳ４１２）。タイミング調整キー入力もなかった場合には、記録ＯＫキー入力があったか否かを判断する（ステップＳ４１７）。記録ＯＫキー入力もなかった場合には、所定時間を経過したか否かを判断し（ステップＳ４１８）、所定時間を経過していない場合には、ステップＳ４１０に戻り、ステップＳ４１０からの処理を繰り返す。
【００８０】
このステップＳ４１０からの処理を繰り返されている状態において、間隔調整キー入力があった場合には（ステップＳ４１０；ＹＥＳ）、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する（ステップＳ４１１）。また、間隔調整キー入力があった場合には（ステップＳ４１２；ＹＥＳ）、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する（ステップＳ４１３）。
【００８１】
つまり、ステップＳ４１１の場合は、画像の間隔が前述のように２ｍｓであった場合には、１ｍｓにして画像を増加させ、あるいは図１７（Ｄ）に示すように、４ｍｓにして画像を減少（６枚→５枚）させる。これに対し、ステップＳ４１３の場合は、合成する画像の選択開始タイミングを代表トリガー点Ｔよりも早く又は遅くする（図１７（Ｄ）は、選択開始タイミングを代表トリガー点Ｔよりも早くした場合を示す）。
【００８２】
次に、調整操作に応じて、つまり前記ステップＳ４１１で変更された画像の間隔や枚数、及び／又はステップＳ４１３で変更された選択開始タイミングに応じて複数の画像を選択する（ステップＳ４１４）。したがって、図１７（Ｄ）に示すように、ステップＳ４１１で画像の間隔が２ｍｓから４ｍｓに変更され（枚数６はそのまま）、選択開始タイミングが４ｍｓ早く変更されたとすると、図示のように代表トリガー点Ｔを±０ｍｓとして、−４ｍｓ、±０ｍｓ、４ｍｓ、６ｍｓ・・・１６ｍｓに対応する６枚の画像が選択されることなる。
【００８３】
引き続き、これら選択された複数画像を所定のサイズ、レイアウトで１枚の画像に再度合成処理する（ステップＳ４１５）。また、これにより得られた合成画像をファインダ（表示部７９）に撮影後レビュー表示、又は記録前プレビュー表示する（ステップＳ４１６）。つまり、前述と同様に前記連続撮影画像Ｐをこの時点で画像メモリ媒体２５に記録して、しかる後に図１７（Ｅ）に示した合成画像Ｐ０をファインダに表示（レビュー表示）してもよいし、前記連続撮影画像Ｐはこの時点で画像メモリ媒体２５に記録することなく、後述するステップＳ４１９で記録し、合成画像Ｐ０をファインダに表示（プレビュー表示）してもよい。
【００８４】
次に、記録ＯＫキー入力があったか否かを判断する（ステップＳ４１７）。このとき、ユーザは、前記ステップＳ４０９で表示されたユーザが調整操作する前の合成画像、又は前記ステップＳ４１６で表示されたユーザが調整操作した合成画像を視認して、当該合成画像で満足であれば、記録ＯＫキーを操作する。これにより、ステップＳ４１７の判断がＹＥＳとなり、合成された画像データを符号化して、画像メモリ媒体２５に記録する（ステップＳ４１９）。また、連続撮影画像Ｐを未だ画像メモリ媒体２５に記録しておらず、合成画像Ｐ０をプレビュー表示した場合には、このステップＳ４１９で連続撮影画像Ｐの画像データも符号化して、画像メモリ媒体２５に記録する。
【００８５】
したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された複数の画像を個別に配列した１枚の合成画像の作成、表示が可能となる。
【００８６】
（２）第３の実施の形態
図１８は、本発明の第３の実施の形態における処理手順を示すフローチャートである。まず、スライス合成撮影が選択されたか否かを判断し（ステップＳ５０１）、選択されていない場合にはその他の処理に移行する（ステップＳ５０２）。スライス合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する（ステップＳ５０３）。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うＰＡＳＴ連写を実行する（ステップＳ５０４）。このステップＳ５０４での処理により、バッファメモリ７５には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
【００８７】
次に、トリガー入力又は撮影終了指示があったか否かを判断し（ステップＳ５０５）、トリガー入力又は撮影終了指示があるまで、ステップＳ５０４の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はＰＡＳＴ連写を終了する（ステップＳ５０６）。つまり、前述した第２の実施の形態と同様に、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はＰＡＳＴ連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はＰＡＳＴ連写を継続して、所定時間後に終了する。
【００８８】
次に、撮影プログラムと（レリーズ釦など）トリガー信号に従って、連続撮影画像Ｐから複数の画像を所定間隔で選択し、略同じ領域をスライス（切り出す）する（ステップＳ５０７）。したがって、このステップＳ５０７での処理により、図１９（Ａ）に示す連続撮影画像Ｐから画像Ｐ１、Ｐ２、Ｐ３・・・が選択された後、これら画像Ｐ１、Ｐ２、Ｐ３・・・の例えば中央部をスライスして切り出したスライス画像ＰＳ１、ＰＳ２、ＰＳ３・・・が生成される。引き続き、選択されスライスされた複数の各画像を所定間隔（位置）ずつずらして１枚の画像に合成する（ステップＳ５０８）。これにより、図１９（Ｃ）に例示するように、スライス画像ＰＳ１、ＰＳ２、ＰＳ３・・・を所定間隔ずつずらして合成されたゴルフスィングの合成画像Ｐ０が生成されることとなる。また、このうように自動合成された画像をファインダ（表示部７９）に撮影後レビュー表示、又は記録前プレビュー表示する（ステップＳ５０９）。
【００８９】
次のステップＳ５１０〜Ｓ５１３、及びステップＳ５１７、Ｓ５１８の処理は、前述した第２の実施の形態においけるステップＳ４１０〜Ｓ４１３、及びステップＳ４１７、Ｓ４１８の処理の処理と同一である。すなわち、操作入力部２２に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する（ステップＳ５１０）。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する（ステップＳ５１２）。タイミング調整キー入力もなかった場合には、記録ＯＫキー入力があったか否かを判断する（ステップＳ５１７）。記録ＯＫキー入力もなかった場合には、所定時間を経過したか否かを判断し（ステップＳ５１８）、所定時間を経過していない場合には、ステップＳ５１０に戻り、ステップＳ５１０からの処理を繰り返す。
【００９０】
このステップＳ５１０からの処理を繰り返されている状態において、間隔調整キー入力があった場合には（ステップＳ５１０；ＹＥＳ）、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する（ステップＳ５１１）。また、間隔調整キー入力があった場合には（ステップＳ５１２；ＹＥＳ）、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する（ステップＳ５１３）。
【００９１】
次に、調整操作に応じて、つまり前記ステップＳ５１１で変更された画像の間隔や枚数、及び／又はステップＳ５１３で変更された選択開始タイミングに応じて複数の画像を選択し、前述したステップＳ５０７と同様に、略同じ領域をスライス（切り出す）する（ステップＳ５１４）。引き続き、前述したステップＳ５０８と同様に、選択されスライスされた複数の各画像を所定間隔（位置）ずつずらして１枚の画像に合成する（ステップＳ５１５）。また、前述したステップＳ５０９と同様に、合成した画像をファインダ（表示部７９）に撮影後レビュー表示、又は記録前プレビュー表示する（ステップＳ５１６）。
【００９２】
したがって、選択開始タイミングを早くしかつ時間間隔を短くした場合には、図１９（Ｄ）に示す合成画像Ｐ０が表示部７９に表示され、選択開始タイミングを遅くしかつ時間間隔を長くした場合には、図１９（Ｅ）に示す合成画像Ｐ０が表示部７９に表示されることとなる。
【００９３】
次に、記録ＯＫキー入力があったか否かを判断する（ステップＳ５１７）。このとき、ユーザは、前記ステップＳ５０９で表示されたユーザが調整操作する前の合成画像（図１９（Ｃ））、又は前記ステップＳ５１６で表示されたユーザが調整操作した合成画像（図１９（Ｄ）又は（Ｅ））を視認して、当該合成画像で満足であれば、記録ＯＫキーを操作する。これにより、ステップＳ５１７の判断がＹＥＳとなり、合成された画像データを符号化して、画像メモリ媒体２５に記録する（ステップＳ５１９）。また、連続撮影画像Ｐを未だ画像メモリ媒体２５に記録しておらず、合成画像Ｐ０をプレビュー表示した場合には、このステップＳ５１９で連続撮影画像Ｐの画像データも符号化して、画像メモリ媒体２５に記録する。
【００９４】
したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された複数の画像であって各々所定部分が切り出された複数の部分画像からなる合成画像の作成、表示が可能となる。
【００９５】
（３）第４の実施の形態
図２０は、本発明の第４の実施の形態における処理手順を示すフローチャートである。まず、多重焼き合成撮影が選択されたか否かを判断し（ステップＳ６０１）、選択されていない場合にはその他の処理に移行する（ステップＳ６０２）。多重焼き合成撮影が選択されている場合には、ユーザの操作による撮影指示があったか否かを判断する（ステップＳ６０３）。撮影指示があったならば、選択されたシーン又は撮影プログラムに基づいて、連続撮影処理、又は循環記録を行うＰＡＳＴ連写を実行する（ステップＳ６０４）。このステップＳ６０４での処理により、バッファメモリ７５には、選択されたシーン又は撮影プログラムに応じた高速フレームレートで撮影されたフレーム画像が順次記憶され、又は循環記憶されていく。
【００９６】
次に、トリガー入力又は撮影終了指示があったか否かを判断し（ステップＳ６０５）、トリガー入力又は撮影終了指示があるまで、ステップＳ６０４の処理を継続する。そして、トリガー入力又は撮影終了指示があったならば、設定された所定時間後に連続撮影、又はＰＡＳＴ連写を終了する（ステップＳ６０６）。つまり、前述した第２の実施の形態と同様に、トリガー入力又は撮影終了指示があった時点で即時に、連続撮影又はＰＡＳＴ連写を終了するのではなく、トリガー入力又は撮影終了指示があっても、連続撮影又はＰＡＳＴ連写を継続して、所定時間後に終了する。
【００９７】
次に、撮影プログラムと（レリーズ釦など）トリガー信号に従って、連続撮影画像から複数の画像を所定間隔で選択する（ステップＳ６０７）。したがって、このステップＳ６０７での処理により、図２０（Ａ）に示す連続撮影画像Ｐから、同図（Ｂ）に示す画像Ｐ１、Ｐ２、Ｐ３・・・が選択される。
【００９８】
引き続き、選択された複数の各画像を、重ね合わせて１枚の画像に合成（多重合成）する（ステップＳ６０８）。このステップＳ６０８での処理により、２１（Ｃ）に例示するように、単一のボールがバウンドを繰り返す合成画像Ｐ０が生成されることとなる。また、このように自動合成された画像をファインダ（表示部７９）に撮影後レビュー表示、又は記録前プレビュー表示する（ステップＳ６０９）。
【００９９】
次のステップＳ６１０〜Ｓ６１３、及びステップＳ６１７、Ｓ６１８の処理は、前述した第２の実施の形態においけるステップＳ４１０〜Ｓ４１３、及びステップＳ４１７、Ｓ４１８の処理の処理と同一である。すなわち、操作入力部２２に設けられている上下キー等の操作による間隔調整キー入力があったか否を判断する（ステップＳ６１０）。間隔調整キー入力がなかった場合には、左右キーの操作によるタイミング調整キー入力があったか否かを判断する（ステップＳ６１２）。タイミング調整キー入力もなかった場合には、記録ＯＫキー入力があったか否かを判断する（ステップＳ６１７）。記録ＯＫキー入力もなかった場合には、所定時間を経過したか否かを判断し（ステップＳ６１８）、所定時間を経過していない場合には、ステップＳ６１０に戻り、ステップＳ６１０からの処理を繰り返す。
【０１００】
このステップＳ６１０からの処理を繰り返されている状態において、間隔調整キー入力があった場合には（ステップＳ６１０；ＹＥＳ）、操作に応じて、選択する画像の間隔又は合成する画像の枚数を増減する（ステップＳ６１１）。また、間隔調整キー入力があった場合には（ステップＳ６１２；ＹＥＳ）、操作に応じて、選択を開始する画像を、タイミングを早く又遅く変えた画像に変更する（ステップＳ６１３）。
【０１０１】
次に、調整操作に応じて、つまり前記ステップＳ６１１で変更された画像の間隔や枚数、及び／又はステップＳ６１３で変更された選択開始タイミングに応じて複数の画像を選択する（ステップＳ６１４）引き続き、前述したステップＳ６０８と同様に、選択された複数の各画像を、重ね合わせて１枚の画像に合成（多重合成）する（ステップＳ６０８）。また、前述したステップＳ６０９と同様に、合成した画像をファインダ（表示部７９）に撮影後レビュー表示、又は記録前プレビュー表示する（ステップＳ６１６）。
【０１０２】
したがって、選択開始タイミングを早くしかつ時間間隔を短くした場合には、図２１（Ｄ）に示す合成画像Ｐ０が表示部７９に表示され、選択開始タイミングを遅くしかつ時間間隔を長くした場合には、図２１（Ｅ）に示す合成画像Ｐ０が表示部７９に表示されることとなる。
【０１０３】
次に、記録ＯＫキー入力があったか否かを判断する（ステップＳ６１７）。このとき、ユーザは、前記ステップＳ６０９で表示されたユーザが調整操作する前の合成画像（図２１（Ｃ））、又は前記ステップＳ６１６で表示されたユーザが調整操作した合成画像（図２１（Ｄ）又は（Ｅ））を視認して、当該合成画像で満足であれば、記録ＯＫキーを操作する。これにより、ステップＳ６１７の判断がＹＥＳとなり、合成された画像データを符号化して、画像メモリ媒体２５に記録する（ステップＳ６１９）。また、連続撮影画像Ｐを未だ画像メモリ媒体２５に記録しておらず、合成画像Ｐ０をプレビュー表示した場合には、このステップＳ６１９で連続撮影画像Ｐの画像データも符号化して、画像メモリ媒体２５に記録する。
【０１０４】
したがって、本実施の形態によれば、画像の選択開始タイミングや画像の間隔、合成する画像の枚数をユーザが任意に設定することができ、ユーザにより選択された画像を１枚の画像内に多重合成した合成画像の作成、表示が可能となる。
【０１０５】
なお、本実施の形態においては、複数の画像の合成処理として、レイアウト合成処理、スライス合成処理、多重焼き合成処理を示したが、他の合成処理を用いるようにしてもよい。
【図面の簡単な説明】
【０１０６】
【図１】本発明の一実施の形態に係る撮像装置の的回路構成を示すブロック図である。
【図２】シーン別撮影プログラムの設定データの例を示す図である。
【図３】図２に続くシーン別撮影プログラムの設定データの例を示す図である。
【図４】本発明の第１の実施の形態おける高速度静止画撮影モードの処理手順を示すフローチャートである。
【図５】図４に続くフローチャートである。
【図６】高速度撮影画像のレイアウト合成処理の処理手順を示すフローチャートである。
【図７】高速度撮影画像のレイアウト合成処理の処理手順を示す説明図である。
【図８】高速度撮影画像のスライス合成処理の処理手順を示すフローチャートである。
【図９】高速度撮影画像のスライス合成処理の処理手順を示す説明図である。
【図１０】高速度撮影画像のスライス合成処理された画像例を示す図である。
【図１１】高速度撮影画像の多重焼き合成処理の処理手順を示すフローチャートである。
【図１２】高速度撮影画像の多重焼き合成処理の処理手順を示す説明図である。
【図１３】再生、編集モードの処理手順を示すフローチャートである。
【図１４】図１３に続くフローチャートである。
【図１５】撮像素子の回路構成例を示す図である。
【図１６】本発明の第２の実施の形態における処理手順を示すフローチャートであＲ。
【図１７】同実施の形態の処理手順を示す説明図である。
【図１８】本発明の第３の実施の形態における処理手順を示すフローチャートであＲ。
【図１９】同実施の形態の処理手順を示す説明図である。
【図２０】本発明の第４の実施の形態における処理手順を示すフローチャートであＲ。
【図２１】同実施の形態の処理手順を示す説明図である。
【符号の説明】
【０１０７】
１    撮像装置
２    制御回路
３    ＣＰＵ
５    制御回路
２３    プログラムメモリ
２４    データメモリ
２５    画像メモリ媒体
３０    外部トリガー端子
３１    トリガー検出部
３２    プログラムメモリ
３９    検出回路
４７    ディスク媒体
５６    撮像素子
５８    シャッタ
５９    イメージセンサ部
６０    水平走査部
６１    垂直走査部
６２    Ｐ／Ｓ変換部
６３    ＤＳＰ部
６４    Ｓ／Ｐ変換部
６５    バッファメモリ
７５    バッファメモリ
７８    表示駆動回路
７９    表示部
【図１】
2009044573.tif 000003
【図２】
2009044573.tif 000004
【図３】
2009044573.tif 000005
【図４】
2009044573.tif 000006
【図５】
2009044573.tif 000007
【図６】
2009044573.tif 000008
【図７】
2009044573.tif 000009
【図８】
2009044573.tif 000010
【図９】
2009044573.tif 000011
【図１０】
2009044573.tif 000012
【図１１】
2009044573.tif 000013
【図１２】
2009044573.tif 000014
【図１３】
2009044573.tif 000015
【図１４】
2009044573.tif 000016
【図１５】
2009044573.tif 000017
【図１６】
2009044573.tif 000018
【図１７】
2009044573.tif 000019
【図１８】
2009044573.tif 000020
【図１９】
2009044573.tif 000021
【図２０】
2009044573.tif 000022
【図２１】
2009044573.tif 000023