(57)【要約】【課題】動画像撮像中に多重露光撮像を行った場合に、多重露光撮像により得られた静止画を動画像に埋め込むことができる撮像装置を提供する。【解決手段】撮像装置１０００は、被写体を静止画像及び動画像として撮像可能な撮像手段と、前記撮像手段より得られた複数の静止画像を合成することにより、多重露光画像を生成する生成手段と、前記被写体を動画像として撮像する動画モード中に前記撮像手段より得られた複数の静止画像から前記生成手段により前記多重露光画像を生成する場合に、前記多重露光画像を前記動画像に埋め込む埋め込み手段と、を備えた。【選択図】図４
2012119874.tif 000002
【特許請求の範囲】
【請求項１】
被写体を静止画像及び動画像として撮像可能な撮像手段と、
前記撮像手段より得られた複数の静止画像を合成することにより、多重露光画像を生成する生成手段と、
前記被写体を動画像として撮像する動画モード中に前記撮像手段より得られた複数の静止画像から前記生成手段により前記多重露光画像を生成する場合に、前記多重露光画像を前記動画像に埋め込む埋め込み手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記撮像手段は、前記動画モード中に前記撮像手段より得られた複数の静止画像から前記生成手段により前記多重露光画像を生成する場合、前記複数の静止画像をそれぞれ撮影する際には前記動画像の撮影を中断することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記埋め込み手段は、前記多重露光画像を、前記多重露光画像を構成する前記複数の静止画像のうち最後に撮影された静止画像を撮影した際の、前記動画像の中断時の画像として前記動画像に埋め込むことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記埋め込み手段は、前記多重露光画像を構成する前記複数の静止画像のうち最後に撮影された静止画像が撮影されたタイミング近傍の所定数のフレームを前記多重露光画像に置き換えることを特徴とする請求項１記載の撮像装置。
【請求項５】
前記埋め込み手段は、前記撮像手段により得られた複数の静止画像を、前記多重露光画像よりも前のフレームとして前記動画像にさらに埋め込むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記生成手段は、前記撮像手段より得られた前記複数の静止画像を撮像された順番に従って逐次合成することにより前記多重露光画像を生成し、
前記埋め込み手段は、前記生成手段が逐次合成する際に生成された各合成画像を、前記多重露光画像よりも前のフレームとして前記動画像にさらに埋め込むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記撮像手段による前記動画モード中の撮像が連写での撮像の場合、前記生成手段は、前記連写での撮像で得られた全ての画像を合成した多重露光画像を生成し、前記埋め込み手段は、該多重露光画像を、中断時の画像として前記動画像にさらに埋め込むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項８】
被写体を静止画像及び動画像として撮像可能な撮像手段と、前記撮像手段より得られた複数の静止画像を合成することにより、多重露光画像を生成する生成手段と、を有する撮像装置の制御方法であって、
前記撮像手段により、前記被写体を動画像として撮像する動画モード中に静止画を撮影する静止画撮影ステップと、
前記生成手段により、前記動画モード中に前記撮像手段より得られた複数の静止画像から前記多重露光画像を生成する生成ステップと、
前記生成ステップで生成された前記多重露光画像を前記動画像に埋め込む埋め込みステップと、
を備えたことを特徴とする撮像装置の制御方法。
【請求項９】
被写体を静止画像及び動画像として撮像可能な撮像手段と、前記撮像手段より得られた複数の静止画像を合成することにより、多重露光画像を生成する生成手段と、を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記制御方法は、
前記撮像手段により、前記被写体を動画像として撮像する動画モード中に静止画を撮影する静止画撮影ステップと、
前記生成手段により、前記動画モード中に前記撮像手段より得られた複数の静止画像から前記多重露光画像を生成する生成ステップと、
前記生成ステップで生成された前記多重露光画像を前記動画像に埋め込む埋め込みステップと、
を備えたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像撮像及び多重露光撮像が可能な撮像装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラとデジタルビデオカメラは内部の技術を共通で使えるものが多いことから、静止画像を撮像するデジタルカメラでも動画像が撮像できるものが多く出回っている。また、動画像撮像中に静止画像を撮像することが可能なデジタルカメラが知られている。
【０００３】
このようなデジタルカメラには、静止画像撮像のタイミングで動画像撮像を停止し、静止画像用の高画質の駆動に切り替える処理をおこない、静止画像を撮像するものがある。
【０００４】
この処理では途中で動画像撮像を停止する処理を入れることになるため、記録される動画像ファイルのつながりが一部切れてしまい、動画像を視聴するユーザが違和感を覚えてしまう。
【０００５】
そこで、動画像ファイルの中で静止画像撮像部分に関しては静止画像を埋め込む処理を行うことで、切り替えの違和感を緩和する技術が知られている。例えば、動画像撮像中に静止画像撮像を行った際の動画像の欠落フレームの補間に関する提案がなされている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２１９３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献に開示されたような従来技術では、多重露光撮像モードを有する撮像装置で動画像記録中に静止画像撮像を行い多重露光画像を生成する場合に、多重露光された静止画像を動画像ファイルに埋め込むことは想定されていなかった。また、動画撮影を中断せずに静止画を撮影する場合に、動画中に静止画像を埋め込む処理については想定されていなかった。
【０００８】
本発明の目的は、動画像撮像中に多重露光撮像を行った場合に、多重露光撮像により得られた静止画を動画像に埋め込むことができる撮像装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の撮像装置は、被写体を静止画像及び動画像として撮像可能な撮像手段と、前記撮像手段より得られた複数の静止画像を合成することにより、多重露光画像を生成する生成手段と、前記被写体を動画像として撮像する動画モード中に前記撮像手段より得られた複数の静止画像から前記生成手段により前記多重露光画像を生成する場合に、前記多重露光画像を前記動画像に埋め込む埋め込み手段と、を備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、動画像撮像中に多重露光撮像を行った場合に、多重露光撮像により得られた静止画を動画像に埋め込むことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【図２】図１における画像表示部に表示される多重露光撮像モード設定画面を示す図であり、（Ａ）は撮像モード切り替え画面を示し、（Ｂ）は多重露光撮像枚数画面を示す。
【図３】図１における画像合成回路３１により実行される画像合成処理を説明するための図であり、（Ａ）は多重露光撮像により得られた画像がメモリに記憶されている様子を示し、（Ｂ）はＭ個の画像が合成される様子を示す。
【図４】図１におけるシステム制御回路により実行される撮像処理の手順を示すフローチャートである。
【図５】図１におけるシステム制御回路により実行される、静止画像撮像枚数に応じた多重露光画像を、静止画像撮像毎に埋め込んでいく撮像処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１３】
図１は、本発明の実施の形態に係る撮像装置の概略構成を示す図である。
【００１４】
本実施の形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルカメラを例に挙げて説明する。なお撮像装置としては、これに限らず、レンズと一体型のデジタルカメラ、他にレンズ交換が可能なデジタルビデオカメラ等にも、本実施の形態を適用することが可能である。
【００１５】
撮像装置１０００は、カメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えている。
【００１６】
レンズユニット３００は、撮像レンズ３１０、絞り３１２、レンズマウント３０６、インタフェース３２０、コネクタ３２２、絞り制御部３４０、及びフォーカス制御部３４２を備える。
【００１７】
撮像レンズ３１０は、複数のレンズから成る。レンズマウント３０６は、レンズユニット３００をカメラ本体１００に機械的に結合する。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。インタフェース３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインタフェースである。コネクタ３２２は、レンズユニット３００をカメラ本体１００に電気的に接続するコネクタである。このコネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信等を用いて通信を行う構成としてもよい。
【００１８】
絞り制御部３４０は、後述するカメラ本体１００のシャッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する。フォーカス制御部３４２は、撮像レンズ３１０のフォーカシングを制御する。
【００１９】
次に、カメラ本体１００の構成について説明する。カメラ本体１００は、レンズマウント１０６、ミラー１３０，１３２、光学ファインダ１０４、シャッター１２、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６、タイミング発生回路１８、画像処理回路２０、メモリ制御回路２２、画像表示部２８、画像表示メモリ２４、画像合成回路３１、メモリ３０、圧縮伸長回路３２を備える。
【００２０】
レンズマウント１０６は、カメラ本体１００とレンズユニット３００を機械的に結合する。ミラー１３０，１３２は、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。
【００２１】
光学ファインダ１０４は、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導かれた撮像レンズ３１０に入射された光線を、光学像として表示することができる。これにより、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮像を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正等が表示される。
【００２２】
シャッター１２は、フォーカルプレーン式となっている。撮像素子１４は、ＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を光電変換する撮像素子である。なお、撮像素子１４の前方には、光学ローパスフィルター等の光学素子が配置されている。撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像される。
【００２３】
Ａ／Ｄ変換器１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換する。Ｄ／Ａ変換器２６は、画像表示メモリ２４に書き込まれた表示用の画像を画像表示部２８により表示させるために画像をアナログ信号に変換する。
【００２４】
タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００２５】
画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像を用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。
【００２６】
なお、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。
【００２７】
メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像は、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００２８】
画像表示部２８は、ＴＦＴ方式のＬＣＤ等であり、画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像を逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。
【００２９】
画像合成回路３１は、複数枚の画像を合成処理する回路である。後述する操作部７０に含まれる通常撮像モード／多重露光撮像モード切り替えボタンで、多重露光撮像モードが設定されているとき、画像合成回路３１は、メモリ３０に格納される撮像画像の合成処理を行う。
【００３０】
メモリ３０は、静止画像或いは動画像を格納するためのメモリであり、所定枚数の静止画像或いは所定量の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。多重露光撮像では合成処理するための画像を複数枚保持することも可能である。また、動画像撮像時である動画モード中には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００３１】
圧縮伸長回路３２は、公知の圧縮方法を用いて画像を圧縮・伸長する圧縮・伸長回路である。圧縮伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、圧縮伸長回路３２は、動画像を所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。
【００３２】
カメラ本体１００は、さらにシャッター制御部４０、及びフラッシュ４８を備える。
【００３３】
シャッター制御部４０は、測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。
【００３４】
また、カメラ本体１００は、インタフェース１２０、及びコネクタ１２２を備える。インタフェース１２０は、レンズマウント１０６内でカメラ本体１００をレンズユニット３００に接続するためのインタフェースである。コネクタ１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ１２２は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。
【００３５】
さらに、カメラ本体１００は、システム制御回路５０、メモリ５２、通知部５４、不揮発性メモリ５６を備える。システム制御回路５０は、カメラ本体１００全体を制御し、周知のＣＰＵ等を内蔵する。メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００３６】
通知部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を外部に通知する。通知部５４としては、例えばＬＣＤやＬＥＤ等による視覚的な表示を行う表示部や音声による通知を行う発音素子等が用いられるが、通知部５４はこれらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の後述する操作部７０近辺の、視認しやすい単数或いは複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００３７】
通知部５４の表示内容のうち、ＬＣＤ等の画像表示部２８に表示する内容としては以下のものがある。まず、単写／連写撮像表示、セルフタイマ表示等、撮像モードに関する内容がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示等の記録に関する内容がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮像条件に関する内容がある。その他に、マクロ撮像表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等もある。
【００３８】
また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示する内容としては、例えば、以下のものがある。合焦表示、撮像準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。
【００３９】
不揮発性メモリ５６は、後述するプログラム等が格納された電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００４０】
また、カメラ本体１００は、モードダイアル６０、シャッタースイッチ６２、６４、再生スイッチ６６、単写／連写スイッチ６８、操作部７０、及び動画記録スイッチ５８を備える。
【００４１】
これらは、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【００４２】
モードダイアル６０は、自動撮像モード、プログラム撮像モード、シャッター速度優先撮像モード、絞り優先撮像モード、マニュアル撮像モード、焦点深度優先（デプス）撮像モード等の各機能撮像モードを切り替え設定することができる。他に、モードダイアル６０は、ポートレート撮像モード、風景撮像モード、接写撮像モード、スポーツ撮像モード、夜景撮像モード、パノラマ撮像モード、等の各機能撮像モードを切り替え設定することもできる。
【００４３】
シャッタースイッチ６２は、ＳＷ１に対応しており、不図示のシャッターボタンの操作途中（例えば、半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
【００４４】
シャッタースイッチ６４は、ＳＷ２に対応しており、不図示のシャッターボタンの操作完了（例えば、全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像を読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体２００に書き込む。
【００４５】
再生スイッチ６６は、撮像モード状態で撮像した画像をメモリ３０或いは記録媒体２００から読み出して画像表示部２８に表示する再生動作の開始を指示する。再生スイッチ６６は、他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。
【００４６】
単写／連写スイッチ６８は、シャッタースイッチ６４を押した場合に、１コマの撮像を行って待機状態とする単写モードと、シャッタースイッチ６４を押している間、連続して撮像を行い続ける連写モードとを設定することができる。
【００４７】
操作部７０は各種ボタンやタッチパネル等から成る。各種ボタンの一例として、通常撮像モード／多重露光撮像モード切り替えボタン、多重露光撮像枚数の設定ボタン、ライブビュー開始／停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、各種ボタンの一例として、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタン等も含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、ユーザは、より軽快に数値や機能を選択することが可能となる。
【００４８】
動画記録スイッチ５８は、動画像記録の開始及び停止を指示する。動画像記録用の動画記録スイッチ５８と静止画像用のシャッタースイッチ６４との両方が存在するカメラにおいては、動画像記録の開始・停止指示と静止画像撮像の指示が明確に分けられる。従って、動画像記録中に静止画像用のシャッタースイッチ６４を操作することにより動画像記録中の静止画像撮像が可能となる。
【００４９】
また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮像直後に撮像した画像を自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチ等がある。ワンショットＡＦモードでは、シャッタースイッチ６２を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチ６２を押している間、連続してオートフォーカス動作を続ける。
【００５０】
また、カメラ本体１００は、音声信号処理回路３３を備える。音声信号処理回路３３、マイク（不図示）より入力された音声信号を所定の符号フォーマットに符号化し、又は所定の符号化データから音声信号を復号する機能を有する。なお、本実施の形態のデジタルカメラは、スピーカ（不図示）を介して、音声信号処理回路３３により復号された音声データを出力する機能を有する。
【００５１】
さらに、カメラ本体１００は、インタフェース９０及びコネクタ９２を備える。インタフェース９０は、メモリカードやハードディスク等の記録媒体とのインタフェースである。コネクタ９２はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。
【００５２】
なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００５３】
インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インタフェース９０、そしてコネクタ９２をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。
【００５４】
通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像や画像に付属した管理情報を転送し合うことができる。
【００５５】
記録媒体２００は、メモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインタフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。
【００５６】
記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。
【００５７】
図２は、図１における画像表示部２８に表示される多重露光撮像モード設定画面を示す図であり、（Ａ）は撮像モード切り替え画面を示し、（Ｂ）は多重露光撮像枚数画面を示す。
【００５８】
図２（Ａ）において、撮像モード切り替え画面は、操作部７０に含まれる、通常撮像モード／多重露光撮像モード切り替えボタンを操作することで表示され、ユーザは、通常撮像モードと、多重露光撮像モードを切り替えることが出来る。
【００５９】
また、図２（Ｂ）において、多重露光撮像枚数画面は、操作部７０に含まれる、多重露光撮像枚数設定ボタンを操作することで表示され、ユーザは、多重露光撮像した際の撮像枚数（図では３枚）を設定することが出来る。
【００６０】
図３は、図１における画像合成回路３１により実行される合成画像生成処理を説明するための図であり、（Ａ）は多重露光撮像により得られた画像がメモリ３０に記憶されている様子を示し、（Ｂ）はＭ個の画像が合成される様子を示す。
【００６１】
図３（Ａ）において、画像は、「ｎ（１）」〜「ｎ（Ｍ）」のＭ個が示されている。すなわち、図３（Ａ）は、多重露光撮像における撮像枚数がＭ枚と設定されたときのメモリ３０に記憶された画像が示されている。
【００６２】
図３（Ｂ）において、まず画像ｎ（１）、ｎ（２）とが画像合成回路３１により合成されて、合成画像Ｎ（１）が生成される。次に、この生成された合成画像Ｎ（１）と画像ｎ（３）とが画像合成回路３１により合成されて、合成画像Ｎ（２）が生成される。
【００６３】
このように、生成された合成画像Ｎ（ｋ）と画像ｎ（ｋ＋２）とが画像合成回路３１により合成されて、合成画像Ｎ（ｋ＋１）が繰り返し生成される。
【００６４】
そして、図の場合は、合成画像Ｎ（Ｍ−２）と画像ｎ（Ｍ）とが画像合成回路３１により合成されて、合成画像Ｎ（Ｍ−１）が生成されて、合計でＭ−１個の合成画像が得られる。最後の画像Ｎ（Ｍ−１）は、画像ｎ（１）〜ｎ（Ｍ）の全画像を合成したものとなるので、多重露光画像である。このようにして、多重露光撮像により得られた画像により、画像が撮像された順番に従って逐次合成することにより得られた合成画像が生成される。
【００６５】
図４は、図１におけるシステム制御回路５０により実行される撮像処理の手順を示すフローチャートである。
【００６６】
図４において、システム制御回路５０は、操作部７０によりライブビュー（ＬＶ）の開始が選択されると（ステップＳ５０１でＹＥＳ）、ミラー１３０をミラーアップし、シャッター１２を開き、撮像素子１４に光学像が結像する。そして、所定のフレームレートで撮像素子１４から出力されるアナログ信号は、Ａ／Ｄ変換器１６でデジタル信号に変換され、画像処理回路２０で所定の画素補間処理や色変換処理を行い、メモリ３０内のフレームメモリバッファへ格納される。フレームメモリバッファへ格納された画像は、再度読み出され、画像処理回路２０にて表示用の画像に変換されて画像表示メモリ２４へ格納される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００６７】
次いで、動画記録スイッチ５８により動画像撮像開始の操作がされると（ステップＳ５０２でＹＥＳ）、動画モード中となり、動画像の撮像、記録を行う（ステップＳ５０３）（撮像手段）。動画像撮像開始が操作されると、メモリ３０内のフレームメモリバッファに格納された画像を所定の符号化方式で符号化し、動画像符号化データバッファへ一時保存する。また、音声信号処理回路３３ではマイク（不図示）から入力された音声データを符号化し、符号化された音声データは、メモリ３０内の音声符号化データバッファへ一時保存される。一時保存された動画像符号化データと、音声符号化データは時間経過とともに増加するので、所定のファイルフォーマットに成形され、各データは随時インタフェース９０を介して記録媒体２００へ書き込まれる。
【００６８】
次いで、シャッタースイッチ６４（ＳＷ２）が押下されたか否か判別し（ステップＳ５０４）、押下されていないとき（ステップＳ５０４でＮＯ）、ステップＳ５０５に進み、押下されたとき（ステップＳ５０４でＹＥＳ）、動画像の撮像、及び記録を中断する（ステップＳ５０８）。この時、記録媒体２００へ書き込まれていない動画像符号化データ（音声符号化データ含む）はメモリ３０内に保持される。
【００６９】
次いで、シャッタースイッチ６４が押下されたことによる静止画像撮像を行う（ステップＳ５０９）（撮像手段）。このステップＳ５０９で静止画像撮像を行うと、静止画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の静止画像データバッファへ一時保存される。また、多重露光モードであれば、複数の画像が得られることとなる。
【００７０】
次いで、操作部７０に含まれる通常撮像モード／多重露光撮像モード切り替えボタンにより、通常撮像モードに設定されているか、多重露光撮像モードに設定されているか否かを判別する（ステップＳ５１０）。ステップＳ５１０の判別の結果、通常撮像モードに設定されているとき（ステップＳ５１０でＮＯ）、合成画像生成処理を行わないので、静止画像の記録を行う（ステップＳ５１３）。
【００７１】
一方、ステップＳ５１０の判別の結果、多重露光撮像モードに設定されているとき（ステップＳ５１０でＹＥＳ）、ｎ＝Ｍか否か判別する（ステップＳ５１１）。具体的に、ステップＳ５１１は、多重露光撮像枚数設定ボタンにより設定されている多重露光撮像枚数を「Ｍ」とし、多重露光撮像モードに設定した後に実際に撮像した静止画像の枚数を「ｎ」としたとき、ｎ＝Ｍか否かを判別する。
【００７２】
そして、ｎ＜Ｍのとき（ステップＳ５１１でＮＯ）、メモリ３０内に静止画像を保持したままステップＳ５１４へ進む。一方、ｎ＝Ｍのとき（ステップＳ５１１でＹＥＳ）、上述した合成画像生成処理を行う（ステップＳ５１２）。ここでは、メモリ３０内に保持しているＭ枚の静止画像を画像合成回路３１を用いて合成し、多重露光画像を生成する（生成手段）。多重露光画像が生成された時点でメモリ３０内のＭ枚の静止画像が記録されていた領域は開放される。
【００７３】
次いで、静止画像を記録媒体２００に記録する（ステップＳ５１３）。ステップＳ５１２にて多重露光画像が生成された場合は、多重露光画像を記録し、多重露光撮像モードでない場合は、撮像された１枚の静止画像を記録し、ステップＳ５１４へ進む。
【００７４】
次いで、埋め込み処理を行う（ステップＳ５１４）（埋め込み手段）。この埋め込み処理では、まず、静止画像から、動画像の記録サイズと同じサイズに変換した埋め込み用画像を生成する。多重露光画像が生成された場合は、多重露光画像から埋め込み用画像を生成し、多重露光画像を構成する複数の静止画像のうち最後に撮影された静止画像を撮影した際の前記動画像の中断時の画像として前記動画像に埋め込む。それ以外の動画中断時については、撮像された静止画像を用いて埋め込み用画像を生成する。すなわち、多重露光撮像で得られ、かつ合成されていない静止画像も、中断時の画像として動画像にさらに埋め込まれる。
【００７５】
こうして生成された埋め込み用画像を、静止画像撮像により中断した動画像に、中断時の画像として埋め込み処理を行う。埋め込むフレーム数は、１フレームだけでも良いし、実際に静止画像撮像に要した時間に相当するフレーム数でも良いし、予め定められた所定のフレーム数でも良い。また、埋め込み処理が終了すると、ステップＳ５０３以降の動画像記録処理を再開する。
【００７６】
一方、ステップＳ５０４の判別の結果、シャッタースイッチ６４（ＳＷ２）が押下されなかったとき（ステップＳ５０４でＮＯ）、動画記録スイッチ５８により動画像撮像停止操作が行われたか否かを判別し、動画像撮像停止操作が行われなかったとき（ステップＳ５０５でＮＯ）、動画像撮像、及び記録を継続し、動画像撮像停止操作が行われたとき（ステップＳ５０５でＹＥＳ）、動画像撮像、及び記録を停止する（ステップＳ５０６）。
【００７７】
次いで、操作部７０によりライブビュー（ＬＶ）の終了が選択されたか否か判別し（ステップＳ５０７）、終了が選択されたとき（ステップＳ５０７でＹＥＳ）、ライブビューを終了して本処理を終了し、終了が選択されないとき、ライブビューを継続する。
【００７８】
図４の処理によれば、被写体を動画像として撮像中に該撮像を中断して（ステップＳ５０８）、多重露光撮像した場合に、生成された多重露光画像を、中断時の画像として動画像に埋め込む（ステップＳ５１４）ので、動画像撮像中に多重露光撮像を行った場合でも、多重露光撮像により得られた静止画像を動画像に埋め込むことができる。
【００７９】
さらに、図４の処理によれば、多重露光撮像で得られた合成前の各静止画像を、各静止画撮影時、すなわち各中断時の画像として多重露光画像よりも前のフレームとして動画像にさらに埋め込む。これにより、多重露光画像を構成するそれぞれの静止画像を確認でき、かつ、多重露光画像を動画像ファイルでも確認することができる。また、図４の処理において、多重露光画像を構成する複数の静止画像のうち最後に撮影された静止画像が撮影されたタイミング近傍の所定数のフレームを多重露光画像に置き換えるようにしてもよい。
【００８０】
図４に示した撮像処理では、多重露光撮像モードで動画像記録中に静止画像撮像を行った場合に、設定された多重露光撮像枚数に達するまでは、多重合成していない静止画像を埋め込み、設定された多重露光撮像枚数に達したときには、多重合成した静止画像を埋め込むように構成したが、多重露光の過程を埋め込みたいケースも多くある。
【００８１】
図５は、図１におけるシステム制御回路５０により実行される、静止画像撮像枚数に応じた多重露光画像を、静止画像撮像毎に埋め込んでいく撮像処理の手順を示すフローチャートである。
【００８２】
図５において、ステップＳ６０１〜ステップＳ６１０までは、図４におけるステップＳ５０１〜ステップＳ５１０に対応している。
【００８３】
ステップＳ６１１において、撮像枚数ｎについて、ｎ＝１、１＜ｎ＜Ｍ、ｎ＝Ｍか否かの判別を行う。具体的に、ステップＳ６１１では、多重露光撮像枚数設定ボタンにより設定されている多重露光撮像枚数を「Ｍ」とし、多重露光撮像モードに設定した後に実際に撮像した静止画像の枚数を「ｎ」として判別する。
【００８４】
ステップＳ６１１の判別の結果、ｎ＝１のとき、合成画像生成処理することが出来ないので、メモリ３０内に静止画像を保持したままステップＳ６１５へ進む。また、１＜ｎ＜Ｍのとき、メモリ３０内に静止画像を保持したまま、合成画像生成処理を行い（ステップＳ６１２）、ステップＳ６１５に進む。また、ｎ＝Ｍのとき、メモリ３０内に静止画像を保持したまま合成画像生成処理を行い（ステップＳ６１３）、静止画像を記録し（ステップＳ６１４）、ステップＳ６１５に進む。
【００８５】
上記ステップＳ６１２及びステップＳ６１３では、メモリ３０内に保持している静止画像を画像合成回路３１を用いて合成する。また、上記ステップＳ６１４において、ステップＳ６１３にて多重露光画像が生成された場合は、多重露光画像を記録し、多重露光撮像モードでない場合は、撮像された静止画像を記録する。
【００８６】
次いで、前述した埋め込み処理を行う（ステップＳ６１５）。具体的に、ステップＳ６１５では、静止画像又は合成画像から、動画像の記録サイズと同じサイズに変換した埋め込み用画像を生成する。ステップＳ６１２又はステップＳ６１３にて多重露光画像が生成された場合は、多重露光画像から埋め込み用画像が生成され、それ以外の場合は、画像が撮像された順番に従って逐次合成することにより得られた合成画像を用いて埋め込み用画像が生成される。
【００８７】
図５の処理によれば、逐次生成された合成画像を、各静止画撮影時、すなわち各中断時の画像として多重露光画像よりも前のフレームとして動画像にさらに埋め込む（ステップＳ６１５）ので、多重露光の過程を確認でき、かつ、多重露光画像を動画像ファイルでも確認することができる。
【００８８】
なお、多重露光撮像モードで動画像記録中に静止画撮像を行う場合に、図４、図５で示される撮像処理では、静止画撮像したタイミングで常に動画像ファイルに静止画像を埋め込むように構成したが、連写撮像を行ったときは、多重露光の結果だけを動画像ファイルに埋め込んだ方が違和感のない動画像ファイルになる。
【００８９】
そこで、単写／連写スイッチ６８の状態により、動画像ファイル中に埋め込む静止画の数を自動的に変更する処理について説明する。
【００９０】
多重露光撮像モードで動画像記録中に静止画撮像を行う場合に、単写／連写スイッチ６８にて「単写」が選択されている場合は、撮像された全ての静止画画像を動画像に埋め込む。埋め込む画像については、前述した図４、図５で説明したとおりである。
【００９１】
単写／連写スイッチ６８にて「連写」が選択されている場合は、画像合成回路３１により、連写での撮像で得られた全ての画像を合成した多重露光画像を生成し、その多重露光画像を、中断時の画像として動画像にさらに埋め込むように制御する。
【００９２】
この制御により、多重露光撮像モードで動画像記録中に静止画撮像を行った場合に、単写撮像と連写撮像で自動的にそれぞれのモードに適した埋め込みを行うことが可能になる。
【００９３】
また、本実施形態では、被写体を動画像として撮像中に該撮像を中断して多重露光撮像を行っているが、これに限らず、動画撮影と静止画撮影が並行して行える場合も考えられる。このとき、撮影した静止画像を動画像ファイルに埋め込む方法としては、（１）動画撮影時の音声データと共に静止画像を埋込む、（２）動画像ファイルのストリームとは別の領域に静止画像が撮影された時間情報あるいはストリームのフレーム番号と共に静止画像あるいはそこまでで生成された合成画像を埋込むなどの方法が考えられる。（２）の動画像ファイルを再生する時には時間情報、あるいはフレーム番号の情報から静止画像を再生するタイミングを知ることが出来る。
【００９４】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００９５】
３０，５２  メモリ
３１  画像合成回路
５０  システム制御回路
５８  動画記録スイッチ
６８  単写／連写スイッチ
１００  カメラ本体
３００  レンズユニット
１０００  撮像装置
【図１】
2012119874.tif 000003
【図２】
2012119874.tif 000004
【図３】
2012119874.tif 000005
【図４】
2012119874.tif 000006
【図５】
2012119874.tif 000007