(57)【要約】【課題】動画記録中に静止画撮影を行った場合に、動画ファイルにおける色再現性や階調性の不連続性を抑える。【解決手段】動画記録中に静止画撮影を行うことのできるデジタルカメラ等の撮像装置において、動画記録中に静止画の撮影指示があった場合、代替画像を挿入するとともに、代替画像挿入後の動画フレームに対して適用するホワイトバランス係数等の画像処理パラメータを、静止画撮影直前の動画フレームから取得した撮影時情報と、静止画撮影が終了して動画記録を再開する前の動画フレームから取得した撮影時情報とに基づいて決定する。【選択図】図１
2011015043.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像して得られた画像データを記録媒体に記録する撮像装置であって、
前記撮像手段で連続して撮像することで得られる動画像を動画ファイルとして記録媒体に記録する動画撮影動作と、前記撮像手段で撮像することで得られる静止画を静止画ファイルとして記録媒体に記録する静止画撮影動作とを制御する制御手段と、
動画記録中に静止画の撮影指示があった場合、代替画像を挿入する代替画像挿入手段と、
前記代替画像挿入後の動画フレームに対して適用する画像処理パラメータを、静止画撮影前の動画フレームの撮影時情報と、静止画撮影が終了して動画記録を再開する前の動画フレームの撮影時情報とに基づいて決定する画像処理パラメータ決定手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記撮影時情報は、ホワイトバランス演算手段によって演算されたホワイトバランス係数、顔検出手段によって検出された顔の個数、位置、明度、彩度の少なくともいずれかに関する情報、ヒストグラム検出手段によって検出されたヒストグラムデータ、測光値、画像補正の補正量のうち少なくともいずれかであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理パラメータは、ホワイトバランス係数、階調補正量、彩度補正量のうち少なくともいずれかであることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
撮像手段で連続して撮像することで得られる動画像を動画ファイルとして記録媒体に記録する動画撮影動作と、前記撮像手段で撮像することで得られる静止画を静止画ファイルとして記録媒体に記録する静止画撮影動作とを制御する制御手段と、動画記録中に静止画の撮影指示があった場合、代替画像を挿入する代替画像挿入手段とを備えた撮像装置の制御方法であって、
前記代替画像挿入後の動画フレームに対して適用する画像処理パラメータを、静止画撮影前の動画フレームの撮影時情報と、静止画撮影が終了して動画記録を再開する前の動画フレームの撮影時情報とに基づいて決定するステップを有することを特徴とする撮像装置の制御方法。
【請求項５】
撮像手段で連続して撮像することで得られる動画像を動画ファイルとして記録媒体に記録する動画撮影動作と、前記撮像手段で撮像することで得られる静止画を静止画ファイルとして記録媒体に記録する静止画撮影動作とを制御する制御手段と、動画記録中に静止画の撮影指示があった場合、代替画像を挿入する代替画像挿入手段とを備えた撮像装置を制御するためのプログラムであって、
前記代替画像挿入後の動画フレームに対して適用する画像処理パラメータを、静止画撮影前の動画フレームの撮影時情報と、静止画撮影が終了して動画記録を再開する前の動画フレームの撮影時情報とに基づいて決定する処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画記録中に静止画撮影を行うことのできる撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、ＣＣＤ等の撮像素子で撮像した画像信号をデジタル信号に変換し、そのデジタル信号を輝度色差のデジタル映像信号に処理した後、ＪＰＥＧ等の圧縮処理を施して、記録媒体に記録するデジタルカメラが開発されている。デジタルカメラにおける撮像素子は高解像度化が進み、一千万画素を有するものも一般的になりつつある。また、撮像素子の水平、垂直ライン等を読み飛ばすことで高速に読み出しを行い、動画像として記録する機能を有するものも増えている。昨今のデジタルカメラにおいては、先に述べた静止画撮影を行う静止画撮影モードと、動画撮影を行う動画撮影モードとを有し、ユーザの操作によって両方の撮影モードを切り替える仕様が一般的になっている。
【０００３】
更に、近年では、例えば特許文献１にあるように、動画記録中に静止画撮影を行うことのできるデジタルカメラも一般的になってきている。特許文献１では、動画記録中に静止画撮影を行った場合に、静止画撮影により中断した動画撮影における動画圧縮データファイルが、静止画を挟んで２つに分割される不具合を解消する方法について記載されている。具体的には、静止画撮影期間の直前の１フレームを代替フレーム（以下、ストップモーション画像と呼ぶことにする。）とし、静止画撮影する期間だけその代替フレームを連続させて動画ファイルに格納することで、動画が分断しないようにするものである。また、代替フレームとして黒画像や特殊画像を挿入して、静止画撮影を行ったことをユーザに積極的に知らせる技術についても言及している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−００８９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１においては静止画撮影前後の動画フレームを作成する際に使用する画像処理パラメータ、例えばホワイトバランス処理や階調補正処理等のパラメータについては考慮していない。そのため、ストップモーション画像から動画記録に復帰した時に、色再現性や階調性において連続性が失われる場合があり、ユーザに違和感を生じさせてしまう可能性があった。
【０００６】
本発明は、このような問題点について鑑みてなされたものであり、動画記録中に静止画撮影を行った場合に、動画ファイルにおける色再現性や階調性の不連続性を抑えることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、撮像手段で撮像して得られた画像データを記録媒体に記録する撮像装置であって、前記撮像手段でして撮像することで得られる動画像を動画ファイルとして記録媒体に記録する動画撮影動作と、前記撮像手段で撮像することで得られる静止画を静止画ファイルとして記録媒体に記録する静止画撮影動作とを制御する制御手段と、動画記録中に静止画の撮影指示があった場合、代替画像を挿入する代替画像挿入手段と、前記代替画像挿入後の動画フレームに対して適用する画像処理パラメータを、静止画撮影前の動画フレームの撮影時情報と、静止画撮影が終了して動画記録を再開する前の動画フレームの撮影時情報とに基づいて決定する画像処理パラメータ決定手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画記録中に静止画撮影を行った場合に、代替画像挿入後の動画フレームに対して適用する画像処理パラメータを、静止画撮影前の動画フレームの撮影時情報と、静止画撮影が終了して動画記録を再開する前の動画フレームの撮影時情報とに基づいて決定することで、代替画像と動画記録の再開直後のフレームとの不連続性を抑えることができ、ユーザにとって違和感の少ない動画ファイルを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】動画記録中に静止画撮影した場合の処理手順を示すフローチャートである。
【図３】図２におけるステップＳ１０５の静止画撮影動作を行った場合の動画ファイル生成処理手順を示すフローチャートである。
【図４】動画記録中に静止画撮影を行った場合のシーケンスを示す図である。
【図５】動画ファイルのフレーム構成を示す図である。
【図６】動画記録再開後に使用するホワイトバランス係数の決定方法を説明するための図である。
【図７】動画記録再開後に使用するホワイトバランス係数の決定方法を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１に、本発明を実施するための最良の形態である撮像装置としてのデジタルカメラ１０の構成を示す。図１において、１００は撮影レンズ、１０１は絞り、１０３はシャッター、１０４は撮像素子である。撮影レンズ１００に入射した光線は、絞り１０１及びシャッター１０３を通過し、撮像素子１０４によって光学像から電気信号に変換される。撮像素子１０４は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色透過フィルタがピクセル単位に市松模様に配列（ベイヤー配列）されたエリアセンサとして構成されている。
【００１１】
１０５はＡ／Ｄ変換器であり、撮像素子１０４のアナログ信号出力をデジタル信号に変換する。１０７はタイミング制御部であり、撮像素子１０４、Ａ／Ｄ変換器１０５にクロック信号や制御信号を供給する。タイミング制御部１０７は、メモリ制御部１０８及び制御部１０６によって制御される。
【００１２】
１０９は画像処理部であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御部１０８からのデータに対して、所定の信号（画像処理）、例えばホワイトバランス処理、ヒストグラム検出処理、画素補間処理、階調補正処理、彩度補正処理、色変換処理等を行う。また、画像処理部１０９は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて制御部１０６が露光制御部１０２、フォーカス制御部１１３に対して制御を行う。これにより、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。
【００１３】
１０８はメモリ制御部であり、Ａ／Ｄ変換器１０５のデータは、画像処理部１０９及びメモリ制御部１０８を介して、或いは、直接メモリ制御部１０８を介して、メモリ１１０に書き込まれる。１１０は撮影した静止画像やライブビュー表示をするための動画像のデータを格納するためのメモリであり、所定枚数の静止画像や動画像を格納するのに十分な記憶量を備えている。メモリ１１０はまた、制御部１０６の作業領域としても使用することが可能である。
【００１４】
１１１は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長部であり、メモリ１１０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１１０に書き込む。
【００１５】
１０２は絞り１０１やシャッター１０３を制御する露光制御部である。１１３は撮影レンズ１００のフォーカシングを制御するフォーカス制御部である。１１２は撮影レンズ１００のズーミングを制御するズーム制御部である。露光制御部１０２、フォーカス制御部１１３はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部１０９が演算した演算結果に基づき、制御部１０６が露光制御部１０２、フォーカス制御部１１３を制御する。
【００１６】
１０６はデジタルカメラ１０全体を制御する制御部である。１１４は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１４には、制御部１０６の処理手順に係るプログラム（ファームウェア）や後述する疑似シャッター音等が予め格納されている。
【００１７】
１１５は各種ボタンやダイヤルスイッチを含む操作部である。１１５ａは静止画の撮影指示を行うためのシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなる。シャッタースイッチＳＷ１（１１５ａ）がＯＮとなった場合は、ＡＦ処理、ＡＥ処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。１１５ｂは静止画の撮影指示を行うためのシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなる。シャッタースイッチＳＷ２（１１５ｂ）がＯＮとなった場合は、まず撮像素子１０４から読み出した信号をＡ／Ｄ変換器１０５、メモリ制御部１０８を介してメモリ１１０に画像データを書き込む露光処理の指示を行う。続いて画像処理部１０９やメモリ制御部１０８での演算を用いた現像処理の指示を行う。更に、メモリ１１０から画像データを読み出し、圧縮・伸長部１１１で圧縮を行い、記録媒体１１７に画像データを書き込む記録処理の指示を行う。１１５ｃは動画記録の開始／終了を行うための動画記録スイッチである。
【００１８】
１１６はリサイズ部である。１１７はメモリカードやハードディスク等の記録媒体（記録部）である。１１８は表示制御部であり、記録媒体１１７に記録された画像データやライブビュー画像を表示部１１９に表示するための制御部である。１１９は液晶パネル等からなる表示部である。１２０は音声の録音や再生の処理を行うための音声処理部である。１２１は録音する時に音声を入力するためのマイクである。１２２は音声を再生するためのスピーカである。
【００１９】
画像処理部１０９において、１０９ａはホワイトバランス演算部、１０９ｂは顔検出部、１０９ｃはヒストグラム検出部１０９ｃである。ホワイトバランス演算部１０９ａは、撮像素子１０４から取得され、メモリ１１０上に置かれたＲＡＷデータからホワイトバランス処理を行う。顔検出部１０９ｂは、ＲＡＷデータ又は画像処理部１０９によって現像処理されメモリ１１０上に置かれたＹＵＶデータを基に顔検出を行い、顔の位置、個数、明度、彩度に関する情報を検出する。ヒストグラム検出部１０９ｃは、ヒストグラムの検出を行う。画像処理部１０９は、これらホワイトバランス演算部１０９ａ、顔検出部１０９ｂ、ヒストグラム検出部１０９ｃからの出力に基づいて、階調（コントラスト）補正や彩度補正等の画像補正を行う。
【００２０】
次に、本実施形態に係るデジタルカメラ１０における動画撮影動作について説明する。撮影レンズ１００を通過した光は、露光制御部１０２によって露出制御され、撮像素子１０４に結像する。動画撮影時には、メカ機構のシャッター１０３は開き、絞り１０１によって露出を制御する。撮像素子１０４によって被写体像は光電変換され、アナログ信号としてＡ／Ｄ変換器１０５に送られる。Ａ／Ｄ変換器１０５では、アナログ画像信号をデジタルの画像データに変換して、システムのバスを介して画像処理部１０９に転送する。
【００２１】
動画撮影時には、リサイズ部１１６での負荷を減らすため、撮像素子１０４から全画素を読み出さず、水平や垂直に間引かれた（或いは加算されて重畳した）画素を、記録するフレームレートに合わせて読み出す。画像処理部１０９では、水平垂直のフィルタ処理やアパーチャー補正処理やガンマ処理等の動画モード用の画像処理を行い、リサイズ部１１６に転送する。リサイズ部１１６では、ＶＧＡ（６４０×４８０画素）のサイズにリサイズして、メモリ１１０に転送する。メモリ１１０上のＶＧＡ画像データは、表示制御部１１８を介して表示部１１９に転送され、ＴＶやカメラに搭載された液晶上にスルー画像として表示する。動画撮影時のスタンバイ状態とは、この表示処理までの状態を言う。
【００２２】
この状態で、操作部１１５に設けられた動画記録スイッチ１１５ｃが押下されると、動画記録が開始する。すなわち、メモリ１１０上のＶＧＡ画像データを圧縮・伸長部１１１でＪＰＥＧデータに変換すると同時に、マイク１２１で取り込んだ音声を音声処理部１２０にてｗａｖｅ形式の音声データに変換する。そして、これらのＪＰＥＧデータとＷＡＶＥデータを用いて、制御部１０６がヘッダ等を付加してＡＶＩデータ形式の動画ファイルを生成し、記録媒体１１７に動画ファイルを記録する。この動画記録処理は、動画記録スイッチ１１５ｃが再び押下されるまで実行される。
【００２３】
記録媒体１１７に記録されたＡＶＩデータを再生するときには、記録媒体１１７上のＡＶＩファイルから音声データと映像データを読み込み、メモリ１１０上の再生バッファ領域に置き、音声と映像を次のように別々に処理して再生する。まず、音声データを、メモリ１１０上の音声バッファから音声処理部１２０に転送する。音声処理部１２０は、内部にてＤ／Ａ変換とゲイン調整等を行い、スピーカ１２２にアナログ音声信号を送って動画の音声を再生する。
【００２４】
一方、映像データを、メモリ１１０上の映像バッファから１フレームずつＤＭＡ転送で圧縮・伸長部１１１に転送し、ＪＰＥＧデータをＹＵＶデータに伸張する。伸張されたＹＵＶデータをリサイズ部１１６に転送し、ＴＶや液晶に表示するためのＶＲＡＭサイズ（７２０×４８０画素）にリサイズした後、メモリ１１０のＶＲＡＭ領域に書き出す。メモリ１１０のＶＲＡＭデータを表示制御部１１８にＤＭＡ転送し、液晶やＴＶに表示するための処理を施して表示部１１９に表示する。
【００２５】
次に、本実施形態に係るデジタルカメラ１０における静止画撮影動作について説明する。静止画撮影の待機状態では、上述した動画のスタンバイ状態とほぼ同じ処理が施され、撮像素子１０４で撮像した画像のスルー画像が表示部１１９に表示される。
【００２６】
操作部１１５に設けられたシャッタースイッチＳＷ１（１１５ａ）が押下されると静止画撮影準備状態となり、シャッタースイッチＳＷ２（１１５ｂ）が押下されると静止画撮影動作状態になる。静止画撮影準備状態では、静止画撮影に必要な自動測距（ＡＦ）や自動測光（ＡＥ）が行われる。静止画撮影動作状態に切り替わると、シャッター１０３を閉じてから撮像素子１０４の読み出しを止めて、露光のモードに変更する。そして、静止画撮影準備段階で被写体の輝度から予め算出した露出設定に従って絞り１０１を設定し、センサーの余分電荷のリセット後に算出したシャッタースピードでシャッター１０３を開閉する。シャッター１０３が完全に閉じ切ってから撮像素子１０４を露光モードから読み出しモードに切り換えて、複数フィールドに分けて全画素のデータを読み出す。その読み出した信号をＡ／Ｄ変換器１０５でデジタル信号に変換し、バスを介してメモリ１１０にＡ／Ｄ変換器１０５からのＲＡＷデータを転送する。撮像素子１０４からの読み出しが終了したら現像処理を開始する。現像処理では、まずメモリ１１０から先ほどのＲＡＷデータを読み出して画像処理部１０９に転送する。画像処理部１０９では、水平垂直のフィルタ処理やアパーチャー補正処理やガンマ処理等の静止画モード用の画像処理を行ってＹＵＶデータを生成し、圧縮・伸長部１１１に転送する。圧縮・伸長部１１１では、ＹＵＶデータをＪＰＥＧデータに変換してメモリ１１０に書き戻す。以上のメモリ１１０からのＲＡＷデータの読み出しからＪＰＥＧデータをメモリ１１０に書き戻すまでが現像処理になる。
【００２７】
この後、生成されたＪＰＥＧ画像データは、記録媒体１１７に静止画ファイルとして書き込まれる。また、現像処理の途中の画像処理部１０９で生成されたＹＵＶデータはリサイズ部１１６にも転送される。リサイズ部１１６はレビュー画像表示のためにＶＧＡサイズ程度にリサイズして、メモリ１１０に書き戻す。そこで先の現像処理が終了したら、撮影画像のレビュー画像表示のために、ＶＧＡサイズのＹＵＶデータを表示部１１９に転送して、ＴＶやカメラ上の液晶画面に表示することで、レビュー画像を表示している。
【００２８】
以上、本実施形態に係るデジタルカメラ１０おける動画撮影動作及び静止画撮影動作についてそれぞれ説明した。次に、動画記録処理を継続させながら、静止画撮影を行う場合の処理手順を図２を用いて説明する。図２、３のフローチャートは、ＣＰＵ等からなる制御部１０６がプログラムを実行することにより実現される。
【００２９】
図２のステップＳ１００は、先述した動画撮影動作に従って動画が撮影及び記録されている状態を示す。すなわち、動画記録スイッチ１１５ｃが押下され、記録媒体１１７に動画ファイルであるＡＶＩファイルを記録している状態である。ステップＳ１０１では、動画記録中に、シャッタースイッチＳＷ１（１１５ａ）がＯＮであるか否かの監視及び判断を行う。シャッタースイッチＳＷ１（１１５ａ）がＯＦＦである場合には、動画記録動作を継続するが、シャッタースイッチＳＷ１（１１５ａ）がＯＮになると、処理はステップＳ１０２に移行する。ステップＳ１０２では、動画記録しながら静止画の撮影準備のＡＦ処理とＡＥ処理を行う。更に、ステップＳ１０３で、シャッタースイッチＳＷ１（１１５ａ）を監視し、ＯＮの状態が保持されていると、ＡＦ処理とＡＥ処理を行い続けるが、もしＯＦＦになったならば、静止画の撮影準備を終了する。ただし、その場合でも引き続き動画記録処理は実行される。
【００３０】
次に、シャッタースイッチＳＷ１（１１５ａ）がＯＮの状態であり撮影準備が完了すると、処理はステップＳ１０４に移行する。ステップＳ１０４では、シャッタースイッチＳＷ２（１１５ｂ）がＯＮであるか否かの監視及び判断を行う。シャッタースイッチＳＷ２（１１５ｂ）がＯＦＦであり、シャッタースイッチＳＷ１（１１５ａ）がＯＮのままだと、ＡＦ処理とＡＥ処理を行い続ける。シャッタースイッチＳＷ２（１１５ｂ）がＯＮになると、処理はステップＳ１０５に移行し、静止画撮影動作を実行する。ここで、ステップＳ１０５の静止画撮影動作は、先述した静止画撮影動作とほぼ同じ動作である。異なる点は、動画記録中に静止画撮影を行うため、動画の記録を一時的に中断することである。このときは撮像素子１０４の駆動モードが切り替わり、動画フレームが生成できなくなるため、その欠落した動画フレームの代わりに代替画像（代替フレーム）を挿入する。その処理については、図３の静止画撮影動作を行った場合の動画ファイル生成フローを用いて後述する。
【００３１】
静止画撮影動作が完了すると、ステップＳ１０６で動画撮影動作の準備を行い、その準備が完了したら、ステップＳ１０７で動画撮影動作に戻る。
【００３２】
次に、ステップＳ１０５、ステップＳ１０６における静止画撮影動作を行った場合の動画ファイル生成フローについて図３を用いて詳細に説明する。図３の動画ファイル生成処理手順は、静止画撮影動作と略並列に実行されるものであり、ステップＳ２００は、図２のステップＳ１０４でＹｅｓと判断されたことに応じて開始されることを示している。
【００３３】
まず、ステップＳ２００で、静止画撮影動作を開始する。ステップＳ２０１では、静止画撮影直前の動画フレームから取得した撮影時情報を保存する。撮影時情報としては、ホワイトバランス演算部１０９ａによって演算されたホワイトバランス係数、顔検出部１０９ｂによって検出された顔の個数、位置、明度、彩度に関する情報、ヒストグラム検出部１０９ｃによって検出されたヒストグラムデータ、画像処理部１０９によって得られた測光値、画像処理部１０９によって演算された階調補正、彩度補正等の画像補正の補正量等を保存しておく。
【００３４】
ステップＳ２０２では、静止画撮影するために動画撮影動作を中断する期間の動画フレームの代替フレームとして、静止画撮影直前の最後の動画フレーム（ストップモーション画像）を挿入する（代替画像挿入）。代替フレームの長さ（期間）を仮に１秒とすると、動画像が３０フレーム／秒で撮像される場合、ストップモーション画像を３０回動画フレームに挿入することになる。
【００３５】
ステップＳ２０３では、不揮発性メモリ１１４に予め格納された疑似シャッター音データを読み出して、動画ファイル（ＡＶＩデータ）の音声データに挿入するともに、その疑似シャッター音データを音声処理部１２０を介してスピーカ１２２より再生させる。
【００３６】
ステップＳ２０４では、静止画の画像データからステップＳ２０１と同様に撮影時情報を取得、保存する。次にステップＳ２０５で、静止画撮影動作における静止画の現像処理の完了を待ち、現像が完了したらＳ２０６に移行する。ステップＳ２０６では、現像済みの静止画を圧縮・伸長部１１１でＪＰＥＧ符号化し、符号化されたデータから１つの静止画ファイルを生成する。生成した静止画ファイルを動画ファイルとは別に記録媒体１１７に記録する。
【００３７】
次に、ステップＳ２０７で図２のステップＳ１０６に戻り、動画撮影動作の再開の準備を行う。これは撮像素子１０４の読み出しを動画用に切り換え、同時に画像処理部１０９やリサイズ部１１６や圧縮・伸長部１１１等の設定を動画用に切り換え、データのパスも切り換える動作になる。動画撮影準備が終了したら、ステップＳ２０８で最初の動画撮影動作状態に戻り、動画記録が再開される。
【００３８】
図４は、動画記録中の静止画撮影のシーケンスを示す。図４（ａ）は、撮影動作状態が移り変わる様子（シーケンス）を示す。図４（ｂ）は、撮影時のスルー画像の表示部１１９への表示が移り変わる様子（シーケンス）を示す。図４（ｃ）は、生成された動画ファイル（ＡＶＩ形式）の記録状態を、実際の撮影及び記録時のシーケンスに対応付けて示す。図４において、シャッタースイッチＳＷ１（１１５ａ）がＯＮになるまでの期間は、動画撮影動作状態にある。図４（ａ）の期間Ｓ３００では、動画撮影動作の状態を示し、図４（ｂ）の期間Ｓ４００で動画像のスルー画像を表示部１１９に表示し、図４（ｃ）の期間Ｓ５００で動画像と音声データを動画ファイルとして記録している。
【００３９】
スイッチＳＷ１がＯＮになり、スイッチＳＷ２がＯＮになるまでの図４（ａ）の期間Ｓ３０１では、動画撮影及び記録を行いながら静止画用の撮影準備のＡＥ処理とＡＦ処理を行う状態にある。図４（ｂ）の期間Ｓ４０１で、その静止画用の撮影準備のＡＥ処理とＡＦ処理を行う様子を表示部１１９に表示し、図４（ｃ）の期間Ｓ５０１で、その静止画用の撮影準備のＡＥ処理とＡＦ処理を行う様子を動画ファイルに記録している。スイッチＳＷ２がＯＮになるまで期間は、図４（ａ）、（ｂ）、（ｃ）のタイミングが揃っているが、スイッチＳＷ２がＯＮになった以降は揃っていない。以下に、そのシーケンスについて説明する。
【００４０】
図４（ａ）の期間Ｓ３０２では、スイッチＳＷ２がＯＮになった直後の撮像素子１０４のモード切り換え状態にあり、動画用の読み出しモードから静止画の露光のモードに切り換わっている。次の期間Ｓ３０３は、静止画状態の露光期間であり、例えば本実施形態における露光時間は１／２０００秒から１／８秒までを可変に被写体像の露出を制御する。次の期間Ｓ３０４は、撮像素子１０４から静止画像用の全画素を複数フィールドで読み出す読み出し期間であり、例えば３００ｍｓｅｃ程度の時間を要する。次の期間Ｓ３０５は静止画像の現像処理の期間であり、現像処理の内容は先述のメモリ１１０のＲＡＷデータの読み出しから処理後のＪＰＥＧデータをメモリ１１０に書き戻す処理になる。次の期間Ｓ３０６は、レビュー画像を生成する期間であり、先述した内容の画像処理部１０９からのＹＵＶデータをリサイズ部１１６でＶＧＡサイズにリサイズし、レビュー画像としてメモリ１１０に書き戻す処理になる。
【００４１】
この期間Ｓ３０２〜Ｓ３０６までの期間Ｓ４０２では、図４（ｂ）に示すように、ブラックアウト（無画像）表示を表示部１１９に表示する。これは静止画の撮影処理中は、カメラが静止画像の取り込みと現像処理を行っていることを明確にユーザに伝えるためであり、ＥＶＦのスルー画像表示と異なる無表示画像を表示しており、通常の静止画撮影動作と同様の表示になる。更に、この期間Ｓ４０２に合わせてＡＶＩファイルに擬似シャッター音も挿入している。
【００４２】
期間Ｓ３０７では、撮像素子１０４の読み出しモードを再び動画用の読み出しモードに戻す。また、期間Ｓ３０７において取得した撮影時情報に基づいて、後述する方法により、期間Ｓ３０８で使用する画像処理パラメータを求める。図４（ｂ）の期間Ｓ４０３では、期間Ｓ３０６に前記レビュー画像を表示部１１９に表示する。
【００４３】
図４（ｃ）の期間Ｓ５０２では、期間Ｓ５０１の最後のフレームデータを代替フレームとして欠落した動画フレームに挿入する（動画ファイル上のストップモーションと称している）。
【００４４】
静止画撮影終了後は、以下の処理を行う。まず、図４（ａ）の期間Ｓ３０８では再度動画撮影動作に戻り、図４（ｂ）の期間Ｓ４０４で再度動画像のスルー画を表示部１１９に表示し、図４（ｃ）の期間Ｓ５０３で動画ファイル上も動画像が記録されている状態にある。図４（ｃ）においては、ストップモーション期間が静止画撮影動作期間の長さに依存するような記述にしているが、実際には、ストップモーション期間は静止画撮影動作期間の長さによらず固定時間での表示が望ましい。また、静止画を撮影したことを明示的にユーザに知らせるという観点から、本実施形態では、ストップモーション期間を１秒間としている。
【００４５】
次に、期間Ｓ３０７における処理についてより詳細に述べる。期間Ｓ３０７では、動画撮影再開の準備として撮像素子１０４の読み出しモードを再び動画用の読み出しモードに変更する。動画用の読み出しモードに変更した後、動画記録を開始する前に複数フレームを呼び出し、期間Ｓ３０８において使用する画像処理パラメータを決定するために使用する。画像処理パラメータには、ホワイトバランス係数、階調補正量、彩度補正量等が含まれる。この中でも本実施形態においては、ホワイトバランス係数の決定方法に関して、図５〜７を用いて説明する。
【００４６】
図５において、動画フレームＡｉ（ｉ＝１、２、・・・、ｎ）、Ｂｉ（ｉ＝１、２、・・・、ｍ）、Ｃ１の画像データを基にホワイトバランス演算部１０９ａによって演算されるホワイトバランス係数をそれぞれＷＢ（Ａｉ）（ｉ＝１、２、・・・、ｎ）、ＷＢ（Ｂｉ）（ｉ＝１、２、・・・、ｍ）、ＷＢ（Ｃｉ）（ｉ＝１、２、・・・）とする。また、静止画の画像データを基にホワイトバランス演算部１０９ａによって演算されるホワイトバランス係数をＷＢ（Ｓ）とする。動画におけるホワイトバランス係数は、動画フレームから演算されるホワイトバランス係数に対して所定の時定数を持たせて制御する。
【００４７】
図６（ａ）に示すように、ＷＢ（Ａｉ）がホワイトバランス係数ＷＢ＿Ａを中心としたΔＷＢ＿Ａの微小範囲にあり、被写体が安定していて定常状態になっていると仮定する。ここで、ＷＢ＿Ａは、動画フレームＡ１時に適用されるホワイトバランス係数であり、Ａ１が動画撮影開始直後であるとすると、ＷＢ＿Ａは動画フレームＡ１の画像データから算出されたホワイトバランス係数である。この場合は、各動画フレームＡｉに対して適用されるホワイトバランス係数はＷＢ＿Ａとなる。更に、動画フレームＡｎ撮影時と静止画撮影時の時間経過は限りなく短いため、静止画のホワイトバランス係数ＷＢ（Ｓ）もＷＢ＿Ａとほぼ同等になることが予想される。
【００４８】
静止画撮影後に取得した動画フレームＢｉ（ｉ＝１、２、・・・、ｍ）において、図６（ｂ）に示すように、ＷＢ（Ｂｉ）がＷＢ＿Ａを中心としたΔＷＢ＿Ｂの範囲にあるときは、動画フレームＣ１に対しては、ホワイトバランス係数ＷＢ＿Ａを適用し、その後の動画フレームには、画像データから取得したＷＢ係数に対して時定数を持たせた制御を行う。これにより、ストップモーション画像と動画フレームＣ１で同一のホワイトバランス係数を用いることで色味の連続性を保つことができる。
【００４９】
それに対して、図６（ｃ）に示すように、ＷＢ（Ｂｉ）がＷＢ＿Ａを中心としたΔＷＢ＿Ｂの範囲にないときは、静止画撮影後に光源（シーン）が変化した可能性が高い。そこで、ＷＢ（Ｃ１）には、ＷＢ（Ｂｉ）（ｉ＝１、２、・・・、ｍ）の平均値を適用する。このように、静止画撮影の前後で光源（シーン）が変化したと考えられるときには、静止画撮影前のホワイトバランスを引き継がずに、動画のフレーム読み出し再開後に取得したデータを重視したホワイトバランスを適用する。すなわち、静止画撮影後に光源が変化した場合には、色味の連続性よりも追従の速さを優先させてホワイトバランス係数に時定数を持たせずに変化させている。
【００５０】
静止画撮影直前に光源（シーン）の変化があった場合の処理について図７を用いて説明する。光源（シーン）の変化があった場合、動画フレームからホワイトバランス演算部１０９ａによって演算されるホワイトバランス係数が急に変化することが予想される。動画フレームＡｎからホワイトバランス演算部１０９ａによって演算されるＷＢ（Ａｎ）は、動画フレームＡｎにおいて適切にホワイトバランスをとるためのホワイトバランス係数ＷＢ＿Ｔａｒｇｅｔにほぼ等しくなる。しかし、動画中のホワイトバランスは実際には時定数を持たせて制御しているため、実際に動画フレームＡｎに適用されるホワイトバランス係数はＷＢ＿Ａｎとなる。このとき、光源（シーン）変化が先述した１回のみであるとすると、静止画の画像データから演算されるホワイトバランス係数及び動画フレームＢｉ（ｉ＝１、２、・・・、ｍ）から演算されるホワイトバランス係数は、略ＷＢ＿Ｔａｒｇｅｔと等しくなるはずである。しかし、動画フレームＣ１に対して本来適切にホワイトバランスをとるためのホワイトバランス係数ＷＢ＿Ｔａｒｇｅｔを適用してしまうと、ストップモーション画像から動画像に復帰した時に急激な色味の変化を招いてしまう。
【００５１】
そこで、図７の点線に示すように、動画フレームＣ１に対してはホワイトバランス係数ＷＢ＿Ａｎからの変化量が少ないホワイトバランス係数ＷＢ＿Ｃ１を適用し、その後も時定数を持たせてホワイトバランス係数ＷＢ＿Ｔａｒｇｅｔになるように制御する。これにより、急激な色味の変化を抑えることができ、動画像として見たときにユーザに違和感を与えないようにすることができる。静止画撮影前に光源が変化した場合、既にホワイトバランス係数の変更が始まっているため、静止画撮影前の動画フレームにおいて色味が少しずつ変化していることになる。このような場合にはストップモーション前後での色味の連続性を重視した方がより好ましい動画になると考えられる。
【００５２】
以上、ホワイトバランス係数に連続性を持たせることで、色再現性の連続性を保つことについて述べてきたが、ホワイトバランス係数に限らず、他の画像処理パラメータにも適用することができる。例えば、階調補正（コントラスト補正）に関しても同様のことが成り立つ。
【００５３】
また、本実施形態では、光源（シーン）の変化について、ホワイトバランス演算部１０９ａによって演算されるホワイトバランス係数を基に判別することを述べた。しかし、ホワイトバランス係数に限らず、例えば、顔検出部１０９ｂによって検出された顔の位置、個数、明度、彩度等を用いても光源（シーン）の変化を識別することができる。また、ヒストグラム検出部１０９ｃの出力や制御部１０６によって求められた測光値等を使って光源（シーン）の変化を判別しても良いものとする。
【００５４】
なお、上記実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。例えば本発明は、複数の機器から構成されるシステムの一部として適用しても、一つの機器からなる装置の一部に適用してもよい。
【００５５】
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５６】
１０：デジタルカメラ、１０４：撮像素子、１０６：制御部、１０９：画像処理部、１０９ａ：ホワイトバランス演算部、１０９ｂ：顔検出部、１０９ｃ：ヒストグラム検出部、１１７：記録媒体
【図１】
2011015043.tif 000003
【図２】
2011015043.tif 000004
【図３】
2011015043.tif 000005
【図４】
2011015043.tif 000006
【図５】
2011015043.tif 000007
【図６】
2011015043.tif 000008
【図７】
2011015043.tif 000009