(57)【要約】【課題】  静止画撮影直前に動画を撮影した場合、ホワイトバランスの収束状況によって動画と静止画の色合いが異なることがある。【解決手段】  動画用のＲＡＷデータおよび静止画用のＲＡＷデータを取得する取得手段と、前記取得手段により取得された少なくとも所定時間分の動画用のＲＡＷデータを一時的に記憶する記憶手段と、前記記憶手段に記憶された動画用のＲＡＷデータを動画データにエンコードするエンコード手段と、前記エンコードされた動画データを記録媒体に記録する記録手段と、静止画の記録の指示が入力されたことに応じて、前記記録の指示が入力されるよりも前の所定時間分の動画データを記録媒体に記録するように前記記録媒体を制御する制御手段を有する撮像装置であって、静止画の記録の際に、前記エンコード手段は、動画用のＲＡＷデータに前記静止画用のＲＡＷデータからの評価値を適用した後に動画データにエンコードする。【選択図】  図３
2016019161.tif 000002
【特許請求の範囲】
【請求項１】
動画用のＲＡＷデータおよび静止画用のＲＡＷデータを取得する取得手段と、
前記取得手段により取得された少なくとも所定時間分の動画用のＲＡＷデータを一時的に記憶する記憶手段と、
前記記憶手段に記憶された動画用のＲＡＷデータを動画データにエンコードするエンコード手段と、
前記エンコードされた動画データを記録媒体に記録する記録手段と、
静止画の記録の指示が入力されたことに応じて、前記記録の指示が入力されるよりも前の所定時間分の動画データを記録媒体に記録するように前記記録媒体を制御する制御手段を有する撮像装置であって、
静止画の記録の際に、前記エンコード手段は、動画用のＲＡＷデータに前記静止画用のＲＡＷデータからの評価値を適用した後に動画データにエンコードすることを特徴とする撮像装置。
【請求項２】
前記評価値は、ホワイトバランス係数であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
動画用のＲＡＷデータを動画データにエンコードする際に、撮影条件に応じて前記静止画用のＲＡＷデータからの評価値と動画用のＲＡＷデータの最終フレームからの評価値とを切り替えて適用することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮影条件とはストロボ発光であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記静止画の記録後、動画の記録を再開する場合、前記エンコード手段によってエンコードされた動画データを再エンコードすることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画の撮影時、静止画撮影前の動画をあらかじめ撮影し、同時に記録することが可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来より、動画の撮影中に静止画を撮影する場合、静止画撮影用のホワイトバランスに切り替えることにより、動画の色の変化による違和感をユーザーに見せないような技術が開示されている。たとえば、特許文献１では静止画記録スイッチのオフからオンへの変化が、所定の時間内に少なくとも１回以上繰り返されていると判断された場合は、判断されない場合よりもホワイトバランスの制御範囲を狭くする事が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１７４１１３
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画の記録中には被写体に対して適正なホワイトバランス位置まで追従しながら制御している。そのため従来の方法ではホワイトバランスの制御範囲を狭くしたことにより、被写体に対しての適正なホワイトバランス位置が制御範囲外にあった場合には、動画の１シーンに対して適切なホワイトバランスとならない場合がある。そのような状況で動画記録直後に静止画を撮影した場合、静止画を撮影する直前に記録された動画と静止画の色合いが異なってしまい、撮影された動画と静止画を比較した場合、違和感を生じさせるという問題があった。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、動画用のＲＡＷデータおよび静止画用のＲＡＷデータを取得する取得手段と、前記取得手段により取得された少なくとも所定時間分の動画用のＲＡＷデータを一時的に記憶する記憶手段と、前記記憶手段に記憶された動画用のＲＡＷデータを動画データにエンコードするエンコード手段と、前記エンコードされた動画データを記録媒体に記録する記録手段と、静止画の記録の指示が入力されたことに応じて、前記記録の指示が入力されるよりも前の所定時間分の動画データを記録媒体に記録するように前記記録媒体を制御する制御手段を有する撮像装置であって、静止画の記録の際に、前記エンコード手段は、動画用のＲＡＷデータに前記静止画用のＲＡＷデータからの評価値を適用した後に動画データにエンコードすることを特徴としている。
【発明の効果】
【０００６】
以上説明したように、本発明によれば、後から静止画の評価値を基準に動画データを作成するため、静止画撮影の直前に動画を撮影しても静止画と動画の色合いの違和感を感じることなく動画と静止画を撮影することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態のブロック図である
【図２】第１の実施形態を示すシーケンス図である
【図３】第１の実施形態を示すフローチャートである
【図４】第２の実施形態を示すシーケンス図である
【図５】第２の実施形態を示すフローチャートである
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態に関してデジタルカメラを例に用いて説明する。
【０００９】
図１は、本発明の実施形態の構成を示すブロック図である。
【００１０】
１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００１１】
１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
【００１２】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して画像拡大／縮小のための画素補間処理や色変換処理、ノイズ除去処理やエッジ強調処理などを行う。また、画像処理回路２０においてはメモリ制御回路２２からの画像データに対して、図２の説明で後述するウェーブレット変換処理なども行う。その他にも、画像処理回路２０では、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理をするために撮像した画像データを用いて所定の演算処理を行う。そこで得られた演算結果をＷＢ評価値として算出したり、算出されたＷＢ評価値を基に画像データの色の変換なども行う。さらに、画像処理回路２０では、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を行うための、ＡＦ評価値、ＡＥ評価値、ＥＦ評価値を算出するために、撮像した画像データを用いて所定の演算処理を行う。得られたＡＦ評価値、ＡＥ評価値、ＥＦ評価値を基にシステム制御回路５０が、アルゴリズムに従って露光制御手段４０、測距制御手段４２に対して制御を行う。
【００１３】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。
【００１４】
２８はＴＦＴ  ＬＣＤ等から成る画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００１５】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００１６】
３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
【００１７】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００１８】
４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００１９】
５０は画像処理装置１００全体を制御するシステム制御回路である。６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【００２０】
６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。
【００２１】
６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。このフラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う。次に記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００２２】
６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ  ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
【００２３】
７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ発光の設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。その他、種々の撮影条件を設定するためのボタンとして扱う。
【００２４】
７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
【００２５】
８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。１１０は通信手段でＵＳＢ、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００２６】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００２７】
次に、本発明による第１の実施形態を図２のシーケンス図、および図３のフローチャートを用いて説明する。
【００２８】
＜第１の実施形態＞
第１の実施形態は静止画の撮影前に動画を記録する例である。たとえば、静止画撮影指示のタイミングで撮影された静止画のファイルと静止画撮影指示される数秒前を撮影した動画の２つのファイルを記録する場合などである。
【００２９】
図２は第１の実施形態の動画撮影から静止画撮影までのシーケンスを示した図である。シーケンスの前半部分は動画撮影処理を示したものであり、撮像素子１４から取得した動画用のＲＡＷデータをメモリ３０に一時的に記憶しておく。そして、次のフレームで撮像素子１４から前回読み出したフレームの次フレームの動画ＲＡＷデータをメモリ３０に一時的に記憶しておく。同じタイミングで一時的に記憶させた前回読み出したフレームの動画ＲＡＷデータを画像処理回路２０で表示用データに変換し、画像表示部２８に表示させる。このようにして静止画撮影まで毎フレームの動画ＲＡＷデータをメモリ３０に一時的に所定時間分を記憶する。
【００３０】
静止画撮影指示がされたら、撮像素子の駆動を変更し静止画ＲＡＷをメモリ３０に一時的に記憶する。その後、画像処理回路２０で静止画ＲＡＷに対してホワイトバランス評価値を算出する。その後、算出されたホワイトバランス評価値を用いて静止画ＲＡＷの現像処理を行い静止画データを作成し、メモリ３０を介して圧縮・伸長回路３２で圧縮を行い、不揮発性メモリ３１に記憶する。その後に画像処理回路２０と圧縮・伸長回路３２を用いて動画のＲＡＷのエンコード処理を行う。
【００３１】
次に図３を用いて第１の実施形態のフローを示す。
【００３２】
まず、Ｓ３０１で動画記録を開始する。Ｓ３０２ではＲＡＷデータを記録しながらスルー画面を表示する。本実施形態では、メモリ３０内のバッファに動画のＲＡＷデータを記録できなくなったら、前に記録された順に古いＲＡＷデータを上書きしながら動画ＲＡＷデータを記録する。そして、Ｓ３０３で静止画指示されるまで動画ＲＡＷを記録しながらのスルー画表示を続け、Ｓ３０３で静止画指示されたらＳ３０４に遷移し、静止画用のＲＡＷをメモリ３０内のバッファに記録する。Ｓ３０５では画像処理回路２０で静止画用のＲＡＷに対してホワイトバランス係数を算出し、Ｓ３０６で求められたホワイトバランス係数を用いて画像処理回路２０や圧縮・伸長回路３２でＲＡＷをＪＰＥＧなどの画像フォーマットに変換する。その後、Ｓ３０７に遷移して静止画を不揮発性メモリ３１に記憶する。その後Ｓ３０８で静止画撮影時にストロボ発光されていなかったらＳ３０９に遷移して動画用のホワイトバランス係数に静止画時に求めたホワイトバランス係数を適用する。また、Ｓ３０８で静止画撮影時にストロボ発光されていたら、Ｓ３１０に遷移してメモリ３０内に記録されている動画ＲＡＷの最終フレームからホワイトバランス係数を求める。その後、Ｓ３１１に進みＳ３１０求められたホワイトバランス係数を動画のホワイトバランス係数に適用する。Ｓ３１２では適用されたホワイトバランス係数を用いて画像処理回路２０や圧縮・伸長回路３２でメモリ３０内に記録されている動画ＲＡＷを動画ファイルとして、動画フォーマットにエンコードする。
【００３３】
＜第２の実施形態＞
本発明による第２の実施形態を図４および図５を用いて説明する。たとえば、動画記録中にユーザーの静止画指示などにより静止画のファイルも記録する場合などである。
【００３４】
図４は第２の実施形態の動画撮影から静止画の撮影後の動画記録再開までのシーケンスを示した図である。また、撮影する動画のフォーマットの例はＭＰＥＧである。
【００３５】
シーケンスの前半部分は動画撮影処理を示したものであり、撮像素子１４から読み出した動画ＲＡＷデータをメモリ３０に一時的に記憶しておく。また、次のフレームで撮像素子１４から前回読み出した次のフレームの動画ＲＡＷデータをメモリ３０に一時的に記憶しておく。同時に一時的に記憶させた前回読み出した動画ＲＡＷデータを画像処理回路２０で表示用データに変換し、画像表示部２８に表示させるとともに、画像処理回路２０と圧縮・伸長回路３２を用いて動画のエンコード処理を行う。これらの動作を静止画撮影指示されるまで繰り返す。
【００３６】
シーケンスの中盤部分は静止画の撮影指示により開始される静止画撮影処理を示したものである。静止画撮影指示がされたら、撮像素子の駆動を変更し静止画ＲＡＷをメモリ３０に一時的に記憶する。その後、画像処理回路２０で静止画ＲＡＷに対してホワイトバランス評価値を算出する。その後、算出されたホワイトバランス評価値を用いて静止画ＲＡＷの現像処理を行い静止画データを作成し、メモリ３０を介して圧縮・伸長回路３２で圧縮を行い、不揮発性メモリ３１に記憶する。
【００３７】
シーケンスの後半部分は静止画記録後の動画記録の再開処理である。動画記録の再開がされたら動画のＲＡＷを記録するとともに、次のフレームから動画の表示を再開する。また、動画記録の再開の最初にメモリ３０に一時的に記憶されている静止画撮影直前の特定時間の動画ＲＡＷをエンコードしなおす。その後、動画記録再開後に記録されたＲＡＷを順次動画エンコードする。
【００３８】
次に図５を用いて第２の実施形態のフローを示す。
【００３９】
まず、Ｓ５０１で動画記録を開始する。Ｓ５０２ではＲＡＷデータをメモリ３０に記録しながらスルー画面を表示し、動画のエンコードを行う。また、同時にＩフレームには動画エンコード時に設定したホワイトバランス係数をメモリ３０に記憶しておく。Ｓ５０３では動画撮影停止の指示がされたかどうかを判定し、動画停止指示されていたら修了し、動画停止されていなかったらＳ５０４に移動して静止画撮影が指示されたかどうかを判定する。Ｓ５０４で静止画指示されていたらＳ５０５に遷移して動画のエンコードを停止してＳ５０６に遷移し、静止画ＲＡＷをメモリ３０に記憶する。その後Ｓ５０７に遷移して静止画ＷＢ係数演算を行う。その後、Ｓ５０８に遷移して算出されたホワイトバランス評価値を用いて静止画ＲＡＷの現像処理を行い静止画データを作成し、メモリ３０を介して圧縮・伸長回路３２で圧縮を行い、不揮発性メモリ３１に記憶する。
【００４０】
次にＳ５０９に遷移して動画記録再開の処理を行うために毎フレームの動画ＲＡＷをメモリ３０に記憶を開始する。次にＳ５１０に遷移して動画表示処理を開始する。その後Ｓ５１１で静止画キャプチャの５秒前にもっと近い動画のＩフレームを検索する。その後Ｓ５１２に遷移して、メモリ３０に記憶していたＷＢ係数のうち検索されたＩフレームのＷＢ係数と、静止画のＷＢ係数から、検索されたＩフレームから静止画を撮影する直前の動画フレームまでのＷＢ係数を補間して求める。係数の補間方法にはスプライン補間などの方法がある。その後Ｓ５１３では、Ｓ５１２で求めたＷＢ係数に基づきＳ５１１で検索されたＩフレームから静止画を撮影する直前の動画のフレームまでを再エンコードし、既にエンコードした動画データのうち該当する部分を、再エンコードした動画データに置き換える。
【００４１】
その後Ｓ５１４に遷移し、静止画の撮影後に再開された動画フレームから動画のエンコードを開始し、必要に応じて再エンコードした動画の後に静止画が撮影されたことを示す動画データなどを追記して、静止画撮影後の動画データを追記していく。その後Ｓ５０２に戻り、これまでの動作を繰り返す。
【００４２】
上述したように、第１の実施形態では静止画撮影の前に動画を記録する場合において、静止画撮影前の動画記録の状態でホワイトバランスがターゲットとする色味まで変化している途中である。そのため、従来では動画と静止画で色味が異なっていた場合においても、静止画と静止画撮影前の動画を連続して再生させた場合など、互いを比較した場合においても違和感ない動画と静止画を撮影することができる。
【００４３】
また、第２の実施形態では動画中に静止画を撮影する場合においても、動画記録中にホワイトバランスが変化している途中で静止画を撮影しても静止画撮影までの色味をスムーズに変化させた動画を撮影することが可能となる。
【００４４】
尚、本実施形態ではホワイトバランスの変化について記述したが、アパーチャやガンマテーブルなど他の画像パラメータに関するものであってもかまわない。また、第２の実施形態で記述したホワイトバランスの補間のためにさかのぼる時間を５秒前としたがそれ以外の時間であってもかまわないし、補間の方法についてもある１フレームからの補間ではなく、複数フレームから補間してもかまわない。また、本件はＭＰＥＧ動画について記載したが、ＭＰＥＧ動画以外の動画に適応してもかまわないし、ＭＰＥＧ動画であっても補完するフレームをＩフレーム以外から補間してもかまわない。
【００４５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００４６】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能な撮像装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００４７】
従って、本発明の機能処理を撮像装置で実現するために、該撮像装置に供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのプログラム自体も本発明に含まれる。
【符号の説明】
【００４８】
１０  撮影レンズ
２０  画像処理回路
２２  メモリ制御回路
２８  画像表示部
３０  メモリ
３２  画像圧縮・伸長回路
５０  システム制御回路
１００  画像処理装置
１１０  通信手段
２００  記録媒体
【図１】
2016019161.tif 000003
【図２】
2016019161.tif 000004
【図３】
2016019161.tif 000005
【図４】
2016019161.tif 000006
【図５】
2016019161.tif 000007