(57)【要約】【課題】撮影して記録した動画から後に静止画を取り出すような場合に、記録量が増大するのを抑制しつつ、高品質な静止画を取得可能にすることを課題とする。【解決手段】動画の記録と並行してＲＡＷ画像を記録可能な撮像装置（１００）であって、前記動画の各画像の現像と撮影の制御との少なくともいずれかに用いる評価値を取得する取得手段（１０８，１０９）と、前記評価値に基づいて、前記動画と並行して前記ＲＡＷ画像を記録する際の記録量を削減する制御を行う制御手段（１１０，１１２，１１３）と、を有することを特徴とする。【選択図】図１
2020005093.tif 000002
【特許請求の範囲】
【請求項１】
動画の記録と並行してＲＡＷ画像を記録可能な撮像装置であって、
前記動画の各画像の現像と撮影の制御との少なくともいずれかに用いる評価値を取得する取得手段と、
前記評価値に基づいて、前記動画と並行して前記ＲＡＷ画像を記録する際の記録量を削減する制御を行う制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記制御手段による前記ＲＡＷ画像の記録量を削減する制御は、前記評価値に基づいて前記ＲＡＷ画像の記録を行わないようにする制御を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段による前記ＲＡＷ画像の記録量を削減する制御は、前記評価値に基づいて前記ＲＡＷ画像を記録する際のフレームレートを低くする制御を含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段による前記ＲＡＷ画像の記録量を削減する制御は、前記評価値に基づいて前記記録するＲＡＷ画像の解像度を小さくする制御を含むことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記取得手段は、静止画に対する静止画用の前記評価値と動画に対する動画用の前記評価値とを取得し、
前記制御手段は、前記静止画用の評価値と前記動画用の評価値との差分に基づいて、前記ＲＡＷ画像の記録量を削減する前記制御を行うことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記静止画用の評価値と前記動画用の評価値との差分が所定の閾値未満である場合に、前記ＲＡＷ画像の記録量を削減する前記制御を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記取得手段は、前記動画の各画像を複数に分割した領域ごとに前記静止画用の評価値を算出し、
前記制御手段は、前記静止画用の評価値の領域ごとの差分が所定値以上である場合には、前記静止画用の評価値と前記動画用の評価値との差分が前記所定の閾値未満であっても前記ＲＡＷ画像の記録量を削減する前記制御を行わないことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記制御手段は、前記撮像装置の設定モードに対応した評価値と前記静止画用の評価値との差分が所定値以上である場合には、前記静止画用の評価値と前記動画用の評価値との差分が前記所定の閾値未満であっても前記ＲＡＷ画像の記録量を削減する前記制御を行わないことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記制御手段は、前記撮像装置に対してフォーカス位置の変更がなされた場合には、前記静止画用の評価値と前記動画用の評価値との差分が前記所定の閾値未満であっても前記ＲＡＷ画像の記録量を削減する前記制御を行わないことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記ＲＡＷ画像を圧縮する圧縮手段を有し、
前記制御手段による前記ＲＡＷ画像の記録量を削減する制御は、前記評価値に基づいて前記ＲＡＷ画像の圧縮率を高くする制御を含むことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記取得手段は、静止画に対する静止画用の前記評価値と動画に対する動画用の前記評価値とを取得し、
前記制御手段は、前記静止画用の評価値と前記動画用の評価値との差分が大きくなるほど、前記ＲＡＷ画像の圧縮率が低くなるように制御することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記ＲＡＷ画像の圧縮率には上限と下限の少なくともいずれかが、設定されていることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
光学系から入射する光束を受光して少なくとも一対の被写体像を撮像する撮像素子を有し、
前記制御手段による前記ＲＡＷ画像の記録量を削減する制御は、前記評価値に基づいて前記動画と並行して前記一対の被写体像のＲＡＷ画像を記録しないようにする制御を含むことを特徴とする請求項１に記載の撮像装置。
【請求項１４】
前記一対の被写体像のＲＡＷ画像を加算する加算手段を有し、
前記制御手段による前記ＲＡＷ画像の記録量を削減する制御は、前記加算手段により前記一対の被写体像のＲＡＷ画像を加算した後のＲＡＷ画像を記録する制御を含むことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記取得手段は、静止画に対する静止画用の前記評価値と動画に対する動画用の前記評価値とを取得し、
前記制御手段は、前記静止画用の評価値と前記動画用の評価値との差分が所定の閾値未満である場合に、前記ＲＡＷ画像の記録量を削減する前記制御を行うことを特徴とする請求項１３または１４に記載の撮像装置。
【請求項１６】
前記取得手段は、前記静止画用の評価値を時間方向に平滑化した評価値を、前記動画用の評価値として算出することを特徴とする請求項５、６、７、８、９、１１、１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記取得手段は、角速度センサまたは加速度センサの出力を基に前記評価値を算出することを特徴とする請求項１から１６のいずれか１項に記載の撮像装置。
【請求項１８】
動画の記録と並行してＲＡＷ画像を記録可能な撮像装置の制御方法であって、
前記動画の各画像の現像と撮影の制御との少なくともいずれかに用いる評価値を取得する取得工程と、
前記評価値に基づいて、前記動画と並行して前記ＲＡＷ画像を記録する際の記録量を削減する制御を行う制御工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１９】
撮像装置を制御するコンピュータを、請求項１から１７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を制御する技術に関する。
【背景技術】
【０００２】
従来の撮像装置は、撮影動作時に、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差からなる信号に変換し、各信号についてノイズ除去、光学的な歪補正などの現像処理を行う。そして、撮像装置では、現像処理された輝度信号及び色差信号を圧縮符号化してから記録媒体に記録するのが一般的である。
【０００３】
一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点がある。
そのため例えば、撮影した動画を記録した後、その動画の中から任意の一枚の画像を静止画として取り出すようなケースを想定した場合、例えばＲＡＷ画像の動画を記録しておけば、後に高品質な静止画を取得することが可能となる。例えば特許文献１には、ＲＡＷ画像を活用した撮像装置に関する技術が開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４４４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、近年の高画素化された撮像センサは、画像１枚あたりの画素数が大幅に増加してきている。このため、前述の特許文献１のように、ＲＡＷ画像を現像せずに記録する場合、撮影時の現像に係る処理量は軽減されるものの、ＲＡＷ画像の記録量は膨大な量となる。例えば水平６０００画素、垂直４０００画素の撮像センサを持つ撮像装置の場合、１画素が１６ビットのビット深度の非圧縮で保存したとすると、１枚当たり４８ＭＢｙｔｅ、１秒で２．８ＧＢｙｔｅ、１分で１７２．８ＧＢｙｔｅといったデータ量となる。したがって、動画の全フレームをＲＡＷ画像として記録することは非現実的である。
【０００６】
そこで、本発明は、撮影して記録した動画から後に静止画を取り出すような場合に、記録量が増大するのを抑制しつつ、高品質な静止画を取得可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、動画の記録と並行してＲＡＷ画像を記録可能な撮像装置であって、前記動画の各画像の現像と撮影の制御との少なくともいずれかに用いる評価値を取得する取得手段と、前記評価値に基づいて、前記動画と並行して前記ＲＡＷ画像を記録する際の記録量を削減する制御を行う制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影して記録した動画から後に静止画を取り出すような場合に、記録量が増大するのを抑制しつつ、高品質な静止画の取得が可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の撮像装置の概略構成を示す図である。
【図２】撮像装置における撮影処理のフローチャートである。
【図３】被写体輝度値算出の説明図である。
【図４】評価値差分の説明図である。
【図５】ホワイトバランス係数の説明図である。
【図６】評価値差分量に対するＲＡＷ画像の記録方法の説明図である。
【図７】評価値差分量に対するＲＡＷ圧縮率の関係を説明する図である。
【図８】第３の実施形態の撮像装置の概略構成を示す図である。
【図９】第３の実施形態における撮像部の構造を説明する図である。
【図１０】撮像部のカラー配列を説明する図である。
【図１１】第４の実施形態におけるジャイロ処理を説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置１００の一構成例を示すブロック図であり、図２は撮像装置１００における撮影処理のフローチャートである。図２のフローチャートの説明については後述する。
【００１１】
光学系１０１は、被写体像を撮像部１０２に結像させる。撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、画素毎に配置されたＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタを透過した光を電気信号に変換する。撮像部１０２によって光電変換された電気信号は、Ｒ，Ｇ，Ｂの各成分を含む。図１０は、撮像部１０２に配置されるカラーフィルタの一例を示す図である。図１０に示すように、カラーフィルタは、Ｒ，Ｇ，Ｂのフィルタ素子１１００が画素毎にモザイク状に配置されていて、２×２の４画素につきＲの１画素、Ｂの１画素、Ｇの２画素を１セットにして規則的に並べられた構造となっている。なお、Ｇ（緑）は、位置毎に異なる２種類の緑（Ｇ０，Ｇ１）の成分として扱うこともできる。このような画素の配置は、一般にベイヤ配列と呼ばれている。また、光学系１０１や撮像部１０２には、いわゆる手ブレ等による撮像装置１００のブレ（動き）を補正するためのブレ補正機能も設けられている。ブレ補正機能は公知でありその詳細は省略する。
【００１２】
撮像部１０２によって変換された電気信号は、センサ信号処理部１０３によって、デジタル画像データに変換され、さらに画素の修復処理が施される。修復処理には、撮像部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象画素の補間を行う処理や、レンズのケラレ等で画角の周辺部の光量が不足したシェーディング領域に対して補正を行う処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、生（未現像）の画像を意味するＲＡＷ画像データ（以降、ＲＡＷ画像）と称す。なお、センサ信号処理部１０３の処理の一部又は全部が、この時点で行われずに、後段の現像処理時に行われるようになされていても良い。例えば、欠落画素の補間を行い、シェーディング補正を行わない画像データをＲＡＷ画像として扱うようになされても良い。
【００１３】
次に、現像処理部１０４について説明する。現像処理部１０４は、ＲＡＷ画像に対して、デベイヤー処理（デモザイク処理）やホワイトバランス（以下、ＷＢとする。）補正を施した後、各画像データに含まれるノイズの除去、光学的な歪の補正などといった、いわゆる現像処理を行う。なお、動画を記録している際は、出力動画フォーマットの解像度に合わせるように縮小したＲＡＷ画像に対して現像処理が行われる。縮小処理は、撮像部１０２から読み出す際に画素加算や画素間引き等により実現される場合の他、センサ信号処理部１０３からの画像データに対するデジタルフィルタ処理、さらにはそれらの組み合わせにより実現されても良い。
【００１４】
現像処理部１０４によって現像された画像データは、現像画像圧縮部１０５に供給される。現像画像圧縮部１０５では、画像データを静止画として圧縮する場合にはＪＰＥＧ等の符号化方式、画像データを動画として圧縮する場合にはＭＰＥＧ２、Ｈ．２６４、Ｈ．２６５等の標準符号化方式などが用いられる。
【００１５】
一方、ＲＡＷ画像は、効率的に記録するために、後述するＲＡＷ制御部１１２を介してＲＡＷ圧縮部１１３に送られ、このＲＡＷ圧縮部１１３において後述するように適宜、圧縮等される。ＲＡＷ圧縮部１１３は、センサ信号処理部１０３からのＲＡＷ画像を、ウェーブレット変換、量子化、エントロピー符号化（差分符号化等）等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷ画像のファイル（ＲＡＷファイル）を生成する。そして、ＲＡＷファイルならびに上述した現像済ファイルは、記録部１０６によって、記録媒体１０７に記録される。すなわち、本実施形態の撮像装置１００は、現像処理後の動画と並行して、ＲＡＷ画像を記録可能となされている。
【００１６】
記録媒体１０７は、例えば内蔵式の大容量半導体メモリやハードディスク、或いは、着脱式のメモリカード等である。記録部１０６は、記録媒体１０７から各種ファイルをユーザの操作に応じて読み出すこともできる。また、撮像装置１００は、例えばＷｉＦｉ（登録商標）等のネットワークに接続される外部端子を具備していてもよい。この場合、撮像装置１００は、外部のストレージやサーバ、或いは、携帯情報端末やパーソナルコンピュータ（ＰＣ）等にＲＡＷファイルならびに現像済ファイルを送信することも可能である。
【００１７】
静止画評価値算出部１０８は、動画のフレーム毎に、ＲＡＷ画像から、被写体の明るさ情報、ＷＢ情報、フォーカス情報などの評価値を、静止画用の評価値として算出する。動画評価値算出部１０９は、静止画評価値算出部１０８により算出されたフレーム毎の静止画用評価値を用い、後述する時系列処理を行うことにより動画用の評価値を算出する。そして、これら算出された評価値は、カメラ制御部１１１ならびに現像処理部１０４へ出力され、ＩＳＯ感度、絞り、シャッタ速の露出制御や、レンズのフォーカス位置制御、現像時のＷＢ制御等に用いられる。なお、これら被写体の明るさ情報、ＷＢ情報、フォーカス情報などの評価値は、被写体の明るさ（露出）が適正か、ＷＢが適正か、フォーカス位置が適正かどうかなど、画像の品質に影響を及ぼす情報であるといえる。
【００１８】
これらの処理内容について、露出制御の場合を例に挙げ、図３（ａ）〜図３（ｃ）を用いて説明する。図３（ａ）〜図３（ｃ）は、ある撮影シーンの画像を基に、露出制御に用いる静止画用評価値を算出する処理を説明するための図である。図３（ａ）は撮影シーン３０１の画像例を示し、図３（ｂ）は図３（ａ）の撮影シーン３０１の画像を所定のブロック単位で分割したブロック分割結果３０２を、図３（ｃ）は図３（ｂ）に示したブロック毎に設定されているブロック重み３０３を示している。静止画評価値算出部１０８は、撮影シーン内の画像をブロック分割したブロック毎に被写体輝度値を求め、さらに各ブロックの位置に応じた重み付けを行った被写体輝度値を、静止画用評価値として算出する。
【００１９】
静止画評価値算出部１０８は、先ず図３（ａ）の撮影シーン３０１の画像から被写体輝度値を算出するために、当該撮影シーン３０１の画像を図３（ｂ）のブロック分割結果３０２のような所定サイズの各ブロックに分割する。そして、静止画評価値算出部１０８は、各ブロックにおける輝度積算値ｂyを、下記の式（１）を用いて算出する。
【００２０】
ｂy＝ΣＹ(x,y)        式（１）
【００２１】
なお、式（１）中のＹ(x,y)はブロック内の各画素の輝度値を表す。また、各画素の輝度値は、ＲＡＷ画像のＲ，Ｇ，Ｂの各信号値に対して所定の係数を乗算することで求められる値である。そして、静止画評価値算出部１０８は、下記の式（２）により、画面の明るさの評価値Ｂyを算出する。
【００２２】
Ｂy＝Σ（ｗy・ｂy）／Σｗy        式（２）
【００２３】
なお、式（２）中のｂyは式（１）で求められた各ブロックの輝度値、ｗyは各ブロックの重みを表す値である。各ブロックの重みｗyは、画像内におけるブロックの位置に応じて変化する重みとして予め設定されている。本実施形態の場合、図３（ｃ）に示したブロック重み３０３のように、各ブロックの重みｗyは、画面中央の位置のブロックほど重みが大きくなるような値に設定されているとする。
【００２４】
カメラ制御部１１１は、式（２）により算出された評価値Ｂyを基に、撮像部１０２で撮像した１枚の画像に対する露出制御を行う。具体的には、カメラ制御部１１１は、下記の式（３）を用いて算出した被写体輝度値Ｂvが低い場合には露出を上げるように、一方、被写体輝度値Ｂvが高い場合には露出を下げるように、ＩＳＯ感度、絞り、シャッタ速を制御する。
【００２５】
Ｂv＝Ｂv0＋ｌｏｇ2（Ｂy／Ｂref）        式（３）
【００２６】
なお、式（３）中のＢv0は入力された画像が撮影された際の露出値、Ｂrefは目標とする輝度値である。
ここで、前述したような露出制御によれば、１枚の静止画としてみた時には最適な露出を設定することができる。しかしながら、例えば動画の場合、時間方向の露出が急激に変動することがあるため、動画の各画像に対して前述同様の制御を行うと、画面のちらつき等が発生してしまう。
【００２７】
そこで動画評価値算出部１０９では、静止画評価値算出部１０８が式（２）で算出した評価値Ｂyに対し、所定の係数を用いた時系列処理（時間方向の平滑化処理）を行って時間方向で急峻に変動しない評価値を算出し、それを動画用評価値として取得する。すなわち動画評価値算出部１０９は、下記の式（４）の演算により、動画用の評価値Ｂymov(n)を算出する。
【００２８】
Ｂymov(n)＝ｋ＊Ｂystl(n)＋（１−ｋ）＊Ｂymov(n-1)      式（４）
【００２９】
式（４）中のＢymov(n)は時間ｎにおける動画用評価値であり、Ｂymov(n-1)は時間（ｎ−１）における動画用評価値、Ｂystl(n)は時間ｎにおける静止画用評価値、ｋは時定数である。時定数ｋは変更可能であり、その値を小さくするほど、急峻な変化を抑制することが可能となる。なお、動画評価値算出部１０９は、自らが静止画評価値算出部１０８と同様にして画像毎に評価値を算出し、それら評価値に時系列処理を行って動画用評価値を算出してもよい。
【００３０】
次に、式（４）により算出した各評価値を用いてＲＡＷ記録の制御を行う判定部１１０とＲＡＷ制御部１１２について図４を用いて説明する。
図４は静止画用評価値と動画用評価値の各々を時間軸で表示したものであり、横軸が時間、縦軸が評価値（この例では輝度値）を表している。また図４においては、図中の白丸４０１が静止画用評価値Ｂystl(n)を、黒丸４０２が動画用評価値ymov(n)を表している。
判定部１１０は、先ず、式（２）により算出された静止画用評価値と式（４）により算出された動画用評価値との差分（以下、評価値差分とする。）を算出する。
【００３１】
ここで、評価値差分の値（量）が大きい場合（例えば所定の閾値以上の場合）には、動画としては最適な露出設定（自然な明るさ変化）になっていても、その動画内の各フレームの画像は静止画としては最適な露出設定になっていない可能性があると考えられる。そのため、判定部１１０は、ＲＡＷ制御部１１２に対し、センサ信号処理部１０３から出力されたＲＡＷ画像をＲＡＷ圧縮部１１３へ送って、ＲＡＷ画像の圧縮を行わせるように指示する。これにより、ＲＡＷ圧縮部１１３で圧縮されたＲＡＷ画像のデータは、記録部１０６を介して記録媒体１０７に記録されることになる。すなわち、図４に示すように、評価値差分が大きい期間４０３では、ＲＡＷ画像の記録が行われることになる。このように、本実施形態では、評価値差分が大きく、静止画としては最適な露出設定になっていない可能性がある場合、動画記録と並行してＲＡＷ画像の記録を行うようにし、後にそのＲＡＷ画像を用いて適切な明るさの画像を生成できるようにする。
【００３２】
一方、評価値差分が小さい場合（例えば所定の閾値未満の場合）、動画の露出設定と、動画内の各フレームの画像の露出設定とは同程度であるため、その動画内の各フレームの画像は静止画としても最適な露出設定がされている可能性が高いと考えられる。そのため、判定部１１０は、ＲＡＷ制御部１１２に対し、センサ信号処理部１０３から出力されたＲＡＷ画像をＲＡＷ圧縮部１１３へ送らず、ＲＡＷ画像の圧縮を行わせないように指示する。これにより、ＲＡＷ画像の記録媒体１０７への記録は行われないことになる。すなわち本実施形態では、評価値差分が小さく、静止画としても最適な露出設定がされている可能性が高い場合、動画記録と並行してＲＡＷ画像の記録を行わないようにして記録量を低減できるようにする。なお、このときの記録動画から静止画を取り出した場合、その静止画は品質が良い画像であると考えられる。
【００３３】
また、ＲＡＷ制御部１１２は、ＲＡＷ画像を記録させるか記録させないかの２値的な切り替え制御だけでなく、動画のＲＡＷ画像のフレームレートを間引いて記録させたり、ＲＡＷ画像の解像度を小さくして記録させたりするような制御を行っても良い。
【００３４】
これについて、図６を用いて説明する。図６は評価値差分に対するＲＡＷ画像の記録方法を示した図である。図６には、ＲＡＷ画像６０２と、現像処理部１０４で現像処理された後に現像画像圧縮部１０５で圧縮処理された圧縮画像６０１とが、それぞれ時系列に並べて示されている。また図６において、グラフ６０３は、評価値差分の変化を時系列上で表しており、閾値６０４は、評価値差分を基にＲＡＷ画像を記録するか、あるいは、間引いて記録または解像度を小さくして記録するかを、判定する際に用いられる値である。
【００３５】
すなわち判定部１１０は、評価値差分が閾値以上である場合、ＲＡＷ制御部１１２に対し、ＲＡＷ画像６０２をすべて記録させる制御を行うように指示する。一方、閾値未満である場合、判定部１１０は、ＲＡＷ制御部１１２に対し、ＲＡＷ画像６０２のフレームレートを間引いたり、ＲＡＷ画像６０２の解像度を小さくしたりする制御を行うように指示する。図６に示した例の場合、期間６１１は、評価値差分が閾値以上の期間であるため、ＲＡＷ画像６０２の全フレームが記録されるように制御される。これに対し、期間６１２や期間６１３は、評価値差分が閾値未満の期間であるため、ＲＡＷ画像６０２のフレームレートを間引いたり、ＲＡＷ画像６０２の解像度を小さくしたりする制御が行われる。これにより、ＲＡＷ画像６０２のフレームレートの間引きやＲＡＷ画像６０２の解像度が小さくなされる期間６１２や期間６１３では、記録媒体１０７へのＲＡＷ画像の記録量が削減されることになる。なお、フレームレート間引き、解像度変更のいずれを用いるかは、予め設定されていても良いし、例えば、動画のシーン解析結果や画像の特徴解析結果を基にいずれを用いるかを適宜制御してもよい。一例であるが、動画のシーン解析結果からシーンの切り替わり等の重要な期間が検知されたような場合には、フレームレートの間引きを行わずに解像度変更を行うようにしてもよい。また例えば、画像の特徴解析結果から例えば顔のような特定の被写体が写っていることが検知された場合には、解像度を小さくする制御を行わないようにしても良い。これらはあくまで一例である。
【００３６】
このように本実施形態の撮像装置１００では、静止画用評価値と動画用評価値との間の評価値差分を基に、動画記録と並行してＲＡＷ画像を記録する／しない、フレームレートの間引きまたは解像度の変更をする／しない等のいずれを行うかを制御している。ＲＡＷ画像を記録する／しない、フレームレートの間引きまたは解像度の変更をする／しない等は、動画の各フレームの画像が高品質であると推定されるかどうかにより決定されている。すなわち本実施形態において、評価値差分は、ＲＡＷ画像の記録量を削減しても動画記録後に品質の良い静止画を取得できる可能性の高さを表す情報として用いられている。また言い換えると、評価値差分は、記録後の動画から高品質の静止画を取り出すことができない可能性が高いためＲＡＷ画像を記録する制御を行うかどうかの判断の基になる情報として用いられている。
【００３７】
次に、撮像装置１００における撮影処理の動作について図２のフローチャートを参照しながら説明する。図２のフローチャートは、図１に示した撮像装置１００の各部で実行される処理手順を図示したものである。なお、以下の説明では、各処理のステップＳ２０１〜ステップＳ２０８をＳ２０１〜Ｓ２０８と略記する。
【００３８】
撮像装置１００で撮影処理が開始されると、先ずＳ２０１において、カメラ制御部１１１が、好適な条件で撮影を行うように、光学系１０１や撮像部１０２の動作を制御する。カメラ制御部１１１は、例えばユーザからのズーム指示やフォーカス指示に応じて光学系１０１に含まれるレンズを移動させたり、撮影画素数の指示に応じて撮像部１０２の読み出し領域を設定したりする。さらに撮像部１０２によって変換された電気信号に対して、センサ信号処理部１０３が、画素の修復のための信号処理を施す。すなわちセンサ信号処理部１０３は、欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ２０１の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と称している。
【００３９】
次のＳ２０２では、センサ信号処理部１０３にて処理されたＲＡＷ画像が、静止画評価値算出部１０８に供給される。そしてＳ２０２において、静止画評価値算出部１０８は、上述した式（２）を用いて、画像に含まれる輝度値等の静止画用評価値を演算によって取得する。
【００４０】
次のＳ２０３では、静止画評価値算出部１０８にて算出された静止画用評価値が、動画評価値算出部１０９に供給される。そしてＳ２０３において、動画評価値算出部１０９は、上述した式（４）を用いて時系列処理を行い、動画用評価値を演算によって取得する。
【００４１】
次のＳ２０４では、動画評価値算出部１０９にて算出された動画用評価値が、現像処理部１０４ならびにカメラ制御部１１１に供給される。Ｓ２０４において、現像処理部１０４は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）やＷＢ補正を施した後、各信号に含まれるノイズの除去、光学的な歪の補正、画像の適正化などの現像処理を行う。またＳ２０４において、現像画像圧縮部１０５は、現像処理後の画像をＭＰＥＧ２、Ｈ．２６４、Ｈ．２６５などの標準符号化技術を用いて圧縮符号化する。その後、記録部１０６は、その圧縮符号化された画像データを記録媒体１０７に記録する。またＳ２０４において、カメラ制御部１１１は、撮像部１０２のＩＳＯ感度、絞り、シャッタ速の露出設定や、光学系１０１のフォーカス位置設定を行う。
【００４２】
次のＳ２０５では、静止画評価値算出部１０８にて算出された静止画用評価値と動画評価値算出部１０９にて算出された動画用評価値とが、判定部１１０に供給される。Ｓ２０５において、判定部１１０は、静止画用評価値と動画用評価値との差分（評価値差分）を算出し、その差分値（差分量）が所定値以上（所定の閾値以上）であるか否かを判定する。そしてＳ２０５において、差分値が所定値以上であると判定された場合、撮像装置１００の処理はＳ２０６に移行し、一方、差分値が所定値より小さい（閾値未満）と判定された場合、撮像装置１００の処理はＳ２０７に移行する。
【００４３】
ここで、Ｓ２０６に移行した場合の判定部１１０の判定結果は、評価値差分の値が所定値以上であることを示している。評価値差分が所定値以上の場合、動画としては最適な露出設定（自然な明るさ変化）になっていても、静止画としては必ずしも最適な露出設定になっていない可能性がある。このため、Ｓ２０６に移行した場合、判定部１１０は、ＲＡＷ制御部１１２に対し、ＲＡＷ画像をＲＡＷ圧縮部１１３へ送って、ＲＡＷ画像の圧縮を行わせるように指示する。これにより、その圧縮後のＲＡＷ画像は、記録部１０６を介して記録媒体１０７に記録されることになる。
【００４４】
一方、Ｓ２０７に移行した場合の判定部１１０の判定結果は、評価値差分の値が所定値より小さいことを示している。評価値差分が所定値より小さい場合、動画の露出設定と静止画の露出設定が同程度で、静止画としても最適な露出設定がされている可能性が高い。このため、Ｓ２０７に移行した場合、判定部１１０は、ＲＡＷ制御部１１２に対し、ＲＡＷ圧縮部１１３のＲＡＷ画像を供給しないように指示する。これにより、この時の記録媒体１０７へのＲＡＷ画像の記録量がゼロ、つまりＲＡＷ画像は記録媒体１０７に記録されないことになる。
これらＳ２０６またはＳ２０７の処理後、撮像装置１００の処理はＳ２０８に移行する。
【００４５】
Ｓ２０８に移行すると、撮像装置１００は、ユーザから撮影停止の指示があったか否かを判定し、撮影停止の指示がなされたと判定した場合には撮影処理の終了もしくはアイドル状態へ遷移する。一方、撮像装置１００は、ユーザから撮影提示の指示がないと判定した場合にはＳ２０１に処理を戻し、Ｓ２０１移行の動作を続ける。
【００４６】
上述した説明では、輝度に関する評価値に基づくＲＡＷ制御の例を挙げたが、本実施形態の撮像装置１００では、本実施形態はＷＢ設定に用いる評価値（ホワイトバランス係数、以下、ＷＢ係数とする。）に基づくＲＡＷ制御の際にも同様に適用可能である。
以下、ＷＢ設定に用いる評価値（ＷＢ係数）の算出について説明する。ここでは、撮影シーンは図３（ａ）と同様のシーンであるとし、図３（ｂ）および図３（ｃ）に示したように画像の各ブロックの位置に応じた重み付けを行って、ＷＢ設定に用いる静止画用評価値（ＷＢ係数）を算出する例を挙げて説明する。
【００４７】
静止画評価値算出部１０８は、撮影シーン３０１からＲＧＢ各色の値を算出するために、ブロック分割結果３０２のＲＧＢ各色のブロック内総和Ｒs，Ｇs，Ｂsを、下記の式（５）〜式（７）を用いて算出する。
【００４８】
Ｒs＝ΣＲ(x,y)        式（５）
Ｇs＝ΣＧ(x,y)        式（６）
Ｂs＝ΣＢ(x,y)        式（７）
【００４９】
なお、静止画評価値算出部１０８は、前述した輝度値の静止画用評価値の場合と同様に、ＲＧＢ各色のブロック内総和に対して各ブロックの重み３０３を乗算しても良い。
次に、静止画評価値算出部１０８は、下記の式（８）、式（９）を用いて、ＷＢ設定に用いる評価値としてＷＢ係数ＫrおよびＫbを算出する。
【００５０】
Ｋr＝Ｇs／Ｒs        式（８）
Ｋb＝Ｇs／Ｂs        式（９）
【００５１】
なおこの例の場合、現像処理部１０４は、式（８）と式（９）で算出したＷＢ係数を、下記の式（１０）、式（１１）を用いて画像のＲ，Ｂのデータに乗算することにより、ＷＢが適切になされた画像を生成することができる。
【００５２】
Ｒ'(x,y)＝Ｋr×Ｒ(x,y)        式（１０）
Ｂ'(x,y)＝Ｋb×Ｂ(x,y)        式（１１）
【００５３】
ここで、式（８）と式（９）で算出されたＷＢ係数Ｋr，Ｋbは、１枚の静止画としてみた時には最適なＷＢ係数となる。しかしながら、動画の各画像に対してそれらＷＢ係数Ｋr，Ｋbを乗算すると、時間方向において色が急激に変動してしまうことがある。
このため、動画評価値算出部１０９は、静止画評価値算出部１０８が式（８）、式（９）で算出したＷＢ係数Ｋr，Ｋbについても、前述した輝度における評価値の場合と同様に、所定の係数を用いた時系列処理により時間方向に平滑化する。これにより、時間方向に急峻に変動しない評価値が算出され、これがＷＢ係数における動画用評価値となされる。
【００５４】
このように、ＷＢ係数の評価値に基づくＲＡＷ制御を行う場合、時系列処理前のＷＢ係数が静止画用評価値となされ、時系列処理後のＷＢ係数が動画用評価値となされる。なお、これ以外の処理は、前述した輝度に関する評価値に基づくＲＡＷ制御の場合と同様の処理であるため、それらの説明は省略する。
また、前述した輝度の評価値に基づくＲＡＷ制御やＷＢ係数の評価値に基づくＲＡＷ制御は画面全体における評価値差分を基に行われているが、これらのＲＡＷ制御は、画面内の領域別の評価値に基づいて行われてもよい。
【００５５】
以下、画面内の領域別の評価値に基づくＲＡＷ制御について、例えば静止画用評価値としてＷＢ係数を用いた例を挙げ、図５（ａ）と図５（ｂ）を参照しながら説明する。
図５（ａ）と図５（ｂ）は、ある撮影シーンの画像を基に、画像内の領域毎にＷＢ制御に用いる静止画用評価値を算出する処理を説明するための図である。図５（ａ）は前述した図３（ａ）と同様の撮影シーン５０１の画像例を示し、図５（ｂ）はブロック毎に算出されたＷＢ係数５０２の一例を示している。図５（ｂ）に示したブロック毎のＷＢ係数５０２は、例えば前述したＷＢ係数Ｋrであるとする。また、ＷＢ係数の場合も前述の輝度の場合と同様に、画面全体の静止画用評価値が求められ、さらに時系列処理により動画用評価値が求められる。そして、ＷＢ係数における画面全体の静止画用評価値と動画用評価値との差分が求められる。
【００５６】
ここで例えば、ＷＢ係数における評価値差分が例えば所定の閾値未満で小さかったとしても、画面内の各ブロック間のＷＢ係数同士の差分が大きいような（例えば所定値以上の場合）には、そもそも動画用評価値が適切でない可能性がある。このようなシーンとしては、例えば、同一被写体あるいは同一構造物被写体に対して、太陽光が当たった領域と当たっていない領域とが混在するシーンなどが想定される。このため判定部１１０は、同一被写体や同一構造物被写体の領域別のＷＢ係数の差分が所定値以上の場合、画面全体における評価値差分が所定の閾値未満で小さかったとしても、ＲＡＷ制御部１１２に対し、ＲＡＷ画像が記録される制御を行うように指示する。
【００５７】
その他、前述した輝度やＷＢの評価値に基づくＲＡＷ制御の際には、撮像装置１００における設定モードを考慮するようにしても良い。ここでは、撮像装置１００の設定モードの一例として、撮影時の想定光源をユーザが任意に選択し、その選択された想定光源に応じたＷＢ係数が設定されるＷＢ設定モードを挙げて説明する。なおこの設定モードは一例であり、他のモードであってもよい。例えば、ＷＢ設定モードにおいてユーザにより選択された想定光源に対応したＷＢ係数と、撮影画像から算出されるＷＢ係数の静止画用評価値との差が所定値以上で大幅に異なっているような場合、ユーザによる光源選択が適切ではない可能性が高い。また例えば、実際の被写体輝度が高いにも関わらず、ユーザが想定光源として例えばタングステン光源を選択したような場合にも、ユーザによる光源選択が適切ではないと考えられる。そしてこれらの場合、画像の品質は低下すると考えられる。したがって、このようにユーザによる光源選択が適切でない可能性がある場合、判定部１１０は、動画用評価値と静止画用評価値との差分が小さくても、ＲＡＷ制御部１１２に対し、ＲＡＷ画像が記録される制御を行うように指示する。これにより、その記録されたＲＡＷ画像を用いることで適切な光源光に対応した高品位の画像を後に再現するようなことが可能となる。
【００５８】
さらに、設定モードの他の例として、撮像装置１００は、図１では図示を省略している表示部上にタッチパネルが設けられていて、例えばユーザによるタッチ操作に応じてオートフォーカスを制御するタッチＡＦモードを有していることがある。ここで、例えば撮像装置１００の動画撮影中に、ユーザがタッチ操作を行ってタッチＡＦを指示した場合、そのタッチ時のフレームの画像はユーザが所望する画像である可能性が高い。このため、判定部１１０は、不図示のタッチパネルに対してユーザによるタッチＡＦの指示がなされた場合、動画用評価値と静止画用評価との差分が小さくても、ＲＡＷ制御部１１２に対し、そのフレームについてＲＡＷ画像が記録される制御を行うように指示する。これにより、その記録されたＲＡＷ画像を用いることで、ユーザのタッチＡＦがなされたフォーカス位置にフォーカスが合った高品位の画像を後に再現するようなことが可能となる。
【００５９】
＜第２の実施形態＞
次に第２の実施形態について説明する。
第２の実施形態に係る撮像装置１００の構成は、第１の実施形態と同様のため図１の構成を参照しながら説明する。
【００６０】
ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像のデータ量を圧縮するものであり、例えばウェーブレット変換、差分符号化等の圧縮符号化技術を用いてＲＡＷ画像データを圧縮する。本実施形態では、例えばＪＰＥＧ２０００や、ＭｏｔｉｏｎＪＰＥＧ２０００で用いられているように、ウェーブレット変換された情報を量子化する構成であるものとする。ＲＡＷ圧縮部１１３によるＲＡＷ圧縮では、ＲＡＷ圧縮率が高くなるほど量子化ステップ数は少なくなり（量子化が荒くなり）、ＲＡＷ圧縮率が低くなるほど量子化ステップ数は多くなる（量子化が細かくなる）。すなわち、量子化ステップ数を減らして圧縮率を上げた場合には、データ量を低減することができる。一方、量子化ステップ数を増やして圧縮率を下げた場合には、ＲＡＷ画像が元々有している情報が圧縮により減少するのを防ぐことができ、高品位の画像を再現できることになる。
【００６１】
図７は、静止画用評価値と動画用評価値との間の差分（評価値差分量）に対するＲＡＷ圧縮率の関係をグラフ７０１として表した図である。以下、この図７のグラフ７０１を参照し、また静止画用評価値ならびに動画用評価値として前述した露出制御時の輝度値を例に挙げて、第２の実施形態に係る撮像装置１００のＲＡＷ制御部１１２によるＲＡＷ圧縮部１１３の制御を説明する。
【００６２】
ここで、前述の第１の実施形態でも説明したように、輝度における評価値差分が大きい場合、動画として最適な露出設定（自然な明るさ変化）になっていても、静止画としては最適な露出設定になっていない可能性がある。このため、第２の実施形態において、判定部１１０は、グラフ７０１に示すように、評価値差分が大きくなるほど、ＲＡＷ制御部１１２に対し、ＲＡＷ圧縮部１１３の量子化ステップ数を多くしてＲＡＷ画像の圧縮率が低くなる制御を行うように指示する。すなわちこの場合のＲＡＷ制御部１１２は、量子化ステップ数を多くした低い圧縮率のＲＡＷ圧縮処理をＲＡＷ圧縮部１１３に行わせる。したがって、ＲＡＷ画像が元々有している情報を減らさずにＲＡＷ画像の記録がなされるようになる。これにより、例えば後にＲＡＷ画像を現像処理して静止画像を取得し、さらにその画像明るさの調整等を行うことになった場合でも、適切な明るさの高品位な静止画像を得ることが可能となる。
【００６３】
また、前述の第１の実施形態でも説明したように、評価値差分が小さい場合には、動画の露出設定と静止画の露出設定が同程度となるため、静止画としても最適な露出設定がされている可能性が高い。このため、判定部１１０は、グラフ７０１に示すように、評価値差分が小さくなるほど、ＲＡＷ制御部１１２に対し、ＲＡＷ圧縮部１１３の量子化ステップ数を少なくしてＲＡＷ画像の圧縮率が高くなる制御を行うように指示する。すなわちこの場合のＲＡＷ制御部１１２は、量子化ステップ数を少なくした高い圧縮率のＲＡＷ圧縮処理をＲＡＷ圧縮部１１３に行わせる。これにより、ＲＡＷ画像を記録する際のデータ量を低減することが可能となる。
【００６４】
ただし、ＲＡＷ画像の圧縮率を高く設定し過ぎると、画質が低下する可能性が高いため、図７に示すように、ＲＡＷ画像の圧縮率には上限を設けられ、ＲＡＷ制御部１１２は、圧縮率の上限を超えないようにＲＡＷ圧縮部１１３を制御する。逆に、ＲＡＷの圧縮率を低く設定し過ぎると、データ容量が莫大になるため、図７に示すように、ＲＡＷ画像の圧縮率には下限も設けられ、ＲＡＷ制御部１１２は、圧縮率の下限を下回らないようにＲＡＷ圧縮部１１３を制御する。
【００６５】
なお、ＲＡＷ画像の圧縮率を変化させる手法としては、前述した量子化ステップ数を増減させる手法に限られるものではなく、例えば算術符号化の精度を変更して圧縮率を変更する手法など、他の手法を用いてもよい。また、本実施形態では、ウェーブレット変換を用いて画像を圧縮する例を挙げたが、Ｈ．２６５、Ｈ．２６４、ＭＰＥＧ、ＭＰＥＧ２等の他の技術でＲＡＷ画像を圧縮してもよい。
【００６６】
＜第３の実施形態＞
次に第３の実施形態について説明する。
例えば、動画撮影時に合焦位置が急激に変化したような場合、動画としては滑らかなフォーカス変動であったとしても、静止画としてはフォーカスが合っていないことがある。ここで、例えば、撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像があれば、後処理でフォーカス位置を変更することが可能となる。第３の実施形態は、撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像をＲＡＷ画像として記録する場合の適用例である。
【００６７】
図８は、第３の実施形態に係る撮像装置８００の構成例を示したブロック図である。図８において、光学系８０１、カメラ制御部８１１、現像処理部８０４、現像画像圧縮部８０５、記録部８０６、記録媒体８０７、動画評価値算出部８０９は、図１の対応した各構成と概ね同様であるため、それらの詳細は省略する。以下、図８の構成において、図１に示した構成との差異のみを説明する。
【００６８】
撮像部８０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、画素毎に配置されるＲ，Ｇ，Ｂのカラーフィルタを透過した光を電気信号に変換する。カラーフィルタの配列は第１の実施形態で説明した図１０と同一である。第３の実施形態における図８の撮像部８０２は、光学系から入射する光束を受光して少なくとも一対の被写体像を撮像可能な撮像部となされている。第３の実施形態の場合、図８の撮像部８０２は、図９に示すような画素配列構成となされている。各画素９０２はマイクロレンズ９０１と一対の光電変換部９０３，９０４とから構成されており、撮像部８０２は、それらの各画素９０２が二次元的に規則的に配列されて構成されている。本実施形態では、図９のように各画素９０２が二次元的に規則的に配列された撮像部８０２において、各画素９０２の一方の光電変換部９０３で撮像された被写体像をＡ像、各画素９０２の他方の光電変換部９０４で撮像された被写体像をＢ像とする。本実施形態においては、これらＡ像とＢ像が、撮影光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像である。
【００６９】
センサ信号処理部８０３は、撮像部８０２から供給されたＡ像とＢ像の信号について、それぞれ図１のセンサ信号処理部１０３と同様に、デジタル画像データへの変換を行い、さらに各画素に対応した修復処理等を行う。そして、センサ信号処理部８０３からは、Ａ像のＲＡＷ画像とＢ像のＲＡＷ画像が出力される。これらＡ像のＲＡＷ画像とＢ像のＲＡＷ画像のデータは、画像加算部８２３と静止画評価値算出部８０８とＲＡＷ制御部８１２とに送られる。
【００７０】
画像加算部８２３は、Ａ像とＢ像の両ＲＡＷ画像データを画素ごとに加算することにより、撮影光学系の瞳の全域から到来する光束が生ずる単一の被写体像を生成するような像生成処理を行う。ここでは、Ａ像とＢ像を加算した像をＡ＋Ｂ像と呼ぶ。そして、画像加算部８２３は、像形成処理により生成したＡ＋Ｂ像のＲＡＷ画像のデータを、現像処理部８０４とＲＡＷ制御部８１２とに出力する。
【００７１】
静止画評価値算出部８０８は、Ａ像とＢ像の相関関数を計算するなどして、デフォーカス量を静止画用評価値として計算する。なお、相関関数からデフォーカス量を計算する処理は、例えば特開２００８−１５７５４号公報等に開示された手法を適用すれば良い。
動画評価値算出部８０９は、静止画評価値算出部８０８にて算出されたデフォーカス量に対して、第１の実施形態と同様の時系列処理を行って、時間方向に急峻に変動しないデフォーカス量を算出し、それを動画用評価値として取得する。
判定部８１０は、静止画評価値算出部８０８で算出された静止画用評価値（デフォーカス量）と、動画評価値算出部８０９で時系列処理された動画用評価値（デフォーカス量）との差分を算出する。
【００７２】
ここで、静止画用評価値と動画用評価値との差分（デフォーカス量の評価値差分）が大きければ、例えば動画としては滑らかなフォーカス変動であったとしても、静止画としてはフォーカスが合っていない可能性がある。このため、判定部１１０は、ＲＡＷ制御部１１２に対し、Ａ像とＢ像の両ＲＡＷ画像をＲＡＷ圧縮部１１３へ送って圧縮を行わせるように指示する。そして、ＲＡＷ圧縮部１１３で圧縮されたＡ像とＢ像の両ＲＡＷ画像のデータは、記録部１０６を介して記録媒体１０７に記録されることになる。これにより、例えば後にＲＡＷ画像を現像処理して静止画像を取得する場合に、静止画としてフォーカスが合っていなかったとしても、後処理でフォーカス位置を変更することができ、フォーカスが合った状態の高品位な静止画を得ることが可能となる。
【００７３】
一方、デフォーカス量の評価値差分が小さければ、動画だけでなく静止画においてもフォーカスが合っていると考えられる。このため、判定部１１０は、ＲＡＷ制御部１１２に対し、センサ信号処理部１０３から出力されたＡ像とＢ像のＲＡＷ画像をＲＡＷ圧縮部１１３へ送らず、ＲＡＷ画像の圧縮を行わせないように指示する。これにより、ＲＡＷ画像の記録媒体１０７への記録は行われないことになり、データ量の低減が可能となる。
【００７４】
あるいは、デフォーカス量の評価値差分が小さい場合、判定部１１０は、ＲＡＷ制御部１１２に対し、Ａ像とＢ像が加算されたＡ＋Ｂ像のＲＡＷ画像を、ＲＡＷ圧縮部１１３へ送って圧縮を行わせるように指示しても良い。この場合、ＲＡＷ圧縮部１１３で圧縮されたＡ＋Ｂ像のＲＡＷ画像、つまり撮影光学系の瞳の全域から到来する光束が生ずる単一の被写体像のＲＡＷ画像の圧縮データが、記録部１０６を介して記録媒体１０７に記録されることになる。圧縮したＡ＋Ｂ像のＲＡＷ画像を記録するようにした場合、Ａ像とＢ像の両ＲＡＷ画像の圧縮データを記録する場合よりもデータ量を低減できる。またこの場合も、例えば後にＲＡＷ画像を現像処理してフォーカスが合った状態の高品位の静止画像を取得することができることになる。
【００７５】
＜第４の実施形態＞
次に第４の実施形態について説明する。
前述した第１の実施形態から第３の実施形態までは、撮像部（１０２または８０２）で撮像されてセンサ信号処理部（１０３または８０２）で処理された画像から評価値が算出されている。これに対し、第４の実施形態では、角速度センサまたは加速度センサにより検出された情報を基に、ＲＡＷ制御の評価値を取得する。本実施形態では、ジャイロセンサを例に挙げ、このジャイロセンサにより検出された情報を基に、ＲＡＷ制御の評価値を取得する。
【００７６】
なお、撮像装置に搭載されている一般的なジャイロセンサは、撮像装置の動きとして、例えばピッチング方向、ヨーイング方向、ローリング方向等の各方向の動きを検出可能である。第４の実施形態の場合、それら方向ごとの情報を基にＲＡＷ制御の評価値を取得しても良く、いずれか一つの情報を基にＲＡＷ制御の評価値を取得しても良い。第４の実施形態では、ピッチング方向、ヨーイング方向、ローリング方向の各方向のセンサ情報を基にＲＡＷ制御の評価値を取得するが、それら方向ごとの処理は何れも同様の処理であるため、以下、一つの方向の動きのみを例に挙げて説明する。
【００７７】
図１１は、第４の実施形態において、ジャイロセンサにて検出された情報に基づいて静止画用評価値を算出する静止画評価値算出部１１０８の概略構成例を示した図である。図１１に示した静止画評価値算出部１１０８は、ジャイロセンサ１１０１、Ａ／Ｄ変換部１１０２、ＨＰＦ（ハイパスフィルタ）１１０３、ＬＰＦ（ローパスフィルタ）１１０４を有して構成されている。なお、ジャイロセンサ１１０１とＡ／Ｄ変換部１１０２は、撮像装置としての一般的なデジタルカメラやレンズシステム等に元々備えられているものであるとする。第４の実施形態の撮像装置の図示は省略するが、図１１に示した静止画評価値算出部１１０８は、一例として前述した図１の撮像装置１００の静止画評価値算出部１０８に置き換えるようにして設けることができる。ただし図１１の静止画評価値算出部１１０８の場合、図１の静止画評価値算出部１０８のようにセンサ信号処理部１０３からのＲＡＷ画像が供給される構成ではなく、ジャイロ船さ１１０１で検出されてＡ／Ｄ変換部１１０２から出力された信号が供給される。
【００７８】
ジャイロセンサ１１０１は、撮像装置の動きの角速度を検出して電圧値として出力する。Ａ／Ｄ変換部１１０２は、ジャイロセンサ１１０１から出力される電圧値をデジタル変換する。ＨＰＦ１１０３は、ジャイロセンサ１１０１で検出されてＡ／Ｄ変換された角速度データ（つまりジャイロセンサにより検出された情報）から、当該ジャイロセンサ１１０１におけるオフセット成分や温度ドリフト成分を除去する。ＬＰＦ１１０４は、ＨＰＦ１１０３によるオフセット成分や温度ドリフト成分の除去後の角速度データを積分し、角度データに変換する。この角度データは動画のフレーム間に撮像装置が動いたブレ量に相当し、またフレーム間における撮像装置のブレ量は静止画の画像間のブレ量、つまり静止画用評価値として扱うことができる情報であり、当該ブレ量（静止画用評価値）が判定部１１０に送られる。なお、この例ではジャイロセンサにより検出される角速度を基にブレ量を求める例を挙げたが、加速度センサの出力を基にブレ量を求める構成であってもよい。
【００７９】
第４の実施形態において、静止画評価値算出部１１０８によりフレームごとに算出されたブレ量の静止画用評価値は、動画評価値算出部１０９に送られる。動画評価値算出部１０９は、静止画評価値算出部１１０８にて算出された評価値に対し、前述同様の時系列処理を行って時間方向に平滑化することにより、動画用評価値を生成する。第４の実施形態の場合、動画評価値算出部１０９にて算出された動画用評価値は、カメラ制御部１１１へ送られる。そして、カメラ制御部１１１は、動画評価値であるブレ量に応じて光学系１０１や撮像部１０２のブレ補正機能を制御することで手ブレ補正を行う。
【００８０】
第４の実施形態の場合、判定部１１０は、静止画評価値算出部１１０８が算出した静止画用評価値（ブレ量）と、動画評価値算出部１０９が算出した動画用評価値（ブレ量）との差分（ブレ量の評価値差分）を算出する。
ここで、ブレ量の評価値差分が所定の閾値以上で大きい場合、例えば画像間で急激なシーン変動があったため、撮像装置が動かされたと考えられる。このため、第４の実施形態の場合の判定部１１０は、ＲＡＷ制御部１１２に対し、センサ信号処理部１０３から出力されたＲＡＷ画像をＲＡＷ圧縮部１１３へ送って、ＲＡＷ画像の圧縮を行わせるように指示する。これにより、ＲＡＷ圧縮部１１３で圧縮されたＲＡＷ画像のデータは記録媒体１０７に記録されることになる。第４の実施形態では、このようにブレ量の評価値差分が大きく、急激なシーン変動により撮像装置が動かされた可能性がある場合には、ＲＡＷ画像が記録されるようにし、シーン変動が生じた際の高品位な静止画を取得できるようにする。
【００８１】
一方、ブレ量の評価値差分が所定の閾値未満で小さければ、例えば急激なシーン変動などがなく、ブレ量についても動画と静止画とで同程度となると考えられる。このため、第４の実施形態の場合の判定部１１０は、ＲＡＷ制御部１１２に対し、センサ信号処理部１０３から出力されたＲＡＷ画像をＲＡＷ圧縮部１１３へ送らず、ＲＡＷ画像の圧縮を行わせないように指示する。これにより、ＲＡＷ画像は記録媒体１０７に記録されず、データ量を低減することができる。
【００８２】
以上説明したように、本発明に係る各実施形態の撮像装置は、記録動画だけでは高品質の静止画が得られないと推定される期間について、ＲＡＷ画像を記録、もしくは高フレームレート、高い解像度、低い圧縮率等のＲＡＷ画像を記録している。これにより、各実施形態の撮像装置によれば、後にＲＡＷ画像から高品位の静止画を取得可能となる。一方、各実施形態の撮像装置は、記録動画だけでも静止画の品質が確保されると推定できる期間について、ＲＡＷ画像を記録しない、もしくは低フレームレートや低解像度、高圧縮率等でＲＡＷ画像を記録する。これにより、各実施形態の撮像装置によれば、記録量を削減しつつ、後にＲＡＷ画像から品質の良い静止画を取得可能となる。
【００８３】
なお、前述した各実施形態に係る静止画評価算出部や動画評価算出部、判定部、ＲＡＷ制御部等は、ハードウェア構成だけでなく、各部に対応した処理をＣＰＵ等がプログラムを実行して実現するソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
【００８４】
また前述の実施形態では、撮像装置の一例としてデジタルカメラを想定しているが、例えばスマートフォンやタブレット端末等、工業用カメラ、車載カメラ、医療用カメラなど画像の撮像が可能な各種機器にも適用可能である。
【００８５】
本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８６】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８７】
１００：撮像装置、１０１：光学系、１０２：撮像部、１０３：センサ信号処理部、１０４：現像処理部、１０５：現像画像圧縮部、１０６：記録部、１０７：記録媒体、１０８：静止画評価値算出部、１０９：動画評価値算出部、１１０：判定部、１１１：カメラ制御部、１１２：ＲＡＷ制御部、１１３：ＲＡＷ圧縮部
【図１】
2020005093.tif 000003
【図２】
2020005093.tif 000004
【図３】
2020005093.tif 000005
【図４】
2020005093.tif 000006
【図５】
2020005093.tif 000007
【図６】
2020005093.tif 000008
【図７】
2020005093.tif 000009
【図８】
2020005093.tif 000010
【図９】
2020005093.tif 000011
【図１０】
2020005093.tif 000012
【図１１】
2020005093.tif 000013