(57)【要約】【課題】低解像度のＲＡＷ画像データを基に、高解像度のＲＡＷ画像データを記録媒体に記録可能な枚数または時間を推定することができる撮像装置を提供することである。【解決手段】撮像装置は、撮像手段と、前記撮像手段により撮影して得られた第一の解像度のＲＡＷ画像データ、または、前記撮像手段により撮影して得られた前記第一の解像度より低解像度の第二の解像度のＲＡＷ画像データを圧縮する圧縮手段と、前記圧縮手段による前記第二の解像度のＲＡＷ画像データの圧縮結果に基づいて、前記圧縮手段による前記第一の解像度のＲＡＷ画像データの圧縮後のデータサイズを推定し、記録媒体の空き容量と前記推定されたデータサイズとに基づいて、前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を推定する第一の残量推定手段と、を有する。【選択図】図６
2020010244.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により撮影して得られた第一の解像度のＲＡＷ画像データ、または、前記撮像手段により撮影して得られた前記第一の解像度より低解像度の第二の解像度のＲＡＷ画像データを圧縮する圧縮手段と、
前記圧縮手段による前記第二の解像度のＲＡＷ画像データの圧縮結果に基づいて、前記圧縮手段による前記第一の解像度のＲＡＷ画像データの圧縮後のデータサイズを推定し、記録媒体の空き容量と前記推定されたデータサイズとに基づいて、前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を推定する第一の残量推定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記第一の残量推定手段により推定された前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を、表示手段に表示させる表示制御手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記圧縮手段により圧縮された前記第一の解像度のＲＡＷ画像データを、前記記録媒体に記録する記録手段を有することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第二の解像度のＲＡＷ画像データに基づいて、表示手段にライブビュー画像を表示するように制御するライブビュー表示制御手段を有することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記第二の解像度のＲＡＷ画像データに基づいて、表示手段にライブビュー画像を表示するように制御するライブビュー表示制御手段と、
撮影指示に応じて、前記撮像手段により撮影して得られた前記第一の解像度のＲＡＷ画像データを前記圧縮手段により圧縮し、前記圧縮された前記第一の解像度のＲＡＷ画像データを前記記録手段により前記記録媒体に記録するように制御する撮影制御手段とを有し、
前記第一の残量推定手段は、前記撮影指示を受け付ける前に、前記表示手段にライブビュー画像を表示するために生成された前記第二の解像度のＲＡＷ画像データを、前記圧縮手段により圧縮された圧縮結果に基づいて、前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を推定することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記圧縮手段は、同じ圧縮方式により、前記第一の解像度のＲＡＷ画像データ、または、前記第二の解像度のＲＡＷ画像データを圧縮することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記圧縮手段は、フレーム間圧縮方式ではない圧縮方式を用いて、前記第一の解像度のＲＡＷ画像データ、または、前記第二の解像度のＲＡＷ画像データを圧縮することを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記撮像手段によりＲＡＷ画像データを連写撮影するＲＡＷ連写撮影モードと、前記撮像手段によりＲＡＷ画像データを１枚撮影するＲＡＷ撮影モードとを有し、
前記ＲＡＷ連写撮影モードの場合は、前記第一の残量推定手段により推定された枚数または記録時間を表示手段に表示するように制御し、前記ＲＡＷ撮影モードの場合は、前記第一の残量推定手段による推定は行わない、または、前記第一の残量推定手段により推定された枚数または記録時間を前記表示手段に表示しないように制御する制御手段を有することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像手段によりＲＡＷ画像データを連写撮影するＲＡＷ連写撮影モードと、前記ＲＡＷ連写撮影モードよりも高速でＲＡＷ画像データを連続撮影するＲＡＷ高速連写撮影モードとを有し、
前記ＲＡＷ高速連写撮影モードの場合は、前記第一の残量推定手段により推定された枚数または記録時間を表示手段に表示するように制御し、前記ＲＡＷ連写撮影モードの場合は、前記第一の残量推定手段による推定は行わない、または、記第一の残量推定手段により推定された枚数または記録時間を前記表示手段に表示しないように制御する制御手段を有することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項１０】
前記記録媒体の空き容量と予め決められたデータサイズとに基づいて、前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を推定する第二の残量推定手段と、
前記記録媒体の空き容量に応じて、前記第一の残量推定手段と第二の残量推定手段のうち、どちらかで推定された前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を、前記記録媒体の残量として出力するかを切り替える制御手段と、を有することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記記録媒体の空き容量と撮影パラメータとに基づいて、前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を推定する第二の残量推定手段と、
前記記録媒体の空き容量に応じて、前記第一の残量推定手段と第二の残量推定手段のうち、どちらかで推定された前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を、前記記録媒体の残量として出力するかを切り替える制御手段と、を有することを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１２】
前記撮影パラメータは、画像サイズであることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記制御手段は、前記記録媒体の空き容量が所定の容量よりも大きい場合には、前記第二の推定手段により推定された枚数または記録時間を前記記録媒体の残量として出力し、前記記録媒体の空き容量が前記所定の容量より小さい場合は、前記第一の推定手段により推定された枚数または記録時間を前記記録媒体の残量として出力するように制御することを特徴とする請求項１０〜１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記制御手段は、前記第二の推定手段により推定された枚数または記録時間よりも、前記第一の推定手段により推定された枚数または記録時間の方が大きい場合は、前記記録媒体の空き容量が前記所定の容量より小さい場合であっても、記第二の推定手段により推定された枚数または記録時間を前記記録媒体の残量として出力するように制御することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
撮像手段により撮影して得られた第一の解像度のＲＡＷ画像データ、または、前記撮像手段により撮影して得られた前記第一の解像度より低解像度の第二の解像度のＲＡＷ画像データを圧縮する圧縮ステップと、
前記圧縮ステップによる前記第二の解像度のＲＡＷ画像データの圧縮結果に基づいて、前記圧縮ステップによる前記第一の解像度のＲＡＷ画像データの圧縮後のデータサイズを推定し、記録媒体の空き容量と前記推定されたデータサイズとに基づいて、前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を推定する第一の残量推定ステップと、を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
撮像装置は、撮像素子の画素数が増加し、画像１枚あたりのデータ量が大幅に増加してきている。そのため、あらかじめ画像サイズに応じた固定サイズを用いて記憶媒体の空き容量を見積もる方法が知られている。また、読み出し動作の高速化などにより、１秒間に連写できる画像の枚数も増える傾向にある。そのため、デモザイク処理や、ノイズ除去、光学歪補正など、ＲＡＷ画像に対する現像処理を構成する個々の処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うには、回路規模や消費電力の大きなプロセッサが必要になっている。そして、処理能力や消費電力に占める現像処理の割合が高くなることで、撮影を含めた他の処理が制限を受ける場合も起こり得る。
【０００３】
特許文献１には、ＲＡＷ画像を現像せずに記録する構成が開示されている。このような構成であれば、撮影時の現像に係る処理量を軽減することができる。しかし、未現像状態で記録されるため、画像を速やかに再生表示することが困難である。また、ＲＡＷ画像のデータ形式は、メーカや機種によって異なるため、撮影した機器と別の機器では現像や再生ができるとは限らず、ユーザの利便性を損なうことがある。
【０００４】
このような課題を緩和する方法として、撮影時にはリアルタイムの現像処理を行わずにＲＡＷ画像を記録しておき、記録後、処理負荷に余裕のある際に現像処理を行い、現像処理された輝度信号および色差信号を圧縮符号化する方法が考えられる。しかし、記録媒体の残量が少なくなっている場合、圧縮符号化したデータを記録媒体に書き込むことができなくなる懸念がある。
【０００５】
特許文献２には、ＲＡＷ画像を現像して圧縮符号化したデータのサイズが分からない場合であっても、高速に現像処理を行う回路を必要とせずに、かつ、必要な際には容易に再生可能にＲＡＷ画像を記録することが可能な撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２４４４２３号公報
【特許文献２】特開２０１６−００５１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
近年の信号処理技術の向上により、ＲＡＷ画像を高速に連写可能となっている。このような高速連写は、無限に継続するものではなく、バッファにため込んだ分が上限であるため、一度の連写時間は２〜５秒といった状況にある。このような状況において、特許文献２は、ＲＡＷ画像を取得してから残容量を推測するため、バッファに蓄積したＲＡＷ画像を記録媒体に書き込むことができなくなる懸念がある。
【０００８】
一方で、ミラーレス１眼カメラに代表される撮像装置では、ライブビュー（ＬＶ）画像を常に取得し続けて電子ビューファインダ（ＥＶＦ）画面に表示し続ける構成となっている。１眼レフカメラにおいても、ＬＶ画像をＥＶＦ画面に表示し続ける機能を備えた撮像装置が一般的である。これらの撮像装置で得られるＬＶ画像は、ＲＡＷ画像よりも低解像度であり、ＩＳＯ値もＲＡＷ画像と異なる。特許文献２では、撮影で取得するＲＡＷ画像をもとに空き容量を計算するため、実際に撮影動作をしなければ正確な記憶媒体の空き容量を見積もることができない。
【０００９】
本発明の目的は、低解像度のＲＡＷ画像データを基に、高解像度のＲＡＷ画像データを記録媒体に記録可能な枚数または時間を推定することができる撮像装置および撮像装置の制御方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、撮像手段と、前記撮像手段により撮影して得られた第一の解像度のＲＡＷ画像データ、または、前記撮像手段により撮影して得られた前記第一の解像度より低解像度の第二の解像度のＲＡＷ画像データを圧縮する圧縮手段と、前記圧縮手段による前記第二の解像度のＲＡＷ画像データの圧縮結果に基づいて、前記圧縮手段による前記第一の解像度のＲＡＷ画像データの圧縮後のデータサイズを推定し、記録媒体の空き容量と前記推定されたデータサイズとに基づいて、前記記録媒体に記録可能な圧縮された前記第一の解像度のＲＡＷ画像データの枚数または記録時間を推定する第一の残量推定手段と、を有する。
【発明の効果】
【００１１】
本発明によれば、低解像度のＲＡＷ画像データを基に、高解像度のＲＡＷ画像データを記録媒体に記録可能な枚数または時間を推定することができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成例を示すブロック図である。
【図２】撮像センサ部における画素配列の例を示す図である。
【図３】静止画撮影モードの動作を説明するためのフローチャートである。
【図４】静止画ファイルとＲＡＷファイルの構成例を示す図である。
【図５】アイドル状態の動作を説明するためのフローチャートである。
【図６】待機状態の動作を説明するためのフローチャートである。
【図７】画像データサイズの関係例を示す図である。
【図８】ＩＳＯ感度とオフセットの関係例を示す図である。
【図９】待機状態の動作を説明するためのフローチャートである。
【図１０】画像サイズとデータサイズの関係例を示す図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る撮像装置１００の機能構成例を示すブロック図である。これらの機能ブロックは、ＡＳＩＣなどの専用ハードウェアによって実現されてもよいし、ＭＰＵ等の汎用プロセッサがプログラムを実行することによりソフトウェア的に実現されてもよい。
【００１４】
撮像装置１００は、被写体像を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本実施形態に係る撮像装置１００は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することもできる。また、撮像装置１００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
【００１５】
制御部１６１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサと、プログラマブルプロセッサが実行する制御プログラムを格納する不揮発性メモリを含み、撮像装置１００の全体の処理を制御する。なお、図１では、煩雑さを避けるために一部しか記載していないが、制御や通信を行うための信号線が制御部１６１から各機能ブロックに接続されている。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２は、操作信号を出力する。制御部１６１は、操作部１６２の操作信号を検出し、その検出した操作信号に応じた動作が実行されるように、他の機能ブロックなどを制御する。表示部１２３は、表示処理部１２２を通じて提供される、撮像装置１００で撮影もしくは再生された画像や、メニュー画面、各種情報等を表示する。表示部１２３は、例えば液晶ディスプレイ（ＬＣＤ）等を含む。
【００１６】
撮像対象となる被写体像は、撮像光学部１０１を介して撮像センサ部１０２上に結像する。制御部１６１は、操作部１６２による撮影開始の指示に応答して、撮影および記録動作を開始させる。なお、制御部１６１は、撮影スタンバイ時にライブビュー表示を実現するための動画撮影を行うように制御してもよい。カメラ制御部１０４は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１からの被写体情報に基づいて、撮像光学部１０１と撮像センサ部１０２の動作を制御する。
【００１７】
撮像センサ部１０２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルタを透過した光を電気信号に変換する。図２は、撮像センサ部１０２に配置されるカラーフィルタの一例であり、撮像装置１００が扱う画像の画素配列を表している。図２に示すように、赤（Ｒ）２０３、緑（Ｇ）２０１、青（Ｂ）２０２が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このようなカラーフィルタの配列は、一般に原色ベイヤ配列と呼ばれる。撮像センサ部１０２は、横８０００画素×縦４０００画素の画像データを６０フレーム毎秒で出力する能力を有する。なお、カラーフィルタを構成する色や配列は、原色ベイヤ配列に限定されず、他の任意の配列を採用することができる。
【００１８】
センサ信号処理部１０３は、撮像センサ部１０２によって変換された電気信号に対して、画素の修復処理を施す。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像データを、未現像の画像を意味するＲＡＷ画像データという。
【００１９】
現像部１１０は、センサ信号処理部１０３から出力されたＲＡＷ画像データに対して、現像処理する。現像部１１０は、複数（本実施形態では２つ）の異なる現像部１１１および１１２を有する。現像部１１１および１１２は、それぞれ、処理精度と処理負荷の優先度が異なっている。現像部１１０は、第１の現像処理を行う簡易現像部１１１と、第２の現像処理を行う高画質現像部１１２と、それらの出力を選択するスイッチ部１２１とを有する。簡易現像部１１１と高画質現像部１１２は共に、ＲＡＷ画像データに対して、デベイヤ処理（デモザイク処理もしくは色補間処理とも呼ばれる）、ホワイトバランス調整、ＲＧＢ→ＹＵＶ変換、ノイズ低減、光学歪の補正などの現像処理を行う。なお、これらは現像処理に含まれる処理の例示であり、これらの全てが現像処理に必須であることを意味しない。他の処理が含まれてもよいし、一部が含まれなくてもよい。
【００２０】
高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高画質現像部１１２は、高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像部１１２の高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。
【００２１】
簡易現像部１１１は、高画質現像部１１２よりも処理の精度が低いため、得られる画質が高画質現像部１１２よりも低いものの、撮影中に高速に現像処理を行うことができる。例えば、簡易現像部１１１は、デベイヤ処理やその他の補正処理のために用いるフィルタのタップ数が、高画質現像部１１２よりも少ない。このように、簡易現像部１１１は、ＲＡＷ画像データよりも画素数が少ない画像データを処理し、更に、処理自体も簡易的に行うことで、処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。
【００２２】
なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成としてもよい。また、複数の現像部は、互いに処理負荷が異なればよく、処理する画像のサイズと処理精度の両方を下げることは必須ではない。例えば、処理する画素数は同一であるが、処理精度が異なっている現像部や、処理精度は同一であるが処理する画素数が異なっている現像部が含まれていてもよい。ただし、撮影された画像の現像処理が、次の画像の撮影開始までに完了できる現像部が少なくとも１つ含まれるようにする。
【００２３】
なお、図１では、センサ信号処理部１０３からのＲＡＷ画像データが現像部１１０の中の簡易現像部１１１と高画質現像部１１２に入力されるように図示しているが、これは同一のＲＡＷ画像データに対して両方の現像部で現像処理を行うことを意味していない。処理負荷の観点から、基本的には１つの現像部だけが現像処理を実行する。従って、ＲＡＷ画像データが入力される現像部を切り替えるようにスイッチ部１２１が設けられても良い。
【００２４】
表示処理部１２２は、表示制御部であり、現像部１１０によって現像処理された画像データに対して、所定の処理を行った後、表示部１２３に表示する。また、映像出力端子１２４は、現像部１１０によって現像処理された画像データを、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。
【００２５】
現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、画像データから例えばフォーカス状態や露出状態などの評価値を算出する。これらの評価値は、例えばカメラ制御部１０４による自動焦点検出や自動露出制御に用いられる。
【００２６】
現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像データ中の被写体情報を検出および認識する機能を有する。認識部１３１は、例えば、画像データによって表される画像に含まれる人物の顔を検出し、検出された場合は顔の位置や大きさなどを示す情報を出力する。認識部１３１は、さらに顔などの特徴情報に基づいて特定の人物の認証などを行ってもよい。
【００２７】
現像部１１０によって現像処理された画像データは、静止画圧縮部１４１および動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。符号化手段としての静止画圧縮部１４１は、ＪＰＥＧ等の公知の符号化方式に従い静止画データを符号化する。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。動画圧縮部１４２は、Ｈ．２６４、Ｈ．２６５等の公知の符号化方式に従って動画データを符号化する。静止画圧縮部１４１と動画圧縮部１４２は、それぞれ、対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成する。また、静止画圧縮部１４１と動画圧縮部１４２は、符号化された静止画データ、或いは動画データのデータサイズを記録媒体管理部１７２へと通知する。
【００２８】
ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像データに対して、ウエーブレット変換や、差分符号化等を適用し、データ量を削減した圧縮ＲＡＷ画像データを生成する。ＲＡＷ圧縮部１１３は、圧縮ＲＡＷ画像データをバッファ部１１５に格納する。バッファ部１１５は、メモリやＨＤＤなど、任意の記憶装置であってよい。また、ＲＡＷ圧縮部１１３は、圧縮ＲＡＷ画像データのデータサイズを記録媒体管理部１７２へと通知する。圧縮ＲＡＷ画像データは、バッファ部１１５に保存しておいてもよいし、格納後にさらに別の記録媒体に移動させてバッファ部１１５から削除してもよい。
【００２９】
また、ＲＡＷ圧縮部１１３は、低解像度のライブビュー画像データを圧縮することにより、圧縮ライブビュー画像データを生成し、圧縮ライブビュー画像データサイズをサイズ見積もり部１７１に通知する。サイズ見積もり部１７１は、高解像度の圧縮ＲＡＷ画像データのデータサイズを推定する。サイズ見積もり部１７１は、推定したデータサイズを記録媒体管理部１７２へと通知する。また、サイズ見積もり部１７１は、推定したデータサイズを例えばバッファ部１１５に保持させておくことができる。サイズ見積もり部１７１の動作の詳細については後述する。
【００３０】
記録再生部１５１は、静止画圧縮部１４１からの圧縮された静止画データまたは動画圧縮部１４２からの圧縮された動画データを静止画ファイルまたは動画ファイルとして記録媒体１５２に記録する。また、記録再生部１５１は、バッファ部１１５から読み出した圧縮ＲＡＷ画像データの状態の静止画および動画を、ＲＡＷファイルとして記録媒体１５２に記録する。また、記録再生部１５１は、記録媒体１５２に記録されたデータを、ＦＡＴ等の公知のファイルシステムに従いファイルとして管理する。記録媒体１５２は、例えば内蔵式の大容量メモリやハードディスク、または、着脱式のメモリカード等である。また、記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイル（静止画、動画）を読み出すこともできる。また、記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに対して、各種データファイルを書き込んだり、読み出したりすることができる。通信部１５３は、通信端子１５４を通じ、無線通信や有線通信によりコンピュータネットワークや外部機器へのアクセスを撮像装置１００に提供する。
【００３１】
記録媒体管理部１７２は、記録再生部１５１により記録媒体１５２に記録されるファイルの記録領域を管理する管理情報を生成する。記録媒体管理部１７２は、ＲＡＷ圧縮部１１３からの圧縮ＲＡＷ画像データのデータサイズ、静止画圧縮部１４１からの符号化された静止画データのデータサイズ、または動画圧縮部１４２からの符号化された動画データのデータサイズを入力する。さらに、記録媒体管理部１７２は、サイズ見積もり部１７１からの推定データサイズを入力し、それらを用いて管理情報を更新し、記録媒体１５２の記録領域を管理する。そして、記録媒体管理部１７２は、記録媒体１５２における、各ファイルの記録アドレスを記録再生部１５１へと通知する。
【００３２】
残量算出部１８１は、残量推定部であり、記録媒体管理部１７２によって管理情報が更新されると、記録再生部１５１を通じて記録媒体１５２の管理情報を読み出し、記録媒体１５２の空き容量を用いて、記録可能枚数または記録可能時間を推定する。そして、残量算出部１８１は、推定した記録可能枚数または記録可能時間を表示処理部１２２へ通知する。残量算出部の処理の詳細については後述する。表示処理部１２２は、残量算出部１８１より通知された記録可能枚数または記録可能時間を表す画像を、ライブビュー画像等に重畳し、表示部１２３に表示させる。
【００３３】
記録再生部１５１は、記録媒体１５２から、または、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。
【００３４】
ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読み出して、圧縮ＲＡＷ画像データを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷ画像データは、現像部１１０の簡易現像部１１１と高画質現像部１１２に供給される。
【００３５】
静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。表示処理部１２２は、静止画や動画を処理し、表示部１２３に表示する。
【００３６】
図３は、撮像装置１００の静止画撮影モードの動作を説明するためのフローチャートである。図３のフローチャートは、特に明示されている場合を除き、図１に示した機能ブロックを制御部１６１が制御することで実現される処理の手順を示す。具体的には、制御部１６１が有する不揮発性メモリに格納されたプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される処理である。
【００３７】
ステップＳ３０１では、制御部１６１は、アイドル条件として、撮像装置１００の処理負荷が閾値より低いか否かを判定する。制御部１６１は、撮像装置１００の処理負荷が閾値より低い場合には、ステップＳ３２０に進み、アイドル状態に遷移する。また、制御部１６１は、撮像装置１００の処理負荷が閾値より低くない場合には、ステップＳ３０２に進む。処理負荷は、制御部１６１が有するＣＰＵの稼働率や、予め定められた高負荷の動作、例えば高速連写動作が行われているかどうかなどに応じて判別することができるが、これらに限定されない。アイドル状態に遷移する程度に処理負荷が低くない場合、制御部１６１は処理をステップＳ３０２へ進める。なお、アイドル状態へ遷移するかどうかの判定処理については後述する。
【００３８】
ステップＳ３０２では、カメラ制御部１０４は、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、カメラ制御部１０４は、操作部１６２を通じたユーザのズーム指示や撮影準備指示に従って、撮像光学部１０１に含まれるズームレンズやフォーカスレンズを移動させたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域を設定したりする。また、カメラ制御部１０４は、評価値算出部１０５からの評価値の情報や認識部１３１からの被写体情報に基づいて、特定被写体に対する合焦や追尾などの制御を実現する。ステップＳ３０２では、所定のフレーム周期に応じた撮影条件で撮影が実施される。
【００３９】
ステップＳ３０３では、センサ信号処理部１０３は、撮像センサ部１０２によって変換された電気信号に対して、画素の修復のための信号処理を施す。例えば、センサ信号処理部１０３は、撮像センサ部１０２の撮像素子の欠落画素に対応する電気信号や、信頼性の低い画素の電気信号に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、ステップＳ３０３の処理を終えて、センサ信号処理部１０３から出力される画像データを、ＲＡＷ画像データと呼ぶ。
【００４０】
ステップＳ３０４では、カメラ制御部１０４は、撮像センサ部１０２からライブビュー用の間引き読み出しを行い、撮像センサ部１０２は、センサ信号処理部１０３を介して、ライブビュー画像データを簡易現像部１１１に出力する。ライブビュー画像データは、低解像度のＲＡＷ画像データである。簡易現像部１１１は、ライブビュー画像データを現像処理する。なお、制御部１６１は、遅くともステップＳ３０４の開始時までに、現像部１１０から簡易現像部１１１で現像処理された画像データが出力されるように、スイッチ部１２１の状態を制御する。
【００４１】
簡易現像部１１１は、ライブビュー画像データに対して、デベイヤ処理（デモザイク処理）して各画素に不足している色信号を生成した後、輝度と色差から成る信号へ変換する（ＲＧＢ→ＹＵＶ変換）。さらに、簡易現像部１１１は、各信号に含まれるノイズを除去したり、撮影光学部１０１の光学歪（収差）を補正したり、ホワイトバランスを調整したりする。上述の通り、簡易現像部１１１は、画素数を削減してから現像処理したり、ノイズ除去や光学歪補正を処理速度を優先した処理で行ったり省いたりすることで、現像処理の負荷（処理速度や消費電力）が撮像装置１００の撮影能力に与える制限を軽減または除去する。簡易現像部１１１を用いることで、例えば、高画質現像部１１２を用いた場合には不可能な高速連写速度や連続撮影枚数などを実現することができる。
【００４２】
ステップＳ３０５では、評価値算出部１０５は、スイッチ部１２１を通じて、簡易現像部１１１で現像処理された画像データを入力する。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などから撮像光学部１０１の合焦状態や、画像の露出状態などの評価値を所定の方法で算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データに対してこれらの評価値を算出しても良い。
【００４３】
ステップＳ３０６では、認識部１３１は、スイッチ部１２１を通じて、簡易現像部１１１で現像処理された画像データを入力する。認識部１３１は、画像データに対し、予め定められた特定の特徴を有する被写体（例えば人物の顔）の検出処理を適用し、被写体情報を生成する。例えば、認識部１３１は、画像データ内における顔の有無や、顔の位置や大きさ、顔に基づいて認識された個人の情報などを被写体情報として出力する。
【００４４】
ステップＳ３０７では、表示処理部１２２は、スイッチ部１２１を通じて、簡易現像部１１１で現像処理されたライブビュー画像データを入力する。表示処理部１２２は、取得したライブビュー画像データから表示画像を形成し、表示部１２３または映像出力端子１２４を通じて外部の表示装置に出力して、表示する。表示処理部１２２は、ライブビュー表示制御部である。表示部１２３による表示画像は、例えば、撮影待機状態において、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられるライブビュー画像である。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される評価値や被写体情報を活用して、例えば、表示画像に合焦領域や認識された顔の位置を示す枠状のマークを重畳表示したりしてもよい。
【００４５】
ステップＳ３０８では、制御部１６１は、操作部１６２を通じて、ユーザから撮影指示が入力されたか否かを判定する。制御部１６１は、撮影指示が入力された場合には、ステップＳ３１２に進み、撮影指示が入力されていない場合には、ステップＳ３３０に進み、待機状態へ遷移する。
【００４６】
ステップＳ３１２では、カメラ制御部１０４は、撮影指示に応答して、撮像光学部１０１と撮像センサ部１０２を制御して所定の撮影条件での撮影を開始させる。ここでは、静止画撮影時の動作を説明する。カメラ制御部１０４は、撮像センサ部１０２から通常読み出しを行い、撮像センサ部１０２は、センサ信号処理部１０３を介して、高解像度のＲＡＷ画像データ７０２（図７（ａ））をＲＡＷ圧縮部１１３に出力する。ＲＡＷ圧縮部１１３は、センサ信号処理部１０３を通じて、撮像センサ部１０２により撮影して得られた１画面分のＲＡＷ画像データを入力する。ＲＡＷ圧縮部１１３は、ＲＡＷ画像データに対して、データ量を削減するための符号化（ＲＡＷ圧縮）処理を適用して圧縮ＲＡＷ画像データに変換する。圧縮ＲＡＷ画像データは、バッファ部１１５に格納される。なお、ＲＡＷ画像データの符号化は、可逆および不可逆符号化のいずれであってもよい。本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。
【００４７】
ステップＳ３１３では、記録再生部１５１は、バッファ部１１５から圧縮ＲＡＷ画像データを読み出し、圧縮ＲＡＷ画像データが格納されたＲＡＷファイルを記録媒体１５２に記録する。以降、撮像装置１００は、ステップＳ３０１からの処理を繰り返す。
【００４８】
なお、ステップＳ３１３において、記録再生部１５１は、ＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。制御部１６１は、撮影制御部として、ステップＳ３１２およびＳ３１２の処理を制御する。
【００４９】
なお、ここでは、ステップＳ３０８で、静止画の撮影指示がなされた場合について説明したが、動画の撮影指示がなされた場合も基本的には同様に処理できる。まず、ステップＳ３０１〜Ｓ３０７の処理は、共通である。そして、ステップＳ３１２〜Ｓ３１３では、撮像装置１００は、ＲＡＷ動画像データの圧縮および記録処理を実施する。ＲＡＷ動画像データについては、ステップＳ３１２で各ＲＡＷ画像フレームを圧縮したデータを、ステップＳ３１３でバッファ部１１５を通じて記録再生部１５１が記録する。
【００５０】
図４（ａ）は、静止画ファイル４００の構造例を示す図である。静止画ファイル４００は、静止画圧縮部１４１により圧縮された静止画データのファイルである。静止画ファイル４００は、ヘッダ部４０１と、メタデータ部４０２と、圧縮データ部４０３とを有する。ヘッダ部４０１には、このファイルが静止画ファイルであることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれている。
【００５１】
メタデータ部４０２には、この静止画ファイル４００に対応するＲＡＷファイル（圧縮データ部４０３に格納される静止画データの元になっているＲＡＷデータが格納されたファイル）を特定する情報（例えばファイル名）４０４が含まれる。また、メタデータ部４０２には、現像ステータス４０５と、撮影メタデータ４０６が含まれる。現像ステータス４０５は、この静止画ファイル４００に格納されている圧縮データが簡易現像されたものかどうかを判別するための情報である。また、撮影メタデータ４０６は、評価値算出部１０５や認識部１３１が求めた評価値や被写体情報や、撮像光学部１０１や撮像センサ部１０２の撮影時情報（例えば、絞り値、シャッタ速度、感度、レンズ種別識別情報、センサ種別識別情報など）を含む。また、図示していないが、メタデータ部４０２は、静止画ファイル４００に対応するＲＡＷファイルが記録されている記録媒体の識別コードや、記録先のパス情報などをさらに含んでも良い。メタデータ部４０２は、記録媒体管理部１７２から記録再生部１５１に送られて記録される。
【００５２】
以上説明したように、本実施形態に係る撮像装置１００は、ライブビュー表示や、撮影開始指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。また、本実施形態に係る撮像装置１００は、撮影開始指示に応答して、ＲＡＷファイルを記録する。ＲＡＷファイルを記録するために、現像処理は必要としない。
【００５３】
図４（ｂ）は、ＲＡＷファイル４１０の構造例を示す図である。ＲＡＷファイル４１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル４１０は、ヘッダ部４１１と、メタデータ部４１２と、圧縮データ部４１３とを有する。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された静止画の圧縮ＲＡＷ画像データが含まれている。
【００５４】
メタデータ部４１２には、このＲＡＷファイル４１０に対応する静止画ファイルを特定する情報（例えばファイル名）４１４が含まれる。また、メタデータ部４１２には、このＲＡＷファイル４１０に対応する静止画ファイルに格納されている圧縮データが簡易現像されたものかどうかを判別するための現像ステータス４１５も含まれる。また、メタデータ部４１２には、撮影メタデータ４０６と同様の撮影メタデータ４１６が含まれる。
【００５５】
また、メタデータ部４１２は、図示していないが、このＲＡＷファイル４１０に対応する静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いは、このＲＡＷファイル４１０に対応する静止画ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。メタデータ部４１２は、記録媒体管理部１７２から記録再生部１５１に送られて記録される。
【００５６】
なお、図４（ａ）および（ｂ）に示し、ここで説明したファイル構造は一例であり、ＥＸＩＦなど他の標準規格に準じた構成であっても良い。また、記録媒体１５２へのファイル記録は例えばＤＣＦに従ったファイルシステムで行うことができる。
【００５７】
次に、本実施形態における後現像処理の処理について説明する。後現像処理は、撮影時におけるＲＡＷ画像データと簡易静止画／動画データの記録動作を終えた後、ＲＡＷ画像データから高画質静止画／動画データを生成する処理である。具体的には、まず、高画質現像部１１２は、記録再生部１５１等を通じて、バッファ部１１５または記録媒体１５２等に記録されたＲＡＷ画像データを読み出して、現像処理する。そして、静止画圧縮部１４１または動画圧縮部１４２は、高画質現像部１１２により現像処理された画像データに対して、高画質な符号化を行い、高画質な符号化画像データ（第２の符号化画像データ）を生成する。本実施形態では、静止画および動画のＲＡＷ画像データに対して後現像処理が可能であるが、以下では静止画を例に説明する。
【００５８】
前述のように、簡易静止画データは、簡易現像部１１１で現像処理した後に圧縮されたものであるため、高画質現像部１１２で現像処理した場合と比較して画素数が少なかったり、画質が劣る。簡易静止画データは、撮影内容を撮影直後に大まかに確認したり、撮像装置１００の表示部１２３のように画素数の少ない表示装置に表示したりするには十分な品質であっても、画像の細部を確認したり、プリントアウトしたりするには品質が十分でない場合がある。
【００５９】
もちろん、ユーザがＲＡＷ画像データの高画質な現像処理を必要に応じて指示してもよいが、手間や時間がかかる。そのため、本実施形態では、撮像装置１００がアイドル状態である際に、後現像処理を自動的に実行するものとする。アイドル状態とは、ステップＳ３０１のように、撮影スタンバイ時、静止画再生時の待機状態、スリープ状態など、撮像装置１００の処理負荷が閾値より低いと判定される状態である。なお、自動的に実施するだけでなく、ユーザからの指示によって後現像処理を開始してもよい。
【００６０】
撮像装置１００がアイドル状態かどうかの判定方法に特に制限は無く、一般的な処理負荷の測定方法をはじめとした任意の判定方法を用いることができる。例えば、制御部１６１が有するＣＰＵの稼働率が予め定めた閾値未満かどうかや、予め定められた高負荷の動作、例えば高速連写動作、記録・再生処理が行われているかどうかなどに応じて判別することができる。あるいは、基本的に負荷の低い処理しか発生しない動作モードが選択されていれば、無条件にアイドル状態とみなしてもよい。
【００６１】
図５は、撮像装置１００のアイドル状態の動作を説明するためのフローチャートであり、図３のステップＳ３２０で実施するアイドル処理を示す。なお、アイドル処理は、静止画撮影モードだけでなく、他の動作モードにおいてアイドル状態と判定された場合にも実行される。
【００６２】
ステップＳ５０１では、制御部１６１は、ユーザの設定に基づいて、後現像処理を行うか否かを判定する。制御部１６１は、後現像処理を行わない場合には、アイドル処理を終了して元の処理に復帰し、後現像処理を行う場合には、ステップＳ５２０に進む。
【００６３】
ステップＳ５２０では、制御部１６１は、記録媒体１５２に記録されている各ＲＡＷファイルについて、後現像処理により高画質静止画ファイルが記録されているか否か（後現像処理済みか否か）を判定する。例えば、制御部１６１は、ＲＡＷファイル４１０の中の現像ステータス４１５を参照し、ＲＡＷファイル４１０に対応する静止画ファイルが簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイルの後現像処理が行われていないと判定する。あるいは、制御部１６１は、ＲＡＷファイル４１０のメタデータ部４１２に含まれる静止画ファイル名４１４を有する静止画ファイルを記録媒体１５２内で探索する。これは、静止画撮影モードで撮影されていれば、記録媒体１５２には、１回の撮影開始指示に対して静止画ファイルとＲＡＷファイルが互いに関連付けられて１つずつ記録されていることに基づく。そして、制御部１６１は、見つかった静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５を参照し、簡易現像部１１１で処理されたことを示す情報が含まれていればＲＡＷファイル４１０の後現像処理が行われていないと判定する。あるいは、制御部１６１は、一連の静止画に対し、後現像処理の実行有無を示すテーブルを別に用意しておき、このテーブルを参照して判定するようにしても良い。
【００６４】
制御部１６１は、記録媒体１５２に記録されたＲＡＷファイル４１０の全てが後現像処理済みである場合には、アイドル処理を終了して元の処理に復帰する。一方、制御部１６１は、記録媒体１５２に記録されているＲＡＷファイル４１０の中に後現像処理が行われていないものが存在した場合には、ステップＳ５２１に進む。
【００６５】
ステップＳ５２１では、制御部１６１は、記録媒体１５２に記録されている、後現像処理が行われていないＲＡＷファイルに対応する圧縮ＲＡＷ画像データが、バッファ部１１５にも記憶されているか否かを判定する。制御部１６１は、ＲＡＷファイルがバッファ部１１５に記憶されていない場合には、ステップＳ５２２に進み、ＲＡＷファイルがバッファ部１１５に記憶されている場合には、ステップＳ５２３に進む。
【００６６】
バッファ部１１５には、直近に撮影されたものから予め定められた数のＲＡＷファイルが保持されている。そのため、制御部１６１は、後現像処理を行うＲＡＷファイルが、記録媒体１５２に記録されているＲＡＷファイルのうち、直近に撮影されたものから予め定められた数に含まれていれば、バッファ部１１５に記憶されていることが分かる。なお、制御部１６１は、記録再生部１５１から記録時のＲＡＷファイルの情報を取得し、バッファ部１１５に記憶されているＲＡＷファイルと、記録媒体１５２に記録されているＲＡＷファイルとの対応関係を保存しておいてもよい。
【００６７】
なお、制御部１６１は、後現像処理が行われておらず、バッファ部１１５にないＲＡＷファイルが複数ある場合、これらのＲＡＷファイルを１つずつ読み出して後現像処理を行ってもよい。あるいは、制御部１６１は、バッファ部１１５に記憶可能な範囲で任意の数のＲＡＷファイルをまとめて読み出してもよい。
【００６８】
制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出す場合、古いものから順に読み出してバッファ部１１５に格納する。そして、制御部１６１は、バッファ部１１５の記憶領域が一杯になった場合、最も古い圧縮ＲＡＷ画像データをバッファ部１１５から削除し、新たに撮影、あるいは、記録媒体１５２から読み出された圧縮ＲＡＷ画像データをバッファ部１１５に格納する。こうすることにより、直前に撮影された圧縮ＲＡＷ画像データは、常にバッファ部１１５に保持されているので、ステップＳ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、後現像処理を実行するようにすれば、バッファ部１１５に保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。
【００６９】
ステップＳ５２２では、制御部１６１は、記録媒体１５２からＲＡＷファイルを読み出してバッファ部１１５に格納し、ステップＳ５２３に進む。ステップＳ５２３では、制御部１６１は、バッファ部１１５に格納されている後現像処理する圧縮ＲＡＷ画像データをＲＡＷ伸張部１１４に供給する。ＲＡＷ伸張部１１４は、バッファ部１１５に圧縮ＲＡＷ画像データが格納されている場合には、その圧縮ＲＡＷ画像データを伸張処理してＲＡＷ画像データを復元して出力する。一方、ＲＡＷ伸張部１１４は、バッファ部１１５にＲＡＷ画像データが格納されている場合には、そのＲＡＷ画像データをそのまま出力する。ＲＡＷ圧縮部１１３が、圧縮時に例えば圧縮ＲＡＷ画像データの先頭に識別可能な情報を記録しておくことなどによって、ＲＡＷ伸張部１１４は、圧縮ＲＡＷ画像データおよびＲＡＷ画像データのいずれであるのかを判定することができる。
【００７０】
ステップＳ５２４では、現像部１１０は、ＲＡＷ伸張部１１４が出力したＲＡＷ画像データを入力する。制御部１６１は、後現像処理時には、高画質現像部１１２で現像処理を行い、簡易現像部１１１では現像処理しないように、現像部１１０を制御する。高画質現像部１１２は、ＲＡＷ画像データに対して、簡易現像部１１１よりも高画質の画像が得られる現像処理を適用する。本実施形態では、高画質現像部１１２は、ＲＡＷ画像データの画素数を削減せず、適用する現像処理の品質（精度や工程の数など）も簡易現像部１１１より高くする。なお、高画質現像部１１２は、簡易現像部１１１よりも高品質の画像が得られる画像処理を行いさえすれば、その具体的な現像処理の内容に制限は無い。例えば、高画質現像部１１２は、簡易現像部１１１に対して、現像処理の内容を同等とし、画像の画素数を多くしてもよいし、画像の画素数を同様に削減するが、現像処理の品質を高くしてもよい。
【００７１】
高画質現像部１１２は、ＲＡＷ画像データをデベイヤ処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去し、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像の画素数は、撮像センサ部１０２から読み出された画素数のまま、あるいはユーザから設定された画素数となる。そのため、高画質現像部１１２から出力される画像データの画素数は、簡易現像部１１１から出力される画像データの画素数よりも多い。
【００７２】
高画質現像部１１２は、簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が高くなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を行わないことで、消費電力やコストの大きな回路の利用を回避している。
【００７３】
ステップＳ５２５では、静止画圧縮部１４１は、高画質現像部１１２で現像処理された画像データを入力する。静止画圧縮部１４１は、入力した画像データに対して高能率符号化処理（静止画圧縮）を施し、高画質静止画データを生成する。
【００７４】
ステップＳ５２７では、制御部１６１は、アイドル状態でなくなったか否かを判定する。なお、制御部１６１は、例えば予め定められたアイドル状態を脱するイベントが発生した場合には、アイドル状態でなくなったと判定してもよい。イベントは、例えば、撮影準備指示や撮影開始指示の入力、再生処理の実行指示の入力、ＣＰＵの稼働率が閾値を超えるなどであってよい。なお、これらのイベント発生は、実際にはステップＳ５２７で示されるタイミングで実施するのではなく、アイドル処理中に制御部１６１がバックグラウンドで監視している。イベントの発生を検知した時点で実施中の動作を中断もしくは中止するか、静止画記録が終了するまでは実行を継続するかは予め定めておくことができる。例えば、ステップＳ５２２〜Ｓ５２５のどの処理を実行中かに応じて処理を継続するか中断もしくは中止するかが異なってもよい。また、発生したイベントに応じて対応が異なってもよい。例えば、撮影開始指示のようにタイムラグが問題になるイベントが発生した場合は直ちに撮影処理に移行し、再生開始指示のように緊急性がさほど高くないイベントの場合には静止画記録が終了してから再生処理に移行するようにしてもよい。
【００７５】
ステップＳ５２７において、制御部１６１は、アイドル状態が継続している場合には、ステップＳ５２０に戻り、後現像処理が未処理のＲＡＷ画像データが残っている場合には、上述した処理を繰り返して実行する。また、制御部１６１は、アイドル状態でなくなった場合には、ステップＳ５２８に進む。
【００７６】
ステップＳ５２８では、制御部１６１は、上記の中断した処理に対し、次にアイドル状態になった際に再開できるように必要な情報を記憶する中断処理を行う。中断処理は、例えば途中まで処理が終わったデータの保存や、どこまで処理が終わっているのかを示す情報の保存などを含む。一方、処理を中止する場合には、次回の処理において未処理のＲＡＷファイルの処理を行えば良いため、中断処理を実施しなくてもよい。
【００７７】
アイドル状態でなくなった場合、制御部１６１は、アイドル処理を実行する前に実施していた動作モードとイベントに応じた処理に移行する。例えば、静止画撮影モードからアイドル処理に遷移していた場合に撮影指示が入力された場合、制御部１６１は、静止画撮影モードの処理をステップＳ３１２の撮影処理から復帰させる。
【００７８】
このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などのユーザ操作待ちの、比較的、撮像装置１００の処理負荷が低い状態のときに後現像処理を実行する。これにより、画像の細部の確認表示やプリントアウトなど、高画質な画像が要求された場合であっても、その度に現像処理を実行する必要がなく、また、一般的な環境における活用が可能となる。
【００７９】
なお、ＲＡＷ動画データは、各フレームがＲＡＷ画像データで構成されているため、各フレームを静止画データと同様にして現像処理することができる。そして、動画圧縮部１４２は、現像後のフレーム画像を動画の符号化方式に応じて符号化することで、高画質な動画ファイルを順次生成する。なお、符号化処理の効率を向上させるため、記録媒体１５２から未処理のＲＡＷファイルを読み出す場合に、動画の符号化方式に応じたフレーム数（例えばＧＯＰを構成するフレーム数）を単位とすることができる。
【００８０】
図６は、撮像装置１００の待機状態の動作を説明するためのフローチャートであり、図３のステップＳ３３０の待機状態で実施する待機表示処理を示す。なお、待機表示処理は、静止画撮影モードだけでなく、他の動作モードにおいて待機状態と判定された場合にも実行される。図６のフローチャートは、制御部１６１によって各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００８１】
ステップＳ６０１では、残量算出部１８１は、記録媒体１５２の空き容量を取得する。空き容量の取得方法に制限は無く、例えば記録媒体管理部１７２から取得してもよいし、記録再生部１５１を通じて記録媒体１５２から読み出してもよい。
【００８２】
ステップＳ６０２では、カメラ制御部１０４は、撮像センサ部１０２からライブビュー用の間引き読み出しを行い、撮像センサ部１０２は、センサ信号処理部１０３を介して低解像度のライブビュー画像データ７０１（図７（ａ））をＲＡＷ圧縮部１１３に出力する。ＲＡＷ圧縮部１１３は、センサ信号処理部１０３を介して撮像センサ部１０２により撮影して得られた低解像度のライブビュー画像データ７０１を圧縮する。このとき、ＲＡＷ圧縮部１１３は、サイズ見積もり部１７１に圧縮後のライブビュー画像データのデータサイズ（圧縮結果）を伝達する。ステップＳ６０２では、ＲＡＷ圧縮部１１３は、図３のステップＳ３１２と同じ圧縮方式により圧縮する。例えば、ＲＡＷ圧縮部１１３は、ウエーブレット変換等のフレーム間圧縮方式ではない圧縮方式を用いて圧縮する。
【００８３】
ステップＳ６０３では、サイズ見積もり部１７１は、圧縮後のライブビュー画像データのデータサイズに基づいて、圧縮ＲＡＷ画像データサイズを推定する。圧縮ＲＡＷ画像データサイズは、図３のステップＳ３１２で生成される圧縮後のＲＡＷ画像データのデータサイズである。圧縮ＲＡＷ画像データサイズの推定については、図７（ａ）および（ｂ）を用いて後述する。
【００８４】
ステップＳ６０４では、残量算出部１８１は、ステップＳ６０１の空き容量およびステップＳ６０３で推定された圧縮ＲＡＷ画像データサイズを用いて、次式により、記録媒体１５２に対する記録可能枚数を推定し、記録可能枚数を表示処理部１２２へ通知する。ここで、floor(x)は、床関数であり、ｘを超えない最大の整数を表す。記録媒体１５２に対する記録可能枚数は、記録媒体１５２に記録可能な圧縮ＲＡＷ画像データの枚数である。
記録可能枚数＝floor（空き容量／推定された圧縮ＲＡＷ画像データサイズ）
【００８５】
ここで、記録可能枚数は、静止画の場合である。動画のＲＡＷ画像データの撮影モードである場合には、残量算出部１８１は、ステップＳ６０１の空き容量およびステップＳ６０３で推定された圧縮ＲＡＷ画像データサイズを用いて、記録媒体１５２に対する記録可能時間を推定する。記録媒体１５２に対する記録可能時間は、記録媒体１５２に記録可能な動画の圧縮ＲＡＷ画像データの記録時間である。
【００８６】
ステップＳ６０５では、表示処理部１２２は、残量算出部１８１より通知された記録可能枚数または記録可能時間を表す画像を、ライブビュー画像等に重畳し、表示部１２３に表示させる。
【００８７】
図７（ａ）および（ｂ）は、図６のステップＳ６０３の圧縮ＲＡＷ画像データサイズの推定方法を説明するための図である。サイズ見積もり部１７１は、図３のステップＳ３１２でＲＡＷ圧縮部１１３によって生成される圧縮ＲＡＷ画像データのデータサイズを推定する。
【００８８】
図７（ａ）は、センサ信号処理部１０３から出力されるライブビュー画像データ７０１の画素数と、センサ信号処理部１０３から出力されるＲＡＷ画像データ７０２の画素数の大小関係を示す図である。ライブビュー画像データ７０１は、図６のステップＳ６０２で、ＲＡＷ圧縮部１１３がセンサ信号処理部１０３から入力する低解像度のＲＡＷ画像データである。ＲＡＷ画像データ７０２は、図３のステップＳ３１２で、ＲＡＷ圧縮部１１３がセンサ信号処理部１０３から入力する高解像度のＲＡＷ画像データである。図７（ａ）に示すように、ライブビュー画像データ７０１は、ＲＡＷ画像データ７０２に対して、水平方向に１／Ｎ倍、垂直方向に１／Ｍ倍に縮小されている。ライブビュー画像データ７０１の画素数は、ＲＡＷ画像データ７０２の画素数の１／（Ｎ×Ｍ）である。ライブビュー画像データ７０１は、ＲＡＷ画像データ７０２より低解像度のＲＡＷ画像データである。
【００８９】
図７（ｂ）は、圧縮ライブビュー画像データのデータサイズ７１１と、推定される圧縮ＲＡＷ画像データのデータサイズ７１４を示す図である。データサイズ７１１は、図６のステップＳ６０２で、ＲＡＷ圧縮部１１３により生成される圧縮後のライブビュー画像データのデータサイズである。データサイズ７１４は、図３のステップＳ３１２で、ＲＡＷ圧縮部１１３により生成される圧縮後のＲＡＷ画像データのデータサイズの推定値である。データサイズ７１２は、圧縮ライブビュー画像データのデータサイズ７１１に対してＮ×Ｍ倍したデータサイズである。データサイズ７１３は、オフセットである。
【００９０】
サイズ見積もり部１７１は、例えば、次式により、圧縮ＲＡＷ画像データのデータサイズＥＳＴを推定する。
ＥＳＴ＝ＳＩＺＥ２＋ＯＦＳ
＝（ＳＩＺＥ１／ＲＥＤ＿ＲＡＴＩＯ）＋ＯＦＳ
＝（ＳＩＺＥ１×Ｎ×Ｍ）＋ＯＦＳ
【００９１】
ここで、データサイズＥＳＴは、圧縮ＲＡＷ画像データのデータサイズ７１４である。データサイズＳＩＺＥ２は、圧縮ライブビュー画像データのデータサイズ７１１に対してＮ×Ｍ倍したデータサイズ７１２である。オフセットＯＦＳは、オフセット７１３である。縮小率ＲＥＤ＿ＲＡＴＩＯは、図７（ａ）に示すように、ＲＡＷ画像データ７０２に対するライブビュー画像データ７０１の縮小率である。縮小率ＲＥＤ＿ＲＡＴＩＯは、１／（Ｎ×Ｍ））で表される。データサイズＳＩＺＥ１は、圧縮ライブビュー画像データのデータサイズ７１１である。
【００９２】
以上のように、推定されるデータサイズ７１４は、圧縮ライブビュー画像データのデータサイズ７１１を（Ｎ×Ｍ）倍し、オフセット７１３だけ加算した値となる。オフセット７１３の大きさは、可変である。具体的なオフセット７１３の決定方法については後述する。
【００９３】
図８（ａ）および（ｂ）は、図７（ｂ）のオフセット７１３の決定方法を説明するための図である。図８（ａ）は、ＩＳＯ感度８０３とオフセット８０２の相関関係を示すグラフである。図８（ｂ）は、ＩＳＯ感度８０３とオフセット８０４との対応関係を示すテーブルの図である。
【００９４】
ＲＡＷ圧縮部１１３の圧縮効率は、高周波成分であるノイズの量がデータサイズに対して大きく影響を与える。そのため、サイズ見積もり部１７１は、図８（ｂ）のテーブルを参照し、ユーザが操作部１６２により設定したＩＳＯ感度８０３に応じて、オフセット８０４を決定する。オフセット８０１は、ＩＳＯ感度８０３が下限値であった場合のオフセット８０４である。オフセット８０２は、ＩＳＯ感度８０４が上限値であった場合のオフセット８０４である。
【００９５】
以上のように、図６の待機状態において、サイズ見積もり部１７１は、圧縮ＲＡＷ画像データのデータサイズ７１４を正確に推定することにより、記録媒体１５２に対する記録可能枚数を正確に推定することができる。
【００９６】
次に、撮像装置１００が、撮像センサ部１０２によりＲＡＷ画像データを連写撮影するＲＡＷ連写撮影モードと、撮像センサ部１０２によりＲＡＷ画像データを１枚撮影するＲＡＷ撮影モードとを有する場合を説明する。ＲＡＷ連写撮影モードの場合は、図６に示したように、表示処理部１２２は、残量算出部１８１により推定された記録可能枚数または記録可能時間を表示部１２３に表示するように制御する。これに対し、ＲＡＷ撮影モードの場合は、残量算出部１８１は、記録可能枚数または記録可能時間の推定を行わない、または、表示処理部１２２は、残量算出部１８１により推定された記録可能枚数または記録可能時間を表示部１２３に表示しないように制御する。
【００９７】
次に、撮像装置１００が、撮像センサ部１０２によりＲＡＷ画像データを連写撮影するＲＡＷ連写撮影モードと、そのＲＡＷ連写撮影モードよりも高速でＲＡＷ画像データを連続撮影するＲＡＷ高速連写撮影モードとを有する場合を説明する。ＲＡＷ高速連写撮影モードの場合は、表示処理部１２２は、残量算出部１８１により推定された記録可能枚数または記録可能時間を表示部１２３に表示するように制御する。これに対し、ＲＡＷ連写撮影モードの場合、残量算出部１８１は、記録可能枚数または記録可能時間の推定を行わない、または、表示処理部１２２は、残量算出部１８１により推定された記録可能枚数または記録可能時間を表示部１２３に表示しないように制御する。
【００９８】
（第２の実施形態）
本発明の第２の実施形態は、第１の実施形態に対して、サイズ見積もり部１７１の処理が異なる。サイズ見積もり部１７１は、データサイズの推定を簡略化するために、撮影パラメータに応じて圧縮ＲＡＷ画像データのデータサイズを推定する。また、サイズ見積もり部１７１は、記録媒体１５２の空き容量が閾値未満になった場合には、第１の実施形態と同様の方法により、圧縮ＲＡＷ画像データのデータサイズを推定する。
【００９９】
図９は、撮像装置１００の待機状態の動作を説明するためのフローチャートであり、図３のステップＳ３３０の待機状態で実施する待機表示処理を示す。図９のフローチャートは、図６のフローチャートの代わりに行われる。図９のフローチャートは、図６のフローチャートに対して、ステップＳ９０１〜Ｓ９０３を追加したものである。以下、本実施形態が第１の実施形態と異なる点を説明する。
【０１００】
ステップＳ６０１では、残量算出部１８１は、記録媒体１５２の空き容量を取得する。ステップＳ９０１では、残量算出部１８１は、記録媒体１５２の空き容量が閾値未満であるか否かを判定する。閾値は、所定の容量であり、例えば、記録媒体１５２の容量の５％である。残量算出部１８１は、記録媒体１５２の空き容量が閾値未満である場合には、ステップＳ６０２に進み、記録媒体１５２の空き容量が閾値未満でない場合には、ステップＳ９０２に進む。
【０１０１】
ステップＳ６０２では、カメラ制御部１０４は、撮像センサ部１０２からライブビュー用の間引き読み出しを行い、撮像センサ部１０２は、センサ信号処理部１０３を介して低解像度のライブビュー画像データ７０１（図７（ａ））をＲＡＷ圧縮部１１３に出力する。ＲＡＷ圧縮部１１３は、センサ信号処理部１０３より得られる低解像度のライブビュー画像データ７０１を圧縮する。このとき、ＲＡＷ圧縮部１１３は、サイズ見積もり部１７１に圧縮後のライブビュー画像データのデータサイズを伝達する。
【０１０２】
ステップＳ６０３では、サイズ見積もり部１７１は、圧縮後のライブビュー画像データのデータサイズに基づいて、第１の実施形態と同様に、図７（ｂ）に示す方法により、圧縮ＲＡＷ画像データサイズを推定し、ステップＳ６０４に進む。
【０１０３】
ステップＳ９０２では、サイズ見積もり部１７１は、操作部１６２によりユーザが設定した撮影パラメータを取得する。撮影パラメータは、例えば、ＲＡＷ画像データの画像サイズである。ステップＳ９０３では、サイズ見積もり部１７１は、撮影パラメータに基づいて、圧縮ＲＡＷ画像データサイズを推定し、ステップＳ６０４に進む。圧縮ＲＡＷ画像データサイズの推定方法については後述する。
【０１０４】
ステップＳ６０４では、残量算出部１８１は、ステップＳ６０１の空き容量とステップＳ６０３またはＳ９０３で推定された圧縮ＲＡＷ画像データサイズを用いて、次式により、記録媒体１５２に対する記録可能枚数を推定する。そして、残量算出部１８１は、記録可能枚数を記録媒体１５２の残量として表示処理部１２２へ出力する。
記録可能枚数＝floor（空き容量／推定された圧縮ＲＡＷ画像データサイズ）
【０１０５】
ここで、記録可能枚数は、静止画の場合である。動画のＲＡＷ画像データの撮影モードである場合には、残量算出部１８１は、ステップＳ６０１の空き容量とステップＳ６０３またはＳ９０３で推定された圧縮ＲＡＷ画像データサイズを用いて、記録媒体１５２に対する記録可能時間を推定する。そして、残量算出部１８１は、記録可能時間を記録媒体１５２の残量として表示処理部１２２へ出力する。
【０１０６】
ステップＳ６０５では、表示処理部１２２は、残量算出部１８１より通知された記録可能枚数または記録可能時間を表す画像を、ライブビュー画像等に重畳し、表示部１２３に表示させる。
【０１０７】
なお、サイズ見積もり部１７１は、上記の処理に限定されず、ステップＳ６０３の圧縮ＲＡＷ画像データサイズと、ステップＳ９０３の圧縮ＲＡＷ画像データサイズとの両方を推定してもよい。その場合、ステップＳ６０４では、残量算出部１８１は、ステップＳ６０１の空き容量とステップＳ６０３で推定された圧縮ＲＡＷ画像データサイズを用いて、第１の記録可能枚数または第１の記録可能時間を推定する。さらに、残量算出部１８１は、ステップＳ６０１の空き容量とステップＳ９０３で推定された圧縮ＲＡＷ画像データサイズを用いて、第２の記録可能枚数または第２の記録可能時間を推定する。第２の記録可能枚数または第２の記録可能時間よりも、第１の記録可能枚数または第１の記録可能時間の方が大きい場合は、残量算出部１８１は、以下の処理を行う。その場合、残量算出部１８１は、記録媒体１５２の空き容量が閾値未満の場合であっても、第２の記録可能枚数または第２の記録可能時間を記録媒体１５２の残量として表示処理部１２２に出力する。表示処理部１２２は、第２の記録可能枚数または第２の記録可能時間を表示部１２３に表示する。
【０１０８】
図１０は、図９のステップＳ９０３の圧縮ＲＡＷ画像データサイズの推定方法を説明するための図である。サイズ見積もり部１７１は、撮影パラメータに基づいて、圧縮ＲＡＷ画像データサイズを推定する。撮影パラメータが画像サイズである例を説明する。画像サイズ１００１は、ユーザが設定しうる画像サイズである。画像サイズ１００１によって、圧縮ＲＡＷ画像データサイズ１００２が予め決められている。サイズ見積もり部１７１は、図１０のテーブルを参照し、画像サイズ１００１に応じて、圧縮ＲＡＷ画像データサイズ１００２を推定する。
【０１０９】
以上のように、本実施形態では、待機状態において、サイズ見積もり部１７１は、記録媒体１５２の空き容量が多い場合には、撮影パラメータを基に圧縮ＲＡＷ画像データサイズを推定することにより、消費電力を抑えることができる。また、サイズ見積もり部１７１は、記録媒体１５２の空き容量が少なくなった場合には、ライブビュー画像データの圧縮結果を基に、圧縮ＲＡＷ画像データサイズを正確に推定することができる。
【０１１０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１１】
１００…撮像装置、１０１…撮像光学部、１０２…撮像センサ部、１０３…センサ信号処理部、１０４…カメラ制御部、１０５…評価値算出部、１１０…現像部、１１１…簡易現像部、１１２…高画質現像部、１１３…ＲＡＷ圧縮部、１１４…ＲＡＷ伸張部、１１５…バッファ部、１２２…表示処理部、１２３…表示部、１４１…静止画圧縮部、１４２…動画圧縮部、１４３…静止画伸張部、１４４…動画伸張部、１５１…記録再生部、１５２…記録媒体、１５３…通信部、１６１…制御部、１６２…操作部、１７１…サイズ見積もり部、１７２…記録媒体管理部、１８１…残量算出部
【図１】
2020010244.tif 000003
【図２】
2020010244.tif 000004
【図３】
2020010244.tif 000005
【図４】
2020010244.tif 000006
【図５】
2020010244.tif 000007
【図６】
2020010244.tif 000008
【図７】
2020010244.tif 000009
【図８】
2020010244.tif 000010
【図９】
2020010244.tif 000011
【図１０】
2020010244.tif 000012