(57)【要約】【課題】ＲＡＷ画像データを簡単に記録して、かつ記録したＲＡＷ画像データに係る画像を速やかに出力できるようにする。【解決手段】まず、動作モードとして、静止画撮影モード、静止画再生モード、動画撮影モード、又は動画再生モードに移行可能であり、撮影した画像の簡易現像を行って記録媒体に記録するとともに、ＲＡＷファイルを生成して記録しておく。そして、各モードの処理負荷の小さいときにアイドル状態へ移行し、高画質の現像を行っていない場合には、記録されたＲＡＷファイルを用いて高画質の現像処理を行い、簡易現像の画像ファイルと置き換えるようにする。【選択図】図１
2015126252.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像してＲＡＷ画像データを生成する撮像手段と、
前記撮像手段によって生成されたＲＡＷ画像データを記録媒体に記録する記録手段と、
前記記録媒体から前記ＲＡＷ画像データを再生する再生手段と、
前記再生手段によって再生されたＲＡＷ画像データに対して第１の現像処理を行う第１の現像手段と、
前記第１の現像手段による現像処理を行うタイミングを処理負荷に応じて制御する制御手段とを備え、
前記記録手段は、前記制御手段によって制御されたタイミングで前記第１の現像手段によって現像処理された第１の画像データを前記記録媒体に記録することを特徴とする画像処理装置。
【請求項２】
前記撮像手段によって生成されたＲＡＷ画像データに対して前記第１の現像処理よりも簡易な処理である第２の現像処理を行う第２の現像手段をさらに備え、
前記記録手段は、前記ＲＡＷ画像データ及び前記第２の現像手段によって現像処理された第２の画像データを前記記録媒体に記録するとともに、前記記録された第２の画像データを前記第１の画像データに差し替えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、撮影または再生による処理負荷に応じて前記第１の現像手段による現像処理を行うタイミングを制御することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記記録媒体に複数のＲＡＷ画像データが記録されている場合に、現在の動作モードに基づいて前記再生手段によって再生されるＲＡＷ画像データを選択する選択手段をさらに備えることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記記録媒体は、少なくともバッファを含み、
前記選択手段は、前記バッファに記録されているＲＡＷ画像データを優先して選択することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記記録媒体に連写もしくはブラケット撮影によって生成された複数のＲＡＷ画像データが記録されている場合に、前記選択手段は、前記連写もしくはブラケット撮影によって生成されたＲＡＷ画像データの中から１つのＲＡＷ画像データを選択することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記選択手段は、撮影時間が最も新しいＲＡＷ画像データを優先して選択することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項８】
前記選択手段は、転送する指示がなされているＲＡＷ画像データを優先して選択することを特徴とする請求項４に記載の画像処理装置。
【請求項９】
被写体像を撮像してＲＡＷ画像データを生成する撮像手段を有する画像処理装置の画像処理方法であって、
前記撮像手段によって生成されたＲＡＷ画像データを記録媒体に記録する記録工程と、
前記記録媒体から前記ＲＡＷ画像データを再生する再生工程と、
前記再生工程において再生されたＲＡＷ画像データに対して第１の現像処理を行う第１の現像工程と、
前記第１の現像工程における現像処理を行うタイミングを処理負荷に応じて制御する制御工程とを備え、
前記記録工程においては、前記制御工程において制御されたタイミングで前記第１の現像手段によって現像処理された第１の画像データを前記記録媒体に記録することを特徴とする画像処理方法。
【請求項１０】
被写体像を撮像してＲＡＷ画像データを生成する撮像手段を有する画像処理装置を制御するためのプログラムであって、
前記撮像手段によって生成されたＲＡＷ画像データを記録媒体に記録する記録工程と、
前記記録媒体から前記ＲＡＷ画像データを再生する再生工程と、
前記再生工程において再生されたＲＡＷ画像データに対して第１の現像処理を行う第１の現像工程と、
前記第１の現像工程における現像処理を行うタイミングを処理負荷に応じて制御する制御工程とをコンピュータに実行させ、
前記記録工程においては、前記制御工程において制御されたタイミングで前記第１の現像手段によって現像処理された第１の画像データを前記記録媒体に記録することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、画像を適正化する現像処理を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来の撮像装置では、撮像センサーによって生成された生の画像情報（ＲＡＷ画像データ）をデベイヤー処理（デモザイク処理）し、輝度と色差とからなる信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの現像処理を行う。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に画像データを記録するのが一般的である。
【０００３】
一方、ＲＡＷ画像データを記録できる撮像装置も存在する。ＲＡＷ画像データは、記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで利用されている。ＲＡＷ画像データを記録する撮像装置の構成は、例えば特許文献１に開示されている。特許文献１には、ＲＡＷ画像データと共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像データの現像及び再生を行う構成が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４４４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年の撮像装置は、撮像センサーが進化し、画像１枚あたりの画素数が大幅に増加している。また、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像データに対するデベイヤー処理や、ノイズ除去、光学歪補正などの現像処理の処理量が相乗的に増大している。したがって、撮影と並行してリアルタイムにすべての現像処理を行うと、膨大な回路や消費電力を費やすことになる。また、現像処理によって回路の占有や消費電力が制限されると、高い撮影パフォーマンスを実行できない場合もある。
【０００６】
一方、前述の特許文献１のように、ＲＡＷ画像データを現像せずに記録する構成である場合には、撮影時の現像に係る処理量は軽減される。ところが、現像されていない状態で記録されるため、画像を表示する際に現像処理を行う必要があり、画像を速やかに表示したり印刷したりすることが困難である。さらに、ＲＡＷ画像データは特殊性なデータであることから、機器によってはＲＡＷ画像データを再生または現像できない場合がある。したがって、従来のＲＡＷ画像データの記録方式では、ユーザーの利便性を損なうことがある。
【０００７】
このように、従来のＲＡＷ画像データを記録できる撮像装置の場合は、高い撮影パフォーマンスを実行することができるが、ＲＡＷ画像データに係る画像を高速かつ簡便に出力することができない。
【０００８】
本発明は前述の問題点に鑑み、ＲＡＷ画像データを簡単に記録して、かつ記録したＲＡＷ画像データに係る画像を速やかに出力できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、被写体像を撮像してＲＡＷ画像データを生成する撮像手段と、前記撮像手段によって生成されたＲＡＷ画像データを記録媒体に記録する記録手段と、前記記録媒体から前記ＲＡＷ画像データを再生する再生手段と、前記再生手段によって再生されたＲＡＷ画像データに対して第１の現像処理を行う第１の現像手段と、前記第１の現像手段による現像処理を行うタイミングを処理負荷に応じて制御する制御手段とを備え、前記記録手段は、前記制御手段によって制御されたタイミングで前記第１の現像手段によって現像処理された第１の画像データを前記記録媒体に記録することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ＲＡＷ画像データを簡単に記録して、かつ記録したＲＡＷ画像データに係る画像を速やかに出力することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】撮像センサー部に配置されるカラーフィルターの一例を示す図である。
【図３】各動作モードの遷移を示す状態遷移図である。
【図４】本発明の実施形態の静止画撮影モードにおける処理手順の一例を示すフローチャートである。
【図５】静止画ファイル及びそのＲＡＷファイルの構成例を示す図である。
【図６】本発明の実施形態のアイドル状態における追いかけ現像処理手順の一例を示すフローチャートである。
【図７】撮影中に応じた追いかけ現像の対象となるＲＡＷ画像データを選択する処理手順の一例を示すフローチャートである。
【図８】再生中に応じた追いかけ現像の対象となるＲＡＷ画像データを選択する処理手順の一例を示すフローチャートである。
【図９】アイドル中に応じた追いかけ現像の対象となるＲＡＷ画像データを選択する処理手順の一例を示すフローチャートである。
【図１０】本発明の実施形態の静止画再生モードにおける処理手順の一例を示すフローチャートである。
【図１１】静止画再生モードにおける画像の表示例を示す図である。
【図１２】本発明の実施形態の動画撮影モードにおける処理手順の一例を示すフローチャートである。
【図１３】動画ファイル及びそのＲＡＷファイルの構成例を示す図である。
【図１４】本発明の実施形態の動画再生モードにおける処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。図１に示す撮像装置１００は、被写体を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。
【００１３】
図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。
【００１４】
操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサー部１０２上に結像される。撮影時、撮像光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。
【００１５】
撮像センサー部１０２は、画素毎に配置される赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルターを透過した光を電気信号に変換する。図２は、撮像センサー部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図２に示すように、赤（Ｒ）２０１、緑（Ｇ）２０２、青（Ｂ）２０３が画素毎にモザイク状に配置されており、２×２の４画素につき赤の１画素、青の１画素、及び緑の２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれている。
【００１６】
撮像センサー部１０２によって変換された電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部１０３から出力される画像データとしてＲＡＷ画像データが出力される。
【００１７】
センサー信号処理部１０３から出力されるＲＡＷ画像データは、現像部１１０において現像処理される。現像部１１０は、複数の異なる画像処理を行う現像処理部として、簡易現像部１１１と、高画質現像部１１２とを備えている。さらに、それらの出力を選択するスイッチ部１２１と、高画質現像部１１２で処理するＲＡＷ画像データを選択する現像画像選択部１７１とを備えている。簡易現像部１１１および高画質現像部１１２はそれぞれ、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）を施し、輝度と色差とからなる信号に変換して、各信号に含まれるノイズを除去して光学的な歪を補正する。このように画像を適正化するなど、いわゆる現像処理を行う。
【００１８】
特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うため、簡易現像部１１１よりも高画質な現像画像が得られるが、その分、処理負荷は大きい。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質な現像処理を撮影時ではなく、時間をかけて後から行うようにすることにより、消費電力が一時的に増大することや回路規模を抑えることができる。
【００１９】
これに対して簡易現像部１１１は、高画質現像部１１２よりも画質は低いものの、撮影中に高速に現像処理を行うことができるよう、現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいため、撮影動作と並行したリアルタイムの現像の際には、簡易現像部１１１を用いるようにする。このように、簡易現像部１１１ではＲＡＷ画像データを撮影順に現像処理するが、高画質現像部１１２における現像処理は撮影後に行うため、必ずしも撮影順に現像処理する必要はない。
【００２０】
現像画像選択部１７１は、制御部１６１から提供される、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに関する情報に基づいて、高画質現像部１１２で処理するＲＡＷ画像データを選択する。同様にスイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。
【００２１】
なお、本実施形態では、現像部１１０の中に簡易現像部１１１および高画質現像部１１２が独立に存在する構成を示しているが、１つの現像部が動作モードを切り替えて、簡易現像および高画質現像の処理を排他的に行う構成であってもよい。
【００２２】
現像部１１０によって現像処理された画像データは、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にてその画像が表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。また、現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給され、評価値算出部１０５は、画像データからフォーカス状態や露出状態などの評価値を算出する。
【００２３】
現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像中の被写体情報を検出して認識する機能を有する。例えば、画像によって表される画面内における顔を検出し、顔が存在する場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
【００２４】
現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。このとき、画像データを静止画データとして圧縮する場合は静止画圧縮部１４１を用い、画像データを動画データとして圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）して情報量が圧縮された画像データを生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画データを圧縮する場合はＪＰＥＧ方式などを用い、動画データを圧縮する場合はＭＰＥＧ−２方式、Ｈ．２６４方式、Ｈ．２６５方式等を用いることができる。
【００２５】
ＲＡＷ圧縮部１１３は、センサー信号処理部１０３から出力されたＲＡＷ画像データを、ウエーブレット変換や差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換してバッファ部１１５に格納する。ＲＡＷファイルは、バッファ部１１５内に保持しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録し、バッファ部１１５から削除するようにしてもよい。
【００２６】
ＲＡＷファイル、前述の静止画ファイル及び動画ファイルは、記録再生部１５１によって記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、及びＲＡＷファイルを読み出すこともできる。
【００２７】
さらに記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに各種ファイルを書き込んだり読み出したりすることができる。通信部１５３は、通信端子１５４を用いて無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。
【００２８】
再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルである場合には、記録再生部１５１は、取得したＲＡＷファイルをバッファ部１１５に格納する。また、再生対象のファイルが静止画ファイルである場合は、記録再生部１５１は、取得した静止画ファイルを静止画伸張部１４３に供給する。さらに、再生対象のファイルが動画ファイルである場合は、記録再生部１５１は、取得した動画ファイルを動画伸張部１４４に供給する。
【００２９】
ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読み出して、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０内の簡易現像部１１１、又は高画質現像部１１２に供給される。静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画データの再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画データの再生画像として表示処理部１２２に供給する。
【００３０】
次に、本実施形態の撮像装置１００の動作モードに関して、図３を用いて詳細に説明する。図３は、撮像装置１００における各動作モードの遷移を示す状態遷移図である。このような動作モードの遷移は、操作部１６２からの指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２に示すように、撮像装置１００は、アイドル状態３００を経由して４つのモードである静止画撮影モード３０１、静止画再生モード３０２、動画撮影モード３０３、又は動画再生モード３０４に適宜切り替わって動作する。
【００３１】
まず、撮像装置１００の静止画撮影モード３０１における動作について説明する。
図４は、本実施形態の静止画撮影モードにおける処理手順の一例を示すフローチャートを示す。図４に示すフローチャートは、制御部１６１によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００３２】
図４のＳ４００において静止画撮影モードの処理が開始されると、Ｓ４０１において、制御部１６１は、撮像装置１００の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。このとき、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し（Ｓ４１３）、そうでない場合はＳ４０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ４１３へは遷移せず、常にＳ４０２へ進む。一方、通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影との合間に例えば半分の頻度でＳ４１３へ遷移する。このアイドル状態の詳細については後述する。
【００３３】
次のＳ４０２においては、カメラ制御部１０４は、好適な条件で撮影を行うよう、撮像光学部１０１及び撮像センサー部１０２の動作を制御する。例えば、ユーザーによるズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズを移動させたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域を設定したりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御も行う。
【００３４】
次に、Ｓ４０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す。この処理により、ＲＡＷ画像データが生成される。そして、Ｓ４０４において、簡易現像部１１１はＲＡＷ画像データを現像処理する。このとき、制御部１６１は、現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像データの出力を選択するようにする。
【００３５】
ここで、簡易現像部１１１が行う現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることにより、現像の高速処理や簡易処理を実現している。簡易現像部１１１が画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることにより、撮像装置１００は例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を小さい回路規模で少ない消費電力で実現することができる。
【００３６】
簡易現像部１１１で現像処理された画像データは、評価値算出部１０５に供給される。次に、Ｓ４０５において、評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データを取得して、ＲＡＷ画像データから同様に評価値を算出するようにしてもよい。
【００３７】
また、簡易現像部１１１で現像処理された画像データは、認識部１３１に供給される。そこで、Ｓ４０６において、認識部１３１は、現像処理された画像データから顔などの被写体を検出し、被写体情報を認識する。例えば、画像内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として生成する。
【００３８】
さらに、簡易現像部１１１で現像処理された画像データは、表示処理部１２２にも供給される。そこで、Ｓ４０７において、表示処理部１２２は、取得した画像データから表示画像を形成し、表示部１２３又は外部の表示装置に出力して、その画像を表示する。表示部１２３に表示される画像は、静止画撮影モードにおいてユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。
【００３９】
なお、表示画像は、表示処理部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されるようにしてもよい。さらに、表示処理部１２２は、評価値算出部１０５によって算出される評価値や認識部１３１によって生成された被写体情報を活用して、併せてマーキング等を表示することもできる。例えば、表示画像上のフォーカスの合焦領域にマーキングを表示したり、認識された顔の位置に枠を表示したりすることもできる。
【００４０】
次に、Ｓ４０８において、制御部１６１は、ユーザーの操作によって操作部１６２から撮影指示を入力したか否かを判定する。この判定の結果、撮影指示を入力した場合は、Ｓ４０９へ進む。一方、Ｓ４０８の判定の結果、撮影指示を入力していない場合は、Ｓ４０１へ戻って、撮影の準備動作とライブビュー表示とを繰り返す。
【００４１】
次に、Ｓ４０８の撮影指示に応答して、Ｓ４０９において、静止画圧縮部１４１は、簡易現像部１１１で現像処理された画像データを取得する。そして、静止画圧縮部１４１は、取得した画像データに対して高能率符号化処理（静止画圧縮）を施し、静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行う。そして、Ｓ４１０において、記録再生部１５１は、静止画ファイルを記録媒体１５２に記録する。
【００４２】
さらに、Ｓ４０８の撮影指示に応答して、Ｓ４１１において、ＲＡＷ圧縮部１１３は、撮影された静止画に対応するＲＡＷ画像データをセンサー信号処理部１０３から取得し、ＲＡＷ画像データを高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する。そして、ＲＡＷファイルをバッファ部１１５に格納する。
【００４３】
なお、ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でもよい。或いは、ＲＡＷ圧縮部１１３によるＲＡＷ圧縮を省略して、ＲＡＷ画像データを非圧縮の状態のままバッファ部１１５に格納するようにしてもよい。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給されるＲＡＷ画像データを大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。
【００４４】
次に、Ｓ４１２において、記録再生部１５１は、バッファ部１１５に格納されたＲＡＷファイルを記録媒体１５２に記録した後、Ｓ４０１に遷移する。なお、Ｓ４１０及びＳ４１２において、記録再生部１５１は、静止画ファイルまたはＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送り、外部のストレージに記録するようにしてもよい。
【００４５】
ここで、本実施形態に係る静止画ファイル及びＲＡＷファイルの構造について説明する。図５は、静止画ファイル５００及びＲＡＷファイル５１０の構成例を示す図である。
図５（ａ）に示す静止画ファイル５００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録される。静止画ファイル５００は、ヘッダ部５０１、メタデータ部５０２、及び圧縮データ部５０３から構成されている。ヘッダ部５０１には、このファイルが静止画ファイル５００の形式であることを示す識別コードなどが含まれている。圧縮データ部５０３には、高能率符号化された静止画の圧縮データが含まれている。
【００４６】
メタデータ部５０２には、この静止画ファイル５００とともに生成されたＲＡＷファイル５１０のファイル名の情報５０４が含まれる。また、この静止画ファイル５００が簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報５０５が含まれる。さらに、メタデータ部５０２には、評価値算出部１０５で算出された評価値、認識部１３１で検知された被写体情報、及び撮像光学部１０１や撮像センサー部１０２の撮影時の情報を含む撮影メタデータ５０６が含まれる。撮影時の情報としては、例えば、レンズ種別識別情報、センサー種別識別情報などが含まれる。また、メタデータ部５０２に、ともに生成されたＲＡＷファイル５１０が記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでもよい。
【００４７】
一方、図５（ｂ）に示すＲＡＷファイル５１０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル５１０は、ヘッダ部５１１、メタデータ部５１２、及び圧縮データ部５１３から成る。ヘッダ部５１１には、このファイルがＲＡＷファイル５１０の形式であることを示す識別コードなどが含まれている。圧縮データ部５１３には、高能率符号化された静止画のＲＡＷ画像データが含まれている。なお、圧縮されていない静止画のＲＡＷ画像データが圧縮データ部５１３に含まれるようにしてもよい。
【００４８】
メタデータ部５１２には、このＲＡＷファイル５１０とともに生成された静止画ファイル５００のファイル名の情報５１４が含まれる。また、その静止画ファイル５００が簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報５１５が含まれる。さらに、メタデータ部５１２には、評価値算出部１０５で算出された評価値、認識部１３１で検知された被写体情報、及び撮像光学部１０１や撮像センサー部１０２の撮影時の情報を含む撮影メタデータ５１６が含まれる。撮影時の情報としては、例えば、レンズ種別識別情報、センサー種別識別情報、連写やブラケット等の撮影タイプ情報、ＲＡＷファイル５１０が生成された時間情報などが含まれる。また、メタデータ部５１２に、ともに生成された静止画ファイル５００が記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでもよい。或いはともに生成された静止画ファイル５００そのものをメタデータ化して、メタデータ部５１２に格納してもよい。
【００４９】
上述した本実施形態に係る静止画の各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格に準じた構成であってもよい。
【００５０】
以上のように本実施形態に係る撮像装置１００は、簡易現像部１１１が、静止画撮影モードにおける撮影指示が行われるまでのライブビュー表示される画像や、撮影指示に応答して生成される静止画データの現像処理を行う。また、簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることにより、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。
【００５１】
一方、本実施形態に係る撮像装置１００は、上述のように、静止画の撮影指示に応答して、ＲＡＷファイルを生成する。ＲＡＷファイルは、センサー信号処理部１０３から供給される画像データの画質を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。
【００５２】
続いて、図４のＳ４０１で遷移するステップであるＳ４１３について、図６のフローチャートを用いて説明する。
図６は、本実施形態のアイドル状態における追いかけ現像処理手順の一例を示すフローチャートである。図６に示すフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００５３】
図６において、Ｓ６００においてアイドル状態の処理が開始されると、Ｓ６０１において、制御部１６１は、ユーザーが操作した設定により、追いかけ現像を行うか否かを判定する。この追いかけ現像の詳細については後述する。この判定の結果、追いかけ現像を行わない場合はＳ６０２に進み、追いかけ現像を行う場合はＳ６１３に遷移する。
【００５４】
次のＳ６０２〜Ｓ６１２においては、ユーザーからの現在のモード設定に従って、制御部１６１は、図３に示した静止画撮影モード３０１、静止画再生モード３０２、動画撮影モード３０３、動画再生モード３０４の何れのモードに遷移するかを判定する。
【００５５】
まず、Ｓ６０２において、制御部１６１は、撮影中フラグを１にセットし、再生中フラグを０にセットする。そして、Ｓ６０３において、静止画撮影モードに設定されているか否かを判定する。この判定の結果、静止画撮影モードに設定されている場合は、Ｓ６０９に進み、図４に示した静止画撮影モードに遷移する。一方、Ｓ６０３の判定の結果、静止画撮影モードに設定されていない場合は、Ｓ６０４において、動画撮影モードに設定されているか否かを判定する。この判定の結果、動画撮影モードに設定されている場合は、Ｓ６１０に進み、後述する動画撮影モードに遷移する。
【００５６】
一方、Ｓ６０４の判定の結果、動画撮影モードに設定されていない場合は、Ｓ６０５において、制御部１６１は、撮影中フラグを０にセットし、再生中フラグを１にセットする。そして、Ｓ６０６において、静止画再生モードに設定されているか否かを判定する。この判定の結果、静止画再生モードに設定されている場合は、Ｓ６１１に進み、後述する静止画再生モードに遷移する。一方、Ｓ６０６の判定の結果、静止画再生モードに設定されていない場合は、Ｓ６０７において、動画再生モードに設定されているか否かを判定する。この判定の結果、動画再生モードに設定されている場合は、Ｓ６１２に進み、後述する動画再生モードに遷移する。
【００５７】
一方、Ｓ６０７の判定の結果、動画再生モードに設定されていない場合は、Ｓ６０８において、制御部１６１は、撮影中フラグを０にセットし、再生中フラグを０にセットする。そして、Ｓ６０１に戻る。
【００５８】
ここで、追いかけ現像とは、撮影動作を終えた後、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷファイルをソースとして、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理である。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画及び動画の両方を対象とするが、以下では静止画を例に説明する。
【００５９】
上述したように、撮影時に生成される静止画ファイルは、簡易現像部１１１で現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりしており、画質は限定的な品質である。撮影内容を大まかに確認する場合にはこの画質で十分といえるが、画像の細部を確認したり、プリントアウトしたりする用途の場合には、画質が十分ではない場合がある。
【００６０】
一方、静止画とともに生成するＲＡＷファイルは、センサー信号処理部１０３から供給される画像データの画質を大きく損なわない高品質を有する。ところが、ＲＡＷファイルは現像処理前のデータであるため、表示やプリントアウトには即時対応できず、ＲＡＷ現像を行うために多くの時間を要してしまう。また、ＲＡＷファイルはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。
【００６１】
そこで本実施形態では、追いかけ現像により、既に記録されているＲＡＷファイルを読み出して高画質現像部１１２によって高画質な現像処理を行い、生成した静止画ファイルを記録媒体１５２等へ記録する。本実施形態では、このような追いかけ現像を、撮影の合間や、再生モードやスリープ状態などユーザーの操作待ちの装置の処理負荷が比較的小さい状態において実行させる。追いかけ現像はユーザーからの直接の指示に応じて行う場合に限らず、制御部１６１が設定に従って自動的に実行させるようにすることができる。
【００６２】
このように構成することにより、その後に、画像の細部を確認する場合やプリントアウトしたい場合など、高画質な画像を出力したい場合においても、その都度余計な現像処理を行うことを不要にすることができる。また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。
【００６３】
記録媒体１５２等には、１回の撮影指示に対して、静止画ファイル及びＲＡＷファイルが１組として記録されている。Ｓ６０１の判定の結果、ユーザーからの直接の指示により、もしくは設定された所定の条件を満たすことにより追いかけ現像を行う場合は、制御部１６１は、各ファイルの組について、追いかけ現像が処理済みか未処理かを判定する（Ｓ６１３）。
【００６４】
判定の方法としては、例えば静止画ファイル５００のメタデータ部５０２に格納されている現像ステータスの情報５０５を参照する。そして、現像ステータスの情報５０５において、この静止画ファイルが簡易現像部１１１で処理されたものなのか否かを識別するためのフラグを参照し、このフラグから追いかけ現像が処理済みか未処理かを判定する。ＲＡＷファイル５１０に関しても同様に判定することができる。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定してもよい。
【００６５】
Ｓ６１３の判定の結果、追いかけ現像が処理済みである場合はＳ６０２に遷移する。一方、追いかけ現像が未処理である場合は、Ｓ６１４に遷移する。ここで追いかけ現像が未処理である追いかけ現像対象となるＲＡＷ画像データが複数存在する場合は、撮影順に現像を行ってもよいが、本実施形態ではユーザーの指示と動作モードとに応じて追っかけ現像の順序を適宜変更する。これによりユーザーが必要とする高画質な画像を必要なタイミングで提供することが可能となる。
【００６６】
Ｓ６１４においては、現像画像選択部１７１は、撮影中フラグの値が１であるか否かを判定する。この判定の結果、撮影中フラグが１である場合は、Ｓ６１５において、現像画像選択部１７１は、撮影中に応じたＲＡＷ画像データを選択する。この処理の詳細については図７を参照しながら後述する。
【００６７】
一方、Ｓ６１４の判定の結果、撮影中フラグの値が１でない場合は、Ｓ６１６において、現像画像選択部１７１は、再生中フラグの値が１であるか否かを判定する。この判定の結果、再生中フラグが１である場合は、Ｓ６１７において、現像画像選択部１７１は、再生中に応じたＲＡＷ画像データを選択する。この処理の詳細については図８を参照しながら後述する。一方、Ｓ６１６の判定の結果、再生中フラグの値が１でない場合は、Ｓ６１８において、現像画像選択部１７１は、アイドル中に応じたＲＡＷ画像データを選択する。この処理の詳細については図９を参照しながら後述する。
【００６８】
図７は、現像画像選択部１７１により、撮影中に応じた追いかけ現像の対象となるＲＡＷ画像データを選択する処理手順の一例を示すフローチャートである。撮影中において追いかけ現像を行う画像データを選択する際には、単位時間当たりの追いかけ現像枚数を最大にすることを目的として処理を行う。
【００６９】
この処理では、追いかけ現像の対象となる画像データがバッファ部１１５に存在することを第１の優先パラメータとする。これにより、追いかけ現像処理を行う際に、記録媒体１５２等からの読み出し時間が不要となり、速やかに追いかけ現像処理を実施することができる。
【００７０】
次に、連写もしくはブラケット撮影を行った画像はそうでない画像に対して相対的にユーザーにとって重要であると判断できるため、この撮影によって生成された画像データか否かであることを第２の優先パラメータとする。これにより、ユーザーが撮影後に表示やプリントアウトの指示を行った際に即時対応が可能となる。連写もしくはブラケット撮影においては複数枚のＲＡＷ画像データが生成され、それらの画像群が追いかけ現像の対象となる。
【００７１】
ここで、これらのＲＡＷ画像データすべてに対して追いかけ現像処理を施してもよいが、本実施形態では画像群から代表画像となるＲＡＷ画像データを選択する。具体的には、例えば連写撮影における先頭画像、およびブラケット撮影における基準設定値による撮影画像を代表画像とする。また、所定枚数を超える連写撮影の場合は、先頭画像から所定枚数ごとの中間画像も代表画像としてもよい。
【００７２】
図７のＳ７００において、処理が開始されると、Ｓ７０１において、現像画像選択部１７１は、追いかけ現像の対象となる候補のＲＡＷ画像データを抽出して状態をスキャンするとともに、内部処理に用いる優先度フラグを０に初期化する。次に、Ｓ７０２において、追いかけ現像の対象となる候補のＲＡＷ画像データがバッファ部１１５に存在するか否かを判定する。この判定の結果、バッファ部１１５に存在する場合は、Ｓ７０３において、該当するＲＡＷ画像データの優先度フラグに対して＋１０とする。一方、Ｓ７０２の判定の結果、バッファ部１１５に存在しない場合は、Ｓ７０４に進む。
【００７３】
続いてＳ７０４において、追いかけ現像の対象となるＲＡＷファイルのメタデータ部を確認し、撮影タイプ情報が連写もしくはブラケットとなっているものが存在するか否かを判定する。この判定の結果、連写もしくはブラケット撮影であるものが存在する場合は、Ｓ７０５において、該当するＲＡＷ画像データの優先度フラグに対して＋０１とする。一方、Ｓ７０４の判定の結果、連写もしくはブラケット撮影でない場合は、Ｓ７０６に進む。
【００７４】
続いてＳ７０６において、優先度フラグが１１（Ｓ７０２／ＹＥＳかつＳ７０４／ＹＥＳ）のものが存在するか否かを判定する。この判定の結果、優先度フラグが１１であるものが存在する場合は、Ｓ７０７において、その中からバッファ部１１５に存在し、連写もしくはブラケット撮影であって、かつ撮影時間が最も新しい画像群から前述した代表画像であるＲＡＷ画像データを選択する。一方、Ｓ７０６の判定の結果、優先度フラグが１１であるものが存在しない場合は、Ｓ７０８に進む。
【００７５】
次に、Ｓ７０８において、優先度フラグが１０（Ｓ７０２／ＹＥＳかつＳ７０４／ＮＯ）であるものが存在するか否かを判定する。この判定の結果、優先度フラグが１０であるものが存在する場合は、Ｓ７０９において、その中からバッファ部１１５に存在し、かつ撮影時間が最も新しいＲＡＷ画像データを選択する。一方、Ｓ７０８の判定の結果、優先度フラグが１０であるものが存在しない場合は、Ｓ７１０に進む。
【００７６】
次に、Ｓ７１０において、優先度フラグが０１（Ｓ７０２／ＮＯかつＳ７０４／ＹＥＳ）であるものが存在するか否かを判定する。この判定の結果、優先度フラグが０１であるものが存在する場合は、Ｓ７１１において、その中から連写もしくはブラケット撮影であって、かつ撮影時間が最も新しいＲＡＷ画像データを選択する。一方、Ｓ７１０の判定の結果、優先度フラグが０１であるものが存在しない場合は、優先度フラグが００であることから、Ｓ７１２において、撮影時間が最も新しいＲＡＷ画像データを選択する。
【００７７】
図８は、現像画像選択部１７１により、再生中に応じた追いかけ現像の対象となるＲＡＷ画像データを選択する処理手順の一例を示すフローチャートである。再生中において追いかけ現像の対象となる画像データを選択する際には、ユーザーの操作によって再生対象の画像データが指定された場合に、高画質な表示画像をタイムリーに提供することを目的として処理を行う。
【００７８】
この処理では、ユーザーの操作によって再生が指定された画像データ（以下、再生指定画像）から再生方向に対して撮影時間が連続した所定枚数の画像データが存在することを第１の優先パラメータとする。ここで再生方向とは、再生指定画像に対してユーザーの操作により次に再生を指定すると推測される時間方向である。本実施形態では、再生中にユーザーの画像送り操作に伴い、再生指定画像から時間を遡るのか、先に進めるのかを判断する。
【００７９】
ここで、ユーザーにより再生が指定されていない場合は、撮影時間が最新の画像データを再生指定画像とし、再生方向についてもユーザーにより指定がない場合には撮影時間を遡る方向とする。なお、第１の優先パラメータとして、再生指定画像に対して所定枚数ではなく、所定時間内に撮影された未現像の画像データが存在することとしてもよい。また、所定枚数及び所定時間はユーザーが設定可能としてもよいし、高画質現像部１１２の性能や撮像装置１００の状況に応じて制御部１６１が自動で設定するようにしてもよい。これにより、ユーザーが画像送り操作を行って再生指定画像を変更した際にも、高画質な表示画像をタイムリーに提供することが可能となる。
【００８０】
また、ユーザーが表示画像を確認し、プリントアウトしたりＳＮＳへ投稿したりすることを目的として外部へ転送することを指示するケースがある。そこで、このように表示以外の特別処理が指示されている画像データが存在することを第２の優先パラメータとする。これにより、ユーザーの再生確認作業を妨げることなく、特別処理を実行することが可能となる。
【００８１】
まず、図８のＳ８００において処理が開始されると、Ｓ８０１において、現像画像選択部１７１は、追いかけ現像対象の候補のＲＡＷ画像データを抽出して状態をスキャンするとともに、内部処理に用いる優先度フラグを０に初期化する。次に、Ｓ８０２において、ユーザーの操作により、新たな画像データが再生に指定されたか否かを判定する。この判定の結果、新たな画像データが再生に指定されていない場合はＳ８０５に進み、新たな画像データが再生に指定された場合はＳ８０３に進む。Ｓ８０３において、ユーザーの操作により再生方向に変更があったか否かを判定する。この判定の結果、再生方向に変更があった場合は、Ｓ８０４において再生方向フラグを反転する。一方、再生方向に変更がない場合はＳ８０５に進む。
【００８２】
次に、Ｓ８０５においては、再生指定画像から再生方向に対して撮影時間が連続した所定枚数の範囲に追いかけ現像の対象となるＲＡＷ画像データが存在するか否かを判定する。この判定の結果、撮影時間が連続した所定枚数の範囲に存在する場合は、Ｓ８０６において、該当するＲＡＷ画像データの優先度フラグに対して＋１０とする。一方、Ｓ８０５の判定の結果、撮影時間が連続した所定枚数の範囲に存在しない場合は、Ｓ８０７に進む。
【００８３】
続いてＳ８０７において、追いかけ現像の対象に、プリントアウトや外部への転送等の特別処理が指示された画像データが存在するか否かを判定する。この判定の結果、特別処理が指示された画像データが存在する場合は、Ｓ８０８において、該当するＲＡＷ画像データの優先度フラグに対して＋０１とする。一方、Ｓ８０７の判定の結果、特別処理が指示された画像データが存在しない場合は、Ｓ８０９に進む。
【００８４】
次に、Ｓ８０９において、優先度フラグが１１（Ｓ８０５／ＹＥＳかつＳ８０７／ＹＥＳ）もしくは１０（Ｓ８０５／ＹＥＳかつＳ８０７／ＮＯ）であるものが存在するか否かを判定する。この判定の結果、優先度フラグが１１もしくは１０であるものが存在する場合は、Ｓ８１０において、その中から、再生指定画像から再生方向に対して最も撮影時間の近いＲＡＷ画像データを選択する。一方、Ｓ８０９の判定の結果、優先度フラグが１１、１０のどちらも存在しない場合は、Ｓ８１１に進む。
【００８５】
次に、Ｓ８１１において、優先度フラグが０１（Ｓ８０５／ＮＯかつＳ８０７／ＹＥＳ）であるものが存在するか否かを判定する。この判定の結果、優先度フラグが０１である場合は、Ｓ８１２において、その中から特別処理が指示され、かつ特別処理を指示された時間が最も古いＲＡＷ画像データを選択する。一方、Ｓ８１１の判定の結果、優先度フラグが０１であるものが存在しない場合は、すべての候補の優先度フラグが００であるため、Ｓ８１３において、撮影時間が最も新しいＲＡＷ画像データを選択する。
【００８６】
図９は、現像画像選択部１７１により、アイドル中に応じた追いかけ現像の対象となるＲＡＷ画像データを選択する処理手順の一例を示すフローチャートである。アイドル中において追いかけ現像の対象となる画像データを選択する際には、プリントアウトや外部転送等の特別処理を実施することを目的として処理を行う。
【００８７】
この処理では、特別処理を指示されている画像データが存在することを第１の優先パラメータとする。そして、対象となる画像データがバッファ部１１５に存在することを第２の優先パラメータとする。これにより、ユーザーから指示された処理を効率良く実施することが可能となる。
【００８８】
図９のＳ９００において、処理が開始されると、Ｓ９０１において、現像画像選択部１７１は、追いかけ現像の対象となる候補のＲＡＷ画像データを抽出して状態をスキャンするとともに、内部処理に用いる優先度フラグを０に初期化する。次にＳ９０２において、プリントアウトや外部転送等の特別処理が指示されたＲＡＷ画像データが存在するか否かを判定する。この判定の結果、特別処理が指示されたＲＡＷ画像データが存在する場合は、Ｓ９０３において、該当するＲＡＷ画像データの優先度フラグに対して＋１０とする。一方、Ｓ９０２の判定の結果、特別処理が指示された画像データが存在しない場合は、Ｓ９０４に進む。
【００８９】
続いてＳ９０４において、追いかけ現像の対象となる候補のＲＡＷ画像データがバッファ部１１５に存在するか否かを判定する。この判定の結果、バッファ部１１５に存在する場合は、Ｓ９０５において、該当するＲＡＷ画像データの優先度フラグに対して＋０１とする。一方、Ｓ９０４の判定の結果、バッファ部１１５に存在しない場合は、Ｓ９０６に進む。
【００９０】
次に、Ｓ９０６において、優先度フラグが１１（Ｓ９０２／ＹＥＳかつＳ９０４／ＹＥＳ）であるものが存在するか否かを判定する。この判定の結果、優先度フラグが１１であるものが存在しない場合は、Ｓ９０７において、その中からバッファ部１１５に存在し、かつ特別処理が指示されてあってその指示された時間が最も古いＲＡＷ画像データを選択する。一方、Ｓ９０６の判定の結果、優先度フラグが１１であるものが存在しない場合は、Ｓ９０８に進む。
【００９１】
次に、Ｓ９０８において、優先度フラグが１０（Ｓ９０２／ＹＥＳかつＳ９０４／ＮＯ）であるものが存在するか否かを判定する。この判定の結果、優先度フラグが１０であるものが存在する場合は、Ｓ９０９において、その中から特別処理が指示されており、かつその指示された時間が最も古いＲＡＷ画像データを選択する。一方、Ｓ９０８の判定の結果、優先度フラグが１０であるものが存在しない場合は、Ｓ９１０に進む。
【００９２】
次に、Ｓ９１０において、優先度フラグが０１（Ｓ９０２／ＮＯかつＳ９０４／ＹＥＳ）であるものが存在するか否かを判定する。この判定の結果、優先度フラグが０１である場合は、Ｓ９１１において、その中からバッファ部１１５に存在し、かつ撮影時間が最も古いＲＡＷ画像データを選択する。一方、Ｓ９１０の判定の結果、優先度フラグが０１であるものが存在しない場合は、すべての候補の優先度フラグが００であるため、Ｓ９１２において、撮影時間が最も古いＲＡＷ画像データを選択する。
【００９３】
以上の図７〜図９の何れかの手順により、追いかけ現像の対象となるＲＡＷ画像データが選択される。そして、前述の何れかの手順により追いかけ現像の対象となるＲＡＷ画像データが選択されると、Ｓ６１９に遷移する。
【００９４】
図６の説明に戻り、次に、Ｓ６１９において、制御部１６１は、選択されたＲＡＷ画像データ（ＲＡＷファイル）がバッファ部１１５に存在するか否かを判定する。この判定の結果、バッファ部１１５に存在する場合はＳ６２１に進み、バッファ部１１５に存在しない場合は、Ｓ６２０において、記録再生部１５１により対応するＲＡＷファイルを記録媒体１５２から読み出す。
【００９５】
ここで、バッファ部１１５においては、静止画撮影モードで撮影された新しい画像データから優先的に保持されるように、画像データが更新される。すなわち、過去に撮影された画像データから順にバッファ部１１５から消去される。こうすることにより、直前に撮影された画像データは常にバッファ部１１５に保持されているので、Ｓ６２０の処理を省略して高速に処理できる。さらに、直前に撮影された画像データから時刻を遡って、追いかけ現像を実行するようにすれば、バッファ部１１５に保持されている画像データから優先的に処理が完了できるため、処理をより効率良くすることができる。
【００９６】
続いてＳ６２１において、ＲＡＷ伸張部１１４は、バッファ部１１５又は記録媒体１５２から読み出したＲＡＷファイルを伸張処理し、ＲＡＷ画像データを復元する。そして、Ｓ６２２において、高画質現像部１１２は、復元されたＲＡＷ画像データを高画質に現像処理し、スイッチ部１２１を経由して静止画圧縮部１４１に出力する。
【００９７】
高画質現像部１１２による現像処理では、ＲＡＷ画像データをデベイヤー処理（デモザイク処理）し、輝度と色差とからなる信号へ変換して、各信号に含まれるノイズを除去するとともに、光学的な歪を補正し、画像を適正化するなどの処理を行う。高画質現像部１１２によって現像処理された画像データのサイズ（画素数）は、撮像センサー部１０２から読み出された全体サイズのまま、或いは予め設定されたサイズとなる。したがって、２００万画素以下に制限された簡易現像処理された画像データよりも格段に高品質となる。
【００９８】
高画質現像部１１２は、簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な画像データが得られるが、その分処理負荷が大きくなってしまう。ところが、本実施形態の高画質現像部１１２は、撮影と並行してリアルタイムに現像処理を行うことを避け、時間をかけて現像処理することを可能としたので、回路規模や消費電力の増大を抑える構成となっている。
【００９９】
次に、Ｓ６２３において、静止画圧縮部１４１は、高画質現像部１１２で現像処理された画像データに対して高能率符号化処理（静止画圧縮）を施し、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。そして、Ｓ６２４において、記録再生部１５１は、高画質の静止画ファイルを記録媒体１５２等に記録し、Ｓ６０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画データがある場合に、その画像毎に同様の処理を繰り返して実行することが可能である。
【０１００】
Ｓ６２４で記録される静止画ファイルは、図５（ａ）に示す静止画ファイル５００と同様の構成であり、ヘッダ部５０１、メタデータ部５０２、及び圧縮データ部５０３から構成されている。なお、メタデータ部５０２には、この静止画ファイル５００の元となったＲＡＷファイルのファイル名の情報５０４が含まれる。また、この静止画ファイル５００が高画質現像部１１２によって高画質現像されたことを示す現像ステータスの情報５０５が含まれる。さらに、前述した撮影メタデータ５０６が含まれる。
【０１０１】
また、記録再生部１５１は、Ｓ６２４において高画質の静止画ファイルを記録する際に、簡易現像の静止画ファイルと同じファイル名を与え、この静止画ファイルを上書きするように記録する。すなわち、簡易現像による静止画ファイルは削除される。そして、記録再生部１５１は、追いかけ現像の元となったＲＡＷファイルにおけるメタデータ部５１２内の現像ステータスの情報５１５を、高画質現像済（又は追いかけ現像済）を示す情報に更新する。
【０１０２】
次に、撮像装置１００の静止画再生モードにおける動作について説明する。
図１０は、本実施形態の静止画再生モードにおける処理手順の一例を示すフローチャートである。図１０に示すフローチャートは、制御部１６１によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【０１０３】
図１０のＳ１０００において静止画再生モードの処理が開始されると、Ｓ１００１において、制御部１６１は、撮像装置１００の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。静止画撮影モードと同様に、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し（Ｓ１０１１）、そうでない場合はＳ１００２へ進む。なお、アイドル状態へ遷移した場合の処理については図６と同様であるため、説明は省略する。
【０１０４】
例えば、再生指示などのユーザーによる操作を待っている間は処理負荷が低いため、高い頻度でＳ１０１１へ遷移する。一方、例えばユーザーの操作に応じて静止画データの再生が開始されている（再生中の状態を含む）場合は、処理負荷が高いため、Ｓ１００２へ進む。
【０１０５】
次のＳ１００２においては、制御部１６１は、再生される静止画データについて、拡大表示を行うか否かを判定する。この判定の結果、拡大表示を行う場合はＳ１００３に進み、拡大表示を行わない場合はＳ１００９に進む。ここで、拡大表示する場合とは、ユーザーの操作により拡大表示の指示を受けている場合や、後述するように通常表示を行うと画質が劣化してしまうような場合などがある。
【０１０６】
図１１は、拡大表示を含む表示形態の種類を説明するための図であり、本実施形態の静止画再生モードにおける表示例を示している。
図１１（ａ）には、縮小した６つの画像１１０１が表示部１２３に表示されている画面１１００の一例を示している。図１１（ｂ）には、ある１つの画像１１１１の全体が表示部１２３に表示されている画面１１１０の一例を示しており、この表示の状態を通常表示とする。また、図１１（ｃ）には、ある１つの画像の一部領域を拡大した画像１１２１が表示部１２３に拡大表示されている画面１１２０の一例を示している。例えば、撮影直後にフォーカスの適否の確認を行うような場合は、図１１（ｃ）に示すように、被写体像の細部を拡大表示することが一般に行われる。
【０１０７】
ここで、図１１（ａ）に示す画面１１００のように縮小表示する場合は、Ｓ１００２からＳ１００９へ遷移する。また、図１１（ｂ）に示す画面１１１０のように通常表示する場合は、以下のように処理を行う。表示部１２３の表示画素数が簡易現像による静止画ファイルの画素数（例えば２００万画素）以下である場合は、等倍もしくは縮小で表示するため、Ｓ１００２からＳ１００９へ遷移する。
【０１０８】
Ｓ１００９においては、記録再生部１５１は、記録媒体１５２等から再生対象の静止画ファイルを読み出す。そして、Ｓ１０１０において、静止画伸張部１４３は、静止画ファイルを復号して伸張し、後述するＳ１００８において、表示処理部１２２が図１１に示すような表示形態で静止画を表示部１２３に表示する。
【０１０９】
表示される画像が、簡易現像による静止画ファイルの画素数以下である場合は、静止画ファイルが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示できる。一方、拡大表示する場合とは、表示される画像が、簡易現像による静止画ファイルの画素数を超えるような場合に起こり得る。すなわち、簡易現像による静止画を表示すると解像感の低下を招いてしまう。
【０１１０】
よって、Ｓ１００２の判定の結果、拡大表示を行う場合は、Ｓ１００３において、制御部１６１は、表示されるべき画像の静止画ファイルが、高画質現像部１１２で現像されたものであるか否かを判定する。判定方法としては、図５に示すような静止画ファイル５００のメタデータ部５０２に格納されている現像ステータスの情報５０５を参照する。なお、ＲＡＷファイル５１０の中の現像ステータスの情報５１５を参照し、同様に判定してもよい。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルを別途用意しておき、このテーブルを参照して判定してもよい。
【０１１１】
Ｓ１００３の判定の結果、高画質現像された静止画ファイルである場合は、拡大表示しても十分な画質で表示することができるため、Ｓ１００９に進む。一方、Ｓ１００３の判定の結果、高画質現像された静止画ファイルでない場合は、簡易現像部１１１で現像処理された静止画ファイルである。そこで、Ｓ１００４以降の処理において、表示されるべき画像に対応するＲＡＷファイルに対して、前述した追いかけ現像と同様の高画質現像を実行する。
【０１１２】
Ｓ１００４〜Ｓ１００７の処理は、それぞれ図６のＳ６１９〜Ｓ６２２の処理と同様であるため、説明は省略する。Ｓ６２２において高画質の現像処理が行われると、処理された静止画データがスイッチ部１２１を経由して表示処理部１２２に出力される。そして、Ｓ１００８において、表示処理部１２２は、図１１（ｃ）に示すような表示態様により画像を表示部１２３に表示する。なお、Ｓ１００８で表示が停止されると、Ｓ１００１に戻る。
【０１１３】
ここで、図１０のＳ１００４以降に行われる高画質現像は、撮影直後等など、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影の合間など処理負荷が比較的小さい状態のときに静止画データの追いかけ現像が行われる。したがって、時間の経過とともに図６に示した処理が繰り返されることにより、簡易現像による静止画ファイルの多くが高画質現像による静止画ファイルに置き換わる。このような静止画ファイルの置き換えが進むに従って、Ｓ１００４以降の処理を行うケースが減少し、拡大表示に対して速やかに高画質の画像を出力できるようになり、操作性が一層高まっていく。
【０１１４】
また、前述したように、バッファ部１１５にＲＡＷファイルが保持されている場合には、Ｓ１００５をスキップできるため、素早く画像を表示することができる。そこで、バッファ部１１５になるべくＲＡＷファイルが保持された状態になるように、図１１（ａ）または図１１（ｂ）に示すような表示を行う場合に、拡大表示に備えた処理を行ってもよい。具体的には、図１１（ａ）または図１１（ｂ）に示すような表示態様で表示されている画像に対応するＲＡＷファイルを予め記録媒体１５２から読み出してバッファ部１１５へ予め保持させてもよい。このように拡大表示が指示される前に、記録再生部１５１が記録媒体１５２等から該当するＲＡＷファイルを読み出してバッファリングすることにより、拡大表示の指示がなされたときに、より素早く表示することができる。
【０１１５】
次に、撮像装置１００の動画撮影モードにおける動作について説明する。
図１２は、本実施形態の動画撮影モードにおける処理手順の一例を示すフローチャートである。図１２に示すフローチャートは、制御部１６１によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【０１１６】
図１２のＳ１２００において、動画撮影モードの処理が開始されると、Ｓ１２０１において、制御部１６１は、撮像装置１００の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。静止画撮影モードと同様に、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し（Ｓ１２１３）、そうでない場合はＳ１２０２へ進む。なお、アイドル状態へ遷移した場合の処理については、対象となるＲＡＷファイルが動画であるが、基本的な処理手順は図６と同様であるため、説明は省略する。
【０１１７】
例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画の撮影が設定されている場合は処理負荷が高いため、Ｓ１２１３へは遷移せず、常にＳ１２０２へ進む。一方、画素数が所定値より少ない動画の撮影や、フレームレートが所定の速度より低い動画の撮影が設定されている場合は、動画の第１のフレームの処理と第２のフレームの処理との合間に、例えば半分の頻度でＳ１２１３へ遷移する。
【０１１８】
次に、Ｓ１２０２〜Ｓ１２０７の処理については、それぞれ図４のＳ４０２〜Ｓ４０７の処理と同様であるため、説明は省略する。簡易現像処理は、動画の各フレームを構成するＲＡＷ画像データに対して行われる。以上のような手順により、動画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするための画像が表示される。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためにライブビュー表示される。
【０１１９】
次に、Ｓ１２０８において、制御部１６１は、ユーザーの操作により動画の記録開始指示を受け、撮影された動画を記録中（ＲＥＣ中）であるか否かを判定する。この判定の結果、動画の記録中である場合はＳ１２１０へ進む。一方、Ｓ１２０８の判定の結果、動画の記録中でない場合（すなわちスタンバイ中）は、Ｓ１２０１へ戻り、動画の記録開始前の撮影動作とライブビュー表示とを繰り返す。
【０１２０】
次に、Ｓ１２０９において、動画圧縮部１４２は、撮影された動画のうち、記録開始から記録終了までの記録対象となる動画をフレーム単位で圧縮する。なお、図１には構成が省略されているが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声データが取得されている。動画圧縮部１４２は、動画に対応する音声データに対しても圧縮処理を施す。動画圧縮部１４２は、取得した簡易現像がなされた動画データ及び音声データに対して高能率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４２は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理を行う。そして、Ｓ１２１０において、記録再生部１５１は、動画ファイルを記録媒体１５２に記録する。
【０１２１】
さらに、Ｓ１２１１において、ＲＡＷ圧縮部１１３は、記録対象となった動画に対応する期間のＲＡＷ画像データをセンサー信号処理部１０３から取得する。そして、Ｓ１２１２において、ＲＡＷ圧縮部１１３は、記録対象となった動画と同じシーンを示すＲＡＷ画像データを高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する。そして、ＲＡＷファイルをバッファ部１１５に格納する。ＲＡＷファイルに関しては、前述した通りのものである。さらに、記録再生部１５１は、ＲＡＷファイルを記録媒体１５２に記録した後、Ｓ１２０１に遷移する。
【０１２２】
ここで、本実施形態に係る動画ファイルの構造と、その動画ファイルに対応するＲＡＷファイルの構造とについて説明する。図１３は、動画ファイル及びＲＡＷファイルの構成例を示す図である。
図１３（ａ）に示す動画ファイル１３００は、図５（ａ）に示した静止画ファイル５００と同様に、ヘッダ部１３０１、メタデータ部１３０２、及び圧縮データ部１３０３から構成されている。ヘッダ部１３０１には、このファイルが動画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部１３０３には、高能率符号化された動画データと圧縮された音声データとが含まれている。メタデータ部１３０２には、図５（ａ）に示した静止画ファイル５００のメタデータ部５０２と同様に、ＲＡＷファイルのファイル名の情報１３０４、現像ステータスの情報１３０５及び撮影メタデータ１３０６が含まれる。
【０１２３】
図１３（ｂ）に示す動画ファイルに対応するＲＡＷファイル１３１０は、図５（ｂ）に示すＲＡＷファイルと同様に、ヘッダ部１３１１、メタデータ部１３１２、及び圧縮データ部１３１３から構成されている。ヘッダ部１３１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部１３１３には、高能率符号化された動画のＲＡＷ圧縮データが含まれている。なお、圧縮されていない動画のＲＡＷ画像データが圧縮データ部１３１３に含まれるようにしてもよい。
【０１２４】
メタデータ部１３１２には、図５（ｂ）に示したＲＡＷファイル５１０のメタデータ部５１２と同様に、動画ファイル１３００のファイル名の情報１３１４、現像ステータスの情報１３１５及び撮影メタデータ１３１６が含まれる。なお、ともに生成された動画ファイルそのもの全部、または先頭フレームなどの一部を抽出してメタデータ化して、メタデータ部１３１２に格納するようにしてもよい。また、本実施形態に係る動画の各種ファイルの構造は一例であり、ＤＣＦ、ＡＶＣＨＤ、ＭＸＦなどの標準規格に準じた構成であってもよい。
【０１２５】
本実施形態に係る撮像装置１００は、静止画撮影モードの場合と同様に、例えばＨＤサイズの動画の簡易現像処理を、小さい回路規模で少ない消費電力で実現することができる。また、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。
【０１２６】
次に、撮像装置１００の動画再生モードにおける動作について説明する。
図１４は、本実施形態の動画再生モードにおける処理手順の一例を示すフローチャートである。図１０に示すフローチャートは、制御部１６１によって、各処理ブロックを制御して実行される処理手順を示したものである。そして、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【０１２７】
図１４のＳ１４００において、動画再生モードの処理が開始されると、Ｓ１４０１において、制御部１６１は、撮像装置１００の処理負荷が低い状況であり、アイドル状態に遷移すべきか否かを判定する。静止画撮影モードと同様に、処理負荷が低い状況である場合は負荷状況に応じた頻度でアイドル状態へ遷移するものとする。この判定の結果、アイドル状態に遷移すべきである場合はアイドル状態へ遷移し（Ｓ１４１４）、そうでない場合はＳ１４０２へ進む。なお、アイドル状態へ遷移した場合の処理については、対象となるＲＡＷファイルが動画であるが、基本的な処理手順は図６と同様であるため、説明は省略する。
【０１２８】
例えば、再生指示などのユーザーのよる操作を待っている間は、処理負荷が低いため、高い頻度でＳ１４１２へ遷移する。一方、例えばユーザーの操作に応じて動画データの再生が開始されている（再生中の状態を含む）場合は、処理負荷が高いため、Ｓ１４０２へ進む。
【０１２９】
次に、Ｓ１４０２において、制御部１６１は、再生される動画データについて、ユーザーの操作により再生の一時停止（ポーズ）の指示を受けているか否かを判定する。この判定の結果、一時停止の指示を受けていない場合は動画データの再生を継続するため、Ｓ１４０３に進む。
【０１３０】
次にＳ１４０３において、記録再生部１５１は、記録媒体１５２等から再生対象の動画ファイルを読み出す。そして、Ｓ１４０４において、動画伸張部１４４は、動画ファイルを１フレームずつ復号して伸張する。そして、Ｓ１４０５において、表示処理部１２２は、再生された動画データの表示画像を表示部１２３に表示する。
【０１３１】
一方、Ｓ１４０２の判定の結果、一時停止の指示を受けている場合は、一時停止されたときの停止位置のフレームを静止画として表示させるために、Ｓ１４０６へ遷移する。ここで、一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には、再生中のときよりも拡大表示の指示を受けやすいと考えられる。そこで本実施形態では、一時停止中は簡易現像されている動画ファイルよりも高画質な画像を表示させる。
【０１３２】
まず、Ｓ１４０６において、制御部１６１は、一時停止するシーンについて、図６に示した追いかけ現像等が行われて高画質現像を行った動画ファイルが記録媒体１５２等に既に記録されているか否かを判定する。この判定の結果、既に高画質の動画ファイルが記録されている場合は、Ｓ１４０７において、記録再生部１５１は、記録再生部１５１は、記録媒体１５２等から再生対象の高画質の動画ファイルを読み出す。そして、そのフレームを表示することとなる。
【０１３３】
一方、Ｓ１４０６の判定の結果、高画質の動画ファイルが存在しない場合は、Ｓ１４０８において、記録再生部１５１は、再生中の動画ファイルに対応するＲＡＷファイルを読み出す。このとき、再生対象となるＲＡＷファイルがバッファ部１１５に保持されている場合はバッファ部１１５からＲＡＷファイルを読み出し、そうでない場合は記録媒体１５２等からＲＡＷファイルを読み出す。
【０１３４】
次にＳ１４０９において、ＲＡＷ伸張部１１４は、バッファ部１１５又は記録媒体１５２等から読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像データを復元する。そして、Ｓ１４１０において、高画質現像部１１２は、復元されたＲＡＷ画像データの一時停止中のフレームを高画質に現像処理する。
【０１３５】
本実施形態に係る撮像装置１００は、このように動画のＲＡＷファイルから一時停止表示中のフレームに対応する高画質静止画を、新たな静止画ファイルとしてキャプチャすることも可能である。次のＳ１４１１において、制御部１６１は、ユーザーの操作により、停止位置の表示画像を静止画としてキャプチャする指示を受けつけたか否かを判定する。この判定の結果、キャプチャする指示を受けつけていない場合は、Ｓ１４０５において、表示処理部１２２は、高画質に現像された一時停止中の静止画を表示部１２３へ表示する。この処理によって、動画ファイルによる一時停止表示中の画像は、高画質に現像された静止画に置き換わる。
【０１３６】
一方、Ｓ１４１１の判定の結果、キャプチャの指示を受けつけている場合は、Ｓ１４１２に進む。そして、Ｓ１４１２において、静止画圧縮部１４１は、Ｓ１４１０で高画質現像部１１２によって現像処理された画像データを取得する。そして、キャプチャによって取得した画像データに対して高能率符号化処理（静止画圧縮）を施して高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。
【０１３７】
次に、Ｓ１４１３において、記録再生部１５１は、Ｓ１４１２で得られた高画質の静止画ファイルを記録媒体１５２等に記録する。そして、Ｓ１４０５に遷移し、前述したように表示処理部１２２は、高画質に現像された一時停止中の静止画を表示部１２３へ表示する。
【０１３８】
ここで、Ｓ１４１２で静止画圧縮部１４１によって生成される高画質の静止画ファイルは、図５（ａ）に示す静止画ファイル５００と同様の構成からなる。但し、メタデータ部５０２には、ＲＡＷファイルのファイル名の情報５０４として、キャプチャの元となった動画のＲＡＷファイルのファイル名が格納される。また、撮影メタデータ５０６として、さらに静止画としてキャプチャされたフレームの時刻情報が格納され、動画のＲＡＷファイルの対応するフレーム位置を指し示すことができる。
【０１３９】
また、動画のＲＡＷファイルの対応するフレームを静止画として抽出し、対となる新たなＲＡＷファイル５１０をこのとき作成してもよい。静止画のＲＡＷファイルを生成する手順に関しては、前述した静止画撮影モードのＳ４０９〜Ｓ４１２と同様の処理手順により、静止画ファイルとＲＡＷファイルとを生成する。
【０１４０】
なお、Ｓ１４０５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うためにＳ１４０１に戻る。このように本実施形態の撮像装置１００は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画ファイルを再生することができ、一時停止状態では、ＲＡＷファイルから高画質に現像した静止画を差し替えて表示することができる。さらに、この高画質な静止画を容易に静止画ファイルとしてキャプチャすることもできる。
【０１４１】
また、図１４のＳ１４０８以降に行われる高画質の現像処理は、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに動画の追いかけ現像が徐々に終了し、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ１４０６以降の高画質現像は発生するケースが減少し、Ｓ１４０７に進んで常時速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。
【０１４２】
このように本実施形態の撮像装置１００は、撮影の合間や、再生モード、スリープ状態など、ユーザーによる操作待ちの比較的処理負荷が小さい状態のときに、追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換える。また、撮影時の簡易現像による動画ファイルの場合も、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換える。これにより、画像の細部を確認する場合やプリントアウトする場合など、高画質な画像が要求されている場合であっても、その都度余計な現像処理を不要にすることができる。また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。
【０１４３】
以上が本実施形態の説明であるが、本発明は、技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。
【０１４４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１４５】
１０４  カメラ制御部
１１０  現像部
１１５  バッファ部
１５１  記録再生部
１６１  制御部
【図１】
2015126252.tif 000003
【図２】
2015126252.tif 000004
【図３】
2015126252.tif 000005
【図４】
2015126252.tif 000006
【図５】
2015126252.tif 000007
【図６】
2015126252.tif 000008
【図７】
2015126252.tif 000009
【図８】
2015126252.tif 000010
【図９】
2015126252.tif 000011
【図１０】
2015126252.tif 000012
【図１１】
2015126252.tif 000013
【図１２】
2015126252.tif 000014
【図１３】
2015126252.tif 000015
【図１４】
2015126252.tif 000016