(57)【要約】【課題】  撮像したＲＡＷ画像を適切な順番で現像し、記録媒体の空き容量をより早く確保する。【解決手段】  撮像手段と、前記撮像手段で取得したセンサ出力をＲＡＷ画像として記録媒体に保存するＲＡＷ画像保存手段と、ＲＡＷ画像の撮像とは非同期に前記保存されたＲＡＷ画像を現像して保存する現像手段と、前記現像手段で現像するＲＡＷ画像の順番を決定する順番決定手段と、前記現像手段で現像が終わったＲＡＷ画像を削除する削除手段とを備える。【選択図】図３
2019110367.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像してセンサ出力を取得する撮像手段と、
前記撮像手段で取得したセンサ出力をＲＡＷ画像として記録媒体に保存するＲＡＷ画像保存手段と、
ＲＡＷ画像の撮像とは非同期に前記保存されたＲＡＷ画像を現像して保存する現像手段と、
前記現像手段で現像するＲＡＷ画像の順番を決定する順番決定手段と、
前記現像手段で現像が終わったＲＡＷ画像を削除する削除手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記順番決定手段は、ＲＡＷ画像のデータサイズに基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記順番決定手段は、撮影時の撮影モードに応じて決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記順番決定手段は、ＲＡＷ画像の圧縮率に応じて決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記順番決定手段は、優先する条件を予めユーザが指定可能であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記順番決定手段は、予め削除しないようにユーザが指定していたＲＡＷ画像は優先度を下げることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記順番決定手段は、前記記憶容量の空き容量が一定量より少なくなったときだけ順番を並び替えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置では、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）を現像処理（画像として認識できる形式のデータを作成する処理）してから記録媒体に記録する方法がある。また、ＲＡＷ画像のまま記録する撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、ＲＡＷ画像での記録の方が現像処理を省略できるため記録完了までの処理が早くなる。また、現像されていない状態で記録されるために、その画像を速やかに再生表示することが困難となる。
【０００３】
参考文献１では、被写体撮影時に再生表示用に簡易現像して記録するとともに、ＲＡＷ画像も記録することで後から高画質に現像処理することで高い連写パフォーマンスを実現する技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１７９８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、近年の撮像装置において、撮像センサが進化し、画像１枚あたりの画素数が大幅に増加してきている。連写パフォーマンスを優先して、ＲＡＷで記録し、後から現像する参考文献１のような方法が普及していくと、記録媒体の容量も増大してきたとはいえ、すぐに記録媒体の容量が足りなくなってしまう。記録媒体の残容量がすぐになくなってしまう撮像装置では例えパフォーマンスが良くなってもユーザの利便性を損なってしまう。
【０００６】
そこで本発明は、撮像したＲＡＷ画像を適切な順番で現像し、記録媒体の空き容量をより早く確保することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
被写体を撮像してセンサ出力を取得する撮像手段と、前記撮像手段で取得したセンサ出力をＲＡＷ画像として記録媒体に保存するＲＡＷ画像保存手段と、ＲＡＷ画像の撮像とは非同期に前記保存されたＲＡＷ画像を現像して保存する現像手段と、前記現像手段で現像するＲＡＷ画像の順番を決定する順番決定手段と、前記現像手段で現像が終わったＲＡＷ画像を削除する削除手段とを備える。
【発明の効果】
【０００８】
本発明によれば、撮像したＲＡＷ画像を適切な順番で現像し、記録媒体の空き容量をより早く確保することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の構成を示すブロック図である。
【図２】画像撮影モードの処理に係るフローチャートである。
【図３】アイドル状態の処理に係るフローチャートである。
【図４】記録装置に記録されるＲＡＷ画像の例である。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１１】
［第１の実施形態］
＜装置構成＞
以下、図面を参照しながら、本実施形態の画像処理装置の主要な構成について説明する。
【００１２】
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。
【００１３】
図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。
【００１４】
操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮影時、撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される顔認識結果等の被写体情報に基づいて、カメラ制御部１０４によって制御される。
【００１５】
撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のモザイクカラーフィルターを透過した光を電気信号に変換する。撮像装置１００が扱う画像の画素配列は例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を画素毎にモザイク状に配置し、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造を用いる。このような画素の配置は、一般にベイヤ―配列と呼ばれる。
【００１６】
撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像情報（以降、ＲＡＷ画像）と称す。
【００１７】
ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。
【００１８】
特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後のアイドル期間に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。
【００１９】
他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、主に撮影動作と並行したリアルタイムの現像の際に簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。また、スイッチ部１２１の切換に連動して、簡易現像部１１１と高画質現像部１１２のうち、信号出力の対象となる一方だけが現像動作を行うように構成しても良い。
【００２０】
なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を選択的に行っても良い。
【００２１】
現像部１１０によって現像処理された画像情報は、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された外部表示機器に出力することもできる。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。
【００２２】
現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。
【００２３】
現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
【００２４】
現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１又は動画圧縮部１４２に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。
【００２５】
ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像のデータを、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ部（記憶媒体）１１５に格納する。ＲＡＷファイルは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。
【００２６】
ＲＡＷファイルと、上述の静止画ファイル及び動画ファイルは、記録再生部１５１によって、記録媒体１５２に記録される。記録媒体１５２は、例えば内蔵式の大容量半導体メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。
【００２７】
記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。
【００２８】
再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。
【００２９】
ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０に供給されて、現像部１１０内の簡易現像部１１１や高画質現像部１１２に入力される。
【００３０】
本実施形態では、記録再生部１５１が、記録媒体１５２、または通信部１５３を介して取得したファイルがＲＡＷファイルだった場合、現像部１１０で現像が終わった後のＲＡＷファイルを記録媒体１５２や外部のストレージやサーバから削除可能な構成になっている。
【００３１】
静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２に供給する。
【００３２】
＜動作説明＞
次に、撮像装置１００の画像撮影モードにおける動作について説明する。
【００３３】
図２に本実施形態の画像撮影モードの処理に係るフローチャートを示す。図２のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００３４】
図２において画像撮影モードに処理が開始されると（Ｓ２００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ２０１）、負荷状況に応じた頻度でアイドル状態（Ｓ２１０）へ遷移し、そうでなければＳ２０２へ進む。通常の単発の静止画撮影を行なう場合においては、第１の撮影と第２の撮影の合間に例えば半分の頻度でＳ２１０へ遷移する。
【００３５】
Ｓ２０２において、カメラ制御部１０４が、好適な条件で撮影を行なうよう、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、ユーザのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域が設定されたりする。
【００３６】
Ｓ２０３において、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。すなわち、センサ信号処理部１０３が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて保管したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ２０３の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）を意味するＲＡＷ画像と呼ぶ。
【００３７】
Ｓ２０４において、制御部１６１は、ユーザからの撮影指示の入力を判定し、撮影の指示があった場合は、Ｓ２１０へ進む。Ｓ２０４で撮影指示が無い場合は、Ｓ２０１へ戻って、撮影の準備動作を繰り返す。
【００３８】
Ｓ２０４における撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された画像に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ画像圧縮）してＲＡＷファイルに変換する（Ｓ２０５）。ＲＡＷファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行なう高能率符号化は、ウエーブレット変換や差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。あるいは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルとして復元可能なＲＡＷファイルを生成する。
【００３９】
Ｓ２０６において、記録再生部１５１がＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ２０１に遷移する。なお、Ｓ２０６において、記録再生部１５１は、ＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。
【００４０】
以上が本実施形態の画像撮影モードの処理に係るフローの説明である。
【００４１】
本実施形態に係る撮像装置１００は、撮影指示に応答してＲＡＷファイルを生成する。ＲＡＷファイルは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、画像の画素数や連写パフォーマンス（連写のスピード）を高めながらも、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。
【００４２】
続いて、図２のＳ２０１で遷移するステップであるＳ２１０について、図３のフローチャートを用いて説明する。図３に本実施形態のアイドル状態の処理に係るフローチャートを示す。図３のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００４３】
図３においてアイドル状態の処理が開始されると（Ｓ３００）、制御部１６１がユーザの設定により追いかけ現像を行なうか否かを判定し（Ｓ３０１）、追いかけ現像を行なわない場合はＳ３０２に、追いかけ現像を行なう場合はＳ３２０に遷移する。
【００４４】
Ｓ３０１で追いかけ現像を行なわない場合、ユーザからの命令やモード設定に従って画像撮影モードに遷移するか判定する（Ｓ３０２）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ３１０）。
【００４５】
本実施形態では、わかりやすくするために、遷移先は画像撮影モードのみとしているが、静止画撮影モード、動画撮影モード、複数枚撮影して１枚に合成することで手ブレやノイズを抑えた画像と得る、或いは、明るさの異なる３枚の画像を合成することで白とび・黒つぶれを抑えた画像（ハイダイナミックレンジ画像）を得ることを目的としたマルチショット撮影モードなどが存在する。さらには、画像撮影ではなく、画像の再生表示を目的とした再生モードがあってもよい。
【００４６】
ここで、本実施形態に係る「追いかけ現像」とは、撮影動作を終えた後、バッファ部１１５または記録媒体１５２等に記録されたＲＡＷファイルをソースとして、高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルや動画ファイルを生成する処理を意味する。本実施形態に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方を対象とする。
【００４７】
ＲＡＷファイルはセンサ信号処理部１０３から供給される画像情報を大きく損なうことなく高品質を有するが、現像処理前のデータであるため、表示やプリントアウトには即時対応ができず、ＲＡＷ現像のための時間を要してしまう。また、ＲＡＷはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。
【００４８】
そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルを読みだして、高画質現像部１１２によって高画質に現像処理を行ない、生成した高画質の静止画ファイルを記録媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計するとよい。
【００４９】
このように構成することにより、現像せずに記録するため、撮影で高いパフォーマンス（高速連写）を維持でき、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度現像処理（再生出力）の遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。
【００５０】
記録媒体１５２等には、１回の撮影指示に対して、対応するＲＡＷファイルが記録されている。手動または自動によって追いかけ現像を行なう場合、制御部１６１が、まだ現像されていないＲＡＷ画像があるかを判定する（Ｓ３２０）。
【００５１】
制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ３０２に遷移する。追いかけ現像が未処理のＲＡＷ画像があれば、Ｓ３２１に遷移する。
【００５２】
Ｓ３２１では、バッファ部１１５又は記録媒体１５２等に追いかけ現像が未処理のＲＡＷ画像があった場合、それらの未処理のＲＡＷ画像の中から現像する順番を決定する。順番の決定方法については後述する。
Ｓ３２２において、ＲＡＷ伸長部１１４が、バッファ部１１５又は記録媒体１５２等から現像の優先度の高いＲＡＷ画像読みだし、伸長処理し、ＲＡＷ画像を復元したら、復元されたＲＡＷ画像は、高画質現像部１１２で高画質に現像し、スイッチ部１２１を経由して表示処理部１２２、静止画圧縮部１４１や動画圧縮部１４２に出力される。
【００５３】
高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行なう。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出されたフルサイズのまま、或いはユーザから設定されたサイズとなり、簡易現像部１１１よりも高品質な画像となる一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、高い連写パフォーマンスを維持しながら、回路規模や消費電力の増大を抑える構成となっている。
【００５４】
高画質現像部１１２で現像処理された画像情報は、静止画であれば静止画圧縮部１４１に供給され、静止画圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行ない、記録再生部１５１が高画質の画像ファイルを記録媒体１５２等に記録したら（Ｓ３２３）、現像が終わったＲＡＷ画像を削除し（Ｓ３２４）、フローはＳ３０２に遷移する。
【００５５】
本実施形態のように、追いかけ現像を実現するためにＲＡＷ画像を記録しておく必要があった。しかし、ＲＡＷ画像のデータ量は大きく、さらに追いかけ現像した画像や動画も記録していくため、連続して撮影しているとすぐに記録媒体１５２の残容量がなくなってしまい、新たな撮影ができなくなってしまう問題があった。そこで、本実施形態において、Ｓ３２４では現像が終わったＲＡＷ画像を削除することで記録媒体１５２の空き容量を確保することを可能とした。
【００５６】
ここで、本実施形態に係るＳ３２１について詳細を説明する。現像の終わったＲＡＷ現像から削除していくため現像の順番も重要になる。ただ、撮影された順番で現像するのではなく、効率よく、より長く撮影を可能にするため、Ｓ３２１では現像する順番をソートする。
【００５７】
例えば、現像の順番をＲＡＷ画像のデータサイズで決める方法がある。わかりやすくデータサイズの異なる静止画のＲＡＷ画像で考えた場合、現像時間は変わらないため、データサイズが大きいＲＡＷ画像を先に現像して削除した方が、記録媒体１５２の空き容量を早く確保することが可能になる。また、データサイズの異なる動画のＲＡＷ画像だった場合、基本的にデータサイズが大きい動画はフレーム数が多いため、現像にもそれだけ時間が多くかかってしまう。そこで、動画の場合は、データサイズが小さい方から先に現像することで、より早く記録媒体１５２の空き容量を早く確保することが可能になる。
【００５８】
図４の(ａ)の例で説明すると、４００は記録媒体１５２の全容量を示しており、４００ＭＢｙｔｅの動画ＲＡＷ４０１、３００ＭＢｙｔｅの動画ＲＡＷ４０２、３５０ＭＢｙｔｅの動画ＲＡＷ４０３が格納されており、残りは空き４０４となっている。このとき、データサイズの小さい方から動画ＲＡＷ４０２、動画ＲＡＷ４０３、動画ＲＡＷ４０１の順番で現像することになる。
【００５９】
このように、現像する順番をＲＡＷ画像のデータサイズでソートすることで、より早く記憶媒体１５２の空き容量を確保することが可能になる。
【００６０】
撮影モードに応じてソートしてもよい。例えば、静止画３枚の場合と、３枚の静止画を合成するマルチショットであれば、マルチショットは３枚を現像した後、さらに合成する処理があるため時間が多くかかる。そのため、静止画３枚を優先して現像した方が早くＲＡＷ画像を削除することができる。図４の(ｂ)の例で説明すると、４１０は記録媒体１５２の全容量を示しており、４０ＭＢｙｔｅの静止画ＲＡＷ４１１、３２ＭＢｙｔｅの静止画ＲＡＷ４１２、４３ＭＢｙｔｅの静止画ＲＡＷ４１５、３８ＭＢｙｔｅの静止画ＲＡＷ４１６、１１６ＭＢｙｔｅのマルチショットＲＡＷ４１３、１０２ＭＢｙｔｅのマルチショットＲＡＷ４１４が格納されており、残りは空き４１７となっている。マルチショットＲＡＷはこの例では３枚合成する。
【００６１】
このとき、まず、静止画が優先され、かつ、データサイズが大きいものが優先されるため、静止画ＲＡＷ４１５、静止画ＲＡＷ４１１、静止画ＲＡＷ４１６、静止画ＲＡＷ４１２、マルチショットＲＡＷ４１３、ルチショットＲＡＷ４１４の順番に現像することになる。
【００６２】
このように撮影モードによって、優先する順番を決めておくことで、より早く記憶媒体１５２の空き容量を確保することが可能になる。
【００６３】
また、ＲＡＷ画像の圧縮率に応じてソートしてもよい。例えば、同じ長さの動画で考えると、圧縮率の高い非可逆圧縮と圧縮率の低い可逆圧縮では、現像にかかる時間が変わらないため、先に圧縮率の低いＲＡＷ動画を現像した方がより早く大きいデータサイズを消去することができる。例え、長さが異なる動画であったとしても、単位時間当たりに現像できるデータ量を考えると効率がよいので、動画の長さによらず、圧縮率の低いＲＡＷ動画の現像を優先して現像してもよい。
【００６４】
さらに、ユーザが操作部１６２を用いて、優先すべき条件を予め入力しておいてもよいし、ＲＡＷ画像を削除しない撮影モードをユーザが指定できるようにしておき、その撮影モードで撮影したＲＡＷ画像の現像する優先順位は下がるようにしてもよい。
【００６５】
ＲＡＷ画像を現像する順番が重要になってくるのは、特に記録媒体１５２の空き容量が少なくなってきてからであり、記録媒体１５２の空き容量が一定量を下回るまではＳ３２１はスルー設定にして、ソートしないようにしてもよい。
【００６６】
上述したように、ソートする方法はいくつかあるが、どれか一つに基づいて順番を決定してもよいし、撮影モードやその他の撮影設定、ユーザ指定に応じて複数を組み合わせて使用してもよい。
【００６７】
このように、本実施形態によれば、センサ出力をＲＡＷ画像で記録しておき、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの比較的、装置の処理負荷が小さい状態（アイドル状態）のときに追いかけ現像を実行する。こうすることで、高画質な画像を得ることができ、さらに、要求が来てから現像するのとは違い、再生出力までの遅れも無くすことが可能になる。さらに、現像が終わったＲＡＷ画像を削除することを前提に、ＲＡＷ画像の現像する順番をソートすることで、より早く次の撮影のための空き容量を確保することができるので、より長い間、高い連写パフォーマンスを得ることが可能になる。
【００６８】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００６９】
１００  撮像装置
１６１  制御部
１６２  操作部
【図１】
2019110367.tif 000003
【図２】
2019110367.tif 000004
【図３】
2019110367.tif 000005
【図４】
2019110367.tif 000006