(57)【要約】【課題】ＲＡＷデータを円滑に処理し得る画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体を提供する。【解決手段】撮像手段で撮像されるＲＡＷデータを取得する取得手段と、前記取得したＲＡＷデータに、複数の異なる画像処理を段階的に行う処理手段と、前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段と、を備え、前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段を含む装置の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限する。【選択図】図２
2015195582.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で撮像されるＲＡＷデータを取得する取得手段と、
前記取得したＲＡＷデータに、複数の異なる画像処理を段階的に行う処理手段と、
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段と、
を備え、
前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段を含む装置の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする画像処理装置。
【請求項２】
前記制御手段によって制限された段階までの処理が行われたＲＡＷデータと前記制限された段階より前の何れかの段階の処理が行われたＲＡＷデータとの差分データを生成する差分手段をさらに備え、前記差分手段は、前記差分データの生成に係わる前記制限された段階より前の段階を示す情報を生成し、前記制限された段階より前の何れかの段階は、前記処理手段が前記複数の異なる画像処理の実行を開始する段階を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段によって制限された段階までの画像処理が行われたＲＡＷデータと前記制限された段階より前の何れかの段階の画像処理が行われたＲＡＷデータを記憶するバッファ手段をさらに備え、前記差分手段は、前記バッファ手段に記憶されたＲＡＷデータから前記差分データを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記処理手段は、前記処理手段で処理されたＲＡＷデータを、次の段階の処理および前記バッファ手段の何れか又は両方に供給するためのスイッチを有し、前記制御手段は、前記動作状況に従って、前記スイッチの切り替えを制御することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段を含む装置の動作状況として、撮影モード、撮影可能時間、および撮影条件設定を含む動作状況の少なくともいずれか１つに従って前記複数の異なる画像処理の段階的実行を適応的に制限することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記制御手段は、前記ＲＡＷデータの処理をする際の前記処理手段の動作状況として、前記ＲＡＷデータを処理する前記処理手段の処理パラメータに従って、前記複数の異なる画像処理の段階的実行を適応的に制限することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、前記取得手段が取得した前記ＲＡＷデータのデータ量及びＳ／Ｎ比手段の少なくともいずれか１つに従って前記複数の異なる画像処理の段階的実行を適応的に制限することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記制御手段は、前記ＲＡＷデータの処理をする際の前記処理手段の動作状況として、前記画像処理装置に電力を供給する電池の残量に従って、前記複数の異なる画像処理の段階的実行を適応的に制限することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記制御手段によって制限された段階までの処理が行われたＲＡＷデータと前記制限された段階より前の何れかの段階の処理が行われたＲＡＷデータを記憶するバッファ手段をさらに備え、
前記バッファ手段に記憶された、前記制御手段によって制限された段階までの処理が行われたＲＡＷデータを記録媒体に記録する記録手段をさらに備え、前記記録手段は、少なくとも前記制御手段によって制限された段階までの画像処理が行われたＲＡＷデータおよび前記制限された段階を示す情報を含む画像ファイルを生成し、前記生成した画像ファイルを前記記録媒体に記録することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記制御手段によって制限された段階までの処理が行われたＲＡＷデータと前記制限された段階より前の何れかの段階の処理が行われたＲＡＷデータとの差分データを生成する差分手段をさらに備え、
前記画像ファイルは、さらに前記制御手段によって制限された段階までの画像処理の処理パラメータ、前記差分手段が生成した差分データおよび前記差分データの生成に係わる前記制限された段階より前の段階を示す情報を含むことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記処理手段によって段階的に実行される複数の異なる画像処理は、デモザイキング処理、ホワイトバランス補正の処理の少なくともいずれかを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記処理手段によって段階的に実行される複数の異なる画像処理は、周辺光量補正、歪み補正、明るさ補正、ノイズ補正の処理の少なくともいずれかを含むことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記記録手段によって前記記録媒体に記録された前記画像ファイルを再生する再生手段をさらに備え、前記処理手段は、前記再生された画像ファイルに記憶されている、前記制御手段によって制限された段階までの処理が行われたＲＡＷデータに対し、前記再生された画像ファイルに記憶されている前記制限された段階を示す情報および前記制御手段によって制限された段階までの処理の処理パラメータに基づいて、前記制御手段によって制限された段階より後の段階の処理を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記再生手段は、前記再生された画像ファイルに記憶されている、前記制御手段によって制限された段階までの処理が行われたＲＡＷデータと前記差分データに基づいて、前記差分データの生成に用いた、前記制限された段階より前の段階の処理が行われたＲＡＷデータを復元し、前記処理手段は、前記復元されたＲＡＷデータに対し、前記差分データの生成に係る前記制限された段階より前の段階を示す情報に従って、前記複数の異なる画像処理の何れかを行うことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記ＲＡＷデータは、前記撮像手段により出力され、前記撮像手段の画素の欠陥による欠陥画素値の補正、及び黒レベルの補正の少なくともいずれか１つの補正が行われた電気信号であることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
撮像手段により撮像されたＲＡＷデータに複数の異なる画像処理を段階的に行う処理手段と、前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限する制御手段とを有する画像処理装置の制御方法であって、
前記ＲＡＷデータを取得する取得ステップと、
前記処理手段が、前記ＲＡＷデータに前記複数の異なる画像処理の少なくとも一手段を段階的に行うステップと、
前記制御手段が、前記処理手段で行う画像処理の段階的実行を制限した段階を示す情報を生成する生成ステップと、
を備え、
前記複数の異なる画像処理の少なくとも一手段を処理するステップにおいて、前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする画像処理装置の制御方法。
【請求項１７】
撮像手段により撮像されるＲＡＷデータの処理が可能な画像処理装置を制御するプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
前記プログラムは、コンピュータを、
前記ＲＡＷデータを取得する取得手段、
前記取得したＲＡＷデータに、複数の異なる画像処理を段階的に行う処理手段、及び
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段として機能させ、
前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする記録媒体。
【請求項１８】
被写体の光学像を撮像し、電気信号を出力する撮像手段と、
前記撮像手段により出力される電気信号に、複数の異なる画像処理を段階的に行う処理手段と、
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段と、
を備え、
前記制御手段は、前記電気信号、前記電気信号に対応する光学像を撮像する際の撮像手段の動作状況、及び前記電気信号の処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする撮像装置。
【請求項１９】
撮像手段で撮像されるＲＡＷデータを取得する取得手段と、
前記取得したＲＡＷデータに、デモザイキング処理、ホワイトバランス補正の処理、周辺光量補正の処理、歪み補正の処理、明るさ補正の処理、色空間変換処理及びノイズ補正の処理の少なくともいずれか１つを含む、複数の異なる画像処理を段階的に行う処理手段と、
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段と、
を備え、
前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする画像処理装置。
【請求項２０】
被写体の光学像を撮像し、電気信号を出力する撮像手段と、
前記撮像手段により出力される電気信号に、デモザイキング処理、ホワイトバランス補正の処理、周辺光量補正の処理、歪み補正の処理、明るさ補正の処理、色空間変換処理及びノイズ補正の処理の少なくともいずれか１つを含む、複数の異なる画像処理を段階的に行う処理手段と、
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段と、
を備え、
前記制御手段は、前記電気信号、前記電気信号に対応する光学像を撮像する際の撮像手段の動作状況、及び前記電気信号の処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする撮像装置。
【請求項２１】
被写体の光学像を撮像し、電気信号を出力する撮像手段と、
前記撮像手段により出力される電気信号に、複数の異なる画像処理を段階的に行う処理手段と、
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段と、
を備え、
前記制御手段は、前記電気信号にかかる動作状況に従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする撮像装置。
【請求項２２】
撮像手段により撮像されたＲＡＷデータに複数の異なる画像処理を段階的に行う処理手段と、前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限する制御手段とを有する画像処理装置の制御方法であって、
前記ＲＡＷデータを取得する取得ステップと、
前記処理手段が、前記ＲＡＷデータに、デモザイキング処理、ホワイトバランス補正の処理、周辺光量補正の処理、歪み補正の処理、明るさ補正の処理、色空間変換処理及びノイズ補正の処理の少なくともいずれか１つを含む、前記複数の異なる画像処理の少なくとも一手段を段階的に行うステップと、
前記制御手段が、前記処理手段で行う画像処理の段階的実行を制限した段階を示す情報を生成する生成ステップと、
を備え、
前記複数の異なる画像処理の少なくとも一手段を行うステップにおいて、前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする画像処理装置の制御方法。
【請求項２３】
撮像手段により撮像されるＲＡＷデータの処理が可能な画像処理装置を制御するプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
前記プログラムは、コンピュータを、
前記ＲＡＷデータを取得する取得手段、
前記取得したＲＡＷデータに、デモザイキング処理、ホワイトバランス補正の処理、周辺光量補正の処理、歪み補正の処理、明るさ補正の処理、色空間変換処理及びノイズ補正の処理の少なくともいずれか１つを含む、複数の異なる画像処理を段階的に行う処理手段、及び、
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段として機能させ、
前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする記録媒体。
【請求項２４】
被写体の光学像を撮像し、電気信号を出力する撮像手段と、前記撮像手段により撮像された電気信号に複数の異なる画像処理を段階的に行う処理手段と、前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限する制御手段とを有する撮像装置の制御方法であって、
前記処理手段が、前記複数の異なる画像処理の少なくとも一手段を段階的に行うステップと、
前記制御手段が、前記処理手段で行う画像処理の段階的実行を制限した段階を示す情報を生成する生成ステップと、
を備え、
前記複数の異なる画像処理の少なくとも一手段を行うステップにおいて、前記制御手段は、前記電気信号に係る動作状況に従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする撮像装置の制御方法。
【請求項２５】
被写体の光学像を撮像し、電気信号を出力する撮像手段と、前記撮像手段により撮像された電気信号に複数の異なる画像処理を段階的に行う処理手段と、前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限する制御手段とを有する画像処理装置を制御するプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
前記プログラムは、コンピュータを、
前記電気信号に複数の異なる画像処理を段階的に行う処理手段、及び
前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段として機能させ、
前記制御手段は、前記電気信号に係る動作状況に従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体に関する。
【０００２】
従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像、ＲＡＷデータ）をデベイヤー処理（デモザイク処理）して輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。
【０００３】
一方で、ＲＡＷデータを記録できる撮像装置も存在する。ＲＡＷデータは記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。
【０００４】
ＲＡＷ画像を記録する撮像装置の構成は、特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に、当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２４４４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年の撮像装置は、撮像センサーが進化し、画像１枚あたりの画素数が大幅に増加してきている。また、１秒あたりに連写できる画像の枚数も、増える傾向にある。そのため、デベイヤー処理や、ノイズ除去、光学歪補正など、ＲＡＷ画像に対する現像処理を構成する各処理の処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うには、膨大な回路や消費電力を費やされる。時には、現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できないことも起こり得る。
【０００７】
一方、特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の処理量は軽減され、結果として、撮影と並行して実施される現像処理によって撮影パフォーマンスが損なわれることなく、カメラとしての撮影性能は向上することが期待される。ただし、ＲＡＷ画像は現像されていない状態で記録されるために、撮影後には、何らかのＲＡＷ現像処理が必要である。しかし、先に述べたように、画像サイズ、画像データが増加していく中で、撮影後のＲＡＷ現像処理の時間が増大して画像表示までに時間がかかると、ユーザーにストレスを与えてしまい、撮像装置の利便性を損なう。
【０００８】
そこで、本発明の目的は、ＲＡＷデータを円滑に処理し得る画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
実施形態の一観点によれば、撮像手段で撮像されるＲＡＷデータを取得する取得手段と、前記取得したＲＡＷデータに、複数の異なる画像処理を段階的に行う処理手段と、前記処理手段を制御し、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限し、前記制限された段階を示す情報を生成する制御手段と、を備え、前記制御手段は、前記ＲＡＷデータ、前記ＲＡＷデータに対応する光学像を撮像する際の撮像手段を含む装置の動作状況、及び前記ＲＡＷデータの処理をする際の前記処理手段の動作状況の少なくともいずれか１つに従って、前記処理手段の行う前記複数の異なる画像処理の段階的実行を制限することを特徴とする画像処理装置が提供される。
【発明の効果】
【００１０】
本発明によれば、ＲＡＷデータを円滑に処理し得る画像処理装置及びその制御方法、並びに、撮像装置及びその制御方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第一の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の第一の実施形態に係る撮像装置の一部の詳細なブロック図である。
【図３】本発明の第一の実施形態に係る撮像装置の状態遷移を示す図である。
【図４】本発明の第一の実施形態に係る撮像装置が記録するＲＡＷファイルの構成例を示す図である。
【図５】本発明の第二の実施形態に係る撮像装置の構成例を示すブロック図である。
【図６】本発明の第二の実施形態に係る撮像装置が記録するＲＡＷファイルの構成例を示す図である。
【図７】撮像素子の画素配列の例を模式的に示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１３】
図１は、本発明の第一の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示す撮像装置１００は、被写体を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理をして表示する機能や、画像データを外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、これらの機能に着目した場合、本実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。
【００１４】
図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の各部の処理動作を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。制御部１６１は、操作部１６２からの操作信号を検出し、不図示のメモリに記憶した制御プログラムを実行して、操作に応じた動作が実行されるように撮像装置の各部を制御する。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。
【００１５】
操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮影光学部１０１により撮像センサー部１０２上に結像される。撮影時の撮影光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。
【００１６】
撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。図７は、撮像センサー部１０２の撮像面に配置されるカラーフィルターの一例を示す図であり、撮像装置１００が扱う画像の画素配列を表している。図７に示すように、赤（Ｒ）７０３、緑（Ｇ）７０１、青（Ｂ）７０２が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれる。
【００１７】
撮像センサー部１０２によって光学像を光電変換して得られた電気信号は、センサー信号処理部（取得部）１０３によって画素値の修復処理が施される。修復処理には、撮像センサー部１０２の欠落画素や信頼性の低い画素の画素値に対し、周辺画素値を用いて修復対象の画素の値を補間したり（画素の欠陥による欠陥画素値の補正）、撮像センサー部１０２の出力の黒レベルを補償するために、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、撮像センサー部１０２から出力されてからセンサー信号処理部１０３から出力されるまでの電気信号（データ）を、生（未現像）のデータを意味するＲＡＷデータ（ＲＡＷ画像）と称す。センサー信号処理部１０３の行う各種補正処理は、後段の現像部１１０にて行われる現像処理前に行われる公知の処理を行ってよく、それらの処理の一部のみを行ってもよいものとする。
【００１８】
ＲＡＷデータは、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷデータに対してデベイヤー処理（デモザイク処理）を施して、輝度と色差から成る信号に変換し、各信号に含まれるノイズの除去、光学的な歪の補正をして、画像を適正化するなどの所謂現像処理を行う。
【００１９】
特に、高画質現像部１１２は、簡易現像部１１１よりも、画素数の大きい画像を扱うことができ、各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。また、高画質現像部１１２は、センサー信号処理部１０３から取得したＲＡＷデータに、複数の異なる画像処理を段階的に行う処理部である。
【００２０】
他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。このように、簡易現像部１１１の処理負荷は小さいので、画像撮影の動作と並行したリアルタイムの現像の際に用いるようにする。スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。
【００２１】
例えば、簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正などの比較的処理時間かかるような信号処理を、限定的な処理に留めたり或いは省いたりすることで、現像処理の高速化や簡易化を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模と少ない消費電力で実現することができる。
【００２２】
なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成も本発明の範疇に含まれる。
【００２３】
現像部１１０によって現像処理された画像データは、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。
【００２４】
現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、センサー信号処理部１０３から出力されるＲＡＷデータか、現像部１１０から出力される画像データに基づいてフォーカス状態や露出状態などの評価値を算出する。
【００２５】
現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像データ中の被写体情報を検出及び認識する機能を有する。例えば、認識部１３１は、画像データによって表される画像内における顔を検出し、検出した場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
【００２６】
現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像データを動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。
【００２７】
本実施形態では、センサー信号処理部１０３から出力される画像データをＲＡＷデータと称し、現像部１１０が出力する画像データを現像画像と称した場合、高画質現像部１１２の内部における、現像処理途中状態である中間画像データを以下ｉＲＡＷデータと称す。これは、途中まで現像処理されたＲＡＷデータという意味で、intermediateＲＡＷデータを略記したものである。
【００２８】
高画質現像部１１２の詳細構成を図２（ａ）及び図２（ｂ）に示す。図２（ａ）及び図２（ｂ）において、図１と同じ部分は同じ符号を付して示す。高画質現像部１１２は、センサー信号処理部１０３からの撮影画像のＲＡＷデータを入力とし、高画質現像を構成する複数の異なる画像処理が段階的に行われた画像データをスイッチ部１２１に出力する。複数の処理には、周辺光量補正部２２０、歪補正部２２１、デモザイキング処理部２２２、ホワイトバランス補正部２２３、露出補正部２２４、輪郭補正部２２５、ノイズ補正部２２６などのさまざまな画像処理部によって実行される処理が含まれる。上記ｉＲＡＷデータとは、これらの各画像処理部の出力である画像データを指している。
【００２９】
各々の画像処理部が出力するｉＲＡＷデータは、その後につながる後段の画像処理部に入力されるか、制御部１６１の制御により、バッファ（バッファ部）１１５に書き込むことが可能である。同様に、各々の画像処理部の入力は、その前段の画像処理部が出力するｉＲＡＷデータを受けとるか、制御部１６１の制御により、バッファ１１５から読み出された画像データを入力とすることも可能である。言い換えると、制御部１６１は、取得したＲＡＷデータに複数の異なる画像処理を段階的に行う処理部としての高画質現像部１１２を制御する。これは、本実施形態の特徴の一つであり、撮像装置の動作モード、消費電力、画像サイズ、操作部によるユーザーの指示など、さまざまな状態に応じて、高画質現像部１１２は、その内部にあるｉＲＡＷデータを、バッファ１１５との間で受け渡すことが可能となっている。
【００３０】
なお、高画質現像部１１２に入力されるデータはＲＡＷデータそのものであるが、一旦、高画質現像部１１２に入力された後の内部信号として扱う場合は、便宜的にｉＲＡＷデータとして扱うものとする。
【００３１】
ＲＡＷ圧縮部１１３は、バッファ１１５に格納されたｉＲＡＷデータを、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のｉＲＡＷファイルに変換して、バッファ（記録媒体）１１５に格納する。ｉＲＡＷファイルは、バッファ１１５内に残しておいて再び読み出すことができるが、バッファ１１５に格納された後、別の記録媒体に移動して記録する（バッファ１１５から削除する）ようにしてもよい。
【００３２】
ｉＲＡＷファイルと、後述する静止画ファイル及び動画ファイルは、記録再生部（記録部）１５１によって、記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。
【００３３】
記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ｉＲＡＷファイルを読み出すこともできる。
【００３４】
記録再生部１５１により、読みだされたｉＲＡＷファイルは、ＲＡＷ伸張部１１４により伸張処理し、ｉＲＡＷデータを復元して、バッファ１１５に格納される。記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。
【００３５】
操作部１６２により、ユーザーから再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがｉＲＡＷファイルであれば、記録再生部１５１は、取得されたｉＲＡＷファイルをＲＡＷ伸張部１１４に送る。
【００３６】
再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルを動画伸張部１４４に供給する。
【００３７】
静止画伸張部１４３は、入力された静止画ファイルを復号して伸張し、また伸張済みのファイルである場合は何もせずに、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルを復号して伸張し、また伸張済みのファイルである場合は何もせずに、動画の再生画像として表示処理部１２２に供給する。
【００３８】
次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図３は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このようなモードの遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移する場合と自動で遷移する場合がある。図３のように、撮像装置１００は、アイドル状態（３００）を経由して４つのモード、静止画撮影モード（３０１）、静止画再生モード（３０２）、動画撮影モード（３０３）、及び動画再生モード（３０４）のいずれかに適宜切り替わって動作する。
【００３９】
図２（ａ）及び図２（ｂ）を用いて、高画質現像部１１２を詳細に説明する。図２（ａ）及び図２（ｂ）において、周辺光量補正部２２０は、撮影光学部１０１において、レンズの中心に近い画像は明るく、周辺に行くほど暗くなる性質があるため、これを補正する。歪補正部２２１は、撮影光学部１０１におけるレンズの特性によって生じる樽型歪曲などの歪曲収差を補正する。
【００４０】
デモザイキング処理部２２２は、図７に示されたようなベイヤー配列の画像から、各画素毎にＲ、Ｇ、Ｂの信号を有するように画像処理を行う。デモザイキング処理部２２２による処理を受ける前の各画素は一つの色情報しか持たないのに対し、デモザイキング後の各画素は、Ｒ、Ｇ、Ｂの各色の情報を持つため、一般にデータ量は増加する。例えば３倍に増加する。ホワイトバランス補正部２２３は、Ｒ、Ｇ、Ｂのバランスを調整することで、さまざまな色温度の光源に対し、白色を正確に補正する。露出補正部２２４は、各画素に対しゲイン演算やオフセット重畳することで、画像全体の明るさをコントロールする。
【００４１】
輪郭補正部２２５は、画像に対し空間ローパスフィルタ（ＬＰＦ）やハイパスフィルタ（ＨＰＦ）をかけることで、被写体の輪郭を強調したりぼかしたりする。ノイズ補正部２２６は、画像に対しＬＰＦを施すことで、画像全体や特定エリアのノイズを抑えるか、複数枚の画像に対し重ね合わせ合成を行うことで、画像のノイズを抑える。なお、本実施形態において、図２（ａ）及び図２（ｂ）に示す各機能部の順番は、この例に限られるものではない。また、高画質現像部１１２によって行われる画像処理の種類もこの例に限られるものではない。例えば、ここに示す以外に、高画質現像部１１２は、ＲＧＢ画像を輝度・色差信号に変換する色空間変換処理を行う機能や、ガンマ処理を行う機能や、ＨＤＲ（ハイダイナミックレンジ拡張）機能や画像の切出し位置を変更することでブレを補正する電子防振機能などを有してもよい。
【００４２】
バッファＩ／Ｆ部２２７は、バッファ１１５と各機能部２２０〜２２６とに関して記録・再生画像のデータの受け渡しを行う。高画質現像部１１２内の各機能部の入出力はバッファＩ／Ｆ部２２７内の各スイッチに接続されている。バッファＩ／Ｆ部２２７内の各スイッチは、高画質現像部１１２内で処理されたＲＡＷデータを、次の段階の処理を行う機能部およびバッファ１１５の何れか又は両方に供給するためのスイッチである。制御部１６１がこれらのスイッチを制御することで、各機能部の入力は前段の機能部が出力するｉＲＡＷデータを受け取るのか、または、バッファ１１５に格納されたｉＲＡＷデータをバッファＩ／Ｆ部２２７を経由して受け取るよう制御される。
【００４３】
図２（ａ）及び図２（ｂ）において、バッファＩ／Ｆ部２２７とは、各機能部２２０〜２２６が、バッファ１１５を介して、記録媒体１５２等に画像を記録・あるいは再生するためのＩ／Ｆである。
なお、図２（ａ）及び図２（ｂ）では図示されていないが、各機能部２２０〜２２６は、各々の信号処理演算をする上での一時的なメモリー空間としてもバッファ１１５を利用しており、この目的のために、バッファＩ／Ｆ部２２７の制御にかかわらず、バッファ１１５との間でデータの受け渡しが可能となっている。
【００４４】
例えば、撮像装置１００が撮影モードの場合、制御部１６１によりバッファＩ／Ｆ部２２７のスイッチは図２（ａ）に示す状態に制御され、センサー信号処理部１０３から出力されたＲＡＷデータは、高画質現像部１１２において、周辺光量補正と歪み補正までの処理を受ける。このように処理されたｉＲＡＷデータは、バッファ１１５に一旦格納され、次いで、記録媒体１５２に記録される。この例のように、撮影時、高画質現像部１１２においてどの段階の現像処理まで実行してｉＲＡＷデータをバッファ１１５に書き出すのかは、制御部１６１により制御される。
【００４５】
また、この例では、高画質現像部１１２の処理としては、歪補正部２２１による歪み補正処理までで終了しているため、デモザイキング処理部２２２からノイズ補正部２２６までの各機能部は動作させる必要がない。各機能部２２２から２２６に対しては、この機能部に関する電源を落としたり、内部動作クロックを止めるなどして、積極的に消費電力を抑えてもよい。
【００４６】
また、撮像装置１００が再生モードの場合は、バッファＩ／Ｆ部２２７のスイッチが図２（ｂ）に示す状態に制御され、記録媒体１５２から読み出したｉＲＡＷデータは、バッファＩ／Ｆ部２２７により、高画質現像部１１２のデモザイキング処理部２２２に入力され、それ以降の現像処理を受けるよう制御される。
【００４７】
ところで、従来の高画質現像の処理では、再生時のＲＡＷ現像時間の短縮のために撮影時にできる限り、後段の現像処理（露出補正処理、輪郭補正処理、ノイズ補正処理等）まで実施するのが一般的である。しかし、本実施形態においては、先に述べたように、撮像装置（撮像部と画像処理部を含む）の撮影モード、撮影条件設定（ズーム、フォーカス、露出、ＩＳＯ感度など）、消費電力、処理負荷などの動作状況、画像サイズ、Ｓ／Ｎ比などのＲＡＷデータに関する情報、操作部によるユーザーからの指示などに応じて、現像処理の段階的実行を適応的に制御して撮影動作におけるＲＡＷデータ処理の最適化を図る。
【００４８】
撮像装置１００が動画撮影モードであった場合や、静止画撮影モードであっても、連写撮影時や、記録画像の画素数が所定の基準より大きい場合、前述のようにデモザイキング処理部２２２により画像データ量が大幅に増える。そのため、現像のための画像処理を撮影と並行してリアルタイム処理で行うと、処理時間が所定時間以上にかかり、撮影パフォーマンスを落とす可能性がある。このような場合を避けるため、本実施形態では、高画質現像部１１２は、バッファＩ／Ｆ部２２７が有するスイッチの接続を適応的に制御して、どの段階までの処理を行うかを制御している。例えば、図２（ａ）及び図２（ｂ）に示すように各スイッチの接続を制御することで、高画質現像部１１２の処理量を歪補正部２２１の処理までの画像処理を実行するまでに留め、歪補正の後にｉＲＡＷデータがバッファ１１５に渡される（高画質現像部１１２から出力される）。結果として、リアルタイム動作における、高画質現像部１１２の処理時間を抑えることで、撮影パフォーマンスを維持することができる。
【００４９】
前述の例は、撮影モードにおいて、動画撮影モードであった場合や、静止画撮影モードであっても、連写撮影時や、記録画像の画素数が大きい場合など、取り扱う画像データが大きいことがあらかじめ判断できる場合において、高画質現像部１１２の制御を、ある特定の現像処理段階までに限定する場合の説明であった。
これに対し、撮影中の画像データに対して、ある特定の現像処理段階までに限定する方法だけでなく、高画質現像部１１２におけるデータ処理の残量に応じて適応的に処理を変えてもよい。この適応的な制御構成（方法）について例示して説明する。
【００５０】
高画質現像部１１２における処理段階の適応的制御の第１の例は、センサー信号処理部１０３から出力されるＲＡＷデータ量に対し、高画質現像部１１２のデータ処理速度が間に合わず、バッファ１１５がオーバーフローしてしまう可能性がある場合の制御である。
【００５１】
先に述べたように、各機能部２２０〜２２６は、各々の信号処理演算をする上での一時的なメモリ空間としてもバッファ１１５を利用している。
また、各機能部２２０〜２２６の実際の信号処理内容は、各画像の状態により、適応的にその処理内容が変化する場合がある。
例えばノイズ補正部２２６は、画像のＳ／Ｎの状態を判断し、画像のＳ／Ｎが低い場合（光量が暗い場面で撮影したためにノイズが多い場合など）にはノイズ低減のために信号処理量が増加するが、一方で画像のＳ／Ｎが高い場合には、その信号処理量が減少する。
【００５２】
このように、画像の状態によって、各機能部のデータ処理量が動的に変化する場合、データ処理量が変化したために、バッファ１１５がオーバーフローしそうであるかどうかを、例えば制御部１６１が判断し、オーバーフローしそうな場合は、負荷の重い現像処理を行う前の段階のｉＲＡＷデータを、バッファ１１５を通じて、記録媒体１５２、あるいは、通信部１５３を介して、外部のストレージやサーバに記録するように制御し、負荷の重い現像処理を行わないことで、バッファ１１５にデータを溜め込まないように制御する。その後、画像（電気信号、データ）の状態に応じて、バッファ１１５がオーバーフローに対して余裕ができた場合には、負荷の重い現像処理まで行ったｉＲＡＷデータをバッファ１１５に書き出すように制御する。このように、制御部１６１は、どの段階までの処理を行うかを、ＲＡＷデータのデータ量や画像に応じた処理速度に起因するバッファ１１５のオーバーフローの予測に基づいて適応的に制御する。
【００５３】
なお、上記のように、適応的に現像処理の段階を変える場合、例えば、静止画の場合は撮影した画像毎に、動画の場合は一つのストリーム内のフレーム毎に現像処理の段階を制御する。従って、本実施形態の撮像装置１００が再生モード時に、このｉＲＡＷデータに対し残りの現像処理を行う場合、フレーム毎に、どこまで現像処理が済んでいるのかを判定する必要がある。このことを考慮して、本実施形態に係るＲＡＷデータまたはｉＲＡＷデータのファイルを次のように構成する。
【００５４】
図４は、ＲＡＷファイルの構成例を示す図である。図４に示すＲＡＷファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１は、このファイルがＲＡＷファイルの形式であることを示す識別コードなどを含む。圧縮データ部４０３は、高能率符号化されたｉＲＡＷデータの圧縮データを含む。
【００５５】
メタデータ部４０２は、ｉＲＡＷファイルのファイル名の情報４０４を含み、また、高画質現像部１１２によって現像処理された段階を示す現像ステータス情報４０５を含む。さらには、メタデータ部４０２は、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮影光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ４０６を含む。また、図示していないが、メタデータ部４０２は、撮影時に簡易現像部１１１で生成された画像や、記録されている記録媒体の識別コードや、記録されているフォルダのパス情報なども更に含んでもよい。
【００５６】
上記のように、ファイル内にメタデータとして現像ステータス情報を有することにより、ｉＲＡＷデータがどの段階まで現像処理されたものか判別できるようにしている。このことは、下記の第２乃至第６の例においても同様である。なお、上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格に準じた構成であってもよい。
【００５７】
次に、高画質現像部１１２における処理段階の適応的制御の第２の例を説明する。大きな画像データを現像処理する場合、消費電力が増大し、撮影時間の減少につながる。そこで、制御部１６１が、撮像装置１００に内蔵あるいは外付されて電力を供給する電池の残量をモニタリングし、その残量に応じて高画質現像部１１２の現像処理の段階を変えるよう制御する。このように構成することで、撮像装置１００の消費電力を制御し、必要に応じて撮影の可能時間（撮影可能時間）を延ばすことができる。もちろん、本撮像装置１００がＡＣコンセントなどに接続されていて、連続給電可能な状況の場合は、なるべく多くの現像処理を実施するように制御してもよい。
【００５８】
次いで、高画質現像部１１２における処理段階の適応的制御の第３の例を説明する。本実施形態の撮像装置１００は、撮影時にはｉＲＡＷデータを記録するため、再生時には残りの現像処理の実行を必要とする。ユーザーによっては、再生時に行われる現像処理の内容は撮像装置に全てを任せる、いわゆるオートモードでの使い方を希望する場合もあるが、撮像装置として、あらかじめいくつかの設定モードを用意しておき、それをユーザーが選択する場合もある。例えば、人の顔を認識して、撮影の対象者のホワイトバランスや露出を最適にするモードや、撮影対象が風景の場合、その風景毎に色の彩度を自動で調整するようなモードなどである。また、特にカメラ上級者ともなると、ユーザーが自分で、細かく現像条件を設定する場合も多い。特にホワイトバランス等は細かく調整して、希望に沿った画像に現像することも多い。そこで、ユーザー設定による上記の設定モードや、ユーザーが細かく設定した現像処理用の処理パラメータの内容を学習し、それに合わせて、高画質現像部１１２の処理段階を変えるように制御部１６１に制御を構成する。例えば、ユーザーがホワイトバランスを頻繁に調整するようであれば、撮影時における、高画質現像部１１２の現像処理はホワイトバランス補正部２２３の直前までで終了し、ｉＲＡＷデータとして記録する等である。
【００５９】
次に、高画質現像部１１２における処理段階の適応的制御の第４の例を説明する。通信部１５３、通信端子１５４を通じて通信により外部デバイスとの間で画像のデータを受け渡しする場合、外部デバイスとの通信状況に応じて、受け渡しすることのできるデータ転送速度が変化する場合が想定される。データ転送速度が遅い時に大きなデータを送信しないことが望ましい。高画質現像部１１２から出力されるｉＲＡＷデータのデータサイズは、各機能部２２０〜２２６によって変化するため、通信状況に応じて、高画質現像部１１２の現像処理の段階を変えてもよい。
【００６０】
次に、高画質現像部１１２における処理段階の適応的制御の第５の例を説明する。先に、高画質現像部１１２の現像処理の段階は、各画像の状態により判断する場合を述べたが、例えば、ユーザーの操作によりレンズの絞りを変更した場合や、レンズのズーム倍率を変えた場合において、歪補正部２２１や、露出補正部２２４などの処理負荷が過渡的に変化する場合がある。こう言った場合に、高画質現像部１１２の現像処理の段階を変化させることも、本件で想定される範疇である。
また、上記にユーザーの操作によりと記載したが、ユーザーの操作によらず、オート操作モード等によって、カメラによる自発的な操作状態を判断して、高画質現像部１１２の現像処理の段階を変化させることは、本件で想定される範疇である。
【００６１】
次に、高画質現像部１１２における処理段階の適応的制御の第６の例を説明する。
例えば、図２（ａ）及び図２（ｂ）に示した各機能部の順番は、この例に限られるものではないが、各機能部の順番を、画像データが増加しやすい順番に構築してもよい。
これは、前述のように、明らかに画像データが増加する場合や、画像データが増加すると想像される場合、高画質現像部１１２の現像処理の段階を変化させることで、高画質現像部１１２の処理負荷が増加しないように、ｉＲＡＷデータとして、記録媒体１５２に記録する上で、より有効な手段であるからである。
また、高画質現像部１１２における、各機能部の実現方法は、専用回路を有したハード処理でもよいし、プロセッサー等によるソフト処理でもよい。
一般にソフト処理は、ハード処理に比べてその演算速度は遅い。このため、本件のように、画像（電気信号、ＲＡＷデータ）の状態や、カメラの操作状況に応じて、高画質現像部１１２の現像処理の段階を変化させる場合、ハード処理を行った状態までをｉＲＡＷデータとしてもよい。
【００６２】
上述した制御例は、高画質現像部１１２における処理段階の適応的制御として単独で用いるだけでなく、処理段階を固定する制御も含めて、適宜組み合わせ、かつ優先順位をつけるなどして、処理段階（ｉＲＡＷデータの出力タイミング）を決定してもよい。もちろん、上記６つの制御は例示であり、撮像装置１００の構成や、撮影する被写体の特性などに応じた他の制御構成であってもよい。また、それらは、予め制御部１１６が実行する制御プログラムとしてインストールしてもよいし、後に更新プログラムとしてインストールすることで制御構成を追加、変更するようにしてもよい。
【００６３】
以上説明した本実施形態によれば、撮影時にＲＡＷデータを記録する撮像装置において中間ＲＡＷデータ（ｉＲＡＷデータ）を記録することで、撮影後のＲＡＷ現像処理を高速化する。このため、本実施形態によれば、ＲＡＷデータを円滑に処理し得る画像処理装置及びその制御方法、撮像装置及びその制御方法を提供することができる。
【００６４】
次に、本発明の第二の実施形態を、図５を用いて説明する。図５は、本実施形態に係る撮像装置５００の構成例を示すブロック図であり、図５において、図１に示す第一の実施形態に係る撮像装置１００と同一の機能部は同一番号を付して示し、説明を省略する。
【００６５】
第一の実施形態に係る撮像装置１００との違いは、バッファ１１５とＲＡＷ伸張部１１４、ＲＡＷ圧縮部１１３の間に、差分演算部５７０が挿入されていることである。差分演算部５７０は、制御部によって制限された段階までの処理が行われたＲＡＷデータと、当該制限された段階より前の何れかの段階の処理が行われたＲＡＷデータとの差分データを生成する差分部である。
【００６６】
第一の実施形態の場合、ある段階の処理まで終了したｉＲＡＷデータは、その処理以前の状態には復元できなかった。例えば、図２（ａ）及び図２（ｂ）におけるノイズ補正部２２６による現像処理まで終了したｉＲＡＷデータに対して、再生時にホワイトバランスの再調整をユーザーが希望した場合、上記のｉＲＡＷデータをホワイトバランス補正部２２３に入力するだけでは、不十分な場合がある。これは、現像処理の演算過程でデータが欠落してしまい、データが不可逆になる場合があるからである。従ってこのような場合、ｉＲＡＷデータを、センサー信号処理部１０３から出力されたＲＡＷデータの状態に復元し、高画質現像部１１２により、最初から現像処理を実行した方がよい。しかし、そのためには、ｉＲＡＷデータを用いて、センサー信号処理部１０３の出力段階でのＲＡＷデータを復元できるようにしておく必要がある。
【００６７】
以下、このＲＡＷデータの復元のための構成を説明する。図５において、センサー信号処理部１０３が出力するＲＡＷデータは、バッファ１１５に書き込まれる。また、高画質現像部１１２が出力するｉＲＡＷデータもバッファ１１５に書き込まれる。差分演算部５７０は、バッファ１１５のＲＡＷデータとｉＲＡＷデータに対し、例えば、ピクセル単位で差分演算を行う。本実施形態では、この差分データを、ｄＲＡＷデータと称する。なお、差分演算部５７０は、どの段階のｉＲＡＷデータがｄＲＡＷデータを用いて復元できるのかを示す情報を生成する。
【００６８】
ｉＲＡＷデータとｄＲＡＷデータはそれぞれ、ＲＡＷ圧縮部１１３により、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化されて、圧縮された状態のファイルに変換され、記録再生部１５１により、記録媒体１５２に記録される。あるいは、通信部１５３を介して、外部のストレージやサーバに記録される。
【００６９】
図６に、本実施形態において、記録媒体１５２、あるいは、通信部１５３を介して外部のストレージやサーバに記録されるＲＡＷファイルの構造の一例を示す。図６を用いて、本実施形態に係るＲＡＷファイルの構造について説明する。
【００７０】
図６に示すＲＡＷファイル６００は、ヘッダ部６０１、メタデータ部６０２、圧縮データ部６０３から成る。ヘッダ部６０１は、このファイルがＲＡＷファイルの形式であることを示す識別コードなどを含む。圧縮データ部６０３は、高能率符号化されたｉＲＡＷデータ６１０とｄＲＡＷデータ６１１から構成されている。このようにｉＲＡＷデータとｄＲＡＷデータを対にして記録することで、ｉＲＡＷデータとｄＲＡＷデータの対応関係が保持される。
【００７１】
メタデータ部６０２は、ｉＲＡＷファイルのファイル名の情報６０４を含む。また、メタデータ部６０２は、高画質現像部１１２によって実行された現像処理の段階を示すステータス情報６０５を含む。さらには、メタデータ部６０２は、ｄＲＡＷデータを用いて、どの段階のｉＲＡＷデータが復元できるのかを示す情報も含む。また、メタデータ部６０２は、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮影光学部１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ６０６を含む。また、図示していないが、メタデータ部６０２は、撮影時に簡易現像部１１１で生成された画像や、ＲＡＷファイルが記録されている記録媒体の識別コードや、ＲＡＷファイルが記録されているフォルダのパス情報などを更に含んでもよい。
【００７２】
ところで、上記説明の中で、ｄＲＡＷデータはＲＡＷデータとｉＲＡＷデータとの差分であるとしたが、ｄＲＡＷデータが、異なるｉＲＡＷデータ間の差分でもよい。例えば、ノイズ補正部２２６の処理まで実施されたｉＲＡＷデータに対し、ホワイトバランスの調整を再度実施する場合、差分データにより復元されるデータはＲＡＷデータではなく、デモザイキング処理部２２２まで処理されたｉＲＡＷデータの方がよい。それは、周辺光量補正部２２０からデモザイキング処理部２２２までの処理を実行する必要がないので、実行する現像処理量が減るからである。この場合、ｄＲＡＷデータは、ノイズ補正部２２６の出力するｉＲＡＷデータと、デモザイキング処理部２２２の出力するｉＲＡＷデータの差分データが望ましい。このように、高画質現像部１１２で実行される各処理段階、あるいは所定の処理段階でのｄＲＡＷデータを記録するようにしてもよい。
【００７３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
【００７４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７５】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７６】
１００…撮像装置
１０１…撮像光学部
【図１】
2015195582.tif 000003
【図２】
2015195582.tif 000004
【図３】
2015195582.tif 000005
【図４】
2015195582.tif 000006
【図５】
2015195582.tif 000007
【図６】
2015195582.tif 000008
【図７】
2015195582.tif 000009