(57)【特許請求の範囲】
【請求項１】
未現像の状態の画像データであるＲａｗ画像データの供給を受けて、前記Ｒａｗ画像データに対して処理負荷の大きな１以上の現像処理を行って中間現像画像データを生成する第１の現像処理手段と、
前記第１の現像処理手段において生成された前記中間現像画像データを記憶保持する記憶手段と、
前記第１の現像処理手段からの前記中間現像画像データに対して、あるいは、前記記憶手段に記憶保持されている前記中間現像画像データに対して、処理負荷の小さな１以上の現像処理を行って、現像処理された結果画像データを生成する第２の現像処理手段と、
ユーザーからの現像処理に関する指示入力を受け付ける受付手段を備え、
前記第１の現像処理手段は、前記１以上の現像処理に露出調整処理とホワイトバランス調整処理との一方あるいは両方を含め、前記露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、複数の異なる調整値を用いることで複数の前記中間現像画像データを生成し、
前記受付手段を通じて、露出調整処理に関する指示入力とホワイトバランス調整処理に関する指示入力との一方あるいは両方と、前記複数の中間現像画像データから現像処理に用いる中間現像画像データを選択する指示入力を受け付けた場合には、
前記第２の現像処理手段は、前記指示された中間現像画像データに対して、あるいは、前記記憶手段に記憶されている前記指示された中間現像画像データに対して、前記受付手段を通じて受け付けた指示入力に応じて、露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第１の現像処理手段で露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、前記第１の現像処理手段は、前記Ｒａｗ画像データと共に供給される調整値と、前記Ｒａｗ画像データを検波することにより求められる調整値と、予め決められた固定の調整値とのうちの１以上を用いて調整処理を実行し、
前記第２の現像処理手段で露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、前記第２の現像処理手段は、前記第１の現像処理手段で用いた調整値に応じて、前記第１の処理手段で行われた当該第２の現像処理手段において行おうとしている調整処理と同じ調整処理をキャンセルした上で、前記受付手段を通じて受け付けた前記指示入力に応じて調整処理を実行することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記第１の現像処理手段において実行される処理には、前記露出調整処理とホワイトバランス処理との一方あるいは両方に加えて、ノイズリダクション処理、収差／ディストーション補正処理、補間処理、手振れ／被写体ブレ補正処理の内の１以上を含むことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記第２の現像処理手段において実行される処理には、前記露出調整処理とホワイトバランス処理との一方あるいは両方に加えて、色空間変換処理、非線形空間化処理、絵作り処理、シャープネス調整処理の内の１以上を含むことを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置であって、
前記受付手段を通じて、露出調整処理に関する指示入力とホワイトバランス調整処理に関する指示入力との一方あるいは両方を受け付けた場合には、
前記第１の現像処理手段が現像処理を繰り返すことなく、
前記第２の現像処理手段が、前記指示された中間現像画像データに対して、あるいは、前記記憶手段に記憶されている前記指示された中間現像画像データに対して、前記受付手段を通じて受け付けた指示入力に応じて、露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する
ことを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置であって、
前記受付手段を通じて、前記第２の現像処理手段で実行される処理に関する指示入力を受け付けた場合には、前記第２の処理手段は、前記指示された中間現像画像データに対して、あるいは、前記記憶手段に記憶保持されている前記指示された中間現像画像データに対して、前記受付手段を通じて受け付けた前記指示入力に応じた処理を実行することを特徴とする画像処理装置。
【請求項７】
未現像の状態の画像データであるＲａｗ画像データの供給を受けて、前記Ｒａｗ画像データに対して処理負荷の大きな１以上の現像処理を行って中間現像画像データの生成を行い、前記１以上の現像処理に露出調整処理とホワイトバランス調整処理との一方あるいは両方を含め、前記露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、複数の異なる調整値を用いることで複数の前記中間現像画像データを生成する第１の現像処理工程と、
前記第１の現像処理工程において生成した複数の前記中間現像画像データを所定のメモリに記録する記録工程と、
ユーザーからの現像処理に関する指示入力を受け付ける受付工程と、
前記第１の現像処理工程において生成した前記中間現像画像データに対して、あるいは、前記所定のメモリに記憶保持されている前記中間現像画像データに対して、処理負荷の小さな１以上の現像処理を行って、現像処理された結果画像データの生成を行い、前記受付工程で、露出調整処理に関する指示入力とホワイトバランス調整処理に関する指示入力との一方あるいは両方と、前記複数の中間現像画像データから現像処理に用いる中間現像画像データを選択する指示入力を受け付けた場合には、前記指示された中間現像画像データに対して、あるいは、前記所定のメモリに記憶されている前記指示された中間現像画像データに対して、前記受け付けた指示入力に応じて、露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する第２の現像処理工程と
を有することを特徴とする画像処理方法。
【請求項８】
未現像の状態の画像データであるＲａｗ画像データを現像処理する画像処理装置に搭載されたコンピュータに実行されるプログラムであって、
前記Ｒａｗ画像データに対して処理負荷の大きな１以上の現像処理を行って中間現像画像データの生成を行い、前記１以上の現像処理に露出調整処理とホワイトバランス調整処理との一方あるいは両方を含め、前記露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、複数の異なる調整値を用いることで複数の前記中間現像画像データを生成する第１の現像処理ステップと、
前記第１の現像処理ステップにおいて生成した複数の前記中間現像画像データを所定のメモリに記録する記録ステップと、
ユーザーからの現像処理に関する指示入力を受け付ける受付ステップと、
前記第１の現像処理ステップにおいて生成した前記中間現像画像データに対して、あるいは、前記所定のメモリに記憶保持されている前記中間現像画像データに対して、処理負荷の小さな１以上の現像処理を行って、現像処理された結果画像データの生成を行い、前記受付工程で、露出調整処理に関する指示入力とホワイトバランス調整処理に関する指示入力との一方あるいは両方と、前記複数の中間現像画像データから現像処理に用いる中間現像画像データを選択する指示入力を受け付けた場合には、前記指示された中間現像画像データに対して、あるいは、前記所定のメモリに記憶されている前記指示された中間現像画像データに対して、前記受け付けた指示入力に応じて、露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する第２の現像処理ステップと
を前記画像処理装置の前記コンピュータにおいて実行させることを特徴とする画像処理プログラム。
【請求項９】
被写体画像を取り込む撮像素子と、
前記撮像素子を通じて取り込んだ未現像の状態の画像データであるＲａｗ画像データに対して処理負荷の大きな１以上の現像処理を行って中間現像画像データを生成する第１の現像処理手段と、
前記第１の現像処理手段において生成された前記中間現像画像データを記憶保持する記憶手段と、
前記第１の現像処理手段からの前記中間現像画像データに対して、あるいは、前記記憶手段に記憶保持されている前記中間現像画像データに対して、処理負荷の小さな１以上の現像処理を行って、現像処理された結果画像データを生成する第２の現像処理手段と、
ユーザーからの現像処理に関する指示入力を受け付ける受付手段を備え、
前記第１の現像処理手段は、前記１以上の現像処理に露出調整処理とホワイトバランス調整処理との一方あるいは両方を含め、前記露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、複数の異なる調整値を用いることで複数の前記中間現像画像データを生成し、
前記受付手段を通じて、露出調整処理に関する指示入力とホワイトバランス調整処理に関する指示入力との一方あるいは両方と、前記複数の中間現像画像データから現像処理に用いる中間現像画像データを選択する指示入力を受け付けた場合には、
前記第２の現像処理手段は、前記指示された中間現像画像データに対して、あるいは、前記記憶手段に記憶されている前記指示された中間現像画像データに対して、前記受付手段を通じて受け付けた指示入力に応じて、露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、未現像の状態の画像データであるいわゆるＲａｗ画像データを処理する装置、方法、プログラムに関する。
【背景技術】
【０００２】
撮像素子の信号をそのまま記録したＲａｗ画像データを、例えばパーソナルコンピュータなどのＲａｗ現像装置によってユーザーが現像調整を行いながら現像するＲａｗ現像がその利便性から近年注目を浴びている。Ｒａｗ現像処理においては、ユーザーは様々な現像パラメータをＲａｗ現像装置に指定することによって、その現像パラメータに対応した結果画像を得ることができる。
【０００３】
しかし、Ｒａｗ現像においては、ユーザーは現像パラメータの追い込み作業を繰り返す。すなわち、図１１に示すように、Ｒａｗ画像ファイルＲｄ−ｆに記録保持されている目的とする画像のＲａｗ画像データを読み出し（ステップＳ１）、これを現像して表示し（ステップＳ２）、ユーザーが確認できるようにする。そして、ユーザーからの現像パラメータの変更指示を受け付けるようにする（ステップＳ３）。
【０００４】
そして、変更指示があるか否かを判断して（ステップＳ４）、変更指示がある場合には、ステップＳ３で受け付けた変更指示に従って現像パラメータを変更し（ステップＳ６）、ステップＳ２からの処理を繰り返す。このように、ユーザーは、少しずつパラメータを変更しては現像処理を繰り返し行うようにし、その結果画像を確認して、さらにその結果に基づいてパラメータを変更するといった作業を繰り返すことにより、ユーザーの好みにあった画像を形成するようにする。
【０００５】
しかしながら、Ｒａｗ現像処理自体の計算負荷は一般的に大きいため、上述した現像パラメータの追い込みのための繰り返し作業全体の計算負荷は非常に大きなものとなり、目的とする画像を得るまでに時間や手間がかかるなど、ユーザーの負担となっている。このため、Ｒａｗ現像処理の高速化の要求が高まっている。
【０００６】
Ｒａｗ現像処理の高速化手法の１つとして、特許文献１には、中間現像画像を持つようにするものが提案されている。この手法は、例えば、図１２に示すように、現像処理が、工程１〜工程３の３つの工程からなっている場合に、Ｒａｗ画像データＲｄに対して工程１、工程２からなるステージ１の処理が終了した段階の途中結果画像を中間現像画像Ｃｄとして保持するようにし、工程３からなるステージ２を実行し、結果画像Ｄｄを形成した後においても（現像完了後においても）、中間現像画像Ｃｄを保持しておくようにする。
【０００７】
そして、次回のユーザー指定現像パラメータがその中間現像画像を生成する上で必要なパラメータと差分がない場合に、すなわち、ステージ１の工程１と工程２とを実行する必要がない場合に、中間現像画像Ｃｄを用いてステージ２の工程３だけをパラメータを変えて実行し、繰り返し現像を行えるようにすることにより現像処理の高速化を実現しようとするものである。これによってユーザーが中間現像画像以降の現像処理に対する現像パラメータの変更に対しては、高いパフォーマンスを提供することができる。
【０００８】
なお、上述した特許文献１は、以下に示す通りである。
【特許文献１】特開２００５−３４１５５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、ユーザーは状況に応じて様々な現像パラメータを調整するが、一般的に調整する頻度が高いとされているのが露出調整（露出補正）とホワイトバランス調整（ホワイトバランス補正）である。露出調整及びホワイトバランス調整（以下、露出／ＷＢ調整と呼ぶ。）はＲａｗ画像データ（Ｒａｗ信号）に対して直接行われる処理であるので、ＲＧＢ画像などの結果画像になってからの輝度調整、色味調整とは意味合いが異なる。露出／ＷＢ調整はＲａｗ現像において非常に重要な意味を持つ。
【００１０】
上述のように、露出／ＷＢ調整はＲａｗ画像データに対して行われることが多ので、通常の撮像装置における現像フローにおいてはかなり前段の方に配置していることが多い。例えば、図１３に示すように、露出／ＷＢ調整処理は、ステージ１の前段に位置するようにされる。すなわち、図１３に示す例の場合、Ｒａｗ画像データに対しては、ステージ１として、まず、露出／ＷＢ調整処理を行い、次に補間処理などを行って中間現像画像Ｃｄを形成し、この後、他の現像処理からなるステージ２の処理が行われるようにされている。
【００１１】
このように、露出／ＷＢ調整処理が、現像フローの前段に位置するようにされるのは、適切な露出とホワイトバランスが、様々な現像処理において必要であることが原因にあげらえる。例えば補間処理などでは、高い画質を得ようと処理を高度なものにした場合、適切な露出とホワイトバランスが保たれていないＲａｗ画像データには高品質を保てなくなる場合がある。
【００１２】
また適切な露出調整を前段でやっておかないと、様々な現像処理を経ていく中で蓄積されていく量子化ノイズなどを倍化させてしまうこともある。この様な理由によって、現像フロー（Ｒａｗ現像処理フロー）において露出調整とホワイトバランス調整とは現像フローの前段に配置されることが多いのである。
【００１３】
しかし、中間現像画像を用いたＲａｗ現像装置においては、Ｒａｗ現像処理フローの前段にある現像処理に対する現像パラメータを変更すると、中間現像画像を用いることができず、全ての現像処理をやり直す必要がある。例えば、図１３に示したように、ステージ１においては、露出調整パラメータｅｘｐ＝２０、３原色のホワイトバランスパラメータｗｂＲ＝１０、ｗｂＧ＝３０、ｗｂＢ＝４０、その他のパラメータｂ＝２０、ｃ＝３０が用いられて、中間現像画像Ｃｄが形成され、ステージ２において他のパラメータｄ＝５０が用いられて結果画像Ｄｄが形成されたとする。
【００１４】
ここで、結果画像Ｄｄを確認したユーザーが、図１４に示すように、露出調整パラメータｅｘｐを値「１５」に、ホワイトバランスパラメータの内、赤信号用ホワイトバランスパラメータｗｂＲを値「２０」に変更したいとする。この場合には、図１３、図１４から明らかなように、露出／ＷＢ調整処理は、ステージ１の前段に位置しているため、中間現像画像Ｃｄを用いることはできず、ステージ１からの再処理となる。したがって、露出／ＷＢ調整は中間現像画像による高速化の恩恵を受けることができない。
【００１５】
上述もしたように、露出／ＷＢ調整はＲａｗ現像処理の中で最も基本的な調整項目（補正項目）であり、ユーザーの利用頻度も高い。この２つの処理が中間現像画像の高速化の対象にならないことは、中間現像画像を使用することに対するコスト（メモリ空間など）を考えると、メリットが薄くなってしまう。
【００１６】
そうかと言って、例えば、図１５に示すように、露出／ＷＢ調整の処理位置を現像フローにおいて、中間現像画像を得た後の位置（現像フローの後段）に持ってきてしまうと前段の現像処理結果に悪影響を及ぼしてしまう。すなわち、露出／ＷＢ調整処理を図１５に示したようにステージ２に移行させた場合、ステージ１の補間処理は、露出／ＷＢ調整前のＲａｗ画像データを用いて行わなければならず、補間処理に影響を及ぼす可能性が生じる。
【００１７】
このように、Ｒａｗ現像処理の高速化のために中間現像画像を用いる構成を採用するようにしても、その中間現像画像が生成されるよりも前段に位置する露出調整やホワイトバランス調整についてパラメータを変更する場合には、中間現像画像を用いることができず、中間現像画像を用いた処理の高速化の恩恵を受けることができない状況にある。
【００１８】
以上のことに鑑み、この発明は、高品位に現像処理を行うことができると共に、ユーザーの指示に応じて行う現像処理の高速化をも実現できるようにすることを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
未現像の状態の画像データであるＲａｗ画像データの供給を受けて、前記Ｒａｗ画像データに対して処理負荷の大きな１以上の現像処理を行って中間現像画像データを生成する第１の現像処理手段と、
前記第１の現像処理手段において生成された前記中間現像画像データを記憶保持する記憶手段と、
前記第１の現像処理手段からの前記中間現像画像データに対して、あるいは、前記記憶手段に記憶保持されている前記中間現像画像データに対して、処理負荷の小さな１以上の現像処理を行って、現像処理された結果画像データを生成する第２の現像処理手段と、
ユーザーからの現像処理に関する指示入力を受け付ける受付手段を備え、
前記第１の現像処理手段は、前記１以上の現像処理に露出調整処理とホワイトバランス調整処理との一方あるいは両方を含め、前記露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、複数の異なる調整値を用いることで複数の前記中間現像画像データを生成し、
前記受付手段を通じて、露出調整処理に関する指示入力とホワイトバランス調整処理に関する指示入力との一方あるいは両方と、前記複数の中間現像画像データから現像処理に用いる中間現像画像データを選択する指示入力を受け付けた場合には、
前記第２の現像処理手段は、前記指示された中間現像画像データに対して、あるいは、前記記憶手段に記憶されている前記指示された中間現像画像データに対して、前記受付手段を通じて受け付けた指示入力に応じて、露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する画像処理装置。
【００２０】
この請求項１に記載の発明の画像処理装置によれば、第１の現像処理手段により、Ｒａｗ画像データについて、処理負荷の大きな１つ以上の現像処理が行われ、中間現像画像データが生成される。第１の現像処理手段によって生成された中間現像画像データは、記憶手段に記憶保持される。そして、第１の現像処理手段からの中間現像画像データ、あるいは、記憶保持手段に記憶保持されている中間現像画像データに対して、第２の現像処理手段により、処理負荷の小さな１つ以上の現像が行われ、一連の現像処理の結果得られる結果画像が生成される。
【００２１】
これにより、中間現像画像データは、記憶手段に保持し続けられる。そして、初めに第１の現像処理手段と第２の現像処理手段とを通じて一連の現像処理の結果得られる結果画像を得て当該結果画像を確認した上で、記憶手段に記憶保持されている中間現像画像データを用いて、処理負荷の小さな１以上の現像処理だけを第２の現像処理手段を通じて繰り返し行い、目的とする画質の結果画像を得られるように処理することができるようにされる。したがって、高品位に現像処理を行うことができると共に、現像処理の高速化をも実現することができるようにされる。
【００２３】
さらに、第１の現像処理手段により、露出調整処理とホワイトバランス調整処理との一方あるいは両方を行うことにより高品位な現像処理を行うようにすることができると共に、受付手段を通じて、露出調整処理とホワイトバランス調整処理との一方あるいは両方についての指示入力と、複数の中間現像画像データから現像処理に用いる中間現像画像データを選択する指示入力を受け付けた場合には、第２の現像処理手段により、第１の現像処理手段からの指示された中間現像画像データに対して、あるいは、記憶手段に記憶されている指示された中間現像画像データに対して、受付手段を通じて受け付けた指示入力に応じた露出調整処理とホワイトバランス調整処理との一方あるいは両方が行われる。
【００２４】
これにより、受付手段を通じて露出調整処理やホワイトバランス調整処理についての指示入力を受け付けた場合には、第１の現像処理手段を機能させることなく、第２の現像処理手段により、露出調整処理やホワイトバランス調整処理を繰り返し行うことができるようにされる。したがって、露出調整処理やホワイトバランス調整処理のパラメータが、受付手段を通じてユーザーにより変更された場合であっても、選択した中間現像画像データを用いて露出調整処理やホワイトバランス調整処理を行うことができ、高品位に現像処理を行うことができると共に、現像処理の高速化をも実現することができるようにされる。
【００２５】
また、請求項２に記載の発明の画像処理装置は、請求項１に記載の画像処理装置であって、
前記第１の現像処理手段で露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、前記第１の現像処理手段は、前記Ｒａｗ画像データと共に供給される調整値と、前記Ｒａｗ画像データを検波することにより求められる調整値と、予め決められた固定の調整値とのうちの１以上を用いて調整処理を実行し、
前記第２の現像処理手段で露出調整処理とホワイトバランス調整処理との一方あるいは両方を実行する場合に、前記第２の現像処理手段は、前記第１の現像処理手段で用いた調整値に応じて、前記第１の処理手段で行われた当該第２の現像処理手段において行おうとしている調整処理と同じ調整処理をキャンセルした上で、前記受付手段を通じて受け付けた前記指示入力に応じて調整処理を実行することを特徴とする。
【００２６】
この請求項２に記載の発明の画像処理装置によれば、第１の現像処理手段においては、（１）Ｒａｗ画像データと共に供給される例えば撮像装置において設定するようにされた調整値、（２）Ｒａｗ画像データを検波することにより求められる調整値、（３）予め決められた固定の調整値など、いわば予め決められた調整値が用いられて、露出調整処理やホワイトバランス調整処理が行われる。
【００２７】
一方、第２の現像処理手段においては、第１の現像処理手段で用いられた調整値が分かっているので、第１の現像処理手段で行われた露出調整処理、ホワイトバランス調整処理をキャンセルした上で、受付手段を通じて受け付けた指示入力に応じて、露出調整処理やホワイトバランス調整処理が行うようにされる。
【００２８】
これにより、第１の現像処理手段において、露出調整処理とホワイトバランス調整処理との一方あるいは両方が行われているので、高品位に現像処理を行うことができると共に、ユーザーにより露出調整処理やホワイトバランス調整処理のパラメータが変更するようにされた場合には、第２の現像処理手段により、中間現像画像データが用いられて、まず、第１の現像処理手段で行われた露出調整処理やホワイトバランス調整処理がキャンセルされた上で、ユーザーの指示に応じた露出調整処理、ホワイトバランス調整処理が行われるので、ユーザーの指示に応じた現像処理を迅速かつ適正に行うことができるようにされる。
【発明の効果】
【００２９】
この発明によれば、高品位に現像処理を行うことができると共に、ユーザーの指示に応じて行う現像処理の高速化をも実現できる。したがって、いわゆる現像パラメータの追い込み作業を迅速に行うことができ、Ｒａｗ画像データに対する現像処理にかかるユーザーの時間的負担を大幅に軽減することができる。
【発明を実施するための最良の形態】
【００３０】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。
【００３１】
［第１の実施の形態］
まず、この発明による装置、方法、プログラムの一実施の形態が適用された画像処理装置１００について説明する。この第１の実施の形態の画像処理装置１００は、例えば、パーソナルコンピュータ、ゲーム機、テレビ受像機、ＰＶＲ（Personal Video Recorder）等と呼ばれる家庭用のデジタル録画機、携帯電話端末やＰＤＡ（Personal Digital Assistants）と呼ばれる携帯情報端末等の種々の態様で実現されるものである。以下に説明する第１の実施の形態の画像処理装置１００は、例えば、パーソナルコンピュータ、テレビ受像機、ＰＶＲなどの態様で実現され、家庭などにおいて利用されるものである場合を例にして説明する。
【００３２】
［画像処理装置１００の構成例について］
図１は、第１の実施の形態の画像処理装置１００を説明するためのブロック図である。図１に示すように、この第１の実施の形態の画像処理装置１００は、通常露出／ＷＢ調整処理部１０１、補間等画像処理部１０２、ユーザー露出／ＷＢ調整処理部１０３、最終現像処理部１０４、表示コントローラ１０５、表示部１０６、ハードディスクドライブ（以下、ＨＤＤと略称する。）１０７、操作部１０８、メディアドライブ１１１、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１１２、通信インターフェース（以下、通信Ｉ／Ｆと略称する。）１１４、送受信アンテナ１１５、制御部１２０を備えたものである。
【００３３】
制御部１２０は、この第１の実施の形態の画像処理装置１００の各部を制御するものであり、図１に示したように、ＣＰＵ（Central Processing Unit）１２１、ＲＯＭ（Read Only Memory）１２２、ＲＡＭ（Random Access Memory）１２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１２４が、ＣＰＵバス１２５を通じて接続されて構成されたマイクロコンピュータである。
【００３４】
ここで、ＣＰＵ１２１は、後述もするＲＯＭ１２２に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ＲＯＭ１２２は、上述もしたように、ＣＰＵ１２１によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。
【００３５】
ＲＡＭ１２３は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。ＥＥＰＲＯＭ１２４は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの第１の実施の形態の画像処理装置１００の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。
【００３６】
そして、この第１の実施の形態の画像処理装置１００は、デジタルカメラなどの撮像装置によって撮影することにより得られたＲａｗ画像データの供給を受けて、これを現像処理することができるものである。
【００３７】
Ｒａｗ画像データは、撮像装置の例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子から得られた電気信号である被写体画像信号を単純にデジタル化したものであり、現像処理前の未現像の状態の画像データを意味する。
【００３８】
また、現像処理は、Ｒａｗ画像データに対して、露出調整処理、ホワイトバランス調整処理、補間処理（デモザイク処理）などの一連の画像信号処理を行って、画素毎に３原色信号であるＲ（赤）、Ｇ（緑）、Ｂ（青）の３チャンネルの濃淡レベルを持つフレーム画像データを形成し、最終的にユーザーが視認可能な画像を再現できる画像データを形成する処理である。
【００３９】
このため、この第１の実施の形態の画像処理装置１００は、Ｒａｗ画像データ受付部として、メディアドライブ１１１、外部Ｉ／Ｆ１１２及び入出力端１１３、通信Ｉ／Ｆ１１４及び送受信アンテナ１１５を備えている。
【００４０】
メディアドライブ１１１は、リムーバブルメディアの着脱が可能なものであり、これに装着されたリムーバブルメディアからデータを読み出したり、当該リムーバブルメディアに対してデータを書き込んだりすることができるものである。したがって、撮像装置によってＲａｗ画像データが記録されたリムーバブルメディアを、メディアドライブ１１１に装着することにより、この第１の実施の形態の画像処理装置１００の制御部１２０が、当該リムーバブルメディアに記録されているＲａｗ画像データを読み出して利用することができるようにされる。
【００４１】
なお、リムーバブルメディアとしては、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなど種々のものがあるが、この第１の実施の形態の画像処理装置１００のメディアドライブ１１１は、例えば、メモリカード用のものである。
【００４２】
外部Ｉ／Ｆ１１２及び入出力端子１１３は、例えば、ＵＳＢ（Universal Serial Bus）規格やＩＥＥＥ（Institute of Electrical and Electronics Engineers,Inc）１３９４規格などのデジタルインターフェースであり、同じデジタルＩ／Ｆを備えた外部機器を接することができるようにされている。
【００４３】
したがって、Ｒａｗ画像データを記憶保持している撮像装置などの外部機器を外部Ｉ／Ｆ１１２及び入出力端子１１３通じて接続することにより、この第１の実施の形態の画像処理装置１００の制御部１２０が、当該外部機器に記憶保持されているＲａｗ画像データの提供を受けて利用することができるようにされる。
【００４４】
通信Ｉ／Ｆ１１４及び送受信アンテナ１１５は、例えば、インターネットなどの広域ネットワークを通じて外部機器との間で情報の送受信を行うようにするものである。したがって、通信機能を備えると共に、Ｒａｗ画像データを保持している撮像装置や携帯端末などの外部機器との間で通信Ｉ／Ｆ１１４及び送受信アンテナ１１５を通じて通信処理を行うことにより、制御部１２０は、Ｒａｗ画像データを取得してこれを利用することができるようにされる。
【００４５】
このように、この第１の実施の形態の画像処理装置１００は、Ｌａｗ画像データ受付部としてのメディアドライブ１１１、外部Ｉ／Ｆ１１２及び入出力端子１１３、通信Ｉ／Ｆ１１４及び送受信アンテナ１１５を通じてＲａｗ画像データを取得できるようにし、取得したＲａｗ画像データを、制御部１２０の制御により、現像処理することができるものである。
【００４６】
そして、Ｒａｗ画像データについての現像処理は、この第１の実施の形態の画像処理装置１００においては、通常露出／ＷＢ調整処理部１０１、補間等画像処理部１０２、ユーザー露出／ＷＢ調整処理部１０３、最終現像処理部１０４において行うことができるようにしている。
【００４７】
この第１の実施の形態の画像処理装置１００においては、Ｌａｗ画像データ受け付け部を通じて取得したＬａｗ画像データを、まず、通常露出／ＷＢ調整処理部１０１に供給し、ここで予め決められた調整値を用いて露出調整処理及びホワイトバランス調整処理を施し、調整後のＬａｗ画像データを、制御部１２０を通じて補間等画像処理部１０２に供給する。
【００４８】
補間等画像処理部１０２は、通常の露出調整処理及びホワイトバランス調整処理が施されたＬａｗ画像データの供給を受けて、各画素データにつき、隣接する画素データを用いてＲＧＢの３チャンネル（３原色）の濃淡レベルを持つ中間現像画像データ（フレームデータ）を形成する。ここで形成された中間現像画像データは、制御部１２０のＲＡＭ１２３に一時保存されると共に、ユーザー露出／ＷＢ調整処理部１０３に供給される。
【００４９】
ユーザー露出／ＷＢ調整処理部１０３は、ユーザーによって指示されたパラメータに応じて露出調整処理、ホワイトバランス調整処理を実行する。このため、この第１の実施の形態の画像処理装置１００の制御部１２０には、操作部１０８が接続するようにされている。
【００５０】
操作部１０８は、数字キー群、アルファベットキー群、ファンクションキー群などからなるキーボードや、いわゆるマウスなどのポインティングデバイスなどからなり、ユーザーからの操作入力を受け付けて電気信号に変換し、これを制御部１２０に供給することができるものである。
【００５１】
したがって、ユーザーは、Ｒａｗ画像データを現像する場合に、露出調整処理やホワイトバランス調整処理のパラメータを変更したい場合には、操作部１０８を通じてパラメータの変更のための指示入力を行う。具体的には、露出調整処理やホワイトバランス調整処理のためのパラメータを数値で入力したり、後述する表示部１０６に表示されている露出調整処理やホワイトバランス調整処理のための調整値の状態を示す表示を、矢印キーやマウスを用いて変更したりするなどの操作を行う。
【００５２】
このようにして入力されたパラメータの変更のための指示入力は、操作部１０８を通じて制御部１２０に供給される。制御部１２０は、自己に供給されたユーザーからの指示入力に応じて、露出調整処理やホワイトバランス調整処理のためのパラメータを形成し、これをユーザー露出／ＷＢ調整処理部１０３に供給する。
【００５３】
これにより、ユーザー露出／ＷＢ調整処理部１０３は、補間等画像処理部１０２からの中間現像画像データに対して、あるいは、ＲＡＭ１２３に一時記憶されている中間現像画像データに対して、ユーザーによって指示されたパラメータに応じて露出調整処理、ホワイトバランス調整処理を施す。
【００５４】
この場合、ユーザー露出／ＷＢ調整処理部１０３は、例えば、最初の現像処理の場合には、補間画像処理部１０２からの中間現像画像に対して露出調整処理、ホワイトバランス調整処理を行い、ユーザーからの指示に応じてパラメータを変更して行う２回目以降の現像処理の場合には、後述もするように、ＲＡＭ１２３に記憶保持されている中間現像画像データに対して、露出調整処理、ホワイトバランス調整処理を行う。
【００５５】
このようにして、ユーザー露出／ＷＢ調整処理部１０３において、ユーザーの指示に応じて露出調整処理、ホワイトバランス調整処理が行われた画像データは、制御部１２０を通じて最終現像処理部１０４に供給され、ここで、例えば、色空間変換処理、ガンマ補正などの非線形空間化処理などの必要な現像処理を行って結果画像データを形成する。
【００５６】
最終現像処理部１０４において形成された結果画像データは、制御部１２０を通じて表示コントローラ１０５に供給される。表示コントローラ１０５は、表示部１０６に供給する映像信号（画像信号）を形成し、これを表示部１０６に供給する。
【００５７】
表示部１０６は、この第１の実施の形態の画像処理装置１００の一部として設けられている場合もあれば、画像処理装置１００とは別体のモニタ受像機の構成とされたものの場合もあり、比較的に大きな表示画面を備え、表示コントローラ１０５からの映像信号に応じた映像（画像）を自己の表示画面に表示する。
【００５８】
このように、この第１の実施の形態の画像処理装置１００においては、Ｒａｗ画像データの供給を受けて、これを現像処理して、結果画像データを形成し、これに応じた画像を表示部１０６の表示画面に表示することができるようにしている。
【００５９】
なお、この第１の実施の形態の画像処理装置１００において、供給を受けたＲａｗ画像データや、生成した中間現像画像データや、一連の現像処理の結果得られた結果画像データについては、ＨＤＤ１０７のハードディスクに記録し、保持するようにすることによって、いつでも読み出して利用することができるようにされる。
【００６０】
ここでＨＤＤ１０７は、比較的に記憶容量の大きなハードディスクを内蔵し、当該ハードディスクへのデータ書き込みや当該ハードディスクからのデータの読み出しを行うことができるものである。
【００６１】
したがって、Ｒａｗ画像データをＨＤＤ１０７のハードディスクに記憶させておけば、そのＲａｗ画像データを用いて繰り返し現像処理を行うようにすることができる。また、中間現像画像データをＨＤＤ１０７のハードディスクに記憶させておけば、中間現像画像データを用いた途中からの現像処理をいつでも行って、好みの画像に現像することもできる。もちろん、結果画像データをＨＤＤ１０７のハードディスクに記憶させておけば、結果画像を迅速に表示させて利用したり、他の機器に提供して当該他の機器において利用したりするなどのこともできる。
【００６２】
このように、この第１の実施の形態の画像処理装置１００は、外部から供給を受けたＲａｗ画像データについて現像処理を行うことができるものであるが、単に現像処理を自動的に行うだけでなく、ユーザーは、露出調整処理やホワイトバランス調整処理についてのパラメータを変更することによって、好みに応じた現像処理を行うことができる。
【００６３】
そして、通常行われるべき露出調整処理とホワイトバランス調整処理は、上述もしたように、通常ホワイトバランス調整処理部１０１において行われるので、露出調整処理やホワイトバランス調整処理が行われていないＲａｗ画像データを補間処理するなどのこともないために高品位な現像処理を行うことができる。
【００６４】
さらに、ユーザーが、露出調整処理やホワイトバランス調整処理についてのパラメータを変更した場合であっても、最初から現像処理をやり直す必要はなく、中間現像画像を用いて必要な現像処理だけを行うようにすることができるので、現像処理に時間をかけることなく、迅速に現像処理を行って、ユーザーが目的とする色合いの画像にＲａｗ画像データを現像処理することができるようにしている。
【００６５】
なお、図１において、二重線のブロックで示した通常露出／ＷＢ調整処理部１０１、補間等画像処理部１０２、ユーザー露出／ＷＢ調整処理部１０３、最終現像処理部１０４のそれぞれは、図１に示したように、独立した回路部分として構成することもできるし、制御部１２０において実行されるソフトウェア（プログラム）によって、制御部１２０の機能として実現することもできる。
【００６６】
［現像処理の詳細について］
図２は、この実施の形態の画像処理装置１００において行われる現像処理の詳細について説明するためのブロック図であり、現像処理の段階に応じて、各部がどのように機能するかを示すようにしたブロック図である。
【００６７】
この第１の実施の形態の画像処理装置１００においては、一連の現像処理をステージ１（前段）で行う処理群とステージ２（後段）で行う処理群との２つのグループ（処理群）に分離するようにしている。そして、ステージ１とステージ２とのそれぞれにおいて、露出／ＷＢ調整処理を行うことができるようにしている。
【００６８】
具体的には、以下に詳述するように、ストレージ１においては、一般的な撮像装置において行われる通常の露出／ＷＢ調整処理を行うことにより、高品位に現像処理を行って中間現像画像データを生成できるようにし、ステージ２においては、ステージ１において生成された中間現像画像データに対して、ユーザーの指示に応じた露出／ＷＢ調整処理を行うことにより、ユーザーの意図や好みに合致した結果画像を形成する結果画像データを得られるようにしている。以下、この第１の実施の形態の画像処理装置１００における現像処理について詳述する。
【００６９】
図２に示すように、この第１の実施の形態の画像処理装置１００において、ステージ１は、通常露出／ＷＢ調整処理部１０１と、補間等画像処理部１０２とによって行われる処理からなり、ステージ２は、ユーザー露出／ＷＢ調整処理部１０３と、最終現像処理部１０４とによって行われる処理からなっている。
【００７０】
そして、上述もしたように、メディアドライブ１１１、外部Ｉ／Ｆ１１２及び入出力端子１１３、通信Ｉ／Ｆ１１４及び送受信アンテナ１１５からなるＬａｗ画像データ受付部を通じて受け付けたＲａｗ画像データＲｄは、ステージ１の通常露出／ＷＢ調整処理部１０１に供給される。
【００７１】
ステージ１の通常露出／ＷＢ調整処理部１０１は、上述もしたように、一般的な撮像装置において行われるようないわゆる通常の露出／ＷＢ調整処理を行う。通常露出／ＷＢ調整処理部１０１で行われる処理は、ユーザーの露出／ＷＢ調整パラメータの影響を受けず、常に同じ値で行われる。
【００７２】
ここで用いられる露出／ＷＢ調整パラメータ（調整値）は、（１）撮像装置が予めＲａｗ画像ファイルに記録したものや、（２）Ｒａｗ現像装置である画像処理装置１００が自己検波を行って算出したもの、または、（３）それなりの効果が期待できるように予め設定するようにされた固定値などである。
【００７３】
もちろん、上記の（１）〜（３）のいずれかの調整値を用いるようにすることもできるし、露出調整処理用の調整値は、撮像装置が予めＲａｗ画像ファイルに記録し、Ｒａｗ画像データと共に、この第１の実施の形態の画像処理装置１００に供給されたものを用いるが、ホワイトバランス調整処理用の調整値は、画像処理装置１００において検波処理を行って算出したものを用いるといったように、上述した（１）〜（３）の調整値の中から適宜のものを選択して用いるようにすることもできる。
【００７４】
図３は、ステージ１の通常露出／ＷＢ調整処理部１０１において行われる露出調整処理、ホワイトバランス調整処理の具体例を説明するための図である。図３の（１）式、（２）式、（３）式に示すように、通常露出調整処理は、固定値である通常露出調整ゲイン値ＡＥｎｏｒｍａｌと、元のＲａｗ画像データの各Ｒａｗ画素の値Ｒｒａｗ、Ｇｒａｗ、Ｂｒａｗとを掛け合わせることにより、通常露出調整後のＲａｗ画素の値Ｒ´ｒａｗ、Ｇ´ｒａｗ、Ｂ´ｒａｗを求めるものである。
【００７５】
そして、図３の（４）式、（５）式、（６）式に示すように、通常ホワイトバランス調整処理は、固定値である各色信号に対応した通常ホワイトバランス調整ゲイン値ＷＢｒｎｏｒｍａｌ、ＷＢｇｎｏｒｍａｌ、ＷＢｂｎｏｒｍａｌと、対応する通常露出調整後の各Ｒａｗ画素の値Ｒ´ｒａｗ、Ｇ´ｒａｗ、Ｂ´ｒａｗとを掛け合わせることにより、通常ホワイトバランス調整後のＲａｗ画素の値Ｒ″ｒａｗ、Ｇ″ｒａｗ、Ｂ″ｒａｗを求めるものである。
【００７６】
すなわち、ここで用いられる固定値である通常露出調整ゲイン値ＡＥｎｏｒｍａｌや固定値である各色信号に対応した通常ホワイトバランス調整ゲイン値ＷＢｒｎｏｒｍａｌ、ＷＢｇｎｏｒｍａｌ、ＷＢｂｎｏｒｍａｌが、上述もしたように、（１）撮像装置が予めＲａｗ画像ファイルに記録したもの、（２）Ｒａｗ現像装置である画像処理装置１００が自己検波を行って算出したもの、または、（３）それなりの効果が期待できるように予め設定するようにされた固定値などである。
【００７７】
なお、図３においては、露出調整を先に、ＷＢ調整を後にした例を示したが、これに限るものではない。計算順序は、ＷＢ調整を先に、露出調整を後にというように、逆順でもよく、また露出係数（通常露出調整ゲイン値）とＷＢ係数（通常ＷＢ調整ゲイン値）を事前に乗算したものを用いて１度に計算してもよい。
【００７８】
このようにして、図２に示したステージ１の通常露出／ＷＢ調整処理部１０１においては、予め決められた調整値が用いられて通常の露出／ＷＢ調整処理を行って、高品位に現像処理を行えるようにすることを担保している。なお、図２においては、記載を簡単にするために、固定値である通常露出調整ゲイン値は「ｅｘｐ」とし、通常ホワイトバランス調整ゲイン値は、「ｗｂＲ、ｗｂＧ、ｗｂＢ」として、通常露出／ＷＢ調整処理部１０１の下側に、使用パラメータとして示している。
【００７９】
そして、図２に示すように、通常露出／ＷＢ調整処理部１０１において露出調整及びホワイトバランス調整されたＲａｗ画像データは、補間等画像処理部１０２に供給され、ここで補間処理（デモザイク処理）や予め決められたパラメータ（調整値）ｂ、ｃが用いられて画像処理が行われ、中間現像画像データが形成され、これがＲＡＭ１２３に記憶保持するようにされる。
【００８０】
このように、ステージ１においては、ユーザーの露出／ＷＢ調整パラメータに影響を受けることなく、露出／ＷＢ調整処理を行うと共に、補間処理等の予め決められた画像処理を行って、中間現像画像データが生成される。
【００８１】
このようにしてステージ１の処理により生成された中間現像画像データは、ステージ２のユーザー露出／ＷＢ調整処理部１０３に供給される。そして、ステージ２では、ユーザーが指定した現像パラメータにおける露出／ＷＢ調整を行うと共に、その他の必要な現像処理を行うことによって、ユーザーに提示する画像を形成する最終的な結果画像データを生成し、これを出力する。
【００８２】
なお、図２においては、ＲＡＭ１２３を介して中間現像画像データがステージ２のユーザー露出／ＷＢ調整処理部１０３に供給される場合を示しているが、最初の現像処理においては、中間現像画像データをＲＡＭ１２３に書き込むと共に、ユーザー露出／ＷＢ調整処理部１０３にも直接に供給し、ユーザーが指定した現像パラメータにおける露出／ＷＢ調整を行うようにすることもできる。
【００８３】
ステージ２のユーザー露出／ＷＢ調整処理部１０３において調整に用いる調整値（ゲイン値）は、（ユーザーが指定した調整値／ステージ１で用いた調整値）となる。このように、ユーザーが指定した調整値を分子にし、ステージ１で用いた調整値を分母にすることによって、ステージ１で行った露出／ＷＢ調整をキャンセルし、ユーザーの調整パラメータを反映することができるようにしている。
【００８４】
図４は、ステージ２の通常露出／ＷＢ調整処理部１０３において行われる露出調整処理、ホワイトバランス調整処理の具体例を説明するための図である。図４の（１）式、（２）式、（３）式に示すように、ユーザー露出調整処理は、（ユーザー露出調整ゲイン値ＡＥｕｓｅｒ／通常露出調整ゲイン値ＡＥｎｏｒｍａｌ）と、中間現像画像のＲａｗ画素の値Ｒｂｕｆｆｅｒ、Ｇｂｕｆｆｅｒ、Ｂｂｕｆｆｅｒとを掛け合わせることにより、ユーザー露出調整後のＲａｗ画素の値Ｒ´ｂｕｆｆｅｒ、Ｇ´ｂｕｆｆｅｒ、Ｂ´ｂｕｆｆｅｒを求めるものである。
【００８５】
そして、図４の（４）式、（５）式、（６）式に示すように、ユーザーホワイトバランス調整処理は、ユーザーホワイトバランス調整ゲイン値／通常ホワイトバランス調整ゲイン値、すなわち、ＷＢｒｕｓｅｒ／ＷＢｒｎｏｒｍａｌ、ＷＢｇｕｓｅｒ／ＷＢｇｎｏｒｍａｌ、ＷＢｂｕｓｅｒ／ＷＢｂｎｏｒｍａｌのそれぞれと、対応するユーザー露出調整後のＲａｗ画素の値Ｒ´ｂｕｆｆｅｒ、Ｇ´ｂｕｆｆｅｒ、Ｂ´ｂｕｆｆｅｒとを掛け合わせることにより、ユーザーホワイトバランス調整後のＲａｗ画素の値Ｒ″ｂｕｆｆｅｒ、Ｇ″ｂｕｆｆｅｒ、Ｂ″ｂｕｆｆｅｒを求めるものである。
【００８６】
このようにして、図２に示したステージ２のユーザー露出／ＷＢ調整処理部１０３においては、ユーザーによって指示された調整値が用いられて露出／ＷＢ調整処理を行い、ユーザーの目的に合致した結果画像データを形成することができるようにしている。なお、図２においては、記載を簡単にするために、ユーザーによって指示されたユーザー露出調整ゲイン値は、「Ｕｅｘｐ」とし、ユーザーによって指示されたユーザーホワイトバランス調整ゲイン値は、「ＵｗｂＲ、ＵｗｂＧ、ＵｗｂＢ」として、ユーザー露出／ＷＢ調整処理部１０３の下側に、使用パラメータとして示している。
【００８７】
また、中間現像画像データについては、図２において、ＲＡＭ１２３に記憶保持された中間現像画像データのパラメータとして記載しているように、ユーザーホワイトバランス調整ゲイン値ＵｗｂＲ、ＵｗｂＧ、ＵｗｂＢのそれぞれは、値「１」としている。
【００８８】
このようにするのは、図４に示した（１）式〜（６）式からも分かるように、ステージ１の通常露出／ＷＢ調整処理部１０１で行われた通常露出／ＷＢ調整処理をキャンセルし、ユーザー露出／ＷＢ調整処理のみを反映した結果画像データを生成して、これに応じた結果画像をユーザーに提示することができるようにするためである。
【００８９】
そして、ユーザー露出／ＷＢ調整処理部１０３において露出／ＷＢ調整処理された中間現像画像データは、最終現像処理部１０４に供給され、ここで必要な現像処理が行われてユーザーに提示する画像を形成する結果画像データＤｄが形成されて出力するようにされる。図２に示した例の場合、ステージ２の最終現像処理部１０４においては、使用パラメータｄが用いられて所定の現像処理がなされ、結果画像データＤｄが生成するようにされている。
【００９０】
このようにして結果画像データＤｄが生成され、これに応じた結果画像が表示部１０６に表示され、これをユーザーが確認して、ユーザーは操作部１０８を通じて、露出／ＷＢ調整処理のパラメータを変更するようにする。この場合、既に中間現像画像データがＲＡＭ１２３に生成されているので、制御部１２０は、ユーザー露出／ＷＢ調整処理部１０３を制御して、ＲＡＭ１２３に記憶保持されている中間現像画像データに対してユーザーからの指示入力に応じたパラメータで、露出／ＷＢ調整処理を行うようにする。
【００９１】
これにより、ステージ１から現像処理を繰り返すことなく、ユーザーの指示入力に応じたユーザー露出／ＷＢ調整処理を行って、最終現像処理部１０４を通じて結果画像データを生成し、この結果画像データに応じた結果画像をユーザーに提供することができるようにしている。
【００９２】
このように、この第１の実施の形態の画像処理装置１００においては、ステージ１では所定の調整値を用いた通常露出／ＷＢ調整処理を行い、ステージ２ではユーザーによって入力された調整値を用いたユーザー露出／ＷＢ調整処理を行うというように、露出／ＷＢ調整を２度行うことができる構成を有することにより、ステージ１とステージ２とを通した全体のＲａｗ現像処理時間は若干長くなる。
【００９３】
しかし、ユーザーが露出／ＷＢ調整を行うようにした場合には中間現像画像を用いることができ、ステージ１の処理を繰り返すことなく、ステージ２の処理だけを行えば済むようにすることができるので、露出／ＷＢ調整処理のパラメータを変更して行う２回目以降の現像処理の大幅な処理時間の短縮を行うことができ、かつ今までと同等の処理結果を得ることができる。これは露出／ＷＢ調整を頻繁に行うＲａｗ現像調整フローの中では非常にメリットが大きい。
【００９４】
図５は、従来のＲＡＷ現像処理と、この第１の実施の形態の画像処理装置１００におけるＲＡＷ現像処理との処理時間の違いについて説明するための図である。例えば、図１３に示した場合のように、ステージ１においてのみ露出／ＷＢ調整処理を行うようにしている場合、現像された結果画像を確認し、露出／ＷＢ調整のためのパラメータを変更した場合には、図５Ａに示すように、必ずステージ１から現像処理を行わなければ、変更後の露出／ＷＢ調整のためのパラメータに応じた現像処理を行うことはできない。
【００９５】
したがって、図１３に示したように、ステージ１でしか露出／ＷＢ調整処理を行わない構成の場合、露出／ＷＢ調整のためのパラメータを変更すると、図５Ａに示すように、必ずステージ１とステージ２との処理が繰り返し行われることになる。
【００９６】
これに対して、図２に示したこの第１の実施の形態の画像処理装置１００の場合には、ステージ１では通常露出／ＷＢ調整処理を、ステージ２ではユーザー露出／ＷＢ調整処理を行うようにしている。このため、図１３に示した従来の現像処理の場合と比べ、ステージ２におけるユーザー露出／ＷＢ調整処理のための時間が増えることになる。
【００９７】
しかし、この第１の実施の形態の画像処理装置１００の場合には、現像された結果画像を確認し、露出／ＷＢ調整のためのパラメータを変更する場合には、図５Ｂに示すように、ＲＡＭ１２３に生成された中間現像画像データを用いて、ステージ２からの処理を行うようにすればよいので、中間現像画像データが生成された後において、露出・ＷＢ調整のためのパラメータが変更されることにより再度の現像処理を行う場合には、ステージ１の処理を行う必要は全くない。
【００９８】
したがって、ユーザーが露出／ＷＢ調整のためのパラメータを変更しても、再度の現像処理にかかる時間を大幅に短縮することができると共に、画像処理装置１００の負荷をも軽減することができる。しかも、ステージ１でも通常露出／ＷＢ調整処理が行われているので結果画像の現像品位を低下させることもなく、高品位の現像処理が実現されるのである。
【００９９】
［ステージ１、ステージ２で行われる現像処理について］
この第１の実施の形態の画像処理装置１００において、図２に示したステージ１においては、露出／ＷＢ調整以外にも様々な現像処理を行うことが考えられるが、なるべく処理負荷の大きい（高い）現像処理を配置することが望ましい。Ｒａｗ画像の補間処理は当然のこと、ノイズリダクション処理、収差／ディストーション補正処理、手振れ／被写体ブレ補正処理の内の少なくとも１つ以上の処理を行うようにすることが考えられる。これらの処理をステージ１に配置することで、その結果が中間現像画像に反映され、ユーザーが露出／ＷＢ調整を含む他の現像調整を行ったときに処理負荷の大きい現像処理を再度行わなくても良いことになる。
【０１００】
なお、ノイズリダクション処理は、画像に混入したノイズを低減させるための種々の処理が含まれる。また、収差／ディストーション補正処理も、レンズの収差や歪の影響を低減させるための種々の処理が含まれる。また、手振れ／被写体ブレ補正処理は、カメラが振動することにより生じる画像ぶれや、被写体自身が動くことにより生じる画像ぶれを低減させるための種々の処理が含まれる。
【０１０１】
また、ノイズリダクション処理、収差／ディストーション補正処理、手振れ／被写体ブレ補正処理は、処理負荷の大きな現像処理の一例であり、その他の現像処理をステージ１で行うようにすることもできる。また、ステージ１においては、処理負荷の大きな現像処理を必ずしも複数行う必要はなく、少なくも、通常露出／ＷＢ調整処理を行うようにすればよい。
【０１０２】
また、ステージ２においては、ステージ１の場合とは逆に、ユーザー露出／ＷＢ調整以外に、なるべく処理負荷の低い現像処理を配置することが望ましい。例えば、色空間変換処理、非線形空間化処理、絵作り処理、シャープネス調整処理の内の１つ以上の処理を行うようにすることが考えられる。
【０１０３】
ここで、色空間変換処理は、色表現についての規格の変換を意味し、ＩＥＣ（International Electrotechnical Commission）で策定されたｓＲＧＢ規格、ｓＹＣＣ規格、ｂｇ−ｓＲＧＢ規格などの規格間の相互変更を行うようにする処理である。なお、ここで例としてあげた色空間規格は一例であり、これに限るものではなく、種々の色空間規格間の変更を可能にすることもできる。
【０１０４】
また、非線形空間化処理は、例えば、ガンマ補正処理、エッジ（輪郭）強調処理、平滑化処理などの非線形の種々の画像変換処理が含まれる。また、絵作り処理は、例えば、肌色を強調したり、わざと派手な感じの色調にしたり、硬い感じの画像にするなど、画像全体から受ける感じを形成するために行う種々の処理が含まれる。また、シャープネス調整処理は、画像の周波数特性の調整を意味し、例えば、細かい部分をより細かく調整することにより画像をはっきりさせるようにしたり、逆に、細かい部分を曖昧にすることにより、画像をぼかすようにしたりするなどの処理である。
【０１０５】
なお、色空間変換処理、非線形空間化処理、絵作り処理、シャープネス調整処理は、処理負荷の小さな現像処理の一例であり、その他の現像処理をステージ２で行うようにすることもできる。また、ステージ２においては、処理負荷の大きな現像処理を必ずしも複数行う必要はなく、少なくも、ユーザー露出／ＷＢ調整処理を行うようにすればよい。
【０１０６】
［画像処理装置１００における現像処理のまとめ］
次に、上述した第１の実施の形態の画像処理装置１００において行われる現像処理について、図６のフローチャートを参照しながらまとめる。図６は、この第１の実施の形態の画像処理装置１００において行われる現像処理について説明するためのフローチャートである。この図６に示す処理は、例えば、操作部１０８を通じてユーザーから現像処理の開始が指示された場合に、主に制御部１２０によって実行するようにされる処理である。
【０１０７】
現像処理の実行が指示されると、制御部１２０は、現像対象のＲａｗ画像データを取得して、通常露出／ＷＢ調整処理部１０１に供給する（ステップＳ１０１）。このステップＳ１０１の処理は、Ｒａｗ画像データがリムーバブルメディアに存在する場合には、メディアドライブ１１１を通じて取得し、Ｒａｗ画像データが外部装置に存在する場合には、外部Ｉ／Ｆ１１２及ぶ入出力端子１１３を通じて、あるいは、通信Ｉ／Ｆ１１４及ぶ送受信アンテナ１１５を通じて、外部機器との間で通信を行って取得する。また、Ｒａｗ画像データが既に自機のＨＤＤ１０７に記憶保持されている場合には、ＨＤＤ１０７から目的とするＲａｗ画像データを読み出することによって取得する。
【０１０８】
そして、通常露出／ＷＢ調整処理部１０１は、制御部１２０の制御に応じて、予め決められた調整値を用いて、自己に供給されたＲａｗ画像データに対して通常の露出／ＷＢ調整処理を行い、処理後のＲａｗ画像データを補間等画像処理部１０２に供給する（ステップＳ１０２）。このステップＳ１０２において行われる調整処理が、図３に示した式に従って行われる通常露出／ＷＢ調整処理である。
【０１０９】
次に、補間等画像処理部１０２は、制御部１２０の制御に応じて、自機に供給された通常の露出／ＷＢ調整処理後のＲａｗ画像データに対して、補間処理等の所定の画像処理を行うことにより、中間現像画像データを生成し、これをユーザー露出／ＷＢ調整処理部１０３に供給すると共に、ＲＡＭ１２３に記録する（ステップＳ１０３）。このように、ステップＳ１０２、ステップＳ１０３の処理が、ステージ１の通常露出／ＷＢ調整処理部１０１、補間等画像処理部１０２で行われる処理である。
【０１１０】
この後、ユーザー露出／ＷＢ調整処理部１０３は、制御部１２０の制御に応じて、生成された中間現像画像データに対して、ユーザーによって指示するようにされた調整値を用いて露出／ＷＢ調整処理を実行し、処理後の中間現像画像データを最終現像処理部１０４に供給する（ステップＳ１０４）。このステップＳ１０４において行われる調整処理が、図４に示した式に従って行われるユーザー露出／ＷＢ調整処理である。
【０１１１】
なお、最初の現像処理においては、まだ、ユーザーによって露出／ＷＢ調整処理についての調整値は指示されていないので、ステップＳ１０４においては、図２を用いて説明したように、ステージ１の通常露出／ＷＢ調整処理部１０１において行われた通常露出／ＷＢ調整処理をキャンセルする処理だけが行われる。そして、後述するように、ユーザーによって、露出／ＷＢ調整処理の調整値が変更するようにする指示入力がされた場合には、ユーザーからの指示入力に応じたユーザー露出／ＷＢ調整処理が行われることになる。
【０１１２】
そして、最終現像処理部１０４が、ユーザー露出／ＷＢ調整処理部１０３からの露出／ＷＢ調整処理された中間現像画像データに対して、必要な現像処理を行って、ユーザーに提供する画像を形成する結果画像データを形成し、これを表示コントローラ１０５を通じて表示部１０６に表示するようにする（ステップＳ１０５）。このように、ステップＳ１０４、ステップＳ１０５の処理が、ステージ２のユーザー露出／ＷＢ調整処理部１０３、最終現像処理部１０４で行われる処理である。
【０１１３】
この後、制御部１２０は、操作部１０８を通じてユーザーからの露出／ＷＢ調整処理の調整値の変更指示などの指示入力を受け付ける（ステップＳ１０６）。そして、制御部１２０は、露出／ＷＢ調整処理の調整値の変更指示入力がされたか否かを判断する（ステップＳ１０７）。
【０１１４】
ステップＳ１０７の判断処理において、露出／ＷＢ調整処理の調整値の変更指示入力がされたと判断したときには、ステップＳ１０４からの処理、すなわち、ステージ２からの処理を繰り返し、ユーザーからの調整値の変更指示入力に応じたユーザー露出／ＷＢ調整処理を行って、再度の現像処理を行うようにし、現像処理後の結果画像を生成して、これに応じた結果画像を表示し、ユーザーに提供する処理を繰り返す。
【０１１５】
ステップＳ１０７の判断処理において、露出／ＷＢ調整処理の調整値の変更指示入力はされておらず、現像処理の終了指示がされたと判断したときには、図６に示す処理を終了する。
【０１１６】
なお、図６に示した現像処理が終了した後においては、最終的に得られた結果画像データをＨＤＤ１０７に記録して保持するようにしたり、元のＲａｗ画像データや中間現像画像データをＨＤＤ１０７に記録して保持したりすることもできる。すなわち、結果画像データ、Ｒａｗ画像データ、中間現像画像データの内、ユーザーが選択したデータだけをＨＤＤ１０７に記録して保持するようにすることもできる。
【０１１７】
また、図６に示したフローチャートの処理を実行するプログラムを形成し、パーソナルコンピュータなどの情報処理装置に搭載することにより、情報処理装置をＲａｗ画像データの現像処理を行う画像処理装置とすることができる。
【０１１８】
［画像処理装置１００と撮像装置との連携について］
次に、この第１の実施の形態の画像処理装置１００と、撮像装置とが連携して現像処理を行う場合の具体例について説明する。図７は、画像処理装置１００と、撮像装置２００とが連携して現像処理を行う場合の具体例について説明するための図である。
【０１１９】
図１を用いて説明したように、この第１の実施の形態の画像処理装置１００は、通信Ｉ／Ｆ１０４及び送受信アンテナ１０５を備えており、例えば、電話通信網やインターネットなどの広域ネットワークを通じて通信を行うことができるようにされている。一方、被写体の画像を撮影し、これをＲａｗ画像データとして保持することができると共に通信機能を備えるが、Ｒａｗ画像データの現像機能は処理が重いためにできない撮像装置２００があるとする。
【０１２０】
このような場合には、図７に示すように、この第１の画像処理装置１００と、撮像装置２００とを、広域ネットワーク５００を通じて接続するようにする。図７において、符号３００は、携帯電話網の基地局である。したがって、画像処理装置１００と撮像装置２００とは、広域ネットワーク５００及び基地局３００を通じて通信回線を接続し、相互にデータの送受信を行うことができるようにされる。
【０１２１】
そして、撮像装置２００は、外出先において被写体を撮影することにより得たＲａｗ画像データを現像処理する必要が生じた場合には、自機の通信機能を用い、基地局３００及び広域ネットワーク５００を通じて画像処理装置１００にアクセスし、画像処理装置１００との間に通信回線を接続する。そして、撮像装置２００は、（１−１）に示すように、画像処理装置１００に対して、Ｒａｗ画像データを送信する。
【０１２２】
画像処理装置１００は、（２−１）に示すように、撮像装置２００からのＲａｗ画像データを受信し、これを図１〜図６を用いて説明したように、まず１回目の現像処理を行い、（２−２）に示すように、現像処理の結果得られた結果画像を撮像装置２００に返信する。
【０１２３】
撮像装置２００は、（１−２）に示すように、画像処理装置１００からの結果画像を受信し、これを自機の表示素子に表示してユーザーが確認できるようにする。そして、撮像装置２００は、自己の操作部を通じて、露出／ＷＢ調整のための調整値の変更指示入力を受け付け、（１−３）に示すように、ユーザーからの露出／ＷＢ調整のための調整値の変更指示入力に応じたパラメータを画像処理装置１００に送信する。
【０１２４】
画像処理装置１００は、（２−３）に示すように、撮像装置２００からのパラメータのみを受信し、このパラメータに応じてステージ２のユーザー露出／ＷＢ調整処理部１０３、最終現像処理部１０４に置いての現像処理を行って、結果画像を生成し、これを（２−４）に示すように、撮像装置２００に送信する。
【０１２５】
撮像装置２００は、（１−４）に示すように、画像処理装置１００からの結果画像を受信し、これを自機の表示素子に表示してユーザーが確認できるようにする。そして、撮像装置２００は、（１−３）、（１−４）に示す処理を繰り返すようにし、ユーザーからの露出／ＷＢ調整のための調整値の変更指示入力に応じたパラメータを画像処理装置１００に送信して、その結果画像データの提供を受けて表示するようにする。
【０１２６】
一方の画像処理装置１００もまた、撮像装置からの送信情報に応じて、（２−３）、（２−４）に示す処理を繰り返し、最初に提供されたＲａｗ画像データから生成してある中間現像画像に対して、撮像装置２００からのパラメータに応じてユーザー露出／ＷＢ調整処理、最終現像処理を行って新たな結果画像データを生成し、これを撮像装置２００に返信するという処理を繰り返すようにする。
【０１２７】
これにより、撮像装置２００のユーザーは、撮像装置２００自体がＲａｗ画像データの現像処理機能を備えていないにもかかわらず、画像処理装置１００のＲａｗ画像データの現像処理機能を用いて自己のＲａｗ画像データの現像処理を行って、現像後の画像を確認することができる。
【０１２８】
したがって、Ｒａｗ画像データの現像処理機能を備えない安価な撮像装置を構成し場合であっても、広域ネットワークを通じて接続される画像処理装置１００のＲａｗ画像データの現像機能を利用し、いつでも、どこででも撮影した被写体のＲａｗ画像データを現像処理してこれを利用するようにすることができる。
【０１２９】
これにより、現場において被写体を撮影することにより得たＲａｗ画像データを、カメラマンの意図に応じて適切に現像処理し、これを迅速に利用することができるようにされる。
【０１３０】
このように、この第１の実施の形態の画像処理装置１００は、撮影することにより得られたＲａｗ画像データを、撮影後に現像調整ができるものである。
【０１３１】
また、撮像装置２００が、例えば携帯電話端末やＰＤＡなどの撮像装置としての機能は備えているものの、Ｒａｗ画像データの現像機能までをも備えないものである場合（ユーザー端末の処理能力が不足する場合）においても、Ｒａｗ現像処理、Ｒａｗ画像データや中間現像画像データの保持などは広域ネットワーク上の画像処理装置１００上で全て行い、現像結果だけをユーザー端末に送信するネットワーク対応型の画像処理装置を実現することができる。この場合、画像処理装置は、各個人の家庭に設置される個人的なものとして実現することもできるし、不特定多数のユーザーのＲａｗ画像データを処理するいわゆるサーバ装置としてネットワーク上に設けられる汎用的なものとして実現することもできる。
【０１３２】
［複数種類の中間現像画像の生成と保持について］
なお、上述した第１の実施の形態の画像処理装置１００の場合には、ユーザーが露出／ＷＢ調整処理の調整値を変更するようにした場合の現像処理について説明した。この場合には、上述もしたように、中間現像画像データに対してユーザー露出／ＷＢ調整処理を行うので、中間現像画像データ自身には変更が生じることはない。
【０１３３】
しかし、ステージ１において実行する処理負荷の重い現像処理のパラメータを変更する場合もある。この第１の実施の形態の画像処理装置１００は、操作部１０８を通じて、ステージ１の現像パラメータを変更することもできるようにされる。この場合には、ステージ２からの処理ではなく、通常通りステージ１からの処理を、変更されたパラメータを用いて行うことができるようにされる。そして、この場合、今回生成する中間現像画像データと、前回生成した中間現像画像データとは、用いられるパラメータが異なれば、中間画像データ自体も異なることになる。
【０１３４】
そこで、このような場合には、制御部１２０は、今回生成した新しい中間画像データを、同じＲａｗ画像データから前回生成された古い中間現像画像データに上書きして保存するようにしたり、あるいは、メモリ空間に余裕がある場合には、上書きせずに、新しい中間現像画像データと古い中間現像画像データとの両方を保持するようにしたりすることもできる。
【０１３５】
また、ステージ１において複数のパラメータを選択して使用できるようにすることもできる。図８は、ステージ１において複数のパラメータを選択して使用することにより、複数の中間現像画像データを生成できるようにした場合について説明するための図である。図８に示すように、１つのＲａｗ画像データＲｄに対して、ステージ１において、パラメータ１、パラメータ２、パラメータ３、…というように、複数の異なるパラメータを用いることができる場合には、その複数の異なるパラメータを用いて現像処理を行うようにする。
【０１３６】
そして、ステージ１で用いたパラメータが異なる場合には、生成された中間現像画像も、図８において、中間現像画像Ｃ１、Ｃ２、Ｃ３、…が示すように異なるものであるので、そのそれぞれを別個に記憶保持するようにする。そして、ステージ２においては、その何れの中間現像画像Ｃ１、Ｃ２、Ｃ３、…を用いても現像処理を継続して行えるようにしておくことにより、図８に示すように、異なる結果画像Ｄｄ１、Ｄｄ２、Ｄｄ３、…を得るようにすることもできる。
【０１３７】
すなわち、ステージ１において、異なる複数のパラメータを用いて現像処理を行った場合には、その結果得られる異なる複数の中間現像画像のそれぞれを記憶保持できるようにし、ステージ２において用いる中間現像画像をユーザーが操作部１０８を通じて選択することができるようにしておくことによって、より柔軟なＲａｗ画像データの現像処理を実現することができる。
【０１３８】
また、異なる複数の中間現像画像を記憶保持できるようにしておくことによって、既に用いたパラメータにしたがったステージ１での現像処理を繰り返し行うこともないので、現像処理を複雑にしたり、同じパラメータを用いた現像処理を繰り返し行うようにしたりすることもない。
【０１３９】
なお、図８に示した例の場合には、ステージ２の処理においてはパラメータを変更していないが、上述もしたように、ステージ２における現像処理のパラメータももちろん変更可能である。したがって、この例の場合、ステージ２においては、ユーザーが目的とする中間現像画像に対して、ユーザーが目的とするパラメータを用いた現像処理を行って、最終的な結果画像を得るようにすることができる。
【０１４０】
また、上述した第１の実施の形態の画像処理装置１００においては、ステージ１とステージ２との両方において、露出／ＷＢ調整処理、すなわち、露出調整処理とホワイトバランス調整処理とを行うようにしたが、これに限るものではない。例えば、結果画像の画質が満足できるものであれば、ステージ１、ステージ２では、露出調整処理とホワイトバランス調整処理との少なくとも一方だけを実行するようにすることもできる。
【０１４１】
このように、ステージ１、ステージ２のそれぞれにおいて、露出調整処理とホワイトバランス調整処理のいずれか一方しか行わない場合であっても、ユーザーがパラメータを変更するようにした後の現像処理は、ステージ２からの処理とすることで、現像処理に係る時間を短縮することが可能である。
【０１４２】
なお、上述した第１の実施の形態の画像処理装置１００においては、ステージ２の現像処理において、ステージ１において行われた露出／ＷＢ調整処理をキャンセルするようにしたが、これに限るものではない。Ｒａｗ画像データに対してステージ１で行われた通常露出／ＷＢ調整処理が施された中間現像画像データが生成されているので、これに対して、さらにユーザーによる露出／ＷＢ調整処理を行うようにしてもよい。
【０１４３】
また、上述した第１の実施の形態の画像処理装置１００においては、ＨＤＤ１０７に、Ｒａｗ画像データ、中間現像画像データ、結果画像データを記録保持することができるものであるが、ユーザーが露出／ＷＢ調整処理を行うようにした場合には、ステージ２で用いたパラメータを、ＨＤＤ１０７に記憶保持されている画像データに対応付けて記憶保持させておくことにより、同じパラメータを用いた現像処理を繰り返し行うようにすることもできるし、以後の現像処理におけるパラメータ調整の参考とすることもできる。
【０１４４】
［第２の実施の形態］
次に、この発明による装置、方法、プログラムの一実施の形態が適用されたカメラシステム（撮像装置）６００について説明する。この第２の実施の形態のカメラシステム６００は、例えば、デジタルカメラ単体として実現することもできるし、携帯電話端末やＰＤＡなどに搭載されるカメラ機能としても実現できるものである。以下においては説明を簡単にするため、デジタルスチルカメラの構成とされたカメラシステムに適用した場合を例にして説明する。
【０１４５】
図９は、この第２の実施の形態のカメラシステム６００を説明するためのブロック図である。図９に示すように、この第２の実施の形態のカメラシステム６００は、大きく分けると、レンズ部６０１と、撮像素子部６０２と、Ｉ／Ｆ部ＬＳＩ６０３と、信号処理ＬＳＩ６０４と、表示処置ＬＳＩ６０５と、表示デバイス６０６を備えると共に、信号処理ＬＳＩ４には、不揮発性メモリ６０７と、汎用ＤＲＡＭ６０８と、記録媒体６０９と、操作部６１０とが接続されたものである。
【０１４６】
ここで、不揮発性メモリ６０７は、この第２の実施の形態のカメラシステム６００の電源が落とされても保持しておくべきデータ、例えば、固定的に用いられる種々のパラメータ、処理結果、機能追加のためのプログラムなどが記憶保持されるものである。ＤＲＡＭ６０８は、いわゆる揮発性メモリであり、種々の処理の途中結果を一時記憶するなど、主に作業領域として用いられるものである。
【０１４７】
また、記録媒体６０９は、この第２の実施の形態のカメラシステム６００においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、小型のハードディスクなどである。この第２の実施の形態のカメラシステム６００において、記録媒体６０９は、例えば、着脱可能なメモリカードである。また、操作部６１０は、シャッターボタンスイッチ（以下、シャッターボタンという。）、望遠の調整キー、その他の各種の調整キーやファンクションキーを備えたものである。
【０１４８】
そして、信号処理ＬＳＩ６０４は、図９に示すように、センサＩ／Ｆ部４０１、検波処理部４０２、画像処理部４０３、解像度変換処理部４０４、圧縮処理部４０５、表示処理部４０６、メモリコントローラ４０７、４０８、伸張処理部４０９、記録再生処理部４１０、ＣＰＵ４１１、同期信号生成部４１２を備えたものである。
【０１４９】
信号処理ＬＳＩ６０４を構成する各部は、図９にも示したように、共通のバスを通じて接続されており、各処理部間のデータのやり取りは、基本的には、共通のバスを通じて行われる。ただし、バスを経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でバスを経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。
【０１５０】
また、信号処理ＬＳＩ６０４内に設けられるＣＰＵ４１１は、信号処理ＬＳＩ６０４内の各部を制御するものである。なお、信号処理ＬＳＩ６０４内には、図示しないが各種の処理往路や処理に必要なデータが予め記録されたＲＯＭも設けられており、ＣＰＵ４１１は、当該ＲＯＭから必要なプログラムを読み出して実行し、各部に供給する制御信号を生成して各部に供給したり、また、各部からの信号を受信して、これに応じた処理を行ったりすることができるようにしている。また、同期信号生成部４１２は、例えば、フレーム開始基準信号ＶＤやライン開始基準信号ＨＤ等といった各種のタイミング信号を生成し、信号処理ＬＳＩ６０４内の必要とする各部に供給するものである。
【０１５１】
このように、カメラシステム６００を構成するそれぞれのＬＳＩ内には、機能別に複数の処理部が存在する。図９に示した構成は、その一例であり、設計思想により、図９に示した各ＬＳＩ内の処理部が他のＬＳＩ内に属するようにされる場合ももちろんある。各ＬＳＩを構成する処理部の数や各ＬＳＩの機能は、目的に応じて、種々存在する。
【０１５２】
そして、この第２の実施の形態のカメラシステム６００においては、従来通り、撮影することにより得た画像データを現像処理し、これをデータ圧縮して所定の記録媒体に記録することができると共に、さらに現像処理前のＲａｗ画像データを所定の記録媒体に記録して、このＲａｗ画像データに対して、ユーザーの指示に応じた現像処理を施すこともできるものである。
【０１５３】
まず、この第２の実施の形態のカメラシステム６００において行われる通常の撮影処理、すなわち、撮影することにより得た画像データを現像処理し、これをデータ圧縮して所定の記録媒体に記録する場合の一連の処理について説明する。
【０１５４】
レンズ部６０１を通じて撮像素子部６０２の撮像素子の結像面に結像された被写体の画像は、当該撮像素子により電気信号（アナログ画像信号）に変換されてＩ／Ｆ部ＬＳＩ６０３に供給される。Ｉ／Ｆ部ＬＳＩ６０３は、これに供給されたアナログ画像信号をデジタル信号に変換するなどして、信号処理ＬＳＩ６０４に供給する形式のデータ（Ｒａｗ画像データ）を形成し、これを信号処理ＬＳＩ６０４に供給する。
【０１５５】
Ｉ／Ｆ部ＬＳＩ６０３からのＲａｗ画像データは、信号処理ＬＳＩ６０４のセンサＩ／Ｆ部４０１により受け付けられて、検波処理部４０２に供給される。検波処理部４０２は、これに供給されたＲａｗ画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のためのパラメータを生成し、この生成したパラメータと、Ｒａｗ画像データとを画像処理部４０３に供給する。
【０１５６】
この場合、画像処理部４０３は、検波処理部４０２からのＲａｗ画像データに対して、検波処理部４０２からの各種のパラメータに応じて、露出／ＷＢ調整処理、補間処理、その他の現像処理を行って、最終的には、ＹＣデータ（色差データ）を生成する。なお、画像処理部４０３においては、ＹＣデータに対しても必要に応じていわゆるアパコン処理と呼ばれる輪郭強調処理やノイズリダクション処理などを施すこともできる。
【０１５７】
そして、この第２の実施の形態のカメラシステム６００においては、画像処理部４０３において生成されたＹＣデータは、画像処理部４０３からメモリコントローラ４０８を通じてＤＲＡＭ６０８に一時記憶される。
【０１５８】
このようにして、一旦、ＤＲＡＭ６０８に保存されたＹＣデータ（画像データ）は、必要に応じて、ＤＲＡＭ６０８から読み出され、各処理部で処理され、再びＤＲＡＭ６０８に書き戻されるというように、ＤＲＡＭ６０８を作業領域として用いて、目的とする形式の画像データを形成することができるようにしている。
【０１５９】
そして、この第２の実施の形態のカメラシステム６００においては、画像処理部４０３において形成されたＹＣデータがＤＲＡＭ６０８に一時記憶されると、解像度変換処理部４０４がこれを読み出し、画像のスケーリング処理を行って表示用の画像データを形成し、この表示用の画像データを、メモリコントローラ４０８を通じてＤＲＡＭ６０８に一時記憶する。
【０１６０】
このようにして表示用の画像データがＤＲＡＭ６０８に形成されると、ＣＰＵ４１１の制御によりメモリコントローラ４０８がＤＲＡＭ６０８から表示用の画像データを読み出し、これを表示処理部４０６に供給する。表示処理部４０６は、これに供給された表示用の画像データから、表示処理ＬＳＩ６０５に供給する形式の表示用の画像データを形成し、これを表示処理ＬＳＩ６０５に供給する。
【０１６１】
表示処理用ＬＳＩ６０５は、信号処理ＬＳＩ６０４の表示処理部４０６からの画像データをフォーマットに則って解釈し、液晶パネルなどの表示デバイス６０６に供給する画像信号を形成し、これを表示デバイス６０６に供給する。表示デバイス６０６は、上述のように液晶パネルなどの表示素子を備えたものであり、表示処理ＬＳＩ６０５からの画像信号を受け付けて、これを自己の表示素子に供給することにより、供給を受けた画像信号に応じた画像を自己の表示素子の表示画面に表示することができるようにしている。
【０１６２】
このようにして表示デバイス６０６の表示画面に表示された画像を確認し、ユーザーが操作部６１０のシャッターボタンを押下操作すると、ＣＰＵ４１１は、メモリコントローラ４０８を制御して、ＤＲＡＭ６０８に形成された表示用の画像データを読み出し、これを圧縮処理部４０５に供給する。圧縮処理部４０５は、これに供給された画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）方式などの所定の画像圧縮方式に従ってデータ圧縮処理することにより、記録用の画像データを形成し、これをＤＲＡＭ６０８に一時記憶する。
【０１６３】
そして、ＤＲＡＭ６０８に形成された記録用の画像データは、ＣＰＵ４１１によって制御されるメモリコントローラ４０８によって読み出され、記録再生処理部４１０に供給される。記録再生処理部４１０は、これに供給された記録用の画像データを記録媒体６０９に記録する。
【０１６４】
このようにして、被写体の画像を表示デバイス６０６の表示画面に表示して確認しながら、撮影して、その撮影した被写体画像の現像済みの圧縮画像データを記録媒体６０９に記録することができるようにしている。
【０１６５】
そして、この第２の実施の形態のカメラシステム６００においては、撮影時に、Ｒａｗ画像データをも記録媒体６０９に記録し、この記録したＲａｗ画像データに対して、ユーザーが指示したパラメータに応じた現像処理を行って、ユーザーの好みにあった現像後の画像データをも記録媒体６０９に記録することができるようにしている。
【０１６６】
ここで、Ｒａｗ画像データの記録処理について説明する。この第２の実施の形態のカメラシステム６００においては、検波処理部４０２は、検波対象のＲａｗ画像データをメモリコントローラ４０８を通じてＤＲＡＭ６０８に一時記憶するようにしている。すなわち、画像処理されて表示デバイス６の表示画面に表示される画像データのＲａｗ画像データがＤＲＡＭ６０８に記憶保持するようにされる。
【０１６７】
そして、上述したように、操作部６１０のシャッターボタンが押下操作された場合に、上述もしたように、ＤＲＡＭ６０８に形成された表示用の画像データをデータ圧縮して記録用の画像データを生成し、これを記録媒体６０９に記録する処理と平行して、ＣＰＵ４１１は、メモリコントローラ４０８を制御してＤＲＡＭ６０８に記憶保持されているＲａｗ画像データを読み出し、これを記録再生処理部４１０を通じて記録媒体６０９に記録することができるようにしている。
【０１６８】
これにより、この第２の実施の形態のカメラシステム６００は、ＪＰＥＧ圧縮された静止画像データだけでなく、当該ＪＰＥＧ圧縮された静止画像データに対応するＲａｗ画像データをも記録媒体６０９に記録することができるようにされる。
【０１６９】
そして、記録媒体６０９に記録されたＪＰＥＧ圧縮された静止画像データは、操作部６１０を通じて受け付けるユーザーからの再生指示入力に応じて再生することもできるようにされる。すなわち、操作部６１０を通じて、記録媒体６０９に記録された静止画像データの再生が指示されると、ＣＰＵ４１１は、記録再生処理部４１０を制御して、記録媒体６０９からこれにＪＰＥＧ圧縮されて記録されている再生指示された静止画像データを読み出し、伸張処理部４０９に供給する。
【０１７０】
伸張処理部４０９は、これに供給されたＪＰＥＧ圧縮されている静止画像データを伸張処理して、データ圧縮前の元の静止画像データを復元することにより、表示用の画像データを形成し、これを表示処理部４０９に供給する。表示処理部４０９は、上述もしたように、これに供給された表示用の画像データから、表示処理ＬＳＩ６０５に供給する形式の表示用の画像データを形成し、これを表示処理ＬＳＩ６０５に供給する。
【０１７１】
表示処理用ＬＳＩ６０５は、上述もしたように、信号処理ＬＳＩ６０４の表示処理部４０６からの画像データをフォーマットに則って解釈し、表示デバイス６０６に供給する画像信号を形成し、これを表示デバイス６０６に供給する。これにより、表示デバイス６０６においては、供給を受けた画像信号に応じた画像を自己の表示素子の表示画面に表示される。
【０１７２】
また、この第２の実施の形態のカメラシステム６００においては、操作部６１０を通じて、Ｒａｗ画像データの現像処理を実行するようにようにすると、記録媒体６０９に記憶保持されているＲａｗ画像データの選択を行うことができるようにされる。このＲａｗ画像データの選択は種々の態様で行うことが可能である。
【０１７３】
例えば、Ｒａｗ画像データに対して撮影日時情報と記録シーケンス番号を付すようにしておき、これら撮影日時と記録シーケンス番号によって指定したり、あるいは、記録媒体６０９に記録保持されているＪＰＥＧ圧縮された静止画像のサムネイル画像を表示デバイス６０６の表示画面に表示し、このサムネイルの中から目的とする静止画像を選択することにより、対応するＲａｗ画像データを選択するようにしたりするなどのことができるようにされる。
【０１７４】
このようにして選択されたＲａｗ画像データは、ＣＰＵ４１１が記録再生処理部４１０を制御することにより記録媒体６０９から読み出されて、この第２の実施の形態のカメラシステム６００においては、ＤＲＡＭ６０８に一時記憶される。そして、ＣＰＵ４１１は、メモリコントローラ４０８を制御して、一時記憶したＲａｗ画像データを読み出し、これを画像処理部４０３に供給して現像処理を行うようにする。
【０１７５】
すなわち、画像処理部４０３は、上述もしたように、これに供給されたＲａｗ画像データに対して、露出／ＷＢ調整処理、補間処理、その他の現像処理を行って、最終的には、ＹＣデータ（色差データ）を生成する。この場合に用いられる現像処理のためのパラメータは、当該Ｒａｗ画像データの撮影時において、検波処理部４０２において生成されたパラメータをＲａｗ画像データに対応付けて記憶保持しておくことにより、これを利用することができる。
【０１７６】
もちろん、Ｒａｗ画像データの現像処理を行う場合には、例えば、図示しないＲＯＭや不揮発性メモリ６０７に予め用意されている現像処理用パラメータを用いるようにすることもできる。そして、この第２の実施の形態のカメラシステム６００の画像処理部４０３もまた、第１の実施の形態の画像処理装置１００の場合と同様に、現像処理は、ステージ１とステージ２との２段階の現像処理を行うようにしている。
【０１７７】
そして、以下に詳述するように、ステージ１においては、決まっているパラメータを用いた通常の露出／ＷＢ調整処理や補間等の処理を行って中間現像画像データを生成し、これをＤＲＡＭ６０８に一時記憶する。ステージ２においては、ステージ１の処理により形成された中間現像画像データに対して、ステージ１において施された通常の露出／ＷＢ調整処理をキャンセルした上で、操作部６１０を通じて入力されるユーザーからの指示入力に応じたユーザー露出／ＷＢ調整処理を実行すると共に、その他の必要な現像処理を行って、結果画像データ（表示用の画像データ）を形成し、これをメモリコントローラ４０８を通じてＤＲＡＭ６０８に一時記憶する。
【０１７８】
このようにして、記録媒体６０９に記憶保持したＲａｗ画像データを、画像処理部４０３の機能を用い、ユーザーからの指示入力に応じて露出／ＷＢ調整処理やその他の現像処理を施して形成した結果画像データは、ＣＰＵ４１１の制御に応じたメモリコントローラ４０８により読み出されて、表示処理部４０６、表示処理ＬＳＩを通じて表示デバイス６０６に供給され、表示デバイス６０６の表示画面に画像が表示するようにされる。
【０１７９】
そして、表示デバイス６０６の表示画面に表示される画像を確認し、ステージ２で実行されるユーザー露出／ＷＢ調整処理のパラメータを変更することができるようにされる。これにより、ＤＲＡＭ６０８に形成された中間現像画像データを繰り返し用いて、ユーザー露出／ＷＢ調整処理のパラメータを繰り返し変更することにより、ユーザー露出／ＷＢ調整処理のパラメータを追い込み、ユーザーが目的とする色合い、質感を有する画像を形成することができる。
【０１８０】
［画像処理部４０３の構成例について］
図１０は、この第２の実施の形態のカメラシステム６００の画像処理部４０３の構成例を説明するためのブロック図である。図１０に示すように、画像処理部４０３は、大きく分けるとステージ１とステージ２との２つの処理部からなっている。ステージ１は、図１０に示すように、通常露出／ＷＢ調整処理部４０３１と補間等画像処理部４０３２とからなり、ステージ２は、図１０に示すように、ユーザー露出／ＷＢ調整処理部４０３３と最終現像処理部４０３４とからなっている。
【０１８１】
そして、図１０に示した画像処理部４０３のステージ１、ステージ２は、図２を用いて説明した第１の実施の形態の画像処理装置１００の現像処理を行うステージ１、ステージ２と同様に構成されたものである。すなわち、図１０に示す画像処理部４０３のステージ１の通常露出／ＷＢ調整処理部４０３１は、これに供給されるＲａｗ画像データＲｄに対して、図３に示した式に従い、予め決められたパラメータを用いて露出調整処理及びホワイトバランス調整処理を行う。
【０１８２】
なお、この第２の実施の形態のカメラシステム６００においては、ステージ１の通常露出／ＷＢ調整処理部４０３１で用いられるパラメータは、上述もしたように、当該Ｒａｗ画像データの記録時において検波処理部４０２において生成され、当該Ｒａｗ画像データと共に記録保持するようにされた露出／ＷＢ調整用のパラメータが用いられるようにされる。
【０１８３】
すなわち、図１０において、通常露出／ＷＢ調整処理部４０３１において用いられる使用パラメータである露出調整パラメータｅｘｐ、３原色のホワイトバランスパラメータｗｂＲ、ｗｂＧ、ｗｂＢは、当該Ｒａｗ画像データを検波処理部４０２が検波したときに生成されたものである。
【０１８４】
そして、通常露出／ＷＢ調整処理部４０３１において、通常の露出／ＷＢ調整処理がされたＲａｗ画像データは、補間等画像処理部４０３２に供給される。補間等画像処理部４０３２は、上述もしたように、いわゆるデモザイク処理やその他の必要な処理を行うことにより、中間現像画像データを生成し、これをＤＲＡＭ６０８に一時記憶させる。なお、図１０に示す例の場合には、使用パラメータｂ、ｃを用いた処理が行うようにされている。
【０１８５】
これにより、図１０において、ＤＲＡＭ６０８の部分に記載したように、ＤＲＡＭ６０８に一時記憶される中間現像画像データは、露出調整パラメータｅｘｐ＝２０、３原色のホワイトバランスパラメータｗｂＲ＝１０、ｗｂＧ＝３０、ｗｂＢ＝４０、その他のパラメータｂ＝２０、ｃ＝３０が用いられて、ステージ１の処理により形成されたものである。また、この段階では、ユーザーによって露出／ＷＢ調整処理用のパラメータは指示されていないので、ユーザー露出調整パラメータＵｅｘｐ＝１、３原色のホワイトバランスパラメータＵｗｂＲ＝１、ＵｗｂＧ＝１、ＵｗｂＢ＝１とされている。
【０１８６】
なお、補間等画像処理部４０３２で行われる処理は、デモザイク処理のほか、比較的に処理負荷の大きな処理である、例えば、ノイズリダクション処理、収差／ディストーション補正処理、手振れ／被写体ぶれ補正処理などの内の１つ以上が行うようにされる。
【０１８７】
そして、図１０に示す画像処理部４０３のステージ２のユーザー露出／ＷＢ調整処理部４０３３は、ＤＲＡＭ６０８に一時記憶されている中間現像画像データに対して、図４に示した式に従い、操作部６１０を通じて受け付けたユーザーからの指示入力に応じた露出／ＷＢ調整処理用のパラメータを用いて露出調整処理及びホワイトバランス調整処理を行う。
【０１８８】
すなわち、ユーザー露出／ＷＢ調整処理部４０３３においては、図４に示したように、まず、ステージ１の通常露出／ＷＢ調整処理部４０３１において行われた露出／ＷＢ調整処理をキャンセルした上で、操作部６１０を通じて受け付けたユーザーからの露出／ＷＢ調整処理に関する指示入力に応じたパラメータで露出／ＷＢ調整処理を実行する。
【０１８９】
ユーザー露出／ＷＢ調整処理部４０３３で処理された画像データは、最終現像処理部４０３４に供給され、ここで最終的な現像処理が行われて表示用の画像データである結果画像データＤｄが生成されて出力される。この結果画像データＤｄは、上述もしたように、表示用の画像データとしてＤＲＡＭ６０８に一時記憶され、ＣＰＵ４１１の制御によりメモリコントローラ４０８を通じて読み出され、表示処理部４０６、表示処理ＬＳＩ６０５を通じて表示デバイス６０６に供給される。これにより、ＤＲＡＭ６０８に一時記憶された表示用の画像データ（結果画像データ）に応じた画像が、表示デバイスの表示画面に表示される。
【０１９０】
なお、ステージ２の最終現像処理部４９３４においては、比較的に処理負荷の小さな処理である、例えば、色空間変換処理、非線形空間化処理、絵作り処理、シャープネス調整処理の内の１つ以上が行うようにされる。
【０１９１】
このように、この第２の実施の形態のカメラシステム６００においても、ステージ１では通常露出／ＷＢ調整処理を行い、ステージ２においてはユーザー露出／ＷＢ調整処理を行うようにすることによって、ユーザーが露出／ＷＢ調整処理のパラメータを変更しても、ステージ１の処理から繰り返し行うことはなく、ステージ１の処理により生成された中間現像画像データを用い、ステージ１で行われた露出／ＷＢ調整処理をキャンセルした上で、ユーザーの指示入力に応じた露出／ＷＢ調整処理を行うようにすることができる。
【０１９２】
すなわち、この第２の実施の形態のカメラシステム６００においても、画像処理部４０３においては、図６を用いて説明した第１の実施の形態の画像処理装置１００における現像処理と同様の現像処理が行われている。
【０１９３】
そして、この第２の実施の形態のカメラシステム６００においても、ステージ１においては、適切な現像処理を行うことができるように、通常の露出／ＷＢ調整処理が行われるので、露出／ＷＢ調整処理が行われていないＲａｗ画像データに対してデモザイク処理などを行うこともなく、現像処理を適切に行って適切に処理された結果画像を得ることもできるようにされる。
【０１９４】
なお、この第２の実施の形態のカメラシステム６００においても、ステージ１とステージ２との両方において、露出／ＷＢ調整処理、すなわち、露出調整処理とホワイトバランス調整処理とを行うようにしたが、これに限るものではない。例えば、結果画像の画質が満足できるものであれば、ステージ１、ステージ２では、露出調整処理とホワイトバランス調整処理との少なくとも一方だけを実行するようにすることもできる。
【０１９５】
このように、ステージ１、ステージ２のそれぞれにおいて、露出調整処理とホワイトバランス調整処理のいずれか一方しか行わない場合であっても、ユーザーがパラメータを変更するようにした後の現像処理は、ステージ２からの処理とすることで、現像処理に係る時間を短縮することが可能である。
【０１９６】
また、上述した第２の実施の形態のカメラシステム６００においては、ステージ２の現像処理において、ステージ１において行われた露出／ＷＢ調整処理をキャンセルするようにしたが、これに限るものではない。Ｒａｗ画像データに対してステージ１で行われた通常露出／ＷＢ調整処理が施された中間現像画像データが生成されているので、これに対して、さらにユーザーによる露出／ＷＢ調整処理を行うようにしてもよい。
【０１９７】
また、この第２の実施の形態のカメラシステム６００は、現像処理をすることによりえら得る中間現像画像データや結果画像データを記録媒体６０９に記録し保持するようにすることももちろんできる。また、ユーザーが露出／ＷＢ調整処理を行うようにした場合には、ステージ２で用いたパラメータを、記録媒体６０９に記憶保持されている画像データに対応付けて記憶保持させておくことにより、同じパラメータを用いた現像処理を繰り返し行うようにすることもできるし、以後の現像処理におけるパラメータ調整の参考とすることもできる。
【０１９８】
また、この第２の実施の形態のカメラシステム６００は、不揮発性メモリ６０７を備えているので、この不揮発性メモリ６０７に現像処理に用いたパラメータを保持しておくようにし、これを繰り返し用いるようにすることもできる。
【０１９９】
また、この第２の実施の形態のカメラシステム６００においても、画像処理部４０３の機能をＣＰＵ４１１において実行されるソフトウェア（プログラム）によって実現することもできる。また、画像処理部４０３だけでなく、検波処理部４０２、解像度変換処理部４０４、圧縮処理部４０５、伸張処理部４０９等の各部の機能も、ＣＰＵ４１１において実行されるソフトウェア（プログラム）として実現することができる。
【０２００】
また、上述した第２の実施の形態のカメラシステム６００においては、撮影時において、通常のＪＰＥＧ画像データと共に、Ｒａｗ画像データをも記録媒体６０９に記憶するようにし、後で、Ｒａｗ画像データの現像処理を行うようにしたが、これに限るものではない。撮影時において、撮影画像を確認し、必要に応じて、その時点において、Ｒａｗ画像データの現像処理を行うようにすることもできる。すなわち、画像を撮影する毎に、各撮影時点において、Ｒａｗ画像データの現像処理を行うようにすることももちろんできる。
【０２０１】
［実施の形態のまとめ］
上述した第１の実施の形態の画像処理装置１００と、第２の実施の形態のカメラシステム６００とにおいては、撮像素子の原信号画像データであるＲａｗ画像を現像する場合に、できる限り処理負荷の大きい現像処理郡を前段（ステージ１）に、処理負荷の小さい現像処理郡を後段（ステージ２）に配置し、前段の現像処理のみが終わった中間現像画像を、現像処理完了後も保持し続けるようにしている。これにより、保持されている中間現像画像を用いることにより、前段の処理を省略し、後段の処理だけを繰り返し行うことができるようにされる。
【０２０２】
そして、現像処理群の処理として、露出調整、ホワイトバランス調整を行うことができるようにした場合に、前段処理で露出／ホワイトバランス調整を行いつつも、ユーザーが露出／ホワイトバランス調整を行った場合には、中間現像画像を用いたステージ２によって露出／ホワイトバランス調整を行うようにすることができる。この場合には、中間現像画像を用いることにより、前段の処理を省略して、ユーザーによる後段の露出／ＷＢ調整処理を繰り返し行うようにし、ユーザーの意図する露出／ＷＢ調整処理を迅速に行うことができるようにされる。
【０２０３】
前段の現像処理群（ステージ１）で行う露出／ホワイトバランス調整には、処理対象のＲａｗ画像データを撮影した撮像装置が記憶した値か、現像処理を行う装置が検波した値、またはそれなりの効果が望める固定の調整値を用い、後段の現像処理群（ステージ２）で行う露出／ホワイトバランス調整では、ステージ１で行った処理をキャンセルしてユーザー指定の露出／ホワイトバランス調整を反映させる。これにより、ステージ１での露出／ＷＢ調整処理をキャンセルし、ユーザーの意図する露出／ＷＢ調整処理を適切に施すようにすることができる。
【０２０４】
また、ステージ１で実行される比較的に処理負荷の大きな現像処理としては、例えば、ノイズリダクション、収差／ディストーション補正、補間処理、手振れ／被写体ブレ補正の１つ以上を行うようにすることができる。
【０２０５】
また、ステージ２で実行される比較的に処理負荷の小さな現像処理としては、例えば、ユーザー露出調整、ユーザーホワイトバランス調整、色空間変換処理、非線形空間化処理、絵作り処理、シャープネス調整の１つ以上を行うようにすることができる。
【０２０６】
そして、ユーザーが露出／ホワイトバランス調整を行ったときに、ステージ１に配置された露出／ホワイトバランス調整の画像処理を用いずに、ステージ２に配置されたユーザー露出調整／ユーザーホワイトバランス調整の現像処理装置を用いることにより、ステージ１の処理負荷の重い現像処理を行うことなく、その処理負荷の重い現像処理がなされた中間現像画像を用いたステージ２の処理を繰り返し行うことにより、ユーザーによる露出／ＷＢ調整処理の調整が行われた場合にも、迅速な現像処理を行うことができる。
【０２０７】
また、ユーザー露出調整、ユーザーホワイトバランス調整、絵作りやシャープネスに関するパラメータなど、ステージ２に配置された現像処理に対する現像パラメータを調整した場合、中間現像画像から現像処理を始めることで現像時間の短縮を行うことができる。
【０２０８】
また、ユーザーがステージ１に配置された現像処理に対する現像パラメータを調整したとき、その現像処理によって生成されたステージ１の処理結果画像、すなわち中間現像画像を前回の中間現像画像に上書き、または新規に保持しつづけることにより、繰り返しステージ１の処理を行うことがないようにすることができ、現像処理の効率化を図ることができる。
【０２０９】
これらのことにより、露出／ＷＢ調整作業におけるユーザーの時間的負担は大幅に軽減される。最も頻繁に行われる処理に中間現像画像を利用できることで、中間現像画像を有効活用でき、新たなメモリ使用や計算負荷を必要とすることもない。
【０２１０】
また、上述した第１の実施の形態の画像処理装置１００、第２の実施の形態のカメラシステム６００において実行可能な図６に示したフローチャートの処理を行うプログラムを形成した場合には、これをＣＤ（Compact Disc）等の記録媒体に記録して配布したり、インターネットなどの広域ネットワークを通じて配布するようにしたり、あるいは、デジタルテレビ放送などの放送媒体を通じて配布したりするなどのことができる。これにより、現像機能を備えない情報処理装置を現像機能を備えた画像処理装置とすることが簡単にできるようにされる。
【図面の簡単な説明】
【０２１１】
【図１】この発明の一実施の形態が適用された画像処理装置１００を説明するためのブロック図である。
【図２】図１の画像処理装置１００において行われる現像処理の詳細について説明するためのブロック図である。
【図３】図２に示したステージ１の通常露出／ＷＢ調整処理部１０１において行われる露出調整処理、ホワイトバランス調整処理の具体例を説明するための図である。
【図４】図２に示したステージ２の通常露出／ＷＢ調整処理部１０３において行われる露出調整処理、ホワイトバランス調整処理の具体例を説明するための図である。
【図５】従来のＲＡＷ現像処理と、画像処理装置１００におけるＲＡＷ現像処理との処理時間の違いについて説明するための図である。
【図６】図１に示した画像処理装置１００において行われる現像処理について説明するためのフローチャートである。
【図７】画像処理装置１００と、撮像装置２００とが連携して現像処理を行う場合の具体例について説明するための図である。
【図８】ステージ１において複数のパラメータを選択して使用することにより、複数の中間現像画像データを生成できるようにした場合について説明するための図である。
【図９】この発明の一実施の形態が適用されたカメラシステム６００を説明するためのブロック図である。
【図１０】図９に示したカメラシステム６００の画像処理部４０３の構成例を説明するためのブロック図である。
【図１１】従来のＲａｗ現像処理の一例を説明するためのフローチャートである。
【図１２】従来のＲａｗ現像処理の一例を説明するためのブロック図である。
【図１３】従来のＲａｗ現像処理の一例を説明するためのブロック図である。
【図１４】従来のＲａｗ現像処理における問題点を説明するためのブロック図である。
【図１５】従来のＲａｗ現像処理における問題点を説明するためのブロック図である。
【符号の説明】
【０２１２】
１００…画像処理装置、１０１…通常露出／ＷＢ調整処理部、１０２…補間等画像処理部、１０３…ユーザー露出／ＷＢ調整処理部、１０４…最終現像処理部、１０５…表示コントローラ、１０６…表示部、１０７…ハードディスクドライブ、１０８…操作部、１１１…メディアドライブ、１１２…外部インターフェース、１１４…通信インターフェース、１１５…送受信アンテナ、１２０…制御部１２０、１２１…ＣＰＵ、１２２…ＲＯＭ、１２３…ＲＡＭ、１２４…ＥＥＰＲＯＭ、１２５…ＣＰＵバス、６００…カメラシステム、６０１…レンズ部、６０２…撮像素子部、６０３…Ｉ／Ｆ部ＬＳＩ、６０４…信号処理ＬＳＩ、４０１…センサＩ／Ｆ部、４０２…検波処理部、４０３…画像処理部、４０４…解像度変換処理部、４０５…圧縮処理部、４０６…表示処理部、４０７、４０８…メモリコントローラ、４０９…伸張処理部、４１０…記録再生処理部、４１１…ＣＰＵ、４１２…同期信号生成部、６０５…表示処理ＬＳＩ、６０６…表示デバイス、６０７…不揮発性メモリ、６０８…ＤＲＡＭ、６０９…記録媒体、６１０…操作部
【図１】
0004985180.tif 000002
【図２】
0004985180.tif 000003
【図３】
0004985180.tif 000004
【図４】
0004985180.tif 000005
【図５】
0004985180.tif 000006
【図６】
0004985180.tif 000007
【図７】
0004985180.tif 000008
【図８】
0004985180.tif 000009
【図９】
0004985180.tif 000010
【図１０】
0004985180.tif 000011
【図１１】
0004985180.tif 000012
【図１２】
0004985180.tif 000013
【図１３】
0004985180.tif 000014
【図１４】
0004985180.tif 000015
【図１５】
0004985180.tif 000016