(57)【特許請求の範囲】
【請求項１】
一定の撮像条件下での撮像により取得されたRAW画像データ、ユーザーによって指定される色調整の情報である色調整パラメータ、および、前記撮像条件に基づいてノイズ量を予測するノイズ量予測手段と、
前記予測されたノイズ量に基づいて、内容が変更された撮像条件を決定する撮像条件決定手段と、
前記撮像条件決定手段で決定された撮像条件、および、前記予測されたノイズ量に基づいて、ノイズ低減処理の度合いを示すノイズ低減パラメータを決定するノイズ低減パラメータ決定手段と、
前記撮像条件決定手段で決定された撮像条件下での撮像により取得されたRAW画像データに対し、前記ノイズ低減パラメータに従ったノイズ低減処理を実行するノイズ低減手段と、
を有し、
前記撮像条件の内容は、絞り値と、シャッタースピードと、ISO感度と、を含み、
前記予測されたノイズ量が所定の閾値より大きい場合、前記撮像条件決定手段は、前記絞り値および前記シャッタースピードを用いて算出される、露出の明るさを表すEV値をより小さくする撮像条件を選定することを特徴とする画像処理装置。
【請求項２】
前記撮像条件決定手段で決定された撮像条件に基づいて色調整パラメータを変更する色調整パラメータ変更手段を更に有し、
前記ノイズ量予測手段は、前記撮像条件決定手段で決定された撮像条件、当該撮像条件下での撮像により取得されるRAW画像データ、および前記変更された色調整パラメータに基づいてノイズ量を予測し、
前記ノイズ低減パラメータ決定手段は、当該予測されたノイズ量に基づいて、前記ノイズ低減パラメータを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色調整パラメータ変更手段は、前記一定の撮像条件および色調整パラメータの組み合わせによって出力された色と同じ色が出力されるように、前記撮像条件決定手段で決定された撮像条件に応じた色調整パラメータを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
表示モニタの色特性を取得する特性取得手段を更に有し、
前記ノイズ量予測手段は、前記表示モニタの色特性に基づいてノイズ量を予測することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
【請求項５】
前記撮像条件決定手段が前記内容が変更された撮像条件を決定できない場合に、ユーザーに警告する警告手段を更に有することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
一定の撮像条件下での撮像により取得されたRAW画像データ、ユーザーによって指定される色調整の情報である色調整パラメータ、および、前記撮像条件に基づいてノイズ量を予測するステップと、
前記予測されたノイズ量に基づいて、内容が変更された撮像条件を決定するステップと、
前記決定された撮像条件、および、前記予測されたノイズ量に基づいて、ノイズ低減処理の度合いを示すノイズ低減パラメータを決定するステップと、
前記決定された撮像条件下での撮像により取得されたRAW画像データに対し、前記ノイズ低減パラメータに従ったノイズ低減処理を実行するステップと
を有し、
前記撮像条件の内容は、絞り値と、シャッタースピードと、ISO感度と、を含み、
前記予測されたノイズ量が所定の閾値より大きい場合、前記撮像条件を決定するステップにおいて、前記絞り値および前記シャッタースピードを用いて算出される、露出の明るさを表すEV値をより小さくする撮像条件が選定されることを特徴とする画像処理方法。
【請求項７】
コンピュータに、請求項６に記載の方法を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を使用して取得したRAW画像データに対するノイズ低減処理の技術に関する。
【背景技術】
【０００２】
近年、シネマなどの撮影現場では、撮像装置の出力画像信号に各種の色調整のためのパラメータ（以下、色調整パラメータ）を付与することで、撮影監督の意図が反映された現像後の画像を確認することができるようになっている。さらに、ポストプロダクション（以下ポスプロ）で使用する編集装置に撮像画像のRAW画像データと共にメタデータとして撮影現場で用いたパラメータを伝送し、ポスプロでの現像に反映することが可能になってきている。これにより、撮影現場で確認した色調整をポスプロで迅速かつ正確に再現することができるため、ポスプロの作業効率が改善されている。
【０００３】
上記のように色調性後の画像の見えの情報をワークフロー間で便宜的にやりとりするための様々なパラメータが存在する。例えば、ASC-CDL（The American Society of Cinematographers Color Decision List、以下CDL）は、全米映画撮影監督協会によって定義された色修正のための情報である。CDLではRGB毎にオフセット、スロープ、パワー（ガンマ）の３つのパラメータが定義されており、RGBの階調特性を変更できるようになっている。撮影現場の撮影者や撮影監督は、撮像装置の出力画像信号にこれらのパラメータを適宜適用しモニタを通して観察することで、CDLが反映された画像を確認することができる。
【０００４】
なお、上記のようなパラメータはCDL以外にも、撮影ガンマや、3D-LUT、RRT（ACES規格における色調整処理で使用される）などがある。撮影現場で色を確認する技術として、特許文献１では、映像信号にACES色変換処理で使用するパラメータ（IDT、RRT、ODT）による色変換を施し、モニタに表示することで、撮影現場において色調整および色確認を行う技術が公開されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2012-231459号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像画像にCDL、3D-LUT、RRTなどのパラメータを適用し色変換を行うと、色変換によってはノイズが増幅され画質が劣化する場合がある。この画質劣化は、画面サイズが小さいモニタを用いて画像を確認することが多い撮影現場では気づくことが困難である一方、画面サイズが大きいモニタを用いて画像を確認可能なポスプロで気づかれることが多い。ポスプロで画質劣化に気付いた場合、本来の色調整作業に加えて、ノイズ低減処理など画質劣化を補正する作業を施さなければならず、作業効率が悪化するという課題がある。
【課題を解決するための手段】
【０００７】
本発明は、一定の撮像条件下での撮像により取得されたRAW画像データ、ユーザーによって指定される色調整の情報である色調整パラメータ、および、前記撮像条件に基づいてノイズ量を予測するノイズ量予測手段と、前記予測されたノイズ量に基づいて、内容が変更された撮像条件を決定する撮像条件決定手段と、前記撮像条件決定手段で決定された撮像条件、および、前記予測されたノイズ量に基づいて、ノイズ低減処理の度合いを示すノイズ低減パラメータを決定するノイズ低減パラメータ決定手段と、前記撮像条件決定手段で決定された撮像条件下での撮像により取得されたRAW画像データに対し、前記ノイズ低減パラメータに従ったノイズ低減処理を実行するノイズ低減手段と、を有し、前記撮像条件の内容は、絞り値と、シャッタースピードと、ISO感度と、を含み、前記予測されたノイズ量が所定の閾値より大きい場合、前記撮像条件決定手段は、前記絞り値および前記シャッタースピードを用いて算出される、露出の明るさを表すEV値をより小さくする撮像条件を選定することを特徴とする画像処理装置である。
【発明の効果】
【０００８】
本発明では、撮影現場で決まるCDLなどの色調整パラメータに応じて、撮像条件を変更しノイズ低減に関するパラメータを調整する。これにより、色調整によって生じるノイズを前もって低減することが可能となり、撮影工程以降のポスプロなどの工程における作業負荷を低減できる。
【図面の簡単な説明】
【０００９】
【図１】実施例１における画像処理装置の構成を示すブロック図
【図２】実施例１におけるノイズ量予測部１０５の動作を示すフローチャート
【図３】実施例１における撮像条件決定部１０６の動作を示すフローチャート
【図４】実施例２における画像処理装置の構成を示すブロック図
【図５】実施例２におけるノイズ量予測部４０２の動作を示すフローチャート
【発明を実施するための形態】
【００１０】
［実施例１］
以下、本発明の実施形態について図面を参照して説明する。
【００１１】
＜画像処理装置の構成＞
図１は、本実施例における画像処理装置の構成例を模式的に示すブロック図である。
【００１２】
撮像部１０１は、被写体の撮像により撮像画像（RAW画像データ）を取得して、後段の撮像条件取得部１０４およびノイズ低減部１１０に出力する。また、撮像部１０１は、撮像の際の撮像条件も出力する。撮像部１０１は例えば、デジタルカメラやデジタルビデオカメラなどの撮像手段に含まれる撮像素子、或いは、デジタルカメラやデジタルビデオカメラなどの撮像手段そのものである。
【００１３】
色調整パラメータ記憶部１０２には、撮像画像に対し色調整を行う際に用いられる色調整パラメータ（例えばCDLや3D-LUTなど）が保存される。色調整パラメータは、ユーザー（撮影監督など）がパラメータ調整UIを介して入力する。色調整パラメータ記憶部１０２として例えば、メモリやHDDなどが使用される。
【００１４】
色調整パラメータ取得部１０３は、色調整パラメータ記憶部１０２に保存されている色調整パラメータを読み出して取得する。
【００１５】
撮像条件取得部１０４は、撮像の際に撮像部１０１に設定されている一定の撮像条件（シャッタースピード、絞り値、ISO感度）を取得する。撮像条件はRAW画像データと共に出力されるメタデータから取得しても良いし、RAW画像データとは別に撮像部１０１から直接取得しても良い。
【００１６】
ノイズ量予測部１０５は、色調整パラメータと、RAW画像データと、撮像条件とに基づき色調整後のノイズ量を予測する。
【００１７】
撮像条件決定部１０６は、ノイズ量予測部１０５の結果に基づいて適切な撮像条件を決定し、撮像部１０１および色調整パラメータ変更部１０８に対し、当該決定した撮像条件を出力する。後段の撮像部１０１および色調整パラメータ変更部１０８において、当該撮像条件に従った再設定が行われる。
【００１８】
警告部１０７は、適切な撮像条件が得られない場合に、ユーザーに警告を通知するための手段である。警告部１０７として例えば、外部モニタや警告用ランプなどが使用される。
【００１９】
色調整パラメータ変更部１０８は、撮像条件決定部１０６で決定された撮像条件による再設定が行われた場合に色調整パラメータを変更する。色調整パラメータ変更部１０８は、変更前の撮像条件と色調整パラメータとの組み合わせで得られた色と同じ色が得られるように、変更後の撮像条件に対応する色調整パラメータを計算する。色調整パラメータ変更部１０８によって計算された変更後の撮像条件に対応する色調整パラメータは、色調整パラメータ記憶部１０２に送られて、保存される。
【００２０】
ノイズ低減パラメータ決定部１０９は、ノイズ量予測部１０５の結果に基づいて、RAW画像データに行うノイズ低減処理の度合いを示すパラメータ（以下ノイズ低減パラメータ）を決定し、該決定したノイズ低減パラメータを後段のノイズ低減部１１０に出力する。
【００２１】
ノイズ低減部１１０は、RAW画像データに対し、ノイズ低減パラメータに従ったノイズ低減処理を行う。
【００２２】
デモザイク処理部１１１は、ベイヤー配列のRAW画像データにデモザイク処理を行う。これにより、各画素がRGB値を有するRGB画像データが取得され、後段の編集装置に伝送される。なお、デモザイクの方法は任意の方法を用いて良い。
【００２３】
以下、本実施例における画像処理装置に関し、ノイズ量予測部１０５、撮像条件決定部１０６、ノイズ低減パラメータ決定部１０９、ノイズ低減部１１０の動作について説明する。
【００２４】
＜ノイズ量予測部の動作＞
ノイズ量予測部１０５の動作について、図２のフローチャートを用いて説明する。本実施例では、動画撮影時を想定し、動画撮影時の１フレームの画像の各画素に対する輝度情報を計算し、この輝度情報に基づいてノイズ量を計算する。
【００２５】
まず、ステップＳ２０１（以下、ステップＳ２０１をＳ２０１と略記し、他のステップについても同様に略記する。）において、ＡＰＥＸ規格による式（１）に基づき、撮像条件である絞り値、シャッタースピード、ISO感度の情報を用いて被写体の輝度情報である絶対輝度Yを得る。
【００２６】
【数１】
0006611543.tif 000002
【００２７】
式（１）において、絶対輝度Yは撮影画像全体の平均的な輝度情報（cd/m2）、Fは絞り値、Tはシャッタースピード（秒）、SはISO感度である。ここでYは、撮像画像における画素値（ガンマ変換を行っていない被写体の輝度に線形な値）を0%〜100%で正規化したときの18％に相当する輝度である。例えば、F＝2.8、T＝1/500、S＝400とすると、Y＝464cd/m2となる。
【００２８】
なお、輝度情報の導出方法は上記のものに限らず、例えば輝度情報を取得するための輝度計がカメラに搭載されている場合は、その輝度計によって輝度情報を取得しても良い。なお、被写体によっては上記の式（１）で示したような撮像条件を用いて輝度情報を導出することが不適切な場合がある（例えば、撮影画像全体が黒画像または白画像である場合など）。このような場合は、上記の式（１）を用いて輝度情報を正確に導出することができないため、輝度計を用いた方が良い。
【００２９】
次に、Ｓ２０２において、以下の式（２）を用いて、絶対輝度Yから撮影画像の各画素に対する輝度情報Lに変換する。
【００３０】
【数２】
0006611543.tif 000003
【００３１】
式（２）において、Lはあるフレームtにおける２次元の輝度分布画像、Gはフレームtにおける撮像画像のRGBのうち、輝度の分光特性に近いGチャンネルの画像、GmaxはGチャンネルの画像における最大の画素値である。なお、Gの画素値は被写体の輝度に対して線形な数値であるとする。Y(t)＝464cd/m2、Gmax=255、G(1,1,t)=200とすると、L(1,1,t)は約2021.8cd/m2となる。
【００３２】
次に、Ｓ２０３において、Ｓ２０２で計算した被写体の輝度情報を用いて、画像上に発生するノイズ量σを計算する。この計算では、シャッタースピードT、絞り値Fという撮像条件下で、輝度情報Lが得られたときの光量の総和Qが、以下の式（３）により計算できることを利用する。たとえば、L(1,1,t)=2021.8、T=1/500、F＝2.8のときのQ(1,1,t)は約0.516となる。
【００３３】
【数３】
0006611543.tif 000004
【００３４】
ノイズ量はカメラで受光した光量の平方根に比例することが知られており、以下の式（４）を用いることで、信号値Qに対するノイズ量の割合σ（あるフレームtにおける２次元分布）が得られる。ｋは比例定数であり任意の係数であるとする。たとえば、実測値に基づいて、σの値が信号値に対するノイズ量の割合となるように予めｋを決定しておく。
【００３５】
【数４】
0006611543.tif 000005
【００３６】
例えばｋ＝0.0718、Q(1,1,t)＝0.516のとき、σ(1,1,t)＝0.1となる。これはもとの信号値に対して0.1の割合でノイズを含んでいることを表す。なお、本実施例では、撮像画像の受光量Qからノイズ量σを算出したが、ノイズ量の導出方法は上記のものに限定されない。例えば、RAW画像データからノイズ量を直接算出してもよいし、被写体の輝度情報Y毎に、撮像条件に対応付けされたノイズ量を規定するテーブルを保持し、このテーブルを参照することによってノイズ量を決定しても良い。
【００３７】
次に、Ｓ２０４において、Ｓ２０３で計算したノイズ量σと、色調整パラメータとを用いることで、色変換後のノイズ量を計算する。本実施例では、色調整パラメータがCDLであるとし、CDLによる色変換で発生するノイズ量を計算する。ここで、CDLによる色変換は以下の式（５）により表される。
【００３８】
【数５】
0006611543.tif 000006
【００３９】
式（５）において、outは出力画素値、inは入力画素値（0-1の範囲の正規化された値）、slope、offset、powerはCDLで規定されているパラメータであり、夫々スロープ、オフセット、パワー（ガンマ）である。このとき、式（５）に示すようなCDLによる色変換を行った後のノイズ量σoutは、式（５）と、誤差伝搬測とを用いて以下の式（６）のように計算することができる。
【００４０】
【数６】
0006611543.tif 000007
【００４１】
たとえば、in(1,1,t)=0.78、slope=1.0、offset=0.055、power=2.2、σ(1,1,t)=0.1とすると、σout=0.177となる。S203で算出したσ(1,1,t)=0.1とσout(1,1,t)=0.177を比較すると、色変換によってノイズが増幅されている。
【００４２】
なお、CDL以外の色調整パラメータによる色変換を行う場合であっても、誤差伝搬測を用いて色変換後のノイズ量を計算することが可能である。また、これ以外の方法として、撮像画像の１フレームに対して仮想的に色変換を行ってノイズ量を計算しても良い。
【００４３】
＜撮像条件決定部の動作＞
撮像条件決定部１０６の動作について、図３を用いて説明する。
【００４４】
初めに、Ｓ３０１において、Ｓ２０４で計算した色変換後のノイズ量が閾値以下であるか否かを判定する。本ステップで用いる閾値は、信号値に対するノイズ量の割合を表す0以上の値であり、予め定められる固定値でも良いし、或いは、ユーザーが任意に指定可能であっても良い。一般的には式（６）におけるσoutの値が0.5を超えるとノイズ量の多い画像となるため、閾値は0以上かつ0.5以下の範囲内で設定することが望ましい。また、暗部、中間調、明部で感じるノイズ量が異なるため、階調毎に閾値を設けても良い。Ｓ３０１の判定の結果、色変換後のノイズ量が閾値以下の場合、Ｓ３０２に進む。一方、色変換後のノイズ量が閾値より大きい場合、Ｓ３０５に進む。
【００４５】
以下、Ｓ３０１で色変換後のノイズ量が閾値以下と判定された場合について説明する。
【００４６】
この場合、Ｓ３０２において、カメラ上で現状設定されている撮像条件を再設定により変更する必要があるか否かを判定する。具体的には後述するＳ３０７の処理が行われたか否かを示す情報を記憶しておき、１度でもＳ３０７の処理が行われれば、カメラの撮像条件を再設定する必要があると判定する。Ｓ３０７の処理が行われたか否かを示す情報は、色調整パラメータが変更された場合に消去される。Ｓ３０２の判定の結果、撮像条件を再設定する必要がある場合、Ｓ３０３に進む。一方、撮像条件を再設定する必要が無い場合、処理は終了する。
【００４７】
Ｓ３０３において、色調整パラメータ変更部１０８に撮像条件を出力する。
【００４８】
次に、Ｓ３０４において、撮像部１０１に再設定用の撮像条件を出力する。この撮像条件に従って、撮像部１０１は被写体を撮像し、撮像データを取得する。
【００４９】
続いて、Ｓ３０１で色変換後のノイズ量が閾値より大きいと判定された場合について説明する。
【００５０】
この場合、Ｓ３０５において、ノイズ量を低減可能な撮像条件が存在するか否かを判定する。具体的には、露出の明るさを表すEV（Exposure Value）値を小さくする撮像条件が存在するか否かを判定する。EV値は、絞り値およびシャッタースピードを用いて算出できる。Ｓ３０５の判定の結果、ノイズ量を低減可能な撮像条件が存在する場合、Ｓ３０６に進む。一方、ノイズ量を低減可能な撮像条件が存在しない場合、Ｓ３０８に進み、警告部１０７にてノイズ量が大きいために低品質な画像になる旨の警告表示を行い、処理を終了する。
【００５１】
Ｓ３０６において、ノイズ量を低減する撮像条件を選定する。即ち、シャッタースピード、絞り値、ISO感度を調整して、EV値が小さくなる撮像条件を選択する。なお、カメラの設定（絞り値固定モードやISO感度固定モードなど）により、撮像条件に制限がある場合はそれに従って撮像条件を選択する。
【００５２】
次に、Ｓ３０７において、ノイズ量予測部１０５へ撮像条件を出力する。ノイズ量予測部１０５では、新たに選定された撮像条件に対する色変換後のノイズ量が予測され、当該予測されたノイズ量が、撮像条件決定部１０６に送られる。そして、この色変換後のノイズ量に対して、図３に示す一連の処理が実行されることとなる。例えば、最初の撮影条件であるF＝2.8、T＝1/500、S＝400に対して、F=1.4に変更した場合、式（３）から式（６）を再計算すると、0.0886となりノイズ量は1/2となる。
【００５３】
＜色調整パラメータ変更部の動作＞
色調整パラメータ変更部１０８の動作について説明する。前述した撮像条件決定部１０６によって適切な撮像条件が新たに決定された場合、変更前の撮像条件下で撮像した画像に適用していた色調整パラメータを、変更後の撮像条件下で撮像した画像に適用しても同じ色とならない。従って、撮像条件の変更前後で同じ色とするために色調整パラメータも変更する必要が出てくる。色調整パラメータ変更部１０８は、変更前後の撮像条件（即ち、変更前後の絞り値、シャッタースピード、ISO感度の各値）を記憶しておき、これらを用いて撮像条件の変更前後におけるEV値を算出することによって露光量の変化を計算する。そして、露光量の変化から、撮像条件の変更前後の撮像画像における画素値の違いをゲイン量gainとして算出する。例えば、EV値の変化が-1であるとき、変更後の撮像画像における画素値のゲインは変更前の２倍である。ここで、上記式（５）に示したようなCDLによる色変換における色調整パラメータを変更する場合、画素値のゲインに相当するslopeを次のように変更する。
【００５４】
【数７】
0006611543.tif 000008
【００５５】
これによって、撮像条件の変更前後で、色変換後の画像を同じ色にすることができる。なおCDLによる色変換以外の色変換、例えばマトリクスによる色変換であっても、撮像条件変更前後の画素値の変化量に基づいて係数の調整を行うことで、色調整パラメータ変更前後の画像において同じ色を得ることが可能である。
【００５６】
＜ノイズ低減パラメータ決定部の動作＞
ノイズ低減パラメータ決定部１０９の動作について説明する。本実施例では、ノイズ低減パラメータ（Pとする）を、以下の式（８）に示すように設定する。
【００５７】
【数８】
0006611543.tif 000009
【００５８】
式（８）において、pは任意の係数である。
【００５９】
＜ノイズ低減部の動作＞
ノイズ低減部１１０の動作について説明する。本実施例におけるノイズ低減処理では、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する。
【００６０】
参照画素の画素数をNS（フレームt内におけるx＝x1〜x2、y=y1〜y2の範囲の画素数。x1、x2、y1、y2は任意の座標である。）、参照画素の画素値をIj（j＝1〜Ns）、参照画素の重みをwj（j＝1〜Ns）とする。このときノイズ低減処理後の着目画素の画素値Inewは、以下の式（９）のように表すことができる。
【００６１】
【数９】
0006611543.tif 000010
【００６２】
ここで重みｗjは以下の式（１０）で決定することができる。
【００６３】
【数１０】
0006611543.tif 000011
【００６４】
式（１０）において、Cjは近傍領域との類似度であり、例えば着目画素と周辺画素との画素値との間の差から算出できる。類似度Cjが小さいほど重みｗjが大きく、類似度Cjが大きいほど重みｗjが小さくなるように決定できれば、式（１０）以外の任意の式を用いて重みを算出して良い。また、式（１０）におけるPは式（８）で算出した値である。式（１０）では、P、つまり色変換後のノイズ量σoutが大きいほど重みｗjも大きくなるため、予測したノイズ量が大きいほどノイズ低減効果が大きくなる。
【００６５】
以上、本実施例によれば、ユーザー指定の色調整パラメータによる画像処理後に発生するノイズ量を撮像時に予測することで、撮像条件をより最適なものに変更する。そして、撮像条件の変更に応じて色調整パラメータも変更し、変更後の色調整パラメータに応じたノイズ低減パラメータを求め、ノイズ低減処理の強度を調整する。これにより、色調整で発生するノイズ量の増幅をポスプロより前の工程の段階で抑えることが可能となる。なお、本実施例の画像処理装置は、カメラ本体に備わっていても良いし、撮影現場で色調整後の画像を簡易に確認するための表示システムに備わっていても良い。
【００６６】
［実施例２］
実施例１では、被写体の輝度情報と、色調整パラメータとから色変換後に発生するノイズ量を予測した。本実施例では、画像処理装置はさらに表示モニタ特性取得部を備えており、撮像画像が表示されるモニタを通して観察されるノイズ量を予測し、最適な撮像条件およびノイズ低減パラメータを決定する。なお、以下の説明において、実施例１と共通する内容については、説明を簡略化または割愛する。
【００６７】
＜画像処理装置の構成＞
図４は、本実施例における画像処理装置の構成例を模式的に示すブロック図である。
【００６８】
本実施例では、画像処理装置が表示モニタ特性取得部４０１を備えており、この点で実施例１と相違する（図１を参照）。表示モニタ特性取得部４０１は、表示モニタの色特性（具体的にはsRGB、AdobeRGB、DCIなどの色域情報）を取得し記憶する。この色特性は、ノイズ量予測部４０２に送られる。そして、ノイズ量予測部４０２は、RAW画像データ、撮像条件、色調整パラメータに加えて、表示モニタの色特性にも基づいてノイズ量を予測する。
【００６９】
＜ノイズ量予測部の動作＞
本実施例におけるノイズ量予測部４０２の動作について、図５のフローチャートを用いて説明する。
【００７０】
まず、Ｓ５０１において、実施例１のＳ２０１と同様に、ＡＰＥＸ規格よる式（１）を用いて被写体の輝度情報Yを算出する。
【００７１】
次に、Ｓ５０２において、ＲＧＢ毎のノイズ量を算出するために、以下の式（１１）に示すように、輝度情報Yを所定の比率に従ってRGB毎の輝度情報に分割する。
【００７２】
【数１１】
0006611543.tif 000012
【００７３】
例えば、使用する撮像画像がBT709規格に基づく画像信号であれば、RGBの輝度分配比率mR:mG:mBはおよそ0.2：0.7：0.1である。
【００７４】
次に、Ｓ５０３において、以下の式（１２）を用いて、RGB毎に２次元の輝度分布情報を計算する。
【００７５】
【数１２】
0006611543.tif 000013
【００７６】
式（１２）において、RはフレームtにおけるRチャンネルの画像、RmaxはRチャンネルの画像における最大の画素値、BはフレームtにおけるBチャンネルの画像、BmaxはBチャンネルの画像における最大の画素値である。
【００７７】
次に、Ｓ５０４において、以下の式（１３）を用いて、RGB毎のノイズ量を計算する。ここでは実施例１の式（３）と同様に、シャッタースピードT、絞り値Fという撮像条件下で、輝度分布情報Lが得られたときの光量の総和QをRGB毎に計算できることを利用して、RGB毎にノイズ量を算出している。
【００７８】
【数１３】
0006611543.tif 000014
【００７９】
次に、Ｓ５０５において、実施例１の式（６）と同様に色変換を行った後のノイズ量を、式（１３）と誤差伝搬則とを用いてRGB毎に計算する（σR_out、σG_out、σB_outとする。）。
【００８０】
次に、Ｓ５０６において、表示モニタの色特性を用いて、RGB毎のノイズ量σR_out、σG_out、σB_outからモニタ上の３刺激値XYZ値のノイズ量σX、σY、σZに変換する。モニタの色域がsRGBである場合、色特性情報として、以下の式（１４）に示すようなRGBからXYZへの変換係数を取得する。
【００８１】
【数１４】
0006611543.tif 000015
【００８２】
そして変換係数を用いて、以下の式（１５）に従って、RGB毎のノイズ量σR_out、σG_out、σB_outから表示モニタ上の３刺激値XYZ値でのノイズ量に変換する。
【００８３】
【数１５】
0006611543.tif 000016
【００８４】
ここで、式（１６）に示すように行列Aの対角成分がXYZ値でのノイズ量に相当する。
【００８５】
【数１６】
0006611543.tif 000017
【００８６】
従って、モニタに表示されるノイズ量を以下の式（１７）のように計算する。
【００８７】
【数１７】
0006611543.tif 000018
【００８８】
以上が、本実施例におけるノイズ量予測部４０２の動作である。これ以降は実施例１と同様に、モニタに表示されるノイズ量を用いて、撮像条件の決定やノイズ低減パラメータの決定が行われる。
【００８９】
以上、本実施例によれば、表示モニタの色特性（ガンマ特性や色域情報など）を考慮して、表示モニタを通して知覚されるノイズ量を低減するように、撮像条件およびノイズ低減パラメータを変更する。これにより、色変換後の画像を表示モニタ上で観察したときの画質劣化を抑えることが可能となる。
【００９０】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９１】
１０５  ノイズ量予測部
１０６  撮像条件決定部
１０９  ノイズ低減パラメータ決定部
１１０  ノイズ低減部
【図１】
0006611543.tif 000019
【図２】
0006611543.tif 000020
【図３】
0006611543.tif 000021
【図４】
0006611543.tif 000022
【図５】
0006611543.tif 000023