(57)【要約】【課題】  ＲＡＷ画像の階調調整に好適なゲインマップを、少ない処理負荷で生成することである。【解決手段】  本発明の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。画像入力部は、ＲＡＷ画像を取り込む。代表値処理部は、ＲＡＷ画像の画像領域を複数の部分領域に分け、これら部分領域に含まれる色成分に基づく代表値を求め、代表値を画素値とする縮小画像を生成する。ゲインマップ生成部は、縮小画像に基づいて、ゲインマップを生成する。階調変換部は、このゲインマップに基づいて、ＲＡＷ画像の階調変換を行う。【選択図】      図１
2007180851.tif 000002
【特許請求の範囲】
【請求項１】
ＲＡＷ画像を取り込む画像入力部と、
前記ＲＡＷ画像の画像領域を複数の部分領域に分け、前記部分領域に含まれる色成分に基づく代表値を求め、前記代表値を画素値とする縮小画像を生成する代表値処理部と、
前記縮小画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記ＲＡＷ画像の階調変換を行う階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項２】
請求項１に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像の画素値に対応するゲインを求めて縮小ゲインマップを生成し、前記縮小ゲインマップを補間拡大して前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項３】
請求項１に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像を補間拡大して、前記ＲＡＷ画像より画素数の少ない中間画像を生成し、
前記中間画像の画素値に対応するゲインを求めて中間ゲインマップを生成し、前記中間ゲインマップを補間拡大して前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項４】
請求項１に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像を補間拡大して前記ＲＡＷ画像の画素数の補間画像を生成し、前記補間画像の画素値に対応するゲインを求めて前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の階調変換装置において、
前記代表値処理部は、
前記部分領域に含まれるｎ種類（ｎ≧２）の色成分について統計処理を行って、ｎ種類の色代表値を求め、前記色代表値に基づいて代表値を求め、前記代表値を画素値とする前記縮小画像を生成する
ことを特徴とする階調変換装置。
【請求項６】
請求項５に記載の階調変換装置において、
前記代表値処理部が実施する前記統計処理は、
前記色成分の平均値、中央値、もしくは中間値、
または、飽和と見なせる極端に大きい値を除いた前記色成分の平均値、中央値、もしくは中間値、
または、許容変動範囲を超える変動値を除いた前記色成分の平均値、中央値、もしくは中間値
のいずれかを求める処理である
ことを特徴とする階調変換装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の階調変換装置において、
ゲインマップ生成部は、
前記縮小画像、前記ゲインマップ、および前記ゲインマップ生成過程のデータの少なくとも１つに対してスムージング処理を施す
ことを特徴とする階調変換装置。
【請求項８】
ＲＡＷ画像を取り込み、前記ＲＡＷ画像に対してホワイトバランスをとったＷＢ＿ＲＡＷ画像を作成する画像入力部と、
前記ＷＢ＿ＲＡＷ画像から代表値を求め、代表値画像を作成する代表値処理部と、
前記代表値画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成する階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項９】
ＲＡＷ画像を取り込み、前記ＲＡＷ画像の最大値もしくは前記ＲＡＷ画像から求めた白色点の値を所定の最大レベルになるように規格化されたＮＲ＿ＲＡＷ画像を作成する画像入力部と、
前記ＮＲ＿ＲＡＷ画像から代表値を求め、代表値画像を作成する代表値処理部と、
前記代表値画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成する階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項１０】
コンピュータを、請求項１ないし請求項９のいずれか１項に記載の前記画像入力部、前記代表値処理部、前記ゲインマップ生成部、および前記階調変換部として機能させるための階調変換プログラム。
【請求項１１】
ＲＡＷ画像を取り込むステップと、
前記ＲＡＷ画像の画像領域を複数の部分領域に分け、前記部分領域に含まれる色成分に基づいて代表値を求め、前記代表値を画素値とする縮小画像を生成するステップと、
前記縮小画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記ＲＡＷ画像の階調変換を行うステップと
を有することを特徴とする階調変換方法。
【請求項１２】
ＲＡＷ画像を取り込み、前記ＲＡＷ画像に対してホワイトバランスをとったＷＢ＿ＲＡＷ画像を作成するステップと、
前記ＷＢ＿ＲＡＷ画像から代表値を求め、代表値画像を作成するステップと、
前記代表値画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成するステップと
を備えたことを特徴とする階調変換方法。
【請求項１３】
ＲＡＷ画像を取り込み、前記ＲＡＷ画像の最大値もしくは前記ＲＡＷ画像から求めた白色点の値を所定の最大レベルになるように規格化されたＮＲ＿ＲＡＷ画像を作成するステップと、
前記ＮＲ＿ＲＡＷ画像から代表値を求め、代表値画像を作成するステップと、
前記代表値画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成するステップと
を備えたことを特徴とする階調変換方法。
【請求項１４】
請求項１ないし請求項９のいずれか１項に記載の階調変換装置と、
被写体を撮像してＲＡＷ画像を生成する撮像部とを備え、
前記撮像部で生成された前記ＲＡＷ画像を、前記階調変換装置で階調変換する機能を有する
ことを特徴とする電子カメラ。                                                                                
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＲＡＷ画像を階調変換する階調変換装置、プログラム、および方法に関する。また、本発明は、この階調変換装置を搭載する電子カメラに関する。
【背景技術】
【０００２】
下記の特許文献１には、下式によるダイナミックレンジ圧縮方式が開示されている。
Ｏ[i,j]＝I[i,j]×Ｆ（Ｒ[i,j]）・・・［１００］
ただし、I[i,j]は、入力画像の画素値である。Ｏ[i,j]は、出力画像の画素値である。Ｆ（）は、係数算出関数である。Ｒ[i,j]は、入力画像のイプシロンフィルタを施した画素値である。イプシロンフィルタは、入力画像から微小振幅成分を非線形に抽出し、この微小振幅成分を入力画像から減算する非線形フィルタである。
【特許文献１】特開２００３−８９３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１のイプシロンフィルタは、処理が複雑で処理時間がかかるという問題があった。特に、ＲＡＷ画像では色成分の一部が画素ごとに欠落するため、そのままでは特許文献１の処理を実施できない。そのため、色補間処理によって全色成分をまず揃える必要があり、その事前処理の分だけ処理時間が更に余計にかかるという問題があった。
そこで、本発明の目的は、ＲＡＷ画像の階調調整に好適なゲインマップを、少ない処理負荷で生成することである。
【課題を解決するための手段】
【０００４】
《１》  本発明の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、ＲＡＷ画像を取り込む。
代表値処理部は、ＲＡＷ画像の画像領域を複数の部分領域に分け、これら部分領域に含まれる色成分に基づく代表値を求め、代表値を画素値とする縮小画像を生成する。
ゲインマップ生成部は、縮小画像に基づいて、ゲインマップを生成する。
階調変換部は、このゲインマップに基づいて、ＲＡＷ画像の階調変換を行う。
《２》  なお好ましくは、ゲインマップ生成部は、縮小画像の画素値に対応するゲインを求めて縮小ゲインマップを生成する。ゲインマップ生成部は、この縮小ゲインマップを補間拡大してゲインマップを生成する。
《３》  また好ましくは、ゲインマップ生成部は、縮小画像を補間拡大して、ＲＡＷ画像より画素数の少ない中間画像を生成する。ゲインマップ生成部は、中間画像の画素値に対応するゲインを求めて中間ゲインマップを生成し、この中間ゲインマップを補間拡大してゲインマップを生成する。
《４》  なお好ましくは、ゲインマップ生成部は、縮小画像を補間拡大して入力ＲＡＷ画像の画素数の補間画像を生成する。ゲインマップ生成部は、この補間画像の画素値に対応するゲインを求めてゲインマップを生成する。
《５》  また好ましくは、代表値処理部は、部分領域に含まれるｎ種類（ｎ≧２）の色成分について統計処理を行って、ｎ種類の色代表値を求める。代表値処理部は、これら色代表値に基づいて代表値を求め、代表値を画素値とする縮小画像を生成する。
《６》  なお好ましくは、上述の統計処理は、色成分の平均値、中央値、もしくは中間値である。また好ましくは、上述の統計処理は、飽和と見なせる極端に大きい値を除いた色成分の平均値、中央値、もしくは中間値である。また好ましくは、上述の統計処理は、許容変動範囲を超える変動値を除いた色成分の平均値、中央値、もしくは中間値である。
《７》  また好ましくは、ゲインマップ生成部は、縮小画像、ゲインマップ、およびゲインマップ生成過程のデータの少なくとも１つに対してスムージング処理を施すことを特徴とする。
《８》  本発明の別の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、ＲＡＷ画像を取り込み、ＲＡＷ画像に対してホワイトバランスをとったＷＢ＿ＲＡＷ画像を作成する。
代表値処理部は、ＷＢ＿ＲＡＷ画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成部は、代表値画像に基づいて、ゲインマップを生成する。
階調変換部は、ゲインマップに基づいて、ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成する。
《９》  本発明の別の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、ＲＡＷ画像を取り込み、このＲＡＷ画像の最大値もしくはＲＡＷ画像から求めた白色点の値を所定の最大レベルになるように規格化されたＮＲ＿ＲＡＷ画像を作成する。
代表値処理部は、ＮＲ＿ＲＡＷ画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成部は、代表値画像に基づいて、ゲインマップを生成する。
階調変換部は、ゲインマップに基づいて、ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成する。
《１０》  本発明の階調変換プログラムは、コンピュータを、上記のいずれか１項に記載の画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部として機能させるためのプログラムである。
《１１》  本発明の階調変換方法は、次のステップを有する。
画像入力ステップ：ＲＡＷ画像を取り込む。
代表値処理ステップ：ＲＡＷ画像の画像領域を複数の部分領域に分け、部分領域に含まれる色成分に基づいて代表値を求め、代表値を画素値とする縮小画像を生成する。
ゲインマップ生成ステップ：縮小画像に基づいて、ゲインマップを生成する。
階調変換ステップ：ゲインマップに基づいて、ＲＡＷ画像の階調変換を行う。
《１２》  本発明の別の階調変換方法は、次のステップを有する。
画像入力ステップ：ＲＡＷ画像を取り込み、ＲＡＷ画像に対してホワイトバランスをとったＷＢ＿ＲＡＷ画像を作成する。
代表値処理ステップ：ＷＢ＿ＲＡＷ画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成ステップ：代表値画像に基づいて、ゲインマップを生成する。
階調変換ステップ：ゲインマップに基づいて、ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成する。
《１３》  本発明の別の階調変換方法は、次のステップを有する。
画像入力ステップ：ＲＡＷ画像を取り込み、ＲＡＷ画像の最大値もしくはＲＡＷ画像から求めた白色点の値を所定の最大レベルになるように規格化されたＮＲ＿ＲＡＷ画像を作成する。
代表値処理ステップ：ＮＲ＿ＲＡＷ画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成ステップ：代表値画像に基づいて、ゲインマップを生成する。
階調変換ステップ：ゲインマップに基づいて、ＲＡＷ画像の画素ごとにゲインを乗じた画像を作成する。
《１４》  本発明の電子カメラは、上記のいずれか１項に記載の階調変換装置と、被写体を撮像してＲＡＷ画像を生成する撮像部とを備える。この電子カメラは、撮像部で生成されたＲＡＷ画像を、階調変換装置で階調変換する機能を有する。
【発明の効果】
【０００５】
本発明では、ＲＡＷ画像の画像領域を部分領域に分ける。これら部分領域には、複数種の色成分が含まれる。そのため、欠落色成分を色補間で補うことなく、この部分領域内の色成分を使用して、代表値を求めることができる。このような代表値を画素として構成した縮小画像は、ＲＡＷ画像よりも画素数が低減されるために、ＲＡＷ画像の高域空間成分が適度に間引かれる。その結果、縮小画像の画素は、ＲＡＷ画像の対応画素がどのようなローカル領域内に位置しているかといったローカル情報を示すようになる。したがって、この縮小画像に基づいて階調変換のゲインを増減調整することにより、ローカル情報に柔軟に対応したＲＡＷ画像の階調変換が実現する。
特に、本発明の階調変換では、ＲＡＷ画像から縮小画像を生成することで、ＲＡＷ画像の階調変換に本来必須であった色補間処理を省くことが可能となり、その分だけ処理負荷を軽減することが可能になる。
【発明を実施するための最良の形態】
【０００６】
［第１実施形態］
《構成説明》
図１は、階調変換装置１１の構成を示す図である。
図１において、階調変換装置１１は、下記の構成要件を備える。
【０００７】
（１）画像入力部１２・・ＲＡＷ画像を取り込む。
（２）代表値処理部１３・・ＲＡＷ画像の画像領域を分割して複数の部分領域に分ける。これら部分領域内の色成分に基づいて代表値を求め、代表値を画素値とした縮小画像を生成する。
【０００８】
（３）ゲインマップ生成部１４・・縮小画像に基づいて、ゲインマップを生成する。
（４）階調変換部１５・・ゲインマップに基づいて、ＲＡＷ画像を階調変換する。
上述した階調変換装置１１は、その一部または全部をハードウェアにより構成してもよい。また、階調変換プログラムを用いることで、コンピュータ上において階調変換装置１１をソフトウェア的に実現してもよい。
図２は、この階調変換装置１１を搭載する電子カメラ２１を示す図である。
図２において、電子カメラ２１には、撮影レンズ２２が装着される。この撮影レンズ２２の像空間側には、不図示の絞りなどを介して、撮像素子２３の撮像面が配置される。この撮像素子２３から出力されるＲＡＷ画像は、Ａ／Ｄ変換部２４などを介してデジタル化された後、階調変換装置１１に入力される。この階調変換装置１１は、このＲＡＷ画像に対して階調変換を施す。階調変換装置１１から出力されたＲＡＷ画像は、画像処理部２５を介した後、記録部２６に保存記録される。
また、階調変換装置１１は、記録部２６から記録済みのＲＡＷ画像を後から読み出して、階調変換を実施することも可能である。
【０００９】
《動作説明》
図３は、第１実施形態の動作を説明する流れ図である。以下、図３に示すステップ番号にそって、第１実施形態の動作説明を行う。
【００１０】
［ステップＳ１］  階調変換装置１１の画像入力部１２は、ＲＡＷ画像を取り込む。ここでのＲＡＷ画像は、色補間を未実施の画像であり、例えば、図４に示すように、ＲＧＢベイヤ配列状に色成分を有する画像である。
【００１１】
［ステップＳ２］  代表値処理部１３は、ＲＡＷ画像を縦Ｍ画素×横Ｎ画素の画素ブロックに区分して読み出す。ここで、Ｍ，Ｎ最小の場合はＭ＝２，Ｎ＝２の４画素が画素ブロックの場合である。この場合、ベイヤ配列ではＧが２画素、Ｒ，Ｂがそれぞれ１画素含まれるので、この最小単位の画素ブロックの中から３色を選ぶことができる。Ｒ，Ｂに関しては一意的に決まるが、Ｇに関してはどちらかを選ぶか平均値をとる。こうして選んだＲ，Ｇ，Ｂの複数成分をもとに所定の方式（後述）で１成分の代表値Ｖを計算する。従ってこの場合の縮小画像は画素数においてＲＡＷ画像の画素数の１／４となる。
【００１２】
なお、ＲＡＷ画像のサイズが大きい場合は１／４サイズでも計算量が多い。計算速度を上げるためには、例えば６００万画素のＲＡＷ画像の場合なら、Ｍ，Ｎは、４画素程度、１６画素程度が好ましく、３２画素を超えない程度の値に設定することが好ましい。また、Ｍ，Ｎを、入力されるＲＡＷ画像の縦横画素数の変化に応じて適応的に変更してもよい。
実際的には、ＲＡＷ画像のサイズと計算時間及び結果として得られる画質とのかねあいで実験的に適正または最適な値を求めるようにする。なお、後述する補間処理を簡素化するためには、Ｍ，Ｎを２のべき乗値に設定することが好ましい。
【００１３】
代表値処理部１３は、画素ブロック内に含まれるＧ画素の値について統計処理を実施し、画素ブロックのＧ色代表値ＧＭを決定する。同様にして、代表値処理部１３は、画素ブロック内に含まれるＲ画素の値からＲ色代表値ＲＭを決定する。さらに、代表値処理部１３は、画素ブロック内に含まれるＢ画素の値からＢ色代表値ＢＭを決定する。
なお、Ｂ色については明暗の視覚感度が低いために統計処理を省き、Ｇ色およびＲ色などの２色に限って色代表値を求めてもよい。
【００１４】
ここでの統計処理としては、画素ブロックに含まれる色成分について、平均値、中央値、もしくは中間値を求める処理が好ましい。また例えば、画素ブロック内の対象色成分から飽和と見なせる極端に大きい値を除いたのちに、統計処理を実施することが好ましい。また例えば、画素ブロック内の対象色成分から許容変動範囲を超える変動値を除いた後に、統計処理を実施することが好ましい。
この種の統計処理の目的は、画素ブロック内から特異な値（明るすぎる値や暗すぎる値や突発的に変化している値）を除いて、画素ブロックを代表する色代表値を求めようとする処理である。
【００１５】
［ステップＳ３］  代表値処理部１３は、画素ブロックごとに求めた複数成分の色代表値を処理して、１成分の代表値Ｖを求める。
例えば、輝度成分Ｙ＝０．３×ＲＭ＋０．６×ＧＭ＋０．１×ＢＭ（係数は適宜変更可能）を求め、代表値Ｖ＝Ｙとしてもよい。
また例えば、色差成分Ｃｒ＝｜ＲＭ−Ｙ｜、Ｃｂ＝｜ＢＭ−Ｙ｜を求め、Ｖ＝Ｙ＋αＣｒ＋βＣｂとしてもよい。なお、α，βは、Ｖに彩度を反映させるための調整係数であり、例えば０．５程度が好ましい。この代表値Ｖは、彩度を反映するため、後述する階調変換において高彩度箇所の飽和現象を抑えることが可能になる。
また例えば、Ｖ＝ＭＡＸ（ＧＭ，ＲＭ，ＢＭ）としてもよい。
代表値処理部１３は、画素ブロックごとに求めた代表値Ｖを、画素ブロックの配列順に並べることで、縦画素数を１／Ｍ倍、横画素数を１／Ｎ倍に縮小した１成分Ｖからなる縮小画像を得る。ここで、縮小画像の位置［io,jo］に対するＶの値をＶ［io,jo］とする。
【００１６】
［ステップＳ４］  ゲインマップ生成部１４は、縮小画像に対してスムージング処理を実施し、その結果をＶ［io,jo］に入れ直す。このスムージング処理には、例えば、下記のような局所オペレータを用いた空間周波数フィルタ処理が好ましい。
１  ２  １
２  ４  ２
１  ２  １
【００１７】
［ステップＳ５］  ゲインマップ生成部１４には、関数式やＬＵＴ（ルックアップテーブル）などの形態で、ゲインカーブのデータが予め設定される。ゲインマップ生成部１４は、これらのデータの中から、ユーザー指定またはデフォルトの階調圧縮率（２倍〜４倍など）に応じて、ゲインカーブを選択する。
図５および図６は、この階調圧縮率に応じて選択されるゲインカーブの一例である。特に、図６は、暗部ノイズを低減するために暗部ゲインを抑圧したゲインカーブであり、撮像感度の特に高いＲＡＷ画像の階調変換に適する。
【００１８】
［ステップＳ６］  ゲインマップ生成部１４は、ステップＳ５で選択したゲインカーブに照会して、縮小画像の画素値Ｖ［io,jo］に対応するゲインGain(V)=Gain(V[io,jo])を画素ごとに決定する。この処理により、縮小画像と同じ縦横画素数の縮小ゲインマップが生成される。
なお、ゲインマップ生成部１４は、縮小ゲインマップ上での急激なゲイン変化を抑制するために、縮小ゲインマップに対してスムージング処理を施してもよい。
【００１９】
［ステップＳ７］  ゲインマップ生成部１４は、縮小ゲインマップGain(V[io,jo])に補間拡大を施して、ＲＡＷ画像と同じ縦横画素数のゲインマップGL[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が２のべき乗倍の場合には、補間処理の簡素化のために、縦や横に２倍の補間拡大を所定回数繰り返すことで簡単に拡大ができる。。
例えば、２倍拡大において図７［Ａ］に示すＸ箇所の補間値を得る場合は、
Ｘ箇所の補間値＝［第１近傍（図中の●位置）の４画素平均］×（１＋α）−［第２近傍（図中の○位置）の８画素平均］×α
で算出する。
また例えば、２倍拡大において図７［Ｂ］に示すＹ箇所の補間値を得る場合は、
Ｙ箇所の補間値＝［第１近傍（図中の●位置）の２画素平均］×（１＋β）−［第２近傍（図中の○位置）の２画素平均］×β
で算出する。
また例えば、２倍拡大において図７［Ｃ］に示すＺ箇所の補間値を得る場合は、
Ｙ箇所の補間値＝［第１近傍（図中の●位置）の２画素平均］×（１＋γ）−［第２近傍（図中の○位置）の２画素平均］×γ
で算出する。
なお、上記の係数αβγは、補間後のゲインマップの局所変化がなだらかになる様に、実験的に適当な値を設定する。
なお、ゲインマップ生成部１４は、補間後のゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【００２０】
［ステップＳ８］  階調変換部１５は、ステップＳ７で生成されたゲインマップの画素位置[i,j]のゲインＧＬ[i,j]を、ＲＡＷ画像の画素位置[i,j]の信号成分Ｘ[i,j]に乗じる。
Ｘ′[i,j]＝ＧＬ[i,j]×Ｘ[i,j]
この計算をＲＡＷ画像の全画素について実行することにより、ＲＡＷ画像の階調変換を完了する。
【００２１】
［第２実施形態］
第２実施形態の階調変換装置および電子カメラは、第１実施形態（図１，図２）と同一構成であるため、ここでの説明を省略する。
図８は、第２実施形態の動作を説明する流れ図である。以下、図８に示すステップ番号にそって、第２実施形態の動作説明を行う。
【００２２】
［ステップＳ１１］  第１実施形態のステップＳ１と同じ処理。
【００２３】
［ステップＳ１２］  代表値処理部１３は、ＲＡＷ画像を縦Ｍ′画素×横Ｎ′画素の画素ブロックに区分して読み出す。ここでＭ′，Ｎ′は、第１実施形態のＭ，Ｎよりもそれぞれ大きな画素数に設定することが好ましい。なお、後述する補間処理を簡素化するためには、Ｍ′，Ｎ′を２のべき乗値に設定することが好ましい。
代表値処理部１３は、この画素ブロック内に含まれるＲＧＢ値について色ごとに統計処理を実施し、色代表値ＲＭ，ＧＭ，ＢＭをそれぞれ決定する。ここでの統計処理には、ステップＳ２で説明した統計処理が可能である。
【００２４】
［ステップＳ１３］  代表値処理部１３は、画素ブロックごとに求めた色代表値ＲＭ，ＧＭ，ＢＭを処理して、１成分の代表値Ｖを求める。この処理により１成分の代表値Ｖからなる縮小画像を得る。この縮小画像は、第１実施形態の縮小画像よりも小さな縦横画素数にすることが好ましい。
【００２５】
［ステップＳ１４］  ゲインマップ生成部１４は、縮小画像に対してスムージング処理を実施する。
【００２６】
［ステップＳ１５］  ゲインマップ生成部１４は、縮小画像に対して補間拡大を施して、ＲＡＷ画像より小さな縦横画素数の中間画像を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が２のべき乗倍の場合には、補間処理の簡素化のために、縦や横に２倍の補間拡大を所定回数繰り返すことが好ましい。
【００２７】
［ステップＳ１６］  第１実施形態のステップＳ５と同じ処理。
【００２８】
［ステップＳ１７］  ゲインマップ生成部１４は、ステップＳ１６で選択したゲインカーブを照会して、中間画像の画素値Ｖ[io,jo]に対応するゲインGain(V[io,jo])を画素[io,jo]ごとに決定する。この処理により、中間画像と同じ縦横画素数の中間ゲインマップが生成される。
なお、ゲインマップ生成部１４は、中間ゲインマップ上での急激なゲイン変化を抑制するために、中間ゲインマップに対してスムージング処理を施してもよい。
【００２９】
［ステップＳ１８］  ゲインマップ生成部１４は、中間ゲインマップに補間拡大を施して、ＲＡＷ画像と同じ縦横画素数のゲインマップＧＬ[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が２のべき乗倍の場合には、補間処理の簡素化のために、縦や横に２倍の補間拡大を所定回数繰り返すことが好ましい。
なお、ゲインマップ生成部１４は、補間後のゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【００３０】
［ステップＳ１９］  第１実施形態のステップＳ８と同じ処理。
【００３１】
［第３実施形態］
第３実施形態の階調変換装置および電子カメラは、第１実施形態（図１，図２）と同一構成であるため、ここでの説明を省略する。
図９は、第３実施形態の動作を説明する流れ図である。以下、図９に示すステップ番号にそって、第３実施形態の動作説明を行う。
【００３２】
［ステップＳ３１〜Ｓ３４］  第１実施形態のステップＳ１〜Ｓ４と同じ処理。
【００３３】
［ステップＳ３５］  ゲインマップ生成部１４は、縮小画像Ｖ[io,jo]に対して補間拡大を施して、ＲＡＷ画像と同じ縦横画素数の補間画像Ｖ[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が２のべき乗倍の場合には、補間処理の簡素化のために、縦や横に２倍の補間拡大を所定回数繰り返すことが好ましい。
なお、ゲインマップ生成部１４は、補間画像上での急激な画素変化を抑制するために、補間画像に対してスムージング処理を施してもよい。
【００３４】
［ステップＳ３６］  第１実施形態のステップＳ５と同じ処理。
【００３５】
［ステップＳ３７］  ゲインマップ生成部１４は、ステップＳ３６で選択したゲインカーブを照会して、補間画像の画素値Ｖ[i,j]に対応するゲインＧＬ[i,j]＝Gain(V[i,j])を画素[i,j]ごとに決定する。この処理により、ＲＡＷ画像と同じ縦横画素数のゲインマップＧＬ[i,j]が生成される。
なお、ゲインマップ生成部１４は、ゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【００３６】
［ステップＳ３８］  第１実施形態のステップＳ８と同じ処理。
【００３７】
［第４実施形態］
第４実施形態の階調変換装置および電子カメラは、第１実施形態（図１，図２）と同一構成であるため、ここでの説明を省略する。
上述した第１〜第３実施形態では、階調圧縮率をユーザー設定やデフォルトで決定し、その階調圧縮率に応じてゲインカーブを選択する。第４実施形態の特徴は、この階調圧縮率またはゲインカーブを、ＲＡＷ画像の解析結果に応じて適応的に決定する点である。
例えば、ゲインマップ生成部１４は、ＲＡＷ画像の全画面または部分領域（周辺１割程度を除いた領域など）について平均の明るさを求める。ゲインマップ生成部１４は、この平均の明るさの値を、事前設定された選択ルールに照会することで、階調圧縮率またはゲインカーブを選択する。
このような選択ルールの事前設定の方法としては、例えば下記手順が好ましい。
【００３８】
（１）予め多数のシーンを実写し、実写されたＲＡＷ画像ごとに最適なゲインカーブ（または階調圧縮率）を、画質の主観評価で決定する。
（２）次にＲＡＷ画像ごとに、上記の平均の明るさを求める。
（３）平均の明るさと、最適なゲインカーブ（または階調圧縮率）とについて回帰分析などの統計処理を実施して、両者の相関関係を求める。
（４）求めた相関関係に基づいて、選択ルールを定める。
（５）定めた選択ルールをゲインマップ生成部１４にデータ格納する。
【００３９】
なお、階調圧縮率またはゲインカーブの選択ステップ以外の動作については、第１〜第３実施形態と同様であるため、ここでの説明を省略する。
【００４０】
［第５実施形態］
第５実施形態の階調変換装置および電子カメラは、第１実施形態（図１，図２）と同一構成であるため、ここでの説明を省略する。
第５実施形態の特徴は、電子カメラ側または画像入力部１２において、ＲＡＷ画像にホワイトバランス調整を予め実施しておく点である。
このホワイトバランス調整の事前実施により、色の偏りの少ないＲＡＷ画像から、１成分Ｖの代表値画像（例えば縮小画像）を生成できる。そのため、この代表値画像の代表値Ｖは、色の偏りの影響が少なく、ＲＡＷ画像のローカル情報を適切に反映したものとなる。このような良質の代表値画像に基づいてゲインマップを生成することにより、より適切なゲインマップを生成することが可能になる。
なお、ホワイトバランス調整済みのＲＡＷ画像を階調変換することにより、階調変換後の色飽和などを低減することも可能になる。
なお、ＲＡＷ画像に事前にホワイトバランス調整を実施する以外の動作については、第１〜第４実施形態と同様であるため、ここでの説明を省略する。
【００４１】
［第６実施形態］
第６実施形態の階調変換装置および電子カメラは、第１実施形態（図１，図２）と同一構成であるため、ここでの説明を省略する。
第６実施形態の特徴は、電子カメラ側または画像入力部１２において、ＲＡＷ画像の信号成分を予め規格化しておく点である。
まず、図１０に示すように、ＲＡＷ画像の最大値または白色点（例えば、最大値側からヒストグラムを累積し、全画素数の所定割合、具体例としては０．１％となる点）をＶｗとする。このＶｗを所定値（所定の最大レベル、例えばＶmaxや１など）とするように規格化カーブを定める。
さらに、図１０に示すように、ＲＡＷ画像の最小値または黒色点（例えば、最小値側からヒストグラムを累積し、全画素数の所定割合、具体例としては０．１％となる点）をＶｄとする。このＶｄを所定値（０など）とするように規格化カーブを定めてもよい。
このように定めた規格化カーブを用いて、ＲＡＷ画像の規格化が実施される。この規格化の事前実施により、階調の偏りの少ないＲＡＷ画像から、１成分の代表値画像（例えば縮小画像）を生成できる。そのため、この代表値画像の代表値Ｖは、階調の偏りの影響が少なく、ＲＡＷ画像のローカル情報を適切に反映したものとなる。このような良質の代表値画像に基づいてゲインマップを生成することで、より適切なゲインマップを生成することが可能になる。
さらに、規格化済みのＲＡＷ画像に階調変換を実施することにより、階調変換後の白飛びなどを低減することも可能になる。
なお、ＲＡＷ画像に事前に規格化を実施する以外の動作については、第１〜第５実施形態と同様であるため、ここでの説明を省略する。
【００４２】
《実施形態の補足事項》
なお、上述した実施形態では、ＲＧＢベイヤ配列のＲＡＷ画像を処理するケースについて説明した。しかしながら、ＲＡＷ画像の画素配列はＲＧＢベイヤ配列に限定されるものではない。一般的なＲＡＷ画像としては、３色以上の色成分を適度な画素密度でそれぞれ配列した画像であればよい。
【００４３】
また、上述した実施形態では、正方状または矩形状の画素ブロックを設定して縮小画像を求めている。さらに、隣接する画素ブロックが重複しないように画素ブロックを区分している。しかしながら、実施形態はこれに限定されるものではない。例えば、ＲＡＷ画像を円状や楕円状などの任意形状の部分領域に分け、これら部分領域ごとに代表値を決定することで縮小画像を生成してもよい。また例えば、隣接する部分領域（画素ブロックも含む）が一部重複するように、部分領域を設定してもよい。このように部分領域を一部重複させて設定することで、スムージング処理と同等の効果を得ることも可能になる。
【００４４】
なお、上述した実施形態では、ゲインマップの縦横画素数を、ＲＡＷ画像の縦横画素数と必ず等しくしている。しかしながら、実施形態はこれに限定されるものではない。例えば、ゲインマップの縦や横の画素数を、ＲＡＷ画像の縦や横の画素数よりも少なくしてもよい。この場合、ゲインマップの１画素分のゲインを、ＲＡＷ画像側の対応する複数画素に乗じることで階調変換を行えばよい。ＲＡＷ画像の縦横画素数がある程度大きければ、このような処理を行っても画質上の弊害は少ない。
【００４５】
また、上述した実施形態では、ＲＡＷ画像にゲインマップのゲインを具体的に乗じることで階調変換を実施している。しかしながら、実施形態はこれに限定されるものではない。例えば、ＲＡＷ画像のファイル内の画像処理情報として、ゲインマップ（ゲインマップに変換可能なデータも含む）を付随記録してもよい。この場合、ＲＡＷ画像のオリジナルデータを変更することなく、ＲＡＷ画像を階調変換することが可能になる。
【産業上の利用可能性】
【００４６】
以上説明したように、本発明は、階調変換装置などに利用可能な技術である。
【図面の簡単な説明】
【００４７】
【図１】階調変換装置１１の構成を示す図である。
【図２】階調変換装置１１を搭載する電子カメラ２１を示す図である。
【図３】第１実施形態の動作を説明する流れ図である。
【図４】ＲＧＢベイヤ配列を示す図である。
【図５】ゲインカーブの一例を示す図である。
【図６】ゲインカーブの一例を示す図である。
【図７】補間拡大を説明する図である。
【図８】第２実施形態の動作を説明する流れ図である。
【図９】第３実施形態の動作を説明する流れ図である。
【図１０】ＲＡＷ画像の規格化を説明する図である。
【符号の説明】
【００４８】
１１…階調変換装置，１２…画像入力部，１３…代表値処理部，１４…ゲインマップ生成部，１５…階調変換部，２１…電子カメラ，２２…撮影レンズ，２３…撮像素子                                                                                
【図１】
2007180851.tif 000003
【図２】
2007180851.tif 000004
【図３】
2007180851.tif 000005
【図４】
2007180851.tif 000006
【図５】
2007180851.tif 000007
【図６】
2007180851.tif 000008
【図７】
2007180851.tif 000009
【図８】
2007180851.tif 000010
【図９】
2007180851.tif 000011
【図１０】
2007180851.tif 000012