(57)【要約】【課題】画面内感度差の補正に伴う画質の劣化を抑制する。【解決手段】本発明の一態様によれば、画像処理装置は、リニア／ノンリニア変換回路と、ノンリニアデジタルゲイン回路とを含む。リニア／ノンリニア変換回路は、第１のリニアＲＡＷ信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第１のリニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成する。ノンリニアデジタルゲイン回路は、第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号に×０倍よりも大きなデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得る。デジタルゲインは、第２のノンリニアＲＡＷ信号に対応する画素の色および画面内位置の少なくとも一方に依存して画素毎に個別に決定される【選択図】      図３
2019004403.tif 000002
【特許請求の範囲】
【請求項１】
第１のリニアＲＡＷ信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第１のリニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成するリニア／ノンリニア変換回路と、
前記第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号に×０倍よりも大きなデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得るノンリニアデジタルゲイン回路と
を具備し、
前記デジタルゲインは、前記第２のノンリニアＲＡＷ信号に対応する画素の色および画面内位置の少なくとも一方に依存して画素毎に個別に決定される、
画像処理装置。
【請求項２】
前記デジタルゲインは、前記第２のノンリニアＲＡＷ信号のプリセットホワイトバランスのためのプリセットホワイトバランスゲインと同一、または当該プリセットホワイトバランスゲインと他のゲインとの積であり、
前記プリセットホワイトバランスゲインは、前記第２のノンリニアＲＡＷ信号に対応する画素の色に応じて選択される、
請求項１に記載の画像処理装置。
【請求項３】
前記デジタルゲインは、前記第２のノンリニアＲＡＷ信号のレンズシェーディング補正のためのレンズシェーディング補正ゲインと同一、または当該レンズシェーディング補正ゲインと他のゲインとの積であり、
前記レンズシェーディング補正ゲインは、少なくとも前記第２のノンリニアＲＡＷ信号に対応する画素の色に基づいて選択されたゲインと、前記第２のノンリニアＲＡＷ信号に対応する画素の画面中央からの距離とに基づいて算出される、
請求項１に記載の画像処理装置。
【請求項４】
前記デジタルゲインは、画素の画面内位置に依存する輝度ムラを補正するための輝度ムラ補正ゲインと同一、または当該輝度ムラ補正ゲインと他のゲインとの積であり、
前記輝度ムラ補正ゲインは、少なくとも前記第２のノンリニアＲＡＷ信号に対応する画素の画面内位置に基づいて決定される、
請求項１に記載の画像処理装置。
【請求項５】
前記第３のノンリニアＲＡＷ信号に対して前記リニア／ノンリニア変換の逆変換に相当するノンリニア／リニア変換を適用し、第２のリニアＲＡＷ信号を生成するノンリニア／リニア変換回路をさらに具備し、
前記リニア／ノンリニア変換は、γ補正係数が０．５に設定されたγ補正であり、
前記ノンリニア／リニア変換回路は、前記第３のノンリニアＲＡＷ信号を二乗して前記第２のリニアＲＡＷ信号を生成する、
請求項１に記載の画像処理装置。
【請求項６】
前記第１のノンリニアＲＡＷ信号に対してキズ補正処理およびノイズ低減処理の少なくとも一方を適用し、前記第２のノンリニアＲＡＷ信号を生成する処理回路をさらに具備する、請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）に関する。
【背景技術】
【０００２】
レンズを用いて撮像された画像は、当該レンズの光学的特性に依存して、画面中央部に比べて画面端部が暗くなる。かかる画面内の輝度ムラを低減させるために、レンズシェーディング補正が有効である。レンズシェーディング補正は、画面端部の画素信号にデジタル値（ゲインと呼ぶ）を乗じることで、画面端部の感度低下を補う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８１５９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レンズシェーディング補正は、画素信号にゲインを乗算することで、画面内感度差の補正を実現しながらも、他方ではこの画素信号に含まれる量子化ノイズを増幅して画質劣化を招くことがある（ゲインが×１倍よりも大きい場合）。これは、白い被写体が白く再現するように補正するオートホワイトバランスの前に、色フィルタの光学的特性による色間の信号レベル差、すなわち感度差、を均一に補正する信号処理であるプリセットホワイトバランスの場合も同様である。
【０００５】
本発明は、画面内感度差の補正に伴う画質の劣化を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、画像処理装置は、リニア／ノンリニア変換回路と、ノンリニアデジタルゲイン回路とを含む。リニア／ノンリニア変換回路は、第１のリニアＲＡＷ信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第１のリニアＲＡＷ信号よりもビット数の多い第１のノンリニアＲＡＷ信号を生成する。ノンリニアデジタルゲイン回路は、第１のノンリニアＲＡＷ信号に基づく第２のノンリニアＲＡＷ信号に×０倍よりも大きなデジタルゲインを乗算し、第３のノンリニアＲＡＷ信号を得る。デジタルゲインは、第２のノンリニアＲＡＷ信号に対応する画素の色および画面内位置の少なくとも一方に依存して画素毎に個別に決定される
【発明の効果】
【０００７】
本発明によれば、画面内感度差の補正に伴う画質の劣化を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置を含む撮像装置を例示するブロック図。
【図２】図１のカメラモジュールを例示するブロック図。
【図３】図１のＩＳＰ前処理部を例示するブロック図。
【図４】図１のＩＳＰ前処理部におけるリニアＲＡＷ信号およびノンリニアＲＡＷ信号の画素配列を例示する図。
【図５】無彩色の被写体を撮影した場合に、図２の受光画素から出力される信号のレベルを例示するグラフ。
【図６】レンズシェーディングの説明図。
【図７】図３のプリγ補正回路によって行われるγ補正を例示するグラフ。
【図８】図３のノンリニアデジタルゲイン回路を例示するブロック図。
【図９】図８のゲイン決定回路を例示するブロック図。
【図１０】レンズシェーディング補正ゲイン決定回路を例示するブロック図。
【図１１】図１０の距離算出回路によって算出される距離の説明図。
【図１２】図３の逆γ補正回路の変形例を示す図。
【図１３】感度設定の倍率と当該倍率に対応するリニアデジタルゲインおよびノンリニアデジタルゲインとを例示するテーブル。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。
【００１０】
（第１の実施形態）  
第１の実施形態に係る画像処理装置は、図１に例示される撮像装置に組み込まれる。この撮像装置は、カメラモジュール１０と、ＩＳＰコア２０とを含む。ＩＳＰコア２０は、さらに、ＩＳＰ前処理部２１およびＩＳＰ後処理部２２へと分割されている。本実施形態に係る画像処理装置は、ＩＳＰコア２０、またはより細分化されたＩＳＰ前処理部２１若しくはＩＳＰ後処理部２２を意味し得る。
【００１１】
なお、図１の機能分割は例示に過ぎない。例えば、ＩＳＰ前処理部２１は、カメラモジュール１０に組み込まれていてもよい。さらに、ＩＳＰ後処理部２２は、画像処理チップまたは画像認識チップなどのＩＳＰ前処理部２１とは異なるチップに組み込まれていてもよい。
【００１２】
カメラモジュール１０は、撮像を行ってリニアＲＡＷ信号を生成し、ＩＳＰ前処理部２１へと出力する。カメラモジュール１０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子である。
【００１３】
ＩＳＰ前処理部２１は、リニアＲＡＷ信号に対して後述されるγ補正を適用してノンリニアＲＡＷ信号を生成し、このノンリニアＲＡＷ信号に対してデジタルゲインを乗算することで、レンズシェーディング補正、プリセットＷＢなどの、画面内感度差の補正を行う。ＩＳＰ前処理部２１は、補正済みのノンリニアＲＡＷ信号に対して上記γ補正の逆変換に相当する逆γ補正を施し、再びリニアＲＡＷ信号を得る。或いは、ＩＳＰ前処理部２１は、補正済みのノンリニアＲＡＷ信号に対してＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）圧縮またはクリップを施してもよい。ＩＳＰ前処理部２１は、このようにして得られたリニアまたはノンリニアＲＡＷ信号をＩＳＰ後処理部２２へと出力する。
【００１４】
ＩＳＰ後処理部２２は、ＩＳＰ前処理部２１からのリニアまたはノンリニアＲＡＷ信号を受け取り、輪郭の抽出・補正、ブライトネス／コントラスト調整、色補正などの種々の画像処理を行うが、その詳細な説明は省略する。ＩＳＰ後処理部２２は、出力信号を図示されない後段の装置（例えば、表示装置、通信装置、記録装置など）へ供給する。
【００１５】
図１のカメラモジュール１０およびＩＳＰ前処理部２１がそれぞれ図２および図３に例示される。
【００１６】
図２のカメラモジュール１０は、光学レンズ１０１と、色フィルタ１０２と、受光画素１０３と、ＡＤＣ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）１０４とを含む。
【００１７】
光学レンズ１０１は、外界からの入射光を、色フィルタ１０２を介して受光画素１０３に集光する。受光画素１０３は、光学レンズ１０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと（光電）変換する。受光画素１０３は、電子シャッタ機能を備えており、設定されたシャッタ速度によって決まる期間（露光時間）に亘って電荷を蓄積する。受光画素１０３は、生成した電気信号をＡＤＣ１０４へと出力する。
【００１８】
ＡＤＣ１０４は、受光画素１０３から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのリニアＲＡＷ信号を生成する。ＡＤＣ１０４は、リニアＲＡＷ信号をＩＳＰ前処理部２１へと出力する。
【００１９】
リニアＲＡＷ信号の値は、対応する受光画素１０３における入射光の光量に依存する。また、リニアＲＡＷ信号の画素配列は、色フィルタ１０２の色配列に依存して定められる。リニアＲＡＷ信号は、例えば図４に示されるような原色ベイヤー配列（Ｒ−Ｇｒ−Ｇｂ−Ｂ）のＲＧ／ＧＢライン順次信号となる。色フィルタ１０２は、例えば、白（ＷｈまたはＹ）、黄（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）などの赤（Ｒ）、緑（Ｇ）および青（Ｂ）以外の色を含んだ色配列、例えば補色系の配列、を持つこともできる。ＲＡＷ信号の画素配列は、後述されるＩＳＰ前処理部２１によって行われる一連の画像処理（ＩＳＰ前処理）の過程では不変である。
【００２０】
図３のＩＳＰ前処理部２１は、リニアデジタルゲイン回路２０１と、プリγ補正回路２０２と、キズ補正／ノイズ低減処理回路２０３と、ノンリニアデジタルゲイン回路２０４と、逆γ補正回路２０５とを含む。
【００２１】
リニアデジタルゲイン回路２０１は、カメラモジュール１０からリニアＲＡＷ信号を受け取る。リニアデジタルゲイン回路２０１は、リニアＲＡＷ信号にリニアデジタルゲインを乗算する。リニアデジタルゲイン回路２０１は、ゲイン補正済みのリニアＲＡＷ信号をプリγ補正回路２０２へと出力する。このリニアデジタルゲインは、基本的に、図１の撮像装置全体の撮像感度設定に依存して定められる。
【００２２】
プリγ補正回路２０２（リニア／ノンリニア変換回路）は、リニアデジタルゲイン回路２０１からゲイン補正済みのリニアＲＡＷ信号（第１のリニアＲＡＷ信号）を受け取る。このリニアＲＡＷ信号のビット数は、例えば１２ビットである。プリγ補正回路２０２は、このリニアＲＡＷ信号にγ補正を適用することによって、当該リニアＲＡＷ信号よりもビット数の多いノンリニアＲＡＷ信号（第１のノンリニアＲＡＷ信号）を生成する。このノンリニアＲＡＷ信号のビット数は、例えば１６ビットである。プリγ補正回路２０２は、ノンリニアＲＡＷ信号をキズ補正／ノイズ低減処理回路２０３へと出力する。
【００２３】
具体的には、プリγ補正回路２０２は、例えば下記数式（１）に示される入出力１：１（すなわち、相異なる入力に対応する出力同士に重複がない）の多ビット化γ補正をリニアＲＡＷ信号に適用することができる。
【００２４】
数式（１）は、γ補正における理想特性を示し、この場合は計算上で求められる理想的なリニア／ノンリニア変換になる（小数点以下は四捨五入）。
【００２５】
【数１】
2019004403.tif 000003
【００２６】
数式（１）において、ＯＵＴ（ｘ）はＡＤＣ１０４の入力信号レベルがｘ［％］の場合のノンリニアＲＡＷ信号の値を表し、ＩＮ（ｘ）は入力信号レベルがｘ［％］の場合のリニアＲＡＷ信号の値を表す。ＩＮ（０）およびＩＮ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のリニアＲＡＷ信号の設定値を表す。
【００２７】
γは、例えばＩＳＰ後処理部２２の後段に設けられる図示されない表示装置の入出力特性に応じて定められるγ補正係数である。しかしながら、プリγ補正回路２０２と逆γ補正回路２０５とにおいては、γ補正係数を、理想係数＝０．４５に固定しても構わないし、または当該理想係数の近似値である０．５に固定しても構わない。γ補正係数は、１未満の任意の正値であり得るが、好ましくは理想係数である０．４５以上に設定される。例えばγ＝０．４５の場合には、入出力１：１を守ると、出力ビット数は入力ビット数よりも２ビット以上多くなる。プリγ補正回路２０２においてγ補正係数を０．５に固定することにより逆γ補正回路２０５を簡略化することが可能となるが、その詳細については後述する。
【００２８】
ＯＵＴ（０）およびＯＵＴ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のノンリニアＲＡＷ信号の設定値を表す。ＯＵＴ（１００）−ＯＵＴ（０）を大きくすれば、ノンリニアＲＡＷ信号のビット数を任意に増加させることができる。ただし、γ補正は入出力１：１のリニア／ノンリニア変換であるから、ノンリニアＲＡＷ信号のビット数がリニアＲＡＷ信号に比べてどれだけ増加しようとも、ノンリニアＲＡＷ信号自体の階調数はリニアＲＡＷ信号の階調数よりも下回ることはないし超えることもない。
【００２９】
ＩＮ（０）＝２５６、ＩＮ（１００）＝２８１６、γ＝０．４５、ＯＵＴ（０）＝１５３６０、ＯＵＴ（１００）＝５６３２０の場合に、プリγ補正回路２０２は図７に例示されるγ補正を１２ビットのリニアＲＡＷ信号に適用して１６ビットのノンリニアＲＡＷ信号を生成する。
【００３０】
図７のγ補正によれば、リニアＲＡＷ信号には信号レベル毎に個別のゲインが与えられる。そして、ノンリニアＲＡＷ信号は、低輝度（低濃度）側では非線形に変化するが、高輝度（高濃度）側では略線形に変化する。故に、ノンリニアＲＡＷ信号は、低輝度側では、階調の刻み幅が大きく、かつ、変化しやすい。また、輝度が高くなるにつれて階調の刻み幅が単調減少するので、ノンリニアＲＡＷ信号は、高輝度側では、階調の刻み幅が小さく、かつ、階調の刻み幅は殆ど変化しない。ただし、入出力１：１なので、階調の刻み幅が０となることはない。
【００３１】
なお、γ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。前記の通り、γ補正の入出力特性は、固定であってもよい。この場合に、プリγ補正回路２０２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に保存された固定のルックアップテーブルを参照することでγ補正を行ってもよいし、ＨＷＬ（Ｈａｒｄ  Ｗｉｒｅｄ  Ｌｏｇｉｃ）を用いてγ補正を行ってもよい。このようにγ補正の入出力特性を固定することで、プリγ補正回路２０２の回路規模を抑制することができる。γ補正の入出力特性は、例えば表計算ソフトウェアを用いて簡易に計算することができる。また、γ補正は、他の入出力１：１の多ビット化リニア／ノンリニア変換に置き換えることもできる。
【００３２】
キズ補正／ノイズ低減処理回路２０３は、プリγ補正回路２０２からノンリニアＲＡＷ信号を受け取る。キズ補正／ノイズ低減処理回路２０３は、ノンリニアＲＡＷ信号に対してキズ補正処理およびノイズ低減処理の少なくとも一方を適用する。キズ補正／ノイズ低減処理回路２０３は、処理済みのノンリニアＲＡＷ信号をノンリニアデジタルゲイン回路２０４へと出力する。
【００３３】
具体的には、キズ補正／ノイズ低減処理回路２０３は、ノンリニアＲＡＷ信号を５ライン同時化し、５×５画素領域（＝同色３×３画素領域）を抽出する。５ライン同時化処理は、例えば４Ｈラインメモリを用いて実装することができる。抽出された５×５画素領域の中央を占める画素が、キズ補正／ノイズ低減処理回路２０３による処理の対象（対象画素）とされる。対象画素は、受光画素１０３の有効画素領域の走査順に従って順次選択される。すなわち、あらゆる画素を対象画素として選択することができる。
【００３４】
キズ補正／ノイズ低減処理回路２０３は、対象画素と同色の８個の画素からなる周囲画素群に属する複数の画素（に対応するノンリニアＲＡＷ信号）の値の重み付け和を計算する。この重み付け和は、キズ補正処理およびノイズ低減処理の両方に使用することができる。キズ補正／ノイズ低減処理回路２０３は、キズ補正処理およびノイズ低減処理の便宜上、対象画素（に対応するノンリニアＲＡＷ信号）の値を重みの総和倍（Ｒｃとする）にする。
【００３５】
なお、キズ補正／ノイズ低減処理回路２０３は、周囲画素群に属する全画素を用いて重み付け和を計算する必要はない。寧ろ、周囲画素群にキズ（白キズまたは黒キズ）に相当すると推定される画素が含まれている場合には、係る画素を除外することが好ましい。
【００３６】
キズ補正／ノイズ低減処理回路２０３は、例えば、対象画素の値（Ｒｃ）と周囲画素群に属する複数の画素（に対応するノンリニアＲＡＷ信号）の値とに基づいて当該対象画素に対してキズ検出を行う。キズ補正／ノイズ低減処理回路２０３は、対象画素をキズとして検出したならば、当該対象画素の値（Ｒｃ）を少なくとも重み付け和（Ｒａ）に基づいて補正する。
【００３７】
或いは、キズ補正／ノイズ低減処理回路２０３は、例えば、重み付け和（Ｒａ）と対象画素の値（Ｒｃ）との差分をノイズ基本成分として算出する。そして、キズ補正／ノイズ低減処理回路２０３は、このノイズ基本成分にノイズ低減の強度を定める係数を乗算し、これらの積を対象画素の値（Ｒｃ）から減算（または、積を対象画素の値（Ｒｃ）に加算）することでノイズ低減を行う。なお、キズ補正／ノイズ低減処理回路２０３は、ここで説明された技法とは異なる技法を用いてノイズを低減してもよい。
【００３８】
一般的にはキズ補正／ノイズ低減処理はリニアＲＡＷ信号を対象とするが、図３のキズ補正／ノイズ低減処理回路２０３はノンリニアＲＡＷ信号を対象としている。例えばγ＝０．４５のγ補正によって得られるノンリニアＲＡＷ信号は、高輝度に比べて低輝度に敏感な人間の視覚特性に適合している。このため、キズ補正／ノイズ低減処理回路２０３は、ノンリニアＲＡＷ信号を用いた演算により、キズ検出・補正およびノイズ低減を高精度に実現することができる。故に、カメラモジュール１０の歩留まりの向上およびＳＮＲの改善が期待できる。この改善効果を３ビット相当と仮定すれば、処理済みのノンリニアＲＡＷ信号のビット数は１９となる。
【００３９】
ノンリニアデジタルゲイン回路２０４は、キズ補正／ノイズ低減処理回路２０３からノンリニアＲＡＷ信号（第２のノンリニアＲＡＷ信号）を受け取る。このノンリニアＲＡＷ信号のビット数は、例えば１９ビットである。ノンリニアデジタルゲイン回路２０４は、ノンリニアＲＡＷ信号に対して×０倍よりも大きなノンリニアデジタルゲインを乗算する。ノンリニアデジタルゲイン回路２０４は、ゲイン補正済みのノンリニアＲＡＷ信号（第３のノンリニアＲＡＷ信号）を逆γ補正回路２０５へと出力する。このノンリニアＲＡＷ信号のビット数は、例えば２３ビットである。
【００４０】
このノンリニアデジタルゲインは、図１の撮像装置全体の撮像感度（およびノンリニアＲＡＷ信号のダイナミックレンジ）を補正するための撮像感度調整ゲインと、プリセットホワイトバランスのためのプリセットホワイトバランスゲイン（以降、プリセットＷＢゲインとも称する）と、レンズシェーディング補正のためのレンズシェーディング補正ゲインとの積である。
【００４１】
所与の感度を達成するノンリニアデジタルゲイン（ＮＬＤＧ）は、以下の数式（２）によって、同一の感度を達成するリニアデジタルゲイン（ＬＤＧ）に結び付けることができる。
【００４２】
【数２】
2019004403.tif 000004
【００４３】
数式（２）では、ＬＤＧの冪指数を０．５に設定しているが、この冪指数はプリγ補正回路２０２によって用いられるγ補正係数（γ）の値に等しい。
【００４４】
図１３には、γ＝０．５の場合における感度設定の倍率と、当該倍率に対応するリニアデジタルゲインおよびノンリニアデジタルゲインと、ノンリニアデジタルゲイン乗算後のノンリニアＲＡＷ信号のビット数が示されている。リニアデジタルゲインおよびノンリニアデジタルゲインのいずれも、感度設定を×１倍以上とした場合には、階調間隔を拡大して感度を引き上げる効果がある。例えば、リニアデジタルゲイン（ＬＤＧ）を４倍にすれば、感度も４倍となる。他方、感度を４倍にするために必要なノンリニアデジタルゲインは２倍に過ぎない。これは、上記数式（２）より明らかで、４０．５＝２となる。
【００４５】
数式（２）および図１３に例示されるように、ノンリニアデジタルゲインは、リニアデジタルゲインに比べて低い倍率で感度を同等に向上させることができる。すなわち、リニアデジタルゲインは、より小さなノンリニアデジタルゲインによって置換することができる。故に、リニアデジタルゲインよりも優先してノンリニアデジタルゲインを増加させることで、ＳＮＲの劣化を抑制しながら感度を向上させることができる。
【００４６】
数式（２）および図１３を用いて説明したノンリニアデジタルゲインを用いることによる効果は、図１の撮像装置全体の撮像感度を調整するための撮像感度調整ゲインに限られず、プリセットホワイトバランスのためのプリセットＷＢゲイン、レンズシェーディング補正のためのレンズシェーディング補正ゲインなど、画面内感度差の補正のためのゲインにも当てはまる。すなわち、従来、リニアＲＡＷ信号に対して行われていたホワイトバランス、レンズシェーディング補正などの画面内感度差の補正を、リニアデジタルゲインに比べて小さなノンリニアデジタルゲインを用いて実現することができる。これにより、ホワイトバランスおよびレンズシェーディング補正に伴うＳＮＲの劣化が抑制される。
【００４７】
例えば、×１倍〜×４倍のプリセットＷＢゲインと、×１倍〜×１６倍のレンズシェーディング補正ゲインとを用いて、リニアＲＡＷ信号に対してプリセットホワイトバランスおよびレンズシェーディング補正を行うと仮定する。これを実現するためには、最大で×６４倍（６ビット相当）のリニアデジタルゲインを乗算する必要がある。他方、ノンリニアＲＡＷ信号に対して同等のプリセットホワイトバランスおよびレンズシェーディング補正を行えば、最大でも×８倍（３ビット相当）のノンリニアデジタルゲインを乗算すればよい（γ補正係数＝０．５の場合）。
【００４８】
さらに、上記プリセットホワイトバランスおよびレンズシェーディング補正に加えて、図１の撮像装置全体の撮像感度を調整するための撮像感度調整ゲインを×１倍〜×１２８倍とし、図２のＡＤＣ１０４の入力飽和レベル設定を×１倍〜×２倍として、リニアＲＡＷ信号に対して画面内の感度を一律に制御するためのゲインも乗算すると仮定する。これを実現するためには、最大で×１６３８４（１４ビット相当）のリニアデジタルゲインを乗算する必要がある。他方、ノンリニアＲＡＷ信号に対して、同等の感度補正を行えば、最大でも×１２８倍（７ビット相当）のノンリニアデジタルゲインを乗算すればよい（γ補正係数＝０．５の場合）。
【００４９】
以下、図８を用いて、ノンリニアデジタルゲイン回路２０４を詳細に説明する。ノンリニアデジタルゲイン回路２０４は、黒レベル減算回路３０１と、ゲイン乗算回路３０２と、ゲイン決定回路３０３と、黒レベル加算回路３０４とを含む。
【００５０】
黒レベル減算回路３０１は、ノンリニアデジタルゲイン回路２０４の入力ノンリニアＲＡＷ信号、すなわちキズ補正／ノイズ低減処理回路２０３からのノンリニアＲＡＷ信号を受け取る。黒レベル減算回路３０１は、このノンリニアＲＡＷ信号から黒レベルに相当する信号値を減算する。具体的には、前述のＯＵＴ（０）が黒レベルに相当する信号値である。黒レベル減算回路３０１は、減算結果となるノンリニアＲＡＷ信号をゲイン乗算回路３０２へ送る。
【００５１】
ゲイン乗算回路３０２は、黒レベル減算回路３０１からノンリニアＲＡＷ信号を受け取り、ゲイン決定回路３０３からノンリニアデジタルゲインを受け取る。ゲイン乗算回路３０２は、ノンリニアＲＡＷ信号にノンリニアデジタルゲインを乗算し、乗算結果となるノンリニアＲＡＷ信号を黒レベル加算回路３０４へ送る。
【００５２】
ゲイン決定回路３０３は、後述されるように様々なパラメータに応じて、ノンリニアデジタルゲインを決定する。これらのパラメータは、決定されたノンリニアデジタルゲインを乗算される対象のノンリニアＲＡＷ信号に対応する画素の画面内位置および色を含み得る。ゲイン決定回路３０３は、画面内一律ではなく画素毎に個別にノンリニアデジタルゲインを決定する。ゲイン決定回路３０３は、決定したノンリニアデジタルゲインをゲイン乗算回路３０２へ送る。
【００５３】
具体的には、ゲイン決定回路３０３は、図９に例示されるように、プリセットＷＢゲイン決定回路４０１と、レンズシェーディング補正ゲイン決定回路４０２とを含む。なお、ゲイン決定回路３０３は、前述の撮像感度調整ゲインを画面毎に決定するための決定回路を含み得る。また、図９の例では、ゲイン決定回路３０３は、プリセットＷＢゲインおよびレンズシェーディング補正ゲインを個別に出力している（これらはゲイン乗算回路３０２によって乗算される）が、これらの積を出力してもよい。撮像感度調整ゲインを決定する場合も同様である。
【００５４】
プリセットＷＢゲイン決定回路４０１は、色別に予め用意された複数のゲインから、対象のノンリニアＲＡＷ信号に対応する画素の色に対応する１つを選択することで、プリセットＷＢゲインを決定する。
【００５５】
具体的には、これら複数のゲインは、図２の色フィルタ１０２による色間の光量低下の差異を補償するように定められる。色フィルタ１０２の光の透過率は色毎に異なるので、例えば無彩色の被写体を撮影すると、図２の受光画素１０３は図５に例示されるように異なるレベルの信号を出力することになる。図５の例では、Ｒ信号は光量の低下が最も小さく、Ｂ信号は光量の低下が最も大きい。故に、ノンリニアデジタルゲイン回路２０４が受け取るノンリニアＲＡＷ信号には、本来の被写体の色に比べて赤みが強調され青みが抑制されるバイアスがかかっている。
【００５６】
そこで、ある特定の色温度光源下（例えば、４８００〜５２００Ｋの光源下）で無彩色被写体を撮影した場合に、各色のＲＡＷ信号値が等しく揃うように、色別に複数のゲインが予め定められる。具体的には、Ｂ画素は光量の低下が最も大きいので最も大きいゲイン（ＰＷＢ＿Ｂ）が定められ、Ｇ画素は光量の低下が２番目に大きいので２番目に大きいゲイン（ＰＷＢ＿ＧＢ、ＰＷＢ＿ＧＲ）が定められ、Ｒ画素は光量の低下が最も小さいので最も小さいゲイン（ＰＷＢ＿Ｒ）が定められる。Ｇｂ画素およびＧｒ画素のゲインはＧ画素のゲイン（ＰＷＢ＿Ｇ）としてまとめて定義されてもよいし、個別に定義されてもよい（ＰＷＢ＿ＧＢ、ＰＷＢ＿ＧＲ）。
【００５７】
なお、これら色別のゲインは、固定であってもよいが、可変であってもよい。例えば、図示されない自動ゲイン調整（ＡＧＣ：Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路は画面全体の出力信号レベルを一定に保つように自動的にゲインを補正するが、当該ＡＧＣ回路のパラメータを用いてこれら色別のゲインを変化させてもよい。すなわち、これら色別のゲインを、ＡＧＣ回路によるゲイン補正に連動して変化させてもよい。
【００５８】
図４に例示されるように、ノンリニアＲＡＷ信号は、奇数ラインではＧｒ画素およびＲ画素の繰り返しで構成され、偶数ラインではＢ画素およびＧｂ画素の繰り返しで構成される。
【００５９】
そこで、プリセットＷＢゲイン決定回路４０１は、例えば、対象のノンリニアＲＡＷ信号に対応する画素の垂直位置および水平位置をそれぞれ表す垂直カウンタ値（ｖｃｎｔ）および水平カウンタ値（ｈｃｎｔ）の最下位ビット（ｖｃｎｔ［０］およびｈｃｎｔ［０］）を入力する。プリセットＷＢゲイン決定回路４０１は、ｖｃｎｔ［０］の値から、ノンリニアＲＡＷ信号が奇数ライン上の画素（Ｇｒ画素またはＲ画素）に対応するのか、偶数ライン上の画素（Ｂ画素またはＧｂ画素）に対応するのかを判定する。さらに、プリセットＷＢゲイン決定回路４０１は、ｈｃｎｔ［０］の値から、ノンリニアＲＡＷ信号がライン上の奇数番目の画素（Ｇｒ画素またはＢ画素）に対応するのか、偶数番目の画素（Ｒ画素またはＧｂ画素）に対応するのかを判定する。
【００６０】
これら判定結果を総合すれば、プリセットＷＢゲイン決定回路４０１は、ノンリニアＲＡＷ信号に対応する画素の色を特定できる。プリセットＷＢゲイン決定回路４０１は、特定した画素の色に対応するゲインを選択することで、プリセットＷＢゲインを決定する。
【００６１】
レンズシェーディング補正ゲイン決定回路４０２は、色別に予め用意された複数のゲインから、対象のノンリニアＲＡＷ信号に対応する画素の色に対応する１つを基本ゲインとして選択し、さらに当該画素の画面中央からの距離を算出し、両者に基づいてレンズシェーディング補正ゲインを算出する。
【００６２】
まず、これら複数のゲインは、レンズシェーディングにおける色間の光量低下の差異を補償するように定められる。具体的には、図６に例示されるように、図２の光学レンズ１０１の光学的特性に起因するレンズシェーディングでは、基本的に、画素の画面中央からの距離が大きくなるほど光量は低下する。加えて、レンズシェーディングでは色毎に光量の低下にばらつきが生じ、このばらつきは特に画面端付近で大きい。図６の例では、Ｂ信号は光量の低下が最も小さく、Ｒ信号は光量の低下が最も大きい。故に、ノンリニアデジタルゲイン回路２０４が受け取るノンリニアＲＡＷ信号には、本来の被写体の色に比べて、対応画素の画面内位置に関わらず、青みが強調され赤みが抑制されるバイアスがかかっている。
【００６３】
そこで、プリセットＷＢの例と同様に、色別に複数のゲインが予め定められる。具体的には、Ｒ画素は光量の低下が最も大きいので最も大きいゲイン（ＬＳＣ＿Ｒ）が定められ、Ｇ画素は光量の低下が２番目に大きいので２番目に大きいゲイン（ＬＳＣ＿ＧＢ、ＬＳＣ＿ＧＲ）が定められ、Ｂ画素は光量の低下が最も小さいので最も小さいゲイン（ＬＳＣ＿Ｂ）が定められる。なお、Ｇｂ画素およびＧｒ画素のゲインはＧ画素のゲイン（ＬＳＣ＿Ｇ）としてまとめて定義されてもよいし、個別に定義されてもよい（ＬＳＣ＿ＧＢ、ＬＳＣ＿ＧＲ）。
【００６４】
プリセットＷＢの例と同様に、レンズシェーディング補正ゲイン決定回路４０２は、垂直カウンタ値（ｖｃｎｔ）および水平カウンタ値（ｈｃｎｔ）の最下位ビット（ｖｃｎｔ［０］およびｈｃｎｔ［０］）に基づいて、ノンリニアＲＡＷ信号に対応する画素の色を特定できる。レンズシェーディング補正ゲイン決定回路４０２は、特定した画素の色に対応するゲインを選択することで、基本ゲイン（ＬＳＣ＿ｇａｉｎ）を得る。
【００６５】
さらに、レンズシェーディング補正ゲイン決定回路４０２は、対象のノンリニアＲＡＷ信号に対応する画素の画面中央からの距離（Ｌ）を算出する。レンズシェーディング補正ゲイン決定回路４０２は、上記基本ゲイン（ＬＳＣ＿ｇａｉｎ）を距離（Ｌ）に応じて増加させることで、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））を算出する。これにより、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））は、画面中央部では小さく、かつ、画面端部では大きくなり、画素の画面内位置に依存する光量低下を補うことができる。
【００６６】
例えば、レンズシェーディング補正ゲイン決定回路４０２は、基本ゲイン（ＬＳＣ＿ｇａｉｎ）に距離（Ｌ）を乗算することで、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））を簡易に算出してもよい。或いは、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））が距離（Ｌ）を引数とする関数として定義され、レンズシェーディング補正ゲイン決定回路４０２は例えばルックアップテーブル、ＨＷＬなどを用いてレンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））を算出してもよい。
【００６７】
具体的には、レンズシェーディング補正ゲイン決定回路４０２は、図１０に例示されるように、ゲイン選択回路５０１と、距離算出回路５０２と、レンズシェーディング補正ゲイン算出回路５０３とを含む。
【００６８】
ゲイン選択回路５０１は、垂直カウンタ値（ｖｃｎｔ）および水平カウンタ値（ｈｃｎｔ）の最下位ビット（ｖｃｎｔ［０］およびｈｃｎｔ［０］）を受け取り、対象のノンリニアＲＡＷ信号に対応する画素の色を特定する。そして、ゲイン選択回路５０１は、色別に予め定められた複数のゲイン（ＬＳＣ＿ＧＢ、ＬＳＣ＿Ｂ、ＬＳＣ＿Ｒ、ＬＳＣ＿ＧＲ）から、対象のノンリニアＲＡＷ信号に対応する画素の色に応じた１つを選択し、基本ゲイン（ＬＳＣ＿ｇａｉｎ）を得る。ゲイン選択回路５０１は、基本ゲイン（ＬＳＣ＿ｇａｉｎ）をレンズシェーディング補正ゲイン算出回路５０３へ送る。
【００６９】
距離算出回路５０２は、垂直カウンタ値（ｖｃｎｔ）および水平カウンタ値（ｈｃｎｔ）を受け取り、対象のノンリニアＲＡＷ信号に対応する画素の画面中央からの距離を算出する。まず、距離算出回路５０２は、垂直カウンタ値（ｖｃｎｔ）および水平カウンタ値（ｈｃｎｔ）を、距離（Ｌ）の垂直成分の絶対値（ｙ）および水平成分の絶対値（ｘ）へと変換する。例えば、距離算出回路５０２は、対象のＲＡＷ信号に対応する画素の垂直カウンタ値（ｖｃｎｔ）および水平カウンタ値（ｈｃｎｔ）から、画面中央を表す垂直座標および水平座標をそれぞれ減算し、絶対値化することでｘおよびｙを算出できる。画面中央を表す垂直座標および水平座標は、例えば、画面の垂直方向の画素数および水平方向の画素数をそれぞれＶＬおよびＨＬとすると、それぞれ（ＶＬ−１）／２および（ＨＬ−１）／２とすることができる。この場合に、以下の数式（３）が成り立つ。
【００７０】
【数３】
2019004403.tif 000005
【００７１】
距離算出回路５０２は、距離（Ｌ）の垂直成分（ｙ）と水平成分（ｘ）とに基づいて、距離（Ｌ）を算出し、レンズシェーディング補正ゲイン算出回路５０３へ送る。通常、距離算出回路５０２は、次のように、距離（Ｌ）の垂直成分（ｙ）と水平成分（ｘ）との二乗和平方根を計算することで、距離（Ｌ）を算出する。
【００７２】
【数４】
2019004403.tif 000006
【００７３】
このような計算によれば、図１１に示すように、同一の距離（Ｌ）を持つ画素が同心円状に分布し、これらの画素の色が同じであれば、対応するノンリニアＲＡＷ信号には同一のレンズシェーディング補正ゲインが適用される。
【００７４】
或いは、距離算出回路５０２は、次のように数式（４）を近似してもよい。
【００７５】
【数５】
2019004403.tif 000007
【００７６】
このような計算によれば、同一の距離（Ｌ）を持つ画素が、画面の水平軸に対して４５度傾いた正方形状に分布し、これらの画素の色が同じであれば、対応するノンリニアＲＡＷ信号には同一のレンズシェーディング補正ゲインが適用される。数式（５）の近似は、ｘおよびｙの積がｘおよびｙの和の二乗に比して小さいほど精度が高い。数式（５）の近似によれば、二乗および平方根の計算が不要となるので、距離算出回路５０２を簡略化することができる。
【００７７】
レンズシェーディング補正ゲイン算出回路５０３は、ゲイン選択回路５０１から基本ゲイン（ＬＳＣ＿ｇａｉｎ）を受け取り、距離算出回路５０２から距離（Ｌ）を受け取る。レンズシェーディング補正ゲイン算出回路５０３は、両者に基づいて、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））を算出する。レンズシェーディング補正ゲイン算出回路５０３は、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））をゲイン乗算回路３０２へ送る。
【００７８】
具体的には、レンズシェーディング補正ゲイン算出回路５０３は、基本ゲイン（ＬＳＣ＿ｇａｉｎ）に距離（Ｌ）を乗算することで、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））を簡易に算出してもよい。これは、図６に例示した周辺光量の低下特性の逆特性を、傾きが基本ゲイン（ＬＳＣ＿ｇａｉｎ）に等しい、距離（Ｌ）の一次関数と推定して、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））を距離（Ｌ）に比例して増加させることを意味する。或いは、かかる逆特性をより高次で近似することで、レンズシェーディング補正ゲイン（ＬＳＣ＿ｇａｉｎ（Ｌ））を、距離（Ｌ）を引数とする関数として定義してもよい。
【００７９】
なお、図１０の例では、レンズシェーディング補正ゲイン決定回路４０２は、対象のノンリニアＲＡＷ信号へ適用するレンズシェーディング補正ゲインを、当該ノンリニアＲＡＷ信号に対応する画素の色と当該画素の画面中央からの距離とに応じて決定する。故に、画面内の同色画素に関して、レンズシェーディング補正ゲインは上下対称かつ左右対称となる。しかしながら、画面を例えば図１１に示されるように４分割した左上領域（ＴＬ）、右上領域（ＴＲ）、左下領域（ＢＬ）および右下領域（ＢＲ）のそれぞれにおいて、レンズシェーディング補正の強弱を個別に設定してもよい。
【００８０】
この場合には、前述の色別のゲインを、領域・色別のゲインに置き換えればよい。すなわち、左上領域（ＴＬ）用の色別のゲイン（ＬＳＣ＿ＴＬ＿ＧＢ、ＬＳＣ＿ＴＬ＿Ｂ、ＬＳＣ＿ＴＬ＿Ｒ、ＬＳＣ＿ＴＬ＿ＧＲ）と、右上領域（ＴＲ）用の色別のゲイン（ＬＳＣ＿ＴＲ＿ＧＢ、ＬＳＣ＿ＴＲ＿Ｂ、ＬＳＣ＿ＴＲ＿Ｒ、ＬＳＣ＿ＴＲ＿ＧＲ）と、左下領域（ＢＬ）用の色別のゲイン（ＬＳＣ＿ＢＬ＿ＧＢ、ＬＳＣ＿ＢＬ＿Ｂ、ＬＳＣ＿ＢＬ＿Ｒ、ＬＳＣ＿ＢＬ＿ＧＲ）と、右下領域（ＢＲ）用の色別のゲイン（ＬＳＣ＿ＢＲ＿ＧＢ、ＬＳＣ＿ＢＲ＿Ｂ、ＬＳＣ＿ＢＲ＿Ｒ、ＬＳＣ＿ＢＲ＿ＧＲ）とを予め定めておけばよい。また、対象のノンリニアＲＡＷ信号に対応する画素がいずれの領域に属するかは、ゲイン選択回路５０１が、例えば垂直カウンタ値（ｖｃｎｔ）および水平カウンタ値（ｈｃｎｔ）を画面中央を表す垂直座標および水平座標と比較することで、特定することができる。
【００８１】
このように、ゲイン決定回路３０３は、プリセットＷＢゲインおよびレンズシェーディング補正ゲインを画素毎に個別に決定する。ゲイン決定回路３０３は、これらのうち一方のみを決定してもよい。すなわち、プリセットホワイトバランスおよびレンズシェーディング補正の一方がノンリニアデジタルゲイン回路２０４によって行われ、他方は例えばリニアデジタルゲイン回路２０１によって行われてもよい。或いは、ゲイン決定回路３０３は、プリセットＷＢゲインおよびレンズシェーディング補正ゲインとは異なるゲインを画素毎に個別に決定し、プリセットホワイトバランスおよびレンズシェーディング補正とは異なる補正を実現してもよい。
【００８２】
具体的には、例えば、車載カメラは、典型的には、バックミラーまたはその周辺に取り付けられ、フロントガラス越しに車体前方を撮影する。フロントガラスは遮光などの目的で上部に加工、例えばトップシェード、が施されていることがあるので、かかる環境で撮影された画像は特に画面上部領域の光量が他の領域に比べて低下する。そこで、ゲイン決定回路３０３は、このような画素の画面内位置に依存する輝度ムラを補正するための輝度ムラ補正ゲインを、対象のノンリニアＲＡＷ信号に対応する画素の画面内位置に基づいて決定してもよい。なお、前述のレンズシェーディング補正ゲインを輝度ムラ補正ゲインの一種として捉えることもできる。
【００８３】
黒レベル加算回路３０４は、ノンリニアデジタルゲイン回路２０４の入力ノンリニアＲＡＷ信号、すなわちキズ補正／ノイズ低減処理回路２０３からのノンリニアＲＡＷ信号、垂直有効信号（ＶＥＮ）および水平有効信号（ＨＥＮ）を受け取り、ゲイン乗算回路３０２からノンリニアＲＡＷ信号を受け取る。黒レベル加算回路３０４は、垂直有効信号（ＶＥＮ）および水平有効信号（ＨＥＮ）が共に有効である期間（すなわち、非ブランキング期間）には、ゲイン乗算回路３０２からのノンリニアＲＡＷ信号へ黒レベルに相当する信号値を加算し、加算結果となるノンリニアＲＡＷ信号を逆γ補正回路２０５へ送る。具体的には、前述のＯＵＴ（０）が黒レベルに相当する信号値である。他方、垂直有効信号（ＶＥＮ）および水平有効信号（ＨＥＮ）の少なくとも一方が有効でない期間には、黒レベル加算回路３０４は、ノンリニアデジタルゲイン回路２０４の入力ノンリニアＲＡＷ信号をそのまま逆γ補正回路２０５へ送る（パススルー）。
【００８４】
逆γ補正回路２０５（ノンリニア／リニア変換回路）は、ノンリニアデジタルゲイン回路２０４からゲイン補正済みのノンリニアＲＡＷ信号を受け取る。逆γ補正回路２０５は、ノンリニアＲＡＷ信号に逆γ補正を適用することによって、リニアＲＡＷ信号（第２のリニアＲＡＷ信号）を生成する。逆γ補正回路２０５は、リニアＲＡＷ信号をＩＳＰ後処理部２２へと出力する。
【００８５】
具体的には、逆γ補正回路２０５は、プリγ補正回路２０２の用いるγ補正係数（γ）の逆数に等しいγ補正係数（例えば、２．２＝１／０．４５、または２＝１／０．５）を用いて、ノンリニアＲＡＷ信号に対して（逆）γ補正を適用する。
【００８６】
なお、逆γ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。逆γ補正の入出力特性は、固定であってもよい。この場合に、逆γ補正回路２０５は、例えば、ＲＯＭに保存された固定のルックアップテーブルを参照することで逆γ補正を行ってもよいし、ＨＷＬを用いて逆γ補正を行ってもよい。このように逆γ補正の入出力特性を固定することで、逆γ補正回路２０５の回路規模を抑制することができる。逆γ補正の入出力特性は、例えば表計算ソフトウェアを用いて簡易に計算することができる。また、逆γ補正は、他のノンリニア／リニア変換に置き換えることもできる。
【００８７】
逆γ補正回路２０５は、プリγ補正回路２０２の用いるγ補正係数（γ）が０．５の場合には、γ補正係数＝２．０のγ補正を行うことになる。γ補正係数＝２．０のγ補正は、入力の二乗と等価である。故に、逆γ補正回路２０５は、図１２に例示するように、二乗回路に置き換えることができる。これにより、逆γ補正回路２０５を簡略化することができる。
【００８８】
なお、逆γ補正回路２０５は、ＨＤＲ圧縮回路に置き換えることもできる。ＨＤＲ圧縮回路は、ノンリニアＲＡＷ信号に圧縮係数を乗算し、ダイナミックレンジを圧縮する。ＨＤＲ圧縮回路は、ダイナミックレンジ圧縮済みのノンリニアＲＡＷ信号をＩＳＰ後処理部２２へと出力する。なお、ＨＤＲ圧縮回路の出力信号のダイナミックレンジは、ＩＳＰ後処理部２２がサポート可能なダイナミックレンジに適合するように定められる。
【００８９】
具体的には、ＨＤＲ圧縮回路は、例えばトーンマッピングを用いて局所的なコントラストをできるだけ維持しながら、ノンリニアＲＡＷ信号のダイナミックレンジを圧縮する。
【００９０】
ＨＤＲ圧縮回路の出力するノンリニアＲＡＷ信号のビット数は入力するノンリニアＲＡＷ信号のビット数に比べて小さい（例えば、前者を２３ビットとすれば、後者は１６〜２０ビット程度である）。故に、ＨＤＲ圧縮回路をＩＳＰ前処理部２１内部の最後段のブロックとして配置することで、当該ＩＳＰ前処理部２１とＩＳＰ後処理部２２との間の伝送信号のビット数を最小化することができる。
【００９１】
或いは、逆γ補正回路２０５およびＨＤＲ圧縮回路の代わりに、ノンリニアＲＡＷ信号の過大部分をクリップするクリップ回路が設けられてもよい。この場合には、高輝度部分の情報が失われ、ＩＳＰ前処理部２１はＨＤＲ撮像をサポートしないことになる。
【００９２】
以上説明したように、第１の実施形態に係る画像処理装置は、リニアＲＡＷ信号に入出力１：１の多ビット化リニア／ノンリニア変換を適用し、ノンリニアＲＡＷ信号に対してノンリニアデジタルゲインを乗算する。このノンリニアデジタルゲインは、プリセットホワイトバランス、レンズシェーディング補正などの画面内感度差の補正のために画素毎に個別に決定されたゲインを含む。故に、この画像処理装置は、リニアＲＡＷ信号に対して画面内感度差の補正を行う場合に比べて、小さなデジタルゲインを用いて同等の補正を実現することができる。従って、この画像処理装置によれば、画面内感度差の補正に伴うＳＮＲの劣化を抑制することができる。また、画面内感度差に必要なビット幅を小さく抑えることができるので、ノンリニアデジタルゲインの乗算に必要とされるハードウェアを簡略化することができる。さらに、画像処理装置がノンリニアＲＡＷ信号を用いてキズ補正／ノイズ低減処理を行う点もＳＮＲの改善に寄与している。
【００９３】
上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。
【００９４】
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【００９５】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【符号の説明】
【００９６】
１０・・・カメラモジュール
２０・・・ＩＳＰコア
２１・・・ＩＳＰ前処理部
２２・・・ＩＳＰ後処理部
１０１・・・光学レンズ
１０２・・・色フィルタ
１０３・・・受光画素
１０４・・・ＡＤＣ
２０１・・・リニアデジタルゲイン回路
２０２・・・プリγ補正回路
２０３・・・キズ補正／ノイズ低減処理回路
２０４・・・ノンリニアデジタルゲイン回路
２０５・・・逆γ補正回路
３０１・・・黒レベル減算回路
３０２・・・ゲイン乗算回路
３０３・・・ゲイン決定回路
３０４・・・黒レベル加算回路
４０１・・・プリセットＷＢゲイン決定回路
４０２・・・レンズシェーディング補正ゲイン決定回路
５０１・・・ゲイン選択回路
５０２・・・距離算出回路
５０３・・・レンズシェーディング補正ゲイン算出回路
【図１】
2019004403.tif 000008
【図２】
2019004403.tif 000009
【図３】
2019004403.tif 000010
【図４】
2019004403.tif 000011
【図５】
2019004403.tif 000012
【図６】
2019004403.tif 000013
【図７】
2019004403.tif 000014
【図８】
2019004403.tif 000015
【図９】
2019004403.tif 000016
【図１０】
2019004403.tif 000017
【図１１】
2019004403.tif 000018
【図１２】
2019004403.tif 000019
【図１３】
2019004403.tif 000020