(57)【要約】【課題】画素値の量子化精度を向上させる。【解決手段】実施形態によれば、リニア／ノンリニア変換回路と、重み付け加算回路と、演算回路とを含む。リニア／ノンリニア変換回路は、リニア画素信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該リニア画素信号よりもビット数の多いノンリニア画素信号を生成する。重み付け加算回路は、対象画素と同色の周囲画素群に含まれる複数の画素のノンリニア画素信号の重み付け平均値を計算する。演算回路は、重み付け平均値を対象画素のノンリニア画素信号の値の基準値としてビット演算に用い、当該対象画素のノンリニア画素信号の値を補正する。【選択図】図１
2018006807.tif 000002
【特許請求の範囲】
【請求項１】
リニア画素信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該リニア画素信号よりもビット数の多いノンリニア画素信号を生成するリニア／ノンリニア変換回路と、
対象画素と同色の周囲画素群に含まれる複数の画素の前記ノンリニア画素信号の重み付け平均値を計算する重み付け加算回路と、
前記重み付け平均値を前記対象画素の前記ノンリニア画素信号の値の基準値としてビット演算に用い、当該対象画素のノンリニア画素信号の値を補正する演算回路と
を具備する、画像処理装置。
【請求項２】
前記重み付け加算回路は、前記周囲画素群に属する全画素の前記ノンリニア画素信号のうち少なくとも最大値および最小値を除外して前記重み付け平均値を計算する、請求項１に記載の画像処理装置。
【請求項３】
前記演算回路は、前記対象画素の前記ノンリニア画素信号の値に含まれるノイズを、前記重み付け平均値に基づいて低減するビット演算を行う、請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記演算回路は、前記重み付け平均値と前記対象画素の画面内位置とに応じて前記対象画素に対するノイズ補正量を制御し、当該ノイズ補正量を前記対象画素のノンリニア画素信号の値に加算する、請求項３に記載の画像処理装置。
【請求項５】
前記演算回路は、画面中心から前記対象画素までの距離が大きくなるほど、前記ノイズ補正量の絶対値が大きくなるように当該ノイズ補正量を制御する、請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、画像処理に関する。
【背景技術】
【０００２】
ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）は、撮像感度または色調を制御したり、シェーディング補正を行ったりするために、デジタルの画素信号にリニアデジタルゲインを乗算することがある。リニアデジタルゲインの乗算により、画素信号の量子化精度は劣化する。例えば、２Ｎのリニアデジタルゲインを乗算すれば、乗算前の画素信号の情報が失われ、当該画素信号の実質的な量子化精度はＮビット分劣化する。
【０００３】
量子化精度の劣化を予め見込んで十分に高分解能なアナログ／デジタル変換器（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ；ＡＤＣ）を利用すれば、リニアデジタルゲインの乗算後にも必要とする量子化精度を確保することは可能である。しかしながら、ＡＤＣの分解能と変換速度とはトレードオフの関係にあるため、高分解能なＡＤＣを利用することは変換速度の低下につながりやすい。
【０００４】
このほか、２Ｎ画素分の画素データの加算平均処理によって、階調ビット数をＮビット拡張するという技法が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−０１５５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施形態は、画素値の量子化精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、リニア／ノンリニア変換回路と、重み付け加算回路と、演算回路とを含む。リニア／ノンリニア変換回路は、リニア画素信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該リニア画素信号よりもビット数の多いノンリニア画素信号を生成する。重み付け加算回路は、対象画素と同色の周囲画素群に含まれる複数の画素のノンリニア画素信号の重み付け平均値を計算する。演算回路は、重み付け平均値を対象画素のノンリニア画素信号の値の基準値としてビット演算に用い、当該対象画素のノンリニア画素信号の値を補正する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置を含む撮像装置を例示するブロック図。
【図２】ＲＡＷ信号の画素配列を例示する図。
【図３】図１のγ補正回路によって行われるガンマ補正を例示するグラフ。
【図４】図１の演算回路による演算の対象となる画素を中心とする５×５画素領域を例示する図。
【図５】ゲイン補正済リニア画素信号が０［％］（黒）基準値±２ＬＳＢおよび１００［％］（白）基準値±２ＬＳＢの場合のノンリニア画素信号の設定値を例示するテーブル。
【図６】４個の画素からなる推定正常画素群に対応するゲイン補正済リニア画素信号が０［％］基準値±１ＬＳＢの範囲に分布する場合の重み付け平均値を例示するテーブル。
【図７】図６の重み付け平均値をプロットしたグラフ。
【図８】４個の画素からなる推定正常画素群に対応するゲイン補正済リニア画素信号が１００［％］基準値±１ＬＳＢの範囲に分布する場合の重み付け平均値を例示するテーブル。
【図９】図８の重み付け平均値をプロットしたグラフ。
【図１０】４個の画素からなる推定正常画素群に対応するゲイン補正済リニア画素信号が０［％］基準値±２ＬＳＢの範囲に分布する場合の重み付け平均値をプロットしたグラフ。
【図１１】４個の画素からなる推定正常画素群に対応するゲイン補正済リニア画素信号が０［％］基準値±３ＬＳＢの範囲に分布する場合の重み付け平均値をプロットしたグラフ。
【図１２】４個の画素からなる推定正常画素群に対応するゲイン補正済リニア画素信号が０［％］基準値±５ＬＳＢの範囲に分布する場合の重み付け平均値をプロットしたグラフ。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。
【００１０】
（第１の実施形態）  
図１に例示されるように、第１の実施形態に係る画像処理装置を含む撮像装置は、光学レンズ１０１と、色フィルタ１０２と、受光画素１０３と、ＡＤＣ１０４と、信号処理回路１１０とを含む。なお、以降の説明では、光学レンズ１０１、色フィルタ１０２、受光画素１０３およびＡＤＣ１０４を、まとめてアナログ画素部と呼ぶこともある。
【００１１】
光学レンズ１０１は、外界からの入射光を、色フィルタ１０２を介して受光画素１０３に集光する。受光画素１０３は、光学レンズ１０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと（光電）変換する。受光画素１０３は、電子シャッタ機能を備えており、設定されたシャッタ速度によって決まる期間（露光時間）に亘って電荷を蓄積する。受光画素１０３は、生成した電気信号をＡＤＣ１０４へと出力する。
【００１２】
ＡＤＣ１０４は、受光画素１０３から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのリニアＲＡＷ信号を生成する。ＡＤＣ１０４は、リニアＲＡＷ信号を信号処理回路１１０へと出力する。
【００１３】
ＲＡＷ信号の値は、対応する受光画素１０３における入射光の光量に依存する。ＲＡＷ信号は、例えば図２に示されるような原色ベイヤー配列のＲＧＢ信号となる。図２の画素配列では、赤画素（Ｒ）、２つの緑画素（Ｇｒ，Ｇｂ）および青画素（Ｂ）からなる４画素のブロックが規則的に並べられる。なお、ＲＡＷ信号の画素配列は、色フィルタ１０２の配列に依存して定められる。ＲＡＷ信号の画素配列は、後述される信号処理回路１１０によって行われる一連の画像処理（ＩＳＰ前処理）の過程で不変である。
【００１４】
信号処理回路１１０は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取る。信号処理回路１１０は、リニアＲＡＷ信号に基づいて量子化精度の向上処理を含む種々の画像処理を施す。信号処理回路１１０は、処理済みの信号を図示されない後段の装置（例えば、表示装置、通信装置、記録装置など）へと出力する。信号処理回路１１０の一部または全部は、画像処理装置と呼ぶこともできる。
【００１５】
具体的には、信号処理回路１１０は、第１のデジタルゲイン回路１１１と、γ補正回路１１２と、重み付け加算回路１１３と、演算回路１１４と、第２のデジタルゲイン回路１１５と、ＨＤＲ圧縮回路１１６とを含む。
【００１６】
第１のデジタルゲイン回路１１１は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取る。第１のデジタルゲイン回路１１１は、リニアＲＡＷ信号にリニアデジタルゲインを乗算し、ゲイン補正済リニア画素信号を得る。第１のデジタルゲイン回路１１１は、ゲイン補正済リニア画素信号をγ補正回路１１２へと出力する。
【００１７】
このリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定に加えて、色調を補正（典型的には、ホワイトバランスを調整）するための色毎に設定される第１のゲイン、ならびに、シェーディング補正のために画面内位置に応じて設定される第２のゲイン、のうち少なくとも１つに依存して定められてもよい。
【００１８】
γ補正回路１１２は、第１のデジタルゲイン回路１１１からゲイン補正済リニア画素信号を受け取る。γ補正回路１１２は、ゲイン補正済リニア画素信号にガンマ補正（リニア／ノンリニア変換に相当）を適用することによって、当該ゲイン補正済リニア画素信号よりもビット数の多いノンリニア画素信号を生成する。γ補正回路１１２は、ノンリニア画素信号を重み付け加算回路１１３へと出力する。
【００１９】
具体的には、γ補正回路１１２は、例えば下記数式（１）に示される入出力１：１（すなわち、相異なる入力に対応する出力同士に重複がない）の多ビット化ガンマ補正をゲイン補正済リニア画素信号に適用することができる。
【００２０】
数式（１）は、ガンマ補正における理想特性を示し、この場合は計算上で求められる理想的なリニア／ノンリニア変換になる（小数点以下は四捨五入）。
【００２１】
【数１】
2018006807.tif 000003
【００２２】
数式（１）において、ＯＵＴ（ｘ）はＡＤＣ１０４の入力信号レベルがｘ［％］の場合のノンリニア画素信号の値を表し、ＩＮ（ｘ）は入力信号レベルがｘ［％］の場合のゲイン補正済リニア画素信号の値を表す。ＩＮ（０）およびＩＮ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のゲイン補正済リニア画素信号の設定値を表す。
【００２３】
γは、例えば信号処理回路１１０の後段に設けられる図示されない表示装置の入出力特性に応じて定められるガンマ補正係数である。例えばγ＝０．４５の場合には、入出力１：１を守ると、出力ビット数は入力ビット数よりも２ビット以上多くなる。
【００２４】
ＯＵＴ（０）およびＯＵＴ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のノンリニア画素信号の設定値を表す。ＯＵＴ（１００）−ＯＵＴ（０）を大きくすれば、ノンリニア画素信号のビット数を任意に増加させることができる。ただし、ガンマ補正は入出力１：１のリニア／ノンリニア変換であるから、ノンリニア画素信号のビット数がゲイン補正済リニア画素信号に比べてどれだけ増加しようとも、ノンリニア画素信号自体の階調数はゲイン補正済リニア画素信号の階調数よりも下回ることはないし超えることもない。
【００２５】
しかしながら、ノンリニア画素信号のビット数を大きく設定し、重み付け加算回路１１３によって使用される重みの総和を大きくすれば、演算回路１１４によって行われる種々のビット演算（例えば、キズ補正、ノイズ低減など）の過程で量子化精度を改善する効果が高められる。
【００２６】
ＩＮ（０）＝２５６、ＩＮ（１００）＝２８１６、γ＝０．４５、ＯＵＴ（０）＝１５３６０、ＯＵＴ（１００）＝５６３２０の場合に、γ補正回路１１２は図３に例示されるガンマ補正を１２ビットのゲイン補正済リニア画素信号に適用して１６ビットのノンリニア画素信号を生成する。
【００２７】
図３のガンマ補正によれば、ゲイン補正済リニア画素信号には信号レベル毎に個別のゲインが与えられる。そして、ノンリニア画素信号は、低輝度側では非線形に変化するが、高輝度側では略線形に変化する。すなわち、ノンリニア画素信号は、低輝度側では、階調の刻み幅が大きく、かつ、変化しやすい（輝度が高くなるにつれて階調の刻み幅は単調減少する）。他方、ノンリニア画素信号は、高輝度側では、階調の刻み幅が小さく、かつ、階調の刻み幅は殆ど変化しない。
【００２８】
例えば図５に示されるように、図３の１２ビット入力かつ１６ビット出力のγ補正では、黒付近の最大の刻み幅が１１９９であるのに対して、白付近の刻み幅は概ね７程度となる。図５は、ＩＮ（０）±２ＬＳＢ（＝２５６±２）に対応するノンリニア画素信号の値と、ＩＮ（１００）±２ＬＳＢ（＝２８１６±２）に対応するノンリニア画素信号の値とをそれぞれ示している。なお、前述の通り、入出力１：１であるから、高輝度側であっても、階調の刻み幅が０となることはない。
【００２９】
なお、ガンマ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。また、γ補正は、他の入出力１：１の多ビット化リニア／ノンリニア変換に置き換えることもできる。
【００３０】
重み付け加算回路１１３は、γ補正回路１１２からノンリニア画素信号を受け取る。重み付け加算回路１１３は、例えば、ノンリニア画素信号を５ライン同時化し、図４に示されるような５×５画素領域を抽出する。なお、この５ライン同時化は、重み付け加算回路１１３とは別の機能部（図示されない）によって行われてもよい。５ライン同時化処理は、例えば４Ｈラインメモリを用いて実装することができる。
【００３１】
抽出された５×５画素領域の中央を占める画素（図４の例ではＲ２２）が、演算回路１１４による演算の対象（対象画素）とされる。対象画素は、受光画素１０３の有効画素領域の走査順に従って順次選択される。すなわち、あらゆる画素を対象画素として選択することができる。重み付け加算回路１１３は、対象画素と同色の８個の画素（図４の例では、Ｒ００、Ｒ０２、Ｒ０４、Ｒ２０、Ｒ２４、Ｒ４０、Ｒ４２およびＲ４４）からなる周囲画素群に属する複数の画素（におけるノンリニア画素信号）の値の重み付け平均値を計算する。重み付け加算回路１１３は、重み付け平均値を演算回路１１４へと出力する。なお、重み付け加算回路１１３は、キズ検出・補正回路またはノイズ低減回路としての演算回路１１４に内蔵されてもよい。
【００３２】
なお、重み付け加算回路１１３は、周囲画素群に属する全画素を用いて重み付け平均値を計算する必要はない。寧ろ、周囲画素群にキズ（白キズまたは黒キズ）に相当すると推定される画素が含まれている場合には、以下に説明するように、重み付け加算回路１１３は周囲画素群から係る画素を除外した推定正常画素群に属する画素の値の重み付け平均値を計算することが好ましい。
【００３３】
本実施形態において、画素はキズ（白キズ若しくは黒キズ）または正常のどちらかと仮定される。現実には、種々のノイズに埋もれる程度の微細なキズに相当する画素も存在するが、このようなキズは適切に検出・補正することが困難なので、正常画素として取り扱われる。
【００３４】
以降の説明では、周囲画素群に属する８個の同色画素値を降順にＲｎ、Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、Ｒｇ、Ｒｆ、Ｒｅで表すこととする。
【００３５】
白キズの最大許容個数が１個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）を持つ画素のみが、白キズに相当する可能性があるので推定正常画素群から除外される。白キズの最大許容個数が２個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）を持つ画素に加えて第２番目に大きい画素値（Ｒｍ）を持つ画素が、白キズに相当する可能性があるので推定正常画素群から除外される。
【００３６】
なお、白キズの個数が３個である場合には、直線上に並んだ白キズと縞画像との区別ができないのでキズ補正は機能しなくなる。故に、白キズの最大許容個数は高々２である。黒キズの最大許容個数も同様の理由から高々２である。
【００３７】
同様に、黒キズの最大許容個数が１個の場合には、周囲画素群に属する画素のうち最小値（Ｒｅ）を持つ画素のみが、黒キズに相当する可能性があるので推定正常画素群から除外される。黒キズの最大許容個数が２個の場合には、周囲画素群に属する画素のうち最小値（Ｒｅ）を持つ画素に加えて第２番目に小さい画素値（Ｒｆ）を持つ画素が、黒キズに相当する可能性があるので推定正常画素群から除外される。
【００３８】
すなわち、白キズおよび黒キズの最大許容個数が共に１個の場合には、重み付け加算回路１１３は、Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆの値を持つ６個の画素を推定正常画素群として特定する。
【００３９】
白キズおよび黒キズの最大許容個数がそれぞれ１個および２個の場合には、重み付け加算回路１１３は、Ｒｍ、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ５個の画素を推定正常画素群として特定する。
【００４０】
白キズおよび黒キズの最大許容個数がそれぞれ２個および１個の場合には、重み付け加算回路１１３は、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆの値を持つ５個の画素を推定正常画素群として特定する。
【００４１】
白キズおよび黒キズの最大許容個数が共に２個の場合には、重み付け加算回路１１３は、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ４個の画素を推定正常画素群として特定する。
【００４２】
なお、白キズおよび黒キズの最大許容個数がそれぞれ１または２のいずれの場合であっても、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ４個の画素は常に推定正常画素群に含まれる。故に、重み付け加算回路１１３は、キズおよび黒キズの最大許容個数に関わらず、例えば下記数式（２）に従って、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの重み付け平均値（Ｒａ）を計算してもよい。
【００４３】
【数２】
2018006807.tif 000004
【００４４】
ここで、ｍおよびｎは重みを表す。数式（２）によって計算された重み付け平均値（Ｒａ）を、対象画素の値（Ｒｃ）の理論的な基準値としてキズ検出・補正またはノイズ低減などのビット演算に用いることで、対象画素の値（Ｒｃ）の量子化精度は少なくとも×（２ｍ＋２ｎ）倍（すなわち、＋ｌｏｇ２（２ｍ＋２ｎ）ビット）分改善する。例えば、（ｍ，ｎ）＝（０，１）であれば、量子化精度は少なくとも×２倍（＋１ビット）分改善する。（ｍ，ｎ）＝（１，１）であれば、量子化精度は少なくとも×４倍（＋２ビット）分改善する。（ｍ，ｎ）＝（１，３）であれば、量子化精度は少なくとも×８倍（＋３ビット）分改善する。（ｍ，ｎ）＝（１，７）であれば、量子化精度は少なくとも×１６倍（＋４ビット）分改善する。
【００４５】
なお、重み付け平均値（Ｒａ）をビット演算に用いることによる量子化精度の改善効果は、対象画素の値（Ｒｃ）が黒付近であるか白付近であるかによって大きく異なり、白付近では上記数値例と大差ないが、黒付近では上記数値例に比して相当に高い。前述のように、ノンリニア画素信号は黒付近では階調間の刻み幅が変化しやすいので、黒付近の値の重み付け平均値（Ｒａ）は広範囲に分散してより細やかな階調を表現できる。
【００４６】
具体的には、４画素からなる正常画素群の値（Ｒｇ，Ｒｈ，ＲｊおよびＲｋ）がそれぞれ「１４１６１」（ＩＮ（０）−１ＬＳＢに対応する）、「１５３６０」（ＩＮ（０）に対応する）および「１６５５９」（ＩＮ（０）＋１ＬＳＢに対応する）のいずれかに分布すると仮定する。この場合に出現する可能性のある、（ｍ，ｎ）＝（１，３）の重み付け平均値（Ｒａ）が図６に列挙される。前述の通り、４つの画素の値は降順にソートされているので、Ｒｇ≦Ｒｈ≦Ｒｊ≦Ｒｋが成立する。これらの重み付け平均値（Ｒａ）をプロットすることで図７のグラフが得られる。
【００４７】
図６および図７の例では、重み付け平均により、ノンリニア画素信号の階調が「３」から実質的に（重複する階調を除いて）「１３」へと拡張していることが読み取れる。なお、図７において、ノンリニア画素信号に元々存在する階調値である「１４１６１」、「１５３６０」および「１６５５９」は□印で表されている。
【００４８】
他方、４画素からなる正常画素群の値（Ｒｇ，Ｒｈ，ＲｊおよびＲｋ）がそれぞれ「５６３１３」（ＩＮ（１００）−１ＬＳＢに対応する）、「５６３２０」（ＩＮ（１００）に対応する）および「５６３２７」（ＩＮ（１００）＋１ＬＳＢに対応する）のいずれかに分布すると仮定する。この場合に出現する可能性のある、（ｍ，ｎ）＝（１，３）の重み付け平均値（Ｒａ）が図８に列挙される。これらの重み付け平均値（Ｒａ）をプロットすることで図９のグラフが得られる。
【００４９】
図８および図９の例では、重み付け平均により、ノンリニア画素信号の階調が「３」から実質的に「１１」へと拡張していることが読み取れる。なお、図９において、ノンリニア画素信号に元々存在する階調値である「５６３１３」、「５６３２０」および「５６３２７」は□印で表されている。
【００５０】
上記２例を比較すると、黒付近における階調の増分は「１０」あるのに対して、白付近における階調の増分は「８」に留まる。両者の差は、正常画素群の値の分布の広がりに伴ってさらに拡大する。
【００５１】
例えば、上記正常画素群に対応するゲイン補正済リニア画素信号の値がＩＮ（１００）±２ＬＳＢの場合に、「５６３１３」以上「５６３２７」以下の範囲での階調は実質的に「１５」へと拡張する。他方、上記正常画素群に対応するゲイン補正済リニア画素信号の値がＩＮ（０）±２ＬＳＢの場合に、「１４１６１」以上「１６５５９」以下の範囲での階調は実質的に「４３」へと拡張する。すなわち、ノンリニア画素信号における隣接階調間に２０個の階調が追加されているから、重み付け平均による量子化精度の改善効果は既に４ビットを越えている。この場合の重み付け平均値をプロットしたグラフが図１０に示される。
【００５２】
黒付近における量子化精度の改善効果は、上記正常画素群に対応するゲイン補正済リニア画素信号の値の分布の広がりに伴ってさらに向上する。正常画素群に対応するゲイン補正済リニア画素信号の値がＩＮ（０）±３ＬＳＢおよびＩＮ（０）±５ＬＳＢの場合の、「１４１６１」以上「１６５５９」以下の範囲での階調をそれぞれ図１１および図１２に図示する。
【００５３】
演算回路１１４は、重み付け加算回路１１３から対象画素（におけるノンリニア画素信号）の値と重み付け平均値とを受け取る。演算回路１１４は、対象画素の値と重み付け平均値とに基づいてビット演算を行って、当該対象画素の値を補正する。演算回路１１４は、演算結果信号を第２のデジタルゲイン回路１１５へと出力する。
【００５４】
具体的には、演算回路１１４は、キズ検出・補正回路として機能してもよい。演算回路１１４は、例えば、対象画素の値と周囲画素群に属する複数の画素（におけるノンリニア画素信号）の値とに基づいて当該対象画素に対してキズ検出を行う。演算回路１１４は、対象画素をキズとして検出したならば、当該対象画素の値を少なくとも重み付け平均値に基づいて補正する。
【００５５】
或いは、演算回路１１４は、キズ検出・補正回路に加えて、または、キズ検出・補正の代わりに、ノイズ低減回路として機能してもよい。演算回路１１４は、例えば、重み付け平均値と対象画素の値との差分をノイズ基本成分として算出する。そして、演算回路１１４は、このノイズ基本成分にノイズ低減の強度を定める係数を乗算し、これらの積を対象画素の値から減算（または積を対象画素の値に加算）することでノイズ低減を行う。なお、演算回路１１４は、ここで説明された技法とは異なる技法を用いてノイズを低減してもよい。
【００５６】
第２のデジタルゲイン回路１１５は、演算回路１１４から演算結果信号（例えば、キズ検出・補正および／またはノイズ低減が行われた信号）を受け取る。第２のデジタルゲイン回路１１５は、演算結果信号に対してノンリニアデジタルゲインを乗算し、ゲイン補正済ノンリニア画素信号を生成する。第２のデジタルゲイン回路１１５は、ゲイン補正済ノンリニア画素信号をＨＤＲ圧縮回路１１６へと出力する。
【００５７】
このノンリニアデジタルゲインは、図１の撮像装置全体のゲインに影響する。後述されるように、他の要素（具体的には、受光画素１０３のシャッタ速度、ＡＤＣ１０４のアナログゲインおよび第１のデジタルゲイン回路１１１のリニアデジタルゲイン）が固定であれば、ノンリニアデジタルゲインを約１．３６６倍にすることで感度は２倍となる。
【００５８】
すなわち、このノンリニアデジタルゲインは、前述のシャッタ速度、アナログゲインおよびリニアデジタルゲインに比べて低い倍率で感度を同等に向上させることができる。故に、リニアデジタルゲインよりも優先してノンリニアデジタルゲインを増加させれば、ＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）の劣化を抑制しながら感度を向上させることができる。
【００５９】
なお、所与の感度を達成するノンリニアデジタルゲイン（ＮＬＤＧ）は、同一の感度を達成するリニアデジタルゲイン（ＬＤＧ）に基づいて、以下の数式（３）により算出することができる。
【００６０】
【数３】
2018006807.tif 000005
【００６１】
数式（３）では、ＬＤＧの冪指数を０．４５に設定しているが、この冪指数はγ補正回路１１２によって用いられるγ補正係数（γ）の値に等しい。
【００６２】
このノンリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定に加えて、ＨＤＲ比率（ダイナミックレンジの拡大率）に基づいて全色共通に設定される第３のゲインに依存して定められてもよい。第３のゲインは、ＨＤＲ比率が×１倍よりも大きければ、ＨＤＲ比率よりも小さくなる。
【００６３】
また、このノンリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定（および第３のゲイン）に加えて前述の第１のゲインまたは第２のゲインをさらに考慮して定められてもよい。例えば、第１のデジタルゲイン回路１１１を取り除き、第２のデジタルゲイン回路１１５に色調の補正またはシェーディング補正をさらに行わせてもよい。
【００６４】
但し、第１のデジタルゲイン回路１１１はリニアなＲＡＷ信号に対してデジタルゲインを乗算するが、第２のデジタルゲイン回路１１５はノンリニアな演算結果信号に対してデジタルゲインを乗算する。故に、第１のデジタルゲイン回路１１１と第２のデジタルゲイン回路１１５との間で、色調の補正およびシェーディング補正に必要とされるゲインは相違する。
【００６５】
ＨＤＲ圧縮回路１１６は、第２のデジタルゲイン回路１１５からゲイン補正済ノンリニア画素信号を受け取る。ＨＤＲ圧縮回路１１６は、ゲイン補正済ノンリニア画素信号に圧縮係数を乗算し、ダイナミックレンジを圧縮することによってＨＤＲ圧縮信号を生成する。ＨＤＲ圧縮回路１１６は、図示されない後段の装置（例えば、表示装置）へとＨＤＲ圧縮信号を出力する。なお、ＨＤＲ圧縮信号のダイナミックレンジは、上記後段の装置がサポート可能なダイナミックレンジに適合するように定められる。
【００６６】
具体的には、ＨＤＲ圧縮回路１１６は、例えばトーンマッピングを用いて局所的なコントラストをできるだけ維持しながら、ゲイン補正済ノンリニア画素信号のダイナミックレンジを圧縮する。
【００６７】
以上説明したように、第１の実施形態に係る撮像装置に含まれる画像処理装置は、リニア画素信号に入出力１：１の多ビット化リニア／ノンリニア変換を適用し、任意の対象画素の周囲の複数の同色画素のノンリニア画素信号の値の重み付け平均値を当該対象画素の基準値として計算し、当該重み付け平均値に基づいてビット演算を行って当該対象画素のノンリニア画素信号の値を補正する。従って、この画像処理装置によれば、任意の対象画素の量子化精度を改善することができる。この量子化精度の改善効果は、ノンリニア画素信号の略線形に変化する部分に比べて略非線形に変化する部分において特に高い。
【００６８】
（第２の実施形態）  
前述のとおり、第１の実施形態に係る撮像装置に含まれる画像処理装置は、重み付け平均値に基づいて例えばキズ補正、ノイズ低減などのビット演算を行う。第２の実施形態では、上記ビット演算としてのノイズ低減処理を行うノイズ低減回路について説明する。ここで説明するノイズ低減回路は、例えば図１の演算回路１１４に含まれていてもよい。
【００６９】
ノイズ低減回路は、下記数式（４）に従って、重み付け平均値（Ｒａ）から対象画素の（ノンリニア画素信号の）値（Ｒｃ）を減算することで、ノイズ基本成分（Ｎ）を算出する。なお、ここでの対象画素の値（Ｒｃ）は、キズ補正後の値であってもよい。
【００７０】
【数４】
2018006807.tif 000006
【００７１】
ノイズ基本成分（Ｎ）は、正の値に限られず、負の値または零となり得る。さらに、ノイズ低減回路は、ノイズ基本成分（Ｎ）に対して以下のコアリング処理を適用する。  
【００７２】
【数５】
2018006807.tif 000007
【００７３】
ここで、ＣＯＲＥは、コアリングレベルを表す正の値である。ＣＯＲＥが大きいほど、Ｎは０（この値は、ノイズ低減が事実上行われないことを意味する）に変換されやすくなる。すなわち、このＣＯＲＥは、ノイズ基本成分（Ｎ）が実質的にノイズでないとして許容される幅を定めるパラメータである。そして、ノイズ低減回路は、コアリング処理後のノイズ基本成分（Ｎｃｏｒｅ）に対して、次のようにゲイン調整を行う。
【００７４】
【数６】
2018006807.tif 000008
【００７５】
ここで、ＭＰは、ノイズ低減の強度を制御する正の係数である。ＭＰが大きいほど、ノイズ低減の強度は大きくなる。そして、ノイズ低減回路は、ゲイン調整後のノイズ基本成分（Ｎｍｐ）に対して、次のように振幅制限を行う。
【００７６】
【数７】
2018006807.tif 000009
【００７７】
ＣＬＩＰは、ノイズ低減の最大強度を制限する正の値である。ＣＬＩＰが大きいほど、ノイズ低減の取り得る強度は大きくなる。Ｎ’は、対象画素に対するノイズ補正量を表す。最終的に、ノイズ低減回路は、次のように、対象画素のノイズ低減を行う。
【００７８】
【数８】
2018006807.tif 000010
【００７９】
ノイズ補正量（Ｎ’）の絶対値は、ＣＯＲＥが大きいほど、ＭＰが小さいほど、および、ＣＬＩＰが小さいほど、小さくなる可能性が高い。従って、例えばノイズ低減に伴う解像度低下の抑制する場合には、ＣＯＲＥを大きく、ＭＰを小さく、そして、ＣＬＩＰを小さく設定すればよい。反対に、ノイズを積極的に低減させる場合には、各パラメータ（ＣＯＲＥ、ＭＰおよびＣＬＩＰ）を上記例とは反対方向に設定すればよい。
【００８０】
また、各パラメータ（ＣＯＲＥ、ＭＰおよびＣＬＩＰ）は、対象画素の占める画面内位置に依存する可変パラメータであってもよい。例えば、画面中心付近に比べて、画面隅付近のＳＮＲは、シェーディング補正などの影響により低くなりやすい。加えて、画面中心付近に比べて、画面隅付近では、ノイズ補正による解像感の低下が目立ちにくい。そこで、ノイズ低減回路は、対象画素の画面内位置が画面中心に近いほど、ノイズ補正量の絶対値が小さくなるように（換言すれば、ノイズ低減を消極的に行うように）各パラメータ（ＣＯＲＥ、ＭＰおよびＣＬＩＰ）を制御してもよい。このように各パラメータ（ＣＯＲＥ、ＭＰおよびＣＬＩＰ）を制御すれば、相対的にＳＮＲが高い画面中心付近では、解像感の低下を回避しつつ過大なノイズを低減することができる。他方、解像感の低下が目立ちにくい画面隅付近では、ＳＮＲを効果的に改善することができる。
【００８１】
画面中心から対象画素までの距離（Ｌ）は、例えば以下の数式（９）で導出することができる。
【００８２】
【数９】
2018006807.tif 000011
【００８３】
ここで、画面中心とは、画面の中点に限らずその周囲の２×２画素であってもよい。数式（９）において、ｘおよびｙはそれぞれ対象画素の画面中心を基準とした相対的な水平位置および垂直位置を表している。例えば、受光画素１０３の順次走査により、対象画素および画面中心の水平位置および垂直位置を示すカウンタ値をそれぞれ得ることができる。故に、対象画素の水平位置および垂直位置（を示すカウンタ値）から画面中心の水平位置および垂直位置（を示すカウンタ値）をそれぞれ減算すれば、ｘおよびｙを導出することができる。
【００８４】
ノイズ低減回路は、Ｌに基づいて、各パラメータ（ＣＯＲＥ、ＭＰおよびＣＬＩＰ）を次のように制御することができる。
【００８５】
【数１０】
2018006807.tif 000012
【００８６】
数式（１０）において、ＬｍａｘはＬの最大値を表す。ＮＥＡＲ＿ＣＯＲＥは対象画素が画面中心にある場合のＣＯＲＥの値を定め、ＦＡＲ＿ＣＯＲＥは対象画素が画面隅にある場合のＣＯＲＥの値を定める。同様に、ＮＥＡＲ＿ＭＰおよびＦＡＲ＿ＭＰはそれぞれ対象画素が画面中心および画面隅にある場合のＭＰの値を定め、ＮＥＡＲ＿ＣＬＩＰおよびＦＡＲ＿ＣＬＩＰはそれぞれ対象画素が画面中心および画面隅にある場合のＣＬＩＰの値を定める。
【００８７】
前述のように画面中心付近ではノイズ低減の強度を弱くし、画面隅付近ではノイズ低減の強度を強くするのであれば、ノイズ低減回路は、例えば、ＮＥＡＲ＿ＣＯＲＥ＞ＦＡＲ＿ＣＯＲＥ、ＮＥＡＲ＿ＭＰ＜ＦＡＲ＿ＭＰかつＮＥＡＲ＿ＣＬＩＰ＜ＦＡＲ＿ＣＬＩＰとなるようにこれらの中間パラメータを設定してもよい。
【００８８】
なお、上記例に限られず、ノイズ低減回路は、画面内の特定の領域ではノイズ低減の強度が相対的に強くなるように制御してもよい。例えば、車載カメラは、典型的には、バックミラーまたはその周辺に取り付けられ、フロントガラス越しに車体前方を撮影する。フロントガラスは遮光などの目的で上部に加工を施されている（例えば、トップシェードが装備されている）ことがあるので、かかる環境で撮影された画像は特に画面上部領域の視認性が低下しやすい。このため、ノイズ低減回路は、係る領域においてノイズ低減の強度を強めることで、当該領域の視認性を効果的に向上させてもよい。
【００８９】
さらに、ノイズ低減回路は、対象画素の画面内位置に加えてアナログ画素部において当該対象画素に適用されたアナログゲイン（ＡＧ）に基づいて、各パラメータ（ＣＯＲＥ、ＭＰおよびＣＬＩＰ）を制御してもよい。
【００９０】
一般的に、アナログ画素部において高いアナログゲインを用いて高感度撮影を行った場合には、ノイズおよびキズが目立つ低ＳＮＲのリニアＲＡＷ信号が信号処理回路１１０に与えられる。故に、アナログゲインが高い場合には、解像感の低下を防止するよりもＳＮＲを改善するためにノイズ低減を積極的に行うことが好ましい。
【００９１】
ノイズ低減回路は、ＡＧに基づいて、例えば数式（１０）に示した各中間パラメータ（ＮＥＡＲ＿ＣＯＲＥ、ＮＥＡＲ＿ＭＰ、ＮＥＡＲ＿ＣＬＩＰ、ＦＡＲ＿ＣＯＲＥ、ＦＡＲ＿ＭＰおよびＦＡＲ＿ＣＬＩＰ）を次のように制御することができる。
【００９２】
【数１１】
2018006807.tif 000013
【００９３】
【数１２】
2018006807.tif 000014
【００９４】
ここで、ＡＧｍａｘおよびＡＧｍｉｎは、それぞれＡＧの最大値および最小値を表す。ＡＧＭＩＮ＿Ｎ＿ＣＯＲＥ、ＡＧＭＩＮ＿Ｎ＿ＭＰ、ＡＧＭＩＮ＿Ｎ＿ＣＬＩＰ、ＡＧＭＩＮ＿Ｆ＿ＣＯＲＥ、ＡＧＭＩＮ＿Ｆ＿ＭＰおよびＡＧＭＩＮ＿Ｆ＿ＣＬＩＰは、それぞれＡＧが最小である場合のＮＥＡＲ＿ＣＯＲＥ、ＮＥＡＲ＿ＭＰ、ＮＥＡＲ＿ＣＬＩＰ、ＦＡＲ＿ＣＯＲＥ、ＦＡＲ＿ＭＰおよびＦＡＲ＿ＣＬＩＰの値を定める。ＡＧＭＡＸ＿Ｎ＿ＣＯＲＥ、ＡＧＭＡＸ＿Ｎ＿ＭＰ、ＡＧＭＡＸ＿Ｎ＿ＣＬＩＰ、ＡＧＭＡＸ＿Ｆ＿ＣＯＲＥ、ＡＧＭＡＸ＿Ｆ＿ＭＰおよびＡＧＭＡＸ＿Ｆ＿ＣＬＩＰは、それぞれＡＧが最大である場合のＮＥＡＲ＿ＣＯＲＥ、ＮＥＡＲ＿ＭＰ、ＮＥＡＲ＿ＣＬＩＰ、ＦＡＲ＿ＣＯＲＥ、ＦＡＲ＿ＭＰおよびＦＡＲ＿ＣＬＩＰの値を定める。
【００９５】
なお、前述のようにアナログゲインが大きいほどノイズ低減の強度を強くするのであれば、ノイズ低減回路は、例えば、ＡＧＭＩＮ＿Ｎ＿ＣＯＲＥ＞ＡＧＭＡＸ＿Ｎ＿ＣＯＲＥ、ＡＧＭＩＮ＿Ｎ＿ＭＰ＜ＡＧＭＡＸ＿Ｎ＿ＭＰ、ＡＧＭＩＮ＿Ｎ＿ＣＬＩＰ＜ＡＧＭＡＸ＿Ｎ＿ＣＬＩＰ、ＡＧＭＩＮ＿Ｆ＿ＣＯＲＥ＞ＡＧＭＡＸ＿Ｆ＿ＣＯＲＥ、ＡＧＭＩＮ＿Ｆ＿ＭＰ＜ＡＧＭＡＸ＿Ｆ＿ＭＰかつＡＧＭＩＮ＿Ｆ＿ＣＬＩＰ＜ＡＧＭＡＸ＿Ｆ＿ＣＬＩＰとなるようにこれらの中間パラメータを設定してもよい。
【００９６】
以上説明したように、第２の実施形態に係る画像処理装置は、第１の実施形態に従って計算された重み付け平均値を基準にノイズ基本成分を抽出し、当該ノイズ基本成分に対して必要に応じて信号処理を施してから対象画素の値に加算することでノイズ低減を実現する。従って、この画像処理装置によれば、重み付け平均値を利用して高階調なノイズ基本成分を抽出することができるので、対象画素の量子化精度は向上する。
【００９７】
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【００９８】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【００９９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１００】
１０１・・・光学レンズ
１０２・・・色フィルタ
１０３・・・受光画素
１０４・・・ＡＤＣ
１１０・・・信号処理回路
１１１・・・第１のデジタルゲイン回路
１１２・・・γ補正回路
１１３・・・重み付け加算回路
１１４・・・演算回路
１１５・・・第２のデジタルゲイン回路
１１６・・・ＨＤＲ圧縮回路
【図１】
2018006807.tif 000015
【図２】
2018006807.tif 000016
【図３】
2018006807.tif 000017
【図４】
2018006807.tif 000018
【図５】
2018006807.tif 000019
【図６】
2018006807.tif 000020
【図７】
2018006807.tif 000021
【図８】
2018006807.tif 000022
【図９】
2018006807.tif 000023
【図１０】
2018006807.tif 000024
【図１１】
2018006807.tif 000025
【図１２】
2018006807.tif 000026