(57)【要約】【課題】ＳＮＲの劣化を抑制しながら高感度化を達成する。【解決手段】実施形態によれば、撮像制御装置は、リニア／ノンリニア変換回路と、ノンリニアデジタルゲイン回路と、輝度算出回路と、感度制御部とを含む。リニア／ノンリニア変換回路は、アナログ画素部によって生成された第１のリニア画素信号に基づく第２のリニア画素信号に対して入出力１：１のリニア／ノンリニア変換を適用することで、当該第２のリニア画素信号よりもビット数の多い第１のノンリニア画素信号を生成する。ノンリニアデジタルゲイン回路は、第１のノンリニア画素信号にノンリニアデジタルゲインを乗算し、第２のノンリニア画素信号を得る。輝度算出回路は、第２のノンリニア画素信号に基づいて輝度を算出する。感度制御部は、少なくともノンリニアデジタルゲインを輝度に基づいて制御することで撮像感度を制御する。【選択図】図１
2017163260.tif 000002
【特許請求の範囲】
【請求項１】
アナログ画素部によって生成された第１のリニア画素信号に基づく第２のリニア画素信号に対して入出力１：１のリニア／ノンリニア変換を適用することで、当該第２のリニア画素信号よりもビット数の多い第１のノンリニア画素信号を生成するリニア／ノンリニア変換回路と、
前記第１のノンリニア画素信号にノンリニアデジタルゲインを乗算し、第２のノンリニア画素信号を得るノンリニアデジタルゲイン回路と、
前記第２のノンリニア画素信号に基づいて輝度を算出する輝度算出回路と、
少なくとも前記ノンリニアデジタルゲインを前記輝度に基づいて制御することで撮像感度を制御する感度制御部と
を具備する、撮像制御装置。
【請求項２】
前記感度制御部は、さらに、前記アナログ画素部に設定されるシャッタ速度およびアナログゲインのうち少なくとも一方を前記輝度に基づいて制御する、請求項１記載の撮像制御装置。
【請求項３】
前記第１のリニア画素信号にリニアデジタルゲインを乗算し、前記第２のリニア画素信号を得るリニアデジタルゲイン回路をさらに具備し、
前記感度制御部は、さらに、前記リニアデジタルゲインを前記輝度に基づいて制御する、
請求項１または請求項２記載の撮像制御装置。
【請求項４】
前記感度制御部は、前記ノンリニアデジタルゲインを離散的に制御し、前記アナログゲインを連続的に制御して前記ノンリニアデジタルゲインの離散制御を補間する、請求項２記載の撮像制御装置。
【請求項５】
前記感度制御部は、前記ノンリニアデジタルゲインを離散的に制御し、前記リニアデジタルゲインを連続的に制御して前記ノンリニアデジタルゲインの離散制御を補間する、請求項３記載の撮像制御装置。
【請求項６】
前記感度制御部は、前記撮像感度の制御時に設定される前記シャッタ速度、前記アナログゲインおよび前記ノンリニアデジタルゲインの推移を書き換え可能に記憶する記憶回路を含む、請求項２記載の撮像制御装置。
【請求項７】
前記撮像感度の最低値に対する最高値の比率が１００万を超える、請求項２記載の撮像制御装置。
【請求項８】
前記シャッタ速度は、所与の商用電源周波数に基づく値に固定される、請求項２記載の撮像制御装置。
【請求項９】
前記輝度の度数分布を算出する度数分布算出回路と、
前記度数分布に基づいて輝度階級毎に圧縮係数を発生する発生回路と、
前記第２のノンリニア画素信号のダイナミックレンジを前記圧縮係数を用いて圧縮する圧縮回路と
をさらに具備する、請求項１記載の撮像制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、撮像感度の制御、すなわち、自動露出（ＡＥ；Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）技術に関する。
【背景技術】
【０００２】
従来、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子は、そのシャッタ速度（すなわち、露光時間）および画素信号に適用されるゲインを調整することにより、光学絞りの調整を行わなくても被写体の明るさ（照度）に適した感度で撮像を行うことができる。
【０００３】
しかしながら、ゲインが大きくなるほどＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）は劣化するので、ゲインを無制限に大きく設定することは現実的ではない。同様に、シャッタ速度が遅くなるほど被写体ブレは大きくなるうえに、動画像を撮像する場合にはシャッタ速度の上限はフレームレートよって制約されることになる。特に、蛍光灯フリッカレス撮像を行う場合には、設定可能なシャッタ速度はいっそう限られる。また、例えば車載カメラでは、多画素化に伴う画素セルサイズの微細化により感度の低下を招いている。
【０００４】
すなわち、固体撮像素子によって適切に撮像することのできる被写体照度には限界があり、特に人間の視覚と同等の可視１００万倍光撮像を（例えば、ＣＭＯＳセンサのシャッタ速度と後段のゲイン調整のみで）実現することは困難である。このため、例えば、車載カメラが夜間走行時に人間には見ることのできる被写体を撮像できないという事態が起こり得る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１９２２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施形態は、ＳＮＲの劣化を抑制しながら高感度化を達成することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、撮像制御装置は、リニア／ノンリニア変換回路と、ノンリニアデジタルゲイン回路と、輝度算出回路と、感度制御部とを含む。リニア／ノンリニア変換回路は、アナログ画素部によって生成された第１のリニア画素信号に基づく第２のリニア画素信号に対して入出力１：１のリニア／ノンリニア変換を適用することで、当該第２のリニア画素信号よりもビット数の多い第１のノンリニア画素信号を生成する。ノンリニアデジタルゲイン回路は、第１のノンリニア画素信号にノンリニアデジタルゲインを乗算し、第２のノンリニア画素信号を得る。輝度算出回路は、第２のノンリニア画素信号に基づいて輝度を算出する。感度制御部は、少なくともノンリニアデジタルゲインを輝度に基づいて制御することで撮像感度を制御する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る撮像装置を例示するブロック図。
【図２】ＲＡＷ信号の画素配列を例示する図。
【図３】図１のγ補正回路が行うガンマ補正を例示するグラフ。
【図４】入力飽和レベル設定と当該入力飽和レベル設定に対応するリニアデジタルゲインおよびノンリニアデジタルゲインとを例示するテーブル。
【図５Ａ】図２の画素配列から抽出可能な３×３画素領域の色配列を例示する図。
【図５Ｂ】図２の画素配列から抽出可能な３×３画素領域の色配列を例示する図。
【図５Ｃ】図２の画素配列から抽出可能な３×３画素領域の色配列を例示する図。
【図５Ｄ】図２の画素配列から抽出可能な３×３画素領域の色配列を例示する図。
【図６】図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄの画素領域に共通に割り当てられる輝度算出用の重みを例示する図。
【図７】図１の感度制御部を例示するブロック図。
【図８】図７の度数算出回路が算出する度数分布の一例を示す図。
【図９】図７の逆γ補正回路が行う逆ガンマ補正を例示するグラフ。
【図１０】図７の輝度積算回路がリニア輝度を積算する積算対象領域を例示する図。
【図１１】図１０の積算対象領域に割り当てられる重みを例示する図。
【図１２】図７のカウンタ制御回路が発生するカウンタ加減算値を例示する図。
【図１３】図１２の数値例を示す図。
【図１４】比較例に係る撮像感度制御におけるパラメータの推移を例示するグラフ。
【図１５】図１の撮像装置における撮像感度制御におけるパラメータの推移を例示するグラフ。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。
【００１０】
（第１の実施形態）  
図１に例示されるように、第１の実施形態に係る撮像装置は、光学レンズ１０１と、色フィルタ１０２と、受光画素１０３と、ＡＤＣ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）１０４と、信号処理回路１１０と、感度制御部１３０とを含む。なお、以降の説明では、光学レンズ１０１、色フィルタ１０２、受光画素１０３およびＡＤＣ１０４を、まとめてアナログ画素部と呼ぶこともある。また、図１の撮像装置のうち撮像感度の制御に関わる要素（特に、信号処理回路１１０の一部および感度制御部１３０）をまとめて撮像制御装置と呼ぶこともできる。
【００１１】
光学レンズ１０１は、外界からの入射光を、色フィルタ１０２を介して受光画素１０３に集光する。受光画素１０３は、光学レンズ１０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと（光電）変換する。受光画素１０３は、電子シャッタ機能を備えており、設定されたシャッタ速度（ＥＳ）によって決まる期間（露光時間）に亘って電荷を蓄積する。受光画素１０３は、生成した電気信号をＡＤＣ１０４へと出力する。
【００１２】
受光画素１０３のシャッタ速度は、感度制御部１３０によって制御される。シャッタ速度は、図１の撮像装置全体のゲイン（感度）に影響する。他の要素（具体的には、ＡＤＣ１０４の変換利得であるアナログゲイン（ＡＧ）、ならびに、信号処理回路１１０において適用されるリニアデジタルゲイン（ＬＤＧ）およびノンリニアデジタルゲイン（ＮＬＤＧ））が固定であれば、シャッタ速度を半分（すなわち、露光時間を２倍）にすることで感度も２倍となる。
【００１３】
ＡＤＣ１０４は、受光画素１０３から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのリニアＲＡＷ信号（第１のリニア画素信号）を生成する。ＡＤＣ１０４は、リニアＲＡＷ信号を信号処理回路１１０へと出力する。
【００１４】
ＡＤＣ１０４の変換利得であるアナログゲインは、感度制御部１３０によって制御される。アナログゲインは、図１の撮像装置全体のゲインに影響する。他の要素（具体的には、前述のシャッタ速度、リニアデジタルゲインおよびノンリニアデジタルゲイン）が固定であれば、アナログゲインを２倍にすることで感度も２倍となる。
【００１５】
ＲＡＷ信号の値は、対応する受光画素１０３における入射光の光量に依存する。ＲＡＷ信号は、例えば図２に示されるような原色ベイヤー配列のＲＧＢ信号となる。図２の画素配列では、赤画素（Ｒ）、２つの緑画素（Ｇｒ，Ｇｂ）および青画素（Ｂ）からなる４画素のブロックが規則的に並べられる。なお、ＲＡＷ信号の画素配列は、色フィルタ１０２の配列に依存して定められる。ＲＡＷ信号の画素配列は、後述される信号処理回路１１０によって行われる一連の画像処理（ＩＳＰ前処理）の過程で不変である。
【００１６】
信号処理回路１１０は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取る。信号処理回路１１０は、リニアＲＡＷ信号に対してリニアデジタルゲインおよびノンリニアデジタルゲインの適用を含む種々の画像処理を施す。リニアデジタルゲインおよびノンリニアデジタルゲインは、感度制御部１３０によって制御される。信号処理回路１１０は、処理済みの信号を図示されない後段の装置（例えば、表示装置、通信装置、記録装置など）へと出力する。さらに、信号処理回路１１０は、感度制御のために画素の（ノンリニア）輝度を表す輝度信号を感度制御部１３０へとフィードバックする。
【００１７】
具体的には、信号処理回路１１０は、第１のデジタルゲイン回路１１１と、γ補正回路１１２と、５ライン同時化回路１１３と、キズ検出・補正回路１１４と、ノイズ低減回路１１５と、第２のデジタルゲイン回路１１６と、３ライン同時化回路１１７と、ＨＤＲ圧縮回路１１８と、輝度算出回路１１９と、ＨＤＲ圧縮係数発生回路１２０とを含む。
【００１８】
第１のデジタルゲイン回路１１１（リニアデジタルゲイン回路）は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取る。第１のデジタルゲイン回路１１１は、リニアＲＡＷ信号にリニアデジタルゲインを乗算し、第１のゲイン補正済信号（第２のリニア画素信号）を得る。第１のデジタルゲイン回路１１１は、第１のゲイン補正済信号をγ補正回路１１２へと出力する。
【００１９】
このリニアデジタルゲインは、感度制御部１３０によって制御される。リニアデジタルゲインは、図１の撮像装置全体のゲインに影響する。他の要素（具体的には、前述のシャッタ速度、アナログゲインおよびノンリニアデジタルゲイン）が固定であれば、リニアデジタルゲインを２倍にすることで感度も２倍となる。
【００２０】
このリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定に加えて、色調を補正（典型的には、ホワイトバランスを調整）するための色毎に設定される第１のゲイン、ならびに、シェーディング補正のために画面内位置に応じて設定される第２のゲイン、のうち少なくとも１つに依存して定められてもよい。
【００２１】
γ補正回路１１２は、第１のデジタルゲイン回路１１１から第１のゲイン補正済信号を受け取る。γ補正回路１１２は、第１のゲイン補正済信号にガンマ補正（リニア／ノンリニア変換に相当）を適用することによって、当該第１のゲイン補正済信号よりもビット数の多いガンマ補正済信号（第１のノンリニア画素信号）を生成する。γ補正回路１１２は、ガンマ補正済信号を５ライン同時化回路１１３へと出力する。
【００２２】
具体的には、γ補正回路１１２は、例えば下記数式（１）に示される入出力１：１（すなわち、異なる入力に対応する出力同士に重複がない）の多ビット化ガンマ補正を第１のゲイン補正済信号に適用することができる。
【００２３】
数式（１）は、ガンマ補正における理想特性を示し、この場合は計算上で求められる理想的なリニア／ノンリニア変換になる（小数点以下は四捨五入）。
【００２４】
【数１】
2017163260.tif 000003
【００２５】
数式（１）において、ＯＵＴ（ｘ）はＡＤＣ１０４の入力信号レベルがｘ［％］の場合のガンマ補正済信号の値を表し、ＩＮ（ｘ）は入力信号レベルがｘ［％］の場合の第１のゲイン補正済信号の値を表す。ＩＮ（０）およびＩＮ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合の第１のゲイン補正済信号の設定値を表す。
【００２６】
γは、例えば信号処理回路１１０の後段に設けられる図示されない表示装置の入出力特性に応じて定められるガンマ補正係数である。例えばγ＝０．４５の場合には、入出力１：１を守ると、出力ビット数は入力ビット数よりも２ビット以上多くなる。
【００２７】
ＯＵＴ（０）およびＯＵＴ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のガンマ補正済信号の設定値を表す。ＯＵＴ（１００）−ＯＵＴ（０）を大きくすれば、ガンマ補正済信号のビット数を任意に増加させることができる。ガンマ補正は入出力１：１のリニア／ノンリニア変換であるから、ガンマ補正済信号のビット数が第１のゲイン補正済信号に比べてどれだけ増加しても、ガンマ補正済信号自体の階調数は第１のゲイン補正済信号の階調数よりも下回ることはないし超えることもない。しかしながら、ガンマ補正済信号のビット数を大きく設定すれば、後述される種々のビット演算（具体的には、キズ補正およびノイズ低減）の過程で量子化精度を改善する効果がある。
【００２８】
ＩＮ（０）＝２５６、ＩＮ（１００）＝２８１６、γ＝０．４５、ＯＵＴ（０）＝１５３６０、ＯＵＴ（１００）＝５６３２０の場合に、γ補正回路１１２は図３に例示されるガンマ補正を１２ビットの第１のゲイン補正済信号に適用して１６ビットのガンマ補正済信号を生成する。
【００２９】
図３のガンマ補正によれば、第１のゲイン補正済信号には信号レベル毎に個別のゲインが与えられる。そして、ガンマ補正済信号は、高輝度側（第１のゲイン補正済信号の値が大きい側）に比べて低輝度側（第１のゲイン補正済信号の値が小さい側）の解像度（分解能）が粗い。また、低輝度側では、階調の刻み幅が大きく、かつ、変化しやすい（輝度が高くなるにつれて階調の刻み幅は単調に減少する）。他方、高輝度側では、階調の刻み幅が小さく、かつ、階調の刻み幅は殆ど変化しない。なお、前述の通り、入出力１：１であるから、高輝度側であっても、階調の刻み幅が０となることはない。
【００３０】
図３の１２ビット入力かつ１６ビット出力のγ補正においては、黒付近の最大刻み幅＝１１９９で、白付近の刻み幅＝７〜８となる。キズ補正およびノイズ低減を用いる事で、黒付近の刻み幅＝１６程度、白付近の刻み幅＝１程度に抑えられ、量子化精度を改善できる。これは、低輝度側での、階調の刻み幅が大きく、かつ、変化しやすいと言う、所謂ノンリニア（非線形）特性による改善効果である。
【００３１】
なお、ガンマ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。また、γ補正は、他の入出力１：１の多ビット化リニア／ノンリニア変換に置き換えることもできる。
【００３２】
５ライン同時化回路１１３は、例えばＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）の４Ｈラインメモリを用いて実装することができる。５ライン同時化回路１１３は、γ補正回路１１２からγ補正済信号を受け取る。５ライン同時化回路１１３は、γ補正済信号を５ライン同時化することにより、５×５画素領域を抽出する。
【００３３】
抽出された５×５画素領域の中央を占める画素が、キズ検出・補正回路１１４においてキズ検出の対象とされる。対象画素に加えて当該対象画素と同色の周囲画素群に属する８個の画素の値を用いてキズ検出が行われる。キズ検出の対象画素は、受光画素１０３の有効画素領域の走査順に従って順次選択される。５ライン同時化回路１１３は、対象画素および周囲画素群の画素値を表す画素信号をキズ検出・補正回路１１４へと出力する。
【００３４】
キズ検出・補正回路１１４は、５ライン同時化回路１１３から対象画素および周囲画素群の画素値を表す画素信号を受け取る。キズ検出・補正回路１１４は、対象画素のキズ検出を行い、当該対象画素がキズとして検出されたならば、当該対象画素の（ガンマ補正済信号の）値を周囲画素群の値を用いて補正する。キズ検出・補正回路１１４は、キズ補正済信号をノイズ低減回路１１５へと出力する。
【００３５】
ノイズ低減回路１１５は、キズ補正済信号に対してノイズ低減処理を適用することによって、ノイズ低減信号を生成する。ノイズ低減回路１１５は、ノイズ低減信号を第２のデジタルゲイン回路１１６へと出力する。
【００３６】
具体的には、ノイズ低減回路１１５は、ノイズ低減の対象画素とその周囲画素群の値とに対してメディアンフィルタを適用し、これらの画素の中央値を抽出する。ノイズ低減回路１１５は、抽出した中央値と対象画素の値との差分をノイズ基本成分として算出する。そして、ノイズ低減回路１１５は、このノイズ基本成分にノイズ低減の強度を定める係数を乗算し、これらの積を対象画素の値から差し引くことでノイズ低減信号を生成する。なお、ノイズ低減回路１１５は、ここで説明された技法とは異なる技法を用いてノイズを低減してもよい。
【００３７】
第２のデジタルゲイン回路１１６（ノンリニアデジタルゲイン回路）は、ノイズ低減回路１１５からノイズ低減信号を受け取る。第２のデジタルゲイン回路１１６は、ノイズ低減信号に対してノンリニアデジタルゲインを乗算し、第２のゲイン補正済信号（第２のノンリニア画素信号）を生成する。第２のデジタルゲイン回路１１６は、第２のゲイン補正済信号を３ライン同時化回路１１７へと出力する。
【００３８】
このノンリニアデジタルゲインは、感度制御部１３０によって制御される。ノンリニアデジタルゲインは、図１の撮像装置全体のゲインに影響する。後述されるように、他の要素（具体的には、前述のシャッタ速度、アナログゲインおよびリニアデジタルゲイン）が固定であれば、ノンリニアデジタルゲインを約１．３６６倍にすることで感度は２倍となる。
【００３９】
すなわち、このノンリニアデジタルゲインは、前述のシャッタ速度、アナログゲインおよびリニアデジタルゲインに比べて低い倍率で感度を同等に向上させることができる。故に、リニアデジタルゲインよりも優先してノンリニアデジタルゲインを増加させれば、ＳＮＲの劣化を抑制しながら感度を向上させることができる。
【００４０】
このノンリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定に加えて、ＨＤＲ比率（ダイナミックレンジの拡大率）に基づいて全色共通に設定される第３のゲインに依存して定められてもよい。第３のゲインは、ＨＤＲ比率が×１倍よりも大きければ、ＨＤＲ比率よりも小さくなる。
【００４１】
また、このノンリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定（および第３のゲイン）に加えて前述の第１のゲインまたは第２のゲインをさらに考慮して定められてもよい。例えば、第１のデジタルゲイン回路１１１を取り除き、第２のデジタルゲイン回路１１６に色調の補正またはシェーディング補正をさらに行わせてもよい。但し、第１のデジタルゲイン回路１１１はリニアなＲＡＷ信号に対してデジタルゲインを乗算するが、第２のデジタルゲイン回路１１６はノンリニアなノイズ低減信号に対してデジタルゲインを乗算する。故に、第１のデジタルゲイン回路１１１と第２のデジタルゲイン回路１１６との間で、色調の補正およびシェーディング補正に必要とされるゲインは相違する。
【００４２】
図４には、入力飽和レベル（すなわち、感度）設定（ＩＤＲＳ：Ｉｎｐｕｔ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｓｅｔｔｉｎｇ）と、当該感度設定に対応するリニアデジタルゲインおよびノンリニアデジタルゲインが示されている。リニアデジタルゲインおよびノンリニアデジタルゲインのいずれも、×１倍以上に設定した場合には、階調間隔を拡大して感度を引き上げる効果がある。例えば、リニアデジタルゲイン（ＬＤＧ）を２倍にすれば、感度も２倍となる。他方、感度を２倍にするために必要なノンリニアデジタルゲインは約１．３６６倍に過ぎない。これは、後述する数式（２）より明らかで、２０．４５＝１．３６６となる。
【００４３】
また、リニアデジタルゲインによる感度の制御は、量子化精度を大きく犠牲にする。リニアデジタルゲインの乗算はｎビットの左シフト演算に相当する。故に、感度を２ｎ倍にするためにリニアデジタルゲインを２ｎ倍にすれば、乗算前の画素信号の上位ｎビットの情報が失われるので、実質的な量子化精度はｎビット分劣化する。換言すれば、乗算後の画素信号の量子化精度を１２ビットのまま維持するためには、理論上は、（１２＋ｎ）ビットの量子化精度を持つ画素信号にリニアデジタルゲインを乗算する必要がある。仮に、感度を２５６倍にした場合には実質的な量子化精度は８ビット分も劣化することになる。１２ビットの画素信号の量子化精度が８ビットも低下すれば、実質的な量子化精度は４ビットとなり、画素信号として使用できるレベルではない。
【００４４】
他方、ノンリニアデジタルゲインによる感度の制御は、量子化精度をあまり犠牲にしない。例えば、感度を２５６倍にするために必要なノンリニアデジタルゲインは１６倍未満であるから、実質的な量子化精度の劣化は４ビット弱に抑えられる。
【００４５】
さらに、ガンマ補正自体は信号のビット数を増やすものの量子化精度を改善しないが、キズ補正およびノイズ低減による量子化精度の改善効果は少なくとも＋２ビット（実際には、＋３ビットから＋６ビット程度までの改善効果が見込まれる）と仮定することができる。故に、１６ビットのノイズ低減信号の量子化精度は少なくとも１２＋２＝１４ビットと見積もられる。すなわち、感度を２５６倍にするためにノンリニアデジタルゲインを約１２．１３倍にしたとしても、第２のゲイン補正済信号は少なくとも１０ビットもの量子化精度を確保することができ、画素信号として十分に使用できるレベルである。
【００４６】
ＳＮＲを確保するためには、ノンリニアデジタルゲインの乗算による量子化精度の劣化をキズ補正およびノイズ低減による量子化精度の改善効果でカバーされる程度に抑えることが好ましい。前述のように、キズ補正およびノイズ低減による量子化精度の改善効果は３〜６ビット程度であるが、余裕を見てノンリニアデジタルゲインの上限を×８．８７７倍としてもリニアゲイン換算で×１２８倍相当の感度改善効果が得られる。
【００４７】
なお、所与の感度を達成するノンリニアデジタルゲイン（ＮＬＤＧ）は、同一の感度を達成するリニアデジタルゲイン（ＬＤＧ）に基づいて、以下の数式（２）により算出することができる。
【００４８】
【数２】
2017163260.tif 000004
【００４９】
数式（２）では、ＬＤＧの冪指数を０．４５に設定しているが、この冪指数はγ補正回路１１２によって用いられるγ補正係数（γ）の値に等しい。
【００５０】
３ライン同時化回路１１７は、例えばＳＲＡＭの２Ｈラインメモリを用いて実装することができる。３ライン同時化回路１１７は、第２のデジタルゲイン回路１１６か第２のゲイン補正済信号を受け取る。３ライン同時化回路１１７は、第２のゲイン補正済信号を３ライン同時化することにより、３×３画素領域を抽出する。
【００５１】
抽出された３×３画素領域は、輝度算出回路１１９において輝度算出の対象とされる。３ライン同時化回路１１７は、３×３画素領域を輝度算出回路１１９へと出力し、この３×３画素領域の中心画素の値（すなわち、第２のゲイン補正済信号）をＨＤＲ圧縮回路１１８へと出力する。
【００５２】
ＨＤＲ圧縮回路１１８は、第２のデジタルゲイン回路１１６から第２のゲイン補正済信号を受け取り、ＨＤＲ圧縮係数発生回路１２０から圧縮係数を受け取る。ＨＤＲ圧縮回路１１８は、第２のゲイン補正済信号のダイナミックレンジを圧縮係数を用いて圧縮することによってＨＤＲ圧縮信号を生成する。ＨＤＲ圧縮回路１１８は、図示されない後段の装置（例えば、表示装置）へとＨＤＲ圧縮信号を出力する。なお、ＨＤＲ圧縮信号のダイナミックレンジは、上記後段の装置がサポート可能なダイナミックレンジに適合するように定められる。
【００５３】
具体的には、ＨＤＲ圧縮回路１１８は、例えばトーンマッピングを用いて局所的なコントラストをできるだけ維持しながら、第２のゲイン補正済信号のダイナミックレンジを圧縮する。
【００５４】
輝度算出回路１１９は、３ライン同時化回路１１７から３×３画素領域を受け取る。輝度算出回路１１９は、３×３画素領域の画素値の加重平均を計算することで当該領域の（ノンリニアな）輝度値を表す輝度信号を得る。輝度算出回路１１９は、領域毎の輝度信号をＨＤＲ圧縮係数発生回路１２０および感度制御部１３０へと出力する。
【００５５】
例えば図２の画素配列から抽出可能な３×３画素領域の色配列は、図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄに例示される４つのパターンに大別することができる。すなわち、中心画素の色が赤（Ｒ）のパターン（図５Ａ）、中心画素の色が緑（Ｇｒ）かつ当該中心画素と同ラインの隣接画素の色が赤のパターン（図５Ｂ）、中心画素の色が緑（Ｇｂ）かつ当該中心画素と同ラインの隣接画素の色が青（Ｂ）のパターン（図５Ｃ）、ならびに、中心画素の色が青のパターン（図５Ｄ）の４つが存在する。一般に、ＲＧＢから輝度（ＹＵＶフォーマットのＹ）への変換式として、以下の数式（３）が知られている。
【００５６】
【数３】
2017163260.tif 000005
【００５７】
しかしながら、輝度算出回路１１９は、撮像感度およびＨＤＲ圧縮係数の制御に使用できる程度の精度で輝度を算出すればよい。そこで、輝度算出回路１１９は、下記数式（４）の加重平均を擬似的な輝度として算出する。
【００５８】
【数４】
2017163260.tif 000006
【００５９】
数式（４）を用いれば、３×３画素領域の色配列が上記４パターンのいずれであったとしても、輝度算出回路１１９は図６に示される重みを用いて擬似的な輝度を簡単に算出できる。なお、ＧｒおよびＧｂを区別する場合には、数式（４）に代えて下記数式（５）を用いることができる。
【００６０】
【数５】
2017163260.tif 000007
【００６１】
ＨＤＲ圧縮係数発生回路１２０は、輝度算出回路１１９から輝度信号を受け取り、感度制御部１３０から後述される度数分布を受け取る。ＨＤＲ圧縮係数発生回路１２０は、度数分布に基づいて輝度階級毎に圧縮係数を発生する。そして、ＨＤＲ圧縮係数発生回路１２０は、ＨＤＲ圧縮回路１１８によって第２のゲイン補正済信号の各々に適用（乗算）される圧縮係数を当該第２のゲイン補正済信号に対応する輝度信号に基づいて決定する。ＨＤＲ圧縮係数発生回路１２０は、圧縮係数をＨＤＲ圧縮回路１１８へと出力する。
【００６２】
感度制御部１３０は、輝度算出回路１１９から輝度信号を受け取る。感度制御部１３０は、輝度信号に基づいて前述のシャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインを制御することで撮像感度を制御する。さらに、後述されるように、感度制御部１３０は、１Ｖ毎に輝度信号の度数分布を算出する。感度制御部１３０は、度数分布を撮像感度の制御のためにその内部で用いるだけでなくＨＤＲ圧縮係数発生回路１２０へも出力する。
【００６３】
具体的には、感度制御部１３０は、図７に例示されるように、度数分布算出回路１３１と、逆γ補正回路１３２と、輝度積算回路１３３と、指標算出回路１３４と、パラメータ制御部１４０とを含む。
【００６４】
度数分布算出回路１３１は、輝度算出回路１１９から輝度信号を受け取る。度数分布算出回路１３１は、１Ｖ毎に図８に例示されるような輝度信号の度数分布を算出する。図８において、縦軸は度数を表し、横軸は輝度階級を表す。度数分布算出回路１３１は、度数分布をＨＤＲ圧縮回路１１８およびパラメータ制御部１４０へと出力する。
【００６５】
度数分布算出回路１３１は、１Ｖ分の輝度信号を複数の輝度階級に分類して計数することで度数分布を算出できる。輝度階級の幅は、γ補正回路１１２によって適用されるγ補正の特性およびノンリニアデジタルゲインに依存して決まる。
【００６６】
例えば、γ補正の入出力信号のビット数をそれぞれ「１２」および「１６」とし、ＩＮ（０）＝２５６、ＩＮ（１００）＝２８１６、γ＝０．４５、ＯＵＴ（０）＝１５３６０、ＯＵＴ（１００）＝５６３２０とし、ノンリニアデジタルゲインを×１６．５６４２４倍とする。この場合に、ＩＮ（ｘ）＝０および４０９５（＝２１２−１）を数式（１）にそれぞれ代入すれば、ガンマ補正済信号の最小値および最大値がそれぞれ８２７および６４５１３であることを導出できる。
【００６７】
輝度信号の表す輝度は、第２のゲイン補正済信号の加重平均であるから、その最大値および最小値は当該第２のゲイン補正済信号の最大値および最小値にそれぞれ等しい。従って、輝度の最大値は下記数式（６）により算出することができる。
【００６８】
【数６】
2017163260.tif 000008
【００６９】
他方、輝度信号の表す輝度の最小値は、下記数式（７）により算出することができる。
【００７０】
【数７】
2017163260.tif 000009
【００７１】
ＯＵＴ（０）に対応する１５３６０からＯＵＴ（１００）に対応する５６３２０までを１０階級に（すなわち、１０％刻みで）区分するとすれば、１つの輝度階級の幅は４０９６（＝（５６３２０−１５３６０）／１０）値となる。
【００７２】
故に、輝度が正の領域は下記数式（８）に示されるように２０３個の輝度階級に区分することができる。
【００７３】
【数８】
2017163260.tif 000010
【００７４】
同様に、輝度が負の領域は下記数式（９）に示されるように５６個の輝度階級に区分することができる。
【００７５】
【数９】
2017163260.tif 000011
【００７６】
故に、上記数値例によれば、度数分布は、正領域に２０３個および負領域に５６個の合計２５９個の輝度階級を持つ。
【００７７】
なお、図７の例では、ガンマ補正後の（ノンリニアな）輝度信号を用いて度数分布が算出されている。人間の視覚特性は、低輝度に対して敏感である一方で高輝度に対して鈍感であることが知られている。そして、ガンマ補正は人間のこのような視覚特性にマッチした補正であるので、人間はガンマ補正後の輝度信号については暗部から明部に亘って概ね一様に知覚することができる。故に、ノンリニアな輝度信号を用いることで、輝度階級の幅を低輝度側と高輝度側とで変えなくても、偏りのない度数分布を算出することが可能となる。
【００７８】
逆γ補正回路１３２は、輝度算出回路１１９から輝度信号を受け取る。逆γ補正回路１３２は、輝度信号に逆ガンマ補正（ノンリニア／リニア変換に相当）を適用することによって、リニア輝度信号を生成する。逆γ補正回路１３２は、リニア輝度信号を輝度積算回路１３３へと出力する。具体的には、逆γ補正回路１３２は、γ補正回路１１２の用いるガンマ補正係数（γ）の逆数に等しいガンマ補正係数（例えば、２．２＝１／０．４５）を用いて、輝度信号に対して（逆）ガンマ補正を適用する。
【００７９】
例えば、入力（輝度信号）は、１２ビット化され、０［％］（黒）および１００［％］（白）の場合の値がそれぞれ９６０（＝１５３６０／１６）、３５２０（＝５６３２０／１６）に設定される。また、出力（リニア輝度信号）のビット数は１６であり、０［％］（黒）および１００［％］（白）の場合の値がそれぞれ４０９６（＝２５６×１６）、４５０５６（＝２８１６×１６）に設定される。このような数値例に基づく逆ガンマ補正が図９に例示される。
【００８０】
輝度積算回路１３３は、逆γ補正回路１３２からリニア輝度信号を受け取る。輝度積算回路１３３は、１Ｖ毎に、複数の積算対象領域のそれぞれにおけるリニア輝度信号の値を積算する。複数の積算対象領域は、例えば図１０に示されるように定められてもよい。輝度積算回路１３３は、各積算対象領域の輝度積算値を指標算出回路１３４へと出力する。
【００８１】
図１０の例では、有効画素領域の一部が９×７個の積算対象領域（Ａ１〜Ａ６３）に定められており、残部が積算対象外領域（Ａ０）に定められている。各積算対象領域は、ｐ×ｑ画素（≧２）からなる。なお、ｐ×ｑ画素の全てを積算する必要はなく一部を間引くこともできる。輝度積算回路１３３は、各積算対象領域におけるリニア輝度信号の値を積算する。
【００８２】
逆γ補正を用いて、リニア輝度信号を積算する理由は、得られた積算値とカメラ感度とが比例関係になり、シャッタ速度、アナログゲイン、リニアデジタルゲインおよびデジタルゲインを用いた露光制御（以降、ＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｕｍｉｎａｎｃｅ−ｌｅｖｅｌ  Ｃｏｎｔｒｏｌ）とも呼ばれる）が、行い易い為である。ここで、ＡＬＣとは、ＡＥの一種であり、照明光源、撮像レンズ内の光学絞り等に頼らずシャッタ速度および種々のゲインを制御することで感度制御を実現する技術を指す。
【００８３】
図１０の例では、各積算対象領域の形状、面積（サイズ）および積算画素数は一様である。このような条件を課すことで、後述される輝度積算値の並び替えをシンプルにすることができる。なお、各積算対象領域の形状、面積および積算画素数は図１０の例に限られず任意に設定可能である。
【００８４】
各積算対象領域には、図１１に例示されるような重みが割り当てられている。図１１に示される重みの割り当ては、中央部重点測光に適しており、中央から離れるほど重みが小さくなる。なお、図１１の例では、積算対象領域の４隅に割り当てられる重みは０であるから、これらの積算対象領域の積算は省略することができる。図１１に示される重みの割り当ては例示に過ぎず、任意の割り当てが採用可能である。
【００８５】
図１１の例では、重みは０から７までの整数であるから、この情報は３ビットで表現することができる。他方、領域番号は１から６３までの整数であるから、この情報を表現するためには６ビット必要である。さらに、後段の指標算出回路１３４は、各領域の輝度積算値の加重平均を算出できればよく、各輝度積算値に対応する領域番号を把握する必要はない。故に、輝度積算回路１３３は、回路規模削減のために、輝度積算値に領域番号（６ビット情報）ではなく重み（３ビット情報）を付加して指標算出回路１３４へと出力してもよい。
【００８６】
指標算出回路１３４は、輝度積算回路１３３から各領域の輝度積算値を受け取る。ここで、輝度積算値には輝度が過度に高い領域や輝度が過度に低い領域の値が混入するおそれがあり、特にこのような値に大きな重みが乗じられると、輝度積算値の加重平均が現在の画面の平均的な輝度レベルから大きく乖離するおそれがある。
【００８７】
そこで、指標算出回路１３４は、輝度積算値を昇順または降順にソートし、上位のｒ（例えば３１）値および下位のｓ（例えば１６）値を除外してから加重平均を算出してもよい。このように、輝度が過度に高いまたは低い領域の輝度積算値を除外することで、逆光補正の効果を得ることができる。
【００８８】
指標算出回路１３４は、輝度積算値の加重平均を感度制御用の指標としてパラメータ制御部１４０へと出力する。なお、前述の輝度積算値の除外処理は省略することも可能である。
【００８９】
パラメータ制御部１４０は、度数分布算出回路１３１から度数分布を受け取り、指標算出回路１３４から指標を受け取る。パラメータ制御部１４０は、指標に基づいて感度の設定値を調整し、調整後の感度に応じてシャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインを制御する。
【００９０】
パラメータ制御部１４０は、感度調整を常時行う必要はない。具体的には、パラメータ制御部１４０は、感度調整を継続するか省略（現在の感度設定を維持）するかを度数分布に基づいて切り替えてもよい。例えば、逆光時や短いトンネルの走行時など高輝度画素が一時的に増加する場合に、度数分布は低輝度側の山に加えて高輝度側に新たな山を持つことがある。このような状況で感度調整を実行すると、パラメータ制御部１４０は高輝度画素の影響で感度を引き下げるおそれがある。しかしながら、このような一時的な明るさの変動に翻弄されて感度を調整することは、必ずしも好まれない。故に、例えば高輝度側に新たな山が生じた場合には、感度調整を一時的に省略することで感度の安定化を図るようにしてもよい。
【００９１】
なお、パラメータ制御は１Ｖ毎に１回行えばよいので、パラメータ制御部１４０は、ハードウェア実装（図７参照）に限られずソフトウェア実装することもできる。パラメータ制御部１４０をソフトウェア実装する場合には、例えばマイクロコントローラを用いることができる。パラメータ制御部１４０をソフトウェア実装することの利点として、制御の自由度が高い点が挙げられる。
【００９２】
図７のパラメータ制御部１４０は、カウンタ制御回路１４１と、ＡＬＣカウンタ１４２と、アドレス発生回路１４３と、ＳＲＡＭコア１４４と、パラメータ制御回路１４５とを含む。
【００９３】
カウンタ制御回路１４１は、度数分布算出回路１３１から度数分布を受け取り、指標算出回路１３４から指標を受け取る。カウンタ制御回路１４１は、度数分布および指標に基づいて、図１の撮像装置全体の感度の設定値を管理するＡＬＣカウンタ１４２に対する加減算値を発生する。カウンタ制御回路１４１は、加減算値をＡＬＣカウンタ１４２へと出力する。
【００９４】
具体的には、カウンタ制御回路１４１は、指標を複数の比較基準と比較し、比較結果に対応する加減算値を発生する。概括すれば、カウンタ制御回路１４１は、指標が目標値に等しければ０を発生し、指標が目標値よりも大きければ負の値（減算値）を発生し、指標が目標値よりも小さければ正の値（加算値）を発生する。目標値は、画面の理想的な明るさを示しており、感度の収束目標を定める。
【００９５】
複数の比較基準は、例えば、ある目標値を基準にｔ倍毎および１／ｔ倍毎に定めることができる。ｔ＝２１／２（＝√２）の場合が図１２に例示される。図１２によれば、指標が目標値の√２倍以上２倍未満であれば、カウンタ制御回路１４１は「−１２８×ｍ＋ｎ」を発生する。他方、指標が目標値の１／２倍より大きく１／√２倍以下であれば、カウンタ制御回路１４１は「１２８×ｍ−ｎ」を発生する。なお、図１２において、ｍ，ｎ，ｊ、ｋは、収束速度を定める任意の係数である。図１３には、目標値＝１０２４、ｍ＝１、ｎ＝１、ｋ＝６３、ｊ＝７の場合の比較基準および加減算値が例示される。
【００９６】
図１２の例では、カウント値が「１２８×ｍ」増える毎に感度設定は２１／２倍に上昇する。指標は、リニア輝度信号の各領域の輝度積算値の加重平均に相当するから感度に略比例する。故に、例えば、指標が目標値の２倍であれば感度も収束目標に比して２倍程度大きいと考えられるから、カウンタ制御回路１４１は「−２５６×ｍ＋ｎ」の値を発生して感度を１／２倍に低下させればよい。
【００９７】
ＡＬＣカウンタ１４２は、カウンタ制御回路１４１から加減算値を受け取る。ＡＬＣカウンタ１４２は、カウント値に加減算値を適用し、適用後のカウント値をアドレス発生回路１４３へと出力する。ＡＬＣカウンタ１４２によってカウントされるカウント値のビット数は特に制限されないが、例えば１３であってよい。カウント値が２５６（＝２８）増える毎に感度が２倍に増えるように定めれば、１３ビットのカウント値によって×１倍から約×２３２倍までの感度を表現することができる（２１３／２５６＝８１９２／２５６＝３２）。この例では、感度（Ｓ）およびカウント値（Ｃ）は、下記数式（１０）に示す関係にある。
【００９８】
【数１０】
2017163260.tif 000012
【００９９】
アドレス発生回路１４３は、ＡＬＣカウンタ１４２からカウント値を受け取る。アドレス発生回路１４３は、カウント値に応じてＳＲＡＭコア１４４の読み出しのためのアドレス値を発生する。
【０１００】
ＳＲＡＭコア１４４は、カウント値に対応する感度を達成するためのシャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインの組み合わせを、上記アドレス値によって特定される領域に格納している。なお、ＳＲＡＭ１４４は、これらのパラメータの値を書き換え可能（プログラマブル）に記憶していてもよい。係る構成によれば、ユーザは、感度制御時における各パラメータの推移を自由に設計することができる。
【０１０１】
パラメータ制御回路１４５は、アドレス発生回路１４３の発生したアドレス値を用いてＳＲＡＭコア１４４からシャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインの値を読み出す。パラメータ制御回路１４５は、読み出したシャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインの値を受光画素１０３、ＡＤＣ１０４、第１のデジタルゲイン回路１１１および第２のデジタルゲイン回路１１６にそれぞれ設定する。
【０１０２】
パラメータ制御回路１４５がシャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインを例えば図１５に示されるように推移させることで、感度は×１倍から×１００万倍を超える範囲まで制御することができる。
【０１０３】
各パラメータの制御例が図１５に示される。図１５では、シャッタ速度（露光時間）は１Ｈ／４から１／２Ｈ，１Ｈ，２Ｈ，４Ｈ，・・・，５１１Ｈ，５１２Ｈと離散的に制御され、アナログゲインは×１倍から×１６倍まで連続的に制御され、リニアデジタルゲインは×１倍か×４倍程度まで連続的に制御され、ノンリニアデジタルゲインは×１倍から×８．８７７倍（リニアデジタルゲインの×１２８倍相当）まで離散的に制御される。
【０１０４】
最高被写体照度を定める最低感度（これを×１倍と定義する）は、シャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインを全て最小値に設定することで達成可能である。すなわち、パラメータ制御回路１４５は、シャッタ速度を１Ｈ／４に、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインを×１倍に設定する。
【０１０５】
より高い感度を達成するためには、いずれかのパラメータを増加させる必要がある。いずれのパラメータを選択するかは任意ではあるが、ＳＮＲの劣化を防ぐ観点からすればシャッタ速度を最初に増加させることが好ましい。但し、シャッタ速度を１Ｈ／４から２番目に小さい１／２Ｈへと変更すれば、感度は×２倍になる。このようにシャッタ速度およびノンリニアデジタルゲインは感度を大幅に変化させてしまうので、図１５の例ではアナログゲインを用いた補間が行われる。なお、アナログゲインに代えてリニアデジタルゲインを用いて補間を行うこともできる。
【０１０６】
すなわち、カウント値が１から２５５まで、パラメータ制御回路１４５はシャッタ速度を増加させずにアナログゲインを×１倍から約×２倍まで連続的に増加させる。そして、カウント値が２５６に達すると、パラメータ制御回路１４５はシャッタ速度を１Ｈ／２に増加させてアナログゲインを×１倍に戻す。このように離散制御に対する補間を行うことで、×２１／２５６倍精度の細かい感度制御が可能となる。このような制御を繰り返しながら、パラメータ制御回路１４５は、シャッタ速度を１Ｈ，２Ｈ，４Ｈ，・・・，１２８Ｈと倍々で増加させる。
【０１０７】
さらに、カウント値が２５６０（＝２５６×１０）以降では、パラメータ制御回路１４５は、カウント値１ビットにつきシャッタ速度を１Ｈずつ増加させることができるので、アナログゲインを×１倍に固定してシャッタ速度を２５６Ｈから上限の５１２Ｈ（感度は×２１１倍）まで連続的に増加させる。アナログゲインの代わりにシャッタ速度を増加させることで、ＳＮＲの劣化を抑制することができる。カウント値が２８１６（＝２５６×１１）に達すると、パラメータ制御回路１４５は、シャッタ速度を５１２Ｈに固定する。それから、パラメータ制御回路１４５は、再びアナログゲインを×１倍から約×２倍まで連続的に増加させる。
【０１０８】
カウント値が３０７２（＝２５６×１２）に達すると、パラメータ制御回路１４５はノンリニアデジタルゲインを×１．３６６倍（リニアデジタルゲインの×２倍相当）に増加させてアナログゲインを×１倍に戻す。それから、パラメータ制御回路１４５は、再びアナログゲインを×１倍から約×２倍まで連続的に増加させる。このような制御を繰り返しながら、パラメータ制御回路１４５は、ノンリニアデジタルゲインを×１．８６６倍，×２．５４９倍，・・・，×８．８７７倍と、倍々（リニアゲイン換算）で増加させる。
【０１０９】
カウント値が４６０８（＝２５６×１８）以降では、パラメータ制御回路１４５はノンリニアデジタルゲインを×８．８７７倍（リニアゲイン換算で×１２８倍）に固定し、アナログゲインを×１倍から上限の×１６倍まで連続的に増加させる。カウント値が５６３２（＝２５６×２２）に達すると、パラメータ制御回路１４５はアナログゲインを×１６倍に固定する。この時点での感度は×２２２倍、すなわち×４００万倍超である。なお、アナログゲインを×４倍に設定した時点で、感度は×２２０であり×１００万倍を超えている。
【０１１０】
従って、パラメータ制御回路１４５は、リニアデジタルゲインを制御対象から除外しても感度を×１倍から×１００万倍を超える範囲まで制御することができる。但し、パラメータ制御回路１４５は、リニアデジタルゲインを制御対象に含めることで感度の上限をさらに向上させることができる。
【０１１１】
具体的には、カウント値が５６３２（＝２５６×２２）以降に、パラメータ制御回路１４５は、リニアデジタルゲインを×１倍から約×４倍まで増加させることにより、）最高感度は約×２２４、すなわち×１６００万倍超まで増加させることができる。故に、最低被写体照度は、最高被写体照度の約１６００万分の１となる。
【０１１２】
なお、ここで説明された感度は、絶対的な大きさではなく、最低感度を×１倍とした場合の相対的な大きさである。故に、感度の最低値に対する最高値の比率が１００万を超えることは、可視１００万倍光撮像の実現を必ずしも保証しない。しかしながら、図１４の例では、上記比率は１６００万超に達するうえにパラメータの上限設定次第でさらなる向上も可能であるから、可視１００万倍光撮像を十分に実現できる。
【０１１３】
他方、ノンリニアデジタルゲインを制御対象から除外すると、感度の上限は大幅に下がる。このような比較例が図１４に示される。図１４では、シャッタ速度、アナログゲインおよびリニアデジタルゲインをそれぞれ５１２Ｈ（上限）、×１６倍（上限）および×４倍まで増加させたとしても、感度は×２１７倍、すなわち×１３万倍程度に過ぎない。仮にリニアデジタルゲインを×３２倍まで増加させれば、感度を×１００万倍超とすることも可能であるが、係るリニアデジタルゲインは５ビットもの量子化精度の劣化をもたらすから実用的ではない。
【０１１４】
蛍光灯フリッカレス撮像機能を有効にする場合の撮像感度制御においてもノンリニアデジタルゲインの貢献は大きい。フリッカレス撮像機能を有効にするためには、シャッタ速度を所与の商用電源周波数に基づく値（具体的には、半周期の整数倍）に固定する必要がある。仮に、フレームレートが６０ｆｐｓに固定されていてシャッタ速度の可変範囲が１Ｈ／４から５１２Ｈまでであるならば、シャッタ速度は次のいずれかに固定されることになる。
【０１１５】
【数１１】
2017163260.tif 000013
【０１１６】
数式（１１）において、ＥＳ５０は商用電源周波数が５０Ｈｚの場合に設定可能なシャッタ速度を表す。ＥＳ６０，１およびＥＳ６０，２は商用電源周波数が６０Ｈｚの場合に設定可能なシャッタ速度を表す。
【０１１７】
例えば商用電源周波数が５０Ｈｚの場合には、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインを制御することで、フリッカレス撮像可能な感度領域は×１２２８倍〜×１０００万倍超となる。なお、仮にノンリニアデジタルゲインを制御対象に含めていなければ、フリッカレス撮像可能な感度領域の上限は約×８万倍にまで低下する点に注意が必要である。
【０１１８】
同様に、商用電源周波数が６０Ｈｚの場合には、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインを制御することで、フリッカレス撮像可能な感度領域は×１０２４倍〜×１６００万倍超となる。なお、仮にノンリニアデジタルゲインを制御対象に含めていなければ、フリッカレス撮像可能な感度領域の上限は約×１３万倍にまで低下する点に注意が必要である。
【０１１９】
以上説明したように、第１の実施形態に係る撮像装置は、画素信号に入出力１：１のリニア／ノンリニア変換を適用し、可変ノンリニアデジタルゲインを乗算する。この撮像装置は、このノンリニアデジタルゲインを含む複数のパラメータを輝度に基づいて制御することで、撮像感度を広範囲に亘って自動制御できる。特に、ノンリニアデジタルゲインに加えてシャッタ速度およびアナログゲインを制御対象に含めることで、ＳＮＲの劣化を抑制しながら×１００万倍以上もの高感度を達成することができる。なお、この撮像装置によれば、フリッカレス撮像可能な感度領域を大幅に拡大することも可能となる。
【０１２０】
さらに、この撮像装置において、３ライン同時化回路、輝度算出回路および度数分布算出回路は、撮像感度制御およびＨＤＲ圧縮係数発生の両方の処理で共用される。故に、この撮像装置は、撮像感度制御および単一露光ＨＤＲを小さな回路規模で実現できる。
【０１２１】
加えて、この撮像装置は、撮像感度の制御時に設定されるシャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインの推移を書き換え可能に記憶する記憶回路を含むことができる。故に、ユーザが撮像感度の制御範囲や所与の撮像感度を達成するためのパラメータの組み合わせなどを自由に設計することができる。
【０１２２】
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【０１２３】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０１２４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２５】
１０１・・・光学レンズ
１０２・・・色フィルタ
１０３・・・受光画素
１０４・・・ＡＤＣ
１１０・・・信号処理回路
１１１・・・第１のデジタルゲイン回路
１１２・・・γ補正回路
１１３・・・５ライン同時化回路
１１４・・・キズ検出・補正回路
１１５・・・ノイズ低減回路
１１６・・・第２のデジタルゲイン回路
１１７・・・３ライン同時化回路
１１８・・・ＨＤＲ圧縮回路
１１９・・・輝度算出回路
１２０・・・ＨＤＲ圧縮係数発生回路
１３０・・・感度制御部
１３１・・・度数分布算出回路
１３２・・・逆γ補正回路
１３３・・・輝度積算回路
１３４・・・指標算出回路
１４０・・・パラメータ制御部
１４１・・・カウンタ制御回路
１４２・・・ＡＬＣカウンタ
１４３・・・アドレス発生回路
１４４・・・ＳＲＡＭコア
１４５・・・パラメータ制御回路
【図１】
2017163260.tif 000014
【図２】
2017163260.tif 000015
【図３】
2017163260.tif 000016
【図４】
2017163260.tif 000017
【図５Ａ】
2017163260.tif 000018
【図５Ｂ】
2017163260.tif 000019
【図５Ｃ】
2017163260.tif 000020
【図５Ｄ】
2017163260.tif 000021
【図６】
2017163260.tif 000022
【図７】
2017163260.tif 000023
【図８】
2017163260.tif 000024
【図９】
2017163260.tif 000025
【図１０】
2017163260.tif 000026
【図１１】
2017163260.tif 000027
【図１２】
2017163260.tif 000028
【図１３】
2017163260.tif 000029
【図１４】
2017163260.tif 000030
【図１５】
2017163260.tif 000031