(57)【要約】【課題】ダイナミックレンジの拡大に伴う画質の劣化または回路規模の増大を抑制する。【解決手段】実施形態によれば、画像処理装置は、リニア／ノンリニア変換回路群と、ノンリニアデジタルゲイン回路群と、合成回路とを含む。リニア／ノンリニア変換回路群は、撮像感度の異なる２チャンネルのリニアＲＡＷ信号に対して入出力１：１のリニア／ノンリニア変換をそれぞれ適用し、当該リニアＲＡＷ信号よりもビット数の多い２チャンネルの第１のノンリニアＲＡＷ信号群を生成する。ノンリニアデジタルゲイン回路群は、２チャンネルの第１のノンリニアＲＡＷ信号群に基づく２チャンネルの第２のノンリニアＲＡＷ信号群にそれぞれ異なるデジタルゲインを乗算し、２チャンネルの第３のノンリニアＲＡＷ信号群を得る。合成回路は、２チャンネルの第３のノンリニアＲＡＷ信号群をＨＤＲ合成する。【選択図】図３
2018026759.tif 000002
【特許請求の範囲】
【請求項１】
撮像感度の異なる２チャンネルの第１のリニアＲＡＷ信号群に対して入出力１：１のリニア／ノンリニア変換をそれぞれ適用し、当該第１のリニアＲＡＷ信号群よりもビット数の多い２チャンネルの第１のノンリニアＲＡＷ信号群を生成するリニア／ノンリニア変換回路群と、
前記２チャンネルの第１のノンリニアＲＡＷ信号群に基づく２チャンネルの第２のノンリニアＲＡＷ信号群にそれぞれ異なるデジタルゲインを乗算し、２チャンネルの第３のノンリニアＲＡＷ信号群を得るノンリニアデジタルゲイン回路群と、
前記２チャンネルの第３のノンリニアＲＡＷ信号群をＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成するノンリニア合成回路と
を具備する、画像処理装置。
【請求項２】
１チャンネルの第２のリニアＲＡＷ信号を、撮像感度の異なる２チャンネルの第３のリニアＲＡＷ信号群へと分割する信号２分割回路をさらに具備し、
前記２チャンネルの第１のリニアＲＡＷ信号群は、前記２チャンネルの第３のリニアＲＡＷ信号群に基づいている、
請求項１に記載の画像処理装置。
【請求項３】
撮像感度の異なる２チャンネル以上の第４のリニアＲＡＷ信号群をＨＤＲ合成し、１チャンネルの第５のリニアＲＡＷ信号を生成する第１のリニア合成回路と、
撮像感度の異なる２チャンネル以上の第６のリニアＲＡＷ信号群をＨＤＲ合成することによって生成された１チャンネルの第７のリニアＲＡＷ信号と、前記１チャンネルの第５のリニアＲＡＷ信号とのどちらかを１チャンネルの第８のリニアＲＡＷ信号として選択する第１の選択器と
をさらに具備し、
前記１チャンネルの第２のリニアＲＡＷ信号は、前記１チャンネルの第８のリニアＲＡＷ信号に基づいている、
請求項２に記載の画像処理装置。
【請求項４】
撮像感度の異なる２チャンネル以上の第４のリニアＲＡＷ信号群をＨＤＲ合成し、１チャンネルの第５のリニアＲＡＷ信号を生成する第１のリニア合成回路と、
１チャンネルの第４のノンリニアＲＡＷ信号にノンリニア／リニア変換を適用し、１チャンネルの第９のリニアＲＡＷ信号を生成するノンリニア／リニア変換回路と、
前記１チャンネルの第５のリニアＲＡＷ信号と前記１チャンネルの第９のリニアＲＡＷ信号とのどちらかを１チャンネルの第８のリニアＲＡＷ信号として選択する第１の選択器と
をさらに具備し、
前記１チャンネルの第２のリニアＲＡＷ信号は、前記１チャンネルの第８のリニアＲＡＷ信号に基づいている、
請求項２に記載の画像処理装置。
【請求項５】
前記信号２分割回路は、前記２チャンネルの第３のリニアＲＡＷ信号群のそれぞれのビット数が前記２チャンネル以上の第４のリニアＲＡＷ信号群のそれぞれのビット数よりも多くなるように、前記１チャンネルの第２のリニアＲＡＷ信号を当該２チャンネルの第３のリニアＲＡＷ信号群へと分割する、請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記１チャンネルの第８のリニアＲＡＷ信号に点滅ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）撮像用のＬＥＤ信号を合成し、前記１チャンネルの第２のリニアＲＡＷ信号を生成する第２のリニア合成回路をさらに具備する、請求項３または請求項４に記載の画像処理装置。
【請求項７】
撮像感度の異なる２チャンネルの第１０のリニアＲＡＷ信号群と前記２チャンネルの第３のリニアＲＡＷ信号群とのどちらかを前記２チャンネルの第１のリニアＲＡＷ信号群として選択する第２の選択器群をさらに具備する、請求項２に記載の画像処理装置。
【請求項８】
前記２チャンネルの第１のノンリニアＲＡＷ信号群に対してキズ補正処理およびノイズ低減処理の少なくとも一方をそれぞれ適用し、前記２チャンネルの第２のノンリニアＲＡＷ信号群を生成する処理回路群をさらに具備する、請求項１に記載の画像処理装置。
【請求項９】
前記処理回路群は、前記２チャンネルの第２のノンリニアＲＡＷ信号群のそれぞれのビット数が前記２チャンネルの第１のノンリニアＲＡＷ信号群のそれぞれのビット数よりも多くなるように、当該２チャンネルの第１のノンリニアＲＡＷ信号群に対してキズ補正処理およびノイズ低減処理の少なくとも一方をそれぞれ適用し、当該２チャンネルの第２のノンリニアＲＡＷ信号群を生成する、請求項８に記載の画像処理装置。
【請求項１０】
前記ノンリニアデジタルゲイン回路群は、前記２チャンネルの第２のノンリニアＲＡＷ信号群のうち高感度チャンネルの第２のノンリニアＲＡＷ信号に対して×１倍よりも大きな第１のゲインを乗算し、当該２チャンネルの第２のノンリニアＲＡＷ信号群のうち低感度チャンネルの第２のノンリニアＲＡＷ信号に対して当該低感度チャンネルと高感度チャンネルとの感度比に相当する第２のゲインと前記第１のゲインとの積である第３のゲインを乗算する、請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、画像処理に関する。
【背景技術】
【０００２】
ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成（多重露光方式ＨＤＲ撮像とも呼ばれる）とは、複数の異なる露光時間（すなわち、シャッタ速度）を用いて撮像を行い、撮像画像の感度を合せてから合成することによりダイナミックレンジを拡大する技術である。このようなＨＤＲ撮像技術によれば、輝度差の大きな画像を適切に表現することが可能となる。例えば、暗環境で撮像された被写体の白飛びを少なくしたり、明環境で撮像された被写体の黒つぶれを少なくしたりすることができる。
【０００３】
ＨＤＲ合成を適切に行うためには、隣接する感度チャンネル間の撮像感度比（露光時間比）を、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子に含まれるＡＤＣ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）の出力レンジ（換言すれば、量子化精度ないし分解能）よりも大きくすることはできない。従って、ＨＤＲ合成によって実現可能なダイナミックレンジは、ＡＤＣの出力レンジによって制限される。例えば、１２ビット×２チャンネルのＲＡＷ信号を隣接チャンネル間の撮像感度比を×２５６倍としてＨＤＲ合成すれば、ダイナミックレンジは１２０［ｄＢ］となる（１２−４＋１２＝１２×２−４×１＝２０ビット相当）。チャンネル数を増加させることでダイナミックレンジはさらに拡大可能である（例えば、３チャンネルで１６８［ｄＢ］、１２−４＋１２−４＋１２＝１２×３−４×２＝２８ビット相当）ものの、チャンネル数に比例して信号処理のための回路規模は増大する。
【０００４】
また、多重露光方式では、合成される画像の撮像感度を合わせる（換言すれば、短時間露光チャンネルを高感度化する）ためにＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）内でデジタルゲインの調整が行われる。しかしながら、デジタルゲインの調整は、デジタルのＲＡＷ信号に１よりも大きなデジタル値（ゲイン）を乗算することを意味しており、量子化ノイズを増幅して画質を劣化させる。このデジタルゲインは合成される画像間の撮像感度比に比例して増加させる必要があるので、ダイナミックレンジの拡大を目指すほど例えばＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）などの画質も大きく劣化することになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０８０１５７号公報
【特許文献２】特開２０１４−０３９１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実施形態は、ダイナミックレンジの拡大に伴う画質の劣化または回路規模の増大を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態によれば、画像処理装置は、リニア／ノンリニア変換回路群と、ノンリニアデジタルゲイン回路群と、第１のノンリニア合成回路とを含む。リニア／ノンリニア変換回路群は、撮像感度の異なる２チャンネルの第１のリニアＲＡＷ信号群に対して入出力１：１のリニア／ノンリニア変換をそれぞれ適用し、当該第１のリニアＲＡＷ信号群よりもビット数の多い２チャンネルの第１のノンリニアＲＡＷ信号群を生成する。ノンリニアデジタルゲイン回路群は、２チャンネルの第１のノンリニアＲＡＷ信号群に基づく２チャンネルの第２のノンリニアＲＡＷ信号群にそれぞれ異なるデジタルゲインを乗算し、２チャンネルの第３のノンリニアＲＡＷ信号群を得る。第１のノンリニア合成回路は、２チャンネルの第３のノンリニアＲＡＷ信号群をＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る撮像／画像処理装置を例示するブロック図。
【図２】図１のカメラモジュールを例示するブロック図。
【図３】図１のＩＳＰ前処理部を例示するブロック図。
【図４】図３の様々な種別の入力信号に対するＩＳＰ前処理部の端子の割り当てを例示するテーブル。
【図５】図３のノンリニア／リニア変換回路によって行われるノンリニア／リニア変換を例示するグラフ。
【図６】入力飽和レベル設定と当該入力飽和レベル設定に対応するリニアデジタルゲインおよびノンリニアデジタルゲインとを例示するテーブル。
【図７】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図８】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図９】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図１０】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図１１】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図１２】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図１３】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図１４】図３のＩＳＰ前処理部によって実現可能なダイナミックレンジの数値例を示す図。
【図１５】リニアＲＡＷ信号の画素配列を例示する図。
【図１６】図３のγ補正回路によって行われるγ補正を例示するグラフ。
【図１７】ノンリニアＲＡＷ信号の輝度ヒストグラムを例示する図。
【図１８】図１７の輝度ヒストグラムに基づくトーンマッピングの説明図。
【図１９】図３のＩＳＰ前処理部によって行われるノンリニア領域でのＨＤＲ合成の説明図。
【図２０】両チャンネルに対するノンリニアデジタルゲインを図１９と比較して共通に×１．３６６倍（リニア換算で×約２倍）分増加させた場合のＨＤＲ合成の説明図。
【図２１】両チャンネルに対するノンリニアデジタルゲインを図１９と比較して共通に半減させた場合のＨＤＲ合成の説明図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。
【００１０】
（第１の実施形態）  
図１に例示されるように、第１の実施形態に係る撮像／画像処理装置は、カメラモジュール１０と、画像処理チップ２０（或いは、画像認識チップであってもよい）とを含む。画像処理チップ２０は、さらに、シリアル／パラレル変換器３０およびＩＳＰコア４０へと分割されている。ＩＳＰコア４０は、さらに、ＩＳＰ前処理部４１およびＩＳＰ後処理部４２へと分割されている。ＩＳＰコア４０を単独で画像処理装置と呼ぶこともできる。
【００１１】
カメラモジュール１０は、撮像を行ってリニアＲＡＷ信号を生成し、シリアル／パラレル変換器３０へと出力する。カメラモジュール１０は、ＣＭＯＳセンサであってもよい。シリアル／パラレル変換器３０は、カメラモジュール１０からのリニアＲＡＷ信号を例えば１２ビット×４チャンネルのパラレル信号へと変換し、ＩＳＰ前処理部４１へと出力する。
【００１２】
ＩＳＰ前処理部４１は、入力した１チャンネルまたは複数チャンネルのリニアＲＡＷ信号に基づいて、例えば、３２ビット×１チャンネルのリニアＲＡＷ信号を生成し、これを１６ビット×２チャンネルのリニアＲＡＷ信号へと分割する。そして、ＩＳＰ前処理部４１は、２チャンネルのリニアＲＡＷ信号に後述されるγ補正をそれぞれ適用し、ダイナミックレンジを拡大してからノンリニアＨＤＲ合成し、そしてＨＤＲ圧縮を施す。ＩＳＰ前処理部４１は、ＨＤＲ圧縮済みのノンリニアＲＡＷ信号をＩＳＰ後処理部４２へと出力する。
【００１３】
ＩＳＰ後処理部４２は、ＩＳＰ前処理部４１からのノンリニアＲＡＷ信号に対してデモザイク、輪郭の抽出・補正、ブライトネス／コントラスト調整などの種々の画像処理を施す。ＩＳＰ後処理部４２は、処理済みの信号（例えばノンリニアＹＵＶ信号またはノンリニアＲＧＢ信号）を図示されない後段の装置（例えば、表示装置、通信装置、記録装置など）へと出力する。
【００１４】
カメラモジュール１０は、例えば図２に示されるカメラモジュール１００であってもよい。図２のカメラモジュール１００は、光学レンズ１０１と、色フィルタ１０２と、受光画素１０３と、ＡＤＣ１０４と、ロジック信号処理部１０５と、パラレル／シリアル変換器１０６とを含む。このカメラモジュール１０は、露光時間（撮像感度）の異なる３チャンネルのリニアＲＡＷ信号を生成し、必要に応じて点滅ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）撮像用の１チャンネルのＬＥＤ信号を生成する。
【００１５】
光学レンズ１０１は、外界からの入射光を、色フィルタ１０２を介して受光画素１０３に集光する。受光画素１０３は、光学レンズ１０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと（光電）変換する。受光画素１０３は、電子シャッタ機能を備えており、設定されたシャッタ速度によって決まる期間（露光時間）に亘って電荷を蓄積する。受光画素１０３は、生成した電気信号をＡＤＣ１０４へと出力する。
【００１６】
ＡＤＣ１０４は、受光画素１０３から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのリニアＲＡＷ信号（ＲＡＷ信号）を生成する。ＡＤＣ１０４は、リニアＲＡＷ信号をロジック信号処理部１０５へと出力する。
【００１７】
リニアＲＡＷ信号の値は、対応する受光画素１０３における入射光の光量に依存する。リニアＲＡＷ信号は、例えば図１５に示されるような原色ベイヤー配列（Ｒ−Ｇｒ−Ｇｂ−Ｂ）のＲＧ／ＧＢライン順次信号であってもよい。なお、リニアＲＡＷ信号の画素配列は、色フィルタ１０２の色配列に依存して定められる。色フィルタ１０２は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）以外に、白（ＷｈまたはＹ）、黄（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）などを含んだ色配列（例えば、補色系の配列）を持つこともできる。ＲＡＷ信号の画素配列は、後述されるＩＳＰ前処理部４１によって行われる一連の画像処理（ＩＳＰ前処理）の過程では不変である。
【００１８】
ロジック信号処理部１０５は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取り、例えば高温時の温度補償、光学シェーディング補正、スタティック型キズ補正などの種々の信号処理を施す。スタティック型キズ補正とは、カメラモジュール１００の出荷時点で既知の欠陥画素を座標指定（保持）して補正する技術であり、手動キズ補正とも呼ばれる。ロジック信号処理部１０５は、処理済みの３〜４チャンネルのリニアＲＡＷ信号をパラレル／シリアル変換器１０６へと出力する。このリニアＲＡＷ信号は、一般的には１チャンネルあたり１０ビット〜１６ビット信号であるが、以降の説明では１２ビット信号と仮定される。
【００１９】
なお、ロジック信号処理部１０５は、感度の異なる複数チャンネルのリニアＲＡＷ信号（第６のリニアＲＡＷ信号群）をリニアＨＤＲ合成し、例えば２０〜３２ビット×１チャンネルのリニアＲＡＷ信号（第７のリニアＲＡＷ信号）を生成してもよい。複数チャンネルのリニアＲＡＷ信号に代えてこの１チャンネルのリニアＲＡＷ信号を出力することで、隣接する感度チャンネル間にビット重なりが存在する場合には、カメラモジュール１００と画像処理チップ２０との間の伝送信号のビット数を削減することができる。また、ロジック信号処理部１０５は、この１チャンネルのリニアＲＡＷ信号にリニア／ノンリニア変換（高輝度ノンリニア圧縮）を適用し、１チャンネルのノンリニアＲＡＷ信号（例えば１４〜２４ビット）を生成してもよい。複数チャンネルのリニアＲＡＷ信号に代えてこの１チャンネルのノンリニアＲＡＷ信号を出力することで、カメラモジュール１００と画像処理チップ２０との間の伝送信号のビット数をさらに削減することができる。
【００２０】
ロジック信号処理部１０５は、カメラモジュール１００ではなくＩＳＰ前処理部４１に組み込まれてもよい。
【００２１】
パラレル／シリアル変換器１０６は、ロジック信号処理部１０５からパラレル形式のリニアＲＡＷ信号（例えば、多ビット構成の１チャンネルまたは複数チャンネルのリニアＲＡＷ信号）またはノンリニアＲＡＷ信号を受け取る。パラレル／シリアル変換器１０６は、このリニアＲＡＷ信号またはノンリニアＲＡＷ信号をシリアル形式のｋ（ｋは例えば１以上４以下の整数）チャンネルのリニアＲＡＷ信号またはノンリニアＲＡＷ信号へと変換する。パラレル／シリアル変換器１０６は、ｋチャンネルのリニアＲＡＷ信号またはノンリニアＲＡＷ信号（例えば１４〜４８ビット）を画像処理チップ２０へと出力する。パラレル／シリアル変換器１０６をカメラモジュール１００の出力側に設けることで、当該カメラモジュール１００と画像処理チップ２０との間の信号線数を減らす事ができる。
【００２２】
ＩＳＰ前処理部４１は、例えば図３に示されるＩＳＰ前処理部２００であってもよい。図３のＩＳＰ前処理部２００は、入力信号切替回路２０１と、ノンリニア／リニア変換回路２０２と、リニアＨＤＲ合成回路２０３と、選択器２０４と、ＬＥＤ合成回路２０５と、信号２分割回路２０６と、選択器２１１と、リニアデジタルゲイン回路２１２と、γ補正回路２１３と、キズ補正／ノイズ低減処理回路２１４と、ノンリニアデジタルゲイン回路２１５と、選択器２２１と、リニアデジタルゲイン回路２２２と、γ補正回路２２３と、キズ補正／ノイズ低減処理回路２２４と、ノンリニアデジタルゲイン回路２２５と、ノンリニアＨＤＲ合成回路２３１と、ＨＤＲ圧縮回路２３２と、入力テスト画像発生回路２３３と、自動露光制御回路２３４とを含む。
【００２３】
入力信号切替回路２０１は、シリアル／パラレル変換器３０から例えば１２ビット×３チャンネルのリニアＲＡＷ信号を受け取る。これら３チャンネルは、それぞれ、Ｓ（低感度）、Ｍ（中感度）およびＬ（高感度）チャンネルと称される。このほか、入力信号切替回路２０１には供給されないが、ＬＥＤチャンネルの１２ビット信号も、シリアル／パラレル変換器３０からＬＥＤ合成回路２０５へと供給されている。
【００２４】
入力信号切替回路２０１は、入力信号の種別に応じて、必要であればビット再配列および黒レベル調整（ＯＢ（Ｏｐｔｉｃａｌ  Ｂｌａｃｋ）クランプ）などを施してから、適切な出力先を選択する。図４には、ＩＳＰ前処理部２００に供給される可能性のある様々な入力信号の種別が例示されている。入力信号切替回路２０１の作用により、図４に示されるように、様々な種別の入力信号に対して入力端子を（部分的に）共用することが可能となる。
【００２５】
（１）  タイプ１またはタイプ２のように入力信号が１２ビット×３チャンネルのリニアＲＡＷ信号に相当する場合には、入力信号切替回路２０１はＳ、ＭおよびＬチャンネルのリニアＲＡＷ信号をそのまま３チャンネル（以降、Ｓ１、Ｍ１およびＬ１チャンネルとも称される）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力すればよい（パススルー）。なお、タイプ３またはタイプ４のように入力信号が１２ビット×２チャンネルのリニアＲＡＷ信号に相当する場合についても、入力信号切替回路２０１は同様に、２チャンネル（以降、Ｓ１およびＬ１チャンネルとも称される）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力すればよい。
【００２６】
（２）  タイプ５およびタイプ６のように入力信号が２０〜３２ビット×１チャンネルのリニアＲＡＷ信号に相当する場合には、当該リニアＲＡＷ信号は複数チャンネルに分割して伝送されている。故に、入力信号切替回路２０１はビット再配列により１チャンネルのリニアＲＡＷ信号を復元し、黒レベル調整を施してから選択器２０４へと出力する。
【００２７】
（３）  タイプ７およびタイプ８のように入力信号が１４〜２０ビット×１チャンネルのノンリニアＲＡＷ信号に相当する場合には、当該ノンリニアＲＡＷ信号は複数のチャンネルに分割して伝送されている。故に、入力信号切替回路２０１はビット再配列により１チャンネルのノンリニアＲＡＷ信号を復元し、黒レベル調整を施してからノンリニア／リニア変換回路２０２へと出力する。
【００２８】
（４）  タイプ９のように入力信号が１６ビット×２チャンネルのリニアＲＡＷ信号に相当する場合には、当該リニアＲＡＷ信号の各々は複数のチャンネルに分割して伝送されている。故に、入力信号切替回路２０１はビット再配列により１６ビット×２チャンネル（以降、Ｓ３およびＬ３チャンネルとも称される）のリニアＲＡＷ信号を復元し、黒レベル調整を施してから、Ｓ３チャンネルのリニアＲＡＷ信号を選択器２１１へと出力し、Ｌ３チャンネルのリニアＲＡＷ信号を選択器２２１へと出力する。
【００２９】
ノンリニア／リニア変換回路２０２は、入力信号切替回路２０１から１４〜２０ビット×１チャンネルのノンリニアＲＡＷ信号（第４のノンリニアＲＡＷ信号）を受け取る。ノンリニア／リニア変換回路２０２は、このノンリニアＲＡＷ信号にノンリニア／リニア変換を適用し、例えば３２ビット×１チャンネルのリニアＲＡＷ信号（第９のリニアＲＡＷ信号）を生成する。ノンリニア／リニア変換回路２０２は、このリニアＲＡＷ信号を選択器２０４へと出力する。なお、ノンリニア／リニア変換回路２０２は、このリニアＲＡＷ信号のビット数が所定数（例えば３２）に満たない場合には、当該リニアＲＡＷ信号の上位ビットを「０」で補填してもよい。
【００３０】
ノンリニア／リニア変換回路２０２によって適用されるノンリニア／リニア変換の入出力特性は、上記ノンリニアＲＡＷ信号を生成するために用いられたリニア／ノンリニア変換の入出力特性に依存する。例えば高輝度ノンリニア圧縮によりノンリニアＲＡＷ信号が生成されているならば、ノンリニア／リニア変換回路２０２は、図５に例示されるように、ノンリニアＲＡＷ信号の強度が高いほど大きなゲイン（×１、×２、×４、×８・・・）を乗算することで高輝度ノンリニア伸長を実現してもよい。図５において、実線は出力を表し、破線は入力を表す。但し、図５のノンリニア／リニア変換は、２４ビットのノンリニアＲＡＷ信号に対して最大で×６４倍のゲインを用いたとしても、２８ビットのリニアＲＡＷ信号を生成（すなわち、４ビットの伸長を実現）できるに過ぎない（１／（６４×２）＋１／（３２×４）＋１／（１６×８）＋１／（８×１６）＋１／（４×３２）＋１／（２×６４）＋１／（１×６４）＝８／１２８＝１／１６、出力＝入力×１６倍で＋４ビット伸長）。従って、仮に６〜８ビット以上の伸長を実現する場合には、高輝度領域における量子化精度は相当に粗くなると推測される。
【００３１】
リニアＨＤＲ合成回路２０３は、入力信号切替回路２０１から１２ビット×３チャンネル（または１２ビット×２チャンネル）のリニアＲＡＷ信号（第４のリニアＲＡＷ信号群）を受け取る。リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成し、例えば３２ビット×１チャンネルのリニアＲＡＷ信号（第５のリニアＲＡＷ信号）を生成する。リニアＨＤＲ合成回路２０３は、このリニアＲＡＷ信号を選択器２０４へと出力する。なお、リニアＨＤＲ合成回路２０３は、このリニアＲＡＷ信号のビット数が所定数（例えば３２）に満たない場合には、当該リニアＲＡＷ信号の上位ビットを「０」で補填してもよい。
【００３２】
選択器２０４は、入力信号切替回路２０１、ノンリニア／リニア変換回路２０２およびリニアＨＤＲ合成回路２０３の出力端子にそれぞれ接続される第１の入力端子、第２の入力端子および第３の入力端子を備える。ＩＳＰ前処理部２００の入力信号がタイプ１、タイプ２、タイプ３またはタイプ４であるならば、選択器２０４は、第３の入力端子を選択し、リニアＨＤＲ合成回路２０３からのリニアＲＡＷ信号（第８のリニアＲＡＷ信号）をＬＥＤ合成回路２０５へと導く。ＩＳＰ前処理部２００の入力信号がタイプ５またはタイプ６であるならば、選択器２０４は、第１の入力端子を選択し、入力信号切替回路２０１からのリニアＲＡＷ信号（第８のリニアＲＡＷ信号）をＬＥＤ合成回路２０５へと導く。ＩＳＰ前処理部２００の入力信号がタイプ７またはタイプ８であるならば、選択器２０４は、第２の入力端子を選択し、ノンリニア／リニア変換回路２０２からのリニアＲＡＷ信号（第８のリニアＲＡＷ信号）をＬＥＤ合成回路２０５へと導く。
【００３３】
ＬＥＤ合成回路２０５は、選択器２０４から３２ビット×１チャンネルのリニアＲＡＷ信号を受け取り、シリアル／パラレル変換器３０から１２ビット×１チャンネルのＬＥＤ信号を受け取る。ＬＥＤ合成回路２０５は、リニアＲＡＷ信号にＬＥＤ信号を例えば公知の技法を用いて合成し、３２ビット×１チャンネルのリニアＲＡＷ信号を生成する。ＬＥＤ合成回路２０５は、このリニアＲＡＷ信号を信号２分割回路２０６へと出力する。
【００３４】
なお、ＩＳＰ前処理部２００の入力信号がタイプ２、タイプ４、タイプ６、タイプ８またはタイプ９であるならば、ＬＥＤ信号は存在しない。故に、選択器２０４は、リニアＲＡＷ信号を信号２分割回路２０６へと直接供給してもよい。
【００３５】
信号２分割回路２０６は、ＬＥＤ合成回路２０５（または選択器２０４）から３２ビット×１チャンネルのリニアＲＡＷ信号（第２のリニアＲＡＷ信号）を受け取り、当該リニアＲＡＷ信号を上位ビット信号と下位ビット信号と（２チャンネルの第３のリニアＲＡＷ信号群）に二分割（再分割）する。但し、上位ビット信号と下位ビット信号との間には重複があってもよい。例えば、上位ビット信号の下位ｎビットと下位ビット信号の上位ｎビットとが重複してもよい。信号２分割回路２０６は、例えば、入力リニアＲＡＷ信号の上位１６ビットを短時間露光（低感度）に対応するＳ２チャンネルのリニアＲＡＷ信号として選択器２１１へと出力し、入力リニアＲＡＷ信号の下位１６ビットを長時間露光（高感度）に対応するＬ２チャンネルのリニアＲＡＷ信号として選択器２２１へと出力する。
【００３６】
なお、信号２分割回路２０６は、入力リニアＲＡＷ信号を等分割する必要はない。例えば、信号２分割回路２０６は、リニアＲＡＷ信号を上位ｐビットと下位ｑ（ｐ≠ｑかつｐ＋ｑ≧３２）ビットとに分割してもよい。ｐを小さくするほど、Ｓ２／Ｌ２感度比を大きく設定することができる。
【００３７】
選択器２１１は、入力信号切替回路２０１および信号２分割回路２０６にそれぞれ接続される第１の入力端子および第２の入力端子を備える。ＩＳＰ前処理部２００の入力信号がタイプ１〜８であるならば、選択器２１１は、第１の入力端子を選択し、入力信号切替回路２０１からのリニアＲＡＷ信号（Ｓ２）をリニアデジタルゲイン回路２１２へと導く。他方、ＩＳＰ前処理部２００の入力信号がタイプ９であるならば、選択器２１１は、第２の入力端子を選択し、信号２分割回路２０６からのリニアＲＡＷ信号（Ｓ３）（第１０のリニアＲＡＷ信号）をリニアデジタルゲイン回路２１２へと導く。
【００３８】
リニアデジタルゲイン回路２１２は、選択器２１１から低感度チャンネルのリニアＲＡＷ信号（Ｓ２またはＳ３）を受け取る。リニアデジタルゲイン回路２１２は、リニアＲＡＷ信号にリニアデジタルゲインを乗算する。リニアデジタルゲイン回路２１２は、ゲイン補正済みのリニアＲＡＷ信号をγ補正回路２１３へと出力する。
【００３９】
このリニアデジタルゲインは、図１の撮像装置全体の撮像感度設定に加えて、色調を補正（典型的には、ホワイトバランスを調整）するための色毎に設定される第１のゲイン、ならびに、シェーディング補正のために画面内位置に応じて設定される第２のゲイン、のうち少なくとも１つに依存して定められてもよい。
【００４０】
γ補正回路２１３は、リニアデジタルゲイン回路２１２から低感度チャンネルの例えば１６ビットリニアＲＡＷ信号（第１のリニアＲＡＷ信号）を受け取る。γ補正回路２１３は、リニアＲＡＷ信号にγ補正を適用することによって、当該リニアＲＡＷ信号よりもビット数の多い例えば２０ビットのノンリニアＲＡＷ信号（第１のノンリニアＲＡＷ信号）を生成する。γ補正回路２１３は、ノンリニアＲＡＷ信号をキズ補正／ノイズ低減処理回路２１４へと出力する。
【００４１】
具体的には、γ補正回路２１３は、例えば下記数式（１）に示される入出力１：１（すなわち、相異なる入力に対応する出力同士に重複がない）の多ビット化γ補正をリニアＲＡＷ信号に適用することができる。
【００４２】
数式（１）は、γ補正における理想特性を示し、この場合は計算上で求められる理想的なリニア／ノンリニア変換になる（小数点以下は四捨五入）。
【００４３】
【数１】
2018026759.tif 000003
【００４４】
数式（１）において、ＯＵＴ（ｘ）はＡＤＣ１０４の入力信号レベルがｘ［％］の場合のノンリニアＲＡＷ信号の値を表し、ＩＮ（ｘ）は入力信号レベルがｘ［％］の場合のリニアＲＡＷ信号の値を表す。ＩＮ（０）およびＩＮ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のリニアＲＡＷ信号の設定値を表す。
【００４５】
γは、例えばＩＳＰ前処理部２００の後段に設けられる図示されない表示装置の入出力特性に応じて定められるγ補正係数である。例えばγ＝０．４５の場合には、入出力１：１を守ると、出力ビット数は入力ビット数よりも２ビット以上多くなる。γは０．４５とは異なる値であってもよく、例えば０．５のように単純化されてもよい。
【００４６】
ＯＵＴ（０）およびＯＵＴ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のノンリニアＲＡＷ信号の設定値を表す。ＯＵＴ（１００）−ＯＵＴ（０）を大きくすれば、ノンリニアＲＡＷ信号のビット数を任意に増加させることができる。ただし、γ補正は入出力１：１のリニア／ノンリニア変換であるから、ノンリニアＲＡＷ信号のビット数がリニアＲＡＷ信号に比べてどれだけ増加しようとも、ノンリニアＲＡＷ信号自体の階調数はリニアＲＡＷ信号の階調数よりも下回ることはないし超えることもない。
【００４７】
ＩＮ（０）＝４０９６、ＩＮ（１００）＝４５０５６、γ＝０．４５、ＯＵＴ（０）＝２４５７６０、ＯＵＴ（１００）＝９０１１２０という数値例では、γ補正回路２１３は図１６に例示されるγ補正を、１６ビットのリニアＲＡＷ入力信号に適用して２０ビットのノンリニアＲＡＷ出力信号を生成する。
【００４８】
ここで、ＩＮ（０）からＩＮ（１００）までの範囲には合計で４０９６０（＝４５０５６−４０９６）個の階調が存在する。４０９６０は、１６ビットのリニアＲＡＷ信号の表現可能な階調である６５５３６の１０／１６に相当する。そして、ＩＮ（０）＝４０９６＝６５５３６×１／１６であって、ＩＮ（１００）＝４５０５６＝６５５３６×１１／１６であるから、ノンリニアＲＡＷ信号の最大値である６５５３５はＩＮ（１５０）＝６５５３６と略等しい。
【００４９】
同様に、ＯＵＴ（０）からＯＵＴ（１００）までの範囲には合計で６５５３６０（＝９０１１２０−２４５７６０）個の階調が存在する。６５５３６０は、２０ビットのノンリニアＲＡＷ信号の表現可能な階調である１０４８５７６の１０／１６に相当する。そして、ＯＵＴ（０）＝２４５７６０＝１０４８５７６×３．７５／１６であって、ＯＵＴ（１００）＝９０１１２０＝１０４８５７６×１３．７５／１６であるから、ノンリニアＲＡＷ信号の最大値である１０４８５７５はＯＵＴ（１２２．５）＝１０４８５７６と略等しい。但し、ＩＮ（ｘ）が最小値（０）である場合のノンリニアＲＡＷ信号の値は１３２２９（＞０）であって、ＩＮ（ｘ）が最大値（６５５３５）である場合のノンリニアＲＡＷ信号の値は１０３２２９５（＜１０４８５７５）である。故に、ＩＮ（ｘ）がどのような値であっても、ＯＵＴ（ｘ）は飽和しない。
【００５０】
図１６のγ補正によれば、リニアＲＡＷ信号には信号レベル毎に個別のゲインが与えられる。そして、ノンリニアＲＡＷ信号は、低輝度側では非線形に変化するが、高輝度側では略線形に変化する。すなわち、ノンリニアＲＡＷ信号は、低輝度側では、階調の刻み幅が大きく、かつ、変化しやすい（輝度が高くなるにつれて階調の刻み幅は単調減少する）。他方、ノンリニアＲＡＷ信号は、高輝度側では、階調の刻み幅が小さく、かつ、階調の刻み幅は殆ど変化しないが０となることはない。
【００５１】
なお、γ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。γ補正の入出力特性は、固定であってもよい。この場合に、γ補正回路２１３は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に保存された固定のルックアップテーブルを参照することでγ補正を行ってもよいし、ＨＷＬ（Ｈａｒｄ  Ｗｉｒｅｄ  Ｌｏｇｉｃ）を用いてγ補正を行ってもよい。このようにγ補正の入出力特性を固定することで、γ補正回路２１３の回路規模を抑制することができる。γ補正の入出力特性は、例えば表計算ソフトウェアを用いて簡易に計算することができる。また、γ補正は、他の入出力１：１の多ビット化リニア／ノンリニア変換に置き換えることもできる。
【００５２】
キズ補正／ノイズ低減処理回路２１４は、γ補正回路２１３からノンリニアＲＡＷ信号を受け取る。キズ補正／ノイズ低減処理回路２１４は、ノンリニアＲＡＷ信号に対してキズ補正処理およびノイズ低減処理の少なくとも一方を適用する。キズ補正／ノイズ低減処理回路２１４は、処理済みのノンリニアＲＡＷ信号（例えば２３ビット）をノンリニアデジタルゲイン回路２１５へと出力する。
【００５３】
具体的には、キズ補正／ノイズ低減処理回路２１４は、ノンリニアＲＡＷ信号を５ライン同時化し、５×５画素領域を抽出する。５ライン同時化処理は、例えば４Ｈラインメモリを用いて実装することができる。抽出された５×５画素領域の中央を占める画素が、キズ補正／ノイズ低減処理回路２１４による処理の対象（対象画素）とされる。対象画素は、受光画素１０３の有効画素領域の走査順に従って順次選択される。すなわち、あらゆる画素を対象画素として選択することができる。キズ補正／ノイズ低減処理回路２１４は、対象画素と同色の８個の画素からなる周囲画素群に属する複数の画素（におけるノンリニアＲＡＷ信号）の値の重み付け和を計算する。この重み付け和は、キズ補正処理およびノイズ低減処理の両方に使用することができる。キズ補正／ノイズ低減処理回路２１４は、キズ補正処理およびノイズ低減処理の便宜上、対象画素（におけるノンリニアＲＡＷ信号）の値を重みの総和倍（Ｒｃとする）にする。
【００５４】
なお、キズ補正／ノイズ低減処理回路２１４は、周囲画素群に属する全画素を用いて重み付け和を計算する必要はない。寧ろ、周囲画素群にキズ（白キズまたは黒キズ）に相当すると推定される画素が含まれている場合には、以下に説明するように、キズ補正／ノイズ低減処理回路２１４は周囲画素群から係る画素を除外した推定正常画素群に属する画素の値の重み付け和を計算することが好ましい。
【００５５】
本実施形態において、画素はキズ（白キズ若しくは黒キズ）または正常のどちらかと仮定される。現実には、種々のノイズに埋もれる程度の微細なキズに相当する画素も存在するが、このようなキズは適切に検出・補正することが困難なので、正常画素として取り扱われる。
【００５６】
以降の説明では、周囲画素群に属する８個の同色画素値を降順にＲｎ、Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、Ｒｇ、Ｒｆ、Ｒｅで表すこととする。
【００５７】
白キズの最大許容個数が１個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）を持つ画素のみが、白キズに相当する可能性があるので推定正常画素群から除外される。白キズの最大許容個数が２個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）を持つ画素に加えて第２番目に大きい画素値（Ｒｍ）を持つ画素が、白キズに相当する可能性があるので推定正常画素群から除外される。
【００５８】
なお、白キズの個数が３個である場合には、直線上に並んだ白キズと縞画像との区別ができないのでキズ補正は機能しなくなる。故に、白キズの最大許容個数は高々２である。黒キズの最大許容個数も同様の理由から高々２である。
【００５９】
同様に、黒キズの最大許容個数が１個の場合には、周囲画素群に属する画素のうち最小値（Ｒｅ）を持つ画素のみが、黒キズに相当する可能性があるので推定正常画素群から除外される。黒キズの最大許容個数が２個の場合には、周囲画素群に属する画素のうち最小値（Ｒｅ）を持つ画素に加えて第２番目に小さい画素値（Ｒｆ）を持つ画素が、黒キズに相当する可能性があるので推定正常画素群から除外される。
【００６０】
すなわち、白キズおよび黒キズの最大許容個数が共に１個の場合には、キズ補正／ノイズ低減処理回路２１４は、Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆの値を持つ６個の画素を推定正常画素群として特定する。
【００６１】
白キズおよび黒キズの最大許容個数がそれぞれ１個および２個の場合には、キズ補正／ノイズ低減処理回路２１４は、Ｒｍ、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ５個の画素を推定正常画素群として特定する。
【００６２】
白キズおよび黒キズの最大許容個数がそれぞれ２個および１個の場合には、キズ補正／ノイズ低減処理回路２１４は、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆの値を持つ５個の画素を推定正常画素群として特定する。
【００６３】
白キズおよび黒キズの最大許容個数が共に２個の場合には、キズ補正／ノイズ低減処理回路２１４は、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ４個の画素を推定正常画素群として特定する。
【００６４】
なお、白キズおよび黒キズの最大許容個数がそれぞれ１または２のいずれの場合であっても、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの値を持つ４個の画素は常に推定正常画素群に含まれる。故に、キズ補正／ノイズ低減処理回路２１４は、キズおよび黒キズの最大許容個数に関わらず、例えば下記数式（２）に従って、Ｒｋ、Ｒｊ、ＲｈおよびＲｇの重み付け和（Ｒａ）を計算してもよい。
【００６５】
【数２】
2018026759.tif 000004
【００６６】
ここで、ｍおよびｎは重みを表す。数式（２）によって計算された重み付け和（Ｒａ）を、対象画素の値（Ｒｃ）の理論的な基準値としてキズ補正処理またはノイズ低減処理に用いることで、対象画素の値（Ｒｃ）の量子化精度は少なくとも×（２ｍ＋２ｎ）倍（すなわち、＋ｌｏｇ２（２ｍ＋２ｎ）ビット）分改善する。例えば、（ｍ，ｎ）＝（０，１）であれば、量子化精度は少なくとも×２倍（＋１ビット）分改善する。（ｍ，ｎ）＝（１，１）であれば、量子化精度は少なくとも×４倍（＋２ビット）分改善する。（ｍ，ｎ）＝（１，３）であれば、量子化精度は少なくとも×８倍（＋３ビット）分改善する。（ｍ，ｎ）＝（１，７）であれば、量子化精度は少なくとも×１６倍（＋４ビット）分改善する。以降の説明では、（ｍ，ｎ）＝（１，３）とし、対象画素の値（Ｒｃ）のビット数を２３（＝２０＋３）ビットとする。
【００６７】
なお、重み付け和（Ｒａ）をキズ補正処理またはノイズ低減処理に用いることによる量子化精度の改善効果は、対象画素の値（Ｒｃ）が黒付近であるか白付近であるかによって大きく異なり、白付近では上記数値例と大差ないが、黒付近では上記数値例に比して相当に高い。前述のように、ノンリニアＲＡＷ信号は黒付近では階調間の刻み幅が変化しやすいので、黒付近の値の重み付け和（Ｒａ）は広範囲に分散してより細やかな階調を表現できる。
【００６８】
キズ補正／ノイズ低減処理回路２１４は、例えば、対象画素の値（Ｒｃ）と周囲画素群に属する複数の画素（におけるノンリニアＲＡＷ信号）の値とに基づいて当該対象画素に対してキズ検出を行う。キズ補正／ノイズ低減処理回路２１４は、対象画素をキズとして検出したならば、当該対象画素の値（Ｒｃ）を少なくとも重み付け和（Ｒａ）に基づいて補正する。
【００６９】
或いは、キズ補正／ノイズ低減処理回路２１４は、例えば、重み付け和（Ｒａ）と対象画素の値（Ｒｃ）との差分をノイズ基本成分として算出する。そして、キズ補正／ノイズ低減処理回路２１４は、このノイズ基本成分にノイズ低減の強度を定める係数を乗算し、これらの積を対象画素の値（Ｒｃ）から減算（または積を対象画素の値（Ｒｃ）に加算）することでノイズ低減を行う。なお、キズ補正／ノイズ低減処理回路２１４は、ここで説明された技法とは異なる技法を用いてノイズを低減してもよい。
【００７０】
なお、キズ補正／ノイズ低減処理は一般的にはリニアＲＡＷ信号を対象とするが、キズ補正／ノイズ低減処理回路２１４はノンリニアＲＡＷ信号を対象としている。例えばγ＝０．４５のγ補正によって得られるノンリニアＲＡＷ信号は、高輝度に比べて低輝度に敏感な人間の視覚特性に適合している。このため、キズ補正／ノイズ低減処理回路２１４は、ノンリニアＲＡＷ信号を用いた演算により、キズ検出・補正およびノイズ低減を高精度に実現することができる。故に、カメラモジュール１００の歩留まりの向上およびＳＮＲの向上が期待できる。
【００７１】
ノンリニアデジタルゲイン回路２１５は、キズ補正／ノイズ低減処理回路２１４からノンリニアＲＡＷ信号（第２のノンリニアＲＡＷ信号）を受け取る。ノンリニアデジタルゲイン回路２１５は、ノンリニアＲＡＷ信号に対して×０倍よりも大きなノンリニアデジタルゲインを乗算する。このノンリニアデジタルゲインは、例えばＳ２／Ｌ２感度比またはＳ３／Ｌ３感度比に一致するように定められてもよいが、後述のように様々な要素に依存して調整することができる。ノンリニアデジタルゲイン回路２１５は、ゲイン補正済みのノンリニアＲＡＷ信号（第３のノンリニアＲＡＷ信号）をノンリニアＨＤＲ合成回路２３１へと出力する。
【００７２】
このノンリニアデジタルゲインは、ノンリニアＲＡＷ信号の撮像感度に影響する。後述されるように、例えばリニアデジタルゲインなどの他の要素が固定であれば、ノンリニアデジタルゲインを×約１．３６６倍にすることで撮像感度は２倍となる。
【００７３】
なお、所与の撮像感度を達成するノンリニアデジタルゲイン（ＮＬＤＧ）は、同一のダイナミックレンジを達成するリニアデジタルゲイン（ＬＤＧ）に基づいて、以下の数式（３）により算出することができる。
【００７４】
【数３】
2018026759.tif 000005
【００７５】
数式（３）では、ＬＤＧの冪指数を０．４５に設定しているが、この冪指数はγ補正回路２１３によって用いられるγ補正係数（γ）の値に等しい。
【００７６】
図６には、入力飽和レベル（すなわち、撮像感度）設定（ＩＤＲＳ：Ｉｎｐｕｔ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｓｅｔｔｉｎｇ）と、当該撮像感度設定に対応するリニアデジタルゲインおよびノンリニアデジタルゲインが示されている。リニアデジタルゲインおよびノンリニアデジタルゲインのいずれも、×１倍以上に設定した場合には、階調間隔を拡大して撮像感度を引き上げる効果がある。例えば、リニアデジタルゲイン（ＬＤＧ）を２倍にすれば、撮像感度も２倍となる。他方、撮像感度を２倍にするために必要なノンリニアデジタルゲインは約１．３６６倍に過ぎない。これは、上記数式（３）より明らかで、２０．４５＝１．３６６となる。
【００７７】
数式（３）および図６に例示されるように、ノンリニアデジタルゲインは、リニアデジタルゲインに比べて低い倍率で撮像感度を同等に向上させることができる。すなわち、リニアデジタルゲインは、より小さなノンリニアデジタルゲインによって置換することができる。故に、リニアデジタルゲインよりも優先してノンリニアデジタルゲインを増加させれば、ＳＮＲの劣化を抑制しながら撮像感度を向上させることができる。
【００７８】
ノンリニアデジタルゲイン回路２１５としてのデジタル乗算器が×０〜×約２５６倍までに対応しているとすれば、当該ノンリニアデジタルゲイン回路２１５はリニアデジタルゲインの×１３１０７２倍に相当する×約２００倍のノンリニアデジタルゲインを使用できる。この結果、ゲイン補正済みのノンリニアＲＡＷ信号の理論上のダイナミックレンジは１８６［ｄＢ］となり、ビット数は３１（＝２３＋８）となる。
【００７９】
ノンリニアデジタルゲインは、Ｓ２／Ｌ２感度比またはＳ３／Ｌ３感度比をベースに以下のように調整されてもよい。
【００８０】
例えば、図１９に例示されるように、Ｓ２／Ｌ２感度比またはＳ３／Ｌ３感度比がノンリニアデジタルゲイン換算で×１２．１２６倍であったとする。この場合に、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、基本的に、それぞれ×１２．１２６倍および×１倍のノンリニアデジタルゲインを使用すればよい。この結果、両チャンネルのノンリニアＲＡＷ信号を合成した場合のダイナミックレンジは、１２０［ｄＢ］である。
【００８１】
両チャンネルのノンリニアデジタルゲインを共通に増加させることもできる。具体的には、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、図２０に例示されるように、それぞれ×１６．５６（＝１２．１２６×１．３６６）倍および×１．３６６倍のノンリニアデジタルゲインを使用してもよい。この結果、図１９に比べると、両チャンネルの感度比が変化することなく、両チャンネルの撮像感度はそれぞれリニアデジタルゲイン換算で×２倍分増加し、両チャンネルのノンリニアＲＡＷ信号を合成した場合のダイナミックレンジは１２６［ｄＢ］に拡大する。
【００８２】
また、両チャンネルのノンリニアデジタルゲインを共通に減少させることもできる。具体的には、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、図２１に例示されるように、それぞれ×約６．０６３（＝１２．１２６／２）倍および×０．５（＝１／２）倍のノンリニアデジタルゲインを使用してもよい。なお、×０．５倍のノンリニアデジタルゲインの乗算は、最下位ビットの切り捨てと等価である。長時間露光チャンネルのノンリニアＲＡＷ信号の下位ビットは精度が低いので、切り捨てによる画質への悪影響は限定的である。この結果、図１９に比べると、両チャンネルのノンリニアＲＡＷ信号を合成した場合のダイナミックレンジは１１４［ｄＢ］に縮小しているものの、両チャンネルの感度比は変化せず、使用されるノンリニアデジタルゲインは半分で済む。
【００８３】
ノンリニアデジタルゲイン回路２１５によって用いられるノンリニアデジタルゲインは、Ｓ２／Ｌ２感度比またはＳ３／Ｌ３感度比（および第３のゲイン）に加えて前述の第１のゲインまたは第２のゲインをさらに考慮して定められてもよい。例えば、リニアデジタルゲイン回路２１２を取り除き、ノンリニアデジタルゲイン回路２１５に色調の補正またはシェーディング補正をさらに行わせてもよい。
【００８４】
但し、リニアデジタルゲイン回路２１２はリニアＲＡＷ信号に対してデジタルゲインを乗算するが、ノンリニアデジタルゲイン回路２１５はノンリニアＲＡＷ信号に対してデジタルゲインを乗算する。故に、リニアデジタルゲイン回路２１２とノンリニアデジタルゲイン回路２１５との間で、色調の補正およびシェーディング補正に必要とされるゲインは相違する。
【００８５】
選択器２２１、リニアデジタルゲイン回路２２２、γ補正回路２２３、キズ補正／ノイズ低減処理回路２２４およびノンリニアデジタルゲイン回路２２５の動作は、使用されるノンリニアデジタルゲインの値を除いて、選択器２１１、リニアデジタルゲイン回路２１２、γ補正回路２１３、キズ補正／ノイズ低減処理回路２１４およびノンリニアデジタルゲイン回路２１５と同様であってよいので詳細な説明を省略する。短時間露光（低感度）チャンネルと長時間露光（高感度）チャンネルとで、共通の回路構成を採用してもよい。共通の回路構成を採用することで、設計時間の短縮、後述される故障検出機能の実現などの効果がある。また、ノンリニアデジタルゲイン回路２２５の用いるノンリニアデジタルゲインを×１倍に固定できるのであれば、当該ノンリニアデジタルゲイン回路２２５は不要となる。
【００８６】
例えば、リニアデジタルゲイン回路２２２、γ補正回路２２３、キズ補正／ノイズ低減処理回路２２４およびノンリニアデジタルゲイン回路２２５が、リニアデジタルゲイン回路２１２、γ補正回路２１３、キズ補正／ノイズ低減処理回路２１４およびノンリニアデジタルゲイン回路２１５とそれぞれ共通の回路構成を持つとすれば、以下のような故障検出機能を実現できる。
【００８７】
まず、短時間露光チャンネルおよび長時間露光チャンネルに共通のリニアデジタルゲインおよびノンリニアデジタルゲインが設定され、リニアデジタルゲイン回路２１２およびリニアデジタルゲイン回路２２２に同一の故障検出用のリニアＲＡＷ信号が供給される。短時間露光チャンネル向けの回路および長時間露光チャンネル向けの回路のいずれかが故障していない限りは、キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は同数のキズを検出することになる。故に、キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４によって検出されるキズの個数を比較すれば故障の検出が可能である。
【００８８】
同様に、短時間露光チャンネル向けの回路および長時間露光チャンネル向けの回路のいずれかが故障していない限りは、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は同一のノンリニアＲＡＷ信号を出力することになる。故に、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５の出力を比較することによっても故障の検出が可能である。
【００８９】
但し、キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は異なるキズ検出基準を用いる（すなわち、一方が他方に比べて厳格にキズを検出する）可能性がある。この場合には、キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４の間でキズ検出結果の相違した画素を除いたうえで、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５の出力を比較すればよい。
【００９０】
なお、選択器２１１および選択器２２１は、まとめて選択器群と呼ぶことができる。リニアデジタルゲイン回路２１２およびリニアデジタルゲイン回路２２２は、まとめてリニアデジタルゲイン回路群と呼ぶことができる。γ補正回路２１３およびγ補正回路２２３は、まとめてγ補正回路群と呼ぶことができる。キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、まとめてキズ補正／ノイズ低減処理回路群と呼ぶことができる。ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、まとめてノンリニアデジタルゲイン回路群と呼ぶことができる。
【００９１】
ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲイン回路２１５から短時間露光に対応するＳ４チャンネルのノンリニアＲＡＷ信号を受け取り、ノンリニアデジタルゲイン回路２２５から長時間露光に対応するＬ４チャンネルのノンリニアＲＡＷ信号を受け取り、これらをＨＤＲ合成する。ノンリニアＨＤＲ合成回路２３１は、合成済みのリニアＲＡＷ信号（例えば３１ビット）をＨＤＲ圧縮回路２３２へと出力する。
【００９２】
ＨＤＲ圧縮回路２３２は、ノンリニアデジタルゲイン回路２１５からノンリニアＲＡＷ信号を受け取る。ＨＤＲ圧縮回路２３２は、ノンリニアＲＡＷ信号に圧縮係数を乗算し、ダイナミックレンジを圧縮する。ＨＤＲ圧縮回路２３２は、ダイナミックレンジ圧縮済みのノンリニアＲＡＷ信号をＩＳＰ後処理部４２へと出力する。なお、ＨＤＲ圧縮回路２３２の出力信号のダイナミックレンジは、ＩＳＰ後処理部４２がサポート可能なダイナミックレンジに適合するように定められる。
【００９３】
具体的には、ＨＤＲ圧縮回路２３２は、例えばトーンマッピングを用いて局所的なコントラストをできるだけ維持しながら、ノンリニアＲＡＷ信号のダイナミックレンジを圧縮する。例えば、ＨＤＲ圧縮回路２３２は、図１７に示されるように、ノンリニアＲＡＷ信号の輝度レベルのヒストグラムを作成する。それから、ＨＤＲ圧縮回路２３２は、図１８に示されるように、各ビンに属するノンリニアＲＡＷ信号に対して当該ビンの頻度に応じて解像度を割り当てることにより、圧縮係数を生成する。頻度が高いビンには高い解像度（階調を維持する高いゲイン）が割り当てられ、頻度が低いビンには低い解像度（階調を維持する低いゲイン）が割り当てられる。
【００９４】
また、輝度ヒストグラムの元離散値列は、頻度ばらつきが大きく、ゆえに高／低ゲインの推移変動も大きくなる可能性がある。そこで、輝度（水平）方向の度数分布に狭帯域ＬＰＦを施し、推移変動を抑える手法も考えられる。
【００９５】
なお、ＨＤＲ圧縮回路２３２は、ノンリニアＲＡＷ信号の輝度レベルを以下のように導出することができる。例えば図１５の画素配列から抽出可能な３×３画素領域の色配列は、４つのパターンに大別することができる。すなわち、中心画素の色が赤（Ｒ）のパターン、中心画素の色が緑（Ｇｒ）かつ当該中心画素と同ラインの隣接画素の色が赤のパターン、中心画素の色が緑（Ｇｂ）かつ当該中心画素と同ラインの隣接画素の色が青（Ｂ）のパターン、ならびに、中心画素の色が青のパターンの４つが存在する。一般に、ＲＧＢから輝度（ＹＵＶフォーマットのＹ）への変換式として、以下の数式（４）が知られている。
【００９６】
【数４】
2018026759.tif 000006
【００９７】
しかしながら、ＨＤＲ圧縮回路２３２は、圧縮係数の制御に使用できる程度の精度で輝度を算出すればよい。そこで、ＨＤＲ圧縮回路２３２は、下記数式（５）の加重平均を擬似的な輝度として算出する。
【００９８】
【数５】
2018026759.tif 000007
【００９９】
数式（５）を用いれば、３×３画素領域の色配列が上記４パターンのいずれであったとしても、ＨＤＲ圧縮回路２３２は以下のフィルタ係数を用いて擬似的な輝度を簡単に算出できる。
【０１００】
【数６】
2018026759.tif 000008
【０１０１】
なお、ＧｒおよびＧｂを区別する場合には、数式（５）に代えて下記数式（６）を用いることができる。
【０１０２】
【数７】
2018026759.tif 000009
【０１０３】
ＨＤＲ圧縮回路２３２の出力するノンリニアＲＡＷ信号のビット数は入力するノンリニアＲＡＷ信号のビット数に比べて小さい。故に、図３に例示されるようにＨＤＲ圧縮回路２３２をＩＳＰ前処理部２００内部の最後段のブロックとして配置することで、当該ＩＳＰ前処理部２００とＩＳＰ後処理部４２との間の伝送信号のビット数を最小化することができる。
【０１０４】
自動露光制御回路２３４は、例えば輝度に基づいて、シャッタ速度、アナログゲイン、リニアデジタルゲインおよびノンリニアデジタルゲインの一部または全部を制御することで撮像感度を制御する。係る機能は、ＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｕｍｉｎａｎｃｅ−ｌｅｖｅｌ  Ｃｏｎｔｒｏｌ）とも呼ばれる。ここで、ＡＬＣとは、自動露出（ＡＥ；Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）の一種であり、照明光源、撮像レンズ内の光学絞り等に頼らずシャッタ速度および種々のゲインを制御することで感度制御を実現する技術を指す。なお、自動露光制御回路２３４の機能の一部または全部に相当する機能部がカメラモジュール１００に組み込まれてもよい。入力テスト画像発生回路２３３は、テスト用の入力画像を発生する。
【０１０５】
以下、図７乃至図１４を用いて、図３のＩＳＰ前処理部２００によって実現可能なダイナミックレンジのいくつかの数値例を説明する。なお、図７乃至図１０の例では、ノンリニアデジタルゲイン回路２１５は×０倍〜×約２５６倍のノンリニアデジタルゲインを使用できることとする。他方、図１１乃至図１４の例では、ノンリニアデジタルゲイン回路２１５は×０倍〜×約６４倍のノンリニアデジタルゲインを使用できることとする。また、以降の説明では、簡単化のためにＬＥＤ信号は無視することとする。
【０１０６】
図７の数値例では、ＩＳＰ前処理部２００は、１２ビット×３チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｍ感度比およびＭ／Ｌ感度比は、リニアデジタルゲイン換算で×１０２４倍である。入力信号切替回路２０１は、入力信号がタイプ１またはタイプ２であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×３チャンネル（Ｓ１、Ｍ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１０７】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｍ１感度比およびＭ１／Ｌ１感度比はリニアデジタルゲイン換算で×１０２４倍（すなわち、１０ビット相当）であるから、Ｓ１およびＭ１の間には２（＝１２−１０）ビットの重なりが生じ、Ｍ１およびＬ１の間にも２（＝１２−１０）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が３２（＝１２×３−２×２）であり、ダイナミックレンジが１９２［ｄＢ］である。
【０１０８】
信号２分割回路２０６は、３２ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、１６ビット相当、すなわち×６５５３６倍である。
【０１０９】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１４７．０３３倍（約８ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、０から１２へと拡大している。
【０１１０】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１１１】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１１２】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１４７．０３３倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約１４７．０３３倍および×１倍のノンリニアデジタルゲインを用いることができる。仮に、これらのノンリニアデジタルゲインを用いたとすれば、ＨＤＲ合成後のダイナミックレンジは１８６［ｄＢ］＝３１ビット相当となる。
【０１１３】
他方、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、上記感度比を維持したまま例えば×約２００．８５４（＝１４７．０３３×１．３６６）倍および×約１．３６６倍のノンリニアデジタルゲインを用いることもできる。この場合にもＨＤＲ合成後のダイナミックレンジは１８６［ｄＢ］＝３１ビット相当のままであるが、Ｓ４およびＬ４の感度は増加する（ノンリニア×１．３６６倍＝リニア×２倍相当）。さらに、Ｓ４とＬ４との間の重複ビット数は１２から１３へと拡張するので、ＨＤＲ合成済みのノンリニアＲＡＷ信号はより細かな階調を表現することができる。
【０１１４】
図８の数値例では、ＩＳＰ前処理部２００は、１２ビット×３チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｍ感度比およびＭ／Ｌ感度比は、リニアデジタルゲイン換算で×２５６倍である。入力信号切替回路２０１は、入力信号がタイプ１またはタイプ２であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×３チャンネル（Ｓ１、Ｍ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１１５】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｍ１感度比およびＭ１／Ｌ１感度比はリニアデジタルゲイン換算で×２５６倍（すなわち、８ビット相当）であるから、Ｓ１およびＭ１の間には４（＝１２−８）ビットの重なりが生じ、Ｍ１およびＬ１の間にも４（＝１２−８）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が２８（＝１２×３−４×２）であり、ダイナミックレンジが１６８［ｄＢ］である。
【０１１６】
信号２分割回路２０６は、２８ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、１２ビット相当、すなわち×４０９６倍である。従って、上位１６ビット信号（Ｓ２）の下位４ビットと下位１６ビット信号（Ｌ２）の上位４ビットとが重なる。
【０１１７】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約４２．２２４倍（約６ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、４から１４へと拡大している。
【０１１８】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１１９】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１２０】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約４２．２２４倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約４２．２２４倍および×１倍のノンリニアデジタルゲインを用いることができる。仮に、これらのノンリニアデジタルゲインを用いたとすれば、ＨＤＲ合成後のダイナミックレンジは１７４［ｄＢ］＝２９ビット相当となる。このダイナミックレンジは、リニアＨＤＲ合成回路２０３によって生成されたリニアＲＡＷ信号のダイナミックレンジよりも広い。
【０１２１】
他方、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、上記感度比を維持したまま例えば×約２００．８５４（＝４２．２２４×４．７５７）倍および×約４．７５７倍のノンリニアデジタルゲインを用いることもできる。この場合にＨＤＲ合成後のダイナミックレンジは１８６［ｄＢ］＝３１ビットへと拡張し、Ｓ４およびＬ４の感度は増加する（ノンリニア×４．７５７倍＝リニア×３２倍相当）。さらに、Ｓ４とＬ４との間の重複ビット数は１７から１８へと拡張するので、ＨＤＲ合成済みのノンリニアＲＡＷ信号はより細かな階調を表現することができる。
【０１２２】
図９の数値例では、ＩＳＰ前処理部２００は、１２ビット×３チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｍ感度比およびＭ／Ｌ感度比は、リニアデジタルゲイン換算で×６４倍である。入力信号切替回路２０１は、入力信号がタイプ１またはタイプ２であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×３チャンネル（Ｓ１、Ｍ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１２３】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｍ１感度比およびＭ１／Ｌ１感度比はリニアデジタルゲイン換算で×６４倍（すなわち、６ビット相当）であるから、Ｓ１およびＭ１の間には６（＝１２−６）ビットの重なりが生じ、Ｍ１およびＬ１の間にも６（＝１２−６）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が２４（＝１２×３−６×２）であり、ダイナミックレンジが１４４［ｄＢ］である。
【０１２４】
信号２分割回路２０６は、２４ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、８ビット相当、すなわち×２５６倍である。
【０１２５】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１２．１２６倍（約４ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、８から１６へと拡大している。
【０１２６】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１２７】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１２８】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１２．１２６倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約１２．１２６倍および×１倍のノンリニアデジタルゲインを用いることができる。仮に、これらのノンリニアデジタルゲインを用いたとすれば、ＨＤＲ合成後のダイナミックレンジは１６２［ｄＢ］＝２７ビット相当となる。このダイナミックレンジは、リニアＨＤＲ合成回路２０３によって生成されたリニアＲＡＷ信号のダイナミックレンジよりも広い。
【０１２９】
他方、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、上記感度比を維持したまま例えば×約１４７．０３３（＝１２．１２６×１２．１２６）倍および×約１２．１２６倍のノンリニアデジタルゲインを用いることもできる。この場合にＨＤＲ合成後のダイナミックレンジは１８６［ｄＢ］＝３１ビットへと拡張し、Ｓ４およびＬ４の感度は増加する（ノンリニア×１２．１２６倍＝リニア×２５６倍相当）。
【０１３０】
なお、理論上、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、例えば×約１４７．０３３（＝１２．１２６×１６．５６４）倍および×約１６．５６４倍を用いることも可能である。しかしながら、画質を考慮すると、長時間露光チャンネル（Ｌ４）では、×約１２．１２６倍（リニアデジタルゲイン換算で×２５６倍）程度が実用上の限界のノンリニアデジタルゲインと推測される。
【０１３１】
図１０の数値例では、ＩＳＰ前処理部２００は、１２ビット×２チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｌ感度比は、リニアデジタルゲイン換算で×１０２４倍である。入力信号切替回路２０１は、入力信号がタイプ３またはタイプ４であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×２チャンネル（Ｓ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１３２】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｌ１感度比はリニアデジタルゲイン換算で×１０２４倍（すなわち、１０ビット相当）であるから、Ｓ１およびＬ１の間には２（＝１２−１０）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が２２（＝１２×２−２×１）であり、ダイナミックレンジが１３２［ｄＢ］である。
【０１３３】
信号２分割回路２０６は、２２ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、６ビット相当、すなわち×６４倍である。
【０１３４】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約６．４９８倍（約３ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、１０から１７へと拡大している。
【０１３５】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１３６】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１３７】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約６．４９８倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約６．４９８倍および×１倍のノンリニアデジタルゲインを用いることができる。仮に、これらのノンリニアデジタルゲインを用いたとすれば、ＨＤＲ合成後のダイナミックレンジは１５６［ｄＢ］＝２６ビット相当となる。このダイナミックレンジは、リニアＨＤＲ合成回路２０３によって生成されたリニアＲＡＷ信号のダイナミックレンジよりも広い。
【０１３８】
他方、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、上記感度比を維持したまま例えば×約７８．７９３（＝６．４９８×１２．１２６）倍および×約１２．１２６倍のノンリニアデジタルゲインを用いることもできる。この場合にＨＤＲ合成後のダイナミックレンジは１８０［ｄＢ］＝３０ビットへと拡張し、Ｓ４およびＬ４の感度は増加する（ノンリニア×１２．１２６倍＝リニア×２５６倍相当）。
【０１３９】
なお、理論上、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、例えば×約１０７．６３５（＝６．４９８×１６．５６４）倍および×約１６．５６４倍を用いることも可能である。しかしながら、画質を考慮すると、長時間露光チャンネル（Ｌ４）では、×約１２．１２６倍（リニアデジタルゲイン換算で×２５６倍）程度が実用上の限界のノンリニアデジタルゲインと推測される。
【０１４０】
図１１の数値例では、ＩＳＰ前処理部２００は、１２ビット×３チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｍ感度比およびＭ／Ｌ感度比は、リニアデジタルゲイン換算で×１０２４倍である。入力信号切替回路２０１は、入力信号がタイプ１またはタイプ２であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×３チャンネル（Ｓ１、Ｍ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１４１】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｍ１感度比およびＭ１／Ｌ１感度比はリニアデジタルゲイン換算で×１０２４倍（すなわち、１０ビット相当）であるから、Ｓ１およびＭ１の間には２（＝１２−１０）ビットの重なりが生じ、Ｍ１およびＬ１の間にも２（＝１２−１０）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が３２（＝１２×３−２×２）であり、ダイナミックレンジが１９２［ｄＢ］である。
【０１４２】
信号２分割回路２０６は、３２ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、１６ビット相当、すなわち×６５５３６倍である。
【０１４３】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１４７．０３３倍（約８ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、０から１２へと拡大している。
【０１４４】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１４５】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１４６】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１４７．０３３倍である。しかしながら、前述のように、ノンリニアデジタルゲイン回路２１５が使用可能なノンリニアデジタルゲインの上限は×約６４倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約１４７．０３３倍および×１倍のノンリニアデジタルゲインを用いることはできない。
【０１４７】
そこで、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、上記感度比を維持したまま例えば×約３６．７５８（＝１４７．０３３／４）倍および×０．２５（＝１／４）倍のノンリニアデジタルゲインを用いる。なお、×１／４倍のノンリニアデジタルゲインの乗算は、下位２ビットの切り捨てと等価である。この場合に、ＨＤＲ合成後のダイナミックレンジは１７４［ｄＢ］＝２９ビット相当となる。すなわち、図７の例に比べるとＨＤＲ合成後のダイナミックレンジは１２［ｄＢ］＝２ビット相当縮小している。
【０１４８】
図１２の数値例では、ＩＳＰ前処理部２００は、１２ビット×３チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｍ感度比およびＭ／Ｌ感度比は、リニアデジタルゲイン換算で×２５６倍である。入力信号切替回路２０１は、入力信号がタイプ１またはタイプ２であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×３チャンネル（Ｓ１、Ｍ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１４９】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｍ１感度比およびＭ１／Ｌ１感度比はリニアデジタルゲイン換算で×２５６倍（すなわち、８ビット相当）であるから、Ｓ１およびＭ１の間には４（＝１２−８）ビットの重なりが生じ、Ｍ１およびＬ１の間にも４（＝１２−８）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が２８（＝１２×３−４×２）であり、ダイナミックレンジが１６８［ｄＢ］である。
【０１５０】
信号２分割回路２０６は、２８ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、１２ビット相当、すなわち×４０９６倍である。
【０１５１】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約４２．２２４倍（約６ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、４から１４へと拡大している。
【０１５２】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１５３】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１５４】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約４２．２２４倍である。また、前述のように、ノンリニアデジタルゲイン回路２１５が使用可能なノンリニアデジタルゲインの上限は×約６４倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約４２．２２４倍および×１倍のノンリニアデジタルゲインを用いることができる。この場合に、ＨＤＲ合成後のダイナミックレンジは１７４［ｄＢ］＝２９ビット相当となる。このダイナミックレンジは、リニアＨＤＲ合成回路２０３によって生成されたリニアＲＡＷ信号のダイナミックレンジよりも広い。さらに、両チャンネルのノンリニアデジタルゲインを増加させる（但し、×約６４倍が上限）ことで、短時間露光チャンネルと長時間露光チャンネルとの感度比を維持したまま、ダイナミックレンジの更なる拡大も可能である。
【０１５５】
図１３の数値例では、ＩＳＰ前処理部２００は、１２ビット×３チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｍ感度比およびＭ／Ｌ感度比は、リニアデジタルゲイン換算で×６４倍である。入力信号切替回路２０１は、入力信号がタイプ１またはタイプ２であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×３チャンネル（Ｓ１、Ｍ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１５６】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｍ１感度比およびＭ１／Ｌ１感度比はリニアデジタルゲイン換算で×６４倍（すなわち、６ビット相当）であるから、Ｓ１およびＭ１の間には６（＝１２−６）ビットの重なりが生じ、Ｍ１およびＬ１の間にも６（＝１２−６）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が２４（＝１２×３−６×２）であり、ダイナミックレンジが１４４［ｄＢ］である。
【０１５７】
信号２分割回路２０６は、２４ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、８ビット相当、すなわち×２５６倍である。
【０１５８】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１２．１２６倍（約４ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、８から１６へと拡大している。
【０１５９】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１６０】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１６１】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約１２．１２６倍である。また、前述のように、ノンリニアデジタルゲイン回路２１５が使用可能なノンリニアデジタルゲインの上限は×約６４倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約１２．１２６倍および×１倍のノンリニアデジタルゲインを用いることができる。この場合に、ＨＤＲ合成後のダイナミックレンジは１６２［ｄＢ］＝２７ビット相当となる。このダイナミックレンジは、リニアＨＤＲ合成回路２０３によって生成されたリニアＲＡＷ信号のダイナミックレンジよりも広い。さらに、両チャンネルのノンリニアデジタルゲインを共通に増加させる（但し、×約６４倍が上限）ことで、短時間露光チャンネルと長時間露光チャンネルとの感度比を維持したまま、ダイナミックレンジの更なる拡大も可能である。
【０１６２】
図１４の数値例では、ＩＳＰ前処理部２００は、１２ビット×２チャンネルのリニアＲＡＷ信号を入力する。これらのＳ／Ｌ感度比は、リニアデジタルゲイン換算で×１０２４倍である。入力信号切替回路２０１は、入力信号がタイプ３またはタイプ４であるので、これらのリニアＲＡＷ信号をそのまま１２ビット×２チャンネル（Ｓ１およびＬ１）のリニアＲＡＷ信号としてリニアＨＤＲ合成回路２０３へと出力する。
【０１６３】
リニアＨＤＲ合成回路２０３は、これらのリニアＲＡＷ信号をＨＤＲ合成する。Ｓ１／Ｌ１感度比はリニアデジタルゲイン換算で×１０２４倍（すなわち、１０ビット相当）であるから、Ｓ１およびＬ１の間には２（＝１２−１０）ビットの重なりが生じる。ＨＤＲ合成済みのリニアＲＡＷ信号は、ビット数が２２（＝１２×２−２×１）であり、ダイナミックレンジが１３２［ｄＢ］である。
【０１６４】
信号２分割回路２０６は、２２ビット×１チャンネルのリニアＲＡＷ信号を受け取り、当該リニアＲＡＷ信号を上位１６ビット信号（Ｓ２）と下位１６ビット信号（Ｌ２）とに二等分する。ここで、Ｓ２／Ｌ２感度比は、６ビット相当、すなわち×６４倍である。
【０１６５】
γ補正回路２１３およびγ補正回路２２３は、短時間露光チャンネルの１６ビットリニアＲＡＷ信号および長時間露光チャンネルの１６ビットリニアＲＡＷ信号にそれぞれγ補正を適用し、２０ビットノンリニアＲＡＷ信号を生成する。このとき、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約６．４９８倍（約３ビット相当）に縮小している。他方、短時間露光チャンネルと長時間露光チャンネルとの重複ビット数は、１０から１７へと拡大している。
【０１６６】
キズ補正／ノイズ低減処理回路２１４およびキズ補正／ノイズ低減処理回路２２４は、短時間露光チャンネルの２０ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２０ビットノンリニアＲＡＷ信号にそれぞれキズ補正処理またはノイズ低減処理を適用し、２３ビットノンリニアＲＡＷ信号を生成する。
【０１６７】
ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、短時間露光チャンネルの２３ビットノンリニアＲＡＷ信号および長時間露光チャンネルの２３ビットノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。そして、ノンリニアＨＤＲ合成回路２３１は、ノンリニアデジタルゲインの乗算により得られた２つのノンリニアＲＡＷ信号（Ｓ４，Ｌ４）を合成する。
【０１６８】
前述のように、短時間露光チャンネルと長時間露光チャンネルとの感度比は、ノンリニアデジタルゲイン換算で×約６．４９８倍である。従って、例えば、ノンリニアデジタルゲイン回路２１５およびノンリニアデジタルゲイン回路２２５は、×約６．４９８倍および×１倍のノンリニアデジタルゲインを用いることができる。この場合に、ＨＤＲ合成後のダイナミックレンジは１５６［ｄＢ］＝２６ビット相当となる。このダイナミックレンジは、リニアＨＤＲ合成回路２０３によって生成されたリニアＲＡＷ信号のダイナミックレンジよりも広い。さらに、両チャンネルのノンリニアデジタルゲインを共通に増加させる（但し、×約６４倍が上限）ことで、短時間露光チャンネルと長時間露光チャンネルとの感度比を維持したまま、ダイナミックレンジの更なる拡大も可能である。
【０１６９】
以上説明したように、第１の実施形態に係る撮像／画像処理装置は、撮像感度の異なる２チャンネルのリニアＲＡＷ信号にそれぞれ入出力１：１の多ビット化リニア／ノンリニア変換を適用し、生成した２チャンネルのノンリニアＲＡＷ信号にそれぞれノンリニアデジタルゲインを乗算する。故に、撮像／画像処理装置は、リニアＲＡＷ信号にデジタルゲインを乗算した場合に比べて、小さなデジタルゲインを用いて同等に撮像感度を向上させることができる。具体的には、感度比補正に必要なデジタルゲインを低下させることができる。また、両チャンネルに用いられるデジタルゲインを共通に増加させることで、感度比を維持したまま両チャンネルを高感度化することも可能である。従って、この撮像／画像処理装置によれば、高ダイナミックレンジ化に伴うＳＮＲの劣化を抑制することができる。さらに、撮像／画像処理装置がノンリニアＲＡＷ信号を用いてキズ補正／ノイズ低減処理を行う点もＳＮＲの向上に寄与している。
【０１７０】
また、この撮像／画像処理装置は、撮像感度の異なる複数チャンネルのリニアＲＡＷ信号をＨＤＲ合成するＨＤＲ合成回路と、ＨＤＲ合成された１チャンネルのリニアＲＡＷ信号を２チャンネルのリニアＲＡＷ信号へと分割する信号２分割回路とを含む。故に、この撮像／画像処理装置は、様々なチャンネルのリニアＲＡＷ信号の入力をサポートできる。加えて、撮像／画像処理装置は、入力リニアＲＡＷ信号のチャンネル数に関わらず上記信号２分割回路によって２チャンネルのリニアＲＡＷ信号を生成する。故に、撮像／画像処理装置は、信号２分割回路の後段の一連の回路（例えば、γ補正回路、キズ補正／ノイズ低減処理回路、ノンリニアデジタルゲイン回路など）を２セットよりも多く用意する必要はない。すなわち、撮像／画像処理装置によれば、回路規模を増大させることなく多チャンネルの入力リニアＲＡＷ信号をサポートすることができる。
【０１７１】
さらに、この撮像／画像処理装置は、上述のＨＤＲ合成回路および信号２分割回路に加えて、１チャンネルのノンリニアＲＡＷ信号を１チャンネルのリニアＲＡＷ信号へと変換するノンリニア／リニア変換回路と、ＨＤＲ合成回路によって生成されたリニアＲＡＷ信号に点滅ＬＥＤ撮像用のＬＥＤ信号を合成するＬＥＤ合成回路とを含む。故に、この撮像／画像処理装置は、多種多様な形式の入力ＲＡＷ信号をサポートできる。なお、入力端子を兼用することで入力端子数の増大は抑制可能である。
【０１７２】
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【０１７３】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０１７４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１７５】
１０，１００・・・カメラモジュール
２０・・・画像処理チップ
３０・・・シリアル／パラレル変換器
４０・・・ＩＳＰコア
４１，２００・・・ＩＳＰ前処理部
４２・・・ＩＳＰ後処理部
１０１・・・光学レンズ
１０２・・・色フィルタ
１０３・・・受光画素
１０４・・・ＡＤＣ
１０５・・・ロジック信号処理部
１０６・・・パラレル／シリアル変換器
２０１・・・入力信号切替回路
２０２・・・ノンリニア／リニア変換回路
２０３・・・リニアＨＤＲ合成回路
２０４，２１１，２２１・・・選択器
２０５・・・ＬＥＤ合成回路
２０６・・・信号２分割回路
２１２，２２２・・・リニアデジタルゲイン回路
２１３，２２３・・・γ補正回路
２１４，２２４・・・キズ補正／ノイズ低減処理回路
２１５，２２５・・・ノンリニアデジタルゲイン回路
２３１・・・ノンリニアＨＤＲ合成回路
２３２・・・ＨＤＲ圧縮回路
２３３・・・入力テスト画像発生回路
２３４・・・自動露光制御回路
【図１】
2018026759.tif 000010
【図２】
2018026759.tif 000011
【図３】
2018026759.tif 000012
【図４】
2018026759.tif 000013
【図５】
2018026759.tif 000014
【図６】
2018026759.tif 000015
【図７】
2018026759.tif 000016
【図８】
2018026759.tif 000017
【図９】
2018026759.tif 000018
【図１０】
2018026759.tif 000019
【図１１】
2018026759.tif 000020
【図１２】
2018026759.tif 000021
【図１３】
2018026759.tif 000022
【図１４】
2018026759.tif 000023
【図１５】
2018026759.tif 000024
【図１６】
2018026759.tif 000025
【図１７】
2018026759.tif 000026
【図１８】
2018026759.tif 000027
【図１９】
2018026759.tif 000028
【図２０】
2018026759.tif 000029
【図２１】
2018026759.tif 000030