(57)【要約】【課題】ノイズ量に応じてノイズを低減する画像処理ブロックにおいて記憶すべき設定値の情報量とその補間演算量を低減できるようにする。【解決手段】イメージセンサの温度値に応じてオフセットされたイメージセンサのGain値に基づいて、イメージセンサにより撮像された画像に信号処理が施されるようにする。本開示は、撮像装置に適応することができる。【選択図】図６
2018113614.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像するイメージセンサと、
前記イメージセンサのGain値を取得するGain値取得部と、
前記イメージセンサの温度値を取得する温度値取得部と、
前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す信号処理部と
を含む撮像装置。
【請求項２】
前記信号処理部は、
前記画像に対して所定の画像処理を施す画像処理部と、
前記温度値に基づいて、前記Gain値のオフセット量を算出するオフセット量算出部と、
前記Gain値取得部により取得されたGain値に、前記オフセット量を加算する加算部と、
前記加算部により前記オフセット量が加算されたGain値に基づいて、前記画像処理部における前記所定の画像処理に必要とされる設定値を生成する設定値生成部とを含み、
前記画像処理部は、前記設定値に基づいて、前記画像に対して前記所定の画像処理を施す
請求項１に記載の撮像装置。
【請求項３】
前記オフセット量算出部は、離散値となる複数の温度値に対するオフセット量を記憶しており、記憶している複数の温度値を用いた補間処理により、前記温度値取得部により取得された温度値のオフセット量を算出する
請求項２に記載の撮像装置。
【請求項４】
前記オフセット量算出部は、離散値となる複数の温度値に対するオフセット量を記憶しており、記憶している複数の温度値のうち、前記温度値取得部により取得された温度値の前後の温度値に対するオフセット量を用いた線形補間によりオフセット量を算出する
請求項３に記載の撮像装置。
【請求項５】
前記オフセット量算出部は、前記温度値を変数とするn次多項式を用いた補間によりオフセット量を算出する
請求項２に記載の撮像装置。
【請求項６】
前記設定値生成部は、離散値となる複数のGain値に対する設定値を記憶しており、記憶している複数の設定値を用いた補間処理により設定値を生成する
請求項２に記載の撮像装置。
【請求項７】
前記設定値生成部は、離散値となる複数のGain値に対する設定値を記憶しており、記憶している複数の設定値のうち、前記Gain値取得部により取得されたGain値の前後のGain値に対する設定値を用いた線形補間により設定値を生成する
請求項６に記載の撮像装置。
【請求項８】
前記設定値生成部は、前記Gain値を変数とするn次多項式を用いた補間により設定値を生成する
請求項２に記載の撮像装置。
【請求項９】
前記信号処理部が、複数に存在し、前記画像に対して、それぞれ異なる所定の信号処理を行う場合、前記複数の前記信号処理部の前記オフセット量算出部は、前記離散値となる複数の温度値に対する、それぞれ異なるオフセット量を記憶している
請求項２に記載の撮像装置。
【請求項１０】
前記信号処理部が、前記画像に対して、異なる信号処理を行うものが複数に存在する場合、
前記複数の前記信号処理部のうちの一部は、
前記画像に対して第１の画像処理を施す第１の画像処理部と、
前記温度値に基づいて、前記Gain値の第１のオフセット量を算出する第１のオフセット量算出部と、
前記Gain値取得部により取得されたGain値に、前記第１のオフセット量を加算する第１の加算部と、
前記第１の加算部により前記第１のオフセット量が加算されたGain値に基づいて、前記画像処理部における前記第１の画像処理に必要とされる第１の設定値を生成する第１の設定値生成部とを含み、
前記第１の画像処理部は、前記第１の設定値に基づいて前記画像に対して前記第１の画像処理を施し、
前記複数の前記信号処理部のうちの前記一部と異なる他の一部は、
前記画像に対して第２の画像処理を施す第２の画像処理部と、
前記第１のオフセット量算出部により算出された前記第１のオフセット量に対して、所定の係数を乗じて第２のオフセット量を算出する第２のオフセット量算出部と、
前記Gain値取得部により取得されたGain値に、前記第２のオフセット量を加算する第２の加算部と、
前記第２の加算部により前記第２のオフセット量が加算されたGain値に基づいて、前記第２の画像処理部における前記第２の画像処理に必要とされる第２の設定値を生成する第２の設定値生成部とを含み、
前記第２の画像処理部は、前記第２の設定値に基づいて前記画像に対して前記第２の画像処理を施す
請求項１に記載の撮像装置。
【請求項１１】
画像を撮像するイメージセンサと、
前記イメージセンサのGain値を取得するGain値取得部と、
前記イメージセンサの温度値を取得する温度値取得部とを含む撮像装置の撮像方法であって、
前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す
ステップを含む撮像方法。
【請求項１２】
画像を撮像するイメージセンサと、
前記イメージセンサのGain値を取得するGain値取得部と、
前記イメージセンサの温度値を取得する温度値取得部と、
前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す信号処理部と
を含む電子機器。
【請求項１３】
イメージセンサにより撮像された画像に対して所定の画像処理を施す画像処理部と、
前記イメージセンサの温度値に基づいて、前記イメージセンサのGain値のオフセット量を算出するオフセット量算出部と、
前記イメージセンサのGain値に、前記オフセット量を加算する加算部と、
前記加算部により前記オフセット量が加算されたGain値に基づいて、前記画像処理部における前記所定の画像処理に必要とされる設定値を生成する設定値生成部とを含み、
前記画像処理部は、前記設定値に基づいて、前記画像に対して前記所定の画像処理を施す
信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、および撮像方法、電子機器、並びに信号処理装置に関し、特に、ノイズ量に応じてノイズを低減する構成に対して、設定値を記憶する量とその補間演算量を低減できるようにした撮像装置、および撮像方法、電子機器、並びに信号処理装置に関する。
【背景技術】
【０００２】
ノイズリダクション（NR）、画像鮮鋭化、および画素欠陥補正等の処理は、高画質な画像出力を得るため、画像のノイズや画素欠陥の量に応じた調整が必要である。例えば、ノイズ量が多い場合、NR強度を強くし、かつ、鮮鋭化処理強度を弱くする。また、ノイズ量が少ない場合、NR強度を弱くし、かつ、鮮鋭化処理を強くするといった調整である。
【０００３】
ノイズ量は、イメージセンサのGain値やイメージセンサの温度により増減することが知られており、ノイズ量に応じた最適な設定値を各機能に設定している。
【０００４】
ところで、イメージセンサのGain値は細かく調整することができるが、その調整値全てに対応して最適な設定値を記憶素子に保持しておくと、その量は膨大なものになってしまう。そのため、イメージセンサのGain値に対し、所定の間隔毎に数点だけ設定値を記憶し、設定値が記憶されているGain値の間の区間に設定された場合、線形補間により設定値を算出するものが提案されている。
【０００５】
また、温度上昇によるノイズ増加分を考慮し、適正露出を得るためのセンサゲイン増加分を抑え、その分、f値やシャッタ時間により調整するものが提案されている（特許文献１参照）。
【０００６】
さらに、イメージセンサの温度上昇により増加したノイズを適切に補正できるようなパラメータを算出するものが提案されている。すなわち、通常のf値、シャッタ、センサゲインにより決定される露出制御とし、NR等の補正処理のパラメータを単純な方法で算出するものである。（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−０２９１９４号公報
【特許文献２】特開２００６−１３５４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ノイズ量は、イメージセンサのGain値の他、イメージセンサの温度にも依存して増減する。
【０００９】
イメージセンサのGain値が低くても、イメージセンサの温度が高温であればノイズ量は増えてくる。
【００１０】
ところが、イメージセンサのGain値に応じて設定値を算出しても、実際に温度が高い場合、実際のノイズ量よりも少ない場合の設定値が設定されてしまう。そこで、このような状況を避けるために、温度に応じてイメージセンサのGain値の連動と同様の連動の仕組みを入れると、記憶素子に保持しておく設定値の情報量が増大し、計算が煩雑化する。
【００１１】
また、特許文献１の発明の場合、動画像撮影のカメラでは、シャッタ時間の制限やf値を調整できないカメラもあり、調整には限界があり、さらに、露出制御が温度情報も考慮した複雑なものとなる。
【００１２】
さらに、特許文献２の発明の場合、縦筋ノイズを除去することができるが、高温時に画面全体のノイズ量増加分に対する、信号処理部のNRの設定を調整することはできない。
【００１３】
本開示は、このような状況に鑑みてなされたものであり、特に、ノイズ量に応じてノイズを低減させる処理に必要な設定値を備えると共に、温度に応じたオフセット量を保持することで、ノイズの低減に必要とされる、記憶しておくべき設定値の情報量と補間処理に係る負荷を低減するものである。
【課題を解決するための手段】
【００１４】
本開示の一側面の撮像装置は、画像を撮像するイメージセンサと、前記イメージセンサのGain値を取得するGain値取得部と、前記イメージセンサの温度値を取得する温度値取得部と、前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す信号処理部とを含む撮像装置である。
【００１５】
前記信号処理部には、前記画像に対して所定の画像処理を施す画像処理部と、前記温度値に基づいて、前記Gain値のオフセット量を算出するオフセット量算出部と、前記Gain値取得部により取得されたGain値に、前記オフセット量を加算する加算部と、前記加算部により前記オフセット量が加算されたGain値に基づいて、前記画像処理部における前記所定の画像処理に必要とされる設定値を生成する設定値生成部とを含ませるようにすることができ、前記画像処理部には、前記設定値に基づいて、前記画像に対して前記所定の画像処理を施すようにさせることができる。
【００１６】
前記オフセット量算出部には、離散値となる複数の温度値に対するオフセット量を記憶させるようにすることができ、記憶している複数の温度値を用いた補間処理により、前記温度値取得部により取得された温度値のオフセット量を算出させるようにすることができる。
【００１７】
前記オフセット量算出部には、離散値となる複数の温度値に対するオフセット量を記憶させるようにすることができ、記憶している複数の温度値のうち、前記温度値取得部により取得された温度値の前後の温度値に対するオフセット量を用いた線形補間によりオフセット量を算出させるようにすることができる。
【００１８】
前記オフセット量算出部には、前記温度値を変数とするn次多項式を用いた補間によりオフセット量を算出させるようにすることができる。
【００１９】
前記設定値生成部には、離散値となる複数のGain値に対する設定値を記憶しており、記憶している複数の設定値を用いた補間処理により設定値を生成させるようにすることができる。
【００２０】
前記設定値生成部には、離散値となる複数のGain値に対する設定値を記憶しており、記憶している複数の設定値のうち、前記Gain値取得部により取得されたGain値の前後のGain値に対する設定値を用いた線形補間により設定値を生成させるようにすることができる。
【００２１】
前記設定値生成部には、前記Gain値を変数とするn次多項式を用いた補間により設定値を生成させるようにすることができる。
【００２２】
前記信号処理部が、複数に存在し、前記画像に対して、それぞれ異なる所定の信号処理を行う場合、前記複数の前記信号処理部の前記オフセット量算出部には、前記離散値となる複数の温度値に対する、それぞれ異なるオフセット量を記憶させるようにすることができる。
【００２３】
前記信号処理部が、前記画像に対して、異なる信号処理を行うものが複数に存在する場合、前記複数の前記信号処理部のうちの一部には、前記画像に対して第１の画像処理を施す第１の画像処理部と、前記温度値に基づいて、前記Gain値の第１のオフセット量を算出する第１のオフセット量算出部と、前記Gain値取得部により取得されたGain値に、前記第１のオフセット量を加算する第１の加算部と、前記第１の加算部により前記第１のオフセット量が加算されたGain値に基づいて、前記画像処理部における前記第１の画像処理に必要とされる第１の設定値を生成する第１の設定値生成部とを含ませるようにすることができ、前記第１の画像処理部には、前記第１の設定値に基づいて前記画像に対して前記第１の画像処理を施させるよにすることができ、前記複数の前記信号処理部のうちの前記一部と異なる他の一部には、前記画像に対して第２の画像処理を施す第２の画像処理部と、前記第１のオフセット量算出部により算出された前記第１のオフセット量に対して、所定の係数を乗じて第２のオフセット量を算出する第２のオフセット量算出部と、前記Gain値取得部により取得されたGain値に、前記第２のオフセット量を加算する第２の加算部と、前記第２の加算部により前記第２のオフセット量が加算されたGain値に基づいて、前記第２の画像処理部における前記第２の画像処理に必要とされる第２の設定値を生成する第２の設定値生成部とを含ませるようにすることができ、前記第２の画像処理部には、前記第２の設定値に基づいて前記画像に対して前記第２の画像処理を施させるようにすることができる。
【００２４】
本開示の一側面の撮像方法は、画像を撮像するイメージセンサと、前記イメージセンサのGain値を取得するGain値取得部と、前記イメージセンサの温度値を取得する温度値取得部とを含む撮像装置の撮像方法であって、前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施すステップを含む撮像方法である。
【００２５】
本開示の一側面の電子機器は、画像を撮像するイメージセンサと、前記イメージセンサのGain値を取得するGain値取得部と、前記イメージセンサの温度値を取得する温度値取得部と、前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す信号処理部とを含む電子機器である。
【００２６】
本開示の一側面の信号処理装置は、イメージセンサにより撮像された画像に対して所定の画像処理を施す画像処理部と、前記イメージセンサの温度値に基づいて、前記イメージセンサのGain値のオフセット量を算出するオフセット量算出部と、前記イメージセンサのGain値に、前記オフセット量を加算する加算部と、前記加算部により前記オフセット量が加算されたGain値に基づいて、前記画像処理部における前記所定の画像処理に必要とされる設定値を生成する設定値生成部とを含み、前記画像処理部は、前記設定値に基づいて、前記画像に対して前記所定の画像処理を施す信号処理装置である。
【００２７】
本開示の一側面においては、画像を撮像するイメージセンサのGain値が取得され、前記イメージセンサの温度値が取得され、前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理が施される。
【発明の効果】
【００２８】
本開示の一側面によれば、ノイズの低減に必要とされる、記憶しておくべき設定値の情報量と補間処理に係る負荷を低減することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】画像処理に必要とされる、イメージセンサのGain値に対する設定値を算出するために保持すべき情報の例を説明する図である。
【図２】画像処理に必要とされる、イメージセンサのGain値に対する設定値を算出するために保持すべき情報の例を説明する図である。
【図３】図１，図２の情報を用いた画像処理における設定値供給処理を説明するフローチャートである。
【図４】画像処理に必要とされる、イメージセンサの温度値毎のGain値に対する設定値を算出するために保持すべき情報の例を説明する図である。
【図５】図３の情報を用いた画像処理における設定値供給処理を説明するフローチャートである。
【図６】本開示の撮像装置の第１の実施の形態の構成例を説明する図である。
【図７】図６の撮像装置による画像処理における設定値供給処理を説明するフローチャートである。
【図８】本開示の撮像装置の第２の実施の形態の構成例を説明する図である。
【図９】図８の撮像装置による画像処理における設定値供給処理を説明するフローチャートである。
【図１０】本開示の撮像装置の第３の実施の形態の構成例を説明する図である。
【図１１】本開示の撮像装置の第４の実施の形態の構成例を説明する図である。
【図１２】図１１の撮像装置による画像処理における設定値供給処理を説明するフローチャートである。
【図１３】本開示の撮像素子を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【図１４】本開示の技術を適用した撮像素子の使用例を説明する図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
＜画像処理に必要な制御パラメータについて＞
画像処理には、複数の種類の処理があり、例えば、鮮鋭化処理、ノイズリダクション処理、および欠陥補正処理等がある。
【００３２】
一般に、上述した画像処理には、イメージセンサにおける増幅回路におけるGain値に応じて設定される複数の制御パラメータに対して、それぞれ設定値が存在する。これは、Gain値の増大により、一般に、ノイズレベルが上昇するためであり、制御パラメータに対して、ノイズ量に応じた設定値を設定する必要があるからである。
【００３３】
より詳細には、所定の制御パラメータに対しては、例えば、図１で示されるように、離散変量からなるゲインGain_a乃至Gain_dのそれぞれに対して、設定値A乃至Dが設定される。
【００３４】
このため、例えば、鮮鋭化処理回路、ノイズリダクション処理回路A乃至N、および欠陥補正処理回路が設けられ、それぞれの画像処理ブロックに対して、制御パラメータ１乃至nであって、かつ、ゲインGain_a乃至Gain_d点に設定値が設定される場合、例えば、図２で示されるような設定値を設定する必要がある。尚、図２における設定値A乃至BLは、設定値の種別を示す例である。
【００３５】
図２においては、鮮鋭化処理回路、ノイズリダクション処理回路A乃至N、および欠陥補正処理回路の、合計（N+2）個の画像処理ブロックのそれぞれに対して、制御パラメータ1乃至Nに対する設定値が設定され、さらに、それぞれの制御パラメータに対して、ゲインGain_a乃至Gain_d点のそれぞれに設定値が設定されている。
【００３６】
したがって、図２の場合、（4×n×（N+2））個の設定値のテーブルを、記憶素子などに記憶しておく必要がある。
【００３７】
そして、処理対象フレームのイメージセンサのGain情報から、図２で示される設定値のテーブルより、近傍の２点のGain値の設定値が読み出され、これを用いた補間処理が実行されて設定値が決定されて、制御対象となる画像処理ブロックに供給され、画像処理ブロックにより処理が実行される。この処理が、複数の画像処理ブロックにより個々に実行される。
【００３８】
尚、制御パラメータの設定値を決定する処理は、撮像された画像を処理しているタイミングで実行されると、処理対象画像の1Frameの途中でパラメータ設定が切り替わり、その切り替わり前後で補正効果が異なり、1Frameの画像の連続性が破綻してしまう恐れがある。そのため、予め補正処理を開始するまでに設定するパラメータを用意しておく必要がある。つまり、毎Frame設定を切り替えていく場合は、最大でも1Frame期間中に設定パラメータを算出する必要があり、記憶素子容量の観点だけでなく、補間計算に必要な処理時間の観点からも、制御対象パラメータ数を増やさない方が望ましい。
【００３９】
＜図２のテーブルを用いた場合の設定値供給処理＞
ここで、図３のフローチャートを参照して、図２の設定値のテーブルを用いた場合の具体的な、画像処理ブロックに対して設定値を供給する設定値供給処理について説明する。尚、図３のフローチャートの処理は、鮮鋭化処理回路からなる画像処理ブロックにおける、制御パラメータ１について、図２のテーブルを用いた場合の設定値供給処理について説明するものである。当然のことながら、鮮鋭化処理回路以外の画像処理ブロック、および、制御パラメータ１以外の制御パラメータについては、それぞれの処理に対応したテーブルの値が用いられる。
【００４０】
ステップＳ１１において、処理対象フレームのイメージセンサのGain値から、テーブル上のGain値のうち、補間処理に使用する近傍の２点のGain値を確定する。例えば、イメージセンサのGain値が、テーブル上のGain_bとGain_cの中間値である場合、補間処理に使用するテーブル上の近傍の２点のGain値は、Gain_bとGain_cとなる。その他の値であれば、それぞれの近傍となる前後の２点のGain値が設定される。
【００４１】
ステップＳ１２において、イメージセンサのGain値の近傍の２点における一方のGain値に対応する設定値が読み出される。すなわち、ここでは、Gain値の近傍の２点における一方のGain値となるGain_bの設定値Bが読み出される。
【００４２】
ステップＳ１３において、イメージセンサのGain値の近傍の２点における他方のGain値に対応する設定値が読み出される。すなわち、ここで、Gainの値の近傍の２点における他方のGain値となるGain_cの設定値Cが読み出される。
【００４３】
ステップＳ１４において、イメージセンサのGain値の近傍の２点のGain値の設定値が用いられて、補間処理が実行される。すなわち、ここでは、イメージセンサGain値が、Gain_bとGain_cの中間値であるので、設定値B，Cの中間値が設定値の補間値として求められる。
【００４４】
ステップＳ１５において、求められた補間値が設定値として出力される。すなわち、ここでは、設定値B，Cの中間値が設定値の補間値として出力される。
【００４５】
ステップＳ１６において、処理の終了が指示されているか否かが判定され、処理の終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１６において、処理の終了が指示された場合、処理は、終了する。
【００４６】
以上の処理により、イメージセンサのGain値に応じて、設定値が設定されて画像処理ブロックに供給される。
【００４７】
＜イメージセンサの温度値に応じた制御パラメータについて＞
さらに、イメージセンサの温度値によるノイズ量の影響を考慮した場合、例えば、低温[温度_1]、中低温[温度_2]、中高温[温度_3]、高温[温度_4]の４点の温度値について最適な各画像処理ブロックの設定値を記憶素子に保存した場合、図４で示されるような情報量の設定値が記憶される必要がある。すなわち、記憶素子に記憶されるべき、図４の情報量は、図２の情報量が、４点の各温度値に対してそれぞれ必要となるため、図２の情報量の４倍となる。
【００４８】
イメージセンサの温度を考慮した場合、図４で示される記憶素子に保存されている設定値から、各画像処理ブロックのそれぞれの制御パラメータの設定値が算出されることになる。
【００４９】
＜図４のテーブルを用いた場合の設定値供給処理＞
ここで、図５のフローチャートを参照して、図４の設定値のテーブルを用いた場合の具体的な設定値供給処理について説明する。尚、図５のフローチャートの処理は、鮮鋭化処理回路における、制御パラメータ１について、図４のテーブルを用いた場合の設定値供給処理を実行する。当然のことながら、鮮鋭化処理回路以外の画像処理、および、制御パラメータ１以外の制御パラメータについては、それぞれの処理に対応したテーブルの値が用いられる。
【００５０】
また、ここでは、イメージセンサGain値がGain_b点Gain_c点の中間のGain値であり、イメージセンサの温度値が[温度_1]、[温度_2]の中間の温度値であった場合の鮮鋭化処理回路を構成する画像処理ブロックの制御パラメータ１の算出方法を説明するものとする。
【００５１】
ステップＳ３１において、処理対象フレームのイメージセンサのGain情報から、補間処理に使用する近傍の２点のGain値を確定する。例えば、ここでは、Gain値が、Gain_bとGain_cの中間値であり、その他の値であれば、それぞれの前後の近傍の２点の値が設定される。
【００５２】
ステップＳ３２において、イメージセンサの温度値が取得される。
【００５３】
ステップＳ３３において、処理対象フレームのイメージセンサの温度の測定結果から、補間処理に使用する近傍の２点の温度値を確定する。例えば、ここでは、測定結果から得られるイメージセンサの温度値が温度値[温度_1]、[温度_2]の中間の温度値であるので、補間処理に使用される近傍の温度値は、温度値[温度_1]、[温度_2]となる。尚、イメージセンサの温度値がその他の温度値であれば、イメージセンサの温度値の前後となるテーブル上の温度値が近傍の２点の温度値として設定される。
【００５４】
ステップＳ３４において、一方の温度値におけるイメージセンサのGain値の近傍の２点における一方のGain値の設定値が読み出される。すなわち、ここで、一方の温度値である[温度_1]のイメージセンサのGain値の近傍の２点における一方のGain値となるGain_bの設定値である設定値1Bが読み出される。
【００５５】
ステップＳ３５において、一方の温度値におけるイメージセンサのGain値の近傍の２点における他方のGain値の設定値が読み出される。すなわち、ここで、温度値[温度_1]のGain値の近傍の２点における他方のGain値となるGain_cの設定値である設定値1Cが読み出される。
【００５６】
ステップＳ３６において、一方の温度値におけるイメージセンサのGain値の近傍の２点のGain値の設定値が用いられて、一方の温度値のGain値に基づいた補間処理が実行される。すなわち、ここでは、設定値1B，1Cが用いられて、一方の温度値のイメージセンサのGain値が、Gain_bとGain_cの中間値であるので、設定値1B,1Cの中間値である設定値[1B,1C]が一方の温度値[温度_1]の補間値として求められる。
【００５７】
ステップＳ３７において、他方の温度値におけるイメージセンサのGain値の近傍の２点における一方のGain値の設定値が読み出される。すなわち、ここで、他方の温度値である温度値[温度_2]のイメージセンサのGain値の近傍の２点における一方のGain値となるGain_bの設定値である設定値2Bが読み出される。
【００５８】
ステップＳ３８において、他方の温度値におけるイメージセンサのGain値の近傍の２点における他方のGain値の設定値が読み出される。すなわち、ここで、他方の温度値である温度値[温度_2]のイメージセンサのGain値の近傍の２点における他方のGain値となるGain_cの設定値である設定値2Cが読み出される。
【００５９】
ステップＳ３９において、他方の温度値のイメージセンサのGain値の近傍の２点のGain値の設定値が用いられて、Gain値に基づいた補間処理が実行される。すなわち、ここでは、設定値2B，2Cが用いられて、他方の温度値のイメージセンサのGain値が、Gain_bとGain_cの中間値であるので、設定値2B,2Cの中間値である設定値[2B,2C]が温度値[温度_2]の補間値として求められる。
【００６０】
ステップＳ４０において、一方の温度の補間値となる設定値と、他方の温度の補間値となる設定値とが用いられて、イメージセンサの温度値に基づいた補間処理がなされて、補間結果が制御パラメータ１として求められる。すなわち、ここでは、温度値が温度値[温度_1]、[温度_2]の中間の温度値であるので、[温度_1]の補間値である設定値［１Ｂ，１Ｃ］と、温度値[温度_2]の補間値である設定値[2B,2C]との中間値が、制御パラメータ１の設定値として求められる。
【００６１】
ステップＳ４１において、求められた補間値が設定値として画像処理ブロックに出力される。すなわち、ここでは、設定値[1B,1C]と、設定値[2B,2C]との中間値が補間値として画像処理ブロックに出力される。
【００６２】
ステップＳ４２において、処理の終了が指示されているか否かが判定され、処理の終了が指示されていない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ４２において、処理の終了が指示された場合、処理は、終了する。
【００６３】
以上の処理により、イメージセンサのGain値および温度値に応じて、設定値が設定されて画像処理ブロックに供給される。
【００６４】
すなわち、図４のテーブルを用いた補間処理は、図２のテーブルを用いた補間処理と比較すると、読み込むパラメータ値の量が2倍、補間処理の量が3倍、記憶素子に保存するパラメータ設定情報量が4倍になる。
【００６５】
尚、上述した処理においては、Gain値により補間処理を行った後、温度値による補間処理を行う例について説明してきたが、温度値による補間処理を行った後、Gain値により補間処理を行うようにしてもよい。
【００６６】
いずれにおいても、記憶素子に保存しておく設定値の情報量が増加するだけでなく、各画像処理ブロックに設定する制御パラメータを算出するための、設定値の読み込み量と補間処理量もイメージセンサの温度値を考慮すると増加する。
【００６７】
＜本開示の撮像装置の第１の実施の形態＞
本開示の撮像装置は、上述した記憶素子に保存しておく設定値の量を抑制しつつ、Gain値に基づいた補正と、温度値に基づいた補正とを実現するものである。ここで、図６を参照して、本開示の撮像装置の第１の実施の形態について説明する。
【００６８】
図６の撮像装置１は、イメージセンサ３１、画像処理部３２、イメージセンサGain値取得部３３、イメージセンサ温度値取得部３４、および信号処理部３５より構成されている。
【００６９】
イメージセンサ３１は、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）などから構成されており、光電変換により入射光の光量に応じた電荷を画素単位で発生し、発生した電荷に基づいた画素信号からなる画像を信号処理部３５に供給する。
【００７０】
画像処理部３２は、イメージセンサ３１により撮像された画像に対して所定の処理を施して、信号処理部３５に出力する
【００７１】
イメージセンサGain値取得部３３は、イメージセンサ３１のGain値を取得してイメージセンサGain値として信号処理部３５に供給する。
【００７２】
イメージセンサ温度値取得部３４は、イメージセンサ３１の温度の測定値であるイメージセンサ温度値を信号処理部３５に供給する。
【００７３】
信号処理部３５は、イメージセンサGain値取得部３３より供給されるイメージセンサGain値と、イメージセンサ温度値取得部３４より供給されるイメージセンサ温度値とに基づいて、画像処理部３２より供給される画像の画素信号に対して信号処理を施し、図示せぬ後段の装置に出力する。
【００７４】
信号処理部３５は、オフセット量算出部５１、加算部５２、設定値補間部５３、および画像処理ブロック５４より構成される。
【００７５】
オフセット量算出部５１は、例えば、図６の情報Ｐ１で示されるような、イメージセンサの温度値に対する、Gain値のオフセット量を、図示せぬ内蔵する記憶素子に記憶しており、イメージセンサ温度値取得部３３より供給されるイメージセンサ温度値に基づいて、オフセット量を算出して加算部５２に出力する。図６の情報Ｐ１は、イメージセンサ温度値に対するイメージセンサGain値のオフセット量ofs_1乃至ofs_4が、離散量からなる４点の温度値[温度_1]乃至[温度_4]に対して記憶されていることが示されている。
【００７６】
４点の各点間における温度値のオフセット量については、オフセット量算出部５１が、記憶している４点の温度に対するオフセット量を用いて補間により算出して、加算部５２に出力する。
【００７７】
すなわち、オフセット量算出部５１は、全ての温度値に対するオフセット量を記憶しているのではなく、例えば、離散的に設定される４点の温度値[温度_1]乃至[温度_4]に対するオフセット量ofs_1乃至ofs_4を記憶しており、４点間の温度値に対するオフセット量は、４点の温度値に対するオフセット量を用いた補間により求める。より詳細には、オフセット量算出部５１は、イメージセンサの温度値が、[温度_1]と[温度_2]の中間値である場合、[温度_1]と[温度_2]とのそれぞれのオフセット量ofs_1とofs_2とを用いた補間により、例えば、オフセット量ofs_1とofs_2との中間値をオフセット量とする。
【００７８】
加算部５２は、Gain値取得部３２より供給されるGain値に対して、オフセット量算出部５１より供給されるオフセット量を加算して、設定値補間部５３に供給する。
【００７９】
設定値補間部５３は、例えば、図６の情報Ｐ２で示されるような、Gain値に対する、画像処理ブロック５４における画像処理に設定される設定値を、図示せぬ内蔵する記憶素子に記憶しており、加算部５２より供給されるイメージセンサGain値に基づいて、設定値を算出して、画像処理ブロック５４に供給する。
【００８０】
図６の情報Ｐ２は、イメージセンサGain値に対する、画像処理ブロック５４に設定される設定値[設定値_A]乃至[設定値_D]が４点のGain値[Gain_1]乃至[Gain_4]に対して記憶されていることが示されている。４点の各点間におけるGain値の設定値については、設定値補間部５３が、記憶している４点のGain値[Gain_1]乃至[Gain_4]に対する設定値[設定値_A]乃至[設定値_D]を用いて補間により算出して、画像処理ブロック５４に出力する。
【００８１】
すなわち、設定値補間部５３は、全てのGain値に対する設定値を記憶しているのではなく、例えば、４点のGain値[Gain_1]乃至[Gain_4]に対する設定値[設定値_A]乃至[設定値_D]を記憶しており、４点間のGain値に対する設定値は、４点のGain値に対する設定値を用いた補間により求める。より詳細には、設定値補間部５３は、イメージセンサのGain値が、[Gain_1]と[Gain_2]との中間値である場合、[Gain_1]と[Gain_2]とのそれぞれの設定値[設定値_A]と[設定値_B]とを用いた補間により、例えば、設定値[設定値_A]と[設定値_B]との中間値を設定値とする。
【００８２】
画像処理ブロック５４は、イメージセンサ３１より供給される画像の各画素の画素信号に対して、設定値補間部５３より供給される設定値に基づいた画像処理を施し、図示せぬ後段の構成に出力する。画像処理ブロック５４により成される具体的な画像処理は、例えば、鮮鋭化処理、ノイズリダクション処理、および欠陥補正処理である。
【００８３】
尚、オフセット量算出部５１により記憶される情報Ｐ１、および設定値補間部５３に記憶される情報Ｐ２については、以上においては、離散的に設定された４点の温度値に対するオフセット量、および、離散的に設定された４点のGain値に対する設定値である例について説明しているが、それ以外の点数であってもよい。ただし、記憶するべき設定値の点数が増えると、情報Ｐ１，Ｐ２に必要とされる記憶素子の容量を増大させてしまう恐れがあるので、できるだけ必要とされる最小量であることが望ましい。
【００８４】
また、以降においては、イメージセンサGain値取得部３２により取得されるGain値は、イメージセンサGain値と称し、イメージセンサ温度値取得部３４により取得される温度値は、イメージセンサ温度値と称する。さらに、オフセット量算出部５１により記憶される情報Ｐ１、および設定値補間部５３に記憶される情報Ｐ２における設定値が設定されているGain値、および温度値については、単に、Gain値、および温度値と称する。
【００８５】
＜図６の撮像装置による設定値供給処理＞
次に、図７のフローチャートを参照して、図６の撮像装置１による設定値供給処理について説明する。
【００８６】
ステップＳ７１において、イメージセンサ温度値取得部３４は、イメージセンサ３１の温度値を測定し、測定結果をイメージセンサ温度値として取得し、オフセット量算出部５１に出力する。
【００８７】
ステップＳ７２において、オフセット量算出部５１は、取得したイメージセンサ温度値に基づいて、補間に使用する温度値の２点を確定する。すなわち、例えば、取得したイメージセンサ温度値が、温度値[温度_1]と[温度_2]との中間値となる温度値である場合、補間に使用する温度値として、温度値[温度_1]と[温度_2]が確定される。
【００８８】
ステップＳ７３において、オフセット量算出部５１は、記憶素子に記憶されている情報Ｐ１に基づいて、補間に使用する２点の温度値の一方の温度値に対するオフセット量を読み出す。すなわち、例えば、一方の温度値が温度値[温度_1]である場合、オフセット量算出部５１は、温度値[温度_1]に対するオフセット量oft_1を読み出す。
【００８９】
ステップＳ７４において、オフセット量算出部５１は、記憶素子に記憶されている情報Ｐ１に基づいて、補間に使用する２点の温度値の他方の温度値に対するオフセット量を読み出す。すなわち、例えば、他方の温度値が温度値[温度_2]である場合、オフセット量算出部５１は、温度値[温度_2]に対するオフセット量oft_2を読み出す。
【００９０】
ステップＳ７５において、オフセット量算出部５１は、読み出した２点の温度値のそれぞれのオフセット量を用いて、取得したイメージセンサ温度値に基づいた補間処理によりオフセット値を確定し、加算部５２に供給する。すなわち、例えば、取得したイメージセンサ温度値が温度値[温度_1]と[温度_2]との中間値である場合、オフセット量算出部５１は、オフセット量oft_1，oft_2の中間値を補間処理により求め、取得したイメージセンサ温度値に対するオフセット量として確定する。
【００９１】
ステップＳ７６において、加算部５２は、補間処理により求められたオフセット量を、Gain値取得部３２により取得されたイメージセンサGain値に加算して、設定値補間部５３に出力する。
【００９２】
ステップＳ７７において、設定値補間部５３は、取得したイメージセンサGain値に基づいて、補間に使用する２点のGain値を確定する。すなわち、例えば、取得したイメージセンサGain値が、Gain値[Gain_1]と[Gain_2]との中間値である場合、補間に使用するGain値として、Gain値[Gain_1]と[Gain_2]が確定される。
【００９３】
ステップＳ７８において、設定値補間部５３は、記憶素子に記憶されている情報Ｐ２に基づいて、補間に使用する２点のGain値の一方のGain値に対する設定値を読み出す。すなわち、例えば、一方のGain値がGain値[Gain_1]である場合、設定値補間部５３は、Gain値[Gain_1]に対する設定値Aを読み出す。
【００９４】
ステップＳ７９において、設定値補間部５３は、記憶素子に記憶されている情報Ｐ２に基づいて、補間に使用する２点のGain値の他方のGain値に対する設定値を読み出す。すなわち、例えば、他方のGain値がGain値[Gain_2]である場合、設定値補間部５３は、Gain値[Gain_2]に対する設定値Bを読み出す。
【００９５】
ステップＳ８０において、設定値補間部５３は、読み出した２点のGain値のそれぞれの設定値を用いて、取得したイメージセンサGain値に基づいた補間処理により設定値を確定する。すなわち、例えば、取得したイメージセンサGain値がGain値[Gain_1]と[Gain_2]との中間値である場合、設定値補間部５３は、設定値A，Bの中間値を補間処理により求め、取得したGain値に対する設定値として確定する。
【００９６】
ステップＳ８１において、設定値補間部５３は、補間処理により求められた設定値を画像処理ブロック５４に出力する。この処理により、画像処理ブロック５４は、設定値補間部５３より供給された設定値に対応する画像処理を画像処理部３２より供給される画像信号に施す。
【００９７】
ステップＳ８２において、処理の終了が指示されているか否かが判定され、処理の終了が指示されていない場合、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。そして、ステップＳ８２において、処理の終了が指示された場合、処理は、終了する。
【００９８】
以上の処理により、繰り返し出力される設定値により画像処理ブロック５４は、画像処理部３２より供給される画像に対して、必要な画像処理を施す。
【００９９】
これにより、オフセット量算出部５１、および設定値補間部５３の記憶素子に記憶される情報量については、例えば、図２で示されるように、制御パラメータ毎にGain値に応じたオフセット量が、例えば、４点分設定される場合、温度値に対しては、オフセット量の情報が４点分増えるのみとなり、図４で示されるような情報量の増大を抑制することが可能となる。また、補間処理に係る処理負荷についても、温度分の処理が１回実施されるのみであるので、処理負荷の増大を抑制することが可能となる。
【０１００】
結果として、イメージセンサの温度値の影響を考慮していない信号処理部を構成した場合に対しても、わずかな記憶領域と補間処理の追加でイメージセンサ温度値を考慮した画像処理を実現することが可能となる。
【０１０１】
＜本開示の撮像装置の第２の実施の形態＞
以上においては、イメージセンサ温度値に対応するオフセット量やイメージセンサGain値に対応する設定値の補間処理については、いずれも線形補間により求める例について説明してきたが、補間処理は、これ以外の処理であってもよく、例えば、n次多項式（nは1以上の整数）により求めるようにしてもよい。
【０１０２】
図８は、イメージセンサ温度値に対応するオフセット量やイメージセンサGain値に対応する設定値の補間処理をn次多項式により求めるようにした撮像装置の構成例を示している。尚、図８の撮像装置１の構成において、図６の撮像装置１における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
【０１０３】
すなわち、図８の撮像装置１において、図６の撮像装置１と異なる点は、オフセット量算出部５１、および設定値補間部５３に代えて、オフセット量算出部７１、および設定値補間部７２を設けた点である。
【０１０４】
オフセット量算出部７１は、基本的な機能は、オフセット量算出部５１と略同一であるが、イメージセンサ温度値に対応するオフセット量を線形補間ではなく、例えば、以下の式（１）で示されるようなn次多項式により求める。
【０１０５】
【数１】
2018113614.tif 000003
【０１０６】
ここで、a0，a1，a2，…anは、多項式の係数であり、例えば、最小二乗法により求められる。また、xは、イメージセンサ温度値である。
【０１０７】
オフセット量算出部７１は、図８の情報Ｐ１１で示されるように、温度値に対するオフセット量を求めるような、n次多項式の係数を図示せぬ内蔵する記憶素子において記憶しており、係数を用いて、温度値に対応するオフセット値を算出する。
【０１０８】
設定値補間部７２は、基本的な機能は、設定値補間部５３と略同一であるが、Gain値に対応する設定値を線形補間ではなく、例えば、上述した式（１）で示されるようなn次多項式により求める。ただし、設定値補間部７２の場合、係数は、オフセット量算出部７１とは異なるものとなり、xは、Gain値となる。
【０１０９】
＜図８の撮像装置による設定値供給処理＞
次に、図９のフローチャートを参照して、図８の撮像装置１による設定値供給処理について説明する。
【０１１０】
ステップＳ１０１において、イメージセンサ温度値取得部３４は、イメージセンサ３１の温度を測定し、測定結果をイメージセンサ温度値として取得し、オフセット量算出部７１に出力する。
【０１１１】
ステップＳ１０２において、オフセット量算出部７１は、取得されたイメージセンサ温度値によりn次多項式を用いた補間処理により、オフセット量を算出して確定する。
【０１１２】
ステップＳ１０３において、加算部５２は、補間処理により求められたオフセット量を、Gain値取得部３２により取得されたイメージセンサGain値に加算して、設定値補間部７２に出力する。
【０１１３】
ステップＳ１０４において、設定値補間部７２は、イメージセンサGain値によりn次多項式を用いた補間処理により、設定値を算出して確定する。
【０１１４】
ステップＳ１０５において、設定値補間部７２は、補間処理により求められた設定値を画像処理ブロック５４に出力する。
【０１１５】
ステップＳ１０６において、処理の終了が指示されているか否かが判定され、処理の終了が指示されていない場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１０６において、処理の終了が指示された場合、処理は、終了する。
【０１１６】
以上の処理により、繰り返し出力される設定値により画像処理ブロック５４は、画像処理部３２より供給される画像に対して、必要な画像処理がなされる。
【０１１７】
これにより、オフセット量算出部７１、および設定値補間部７２の記憶素子に記憶される情報量および処理負荷の増大を抑制することが可能となる。
【０１１８】
結果として、温度の影響を考慮していない信号処理部を構成した場合に対しても、わずかな記憶領域と補間処理の追加でイメージセンサ温度値に対応した画像処理を実現することが可能となる。
【０１１９】
＜本開示の撮像装置の第３の実施の形態＞
以上においては、信号処理部３５が１個である例について説明してきたが、複数に存在し、それぞれのイメージセンサ温度値に対するオフセット量が異なる場合、それぞれ対応する補間処理を実行するようにしてもよい。
【０１２０】
図１０は、信号処理部３５が複数に設けられる場合の撮像装置１の構成例を示している。
【０１２１】
図１０の撮像装置１は、イメージセンサ３１、画像処理部３２−１乃至３２−３、および信号処理部３５−１，３５−２より構成されている。画像処理部３２−１乃至３２−３は、画像処理部３２と同様の構成であり、信号処理部３５−１，３５−２は、信号処理部３５と同様の構成である。
【０１２２】
より詳細には、画像処理部３２−１は、イメージセンサ３１により撮像された画像に所定の画像処理を施して、信号処理部３５−１に供給する。
【０１２３】
信号処理部３５−１は、画像処理部３２−１からの画像に対して、所定の信号処理を実行して、画像処理部３２−２に出力する。
【０１２４】
画像処理部３２−２は、信号処理部３５−１により撮像された画像に所定の画像処理を施して、信号処理部３５−２に供給する。
【０１２５】
信号処理部３５−２は、画像処理部３２−２からの画像に対して、所定の信号処理を実行して、画像処理部３２−３に出力する。
【０１２６】
画像処理部３２−３は、信号処理部３５−２により撮像された画像に所定の画像処理を施して図示せぬ後段の構成に出力する。
【０１２７】
ここで、信号処理部３５−１，３５−２は、それぞれオフセット量算出部５１−１，５１−２、加算部５２−１，５２−２、設定値補間部５３−１，５３−２、および画像処理ブロック５４−１，５４−２を備えている。オフセット量算出部５１−１，５１−２、加算部５２−１，５２−２、設定値補間部５３−１，５３−２、および画像処理ブロック５４−１，５４−２は、それぞれオフセット量算出部５１、加算部５２、設定値補間部５３および画像処理ブロック５４と基本的な構成は同様である。
【０１２８】
しかしながら、画像処理ブロック５４−１，５４−２は、それぞれ異なる処理、すなわち、例えば、異なる鮮鋭化処理回路、異なるノイズリダクション回路、または、異なる欠陥処理回路として機能し、それぞれの画像処理に対応するように、オフセット量算出部５１−１，５１−２の図示せぬ記憶素子に記憶されているイメージセンサ温度値に対するオフセット量の情報は、例えば、図１０の情報Ｐ１−１，Ｐ１−２で示されるように、それぞれ異なる情報として記憶されている。
【０１２９】
すなわち、情報Ｐ１−１においては、温度値[温度_1]に対するオフセット量は、オフセット量ofs_aであり、温度値[温度_2]に対するオフセット量は、オフセット量ofs_bであり、温度値[温度_3]に対するオフセット量は、オフセット量ofs_cであり、温度値[温度_4]に対するオフセット量は、オフセット量ofs_dである。
【０１３０】
これに対して、情報Ｐ１−２においては、温度値[温度_1]に対するオフセット量は、オフセット量ofs_eであり、温度値[温度_2]に対するオフセット量は、オフセット量ofs_fであり、温度値[温度_3]に対するオフセット量は、オフセット量ofs_gであり、温度値[温度_4]に対するオフセット量は、オフセット量ofs_hである。
【０１３１】
図１０の撮像装置１においては、信号処理部３５−１が、先にイメージセンサ３１からの画像に対して信号処理を行い、さらに別の画像処理を経由し、その処理結果を、信号処理部３５−２が信号処理する構成となる。このような場合、信号処理部３５−２は、信号処理部３５−１よりもイメージセンサ温度値によるノイズ変動の影響を受け難いというケースがあり得る。そこで、このような場合、イメージセンサ温度値によるGain値のオフセット量を信号処理部３５−１，３５−２のそれぞれで保持し、Gain値にそれぞれ異なるオフセット量を加算することで、信号処理部３５−１と信号処理部３５−２のイメージセンサ温度値に対する影響を独立に制御することが可能となる。
【０１３２】
設定値補間部５３−１，５３−２についても、オフセット量算出部５１−１，５１−２における情報Ｐ１−１，Ｐ１−２と同様に、情報Ｐ２−１，Ｐ２−２が図示せぬ内蔵された記憶素子に記憶されており、それぞれ異なるGain値に対する設定値のテーブルからなる情報が記憶されるようにしてもよい。
【０１３３】
尚、信号処理部３５−１，３５−２のそれぞれの処理については、図７の処理と同様であるので、その説明は省略する。また、オフセット量については、線形補間以外の補間方法でもよく、例えば、図８および図９を参照して説明したn次多項式を用いた補間方法でもよい。
【０１３４】
＜本開示の撮像装置の第４の実施の形態＞
以上においては、信号処理部３５が複数に存在し、それぞれの温度値に対するオフセット量が異なる場合、それぞれ異なるオフセット量を用いた補間処理を実行する例について説明してきたが、一方の信号処理部３５のオフセット量が、他方の信号処理部３５のオフセット量の定数倍であるような場合、他方の信号処理部３５は、一方の信号処理部３５のオフセット量を定数倍にして、他方の信号処理部３５のオフセット量として使用するようにしてもよい。
【０１３５】
図１１は、信号処理部３５が複数に設けられる場合、他方のオフセット量を一方のオフセット量の定数倍にして使用するようにした撮像装置１の構成例を示している。尚、図１１の撮像装置１において、図１０の撮像装置１における構成と異なる点は、信号処理部３５−２のオフセット量算出部５１−２に代えて、乗算部１０１およびオフセット量変調Gain値１０２ａを記憶したメモリ１０２が設けられている点である。
【０１３６】
図１１の撮像装置１における信号処理部３５−２の乗算部１０１は、信号処理部３５−１におけるオフセット量算出部５１により算出されたオフセット量を取得し、メモリ１０２に記憶されている、所定の定数であるオフセット量変調Gain値１０２ａを乗算して、信号処理部３５−１のオフセット量を定数倍して加算部５２−２に出力する。
【０１３７】
すなわち、信号処理部３５−２のオフセット量が、例えば、信号処理部３５−１のオフセット量の50%でよい場合、オフセット量変調Gain値１０２ａを0.5とすることで、信号処理部３５−１のオフセット量に0.5を乗じることで、信号処理部３５−１のオフセット量の50%のオフセット量を信号処理部３５−２のオフセット量として利用することができる。
【０１３８】
このような構成により、信号処理部３５−２のオフセット量は、信号処理部３５−１のオフセット量に対して、所定倍となるオフセット量変調Gain値１０２ａが乗算された値を用いるだけでよくなるので、信号処理部３５−２においては、オフセット量算出部５１の構成が不要となり、装置構成におけるコストと処理負荷を低減させることが可能となる。
【０１３９】
以上の如く、本開示の撮像装置によれば、ノイズ量に応じた処理をする画像処理ブロックの最適な設定値を記憶する量と、その補間演算に係る処理負荷を低減することが可能となる。
【０１４０】
すなわち、例えば、イメージセンサGain値に応じて４点の設定値を記憶し、かつ、イメージセンサ温度値に応じて４点の設定値を記憶する場合、４×４＝１６通りの設定値を記憶する必要がある。また、ノイズ量に応じて最適な設定調整をする必要がある制御パラメータが多数ある場合、１６通りの組み合わせをパラメータ数分の組みで記憶しておく必要がある。
【０１４１】
しかしながら、本開示の撮像装置においては、４つの温度値に対応したオフセット値を保持して、オフセット量を求め、そのオフセット量をイメージセンサGain値に加算してGain値として用いるようにすることで、イメージセンサGain値とイメージセンサ温度値とのそれぞれに対する補正を掛けることが可能となり、制御パラメータ毎の設定値の情報量を低減すると共に、補間処理に係る処理負荷を低減することが可能となる。
【０１４２】
＜図１１の撮像装置による設定値供給処理＞
次に、図１２のフローチャートを参照して、図１１の撮像装置１による設定値供給処理について説明する。尚、図１１の撮像装置１のうち、信号処理部３５−１による設定値供給処理については、図７を参照して説明した処理と同様であるので、その説明は省略し、信号処理部３５−２による設定値供給処理について説明する。ただし、同時に、信号処理部３５−１による設定値供給処理がなされており、信号処理部３５−１のオフセット量は求められており、信号処理部３５−２に供給されるものとする。また、図１２のステップＳ１１４乃至Ｓ１１９の処理は、図７のステップＳ７６乃至Ｓ８２の処理と同様であるので、その説明は省略する。
【０１４３】
すなわち、ステップＳ１１１において、乗算部１０１は、信号処理部３５−１により求められたオフセット量を取得する。
【０１４４】
ステップＳ１１２において、乗算部１０１は、メモリ１０２に格納されている所定の定数からなるオフセット量変調Gain値１０２ａを読み出し、取得したオフセット量に乗算し、加算部５２−２に供給する。
【０１４５】
以降の処理により、信号処理部３５−２における処理に必要な設定値が求められて、画像処理ブロック５４−２に供給されて、処理が実行される。
【０１４６】
これにより、複数の信号処理部３５が設けられた場合において、全ての信号処理部３５に対してオフセット量算出部５１を設ける必要がなくなるので、装置コストおよび補間処理負荷、並びに消費電力の低減を実現することが可能となる。
【０１４７】
＜電子機器への適用例＞
上述した撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１４８】
図１３は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【０１４９】
図１３に示される撮像装置２０１は、光学系２０２、シャッタ装置２０３、固体撮像素子２０４、駆動回路２０５、信号処理回路２０６、モニタ２０７、およびメモリ２０８を備えて構成され、静止画像および動画像を撮像可能である。
【０１５０】
光学系２０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子２０４に導き、固体撮像素子２０４の受光面に結像させる。
【０１５１】
シャッタ装置２０３は、光学系２０２および固体撮像素子２０４の間に配置され、駆動回路２０５の制御に従って、固体撮像素子２０４への光照射期間および遮光期間を制御する。
【０１５２】
固体撮像素子２０４は、上述した固体撮像素子を含むパッケージにより構成される。固体撮像素子２０４は、光学系２０２およびシャッタ装置２０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子２０４に蓄積された信号電荷は、駆動回路２０５から供給される駆動信号（タイミング信号）に従って転送される。
【０１５３】
駆動回路２０５は、固体撮像素子２０４の転送動作、および、シャッタ装置２０３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子２０４およびシャッタ装置２０３を駆動する。
【０１５４】
信号処理回路２０６は、固体撮像素子２０４から出力された信号電荷に対して各種の信号処理を施す。信号処理回路２０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ２０７に供給されて表示されたり、メモリ２０８に供給されて記憶（記録）されたりする。
【０１５５】
このように構成されている撮像装置２０１においても、上述した撮像装置１における信号処理部３５を信号処理回路２０６に適用することにより、設定値を記憶する記憶素子に記憶させる情報量を低減すると共に、信号処理における補間処理に係る処理負荷を低減することが可能となる。結果として、装置コスト、および消費電力の低減を実現することが可能となる。
＜撮像素子の使用例＞
【０１５６】
図１４は、上述の撮像装置２０１を使用する使用例を示す図である。
【０１５７】
上述した撮像素子は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０１５８】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１５９】
尚、本開示は、以下のような構成も取ることができる。
＜１＞  画像を撮像するイメージセンサと、
前記イメージセンサのGain値を取得するGain値取得部と、
前記イメージセンサの温度値を取得する温度値取得部と、
前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す信号処理部と
を含む撮像装置。
＜２＞  前記信号処理部は、
前記画像に対して所定の画像処理を施す画像処理部と、
前記温度値に基づいて、前記Gain値のオフセット量を算出するオフセット量算出部と、
前記Gain値取得部により取得されたGain値に、前記オフセット量を加算する加算部と、
前記加算部により前記オフセット量が加算されたGain値に基づいて、前記画像処理部における前記所定の画像処理に必要とされる設定値を生成する設定値生成部とを含み、
前記画像処理部は、前記設定値に基づいて、前記画像に対して前記所定の画像処理を施す
＜１＞に記載の撮像装置。
＜３＞  前記オフセット量算出部は、離散値となる複数の温度値に対するオフセット量を記憶しており、記憶している複数の温度値を用いた補間処理により、前記温度値取得部により取得された温度値のオフセット量を算出する
＜２＞に記載の撮像装置。
＜４＞  前記オフセット量算出部は、離散値となる複数の温度値に対するオフセット量を記憶しており、記憶している複数の温度値のうち、前記温度値取得部により取得された温度値の前後の温度値に対するオフセット量を用いた線形補間によりオフセット量を算出する
＜３＞に記載の撮像装置。
＜５＞  前記オフセット量算出部は、前記温度値を変数とするn次多項式を用いた補間によりオフセット量を算出する
＜２＞に記載の撮像装置。
＜６＞  前記設定値生成部は、離散値となる複数のGain値に対する設定値を記憶しており、記憶している複数の設定値を用いた補間処理により設定値を生成する
＜２＞に記載の撮像装置。
＜７＞  前記設定値生成部は、離散値となる複数のGain値に対する設定値を記憶しており、記憶している複数の設定値のうち、前記Gain値取得部により取得されたGain値の前後のGain値に対する設定値を用いた線形補間により設定値を生成する
＜６＞に記載の撮像装置。
＜８＞  前記設定値生成部は、前記Gain値を変数とするn次多項式を用いた補間により設定値を生成する
＜２＞に記載の撮像装置。
＜９＞  前記信号処理部が、複数に存在し、前記画像に対して、それぞれ異なる所定の信号処理を行う場合、前記複数の前記信号処理部の前記オフセット量算出部は、前記離散値となる複数の温度値に対する、それぞれ異なるオフセット量を記憶している
＜２＞に記載の撮像装置。
＜１０＞  前記信号処理部が、前記画像に対して、異なる信号処理を行うものが複数に存在する場合、
前記複数の前記信号処理部のうちの一部は、
前記画像に対して第１の画像処理を施す第１の画像処理部と、
前記温度値に基づいて、前記Gain値の第１のオフセット量を算出する第１のオフセット量算出部と、
前記Gain値取得部により取得されたGain値に、前記第１のオフセット量を加算する第１の加算部と、
前記第１の加算部により前記第１のオフセット量が加算されたGain値に基づいて、前記画像処理部における前記第１の画像処理に必要とされる第１の設定値を生成する第１の設定値生成部とを含み、
前記第１の画像処理部は、前記第１の設定値に基づいて前記画像に対して前記第１の画像処理を施し、
前記複数の前記信号処理部のうちの前記一部と異なる他の一部は、
前記画像に対して第２の画像処理を施す第２の画像処理部と、
前記第１のオフセット量算出部により算出された前記第１のオフセット量に対して、所定の係数を乗じて第２のオフセット量を算出する第２のオフセット量算出部と、
前記Gain値取得部により取得されたGain値に、前記第２のオフセット量を加算する第２の加算部と、
前記第２の加算部により前記第２のオフセット量が加算されたGain値に基づいて、前記第２の画像処理部における前記第２の画像処理に必要とされる第２の設定値を生成する第２の設定値生成部とを含み、
前記第２の画像処理部は、前記第２の設定値に基づいて前記画像に対して前記第２の画像処理を施す
＜１＞に記載の撮像装置。
＜１１＞  画像を撮像するイメージセンサと、
前記イメージセンサのGain値を取得するGain値取得部と、
前記イメージセンサの温度値を取得する温度値取得部とを含む撮像装置の撮像方法であって、
前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す
ステップを含む撮像方法。
＜１２＞  画像を撮像するイメージセンサと、
前記イメージセンサのGain値を取得するGain値取得部と、
前記イメージセンサの温度値を取得する温度値取得部と、
前記温度値に応じてオフセットされた前記Gain値に基づいて、前記イメージセンサにより撮像された画像に信号処理を施す信号処理部と
を含む電子機器。
＜１３＞  イメージセンサにより撮像された画像に対して所定の画像処理を施す画像処理部と、
前記イメージセンサの温度値に基づいて、前記イメージセンサのGain値のオフセット量を算出するオフセット量算出部と、
前記イメージセンサのGain値に、前記オフセット量を加算する加算部と、
前記加算部により前記オフセット量が加算されたGain値に基づいて、前記画像処理部における前記所定の画像処理に必要とされる設定値を生成する設定値生成部とを含み、
前記画像処理部は、前記設定値に基づいて、前記画像に対して前記所定の画像処理を施す
信号処理装置。
【符号の説明】
【０１６０】
１  撮像装置，  ３１  イメージセンサ，  ３２，３２−１乃至３２−３  画像処理部，  ３３  イメージセンサGain値取得部，  ３４  イメージセンサ温度値，  ３５，３５−１，３５−２  信号処理部，  ５１，５１−，５１−２  オフセット量算出部，  ５２，５２−１，５２−２  加算部，  ５３，５３−１，５３−２  設定値補間部，  ５４，５４−１，５４−２  画像処理ブロック，  ７１  オフセット量算出部，  ７２  設定値補間部，  １０１  乗算部，  １０２  メモリ，  １０２ａ  オフセット値変調Gain値
【図１】
2018113614.tif 000004
【図２】
2018113614.tif 000005
【図３】
2018113614.tif 000006
【図４】
2018113614.tif 000007
【図５】
2018113614.tif 000008
【図６】
2018113614.tif 000009
【図７】
2018113614.tif 000010
【図８】
2018113614.tif 000011
【図９】
2018113614.tif 000012
【図１０】
2018113614.tif 000013
【図１１】
2018113614.tif 000014
【図１２】
2018113614.tif 000015
【図１３】
2018113614.tif 000016
【図１４】
2018113614.tif 000017