(57)【要約】【課題】  ２次元マトリックス状に配置された各画素で得られた電荷に基づく信号を増幅することに起因してユーザに与える画像の見た目上の違和感を抑制する。【解決手段】  列アンプ１０３のゲインの切り替えを行う際に、列アンプ１０３のゲインの変化分に応じて、列アンプ１０３のゲインの変化分が打ち消されるようにデジタルゲインアンプ１１１のゲインと露光時間の両方を用いて露出制御を行う。【選択図】  図１
2015035757.tif 000002
【特許請求の範囲】
【請求項１】
２次元マトリックス状に配置された複数の光電変換部と、
前記光電変換部で得られた信号に基づく信号を増幅する第１のゲインアンプと、
前記光電変換部で得られた信号に基づく信号を増幅するアンプであって、前記第１のゲインアンプよりも細かい刻み幅でゲインを変更することが可能な第２のゲインアンプと、
前記第１のゲインアンプのゲインを変更する際に、前記第２のゲインアンプのゲインと前記光電変換部における露光時間との両方を同時に変更することで当該第１のゲインアンプのゲインの変化分を打ち消すように制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記第１のゲインアンプのゲインの変更に伴う当該第１のゲインアンプのゲインの変化分を示す情報を予め記憶する記憶手段を有し、
前記制御手段は、前記第１のゲインアンプのゲインを変更する際に、前記記憶手段により記憶された情報により示される、当該第１のゲインアンプのゲインの変化分が打ち消されるように、前記第２のゲインアンプのゲインと前記露光時間との両方を変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１のゲインアンプのゲインの変更に伴う当該第１のゲインアンプのゲインの変化分を示す情報は、前記第１のゲインアンプの変更の際に、当該第１のゲインアンプのゲインの変化分が打ち消されるように、前記露光時間を変更せずに前記第２のゲインアンプのゲインを変更した場合の、当該第１のゲインアンプのゲインの切り替え前後における画像信号のＳ／Ｎ比の改善分を示す情報であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１のゲインアンプのゲインの変更に伴い前記第２のゲインアンプのゲインと前記露光時間との両方を変更した後、前記第２のゲインアンプと前記露光時間とのトータルのゲインが一定になるように、前記第２のゲインアンプのゲインを時間の経過とともに下げることと、前記露光時間を時間の経過とともに長くすることとを行うことを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記第２のゲインアンプのゲインが、予め設定された上限に達するまで、前記第２のゲインアンプと前記露光時間とのトータルのゲインが一定になるように、前記第２のゲインアンプのゲインを時間の経過とともに下げることと、前記露光時間を時間の経過とともに長くすることとを行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、被写体照度が明るい状態から暗い状態になるときに前記第１のゲインアンプのゲインの変更を行う契機となる前記第２のゲインアンプのゲインの値と、被写体照度が暗い状態から明るい状態になるときに前記第１のゲインアンプのゲインの変更を行う契機となる前記第２のゲインアンプのゲインの値と、を異ならせることを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記光電変換部で得られた信号に基づくアナログの信号をデジタルの信号に変換する変換手段を有し、
前記第１のゲインアンプは、前記アナログの信号を増幅するアンプであり、
前記第２のゲインアンプは、前記デジタルの信号を増幅するアンプであることを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
前記制御手段は、前記光電変換部における動作タイミングを電気的に制御することにより、前記光電変換部における露光時間を制御することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
２次元マトリックス状に配置された複数の光電変換部と、
前記光電変換部で得られた信号に基づく信号を増幅する第１のゲインアンプと、
前記光電変換部で得られた信号に基づく信号を増幅するアンプであって、前記第１のゲインアンプよりも細かい刻み幅でゲインを変更することが可能な第２のゲインアンプと、を有する撮像装置における露出制御方法であって、
前記第１のゲインアンプのゲインを変更する際に、前記第２のゲインアンプのゲインと前記光電変換部における露光時間との両方を変更することで当該第１のゲインアンプのゲインの変化分を打ち消すように制御する制御工程を有することを特徴とする露出制御方法。
【請求項１０】
前記第１のゲインアンプのゲインの変更に伴う当該第１のゲインアンプのゲインの変化分を示す情報を予め記憶する記憶工程を有し、
前記制御工程では、前記第１のゲインアンプのゲインを変更する際に、前記記憶工程により記憶された情報により示される、当該第１のゲインアンプのゲインの変化分が打ち消されるように、前記第２のゲインアンプのゲインと前記露光時間との両方を同時に変更することを特徴とする請求項９に記載の露出制御方法。
【請求項１１】
前記第１のゲインアンプのゲインの変更に伴う当該第１のゲインアンプのゲインの変化分を示す情報は、前記第１のゲインアンプの変更の際に、当該第１のゲインアンプのゲインの変化分が打ち消されるように、前記露光時間を変更せずに前記第２のゲインアンプのゲインを変更した場合の、当該第１のゲインアンプのゲインの切り替え前後における画像信号のＳ／Ｎ比の改善分を示す情報であることを特徴とする請求項１０に記載の露出制御方法。
【請求項１２】
前記制御工程では、前記第１のゲインアンプのゲインの変更に伴い前記第２のゲインアンプのゲインと前記露光時間との両方を変更した後、前記第２のゲインアンプと前記露光時間とのトータルのゲインが一定になるように、前記第２のゲインアンプのゲインを時間の経過とともに下げることと、前記露光時間を時間の経過とともに長くすることとを行うことを特徴とする請求項９〜１１の何れか１項に記載の露出制御方法。
【請求項１３】
前記制御工程では、前記第２のゲインアンプのゲインが、予め設定された上限に達するまで、前記第２のゲインアンプと前記露光時間とのトータルのゲインが一定になるように、前記第２のゲインアンプのゲインを時間の経過とともに下げることと、前記露光時間を時間の経過とともに長くすることとを行うことを特徴とする請求項１２に記載の露出制御方法。
【請求項１４】
前記制御工程では、被写体照度が明るい状態から暗い状態になるときに前記第１のゲインアンプのゲインの変更を行う契機となる前記第２のゲインアンプのゲインの値と、被写体照度が暗い状態から明るい状態になるときに前記第１のゲインアンプのゲインの変更を行う契機となる前記第２のゲインアンプのゲインの値と、を異ならせることを特徴とする請求項９〜１３の何れか１項に記載の露出制御方法。
【請求項１５】
前記光電変換部で得られた信号に基づくアナログの信号をデジタルの信号に変換する変換工程を有し、
前記第１のゲインアンプは、前記アナログの信号を増幅するアンプであり、
前記第２のゲインアンプは、前記デジタルの信号を増幅するアンプであることを特徴とする請求項９〜１４の何れか１項に記載の露出制御方法。
【請求項１６】
前記制御工程では、前記光電変換部における動作タイミングを電気的に制御することにより、前記光電変換部における露光時間を制御することを特徴とする請求項９〜１５の何れか１項に記載の露出制御方法。
【請求項１７】
請求項９〜１６の何れか１項に記載の露出制御方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、露出制御方法、及びプログラムに関し、特に、露出を制御するために用いて好適なものである。
【背景技術】
【０００２】
従来から撮像装置では、撮像素子で撮像された画像信号を増幅した上で画像処理し、画像の表示や記録を行っている。例えば、２次元マトリックス状に配置された画素の各列に備わる列アンプ等により各画素で得られた電気信号（アナログ信号）を増幅する。次いで、増幅したアナログ信号を、ノイズ成分の除去等の所定の処理を施した上でデジタル信号に変換し、このデジタル信号をデジタルアンプで増幅する。このようにして増幅したデジタル信号に対し画像処理を行い、この画像処理が施された画像の表示や記録を行う。
【０００３】
特許文献１には、ゲインの分割ステップが相対的に大きいアンプである列アンプのゲイン（列アンプゲイン）と、ゲインの分割ステップが相対的に小さいアンプであるデジタルアンプのゲイン（デジタルゲイン）のみでゲイン制御を行う技術が開示されている。
図６は、被写体照度に対する、デジタルゲイン、列アンプゲイン、トータルゲイン（列アンプゲイン＋デジタルゲイン）の、それぞれのゲインの変化を表す図（グラフ）である。具体的に図６（ａ）は、被写体照度に対する、デジタルゲインの変化を表し、図６（ｂ）は、被写体照度に対する、列アンプゲインの変化を表し、図６（ｃ）は、被写体照度に対する、トータルゲインの変化を表す。
【０００４】
図６（ａ）及び図６（ｂ）に示すように、被写体照度が明るい状態から徐々に暗い状態になり、ゲインを用いた露出制御が必要となった場合、まずはゲインの分割ステップの小さいデジタルゲイン６０１を用いてゲイン制御を行う。そして、被写体照度が更に暗くなった状態で、デジタルゲイン６０１の値が、その最大ゲインを超える場合、列アンプゲイン６０２を上げると同時に、デジタルゲイン６０１を列アンプゲイン６０２によるゲインの変化分だけ下げる。このようにすることで、輝度の急激な変化を抑える。
【０００５】
被写体照度がさらに暗い状態になっても、列アンプゲイン６０２を切り替えるごとにデジタルゲイン６０１を用いて輝度の調整を行うことで、ゲインの分割ステップの大きい列アンプゲイン６０２のゲインの変更に伴う急激な輝度の変化を抑えることができる。したがって、図６（ｃ）に示すように、トータルゲイン６０３として輝度の段差のない、滑らかなゲイン制御を行うことができる。また、列アンプゲイン６０２の切り替えを被写体照度に応じて随時行っているので、オートゲインコントロールを広範囲の明るさに適用させることができ、広いダイナミックレンジを確保できることができる。
【０００６】
ところで、得られる画像の画質について考えると、最終的なノイズの量は、どのゲインアンプでゲイン処理を行ったかによって異なる。即ち、列アンプでゲインをかける場合に増幅されるノイズは、列アンプに入力される前の光電変換部から垂直出力線の間で発生しているノイズのみである。そのため、撮像素子内の水平シフトレジスタ以降のアナログ信号処理回路、デジタル信号処理回路、及びそれらを接続する配線等において発生したノイズは増幅されない。
【０００７】
一方、デジタルアンプ（デジタル信号処理回路）でゲインをかける場合には、デジタル信号処理回路より前に発生したノイズがデジタルゲインによって全て増幅されてしまう。このため、特に信号レベルが小さい場合においては、列アンプでゲインをかけた場合と比べて、最終的な画像信号におけるノイズの比率が大きくなる。
このように、前段にある列アンプで増幅処理を行った方が、よりノイズ感（画像を見たユーザに当該画像にノイズがあると感じさせること）の少ない、高画質な画像を得ることができる。
【０００８】
前述したように、特許文献１に記載の技術は、ゲインの分割ステップの小さいデジタルゲインを用いて細かい輝度調整を行いつつ、被写体照度に応じて、後段のデジタルゲインから、前段の列アンプゲインへのゲイン切替えを随時行っていく。したがって、広いダイナミックレンジを保持しつつ、ノイズ感を向上させることができる。また、列アンプのゲイン切替えを行う際には、列アンプのゲイン変化分に応じて、デジタルゲインを調整することで輝度の合わせこみを行っているため、離散的なゲインをもつ列アンプゲインの変更による急激な輝度変化も抑えることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第３５７３４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載の技術では、列アンプのゲインの切り替え前後における、画質の急激な変化については考慮されていない。前述したように、前段の列アンプでゲインをかける場合と、後段のデジタルアンプでゲインをかける場合とではノイズ感が異なる。このため、列アンプゲインによるゲイン変化分をデジタルゲインのみを用いて調整すると、ゲインの切り替え前後でノイズ感が急激に変化し、画像に対する見た目上の違和感をユーザに与える虞がある。
本発明は、このような問題点に鑑みてなされたものであり、２次元マトリックス状に配置された各画素で得られた電荷に基づく信号を増幅することに起因してユーザに与える画像の見た目上の違和感を抑制することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、２次元マトリックス状に配置された複数の光電変換部と、前記光電変換部で得られた信号に基づく信号を増幅する第１のゲインアンプと、前記光電変換部で得られた信号に基づく信号を増幅するアンプであって、前記第１のゲインアンプよりも相対的に細かい刻み幅でゲインを変更することが可能な第２のゲインアンプと、前記第１のゲインアンプのゲインを変更する際に、前記第２のゲインアンプのゲインと前記光電変換部における露光時間との両方を同時に変更することで当該第１のゲインアンプのゲインの変化分を打ち消すように制御する制御手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、２次元マトリックス状に配置された各画素で得られた電荷に基づく信号を増幅することに起因してユーザに与える画像の見た目上の違和感を抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】撮像装置の構成を示す図である。
【図２】露出と被写体照度との一般的な関係を示す図である。
【図３】露出条件と、その露出条件に対するＳ／Ｎ改善比との関係を示す図である。
【図４】露出と被写体照度との関係の一例を示す図である。
【図５】露出と時間との関係の一例を示す図である。
【図６】ゲインと被写体照度の関係を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明の実施形態を説明する。
＜第１の実施形態＞
まず、本発明の第１の実施形態を説明する。
図１は、撮像装置の構成の一例を示す図である。図１に示す撮像装置は、複数のゲインアンプを用いて、オートゲインコントロール（ＡＧＣ）を行うことが可能な撮像装置である。
【００１５】
固体撮像素子１００は、光を電気信号（アナログ信号）に変換する。固体撮像素子１００には、それぞれが光電変換部１０１を有する複数の画素が２次元マトリックス状に配置される。光電変換部１０１において生成された電気信号は、垂直出力線１０２を通り、列ごとに備えられた列アンプ１０３により増幅される。
列アンプ１０３は、アナログ的に信号を増幅するものである。列アンプ１０３では、一般的には１倍、２倍、４倍、８倍・・・と、ゲインの分割ステップ（ゲインの刻み幅）が大きく、設定されるゲインの値として離散的な値を持つことが多い。列アンプ１０３は、被写体輝度の変化に応じて、ゲインの設定を随時変更することが可能である。列アンプ１０３により増幅された電気信号（アナログ信号）は、水平出力線１０４を通り、出力アンプ１０５に入力される。出力アンプ１０５のゲインの値も、列アンプ１０３と同様に、設定されるゲインの値として離散的な値をもつことが多い。本実施形態では、出力アンプ１０５のゲインは固定値であるものとする。
【００１６】
出力アンプ１０５により増幅された電気信号は、固体撮像素子１００から出力され、アナログ信号処理回路１０６に入力される。アナログ信号処理回路１０６内の相関２重サンプリング回路（ＣＤＳ）１０７では、アナログ信号処理回路１０６に入力された電気信号の信号レベルと基準レベルとの差分をとることで、当該電気信号のノイズ成分を除去する。ＣＤＳ１０７から出力されたアナログの電気信号は、アナログ信号アンプ（ＰＧＡ）１０８に入力される。
ＰＧＡ１０８は、固体撮像素子１００内にある列アンプ１０３や出力アンプ１０５等と比べて、より細かくゲインを設定することが可能であるが、本実施形態では、ＰＧＡ１０８のゲインは固定値であるものとする。ＰＧＡ１０８により増幅された電気信号は、Ａ／Ｄ変換回路（ＡＤＣ）１０９によってアナログ信号からデジタル信号へと変換された後、アナログ信号処理回路１０６から出力され、デジタル信号処理回路１１０に入力される。
【００１７】
デジタル信号処理回路１１０では、入力されたデジタル信号に対して、画像処理部１１２を用いて、γ補正や輪郭強調などのデジタル画像処理を施すとともに、デジタルゲインアンプ１１１を用いてゲイン処理を行う。デジタルゲインアンプ１１１は、固体撮像素子１００内にあるアナログゲインアンプ（列アンプ１０３および出力アンプ１０５）と比較すると、ゲインの分割ステップ（ゲインの刻み幅）が小さい。したがって、デジタルゲインアンプ１１１では、非常に細かくゲインを設定することが可能であり、このため、被写体輝度に応じて細かい輝度調整を行うことができる。
【００１８】
デジタル信号処理回路１１０から出力されたデジタル信号は、図示しないＤ／Ａ変換回路によりアナログ信号に変換されて表示部１１３において表示される。また、記録部１１４に記録される。
電子シャッター制御部１１５は、固体撮像素子１００の動作タイミングを電気的に制御することにより、固体撮像素子１００内の光電変換部１０１において電荷を蓄積する時間、即ち露光時間（電荷蓄積時間）を制御する露光時間制御部である。電子シャッター制御部１１５は、露出制御部１１６からの制御信号に基づいて、電子シャッターのタイミング（露光時間）を制御する。
【００１９】
ゲインアンプ制御部１１７は、露出制御部１１６からの制御信号に基づいて、列アンプ１０３とデジタルゲインアンプ１１１に対するゲイン制御を行う。
露出制御方法記憶部１１８は、電子シャッターのタイミング（露光時間）と、各ゲインの制御方法とを、露出制御方法として予め記憶させておくためのものである。露出制御方法記憶部１１８に記憶された露出制御方法になるように、露出制御部１１６は、電子シャッターと各ゲインアンプ（本実施形態では列アンプ１０３およびデジタルゲインアンプ１１１）の制御を行う。
【００２０】
本実施形態の露出制御方法を説明する前に、まず、被写体照度が変化したときの、一般的な露出制御方法とノイズ感（Ｓ／Ｎ比）の変化について、図２を用いて詳述する。図２は、露出と被写体照度との一般的な関係を示す図（グラフ）である。
【００２１】
図２において、横軸は被写体照度を表しており、正方向へ進むにつれて、明るい状態から暗い状態へと変化する。また、図２では、露出制御方法に関する説明の便宜上、被写体照度を、領域（Ａ）、領域（Ｂ）、・・・、領域（Ｅ）の５つの領域に分割して示す。
縦軸は、露出パラメータごとの露出を表している。ここでは、列アンプ１０３のゲイン（列アンプゲイン２０１）、デジタルゲインアンプ１１１のゲイン（デジタルゲイン２０２）、および露光時間（電荷蓄積時間）２０３の３つの露出パラメータを用いる。また、画像のノイズ感を表すＳ／Ｎ比２０４（表示や記録がなされる画像信号におけるＳ／Ｎ比）についても図２に記載している。
【００２２】
まず、被写体照度が明るい状態である領域（Ａ）では、列アンプゲイン２０１およびデジタルゲイン２０２ともにゲイン値は０ｄＢで固定であり、電子シャッターのみを用いて露光時間を調整することで、露出制御が行われる。露光時間は、１／６０ｓｅｃを基準（０ｄＢ）とし、露光時間が長くなるにつれて露出は正方向に変化する。領域（Ａ）では、Ｓ／Ｎ比２０４は一定のままで、このときのＳ／Ｎ比２０４を基準値とする。領域（Ａ）においては、電子シャッターを用いて露出制御を行うが、被写体照度が更に暗い状態になり、露光時間２０３が１／６０ｓｅｃよりも長くなってしまう場合、領域（Ｂ）における露出制御を開始する。
【００２３】
領域（Ｂ）では、露光時間を１／６０ｓｅｃに固定するとともに、ゲインの分割ステップの大きな列アンプゲイン２０１を０ｄＢに固定したまま、ゲインの分割ステップの細かいデジタルゲイン２０２のみを用いて露出制御を行う。デジタルゲイン２０２が大きくなるにつれて、基板パターン等で発生したノイズ成分も増幅されるため、Ｓ／Ｎ比２０４は、デジタルゲイン２０２の増大に応じて低下する。領域（Ｂ）において、被写体照度が更に暗い状態になり、デジタルゲイン２０２が＋６ｄＢへ到達した場合、領域（Ｂ）における露出制御方法から領域（Ｃ）における露出制御方法へ露出制御方法を変更する。
【００２４】
領域（Ｂ）における露出制御方法から領域（Ｃ）における露出制御方法へ露出制御方法を変更する際に、列アンプ１０３のゲインの設定を、０ｄＢの状態から＋６ｄＢへ変更し、これと同時に＋６ｄＢであったデジタルゲイン２０２を０ｄＢに変更する。このようにすることで、Ｓ／Ｎ比２０４の改善に加えて、輝度レベルの合わせ込みも同時に行う。このように、ゲインの切り替え制御を行うことで、Ｓ／Ｎ比２０４は−６ｄＢから−３ｄＢへと、＋３ｄＢ改善する。尚、Ｓ／Ｎ比の改善比は、本発明者らによる実測値に基づくものである。
領域（Ｃ）〜（Ｄ）では、露光時間２０３を１／６０ｓｅｃに固定したままの状態にするとともに、列アンプゲイン２０１を＋６ｄＢに固定したままの状態で、再びデジタルゲイン２０２を用いて露出制御を行う。このとき、被写体照度が暗い状態になるにつれてデジタルゲイン２０２を徐々に上げていくが、それに伴ってＳ／Ｎ比２０４も低下する。デジタルゲイン２０２の上限を＋１５ｄＢとすると、Ｓ／Ｎ比２０４は−１８ｄＢまで低化する。
【００２５】
領域（Ｅ）では、列アンプゲイン２０１を＋６ｄＢに固定にしたままの状態にするとともに、デジタルゲイン２０２を＋１５ｄＢに固定した状態で、電子シャッターを用いて露光時間を変更し、露出制御を行う。領域（Ｅ）では、ゲインが一定となっているので、Ｓ／Ｎ比２０４は一定となる。
以上、被写体照度が変化したときの、一般的な露出制御方法とノイズ感の変化について説明した。ここで問題となるのが、領域（Ｂ）から領域（Ｃ）への移行に伴い露出制御方法を変更する際に、列アンプゲイン２０１の切り替えを行うことによって、急激にＳ／Ｎ比２０４が改善することである。被写体照度が暗い状態になるにつれて、Ｓ／Ｎ比２０４が徐々に低下していく中で、ある被写体照度において急激にＳ／Ｎ比２０４が改善されると、画質の不連続性により、画像の見た目上の違和感をユーザに与える虞がある。特に、列アンプ１０３のゲインの分割ステップが大きい場合には、このことが顕著になる虞がある。
【００２６】
以下、領域（Ｂ）から領域（Ｃ）への移行に伴い露出制御方法を変更する際に、急激にＳ／Ｎ比が変化するのを抑えるための露出制御方法（本実施形態の露出制御方法）の一例について、図３を用いて説明する。
図３は、被写体照度の領域（Ｂ）から領域（Ｃ）への移行に伴い露出制御方法を切り替える際の、露出条件と、その露出条件に対するＳ／Ｎ改善比との関係を表形式で示す図である。
まず、被写体照度が領域（Ｂ）から領域（Ｃ）に移行して露出制御方法が切り替えられるときの露出条件は、列アンプゲインが０ｄＢ、デジタルゲインが＋６ｄＢ、露光時間が０ｄＢ（１／６０ｓｅｃ）であるので、このときのＳ／Ｎ比を基準値とする。
一般的な露出制御方法では、前述したように、列アンプゲインを０ｄＢから＋６ｄＢに変更するとともに、デジタルゲインのみを＋６ｄＢから０ｄＢに変更して列アンプゲインの変化分を補う。このときＳ／Ｎ比は＋３ｄＢ改善する。しかし、前述したように、列アンプゲインの切り替えによってＳ／Ｎ比が急激に変化すると、画像の見た目上の違和感をユーザに与える。
【００２７】
そこで、本実施形態では、列アンプゲインを変更する際に、デジタルゲインのみを用いて輝度の調整を行わずに、電子シャッターも用いることで、列アンプゲインの切り替え直前のＳ／Ｎ比を保持しつつ、輝度の変化も抑えるようにする。具体的に説明すると、列アンプゲインを０ｄＢから＋６ｄＢへ変更する際に、デジタルゲインを０ｄＢまで下げずに、＋３ｄＢまでしか下げないことで、理論的にはＳ／Ｎ比が、列アンプゲインの切り替え前後で同等となる。ここで、デジタルゲインを＋３ｄＢまでしか下げなかった場合、トータルゲインが列アンプゲインの切り替え前後で変わってしまうため、＋３ｄＢの輝度変化が生じてしまう。そこで、低照度においてＳ／Ｎ比に殆ど影響を与えない露光時間を−３ｄＢにすることで、輝度値を合わせこむことができる。
つまり、列アンプゲインを０ｄＢから＋６ｄＢへ変更する際に、デジタルゲインを＋６ｄＢから＋３ｄＢに下げ、さらに露光時間を０ｄＢから−３ｄＢに下げる（１／６０ｓｅｃから１／８５ｓｅｃに変更する）ことで列アンプのゲインの変化分を補う。このように制御することで、列アンプゲインの切り替え前後において、輝度値を維持しつつ、Ｓ／Ｎ比も同等となり、画像の見た目上の違和感をユーザに与えることを抑制し、滑らかなゲインの切り替えを行うことができる。
【００２８】
前述した本実施形態の露出制御方法を用いた場合の各露出パラメータの変化と、Ｓ／Ｎ比の変化について、図４を用いて説明する。図４は、本実施形態の露出と被写体照度との関係の一例を示す図（グラフ）である。
図４において、横軸及び縦軸は図２と同様であるので、その詳細な説明を省略する。また、領域（Ａ）〜領域（Ｂ）における露出制御も図２と同様であるので、その詳細な説明を省略する。
【００２９】
被写体照度が領域（Ｂ）から領域（Ｃ）へ移行することに伴って露出制御を変更する際に、列アンプ１０３のゲイン（列アンプゲイン４０１）の設定を、０ｄＢの状態から＋６ｄＢへ変更する。そして、これと同時に、＋６ｄＢであったデジタルゲイン４０２を＋３ｄＢに変更するとともに、露光時間（電荷蓄積時間）４０３を０ｄＢから−３ｄＢに変更する。このようにすることで、Ｓ／Ｎ比４０４の連続性を維持しつつ、輝度の合わせこみも同時に行う。したがって、列アンプゲイン４０１の切り替え前後でＳ／Ｎ比４０４が同等のまま、急激な輝度変化も起こらないため、違和感なく、スムーズにゲインの切り替えを行うことができる。
【００３０】
領域（Ｃ）では、露光時間４０３を変更しながら露出制御を行う。具体的に説明すると、被写体照度が暗い状態になるに従って、一旦１／８５ｓｅｃまで短くなった露光時間４０３を１／６０ｓｅｃとなるまで徐々に長くしていくことで、露出制御を行う。このとき、列アンプゲイン４０１は＋６ｄＢ、デジタルゲイン４０２は＋３ｄＢの状態でそれぞれ固定されているので、Ｓ／Ｎ比も−６ｄＢの状態のまま変化しない。
【００３１】
領域（Ｄ）では、露光時間４０３が１／６０ｓｅｃに到達しているため、露光時間４０３を１／６０ｓｅｃのまま固定するとともに、列アンプゲイン４０１も＋６ｄＢのまま固定した状態で、再びデジタルゲイン４０２を用いて露出制御を行う。ここから、−６ｄＢで維持していたＳ／Ｎ比４０４が、デジタルゲイン４０２を上げるとともに低下する。ここでも、図２の場合と同様に、デジタルゲイン４０２の上限を＋１５ｄＢとすると、Ｓ／Ｎ比は−１８ｄＢまで低下する。
領域（Ｆ）については、図２と同様であるので、その詳細な説明を省略する。
【００３２】
以上、被写体照度が明るい状態から、暗い状態へ変化する場合について説明したが、逆に、被写体照度が暗い状態から、明るい状態へと変化する場合についても図４に示す露出制御方法を適用することができる。
つまり、被写体照度が領域（Ｄ）の状態から徐々に明るくなり、領域（Ｃ）の状態へ変化した場合、列アンプゲイン４０１を＋６ｄＢ、デジタルゲイン４０２を＋３ｄＢの状態でそれぞれ固定し、露光時間４０３を１／６０ｓｅｃから徐々に短くする。更に被写体照度が明るくなり、露光時間４０３が１／８５ｓｅｃまで到達したら、露出パラメータを次のように変更する。すなわち、露光時間４０３を１／６０ｓｅｃに変更することと、デジタルゲイン４０２を＋３ｄＢから＋６ｄＢまで上げることと、列アンプゲイン４０１を＋６ｄＢから０ｄＢへ変更することと、を行う。更に、被写体照度が明るい状態になった場合、領域（Ｂ）の露出制御、すなわち露光時間４０３を１／６０ｓｅｃに固定するとともに、列アンプゲイン４０１も０ｄＢに固定した状態で、デジタルゲイン４０２のみを用いて露出制御を行う。領域（Ａ）についても、前述した領域（Ａ）における露出制御方法と同様である。
【００３３】
以上のように本実施形態では、列アンプ１０３のゲインの切り替えを行う際に、列アンプ１０３のゲインの変化分に応じて、列アンプ１０３のゲインの変化分が打ち消されるようにデジタルゲインアンプ１１１のゲインと露光時間の両方を用いて露出制御を行う。したがって、列アンプ１０３のゲインの切り替えによる急激なＳ／Ｎ比の変化を抑え、さらに輝度の合わせこみも行うことで、画質の急激な塩化によって画像の見た目上の違和感をユーザに与えることを抑制し、滑らかにゲインの切り替えを行うことができる。
【００３４】
本実施形態では、ゲインの切り替えを、第１のゲインアンプの一例である列アンプ１０３と、第２のゲインアンプの一例であるデジタルゲインアンプ１１１の２つのゲインを用いて行う場合を例に挙げて説明した。しかしながら、固体撮像素子１００内の出力アンプ１０５や、アナログ信号処理回路１０６内のＰＧＡ１０８等の、他のアンプのゲインを用いても良い。
【００３５】
また、本実施形態では、被写体照度が領域（Ｂ）、（Ｃ）の境界の値になると、列アンプゲイン４０１を６ｄＢ上げると同時に、デジタルゲイン４０２、露光時間（電荷蓄積時間）４０３を３ｄＢ下げる露出制御を行う場合を例に挙げて説明した。しかしながら、厳密には、アナログゲインアンプである列アンプ１０３等の個体のばらつきや、基板パターン等によって、ゲインの切り替え前後のＳ／Ｎ比に若干のばらつきが生じる。このため、アナログゲインアンプである列アンプ１０３等の個体のばらつきを無視して全て同じ露出制御を行った場合、ばらつきが大きいものに関しては、ゲインの切り替えによるＳ／Ｎ比の変化が、画像に表れる可能性がある。
【００３６】
例えば、列アンプゲイン４０１のゲイン比率が、列アンプ１０３の個体のばらつきにより＋５．８ｄＢであるとする。また、列アンプ１０３のゲインの切り替えによる輝度の合わせこみを、全てデジタルゲイン４０２を用いて行った場合に、Ｓ／Ｎ比４０４が２．９ｄＢ改善するとする。
このような場合、ゲインの切り替えの前後でＳ／Ｎ比４０４を同等に保つためには、デジタルゲイン４０２を２．９ｄＢ下げて、トータルゲインとしての差分である、残りの２．９ｄＢを、電子シャッターを用いて露光時間を合わせこむ。このようにすることで、画像の輝度変化を抑えることができる。しかし、列アンプゲイン４０１を切り替える際に、列アンプ１０３の個体のばらつきを考慮せずに、デジタルゲイン４０２および露光時間４０３ともに−３ｄＢの変更を行うと、０．２ｄＢだけ輝度が低下してしまう。そうすると、Ｓ／Ｎ比４０４の変化においても差が生じてしまう。
【００３７】
よって、列アンプ１０３の個体のばらつきが大きい場合や、ゲインの切り替えによる急激な輝度の変化、及びＳ／Ｎ比の変化の抑制を厳密に行いたい場合は、工程調整などで、ゲインの切り替えによるＳ／Ｎ比の変化に関する情報を取得する。そして、取得した情報に基づいて、撮像装置ごとに個別に異なる露出制御方法を露出制御方法記憶部１１８に記憶させることが望ましい。かかる情報は、例えば、列アンプゲインの切り替えの際に当該列アンプゲインの変化分が打ち消される（Ｓ／Ｎ比と輝度の変化がなくなるように）デジタルゲインのみを変更した場合の、列アンプゲインの切り替え前後におけるＳ／Ｎ比の改善分の情報である。前述した例では、このＳ／Ｎ比の改善分は、２．９ｄＢになる。
【００３８】
また、本実施形態では、列アンプゲイン４０１を切り替える際の露出の条件を、デジタルゲイン４０２が＋６ｄＢのときとした。しかしながら、被写体照度が、領域（Ｂ）と領域（Ｃ）との間で頻繁に変化する場合、頻繁に列アンプゲイン４０１の切り替えが行われることになる。前述したように、アナログゲイン及び基板パターンのばらつきにより、ゲインの切り替え時のＳ／Ｎ比の変化は、個別に若干異なり、さらに低照度においては、温度の変化によってもＳ／Ｎ比の変化が生じる。このため、頻繁にゲインの切り替えが行われると、輝度の変化およびＳ／Ｎ比の変化が大きくない場合でも、画像の見た目として好ましくない場合がある。
【００３９】
そこで、列アンプゲイン４０１を切り替える契機となる露出の条件（デジタルゲイン４０２の値）にヒステリシスを持たせるようにしてもよい。例えば、被写体照度が明るい状態から暗い状態（領域（Ｂ）から領域（Ｃ））へ変化するときには、デジタルゲインが＋７ｄＢ以上となった場合に、列アンプゲインの切り替えを行い、デジタルゲインを＋７ｄＢから＋４ｄＢに変更する。この直後に被写体照度が暗い状態から明るい状態（領域（Ｃ）から領域（Ｂ））へ推移した場合には、列アンプゲインをすぐに切り替えずに、露光時間を−３ｄＢに固定したまま、デジタルゲインを＋４ｄＢから＋３ｄＢに徐々に変化させる。そして、デジタルゲインが＋３ｄＢに到達したときに、列アンプゲインを＋６ｄＢから０ｄＢに切り替えることと、デジタルゲインを＋３ｄＢから＋６ｄＢに切り替えることと、露光時間を−３ｄＢから０ｄＢに変化させることと、を行う。こうすることで、ゲインの切り替えによる切り替えショックが生じた場合でも、頻繁にゲインの切り替えが起こることによる輝度の変化およびＳ／Ｎ比の変化を抑えることができる。
【００４０】
＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。本実施形態では、第１の実施形態で説明した露出制御方法において、図４の領域（Ｂ）と領域（Ｃ）との境界の被写体照度で列アンプゲインを切り替えた直後に、被写体照度に変化がなくなった場合の露出制御について説明する。このように本実施形態と第１の実施形態とは、露出制御方法の一部が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図４に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００４１】
図４において、被写体照度が領域（Ｂ）から領域（Ｃ）へ変化した場合、列アンプゲイン（の変化）が＋６ｄＢとなり、デジタルゲインと露光時間（の変化）がともに−３ｄＢとなるように露出を変更する。こうすることで、前述したようにＳ／Ｎ比の急激な変化を抑えることができる。その状態から、被写体照度が更に暗い状態になった場合は、露光時間を、ゲインの切り替え時に３ｄＢ下げた分、露光時間（電荷蓄積時間）に余裕があるため、露光時間を長くすることにより露出制御を行うことができる。したがって、ゲインの切り替えを行わない場合に対して、常に＋３ｄＢだけＳ／Ｎ比の改善された画像を取得することができる（低照度環境下：領域（Ｄ）〜領域（Ｅ）を参照）。
【００４２】
しかしながら、列アンプゲインを切り替えた直後に、被写体照度に変化がなくなった場合、ゲインの切り替えの本来の目的であるノイズの改善に関しては、効果がなくなる。そこで、列アンプゲインを切り替えた直後に被写体照度に変化がなくなった場合についても考慮し、時間の経過とともに露光時間（電荷蓄積時間）を１／８５ｓｅｃから１／６０ｓｅｃへ徐々に変更する。そして、これに合わせてトータルゲインを保持したまま、デジタルゲインを＋３ｄＢから０ｄＢまで徐々に変化させる。このようにすることで、ノイズ感を急激に変化させることなく、Ｓ／Ｎ比を＋３ｄＢ改善させることができる。
【００４３】
このときの露出制御方法の一例について、図５を用いて説明する。図５は、露出と時間との関係の一例を示す図である。図５において、横軸は時間を示しており、縦軸は各露出パラメータの露出と、Ｓ／Ｎ比を示す。
図５のゲイン切り替え時刻ｔ１において、列アンプゲインを０ｄＢから＋６ｄＢへ切り替えるのと同時に、デジタルゲイン５０２および露光時間５０３のゲインを−３ｄＢ変更する。すなわち、デジタルゲイン５０２を＋６ｄＢから＋３ｄＢへ、露光時間５０３を１／６０ｓｅｃから１／８５ｓｅｃへそれぞれ変更する。この時点では、Ｓ／Ｎ比は、ゲインの切り替え前と同等であるので、−６ｄＢのまま変化はない。また、このときの被写体照度は、（ゲインの切り替え直後から）変化ないものとする。
【００４４】
ゲインの切り替えが完了したら、時間の経過とともに、露光時間５０３を１／８５ｓｅｃから１／６０ｓｅｃへと徐々に変更しながら、これに合わせてデジタルゲイン５０２も＋３ｄＢから０ｄＢへと徐々に変更させる。このときの、露光時間５０３とデジタルゲイン５０２とを合わせたトータルゲインを一定にし、列アンプゲイン５０１については＋６ｄＢのまま固定する。また、Ｓ／Ｎ比５０４については、ゲインの切り替え直後は−６ｄＢのまま保持されており、デジタルゲイン５０２が下がるに従って、−３ｄＢまで改善する。
時間が経過し、収束時刻ｔ２で、露光時間５０３は１／６０ｓｅｃとなり、デジタルゲイン５０２は０ｄＢとなる。このとき、Ｓ／Ｎ比は３ｄＢ改善し、−３ｄＢとなる。
【００４５】
以上のように本実施形態では、第１の実施形態と同様に、列アンプゲイン５０１の切り替えに合わせて、列アンプゲイン５０１の変化分に応じて、デジタルゲイン５０２および露光時間５０３を切り替える。その後、デジタルゲイン５０２および露光時間５０３のトータルのゲインが一定になるように、時間の経過とともにデジタルゲイン５０２を徐々に下げることと露光時間５０３を徐々に長くすることとを行う。したがって、列アンプゲイン５０１を切り替えた直後に、被写体照度に変化が無くなった場合においても、Ｓ／Ｎ比を急激に変化させることなく、ノイズ感を向上させることができる。
【００４６】
本実施形態では、列アンプゲイン５０１を切り替えてから、Ｓ／Ｎ比が３ｄＢ改善するまでの時間については具体的に記載していないが、この時間は、画像の見た目上、ノイズの変化がユーザに視認されない程度に設定すれば良い。例えば、デジタルゲイン５０２の変化率の上限を、画像の見た目の評価の結果に基づいて予め決定し、それ以上の変化率でデジタルゲインを変化させないようにする。こうすることで、急激なＳ／Ｎ比の変化を抑えることができる。
【００４７】
また、本実施形態では、列アンプゲイン５０１の切り替え時刻ｔ１から、収束時刻ｔ２まで被写体照度が変化しない条件で説明した。しかしながら、被写体照度が変化した場合においても、時間の経過とともにデジタルゲイン５０２を優先的に下げて、露光時間（電荷蓄積時間）５０３を優先的に長くするようにすることができる。こうすることで、常にＳ／Ｎ比を改善するような露出制御を行うことができる。
【００４８】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００４９】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００５０】
１０３  列アンプ、１１１  デジタルゲインアンプ、１１５  電子シャッター制御部、１１６  露出制御部、１１７  ゲインアンプ制御部
【図１】
2015035757.tif 000003
【図２】
2015035757.tif 000004
【図３】
2015035757.tif 000005
【図４】
2015035757.tif 000006
【図５】
2015035757.tif 000007
【図６】
2015035757.tif 000008