(57)【要約】【課題】露出の微調整機構と粗調整機構を組み合わせた場合に生じるＳＮの変化を抑制した撮像装置を提供すること。【解決手段】撮像手段である撮像素子１００と、撮像素子１００の露出を調整する第１の調整手段と、撮像素子１００の露出を第１の調整手段より細かく調整する第２の調整手段と、撮像素子１００の出力信号にノイズを付加するディザ付加回路１１４と、を有する。ディザ付加回路１１４は、第１の調整手段により露出を上げる際に、出力信号にノイズを付加する。【選択図】図１
2018014676.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段の露出を調整する第１の調整手段と、
前記撮像手段の露出を前記第１の調整手段より細かく調整する第２の調整手段と、
前記撮像手段の出力信号にノイズを付加する付加手段と、を有し、
前記付加手段は、前記第１の調整手段により露出を上げる際に、前記出力信号に前記ノイズを付加する
ことを特徴とする撮像装置。
【請求項２】
前記第２の調整手段は、デジタル信号にゲインをかけるデジタルアンプを含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の調整手段は、アナログ信号にゲインをかけるアナログアンプを含むことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１の調整手段は、撮像素子に入射する光量を調整する絞りを含むことを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。
【請求項５】
前記ノイズの付加量を決定し、前記付加手段を制御する第１の制御手段をさらに有し、
前記第１の制御手段は、前記ノイズを付加した際に、ノイズの付加量を徐々に減少させることを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像装置。
【請求項６】
前記第１の制御手段は、前記第１の調整手段及び前記第２の調整手段におけるゲインの合計に基づいて、前記ノイズの付加量を決定することを特徴とする請求項１乃至５に記載の撮像装置。
【請求項７】
前記撮像手段の出力信号に対しノイズリダクション処理を行う処理手段をさらに有し、
前記処理手段は、前記第１の調整手段により前記露出を下げる際に、前記出力信号に前記ノイズリダクション処理を行うことを特徴とする請求項１乃至６に記載の撮像装置。
【請求項８】
前記ノイズリダクション処理のリダクションレベルを決定し、前記処理手段を制御する第２の制御部をさらに有し、
前記第２の制御手段は、前記ノイズリダクション処理を行う際に、リダクションレベルを徐々に下げることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第２の制御手段は、前記第１の調整手段及び前記第２の調整手段におけるゲインの合計に基づいて、リダクションレベルを決定することを特徴とする請求項７または８に記載の撮像装置。
【請求項１０】
撮像装置の制御方法であって、
撮像手段の露出を調整する第１の調整工程と、
前記撮像手段の露出を前記第１の調整工程より細かく調整する第２の調整工程と、
前記撮像手段の出力信号にノイズを付加する付加工程と、を有し、
前記付加工程は、前記第１の調整工程により露出を上げる際に、前記出力信号に前記ノイズを付加する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
イメージセンサを備える撮像装置においては、幅広い露光調整を実現するために、様々な調整機構を組み合わせて用いるのが一般的である。露出調整機構には、絞りやＮＤフィルタなどのセンサに入力する光量を調整する機構、イメージセンサから出力されたアナログの輝度信号を増減するアナログゲイン、アナログの輝度信号をＡＤ変換した後に計算によって増幅するデジタルゲインなどがある。
【０００３】
例えば、特許文献１では、露出レベルをなめらかに変化させるため、デジタルゲイン以外の細やかな調整のできない機構を粗調整機構とし、更にデジタルゲインを微調整機構としている。そして、これら両方を組み合わせて露出を調整する方法を開示する。
また、特許文献１における祖調整機構からデジタルゲイン機構へ切り替える時に生じるＳＮの急激な変化を軽減するため、特許文献２では、デジタルゲインと粗調整機構に露光時間を変更するシャッター機構を組み合わせ、ＳＮの変化を軽減する方法を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５７３４４２号公報
【特許文献２】特開２０１５−３５７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２で示されるシャッター機構を用いた場合、粗調整機構の切り替え時、露出のレベル差が大きいと、シャッター時間もそれに応じて短くする必要がある。しかし、シャッター時間がフレーム間隔より短くなると露光しない時間が生じてしまう。そのため、動きの速い被写体を撮影している場合、連続したスムーズな動きではなく飛び飛びの映像になってしまう。
【０００６】
また、シャッターを変更するためには、センサを制御するためのパルスを変更する必要がある。センサの制御パルスはほとんどの場合がセンサ制御用のパルスジェネレータで生成されており、その設定変更はレジスタ変更で行われる。レジスタ変更は、通常シリアル通信で行われており、設定変更に通信タイムラグが生じることになる。したがって、ＳＮの急激な変化を抑制するためにシャッターを用いる場合、通信タイムラグを考慮した設計が必要となり、制御が複雑になってしまう。
【０００７】
本発明は、露出の微調整機構と粗調整機構を組み合わせた場合に生じるＳＮの変化を抑制した撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の撮像装置は、撮像手段と、前記撮像手段の露出を調整する第１の調整手段と、前記撮像手段の露出を前記第１の調整手段より細かく調整する第２の調整手段と、前記撮像手段の出力信号にノイズを付加する付加手段と、を有し、前記付加手段は、前記第１の調整手段により露出を上げる際に、前記出力信号に前記ノイズを付加する。
【発明の効果】
【０００９】
本発明によれば、露出の微調整機構と粗調整機構を組み合わせた場合に生じるＳＮの変化を抑制した撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成を示す図である。
【図２】被写体照度が変化したときのＳＮを示す図である。
【図３】ディザ付加回路の制御を説明する図である。
【図４】ディザゲイン制御部の処理のフローチャートである。
【図５】ディザレベルを変更する処理のフローチャートである。
【図６】ノイズリダクション部の制御を説明する図である。
【図７】ノイズリダクション制御部の処理のフローチャートである。
【図８】ノイズリダクションレベルを変更する処理のフローチャートである。
【図９】被写体照度が変化したときのＳＮを示す図である。
【図１０】ディザレベルを決定する処理のフローチャートである。
【図１１】トータルゲインレベルとディザレベルの関係を示したテーブルである。
【図１２】被写体照度が変化したときのＳＮを示す図である。
【図１３】トータルゲインレベルとディザレベルの関係を示したテーブルである。
【図１４】撮像装置の構成を示す図である。
【図１５】被写体照度が変化したときのＳＮを示す図である。
【図１６】ディザ付加回路の制御を説明する図である。
【図１７】被写体照度が変化したときのＳＮを示す図である。
【発明を実施するための形態】
【００１１】
（第１実施形態）
図１は、撮像装置の構成の一例を示す図である。図１に示す撮像装置は、複数のゲインアンプを用いて、オートゲインコントロール（ＡＧＣ）を行うことが可能な撮像装置である。撮像装置は、撮像素子１００、アナログ信号処理回路１０６、デジタル信号処理回路１１０、それらを制御する制御部、表示部１１３を含む。
【００１２】
撮像素子１００は、光を電気信号（アナログ信号）に変換する。撮像素子１００は、光電変換部１０１、垂直出力線１０２、列アンプ１０３、水平出力線１０４、出力アンプ１０５を含む。
撮像素子１００には、それぞれが光電変換部１０１を有する複数の画素が２次元マトリックス状に配置される。光電変換部１０１において生成された電気信号は、垂直出力線１０２を通り、列ごとに備えられた列アンプ１０３により増幅される。
【００１３】
列アンプ１０３は、アナログ的に信号を増幅する。列アンプ１０３は、１倍、２倍、４倍、８倍・・・と、ゲインの分割ステップ（ゲインの刻み幅）が大きく、設定されるゲインの値として離散的な値を持つ。列アンプ１０３は、被写体の輝度の変化に応じて、ゲインの設定を随時変更することが可能である。
【００１４】
列アンプ１０３により増幅された電気信号（アナログ信号）は、水平出力線１０４を通り、出力アンプ１０５に入力される。出力アンプ１０５のゲインの値も、列アンプ１０３と同様に、設定されるゲインの値として離散的な値をもつことが多い。本実施形態では、出力アンプ１０５のゲインは固定値であるものとする。出力アンプ１０５により増幅された電気信号は、撮像素子１００から出力され、アナログ信号処理回路１０６に入力される。
【００１５】
アナログ信号処理回路１０６は、相関２重サンプリング回路（ＣＤＳ）１０７、アナログ信号アンプ（ＰＧＡ）１０８、Ａ／Ｄ変換回路（ＡＤＣ）１０９を含む。
ＣＤＳ１０７では、アナログ信号処理回路１０６に入力された電気信号の信号レベルと基準レベルとの差分をとることで、当該電気信号のノイズ成分を除去する。ＣＤＳ１０７から出力されたアナログの電気信号は、ＰＧＡ１０８に入力される。
ＰＧＡ１０８は、撮像素子１００内にある列アンプ１０３や出力アンプ１０５等と比べて、より細かくゲインを設定することが可能であるが、本実施形態では、ＰＧＡ１０８のゲインは固定値であるものとする。ＰＧＡ１０８により増幅された電気信号は、ＡＤＣ１０９に入力される。
【００１６】
Ａ／Ｄ変換回路（ＡＤＣ）１０９は、粗調整機構から出力されたアナログ信号をデジタル信号に変換する。ＡＤＣ１０９によってデジタル信号に変換された後、アナログ信号処理回路１０６から出力され、デジタル信号処理回路１１０に入力される。本実施形態においては、アナログアンプのうち出力アンプ１０５とＰＧＡ１０８のゲイン値が固定であるため、列アンプ１０３のゲインの変化をアナログゲインの変化として扱えばよい。
【００１７】
デジタル信号処理回路１１０は、ディザ付加回路１１４、デジタルゲインアンプ１１１、ノイズリダクション部１２０、画像処理部１１２を含む。
デジタル信号処理回路１１０では、アナログ信号処理回路１０６から入力されたデジタル信号に対して、ディザ付加回路１１４にてノイズを付加できるようになっている。このディザ付加回路１１４は、ディザゲイン制御部１１８の指示に応じてノイズの付加量を調整できるようになっている。ディザ付加回路１１４から出力されたデジタル信号は、デジタルゲインアンプ１１１に送られる。
【００１８】
デジタルゲインアンプ１１１は、デジタル信号に対し信号を増幅するゲイン処理を行う。撮像素子１００内にあるアナログゲインアンプ（列アンプ１０３および出力アンプ１０５）と比較すると、ゲインの分割ステップ（ゲインの刻み幅）が小さい。したがって、デジタルゲインアンプ１１１は、非常に細かくゲインを設定することが可能な微調整機構（第２の調整機構）であり、被写体輝度に応じて細かい輝度調整を行うことができる。デジタルゲインアンプ１１１から出力されたデジタル信号は、ノイズリダクション部１２０に送られる。
【００１９】
次に、ノイズリダクション部１２０により、画像内のノイズを低減するため、デジタル信号のノイズを低減するノイズリダクション処理が行われる。ノイズリダクション処理の方法としては、隣接画素からノイズを判断し補正するものや、フレーム間で動体を検出し背景部分のノイズを低減するものなどさまざまな方法がある。このノイズリダクション部１２０はノイズリダクション制御部１１９により制御される。ノイズリダクション部１２０から出力されたデジタル信号は、画像処理部１１２に送られる。
画像処理部１１２は、γ補正や輪郭強調などのデジタル画像処理を行う。デジタル信号処理回路１１０から出力されたデジタル信号は、表示部１１３内部のＤ／Ａ変換回路によりアナログ信号に変換され、表示部１１３で表示される。
【００２０】
ゲインアンプ制御部１１７は、露出制御部１１６からの制御信号に基づいて、列アンプ１０３とデジタルゲインアンプ１１１に対するゲイン制御を行う。ディザゲイン制御部１１８は、露出制御部１１６からＳＮ段差が生じるゲイン値を取得し、ディザが必要なタイミングでディザ付加回路１１４へ付加レベルを指示し、ディザを付加させる。ノイズリダクション制御部１１９は、撮影条件によりノイズリダクションのＯＮ／ＯＦＦやリダクションレベルを制御する。露出制御部１１６は、ゲイン値など露出に関連する情報を保持し、露出に関する制御を行う。
【００２１】
本実施形態においては、列アンプ１０３、出力アンプ１０５、アナログ信号アンプ１０８が露出を大きなステップで粗く調整する粗調整機構（第１の調整手段）あたる。また、デジタルゲインアンプ１１１が粗調整機構より細かいステップで露出を調整する微調整機構（第２の調整手段）にあたる。出力アンプ１０５及びアナログ信号アンプ１０８のゲイン値は固定値であるため、粗調整機構としての露出の調整は列アンプ１０３において行われる。
【００２２】
次に、図２を参照して、被写体照度が明るい状態から暗い状態に変化したときの列アンプ１０３（アナログアンプ）とデジタルゲインアンプ１１１の制御方法とＳＮの変化について説明する。図２は、横軸に被写体照度、縦軸にゲインレベルおよびＳＮを示した図である。列アンプゲイン２０１は列アンプ１０３におけるゲイン、デジタルゲイン２０２はデジタルゲインアンプ１１１におけるゲイン、トータルゲイン２０３は列アンプゲイン２０１とデジタルゲイン２０２を合わせたトータルゲインを示している。ＳＮ２０４は、全体のＳＮを表している。
【００２３】
領域Ａは、被写体が明るい状態であるため、列アンプゲインとデジタルアンプゲインは、共に０ｄＢであり、トータルゲインも０ｄＢである。領域Ｂ及び領域Ｃは徐々に被写体照度が下がっていく領域であり、トータルゲインがスムーズに増加するように列アンプゲイン２０１とデジタルゲイン２０２をグラフのように制御している。
領域Ｂと領域Ｃの境目では、列アンプゲイン２０１のゲインアップとデジタルゲイン２０２のゲインダウンを行うため、ＳＮの急激な変化が発生する。以降、粗調整機構である列アンプ１０３と微調整機構であるデジタルゲインアンプ１１１の切り替わりの部分でのＳＮの変化をＳＮ段差と呼ぶ。領域Ｄは、被写体が暗い状態であるため、列アンプゲインとデジタルアンプゲインはそれぞれ最大限の増幅を行っており、列アンプゲインは＋６ｄＢ、デジタルアンプゲインは＋１５ｄＢであり、トータルゲインは＋２１ｄＢとなっている。
図２より、被写体照度が明るい状態から暗い状態に変化した場合に発生するＳＮの急激な変化は、列アンプゲイン２０１（アナログゲイン）が変化した場合に起きていることが分かる。
【００２４】
次に、図３を参照して、このＳＮ段差を軽減するためのディザ付加回路１１４の制御について説明する。図３は、横軸に時間、縦軸にゲイン及びＳＮを示したグラフである。列アンプゲイン３０１は列アンプ１０３におけるゲイン、デジタルゲイン３０２はデジタルゲインアンプ１１１におけるゲイン、トータルゲイン３０３は列アンプゲイン３０１とデジタルゲイン３０２を合わせたトータルゲインを示している。ディザ３０４はディザ付加回路１１４において付加するディザ、ＳＮ３０５はディザを付加した場合のＳＮを示している。一方、破線３０７はディザを付加しない場合のＳＮを示している。タイミング３０６が、図２の領域ＢとＣの境目である。
【００２５】
タイミング３０６において、列アンプゲイン３０１は６ｄＢ増加、デジタルゲイン３０２は６ｄＢ減少しているため、トータルゲイン３０３としてはフラットな状態である。しかし、ＳＮに関しては３０７の点線のように、ＳＮ段差が生じてしまう。そこで、タイミング３０６でディザ付加回路１１４をＯＮし、ディザ３０４のようにディザを付加する。これによりＳＮは、破線３０７ではなくＳＮ３０５のような軌道を描くことになり、ＳＮ段差を軽減することが可能になる。
ここで、３０６のタイミングで付加するディザ量は、予めＳＮ段差を測定しておき、ＳＮ段差に応じたディザを付加している。また、ディザがＯＦＦになるまでの時間は、人間がノイズ変化を感じない程度にする必要があり、本件では１〜３秒程度にしている。
【００２６】
次に、図４を参照して、ディザ付加回路１１４を制御しているディザゲイン制御部１１８の動作について説明する。図４は、ディザゲイン制御部１１８のフローチャートを表している。
Ｓ４０１において、ディザゲイン制御部１１８の動作を開始する。例えば、ここはフレーム毎に呼ばれることで動作は開始される。
Ｓ４０２は、現在設定されているトータルゲイン値を露出制御部１１６から取得する処理である。
【００２７】
Ｓ４０３では、Ｓ４０２で取得した現在のトータルゲイン値と前のフレームで取得したトータルゲイン値とを比較し、トータルゲインに変化（差）があるかを確認する。変化がない場合、つまりトータルゲインが変更されていない場合は、Ｓ４０４の処理に移動し終了する。一方で、Ｓ４０３でトータルゲインが変更されたと判断した場合は、処理をＳ４０５に移す。
Ｓ４０５では、Ｓ４０２で取得したトータルゲインを次回との差を確認するために保存しておく。
Ｓ４０６では、前回のフレームで取得したトータルゲイン値からのトータルゲイン値の変化が、ゲインアップであるか否か判断する。前回よりトータルゲインをアップさせた場合はＳ４０７に、ダウンさせた場合はＳ４０８に処理を移す。
【００２８】
Ｓ４０７では、アナログゲインが上がったか否か、すなわち、列アンプ１０３により露出が上がったか否かを露出制御部１１６から取得し、アナログゲインを上げた場合は４０９に処理を移す。
Ｓ４０９では、ディザ付加回路１１４で付加するディザをＯＮにし、ディザレベルを設定する。このディザレベルは、予めＳＮ段差を測定し、その段差が人間の目で分からない程度のレベルになるようを設定してあり、本実施形態では例えばディザレベルを１０に設定する。
【００２９】
一方、Ｓ４０６の判定でゲインがダウンだと判断した場合、Ｓ４０８では、アナログゲインが下がったか否か、すなわち、列アンプゲイン下がったか否かを判断している。列アンプゲインが下がっていた場合、Ｓ４１０に進み強制的にディザをＯＦＦにする（ディザレベルを０に設定する）。
以上のディザゲイン制御部１１８による制御により、図２の領域Ｂから領域Ｃに入るところでのみディザがＯＮにされ、Ｓ／Ｎが悪い領域ＢではディザがＯＦＦされる。
【００３０】
図４のＳ４０９でディザをＯＮにした場合、人間がＳＮ段差の変化を感じない程度にするため、図３のディザ３０４に示されるように、ノイズの付加量を示すディザレベルは徐々に下げられる。図５は、ディザゲイン制御部１１８によるディザレベルを変更する処理のフローチャートである。本処理は、フレーム毎に行われる処理である。
Ｓ５０１では、ディザがＯＦＦされているか（レベル０であるか）を判断し、ＯＦＦだった場合は処理を終了する。Ｓ５０１でディザがＯＮされている（レベルが０以外である）場合、処理をＳ５０２に移す。Ｓ５０２では、ノイズの付加量であるディザレベルを下げる処理を行う。ディザレベルを下げる割合を変えることにより、ＯＦＦする（レベルが０になる）までの時間を変更することができる。
なお、ディザレベルの下げ方は、１フレームごとに下げるディザレベルを予め決めていてもよいし、デジタルゲインアンプ１１１による露出の増加量に対応させてもよい。例えば、ディザレベルが１０で、フレーム毎に１ずつ下げていくとすると、１０フレームでディザがＯＦＦされることになる。
【００３１】
次に、被写体照度が暗い状態から明るい状態へと変化する場合について説明する。被写体照度が暗い状態から明るい状態に変化したときの、列アンプゲイン（アナログアンプゲイン）とデジタルゲイン、ＳＮの変化に関して、図２で説明する。被写体照度が明るくなり、領域Ｃから領域Ｂへ移行したとき、列アンプゲイン２０１は０ｄＢ、デジタルゲイン２０２は＋６ｄＢになる。その際、ＳＮ２０４は急激に悪化することになる。
【００３２】
図６を参照して、被写体照度が暗い状態から明るい状態へと変化し、ＳＮ２０４が急激に悪化する場合におけるノイズリダクション部１２０の制御について説明する。図６は、横軸に時間、縦軸にゲインを示したグラフである。列アンプゲイン６０１は列アンプ１０３におけるゲイン、デジタルゲイン６０２はデジタルゲインアンプ１１１におけるゲイン、トータルゲイン６０３は列アンプゲイン３０１とデジタルゲイン３０２を合わせたトータルゲインを示している。
【００３３】
ノイズリダクション６０４は、ノイズリダクション部１２０でのノイズリダクションレベルを、ＳＮ６０５はノイズリダクションを行った場合のＳＮを表している。一方、破線６０７は、ノイズリダクションを行っていない場合のＳＮを示している。タイミング６０６の時点は、図２の領域Ｃから領域Ｂ移行したタイミングである。
タイミング６０６で、列アンプゲイン６０１は６ｄＢ減少、デジタルゲイン６０２は６ｄＢ増加しているため、トータルゲイン６０３としてはフラットな状態である。しかし、ＳＮに関しては破線６０７のように、ＳＮ段差が生じてしまう。
【００３４】
そこで、ノイズリダクション制御部１１９は、タイミング６０６でノイズリダクション部１２０をＯＮし、ノイズリダクション処理を行う。ノイズリダクション制御部１１９は、ノイズリダクション６０４のようにノイズリダクション部１２０を制御する。これによりＳＮは、破線６０７ではなくＳＮ６０５のような軌道を描くことになり、ＳＮ段差を軽減することが可能になる。タイミング６０６でＯＮするノイズリダクションレベルは、ＳＮ段差を人間が感じ取れなくなるレベルを予め測定しておき、そのレベルを設定している。
また、ノイズリダクションがＯＦＦになるまでの時間は、人間がＳＮ段差の変化を感じない程度にする必要があり、本実施形態では１〜３秒程度にしている。
【００３５】
次に、ノイズリダクション部１２０を制御しているノイズリダクション制御部１１９の動作に関して説明する。図７は、ノイズリダクション制御部のフローチャートである。
Ｓ７０１で、処理を開始する。図７の処理は、フレーム毎に行われる。Ｓ７０２は、現在設定されているトータルゲイン値を露出制御部から取得する処理である。Ｓ７０３では、Ｓ７０２で取得した現在のトータルゲイン値と前のフレームで取得したトータルゲイン値とを比較し、トータルゲインに変化があるかを確認する。変化がない場合、つまりトータルゲインが変更されていない場合は、Ｓ７０４の処理移動し終了する。一方、Ｓ７０３でトータルゲインが変更されたと判断した場合は、処理をＳ７０５に移す。
【００３６】
Ｓ７０５では、Ｓ７０２で取得したトータルゲインを、次のフレームにおけるトータルゲインとの差を確認するために保存しておく。
Ｓ７０６では、トータルゲインの変化がゲインアップであるか否か判定する。前回よりトータルゲインをアップさせた場合はＳ７０７に、ダウンさせた場合はＳ７０８に処理を移す。
【００３７】
Ｓ７０７では、列アンプ１０３のゲイン（アナログゲイン）をアップさせたか否かを露出制御部１１６から取得し判定する。列アンプ１０３のゲイン（アナログゲイン）を上げた場合は、Ｓ７０９に処理を移す。
Ｓ７０９ではノイズリダクション部１２０をＯＦＦし、ノイズリダクションレベルを０に設定する。
【００３８】
一方、Ｓ７０６の判定でゲインをアップしていないと判断した場合は、Ｓ７０８で列アンプ１０３のゲインを下げたか否か、すなわち、列アンプ１０３により露出を下げたか否か判定する。列アンプ１０３によりゲインが下がったと判定された場合、Ｓ７１０に進みノイズリダクション部１２０をＯＮにし、ノイズを低減させる量を示すノイズリダクションレベルを設定する。
【００３９】
ノイズリダクションレベルは、予めＳＮ段差を測定し、その段差が人間の目で分からない程度のレベルを設定してあり、本実施形態では例えばノイズリダクションレベルを１０に設定する。この制御により、図２の領域ＢでのみノイズリダクションがＯＮされ、Ｓ／Ｎが良い領域ＣではノイズリダクションがＯＦＦされる。
図７のＳ７１０でノイズリダクションをＯＮにした場合、人間がＳＮ段差の変化を感じない程度にするため、図６のノイズリダクション６０４に示されるように、ノイズリダクションレベルは徐々に下げられる。
【００４０】
図８は、ノイズリダクション制御部１１９がノイズリダクションレベルを変更する処理のフローチャートである。図８の処理も、フレーム毎に行われる処理である。Ｓ８０１はノイズリダクションがＯＦＦされているか（レベル０）を判断し、ＯＦＦだった場合は処理を終了する。Ｓ８０１でノイズリダクションがＯＮされている（レベルが０以外）だった場合、処理をＳ８０２に移す。Ｓ８０２ではノイズリダクションレベルを下げる処理を行う。ノイズリダクションレベルを下げる割合を変えることにより、ＯＦＦする（レベルが０になる）までの時間を変更することができる。
なお、ノイズリダクションレベルの下げ方は、１フレームごとに下げるリダクションレベルを予め決めていてもよいし、デジタルゲインアンプ１１１による露出の減少量に対応させてもよい。例えばノイズリダクションレベルが１０で、フレーム毎に１ずつ下げていくとすると、１０フレームでノイズリダクションがＯＦＦされることになる。
【００４１】
以上のように、アナログゲインとデジタルゲインでＳ／Ｎ段差が生じるようなシステムにおいて、本実施形態を適用することによりＳ／Ｎ段差を軽減することができる。本実施形態は粗調手段として列アンプを例にとり説明したが、列アンプに限らず、ゲインを上げることによりＳ／Ｎが改善する粗調手段であれば、本件を適用することができる。また、本実施形態内で具体的に提示されたゲイン値や時間などは、システムにより最適値がことなるため、この限りではない。
【００４２】
（第２実施形態）
第２実施形態における撮像装置は、第１実施形態の図１で示した撮像装置と構成が同じである。
図９を参照して、被写体照度が明るい状態から暗い状態に変化したときの列アンプ（アナログアンプ）とデジタルアンプのゲインとＳＮの変化について説明する。図９は、横軸に被写体照度、縦軸にゲインレベルおよびＳＮを示した図である。列アンプゲイン９０１は列アンプ１０３におけるゲイン、デジタルゲイン９０２はデジタルゲインアンプ１１１におけるゲイン、トータルゲイン９０３は列アンプゲイン９０１とデジタルゲイン９０２を合わせたトータルゲインを示している。ＳＮ９０４は、全体のＳＮを表している。ディザレベル９０５は、ディザ付加回路１１４において付加するディザのレベルを示している。ＳＮ９０４の実線はディザを付加した場合のＳＮを、破線はディザを付加していない場合のＳＮを示している。
【００４３】
領域Ａは、被写体が明るい状態であるため、列アンプゲインとデジタルアンプゲインは、共に０ｄＢであり、トータルゲインは０ｄＢである。領域Ｂ、Ｃ、Ｄは徐々に被写体照度が下がっていく領域であり、トータルゲインがスムーズに増加するように列アンプゲイン９０１とデジタルゲイン９０２をグラフのように制御している。
【００４４】
領域ＢとＣの境目では、列アンプゲイン９０１のゲインアップとデジタルゲイン９０２のゲインダウンを行うため、ＳＮが急激に変化し、ＳＮ段差が発生する。第２実施形態も第１実施形態と同じくディザの付加を行っているが、第２実施形態におけるディザの付加レベルは、ＳＮ段差を０にするレベルではない。つまり、ＳＮ段差が３ｄＢあった場合、３ｄＢ分のディザを付加するのではない。ＳＮ段差が発生していても、ＳＮ段差による映像の違和感を人が見て気付かない程度であればよく、一方で、ＳＮは高いほど良い。そのため、本実施形態においては、３ｄＢのＳＮ段差に対し２ｄＢのディザを付加している。
【００４５】
そして、徐々に付加量を下げていき領域Ｃ、Ｄの境目になったところで、付加量が０になるようにしている。領域Ｃの区間は、デジタルゲインの増幅量とディザレベルの減少量が等しいため、ＳＮが一定になるように設計されている。従って、図９の９０４は、領域Ｃの区間のＳＮが横軸と平行に示される。
【００４６】
図１０は、ディザゲイン制御部１１８がディザレベルを設定する処理のフローチャートである。ディザレベルを設定する処理は、図４のＳ４０９で行われる。ディザレベルを設定する処理は、フレームごとに行われ、Ｓ１００１からスタートする。Ｓ１００２は、現在設定されているアナログゲインとデジタルゲインの合計であるトータルゲイン値を露出制御部１１６から取得する処理である。Ｓ１００３は、トータルゲインに応じてディザレベルを決定する処理である。Ｓ１００４では、Ｓ１００３で決定したディザレベルをディザ付加回路１１４へ指示を送り、ディザを発生させる。
【００４７】
図１１を参照して、Ｓ１００３のディザレベル決定処理について説明する。図１１は、トータルゲインレベルに応じたディザレベルを示したテーブルである。Ｓ１００３では、Ｓ１００２で取得したトータルゲインレベルを、図１１のトータルゲインレベルと照らし合わせて、現在出力すべきディザレベルを決定している。図１１のテーブルに示す通り、トータルゲインが６ｄＢの時、ディザが２ｄＢ付加されるようになっている。この２ｄＢというのは、ＳＮ段差が３ｄＢの内の２ｄＢということである。
実際の付加量は、トータルゲインが６ｄＢの時のノイズ量を０ｄＢとしたときの２ｄＢである。その後トータルゲインが０．１ｄＢ上がる毎にディザが０．１ｄＢ下がるようになっている。なお、図１１に示した数値は一例に過ぎず、これに限られるものではない。
【００４８】
以上説明したように、ＳＮ段差が発生するトータルゲイン位置を予め把握しておき、ＳＮ段差レベルに応じてディザを付加することにより、ＳＮ段差を低減することができる。本実施形態は、被写体照度が明るい状態から暗い状態に変化したときを例に説明したが、暗い状態から明るい状態に変化した場合でも、ノイズリダクション部１２０及びノイズリダクション制御部１１９における同様の処理で対応することができる。
【００４９】
（第３実施形態）
第３実施形態の撮像装置の構成は第１実施形態及び第２実施形態の構成と同一であるため、構成の説明は省略する。第１実施形態及び第２実施形態との違いは、ディザの付加方法である。図１２を参照して、被写体照度の変化の違いについて説明する。図１２は、横軸に被写体照度、縦軸にゲインレベルおよびＳＮを示した図である。
列アンプゲイン１２０１は列アンプ１０３におけるゲイン、デジタルゲイン１２０２はデジタルゲインアンプ１１１におけるゲイン、トータルゲイン１２０３は列アンプゲイン１２０１とデジタルゲイン１２０２を合計したトータルゲインを示している。ＳＮ１２０４は、全体のＳＮを表している。
【００５０】
領域Ａは、被写体が明るい状態であるため、列アンプゲインとデジタルアンプゲインは、共に０ｄＢであり、トータルゲインは０ｄＢである。領域Ｂ，Ｃ，Ｄは徐々に被写体照度が下がっていく領域であり、トータルゲインがスムーズに増加するように列アンプゲイン１２０１とデジタルゲイン１２０２をグラフのように制御している。
【００５１】
領域ＢとＣの境目では、列アンプゲイン１２０１のゲインアップとデジタルゲイン１２０２のゲインダウンを行うため、ＳＮが急激に変化し、ＳＮ段差が発生する。第３実施形態も第１実施形態や第２実施形態と同じくディザの付加を行っているが、第１実施形態と異なり、第３実施形態におけるディザの付加レベルはＳＮ段差を０にするレベルではない。つまり、ＳＮ段差が３ｄＢあった場合、３ｄＢ分のディザを付加するのではない。ＳＮ段差が発生していても、ＳＮ段差による映像の違和感を人が見て気付かない程度であればよく、３ｄＢのＳＮ段差に対し２ｄＢのディザを付加している。
【００５２】
そして、徐々に付加量を下げていき領域Ｃ、Ｄの境目になったところで、付加量が０になるようにしている。ここで、第２実施形態と異なるところは、領域Ｃの区間におけるディザの付加レベルである。第２実施形態においては、領域Ｃの区間はＳＮが一定になるようにディザを付加していた。本実施形態では、ＳＮを改善するために、図１２の１２０４に示すとおり、第２実施形態と比較して領域Ｃの幅を狭くしディザを付加する領域を狭くしている。従って、図１２の１２０４は、領域Ｃの区間のＳＮが右肩上がりに示される。
これにより、領域Ｃ、Ｄの境目部分のＳＮが第２実施形態と比較して改善している。ただし、領域は狭くするほどＳＮが改善するが、ＳＮ段差が顕著になってしまうので、極端に狭くすることはできない。本実施形態においては、トータルゲインで換算すると１．０ｄＢ程度にしている。
【００５３】
ディザを制御しているディザゲイン制御部１１８の動作は、第２実施形態と同様に、図１０に示したフローチャートであらわされる。第２実施形態と異なるところは、Ｓ１００３のトータルゲインに応じてディザレベルを決定する処理の部分である。図１３は、トータルゲインレベルに応じたディザレベルを示したテーブルである。Ｓ１００３では、図１０のＳ１００２で取得したトータルゲインレベルを図１３のトータルゲインレベルと照らし合わせて、現在出力すべきディザレベルを決定している。図１３のテーブルに示す通り、トータルゲインが６ｄＢの時、ディザが２ｄＢ付加されるようになっている。
この２ｄＢというのは、ＳＮ段差が３ｄＢの内の２ｄＢということである。実際の付加量は、トータルゲインが６ｄＢの時のノイズ量を０ｄＢとしたときの２ｄＢである。その後トータルゲインが０．１ｄＢ上がる毎にディザが０．２ｄＢ下がるようになっている。
【００５４】
以上説明したように、ＳＮ段差が発生するトータルゲイン位置を予め把握しておき、ＳＮ段差レベルに応じてディザを付加することにより、ＳＮ段差を低減することができる。本実施形態は、被写体照度が明るい状態から暗い状態に変化したときを例に説明したが、暗い状態から明るい状態に変化した場合でも、ノイズリダクション部１２０及びノイズリダクション制御部１１９における同様の処理で対応することができる。
【００５５】
（第４実施形態）
図１４を参照して、第４実施形態における撮像装置の構成について説明する。図１４に示す撮像装置は、絞り機構とデジタルゲインアンプを用いて、オートゲインコントロール（ＡＧＣ）を行うことが可能な撮像装置である。撮像装置は、レンズ１４２２、絞り機構１４２１、撮像素子１４００、アナログ信号処理回路１４０６、デジタル信号処理回路１４１０、それらの制御を行う各制御部、表示部１４１３を含む。
【００５６】
撮像素子１４００は、光を電気信号（アナログ信号）に変換する。その撮像素子１４００の前には、レンズ１４２２と絞り機構１４２１が装備してある。絞り制御部１４２３は、後述する露出制御部１４１６から露出情報を取得し、必要に応じて絞り機構１４２１を制御し、撮像素子１４００へ入射する光量を調整する。絞り機構１４２１にはいろいろな種類や方式あるが、例えば、プラスチック羽の耐久性が低い、安価なものを想定する。耐久性が低いため、常時通電して細かく動かすことはできない。
そのため、絞り機構１４２１は、入射する光量が２倍または１／２倍変化するように粗くステップ的に動き、通電回数を減らすように動作する。ＡＧＣを行う際は、その間を微調整機構におけるデジタルゲインで補完し、なめらかにゲインが上がるようにしている。
【００５７】
撮像素子１４００には、それぞれが光電変換部１４０１を有する複数の画素が２次元マトリックス状に配置される。光電変換部１４０１において生成された電気信号は、垂直出力線１４０２、水平出力線１４０４を通り、アナログ信号を増幅する出力アンプ１４０５に入力される。本実施形態では、出力アンプ１４０５のゲインは固定値であるものとする。
【００５８】
出力アンプ１４０５により増幅された電気信号は、撮像素子１４００から出力され、アナログ信号処理回路１４０６に入力される。アナログ信号処理回路１４０６内の相関２重サンプリング回路（ＣＤＳ）１４０７では、アナログ信号処理回路１４０６に入力された電気信号の信号レベルと基準レベルとの差分をとることで、当該電気信号のノイズ成分を除去する。ＣＤＳ１４０７から出力されたアナログの電気信号は、アナログ信号アンプ（ＰＧＡ）１４０８に入力される。
【００５９】
ＰＧＡ１４０８は、入力されたアナログ信号を増幅する。ＰＧＡ１４０８は、撮像素子１４００内にある出力アンプ１４０５等と比べて、より細かくゲインを設定することが可能であるが、本実施形態では、ＰＧＡ１４０８のゲインは固定値であるものとする。ＰＧＡ１４０８により増幅された電気信号は、Ａ／Ｄ変換回路（ＡＤＣ）１４０９によってアナログ信号からデジタル信号へと変換された後、アナログ信号処理回路１４０６から出力され、デジタル信号処理回路１４１０に入力される。
【００６０】
デジタル信号処理回路１４１０では、入力されたデジタル信号に対して、ディザ付加回路１４１４にてノイズを付加できるようになっており、ディザゲイン制御部１４１８の指示に応じてディザの付加量を調整する。ディザ付加回路１４１４から出力されたデジタル信号は、デジタルゲインアンプ１４１１に入力される。
デジタルゲインアンプ１４１１は、信号を増幅するゲイン処理を行う。絞り１４２１の１回の変化量とデジタルゲインアンプ１４１１の変化量を比較すると、デジタルゲインアンプ１４１１の変化量の方が、絞り１４２１の１回の変化量より小さい。このため、デジタルゲインアンプ１４１１は微調整機構（第２の調整手段）として、被写体輝度に応じて細かい輝度調整を行うことができる。デジタルゲインアンプ１４１１から出力された信号は、ノイズリダクション部１４２０に送られる。
【００６１】
ノイズリダクション部１４２０は、画像内のノイズを低減するノイズリダクション処理を行う。ノイズリダクション処理としては、隣接画素からノイズを判断し補正するものやフレーム間で動体を検出し背景部分のノイズを低減するものなどさまざまな方法がある。ノイズリダクション部１２０は、ノイズリダクション制御部１４１９により制御される。ノイズリダクション制御部１４１９は、露出などの撮影条件によりノイズリダクションのＯＮ／ＯＦＦやリダクションレベルを変更する制御を行う。ノイズリダクション部１４２０から出力されたデジタル信号は、画像処理部１４１２に送られる。
画像処理部１４１２は、γ補正や輪郭強調などのデジタル画像処理を行う。デジタル信号処理回路１４１０から出力されたデジタル信号は、表示部１４１３内部のＤ／Ａ変換回路によりアナログ信号に変換されて表示される。
【００６２】
ゲインアンプ制御部１４１７は、露出制御部１４１６からの制御信号に基づいて、デジタルゲインアンプ１４１１に対するゲイン制御を行う。ディザゲイン制御部１４１８は、露出制御部１４１６からＳＮ段差が生じるゲイン値を取得し、ディザが必要なタイミングでディザ付加回路１４１４へ付加レベルを指示し、ディザを付加させる。
ノイズリダクション制御部１４１９は、露出などの撮影条件によりノイズリダクションのＯＮ／ＯＦＦやリダクションレベルを変更する制御を行う。露出制御部１４１６は、ゲイン値など露出に関連する情報を保持し、露出に関する制御を行う。
【００６３】
本実施形態においては、絞り１４２１機構、出力アンプ１４０５、アナログ信号アンプ１４０８が露出を大きなステップで粗く調整する粗調整機構（第１の調整手段）にあたる。また、デジタルゲインアンプ１４１１が粗調整機構より細かいステップで露出を調整する微調整機構（第２の調整手段）にあたる。出力アンプ１４０５及びアナログ信号アンプ１４０８のゲイン値は固定値であるため、粗調整機構としての露出の調整は絞り機構１４２１において行われる。
【００６４】
次に、図１５を参照して、被写体照度が明るい状態から暗い状態に変化したときの絞り動作とデジタルアンプの制御方法とＳＮの変化について説明する。図１５は、横軸に被写体照度、縦軸にゲインレベルおよびＳＮを示した図である。絞り１５０１は絞り機構９２１による露出の変化、デジタルゲイン１５０２はデジタルゲインアンプ１４１１におけるゲイン、トータルゲイン１２０３は絞り１５０１とデジタルゲイン１５０２を合計したトータルゲインを示している。ＳＮ１５０４は、全体のＳＮを表している。
【００６５】
領域Ａは、被写体が明るい状態であるため、絞りとデジタルアンプゲインは共に０ｄＢであり、トータルゲインは０ｄＢである。領域Ｂ、Ｃは徐々に被写体照度が下がっていく領域であり、トータルゲインがスムーズに増加するように絞り１５０１とデジタルゲイン１５０２をグラフのように制御している。領域ＢとＣの境目では、絞り１５０１を光量が２倍になるように開放する動作とデジタルゲイン１５０２のゲインダウンを行うため、ＳＮが急激に変化し、ＳＮ段差が発生する。
【００６６】
次に、図１６を参照して、このＳＮ段差を軽減するためのディザ回路制御について説明する。図１６は、横軸に時間、縦軸にゲインを示したグラフである。絞り１６０１は絞り機構９２１による露出の変化、デジタルゲイン１６０２はデジタルゲインアンプ１４１１におけるゲイン、トータルゲイン１６０３は絞り１６０１とデジタルゲイン１６０２を合計したトータルゲインを示している。ディザ１６０４は、ディザ付加回路１４１４で付加するディザ、ＳＮ１６０５はディザ１６０４を付加した場合のＳＮを示している。破線１６０７は、ディザ１６０４を付加していない場合のＳＮを示している。タイミング１６０６は、図１５にける領域Ｂと領域Ｃの境目の時点に対応している。
【００６７】
タイミング１６０６で、絞り１６０１は６ｄＢ増加し、デジタルゲイン１６０２は６ｄＢ減少しているため、トータルゲイン１６０３としてはフラットな状態である。しかし、ＳＮに関しては破線１６０７のように、本来ならＳＮ段差が生じてしまう。そこで、タイミング１６０６においてディザ付加回路１４１４をＯＮし、ディザ１６０４のようにディザを付加する。
これによりＳＮは、破線１６０７ではなくＳＮ１６０５のような軌道を描くことになり、ＳＮ段差を軽減することが可能になる。タイミング１６０６で付加するディザ量は、予めＳＮ段差を測定しておき、ＳＮ段差を人間が感じない程度にディザを付加している。また、ディザ付加量がＯＦＦになるまでの時間は、人間がノイズの変化を感じない程度にする必要があり、本実施形態では１〜３秒程度にしている。
【００６８】
ディザ制御部によるディザの制御フローに関しては、第１実施形態の図４、図５で説明したものと同じであるため、ここでの説明は割愛する。また、被写体照度が明るい状態から暗い状態に変化したときのノイズリダクションの動作も、列アンプが絞りに変わった部分以外は第１実施形態と同じであるため、説明は割愛する。
【００６９】
第４実施形態で示した通り、絞りとデジタルゲインを組み合わせた露光制御において、Ｓ／Ｎ段差が生じた場合であっても、ディザを付加またはノイズリダクションすることで、Ｓ／Ｎ段差を低減することが可能である。本実施形態は粗調手段として絞りを例にとり説明したが、絞りに限らず、粗調手段を変更することによりＳ／Ｎが改善するシステムであれば、適用することができる。また、本実施形態内で具体的に提示されたゲイン値や時間などは、システムにより最適値がことなるため、その限りではない。
【００７０】
（第５実施形態）
第５実施形態の撮像装置の構成は、第４実施形態の図１４と同一であるため、説明を省略する。図１７を参照して、被写体照度が明るい状態から暗い状態に変化したときの絞りとデジタルアンプの制御方法とＳＮの変化について説明する。図１７は、横軸に被写体照度、縦軸にゲインレベルおよびＳＮを示した図である。絞り１７０１は絞り機構９２１による露出の変化、デジタルゲイン１７０２はデジタルゲインアンプ１４１１におけるゲイン、トータルゲイン１７０３は絞り１７０１とデジタルゲイン１７０２を合計したトータルゲインを示している。ディザ１７０５は、ディザ付加回路１４１４で付加するディザを、ＳＮ１７０４は全体のＳＮを示している。
【００７１】
領域Ａは、被写体が明るい状態であるため、デジタルアンプゲインは０ｄＢ、絞りはＦ４を０ｄＢとすると、トータルゲインは０ｄＢである。領域Ｂ，Ｃ，Ｄは徐々に被写体照度が下がっていく領域であり、トータルゲインがスムーズに増加するように絞り１７０１とデジタルゲイン１７０２をトータルゲイン１７０３のように制御している。領域ＢとＣの境目では、絞り１７０１を開放し、デジタルゲイン１７０２のゲインダウンを行うため、ＳＮの急激な変化により、ＳＮ段差が発生する。そこで、ディザ付加回路１４１４においてディザ１７０５のようにディザを付加する。
【００７２】
第４実施形態との違いは、ディザの付加レベルがＳＮ段差を０にするレベルではないところである。ＳＮ段差が発生していても、ＳＮ段差による映像の違和感を人が見て気付かない程度であればよく、一方でＳＮは高いほど良いので、本実施形態においては、３ｄＢのＳＮ段差に対し３ｄＢ分のディザを付加するのではなく、２ｄＢのディザを付加している。そして、徐々に付加量を下げていき領域Ｃ、Ｄの境目になったところで、付加量が０になるようにしている。領域Ｃの区間は、デジタルゲインの増幅量とディザレベルの減少量が等しいため、ＳＮが一定になるように設計されている。
【００７３】
ディザゲイン制御部１４１８による付加するディザ量の設定の制御フローに関しては、第２実施形態の図１０で説明したものと同じであるため、ここでの説明は省略する。第５実施形態で示した通り、絞りとデジタルゲインを組み合わせた露光制御において、Ｓ／Ｎ段差が生じた場合であっても、ディザを付加することにより、Ｓ／Ｎ段差を低減することが可能である。本実施形態は粗調手段として絞りを例にとり説明したが、絞りに限らず、粗調手段を変更することによりＳ／Ｎが改善するシステムであれば、本件を適用することができる。
【００７４】
また、本実施形態内で具体的に提示されたゲイン値や時間などは、システムにより最適値がことなるため、その限りではない。また、本実施形態は、被写体照度が明るい状態から暗い状態に変化したときを例に説明したが、暗い状態から明るい状態に変化した場合でも、ノイズリダクション部１４２０及びノイズリダクション制御部１４１９における同様の処理で対応することができる。
【００７５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７６】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００７７】
１００    撮像素子
１０３    列アンプ
１１４    ディザ付加回路
１１１    デジタルゲインアンプ
【図１】
2018014676.tif 000003
【図２】
2018014676.tif 000004
【図３】
2018014676.tif 000005
【図４】
2018014676.tif 000006
【図５】
2018014676.tif 000007
【図６】
2018014676.tif 000008
【図７】
2018014676.tif 000009
【図８】
2018014676.tif 000010
【図９】
2018014676.tif 000011
【図１０】
2018014676.tif 000012
【図１１】
2018014676.tif 000013
【図１２】
2018014676.tif 000014
【図１３】
2018014676.tif 000015
【図１４】
2018014676.tif 000016
【図１５】
2018014676.tif 000017
【図１６】
2018014676.tif 000018
【図１７】
2018014676.tif 000019