(57)【要約】【課題】周期的に発光量が変動する光源を照明として利用する撮影環境下でローリングシャッタ方式のＣＭＯＳ撮像素子を用いて撮影を行った際に発生する縞状のフリッカを効率よく検出したり、高精度に抑圧したりすることができる撮像装置を実現すること。【解決手段】１つの撮像素子上に被写体の撮影を行うための第１のフォトダイオードと、光源の発光強度の変動を検出するための第２のフォトダイオードを配し、該第１のフォトダイオードと該第２のフォトダイオードの露光時間を個別に設定することが可能な手段を有する撮像素子を撮像装置の撮像手段としてもちいることと、該撮像素子の第２のフォトダイオードのから取得したフリッカの特徴量によって第１のフォトダイオードで取得した被写体の撮像信号を補正する手段を該撮像装置に持たせることを特徴とする。【選択図】図１
2011097204.tif 000002
【特許請求の範囲】
【請求項１】
光を集光し撮像素子の受光面に被写体の像を結像させる撮像レンズと、
被写体撮影のための第１のフォトダイオード群と光源の発光強度の変動を検出するための第２のフォトダイオード群とを有する撮像素子と、
該第１のフォトダイオード群から得られる撮像信号から画像信号を生成する画像信号処理手段と、
該第２のフォトダイオード群から得られる撮像信号から光源の発光パターンを検出する検波手段と、
該撮像レンズと該撮像素子と該画像信号処理手段と該検波手段を制御するマイクロプロセッサと、
を有し、
該撮像素子については該第１のフォトダイオード群と該第２のフォトダイオード群で個別の露光時間を設定することを可能とすることで、光源の発光パターンの検出と被写体の撮影の為のセンサ駆動をともに行うこと、
を特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
撮像素子としては同一ライン上に配置された該第２のフォトダイオード群に対して異なった２通り以上の露光時間を設定できる構成とすることで、該第２のフォトダイオードに２通り以上の露光時間を設定し、該第２のフォトダイオード群から出力される信号レベルを監視することで、周期的に発光強度が変動する点滅光源の有無を検出することが可能である撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置であって、
周期的に発光強度が変動する点滅光源を検出すると共にその点滅周期を特定し、特定した点滅周期の整数倍の露光時間を第１のフォトダイオードに設定するよう制御することで、光源の点滅により生ずる露光斑による画質劣化を予防する撮像装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載の撮像装置であって、
撮像素子の第２のフォトダイオードに対して、第１のフォトダイオードに設定する露光時間と該撮像装置で検出した周期的に発光強度が変動する点滅光源の点滅周期を設定し、その結果第２のフォトダイオードから得られる撮像信号と、該第２のフォトダイオードに設定した露光時間から各ラインの露光斑を予測すると共に、露光斑を抑圧する為の係数を算出して、算出した該係数を用いて第１のフォトダイオードから出力される撮像信号に補正をかけることで、光源の点滅により生ずる露光斑による画質劣化を抑圧する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に係る。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開２００８−１４７７１３号公報（特許文献１）がある。該公報には「［課題］撮像素子を用いて画像を撮像する撮像装置において、時間を掛けずにフリッカ周波数を判定できるようにすること。［解決手段］撮像素子（４）を用いて画像を撮像する撮像装置において、前記撮像素子の予め設定された領域から、複数の周波数にそれぞれ対応する複数の異なる時間差で、それぞれ２周期分ずつ同じ電荷蓄積時間の電気信号を順次読み出す読み出し（Ｓ２１、Ｓ２３、Ｓ２８）、前記読み出し工程で読み出した前記２周期分の電気信号の差が、１つの時間差について予め設定された範囲内であって、且つ、少なくとも１つの他の時間差について予め設定された範囲外である場合に（Ｓ２２、Ｓ２４、Ｓ２９）、前記予め設定された範囲内となる時間差に対応する周波数を前記フリッカの周波数として判定する（Ｓ２５）。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４７７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮影フォーマットがＨｉｇｈ‐Ｄｅｆｉｎｉｔｉｏｎ（一般的にＨＤと表記される）のビデオカメラや画素数の多いデジタルスチルカメラでは、高速読み出しに適したＣＭＯＳ撮像素子が好適な撮像デバイスとされている。一般的なＣＭＯＳ撮像素子は、ライン単位で露光時間がシフトするローリングシャッタ動作により駆動されるため、周期的に照明の発光強度が変動する撮影環境下において、シャッタスピードと照明の点滅強度の変動周期が同期しない場合に、ライン単位の露光斑が発生し、動画撮影時のラインフリッカ（静止画撮影時ではライン単位の露光斑）となって画質を低下させてしまうことがあった。そのため、ＣＭＯＳ撮像素子を用いた撮像装置においては、かかる問題を解決するために露光斑の発生を予測して低減することが求められている。
【０００５】
問題を解決するための従来技術としては、特許文献１には被写体を撮影する前にラインフリッカの周波数を検出するためにＣＭＯＳ撮像素子を特殊な駆動パターンで駆動する予備撮影を行いフリッカの有無を検出して対応する技術が記載されている。
【０００６】
しかしながら実際の照明で発生する発光強度の変動は複雑な波形を示すことが多いため、動画撮影時にラインフリッカを良好に抑圧する為には、ラインフリッカの周波数を判定するだけではなく、リアルタイムでラインごとにラインフリッカの補正量を算出して対処できるようにすることが適正露光量での撮影を行う上で重要であり、特許文献１にはリアルタイムに対応することに関する記載はない。
【０００７】
周期的に発光量が変動する光源を照明として利用する撮影環境下でローリングシャッタ方式のＣＭＯＳ撮像素子を用いて撮影を行った際に発生する縞状のフリッカを抑圧するには、フリッカ発生の有無を検出してシャッタスピードを点滅光源の点滅周期の整数倍に設定するか、露光斑によるライン単位の信号レベルの変動量を相殺するようにゲイン調整を行う必要がある。
【０００８】
撮像素子のフォトダイオードの露光時間を一律に設定する従来方式の撮像素子を用いた撮像装置では、フリッカの検出やゲイン調整のために信号レベルの変動量の推定を行う過程において、本来設定すべきである適正露光時間から変更する必要があるため、間適正露光での動画撮影が行えないという問題がある。
【０００９】
そこで、本発明が解決しようとする課題は、例えば、撮像装置がフリッカの検出過程にある状態においても被写体の撮影においては適正露光状態を維持しつつ、フリッカの特徴量を検出する等して、フリッカを抑圧できる撮像装置を提供することとする。
【課題を解決するための手段】
【００１０】
本発明は、特許請求の範囲に記載の構成を採用する。
例えば、１つの撮像素子上に被写体の撮影を行うための第１のフォトダイオードと、光源の発光強度の変動を検出するための第２のフォトダイオードを配し、該第１のフォトダイオードと該第２のフォトダイオードの露光時間を個別に設定することが可能な手段を有する撮像素子を撮像装置の撮像手段としてもちいることと、該撮像素子の第２のフォトダイオードのから取得したフリッカの特徴量によって第１のフォトダイオードで取得した被写体の撮像信号を補正する手段を該撮像装置に持たせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、フリッカを抑圧できる撮像装置を提供することができる。例えば、本発明による撮像装置では、撮像素子の該第１のフォトダイオードには適正露光時間を設定し、該第２のフォトダイオードには発光強度の変動の特徴検出するときに適した値に露光時間を設定することができる。そのため、該第１のフォトダイオードが適正な露光状態を保ったままで被写体の撮影を行うここと並行して、該第２のフォトダイオードを用いて動的に点滅光源の点滅周期や変動量のトレースをすることが可能であり、補正手段において該第２のフォトダイオードによる光源の変動量のトレース結果を用いて、該第１のフォトダイオードの撮像信号にリアルタイムで補正を行えるという利点がある。
【図面の簡単な説明】
【００１２】
【図１】撮像措置を機能のブロック図で表した一例
【図２】イメージシグナルプロッセッサの特徴を説明するためのブロック図
【図３】撮像素子の特徴を説明するためのブロック図
【図４】撮像素子の露光タイミングを説明する図
【図５】第１のフォトダイオード群が成す画素の接続構成を示した図
【図６】第２のフォトダイオード群が成す画素の接続構成を示した図
【図７】露光時間設定を説明する図
【図８】照明の発光特性を説明する図
【図９】発光強度の変動と露光タイミングの関係（非同期）を説明する図
【図１０】発光強度の変動と露光タイミングの関係（同期）を説明する図
【図１１】照明光の特徴を抽出する際の露光タイミングと発光タイミングを説明する図（非同期の場合）
【図１２】非同期の場合の信号レベルの変動を説明する図
【図１３】照明光の特徴を抽出する際の露光タイミングと発光タイミングを説明する図（同期の場合）
【図１４】光源の特徴量の抽出手順のフローチャート
【発明を実施するための形態】
【００１３】
本発明に於ける撮像装置では、フリッカの特徴量を抽出する為のフォトダイオードと被写体を撮影するためのフォトダイオードを具備する撮像素子を用い、フリッカの特徴量を抽出する露光制御と被写体を撮影する露光制御を並列して行えるようにする。
【００１４】
撮像信号を処理するイメージシグナルプロセッサでは、フリッカの特徴量を抽出する為のフォトダイオードからフリッカの特徴量の抽出を行いながら、被写体の画像信号処理を同時に行う。
【００１５】
撮像装置の制御手段となるマイクロプロセッサでは、抽出したフリッカの特徴量を元にフリッカの発生を抑圧するように撮像装置を制御する。
【実施例１】
【００１６】
図１は、本発明の撮像措置を機能のブロック図で表した一例である。同図において、１０１は撮像レンズ、１０２は撮像素子、１０３はイメージシグナルプロセッサ、１０４は画像圧縮伸張処理プロセッサ、１０５は記憶デバイス、１０６はユーザインターフェース、１０７はマイクロプロセッサ、１０８は表示デバイスを示している。
【００１７】
以下、図１に示した本発明に於ける撮像装置の概要について説明する。
【００１８】
１０１の撮像レンズは光を集光するレンズ機能、画角を調整するための望遠機能、光量を制限する為の絞り機能が設けられており、絞りによる光量の調節を行いつつ、ユーザ操作により指定される画角で１０２の撮像素子の受光部に被写体の像を結像させる。
【００１９】
１０２の撮像素子の受光部には、一定の間隔でフォトダイオードが配置されており、該フォトダイオードでは光電変換によって受光部に結像される光のエネルギーを電気的なエネルギーに変換する。光電変換によって蓄積された電気的なエネルギーは、撮像信号としてライン単位で定期的に読み出されるが、一方では、撮像信号レベルを適正に保つ為に設定されたタイミングでリセットされ基板に排出される。また、該フォトダイオードとしては、被写体を撮影する第１のフォトダイオードと光源の特徴量を抽出する第２のフォトダイオードが存在し、目的ごとにエリアを分割するように同一ライン上に配置されている。これら第１及び第２のフォトダイオードに対しては、電気的エネルギーのリセットタイミングをフォトダイオードの利用目的に応じて個別の露光時間を設定することが可能になっており、被写体を撮影する為の第１のフォトダイオードには被写体を撮影する場合において適切な露光時間が、光源の特徴量を抽出するための第２のフォトダイオードには光源の特徴量を抽出する場合において適切な露光時間が設定される。
【００２０】
１０３のイメージシグナルプロセッサは、１０２の撮像素子から読み出される撮像信号を輝度信号と色信号に変換して画像信号として出力する一方で、照明光の特徴量の抽出を行う。また、特徴量を抽出した結果として、画像の露光斑を補正する必要がある場合は、露光斑の補正も行う。
【００２１】
１０４の画像圧縮伸張処理プロセッサは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの画像圧縮フォーマットを用いて１０３のイメージシグナルプロセッサが出力する輝度信号と色信号で構成される画像信号を圧縮して、圧縮画像データとして１０５の記憶デバイスに書き込んだり、該記憶デバイスから読み出される圧縮画像データを輝度信号と色信号からなる画像信号に伸張したりする処理を行う。さらに、該画像圧縮伸張処理プロセッサは、該イメージプロセッサか供給される輝度信号と色信号で構成される画像信号または、記憶デバイスから読み出されて伸張された輝度信号と色信号からで構成される画像信号を１０８の表示デバイスに供給すると共に、テレビジョンや映像を表示するディスプレイ装置で一般的に使用されている外部信号入力フォーマットに変換して出力する。
【００２２】
１０５の記憶デバイスは、磁気ディスクや半導体メモリなどの不揮発性の記憶手段を用いる記憶手段であり、１０４の画像圧縮伸張処理プロセッサから供給される圧縮画像データを記録して保持する。
【００２３】
１０６のユーザインターフェースは、回路の開閉スイッチ、ボリューム抵抗、圧力センサなどで構成されるコマンド入力手段であり、ユーザが撮像装置の動作状態をコントロールするために使用するコマンド入力手段である。
【００２４】
１０７のマイクロプロセッサは、１０６のユーザインターフェースからのコマンド入力により撮像装置の動作状態を決定するとともに、１０３のイメージシグナルプロセッサなどから得られるフォーカスの合焦度合い、被写体の明るさ、光源の色温度、光源のフリッカ検出状況の画質評価情報をもとにして、好適な撮影及び記録画質が得られるように、１０１の撮像レンズ、１０２の撮像素子、１０３のイメージシグナルプロセッサ、１０４の画像圧縮伸張処理プロセッサを制御する制御手段である。
【００２５】
１０８の表示デバイスは、液晶ディスプレイや有機ＥＬディスプレイのような軽量で低消費電力の画像表示装置であり、１０４の画像圧縮伸張処理プロセッサから供給される画像信号を画像として表示する。
【００２６】
以上が本発明に於ける撮像装置の動作の概要である。
【００２７】
次に、本発明における撮像装置の詳細について説明する。
【００２８】
図２は、本発明における１０３のイメージシグナルプロセッサの特徴を説明するためのブロック図である。同図において、２０１はラインディレイ、２０２はノイズフィルタ、２０３は補正ゲイン生成部、２０４は検波部、２０５は乗算器、２０６は撮像信号処理部、２０７はマイクロプロセッサインターフェースを示している。
【００２９】
また、図３は、本発明における１０１の撮像素子の特徴を説明するためのブロック図である。同図において、３０１は第１のフォトダイオード群、３０２は第２のフォトダイオード群、３０３は画素アンプ群、３０４は信号読出しスイッチ群、３０５は第１の電荷排出スイッチ群、３０６は第２の電荷排出スイッチ群、３０７は第３の電荷排出スイッチ群、３０８はカラム選択スイッチ群、３０９はスイッチ開閉手段、３１０はアナログゲイン調整アンプ、３１１はＣＤＳ及びＡＤＣ回路、３１２はマイクロプロセッサインターフェース、３１３は各部の設定レジスタを示している。
【００３０】
以下、図２及び図３に示した各ファンクションがどのような働きをして本撮像装置で従来課題をどのように解決するのかについて説明を行うが、まず、図３の撮像素子の各ブロックの動作について説明を行う。
【００３１】
３０１の第１のフォトダイオード群及び３０２の第２のフォトダイオード群は撮像素子の撮像面に一定間隔で並ぶように配置されている。該第１のフォトダイオード群は被写体の撮像行うためのフォトダイオードを総称するものであり、その一部はフォトダイオードの受光部をアルミなどの金属で遮蔽された黒レベルを特定する為のフォトダイオードとして使用される。また、該第２のフォトダイオード群は光源のフリッカ検出や特徴量抽出するためのフォトダイオードを総称するものである。これら第１のフォトダイオード群及び第２のフォトダイオード群を構成するフォトダイオードでは、光を電気的なエネルギーに変換する光電変換が行われる。このとき、光電変換で発生する電気的なエネルギーは、該フォトダイオードに照射される光の強度と露光時間の積に比例するため、個々のフォトダイオードに対する露光時間を一定した状態で該フォトダイオードに蓄積された電気的エネルギーを電気的信号として読み出せば、撮像素子の撮像面上に投射された被写体の光の像を形成する撮像信号を得ることができる。
【００３２】
３０３の画素アンプ群は、フォトダイオードから読み出される微弱な撮像信号を増幅するための増幅器の総称であり、第１のフォトダイオード群及び第２のフォトダイオード群を形成するフォトダイオードに接続される。
【００３３】
３０４の信号読出しスイッチ群は、画素アンプで増幅された撮像信号を読み出す際に開かれる電子式のスイッチの総称であり、該画素アンプに接続され、３０９のスイッチ開閉手段により電子的にスイッチの開閉制御が行われる。スイッチの開閉制御は行単位で共通化するように構成される。
【００３４】
３０５の第１の電荷排出スイッチ群、３０６の第２の電荷排出スイッチ群及び３０７の第３の電荷排出スイッチ群は、個々のフォトダイオードに接続された基板上に不要な電荷を排出するための電子スイッチの総称であり、３０４の信号読出しスイッチ群と同様に３０９のスイッチ開閉手段により電子的にスイッチの開閉制御が行われる。各スイッチ群は、スイッチ群ごとに電荷の排出タイミングが管理されフォトダイオードから読み出される撮像信号の利用目的におうじて、個別の露光時間を設定することが可能な回路構成を取る。
【００３５】
３０８のカラム選択スイッチ群は、行単位でフォトダイオードから読み出される撮像信号のうち、どの列を選択して出力するかを制御する電子スイッチの総称であり、３０９のスイッチ開閉手段により電子的にスイッチの開閉制御が行われる。
【００３６】
３０９のスイッチ開閉手段により電子的にスイッチの開閉制御によって読み出された撮像信号は３１０のアナログゲイン調整アンプによりゲイン調整が行なわれる。
【００３７】
ゲイン調整が行われた撮像信号は、３１１のＣＤＳ（Correlated Double Sampling）及びＡＤＣ（analog-to-digital converter）回路のＣＤＳ回路によって相関２重サンプリング黒のレベルを一定にするように調整された後、ＡＤＣ回路によってアナログ信号からデジタル信号に変換され撮像素子からデジタル撮像信号として出力される。
【００３８】
以上が撮像素子の各ブロックの動作である。次に、本撮像素子において個々の画素から独立して信号を読み出す方法の説明を行う。
【００３９】
本撮像素子において個々の画素から独立して信号を読み出す場合には、次のようなスイッチの開閉制御を行う。始めに、１０９のスイッチ開閉手段により信号を読出す画素ある行を選択する信号読み出し用スイッチを開く。次いで、信号を出力する列を選択するカラム選択電子スイッチを開く。以上のスイッチ開閉動作で所望の行と列における撮像信号を読み出すことが出来る。
【００４０】
また、全ての画素から撮像信号を読み出すときは、行選択を固定しつつ、信号を読み出す列の選択を端から順番にシフトしていく動作を、順番に全ての行に対して端から順序良く行えばよい。
【００４１】
ところで、フォトダイオードに蓄積可能な電気的エネルギーの容量には限りがあるため、該フォトダイオードを露光することによって、光電変換による電気的エネルギーが、その容量を満たしてしまうと、該フォトダイオードに照射される光の強度と露光時間の積と該フォトダイオードから出力される撮像信号レベルの比例関係を維持することが出来なくなる。この状態を一般的には、飽和と言うが、以下のこの飽和を回避するための撮像素子の動作について説明する。
【００４２】
本発明における撮像素子を含め、一般的な固体撮像素子ではフォトダイオードに蓄積された電気的エネルギーを定期的に基板上に排出することで、フォトダイオードに蓄積された電気的なエネルギーをリセットする機能が設けられている。この電気的エネルギーをリセットする機能は、一般的に電子シャッタ機能と呼ばれている。電子シャッタ機能には、画面一律にシャッタ制御を行うグローバルシャッタ方式と、ライン単位でシャッタ制御を行うローリングシャッタ方式が一般的に使用されており、本発明で使用する撮像素子では、後者のローリングシャッタ方式を使用している。
【００４３】
一般的なローリングシャッタ方式では、図４に示したようなフレームリセットパルスを基準として、ＲＯＷリセット制御パルスによるフォトダイオードのリセットタイミング管理と、ＲＯＷ読み出し制御パルスによる撮像信号の読出しタイミング管理が行われており、フォトダイオードで被写体の像を示す電気的エネルギーを蓄積するための露光期間であるＴｅｘは、フレームリセットパルスを基準とするＲＯＷリセット制御パルスを出力するまでの時間であるＴｒｅｓｅｔとＲＯＷ読み出し制御パルスを出力するまでの時間であるＴｒｅａｄを設定することで決定される。
【００４４】
本発明で用いる撮像素子における露光時間の制御も一般的なローリングシャッタを採用する撮像素子と同様に、ＲＯＷリセット制御パルスとＲＯＷ読み出し制御パルスのタイミングを制御することにより行うが、ＲＯＷリセット制御パルスのタイミング管理と同時にリセットをかけるフォトダイオードの組み合わせにおいて、次に示すような特徴を有する。
【００４５】
図５は、本発明で使用する撮像素子の第１のフォトダイオード群が成す画素の接続構成を示した図である。同図において、５０１は画素、５０２は第１の電荷排出スイッチ群を制御するための制御線、５０３は信号読出しスイッチ群を制御するための制御線、５０４は撮像信号を読み出すための信号線、５０５はカラム選択スイッチを形成する電子スイッチを示している。同図に示したように、本発明で使用する撮像素子における第１のフォトダイオード群が成す画素の接続構成については、一般的な座標指定して撮像信号を読出すローリングシャッタ方式の撮像素子と同様の構成をとる。
【００４６】
図６は、本発明で使用する撮像素子の第２のフォトダイオード群が成す画素の接続構成を示した図である。同図に示したように、第２のフォトダイオード群が成す画素の接続構成は、第1のフォトダイオード群のそれと異なり、電荷排出スイッチ群を制御するための制御線を偶数画素と奇数画素のグループに分けて共通化される構成をとる。信号読出しスイッチ群を制御するための制御線については、図５の接続構成と同様に行単位で共通化され、さらに図５に示した第１のフォトダイオード群が成す画素の同じ行とも共通化される。
【００４７】
図７は本発明に適用する撮像素子の画素のある任意の行に注目したときの、ローリングシャッタの露光制御タイミングの１例を示しており、ＲＯＷリセット制御パルスＡは、第１のフォトダイオード群のリセット、ＲＯＷリセット制御パルスＢは、第２のフォトダイオード群の偶数画素のリセット、ＲＯＷリセット制御パルスＣは、第２のフォトダイオード群の奇数画素のリセット、ＲＯＷ読出し制御パルスは、第１のフォトダイオード及び第２のフォトダイオードの行単位で読出しを行うタイミングを示している。
【００４８】
これら、ＲＯＷリセット制御パルスＡ、ＲＯＷリセット制御パルスＢ、ＲＯＷリセット制御パルスＣ、ＲＯＷ読出し制御パルスは、３０９のスイッチ開閉手段の設定によって制御され、それぞれのパルスが図７に示したようなタイミングを取るとき、同一の行内にある第１のフォトダイオード群に属する画素、第２のフォダイオード群に属する偶数画素、第２のフォダイオード群に属する奇数画素のそれぞれの露光時間をＴｅｘＡ、ＴｅｘＢ、ＴｅｘＣというように３通りの露光時間を設定することが可能となる。
【００４９】
そしてこれら、３通りの露光時間で撮影された撮像信号は、１０３のイメージシグナルプロセッサに供給され、１０３のイメージシグナルプロセッサでは、第２のフォトダイオードから得られた撮像信号から照明光の特徴抽出を行いつつ、第１のフォトダイオードから得た撮像信号を用いて目的の被写体を映像化することが可能となる。
【００５０】
１０３のイメージシグナルプロセッサにおける照明光の特徴抽出では、撮像信号に重畳されるランダムノイズの影響を少なくする為、本実施例では図２に示した様に２０１のラインディレイを用いてライン単位で入力される撮像信号の遅延を行い、２０２のノイズフィルタによって２次元的なノイズリダクション処理を行う機能を持たせている。
【００５１】
該ノイズリダクション処理は、同じ露光時間で撮影された撮像信号ごとに行う必要があるため、本実施例では、第２のフォトダイオードを偶数画素と奇数画素に分けてノイズリダクションのためのフィルタイリングを行う。
【００５２】
本実施例において抽出する照明光の特徴とは、発光強度が周期的に変動する光源であるか否か、周期的に変動する光源である場合は、その点滅の周期がどのようになっているかである。
【００５３】
次に照明光の特徴を導き出す手順について説明するが、まずその前に、照明光の発光強度が周期的に変動する環境と、その環境が撮像信号に与える影響ついて説明する。
【００５４】
社会インフラとして整備されている商用電源周波数には５０Ｈｚと６０Ｈｚが混在している。このとき、電圧変動に追従して発光強度が変わる蛍光灯などの照明の点滅速度は一般的に電源周波数の倍速となり、５０Ｈｚの電源では１００Ｈｚ、６０Ｈｚの電源では１２０Ｈｚで光源の発光強度が変化する。
【００５５】
図８は、５０Ｈｚの商用電源が採用される地域や施設で、電源電圧の変動に応じて発光強度が変動する照明の発光特性をグラフ化した例である。
【００５６】
同図に示したように、５０Ｈｚの商用電源の電圧変動に応じて発光強度が周期的に変動するする照明の場合の変動周期は１／１００秒、つまり変動周波数は１００Ｈｚとなる。
【００５７】
一方、動画撮影を行う場合の撮像装置において撮像素子を駆動する場合、テレビジョン放送のフォーマットとの親和性のよさから、５０Ｈｚか６０Ｈｚのフレーム周波数を採用するのが一般的である。
【００５８】
図９は、１００Ｈｚで発光強度が変動する照明環境下において、フレームレートを６０Ｈｚ、露光時間を１／１２０秒に設定して撮影を行った場合での、照明の発光強度の変動とある任意のラインの画素が露光されるタイミングの関係を図にしたものである。
【００５９】
同図に示したように、照明の発光タイミングと撮像素子の露光タイミング（Ｔｅｘで示した期間）が同期していない場合では、静止している被写体を撮影した場合でもフォトダイオードで光電変換されて撮像信号として取り出される信号レベルはフレームごとに変動してしまうことから、フレームごとに画像信号の輝度レベルが変動するといった影響が出てしまう。
【００６０】
図１０は、１００Ｈｚで発光強度が変動する照明環境下において、フレームレートを５０Ｈｚ、露光時間を１／１２０秒に設定して撮影を行った場合での、照明の発光強度の変動とある任意のライン及び該任意のラインの信号読み出しタイミングからＡ時間シフトしたタイミングで信号が読み出されるラインの画素が露光されるタイミングの関係を図にしたものである。
【００６１】
同図において、露光タイミングＡはある任意のライン、露光タイミングＢは該任意のラインの信号読み出しタイミングからＡ時間シフトしたタイミングで信号が読み出されるラインの露光タイミングを示している。
【００６２】
同図によれば、照明の発光タイミングと撮像素子の露光タイミング（Ｔｅｘで示した期間）が各ラインでは同期しているため、フレームごとに画像信号の輝度レベルが変動することはないが、同じ露光時間を設定した場合でもラインによって露光期間の照明の発光量が異なる為、例えば光の反射率が均一の被写体を画面全体で撮影した場合でも、ラインによって画像信号の輝度レベルが変動するといった影響が出てしまう。
【００６３】
以上が、照明光の発光強度が周期的に変動する環境と、その環境が撮像信号に与える影響である。
【００６４】
そこで、本実施例では以下を概要とするアルゴリズムにより、照明光の特徴抽出を行う機能を持たせる。照明の様々なモデルを仮定して１０７のマイクロプロセッサが３１２のマイクロプロセッサインターフェースを介して撮像素子の第２のフォトダイオードに特徴抽出の為の露光時間を設定する。該露光時間の設定状態に応じた撮像信号の予測と２０４の検波部から第２のフォトダイオードの撮像結果を該マイクロプロセッサ比較する。予測と撮像結果の乖離が少ない尤もらしいモデルを照明光の特徴とする。
【００６５】
そこで、次に上記特徴抽出アルゴリズムの実施例を示す。
【００６６】
以下、第１の照明光の特徴抽出アルゴリズムの一例について示す。
【００６７】
図１１は、照明光の特徴を抽出場合に第２のフォトダイオードに設定する露光時間と任意のラインにおける露光タイミングと照明の発光タイミングの関係を示した図である。
【００６８】
同図に示したように、露光時間を１／１００秒に設定した偶数画素では、露光タイミングは照明の発光タイミングに対して撮影フレームごとにシフトしていくものの、照明の発光量が変動する１周期分を露光しているため各フレームの露光量は常に一定になる。一方、露光時間を１／１２０秒に設定した奇数画素では、照明の発光量が変動する１周期分を露光していないため、各フレームの露光量が変動してしまう。
【００６９】
図１２は、図１１の条件で撮像素子を駆動したときで撮影中の被写体に変化が無い場合に、第２のフォトダイオードにおける任意の奇数画素と偶数画素から得られる撮像信号のフレームごとの推移について説明をする図である。
【００７０】
同図に示したように、フレームの撮影タイミングと照明光の発光量の変動タイミングが同期していない場合には、偶数画素と奇数画素のどちらか一方から得られる撮像信号のレベルがフレームごとに変動するため、２０４の検波部で第２フォトダイオードの信号レベルを偶数画素と奇数画素に分けて信号を検波して、フレームごとの検波結果を比較することで点滅する光源の有無と点滅光源の点滅周波数を２０７のマイクロプロセッサで認識することが出来る。
【００７１】
図１３は、照明光の特徴を抽出場合に第２のフォトダイオードに設定する露光時間と任意のラインにおける露光タイミングと照明の発光タイミングの関係を示した図である。
【００７２】
同図に示したように、フレームの撮影タイミングと照明光の発光量の変動タイミングが同期する場合では、露光時間を１／１００秒に設定した偶数画素も露光時間を１／１２０秒に設定した奇数画素も各フレームの露光量が変動しない。そのため、各フレームの露光量が変動しない場合では、照明の発光強度の変動とフレーム撮影のタイミングが同期している可能性と推定できるため、発光強度が周期的に変動する点滅光源の点滅周波数を推定することが出来る。
【００７３】
以上が第１の照明光の特徴抽出アルゴリズムの一例である。
【００７４】
次に、第２の照明光の特徴抽出アルゴリズムの一例について示す。
【００７５】
前記のアルゴリズムの一例では光源が点滅していること前提に信号レベルがどのようになるか説明してきたが、光源が点滅していない場合についても少し説明しておく必要がある。
【００７６】
光源の点滅が無い場合では、露光量は単純に露光時間に比例するため、フレームの撮影タイミングと照明光の発光量の変動タイミングが同期する場合と同様に露光時間を１／１００秒に設定した偶数画素も露光時間を１／１２０秒に設定した奇数画素も各フレームの露光量が変動しない。
【００７７】
そのため、各フレームの露光量が変動を監視するだけでは、光源の点滅が無い場合とフレームの撮影タイミングと照明光の発光量の変動タイミングが同期する場合の区別をつけることが出来ない。
【００７８】
以上のことから第２のアルゴリズムの一例では、これらを区別する為にフレームの撮影タイミングと照明光の発光量の変動タイミングが同期する場合の次の部分に着目する。
【００７９】
一般的な被写体を撮影する場合においては、隣り合う画素から得られる撮像信号の相関性が非常に強いため、ある任意の画素に照射される光の強度と隣接する画素に照射される光の強度は同じレベルになる確率が高く、隣接する画素の露光時間が等しければ、それぞれの画素から得られる撮像信号のレベルも等しくなる確率が高くなる。
【００８０】
一方、各画素から得られる撮像信号のレベルは、画素に照射される光の強度と露光時間の積に比例し、画素に照射される光の強度が一定の場合には、露光時間の変動比率に応じて、得られる撮像信号のレベルも比例して変動する。
【００８１】
そこでいま、光源の発光強度が一定の場合において、第２のフォトダイオードの偶数画素と奇数画素の露光時間をそれぞれ１／１００（偶数画素）と１／１２０（奇数画素）にした時について考えると次の内容が期待される。
【００８２】
ある任意の偶数画素の信号レベルをＤｃ（ｎ）、該偶数画素に隣接する奇数画素の信号レベルをそれぞれＤｃ（ｎ−１）及びＤｃ（ｎ＋１）とすると、Ｄｃ（ｎ）はＤｃ（ｎ−１）及びＤｃ（ｎ＋１）の６／５倍となる確立が非常に高くなる。
【００８３】
これに対して、光源の発光強度が一定でない図１３のような場合において、第２のフォトダイオードの偶数画素と奇数画素の露光時間をそれぞれ１／１００（偶数画素）と１／１２０（奇数画素）にした時について考えると次の事が言える。
【００８４】
明るさが周期的に変動する照明のもとで露光する場合における偶数画素と奇数画素の露光タイミングの平均的な明るさに着目すると、偶数画素では明るさの変動周期１周期分を露光するため、どのラインにおいても一定であるが、奇数画素では、露光タイミングが明るさの変動周期１周期分でないために、ラインによって平均的な輝度レベルが変動してしまう。
【００８５】
つまり、このことは隣接する偶数画素と奇数画素から得られる信号レベルの比率が露光時間の比率に比例する確立が高くなることを否定しており、隣接する偶数画素と奇数画素の信号レベルの比率と露光時間の比率の乖離率を統計的に調べれば、光源の点滅の有無を確認することができる。
【００８６】
そこで第２の照明光の特徴抽出アルゴリズムではこの乖離率を確認することで点滅光源の特徴抽出を行う。
【００８７】
以上が第２の照明光の特徴抽出アルゴリズムの一例である。
【００８８】
図１４は、光源の特徴量の抽出手順をフローチャートに纏めたものである。検出精度を上げるという観点から数フレームかけて『フレーム単位で信号レベルの変動があるか否か』の変動履歴の統計をとって判定を行うことが好ましいが、多少精度が低下しても迅速に判定したい場合は、『フレーム単位で信号レベルの変動があるか否か』の判定を省いてもよい。
【００８９】
以上によれば、本実施例において周期的に発光強度が変動する光源の有無と変動周波数を特定できる。
【００９０】
次に、周期的に発光強度が変動する光源を検知したときにおける本発明の撮像装置の露光制御について説明する。
【００９１】
本発明における撮像装置では、周期的に発光強度が変動する光源を検知した場合において、発光強度が変動の影響により発生する露光斑による画質劣化を極力抑えるように画質制御を行う。
【００９２】
露光斑による画質劣化の抑制手段としては、露光時間の管理による方法と露光斑を予測して露光斑を相殺する様に撮像信号のレベルを補正する方法を採用する。
【００９３】
以下、具体的な画質劣化の抑制手段について説明する。
【００９４】
まず、露光時間の管理のよる方法だが、照明の特徴量を抽出する手順の説明において、撮像素子の露光時間を光源の発光強度変動の周期にあわせると、信号の読出しタイミング違いに左右されることなく被写体に応じた撮像信号えられることは既に明白となっている。
【００９５】
そこで、露光時間の管理としては、第１のフォトダイオードの露光時間を発光強度が変動する光源の発光強度変動周期の整数倍にあわせる様に設定して、シャッタスピード優先の露光制御を行うようにする。
【００９６】
次に、露光斑を予測して露光斑を相殺する様に撮像信号のレベルを補正する方法だが、こちらは前記シャッタスピード優先の露光制御では適正露光を実現できない場合において効果を発揮させるようにする。
【００９７】
露光斑を予測して露光斑を相殺する様に撮像信号のレベルを補正する方法は２０３の補正ゲイン生成部で第２のフォトダイオードから得られる撮像信号から算出したラインごとの補正係数を、２０５の乗算器で第１のフォトダイオードから得られる撮像信号に掛け合わせることで実現する。
【００９８】
補正係数の算出は、フォトダイオードに照射される光の強度が同じであれば、フォトダイオードから得られる撮像信号のレベルは露光時間に比例するという性質を利用する。
【００９９】
前記性質を利用する為に、第２のフォトダイオードの偶数画素には、照明光の発光強度の変動周期と同じ露光時間を、奇数画素には、第１のフォトダイオードを適正露光時間にするために該第１のフォトダイオードに設定する露光時間と同じ露光時間を設定する。
【０１００】
撮像素子からは、ラインごとに撮像信号が読み出されるが、その際、まず始めに各ラインの黒の基準を示す信号、ついで第２のフォトダイオードからの撮像信号、最後に第１のフォトダイオードからの撮像信号の順に出力されることが望ましく、本実施例でもこの理想的な順序で信号が読まれる前提で説明を続ける。
【０１０１】
補正係数の算出は次のようにして行う、２０３の補正ゲイン生成部で補正を行うラインの黒基準となる信号レベルを検出する。第２のフォトダイオードの偶数画素と奇数画素の撮像信号出力レベルから黒基準となる信号レベルを差し引いて、露光により発生した撮像信号成分を取り出す。同一ライン上に存在し、それぞれ隣り合う偶数画素と奇数画素の信号レベルの比を１つ以上採取してその平均値Ｒｍを式１で算出する。
（式１）  Ｒｍ＝Σ｛（偶数画素の信号レベル）÷（奇数画素の信号レベル）｝÷（サンプル数））
偶数画素と奇数画素の露光時間の比を式２で算出する。
（式２）  Ｒex＝（偶数画素の露光時間）÷（奇数画素の露光時間）
このとき算出される補正係数αは式３で算出される
（式３）  α＝Ｒｍ÷Ｒｅｘ
以上が、補正係数の算出である。
【０１０２】
算出された補正値αは、すぐさま同一ラインの第１のフォトダイオードから出力された撮像信号に補正係数として利用され、露光斑を相殺する様に撮像信号のレベルを補正することが可能である。
【０１０３】
以上のことから、本撮像装置では、フリッカの特徴量を抽出する為のフォトダイオードと被写体を撮影するためのフォトダイオードを具備する撮像素子を用い、フリッカの特徴量を抽出する露光制御と被写体を撮影する露光制御を並列して行うことが可能である共に、抽出したフリッカの特徴量を元にフリッカの発生を抑圧するように撮像装置を制御したりリアルタイムで補正をしたりすることが可能である。
【産業上の利用可能性】
【０１０４】
撮像装置に利用でき、蛍光灯など周期的に点滅する照明による光源の影響で発生することのある露光斑の発生を効率よく検出したり、高精度に抑圧したりするのに有用である。
【符号の説明】
【０１０５】
１０１  撮像レンズ
１０２  撮像素子
１０３  イメージシグナルプロセッサ
１０４  画像圧縮伸張処理プロセッサ
１０５  記憶デバイス
１０６  ユーザインターフェース
１０７  マイクロプロセッサ
１０８  表示デバイス
２０１  ラインディレイ
２０２  ノイズフィルタ
２０３  補正ゲイン生成部
２０４  検波部
２０５  乗算器
２０６  撮像信号処理部
２０７  マイクロプロセッサインターフェース
３０１  第１のフォトダイオード群
３０２  第２のフォトダイオード群
３０３  画素アンプ群
３０４  信号読出しスイッチ群
３０５  第１の電荷排出スイッチ群
３０６  第２の電荷排出スイッチ群
３０７  第３の電荷排出スイッチ群
３０８  カラム選択スイッチ群
３０９  スイッチ開閉手段
３１０  アナログゲイン調整アンプ
３１１  ＣＤＳ及びＡＤＣ回路
３１２  マイクロプロセッサインターフェース
３１３  各部の設定レジスタ
５０１  画素
５０２  第１の電荷排出スイッチ群を制御するための制御線
５０３  信号読出しスイッチ群を制御するための制御線
５０４  撮像信号を読み出すための信号線
５０５  カラム選択スイッチを形成する電子スイッチ
【図１】
2011097204.tif 000003
【図２】
2011097204.tif 000004
【図３】
2011097204.tif 000005
【図４】
2011097204.tif 000006
【図５】
2011097204.tif 000007
【図６】
2011097204.tif 000008
【図７】
2011097204.tif 000009
【図８】
2011097204.tif 000010
【図９】
2011097204.tif 000011
【図１０】
2011097204.tif 000012
【図１１】
2011097204.tif 000013
【図１２】
2011097204.tif 000014
【図１３】
2011097204.tif 000015
【図１４】
2011097204.tif 000016