(57)【要約】【課題】映像を表示装置に表示中であったとしても、精度よくフリッカを検出することができるデジタルカメラを提供する。【解決手段】デジタルカメラは、ＣＭＯＳイメージ・センサ１２０から出力される表示用映像信号に基づいて、撮影用のビューファインダーとして機能する表示装置４０に映像を表示する一方で、ＣＭＯＳイメージ・センサ１２０から出力される記録用映像信号に基づく画像データを記録部５０に記録する。そして、デジタルカメラは、ＣＭＯＳイメージ・センサ１２０を構成する画素回路群のうち、表示用映像信号を出力しない画素回路群から出力される映像信号に基づいて、フリッカ検出を行う。【選択図】図２
2006287361.tif 000002
【特許請求の範囲】
【請求項１】
第１画素回路群と第２画素回路群とを含むＸＹアドレス指定型イメージ・センサを備え、第１画素回路群から出力される表示用映像信号に基づく映像を表示装置に表示する一方で、第１画素回路群および第２画素回路群から出力される記録用映像信号に基づく画像データを記録装置に記録するデジタルカメラにおいて、
前記第１画素回路群が表示用映像信号を出力中に、前記第２画素回路群から出力されるフリッカ検出用映像信号に基づいて、被写体を照明する光源のフリッカ検出を行うフリッカ検出回路を備え、
前記第１画素回路群が表示用映像信号を出力する際の第１垂直同期信号と前記第２画素回路群がフリッカ検出用映像信号を出力する際の第２垂直同期信号とは非同期であって、前記第２垂直同期信号の周期は、前記被写体の光源として想定される光源の輝度レベルの変動周期に応じて定められることを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記ＸＹアドレス指定型イメージ・センサは、
前記第１画素回路群からの映像信号の出力を制御する第１垂直走査回路と、
前記第２画素回路群からの映像信号の出力を制御する第２垂直走査回路と、
前記第１垂直走査回路および前記第２垂直走査回路が出力した各映像信号をそれぞれ異なる出力端子から出力する水平走査回路と、
を備えることを特徴とするデジタルカメラ。
【請求項３】
請求項２に記載のデジタルカメラにおいて、
前記第２垂直同期信号の周期は、輝度レベルの変動周期が異なる光源ごとに別々に定められ、
前記第２垂直走査回路は、
前記第２垂直同期信号の周期を前記定められた周期に従って順次切り替えながら前記第２画素回路群からの映像信号の出力を制御することを特徴とするデジタルカメラ。
【請求項４】
請求項２に記載のデジタルカメラにおいて、
前記第２垂直同期信号の周期は、輝度レベルの変動周期が異なる光源ごとに別々に定められ、
前記第２垂直走査回路は、
前記定められた第２垂直同期信号ごとに異なる画素回路がそれぞれ定められた周期で映像信号を出力するように制御し、
前記水平走査回路は、
前記定められた第２垂直同期信号ごとにそれぞれ異なる出力端子を備え、前記第２垂直走査回路を介して出力された映像信号を、第２垂直同期信号ごとに異なる出力端子から出力することを特徴とするデジタルカメラ。
【請求項５】
請求項１乃至４のいずれか１つに記載のデジタルカメラにおいて、
前記第１画素回路群から出力される表示用映像信号に対する表示用露光期間と、前記第２画素回路群から出力されるフリッカ検出用映像信号に対するフリッカ検出用露光期間とは異なる期間であり、前記フリッカ検出用露光期間は、前記被写体の光源として想定される光源の輝度レベルの変動周期に応じて定められる期間であることを特徴とするデジタルカメラ。
【請求項６】
請求項１乃至５のいずれか１つに記載のデジタルカメラにおいて、
前記第１画素回路群から出力される表示用映像信号に対する表示用ゲインと、前記第２画素回路群から出力されるフリッカ検出用映像信号に対するフリッカ検出用ゲインとは異なるゲインであり、前記フリッカ検出用ゲインは、表示用ゲインよりも大きい値であることを特徴とするデジタルカメラ。
【請求項７】
請求項１乃至６のいずれか１つに記載のデジタルカメラは、
前記映像信号の色差成分が、色差平面上において予め定義された複数の光源領域の中のどの領域に含まれるかを照合することで、前記被写体を照明する光源の推定を行う光源推定回路と、
第１画素回路群および第２画素回路群から出力された各映像信号に対して、推定された光源に応じたホワイトバランスの調整を行う調整回路と、
を備え、
前記光源推定回路は、
前記フリッカ検出回路が行ったフリッカ検出の結果に基づいて前記光源領域を変化させることを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子スチルカメラやビデオカメラなどのデジタルカメラに関する。
【背景技術】
【０００２】
商用交流電源で点滅する一般的な蛍光灯は、電源の周波数が５０Ｈｚの場合１／１００秒、６０Ｈｚの場合１／１２０秒の周期で明滅を繰り返す。このような入射光を撮像素子で電気信号に変換し読み出すときに、撮像管やＭＯＳ型固体撮像素子を使用した場合には、読み出す画素の位置により露光開始時刻が異なるため、同一のフレーム内においても、各画素の露光時間内に入射する光量の総和は異なることとなる。そのため、同一フレーム内においても１／１００秒または１／１２０秒の周期で明るい部分と暗い部分が生じる。このような現象がフリッカである。
【０００３】
特許文献１では、固定撮像素子より出力される映像信号の中から輝度成分を抽出し、その輝度成分に基づいてフリッカを検出し、その検出結果に基づき固体撮像素子の露光時間を制御するフリッカ除去装置が開示されている。
【０００４】
一方、特許文献２には、露出やホワイトバランス等の初期適正化制御を高速化するために、次のような制御を行う撮像装置が開示されている。すなわち、撮像装置は、ＣＣＤから１フィールドを構成可能な画像データを２個の分割画像データとして高速に読み出し、この分割画像データの１個を用いて、撮像状況に応じた露出等の初期適正化制御を行う。また、２個の分割画像データを用いて、１フィールドの画像データを生成し、ファインダ表示を行う。
【０００５】
ところで、例えば、電源周波数が５０Ｈｚの蛍光灯の輝度レベルは、上記の通り１／１００秒の周期で明滅を繰り返している。従って、固定撮像素子の露光期間を１／１００ｓもしくは１／１００ｓの整数倍に設定すると、そのタイミングで読み出される映像信号の輝度レベルが平均化され、フリッカを検出することができない場合がある。
【０００６】
しかし、特許文献２に開示された撮像装置において、分割画像データに対する露光期間は、ファインダ表示に適した露光期間とするのが望ましい。したがって、ファインダ表示に使用する分割画像データに基づいて、特許文献２に示すようなフリッカ検出手段によりフリッカ検出を行う場合、所望の光源のフリッカを検出できない場合がある。
【０００７】
【特許文献１】特開２００２−１５２６０４号公報
【特許文献２】特開２００４−１５３７１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、たとえ映像を表示装置に表示中であったとしても、精度よくフリッカを検出することができるデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るデジタルカメラは、第１画素回路群と第２画素回路群とを含むＸＹアドレス指定型イメージ・センサを備え、第１画素回路群から出力される表示用映像信号に基づく映像を表示装置に表示する一方で、第１画素回路群および第２画素回路群から出力される記録用映像信号に基づく画像データを記録装置に記録するデジタルカメラにおいて、前記第１画素回路群が表示用映像信号を出力中に、前記第２画素回路群から出力されるフリッカ検出用映像信号に基づいて、被写体を照明する光源のフリッカ検出を行うフリッカ検出回路を備え、前記第１画素回路群が表示用映像信号を出力する際の第１垂直同期信号と前記第２画素回路群がフリッカ検出用映像信号を出力する際の第２垂直同期信号とは非同期であって、前記第２垂直同期信号の周期は、前記被写体の光源として想定される光源の輝度レベルの変動周期に応じて定められることを特徴とする。
【００１０】
本発明によれば、第２垂直同期信号の周期が、被写体の光源として想定される光源の輝度レベルの変動周期に応じて定められる同期信号であり、その第２垂直同期信号に基づいて、フリッカ検出回路が被写体を照明する光源のフリッカ検出を行う。よって、映像を表示装置に表示しながらでも、精度よく光源のフリッカ検出を行うことができる。
【００１１】
本発明に係るデジタルカメラの１つの態様によれば、ＸＹアドレス指定型イメージ・センサは、前記第１画素回路群からの映像信号の出力を制御する第１垂直走査回路と、前記第２画素回路群からの映像信号の出力を制御する第２垂直走査回路と、前記第１垂直走査回路および前記第２垂直走査回路が出力した各映像信号をそれぞれ異なる出力端子から出力する水平走査回路と、を備える。そして、第２垂直同期信号の周期は、輝度レベルの変動周期が異なる光源ごとに別々に定められ前記第２垂直走査回路は、前記第２垂直同期信号の周期を前記定められた周期に従って順次切り替えながら前記第２画素回路群からの映像信号の出力を制御する。
【００１２】
本発明によれば、第２垂直同期信号の周期が定められた周期に従って順次切り替わりながら、第２画素回路群から映像信号が出力され、その異なる周期で出力された映像信号に基づいて、フリッカ検出回路が順次光源のフリッカを検出する。よって、被写体の光源として想定される光源の中に、輝度レベルの変動周期が異なる光源が複数存在する場合でも、精度よく光源のフリッカ検出を行うことができる。
【００１３】
本発明に係るデジタルカメラの１つの態様によれば、第２垂直走査回路は、前記定められた第２垂直同期信号ごとに異なる画素回路がそれぞれ定められた周期で映像信号を出力するように制御し、水平走査回路は、前記定められた第２垂直同期信号ごとにそれぞれ異なる出力端子を備え、前記第２垂直走査回路を介して出力された映像信号を、第２垂直同期信号ごとに異なる出力端子から出力することを特徴とする。
【００１４】
本発明によれば、周期が異なる第２垂直同期信号ごとに、それぞれ異なる画像回路から映像信号が順次出力され、それらの映像信号に基づいてフリッカ検出回路が光源のフリッカを検出する。よって、被写体の光源として想定される光源の中に、輝度レベルの変動周期が異なる光源が複数存在する場合でも、精度よく光源のフリッカ検出を行うことができる。
【００１５】
本発明に係るデジタルカメラの１つの態様によれば、前記第１画素回路群から出力される表示用映像信号に対する表示用露光期間と、前記第２画素回路群から出力されるフリッカ検出用映像信号に対するフリッカ検出用露光期間とは異なる期間であり、前記フリッカ検出用露光期間は、前記被写体の光源として想定される光源の輝度レベルの変動周期に応じて定められる期間であることを特徴とする。
【００１６】
本発明によれば、表示用映像信号に対する表示用露光期間に依存することなく、被写体の光源として想定される光源の輝度レベルの変動周期に応じて、フリッカ検出用露光期間が定められる。よって、表示用映像信号に対する表示用露光期間に依存することなく、フリッカ検出回路は、フリッカ検出用映像信号に基づいて精度よく光源のフリッカ検出を行うことができる。
【００１７】
本発明によれば、前記第１画素回路群から出力される表示用映像信号に対する表示用ゲインと、前記第２画素回路群から出力されるフリッカ検出用映像信号に対するフリッカ検出用ゲインとは異なるゲインであり、前記フリッカ検出用ゲインは、表示用ゲインよりも大きい値であることを特徴とする。
【００１８】
本発明によれば、フリッカ検出を行うためにフリッカ検出用露光期間が表示用露光期間よりも短く設定されたとしても、表示用映像信号に対する表示用ゲインに依存することなく、フリッカ検出用ゲインを適正な値に定めることができる。
【発明を実施するための最良の形態】
【００１９】
本発明の実施の形態（以下、実施形態とする）について、以下図面を用いて説明する。
【００２０】
図１は、本実施形態におけるデジタルカメラの機能ブロックを示す図である。撮像部１０は、ＣＰＵ２０の制御の下、被写体からの光を受光して、受光した光に応じた映像信号を出力する。ＣＰＵ２０は、デジタルカメラ全体を制御する中央処理装置であり、各回路等に対する演算処理や制御を行う。画像処理回路３０は、映像信号に対してホワイトバランス調整等の所定の画像処理を行い、その結果として得られる画像データを出力する。表示装置４０は、画像データに基づく映像を順次表示することで、撮影用のビューファインダーとして機能する。また、記憶部５０は、画像データを記録する。操作部６０は、デジタルカメラを用いて静止画や動画を撮影する際にユーザがデジタルカメラを操作するためのユーザインタフェースである。さらに、フリッカ検出回路７０は、輝度レベルが周期的に変動する蛍光灯などの光源のフリッカを検出する。
【００２１】
本実施形態では、画像処理回路３０が、フリッカ検出回路７０でのフリッカ検出結果を利用して被写体を照明する光源の推定を行い、その推定結果に応じたホワイトバランス調整を行う。
【００２２】
［撮像部］
続いて、撮像部１０についてさらに詳しく説明する。図２は、デジタルカメラの撮像部１０の機能ブロックをより詳細に示した図である。
【００２３】
光学系１１０は、所望の映像信号が得られるように、ＣＭＯＳイメージ・センサ１２０に被写体からの光を入射させるためのレンズや絞りなどを含む。ＣＭＯＳイメージ・センサ１２０は、複数の画素回路を含み、各画素回路が受光する光に対して光電変換を行い、映像信号を出力する。また、ＣＭＯＳイメージ・センサ１２０は、画素回路の配列に関係なく画素回路毎に映像信号の出力制御が可能なＸＹアドレス指定型のイメージ・センサである。さらに、本実施形態において、ＣＭＯＳイメージ・センサ１２０は、映像信号の出力端子を２つ備える。表示装置４０に映像を表示する場合、１つの出力端子は、表示装置４０に映像を表示する際に使用する表示用映像信号を出力し、もう一方の出力端子は、フリッカ検出回路７０がフリッカ検出を行う際に使用するフリッカ検出用映像信号を出力する。また、静止画を撮影する場合、各出力端子は記録用映像信号を出力する。ゲインコントロールアンプ（ＡＭＰ）１３０は、各映像信号のゲインを調整する。アナログデジタル変換回路（Ａ／Ｄ）１４０は、ＡＭＰ１３０から出力された各映像信号をそれぞれデジタル信号に変換する。シグナルジェネレータ（ＳＧ）１６０は、ＣＰＵ２０とＣＭＯＳイメージ・センサ１２０との間、ＣＰＵ２０とＡＭＰ１３０との間、およびＣＰＵ２０とＡ／Ｄ１４０との間の同期をとるための信号を発生する。
【００２４】
第１映像メモリ１５０は、Ａ／Ｄ１４０から出力された表示用もしくは記録用映像信号を一時的に保持する。第２映像メモリ１５２は、Ａ／Ｄ１４０から出力されたフリッカ検出用もしくは記録用映像信号を一時保持する。メモリコントローラ１５４は、第１映像メモリ１５０および第２映像メモリ１５２に保持された各映像信号の出力を制御する。また、スイッチ１７０は、第２映像メモリ１５２に保持されたフリッカ検出用映像信号をフリッカ検出回路７０に出力するか、記録用映像信号を画像処理回路３０に出力するかの切り替えを行う。
【００２５】
表示装置４０に映像を表示する場合、第１映像メモリ１５０から出力された表示用映像信号は、画像処理回路３０に入力され、第２映像メモリ１５２から出力されたフリッカ検出用映像信号は、フリッカ検出回路７０に入力される。画像処理回路３０は、表示用映像信号に対して所定の画像処理を行い、その結果得られる表示データを表示装置４０に出力する。また、静止画を撮影する場合、画像処理回路３０は、第１映像メモリ１５０および第２映像メモリ１５２から出力された各記録用映像信号に対して所定の画像処理を行い、静止画の画像データを生成する。
【００２６】
フリッカ検出回路７０は、フリッカ検出用映像信号に基づいて、フリッカの検出を行い、その検出結果をＣＰＵ２０に出力する。ＣＰＵ２０は、その検出結果を画像処理回路３０に出力し、画像処理回路３０は、その検出結果を利用して被写体を照明する光源の推定を行い、入力された映像信号に対するホワイトバランス調整を行う。
【００２７】
[ＣＭＯＳイメージ・センサ]
ここで、ＣＭＯＳイメージ・センサ１２０の動作についてさらに詳しく説明する。図３は、ＣＭＯＳイメージ・センサ１２０の回路構成の概略を示す図である。撮像回路１２２は、複数の画素回路２００を含む。各画素回路２００において受光した光が光電変換されることで映像信号が得られる。第１垂直走査回路１２４は、撮像回路１２２を構成する画素回路群のうち、表示装置４０での映像表示用に割り当てられた各画素回路から出力される映像信号を水平走査回路１２６に転送する。第２垂直走査回路１２５は、撮像回路１２２を構成する画素回路群のうち、フリッカ検出回路７０でのフリッカ検出用に割り当てられた各画素回路から出力される映像信号を水平走査回路１２６に転送する。水平走査回路１２６は、第１垂直走査回路１２４から転送される映像信号を第１出力端子１２８から出力する一方で、第２垂直走査回路１２５から転送される映像信号を第２出力端子１２９から出力する。
【００２８】
図４は、ＣＭＯＳイメージ・センサ１２０の回路構成の詳細を示す図である。図４に示す通り、撮像回路１２２を構成する各画素回路２００は格子状に配列され、水平方向（図中左から右方向）に２つ、垂直方向（図中上から下方向）に２つの計４つの画素回路２００を１つの単位として１つの画素を形成する。また、垂直方向に２行分の画素回路群を１つの画素列とすると、各画素回路２００は、画素列ごとに交互に第１垂直走査回路１２４もしくは第２垂直走査回路１２５に接続される。そして、第１垂直走査回路１２４に接続された各画素回路２００から出力された各映像信号は、水平走査回路１２６を介して第１出力端子１２８から出力される。一方、第２垂直走査回路１２５に接続された各画素回路２００から出力された各映像信号は、水平走査回路１２６を介して第２出力端子１２９から出力される。図４において、ＨＤ，ＶＤ１，ＶＤ２，ＣＰＵは、それぞれＣＰＵ２０から出力される命令信号を示す。ＨＤは、水平走査回路１２６に対する水平同期信号、ＶＤ１は、第１垂直走査回路１２４に対する垂直同期信号、ＶＤ２は、第２垂直走査回路１２５に対する垂直同期信号である。また、ＣＰＵは、各画素回路に対するリセット信号や選択信号である。リセット信号および選択信号については後ほど説明する。なお、図４に示した各垂直走査回路に接続される画素回路群の割り当ては、一例に過ぎず、例えば２列分の画素列を１つの単位として、画素回路群を交互に各垂直走査回路に接続してもよい。
【００２９】
図５は、撮像回路１２２を構成する各画素回路２００の回路構成の詳細を示す図である。図５に示すように、フォトダイオード２１０のカソード側端子は、リセットスイッチ２２０を介して電圧電源ＶＤＤに接続される。さらにフォトダイオード２１０のカソード側端子は、増幅トランジスタ２３０のゲート端子にも接続される。増幅トランジスタ２３０の出力端子は、選択スイッチ２４０を介して信号出力線Ｘｎに接続される。
【００３０】
このように構成された画素は、次のように動作する。まず、リセット信号線Ｒｎを介してリセット信号をリセットスイッチ２２０のゲート電極に印可し、リセットスイッチ２２０がＯＮすることにより、フォトダイオード２１０のカソード側の電圧をＶＤＤに固定する。その後、リセットスイッチ２２０がＯＦＦすることで、フォトダイオード２１０は光電荷の蓄積を開始する。光電荷の蓄積に伴って、フォトダイオード２１０のカソード側の電位が変化する。その変化量ΔＶは、次式（１）を満たす。
［数１］
ΔＶ＝Ｑｐｈ／（Ｃｊ＋Ｃｇ）  ・・・（１）
ここで、Ｑｐｈは蓄積電荷、Ｃｊはフォトダイオード２１０の接合容量、Ｃｇは増幅トランジスタ２３０のゲート容量である。
【００３１】
電荷蓄積期間終了後、選択信号線Ｙｎを介して選択信号を選択スイッチ２４０のゲート電極に印可することにより選択スイッチ２４０がＯＮし、映像信号を信号出力線Ｘｎに出力する。この時流れる映像信号の電流ＩｏｕｔはΔＶに依存し、その変化量ΔＩは近似的に次式（２）を満たす。
［数２］
ΔＩｏｕｔ＝ｇｍ*×ΔＶ  ・・・（２）
ここで、ｇｍ*は増幅トランジスタ２３０のゲイン及び選択スイッチ２４０のオン抵抗Ｒｏｎを含めた電荷読み出し回路の電圧−電流変換利得を示し、その値は、例えば１×１０-3（Ａ／Ｖ）〜１×１０-4（Ａ／Ｖ）である。
【００３２】
以上のように、リセットスイッチ２２０がリセット信号によりＯＮ／ＯＦＦした後、選択スイッチ２４０が選択信号によりＯＮするまでの間、フォトダイオード２１０は光電荷の蓄積を行い、その電荷量に応じた電流Ｉｏｕｔが出力される。つまり、画素回路２００は、リセットスイッチ２２０がＯＦＦしてから選択スイッチ２４０がＯＮするまでの時間を露光期間として、その露光期間に受光した光量に応じた映像信号を出力する。
【００３３】
＜表示およびフリッカ検出時＞
続いて、表示およびフリッカ検出時におけるＣＭＯＳイメージ・センサ１２０の動作について説明する。
【００３４】
図６は、ＣＭＯＳイメージ・センサ１２０に入力される各信号のタイミングチャートの一例を示す図である。画素回路２００は、接続先の垂直走査回路からリセット信号線Ｒｎを介してリセット信号の入力を受け付ける。さらに所定の露光期間の経過後に、画素回路２００には選択信号線Ｙｎを介して選択信号が入力される。
【００３５】
また、各垂直同期信号（ＶＤ１，ＶＤ２）のタイミングで各垂直走査回路１２４，１２５を介して各画素回路２００から映像信号が出力され、水平同期信号（ＨＤ）のタイミングで水平走査回路１２６を介して各出力端子１２８，１２９からそれらの映像信号が出力される。
【００３６】
ここで、第１垂直同期信号、第２垂直同期信号の周期は、画素回路から１フレーム分の映像信号を読み出す間隔、つまり、画素回路から出力される１フレーム分の映像信号をサンプリングする際のサンプリング周波数に相当する。そして、第２垂直走査回路１２５に対するサンプリング周波数（以下、第２サンプリング周波数とする）は、第２垂直走査回路１２５を介して出力される映像信号に基づいてフリッカ検出を行うため、フリッカを検出すべき光源の輝度レベルの変動周期を考慮して設定することが望ましい。
【００３７】
例えば、電源周波数が５０Ｈｚの蛍光灯の輝度レベルは、図７に示す通り、１００Ｈｚの明滅を繰り返している。従って、画素回路の露光期間を１／１００ｓもしくは１／１００ｓの整数倍に設定すると、そのタイミングで読み出される映像信号の輝度レベルが平均化され、フリッカを検出することができない場合がある。そこで、５０Ｈｚの蛍光灯のフリッカを精度よく検出するためには、おおよそ最低輝度レベルおよび最高輝度レベルとなるタイミング（図中において、丸印）で順次露光を行い、その露光に基づく映像信号を順次サンプリングする必要がある。例えば、５０Ｈｚの蛍光灯のフリッカを検出するためには、露光期間１／４００ｓ、サンプリング周波数２００Ｈｚとして、第２垂直走査回路に接続された各画素回路から順次映像信号をサンプリングして、それらの映像信号に基づいてフリッカ検出を行う。また、高速インバータタイプの光源、例えば１００ｋＨｚで明滅を繰り返す光源に対するフリッカを検出するためには、露光期間１／４００００００ｓ、サンプリング周波数２００ｋＨｚなどに設定する。
【００３８】
なお、高速インバータタイプの光源など比較的高速に明滅を繰り返す光源に対するフリッカを検出可能な露光期間およびサンプリング周波数に設定しておけば、高速インバータタイプの蛍光灯などの光源に比べて低速に明滅を繰り返す、電源周波数が５０Ｈｚや６０Ｈｚの蛍光灯などの光源に対するフリッカも同時に検出することができる。
【００３９】
また、上記のように各画素回路に対する露光期間を短くすると、受光する光量が少なすぎ、適切な映像信号を出力することができないことが考えられる。しかし、ＣＭＯＳイメージ・センサ１２０では、画素回路ごとに個別に映像信号に対するゲインを調整できるため、フリッカ検出用映像信号に対するゲインのみを大きくするように調整すればよい。
【００４０】
以上のように、第２垂直走査回路に接続された各画素回路に対する露光期間やサンプリング周波数を、フリッカ検出対象となる光源の輝度レベルの変動周期に応じて設定することで、より精度よくその光源に対するフリッカを検出することができる。
【００４１】
上記では、第２サンプリング周波数、つまり第２垂直同期信号の周期は、被写体を照明する光源として推定される光源の輝度レベルの変動周期に基づいて設定され、その周期は１つの固定した値として説明した。しかし、光源として推定される光源の中で、輝度レベルの変動周期が異なる光源が複数存在する場合には、その異なる変動周期ごとに周期が異なる第２垂直同期信号を予め用意しておき、第２垂直同期信号の周期を所定の間隔で順次切り替え、映像信号のサンプリングを行ってもよい。このように、異なる周期でサンプリングして得られる映像信号に基づいてフリッカ検出を行えば、輝度レベルの変動周期が異なる複数の光源について、より精度よくフリッカの検出を行うことができる。
【００４２】
また、画素列ごとに異なる周期をもつ第２垂直同期信号により、映像信号のサンプリングを行ってもよい。この場合、ＣＭＯＳイメージ・センサ１２０は、異なる周期をもつ第２垂直同期信号の数だけ、フリッカ検出用映像信号を出力する出力端子を用意する。例えば、周期の異なる２つの第２垂直同期信号に基づいて、それぞれ異なる画素列から映像信号を出力する場合、ＣＭＯＳイメージ・センサ１２０は、図８に示すような回路構成にする。つまり、第２垂直走査回路に接続された画素回路群からの映像信号を出力する第２出力端子として、第２出力−１及び第２出力−２を設ける。そして、一方の周期をもつ第２垂直同期信号に基づいて画素回路群から出力される映像信号は第２出力―１から出力し、もう一方の周期をもつ第２垂直同期信号に基づく映像信号は第２出力−２から出力する。このような構成にすることで、周期の異なる２つの第２垂直同期信号に基づいて、それぞれ異なる画素列から映像信号を出力することができる。図９は、周期の異なる２つの第２垂直同期信号に基づいて、それぞれ異なる画素列から映像信号を出力する場合の各信号（リセット信号、選択信号、垂直同期信号）のタイミングチャートの一例を示す。
【００４３】
＜静止画撮影時＞
続いて、静止画撮影時におけるＣＭＯＳイメージ・センサ１２０の動作について説明する。
【００４４】
図１０は、静止画撮影時における各画素回路２００に入力される各信号のタイミングチャートを示す図である。表示およびフリッカ検出時との違いは、第１垂直走査回路及び第２垂直走査回路に接続された各画素回路２００がそれぞれ同じ記録用露光期間と同じ周期を持つ垂直同期信号で動作する点である。
【００４５】
このようにＣＭＯＳイメージ・センサ１２０が動作することで、第１および第２出力端子１２８，１２９からそれぞれ記録用映像信号が出力され、各映像信号は、ＡＭＰ１３０、Ａ／Ｄ１４０を介して、第１映像メモリ１５０もしくは第２映像メモリ１５２に一時保持される。第１映像メモリ１５０及び第２映像メモリ１５２に一時保持された各記録用映像信号は、順次画像処理回路３０に入力される。そして、画像処理回路３０は、１フレーム分の記録用映像信号群に対して所定の画像処理を行い、その処理後のデータを画像データとして記憶部５０に記録する。
【００４６】
［フリッカ検出回路］
次いで、フリッカ検出回路７０におけるフリッカの検出方法について説明する。フリッカ検出回路７０におけるフリッカの検出は一般的な方法で行えばよいが、例えば次のようにフリッカを検出する。
【００４７】
まず、フリッカ検出回路７０は、スイッチ１７０を介して第２映像メモリ１５２に一時保持されたフリッカ検出用映像信号の入力を受け付ける。ここで、被写体を照明する光源が、蛍光灯など明滅を繰り返す光源である場合は、フリッカ検出用映像信号の輝度レベルは、図１１に示す通り周期的に変動する。よって、フリッカ検出回路７０は、輝度レベルの周期変動の有無を検出することで、フリッカの有無を検出することができる。輝度レベルの周期変動の有無は、例えば、フリッカ検出回路７０が入力される各映像信号の輝度レベルを所定期間保持しておき、その保持した輝度レベルの履歴を参照し、各映像信号の輝度レベルのバラツキ度合いに基づいて判定すればよい。
【００４８】
また、フリッカ検出回路７０は、前回入力された映像信号の輝度レベルと今回入力された映像信号の輝度レベルとを順次比較して、輝度レベルが所定の値以上相違がある映像信号の数をカウントしていき、そのカウント値が所定の値を超えた場合に、フリッカを検出したものと判断してもよい。
【００４９】
以上のように、第２映像メモリ１５２に一時保持されたフリッカ検出用映像信号に基づいて、フリッカ検出回路７０は、被写体の光源がフリッカを発生させる光源かどうかの判定を行い、その判定結果をＣＰＵ２０に出力する。ＣＰＵ２０は、その判定結果を画像処理回路３０に提供し、画像処理回路３０は、その判定結果、つまりフリッカの有無に基づいて、被写体の光源の推定を行い、その推定結果に応じたホワイトバランス調整を行う。
【００５０】
［画像処理回路］
続いて、画像処理回路３０について詳しく説明する。図１２は、画像処理回路３０の詳細な機能ブロックを示す図である。
【００５１】
ＲＧＢ分離回路３２は、入力された映像信号をＲＧＢ各成分に分離し、それぞれを色信号として出力する。ホワイトバランス調整回路３４は、ＲＧＢ各色信号の輝度および色差に基づいて被写体の光源を推定し、その推定結果に応じてＲＧＢ各色信号に対してホワイトバランス調整を行う。本実施形態では、ホワイトバランス調整回路３４が、フリッカ検出回路７０でのフリッカ検出結果を考慮して、被写体の光源の推定を行うことを特徴としている。γ補正回路３６は、ホワイトバランスが調整されたＲＧＢ各色信号に対してγ補正することで、階調補正を行う。色差マトリクス回路３８は、γ補正されたＲＧＢ各色信号に対して色差マトリクス変換を行い、輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）とを出力する。
【００５２】
画像処理回路３０に入力された映像信号は、以上のような画像処理が施され、その処理結果を映像として表示装置４０に表示するか、もしくはその処理結果を画像データとして記憶部５０に記録する。
【００５３】
［ホワイトバランス調整回路］
次に、ホワイトバランス調整回路３４についてさらに説明する。図１３は、ホワイトバランス調整回路３４の機能ブロックを示す図である。なお、下記に示すホワイトバランス調整回路は一例に過ぎず、被写体を照明する光源の推定結果に基づいてホワイトバランスの調整を行う回路であれば、他の回路でもよい。また、説明上、１フレーム分のＲＧＢ各色信号を１つの画像信号と定義する。
【００５４】
ブロック分割回路３１０は、ＲＧＢ分離回路３２から入力された１フレーム分のＲＧＢ各色信号から１つの画像信号を得て、その画像信号を複数のブロックに分割する。さらに、代表値計算回路３２０は、ブロックごとにそのブロック内の各色信号（Ｒ，Ｇ，Ｂ）の平均値を算出し、その平均値を次式（３）に基づき、線形変換することにより、そのブロックを代表する値（以下、代表値とする）として、輝度（Ｌ）及び色差（ｕ，ｖ）を算出する。
【数３】
2006287361.tif 000003
【００５５】
ホワイトバランス評価回路３３０は、算出した各ブロックの代表値などに基づいて被写体を照明する光源を推定する。ホワイトバランスゲイン計算回路３４０は、その推定結果に基づいて、ホワイトバランス調整のためのゲインを計算し、ゲイン調整回路３５０が、そのゲインに基づいて入力されたＲＧＢ各色信号に対してホワイトバランスの調整を行う。
【００５６】
ホワイトバランス調整のためのゲインは、被写体を照明する光源の光の色を推定し、その光の色をグレイ（無彩色）に補正するような値として求める。ここで、推定された照明色を（ＩＬ，Ｉｕ，Ｉｖ）とすると、ホワイトバランス調整のためのゲイン（Ｒgain，Ｇgain，Ｂgain）は、次式（４）〜（６）により求めることができる。
【数４】
2006287361.tif 000004
［数５］
ＩＭａｘ＝ｍａｘ（ＩＲ，ＩＧ，ＩＢ）  ・・・（５）
［数６］
Ｒgain＝ＩＭａｘ／ＩＲ
Ｇgain＝ＩＭａｘ／ＩＧ
Ｂgain＝ＩＭａｘ／ＩＢ                ・・・（６）
（ＩＲ，ＩＧ，ＩＢ）は、照明色のＲＧＢ表現である。
【００５７】
求められるホワイトバランスゲイン（Ｒgain，Ｇgain，Ｂgain）は、この色の照明が白色物体で反射されたときの色（すなわち（ＩＲ，ＩＧ，ＩＢ）そのもの）をグレイ（すなわちＲ＝Ｇ＝Ｂ）に補正する値となる。求められたホワイトバランスゲインは、ゲイン調整回路３５０に入力される。
【００５８】
ゲイン調整回路３５０は、ＲＧＢ各色信号に対し、ホワイトバランスゲイン計算回路３４０で求めたゲインＲgain，Ｇgain，Ｂgainをそれぞれ乗じることにより、その画像信号のホワイトバランスを調整する。したがって、ホワイトバランス調整回路３４から、次式、
［数７］
Ｒout＝Ｒgain*Ｒ，Ｇout＝Ｇgain*Ｇ，Ｂout＝Ｂgain*Ｂ …（７）
によって求められた出力（Ｒout，Ｇout，Ｂout）が出力される。
【００５９】
＜光源推定方法＞
続いて、さらにホワイトバランス評価回路３３０における被写体を照明する光源の推定方法について説明する。ここでは、説明を簡単にするために、被写体を照明する光源として蛍光灯と昼光とを想定する。
【００６０】
ホワイトバランス評価回路３３０は、図１４に示すような色差平面上に予め定義された蛍光灯領域３３２もしくは昼光領域３３４に各ブロックの代表値の色差成分が含まれているかを照合することで、各ブロックの光源を推定する。ここで、蛍光灯領域３３２は、蛍光灯下の白色物体の色差成分が取りうる範囲であり、昼光領域３３４は、昼光つまり太陽光下での白色物体の色差成分が取りうる範囲である。各領域は、予め実験等により定めておく。
【００６１】
図１４に示す通り、蛍光灯下の白色物体の色差成分と昼光下での白色物体の色差成分とは、互いに近い成分を持つ。したがって、従来、色差成分による光源の推定において誤った推定を行うことがあり、その結果、適切なホワイトバランス調整が行えない場合があった。そこで、本実施形態では、フリッカ検出結果に応じて色差平面上に定義された蛍光灯領域３３２と昼光領域３３４とを変更する。具体的には、ホワイトバランス評価回路３３０は、フリッカ有とフリッカ無とで、それぞれ別々に定義された蛍光灯領域と昼光領域とに基づいて、光源の推定を行う。図１５Ａは、フリッカ有の場合に使用する光源領域であり、蛍光灯領域と重なる昼光領域が狭く定義されている。一方、図１５Ｂは、フリッカ無の場合に使用する光源領域であり、昼光領域と重なる蛍光灯領域が狭く定義されている。
【００６２】
このように、フリッカの有無に応じて、光源の推定に使用する色差平面上の光源領域を変更することで、より適切な光源の推定を行うことができる。つまり、フリッカ検出回路７０においてフリッカ有と判定された場合は、光源が昼光ではなく蛍光灯である可能性が高い。そのため、昼光領域と蛍光灯領域とが重なる領域を蛍光灯側にシフトし、ホワイトバランス評価回路３３０がその被写体の光源を蛍光灯と判断しやすくする。一方、フリッカ検出回路７０において、フリッカ無と判定された場合は、光源が蛍光灯ではなく昼光である可能性が高い。そのため、昼光領域と蛍光灯領域とが重なる領域を昼光側にシフトし、ホワイトバランス評価回路３３０がその被写体の光源を昼光と判断しやすくする。これにより、ホワイトバランス評価回路３３０が光源の推定をより適切に行うことができ、不適切なホワイトバランスの調整が行われることを低減することができる。
【００６３】
なお、上記では、フリッカ検出結果に応じて、色差平面上に定義された光源領域を変更させる例について説明した。しかし、フリッカ検出結果に応じて行う処理は光源領域の変更には限定されない。例えば、このフリッカ検出結果に応じて映像信号に含まれるフリッカ成分を除去するフリッカ補正を行ってもよい。また、このフリッカ検出結果に応じて、フリッカによる悪影響を受けないように、ＡＥ（Auto exposure）やＡＦ（Auto Focus）の制御を行ってもよい。
【００６４】
本実施形態によれば、フリッカを検出するための外部センサなど専用のフリッカ検出装置をデジタルカメラに設けること無く、表示装置４０に画素回路群が出力する表示用映像信号に基づく映像を表示中に、画素回路群が出力するフリッカ検出用映像信号に基づいて精度よくフリッカを検出することができる。
【図面の簡単な説明】
【００６５】
【図１】本実施形態に係るデジタルカメラの機能ブロックを示す図である。
【図２】本実施形態に係るデジタルカメラにおける撮像部の機能ブロックを詳細に示す図である。
【図３】本実施形態におけるＣＭＯＳイメージ・センサの回路構成の概略を示す図である。
【図４】本実施形態におけるＣＭＯＳイメージ・センサの詳細な回路構成を示す図である。
【図５】本実施形態におけるＣＭＯＳイメージ・センサの一部を構成する画素回路の詳細な回路構成を示す図である。
【図６】フリッカ検出時において、ＣＭＯＳイメージ・センサに入力される各種信号の動作タイミングの一例を示す図である。
【図７】５０Ｈｚの蛍光灯の輝度レベルの変動周期について説明するための図である。
【図８】フリッカ検出用映像信号を出力する出力端子を２つ備えるＣＭＯＳイメージ・センサの回路構成を示す図である。
【図９】異なる周期でサンプリングされたフリッカ検出用映像信号をそれぞれ別々に出力するために出力端子を２つ備えるＣＭＯＳイメージ・センサに入力される各種信号の動作タイミングの一例を示す図である。
【図１０】静止画撮影時において、ＣＭＯＳイメージ・センサに入力される各種信号の動作タイミングの一例を示す図である。
【図１１】被写体を照明する光源が蛍光灯など明滅を繰り返す光源の場合の、輝度レベルの変動を表す図である。
【図１２】本実施形態における画像処理回路の機能ブロックを示す図である。
【図１３】本実施形態におけるホワイトバランス調整回路の機能ブロックを示す図である。
【図１４】色差平面上に定義された蛍光灯と昼光の光源領域の一例を示す図である。
【図１５Ａ】本実施形態におけるホワイトバランス評価回路が被写体を照明する光源の推定を行う際に使用する光源領域であって、フリッカ有の場合の光源領域の一例を示す図である。
【図１５Ｂ】本実施形態におけるホワイトバランス評価回路が被写体を照明する光源の推定を行う際に使用する光源領域であって、フリッカ無の場合の光源領域の一例を示す図である。
【符号の説明】
【００６６】
１０  撮像部  、２０  ＣＰＵ、３０  画像処理回路、３２  ＲＧＢ分離回路、３４  ホワイトバランス調整回路、３６  γ補正回路、３８  色差マトリクス回路、４０  表示装置、５０  記憶部、６０  操作部、７０  フリッカ検出回路、１１０  光学系、１２０  ＣＭＯＳイメージ・センサ、１２２  撮像回路、１２４  第１垂直走査回路、１２５  第２垂直走査回路、１２６  水平走査回路、１２８  第１出力端子、１２９  第２出力端子、１５０  第１映像メモリ、１５２  第２映像メモリ、１５４  メモリコントローラ、１７０  スイッチ、２００  画素回路、２１０  フォトダイオード、２２０  リセットスイッチ、２３０  増幅トランジスタ、２４０  選択スイッチ、３１０  ブロック分割回路、３２０  代表値計算回路、３３０  ホワイトバランス評価回路、３３２  蛍光灯領域、３３４  昼光領域、３４０  ホワイトバランスゲイン計算回路、３５０  ゲイン調整回路。
【図１】
2006287361.tif 000005
【図２】
2006287361.tif 000006
【図３】
2006287361.tif 000007
【図４】
2006287361.tif 000008
【図５】
2006287361.tif 000009
【図６】
2006287361.tif 000010
【図７】
2006287361.tif 000011
【図８】
2006287361.tif 000012
【図９】
2006287361.tif 000013
【図１０】
2006287361.tif 000014
【図１１】
2006287361.tif 000015
【図１２】
2006287361.tif 000016
【図１３】
2006287361.tif 000017
【図１４】
2006287361.tif 000018
【図１５Ａ】
2006287361.tif 000019
【図１５Ｂ】
2006287361.tif 000020