(57)【要約】【課題】輝度フリッカ以外の輝度変化に対して誤判定を起こさないように、制御目標からの誤差を長い時間観測してから判定すると、フリッカ成分の有無の判定に時間がかかる。【解決手段】システムコントローラ２０の制御の下に、オプティカルディテクタ２１から得られる輝度積分値から被写体像の平均輝度を求め、この平均輝度を離散フーリエ変換して得られる周波数情報に高周波成分が含まれているか否かによってフリッカ成分の有無の判定を行うようにする。【選択図】図１
2005101793.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子と、
前記固体撮像素子によって撮像された被写体像の輝度信号に含まれる所定の周波数成分を検出する検出手段と、
前記検出手段が前記周波数成分を検出したときに、フリッカの発生を抑えるフリッカ抑制手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記検出手段は、前記被写体像の平均輝度を離散フーリエ変換して得られた周波数情報に前記周波数成分が含まれているか否かを検出する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記検出手段は、前記周波数情報を所定の閾値と比較することによって前記周波数成分の有無を判定する
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記検出手段は、前記所定の閾値として前記周波数成分が有ることを判定するために用いる第１の閾値と、前記周波数成分が無いことを判定するために用いる第２の閾値とを有する
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記検出手段は、前記周波数情報が前記第１、第２の閾値を超えてから一定時間が経過した後に前記周波数成分の有無を判定する
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
固体撮像素子によって撮像された被写体像の輝度信号に含まれる所定の周波数成分を検出する検出ステップと、
前記検出ステップで前記周波数成分を検出したときに、フリッカの発生を抑えるフリッカ抑制ステップと
を含むことを特徴とする撮像方法。
【請求項７】
前記検出ステップでは、前記被写体像の平均輝度を離散フーリエ変換して得られた周波数情報に前記周波数成分が含まれているか否かを検出する
ことを特徴とする請求項６記載の撮像方法。
【請求項８】
前記検出ステップでは、前記周波数情報を所定の閾値と比較することによって前記周波数成分の有無を判定する
ことを特徴とする請求項７記載の撮像方法。
【請求項９】
前記検出ステップでは、前記周波数成分が有ることを判定するために用いる第１の閾値と、前記周波数成分が無いことを判定するために用いる第２の閾値とを前記所定の閾値とする
ことを特徴とする請求項８記載の撮像方法。
【請求項１０】
前記検出ステップでは、前記周波数情報が前記第１、第２の閾値を超えてから一定時間が経過した後に前記周波数成分の有無を判定する
ことを特徴とする請求項９記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関する。
【背景技術】
【０００２】
垂直同期信号の周波数が６０［Ｈｚ］（フィールド周期が１／６０［秒］）のＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体を撮像し、この撮像した画像をディスプレイに表示した場合に再生画面がちらつくことがある。この画面のちらつきは、撮像装置のフィールド周期と蛍光灯の明るさの変動周期とが異なることに起因して発生するものであり、フリッカと呼ばれている。
【０００３】
具体的には、蛍光灯の明るさの変動周期が１／１００［秒］、撮像装置のフィールド周期が１／６０［秒］であることから、撮像装置のフィールド周期と蛍光灯の明るさの変動周期の最小公倍数が１／２０［秒］となるため、３フィールド周期で両者のタイミングが一致することになる。そして、３フィールド周期のフィールド相互間で撮像信号レベルが異なることで、２０［Ｈｚ］のフリッカが発生する。このフリッカは、垂直同期信号の周波数が５０［Ｈｚ］（フィールド周期が１／５０［秒］）のＰＡＬ方式に準拠した撮像装置を用いて、６０［Ｈｚ］の電源で動作する蛍光灯の照明下で被写体を撮影した場合などにも発生する。
【０００４】
このフリッカの発生を抑える手法として、従来、種々の提案がなされている。いずれの手法を採る場合でも、当然のことながら、撮像した情報にフリッカ成分が含まれているか否かを判定する必要がある。このフリッカ成分の有無の判定を行うために、従来は、バンドバスフィルタを用いて、フリッカの周波数成分（ＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体を撮像した場合は２０［Ｈｚ］）を抽出することによって行うようにしていた（例えば、特許文献１参照）。また、被写体の輝度信号をフィールドごとに積分し、その輝度積分値から蛍光灯の点滅周期（明るさの変動周期）によるフリッカ成分を検出するようにしていた（例えば、特許文献２参照）。
【０００５】
【特許文献１】特開平１１−２０５６５８号公報
【特許文献２】特開２０００−３２３５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の従来技術では、バンドパスフィルタから出力される信号が時間方向の周期信号となるため、フリッカ成分の有無の判定に時間がかかるという課題がある。また、特許文献２記載の従来技術でも、輝度フリッカ以外の輝度変化、例えば室内を撮像している状態から撮像装置を旋回して窓の外を撮像する場合などの連続的な輝度変化に対して誤判定を起こさないように、制御目標からの誤差を十分長い時間に亘って観測してから判定する必要があるため、フリッカ成分の有無の判定に時間がかかるという課題がある。
【０００７】
本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、フリッカの有無の判定を短時間で行うことが可能な撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、固体撮像素子によって撮像された被写体像の輝度信号に含まれる所定の周波数成分を検出することにより、当該被写体像を撮像して得た情報にフリッカ成分が含まれているか否かを検出する。そして、フリッカ成分が含まれていることを検出したときに、フリッカの発生を抑える制御を行う。
【０００９】
被写体像を撮像して得た情報にフリッカ成分が含まれているか否かの検出を、輝度信号に含まれる周波数成分そのものを観測して行うことにより、フリッカ成分の有無の判定を短時間で行うことができるとともに、比較的小さなフリッカ成分についても判別が可能となる。
【発明の効果】
【００１０】
本発明によれば、被写体像を撮像して得た情報にフリッカ成分が含まれているか否かの検出を短時間で行うことができるとともに、比較的小さなフリッカ成分についても判別可能であるため、フリッカの発生を抑える制御をより確実に行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１２】
図１は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。図１に示すように、本実施形態に係る撮像装置は、レンズ１１、固体撮像素子であるＣＣＤ(Charge Coupled Device)イメージセンサ１２、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)回路１３、ＡＧＣ(Automatic Gain Control)アンプ１４、Ａ／Ｄ変換器１５、信号処理部１６、Ｄ／Ａ変換器１７、タイミング発生器１８、ＣＣＤ駆動回路１９およびシステムコントローラ２０を有する構成となっている。
【００１３】
なお、固体撮像素子としては、ＣＣＤイメージセンサに限られるものではなく、ＣＣＤイメージセンサ以外の電荷転送型固体撮像素子や、ＣＭＯＳイメージセンサに代表されるＸ−Ｙアドレス型固体撮像素子などであっても良い。
【００１４】
レンズ１１は、撮像対象の被写体（図示せず）からの像光をＣＣＤイメージセンサ１２の撮像面上に結像する。ＣＣＤイメージセンサ１２は、光電変換素子を含む画素が行列状に配置されてなり、撮像面上に結像された像光を画素単位で光電変換し、また光電変換した信号電荷を電気信号に変換してアナログ映像信号として出力する。
【００１５】
ＣＤＳ回路１３は、ＣＣＤイメージセンサ１２の出力波形のリセット部とデータ部をサンプリングし、それらの位相を合わせた後減算処理することによってＣＣＤイメージセンサ１２から出力される映像信号に含まれるノイズ成分を除去する。ＡＧＣアンプ１４は、ＣＤＳ回路１３を経た映像信号のレベルを調整するレベル調整手段である。Ａ／Ｄ変換器１５は、ＡＧＣアンプ１４でレベル調整されたアナログ映像信号をデジタル映像信号に変換する。信号処理部１６は、デジタル映像信号に対して各種の信号処理を施す。Ｄ／Ａ変換器１７は、信号処理部１６で信号処理されたデジタル映像信号をアナログ映像信号に変換して出力する。
【００１６】
信号処理部１６には、積分回路を含むオプティカルディテクタ（ＯＰＤ）２１が内蔵されている。オプティカルディテクタ２１は、デジタル映像信号から得られる被写体像の輝度データを１フィールド（ＮＴＳＣ方式：１／６０［秒］、ＰＡＬ方式：１／５０［秒］）ごとに積分することによって輝度積分値を得る。この輝度積分値は、システムコントローラ２０に与えられる。タイミング発生器１８は、ＣＤＳ回路１３のサンプリングパルスやＣＣＤイメージセンサ１２の駆動の基準となる各種のタイミングパルスを発生する。
【００１７】
ＣＣＤ駆動回路１９は、タイミング発生器１９で発生される各種のタイミングパルスに基づいて、ＣＣＤイメージセンサ１２における各画素からの信号電荷の読み出し、信号電荷の垂直転送および水平転送などの駆動を行うとともに、画素単位で蓄積した電荷をシャッター速度に応じたタイミングで捨てる電子シャッター動作の制御を行う。電子シャッターの動作は、ＣＣＤイメージセンサ１２が作成された半導体基板に印加する基板電圧に対して、水平ブランキング期間中にシャッターパルスを与えることによって実現できる。この電子シャッターのシャッター速度により、ＣＣＤイメージセンサ１２の各画素において光電変換して電荷を蓄積する時間、即ち露光時間が決まる。
【００１８】
システムコントローラ２０は、例えばマイクロコンピュータによって構成され、オプティカルディテクタ２１で検出された輝度積分値とＣＣＤイメージセンサ１２の画素数とから被写体全体の平均輝度を算出する。そして、システムコントローラ２０は、算出した平均輝度に基づいて、例えば、被写体像の輝度が所定の輝度よりも大きいときは電子シャッターのシャッター速度を制御し、被写体像の輝度が所定の輝度よりも小さいときはＡＧＣアンプ１４のゲイン（以下、ＡＧＣゲインと記す）を制御することによって自動露光制御やフリッカの発生を抑える制御を行う。システムコントローラ２０はさらに、フリッカの発生を抑える制御を行うに当たって、ＣＣＤイメージセンサ１２によって撮像する被写体像の輝度信号に含まれる所定の周波数成分を検出する検出手段としての機能をも持っている。
【００１９】
続いて、システムコントローラ２０で行われる、輝度信号に含まれる所定の周波数成分を検出するための処理について具体的に説明する。
【００２０】
システムコントローラ２０は、求めた被写体全体の平均輝度を離散フーリエ変換、例えばＰ（Ｐは２以上の整数）ポイント離散フーリエ変換し、この離散フーリエ変換によって得られた周波数情報に所定の周波数成分、例えば高周波成分が含まれているか否かを検出することにより、被写体を撮像した情報、即ちＣＣＤイメージセンサ１２から出力される映像信号中の輝度信号にフリッカ成分が含まれているか否かを判断する。ここで、離散フーリエ変換によって得られた周波数情報に含まれる高周波成分はフリッカ成分そのものである。
【００２１】
また、フリッカ成分は、垂直同期信号の周波数が６０［Ｈｚ］（フィールド周期が１／６０［秒］）のＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体像を撮像した場合は２０［Ｈｚ］（３フィールド周期）であり、垂直同期信号の周波数が５０［Ｈｚ］（フィールド周期が１／５０［秒］）のＰＡＬ方式に準拠した撮像装置を用いて、６０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体像を撮像した場合は１０［Ｈｚ］（５フィールド周期）である。
【００２２】
Ｐポイント離散フーリエ変換は、下記式（１）に基づいて行われる。
【００２３】
【数１】
2005101793.tif 000003
【００２４】
上記式（１）において、Ｘ（ｍ）は輝度周波数成分を示し、ｍ＝０が低周波成分、ｍ＝１，２が高周波成分となる。また、ｘ（ｎ）は平均輝度を、Ｐは離散ポイント数をそれぞれ示している。ここでは、垂直同期信号の周波数が６０［Ｈｚ］（フィールド周期が１／６０［秒］）のＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体を撮像した場合を例に採るものとすると、フリッカが３フィールド周期で発生することに合わせて、例えばＰ＝３とする。そして、上記式（１）をＰ＝３、ｍ＝１の場合について展開し、絶対値の自乗をとった下記式（２）の値を評価する。
【００２５】
【数２】
2005101793.tif 000004
【００２６】
このように、被写体全体の平均輝度をＰポイント離散フーリエ変換し、Ｐ＝３、ｍ＝１の場合について展開し、絶対値の自乗をとった上記式（２）の値｜Ｘ(1)｜2 を評価することにより、輝度信号の高周波成分が存在するか否かをリアルタイムで検出することができる。そして、上記式（２）の値｜Ｘ(1)｜2 が、ある一定の判定閾値よりも大きくなればフリッカ成分が有ると判定し、当該判定閾値以下であればフリッカ成分が無いと判定する。
【００２７】
特に、周波数成分そのものを観察してフリッカ成分の有無の判定を行っているため、比較的小さなフリッカ成分についてもその有無を判定することができる。また、離散ポイント数Ｐを少ない数値（ここでは、３）に設定することにより、輝度信号の高周波成分を検出するための一連の処理をソフトウエアで行う場合に、当該ソフトウエアの負担を軽減できる。
【００２８】
また、本実施形態に係る撮像装置においては、上記式（２）の値、即ち輝度高周波成分｜Ｘ(1)｜2 を判定閾値と比較することによってフリッカ成分の有無の判定を行うに当たり、図２に示すように、判定閾値にヒステリシスを設けるようにしている。具体的には、判定閾値としてフリッカ有り判定閾値とフリッカ無し判定閾値とを設けている。さらに、輝度高周波成分｜Ｘ(1)｜2 がフリッカ有り判定閾値を超えてからフリッカ有りの判定を行うまでに一定の閾値超え時間を、また輝度高周波成分｜Ｘ(1)｜2 がフリッカ無し判定閾値を超えてからフリッカ無しの判定を行うまでに一定の閾値超え時間をそれぞれ設けている。
【００２９】
このように、フリッカ成分の有無の判定を行うに当たり、判定閾値にヒステリシスを設けることにより、判定閾値付近で判定結果が不安定にならないようにすることができる。換言すれば、フリッカ成分の有無の判定をより確実に行うことができる。なお、ＰＡＬ方式の場合に発生するフリッカは、先述したように、５フィールド周期の周波数成分であるため、ＰＡＬ方式の場合にも、３ポイント離散フーリエ変換を適用すると、離散フーリエ変換の結果にゆらぎが生じる。
【００３０】
そこで、ＰＡＬ方式に３ポイント離散フーリエ変換を適用する場合は、判定閾値のヒステリシス幅（フリッカ有り判定閾値とフリッカ無し判定閾値の間隔）を適当に選定することにより、離散フーリエ変換の結果に生じるゆらぎをヒステリシス幅の範囲内に収めることができるため、フリッカ成分の有無の判定を確実に行うことができる。ただし、ＰＡＬ方式の場合には、５ポイント離散フーリエ変換を適用すれば、離散ポイント数が多くなる分だけソフトウエアの負担が増すものの、離散フーリエ変換の結果にゆらぎが生じることはない。
【００３１】
ところで、フリッカ有りを判定し、シャッター速度、ＡＧＣゲイン等で露光調整しつつフリッカの発生を抑える制御を行った場合、オプティカルディテクタ２１から得られる輝度積分値からフリッカ成分が消える訳であるが、このままでは、フリッカの発生を抑える制御を行った結果フリッカ成分が消えた状態と、フリッカの発生ソースである蛍光灯が消灯した結果フリッカ成分が消えた状態とを識別することができないことになる。
【００３２】
そこで、フリッカの発生を抑える制御中は、当該制御に使用した露光制御量を保存しておき、オプティカルディテクタ２１から得られる輝度積分値から、フリッカの発生を抑える制御がかからなかった場合の平均輝度を予測し、この予測した平均輝度を式（１）のｘ（ｎ）に入れて、式（２）の値｜Ｘ(1)｜2を評価する。このようにすることにより、フリッカの発生を抑える制御によって輝度積分値からフリッカ成分が消えた際に、蛍光灯が消灯した結果フリッカ成分が消えた場合と識別することができる。
【００３３】
続いて、フリッカ成分の有無の判定およびフリッカの発生を抑える制御を行う際のシステムコントローラ２０の処理手順について、図３のフローチャートを用いて説明する。
【００３４】
システムコントローラ２０は、先ず、現在フリッカの発生を抑える制御中であるか否かを判断し（ステップＳ１１）、制御中であれば、オプティカルディテクタ２１から得られる輝度積分値からフリッカ成分が消える訳であるから、当該制御がかからなかった場合の平均輝度を、オプティカルディテクタ２１から得られる輝度積分値から予測する（ステップＳ１２）。次いで、この予測した平均輝度を式（１）のｘ（ｎ）に入れ（ステップＳ１３）、離散フーリエ変換を実行する（ステップＳ１４）。次いで、離散フーリエ変換の結果がフリッカ無し判定閾値以下でかつ閾値超え判定時間が経過したか否かを判定し（ステップＳ１５）、その条件を満足していれば、フリッカ成分が無いと判定する（ステップＳ１６）。
【００３５】
ステップＳ１１において、フリッカの発生を抑える制御中でないと判定した場合は、オプティカルディテクタ２１から得られる輝度積分値から算出した平均輝度を式（１）のｘ（ｎ）に入れ（ステップＳ１７）、離散フーリエ変換を実行する（ステップＳ１８）。次いで、離散フーリエ変換の結果が、フリッカ有り判定閾値以上でかつ閾値超え判定時間が経過したか否かを判定し（ステップＳ１９）、その条件を満足していれば、フリッカ成分が有ると判定し（ステップＳ２０）、フリッカの発生を抑える制御を行う（ステップＳ２１）。
【００３６】
ステップＳ１５において、離散フーリエ変換の結果がフリッカ無し判定閾値よりも大きいと判定した場合、あるいは離散フーリエ変換の結果がフリッカ無し判定閾値以下であっても、閾値超え判定時間が経過していないと判定した場合はステップＳ２０の処理に移行する。また、ステップＳ１９において、離散フーリエ変換の結果がフリッカ有り判定閾値よりも小さいと判定した場合、あるいは離散フーリエ変換の結果がフリッカ有り判定閾値以上であっても、閾値超え判定時間が経過していないと判定した場合はステップＳ１６の処理に移行する。
【００３７】
なお、フリッカの発生を抑える制御を行う具体的な手法としては、自動露光制御に使用するシャッター速度やＡＧＣゲイン、あるいはシャッター速度およびＡＧＣゲインの双方を用いて、被写体像の輝度積分値に基づいて行う手法などを用いることができるが、本発明は、フリッカ成分の有無の判定を行う点を特徴としていることから、フリッカの発生を抑える制御を行う手法については問わない。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】フリッカ有無の判定における判定閾値のヒステリシスの説明に供する図である。
【図３】フリッカ成分の有無の判定およびフリッカの発生を抑える制御を行う際の処理手順を示すフローチャートである。
【符号の説明】
【００３９】
１１…レンズ、１２…ＣＣＤイメージセンサ、１３…ＣＤＳ回路、１４…ＡＧＣアンプ、１５…Ａ／Ｄ変換器、１６…信号処理部、１７…Ｄ／Ａ変換器、１８…タイミング発生器、１９…ＣＣＤ駆動回路、２０…システムコントローラ、２１…オプティカルディテクタ
【図１】
2005101793.tif 000005
【図２】
2005101793.tif 000006
【図３】
2005101793.tif 000007