(57)【特許請求の範囲】
【請求項１】
撮像装置における光源のフリッカを補正するフリッカ補正装置であって、
フリッカ検出手段と、
フリッカ補正手段と、
撮影モードにおいて、不安定状態か安定状態かを判定する状態判定手段と、
前記フリッカ検出手段及び前記フリッカ補正手段を制御する制御手段と、を備え、
前記状態判定手段は、ＡＥ及びＡＦの少なくとも一方の撮像制御が行われている最中は前記不安定状態と判定し、
前記制御手段は、前記状態判定手段により前記不安定状態と判定された場合は前記フリッカ検出手段に前記フリッカの検出を行わせず、前記状態判定手段により前記安定状態と判定された場合は前記フリッカ検出手段に前記フリッカの検出を行わせ、前記フリッカ検出手段によりフリッカが検出されたら前記フリッカ補正手段に前記フリッカの補正を行わせることを特徴とするフリッカ補正装置。
【請求項２】
前記制御手段は、前記状態判定手段により前記不安定状態と判定された場合は前記フリッカ検出手段に前記フリッカの検出を行わせず、前記状態判定手段により前記不安定状態から前記安定状態に遷移したと判定されたら前記フリッカ検出手段に前記フリッカの検出を行わせることを特徴とする請求項１に記載のフリッカ補正装置。
【請求項３】
前記撮像装置に搭載される固体撮像素子は、ＣＣＤを含むフレーム単位またはフィールド単位でほぼ同時に蓄積・読み出しが可能な素子であり、前記フリッカ検出手段は、前記フレームまたはフィールド単位での撮像画像の輝度の積分値と過去の積分値から前記フリッカの検出を行うことを特徴とする請求項１または２に記載のフリッカ補正装置。
【請求項４】
前記フリッカ補正手段は、前記撮像装置の撮像のためのシャッタースピードを１／１００秒の整数倍にして前記フリッカの補正を行うことを特徴とする請求項３に記載のフリッカ補正装置。
【請求項５】
前記撮像装置に搭載される固体撮像素子は、ＣＭＯＳを含むライン単位で蓄積・読み出しが可能な素子であり、前記フリッカ検出手段は、ライン単位での撮像画像の輝度の積分値と過去の積分値からフリッカ検出を行うことを特徴とする請求項１または２に記載のフリッカ補正装置。
【請求項６】
前記フリッカ補正手段は、前記固体撮像素子のラインごとにゲインを制御し、前記フリッカの補正を行うことを特徴とする請求項５記載のフリッカ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フリッカの影響を受ける撮像素子を用いた撮像装置、例えばカムコーダにおけるフリッカを補正するフリッカ補正装置に関する。
【背景技術】
【０００２】
インバータなどを備えない蛍光灯は、商用電源を用いているので関東の５０Ｈｚの場合は１／１００秒、関西の６０Ｈｚの場合は１／１２０秒の周期で点滅を繰り返す。このような光源下でカムコーダを撮影する場合を考える。
【０００３】
ＮＴＳＣでは秒間３０フレーム、６０フィールドであり、この周期で撮影を行うと撮像素子の蓄積時間が一定であっても、図３、図４に示すように、定期的に明るいフィールドと暗いフィールドができ、動画として大変見づらいものとなる。このような現象をフリッカと呼ぶ。
【０００４】
このフリッカを補正する技術は種々提案されており、例えば、特許文献１に提案されている技術がある。
【特許文献１】特開２００２−１５２６０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
フリッカ補正装置において、フリッカ補正のためのフリッカ検出を行うに際し、フリッカを誤検出した場合、本来補正の必要のない画像にフリッカ補正をしてしまうことになる。
【０００６】
上記特許文献１記載の技術では、フリッカ補正の方法としてシャッタースピードを１／１００に固定している。
【０００７】
本来、ＡＥにはシャッタースピードの調整幅が必要だが、この技術では、それが固定になってしまうので、絞りやゲインなどほかの手段でカバーするしかなくなり、露出制御の自由度が減少する。
【０００８】
また、これ以外にもゲインを用いたフリッカ補正技術や、撮像素子に依存したフリッカ補正技術も種々提案されている。しかし、これらのフリッカ補正技術を誤って正常な画像に適用してしまうと画質を悪化させてしまう可能性がある。
【０００９】
本発明の目的は、フリッカの誤検出を低減し、フリッカの誤検出によるシャッタースピードの制約や、画質の悪化を抑えることができるフリッカ補正装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明のフリッカ補正装置は、撮像装置における光源のフリッカを補正するフリッカ補正装置であって、フリッカ検出手段と、フリッカ補正手段と、撮影モードにおいて、不安定状態か安定状態かを判定する状態判定手段と、前記フリッカ検出手段及び前記フリッカ補正手段を制御する制御手段と、を備え、前記状態判定手段は、ＡＥ及びＡＦの少なくとも一方の撮像制御が行われている最中は前記不安定状態と判定し、前記制御手段は、前記状態判定手段により前記不安定状態と判定された場合は前記フリッカ検出手段に前記フリッカの検出を行わせず、前記状態判定手段により前記安定状態と判定された場合は前記フリッカ検出手段に前記フリッカの検出を行わせ、前記フリッカ検出手段によりフリッカが検出されたら前記フリッカ補正手段に前記フリッカの補正を行わせることを特徴とする。
【発明の効果】
【００１１】
本発明のフリッカ補正装置によれば、フリッカの誤検出を低減し、フリッカの誤検出によるシャッタースピードの制約や、画質の悪化を抑えることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１３】
図１は、本発明の実施の形態に係るフリッカ補正装置が搭載されるカムコーダ（撮像装置）の撮像系のブロック図である。
【００１４】
同図において、カムコーダ１００は、レンズ１０１、露光量調節を行う絞り１０２、レンズ・絞り・シャッター制御部１０３、撮像素子（固体撮像素子）１０４、ＣＤＳ・ＡＧＣ・Ａ／Ｄ１０５、ＴＧ１０６、フリッカ検出部１０７、フリッカ補正部１０８を備える。
【００１５】
また、カムコーダ１００は、信号処理部１０９、画像入出力制御部１１０、記録媒体１１１、撮像スイッチ１１２、ジャイロセンサ１１３、上記各部（各ユニット）を制御するシステム制御部１１４を備える。画像入出力制御部１１０には、パネル・ビデオ出力部が１１５接続される。
【００１６】
次に、上記構成のカムコーダ１００の動作を説明する。
【００１７】
レンズ１０１に入射した光は、レンズ・絞り・シャッター制御部１０３により適正露光に調整され、撮像素子１０４で光電変換される。撮像素子１０４で光電変換された映像信号はＣＤＳ・ＡＧＣ・Ａ／Ｄ１０５で、ノイズ除去・ゲイン制御・Ａ／Ｄ変換される。
【００１８】
次に、信号処理部１０９により各種画像処理が行われる。次に、画像入出力制御部１１０において画像を記録媒体１１１に記録する。記録媒体１１１は、ＤＶテープ、ＤＶＤディスク、メモリカードなどでもよい。また、画像入出力制御部１１０から出力される画像を、パネル・ビデオ出力部１１５で液晶パネルやビデオ出力に適した信号に変換する。
【００１９】
また、絞り１０２は、静止画撮影時の露光時間を調節するシャッターの役割も備え、静止画撮影の場合には、撮像素子１０４が電荷を蓄積し始めた後に、絞り１０２を閉じることによって露光時間が決定する。
【００２０】
詳しい制御は後述するが、システム制御部１１４にてフリッカ検出のタイミング計り、フリッカ検出部１０７でフリッカ検出を行い、フリッカ補正部１０８でフリッカ補正を行う。
【００２１】
（フリッカ検出のタイミング）
図２は、図１のカムコーダにおけるフリッカ検出の際の状態遷移図である。
【００２２】
カムコーダ１００に電源が投入され、撮影までの準備期間や、画像閲覧モードなど、撮影の行わない状態をひとまとめに非撮影モード２０１とする。
【００２３】
撮影のできる状態であり実際に撮影記録が行われている場合と、撮影記録は行われていないもののいつでも記録できる状態でありリアルタイムに液晶表示装置などに撮影画像が表示されている情態を含めて撮影モード２０４とする。
【００２４】
撮影モード２０４は、後述の不安定状態２０２、安定状態２０３を含む。フリッカ検出を行わない状態を不安定状態２０２とする。フリッカ検出を行う状態を安定状態２０３とする。リソース２０５が撮像制御系と外界センサ系であり、リソース２０６がフリッカ検出系である。
【００２５】
カムコーダ１００の電源が投入されると、非撮影モード２０１になる。ここでＯＳの起動など準備が完了すると、撮影モード２０４に遷移する。撮影モード２０４内では、最初は不安定状態２０２に遷移する。
【００２６】
不安定状態２０２では、リソース２０５の撮像制御系、外界センサ系を監視する。撮像制御が行われている最中、具体的にはＡＥ、ＡＷＢ、ＡＦ、ＺＯＯＭ（ズーム）などが動作している最中は、画像が安定せずフリッカ検出が難しく誤検出の恐れがあるため、フリッカ検出を行わない。
【００２７】
同様に、外界センサ系により検出される以下の状態のときは、画像が安定せずフリッカ検出が難しく、同様に誤検出の恐れがあるため、フリッカ検出を行わない。以下の状態とは、具体的には、画像が動いている状態、ジャイロによりカムコーダが揺れている状態、パンされている状態である。
【００２８】
そして、リソース２０５の撮像制御系や外界センサ系に動きがある間は、不安定状態２０２の状態のままでいる。リソース２０５の撮像制御系と外界センサ系が一定期間動作していないようであれば、安定状態２０３に遷移する。
【００２９】
安定状態２０３では、リソース２０６のフリッカ検出系の情報を参照してフリッカを検出する。フリッカ検出方法は公知の方法を用いるものとするが、一例を後述する。
【００３０】
また、同時にリソース２０５の撮像制御系と外界センサ系を監視し、一瞬の撮像制御やカムコーダ１００の揺れは無視して、安定状態２０３に居続ける。
【００３１】
しかし、ある程度の期間に亘り撮像制御が行われたり、カムコーダ１００に動きがあるようであれば、安定状態２０３から不安定状態２１０２に状態遷移する。
【００３２】
（フリッカ検出の方法）
フリッカの検出は公知の方法を用いるものとするが、一例を以下に示す。
【００３３】
図３は、フリッカの一例を示す図である。
【００３４】
グラフの正弦波は、商用電源５０Ｈｚで蛍光灯が点灯している様子を表す。蛍光灯は交流の＋でも−でも点灯するので結果的に１秒間に１００回点灯する。
【００３５】
ＮＴＳＣ対応のカムコーダ１００は、秒間６０フィールドであり、撮像素子１０４の蓄積時間も１／６０秒とし、仮に正弦波のピークを１と置き、１周期１／５０秒を２πで置くとフィールドごとの撮像素子１０４の蓄積量は図４のようになる。
【００３６】
このように、１００Ｈｚの光源（交流の＋−１００回の点灯の光源）と６０フィールドの記録により２０Ｈｚ周期で明るいフィールドと暗いフィールドを繰り返すことになる。
【００３７】
これを検出するには過去１０フレーム前後位、画面の輝度の積分値を保存しておき、２０Ｈｚのバンドパスフィルタに掛けた和を３フィールド分保存し、それら３フィールドの積分値の差が一定以上であればフリッカが発生していると判断する。
【００３８】
（フリッカ補正の方法）
フリッカの補正も公知の方法を用いるものとするが、一例を以下に示す。
【００３９】
図５は、フリッカ補正の一例を示す図である。
【００４０】
図３と同じく正弦波は蛍光灯の点灯を表している。ここで各フィールドのシャッタースピードを１／１００秒にすると、図６のようにどのフィールドも蓄積量が同じになる。
【００４１】
こうすることによってフリッカを補正することができるが、シャッタースピードが１／１００秒に制限されるため、自動露出には絞りとゲインを用いるしかなくなり、露出制御に制限ができる。
【００４２】
本発明の実施の形態において、システム制御部１１４は、撮影モードにおいて、不安定状態２０２から安定状態２０３に遷移したことを判定する状態判定手段として機能する。
【００４３】
また、システム制御部１１４は、状態判定手段により不安定状態２０２から安定状態２０３に遷移したと判定されたときに、フリッカ検出部１０７にフリッカの検出を行わせると共に、フリッカ補正部１０８にフリッカの補正を行わせる制御手段として機能する。
【００４４】
また、システム制御部１１４は、リソース２０５の撮像制御系からの情報を取得する第１の情報取得手段と、外界センサ系からの情報を取得する第２の情報取得手段として機能する。
【００４５】
そして、状態判定手段は、第１、第２の情報取得手段からの情報に基づき、不安定状態か２０２から安定状態２０３に遷移したと判定する。
【００４６】
撮像素子１０４は、ＣＣＤを含むフレーム単位またはフィールド単位でほぼ同時に蓄積・読み出しが可能な素子であり、フリッカ検出手段は、フレームまたはフィールド単位での撮像画像の輝度の積分値と過去の積分値からフリッカ検出を行う。
【００４７】
フリッカ補正手段は、撮像のためのシャッタースピードを１／１００秒の整数倍にしてフリッカ補正を行う。
【００４８】
撮像素子１０４は、ＣＭＯＳを含むライン単位で蓄積・読み出しが可能な素子であり、フリッカ検出手段は、ライン単位での撮像画像の輝度の積分値と過去の積分値からフリッカ検出を行う。また、フリッカ補正手段は、ラインごとにゲインを制御し、フリッカ補正を行う。
【００４９】
尚、フリッカは蛍光灯以外の光源（LED光源など）でも発生する可能性があり、蛍光灯以外の光源でも本願発明は適用可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施の形態に係るフリッカ補正装置が搭載されるカムコーダの撮像系のブロック図である。
【図２】図１のカムコーダにおけるフリッカ検出の際の状態遷移図である。
【図３】フリッカの一例を示す図である。
【図４】図３のフリッカの積分値を示す図である。
【図５】フリッカ補正の一例を示す図である。
【図６】図５のフリッカ補正の積分値を示す図である。
【符号の説明】
【００５１】
１００  カムコーダ
１０４  撮像素子
１０７  フリッカ検出部
１０８  フリッカ補正部
１１３  ジャイロセンサ
１１４  システム制御部
２０２  不安定状態
２０３  安定状態
２０４  撮影モード
２０５、２０６  リソース
【図１】
0004958732.tif 000002
【図２】
0004958732.tif 000003
【図３】
0004958732.tif 000004
【図４】
0004958732.tif 000005
【図５】
0004958732.tif 000006
【図６】
0004958732.tif 000007