(57)【要約】【課題】  簡単な構成のハードウェア、およびソフトウェア構成によってフリッカの発生周期、すなわち、商用電源周波数を検出する。【解決手段】  制御部４は、メモリに格納された隣接するフレーム間での積分データＬ（ｎ）の増減を示すデータを作成し、あるフレームの積分データが、その前のフレームの積分データよりも大きい場合、（＋）とし、小さい場合には（−）として、それらデータの（＋）、（−）の増減パターンを生成し、該増減パターンのデータを上記した制御部４のメモリに格納する。制御部４は、その増減パターンデータと予め格納されたフリッカ周波数が１００Ｈｚの場合の増減パターンとフリッカ周波数が１２０Ｈｚの場合の増減パターンからなる増減パターンテーブルとを比較し、フリッカ周波数が１００Ｈｚ、またはフリッカ周波数が１２０Ｈｚのいずれかの増減パターンに一致しているかを判断する。【選択図】  図５
2006332917.tif 000002
【特許請求の範囲】
【請求項１】
画像を垂直走査方向に任意の領域に分割したフリッカ検波領域において、固体撮像素子から出力される撮像信号に含まれる輝度信号に基づいてフリッカ検波を行うフリッカ検波部と、
前記フリッカ検波部によって検出された検波データから、フリッカ周波数を判定するフリッカ周波数判定部とを備え、
前記フリッカ周波数判定部は、
前記フリッカ検波部が検出した検波データから、フレーム毎の輝度変化の増減パターンを生成し、その増減パターンからフリッカ周波数を判定することを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記フリッカ検波部がフリッカ検波するフリッカ検波領域は、
前記フリッカ検波領域の先頭画素の走査時刻と前記フリッカ検波領域の末尾画素の走査時刻との時間差が１／１２０秒以下となるように設定されていることを特徴とする撮像装置。
【請求項３】
請求項１または２記載の撮像装置において、
前記フリッカ周波数判定部は、
前記フリッカ検波部によってフリッカ検波されたフリッカ検波信号を積分した積分データを算出する積分処理部と、
前記積分処理部が算出した積分データを複数のフレーム分格納する積分データ格納部と、
フリッカ周波数が１００Ｈｚ、および１２０Ｈｚの際にそれぞれ発生する輝度変化の増減パターンを格納したパターン格納部と、
前記積分データ格納部に格納された隣接するフレーム間で積分データをそれぞれ比較して増減パターンデータを生成し、その増減パターンデータが前記パターン格納部に格納されたフリッカ周波数が１００Ｈｚの増減パターン、またはフリッカ周波数が１２０Ｈｚの増減パターンのいずれに一致するかを判別することにより、フリッカ周波数を判定する判定部とを備えたことを特徴とする撮像装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記フリッカ検波部がフリッカ検波するフリッカ検波領域を、複数個設けたことを特徴とする撮像装置。
【請求項５】
請求項１〜３のいずれか１項に記載の撮像装置において、
前記フリッカ検波部がフリッカ検波するフリッカ検波領域は、
任意の周期によって画像を垂直走査方向に移動することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を用いた撮像システム技術に関し、特に、照明光に含まれる電源周波数に起因した周波数変動によって生じるフリッカの検出に有効な技術に関する。
【背景技術】
【０００２】
デジタルカメラやカメラ付き携帯端末などに用いられる撮像素子として、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子が広く知られている。
【０００３】
ＣＭＯＳ型撮像素子は、蛍光灯が点灯した室内などで撮影を行った場合に、蛍光灯の明滅周期に応じた輝度レベルが不均一な横縞状のちらつき、いわゆる蛍光灯フリッカが発生してしまうという問題がある。
【０００４】
この蛍光灯フリッカは、撮像素子の各画素の電荷蓄積時間が蛍光灯の明滅周期の整数倍に一致していれば発生しない。そのため、フリッカの抑圧技術としては、（１）大きく分けて、フリッカによって発生する横縞状の不均一を可変利得増幅器で打ち消す、（２）撮像素子の電荷蓄積時間を蛍光灯の明滅周期の整数倍に制御して原理的にフリッカを発生しないようにする、というものがある。
【０００５】
上記した（１）、（２）のいずれの技術であっても、抑制対象であるフリッカの発生周期、すなわち、商用電源周波数を認識することが重要であり、特に、西日本と東日本とで周波数（６０Ｈｚ／５０Ｈｚ）が異なる日本では、より確実な検出技術が求められることになる。
【０００６】
上記した商用電源周波数を認識して撮像素子におけるフリッカを低減する技術としては、ＧＰＳを使用して商用電源周波数を推定するもの（たとえば、特許文献１）や、フリッカによる横帯の周期に合わせて画面内垂直方向に複数個の検波枠を設け、検波枠毎の検波値変動から周波数を判定するも（たとえば、特許文献２）などがある。
【特許文献１】特開２００３−６０９８４号公報
【特許文献２】特開２００３−１８９１２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、上記のようなＣＭＯＳ型撮像素子におけるフリッカの低減技術では、次のような問題点があることが本発明者により見い出された。
【０００８】
すなわち、特許文献１による商用電源周波数の推定技術では、ＧＰＳを用いることによってデジタルカメラなどの撮影装置の構成が複雑化し、大型化してしまうとともに、非常に高価になってしまうという問題がある。
【０００９】
また、特許文献１による商用電源周波数の判定技術では、複数のフリッカ検出用の検波枠が必要となるので、装置構成が複雑となり、高コスト化を招いてしまうという問題がある。
【００１０】
本発明の目的は、簡単な構成のハードウェア、およびソフトウェアによってフリッカの発生周期、すなわち、商用電源周波数を検出する技術を提供することにある。
【００１１】
本発明の前記ならびにそのほかの目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１２】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【００１３】
本発明の撮像装置は、画像を垂直走査方向に任意の領域に分割したフリッカ検波領域において、固体撮像素子から出力される撮像信号に含まれる輝度信号に基づいてフリッカ検波を行うフリッカ検波部と、該フリッカ検波部によって検出された検波データから、フリッカ周波数を判定するフリッカ周波数判定部とを備え、該フリッカ周波数判定部は、フリッカ検波部が検出した検波データから、フレーム毎の輝度変化の増減パターンを生成し、その増減パターンからフリッカ周波数を判定することを特徴とする。
【００１４】
また、本願のその他の発明の概要を簡単に示す。
【００１５】
本発明の撮像装置は、前記フリッカ検波部がフリッカ検波するフリッカ検波領域が、該フリッカ検波領域の先頭画素の走査時刻と該フリッカ検波領域の末尾画素の走査時刻との時間差が１／１２０秒以下となるように設定されているものである。
【００１６】
また、本発明の撮像装置は、前記フリッカ周波数判定部が、フリッカ検波部によってフリッカ検波されたフリッカ検波信号を積分した積分データを算出する積分処理部と、該積分処理部が算出した積分データを複数のフレーム分格納する積分データ格納部と、フリッカ周波数が１００Ｈｚ、および１２０Ｈｚの際にそれぞれ発生する輝度変化の増減パターンを格納したパターン格納部と、積分データ格納部に格納された隣接するフレーム間で積分データをそれぞれ比較して増減パターンデータを生成し、その増減パターンデータがパターン格納部に格納されたフリッカ周波数が１００Ｈｚの増減パターン、またはフリッカ周波数が１２０Ｈｚの増減パターンにいずれに一致するかを判別することにより、フリッカ周波数を判定する判定部とを備えたものである。
【００１７】
さらに、本発明の撮像装置は、前記フリッカ検波部がフリッカ検波するフリッカ検波領域を、複数個設けたものである。
【００１８】
また、本発明の撮像装置は、前記フリッカ検波部がフリッカ検波するフリッカ検波領域が、任意の周期によって画像を垂直走査方向に移動するものである。
【発明の効果】
【００１９】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００２０】
（１）  蛍光灯などの照明光源によるフリッカを簡単なハードウェア構成、およびソフトウェア構成によって自動的に判別することが可能となる。
【００２１】
（２）上記（１）により、撮像装置のコストを低減しながら、性能を向上させることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２３】
図１は、本発明の一実施の形態による撮像装置のブロック図、図２は、商用電源周波数５０Ｈｚ／６０Ｈｚ地域での蛍光灯による照度の時刻変化を模式的に示した説明図、図３は、フレーム周期を１７ｆｐｓ（５８．８ｍｓｅｃ）とした場合の画面上の特定位置におけるフレーム毎の輝度変化を示した説明図、図４は、図１の撮像装置における検波枠の一例を示した説明図、図５は、図１の撮像装置におけるフリッカ判定処理の一例を示したフローチャートである。
【００２４】
本実施の形態において、撮像装置１は、たとえば、ＣＭＯＳ型固体撮像素子用カメラシステムからなる。撮像装置１は、図１に示すように、ＣＭＯＳ型固体撮像素子（個体撮像素子）２、信号処理部３、および制御部（フリッカ周波数判定部、積分処理部、判定部）４から構成されている。
【００２５】
ＣＭＯＳ型固体撮像素子２は、レンズによって結像した映像を電圧信号に変換し、同期信号に基づいて出力する。このＣＭＯＳ型固体撮像素子２には、信号処理部３が接続されている。
【００２６】
信号処理部３は、たとえば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などの半導体集積回路装置からなり、ＣＭＯＳ型固体撮像素子２から出力された画像信号の処理を行う。
【００２７】
信号処理部３は、画像処理回路５、同期回路６、および検波回路（フリッカ検波部）７などから構成されている。画像処理回路５は、ＣＭＯＳ型固体撮像素子２が出力した画像信号の画像処理を行い、ディスプレイなどに表示させる。同期回路６は、同期信号を生成し、ＣＭＯＳ型固体撮像素子２に出力する。検波回路７は、フリッカ検波を行い、検波信号を制御部４に出力する。
【００２８】
制御部４は、たとえば、マイクロコンピュータなどから構成されており、ＣＭＯＳ型固体撮像素子２、および信号処理部３の動作制御を司るとともに、検波回路７から出力された検波信号に基づいて、商用電源周波数の確定を行い、蛍光灯フリッカを除去する。
【００２９】
次に、本実施の形態による撮像装置１の作用について説明する。
【００３０】
まず、フリッカの原理について説明する。
【００３１】
図２は、商用電源周波数５０Ｈｚ／６０Ｈｚ地域での蛍光灯による照度の時刻変化を模式的に示した説明図である。
【００３２】
図示するように、蛍光灯は、商用電源周波数の倍周波数で点滅（フリッカ周波数）を繰り返すことになる。実際の照度変化は、蛍光灯それ自体が持つ残光特性や、撮像環境の反射光の影響などによって複雑に変化するが、理想的には、電源周波数５０Ｈｚ（フリッカ周期１００Ｈｚ）の場合、ｙ＝｜ｓｉｎ（１００π（ｔ／１０００｜）で変化する。また、商用電源周波数６０Ｈｚ（フリッカ周期１２０Ｈｚ）の場合には、ｙ＝｜ｓｉｎ（１２０π（ｔ／１０００｜）の曲線で変化する。ここで、ｔ＝ｍｓｅｃとする。
【００３３】
撮像装置１は、あるフレーム周期で連続的に撮像を繰り返すので、そのフレーム周期が１００Ｈｚ、あるいは１２０Ｈｚの整数倍になっていない場合、当然ながら撮像フレーム毎に、撮像フレーム周期と照度変化周期との位相差が変化することになる。このことは、横帯状の輝度変化が画面上をスクロールする症状となって現れる。
【００３４】
図３は、フレーム周期を１７ｆｐｓ（５８．８ｍｓｅｃ）とした場合の画面上の特定位置におけるフレーム毎の輝度変化を示した説明図である。
【００３５】
この場合、商用電源周波数５０Ｈｚ（フリッカ周波数１００Ｈｚ）では、９フレーム毎に増減を繰り返しており、商用電源周波数６０Ｈｚ（フリッカ周波数１２０Ｈｚ）では、１７フレームから１８フレーム毎に増減を繰り返している。
【００３６】
よって、フレーム周期を意図的に横帯状の輝度変化がスクロールするように設定することによって、画面内の位置が固定化された検波枠（フリッカ検波領域）ＫＰ（図４）から検波データのフレーム毎の増減変化からフリッカの発生周期、すなわち商用電源周波数の判別を行う。
【００３７】
検波枠ＫＰは、１フレーム内の任意の区間に設定され、判定は、その検波枠ＫＰ内における輝度信号を検波信号として検波回路７によって検出し、その検出信号を積分した積分データを用いて行う。
【００３８】
図４は、検波枠ＫＰの一例を示した説明図である。
【００３９】
検波枠ＫＰの垂直方向の幅は、１フレームにおいて、たとえば、８．３３ｍｓｅｃ（１／１２０秒相当）以下に設定する。たとえば、検波枠ＫＰをフレームの垂直方向に大きくとってしまうと、その区間の複数個の信号量変動のピークをまたがることとなり、積分効果によってフレーム毎の信号変化の検出精度が低下してしまうことになる。この値は、フレーム周期が１７ｆｐｓの場合、フレームの垂直方向（５８．８ｍｓｅｃ）の約１４％以下である。
【００４０】
図５は、撮像装置１におけるフリッカ判定処理の一例を示したフローチャートである。
【００４１】
図５における判定処理のフローは、たとえば、フレーム周期で起動されるものとする。
【００４２】
まず、フレーム開始において、検波回路７によってフリッカ検波が行われた検波信号が制御部４に入力されると（ステップＳ１０１）、該検波データのフレーム数をインクリメント（ｎ＝ｎ＋１）する（ステップＳ１０２）。
【００４３】
続いて、そのフレーム数ｎが予め設定された任意の値（ｍ）よりも大きいか否かを判断し、該フレーム数ｎが数値（ｍ）より大きい場合には、ｎの値を１にリセットする（ステップＳ１０３）。
【００４４】
そして、制御部４は、その検波信号から積分データＬ（ｎ）を計算する（ステップＳ１０４）。制御部４は、計算した積分データを該制御部４に設けられたメモリ（積分データ格納部、パターン格納部）に格納する。このメモリは、いわゆるリングバッファとなっており、過去、数フレーム（１〜ｍ）にわたる積分データＬ（ｎ）が格納される。
【００４５】
制御部４は、メモリに格納された隣接するフレーム間での積分データＬ（ｎ）の増減を示すデータを作成する（ステップＳ１０５）。このステップＳ１０５の処理においては、あるフレームの積分データＬ（ｎ）が、その前のフレームの積分データＬ（ｎ−１）よりも大きい場合、（＋）とし、小さい場合には（−）として、それらデータの（＋）、（−）の増減パターン（増減パターンデータ）を生成し、該増減パターンのデータを上記した制御部４のメモリに格納する。
【００４６】
また、制御部４のメモリには、増減パターンテーブルが予め格納されている。この増減パターンテーブルは、フリッカ周波数が１００Ｈｚの場合の増減パターンとフリッカ周波数が１２０Ｈｚの場合の増減パターンとよりなる。
【００４７】
そして、制御部４は、メモリに格納された増減パターンテーブルとステップＳ１０５の処理において生成された増減パターンとを比較し（ステップＳ１０６）、フリッカ周波数が１００Ｈｚ、またはフリッカ周波数が１２０Ｈｚのいずれかの増減パターンに一致しているかを判断する（ステップＳ１０７）。
【００４８】
１００Ｈｚ／１２０Ｈｚのいずれかのフリッカ周波数の増減パターンに一致している場合には、その一致した周波数（１００Ｈｚまたは１２０Ｈｚ）をフリッカ周波数として暫定確定を行う（ステップＳ１０８）。
【００４９】
その後、ステップＳ１０８の処理おいて暫定確定されたフリッカ周波数が予め設定された所定のフレーム回数を連続して一致するか否かを判断し（ステップＳ１０９）、連続して一致する場合には、その周波数を最終的なフリッカ周波数として確定する（ステップＳ１１０）。
【００５０】
そして、制御部４は、ＣＭＯＳ型固体撮像素子２の電荷蓄積時間をステップＳ１１０の処理において確定されたフリッカ周波数の整数倍に制御することによって、フリッカの発生を防止する。
【００５１】
それにより、本実施の形態によれば、１つの検波枠ＫＰからフリッカの発生周期、すなわち商用電源周波数を容易に判別することができるので、撮像装置１のハードウェア、ならびにソフトウェアの構成を簡単化することができる。
【００５２】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００５３】
たとえば、前記実施の形態では、検波枠を固定した場合について記載したが、図６に示すように、検波枠ＫＰを一定周期でフレームの上方から下方に移動させて蛍光灯によって発生するフリッカの縞を検出するようにしてもよい。
【００５４】
また、図７に示すように、フレームに対して検波枠ＫＰを複数個設け、フリッカによって発生する横筋を検出するようにしてもよい。
【産業上の利用可能性】
【００５５】
本発明は、撮像素子を用いた撮像システムにおいて、照明光に含まれる電源周波数に起因した周波数変動によって生じるフリッカフリッカの検出技術に適している。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施の形態による撮像装置のブロック図である。
【図２】商用電源周波数５０Ｈｚ／６０Ｈｚ地域での蛍光灯による照度の時刻変化を模式的に示した説明図である。
【図３】フレーム周期を１７ｆｐｓ（５８．８ｍｓｅｃ）とした場合の画面上の特定位置におけるフレーム毎の輝度変化を示した説明図である。
【図４】図１の撮像装置における検波枠の一例を示した説明図である。
【図５】図１の撮像装置におけるフリッカ判定処理の一例を示したフローチャートである。
【図６】本発明の他の実施の形態による撮像装置における検波枠の一例を示した説明図である。
【図７】本発明の他の実施の形態による撮像装置における検波枠の他の例を示した説明図である。
【符号の説明】
【００５７】
１  撮像装置
２  ＣＭＯＳ型固体撮像素子（固体撮像素子）
３  信号処理部
４  制御部（フリッカ周波数判定部、積分処理部、判定部）
５  画像処理回路
６  同期回路
７  検波回路（フリッカ検波部）
【図１】
2006332917.tif 000003
【図２】
2006332917.tif 000004
【図３】
2006332917.tif 000005
【図４】
2006332917.tif 000006
【図５】
2006332917.tif 000007
【図６】
2006332917.tif 000008
【図７】
2006332917.tif 000009