【手続補正書】
【提出日】平成21年8月24日(2009.8.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入射光を光電変換して、複数フレームの画像信号を順次出力する撮像素子と、
前記撮像素子から出力された１フレーム分の画像信号を各ライン毎に平均した結果に基づいて、フリッカの有無及びフリッカ周期を判定する判定手段と、
前記判定手段によりフリッカ有りと判定された場合に、各フレームにおける前記撮像素子の電荷蓄積時間が前記フリッカ周期の１／２のｎ倍（ｎは２以上の整数）になるように前記撮像素子を駆動制御し、前記撮像素子の１ラインの読み出し開始後、次に読み出すラインの読み出し開始までの期間である水平期間を短くする場合には、前記水平期間変更直後のフレームにおける電荷蓄積時間が前記フリッカ周期の１／２の（ｎ‐ｍ）倍（ｎ＞ｍ、ｍは自然数）になるように前記撮像素子を駆動制御する駆動制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記駆動制御手段は、前記水平期間を長くする場合には、前記水平期間変更直後のフレームにおける前記撮像素子の電荷蓄積時間が前記水平期間変更前と同じ電荷蓄積時間になるように前記撮像素子を駆動制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮像素子により、入射光を光電変換して、複数フレームの画像信号を順次出力する撮像工程と、
判定手段が、前記撮像工程で出力された１フレーム分の画像信号を各ライン毎に平均した結果に基づいて、フリッカの有無及びフリッカ周期を判定する判定工程と、
駆動制御手段が、前記判定工程によりフリッカ有りと判定された場合に、各フレームにおける前記撮像素子の電荷蓄積時間が前記フリッカ周期の１／２のｎ倍（ｎは２以上の整数）になるように前記撮像素子を駆動制御し、前記撮像素子の１ラインの読み出し開始後、次に読み出すラインの読み出し開始までの期間である水平期間を短くする場合には、前記水平期間変更直後のフレームにおける電荷蓄積時間が前記フリッカ周期の１／２の（ｎ‐ｍ）倍（ｎ＞ｍ、ｍは自然数）になるように前記撮像素子を駆動制御する駆動制御工程と、
を有することを特徴とする撮像装置の駆動制御方法。
【請求項４】
前記駆動制御工程において、前記水平期間を長くする場合には、前記水平期間変更直後のフレームにおける前記撮像素子の電荷蓄積時間が前記水平期間変更前と同じ電荷蓄積時間になるように前記撮像素子を駆動制御することを特徴とする請求項３に記載の駆動制御方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
このように明るさが周期的に変動する蛍光灯の下で、ＭＯＳ型撮像素子により電荷蓄積時間を１／３０秒として撮像する場合の電荷蓄積タイミングを図１０（ｃ）に示す。この場合、図１０（ｃ）に示すように、読み出し点Ａ１からＢ１までの入射光量を積分した値が第１ラインの画素の出力信号になる。同様に、読み出し点Ａ２からＢ２までの入射光量を積分した値が第２ラインの画素の出力信号となる。以下、最終ラインまで同様である。このとき、ライン毎に照明の光量変化の周期に対する電荷蓄積時間の位相が異なるため、入射光量の積分値が異なってしまい、フレーム内で輝度変動（フリッカ）が現れる。撮像素子が４８０ラインで構成される場合、１ラインの読み出しに係る時間が１／１４４００秒（＝１／３０÷４８０ライン）であるため、照明の光量変化に対して１４４ライン周期で蓄積開始タイミングの位相が揃うため、このフリッカは、この場合１４４ライン周期の輝度レベルの変動となる（図１０（ｄ））。このように、ＣＭＯＳセンサをローリングシャッタ駆動した場合に、フレーム内で輝度差が生じてしまう。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
上記目的を達成するために、本発明の撮像装置は、入射光を光電変換して、複数フレームの画像信号を順次出力する撮像素子と、前記撮像素子から出力された１フレーム分の画像信号を各ライン毎に平均した結果に基づいて、フリッカの有無及びフリッカ周期を判定する判定手段と、前記判定手段によりフリッカ有りと判定された場合に、各フレームにおける前記撮像素子の電荷蓄積時間が前記フリッカ周期の１／２のｎ倍（ｎは２以上の整数）になるように前記撮像素子を駆動制御し、前記撮像素子の１ラインの読み出し開始後、次に読み出すラインの読み出し開始までの期間である水平期間を短くする場合には、前記水平期間変更直後のフレームにおける電荷蓄積時間が前記フリッカ周期の１／２の（ｎ‐ｍ）倍（ｎ＞ｍ、ｍは自然数）になるように前記撮像素子を駆動制御する駆動制御手段と、を有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明の駆動制御方法は、撮像素子により、入射光を光電変換して、複数フレームの画像信号を順次出力する撮像工程と、判定手段が、前記撮像工程で出力された１フレーム分の画像信号を各ライン毎に平均した結果に基づいて、フリッカの有無及びフリッカ周期を判定する判定工程と、駆動制御手段が、前記判定工程によりフリッカ有りと判定された場合に、各フレームにおける前記撮像素子の電荷蓄積時間が前記フリッカ周期の１／２のｎ倍（ｎは２以上の整数）になるように前記撮像素子を駆動制御し、前記撮像素子の１ラインの読み出し開始後、次に読み出すラインの読み出し開始までの期間である水平期間を短くする場合には、前記水平期間変更直後のフレームにおける電荷蓄積時間が前記フリッカ周期の１／２の（ｎ‐ｍ）倍（ｎ＞ｍ、ｍは自然数）になるように前記撮像素子を駆動制御する駆動制御工程と、を有する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出しや間引き、線形補間処理等を行い、水平垂直共に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理には、メモリ部２６がバッファメモリとして用いられて実現される。ブロックスキャン画像データに変換された画像データは、圧縮回路でＪＰＥＧ圧縮によりブロック単位に圧縮される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
第１〜第４駆動ではそれぞれ、撮像素子１５から画像信号を読み出して出力するまでに掛かる時間が異なる。これは、それぞれの駆動において、読み出すライン数が互いに異なると共に、読み出したライン数に対する出力ライン数が異なるために処理に係る時間が違ってくるからである。画角の大小関係は第１駆動＞第２駆動＞第３駆動＞第４駆動であり、第１駆動が最広角、第４駆動が最望遠ということになる。また、読み出した画像データの解像度の関係は、第１駆動＜第２駆動＜第３駆動＜第４駆動となる。なお、第１〜第３駆動において複数ライン分の画像信号を１ライン分の信号として読み出すには、加算読み出しや読み出しラインをスキップする方法、両方法を混合した方法等が考えられる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
５０は画像処理部１９で生成され、メモリ部２６に記憶された画像データを表示用画像に変換してモニタに転送する再生回路、５１は例えばＬＣＤ等の表示部である。再生回路５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと色差成分Ｃとに分離し、Ｄ／Ａ変換を行い、アナログ化したＹ信号にＬＰＦ処理を施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にはＢＰＦ処理を施して色差成分の周波数成分のみを抽出する。こうして生成した信号成分とサブキャリア周波数に基づいてＹ信号とＲＧＢ信号に変換して、表示部５１に出力させる。なお、撮像素子１５から得られる画像データを逐次処理して表示することによって、電子ビューファインダ（ＥＶＦ）機能が実現される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
●撮像素子の構成
図２は、本第１の実施形態における撮像素子１５の一部を示す回路構成図である。本第１の実施形態における撮像素子１５は、上述したようにＸＹアドレス型の走査方法を採る、例えばＣＭＯＳセンサである。図２においては、説明を分かり易くするために４行×４列分の画素を示しているが、実際には通常、数十万〜数千万の画素が並べられている。１０１は単位画素である。実際の撮像素子は単位画素１０１が所定のアスペクト比で２次元に配置される。また単位画素１０１毎にＲ、Ｇ、Ｂいずれかの色相のカラーフィルタにより覆われており、例えば、カラーフィルタがベイヤ配列に並べられる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
単位画素１０１において、１０２は入射光を電荷に変換するフォト・ダイオード（以下、ＰＤ）、１０３はＰＤ１０２で発生した電荷を一時的に蓄積しておく蓄積領域となるフローティングデフュージョン部（以下、ＦＤ）である。１０４はＰＤ１０２で発生した電荷を転送パルスφＴＸによってＦＤ１０３に転送する転送スイッチ、１０５はリセットパルスφＲＥＳによってＦＤ１０３に蓄積された電荷を除去するリセットスイッチである。１０６はソースフォロアとして機能する増幅ＭＯＳアンプ、１０７は選択パルスφＳＥＬによって画素を選択する選択スイッチである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
なお、図２に示す例では、１チャンネル読み出し構成を示しているが、複数チャンネルに分けて読み出しを高速化するように構成してもよい。例えば、２チャンネル分の読み出し回路と水平走査回路を持たせ、奇数列と偶数列を別々に読み出し、画像処理部１９で並び替えるようにすることができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
図５（ａ）は、平均化部２の出力であるＡＶＥｉを波形で示した一例である。図５（ａ）において、横軸はライン番号ｉを示し、縦軸は平均結果のレベル、すなわちＡＶＥｉを示している。図５（ｂ）はＤＦＴ部７１の出力の一例を示している。図５（ｂ）において、横軸は周波数、縦軸は周波数成分のレベルの大きさを示している。そして、ＤＦＴ部７１により、５０Ｈｚの周波数成分を検出するために５０Ｈｚ用のＤＦＴ演算を行ったときの周波数成分レベルをＦ５０、６０Ｈｚの周波数成分を検出するために６０Ｈｚ用のＤＦＴ演算を行ったときの周波数成分レベルをＦ６０とする。閾値処理部７２では、ＤＦＴ部７１の出力に対して、４つの閾値、ＴＨ５０＿ＯＮ、ＴＨ６０＿ＯＮ、ＴＨ５０＿ＯＦＦ、ＴＨ６０＿ＯＦＦを予め設定しておく。これらの閾値は、ＴＨ５０＿ＯＮ＞ＴＨ５０＿ＯＦＦ、ＴＨ６０＿ＯＮ＞ＴＨ６０＿ＯＦＦの関係を有する。閾値処理部７２は、その閾値と、前述した５０Ｈｚの周波数成分Ｆ５０および６０Ｈｚの周波数成分Ｆ６０とを比較し、その大小関係により、フリッカの有無の判定を行う。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
（１）Ｆ５０＜Ｔｈ５０＿ＯＦＦかつＦ６０＜ＴＨ６０＿ＯＦＦ＞のときは、フリッカ無しと判定する。
（２）α×Ｆ６０＜Ｆ５０かつＦ５０＞ＴＨ５０＿ＯＮのときは、５０Ｈｚのフリッカ有りと判定する。
（３）β×Ｆ５０＜Ｆ６０かつＦ６０＞ＴＨ６０＿ＯＮのときは、６０Ｈｚのフリッカ有りと判定する。
（４）上記（１）〜（３）以外の場合は不明であるため、フリッカ無しと判定する。
なお、上記の判定式において、αは５０Ｈｚのフリッカ検出用の重み係数、βは６０Ｈｚのフリッカ検出用の重み係数であり、いずれも１より十分大きな値に設定される。そして、５０Ｈｚ（または６０Ｈｚ）の周波数成分が６０Ｈｚ（または５０Ｈｚ）の周波数成分よりも予め設定された重み係数倍より大きい場合に、５０Ｈｚ（または６０Ｈｚ）のフリッカが有ると判定することになる。上記のようにしてフリッカ周波数を特定し、その周波数に応じてｎ／１００秒（ｎ／２×５０Ｈｚ）またはｎ／１２０秒（ｎ／２×６０Ｈｚ）（ｎは２以上の整数）を蓄積時間とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
従って、本第１の実施形態においては、図７に示すように、フレーム３の蓄積時間を（ｎーｍ）／１００秒（ｎ＞ｍ、ｍは自然数）にすることで、フリッカを発生させず、かつフレームレートが合うように制御する。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
上記図６及び図７に示す駆動制御について、その手順を図８のフローチャートを参照して説明する。なお、図８はフリッカが発生する環境下にある場合の制御であって、フリッカが発生する環境下にない場合は、（ｎ−ｍ）／１００秒にしなくてもフリッカが生じないため、例えば、図１１の太線で示すリセットタイミングで撮像素子の電荷蓄積時間を制御すればよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
そこで第２の実施形態では、駆動方法が切り替わる前のフレームにおいてフリッカが発生する環境下にあるかどうかを判断し、フリッカが発生する環境下にある場合はフリッカ除去を優先させて、図９（ａ）のように読み出し開始時刻を変更する。またフリッカが発生する環境下に無い場合は、図９（ｂ）のように、駆動方法切り替え直前のフレームの読み出しタイミングと、切り替え直後のフレームのリセットタイミングとが重ならないように、電荷蓄積時間を短くする。このとき、駆動切り替え直前の蓄積時間をＴとした場合、駆動切り替え直後の蓄積時間Ｔ’に制限を設けず、フレームレート優先とする。このように制御すると、駆動切り替え直後のフレームの蓄積時間はＡＥによって定まる値より小さくなる。そのため、フレーム間の輝度ばらつきを抑えるために駆動切り替え直後のフレームにおいて、全ラインの画像信号に対して一律のゲイン（例えば、Ｔ／Ｔ’）を掛けることが必要である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
以上の動作により、フリッカの発生しない電荷蓄積時間を設定できない場合には、フリッカが発生する環境下にある場合には読み出し開始時刻を変更することにより、フリッカの発生を抑えることができる。また、フリッカが発生する環境下にない場合には、電荷蓄積時間を１／１００秒の整数倍にしなくてもフリッカは発生しないので、適宜蓄積時間を短くすることによりフレームレートを落とすことなく、駆動方法の切り替えを行うことができる。
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2008054136.tif 000001