(57)【要約】【課題】撮像装置で被写体撮影中に動画を表示する際に、被写体を照明する照明光のフリッカである光源フリッカによる表示画像のちらつきを抑制する。【解決手段】複数種類の読み出しフレームレートの中から所望の読み出しフレームレート［フレーム／秒］で画像信号をフレーム読み出し方式で読み出すことが可能な撮像素子１０４から読み出された画像信号に基づく画像が画像表示部１１６に動画（スルー画）として表示される。ＣＰＵ１２２は、画像信号を解析して光源フリッカの有無と、光源フリッカの周波数［Ｈｚ］とを検出し、画像表示部１１６に表示される動画に光源フリッカが原因で生じる表示フリッカを減ずるために予め備えられている複数の表示フリッカ低減処理方法のうち、読み出しフレームレートの値と、光源フリッカの周波数の値との大小関係に基づいて、表示フリッカ低減処理部１０８で用いるべき処理方法を選択する。【選択図】図１
2009152919.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の読み出しフレームレートの中から所望の読み出しフレームレート［フレーム／秒］で画像信号をフレーム読み出し方式で読み出すことが可能な撮像素子と、
前記画像信号に基づく画像を表示可能な画像表示部と、
前記撮像素子から逐次読み出された画像信号に基づいて前記画像表示部に動画を表示する処理を行う画像信号処理部と、
光源フリッカの有無と、光源フリッカの周波数［Ｈｚ］とを検出する、光源フリッカ検出部と、
前記画像表示部に表示される動画に前記光源フリッカが原因で生じる表示フリッカを減ずるために、予め備えられている複数の表示フリッカ低減処理方法のうち、いずれかの表示フリッカ低減処理方法を用いて前記表示フリッカの低減処理を行うことが可能に構成される表示フリッカ低減処理部と、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］と、前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］との大小関係に基づいて、前記表示フリッカ低減処理部で用いられる表示フリッカ低減処理方法を選択する表示フリッカ低減処理方法選択部と
を有することを特徴とする撮像装置。
【請求項２】
前記表示フリッカ低減処理方法選択部は、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］以上のときには前記撮像素子の蓄積時間ｔ［秒］を前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数に略等しい値
ｔ  ≒  １／ＦＰＳ
とする表示フリッカ低減処理方法を選択し、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］を下回るときには、前記撮像素子の蓄積時間ｔ［秒］を前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉを乗じた値に略等しい値
ｔ  ≒  Ｉ  ×  １／Ｆｒ
とする表示フリッカ低減処理方法を選択することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記表示フリッカ低減処理方法選択部は、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きいときに、
Ａ  ＝  ＦＰＳ  ／  Ｆｒ  ×  ２
で求められるＡの値の小数部を丸めて得られる整数に等しい数のフレームにわたり、前記画像信号、または前記画像信号を処理して得られる画像データを、対応する画素ごとに加算する処理であるフレーム加算処理を行う表示フリッカ低減処理方法を選択することを特徴とする、請求項１または２に記載の撮像装置。
【請求項４】
前記表示フリッカ低減処理方法選択部は、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きいときに、前記撮像素子から相前後してフレーム読み出しして得られる複数の画像それぞれの平均明度値がほぼ一定となるように、前記撮像素子から読み出される画像信号、または当該の画像信号を処理して得られる画像データに対して明度値安定化処理を行う表示フリッカ低減処理方法を選択することを特徴とする、請求項１に記載の撮像装置。
【請求項５】
前記表示フリッカ低減処理部で実行可能な前記複数の表示フリッカ低減処理方法のうち、どの方法を用いるかをユーザが設定可能に構成される表示フリッカ低減処理方法設定部をさらに有することを特徴とする請求項１から４のいずれか１つに記載の撮像装置。
【請求項６】
複数種類の読み出しフレームレートの中から所望の読み出しフレームレート［フレーム／秒］で画像信号をフレーム読み出し方式で読み出すことが可能な撮像素子から、逐次読み出された画像信号に基づいて画像表示部に動画を表示する際に、光源フリッカが原因で前記画像表示部に表示される動画に生じる表示フリッカを、予め備えられる複数の表示フリッカ低減処理方法のうち、選択されたいずれかの表示フリッカ低減処理方法を用いて低減する画像信号処理方法であって、
光源フリッカの有無と、光源フリッカの周波数［Ｈｚ］とを検出することと、
前記複数の表示フリッカ低減処理方法のうち、前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］と前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］とを比較し、その大小関係に基づき、いずれかの表示フリッカ低減処理方法を選択することと
を有することを特徴とする画像信号処理方法。
【請求項７】
前記いずれかの表示フリッカ低減処理方法を選択することは、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］以上のときには前記撮像素子の蓄積時間ｔ［秒］を前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数に略等しい値
ｔ  ≒  １／ＦＰＳ
とする表示フリッカ低減処理方法を選択し、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］を下回るときには、前記撮像素子の蓄積時間ｔ［秒］を前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉを乗じた値に略等しい値
ｔ  ≒  Ｉ  ×  １／Ｆｒ
とする表示フリッカ低減処理方法を選択することを含むことを特徴とする、請求項６に記載の画像信号処理方法。
【請求項８】
前記いずれかの表示フリッカ低減処理方法を選択することは、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きいときに、
Ａ  ＝  ＦＰＳ  ／  Ｆｒ  ×  ２
で求められるＡの値の小数部を丸めて得られる整数に等しい数のフレームにわたり、前記画像信号、または前記画像信号を処理して得られる画像データを、対応する画素ごとに加算する処理であるフレーム加算処理をする表示フリッカ低減処理方法を選択することを特徴とする、請求項６または７に記載の画像信号処理方法。
【請求項９】
前記いずれかの表示フリッカ低減処理方法を選択することは、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］が前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きいときに、前記撮像素子から相前後してフレーム読み出しして得られる複数の画像それぞれの平均明度値がほぼ一定となるように、前記撮像素子から読み出された画像信号、または当該の画像信号を処理して得られる画像データに対して明度値安定化処理をする表示フリッカ低減処理方法を選択することを含むことを特徴とする、請求項６に記載の画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像信号処理方法に関し、蛍光灯などのような、明滅を周期的に繰り返す照明光源で照明された被写体を撮影して動画を表示装置に表示した際に生じる表示フリッカを減じることの可能な撮像装置および表示フリッカを減じるための画像信号処理方法に関する。
【背景技術】
【０００２】
商用交流電源からの電力を得て発光する非インバータ式蛍光灯などのような、電源周波数の２倍の周波数で明滅を繰り返す光源による照明下で被写体を動画撮影すると、撮影中に表示されるモニタ画像、あるいは再生画像がちらついて見えることが知られている。また、デジタルスチルカメラにおいて、撮影中に表示装置に表示されるスルー画（ライブビュー）が照明光の明滅の影響を受け、ちらつきを生じることがある。上述した照明光源の明滅も、明滅する照明光源のもとで撮影をした結果生じるちらつきも、フリッカと称される。本明細書中では、これらを区別する必要がある場合に、照明光源の明滅を光源フリッカ、撮像装置の表示画面上で生じるちらつきを表示フリッカと称する。
【０００３】
上記表示フリッカを低減する技術としては、以下に説明する２つの方法がよく知られている。すなわち、１つの方法は、照明光源の明滅周期に対応（同期）して、画像取り込み時のフレームレート、あるいはシャッタ速度（撮像素子の蓄積時間）を調節する方式である。本明細書中では、この方式を「シャッタ／フレーム補正方式」と称する。もう１つの方法は、撮像素子から出力される画像信号中から周期的な明滅を検出して、その明滅を打ち消すようにゲインを周期的に変化させる方式である。本明細書中ではこれを「ゲイン補正方式」と称する。
【０００４】
上述したシャッタ／フレーム補正方式に属するものとして、特許文献１、特許文献２、特許文献３、および特許文献４に開示されるものがある。これらの特許文献には、光源フリッカの周期に対応して電荷蓄積時間（シャッタ速度）を変化させるものが開示されている。特許文献５には、フレームレートを変化させるものが開示されている。また、特許文献６、特許文献７には、光源フリッカの周期とカメラの垂直同期の周期とに応じて特定の時間の画像を蓄積しておき、その画像中から特定のもののみを選択して出力するものが開示されている。さらに、特許文献８には、放電灯の点灯周期Ｔ以上の時間にわたって撮影して得た複数枚の画像データを用い、画像内の同じ位置の画素ごとに平均をとってフリッカの影響を減ずるものが開示されている。
【０００５】
また、ゲイン補正方式に属するものとして、特許文献９には、映像信号を増幅する際のゲインを適応的に変化させる技術が開示される。特許文献１０には、撮像素子から得られる入力映像信号のスペクトルを抽出し、抽出した成分からフリッカを推定して、フリッカ成分を打ち消すように入力映像信号を処理するものが開示される。また、特許文献１１には、ＭＯＳ型撮像素子等の、フリッカの影響がフィールド内の走査位置によって異なるものとなる撮像素子から出力される信号を水平方向に積分し、その積分値の垂直方向に沿う分布からフリッカ成分を計算し、撮像素子から出力される信号に対して、計算されたフリッカ成分に基づいて補正をするものが開示されている。
【特許文献１】特開平１１−２０５６５８号公報
【特許文献２】特開平７−３３６５８６号公報
【特許文献３】特開平５−１９１７１１号公報
【特許文献４】特開２００６−７４５３０号公報
【特許文献５】特開２００２−１６５１４１号公報
【特許文献６】特開平９−２７０９５０号公報
【特許文献７】特開平１１−２６１８８１号公報
【特許文献８】特開２００４−１７３０１６号公報
【特許文献９】特開平２−２６０９７７号公報
【特許文献１０】特開２００４−２２２２２８号公報
【特許文献１１】特開平１１−１２２５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したシャッタ／フレーム補正方式に関連する技術のうち、特許文献１から７に開示されるものでは、光源フリッカの周波数に合わせたシャッタ速度／蓄積時間での撮像が必要となり、撮像に際しての露光量設定の自由度が減るのに加え、フレームレートを光源フリッカの周波数に合わせて変える必要がある。例えば、光源フリッカの周波数が１００Ｈｚの場合、元来３０ｆｐｓでの読み出しが可能な撮像素子であっても、２０ｆｐｓにまで下げる必要がある。特に撮像素子から出力される信号に画像処理を施して最良の合焦ポイントを見つけ出すコントラスト方式の自動焦点調節（ＡＦ）では、フレームレートが低下するとコントラスト検出のためのサンプリング時間間隔が伸びて合焦完了までに要する時間が長くなる（撮像装置のレスポンスが低下する）ことがある。
【０００７】
また、特許文献８のものは、高いフレームレートで撮像して得られた複数の画像を一時的に蓄積するために高い画像処理負荷が生じ、常に多くのメモリ領域を確保しておくことが必要となる。また、表示フリッカがあまり出ない、あるいは気にならない状況でも表示フリッカ除去の処理が常に行われるため、表示フリッカ除去の処理によって画像の出力レートが低下することが問題となることがある。また、特許文献９から１１に開示されるゲイン補正方式では、画像信号増幅の際のゲインを増すことによりノイズが増すことがある。以上に説明した表示フリッカ低減方法は、ある状況においては一定の効果が得られるものの、ときには表示フリッカ低減処理が原因でカメラの動作レスポンスが低下したり、表示フリッカは低減できてもノイズが目立ったりすることがあった。
【０００８】
本発明は上述した課題に鑑み、なされたもので、被写体を取り巻く照明環境の状況に応じて、その状況に適した処理を行うことにより、撮像装置の動作レスポンスを最大限に維持して撮像装置の操作性を高めつつ、光源フリッカの影響を最小限に抑制可能とすることを目的とする。
【課題を解決するための手段】
【０００９】
（１）  本発明は撮像装置に適用される。そしてこの撮像装置が、
複数種類の読み出しフレームレートの中から所望の読み出しフレームレート［フレーム／秒］で画像信号をフレーム読み出し方式で読み出すことが可能な撮像素子と、
前記画像信号に基づく画像を表示可能な画像表示部と、
前記撮像素子から逐次読み出された画像信号に基づいて前記画像表示部に動画を表示する処理を行う画像信号処理部と、
光源フリッカの有無と、光源フリッカの周波数［Ｈｚ］とを検出する、光源フリッカ検出部と、
前記画像表示部に表示される動画に前記光源フリッカが原因で生じる表示フリッカを減ずるために、予め備えられている複数の表示フリッカ低減処理方法のうち、いずれかの表示フリッカ低減処理方法を用いて前記表示フリッカの低減処理を行うことが可能に構成される表示フリッカ低減処理部と、
前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］と、前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］との大小関係に基づいて、前記表示フリッカ低減処理部で用いられる表示フリッカ低減処理方法を選択するフリッカ低減処理方法選択部と
を有することにより上述した課題を解決する。
（２）  本発明はさらに、複数種類の読み出しフレームレートの中から所望の読み出しフレームレート［フレーム／秒］で画像信号をフレーム読み出し方式で読み出すことが可能な撮像素子から、逐次読み出された画像信号に基づいて画像表示部に動画を表示する際に、光源フリッカが原因で前記画像表示部に表示される動画に生じる表示フリッカを、予め備えられる複数の表示フリッカ低減処理方法のうち、選択されたいずれかの表示フリッカ低減処理方法を用いて低減する画像信号処理方法に適用され、
光源フリッカの有無と、光源フリッカの周波数［Ｈｚ］とを検出することと、
前記複数の表示フリッカ低減処理方法のうち、前記読み出しフレームレートの値ＦＰＳ［フレーム／秒］と前記光源フリッカの周波数の値Ｆｒ［Ｈｚ］とを比較し、その大小関係に基づき、いずれかの表示フリッカ低減処理方法を選択することと
を有することにより上述した課題を解決する。
【発明の効果】
【００１０】
本発明によれば、画像表示部に表示される動画に光源フリッカが原因で生じる表示フリッカを減ずるために、予め備えられている複数の表示フリッカ低減処理方法の中から、読み出しフレームレートの値ＦＰＳ［フレーム／秒］と、光源フリッカの周波数の値Ｆｒ［Ｈｚ］との大小関係に基づいて、表示フリッカ低減処理部で用いられる表示フリッカ低減処理方法を選択する構成を有することにより、被写体を取り巻く環境の光の明るさや光源フリッカの状態に応じて、より効果的な表示フリッカ低減処理方法で表示フリッカを低減することが可能となる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明の実施の形態に係る撮像装置の概略的構成を説明するブロック図である。撮像装置１００は、撮影レンズ１０２と、撮像素子１０４と、画像信号処理部１１２と、タイミング発生部１１４と、画像表示部１１６と、メモリ制御部１１８と、メモリ１２０と、ＣＰＵ１２２と、インターフェース１２６と、記憶媒体１２８と、システムバス１３０と、表示フリッカ低減処理方法設定部１３２とを有する。画像信号処理部１１２は、同時化処理部１０６と、表示フリッカ低減処理部１０８と、画像処理部１１０とを有する。
【００１２】
撮影レンズ１０２は、ＣＣＤあるいはＣＭＯＳイメージセンサで構成される撮像素子１０４の撮像面上に被写体像を形成する。本明細書中では、撮像素子１０４は内部にＣＤＳ、Ａ／Ｄ変換等の処理ブロックを有してディジタルの画像信号を出力可能なＣＭＯＳイメージセンサであるものとして説明をする。
【００１３】
撮像素子１０４から出力されるディジタルの画像信号は、メモリ制御部１１８を介してメモリ１２０に一時的に保管される。メモリ１２０は、画像信号処理部１１２が画像処理を行う際のバッファメモリとしても用いられるので、書き込み・読み出しの速度が速いことが望ましく、例えばＤＲＡＭで構成することが可能である。メモリ１２０へは、システムバス１３０を介して撮像素子１０４、画像信号処理部１１２、ＣＰＵ１２２、画像表示部１１６がアクセス可能に構成される。メモリ制御部１１８は、上述した構成要素からのメモリアクセス要求を調停する機能を有する。
【００１４】
画像信号処理部１１２は、特定用途向けの集積回路（ＡＳＩＣ）等で構成することが可能である。この画像信号処理部１１２は、撮像素子１０４から出力されてメモリ１２０に一時的に保管されたディジタルの画像信号に同時化（デモザイク処理）、ホワイトバランス調整、階調・レベル補正、アンシャープマスク、シェーディング補正等の処理をしてディジタルの画像データを生成するのに加え、以下に説明する３つの処理を含む処理を実行可能に構成される。すなわち、１つは、撮影時にスルー画を生成して画像表示部１１６に表示する処理（スルー画表示処理）である。もう１つは、撮像素子１０４から読み出された画像信号をもとに記録用の画像データを生成し、それを記録する処理（画像記録処理）である。そしてもう１つは、記録された画像データを読み出して、その画像データに基づく画像を画像表示部１１６で表示する処理（再生表示処理）である。上記スルー画表示処理に際して、後で詳しく説明する表示フリッカ低減処理が表示フリッカ低減処理部１０８で必要に応じて実行される。
【００１５】
画像信号処理部１１２が画像記録処理を行う際には、画像信号処理部１１２によって生成された画像データが必要に応じてＪＰＥＧ圧縮され、インターフェース１２６を介して記憶媒体１２８に記録される。この記憶媒体１２８としては様々なものを用いることが可能である。一例として、記憶媒体１２８はフラッシュメモリで構成することが可能で、撮像装置１００に内蔵されるものであっても、撮像装置１００に対して着脱可能に構成されるものであってもよい。
【００１６】
画像表示部１１６は、カラー液晶表示（ＬＣＤ）パネルまたは有機ＥＬ（ＯＥＬ）ディスプレイパネルなどで構成される表示素子１１６Ｄと、画像信号処理部１１２の上述した処理の内容に応じた画像を上記表示素子に表示する処理を行う表示制御部１１６Ｃとを有する。表示素子１１６Ｄとしては、小型のディスプレイパネルに表示される画像を、拡大光学系を介して覗くＥＶＦ（＝Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ）であってもよいし、撮像装置１００の背面や側面等に設けられたモニタ表示パネルであってもよい。あるいは、これらのＥＶＦ、モニタ表示パネルを両方とも有していて、撮影者がどちらを用いるか選択可能に構成されていてもよい。
【００１７】
ＣＰＵ１２２は、撮像装置１００の動作を全体的に統括して制御する機能を有する。例えば、自動露光に係る測光、露光量演算等の一連の動作、フラッシュユニット用メインコンデンサの充電、フラッシュの発光量調節、撮影レンズ１０２のズーム駆動、フォーカシング、撮影者による撮影モードの設定操作受付、画像表示部１１６への制御信号の送出、シャッタ（不図示）の開閉、絞り（不図示）の開度の制御等を行う。ＣＰＵ１２２はまた、画像信号処理部の動作を統括制御する機能を有し、画像処理部１１０に対して上述したスルー画表示処理、画像記録処理、および再生表示処理のいずれかを行うように指令を発する。後述する表示フリッカ低減処理も、画像信号処理部１１２はＣＰＵ１２２からの指令に基づいて実行する。ＣＰＵ１２２はさらに、光源フリッカ検出部１２２ａと表示フリッカ低減処理方法選択部１２２ｂとを有しており、画像信号処理部１１２がスルー画表示の動作を行う際に撮像素子１０４から出力される画像信号中から周期的な輝度の変動を検出して光源フリッカの有無およびフリッカの周波数（電源周波数）を検出して表示フリッカが生じるか否かの判定を行う。これらの光源フリッカ検出部１２２ａおよび表示フリッカ低減処理方法選択部１２２ｂについては、後述するプログラムによって実施される。
【００１８】
ところで、撮像素子１０４は、スルー画を表示する際に、読み出しフレームレートを被写界輝度や撮像素子１０４の感度等に応じて、複数種類の読み出しフレームレートの中から所望の読み出しフレームレート［フレーム／秒］で画像信号をフレーム読み出し方式で読み出すことが可能に構成されている。すなわち、被写界輝度が比較的高い場合、撮影レンズ１０２の設定Ｆ値が小さい場合、あるいは撮像素子１０４の感度が比較的高く設定されている場合には、１フレーム分の画像信号を読み出す前に行われる電荷蓄積の動作に要する時間は短くなる。この場合、１フレーム分の画像信号を得るのに必要な時間は比較的短くなるので、読み出しフレームレートを比較的高く設定することが可能となる。ＣＰＵ１２２は、上述した処理を行う機能に加えて、撮像素子１０４の読み出しフレームレートが現状でどのような値［フレーム／秒］に設定されているか、把握する機能を有している。
【００１９】
システムバス１３０は、上述した構成要素間で制御信号やデータを転送する際に用いられる。タイミング発生部１１４は、撮像素子１０４から画像信号を読み出すタイミングおよび画像表示部１１６の表示素子１１６Ｄ上に表示される画像（動画）の書き換え（表示更新）タイミングを制御する。
【００２０】
以下、画像信号処理部１１２およびＣＰＵ１２２での処理内容を中心に、本発明に係る撮像装置１００について説明をする。図２は、ＣＰＵ１２２で実行されるスルー画表示処理の手順を概略的に示すフローチャートである。図２に示される処理は、撮像装置１００が撮影モードに設定されているときに、ソフトウェアタイマ等によって略一定の周期で呼び出されて繰り返し実行される。あるいは、上記撮影モードに設定されているときにタイミング発生部１１４から発せられる信号に基づいて繰り返し呼び出されて実行されるものであってもよい。
【００２１】
Ｓ２０１においてＣＰＵ１２２は、撮像素子１０４から出力される画像信号をもとに光源フリッカ検出の処理をする。具体的には、ＣＰＵ１２２は撮像素子１０４から上述した読み出しフレームレートで繰り返し読み出されてメモリ１２０に一時的に記憶される画像信号のレベルの時間経過に伴う変動をモニタする。そして、ＣＰＵ１２２は、画像信号中に含まれる被写界輝度変動の周期を検出する。なお、ＣＰＵ１２２によるＳ２０１での光源フリッカ検出処理とは別に、撮像素子１０４から出力された画像信号に対してデモザイク等の処理をして画像データを生成する処理が画像信号処理部１１２内の同時化処理部１０６で実行される。画像信号処理部１１２（同時化処理部１０６）で生成された画像データは、メモリ１２０内に画定されたフレームメモリ領域に記憶される。
【００２２】
ＣＰＵ１２２は、Ｓ２０１で光源フリッカの有無を判定し、光源フリッカがあると判定された場合にはその光源フリッカの周波数（周期）の検出結果に基づき、表示フリッカを生じるか否かの判定をＳ２０２で行う。すなわちＣＰＵ１２２は、商用電源の周波数である、５０Ｈｚあるいは６０Ｈｚの倍の周波数（１００Ｈｚ、１２０Ｈｚ）の信号変動成分が、撮像素子１０４から出力される画像信号中に含まれていることを検出すると、表示フリッカが発生すると判定する。以上のＳ２０１の処理が図１の光源フリッカ検出部１２２ａに対応する。
【００２３】
Ｓ２０２での判定が肯定された場合、すなわち光源フリッカがあると判定されてその周期が特定され、表示フリッカを生じると判定された場合、ＣＰＵ１２２はＳ２０３において表示フリッカ低減処理方法選択の処理を行う。Ｓ２０３における処理については後で詳述する。ＣＰＵ１２２は、続くＳ２０４において、Ｓ２０３で選択された表示フリッカ低減処理方法を用いて表示フリッカ低減処理を行うように、画像信号処理部１１２に指令を発する。画像信号処理部１１２で実行される表示フリッカ低減処理についても後で詳述する。Ｓ２０２での判定が否定された場合にはＳ２０５に分岐する。
【００２４】
Ｓ２０５においてＣＰＵ１２２は、画像信号処理部１１２に画像処理の指令を発する。画像信号処理部１１２内の画像処理部１１０は、ＣＰＵ１２２からの指令を受けて、画像データ（Ｓ２０２での判定が肯定された場合にはＳ２０４で表示フリッカ低減処理がなされた画像データ、Ｓ２０２での判定が否定された場合には表示フリッカ低減処理がなされていない画像データ）にホワイトバランス補正、ガンマ補正等の処理を施す。
【００２５】
Ｓ２０６でＣＰＵ１２２は、画像表示部１１６に画像表示処理の指令を発する。画像表示部内の表示制御部１１６Ｃは、ＣＰＵ１２２から上述した指令を受け、メモリ１２０内に記憶されている表示用画像データに基づく画像を表示素子１１６Ｄに表示する。以上に説明したＳ２０１からＳ２０６の処理を経てＣＰＵ１２２は図２の処理を完了する。
【００２６】
−  第１の実施の形態  −
図３は、本発明の第１の実施の形態に係る撮像装置において、図２のＳ２０３で実行される表示フリッカ低減処理方法選択の処理手順を説明する概略フローチャートである。Ｓ３０１においてＣＰＵ１２２は、撮像素子１０４の読み出しフレームレートの値ＦＰＳ［フレーム／秒］と、Ｓ２０１で検出された光源フリッカの周波数の値Ｆｒ［Ｈｚ］とを比較し、ＦＰＳがＦｒ以上であると判定されるとＳ３０２に進み、ＦＰＳがＦｒを下回っていると判定されるとＳ３０３に進む。
【００２７】
Ｓ３０２においてＣＰＵ１２２は、撮像素子１０４の蓄積時間（電子シャッタの秒時）ｔ［秒］を、撮像素子１０４の読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数に略等しい値とする処理方法を選択する。そしてＣＰＵ１２２は画像信号処理部１１２および画像表示部１１６に対して読み出しフレームレートの値ＦＰＳ［フレーム／秒］は光源フリッカの周波数の値Ｆｒ［Ｈｚ］以上であることを伝える。その結果、表示素子１１６Ｄには、読み出しフレームレートと略等しい表示フレームレートで動画が表示される。この場合、表示フリッカの周波数は光源フリッカの周波数とほぼ等しくなる。そのため、人が正常点灯している蛍光灯を見てもフリッカを殆ど感じないのと同様に、表示素子１１６Ｄに表示される動画像に表示フリッカを感じることは殆ど無い。
【００２８】
Ｓ３０３においてＣＰＵ１２２は、撮像素子１０４の蓄積時間ｔ［秒］を、光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に略等しい値とする処理方法を選択する。そしてＣＰＵ１２２は、画像信号処理部１１２および画像表示部１１６に対して読み出しフレームレートの値ＦＰＳ［フレーム／秒］は光源フリッカの周波数の値Ｆｒ［Ｈｚ］下回っていることを伝える。その結果、表示素子１１６Ｄには、読み出しフレームレートと略等しい表示フレームレート、あるいは予め定められる複数の表示フレームレート（例：６０、３０、１５  フレーム／秒）のうち、設定された蓄積時間ｔの長さに応じて適宜の表示フレームレートで動画が表示される。Ｓ３０３での処理によって、光源フリッカ１周期分の整数倍の時間にわたって蓄積が毎回行われ、フレーム読み出しが行われるので、表示される動画を構成する各フレーム間で光源フリッカが原因の明度の変動が抑制される。このようにして、光源フリッカの影響を抑制することが可能となる。
【００２９】
上述したＳ３０２またはＳ３０３の処理を終えて図３に示される表示フリッカ低減処理方法選択の処理が完了する。なお、以上に説明した処理によって、撮像素子１０４の蓄積時間ｔ［秒］は読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数、またはフリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた時間に固定されてしまう。これによって生じる露光量の過不足は、撮影レンズ１０２の絞り（不図示）や、撮像素子１０４で設定されるゲインを調節することが望ましい。
【００３０】
ＣＰＵ１２２によって実行される上述した表示フリッカ低減処理方法選択の処理によって撮像素子１０４の蓄積時間ｔ［秒］が決定される様子を図４に示す。図４の（ａ）は、光源フリッカの周波数が１００Ｈｚ（電源周波数が５０Ｈｚ）の場合の例を、（ｂ）は、光源フリッカの周波数が１２０Ｈｚ（電源周波数が６０Ｈｚ）の場合の例を示す。図４（ａ）において、読み出しフレームレートの値ＦＰＳが２４０、１８０、１２０［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１００以上の場合には、それぞれの読み出しフレームレートに対応して蓄積時間ｔは１／２４０秒、１／１８０秒、１／１２０秒、すなわち読み出しフレームレートの値の逆数に設定される。一方、読み出しフレームレートの値ＦＰＳが９０、６０、４５［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１００を下回る場合には、蓄積時間ｔは光源フリッカの周波数の値１００［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値である１／１００秒、１／５０秒に設定される。なお、図４（ａ）においては、低輝度時の蓄積時間を１／５０［秒］とする例までしか示していないが、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には蓄積時間を１／２５［秒］、１／１２．５［秒］、…といった長さに設定することができる。
【００３１】
図４（ｂ）において、読み出しフレームレートの値ＦＰＳが２４０、１８０、１２０［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１２０以上の場合には、それぞれの読み出しフレームレートに対応して蓄積時間ｔは１／２４０秒、１／１８０秒、１／１２０秒、すなわち読み出しフレームレートの値の逆数に設定される。一方、読み出しフレームレートの値ＦＰＳが９０、６０、４５［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１２０を下回る場合には、蓄積時間ｔは光源フリッカの周波数の値１２０［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値である１／１２０秒、１／６０秒に設定される。図４（ｂ）に示すケースにおいても、図４（ａ）を参照して説明したのと同様に、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には蓄積時間を１／３０［秒］、１／１５［秒］、…といった長さに設定することができる。
【００３２】
以上に説明したように、第１の実施の形態に係る撮像装置によれば、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］以上の場合には、撮像素子１０４での蓄積時間ｔ［秒］を読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数にほぼ等しい値とする処理方法を選択する。また、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］を下回る場合には、撮像素子１０４での蓄積時間ｔ［秒］を光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値にほぼ等しい値とする処理方法を選択する。このように表示フリッカ低減処理方法を選択することにより、被写界輝度の高低に応じて撮像装置１００の動作のレスポンス（オートフォーカス動作、動く被写体に対するスルー画像の応答性等）を最大限に維持しつつ表示フリッカを抑制することが可能となる。
【００３３】
−  第２の実施の形態  −
第２の実施の形態に係る撮像装置では、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［以上］のときにフレーム加算処理を行う。最初にこのフレーム加算処理について、図５−図７を参照して説明する。
【００３４】
図５は、表示フリッカ低減処理部１０８で実行される表示フリッカの低減処理内容を概念的に示すブロック図である。表示フリッカ低減処理部１０８は、光源フリッカ検出部１２２ａでの光源フリッカ検出結果に基づき（図２のＳ２０１、Ｓ２０２における光源フリッカの有無および光源フリッカ周期を検出して表示フリッカの有無を判定する処理結果に基づき）、光源フリッカがあると判定された場合には、同時化処理部１０６で生成され、メモリ１２０に一時的に記憶されている画像データに対してフレーム加算処理をして、表示フリッカ低減処理後の画像データをメモリ１２０に再び一時的に記憶する。一方、光源フリッカが無いと判定された場合には上述したフレーム加算処理は行わない。
【００３５】
上記処理内容について図５を参照して説明する。表示フリッカ低減処理部１０８は、書き込みメモリ選択部３００と、複数のフレームメモリ３０２−１、３０２−２、…、３０２−ｎと、加算平均処理部３０４と、読み出しメモリ選択部３０６と、表示フリッカ低減処理切替部３０８とを有する。複数のフレームメモリ３０２−１、３０２−２、…、３０２−ｎは、メモリ１２０の中に領域が確保されたものとすることが可能である。フレームメモリ３０２−１、３０２−２、…、３０２−ｎの数は、後述するフレーム加算の処理に際して不足することの無いように確保される。
【００３６】
撮像素子１０４からフレーム読み出し方式で画像信号が読み出され、同時化処理部１０６等で処理されて画像データが生成されるのに同期して書き込みメモリ選択部３００は順次切り替えられる。例えば、あるフレーム読み出しに際してフレームメモリ３０２−１に画像データが書き込まれたとすると、次のフレーム読み出しに際してはフレームメモリ３０２−２に画像データが書き込まれる。例えば、後述するフレーム加算の処理に際して３フレーム分の画像データが加算される場合には、フレームメモリとしては、フレームメモリ３０２−１、３０２−２、３０２−３の３つのフレームメモリが用いられる。そして、画像データはフレームメモリ３０２−１、フレームメモリ３０２−２、そしてフレームメモリ３０２−３に書き込まれた後、これに後続するフレーム読み出しに際しては再びフレームメモリ３０２−１に書き込まれる。すなわち、ｐ個（ｐは正の整数）のフレーム加算処理を行う場合にはｐ個のフレームメモリが用いられて、フレームメモリ中には常に直近のｐ回分のフレーム読み出し処理で得られた画像データが書き込まれて記憶される。
【００３７】
加算平均処理部３０４は、光源フリッカ検出部１２２ａ（図１）で光源フリッカがあると判定された場合に、複数のフレームメモリ３０２−１、３０２−２、…３０２−ｎに記憶されている画像データをもとに、加算処理および平均処理を行う。この加算処理および平均処理について説明する。フレームメモリ３０２−１、３０２−２、…のそれぞれには、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）３色のカラープレーンからなる二次元の画像データが記憶されている。言い換えると、画像を形成する画素の一つひとつがＲ、Ｇ、Ｂそれぞれの画素値（例えば０から２５５までの値）を有していて、Ｒ、Ｇ、Ｂの各画素値（Ｒ値、Ｇ値、Ｂ値）の組み合わせによって、ある画素の色が定まる。加算平均処理部３０４は、フレームメモリ３０２−１、３０２−２、…のそれぞれに記憶される二次元の画像データについて、対応する画素ごとに（二次元に配列された画素中の、同じ画素位置の画素ごとに）Ｒ値、Ｇ値、Ｂ値をそれぞれ加算して平均を求める処理を行う。
【００３８】
例えば、ｐフレーム分の画像データについて演算する場合、加算平均処理部３０４は、第１フレーム、第２フレーム、…、第ｐフレームの画像データをもとに、対応する画素ごとに以下の式を用いて平均画素値Ｒxy、Ｇxy、Ｂxyを算出する。
Ｒxy＝（Ｒ１xy＋Ｒ２xy＋…＋Ｒｐxy）／ｐ
Ｇxy＝（Ｇ１xy＋Ｇ２xy＋…＋Ｇｐxy）／ｐ
Ｂxy＝（Ｂ１xy＋Ｂ２xy＋…＋Ｂｐxy）／ｐ
上記の式において添え字ｘｙは、二次元の画像データ中の行、列の値を表す。また、Ｒｐxyは、第ｐフレームの画像データ中、ある画素位置（ｘ，ｙ）におけるＲ値を意味する。同様に、Ｇｐxyは、第ｐフレームの画像データ中、ある画素位置（ｘ，ｙ）におけるＧ値を意味し、Ｂｐxyは、第ｐフレームの画像データ中、ある画素位置（ｘ，ｙ）におけるＢ値を意味する。なお、上述した原色の種類および原色数は一例にすぎず、様々なものを本発明に適用可能である。
【００３９】
表示フリッカ低減処理切替部３０８は、表示フリッカ低減処理をした画像データおよび表示フリッカ低減処理をしない画像データのうち、いずれかを画像処理部１１０に出力する。この表示フリッカ低減処理切替部３０８は、図２のＳ２０２でＣＰＵ１２２が表示フリッカ発生の有無を判定した結果に応じて切り替えられる。すなわち、Ｓ２０２で表示フリッカが発生すると判定されてＳ２０３の処理が実行され、表示フリッカ低減処理をするための方法としてフレーム加算処理が選択された場合には、表示フリッカ低減処理切替部３０８は図５に示されるように加算平均処理部３０４の出力側に切り替えられ、加算平均処理後の画像データがメモリ１２０に一時的に記憶され、この画像データは画像信号処理部１１２で処理される。一方、Ｓ２０２での判定が否定された場合、あるいはＳ２０３の処理でフレーム加算処理が選択されなかったときには、表示フリッカ低減処理切替部３０８は図５に示されるのとは逆の切替状態となって読み出しメモリ選択部３０６の側に接続される。そして、読み出しメモリ選択部３０６によって選択されたフレームメモリ中の画像データが画像処理部１１０で処理される。
【００４０】
表示フリッカ低減処理が行われない場合、フレームメモリは２つ（例えばフレームメモリ３０２−１とフレームメモリ３０２−２）を用いるものとすることができる。そして、同時化処理部１０６で生成されたフレーム画像データがフレームメモリ３０２−１に書き込まれている間、読み出しメモリ選択部３０６はフレームメモリ３０２−２に記憶されているフレーム画像データが画像処理部１１０で処理されるように切り替えられる。次のタイミングにおいては同時化処理部１０６で生成されたフレーム画像データがフレームメモリ３０２−２に書き込まれるように書き込みメモリ選択部３００が切り替えられ、読み出しメモリ選択部３０６はフレームメモリ３０２−１に記憶されているフレーム画像データが画像処理部１１０で処理されるように切り替えられる。
【００４１】
図６は、本発明の第２の実施の形態に係る撮像装置において、図２のＳ２０３で実行される表示フリッカ低減処理方法選択の処理手順を説明する概略フローチャートである。Ｓ６０１においてＣＰＵ１２２は、撮像素子１０４の読み出しフレームレートの値ＦＰＳ［フレーム／秒］と、Ｓ２０１で検出された光源フリッカの周波数の値Ｆｒ［Ｈｚ］とを比較し、ＦＰＳがＦｒよりも大きいと判定されるとＳ６０２に進み、ＦＰＳがＦｒ以下であると判定されるとＳ６０３に進む。
【００４２】
Ｓ６０２においてＣＰＵ１２２は、フレーム加算数Ａを算出する。このフレーム加算数Ａは、図６に示されるように、以下の手順で求めることが可能である。すなわち、ＣＰＵ１２２は、読み出しフレームレートの値ＦＰＳ［フレーム／秒］を光源フリッカの周波数の値Ｆｒ［Ｈｚ］で除算し、２を乗じて得られる結果の小数部分を丸めて整数化したものをフレーム加算数Ａとする。上記小数部分を丸める処理としては、四捨五入が、より良好な表示フリッカ低減効果を得る上で望ましく、以下では四捨五入する例を説明する。しかしながら、切り上げや切り捨てといった処理や、二捨三入、五捨六入などの省略算をして小数部分を丸めることによっても表示フリッカ低減効果を得ることが可能である。
【００４３】
Ｓ６０４においてＣＰＵ１２２は画像信号処理部１１２に対してフレーム加算数Ａの情報を出力するとともにフレーム加算処理による表示フリッカ低減処理を行うように指令を発する。この指令を受信すると画像信号処理部１１２は、フレームメモリ３０２−１、３０２−２、…に記憶されているＡフレーム分の画像データを用いて加算処理を行い、加算処理後の画像データから各画素位置、各カラープレーンの平均画素値を求める処理を行う。
【００４４】
Ｓ６０３においてＣＰＵ１２２は、撮像素子１０４の蓄積時間ｔ［秒］を、光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値に略等しい値とする処理方法を選択する。そしてＣＰＵ１２２は、画像信号処理部１１２および画像表示部１１６に対して読み出しフレームレートの値ＦＰＳ［フレーム／秒］は光源フリッカの周波数の値Ｆｒ［Ｈｚ］以下であることを伝える。その結果、表示素子１１６Ｄには、読み出しフレームレートと略等しい表示フレームレート、あるいは予め定められる複数の表示フレームレート（例：６０、３０、１５  フレーム／秒）のうち、設定された蓄積時間ｔの長さに応じて適宜の表示フレームレートで動画が表示される。Ｓ６０３に分岐した場合の処理によって、光源フリッカ１周期分の正の整数Ｉ倍（Ｉ＝１、２、３、…）の時間にわたって蓄積が毎回行われ、フレーム読み出しが行われるので、表示される動画を構成する各フレーム間で光源フリッカが原因の明度の変動が抑制される。このようにして、光源フリッカの影響を抑制することが可能となる。
【００４５】
上述したＳ６０２またはＳ６０３の処理を終えて図６に示される表示フリッカ低減処理方法選択の処理が完了する。なお、Ｓ６０３に分岐した場合の処理が実行されると、撮像素子１０４の蓄積時間ｔ［秒］は光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた時間に固定されてしまう。これによって生じる露光量の過不足は、撮影レンズ１０２の絞り（不図示）や、撮像素子１０４で設定されるゲインを調節して補正することが望ましい。
【００４６】
図７および図８は、図６のフローチャートに示される処理のＳ６０４で実行されるフレーム加算処理の具体例を示す図である。図７および図８には、フレームレートＦＰＳが１８０［フレーム／秒］に設定されている例が示されており、図７は光源フリッカの周波数が１００［Ｈｚ］の場合を、図８は光源フリッカの周波数が１２０［Ｈｚ］の場合を示している。
【００４７】
図７を参照して説明すると、光源フリッカの周波数Ｆｒは１００［Ｈｚ］であるので、フレーム加算数Ａは、読み出しフレームレートＦＰＳ＝１８０［フレーム／秒］を光源フリッカの周波数Ｆｒ＝１００［Ｈｚ］で除し、２を乗じて求められる値３．６を丸めて（本例においては四捨五入の処理をするものとする）得られる４となる。表示フリッカ低減処理部１０８は、４フレーム分の画像データ、例えばフレーム画像データＦ０１、Ｆ０２、Ｆ０３、Ｆ０４に対して上述したように加算および平均する処理を行い、得られた画像データをフレーム画像データＦ０１ｍとして画像処理部１１０に出力する。続いて表示フリッカ低減処理部１０８は、フレーム画像データＦ０２、Ｆ０３、Ｆ０４、Ｆ０５に対して加算および平均する処理を行い、得られた画像データをフレーム画像データＦ０２ｍとして画像処理部１１０に出力し、以下同様のことを繰り返し行う。
【００４８】
図７の例において、４フレーム分の画像信号の読み出しに要する時間は２２．２２ミリ秒となる。この２２．２２ミリ秒は、光源フリッカの周期である１０ミリ秒で割り切れないので表示フリッカは生じ得る。しかし、４フレーム分のフレーム画像データの加算平均処理をすることにより、処理後のフレーム画像データＦ０１ｍ、Ｆ０２ｍ、Ｆ０３ｍ、…の間で存在する輝度変動は、相対的に減じられるので、表示フリッカを効果的に抑制することが可能となる。加えて、上述した４フレーム分のフレーム加算処理によって、画像データ中のランダムノイズを１／√４（＝０．５倍）に減ずることが可能となる。
【００４９】
図８を参照して説明すると、光源フリッカの周波数Ｆｒは１２０［Ｈｚ］であるので、フレーム加算数Ａは、読み出しフレームレートＹＦＰＳ＝１８０［フレーム／秒］を光源フリッカの周波数Ｆｒ＝１２０［Ｈｚ］で除し、２を乗じて求められる値が３．０となるので、Ａ＝３となる。表示フリッカ低減処理部１０８は、３フレーム分の画像データ、例えばフレーム画像データＦ０１、Ｆ０２、Ｆ０３に対して上述したように加算および平均する処理を行い、得られた画像データをフレーム画像データＦ０１ｍとして画像処理部１１０に出力する。続いて表示フリッカ低減処理部１０８は、フレーム画像データＦ０２、Ｆ０３、Ｆ０４に対して加算および平均をする処理を行い、得られた画像データをフレーム画像データＦ０２ｍとして画像処理部１１０に出力し、以下同様のことを繰り返し行う。図８の例において、３フレーム分の画像信号の読み出しに要する時間は１６．６７ミリ秒となる。この１６．６７ミリ秒は、光源フリッカの周期である８．３３ミリ秒で割り切れる。したがって、３フレーム分のフレーム画像データの加算平均処理をすることにより、処理後のフレーム画像データＦ０１ｍ、Ｆ０２ｍ、Ｆ０３ｍ、…の間で存在する輝度変動は、殆ど無くなり、表示フリッカを効果的に抑制することが可能となる。加えて、上述した３フレーム分のフレーム加算処理によって、画像データ中のランダムノイズを１／√３（＝０．５８倍）に減ずることが可能となる。
【００５０】
ＣＰＵ１２２によって実行される上述した表示フリッカ低減処理方法選択の処理によって、撮像素子１０４の蓄積時間ｔ［秒］の決定やフレーム加算処理を行う／行わないの選択が行われる様子を図９に示す。図９の（ａ）は、光源フリッカの周波数が１００Ｈｚ（電源周波数が５０Ｈｚ）の場合の例を、（ｂ）は、光源フリッカの周波数が１２０Ｈｚ（電源周波数が６０Ｈｚ）の場合の例を示す。図９（ａ）において、読み出しフレームレートの値ＦＰＳが２４０、１８０、１２０［フレーム／秒］の場合、すなわち光源フリッカ周波数の値である１００よりも大きい場合には、それぞれの読み出しフレームレートに対応したフレーム加算数でフレーム加算処理が行われる。このときの蓄積時間ｔは読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数よりも小さい値に設定される。一方、読み出しフレームレートの値ＦＰＳが９０、６０、４５［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１００以下の場合には、蓄積時間ｔは光源フリッカの周波数の値１００［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値である１／１００秒、１／５０秒に設定される。図９（ａ）には、蓄積時間が１／５０［秒］よりも長くなる例については示していないが、図４（ａ）を参照して説明したのと同様に、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には蓄積時間を１／２５［秒］、１／１２．５［秒］、…といった長さに設定することができる。
【００５１】
図９（ｂ）において、読み出しフレームレートの値ＦＰＳが２４０、１８０［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１２０よりも大きい場合には、それぞれの読み出しフレームレートに対応したフレーム加算数でフレーム加算処理が行われる。このときの蓄積時間ｔは読み出しフレームレートの値の逆数よりも小さい値に設定される。一方、読み出しフレームレートの値ＦＰＳが１２０、９０、６０、４５［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１２０以下の場合には、蓄積時間ｔは光源フリッカの周波数の値１２０［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値である１／１２０秒、１／６０秒に設定される。図９（ｂ）には、蓄積時間が１／６０［秒］よりも長くなる例については示していないが、図４（ａ）を参照して説明したのと同様に、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には蓄積時間を１／３０［秒］、１／１５［秒］、…といった長さに設定することができる。
【００５２】
以上に説明したように、第２の実施の形態に係る撮像装置によれば、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きい場合には、フレーム加算による表示フリッカ低減の処理方法を選択する。また、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］以下の場合には、撮像素子１０４での蓄積時間ｔ［秒］を光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値ほぼ等しい値とする処理方法を選択する。このように表示フリッカ低減処理方法を選択することにより、被写界輝度の高低に応じて撮像装置１００の動作のレスポンス（オートフォーカス動作、動く被写体に対するスルー画像の応答性等）を最大限に維持しつつ表示フリッカを抑制することが可能となる。加えて、フレーム加算処理が選択された場合には、画像中のランダムノイズを低減することが可能となる。
【００５３】
−  第３の実施の形態  −
図１０は、本発明の第３の実施の形態に係る撮像装置において、図２のＳ２０３で実行される表示フリッカ低減処理方法選択の処理手順を説明する概略フローチャートである。Ｓ１００１においてＣＰＵ１２２は、撮像素子１０４の読み出しフレームレートの値ＦＰＳ［フレーム／秒］と、Ｓ２０１で検出された光源フリッカの周波数の値Ｆｒ［Ｈｚ］とを比較し、ＦＰＳがＦｒよりも大きいと判定されるとＳ１００２に進み、ＦＰＳがＦｒ以下であると判定されるとＳ１００３に進む。
【００５４】
Ｓ１００２においてＣＰＵ１２２は、明度安定化の処理をするように画像信号処理部１１２に対して指令を発する。ＣＰＵ１２２から当該の指令を受けた画像信号処理部１１２は、撮像素子から相前後してフレーム読み出しして得られる複数の画像それぞれの平均明度値がほぼ一定となるように、撮像素子から読み出される画像信号、または当該の画像信号を処理して得られる画像データに対して明度値安定化処理を行う。
【００５５】
上記の明度値安定化処理について具体的に説明する。図２を参照して説明したＳ２０１の光源フリッカ検出処理によって、次のタイミングで撮像素子１０４から読み出される画像信号が、光源フリッカの影響を受け、直近の読み出し処理によって得られた画像信号と比べてどれくらい明度値が増えるか、あるいは減るかを予測することができる。この明度値増減の予測値が相殺されるように、撮像素子１０４から読み出される画像信号、あるいはこの画像信号を処理して得られる画像データに対して明度値安定化処理を行う。
【００５６】
撮像素子１０４から読み出される画像信号に対して明度値安定化処理を行う場合、ＣＰＵ１２２は上述した明度値増減の予測値を相殺するようなゲイン補正値を画像信号処理部１１２に出力する。画像信号処理部１１２は、次に読み出されるアナログ画像信号に適用されるゲイン補正量の指令値を撮像素子１０４に対して出力する。撮像素子１０４は、画像信号処理部１１２から受信したゲイン補正量の指示値に基づき、アナログ画像信号に適用するゲインを補正する。その結果、撮像素子から相前後してフレーム読み出しして得られる複数の画像それぞれの平均明度値はほぼ一定となる。なお、上述したゲイン補正値は、ＣＰＵ１２２から撮像素子１０４に出力されるものであってもよい。
【００５７】
撮像素子１０４から読み出された画像信号を処理して得られる画像データに対して明度安定化処理を行う場合、ＣＰＵ１２２は画像信号処理部１１２に対して上述した明度増減値の予測値を相殺するような明度値補正情報を出力する。画像信号処理部１１２は、同時化処理部１０６から出力される画像データに対して上記明度値補正情報に基づく明度補正処理を行う。その結果、撮像素子から相前後してフレーム読み出しして得られる複数の画像それぞれの平均明度値はほぼ一定となる。
【００５８】
Ｓ１００１での判定が否定された場合の分岐先であるＳ１００３においてＣＰＵ１２２は、撮像素子１０４の蓄積時間ｔ［秒］を、光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値に略等しい値とする処理方法を選択する。そしてＣＰＵ１２２は、画像信号処理部１１２および画像表示部１１６に対して読み出しフレームレートの値ＦＰＳ［フレーム／秒］は光源フリッカの周波数の値Ｆｒ［Ｈｚ］以下であることを伝える。その結果、表示素子１１６Ｄには、読み出しフレームレートと略等しい表示フレームレート、あるいは予め定められる複数の表示フレームレート（例：６０、３０、１５  フレーム／秒）のうち、設定された蓄積時間ｔの長さに応じて適宜の表示フレームレートで動画が表示される。Ｓ１００３に分岐した場合の処理によって、光源フリッカ１周期分の正の整数Ｉ倍（Ｉ＝１、２、３、…）の時間にわたって蓄積が毎回行われ、フレーム読み出しが行われるので、表示される動画を構成する各フレーム間で光源フリッカが原因の明度の変動が抑制される。このようにして、光源フリッカの影響を抑制することが可能となる。
【００５９】
上述したＳ１００２またはＳ１００３の処理を終えて図１０に示される表示フリッカ低減処理方法選択の処理が完了する。なお、Ｓ１００３に分岐した場合の処理が実行されると、撮像素子１０４の蓄積時間ｔ［秒］は光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた時間に固定されてしまう。これによって生じる露光量の過不足は、撮影レンズ１０２の絞り（不図示）や、撮像素子１０４で設定されるゲインを調節して補正することが望ましい。
【００６０】
ＣＰＵ１２２によって実行される上述した表示フリッカ低減処理方法選択の処理によって、撮像素子１０４の蓄積時間ｔ［秒］の決定や明度安定化処理を行う／行わないの選択が行われる様子を図１１に示す。図１１の（ａ）は、光源フリッカの周波数が１００Ｈｚ（電源周波数が５０Ｈｚ）の場合の例を、（ｂ）は、光源フリッカの周波数が１２０Ｈｚ（電源周波数が６０Ｈｚ）の場合の例を示す。図１１（ａ）において、読み出しフレームレートの値ＦＰＳが２４０、１８０、１２０［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１００よりも大きい場合には、明度安定化の処理が行われる。このときの蓄積時間ｔは読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数よりも小さい値に設定される。一方、読み出しフレームレートの値ＦＰＳが９０、６０、４５［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１００以下の場合には、蓄積時間ｔは光源フリッカの周波数の値１００［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値である１／１００秒、１／５０秒に設定される。図１１（ａ）には、蓄積時間が１／５０［秒］よりも長くなる例については示していないが、図４（ａ）を参照して説明したのと同様に、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には蓄積時間を１／２５［秒］、１／１２．５［秒］、…といった長さに設定することができる。
【００６１】
図１１（ｂ）において、読み出しフレームレートの値ＦＰＳが２４０、１８０［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１２０よりも大きい場合には、明度安定化の処理が行われる。このときの蓄積時間ｔは読み出しフレームレートの値の逆数よりも小さい値に設定される。一方、読み出しフレームレートの値ＦＰＳが１２０、９０、６０、４５［フレーム／秒］の場合、すなわち光源フリッカの周波数の値である１２０以下の場合には、蓄積時間ｔはフリッカの周波数の値１２０［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値である１／１２０秒、１／６０秒に設定される。図１１（ｂ）には、蓄積時間が１／６０［秒］よりも長くなる例については示していないが、図４（ａ）を参照して説明したのと同様に、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には蓄積時間を１／３０［秒］、１／１５［秒］、…といった長さに設定することができる。
【００６２】
第１の実施の形態においては、フレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］以上のときには表示フレームレートを読み出しフレームレートと同じとする例について説明した。これに対し、第３の実施の形態においては、フレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きい場合には、上述したように明度値安定化処理を行う。そのため、表示フレームレートをよみ出しフレームレートよりも低い値、例えば６０［フレーム／秒］、３０［フレーム／秒］としても表示フリッカの発生を抑制することが可能である。
【００６３】
以上に説明したように、第３の実施の形態に係る撮像装置によれば、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きい場合には、表示フリッカを低減するために上述した明度値安定化の処理を選択する。また、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］以下の場合には、撮像素子１０４での蓄積時間ｔ［秒］を光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた値ほぼ等しい値とする処理方法を選択する。このように表示フリッカ低減処理方法を選択することにより、被写界輝度の高低に応じて撮像装置１００の動作のレスポンス（オートフォーカス動作、動く被写体に対するスルー画像の応答性等）を最大限に維持しつつ表示フリッカを抑制することが可能となる。加えて、読み出しフレームレートの値ＦＰＳ［フレーム／秒］が光源フリッカの周波数の値Ｆｒ［Ｈｚ］よりも大きい場合に、表示フレームレートの値を読み出しフレームレートの値よりも小さくしても、表示フリッカの発生を抑制することが可能となる。
【００６４】
以上、第１から第３の実施の形態においては、読み出しフレームレートの値ＦＰＳ［フレーム／秒］と光源フリッカの周波数の値Ｆｒ［Ｈｚ］とのとの大小関係に基づいて、ＣＰＵ１２２が表示フリッカ低減処理部１０８で用いられる表示フリッカ低減処理方法を選択する例について説明した。これに対し、表示フリッカ低減処理部１０８で実行可能な複数の表示フリッカ低減処理方法のうち、どの方法を用いるかをユーザが設定可能に構成されていてもよい。この場合、ユーザは図１に示す表示フリッカ低減処理方法設定部１３２を操作して所望の表示フリッカ低減処理方法を設定することができる。この表示フリッカ低減処理方法設定部１３２は、表示素子１１６Ｄに表示されるメニューを見ながらユーザが撮像装置１００に設けられる操作部材（不図示）を操作するのを検知して、ユーザが選択（設定）した表示フリッカ低減処理方法を表示するものとして実施可能である。
【００６５】
−  第４の実施の形態  −
以上に説明した第１から第３の実施の形態は、読み出しフレームレートの値ＦＰＳ［フレーム／秒］と光源フリッカの周波数の値Ｆｒ［Ｈｚ］とのとの大小関係に基づいて、ＣＰＵ１２２が表示フリッカ低減処理部１０８で用いられる表示フリッカ低減処理方法を選択するものであった。これに対し、第４の実施の形態は、Ｓ２０２（図２）での判定で、表示フリッカが発生すると判定されたときに、以下で説明するように、読み出しフレームレートの値ＦＰＳ［フレーム／秒］を光源フリッカの周波数の値Ｆｒ［Ｈｚ］以下に設定するものである。このときに、読み出しフレームレートの値ＦＰＳ［フレーム／秒］と光源フリッカの周波数の値Ｆｒ［Ｈｚ］との大小関係は問わない。
【００６６】
図１２は、本発明の第１の実施の形態に係る撮像装置において、図２のＳ２０３で実行される表示フリッカ低減処理方法選択の処理手順を説明する概略フローチャートである。Ｓ１２０１においてＣＰＵ１２２は、撮像素子１０４の読み出しフレームレートの値ＦＰＳ［フレーム／秒］を、光源フリッカの周波数の値Ｆｒ［Ｈｚ］以下となるように設定する。続くＳ１２０２においてＣＰＵ１２２は、撮像素子１０４の蓄積時間（電子シャッタの秒時）ｔ［秒］を、撮像素子１０４の読み出しフレームレートの値ＦＰＳ［フレーム／秒］の逆数に略等しい値に設定する。
【００６７】
上述したＳ１２０１、Ｓ１２０２の処理を終えて図１２に示される表示フリッカ低減処理方法選択の処理が完了する。なお、以上に説明した処理によって、撮像素子１０４の蓄積時間ｔ［秒］は光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた時間に固定されてしまう。これによって生じる露光量の過不足は、撮影レンズ１０２の絞り（不図示）や、撮像素子１０４で設定されるゲインを調節することが望ましい。
【００６８】
ＣＰＵ１２２によって実行される上述した表示フリッカ低減処理方法選択の処理によって撮像素子１０４の読み出しフレームレートＦＰＳ［フレーム／秒］および蓄積時間ｔ［秒］が決定される様子を図１３に示す。図１３の（ａ）は、光源フリッカの周波数が１００Ｈｚ（電源周波数が５０Ｈｚ）の場合の例を、（ｂ）は、光源フリッカの周波数が１２０Ｈｚ（電源周波数が６０Ｈｚ）の場合の例を示す。
【００６９】
図１３（ａ）において、読み出しフレームレートの値ＦＰＳ［フレーム／秒］は被写界輝度が下がるにつれて９０［フレーム／秒］から６０［フレーム／秒］、そして４５［フレーム／秒］へと変化しているが、いずれも光源フリッカの周波数の値である１００［Ｈｚ］以下の値となっている。また、撮像素子１０４の蓄積時間ｔ［秒］は被写界輝度が下がるにつれて１／１００［秒］から１／５０［秒］へと、変化している。これらの蓄積時間１／１００［秒］、１／５０［秒］は、光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じて求められる値となっている。
【００７０】
図１３（ａ）には、フレームレートが４５［フレーム／秒］よりも小さくなる例、および蓄積時間が１／５０［秒］よりも長くなる例については示していない。しかし、図４（ａ）を参照して説明したのと同様に、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には、フレームレートを３０［フレーム／秒］、１５［フレーム／秒］と云った値に設定することができ、また、蓄積時間を１／２５［秒］、１／１２．５［秒］、…といった長さに設定することができる。
【００７１】
図１３（ｂ）において、読み出しフレームレートの値ＦＰＳ［フレーム／秒］は被写界輝度が下がるにつれて１２０［フレーム／秒］から９０［フレーム／秒］、そして６０［フレーム／秒］、４５［フレーム／秒］へと変化しているが、いずれも光源フリッカの周波数の値である１２０［Ｈｚ］以下の値となっている。また、撮像素子１０４の蓄積時間ｔ［秒］は被写界輝度が下がるにつれて１／１２０［秒］から１／６０［秒］へと、変化している。これらの蓄積時間１／１２０［秒］、１／６０［秒］は、光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じて求められる値となっている。
【００７２】
図１３（ｂ）には、フレームレートが４５［フレーム／秒］よりも小さくなる例、および蓄積時間が１／６０［秒］よりも長くなる例については示していない。しかし、図４（ａ）を参照して説明したのと同様に、被写界輝度がさらに低下した場合や撮像素子１０４の等価ＩＳＯ感度が低く設定された場合には、フレームレートを４５［フレーム／秒］、３０［フレーム／秒］、１５［フレーム／秒］と云った値に設定することができ、また、蓄積時間を１／３０［秒］、１／１５［秒］、…といった長さに設定することができる。
【００７３】
以上に説明した第４の実施の形態に係る撮像装置によれば、表示フリッカが発生すると判定される場合に読み出しフレームレートの値ＦＰＳ［フレーム／秒］を光源フリッカの周波数の値Ｆｒ［Ｈｚ］以下に設定し、撮像素子１０４の蓄積時間ｔ［秒］を光源フリッカの周波数の値Ｆｒ［Ｈｚ］の逆数に正の整数Ｉ（Ｉ＝１、２、３、…）を乗じた時間に設定する。このように読み出しフレームレートおよび蓄積時間を設定することにより、表示フリッカを抑制することが可能となる。
【００７４】
第４の実施の形態で説明した表示フリッカ低減処理の方法も、表示フリッカ低減処理部１０８で実行可能な複数の表示フリッカ低減処理方法の１つとして備えられていて、第３の実施の形態の最後で説明したように、どの方法を用いるかをユーザが設定可能に構成されていてもよい。
【産業上の利用可能性】
【００７５】
本発明は、デジタルスチルカメラや、デジタルビデオカメラ等の撮像装置に利用することが可能である。
【図面の簡単な説明】
【００７６】
【図１】本発明が適用される撮像装置の内部構成を概略的に示すブロック図である。
【図２】撮像装置内で実行されるスルー画表示処理を説明する概略フローチャートである。
【図３】本発明の第１の実施の形態に係る撮像装置における表示フリッカ低減処理方法選択の手順を説明する概略フローチャートである。
【図４】本発明の第１の実施の形態に係る撮像装置において、光源フリッカの周波数と読み出しフレームレートとの関係に基づいて設定される、撮像素子の蓄積時間の例を示す図であり、（ａ）は光源フリッカの周波数が１００Ｈｚの例を、（ｂ）は光源フリッカの周波数が１２０Ｈｚの例を示す図である。
【図５】本発明の第２の実施の形態に係る撮像装置が有する表示フリッカ低減処理部の概略的構成を説明するブロック図である。
【図６】本発明の第２の実施の形態に係る撮像装置における表示フリッカ低減処理方法選択の手順を説明する概略フローチャートである。
【図７】本発明の第２の実施の形態に係る撮像装置における、光源フリッカの周波数が１００Ｈｚ、読み出しフレームレートが１８０［フレーム／秒］の場合の、フレーム加算による表示フリッカ低減処理を説明するタイムチャートである。
【図８】本発明の第２の実施の形態に係る撮像装置における、光源フリッカの周波数が１２０Ｈｚ、読み出しフレームレートが１８０［フレーム／秒］の場合の、フレーム加算による表示フリッカ低減処理を説明するタイムチャートである。
【図９】本発明の第２の実施の形態に係る撮像装置において、光源フリッカの周波数と読み出しフレームレートとの関係に基づいて設定される、撮像素子の蓄積時間およびフレーム加算数の例を示す図であり、（ａ）は光源フリッカの周波数が１００Ｈｚの例を、（ｂ）は光源フリッカの周波数が１２０Ｈｚの例を示す図である。
【図１０】本発明の第３の実施の形態に係る撮像装置における表示フリッカ低減処理方法選択の手順を説明する概略フローチャートである。
【図１１】本発明の第３の実施の形態に係る撮像装置において、光源フリッカの周波数と読み出しフレームレートとの関係に基づいて設定される、撮像素子の蓄積時間および明度安定化処理の組み合わせ例を示す図であり、（ａ）は光源フリッカの周波数が１００Ｈｚの例を、（ｂ）は光源フリッカの周波数が１２０Ｈｚの例を示す図である。
【図１２】本発明の第４の実施の形態に係る撮像装置における表示フリッカ低減処理方法選択の手順を説明する概略フローチャートである。
【図１３】本発明の第４の実施の形態に係る撮像装置において、表示フリッカが発生すると判定された場合に設定される、撮像素子の読み出しフレームレートおよび蓄積時間の組み合わせ例を示す図であり、（ａ）は光源フリッカの周波数が１００Ｈｚの例を、（ｂ）は光源フリッカの周波数が１２０Ｈｚの例を示す図である。
【符号の説明】
【００７７】
１００  撮像装置
１０２  撮影レンズ
１０４  撮像素子
１０６  同時化処理部
１０８  表示フリッカ低減処理部
１１０  画像処理部
１１２  画像信号処理部
１１４  タイミング発生部
１１６  画像表示部
１１６Ｃ  表示制御部
１１６Ｄ  表示素子
１１８  メモリ制御部
１２０  メモリ
１２２  ＣＰＵ
１２２ａ  光源フリッカ検出部
１２２ｂ  表示フリッカ低減処理方法選択部
１２６  インターフェース
１２８  記憶媒体
１３０  システムバス
１３２  表示フリッカ低減処理方法設定部
３００  書き込みメモリ選択部
３０２  フレームメモリ
３０４  加算平均処理部
３０６  読み出しメモリ選択部
３０８  表示フリッカ低減処理切替部
【図１】
2009152919.tif 000003
【図２】
2009152919.tif 000004
【図３】
2009152919.tif 000005
【図４】
2009152919.tif 000006
【図５】
2009152919.tif 000007
【図６】
2009152919.tif 000008
【図７】
2009152919.tif 000009
【図８】
2009152919.tif 000010
【図９】
2009152919.tif 000011
【図１０】
2009152919.tif 000012
【図１１】
2009152919.tif 000013
【図１２】
2009152919.tif 000014
【図１３】
2009152919.tif 000015