(57)【要約】  映像信号に含まれるフリッカ成分を検出するフリッカ検出装置であって、映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出する位置ずれ検出部200と、検出された位置ずれに基づいて複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成する参照フレーム生成部300と、生成された参照フレームと現フレームとに基づいて、当該現フレームにおけるフリッカ成分を検出するフリッカ検出部400と、を有する。
2012147337.tif 000002
【特許請求の範囲】
【請求項１】
映像信号に含まれるフリッカ成分を検出するフリッカ検出装置であって、
前記映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出する位置ずれ検出部と、
検出された前記位置ずれに基づいて前記複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成する参照フレーム生成部と、
生成された前記参照フレームと前記現フレームとに基づいて、当該現フレームにおけるフリッカ成分を検出するフリッカ検出部と、
を有することを特徴とするフリッカ検出装置。
【請求項２】
前記位置ずれ検出部による前記位置ずれの検出結果に基づいて、前記フリッカ検出部による前記現フレームにおけるフリッカ成分の検出動作を制御するフリッカ検出制御部を更に有する、ことを特徴とする請求項１に記載のフリッカ検出装置。
【請求項３】
前記フリッカ検出部は、前記フリッカ成分を検出して、その補正値を出力するものであり、
前記フリッカ検出制御部は、前記フリッカ検出部から出力する前記補正値を制御するものである、
ことを特徴とする請求項２に記載のフリッカ検出装置。
【請求項４】
映像信号に含まれるフリッカ成分を検出するフリッカ検出方法であって、
前記映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出するステップと、
検出された前記位置ずれに基づいて前記複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成するステップと、
生成された前記参照フレームと前記現フレームとに基づいて、当該現フレームにおけるフリッカ成分を検出するステップと、
を含むことを特徴とするフリッカ検出方法。
【請求項５】
映像信号に含まれるフリッカ成分を検出するフリッカ検出プログラムであって、
前記映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出する機能と、
検出された前記位置ずれに基づいて前記複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成する機能と、
生成された前記参照フレームと前記現フレームとに基づいて、当該現フレームにおけるフリッカ成分を検出する機能と、
をコンピュータに実現させるためのフリッカ検出プログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１１年４月２８日に出願された日本国特許出願２０１１−１０２４２３の優先権を主張するものであり、この先の出願の開示全体を、ここに参照のために取り込む。
【技術分野】
【０００２】
本発明は、映像信号に含まれるフリッカ成分を検出するフリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラムに関するものである。
【背景技術】
【０００３】
例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどのＸＹアドレス方式の撮像素子を用いる撮像装置では、蛍光灯などの電源周波数に対応して明るさが変動する照明下で動画撮影を行うと、映像信号の連続するフレーム間あるいは一フレーム内の垂直方向に周期的な明暗、つまり横縞模様のフリッカが発生する。【０００４】
以下、このフリッカの発生原理について説明する。世界の交流電源周波数は、５０Ｈｚと６０Ｈｚとに大別される。周波数が５０Ｈｚの交流電源で蛍光灯などを点灯させた場合、その照明光は、電源電流の振幅が最も大きくなったときに最も明るくなるので、電源周波数の２倍の周波数である１００Ｈｚで光量が変動する。そのため、このように明るさが周期的に変動する蛍光灯の下で、ＣＭＯＳ型撮像素子を用いる撮像装置により動画撮影を行うと、各フレームおよび各ラインにおける光電荷の蓄積タイミングが異なることになる。その結果、入射される光量に対応して、撮像素子の各フレームおよび各ラインの出力が変動する。そして、その出力の変動が、表示画面上で輝度レベルの変動として現れて、フリッカとして認識される。【０００５】
例えば、撮影フレーム周期が１／３０秒（３０Ｈｚ）の場合は、３フレーム周期で照明の明るさの位相が揃うため、３フレーム周期毎に各フレームの輝度レベルが変動する。本明細書では、この輝度レベルの変動を、フレーム間フリッカと呼ぶ。さらに、ＣＭＯＳ型撮像素子の場合は、１ライン毎に光電荷の蓄積タイミングが異なるため、フレーム内ライン毎の輝度が異なり、表示画面上で明暗の横縞模様として認識される。本明細書では、この横縞模様の輝度レベルの変動を、フレーム内フリッカと呼ぶ。このように、フレーム間フリッカおよびフレーム内フリッカが発生すると、撮影画像の画質劣化を引き起こすことになる。【０００６】
このように、明るさが周期的に変動する蛍光灯の下で、ＣＭＯＳ型撮像素子を用いる撮像装置により動画撮影を行うと、各フレームおよび各ラインにおける光電荷の蓄積タイミングが少しずつ異なる。その結果、入射する光量に応じて、撮像素子の各フレームおよび各ラインの出力が変動し、その変動が表示画面上で輝度レベルの変動として現れて、フリッカとして認識される。【０００７】
同様に、電源周波数が６０Ｈｚの場合は、その照明光は電源電流の振幅が最も大きくなったときに最も明るくなるので、電源周波数の２倍の周波数である１２０Ｈｚで光量が変動する。この場合、例えば、撮影フレーム周期が１／３０秒（３０Ｈｚ）とすると、フレーム周期が光量変動周期の整数倍となるので、電源周波数が５０Ｈｚの場合に発生するようなフレーム毎の輝度レベルの変動は原理的には発生しない。【０００８】
しかし、電源周波数が６０Ｈｚ付近で変動する場合は、画面の明暗がフレーム毎に動くように見えるため、画質劣化を引き起こすことになる。さらに、ＣＭＯＳ型撮像素子の場合は、１ライン毎に光電荷の蓄積タイミングが異なるため、そのフリッカ成分が１フレーム内に現れて、表示画面上で明暗の横縞模様として認識されることになり、画質劣化を引き起こすことになる。【０００９】
このようなフリッカの補正方法として、従来、画像処理によりフリッカ成分を軽減あるいは除去する方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平１０−９３８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１においては、パンやチルト撮影時や、手振れまたは被写体ぶれ等によって、撮影された映像信号における連続するフレーム間に大きな画像の位置ずれが生じた場合については、何ら考慮されていない。【００１２】
したがって、かかる点に鑑みてなされた本発明の目的は、フレーム間に大きな画像の位置ずれがある場合でも、フリッカ成分を正確に検出できるフリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成する第１の観点に係るフリッカ検出装置の発明は、映像信号に含まれるフリッカ成分を検出するフリッカ検出装置であって、
前記映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出する位置ずれ検出部と、
検出された前記位置ずれに基づいて前記複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成する参照フレーム生成部と、
生成された前記参照フレームと前記現フレームとに基づいて、当該現フレームにおけるフリッカ成分を検出するフリッカ検出部と、
を有することを特徴とするものである。【００１４】
第２の観点に係る発明は、第１の観点に係るフリッカ検出装置において、
前記位置ずれ検出部による前記位置ずれの検出結果に基づいて、前記フリッカ検出部による前記現フレームにおけるフリッカ成分の検出動作を制御するフリッカ検出制御部を更に有する、ことを特徴とするものである。【００１５】
第３の観点に係る発明は、第２の観点に係るフリッカ検出装置において、
前記フリッカ検出部は、前記フリッカ成分を検出して、その補正値を出力するものであり、
前記フリッカ検出制御部は、前記フリッカ検出部から出力する前記補正値を制御するものである、
ことを特徴とするものである。【００１６】
さらに、上記目的を達成する第４の観点に係るフリッカ検出方法の発明は、映像信号に含まれるフリッカ成分を検出するフリッカ検出方法であって、
前記映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出するステップと、
検出された前記位置ずれに基づいて前記複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成するステップと、
生成された前記参照フレームと前記現フレームとに基づいて、当該現フレームにおけるフリッカ成分を検出するステップと、
を含むことを特徴とするものである。【００１７】
さらに、上記目的を達成する第５の観点に係るフリッカ検出プログラムの発明は、映像信号に含まれるフリッカ成分を検出するフリッカ検出プログラムであって、
前記映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出する機能と、
検出された前記位置ずれに基づいて前記複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成する機能と、
生成された前記参照フレームと前記現フレームとに基づいて、当該現フレームにおけるフリッカ成分を検出する機能と、
をコンピュータに実現させることを特徴とするものである。
【発明の効果】
【００１８】
本発明によると、フレーム間に大きな画像の位置ずれがある場合でも、フレーム間およびフレーム内のフリッカ成分を正確に検出することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施の形態に係るフリッカ検出装置の要部の構成を示す機能ブロック図である。
【図２】図１のフリッカ検出装置の動作を示すフローチャートである。
【図３】本発明の第２実施の形態に係るフリッカ検出装置の要部の構成を示す機能ブロック図である。
【図４】本発明の第３実施の形態に係るフリッカ検出装置を備えるフリッカ検出補正装置の要部の構成を示す機能ブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図を参照して説明する。
【００２１】
（第１実施の形態）
図１は、本発明の第１実施の形態に係るフリッカ検出装置の要部の構成を示す機能ブロック図である。このフリッカ検出装置１００は、位置ずれ検出部２００、参照フレーム生成部３００およびフリッカ検出部４００を備える。なお、これらの各処理部は、ＣＰＵ(中央処理装置)等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、各処理に特化した例えばＤＳＰ（デジタルシグナルプロセッサ）等の専用のプロセッサ、あるいはハードロジックによって構成したりすることができる。また、フリッカ検出装置１００は、図示しないが、入力する映像信号の順次の複数フレームを記憶するメモリや、処理の途中結果を一時的に記憶するための各種メモリを有している。
【００２２】
位置ずれ検出部２００、参照フレーム生成部３００およびフリッカ検出部４００には、例えばＣＭＯＳ型撮像素子（図示せず）の映像信号が並列に入力される。位置ずれ検出部２００は、例えば、公知のテンプレートマッチングによる画像処理によって、現フレームと直前フレームとの間の画像の位置ずれを検出する。なお、位置ずれ検出部２００は、テンプレートマッチング以外の画像処理によって位置ずれを検出してもよい。また、ソフトウェア処理による検出に限らず、ジャイロセンサ等の外部センサを用いて位置ずれを検出してもよいし、外部センサと画像処理とを組合せて位置ずれを検出してもよい。この位置ずれ検出部２００で検出された位置ずれ（量）は、参照フレーム生成部３００に供給される。
【００２３】
参照フレーム生成部３００は、位置ずれ検出部２００からの位置ずれに基づいて、順次のフレーム間において画像の位置ずれがないように、現フレームの画像を直前フレームの画像に合うように補正して、現フレームを最新フレームとする順次の複数フレーム、例えば３フレームの画像を積算平均して参照フレームを生成する。この参照フレーム生成部３００で生成された参照フレームの画像は、フリッカ検出部４００に供給される。
【００２４】
フリッカ検出部４００は、現フレームの画像と参照フレーム生成部３００からの参照フレームの画像とを入力して、公知の手法により現フレームの画像に含まれているフリッカ成分を算出する。このフリッカ検出部４００で算出されたフリッカ成分は、例えば図示しないフリッカ補正部に供給されて、現フレームのフリッカ成分の補正に供される。
【００２５】
図２は、図１のフリッカ検出装置の動作を示すフローチャートである。以下、上記説明と重複するので、簡単に説明する。先ず、位置ずれ検出部２００により、映像信号の現フレームを最新フレームとする順次の複数フレーム間の画像の位置ずれを検出する（ステップＳ２１）。次に、参照フレーム生成部３００により、位置ずれ検出部２００で検出された位置ずれに基づいて複数フレーム間の画像の位置ずれを補正して、該補正された複数フレームに基づいて参照フレームを作成する（ステップＳ２２）。その後、フリッカ検出部４００により、現フレームと参照フレーム生成部３００で生成された参照フレームとに基づいて、現フレームにおけるフリッカ成分を検出する（ステップＳ２３）。
【００２６】
図２に示したフリッカ検出装置の機能は、記録装置に記録されたフリッカ検出プログラムによりコンピュータに実行させることで実現してもよい。ここで、上記のフリッカ検出プログラムを記録したプログラム記録装置として、例えばＣＤ−Ｒ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＢＤ−ＲＯＭ、ＵＳＢメモリ、メモリカード、ハードディスク等を用いることができる。
【００２７】
このように、本実施の形態に係るフリッカ検出装置１００では、現フレームと直前フレームとの間の画像の位置ずれを検出し、その検出した位置ずれを補正してから順次の複数フレームを積算平均して参照フレームを生成している。したがって、入力する映像信号の連続するフレーム間に、パンやチルト撮影、手振れまたは被写体ぶれ等によって大きな画像の位置ずれが生じている場合でも、正確な参照フレームを生成することができる。これにより、参照フレームと現フレームとから、現フレームのフリッカ成分を正確に検出することができる。
【００２８】
（第２実施の形態）
図３は、本発明の第２実施の形態に係るフリッカ検出装置の要部の構成を示す機能ブロック図である。このフリッカ検出装置１１０は、図１に示したフリッカ検出装置１００において、フリッカ検出制御部５００を付加したものである。したがって、図１に示した構成要素と同一構成要素には、同一参照符号を付して、その説明を省略する。
【００２９】
フリッカ検出制御部５００は、位置ずれ検出部２００による位置ずれの検出結果に基づいて、フリッカ検出部４００による現フレームにおけるフリッカ成分の検出動作を制御する。つまり、位置ずれ検出部２００は、連続フレーム間において被写体の一部のみが移動した場合、水平垂直方向以外の方向に画像が移動の場合、複数フレーム間で映像シーンがチェンジした場合、フレームの画像のコントラストが低い場合、画像に規則的な被写体が多く存在する場合などに、位置ずれが検出されない場合がある。このような場合、位置ずれがないとして、参照フレーム生成部３００において生成される参照フレームに基づいて現フレームのフリッカ成分の検出処理を実行すると、間違ったフリッカ成分が検出される場合がある。
【００３０】
そこで、本実施の形態では、位置ずれ検出部２００においてフレーム間の位置ずれが検出されない場合、フリッカ検出制御部５００により、フリッカ検出部４００において現フレームのフリッカ成分を検出しないように制御する。これにより、フリッカ成分の誤検出を回避することができる。
【００３１】
（第３実施の形態）
図４は、本発明の第３実施の形態に係るフリッカ検出装置を備えるフリッカ検出補正装置の要部の構成を示す機能ブロック図である。このフリッカ検出補正装置１２０は、図３に示したフリッカ検出装置１１０にフリッカ補正部６００を付加して、フリッカ検出装置１１０により検出されたフリッカ成分に基づいて、フリッカ補正部６００により入力する映像信号を補正するものである。なお、ここでは、ＣＭＯＳ型撮像素子等からなる画像センサ７００からフリッカ検出補正装置１２０に映像信号が入力されるものとする。
【００３２】
図４において、位置ずれ検出部２００は、ＲＡＷサムネイル生成部２１０、ＲＡＷサムネイルメモリ２２０および位置ずれ算出部２３０を備える。ＲＡＷサムネイル生成部２１０は、画像センサ７００からの順次のフレームのＲＡＷデータからＲＡＷサムネイルを生成する。ＲＡＷサムネイルメモリ２２０は、ＲＡＷサムネイル生成部２１０で生成される順次のフレームのＲＡＷサムネイルを複数フレーム分記憶する。ここでは、現フレームＦｎ、一つ前のフレームＦｎ−１、二つ前のフレームＦｎ−２の３フレーム分のＲＡＷサムネイルを記憶するものとする。
【００３３】
ＲＡＷサムネイルメモリ２２０に記憶された現フレームＦｎのＲＡＷサムネイルは、位置ずれ算出部２３０に供給されるとともに、参照フレーム生成部３００およびフリッカ検出部４００に供給される。また、ＲＡＷサムネイルメモリ２２０に記憶された一つ前のフレームＦｎ−１のＲＡＷサムネイルは、位置ずれ算出部２３０に供給されるとともに、参照フレーム生成部３００に供給され、二つ前のフレームＦｎ−２のＲＡＷサムネイルは、参照フレーム生成部３００に供給される。
【００３４】
位置ずれ算出部２３０は、現フレームＦｎのＲＡＷサムネイルと一つ前のフレームＦｎ−１のＲＡＷサムネイルとの間の位置ずれを、第１実施の形態で説明したと同様にして検出し、その結果を参照フレーム生成部３００およびフリッカ検出制御部５００に供給する。
【００３５】
参照フレーム生成部３００は、位置ずれ検出部２００からの位置ずれに基づいて、順次のフレームのＲＡＷサムネイル間において位置ずれがないように、現フレームＦｎのＲＡＷサムネイルと一つ前のフレームＦｎ−１のＲＡＷサムネイルとの間の位置ずれを、第１実施の形態で説明したと同様にして補正する。そして、位置ずれが補正された順次の３フレームのＲＡＷサムネイルに基づいて、参照フレームのＲＡＷサムネイルを生成する。この参照フレームのＲＡＷサムネイルは、フリッカ検出部４００に供給される。
【００３６】
フリッカ検出部４００は、サムネイルＯＢ補正部４１０、ライン方向加算平均部４２０、画素選択部４３０、ラインゲイン算出部４４０、ゲイン平滑化部４５０およびゲイン補間生成部４６０を有する。サムネイルＯＢ補正部４１０は、入力する現フレームのＲＡＷサムネイルおよび参照フレームのＲＡＷサムネイルのＯＢ（オプティカルブラック）、すなわち画像センサ７００の暗電流を補正する。
【００３７】
サムネイルＯＢ補正部４１０でＯＢ補正された現フレームおよび参照フレームの各ＲＡＷサムネイルは、ライン方向加算平均部４２０、画素選択部４３０およびラインゲイン算出部４４０に供給される。ライン方向加算平均部４２０は、入力される現フレームおよび参照フレームの各ＲＡＷサムネイルのライン毎の画素値の加算平均を算出して、その算出結果を画素選択部４３０に供給する。
【００３８】
画素選択部４３０は、サムネイルＯＢ補正部４１０からの現フレームおよび参照フレームの各ＲＡＷサムネイルと、ライン方向加算平均部４２０からの現フレームおよび参照フレームの各ＲＡＷサムネイルのライン毎の画素値の加算平均とに基づいて、フリッカの影響を受けている画素を選択する。つまり、連続フレーム間において被写体の一部のみが移動した場合、水平垂直方向以外の方向に画像が移動の場合、複数フレーム間で映像シーンがチェンジした場合、フレームの画像のコントラストが低い場合、画像に規則的な被写体が多く存在する場合など、の順次のフレームにおいて位置ずれが検出されないような画素を除去して、フリッカの影響を受けている画素を選択する。
【００３９】
この画素選択部４３０における画素選択処理は、例えば、ライン毎に現フレームの画素値加算平均値と参照フレームとを乗算して当該ラインの最大値および最小値を算出し、対応するラインの参照フレームの画素値加算平均値と現フレームとの乗算結果が、上記最大値と最小値との間にある画素を選択する。この選択された画素の位置情報は、ラインゲイン算出部４４０に供給される。
【００４０】
ラインゲイン算出部４４０は、サムネイルＯＢ補正部４１０からの現フレームおよび参照フレームの各ＲＡＷサムネイルから、画素選択部４３０で選択された画素の画素値を抽出して、ライン毎にフリッカを補正するためのゲインを算出する。つまり、ライン毎に、現フレームの画素値を参照フレームの画素値に合わせるためのゲインを算出する。この算出されたライン毎のゲインは、ゲイン平滑化部４５０に供給される。
【００４１】
ゲイン平滑化部４５０は、ラインゲイン算出部４４０からのライン毎のゲインを、ラインと直交する方向に平滑化処理して、その結果をゲイン補間生成部４６０に供給する。ゲイン補間生成部４６０は、ゲイン平滑化部４５０からの平滑化処理されたゲインをラインと直交する方向に補間処理して、元フレームと同じライン数のゲインを生成する。また、ゲイン補間生成部４６０は、補間処理したゲインをフリッカ検出制御部５００からの制御信号に基づいて制御する。このゲイン補間生成部４６０で生成されたゲインは、フリッカ補正部６００に補正値として供給される。
【００４２】
一方、フリッカ補正部６００は、ＲＡＷＯＢ補正部６１０とフリッカ補正部６２０とを有する。ＲＡＷＯＢ補正部６１０は、画像センサ７００からの現フレームのＲＡＷデータのＯＢを補正して、そのＯＢ補正されたＲＡＷデータをフリッカ補正部６２０に供給する。そして、フリッカ補正部６２０は、ＯＢ補正された現フレームのＲＡＷデータに、フリッカ検出部４００のゲイン補間生成部４６０からのゲイン（補正値）を乗算することにより、フリッカが補正されたＲＡＷデータを出力する。
【００４３】
本実施の形態では、位置ずれ検出部２００においてフレーム間の位置ずれが検出されない場合、フリッカ検出制御部５００により、フリッカ検出部４００のゲイン補間生成部４６０を制御して、補間処理されたゲインを制御する。例えば、フリッカ補正部６００に供給されるゲインが小さくなるように、補間処理されたゲインに所定の係数を乗じる。あるいは、フリッカ補正部６００に供給されるゲインが段階的に小さくなるように、補間処理されたゲインに乗じる係数を段階的に変化させる。
【００４４】
このように、位置ずれ検出部２００においてフレーム間の位置ずれが検出されない場合に、フリッカを補正するためのゲインを小さくすることにより、効果的にフリッカを補正することが可能となる。しかも、フリッカ検出部４００において、フリッカの影響を受けている画素を選択し、その選択された画素の画素値に基づいてラインのゲインを算出しているので、フリッカの検出精度を高めることができ、より効果的にフリッカを補正することが可能となる。
【００４５】
本発明は、上記実施の形態にのみ限定されるものではなく、発明の趣旨を逸脱しない範囲で種々の変形または変更が可能である。例えば、第２実施の形態において、フリッカ検出制御部５００は、フリッカ検出部４００の制御に加えて、位置ずれ検出部２００で位置ずれが検出されない場合に、参照フレーム生成部３００による参照フレームの生成処理を停止するように制御してもよい。
【符号の説明】
【００４６】
１００，１１０  フリッカ検出装置
１２０  フリッカ検出補正装置
２００  位置ずれ検出部
３００  参照フレーム生成部
４００  フリッカ検出部
５００  フリッカ検出制御部
６００  フリッカ補正部
７００  画像センサ
【図１】
2012147337.tif 000003
【図２】
2012147337.tif 000004
【図３】
2012147337.tif 000005
【図４】
2012147337.tif 000006
【国際調査報告】
2012147337.tif 000007
2012147337.tif 000008
2012147337.tif 000009