(57)【要約】【課題】撮像画像に含まれるフリッカ成分を高精度に推定し、推定したフリッカ成分を信号処理によって撮像画像から確実に除去することが可能な技術を提供する。【解決手段】フリッカ低減装置１は、フレーム周波数ｆＣａｍが照明周波数ｆＬより大きい撮像装置Ｃａｍで撮像された撮像画像に含まれるフリッカ成分を除去したフリッカ低減画像を生成するものであり、撮像画像に含まれるフリッカ成分を推定するフリッカ成分推定手段１１と、フリッカ成分推定手段１１により推定されたフリッカ成分と撮像画像との差分を取ることで、撮像画像からフリッカ成分を除去したフリッカ低減画像を生成するフリッカ成分除去手段１２とを備える。【選択図】図１
2015192345.tif 000002
【特許請求の範囲】
【請求項１】
フレーム周波数が照明周波数より大きい撮像装置で撮像された撮像画像に含まれるフリッカ成分を低減するフリッカ低減装置であって、
フレーム番号ｎ（１≦ｎ≦Ｎ）の前記撮像画像をＩ（ｎ）とし、前記フリッカ成分の周波数をｆｆとし、前記フレーム周波数をｆＣａｍとし、前記照明周波数をｆＬとしたときに、前記フリッカ成分ｆ（ｎ）を
【数１】
2015192345.tif 000013
により推定するフリッカ成分推定手段と、
前記フリッカ成分推定手段により推定された前記フリッカ成分と前記撮像画像との差分を取ることで、前記撮像画像から前記フリッカ成分を除去したフリッカ低減画像を生成するフリッカ成分除去手段とを備えるフリッカ低減装置。
【請求項２】
コンピュータを、請求項１に記載のフリッカ低減装置として機能させるためのフリッカ低減プログラム。
【請求項３】
フレーム周波数が照明周波数より大きい撮像装置で撮像された撮像画像に含まれるフリッカ成分を低減するフリッカ低減システムであって、
照明光の強度を時系列に沿って測定し、測定時間内における前記照明光の強度の変化を示す波形を出力する受光素子と、
前記受光素子からの出力波形を入力し、この出力波形に基づいて、前記照明周波数を推定する照明周波数推定装置と、
前記照明周波数推定装置によって推定された前記照明周波数が、前記撮像装置の既知の前記フレーム周波数よりも小さいか否かを比較判定する周波数比較判定手段と、前記周波数比較判定手段によって前記照明周波数が前記フレーム周波数よりも小さいと判定された場合、
フレーム番号ｎ（１≦ｎ≦Ｎ）の前記撮像画像をＩ（ｎ）とし、前記フリッカ成分の周波数をｆｆとし、前記フレーム周波数をｆＣａｍとし、前記照明周波数をｆＬとしたときに、前記フリッカ成分ｆ（ｎ）を
【数２】
2015192345.tif 000014
により推定するフリッカ成分推定手段と、前記フリッカ成分推定手段により推定された前記フリッカ成分と前記撮像画像との差分を取ることで、前記撮像画像から前記フリッカ成分を除去したフリッカ低減画像を生成するフリッカ成分除去手段とを備えるフリッカ低減装置とを備えることを特徴とするフリッカ低減システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム周波数（垂直同期周波数）が照明周波数より大きい撮像装置で撮像された撮像画像に含まれるフリッカ成分を低減する技術に関するものである。
【背景技術】
【０００２】
現在、スーパーハイビジョンなどに代表される、高解像度の動画像の撮像が行われるようになってきている。一方、解像度の向上だけでなく、画質の向上を図るために、ハイビジョン（フレーム周波数：６０Ｈｚ）よりも高いフレーム周波数で撮像可能な撮像装置も研究・試作されている。また、ＩＴＵ−Ｒ規格（Ｒｅｃ．ＩＴＵ−Ｒ  ＢＴ．２０２０）では、スーパーハイビジョンのフレーム周波数として１２０Ｈｚが規定されている。
【０００３】
このような高いフレーム周波数で動画像の撮像を行う場合の課題として、フリッカ（画像レベルの時間変動）問題が挙げられる。フリッカは、ハロゲンランプや水銀ランプ、蛍光灯などの輝度変化（光量変化）が大きい照明下において、フレーム周波数が照明周波数より大きい撮像装置で動画像を撮像した場合に生じる。ここで、照明周波数は、照明の電源周波数の２倍となる。例えば、日本においては、東日本の照明の電源周波数は５０Ｈｚである。この場合、撮像装置のフレーム周波数が前記した規格に定められた１２０Ｈｚであると、｛撮像装置のフレーム周波数−（照明の電源周波数×２）｝により、撮像装置のフレーム周波数が照明周波数よりも２０Ｈｚ大きくなるため、撮像画像にフリッカが生じる。
【０００４】
なお、撮像画像にフリッカが生じるような照明は、現在、放送局のスタジオではほとんど使用されていない。しかし、大きなスポーツスタジアムなどでは、主な光源として水銀ランプなどが現在も使用されている。よって、スポーツ中継などを、スーパーハイビジョンカメラなどの高いフレーム周波数で撮像する場合、フリッカが生じることは避けられない。
【０００５】
このようなフリッカは、撮像画像の画質を劣化させる大きな要因となるため、従来から、フリッカを抑制するための様々な手法が試みられている。その一例として、撮像時に１フレーム時間よりも短いシャッタを挿入し、フレーム周波数と照明周波数とを合わせることで、フリッカの発生を防止する手法が提案されている（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−９６５５６号公報
【特許文献２】特開２００３−１８９１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記した手法では、例えば、照明の電源周波数が５０Ｈｚの地域でフレーム周波数が６０Ｈｚのハイビジョンカメラで撮像する場合であれば、撮像時に１／１００秒のシャッタを挿入することで、フリッカの発生を防止することが可能である。しかしながら、例えば、照明の電源周波数が５０Ｈｚの地域でフレーム周波数が１２０Ｈｚのスーパーハイビジョンカメラで撮像する場合、１フレーム時間よりも長いシャッタを挿入することは原理的に不可能であるため、撮像時に１／１００秒のシャッタを挿入することができない。したがって、この場合、前記したように、撮像装置のフレーム周波数と照明周波数とに差が生じることにより、撮像画像にフリッカが生じることは避けられない。
【０００８】
そこで、本発明は、撮像画像に含まれるフリッカ成分を高精度に推定し、推定したフリッカ成分を信号処理によって撮像画像から確実に除去することが可能なフリッカ低減装置およびそのプログラム、ならびに、フリッカ低減システムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記した課題を解決するため、本発明は、フレーム周波数が照明周波数より大きい撮像装置で撮像された撮像画像に含まれるフリッカ成分を低減するフリッカ低減装置であって、フリッカ成分推定手段と、フリッカ成分除去手段とを備える。
【００１０】
かかる構成によれば、フリッカ低減装置は、フリッカ成分推定手段によって、フレーム番号ｎ（１≦ｎ≦Ｎ）の撮像画像をＩ（ｎ）とし、フリッカ成分の周波数をｆｆとし、フレーム周波数をｆＣａｍとし、照明周波数をｆＬとしたときに、フリッカ成分ｆ（ｎ）を次の式により推定する。
【００１１】
【数１】
2015192345.tif 000003
【００１２】
そして、フリッカ低減装置は、フリッカ成分除去手段によって、フリッカ成分推定手段により推定されたフリッカ成分と撮像画像との差分を取ることで、撮像画像からフリッカ成分を除去する。
これにより、フリッカ低減装置は、フリッカ成分を低減した撮像画像を取得することが可能となる。
【００１３】
ここで、本発明のフリッカ低減装置は、コンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスク等のハードウェア資源を、フリッカ成分推定手段、フリッカ成分除去手段として協調動作させるためのフリッカ低減プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【００１４】
また、本発明は、フレーム周波数が照明周波数より大きい撮像装置で撮像された撮像画像に含まれるフリッカ成分を低減するフリッカ低減システムであって、受光素子と、照明周波数推定装置と、フリッカ低減装置とを備えることを特徴とする。
【００１５】
かかる構成によれば、フリッカ低減システムは、受光素子によって、照明光の強度を時系列に沿って測定し、測定時間内における照明光の強度の変化を示す波形を出力する。
また、フリッカ低減システムは、照明周波数推定装置によって、受光素子からの出力波形を入力し、この出力波形に基づいて照明周波数を推定する。
【００１６】
さらに、フリッカ低減システムは、フリッカ低減装置の周波数比較判定手段によって、照明周波数推定装置により推定された照明周波数が、撮像装置の既知のフレーム周波数よりも小さいか否かを比較判定する。そして、フリッカ低減システムは、フリッカ低減装置のフリッカ成分推定手段によって、周波数比較判定手段により照明周波数がフレーム周波数よりも小さいと判定された場合、フレーム番号ｎ（１≦ｎ≦Ｎ）の撮像画像をＩ（ｎ）とし、フリッカ成分の周波数をｆｆとし、フレーム周波数をｆＣａｍとし、照明周波数をｆＬとしたときに、フリッカ成分ｆ（ｎ）を次の式により推定する。
【００１７】
【数２】
2015192345.tif 000004
【００１８】
そして、フリッカ低減システムは、フリッカ低減装置のフリッカ成分除去手段によって、フリッカ成分推定手段により推定されたフリッカ成分と撮像画像との差分を取ることで、撮像画像からフリッカ成分を除去したフリッカ低減画像を生成する。
これによって、フリッカ低減システムは、フリッカ成分を低減した撮像画像を取得することが可能となる。
【発明の効果】
【００１９】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、撮像画像に含まれるフリッカ成分を高精度に推定し、推定したフリッカ成分を信号処理によって撮像画像から除去することで、フリッカ成分を低減した撮像画像を取得することができる。したがって、本発明によれば、フリッカ成分による撮像画像の画質劣化を抑制することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係るフリッカ低減装置の構成を示すブロック図である。
【図２】撮像装置により撮像された撮像画像の出力例を示すグラフである。
【図３】撮像装置により撮像された撮像画像と、本発明の実施形態に係るフリッカ低減装置により推定したフリッカ成分と、本発明の実施形態に係るフリッカ低減装置により生成したフリッカ低減画像の出力例を示すグラフである。
【図４】本発明の実施形態に係るフリッカ低減装置の動作を示すフローチャートである。
【図５】本発明の実施形態に係るフリッカ低減システムの構成を示すブロック図である。
【図６】図５に示す受光素子の出力例を示すグラフである。
【図７】本発明の実施形態に係るフリッカ低減システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、以下の説明において、同一の名称および符号については原則として同一もしくは同質の部材を示しており、詳細説明を適宜省略する。
【００２２】
［フリッカ低減装置の構成］
図１に示すように、本発明の実施形態に係るフリッカ低減装置１は、フレーム周波数が照明周波数より大きい撮像装置Ｃａｍにより撮像された撮像画像Ｉ（ｎ）からフリッカ成分を除去した画像であるフリッカ低減画像を生成するものである。なお、以下では、フレーム周波数を「フレーム周波数ｆＣａｍ」と表記し、照明周波数を「照明周波数ｆＬ」と表記する。また、ここでは、フレーム周波数ｆＣａｍと照明周波数ｆＬは既知であるものとする。
【００２３】
フリッカ低減装置１は、フリッカ成分推定手段１１と、フリッカ成分除去手段１２とを備えている。
フリッカ成分推定手段１１は、撮像装置Ｃａｍにより撮像された撮像画像に含まれるフリッカ成分を推定するものである。なお、以下では、簡単のため、撮像装置Ｃａｍにより撮像された撮像画像がモノクロ画像である場合を例にとって説明する。
ここでは、フリッカ成分が含まれた撮像画像をＩ（ｘ，ｙ，ｎ）と表す。撮像画像Ｉ（ｘ，ｙ，ｎ）は、フリッカ成分が含まれない撮像画像（フリッカ低減画像）Ｊ（ｘ，ｙ，ｎ）とフリッカ成分ｆ（ｘ，ｙ，ｎ）との和と考えられるので、次の式（３）で表される。
【００２４】
【数３】
2015192345.tif 000005
【００２５】
したがって、フリッカ成分推定手段１１は、前記式（３）に示す撮像画像Ｉ（ｘ，ｙ，ｎ）から、この撮像画像Ｉ（ｘ，ｙ，ｎ）に含まれるフリッカ成分ｆ（ｘ，ｙ，ｎ）を推定する。
【００２６】
撮像画像Ｉ（ｘ，ｙ，ｎ）のうち、明るい画像レベルの出力（８０％）が得られている位置（ｘ０，ｙ０）の時間変化出力をＩ（ｎ）とする。フリッカ成分推定手段１１は、例えば、図示しない入力手段を介した指示入力に応じて位置（ｘ０，ｙ０）を指定する。
【００２７】
ここで、図２に示すのは、輝度変化（光量変化）が大きい照明下において、撮像装置Ｃａｍによって動画像を撮像した場合における撮像画像の出力例を示すグラフである。図２に示す例では、撮像装置Ｃａｍのフレーム周波数ｆＣａｍが１２０Ｈｚであるものとする。なお、撮像装置Ｃａｍは、ハイビジョンやスーパーハイビジョンなどの高いフレーム周波数ｆＣａｍで被写体を撮像可能なカメラを想定している。
【００２８】
図２に示すグラフにおいて、横軸は、時間［ｓ］であり、縦軸は、画像レベルを示し、波形は、撮像画像（画像出力）Ｉ（ｎ）を示している。ｎはフレーム番号である。ここでは、従来の撮像装置によって１６階調の画像が撮像されるため、画像レベルが０〜６５５３５で表されるが、図２に示すグラフでは、明るい画像出力が得られている部分（画像レベルが４８０００〜５２５００の部分）のみを表示している。
【００２９】
図２に示すように、撮像画像Ｉ（ｎ）は、画像レベルが、４８７００付近と５１０００付近とを短時間で行ったり来たりする正弦波で表されている。つまり、本来、一定の値が続くべき画像出力に、画像レベル（明るさ、輝度）の時間変動が生じていることがわかる。
図２に示す撮像画像Ｉ（ｎ）が、照明の電源周波数が５０Ｈｚの地域で撮像されたものである場合、照明周波数ｆＬ（照明の電源周波数×２＝１００Ｈｚ）と撮像装置のフレーム周波数ｆＣａｍ（１２０Ｈｚ）とのずれにより生じる画像レベル（明るさ、輝度）の時間変動を表す成分であるフリッカ成分ｆ（ｎ）が含まれていることになる。
このフリッカ成分ｆ（ｎ）は正弦波であり、次の式（４）によって表される。
【００３０】
【数４】
2015192345.tif 000006
【００３１】
前記式（４）において、ｆｆはフリッカ成分ｆ（ｎ）の周波数であり、撮像装置Ｃａｍのフレーム周波数ｆＣａｍ−照明周波数ｆＬで表される。
前記式（４）に示すフリッカ成分ｆ（ｎ）の振幅Ｓおよび位相φが推定できれば、フリッカ成分ｆ（ｎ）を推定することが可能である。しかし、フリッカ成分ｆ（ｎ）の振幅Ｓおよび位相φを推定する演算処理は複雑であり、処理負荷が大きいため現実的でない。そこで、本実施形態に係るフリッカ低減装置１は、演算処理が比較的容易な数式でフリッカ成分ｆ（ｎ）を推定することで、処理負荷を軽減することを可能とした。
【００３２】
具体的には、図１に示すフリッカ成分推定手段１１は、次の式（５）により、フリッカ成分ｆ（ｎ）を推定する。
【００３３】
【数５】
2015192345.tif 000007
【００３４】
前記式（４）に示すように、フリッカ成分ｆ（ｎ）の正弦波の振幅Ｓおよび位相φは、ｓｉｎ関数とｃｏｓ関数とで表されることから、フリッカ成分推定手段１１では、前記式（５）に示すように、振幅Ｓおよび位相φを、ｓｉｎ関数とｃｏｓ関数とに分けて、これらの合成関数として扱うこととした。これによって、フリッカ成分推定手段１１は、前記式（５）に示す係数Ａ，Ｂを求めることで、フリッカ成分ｆ（ｎ）を容易に推定することが可能となる。
【００３５】
なお、前記式（４）における振幅Ｓおよび位相φと、前記式（５）における係数Ａ，Ｂとの関係は、次の式（６）で表される。
【００３６】
【数６】
2015192345.tif 000008
【００３７】
ここで、フリッカ成分ｆ（ｎ）を推定する範囲を、（１≦ｎ≦Ｎ）とする。Ｎは、フリッカ成分ｆ（ｎ）を推定するために用いるフレーム数を表しており、推定する範囲（１≦ｎ≦Ｎ）にフリッカ成分ｆ（ｎ）の１周期の整数倍が入る値に設定される。
【００３８】
ここで、実際に撮像画像（画像出力）Ｉ（ｎ）からフリッカ成分ｆ（ｎ）を推定する場合には、フリッカ成分ｆ（ｎ）に重畳されている直流成分Ｃの影響を差し引く必要がある。この直流成分Ｃは、フリッカ成分ｆ（ｎ）を推定する範囲（１≦ｎ≦Ｎ）の平均値であると考えることができる。
したがって、直流成分Ｃは、次の式（７）のように求められる。
【００３９】
【数７】
2015192345.tif 000009
【００４０】
また、フリッカ成分推定手段１１は、関数Ｉ´（ｎ）＝Ｉ（ｎ）−Ｃとし、関数Ｉ´（ｎ）を前記式（５）に示す関数ｆ（ｎ）にフィッティングさせる。
【００４１】
フリッカ成分推定手段１１は、前記式（５）に示す関数ｆ（ｎ）の係数Ａ，Ｂを、次の式（８）に示すように、関数Ｉ´（ｎ）と、関数Ｉ´（ｎ）のフィッティング対象となる関数ｆ（ｎ）との２乗誤差を最小化する係数で決定する。
【００４２】
【数８】
2015192345.tif 000010
【００４３】
この条件を解析的に解くと、前記式（５）に示す関数ｆ（ｎ）の係数Ａ，Ｂは、次の式（９）のように求められる。
【００４４】
【数９】
2015192345.tif 000011
【００４５】
以上のようにして、フリッカ成分推定手段１１は、前記式（５）に示す関数ｆ（ｎ）の係数Ａ，Ｂをそれぞれ求める。フリッカ成分推定手段１１は、求めた係数Ａ，Ｂを前記式（５）に代入することで、フリッカ成分ｆ（ｎ）を推定する。このようにして推定されたフリッカ成分ｆ（ｎ）は、フリッカ成分除去手段１２に出力される。
【００４６】
フリッカ成分除去手段１２は、フリッカ成分推定手段１１からフリッカ成分の推定結果を入力するとともに、撮像装置Ｃａｍから撮像画像を入力し、撮像画像からフリッカ成分を差し引くことで、フリッカ低減画像を生成するものである。
【００４７】
ここで、フレーム番号ｎの撮像画像Ｉ（ｎ）と、フリッカ成分推定手段１１によって、撮像画像Ｉ（ｎ）に含まれるフリッカ成分ｆ（ｎ）を推定した結果と、フリッカ成分除去手段１２によって、フリッカ成分ｆ（ｎ）と撮像画像Ｉ（ｎ）との差分を取ることで生成したフリッカ低減画像ｅ（ｎ）＝Ｉ（ｎ）−ｆ（ｎ）との関係を表すグラフを図３に示した。なお、図３では、フリッカ成分ｆ（ｎ）と撮像画像Ｉ（ｎ）とフリッカ低減画像ｅ（ｎ）との関係を同じグラフ内で表して分かりやすくするため、便宜上、フリッカ成分ｆ（ｎ）に直流成分Ｃを加算している。
【００４８】
図３に示す例では、Ｎ＝３６とした。つまり、フリッカ成分推定手段１１によって、フレーム周波数１２０Ｈｚで撮像された撮像画像Ｉ（ｎ）の３６フレーム分（撮像時間０．３秒分の撮像画像）を用いて、フリッカ成分ｆ（ｎ）を推定した。そして、フリッカ成分除去手段１２によって、フリッカ成分推定手段１１において撮像時間０．３秒分の撮像画像Ｉ（ｎ）を用いて推定されたフリッカ成分ｆ（ｎ）を、撮像時間１秒分の撮像画像Ｉ（ｎ）に適用してフリッカ低減画像ｅ（ｎ）を生成した。
【００４９】
図３に示すように、撮像画像Ｉ（ｎ）の出力は、画像レベルが４８７００付近と５１０００付近とを短時間で行ったり来たりする正弦波で表されており、画像レベルに時間変動が生じていることが確認できる。一方、図３に示すように、フリッカ成分除去手段１２によって、フリッカ成分推定手段１１により推定されたフリッカ成分ｆ（ｎ）を撮像画像Ｉ（ｎ）から除去した結果であるフリッカ低減画像ｅ（ｎ）は、画像レベルが略一定となっており、画像レベルに時間変動が略生じていないことが確認できる。
【００５０】
ここで、フリッカ成分推定手段１１により推定されたフリッカ成分ｆ（ｎ）は、前記したように、撮像装置Ｃａｍで撮像された実際の撮像画像Ｉ（ｘ，ｙ，ｎ）全体のうち、フリッカ成分ｆ（ｎ）を推定する位置（ｘ０，ｙ０）の時間範囲（１≦ｎ≦Ｎ）分のフレームを用いて求めたものである。
つまり、フリッカ成分推定手段１１により推定されたフリッカ成分ｆ（ｎ）には、実際の撮像画像Ｉ（ｘ，ｙ，ｎ）全体のうち、フリッカ成分ｆ（ｎ）を推定した位置（ｘ０，ｙ０）の時間範囲（１≦ｎ≦Ｎ）内の画像レベルの変動しか反映されていない。
【００５１】
一方で、実際の撮像画像Ｉ（ｘ，ｙ，ｎ）は、画素位置（ｘ，ｙ）に応じて画像レベルが時々刻々と変化する。そのため、フリッカ成分推定手段１１により推定されたフリッカ成分ｆ（ｎ）を、撮像画像Ｉ（ｘ，ｙ，ｎ）の全体に適用してフリッカ低減画像Ｊ（ｘ，ｙ，ｎ）を求めるためには、撮像画像Ｉ（ｘ，ｙ，ｎ）の各画素位置（ｘ，ｙ）の画像レベルに応じた補正係数Ｉ（ｘ，ｙ，ｎ）／Ｃを乗算する必要がある。
【００５２】
具体的には、フリッカ成分除去手段１２は、次の式（１０）により、撮像画像Ｉ（ｘ，ｙ，ｎ）からフリッカ成分ｆ（ｎ）を除去したフリッカ低減画像Ｊ（ｘ，ｙ，ｎ）を求める。
【００５３】
【数１０】
2015192345.tif 000012
【００５４】
次に、図４を参照して、フリッカ低減装置１の動作について説明する。
図４に示すように、フリッカ低減装置１は、フリッカ成分推定手段１１によって、前記式（５）〜（９）を用いて、撮像装置Ｃａｍで撮像された撮像画像Ｉ（ｎ）のフリッカ成分ｆ（ｎ）を推定する（ステップＳ１）。フリッカ低減装置１は、フリッカ成分推定手段１１によって、推定したフリッカ成分ｆ（ｎ）をフリッカ成分除去手段１２に出力する。
【００５５】
そして、フリッカ低減装置１は、フリッカ成分除去手段１２によって、フリッカ成分推定手段１１からフリッカ成分ｆ（ｎ）の推定結果を入力し、前記式（１０）を用いて、撮像装置Ｃａｍで撮像された撮像画像Ｉ（ｘ，ｙ，ｎ）からフリッカ低減画像Ｊ（ｘ，ｙ，ｎ）を生成する（ステップＳ２）。フリッカ低減装置１は、フリッカ成分除去手段１２によって、生成したフリッカ低減画像Ｊ（ｘ，ｙ，ｎ）を外部に出力する。
【００５６】
フリッカ低減装置１は、以上のように動作する。
以上説明した、本発明の実施形態に係るフリッカ低減装置１によれば、フリッカ成分推定手段１１によって、撮像画像に含まれるフリッカ成分を容易に、かつ、高精度に推定することが可能となる。
また、フリッカ低減装置１によれば、フリッカ成分除去手段１２によって、フリッカ成分推定手段１１で推定されたフリッカ成分と撮像画像との差分を取ることで、推定されたフリッカ成分を撮像画像から除去したフリッカ低減画像を生成することができる。
このように、フリッカ低減装置１によれば、撮像画像に含まれるフリッカ成分を信号処理によって低減することができるので、フリッカ成分による撮像画像の画質劣化を抑制することができる。
【００５７】
［フリッカ低減システムの構成］
次に、図５を参照して、本発明の実施形態に係るフリッカ低減システム１００について説明する。
図５に示すように、フリッカ低減システム１００は、フレーム周波数が照明周波数よりも大きい撮像装置Ｃａｍにより撮像された撮像画像から、当該撮像画像に含まれるフリッカ成分を低減したフリッカ低減画像を生成するものであって、フリッカ低減装置１Ａと、受光素子２と、照明周波数推定装置３とを備えている。なお、以下では、フレーム周波数を「フレーム周波数ｆＣａｍ」と表記し、照明周波数を「照明周波数ｆＬ」と表記する。また、ここでは、フレーム周波数ｆＣａｍは既知であり、照明周波数ｆＬは不明であるものとする。
【００５８】
ここで、撮像装置Ｃａｍは、被写体の動画像を撮像するものであって、ここでは、ハイビジョンやスーパーハイビジョンなどの高いフレーム周波数ｆＣａｍで被写体を撮像可能なカメラを指す。
例えば、輝度変化（光量変化）が大きい照明Ｌの下において、フレーム周波数ｆＣａｍが１２０Ｈｚの撮像装置Ｃａｍによって被写体の動画像を撮像した場合、図２に示したような撮像画像（画像出力）Ｉ（ｎ）が得られる。図２に示す撮像画像Ｉ（ｎ）が、照明の電源周波数が５０Ｈｚの地域で撮像されたものである場合、照明周波数ｆＬ（照明の電源周波数×２＝１００Ｈｚ）と撮像装置Ｃａｍのフレーム周波数ｆＣａｍ（１２０Ｈｚ）とのずれにより生じる画像レベル（明るさ、輝度）の時間変動を表す成分であるフリッカ成分ｆ（ｎ）が含まれていることになる。
【００５９】
再び、図５に示すように、フリッカ低減装置１Ａは、フリッカ成分推定手段１１と、フリッカ成分除去手段１２と、周波数比較判定手段１３とを備えている。
フリッカ成分推定手段１１は、後記する周波数比較判定手段１３から照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍより小さい旨の通知を受け取った場合、撮像装置Ｃａｍにより撮像された撮像画像に含まれるフリッカ成分を推定するものである。
【００６０】
フリッカ成分除去手段１２は、フリッカ成分推定手段１１からフリッカ成分の推定結果を入力するとともに、撮像装置Ｃａｍから撮像画像を入力し、撮像画像からフリッカ成分を差し引くことで、フリッカ低減画像を生成するものである。
なお、フリッカ成分推定手段１１およびフリッカ成分除去手段１２については、図１を参照して前記した通りであるので、ここでは詳細な説明を省略する。
【００６１】
周波数比較判定手段１３は、後記する照明周波数推定装置３により推定された照明周波数ｆＬと、撮像装置Ｃａｍの既知のフレーム周波数ｆＣａｍとを比較し、照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍより小さいか否かを判定するものである。周波数比較判定手段１３は、照明周波数ｆＬと撮像装置Ｃａｍのフレーム周波数ｆＣａｍとを比較した結果、照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍより小さい場合、フリッカ成分推定手段１１にその旨を通知する。
【００６２】
受光素子２は、撮像装置Ｃａｍに近接して配置され、撮像環境に設置された照明Ｌから入射した照明光の強度を測定し、測定した照明光の強度を電気信号に変えて出力するセンサである。受光素子２は、ここでは、照明Ｌから入射した照明光の強度に応じて電圧を生じるようになっており、測定時間内における出力電圧の変化を時系列に沿って示す波形を出力する。このような受光素子２は、例えば、一般的なフォトダイオードなどを用いることができる。
【００６３】
ここで、図６に示すのは、照明Ｌがハロゲンランプである場合の受光素子２の出力例を示すグラフである。図６に示すグラフにおいて、横軸は時間［ｓ］であり、縦軸は出力電圧［ｖ］である。受光素子２からの出力波形は、照明周波数推定装置３に出力される。
【００６４】
照明周波数推定装置３は、測定時間内における出力電圧の変化を時系列に沿って示す出力波形を受光素子２から入力し、この出力波形から撮像環境の照明周波数ｆＬを推定するものである。
照明周波数推定装置３は、ここでは、受光素子２から入力した出力波形のピーク間の時間（ピークから次のピークが来るまでの時間）を検出し、検出したピーク間の時間に基づいて照明周波数ｆＬを推定する。例えば、照明周波数推定装置３は、検出したピーク間の時間の逆数を照明周波数ｆＬと推定する。図６に示す出力波形の場合、ピークｐ１−ピークｐ２間の時間が０．０１［ｓ］であるので、照明周波数推定装置３は、照明周波数ｆＬを１００Ｈｚと推定する。照明周波数推定装置３は、推定した照明周波数ｆＬをフリッカ低減装置１Ａに出力する。
【００６５】
［フリッカ低減システムの動作］
次に、図７を参照して、本発明の実施形態に係るフリッカ低減システム１００の動作について説明する。なお、以下では、簡単のため、撮像装置Ｃａｍにより撮像された撮像画像がモノクロ画像である場合を例にとって説明する。
図７に示すように、フリッカ低減システム１００は、受光素子２によって、照明Ｌの光の強度を測定する（ステップＳ１１）。フリッカ低減システム１００は、受光素子２によって、測定時間内における照明光の強度の変化を時系列に沿って表す波形を出力する。
【００６６】
また、フリッカ低減システム１００は、照明周波数推定装置３によって、受光素子２から出力された波形を入力し、この出力波形のピーク間の時間を検出し、検出したピーク間の時間に基づいて照明周波数ｆＬを推定する（ステップＳ１２）。フリッカ低減システム１００は、照明周波数推定装置３によって、推定した照明周波数ｆＬをフリッカ低減装置１Ａに出力する。
【００６７】
さらに、フリッカ低減システム１００は、フリッカ低減装置１Ａの周波数比較判定手段１３によって、照明周波数推定装置３から出力された照明周波数ｆＬと、撮像装置Ｃａｍの既知のフレーム周波数ｆＣａｍとを比較し、照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍより小さいか否かを判定する（ステップＳ１３）。
【００６８】
周波数比較判定手段１３は、照明周波数ｆＬと撮像装置Ｃａｍのフレーム周波数ｆＣａｍとを比較した結果、照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍより小さいと判定した場合（ステップＳ１３でＹｅｓ）、フリッカ成分推定手段１１にその旨を通知する。
【００６９】
一方、フリッカ低減システム１００は、フリッカ低減装置１Ａの周波数比較判定手段１３によって、照明周波数ｆＬと撮像装置Ｃａｍのフレーム周波数ｆＣａｍとを比較した結果、照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍより大きいと判定した場合（ステップＳ１３でＮｏ）、処理を終了する。
【００７０】
続いて、フリッカ低減システム１００は、フリッカ低減装置１Ａのフリッカ成分推定手段１１によって、撮像装置Ｃａｍから撮像画像を入力し、さらに、周波数比較判定手段１３から、照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍより小さい旨の通知を入力すると、前記式（５）〜（９）を用いて、撮像装置Ｃａｍで撮像された撮像画像Ｉ（ｎ）のフリッカ成分ｆ（ｎ）を推定する（ステップＳ１４）。フリッカ低減装置１Ａは、フリッカ成分推定手段１１によって、推定したフリッカ成分ｆ（ｎ）をフリッカ成分除去手段１２に出力する。
【００７１】
そして、フリッカ低減装置１Ａは、フリッカ成分除去手段１２によって、フリッカ成分推定手段１１からフリッカ成分ｆ（ｎ）の推定結果を入力するとともに、撮像装置Ｃａｍから撮像画像を入力し、前記式（１０）を用いて、撮像装置Ｃａｍで撮像された撮像画像Ｉ（ｘ，ｙ，ｎ）からフリッカ低減画像Ｊ（ｘ，ｙ，ｎ）を生成する（ステップＳ１５）。
フリッカ低減システム１００は、以上のように動作する。
【００７２】
以上説明したフリッカ低減システム１００によれば、撮像環境の照明周波数ｆＬが不明である場合に、受光素子２によって、撮像環境の照明Ｌの照明光の強度の時間変化を測定し、照明周波数推定装置３によって、受光素子２による測定結果に基づいて撮像環境の照明周波数ｆＬを推定することができる。
【００７３】
そして、フリッカ低減システム１００によれば、撮像環境の照明周波数ｆＬが不明である場合に、フリッカ低減装置１Ａによって、照明周波数ｆＬが撮像装置Ｃａｍのフレーム周波数ｆＣａｍよりも小さいか否かを比較判定した結果に基づいて、オペレータが、フリッカ低減装置１Ａによるフリッカ低減処理が必要か否かを判断することが可能となる。
【００７４】
具体的には、フリッカ低減システム１００によれば、フリッカ低減装置１Ａによって、照明周波数ｆＬがフレーム周波数ｆＣａｍよりも大きいという判定結果が得られた場合、従来の手法と同様に撮像装置Ｃａｍによる撮像時にシャッタを挿入することでフリッカが生じない撮像画像を取得可能である。よって、オペレータは、フリッカ低減装置１Ａによるフリッカ低減処理が不要であると判断することができる。また、その場合、撮像装置Ｃａｍで撮像された撮像画像に対し、フリッカ低減装置１Ａによるフリッカ低減処理を行う必要がなくなるため、フリッカ低減装置１Ａによる処理負荷を軽減することができる。
【００７５】
なお、本発明は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。
【００７６】
前記した実施形態に係るフリッカ低減装置１は、コンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスク等のハードウェア資源を、フリッカ成分推定手段、フリッカ成分除去手段として協調動作させるためのフリッカ低減プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【００７７】
また、本発明は、前記したフリッカ低減装置１を備える撮像装置として構成してもよい。かかる撮像装置によれば、撮像画像からフリッカ成分を高精度に低減したフリッカ低減画像を生成することができるので、フリッカ成分による撮像画像の画質劣化を抑制することができる。
【００７８】
前記した実施形態に係るフリッカ低減システム１００のフリッカ低減装置１Ａは、コンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスク等のハードウェア資源を、周波数比較判定手段、フリッカ成分推定手段、フリッカ成分除去手段として協調動作させるためのフリッカ低減プログラムによって実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【００７９】
また、前記した実施形態に係るフリッカ低減システム１００は、照明周波数推定装置３によって、受光素子２から出力された出力波形のピーク間の時間に基づいて照明周波数ｆＬを推定することとしたが、これに限られない。例えば、フリッカ低減システム１００は、照明周波数推定装置３によって、受光素子２から出力された出力波形をフーリエ変換することによって照明周波数ｆＬを推定してもよい。
【００８０】
さらに、前記した実施形態に係るフリッカ低減システム１００は、照明周波数推定装置３によって、受光素子２から出力された出力波形に基づいて照明周波数ｆＬを推定することとしたが、これに限られない。
具体的には、フリッカ低減システム１００は、照明周波数推定装置３によって、撮像環境における既知の電源周波数の２倍の値を、照明周波数ｆＬと推定してもよい。例えば、撮像環境が東日本であれば、電源周波数が５０Ｈｚであるので、照明周波数推定装置３は、照明周波数ｆＬを１００Ｈｚと推定する。また、例えば、撮像環境が西日本であれば、電源周波数が６０Ｈｚであるので、照明周波数推定装置３は、照明周波数ｆＬを１２０Ｈｚと推定する。
【００８１】
これによれば、照明周波数推定装置３による照明周波数ｆＬの推定処理の負荷を軽減することができる。さらに、受光素子２を省略することができるので、フリッカ低減システム１００の構成をより簡素化することができる。
【００８２】
また、前記した実施形態に係るフリッカ低減システム１００は、フリッカ低減装置１Ａの周波数比較判定手段１３によって、照明周波数ｆＬがフレーム周波数ｆＬより小さいと判定した場合、フリッカ成分推定手段１１にその旨を通知していたが、この通知を行わなくてもよい。
その場合、フリッカ低減システム１００は、フリッカ低減装置１Ａのフリッカ成分推定手段１１およびフリッカ成分除去手段１２によって、自動でフリッカ低減処理を行うようにしてもよい。
【００８３】
さらに、前記した各実施形態では、撮像装置Ｃａｍで撮像された撮像画像がモノクロ画像である場合を例にとって説明したが、カラー画像であっても同様に、フリッカ低減装置１，１Ａによるフリッカ低減処理が可能である。
【００８４】
撮像装置Ｃａｍで撮像された撮像画像がカラー画像（ＲＧＢ）である場合、例えば、フリッカ低減装置１，１Ａは、フリッカ成分推定手段１１によって、Ｇ画像出力に対しフリッカ成分の推定処理を行う。そして、フリッカ低減装置１，１Ａは、フリッカ成分除去手段１２によって、Ｇ画像出力に対するフリッカ成分の推定結果を、Ｒ／Ｇ／Ｂ画像出力に対して適用してフリッカ低減画像を生成すればよい。
【００８５】
また、例えば、フリッカ低減装置１，１Ａは、フリッカ成分推定手段１１によって、Ｒ／Ｇ／Ｂ画像出力に対して個別にフリッカ成分の推定を行い、フリッカ成分除去手段１２によって、Ｒ／Ｇ／Ｂ画像出力に対して、それぞれのフリッカ成分の推定結果を適用してフリッカ低減画像を生成してもよい。
【００８６】
さらに、フリッカ低減装置１，１Ａによるフリッカ低減処理は、撮像装置Ｃａｍによって撮像され、図示しない蓄積手段に蓄積された撮像画像に対して適用してもよい。
また、撮像装置Ｃａｍによって予め撮像された撮像画像に対して、フリッカ低減装置１，１Ａのフリッカ成分推定手段１１によってフリッカ成分推定処理を行ってもよい。そして、フリッカ低減装置１，１Ａは、フリッカ成分除去手段１２によって、フリッカ成分推定手段１１によるフリッカ成分の推定結果をリアルタイムの画像出力に一律に適用して、フリッカ低減画像を生成してもよい。
【００８７】
これによれば、リアルタイムの撮像画像に含まれるフリッカ成分も高精度に低減することができるので、中継等で放送される撮像画像の画質劣化を抑制することができる。また、その撮像環境で撮像装置Ｃａｍによって撮像された撮像画像にどのようなフリッカ成分が表れるのかを予め推定しておくことで、例えば、中継前にフリッカ成分の推定を行うことで、中継時にはフリッカ成分の推定を行う必要がなくなるので、利便性が高くなる。
【００８８】
加えて、フリッカ低減システム１００は、フリッカ低減装置１Ａのフリッカ成分推定手段１１によって推定したフリッカ成分ｆ（ｎ）の振幅Ｓと位相φの値を調整可能な調整装置をさらに備えていてもよい。これによれば、フリッカ低減システム１００は、オペレータなどが調整装置を用いて、フリッカ成分推定手段１１によって推定したフリッカ成分ｆ（ｎ）の振幅Ｓと位相φとを手動で調整することが可能となるので、撮影画像に含まれるフリッカ成分をより確実に除去することができる。これによって、撮像画像に含まれるフリッカ成分をより高精度に低減することができるので、フリッカ成分による撮像画像の画質劣化をより確実に抑制することができる。
【００８９】
なお、本発明は、前記したフリッカ低減装置１と調整装置とを備えるフリッカ低減システムとして構成してもよいし、前記したフリッカ低減装置１を備える撮像装置と調整装置とを備えるフリッカ低減システムとして構成してもよい。
【符号の説明】
【００９０】
１，１Ａ      フリッカ低減装置
１１      フリッカ成分推定手段
１２      フリッカ成分除去手段
１３      周波数比較判定手段
２      受光素子
３      照明周波数推定装置
１００      フリッカ低減システム
Ｃａｍ      撮像装置
【図１】
2015192345.tif 000015
【図２】
2015192345.tif 000016
【図３】
2015192345.tif 000017
【図４】
2015192345.tif 000018
【図５】
2015192345.tif 000019
【図６】
2015192345.tif 000020
【図７】
2015192345.tif 000021