(57)【要約】  この映像信号処理装置は、連続するM（Mは複数）個のフレームの映像信号に対して、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、所定順位のフレームに対して設定された重み係数の値が最大とされる。
2017064829.tif 000002
【特許請求の範囲】
【請求項１】
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であり、前記所定順位のフレーム以外の(M-1)個のフレームの中の少なくとも１つのフレームに対して設定された重み係数の値が前記所定順位のフレームに対して設定された重み係数の値より小さい
映像信号処理装置。
【請求項２】
請求項１に記載の映像信号処理装置であって、
前記所定順位のフレーム以外の(M-1)個のフレーム中の前記所定順位のフレームからの距離が互いに異なる複数のフレームについて、前記距離が相対的に長いフレームに設定された重み係数の値が前記距離が相対的に短いフレームに設定された重み係数の値以下に設定された
映像信号処理装置。
【請求項３】
請求項２に記載の映像信号処理装置であって、
前記Mは、フレームレートを撮影環境の光源周波数で割って得られる値を丸めた整数を上限として予め設定された値である
映像信号処理装置。
【請求項４】
請求項３に記載の映像信号処理装置であって、
前記M個のフレーム中の各順位のフレームに個別に対応付けられるM個の重み係数の値を重み係数セットとして、複数の種類の前記重み係数セットが格納されたメモリと、
前記メモリに格納された複数の種類の重み係数セットの中から１つの重み係数セットの選択をユーザより受け付ける操作入力部と、
前記操作入力部を用いてユーザにより選択された前記重み係数セットのM個の重み係数の値を前記輝度補正回路に設定する制御部と
をさらに具備する映像信号処理装置。
【請求項５】
請求項４に記載の映像信号処理装置であって、
前記メモリに格納された前記複数の種類の重み係数セットを指定する複数の指定情報を、補正の強度の高い順および低い順のいずれか一方の順に表示部の画面に規則的に表示させるための表示データを生成する表示データ生成部
をさらに具備する映像信号処理装置。
【請求項６】
請求項５に記載の映像信号処理装置であって、
補正対象の映像信号の動きを検出する動き検出回路と、
前記検出された動きの速度情報をもとに、前記各順位のフレームに対して個別に設定された重み係数の値を調整する重み係数調整回路と
をさらに具備する映像信号処理装置。
【請求項７】
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する方法であって、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であり、前記所定順位のフレーム以外の(M-1)個のフレームの中の少なくとも１つのフレームに対して設定された重み係数の値が前記所定順位のフレームに対して設定された重み係数の値より小さい
映像信号処理方法。
【請求項８】
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路としてコンピュータを機能させるプログラムであって、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値を最大とした
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、時間的な輝度変化を伴って入力される映像信号の輝度変化成分を抑制する映像信号処理装置、映像信号処理方法およびプログラムに関する。
【背景技術】
【０００２】
イメージセンサは面単位、若しくはライン単位で電荷の蓄積タイミングが異なる。一般的に、面単位で電荷の蓄積タイミングを合わせる方式をグローバルシャッタ方式と呼び、ライン単位で電荷の蓄積タイミングを合わせる方式をローリングシャッタ方式と呼ぶ。これまでイメージセンサではグローバルシャッタ方式を採用したＣＣＤイメージセンサが主流であったが、近年、ＣＣＤイメージセンサより消費電力が小さく、部品点数も少なく安価に生産できるＣＭＯＳイメージセンサが注目されている。このＣＭＯＳイメージセンサは構造的な問題によりローリングシャッタ方式を採用している場合が多い。どちらの方式でも、点滅を繰り返す光源の下で撮影した場合は、センサでの電荷蓄積タイミングの違いにより、面全体に明暗の違い（面フリッカ）やライン毎による明暗の違い（ラインフリッカ）が現れる。【０００３】
フリッカを補正する技術としては、連続するM個のフレームの映像信号の加算平均によってフリッカ補正画像を得る方式が知られている（特許文献１参照）。この特許文献１では、フレームレートを光源周波数（電源周波数×2）で割って得られる値を丸めた整数を加算対象となるフレーム数Mとして、これらM個のフレームの加算平均が行われることとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１３５７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のフリッカ補正など、時間的な輝度変化を伴って伝送される映像信号の輝度変化成分を抑制する技術においては、未だ解決すべき課題が多々残されている。【０００６】
以上のような事情に鑑み、本技術の目的は、時間的な輝度変化を伴って伝送される映像信号の輝度変化成分を抑制する信号処理がもつ様々な課題を解決することのできる映像信号処理装置、映像信号処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本技術に係る一形態の映像信号処理装置は、
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であることとする。【０００８】
本技術に係る一形態の映像信号処理装置は、
前記所定順位のフレーム以外の(M-1)個のフレーム中の前記所定順位のフレームからの距離が互いに異なる複数のフレームについて、前記距離が相対的に長いフレームに設定された重み係数の値が前記距離が相対的に短いフレームに設定された重み係数の値以下に設定されたものであってよい。【０００９】
前記Mは、フレームレートを撮影環境の光源周波数で割って得られる値を丸めた整数を上限として予め設定された値であってよい。【００１０】
本技術に係る一形態の映像信号処理装置は、
前記M個のフレーム中の各順位のフレームに個別に対応付けられるM個の重み係数の値を重み係数セットとして、複数の種類の前記重み係数セットが格納されたメモリと、
前記メモリに格納された複数の種類の重み係数セットの中から１つの重み係数セットの選択をユーザより受け付ける操作入力部と、
前記操作入力部を用いてユーザにより選択された前記重み係数セットのM個の重み係数の値を前記輝度補正回路に設定する制御部と
をさらに具備するものであってよい。【００１１】
本技術に係る一形態の映像信号処理装置は、
前記メモリに格納された前記複数の種類の重み係数セットを指定する複数の指定情報を、補正の強度の高い順および低い順のいずれか一方の順に表示部の画面に規則的に表示させるための表示データを生成する表示データ生成部
をさらに具備するものであってよい。【００１２】
本技術に係る一形態の映像信号処理装置は、
補正対象の映像信号の動きを検出する動き検出回路と、
前記検出された動きの速度情報をもとに、前記各順位のフレームに対して個別に設定された重み係数の値を調整する重み係数調整回路と
を具備するものであってよい。【００１３】
本技術に係る別の形態の映像信号処理方法は、
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する方法であって、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であることとしたものである。【００１４】
本技術に係る別の形態のプログラムは、
連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路としてコンピュータを機能させるプログラムであって、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大であることとする。
【発明の効果】
【００１５】
以上のように、本技術によれば、時間的な輝度変化を伴って伝送される映像信号の輝度変化成分を抑制する信号処理がもつ様々な課題を解決することができる。
【図面の簡単な説明】
【００１６】
【図１】本技術に係る映像処理装置の第１の実施形態である撮像装置１の構成を示すブロック図である。
【図２】図１の撮像装置１におけるフリッカ補正回路３２の構成を示すブロック図である。
【図３】本実施形態の撮像装置１による加重加算型フリッカ補正の具体例を示す図である。
【図４】複数の重み係数セットの例を示す図である。
【図５】フリッカ補正条件の設定画面の例を示す図である。
【図６】本技術に係る第１の実施形態の撮像装置１におけるフリッカ補正回路３２Ａの変形例の構成を示すブロック図である。
【図７Ａ】図６の変形例による重み係数調整の例を示す図である。
【図７Ｂ】図６の変形例による重み係数調整の他の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本技術に係る映像信号処理装置の第１の実施形態である撮像装置１の構成を示すブロック図である。
同図に示すように、この撮像装置１は、レンズ部１０、撮像部２０、信号補正回路３０、ニー・ガンマ補正回路４０、ファインダ出力生成部５０、本線系信号処理部６０、ファインダ７０、操作入力部８０、不揮発性メモリ９０およびＣＰＵ（Central Processing Unit）１００を備える。
【００１８】
レンズ部１０は、撮影用のレンズまたは複数のレンズの組み合わせで構成される。レンズ部１０は、被写体からの光を集光し、撮像部２０の撮像面に結像させる。
【００１９】
撮像部２０は、例えば、行列配列された画素が設けられた撮像面を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）などの撮像素子からなる。撮像部２０は、レンズ部１０を介して入射した被写体の光を撮像面で受光し、画素単位で光電変換することで得られた映像信号を信号補正回路３０に供給する。
【００２０】
信号補正回路３０は、撮像部２０にて生成された映像信号に対して各種の補正を行う。信号補正回路３０は、欠陥補正回路３１とフリッカ補正回路３２（輝度補正回路）を有する。欠陥補正回路３１は、撮像部２０において欠陥画素の位置に対応する映像信号の検出及びその映像信号の補正を行う。但し、本技術において、欠陥補正回路３１は必ずしも必要とされるものではない。フリッカ補正回路３２は、電源周波数とフレームレートとの違いに起因して映像信号に発生するフリッカの消去を行う。信号補正回路３０は、補正された映像信号をニー・ガンマ補正回路４０に供給する。
【００２１】
ニー・ガンマ補正回路４０は、信号補正回路３０から供給された映像信号に対してニー補正とガンマ補正を行い、その結果をファインダ出力生成部５０及び本線系信号処理部６０に供給する。
【００２２】
ファインダ出力生成部５０は、ニー・ガンマ補正回路４０より供給された映像信号をファインダ表示用の映像信号に変換し、変換したファインダ表示用の映像信号をファインダ７０に出力する。また、ファインダ出力生成部５０（表示データ生成部）は操作入力部８０を用いてユーザに各種の情報の入力を受け付けるためのＧＵＩ（Graphical User Interface）の表示データを生成し、ファインダ７０、あるいはモニター、あるいは外部に接続されたパーソナルコンピュータのモニターなどに出力することができる。
【００２３】
ファインダ７０は、撮影中の映像や、ストレージに保存された映像データを再生した映像を表示する。また、ファインダ７０はファインダ出力生成部５０によって生成されたＧＵＩの表示データを表示することができる。
【００２４】
本線系信号処理部６０は、ニー・ガンマ補正回路４０より供給された映像信号に対して圧縮符号化、誤り訂正符号化などの処理を行い、図示しないストレージに保存したり、伝送ケーブルを通じて外部機器に伝送したりする。
【００２５】
操作入力部８０は、例えば、ユーザからの各種の撮影条件などの設定情報の入力を受け付ける。
【００２６】
不揮発性メモリ９０（特許請求の範囲の「メモリ」に相当する。）は、例えば、フリッカ補正回路３２において用いられる複数の重み係数のセットなどが格納されたメモリである。
【００２７】
ＣＰＵ１００（特許請求の範囲の「制御回路」に相当する。）は、撮像装置１の全体的な制御を行う制御回路である。
【００２８】
図２は、信号補正回路３０におけるフリッカ補正回路３２の構成を示すブロック図である。
フリッカ補正回路３２は、メモリコントローラ３２１、メモリ３２２および加重加算回路３２３を有する。フリッカ補正回路３２は、次のようにしてＣＰＵ１００より与えられたフリッカ補正条件に基づいて映像信号に対するフリッカ補正を行う。
【００２９】
ＣＰＵ１００は、例えば、撮像装置１に設けられた操作入力部８０を使ってユーザから入力された各種の設定情報に従って信号補正回路３０の各種補正条件等を設定する。ユーザは設定情報の１つとしてフリッカ補正に関する設定情報を入力することができる。フリッカ補正に関する設定情報には、電源周波数と、フレームレートと、フリッカ補正モードを指定するACCUMULATION TYPE（以下「ACM TYPE」と呼ぶ。）がある。
【００３０】
ここで、フリッカ補正に関する設定情報について説明する。
電源周波数には、例えば、50Hz、60Hzなどの選択肢がある。ユーザは撮像装置１を使用する地域に供給される商用電源周波数に合せて電源周波数の設定値を選択すればよい。
【００３１】
フレームレートには、例えば、400fps、480fpsなどの選択肢がある。フレームレートが電源周波数の２倍つまり蛍光管の発光周波数よりも低い場合には、蛍光管の発光周波数でシャッターを駆動させることによってフリッカを消去できる。しかしながら、フレームレートが400fps、480fpsなどのように電源周波数の２倍（蛍光管の発光周波数）よりも高い場合にはシャッターによるフリッカの消去は不可である。そこで、フリッカ補正回路３２による信号処理によってフリッカ補正を行う必要がある。
【００３２】
ACM TYPEは、加重加算回路３２３によるフリッカ補正のための加重加算対象となるM個のフレーム各々に付与する重み係数のセットを指定するための情報である。
【００３３】
ＣＰＵ１００は、操作入力部８０を操作してユーザにより入力された設定情報をもとに重み係数のセットを判定し、加重加算回路３２３に各々の重み係数を設定する。
また、ＣＰＵ１００は、操作入力部８０を操作してユーザにより入力された設定情報をもとにメモリ３２２に保存するフレームの数をメモリコントローラ３２１に設定する。
【００３４】
メモリコントローラ３２１は、ＣＰＵ１００による制御の下、信号補正回路３０内の前段の補正回路によって補正された映像信号をメモリ３２２に保存し、設定されたM個のフレームの映像信号がメモリ３２２に保存されたところでメモリ３２２からそれらM個のフレームの映像信号を読み込み、加重加算回路３２３に供給する。
【００３５】
メモリ３２２は、信号補正回路３０内の前段の補正回路によって補正された映像信号が少なくともMフレーム分保存される記憶領域である。メモリ３２２には、常に新しく入力された少なくともMフレーム分の映像信号が保存される。メモリ３２２に保存されるフレーム数はMより多くてもよい。
【００３６】
加重加算回路３２３は、メモリコントローラ３２１によってメモリ３２２から読み出されて連続して供給されたMフレームの映像信号を入力し、これらのフレームの映像信号に対してＣＰＵ１００によって設定された重み係数を用いた加重加算および平均化を実行してフリッカ補正映像を生成する回路である。
【００３７】
（典型的な第１の加算型フリッカ補正方式とその課題）
ここで、典型的な第１の加算型フリッカ補正方式とその課題について説明する。
典型的な加算型フリッカ補正方式では、連続するMフレームの映像信号を画素毎に加算し、平均化してフリッカ補正映像を生成する加算回路が用いられる。
【００３８】
この加算回路は、加算対象となるフレーム数Mを下記の式から求める。
M＝LCM（電源周波数×2，フレームレート）／（電源周波数×2）
ここで、LCM(Element1, Element2)はElement1とElement2の最小公倍数である。例えば、電源周波数50Hzに対し、フレームレートを"480"とした場合、Mは"24"となる。
【００３９】
加算回路は、M個のフレームの映像信号について、対応する（同じ位置の）画素毎に値を加算し、その加算結果をMの値で割ることによって平均化した値をフリッカ補正映像として得る。
【００４０】
この典型的な加算型フリッカ補正方式によれば、完全にフリッカが消去されたフリッカ補正映像が得られる。しかし、加算対象のフレーム群の中に高速に動く被写体の像（動体像）が存在する場合、最大でM個つまり上記の例では最大24個のフレーム中の動体像の映像成分の加算平均の結果として不自然に大きいモーションブラーが発生する。そのため動画の鑑賞者に違和感が与えるおそれがある。
【００４１】
（典型的な第２の加算型フリッカ補正方式とその課題）
典型的な第２の加算型フリッカ補正方式では、フレームレートを光源周波数（電源周波数×2）で割って得られる値を丸めた整数を加算の対象となるフレーム数Mとする。加算回路は、例えば、電源周波数50Hzに対し、フレームレートを"400"とした場合、Mの値は"4"となる。また、電源周波数50Hzに対し、フレームレートを"480"とした場合、Mの値は丸め処理によって"5"となる。
【００４２】
この第２の加算型フリッカ補正方式では、フリッカを完全には消去できないまでも、モーションブラーの量を上記の典型的な第１の加算型フリッカ補正方式に比べ小さくすることができ、モーションブラーの大きさの違和感を低減できる。
【００４３】
しかしながら、この典型的な第２の加算型フリッカ補正方式によっても、複数のフレームの映像信号の加算平均の結果をフリッカ補正映像として得る以上は動体像全体のブレの程度が均一傾向となるため、やはり見た目の不自然さが残る。
【００４４】
（本実施形態の加重加算型フリッカ補正方式）
本実施形態の撮像装置１において採用された加重加算型フリッカ補正方式は、加重加算対象である連続するM個のフレームの映像信号に対して、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均した結果を、M個のフレーム中の基準フレームの映像信号に対するフリッカ補正結果とする。
【００４５】
ここで、基準フレームは、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち所定順位のフレーム、例えば、最後に供給されたフレームなどである。最後に供給されたフレームを基準フレームとする場合、加重加算対象であるM個の連続フレームとは、この基準フレームと、基準フレームより時間的に前にフリッカ補正回路３２に連続して供給された(M-1)個のフレームのことである。但し、本技術は、これに限定されない。
【００４６】
"M"の値は、フレームレートを光源周波数（電源周波数×2）で割って得られる値を丸めた整数を上限として設定された２以上の整数である。
【００４７】
図３は、本実施形態の撮像装置１による加重加算型フリッカ補正の具体例を示す図である。ここではわかりやすさのために任意のシャッターを切った状態を示してあるが、シャッターが切っているかいないかは本技術と無関係である。
加重加算対象のフレーム数Mを"4"とし、M個の連続フレームにおける各順位のフレームに予め個別に設定された重み係数の値を基準フレームの側から"4"，"3"，"2"，"1"とする。これらの重み係数の値は、ユーザが操作入力部８０を使って予め手入力したものであってよいし、不揮発性メモリ９０に予め格納されたものであってよい。
【００４８】
なお、このようにM個の連続フレームにおける各順位のフレームに対応付けられる複数の重み係数の値のまとまりを、以降「重み係数セット」と呼ぶ。
【００４９】
以上の条件において、加重加算回路３２３は、次のように動作する。
まず、加重加算回路３２３は、基準フレームの映像信号に重み係数"4"を掛けて、基準フレームの加重映像信号を生成する。
加重加算回路３２３は、基準フレームの直前に入力されたフレーム(-1F)の映像信号に重み係数"3"を掛けて、フレーム(-1F)の加重映像信号を生成する。
加重加算回路３２３は、フレーム(-1F)の直前に入力されたフレーム(-2F)の映像信号に重み係数"2"を掛けて、フレーム(-2F)の加重映像信号を生成する。
加重加算回路３２３は、フレーム(-2F)の直前に入力されたフレーム(-3F)の映像信号に重み係数"1"を掛けて、フレーム(-3F)の加重映像信号を生成する。
【００５０】
次に、加重加算回路３２３は、基準フレームの加重映像信号、フレーム(-1F)の加重映像信号、フレーム(-2F)の加重映像信号、およびフレーム(-3F)の加重映像信号について、対応する（同じ位置の）画素毎に値を加算してMフレーム分の加重加算映像信号を生成する。
【００５１】
次に、加重加算回路３２３は、Mフレーム分の加重加算映像信号を、重み係数セットにおける重み係数の合算値で除算する。この結果が基準フレームの映像信号に対するフリッカ補正映像となる。
【００５２】
このような加重加算型フリッカ補正方式によってフリッカ補正を行うことによって、フリッカ補正映像における動体像全体のブレ方が均一傾向となることを防止することができ、より自然な見え方のモーションブラーを得ることができる。
【００５３】
また、M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、基準フレームに対して設定された重み係数の値を最大にすることによって、基準フレームの動体像から離れるにつれてかすれ具合が増すより自然なモーションブラーを得ることができる。
【００５４】
ところで、重み係数セットにおける各重み係数の値の差はフリッカ補正映像にフリッカ成分を残す要因ともなる。一方、モーションブラーの見え方は動体像のサイズ、色、速度などの様々な条件によって変わってくる。このため、モーションブラーの見え方だけに着目して重み係数セットにおける各重み係数の値を選定すると、場合によっては、フリッカ補正された映像に目立つフリッカが残ってしまう可能性がある。
【００５５】
そこで、本実施形態の撮像装置１では、モーションブラーの見え方とフリッカ消去効果の両面から最良の重み係数セットをユーザが選択できるようにしている。
【００５６】
（フリッカ補正モード（ACM TYPE）の選択）
図４は、撮像装置１の不揮発性メモリ９０に格納された重み係数セットを示す図である。
この例では、"1"から"3"までの３種類のACM TYPEとによって重み係数セットが選択できるようになっている。
【００５７】
なお、図４において、重み係数の値が"0"のフレームは、映像信号に"0"が掛けられることによって結果的に加重加算対象ではなくなる。加重加算の対象となるフレーム数Mの上限とは、この意味で使われている。
【００５８】
図４では、電源周波数とフレームレートとの１つの組み合わせに対し、"1"から"3"までのACM TYPEによって計３種類の重み係数セットが選択できるものとしたが、さらに多くの種類の重み係数セットが用意されてもよい。
なお、重み係数セットにおける各々の重み係数の値は、電源周波数とフレームレートとの組み合わせ毎に決められるものである。
【００５９】
個々の重み係数セットにおいて、基準フレームに割り当てられる重み係数の値は最大値とされる。基準フレーム以外の(M-1)個のフレームの重み係数の値は、基準フレームから時間的に離れたフレームの重み係数の値が、そのフレームよりも基準フレームに時間的に近いフレームの重み係数の値よりも大きくならないように決められる。言い換えれば、所定順位のフレーム以外の(M-1)個のフレーム中の所定順位のフレームからの距離が互いに異なる複数のフレームについて、距離が相対的に長いフレームに設定された重み係数の値は距離が相対的に短いフレームに設定された重み係数の値以下に設定されている。これにより、基準フレームから時間的により離れたフレーム中の動体像成分によるフリッカ補正映像への影響度を抑制することができ、より自然な見た目のモーションブラーを得ることができる。
【００６０】
また、ACM TYPEによって選択される複数の種類の重み係数セットにおいて、ACM TYPEが"1"の重み係数セットは、フリッカ補正の強度つまりモーションブラーの見え方に影響を与える強度が最も高く、ACM TYPEが"2"、"3"になるにつれて強度が次第に低くなるように、重み係数セット内の重み係数の値が設定されている。
【００６１】
なお、ACM TYPEにより選択される重み係数セットの１つに、重み係数の値が同一のものが存在してもかまわない。この重み係数セットが選択された場合には上記の典型的な第２の加算型フリッカ補正方式によるフリッカ補正が行われることになる。
【００６２】
ユーザは、例えば、撮像装置１に設けられた操作入力部８０などを操作することによって、電源周波数、フレームレートおよびACM TYPEを選択することができる。図５は、例えば、ファインダ７０に表示されるフリッカ補正条件設定画面の例を示す図である。この例は、フリッカ補正条件として、電源周波数"60Hz"、フレームレート"400fps"、ACM TYPE"1"が設定された場合を示している。
【００６３】
操作入力部８０を用いてユーザによって選択された電源周波数、フレームレートおよびACM TYPEはＣＰＵ１００に与えられる。ＣＰＵ１００は不揮発性メモリ９０から、上記与えられた電源周波数、フレームレートおよびACM TYPEの組み合わせに対応する重み係数セットを参照して、その重み係数セットにおける各順位のフレーム毎の重み係数の値を加重加算回路３２３に設定する。これにより、加重加算回路３２３は、入力された連続するM個のフレームの映像信号に対して、設定された重み係数の値による加重加算を用いたフリッカ補正を実行する。
【００６４】
ユーザは、自身で設定したフリッカ補正条件で得られたフリッカ補正映像におけるモーションブラーの見え方とフリッカ消去効果を、例えば、本線出力先のモニターなどの画面を通して確認する。この後、ユーザは操作入力部８０などを操作してACM TYPEのみを変更（例えば、ACM TYPEを"1"から"2"に変更）した次のフリッカ補正条件を設定し、このフリッカ補正条件でフリッカ補正を実行させることによって得られたフリッカ補正映像を確認する。ユーザは、このようにしてACM TYPEの変更とフリッカ補正映像の確認を繰り返し、モーションブラーの表れ方とフリッカ成分の消去の程度が最良のACM TYPEを決定する。
【００６５】
撮像装置１の多くの運用環境では、電源周波数とフレームレートが決められたなかで、ユーザはACM TYPEのみを切り替えて、その都度フリッカ補正映像を確認し、最良のACM TYPEを決定することになる。
【００６６】
ACM TYPEによって選択される複数の種類の重み係数セットにおいて、ACM TYPEが"1"の重み係数セットは、モーションブラーの見え方に影響を与える強度が最も高く、ACM TYPEが"2"、"3"になるにつれて強度が次第に低くなるように、重み係数セット内の重み係数の値が設定されている。そこで、ユーザは、最初にACM TYPEが"1"の重み係数セットを選択することによってモーションブラーの見え方を大きく変えたフリッカ補正映像を確認し、その後、"2"、"3"のACM TYPEを順に選択してフリッカ補正映像を確認することができる。これにより、ユーザはモーションブラーの見え方の変化を段階的に抑えたフリッカ補正映像を順番に確認することができ、最適な重み係数セットを決定する際の混乱が生じにくくなる。
【００６７】
なお、ここではACM TYPEが"1"、"2"、"3"の順に、重み係数セットがモーションブラーの見え方に影響を与える強度が弱くなるように重み係数セット内の重み係数の値が設定されることとしたが、逆に、ACM TYPEが"1"、"2"、"3"の順に、重み係数セットがモーションブラーの見え方に影響を与える強度が強くなるように重み係数セット内の重み係数の値が設定されてもよい。
【００６８】
このように、本実施形態の撮像装置１によれば、モーションブラーの見え方とフリッカ消去効果の両面から最良の重み係数セットを、容易に撮像装置１に設定することができる。
【００６９】
＜変形例１＞
図６は、本技術に係る第１の実施形態の撮像装置１におけるフリッカ補正回路３２Ａの変形例の構成を示すブロック図である。
この変形例のフリッカ補正回路３２Ａは、第１の実施形態の撮像装置１におけるフリッカ補正回路３２の構成に、動き検出回路３２４Ａと重み係数調整回路３２５Ａがさらに付加されたものである。
【００７０】
動き検出回路３２４Ａは、フリッカ補正対象である連続するフレーム間の映像の動きを検出する。動き検出回路３２４Ａは、例えば、加重加算対象であるM個のフレーム間における映像の動きの平均速度や最高速度などの速度情報を検出する。動き検出回路３２４Ａは、例えば、検出した速度情報を重み係数調整回路３２５Ａに供給する。
【００７１】
重み係数調整回路３２５Ａは、ＣＰＵ１００Ａから加重加算回路３２３Ａに設定するために出力された重み係数の各値を、動き検出回路３２４Ａからの速度情報をもとに調整して加重加算回路３２３Ａに設定する。例えば、映像の動きの速度が高いほどモーションブラーは大きくなるので、モーションブラーが過大にならないように、重み係数調整回路３２５Ａは加重加算対象のフレーム数Mを減らしたり、重み係数セットにおける各重み係数の値のバランスを調整したりする。
【００７２】
例えば、図３に示したように、基準フレームの側から"4"，"3"，"2"，"1"の重み係数による加重加算を用いたフリッカ補正が行われる中、動き検出回路３２４Ａによって検出された速度の値が第１の閾値を超えていた場合、重み係数調整回路３２５Ａは、例えば、次のように重み係数セットにおける各重み係数の値を調整する。
【００７３】
図７Ａ、図７Ｂは本変形例による重み係数調整の例を示す図である。
図７Ａに示すように、重み係数調整回路３２５Ａは、基準フレームから最も時間的に離れたフレームに対する重み係数の値を"0"にして、加重加算対象のフレーム数Mを１つ減らす。また、重み係数調整回路３２５Ａは、残る３フレームに対する"4"，"3"，"2"の重み係数の値の差を広げる。例えば"5"，"3"，"1"のようにする。
【００７４】
また、基準フレームの側から"5"，"3"，"1"の重み係数による加重加算を用いたフリッカ補正が行われる中、動き検出回路３２４Ａによって検出された速度の値が第２の閾値（第２の閾値＞第１の閾値）を超えていた場合、重み係数調整回路３２５Ａは、図７Ｂに示すように、例えば、加重加算対象のフレーム数Mをさらに１つ減らす。また、重み係数調整回路３２５Ａは、残る２フレームに対する"5"，"3"の重み係数の値を、例えば"5"，"1"のように調整する。このように、映像の動きの速度に対して適応的に加重加算対象のフレーム数を変更したり、重み係数セットにおける各重み係数の値のバランスを調整することによって、モーションブラーが過大にならないようにし、モーションブラーの見た目を自然なものにすることができる。
【００７５】
以上の動き検出結果に基づく重み係数の値の調整機能は、ユーザがON/OFFを選択できるようにしてもよい。
【００７６】
＜変形例２＞
以上説明した実施形態では、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち、最後に供給されたフレームを基準フレームとして、この基準フレームの映像信号と、その前に供給された連続する(M-1)個のフレームの映像信号の加重加算を用いてフリッカ補正を行うこととした。
【００７７】
本技術は、これに限定されるものではなく、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち、最初に供給されたフレームを基準フレームとして、この基準フレームの映像信号と、その後に供給された連続する(M-1)個のフレームの映像信号の加重加算を用いてフリッカ補正を行うようにしてもよい。
【００７８】
さらには、例えば、フリッカ補正回路３２に連続して供給されたM個のフレームのうち、先頭からN(但し、1<N<M)番目に供給されたフレームを基準フレームとして、この基準フレームの映像信号と、基準フレームの後に供給された連続する(M-N)個のフレームの映像信号と、基準フレームの前に供給された連続する(N-1)個のフレームの映像信号との加重加算を用いてフリッカ補正を行うようにしてもよい。
【００７９】
以上、本技術をフリッカ補正に用いた実施形態を説明したが、本技術は、時間的な輝度変化を有する映像全般の輝度補正処理に同様に応用することができる。
時間的な輝度変化を有する映像には、光源周波数の影響による上記のフリッカの他、撮影時刻がずれた複数の静止画を時間順に連続再生するタイムラブスやハイパーラプス、フラッシュが炊かれた瞬間に輝度が高くなるフラッシュバンドが生じた映像、手振れ補正された映像などがある。本技術は、これら様々な種類の映像の輝度変化による影響を補正する処理に応用することによって、モーションブラーの見え方が自然で、輝度変化の目立たない補正映像が得られる。
【００８０】
本技術は、撮像装置単体で実施されることに限定されるものではなく、撮像装置と、これを制御するコンピュータとで構成されるシステムとしても実施され得る。
【００８１】
なお、本技術は以下のような構成もとることができる。
（１）  連続するM（Mは複数）個のフレームの映像信号に対して、前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数を掛け、それらの結果を加算平均して、前記M個のフレーム中で所定順位のフレームの補正映像信号を生成する輝度補正回路を具備し、
前記M個のフレーム中の各順位のフレームに対して個別に設定された重み係数の値のうち、前記所定順位のフレームに対して設定された重み係数の値が最大である
映像信号処理装置。
【００８２】
（２）上記（１）の映像信号処理装置であって、
前記所定順位のフレーム以外の(M-1)個のフレーム中の前記所定順位のフレームからの距離が互いに異なる複数のフレームについて、前記距離が相対的に長いフレームに設定された重み係数の値が前記距離が相対的に短いフレームに設定された重み係数の値以下に設定された
映像信号処理装置。
【００８３】
（３）上記（１）または（２）の映像信号処理装置であって、
前記Mは、フレームレートを撮影環境の光源周波数で割って得られる値を丸めた整数を上限として予め設定された値である
映像信号処理装置。
【００８４】
（４）上記（１）ないし（３）のいずれかの映像信号処理装置であって、
前記M個のフレーム中の各順位のフレームに個別に対応付けられるM個の重み係数の値を重み係数セットとして、複数の種類の前記重み係数セットが格納されたメモリと、
前記メモリに格納された複数の種類の重み係数セットの中から１つの重み係数セットの選択をユーザより受け付ける操作入力部と、
前記操作入力部を用いてユーザにより選択された前記重み係数セットのM個の重み係数の値を前記輝度補正回路に設定する制御部と
をさらに具備する映像信号処理装置。
【００８５】
（５）上記（４）の映像信号処理装置であって、
前記メモリに格納された前記複数の種類の重み係数セットを指定する複数の指定情報を、補正の強度の高い順および低い順のいずれか一方の順に表示部の画面に規則的に表示させるための表示データを生成する表示データ生成部
をさらに具備する映像信号処理装置。
【００８６】
（６）上記（１）ないし（５）のいずれかの映像信号処理装置であって、
補正対象の映像信号の動きを検出する動き検出回路と、
前記検出された動きの速度情報をもとに、前記各順位のフレームに対して個別に設定された重み係数の値を調整する重み係数調整回路と
をさらに具備する映像信号処理装置。
【符号の説明】
【００８７】
１…撮像装置
１０…レンズ部
２０…撮像部
３０…信号補正回路
３１…欠陥補正回路
３２…フリッカ補正回路
４０…ニー・ガンマ補正回路
５０…ファインダ出力生成部
６０…本線系信号処理部
７０…ファインダ
８０…操作入力部
９０…不揮発性メモリ
１００…ＣＰＵ
【図１】
2017064829.tif 000003
【図２】
2017064829.tif 000004
【図３】
2017064829.tif 000005
【図４】
2017064829.tif 000006
【図５】
2017064829.tif 000007
【図６】
2017064829.tif 000008
【図７Ａ】
2017064829.tif 000009
【図７Ｂ】
2017064829.tif 000010
【国際調査報告】
2017064829.tif 000011
2017064829.tif 000012