(57)【要約】【課題】必要とするメモリの容量を極力減らしつつ、フリッカ補正の対象とするフレームからone-passでフリッカ成分を抽出して補正する。【解決手段】本開示の一側面である画像処理装置は、行毎に第１行積算値を第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、行毎に参照値を生成する参照値生成部と、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部とを備える。本開示は、イメージセンサに適用できる。【選択図】図５
2016034094.tif 000002
【特許請求の範囲】
【請求項１】
第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、
前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、
行毎に参照値を生成する参照値生成部と、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部と
を備える画像処理装置。
【請求項２】
前記第２露光画像が撮像された際の前記第２露光時間は、フリッカレスシャッタ時間となる、前記第１露光画像に生じ得るフリッカの周期の整数倍である
請求項１に記載の画像処理装置。
【請求項３】
前記行積算比率算出部は、行毎に露光時間の差を調整した前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する
請求項２に記載の画像処理装置。
【請求項４】
前記フリッカパラメータ推定部は、前記総和に基づき、前記第１露光画像に生じたフリッカの前記フリッカパラメータを最小二乗法を用いて推定する
請求項２に記載の画像処理装置。
【請求項５】
前記フリッカパラメータ推定部は、前記総和に基づき、前記第１露光画像に生じたフリッカの成分をsin波で近似する場合における振幅と位相を前記フリッカパラメータとして推定する
請求項２に記載の画像処理装置。
【請求項６】
前記第１行積算部および前記第２行積算部のそれぞれにおいて行毎に画素値を積算するときに前記画素値に乗算するための積算重み係数を設定する積算重み設定部を
さらに備える請求項２に記載の画像処理装置。
【請求項７】
前記参照値積算部は、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果に重み係数を乗算して積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する
請求項２に記載の画像処理装置。
【請求項８】
画素値の色チャネル毎に前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、前記フリッカパラメータ推定部、および前記フリッカ補正部を備える
請求項２に記載の画像処理装置。
【請求項９】
画素値の各色チャネル成分から輝度を生成する輝度生成部をさらに備え、
前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、および前記フリッカパラメータ推定部は、前記輝度を前記画素値とみなすことにより、前記輝度に基づく前記フリッカパラメータを推定し、
前記フリッカ補正部は、前記輝度に基づいて推定された前記フリッカパラメータ前記第１露光画像に生じたフリッカを色チャネル毎に補正する
請求項２に記載の画像処理装置。
【請求項１０】
前記第１露光画像および前記第２露光画像に複数の検波領域を設定する検波領域設定部をさらに備え、
前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、および前記フリッカパラメータ推定部は、それぞれの処理を前記検波領域毎に実行することにより、前記検波領域毎の前記フリッカパラメータを推定する
請求項２に記載の画像処理装置。
【請求項１１】
推定された前記検波領域毎の前記フリッカパラメータに基づき、前記フリッカの発生強度の分布を推定するフリッカ強度推定部をさらに備え、
前記フリッカ補正部は、推定された前記フリッカの発生強度の分布にも基づいて前記第１露光画像に生じたフリッカを補正する
請求項１０に記載の画像処理装置。
【請求項１２】
推定された前記検波領域毎の前記フリッカパラメータに基づき、画像全体の前記フリッカパラメータを推定する全体フリッカパラメータ推定部をさらに備え、
前記フリッカ強度推定部は、推定された前記検波領域毎の前記フリッカパラメータ、および画像全体の前記フリッカパラメータに基づき、前記フリッカの発生強度の分布を推定する
請求項１０に記載の画像処理装置。
【請求項１３】
前記フリッカ補正部は、現フレームの前記第１露光画像および前記第２露光画像から推定された前記フリッカパラメータに基づいて、現フレームの前記第１露光画像に生じたフリッカを補正する
請求項２に記載の画像処理装置。
【請求項１４】
現フレームよりも以前のフレームの前記第１露光画像および前記第２露光画像から推定された前記フリッカパラメータを保持する保持部をさらに備え、
前記フリッカ補正部は、保持されている前記フリッカパラメータに基づいて、現フレームの前記第１露光画像に生じたフリッカを補正する
請求項２に記載の画像処理装置。
【請求項１５】
前記フリッカ補正部は、推定された前記フリッカパラメータと前記第２露光画像に基づいて、現フレームの前記第１露光画像に生じたフリッカを補正する
請求項２に記載の画像処理装置。
【請求項１６】
推定された前記フリッカパラメータの時間的または空間的な推移に基づいて前記第１露光画像に生じた前記フリッカの周期を推定するフリッカ周波数推定部を
さらに備える請求項２に記載の画像処理装置。
【請求項１７】
前記検波領域設定部は、推定された前記フリッカの周期に基づき、前記第１露光画像および前記第２露光画像に複数の検波領域を設定する
請求項１０に記載の画像処理装置。
【請求項１８】
画像処理装置の画像処理方法において、
前記画像処理装置による、
第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算ステップと、
前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算ステップと、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出ステップと、
行毎に参照値を生成する参照値生成ステップと、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算ステップと、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定ステップと、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正ステップと
を含む画像処理方法。
【請求項１９】
コンピュータを、
第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、
前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、
行毎に参照値を生成する参照値生成部と、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部と
して機能させるプログラム。
【請求項２０】
画素部と、
画像処理部を有するイメージセンサにおいて、
前記画素部は、
画素毎に露光条件を設定可能であって、第１露光時間が設定された画素をローリングシャッタにより読み出した第１露光画像と、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間が設定された画素をローリングシャッタにより読み出した第２露光画像を前記画像処理部に出力し、
前記画像処理部は、
前記第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、
前記第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、
行毎に参照値を生成する参照値生成部と、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部と
を備える
イメージセンサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、プログラム、およびイメージセンサに関し、特に、撮像した画像に生じ得るフリッカを抑止できるようにした画像処理装置、画像処理方法、プログラム、およびイメージセンサに関する。
【背景技術】
【０００２】
図１に示されるように、交流電源により駆動される照明装置の照明輝度は、その交流周波数（50Hzなど）の２倍などの周波数でちらつくことが知られている。そのような状況下で、CMOS（Complementary Metal Oxides Semiconductor）イメージセンサによって撮像を行った場合、撮像結果として得られる画像には、図２に示されるような行方向（横方向）に明滅の縞が発生し得る。一般に、この現象はフリッカと称されている。フリッカは、CMOSイメージセンサが行単位で露光タイミングがずれるローリングシャッタによって撮像を行ったことに起因して発生する。
【０００３】
そこで従来、フリッカに対処する様々な提案が行われている。
【０００４】
例えば、特許文献１には、グローバルシャッタの露光時間をフリッカ周期（照明輝度の変動周期）の整数倍とすることにより、各行の露光時間における照明輝度の揺れを均一にしてフリッカの発生を抑止する発明が記載されている。ただし、この発明では、露光時間がフリッカ周期に依存するので、各行の露光時間をフリッカ周期よりも短く設定することができない。
【０００５】
また、特許文献２には、フリッカ周期の１位相分の時間に合わせて複数枚撮像したフレームを積算することにより、フリッカがキャンセルされた輝度状態を推定し、推定結果と現フレームを比較することにより現フレームのフリッカ成分を抽出して補正する発明が記載されている。ただし、この発明では、長周期のフリッカに対応できない。
【０００６】
さらに、特許文献３には、露光時間が長い画像と、露光時間が短い画像を連続して撮像し、それぞれの行毎に輝度積算値の差をフリッカ成分として抽出して補正する発明が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許３５２２６７４号公報
【特許文献２】特許４４２３８８９号公報
【特許文献３】特開２０１１−９１７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した引用文献２，３の発明では、生じたフリッカを補正しようとする補正対象のフレームの他にも、それ以前に撮像されたフレームを利用していることから、フレームを保持したり、それらから抽出したフリッカ成分を保持したりするためのメモリが必要とされる。
【０００９】
本開示はこのような状況に鑑みてなされたものであり、必要とするメモリの容量を極力減らしつつ、フリッカ補正の対象とするフレームからone-passでフリッカ成分を抽出して補正できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の第１の側面である画像処理装置は、第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、行毎に参照値を生成する参照値生成部と、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部とを備える。
【００１１】
前記第２露光画像が撮像された際の前記第２露光時間は、フリッカレスシャッタ時間となる、前記第１露光画像に生じ得るフリッカの周期の整数倍とすることができる。
【００１２】
前記行積算比率算出部は、行毎に露光時間の差を調整した前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出することができる。
【００１３】
前記フリッカパラメータ推定部は、前記総和に基づき、前記第１露光画像に生じたフリッカの前記フリッカパラメータを最小二乗法を用いて推定することができる。
【００１４】
前記フリッカパラメータ推定部は、前記総和に基づき、前記第１露光画像に生じたフリッカの成分をsin波で近似する場合における振幅と位相を前記フリッカパラメータとして推定することができる。
【００１５】
本開示の第１の側面である画像処理装置は、前記第１行積算部および前記第２行積算部のそれぞれにおいて行毎に画素値を積算するときに前記画素値に乗算するための積算重み係数を設定する積算重み設定部をさらに備えることができる。
【００１６】
前記参照値積算部は、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果に重み係数を乗算して積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出することができる。
【００１７】
画素値の色チャネル毎に前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、前記フリッカパラメータ推定部、および前記フリッカ補正部を備えることができる。
【００１８】
本開示の第１の側面である画像処理装置は、画素値の各色チャネル成分から輝度を生成する輝度生成部をさらに備えることができ、前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、および前記フリッカパラメータ推定部が前記輝度を前記画素値とみなすことにより、前記輝度に基づく前記フリッカパラメータが推定され、前記フリッカ補正部は、前記輝度に基づいて推定された前記フリッカパラメータ前記第１露光画像に生じたフリッカを色チャネル毎に補正することができる。
【００１９】
本開示の第１の側面である画像処理装置は、前記第１露光画像および前記第２露光画像に複数の検波領域を設定する検波領域設定部をさらに備えることができ、前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、および前記フリッカパラメータ推定部は、それぞれの処理を前記検波領域毎に実行することにより、前記検波領域毎の前記フリッカパラメータを推定することができる。
【００２０】
本開示の第１の側面である画像処理装置は、推定された前記検波領域毎の前記フリッカパラメータに基づき、前記フリッカの発生強度の分布を推定するフリッカ強度推定部をさらに備えることができ、前記フリッカ補正部は、推定された前記フリッカの発生強度の分布にも基づいて前記第１露光画像に生じたフリッカを補正することができる。
【００２１】
本開示の第１の側面である画像処理装置は、推定された前記検波領域毎の前記フリッカパラメータに基づき、画像全体の前記フリッカパラメータを推定する全体フリッカパラメータ推定部をさらに備えることができ、前記フリッカ強度推定部は、推定された前記検波領域毎の前記フリッカパラメータ、および画像全体の前記フリッカパラメータに基づき、前記フリッカの発生強度の分布を推定することができる。
【００２２】
前記フリッカ補正部は、現フレームの前記第１露光画像および前記第２露光画像から推定された前記フリッカパラメータに基づいて、現フレームの前記第１露光画像に生じたフリッカを補正することができる。
【００２３】
本開示の第１の側面である画像処理装置は、現フレームよりも以前のフレームの前記第１露光画像および前記第２露光画像から推定された前記フリッカパラメータを保持する保持部をさらに備えることができ、前記フリッカ補正部は、保持されている前記フリッカパラメータに基づいて、現フレームの前記第１露光画像に生じたフリッカを補正することができる。
【００２４】
前記フリッカ補正部は、推定された前記フリッカパラメータと前記第２露光画像に基づいて、現フレームの前記第１露光画像に生じたフリッカを補正することができる。
【００２５】
本開示の第１の側面である画像処理装置は、推定された前記フリッカパラメータの時間的または空間的な推移に基づいて前記第１露光画像に生じた前記フリッカの周期を推定するフリッカ周波数推定部をさらに備えることができる。
【００２６】
前記検波領域設定部は、推定された前記フリッカの周期に基づき、前記第１露光画像および前記第２露光画像に複数の検波領域を設定することができる。
【００２７】
本開示の第１の側面である画像処理方法は、画像処理装置の画像処理方法において、前記画像処理装置による、第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算ステップと、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算ステップと、行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出ステップと、行毎に参照値を生成する参照値生成ステップと、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算ステップと、前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定ステップと、推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正ステップとを含む。
【００２８】
本開示の第１の側面であるプログラムは、コンピュータを、第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、行毎に参照値を生成する参照値生成部と、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部として機能させる。
【００２９】
本開示の第１の側面においては、第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値が行毎に積算されることにより行毎の第１行積算値が計算され、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値が行毎に積算されることにより行毎の第２行積算値が計算され、行毎に前記第１行積算値が前記第２行積算値で除算されることにより行積算比率が算出される。また、行毎に参照値が生成され、行毎に前記積算比率に前記参照値が乗算され、全ての行にそれぞれ対応する乗算結果が積算されることにより、前記積算比率と前記参照値の乗算結果の総和が算出される。さらに、前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータが推定され、推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカが補正される。
【００３０】
本開示の第２の側面であるイメージセンサは、画素部と、画像処理部を有するイメージセンサにおいて、前記画素部が、画素毎に露光条件を設定可能であって、第１露光時間が設定された画素をローリングシャッタにより読み出した第１露光画像と、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間が設定された画素をローリングシャッタにより読み出した第２露光画像を前記画像処理部に出力し、前記画像処理部が、前記第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、前記第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、行毎に参照値を生成する参照値生成部と、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部とを備える。
【００３１】
本開示の第２の側面においては、画素部により、第１露光時間が設定された画素がローリングシャッタにより読み出された第１露光画像と、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間が設定された画素がローリングシャッタにより読み出された第２露光画像が画像処理部に出力される。また、画像処理部により、前記第１露光画像の画素値が行毎に積算されることにより行毎の第１行積算値が計算され、前記第２露光画像の画素値が行毎に積算されることにより行毎の第２行積算値が計算され、行毎に前記第１行積算値が前記第２行積算値で除算されることにより行積算比率が算出される。また、行毎に参照値が生成され、行毎に前記積算比率に前記参照値が乗算され、全ての行にそれぞれ対応する乗算結果が積算されることにより、前記積算比率と前記参照値の乗算結果の総和が算出される。さらに、前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータが推定され、推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカが補正される。
【発明の効果】
【００３２】
本開示の第１および第２の側面によれば、必要とするメモリの容量を極力減らしつつ、フリッカ補正の対象とするフレームからone-passでフリッカ成分を抽出して補正することができる。
【図面の簡単な説明】
【００３３】
【図１】周期的に変化する照明輝度のぶれと露光時間の関係を示す図である。
【図２】フリッカ現象の例を示す図である。
【図３】第１露光画像と第２露光画像の撮像タイミングを示す図である。
【図４】本開示を適用したイメージセンサの構成例を示すブロックである。
【図５】画像処理部の第１の構成例を示すブロック図である。
【図６】行積算部による行単位での画素値の積算方法の例を示す図である。
【図７】参照値積算部における計算を説明する図である。
【図８】画像処理部によるフリッカ補正処理を説明するフローチャートである。
【図９】画像処理部の第２の構成例を示すブロック図である。
【図１０】積算重み係数の設定方法の例を示す図である。
【図１１】画像処理部の第３の構成例を示すブロック図である。
【図１２】画像処理部の第４の構成例を示すブロック図である。
【図１３】画像処理部の第５の構成例を示すブロック図である。
【図１４】検波領域の一例を示す図である。
【図１５】検波領域の区分方法を説明する図である。
【図１６】画像処理部の第６の構成例を示すブロック図である。
【図１７】フリッカ強度分布の例を示す図である。
【図１８】フリッカ強度分布の例を示す図である。
【図１９】画像処理部の第７の構成例を示すブロック図である。
【図２０】画像処理部によるフリッカ補正処理を説明するフローチャートである。
【図２１】画像処理部の第８の構成例を示すブロック図である。
【図２２】画像処理部の第９の構成例を示すブロック図である。
【図２３】画像処理部の第１０の構成例を示すブロック図である。
【図２４】フレーム間のフリッカ位相の回転を示す図である。
【図２５】フリッカ周期の推定方法を説明するための図である。
【図２６】最小二乗法以外の解析的な手法によるフリッカ周期の推定方法を説明するための図である。
【図２７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明するが、その前に、本開示の概要について説明する。
【００３５】
＜処理対象とする画像について＞
本実施の形態では、SME(Spatially Multiplexed Exposure)イメージセンサを用いることを前提とする。SMEイメージセンサは、画素毎に異なる露出条件を設定可能である。
【００３６】
図３は、SMEイメージセンサによる撮像タイミングを示している。例えば、縦横に配置されている全画素のうち、半分の市松模様状に配置されている画素に対しては短い露光時間を設定し、残りの半分の画素に対してはより長い露光時間を設定することができる。ただし、該短い露光時間は、該長い露光時間内に含まれているものとする。
【００３７】
すなわち、SMEイメージセンサは、短い露光時間の画素からなる第１露光画像と、長い露光時間の画素からなる第２露光画像とを同時に撮像することができる。
【００３８】
このとき、長い露光時間をフリッカ周期の整数倍に設定すれば、フリッカが出現していない第２露光画像を得ることができる。この場合の長い露光時間は、一般にフリッカレスシャッタ時間と称される。
【００３９】
以下に説明する本実施の形態では、短い露光時間の第１露光画像を補正対象とし、第１露光画像と第２露光画像を用いてフリッカ成分を推定し、推定結果に基づいて第１露光画像に生じているフリッカ現象を補正することについて説明する。ただし、第１露光画像を、第２露光画像の長い露光時間（フリッカレスシャッタ時間）を含むより長く、かつ、フリッカ周期の整数倍ではない（フリッカレスシャッタ時間ではない）露光時間で撮像した画像としてもよい。
【００４０】
＜フリッカ現象のモデル＞
一般に、画像に生じ得るフリッカの程度を示すフリッカ成分は、被写体の信号強度に比例することが知られている。このため、座標(x,y)に位置する画素を露光時間ｓで撮像した場合の画素値I(x,y)は、照明輝度の時間変動成分ａａｃ・sin(ωｔ＋θａｃ)を用いて次式（１）のように表すことができる。
【数１】
2016034094.tif 000003
・・・（１）
【００４１】
ここで、img(x,y)は、フリッカの影響を受けていない単位時間当たりの被写体本来の信号成分とする。したがって、座標(x,y)に位置する画素のフリッカの影響を受けていない理想的な画素値はimg(x,y)・ｓとなる。
【００４２】
式（１）を展開すると
Ｉ(x,y)＝img(x,y)・Ｆ（ｙ）
となる。Ｆ（ｙ）は、次式（２）のとおりであり、フリッカ成分を表す未知のsin関数となる。
【数２】
2016034094.tif 000004
・・・（２）
【００４３】
逆に、背景成分（フリッカの背後に隠れてしまう実際に撮像したいシーン）を表すimg(x,y)と弁別して、フリッカ成分を示すsin波の振幅ａと位相θを推定できれば、出現したフリッカ成分を補正することが可能となる。
【００４４】
次に、第１露光画像の露光時間をＳＳとし、第２露光画像の露光時間をＳＬとすれば、座標(x,y)に位置する第１露光画像の画素値は、ＩＳ(x,y)＝img(x,y)・（ＳＳ＋ＦＳ（ｙ））となり、第２露光画像の画素値は、ＩＬ(x,y)＝img(x,y)・（ＳＬ＋ＦＬ（ｙ））となる。
【００４５】
ただし、式（２）から、ＦＳ（ｙ），ＦＬ（ｙ）はそれぞれ次式（３）に示されるとおりとなる。
【数３】
2016034094.tif 000005
・・・（３）
【００４６】
よって、第１露光画像と第２露光画像のそれぞれの行毎の画素値の積算値は次式（４）となる。
【数４】
2016034094.tif 000006
・・・（４）
【００４７】
ここで、第２露光画像の露光時間ＳＬはフリッカ周期の整数倍であって、第２露光画像にはフリッカが出現しないので、ＦＬ（ｙ）＝０となる。
【００４８】
第１露光画像の行毎の画素値の積算値と、第２露光画像の行毎の画素値の積算値との露光比を合わせて行積算比率を求めると次式（５）となる。
【数５】
2016034094.tif 000007
・・・（５）
【００４９】
式（５）は、フリッカ成分ＦＳ（ｙ）を背景成分img(x,y)から分離した形で抽出しているので、観測された行積算比率をsin波近似し、その振幅と位相を推定することでフリッカ成分を補正できる。さらに、式（５）は第１露光画像の画素値と、理想の画素値との比率を表すＩＳ(x,y)／img(x,y)・ＳＳとなっているので、sin波近似したＦＳ（ｙ）の逆数をそのまま第１露光画像のｙ行における補正係数として利用できる。
【００５０】
フリッカ成分の観測波形を表す行積算比の計算値ratio（ｙ）は、振幅ａ、位相θのsin波によって近似する。具体的には、次式（６）のとおりとする。
【数６】
2016034094.tif 000008
・・・（６）
【００５１】
これを展開して線形化すると、次式（７）となる。
【数７】
2016034094.tif 000009
・・・（７）
【００５２】
ただし、式（７）においてはＣ＝ａ cosθ，Ｓ＝a sinθと定義する。以下、Ｃ，Ｓをフリッカパラメータと称する。フリッカパラメータＣ，Ｓは最小二乗法を用いて推定する。
【００５３】
具体的には、次式（８）に示される、この近似式と観測波形とその近似式との誤差二乗項Ｊを最小とするフリッカパラメータＣ，Ｓを算出する。
【数８】
2016034094.tif 000010
・・・（８）
【００５４】
なお、誤差二乗項Ｊを最小とするフリッカパラメータＣ，Ｓは次式（９）を満たす。
【数９】
2016034094.tif 000011
・・・（９）
【００５５】
ゆえに、次式（１０）となる。
【数１０】
2016034094.tif 000012
・・・（１０）
【００５６】
さらに、式（１０）は次式（１１）に変形できるので、式（１１）からフリッカパラメータＣ，Ｓを算出する。
【数１１】
2016034094.tif 000013
・・・（１１）
【００５７】
このようにして得られたフリッカパラメータＣ，Ｓからフリッカ成分の波形を復元し、第１露光画像の各画素にフリッカ強度の逆数を乗算すれば、フリッカ現象を補正した第１露光画像（以下、フリッカ補正第１露光画像と称する）を得ることができる。
【００５８】
＜本開示の実施の形態であるイメージセンサの構成例＞
図４は、本開示の実施の形態であるイメージセンサの構成例を示している。該イメージセンサ１０は上述したFull-SMEイメージセンサであって、画素部１１、画像処理部１２、およびHDR(High Dynamic Range)画像生成部１３を有する。
【００５９】
画素部１１は、縦横に配置された多数の画素から構成され、各画素が光電変換を行うことにより画素信号を生成する。具体的には、短い露光時間の画素からなる第１露光画像と、フリッカ周期の整数倍の長い露光時間の画素からなる第２露光画像をローリングシャッタにより撮像し、それぞれの画素信号（画素値）を行単位で画像処理部１２に出力するものとする。
【００６０】
画像処理部１２は、画素部１１から同時に入力される第１露光画像と第２露光画像に基づき、第１露光画像に生じているフリッカ成分を推定し、推定結果に基づいて第１露光画像を補正し、その結果得られるフリッカ補正第１露光画像と、補正が不要な第２露光画像をHDR画像生成部１３に出力する。
【００６１】
HDR画像生成部１３は、フリッカ補正第１露光画像と、第２露光画像とに基づいてHDR画像を生成して出力する。
【００６２】
なお、本実施の形態においては、イメージセンサ１０に画像処理部１２が内蔵されているが、画像処理部１２をイメージセンサから独立して設けてもよい。すなわち、画像処理部１２に相当する画像処理装置が、Full-SMEイメージセンサから出力される第１露光画像と第２露光画像を処理するようにしてもよい。HDR画像生成部１３についても同様に、イメージセンサから独立して設けてもよい。
【００６３】
＜画像処理部１２の第１の構成例＞
図５は、画像処理部１２の構成例（第１の構成例）を示している。
【００６４】
該第１の構成例は、行積算部２１および２２、積算比率算出部２３、参照値生成部２４、参照値積算部２５、フリッカパラメータ推定部２６、並びに第１露光画像フリッカ補正部２７から構成される。
【００６５】
行積算部２１は、画素部１１から行単位で入力される第１露光画像の画素値を行毎に積算し、その結果得られる行積算値を積算比率算出部２３に出力する。同様に、行積算部２２は、画素部１１から行単位で入力される第２露光画像の画素値を行毎に積算し、その結果得られる行積算値を積算比率算出部２３に出力する。
【００６６】
図６は、行積算部２１および２２における画素値の行毎の積算方法の例を示している。同図Ａは、全ての行に存在する全ての画素値を積算する方法を示している。同図Ｂは、行単位で間引きする変形例を示している。同図Ｃは、各行において画素を間引きして積算する変形例を示している。同図Ｄは、複数行毎（例えば、２行毎）に画素値を積算する変形例を示している。行積算部２１および２２は、同図Ａに示された方法の他、同図Ｂ乃至同図Ｄの変形例などを採用することができる。
【００６７】
図５に戻る。積算比率算出部２３は、行積算部２１から順次入力される第１露光画像の画素値の行積算値を、行積算部２２から順次入力される第２露光画像の画素値の行積算値で除算することにより行積算比、すなわち、フリッカ成分の観測値ratio（ｙ）を行毎に算出して参照値積算部２５に順次出力する。
【００６８】
参照値生成部２４は、参照値積算部２５において観測値ratio（ｙ）に乗算するための参照値cos（ωｙ）およびsin（ωｙ）を行毎に生成して参照値積算部２５に出力する。
【００６９】
参照値積算部２５は、積算比率算出部２３から順次入力される観測値ratio（ｙ）−１に、参照値生成部２４から順次入力される参照値cos（ωｙ）とsin（ωｙ）をそれぞれ乗算して、それまでの乗算結果に積算することにより、式（１１）の右項右側の１行×２列の行列の要素である
Σ（ratio（ｙ）−１）・cos（ωｙ）と、
Σ（ratio（ｙ）−１）・sin（ωｙ）を
算出してフリッカパラメータ推定部２６に出力する。
【００７０】
図７は、参照値積算部２５における演算の様子を示している。
【００７１】
同図に示されるように、参照値積算部２５では、観測値ratio（ｙ）が順次入力される毎に、（ratio（ｙ）−１）に参照値cos（ωｙ）とsin（ωｙ）をそれぞれ乗算し、その乗算結果を積算するので、参照値積算部２５には、行毎の乗算結果をそれぞれ個別に保持するメモリが不要であり、積算結果を保持するメモリだけを設ければよい。
【００７２】
図５に戻る。フリッカパラメータ推定部２６は、参照値積算部２５からの入力を式（１０）に適用することにより、フリッカパラメータＣ，Ｓを演算して第１露光画像フリッカ補正部２７に出力する。
【００７３】
なお、行積算部２１乃至参照値積算部２５は、画素部１１の走査に合わせてそれぞれの演算を行い、フリッカパラメータ推定部２６は、最終行の走査に合わせて参照値積算部２５の出力を受け取ることができる。したがって、フリッカパラメータ推定部２６は、１フレーム毎にほぼリアルタイムで最終的なフリッカパラメータＣ，Ｓを演算することができる。
【００７４】
なお、式（１１）の代わりに、行毎の重み係数ｗｙを導入した次式（１２）を採用してもよい。
【数１２】
2016034094.tif 000014
・・・（１２）
【００７５】
この場合、行毎の重み係数ｗｙを参照値生成部２４が行毎の画素値分布、具体的には、行毎の画素値が飽和している画素数、または行毎の動体とみなせる画素数に応じ、それぞれの画素数が多いほど行毎の重み係数ｗｙを小さな値に設定する。
【００７６】
第１露光画像フリッカ補正部２７は、フリッカパラメータ推定部２６から入力されるフリッカパラメータＣ，Ｓからフリッカ成分の波形を復元し、第１露光画像の各画素にフリッカ強度の逆数を乗算することにより、第１露光画像に生じているフリッカを補正したフリッカ補正第１露光画像を生成する。なお、生成されたフリッカ補正第１露光画像は、補正が不要な第２露光画像とともに画像処理部１２から後段のHDR画像生成部１３に出力される。
【００７７】
＜フリッカ補正処理の説明＞
次に、図８は、画像処理部１２の第１の構成例によるフリッカ補正処理を説明するフローチャートである。
【００７８】
ステップＳ１において、画像処理部１２は、画像の全ての行を順にフリッカ補正の対象とする対象行として選択する。ステップＳ２において、画像処理部１２は、対象行における第１露光画像に属する画素の画素値を行積算部２１に出力する。行積算部２１は、画素部１１から行単位で入力された第１露光画像の画素値を積算し、その結果得られた行積算値を積算比率算出部２３に出力する。ステップＳ２の処理と同時にステップＳ３において、画像処理部１２は、対象行における第２露光画像に属する画素の画素値を行積算部２２に出力する。行積算部２２は、画素部１１から行単位で入力された第２露光画像の画素値を積算し、その結果得られた行積算値を積算比率算出部２３に出力する。
【００７９】
ステップＳ４において、積算比率算出部２３は、行積算部２１から入力された第１露光画像の画素値の行積算値を、行積算部２２から入力された第２露光画像の画素値の行積算値で除算することにより、対象行の行積算比、すなわち、フリッカ成分の観測値ratio（ｙ）を算出して参照値積算部２５に出力する。
【００８０】
ステップＳ５において、参照値生成部２４は、対象行に対応する参照値cos（ωｙ）およびsin（ωｙ）を生成して参照値積算部２５に出力する。ステップＳ６において、参照値積算部２５は、積算比率算出部２３から入力された観測値ratio（ｙ）−１に、参照値生成部２４から入力された参照値cos（ωｙ）とsin（ωｙ）をそれぞれ乗算して、それまでの乗算結果に積算する。
【００８１】
ステップＳ７において、画像処理部１２は、画像の全ての行を対象行に選択したか否かを判断する。選択されていない行が残っている場合、処理はステップＳ１に戻されて、それ以降が繰り返される。選択されていない行が残っていない、すなわち、行の全てが対象行に選択された場合、処理はステップＳ８に進められる。
【００８２】
ステップＳ８において、参照値積算部２５は、それまでに積算された、
Σ（ratio（ｙ）−１）・cos（ωｙ）と、Σ（ratio（ｙ）−１）・sin（ωｙ）をフリッカパラメータ推定部２６に出力する。フリッカパラメータ推定部２６は、参照値積算部２５からの入力を式（１０）に適用することにより、フリッカパラメータＣ，Ｓを推定して第１露光画像フリッカ補正部２７に出力する。
【００８３】
ステップＳ９において、第１露光画像フリッカ補正部２７は、第１露光画像の全ての画素を１画素ずつ補正対象画素に選択する。ステップＳ１０において、第１露光画像フリッカ補正部２７は、フリッカパラメータ推定部２６から入力されたフリッカパラメータＣ，Ｓからフリッカ成分の波形を復元し、補正対象画素が属する行のフリッカ強度の逆数を補正係数として算出する。
【００８４】
ステップＳ１１において、第１露光画像フリッカ補正部２７は、補正対象画素の位置にフリッカ現象が生じているか否かを判断し、生じている場合にはステップＳ１２として、補正対象画素の画素値に補正係数を乗算することにより、フリッカ補正第１露光画像の画素値を生成する。フリッカ現象が生じていない場合にはステップＳ１２をスキップする。
【００８５】
ステップＳ１３において、第１露光画像フリッカ補正部２７は、第１露光画像の全ての画素が補正対象画素に選択されたか否かを判断する。選択されていない画素残っている場合、処理はステップＳ９に戻されて、それ以降が繰り返される。選択されていない画素残っていない、すなわち、第１露光画像の画素の全てが補正対象画素に選択された場合、該フリッカ補正処理は終了される。
【００８６】
なお、生成されたフリッカ補正第１露光画像は、補正が不要な第２露光画像とともに画像処理部１２から後段のHDR画像生成部１３に出力される。以上で、画像処理部１２の第１の構成例によるフリッカ補正処理の説明を終了する。
【００８７】
＜画像処理部１２の第２の構成例＞
次に、図９は、画像処理部１２の他の構成例（第２の構成例）を示している。
【００８８】
該第２の構成例は、図５に示された第１の構成例に対して積算重み設定部３１を追加したものであり、第１の構成例と共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
【００８９】
積算重み設定部３１は、行積算部２１および２２にて行毎に画素値を積算するに際しての係数（以下、積算重み係数と称する）を０．０から１．０の範囲の値に設定する。
【００９０】
図１０は、積算重み係数の設定方法の例を示している。例えば同図Ａに示されるように、積算重み設定部３１は、画素値が飽和レベルに近づくほど積算重み係数をより小さな値に設定し、画素値が飽和レベルに達した場合、該画素値が実質的に積算されないように積算重み係数を０に設定する。
【００９１】
また例えば同図Ｂに示されるように、積算重み設定部３１は、各画素位置において被写体が動いているか否かを判定し、その動き量が大きくなるほど積算重み係数をより小さな値に設定し、被写体の動きが動体とみなせるレベルに達した場合、該画素値が実質的に積算されないように積算重み係数を０に設定する。
【００９２】
なお、同図Ａおよび同図Ｂに示された積算重み係数の設定方法は、どちらか一方だけを採用してもよいし、両方を組み合わせて採用してもよい。
【００９３】
＜画像処理部１２の第３の構成例＞
図１１は、画像処理部１２のさらに他の構成例（第３の構成例）を示している。
【００９４】
該第３の構成例は、画素部１１が画像処理部１２に出力する第１露光画像および第２露光画像がRawデータである場合に対応する構成例であり、各色チャネル（同図の場合、R,G,B）にそれぞれ対応して、図５に示された第１の構成例と同様の構成が設けられている。なお、第１の構成例と共通する構成要素については同一の符号にR,G,Bのいずれかを付しているので、その説明は適宜省略する。
【００９５】
第３の構成例によれば、色チャネル毎にフリッカ補正第１露光画像を得ることができる。
【００９６】
＜画像処理部１２の第４の構成例＞
図１２は、画像処理部１２のさらに他の構成例（第４の構成例）を示している。
【００９７】
該第４の構成例は、画素部１１が画像処理部１２に出力する第１露光画像および第２露光画像がRawデータである場合に対応する構成例であって、図５に示された第１の構成例に対して輝度生成部４１および４２を追加したものである。なお、第１の構成例と共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
【００９８】
輝度生成部４１は、画素部１１から行単位で入力される第１露光画像の画素のRawデータから輝度を生成して行積算部２１に出力する。同様に、輝度生成部４２は、画素部１１から行単位で入力される第２露光画像の画素のRawデータから輝度を生成して行積算部２２に出力する。これにより、フリッカパラメータ推定部２６からは輝度に基づくパラメータが推定され、第１露光画像フリッカ補正部２７では、色チャネル毎にフリッカ補正が行われる。
【００９９】
第４の構成例によれば、輝度から推定されたフリッカパラメータに基づき、色チャネル毎に補正したフリッカ補正第１露光画像を得ることができる。
【０１００】
＜画像処理部１２の第５の構成例＞
図１３は、画像処理部１２のさらに他の構成例（第５の構成例）を示している。
【０１０１】
該第５の構成例は、図５に示された第１の構成例に対して検波領域設定部５１を追加したものであり、第１の構成例と共通する構成要素については同一の符号を付しているので、その説明は適宜省略する。
【０１０２】
検波領域設定部５１は、例えば、図１４に示されるように、画像を複数の領域（検波領域）に区分し、区分した結果を行積算部２１および２２に通知する。行積算部２１および２２以降においては、区分された検波領域毎にフリッカ補正処理を行うことができる。
【０１０３】
検波領域設定部５１による検波領域のサイズ、区分数などは任意であるが、フリッカ周期や輝度分布に合わせて検波領域を区切ることにより、フリッカ補正に対して効果的な検波領域毎のフリッカパラメータを推定できる。
【０１０４】
図１５は、検波領域設定部５１による検波領域の区分方法を説明する図である。同図Ａおよび同図Ｂは、フリッカ周期に合わせて検波領域の高さを設けた例である。すなわち、同図Ａおよび同図Ｂの場合、フリッカ現象による明るい部分に検波領域の区切りを一致させている。検波領域の高さはフリッカ周期の整数倍とする。同図Ｃは、画像全体の輝度分布に基づき、輝度のエッジに検波領域の区切りを一致させた例である。
【０１０５】
なお、フリッカ周期については、照明を駆動する交流電源の周波数（例えば、50Hzなど）とイメージセンサ１０の撮像設定に基づいて推測可能である。
【０１０６】
第５の構成例によれば、検波領域毎に補正したフリッカ補正第１露光画像を得ることができる。ただし、図１４に示されたように、交流電源によって駆動される照明の影響を受けずにフリッカ現象が生じない領域が画像内に存在する場合、該領域を含む検波領域ではフリッカ補正の効果が得られないことがある。そのような不都合を解消できる構成例について以降に説明する。
【０１０７】
＜画像処理部１２の第６の構成例＞
図１６は、画像処理部１２のさらに他の構成例（第６の構成例）を示している。
【０１０８】
該第６の構成例は、図５の第１の構成例（行積算部２１乃至フリッカパラメータ推定部２６、および第１露光画像フリッカ補正部２７）に、図１３の第５の構成例（行積算部２１乃至フリッカパラメータ推定部２６、および検波領域設定部５１）を組み合わせ、さらに、フリッカ強度推定部６１を追加したものである。
【０１０９】
フリッカ強度推定部６１は、画像全体から推定したフリッカパラメータと、図１７Ｂに示されるような検波領域毎に推定したフリッカパラメータに基づき、同図Ｃに示されるようなフリッカの発生強度の分布を推定する。さらに、推定したフリッカの発生強度の分布に基づいて、第１露光画像フリッカ補正部２７において第１露光画像の画素値に乗算する補正係数の適用強度を設定し、第１露光画像フリッカ補正部２７に通知する。
【０１１０】
フリッカの発生強度の分布の推定について説明する。以下、画像全体から推定したフリッカパラメータをＣｗ，Ｓｗとする。また、検波領域ｉに対して推定したフリッカパラメータをＣａｉ，Ｓａｉとする。
【０１１１】
フリッカ強度推定部６１は、振幅比SQR（Ｃｗ２＋Ｓｗ２）：SQR（Ｃａｉ２＋Ｓａｉ２）を算出するか、または、画像全体から推定したフリッカパラメータをベクトルｗ＝（Ｃｗ，Ｓｗ）とし、検波領域ｉに対して推定したフリッカパラメータをベクトルａｉ＝（Ｃａｉ，Ｓａｉ）として、図１８に示すように、ベクトルａｉのベクトルｗと位相が揃った成分（射影成分）として、検波領域ｉの画像全体に対する強度をａｉ・ｗ／｜ｗ｜によって算出し、ベクトルｗとベクトルａｉの振幅比を求める。さらに、振幅比に基づいて検波領域それぞれのフリッカ強度を計算し、各検波領域のフリッカ強度を所定の補間手法によって補間することにより、フリッカの発生強度の分布を推定する。
【０１１２】
第６の構成例によれば、画像全体におけるフリッカの発生強度の分布に応じて補正したフリッカ補正第１露光画像を得ることができる。
【０１１３】
＜画像処理部１２の第７の構成例＞
図１９は、画像処理部１２のさらに他の構成例（第７の構成例）を示している。
【０１１４】
該第７の構成例は、図１３に示された第５の構成例に、フリッカ強度推定部６１および全体フリッカパラメータ推定部７１を追加したものである。フリッカ強度推定部６１は、第６の構成例におけるものと同様である。
【０１１５】
全体フリッカパラメータ推定部７１は、フリッカパラメータ指定部２６にて検波領域毎に推定されたフリッカパラメータＣａｉ，Ｓａｉに基づいて画像全体のフリッカパラメータＣｗ，Ｓｗを推定する。
【０１１６】
具体的には、検波領域毎に推定されたフリッカパラメータＣａｉ，Ｓａｉの平均値を画像全体のフリッカパラメータＣｗ，Ｓｗとして採用したり、検波領域毎に推定されたフリッカパラメータＣａｉ，Ｓａｉの加重平均値を画像全体のフリッカパラメータＣｗ，Ｓｗとして採用したりする。加重平均は、例えば、フリッカ強度が小さい検波領域の重みは小さく設定したりする。また、例えば、各検波領域で画素値が飽和などせず実際に積算された画素の数が多いほど重みを大きく設定したりする。なお、重み付けの基準はこれらの例に限るものではない。
【０１１７】
フリッカ強度推定部７２は、推定された画像全体のフリッカパラメータＣｗ，Ｓｗと、検波領域毎に推定したフリッカパラメータＣａｉ，Ｓａｉに基づき、図１７Ｃに示されたようなフリッカの発生強度の分布を推定する。さらに、推定したフリッカの発生強度の分布に基づいて、第１露光画像フリッカ補正部２７において第１露光画像の画素値に乗算する補正係数の適用強度を設定し、第１露光画像フリッカ補正部２７に通知する。
【０１１８】
＜画像処理部１２の第７の構成例によるフリッカ補正処理について＞
検波領域設定部５１を有する構成例の代表として、第７の構成例によるフリッカ補正処理について説明する。
【０１１９】
図２０は、第７の構成例によるフリッカ補正処理を説明するフローチャートである。
【０１２０】
ステップＳ２１において、検波領域設定部５１は、画像を複数の検波領域に区分し、ステップＳ２２において、全ての検波領域を順に処理対象領域に選択する。
【０１２１】
ステップＳ２３において、画像処理部１２は、処理対象検波領域の全ての行を順にフリッカ補正の対象とする対象行として選択する。ステップＳ２４において、画像処理部１２は、対象行における第１露光画像に属する画素の画素値を行積算部２１に出力する。行積算部２１は、画素部１１から行単位で入力された第１露光画像の画素値を積算し、その結果得られた行積算値を積算比率算出部２３に出力する。ステップＳ２４の処理と同時にステップＳ２５において、画像処理部１２は、対象行における第２露光画像に属する画素の画素値を行積算部２２に出力する。行積算部２２は、画素部１１から行単位で入力された第２露光画像の画素値を積算し、その結果得られた行積算値を積算比率算出部２３に出力する。
【０１２２】
ステップＳ２６において、積算比率算出部２３は、行積算部２１から入力された第１露光画像の画素値の行積算値を、行積算部２２から入力された第２露光画像の画素値の行積算値で除算することにより、対象行の行積算比、すなわち、フリッカ成分の観測値ratio（ｙ）を算出して参照値積算部２５に出力する。
【０１２３】
ステップＳ２７において、参照値生成部２４は、対象行に対応する参照値cos（ωｙ）およびsin（ωｙ）を生成して参照値積算部２５に出力する。ステップＳ２８において、参照値積算部２５は、積算比率算出部２３から入力された観測値ratio（ｙ）−１に、参照値生成部２４から入力された参照値cos（ωｙ）とsin（ωｙ）をそれぞれ乗算して、それまでの乗算結果に積算する。
【０１２４】
ステップＳ２９において、画像処理部１２は、処理対象検波領域の全ての行を対象行に選択したか否かを判断する。選択されていない行が残っている場合、処理はステップＳ２３に戻されて、それ以降が繰り返される。選択されていない行が残っていない、すなわち、処理対象検波領域の全ての行が対象行に選択された場合、処理はステップＳ３０に進められる。
【０１２５】
ステップＳ３０において、参照値積算部２５は、それまでに積算された、
Σ（ratio（ｙ）−１）・cos（ωｙ）と、Σ（ratio（ｙ）−１）・sin（ωｙ）をフリッカパラメータ推定部２６に出力する。フリッカパラメータ推定部２６は、参照値積算部２５からの入力を式（１０）に適用することにより、現在の処理対象検波領域に対応するフリッカパラメータＣａｉ，Ｓａｉを推定して第１露光画像フリッカ補正部２７に出力する。
【０１２６】
ステップＳ３１において、検波領域設定部５１は、全ての検波領域を処理対象領域に選択したか否かを判断する。選択されていない検波領域が残っている場合、処理はステップＳ２２に戻されて、それ以降が繰り返される。選択されていない検波領域が残っていない、すなわち、全ての検波領域が処理対象検波領域に選択され、それぞれに対応するフリッカパラメータＣａｉ，Ｓａｉが推定済である場合、処理はステップＳ３２に進められる。
【０１２７】
ステップＳ３２において、全体フリッカパラメータ推定部７１は、フリッカパラメータ指定部２６が検波領域毎に推定したフリッカパラメータＣａｉ，Ｓａｉに基づいて画像全体のフリッカパラメータＣｗ，Ｓｗを推定する。
【０１２８】
ステップＳ３３において、フリッカ強度推定部７２は、推定された画像全体のフリッカパラメータＣｗ，Ｓｗと、検波領域毎に推定したフリッカパラメータＣａｉ，Ｓａｉに基づき、フリッカの発生強度の分布を推定する。さらに、推定したフリッカの発生強度の分布に基づいて、第１露光画像フリッカ補正部２７において第１露光画像の画素値に乗算する補正係数の適用強度を設定し、第１露光画像フリッカ補正部２７に通知する。
【０１２９】
ステップＳ３４において、第１露光画像フリッカ補正部２７は、第１露光画像の全ての画素を１画素ずつ補正対象画素に選択する。ステップＳ３５において、第１露光画像フリッカ補正部２７は、フリッカパラメータ推定部２６から入力されたフリッカパラメータＣ，Ｓからフリッカ成分の波形を復元し、補正対象画素が属する行のフリッカ強度の逆数に、フリッカの発生強度の分布に基づく適用強度を乗算して補正係数として算出する。
【０１３０】
ステップＳ３６において、第１露光画像フリッカ補正部２７は、補正対象画素の位置にフリッカ現象が生じているか否かを判断し、生じている場合にはステップＳ３７として、補正対象画素の画素値に補正係数を乗算することにより、フリッカ補正第１露光画像の画素値を生成する。フリッカ現象が生じていない場合にはステップＳ３７をスキップする。
【０１３１】
ステップＳ３８において、第１露光画像フリッカ補正部２７は、第１露光画像の全ての画素が補正対象画素に選択されたか否かを判断する。選択されていない画素が残っている場合、処理はステップＳ３４に戻されて、それ以降が繰り返される。選択されていない画素が残っていない、すなわち、第１露光画像の画素の全てが補正対象画素に選択された場合、該フリッカ補正処理は終了される。
【０１３２】
なお、生成されたフリッカ補正第１露光画像は、補正が不要な第２露光画像とともに画像処理部１２から後段のHDR画像生成部１３に出力される。以上で、画像処理部１２の第７の構成によるフリッカ補正処理の説明を終了する。
【０１３３】
＜画像処理部１２の第８の構成例＞
図２１は、画像処理部１２のさらに他の構成例（第８の構成例）を示している。
【０１３４】
該第８の構成例は、図１３に示された第５の構成例に対して、保持部８１を追加したものである。保持部８１は、フリッカパラメータ推定部２６から出力される、ほぼリアルタイムに推定されたフリッカパラメータＣ，Ｓを所定のフレーム数分（例えば、１フレーム分）だけ保持して第１露光画像フリッカ補正部２７に出力する。第１露光画像フリッカ補正部２７では、入力されたフリッカパラメータＣ，Ｓに基づいてフリッカ成分の波形を復元し、遅延分だけ位相をシフトしてから、その逆数を補正係数として算出して第１露光画像の補正を行う。
【０１３５】
第８の構成例によれば、前のフレームに基づいて推定したフリッカパラメータを用いて現フレームに生じたフリッカを補正することができる。したがって、フリッカパラメータをリアルタイムに推定できない場合などに適用できる。
【０１３６】
＜画像処理部１２の第９の構成例＞
図２２は、画像処理部１２のさらに他の構成例（第９の構成例）を示している。
【０１３７】
該第９の構成例は、図１３に示された第５の構成例に対して、第２露光画像を第１露光画像フリッカ補正部２７に供給するライン９１を追加したものである。
【０１３８】
この場合、第１露光画像フリッカ補正部２７では、第２露光画像の画素値に基づいて、第１露光画像を補正するための補正係数を変調する。
【０１３９】
第９の構成例によれば、例えば、ゲインアップ方向の補正係数を適用する場合、フリッカ補正第１露光画像の画素値が対応する第２露光画像の画素値を大きく超えるようなときには補正を弱めるように補正係数を変調することができる。
【０１４０】
＜画像処理部１２の第１０の構成例＞
図２３は、画像処理部１２のさらに他の構成例（第１０の構成例）を示している。
【０１４１】
該第１０の構成例は、図１９に示された第７の構成例に対して、フリッカ周波数推定部１０１を追加したものである。
【０１４２】
上述したように、フリッカ周期（周波数）については、照明を駆動する交流電源の周波数とイメージセンサ１０の撮像設定（シャッタ間隔等）に基づいて推測可能であるが、交流電源の周波数が規定値から微妙にずれているような場合、実際のフリッカ周期が推測値からずれることが起こり得る。該第１０の構成例は、そのような場合に対処できる。
【０１４３】
フリッカ周波数推定部１０１は、フリッカパラメータの時間推移に基づき、フリッカ周期を推定して参照値生成部２４および検波領域設定部５１に通知する。この場合、参照値生成部２４は、通知されたフリッカ周期に対して適応的に参照値を生成することができる。また、検波領域設定部５１は、通知されたフリッカ周期に対して適応的に検波領域を設定し直すことができる。
【０１４４】
＜フリッカ周期の推定＞
図２４は、フリッカ周波数推定部１０１におけるフリッカ周期の推定方法を説明するための図である。
【０１４５】
同時に示されるように、照明を駆動する交流電源の周波数が規定値で安定している場合、撮像されるフレーム間のフリッカ位相θも安定したものとなる。これに対して、照明を駆動する交流電源の周波数が規定値からずれている場合、撮像されるフレーム間のフリッカ位相θ’も事前計算のθとは異なる値になってしまう。そこで、実際に検波したフリッカ位相のずれ量から交流電源の周波数のずれを逆算して、実際にフリッカ周期を推定するようにする。以下により具体的に説明する。
【０１４６】
フリッカ周波数ωrealで推移するフリッカ成分の観測値
ratio（ｙ）＝Ｃreal・sin（ωrealｙ）＋Ｓreal・cos（ωrealｙ）を、参照周波数ωset、積分区間を２π／ωsetで検波した場合のフリッカパラメータＣ、Ｓの推定結果は次式（１３）となる。ただし、Δω＝ωreal−ωsetであり、Ｎは積分区間におけるサンプル数である。
【数１３】
2016034094.tif 000015
・・・（１３）
【０１４７】
ここで、Δωｙが微小であった場合、cos（Δωｙ）≒１、sin（Δωｙ）≒０とみなすことができるので、次式（１４）のとおりにフリッカパラメータＣ，Ｓの推定結果と実際の値が一致することになる。
【数１４】
2016034094.tif 000016
・・・（１４）
【０１４８】
また、Δωｙが微小であった場合、推定されたＣ，Ｓを用いて駆動電力の交流周波数のずれを推定できる。イメージセンサ１０の画素部１１におけるシャッタ間隔Ｔintervalで周期Ｔの波の位相がどれだけ回転するかを与える関数ph_rot（Ｔinterval，Ｔ）は次式（１５）となる。なお、位相は０から１の値で与えられる。
【数１５】
2016034094.tif 000017
・・・（１５）
【０１４９】
ここで、実際のフリッカ周期Ｔrealに対して、駆動電源の交流周波数の規定値から計算されるフリッカ周期Ｔsetで検波、補正した場合を考えると、実際にはフレーム間での位相回転がph_rot（Ｔinterval，Ｔreal）であるのに対して、検波、補正後のフレーム間での位相回転はph_rot（Ｔinterval，Ｔset）である。この差であるフリッカずれ量ph_diffは、
ph_diff＝ph_rot（Ｔinterval，Ｔset）−ph_rot（Ｔinterval，Ｔreal）となる。
【０１５０】
よって、式（１４）および式（１５）から実際のフリッカ周期Ｔrealは次式（１６）として求めることができる。
【数１６】
2016034094.tif 000018
・・・（１６）
【０１５１】
ただし、式（１６）におけるＮは次式（１７）に示すように、シャッタ間隔Ｔintervalの時間内に実際のフリッカ周期Ｔrealが収まる数を表す整数である。
【数１７】
2016034094.tif 000019
・・・（１７）
【０１５２】
この整数Ｎは未知数であるため、実際のフリッカ周期Ｔrealには整数Ｎに起因する曖昧性が生じてしまい一意に決定できない。ただし、実際のフリッカ周期Ｔrealに対して、値域を設定したり、駆動電源の交流周波数の規定値から計算されるＴsetに近い値を選択したりするようにすれば、整数Ｎに起因する曖昧性を時間的に解消することができる。なお、整数Ｎに起因する曖昧性は空間的に解消することもできる。
【０１５３】
図２５は、整数Ｎに起因の曖昧性を空間的に解消する方法を説明するための図である。
【０１５４】
まず、区分された複数の検波領域を横方向に連結した領域、すなわち、画像を垂直方向に分割した領域毎にフリッカパラメータＣ，Ｓを推定し、それらからそれぞれ推定した周期Ｔreal候補の集合をＭｆとする。
【０１５５】
画像を垂直方向に分割した場合、各領域から推定されるフリッカ位相は、その垂直位置に応じて回転している。よって、実際のフリッカ周波数が電源の交流周波数に基づいて計算されるフリッカ周波数とずれている場合、上述したように、フレーム間でのフリッカ位相の回転量がずれるのと同様に、垂直方向のフリッカ位相も回転量がずれることになる。そこで、垂直方向のフリッカ位相回転量のずれを用いて、上述した方法と同様に、周期Ｔreal推定し、これらの周期Ｔreal候補の集合をＭｖとして、集合Ｍｆ，Ｍｖを参照して周期Ｔrealを決定すればよい。
【０１５６】
＜まとめ＞
以上に説明したように、本実施の形態である画像処理部１２の第１乃至１０の構成例によれば、フリッカ波形を保持するメモリが必要なく、one-passでフリッカパラメータＣ，Ｓを得ることができる。よって、ハードウェア構成や処理時間を削減しつつフリッカ補正をおこなうことができる。
【０１５７】
また、過去のフレームからではなく、現フレームからフリッカパラメータを推定することができるので、長周期のフリッカなどをその周期に拘わらず補正することが可能となる。
【０１５８】
＜フリッカ成分の近似式の変形例＞
上述した本実施の形態においては、フリッカ成分をsin波で近似したが、互いに直交する参照値の足し合わせによって近似するようにしてもよい。このとき、参照値積算部２５におけるそれぞれの参照値との積算は並列に処理することができる。
【０１５９】
例えば、第１次から第Ｎ次までのsin波は互いに直交するので、フリッカ成分は、次式（１８）に示されるように、第１次から第Ｎ次までのsin波の足し合わせで近似することができる。
【数１８】
2016034094.tif 000020
・・・（１８）
【０１６０】
この場合、参照値積算部２５では、
行積算値と積算値（ratioｙ−１）・COS（ｎωｙ），（ratioｙ−１）・COS（ｎωｙ）
および参照値の積算値sin２（ｎωｙ），sin（ｎωｙ）COS（ｎωｙ），cos２（ｎωｙ）を算出して積算することになる。ただし、ｎは１からＮの整数である。
【０１６１】
また、フリッカパラメータ推定部２６では、次式（１９）に従い、各次数ｎのフリッカパラメータＣｎ，Ｓｎを並列に推定することができる。
【数１９】
2016034094.tif 000021
・・・（１９）
【０１６２】
＜参照値生成の変形例＞
上述した本実施の形態においては、フリッカパラメータの推定に最小二乗法を用いていたが、最小二乗法以外の解析的な手法を用いてフリッカパラメータを推定してもよい。
【０１６３】
例えば、図２６に示されるように、画像上に出現するフリッカ周期に対して１／４の間隔で画素値の行積算を行い、行積算比率を算出してもよい。
【０１６４】
この場合、ｙ０，ｙ１，ｙ２，ｙ３における観測値ｒ０，ｒ１，ｒ２，ｒ３は次式（２０）に示されるように近似できる。
【数２０】
2016034094.tif 000022
・・・（２０）
【０１６５】
なお、ωｙ１，ωｙ２，ωｙ３は、それぞれ次式（２１）のようにωｙ０を用いて書き換えることができる。
【数２１】
2016034094.tif 000023
・・・（２１）
【０１６６】
したがって、式（２０）は次式（２２）のように書き換えることができる。
【数２２】
2016034094.tif 000024
・・・（２２）
【０１６７】
式（２２）をＣ，Ｓについて解くことにより次式（２３）を得ることができる。すなわち、解析的にフリッカパラメータＣ，Ｓを得ることができる。
【数２３】
2016034094.tif 000025
・・・（２３）
【０１６８】
すなわち、この場合、図２６に示されたように、２種類の参照値を設定し、それぞれの積算結果の総和からフリッカパラメータＣ，Ｓを解析的に求めることが可能であるといえる。
【０１６９】
さらに、図２６に示された例の他、次式（２４）を用いる直交検波によりフリッカパラメータＣ，Ｓを推定するようにしてもよい。
【数２４】
2016034094.tif 000026
・・・（２４）
【０１７０】
＜コンピュータの構成例＞
とろこで、上述した画像処理部１２の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１７１】
図２７２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７２】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１７３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
【０１７４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１７５】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７６】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１７７】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７８】
本開示は以下のような構成も取ることができる。
（１）
第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、
前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、
行毎に参照値を生成する参照値生成部と、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部と
を備える画像処理装置。
（２）
前記第２露光画像が撮像された際の前記第２露光時間は、フリッカレスシャッタ時間となる、前記第１露光画像に生じ得るフリッカの周期の整数倍である
前記（１）に記載の画像処理装置。
（３）
前記行積算比率算出部は、行毎に露光時間の差を調整した前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する
前記（１）または（２）に記載の画像処理装置。
（４）
前記フリッカパラメータ推定部は、前記総和に基づき、前記第１露光画像に生じたフリッカの前記フリッカパラメータを最小二乗法を用いて推定する
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記フリッカパラメータ推定部は、前記総和に基づき、前記第１露光画像に生じたフリッカの成分をsin波で近似する場合における振幅と位相を前記フリッカパラメータとして推定する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記第１行積算部および前記第２行積算部のそれぞれにおいて行毎に画素値を積算するときに前記画素値に乗算するための積算重み係数を設定する積算重み設定部を
さらに備える前記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記参照値積算部は、行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果に重み係数を乗算して積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）
画素値の色チャネル毎に前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、前記フリッカパラメータ推定部、および前記フリッカ補正部を備える
前記（１）から（５）のいずれかに記載の画像処理装置。
（９）
画素値の各色チャネル成分から輝度を生成する輝度生成部をさらに備え、
前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、および前記フリッカパラメータ推定部は、前記輝度を前記画素値とみなすことにより、前記輝度に基づく前記フリッカパラメータを推定し、
前記フリッカ補正部は、前記輝度に基づいて推定された前記フリッカパラメータ前記第１露光画像に生じたフリッカを色チャネル毎に補正する
前記（１）から（５）のいずれかに記載の画像処理装置。
（１０）
前記第１露光画像および前記第２露光画像に複数の検波領域を設定する検波領域設定部をさらに備え、
前記第１行積算部、前記第２行積算部、前記行積算比率算出部、前記参照値生成部、前記参照値積算部、および前記フリッカパラメータ推定部は、それぞれの処理を前記検波領域毎に実行することにより、前記検波領域毎の前記フリッカパラメータを推定する
前記（１）から（５）のいずれかに記載の画像処理装置。
（１１）
推定された前記検波領域毎の前記フリッカパラメータに基づき、前記フリッカの発生強度の分布を推定するフリッカ強度推定部をさらに備え、
前記フリッカ補正部は、推定された前記フリッカの発生強度の分布にも基づいて前記第１露光画像に生じたフリッカを補正する
前記（１０）に記載の画像処理装置。
（１２）
推定された前記検波領域毎の前記フリッカパラメータに基づき、画像全体の前記フリッカパラメータを推定する全体フリッカパラメータ推定部をさらに備え、
前記フリッカ強度推定部は、推定された前記検波領域毎の前記フリッカパラメータ、および画像全体の前記フリッカパラメータに基づき、前記フリッカの発生強度の分布を推定する
前記（１０）に記載の画像処理装置。
（１３）
前記フリッカ補正部は、現フレームの前記第１露光画像および前記第２露光画像から推定された前記フリッカパラメータに基づいて、現フレームの前記第１露光画像に生じたフリッカを補正する
前記（１）から（１２）のいずれかに記載の画像処理装置。
（１４）
現フレームよりも以前のフレームの前記第１露光画像および前記第２露光画像から推定された前記フリッカパラメータを保持する保持部をさらに備え、
前記フリッカ補正部は、保持されている前記フリッカパラメータに基づいて、現フレームの前記第１露光画像に生じたフリッカを補正する
前記（１）から（１３）のいずれかに記載の画像処理装置。
（１５）
前記フリッカ補正部は、推定された前記フリッカパラメータと前記第２露光画像に基づいて、現フレームの前記第１露光画像に生じたフリッカを補正する
前記（１）から（１４）のいずれかに記載の画像処理装置。
（１６）
推定された前記フリッカパラメータの時間的または空間的な推移に基づいて前記第１露光画像に生じた前記フリッカの周期を推定するフリッカ周波数推定部を
さらに備える前記（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
前記検波領域設定部は、推定された前記フリッカの周期に基づき、前記第１露光画像および前記第２露光画像に複数の検波領域を設定する
前記（１０）に記載の画像処理装置。
（１８）
画像処理装置の画像処理方法において、
前記画像処理装置による、
第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算ステップと、
前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算ステップと、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出ステップと、
行毎に参照値を生成する参照値生成ステップと、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算ステップと、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定ステップと、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正ステップと
を含む画像処理方法。
（１９）
コンピュータを、
第１露光時間でローリングシャッタにより撮像された第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、
前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間でローリングシャッタにより撮像された第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、
行毎に参照値を生成する参照値生成部と、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部と
して機能させるプログラム。
（２０）
画素部と、
画像処理部を有するイメージセンサにおいて、
前記画素部は、
画素毎に露光条件を設定可能であって、第１露光時間が設定された画素をローリングシャッタにより読み出した第１露光画像と、前記第１露光画像と被写体および画角が共通であって、前記第１露光時間と重複する期間を有する第２露光時間が設定された画素をローリングシャッタにより読み出した第２露光画像を前記画像処理部に出力し、
前記画像処理部は、
前記第１露光画像の画素値を行毎に積算することにより行毎の第１行積算値を計算する第１行積算部と、
前記第２露光画像の画素値を行毎に積算することにより行毎の第２行積算値を計算する第２行積算部と、
行毎に前記第１行積算値を前記第２行積算値で除算することにより行積算比率を算出する行積算比率算出部と、
行毎に参照値を生成する参照値生成部と、
行毎に前記積算比率に前記参照値を乗算し、全ての行にそれぞれ対応する乗算結果を積算することにより、前記積算比率と前記参照値の乗算結果の総和を算出する参照値積算部と、
前記総和に基づき、前記第１露光画像に生じたフリッカのフリッカパラメータを推定するフリッカパラメータ推定部と、
推定された前記フリッカパラメータに基づいて前記第１露光画像に生じたフリッカを補正するフリッカ補正部と
を備える
イメージセンサ。
【符号の説明】
【０１７９】
１０  イメージセンサ，  １１  画素部，  １２  画像処理部，  １３  HDR画像生成部，  ２１  行積算部，２２  行積算部，  ２３  積算比率算出部，  ２４  参照値生成部，  ２５  参照値積算部，  ２６  フリッカパラメータ推定部，  ２７  第１露光画像フリッカ補正部，  ３１  積算重み設定部，  ４１  輝度生成部，  ４２  輝度生成部，  ５１  検波領域設定部，  ６１  フリッカ強度推定部，  ７１  全体フリッカパラメータ推定部，  ８１  遅延部，  １０１  フリッカ周波数推定部，  ２００  コンピュータ，  ２０１  CPU
【図１】
2016034094.tif 000027
【図２】
2016034094.tif 000028
【図３】
2016034094.tif 000029
【図４】
2016034094.tif 000030
【図５】
2016034094.tif 000031
【図６】
2016034094.tif 000032
【図７】
2016034094.tif 000033
【図８】
2016034094.tif 000034
【図９】
2016034094.tif 000035
【図１０】
2016034094.tif 000036
【図１１】
2016034094.tif 000037
【図１２】
2016034094.tif 000038
【図１３】
2016034094.tif 000039
【図１４】
2016034094.tif 000040
【図１５】
2016034094.tif 000041
【図１６】
2016034094.tif 000042
【図１７】
2016034094.tif 000043
【図１８】
2016034094.tif 000044
【図１９】
2016034094.tif 000045
【図２０】
2016034094.tif 000046
【図２１】
2016034094.tif 000047
【図２２】
2016034094.tif 000048
【図２３】
2016034094.tif 000049
【図２４】
2016034094.tif 000050
【図２５】
2016034094.tif 000051
【図２６】
2016034094.tif 000052
【図２７】
2016034094.tif 000053