(57)【要約】【課題】フリッカの検出精度の劣化を抑制する。【解決手段】画像のフレームからフリッカ成分が抽出され、最新のフリッカ成分から、次にフリッカ成分を抽出する対象のフレームから抽出されるフリッカ成分までの間に補間するフリッカ成分である補間成分が生成される。補間成分の生成では、フレームから抽出されるフリッカ成分の位相を維持する最小のサンプル数の補間成分が生成される。本技術は、例えば、フリッカを検出する場合に適用することができる。【選択図】図１０
2016158004.tif 000002
【特許請求の範囲】
【請求項１】
画像のフレームからフリッカ成分を抽出する抽出部と、
最新のフリッカ成分から、次にフリッカ成分を抽出する対象のフレームから抽出されるフリッカ成分までの間に補間するフリッカ成分である補間成分を生成する補間部と、
前記フリッカ成分、及び、前記補間成分に基づいて、フリッカを検出する検出部と
を備え、
前記補間部は、前記フレームから抽出されるフリッカ成分の位相を維持する最小のサンプル数の補間成分を生成する
信号処理装置。
【請求項２】
前記補間部は、前記最新のフリッカ成分が抽出されたフレームから抽出されたフリッカ成分を用いて、前記補間成分を生成する
請求項１に記載の信号処理装置。
【請求項３】
前記補間部は、前記最新のフリッカ成分を用いて、前記補間成分を生成する
請求項１に記載の信号処理装置。
【請求項４】
前記補間部は、前記補間成分を補間する２サンプルの前記フリッカ成分の間を、所定の補間方式で補間する前記補間成分を生成する
請求項１に記載の信号処理装置。
【請求項５】
前記補間部は、前記補間成分を補間する２サンプルの前記フリッカ成分の間を、線形補間する前記補間成分を生成する
請求項４に記載の信号処理装置。
【請求項６】
画像のフレームからフリッカ成分を抽出することと、
最新のフリッカ成分から、次にフリッカ成分を抽出する対象のフレームから抽出されるフリッカ成分までの間に補間するフリッカ成分である補間成分を生成することと、
前記フリッカ成分、及び、前記補間成分に基づいて、フリッカを検出することと
を含み、
前記補間成分の生成では、前記フレームから抽出されるフリッカ成分の位相を維持する最小のサンプル数の補間成分を生成する
信号処理方法。
【請求項７】
画像のフレームからフリッカ成分を抽出する抽出部と、
最新のフリッカ成分から、次にフリッカ成分を抽出する対象のフレームから抽出されるフリッカ成分までの間に補間するフリッカ成分である補間成分を生成する補間部と、
前記フリッカ成分、及び、前記補間成分に基づいて、フリッカを検出する検出部と
して、コンピュータを機能させるプログラムであり、
前記補間部は、前記フレームから抽出されるフリッカ成分の位相を維持する最小のサンプル数の補間成分を生成する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、信号処理方法、及び、プログラムに関し、特に、例えば、フリッカの検出精度の劣化を抑制することができるようにする信号処理装置、信号処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、ローリングシャッタ（フォーカルプレーンシャッタ）のイメージセンサ（撮像素子）を有する撮影装置で、画像を撮影する場合、フリッカと呼ばれる横縞状の輝度変化（明暗差）が画像に現れることがある。すなわち、例えば、照明の電源周波数と、イメージセンサの露光時間の位相とが一致していない場合には、フリッカと呼ばれる横縞状の輝度変化が、撮影装置で撮影される画像に現れる。
【０００３】
フリッカに対処する方法、すなわち、フリッカを防止、又は、除去する方法としては、例えば、フリッカの周期（照明の電源周期）の逓倍の時間で露光する方法や、フリッカとしての明暗差を打ち消すゲインをかける方法がある。
【０００４】
しかしながら、フリッカに対処する方法が、フリッカが生じない状況で撮影される画像に対して適用されると、その画像の画質に悪影響を及ぼすおそれがある。そのため、フリッカに対処する方法を適用するにあたっては、フリッカ（の有無）を精度良く検出することが要請される。
【０００５】
フリッカを検出する方法としては、例えば、画像の複数ライン（水平ライン）ごとに、輝度の積算値を求め、その輝度の積算値から得られる、画像に含まれるフリッカ成分のサンプル（値）を用いたDFT(Discrete Fourier Transform)によって、フリッカを検出する方法がある（例えば、特許文献１や２を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2013-051523号公報
【特許文献２】特開2010-063169号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
例えば、撮影装置の回路規模の制約等から、1フレームの画像から取得することができるフリッカ成分のサンプル数が、DFTに必要なサンプル数に満たない場合、連続した複数のフレームに亘って、DFTに必要なサンプル数のフリッカ成分（のサンプル）を取得する必要がある。
【０００８】
しかしながら、フレーム間のブランキング期間については、フリッカ成分を取得することができない。
【０００９】
また、例えば、撮影装置のFW(firmware)処理の負荷の都合で、撮影装置で撮影されるすべてのフレームについて、フリッカ成分を取得することができないことがある。すなわち、フリッカ成分の取得が、例えば、1又は複数のフレームおきに制限されることがある。
【００１０】
撮影装置で撮影される画像からフリッカ成分を取得することができない期間を考慮せずに、DFTに必要なサンプル数のフリッカ成分を並べてDFTを行うと、そのDFTの結果得られるフリッカ成分の周波数成分に誤差が生じ、フリッカの検出精度が劣化することがある。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、フリッカの検出精度の劣化を抑制することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の信号処理装置、又は、プログラムは、画像のフレームからフリッカ成分を抽出する抽出部と、最新のフリッカ成分から、次にフリッカ成分を抽出する対象のフレームから抽出されるフリッカ成分までの間に補間するフリッカ成分である補間成分を生成する補間部と、前記フリッカ成分、及び、前記補間成分に基づいて、フリッカを検出する検出部とを備え、前記補間部は、前記フレームから抽出されるフリッカ成分の位相を維持する最小のサンプル数の補間成分を生成する信号処理装置、又は、そのような信号処理装置として、コンピュータを機能させるためのプログラムである。
【００１３】
本技術の信号処理方法は、画像のフレームからフリッカ成分を抽出することと、最新のフリッカ成分から、次にフリッカ成分を抽出する対象のフレームから抽出されるフリッカ成分までの間に補間するフリッカ成分である補間成分を生成することと、前記フリッカ成分、及び、前記補間成分に基づいて、フリッカを検出することとを含み、前記補間成分の生成では、前記フレームから抽出されるフリッカ成分の位相を維持する最小のサンプル数の補間成分を生成する信号処理方法である。
【００１４】
本技術の信号処理装置、信号処理方法、及び、プログラムにおいては、画像のフレームからフリッカ成分が抽出され、最新のフリッカ成分から、次にフリッカ成分を抽出する対象のフレームから抽出されるフリッカ成分までの間に補間するフリッカ成分である補間成分が生成される。そして、前記フリッカ成分、及び、前記補間成分に基づいて、フリッカが検出される。前記補間成分の生成では、前記フレームから抽出されるフリッカ成分の位相を維持する最小のサンプル数の補間成分が生成される。
【００１５】
なお、信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１６】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１７】
本技術によれば、フリッカの検出精度の劣化を抑制することができる。
【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。
【図２】ローリングシャッタのイメージセンサを有する撮影装置で撮影された画像の例を示す図である。
【図３】フリッカの周期（照明の電源周期）の逓倍の時間で露光を行うことで、フリッカを防止する方法を説明する図である。
【図４】フリッカの検出方法の第１の例を説明する図である。
【図５】フリッカの検出方法の第２の例を説明する図である。
【図６】信号処理部４を構成するフリッカ処理装置の構成例を示すブロック図である。
【図７】フリッカ検出部２１の構成例を示すブロック図である。
【図８】フリッカ検出部２１が行うフリッカ検出処理の例を説明するフローチャートである。
【図９】フリッカ成分補間部３５での補間成分の生成の詳細の第１の例を示す図である。
【図１０】フリッカ成分補間部３５での補間成分の生成の詳細の第２の例を示す図である。
【図１１】フリッカ成分補間部３５での補間成分の生成の詳細の第３の例を示す図である。
【図１２】フリッカ成分のDFTのシミュレーションのシミュレーション結果を示す図である。
【図１３】カメラモジュールを使用する使用例を示す図である。
【図１４】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
＜本技術を適用したカメラモジュールの一実施の形態＞
【００２１】
図１は、本技術を適用したカメラモジュールの一実施の形態の構成例を示すブロック図である。
【００２２】
なお、カメラモジュールは、静止画、及び、動画のいずれも撮影することができる。
【００２３】
図１において、カメラモジュールは、光学系１、イメージセンサ２、メモリ３、信号処理部４、出力部５、及び、制御部６を有する。
【００２４】
光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、イメージセンサ２に入射させる。
【００２５】
イメージセンサ２は、例えば、ローリングシャッタのCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、光学系１からの入射光を受光し、光電変換を行って、光学系１からの入射光に対応する画像データを出力する。
【００２６】
メモリ３は、イメージセンサ２が出力する画像データを一時記憶する。
【００２７】
信号処理部４は、メモリ３に記憶された画像データを用いた信号処理としての、例えば、フリッカの検出や、フリッカが検出された場合の対処、ノイズの除去、ホワイトバランスの調整等の各種の処理を行い、出力部５に供給する。
【００２８】
出力部５は、信号処理部４からの画像データを出力する。
【００２９】
すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの画像データに対応する画像を、いわゆるスルー画として表示する。
【００３０】
また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの画像データを記録媒体（図示せず）に記録する。
【００３１】
制御部６は、ユーザの操作等に従い、カメラモジュールを構成する各ブロックを制御する。
【００３２】
以上のように構成されるカメラモジュールでは、イメージセンサ２が、光学系１からの入射光を受光し、その入射光に応じて、画像データを出力する。
【００３３】
イメージセンサ２が出力する画像データは、メモリ３に供給されて記憶される。メモリ３に記憶された画像データについては、信号処理部４による信号処理が施され、その結果得られる画像データは、出力部５に供給されて出力される。
【００３４】
＜フリッカの説明＞
【００３５】
図２は、ローリングシャッタのイメージセンサを有する撮影装置で撮影された画像の例を示す図である。
【００３６】
図２の画像では、フリッカの周波数（照明の電源周波数）と、イメージセンサの露光時間の位相とが一致しておらず、そのため、横縞状の輝度変化（明暗差）であるフリッカが生じている。
【００３７】
図３は、フリッカの周期（照明の電源周期）の逓倍の時間で露光を行うことで、フリッカを防止する方法を説明する図である。
【００３８】
なお、図３において、横軸は、時間を表し、縦軸は、撮影装置での撮影により得られる撮影画像のライン（の位置）を表す。
【００３９】
図３のＡは、イメージセンサの露光時間が、フリッカの周期の逓倍の時間になっていない場合の、撮影画像の撮影時のイメージセンサの各ラインの露光の様子を示している。
【００４０】
ローリングシャッタのイメージセンサでは、露光が行われる露光期間（露光の開始から終了までの期間）が、ラインごとにずれていく（遅延していく）。
【００４１】
そのため、イメージセンサの露光時間、すなわち、露光期間の長さが、フリッカの周期の逓倍の時間になっていない場合には、イメージセンサの各ライン（の画素）において、フリッカ成分としての輝度が露光期間に積分されることにより得られる積分値が異なる。その結果、イメージセンサで撮影される撮影画像の明るさは、ラインごとに変化し、そのラインごとの明るさの変化であるフリッカが現れる。
【００４２】
図３のＢは、イメージセンサの露光時間が、フリッカの周期の逓倍の時間になっている場合の、撮影画像の撮影時のイメージセンサの各ラインの露光の様子を示している。
【００４３】
図３のＢでは、イメージセンサの露光時間が、フリッカの周期に一致している。そのため、イメージセンサの各ラインにおいて、フリッカ成分としての輝度が露光期間に積分されることにより得られる積分値は、フリッカ成分の1周期分の積分値になり、一定になる。その結果、イメージセンサで撮影される撮影画像の明るさは、各ラインで一定になり、フリッカは現れない。
【００４４】
しかしながら、イメージセンサの露光時間を、フリッカの周期の逓倍の時間に固定すると、フリッカが生じない状況での撮影では、例えば、露出過多となって、撮影画像の画質に悪影響を及ぼすおそれがある。
【００４５】
そこで、図１のカメラモジュールは、撮影画像からフリッカの有無を検出し、フリッカが検出された場合に、フリッカに対処する（フリッカを防止、又は、除去する）。
【００４６】
＜フリッカの検出方法＞
【００４７】
図４は、フリッカの検出方法の第１の例を説明する図である。
【００４８】
なお、図４において、横軸は、時間を表し、縦軸は、撮影画像のラインを表す。
【００４９】
図４は、図１のカメラモジュールにおいて、撮影画像のフレームごとに、そのフレームからフリッカ成分を抽出することができる場合の、フリッカの検出方法の例を示している。
【００５０】
図４において、カメラモジュールは、撮影画像の各フレームから、フリッカ成分を抽出する。
【００５１】
すなわち、カメラモジュールは、撮影画像のフレームの1ライン又は複数ラインごとに、輝度の積算値を求める。
【００５２】
ここで、輝度の積算値を求める1又は複数ラインを、検波枠ともいう。1フレームについて、検波枠は、あらかじめ決められており、カメラモジュールは、フレームの各検波枠について、輝度の積算値を求める。以下、検波枠の輝度の積算値を、検波枠積算値ともいう。
【００５３】
カメラモジュールは、いま、注目している注目フレームと、その注目フレームの直前のフレームとの同一位置の検波枠の検波枠積算値どうしの、例えば、比又は差を、注目フレームのフリッカ成分として求める。
【００５４】
図４では、フレーム#n, #n+1, #n+2, #n+3, #n+4, ...から、順次、フリッカ成分が抽出されている。
【００５５】
いま、1つの検波枠から得られるフリッカ成分を、1サンプルのフリッカ成分、又は、フリッカ成分と1サンプルともいう。また、フリッカ成分の周波数成分（スペクトル）を求める周波数変換としてのDFTを行うのに必要なフリッカ成分のサンプル数が、Mサンプルであるとする。さらに、1フレームの検波枠としては、N個の検波枠があらかじめ決められており、したがって、1フレームからは、Nサンプルのフリッカ成分が抽出されることとする。
【００５６】
なお、本実施の形態では、DFTに必要なサンプル数Mは、1フレームから抽出されるフリッカ成分のサンプル数Nよりも大であることとする。すなわち、フリッカ成分のDFTには、1フレームを超えるフレーム数のフレームから抽出されるサンプル数のフリッカ成分が必要であることとする。
【００５７】
カメラモジュールは、最新のMサンプルのフリッカ成分のDFTを行うことにより、フリッカ成分の周波数成分を求める。
【００５８】
そして、カメラモジュールは、フリッカ成分の周波数成分に基づいて、撮影画像のフリッカの有無を検出する。
【００５９】
すなわち、カメラモジュールは、例えば、フリッカ成分の周波数成分において、フリッカの周波数として想定している周波数（以下、想定周波数ともいう）付近の周波数に、所定の閾値以上のピークが存在する場合、想定周波数のフリッカがあることを検出（判定）する。
【００６０】
一方、例えば、フリッカ成分の周波数成分において、想定周波数付近の周波数に、ピークがない場合、又は、ピークがあっても、そのピークが所定の閾値以上でない場合には、カメラモジュールは、想定周波数のフリッカがないことを検出（判定）する。
【００６１】
なお、カメラモジュールにおいて、フリッカの検出は、複数の想定周波数に対して行うことができる。
【００６２】
図５は、フリッカの検出方法の第２の例を説明する図である。
【００６３】
なお、図５において、横軸は、時間を表し、縦軸は、撮影画像のラインを表す。
【００６４】
図５は、図１のカメラモジュールにおいて、撮影画像の各フレームからフリッカ成分を抽出することができず、フリッカ成分が欠損するフレームが存在する場合の、フリッカの検出方法の例を示している。
【００６５】
すなわち、図５では、カメラモジュールで行われる処理の負荷の都合で、フリッカ成分を抽出することができるフレームが、例えば、2フレームのうちの1フレームに制限されており、そのため、2フレームにつき、1フレームのフリッカ成分が欠損している。
【００６６】
図５では、フレーム#n, #n+2, #n+4, ...のフリッカ成分が抽出されており、フレーム#n+1, #n+3, ...のフリッカ成分が欠損している。
【００６７】
本実施の形態では、図４で説明したように、DFTに必要なサンプル数Mは、1フレームから抽出されるフリッカ成分の数Nよりも大である。
【００６８】
いま、説明を簡単にするため、DFTに必要なサンプル数Mが、例えば、2フレーム分のフリッカ成分のサンプル数2Nであることとする。
【００６９】
さらに、既に抽出されているフリッカ成分の、DFTに必要な最新のM=2Nサンプルを、単純に並べた系列を、単純系列ということとする。
【００７０】
フリッカ成分の欠損が生じている場合、単純系列は、フリッカ成分の系列を正しく表現しない。
【００７１】
すなわち、例えば、いま、フレーム#n+2を注目フレームとして、フリッカ成分が抽出されたこととすると、最新のM=2Nサンプルのフリッカ成分の単純系列は、フレーム#nから抽出されたNサンプルのフリッカ成分と、フレーム#n+2から抽出されたフリッカ成分とを並べた2Nサンプルのフリッカ成分になる。
【００７２】
かかるフリッカ成分の単純系列では、フレーム#nから見たときのフレーム#n+2から抽出されたフリッカ成分の位相（又は、フレーム#n+2から見たときのフレーム#nから抽出されたフリッカ成分の位相）が、フリッカ成分の欠損がない場合との比較で維持されていない。
【００７３】
そのため、単純系列のDFTの結果得られる周波数成分の精度が悪くなり（誤差が大になり）、かかる周波数成分に基づいて行われるフリッカの検出の検出精度も悪くなる。
【００７４】
そこで、図１のカメラモジュールは、フリッカ成分の欠損がある場合に、フリッカの検出精度の劣化を抑制する。
【００７５】
なお、本実施の形態では、説明を簡単にするため、フリッカ成分の欠損が、カメラモジュールの負荷の都合で、一部のフレームからフリッカ成分が抽出されないことに起因して生じることとする。但し、フリッカ成分の欠損は、その他、例えば、ブランキング期間でフリッカ成分を取得することができないこと等に起因して生じることがある。本技術は、フリッカ成分の欠損の原因によらず、フリッカ成分の欠損が生じる場合に適用することができる。
【００７６】
＜フリッカ処理装置の構成例＞
【００７７】
図６は、図１の信号処理部４を構成するフリッカ処理装置の構成例を示すブロック図である。
【００７８】
ここで、信号処理部４は、図１で説明したように、フリッカの検出や、フリッカが検出された場合の対処等の、フリッカに関するフリッカ処理を行う。
【００７９】
図６は、信号処理部４のうちの、フリッカ処理を行うフリッカ処理装置の構成例を示している。
【００８０】
図６において、フリッカ処理装置は、フリッカ検出部２１、及び、フリッカ対処部２２を有する。
【００８１】
フリッカ検出部２１には、メモリ３（図１）から、イメージセンサ２で撮影された撮影画像の画像データとしての、例えば、RAWデータが、例えば、フレーム（フィールドを含む）単位で順次供給される。
【００８２】
フリッカ検出部２１は、メモリ３からの撮影画像（のRAWデータ）のフレームから、フリッカの有無を検出し、その検出結果を表す検出情報を、フリッカ対処部２２に供給する。
【００８３】
フリッカ対処部２２は、フリッカ検出部２１からの検出情報が、フリッカが生じていることを表している場合、フリッカに対処する対処処理として、フリッカを防止する処理や、フリッカを除去する処理を行う。
【００８４】
フリッカを防止する処理としては、例えば、イメージセンサ２の露光時間を、フリッカの周期の逓倍の時間に設定する処理がある。また、フリッカを除去する処理としては、例えば、撮影画像に、フリッカとしての明暗差を打ち消すゲインをかける処理がある。
【００８５】
＜フリッカ検出部２１の構成例＞
【００８６】
図７は、図６のフリッカ検出部２１の構成例を示すブロック図である。
【００８７】
図７において、フリッカ検出部２１は、輝度変換部３１、輝度積算部３２、フリッカ成分抽出部３３、フリッカ成分記憶部３４、フリッカ成分補間部３５、DFT処理部３６、及び、フリッカ判定検出部３７を有する。
【００８８】
輝度変換部３１には、メモリ３（図１）から、撮影画像のフレームの画像データとしての、例えば、RAWデータが供給される。
【００８９】
輝度変換部３１は、撮影画像のフレームのRAWデータから輝度を求め、その輝度を画素値とする撮影画像のフレームを、輝度積算部３２に供給する。
【００９０】
輝度積算部３２は、輝度変換部３１からの撮影画像のフレームについて、あらかじめ決められたN個の検波枠としての1ライン又は複数ラインごとに、輝度の積算値である検波枠積算値を求め、フリッカ成分抽出部３３に供給する。
【００９１】
フリッカ成分抽出部３３は、いま、輝度積算部３２から検波枠積算値が供給されたフレームである現フレームが、フリッカ成分を検出する対象の検出対象フレームである場合に、現フレームのフリッカ成分を抽出する。
【００９２】
ここで、図１のカメラモジュールでは、検出対象フレームとすることができるフレームが、負荷の都合で、全フレームではなく、1又は複数のフレームおきのフレームに制限されている。
【００９３】
したがって、フリッカ成分抽出部３３でのフリッカ成分の抽出にあたっては、フリッカ成分の欠損が生じる。例えば、1フレームおきのフレームが検出対象フレームとされる場合、2フレームにつき、1フレームだけが検出対象フレームとされるので、残りの1フレームのフリッカ成分が抽出されないために欠損する。
【００９４】
フリッカ成分抽出部３３は、現フレームが、検出対象フレームである場合に、輝度積算部３２から供給される現フレームのN個の検波枠積算値それぞれと、その現フレームの直前のフレームのN個の検波枠積算値それぞれとの比等を、現フレームのNサンプルのフリッカ成分として求める。
【００９５】
フリッカ成分抽出部３３は、現フレームのNサンプルのフリッカ成分を、フリッカ成分記憶部３４に供給する。
【００９６】
フリッカ成分記憶部３４は、フリッカ成分抽出部３３から供給される、フレームから抽出されたフリッカ成分（以下、抽出フリッカ成分ともいう）を一時記憶する。
【００９７】
さらに、フリッカ成分記憶部３４は、フリッカ成分補間部３５から供給される補間成分を一時記憶する。
【００９８】
フリッカ成分補間部３５は、フリッカ成分記憶部３４に記憶された、最新の検出対象フレームから抽出された抽出フリッカ成分等を用いて、抽出フリッカ成分どうしの間を補間するフリッカ成分である補間成分を生成する。
【００９９】
すなわち、フリッカ成分補間部３５は、フリッカ成分の想定周波数として、所定の周波数（例えば、50Hzや60Hzの周波数の電源を全波整流して得られる整流信号の周波数である100Hzや120Hz等）を設定する。
【０１００】
さらに、フリッカ成分補間部３５は、想定周波数に基づき、フリッカ成分記憶部３４に記憶された抽出フリッカ成分のうちの最新の抽出フリッカ成分から、次にフリッカ成分を抽出する対象のフレーム、すなわち、次の検出対象フレーム（次に検出対象フレームとなるフレーム）から抽出される抽出フリッカ成分までの間に補間するフリッカ成分である補間成分を生成する。
【０１０１】
そして、フリッカ成分補間部３５は、補間成分を、フリッカ成分記憶部３４に供給する。
【０１０２】
なお、フリッカ成分補間部３５での補間成分の生成の詳細については、後述する。
【０１０３】
DFT処理部３６は、フリッカ成分記憶部３４に記憶された最新のMサンプルのフリッカ成分（抽出フリッカ成分と補間成分とが含まれる）のDFTを行うことにより、フリッカ成分の周波数成分（スペクトル）を求め、フリッカ判定検出部３７に供給する。
【０１０４】
フリッカ判定検出部３７は、DFT処理部３６から供給される最新のMサンプルのフリッカ成分の周波数成分に基づいて、イメージセンサ２で撮影された撮影画像のフリッカの有無を検出する。
【０１０５】
すなわち、フリッカ判定検出部３７は、例えば、フリッカ成分の周波数成分において、フリッカ成分補間部３５がフリッカの周波数として想定した想定周波数付近の周波数に、所定の閾値以上のピークが存在するかどうかを判定する。
【０１０６】
そして、フリッカ判定検出部３７は、フリッカ成分の周波数成分において、想定周波数付近の周波数に、所定の閾値以上のピークが存在すると判定した場合、想定周波数のフリッカがあることを検出する。
【０１０７】
一方、フリッカ判定検出部３７は、例えば、フリッカ成分の周波数成分において、想定周波数付近の周波数に、所定の閾値以上のピークが存在しないと判定した場合、想定周波数のフリッカがないことを検出する。
【０１０８】
そして、フリッカ判定検出部３７は、想定周波数のフリッカの検出結果を表す検出情報を、フリッカ対処部２２（図６）に供給する。
【０１０９】
図８は、図７のフリッカ検出部２１が行うフリッカ検出処理の例を説明するフローチャートである。
【０１１０】
ステップＳ１１において、フリッカ成分補間部３５は、フリッカ成分記憶部３４に記憶された抽出フリッカ成分のうちの、最新の検出対象フレームから抽出された抽出フリッカ成分等を用いて、補間成分を生成する。
【０１１１】
すなわち、フリッカ成分補間部３５は、フリッカ成分の想定周波数を設定する。さらに、フリッカ成分補間部３５は、想定周波数に基づき、最新の検出対象フレームから抽出された抽出フリッカ成分（のうちの最新（最後）の抽出フリッカ成分）から、次にフリッカ成分を抽出する対象の検出対象フレームから抽出される抽出フリッカ成分（のうちの最古（最初）の抽出フリッカ成分）までの間に補間するフリッカ成分（補間成分）を生成する。
【０１１２】
そして、フリッカ成分補間部３５は、補間成分を、フリッカ成分記憶部３４に供給して記憶させる。
【０１１３】
その後、処理は、ステップＳ１１からステップＳ１２に進み、輝度変換部３１は、メモリ３（図１）に記憶された最新の撮影画像のフレームのRAWデータから輝度を求め、その輝度を画素値とする撮影画像のフレーム（以下、輝度フレームともいう）を、輝度積算部３２に供給する。
【０１１４】
輝度積算部３２は、輝度変換部３１からの輝度フレームについて、あらかじめ決められたN個の検波枠としての1ライン又は複数ラインごとに、輝度の積算値である検波枠積算値を求め、フリッカ成分抽出部３３に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【０１１５】
ステップＳ１３では、フリッカ成分抽出部３３は、輝度積算部３２から検波枠積算値が供給された（輝度）フレームである現フレームが、フリッカ成分を検出する対象の検出対象フレームである場合に、現フレームから抽出フリッカ成分を抽出する。
【０１１６】
すなわち、上述したように、図１のカメラモジュールでは、検出対象フレームとすることができるフレームが、負荷の都合等で、全フレームではなく、1又は複数のフレームおきのフレームに制限されている。
【０１１７】
そのため、フリッカ成分抽出部３３は、現フレームが、検出対象フレームである場合にのみ、現フレームから抽出フリッカ成分を抽出する。
【０１１８】
現フレームからの抽出フリッカ成分の抽出では、輝度積算部３２からフリッカ成分抽出部３３に供給される現フレームのN個の検波枠積算値それぞれと、その現フレームの直前のフレームのN個の検波枠積算値それぞれとの比等が、現フレームのNサンプルの抽出フリッカ成分として求められる。
【０１１９】
なお、本実施の形態では、検出対象フレームからの抽出フリッカ成分の抽出に、検出対象フレームの他、その検出対象フレームの直前のフレームの検波枠積算値が必要である。そのため、輝度変換部３１での、RAWデータから輝度への変換、及び、輝度積算部３２での検波枠積算値の算出は、検出対象フレームと、その検出対象フレームの直前のフレームとについてだけ行うことができる。
【０１２０】
フリッカ成分抽出部３３は、検出対象フレームである現フレームから抽出したNサンプルの抽出フリッカ成分を、フリッカ成分記憶部３４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【０１２１】
ステップＳ１４では、フリッカ成分記憶部２３が、フリッカ成分抽出部３３からの現フレームのNサンプルの抽出フリッカ成分を記憶し、処理は、ステップＳ１５に進む。
【０１２２】
ステップＳ１５では、DFT処理部３６が、フリッカ成分記憶部３４に記憶された最新のMサンプルのフリッカ成分のDFTを行うことにより、フリッカ成分の周波数成分（スペクトル）を求める。そして、DFT処理部３６は、最新のMサンプルのフリッカ成分の周波数成分を、フリッカ判定検出部３７に供給し、処理は、ステップＳ１５からステップＳ１６に進む。
【０１２３】
ステップＳ１６では、フリッカ判定検出部３７は、DFT処理部３６から供給される最新のMサンプルのフリッカ成分の周波数成分に基づいて、イメージセンサ２で撮影された撮影画像について、想定周波数のフリッカの有無を検出する。そして、フリッカ判定検出部３７は、フリッカの有無の検出結果を表す検出情報を、フリッカ対処部２２に供給する。
【０１２４】
その後、処理は、ステップＳ１６からステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０１２５】
なお、ステップＳ１１及びＳ１６の処理は、複数の想定周波数のそれぞれについて行うことができる。
【０１２６】
＜補間成分の生成＞
【０１２７】
図９は、フリッカ成分補間部３５での補間成分の生成の詳細の第１の例を示す図である。
【０１２８】
ここで、補間成分を生成する方法としては、単純補間と最小補間とがある。
【０１２９】
図９は、単純補間により、補間成分を生成する方法を示している。
【０１３０】
なお、図９において、横軸は、時間を表し、縦軸は、撮影画像のラインを表す。
【０１３１】
図９では、図５の場合と同様に、フリッカ成分を抽出することができるフレームが、2フレームのうちの1フレームに制限されており、そのため、残りの1フレームのフリッカ成分が欠損している。
【０１３２】
すなわち、図９では、フレーム#n, #n+2, #n+4, ...のフリッカ成分が抽出されており、フレーム#n+1, #n+3, ...のフリッカ成分が欠損している。
【０１３３】
単純補間では、フリッカ成分補間部３５は、フリッカ成分が欠損しているフレーム#n+1の直前にフリッカ成分が抽出されたフレーム#nの抽出フリッカ成分の中から、フレーム#n+1の欠損しているNサンプルのフリッカ成分それぞれに対応するNサンプルのフリッカ成分（以下、対応フリッカ成分ともいう）を、想定周波数から逆算することにより検出する。
【０１３４】
そして、フリッカ成分補間部３５は、フレーム#nの抽出フリッカ成分の中から検出したNサンプルの対応成分を、フレーム#nの抽出フリッカ成分のうちの最新（最後）の抽出フリッカ成分から、次にフリッカ成分が抽出されるフレーム#n+2の抽出フリッカ成分のうちの最古（最初）の抽出フリッカ成分までの間に補間する補間成分として、コピーする。
【０１３５】
フリッカ成分が欠損している他のフレームについても、同様に、補間成分が求められる。
【０１３６】
単純補間を行う場合には、何らの補間も行わない図５の場合よりも、フリッカ成分のDFTの結果得られるフリッカ成分の周波数成分の精度、ひいては、フリッカの検出精度を向上させることができる。
【０１３７】
但し、単純補間では、フリッカ成分が欠損するフレームが増加すると、そのフリッカ成分が欠損するフレームの増加に比例して、補間成分のサンプル数が増加する。そのため、フリッカ成分のDFTの結果得られるフリッカ成分の周波数成分の精度、ひいては、フリッカの検出精度が劣化する。
【０１３８】
すなわち、フリッカ成分を抽出することができるフレームが、Fフレームのうちの1フレームに制限されており、残りのF-1フレームのフリッカ成分が欠損する場合、単純補間では、F・Nサンプルのフリッカ成分のうちの、(F-1)・Nサンプルが補間成分になる。フリッカ成分が欠損するフレーム数F-1が増加すると、フリッカの検出精度は劣化する。
【０１３９】
図１０は、フリッカ成分補間部３５での補間成分の生成の詳細の第２の例を示す図である。
【０１４０】
なお、図１０において、横軸は、時間を表し、縦軸は、撮影画像のラインを表す。
【０１４１】
図１０は、最小補間により、補間成分を生成する方法を示している。
【０１４２】
図１０では、図５の場合と同様に、フリッカ成分を抽出することができるフレームが、2フレームのうちの1フレームに制限されており、そのため、残りの1フレームのフリッカ成分が欠損している。
【０１４３】
すなわち、図１０では、フレーム#n, #n+2, #n+4, ...のフリッカ成分が抽出されており、フレーム#n+1, #n+3, ...のフリッカ成分が欠損している。
【０１４４】
単純補間では、欠損しているフリッカ成分に等しいサンプル数の補間成分が求められる。これに対して、最小補間では、欠損しているフリッカ成分に等しいサンプル数以下の補間成分が求められる。
【０１４５】
すなわち、最小補間では、フリッカ成分補間部３５は、抽出フリッカ成分の位相を維持する最小のサンプル数の補間成分を生成する。
【０１４６】
例えば、いま、撮影画像のフレームレートをA[fps(Frame Per Second)と、想定周波数をB[Hz]と、それぞれ表すこととする。さらに、フリッカ成分を抽出することができるフレームが、Fフレームごとに、そのFフレームのうちの1フレームに制限され、その1フレームから、Nサンプルの抽出フリッカ成分が抽出されることとする。
【０１４７】
この場合、1フレームの時間1/Aのフリッカ位相変化量THETA[rad]、すなわち、1フレームの時間1/Aに相当するフリッカの位相THETA[rad]は、式（１）で表される。
【０１４８】
THETA=2PAI・B/A
・・・（１）
【０１４９】
ここで、PAIは円周率を表す。
【０１５０】
抽出フリッカ成分の位相を維持するための、欠損しているフリッカ成分の区間を挟む2サンプルの抽出フリッカ成分の最小の位相量W[rad]は、式（１）のフリッカ位相変化量THETAを用いて、式（２）で表される。
【０１５１】
ここで、欠損しているフリッカ成分の区間とは、例えば、図１０では、フレーム#n+1や#n+3等の区間である。また、欠損しているフリッカ成分の区間を挟む2サンプルとは、例えば、図１０では、フレーム#nの最後の抽出フリッカ成分、及び、フレーム#n+2の最初の抽出フリッカ成分等である。
【０１５２】
W=frac(frac(F・THETA/(2PAI))+1-frac(THETA/(2PAI)))・2PAI
・・・（２）
【０１５３】
ここで、frac(R)は、Rの小数部を表す。
【０１５４】
式（２）の位相量Wは、欠損しているフリッカ成分の区間の位相量（以下、欠損位相量ともいう）から、2PAIの整数倍の値であって、欠損位相量以下の最大の値を減算した値になる。
【０１５５】
最小の位相量Wに補間される補間成分のサンプル数Xは、式（３）で表される。
【０１５６】
X=W・N・A/(2PAI・B)
・・・（３）
【０１５７】
ここで、式（３）のサンプル数Xを、抽出フリッカ成分の位相を維持するための最小のサンプル数である位相維持最小サンプル数Xということとする。
【０１５８】
フリッカ成分補間部３５は、欠損しているフリッカ成分の区間を挟む2サンプルの抽出フリッカ成分どうしの間を補間する補間成分として、位相維持最小サンプル数Xだけの補間成分を生成する。
【０１５９】
すなわち、例えば、フリッカ成分補間部３５は、フリッカ成分が欠損しているフレーム#n+1の直前にフリッカ成分が抽出されたフレーム#nの抽出フリッカ成分の中から、フレーム#n+1の欠損しているフリッカ成分のうちの、先頭から位相維持最小サンプル数Xのフリッカ成分に対応する対応フリッカ成分を、想定周波数から逆算することにより検出する。
【０１６０】
そして、フリッカ成分補間部３５は、フレーム#nの抽出フリッカ成分の中から検出した位相維持最小サンプル数Xの対応成分を、フレーム#nの抽出フリッカ成分のうちの最新（最後）の抽出フリッカ成分から、次にフリッカ成分が抽出されるフレーム#n+2の抽出フリッカ成分のうちの最古（最初）の抽出フリッカ成分までの間に補間する補間成分として、コピーする。
【０１６１】
フリッカ成分が欠損している他のフレームについても、同様に、補間成分が求められる。
【０１６２】
最小補間において、位相維持最小サンプル数Xは、想定周波数のフリッカの1周期未満分のサンプル数になり、単純補間のように、フリッカ成分が欠損するフレームの増加に比例して増加しない。
【０１６３】
したがって、最小補間によれば、フリッカ成分が欠損するフレームが増加しても、補間成分のサンプル数が、想定周波数のフリッカの1周期未満分のサンプル数になるので、単純補間と比較して、DFTに用いられるMサンプルのフリッカ成分に占める抽出フリッカ成分の割合が（ほとんどのケースで）大になる。
【０１６４】
したがって、補間成分に起因する、フリッカ成分の周波数成分の精度、ひいては、フリッカの検出精度の悪化を抑制することができる。
【０１６５】
図１１は、フリッカ成分補間部３５での補間成分の生成の詳細の第３の例を示す図である。
【０１６６】
ここで、最小補間には、標準最小補間と簡易最小補間とがある。
【０１６７】
標準最小補間では、図１０で説明したように、フリッカ成分が欠損しているフレーム（例えば、フレーム#n+1）の直前にフリッカ成分が抽出されたフレーム（例えば、フレーム#n）の抽出フリッカ成分を用いて、位相維持最小サンプル数Xの補間成分が求められる。
【０１６８】
すなわち、標準最小補間では、フリッカ成分が欠損しているフレームの直前にフリッカ成分が抽出されたフレームの抽出フリッカ成分のうちの、想定周波数から逆算することにより得られる位相維持最小サンプル数Xのフリッカ成分が、補間成分として求められる。
【０１６９】
簡易最小補間では、位相維持最小サンプル数Xの補間成分が、想定周波数から逆算することなく、いわば簡易的に求められる。
【０１７０】
図１１のＡは、第１の簡易最小補間の例を示している。
【０１７１】
ここで、図１１では、図５の場合と同様に、フリッカ成分を抽出することができるフレームが、2フレームのうちの1フレームに制限されている。すなわち、フレーム#n, #n+2, #n+4, ...のフリッカ成分が抽出されており、フレーム#n+1, #n+3, ...のフリッカ成分が欠損している。
【０１７２】
第１の簡易最小補間では、最新の抽出フリッカ成分、すなわち、フリッカ成分が欠損しているフレーム（例えば、フレーム#n+1）の直前にフリッカ成分が抽出されたフレーム（例えば、フレーム#n）の抽出フリッカ成分のうちの最新（最後）の抽出フリッカ成分のみを用いて、位相維持最小サンプル数Xの補間成分が求められる。
【０１７３】
図１１のＡでは、最新の抽出フリッカ成分が、そのまま、位相維持最小サンプル数Xの補間成分になっている。
【０１７４】
図１１のＢは、第２の簡易最小補間の例を示している。
【０１７５】
第２の簡易最小補間では、位相維持最小サンプル数Xの補間成分を補間する2サンプルの抽出フリッカ成分どうしの間を、所定の補間方式で補間する補間成分が求められる。
【０１７６】
図１１のＢでは、位相維持最小サンプル数Xの補間成分を補間する2サンプルの抽出フリッカ成分どうし（例えば、フレーム#nの最後の抽出フリッカ成分、及び、フレーム#n+2の最初の抽出フリッカ成分）の間を、線形補間によって補間する位相維持最小サンプル数Xの補間成分が求められている。
【０１７７】
簡易最小補間では、その他、任意の値を、位相維持最小サンプル数Xの補間成分として求めることができる。
【０１７８】
ここで、最小補間で補間される補間成分は、位相維持最小サンプル数Xの補間成分、すなわち、抽出フリッカ成分の位相を維持する最小のサンプル数Xの補間成分であるから、その補間成分の補間により得られるフリッカ成分の系列には、抽出フリッカ成分が多く含まれる。
【０１７９】
したがって、補間成分の補間により得られるフリッカ成分の系列のDFTによって得られる周波数成分には、抽出フリッカ成分の影響が大きく現れる。
【０１８０】
そのため、位相維持最小サンプル数Xの補間成分として、任意の値を用いても、何らの補間も行わない図５の場合に比較して、フリッカ成分の周波数成分の精度、ひいては、フリッカの検出精度を向上させることができる。
【０１８１】
また、補間成分として、標準最小補間のように、フリッカ成分が欠損しているフレームの直前にフリッカ成分が抽出されたフレームの抽出フリッカ成分のうちの、想定周波数から逆算することにより得られる位相維持最小サンプル数Xのフリッカ成分を用いることで、任意の値を用いる簡易最小補間よりも、フリッカ成分の周波数成分の精度、ひいては、フリッカの検出精度を向上させることができる。
【０１８２】
＜シミュレーション＞
【０１８３】
図１２は、本件発明者が行ったフリッカ成分のDFTのシミュレーションのシミュレーション結果を示す図である。
【０１８４】
シミュレーションでは、撮影画像のフレームレートAとして60fpsを、1フレームから抽出されるフリッカ成分のサンプル数（検波枠の数）Nとして32を、DFTのサンプル数Mとして128を、それぞれ採用し、周波数が100Hzの撮影画像から、フリッカ成分を抽出した。
【０１８５】
この場合、DFTにより得られる周波数成分において、フリッカの周波数である100Hzに最も近い周波数は、105Hzになる。
【０１８６】
図１２において、グラフL1は、撮影画像のフレームから抽出されるフリッカ成分に欠損がない場合の、DFTにより得られるフリッカ成分の周波数成分を示している。
【０１８７】
グラフL1によれば、105Hzに最大のピークがあることを確認することができる。
【０１８８】
グラフL2ないしL5は、2フレームのうちの1フレームに、フリッカ成分の欠損がある場合の、DFTにより得られるフリッカの周波数成分を示している。
【０１８９】
すなわち、グラフL2は、フリッカ成分の欠損がある場合において、図５のように、補間を行わなかったときの、DFTにより得られるフリッカの周波数成分を示している。
【０１９０】
グラフL2によれば、本来、最大のピークが現れるべき105Hzとは異なる周波数(30Hz）に、最大のピークが現れていることを確認することができる。
【０１９１】
また、グラフL2において、最大のピークが現れるべき105Hzの周波数成分には、グラフL1の105Hzの周波数成分に対して、約46%の誤差が生じている。
【０１９２】
グラフL3ないしL5は、フリッカ成分の欠損がある場合において、最小補間により補間成分の補間を行ったときの、DFTにより得られるフリッカの周波数成分を示している。
【０１９３】
すなわち、グラフL3は、図１０の標準最小補間を行った場合のフリッカの周波数成分を示している。また、グラフL4は、図１１の第１の簡易最小補間を行った場合のフリッカの周波数成分を示しており、グラフL5は、図１１の第２の簡易最小補間を行った場合のフリッカの周波数成分を示している。
【０１９４】
グラフL3ないしL5によれば、本来、最大のピークが現れるべき105Hzに、最大のピークが現れていることを確認することができる。
【０１９５】
また、グラフL3において、最大のピークが現れるべき105Hzの周波数成分の、グラフL1の105Hzの周波数成分に対する誤差は、約4%になっている。
【０１９６】
さらに、グラフL4及びL5において、最大のピークが現れるべき105Hzの周波数成分の、グラフL1の105Hzの周波数成分に対する誤差は、それぞれ、約32%及び約39%になっている。
【０１９７】
以上から、最小補間によれば、補間を行わない場合に比較して、フリッカ成分の周波数成分の精度、ひいては、フリッカの検出精度を向上させることができることを確認することができる。
【０１９８】
さらに、最小補間のうちの標準最小補間によれば、補間を行わない場合に比較して、フリッカ成分の周波数成分の精度、ひいては、フリッカの検出精度を、飛躍的に向上させることができることを確認することができる。
【０１９９】
＜カメラモジュールの使用例＞
【０２００】
図１３は、図１のカメラモジュールを使用する使用例を示す図である。
【０２０１】
上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０２０２】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０２０３】
＜本技術を適用したコンピュータの説明＞
【０２０４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０５】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２０７】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２０８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２０９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２１０】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２１１】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１２】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２１４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１９】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０２２０】
１  光学系，  ２  イメージセンサ，  ３  メモリ，  ４  信号処理部，  ５  出力部，  ６  制御部，  ２１  フリッカ検出部，  ２２  フリッカ対処部，  ３１  輝度変換部，  ３２  輝度積算部，  ３３  フリッカ成分抽出部，  ３４  フリッカ成分記憶部，  ３５  フリッカ成分補間部，  ３６  DFT処理部，  ３７  フリッカ判定検出部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2016158004.tif 000003
【図２】
2016158004.tif 000004
【図３】
2016158004.tif 000005
【図４】
2016158004.tif 000006
【図５】
2016158004.tif 000007
【図６】
2016158004.tif 000008
【図７】
2016158004.tif 000009
【図８】
2016158004.tif 000010
【図９】
2016158004.tif 000011
【図１０】
2016158004.tif 000012
【図１１】
2016158004.tif 000013
【図１２】
2016158004.tif 000014
【図１３】
2016158004.tif 000015
【図１４】
2016158004.tif 000016