(57)【特許請求の範囲】
【請求項１】
ローリングシャッター方式で画像を撮像する撮像装置であって、
行および列からなる２次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、
前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備え、
前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、
前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されており、
前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、
前記フリッカー除去回路は、
前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求めるフーリエ変換部と、
フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める光源輝度波形解析部と、
前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める画素輝度値算出部と、
前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する補正係数算出部と、を有する、
ことを特徴とする撮像装置。
【請求項２】
コンピュータを、請求項１に記載の撮像装置として機能させるためのフリッカー除去プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびフリッカー除去プログラムに関し、特に、フルスペックスーパーハイビジョン（フルスペックＳＨＶ）で１２０ｆｐｓ（frames per second）での撮影・表示を行う際に問題となる電源周波数に起因する照明光の輝度変化の影響を取り除く技術に関する。
【背景技術】
【０００２】
フレーム周波数が３０Ｈｚや６０Ｈｚ（順次走査）の撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー）を内蔵するカメラを用いて撮影する場合に、５０Ｈｚの電源周波数に起因する照明光の輝度変化がフリッカーとして画面を乱すことがある。この場合、１／１００秒のシャッターを掛けることでフリッカーを回避することができる。
【０００３】
一方、フルスペックＳＨＶ用のフレーム周波数が１２０Ｈｚ（順次走査）の撮像素子が開発されている（非特許文献１参照）。この場合、１フレームの露光時間が１／１２０秒となるので、それよりも長い１／１００秒のシャッターを掛けることが物理的にできない。
【０００４】
このことについて、図１０および図１１を参照して説明する。図１０（ａ）に示すように、５０Ｈｚの電源周波数に起因する照明光の輝度は、１／１００秒単位で周期的に変動する（１／１００秒毎に明るさが最大になる）。そして、ローリングシャッター方式のＣＭＯＳイメージセンサーを内蔵するフルスペックＳＨＶ用のカメラで撮影を行う場合、各行の露光時間（１／１２０秒）が照明光の輝度の周期（１／１００秒）と異なると共に、各行ごとに露光開始のタイミングが変わってくるので、露光時間中の輝度の総量が各行で異なることになる。
【０００５】
例えば、図１０（ｂ）に示すように、Ｎ行目とＮ＋６行目の露光時間中の輝度の総量を比較すると、Ｎ＋６行目の輝度の総量（ドット部分）に比べてＮ行目の輝度の総量（斜線部分）の方が少ない。その為、このカメラで撮影した映像を表示装置（図示せず）で表示した場合に、Ｎ＋６行目に比べてＮ行目が暗くなる。つまり、濃淡が画面上下方向に移動するように見えるフリッカーが発生する。
【０００６】
蛍光灯などの照明を撮影した時に生じるフリッカーのイメージを図１１（ｂ）に示す。実際には、縞模様の間隔はもっと大きいが、映像として見ると明滅を繰り返しながら上下方向に移動しているように見える。なお、図１１（ａ）は、肉眼で見た場合の見え方を示している。
【０００７】
ここで、フリッカーを除去する撮像装置として、「光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段」を具備するものが知られている（特許文献１参照）。この撮像装置は、フレーム単位でフリッカーを逆補正するものであり、フリッカーを除去することが可能である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４８１４３８０号公報
【非特許文献】
【０００９】
【非特許文献１】渡部俊久、「スーパーハイビジョン用１２０Ｈｚイメージセンサー」、ＮＨＫ技研Ｒ＆Ｄ、日本放送協会  放送技術研究所、2012年7月15日、Ｎｏ．１３４、p.4- p.11
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載された技術では、画面内全体（フレーム全体）にフリッカーを逆補正するため、画面内の一部がフリッカーの影響を受ける場合にフリッカーの影響を受けない部分にも逆補正が掛かってしまう。画面内の一部にのみフリッカーの影響がある場合とは、例えば、夕方の屋外から蛍光灯を点灯した家屋を撮影するときや、夜間に照明が点灯している競技場を撮影するときである。つまり、特許文献１に記載された技術では、家屋の蛍光灯の光や競技場の照明の光が当たっておらずフリッカーを生じていない部分にまで逆補正を掛けるので、不自然な輝度変化を持つ映像となってしまう。
【００１１】
本発明はかかる点に鑑みてなされたものであって、画面内（フレーム内）の部分的なフリッカーを除去することができる、撮像装置およびフリッカー除去プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するために本発明の一態様による撮像装置は、ローリングシャッター方式で画像を撮像する撮像装置であって、行および列からなる２次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備える。
【００１３】
ここで、前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されている。
【００１４】
また、前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、前記フリッカー除去回路は、フーリエ変換部と、光源輝度波形解析部と、画素輝度値算出部と、補正係数算出部とを有する。
フーリエ変換部は、前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求める。
光源輝度波形解析部は、フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める。
【００１５】
画素輝度値算出部は、前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める。
補正係数算出部は、前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する。
【００１６】
このような構成を備える撮像装置は、通常画素に代えて予め定めた画素間隔で配置された検出用画素が、通常画素よりも短い露光時間で駆動する。そして、撮像装置は、この検出用画素の輝度値を用いて輝度変化の波形を求め、通常画素の露光時間単位で積分を行うことで、検出用画素における通常画素の露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置は、画素輝度値変化の波形から検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測することができる。
【発明の効果】
【００１７】
本発明によれば、検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測できるので、フリッカーの影響がある通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いてデジタル信号（通常画素出力信号）を補正する。その為、画面内（フレーム内）の部分的なフリッカーを除去することができる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る撮像素子を用いた撮像装置の概略構成図である。
【図２】本実施形態に係る撮像素子の概略構成図である。
【図３】本実施形態に係る画素アレイの概略構成図である。
【図４】本実施形態に係る画素アレイを構成する通常画素ＰＡおよび検出用画素ＰＢの露光時間を説明するための図である。
【図５】本実施形態に係る映像信号生成回路の概略構成図である。
【図６】本実施形態に係る映像信号生成回路の切り替えＳＷの機能を説明するための図である。
【図７】本実施形態に係るフリッカー除去回路に格納される検出用画素出力信号のイメージ図である。
【図８】本実施形態に係るフリッカー除去回路のフローチャートである。
【図９】本実施形態に係るフリッカー除去回路の処理を説明するための図である。
【図１０】従来のＣＭＯＳイメージセンサーを説明するための図であり、図１０（ａ）はローリングシャッター（ライン露光）方式による各行の露光開始のタイミングを説明するための図であり、図１０（ｂ）は各行の露光時間中の輝度の総量が異なることを説明するための図である。
【図１１】従来のＣＭＯＳイメージセンサーを備えるカメラを用いて照明の撮影を行った場合の見え方の違いを説明するための図であり、図１１（ａ）は肉眼で見た場合の見え方を示し、図１１（ｂ）はＣＭＯＳイメージセンサーを備えるカメラを用いて撮影を行った場合の見え方を示す。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面における寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【００２０】
≪実施形態に係る撮像装置の構成≫
図１に示す撮像装置１は、フルスペックＳＨＶでの撮影を行うものであり、例えば、テレビ放送用のカメラである。撮像装置１は、レンズ２と、フリッカー除去用撮像素子３と、駆動回路４と、電源回路５と、映像信号生成回路６とを備えている。以下、撮像装置１の構成について説明する。
【００２１】
＜レンズ＞
レンズ２は、光を屈折させる光学素子であり、ここでは、光を屈折させてフリッカー除去用撮像素子３に撮影対象物の光学像を結像する。レンズ２は、単レンズや複数のレンズを組み合わせて使用されてもよい。この撮影対象物の中には、フリッカーの原因となる輝度変化が含まれる可能性がある。本実施形態に係る撮像装置１は、画面内のある一部分にフリッカーの原因となる輝度変化が含まれる場合に、部分的に画素の輝度値を補正してフリッカーの影響を除去する。
【００２２】
＜フリッカー除去用撮像素子＞
フリッカー除去用撮像素子３（以下、単に「撮像素子３」と呼ぶ）は、レンズ２から入ってきた光を電気信号に変換する電子部品である。撮像素子３は、ローリングシャッター（ライン露光）方式のものであればよく、例えば、ＣＭＯＳイメージセンサーを用いることができる。撮像素子３のスペックは、特に限定されず、画素数や階調などを任意に決定することができる。以下で説明する撮像素子３のスペックに関する数値についても、例示である。撮像素子３は、ＸＹアドレス方式によるスイッチ動作で画素を選択し、電気信号（通常画素出力信号ＧＡ、検出用画素出力信号ＧＢ）を映像信号生成回路６に出力する。
【００２３】
図２に示すように、撮像素子３は、画素アレイ３１と、通常画素用垂直走査回路３２ａ，３２ｂと、検出用画素用垂直走査回路３３と、通常画素用信号処理回路３４ａ，３４ｂと、検出用画素用信号処理回路３５ａ，３５ｂと、信号出力回路３６ａ，３６ｂと、を備えて構成されている。通常画素用垂直走査回路３２ａ，３２ｂと、検出用画素用垂直走査回路３３と、通常画素用信号処理回路３４ａ，３４ｂと、検出用画素用信号処理回路３５ａ，３５ｂと、信号出力回路３６ａ，３６ｂとをまとめて周辺回路と呼ぶ場合がある。
【００２４】
（画素アレイ）
画素アレイ３１は、複数の画素Ｐ（図３参照）を基板上に２次元マトリクス状に配列したものである。ここでは説明を簡便にするために記載を簡略化しているが、例えば、垂直方向（列）に４３２０個の画素が並び、水平方向（行）に７６８０個の画素が並ぶことで、合計約３３００万個の画素が規則正しく配置されている。画素アレイ３１に配置される画素Ｐは、機能の違いによって通常画素ＰＡと検出用画素ＰＢとの２種類が存在する。
【００２５】
通常画素ＰＡは、フルスペックＳＨＶの映像信号を作成するためのものであり、１／１２０秒の露光時間で駆動する。通常画素ＰＡは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード（受光部）と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の１行分の通常画素ＰＡには、それぞれ１本の行選択信号線（以下、「通常用行選択信号線」）が接続されており、また、垂直方向の１列分の通常画素ＰＡには、それぞれ１本の列選択信号線（以下、「通常用列選択信号線」）が接続されている。
【００２６】
検出用画素ＰＢは、フリッカーを検出するためのものであり、通常画素ＰＡよりも短い露光時間（例えば、１／２００秒）で駆動する。検出用画素ＰＢは、露光時間が異なる以外は、通常画素ＰＡと同様の構成であってよい。つまり、検出用画素ＰＢは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード（受光部）と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の１行分の検出用画素ＰＢには、それぞれ１本の行選択信号線（以下、「検出用行選択信号線」）が接続されており、また、垂直方向の１列分の検出用画素ＰＢには、それぞれ１本の列選択信号線（以下、「検出用列選択信号線」）が接続されている。
【００２７】
図３を参照して、通常画素ＰＡ、検出用画素ＰＢの配置の仕方について説明する。検出用画素ＰＢは、通常画素ＰＡに代えて予め定めた画素間隔（例えば、数１０〜数１００画素おきの等間隔）に配置されている。検出用画素ＰＢの周囲には、フリッカー判定領域３１ａが仮想的に設定されている。このフリッカー判定領域３１ａは、検出用画素ＰＢがフリッカーを検出した際に補正を行う通常画素ＰＡの範囲を示すものである。フリッカー判定領域３１ａは、隣り合うものと重ならないように、および隣り合うものとの間に隙間がないように、画素アレイ３１の全体に事前（例えば、製造時）に設定される。
【００２８】
フリッカー判定領域３１ａの形状は、画素Ｐの形状に合わせるのがよい。ここでは、画素Ｐの形状として正方形を想定しているので、フリッカー判定領域３１ａは正方形になっている。しかしながら、これに限定されるものではなく、画素Ｐの形状とは関係なく他の形状（例えば、三角形）にすることも可能である。
【００２９】
図４を参照して、通常画素ＰＡおよび検出用画素ＰＢの露光時間の関係について説明する。検出用画素ＰＢは、通常画素ＰＡよりも短い露光時間（例えば、１／２００秒）で駆動する。このように、通常画素ＰＡと検出用画素ＰＢとでは露光時間が異なるので、検出用画素ＰＢの輝度値を映像信号の作成に用いることは難しい。本実施形態においては、検出用画素ＰＢの輝度値を映像信号の作成に用いずに、検出用画素ＰＢの周囲の通常画素ＰＡを用いて検出用画素ＰＢの情報を補完する。この補完は、公知技術を用いることが可能であり、例えば、周囲の通常画素ＰＡから取得した情報に重みづけを行った後に足し合わせることにより行う。この補完処理を行うタイミングは、後記するフリッカー除去回路７０の処理の前後のどちらでもよく、例えば、並べ替え・デモザイキング処理部６１や映像処理部６３で行えばよい。
【００３０】
（通常画素用垂直走査回路）
図２に示す、通常画素用垂直走査回路３２ａ，３２ｂは、１行分の通常画素ＰＡを選択し、通常画素ＰＡが変換した電圧（アナログ信号）をフレーム周波数１２０Ｈｚで通常画素用信号処理回路３４ａ，３４ｂに出力するものである。通常画素用垂直走査回路３２ａ，３２ｂは、いずれかの通常用行選択信号線に行選択信号を出力することによって、１行分の通常画素ＰＡを選択する。通常画素用垂直走査回路３２ａは、奇数列の通常画素ＰＡの処理を担当し、通常用列選択信号線を介して通常画素ＰＡが変換した電圧（アナログ信号）を通常画素用信号処理回路３４ａに出力する。一方、通常画素用垂直走査回路３２ｂは、偶数列の通常画素ＰＡの処理を担当し、通常用列選択信号線を介して通常画素ＰＡが変換した電圧（アナログ信号）を通常画素用信号処理回路３４ｂに出力する。
【００３１】
（検出用画素用垂直走査回路）
図２に示す、検出用画素用垂直走査回路３３は、１行分の検出用画素ＰＢを選択し、検出用画素ＰＢが変換した電圧（アナログ信号）をフレーム周波数２００Ｈｚで検出用画素用信号処理回路３５ａ，３５ｂに出力するものである。検出用画素用垂直走査回路３３は、いずれかの検出用行選択信号線に行選択信号を出力することによって、１行分の検出用画素ＰＢを選択する。検出用画素用垂直走査回路３３は、検出用列選択信号線を介して奇数列の検出用画素ＰＢが変換した電圧（アナログ信号）を検出用画素用信号処理回路３５ａに出力し、一方、検出用列選択信号線を介して偶数列の検出用画素ＰＢが変換した電圧（アナログ信号）を検出用画素用信号処理回路３５ｂに出力する。なお、ここでは、検出用画素ＰＢの総数が通常画素ＰＡの総数に比べてそれ程多くないので、一つの検出用画素用垂直走査回路３３で処理を行っているが、処理のスピードが遅くなるようであれば、通常画素用垂直走査回路３２ａ，３２ｂのように、奇数列と偶数列とで処理を分担してもよい。
【００３２】
（通常画素用信号処理回路）
通常画素用信号処理回路３４ａ，３４ｂは、サンプリング回路とＡ／Ｄ変換回路とを含んで構成され、通常画素ＰＡから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、Ａ／Ｄ変換回路で１２ビットのデジタル信号に変換する。通常画素用信号処理回路３４ａは、奇数列の通常画素ＰＡの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路３６ａに出力する。一方、通常画素用信号処理回路３４ｂは、偶数列の通常画素ＰＡの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路３６ｂに出力する。
【００３３】
（検出用画素用信号処理回路）
検出用画素用信号処理回路３５ａ，３５ｂは、サンプリング回路とＡ／Ｄ変換回路とを含んで構成され、検出用画素ＰＢから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、Ａ／Ｄ変換回路で１２ビットのデジタル信号に変換する。検出用画素用信号処理回路３５ａは、奇数列の検出用画素ＰＢの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路３６ａに出力する。一方、検出用画素用信号処理回路３５ｂは、偶数列の検出用画素ＰＢの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路３６ｂに出力する。
【００３４】
（信号出力回路）
信号出力回路３６ａ，３６ｂは、それぞれの通常用列選択信号線に出力されたデジタル信号を順に選択して、通常画素出力信号として映像信号生成回路６（図１参照）に出力する。また、信号出力回路３６ａ，３６ｂは、それぞれの検出用列選択信号線に出力されたデジタル信号を順に選択して、検出用画素出力信号として映像信号生成回路６（図１参照）に出力する。信号出力回路３６ａは、奇数列の通常画素ＰＡや検出用画素ＰＢの処理を担当し、信号出力回路３６ｂは、偶数列の通常画素ＰＡや検出用画素ＰＢの処理を担当する。
【００３５】
このように、撮像素子３は、行・列の指定に基づいた順次走査（ＸＹアドレス方式によるスイッチ（ＳＷ）動作）により画素Ｐ（通常画素ＰＡ，検出用画素ＰＢ）を選択し、通常画素ＰＡから出力されるアナログ信号をデジタル信号に変換後に通常画素出力信号として映像信号生成回路６に出力し、一方、検出用画素ＰＢから出力されるアナログ信号をデジタル信号に変換後に検出用画素出力信号として映像信号生成回路６に出力する。
【００３６】
＜駆動回路＞
図１に戻って、撮像装置１の構成について説明する。駆動回路４は、撮像素子３を駆動させるための駆動用のドライバである。駆動回路４は、例えば、通常画素ＰＡの出力タイミングに合わせて通常画素用垂直走査回路３２ａ，３２ｂおよび通常画素用信号処理回路３４ａ，３４ｂを駆動させるための通常用の回路と、検出用画素ＰＢの出力タイミングに合わせて検出用画素用垂直走査回路３３および検出用画素用信号処理回路３５ａ，３５ｂを駆動させるための検出用の回路とを備えている。
【００３７】
＜電源回路＞
電源回路５は、撮像装置１内に共通の電源電圧を供給するためのものである。電源回路５は、例えば、供給配線を介して電源電圧を供給する。
【００３８】
＜映像信号生成回路＞
映像信号生成回路６は、フルスペックＳＨＶに対応する放送用の映像信号を生成するものである。映像信号生成回路６は、映像処理回路６０と、フリッカー除去回路７０とを備えて構成されている。映像信号生成回路６は、例えば、ＦＰＧＡ（Field Programmable Gate Array：プログラミング可能な集積回路）である。
【００３９】
（映像処理回路）
映像処理回路６０は、通常画素出力信号に対して各種の映像処理を行い、映像信号を生成するものである。映像処理回路６０の概略構成図を図５に示す。
映像処理回路６０は、並べ替え・デモザイキング処理部６１と、切り替えＳＷ６２と、映像処理部６３と、を備えて構成されている。
【００４０】
並べ替え・デモザイキング処理部６１には、撮像素子３の信号出力回路３６ａから奇数列の通常画素ＰＡの出力に基づく通常画素出力信号ＧＡが入力され、また、信号出力回路３６ｂから偶数列の通常画素ＰＡの出力に基づく通常画素出力信号ＧＡが入力される。
並べ替え・デモザイキング処理部６１は、画面内の位置と時間（フレーム番号）とが整合するように通常画素出力信号の並べ替えを行った後に、デモザイキング処理を行う。デモザイキング処理は、各画素で撮像されない色の輝度値（画素値）を、周辺画素において撮像された当該色の輝度値に基づいて生成することにより、各画素で三色の輝度値を得るものである。この処理は、撮像素子３として、例えば、ベイヤ（Ｂａｙｅｒ）配列の色フィルタを有する場合に必要である。そして、並べ替え・デモザイキング処理部６１は、切り替えＳＷ６２に、処理後の通常画素出力信号ＧＡを出力する。
【００４１】
切り替えＳＷ６２には、並べ替え・デモザイキング処理部６１からデモザイキング処理後の通常画素出力信号ＧＡが入力される。
切り替えＳＷ６２は、フリッカー除去回路７０を任意に切り離すためのものである。切り替えＳＷ６２は、例えば、撮像装置１が備える図示しない操作部に連動しており、撮影者による操作部の操作によって切り替えＳＷ６２のＯＦＦ／ＯＮが変更する。図６に切り替えＳＷ６２のＯＦＦ／ＯＮの状態を示す。切り替えＳＷ６２がＯＦＦの場合には、図６（ａ）に示すように、フリッカー除去回路７０（図５参照）を切り離し、並べ替え・デモザイキング処理部６１と映像処理部６３とを接続する。一方、切り替えＳＷ６２がＯＮの場合には、図６（ｂ）に示すように、フリッカー除去回路７０（図５参照）を切り離さず、並べ替え・デモザイキング処理部６１と演算回路７２とを接続する。
【００４２】
映像処理部６３には、切り替えＳＷ６２を介して、並べ替え・デモザイキング処理部６１または後記するフリッカー除去回路７０の演算回路７２から通常画素出力信号ＧＡが入力される。
映像処理部６３は、入力された通常画素出力信号ＧＡに対して、欠陥補正処理、ホワイト・バランス処理、補間処理、色補正処理、輪郭補正処理などの画像補正処理やガンマ補正処理を行い、映像信号Ｇを生成する。ここでの映像信号Ｇは、フルスペックＳＨＶに対応する放送用の映像信号である。映像処理部６３は、生成した映像信号Ｇを撮像装置１の外部に出力する。
【００４３】
（フリッカー除去回路）
フリッカー除去回路７０は、画面内（フレーム内）の部分的なフリッカーを通常画素出力信号から除去するものである。フリッカー除去回路７０の概略構成図を図５に示す。
フリッカー除去回路７０は、メモリー７１と、演算回路７２とを備えて構成されている。
【００４４】
メモリー７１には、撮像素子３の信号出力回路３６ａ，３６ｂ（図２参照）から検出用画素出力信号ＧＢが入力され、画面内の位置と時間（フレーム番号）とが整合するように並べ替えを行った後に格納される。
メモリー７１は、例えば、ある程度のフレーム数分（例えば、数十フレーム）だけの検出用画素出力信号ＧＢを格納することが可能である。図７に、メモリー７１に格納される検出用画素出力信号ＧＢのイメージを示す。新しいフレームが入力されると、最も古いフレームがメモリー７１から削除される。
【００４５】
図５に示すように、演算回路７２は、フーリエ変換部７３と、光源輝度波形解析部７４と、画素輝度値算出部７５と、補正係数算出部７６とからなる。演算回路７２には、並べ替え・デモザイキング処理部６１から通常画素出力信号ＧＡが入力される。また、演算回路７２には、メモリー７１に格納される検出用画素出力信号ＧＢが入力される。ここでは、処理の概要のみを説明し、その詳細は「撮像装置の動作」で説明する。
【００４６】
フーリエ変換部７３は、メモリー７１から所定フレーム分の検出用画素出力信号ＧＢを取得する。取得するフレーム数は、高速フーリエ変換を行うことが可能なように、２ｎ個であることが望ましい。フーリエ変換部７３は、所定フレーム分の過去の検出用画素ＰＢの輝度値（例えば、１２階調）を検出用画素ＰＢ単位で離散フーリエ変換することで、時間経過に伴う輝度変化の周期を検出用画素ＰＢ単位で求める（図７参照）。そして、フーリエ変換部７３は、輝度変化の周期にフリッカーの原因となる成分（ここでは、１００Ｈｚ）が含まれている場合に、当該フリッカー判定領域３１ａにフリッカーがあると判定する。この判定は、例えば、輝度変化の周期にフリッカーの原因となる成分が少しでも含まれている場合にフリッカーがあると判定してもよいし、閾値を設定してその値を超えた場合にフリッカーがあると判定してもよい。
【００４７】
光源輝度波形解析部７４は、フーリエ変換部７３が求めた輝度変化の周期にフリッカーの原因となる成分（ここでは、１００Ｈｚ）が含まれている場合に、図７に示す所定フレーム分の過去の検出用画素ＰＢの輝度値（１２階調）から時間経過に伴う過去の輝度変化の波形を求める（図９の符号８０１参照）。
【００４８】
画素輝度値算出部７５は、光源輝度波形解析部７４が求めた輝度変化の波形を、通常画素ＰＡの露光時間（１／１２０秒）単位で積分を行うことで、検出用画素ＰＢにおける通常画素ＰＡの露光時間単位での画素輝度値変化の波形を求める（図９の符号８０２参照）。この符号８０２で示す画素輝度値変化の波形は、フリッカーにより画面上に現れる明暗のパターンに対応する。
【００４９】
補正係数算出部７６は、画素輝度値算出部７５が求めた画素輝度値変化の波形から、検出用画素ＰＢの周辺に配置される通常画素ＰＡでの影響を予測し、フリッカーが影響する通常画素ＰＡを探索する。このフリッカーが影響する通常画素ＰＡの探索は、例えば、求めた画素輝度値変化の波形と、各々の通常画素ＰＡの輝度変化（輝度値の変化）とを比較し、その一致具合に基づいてフリッカー影響下にあるか否かを判定する。
また、補正係数算出部７６は、フリッカーの影響がある通常画素ＰＡについてフリッカーを打ち消す増幅率（補正係数）を求め、映像処理回路６０から入力された通常画素出力信号ＧＡの該当する通常画素ＰＡの輝度値に求めた増幅率を乗じることによって、フリッカーの影響を除去する（補正する）。この増幅率（補正係数）は、図９の符号８０２に示す画素輝度値変化の最低値、最高値および平均値の何れかに近づく様に決定するのがよい。画素輝度値変化の最低値、最高値または平均値は、画素輝度値変化の波形の周期、位相から計算で求めることができる。
【００５０】
画素輝度値変化（図９の符号８０２参照）の最低値に通常画素ＰＡの輝度値を揃える場合を例に挙げて、増幅率（補正係数）を乗じる処理を説明する。ｍ番目のフレームにおけるＮ行目の画素輝度値をＶ（Ｎ，ｍ）とし、Ｖ（Ｎ，ｍ）の最低値をαとした場合に、補正係数Ｃ（Ｎ，ｍ）は、「Ｃ（Ｎ，ｍ）＝α／Ｖ（Ｎ，ｍ）」で表すことができる。ここで、補正係数Ｃ（Ｎ，ｍ）が行とフレームを引数にしているのは、フリッカーの輝度変化が列とは関係なく行のみに関係するためである。補正係数算出部７６は、この式を用いて補正係数Ｃ（Ｎ，ｍ）をフリッカーの影響がある通常画素ＰＡについて算出し、算出した補正係数Ｃ（Ｎ，ｍ）を実際の通常画素ＰＡの輝度値に乗じる。これにより、フリッカーの影響を除去した輝度値を得ることができる。
【００５１】
例えば、あるフリッカー判定領域３１ａに１行１列目から９行９列目までの合計で８０個の通常画素ＰＡが配置されており（５行５列目には検出用画素ＰＢが配置されている）、ｍフレームにおける２行１列目〜２行８列目、３行１列目〜３行５列目に配置された通常画素ＰＡにフリッカーの影響がある場合を想定する。
補正係数算出部７６は、前述した式を用いて補正係数Ｃ（２，ｍ）を算出し、通常画素出力信号ＧＡのｍフレーム目の２行１列目〜２行８列目の通常画素ＰＡに対応する輝度値にＣ（２，ｍ）を乗じる。また、補正係数算出部７６は、補正係数Ｃ（３，ｍ）を算出し、通常画素出力信号ＧＡのｍフレーム目の３行１列目〜３行５列目の通常画素ＰＡに対応する輝度値にＣ（３，ｍ）を乗じる。
このように、一つのフリッカー判定領域３１ａでは、フリッカーの影響がある通常画素ＰＡ行分の補正係数Ｃ（Ｎ，ｍ）の算出が必要であり、その算出量は、最大でその領域に含まれる行数分になる。なお、あるフリッカー判定領域３１ａで算出した補正係数Ｃ（Ｎ，ｍ）を、他のフリッカー判定領域３１ａで利用することもできる。
【００５２】
≪実施形態に係る撮像装置の動作≫
図８（適宜、図５を参照）を参照して、フリッカー除去回路７０の処理について説明する。図８は、フリッカー除去回路７０のフローチャートである。図８に示す処理は、検出用画素ＰＢの単位に、すべての検出用画素ＰＢについて行われる。
【００５３】
最初に、フーリエ変換部７３は、特定の検出用画素ＰＢのある程度まとまったフレーム分（ここでは、２００フレーム分）の過去の輝度値（１２階調）に対して離散フーリエ変換を掛ける（図７参照）ことで輝度変化（輝度値の変化）の周期を求める（ステップＳ１０）。
【００５４】
続いて、フーリエ変換部７３は、ステップＳ１０で求めた輝度変化の周期に１００Ｈｚの成分があるか否かを判定する（ステップＳ２０）。フーリエ変換部７３は、輝度変化の周期に１００Ｈｚの成分がない（ステップＳ２０で“Ｎｏ”）場合に、「フリッカーなし」と判定する（ステップＳ３０）。そして、当該検出用画素ＰＢの処理を終了し、次の検出用画素ＰＢの処理に移行する。一方、フーリエ変換部７３は、輝度変化の周期に１００Ｈｚの成分がある（ステップＳ２０で“Ｙｅｓ”）場合に、「フリッカーあり」と判定する（ステップＳ４０）。そして、処理はステップＳ５０に進む。
【００５５】
続いて、光源輝度波形解析部７４は、所定フレーム分の過去の検出用画素ＰＢの輝度値（１２階調）から時間経過に伴う過去の輝度変化の波形（図９の符号８０１）を求める（ステップＳ５０）。
【００５６】
続いて、画素輝度値算出部７５は、ステップＳ５０で求めた過去の輝度変化の波形を通常画素ＰＡの露光時間単位（１／１２０秒単位）で積分することで、検出用画素ＰＢにおける画素輝度値変化の波形（図９の符号８０２）を求める（ステップＳ６０）。
【００５７】
続いて、補正係数算出部７６は、当該検出用画素ＰＢが担当するフリッカー判定領域３１ａ（図３参照）に配置される通常画素ＰＡ（周辺画素）での影響を予測し、フリッカーが影響する通常画素ＰＡを探索する（ステップＳ７０）。
【００５８】
続いて、補正係数算出部７６は、フリッカーの影響を受ける通常画素ＰＡについてフリッカーを打ち消す補正係数を求め、求めた補正係数を用いて通常画素出力信号ＧＡ（通常画素ＰＡの輝度値）を補正する（ステップＳ８０）。そして、当該検出用画素ＰＢの処理を終了し、次の検出用画素ＰＢの処理に移行する。
【００５９】
以上のように、本実施形態に係る撮像装置１は、通常画素ＰＡに代えて予め定めた画素間隔で配置された検出用画素ＰＢが、通常画素ＰＡよりも短い露光時間で駆動する。そして、撮像装置１は、この検出用画素ＰＢの輝度値を用いて輝度変化の波形を求め、通常画素ＰＡの露光時間単位で積分を行うことで、検出用画素ＰＢにおける通常画素ＰＡの露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置１は、画素輝度値変化の波形から検出用画素ＰＢの周辺に配置される通常画素ＰＡでのフリッカーの影響を予測することができ、画面内（フレーム内）の部分的なフリッカーを除去することが可能になる。
【００６０】
［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
【００６１】
実施形態に係る撮像装置１では、フーリエ変換部７１が輝度変化の周期に１００Ｈｚの成分があった場合に、「フリッカーあり」と判定していたが、フリッカーある・なしの判定はこれに限定されるものではない。例えば、フリッカーは、数値的にはそれ程大きな変動でなくても実際に画面で見ると影響が大きい場合もある。その為、フリッカーの検出のための閾値は、適宜選択するのがよい。
【００６２】
また、実施形態に係る撮像装置１では、撮像素子３として通常画素ＰＡと検出用画素ＰＢとが同一の基板上に配置されている場合（一体方式のもの）を想定していたが、これに限定されるものではない。例えば、通常画素ＰＡと検出用画素ＰＢとを別々の基板に配置しておき、レンズ２から入った光を分けて、検出用画素ＰＢが分けた光で処理を行うことも可能である。また、レンズ２から入った光を分けて、検出用画素ＰＢを分けた光の空間にマッピングしてもよい。
【符号の説明】
【００６３】
１      撮像装置
２      レンズ
３      フリッカー除去用撮像素子（撮像素子）
４      駆動回路
５      電源回路
６      映像信号生成回路
３１    画素アレイ
３１ａ  フリッカー判定領域
３２ａ，３２ｂ  通常画素用垂直走査回路（周辺回路）
３３    検出用画素用垂直走査回路（周辺回路）
３４ａ，３４ｂ  通常画素用信号処理回路（周辺回路）
３５ａ，３５ｂ  検出用画素用信号処理回路（周辺回路）
３６ａ，３６ｂ  信号出力回路（周辺回路）
６０    映像処理回路
６１    並べ替え・デモザイキング処理部
６２    切り替えＳＷ
６３    映像処理部
７０    フリッカー除去回路
７１    メモリー
７２    演算回路
７３    フーリエ変換部
７４    光源輝度波形解析部
７５    画素輝度値算出部
７６    補正係数算出部
Ｐ      画素
ＰＡ      通常画素
ＰＢ      検出用画素
Ｇ      映像信号
ＧＡ      通常画素出力信号
ＧＢ      検出用画素出力信号
【図１】
0006300364.tif 000002
【図２】
0006300364.tif 000003
【図３】
0006300364.tif 000004
【図４】
0006300364.tif 000005
【図５】
0006300364.tif 000006
【図６】
0006300364.tif 000007
【図７】
0006300364.tif 000008
【図８】
0006300364.tif 000009
【図９】
0006300364.tif 000010
【図１０】
0006300364.tif 000011
【図１１】
0006300364.tif 000012