(57)【要約】【課題】撮像装置において、外部閃光による高輝度の横帯ノイズを除外し、かつ動画として連続性を確保した画像を出力する。【解決手段】撮像装置１００は、所定映像フォーマットのｎ倍（ｎは３以上の整数）のフレームレートで撮像素子を駆動しｎ倍速の画像信号を出力する撮像部１と、閃光検出部２と、平均演算部３と、速度変換部４とを備え、閃光検出時には撮像部１の出力画像信号から閃光を含むフレームを除外し残りのフレームを用いて平均を計算して平均画像信号を取得し、閃光を検出しない時はフレームの除外は行わずｎフレームの平均を計算して平均画像信号を求め、１／ｎの速度に変換し所定の映像フォーマットで出力する。これにより、外部閃光による高輝度の横帯ノイズの発生を防ぎ、動画の連続性も確保できる。【選択図】図１
2011015381.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する撮像部と、
前記撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
前記撮像部により取得されたｎ倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換部と、
を備える撮像装置。
【請求項２】
前記ｎは３以上の整数であり、
前記フォーマット変換部は、
前記閃光検出信号により制御され、前記閃光検出部により閃光が検出された場合、ｎフレーム分の前記ｎ倍速の画像信号から、前記閃光検出信号に基づいて、閃光を含むフレームの画像を除外し、除外したフレーム以外のフレームを形成する前記ｎ倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得し、前記閃光検出部により閃光が検出されていない場合、ｎフレーム分の前記ｎ倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得する平均演算部と、
前記平均画像信号を、１／ｎの速度に変換し、所定の映像フォーマットのタイミングに合わせて画像信号を出力する速度変換部と、
を備える撮像装置。
【請求項３】
前記ｎは５以上の整数であり、
前記平均演算部は、前記ｎ倍速の画像信号により形成される連続するｎフレームに１番からｎ番までのフレーム番号を付けたとき、閃光が検出されていないフレームから、フレーム番号の平均が（ｎ＋１）／２となるように平均演算の対象とするフレームを選択して、各画素の平均を計算することで前記平均画像信号を取得する、
請求項２に記載の撮像装置。
【請求項４】
前記フォーマット変換部は、前記撮像部により取得されたｎ倍速の画像信号をｎフレーム分加算することにより、前記所定の映像フォーマットのタイミングに合わせて画像信号を出力するとともに、前記閃光検出信号に基づいて、前記閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするｎフレーム分のフレームを決定する、
請求項１に記載の撮像装置。
【請求項５】
前記フォーマット変換部は、前記閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームを加算対象とするｎフレームに含めて、前記ｎ倍速の画像信号に対して、ｎフレーム分の加算処理を行う、
請求項４に記載の撮像装置。
【請求項６】
前記フォーマット変換部は、
（ｎ＋２）フレーム分の画像信号を記憶するメモリ部と、
前記メモリ部に記憶される前記（ｎ＋２）フレーム分の前記画像信号から、ｎフレーム分の画像信号を選択するセレクタ部と、
前記セレクタ部により選択された前記ｎフレーム分の画像信号を加算する加算部と、
を備え、
前記セレクタ部は、前記閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームの画像信号を、選択する前記ｎフレーム分の画像信号に含める、
請求項４または５に記載の撮像装置。
【請求項７】
撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、
前記撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
前記撮像部により取得されたｎ倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換ステップと、
を備える撮像方法。
【請求項８】
撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
前記撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
前記撮像部により取得されたｎ倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換ステップと、
を備える撮像方法をコンピュータに実行させるプログラム。
【請求項９】
撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで前記撮像素子を駆動し、前記撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、
前記撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
前記撮像部により取得されたｎ倍速の画像信号から、前記所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を前記閃光検出信号に基づいて選択し、生成した前記所定の映像フォーマットの画像信号を出力するフォーマット変換部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続画像を撮像するデジタルカメラやビデオカメラなどの撮像装置に活用される技術であって、外部閃光による悪影響を受けた画像を除外する技術に関するものである。
【背景技術】
【０００２】
外部閃光による悪影響を受けた画像を除外する従来の信号処理装置（撮像装置）としては、例えば、特許文献１に記載されているようなものがある。図１６は、従来の撮像装置９００のブロック図である。前記特許文献１では、記録部に画像記録する処理について記載されているが、ここでは、画像信号を外部出力する例について説明する。
図１６に示すように、撮像装置９００は、ＣＭＯＳイメージセンサ、センサ駆動回路、アナログ／デジタル変換器を有し、連続画像を撮像して、例えば、垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数６０Ｈｚのデジタル順次走査画像信号を出力する撮像部９５０と、撮像部９５０の出力に対しガンマ処理（ガンマ補正）や輪郭強調を行う画像処理部９５１と、を備える。また、撮像装置９００は、撮像部９５０の出力に対し連続するフレームの画像を比較し外部閃光の有無を検出する閃光検出部９５２と、閃光検出部９５２の出力信号（閃光検出信号）に基づいて、画像処理部９５１から出力される画像信号をそのまま出力するか、あるいは蓄積した画像を出力するかの切換制御を行う出力制御部９５３と、を備える。
【０００３】
図１７に、従来の撮像装置９００における出力制御部９５３のブロック図を示す。出力制御部９５３は、例えば、図１７に示す回路で構成される。
図１７に示すように、出力制御部９５３は、画像処理部９５１から出力される画像信号を１フレーム分記憶するメモリ回路９５４と、閃光検出部９５２の出力信号（閃光検出信号）に基づいて、メモリ回路９５４から出力される信号と画像処理部９５１からの入力信号とを切り換えて出力する切換回路９５５と、を備える。
以上のように構成された従来の撮像装置９００について、その動作を説明する。
まず、撮像部９５０では、センサ駆動回路から駆動信号をＣＭＯＳイメージセンサに供給し、ＣＭＯＳイメージセンサに入射した光信号（被写体からの光）を光電変換により電気信号に変換し、さらに、光電変換により取得した電気信号をアナログ／デジタル変換によりデジタル順次走査画像信号に変換する。そして、撮像部９５０により生成されたデジタル順次走査画像信号が、撮像部９５０から出力される。このデジタル順次走査画像信号は、画像処理部９５１と閃光検出部９５２とに供給（出力）される。
【０００４】
画像処理部９５１では、入力されたデジタル順次走査画像信号に対して、ガンマ処理、輪郭強調処理等を施し、処理された画像信号は、出力制御部９５３に出力される。
一方、閃光検出部９５２では、入力されたデジタル順次走査画像信号に対して、１フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像が撮像部９５０により取得されたと判断する。例えば、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとの平均輝度レベルが１００％以上増加した場合、閃光検出部９５２は、フラッシュのような外部閃光が検出された（外部閃光が存在する環境下で撮像された）と判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。なお、閃光検出部９５２は、外部閃光を検出していないときは、閃光検出信号の信号値を「０」として、閃光検出信号を出力する。この閃光検出信号と画像処理部９５１から出力される画像信号とは、出力制御部９５３に入力される。
【０００５】
出力制御部９５３では、画像処理部９５１から出力される画像信号がメモリ回路９５４に入力される。メモリ回路９５４は、画像信号１フレーム分を書き込み記憶させ１フレームに相当する時間だけ遅延させて、画像信号を出力する。閃光検出部９５２から出力される閃光検出信号の信号値が「１」である場合、すなわち、閃光を検出している場合、メモリ回路９５４は、新たな画像信号の書き込みを行わず、前のフレームの画像信号を保持し、同じフレームの画像信号を繰り返し出力する。切換回路９５５は、画像処理部９５１から出力される画像信号とメモリ回路９５４から出力される画像信号とを、閃光検出信号に基づいて、切り換えて出力する。閃光検出部９５２から出力される閃光検出信号の信号値が「１」である場合、すなわち、閃光検出信号が閃光を検出していることを示している場合、切換回路９５５は、メモリ回路９５４から出力される画像信号を選択し出力する。一方、閃光検出部９５２から出力される閃光検出信号の信号値が「０」の場合、すなわち、閃光検出信号が閃光を検出していないことを示している場合、切換回路９５５は、画像処理部９５１から出力される画像信号を選択して出力する。
【０００６】
次に、図１８を用いて、撮像装置９００の動作を詳しく説明する。
図１８は、従来の撮像装置９００において、外部閃光により画像（撮像装置９００による撮像画像）が受ける悪影響を説明するための図である。
図１８の（１）〜（４）は、連続したフレームを示しており、ＣＭＯＳイメージセンサが受光しているタイミングを、垂直同期信号（図１８の最上段）を基準にして、示している。
図１８に示す「画像上側」とは、有効画面（撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面（同期信号等の部分を除いた画面）に相当する画面）の上側を意味している。ＣＭＯＳイメージセンサにおいて、有効画面の１ライン目は、図１８の中の矢印で示した期間受光している。ＣＭＯＳイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、７２０ライン目では、１ライン目に対して、およそ１／６０秒ずれている。ここで、図１８の星印で示したタイミングで外部閃光があった場合、（２）のフレームの下方画面を構成するラインと（３）のフレームの上方画面を構成するラインで、閃光を受光することになる。このような状況で、撮像部９５０により取得された画像信号を表示装置に表示させた場合、表示画面（映像）において、連続した２フレームにわたって高輝度な横帯が発生することになる。この高輝度な横帯の発生は、視覚的に違和感をユーザに抱かせることになる。さらに、連続するフレームの相関を利用して圧縮する方式、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式で圧縮する処理において、上記高輝度な横帯の発生させる画像信号を処理すると、ブロックノイズが発生したり、圧縮率が低下したりするという悪影響が発生する。
【０００７】
そこで、図１６で示した従来の撮像装置９００では、外部閃光を検出した際には、閃光を受光したフレームの画像は出力せず、直前のフレームの画像を出力する。このため、撮像装置９００では、高輝度な横帯の発生を防ぐことができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３０６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来の撮像装置では、連続する２フレームにわたって外部閃光を検出した場合、同じフレームの画像を３フレームにわたって出力することになり、動画として連続性が失われてしまうという課題がある。
例えば、図１８の場合、外部閃光により高輝度な横帯が発生するのは２フレーム（フレーム（２）とフレーム（３））であり、撮像装置９００では、この２フレームの直前のフレーム（フレーム（１））の画像を繰り返し出力することになる。つまり、撮像装置９００では、３フレームにわたって同じ画像（フレーム（１）に相当する画像）を出力することになるので、撮像装置９００により取得された画像（映像）を表示装置に表示させた場合、一時的に静止した画像として表示されることになる。
本発明は、上記従来の課題を解決するもので、外部閃光による高輝度の横帯をなくし、かつ、動画として連続性を確保した画像を出力する高性能な撮像装置、撮像方法、プログラムおよび集積回路を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の発明は、撮像部と、閃光検出部と、フォーマット変換部と、を備える撮像装置である。
撮像部は、撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する。閃光検出部は、撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換部は、撮像部により取得されたｎ倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
この撮像装置では、フォーマット変換部により、閃光検出信号に基づいて、動画としての連続性が確保されるように、撮像部により取得されたｎ倍速の画像信号を所定の映像フォーマットに変換する。例えば、この撮像装置では、閃光検出信号に基づいて、閃光の影響を受けているフレームを全て除く、あるいは、全て含める（つまり、画面の上側だけ閃光の影響を受けているフレームを含め、画面の下側だけ閃光の影響を受けている次のフレームを含めない、といった中途半端な処理を行わない）ことで、最終出力の所定映像のフォーマットの画像信号（例えば、フレーム周波数６０Ｈｚの画像信号がこれに相当する。）に、高輝度な横帯が発生するのを防ぐことができる。そして、この撮像装置では、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートの画像信号（ｎ倍速の画像信号）を処理対象として、閃光の影響を排除する処理を行い、その後、フォーマット変換を行うことで、１倍のフレームレートの画像信号（所定の映像フォーマットの画像信号）を出力する。つまり、この撮像装置では、同じフレーム画像（１倍速のフレーム画像）が複数枚連続して出力されることがない。その結果、この撮像装置により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。
【００１１】
第２の発明は、第１の発明であって、ｎは３以上の整数である。そして、フォーマット変換部は、平均演算部と、速度変換部と、を備える。
平均演算部は、閃光検出信号により制御され、閃光検出部により閃光が検出された場合、ｎフレーム分のｎ倍速の画像信号から、閃光検出信号に基づいて、閃光を含むフレームの画像を除外し、除外したフレーム以外のフレームを形成するｎ倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得し、閃光検出部により閃光が検出されていない場合、ｎフレーム分のｎ倍速の画像信号に対して、各画素の平均を計算することで平均画像信号を取得する。速度変換部は、平均画像信号を、１／ｎの速度に変換し、所定の映像フォーマットのタイミングに合わせて画像信号を出力する。
この撮像装置では、ｎ倍速で駆動させる撮像部と、外部閃光を検知したフレーム画像を除外して平均値を計算して画像信号を出力する平均演算部３とを有しているので、最終出力の所定映像のフォーマットの画像信号（例えば、フレーム周波数６０Ｈｚの画像信号がこれに相当する。）に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもない。このため、この撮像装置により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。
【００１２】
第３の発明は、第２の発明であって、ｎは５以上の整数であり、平均演算部は、ｎ倍速の画像信号により形成される連続するｎフレームに１番からｎ番までのフレーム番号を付けたとき、閃光が検出されていないフレームから、フレーム番号の平均が（ｎ＋１）／２となるように平均演算の対象とするフレームを選択して、各画素の平均を計算することで平均画像信号を取得する。
この撮像装置では、平均演算部により、フレーム番号の平均が（ｎ＋１）／２となるように平均計算すべきフレームが選択される。これにより、平均計算に採用されるフレームを、時系列において左右対称にすることができるので、時間的な重心を常に一定にすることができる。そして、この撮像装置では、常に時間重心を一定に保ったフレームにより最終出力する画像信号を生成するので、この撮像装置により取得される画像（映像）は、動画としてスムースなものになる。
【００１３】
第４の発明は、第１の発明であって、フォーマット変換部は、撮像部により取得されたｎ倍速の画像信号をｎフレーム分加算することにより、所定の映像フォーマットのタイミングに合わせて画像信号を出力するとともに、閃光検出信号に基づいて、閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするｎフレーム分のフレームを決定する。
この撮像装置では、フォーマット変換部により、閃光検出信号に基づいて、閃光検出部により閃光の影響を受けているフレームが発生するタイミングに応じて、加算対象とするｎフレーム分のフレームが決定され、決定されたフレームの画像信号が加算される。したがって、この撮像装置では、外部閃光による高輝度の横帯を除外し、かつ、動画として連続性を改善した画像（画像信号）を出力することができる。
【００１４】
第５の発明は、第４の発明であって、フォーマット変換部は、閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームを加算対象とするｎフレームに含めて、ｎ倍速の画像信号に対して、ｎフレーム分の加算処理を行う。
第６の発明は、第４または第５の発明であって、フォーマット変換部は、メモリ部と、セレクタ部と、加算部と、を備える。
メモリ部は、（ｎ＋２）フレーム分の画像信号を記憶する。セレクタ部は、メモリ部に記憶される（ｎ＋２）フレーム分の画像信号から、ｎフレーム分の画像信号を選択する。加算部は、セレクタ部により選択されたｎフレーム分の画像信号を加算する。
そして、セレクタ部は、閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームの画像信号を、選択するｎフレーム分の画像信号に含める。
【００１５】
この撮像装置では、閃光検出部により外部閃光の影響を受けている連続するフレームが検出された場合、当該外部閃光の影響を受けている連続するフレームを確実に加算対象とすることができる。したがって、この撮像装置では、外部閃光による高輝度の横帯を除外し、かつ、動画として連続性を改善した画像（画像信号）を出力することができる。
第７の発明は、撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法である。この撮像方法は、閃光検出ステップと、フォーマット変換ステップと、を備える。
閃光検出ステップでは、撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換ステップでは、撮像部により取得されたｎ倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
【００１６】
これにより、第１の発明と同様の効果を奏する撮像方法を実現することができる。
第８の発明は、撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。撮像方法は、閃光検出ステップと、フォーマット変換ステップと、を備える。
閃光検出ステップでは、撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換ステップでは、撮像部により取得されたｎ倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
【００１７】
これにより、第１の発明と同様の効果を奏する撮像方法をコンピュータに実行させるプログラムを実現することができる。
第９の発明は、撮像素子を有し、所定の映像フォーマットのｎ倍（ｎは２以上の整数）のフレームレートで撮像素子を駆動し、撮像素子に入射する光信号を電気信号に変換してｎ倍速の画像信号を取得する撮像部を備える撮像装置に用いられる集積回路である。この集積回路は、閃光検出部と、フォーマット変換部と、を備える。
閃光検出部は、撮像部により取得されたｎ倍速の画像信号から、外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。フォーマット変換部は、撮像部により取得されたｎ倍速の画像信号から、所定の映像フォーマットの画像信号を生成する際に、用いる画像信号を閃光検出信号に基づいて選択し、生成した所定の映像フォーマットの画像信号を出力する。
【００１８】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００１９】
本発明によれば、外部閃光による高輝度の横帯をなくし、かつ、動画として連続性を確保した画像を出力することができる撮像装置、撮像方法、プログラムおよび集積回路を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】第１実施形態に係る撮像装置１００のブロック図
【図２】第１実施形態に係る平均演算部３のブロック図
【図３】第１実施形態および第４実施形態に係る撮像装置１００および４００で外部閃光により画像が受ける悪影響を説明する図
【図４】第１実施形態に係る撮像装置１００で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図
【図５】第１実施形態の変形例に係る撮像装置１００Ａのブロック図
【図６】第２実施形態に係る撮像装置で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図
【図７】第３実施形態に係る撮像装置で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図
【図８】他の実施形態に係る撮像装置におけるフレーム選択方法を説明するための図
【図９】第４実施形態に係る撮像装置４００のブロック図
【図１０】第４実施形態に係るフォーマット変換部４０３のブロック図
【図１１】第４実施形態に係る撮像装置４００で外部閃光により撮像部の出力画像に高輝度な横帯が発生するタイミングを説明する図
【図１２】第１変形例に係るフォーマット変換部４０３に入力される画像信号Ｓｉｇ＿ｉｎと、フォーマット変換部４０３から出力される画像信号Ｓｉｇ＿ｏｕｔと、のタイミングチャート図
【図１３】第１変形例に係るフォーマット変換部４０３に入力される画像信号Ｓｉｇ＿ｉｎと、フォーマット変換部４０３から出力される画像信号Ｓｉｇ＿ｏｕｔと、のタイミングチャート図
【図１４】第１変形例に係るフォーマット変換部４０３に入力される画像信号Ｓｉｇ＿ｉｎと、フォーマット変換部４０３から出力される画像信号Ｓｉｇ＿ｏｕｔと、のタイミングチャート図
【図１５】第２変形例に係るフォーマット変換部４０３に入力される画像信号Ｓｉｇ＿ｉｎと、フォーマット変換部４０３から出力される画像信号Ｓｉｇ＿ｏｕｔと、のタイミングチャート図
【図１６】従来の撮像装置９００のブロック図
【図１７】従来の撮像装置９００の出力制御部９５３のブロック図
【図１８】従来の撮像装置９００で外部閃光により画像が受ける悪影響を説明する図
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：撮像装置の構成＞
図１は、本発明の第１実施形態に係る撮像装置１００のブロック図である。
図１に示すように、撮像装置１００は、被写体からの光を電気信号に変換し、所定の映像フォーマットのｎ倍（ｎ≧３、ｎは整数）のフレームレートの画像信号を取得する撮像部１と、撮像部１により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光検出部２と、閃光検出信号に基づいて、閃光のないフレームの画像信号を加算平均することで閃光の影響を除去した画像信号を生成する平均演算部３と、を備える。また、撮像装置１００は、平均演算部から出力される画像信号に対して速度変換を行う速度変換部４と、速度変換部４から出力される画像信号に対しガンマ処理、輪郭強調処理等の処理を行う画像処理部５と、を備える。
【００２２】
なお、説明便宜のため、以下では、撮像部１が所定の映像フォーマットの４倍のフレームレートの画像信号を取得する場合（つまり、ｎ＝４の場合）について、説明する。
撮像部１は、ＣＭＯＳイメージセンサ（ＣＭＯＳ型イメージセンサ（撮像素子））、センサ駆動回路、およびアナログ／デジタル変換器を有し、被写体からの光を光電変換により電気信号に変換し、デジタルの画像信号として、閃光検出部２および平均演算部３に出力する。撮像部１は、連続画像を撮像して、例えば、垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数２４０［Ｈｚ］（＝６０×４［Ｈｚ］）のデジタル順次走査画像信号を出力する。なお、説明便宜のため、以下では、撮像部１から出力される画像信号が、垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数２４０［Ｈｚ］のデジタル順次走査画像信号であるものとして、説明する。
【００２３】
閃光検出部２は、撮像部１から出力される画像信号を入力とし、連続する各フレームの画像（画像信号により形成されるフレーム画像）を比較し、外部閃光の有無を検出する。そして、閃光検出部２は、外光閃光の有無を示す閃光検出信号を平均演算部３に出力する。
平均演算部３は、撮像部１から出力される画像信号および閃光検出部２から出力される閃光検出信号を入力とする。平均演算部３は、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、複数フレームにわたって、同一画素位置の画素値（信号値に対応）を積算し、積算対象としたフレーム数で除算することにより、各画素における平均値を計算することで外部閃光の影響を排除した画像信号を生成する。
平均演算部３の具体的構成の一例を、図２に示す。
【００２４】
図２に示すように、平均演算部３は、ゲート部２０と、加算部２１と、記憶部２２と、除算部２３と、を有する。
ゲート部２０は、撮像部１から出力される画像信号と、閃光検出信号とを入力とし、閃光検出信号に基づいて、撮像部１から出力される画像信号をそのまま加算部２１に出力したり、あるいは、ゼロ信号（無信号を含む）を加算部２１に出力したりする（詳細については後述）。
加算部２１は、ゲート部２０から出力される画像信号と、記憶部２２から出力される画像信号と、を入力とし、両画像信号を、画素単位で、加算し、加算することで生成した画像信号を記憶部２２および除算部２３に出力する。
記憶部２２は、加算部２１から出力される画像信号を入力とし、入力された画像信号を、画像を形成することができる単位（ここでは、フレーム単位）で記憶する。そして、記憶している画像信号を、加算部２１に出力する。記憶部２２は、例えば、フレームメモリ等のメモリ回路により構成することができる。ここでは、記憶部２２は、加算部２１から出力される画像信号を、１／２４０秒の１フレーム分（２４０ｐの１フレーム分）記憶するメモリ回路（ハードウェアで構成する場合）である。
【００２５】
除算部２３は、加算部２１から出力される画像信号および閃光検出信号を入力とし、加算部２１から出力される画像信号を、閃光検出信号に基づいて、加算部２１で積算対象となったフレーム数で除算する。除算部２３は、除算して取得した画像信号を、速度変換部４に出力する。
速度変換部４は、フレーム周波数２４０［Ｈｚ］のタイミングで平均演算部３から出力出力される画像信号を、フレーム周波数６０Ｈｚのタイミングに変換する。つまり、速度変換部４は、フレームレート変換処理を行うことで、いわゆる２４０ｐの画像信号を６０ｐの画像信号に変換する。
画像処理部５は、速度変換部４から出力される画像信号に対して、ガンマ処理や輪郭強調処理等を行う。
【００２６】
＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１００について、その動作を説明する。
まず、撮像部１では、センサ駆動回路（不図示）から駆動信号を供給して、ＣＭＯＳイメージセンサに入射した光信号を光電変換し、さらに、アナログ／デジタル変換を行うことによってデジタル順次走査画像信号が取得される。なお、撮像部１は、図９で示した従来の撮像装置９００の撮像部９５０と比べ４倍速でＣＭＯＳイメージセンサを駆動しており、フレーム周波数２４０［Ｈｚ］のデジタル順次走査画像信号を出力している。
撮像部１により取得されたデジタル順次走査画像信号は、閃光検出部２および平均演算部３に出力される。
閃光検出部２は、入力されたデジタル順次走査画像信号に対して、１フレーム分（２４０ｐの１フレーム分）の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム（１フレーム前のフレーム）の平均輝度レベルとを比較する。そして、閃光検出部２は、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像（デジタル順次走査画像信号）が撮像部１により取得されたと判断する。例えば、平均輝度レベルが１００％以上増加した場合、閃光検出部２は、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。一方、外部閃光を検出していない場合、閃光検出部２は、閃光検出信号の信号値を「０」（無信号にしてもよい。）にして、閃光検出信号を出力する。そして、閃光検出部２により生成された閃光検出信号は、平均演算部３に出力される。
【００２７】
なお、撮像装置１００において、閃光検出部２により所定のフレームＦ１で、外部閃光が検出された場合、フレームＦ１の次のフレームＦ２でも外部閃光が検出されていると判断し、フレームＦ１からフレームＦ２の期間、つまり、本実施形態においては、フレームＦ１およびＦ２を形成する画像信号が処理される期間において、閃光検出部２が、閃光検出信号の信号値を「１」にして、閃光検出信号を出力するようにしている。
また、フレーム単位で閃光を検出することができる検出方法であれば、他の公知の方法を用いて、閃光検出を行うようにしてもよい。
撮像部１により取得されたデジタル順次走査画像信号（画像信号）は、平均演算部３のゲート部２０に入力され、閃光検出信号により、出力制御がなされる。具体的には、ゲート部２０に入力される閃光検出信号の値が「０」、すなわち、閃光検出信号が外部閃光を検出していないことを示している場合、処理対象のフレーム（現フレーム）は、外部閃光の影響を受けていないと判断できるので、ゲート部に入力された画像信号をそのまま、加算部２１に出力する。
【００２８】
一方、閃光検出信号の値が「１」、すなわち、閃光検出信号が外部閃光を検出したことを示している場合、処理対象のフレーム（現フレーム）は、外部閃光の影響を受けていると判断できるので、ゲート部２０から加算部２１に出力する画像信号の値を「０」（無信号でもよい。）にする。
記憶部２２では、１／６０秒に１回、記憶されているデータの全てがゼロにリセットされる。すなわち、フレーム周波数２４０［Ｈｚ］の４フレーム（２４０ｐの４フレーム）に１回、記憶されているデータがゼロにリセットされる。
加算部２１では、記憶部２２からの出力とゲート部２０からの出力とが加算され、加算部２１の出力は、記憶部２２に書き込まれていく。具体的には、加算部２１では、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、フレーム周波数２４０Ｈｚの４フレーム分（２４０ｐの４フレーム分）の足し算（同一画素位置の画素値の積算処理）を行うことができる。この加算部２１により生成された画像信号（加算結果）は、除算部２３に入力され、閃光検出信号に基づいて、割り算（除算処理）が行われる。除算部２３では、フレーム周波数２４０Ｈｚの４フレームの周期の間（２４０ｐの４フレームに相当する期間）に、閃光検出されたフレームの数に基づいて、以下のように除算数を決定する。
（Ａ）閃光検出されたフレームの数が「０」の場合、除算数を「４」とする。
（Ｂ）閃光検出されたフレームの数が「１」の場合、除算数を「３」とする。
（Ｃ）閃光検出されたフレームの数が「２」の場合、除算数を「２」とする。
【００２９】
除算部２３では、上記のようにして決定した除算数により、加算部２１により生成された画像信号に対して除算処理が実行される。そして、除算部２３により除算処理がなされた画像信号は、速度変換部４に出力される。
以上のように平均演算部３では、フレーム周波数２４０Ｈｚの４フレームの周期の間（２４０ｐの４フレームに相当する期間）で閃光を検出したフレームを除外し、閃光を検出していないフレームの画像信号のみを加算して、閃光を検出していないフレーム数で割ることにより平均値を計算することで、閃光の影響を除外した画像信号を生成している。
次に、速度変換部４では、平均演算部３から出力された２４０ｐのフレームレートの画像信号が６０ｐのフレームレートの画像信号に変換される。具体的には、速度変換部４では、メモリ回路（不図示）を有しており、フレーム周波数２４０［Ｈｚ］という４倍速のフレームレートの画像信号（６０ｐの４倍のフレームレートの画像信号）を、平均演算部３により平均値計算された部分のみ、メモリ回路（不図示）に書き込み、フレーム周波数６０［Ｈｚ］のタイミングで、当該メモリ回路から読み出す。これにより、速度変換部４では、速度変換（フレームレート変換）を行い、フレーム周波数６０Ｈｚの画像信号（６０ｐの画像信号）を生成する。そして、速度変換部４により、速度変換された画像信号（６０ｐの画像信号）は、画像処理部５に出力される。
【００３０】
画像処理部５では、入力された画像信号（６０ｐの画像信号）に対しガンマ処理、輪郭強調処理等が施される。そして、画像処理部５により処理された画像信号が、画像処理部５から出力される。
次に、撮像装置１００の動作について、図３を用いて、詳しく説明する。
図３は、本発明の第１実施形態における撮像装置１００で、外部閃光により画像が受ける悪影響を説明する図である。図３の（１）〜（４）は、連続したフレームでＣＭＯＳイメージセンサが受光しているタイミングを、最終出力の垂直同期信号を基準にして、示している。
図３に示す「画像上側」とは、有効画面（撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面（同期信号等の部分を除いた画面）に相当する画面）の上側を意味し、有効画面の１ライン目は、図３の中の矢印で示した期間受光している。ＣＭＯＳイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、７２０ライン目ではおよそ１／２４０秒ずれている。ここで、図３の星印で示したタイミングで外部閃光があった場合、（２）のフレームの下方画面を構成するラインと（３）のフレームの上方画面を構成するラインで、閃光を受光することになる。このような状況で、撮像部１により取得された画像信号を表示装置に表示させた場合、表示画面（映像）において、連続した２フレームにわたって高輝度な横帯が発生することになる。
【００３１】
しかしながら、本実施形態に係る撮像装置１００では、外部閃光を検出したフレーム、すなわち、図３でのフレーム（２）およびフレーム（３）の画像信号（フレーム（２）およびフレーム（３）を形成する画像信号）は採用せず、外部閃光を検出しなかったフレーム、すなわち、図３のフレーム（１）およびフレーム（４）の平均値により生成された画像信号が、平均演算部３から出力される。そして、平均演算部３から出力された画像信号に対して、後段の処理が実行されるため、最終出力である画像処理部５から出力される画像信号を、表示装置に表示させた場合、表示画面において、高輝度な横帯の発生を防ぐことができる。
さらに、図４を用いて、平均演算部３の処理について説明を加える。
図４は、本発明の第１実施形態における撮像装置１００で、外部閃光により撮像部１から出力される画像信号により形成される画像に高輝度な横帯が発生するタイミングを説明する図である。図４において、（１）から（４）は、フレーム周波数２４０Ｈｚにおける連続する４つのフレーム（２４０ｐの４フレーム）を示しており、外部閃光がないフレームは、１フレーム分ハッチングを施している。外部閃光があるフレームは、上半分あるいは下半分を白くしている。
【００３２】
１発の外部閃光があった場合、図４に示すように、１／６０秒の垂直同期信号のタイミングに対して、（ａ）から（ｅ）の５種類の位相関係があり得る。本実施形態における撮像装置１００では、次のようにして、除外するフレームを決定し、平均演算部３による平均値処理を行う。
（Ａ）（ａ）の位相関係の場合、フレーム（１）を除外し、フレーム（２）からフレーム（４）の平均値を計算する。
（Ｂ）（ｂ）の位相関係の場合、フレーム（１）およびフレーム（２）を除外し、フレーム（３）とフレーム（４）の平均値を計算する。
（Ｃ）（ｃ）の位相関係の場合、フレーム（２）およびフレーム（３）を除外し、フレーム（１）とフレーム（４）の平均値を計算する。
（Ｄ）（ｄ）の位相関係の場合、フレーム（３）およびフレーム（４）を除外し、フレーム（１）とフレーム（２）の平均値を計算する。
（Ｅ）（ｄ）の位相関係の場合、フレーム（４）を除外し、フレーム（１）からフレーム（３）の平均値を計算する。
【００３３】
このように、撮像装置１００では、平均演算部３により、計算することで、全ての位相関係について平均演算が可能である。
以上のように、本実施形態における撮像装置１００では、４倍速で駆動させる撮像部１と、外部閃光を検知したフレーム画像を除外して平均値を計算して画像信号を出力する平均演算部３とを設けた。これにより、撮像装置１００では、最終出力のフレーム周波数６０Ｈｚの画像信号に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもないため、撮像装置１００により取得された画像信号を、表示装置に表示させた場合、動画としての連続性も保つことができる。
≪変形例≫
なお、本実施形態では、速度変換部４により、フレーム周波数６０［Ｈｚ］の画像信号を生成した後、画像処理部５で、ガンマ処理や輪郭強調処理を行う場合について説明したが、これに限定されることなく、例えば、図５に示す撮像装置１００Ａのように、画像処理を２つに分けて処理するようにしてもよい。
【００３４】
図５は、本実施形態の変形例に係る撮像装置１００Ａのブロック図である。
図５に示すように、撮像装置１００Ａは、撮像装置１００の画像処理部５の代わりに、画像処理部５Ａおよびガンマ処理部５Ｂを備えており、画像処理部５Ａは、撮像部１と平均演算部３との間に配置されており、ガンマ処理部５Ｂは、速度変換部４の後段に配置されている。それ以外については、撮像装置１００Ａは、撮像装置１００と同様である。撮像装置１００Ａにおいて、撮像装置１００と同様の部分については、同一符号を付し、説明を省略する。
図５の撮像装置１００Ａでは、画像処理を２つのブロックに分け、別々に処理しているが、外部閃光フレームを除外して画像（フレーム画像）の平均値を計算する動作は、撮像装置１００と同じである。したがって、撮像装置１００Ａにおいても、撮像装置１００と同じ効果が得られる。
【００３５】
なお、本実施形態では、平均演算部３で、閃光を検出したとき、閃光を含んでいないフレームの全てを用いて平均計算処理を行ったが、１／６０秒の間（２４０ｐの４フレーム分に相当する期間）に閃光を含んでいないフレームが１以上あれば、必ずしも全てを使って平均計算する必要はない。
［第２実施形態］
本発明の第２実施形態について、図面を参照しながら説明する。
＜２．１：撮像装置の構成＞
本発明の第２実施形態に係る撮像装置は、基本的には第１実施形態に係る撮像装置１００の構成と同じであるので、本実施形態の撮像装置の構成の詳細な説明は、省略する。本実施形態において、第１実施形態と異なっている点は、以下の通りである。
【００３６】
第１に、本実施形態の撮像装置では、ｎ＝６であり、撮像部において、ＣＭＯＳイメージセンサを６倍速で駆動しており、フレーム周波数３６０Ｈｚ（＝６０［Ｈｚ］×６）のデジタル順次走査画像信号を取得し出力する。この点が第１実施形態と異なる。
第２に、本実施形態の撮像装置では、平均演算部において、最大６フレーム分（３６０ｐの６フレーム分）の画像（フレーム画像）に相当する画像信号を用いて、平均値計算ができるようになっている。この点が第１実施形態と異なる。
第３に、本実施形態の撮像装置では、速度変換部において、フレーム周波数３６０Ｈｚの画像信号からフレーム周波数６０Ｈｚの画像信号に変換している（３６０ｐから６０ｐへのフレームレート変換を行っている）。この点が第１実施形態と異なる。
上記以外の点については、本実施形態は、第１実施形態と同様である。
【００３７】
＜２．２：撮像装置の動作＞
以上のように構成された本発明の第２実施形態における撮像装置の動作について説明する。第２実施形態の撮像装置の動作において、第１実施形態と異なっている部分について説明する。具体的には、本実施形態の撮像装置において、撮像部から出力される画像信号（フレーム周波数３６０Ｈｚの画像信号）の連続した６フレーム（３６０ｐの６フレーム分）を用いて、平均演算部による実行される平均計算処理について、図６を用いて説明する。
図６は、本実施形態の撮像装置で、外部閃光により撮像部から出力される画像信号に高輝度な横帯が発生するタイミングを説明する図である。図６において、（１）から（６）は、フレーム周波数３６０Ｈｚにおける連続する６つのフレーム（３６０ｐの６フレーム）を、最終出力の垂直同期信号を基準にして、示している。図６において、外部閃光がないフレームは、１フレーム分ハッチングを施している。外部閃光があるフレームは、上半分あるいは下半分を白くしている。
【００３８】
１発の外部閃光があった場合、図６に示すように、１／６０秒の垂直同期信号のタイミングに対して（ａ）から（ｇ）の７種類の位相関係があり得る。本実施形態の撮像装置では、次のようにして、除外するフレームを決定し、平均演算部による平均処理を行う。
（Ａ）（ａ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（５）およびフレーム（６）を除外し、図６の黒丸で示したフレーム（３）とフレーム（４）の平均値を計算する。
（Ｂ）（ｂ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（５）およびフレーム（６）を除外し、図６の黒丸で示したフレーム（３）とフレーム（４）の平均値を計算する。
（Ｃ）（ｃ）の位相関係の場合、フレーム（２）、フレーム（３）、フレーム（４）およびフレーム（５）を除外し、図６の黒丸で示したフレーム（１）とフレーム（６）の平均値を計算する。
（Ｄ）（ｄ）の位相関係の場合、フレーム（１）、フレーム（３）、フレーム（４）およびフレーム（６）を除外し、図６の黒丸で示したフレーム（２）とフレーム（５）の平均値を計算する。
（Ｅ）（ｅ）の位相関係の場合、フレーム（２）、フレーム（３）、フレーム（４）およびフレーム（５）を除外し、図６の黒丸で示したフレーム（１）とフレーム（６）の平均値を計算する。
（Ｆ）（ｆ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（５）およびフレーム（６）を除外し、図６の黒丸で示したフレーム（３）とフレーム（４）の平均値を計算する。
（Ｇ）（ｇ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（５）およびフレーム（６）を除外し、図６の黒丸で示したフレーム（３）とフレーム（４）の平均値を計算する。
【００３９】
このように、本実施形態の撮像装置では、平均演算部により、計算することで、全ての位相関係について平均演算が可能である。
本実施形態の撮像装置では、撮像部から出力されるｎ倍速画像（画像信号）の連続するｎ個のフレームに１番からｎ番までのフレーム番号を付けたとき、フレーム番号の平均が（ｎ＋１）／２となるように、閃光を検出していないフレームを選択して平均演算部で平均を計算する。本実施形態では、ｎ＝６である。
本実施形態の撮像装置では、フレーム番号の平均が（ｎ＋１）／２となるように平均計算すべきフレームを選んでいる。撮像装置において、このように制御することにより、平均計算に採用されるフレームが図６のフレーム（１）からフレーム（６）の中で左右対称にすることができ、時間的な重心が常に１／６０秒の中央にすることができる（図６の場合では、時間的な重心を常にＣ１で示した位置にすることができる）。
【００４０】
仮に、図６の場合において、（ｂ）のタイミングで外部閃光を検出した場合、フレーム（１）およびフレーム（２）を除外してフレーム（３）からフレーム（６）までの４フレームを採用して平均計算してフレーム周波数６０Ｈｚの画像に変換したとすると、動画の中の１枚の画像としては時間的に後ろ寄りになってしまう。例えば、等速度で移動する物体を撮像したとき、撮像装置の出力画像の物体は等間隔で移動せず、後ろのフレームに近い側に表示されてしまう。しかし、本実施形態の撮像装置により取得される画像（映像）では、外部閃光の有無に関わらず、常に時間重心が一定となる。このため、本実施形態の撮像装置により取得される画像（映像）は、動画としてスムースなものになる。
以上のように、本実施形態の撮像装置は、６倍速で駆動させる撮像部と、図６の黒丸で示したフレームの平均計算をする平均演算部とを有しており、上記のように動作するので、最終出力のフレーム周波数６０Ｈｚの画像信号に高輝度な横帯が発生することを防止することができ、かつ、同じフレーム画像を複数枚連続出力することもない。このため、本実施形態の撮像装置により取得される画像（映像）は、動画としての連続性も保つことができる。さらに、平均計算に採用されるフレームが図６のフレーム（１）からフレーム（６）の中で左右対称にすることができ、常に時間重心を一定に保つことができるため、本実施形態の撮像装置により取得される画像（映像）は、動画としてスムースなものになる。
【００４１】
［第３実施形態］
本発明の第３実施形態について、図面を参照しながら説明する。
＜３．１：撮像装置の構成＞
本発明の第３実施形態に係る撮像装置は、基本的には第１実施形態に係る撮像装置１００の構成と同じであるので、本実施形態の撮像装置の構成の詳細な説明は、省略する。本実施形態において、第１実施形態と異なっている点は、以下の通りである。
第１に、本実施形態の撮像装置では、ｎ＝８であり、撮像部において、ＣＭＯＳイメージセンサを８倍速で駆動しており、フレーム周波数４８０Ｈｚ（＝６０［Ｈｚ］×８）のデジタル順次走査画像信号を取得し出力する。この点が第１実施形態と異なる。
第２に、本実施形態の撮像装置では、平均演算部において、最大８フレーム分（４８０ｐの８フレーム分）の画像（フレーム画像）に相当する画像信号を用いて、平均値計算ができるようになっている。この点が第１実施形態と異なる。
【００４２】
第３に、本実施形態の撮像装置では、速度変換部において、フレーム周波数４８０Ｈｚの画像信号からフレーム周波数６０Ｈｚの画像信号に変換している（４８０ｐから６０ｐへのフレームレート変換を行っている）。この点が第１実施形態と異なる。
上記以外の点については、本実施形態は、第１実施形態と同様である。
＜３．２：撮像装置の動作＞
以上のように構成された本発明の第３実施形態における撮像装置の動作について説明する。第３実施形態の撮像装置の動作において、第１実施形態と異なっている部分について説明する。具体的には、本実施形態の撮像装置において、撮像部から出力される画像信号（フレーム周波数４８０Ｈｚ画像信号）の連続した８フレーム（４８０ｐの８フレーム分）を用いて、平均演算部による実行される平均計算処理について、図７を用いて説明する。
【００４３】
図７は、本実施形態の撮像装置で、外部閃光により撮像部から出力される画像信号に高輝度な横帯が発生するタイミングを説明する図である。図７において、（１）から（８）は、フレーム周波数４８０Ｈｚにおける連続する８つのフレーム（４８０ｐの８フレーム）を、最終出力の垂直同期信号を基準にして、示している。図７において、外部閃光がないフレームは、１フレーム分ハッチングを施している。外部閃光があるフレームは上半分あるいは下半分を白くしている。
１発の外部閃光があった場合、図７に示すように１／６０秒の垂直同期信号のタイミングに対して（ａ）から（ｉ）の９種類の位相関係があり得る。本実施形態の撮像装置では、次のようにして、除外するフレームを決定し、平均演算部による平均処理を行う。
（Ａ）（ａ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（７）およびフレーム（８）を除外し、図７の黒丸で示したフレーム（３）、フレーム（４）、フレーム（５）とフレーム（６）の平均値を計算する。
（Ｂ）（ｂ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（７）およびフレーム（８）を除外し、図７の黒丸で示したフレーム（３）、フレーム（４）、フレーム（５）とフレーム（６）の平均値を計算する。
（Ｃ）（ｃ）の位相関係の場合、フレーム（２）、フレーム（３）、フレーム（６）およびフレーム（７）を除外し、図７の黒丸で示したフレーム（１）、フレーム（４）、フレーム（５）とフレーム（８）の平均値を計算する。
（Ｄ）（ｄ）の位相関係の場合、フレーム（３）、フレーム（４）、フレーム（５）およびフレーム（６）を除外し、図７の黒丸で示したフレーム（１）、フレーム（２）、フレーム（７）とフレーム（８）の平均値を計算する。
（Ｅ）（ｅ）の位相関係の場合、フレーム（１）、フレーム（４）、フレーム（５）およびフレーム（８）を除外し、図７の黒丸で示したフレーム（２）、フレーム（３）、フレーム（６）とフレーム（７）の平均値を計算する。
（Ｆ）（ｆ）の位相関係の場合、フレーム（３）、フレーム（４）、フレーム（５）およびフレーム（６）を除外し、図７の黒丸で示したフレーム（１）、フレーム（２）、フレーム（７）とフレーム（８）の平均値を計算する。
（Ｇ）（ｇ）の位相関係の場合、フレーム（２）、フレーム（３）、フレーム（６）およびフレーム（７）を除外し、図７の黒丸で示したフレーム（１）、フレーム（４）、フレーム（５）とフレーム（８）の平均値を計算する。
（Ｈ）（ｈ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（７）およびフレーム（８）を除外し、図７の黒丸で示したフレーム（３）、フレーム（４）、フレーム（５）とフレーム（６）の平均値を計算する。
（Ｉ）（ｉ）の位相関係の場合、フレーム（１）、フレーム（２）、フレーム（７）およびフレーム（８）を除外し、図７の黒丸で示したフレーム（３）、フレーム（４）、フレーム（５）とフレーム（６）の平均値を計算する。
【００４４】
このように、本実施形態の撮像装置では、平均演算部により、計算することで、全ての位相関係について平均演算が可能である。
本実施形態の撮像装置では、撮像部から出力されるｎ倍速画像（画像信号）の連続するｎ個のフレームに１番からｎ番までのフレーム番号を付けたとき、フレーム番号の平均が（ｎ＋１）／２となるように、閃光を検出していないフレームを選択して平均演算部で平均を計算する。本実施形態では、ｎ＝８である。
本実施形態の撮像装置では、フレーム番号の平均が（ｎ＋１）／２となるように平均計算すべきフレームを選んでいる。撮像装置において、このように制御することにより平均計算に採用されるフレームが図７のフレーム（１）からフレーム（８）の中で左右対称にすることができ、時間的な重心が常に１／６０秒の中央にすることができる（図７の場合では、時間的な重心を常にＣ２で示した位置にすることができる）。
【００４５】
以上のように、本実施形態の撮像装置は、８倍速で駆動させる撮像部と、図７の黒丸で示したフレームの平均計算をする平均演算部とを有しており、上記のように動作するので、最終出力のフレーム周波数６０Ｈｚの画像信号に高輝度な横帯が発生することを防止することができ、かつ、同じフレーム画像を複数枚連続出力することもない。このため、本実施形態の撮像装置により取得される画像（映像）は、動画としての連続性も保つことができる。さらに、平均計算に採用されるフレームが図７のフレーム（１）からフレーム（８）の中で左右対称にすることができ、常に時間重心を一定に保つことができるため、本実施形態の撮像装置により取得される画像（映像）は、動画としてスムースなものになる。
［第４実施形態］
＜４．１：撮像装置の構成＞
図９は、本発明の第４実施形態に係る撮像装置４００のブロック図である。
【００４６】
図９に示すように、撮像装置４００は、被写体からの光を電気信号に変換し、所定の映像フォーマットのｎ倍（ｎ≧２、ｎは整数）のフレームレートの画像信号を取得する撮像部４０１と、撮像部４０１により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光検出部４０２と、閃光検出信号に基づいて、異なったタイミングで取得されたｎ個のフレームの信号の全部または一部を抽出して加算することで閃光の影響を除去した画像信号を生成するフォーマット変換部４０３と、を備える。また、撮像装置４００は、フォーマット変換部４０３から出力される画像信号に対してガンマ処理、輪郭強調処理等の処理を行う画像処理部４０４と、を備える。
なお、説明便宜のため、以下では、撮像部４０１が所定の映像フォーマットの４倍のフレームレートの画像信号を取得する場合（つまり、ｎ＝４の場合）について、説明する。
【００４７】
撮像部４０１は、ＣＭＯＳイメージセンサ（ＣＭＯＳ型イメージセンサ（撮像素子））、センサ駆動回路、およびアナログ／デジタル変換器を有し、被写体からの光を光電変換により電気信号に変換し、デジタルの画像信号として、閃光検出部４０２およびフォーマット変換部４０３に出力する。撮像部４０１は、連続画像を撮像して、例えば、垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数２４０［Ｈｚ］（＝６０×４［Ｈｚ］）（フレームレート２４０［ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）］）のデジタル順次走査画像信号を出力する。なお、説明便宜のため、以下では、撮像部４０１から出力される画像信号が、垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数２４０［Ｈｚ］のデジタル順次走査画像信号であるものとして、説明する。
閃光検出部４０２は、撮像部４０１から出力される画像信号を入力とし、連続する各フレームの画像（画像信号により形成されるフレーム画像）を比較し、外部閃光の有無を検出する。そして、閃光検出部４０２は、外光閃光の有無を示す閃光検出信号をフォーマット変換部４０３に出力する。
【００４８】
フォーマット変換部４０３は、撮像部４０１から出力される画像信号および閃光検出部４０２から出力される閃光検出信号を入力とする。フォーマット変換部４０３は、画像信号により形成されるフレーム画像において、水平・垂直の同じ位置の画素について、複数フレームにわたって、同一画素位置の画素値（信号値に対応）を加算することで所定のフォーマットの画像信号を生成する。フォーマット変換部４０３は、フォーマット変換部４０３に入力される画像信号のフレームレートＦＲｉｎが、フォーマット変換部４０３から出力される画像信号のフレームレートＦＲｏｕｔのK倍（＝ＦＲｉｎ／ＦＲｏｕｔ）である場合、Ｋ＋２個のフレームメモリを備えることが好ましい。そして、フォーマット変換部４０３は、例えば、以下のようにして、フレーム変換処理を行う。
すなわち、画像領域上において、その画素位置（座標位置）が同一である画素に対応する画像信号であって、Ｋ＋２個のフレームメモリにそれぞれ記憶されているＫ＋２個の画像信号の中から、Ｋ個の画像信号を抽出し、抽出したＫ個の画像信号を加算することで、フレーム変換処理を行う。なお、加算処理の代わりに、加算平均処理を行うようにしてもよい。
【００４９】
フォーマット変換部４０３は、上記のようにして、フォーマット変換処理を行った画像信号を画像処理部４０４に出力する。
さらに、２４０ｐの画像信号を６０ｐの画像信号にフォーマット変換する場合のフォーマット変換部４０３の具体的構成の一例を、図１０に示す。
図１０に示すように、フォーマット変換部４０３は、フレームメモリ部４２０と、制御信号変換部４２１と、セレクタ部４２２と、加算部４２３と、を有する。
フレームメモリ部４２０は、少なくとも６フレーム分（＝２４０／６０＋２）の容量を持つ、例えばメモリ等の記憶素子で構成されている。フレームメモリ部４２０は、撮像部４０１から出力されるフレーム周波数が２４０Ｈｚ（フレームレートが２４０［ｆｐｓ］）の画像信号をフレームメモリ１からフレームメモリ６に記憶し、フレーム周波数が６０Ｈｚ（フレームレートが６０［ｆｐｓ］）の画像信号に変換して出力する。
【００５０】
制御信号変換部４２１は、閃光検出部４０２から出力される閃光検出信号を入力とし、閃光検出信号に基づいて、フレームメモリ１から６に記憶されている６つのフレーム（６つのフレーム期間）のどの部分が外部閃光の影響を受けているかを判定し、その判定結果に基づいて、制御信号を生成し、生成した制御信号をセレクタ部４２２に出力する。
セレクタ部４２２は、フレームメモリ部４２０から出力される６個のフレーム（６枚の画像に相当）にそれぞれ対応する６個の画像信号（画像領域上において同一画素位置である画素に対応する画像信号）と、制御信号変換部４２１から出力される制御信号とを入力とし、制御信号に基づいて、上記６個の画像信号の中から、４個の画像信号を選択して（６枚のフレーム画像に対応する画像信号から４枚のフレーム画像に対応する画像信号を選択して）、加算部４２３に出力する（詳細については後述）。
【００５１】
加算部４２３は、セレクタ部４２２から出力される４個の画像信号（４枚のフレーム画像に対応する画像信号）を加算して、画像処理部４０４に出力する。なお、４個の画像信号（４枚のフレーム画像に対応する画像信号）を加算する代わりに、４個の画像信号（４枚のフレーム画像に対応する画像信号）を加算平均するようにしてもよい。
画像処理部４０４は、フォーマット変換部４０３から出力される画像信号に対して、ガンマ処理や輪郭強調処理等の信号処理を行う。
＜４．２：撮像装置の動作＞
以上のように構成された撮像装置４００について、その動作を説明する。
まず、撮像部４０１では、センサ駆動回路（不図示）から駆動信号を供給して、ＣＭＯＳイメージセンサに入射した光信号を光電変換し、さらに、アナログ／デジタル変換を行うことによってデジタル順次走査画像信号が取得される。なお、撮像部４０１は、図１６で示した従来の撮像装置９００の撮像部９５０と比べ４倍速でＣＭＯＳイメージセンサを駆動しており、フレーム周波数２４０［Ｈｚ］（フレームレート２４０［ｆｐｓ］）のデジタル順次走査画像信号を出力している。
【００５２】
撮像部４０１により取得されたデジタル順次走査画像信号は、閃光検出部４０２およびフォーマット変換部４０３に出力される。
閃光検出部４０２は、入力されたデジタル順次走査画像信号に対して、１フレーム分（２４０ｐの１フレーム分）の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム（１フレーム前のフレーム）の平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像（デジタル順次走査画像信号）が撮像部４０１により取得されたと判断する。例えば、平均輝度レベルが１００％以上増加した場合、閃光検出部４０２は、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。一方、外部閃光を検出していない場合、閃光検出部４０２は、閃光検出信号の信号値を「０」（無信号にしてもよい。）にして、閃光検出信号を出力する。そして、閃光検出部４０２により生成された閃光検出信号は、フォーマット変換部４０３に出力される。
【００５３】
撮像部４０１により取得されたデジタル順次走査画像信号（画像信号）は、フォーマット変換部４０３のフレームメモリ部４２０に順番に６フレーム分入力される。
フレームメモリ部４２０は、入力された６枚の画像に相当する画像信号（６フレーム分の画像信号）を、フレーム周波数２４０［Ｈｚ］（２４０［ｆｐｓ］）という４倍速のフレームレート（６０ｐの４倍のフレームレート）にてメモリに書き込み、フレーム周波数６０［Ｈｚ］（フレームレート６０［ｆｐｓ］）のタイミングで、当該メモリから読み出すことにより、速度変換（フレームレート変換）を行い、フレーム周波数６０Ｈｚ（フレームレート６０［ｆｐｓ］）の画像信号（６０ｐの画像信号）を生成する。なお、これら６枚の画像（フレーム画像）に相当する画像信号（６フレーム分の画像信号）の出力タイミングは、画像信号により形成されるフレーム画像において、その画像領域上の位置が同じ位置の信号が、同一タイミングで出力されるように調整されている。
【００５４】
一方、閃光検出部４０２より出力される閃光検出信号は、フォーマット変換部４０３の制御信号変換部４２１に入力される。
制御信号変換部４２１は、連続する閃光検出信号が６個のフレーム画像（６フレーム期間）のどの部分に発生しているかに対応した制御信号を以下のように生成（設定）し、出力する。すなわち、
（Ａ）閃光検出信号が全く発生しない場合（閃光検出信号がフレームメモリ１〜６のいずれにも発生していない場合）、制御信号を「０」に設定する（制御信号を「０」を示す信号値に設定する）。
（Ｂ）閃光検出信号がフレームメモリ１、およびフレームメモリ２に発生する場合、制御信号の信号値を「１」に設定する（制御信号を「１」を示す信号値に設定する）。
（Ｃ）閃光検出信号がフレームメモリ２、およびフレームメモリ３に発生する場合、制御信号を「２」に設定する（制御信号を「２」を示す信号値に設定する）。
（Ｄ）閃光検出信号がフレームメモリ３、およびフレームメモリ４に発生する場合、制御信号を「３」に設定する（制御信号を「３」を示す信号値に設定する）。
（Ｅ）閃光検出信号がフレームメモリ４、およびフレームメモリ５に発生する場合、制御信号を「４」に設定する（制御信号を「４」を示す信号値に設定する）。
（Ｆ）閃光検出信号がフレームメモリ５、およびフレームメモリ６に発生する場合、制御信号を「５」に設定する（制御信号を「５」を示す信号値に設定する）。
【００５５】
セレクタ部４２２は、制御信号変換部４２１から出力される、上記（Ａ）〜（Ｆ）で示した６種類の制御信号に基づいて、フレームメモリ部４２０のフレームメモリ１〜６のそれぞれから出力される６つの画像信号（６フレーム分の画像信号）から、４つの画像信号（４フレーム分の画像信号）を以下のように選択し、出力する。すなわち、
（Ａ）制御信号値０の場合：
フレームメモリ２，３，４，５から、それぞれ、出力される画像信号を選択し、選択した４つの画像信号を加算部２３に出力する。
（Ｂ）制御信号値１の場合：
フレームメモリ１，２，３，４から、それぞれ、出力される画像信号を選択し、選択した４つの画像信号を加算部２３に出力する。
（Ｃ）制御信号値２の場合：
フレームメモリ２，３，４，５から、それぞれ、出力される画像信号を選択し、選択した４つの画像信号を加算部２３に出力する。
（Ｄ）制御信号値３の場合：
フレームメモリ２，３，４，５から、それぞれ、出力される画像信号を選択し、選択した４つの画像信号を加算部２３に出力する。
（Ｅ）制御信号値４の場合：
フレームメモリ２，３，４，５から、それぞれ、出力される画像信号を選択し、選択した４つの画像信号を加算部２３に出力する。
（Ｆ）制御信号値５の場合：
フレームメモリ３，４，５，６から、それぞれ、出力される画像信号を選択し、選択した４つの画像信号を加算部４２３に出力する。
【００５６】
加算部４２３は、セレクタ部４２２から出力される４つの画像信号（異なる４つのフレームを形成する画像信号であって、フレーム内の画像領域上の座標位置が同一である画素に対応する、４つの画像信号）を全て加算して、画像処理部４０４に出力する。なお、加算部４２３は、４つの画像信号を加算平均して、画像処理部４０４に出力するようにしてもよい。
画像処理部４０４では、フォーマット変換部４０３から出力された画像信号（６０ｐの画像信号）に対しガンマ処理（ガンマ補正）、輪郭強調処理等を施す。そして、画像処理部４０４により処理された画像信号が、画像処理部４０４から出力される。
次に、撮像装置４００の動作について、図３を用いて、詳しく説明する。
図３は、本実施形態における撮像装置１００で、外部閃光により画像が受ける悪影響を説明する図である。図３の（１）〜（４）は、連続したフレームでＣＭＯＳイメージセンサが受光しているタイミングを、最終出力の垂直同期信号を基準にして、示している。
【００５７】
図３に示す「画像上側」とは、有効画面（撮像装置により取得された画像信号を表示装置に表示させた場合の実際に表示される画面（同期信号等の部分を除いた画面）に相当する画面）の上側を意味し、有効画面の１ライン目は、図３の中の矢印で示した期間受光している。ＣＭＯＳイメージセンサでは、ライン毎に受光タイミングが少しずつずれていくため、７２０ライン目では、およそ１／２４０秒ずれている。ここで、図３の星印で示したタイミングで外部閃光があった場合、（２）のフレームの下方画面を構成するラインと（３）のフレームの上方画面を構成するラインで、閃光を受光することになる。このような状況で、撮像部１により取得された画像信号を表示装置に表示させた場合、表示画面（映像）において、連続した２フレームにわたって高輝度な横帯が発生することになる。
しかしながら、本実施形態に係る撮像装置１００では、外部閃光を検出したフレーム、すなわち、図３でのフレーム（２）およびフレーム（３）の画像信号（フレーム（２）およびフレーム（３）を形成する画像信号）を加算することにより最終の画像信号を生成するため、高輝度な横帯の発生を防ぐことができる。
【００５８】
（４．２．１：フォーマット変換部４０３の処理）
さらに、図１１を用いて、フォーマット変換部４０３の処理について説明を加える。
図１１は、本実施形態における撮像装置４００で、外部閃光により撮像部４０１から出力される画像信号により形成される画像に高輝度な横帯が発生するタイミングを説明する図である。図１１において、（１）から（６）は、フレームメモリ部４２０に記憶されるフレーム周波数２４０Ｈｚ（フレームレート２４０［ｆｐｓ］）における連続する６つのフレーム（２４０ｐの６フレーム）を示しており、外部閃光がないフレームは、１フレーム分ハッチングを施している。外部閃光があるフレームは、上半分あるいは下半分を白くしている。
１発の外部閃光があった場合、図１１に示すように、（ｂ）から（ｆ）の５種類の位相関係があり得る。本実施形態における撮像装置４００では、外部閃光がない場合、（ａ）も含め、次の（Ａ）〜（Ｆ）のようにして、フォーマット変換部４０３で加算するフレームを決定し、決定したフレームの信号を加算する。なお、図１１に（Ｎ）で表記しているフレームは、フレームＮに対応する。
（Ａ）（ａ）の場合（外部閃光がない場合）：
フレーム２、フレーム３、フレーム４、フレーム５の信号を加算する。
（Ｂ）（ｂ）の位相関係の場合：
フレーム１、フレーム２、フレーム３、フレーム４の信号を加算する。
（Ｃ）（ｃ）の位相関係の場合：
フレーム２、フレーム３、フレーム４、フレーム５の信号を加算する。
（Ｄ）（ｄ）の位相関係の場合：
フレーム２、フレーム３、フレーム４、フレーム５の信号を加算する。
（Ｅ）（ｅ）の位相関係の場合：
フレーム２、フレーム３、フレーム４、フレーム５の信号を加算する。
（Ｆ）（ｆ）の位相関係の場合：
フレーム３、フレーム４、フレーム５、フレーム６の信号を加算する。
【００５９】
このように、撮像装置４００では、フォーマット変換部４０３により、外部閃光により影響を受ける連続する２フレームを常に加算することで、全ての位相関係において外部閃光の影響をなくすことが可能となる。
以上のように、本実施形態における撮像装置４００では、４倍速で駆動させる撮像部１と、外部閃光を検知したフレーム画像を加算して画像信号を出力するフォーマット変換部４０３とを設けたことにより、最終出力のフレーム周波数６０Ｈｚ（フレームレート６０［ｆｐｓ］）の画像信号に、高輝度な横帯が発生するのを防ぐことができ、かつ、同じフレーム画像が複数枚連続して出力されることもない。このため、撮像装置４００から出力される画像信号により形成される映像において、動画としての連続性も保つことができる。
【００６０】
≪第１変形例≫
次に、本実施形態の第１変形例について、図１２〜図１４を用いて、説明する。
第１変形例において、上記実施形態と異なるのは、フォーマット変換部４０３での処理内容のみであり、それ以外については、上記実施形態で説明したのと同じである。なお、本変形例においても、フォーマット変換部４０３で、画像信号が、２４０ｐから６０ｐにフレームレート変換される場合について、説明する。
図１２〜図１４は、フォーマット変換部４０３に入力される画像信号Ｓｉｇ＿ｉｎと、フォーマット変換部４０３から出力される画像信号Ｓｉｇ＿ｏｕｔと、のタイミングチャート図である。なお、図１２〜図１４の上段に示す四角形の中の数字は、フレーム番号を示すものとする。そして、白い（背景色のない）四角形で示したフレームは、外部閃光の影響を受けているフレームであることを示している。
図１２（ａ）の場合：
図１２（ａ）は、フレーム１〜フレーム１８において、外部閃光の影響の影響を受けているフレームがない場合の画像信号Ｓｉｇ＿ｉｎおよび画像信号Ｓｉｇ＿ｏｕｔのタイミングチャート図である。
【００６１】
この場合、図１２（ａ）に示すように、フォーマット変換部４０３では、期間Ｔ１の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム２〜５の４つのフレームに対応する画像信号が選択され、選択されたフレーム２〜５の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔが取得される。なお、図１２〜図１４において、例えば、フレーム２〜５の４つのフレームに対応する画像信号が加算された信号を「２＋３＋４＋５」と表記している（他のフレーム番号についても同様の表記をしている）。
同様に、図１２（ａ）の場合、期間Ｔ２の入力画像信号Ｓｉｎ＿ｉｎに対して、出力画像信号Ｓｉｇ＿ｏｕｔが、「６＋７＋８＋９」の信号として取得され、期間Ｔ３の入力画像信号Ｓｉｎ＿ｉｎに対して、出力画像信号Ｓｉｇ＿ｏｕｔが、「１０＋１１＋１２＋１３」の信号として取得される。
【００６２】
この場合、図１２（ａ）に示すように、フォーマット変換された画像信号の時間軸方向の重心がずれることはない。つまり、図１２（ａ）の場合、出力画像信号Ｓｉｇ＿ｏｕｔは、図１２（ａ）に示したＣ１、Ｃ２、Ｃ３を中心とする４つのフレームを加算して生成されているので、出力画像信号Ｓｉｇ＿ｏｕｔの時間軸方向の重心は、Ｃ１、Ｃ２、Ｃ３に準ずるものであると考えることが出来る。したがって、図１２（ａ）の場合、画像信号の時間軸方向の重心がずれることはなく、撮像装置４００により取得される撮像画像により形成される映像は、自然な映像となる。
図１２（ｂ）の場合：
次に、図１２（ｂ）の場合について、説明する。
図１２（ｂ）は、フレーム３、４、８、９、１１、１２に、外部閃光の影響がある場合のタイミングチャート図である。
【００６３】
図１２（ｂ）の場合、フォーマット変換部４０３で選択される４つのフレームは、図１２（ａ）と同じになるので、出力画像信号Ｓｉｇ＿ｏｕｔは、図１２（ｂ）に示したＣ４、Ｃ５、Ｃ６を中心とする４つのフレームを加算して生成されているので、出力画像信号Ｓｉｇ＿ｏｕｔの時間軸方向の重心は、Ｃ４、Ｃ５、Ｃ６に準ずるものとなる。
したがって、図１２（ｂ）の場合も、画像信号の時間軸方向の重心がずれることはなく、撮像装置４００により取得される撮像画像により形成される映像は、自然な映像となる。
次に、図１３の場合について、説明する。
図１３（ａ）、（ｂ）は、フレーム５、６に、外部閃光の影響がある場合のタイミングチャート図である。なお、図１３（ａ）は、上記実施形態でのタイムチャート図であり、図１３（ｂ）は、本変形例でのタイミグチャート図である。
図１３（ａ）の場合（上記実施形態による処理）：
図１３（ａ）の場合、期間Ｔ１は、図１１の（ｆ）の位相関係（上記実施形態で説明した（Ｆ）の場合に相当）であるので、フォーマット変換部４０３では、期間Ｔ１の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム３〜６の４つのフレームに対応する画像信号が選択され、選択されたフレーム３〜６の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「３＋４＋５＋６」）が取得される。
【００６４】
図１３（ａ）の場合、期間Ｔ２は、図１１の（ｂ）の位相関係（上記実施形態で説明した（Ｂ）の場合に相当）であるので、フォーマット変換部４０３では、期間Ｔ２の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム５〜８の４つのフレームに対応する画像信号が選択され、選択されたフレーム５〜８の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「５＋６＋７＋８」）が取得される。
図１３（ａ）の場合、期間Ｔ３は、図１１の（ａ）の位相関係（上記実施形態で説明した（Ａ）の場合に相当）であるので、フォーマット変換部４０３では、期間Ｔ３の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム１０〜１３の４つのフレームに対応する画像信号が選択され、選択されたフレーム１０〜１３の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「１０＋１１＋１２＋１３」）が取得される。
【００６５】
このようにして取得された画像信号Ｓｉｇ＿ｏｕｔは、時間軸方向の重心がずれることになる。つまり、図１３（ａ）の場合、出力画像信号Ｓｉｇ＿ｏｕｔは、図１３（ａ）に示したＣ７、Ｃ８、Ｃ９を中心とする４つのフレームを加算して生成されているので、出力画像信号Ｓｉｇ＿ｏｕｔの時間軸方向の重心は、時間軸方向に等間隔でないＣ７、Ｃ８、Ｃ９に準ずるものであると考えることが出来る。したがって、図１３（ａ）の場合、画像信号の時間軸方向の重心がずれることなる。その結果、撮像装置４００により取得される撮像画像により形成される映像は、不自然な映像となる可能性がある（特に、動きのある映像の場合不自然な映像になる可能性が高い）。
図１３（ｂ）の場合（第１変形例による処理）：
そこで、本変形例では、フォーマット変換部４０３において、図１３（ｂ）に示すように、４つのフレームを選択し、画像信号の時間軸方向の重心のずれを低減させる。
【００６６】
図１３（ｂ）の場合、第１変形例のフォーマット変換部は、期間Ｔ１では、上記実施形態と同様の処理を行うが、期間Ｔ２では、上記実施形態と異なる処理を行う。具体的には、第１変形例のフォーマット変換部は、図１３（ｂ）に示すように、期間Ｔ１で選択されたフレームが時間軸方向に後ろ側４つのフレーム（フレーム３〜６）であるので、次の期間Ｔ２においても、時間軸方向の重心のずれを抑えるために、時間軸方向に後ろ側の４つのフレーム（フレーム７〜１０）を選択する。
つまり、図１１の位相関係（ｆ）である場合の６フレーム期間（例えば、図１３（ｂ）の期間Ｔ１）の次の６フレーム期間（例えば、図１３（ｂ）の期間Ｔ２）の位相関係は、必ず、図１１の（ｂ）の位相関係となる。したがって、本変形例の制御信号変換部４２１は、位相関係のパターンを監視し、上記パターンを検出した場合、図１１の位相関係（ｆ）である場合の６フレーム期間（例えば、図１３（ｂ）の期間Ｔ１）の次の６フレーム期間において、時間軸方向に後ろ側の４つのフレームを選択するように制御信号をセレクタ部４２２に出力する。
【００６７】
これにより、本変形例において、フォーマット変換部４０３から出力される画像信号は、図１３（ｂ）に示すように、その時間軸方向の重心が、Ｃ１０、Ｃ１１、Ｃ１２となるので、図１３（ａ）の場合に比べて、時間軸方向の重心のずれを抑えた画像信号Ｓｉｇ＿ｏｕｔを取得することができる。
次に、図１４の場合について、説明する。
図１４（ａ）、（ｂ）は、フレーム１、２に、外部閃光の影響がある場合のタイミングチャート図である。なお、図１４（ａ）は、上記実施形態でのタイムチャート図であり、図１４（ｂ）は、本変形例でのタイミグチャート図である。
図１４（ａ）の場合（上記実施形態による処理）：
図１４（ａ）の場合、期間Ｔ１は、図１１の（ｂ）の位相関係（上記実施形態で説明した（Ｂ）の場合に相当）であるので、フォーマット変換部４０３では、期間Ｔ１の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム１〜４の４つのフレームに対応する画像信号が選択され、選択されたフレーム１〜４の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「１＋２＋３＋４」）が取得される。
【００６８】
図１４（ａ）の場合、期間Ｔ２は、図１１の（ａ）の位相関係（上記実施形態で説明した（Ａ）の場合に相当）であるので、フォーマット変換部４０３では、期間Ｔ２の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム６〜９の４つのフレームに対応する画像信号が選択され、選択されたフレーム６〜９の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「６＋７＋８＋９」）が取得される。
図１４（ａ）の場合、期間Ｔ３も、期間Ｔ２と同様である。
このようにして取得された画像信号Ｓｉｇ＿ｏｕｔは、時間軸方向の重心がずれることになる。つまり、図１４（ａ）の場合、出力画像信号Ｓｉｇ＿ｏｕｔは、図１４（ａ）に示したＣ１３、Ｃ１４、Ｃ１５を中心とする４つのフレームを加算して生成されているので、出力画像信号Ｓｉｇ＿ｏｕｔの時間軸方向の重心は、時間軸方向に等間隔でないＣ１３、Ｃ１４、Ｃ１５に準ずるものであると考えることが出来る。したがって、図１４（ａ）の場合、画像信号の時間軸方向の重心がずれることなる。
図１４（ｂ）の場合（第１変形例による処理）：
図１４（ｂ）の場合、第１変形例のフォーマット変換部は、期間Ｔ１では、上記実施形態と同様の処理を行うが、期間Ｔ２では、上記実施形態と異なる処理を行う。具体的には、第１変形例のフォーマット変換部は、図１４（ｂ）に示すように、期間Ｔ１で選択されたフレームが時間軸方向に前側４つのフレーム（フレーム１〜４）であるので、次の期間Ｔ２においても、時間軸方向の重心のずれを抑えるために、時間軸方向に前側の４つのフレーム（フレーム５〜８）を選択する。なお、このような選択を行う制御信号は、本変形例の制御信号変換部４２１により生成される。
【００６９】
以上により、本変形例において、フォーマット変換部４０３から出力される画像信号は、図１４（ｂ）に示すように、その時間軸方向の重心が、Ｃ１６、Ｃ１７、Ｃ１８となるので、図１４（ａ）の場合に比べて、外部閃光の影響のあるフレームに近い領域（時間軸方向の領域）の重心のずれを抑えた画像信号Ｓｉｇ＿ｏｕｔを取得することができる。
≪第２変形例≫
次に、本実施形態の第２変形例について、図１５を用いて、説明する。
第２変形例において、上記実施形態と異なるのは、フォーマット変換部４０３での処理内容のみであり、それ以外については、上記実施形態で説明したのと同じである。なお、本変形例においても、フォーマット変換部４０３で、画像信号が、２４０ｐから６０ｐにフレームレート変換される場合について、説明する。
【００７０】
図１５は、フォーマット変換部４０３に入力される画像信号Ｓｉｇ＿ｉｎと、フォーマット変換部４０３から出力される画像信号Ｓｉｇ＿ｏｕｔと、のタイミングチャート図である。なお、図１５の上段に示す四角形の中の数字は、フレーム番号を示すものとする。そして、白い（背景色のない）四角形で示したフレームは、外部閃光の影響を受けているフレームであることを示している。
図１５（ａ）は、フレーム１、２に、外部閃光の影響がある場合のタイミングチャート図であり、図１５（ｂ）は、フレーム５、６に、外部閃光の影響がある場合のタイミングチャート図である。
まず、図１５（ａ）の場合について、説明する。
（期間Ｔ１）：
期間Ｔ１では、外部閃光の影響を受けているフレーム１、２が検出されるため、本変形例のフォーマット変換部４０３では、期間Ｔ１の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム１〜６の６つのフレームに対応する画像信号が選択され、選択されたフレーム１〜６の６つのフレームに対応する画像信号が加算され、さらに、ゲインＧ１（＝４／６）によるゲイン処理を実行されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「１＋２＋３＋４＋５＋６」×Ｇ１）が取得される。
【００７１】
つまり、本変形例のフォーマット変換部４０３は、Ｋ＋２フレーム期間に外部閃光の影響を受けているフレームが検出された場合、画像領域上において、その画素位置（座標位置）が同一である画素に対応する画像信号であって、Ｋ＋２個のフレームメモリにそれぞれ記憶されているＫ＋２個の画像信号を加算し、加算された画像信号に所定のゲインＧ１（＝Ｋ／（Ｋ＋２））を乗ずることでフォーマット変換処理を行う。なお、本変形例では、Ｋ＝４である。
（期間Ｔ２）：
期間Ｔ２では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部４０３では、期間Ｔ２の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム６〜９の４つのフレームに対応する画像信号が選択され、選択されたフレーム６〜９の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「６＋７＋８＋９」）が取得される。
（期間Ｔ３）：
期間Ｔ３では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部４０３では、期間Ｔ３の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム１０〜１３の４つのフレームに対応する画像信号が選択され、選択されたフレーム１０〜１３の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「１０＋１１＋１２＋１３」）が取得される。
【００７２】
次に、図１５（ｂ）の場合について、説明する。
（期間Ｔ１）：
期間Ｔ１では、外部閃光の影響を受けているフレーム５、６が検出されるため、本変形例のフォーマット変換部４０３では、期間Ｔ１の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム１〜６の６つのフレームに対応する画像信号が選択され、選択されたフレーム１〜６の６つのフレームに対応する画像信号が加算され、さらに、ゲインＧ１（＝４／６）によるゲイン処理を実行されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「１＋２＋３＋４＋５＋６」×Ｇ１）が取得される。
（期間Ｔ２）：
期間Ｔ２でも、外部閃光の影響を受けているフレーム５、６が検出されるため、本変形例のフォーマット変換部４０３では、期間Ｔ２の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム５〜１０の６つのフレームに対応する画像信号が選択され、選択されたフレーム５〜１０の６つのフレームに対応する画像信号が加算され、さらに、ゲインＧ１（＝４／６）によるゲイン処理を実行されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「５＋６＋７＋８＋９＋１０」×Ｇ１）が取得される。
（期間Ｔ３）：
期間Ｔ３では、外部閃光の影響を受けているフレームが検出されないため、本変形例のフォーマット変換部４０３では、期間Ｔ３の入力画像信号Ｓｉｇ＿ｉｎに対して、フレーム１０〜１３の４つのフレームに対応する画像信号が選択され、選択されたフレーム１０〜１３の４つのフレームに対応する画像信号が加算されることで、出力画像信号Ｓｉｇ＿ｏｕｔ（「１０＋１１＋１２＋１３」）が取得される。
【００７３】
以上のように、本変形例の撮像装置では、フォーマット変換部４０３から出力される画像信号は、図１５（ａ）の場合、その時間軸方向の重心が、Ｃ１９、Ｃ２０、Ｃ２１となり、図１５（ｂ）の場合、その時間軸方向の重心が、Ｃ２２、Ｃ２３、Ｃ２４となり、図１５（ａ）、（ｂ）のいずれの場合においても、時間軸方向の重心のずれのない画像信号Ｓｉｇ＿ｏｕｔを取得することができる。
なお、本変形例の制御信号変換部４２１は、次の（１）、（２）に示すように選択処理がなされるように制御信号を生成し、生成した制御信号をセレクタ部４２２に出力する。
（１）６フレーム期間に外部閃光の影響のあるフレームが検出された場合、６個のフレームに相当する画像信号の選択処理（６個全てを選択する処理）がなされるように、制御信号を生成する。
（２）６フレーム期間に外部閃光の影響のあるフレームが検出されない場合、時間軸方向の前後端の２個のフレームを除いた中央の４個のフレームに相当する画像信号の選択処理（中央の４個のフレームに相当する画像信号を選択する処理）がなされるように、制御信号を生成する。
【００７４】
そして、本変形例の加算部（上記実施形態の加算部４２３に対応）は、上記（１）の場合、加算処理およびゲインＧ１によるゲイン処理を行い、上記（２）の場合、加算処理のみを行う。
以上により、本変形例において、フォーマット変換部４０３から出力される画像信号Ｓｉｇ＿ｏｕｔは、図１５に示すように、その時間軸方向の重心が、Ｃ１９、Ｃ２０、Ｃ２１となるので、時間軸方向の重心のずれがない画像信号となる。その結果、本変形例に係る撮像装置により取得される撮像画像により形成される映像は、自然な映像となる。
［他の実施形態］
上記第２実施形態および第３実施形態において、平均演算部での平均演算の対象とするフレーム数は、固定である場合について説明した（図６の場合は、平均演算の対象のフレーム数は「２」であり、図７の場合、平均演算の対象のフレーム数は「４」である）。しかし、これに限定されることはなく、平均演算部での平均演算の対象とするフレーム数を可変にし、時間重心が一定に保つことができるようにフレームを選択するようにしてもよい。
【００７５】
これについて、図６同様の図８を用いて説明する。
図８に示すように、（ａ）（ｄ）および（ｇ）の位相関係の場合、平均演算部での平均演算の対象とするフレーム数を「４」にし、平均演算部での平均演算の対象とするフレームを、黒丸で示したフレームおよび白丸で示したフレームにする。この場合、平均演算部での平均演算の対象とするフレーム数が「２」から「４」に増加しているが、時間重心が一定に保つことができるので、上記第２実施形態で説明したのと同様の効果を奏することができる。さらに、撮像装置において上記処理を採用した場合、平均演算部での平均演算の対象とするフレーム数を増加させることができるので、撮像装置で取得される画像（映像）のＳ／Ｎ比改善効果も得られる。
なお、上記説明は、ｎ＝６の場合であり、第２実施形態に対応するものであるが、ｎ＝８の場合（第３実施形態に対応）も同様であることは言うまでもない。
【００７６】
上記実施形態において、ｎが所定の数（第１実施形態では、ｎ＝４、第２実施形態では、ｎ＝６、第３実施形態では、ｎ＝８）の場合について、説明したが、これらに限定されることはなく、ｎは、さらに大きな数の整数であってもよい。
また、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００７７】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【産業上の利用可能性】
【００７８】
本発明にかかる撮像装置、撮像方法、プログラムおよび集積回路は、外部閃光による高輝度の横帯を除外し、かつ、動画として連続性を確保した画像を出力することが可能になるため、連続画像を撮像するデジタルカメラやビデオカメラなどに大変有用である。また、近年ＣＭＯＳイメージセンサ撮像素子の高速駆動が可能になり実用性も高い。
【符号の説明】
【００７９】
１００、１００Ａ、４００  撮像装置
１、４０１  撮像部
２、４０２  閃光検出部
３  平均演算部
４  速度変換部
５、４０４  画像処理部
５Ａ  画像処理部
５Ｂ  ガンマ処理部
２０  ゲート部
２１  加算部
２２  記憶部（メモリ回路）
２３  除算部
４０３  フォーマット変換部
４２０  フレームメモリ部
４２１  制御信号変換部
４２２  セレクタ部
４２３  加算部
【図１】
2011015381.tif 000003
【図２】
2011015381.tif 000004
【図３】
2011015381.tif 000005
【図４】
2011015381.tif 000006
【図５】
2011015381.tif 000007
【図６】
2011015381.tif 000008
【図７】
2011015381.tif 000009
【図８】
2011015381.tif 000010
【図９】
2011015381.tif 000011
【図１０】
2011015381.tif 000012
【図１１】
2011015381.tif 000013
【図１２】
2011015381.tif 000014
【図１３】
2011015381.tif 000015
【図１４】
2011015381.tif 000016
【図１５】
2011015381.tif 000017
【図１６】
2011015381.tif 000018
【図１７】
2011015381.tif 000019
【図１８】
2011015381.tif 000020