(57)【要約】【課題】  領域単位で撮像動作が異なる撮像素に欠陥画素が存在した場合、欠陥画素の画素データを周囲の画素の画素データから適正に補完することができないという課題があった。【解決手段】  複数の画素を有する撮像部と、所定の領域単位で第１撮像動作パラメータと第２撮像動作パラメータを設定する設定部と、第１撮像フレームと第２撮像フレームとで撮像動作パラメータの設定を入れ替える制御部と、欠陥画素の画素データを欠陥画素の周囲の特定画素の画素データを用いて補完する補完部と、撮像部が第１撮像フレームに撮像した画像と第２撮像フレームに撮像した画像から合成画像を生成する合成部とを備える撮像装置であって、補完部は、第２撮像フレームの欠陥画素の画素データを、第２撮像フレームの欠陥画素と同じ撮像動作パラメータを用いて撮像された、第１撮像フレームの特定画素の画素データを用いて補完する。【選択図】  図６
2015115877.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有する撮像部と、
前記複数の画素に対して領域単位で第１撮像動作パラメータと第２撮像動作パラメータの何れかを設定する設定部と、
第１撮像フレームと第２撮像フレームとで撮像動作パラメータの設定を入れ替えるように前記設定部を制御する制御部と、
前記複数の画素に含まれる欠陥画素の画素データを欠陥画素の周囲の画素の画素データを用いて補完する補完部と、
前記撮像部が第１撮像フレームに撮像した画像と第２撮像フレームに撮像した画像から合成画像を生成する合成部と、を備える撮像装置であって、
前記補完部は、第２撮像フレームにおける前記欠陥画素の画素データを、
第２撮像フレームにおける欠陥画素と同じ撮像動作パラメータを用いて撮像された、第１撮像フレームにおける特定画素の画素データを用いて補完することを特徴とする撮像装置。
【請求項２】
第１撮像フレームにおける前記特定画素の画素データを所定の期間保持する保持部を備え、
第２撮像フレームにおける前記欠陥画素の画素データを前記保持部に保持された画素データを用いて補完することを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体の動きを検出する動き検出部を備え、
前記動き検出部が前記欠陥画素の周囲において被写体の動きを検出した場合、
前記補完部は、第２撮像フレームにおける前記欠陥画素の画素データを、
前記保持部に保持された画素データを用いず、
第２撮像フレームにおける欠陥画素と同じ撮像動作パラメータを用いて撮像された、第２撮像フレームにおける欠陥画素の周囲の画素の画素データを用いて補完することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記複数の画素はマトリクス状に配置され、
前記設定部は、前記複数の画素を２列を組とする領域単位として複数のラインに分け、偶数ラインと奇数ラインとで異なる撮像動作パラメータを設定することを特徴とする請求項１から３の何れかに記載の撮像装置。
【請求項５】
前記第２撮像フレームは、前記第１撮像フレームの１撮像フレーム後の撮像フレームであることを特徴とする請求項１から４の何れかに記載の撮像装置。
【請求項６】
前記保持部は、前記撮像動作パラメータに応じて画素データを保持する期間を可変することを特徴とする請求項１から５の何れかに記載の撮像装置。
【請求項７】
撮像モードを設定する撮像モード設定部を備え、
前記保持部は、撮像モードに応じて画素データを保持する期間を可変することを特徴とする請求項１から６の何れかに記載の撮像装置。
【請求項８】
前記撮像動作パラメータは、露光時間の長さに関するパラメータであることを特徴とする請求項１から７の何れかに記載の撮像装置。
【請求項９】
撮像部の複数の画素に対して所定の領域単位で第１撮像動作パラメータと第２撮像動作パラメータの何れかを設定する工程と、
第１撮像フレームと第２撮像フレームとで撮像動作パラメータの設定を入れ替えるように制御する工程と、
前記複数の画素に含まれる欠陥画素の画素データを欠陥画素の周囲の画素の画素データを用いて補完する工程と、
前記撮像部が第１撮像フレームに撮像した画像と第２撮像フレームに撮像した画像から合成画像を生成する工程と、を備える撮像装置の制御方法であって、
前記欠陥画素の画素データを補完する工程において、
第２撮像フレームにおける前記欠陥画素の画素データを、第２撮像フレームにおける欠陥画素と同じ撮像動作パラメータを用いて撮像された、第１撮像フレームにおける特定画素の画素データを用いて補完することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子に含まれる欠陥画素の画素データを欠陥画素の周囲の画素から補完する技術に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置に用いられる画像のダイナミックレンジを拡大して記録するハイダイナミック合成（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  ｉｍａｇｉｎｇ，ＨＤＲ）の技術がある。ハイダミック合成技術として、異なる露光時間で連続して撮像した複数枚の画像を合成することによって画像のダイナミックレンジを拡大する技術（特許文献１）、撮像素子の画素ラインごとに異なる露光時間を設定し、同一フレームにおいて異なる露光時間で撮像された画像を合成してダイナミックレンジを拡大する技術（特許文献２）が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−９００４１号公報
【特許文献２】特開２０１１−２４４３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
また、撮像素子に欠陥画素が存在した場合、欠陥画素の画素データが欠落してしまうため、欠陥画素の周囲に位置する画素の画素データを用いて欠陥画素の画素データを補完する処理を行うのが一般的である。しかし、特許文献２に開示された技術のような、撮像素子の画素ラインごとに露光時間が異なる設定が可能な撮像素子においては、欠陥画素の周囲の画素は露光時間が欠陥画素と異なる場合がある。その場合、欠陥画素の周囲の画素の画素データからは欠陥画素の画素データを適正に補完できないという問題があった。
【課題を解決するための手段】
【０００５】
本願発明の一態様によれば、複数の画素を有する撮像部と、前記複数の画素に対して所定の領域単位で第１撮像動作パラメータと第２撮像動作パラメータの何れかを設定する設定部と、第１撮像フレームと第２撮像フレームとで撮像動作パラメータの設定を入れ替えるように前記設定部を制御する制御部と、前記複数の画素に含まれる欠陥画素の画素データを欠陥画素の周囲の特定画素の画素データを用いて補完する補完部と、前記撮像部が第１撮像フレームに撮像した画像と第２撮像フレームに撮像した画像から合成画像を生成する合成部と、を備える撮像装置であって、前記補完部は、第２撮像フレームにおける前記欠陥画素の画素データを、第２撮像フレームにおける欠陥画素と同じ撮像動作パラメータを用いて撮像された、第１撮像フレームにおける前記特定画素の画素データを用いて補完することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、領域単位で撮像動作が異なる撮像素子において、撮像素子に欠陥画素が含まれる場合であっても、欠陥画素の画素データを周囲の画素から適正に補完することが可能である。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態１に係る動画撮像装置のブロック図である。
【図２】実施形態１に係る動画撮像装置の撮像素子の模式図である。
【図３】実施形態１に係る動画撮像装置の撮像素子に設定した撮像動作パラメータを撮像フレーム毎に変更する制御を示す図である。
【図４】実施形態１に係る動画撮像装置のＨＤＲ制御を示す図である。
【図５】欠陥画素の画素データを補完する補完方法を説明するための図である。
【図６】実施形態１に係る動画撮像装置の撮像素子の欠陥画素の画素データを補完する補完方法を説明するための図である。
【図７】実施形態１に係る動画撮像装置のＨＤＲ制御動作を示すフローチャートである。
【発明を実施するための形態】
【０００８】
本発明をデジタルビデオカメラである動画撮像装置に適用した実施形態について図面を用いて詳細に説明する。
【０００９】
（実施形態１）
図１は、実施形態１に係る動画撮像装置の構成を示すブロック図である。
【００１０】
動画撮像装置は、撮像装置本体１００と、ズームレンズ１１０、カメラのブレを補正するシフトレンズ１１１、焦点調節用フォーカスレンズ１１２、動画撮像装置の後段への光束を遮断するメカニカルシャッタ１１３、後段への光束を調節する絞り１１４を備えている。さらに、動画撮像装置は、撮像部としての撮像素子１１５、撮像素子１１５の駆動及びサンプリングに必要なタイミングパルスを発生するタイミング発生器１１６を備えている。
【００１１】
また、動画撮像装置は、撮像駆動用の同期信号を発生するＳＳＧ（Ｓｙｎｃｈｒｏｎｉｚｉｎｇ  Ｓｉｇｎａｌ  Ｇｅｎａｒａｔｉｏｎ）回路や、撮像素子１１５から出力されるデジタル信号を受信し、各種の処理を施す回路を有する画像処理部１１７を備えている。画像処理部１１７は、内部に各種処理を施すための回路を備えている。詳細には、画像処理部１１７には、前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、画像合成回路、縮小回路、ラスタブロック変換回路、圧縮回路などが含まれる。
【００１２】
ここで、ＳＳＧ回路は、タイミング発生器１１６から撮像駆動用のクロックを受けて、水平及び、垂直同期信号を生成し、タイミング発生器１１６と撮像素子１１５に出力する。前処理回路は、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路は、設定された複数の評価領域内の画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出して最大値を検出し、垂直方向に積分演算を行う。輝度積分回路は、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数の領域に分割し、領域毎に輝度成分を生成する。信号処理回路は、撮像素子の出力データに対して色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２３にＹＵＶ形式の画像データを記憶する。
【００１３】
また、信号処理回路は、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。画像合成回路は、メモリ部１２３に記憶された複数のＲＧＢ形式の撮像画像、あるいはその撮像画像に対して信号処理を施した複数のＹＵＶ形式の画像データを入力し、入力データに対し画素単位で設定された係数を乗じて加算することにより合成画像を生成する。
【００１４】
縮小回路は、信号処理回路から入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。ラスタブロック変換回路は、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３をバッファメモリとして用い、ＣＰＵによる演算処理によって実現される。圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。
【００１５】
露出制御部１１８は、メカニカルシャッタ１１３、絞り１１４を制御する。レンズ制御部１１９は、ズームレンズ１１０、焦点調節レンズ１１２を光軸上に沿って移動させるように制御して、被写界像を撮像素子１１５上に結像させる。また、角速度センサと加速度センサの出力に応じてシフトレンズを駆動し、撮像装置の手ブレを光学的に補正する。レリーズスイッチ１２０は撮影指示を行う。
【００１６】
システム制御部１２１は、ＣＰＵとそのインターフェイス回路、ＤＭＡＣ（Ｄｉｒｅｃｔ・Ｍｅｍｏｒｙ・Ａｃｃｅｓｓ・Ｃｏｎｔｒｏｌｌｅｒ）、バスアービター等で構成される。ＣＰＵが実行するプログラムは、フラッシュメモリ１２２に記憶されている。また、メモリ部１２３は、例えばＤＲＡＭ等からなるメモリで、各処理途中のデータを一時保存する他、フラッシュメモリ１２２内のプログラムもこちらに展開して実行される。
【００１７】
コネクタ１２４は記録媒体とのインタフェースであり、コネクタ１２５は記録媒体と接続を行う。
【００１８】
記録媒体着脱検知スイッチ１２６は記録媒体２００の着脱を検出する。
【００１９】
マイクロフォン１２７は入力された音声を音声信号に変換し、Ａ／Ｄ変換器１２８はマイクロフォン１２７からの音声出力をデジタル音声信号に変換する、音声処理部１２９は、デジタル音声データに所定の音声処理を施して音声ビットストリームを出力する。
【００２０】
電源制御部１３０は、電池検出回路、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００２１】
電源手段１３２は一次電池あるいは二次電池あるいはＡＣアダプター等からなる電源であり、電源コネクタ１３１は電源手段に接続するためのコネクタである。
【００２２】
動画記録スイッチ１８０は動画記録を指示するスイッチである。なお、これらの制御は他の構成要素と同様にシステム制御部１２１のＣＰＵがフラッシュメモリ１２２に記憶されているプログラムに従って動作し実行される。
【００２３】
再生回路１５０は、画像処理部１１７で生成され、メモリ部１２３に記憶された画像データを表示用画像に変換してモニタ１５１に転送する。再生回路１５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ってアナログのＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号を変換生成して、モニタ１５１に出力する。このように、撮像素子１１５からの画像データを逐次処理して表示することによってＥＶＦが実現される。
【００２４】
記録媒体２００は、例えば半導体メモリ等から構成される記録部２０１、撮像装置本体１００とのインタフェース２０２、撮像装置本体１００との接続を行うコネクタ２０３、及び媒体記録禁止スイッチ２０４から構成される。
【００２５】
また、動画撮像装置は、撮像素子１１５により撮影される画像内で被写体の動きを検出する動き検出部（図示せず）を備えている。
【００２６】
図２は、実施形態１に係る動画撮像装置の撮像素子１１５の模式図である。
【００２７】
図２（ａ）は、撮像素子１１５における単位画素の配置を示す図である。図２（ｂ）は、撮像素子１１５の領域毎に撮像動作パラメータを設定した状態を示す図である。
【００２８】
撮像素子１１５は、例えばＣＭＯＳイメージセンサである半導体撮像素子であり、図２（ａ）に示すように、光電変換素子である単位画素（以下、単に「画素」と記す）をベイヤー配列に従ってマトリクス状に二次元に配置している。撮像素子１１５は、水平方向に１４行、垂直方向に１０列に配列した１４０個の画素を有しているが、撮像素子１１５の行列数および画素数は一例であって他の数であってもよい。以下の説明において、撮像素子１１５のＸ行目、Ｙ列目に位置する画素のアドレスを（Ｘ，Ｙ）と表記する。
【００２９】
図２（ｂ）を参照して、撮像素子１１５は、２列の画素ラインからなる組を領域単位として偶数ラインと奇数ラインに分けられ、ラインの偶奇に応じて、パラメータ値が異なる２つの撮像動作パラメータの何れかが設定される。ここで、撮像素子１１５の０列目の画素ラインから列番号が大きくなる方向に画素ライン番号を順に割り当てるので、撮像素子１１５の垂直方向の上方のラインから、奇数ライン、偶数ライン、奇数ラインと順に繰り返される。
【００３０】
また、図２（ｂ）は、奇数ラインに対して第１の撮像動作パラメータを設定し、偶数ラインに対して第２の撮像動作パラメータを設定した状態を示している。
【００３１】
撮像動作パラメータは、撮像の露光時間に関連するパラメータであり、第１の撮像動作パラメータが設定された奇数ラインの画素は、第２の撮像動作パラメータが設定された偶数ラインの画素と比較して露光時間が短くなるように設定される。以下の説明においては、単に、第１の撮像動作パラメータが設定された画素は露光時間が長い、第２の撮像動作パラメータが設定された画素は露光時間が短いと表現する。
【００３２】
システム制御部１２１は、撮像素子１１５の各画素のアドレスを参照し、撮像動作設定部として機能する露光制御部１１８に各画素の撮像動作パラメータを設定する。露光制御部１１８は、設定された撮像動作パラメータを一時的に記憶するメモリを内部に備え、撮像動作パラメータに従って、メカニカルシャッタ１１３、絞り１１４を制御して露光時間を制御する。
【００３３】
図３は、実施形態１に係る動画撮像装置の撮像素子１１５に設定した撮像動作パラメータを撮像フレーム毎に変更する制御を示す図である。
【００３４】
撮像素子１１５は、タイミング発生器１１６から受信した撮像駆動用のクロック信号に基づいて、たとえば６０フレーム／秒のフレームレートで撮像を行って画像を出力する。図３におけるＮフレーム、Ｎ＋１フレーム、Ｎ＋２フレームは、時間的に連続した撮像フレームを示しており、図２と同様に撮像素子を模したマトリクスを用いて、各撮像フレームにおける撮像素子１１５の撮像動作パラメータの設定状態を表している。
【００３５】
具体的には、Ｎフレームでは、奇数ラインに第１の撮像動作パラメータが設定され、偶数ラインに第２の撮像動作パラメータが設定されている。また、Ｎフレームの１撮像フレーム後のＮ＋１フレームでは、奇数ラインに第２の撮像動作パラメータが設定され、偶数ラインに第１の撮像動作パラメータが設定されている。さらに、Ｎ＋１フレームの１撮像フレーム後のＮ＋２フレームでは、Ｎフレームと設定状態が同じであり、奇数ラインに第１の撮像動作パラメータが設定され、偶数ラインに第２の撮像動作パラメータを設定されている。
【００３６】
ＮフレームとＮ＋２フレームを奇数フレーム、Ｎ＋１フレームを偶数フレームとすると、フレーム内において、奇数フレームでは奇数ラインの露光時間を長く、偶数ラインの露光時間を短い。一方、偶数フレームでは奇数ラインの露光時間を短く、偶数ラインの露光時間を長い。すなわち、１つのフレームでは長い露光時間の設定と短い露光時間の設定がライン単位でサイクリックに繰り返され、撮像フレーム間（画像間）ではサイクリックな設定順序が長、短から短、長のように変更される。
【００３７】
システム制御部１２１は、制御部として機能し、露光制御部１１８を制御して、上述したように撮像フレームに応じて、撮像素子１１５のライン単位で２つの撮像動作パラメータを交互に入れ替える制御を行う。
【００３８】
図４は、実施形態１に係る動画撮像装置のＨＤＲ制御を示す概念図である。
【００３９】
図４の上段に示したのは、撮像フレーム毎にライン単位で露光時間を異ならせて撮像したの画像データであり、この画像データから露光時間に応じて明暗が異なる画像（オーバー画像、アンダー画像）を生成し、明暗が異なる画像からＨＤＲ画像を合成する過程を下段に向かって示している。この例では、撮像素子１１５から、１９２０ピクセルｘ１０８０ピクセルのサイズ（解像度）の画像が、６０フレーム／秒のフレームレートで出力されるものとする。
【００４０】
画像処理部１１７は、撮像素子１１５から出力された画像データから、奇数フレームの奇数ラインと偶数フレームの偶数ラインから露光時間の長いオーバー画像を作成し、奇数フレームの偶数ラインと偶数フレームの奇数ラインから露光時間の短いアンダー画像を生成する。そして、画像処理部１１７は、合成部として機能し、このオーバー画像とアンダー画像の組み合わせからＨＤＲ画像を作成する。結果として、奇数フレームと偶数フレームの対応する各ラインのオーバー画像とアンダー画像が合成され、各フレームに対応してＨＤＲ画像が生成される。この場合、１つのＨＤＲ画像を生成するための２つの画像の組は、隣接する組で１つの同じ画像を共有することとなる。これにより、撮像と同じ６０フレーム／秒のフレームレートのインタレース画像を作成することが可能となる。
【００４１】
なお、アンダー画像に対する明るい画像として、オーバー画像の代わりに撮像条件に応じて決定される所定の露光時間で撮像した適正露出の画像であってもよい。以下の説明においては、適正露出の画像とアンダー画像を明暗が異なる画像の組としてＨＤＲ画像を生成する例を用いて説明する。
【００４２】
次に、画像処理部１１７が、ＨＤＲ画像を生成する事前に明暗が異なる画像データを生成する際において、補完部として機能して欠陥画素の画素データの補完を行う制御について説明する。
【００４３】
図５は、欠陥画素の画素データを補完する補完方法を説明するための図である。
【００４４】
図５（ａ）は、欠陥画素の画素データを周辺の画素から補完する従来の方法を示している。この方法をライン毎に露光時間が異なる撮像素子に適用したものが、図５（ｂ）である。この場合、露光時間が長い欠陥画素に対し、露光時間が短い画素を用いて画素データを補完することになり、適切な補正が行うことができない。また、欠陥画素の画素データを欠陥画素と同一の露光時間である画素から補正した図が、図５（ｃ）である。この場合においても、欠陥画素から距離が遠い画素を用いて画素データを補完することになり、適切な補正を行うことができない場合がある。
【００４５】
そこで、本実施形態においては、以下のような方法を用いて欠陥画素の画素データを補完する。
【００４６】
図６は、実施形態１における欠陥画素の画素データを補完する補完方法を説明する図である。図６を用いて、本実施形態において適用する欠陥画素の画素データ補完方法を説明する。
【００４７】
撮像素子１１５の（６，５）の画素が欠陥画素であるとすると、Ｎフレームにおける、欠陥画素の周囲の（４，３）、（６、３）、（８、３）、（４，７）、（６、７）、（８，７）の特定画素の画素データを、保持部として機能するメモリ部１２３に保持しておく。Ｎ＋１フレームにおける、欠陥画素の画素データを補完する場合、メモリ部１２３に保持しておいた特定画素の画素データ及び、Ｎ＋１フレームにおける欠陥画素の水平方向に位置する（４，５）、（８，５）の画素の画素データを使用して補完を行う。Ｎ＋１フレームにおいても同様に、（４，３）、（６、３）、（８、３）、（４，７）、（６、７）、（８，７）の特定画素の画素データをメモリ部１２３に保持しておき、Ｎ＋２フレームにおける欠陥画素の画素データの補完に使用する。
【００４８】
つまり、欠陥画素の画素データを、１フレーム前の撮像フレームにおいて取得された特定画素の画素データを用いて補完する。この特定画素は、欠陥画素と同色画素であって、１フレーム前に当フレームの欠陥画素と同じ撮像動作パラメータが設定された画素である。このように所定の条件を満たす特定画素の画素データを用いることで、欠陥画素と露光条件が同じあって、欠陥画素と距離が近い画素の画素データから補完することになり、欠陥画素の画素データを適正に補完することが可能となる。
【００４９】
また、上記例では、１フレーム前の特定画素の画素データに加えて、同フレームにおける欠陥画素の水平方向に位置する同色画素の画素データも補完に使用している。こうすることで、欠陥画素の補完の精度をより向上させることが可能である。
【００５０】
さらに、本実施形態においては、撮像素子１１５は、２列の画素ラインを領域単位として偶数ラインと奇数ラインに分け、ラインの偶奇に応じて撮像動作パラメータを設定している構成であるので、特定画素は欠陥画素の周方向において最も距離が近い同色画素に対応する。よって、欠陥画素の画素データを適正に補完行うことができる。
【００５１】
なお、本実施形態では、８個の画素を用いて欠陥画素の画素データを補完しているが、これに限られず、メモリの容量などを考慮して、８個よりも少ない画素数で画素データを補完してもよい。
【００５２】
図７は、実施形態１の動画撮像装置のＨＤＲ制御動作を示すフローチャートである。図６を参照しながら、図７を用いて動画撮像装置のＨＤＲ制御動作を説明する。ＨＤＲ制御動作は、システム制御部１２１のＣＰＵがプログラムを実行して各部を制御することで実現される。
【００５３】
ステップＳ９０１でＨＤＲ動画撮影を開始する。フレーム番号Ｎは１から開始となり（ステップＳ９０２）、ステップＳ９０３でフレーム番号が偶数の場合には、ステップＳ９０４で偶数ラインは適正露出（第２の撮像動作パラメータ）で露光し、奇数ラインは２段アンダー露出（第１の撮像動作パラメータ）で露光して撮影する。ここで、奇数ラインは図６の０行と１行、４行と５行、８行と９行の組を示し、偶数ラインは２行と３行、６行と７行の組を示す。一方、ステップＳ９０３において、フレーム番号が奇数の場合には、ステップＳ９０５で奇数ラインは適正露出（第２の撮像動作パラメータ）で露光し、偶数ラインはアンダー露出（第１の撮像動作パラメータ）で露光して撮影する。
【００５４】
そして、ステップＳ９０６において、欠陥画素（６、５）の周辺の画素（４，３）、（６、３）、（８、３）、（４，７）、（６、７）、（８，７）の画素データの値をメモリ部１２３にて保持する。
【００５５】
次に、ステップＳ９０７において、動き検出部が欠陥画素の周辺に被写体の動きがあるを検出して、被写体の動きの有無を判断する。欠陥画素の周辺に被写体に動きがある場合は、ステップＳ９０８において、メモリ部１２３に保持してある特定画素の画素データを用いず、同一フレームにおける欠陥画素の水平方向にある同色画素のみから補正を行う。つまり、Ｎフレームの（４，５）、（８，５）の画素のみから補完を行う。ステップＳ９０７において、欠陥画素の周辺に被写体の動きがない場合には、ステップＳ９０９において、同一フレームにおける欠陥画素の水平方向にある同色画素と、メモリ部１２３に保持されているＮ−１フレームの特定画素の両方を用いて補完を行う。すなわち、Ｎフレームの画素（４，５）、（８，５）とＮ−１フレームの画素（４，３）、（６、３）、（８、３）、（４，７）、（６、７）、（８，７）から補完を行う。
【００５６】
ステップＳ９１０で撮影が終了したかどうかを判断し、終了しなければ、ステップＳ９１１においてフレーム番号Ｎを１増やし、ステップＳ９０３に戻る。終了の場合にはステップＳ９１２において撮影を終了する。
【００５７】
欠陥画素の周囲で動きを検出した場合は、欠陥画素の周囲の画素データが撮像フレーム毎に大きく変動している恐れがあるので、メモリ部１２３に保持された１フレーム前の画素データを用いずに、当フレームの画素データのみを用いて補完を行う。
【００５８】
（実施形態２）
実施形態１においては、撮像動作パラメータとして、露光時間に関するパラメータを用いる例を示したが、実施形態２では画素データに適用するゲインを撮像動作パラメータとして用いる。実施形態１と同じ構成については説明を省略し、本実施形態の特徴部分のみを説明する。
【００５９】
システム制御部１２１は、撮像素子１１５の各画素のアドレスを参照し、露光制御部１１８に各画素の撮像動作パラメータを設定する。撮像動作パラメータは画素データに対して適用するゲインに関連するパラメータであり、第１の撮像動作パラメータが設定された奇数ラインの画素は、第２の撮像動作パラメータが設定された偶数ラインの画素と比較してゲインが大きく設定される。従って、第１の撮像画素パラメータが設定された画素は、第２の撮像画素パラメータが設定された画素と比較してゲインが大きなっているので、明るくなる。
【００６０】
本実施形態においては、実施形態１と撮像動作パラメータの種類が異なるものの、撮像素子に対する撮像動作パラメータの設定と制御の処理、欠陥画素の補完処理、ＨＤＲ画像の生成処理を、実施形態１と同じ方法で行う。
【００６１】
このようにすることにより、本実施形態においても、領域単位で撮像動作が異なる撮像素子において、撮像素子に欠陥画素が含まれる場合であっても、欠陥画素の画素データを周囲の画素から適正に補完することが可能である。
【００６２】
（その他の実施形態）
上述した各実施形態において、１フレーム毎に撮像動作パラメータをライン単位で交互に入れ替える制御を行う構成であるが、これに限定されず、１フレームよりも長い複数フレームを単位として制御してもよい。その場合、撮像動作パラメータを交互に入れ替える期間を考慮して、特定画素の画素データをメモリに保持しておく期間を可変してもよい。
【００６３】
また、動画撮像装置の周囲の環境などによって定まる撮像条件や、撮像モード設定部（図示せず）によりユーザが設定した撮像モードに応じて、撮像動作パラメータをライン単位で交互に入れ替える期間を制御し、かつ、特定画素の画素データをメモリに保持しておく期間を可変することが可能である。
【００６４】
また、撮像画素に対して撮像動作パラメータを設定する領域単位として、撮像素子の２列の画素ラインを組とした領域単位を用いているが、これに限定されない。
【００６５】
以上説明したように、本発明によれば、領域単位で露光時間などの撮像動作が異なる撮像素子において欠陥画素が存在した場合であっても、欠陥画素の画素データを適正に補完することが可能である。
【００６６】
なお、上述した各実施形態においては、本発明をデジタルビデオカメラに適用した場合を例にして説明したが、これに限定されない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。すなわち携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。
【符号の説明】
【００６７】
１００  撮像装置本体
１１５  撮像素子
１１６  タイミング発生器
１１７  画像処理部
１１８  露出制御部
１１９  レンズ制御部
１２１  システム制御部
１２３  メモリ部
【図１】
2015115877.tif 000003
【図２】
2015115877.tif 000004
【図３】
2015115877.tif 000005
【図４】
2015115877.tif 000006
【図５】
2015115877.tif 000007
【図６】
2015115877.tif 000008
【図７】
2015115877.tif 000009