(57)【要約】【課題】ＯＢ領域のデータを利用する補正処理を画像データの記録後に行う場合に、補正処理の品質低下を抑制しつつ、記録するＯＢ領域のデータ量を削減する。【解決手段】有効撮像領域とオプティカルブラック（ＯＢ）領域とを有する撮像素子を含む撮像手段と、所定の条件を満たす場合に、前記撮像手段により得られる画像データのうち前記ＯＢ領域に対応するＯＢ領域データのデータ量を削減する削減手段と、前記削減手段による処理の後に、前記画像データを記録する記録手段と、を備たことを特徴とする撮像装置を提供する。【選択図】図４
2015061199.tif 000002
【特許請求の範囲】
【請求項１】
有効撮像領域とオプティカルブラック（ＯＢ）領域とを有する撮像素子を含む撮像手段と、
所定の条件を満たす場合に、前記撮像手段により得られる画像データのうち前記ＯＢ領域に対応するＯＢ領域データのデータ量を削減する削減手段と、
前記削減手段による処理の後に、前記画像データを記録する記録手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記削減手段は、前記撮像手段による今回の撮像により得られた画像データのうち前記有効撮像領域に対応する有効撮像領域データに含まれる補正対象成分の、前記撮像手段による前回の撮像からの変化の度合いが閾値以下の場合に、前記画像データのうち前記ＯＢ領域に対応するＯＢ領域データのデータ量を削減することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記削減手段は、前記今回の撮像における、前記補正対象成分の発生に寄与する撮像条件の、前記前回の撮像からの変化に基づき、前記補正対象成分の前記変化の度合いを判定する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記補正対象成分は、前記ＯＢ領域データに基づいて補正されるオフセット成分及びノイズ成分の少なくとも一方を含むことを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記画像データの画素数を減少させて縮小画像データを生成する生成手段と、
前記縮小画像データにおいて前記補正対象成分に対応する成分を検出する検出手段と、
を更に備え、
前記削減手段は、前記検出手段で検出された成分の、前記前回の撮像からの変化に基づき、前記補正対象成分の前記変化の度合いを判定する
ことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記削減手段は、前記補正対象成分の前記変化の度合いが小さいほど、前記ＯＢ領域データのデータ量を大きく削減する
ことを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記削減手段は、画素数及び１画素当たりのビット数の少なくとも一方を削減する処理を前記ＯＢ領域データに対して適用することにより、前記ＯＢ領域データのデータ量を削減する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記削減手段は、前記ＯＢ領域データのうち垂直ＯＢ領域に対応する画素を列ごとに平均化する処理、及び、前記ＯＢ領域データのうち水平ＯＢ領域に対応する画素を行ごとに平均化する処理のうち、少なくとも一方により、前記ＯＢ領域データの画素数を削減する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記削減手段は、前記画像データから前記ＯＢ領域データを削除することにより、前記ＯＢ領域データのデータ量を削減する
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項１０】
前記記録手段は、前記削減手段により前記ＯＢ領域データのデータ量がどのように削減されたかを示す情報を、前記画像データと共に記録する
ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記削減手段は、連続する複数回の撮像により得られた複数の画像データについて前記削減を行った場合、次回の撮像により得られる画像データについては、前記補正対象成分の前記変化の度合いに関わらず、前記削減を行わない
ことを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
【請求項１２】
前記オフセット成分は、前記撮像素子の黒レベルのばらつきであり、前記ノイズ成分は、前記撮像素子の固定パターンノイズ（ＦＰＮ）である
ことを特徴とする請求項４に記載の撮像装置。
【請求項１３】
有効撮像領域とオプティカルブラック（ＯＢ）領域とを有する撮像素子を含む撮像手段を備える撮像装置の制御方法であって、
所定の条件を満たす場合に、前記撮像装置の削減手段が、前記撮像手段により得られる画像データのうち前記ＯＢ領域に対応するＯＢ領域データのデータ量を削減する削減工程と、
前記撮像装置の記録手段が、前記削減工程による処理の後に、前記画像データを記録する記録工程と、
を備えたことを特徴とする制御方法。
【請求項１４】
コンピュータを、請求項１乃至１２のいずれか１項に記載の撮像装置の撮像手段を除く各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラをはじめとする撮像装置では、記録できる画素数が増してきている。これは、撮像装置により記録した映像を映し出すモニターの規格とも密接な関係がある。即ち、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）と呼ばれる規格から、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）と呼ばれる規格への移行があり、今後はさらなる解像度を持つモニターへの移行が予定されている。
【０００３】
ＨＤの解像度は主に横１９２０画素、縦１０８０画素（以下、１９２０×１０８０画素と表す）であるが、４Ｋ２Ｋと呼ばれる次の世代として考えられているモニターの解像度は、３８４０×２１６０画素とＨＤの４倍の画素数である。また、デジタルシネマで策定されている規格は、４０９６×２１６０画素で、４Ｋ２Ｋよりも画素数が多い。また、４Ｋ２Ｋよりも更に次の世代として、８Ｋ４Ｋと呼ばれる規格も考えられており、７６８０×４３２０画素もの画素数を持つ。これもデジタルシネマでは水平は８Ｋを超えるものと考えられる。
【０００４】
このような変化に伴い、撮像装置においても、記録できる画素数に関して高画素化が要求されている。例えば、前述のスーパーハイビジョンの記録画素に対応するには、レンズ、撮像素子、映像信号をデジタル処理する画像処理ＬＳＩ、及び、映像信号を外部に出力する映像出力ＬＳＩなどが高画素数に対応する必要がある。加えて、撮像素子の画素数もスーパーハイビジョンの画素数に対応する必要がある。
【０００５】
近年、撮像装置の撮像素子として用いられているＣＭＯＳイメージセンサーは、その構造から、様々なノイズを生じる場合がある。具体的には、垂直方向の固定パターンノイズ（ＦＰＮ：Ｆｉｘｅｄ−ｐａｔｔｅｒｎ  Ｎｏｉｓｅ）や、感度不均一性による縦線ノイズ（ＰＲＮＵ）、暗電流不均一性によるノイズ（ＤＳＮＵ）などがある。通常は、撮像装置内の画像処理ＬＳＩなどで、リアルタイムにＦＰＮ補正が行われる。ＦＰＮ補正は、撮像素子のオプティカルブラック（ＯＢ）領域から取得されたデータを利用して行われる。
【０００６】
しかし、高画素化された映像信号は１フレーム当たりの情報量が多いため、これをリアルタイムに補正することは、処理負荷が高い。従って、画像処理ＬＳＩが大規模になったり、消費電力が増大したりするという問題がある。
【０００７】
特許文献１は、撮像素子からの画像データを、画像処理を行わないＲＡＷデータとして記録し、後に画像処理を行うシステムを開示している。特許文献１の技術を使用すれば、画像データに対してリアルタイムにＦＰＮ補正などの補正処理を行わずに、そのままＲＡＷデータとして記録することができるため、撮像時の処理負荷を軽減することができる。ＲＡＷデータに対しては、後で画像処理ＬＳＩに大きな負荷をかけずに現像処理を行うことができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３００２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の技術を用いる場合、ＦＰＮ補正などの、ＯＢ領域のデータを利用する補正処理を後で行うためには、撮像素子の出力画像をＯＢ領域も含めたＲＡＷデータとして記録することになる。そのため、ＲＡＷデータのサイズが大きくなり、記録媒体の容量の消費量が増大してしまう。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、ＯＢ領域のデータを利用する補正処理を画像データの記録後に行う場合に、補正処理の品質低下を抑制しつつ、記録するＯＢ領域のデータ量を削減する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、有効撮像領域とオプティカルブラック（ＯＢ）領域とを有する撮像素子を含む撮像手段と、所定の条件を満たす場合に、前記撮像手段により得られる画像データのうち前記ＯＢ領域に対応するＯＢ領域データのデータ量を削減する削減手段と、前記削減手段による処理の後に、前記画像データを記録する記録手段と、を備えたことを特徴とする撮像装置を提供する。
【００１２】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１３】
本発明によれば、ＯＢ領域のデータを利用する補正処理を画像データの記録後に行う場合に、補正処理の品質低下を抑制しつつ、記録するＯＢ領域のデータ量を削減することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る撮像装置１００の機能ブロック図。
【図２】（ａ）撮像素子１０２の一般的な画素構成を示す図、（ｂ）図２（ａ）に示す映像信号に対して図３（ａ）に示すような垂直ＯＢ領域の平均化処理を行うことにより得られる映像信号を示す図、（ｃ）図２（ｂ）に示す映像信号に対して更に水平ＯＢ領域の平均化処理を行うことにより得られる映像信号を示す図。
【図３】（ａ）垂直ＯＢ領域の或る１列に対する平均化処理の概念図、（ｂ）ＯＢ領域の画素のビット数を削減する処理の概念図
【図４】第１の実施形態に係るＯＢ領域の圧縮処理の流れを示すフローチャート。
【図５】第２の実施形態に係るＯＢ領域の圧縮処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１６】
［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の機能ブロック図である。図１において、光学レンズ１０１は、被写体の光を取り込む。光学レンズ１０１は、代表的なものとしては、ピントを合わせるためのフォーカス機構、光量や被写界深度を調節する絞り機構、及び、焦点距離を変化させるためのズーム機構を有する。但し、単焦点レンズであれば、ズーム機構は用意されない。また、パンフォーカスレンズであれば、フォーカスは無限遠の１点のみであり、フォーカス機構は用意されない。レンズのコストダウンのために、絞り位置を１点にし、光量を調整するためのＮＤフィルタで代用したものもある。本実施形態では、光学レンズ１０１は、撮像素子１０２に光を結像して入光するものであれば、いかなる光学レンズであっても構わない。
【００１７】
撮像素子１０２は、光学レンズ１０１から入射光を受け、それを電気信号へ変換し、出力する。代表的なものとして、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサーや、ＣＭＯＳイメージセンサーなどが挙げられる。撮像素子１０２としては、アナログの映像信号を直接出力する撮像素子が用いられてもよい。或いは、内部でＡＤ（アナログデジタル）変換処理を行い、ＬＶＤＳ（Ｌｏｗ  ｖｏｌｔａｇｅ  ｄｉｆｆｅｒｅｎｔｉａｌ  ｓｉｇｎａｌｉｎｇ）をはじめとするデジタルデータの形式で映像信号を出力する撮像素子が用いられてもよい。
【００１８】
温度センサ１０３は、撮像素子１０２の温度を測定し、マイコン１１３へ測定した温度を伝達する。映像分配器１０４は、撮像素子１０２からの映像信号を複数に分配する。
【００１９】
ビットシフト・垂直加算回路１０５は、映像分配器１０４から分配された映像信号について、特にオプティカルブラック（ＯＢ）領域に対して、必要に応じてビットシフト、平均化、又は間引きなどの処理を行うことにより、映像信号の画素数を削減する。平均化は、一時的に行データを記憶するラインメモリ１０６を用いて垂直に画素を加算することにより行われる。
【００２０】
メタデータ付加部１０７は、ビットシフト・垂直加算回路１０５が行った信号圧縮処理（画素数を削減する処理）を示す情報を、１フレームごとにメタデータとして付加する。このメタデータは、ＯＢ領域のデータを利用する補正処理（固定パターンノイズ（ＦＰＮ）補正など）を後で行う際に参照される。
【００２１】
記録媒体１０８は、ＯＢ領域のデータを含んだ映像信号をＲＡＷデータとして記録する。記録されるＯＢ領域のデータは、必要に応じてビットシフト・垂直加算回路１０５により圧縮されている。
【００２２】
映像圧縮部１０９は、映像分配器１０４から分配された映像信号に対して、映像信号全体を加算する処理や映像信号の一部を間引く処理などを行い、映像信号の各フレームの画素数を減少させる。ここでは、後述の画像補正部１１０でリアルタイムにＦＰＮ補正等の補正処理を行うことが可能な程度にまで画素数が減少するように、映像信号の圧縮処理（画素数を減少させる処理）が行われる。
【００２３】
画像補正部１１０は、映像圧縮部１０９で圧縮された映像信号（縮小画像データ）に対し、ＦＰＮ補正等の補正処理をリアルタイムに行う。画像補正部１１０は、補正された映像信号から露出やフォーカス、手ぶれ補正などに関する信号評価値を計算し、その評価値をマイコン１１３へ伝達する。
【００２４】
現像処理部１１１は、撮像装置１００における代表的な画像処理機能を有し、ノイズリダクション、ガンマ補正、ニー、デジタルゲインなどをはじめ、キズ補正など各種現像処理を行なう。現像処理部１１１には、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路も含まれる。
【００２５】
表示部１１２は、現像処理部１１１で現像処理された映像を表示する。表示部１１２は、代表的なものとしては、撮像装置１００に付属する液晶モニターやビューファインダーなどである。撮像装置１００のユーザは、表示部１１２を通じて、画角や露出などを確認することができる。
【００２６】
マイコン１１３は、画像補正部１１０からの信号評価値及び温度センサ１０３からの温度情報などに基づき、光学レンズ１０１や撮像素子１０２などの動作を決定し、決定した動作に基づいて撮像素子制御部１１４及びレンズ制御部１１５を制御する。撮像素子制御部１１４及びレンズ制御部１１５は、マイコン１１３からの指示に基づき、撮像素子１０２及び光学レンズ１０１を制御する。
【００２７】
次に、図２及び図３を参照して、ビットシフト・垂直加算回路１０５の動作について詳細に説明する。図２（ａ）は、撮像素子１０２の一般的な画素構成を示す図である。撮像素子１０２の画素は、レンズからの光を受けて映像信号に変換する有効撮像領域と、レンズからの光を遮り、黒レベルを出力するオプティカルブラック（ＯＢ）領域とを含む。特に、有効撮像領域の上部、もしくは下部に配置されたＯＢ領域を垂直ＯＢ領域、有効撮像領域の左側、もしくは右側に配置されたＯＢ領域を水平ＯＢ領域と呼ぶ。これらのＯＢ領域は、主に映像信号の黒レベルを合わせるための水平ＯＢクランプ、及び、撮像素子のＦＰＮ補正などに使用される。
【００２８】
本実施形態では、記録媒体１０８には、上記の水平ＯＢクランプや撮像素子のＦＰＮ補正などを行わずに画像データが記録される。そのため、記録した映像を後で適切に処理して再生するためには、有効撮像領域の未加工の映像信号（有効撮像領域データ）であるＲＡＷ映像と共に、ＯＢ領域のデータ（ＯＢ領域データ）も記録媒体１０８に記録する必要がある。しかしながら、未加工のＲＡＷ映像は圧縮処理されていないため、１フレームのデータ量が非常に大きい。そのため、ビットシフト・垂直加算回路１０５は、水平ＯＢクランプや撮像素子のＦＰＮ補正に大きな影響を与えない範囲でＯＢ領域の圧縮を行う。
【００２９】
図３（ａ）は、垂直ＯＢ領域の或る１列に対する平均化処理の概念図である。ビットシフト・垂直加算回路１０５は、列ごとにＯＢ領域を平均化し、各列を１画素に圧縮することができる。図示しないが、水平ＯＢ領域についても、同様の圧縮が可能である。
【００３０】
図２（ｂ）は、図２（ａ）に示す映像信号に対して図３（ａ）に示すような垂直ＯＢ領域の平均化処理を行うことにより得られる映像信号を示す図である。図２（ｂ）においては、垂直ＯＢ領域が１行に圧縮されているため、図２（ａ）に比べてデータ量が削減されている。
【００３１】
また、図２（ｃ）は、図２（ｂ）に示す映像信号に対して更に水平ＯＢ領域の平均化処理を行うことにより得られる映像信号を示す図である。図２（ｃ）においては、水平ＯＢ領域が１列に圧縮されているため、図２（ｂ）に比べて更にデータ量が削減されている。
【００３２】
図３（ｂ）は、ＯＢ領域の画素のビット数を削減する処理の概念図である。図３（ｂ）に示すように、ビットシフト・垂直加算回路１０５は、ビットシフトを行うことにより、もともと１２ビットの画素のデジタルデータのうち、下位４ビットをカットする。これにより、１画素当たり８ビットに圧縮されたデータが得られる。図２（ａ）〜（ｃ）に示す映像信号に対してこのようなビット数削減処理を適用することで、ＯＢ領域のデータ量の更に削減することができる。
【００３３】
本実施形態では、撮像装置１００は、ＯＢ領域を利用する補正処理の品質があまり低下しない範囲で、ＯＢ領域の圧縮処理（データ量の削減）を行う。ＯＢ領域を利用する補正処理としては、ＯＢ領域のデータに基づいてオフセット成分（例えば、黒レベルのばらつき）を補正するＯＢクランプや、ＯＢ領域のデータに基づいてノイズ成分（例えば、ＦＰＮ）を補正するＦＰＮ補正などが挙げられる。説明の簡略化のため、以下ではＦＰＮ補正についてのみ説明する場合があるが、ＯＢクランプに関しても、基本的な考え方は、ＦＰＮ補正の場合と同様である。
【００３４】
ＯＢ領域を利用する補正処理の品質低下の度合いを判定するために、撮像装置１００は、補正対象成分（黒レベルのばらつきやＦＰＮ）に影響する所定の撮像条件（シャッタースピード、ゲイン、撮像素子１０２の温度等のパラメータ）を利用することができる。撮像装置１００は、現フレーム（今回の撮像により得られた画像データ）と前フレーム（前回の撮像により得られた画像データ）との間でパラメータを比較し、パラメータの変化の度合いに応じて、ＯＢ領域をどの程度圧縮するかを決定する。
【００３５】
図４は、第１の実施形態に係るＯＢ領域の圧縮処理の流れを示すフローチャートである。圧縮処理に関する基本的な考え方は、補正対象成分（黒レベルのばらつきやＦＰＮなど）に関する前フレームからの変化が小さいほど、ＯＢ領域を大きく圧縮するというものである。本実施形態では、一例として、撮像装置１００は、シャッタースピード、ゲイン、及び撮像素子１０２の温度の３つのパラメータのうちのいくつが前フレームの撮像時から変化したかに応じて、ＯＢ領域の圧縮の度合いを決定するものとする。しかしながら、決定の基準はこれに限定されず、上記の基本的な考え方に従う限り、撮像装置１００は、いかなるパラメータをいかなる基準で用いても構わない。
【００３６】
撮像装置１００が映像撮影を開始すると、本フローチャートの処理が開始する。Ｓ４０１で、マイコン１１３は、変化したパラメータの数をカウントするための変数Ｎを０に初期化する。
【００３７】
Ｓ４０２で、マイコン１１３は、現フレームのシャッタースピードが前フレームから変化したか否かを判定する。変化した場合、Ｓ４０３で、マイコン１１３はＮに１を加算する。変化しない場合、処理はＳ４０３をスキップしてＳ４０４に進む。
【００３８】
シャッタースピードとは、撮像素子１０２の露光時間のことであり、例えば、露光時間が１／２０００秒の場合と１／２秒の場合とでは、撮像素子１０２の暗電流などが異なり、撮像素子１０２のＦＰＮが異なる。そのため、シャッタースピードが変化すると、ＦＰＮ補正の品質低下を抑制するためには、詳細なＯＢ領域のデータが必要である。図４のフローチャートによれば、シャッタースピードが変化した場合はＮに１が加算されるため、ＯＢ領域の圧縮の度合いが小さくなり、ＦＰＮ補正の品質低下を抑制することができる。
【００３９】
Ｓ４０４で、マイコン１１３は、現フレームについての撮像素子１０２及び撮像装置１００全体のゲインが、前フレームから変化したかを判定する。撮像素子１０２内にあるアンプなどのゲインが変化した場合は、撮像素子１０２のＦＰＮが変化するため、ＦＰＮ補正の品質低下を抑制するためには、詳細なＯＢ領域のデータが必要である。そこで、ゲインが変化したと判定された場合、Ｓ４０５で、マイコン１１３はＮに１を加算する。ゲインが変化しない場合、処理はＳ４０５をスキップしてＳ４０６に進む。
【００４０】
Ｓ４０６で、マイコン１１３は、現フレームの撮像時の撮像素子１０２の温度が前フレームの撮像時から変化したか否かを判定する。温度が変化した場合、撮像素子１０２の暗電流などが変化し、撮像素子１０２のＦＰＮが変化するため、ＦＰＮ補正の品質低下を抑制するためには、詳細なＯＢ領域のデータが必要である。そこで、温度が変化したと判定された場合、Ｓ４０７で、マイコン１１３はＮに１を加算する。温度が変化しない場合、処理はＳ４０７をスキップしてＳ４０８に進む。
【００４１】
なお、Ｓ４０２、Ｓ４０４、及びＳ４０６の一部又は全部において、パラメータが変化したか否かを判定するために閾値を用いてもよい。例えば、Ｓ４０４において、マイコン１１３は、ゲインの変化が閾値Δｙ（ｄＢ：デシベル）以上の場合、ゲインが変化したと判断し、ゲインの変化がΔｙ（ｄＢ）未満の場合、ゲインは変化していないと判断する。閾値Δｙ（ｄＢ）の値は、撮像装置１００固有の値であり、搭載されている撮像素子１０２のＦＰＮの大きさに基づいて決定される。或いは、撮像素子１０２内にあるアンプなどのゲインが変化した場合は、マイコン１１３は、Δｙ（ｄＢ）の値によらず、ゲインが変化したと判断してもよい。また、例えば、Ｓ４０６において、マイコン１１３は、温度の変化が閾値Δｚ度以上の場合、温度が変化したと判断し、温度の変化がΔｚ度未満の場合、温度は変化していないと判断する。閾値Δｚ度の値は、撮像装置１００固有の値であり、搭載されている撮像素子１０２の暗電流の大きさに基づいて決定される。
【００４２】
Ｓ４０８で、マイコン１１３は、変数Ｎの値に応じて処理を分岐する。具体的には、Ｎ＝３の場合、Ｓ４０９で、マイコン１１３は、ＯＢ領域のデータを圧縮しないようにビットシフト・垂直加算回路１０５に指示する。Ｎ＝２の場合、Ｓ４１０で、マイコン１１３は、図２（ｂ）に示すように垂直ＯＢ領域を平均化するようにビットシフト・垂直加算回路１０５に指示する。Ｎ＝１の場合、Ｓ４１１で、マイコン１１３は、図２（ｃ）に示すように垂直ＯＢ領域及び水平ＯＢ領域を平均化するようにビットシフト・垂直加算回路１０５に指示する。Ｎ＝０の場合、Ｓ４１２で、マイコン１１３は、図２（ｃ）に示すように垂直ＯＢ領域及び水平ＯＢ領域を平均化し、更に、図３（ｂ）に示すようにビット数を削減するようにビットシフト・垂直加算回路１０５に指示する。
【００４３】
なお、ＯＢ領域のデータの圧縮方法は、図２（ｂ）、図２（ｃ）、及び図３（ｂ）に示すものに限定されない。例えば、ＯＢ領域の画素の平均化を２画素単位で行ったりすることにより、ＯＢ領域のデータを圧縮してもよい。
【００４４】
Ｓ４１３で、メタデータ付加部１０７は、ビットシフト・垂直加算回路１０５で行われた圧縮処理を示す情報（ＯＢ領域のデータがどのように圧縮されたかを示す情報）をメタデータとして映像信号に付加する。これは、後にＦＰＮ補正を行うとき、１フレームの画素数やデータ量が変化しているために、ＯＢ領域のデータの圧縮状況を記録しておかないと、ＦＰＮ補正を正常に行うことができないためである。
【００４５】
Ｓ４１４で、撮像装置１００は、現フレームのデータをメタデータと共に記録媒体１０８に記録する。その後、処理はＳ４０１に進み、次のフレームについて同様の処理が繰り返される。
【００４６】
以上説明したように、第１の実施形態によれば、撮像装置１００は、ＯＢ領域のデータに基づいて補正される補正対象成分（オフセット成分やノイズ成分）の前フレームからの変化の度合いに応じてＯＢ領域を圧縮する。具体的には、撮像装置１００は、変化の度合いが閾値以下の場合（図４の例では、Ｎ＝２、１、又は０の場合）、ＯＢ領域を圧縮し、そうでない場合（図４の例では、Ｎ＝３の場合）、ＯＢ領域を圧縮しない。また、ＯＢ領域を圧縮する場合、撮像装置１００は、補正対象成分の前フレームからの変化が小さいほど、ＯＢ領域のデータを大きく圧縮する。
【００４７】
これにより、ＯＢ領域のデータを利用する補正処理を画像データの記録後に行う場合に、補正処理の品質低下を抑制しつつ、記録するＯＢ領域のデータ量を削減することが可能となる。
【００４８】
＜変形例＞
図４のフローチャートにおいては、撮像装置１００は、補正対象成分の前フレームからの変化の度合いを、補正対象成分の発生に寄与する撮像条件（シャッタースピード等のパラメータ）の前フレームからの変化に基づいて判定していた。これに対し、変形例として、映像圧縮部１０９によって生成された縮小画像データに含まれる補正対象成分に基づいて、フルサイズの画像データに含まれる補正対象成分の前フレームからの変化の度合いを判定する実施形態を説明する。
【００４９】
具体的には、画像補正部１１０は、縮小画像データに対する補正処理に伴い、縮小画像データに含まれる補正対象成分を検出し、検出した補正対象成分をマイコン１１３に通知する。マイコン１１３は、通知された補正対象成分を前フレームの縮小画像データに含まれる補正対象成分と比較することにより、縮小画像データに含まれる補正対象成分の変化の度合いを判定する。フルサイズの画像データに含まれる補正対象成分の変化は、概ね縮小画像データに含まれる補正対象成分の変化に対応すると考えられる。そこで、マイコン１１３は、縮小画像データに含まれる補正対象成分の変化の度合いに基づき、変化の度合いが小さいほどＯＢ領域のデータ量を大きく削減するようにビットシフト・垂直加算回路１０５に指示する。
【００５０】
［第２の実施形態］
第２の実施形態では、ＯＢ領域のデータ量を大きく削減するために、ＯＢ領域のデータを削除する構成について説明する。また、連続する複数回の撮像により得られた複数のフレームについてＯＢ領域が圧縮された場合に、次回の撮像により得られるフレームについては補正対象成分の変化の度合いに関わらずＯＢ領域を圧縮しない構成についても説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。
【００５１】
図５は、第２の実施形態に係るＯＢ領域の圧縮処理の流れを示すフローチャートである。本フローチャートにおいて、図４と同一又は同様の処理が行われるステップには同一の符号を付し、その説明を省略する。
【００５２】
Ｓ５０１で、マイコン１１３は、ＯＢ領域が連続して圧縮されたフレームの数をカウントするための変数Ｍを０に初期化する。
【００５３】
Ｓ５０２で、マイコン１１３は、Ｍが閾値Ｔｈ以上であるか否かを判定する。閾値以上の場合、処理はＳ４０９に進み、マイコン１１３は、ＯＢ領域のデータを圧縮しないようにビットシフト・垂直加算回路１０５に指示する。このように、ＯＢ領域の圧縮が閾値以上の数のフレームに亘って続いた場合、Ｓ４０８の判定は行われず、撮像条件の変化の有無に関わらずＯＢ領域のデータは圧縮されない。なお、例えば、撮像素子１０２の駆動が６０ｆｐｓである場合、閾値Ｔｈは６０に設定される。この場合、１秒に１回は必ずＯＢ領域を完全に記録するフレームが作られることになる。
【００５４】
Ｓ４０８でＮ＝０であった場合、Ｓ５０３で、マイコン１１３は、ＯＢ領域を削除するようにビットシフト・垂直加算回路１０５に指示する。このように、本実施形態では、撮像条件の変化が極めて小さい場合（即ち、補正対象成分の変化が極めて小さい場合）、ＯＢ領域は圧縮されるのではなく削除される。
【００５５】
ＯＢ領域のデータが圧縮されない場合、Ｓ５０４で、マイコン１１３は、変数Ｍを０に初期化する。一方、ＯＢ領域のデータが圧縮又は削除される場合、Ｓ５０５、Ｓ５０６、又はＳ５０７で、マイコン１１３は、変数Ｍに１を加算する。
【００５６】
以上説明したように、第２の実施形態によれば、撮像装置１００は、Ｓ４０８においてＮ＝０の場合（即ち、撮像条件の変化が極めて小さい場合）、ＯＢ領域のデータを削除した上で画像データを記録する。また、撮像装置１００は、連続する複数回の撮像により得られた複数のフレームについてＯＢ領域が圧縮された場合に、次回の撮像により得られるフレームについては補正対象成分の変化の度合いに関わらずＯＢ領域を圧縮しない。これにより、ＯＢ領域のデータ量を大きく削減することができ、また、補正処理の品質低下を抑制することができる。
【００５７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015061199.tif 000003
【図２】
2015061199.tif 000004
【図３】
2015061199.tif 000005
【図４】
2015061199.tif 000006
【図５】
2015061199.tif 000007