(57)【要約】【課題】処理および構成の複雑化を抑えるとともに、補正精度の低下を抑えることをも可能にすることを課題とする。【解決手段】画像処理装置は、遮光領域と有効領域を備えた撮像素子（１０２）から信号を読み出す読み出し手段（１０４，１０７）と、撮像素子から読み出された画像信号に対して信号処理を行う信号処理手段（１１０）と、を有する。読み出し手段は、第１の読み出し処理で撮像素子からフレームごとに画像信号を読み出す際のブランキング期間中に、第２の読み出し処理で遮光領域から信号を読み出し、信号処理手段は、有効領域から読み出された１フレームの画像信号に対して、遮光領域から読み出された信号に基づく信号処理を行う。【選択図】図１
2020198557.tif 000002
【特許請求の範囲】
【請求項１】
遮光領域と遮光されていない有効領域とを備えた撮像素子から信号を読み出す読み出し手段と、
前記撮像素子から読み出された画像信号に対して信号処理を行う信号処理手段と、を有し、
前記読み出し手段は、第１の読み出し処理で前記撮像素子からフレームごとに画像信号を読み出す際のブランキング期間中に、第２の読み出し処理で前記遮光領域から信号を読み出し、
前記信号処理手段は、前記有効領域から読み出された１フレームの画像信号に対して、前記ブランキング期間中に前記遮光領域から読み出された信号に基づく前記信号処理を行うことを特徴とする画像処理装置。
【請求項２】
前記読み出し手段は、
前記第１の読み出し処理で複数のフレームの画像信号を読み出す際のブランキング期間ごとに、前記第２の読み出し処理で前記遮光領域のみから信号を読み出し、
ユーザからの取得指示に応じて、前記第２の読み出し処理で前記有効領域から前記１フレームの画像信号を読み出し、
前記信号処理手段は、
前記ユーザからの取得指示に応じて、前記第２の読み出し処理で前記有効領域から読み出された前記１フレームの画像信号に対して、前記ブランキング期間ごとに前記遮光領域のみから読み出された信号に基づく前記信号処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の読み出し処理は前記撮像素子からフレームごとに信号を読み出す処理であり、
前記第２の読み出し処理は前記撮像素子から信号を読み出す際に複数ラインを同時に読み出す処理であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記信号処理手段は、前記遮光領域から同時に読み出された複数ラインごとの信号の平均値を算出し、前記平均値を用いて前記信号処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記読み出し手段は、前記有効領域から前記１フレームの画像信号を読み出す際には、前記遮光領域の信号を読み出さないことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記信号処理手段は、前記有効領域から読み出された前記１フレームの画像信号よりなる有効画像を、複数の領域に分割して処理することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記読み出し手段は、所定数のフレームのブランキング期間についてのみ、前記遮光領域から前記信号の読み出しを行うことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記信号処理に用いる値を記憶する記憶手段を有し、
前記信号処理手段は、前記第１の読み出し処理が行われた際の前記ブランキング期間の数が所定数未満の場合、前記有効領域から読み出された前記１フレームの画像信号に対する前記信号処理を、前記記憶手段に記憶された値を用いて行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記信号処理に用いる値を記憶する記憶手段を有し、
前記信号処理手段は、前記有効領域から前記１フレームの画像信号が読み出される際に、前記第２の読み出し処理で前記遮光領域から信号を読み出した際のブランキング期間の数が所定数未満である場合、前記有効領域から読み出された前記１フレームの画像信号に対する前記信号処理を、前記記憶手段に記憶された値を用いて行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記読み出し手段は、前記第１の読み出し処理がなされた際の前記ブランキング期間の数が所定数未満の場合、前記第１の読み出し処理による次のフレームの画像信号の読み出しを行わずに、前記遮光領域からの前記信号の読み出しを行うことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１１】
前記読み出し手段は、画像処理装置の起動時に、前記ブランキング期間中に前記遮光領域から前記信号の読み出す処理を開始することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記読み出し手段は、ユーザからの所定の指示がなされたタイミングで、前記ブランキング期間中に前記遮光領域から前記信号を読み出す処理を開始することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１３】
前記ユーザからの前記所定の指示がなされたタイミングとは、前記有効領域から前記１フレームの画像信号の読み出し開始を指示するスイッチがユーザにより所定の操作状態になされたタイミングであることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記ユーザからの前記所定の指示がなされたタイミングとは、前記有効領域から前記１フレームの画像信号を読み出す設定がユーザにより変更されたタイミングであることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記ブランキング期間中に前記遮光領域から信号を読み出して前記信号処理に用いる値を取得するキャリブレーションを行う手段を有し、
前記ユーザから前記所定の指示がなされたタイミングとは、ユーザにより前記キャリブレーションの実施が指示されたタイミングであることを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
前記ブランキング期間中に前記遮光領域から読み出された信号を基に前記信号処理に用いる値を取得するキャリブレーションを行う手段を有し、
前記信号処理手段は、前記第１の読み出し処理がなされた際の前記ブランキング期間の数が所定数未満の場合、前記キャリブレーションにより取得された値を用いて、前記有効領域から読み出された前記１フレームの画像信号に対する前記信号処理を行うことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
【請求項１７】
前記ブランキング期間中に前記遮光領域から読み出された信号を基に前記信号処理に用いる値を取得するキャリブレーションを行う手段を有し、
前記信号処理手段は、前記有効領域からの前記１フレームの画像信号の読み出し時に、前記第２の読み出し処理で前記遮光領域から信号を読み出した前記ブランキング期間の数が所定数未満の場合、前記キャリブレーションにより取得された値を用いて、前記有効領域の１フレームの画像信号に対する前記信号処理を行うことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
【請求項１８】
画像処理装置が実行する画像処理方法であって、
遮光領域と遮光されていない有効領域とを備えた撮像素子から信号を読み出す読み出し工程と、
前記撮像素子から読み出された画像信号に対して信号処理を行う信号処理工程と、を有し、
前記読み出し工程では、第１の読み出し処理で前記撮像素子からフレームごとに画像信号を読み出す際のブランキング期間中に、第２の読み出し処理で前記遮光領域から信号を読み出し、
前記信号処理工程では、前記有効領域から読み出された１フレームの画像信号に対して、前記ブランキング期間中に前記遮光領域から読み出された信号に基づく前記信号処理を行うことを特徴とする画像処理方法。
【請求項１９】
コンピュータを、請求項１から１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像センサから信号を読み出して処理する画像処理技術に関する。
【背景技術】
【０００２】
近年のデジタルカメラ等は、撮像センサの画素数増加、静止画の連写コマ速の高速化、および動画のフレームレートの高レート化が進んでいる。このため、デジタルカメラ等に搭載される画像処理装置は、撮像センサから高速に信号を読み出し、高品質な画像を生成可能であることが求められている。ここで、多画素数の撮像センサから読み出した信号を処理する手法の一例として、撮像センサによる撮像画像を複数の矩形領域に分割し、それら分割領域ごとに画像処理を行う手法が知られている。複数に分割した小さい矩形領域ごとに処理を行うことで、画像処理装置は、ラインメモリ等の回路を小さくすることができ、回路規模が増大するのを防ぐことができる。また、多画素数の撮像センサから高速に信号を読み出す手法の一例として、撮像センサから複数ライン分の信号を同時に読み出す手法が知られている。
【０００３】
また高品質な画像を生成するための画像処理の一例として、撮像センサの有効領域から読み出される有効画像を、撮像センサの遮光領域から読み出した信号を基に生成した補正値を用いて補正する処理が知られている。なお、撮像センサの遮光領域は、オプティカルブラック領域とも呼ばれており、以後、ＯＢ領域とする。特許文献１には、ＯＢ領域から読み出した信号にキズ補正処理を施した上で平均値を求め、その平均値に基づいて、撮像センサの有効領域から読み出した有効画像の黒レベルを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１８２３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したように、分割領域ごとの画像処理と、複数ラインの同時読み出し処理と、ＯＢ領域の信号から生成した補正値を用いた補正処理とを行えば、撮像センサからの高速読み出し及び高品質な画像の取得が可能になる。しかしながらこの場合、有効画像の分割に合わせてＯＢ領域を分割し、それらＯＢ領域の分割領域の信号から、有効画像の分割領域に対する補正値を生成することになり、処理および構成が複雑になってしまう。また撮像センサから高速読み出しを行うために、複数ラインの同時読み出しを行う場合、ＯＢ領域の信号から生成される補正値は、ノイズ等の影響を受けた補正精度の低い補正値になり易い。ＯＢ領域のライン数を増やせば補正値の精度低下を抑えることは可能になるが、この場合、撮像センサのコストが増加してしまう。
【０００６】
そこで本発明は、処理および構成の複雑化を抑えるとともに、補正精度の低下を抑えることをも可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、遮光領域と遮光されていない有効領域とを備えた撮像素子から信号を読み出す読み出し手段と、前記撮像素子から読み出された画像信号に対して信号処理を行う信号処理手段と、を有し、前記読み出し手段は、第１の読み出し処理で前記撮像素子からフレームごとに画像信号を読み出す際のブランキング期間中に、第２の読み出し処理で前記遮光領域から信号を読み出し、前記信号処理手段は、前記有効領域から読み出された１フレームの画像信号に対して、前記ブランキング期間中に前記遮光領域から読み出された信号に基づく前記信号処理を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、処理および構成の複雑化を抑えるとともに、補正精度の低下を抑えることも可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置が適用された構成例を示す図である。
【図２】撮像画像の分割処理を説明する図である。
【図３】撮像センサからの複数ライン同時読み出しを説明する図である。
【図４】第１の実施形態に係る読み出しタイミングチャートである。
【図５】実施形態に対する比較例の読み出しタイミングチャートである。
【図６】センサ読み出し信号に対する処理の流れを説明する図である。
【図７】ＲＤＭＡＣにおけるアドレス生成部の構成例を示す図である。
【図８】信号処理部における補正処理部の構成例を示す図である。
【図９】第１の実施形態に係る画像処理のフローチャートである。
【図１０】第２の実施形態に係る読み出しタイミングチャートである。
【図１１】第２の実施形態に係る画像処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理装置の一適用例である撮像装置の概略的な構成例を示したブロック図である。
光学部１０１は、レンズや絞り等からなる。光学系制御部１０８は、光学部１０１のフォーカスレンズの駆動制御や絞りの駆動制御を行う。
センサ１０２は、光学部１０１により形成された光学像を電気信号に変換する光電変換部とその周辺回路を有するＣＣＤやＣＭＯＳセンサ等の撮像素子である。センサ１０２の撮像面は、光学部１０１を介した光が遮光されずに入射する有効領域と、光学部１０１を介した光が遮光された遮光領域とを有する。なお、遮光領域は、オプティカルブラック領域（ＯＢ領域）とも呼ばれている。有効領域とＯＢ領域の詳細は後述する。
【００１１】
センサ制御部１０７は、センサ１０２からの信号読み出しを制御する。本実施形態のセンサ制御部１０７は、センサ１０２の撮像領域の複数ライン（複数行）を同時に読み出す制御が可能となされている。センサ制御部１０７によるセンサ１０２からの信号読み出し制御の詳細については後述する。また、センサ制御部１０７は、静止画像を撮影する静止画撮影モードや、フレームごとに画像が読み出されて表示されるライブビューモード等の各種モードに応じて、センサ１０２から信号を読み出す制御が可能となされている。以下、ライブビューをＬＶとする。
【００１２】
Ａ／Ｄ変換回路１０３は、センサ１０２から読み出されたアナログ信号をデジタル信号（デジタルデータ）に変換する。なおＡ／Ｄ変換回路１０３以降の構成ではデジタル信号を扱うが、以下の説明では、Ａ／Ｄ変換回路１０３に入出力されるアナログ信号とデジタル信号とを区別せずに信号（もしくはデータ）と表記する。
撮像処理部１４０は、センサ１０２から読み出されてＡ／Ｄ変換回路１０３でＡ／Ｄ変換された信号に対し、データレート制御やデータの並び替え等の処理を行う。
転送制御部１２０は、ＤＲＡＭ（Dynamic Random Access Memory）１３０への信号の書き込みと読み出しを制御する。ＤＲＡＭ１３０への信号の書き込みと読み出しの詳細は後述する。
【００１３】
信号処理部１１０は、センサ１０２から得られた画像信号に対するノイズ低減処理等の各種画像処理を行う。また信号処理部１１０は、センサ１０２のＯＢ領域から得られた信号を基に補正値を生成する処理と、その補正値を用い、センサ１０２の有効領域から読み出された有効画像の画像信号に対する補正処理とを行う。
【００１４】
表示部１０５は、信号処理部１１０による信号処理後の画像信号を受け取り、その画像信号に基づく画像を表示する液晶モニター等からなる。
記録部１０６は、信号処理部１１０による信号処理後の画像信号を、外部メモリ等の記録媒体へ記録する。
ＣＰＵ１０４は、バスを介して前述した各部を制御する。ＣＰＵ１０４における制御の詳細は後述する。
【００１５】
ここで、本実施形態の撮像装置は、センサ１０２による撮像画像を複数の矩形領域に分割してそれら分割領域ごとに画像処理する機能、および、センサ１０２から複数ライン分の信号を同時に読み出す機能を有している。そして、本実施形態の撮像装置は、センサ１０２の有効領域から読み出された有効画像を、センサ１０２のＯＢ領域から読み出した信号を基に生成した補正値を用いて補正する機能を有している。
本実施形態の撮像装置における画像処理の詳細を説明する前に、それら分割領域ごとの画像処理、複数ライン分の信号の同時読み出し処理、および補正処理を行う場合に注意するべきポイントについて説明する。
【００１６】
図２（Ａ）は、撮像画像を複数の矩形領域に分割せずに一括処理する場合の有効領域とＯＢ領域とを模式的に示した図である。ＯＢ領域は、水平方向のＯＢ領域と垂直方向のＯＢ領域とからなる。これ以降、水平方向のＯＢ領域をＨＯＢ領域とし、垂直方向のＯＢ領域をＶＯＢ領域とする。有効領域から得られる有効画像を補正する場合、ＨＯＢ領域およびＶＯＢ領域から読み出された信号を基に補正値が算出され、その補正値を用いた補正処理が行われることになる。
【００１７】
一方、図２（Ｂ）は、撮像画像を複数の矩形領域に分割し、それら分割領域ごとに処理する場合の、各分割領域を模式的に示した図である。図２（Ｂ）は、有効領域を水平方向２分割および垂直方向２分割する４分割の例を示している。有効画像を分割１領域〜分割４領域のように４分割し、それら有効画像の各分割領域に補正処理が行われる場合、ＨＯＢ領域およびＶＯＢ領域に対しても分割が行われる。すなわち、図２（Ｂ）に示すように、ＨＯＢ領域はＨＯＢ１領域とＨＯＢ２領域とに分割され、ＶＯＢ領域はＶＯＢ１領域とＶＯＢ２領域とに分割され、撮像画像は水平方向３分割×垂直方向３分割の９分割されることになる。
【００１８】
ここで、図２（Ｂ）のように分割した有効画像を、ＯＢ領域の信号から生成した補正値を用いて補正する場合に注意すべきポイントは、有効画像の分割領域とＯＢ領域の分割領域とが必ずしも隣接していないことである。例えば、分割２領域とＨＯＢ１領域、分割３領域とＶＯＢ１領域、分割４領域とＨＯＢ２領域およびＶＯＢ２領域とは、センサ１０２の撮像領域上ではそれぞれ隣接していない領域である。このため、有効画像の補正処理を行う場合には、それら有効画像とＯＢ領域とで水平方向３分割×垂直方向３分割に９分割された各領域を区別した処理が必要となる。すなわち、分割１領域の有効画像を補正する場合、ＨＯＢ１領域およびＶＯＢ１領域の信号は、分割１領域の信号とセットになされて、補正処理を行う回路等に送る必要がある。また、ＨＯＢ１領域およびＶＯＢ２領域の信号は、分割２領域の信号とセットになされて、補正処理を行う回路等に送る必要がある。同様に、ＨＯＢ２領域およびＶＯＢ１領域の信号は分割３領域の信号とセットになされ、ＨＯＢ２領域およびＶＯＢ２領域の信号は分割４領域の信号とセットになされて、補正処理を行う回路等に送る必要がある。このように、有効画像を分割して補正処理する場合には、有効画像とＯＢ領域の水平方向３分割×垂直方向３分割の９分割された各領域をそれぞれ区別した処理が必要になるため、処理および構成が非常に複雑になる。
【００１９】
図３（Ａ）は、撮像領域のＶＯＢ領域から隣接２ライン分を同時に読み出す例を模式的に示した図である。有効領域の有効画像を補正する場合、ＶＯＢ領域の隣接２ライン分の信号の平均値が補正値として算出され、その補正値を用いた補正処理が行われることになる。すなわち、同時読み出しがなされる２ラインは、それぞれでセンサ読み出し特性が異なるため、それら２ラインの信号の平均値が補正値として求められて補正処理が行われる。図３（Ａ）の例では、ＶＯＢ領域が１００ライン分となっており、読み出し線Ａと読み出し線Ｂの２種類の読み出し線により２ライン同時の読み出しが行われる。つまり、読み出し線Ａと読み出し線Ｂのペアで２ライン同時の読み出しを行って平均値を算出することで、ＶＯＢ領域の１００ラインから５０ライン分に相当する補正値が求められて有効画像の補正が行われることになる。
【００２０】
一方、図３（Ｂ）は、図３（Ａ）の２ライン分読み出しよりも高速読み出しを可能にする例として、撮像領域のＶＯＢ領域から隣接１０ライン分を同時に読み出す例を模式的に示した図である。この場合、ＶＯＢ領域の隣接１０ライン分の信号の平均値が補正値として算出され、その補正値を用いた補正処理が行われることになる。すなわち、同時読み出しがなされる１０ラインは、それぞれでセンサ読み出し特性が異なるため、それら１０ラインの信号の平均値が補正値として算出されて補正処理が行われる。図３（Ｂ）の例の場合、読み出し線Ａ〜読み出し線Ｊの１０種類の読み出し線により１０ライン同時の読み出しが行われる。つまり、ＶＯＢ領域が１００ライン分であった場合、読み出し線Ａ〜読み出し線Ｊで１０ライン同時の読み出しを行って平均値を算出することで、１０ライン分に相当する補正値が求められて有効画像の補正が行われることになる。
【００２１】
ここで、高速読み出しのために同時読み出しライン数を増やした場合に注意すべきポイントは、ＶＯＢ領域のライン総数に対し、生成される補正値（平均値）のライン数が少なくなってしまうことである。例えば図３（Ａ）の２ライン同時読み出しの場合、ＶＯＢ領域のライン総数である１００ラインに対して５０ライン分相当の補正値が得られる。これに対し、図３（Ｂ）の１０ライン同時読み出しの場合、ＶＯＢ領域のライン総数の１００ラインに対して、１０ライン分に相当する補正値しか得られない。このように、同時読み出しライン数が増えると、平均値（補正値）を求める際の母数が相対的に減る。そして、補正値を求める際の母数が相対的に減ると、ノイズ等の影響を受け易くなり、結果として補正値の精度（すなわち補正精度）が低下する。この場合、ＶＯＢ領域の総ライン数を増やせば補正精度の低下を抑制できるが、そうすると有効領域が相対的に減少することになる。有効領域の減少を抑えるには撮像センサのサイズ（画素数）を大きくする必要があり、その場合、センサコストが上昇することになる。
【００２２】
前述したように、ＯＢ領域の信号から補正値を生成して有効画像を補正する場合に、分割処理を行うと処理が複雑になり、またＯＢ領域の複数ライン同時読み出しを行うと補正精度が低下する可能性があることに注意が必要である。
【００２３】
そこで本発明に係る第１の実施形態において、図１に示した撮像装置は、ＬＶモード時に、ＬＶ画像の複数フレームのブランキング期間にＶＯＢ領域から複数ラインの信号を同時に読み出すようにする。そして、撮像装置は、ブランキング期間にＶＯＢ領域から同時読み出しした複数ラインの信号を累積加算して補正値を算出して記憶する。さらにその後、ユーザから静止画の撮影指示がなされると、撮像装置は、有効領域から読み出した有効画像を分割処理するとともに、先に記憶しておいた補正値を用いた補正処理を行う。
【００２４】
図４は、第１の実施形態において、ＬＶモードでＬＶ画像の読み出しが行われている時に、静止画像の撮影指示が入力されて静止画像の読み出しが行われる場合の、それぞれの読み出し期間を示したタイミングチャートである。また、図５は、本実施形態の図４に示したタイミングチャートに対する比較例として、一般的なデジタルカメラのＬＶモード時におけるＬＶ画像の読み出し期間と静止画像の読み出し期間を示したタイミングチャートである。図４に示した本実施形態に係る読み出し期間のタイミングチャートについて説明する前に、図５に示した一般的なデジタルカメラの読み出し期間のタイミングチャートについて説明する。
【００２５】
図５の例において、ＬＶ画像は、水平方向の画素数が２５６０画素で、垂直方向のライン数が１２８０ラインとなされた画像である。ＬＶ画像の各フレームは、３０ｆｐｓ（フレーム／秒）で撮像センサから読み出されている。３０ｆｐｓにおける１フレーム分の時間である３３．３３ｍｓから、ＬＶ画像の読み出し期間（ＬＶ読み出し期間）を引いた残りの時間は、ブランキング期間となる。ＬＶ画像は３０ｆｐｓで繰り返し読み出されて表示されることによりＬＶ表示が行われる。そして、ユーザから静止画取得の指示（静止画の撮影指示）が入力されると、デジタルカメラは、撮像センサから、水平方向の画素数が５１２０画素で、垂直方向のライン数が３８４０ラインの画像を静止画像として読み出す。このときの静止画像には、水平方向の画素数が１２８画素分のＨＯＢ領域と、垂直方向ライン数が１００ライン分のＶＯＢ領域とが含まれている。そして、デジタルカメラは、ＶＯＢ領域から読み出された信号を基に生成した補正値を用いて、静止画像内の有効画像に補正処理を行う。
【００２６】
本実施形態に係る図４の例において、図５と同様に、ＬＶ画像は水平方向の画素数が２５６０画素で、垂直方向のライン数が１２８０ラインであり、ＬＶ画像の各フレームは３０ｆｐｓで読み出される。また、図５と同様に、３３．３３ｍｓからＬＶ読み出し期間を引いた残りの時間は、ブランキング期間である。また、センサ１０２は、水平方向の画素数が１２８画素分のＨＯＢ領域と、垂直方向ライン数が１００ライン分のＶＯＢ領域とを含んでいる。したがって、有効領域は、水平方向の画素数が４９９２画素で、垂直方向のライン数が３７４０ラインの領域である。
【００２７】
ここで本実施形態の場合、センサ制御部１０７は、ＬＶモード時のＬＶ読み出し期間後のブランキング期間において、センサ１０２からＨＯＢ領域とＶＯＢ領域の信号のみを読み出させる。図４には、ＬＶモード時のブランキング期間内で、ＨＯＢ領域とＶＯＢ領域の信号のみを読み出す期間を、ＯＢ読み出し期間として示している。なお、ＯＢ領域は遮光領域であり、ＯＢ領域の信号は例えば絞り値や露光時間に依存しない信号であるため、有効画像を読み出す場合に比べて短期間で信号を読み出すことが可能である。すなわち、ＨＯＢ領域とＶＯＢ領域の信号は、ブランキング期間と比べても十分に短い、ＯＢ読み出し期間内で読み出すことができる。
【００２８】
例えば図３（Ｂ）のように、センサ１０２がＶＯＢ領域の隣接１０ラインの同時読み出しが可能である場合、センサ制御部１０７は、センサ１０２から読み出し線Ａ〜読み出し線Ｊにより１０ライン同時の読み出しを行わせる。なお、図３（Ｂ）で説明したように、センサ１０２のＶＯＢ領域から同時に読み出される１０ラインは、それぞれ読み出し特性が異なる。このため、信号処理部１１０は、同時読み出しされた１０ラインごとの信号を加算平均して、１０ラインごとに静止画補正用の補正値を取得する。図３（Ｂ）の例のようにＶＯＢ領域が１００ライン分である場合、１０ライン同時読み出しは１０回行われるため、一つのブランキング期間につき、１０ライン分に相当する補正値が求められることになる。ただし、図３（Ｂ）でも説明したように、ＶＯＢ領域のライン総数に対して、同時読み出しのライン数が多いと、平均値（補正値）を求める際の母数が相対的に減って、補正値の精度が低下することがある。また、ＶＯＢ領域のライン総数を増やすことは、センサコストの上昇を招くため好ましくない。
【００２９】
このため、本実施形態の撮像装置は、ＬＶモード時の複数フレームのブランキング期間ごとに、センサ１０２からＶＯＢ領域の信号のみを読み出して補正値を生成することで補正精度を高める。すなわち撮像装置は、ＬＶモード時の複数フレームのそれぞれのブランキング期間において、ＶＯＢ領域から１０ライン同時読み出しを１０回行って、前述同様に累積加算して１０ライン分相当の補正値を算出する。したがって、ＬＶモード時に例えば５フレームのブランキング期間のそれぞれで１０ライン分相当の補正値を算出した場合、５×１０で合計５０ライン分相当の補正値が得られることになる。この５０ライン分相当の補正値の補正精度は、前述した図３（Ａ）で説明した２ライン同時読み出しで得られる５０ライン分相当の補正値と同等の補正精度となる。
【００３０】
このように本実施形態の撮像装置は、ＶＯＤ領域から複数ラインの同時読み出しを行う一方でＶＯＢ領域の総ライン数を多くとれない場合、複数フレームの各ブランキング期間にＶＯＢ領域から信号を取得して補正値を求める。前述の説明では、ＶＯＢ領域について説明したが、ＨＯＢ領域からも同様にＬＶモード時の複数フレームのブランキング期間で信号を読み出して累積加算することで補正値を取得する。これにより得られた補正値は補正精度の良い補正値となり、その補正値を用いた補正処理を行うことで、高品位の静止画像の取得が可能となる。
【００３１】
なお、例えばＬＶモード時のブランキング期間が極端に短く、ＯＢ領域から信号を読み出す時間がない撮影モードが存在する場合は、それ以前に予め取得して記憶しておいた補正値で有効画像を補正する。また例えば、精度良く補正するために必要となる複数フレーム分のＯＢ領域の信号を取得する前に、ユーザから静止画像の取得指示（静止画像の撮影指示）がなされた場合にも、それ以前に予め取得して記憶しておいた補正値で有効画像を補正する。本実施形態では、例えば５フレーム以上のフレーム数で補正値が取得済みであれば、補正精度として問題ないものとする。
【００３２】
また本実施形態の場合、ユーザから静止画像の取得指示がなされて有効画像を読み出す際には、ＨＯＢ領域とＶＯＢ領域からの信号読み出しは行わない。すなわち本実施形態の場合、静止画像を分割処理する際に、ＯＢ領域の分割領域を考慮する必要がないため、処理が複雑にならず、簡易な制御で分割処理ができる。例えば、前述の図２（Ｂ）に挙げた有効領域を４分割する例の場合には、ＯＢ領域の分割も考慮した９分割の画像に対する補正処理が行われる。これに対し、本実施形態の場合は、ＯＢ領域について考慮する必要がないため、補正処理は、有効領域を４分割した画像に対する処理でよく、処理と構成の簡易化が可能である。ＯＢ領域については、ＬＶ画像のブランキング期間中に取得したＨＯＢ領域とＶＯＢ領域の信号について、水平方向２分割で垂直方向２分割の４分割した領域の信号ごとに累積加算平均して補正値を求めて記憶させておく。これにより、静止画像の読み出し時にＯＢ領域の読み出しを行わなくても、分割された有効画像の補正が可能である。
【００３３】
図６は、本実施形態の撮像装置において、前述したようにＬＶモード時のブランキング期間でＯＢ領域から読み出された信号と、静止画像の取得指示に応じて有効領域から読み出された信号の流れを説明する図である。図６には、図１に示した、センサ１０２、Ａ／Ｄ変換回路１０３、センサ制御部１０７、撮像処理部１４０、転送制御部１２０、ＤＲＡＭ１３０、および信号処理部１１０のみを示している。なお、図６中に点線で示された部分は、ＯＢ領域（ＨＯＢ領域及びＶＯＢ領域）と有効領域から読み出された信号が、センサ１０２から信号処理部１１０へ至るまでの間に処理される様子を模式的に表している。
【００３４】
センサ制御部１０７は、ＬＶモード時のブランキング期間において、センサ１０２に対し、ＯＢ領域のみで１０ライン同時読み出しを行う。ＯＢ領域から読み出された信号は、Ａ／Ｄ変換回路１０３を介して撮像処理部１４０へ入力される。そして、有効領域から読み出された信号は、Ａ／Ｄ変換回路１０３を介して撮像処理部１４０へ入力される。
撮像処理部１４０は、同時読み出しされた信号を１ライン並びの信号に並べ替えて転送制御部１２０に送る。
【００３５】
転送制御部１２０は、切り替え部６００、ＷＤＭＡＣ６０１、およびＲＤＭＡＣ６０２を有する。ＷＤＭＡＣ６０１は、ＤＲＡＭ１３０への書き込みを制御するコントローラ（ＷＤＭＡＣ：Write Direct Memory Access Controller）である。ＲＤＭＡＣ６０２は、ＤＲＡＭ１３０からの読み出しを制御するコントローラ（ＲＤＭＡＣ：Read Direct Memory Access Controller）である。
【００３６】
切り替え部６００は、撮像処理部１４０で１ライン並びの信号に並べ替えられて入力されたＯＢ領域の信号を、ＣＰＵ１０４からの指示に応じて、信号処理部１１０へ出力する。
信号処理部１１０は、ＶＯＢ領域を水平方向に２分割し、ＨＯＢ領域を垂直方向に２分割した４分割の分割領域ごとに、信号の累積加算平均を行って補正値を求め、その求めた補正値を記憶する。
【００３７】
またセンサ制御部１０７は、静止画像の読み出し時には、センサ１０２から、有効領域のみで１０ライン同時読み出しを行う。有効領域から読み出された信号は、Ａ／Ｄ変換回路１０３を介して撮像処理部１４０へ入力される。撮像処理部１４０は、同時読み出しされた信号を１ライン並びの信号に並べ替えて転送制御部１２０に送る。
【００３８】
この時の転送制御部１２０の切り替え部６００は、撮像処理部１４０で１ライン並びの信号に並べ替えられて入力された有効画像の信号を、ＣＰＵ１０４からの指示に応じて、ＷＤＭＡＣ６０１へ出力する。ＷＤＭＡＣ６０１は、入力された有効画像の信号をＤＲＡＭ１３０へ書き込む。そして、ＷＤＭＡＣ６０１による有効画像の書き込みが完了すると、ＲＤＭＡＣ６０２は、ＤＲＡＭ１３０から有効画像の信号を読み出して切り替え部６００へ出力する。
【００３９】
ここで、ＲＤＭＡＣ６０２は、ＤＲＡＭ１３０へアクセスするアドレスを途中でオフセットジャンプさせ、水平方向２分割と垂直方向２分割とで４分割された矩形の分割領域ごとに有効画像の信号を読み出す。本実施形態のＲＤＭＡＣ６０２は、所定の信号量を読み出す度に、オフセットＯＳ１〜オフセットＯＳ３だけＤＲＡＭアドレスをジャンプさせて有効画像を読み出すことで、有効画像を４分割した分割領域ごとの画像を読み出す。
【００４０】
このように読み出された有効画像の信号は、切り替え部６００を介して、信号処理部１１０へ出力される。そして、信号処理部１１０は、有効画像を水平方向２分割と垂直方向２分割とで４分割された分割領域の信号に対して、先に４分割ごとに記憶した補正値を用いた補正処理を行う。
【００４１】
図７は、ＤＲＡＭ１３０に対してアドレスをオフセットジャンプさせてアクセスするＲＤＭＡＣ６０２におけるアドレス生成部の構成例を示した図である。
転送量カウンタ７０１は、ＣＰＵ１０４によって、総データ転送量、ＯＳ１データ転送量、ＯＳ２データ転送量、およびＯＳ３データ転送量が設定されている。転送量カウンタ７０１は、入力された信号のデータ量をカウントする。また、転送量カウンタ７０１は、１回のアクセスでＤＲＡＭ１３０へ転送可能なデータ転送量の値を算出器７０２に出力している。転送量カウンタ７０１は、カウントしているデータ転送量がＯＳ１データ転送量に到達した場合、ＯＳ１タイミングを算出器７０２に報知する。また、転送量カウンタ７０１は、カウントしたデータ転送量がＯＳ２データ転送量に到達した場合にはＯＳ２タイミングを算出器７０２に報知する。同様に、転送量カウンタ７０１は、カウントしたデータ転送量がＯＳ３データ転送量に到達した場合にはＯＳ３タイミングを算出器７０２に報知する。
【００４２】
算出器７０２には、ＣＰＵ１０４によってＯＳ１ジャンプ値が設定されている。算出器７０２は、転送量カウンタ７０１から、ＯＳ１タイミング〜ＯＳ３タイミングが報知されずにデータ転送量の値が出力された場合、そのデータ転送量の値をアドレス加算値としてアドレスカウンタ７０３に出力する。一方、算出器７０２は、転送量カウンタ７０１からＯＳ１タイミングが報知された場合、データ転送量の値にＯＳ１ジャンプ値を加算した値をアドレス加算値としてアドレスカウンタ７０３に出力する。また、算出器７０２は、転送量カウンタ７０１からＯＳ２タイミングが報知された場合、データ転送量の値にＯＳ２ジャンプ値を加算した値をアドレス加算値としてアドレスカウンタ７０３に出力する。同様に、算出器７０２は、転送量カウンタ７０１からＯＳ３タイミングが報知された場合、データ転送量の値にＯＳ３ジャンプ値を加算した値をアドレス加算値としてアドレスカウンタ７０３に出力する。
【００４３】
アドレスカウンタ７０３は、ＣＰＵ１０４によって、ＤＲＡＭ１３０のスタートアドレスが設定されている。アドレスカウンタ７０３は、算出器７０２からアドレス加算値が出力されると、スタートアドレスにアドレス加算値を累積加算して、アドレスとしてＤＲＡＭ１３０に出力する。
その後、転送量カウンタ７０１は、カウントしているデータ転送量が総データ転送量に到達したら、データ転送完了をＣＰＵ１０４に通知する。
【００４４】
図８は、信号処理部１１０に含まれる構成の一つである、補正処理部の構成例を示した図である。補正処理部は、ＯＢ領域の信号から補正値を生成し、その補正値を用いて有効画像を補正する。
補正値算出部８０１は、ＯＢ領域の信号から補正値を算出する。補正値算出部８０１には、ＣＰＵ１０４によって、画像分割数、および、ＨＯＢ領域とＶＯＢ領域と有効領域のそれぞれの水平方向および垂直方向のサイズの値が設定されている。センサ１０２からＯＢ領域のみの信号が読み出される場合、有効領域の水平方向と垂直方向のサイズの値はゼロに設定される。センサ１０２から有効画像のみが読み出される場合、ＨＯＢ領域とＶＯＢ領域のそれぞれの水平方向と垂直方向のサイズの値はゼロに設定される。
【００４５】
補正値算出部８０１は、入力された信号、およびＣＰＵ１０４により設定された各値に基づいて、水平方向２分割と垂直方向２分割とで４分割されたＯＢ領域を認識し、それら分割領域ごとに信号を加算平均して補正値を算出する。そして、補正値算出部８０１は、その算出した補正値を補正値記憶部８０２へ出力する。
【００４６】
補正値記憶部８０２は、ＣＰＵ１０４により設定された画像分割数、ＨＯＢ領域とＶＯＢ領域と有効領域のそれぞれの水平方向および垂直方向のサイズの値に基づいて、ＳＲＡＭ８０３にアクセスする際のアドレスを算出する。そして、補正値記憶部８０２は、補正値算出部８０１から出力された補正値を、その算出したアドレスを用いてＳＲＡＭ８０３に格納する。フレームごとに生成した補正値を累計加算平均して補正値を求める場合、補正値記憶部８０２は、ＳＲＡＭ８０３内の前フレームの補正値と、補正値算出部８０１が算出した現フレームの補正値とから、新しい補正値を算出する。そして補正値記憶部８０２は、その新しい補正値をＳＲＡＭ８０３に格納する。また、累計加算平均を行わずにフレームごとに補正値を記憶する場合、ＣＰＵ１０４は、補正値記憶部８０２にリセットを指示する。
【００４７】
また、補正値記憶部８０２は、予め算出された補正値をＲＯＭ８０４に記憶しており、ＣＰＵ１０４からの補正値選択指示に基づいて、ＳＲＡＭ８０３、ＲＯＭ８０４どちらの補正値を使用するか選択する。このＲＯＭ８０４に記憶される補正値は、本実施形態の撮像装置の出荷時において、センサ１０２に応じて撮影モード毎に記憶される固定値であり、当該出荷後には変更されることはない値である。本実施形態において、ＬＶモード時のブランキング期間が極端に短く、ＯＢ領域の信号を読み出す時間がない撮影モードが存在する場合には、ＲＯＭ８０４に記憶された補正値を用いた補正が行われる。また、精度良く補正するために必要な複数フレーム分のＯＢ領域から信号を取得する前にユーザから静止画像の取得指示がなされた場合にも、ＲＯＭ８０４に格納されている補正値を用いた補正が行われる。なお本実施形態では、補正精度が十分と判断される補正値は、５フレーム以上のフレーム数で取得された補正値であるため、５フレーム以上による補正値が取得済みであれば、ＲＯＭ８０４の補正値は用いられない。
【００４８】
補正部８０５は、有効画像に対する補正処理を行う。補正部８０５は、ＣＰＵ１０４により設定された画像分割数と、ＨＯＢ領域とＶＯＢ領域と有効画像のぞれぞれの水平方向及び垂直方向のサイズとに基づいて、補正値記憶部８０２から出力される補正値で有効画像を補正する。補正処理は、例えば有効領域から読み出した有効画像の黒レベルを補正する処理などが挙げられる。
【００４９】
図９は、第１の実施形態に係る撮像装置おいて、ＬＶモードでＬＶ画像が表示され、静止画像の撮影開始指示で静止画像を行って、その後に補正が行われるまでの画像処理のフローチャートである。
まずステップＳ９０１において、ＣＰＵ１０４は、ユーザから撮像装置をＬＶモードで起動する指示がなされたかどうかを判定している。そして、ＬＶモードでの起動指示がなされたと判定すると、ＣＰＵ１０４は、ステップＳ９０２に処理を進める。
【００５０】
ステップＳ９０２において、ＣＰＵ１０４は、ＬＶモードでセンサ１０２から信号を読み出すようにセンサ制御部１０７を設定する。
次にステップＳ９０３において、ＣＰＵ１０４は、ユーザから設定される撮影モードに基づき、ブランキング期間の数が所定数以上になるかどうかを判定する。つまり、ステップＳ９０３において、ＣＰＵ１０４は、ＯＢ領域を読み出せるブランキング期間が所定数以上存在するかどうかを判定する。そして、ＣＰＵ１０４は、ブランキング期間の数が所定数以上である場合にはステップＳ９０４に処理を進め、一方ブランキング期間の数が所定数未満である場合にはステップＳ９０５に処理を進める。なお本実施形態の場合、所定数は、補正精度を確保できる５フレーム分に対応した５である。
【００５１】
ブランキング期間の数が所定数未満であるためステップＳ９０５に進むと、ＣＰＵ１０４は、ＲＯＭ８０４に記憶されている補正値を選択して有効画像を補正するよう信号処理部１１０を設定する。このステップＳ９０５の後、ＣＰＵ１０４は、ステップＳ９０９に処理を進める。
一方、ブランキング期間の数が所定数以上であるためステップＳ９０４に進むと、ＣＰＵ１０４は、センサ１０２からＯＢ領域のみの信号を取得するような設定を、転送制御部１２０および信号処理部１１０に対して行う。このステップＳ９０４の後、ＣＰＵ１０４は、ステップＳ９０６に処理を進める。
【００５２】
ステップＳ９０６に進むと、ＣＰＵ１０４は、ユーザによって撮影モードの設定が変更されたか判定する。そして、ＣＰＵ１０４は、撮影モードの設定が変更された場合にはステップＳ９０７に処理を進め、一方、撮影モードの設定が変更されていない場合にはステップＳ９０８に処理を進める。
【００５３】
ステップＳ９０７の処理に進むと、ＣＰＵ１０４は、信号処理部１１０に対し、ＳＲＡＭ８０３に記憶している補正値のリセットを行う。すなわちＣＰＵ１０４は、撮影モードの設定が変更された場合には変更前に取得した補正値を使用することができないため、補正値をリセットさせる。このステップＳ９０７の後、ＣＰＵ１０４は、ステップＳ９０８に処理を進める。
【００５４】
ステップＳ９０８に進むと、ＣＰＵ１０４は、ブランキング期間中に、センサ１０２からＯＢ領域のみの読み出しを行うように、センサ制御部１０７に指示する。
次にステップＳ９０９において、ＣＰＵ１０４は、ユーザから静止画像の撮影開始が指示されたかどうかを判定する。ＣＰＵ１０４は、静止画像の撮影開始指示がなされていない場合にはステップＳ９０２に処理を戻し、再度ＬＶモードでの読み出しを行わせる。そしてステップＳ９０３においてブランキング期間の数が所定数以上であれば、ブランキング期間中にＯＢ領域の信号を読み出すことが複数フレームにおいて繰り返される。これにより、それら複数フレームでＯＢ領域から得られた信号の累計加算平均により補正値が算出される。一方、ユーザから静止画像の撮影開始が指示された場合、ＣＰＵ１０４は、ステップＳ９１０に処理を進める。
【００５５】
ステップＳ９１０に進むと、ＣＰＵ１０４は、転送制御部１２０および信号処理部１１０に対し、有効画像のみを取得するモードを設定する。
次にステップＳ９１１において、ＣＰＵ１０４は、良好な補正精度を得るのに必要なフレーム数の補正値を取得済みであるか判定する。本実施形態の場合、ＣＰＵ１０４は、１０ライン同時読み出しが行われる場合には５フレーム以上のフレーム数で補正値を取得済みであれば、補正精度として問題ないと判定する。そして、ＣＰＵ１０４は、必要なフレーム数の補正値を取得済みであると判定した場合にはステップＳ９１３に処理を進め、一方、必要なフレーム数の補正値が取得されていないと判定した場合にはステップＳ９１２に処理を進める。
【００５６】
ステップＳ９１２に進むと、ＣＰＵ１０４は、ＲＯＭ８０４に記憶した補正値を選択して有効画像を補正するよう信号処理部１１０に指示する。ステップＳ９１２の後、ＣＰＵ１０４は、ステップＳ９１３に処理を進める。
ステップＳ９１３に進むと，ＣＰＵ１０４は、センサ１０２から有効画像のみを読み出すようにセンサ制御部１０７に指示する。
【００５７】
次にステップＳ９１４において、信号処理部１１０は、ＲＯＭ８０４から読み出した補正値で補正する設定（Ｓ９０５、Ｓ９１２）がされていなければ、ブランキング期間中にＯＢ領域から読み出した信号から生成した補正値で有効画像を補正する。一方、信号処理部１１０は、ＲＯＭ８０４から読み出した補正値で補正する設定（Ｓ９０５、Ｓ９１２）になっている場合には、ＲＯＭ８０４から読み出した補正値で有効画像を補正する。
【００５８】
その後、ステップＳ６１５において、ＣＰＵ１０４は、ユーザから動作停止を指示がなされたかどうかを判定する。そして、動作停止の指示がなされたと判定した場合には図９のフローチャートの処理を停止する。一方、ユーザから動作提示の指示がなされていない場合、ＣＰＵ１０４は、ステップＳ９０２に処理を戻し、ＬＶモードによるセンサ読み出し（Ｓ９０２）以降の処理を繰り返す。
【００５９】
以上説明したように、第１の実施形態の撮像装置は、ＬＶモード時のブランキング期間中に、補正精度を確保するのに必要なフレーム数分のＯＢ領域から生成した補正値を用いて有効画像を補正する。このため、本実施形態の撮像装置によれば、補正精度を確保した補正処理が可能となる。また、本実施形態の撮像装置は、静止画像の撮影開始が指示されて静止画像を取得する際には、有効領域のみから読み出しを行い、ＯＢ領域の読み出しは行わない。このため、本実施形態によれば、簡易な処理および構成で有効画像に対する分割処理を行うことができ、また補正処理を行うことができる。
【００６０】
なお本実施形態では、ＬＶモード時のブランキング期間中にＯＢ領域から信号を取得する期間を確保できない撮影モードの場合には、ＲＯＭ８０４に記憶した補正値を選択して有効画像を補正するが、他の方法で補正しても良い。例えば、ＬＶモード時のブランキング期間を確保できない場合、次の１フレーム分は読み出さずにその間にＯＢ領域の信号を取得してもよい。その場合、表示部１０５は、同じＬＶ画像を２フレーム分続けて表示することで、ＬＶ画像の表示が途切れるのを防ぐようにする。
【００６１】
また、撮像装置は、起動時や、ユーザから指示されたタイミングでＯＢ領域の信号を取得して補正値を求めるキャリブレーション機能を有していてもよい。例えば、ＬＶモード時のブランキング期間を確保できない場合、撮像装置は、キャリブレーション時に求めた補正値を用いて補正を行うようにしてもよい。
また、本実施形態では、補正精度を確保するのに必要なフレーム数を取得できていなければ、ＲＯＭ８０４に記憶した補正値を選択して有効画像を補正したが、他の方法で補正してもよい。例えば、必要フレーム数を取得できていない場合、撮像装置は、前述したキャリブレーション機能で求めた補正値を用いた補正するようにしてもよい。
【００６２】
また、本実施形態では、ＯＢ領域の信号を基に補正値を求めたが、ＯＢ領域の信号からは他の値を求めてもよく、その値は、必ずしも有効画像を補正するためのものでなくてもよい。
また、本実施形態では、静止画像を水平方向２分割で垂直方向２分割の４分割処理したが、他の分割数でもよい。また、ＬＶ画像、静止画像のサイズ、およびフレームレートは、他の値でもよい。また、本実施形態では、センサ１０２から１０ライン同時読み出しを行い、補正精度の確保に必要なフレーム数を５フレームとしたが、他の複数ライン同時読み出しでも良く、補正精度の確保に必要なフレーム数も他の複数フレーム数でもよい。
【００６３】
＜第２の実施形態＞
次に第２の実施形態を説明する。
第２の実施形態に係る撮像装置の構成、センサ１０２から信号処理部１１０までの信号の流れ、ＲＤＭＡＣのアドレス生成部の構成、および補正処理部の構成等は第１の実施形態と同様であるためその図示と説明は省略する。第２の実施形態の場合、ＬＶモード時の信号読み出しのタイミングチャート及び処理の流れが、第１の実施形態の例とは異なる。第１の実施形態では、ＬＶモード時の各フレームのブランキング期間ごとにＯＢ領域から信号を読み出したが、第２の実施形態の場合、補正精度の確保に必要なフレーム数のブランキング期間のみでＯＢ領域の信号が読み出される。第２の実施形態では、補正精度の確保に必要なフレーム数のブランキング期間のみでＯＢ領域の信号が読み出されることにより、第１の実施形態の例よりも消費電力の削減が可能となる。
【００６４】
図１０は、第２の実施形態において、ＬＶモードでＬＶ画像の読み出しが行われている時に、静止画像の撮影指示が入力されて静止画像の読み出しが行われる場合の、それぞれの読み出し期間を示したタイミングチャートである。ＬＶ画像と静止画像の画像サイズ、読み出し時のフレームレート、ＨＯＢ領域のサイズ、及びＶＯＢ領域のサイズは、前述した図４の例と同様である。また、センサ１０２は、第１の実施形態と同様に、１０ラインの同時に読み出し可能である。
【００６５】
図１０において、ＳＷ１タイミングは、ユーザにより静止画撮影スイッチが所定の第１の操作状態になされたタイミング、すなわち例えば静止画撮影スイッチであるレリーズボタンがいわゆる半押しされたタイミングである。撮像装置は、ＳＷ１タイミングで、オートフォーカス等の処理を行っている。ＳＷ２タイミングは、ユーザにより静止画撮影スイッチが所定の第２の操作状態になされたタイミング、例えばレリーズボタンがいわゆる全押しされたタイミングである。撮像装置は、このＳＷ２タイミングでセンサ１０２の有効領域から静止画像を読み出す。
【００６６】
第２の実施形態の場合、撮像装置は、ＬＶモード時において静止画撮影スイッチが半押しされるＳＷ１タイミング前のブランキング期間中には、ＯＢ領域の信号を読み出さない。本実施形態の撮像装置は、静止画撮影スイッチが半押しされたＳＷ１タイミング後のブランキング期間中に、ＯＢ領域のみから信号を読み出す。また本実施形態の場合、撮像装置は、ＳＷ１タイミングの後、補正精度の確保に必要なフレーム数として予め決めた５フレーム分の各ブランキング期間でのみ、ＯＢ領域からの信号読み出しを行う。さらに撮像装置は、補正精度の確保に必要な５フレーム分の各ブランキング期間でＯＢ領域から信号読み出しを行った後には、ブランキング期間におけるＯＢ領域からの信号読み出しを行わないようにする。そして、撮像装置は、静止画撮影スイッチが全押しされたＳＷ２タイミングで、センサ１０２の有効領域から静止画像を読み出す。この静止画像に対する補正処理の方法は、前述した第１の実施形態と同様である。なお、補正精度の確保に必要な５フレーム分に対応したＯＢ領域の信号読み出し前に、静止画撮影スイッチが全押しされてＳＷ２タイミングが発生することもある。この場合、撮像装置は、ＲＯＭ８０４に記憶している補正値を用いた補正処理を行う。
【００６７】
図１１は、第２の実施形態に係る撮像装置おいて、ＬＶモードでＬＶ画像が表示され、静止画像の撮影開始指示で静止画像を行って、その後に補正が行われるまでの画像処理のフローチャートである。
まずステップＳ１１０１において、ＣＰＵ１０４は、ユーザから撮像装置をＬＶモードで起動する指示がなされたかどうかを判定している。そして、ＬＶモードでの起動指示がなされたと判定すると、ＣＰＵ１０４は、ステップＳ１１０２に処理を進める。
そしてステップＳ１１０２において、ＣＰＵ１０４は、ＬＶモードでセンサ１０２から信号を読み出すようにセンサ制御部１０７を設定する。
【００６８】
次にステップＳ１１０３において、ＣＰＵ１０４は、ユーザにより静止画撮影スイッチが半押しされたかどうか、つまり図１０に示したＳＷ１タイミングが発生したかどうかを判定する。ＣＰＵ１０４は、静止画撮影スイッチが半押しされていない（ＳＷ１タイミングが発生していない）と判定した場合にはステップＳ１１０２に処理を戻して、ＬＶモード時におけるセンサ１０２からの信号読み出し処理を続ける。一方、ＣＰＵ１０４は、静止画撮影スイッチが半押しされた（ＳＷ１タイミングが発生した）と判定した場合にはステップＳ１１０４に処理を進める。
【００６９】
ステップＳ１１０４に進むと、ＣＰＵ１０４は、ユーザにより設定されている撮影モードの下で、ＳＷ１タイミング後のブランキング期間の数が所定数以上存在するかを判定する。つまりＣＰＵ１０４は、ＳＷ１タイミング後、ＯＢ領域の信号を読み出せるブランキング期間が所定数以上（本実施形態では５フレーム分以上）存在するかを判定する。そしてＣＰＵ１０４は、ＳＷ１タイミング後のブランキング期間の数が所定数以上存在すると判定した場合にはステップＳ１１０５に処理を進める。一方、ＣＰＵ１０４は、所定数未満であると判定した場合にはステップＳ１１０６に処理を進める。
【００７０】
ステップＳ１１０６に進んだ場合、ＣＰＵ１０４は、ＲＯＭ８０４に記憶している補正値を用いて有効画像の補正処理を行うように、信号処理部１１０を設定する。このステップＳ１１０６の後、ＣＰＵ１０４は、後述するステップＳ１１１１に処理を進める。
一方、ステップＳ１１０５に進んだ場合、ＣＰＵ１０４は、ブランキング期間においてＯＢ領域の信号のみを読み出すようにセンサ制御部１０７を設定する。また、ＣＰＵ１０４は、ＯＢ領域から読み出された信号が信号処理部１１０に入力されるように転送制御部１２０を設定し、そのＯＢ領域の信号から補正値を生成するように信号処理部１１０を設定する。このステップＳ１１０５の後、ＣＰＵ１０４は、ステップＳ１１０７に処理を進める。
【００７１】
ステップＳ１１０７に進むと、ＣＰＵ１０４は、ユーザによって撮影モードの設定が変更されたか判定する。そして、そして、ＣＰＵ１０４は、撮影モードの設定が変更された場合にはステップＳ１１０８に処理を進め、一方、撮影モードの設定が変更されていない場合にはステップＳ１１０９に処理を進める。
【００７２】
ステップＳ１１０８の処理に進むと、ＣＰＵ１０４は、信号処理部１１０に対し、ＳＲＡＭ８０３に記憶している補正値のリセットを行う。つまりＣＰＵ１０４は、撮影モードの設定が変更された場合には変更前に取得した補正値を使用することができないため、補正値をリセットさせる。このステップＳ１１０８の後、ＣＰＵ１０４は、ステップＳ１１０９に処理を進める。
【００７３】
ステップＳ１１０９に進むと、ＣＰＵ１０４は、補正精度を確保するのに必要なフレーム数分の補正値が取得済みであるかを判定する。本実施形態の場合、ＣＰＵ１０４は、１０ライン同時読み出しで５フレーム以上の各フレームのブランキング期間にＯＢ領域から取得した信号から生成された補正値が取得済みであるかを判定する。そして、ＣＰＵ１０４は、補正精度を確保するのに必要なフレーム数分の補正値が取得済みであると判定した場合には、補正精度を確保できると判断して、ステップＳ１１１１に処理を進める。一方、ＣＰＵ１０４は、補正精度確保のための必要フレーム数分の補正値が取得済みでないと判定した場合には、ステップＳ１１１０に処理を進める。
【００７４】
ステップＳ１１１０に進むと、ＣＰＵ１０４は、ブランキング期間中に、センサ１０２からＯＢ領域のみで信号を読み出すようにセンサ制御部１０７に指示する。このステップＳ１１１０の後、ＣＰＵ１０４は、ステップＳ１１１１に処理を進める。
【００７５】
ステップＳ１１１１に進むと、ＣＰＵ１０４は、ユーザにより静止画撮影スイッチが全押しされたかどうか、つまり図１０に示したＳＷ２タイミングが発生したかどうかを判定する。ＣＰＵ１０４は、静止画撮影スイッチが全押しされていない（ＳＷ２タイミングが発生していない）と判定した場合にはステップＳ１１０２に処理を戻し、ステップＳ１１０２からステップＳ１１１１までの処理が再度行われる。そして、ステップＳ１１０４でブランキング期間の数が所定数以上であれば、ステップＳ１１０９で補正精度の確保に必要なフレーム数分の補正値が取得済みとなるまで、ステップＳ１１１０でＯＢ領域からの信号読み出しが行われる。これにより、信号処理部１１０では、複数フレームのブランキング期間ごとに読み出されたＯＢ領域の信号を累計加算平均した補正値が算出されることになる。
【００７６】
一方、ステップＳ１１１１において、静止画撮影スイッチが全押しされた（ＳＷ２タイミングが発生した）と判定した場合、ＣＰＵ１０４は、ステップＳ１１１２に処理を進める。
ステップＳ１１１２に進むと、ＣＰＵ１０４は、転送制御部１２０および信号処理部１１０に対し、有効画像のみを取得するモードを設定する。このステップＳ１１１２の後、ＣＰＵ１０４は、ステップＳ１１１３に処理を進める。
【００７７】
ステップＳ１１１３に進むと、ＣＰＵ１０４は、良好な補正精度を得るのに必要なフレーム数の補正値が取得済みであるか判定する。ＣＰＵ１０４は、１０ライン同時読み出しが行われる場合には５フレーム以上のフレーム数で補正値を取得済みであれば、補正精度として問題ないと判定する。そして、ＣＰＵ１０４は、必要なフレーム数の補正値を取得済みであると判定した場合にはステップＳ１１１５に処理を進め、一方、必要なフレーム数の補正値が取得されていないと判定した場合にはステップＳ１１１４に処理を進める。
【００７８】
ステップＳ１１１４に進むと、ＣＰＵ１０４は、ＲＯＭ８０４に記憶した補正値を選択して有効画像を補正するよう信号処理部１１０に指示する。ステップＳ１１１４の後、ＣＰＵ１０４は、ステップＳ１１１５に処理を進める。
ステップＳ１１１５に進むと，ＣＰＵ１０４は、センサ１０２から有効画像のみを読み出すようにセンサ制御部１０７に指示する。
【００７９】
ステップＳ１１１６に進むと、信号処理部１１０は、ＲＯＭ８０４から読み出した補正値で補正する設定（Ｓ１１０６、Ｓ１１１４）でなければ、ブランキング期間中にＯＢ領域から得た信号に基づく補正値で有効画像を補正する。一方、信号処理部１１０は、ＲＯＭ８０４から読み出した補正値で補正する設定（Ｓ１１０６、Ｓ１１１４）になっている場合には、ＲＯＭ８０４から読み出した補正値で有効画像を補正する。
【００８０】
その後、ステップＳ１１１７において、ＣＰＵ１０４は、ユーザから動作停止を指示がなされたかどうかを判定する。そして、動作停止の指示がなされたと判定した場合には図１１のフローチャートの処理を停止する。一方、ユーザから動作提示の指示がなされていない場合、ＣＰＵ１０４は、ステップＳ１１０２に処理を戻し、ＬＶモードによるセンサ読み出し（Ｓ１１０２）以降の処理を繰り返す。
【００８１】
以上説明したように、第２の実施形態によれば、補正精度に必要なフレーム数のブランキング期間のみでＯＢ領域から取得した信号に基づいて補正処理を行う。このため、第２の実施形態の撮像装置は、毎フレームのブランキング期間のＯＢ領域から信号を読み出す第１実施形態の撮像装置よりも消費電力を削減できる。
なお第２の実施形態では、静止画撮影スイッチが半押しされた時に、補正精度の確保に必要なフレーム数分のブランキング期間からＯＢ領域の信号を読み出したが、ＯＢ領域の信号読み出しは他のタイミングで行われてもよい。例えば、撮像装置の起動時に補正精度の確保に必要なフレーム数分のブランキング期間からＯＢ領域の信号読み出しを行ってもよい。この時、撮像装置の起動後にユーザが撮影モード設定を変更したら、再度、必要フレーム数分のブランキング期間からＯＢ領域の信号読み出しを行ってもよい。
【００８２】
また第２の実施形態でも前述同様、ブランキング期間中にＯＢ領域から信号を取得する時間を確保できない撮影モードが設定された場合、ＲＯＭ８０４の補正値を用いて有効画像を補正したが、他の方法で補正してもよい。例えば第１の実施形態でも述べたように、ブランキング期間を確保できない場合には、次のＬＶ画像の１フレーム分は読み出さずに、その間にＯＢ領域から信号の読み出しを行ってもよい。また第２の実施形態の撮像装置は、前述の第１の実施形態で述べたキャリブレーション機能を有していてもよい。つまり、ブランキング期間中にＯＢ領域から信号を取得できない場合や、補正精度の確保に必要なフレーム数が得られない場合、撮像装置は、キャリブレーション時に求めた補正値を用いた補正処理を行うようにしてもよい。
【００８３】
また第２の実施形態においても第１の実施形態で述べたように、ＯＢ領域の信号から他の値を求めて、有効画像を補正する用途以外に用いてもよい。また第２の実施形態において、静止画像の分割数は４分割に限定されず、ＬＶ画像、静止画像のサイズ、およびフレームレートは他の値でもよい。また、補正精度の確保に必要なフレーム数は５フレームに限定されず、同時読み出しするライン数も１０ラインに限定されない。
【００８４】
本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置だけでなく、工業用カメラ、車載カメラ、医療用カメラ、監視カメラ、カメラ機能を備えたスマートフォンやタブレット端末等にも適用可能である。
【００８５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８６】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８７】
１０１：光学部、１０２：センサ、１０４：ＣＰＵ、１０７：センサ制御部、１１０：信号処理部、１２０：転送制御部、１３０：ＣＲＡＭ、１４０：撮像処理部
【図１】
2020198557.tif 000003
【図２】
2020198557.tif 000004
【図３】
2020198557.tif 000005
【図４】
2020198557.tif 000006
【図５】
2020198557.tif 000007
【図６】
2020198557.tif 000008
【図７】
2020198557.tif 000009
【図８】
2020198557.tif 000010
【図９】
2020198557.tif 000011
【図１０】
2020198557.tif 000012
【図１１】
2020198557.tif 000013