(57)【要約】【課題】データバス上のデータが一部の期間に集中することなく、データバスを効率的に使用することができる撮像装置を提供する。【解決手段】固体撮像装置と、記憶部と、固体撮像装置から出力された入力画像データまたは記憶部に格納されている画像データに対して処理を施す撮像処理部と、固体撮像装置および撮像処理部が動作するタイミングを生成するタイミング生成部と、を備え、タイミング生成部は、固体撮像装置のタイミングを基準として処理を施す第１の動作において、固体撮像装置を駆動する第１の同期信号を生成して固体撮像装置に出力すると共に、第１の同期信号と固体撮像装置から入力された第１のクロック信号とを撮像処理部に出力し、撮像処理部の内部のタイミングを基準として処理を施す第２の動作において、生成した第２の同期信号および第２のクロック信号を撮像処理部に出力すると共に、第１の同期信号を固体撮像装置に出力しない。【選択図】図１
2015053643.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有し、結像した被写体の画像に応じた画素信号を入力画像データとして出力すると共に、該入力画像データを出力するタイミングの第１のクロック信号を出力する固体撮像装置と、
データを格納する記憶部と、
前記固体撮像装置から出力された前記入力画像データまたは前記記憶部に格納されている画像データに対して処理を施す撮像処理部と、
前記固体撮像装置および前記撮像処理部が動作するタイミングを生成するタイミング生成部と、
を備え、
前記タイミング生成部は、
前記撮像処理部が前記固体撮像装置から出力された前記入力画像データに対して該固体撮像装置のタイミングを基準として処理を施す第１の動作において、前記固体撮像装置を駆動する第１の同期信号を生成して該固体撮像装置に出力すると共に、該第１の同期信号と前記固体撮像装置から入力された第１のクロック信号とを前記撮像処理部が動作するタイミングとして該撮像処理部に出力し、
前記撮像処理部が前記記憶部に格納されている前記画像データに対して該撮像処理部の内部のタイミングを基準として処理を施す第２の動作において、生成した第２の同期信号および第２のクロック信号を前記撮像処理部が動作するタイミングとして該撮像処理部に出力すると共に、前記第１の同期信号を前記固体撮像装置に出力しない、
ことを特徴とする撮像装置。
【請求項２】
前記タイミング生成部は、
前記第１の動作において前記第１の同期信号を生成し、前記第２の動作において前記第２の同期信号を生成する同期信号生成部と、
前記第２の動作において前記第２のクロック信号を生成するクロック信号生成部と、
前記第１の動作において前記第１のクロック信号を選択して出力し、前記第２の動作において前記第２のクロック信号を選択して出力するクロック選択部と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記同期信号生成部は、
前記第１の同期信号と異なる周期の前記第２の同期信号を生成し、
前記クロック信号生成部は、
前記第１のクロック信号と異なる周波数の前記第２のクロック信号を生成する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像処理部は、
前記固体撮像装置から出力された前記入力画像データまたは前記記憶部に格納されている画像データに対して処理を施したデータを出力する処理部と、
前記処理部が出力した前記データを前記記憶部に転送するデータ転送部と、
前記記憶部に格納されている前記画像データを取得するデータ取得部と、
を備えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記処理部は、
前記固体撮像装置から入力された前記入力画像データに対して前処理を施した前処理画像データを出力する前処理部、
を備え、
前記データ転送部は、
前記前処理画像データを前記記憶部に転送する、
を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記前処理部は、
前記画像における第１の方向の前記入力画像データのデータ数よりも少ない量の前記入力画像データを保持するラインメモリを具備し、該ラインメモリが保持することができる前記入力画像データのデータ数の範囲内で分割した該画像の前記入力画像データの一部に対して前処理を施した前記前処理画像データを出力し、
前記データ転送部は、
前記前処理画像データを前記記憶部に転送する第１のデータ転送部と、
前記前処理部が前処理を施すことができなかった前記画像における第１の方向の残りの前記入力画像データを、元画像データとして前記記憶部に転送する第２のデータ転送部と、
を備え、
前記データ取得部は、
前記記憶部に格納された前記元画像データを取得し、
前記撮像処理部は、さらに、
前記固体撮像装置から入力された前記入力画像データまたは前記データ取得部が取得した前記元画像データを、前記前処理部および前記第２のデータ転送部の少なくとも一方に出力する選択部、
を備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像処理部は、
前記第１の動作において、前記前処理部が、前記ラインメモリが保持することができる前記入力画像データのデータ数の範囲内で前記画像を分割した第１の画像の前記入力画像データに対して前処理を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記前処理部が前処理を施すことができなかった該画像を分割した第２の画像の前記入力画像データを元データとして、前記第２のデータ転送部によって前記記憶部に転送し、
前記第１の動作が完了した後の前記第２の動作において、前記データ取得部が、前記記憶部に格納された前記元データを取得し、前記選択部が該元データを前記前処理部に出力し、前記前処理部が、該元データに対して前処理を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送する、
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記処理部は、さらに、
前記記憶部に格納されている前記画像データに対して処理を施した処理データを前記記憶部に転送する信号処理部、
を備えることを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記信号処理部は、
前記記憶部に格納されている前記画像データに基づいて、当該撮像装置における撮影の制御を行うための評価値を前記処理データとして生成する評価値生成部であり、
前記撮像処理部は、さらに、
前記前処理画像データまたは前記データ取得部が取得した前記画像データのいずれか一方を、前記評価値生成部に出力する選択部、
を備えることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮像処理部は、
前記第１の動作において、前記前処理部が前記入力画像データに対して前処理を施した前記前処理画像データを、前記データ転送部によって前記記憶部に転送し、
前記第１の動作が完了した後の前記第２の動作において、前記データ取得部が、前記記憶部に格納された前記前処理画像データ、または当該撮像装置に備えた他の構成要素によって画像処理が施された後の前処理画像データを取得し、前記選択部が該前処理画像データを前記評価値生成部に出力し、前記評価値生成部が、該前処理画像データに基づいて生成した評価値を、前記処理データとして前記記憶部に転送する、
ことを特徴とする請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置における撮影では、撮像装置に備えた固体撮像装置から出力されたそれぞれの画素の信号（以下、「画素信号」という）に対して、様々な処理が行われる。この処理には、固体撮像装置によって撮影した画像を形成するための処理や、撮像装置による撮影に関する制御のための処理などがある。一般的に、固体撮像装置は、画素をラスタスキャンし、画像に対して水平方向（横方向）に画素信号を順次出力する。このため、撮像装置に備えられ、固体撮像装置が出力した画素信号に対して処理を施す画像処理装置には、固体撮像装置が出力する水平方向（横方向）の画素信号を、画像処理に必要な行数分だけ一時的に記憶するラインメモリを備えている。
【０００３】
近年の撮像装置では、撮影する画像の高解像度化に伴って固体撮像装置の画素数が増加し、固体撮像装置の水平方向（横方向）の画素数も年々増加している。このため、画像処理装置では、画像処理を施す水平方向（横方向）の画素数に応じて、ラインメモリの記憶容量も増加することになる。この画像処理装置におけるラインメモリの記憶容量の増加は、撮像装置の回路規模が増大する要因となってしまう。
【０００４】
そこで、例えば、特許文献１のように、１枚の画像に対する画像処理を複数回に分けて実行する画像処理装置の技術が開示されている。特許文献１で開示された技術では、固体撮像装置から出力された画素信号を、画像処理装置の外部に備えたフレームメモリに一旦格納し、その後、処理に必要な画素信号をフレームメモリから読み出しながら、複数回の画像処理を行って１枚の画像を生成する。例えば、特許文献１で開示された技術では、図１０に示したように、１枚の画像の全体の領域を２つの領域に分割し、１回目の画像処理で一方（左側）の半分の領域に対して画像処理を行い、２回目の画像処理で他方（右側）の半分の領域に対して画像処理を行う。このように、特許文献１で開示された技術では、１枚の画像を複数のブロックに分割し、分割したブロックの数と同じ回数の画像処理を実行することによって、固体撮像装置が出力する水平方向（横方向）の画素数よりも少ないラインメモリの記憶容量で、１枚の画像を生成することができる。
【０００５】
また、例えば、特許文献２のように、画像処理された後の画像データに基づいて、撮像装置が撮影の制御をするための評価値を生成する評価値生成装置の技術が開示されている。特許文献２で開示された技術では、固体撮像装置から出力された画素信号に基づいた評価値をリアルタイムに生成すると共に、記憶部に格納（記憶）されている画像処理後の画像データを読み出して、リアルタイムに入力される画素信号以外に基づいた評価値を生成することができる。例えば、特許文献２で開示された技術では、固体撮像装置の露光条件を変えて得られた複数の画像を記憶部に格納しながら、それぞれの画像を合成した合成画像を記憶部に再度格納し、記憶部に再度格納された合成画像に基づいて評価値を生成することができる。
【０００６】
このように、撮像装置に備えた画像処理装置では、特許文献１で開示された技術や特許文献２で開示された技術のように、画像が記憶されたフレームメモリや記憶部などのメモリにアクセスしながら、画像を形成するための処理や、撮影を制御のための処理を行う。
【０００７】
ところで、撮像装置においては、撮像装置が実行する様々機能を実現するため、それぞれの機能に応じた処理を行う複数の機能ブロックを備えている。このような撮像装置では、それぞれの機能ブロックが、画像処理装置が処理を行う際に利用しているメモリと同じメモリを利用している、つまり、撮像装置に備えている画像処理装置や複数の機能ブロック（以下、画像処理装置や複数の機能ブロックを区別せずに表す場合には、「処理ブロック」という）で１つのメモリを共有している構成が一般的である。このため、撮像装置では、撮像装置に備えた複数の処理ブロックが接続されたデータバスに、それぞれの処理ブロックで共有されるメモリも接続された構成になっている。そして、それぞれの処理ブロックは、データバスを介してメモリにアクセスする。このため、それぞれの処理ブロックによってメモリから読み出されたデータや、それぞれの処理ブロックによってメモリに書き込まれるデータは、全てデータバスを通ることになる。
【０００８】
それぞれの処理ブロックが処理を行うタイミングは、撮像装置におけるそれぞれの動作によって異なる。また、それぞれの処理ブロックがメモリにアクセスする際にデータバス上を通過するデータ量を表すバス帯域は、各処理ブロックが行う処理によって異なる。このため、例えば、同じ期間内に複数の処理ブロックからのメモリへのアクセスが発生すると、データバス上を流れるデータがこの期間に集中してしまい、バス帯域が圧迫されてしまうことがある。このことから、撮像装置では、それぞれの処理ブロックが処理を行う際に必要とするバス帯域を確保することが重要となる。
【０００９】
そこで、例えば、特許文献３のように、データバス上のデータ量を平坦化する撮像装置の技術が開示されている。特許文献３で開示された技術では、データが処理ブロックに入力される速度に対して、処理ブロックがデータをデータバスに出力する速度を遅くすることによって、データバス上のデータ量を時間的に均等にし、一部の期間にデータが集中しないように平坦化している。これにより、特許文献３で開示された技術では、撮像装置におけるデータバスのバス帯域の圧迫を抑え、データバスを効率的に使用することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第４１７９７０１号公報
【特許文献２】特開２０１３−１３５４１０号公報
【特許文献３】特開２０１０−１９９８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
データバス上のデータを平坦化するためには、速いタイミングで入力されてくるデータを遅いタイミングで出力する構成、すなわち、データの入出力のタイミングの差を吸収するためのバッファとなる構成が必要となる。特許文献３で開示された技術では、データの入出力のタイミングの差を吸収するための構成として、入力されたデータを一旦格納（書き込み）し、データバスに出力するタイミングに合わせて、格納されたデータを出力する（読み出す）メモリを備えている。
【００１２】
ところで、データの入出力のタイミングの差を吸収するためにバッファとして動作するメモリの記憶容量は、吸収するデータの入出力のタイミングの差が大きいほど、より多くの記憶容量を必要とする。このため、特許文献３で開示された技術では、吸収するデータの入出力のタイミングの差に応じた記憶容量のメモリを備える必要がある。そして、特許文献３で開示された技術では、吸収するデータの入出力のタイミングの差が大きくなるにつれて、備えるメモリの記憶容量が増加することになる。このメモリの記憶容量は、撮像装置の回路規模が増大する要因となってしまう。
【００１３】
本発明は、上記の課題認識に基づいてなされたものであり、データバス上のデータが一部の期間に集中することなく、データバスを効率的に使用することができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の課題を解決するため、本発明の撮像装置は、複数の画素を有し、結像した被写体の画像に応じた画素信号を入力画像データとして出力すると共に、該入力画像データを出力するタイミングの第１のクロック信号を出力する固体撮像装置と、データを格納する記憶部と、前記固体撮像装置から出力された前記入力画像データまたは前記記憶部に格納されている画像データに対して処理を施す撮像処理部と、前記固体撮像装置および前記撮像処理部が動作するタイミングを生成するタイミング生成部と、を備え、前記タイミング生成部は、前記撮像処理部が前記固体撮像装置から出力された前記入力画像データに対して該固体撮像装置のタイミングを基準として処理を施す第１の動作において、前記固体撮像装置を駆動する第１の同期信号を生成して該固体撮像装置に出力すると共に、該第１の同期信号と前記固体撮像装置から入力された第１のクロック信号とを前記撮像処理部が動作するタイミングとして該撮像処理部に出力し、前記撮像処理部が前記記憶部に格納されている前記画像データに対して該撮像処理部の内部のタイミングを基準として処理を施す第２の動作において、生成した第２の同期信号および第２のクロック信号を前記撮像処理部が動作するタイミングとして該撮像処理部に出力すると共に、前記第１の同期信号を前記固体撮像装置に出力しない、ことを特徴とする。
【００１５】
また、本発明の撮像装置において、前記タイミング生成部は、前記第１の動作において前記第１の同期信号を生成し、前記第２の動作において前記第２の同期信号を生成する同期信号生成部と、前記第２の動作において前記第２のクロック信号を生成するクロック信号生成部と、前記第１の動作において前記第１のクロック信号を選択して出力し、前記第２の動作において前記第２のクロック信号を選択して出力するクロック選択部と、を備えることを特徴とする。
【００１６】
また、本発明の撮像装置において、前記同期信号生成部は、前記第１の同期信号と異なる周期の前記第２の同期信号を生成し、前記クロック信号生成部は、前記第１のクロック信号と異なる周波数の前記第２のクロック信号を生成する、ことを特徴とする。
【００１７】
また、本発明の撮像装置において、前記撮像処理部は、前記固体撮像装置から出力された前記入力画像データまたは前記記憶部に格納されている画像データに対して処理を施したデータを出力する処理部と、前記処理部が出力した前記データを前記記憶部に転送するデータ転送部と、前記記憶部に格納されている前記画像データを取得するデータ取得部と、を備えることを特徴とする。
【００１８】
また、本発明の撮像装置において、前記処理部は、前記固体撮像装置から入力された前記入力画像データに対して前処理を施した前処理画像データを出力する前処理部、を備え、前記データ転送部は、前記前処理画像データを前記記憶部に転送する、を備えることを特徴とする。
【００１９】
また、本発明の撮像装置において、前記前処理部は、前記画像における第１の方向の前記入力画像データのデータ数よりも少ない量の前記入力画像データを保持するラインメモリを具備し、該ラインメモリが保持することができる前記入力画像データのデータ数の範囲内で分割した該画像の前記入力画像データの一部に対して前処理を施した前記前処理画像データを出力し、前記データ転送部は、前記前処理画像データを前記記憶部に転送する第１のデータ転送部と、前記前処理部が前処理を施すことができなかった前記画像における第１の方向の残りの前記入力画像データを、元画像データとして前記記憶部に転送する第２のデータ転送部と、を備え、前記データ取得部は、前記記憶部に格納された前記元画像データを取得し、前記撮像処理部は、さらに、前記固体撮像装置から入力された前記入力画像データまたは前記データ取得部が取得した前記元画像データを、前記前処理部および前記第２のデータ転送部の少なくとも一方に出力する選択部、を備えることを特徴とする。
【００２０】
また、本発明の撮像装置において、前記撮像処理部は、前記第１の動作において、前記前処理部が、前記ラインメモリが保持することができる前記入力画像データのデータ数の範囲内で前記画像を分割した第１の画像の前記入力画像データに対して前処理を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記前処理部が前処理を施すことができなかった該画像を分割した第２の画像の前記入力画像データを元データとして、前記第２のデータ転送部によって前記記憶部に転送し、前記第１の動作が完了した後の前記第２の動作において、前記データ取得部が、前記記憶部に格納された前記元データを取得し、前記選択部が該元データを前記前処理部に出力し、前記前処理部が、該元データに対して前処理を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送する、ことを特徴とする。
【００２１】
また、本発明の撮像装置において、前記処理部は、さらに、前記記憶部に格納されている前記画像データに対して処理を施した処理データを前記記憶部に転送する信号処理部、を備えることを特徴とする。
【００２２】
また、本発明の撮像装置において、前記信号処理部は、前記記憶部に格納されている前記画像データに基づいて、当該撮像装置における撮影の制御を行うための評価値を前記処理データとして生成する評価値生成部であり、前記撮像処理部は、さらに、前記前処理画像データまたは前記データ取得部が取得した前記画像データのいずれか一方を、前記評価値生成部に出力する選択部、を備えることを特徴とする。
【００２３】
また、本発明の撮像装置において、前記撮像処理部は、前記第１の動作において、前記前処理部が前記入力画像データに対して前処理を施した前記前処理画像データを、前記データ転送部によって前記記憶部に転送し、前記第１の動作が完了した後の前記第２の動作において、前記データ取得部が、前記記憶部に格納された前記前処理画像データ、または当該撮像装置に備えた他の構成要素によって画像処理が施された後の前処理画像データを取得し、前記選択部が該前処理画像データを前記評価値生成部に出力し、前記評価値生成部が、該前処理画像データに基づいて生成した評価値を、前記処理データとして前記記憶部に転送する、ことを特徴とする。
【発明の効果】
【００２４】
本発明によれば、データバス上のデータが一部の期間に集中することなく、データバスを効率的に使用することができるという効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示したブロック図である。
【図２】本第１の実施形態の撮像装置による画像処理における第１の動作の一例を模式的に示した図である。
【図３】本第１の実施形態の撮像装置による画像処理における第２の動作の一例を模式的に示した図である。
【図４】本第１の実施形態の撮像装置においてＤＲＡＭへのアクセスを平均化しない場合の動作におけるタイミングの一例を示したタイミングチャートである。
【図５】本第１の実施形態の撮像装置においてＤＲＡＭへのアクセスを平均化する場合の動作におけるタイミングの一例を示したタイミングチャートである。
【図６】本発明の第２の実施形態における撮像装置の概略構成を示したブロック図である。
【図７】本第２の実施形態の撮像装置による画像処理における第１の動作の一例を模式的に示した図である。
【図８】本第２の実施形態の撮像装置による画像処理における第２の動作の一例を模式的に示した図である。
【図９】本第２の実施形態の撮像装置による画像処理における第３の動作の一例を模式的に示した図である。
【図１０】従来の撮像装置において画像処理を実行する画像の一例を説明する図である。
【発明を実施するための形態】
【００２６】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）コントローラ６００と、ＤＲＡＭ６０１と、を備えている。
【００２７】
撮像装置１０内の撮像処理部２００およびＤＲＡＭコントローラ６００は、データバス８００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。
【００２８】
なお、撮像装置１０には、図１に示した構成要素以外にも、例えば、画像処理部、表示処理部、表示デバイス、カードＩＦ（インターフェース）部、およびＣＰＵなど、撮像装置１０が実行する様々機能を実現するための構成要素を備えている。また、撮像装置１０には、例えば、カードＩＦ部によって制御される記録媒体など、撮像装置１０に着脱可能な構成要素も、撮像装置１０の構成要素に含まれていてもよい。この場合、データバス８００には、図１に示した撮像処理部２００およびＤＲＡＭコントローラ６００以外にも、撮像装置１０に備えた画像処理部、表示処理部、カードＩＦ部、およびＣＰＵが接続され、データバス８００を介してそれぞれの構成要素が、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１にアクセスする。
【００２９】
イメージセンサ１００は、図示しないレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、撮像処理部２００から入力された水平同期信号ＨＤおよび垂直同期信号ＶＤに応じて、イメージセンサ１００自体に備えた画素をラスタスキャンし、クロック信号ＣＬＫのタイミングで、画像に対して水平方向（横方向）に順次、被写体光に応じた画素信号を、画像データとして撮像処理部２００に出力する。また、イメージセンサ１００は、それぞれの画素の画像データを出力するタイミングであるクロック信号ＣＬＫを、撮像処理部２００に出力する。
【００３０】
撮像処理部２００は、イメージセンサ１００から入力された画像データを取り込み、取り込んだ画像データに対して前処理を施し、前処理した結果の画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。撮像処理部２００は、タイミング生成部２０１と、選択部２０２と、前処理部２０３と、第１のデータ転送部２０４と、第２のデータ転送部２０５と、データ取得部２０６と、を備えている。
【００３１】
なお、撮像処理部２００が前処理を施すことができる画像データのデータ量、すなわち、画像に対する水平方向（横方向）のデータ数は、イメージセンサ１００が１行分として出力する画像データのデータ数よりも少ない。このため、撮像処理部２００は、前処理を施すことができない画像データをそのまま、つまり、前処理を施さずに、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。そして、撮像処理部２００は、前処理を施すことができるデータ量の前処理が完了した後に、ＤＲＡＭ６０１にそのまま記憶され、前処理が施されていない画像データを取得し、取得した画像データに対して前処理を施して、再度ＤＲＡＭ６０１に転送する（書き込む）。つまり、撮像処理部２００では、前処理を施すことができない水平方向（横方向）のデータ数の画像データが入力された場合には、前処理を施すことができるデータ量の範囲で複数回に分けて、入力された全ての画像データに対して前処理を施す。
【００３２】
タイミング生成部２０１は、イメージセンサ１００を駆動する同期信号、および撮像処理部２００に備えたそれぞれの構成要素が動作する際に用いる同期信号およびクロック信号を生成する。そして、タイミング生成部２０１は、撮像処理部２００が前処理を行う際の状況に応じて、生成した同期信号とクロック信号とを、イメージセンサ１００および撮像処理部２００に備えたそれぞれの構成要素に出力する。
【００３３】
より具体的には、タイミング生成部２０１は、イメージセンサ１００から画像データを出力させる際の水平同期信号ＨＤおよび垂直同期信号ＶＤを生成する。また、タイミング生成部２０１は、撮像処理部２００が画像データに対して前処理を施す際に用いる水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号を生成する。そして、タイミング生成部２０１は、撮像処理部２００が、イメージセンサ１００のタイミングを基準として前処理を行う、すなわち、イメージセンサ１００が画像データを出力するタイミングを基準として前処理を行う際には、生成した水平同期信号ＨＤおよび垂直同期信号ＶＤをイメージセンサ１００に出力する。このとき、タイミング生成部２０１は、イメージセンサ１００に出力した水平同期信号ＨＤおよび垂直同期信号ＶＤと同じ同期信号を水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩとし、イメージセンサ１００から入力されたクロック信号ＣＬＫをクロック信号ＣＬＫＩとして、撮像処理部２００に備えたそれぞれの構成要素に出力する。
【００３４】
また、タイミング生成部２０１は、撮像処理部２００が、撮像処理部２００の内部のタイミングを基準として前処理を行う際には、生成した水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩと、生成したクロック信号とを、撮像処理部２００に備えたそれぞれの構成要素に出力する。このとき、タイミング生成部２０１は、生成した水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩと同じ同期信号を、水平同期信号ＨＤおよび垂直同期信号ＶＤとしてイメージセンサ１００に出力しないようにすることもできる。
【００３５】
タイミング生成部２０１は、ＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）２０１１と、クロック選択部２０１２と、同期信号生成部２０１３と、を備えている。
【００３６】
ＰＬＬ２０１１は、撮像処理部２００が内部のタイミングを基準として前処理を行う際のクロック信号を生成する。そして、ＰＬＬ２０１１は、生成したクロック信号をクロック選択部２０１２に出力する。なお、ＰＬＬ２０１１が生成するクロック信号は、撮像処理部２００が画像データに対する前処理を完了することが可能な周波数のクロック信号である。このクロック信号の周波数は、予め定めた周波数であってもよいが、例えば、撮像装置１０に備えた不図示のＣＰＵによって設定した周波数であってもよい。
【００３７】
クロック選択部２０１２は、撮像処理部２００が前処理を行う際の状況に応じて、イメージセンサ１００から入力されたクロック信号ＣＬＫ、またはＰＬＬ２０１１から入力されたクロック信号のいずれか一方のクロック信号を、撮像処理部２００に備えたそれぞれの構成要素が動作するクロック信号ＣＬＫＩとして選択する。より具体的には、撮像処理部２００が、イメージセンサ１００のタイミングを基準として前処理を行う際、クロック選択部２０１２は、イメージセンサ１００から入力されたクロック信号ＣＬＫをクロック信号ＣＬＫＩとして選択する。また、撮像処理部２００が、内部のタイミングを基準として前処理を行う際、クロック選択部２０１２は、ＰＬＬ２０１１から入力されたクロック信号をクロック信号ＣＬＫＩとして選択する。そして、クロック選択部２０１２は、選択したクロック信号ＣＬＫＩを、選択部２０２に出力する。
【００３８】
同期信号生成部２０１３は、イメージセンサ１００を駆動するための同期信号、および撮像処理部２００に備えたそれぞれの構成要素が動作する際に用いる同期信号を生成する。そして、同期信号生成部２０１３は、撮像処理部２００が前処理を行う際の状況に応じて、生成した同期信号を、イメージセンサ１００および選択部２０２に出力する。
【００３９】
より具体的には、撮像処理部２００が、イメージセンサ１００のタイミングを基準として前処理を行う際、同期信号生成部２０１３は、イメージセンサ１００から画像データを出力させる駆動を行うための水平同期信号ＨＤおよび垂直同期信号ＶＤを生成し、生成した水平同期信号ＨＤと垂直同期信号ＶＤとを、イメージセンサ１００に出力する。このとき、同期信号生成部２０１３は、イメージセンサ１００に出力した水平同期信号ＨＤおよび垂直同期信号ＶＤを、水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩとして、選択部２０２に出力する。なお、このとき同期信号生成部２０１３が生成する水平同期信号ＨＤおよび垂直同期信号ＶＤは、イメージセンサ１００から入力されたクロック信号ＣＬＫに同期していることが望ましい。
【００４０】
また、撮像処理部２００が、内部のタイミングを基準として前処理を行う際、同期信号生成部２０１３は、撮像処理部２００に備えたそれぞれの構成要素が、クロック選択部２０１２から出力されたクロック信号ＣＬＫＩのタイミングで前処理を行うための水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩを生成し、生成した水平同期信号ＨＤＩと垂直同期信号ＶＤＩとを、選択部２０２に出力する。このとき、同期信号生成部２０１３は、生成した水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩを、水平同期信号ＨＤおよび垂直同期信号ＶＤとしてイメージセンサ１００に出力しないようにすることもできる。つまり、撮像処理部２００が、内部のタイミングを基準として前処理を行う際には、イメージセンサ１００を駆動しないようにすることもできる。なお、このとき同期信号生成部２０１３が生成する水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩは、ＰＬＬ２０１１が出力するクロック信号に同期していることが望ましい。
【００４１】
選択部２０２は、入力された画像データの出力先の構成要素を選択する。より具体的には、イメージセンサ１００から入力された画像データ、およびデータ取得部２０６から入力された画像データの出力先として、前処理部２０３または第２のデータ転送部２０５のいずれか一方または両方を選択する。そして、選択部２０２は、入力された画像データを、選択した出力先に出力する。
【００４２】
また、選択部２０２は、クロック選択部２０１２から入力された水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩと、クロック信号ＣＬＫＩとの出力先の構成要素を選択する。より具体的には、撮像処理部２００が前処理を行う際に動作する全ての構成要素を選択する。そして、選択部２０２は、水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩのそれぞれを、選択した構成要素のそれぞれに出力する。
【００４３】
なお、選択部２０２が、クロック選択部２０１２から入力された水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩのそれぞれを、撮像処理部２００が前処理を行う際に動作する全ての構成要素に出力する構成に限定されるものではない。例えば、クロック選択部２０１２が、撮像処理部２００が前処理を行う際に動作する全ての構成要素に、水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩのそれぞれを出力する構成であってもよい。
【００４４】
前処理部２０３は、選択部２０２から入力された水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩに基づいて、選択部２０２から入力された画像データに対して、キズ補正やシェーディング補正、画素欠陥補正などの様々な前処理を施し、処理した結果の画像データ（以下、「前処理画像データ」という）を、第１のデータ転送部２０４に出力する。なお、前処理部２０３の構成や、前処理部２０３における前処理の処理方法および動作は、従来の撮像装置に備えた前処理部の構成や処理方法および動作と同様である。従って、前処理部２０３の構成や前処理の処理方法および動作に関する詳細な説明は省略する。
【００４５】
第１のデータ転送部２０４は、選択部２０２から入力された水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩに基づいて、前処理部２０３から入力された前処理画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。なお、第１のデータ転送部２０４の構成や、前処理画像データをＤＭＡによってＤＲＡＭ６０１に格納する（書き込む）際の動作は、ＤＭＡによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第１のデータ転送部２０４が前処理画像データをＤＲＡＭ６０１に格納する（書き込む）方法は、ＤＭＡ以外の方法であってもよい。
【００４６】
第２のデータ転送部２０５は、選択部２０２から入力された水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩに基づいて、選択部２０２から入力された画像データ、すなわち、前処理部２０３によって前処理が施されていない画像データ（以下、「元画像データ」という）を、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。なお、第２のデータ転送部２０５の構成や、元画像データをＤＭＡによってＤＲＡＭ６０１に格納する（書き込む）際の動作は、第１のデータ転送部２０４と同様に、ＤＭＡによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第２のデータ転送部２０５が元画像データをＤＲＡＭ６０１に格納する（書き込む）方法は、第１のデータ転送部２０４と同様に、ＤＭＡ以外の方法であってもよい。
【００４７】
データ取得部２０６は、選択部２０２から入力された水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩに基づいて、ＤＲＡＭ６０１に格納されている画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００を介して取得し（読み出し）、取得した画像データを選択部２０２に出力する。なお、データ取得部２０６が取得する画像データは、第２のデータ転送部２０５によって格納された元画像データのみではなく、例えば、第１のデータ転送部２０４によって格納された前処理画像データや、撮像装置１０に備えた不図示の画像処理部によって画像処理された後にＤＲＡＭ６０１に格納された画像データであってもよい。
【００４８】
ＤＲＡＭコントローラ６００は、データバス８００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ６０１へのアクセス要求、例えば、ＤＭＡのアクセス要求に応じて、接続されているＤＲＡＭ６０１へのデータの格納（書き込み）、およびＤＲＡＭ６０１からのデータの取得（読み出し）の制御を行う。
【００４９】
ＤＲＡＭ６０１は、ＤＲＡＭコントローラ６００によってアクセス制御されるメモリ（記憶部）である。ＤＲＡＭ６０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを一時的に格納（記憶）する。
【００５０】
このような構成によって、本第１の実施形態の撮像装置１０では、イメージセンサ１００から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに対して直接的に（ダイレクトに）様々な前処理を施すことができる。また、本第１の実施形態の撮像装置１０では、データ取得部２０６によってＤＲＡＭ６０１に格納されている画像データを取得することによって、ＤＲＡＭ６０１に格納されている画像データに対して様々な前処理を施すことができる。すなわち、本第１の実施形態の撮像装置１０では、リアルタイムに入力される画像データ以外に対しても、様々な前処理を施すことができる。
【００５１】
次に、撮像装置１０において、イメージセンサ１００から出力される画像データに対して前処理を施す動作の一例について説明する。なお、以下の説明においては、イメージセンサ１００の水平方向（横方向）の画素数が、撮像処理部２００に備えた前処理部２０３が１回で前処理を施すことができる水平方向（横方向）の画素数よりも多い場合について説明する。つまり、イメージセンサ１００が１行毎に出力する水平方向（横方向）の画像データ（以下、「入力画像データ」という）のデータ数が、前処理部２０３が前処理を施すために備えている水平方向（横方向）のラインメモリが保持することができる１行分の画像データのデータ数よりも多く、１行分の全ての入力画像データを、前処理を施すことができるデータ量の範囲で複数回に分けて前処理を施す場合の動作について説明する。以下の説明においては、説明を容易にするため、イメージセンサ１００から入力された入力画像データを半分ずつ、２回に分けて前処理を施す場合について説明する。
【００５２】
図２および図３は、本第１の実施形態の撮像装置１０による前処理の動作の一例を模式的に示した図である。図２には、撮像装置１０が、イメージセンサ１００から入力された一方（左側）の半分の入力画像データに対して前処理を施す第１の動作の一例を示している。また、図３には、撮像装置１０が、イメージセンサ１００から入力された他方（右側）の半分の入力画像データに対して前処理を施す第２の動作の一例を示している。
【００５３】
＜第１の動作＞
第１の動作（１パス目の動作）では、イメージセンサ１００から出力される入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）のと共に、前処理を施すことができない入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。この１パス目の動作は、撮像処理部２００が、イメージセンサ１００のタイミングを基準として前処理を行う動作である。なお、１パス目の動作において、イメージセンサ１００のタイミングを基準として前処理を行うのは、イメージセンサ１００から入力された全ての入力画像データが欠損することなく、撮像処理部２００で前処理を行うためである。図２には、図１に示した撮像装置１０のブロック図上に、第１の動作（１パス目の動作）における同期信号およびクロック信号の経路と、それぞれのデータの経路とを示している。
【００５４】
まず、１パス目の動作では、図２に示した経路ＴＳ１の同期信号の経路で、同期信号生成部２０１３が生成した、イメージセンサ１００を駆動するための水平同期信号ＨＤおよび垂直同期信号ＶＤをイメージセンサ１００に出力すると共に、この水平同期信号ＨＤおよび垂直同期信号ＶＤを、水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩとして、選択部２０２に出力する。また、１パス目の動作では、図２に示した経路ＴＣ１のクロック信号の経路で、クロック選択部２０１２が選択した、イメージセンサ１００から入力されたクロック信号ＣＬＫを、クロック信号ＣＬＫＩとして選択部２０２に出力する。
【００５５】
そして、１パス目の動作では、図２に示した経路Ｃ１１の画像データの経路で、入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、イメージセンサ１００が１枚の画像Ｐ１を撮影し、撮影した画像Ｐ１の入力画像データを、クロック信号ＣＬＫに同期したタイミングで撮像処理部２００に出力する。撮像処理部２００では、イメージセンサ１００から入力された画像Ｐ１の全ての領域の入力画像データをクロック信号ＣＬＫに同期したタイミングで取り込み、取り込んだ画像Ｐ１の入力画像データがクロック信号ＣＬＫに同期したタイミングで順次、撮像処理部２００内の選択部２０２に入力される。そして、選択部２０２は、入力された画像Ｐ１の全ての領域の入力画像データを、クロック信号ＣＬＫに同期したタイミングで前処理部２０３と第２のデータ転送部２０５との両方に順次出力する。
【００５６】
前処理部２０３は、選択部２０２から順次入力された画像Ｐ１の入力画像データの内、左側半分の領域である画像Ｐ２の入力画像データに対して前処理を施し、前処理を施した後の画像Ｐ２の前処理画像データをクロック信号ＣＬＫに同期したタイミングで順次、第１のデータ転送部２０４に出力する。そして、第１のデータ転送部２０４は、前処理部２０３から順次入力された画像Ｐ２の前処理画像データを、クロック信号ＣＬＫに同期したタイミングでＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の画像Ｐ２の前処理画像データが格納される。
【００５７】
また、１パス目の動作では、図２に示した経路Ｃ１２の画像データの経路で、入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、第２のデータ転送部２０５は、選択部２０２から順次入力された画像Ｐ１の入力画像データの内、右側半分の領域である画像Ｐ３の入力画像データをそのまま画像Ｐ３の元画像データとして、クロック信号ＣＬＫに同期したタイミングでＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ３の入力画像データが、そのまま格納される。
【００５８】
このように、１パス目の動作では、イメージセンサ１００のタイミングを基準として、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して前処理を施した画像Ｐ２の前処理画像データと、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域である画像Ｐ３の元画像データとを、ＤＲＡＭ６０１に格納する。
【００５９】
なお、１パス目の動作において、ＤＲＡＭ６０１に元画像データを格納する際には、イメージセンサ１００から入力された画像Ｐ１の全ての領域の入力画像データを、画像Ｐ１の元画像データとしてＤＲＡＭ６０１に格納することもできる。しかし、上述したように、１パス目の動作においては、画像Ｐ１の右側半分の画像Ｐ３の入力画像データのみを、元画像データとしてＤＲＡＭ６０１に格納している。これは、以降の第２の動作（２パス目の動作）において前処理を施すのは、１パス目の動作において前処理を施すことができなかった画像Ｐ１の右側半分の領域である画像Ｐ３の入力画像データのみであるからである。これにより、ＤＲＡＭ６０１の記憶容量を削減することができると共に、データバス８００のバス帯域の必要以上の圧迫を回避することができる。
【００６０】
＜第２の動作＞
その後、撮像装置１０は、第１の動作（１パス目の動作）で前処理を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の入力画像データである画像Ｐ３の元画像データに対して前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。この２パス目の動作は、撮像処理部２００が、撮像処理部２００の内部のタイミングを基準として前処理を行う動作である。図３には、図１に示した撮像装置１０のブロック図上に、第２の動作（２パス目の動作）における同期信号およびクロック信号の経路と、データの経路とを示している。
【００６１】
まず、２パス目の動作では、図３に示した経路ＴＳ２の同期信号の経路で、同期信号生成部２０１３が生成した、画像データに対して前処理を施す際に用いる水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩを、選択部２０２に出力する。また、２パス目の動作では、図３に示した経路ＴＣ２のクロック信号の経路で、クロック選択部２０１２が選択した、ＰＬＬ２０１１が生成したクロック信号を、クロック信号ＣＬＫＩとして選択部２０２に出力する。
【００６２】
なお、２パス目の動作では、上述したように、タイミング生成部２０１は、生成した水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩを、水平同期信号ＨＤおよび垂直同期信号ＶＤとしてイメージセンサ１００に出力しない。これにより、２パス目の動作では、イメージセンサ１００が駆動されることがなくなり、イメージセンサ１００を撮像処理部２００から切り離した状態と同等の状態になる。
【００６３】
そして、２パス目の動作では、図３に示した経路Ｃ１３の画像データの経路で、ＤＲＡＭ６０１に格納されている画像Ｐ３の元画像データに対して前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、２パス目の動作において、データ取得部２０６が、ＤＲＡＭ６０１に格納されている画像Ｐ３の元画像データを、クロック信号ＣＬＫＩに同期したタイミングで順次取得し（読み出し）、取得した画像Ｐ３の元画像データをクロック信号ＣＬＫＩに同期したタイミングで順次、選択部２０２に出力する。そして、選択部２０２は、入力された画像Ｐ３の元画像データを、クロック信号ＣＬＫＩに同期したタイミングで前処理部２０３に順次出力する。
【００６４】
前処理部２０３は、選択部２０２から順次入力された画像Ｐ３の元画像データに対して前処理を施し、前処理を施した後の画像Ｐ４の前処理画像データをクロック信号ＣＬＫＩに同期したタイミングで順次、第１のデータ転送部２０４に出力する。そして、第１のデータ転送部２０４は、前処理部２０３から順次入力された画像Ｐ４の前処理画像データを、クロック信号ＣＬＫＩに同期したタイミングでＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の画像Ｐ４の前処理画像データが格納される。
【００６５】
このように、２パス目の動作では、撮像処理部２００の内部のタイミングを基準として、イメージセンサ１００が出力し、ＤＲＡＭ６０１に格納されている画像Ｐ１の右側半分の画像Ｐ３に対して前処理を施した画像Ｐ４の前処理画像データを、ＤＲＡＭ６０１に格納する。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が撮影した１枚の画像Ｐ１の全ての領域の入力画像データに対して前処理を施した前処理画像データ（画像Ｐ２＋画像Ｐ４の前処理画像データ）が格納される。
【００６６】
このように、撮像装置１０では、１パス目の動作で、イメージセンサ１００のタイミングを基準として、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して前処理を施し、２パス目の動作で、撮像処理部２００の内部のタイミングを基準として、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域に対して前処理を施す。このとき、撮像装置１０では、２パス目の動作におけるクロック信号ＣＬＫＩの周波数を、撮像処理部２００が画像データに対する前処理を完了することが可能な周波数に調整する。これにより、撮像装置１０では、２パス目の動作におけるＤＲＡＭ６０１へのアクセスを平均化し、２パス目の動作でデータバス８００上を流れる画像データが一部の期間に集中してデータバス８００のバス帯域を圧迫してしまうことを抑えることができる。
【００６７】
次に、撮像装置１０におけるデータバス８００のバス帯域の一例について説明する。なお、以下の説明においては、撮像装置１０によるバス帯域の圧迫を抑えることの効果を理解しやすくするため、２パス目の動作でもイメージセンサ１００のタイミングを基準として動作する場合のバス帯域についても説明する。
【００６８】
図４および図５は、本第１の実施形態の撮像装置１０におけるＤＲＡＭ６０１へのアクセスの一例を示したタイミングチャートである。図４には、撮像装置１０がＤＲＡＭ６０１にアクセスする際のバス帯域を平均化しない場合における動作タイミングの一例を模式的に示している。また、図５には、撮像装置１０がＤＲＡＭ６０１にアクセスする際のバス帯域を平均化する場合における動作タイミングの一例を模式的に示している。なお、図４および図５に示したタイミングチャートは、３行分の入力画像データに対して前処理を行う場合のタイミングチャートである。このため、図４および図５においては、データ取得部２０６、第１のデータ転送部２０４、および第２のデータ転送部２０５のそれぞれが対応する画像の領域を示す「左」または「右」に続いて、入力画像データの行を示す数字を明示している。
【００６９】
まず、図４を用いて、ＤＲＡＭ６０１にアクセスする際のバス帯域を平均化しない場合の動作について説明する。なお、図４に示した動作は、撮像処理部２００が、イメージセンサ１００から入力されたクロック信号ＣＬＫのタイミングを基準として前処理を行うことにより、ＤＲＡＭ６０１にアクセスする際のバス帯域を平均化しない、従来の撮像装置における動作であるともいえる。
【００７０】
イメージセンサ１００は、撮像処理部２００から入力された水平同期信号ＨＤおよび垂直同期信号ＶＤに応じて、イメージセンサ１００自体に備えた画素をラスタスキャンし、水平同期信号ＨＤ毎に、画像に対して水平方向（横方向）のそれぞれの画素の行の入力画像データを順次、撮像処理部２００に出力する。図４に示した動作では、ＤＲＡＭ６０１にアクセスする際のバス帯域を平均化しないため、撮像処理部２００は、全ての期間において、イメージセンサ１００から入力されたクロック信号ＣＬＫのタイミングを基準として動作する。
【００７１】
第１の動作（１パス目の動作）では、画像Ｐ１の左側半分の領域の入力画像データに対してリアルタイムに前処理を施した前処理画像データを第１のデータ転送部２０４が、画像Ｐ１の右側半分の領域の入力画像データをそのまま元画像データとして第２のデータ転送部２０５が、それぞれＤＲＡＭ６０１に転送する（書き込む）。このとき、イメージセンサ１００からは、上述したように、１行分の入力画像データが順次入力されるため、図４に示したように、第１のデータ転送部２０４によるＤＲＡＭ６０１へのアクセスと、第２のデータ転送部２０５によるＤＲＡＭ６０１へのアクセスとが、同じ水平同期信号ＨＤの期間内で重複せずに行われる。つまり、１パス目の動作では、同じ行の入力画像データに対応した前処理画像データのＤＲＡＭ６０１への転送（書き込み）と、元画像データのＤＲＡＭ６０１への転送（書き込み）とが、同じ期間内で重複せずに行われる。このため、データバス８００のバス帯域は、図４に示したように、それぞれの水平同期信号ＨＤの期間内で一定である。
【００７２】
例えば、イメージセンサ１００の水平方向（横方向）の画素数が１００万画素である、つまり、イメージセンサ１００が、横幅が１００万画素の画像を撮影した入力画像データを撮像処理部２００に出力する場合を考える。この場合、１パス目の動作では、第１のデータ転送部２０４が５０万画素分の前処理画像データをＤＲＡＭ６０１に転送し、第２のデータ転送部２０５が５０万画素分の元データをＤＲＡＭ６０１に転送する。このため、１パス目の動作では、それぞれの水平同期信号ＨＤの期間で、データバス８００上を５０万画素分の画像データが通過する一定のバス帯域が使用される。
【００７３】
また、第２の動作（２パス目の動作）では、データ取得部２０６が、画像Ｐ１の右側半分の領域の元画像データをＤＲＡＭ６０１から取得し（読み出し）、第１のデータ転送部２０４が、画像Ｐ１の右側半分の領域の元画像データに対してリアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。このため、２パス目の動作では、図４に示したように、データ取得部２０６によるＤＲＡＭ６０１へのアクセスと、第１のデータ転送部２０４によるＤＲＡＭ６０１へのアクセスとが、同じ水平同期信号ＨＤの期間内で重複して行われる。つまり、２パス目の動作では、元画像データのＤＲＡＭ６０１からの取得（読み出し）と、取得した元画像データに対応した前処理画像データのＤＲＡＭ６０１への転送（書き込み）とが集中している期間が存在する。このため、撮像装置１０では、ＤＲＡＭ６０１へのアクセスが集中している期間のバス帯域が圧迫され、撮像装置１０に備えた他の構成要素の処理時間が長くなってしまったり、動作できなくなってしまったりして、撮像装置１０が実行する様々機能の実現が困難になってしまうことが考えられる。
【００７４】
例えば、イメージセンサ１００の水平方向（横方向）の画素数が１００万画素である場合を考える。この場合、２パス目の動作では、データ取得部２０６が５０万画素分の前処理画像データをＤＲＡＭ６０１から取得し、第１のデータ転送部２０４が５０万画素分の前処理画像データをＤＲＡＭ６０１に転送する。この２パス目の動作においても、同じ水平同期信号ＨＤの期間内での合計のバス帯域は、１パス目の動作と同様である。しかし、２パス目の動作においてＤＲＡＭ６０１へのアクセスが集中している期間では、データバス８００上を１００万画素分の画像データが通過する。つまり、２パス目の動作では、１パス目の動作に比べて２倍の量の画像データを扱う期間が存在するため、１パス目の動作の２倍のバス帯域が必要となり、１パス目の動作よりもデータバス８００のバス帯域を圧迫する。このため、バス帯域が圧迫された期間において、撮像装置１０に備えた他の構成要素の動作が制限されてしまう可能性がある。
【００７５】
なお、イメージセンサ１００や撮像処理部２００が動作するクロック信号を高速にする、すなわち、クロック信号ＣＬＫの周波数を高くすることによって、データバス８００のバス帯域の圧迫を抑えることも考えられるが、この場合には、高速で動作することによる消費電力の増大や発熱量の増大など、別の課題が発生してしまうため望ましくない。
【００７６】
続いて、図５を用いて、ＤＲＡＭ６０１にアクセスする際のバス帯域を平均化する場合の動作について説明する。なお、図５に示した動作は、撮像処理部２００が、内部のタイミングである、ＰＬＬ２０１１が生成したクロック信号ＣＬＫＩのタイミングを基準として前処理を行うことにより、ＤＲＡＭ６０１にアクセスする際のバス帯域を平均化する、本第１の実施形態の撮像装置１０の動作である。
【００７７】
イメージセンサ１００は、図４に示した動作と同様に、撮像処理部２００から入力された水平同期信号ＨＤ毎に、画像に対して水平方向（横方向）のそれぞれの画素の行の入力画像データを順次、撮像処理部２００に出力する。図５に示した動作では、ＤＲＡＭ６０１にアクセスする際のバス帯域を平均化するため、図２および図３を用いて説明したように、第１の動作（１パス目の動作）においてイメージセンサ１００から入力されたクロック信号ＣＬＫのタイミングを基準として動作し、第２の動作（２パス目の動作）において、ＰＬＬ２０１１が生成したクロック信号ＣＬＫＩのタイミングを基準として動作する。
【００７８】
なお、以下の説明においては、説明を容易にするため、第２の動作（２パス目の動作）において撮像処理部２００が基準として動作するクロック信号ＣＬＫＩの周波数は、第１の動作（１パス目の動作）において撮像処理部２００が基準として動作するイメージセンサ１００から入力されるクロック信号ＣＬＫの周波数の１／２である、すなわち、クロック信号ＣＬＫＩの周期がクロック信号ＣＬＫの２倍であるものとして説明する。また、説明を容易にするため、第２の動作（２パス目の動作）において撮像処理部２００が元画像データに対して前処理を施す際に用いる垂直同期信号ＶＤＩおよび水平同期信号ＨＤＩの周期は、第１の動作（１パス目の動作）において撮像処理部２００が入力画像データに対してリアルタイムに前処理を施す際に用いる垂直同期信号ＶＤおよび水平同期信号ＨＤの周期と同じ周期であるものとして説明する。
【００７９】
第１の動作（１パス目の動作）は、図４に示した第１の動作（１パス目の動作）と同様であるため、詳細な説明は省略する。
【００８０】
第２の動作（２パス目の動作）では、図４に示した第２の動作（２パス目の動作）と同様に、データ取得部２０６が、画像Ｐ１の右側半分の領域の元画像データをＤＲＡＭ６０１から取得し（読み出し）、第１のデータ転送部２０４が、画像Ｐ１の右側半分の領域の元画像データに対してリアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。このため、２パス目の動作では、図４に示した第２の動作（２パス目の動作）と同様に、データ取得部２０６によるＤＲＡＭ６０１へのアクセスと、第１のデータ転送部２０４によるＤＲＡＭ６０１へのアクセスとが、同じ水平同期信号ＨＤＩの期間内で重複して行われる。しかし、第２の動作（２パス目の動作）では、上述したように、撮像処理部２００が、周波数がクロック信号ＣＬＫの１／２であるクロック信号ＣＬＫＩのタイミングを基準として前処理を行うため、図５に示したように、第２の動作（２パス目の動作）における処理時間が２倍となる。これに伴って、２パス目の動作では、元画像データのＤＲＡＭ６０１からの取得（読み出し）と、取得した元画像データに対応した前処理画像データのＤＲＡＭ６０１への転送（書き込み）とのそれぞれが、水平同期信号ＨＤＩの期間内に分散して平均化される。これにより、撮像装置１０では、データバス８００のバス帯域が１／２になり、バス帯域の圧迫を抑えることができる。
【００８１】
例えば、イメージセンサ１００の水平方向（横方向）の画素数が１００万画素である場合を考える。この場合、図５に示した２パス目の動作では、データ取得部２０６が５０万画素分の前処理画像データをＤＲＡＭ６０１から取得し、第１のデータ転送部２０４が５０万画素分の前処理画像データをＤＲＡＭ６０１に転送する。この２パス目の動作においても、同じ水平同期信号ＨＤの期間内での合計のバス帯域は、１パス目の動作と同様である。しかし、２パス目の動作においては、クロック信号ＣＬＫＩの周波数が１／２であるため、水平同期信号ＨＤの全ての期間を使用して元データに対する前処理を施すことになり、ＤＲＡＭ６０１へのアクセスが分散し、バス帯域のピークが、１パス目の動作と同等になる。つまり、図５に示した２パス目の動作では、図４に示した２パス目の動作のようなデータバス８００のバス帯域の圧迫を回避することができる。
【００８２】
上記に述べたとおり、本第１の実施形態の撮像装置１０では、イメージセンサ１００が１行毎に出力する水平方向（横方向）の入力画像データのデータ数が、撮像処理部２００内の前処理部２０３に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも多い場合に、第１の動作と第２の動作との２回の動作によって、入力された１行分の全ての入力画像データに対して前処理を施す。このとき、本第１の実施形態の撮像装置１０では、イメージセンサ１００から入力された全ての入力画像データが欠損することなく処理するためにリアルタイムに前処理を施す第１の動作では、イメージセンサ１００のタイミングを基準として動作する。また、本第１の実施形態の撮像装置１０では、前処理を施す元画像データがＤＲＡＭ６０１に格納されているため、イメージセンサ１００のタイミングと異なるタイミングで前処理を施すことができる第２の動作では、撮像処理部２００の内部のタイミングである、ＰＬＬ２０１１が生成したクロック信号ＣＬＫＩのタイミングを基準として動作する。より具体的には、第１の動作（１パス目の動作）において、撮像装置１０は、イメージセンサ１００から入力されたクロック信号ＣＬＫを基準として、入力された画像Ｐ１の左半分の入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）のと共に、前処理を施すことができない右側半分の入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。その後、第２の動作（２パス目の動作）において、撮像装置１０は、第１の動作（１パス目の動作）で前処理を施すことができなかった、画像Ｐ１の右側半分の入力画像データに対して、ＰＬＬ２０１１が生成したクロック信号ＣＬＫＩのタイミングを基準として前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）ことによって、１枚の画像Ｐ１の全ての入力画像データに対する前処理を施す。
【００８３】
これにより、本第１の実施形態の撮像装置１０では、撮像処理部２００の内部のタイミングを基準として動作している期間におけるデータバス８００のバス帯域を平均化することができ、撮像装置１０に備えた他の構成要素の動作が制限されてしまうような、バス帯域の圧迫を抑えた状態で、イメージセンサ１００から出力される全ての画像データに対して前処理を施すことができる。このことにより、本第１の実施形態の撮像装置１０では、撮像装置１０に備えたそれぞれの構成要素で、データバス８００を効率的に使用することができる。
【００８４】
また、本第１の実施形態の撮像装置１０では、撮像処理部２００内の前処理部２０３に備えたラインメモリが保持することができる１行分の画像データのデータ数が、イメージセンサ１００が１行毎に出力する入力画像データのデータ数よりも少ない場合でも、イメージセンサ１００から出力される全ての画像データに対して前処理を施すことができる。つまり、撮像装置１０の回路規模、特に、ラインメモリの記憶容量を増大させることなく、画素数が増加したイメージセンサ１００に対応する前処理を実行することができる。言い換えれば、小さい回路規模で、イメージセンサの多画素化に対応することができる。
【００８５】
また、本第１の実施形態の撮像装置１０では、撮像処理部２００が内部のタイミングを基準として動作している期間、すなわち、第２の動作の期間における動作のタイミングを遅くする。これにより、本第１の実施形態の撮像装置１０では、低速で動作することによる消費電力や発熱量の低減などの効果を期待することができる。なお、図５に示した本第１の実施形態の撮像装置１０による前処理の動作のタイミングチャートの一例では、ＰＬＬ２０１１が生成するクロック信号ＣＬＫＩの周波数を、イメージセンサ１００から入力されるクロック信号ＣＬＫの周波数の１／２にした場合について説明した。しかし、第２の動作の期間において基準とする、ＰＬＬ２０１１が生成するクロック信号ＣＬＫＩの周波数は、図５に示した一例に限定されるものではなく、撮像装置１０の性能を実現するために許容される範囲内の周波数を設定することが望ましい。この場合、クロック信号ＣＬＫＩの周波数は、予め定めた周波数であってもよいが、例えば、撮像装置１０が実行する様々機能の動作に応じて適宜変更してもよい。
【００８６】
また、本第１の実施形態の撮像装置１０では、撮像処理部２００が内部のタイミングを基準として動作している第２の動作の期間中は、イメージセンサ１００を駆動するための垂直同期信号ＶＤおよび水平同期信号ＨＤをイメージセンサ１００に出力しないようにすることができる。これにより、本第１の実施形態の撮像装置１０では、イメージセンサ１００のタイミングと異なるタイミングで前処理を施すことができる第２の動作の期間中、イメージセンサ１００を撮像処理部２００から切り離した状態と同等の状態にすることができる。すなわち、イメージセンサ１００の動作を停止した状態にすることができる。これにより、本第１の実施形態の撮像装置１０では、イメージセンサ１００の消費電力も低減することができる。
【００８７】
なお、図２および図３に示した本第１の実施形態の撮像装置１０による前処理の動作の一例では、イメージセンサ１００から入力された入力画像データを半分ずつ、２回に分けて前処理を施す場合について説明した。しかし、実際の前処理においては、画像を１カ所で分けて処理をすると、処理を分けた境界部分に違和感がある画像となってしまうと考えられる。このため、前処理を分けて行う場合には、それぞれの処理において使用する画像データを重複させた領域、すなわち、オーバーラップ領域を設けて処理することが一般的に行われている。本第１の実施形態の撮像装置１０による前処理においても同様に、オーバーラップ領域を設けた処理を行うことができる。
【００８８】
また、図２および図３に示した本第１の実施形態の撮像装置１０による前処理の動作の一例では、第１の動作（１パス目の動作）で、イメージセンサ１００から入力された画像Ｐ１の左側半分の領域の入力画像データに対して前処理を施し、第２の動作（２パス目の動作）で、イメージセンサ１００から入力された画像Ｐ１の右側半分の領域（画像Ｐ３）の入力画像データに対して前処理を施す場合の例について説明した。しかし、第１の動作（１パス目の動作）および第２の動作（２パス目の動作）のそれぞれで前処理を施す画像の領域は、図２および図３に示した順番に限定されるものではない。例えば、第１の動作（１パス目の動作）で画像Ｐ１の右側半分の領域の入力画像データに対して前処理を施し、第２の動作（２パス目の動作）で画像Ｐ１の左側半分の領域の入力画像データに対して前処理を施す動作にしてもよい。
【００８９】
また、図２および図３に示した本第１の実施形態の撮像装置１０による前処理の動作の一例では、イメージセンサ１００から入力された入力画像データを２回に分けて前処理を施す場合について説明した。しかし、１枚の画像の入力画像データに対して実行する前処理を分ける回数は、上述したような２回に限定されるものではなく、３回であっても、またそれ以上の回数であってもよい。なお、前処理を分ける回数が異なる場合の動作は、２回に分けて行った場合の動作（図２および図３に示した本第１の実施形態の撮像装置１０の前処理の動作）と同様に考えることができるため、詳細な説明は省略する。
【００９０】
また、図５に示した本第１の実施形態の撮像装置１０による前処理の動作のタイミングチャートの一例では、第２の動作におけるクロック信号ＣＬＫＩの周波数を、第１の動作におけるクロック信号ＣＬＫの周波数の１／２にし、第２の動作における垂直同期信号ＶＤＩおよび水平同期信号ＨＤＩの周期を、第１の動作における垂直同期信号ＶＤおよび水平同期信号ＨＤと同じ周期にした場合について説明した。つまり、本第１の実施形態の撮像装置１０では、第２の動作（２パス目の動作）において撮像処理部２００が元画像データに対して前処理を施す際に用いる垂直同期信号ＶＤＩおよび水平同期信号ＨＤＩの周期が、第１の動作（１パス目の動作）において撮像処理部２００が入力画像データに対してリアルタイムに前処理を施す際に用いる垂直同期信号ＶＤおよび水平同期信号ＨＤの周期と同じ周期であるものとして説明した。しかし、第２の動作の期間において基準とする、同期信号生成部２０１３が生成する垂直同期信号ＶＤＩおよび水平同期信号ＨＤＩの周期は、図５に示した一例に限定されるものではなく、撮像装置１０の性能を実現するために許容される範囲内の周期であることが望ましい。例えば、第２の動作における垂直同期信号ＶＤＩおよび水平同期信号ＨＤＩの周期を、第１の動作における垂直同期信号ＶＤおよび水平同期信号ＨＤの２倍の周期に長くすることもできる。この場合には、例えば、クロック信号ＣＬＫＩの周波数を１／４にして、２倍の期間となった垂直同期信号ＶＤＩおよび水平同期信号ＨＤＩの全ての期間を、元画像データに対して前処理を施す第２の動作の期間にすることができ、さらにバス帯域の圧迫を抑えると共に、消費電力や発熱量のさらなる低減の効果を期待することができる。
【００９１】
なお、本第１の実施形態の撮像装置１０における前処理の動作は、必ずしも２回以上に分ける必要はない。例えば、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数が、撮像処理部２００内の前処理部２０３に備えたラインメモリの記憶容量よりも少ない、すなわち、入力される入力画像データのデータ数の方が、前処理部２０３が前処理を施すことができるデータ量よりも少ない場合には、前処理部２０３は１回で前処理を施すことができるため、必ずしも２回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数に応じて、前処理部２０３が前処理を施す回数を変えることができる。
【００９２】
また、一般的に、イメージセンサは、全ての画素信号を出力する駆動モード（以下、「全画素出力モード」という）や、画素信号を加算して出力する駆動モード（以下、「画素加算モード」という）など、複数の駆動モードで駆動することができる。ここで、全画素出力モードは、静止画などの高解像度の画像を撮影する際に設定され、画素加算モードは、動画の撮影や、撮影する被写体を確認するための動画を表示デバイスに表示させる、いわゆる、ライブビュー機能の撮影を行う際に設定される。このため、例えば、イメージセンサ１００が画素加算モードで駆動され、水平方向（横方向）に画素信号が加算されることによって、画像の横幅が１／２になるなど、撮像処理部２００内の前処理部２０３に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも、イメージセンサ１００が１行分として出力する画像データのデータ数の方が少なくなる。このような場合にも、前処理部２０３は１回で前処理を施すことができるため、必ずしも２回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの駆動モードに基づいて、例えば、全画素出力モードで駆動しているとき、すなわち、静止画を撮影するモードのときには２回に分けて前処理を施し、画素加算モードで駆動しているとき、すなわち、動画やライブビューの撮影を行うモードのときにはリアルタイムに１回で前処理を施すなど、撮影する画像に応じて、前処理部２０３が前処理を施す回数を変えることができる。
【００９３】
なお、本第１の実施形態においては、イメージセンサ１００が、画像に対して水平方向（横方向）にラスタスキャンした画素信号を、画像データとして出力する場合について説明した。しかし、例えば、イメージセンサが、画像に対して垂直方向（縦方向）にラスタスキャンした画素信号を画像データとして出力する場合には、本第１の実施形態における水平方向を垂直方向として考える、つまり、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。また、本第１の実施形態においては、イメージセンサ１００から入力された画像を水平方向に分割することによって、複数回に分けて前処理を施す場合について説明したが、イメージセンサ１００から入力された画像を垂直方向に分割して複数回に分けて前処理を施す場合であっても、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。
【００９４】
なお、撮像装置においては、前処理以外の様々な処理を撮像処理部内で実行した処理データを出力する信号処理部を備えた構成であってもよい。例えば、撮像装置における撮影に関する制御を行うための評価値を処理データとして生成する評価値生成部を備えた構成であってもよい。ここで、撮影に関する制御としては、自動露出（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ：ＡＥ）、オートホワイトバランス（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ：ＡＷＢ）、自動焦点（Ａｕｔｏ  Ｆｏｃｕｓ：ＡＦ）などの制御が考えられる。このとき、評価値を生成する画像にも様々な画像が考えられ、例えば、イメージセンサの露光条件を変えて得られた複数の画像を画像合成した広ダイナミックレンジの画像などが考えられる。この場合、評価値生成部は、画像合成によって生成した広ダイナミックレンジの画像から、評価値を生成することになる。
【００９５】
＜第２の実施形態＞
次に、第２の実施形態の撮像装置について説明する。本第２の実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置１０に備えた撮像処理部２００のみが異なる。従って、本第２の実施形態の撮像装置の説明においては、第１の実施形態の撮像装置１０と同様の構成要素には同一の符号を付与し、第１の実施形態の撮像装置１０と異なる構成要素および動作のみを説明し、第１の実施形態の撮像装置１０と同様の構成要素および動作に関する詳細な説明は省略する。
【００９６】
図６は、本第２の実施形態における撮像装置の概略構成を示したブロック図である。図６に示した撮像装置１１は、イメージセンサ１００と、撮像処理部２１０と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、カードＩＦ部５００と、記録媒体５０１と、ＤＲＡＭコントローラ６００と、ＤＲＡＭ６０１と、ＣＰＵ７００と、を備えている。また、撮像装置１１内の撮像処理部２１０は、タイミング生成部２０１と、選択部２０２と、前処理部２０３と、第１のデータ転送部２０４と、第２のデータ転送部２０５と、データ取得部２０６と、選択部２１７と、評価値生成部２１８と、を備えている。また、撮像処理部２１０内のタイミング生成部２０１は、ＰＬＬ２０１１と、クロック選択部２０１２と、同期信号生成部２０１３と、を備えている。
【００９７】
撮像装置１１内の撮像処理部２１０と、画像処理部３００と、表示処理部４００と、カードＩＦ部５００と、ＤＲＡＭコントローラ６００と、ＣＰＵ７００とは、第１の実施形態の撮像装置１０と同様に、データバス８００を介してそれぞれ接続され、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。
【００９８】
イメージセンサ１００は、撮像処理部２１０から入力された水平同期信号ＨＤおよび垂直同期信号ＶＤに応じて、イメージセンサ１００自体に備えた画素をラスタスキャンし、クロック信号ＣＬＫのタイミングで、画像に対して水平方向（横方向）に順次、被写体光に応じた画素信号を、画像データとして撮像処理部２１０に出力する。また、イメージセンサ１００は、それぞれの画素の画像データを出力するタイミングであるクロック信号ＣＬＫを、撮像処理部２１０に出力する。
【００９９】
撮像処理部２１０は、第１の実施形態の撮像装置１０に備えた撮像処理部２００と同様に、イメージセンサ１００から入力された入力画像データを取り込み、取り込んだ入力画像データに対して前処理を施した前処理画像データ、および前処理を施すことができない入力画像データをそのまま、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。また、撮像処理部２１０は、第１の実施形態の撮像装置１０に備えた撮像処理部２００と同様に、撮像処理部２１０が前処理を行う際の状況に応じて、イメージセンサ１００を駆動する同期信号を、イメージセンサ１００に出力する。
【０１００】
また、撮像処理部２１０は、前処理以外の処理を行って処理データを出力する信号処理部として評価値生成部２１８を備え、ＤＲＡＭ６０１に格納されている画像データに基づいて、撮像装置１１における撮影の制御を行うための評価値を処理データとして生成し、生成した評価値を、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。以下の説明においては、撮像処理部２１０が、自動露出の評価値（以下、「ＡＥ評価値」という）およびオートホワイトバランスの評価値（以下、「ＡＷＢ評価値」という）を生成するものとして説明する。
【０１０１】
選択部２０２は、イメージセンサ１００から入力された入力画像データ、およびデータ取得部２０６から入力された画像データの出力先として、前処理部２０３または第２のデータ転送部２０５のいずれか一方または両方を選択し、入力された画像データを、選択した出力先に出力する。選択部２０２から第２のデータ転送部２０５に出力する画像データは、選択部２１７にも出力される。また、選択部２０２は、クロック選択部２０１２から入力された水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩと、クロック信号ＣＬＫＩとの出力先の構成要素を選択し、選択した構成要素のそれぞれに出力する。
【０１０２】
前処理部２０３は、選択部２０２から入力された水平同期信号ＨＤＩ、垂直同期信号ＶＤＩ、およびクロック信号ＣＬＫＩに基づいて、選択部２０２から入力された画像データに対して様々な前処理を施した前処理画像データを、第１のデータ転送部２０４および選択部２１７に出力する。
【０１０３】
選択部２１７は、評価値生成部２１８に入力する画像データを選択する。より具体的には、前処理部２０３から入力された前処理画像データ、または選択部２０２から入力された画像データのいずれか一方を、評価値生成部２１８に出力する。
【０１０４】
評価値生成部２１８は、選択部２１７から入力された画像データに基づいて、撮像装置１１によって撮影する際の露出を制御するためのＡＥ評価値を演算（生成）する。また、評価値生成部２１８は、選択部２１７から入力された画像データに基づいて、撮像装置１１によって撮影する際のホワイトバランスを制御するためのＡＷＢ評価値を演算（生成）する。そして、評価値生成部２１８は、生成したＡＥ評価値およびＡＷＢ評価値を、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。なお、評価値生成部２１８の構成や、評価値生成部２１８におけるそれぞれの評価値の演算方法および動作は、従来の撮像装置に備えた評価値生成部の構成や評価値の演算方法および動作と同様である。従って、評価値生成部２１８の構成や評価値の演算方法および動作に関する詳細な説明は省略する。
【０１０５】
なお、評価値生成部２１８が生成する評価値は、ＡＥ評価値やＡＷＢ評価値に限定されるものではなく、例えば、自動焦点の評価値（以下、「ＡＦ評価値」という）など、撮像装置１１における撮影の制御を行うための評価値であれば、いかなる評価値であってもよい。
【０１０６】
画像処理部３００は、ＤＲＡＭ６０１に格納されている前処理画像データを取得し（読み出し）、取得した前処理画像データに、ノイズ除去処理、歪曲収差補正、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、表示用の画像データや記録用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データや記録用の画像データを、再びＤＲＡＭ６０１に格納する（書き込む）。
【０１０７】
また、画像処理部３００は、ＤＲＡＭ６０１に格納されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施して、表示用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データを、再びＤＲＡＭ６０１に格納する（書き込む）。
【０１０８】
また、画像処理部３００は、ＤＲＡＭ６０１に格納されている複数の前処理画像データを取得し（読み出し）、取得したそれぞれの前処理画像データを合成する、すなわち、複数の画像を合成する画像合成処理を施して、合成画像を生成する。そして、画像処理部３００は、生成した合成画像の画像データを、再びＤＲＡＭ６０１に格納する（書き込む）。
【０１０９】
表示処理部４００は、ＤＲＡＭ６０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス４０１に出力する。
【０１１０】
表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスであり、表示処理部４００から出力された表示処理後の画像データに応じた画像を表示する。
【０１１１】
なお、表示デバイス４０１は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ：電子ビューファインダ）などの表示デバイスや、テレビなどの外部ディスプレイであってもよい。また、図６においては、表示デバイス４０１も撮像装置１０の構成要素としているが、表示デバイス４０１は、撮像装置１１に着脱可能な構成であってもよい。
【０１１２】
カードＩＦ部５００は、ＤＲＡＭ６０１に記録されている記録用の画像データを取得し（読み出し）、取得した記録用の画像データを記録媒体５０１に記録させる。また、カードＩＦ部５００は、記録媒体５０１に記録している画像データを読み出し、読み出した画像データを、ＤＲＡＭ６０１に転送する（書き込む）。
【０１１３】
記録媒体５０１は、ＳＤメモリカード（ＳＤ  Ｍｅｍｏｒｙ  Ｃａｒｄ）やコンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ（登録商標））などの記録媒体であり、カードＩＦ部５００から出力された記録用の画像データを記録する。また、カードＩＦ部５００によって記録している画像データが読み出される。なお、図６においては、記録媒体５０１も撮像装置１１の構成要素としているが、記録媒体５０１は、撮像装置１１に着脱可能な構成である。
【０１１４】
ＣＰＵ７００は、撮像装置１１の構成要素、すなわち、撮像装置１１全体を制御する。例えば、ＣＰＵ７００は、撮像装置１１における撮影動作や再生動作に応じて、撮像装置１１内の各構成要素の動作を制御する。例えば、ＣＰＵ７００は、撮像装置１１が撮影動作を行う際に、イメージセンサ１００からの画像データの出力の開始、撮像処理部２１０による画像データの取り込みの開始を制御する。
【０１１５】
また、ＣＰＵ７００は、撮像処理部２１０内の選択部２０２による画像データの出力先の選択の制御や、第１のデータ転送部２０４および第２のデータ転送部２０５による画像データの転送の設定や、データ取得部２０６の設定や、選択部２１７による評価値生成部２１８に出力する画像データの選択の制御や、評価値生成部２１８による評価値の生成の制御を行う。
【０１１６】
このような構成によって、本第２の実施形態の撮像装置１１では、第１の実施形態の撮像装置１０と同様に、リアルタイムに入力される画像データに対する直接的な（ダイレクトな）様々な前処理、およびＤＲＡＭ６０１に格納されている画像データに対する様々な前処理を施すことができる。また、本第２の実施形態の撮像装置１１では、様々な前処理に加えて、データ取得部２０６が取得したＤＲＡＭ６０１に格納されている画像データに基づいた、撮像装置１１における撮影の制御を行うための評価値を生成することができる。
【０１１７】
なお、図６に示した撮像装置１１では、前処理部２０３と評価値生成部２１８とが異なる構成要素である場合について説明したが、前処理部２０３の機能と評価値生成部２１８の機能とを備えた１つの信号処理部として構成されていてもよい。そして、例えば、前処理画像データを第１のデータ転送部２０４がＤＲＡＭ６０１に格納し（書き込み）、ＡＥ評価値やＡＷＢ評価値を第２のデータ転送部２０５がＤＲＡＭ６０１に転送する（書き込む）構成にしてもよい。また、ＡＥ評価値やＡＷＢ評価値をＤＲＡＭ６０１に転送する（書き込む）第３のデータ転送部を備えた構成にすることもできる。この場合、前処理画像データおよびＡＥ評価値やＡＷＢ評価値を対応するデータ転送部に出力する選択部を備える構成であることが考えられる。
【０１１８】
次に、撮像装置１１において、イメージセンサ１００から出力される画像データに対して前処理を施す動作、および評価値を生成する動作の一例について説明する。以下の説明においては、イメージセンサ１００の露光条件を変えて撮影した２枚の画像データに基づいて評価値を生成する場合の一例について説明する。なお、イメージセンサ１００の露光条件は、それぞれの画像データを得るための露光時間であるものとし、説明を容易にするため、短い露光時間（以下、「短露光」という）、および長い露光時間（以下、「長露光」）とする。また、以下の説明においては、説明を容易にするため、イメージセンサ１００の水平方向（横方向）の画素数が、撮像処理部２１０に備えた前処理部２０３が１回で前処理を施すことができる水平方向（横方向）の画素数よりも少ない場合について説明する。つまり、イメージセンサ１００が１行毎に出力する水平方向（横方向）の入力画像データのデータ数が、前処理部２０３に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも少なく、前処理部２０３は、１回で全ての入力画像データに対する前処理を施すことができる場合の動作について説明する。そして、撮像処理部２１０が、どのように評価値を生成するのかの動作について説明する。
【０１１９】
図７〜図９は、本第２の実施形態の撮像装置１１による前処理および評価値の生成の動作の一例を模式的に示した図である。図７〜図９に示した撮像装置１１の動作は、イメージセンサ１００の露光時間を変えて取得した２枚の画像のそれぞれを一旦ＤＲＡＭ６０１に格納した後、画像処理部３００がＤＲＡＭ６０１に格納されたそれぞれの画像を合成した１枚の合成画像を生成して再びＤＲＡＭ６０１に格納し、ＤＲＡＭ６０１に格納された合成画像に基づいて評価値を生成する場合の動作の一例である。図７には、撮像装置１１が、イメージセンサ１００の露光時間を変えて２枚の画像を取得する第１の動作の一例を示している。また、図８には、撮像装置１１が、取得した２枚の画像のそれぞれを合成した合成画像を生成する第２の動作の一例を示している。また、図９には、撮像装置１１は、生成した合成画像に基づいて評価値を生成する第３の動作の一例を示している。
【０１２０】
＜第１の動作＞
第１の動作では、イメージセンサ１００から出力される２枚の画像の入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。この第１の動作は、撮像処理部２１０が、イメージセンサ１００のタイミングを基準として前処理を行う動作である。図７には、図６に示した撮像装置１１のブロック図上に、第１の動作における同期信号およびクロック信号の経路と、入力画像データに対して前処理を施す経路とを示している。
【０１２１】
まず、第１の動作では、図２に示した第１の実施形態の撮像装置１０の第１の動作と同様に、同じ同期信号をイメージセンサ１００と選択部２０２とに出力すると共に、イメージセンサ１００から入力されたクロック信号ＣＬＫを選択部２０２に出力する。より具体的には、図７に示した経路ＴＳ１の同期信号の経路で、同期信号生成部２０１３が生成した、イメージセンサ１００を駆動するための水平同期信号ＨＤおよび垂直同期信号ＶＤをイメージセンサ１００に出力すると共に、同じ同期信号を水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩとして、選択部２０２に出力する。また、図７に示した経路ＴＣ１のクロック信号の経路で、クロック選択部２０１２が選択した、イメージセンサ１００から入力されたクロック信号ＣＬＫを、クロック信号ＣＬＫＩとして選択部２０２に出力する。
【０１２２】
そして、第１の動作では、図２に示した第１の実施形態の撮像装置１０の第１の動作と同様に、イメージセンサ１００から出力された入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。なお、第１の動作における前処理画像データのＤＲＡＭ６０１への転送（書き込み）は、図７に示した経路Ｃ１１の画像データの経路で、イメージセンサ１００の露光時間を変えて取得するそれぞれの画像毎に２回行う。これにより、ＤＲＡＭ６０１には、露光時間を変えて取得した短露光および長露光のそれぞれの画像に対して前処理を施した後の２枚の画像の前処理画像データが格納される。
【０１２３】
より具体的には、イメージセンサ１００が短露光で１枚の画像を撮影し、撮影した短露光の画像の入力画像データ（以下、「短露光入力画像データ」という）を、クロック信号ＣＬＫに同期したタイミングで撮像処理部２１０に出力する。撮像処理部２１０では、イメージセンサ１００から入力された短露光入力画像データをクロック信号ＣＬＫに同期したタイミングで取り込み、取り込んだ短露光入力画像データがクロック信号ＣＬＫに同期したタイミングで順次、撮像処理部２１０内の選択部２０２に入力される。そして、選択部２０２は、入力された短露光入力画像データを、クロック信号ＣＬＫに同期したタイミングで前処理部２０３に順次出力する。
【０１２４】
前処理部２０３は、選択部２０２から順次入力された短露光入力画像データに対して前処理を施し、前処理を施した後の短露光の画像の前処理画像データ（以下、「短露光前処理画像データ」という）をクロック信号ＣＬＫに同期したタイミングで順次、第１のデータ転送部２０４に出力する。そして、第１のデータ転送部２０４は、前処理部２０３から順次入力された短露光前処理画像データを、クロック信号ＣＬＫに同期したタイミングでＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の短露光前処理画像データが格納される。
【０１２５】
続いて、イメージセンサ１００が長露光で１枚の画像を撮影し、撮影した長露光の画像の入力画像データ（以下、「長露光入力画像データ」という）を、クロック信号ＣＬＫに同期したタイミングで撮像処理部２１０に出力する。撮像処理部２１０では、イメージセンサ１００から入力された長露光入力画像データをクロック信号ＣＬＫに同期したタイミングで取り込み、取り込んだ長露光入力画像データがクロック信号ＣＬＫに同期したタイミングで順次、撮像処理部２１０内の選択部２０２に入力される。そして、選択部２０２は、入力された長露光入力画像データを、クロック信号ＣＬＫに同期したタイミングで前処理部２０３に順次出力する。
【０１２６】
前処理部２０３は、選択部２０２から順次入力された長露光入力画像データに対して前処理を施し、前処理を施した後の長露光の画像の前処理画像データ（以下、「長露光前処理画像データ」という）をクロック信号ＣＬＫに同期したタイミングで順次、第１のデータ転送部２０４に出力する。そして、第１のデータ転送部２０４は、前処理部２０３から順次入力された長露光前処理画像データを、クロック信号ＣＬＫに同期したタイミングでＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の長露光前処理画像データが格納される。
【０１２７】
このように、第１の動作では、イメージセンサ１００のタイミングを基準として、イメージセンサ１００が出力した短露光の画像に対して前処理を施した短露光前処理画像データと、イメージセンサ１００が出力した長露光の画像に対して前処理を施した長露光前処理画像データを、ＤＲＡＭ６０１に格納する。
【０１２８】
なお、第１の動作においても、前処理部２０３が第１のデータ転送部２０４に出力する前処理画像データを選択部２１７にも出力し、選択部２１７が入力された前処理画像データを評価値生成部２１８に出力することによって、評価値生成部２１８が入力された前処理画像データ基づいた評価値を生成するようにすることができる。これにより、ＤＲＡＭ６０１に、短露光前処理画像データや長露光前処理画像データに基づいた評価値を格納することができる。
【０１２９】
＜第２の動作＞
その後、撮像装置１１は、第１の動作で前処理を施した２枚の画像の前処理画像データを合成した合成画像を生成して、再度ＤＲＡＭ６０１に転送する（書き込む）。図８には、図６に示した撮像装置１１のブロック図上に、第２の動作におけるデータの経路を示している。
【０１３０】
なお、この第２の動作は、撮像装置１１に備えた画像処理部３００が、ＤＲＡＭ６０１に格納されている短露光前処理画像データと長露光前処理画像データとに基づいて画像合成処理を施す動作である。つまり、撮像処理部２１０と異なる構成要素が動作する。従って、第２の動作の期間中の撮像処理部２１０が基準とするタイミングに関しては、何ら限定しない。このため、第２の動作においては、タイミング生成部２０１が生成した水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩを、水平同期信号ＨＤおよび垂直同期信号ＶＤとしてイメージセンサ１００に出力しないことによって、イメージセンサ１００を撮像処理部２１０から切り離した状態と同等の状態にし、イメージセンサ１００の消費電力を低減することができる。
【０１３１】
第２の動作では、図８に示した経路Ｃ２２の画像データの経路で、ＤＲＡＭ６０１に格納されている短露光前処理画像データと長露光前処理画像データとを合成した合成画像の前処理画像データ（以下、「合成前処理画像データ」という）を、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、第２の動作において、画像処理部３００が、ＤＲＡＭ６０１に格納されている短露光前処理画像データを、ＤＲＡＭコントローラ６００を介して順次取得し（読み出し）、続いて、ＤＲＡＭ６０１に格納されている長露光前処理画像データを、ＤＲＡＭコントローラ６００を介して順次取得する（読み出す）。そして、画像処理部３００は、取得した短露光前処理画像データと長露光前処理画像データとの２枚の画像を合成する画像合成処理を施し、画像合成処理を施して生成した１枚の合成画像の合成前処理画像データを、ＤＲＡＭコントローラ６００を介して再度ＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、画像合成処理を施した後の合成画像の合成前処理画像データが格納される。
【０１３２】
＜第３の動作＞
その後、撮像装置１１は、第３の動作で画像合成処理を施した合成画像の前処理画像データに基づいて生成した評価値を、ＤＲＡＭ６０１に転送する（書き込む）。この第３の動作は、撮像処理部２１０が、撮像処理部２１０の内部のタイミングを基準として評価値を生成する動作である。図９には、図６に示した撮像装置１１のブロック図上に、第３の動作（第３の動作）における同期信号およびクロック信号の経路と、合成画像の前処理画像データに基づいて評価値を生成する経路とを示している。
【０１３３】
まず、第３の動作では、図３に示した第１の実施形態の撮像装置１０の第２の動作と同様に、同期信号生成部２０１３が生成した同期信号を選択部２０２に出力すると共に、ＰＬＬ２０１１が生成したクロック信号を選択部２０２に出力する。より具体的には、図９に示した経路ＴＳ２の同期信号の経路で、同期信号生成部２０１３が生成した、撮像処理部２１０の内部のタイミングでそれぞれの構成要素が画像データに対して処理を施す際に用いる水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩを、選択部２０２に出力する。また、図９に示した経路ＴＣ２のクロック信号の経路で、クロック選択部２０１２が選択した、ＰＬＬ２０１１が生成したクロック信号を、クロック信号ＣＬＫＩとして選択部２０２に出力する。
【０１３４】
なお、第３の動作では、図３に示した第１の実施形態の撮像装置１０の第２の動作と同様に、タイミング生成部２０１は、生成した水平同期信号ＨＤＩおよび垂直同期信号ＶＤＩを、水平同期信号ＨＤおよび垂直同期信号ＶＤとしてイメージセンサ１００に出力しない。これにより、第３の動作でも、イメージセンサ１００を撮像処理部２１０から切り離した状態と同等の状態ににし、イメージセンサ１００の消費電力を低減することができる。
【０１３５】
そして、第３の動作では、図９に示した経路Ｃ２３の画像データの経路で、ＤＲＡＭ６０１に格納されている合成画像の合成前処理画像データに基づいて生成した評価値をＤＲＡＭ６０１に転送する（書き込む）。
【０１３６】
より具体的には、第３の動作において、データ取得部２０６が、ＤＲＡＭ６０１に格納されている合成前処理画像データを、クロック信号ＣＬＫＩに同期したタイミングで順次取得し（読み出し）、取得した合成前処理画像データをクロック信号ＣＬＫＩに同期したタイミングで順次、選択部２０２に出力する。そして、選択部２０２は、入力された合成前処理画像データを、クロック信号ＣＬＫＩに同期したタイミングで選択部２１７に順次出力する。そして、選択部２１７は、入力された合成前処理画像データを、クロック信号ＣＬＫＩに同期したタイミングで評価値生成部２１８に順次出力する。
【０１３７】
評価値生成部２１８は、選択部２１７から順次入力された合成前処理画像データに基づいて、ＡＥ評価値とＡＷＢ評価値とを演算（生成）し、生成したＡＥ評価値とＡＷＢ評価値とのそれぞれを、クロック信号ＣＬＫＩに同期したタイミングでＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、合成画像の合成前処理画像データに基づいたＡＥ評価値とＡＷＢ評価値とのそれぞれが格納される。
【０１３８】
このように、第３の動作では、撮像処理部２１０の内部のタイミングを基準として、画像処理部３００が画像合成処理によって生成した合成画像に基づいた評価値を、ＤＲＡＭ６０１に格納する。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が短露光で撮影した１枚の短露光入力画像データに対して前処理を施した短露光前処理画像データと、イメージセンサ１００が長露光で撮影した１枚の長露光入力画像データに対して前処理を施した長露光前処理画像データと、短露光前処理画像データと長露光前処理画像データとを合成した合成前処理画像データと、合成前処理画像データに基づいて生成した評価値とが格納される。
【０１３９】
このように、撮像装置１１では、第１の動作で、イメージセンサ１００のタイミングを基準として、イメージセンサ１００が出力した画像に対して前処理を施し、第３の動作で、撮像処理部２１０の内部のタイミングを基準として、ＤＲＡＭ６０１に格納された合成画像に基づいて評価値を生成する。このとき、撮像装置１１では、第３の動作におけるクロック信号ＣＬＫＩの周波数を、撮像処理部２１０が合成前処理画像データに基づいた評価値の生成を完了することが可能な周波数に調整する。これにより、撮像装置１１では、第３の動作におけるＤＲＡＭ６０１へのアクセスを平均化し、第３の動作でデータバス８００上を流れる画像データが一部の期間に集中してデータバス８００のバス帯域を圧迫してしまうことを抑えることができる。
【０１４０】
なお、撮像装置１１におけるデータバス８００のバス帯域は、図５に示した第１の実施形態の撮像装置１０におけるバス帯域を平均化する場合の動作と同様に考えることができるため、詳細な説明は省略する。
【０１４１】
上記に述べたとおり、本第２の実施形態の撮像装置１１でも、イメージセンサ１００のタイミングを基準とする動作と、撮像処理部２１０の内部のタイミングを基準とする動作とで、同期信号およびクロック信号を切り替える。より具体的には、イメージセンサ１００から入力された全ての入力画像データが欠損することなく処理するためにリアルタイムに前処理を施す第１の動作と、ＤＲＡＭ６０１に格納されている画像データに基づいて評価値を生成する第３の動作とで、基準とする同期信号およびクロック信号を切り替える。
【０１４２】
これにより、本第２の実施形態の撮像装置１１でも、第１の実施形態の撮像装置１０と同様に、撮像処理部２１０の内部のタイミングを基準として動作している期間におけるデータバス８００のバス帯域を平均化することができ、撮像装置１１に備えた他の構成要素の動作が制限されてしまうような、バス帯域の圧迫を抑えることができる。このことにより、本第２の実施形態の撮像装置１１でも、第１の実施形態の撮像装置１０と同様に、撮像装置１１に備えたそれぞれの構成要素で、データバス８００を効率的に使用することができる。
【０１４３】
また、本第２の実施形態の撮像装置１１では、イメージセンサ１００から入力された画像に対する前処理に加えて、画像処理部３００が画像処理した画像データ（本第２の実施形態の動作の一例では、短露光の前処理画像データと長露光の前処理画像データとを画像合成処理した広ダイナミックレンジの１枚の前処理画像データ）に基づいて評価値を生成することができる。より具体的には、第３の動作において、撮像装置１１は、ＤＲＡＭ６０１に格納された合成前処理画像データに基づいて評価値を生成することができる。そして、撮像処理部２１０が内部のタイミングを基準として動作している第３の動作の期間における動作のタイミングを遅くすることによって、本第２の実施形態の撮像装置１１でも、低速で動作することによる消費電力や発熱量の低減などの効果を期待することができる。
【０１４４】
また、本第２の実施形態の撮像装置１１では、撮像処理部２１０がイメージセンサ１００のタイミングを基準として動作していない第２の動作および第３の動作の期間中は、イメージセンサ１００を駆動するための垂直同期信号ＶＤおよび水平同期信号ＨＤをイメージセンサ１００に出力しないようにすることができる。これにより、本第２の実施形態の撮像装置１１では、イメージセンサ１００のタイミングと異なるタイミングで処理を施すことができる期間中、イメージセンサ１００の動作を停止した状態にすることができ、イメージセンサ１００の消費電力も低減することができる。
【０１４５】
なお、本第２の実施形態の撮像装置１１では、評価値を生成する画像処理部３００が生成した画像が、画像合成処理を施した合成画像である場合について説明したが、評価値を生成する画像は、画像合成処理を施した合成がのみに限定されるものではない。例えば、画像の明るさを調整するためのゲイン調整を行った画像や、その他の様々な画像処理が施された画像であっても同様に、本発明の考え方を適用することができる。
【０１４６】
また、本第２の実施形態の撮像装置１１の動作の説明では、イメージセンサ１００の水平方向（横方向）の入力画像データのデータ数が、撮像処理部２１０に備えた前処理部２０３に備えたラインメモリが保持することができる画像データのデータ数よりも少なく、前処理部２０３が１回で全ての入力画像データに対する前処理を施すことができる場合の動作について説明した。しかし、イメージセンサ１００の水平方向（横方向）の入力画像データのデータ数が、前処理部２０３に備えたラインメモリに保持することができる画像データのデータ数よりも多い場合もある。この場合には、本第２の実施形態の撮像装置１１においても、第１の実施形態の撮像装置１０と同様に、前処理を施すことができるデータ量の範囲で複数回に分けて前処理を施し、画像の全ての領域に対する前処理が完了した後に、画像処理部３００が画像処理を施してから評価値を生成する動作にすることによって同様に考えることができる。なお、この場合におけるオーバーラップ領域を設けた処理、前処理を実行する回数、画像の領域を分けた場合に前処理を実行する順番、イメージセンサ１００が入力画像データを出力する方向および画像を分割する方向に応じた前処理を施す方向の考え方などは、第１の実施形態の撮像装置１０と同様である。
【０１４７】
なお、本第２の実施形態の撮像装置１１では、前処理以外の処理を行う信号処理部として、評価値生成部２１８を撮像処理部２１０内に備える構成について説明した。しかし、信号処理部は、本第２の実施形態で示した構成に限定されるものではなく、評価値の生成以外の処理を行う信号処理部を備えた場合であっても同様に、本発明の考え方を適用することができる。
【０１４８】
上記に述べたとおり、本発明を実施するための形態では、撮像装置に備えた撮像処理部が複数の処理を行う際のタイミングを出力する構成として、タイミング生成部を設けた。そして、本発明を実施するための形態では、撮像装置に備えた撮像処理部が複数の処理を行う際に、イメージセンサのタイミングを基準とする動作と、撮像処理部の内部のタイミングを基準とする動作とで、撮像処理部が動作するタイミング（本実施形態においては同期信号およびクロック信号）を切り替えるようにした。より具体的には、イメージセンサから入力された入力画像データに対してリアルタイムに処理を行う際には、イメージセンサのタイミングを基準として動作し、イメージセンサのタイミングと異なるタイミングで処理を行う際には、撮像処理部内で生成したタイミングを基準として動作するようにした。これにより、本発明を実施するための形態では、処理期間内のバス帯域の圧迫を抑えた最適なタイミングで複数の処理を実行することができ、データバスを効率的に使用することができる。
【０１４９】
また、本発明を実施するための形態では、撮像処理部の内部のタイミングを基準として動作する場合のタイミングを、イメージセンサのタイミングを基準として動作する場合のタイミングよりも遅くする。これにより、本発明を実施するための形態では、撮像装置に備えたデータバスのバス帯域の圧迫を抑えると共に、撮像装置の消費電力や発熱量を低減することができる。また、本発明を実施するための形態では、撮像処理部の内部のタイミングを基準として動作しているときに、イメージセンサの動作を停止した状態にする。これにより、本発明を実施するための形態では、イメージセンサの消費電力も低減することができる。
【０１５０】
なお、本実施形態においては、イメージセンサのタイミングと異なるタイミングで処理を行う際のタイミングを、イメージセンサから入力された入力画像データに対してリアルタイムに処理を行う際のタイミングよりも遅くすることによって、バス帯域の圧迫を抑えると共に、本実施形態の撮像装置が低速で動作することによる消費電力や発熱量の低減などの効果を期待する場合について説明した。しかし、例えば、撮像装置に備えたデータバスのバス帯域に余裕がある場合には、逆に、イメージセンサと異なるタイミングで処理を行う際のタイミングを、イメージセンサのタイミングよりも速くすることもできる。この場合には、イメージセンサと異なるタイミングで行う処理の処理時間を短くすることができ、撮像装置の処理速度を高速化することができる。このように、本実施形態においては、撮像装置に望まれている性能を実現するための最適なタイミング、すなわち、最適なバス帯域で、それぞれの処理を実行させることができる。
【０１５１】
なお、本実施形態においては、画像処理部が画像処理した画像データに対して行う前処理以外の処理が、撮像装置における撮影に関する制御を行うための評価値を生成する評価値生成の処理である場合について説明した。しかし、画像処理部が画像処理した後の画像データに対する処理の内容は、本発明を実施するための形態に限定されるものではなく、例えば、画像処理した後の画像を縮小した縮小画像を生成するリサイズ処理など、その他の様々な処理であっても同様に、本発明の考え方を適用することができる。
【０１５２】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１５３】
１０，１１・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００，２１０・・・撮像処理部
２０１・・・タイミング生成部
２０１１・・・ＰＬＬ（タイミング生成部，クロック信号生成部）
２０１２・・・クロック選択部（タイミング生成部，クロック選択部）
２０１３・・・同期信号生成部（タイミング生成部，同期信号生成部）
２０２・・・選択部（撮像処理部，選択部）
２０３・・・前処理部（撮像処理部，処理部，前処理部）
２０４・・・第１のデータ転送部（撮像処理部，データ転送部，第１のデータ転送部）
２０５・・・第２のデータ転送部（撮像処理部，データ転送部，第２のデータ転送部）
２０６・・・データ取得部（撮像処理部，データ取得部）
２１７・・・選択部（撮像処理部，選択部）
２１８・・・評価値生成部（撮像処理部，処理部，信号処理部，評価値生成部）
３００・・・画像処理部
４００・・・表示処理部
４０１・・・表示デバイス
５００・・・カードＩＦ部
５０１・・・記録媒体
６００・・・ＤＲＡＭコントローラ（記憶部）
６０１・・・ＤＲＡＭ（記憶部）
７００・・・ＣＰＵ
８００・・・データバス
【図１】
2015053643.tif 000003
【図２】
2015053643.tif 000004
【図３】
2015053643.tif 000005
【図４】
2015053643.tif 000006
【図５】
2015053643.tif 000007
【図６】
2015053643.tif 000008
【図７】
2015053643.tif 000009
【図８】
2015053643.tif 000010
【図９】
2015053643.tif 000011
【図１０】
2015053643.tif 000012