(57)【要約】【課題】固体撮像装置の画素数が増大した場合でも、固体撮像装置から出力される画素信号に対して直接的に空間フィルタ処理を行うことができる撮像装置を提供する。【解決手段】複数の画素を有し、結像した被写体の画像に応じた画素信号を画像データとして出力する固体撮像装置と、固体撮像装置から入力された画像データの一部に対して前処理を施した前処理画像データと、固体撮像装置から入力された残りの画像データである元画像データとを出力する撮像処理部と、前処理画像データと、元画像データとを格納する記憶部と、を備える。【選択図】図１
2015053644.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有し、結像した被写体の画像に応じた画素信号を画像データとして出力する固体撮像装置と、
前記固体撮像装置から入力された前記画像データの一部に対して前処理を施した前処理画像データと、該固体撮像装置から入力された残りの前記画像データである元画像データとを出力する撮像処理部と、
前記前処理画像データと、前記元画像データとを格納する記憶部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像処理部は、
前記画像における第１の方向の前記画像データのデータ数よりも少ない量の前記画像データを保持するラインメモリを具備し、該ラインメモリが保持することができる前記画像データのデータ数の範囲内で分割した該画像の前記画像データに対して前処理を施した前記前処理画像データを出力する前処理部と、
前記前処理画像データを前記記憶部に転送する第１のデータ転送部と、
前記前処理部が前処理を施すことができなかった前記画像における第１の方向の前記画像データを、前記元画像データとして前記記憶部に転送する第２のデータ転送部と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像処理部は、さらに、
前記記憶部に格納された画像データを取得するデータ取得部と、
前記固体撮像装置から入力された前記画像データまたは前記データ取得部が取得した画像データを、前記前処理部および前記第２のデータ転送部の少なくとも一方に出力する選択部と、
を備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像処理部は、
第１の動作において、前記前処理部が、前記ラインメモリが保持することができる前記画像データのデータ数の範囲内で前記画像を分割した第１の画像の前記画像データに対して前処理を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記前処理部が前処理を施すことができなかった該画像を分割した第２の画像の前記画像データを第１の元データとして、前記第２のデータ転送部によって前記記憶部に転送し、
前記第１の動作が完了した後の第２の動作において、前記データ取得部が、前記記憶部に格納された前記第１の元データを取得し、前記選択部が該第１の元データを前記前処理部に出力し、前記前処理部が、該第１の元データに対して前処理を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像処理部は、さらに、
前記前処理画像データを変換する変換処理を行い、変換処理を実行した変換画像データを出力する変換部、
を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記変換部は、
前記前処理画像データに対応する画像を、前記第１の方向、および該第１の方向と直交する第２の方向に予め定めた大きさの画像にリサイズ処理し、該リサイズ処理した画像の前記変換画像データを出力するリサイズ部である、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像処理部は、
第１の動作において、前記前処理部が、前記ラインメモリが保持することができる前記画像データのデータ数の範囲内で前記画像を分割した第１の画像の前記画像データに対して前処理を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記前処理部が前処理を施すことができなかった該画像を分割した第２の画像の前記画像データを第１の元データとして、前記第２のデータ転送部によって前記記憶部に転送し、
前記第１の動作が完了した後の第２の動作において、前記データ取得部が、前記記憶部に格納された前記第１の元データを取得し、前記選択部が該第１の元データを前記前処理部に出力し、前記前処理部が、該第１の元データに対して前処理を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記リサイズ部が、前記第２の前処理画像データに対してリサイズ処理した第１の変換画像データを、前記第２のデータ転送部によって前記記憶部に転送し、
前記第２の動作が完了した後の第３の動作において、前記データ取得部が、前記記憶部に格納された前記第１の前処理画像データを取得し、前記選択部が該第１の前処理画像データを前記リサイズ部に出力し、該リサイズ部が、前記第１の前処理画像データに対してリサイズ処理した第２の変換画像データを、前記第２のデータ転送部によって前記記憶部に転送する、
ことを特徴とする請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置における撮影では、撮像装置に備えた固体撮像装置から出力されたそれぞれの画素の信号（以下、「画素信号」という）に対して、空間フィルタ処理などの処理が行われる。一般的に、固体撮像装置は、画素をラスタスキャンし、画像に対して水平方向（横方向）に画素信号を順次出力する。このように出力される画素信号に対して直接的に空間フィルタ処理を行う場合、撮像装置に備えられ、空間フィルタ処理を実行する画像処理装置には、固体撮像装置が出力する水平方向（横方向）の画素信号を、空間フィルタ処理に必要な行数分だけ一時的に記憶するラインメモリを備えている必要がある（図９参照）。
【０００３】
例えば、図９（ａ）に示したように、画像に対して３×３画素の空間フィルタ処理を行う場合、画像処理装置は、３行×３列の画像データを同時に処理する。このため、画像処理装置には、図９（ｂ）に示したように、画像の水平方向（横方向）の画素信号を１行分保持しておくラインメモリを２つ備える必要がある。図９には、横幅、つまり、水平方向（横方向）の画像サイズが６０００画素の画像に対応した、６０００画素分のラインメモリを２つ備えた構成の一例を示している。
【０００４】
近年の撮像装置では、撮影する画像の高解像度化に伴って固体撮像装置の画素数が増加し、固体撮像装置の水平方向（横方向）の画素数も年々増加している。このため、画像処理装置では、空間フィルタ処理において対応する水平方向（横方向）の画素数に応じて、それぞれのラインメモリの記憶容量が増加することになる。この画像処理装置におけるラインメモリの記憶容量の増加は、撮像装置の回路規模が増大する要因となってしまう。
【０００５】
例えば、図９（ｂ）に示した構成において、横幅が１００００画素の画像に対応する場合を考える。この場合、それぞれのラインメモリの記憶容量を１００００画素分にすることによって、水平方向（横方向）の画像サイズが１００００画素の画像に対応することができる。しかし、ラインメモリの記憶容量を１００００画素分にすると、その分だけ回路規模が増大してしまう。
【０００６】
そこで、例えば、特許文献１のような、１枚の画像に対する画像処理を複数回に分けて実行する画像処理装置の技術が開示されている。特許文献１で開示された技術では、固体撮像装置から出力された画素信号を、画像処理装置の外部に備えたフレームメモリに一旦格納し、その後、処理に必要な画素信号をフレームメモリから読み出しながら、複数回の画像処理を行って１枚の画像を生成する。つまり、特許文献１で開示された技術では、１枚の画像を複数のブロックに分割し、分割したブロックの数と同じ回数の画像処理を実行することによって、１枚の画像を生成している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４１７９７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１で開示された従来の画像処理装置では、固体撮像装置から出力された全ての画素信号を外部のフレームメモリに一旦格納した後に、処理に必要な画素信号を、分割したブロック毎にフレームメモリから読み出しながら画像処理を行っている。このため、特許文献１で開示されたような従来の画像処理装置を備える撮像装置には、多くの記憶容量を持つフレームメモリを搭載する必要がある。また、特許文献１で開示されたような従来の画像処理装置では、固体撮像装置から出力される画素信号に対して直接的に空間フィルタ処理を行うことができず、空間フィルタ処理に多くの時間を要してしまうという問題がある。
【０００９】
本発明は、上記の課題認識に基づいてなされたものであり、固体撮像装置の画素数が増大した場合でも、固体撮像装置から出力される画素信号に対して直接的に空間フィルタ処理を行うことができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明の撮像装置は、複数の画素を有し、結像した被写体の画像に応じた画素信号を画像データとして出力する固体撮像装置と、前記固体撮像装置から入力された前記画像データの一部に対して前処理を施した前処理画像データと、該固体撮像装置から入力された残りの前記画像データである元画像データとを出力する撮像処理部と、前記前処理画像データと、前記元画像データとを格納する記憶部と、を備えることを特徴とする。
【００１１】
また、本発明の前記撮像処理部は、前記画像における第１の方向の前記画像データのデータ数よりも少ない量の前記画像データを保持するラインメモリを具備し、該ラインメモリが保持することができる前記画像データのデータ数の範囲内で分割した該画像の前記画像データに対して前処理を施した前記前処理画像データを出力する前処理部と、前記前処理画像データを前記記憶部に転送する第１のデータ転送部と、前記前処理部が前処理を施すことができなかった前記画像における第１の方向の前記画像データを、前記元画像データとして前記記憶部に転送する第２のデータ転送部と、を備えることを特徴とする。
【００１２】
また、本発明の前記撮像処理部は、さらに、前記記憶部に格納された画像データを取得するデータ取得部と、前記固体撮像装置から入力された前記画像データまたは前記データ取得部が取得した画像データを、前記前処理部および前記第２のデータ転送部の少なくとも一方に出力する選択部と、を備えることを特徴とする。
【００１３】
また、本発明の前記撮像処理部は、第１の動作において、前記前処理部が、前記ラインメモリが保持することができる前記画像データのデータ数の範囲内で前記画像を分割した第１の画像の前記画像データに対して前処理を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記前処理部が前処理を施すことができなかった該画像を分割した第２の画像の前記画像データを第１の元データとして、前記第２のデータ転送部によって前記記憶部に転送し、前記第１の動作が完了した後の第２の動作において、前記データ取得部が、前記記憶部に格納された前記第１の元データを取得し、前記選択部が該第１の元データを前記前処理部に出力し、前記前処理部が、該第１の元データに対して前処理を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送する、ことを特徴とする。
【００１４】
また、本発明の前記撮像処理部は、さらに、前記前処理画像データを変換する変換処理を行い、変換処理を実行した変換画像データを出力する変換部、を備えることを特徴とする。
【００１５】
また、本発明の前記変換部は、前記前処理画像データに対応する画像を、前記第１の方向、および該第１の方向と直交する第２の方向に予め定めた大きさの画像にリサイズ処理し、該リサイズ処理した画像の前記変換画像データを出力するリサイズ部である、ことを特徴とする。
【００１６】
また、本発明の前記撮像処理部は、第１の動作において、前記前処理部が、前記ラインメモリが保持することができる前記画像データのデータ数の範囲内で前記画像を分割した第１の画像の前記画像データに対して前処理を施した第１の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記前処理部が前処理を施すことができなかった該画像を分割した第２の画像の前記画像データを第１の元データとして、前記第２のデータ転送部によって前記記憶部に転送し、前記第１の動作が完了した後の第２の動作において、前記データ取得部が、前記記憶部に格納された前記第１の元データを取得し、前記選択部が該第１の元データを前記前処理部に出力し、前記前処理部が、該第１の元データに対して前処理を施した第２の前処理画像データを、前記第１のデータ転送部によって前記記憶部に転送すると共に、前記リサイズ部が、前記第２の前処理画像データに対してリサイズ処理した第１の変換画像データを、前記第２のデータ転送部によって前記記憶部に転送し、前記第２の動作が完了した後の第３の動作において、前記データ取得部が、前記記憶部に格納された前記第１の前処理画像データを取得し、前記選択部が該第１の前処理画像データを前記リサイズ部に出力し、該リサイズ部が、前記第１の前処理画像データに対してリサイズ処理した第２の変換画像データを、前記第２のデータ転送部によって前記記憶部に転送する、ことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、固体撮像装置の画素数が増大した場合でも、固体撮像装置から出力される画素信号に対して直接的に空間フィルタ処理を行うことができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示したブロック図である。
【図２】本第１の実施形態の撮像装置による空間フィルタ処理における第１の動作の一例を模式的に示した図である。
【図３】本第１の実施形態の撮像装置による空間フィルタ処理における第２の動作の一例を模式的に示した図である。
【図４】本第１の実施形態の撮像装置によって空間フィルタ処理を行う画像の一例を説明する図である。
【図５】本発明の第２の実施形態における撮像装置の概略構成を示したブロック図である。
【図６】本第２の実施形態の撮像装置による空間フィルタ処理における第１の動作の一例を模式的に示した図である。
【図７】本第２の実施形態の撮像装置による空間フィルタ処理における第２の動作の一例を模式的に示した図である。
【図８】本第２の実施形態の撮像装置による空間フィルタ処理における第３の動作の一例を模式的に示した図である。
【図９】従来の撮像装置における空間フィルタ処理および空間フィルタ処理を実行する概略構成を示した図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、カードＩＦ（インターフェース）部５００と、記録媒体５０１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）コントローラ６００と、ＤＲＡＭ６０１と、ＣＰＵ７００と、を備えている。また、撮像装置１０内の撮像処理部２００は、選択部２０１と、前処理部２０２と、第１のデータ転送部２０３と、第２のデータ転送部２０４と、データ取得部２０５と、を備えている。
【００２０】
撮像装置１０内の撮像処理部２００と、画像処理部３００と、表示処理部４００と、カードＩＦ部５００と、ＤＲＡＭコントローラ６００と、ＣＰＵ７００とは、データバス８００を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。
【００２１】
イメージセンサ１００は、図示しないレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、イメージセンサ１００自体に備えた画素をラスタスキャンし、画像に対して水平方向（横方向）に順次、被写体光に応じた画素信号を、画像データとして撮像処理部２００に出力する。
【００２２】
撮像処理部２００は、イメージセンサ１００から入力された画像データを取り込み、取り込んだ画像データに対して空間フィルタ処理を含む前処理を施し、前処理した結果の画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。
【００２３】
なお、撮像処理部２００が前処理を施すことができる画像データのデータ量、すなわち、画像に対する水平方向（横方向）のデータ数は、イメージセンサ１００が１行分として出力する画像データのデータ数よりも少ない。このため、撮像処理部２００は、前処理を施すことができない画像データをそのまま、つまり、前処理を施さずに、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。そして、撮像処理部２００は、前処理を施すことができるデータ量の前処理が完了した後に、ＤＲＡＭ６０１にそのまま記憶され、前処理が施されていない画像データを取得し、取得した画像データに対して前処理を施して、再度ＤＲＡＭ６０１に転送する（書き込む）。つまり、撮像処理部２００では、前処理を施すことができない水平方向（横方向）のデータ数の画像データが入力された場合には、前処理を施すことができるデータ量の範囲で複数回に分けて、入力された全ての画像データに対して前処理を施す。
【００２４】
選択部２０１は、入力された画像データの出力先の構成要素を選択する。より具体的には、イメージセンサ１００から入力された画像データ、およびデータ取得部２０５から入力された画像データの出力先として、前処理部２０２または第２のデータ転送部２０４のいずれか一方または両方を選択する。そして、選択部２０１は、入力された画像データを、選択した出力先に出力する。
【００２５】
前処理部２０２は、選択部２０１から入力された画像データに対して、キズ補正やシェーディング補正、画素欠陥補正など、空間フィルタ処理を含む様々な前処理を施し、処理した結果の画像データ（以下、「前処理画像データ」という）を、第１のデータ転送部２０３に出力する。なお、前処理部２０２の構成は、図９（ｂ）に示したような、選択部２０１から入力された画像データを、画像の水平方向（横方向）の１行分保持するラインメモリを複数備えた構成であり、従来の撮像装置に備えた前処理部の構成と同様である。また、前処理部２０２における前処理の動作も、従来の撮像装置に備えた前処理部の動作と同様である。従って、前処理部２０２の構成や前処理の動作に関する詳細な説明は省略する。
【００２６】
第１のデータ転送部２０３は、前処理部２０２から入力された前処理画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。なお、第１のデータ転送部２０３の構成や、前処理画像データをＤＭＡによってＤＲＡＭ６０１に格納する（書き込む）際の動作は、ＤＭＡによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第１のデータ転送部２０３が前処理画像データをＤＲＡＭ６０１に格納する（書き込む）方法は、ＤＭＡ以外の方法であってもよい。
【００２７】
第２のデータ転送部２０４は、選択部２０１から入力された画像データ、すなわち、前処理部２０２によって前処理が施されていない画像データ（以下、「元画像データ」という）を、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。なお、第２のデータ転送部２０４の構成や、元画像データをＤＭＡによってＤＲＡＭ６０１に格納する（書き込む）際の動作は、第１のデータ転送部２０３と同様に、ＤＭＡによってデータを格納する通常の構成や動作と同様であるため、詳細な説明は省略する。なお、第２のデータ転送部２０４が元画像データをＤＲＡＭ６０１に格納する（書き込む）方法は、第１のデータ転送部２０３と同様に、ＤＭＡ以外の方法であってもよい。
【００２８】
データ取得部２０５は、ＤＲＡＭ６０１に格納されている画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００を介して取得し（読み出し）、取得した画像データを選択部２０１に出力する。なお、データ取得部２０５が取得する画像データは、第１のデータ転送部２０３によって格納された前処理画像データや、第２のデータ転送部２０４によって格納された元画像データのみではなく、例えば、画像処理部３００によって画像処理された後にＤＲＡＭ６０１に格納された画像データであってもよい。
【００２９】
画像処理部３００は、ＤＲＡＭ６０１に格納されている前処理画像データを取得し（読み出し）、取得した前処理画像データに、ノイズ除去処理、歪曲収差補正、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、表示用の画像データや記録用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データや記録用の画像データを、再びＤＲＡＭ６０１に格納する（書き込む）。
【００３０】
また、画像処理部３００は、ＤＲＡＭ６０１に格納されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施して、表示用の画像データを生成する。そして、画像処理部３００は、生成した表示用の画像データを、再びＤＲＡＭ６０１に格納する（書き込む）。
【００３１】
表示処理部４００は、ＤＲＡＭ６０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施す。そして、表示処理後の画像データを、表示デバイス４０１に出力する。
【００３２】
表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）や、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスであり、表示処理部４００から出力された表示処理後の画像データに応じた画像を表示する。
【００３３】
なお、表示デバイス４０１は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ：電子ビューファインダ）などの表示デバイスや、テレビなどの外部ディスプレイであってもよい。また、図１においては、表示デバイス４０１も撮像装置１０の構成要素としているが、表示デバイス４０１は、撮像装置１０に着脱可能な構成であってもよい。
【００３４】
カードＩＦ部５００は、ＤＲＡＭ６０１に記録されている記録用の画像データを取得し（読み出し）、取得した記録用の画像データを記録媒体５０１に記録させる。また、カードＩＦ部５００は、記録媒体５０１に記録している画像データを読み出し、読み出した画像データを、ＤＲＡＭ６０１に転送する（書き込む）。
【００３５】
記録媒体５０１は、ＳＤメモリカード（ＳＤ  Ｍｅｍｏｒｙ  Ｃａｒｄ）やコンパクトフラッシュ（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ（登録商標））などの記録媒体であり、カードＩＦ部５００から出力された記録用の画像データを記録する。また、カードＩＦ部５００によって記録している画像データが読み出される。なお、図１においては、記録媒体５０１も撮像装置１０の構成要素としているが、記録媒体５０１は、撮像装置１０に着脱可能な構成である。
【００３６】
ＤＲＡＭコントローラ６００は、データバス８００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ６０１へのアクセス要求、例えば、ＤＭＡのアクセス要求に応じて、接続されているＤＲＡＭ６０１へのデータの格納（書き込み）、およびＤＲＡＭ６０１からのデータの取得（読み出し）の制御を行う。
【００３７】
ＤＲＡＭ６０１は、ＤＲＡＭコントローラ６００によってアクセス制御されるメモリ（記憶部）である。ＤＲＡＭ６０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを一時的に格納（記憶）する。
【００３８】
ＣＰＵ７００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、ＣＰＵ７００は、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。例えば、ＣＰＵ７００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００からの画像データの出力の開始、撮像処理部２００による画像データの取り込みの開始を制御する。
【００３９】
また、ＣＰＵ７００は、撮像処理部２００内の選択部２０１による画像データの出力先の選択の制御や、第１のデータ転送部２０３および第２のデータ転送部２０４による画像データの転送の設定や、データ取得部２０５の設定を行う。
【００４０】
このような構成によって、本第１の実施形態の撮像装置１０では、イメージセンサ１００から出力される画像データをリアルタイムに取り込みながら、取り込んだ画像データに対して直接的に（ダイレクトに）空間フィルタ処理を含む様々な前処理を施すことができる。また、本第１の実施形態の撮像装置１０では、データ取得部２０５によってＤＲＡＭ６０１に格納されている画像データを取得することによって、ＤＲＡＭ６０１に格納されている画像データに対して空間フィルタ処理を含む様々な前処理を施すことができる。すなわち、本第１の実施形態の撮像装置１０では、リアルタイムに入力される画像データ以外に対しても、空間フィルタ処理を含む様々な前処理を施すことができる。
【００４１】
次に、撮像装置１０において、イメージセンサ１００から出力される画像データに対して前処理（空間フィルタ処理）を施す動作の一例について説明する。なお、以下の説明においては、イメージセンサ１００の水平方向（横方向）の画素数が１００００画素である、つまり、イメージセンサ１００が、横幅が１００００画素の画像を撮影し、前処理部２０２は、水平方向（横方向）に６０００画素分の記憶容量のラインメモリを備えている場合について説明する。すなわち、イメージセンサ１００が１行毎に出力する水平方向（横方向）の画像データ（以下、「入力画像データ」という）のデータ数が、前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも多く、１行分の全ての入力画像データをラインメモリに保持することができない構成である場合に、どのように１行分の入力画像データに対して前処理を施すかの動作について説明する。
【００４２】
前処理部２０２に備えたラインメモリが対応することができるデータ数よりも、入力される入力画像データのデータ数の方が多い場合、つまり、撮像処理部２００が前処理を施すことができる入力画像データのデータ数が、イメージセンサ１００が１行分として出力する入力画像データのデータ数よりも少ない場合、撮像装置１０は、上述したように、前処理を施すことができるデータ量（ここでは、６０００画素）の範囲で複数回に分けて、入力された全ての入力画像データに対して前処理を施す。以下の説明においては、説明を容易にするため、イメージセンサ１００から入力された入力画像データを半分ずつ、２回に分けて前処理を施す場合について説明する。
【００４３】
図２および図３は、本第１の実施形態の撮像装置１０による前処理の動作の一例を模式的に示した図である。図２には、撮像装置１０が、イメージセンサ１００から入力された一方（左側）の半分の入力画像データに対して前処理（空間フィルタ処理）を施す第１の動作の一例を示している。また、図３には、撮像装置１０が、イメージセンサ１００から入力された他方（右側）の半分の入力画像データに対して前処理（空間フィルタ処理）を施す第２の動作の一例を示している。
【００４４】
＜第１の動作＞
第１の動作（１パス目の動作）では、イメージセンサ１００から出力される入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）のと共に、前処理を施すことができない入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。図２には、図１に示した撮像装置１０のブロック図上に、第１の動作（１パス目の動作）におけるそれぞれのデータの経路を示している。
【００４５】
まず、１パス目の動作では、図２に示した経路Ｃ１１の画像データの経路で、入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、イメージセンサ１００が、横幅が１００００画素の１枚の画像Ｐ１を撮影し、撮影した画像Ｐ１の入力画像データを撮像処理部２００に出力する。撮像処理部２００では、イメージセンサ１００から入力された画像Ｐ１の全ての領域の入力画像データを取り込み、取り込んだ画像Ｐ１の入力画像データが順次、撮像処理部２００内の選択部２０１に入力される。そして、選択部２０１は、入力された画像Ｐ１の全ての領域の入力画像データを、前処理部２０２と第２のデータ転送部２０４との両方に順次出力する。
【００４６】
前処理部２０２は、選択部２０１から順次入力された画像Ｐ１の入力画像データの内、左側半分の領域である画像Ｐ２の入力画像データに対して前処理を施し、前処理を施した後の画像Ｐ２の前処理画像データを順次、第１のデータ転送部２０３に出力する。そして、第１のデータ転送部２０３は、前処理部２０２から順次入力された画像Ｐ２の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の画像Ｐ２の前処理画像データが格納される。
【００４７】
また、１パス目の動作では、図２に示した経路Ｃ１２の画像データの経路で、入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、第２のデータ転送部２０４は、選択部２０１から順次入力された画像Ｐ１の入力画像データの内、右側半分の領域である画像Ｐ３の入力画像データをそのまま、画像Ｐ３の元画像データとしてＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ３の入力画像データが、そのまま格納される。
【００４８】
このように、１パス目の動作では、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して前処理を施した画像Ｐ２の前処理画像データと、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域である画像Ｐ３の元画像データとを、ＤＲＡＭ６０１に格納する。
【００４９】
なお、１パス目の動作において、ＤＲＡＭ６０１に元画像データを格納する際には、イメージセンサ１００から入力された画像Ｐ１の全ての領域の入力画像データを、画像Ｐ１の元画像データとしてＤＲＡＭ６０１に格納することもできる。しかし、上述したように、１パス目の動作においては、画像Ｐ１の右側半分の画像Ｐ３の入力画像データのみを、元画像データとしてＤＲＡＭ６０１に格納している。これは、以降の第２の動作（２パス目の動作）において前処理を施すのは、１パス目の動作において前処理を施すことができなかった画像Ｐ１の右側半分の領域である画像Ｐ３の入力画像データのみであるからである。これにより、ＤＲＡＭ６０１の記憶容量を削減することができると共に、データバス８００のバス帯域の必要以上の圧迫を回避することができる。
【００５０】
＜第２の動作＞
その後、撮像装置１０は、第１の動作（１パス目の動作）で前処理を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の入力画像データである画像Ｐ３の元画像データに対して前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。図３には、図１に示した撮像装置１０のブロック図上に、第２の動作（２パス目の動作）におけるデータの経路を示している。
【００５１】
２パス目の動作では、図３に示した経路Ｃ１３の画像データの経路で、ＤＲＡＭ６０１に格納されている画像Ｐ３の元画像データに対して前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、２パス目の動作において、データ取得部２０５が、ＤＲＡＭ６０１に格納されている画像Ｐ３の元画像データを順次取得し（読み出し）、取得した画像Ｐ３の元画像データを順次、選択部２０１に出力する。そして、選択部２０１は、入力された画像Ｐ３の元画像データを、前処理部２０２に順次出力する。
【００５２】
前処理部２０２は、選択部２０１から順次入力された画像Ｐ３の元画像データに対して前処理を施し、前処理を施した後の画像Ｐ４の前処理画像データを順次、第１のデータ転送部２０３に出力する。そして、第１のデータ転送部２０３は、前処理部２０２から順次入力された画像Ｐ４の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の画像Ｐ４の前処理画像データが格納される。
【００５３】
このように、２パス目の動作では、ＤＲＡＭ６０１に格納されている、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ３に対して前処理を施した画像Ｐ４の前処理画像データを、ＤＲＡＭ６０１に格納する。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が撮影した横幅が１００００画素の１枚の画像Ｐ１の全ての領域の入力画像データに対して前処理を施した前処理画像データ（画像Ｐ２＋画像Ｐ４の前処理画像データ）が格納される。
【００５４】
上記に述べたとおり、本第１の実施形態の撮像装置１０では、イメージセンサ１００が１行毎に出力する水平方向（横方向）の入力画像データのデータ数が、撮像処理部２００内の前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも多い場合でも、第１の動作と第２の動作との２回の動作によって、入力された１行分の全ての入力画像データに対して前処理を施すことができる。より具体的には、第１の動作（１パス目の動作）において、撮像装置１０は、イメージセンサ１００から入力された画像Ｐ１の左半分の入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）のと共に、前処理を施すことができない右側半分の入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。その後、第２の動作（２パス目の動作）において、撮像装置１０は、第１の動作（１パス目の動作）で前処理を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の入力画像データに対して前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）ことによって、１枚の画像Ｐ１の全ての入力画像データに対する前処理を施す。
【００５５】
これにより、本第１の実施形態の撮像装置１０では、撮像処理部２００内の前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数が、イメージセンサ１００が１行毎に出力する入力画像データのデータ数よりも少ない場合でも、イメージセンサ１００から出力される全ての画像データに対して前処理を施すことができる。つまり、撮像装置１０の回路規模、特に、ラインメモリの記憶容量を増大させることなく、画素数が増加したイメージセンサ１００に対応する前処理を実行することができる。言い換えれば、小さい回路規模で、イメージセンサの多画素化に対応することができる。
【００５６】
なお、図２および図３に示した本第１の実施形態の撮像装置１０による前処理の動作の一例では、イメージセンサ１００から入力された入力画像データを半分ずつ、２回に分けて前処理を施す場合について説明した。しかし、実際の空間フィルタ処理においては、画像を１カ所で分けて処理をすると、処理を分けた境界部分に違和感がある画像となってしまうと考えられる。このため、空間フィルタ処理を分けて行う場合には、それぞれの処理において使用する画像データを重複させた領域、すなわち、オーバーラップ領域を設けて処理することが一般的に行われている。本第１の実施形態の撮像装置１０による前処理においても同様に、オーバーラップ領域を設けた処理を行うことができる。
【００５７】
図４は、本第１の実施形態の撮像装置１０によって空間フィルタ処理を行う画像の一例を説明する図である。図４には、図２および図３に示した撮像装置１０による前処理の動作において、イメージセンサ１００から入力された画像Ｐ１の全ての領域の入力画像データを分割する際に、画像Ｐ１の領域全体を分割する位置で、第１の動作（１パス目の動作）で処理を行う左側半分の領域と、第２の動作（２パス目の動作）で処理を行う右側半分の領域とに、オーバーラップ領域を設けた場合の一例を示している。このように、空間フィルタ処理を分けて行う際にオーバーラップ領域を設けることによって、処理を分けた境界部分における画像の違和感をなくすことができる。
【００５８】
また、図２および図３に示した本第１の実施形態の撮像装置１０による前処理の動作の一例では、第１の動作（１パス目の動作）で、イメージセンサ１００から入力された画像Ｐ１の左側半分の領域の入力画像データに対して前処理を施し、第２の動作（２パス目の動作）で、イメージセンサ１００から入力された画像Ｐ１の右側半分の領域（画像Ｐ３）の入力画像データに対して前処理を施す場合の例について説明した。しかし、第１の動作（１パス目の動作）および第２の動作（２パス目の動作）のそれぞれで前処理を施す画像の領域は、図２および図３に示した順番に限定されるものではない。例えば、第１の動作（１パス目の動作）で画像Ｐ１の右側半分の領域の入力画像データに対して前処理を施し、第２の動作（２パス目の動作）で画像Ｐ１の左側半分の領域の入力画像データに対して前処理を施す動作にしてもよい。
【００５９】
また、図２および図３に示した本第１の実施形態の撮像装置１０による前処理の動作の一例では、イメージセンサ１００から入力された入力画像データを２回に分けて前処理を施す場合について説明した。しかし、１枚の画像の入力画像データに対して実行する前処理（空間フィルタ処理）を分ける回数は、上述したような２回に限定されるものではなく、３回であっても、またそれ以上の回数であってもよい。なお、前処理（空間フィルタ処理）を分ける回数が異なる場合の動作は、２回に分けて行った場合の動作（図２および図３に示した本第１の実施形態の撮像装置１０の前処理の動作）と同様に考えることができるため、詳細な説明は省略する。
【００６０】
なお、本第１の実施形態の撮像装置１０における前処理の動作は、必ずしも２回以上に分ける必要はない。例えば、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数が、撮像処理部２００内の前処理部２０２に備えたラインメモリの記憶容量（本第１の実施形態では６０００画素）よりも少ない、すなわち、入力される入力画像データのデータ数の方が、前処理部２０２が前処理を施すことができるデータ量よりも少ない場合には、前処理部２０２は１回で前処理を施すことができるため、必ずしも２回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの水平方向（横方向）の画素数に応じて、前処理部２０２が前処理を施す回数を変えることができる。
【００６１】
また、一般的に、イメージセンサは、全ての画素信号を出力する駆動モード（以下、「全画素出力モード」という）や、画素信号を加算して出力する駆動モード（以下、「画素加算モード」という）など、複数の駆動モードで駆動することができる。ここで、全画素出力モードは、静止画などの高解像度の画像を撮影する際に設定され、画素加算モードは、動画の撮影や、撮影する被写体を確認するための動画を表示デバイスに表示させる、いわゆる、ライブビュー機能の撮影を行う際に設定される。このため、例えば、イメージセンサ１００が画素加算モードで駆動され、水平方向（横方向）に画素信号が加算されることによって、横幅が１／２となった５０００画素の画像を出力する場合には、撮像処理部２００内の前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数（６０００画素）よりも、イメージセンサ１００が１行分として出力する画像データのデータ数の方が少なくなる。このような場合にも、前処理部２０２は１回で前処理を施すことができるため、必ずしも２回以上に分ける必要はない。このように、撮像装置に搭載されたイメージセンサの駆動モードに基づいて、例えば、全画素出力モードで駆動しているとき、すなわち、静止画を撮影するモードのときには２回に分けて前処理を施し、画素加算モードで駆動しているとき、すなわち、動画やライブビューの撮影を行うモードのときにはリアルタイムに１回で前処理を施すなど、撮影する画像に応じて、前処理部２０２が前処理を施す回数を変えることができる。
【００６２】
なお、本第１の実施形態においては、イメージセンサ１００が、画像に対して水平方向（横方向）にラスタスキャンした画素信号を、画像データとして出力する場合について説明した。しかし、例えば、イメージセンサが、画像に対して垂直方向（縦方向）にラスタスキャンした画素信号を画像データとして出力する場合には、本第１の実施形態における水平方向を垂直方向として考える、つまり、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。また、本第１の実施形態においては、イメージセンサ１００から入力された画像を水平方向に分割することによって、複数回に分けて前処理を施す場合について説明したが、イメージセンサ１００から入力された画像を垂直方向に分割して複数回に分けて前処理を施す場合であっても、画像の水平方向と垂直方向とを逆に考えることによって同様に、本発明の考え方を適用することができる。
【００６３】
なお、撮像装置においては、前処理以外の様々な処理を撮像処理部内で実行する構成もある。例えば、イメージセンサの有効画素数とほぼ同等の画素数を持つ通常の画像を静止画として記録する構成に加えて、通常の画像を変換した変換画像を生成する変換部を備えた構成であってもよい。例えば、通常の画素数よりも少ない画素数で同じ画角の縮小した画像を変換画像として生成するリサイズ部を備えた構成であってもよい。ここで、リサイズ部が生成した縮小した画像（以下、「縮小画像」という）は、例えば、撮影した画像の即時に確認するために表示デバイスに表示させたり、通常の静止画の画像と共に記録される画像、いわゆる、サムネイルや、撮影した画像の一覧表示のための画像として用いたり、様々な用途が考えられる。
【００６４】
＜第２の実施形態＞
次に、第２の実施形態の撮像装置について説明する。本第２の実施形態の撮像装置は、図１に示した第１の実施形態の撮像装置１０に備えた撮像処理部２００のみが異なる。従って、本第２の実施形態の撮像装置の説明においては、第１の実施形態の撮像装置１０と同様の構成要素には同一の符号を付与し、第１の実施形態の撮像装置１０と異なる構成要素および動作のみを説明し、第１の実施形態の撮像装置１０と同様の構成要素および動作に関する詳細な説明は省略する。
【００６５】
図５は、本第２の実施形態における撮像装置の概略構成を示したブロック図である。図５に示した撮像装置１１は、イメージセンサ１００と、撮像処理部２１０と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、カードＩＦ部５００と、記録媒体５０１と、ＤＲＡＭコントローラ６００と、ＤＲＡＭ６０１と、ＣＰＵ７００と、を備えている。また、撮像装置１１内の撮像処理部２１０は、選択部２０１と、前処理部２０２と、選択部２１６と、第１のデータ転送部２０３と、リサイズ部２１７と、第２のデータ転送部２０４と、データ取得部２０５と、を備えている。
【００６６】
撮像装置１１内の撮像処理部２１０と、画像処理部３００と、表示処理部４００と、カードＩＦ部５００と、ＤＲＡＭコントローラ６００と、ＣＰＵ７００とは、図１に示した第１の実施形態の撮像装置１０と同様に、データバス８００を介してそれぞれ接続され、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１からのデータの読み出し、およびＤＲＡＭ６０１へのデータの書き込みを行う。
【００６７】
イメージセンサ１００は、イメージセンサ１００自体に備えた画素をラスタスキャンし、画像に対して水平方向（横方向）に順次、被写体光に応じた画素信号を、画像データとして撮像処理部２１０に出力する。
【００６８】
撮像処理部２１０は、第１の実施形態の撮像装置１０に備えた撮像処理部２００と同様に、イメージセンサ１００から入力された入力画像データを取り込み、取り込んだ入力画像データに対して空間フィルタ処理を含む前処理を施した前処理画像データ、および前処理を施すことができない入力画像データをそのまま、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。
【００６９】
なお、撮像処理部２１０においても、第１の実施形態における撮像処理部２００と同様に、撮像処理部２１０が前処理を施すことができる画像データのデータ量、すなわち、画像に対する水平方向（横方向）のデータ数は、イメージセンサ１００が１行分として出力する入力画像データのデータ数よりも少ない。従って、撮像処理部２１０でも、第１の実施形態における撮像処理部２００と同様に、前処理を施すことができない水平方向（横方向）のデータ数の入力画像データが入力された場合には、前処理を施すことができるデータ量の範囲で複数回に分けて、入力された全ての入力画像データに対して前処理を施す。
【００７０】
また、撮像処理部２１０は、前処理画像データに基づいてリサイズ処理や切り出し処理などの縮小処理を行った縮小画像を生成し、生成した縮小画像を、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。以下の説明においては、撮像処理部２１０が、リサイズ処理を行って縮小画像を生成するものとして説明する。
【００７１】
選択部２０１は、イメージセンサ１００から入力された入力画像データ、およびデータ取得部２０５から入力された画像データの出力先として、前処理部２０２または選択部２１６のいずれか一方または両方を選択し、入力された画像データを、選択した出力先に出力する。
【００７２】
前処理部２０２は、選択部２０１から入力された画像データに対して空間フィルタ処理を含む様々な前処理を施した前処理画像データを、選択部２１６に出力する。
【００７３】
選択部２１６は、入力された画像データの出力先の構成要素を選択する。より具体的には、前処理部２０２から入力された前処理画像データ、および選択部２０１から入力された画像データの出力先として、第１のデータ転送部２０３またはリサイズ部２１７のいずれか一方または両方を選択する。そして、選択部２１６は、入力された画像データを、選択した出力先に出力する。
【００７４】
第１のデータ転送部２０３は、選択部２１６から入力された画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。
【００７５】
リサイズ部２１７は、選択部２１６から入力された画像データに対してリサイズ処理を施し、前処理が完了した画像を水平方向（横方向）および垂直方向（縦方向）にリサイズ（ここでは、縮小）した結果の縮小画像の画像データ（以下、「縮小画像データ」という）を、第２のデータ転送部２０４に出力する。なお、リサイズ部２１７は、リサイズ処理を行わずに、選択部２１６から入力された画像データ（前処理画像データや、入力画像データまたは元画像データ）をそのまま、第２のデータ転送部２０４に出力することもできる。すなわち、リサイズ部２１７は、リサイズ処理の機能をオフにすることができる。
【００７６】
第２のデータ転送部２０４は、リサイズ部２１７から入力された画像データ、すなわち、縮小画像データまたはリサイズ部２１７に入力されたそのままの画像データを、例えば、ＤＭＡによってＤＲＡＭコントローラ６００に接続されたＤＲＡＭ６０１に格納する（書き込む）。
【００７７】
画像処理部３００は、ＤＲＡＭ６０１に縮小画像データが格納されている場合、前処理画像データと縮小画像データとを併せて画像処理を行う。例えば、縮小画像データがサムネイルである場合には、ＪＰＥＧ圧縮処理を行う際に、サムネイルを関連付ける。
【００７８】
ＣＰＵ７００は、撮像装置１１の構成要素、すなわち、撮像装置１１全体を制御する。例えば、ＣＰＵ７００は、撮像装置１１における撮影動作や再生動作に応じて、撮像装置１１内の各構成要素の動作を制御する。例えば、ＣＰＵ７００は、撮像装置１１が撮影動作を行う際に、イメージセンサ１００からの画像データの出力の開始、撮像処理部２１０による画像データの取り込みの開始を制御する。
【００７９】
また、ＣＰＵ７００は、撮像処理部２１０による画像データの取り込みの開始後のそれぞれの動作における撮像処理部２１０内の構成要素の動作を制御する。例えば、ＣＰＵ７００は、撮像処理部２１０内の選択部２０１および選択部２１６による画像データの出力先の選択の制御や、リサイズ部２１７によるリサイズ処理の設定や、第１のデータ転送部２０３および第２のデータ転送部２０４による画像データの転送の設定や、データ取得部２０５の設定を行う。
【００８０】
このような構成によって、本第２の実施形態の撮像装置１１では、第１の実施形態の撮像装置１０と同様に、リアルタイムに入力される画像データに対する直接的な（ダイレクトな）空間フィルタ処理を含む様々な前処理、およびＤＲＡＭ６０１に格納されている画像データに対する空間フィルタ処理を含む様々な前処理を施すことができる。また、本第２の実施形態の撮像装置１１では、空間フィルタ処理を含む様々な前処理に加えて、前処理画像データに対してリサイズ処理を施した縮小画像を生成することができる。
【００８１】
次に、撮像装置１１において、イメージセンサ１００から出力される画像データに対して前処理（空間フィルタ処理）を施す動作、および縮小画像を生成する動作の一例について説明する。なお、以下の説明においては、第１の実施形態の撮像装置１０と同様に、イメージセンサ１００の水平方向（横方向）の画素数が１００００画素であり、前処理部２０２は、水平方向（横方向）に６０００画素分の記憶容量のラインメモリを備えているものとして説明する。すなわち、イメージセンサ１００が１行毎に出力する水平方向（横方向）の入力画像データのデータ数が、前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも多く、１行分の全ての入力画像データをラインメモリに保持することができない構成である場合に、どのように１行分の入力画像データに対して前処理を施すか、また、どのように縮小画像を生成するのかの動作について説明する。
【００８２】
なお、以下の説明においては、第１の実施形態の撮像装置１０と同様に、説明を容易にするため、イメージセンサ１００から入力された入力画像データを半分ずつ、２回に分けて前処理を施す場合について説明する。
【００８３】
図６〜図８は、本第２の実施形態の撮像装置１１による前処理および縮小画像の生成の動作の一例を模式的に示した図である。図６には、撮像装置１１が、イメージセンサ１００から入力された一方（左側）の半分の入力画像データに対して前処理（空間フィルタ処理）を施す第１の動作の一例を示している。また、図７には、撮像装置１１が、イメージセンサ１００から入力された他方（右側）の半分の入力画像データに対して前処理（空間フィルタ処理）を施すと共に、他方（右側）の半分の前処理画像データに応じた縮小画像を生成する第２の動作の一例を示している。また、図８には、撮像装置１１が、一方（左側）の半分の前処理画像データに応じた縮小画像を生成する第３の動作の一例を示している。
【００８４】
＜第１の動作＞
第１の動作（１パス目の動作）では、第１の実施形態の撮像装置１０と同様に、イメージセンサ１００から出力される入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）のと共に、前処理を施すことができない入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。図６には、図５に示した撮像装置１１のブロック図上に、第１の動作（１パス目の動作）におけるそれぞれのデータの経路を示している。
【００８５】
まず、１パス目の動作では、図６に示した経路Ｃ２１の画像データの経路で、入力画像データに対して、リアルタイムに前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、イメージセンサ１００が、横幅が１００００画素の１枚の画像Ｐ１を撮影し、撮影した画像Ｐ１の入力画像データを撮像処理部２１０に出力する。撮像処理部２１０では、イメージセンサ１００から入力された画像Ｐ１の全ての領域の入力画像データを取り込み、取り込んだ画像Ｐ１の入力画像データが順次、撮像処理部２１０内の選択部２０１に入力される。そして、選択部２０１は、入力された画像Ｐ１の全ての領域の入力画像データを、前処理部２０２と選択部２１６との両方に順次出力する。
【００８６】
前処理部２０２は、選択部２０１から順次入力された画像Ｐ１の入力画像データの内、左側半分の領域である画像Ｐ２の入力画像データに対して前処理を施し、前処理を施した後の画像Ｐ２の前処理画像データを順次、選択部２１６に出力する。選択部２１６は、前処理部２０２から入力された画像Ｐ２の前処理画像データを、第１のデータ転送部２０３に出力する。そして、第１のデータ転送部２０３は、選択部２１６から順次入力された画像Ｐ２の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の画像Ｐ２の前処理画像データが格納される。
【００８７】
また、１パス目の動作では、図６に示した経路Ｃ２２の画像データの経路で、入力画像データをそのまま、ＤＲＡＭ６０１に転送する（書き込む）。より具体的には、１パス目の動作において、選択部２１６は、選択部２０１から順次入力された画像Ｐ１の入力画像データを順次、リサイズ部２１７に出力する。１パス目の動作では、リサイズ部２１７におけるリサイズ処理の機能をオフにする。そして、リサイズ部２１７は、選択部２１６から順次入力された画像Ｐ１の入力画像データの内、右側半分の領域である画像Ｐ３の入力画像データをそのまま、第２のデータ転送部２０４に出力する。そして、第２のデータ転送部２０４は、リサイズ部２１７から順次入力された画像Ｐ３の入力画像データをそのまま、画像Ｐ３の元画像データとしてＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ３の入力画像データが、そのまま格納される。
【００８８】
このように、１パス目の動作では、イメージセンサ１００が出力した画像Ｐ１の左側半分の領域に対して前処理を施した画像Ｐ２の前処理画像データと、イメージセンサ１００が出力した画像Ｐ１の右側半分の領域である画像Ｐ３の元画像データとを、ＤＲＡＭ６０１に格納する。
【００８９】
＜第２の動作＞
その後、撮像装置１１は、第１の動作（１パス目の動作）で前処理を施すことができなかった、イメージセンサ１００から入力された画像Ｐ１の右側半分の入力画像データである画像Ｐ３の元画像データに対して前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）と共に、前処理を施した画像Ｐ３の前処理画像データに対してリサイズ処理を施した縮小画像データをＤＲＡＭ６０１に転送する（書き込む）。図７には、図５に示した撮像装置１１のブロック図上に、第２の動作（２パス目の動作）におけるデータの経路を示している。
【００９０】
まず、２パス目の動作では、図７に示した経路Ｃ２３の画像データの経路で、ＤＲＡＭ６０１に格納されている画像Ｐ３の元画像データに対して前処理を施した前処理画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、２パス目の動作において、データ取得部２０５が、ＤＲＡＭ６０１に格納されている画像Ｐ３の元画像データを順次取得し（読み出し）、取得した画像Ｐ３の元画像データを順次、選択部２０１に出力する。そして、選択部２０１は、入力された画像Ｐ３の元画像データを、前処理部２０２に順次出力する。
【００９１】
前処理部２０２は、選択部２０１から順次入力された画像Ｐ３の元画像データに対して前処理を施し、前処理を施した後の画像Ｐ４の前処理画像データを順次、選択部２１６に出力する。選択部２１６は、前処理部２０２から入力された画像Ｐ４の前処理画像データを、第１のデータ転送部２０３とリサイズ部２１７との両方に順次出力する。そして、第１のデータ転送部２０３は、選択部２１６から順次入力された画像Ｐ４の前処理画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、前処理を施した後の画像Ｐ４の前処理画像データが格納される。
【００９２】
また、２パス目の動作では、図７に示した経路Ｃ２４の画像データの経路で、ＤＲＡＭ６０１に格納されている画像Ｐ３の元画像データに対してリサイズ処理を施した縮小画像を生成し、生成した縮小画像の縮小画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、２パス目の動作において、リサイズ部２１７におけるリサイズ処理の機能をオンにする。そして、リサイズ部２１７は、選択部２１６から順次入力された画像Ｐ４の前処理画像データに対してリサイズ処理を施して縮小画像を生成し、生成した縮小画像Ｐ５の縮小画像データを第２のデータ転送部２０４に出力する。そして、第２のデータ転送部２０４は、リサイズ部２１７から順次入力された縮小画像Ｐ５の縮小画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が出力した画像Ｐ１の右側半分の縮小画像Ｐ５の縮小画像データが格納される。
【００９３】
このように、２パス目の動作では、ＤＲＡＭ６０１に格納されている、イメージセンサ１００が出力した画像Ｐ１の右側半分の画像Ｐ３に対して前処理を施した画像Ｐ４の前処理画像データと、画像Ｐ１の右側半分の前処理後の画像Ｐ４に対してリサイズ処理を行った縮小画像Ｐ５の縮小画像データとを、ＤＲＡＭ６０１に格納する。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が撮影した横幅が１００００画素の１枚の画像Ｐ１の全ての領域の入力画像データに対して前処理を施した前処理画像データ（画像Ｐ２＋画像Ｐ４の前処理画像データ）が格納される。
【００９４】
＜第３の動作＞
その後、撮像装置１１は、縮小画像を生成していない、イメージセンサ１００から入力された画像Ｐ１の左側半分の入力画像データに対応した縮小画像を生成するため、画像Ｐ１の左側半分の入力画像データに対して前処理を施した前処理画像データである画像Ｐ２の前処理画像データに対してリサイズ処理を施した縮小画像データをＤＲＡＭ６０１に転送する（書き込む）。図８には、図５に示した撮像装置１１のブロック図上に、第３の動作（３パス目の動作）におけるデータの経路を示している。
【００９５】
３パス目の動作では、図８に示した経路Ｃ２５の画像データの経路で、ＤＲＡＭ６０１に格納されている画像Ｐ２の前処理画像データに対してリサイズ処理を施した縮小画像を生成し、生成した縮小画像の縮小画像データをＤＲＡＭ６０１に転送する（書き込む）。より具体的には、３パス目の動作において、データ取得部２０５が、ＤＲＡＭ６０１に格納されている画像Ｐ２の前処理画像データを順次取得し（読み出し）、取得した画像Ｐ２の前処理画像データを順次、選択部２０１に出力する。そして、選択部２０１は、入力された画像Ｐ２の前処理画像データを、選択部２１６に順次出力する。
【００９６】
選択部２１６は、選択部２０１から順次入力された画像Ｐ２の前処理画像データを順次、リサイズ部２１７に出力する。３パス目の動作では、リサイズ部２１７におけるリサイズ処理の機能をオンにする。そして、リサイズ部２１７は、選択部２１６から順次入力された画像Ｐ２の前処理画像データに対してリサイズ処理を施して縮小画像を生成し、生成した縮小画像Ｐ６の縮小画像データを第２のデータ転送部２０４に出力する。そして、第２のデータ転送部２０４は、リサイズ部２１７から順次入力された縮小画像Ｐ６の縮小画像データを、ＤＲＡＭコントローラ６００を介してＤＲＡＭ６０１に転送する（書き込む）。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が出力した画像Ｐ１の左側半分の縮小画像Ｐ６の縮小画像データが格納される。
【００９７】
このように、３パス目の動作では、ＤＲＡＭ６０１に格納されている、イメージセンサ１００が出力した画像Ｐ１の左側半分の前処理後の画像Ｐ２に対してリサイズ処理を行った縮小画像Ｐ６の縮小画像データを、ＤＲＡＭ６０１に格納する。これにより、ＤＲＡＭ６０１には、イメージセンサ１００が撮影した横幅が１００００画素の１枚の画像Ｐ１の全ての領域の入力画像データに対して前処理を施した後にリサイズ処理を行った縮小画像データ（画像Ｐ６＋画像Ｐ５の縮小画像データ）が格納される。
【００９８】
上記に述べたとおり、本第２の実施形態の撮像装置１１でも、第１の実施形態の撮像装置１０と同様に、イメージセンサ１００が１行毎に出力する水平方向（横方向）の入力画像データのデータ数が、撮像処理部２１０内の前処理部２０２に備えたラインメモリが保持することができる１行分の画像データのデータ数よりも多い場合でも、複数回の動作によって、入力された１行分の全ての入力画像データに対して前処理を施すことができる。これにより、本第２の実施形態の撮像装置１１でも、第１の実施形態の撮像装置１０と同様の効果を得ることができる。
【００９９】
また、本第２の実施形態の撮像装置１１では、イメージセンサ１００から入力された画像に対する前処理に加えて、前処理後の画像に対応する縮小画像を、複数回の動作によって生成する。より具体的には、第２の動作（２パス目の動作）において、撮像装置１１は、イメージセンサ１００から入力された画像Ｐ１の右半分の画像Ｐ３に対して前処理を施すと共に、前処理を施した画像Ｐ３の前処理画像データに対してリサイズ処理を施した縮小画像Ｐ５を生成する。その後、第３の動作（３パス目の動作）において、撮像装置１１は、第１の動作（１パス目の動作）でイメージセンサ１００から入力された画像Ｐ１の左側半分の画像に対して前処理を施した画像Ｐ２の前処理画像データに対してリサイズ処理を施した縮小画像Ｐ６を生成する。
【０１００】
このように、本第２の実施形態の撮像装置１１では、１枚の画像の全ての領域の画像データに対する前処理が完了していない状態であっても、前処理が完了した画像の領域から、次の処理（本第２の実施形態では縮小するリサイズ処理）を行うことができる。これにより、本第２の実施形態の撮像装置１１では、画像に対するそれぞれの処理の待ち時間を短縮し、撮像装置の全体の処理速度の向上を望むことができる。
【０１０１】
なお、本第２の実施形態の撮像装置１１では、リサイズ処理が画像を縮小する処理である場合について説明したが、リサイズ処理は、画像を拡大する処理であってもよい。また、図６〜図８に示した本第２の実施形態の撮像装置１１による動作の一例では、画像に対する前処理に加えてリサイズ処理を行う場合について説明したが、リサイズ処理のみに限定されるものではない。例えば、切り出し処理などの画角を変更する処理や、その他の様々な処理であっても同様に、本発明の考え方を適用することができる。
【０１０２】
なお、本第２の実施形態の撮像装置１１においても、オーバーラップ領域を設けた処理、前処理を実行する回数、画像の領域を分けた場合に前処理を実行する順番、イメージセンサ１００が入力画像データを出力する方向および画像を分割する方向に応じた前処理を施す方向の考え方などは、第１の実施形態の撮像装置１０と同様である。
【０１０３】
上記に述べたとおり、本発明を実施するための形態では、撮像装置に備えた撮像処理部内に、イメージセンサから出力される画像データに対する空間フィルタ処理を含む様々な前処理を、撮像処理部に備えたラインメモリの記憶容量の範囲で複数回に分けて実行するための構成として、選択部と、第２のデータ転送部と、データ取得部とを設けた。そして、本発明を実施するための形態では、イメージセンサからリアルタイムに入力される画像データに対して直接的に（ダイレクトに）前処理を施すと共に、直接的に前処理を施すことができない画像データをそのまま、第２のデータ転送部によって記憶部（本実施形態ではＤＲＡＭ）に転送する（書き込む）。その後、本発明を実施するための形態では、前処理を実行する画像データを、データ取得部が取得した（読み出した）記憶部に格納された画像データ切り替えて前処理を施すことによって、イメージセンサから入力された１枚の画像の全ての画像データに対する前処理を施す。
【０１０４】
これにより、本発明を実施するための形態では、撮像装置の回路規模、特に、撮像処理部に備えたラインメモリの記憶容量を増大させることなく、画素数が増加したイメージセンサに対応する前処理を実行することができる。このことにより、本発明を実施するための形態では、従来の撮像装置において画素数が増加したイメージセンサに対応するよりも小さい回路規模で、多画素化したイメージセンサに対応した前処理を実行することができる。また、本発明を実施するための形態は、イメージセンサから入力される画像データに対して直接的に（ダイレクトに）前処理を施すことができるため、空間フィルタ処理に要する時間を従来の撮像装置よりも短縮することができる。
【０１０５】
また、本発明を実施するための形態では、空間フィルタ処理を含む様々な前処理に加えて、前処理後の画像データに基づいたその他の様々な処理（本実施形態ではリサイズ処理）も、前処理と同様に複数回に分けて実行する。これにより、本発明を実施するための形態では、１枚の画像の全ての領域の画像データに対する前処理が完了していない状態であっても、前処理が完了した画像の領域から、次の処理を行うことができる。このことにより、本発明を実施するための形態では、このことにより、本発明を実施するための形態では、画像に対するそれぞれの処理の待ち時間を短縮し、撮像装置の全体の処理速度の向上させることができる。
【０１０６】
なお、本実施形態においては、前処理が、空間フィルタ処理を含む処理である場合について説明した。しかし、前処理の処理内容は、本発明を実施するための形態に限定されるものではなく、前処理を施すことができる画像データのデータ数と、イメージセンサ１００が出力する画像データのデータ数との関係が、上述した関係になっていれば、前処理に空間フィルタ処理を含まない場合であっても同様に、本発明の考え方を適用することができる。
【０１０７】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１０８】
１０，１１・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００，２１０・・・撮像処理部
２０１・・・選択部（撮像処理部，選択部）
２０２・・・前処理部（撮像処理部，前処理部）
２０３・・・第１のデータ転送部（撮像処理部，第１のデータ転送部）
２０４・・・第２のデータ転送部（撮像処理部，第２のデータ転送部）
２０５・・・データ取得部（撮像処理部，データ取得部）
２１６・・・選択部（変換部，リサイズ部）
２１７・・・リサイズ部（変換部，リサイズ部）
３００・・・画像処理部
４００・・・表示処理部
４０１・・・表示デバイス
５００・・・カードＩＦ部
５０１・・・記録媒体
６００・・・ＤＲＡＭコントローラ（記憶部）
６０１・・・ＤＲＡＭ（記憶部）
７００・・・ＣＰＵ
８００・・・データバス
【図１】
2015053644.tif 000003
【図２】
2015053644.tif 000004
【図３】
2015053644.tif 000005
【図４】
2015053644.tif 000006
【図５】
2015053644.tif 000007
【図６】
2015053644.tif 000008
【図７】
2015053644.tif 000009
【図８】
2015053644.tif 000010
【図９】
2015053644.tif 000011