(57)【要約】【課題】隣接する複数の画素信号が同時に出力される場合のＳＡＤ演算を、回路規模の増大を抑えつつ同時に行うことができる画像処理装置、画像処理方法、および撮像装置を提供する。【解決手段】隣接する複数の注目画素のそれぞれ毎に、参照画素との間の相関を同時に取る画像処理装置であって、それぞれの注目画素毎に予め定めた複数の注目領域を合わせた拡張注目領域と、対応するそれぞれの参照画素毎に予め定めた複数の参照領域を合わせた拡張参照領域とをそれぞれ定義し、拡張注目領域と拡張参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った拡張ＳＡＤ演算結果を出力する拡張領域ＳＡＤ演算部と、それぞれの注目画素に対応し、拡張ＳＡＤ演算結果と、注目領域に含まれない領域のＳＡＤ演算結果とに基づいて減算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る注目画素と同じ数の減算処理部と、を備える。【選択図】図１
2015114701.tif 000002
【特許請求の範囲】
【請求項１】
隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置であって、
同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域を合わせた拡張注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域を合わせた、前記拡張注目領域に対応する拡張参照領域とを、それぞれ定義し、該定義した前記拡張注目領域と前記拡張参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った拡張ＳＡＤ演算結果を出力する拡張領域ＳＡＤ演算部と、
それぞれの前記注目画素に対応し、前記拡張ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて減算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ数の減算処理部と、
を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記拡張領域ＳＡＤ演算部は、
入力された第１の注目画素を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目領域と、同時に入力された隣接する第２の注目画素を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目領域とを合わせた前記拡張注目領域と、前記第１の注目画素に対応する第１の参照画素を中心とし、前記第１の注目領域に対応する予め定めた大きさの第１の参照領域と、前記第２の注目画素に対応する第２の参照画素を中心とし、前記第２の注目領域に対応する予め定めた大きさの第２の参照領域とを合わせた前記拡張参照領域とを、それぞれ定義し、前記拡張注目領域と前記拡張参照領域とにおいて同一の座標に位置する画素の画素信号が表す値同士の差分絶対値をそれぞれ算出し、該算出した差分絶対値を積算する前記差分絶対値和演算を行った前記拡張ＳＡＤ演算結果を出力し、
前記第１の注目画素に対応する前記減算処理部である第１の減算処理部は、
前記拡張ＳＡＤ演算結果から、前記拡張注目領域内で、前記第１の注目領域に含まれない画素の領域に対応するＳＡＤ演算結果を減算した第１のＳＡＤ演算結果を出力し、
前記第２の注目画素に対応する前記減算処理部である第２の減算処理部は、
前記拡張ＳＡＤ演算結果から、前記拡張注目領域内で、前記第２の注目領域に含まれない画素の領域に対応するＳＡＤ演算結果を減算した第２のＳＡＤ演算結果を出力する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記拡張領域ＳＡＤ演算部は、
前記第１の注目領域に含まれない前記拡張注目領域内の画素の領域と、該領域に対応する前記第１の参照領域に含まれない前記拡張参照領域内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいて前記差分絶対値和演算した第１の減算用ＳＡＤ演算結果と、
前記第２の注目領域に含まれない前記拡張注目領域内の画素の領域と、該領域に対応する前記第２の参照領域に含まれない前記拡張参照領域内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいて前記差分絶対値和演算した第２の減算用ＳＡＤ演算結果と、
をそれぞれ出力し、
前記第１の減算処理部は、
前記拡張ＳＡＤ演算結果から前記第１の減算用ＳＡＤ演算結果を減算した前記第１のＳＡＤ演算結果を出力し、
前記第２の減算処理部は、
前記拡張ＳＡＤ演算結果から前記第２の減算用ＳＡＤ演算結果を減算した前記第２のＳＡＤ演算結果を出力する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記拡張領域ＳＡＤ演算部と前記注目画素と同じ数の前記減算処理部との組み合わせを、前記拡張注目領域内のそれぞれの画素に設定された重み値の種類と同じ数だけ備え、
さらに、
前記減算処理部のそれぞれから出力されるそれぞれの前記ＳＡＤ演算結果に対して重み付け処理を行った重み付けＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ数の重み処理部、
を備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記拡張領域ＳＡＤ演算部と前記注目画素と同じ数の前記減算処理部との組み合わせのそれぞれは、
対応する重み値に応じた前記ＳＡＤ演算結果をそれぞれ出力し、
それぞれの前記重み処理部は、
前記拡張領域ＳＡＤ演算部と前記注目画素と同じ数の前記減算処理部との組み合わせのそれぞれから出力された、対応する前記注目画素における前記ＳＡＤ演算結果のそれぞれに、対応する重み値に基づいた値を乗算した後、該乗算したそれぞれの重み値に対応するＳＡＤ演算結果を加算した前記重み付けＳＡＤ演算結果を出力する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
第１の重み値に対応する前記拡張領域ＳＡＤ演算部である第１の拡張領域ＳＡＤ演算部は、
入力された第１の注目画素を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目領域において前記第１の重み値が設定された第１の重みの第１の注目領域と、同時に入力された隣接する第２の注目画素を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目領域において前記第１の重み値が設定された第１の重みの第２の注目領域とを合わせた前記拡張注目領域である第１の重みの拡張注目領域と、前記第１の注目画素に対応する第１の参照画素を中心とし、前記第１の注目領域に対応する予め定めた大きさの第１の参照領域において前記第１の重み値が設定された第１の重みの第１の参照領域と、前記第２の注目画素に対応する第２の参照画素を中心とし、前記第２の注目領域に対応する予め定めた大きさの第２の参照領域において前記第１の重み値が設定された第１の重みの第２の参照領域とを合わせた前記拡張参照領域である第１の重みの拡張参照領域とを、それぞれ定義し、前記第１の重みの拡張注目領域と前記第１の重みの拡張参照領域とにおいて同一の座標に位置する画素の画素信号が表す値同士の差分絶対値をそれぞれ算出し、該算出した差分絶対値を積算する前記差分絶対値和演算を行った前記拡張ＳＡＤ演算結果である第１の重みの拡張ＳＡＤ演算結果を出力し、
前記第１の重み値に対応し、前記第１の注目画素に対応する前記減算処理部である第１の重みの第１の減算処理部は、
前記第１の重みの拡張ＳＡＤ演算結果から、前記第１の重みの拡張注目領域内で、前記第１の重みの第１の注目領域に含まれない画素の領域に対応するＳＡＤ演算結果を減算した第１の重みの第１のＳＡＤ演算結果を出力し、
前記第１の重み値に対応し、前記第２の注目画素に対応する前記減算処理部である第１の重みの第２の減算処理部は、
前記第１の重みの拡張ＳＡＤ演算結果から、前記第１の重みの拡張注目領域内で、前記第１の重みの第２の注目領域に含まれない画素の領域に対応するＳＡＤ演算結果を減算した第１の重みの第２のＳＡＤ演算結果を出力し、
前記第１の重み値よりも小さく、該第１の重み値が設定された画素の領域よりも大きな領域の画素に設定された第２の重み値に対応する前記拡張領域ＳＡＤ演算部である第２の拡張領域ＳＡＤ演算部は、
前記第１の注目領域において前記第２の重み値が設定された第２の重みの第１の注目領域と、前記第２の注目領域において前記第２の重み値が設定された第２の重みの第２の注目領域とを合わせた前記拡張注目領域である第２の重みの拡張注目領域と、前記第１の参照領域において前記第２の重み値が設定された第２の重みの第１の参照領域と、前記第２の参照領域において前記第２の重み値が設定された第２の重みの第２の参照領域とを合わせた前記拡張参照領域である第２の重みの拡張参照領域とを、それぞれ定義し、前記第２の重みの拡張注目領域と前記第２の重みの拡張参照領域とにおいて同一の座標に位置する画素の画素信号が表す値同士の差分絶対値をそれぞれ算出し、該算出した差分絶対値を積算する前記差分絶対値和演算を行った前記拡張ＳＡＤ演算結果である第２の重みの拡張ＳＡＤ演算結果を出力し、
前記第２の重み値に対応し、前記第１の注目画素に対応する前記減算処理部である第２の重みの第１の減算処理部は、
前記第２の重みの拡張ＳＡＤ演算結果から、前記第２の重みの拡張注目領域内で、前記第２の重みの第１の注目領域に含まれない画素の領域に対応するＳＡＤ演算結果を減算した第２の重みの第１のＳＡＤ演算結果を出力し、
前記第２の重み値に対応し、前記第２の注目画素に対応する前記減算処理部である第２の重みの第２の減算処理部は、
前記第２の重みの拡張ＳＡＤ演算結果から、前記第２の重みの拡張注目領域内で、前記第２の重みの第２の注目領域に含まれない画素の領域に対応するＳＡＤ演算結果を減算した第２の重みの第２のＳＡＤ演算結果を出力し、
前記第１の注目画素に対応する前記重み処理部である第１の重み処理部は、
前記第１の重みの第１のＳＡＤ演算結果に前記第１の重み値から前記第２の重み値を減算した重み値を乗算し、第２の重みの第１のＳＡＤ演算結果に前記第２の重み値を乗算し、該乗算したそれぞれの第１のＳＡＤ演算結果を加算した前記重み付けＳＡＤ演算結果である第１の重み付けＳＡＤ演算結果を出力し、
前記第２の注目画素に対応する前記重み処理部である第２の重み処理部は、
前記第１の重みの第２のＳＡＤ演算結果に前記第１の重み値から前記第２の重み値を減算した重み値を乗算し、第２の重みの第２のＳＡＤ演算結果に前記第２の重み値を乗算し、該乗算したそれぞれの第２のＳＡＤ演算結果を加算した前記重み付けＳＡＤ演算結果である第２の重み付けＳＡＤ演算結果を出力する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置における画像処理方法であって、
同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域を合わせた拡張注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域を合わせた、前記拡張注目領域に対応する拡張参照領域とを、それぞれ定義し、該定義した前記拡張注目領域と前記拡張参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った拡張ＳＡＤ演算結果を出力する拡張領域ＳＡＤ演算手順と、
それぞれの前記注目画素に対応し、前記拡張ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて減算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ回数の減算処理手順と、
を含む、
ことを特徴とする画像処理方法。
【請求項８】
複数の画素を有し、隣接する複数の前記画素の信号を光電変換した複数の画素信号を同時に出力する固体撮像装置と、
前記固体撮像装置から隣接する複数の前記画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る、請求項１から請求項６のいずれか１の項に記載の画像処理装置と、
を備える、
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置における撮影では、撮像装置に備えた固体撮像装置から出力されたそれぞれの画素の信号（以下、「画素信号」という）に対して、様々な処理が行われる。この処理には、固体撮像装置によって撮影した画像を形成するための画像処理や、撮像装置による撮影に関する制御のための処理などがある。
【０００３】
そして、撮像装置が行う画像処理には、固体撮像装置によって撮影した画像内の注目画素と、注目画素の近傍に位置する同じ色の画素（以下、「参照画素」という）との間で相関を取ることによって、注目画素と参照画素との類似度を求め、その類似度の結果を画像処理に用いることもある。注目画素と参照画素との間の相関を取る手法としては、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｓｔａｎｃｅ）演算によるブロックマッチングが広く知られている。例えば、特許文献１には、注目画素を含む特定の領域からなる基準ブロックと、参照画素を含み、基準ブロックと同じ大きさの領域からなる参照ブロックとの間で、ブロックマッチングによって相関を取る技術が開示されている。
【０００４】
このＳＡＤ演算によるブロックマッチングの手法では、注目画素を中心とした予め定めた大きさの領域からなる注目ブロックと、参照画素を中心とした注目ブロックと同じ大きさの領域からなる参照ブロックとにおいて、同一座標に位置する画素同士で画素値の差分絶対値を算出し、注目ブロックに含まれる全ての画素に対して算出したそれぞれの差分絶対値を積算する処理が行われる。
【０００５】
例えば、図１２（ａ）に示したように、水平方向ｘ＝６、垂直方向ｙ＝６の座標位置の注目画素（６，６）と、水平方向ｘ＝２、垂直方向ｙ＝２の座標位置の参照画素（２，２）、つまり、注目画素の座標位置から水平方向に−４、垂直方向に−４した座標位置の参照画素との間で相関を取る場合を考える。このとき、図１２（ｂ）に示したように、注目ブロックの領域を、注目画素を中心とした水平方向、垂直方向のそれぞれに５画素ずつの領域、つまり、５画素×５画素の領域とし、参照ブロックを、参照画素を中心とした注目ブロックと同じ大きさの５画素×５画素の領域とする。この場合における注目ブロックに対するＳＡＤ演算では、下式（１）によってＳＡＤ演算の結果（以下、「ＳＡＤ演算結果」という）を求めることができる。
【０００６】
【数１】
2015114701.tif 000003
【０００７】
上式（１）において、ＳＡＤ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした注目ブロックに対応したＳＡＤ演算結果を表す。また、上式（１）において、Ａ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした注目ブロック内の画素の画素値、Ｂ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした注目ブロック内のそれぞれの画素に対応する参照ブロック内の画素の画素値を表す。また、上式（１）において、ｉおよびｊは整数である。なお、上式（１）の参照ブロック内の画素の画素値Ｂ（ｘ，ｙ）において、水平方向ｘ、垂直方向ｙの座標位置とも“−４”しているのは、参照ブロック内のそれぞれの画素の座標位置が、注目ブロック内に含まれる対応する画素のそれぞれの座標位置から水平方向に−４、垂直方向に−４した座標位置であるためである。
【０００８】
また、近年では、撮像装置の高速化に対応するため、複数の画素信号を同時に出力する固体撮像装置を撮像装置に搭載するケースが多くなっている。なお、複数の画素信号を同時に出力する固体撮像装置の出力形式には、例えば、水平方向に隣接する２画素の画素信号を同時に出力する形式や、垂直方向に隣接する２画素の画素信号を同時に出力する形式などがある。また、水平方向に隣接する２画素の画素信号と、垂直方向に隣接する２画素の画素信号とを同時に出力する、つまり、４画素分の画素信号を同時に出力する形式もある。
【０００９】
このような、複数の画素信号を同時に出力する固体撮像装置を搭載した撮像装置においてＳＡＤ演算を行う場合、同時に出力されるそれぞれの画素に基づいて同時にＳＡＤ演算を行う必要がある。このため、従来の撮像装置においては、固体撮像装置から出力された画素信号に対して画像処理を行う画像処理部内に、１つの画素に対して差分絶対値を算出する演算回路が注目ブロックに含まれる画素数分（図１２の場合では５×５＝２５個）備えられたＳＡＤ演算部を、固体撮像装置から画素信号が同時に出力されるチャンネル数分備えることによって、複数の画素信号を同時に出力する固体撮像装置に対応していた。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−０８８９１０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、ＳＡＤ演算を行うＳＡＤ演算部は、演算対象のブロックの大きさや、ＳＡＤ演算を行う際の参照画素の数に比例して回路規模が増加する。例えば、ＳＡＤ演算を行う対象のブロックの大きさを大きくする、つまり、注目ブロックおよび参照ブロックの領域を大きくして差分絶対値を算出する演算対象の画素数を多くすると、このブロック内に含まれる画素の数に比例して、同一座標に位置する画素同士で画素値の差分絶対値を算出する演算量（演算回路）が増大し、ＳＡＤ演算部の回路規模が増加する。また、例えば、ＳＡＤ演算を行う際に用いる参照画素の数を増やす、つまり、１つの注目画素に対する差分絶対値の算出を複数の参照画素を用いて行うようにすると、差分絶対値の算出に用いる参照画素の数に比例して、差分絶対値を算出する演算量（演算回路）が増大し、ＳＡＤ演算部の回路規模が増加する。
【００１２】
このため、複数の画素信号を同時に出力する固体撮像装置を搭載した撮像装置において、固体撮像装置から同時に画素信号が出力されるチャンネル数分のＳＡＤ演算部を画像処理部内に備えるということは、画像処理部の回路規模の増大、つまり、撮像装置の回路規模の増大に繋がってしまう。
【００１３】
本発明は、上記の課題認識に基づいてなされたものであり、固体撮像装置から隣接する複数の画素信号が同時に出力される場合であっても、それぞれの画素信号に対応したＳＡＤ演算を、回路規模の増大を抑えつつ同時に行うことができる画像処理装置、画像処理方法、および撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記の課題を解決するため、本発明の画像処理装置は、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置であって、同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域を合わせた拡張注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域を合わせた、前記拡張注目領域に対応する拡張参照領域とを、それぞれ定義し、該定義した前記拡張注目領域と前記拡張参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った拡張ＳＡＤ演算結果を出力する拡張領域ＳＡＤ演算部と、それぞれの前記注目画素に対応し、前記拡張ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて減算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ数の減算処理部と、を備える、ことを特徴とする。
【００１５】
また、本発明の画像処理方法は、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る画像処理装置における画像処理方法であって、同時に相関を取る隣接するそれぞれの前記注目画素毎に予め定めた複数の注目領域を合わせた拡張注目領域と、それぞれの前記注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域を合わせた、前記拡張注目領域に対応する拡張参照領域とを、それぞれ定義し、該定義した前記拡張注目領域と前記拡張参照領域とに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算を行った拡張ＳＡＤ演算結果を出力する拡張領域ＳＡＤ演算手順と、それぞれの前記注目画素に対応し、前記拡張ＳＡＤ演算結果と、対応する前記注目画素に対して予め定めた注目領域に含まれない周辺の画素の領域に対応するＳＡＤ演算結果とに基づいて減算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する前記注目画素と同じ回数の減算処理手順と、を含む、ことを特徴とする。
【００１６】
また、本発明の撮像装置は、複数の画素を有し、隣接する複数の前記画素の信号を光電変換した複数の画素信号を同時に出力する固体撮像装置と、前記固体撮像装置から隣接する複数の前記画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、該注目画素の周辺の画素を含めて同時に取る、上記本発明の画像処理装置と、を備える、ことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、固体撮像装置から隣接する複数の画素信号が同時に出力される場合であっても、それぞれの画素信号に対応したＳＡＤ演算を、回路規模の増大を抑えつつ同時に行うことができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態における画像処理装置の概略構成を示したブロック図である。
【図２】本第１の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。
【図３】本第１の実施形態の画像処理装置におけるＳＡＤ演算の演算方法を模式的に示した図である。
【図４】本第１の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の別の一例および演算方法を模式的に示した図である。
【図５】本発明の実施形態の画像処理装置におけるＳＡＤ演算の演算方法の別の一例を模式的に示した図である。
【図６】本発明の実施形態の画像処理装置において４チャンネルの画素信号が同時に入力される場合の画像処理装置の概略構成を示したブロック図である。
【図７】本発明の第２の実施形態における画像処理装置の概略構成を示したブロック図である。
【図８】本第２の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。
【図９】本第２の実施形態の画像処理装置におけるＳＡＤ演算の演算方法を模式的に示した図である。
【図１０】本第２の実施形態の画像処理装置におけるＳＡＤ演算の演算方法を模式的に示した図である。
【図１１】本第２の実施形態の画像処理装置において同時にＳＡＤ演算を行う画素の領域の別の一例を模式的に示した図である。
【図１２】ＳＡＤ演算を行う画素およびＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。
【発明を実施するための形態】
【００１９】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における画像処理装置の概略構成を示したブロック図である。図１に示した画像処理装置１００は、シリアル／パラレル変換部１１０と、拡張ブロックＳＡＤ演算部１２０と、２つの減算処理部１３１および減算処理部１３２と、を備えている。なお、図１には、撮像装置に搭載され、画像処理装置１００に画素信号を出力する固体撮像装置（以下「イメージセンサ」という）１０も併せて示している。ただし、図１においては、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号（アナログ信号）をデジタル信号に変換する構成要素は省略している。また、図１においては、シリアル／パラレル変換部１１０から拡張ブロックＳＡＤ演算部１２０に出力する信号線を簡略化して示している。
【００２０】
イメージセンサ１０は、不図示のレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１０は、撮像した撮影画像の画素信号、すなわち、入射した被写体光に応じたそれぞれの画素の画素信号を、水平方向ｘに隣接する２画素同時に、それぞれの画素に対応する２つのチャンネルから出力する。なお、以下の説明においては、イメージセンサ１０がベイヤー配列のカラーフィルタが撮像面に貼付されている固体撮像装置であり、ベイヤー配列の撮影画像の水平方向ｘに隣接する２画素の画素信号を、対応するそれぞれのチャンネルから同時に出力するものとして説明する。
【００２１】
ベイヤー配列のイメージセンサ１０が水平方向ｘに隣接する２画素の画素信号を同時に出力する場合、まず、最初の出力タイミングで、Ｒ画素の画素信号を一方のチャンネル（以下、「チャンネルｃｈ１」という）から順次出力し、同時に、Ｒ画素に水平方向（行方向）に隣接するＧｒ画素の画素信号を他方のチャンネル（以下、「チャンネルｃｈ２」という）から順次出力する。その後、イメージセンサ１０は、次の出力タイミングで、Ｇｂ画素の画素信号を一方のチャンネルから順次出力し、同時に、Ｇｂ画素に水平方向（行方向）に隣接するＢ画素の画素信号を他方のチャンネルから順次出力する。
【００２２】
このように、イメージセンサ１０は、垂直方向（列方向）に隣接する２画素の画素信号の出力を、行毎に交互に繰り返す。そして、画像処理装置１００には、イメージセンサ１０がそれぞれのチャンネルから出力した画素信号が、不図示の構成要素（例えば、アナログデジタル変換回路）によってデジタル信号にそれぞれ変換され、それぞれのチャンネルから出力された画素信号が表す画素値に応じた画像データとして順次入力される。
【００２３】
なお、以下の説明においては、説明を容易にするため、イメージセンサ１０が、画素信号に応じた画像データをそれぞれのチャンネルから出力するものとして説明する。図１には、イメージセンサ１０のチャンネルｃｈ１からＲ画素の画素信号に応じた画像データ（Ｒ１，Ｒ２，Ｒ３，・・・）が、チャンネルｃｈ２からＧｒ画素の画素信号に応じた画像データ（Ｇｒ１，Ｇｒ２，Ｇｒ３，・・・）が、それぞれ同時に、画像処理装置１００に順次入力されている様子を示している。
【００２４】
画像処理装置１００は、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号に応じたデジタル信号に対して様々な画像処理を施す画像処理部内に備えられる。なお、図１においては、イメージセンサ１０から出力されるそれぞれの画素信号が表す画素値に応じたデジタル信号（画像データ）に応じて、注目画素と参照画素との間の相関を取る画像処理を施す、本第１の実施形態の画像処理装置１００の構成のみを示している。本第１の実施形態の画像処理装置１００では、注目画素と参照画素との間の相関を取る手法として、イメージセンサ１０から出力される注目画素を中心とした予め定めた大きさの領域内のそれぞれの画像に対応したそれぞれの画像データの差分絶対値和を求めるＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｓｔａｎｃｅ）演算を行い、ＳＡＤ演算した結果（以下、「ＳＡＤ演算結果」という）を出力する。なお、図１に示した画像処理装置１００は、水平方向（行方向）ｘに隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージセンサ１０に対応した構成の一例である。
【００２５】
シリアル／パラレル変換部１１０は、イメージセンサ１０のそれぞれのチャンネルから順次（直列的に）入力される画像データを、後段の拡張ブロックＳＡＤ演算部１２０がＳＡＤ演算を行う際に用いる数だけ同時に（並列的に）出力する。より具体的には、シリアル／パラレル変換部１１０は、イメージセンサ１０の行毎に交互に入力される画像データを一旦記憶し、記憶したそれぞれの画像データを、拡張ブロックＳＡＤ演算部１２０がＳＡＤ演算を行う数だけ同時に出力する。シリアル／パラレル変換部１１０は、例えば、画像処理装置１００がＳＡＤ演算を行う際に用いるイメージセンサ１０の垂直方向（列方向）の画像データの数、つまり、イメージセンサ１０の水平方向の行数（ライン数）のラインメモリで構成される。
【００２６】
この構成によって、シリアル／パラレル変換部１１０は、それぞれの画像データが異なるタイミングで入力された場合でも、ＳＡＤ演算を行うブロックに含まれる画像データを同じタイミングで拡張ブロックＳＡＤ演算部１２０に出力することができる。
【００２７】
拡張ブロックＳＡＤ演算部１２０は、シリアル／パラレル変換部１１０から同時に入力されたそれぞれの画像データに基づいてＳＡＤ演算を行い、ＳＡＤ演算した後のＳＡＤ演算結果を、イメージセンサ１０のそれぞれのチャンネルに対応する後段の減算処理部のそれぞれに出力する。
【００２８】
拡張ブロックＳＡＤ演算部１２０によるＳＡＤ演算では、まず、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした予め定めた大きさの領域（以下、「第１の注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素を中心とした予め定めた大きさの領域（以下、「第２の注目ブロック」という）とをそれぞれ定義する。そして、拡張ブロックＳＡＤ演算部１２０は、さらに、第１の注目ブロックと第２の注目ブロックとを合わせた領域（以下、「拡張注目ブロック」という）を定義する。
【００２９】
また、拡張ブロックＳＡＤ演算部１２０によるＳＡＤ演算では、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応した参照画素を中心とした予め定めた大きさの領域（以下、「第１の参照ブロック」という）と、チャンネルｃｈ２から出力される注目画素に対応した参照画素を中心とした予め定めた大きさの領域（以下、「第２の参照ブロック」という）とをそれぞれ定義する。そして、拡張ブロックＳＡＤ演算部１２０は、さらに、第１の参照ブロックと第２の参照ブロックとを合わせた領域（以下、「拡張参照ブロック」という）を定義する。
【００３０】
なお、イメージセンサ１０は、水平方向ｘに隣接する２画素の画像データを同時に出力する。このため、拡張ブロックＳＡＤ演算部１２０が定義した第１の注目ブロックと第２の注目ブロックとは、水平方向ｘに１画素分ずれた領域である。また、同様に、拡張ブロックＳＡＤ演算部１２０が定義した第１の参照ブロックと第２の参照ブロックとも、水平方向ｘに１画素分ずれた領域である。
【００３１】
ここで、以下の説明においては、イメージセンサ１０から出力されるそれぞれの画像データに対応する各画素の位置を容易に識別できるようにするため、画素の座標値をＸＹ座標で表し、“（）：括弧”内の最初に画素の水平方向ｘの列番号、最後に垂直方向ｙの行番号を数字で表す。例えば、イメージセンサ１０のチャンネルｃｈ１から出力される水平方向ｘ＝６、垂直方向ｙ＝６の座標位置に位置する注目画素は、注目画素（６，６）と表し、イメージセンサ１０のチャンネルｃｈ２から出力される水平方向ｘ＝７、垂直方向ｙ＝６の座標位置に位置する注目画素は、注目画素（７，６）と表す。
【００３２】
その後、拡張ブロックＳＡＤ演算部１２０は、定義した拡張注目ブロックと拡張参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算した結果、つまり、拡張注目ブロックに対応するＳＡＤ演算結果（以下、「拡張ＳＡＤ演算結果」という）を、後段の減算処理部１３１と減算処理部１３２とのそれぞれに出力する。このとき拡張ブロックＳＡＤ演算部１２０が出力する拡張ＳＡＤ演算結果は、下式（２）で表される。
【００３３】
【数２】
2015114701.tif 000004
【００３４】
上式（２）において、ＳＡＤｅ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置するイメージセンサ１０のチャンネルｃｈ１から出力される注目画素（ｘ，ｙ）を中心とした拡張注目ブロックに対応した拡張ＳＡＤ演算結果を表す。また、上式（２）において、Ａ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした拡張注目ブロック内の画像データ、Ｂ（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置する注目画素（ｘ，ｙ）を中心とした拡張注目ブロック内の画像データに対応する拡張参照ブロック内の画像データを表す。また、上式（２）において、ｈは注目画素（ｘ，ｙ）を中心とした拡張注目ブロックの領域の水平方向の大きさを示した画素数、ｖは注目画素（ｘ，ｙ）を中心とした拡張注目ブロックの領域の垂直方向の大きさを示した画素数を表す。また、上式（２）において、ｎは拡張注目ブロック内の注目画素（ｘ，ｙ）に対応する参照画素の注目画素（ｘ，ｙ）からの水平方向の距離を示した画素数、ｎは拡張注目ブロック内の注目画素（ｘ，ｙ）に対応する参照画素の注目画素（ｘ，ｙ）からの垂直方向の距離を示した画素数を表す。従って、上式（２）において、ｈ、ｖ、ｎ、ｍ、ｉ、およびｊは正の整数である。
【００３５】
また、拡張ブロックＳＡＤ演算部１２０は、定義した拡張注目ブロック内で、第１の注目ブロックに含まれないブロック（以下、「第１の減算ブロック」という）に対応するＳＡＤ演算結果（以下、「第１の減算用ＳＡＤ演算結果」という）を減算処理部１３１に出力する。また、拡張ブロックＳＡＤ演算部１２０は、定義した拡張注目ブロック内で、第２の注目ブロックに含まれないブロック（以下、「第２の減算ブロック」という）に対応するＳＡＤ演算結果（以下、「第２の減算用ＳＡＤ演算結果」という）を減算処理部１３２に出力する。
【００３６】
なお、拡張ブロックＳＡＤ演算部１２０は、拡張注目ブロックと拡張参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値を算出する演算回路を、拡張注目ブロックに含まれる画素数分備えている。例えば、拡張ブロックＳＡＤ演算部１２０が対応する第１の注目ブロックと第２の注目ブロックとのそれぞれの領域が、５画素×５画素の領域である場合には、第１の注目ブロックと第２の注目ブロックとを合わせた拡張注目ブロックの領域は、６画素×５画素の領域となる。このため、拡張ブロックＳＡＤ演算部１２０は、６画素×５画素分、すなわち、３０個の演算回路を備えている。これにより、拡張ブロックＳＡＤ演算部１２０は、シリアル／パラレル変換部１１０から同時に入力されたそれぞれの画像データに基づいてＳＡＤ演算した拡張ＳＡＤ演算結果、第１の減算用ＳＡＤ演算結果、および第２の減算用ＳＡＤ演算結果を、同時に減算処理部１３１と減算処理部１３２とのそれぞれに出力することができる。
【００３７】
減算処理部１３１および減算処理部１３２のそれぞれは、拡張ブロックＳＡＤ演算部１２０から入力された拡張ＳＡＤ演算結果と、拡張ブロックＳＡＤ演算部１２０から入力された第１の減算用ＳＡＤ演算結果または拡張ブロックＳＡＤ演算部１２０から入力された第２の減算用ＳＡＤ演算結果とに基づいて、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算結果を、それぞれ出力する。なお、図１に示した画像処理装置１００では、減算処理部１３１がイメージセンサ１０のチャンネルｃｈ１に対応し、減算処理部１３２がイメージセンサ１０のチャンネルｃｈ２に対応している。
【００３８】
より具体的には、減算処理部１３１は、拡張ブロックＳＡＤ演算部１２０から入力された拡張ＳＡＤ演算結果から、拡張ブロックＳＡＤ演算部１２０から入力された第１の減算用ＳＡＤ演算結果を減算し、減算した結果を、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果として出力する。このとき減算処理部１３１が出力する第１の注目ブロックに対応したＳＡＤ演算結果は、下式（３）で表される。
【００３９】
【数３】
2015114701.tif 000005
【００４０】
上式（３）において、ＳＡＤ１（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置するイメージセンサ１０のチャンネルｃｈ１から出力される注目画素（ｘ，ｙ）を中心とした第１の注目ブロックに対応したＳＡＤ演算結果を表す。また、上式（３）において、右辺の第２項は、第１の減算ブロックに対応した第１の減算用ＳＡＤ演算結果を表す式である。また、上式（３）において、Ａ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、ｈ、ｖ、ｎ、ｍ、ｉ、およびｊは、上式（２）と同様である。
【００４１】
また、減算処理部１３２は、拡張ブロックＳＡＤ演算部１２０から入力された拡張ＳＡＤ演算結果から、拡張ブロックＳＡＤ演算部１２０から入力された第２の減算用ＳＡＤ演算結果を減算し、減算した結果を、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果として出力する。このとき減算処理部１３２が出力する第２の注目ブロックに対応したＳＡＤ演算結果は、下式（４）で表される。
【００４２】
【数４】
2015114701.tif 000006
【００４３】
上式（４）において、ＳＡＤ２（ｘ，ｙ）は水平方向ｘ、垂直方向ｙの座標位置に位置するイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（ｘ，ｙ）を中心とした第２の注目ブロックに対応したＳＡＤ演算結果を表す。また、上式（４）において、右辺の第２項は、第２の減算ブロックに対応した第２の減算用ＳＡＤ演算結果を表す式である。また、上式（４）において、Ａ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、ｈ、ｖ、ｎ、ｍ、ｉ、およびｊは、上式（２）および上式（３）と同様である。
【００４４】
このような構成によって、画像処理装置１００では、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果と、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果とを同時に出力する。つまり、画像処理装置１００では、拡張ブロックＳＡＤ演算部１２０と減算処理部１３１との構成によって、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果を出力し、拡張ブロックＳＡＤ演算部１２０と減算処理部１３２との構成によって、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果を出力する。
【００４５】
次に、本第１の実施形態の画像処理装置１００において、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算を行う方法について説明する。まず、図２を用いて同時にＳＡＤ演算を行う領域について説明する。図２は、本第１の実施形態の画像処理装置１００において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。図２（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、第１の参照ブロックとの位置関係を示し、図２（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックと、第２の参照ブロックとの位置関係を示している。
【００４６】
図２を見てわかるように、イメージセンサ１０が、水平方向ｘに隣接する２画素の画像データを同時に出力する場合、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素とは、水平方向ｘに隣接する２画素である。同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応する参照画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素に対応する参照画素とも、水平方向ｘに隣接する２画素である。
【００４７】
より具体的には、図２に示した一例では、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素の座標位置は、水平方向ｘ＝６、垂直方向ｙ＝６の座標位置であり、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素の座標位置は、水平方向ｘ＝７、垂直方向ｙ＝６の座標位置である。同様に、それぞれの注目画素の座標位置から水平方向に−４、垂直方向に−４した座標位置にある、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応する参照画素の座標位置は、水平方向ｘ＝２、垂直方向ｙ＝２の座標位置であり、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素に対応する参照画素の座標位置は、水平方向ｘ＝３、垂直方向ｙ＝２の座標位置である。
【００４８】
上述したように、拡張ブロックＳＡＤ演算部１２０は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックとをそれぞれ定義する。また、拡張ブロックＳＡＤ演算部１２０は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１の参照ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２の参照ブロックとをそれぞれ定義する。
【００４９】
より具体的には、図２に示した一例では、拡張ブロックＳＡＤ演算部１２０が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした５画素×５画素の領域を第１の注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした５画素×５画素の領域を第２の注目ブロックと定義する。また、拡張ブロックＳＡＤ演算部１２０は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした５画素×５画素の領域を第１の参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした５画素×５画素の領域を第２の参照ブロックと定義する。
【００５０】
ここで定義された第１の注目ブロック内の画像データと第１の参照ブロック内の画像データとに基づいてＳＡＤ演算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した最終的なＳＡＤ演算結果である。また、ここで定義された第２の注目ブロック内の画像データと第２の参照ブロック内の画像データとに基づいてＳＡＤ演算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した最終的なＳＡＤ演算結果である。
【００５１】
なお、従来の撮像装置に備えた画像処理部においては、第１の注目ブロック内の画像データと第１の参照ブロック内の画像データとに基づいてＳＡＤ演算するＳＡＤ演算部と、第２の注目ブロック内の画像データと第２の参照ブロック内の画像データとに基づいてＳＡＤ演算するＳＡＤ演算部とをそれぞれ備えることによって、第１の注目ブロックと第２の注目ブロックとのそれぞれに対応するＳＡＤ演算結果とを同時に出力していた。
【００５２】
一方、本第１の実施形態の画像処理装置１００では、拡張ブロックＳＡＤ演算部１２０が、第１の注目ブロックと第２の注目ブロックとを合わせた拡張注目ブロックと、第１の参照ブロックと第２の参照ブロックとを合わせた拡張参照ブロックとをそれぞれ定義する。図３は、本第１の実施形態の画像処理装置１００におけるＳＡＤ演算の演算方法を模式的に示した図である。図３には、第１の注目ブロックと第２の注目ブロックとを合わせた６画素×５画素の領域の拡張注目ブロックと、第１の参照ブロックと第２の参照ブロックとを合わせた６画素×５画素の領域の拡張参照ブロックとをそれぞれ定義した状態を示している。
【００５３】
図３を見てわかるように、拡張注目ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）とが含まれている。また、拡張参照ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）とが含まれている。
【００５４】
そして、本第１の実施形態の画像処理装置１００では、拡張ブロックＳＡＤ演算部１２０が、定義した拡張注目ブロック内の画像データと拡張参照ブロック内の画像データとに基づいてＳＡＤ演算を行い、拡張注目ブロックに対応した拡張ＳＡＤ演算結果を、減算処理部１３１と減算処理部１３２とのそれぞれに出力する。このとき拡張ブロックＳＡＤ演算部１２０が出力する、図３に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした拡張注目ブロックに対応した拡張ＳＡＤ演算結果は、上式（２）より、下式（５）で表される。
【００５５】
【数５】
2015114701.tif 000007
【００５６】
さらに、本第１の実施形態の画像処理装置１００では、拡張ブロックＳＡＤ演算部１２０が、定義した拡張注目ブロック内で、第１の注目ブロックに含まれないブロック、すなわち、図３に示した第１の減算ブロック内の画像データと、この第１の減算ブロックに対応する拡張参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第１の減算用ＳＡＤ演算結果を、減算処理部１３１に出力する。
【００５７】
これにより、減算処理部１３１は、拡張ブロックＳＡＤ演算部１２０から入力された拡張ＳＡＤ演算結果から第１の減算用ＳＡＤ演算結果を減算して、第１の注目ブロックに対応したＳＡＤ演算結果を得る。そして、減算処理部１３１は、第１の注目ブロックに対応したＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果として出力する。このとき減算処理部１３１が出力する、図２（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応したＳＡＤ演算結果は、上式（３）より、下式（６）で表される。
【００５８】
【数６】
2015114701.tif 000008
【００５９】
また、本第１の実施形態の画像処理装置１００では、拡張ブロックＳＡＤ演算部１２０が、定義した拡張注目ブロック内で、第２の注目ブロックに含まれないブロック、すなわち、図３に示した第２の減算ブロック内の画像データと、この第２の減算ブロックに対応する拡張参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第２の減算用ＳＡＤ演算結果を、減算処理部１３２に出力する。
【００６０】
これにより、減算処理部１３２は、拡張ブロックＳＡＤ演算部１２０から入力された拡張ＳＡＤ演算結果から第２の減算用ＳＡＤ演算結果を減算して、第２の注目ブロックに対応したＳＡＤ演算結果を得る。そして、減算処理部１３２は、第２の注目ブロックに対応したＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果として出力する。このとき減算処理部１３２が出力する、図２（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応したＳＡＤ演算結果は、上式（４）より、下式（７）で表される。
【００６１】
【数７】
2015114701.tif 000009
【００６２】
本第１の実施形態によれば、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、この注目画素の周辺の画素を含めて同時に取る画像処理装置（画像処理装置１００）であって、同時に相関を取る隣接するそれぞれの注目画素毎に予め定めた複数の注目領域（第１の注目ブロックおよび第２の注目ブロック）を合わせた拡張注目領域（拡張注目ブロック）と、それぞれの注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域（第１の参照ブロックおよび第２の参照ブロック）を合わせた、拡張注目ブロックに対応する拡張参照領域（拡張参照ブロック）とを、それぞれ定義し、ここで定義した拡張注目ブロックと拡張参照ブロックとに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算（ＳＡＤ演算）を行った拡張ＳＡＤ演算結果を出力する拡張領域ＳＡＤ演算部（拡張ブロックＳＡＤ演算部１２０）と、それぞれの注目画素に対応し、拡張ＳＡＤ演算結果と、対応する注目画素に対して予め定めた第１の注目ブロックまたは第２の注目ブロックに含まれない周辺の画素の領域（第１の減算ブロックまたは第２の減算ブロック）に対応するＳＡＤ演算結果（第１の減算用ＳＡＤ演算結果または第２の減算用ＳＡＤ演算結果）とに基づいて減算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する注目画素と同じ数（２つ）の減算処理部（減算処理部１３１および減算処理部１３２）と、を備える画像処理装置１００が構成される。
【００６３】
また、本第１の実施形態によれば、隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、この注目画素の周辺の画素を含めて同時に取る画像処理装置（画像処理装置１００）における画像処理方法であって、同時に相関を取る隣接するそれぞれの注目画素毎に予め定めた複数の注目領域（第１の注目ブロックおよび第２の注目ブロック）を合わせた拡張注目領域（拡張注目ブロック）と、それぞれの注目画素に対応するそれぞれの参照画素毎に予め定めた複数の参照領域（第１の参照ブロックおよび第２の参照ブロック）を合わせた、拡張注目ブロックに対応する拡張参照領域（拡張参照ブロック）とを、それぞれ定義し、ここで定義した拡張注目ブロックと拡張参照ブロックとに含まれる画素の画素信号が表す値に基づいて差分絶対値和演算（ＳＡＤ演算）を行った拡張ＳＡＤ演算結果を出力する拡張領域ＳＡＤ演算手順（拡張ブロックＳＡＤ演算部１２０における動作手順）と、それぞれの注目画素に対応し、拡張ＳＡＤ演算結果と、対応する注目画素に対して予め定めた第１の注目ブロックまたは第２の注目ブロックに含まれない周辺の画素の領域（第１の減算ブロックまたは第２の減算ブロック）に対応するＳＡＤ演算結果（第１の減算用ＳＡＤ演算結果または第２の減算用ＳＡＤ演算結果）とに基づいて減算処理を行ったＳＡＤ演算結果を出力する、同時に相関を取る隣接する注目画素と同じ回数（２回）の減算処理手順（減算処理部１３１および減算処理部１３２における動作手順）と、を含む画像処理方法が構成される。
【００６４】
また、本第１の実施形態によれば、複数の画素を有し、隣接する複数の画素の信号を光電変換した複数の画素信号を同時に出力する固体撮像装置（イメージセンサ１０）と、イメージセンサ１０から隣接する複数の画素の画素信号が同時に入力され、隣接する複数の注目画素のそれぞれ毎に、対応する参照画素との間の相関を、この注目画素の周辺の画素を含めて同時に取る画像処理装置（画像処理装置１００）と、を備える撮像装置が構成される。
【００６５】
また、本第１の実施形態によれば、拡張ブロックＳＡＤ演算部１２０は、入力された第１の注目画素（イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６））を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目領域（第１の注目ブロック）と、同時に入力された隣接する第２の注目画素（イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６））を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目領域（第２の注目ブロック）とを合わせた拡張注目ブロックと、注目画素（６，６）に対応する第１の参照画素（イメージセンサ１０のチャンネルｃｈ１から出力される参照画素（２，２））を中心とし、第１の注目ブロックに対応する予め定めた大きさの第１の参照領域（第１の参照ブロック）と、注目画素（７，６）に対応する第２の参照画素（イメージセンサ１０のチャンネルｃｈ２から出力される参照画素（３，２））を中心とし、第２の注目ブロックに対応する予め定めた大きさの第２の参照領域（第２の参照ブロック）とを合わせた拡張参照ブロックとを、それぞれ定義し、拡張注目ブロックと拡張参照ブロックとにおいて同一の座標に位置する画素の画素信号が表す値（画像データ）同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算するＳＡＤ演算を行った拡張ＳＡＤ演算結果を出力し、注目画素（６，６）に対応する減算処理部である第１の減算処理部（減算処理部１３１）は、拡張ＳＡＤ演算結果から、拡張注目ブロック内で、第１の注目ブロックに含まれない画素の領域（第１の減算ブロック）に対応するＳＡＤ演算結果（第１の減算用ＳＡＤ演算結果）を減算した第１のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果）を出力し、注目画素（７，６）に対応する減算処理部である第２の減算処理部（減算処理部１３２）は、拡張ＳＡＤ演算結果から、拡張注目ブロック内で、第２の注目ブロックに含まれない画素の領域（第２の減算ブロック）に対応するＳＡＤ演算結果（第２の減算用ＳＡＤ演算結果）を減算した第２のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果）を出力する、画像処理装置１００が構成される。
【００６６】
また、本第１の実施形態によれば、拡張ブロックＳＡＤ演算部１２０は、第１の注目ブロックに含まれない拡張注目ブロック内の画素の第１の減算ブロックと、この第１の減算ブロックに対応する第１の参照ブロックに含まれない拡張参照ブロック内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいてＳＡＤ演算した第１の減算用ＳＡＤ演算結果と、第２の注目ブロックに含まれない拡張注目ブロック内の画素の第２の減算ブロックと、この第２の減算ブロックに対応する第２の参照ブロックに含まれない拡張参照ブロック内の画素の領域とにおいて同一の座標に位置する画素の画素信号が表す値に基づいてＳＡＤ演算した第２の減算用ＳＡＤ演算結果と、をそれぞれ出力し、減算処理部１３１は、拡張ＳＡＤ演算結果から第１の減算用ＳＡＤ演算結果を減算した第１のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応するＳＡＤ演算結果）を出力し、減算処理部１３２は、拡張ＳＡＤ演算結果から第２の減算用ＳＡＤ演算結果を減算した第２のＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ２に対応するＳＡＤ演算結果）を出力する、画像処理装置１００が構成される。
【００６７】
上記に述べたように、本第１の実施形態の画像処理装置１００では、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックとを合わせた拡張注目ブロックに対してＳＡＤ演算を行う。そして、本第１の実施形態の画像処理装置１００では、拡張注目ブロックに対応する拡張ＳＡＤ演算結果から、第１の注目ブロックに含まれない第１の減算ブロックに対応する第１の減算用ＳＡＤ演算結果、または第２の注目ブロックに含まれない第２の減算ブロックに対応する第２の減算用ＳＡＤ演算結果を減算する。これにより、本第１の実施形態の画像処理装置１００でも、第１の注目ブロックに対応するＳＡＤ演算と第２の注目ブロックに対応するＳＡＤ演算とをそれぞれ同時に行う従来の撮像装置に備えた画像処理部と同じＳＡＤ演算結果を得ることができる。
【００６８】
しかも、本第１の実施形態の画像処理装置１００では、従来の撮像装置に備えた画像処理部において第１の注目ブロックと第２の注目ブロックとのそれぞれの対応した別々のＳＡＤ演算部で行っていたＳＡＤ演算を、拡張ブロックＳＡＤ演算部１２０と減算処理部１３１、または減算処理部１３２との組み合わせで行うことができる。これにより、本第１の実施形態の画像処理装置１００では、ＳＡＤ演算を行うために備える、同一座標に位置する画素の画像データ同士の差分絶対値を算出する演算回路の数を、従来の撮像装置に備えた画像処理部に備える数よりも、少なくすることができる。
【００６９】
より具体的には、例えば、第１の注目ブロックと第２の注目ブロックとのそれぞれの領域が５画素×５画素の領域である場合、従来の撮像装置に備えた画像処理部では、５画素×５画素分の演算回路を２チャンネル分、すなわち、５×５×２＝５０個の演算回路を備える必要があった。これに対して、本第１の実施形態の画像処理装置１００では、拡張注目ブロックの領域である６画素×５画素分の演算回路、すなわち、６×５＝３０個の演算回路を拡張ブロックＳＡＤ演算部１２０に備えるのみで、拡張ＳＡＤ演算結果を得ることができる。つまり、本第１の実施形態の画像処理装置１００では、第１の注目ブロックと第２の注目ブロックとが重複している４画素×５画素の領域の演算回路、すなわち、４×５＝２０個の演算回路を、従来の撮像装置に備えた画像処理部よりも削減することができる。
【００７０】
しかも、本第１の実施形態の画像処理装置１００では、シリアル／パラレル変換部１１０から、拡張ブロックＳＡＤ演算部１２０がＳＡＤ演算を行う数の画像データが同時に入力されるため、拡張ブロックＳＡＤ演算部１２０は、拡張ＳＡＤ演算結果を得るのと同時に、第１の減算用ＳＡＤ演算結果と第２の減算用ＳＡＤ演算結果とを得ることができる。これは、本第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０が拡張ＳＡＤ演算結果を得るために備えた、それぞれの画像データに対応した演算回路の一部の演算回路、すなわち、第１の減算ブロックに対応する演算回路、または第２の減算ブロックに対応する演算回路が算出した差分絶対値を積算するのみで、第１の減算用ＳＡＤ演算結果と第２の減算用ＳＡＤ演算結果とを算出することができるからである。これにより、本第１の実施形態の画像処理装置１００では、ＳＡＤ演算に関わる回路の回路規模の増大を、従来の構成よりも抑えつつ、それぞれの画像データに応じたＳＡＤ演算結果を同時に出力することができる。
【００７１】
なお、本第１の実施形態においては、ＳＡＤ演算を行うために定義するそれぞれの領域（ブロック）が、図２および図３に示したような方向に定義された形状の領域（ブロック）である場合について説明した。しかし、ＳＡＤ演算を行うために定義する領域（ブロック）は、本第１の実施形態において説明した形状に限定されるものではない。例えば、図４に示したような形状の領域（ブロック）であっても同様に、本発明の考え方を適用することができる。
【００７２】
図４は、本第１の実施形態の画像処理装置１００において同時にＳＡＤ演算を行う画素の領域の別の一例および演算方法を模式的に示した図である。図４（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１の参照ブロックとの位置関係を示している。また、図４（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２の参照ブロックとの位置関係を示している。また、図４（ｃ）には、第１の注目ブロックと第２の注目ブロックとを合わせた領域の拡張注目ブロックと、第１の参照ブロックと第２の参照ブロックとを合わせた領域の拡張参照ブロックと、拡張注目ブロック内の第１の減算ブロックおよび第２の減算ブロックとを示している。
【００７３】
本第１の実施形態の画像処理装置１００では、拡張ブロックＳＡＤ演算部１２０が、図４に示したような形状のそれぞれの領域（ブロック）に対するＳＡＤ演算を行った拡張ＳＡＤ演算結果、第１の減算用ＳＡＤ演算結果、および第２の減算用ＳＡＤ演算結果を、減算処理部１３１と減算処理部１３２とのそれぞれに出力する。そして、減算処理部１３１と減算処理部１３２とのそれぞれが、拡張ブロックＳＡＤ演算部１２０から入力された拡張ＳＡＤ演算結果から、第１の減算用ＳＡＤ演算結果または第２の減算用ＳＡＤ演算結果を減算する。これにより、本第１の実施形態の画像処理装置１００は、図４（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応するＳＡＤ演算結果と、図４（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応するＳＡＤ演算結果とを同時に出力する。
【００７４】
このように、本第１の実施形態の画像処理装置１００では、第１の注目ブロックと第２の注目ブロックとのそれぞれの領域（ブロック）の形状によらずに、第１の注目ブロックに対応するＳＡＤ演算結果と第２の注目ブロックに対応するＳＡＤ演算結果とをそれぞれ同時に出力することができる。
【００７５】
なお、本第１の実施形態においては、画像処理装置１００が、水平方向（行方向）ｘに隣接する２画素の画像データを同時に出力するイメージセンサ１０に対応する構成の一例を示した。しかし、本発明の画像処理装置の考え方は、イメージセンサが同時に出力する画像データの方向が、水平方向（行方向）ｘである構成に限定されるものではない。例えば、イメージセンサが、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力する構成や、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力する、つまり、４画素の画像データを同時に出力する構成であっても同様に、本発明の考え方を適用することができる。
【００７６】
＜第１の実施形態の変形例＞
ここで、イメージセンサが画像データを同時に出力する別の一例について説明する。図５は、本発明の実施形態の画像処理装置におけるＳＡＤ演算の演算方法の別の一例を模式的に示した図である。図５（ａ）には、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応した場合の演算方法を模式的に示し、図５（ｂ）には、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応した場合の演算方法を模式的に示している。
【００７７】
まず、図５（ａ）を参照して、本発明の考え方を適用した画像処理装置が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する場合について説明する。本発明の考え方を適用した画像処理装置が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する場合であっても、この画像処理装置に備えた拡張ブロックＳＡＤ演算部は、画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、ＳＡＤ演算を行う際に用いるそれぞれの領域（ブロック）を定義する。
【００７８】
なお、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する画像処理装置は、入力される画像データの順番に応じてそれぞれのＳＡＤ演算を行う領域（ブロック）が異なるのみで、その構成は、画像処理装置１００と同様に考えることができる。従って、以下の説明においては、図１に示したイメージセンサ１０が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力し、図１に示した画像処理装置１００が、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサに対応する画像処理装置であるものとして説明する。
【００７９】
図５（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応した最終的なＳＡＤ演算結果と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（６，７）を中心とした第２の注目ブロックに対応した最終的なＳＡＤ演算結果とを得るために定義する、それぞれの領域（ブロック）を示している。
【００８０】
より具体的には、第１の注目ブロックと第２の注目ブロックとを合わせた５画素×６画素の領域の拡張注目ブロックと、第１の参照ブロックと第２の参照ブロックとを合わせた５画素×６画素の領域の拡張参照ブロックとを示している。図５（ａ）を見てわかるように、拡張注目ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（６，７）とが含まれている。また、拡張参照ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（６，７）に対応した参照画素（２，３）とが含まれている。
【００８１】
拡張ブロックＳＡＤ演算部１２０は、上述したように、定義した拡張注目ブロック内の画像データと拡張参照ブロック内の画像データとに基づいてＳＡＤ演算を行った拡張ＳＡＤ演算結果を、減算処理部１３１と減算処理部１３２とのそれぞれに出力する。さらに、拡張ブロックＳＡＤ演算部１２０は、定義した拡張注目ブロック内で、第１の注目ブロックに含まれない、図５（ａ）に示した第１の減算ブロック内の画像データと、この第１の減算ブロックに対応する拡張参照ブロックにおける領域（ブロック）の画像データとに基づいてＳＡＤ演算を行った第１の減算用ＳＡＤ演算結果を、減算処理部１３１に出力する。また、拡張ブロックＳＡＤ演算部１２０は、定義した拡張注目ブロック内で、第２の注目ブロックに含まれない、図５（ａ）に示した第２の減算ブロック内の画像データと、この第２の減算ブロックに対応する拡張参照ブロックにおける領域（ブロック）の画像データとに基づいてＳＡＤ演算を行った第２の減算用ＳＡＤ演算結果を、減算処理部１３２に出力する。
【００８２】
これにより、減算処理部１３１は、拡張ＳＡＤ演算結果から第１の減算用ＳＡＤ演算結果を減算し、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックに対応するＳＡＤ演算結果を出力する。また、減算処理部１３２は、拡張ＳＡＤ演算結果から第２の減算用ＳＡＤ演算結果を減算し、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力するイメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックに対応するＳＡＤ演算結果を出力する。
【００８３】
このように、イメージセンサが、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力する構成であっても、本発明の考え方を適用することによって同様に、第１の注目ブロックに対応するＳＡＤ演算結果と第２の注目ブロックに対応するＳＡＤ演算結果とをそれぞれ同時に出力することができる。
【００８４】
続いて、図５（ｂ）を参照して、本発明の考え方を適用した画像処理装置が、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する場合について説明する。本発明の考え方を適用した画像処理装置が、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する場合であっても、この画像処理装置に備えた拡張ブロックＳＡＤ演算部は、画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、ＳＡＤ演算を行う際に用いるそれぞれの領域（ブロック）を定義する。
【００８５】
ただし、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する画像処理装置は、入力される画像データに応じて定義する注目ブロックの数が、画像処理装置１００よりも多い。つまり、イメージセンサのチャンネルｃｈ１〜チャンネルｃｈ４のそれぞれから出力される注目画素のそれぞれを中心とした予め定めた大きさの４つの領域（以下、「第１〜第４の注目ブロック」という）をそれぞれ定義し、第１〜第４の注目ブロックを合わせた拡張注目ブロックを定義する。このため、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサに対応する画像処理装置の構成は、画像処理装置１００の構成と異なり、第１〜第４の注目ブロックに対応した構成になっている。
【００８６】
図６は、本発明の実施形態の画像処理装置において４チャンネルの画素信号が同時に入力される場合の画像処理装置の概略構成を示したブロック図である。図６に示した画像処理装置２００は、シリアル／パラレル変換部２１０と、拡張ブロックＳＡＤ演算部２２０と、４つの減算処理部２３１〜減算処理部２３４と、を備えている。なお、図６には、撮像装置に搭載され、画像処理装置２００に画素信号を出力するイメージセンサ２０も併せて示している。ただし、図６においても、図１に示した画像処理装置１００の概略構成と同様に、イメージセンサ２０に配置されたそれぞれの画素から出力される画素信号（アナログ信号）をデジタル信号に変換する構成要素は省略している。また、図６においては、シリアル／パラレル変換部２１０から拡張ブロックＳＡＤ演算部２２０に出力する画像データの信号線を簡略化して示している。
【００８７】
なお、画像処理装置２００に備えた構成要素のそれぞれは、入力される画像データに応じてそれぞれのＳＡＤ演算を行う領域（ブロック）が異なるのみで、画像処理装置１００に備えたそれぞれの構成要素と同様に考えることができる。従って、以下の説明においては、画像処理装置２００に備えたそれぞれの構成要素に関する詳細な説明は省略する。なお、図６に示した画像処理装置２００では、減算処理部２３１がイメージセンサ２０のチャンネルｃｈ１に対応し、減算処理部２３２がイメージセンサ２０のチャンネルｃｈ２に対応し、減算処理部２３３がイメージセンサ２０のチャンネルｃｈ３に対応し、減算処理部２３４がイメージセンサ２０のチャンネルｃｈ４に対応している。
【００８８】
図５（ｂ）には、イメージセンサ２０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応した最終的なＳＡＤ演算結果と、イメージセンサ２０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応した最終的なＳＡＤ演算結果とを得るために定義する、それぞれの領域（ブロック）を示している。また、図５（ｂ）には、イメージセンサ２０のチャンネルｃｈ３から出力される注目画素（６，７）を中心とした第３の注目ブロックに対応した最終的なＳＡＤ演算結果と、イメージセンサ２０のチャンネルｃｈ４から出力される注目画素（７，７）を中心とした第４の注目ブロックに対応した最終的なＳＡＤ演算結果とを得るために定義する、それぞれの領域（ブロック）を示している。
【００８９】
より具体的には、第１〜第４の注目ブロックを合わせた６画素×６画素の領域の拡張注目ブロックと、第１〜第４の参照ブロックとを合わせた６画素×６画素の領域の拡張参照ブロックとを示している。図５（ｂ）を見てわかるように、拡張注目ブロック内には、イメージセンサ２０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ２０のチャンネルｃｈ２から出力される注目画素（７，６）と、イメージセンサ２０のチャンネルｃｈ３から出力される注目画素（６，７）と、イメージセンサ２０のチャンネルｃｈ４から出力される注目画素（７，７）とが含まれている。また、拡張参照ブロック内には、イメージセンサ２０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ２０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）と、イメージセンサ２０のチャンネルｃｈ３から出力される注目画素（６，７）に対応した参照画素（２，３）と、イメージセンサ２０のチャンネルｃｈ４から出力される注目画素（７，７）に対応した参照画素（３，３）とが含まれている。
【００９０】
拡張ブロックＳＡＤ演算部２２０は、画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、定義した拡張注目ブロック内の画像データと拡張参照ブロック内の画像データとに基づいてＳＡＤ演算を行った拡張ＳＡＤ演算結果を、減算処理部２３１〜減算処理部２３４とのそれぞれに出力する。さらに、拡張ブロックＳＡＤ演算部２２０は、定義した拡張注目ブロック内で、第１の注目ブロックに含まれない、図５（ｂ）に示した第１の減算ブロックと第３の減算ブロックとに対応する第１の減算用ＳＡＤ演算結果を、減算処理部２３１に出力する。ただし、第１の減算ブロックと第３の減算ブロックとが重複する画素ＲＢの画素データに対応するＳＡＤ演算結果は、第１の減算用ＳＡＤ演算結果に重複して含まれない。また、拡張ブロックＳＡＤ演算部２２０は、定義した拡張注目ブロック内で、第２の注目ブロックに含まれない、図５（ｂ）に示した第２の減算ブロックと第３の減算ブロックとに対応する第２の減算用ＳＡＤ演算結果を、減算処理部２３２に出力する。ただし、第２の減算ブロックと第３の減算ブロックとが重複する画素ＬＢの画素データに対応するＳＡＤ演算結果は、第２の減算用ＳＡＤ演算結果に重複して含まれない。
【００９１】
また、拡張ブロックＳＡＤ演算部２２０は、定義した拡張注目ブロック内で、第３の注目ブロックに含まれない、図５（ｂ）に示した第１の減算ブロックと第４の減算ブロックとに対応する第３の減算用ＳＡＤ演算結果を、減算処理部２３３に出力する。ただし、第１の減算ブロックと第４の減算ブロックとが重複する画素ＲＴの画素データに対応するＳＡＤ演算結果は、第３の減算用ＳＡＤ演算結果に重複して含まれない。また、拡張ブロックＳＡＤ演算部２２０は、定義した拡張注目ブロック内で、第４の注目ブロックに含まれない、図５（ｂ）に示した第２の減算ブロックと第４の減算ブロックとに対応する第４の減算用ＳＡＤ演算結果を、減算処理部２３４に出力する。ただし、第２の減算ブロックと第４の減算ブロックとが重複する画素ＬＴの画素データに対応するＳＡＤ演算結果は、第４の減算用ＳＡＤ演算結果に重複して含まれない。
【００９２】
これにより、減算処理部２３１は、拡張ＳＡＤ演算結果から第１の減算用ＳＡＤ演算結果を減算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックに対応するＳＡＤ演算結果を出力する。また、減算処理部２３２は、拡張ＳＡＤ演算結果から第２の減算用ＳＡＤ演算結果を減算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックに対応するＳＡＤ演算結果を出力する。
【００９３】
また、減算処理部２３３は、拡張ＳＡＤ演算結果から第３の減算用ＳＡＤ演算結果を減算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ３から出力される注目画素を中心とした第３の注目ブロックに対応するＳＡＤ演算結果を出力する。また、減算処理部２３４は、拡張ＳＡＤ演算結果から第４の減算用ＳＡＤ演算結果を減算し、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力するイメージセンサ２０のチャンネルｃｈ４から出力される注目画素を中心とした第４の注目ブロックに対応するＳＡＤ演算結果を出力する。
【００９４】
このように、イメージセンサが、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力する、つまり、４画素の画像データを同時に出力する構成であっても、本発明の考え方を適用することができる。そして、第１の注目ブロックに対応するＳＡＤ演算結果、第２の注目ブロックに対応するＳＡＤ演算結果、第３の注目ブロックに対応するＳＡＤ演算結果、および第４の注目ブロックに対応するＳＡＤ演算結果をそれぞれ同時に出力することができる。
【００９５】
なお、本第１の実施形態においては、ＳＡＤ演算を行うそれぞれの領域（ブロック）に含まれる画像データに対して重み付けが行われていない場合の一例について説明した。しかし、実際の撮像装置におけるブロックマッチングの処理では、ＳＡＤ演算を行うそれぞれの画像データに対して、例えば、ＳＡＤ演算を行うそれぞれの領域（ブロック）の中心に近い画素データほど高い値の重みを設定して処理を行う場合もある。
【００９６】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態の画像処理装置は、ＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに対して重みが設定されている場合に、設定された重み係数の値（以下、「重み値」という）に応じてＳＡＤ演算を行う構成の画像処理装置である。図７は、本第２の実施形態における画像処理装置の概略構成を示したブロック図である。図７に示した画像処理装置３００は、シリアル／パラレル変換部３１０と、３つの拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３と、６つの減算処理部３３１１〜減算処理部３３３２と、２つの重み処理部３４１および重み処理部３４２と、を備えている。なお、図７には、撮像装置に搭載され、画像処理装置３００に画素信号を出力するイメージセンサ１０も併せて示している。ただし、図７においても、図１に示した第１の実施形態の画像処理装置１００の概略構成と同様に、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号（アナログ信号）をデジタル信号に変換する構成要素は省略している。また、図７においては、シリアル／パラレル変換部３１０から拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれに出力する画像データの信号線を簡略化して示している。
【００９７】
画像処理装置３００は、イメージセンサ１０に配置されたそれぞれの画素から出力される画素信号に応じたデジタル信号に対して様々な画像処理を施す画像処理部内に備えられる。なお、図７においても、図１に示した第１の実施形態の画像処理装置１００の概略構成と同様に、イメージセンサ１０から出力されるそれぞれの画素信号に応じたそれぞれの画像データに応じて、予め定めた大きさの領域内のそれぞれの画像に対応したそれぞれの画像データの差分絶対値和を求めるＳＡＤ演算を行ったＳＡＤ演算結果を出力する本第２の実施形態の画像処理装置３００の構成のみを示している。なお、図７に示した画像処理装置３００は、水平方向（行方向）ｘに隣接する２画素の画素信号を同時に出力するベイヤー配列のイメージセンサ１０に対応し、最終的にＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている構成の一例である。
【００９８】
なお、以下の説明においては、説明を容易にするため、第１の実施形態の画像処理装置１００の説明と同様に、イメージセンサ１０が、画素信号に応じた画像データをそれぞれのチャンネルから出力するものとして説明する。図７にも、イメージセンサ１０のチャンネルｃｈ１からＲ画素の画素信号に応じた画像データ（Ｒ１，Ｒ２，Ｒ３，・・・）が、チャンネルｃｈ２からＧｒ画素の画素信号に応じた画像データ（Ｇｒ１，Ｇｒ２，Ｇｒ３，・・・）が、それぞれ同時に、画像処理装置３００に順次入力されている様子を示している。
【００９９】
シリアル／パラレル変換部３１０は、第１の実施形態の画像処理装置１００に備えたシリアル／パラレル変換部１１０と同様に、イメージセンサ１０のそれぞれのチャンネルから順次（直列的に）入力される画像データを一旦記憶し、記憶したそれぞれの画像データを、後段の拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれがＳＡＤ演算を行う際に用いる数だけ同時に（並列的に）出力する。なお、シリアル／パラレル変換部３１０の構成や動作は、図１に示した第１の実施形態のシリアル／パラレル変換部１１０の構成や動作と同様であるため、詳細な説明は省略する。
【０１００】
拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれは、第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、シリアル／パラレル変換部３１０から同時に入力されたそれぞれの画像データに基づいてＳＡＤ演算を行い、ＳＡＤ演算した後のＳＡＤ演算結果を、イメージセンサ１０のそれぞれのチャンネルに対応する後段の減算処理部のそれぞれに出力する。なお、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれの構成や動作は、図１に示した第１の実施形態の拡張ブロックＳＡＤ演算部１２０の構成や動作と同様であるため、詳細な説明は省略する。なお、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが備える画像データ同士の差分絶対値を算出する演算回路の数は、対応する拡張注目ブロックに含まれる画素数に応じて異なる数であってもよい。
【０１０１】
なお、上述したように、画像処理装置３００においては、最終的にＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている。このため、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれは、注目ブロック内で同じ重み値が設定された領域（ブロック）毎に、ＳＡＤ演算を行う。このため、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、第１の注目ブロック、第２の注目ブロック、拡張注目ブロック、第１の減算ブロック、第２の減算ブロックなどの各領域（ブロック）を定義する際の考え方は、拡張ブロックＳＡＤ演算部１２０と同様であるが、それぞれのブロックの領域の大きさは、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれで異なる。
【０１０２】
減算処理部３３１１〜減算処理部３３３２のそれぞれは、第１の実施形態の画像処理装置１００に備えた減算処理部１３１または減算処理部１３２と同様に、対応する拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれから入力された拡張ＳＡＤ演算結果と、第１の減算用ＳＡＤ演算結果または第２の減算用ＳＡＤ演算結果とに基づいて、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算結果を、対応する後段の重み処理部３４１または重み処理部３４２に、それぞれ出力する。なお、図７に示した画像処理装置３００では、減算処理部３３１１と、減算処理部３３２１と、減算処理部３３３１とのそれぞれがイメージセンサ１０のチャンネルｃｈ１に対応し、減算処理部３３１２と、減算処理部３３２２と、減算処理部３３３２とのそれぞれがイメージセンサ１０のチャンネルｃｈ２に対応している。なお、減算処理部３３１１〜減算処理部３３３２のそれぞれの構成や動作は、図１に示した第１の実施形態の減算処理部１３１および減算処理部１３２のそれぞれの構成や動作と同様であるため、詳細な説明は省略する。
【０１０３】
重み処理部３４１および重み処理部３４２のそれぞれは、対応する減算処理部から入力されたそれぞれのＳＡＤ演算結果に対してそれぞれの重み値を乗算し、重み値を乗算したそれぞれのＳＡＤ演算結果を加算する重み付け処理を行い、重み付け処理を行った後のＳＡＤ演算結果（以下、「重み付けＳＡＤ演算結果」という）を、それぞれ出力する。なお、図７に示した画像処理装置３００では、重み処理部３４１がイメージセンサ１０のチャンネルｃｈ１に対応し、重み処理部３４２がイメージセンサ１０のチャンネルｃｈ２に対応している。
【０１０４】
このような構成によって、画像処理装置３００では、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果と、イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果とを同時に出力する。つまり、画像処理装置３００では、拡張ブロックＳＡＤ演算部３２１と減算処理部３３１１との構成によって、第１の注目ブロック内で１つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ１に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、拡張ブロックＳＡＤ演算部３２２と減算処理部３３２１との構成によって、第１の注目ブロック内で２つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ１に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、拡張ブロックＳＡＤ演算部３２３と減算処理部３３３１との構成によって、第１の注目ブロック内で３つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ１に対応する領域（ブロック）のＳＡＤ演算結果を出力する。そして、画像処理装置３００では、重み処理部３４１が、減算処理部３３１１、減算処理部３３２１、および減算処理部３３３１のそれぞれが出力した１つ目〜３つ目の重み値が設定されたそれぞれの領域（ブロック）のＳＡＤ演算結果に対して重み付け処理を行って、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果を出力する。
【０１０５】
また、同時に、画像処理装置３００では、拡張ブロックＳＡＤ演算部３２１と減算処理部３３１２との構成によって、第２の注目ブロック内で１つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ２に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、拡張ブロックＳＡＤ演算部３２２と減算処理部３３２２との構成によって、第２の注目ブロック内で２つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ２に対応する領域（ブロック）のＳＡＤ演算結果を出力する。また、画像処理装置３００では、拡張ブロックＳＡＤ演算部３２３と減算処理部３３３２との構成によって、第２の注目ブロック内で３つ目の同じ重み値が設定されたイメージセンサ１０のチャンネルｃｈ２に対応する領域（ブロック）のＳＡＤ演算結果を出力する。そして、画像処理装置３００では、重み処理部３４２が、減算処理部３３１２、減算処理部３３２２、および減算処理部３３３２のそれぞれが出力した１つ目〜３つ目の重み値が設定されたそれぞれの領域（ブロック）のＳＡＤ演算結果に対して重み付け処理を行って、イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果を出力する。
【０１０６】
次に、本第２の実施形態の画像処理装置３００において、イメージセンサ１０のそれぞれのチャンネルに対応するＳＡＤ演算を行う方法について説明する。まず、図８を用いて同時にＳＡＤ演算を行う領域について説明する。図８は、本第２の実施形態の画像処理装置３００において同時にＳＡＤ演算を行う画素の領域の一例を模式的に示した図である。図８（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、第１の参照ブロックとの位置関係を示し、図８（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックと、第２の参照ブロックとの位置関係を示している。
【０１０７】
図８を見てわかるように、本第２の実施形態の画像処理装置３００においても、イメージセンサ１０が水平方向ｘに隣接する２画素の画像データを同時に出力する場合におけるそれぞれのチャンネルの注目画素同士および参照画素同士の位置関係は、図２に示した第１の実施形態におけるイメージセンサ１０が出力するそれぞれのチャンネルの注目画素の位置関係および参照画素の位置関係と同様に、水平方向ｘに隣接する２画素である。つまり、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素とは、水平方向ｘに隣接する２画素であり、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素に対応する参照画素と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素に対応する参照画素とも、水平方向ｘに隣接する２画素である。
【０１０８】
そして、本第２の実施形態の画像処理装置３００においては、上述したように、最終的にＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている。図８に示した一例では、最終的な重み付けＳＡＤ演算結果を得る注目ブロックの中心に近い画素データほど高い値の重み値が設定されている場合を示している。なお、以下の説明においては、それぞれの画素データに設定された重み値ａ〜重み値ｃの関係が、重み値ａ＞重み値ｂ＞重み値ｃの関係にあるものとして説明する。つまり、重み値ａが最も高い値であり、重み値ｃが最も低い値であるものとして説明する。
【０１０９】
より具体的には、図８に示した一例では、イメージセンサ１０のチャンネルｃｈ１から出力される水平方向ｘ＝６、垂直方向ｙ＝６の座標位置の注目画素（６，６）の画素データに最も高い重み値ａが設定され、注目画素（６，６）の周辺の８画素の画素データに重み値ｂが設定され、さらに周辺の１６画素の画素データに最も低い重み値ｃが設定されている。同様に、イメージセンサ１０のチャンネルｃｈ２から出力される水平方向ｘ＝７、垂直方向ｙ＝６の座標位置の注目画素（７，６）の画素データに最も高い重み値ａが設定され、注目画素（７，６）の周辺の８画素の画素データに重み値ｂが設定され、さらに周辺の１６画素の画素データに最も低い重み値ｃが設定されている。
【０１１０】
なお、図８（ａ）と図８（ｂ）とを比べてわかるように、イメージセンサ１０から入力された同じ画素の画像データであっても、第１の注目ブロックに含まれる画素としてＳＡＤ演算されるときと、第２の注目ブロックに含まれる画素としてＳＡＤ演算されるときとで、設定された重み値が異なる場合がある。例えば、水平方向ｘ＝８、垂直方向ｙ＝５の座標位置に位置する画素（８，５）は、第１の注目ブロックに含まれる画素としてＳＡＤ演算されるときの重み値は重み値ｃであるが、第２の注目ブロックに含まれる画素としてＳＡＤ演算されるときの重み値は重み値ｂである。
【０１１１】
このため、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれは、上述したように、注目ブロック内で同じ重み値が設定された領域（ブロック）毎に、ＳＡＤ演算を行う。そこで、拡張ブロックＳＡＤ演算部３２１は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｃ以上の領域（以下、「第１ｃの注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｃ以上の領域（以下、「第２ｃの注目ブロック」という）とをそれぞれ定義する。また、拡張ブロックＳＡＤ演算部３２２は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｂ以上の領域（以下、「第１ｂの注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｂ以上の領域（以下、「第２ｂの注目ブロック」という）とをそれぞれ定義する。また、拡張ブロックＳＡＤ演算部３２３は、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ａ以上の領域（以下、「第１ａの注目ブロック」という）と、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ａ以上の領域（以下、「第２ａの注目ブロック」という）とをそれぞれ定義する。
【０１１２】
より具体的には、図８に示した一例では、拡張ブロックＳＡＤ演算部３２１が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした５画素×５画素の領域を第１ｃの注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした５画素×５画素の領域を第２ｃの注目ブロックと定義する。また、拡張ブロックＳＡＤ演算部３２２が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした３画素×３画素の領域を第１ｂの注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした３画素×３画素の領域を第２ｂの注目ブロックと定義する。また、拡張ブロックＳＡＤ演算部３２３が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした１画素×１画素の領域を第１ａの注目ブロックと定義し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした１画素×１画素の領域を第２ａの注目ブロックと定義する。なお、図８に示した一例では、第１ａの注目ブロックと第２ａの注目ブロックとのそれぞれは、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）またはイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）のみの領域である。
【０１１３】
なお、拡張ブロックＳＡＤ演算部３２１が定義した第１ｃの注目ブロックと第２ｃの注目ブロックとが、最終的な重み付けＳＡＤ演算結果を得るそれぞれの注目ブロックである。なお、以下の説明において、第１ａの注目ブロック、第１ｂの注目ブロック、および第１ｃの注目ブロックのそれぞれを区別せずに表す場合には、「第１の重み付け注目ブロック」といい、第２ａの注目ブロック、第２ｂの注目ブロック、および第２ｃの注目ブロックのそれぞれを区別せずに表す場合には、「第２の重み付け注目ブロック」という。
【０１１４】
また、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれは、定義したそれぞれの第１の重み付け注目ブロックに対応し、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１ａの参照ブロック、第１ｂの参照ブロック、および第１ｃの参照ブロックのそれぞれを定義する。同様に、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれは、定義したそれぞれの第２の重み付け注目ブロックに対応し、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２ａの参照ブロック、第２ｂの参照ブロック、および第２ｃの参照ブロックのそれぞれを定義する。
【０１１５】
より具体的には、図８に示した一例では、拡張ブロックＳＡＤ演算部３２１が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした５画素×５画素の領域を第１ｃの参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした５画素×５画素の領域を第２ｃの参照ブロックと定義する。また、拡張ブロックＳＡＤ演算部３２２が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした３画素×３画素の領域を第１ｂの参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした３画素×３画素の領域を第２ｂの参照ブロックと定義する。また、拡張ブロックＳＡＤ演算部３２３が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした１画素×１画素の領域を第１ａの参照ブロックと定義し、チャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした１画素×１画素の領域を第２ａの参照ブロックと定義する。なお、図８に示した一例では、第１ａの参照ブロックと第２ａの参照ブロックとのそれぞれは、第１ａの注目ブロックと第２ａの注目ブロックとのそれぞれの注目ブロックと同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）またはイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）のみの領域である。
【０１１６】
なお、以下の説明において、第１ａの参照ブロック、第１ｂの参照ブロック、および第１ｃの参照ブロックのそれぞれを区別せずに表す場合には、「第１の重み付け参照ブロック」といい、第２ａの参照ブロック、第２ｂの参照ブロック、および第２ｃの参照ブロックのそれぞれを区別せずに表す場合には、「第２の重み付け参照ブロック」という。
【０１１７】
ここで定義された第１ｃの注目ブロックと第１ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値に対して対応する重み値を乗算した後に積算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した最終的な重み付けＳＡＤ演算結果である。また、ここで定義された第２ｃの注目ブロックと第２ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値に対して対応する重み値を乗算した後に積算したＳＡＤ演算結果が、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した最終的な重み付けＳＡＤ演算結果である。
【０１１８】
なお、従来の撮像装置に備えた画像処理部においては、注目ブロックと参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値に対して対応する重み値を乗算した後に積算するＳＡＤ演算部を、イメージセンサ１０が画像データを出力するチャンネル数分備えることによって、それぞれの注目ブロックに対応するＳＡＤ演算結果を同時に出力していた。つまり、従来の撮像装置に備えた画像処理部においては、差分絶対値を算出した後に重み付け処理を行う演算回路を、注目ブロック内に含まれる画像データの数分備えている。
【０１１９】
一方、本第２の実施形態の画像処理装置３００では、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、第１の重み付け注目ブロックと第２の重み付け注目ブロックとを合わせた拡張注目ブロックと、第１の重み付け参照ブロックと第２の重み付け参照ブロックとを合わせた拡張参照ブロックとをそれぞれ定義する。図９は、本第２の実施形態の画像処理装置３００におけるＳＡＤ演算の演算方法を模式的に示した図である。図９には、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、拡張注目ブロックと拡張参照ブロックとをそれぞれ定義した状態を示している。
【０１２０】
より具体的には、拡張ブロックＳＡＤ演算部３２１が、第１ｃの注目ブロックと第２ｃの注目ブロックとを合わせた６画素×５画素の領域の第３の拡張注目ブロックと、第１ｃの参照ブロックと第２ｃの参照ブロックとを合わせた６画素×５画素の領域の第３の拡張参照ブロックとをそれぞれ定義する。また、同様に、拡張ブロックＳＡＤ演算部３２２が、第１ｂの注目ブロックと第２ｂの注目ブロックとを合わせた４画素×３画素の領域の第２の拡張注目ブロックと、第１ｂの参照ブロックと第２ｂの参照ブロックとを合わせた４画素×３画素の領域の第２の拡張参照ブロック（不図示）とをそれぞれ定義する。また、同様に、拡張ブロックＳＡＤ演算部３２３が、第１ａの注目ブロックと第２ａの注目ブロックとを合わせた２画素×１画素の領域の第１の拡張注目ブロックと、第１ａの参照ブロックと第２ａの参照ブロックとを合わせた２画素×１画素の領域の第１の拡張参照ブロック（不図示）とをそれぞれ定義する。なお、図９に示した一例では、第１の拡張注目ブロックは、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）およびイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）のみを含む領域である。また、同様に、第１の拡張参照ブロック（不図示）は、第１の拡張注目ブロックと同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）およびイメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）のみを含む領域である。
【０１２１】
図９を見てわかるように、第３の拡張注目ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）とが含まれている。また、第３の拡張参照ブロック内には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）とが含まれている。同様に、第２の拡張注目ブロックおよび第１の拡張注目ブロック内にも、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）とが含まれている。同様に、第２の拡張参照ブロック（不図示）および第１の拡張参照ブロック（不図示）内にも、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）と、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）とが含まれる。
【０１２２】
なお、以下の説明において、第３の拡張注目ブロック、第２の拡張注目ブロック、および第１の拡張注目ブロックのそれぞれを区別せずに表す場合には、「拡張注目ブロック」といい、第３の拡張参照ブロック、第２の拡張参照ブロック、および第１の拡張参照ブロックのそれぞれを区別せずに表す場合には、「拡張参照ブロック」という。
【０１２３】
そして、本第２の実施形態の画像処理装置３００では、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、定義した拡張注目ブロック内の画像データと拡張参照ブロック内の画像データとに基づいてＳＡＤ演算を行い、拡張注目ブロックに対応する拡張ＳＡＤ演算結果を、対応する減算処理部３３１１〜減算処理部３３３２のそれぞれに出力する。
【０１２４】
より具体的には、拡張ブロックＳＡＤ演算部３２１が、定義した第３の拡張注目ブロック内の画像データと第３の拡張参照ブロック内の画像データとに基づいてＳＡＤ演算を行った第３の拡張ＳＡＤ演算結果を、減算処理部３３１１と減算処理部３３１２とに出力する。また、同様に、拡張ブロックＳＡＤ演算部３２２が、定義した第２の拡張注目ブロック内の画像データと第２の拡張参照ブロック（不図示）内の画像データとに基づいてＳＡＤ演算を行った第２の拡張ＳＡＤ演算結果を、減算処理部３３２１と減算処理部３３２２とに出力する。また、同様に、拡張ブロックＳＡＤ演算部３２３が、定義した第１の拡張注目ブロック内の画像データと第１の拡張参照ブロック（不図示）内の画像データとに基づいてＳＡＤ演算を行った第１の拡張ＳＡＤ演算結果を、減算処理部３３３１と減算処理部３３３２とに出力する。
【０１２５】
このとき拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが出力する、図９に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心としたそれぞれの拡張注目ブロックに対応した拡張ＳＡＤ演算結果のそれぞれは、第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、上式（２）で表される。なお、拡張ＳＡＤ演算結果のそれぞれは、第３の拡張注目ブロック、第２の拡張注目ブロック、および第１の拡張注目ブロックの領域の大きさに応じて異なった変数で、上式（２）によって算出された値である。
【０１２６】
さらに、本第２の実施形態の画像処理装置３００では、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、第１の減算用ＳＡＤ演算結果を、対応する減算処理部３３１１、減算処理部３３２１、および減算処理部３３３１のそれぞれに出力する。
【０１２７】
より具体的には、拡張ブロックＳＡＤ演算部３２１が、定義した第３の拡張注目ブロック内で、第１ｃの注目ブロックに含まれないブロック、すなわち、図９に示した第１ｃの減算ブロック内の画像データと、この第１ｃの減算ブロックに対応する第３の拡張参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第１ｃの減算用ＳＡＤ演算結果を、減算処理部３３１１に出力する。また、同様に、拡張ブロックＳＡＤ演算部３２２が、定義した第２の拡張注目ブロック内で、第１ｂの注目ブロックに含まれないブロック、すなわち、図９に示した第１ｂの減算ブロック内の画像データと、この第１ｂの減算ブロックに対応する第２の拡張参照ブロック（不図示）内の領域の画像データとに基づいてＳＡＤ演算を行った第１ｂの減算用ＳＡＤ演算結果を、減算処理部３３２１に出力する。また、同様に、拡張ブロックＳＡＤ演算部３２３が、定義した第１の拡張注目ブロック内で、第１ａの注目ブロックに含まれないブロック、すなわち、図９に示した注目画素（７，６）の画像データと、この注目画素（７，６）に対応する参照画素（３，２）の画像データとに基づいてＳＡＤ演算を行った第１ａの減算用ＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果を、減算処理部３３３１に出力する。
【０１２８】
これにより、減算処理部３３１１、減算処理部３３２１、および減算処理部３３３１のそれぞれは、対応する拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれから入力された拡張ＳＡＤ演算結果から対応する第１の減算用ＳＡＤ演算結果を減算して、それぞれの第１の重み付け注目ブロックに対応したＳＡＤ演算結果を得る。そして、減算処理部３３１１、減算処理部３３２１、および減算処理部３３３１のそれぞれは、それぞれの第１の重み付け注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４１に出力する。
【０１２９】
このとき減算処理部３３１１、減算処理部３３２１、および減算処理部３３３１のそれぞれが出力する、図８（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心としたそれぞれの第１の重み付け注目ブロックに対応したＳＡＤ演算結果のそれぞれは、第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、上式（３）で表される。なお、ＳＡＤ演算結果のそれぞれは、第３の拡張注目ブロックおよび第１ｃの減算ブロック、第２の拡張注目ブロックおよび第１ｂの減算ブロック、第１の拡張注目ブロックおよび第１ａの減算ブロックの領域の大きさに応じて異なった変数で、上式（３）によって算出された値である。
【０１３０】
また、本第２の実施形態の画像処理装置３００では、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、第２の減算用ＳＡＤ演算結果を、対応する減算処理部３３１２、減算処理部３３２２、および減算処理部３３３２のそれぞれに出力する。
【０１３１】
より具体的には、拡張ブロックＳＡＤ演算部３２１が、定義した第３の拡張注目ブロック内で、第２ｃの注目ブロックに含まれないブロック、すなわち、図９に示した第２ｃの減算ブロック内の画像データと、この第２ｃの減算ブロックに対応する第３の拡張参照ブロック内の領域の画像データとに基づいてＳＡＤ演算を行った第２ｃの減算用ＳＡＤ演算結果を、減算処理部３３１２に出力する。また、同様に、拡張ブロックＳＡＤ演算部３２２が、定義した第２の拡張注目ブロック内で、第２ｂの注目ブロックに含まれないブロック、すなわち、図９に示した第２ｂの減算ブロック内の画像データと、この第２ｂの減算ブロックに対応する第２の拡張参照ブロック（不図示）内の領域の画像データとに基づいてＳＡＤ演算を行った第２ｂの減算用ＳＡＤ演算結果を、減算処理部３３２２に出力する。また、同様に、拡張ブロックＳＡＤ演算部３２３が、定義した第１の拡張注目ブロック内で、第２ａの注目ブロックに含まれないブロック、すなわち、図９に示した注目画素（６，６）の画像データと、この注目画素（６，６）に対応する参照画素（２，２）の画像データとに基づいてＳＡＤ演算を行った第２ａの減算用ＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果を、減算処理部３３３２に出力する。
【０１３２】
これにより、減算処理部３３１２、減算処理部３３２２、および減算処理部３３３２のそれぞれは、対応する拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれから入力された拡張ＳＡＤ演算結果から対応する第２の減算用ＳＡＤ演算結果を減算して、それぞれの第２の重み付け注目ブロックに対応したＳＡＤ演算結果を得る。そして、減算処理部３３１２、減算処理部３３２２、および減算処理部３３３２のそれぞれは、それぞれの第２の重み付け注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４２に出力する。
【０１３３】
このとき減算処理部３３１２、減算処理部３３２２、および減算処理部３３３２のそれぞれが出力する、図８（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心としたそれぞれの第２の重み付け注目ブロックに対応したＳＡＤ演算結果のそれぞれは、第１の実施形態の画像処理装置１００に備えた拡張ブロックＳＡＤ演算部１２０と同様に、上式（４）で表される。なお、ＳＡＤ演算結果のそれぞれは、第３の拡張注目ブロックおよび第２ｃの減算ブロック、第２の拡張注目ブロックおよび第２ｂの減算ブロック、第１の拡張注目ブロックおよび第２ａの減算ブロックの領域の大きさに応じて異なった変数で、上式（４）によって算出された値である。
【０１３４】
その後、本第２の実施形態の画像処理装置３００では、重み処理部３４１および重み処理部３４２のそれぞれが、対応する減算処理部３３１１〜減算処理部３３３２のそれぞれから入力されたＳＡＤ演算結果のそれぞれに対して対応する重み値を乗算した後に、重み値を乗算したそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。そして、重み処理部３４１および重み処理部３４２のそれぞれは、重み付け処理を行った後の重み付けＳＡＤ演算結果のそれぞれを、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果およびイメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果として、それぞれ出力する。
【０１３５】
図１０は、本第２の実施形態の画像処理装置３００におけるＳＡＤ演算の演算方法を模式的に示した図である。図１０（ａ）には、重み処理部３４１が行う重み付け処理の内容を模式的に示し、図１０（ｂ）には、重み処理部３４２が行う重み付け処理の内容を模式的に示している。
【０１３６】
まず、図１０（ａ）を参照して、重み処理部３４１による重み付け処理について説明する。上述したように、拡張ブロックＳＡＤ演算部３２１は、図９に示した第３の拡張注目ブロックに対応する第３の拡張ＳＡＤ演算結果と、第１ｃの減算ブロックに対応する第１ｃの減算用ＳＡＤ演算結果とを減算処理部３３１１に出力する。そして、減算処理部３３１１は、第３の拡張ＳＡＤ演算結果から第１ｃの減算用ＳＡＤ演算結果を減算し、図８に示した第１ｃの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４１に出力する（図１０（ａ）の上段参照）。また、同様に、拡張ブロックＳＡＤ演算部３２２は、図９に示した第２の拡張注目ブロックに対応する第２の拡張ＳＡＤ演算結果と、第１ｂの減算ブロックに対応する第１ｂの減算用ＳＡＤ演算結果とを減算処理部３３２１に出力する。そして、減算処理部３３２１は、第２の拡張ＳＡＤ演算結果から第１ｂの減算用ＳＡＤ演算結果を減算し、図８に示した第１ｂの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４１に出力する（図１０（ａ）の中段参照）。また、同様に、拡張ブロックＳＡＤ演算部３２３は、図９に示した第１の拡張注目ブロックに対応する第１の拡張ＳＡＤ演算結果と、第１ａの減算ブロックに対応する第１ａの減算用ＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果とを減算処理部３３３１に出力する。そして、減算処理部３３３１は、第１の拡張ＳＡＤ演算結果から第１ａの減算用ＳＡＤ演算結果を減算し、図８に示した第１ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果を、重み処理部３４１に出力する（図１０（ａ）の下段参照）。
【０１３７】
そして、重み処理部３４１は、減算処理部３３１１から入力された第１ｃの注目ブロックに対応したＳＡＤ演算結果に、設定された最も低い重み値ｃを乗算する（図１０（ａ）の上段参照）。これにより、第１ｃの注目ブロックと第１ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して対応する重み値ｃを乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４１は、減算処理部３３２１から入力された第１ｂの注目ブロックに対応したＳＡＤ演算結果に、設定された重み値ｂと重み値ｃとの差分の重み値（ｂ−ｃ）を乗算する（図１０（ａ）の中段参照）。これにより、第１ｂの注目ブロックと第１ｂの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４１は、減算処理部３３３１から入力された第１ａの注目ブロックに対応したＳＡＤ演算結果に、設定された最も高い重み値ａから重み値ｂと重み値ｃとを差し引いた重み値（ａ−ｂ−ｃ）を乗算する（図１０（ａ）の下段参照）。これにより、第１ａの注目ブロックと第１ａの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ａ−ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。
【０１３８】
そして、重み処理部３４１は、それぞれの重み値を乗算したそれぞれのＳＡＤ演算結果を加算する。つまり、図１０（ａ）の上段、中段、および下段に示したそれぞれの乗算の処理によって得たＳＡＤ演算結果を加算する。これにより、第１ｃの注目ブロックに対応する画素に重み値ｃが乗算され、第１ｂの注目ブロックに対応する画素に重み値ｂが乗算され、さらに、第１ａの注目ブロックに対応する画素に重み値ａが乗算された後に、全ての値が積算されたＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。ここで得られたＳＡＤ演算結果が、３種類の重み値が設定されているイメージセンサ１０のチャンネルｃｈ１に対応した第１の注目ブロック（＝第１ｃの注目ブロック）に対応した最終的な重み付けＳＡＤ演算結果である。そして、重み処理部３４１は、第１ｃの注目ブロックに対応した最終的な重み付けＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果として出力する。
【０１３９】
なお、上述した第１ｂの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理において、重み値ｂと重み値ｃとの差分の重み値（ｂ−ｃ）を乗算している理由は、第１ｃの注目ブロックに重複して含まれる第１ｂの注目ブロック内の画像データに、重み値ｃが重複して乗算されてしまうことを回避するためである。また、上述した第１ａの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理において、重み値ａから重み値ｂと重み値ｃとを差し引いた重み値（ａ−ｂ−ｃ）を乗算している理由も、第１ｃの注目ブロックと第１ｂの注目ブロックとに重複して含まれる第１ａの注目ブロック内の画像データに、重み値ｃおよび重み値ｂが重複して乗算されてしまうことを回避するためである。
【０１４０】
続いて、図１０（ｂ）を参照して、重み処理部３４２による重み付け処理について説明する。上述したように、拡張ブロックＳＡＤ演算部３２１は、図９に示した第３の拡張注目ブロックに対応する第３の拡張ＳＡＤ演算結果と、第２ｃの減算ブロックに対応する第２ｃの減算用ＳＡＤ演算結果とを減算処理部３３１２に出力する。そして、減算処理部３３１２は、第３の拡張ＳＡＤ演算結果から第２ｃの減算用ＳＡＤ演算結果を減算し、図８に示した第２ｃの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４２に出力する（図１０（ｂ）の上段参照）。また、同様に、拡張ブロックＳＡＤ演算部３２２は、図９に示した第２の拡張注目ブロックに対応する第２の拡張ＳＡＤ演算結果と、第２ｂの減算ブロックに対応する第２ｂの減算用ＳＡＤ演算結果とを減算処理部３３２２に出力する。そして、減算処理部３３２２は、第２の拡張ＳＡＤ演算結果から第２ｂの減算用ＳＡＤ演算結果を減算し、図８に示した第２ｂの注目ブロックに対応したＳＡＤ演算結果を、重み処理部３４２に出力する（図１０（ｂ）の中段参照）。また、同様に、拡張ブロックＳＡＤ演算部３２３は、図９に示した第１の拡張注目ブロックに対応する第１の拡張ＳＡＤ演算結果と、第２ａの減算ブロックに対応する第２ａの減算用ＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果とを減算処理部３３３２に出力する。そして、減算処理部３３３２は、第１の拡張ＳＡＤ演算結果から第２ａの減算用ＳＡＤ演算結果を減算し、図８に示した第２ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果を、重み処理部３４２に出力する（図１０（ｂ）の下段参照）。
【０１４１】
そして、重み処理部３４２は、減算処理部３３１２から入力された第２ｃの注目ブロックに対応したＳＡＤ演算結果に、設定された最も低い重み値ｃを乗算する（図１０（ｂ）の上段参照）。これにより、第２ｃの注目ブロックと第２ｃの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して対応する重み値ｃを乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４２は、減算処理部３３２２から入力された第２ｂの注目ブロックに対応したＳＡＤ演算結果に、設定された重み値ｂと重み値ｃとの差分の重み値（ｂ−ｃ）を乗算する（図１０（ｂ）の中段参照）。これにより、第２ｂの注目ブロックと第２ｂの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。さらに、重み処理部３４２は、減算処理部３３３２から入力された第２ａの注目ブロックに対応したＳＡＤ演算結果に、設定された最も高い重み値ａから重み値ｂと重み値ｃとを差し引いた重み値（ａ−ｂ−ｃ）を乗算する（図１０（ｂ）の下段参照）。これにより、第２ａの注目ブロックと第２ａの参照ブロックとにおいて同一座標に位置する画素の画像データ同士の差分絶対値に対して重み値（ａ−ｂ−ｃ）を乗算した後に積算したＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。
【０１４２】
そして、重み処理部３４２は、それぞれの重み値を乗算したそれぞれのＳＡＤ演算結果を加算する。つまり、図１０（ｂ）の上段、中段、および下段に示したそれぞれの乗算の処理によって得たＳＡＤ演算結果を加算する。これにより、第２ｃの注目ブロックに対応する画素に重み値ｃが乗算され、第２ｂの注目ブロックに対応する画素に重み値ｂが乗算され、さらに、第２ａの注目ブロックに対応する画素に重み値ａが乗算された後に、全ての値が積算されたＳＡＤ演算結果と同等のＳＡＤ演算結果が得られる。ここで得られたＳＡＤ演算結果が、３種類の重み値が設定されているイメージセンサ１０のチャンネルｃｈ２に対応した第２の注目ブロック（＝第２ｃの注目ブロック）に対応した最終的な重み付けＳＡＤ演算結果である。そして、重み処理部３４２は、第２ｃの注目ブロックに対応した最終的な重み付けＳＡＤ演算結果を、イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果として出力する。
【０１４３】
なお、上述した第２ｂの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理、および第１ａの注目ブロックに対応したＳＡＤ演算結果に対する乗算の処理において、それぞれのＳＡＤ演算結果に乗算する重み値を、それぞれの重み値ａ〜重み値ｃを演算した後に乗算している理由は、重み処理部３４１における重み付け処理の理由と同様である。つまり、それぞれの注目ブロックにおいて重複している画像データに、重み値が重複して乗算されてしまうことを回避するためである。
【０１４４】
本第２の実施形態によれば、拡張領域ＳＡＤ演算部と注目画素と同じ数の減算処理部との組み合わせ（拡張ブロックＳＡＤ演算部３２１と減算処理部３３１１および減算処理部３３１２との組み合わせ、拡張ブロックＳＡＤ演算部３２２と減算処理部３３２１および減算処理部３３２２との組み合わせ、拡張ブロックＳＡＤ演算部３２３と減算処理部３３３１および減算処理部３３３２との組み合わせ）を、拡張注目ブロック内のそれぞれの画素に設定された重み値（重み値ａ〜重み値ｃ）の種類（３種類）と同じ数だけ備え、さらに、減算処理部３３１１〜減算処理部３３３２のそれぞれから出力されるそれぞれのＳＡＤ演算結果に対して重み付け処理を行った重み付けＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果およびイメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果）を出力する、同時に相関を取る隣接する注目画素と同じ数（２つ）の重み処理部（重み処理部３４１および重み処理部３４２）、を備える画像処理装置（画像処理装置３００）が構成される。
【０１４５】
また、本第２の実施形態によれば、拡張領域ＳＡＤ演算部と注目画素と同じ数の減算処理部との組み合わせのそれぞれは、対応する重み値ａ〜重み値ｃに応じたＳＡＤ演算結果をそれぞれ出力し、重み処理部３４１および重み処理部３４２のそれぞれは、拡張領域ＳＡＤ演算部と注目画素と同じ数の減算処理部との組み合わせのそれぞれから出力された、対応する注目画素におけるＳＡＤ演算結果のそれぞれに、対応する重み値ａ〜重み値ｃに基づいた値を乗算した後、ここで乗算したそれぞれの重み値に対応するＳＡＤ演算結果を加算したイメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果およびイメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果を出力する、画像処理装置３００が構成される。
【０１４６】
また、本第２の実施形態によれば、第１の重み値（重み値ａ）に対応する拡張領域ＳＡＤ演算部である第１の拡張領域ＳＡＤ演算部（拡張ブロックＳＡＤ演算部３２３）は、入力された注目画素（６，６）を中心とし、相関を取る周辺の画素を含めた予め定めた大きさの第１の注目ブロックにおいて重み値ａが設定された第１の重みの第１の注目領域（第１ａの注目ブロック）と、同時に入力された隣接する注目画素（７，６）を中心とし、同時に相関を取る周辺の画素を含めた予め定めた大きさの第２の注目ブロックにおいて重み値ａが設定された第１の重みの第２の注目領域（第２ａの注目ブロック）とを合わせた拡張注目ブロックである第１の重みの拡張注目領域（第１の拡張注目ブロック）と、注目画素（６，６）に対応する参照画素（２，２）を中心とし、第１の注目ブロックに対応する予め定めた大きさの第１の参照ブロックにおいて重み値ａが設定された第１の重みの第１の参照領域（第１ａの参照ブロック）と、注目画素（７，６）に対応する参照画素（３，２）を中心とし、第２の注目ブロックに対応する予め定めた大きさの第２の参照ブロックにおいて重み値ａが設定された第１の重みの第２の参照領域（第２ａの参照ブロック）とを合わせた拡張参照ブロックである第１の重みの拡張参照領域（第１の拡張参照ブロック）とを、それぞれ定義し、第１の拡張注目ブロックと第１の拡張参照ブロックとにおいて同一の座標に位置する画素の画素信号が表す画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算する差分絶対値和演算を行った拡張ＳＡＤ演算結果である第１の重みの拡張ＳＡＤ演算結果（第１の拡張ＳＡＤ演算結果）を出力し、重み値ａに対応し、注目画素（６，６）に対応する減算処理部である第１の重みの第１の減算処理部（減算処理部３３３１）は、第１の拡張ＳＡＤ演算結果から、第１の拡張注目ブロック内で、第１ａの注目ブロックに含まれない画素の領域（注目画素（７，６）の領域）に対応するＳＡＤ演算結果（第１ａの減算用ＳＡＤ演算結果）を減算した第１の重みの第１のＳＡＤ演算結果（第１ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（６，６）のみのＳＡＤ演算結果）を出力し、重み値ａに対応し、注目画素（７，６）に対応する減算処理部である第１の重みの第２の減算処理部（減算処理部３３３２）は、第１の拡張ＳＡＤ演算結果から、第１の拡張注目ブロック内で、第２ａの注目ブロックに含まれない画素の領域（注目画素（６，６）の領域）に対応するＳＡＤ演算結果（第２ａの減算用ＳＡＤ演算結果）を減算した第１の重みの第２のＳＡＤ演算結果（第２ａの注目ブロックに対応したＳＡＤ演算結果、すなわち、注目画素（７，６）のみのＳＡＤ演算結果）を出力し、重み値ａよりも小さく、この重み値ａが設定された画素の領域よりも大きな領域の画素に設定された第２の重み値（重み値ｂまたは重み値ｃ）に対応する拡張領域ＳＡＤ演算部である第２の拡張領域ＳＡＤ演算部（拡張ブロックＳＡＤ演算部３２２または拡張ブロックＳＡＤ演算部３２１）は、第１の注目ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第１の注目領域（第１ｂの注目ブロックまたは第１ｃの注目ブロック）と、第２の注目ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第２の注目領域（第２ｂの注目ブロックまたは第２ｃの注目ブロック）とを合わせた拡張注目ブロックである第２の重みの拡張注目領域（第２の拡張注目ブロックまたは第３の拡張注目ブロック）と、第１の参照ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第１の参照領域（第１ｂの参照ブロックまたは第１ｃの参照ブロック）と、第２の参照ブロックにおいて重み値ｂまたは重み値ｃが設定された第２の重みの第２の参照領域（第２ｂの参照ブロックまたは第２ｃの参照ブロック）とを合わせた拡張参照ブロックである第２の重みの拡張参照領域（第２の拡張参照ブロックまたは第３の拡張参照ブロック）とを、それぞれ定義し、第２の拡張注目ブロックまたは第３の拡張注目ブロックと第２の拡張参照ブロックまたは第３の拡張参照ブロックとにおいて同一の座標に位置する画素の画素信号が表す画像データ同士の差分絶対値をそれぞれ算出し、算出した差分絶対値を積算する差分絶対値和演算を行った拡張ＳＡＤ演算結果である第２の重みの拡張ＳＡＤ演算結果（第２の拡張ＳＡＤ演算結果または第２の拡張ＳＡＤ演算結果）を出力し、重み値ｂまたは重み値ｃに対応し、注目画素（６，６）に対応する減算処理部である第２の重みの第１の減算処理部（減算処理部３３２１または減算処理部３３１１）は、第２の拡張ＳＡＤ演算結果または第３の拡張ＳＡＤ演算結果から、第２の拡張注目ブロックまたは第３の拡張注目ブロック内で、第１ｂの注目ブロックまたは第１ｃの注目ブロックに含まれない画素の領域（第１ｂの減算ブロックまたは第１ｃの減算ブロック）に対応するＳＡＤ演算結果（第１ｂの減算用ＳＡＤ演算結果または第１ｃの減算用ＳＡＤ演算結果）を減算した第２の重みの第１のＳＡＤ演算結果（第１ｂの注目ブロックに対応したＳＡＤ演算結果または第１ｃの注目ブロックに対応したＳＡＤ演算結果）を出力し、重み値ｂまたは重み値ｃに対応し、注目画素（７，６）に対応する減算処理部である第２の重みの第２の減算処理部（減算処理部３３２２または減算処理部３３１２）は、第２の拡張ＳＡＤ演算結果または第３の拡張ＳＡＤ演算結果から、第２の拡張注目ブロックまたは第３の拡張注目ブロック内で、第２ｂの注目ブロックまたは第２ｃの注目ブロックに含まれない画素の領域（第２ｂの減算ブロックまたは第２ｃの減算ブロック）に対応するＳＡＤ演算結果（第２ｂの減算用ＳＡＤ演算結果または第２ｃの減算用ＳＡＤ演算結果）を減算した第２の重みの第２のＳＡＤ演算結果（第２ｂの注目ブロックに対応したＳＡＤ演算結果および第２ｃの注目ブロックに対応したＳＡＤ演算結果）を出力し、注目画素（６，６）に対応する重み処理部である第１の重み処理部（重み処理部３４１）は、第１ａの注目ブロックに対応したＳＡＤ演算結果に重み値ａから重み値ｂ、または重み値ｂと重み値ｃを減算した重み値を乗算し、第１ｂの注目ブロックに対応したＳＡＤ演算結果または第１ｃの注目ブロックに対応したＳＡＤ演算結果に重み値ｂから重み値ｃを減算した重み値、または重み値ｃを乗算し、ここで乗算したそれぞれの第１のＳＡＤ演算結果を加算した重み付けＳＡＤ演算結果である第１の重み付けＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ１に対応する重み付けＳＡＤ演算結果）を出力し、注目画素（７，６）に対応する重み処理部である第２の重み処理部（重み処理部３４２）は、第２ａの注目ブロックに対応したＳＡＤ演算結果に重み値ａから重み値ｂ、または重み値ｂと重み値ｃを減算した重み値を乗算し、第２ｂの注目ブロックに対応したＳＡＤ演算結果および第２ｃの注目ブロックに対応したＳＡＤ演算結果に重み値ｂから重み値ｃを減算した重み値、または重み値ｃを乗算し、ここで乗算したそれぞれの第２のＳＡＤ演算結果を加算した重み付けＳＡＤ演算結果である第２の重み付けＳＡＤ演算結果（イメージセンサ１０のチャンネルｃｈ２に対応する重み付けＳＡＤ演算結果）を出力する、画像処理装置３００が構成される。
【０１４７】
上記に述べたように、本第２の実施形態の画像処理装置３００では、第１の実施形態の画像処理装置１００を同様に、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素を中心とした第２の注目ブロックとを合わせた拡張注目ブロックに対してＳＡＤ演算を行う。このとき、本第２の実施形態の画像処理装置３００では、設定された重み値に応じて定義した、第１の重み付け注目ブロックと第２の重み付け注目ブロックとを合わせたそれぞれの拡張注目ブロック毎に、ＳＡＤ演算を行う。そして、本第２の実施形態の画像処理装置３００では、第１の実施形態の画像処理装置１００を同様に、それぞれの拡張注目ブロックに対応する拡張ＳＡＤ演算結果から、対応する第１の重み付け注目ブロックに含まれない第１の減算ブロックに対応する第１の減算用ＳＡＤ演算結果、または対応する第２の重み付け注目ブロックに含まれない第２の減算ブロックに対応する第２の減算用ＳＡＤ演算結果を減算する。その後、本第２の実施形態の画像処理装置３００では、第１の重み付け注目ブロックと第２の重み付け注目ブロックとのそれぞれに、対応する重み値を乗算した後にそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。これにより、本第２の実施形態の画像処理装置３００でも、従来の撮像装置に備えた画像処理部と同様に、第１の注目ブロックに対応する重み付けＳＡＤ演算結果と第２の注目ブロックに対応する重み付けＳＡＤ演算結果とを、それぞれ同時に出力することができる。
【０１４８】
しかも、本第２の実施形態の画像処理装置３００では、従来の撮像装置に備えた画像処理部において画像データ毎に行っていた差分絶対値に対する重み値の乗算を、重み値に応じて定義した領域（第１の重み付け注目ブロックおよび第２の重み付け注目ブロック）のＳＡＤ演算結果に対して行う。つまり、本第２の実施形態の画像処理装置３００では、重み付け処理を、複数の画像データに対してＳＡＤ演算を行った後のまとまった単位で行う。これにより、本第２の実施形態の画像処理装置３００では、重み付け処理を行う演算回路の数を、従来の撮像装置に備えた画像処理部に備える数よりも少なくすることができる。
【０１４９】
より具体的には、例えば、第１の注目ブロックと第２の注目ブロックとのそれぞれの領域が５画素×５画素の領域であり、それぞれの注目ブロック内の画像データに３種類の重み値が設定されている場合、従来の撮像装置に備えた画像処理部では、５画素×５画素分の演算回路を２チャンネル分、すなわち、５×５×２＝５０個の重み付け処理を行う演算回路を備える必要があった。これに対して、本第２の実施形態の画像処理装置３００では、３種類の重み値に対応する重み付け処理を行う演算回路を２チャンネル分、すなわち、３×２＝６個の重み付け処理を行う演算回路を備えるのみで、それぞれの重み付けＳＡＤ演算結果を得ることができる。これにより、本第２の実施形態の画像処理装置３００では、画像データに対する重み付けを行ったＳＡＤ演算に関わる回路の回路規模の増大を、従来の構成よりも抑えつつ、それぞれの画像データに対する重み付けＳＡＤ演算結果を同時に出力することができる。
【０１５０】
なお、本第２の実施形態においては、それぞれの画像データに対する重み値が、図８に示したように設定された場合について説明した。しかし、それぞれの画像データに対する重み値の設定は、本第２の実施形態において説明した設定に限定されるものではない。例えば、図１１に示したように設定された場合であっても同様に、本発明の考え方を適用することができる。
【０１５１】
図１１は、本第２の実施形態の画像処理装置３００において同時にＳＡＤ演算を行う画素の領域の別の一例を模式的に示した図である。図１１（ａ）には、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックと、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１の参照ブロックとの位置関係を示している。また、図１１（ｂ）には、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックと、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２の参照ブロックとの位置関係を示している。また、図１１には、第１の注目ブロックと第２の注目ブロックとのそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている状態を示している。
【０１５２】
本第２の実施形態の画像処理装置３００では、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、設定された重み値に応じて、それぞれの第１の重み付け注目ブロックと第２の重み付け注目ブロックとを定義する。より具体的には、図１１において、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｃ以上の第１ｃの注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｃ以上の第２ｃの注目ブロックとをそれぞれ定義する。また、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ｂ以上の第１ｂの注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ｂ以上の第２ｂの注目ブロックとをそれぞれ定義する。また、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした重み値ａ以上の第１ａの注目ブロックと、チャンネルｃｈ２から出力される注目画素（７，６）を中心とした重み値ａ以上の第２ａの注目ブロックとをそれぞれ定義する。
【０１５３】
また、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれは、定義したそれぞれの第１の重み付け注目ブロックおよび第２の重み付け注目ブロックに対応する第１の重み付け参照ブロックおよび第２の重み付け参照ブロックを定義する。より具体的には、図１１において、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）に対応した参照画素（２，２）を中心とした第１ａの参照ブロック、第１ｂの参照ブロック、および第１ｃの参照ブロックのそれぞれを定義する。同様に、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）に対応した参照画素（３，２）を中心とした第２ａの参照ブロック、第２ｂの参照ブロック、および第２ｃの参照ブロックのそれぞれを定義する。
【０１５４】
そして、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれが、定義したそれぞれの第１の重み付け注目ブロックおよび第２の重み付け注目ブロックを拡張した拡張注目ブロックに対するＳＡＤ演算を行った拡張ＳＡＤ演算結果、第１の減算用ＳＡＤ演算結果、および第２の減算用ＳＡＤ演算結果を、減算処理部３３１１〜減算処理部３３３２のそれぞれに出力する。そして、減算処理部３３１１〜減算処理部３３３２のそれぞれが、拡張ブロックＳＡＤ演算部３２１〜拡張ブロックＳＡＤ演算部３２３のそれぞれから入力された拡張ＳＡＤ演算結果から、第１の減算用ＳＡＤ演算結果または第２の減算用ＳＡＤ演算結果を減算する。その後、重み処理部３４１および重み処理部３４２のそれぞれが、減算処理部３３１１〜減算処理部３３３２のそれぞれから入力されたＳＡＤ演算結果のそれぞれに、対応する重み値を乗算した後にそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。これにより、本第２の実施形態の画像処理装置３００は、図１１（ａ）に示した、イメージセンサ１０のチャンネルｃｈ１から出力される注目画素（６，６）を中心とした第１の注目ブロックに対応する重み付けＳＡＤ演算結果と、図１１（ｂ）に示した、イメージセンサ１０のチャンネルｃｈ２から出力される注目画素（７，６）を中心とした第２の注目ブロックに対応する重み付けＳＡＤ演算結果とを同時に出力する。
【０１５５】
このように、本第２の実施形態の画像処理装置３００では、第１の注目ブロックと第２の注目ブロックとのそれぞれの注目ブロック内の画像データに設定される重み値の状態によらずに、第１の注目ブロックに対応する重み付けＳＡＤ演算結果と第２の注目ブロックに対応する重み付けＳＡＤ演算結果とをそれぞれ同時に出力することができる。
【０１５６】
なお、本第２の実施形態においては、画像処理装置３００が、水平方向（行方向）ｘに隣接する２画素の画像データを同時に出力するイメージセンサ１０に対応する構成の一例を示した。しかし、本発明の画像処理装置の考え方は、第１の実施形態の画像処理装置１００を同様に、イメージセンサが同時に出力する画像データの方向が、水平方向（行方向）ｘである構成に限定されるものではなく、イメージセンサが画像データを同時に出力する構成が異なる場合でも同様に、本発明の考え方を適用することができる。
【０１５７】
例えば、イメージセンサが、垂直方向（列方向）ｙに隣接する２画素の画像データを同時に出力する構成の場合には、入力される画像データの順番に応じてそれぞれのＳＡＤ演算を行う領域（ブロック）が図５（ａ）に示したようになるのみで、その構成や動作は、画像処理装置３００と同様に考えることができる。また、例えば、イメージセンサが、水平方向（行方向）ｘに隣接する２画素の画像データと、垂直方向（列方向）ｙに隣接する２画素の画像データとを同時に出力する、つまり、４画素の画像データを同時に出力する構成場合には、入力される画像データに応じて画像処理装置３００に備える構成要素が増える。より具体的には、図６に示した第１の実施形態の変形例の構成と同様に考え、図７に示した画像処理装置３００に、イメージセンサのチャンネルｃｈ３およびチャンネルｃｈ４に対応するための６つの減算処理部と２つの重み処理部とが増えることになる。しかし、この場合の画像処理装置の動作も、それぞれのＳＡＤ演算を行う領域（ブロック）が図５（ｂ）に示したようになるのみで、画像処理装置３００と同様に考えることができる。従って、イメージセンサが画像データを同時に出力する構成が異なる場合における画像処理装置の構成や動作に関する詳細な説明は省略する。
【０１５８】
上記に述べたとおり、本発明を実施するための形態によれば、隣接する複数の画素信号を、それぞれの画素に対応する複数のチャンネルから同時に出力する固体撮像装置（イメージセンサ）が搭載された撮像装置において、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対してＳＡＤ演算を同時に行う場合に、それぞれのチャンネルに対応したＳＡＤ演算を行う領域を合わせる（拡張する）。そして、本発明を実施するための形態では、それぞれのチャンネルに対応した領域を合わせた（拡張した）領域に対してＳＡＤ演算を行い、そのＳＡＤ演算結果から、それぞれのチャンネルに対応した領域に含まれない領域、すなわち、それぞれのチャンネルにおいてＳＡＤ演算を行う領域に余分な（不要な）領域のＳＡＤ演算結果を減算する。これにより、本発明を実施するための形態では、それぞれのチャンネルに対応する領域のＳＡＤ演算を別々に行うことによって、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対するＳＡＤ演算を別々の演算回路で同時に行う従来の構成よりも、ＳＡＤ演算結果を得るために備える演算回路の数を少なくすることができる。このことにより、本発明を実施するための形態では、ＳＡＤ演算に関わる回路の回路規模の増大を抑えつつ、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対するＳＡＤ演算を同時に行うことができる。
【０１５９】
また、本発明を実施するための形態によれば、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対して重み付けがされている場合、それぞれのデジタル信号に設定された重み値に応じて、ＳＡＤ演算を行うそれぞれの領域を定義する。そして、本発明を実施するための形態では、定義した領域毎にＳＡＤ演算を行った後に、それぞれの領域に対応した重み値を乗算してそれぞれのＳＡＤ演算結果を加算する重み付け処理を行う。これにより、本発明を実施するための形態では、それぞれのチャンネルに対応する領域のＳＡＤ演算と重み付け処理とをそれぞれのデジタル信号毎に行う従来の構成よりも、重み付け処理を行うために備える演算回路の数を少なくすることができる。このことにより、本発明を実施するための形態では、重み付けを行ったＳＡＤ演算に関わる回路の回路規模の増大を抑えつつ、それぞれのチャンネルから出力される画素信号に応じたデジタル信号に対して重み付け処理を行ったＳＡＤ演算を同時に行うことができる。
【０１６０】
なお、本実施形態においては、ＳＡＤ演算を行うそれぞれの注目ブロックの領域が、５画素×５画素の領域である場合について説明したが、ＳＡＤ演算を行う注目ブロックの領域の大きさは、本発明を実施するための形態に限定されるものではない。例えば、ＳＡＤ演算を行う注目ブロックの領域が、９画素×９画素の領域である場合であっても同様に、本発明の考え方を適用することができる。
【０１６１】
また、本実施形態においては、ＳＡＤ演算を行うそれぞれの注目ブロック内の画像データに３種類の重み値が設定されている場合について説明したが、注目ブロック内の画像データのそれぞれに設定される重み値は、本発明を実施するための形態に限定されるものではない。例えば、注目ブロック内の画像データに２種類の重み値が設定されている場合や、３種類よりもさらに多くの種類の重み値が設定されている場合であっても同様に、本発明の考え方を適用することができる。
【０１６２】
また、本実施形態においては、撮像装置に搭載された、複数の画素信号を同時に複数のチャンネルから出力する固体撮像装置（イメージセンサ）が、隣接する２画素を同時に出力する形式である場合について説明した。しかし、本発明の考え方を適用した画像処理装置が対応するイメージセンサの形式は、本発明を実施するための形態に限定されるものではない。例えば、水平方向に隣接する４画素の画素信号を同時に出力する形式や、垂直方向に隣接する４画素の画素信号を同時に出力する形式である場合でも同様に、本発明の考え方を適用することができる。また、例えば、水平方向に隣接する４画素の画素信号と、垂直方向に隣接する４画素の画素信号とを同時に出力する、つまり、８画素分の画素信号を同時に出力する形式である場合でも同様に、本発明の考え方を適用することができる。
【０１６３】
また、本実施形態においては、撮像装置に搭載された固体撮像装置（イメージセンサ）が、ベイヤー配列のイメージセンサである場合について説明したが、本発明の考え方を適用した画像処理装置が対応するイメージセンサにおける画素の配列は、本発明を実施するための形態に限定されるものではない。
【０１６４】
また、本実施形態においては、ＳＡＤ演算を行う画像データが、固体撮像装置（イメージセンサ）から出力されるそれぞれの画素信号が表す画素値に応じたデジタル信号である場合について説明したが、ＳＡＤ演算を行う画像データは、本発明を実施するための形態に限定されるものではない。例えば、すでに形成された画像に含まれるそれぞれの画素に対応するデジタル値であってもよい。
【０１６５】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１６６】
１００，２００，３００・・・画像処理装置
１１０，２１０，３１０・・・シリアル／パラレル変換部
１２０，２２０・・・拡張ブロックＳＡＤ演算部（拡張領域ＳＡＤ演算部）
１３１，２３１・・・減算処理部（減算処理部，第１の減算処理部）
１３２，２３２，２３３，２３４・・・減算処理部（減算処理部，第２の減算処理部）
１０，２０・・・イメージセンサ（固体撮像装置）
３２１，３２２・・拡張ブロックＳＡＤ演算部（拡張領域ＳＡＤ演算部，第２の拡張領域ＳＡＤ演算部）
３２３・・・拡張ブロックＳＡＤ演算部（拡張領域ＳＡＤ演算部，第１の拡張領域ＳＡＤ演算部）
３３１１，３３２１・・・減算処理部（減算処理部，第１の減算処理部，第２の重みの第１の減算処理部）
３３１２，３３２２・・・減算処理部（減算処理部，第２の減算処理部，第２の重みの第２の減算処理部）
３３３１・・・減算処理部（減算処理部，第１の減算処理部，第１の重みの第１の減算処理部）
３３３２・・・減算処理部（減算処理部，第２の減算処理部，第１の重みの第２の減算処理部）
３４１・・・重み処理部（重み処理部，第１の重み処理部）
３４２・・・重み処理部（重み処理部，第２の重み処理部）
【図１】
2015114701.tif 000010
【図２】
2015114701.tif 000011
【図３】
2015114701.tif 000012
【図４】
2015114701.tif 000013
【図５】
2015114701.tif 000014
【図６】
2015114701.tif 000015
【図７】
2015114701.tif 000016
【図８】
2015114701.tif 000017
【図９】
2015114701.tif 000018
【図１０】
2015114701.tif 000019
【図１１】
2015114701.tif 000020
【図１２】
2015114701.tif 000021