(57)【要約】【課題】低照度環境下で高感度化と高Ｓ／Ｎ比とを実現でき、解像度の低下を抑制する。【解決手段】画像処理装置１４において、面内パターン検出部５０は、注目フレーム画像内の複数の面内画素パターンの中から注目画素と最も相関の高い面内画素加算パターンを選択する。参照パターン検出部７０は、複数の参照画素パターンと面内画素加算パターン間の面間相関評価値を算出し、複数の参照画素パターンの中から面内画素加算パターンと最も相関の高い参照画素加算パターンを選択する。補助画素パターン検出部９０は、注目フレーム画像から特定された補助画素パターンと面内画素加算パターン間の面内補助相関評価値を算出する。画素加算部２０は、面内補助相関評価値と面間相関評価値とに基づいて、参照画素加算パターン及び補助画素パターンの中から画素加算パターンを選択し、当該画素加算パターン内の画素を加算して補正画素を生成する。【選択図】図２
2014107807.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する複数のフレーム画像で構成される画像信号を処理する画像処理装置であって、
前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、当該注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出し、さらに前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択する面内パターン検出部と、
前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、当該参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出し、さらに前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択する参照パターン検出部と、
前記注目フレーム画像の中から前記面内画素加算パターンと隣接し且つ複数の画素で構成される補助画素パターンを特定し、当該補助画素パターンと前記面内画素加算パターンとの間の相関を表す面内補助相関評価値を算出する補助画素パターン検出部と、
前記補助画素パターンに対応する当該面内補助相関評価値と前記参照画素加算パターンに対応する当該面間相関評価値とに基づいて、前記参照画素加算パターン及び前記補助画素パターンの中から前記面内画素加算パターンと最も相関の低い画素パターンを除いた画素加算パターンを選択し、当該選択された画素加算パターンに含まれる全ての画素を加算して前記注目画素に対する補正画素を生成する画素加算部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記面内パターン検出部は、
前記複数の面内画素パターンの各々を構成する複数の画素の画素値の中から第１の最大画素値及び第１の最小画素値を検出し、前記第１の最大画素値と前記第１の最小画素値との間の差分を前記面内相関評価値として算出し、さらに前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる面内画素パターンを前記面内画素加算パターンとして選択する演算部と、
前記面内画素加算パターンの画素位置を示す情報を前記画素加算部に通知する画素指定部と
を有することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記参照パターン検出部は、
前記複数の参照画素パターンの各々を構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第２の最大画素値及び第２の最小画素値を検出し、前記第２の最大画素値と前記第２の最小画素値との間の差分を前記面間相関評価値として算出し、さらに前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる参照画素パターンを前記参照画素加算パターンとして選択する演算部と、
前記参照画素加算パターンの画素位置を示す情報と前記参照画素加算パターンに対応する当該面間相関評価値とを前記画素加算部に通知する画素指定部と
を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記補助画素パターン検出部は、
前記補助画素パターンを構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第３の最大画素値及び第３の最小画素値を検出し、前記第３の最大画素値と前記第３の最小画素値との間の差分を前記面内補助相関評価値として算出する演算部と、
前記補助画素パターンの画素位置を示す情報と前記面内補助相関評価値とを前記画素加算部に通知する画素指定部と
を有することを特徴とする画像処理装置。
【請求項５】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記画像信号を遅延させて前記注目フレーム画像における当該注目画素を中心とする第１の局所画素領域内の複数画素の信号を並列に出力する第１の遅延回路と、
前記画像信号を遅延させて前記参照フレーム画像における当該参照注目画素を中心とする第２の局所画素領域内の複数画素の信号を並列に出力する第２の遅延回路と
をさらに備え、
前記画素加算部は、
前記第１の遅延回路により並列に出力された当該第１の局所画素領域内の複数画素の信号から前記面内画素加算パターンの画素と前期補助画素パターンの画素とを選択する面内画素選択部と、
前記第２の遅延回路により並列に出力された当該第２の局所画素領域内の複数画素の信号から前記参照画素加算パターンの画素を選択する参照画素選択部と、
前記参照画素加算パターンに対応する当該面間相関評価値と前期補助画素パターンに対応する当該面内補助相関評価値とに基づいて、前記面内画素選択部により選択された画素と前期参照画素選択部により選択された画素とから、当該選択された画素加算パターンに含まれる画素を選択し、当該選択された画素を加算して前記補正画素を生成する加算演算部と
を有することを特徴とする画像処理装置。
【請求項６】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記参照フレーム画像は、
前記注目フレーム画像に対して時間的に前方に位置する前方参照フレーム画像と、
前記注目フレーム画像に対して時間的に後方に位置する後方参照フレーム画像とを含み、
前記面間相関評価値は、
前記複数の参照画素パターンのうち前記前方参照フレーム画像内の複数の前方参照画素パターンに対して前記面内画素加算パターンとの相関を表す第１の面間相関評価値と、
前記複数の参照画素パターンのうち前記後方参照フレーム画像内の複数の後方参照画素パターンに対して前記面内画素加算パターンとの相関を表す第２の面間相関評価値と、
とを含み、
前記参照パターン検出部は、
前記第１の面間相関評価値に基づいて前記複数の前方参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを前方参照画素加算パターンとして選択し、
前記第２の面間相関評価値に基づいて前記複数の後方参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを後方参照画素加算パターンとして選択する
ことを特徴とする画像処理装置。
【請求項７】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、前記画素加算部は、当該選択された画素加算パターンに含まれる全ての画素の画素値を加算して得られた値に増感倍率を乗算して前記補正画素の画素値を算出することを特徴とする画像処理装置。
【請求項８】
請求項１から４のうちのいずれか１項に記載の画像処理装置と、
前記複数のフレーム画像で構成される画像信号を出力する撮像素子と
を備えることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置であって、
前記撮像素子は、
互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、
前記色フィルタアレイを透過した光学像を検出する撮像面と
を有し、
前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記面内パターン検出部は、前記注目フレーム画像の中から前記注目画素と同じ色を有する画素パターンを前記複数の面内画素パターンとして選択し、
前記参照パターン検出部は、前記参照フレーム画像の中から前記注目画素と同じ色を有する画素パターンを前記複数の参照画素パターンとして選択し、
前記補助画素パターン検出部は、前記注目フレーム画像の中から前記面内画素パターンと同じ色を有する画素パターンを前記補助画素パターンとして特定する
ことを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置であって、前記色フィルタの配列はベイヤ配列であることを特徴とする撮像装置。
【請求項１１】
請求項９に記載の撮像装置であって、前記画素加算部は、当該選択された画素加算パターンに含まれる全ての画素の画素値を加算して得られた値に増感倍率を乗算して前記補正画素の画素値を算出することを特徴とする撮像装置。
【請求項１２】
請求項１０に記載の撮像装置であって、
前記撮像素子の前面に配置された開口絞りと、
前記撮像素子から出力される当該画像信号を増幅する信号増幅器と、
前記増感倍率の値を設定する制御部と
をさらに備え、
前記制御部は、前記画素加算部の出力に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間とのうちの少なくとも１つを設定する
ことを特徴とする撮像装置。
【請求項１３】
請求項１２に記載の撮像装置であって、前記制御部は、前記画素加算部の出力の信号振幅と前記増幅利得と前記露光時間と前記増感倍率とに基づいて被写体照度の換算値を算出し、前記被写体照度の換算値に応じて、前記開口量と前記増幅利得と前記露光時間と前記増感倍率とを個別に設定することを特徴とする撮像装置。
【請求項１４】
請求項１２に記載の撮像装置であって、
前記撮像素子に入射する光学像を測光することにより被写体照度を検出する測光部をさらに備え、
前記制御部は、前記測光部により検出された当該被写体照度に応じて前記増感倍率の値を設定する
ことを特徴とする撮像装置。
【請求項１５】
時間的に連続する複数のフレーム画像で構成される画像信号を処理する画像処理方法であって、
前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、当該注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出するステップと、
前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択するステップと、
前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、当該参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出するステップと、
前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択するステップと、
前記注目フレーム画像の中から前記面内画素加算パターンと隣接し且つ複数の画素で構成される補助画素パターンを特定し、当該補助画素パターンと前記面内画素加算パターンとの間の相関を表す面内補助相関評価値を算出するステップと、
前記補助画素パターンに対応する当該面内補助相関評価値と前記参照画素加算パターンに対応する当該面間相関評価値とに基づいて、前記参照画素加算パターン及び前記補助画素パターンの中から前記面内画素加算パターンと最も相関の低い画素パターンを除いた画素加算パターンを選択するステップと、
当該選択された画素加算パターンに含まれる全ての画素を加算して前記注目画素に対する補正画素を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法であって、
前記面間相関評価値を算出する当該ステップは、
前記複数の面内画素パターンの各々を構成する複数の画素の画素値の中から第１の最大画素値及び第１の最小画素値を検出するステップと、
前記第１の最大画素値と前記第１の最小画素値との間の差分を前記面内相関評価値として算出するステップと
を含み、
前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる面内画素パターンが前記面内画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項１７】
請求項１６に記載の画像処理方法であって、
前記面内補助相関評価値を算出する当該ステップは、
前記複数の参照画素パターンの各々を構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第２の最大画素値及び第２の最小画素値を検出するステップと、
前記第２の最大画素値と前記第２の最小画素値との間の差分を前記面間相関評価値として算出するステップと
を含み、
前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる参照画素パターンが前記参照画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法であって、
前記面内補助相関評価値を算出する当該ステップは、
前記補助画素パターンを構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第３の最大画素値及び第３の最小画素値を検出するステップと、
前記第３の最大画素値と前記第３の最小画素値との間の差分を前記面内補助相関評価値として算出するステップと
を含むことを特徴とする画像処理方法。
【請求項１９】
請求項１５から１８のうちのいずれか１項に記載の画像処理方法であって、
前記画像信号は、撮像素子から出力された信号であり、
前記撮像素子は、
互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、
前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記注目フレーム画像の中から前記注目画素と同じ色を有する画素パターンが前記複数の面内画素パターンとして選択され、
前記参照フレーム画像の中から前記注目画素と同じ色を有する画素パターンが前記複数の参照画素パターンとして選択され、
前記注目フレーム画像の中から前記面内画素パターンと同じ色を有する画素パターンが前記補助画素パターンとして特定される
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ画像センサ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）またはＣＭＯＳ画像センサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）などの固体撮像素子から出力された撮像信号を処理する画像処理技術に関し、特に、色フィルタアレイを有する固体撮像素子から出力された撮像信号を処理する画像処理技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤ画像センサまたはＣＭＯＳ画像センサなどの固体撮像素子を搭載したディジタル方式のカラー撮像装置（たとえば、ディジタルスチルカメラ及びディジタルビデオカメラ）が普及している。このようなカラー撮像装置では、単一の色フィルタアレイと、この色フィルタアレイを透過した光学像を受光する単一の撮像面とを有する単板式の固体撮像素子が広く採用されている。色フィルタ配列としては、原色系あるいは補色系のベイヤ配列（ｂａｙｅｒ  ａｒｒａｎｇｅｍｅｎｔ）が広く採用されている。一般に、原色系のベイヤ配列は、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の色フィルタの配列で構成され、補色系のベイヤ配列は、たとえば、シアン（Ｃ）、マゼンタ（Ｍ）、緑色（Ｇ）及び黄色（Ｙ）の色フィルタの配列で構成される。
【０００３】
カラー撮像装置の感度を向上させる方法としては、固体撮像素子の出力信号を電気的に増幅する方法、あるいは固体撮像素子の電荷蓄積時間を長くする長時間露光の方法がある。しかしながら、低照度環境下で得られた撮像信号は比較的多くのノイズ成分を含むため、この撮像信号を電気的に増幅したり、長時間露光を行ったりすると、撮像画像のＳ／Ｎ比（信号対雑音比）が低下することがある。そこで、高感度化と高Ｓ／Ｎ比とを実現する方法として、複数の同色の画素を選択し、これら選択された画素のディジタル信号を加算するディジタル画素加算方法が提案されている。この種のディジタル画素加算方法は、たとえば、特開２０００−１８４２７４号公報（特許文献１）に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１８４２７４号公報（第４頁、段落００１０など）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されるディジタル画素加算方法では、複数画素（たとえば、２画素あるいは３画素）のディジタル信号を加算することで１つの画素が新たに生成されるので、解像度が低下し、画質が低下するという問題がある。
【０００６】
上記に鑑みて本発明は、低照度環境下で高感度化と高Ｓ／Ｎ比とを実現することができ、解像度の低下をも抑制することができる画像処理装置、画像処理方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様による画像処理装置は、時間的に連続する複数のフレーム画像で構成される画像信号を処理する画像処理装置であって、前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、当該注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出し、さらに前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択する面内パターン検出部と、前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、当該参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出し、さらに前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択する参照パターン検出部と、前記注目フレーム画像の中から前記面内画素加算パターンと隣接し且つ複数の画素で構成される補助画素パターンを特定し、当該補助画素パターンと前記面内画素加算パターンとの間の相関を表す面内補助相関評価値を算出する補助画素パターン検出部と、前記補助画素パターンに対応する当該面内補助相関評価値と前記参照画素加算パターンに対応する当該面間相関評価値とに基づいて、前記参照画素加算パターン及び前記補助画素パターンの中から前記面内画素加算パターンと最も相関の低い画素パターンを除いた画素加算パターンを選択し、当該選択された画素加算パターンに含まれる全ての画素を加算して前記注目画素に対する補正画素を生成する画素加算部とを備えることを特徴とする。
【０００８】
本発明の第２の態様による撮像装置は、前記画像処理装置と、前記複数のフレーム画像で構成される画像信号を出力する撮像素子とを備えることを特徴とする。
【０００９】
本発明の第３の態様による画像処理方法は、時間的に連続する複数のフレーム画像で構成される画像信号を処理する画像処理方法であって、前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、当該注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出するステップと、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択するステップと、前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、当該参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出するステップと、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択するステップと、前記注目フレーム画像の中から前記面内画素加算パターンと隣接し且つ複数の画素で構成される補助画素パターンを特定し、当該補助画素パターンと前記面内画素加算パターンとの間の相関を表す面内補助相関評価値を算出するステップと、前記補助画素パターンに対応する当該面内補助相関評価値と前記参照画素加算パターンに対応する当該面間相関評価値とに基づいて、前記参照画素加算パターン及び前記補助画素パターンの中から前記面内画素加算パターンと最も相関の低い画素パターンを除いた画素加算パターンを選択するステップと、当該選択された画素加算パターンに含まれる全ての画素を加算して前記注目画素に対する補正画素を生成するステップとを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、低照度環境下で高感度化と高Ｓ／Ｎ比とを実現することができ、解像度の低下をも抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る実施の形態１の撮像装置の概略構成を示すブロック図である。
【図２】実施の形態１の画素加算回路の構成の一例を概略的に示すブロック図である。
【図３】（Ａ）は、画像信号Ｆｘで表されるフレーム画像を示す図であり、（Ｂ）は、このフレーム画像からサンプリングされた５×５画素領域を示す図であり、（Ｃ）は、（Ｂ）の５×５画素領域に対応するフィルタ係数群を示す図である。
【図４】実施の形態１の空間フィルタの回路構成例を概略的に示す図である。
【図５】フレーム画像の画素空間配置を概略的に示す図である。
【図６】注目画素がＧ画素のときの水平１１画素×垂直１１画素の空間的な配置を示す図である。
【図７】注目画素がＧ画素のときの演算対象画素の一例を示す図である。
【図８】注目画素がＲ画素のときの水平１１画素×垂直１１画素の空間的な配置を示す図である。
【図９】注目画素がＲ画素のときの演算対象画素の配列を示す図である。
【図１０】注目画素がＢ画素のときの水平１１画素×垂直１１画素の空間的な配列を示す図である。
【図１１】注目画素がＢ画素のときの演算対象画素の配列を示す図である。
【図１２】実施の形態１の面内パターン検出回路の構成例を概略的に示すブロック図である。
【図１３】（Ａ）は、画像信号で表されるフレーム画像を示す図であり、（Ｂ）は、このフレーム画像からサンプリングされた９×９画素領域を示す図である。
【図１４】図１２のサンプリング回路の回路構成例を概略的に示す図である。
【図１５】注目画素がＧ画素のときに抽出される面内画素パターンの第１の例を示す図である。
【図１６】注目画素がＧ画素のときに抽出される面内画素パターンの第２の例を示す図である。
【図１７】注目画素がＧ画素のときに抽出される面内画素パターンの第３の例を示す図である。
【図１８】注目画素がＧ画素のときに抽出される面内画素パターンの第４の例を示す図である。
【図１９】注目画素がＧ画素のときに抽出される面内画素パターンの第５の例を示す図である。
【図２０】注目画素がＧ画素のときに抽出される面内画素パターンの第６の例を示す図である。
【図２１】注目画素がＧ画素のときに抽出される面内画素パターンの第７の例を示す図である。
【図２２】注目画素がＧ画素のときに抽出される面内画素パターンの第８の例を示す図である。
【図２３】注目画素がＧ画素のときに抽出される面内画素パターンの第９の例を示す図である。
【図２４】注目画素がＧ画素のときに抽出される面内画素パターンの第１０の例を示す図である。
【図２５】注目画素がＧ画素のときに抽出される面内画素パターンの第１１の例を示す図である。
【図２６】注目画素がＧ画素のときに抽出される面内画素パターンの第１２の例を示す図である。
【図２７】注目画素がＲ画素のときに抽出される面内画素パターンの第１の例を示す図である。
【図２８】注目画素がＲ画素のときに抽出される面内画素パターンの第２の例を示す図である。
【図２９】注目画素がＲ画素のときに抽出される面内画素パターンの第３の例を示す図である。
【図３０】注目画素がＲ画素のときに抽出される面内画素パターンの第４の例を示す図である。
【図３１】図１２の演算回路の構成例を概略的に示すブロック図である。
【図３２】実施の形態１の補助画素パターン検出回路の構成例を概略的に示すブロック図である。
【図３３】（Ａ）は、画像信号で表されるフレーム画像を示す図であり、（Ｂ）は、このフレーム画像からサンプリングされた１１×１１画素領域を示す図である。
【図３４】図３２のサンプリング回路の回路構成例を概略的に示す図である。
【図３５】実施の形態１の前方参照パターン検出回路の構成例を概略的に示すブロック図である。
【図３６】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第１の例を例示する図である。
【図３７】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第２の例を例示する図である。
【図３８】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第３の例を例示する図である。
【図３９】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第４の例を例示する図である。
【図４０】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第５の例を例示する図である。
【図４１】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第１の例を示す図である。
【図４２】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第２の例を示す図である。
【図４３】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第３の例を示す図である。
【図４４】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第４の例を示す図である。
【図４５】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第５の例を示す図である。
【図４６】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第１の例を示す図である。
【図４７】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第２の例を示す図である。
【図４８】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第３の例を示す図である。
【図４９】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第４の例を示す図である。
【図５０】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第５の例を示す図である。
【図５１】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第１の例を示す図である。
【図５２】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第２の例を示す図である。
【図５３】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第３の例を示す図である。
【図５４】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第４の例を示す図である。
【図５５】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第５の例を示す図である。
【図５６】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第１の例を示す図である。
【図５７】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第２の例を示す図である。
【図５８】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第３の例を示す図である。
【図５９】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第４の例を示す図である。
【図６０】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第５の例を示す図である。
【図６１】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第１の例を示す図である。
【図６２】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第２の例を示す図である。
【図６３】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第３の例を示す図である。
【図６４】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第４の例を示す図である。
【図６５】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第５の例を示す図である。
【図６６】図３５の演算回路の構成例を概略的に示すブロック図である。
【図６７】実施の形態１の後方参照パターン検出回路の構成例を概略的に示すブロック図である。
【図６８】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第１の例を示す図である。
【図６９】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第２の例を示す図である。
【図７０】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第３の例を示す図である。
【図７１】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第４の例を示す図である。
【図７２】面内画素パターンＴ０１（図１５）に対応する参照画素パターンの第５の例を示す図である。
【図７３】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第１の例を示す図である。
【図７４】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第２の例を示す図である。
【図７５】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第３の例を示す図である。
【図７６】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第４の例を示す図である。
【図７７】面内画素パターンＴ０５（図１９）に対応する参照画素パターンの第５の例を示す図である。
【図７８】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第１の例を示す図である。
【図７９】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第２の例を示す図である。
【図８０】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第３の例を示す図である。
【図８１】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第４の例を示す図である。
【図８２】面内画素パターンＴ０７（図２１）に対応する参照画素パターンの第５の例を示す図である。
【図８３】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第１の例を示す図である。
【図８４】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第２の例を示す図である。
【図８５】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第３の例を示す図である。
【図８６】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第４の例を示す図である。
【図８７】面内画素パターンＴ０９（図２３）に対応する参照画素パターンの第５の例を示す図である。
【図８８】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第１の例を示す図である。
【図８９】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第２の例を示す図である。
【図９０】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第３の例を示す図である。
【図９１】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第４の例を示す図である。
【図９２】面内画素パターンＴ１１（図２５）に対応する参照画素パターンの第５の例を示す図である。
【図９３】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第１の例を示す図である。
【図９４】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第２の例を示す図である。
【図９５】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第３の例を示す図である。
【図９６】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第４の例を示す図である。
【図９７】面内画素パターンＴ０１（図２７）に対応する参照画素パターンの第５の例を示す図である。
【図９８】実施の形態１の選択回路の回路構成例を概略的に示す図である。
【図９９】本発明に係る実施の形態２の撮像装置の概略構成を示すブロック図である。
【図１００】（Ａ）は、照度と絞り値（開口量）との関係を示すグラフであり、（Ｂ）は、照度と増幅利得との関係を示すグラフであり、（Ｃ）は、照度と増感倍率Ｌとの関係を示すグラフであり、（Ｄ）は、照度と露光時間との関係を示すグラフであり、（Ｅ）は、照度と平均レベルＡＳＡとの関係を示すグラフである。
【図１０１】本発明に係る実施の形態３の撮像装置の概略構成を示すブロック図である。
【図１０２】本発明に係る実施の形態１の変形例の撮像装置の概略構成を示すブロック図である。
【図１０３】画像処理ユニットの構成を概略的に示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る種々の実施の形態について図面を参照しつつ説明する。
【００１３】
実施の形態１．
図１は、本発明に係る実施の形態１の撮像装置１の概略構成を示すブロック図である。図１に示されるように、撮像装置１は、撮像光学系（レンズ機構）１１、ＣＣＤ画像センサ１２、フロントエンド部１３、画素加算回路（ＡＤＤ）１４、映像信号処理回路（ＩＳＰ：Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１５、駆動回路（ＤＲＶ）１６、タイミング発生回路（ＴＧ：Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）１７、同期信号発生回路（ＳＳＧ：Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  Ｓｉｇｎａｌ  Ｇｅｎｅｒａｔｏｒ）１８及びＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１９を備える。撮像光学系１１は、前側レンズ１１０、開口絞り１１１及び後側レンズ１１２を有する。
【００１４】
また、ＣＣＤ画像センサ１２は、単板式の固体撮像素子であり、単一の色フィルタアレイ１２１と単一のＣＣＤ素子１２２とを有する。色フィルタアレイ１２１は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなるものであればよい。本実施の形態では、色フィルタアレイ１２１の色フィルタ配列として原色系のベイヤ配列を使用するが、これに限定されるものではなく、補色系のベイヤ配列を使用してもよい。ＣＣＤ素子１２２における２次元配列の複数の受光素子（フォトダイオード）上に複数の色フィルタがそれぞれ配置されている。これら受光素子は、入射光を検出して信号電荷を発生させる光電変換素子である。
【００１５】
図１に示される撮像光学系（レンズ機構）１１は、被写体の光学像をＣＣＤ画像センサ１２の撮像面上に合焦させる。ＣＣＤ画像センサ１２で光電変換して得られた撮像信号は、フロントエンド部１３に転送される。フロントエンド部１３は、相関二重サンプリング（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）処理回路１３Ｃ、プログラマブル利得増幅回路（ＰＧＡ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｉｎ  Ａｍｐｌｉｆｉｅｒ）１３Ｐ及びＡ／Ｄ変換器（ＡＤＣ）１３Ａからなる。ＣＤＳ処理回路１３Ｃは、ＣＣＤ画像センサ１２から出力される撮像信号からノイズなどの不要な成分を除去する。プログラマブル利得増幅回路１３Ｐは、ＣＤＳ処理回路１３Ｃの出力信号を、制御回路であるＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１９から出力された制御信号によって制御された利得で増幅して出力する。Ａ／Ｄ変換器１３Ａは、プログラマブル利得増幅回路１３Ｐの出力信号をデジタル信号に変換する。
【００１６】
画素加算回路１４は、制御端子ＩＮｃと同期信号入力端子ＩＮｓを有する。ＭＰＵ１９からは制御信号ＣＯＮＴが制御端子ＩＮｃを介して供給され、同期信号発生回路１８からは水平同期信号ＨＤと垂直同期信号ＶＤとが同期信号入力端子ＩＮｓを介して供給されている。画素加算回路１４は、後述するように、Ａ／Ｄ変換器１３Ａのデジタル出力を加算する機能を有する。
【００１７】
映像信号処理回路１５は、画素加算回路１４の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理及び色補正処理などの信号処理を施して得られる映像信号を映像信号出力端子ＯＵＴから出力する。
【００１８】
同期信号発生回路１８は、垂直同期信号ＶＤ及び水平同期信号ＨＤを生成して画素加算回路１４、映像信号処理回路１５及びタイミング発生回路１７に供給する。
【００１９】
タイミング発生回路１７は、ＣＣＤ画像センサ１２のための駆動タイミング信号ＤＲＴを発生して駆動回路１６に供給する。駆動回路１６は、タイミング発生回路１７から出力された駆動タイミング信号ＤＲＴに応じてＣＣＤ画像センサ１２の駆動信号ＤＲＳを生成する。ＣＣＤ画像センサ１２は、駆動回路１６から出力された駆動信号ＤＲＳに基づいて、光電変換及び電荷転送を行う。
【００２０】
ＭＰＵ１９は、撮像光学系１１の開口絞り（光量を調整するための絞り）１１１の制御、タイミング発生回路１７の制御、プログラマブル利得増幅回路１３Ｐの増幅利得の制御、並びに画素加算回路１４の画素加算処理の制御を行う。ここで、タイミング発生回路１７の制御としては、ＣＣＤ画像センサ１２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（すなわち露光時間の制御）が挙げられる。
【００２１】
図２は、実施の形態１の画素加算回路１４の構成の一例を概略的に示すブロック図である。図２に示されるように、画素加算回路１４は、１フレーム遅延回路（１Ｆ−ＤＬ）３１，３２、遅延回路３４〜３６、画素加算部２０、ノイズ低減回路４０、遅延回路３７〜３９、面内パターン検出回路５０、参照パターン検出回路７０及び補助画素パターン検出回路９０を有している。
【００２２】
画素加算回路１４の入力端子ＩＮａには、図１のＡ／Ｄ変換器１３Ａから出力されたＲ画素値、Ｇ画素値及びＢ画素値を含む撮像信号Ｆ３が入力される。ここで、Ｒ画素値は、赤色の色フィルタを透過した光から生成された画素の値であり、Ｇ画素値は、緑色の色フィルタを透過した光から生成された画素の値であり、Ｂ画素値は、青色の色フィルタを透過した光から生成された画素の値である。入力端子ＩＮａから入力された撮像信号Ｆ３は、１フレーム遅延回路３１とノイズ低減回路４０の空間フィルタ４３と遅延回路３６とにそれぞれ供給される。
【００２３】
１フレーム遅延回路３１は、画像信号である撮像信号Ｆ３を１フレーム期間だけ遅延させて注目フレーム画像を表すフレーム遅延信号Ｆ２を出力し、ノイズ低減回路４０の空間フィルタ４２と１フレーム遅延回路３２と遅延回路３５とにそれぞれ供給する。また、１フレーム遅延回路３２は、フレーム遅延信号Ｆ２を１フレーム期間だけ遅延させて、注目フレーム画像に対して時間的に前方に隣接する参照フレーム画像を表すフレーム遅延信号Ｆ１を生成し、ノイズ低減回路４０の空間フィルタ４１と遅延回路３４とにそれぞれ供給する。撮像信号Ｆ３は、注目フレーム画像に対して時間的に後方に隣接する参照フレーム画像を表す画像信号である。
【００２４】
ノイズ低減回路４０は、撮像信号Ｆ３及びフレーム遅延信号Ｆ２，Ｆ１から個別にノイズ成分を除去する機能を有する。ノイズ低減回路４０は、撮像信号Ｆ３の中のノイズ成分を低減させる空間フィルタ４３と、フレーム遅延信号Ｆ２の中のノイズ成分を低減させる空間フィルタ４２と、フレーム遅延信号Ｆ１の中のノイズ成分を低減させる空間フィルタ４１とを有する。空間フィルタ４３は、撮像信号Ｆ３のノイズを低減したフィルタ信号ＮＲ３を出力し、空間フィルタ４２は、フレーム遅延信号Ｆ２のノイズを低減したフィルタ信号ＮＲ２を出力し、空間フィルタ４１は、フレーム遅延信号Ｆ１のノイズを低減した信号ＮＲ１を出力する。
【００２５】
空間フィルタ４１，４２，４３には、それぞれ、画像信号Ｆ１，Ｆ２，Ｆ３が水平ライン毎に画素単位で入力される。空間フィルタ４１，４２，４３は、それぞれ、入力画像信号で表されるフレーム画像の中から注目画素を中心とする５×５画素領域の画素をサンプリングし、当該サンプリングされた複数画素にそれぞれフィルタ係数を乗算してフィルタ信号を出力する。図３（Ａ），（Ｂ）は、画像信号Ｆ１〜Ｆ３のいずれかである画像信号Ｆｘからサンプリングされた５×５画素領域の画素値Ｐ３３〜Ｐ３７，Ｐ４３〜Ｐ４７，Ｐ５３〜Ｐ５７，Ｐ６３〜Ｐ６７，Ｐ７３〜Ｐ７７を概略的に示す図である。画素値Ｐ５５が注目画素の画素値である。図３（Ｃ）は、サンプリング領域内の画素に対応するフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７を示す図である。フレーム画像内の注目画素の水平画素方向の座標値をＸとし、その垂直画素方向の座標値をＹとするとき、フィルタ出力Ｆ（Ｘ，Ｙ）は、次式（１）で与えられる。
【数１】
2014107807.tif 000003
【００２６】
図４は、空間フィルタ４１，４２，４３の各々と同じ構成を有する空間フィルタ４ｘの回路構成例を概略的に示す図である。図４に示される空間フィルタ４ｘは、サンプリング回路４２０と、２５個の乗算器４６１〜４８５と、これら乗算器４６１〜４８５の２５個の出力（重み付き画素値）を加算してフィルタ信号ＮＲｘを生成する総和演算回路４９０と、フィルタ係数群ＫＤを供給する係数可変設定回路４９５とで構成されている。サンプリング回路４２０は、入力端子４０１から入力された画像信号Ｆｘから５×５画素領域内の複数画素をサンプリングし、当該サンプリングされた画素の画素値Ｐ３７〜Ｐ７７，Ｐ３６〜Ｐ７６，Ｐ３５〜Ｐ７５，Ｐ３４〜Ｐ７４，Ｐ３３〜Ｐ７３を乗算器４６１〜４８５に並列に出力する。図４に示されるように、サンプリング回路４２０は、直列接続された４個の１ライン遅延回路（１Ｌ−ＤＬ）４２２，４２３，…，４２５を有する。これら１ライン遅延回路４２２，４２３，…，４２５の各々は、入力信号を１水平ライン分の時間だけ遅延させた後に出力する遅延回路である。先頭の１ライン遅延回路４２２に撮像信号Ｆｘが入力される。またサンプリング回路４２０は、２０個の１画素遅延回路（１Ｄ−ＤＬ）４３２〜４３５，４３７〜４４０，４４２〜４４５，４４７〜４５０，４５２〜４５５を有する。これら１画素遅延回路の各々は、入力信号を１画素分の時間だけ遅延させた後に出力する遅延回路である。
【００２７】
図４に示されるように、１画素遅延回路４３２〜４３５は直列接続されており、画素シフトレジスタを構成している。同様に、１画素遅延回路４３７〜４４０、１画素遅延回路４４２〜４４５、１画素遅延回路４４７〜４５０及び１画素遅延回路４５２〜４５５も、それぞれ、画素シフトレジスタを構成する。
【００２８】
サンプリング回路４２０に画像信号Ｆｘにおける画素値Ｐ７７が入力されるとき、この画素値Ｐ７７が乗算器４６１に供給されると同時に、１ライン遅延回路４２２，４２３，…，４２５の遅延出力の値Ｐ７６，Ｐ７５，Ｐ７４，Ｐ７３が乗算器４６６，４７１，４７６，４８１にそれぞれ供給される。
【００２９】
また、１画素遅延回路４３２には画像信号Ｆｘが供給されており、１画素遅延回路４３７，４４２，４４７，４５２には、１ライン遅延回路４２２，４２３，…，４２５の遅延出力がそれぞれ供給されている。このため、１画素遅延回路４３２〜４３５は、画素値Ｐ６７，Ｐ５７，Ｐ４７，Ｐ３７を乗算器４６２，４６３，４６４，４６５にそれぞれ出力し、１画素遅延回路４３７〜４４０は、画素値Ｐ６６，Ｐ５６，Ｐ４６，Ｐ３６を乗算器４６７，４６８，４６９，４７０にそれぞれ出力し、１画素遅延回路４４２〜４４５は、画素値Ｐ６５，Ｐ５５，Ｐ４５，Ｐ３５を乗算器４７２，４７３，４７４，４７５にそれぞれ出力し、１画素遅延回路４４７〜４５０は、画素値Ｐ６４，Ｐ５４，Ｐ４４，Ｐ３４を乗算器４７７，４７８，４７９，４８０にそれぞれ出力し、１画素遅延回路４５２〜４５５は、画素値Ｐ６３，Ｐ５３，Ｐ４３，Ｐ３３を乗算器４８２，４８３，４８４，４８５にそれぞれ出力する。
【００３０】
乗算器４６１〜４８５と総和演算回路４９０とは、乗算器４６１〜４８５の２５個の出力（重み付き画素値）に対して上式（１）の積和演算を実行し、その演算結果であるフィルタ信号ＮＲｘを出力端子４０２から出力することができる。
【００３１】
ＭＰＵ１９は、空間フィルタ４ｘの制御端子４１７を介して係数可変設定回路４９５へ制御信号を供給して、空間フィルタ４ｘの低域通過型フィルタ特性を設定することができる。係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいてフィルタ係数群（重み係数群）ＫＤを設定する。また、同期信号発生回路１８は、同期信号入力端子４１８を介して係数可変設定回路４９５へ水平同期信号ＨＤと垂直同期信号ＶＤとを供給する。係数可変設定回路４９５は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目画素Ｐ５５の画素位置を判断し、色フィルタ配列に対応する注目画素の画素位置を特定することができる。このため、係数可変設定回路４９５は、当該注目画素がＲ画素かＧ画素かＢ画素かも特定することが可能である。係数可変設定回路４９５は、特定された画素位置に基づいて、乗算器４６１〜４８５に対して個別に２５個のフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７を設定する。
【００３２】
図５は、画像信号Ｆｘで表されるフレーム画像の画素空間配置を概略的に示す図である。図５中、Ｐｋｓ（ｋ，ｓは、水平方向及び垂直方向における画素位置を表す整数または記号）は、フレーム画像中の１画素またはその画素値を表すものとする。図６は、図５の画素空間配置において注目画素がＧ画素のときの水平１１画素×垂直１１画素の空間的な配置を示す図である。図６中、Ｇｎｍ（ｎ，ｍは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｇ画素またはその画素値を表し、Ｒｐｑ（ｐ，ｑは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｒ画素またはその画素値を表し、Ｂｒｓ（ｒ，ｓは、水平方向及び垂直方向における画素位置を表す整数または記号）は、Ｂ画素またはその画素値を表すものとする。他の図面においても同様である。
【００３３】
図６に示されるように、Ｒ画素、Ｇ画素及びＢ画素は市松状に配列されている。このような画素配列は、撮像素子の色フィルタ配列に対応している。図６の画素配列は、原色系のベイヤ配列に対応するものである。このため、図６の画素配列は、２個のＧ画素と１個のＲ画素と１個のＢ画素とからなる水平２画素×垂直２画素の計４画素の基本配列をマトリクス状に配列することで構成される。たとえば、Ｒ３４、Ｇ３５、Ｂ４５及びＧ４４は、１つの基本配列をなしている。図６は、注目画素Ｇ５５に対する画素配列を示すものであり、注目画素Ｇ５５に対して水平方向に隣接する画素はＲ画素であり、垂直方向に隣接する画素はＢ画素であるが、これに限定されるものではない。たとえば、Ｇ４４が注目画素のときは、Ｇ４４に対して水平方向に隣接する画素はＢ画素であり、垂直方向に隣接する画素はＲ画素となる。
【００３４】
空間フィルタ４ｘは、サンプリング領域内の注目画素及びこれと同色の画素のみをフィルタ係数で重み付けして加算する。このため、注目画素と異なる色の画素値は、演算対象から除かれる。図７は、空間フィルタ４１，４２，４３で注目画素がＧ画素のときの、演算対象画素（点線で囲まれた領域の画素）の一例を示す図である。このとき、空間フィルタ４１，４２，４３の出力は、たとえば、次式で求められる。
Ｇ＝Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ５５×Ｇ５５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
【００３５】
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わないフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３，Ｋ４５，Ｋ４７，Ｋ５３〜Ｋ５４，Ｋ５６〜Ｋ５７，Ｋ６３，Ｋ６５，Ｋ６７，Ｋ７３〜Ｋ７７を零値に設定する。係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、よりノイズが低減されるフィルタ係数を設定することができる。たとえば、以下のフィルタ係数を設定することができる。
Ｋ４４＝１／８
Ｋ６４＝１／８
Ｋ５５＝４／８
Ｋ４６＝１／８
Ｋ６６＝１／８
【００３６】
ここで、後述する被写体照度が所定の閾値以下となる低照度時に画素の信号振幅が小さい場合は、上記フィルタ係数Ｋ４４，Ｋ６４，Ｋ５５，Ｋ４６，Ｋ６６を、たとえば各々８倍の係数とすることができる。また、微弱な信号成分が少しでも失われることを防ぐため、１以上の値を持つフィルタ係数を使用することもできる。
【００３７】
あるいは、係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、たとえば以下のフィルタ係数を設定することができる。
Ｋ４４＝１／５
Ｋ６４＝１／５
Ｋ５５＝１／５
Ｋ４６＝１／５
Ｋ６６＝１／５
【００３８】
ここで、他のフィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３，Ｋ４５，Ｋ４７，Ｋ５３〜Ｋ５４，Ｋ５６〜Ｋ５７，Ｋ６３，Ｋ６５，Ｋ６７，Ｋ７３〜Ｋ７７は零値に設定される。また、被写体照度が所定の閾値以下となる低照度時に画素の信号振幅が小さい場合は、上記フィルタ係数Ｋ４４，Ｋ６４，Ｋ５５，Ｋ４６，Ｋ６６を、たとえば各々５倍の係数とすることもできる。さらに、微弱な信号成分が少しでも失われることを防ぐため、１以上の値を持つフィルタ係数を使用することも可能である。
【００３９】
本実施の形態では、空間フィルタ４１，４２，４３は、注目画素とその周辺画素の合計５画素を対象としたノイズ低減フィルタを構成しているが、これに限定されるものではない。さらにノイズが多い低照度時の撮像条件の場合には、注目画素とその周辺画素の合計９画素を対象としたノイズ低減フィルタを構成したほうがよい。このとき、空間フィルタ４１，４２，４３の出力は、たとえば、次式で求められる。
Ｇ＝Ｋ５３×Ｇ５３
＋Ｋ４４×Ｇ４４＋Ｋ６４×Ｇ６４
＋Ｋ３５×Ｇ３５＋Ｋ５５×Ｇ５５＋Ｋ７５×Ｇ７５
＋Ｋ４６×Ｇ４６＋Ｋ６６×Ｇ６６
＋Ｋ５７×Ｇ５７
【００４０】
図８は、図６の画素空間配置で注目画素がＲ画素のときの水平１１画素×垂直１１画素の空間的な配置を示す図である。Ｒ画素、Ｇ画素及びＢ画素は市松状に配列されている。図９は、画素加算回路１４の空間フィルタ４１，４２，４３で注目画素がＲ画素のときの、点線で囲まれた領域内の演算対象画素の配列を示す図である。
【００４１】
このとき、空間フィルタ４１，４２，４３の出力は次式で求められる。
Ｒ＝Ｋ５３×Ｒ５３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ５７×Ｒ５７
【００４２】
係数可変設定回路４９５は、フィルタ係数Ｋ３３〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５３〜Ｋ５７，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７７のうち、上式で使わないフィルタ係数Ｋ３３〜Ｋ３４，Ｋ３６〜Ｋ３７，Ｋ４３〜Ｋ４７，Ｋ５４，Ｋ５６，Ｋ６３〜Ｋ６７，Ｋ７３〜Ｋ７４，Ｋ７６〜Ｋ７７を零値に設定する。係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、よりノイズが低減されるフィルタ係数を設定することもできる。たとえば、以下のフィルタ係数を設定することができる。
Ｋ５３＝１／８
Ｋ３５＝１／８
Ｋ５５＝４／８
Ｋ７５＝１／８
Ｋ５７＝１／８
【００４３】
ここで、後述する被写体照度が所定の閾値以下となる低照度時に画素の信号振幅が小さい場合には、上記フィルタ係数Ｋ５３，Ｋ３５，Ｋ５５，Ｋ７５，Ｋ５７を、たとえば各々８倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上の値を持つフィルタ係数とすることも可能である。
【００４４】
あるいは、係数可変設定回路４９５は、ＭＰＵ１９からの設定指示に基づいて、たとえば以下のフィルタ係数を設定することができる。
Ｋ５３＝１／５
Ｋ３５＝１／５
Ｋ５５＝１／５
Ｋ７５＝１／５
Ｋ５７＝１／５
【００４５】
ここで、後述する被写体照度が所定の閾値以下となる低照度時に画素の信号振幅が小さい場合は、上記フィルタ係数Ｋ５３，Ｋ３５，Ｋ５５，Ｋ７５，Ｋ５７を、たとえば各々５倍の係数とすることができる。微弱な信号成分が少しでも失われることを防ぐため、１以上の値を持つフィルタ係数を使用することも可能である。
【００４６】
前述の通り、空間フィルタ４１，４２，４３は、Ｒの注目画素と周辺画素の合計５画素を処理対象としたノイズ低減フィルタに設定されたが、さらにノイズが多い低照度時の撮像信号の場合には、注目画素と周辺画素の合計９画素を処理対象としたノイズ低減フィルタとするように空間フィルタ４１，４２，４３を構成することが望ましい。このとき、空間フィルタ４１，４２，４３の出力は、たとえば、次式で求められる。
Ｒ＝Ｋ３３×Ｒ３３＋Ｋ５３×Ｒ５３＋Ｋ７３×Ｒ７３
＋Ｋ３５×Ｒ３５＋Ｋ５５×Ｒ５５＋Ｋ７５×Ｒ７５
＋Ｋ３７×Ｒ３７＋Ｋ５７×Ｒ５７＋Ｋ７７×Ｒ７７
【００４７】
図１０は、図６の画素空間配置で注目画素がＢ画素のときの水平１１画素×垂直１１画素の空間的な配列を示す図である。Ｒ画素、Ｇ画素及びＢ画素は市松状に配列されている。図１１は、空間フィルタ４１，４２，４３で注目画素がＢ画素のときの、点線で囲まれた領域内の演算対象画素の配列を示す図である。注目画素がＢ画素の場合の空間フィルタ４１，４２，４３及び係数設定回路４９５の動作は、注目画素がＲ画素の場合の動作と同様である。
【００４８】
本実施の形態では、空間フィルタ４１，４２，４３の構成は、たとえばノイズが高域周波数領域に多く分布するとの仮定に基づいて、低域通過型フィルタの構成とされているが、これに限定されるものではない。たとえば、フィルタ係数を調整して画像信号に含まれるノイズの特性に応じた適応型のノイズ低減フィルタに空間フィルタ４１，４２，４３を設定してもよい。また、空間フィルタ４１，４２，４３の構成を、たとえばイプシロンフィルタなどの輪郭保存型の低域通過型フィルタとして、より原画像の特徴を残してノイズを除去することで、注目画素と相関の高い画素の検出精度を高めてもよい。
【００４９】
また、空間フィルタ４１，４２，４３の各々は、水平５画素×垂直５画素の２５画素に限らず、たとえば、水平３画素×垂直３画素の９画素を処理対象とする低域通過型フィルタの構成に変更されてもよい。また、ノイズ成分が少ない場合には、空間フィルタ４１，４２，４３は、水平３画素×垂直３画素の９画素を処理対象とする低域通過型フィルタに設定され、ノイズ成分が多い場合には、水平５画素×垂直５画素の２５素を処理対象とする低域通過型フィルタに設定されてもよい。
【００５０】
さらには、空間フィルタ４１，４２，４３の構成を、時間軸方向の低域通過型フィルタの構成に変更してもよいし、あるいは、画像の動きに応じて適応的にフィルタ係数を変えることができる時間軸方向の非巡回型フィルタの構成としてもよい。
【００５１】
空間フィルタ４１から出力されたフィルタ信号ＮＲ１は、遅延回路３７で所定の遅延時間Δ１だけ遅延した後に参照パターン検出回路７０の前方参照パターン検出回路７１に供給される。また、空間フィルタ４３から出力されたフィルタ信号ＮＲ３は、遅延回路３９で所定の遅延時間Δ３だけ遅延した後に参照パターン検出回路７０の後方参照パターン検出回路７２に供給される。また、空間フィルタ４２から出力されるフィルタ信号ＮＲ２は、面内パターン検出回路５０に供給されると同時に、遅延回路３８に供給される。遅延回路３８は、フィルタ信号ＮＲ２を所定の遅延時間Δ２だけ遅延させて遅延フィルタ信号ＮＲ２Ｄを生成し、この遅延フィルタ信号ＮＲ２Ｄを補助画素パターン検出回路９０に出力する。遅延時間Δ１，Δ２，Δ３は、面内パターン検出回路５０での処理遅延時間に応じて個別に適宜定めることができる。
【００５２】
次に、図２に示される面内パターン検出回路５０の構成及び動作について説明する。
【００５３】
面内パターン検出回路５０は、遅延フィルタ信号ＮＲ２で表される注目フレーム画像から注目画素を順次選択し、当該注目画素を含む複数の面内画素パターンと当該注目画素との間の相関を表す面内相関評価値を算出する。面内パターン検出回路５０は、面内画素パターンにそれぞれ対応する面内相関評価値に基づいて、当該面内画素パターンの中から、当該注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択（判別）する機能を有する。図２に示されるように、面内パターン検出回路５０は、この面内画素加算パターンの画素領域ＰＮ２を示す情報（画素位置を示す情報）を、画素加算部２０、前方参照パターン検出回路７１、後方参照パターン検出回路７２及び補助画素パターン検出回路９０にそれぞれ通知する。
【００５４】
図１２は、面内パターン検出回路５０の構成例を概略的に示すブロック図である。図１２に示されるように、面内パターン検出回路５０は、サンプリング回路５２０、画素選択回路５９９、演算回路６００及び画素指定回路６３０を有する。
【００５５】
サンプリング回路５２０は、入力端子５００に入力されたフィルタ信号ＮＲ２から、注目画素を含む９×９画素領域内の複数画素をサンプリングし、当該サンプリングされた画素の画素値を画素選択回路５９９に並列に出力する。図１３（Ａ），（Ｂ）は、フィルタ信号ＮＲ２で表されるフレーム画像からサンプリングされた９×９画素領域の画素値Ｐ１１〜Ｐ９１，Ｐ１２〜Ｐ９２，Ｐ１３〜Ｐ９３，Ｐ１４〜Ｐ９４，Ｐ１５〜Ｐ９５，Ｐ１６〜Ｐ９６，Ｐ１７〜Ｐ９７，Ｐ１８〜Ｐ９８，Ｐ１９〜Ｐ９９を概略的に示す図である。ここで、画素値Ｐ５５が注目画素の画素値となる。
【００５６】
図１４は、サンプリング回路５２０の回路構成例を概略的に示す図である。図１４に示されるサンプリング回路５２０は、直列接続された８個の１ライン遅延回路（１Ｌ−ＤＬ）５０１，５０２，…，５０８を有する。これら１ライン遅延回路５０１〜５０８の各々は、入力信号を１水平ライン分の時間だけ遅延させた後に出力する遅延回路である。先頭の１ライン遅延回路５０１には、フィルタ信号ＮＲ２が入力される。またサンプリング回路５２０は、７２（＝９×８）個の１画素遅延回路（１Ｄ−ＤＬ）５１１〜５１８，５２１〜５２８，５３１〜５３８，５４１〜５４８，５５１〜５５８，５６１〜５６８，５７１〜５７８，５８１〜５８８，５９１〜５９８を有する。これら１画素遅延回路の各々は、入力信号を１画素分の時間だけ遅延させた後に出力する遅延回路である。
【００５７】
図１４に示されるように、１画素遅延回路５１１〜５１８は直列接続されており、画素シフトレジスタを構成している。同様に、１画素遅延回路５２１〜５２８、１画素遅延回路５３１〜５３８、１画素遅延回路５４１〜５４８、１画素遅延回路５５１〜５５８、１画素遅延回路５６１〜５６８、１画素遅延回路５７１〜５７８、１画素遅延回路５８１〜５８８及び１画素遅延回路５９１〜５９８も、それぞれ、画素シフトレジスタを構成する。
【００５８】
サンプリング回路５２０にフィルタ信号ＮＲ２の画素値Ｐ９９が入力されるとき、この画素値Ｐ９９が後段の画素選択回路５９９に出力されると同時に、１ライン遅延回路５０１，５０２，…，５０８の遅延出力の値Ｐ９８，Ｐ９７，Ｐ９６，Ｐ９５，Ｐ９４，Ｐ９３，Ｐ９２，Ｐ９１が画素選択回路５９９に並列に出力される。
【００５９】
また、１画素遅延回路５１１にはフィルタ信号ＮＲ２が供給されており、１画素遅延回路５３１，５４１，５５１，５６１，５７１，５８１，５９１には、１ライン遅延回路５０１，５０２，５０３，５０４，５０５，５０６，５０７，５０８の遅延出力がそれぞれ供給される。このため、１画素遅延回路５１１〜５１８は、画素値Ｐ８９，Ｐ７９，Ｐ６９，Ｐ５９，Ｐ４９，Ｐ３９，Ｐ２９，Ｐ１９を、１画素遅延回路５２１〜５２８は、画素値Ｐ８８，Ｐ７８，Ｐ６８，Ｐ５８，Ｐ４８，Ｐ３８，Ｐ２８，Ｐ１８を、１画素遅延回路５３１〜５３８は、画素値Ｐ８７，Ｐ７７，Ｐ６７，Ｐ５７，Ｐ４７，Ｐ３７，Ｐ２７，Ｐ１７を、１画素遅延回路５４１〜５４８は、画素値Ｐ８６，Ｐ７６，Ｐ６６，Ｐ５６，Ｐ４６，Ｐ３６，Ｐ２６，Ｐ１６を、１画素遅延回路５５１〜５５８は、画素値Ｐ８５，Ｐ７５，Ｐ６５，Ｐ５５，Ｐ４５，Ｐ３５，Ｐ２５，Ｐ１５を、１画素遅延回路５６１〜５６８は、画素値Ｐ８４，Ｐ７４，Ｐ６４，Ｐ５４，Ｐ４４，Ｐ３４，Ｐ２４，Ｐ１４を、１画素遅延回路５７１〜５７８は、画素値Ｐ８３，Ｐ７３，Ｐ６３，Ｐ５３，Ｐ４３，Ｐ３３，Ｐ２３，Ｐ１３を、１画素遅延回路５８１〜５８８は、画素値Ｐ８２，Ｐ７２，Ｐ６２，Ｐ５２，Ｐ４２，Ｐ３２，Ｐ２２，Ｐ１２を、１画素遅延回路５９１〜５９８は、画素値Ｐ８１，Ｐ７１，Ｐ６１，Ｐ５１，Ｐ４１，Ｐ３１，Ｐ２１，Ｐ１１をそれぞれ画素選択回路５９９に並列に出力する。
【００６０】
次に、図１２に示される画素選択回路５９９の動作について説明する。画素選択回路５９９は、入力端子５１７に入力された制御信号ＣＯＮＴに応じて動作する。画素選択回路５９９は、サンプリング回路５２０でサンプリングされた９×９画素領域の画素値Ｐ１１〜Ｐ９９の中から、注目画素Ｐ５５を含む同色の複数画素からなる面内画素パターンＴ０１〜Ｔ１２を抽出し、これら面内画素パターンＴ０１〜Ｔ１２を構成する全画素の画素値を演算回路６００に供給する。図１の同期信号発生回路１８は、同期信号入力端子５１８を介して画素選択回路５９９へ水平同期信号ＨＤと垂直同期信号ＶＤとを供給している。画素選択回路５９９は、水平同期信号ＨＤと垂直同期信号ＶＤとに基づいて注目画素Ｐ５５の画素位置を判断し、色フィルタ配列に対応する注目画素とこれと同色の周辺画素の位置を特定することができる。よって、画素選択回路５９９は、注目画素Ｐ５５がＲ画素かＧ画素かＢ画素かも特定することが可能である。
【００６１】
画素加算部２０での画素加算に使用される画素として、注目画素と相関の高い画素を正しく選択することができれば、画素加算により得られる画像の解像度劣化を小さくすることができる。注目画素と周辺画素との組み合わせから、画素加算に使用される画素パターンの候補として複数の面内画素パターンＴ０１〜Ｔ１２を選択することができる。
【００６２】
図１５〜図２６は、図６の画素空間配置で注目画素がＧ５５のときに抽出される面内画素パターンＴ０１〜Ｔ１２を例示する図である。これら面内画素パターンＴ０１〜Ｔ１２の中から注目画素Ｇ５５と最も相関の高い最適な画素パターン（面内画素加算パターン）が選択される。
【００６３】
図１５は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して上側の周辺画素Ｇ４４，Ｇ６４，Ｇ５３との組み合わせである第１の面内画素パターン（上側ブロックパターン）Ｔ０１を示す図である。画素選択回路５９９は、面内画素パターンＴ０１を構成する画素Ｇ５３，Ｇ４４，Ｇ６４，Ｇ５５の画素値を演算回路６００へ供給する。
【００６４】
また、図１６は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して右側の周辺画素Ｇ６４，Ｇ７５，Ｇ６６との組み合わせである第２の面内画素パターン（右側ブロックパターン）Ｔ０２を示す図である。図１７は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して下側の周辺画素Ｇ４６，Ｇ６６，Ｇ５７との組み合わせである第３の面内画素パターン（下側ブロックパターン）Ｔ０３を示す図である。図１８は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して左側の周辺画素Ｇ４４，Ｇ３５，Ｇ４６との組み合わせである第４の面内画素パターン（左側ブロックパターン）Ｔ０４を示す図である。図１９は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して上側及び下側の周辺画素Ｇ５１，Ｇ５３，Ｇ５７との組み合わせである第５の面内画素パターン（上側縦ラインパターン）Ｔ０５を示す図である。図２０は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して上側及び下側の周辺画素Ｇ５３，Ｇ５７，Ｇ５９との組み合わせである第６の面内画素パターン（下側縦ラインパターン）Ｔ０６を示す図である。図２１は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して右側及び左側の周辺画素Ｇ１５，Ｇ３５，Ｇ７５との組み合わせである第７の面内画素パターン（左側横ラインパターン）Ｔ０７を示す図である。図２２は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して右側及び左側の周辺画素Ｇ３５，Ｇ７５，Ｇ９５との組み合わせである第８の面内画素パターン（右側横ラインパターン）Ｔ０８を示す図である。図２３は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して左斜め上側及び右斜め下側の周辺画素Ｇ３３，Ｇ４４，Ｇ６６との組み合わせである第９の面内画素パターン（左上側斜めラインパターン）Ｔ０９を示す図である。図２４は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して右斜め下側及び左斜め上側の周辺画素Ｇ４４，Ｇ６６，Ｇ７７との組み合わせである第１０の面内画素パターン（右下側斜めラインパターン）Ｔ１０を示す図である。図２５は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して右斜め上側及び左斜め下側の周辺画素Ｇ７３，Ｇ６４，Ｇ４６との組み合わせである第１１の面内画素パターン（右上側斜めラインパターン）Ｔ１１を示す図である。図２６は、注目画素Ｇ５５と、この注目画素Ｇ５５に対して左斜め下側及び右斜め上側の周辺画素Ｇ６４，Ｇ４６，Ｇ３７との組み合わせである第１２の面内画素パターン（左下側斜めラインパターン）Ｔ１２を示す図である。
【００６５】
次に、図２７〜図３０は、図６の画素空間配置で注目画素がＲ５５のときに抽出される面内画素パターンＴ０１〜Ｔ０４を例示する図である。これら面内画素パターンＴ０１〜Ｔ０４の中から注目画素Ｒ５５と最も相関の高い最適な画素パターン（面内画素加算パターン）が選択される。注目画素がＲ画素のときは、４種類の面内画素パターンＴ０１〜Ｔ０４のみが抽出されるが、これに限定されるものではない。
【００６６】
図２７は、注目画素Ｒ５５と、この注目画素Ｒ５５に対して左上側の周辺画素Ｒ３３，Ｒ５３，Ｒ３５との組み合わせである第１の面内画素パターン（左上側ブロックパターン）Ｔ０１を示す図である。画素選択回路５９９は、面内画素パターンＴ０１を構成する画素Ｒ５５，Ｒ３３，Ｒ５３，Ｒ３５の画素値を演算回路６００へ供給する。
【００６７】
また、図２８は、注目画素Ｒ５５と、この注目画素Ｒ５５に対して右上側の周辺画素Ｒ５３，Ｒ７３，Ｒ７５との組み合わせである第２の面内画素パターン（右上側ブロックパターン）Ｔ０２を示す図である。図２９は、注目画素Ｒ５５と、この注目画素Ｒ５５に対して右下側の周辺画素Ｒ７５，Ｒ５７，Ｒ７７との組み合わせである第３の面内画素パターン（右下側ブロックパターン）Ｔ０３を示す図である。図３０は、注目画素Ｒ５５と、この注目画素Ｒ５５に対して左下側の周辺画素Ｒ３５，Ｒ３７，Ｒ５７との組み合わせである第４の面内画素パターン（左下側ブロックパターン）Ｔ０４を示す図である。
【００６８】
図６の画素空間配置で注目画素がＢ画素のときに抽出される面内画素パターンは、注目画素がＲ画素の場合と同様の空間配置を有する画素パターンである。よって、注目画素がＢ画素の場合も、４種類の面内画素パターンＴ０１〜Ｔ０４の中から最も相関の高い最適な画素パターン（面内画素加算パターン）を選択することができる。
【００６９】
次に、図１２に示される演算回路６００の動作について説明する。演算回路６００は、画素選択回路５９９で抽出された面内画素パターンＴ０１〜Ｔ１２（または面内画素パターンＴ０１〜Ｔ０４）の中から、当該注目画素と最も相関の高い画素パターンを面内画素加算パターンとして選択する機能を有する。図３１は、演算回路６００の構成例を概略的に示すブロック図である。図３１に示されるように、演算回路６００は、面内画素パターンＴ０１〜Ｔ１２にそれぞれ対応する差分算出回路６０１〜６１２と、最小値算出回路６２０とで構成されている。
【００７０】
差分算出回路６０１は、面内画素パターンＴ０１を構成する複数の画素の画素値を相互に比較して、これら画素値の中から最大画素値ＭＡＸ１及び最小画素値ＭＩＮ１を検出し、最大画素値ＭＡＸ１及び最小画素値ＭＩＮ１間の差分（＝ＭＡＸ１−ＭＩＮ１）を面内相関評価値ＰＰ１として算出する。次いで、差分算出回路６０１は、これら最大画素値ＭＡＸ１、最小画素値ＭＩＮ１及び面内相関評価値ＰＰ１を最小値算出回路６２０に供給する。たとえば、注目画素がＧ画素の場合には、差分算出回路６０１は、図１５の上側ブロックパターンＴ０１について面内相関評価値ＰＰ１を算出することができる。また、注目画素がＲ画素の場合には、差分算出回路６０１は、図２７の左上側ブロックパターンＴ０１について面内相関評価値ＰＰ１を算出することができる。
【００７１】
他の差分算出回路６０２〜６１２も、面内画素パターンＴ０２〜Ｔ１２についてそれぞれ、差分算出回路６０１と同様の処理を実行する。よって、面内画素パターンＴ０２に対応する最大画素値ＭＡＸ２、最小画素値ＭＩＮ２及び面内相関評価値ＰＰ２の組と、面内画素パターンＴ０３に対応する最大画素値ＭＡＸ３、最小画素値ＭＩＮ３及び面内相関評価値ＰＰ３の組と、面内画素パターンＴ０４に対応する最大画素値ＭＡＸ４、最小画素値ＭＩＮ４及び面内相関評価値ＰＰ４の組と、面内画素パターンＴ０５に対応する最大画素値ＭＡＸ５、最小画素値ＭＩＮ５及び面内相関評価値ＰＰ５の組と、面内画素パターンＴ０６に対応する最大画素値ＭＡＸ６、最小画素値ＭＩＮ６及び面内相関評価値ＰＰ６の組と、面内画素パターンＴ０７に対応する最大画素値ＭＡＸ７、最小画素値ＭＩＮ７及び面内相関評価値ＰＰ７の組と、面内画素パターンＴ０８に対応する最大画素値ＭＡＸ８、最小画素値ＭＩＮ８及び面内相関評価値ＰＰ８の組と、面内画素パターンＴ０９に対応する最大画素値ＭＡＸ９、最小画素値ＭＩＮ９及び面内相関評価値ＰＰ９の組と、面内画素パターンＴ１０に対応する最大画素値ＭＡＸ１０、最小画素値ＭＩＮ１０及び面内相関評価値ＰＰ１０の組と、面内画素パターンＴ１１に対応する最大画素値ＭＡＸ１１、最小画素値ＭＩＮ１１及び面内相関評価値ＰＰ１１の組と、面内画素パターンＴ１２に対応する最大画素値ＭＡＸ１２、最小画素値ＭＩＮ１２及び面内相関評価値ＰＰ１２の組とがそれぞれ最小値算出回路６２０に供給される。
【００７２】
最小値算出回路６２０は、面内相関評価値ＰＰ１〜ＰＰ１２の中から最小値ＰＰを検出する。この最小値ＰＰは、面内画素パターンＴ０１〜Ｔ１２の中で、当該最小値ＰＰに対応する面内画素パターンＴｐの構成画素群が最も着目画素Ｐ５５との相関が高いことを示している。最小値算出回路６２０は、最小値ＰＰと、この最小値ＰＰ（＝ＭＡＸ−ＭＩＮ）に対応する最大画素値ＭＡＸ及び最小画素値ＭＩＮとを画素指定回路６３０に与える。
【００７３】
画素指定回路６３０は、当該最小値ＰＰに対応する面内画素パターンＴｐを面内画素加算パターンとし、この面内画素加算パターンＴｐの画素領域ＰＮ２を示す情報（画素位置を示す情報）を出力端子６４０から画素加算部２０、前方参照パターン検出回路７１、後方参照パターン検出回路７２及び補助画素パターン検出回路９０にそれぞれ供給する。同時に、画素指定回路６３０は、当該最大画素値ＭＡＸ及び最小画素値ＭＩＮを出力端子６４１，６４２から前方参照パターン検出回路７１、後方参照パターン検出回路７２及び補助画素パターン検出回路９０に供給する。たとえば、図１５の上側ブロックパターンＴ０１の構成画素が最小値ＰＰを与える場合には、画素指定回路６３０は、画素値Ｇ５３，Ｇ４４，Ｇ６４，Ｇ５５を有する４画素の位置情報を画素加算部２０に供給することができる。
【００７４】
次に、図２に示される補助画素パターン検出回路９０の構成及び動作について説明する。
【００７５】
補助画素パターン検出回路９０には、遅延回路３８から遅延フィルタ信号ＮＲ２Ｄが供給されている。また、面内パターン検出回路５０からは、面内画素加算パターンＴｐの画素領域ＰＮ２を示す情報と最大画素値ＭＡＸ及び最小画素値ＭＩＮとが供給されている。補助画素パターン検出回路９０は、遅延フィルタ信号ＮＲ２Ｄで表されるフレーム画像の中から面内画素加算パターンＴｐと隣接する補助画素パターンを特定し、当該補助画素パターンと面内画素加算パターンＴｐとの間の相関を表す面内補助相関評価値ＶＬ４を算出する機能を有する。補助画素パターン検出回路９０は、当該特定された補助画素パターンの画素領域ＰＮ４を示す情報（画素位置を示す情報）と面内補助相関評価値ＶＬ４とを画素加算部２０に供給する。
【００７６】
図３２は、補助画素パターン検出回路９０の構成例を概略的に示すブロック図である。図３２に示されるように、補助画素パターン検出回路９０は、サンプリング回路９７０、画素選択回路９１９、演算回路９２１及び画素指定回路９５０を有する。
【００７７】
サンプリング回路９７０は、入力端子９００に入力された遅延フィルタ信号ＮＲ２Ｄから、注目画素を含む１１×１１画素領域内の複数画素をサンプリングし、当該サンプリングされた画素の画素値を画素選択回路９１９に並列に出力する。図３３（Ａ），（Ｂ）は、遅延フィルタ信号ＮＲ２Ｄで表されるフレーム画像からサンプリングされた１１×１１画素領域の画素値Ｐ００〜ＰＡ０，Ｐ０１〜ＰＡ１，Ｐ０２〜ＰＡ２，Ｐ０３〜ＰＡ３，Ｐ０４〜ＰＡ４，Ｐ０５〜ＰＡ５，Ｐ０６〜ＰＡ６，Ｐ０７〜ＰＡ７，Ｐ０８〜ＰＡ８，Ｐ０９〜ＰＡ９，Ｐ０Ａ〜ＰＡＡを概略的に示す図である。ここで、画素値Ｐ５５が注目画素の画素値となる。
【００７８】
図３４は、サンプリング回路９７０の回路構成例を概略的に示す図である。図３４に示されるサンプリング回路９７０は、直列接続された１０個の１ライン遅延回路（１Ｌ−ＤＬ）９０１，９０２，…，９１０を有する。これら１ライン遅延回路９０１〜９１０の各々は、入力信号を１水平ライン分の時間だけ遅延させた後に出力する遅延回路である。先頭の１ライン遅延回路９０１には、遅延フィルタ信号ＮＲ２Ｄが入力される。またサンプリング回路９７０は、１１０（＝１０×１１）個の１画素遅延回路（１Ｄ−ＤＬ）１９００〜１９０９，１９１０〜１９１９，１９２０〜１９２９，１９３０〜１９３９，１９４０〜１９４９，１９５０〜１９５９，１９６０〜１９６９，１９７０〜１９７９，１９８０〜１９８９，１９９０〜１９９９，２００１〜２００９を有する。これら１画素遅延回路の各々は、入力信号を１画素分の時間だけ遅延させた後に出力する遅延回路である。
【００７９】
図３４に示されるように、１画素遅延回路１９００〜１９０９は直列接続されており、画素シフトレジスタを構成している。同様に、１画素遅延回路１９１０〜１９１９，１画素遅延回路１９２０〜１９２９，１画素遅延回路１９３０〜１９３９，１画素遅延回路１９４０〜１９４９，１画素遅延回路１９５０〜１９５９，１画素遅延回路１９６０〜１９６９，１画素遅延回路１９７０〜１９７９，１画素遅延回路１９８０〜１９８９，１画素遅延回路１９９０〜１９９９及び１画素遅延回路２００１〜２００９も、それぞれ、画素シフトレジスタを構成する。
【００８０】
サンプリング回路９７０に遅延フィルタ信号ＮＲ２Ｄの画素値ＰＡＡが入力されるとき、この画素値ＰＡＡが後段の画素選択回路９１９に出力されると同時に、１ライン遅延回路９０１，９０２，…，９１０の遅延出力の値ＰＡ９，ＰＡ８，ＰＡ７，ＰＡ６，ＰＡ５，ＰＡ４，ＰＡ３，ＰＡ２，ＰＡ１，ＰＡ０が画素選択回路９１９に並列に出力される。
【００８１】
また、１画素遅延回路１９００には遅延フィルタ信号ＮＲ２Ｄが供給されており、１画素遅延回路１９１０，１９２０，１９３０，１９４０，１９５０，１９６０，１９７０，１９８０，１９９０，２０００には、１ライン遅延回路９０１，９０２，９０３，９０４，９０５，９０６，９０７，９０８，９０９，９１０の遅延出力がそれぞれ供給される。このため、１画素遅延回路１９００〜１９０９は、画素値Ｐ９Ａ，Ｐ８Ａ，Ｐ７Ａ，Ｐ６Ａ，Ｐ５Ａ，Ｐ４Ａ，Ｐ３Ａ，Ｐ２Ａ，Ｐ１Ａ，Ｐ０Ａを、１画素遅延回路１９１０〜１９１９は、画素値Ｐ９９，Ｐ８９，Ｐ７９，Ｐ６９，Ｐ５９，Ｐ４９，Ｐ３９，Ｐ２９，Ｐ１９，Ｐ０９を、１画素遅延回路１９２０〜１９２９は、画素値Ｐ９８，Ｐ８８，Ｐ７８，Ｐ６８，Ｐ５８，Ｐ４８，Ｐ３８，Ｐ２８，Ｐ１８，Ｐ０８を、１画素遅延回路１９３０〜１９３９は、画素値Ｐ９７，Ｐ８７，Ｐ７７，Ｐ６７，Ｐ５７，Ｐ４７，Ｐ３７，Ｐ２７，Ｐ１７，Ｐ０７を、１画素遅延回路１９４０〜１９４９は、画素値Ｐ９６，Ｐ８６，Ｐ７６，Ｐ６６，Ｐ５６，Ｐ４６，Ｐ３６，Ｐ２６，Ｐ１６，Ｐ０６を、１画素遅延回路１９５０〜１９５９は、画素値Ｐ９５，Ｐ８５，Ｐ７５，Ｐ６５，Ｐ５５，Ｐ４５，Ｐ３５，Ｐ２５，Ｐ１５，Ｐ０５を、１画素遅延回路１９６０〜１９６９は、画素値Ｐ９４，Ｐ８４，Ｐ７４，Ｐ６４，Ｐ５４，Ｐ４４，Ｐ３４，Ｐ２４，Ｐ１４，Ｐ０４を、１画素遅延回路１９７０〜１９７９は、画素値Ｐ９３，Ｐ８３，Ｐ７３，Ｐ６３，Ｐ５３，Ｐ４３，Ｐ３３，Ｐ２３，Ｐ１３，Ｐ０３を、１画素遅延回路１９８０〜１９８９は、画素値Ｐ９２，Ｐ８２，Ｐ７２，Ｐ６２，Ｐ５２，Ｐ４２，Ｐ３２，Ｐ２２，Ｐ１２，Ｐ０２を、１画素遅延回路１９９０〜１９９９は、画素値Ｐ９１，Ｐ８１，Ｐ７１，Ｐ６１，Ｐ５１，Ｐ４１，Ｐ３１，Ｐ２１，Ｐ１１，Ｐ０１を、１画素遅延回路２００１〜２００９は、画素値Ｐ９０，Ｐ８０，Ｐ７０，Ｐ６０，Ｐ５０，Ｐ４０，Ｐ３０，Ｐ２０，Ｐ１０，Ｐ００をそれぞれ画素選択回路９１９（図３２）に並列に出力する。
【００８２】
画素選択回路９１９は、入力端子９１７に入力された制御信号ＣＯＮＴに応じて動作する。また、画素選択回路９１９は、入力端子９１１を介して面内パターン検出回路５０から画素領域ＰＮ２を示す情報の供給を受けるので、面内画素加算パターンＴｐを識別することが可能である。画素選択回路９１９は、サンプリング回路９７０でサンプリングされた１１×１１画素領域の中から、面内画素加算パターンＴｐに対応し且つ隣接する補助画素パターンＬ１を特定する。ここで、画素選択回路９１９は、入力端子９１８に入力された水平同期信号ＨＤと垂直同期信号ＶＤとに基づいて注目画素の画素位置を判断し、色フィルタ配列に対応する注目画素とこれと同色の周辺画素の位置を特定することができる。よって、画素選択回路９１９は、注目画素がＲ画素かＧ画素かＢ画素かも特定することが可能である。
【００８３】
図１５〜図３０には、面内画素パターンＴ０１〜Ｔ１２にそれぞれ対応する補助画素パターンの例が示されている。図１５〜図３０に示される補助画素パターンは、面内画素パターンＴ０１〜Ｔ１２にそれぞれ隣接し且つ楕円形状の鎖線で囲まれた領域内の同色の複数画素で構成されている。このような補助画素パターンに含まれる画素は、注目画素と高い相関を有することが期待される。
【００８４】
図１５〜図２６では、注目画素がＧ画素である場合の面内画素パターンＴ０１〜Ｔ１２にそれぞれ対応する補助画素パターンが示されている。具体的には、図１５は、上側ブロックパターンＴ０１が面内画素加算パターンＴｐであるときの画素値Ｇ３５，Ｇ４６，Ｇ６６，Ｇ７５を有する４画素からなる補助画素パターンを示し、図１６は、右側ブロックパターンＴ０２が面内画素加算パターンＴｐであるときの画素値Ｇ４４，Ｇ５３，Ｇ４６，Ｇ５７を有する４画素からなる補助画素パターンを示し、図１７は、下側ブロックパターンＴ０３が面内画素加算パターンＴｐであるときの画素値Ｇ３５，Ｇ４４，Ｇ６４，Ｇ７５を有する４画素からなる補助画素パターンを示し、図１８は、左側ブロックパターンＴ０４が面内画素加算パターンＴｐであるときの画素値Ｇ５３，Ｇ６４，Ｇ６６，Ｇ５７を有する４画素からなる補助画素パターンを示している。また、図１９は、上側縦ラインパターンＴ０５が面内画素加算パターンＴｐであるときの画素値Ｇ４４，Ｇ４６，Ｇ６４，Ｇ６６を有する４画素からなる補助画素パターンを示し、図２０は、下側縦ラインパターンＴ０６が面内画素加算パターンＴｐであるときの画素値Ｇ４４，Ｇ４６，Ｇ６４，Ｇ６６を有する４画素からなる補助画素パターンを示し、図２１は、左側横ラインパターンＴ０７が面内画素加算パターンＴｐであるときの画素値Ｇ４４，Ｇ４６，Ｇ６４，Ｇ６６を有する４画素からなる補助画素パターンを示し、図２２は、右側横ラインパターンＴ０８が面内画素加算パターンＴｐであるときの画素値Ｇ４４，Ｇ４６，Ｇ６４，Ｇ６６を有する４画素からなる補助画素パターンを示している。さらに、図２３は、左上側斜めラインパターンＴ０９が面内画素加算パターンＴｐであるときの画素値Ｇ５３，Ｇ６４，Ｇ３５，Ｇ４６を有する４画素からなる補助画素パターンを示し、図２４は、右下側斜めラインパターンＴ１０が面内画素加算パターンＴｐであるときの画素値Ｇ６４，Ｇ７５，Ｇ４６，Ｇ７７を有する４画素からなる補助画素パターンを示し、図２５は、右上側斜めラインパターンＴ１１が面内画素加算パターンＴｐであるときの画素値Ｇ５３，Ｇ４４，Ｇ７５，Ｇ６６を有する４画素からなる補助画素パターンを示し、図２６は、左下側斜めラインパターンＴ１２が面内画素加算パターンＴｐであるときの画素値Ｇ４４，Ｇ３５，Ｇ６６，Ｇ５７を有する４画素からなる補助画素パターンを示す。
【００８５】
また、図２７〜図３０では、注目画素がＲ画素である場合の面内画素パターンＴ０１〜Ｔ０４にそれぞれ対応する補助画素パターンが示されている。具体的には、図２７は、左上側ブロックパターンＴ０１が面内画素加算パターンＴｐであるときの画素値Ｒ７３，Ｒ７５，Ｒ３７，Ｒ５７を有する４画素からなる補助画素パターンを示し、図２８は、右上側ブロックパターンＴ０２が面内画素加算パターンＴｐであるときの画素値Ｒ３３，Ｒ３５，Ｒ５７，Ｒ７７を有する４画素からなる補助画素パターンを示し、図２９は、右下側ブロックパターンＴ０３が面内画素加算パターンＴｐであるときの画素値Ｒ５３，Ｒ７３，Ｒ３５，Ｒ３７を有する４画素からなる補助画素パターンを示し、図３０は、左下側ブロックパターンＴ０４が面内画素加算パターンＴｐであるときの画素値Ｒ３３，Ｒ５３，Ｒ７５，Ｒ７７を有する４画素からなる補助画素パターンを示す。
【００８６】
図６の画素空間配置で注目画素がＢ画素のときの補助画素パターンには、注目画素がＲ画素の場合と同様の空間配置を有する補助画素パターンを使用すればよい。
【００８７】
たとえば、図１５に示される面内画素パターンＴ０１が面内画素加算パターンＴｐとして選択された場合、画素選択回路９１９は、画素値Ｇ６６，Ｇ７５，Ｇ３５，Ｇ４６を持つ４画素からなる補助画素パターンＬ１を選択する。これら画素値Ｇ６６，Ｇ７５，Ｇ３５，Ｇ４６は、演算回路９２１に供給される。
【００８８】
演算回路９２１には、入力端子９１２，９１３を介して面内パターン検出回路５０から最大画素値ＭＡＸ及び最小画素値ＭＩＮが供給されている。演算回路９２１は、画素選択回路９１９で特定された補助画素パターンＬ１を構成する４画素の画素値と、最大画素値ＭＡＸ及び最小画素値ＭＩＮとの合計６つの画素値を相互に比較して、これら６つの画素値の中から最大画素値ＭＡＸｓ及び最小画素値ＭＩＮｓを検出する。次いで、演算回路９２１は、最大画素値ＭＡＸｓ及び最小画素値ＭＩＮｓの差分を面内補助相関評価値ＶＬ４（＝ＭＡＸｓ−ＭＩＮｓ）として算出する。
【００８９】
そして、画素指定回路９５０は、演算回路９２１で算出された面内補助相関評価値ＶＬ４と、補助画素パターンＬ１の画素領域ＰＮ４を示す情報（画素位置を示す情報）とを出力端子９６０，９８０を介して画素加算部２０に供給する。
【００９０】
次に、図２に示される前方参照パターン検出回路７１の構成及び動作について説明する。
【００９１】
前方参照パターン検出回路７１には、遅延回路３７から遅延フィルタ信号ＮＲ１Ｄが供給されている。また、面内パターン検出回路５０からは、面内画素加算パターンＴｐの画素領域ＰＮ２を示す情報と最大画素値ＭＡＸ及び最小画素値ＭＩＮとが供給されている。
【００９２】
前方参照パターン検出回路７１は、遅延フィルタ信号ＮＲ１Ｄで表される前方参照フレーム画像の中から、面内パターン検出回路５０で選択された注目画素に対応する参照注目画素を特定する。ここで、参照注目画素は、注目フレーム画像中の注目画素と同じ座標位置の画素である。次に、前方参照パターン検出回路７１は、参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンＫ１〜Ｋ５と上記の面内画素加算パターンＴｐとの間の相関を表す面間相関評価値を算出する。前方参照パターン検出回路７１は、さらに面間相関評価値に基づいて参照画素パターンＫ１〜Ｋ５の中から面内画素加算パターンＴｐと最も相関の高い参照画素パターンを参照画素加算パターンＫｐとして選択する。そして、前方参照パターン検出回路７１は、参照画素加算パターンＫｐの画素領域ＰＮ１を示す情報（画素位置を示す情報）を画素加算部２０に供給する。
【００９３】
図３５は、前方参照パターン検出回路７１の構成例を概略的に示すブロック図である。図３５に示されるように、前方参照パターン検出回路７１は、サンプリング回路７７０、画素選択回路７１９、演算回路７２０及び画素指定回路７５０を有する。
【００９４】
サンプリング回路７７０は、図３２のサンプリング回路９７０と同様に、入力端子７００に入力された遅延フィルタ信号ＮＲ１Ｄから、注目画素を含む１１×１１画素領域内の複数画素をサンプリングし、当該サンプリングされた画素の画素値Ｐ００〜ＰＡＡを画素選択回路７１９に並列に出力する機能を有する。
【００９５】
画素選択回路７１９は、入力端子７１７に入力された制御信号ＣＯＮＴに応じて動作する。また、画素選択回路９１９は、入力端子７１１を介して面内パターン検出回路５０から画素領域ＰＮ２を通知されるので、面内画素加算パターンＴｐの画素位置を識別することが可能である。画素選択回路７１９は、サンプリング回路７７０でサンプリングされた１１×１１画素領域の中から、面内画素加算パターンＴｐの画素位置を基準とする複数の参照画素パターンＫ１〜Ｋ５を抽出する。ここで、画素選択回路７１９は、入力端子７１８に入力された水平同期信号ＨＤと垂直同期信号ＶＤとに基づいて、注目画素に対応する注目参照画素の画素位置を特定し、色フィルタ配列に対応する注目参照画素と同色の周辺画素の位置を特定することができる。よって、画素選択回路７１９は、注目参照画素がＲ画素かＧ画素かＢ画素かも特定することも可能である。
【００９６】
具体的には、画素選択回路７１９は、着目画素がＧ画素のときは、面内画素加算パターンＴｐの構成画素の座標位置を基準位置とし、以下の規則に従って５種類の参照画素パターンＫ１〜Ｋ５を抽出することができる。
ａ１）基準位置と同一の座標位置の参照画素からなる参照画素パターンＫ１、
ａ２）基準位置から左上側にシフトした位置（水平方向負側に１画素だけシフトし且つ垂直方向負側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＫ２、
ａ３）基準位置から右下側にシフトした位置（水平方向正側に１画素だけシフトし且つ垂直方向正側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＫ３、
ａ４）基準位置から右上側にシフトした位置（水平方向正側に１画素だけシフトし且つ垂直方向負側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＫ４、
ａ５）基準位置から左下側にシフトした位置（水平方向負側に１画素だけシフトし且つ垂直方向正側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＫ５。
【００９７】
また、画素選択回路７１９は、着目画素がＲ画素またはＢ画素のときは、面内画素加算パターンＴｐの構成画素の座標位置を基準位置とし、以下の規則に従って５種類の参照画素パターンＫ１〜Ｋ５を抽出することができる。
ｂ１）基準位置と同一の座標位置の参照画素からなる参照画素パターンＫ１、
ｂ２）基準位置から左側にシフトした位置（水平方向負側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＫ２、
ｂ３）基準位置から右側にシフトした位置（水平方向正側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＫ３、
ｂ４）基準位置から上側にシフトした位置（垂直方向負側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＫ４、
ｂ５）基準位置から下側にシフトした位置（垂直方向正側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＫ５。
【００９８】
図３６〜図６５は、図６及び図８の画素空間配置と同様の画素空間配置の前方参照フレーム画像から抽出される参照画素パターンＫ１〜Ｋ５を例示する図である。図３６〜図６５において、Ｇ１ｎｍ（ｎ，ｍは、水平方向及び垂直方向における画素位置を表す整数または記号）は、遅延フィルタ信号ＮＲ１Ｄで表される前方参照フレーム画像中のＧ画素またはその画素値を表し、Ｒ１ｐｑ（ｐ，ｑは、水平方向及び垂直方向における画素位置を表す整数または記号）は、前方参照フレーム画像中のＲ画素またはその画素値を表すものとする。
【００９９】
図３６〜図４０は、Ｇ画素を注目画素とする面内画素パターンＴ０１（図１５）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＫ１〜Ｋ５を例示する図である。図３６は、面内画素パターンＴ０１の基準位置と同一の座標位置の参照画素Ｇ１５５，Ｇ１４４，Ｇ１６４，Ｇ１５３からなる参照画素パターンＫ１を示し、図３７は、面内画素パターンＴ０１の基準位置から左上側にシフトした位置の参照画素Ｇ１４４，Ｇ１５３，Ｇ１３３，Ｇ１４２からなる参照画素パターンＫ２を示し、図３８は、面内画素パターンＴ０１の基準位置から右下側にシフトした位置の参照画素Ｇ１５５，Ｇ１６４，Ｇ１６６，Ｇ１７５からなる参照画素パターンＫ３を示し、図３９は、面内画素パターンＴ０１の基準位置から右上側にシフトした位置の参照画素Ｇ１６４，Ｇ１７３，Ｇ１５３，Ｇ１６２からなる参照画素パターンＫ４を示し、図４０は、面内画素パターンＴ０１の基準位置から左下側にシフトした位置の参照画素Ｇ１４６，Ｇ１３５，Ｇ１５５，Ｇ１４４からなる参照画素パターンＫ５を示している。図１６〜図１８に示した面内画素パターンＴ０２〜Ｔ０４の各々についても、上記した同様の規則で参照画素パターンＫ１〜Ｋ５を抽出することができる。
【０１００】
図４１〜図４５は、Ｇ画素を注目画素とする面内画素パターンＴ０５（図１９）が面内画素加算パターンＴｐであるときに選択される参照画素パターンＫ１〜Ｋ５を例示する図である。図４１は、面内画素パターンＴ０５の基準位置と同一の座標位置の参照画素Ｇ１５７，Ｇ１５５，Ｇ１５３，Ｇ１５１からなる参照画素パターンＫ１を示し、図４２は、面内画素パターンＴ０５の基準位置から左上側にシフトした位置の参照画素Ｇ１４６，Ｇ１４４，Ｇ１４２，Ｇ１４０からなる参照画素パターンＫ２を示し、図４３は、面内画素パターンＴ０５の基準位置から左下側にシフトした位置の参照画素Ｇ１６８，Ｇ１６６，Ｇ１６４，Ｇ１６２からなる参照画素パターンＫ３を示し、図４４は、面内画素パターンＴ０５の基準位置から右上側にシフトした位置の参照画素Ｇ１６６，Ｇ１６４，Ｇ１６２，Ｇ１６０からなる参照画素パターンＫ４を示し、図４５は、面内画素パターンＴ０５の基準位置から右下側にシフトした位置の参照画素Ｇ１４８，Ｇ１４６，Ｇ１４４，Ｇ１４２からなる参照画素パターンＫ５を示している。図２０に示した面内画素パターンＴ０６についても、上記した同様の規則で参照画素パターンＫ１〜Ｋ５を抽出することができる。
【０１０１】
図４６〜図５０は、Ｇ画素を注目画素とする面内画素パターンＴ０７（図２１）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＫ１〜Ｋ５を例示する図である。図４６は、面内画素パターンＴ０７の基準位置と同一の座標位置の参照画素Ｇ１１５，Ｇ１３５，Ｇ１５５，Ｇ１７５からなる参照画素パターンＫ１を示し、図４７は、面内画素パターンＴ０７の基準位置から左上側にシフトした位置の参照画素Ｇ１０４，Ｇ１２４，Ｇ１４４，Ｇ１６４からなる参照画素パターンＫ２を示し、図４８は、面内画素パターンＴ０７の基準位置から左下側にシフトした位置の参照画素Ｇ１２６，Ｇ１４６，Ｇ１６６，Ｇ１８６からなる参照画素パターンＫ３を示し、図４９は、面内画素パターンＴ０７の基準位置から右下側にシフトした位置の参照画素Ｇ１２４，Ｇ１４４，Ｇ１６４，Ｇ１８４からなる参照画素パターンＫ４を示し、図５０は、面内画素パターンＴ０７の基準位置から右上側にシフトした位置の参照画素Ｇ１０６，Ｇ１２６，Ｇ１４６，Ｇ１６６からなる参照画素パターンＫ５を示している。図２２に示した面内画素パターンＴ０８についても、同様の規則で参照画素パターンＫ１〜Ｋ５を抽出することができる。
【０１０２】
図５１〜図５５は、Ｇ画素を注目画素とする面内画素パターンＴ０９（図２３）が面内画素加算パターンＴｐであるときに選択される参照画素パターンＫ１〜Ｋ５を例示する図である。図５１は、面内画素パターンＴ０９の基準位置と同一の座標位置の参照画素Ｇ１６６，Ｇ１５５，Ｇ１４４，Ｇ１３３からなる参照画素パターンＫ１を示し、図５２は、面内画素パターンＴ０９の基準位置から左上側にシフトした位置の参照画素Ｇ１５５，Ｇ１４４，Ｇ１３３，Ｇ１２２からなる参照画素パターンＫ２を示し、図５３は、面内画素パターンＴ０９の基準位置から右下側にシフトした位置の参照画素Ｇ１７７，Ｇ１６６，Ｇ１５５，Ｇ１４４からなる参照画素パターンＫ３を示し、図５４は、面内画素パターンＴ０９の基準位置から右上側にシフトした位置の参照画素Ｇ１７５，Ｇ１６４，Ｇ１５３，Ｇ１４２からなる参照画素パターンＫ４を示し、図５５は、面内画素パターンＴ０９の基準位置から左下側にシフトした位置の参照画素Ｇ１５７，Ｇ１４６，Ｇ１３５，Ｇ１２４からなる参照画素パターンＫ５を示している。図２４に示した面内画素パターンＴ１０についても、同様の規則で参照画素パターンＫ１〜Ｋ５を抽出することができる。
【０１０３】
図５６〜図６０は、Ｇ画素を注目画素とする面内画素パターンＴ１１（図２５）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＫ１〜Ｋ５を例示する図である。図５６は、面内画素パターンＴ０１の基準位置と同一の座標位置の参照画素Ｇ１４６，Ｇ１５５，Ｇ１６４，Ｇ１７３からなる参照画素パターンＫ１を示し、図５７は、面内画素パターンＴ０１の基準位置から右上側にシフトした位置の参照画素Ｇ１３５，Ｇ１４４，Ｇ１５３，Ｇ１６２からなる参照画素パターンＫ２を示し、図５８は、面内画素パターンＴ０１の基準位置から左下側にシフトした位置の参照画素Ｇ１５７，Ｇ１６６，Ｇ１７５，Ｇ１８４からなる参照画素パターンＫ３を示し、図５９は、面内画素パターンＴ０１の基準位置から左上側にシフトした位置の参照画素Ｇ１５５，Ｇ１６４，Ｇ１７３，Ｇ１８２からなる参照画素パターンＫ４を示し、図６０は、面内画素パターンＴ０１の基準位置から右下側にシフトした位置の参照画素Ｇ１３７，Ｇ１４６，Ｇ１５５，Ｇ１６４からなる参照画素パターンＫ５を示している。図２６に示した面内画素パターンＴ１２についても、同様の規則で参照画素パターンＫ１〜Ｋ５を抽出することができる。
【０１０４】
図６１〜図６５は、Ｒ画素を注目画素とする面内画素パターンＴ０１（図２７）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＫ１〜Ｋ５を例示する図である。図６１は、面内画素パターンＴ０１の基準位置と同一の座標位置の参照画素Ｒ１５５，Ｒ１３５，Ｒ１５３，Ｒ１３３からなる参照画素パターンＫ１を示し、図６２は、面内画素パターンＴ０１の基準位置から左側にシフトした位置の参照画素Ｒ１３５，Ｒ１１５，Ｒ１１３，Ｒ１３３からなる参照画素パターンＫ２を示し、図６３は、面内画素パターンＴ０１の基準位置から右側にシフトした位置の参照画素Ｒ１５５，Ｒ１５３，Ｒ１７３，Ｒ１７５からなる参照画素パターンＫ３を示し、図６４は、面内画素パターンＴ０１の基準位置から上側にシフトした位置の参照画素Ｒ１３３，Ｒ１３１，Ｒ１５１，Ｒ１５３からなる参照画素パターンＫ４を示し、図６５は、面内画素パターンＴ０１の基準位置から下側にシフトした位置の参照画素Ｒ１３７，Ｒ１３５，Ｒ１５５，Ｒ１５７からなる参照画素パターンＫ５を示している。図２８〜図３０に示した面内画素パターンＴ０２〜Ｔ０４についても、同様の規則で参照画素パターンＫ１〜Ｋ５を抽出することができる。
【０１０５】
次に、図３５に示される演算回路７２０の動作について説明する。演算回路７２０は、画素選択回路７１９で抽出された参照画素パターンＫ１〜Ｋ５の中から、当該面内画素加算パターンＴｐと最も相関の高い参照画素パターンを参照画素加算パターンＫｐとして選択する機能を有する。図６６は、演算回路７２０の構成例を概略的に示すブロック図である。図６６に示されるように、演算回路７２０は、参照画素パターンＫ１〜Ｋ５にそれぞれ対応する差分算出回路７２１〜７２５と、最小値算出回路７４０とを有する。
【０１０６】
差分算出回路７２１は、参照画素パターンＫ１を構成する４画素の画素値と、上記の最大画素値ＭＡＸ及び最小画素値ＭＩＮとの合計６画素の画素値を相互に比較し、それら６画素の画素値の中から最大画素値ＭＡＸａ１及び最小画素値ＭＩＮａ１を検出する。次に、差分算出回路７２１は、最大画素値ＭＡＸａ１及び最小画素値ＭＩＮａ１間の差分（＝ＭＡＸａ１−ＭＩＮａ１）を面間相関評価値ＰＰａ１として算出する。そして、差分算出回路６０１は、面間相関評価値ＰＰａ１を最小値算出回路７４０に供給する。
【０１０７】
他の差分算出回路７２２〜７２５も、参照画素パターンＫ２〜Ｋ５についてそれぞれ、差分算出回路７２１と同様の処理を実行する。よって、参照画素パターンＫ２に対応する面間相関評価値ＰＰａ２と、参照画素パターンＫ３に対応する面間相関評価値ＰＰａ３と、参照画素パターンＫ４に対応する面間相関評価値ＰＰａ４と、参照画素パターンＫ５に対応する面間相関評価値ＰＰａ５とがそれぞれ最小値算出回路７４０に供給される。
【０１０８】
最小値算出回路７４０は、面間相関評価値ＰＰａ１〜ＰＰａ５を相互に比較してこれら面間相関評価値ＰＰａ１〜ＰＰａ５の中から最小値ＶＬ１を検出する。この最小値ＶＬ１は、参照画素パターンＫ１〜Ｋ５の中で当該最小値ＶＬ１に対応する参照画素パターンＫｐの構成画素群が最も面内画素加算パターンＴｐとの相関が高いことを示している。最小値算出回路７４０は、最小値ＶＬ１を画素指定回路７５０に供給するとともに、最小値ＶＬ１に対応する参照画素パターンＫｐを示す情報を参照画素加算パターンを示す情報として画素指定回路７５０に供給する。
【０１０９】
画素指定回路７５０は、当該最小値ＶＬ１と、参照画素加算パターンＫｐの画素領域ＰＮ１を示す情報（画素位置を示す情報）とを出力端子７６０，７８０から画素加算部２０に供給する。
【０１１０】
次に、図２に示される後方参照パターン検出回路７２の構成及び動作について説明する。
【０１１１】
後方参照パターン検出回路７２には、遅延回路３９から遅延フィルタ信号ＮＲ３Ｄが供給されている。また、面内パターン検出回路５０からは、面内画素加算パターンＴｐの画素領域ＰＮ２を示す情報と最大画素値ＭＡＸ及び最小画素値ＭＩＮとが供給されている。
【０１１２】
後方参照パターン検出回路７２は、遅延フィルタ信号ＮＲ３Ｄで表される後方参照フレーム画像の中から、面内パターン検出回路５０で選択された注目画素に対応する参照注目画素を特定する。ここで、参照注目画素は、注目フレーム画像中の注目画素と同じ座標位置の画素である。次に、後方参照パターン検出回路７２は、参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンＳ１〜Ｓ５と上記の面内画素加算パターンＴｐとの間の相関を表す面間相関評価値を算出する。後方参照パターン検出回路７２は、さらに面間相関評価値に基づいて参照画素パターンＫ１〜Ｋ５の中から面内画素加算パターンＴｐと最も相関の高い参照画素パターンＳｐを参照画素加算パターンとして選択する。そして、後方参照パターン検出回路７２は、参照画素加算パターンの画素領域ＰＮ３を示す情報（画素位置を示す情報）を画素加算部２０に供給する。
【０１１３】
図６７は、後方参照パターン検出回路７２の構成例を概略的に示すブロック図である。図６７に示されるように、後方参照パターン検出回路７２は、サンプリング回路７７０、画素選択回路７７１、演算回路７２０及び画素指定回路７５０を有する。図６７に示したサンプリング回路７７０、演算回路７２０及び画素指定回路７５０の構成及び動作は、図３５に示したサンプリング回路７７０、演算回路７２０及び画素指定回路７５０の構成及び動作と同じである。
【０１１４】
サンプリング回路７７０は、入力端子７０１に入力された遅延フィルタ信号ＮＲ３Ｄから、注目画素を含む１１×１１画素領域内の複数画素をサンプリングし、当該サンプリングされた画素の画素値Ｐ００〜ＰＡＡを画素選択回路７７１に並列に出力する。
【０１１５】
画素選択回路７７１は、入力端子７０７に入力された制御信号ＣＯＮＴに応じて動作する。また、画素選択回路７７１は、入力端子７０１を介して面内パターン検出回路５０から画素領域ＰＮ２を通知されるので、面内画素加算パターンＴｐの画素位置を識別することが可能である。画素選択回路７７１は、サンプリング回路７７０でサンプリングされた１１×１１画素領域の中から、面内画素加算パターンＴｐの画素位置を基準とする複数の参照画素パターンＳ１〜Ｓ５を抽出する。ここで、画素選択回路７７１は、入力端子７０８に入力された水平同期信号ＨＤと垂直同期信号ＶＤとに基づいて、注目画素に対応する注目参照画素の画素位置を特定し、色フィルタ配列に対応する注目参照画素と同色の周辺画素の位置を特定することができる。よって、画素選択回路７７１は、注目参照画素がＲ画素かＧ画素かＢ画素かも特定することも可能である。
【０１１６】
具体的には、画素選択回路７７１は、着目画素がＧ画素のときは、面内画素加算パターンＴｐの構成画素の座標位置を基準位置とし、以下の規則に従って５種類の参照画素パターンＳ１〜Ｓ５を抽出することができる。
ｃ１）基準位置と同一の座標位置の参照画素からなる参照画素パターンＳ１、
ｃ２）基準位置から左上側にシフトした位置（水平方向負側に１画素だけシフトし且つ垂直方向負側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＳ２、
ｃ３）基準位置から右下側にシフトした位置（水平方向正側に１画素だけシフトし且つ垂直方向正側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＳ３、
ｃ４）基準位置から右上側にシフトした位置（水平方向正側に１画素だけシフトし且つ垂直方向負側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＳ４、
ｃ５）基準位置から左下側にシフトした位置（水平方向負側に１画素だけシフトし且つ垂直方向正側に１画素だけシフトした位置）の参照画素からなる参照画素パターンＳ５。
【０１１７】
また、画素選択回路７１９は、着目画素がＲ画素またはＢ画素のときは、面内画素加算パターンＴｐの構成画素の座標位置を基準位置とし、以下の規則に従って５種類の参照画素パターンＳ１〜Ｓ５を抽出することができる。
ｄ１）基準位置と同一の座標位置の参照画素からなる参照画素パターンＳ１、
ｄ２）基準位置から左側にシフトした位置（水平方向負側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＳ２、
ｄ３）基準位置から右側にシフトした位置（水平方向正側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＳ３、
ｄ４）基準位置から上側にシフトした位置（垂直方向負側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＳ４、
ｄ５）基準位置から下側にシフトした位置（垂直方向正側に２画素だけシフトした位置）の参照画素からなる参照画素パターンＳ５。
【０１１８】
図６８〜図９７は、図６及び図８の画素空間配置と同様の画素空間配置の後方参照フレーム画像から抽出される参照画素パターンＳ１〜Ｓ５を例示する図である。図６８〜図９７において、Ｇ３ｎｍ（ｎ，ｍは、水平方向及び垂直方向における画素位置を表す整数または記号）は、遅延フィルタ信号ＮＲ３Ｄで表される後方参照フレーム画像中のＧ画素またはその画素値を表し、Ｒ３ｐｑ（ｐ，ｑは、水平方向及び垂直方向における画素位置を表す整数または記号）は、後方参照フレーム画像中のＲ画素またはその画素値を表すものとする。
【０１１９】
図６８〜図７２は、Ｇ画素を注目画素とする面内画素パターンＴ０１（図１５）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＳ１〜Ｓ５を例示する図である。図６８は、面内画素パターンＴ０１の基準位置と同一の座標位置の参照画素Ｇ３５５，Ｇ３４４，Ｇ３６４，Ｇ３５３からなる参照画素パターンＳ１を示し、図６９は、面内画素パターンＴ０１の基準位置から左上側にシフトした位置の参照画素Ｇ３４４，Ｇ３５３，Ｇ３３３，Ｇ３４２からなる参照画素パターンＳ２を示し、図７０は、面内画素パターンＴ０１の基準位置から右下側にシフトした位置の参照画素Ｇ３５５，Ｇ３６４，Ｇ３６６，Ｇ３７５からなる参照画素パターンＳ３を示し、図７１は、面内画素パターンＴ０１の基準位置から右上側にシフトした位置の参照画素Ｇ３６４，Ｇ３７３，Ｇ３５３，Ｇ３６２からなる参照画素パターンＳ４を示し、図７２は、面内画素パターンＴ０１の基準位置から左下側にシフトした位置の参照画素Ｇ３４６，Ｇ３３５，Ｇ３５５，Ｇ３４４からなる参照画素パターンＳ５を示している。図１６〜図１８に示した面内画素パターンＴ０２〜Ｔ０４の各々についても、上記した同様の規則で参照画素パターンＳ１〜Ｓ５を抽出することができる。
【０１２０】
図７３〜図７７は、Ｇ画素を注目画素とする面内画素パターンＴ０５（図１９）が面内画素加算パターンＴｐであるときに選択される参照画素パターンＳ１〜Ｓ５を例示する図である。図７３は、面内画素パターンＴ０５の基準位置と同一の座標位置の参照画素Ｇ３５７，Ｇ３５５，Ｇ３５３，Ｇ３５１からなる参照画素パターンＳ１を示し、図７４は、面内画素パターンＴ０５の基準位置から左上側にシフトした位置の参照画素Ｇ３４６，Ｇ３４４，Ｇ３４２，Ｇ３４０からなる参照画素パターンＳ２を示し、図７５は、面内画素パターンＴ０５の基準位置から左下側にシフトした位置の参照画素Ｇ３６８，Ｇ３６６，Ｇ３６４，Ｇ３６２からなる参照画素パターンＳ３を示し、図７６は、面内画素パターンＴ０５の基準位置から右上側にシフトした位置の参照画素Ｇ３６６，Ｇ３６４，Ｇ３６２，Ｇ３６０からなる参照画素パターンＳ４を示し、図７７は、面内画素パターンＴ０５の基準位置から右下側にシフトした位置の参照画素Ｇ３４８，Ｇ３４６，Ｇ３４４，Ｇ３４２からなる参照画素パターンＳ５を示している。図２０に示した面内画素パターンＴ０６についても、上記した同様の規則で参照画素パターンＳ１〜Ｓ５を抽出することができる。
【０１２１】
図７８〜図８２は、Ｇ画素を注目画素とする面内画素パターンＴ０７（図２１）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＳ１〜Ｓ５を例示する図である。図７８は、面内画素パターンＴ０７の基準位置と同一の座標位置の参照画素Ｇ３１５，Ｇ３３５，Ｇ３５５，Ｇ３７５からなる参照画素パターンＳ１を示し、図７９は、面内画素パターンＴ０７の基準位置から左上側にシフトした位置の参照画素Ｇ３０４，Ｇ３２４，Ｇ３４４，Ｇ３６４からなる参照画素パターンＳ２を示し、図８０は、面内画素パターンＴ０７の基準位置から左下側にシフトした位置の参照画素Ｇ３２６，Ｇ３４６，Ｇ３６６，Ｇ３８６からなる参照画素パターンＳ３を示し、図８１は、面内画素パターンＴ０７の基準位置から右下側にシフトした位置の参照画素Ｇ３２４，Ｇ３４４，Ｇ３６４，Ｇ３８４からなる参照画素パターンＳ４を示し、図８２は、面内画素パターンＴ０７の基準位置から右上側にシフトした位置の参照画素Ｇ３０６，Ｇ３２６，Ｇ３４６，Ｇ３６６からなる参照画素パターンＳ５を示している。図２２に示した面内画素パターンＴ０８についても、同様の規則で参照画素パターンＳ１〜Ｓ５を抽出することができる。
【０１２２】
図８３〜図８７は、Ｇ画素を注目画素とする面内画素パターンＴ０９（図２３）が面内画素加算パターンＴｐであるときに選択される参照画素パターンＳ１〜Ｓ５を例示する図である。図８３は、面内画素パターンＴ０９の基準位置と同一の座標位置の参照画素Ｇ３６６，Ｇ３５５，Ｇ３４４，Ｇ３３３からなる参照画素パターンＳ１を示し、図８４は、面内画素パターンＴ０９の基準位置から左上側にシフトした位置の参照画素Ｇ３５５，Ｇ３４４，Ｇ３３３，Ｇ３２２からなる参照画素パターンＳ２を示し、図８５は、面内画素パターンＴ０９の基準位置から右下側にシフトした位置の参照画素Ｇ３７７，Ｇ３６６，Ｇ３５５，Ｇ３４４からなる参照画素パターンＳ３を示し、図８６は、面内画素パターンＴ０９の基準位置から右上側にシフトした位置の参照画素Ｇ３７５，Ｇ３６４，Ｇ３５３，Ｇ３４２からなる参照画素パターンＳ４を示し、図８７は、面内画素パターンＴ０９の基準位置から左下側にシフトした位置の参照画素Ｇ３５７，Ｇ３４６，Ｇ３３５，Ｇ３２４からなる参照画素パターンＳ５を示している。図２４に示した面内画素パターンＴ１０についても、同様の規則で参照画素パターンＳ１〜Ｓ５を抽出することができる。
【０１２３】
図８８〜図９２は、Ｇ画素を注目画素とする面内画素パターンＴ１１（図２５）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＳ１〜Ｓ５を例示する図である。図８８は、面内画素パターンＴ０１の基準位置と同一の座標位置の参照画素Ｇ３４６，Ｇ３５５，Ｇ３６４，Ｇ３７３からなる参照画素パターンＳ１を示し、図８９は、面内画素パターンＴ０１の基準位置から右上側にシフトした位置の参照画素Ｇ３３５，Ｇ３４４，Ｇ３５３，Ｇ３６２からなる参照画素パターンＳ２を示し、図９０は、面内画素パターンＴ０１の基準位置から左下側にシフトした位置の参照画素Ｇ３５７，Ｇ３６６，Ｇ３７５，Ｇ３８４からなる参照画素パターンＳ３を示し、図９１は、面内画素パターンＴ０１の基準位置から左上側にシフトした位置の参照画素Ｇ３５５，Ｇ３６４，Ｇ３７３，Ｇ３８２からなる参照画素パターンＳ４を示し、図９２は、面内画素パターンＴ０１の基準位置から右下側にシフトした位置の参照画素Ｇ３３７，Ｇ３４６，Ｇ３５５，Ｇ３６４からなる参照画素パターンＳ５を示している。図２６に示した面内画素パターンＴ１２についても、同様の規則で参照画素パターンＳ１〜Ｓ５を抽出することができる。
【０１２４】
図９３〜図９７は、Ｒ画素を注目画素とする面内画素パターンＴ０１（図２７）が面内画素加算パターンＴｐであるときに抽出される参照画素パターンＳ１〜Ｓ５を例示する図である。図９３は、面内画素パターンＴ０１の基準位置と同一の座標位置の参照画素Ｒ３５５，Ｒ３３５，Ｒ３５３，Ｒ３３３からなる参照画素パターンＳ１を示し、図９４は、面内画素パターンＴ０１の基準位置から左側にシフトした位置の参照画素Ｒ３３５，Ｒ３１５，Ｒ３１３，Ｒ３３３からなる参照画素パターンＳ２を示し、図９５は、面内画素パターンＴ０１の基準位置から右側にシフトした位置の参照画素Ｒ３５５，Ｒ３５３，Ｒ３７３，Ｒ３７５からなる参照画素パターンＳ３を示し、図９６は、面内画素パターンＴ０１の基準位置から上側にシフトした位置の参照画素Ｒ３３３，Ｒ３３１，Ｒ３５１，Ｒ３５３からなる参照画素パターンＳ４を示し、図９７は、面内画素パターンＴ０１の基準位置から下側にシフトした位置の参照画素Ｒ３３７，Ｒ３３５，Ｒ３５５，Ｒ３５７からなる参照画素パターンＳ５を示している。図２８〜図３０に示した面内画素パターンＴ０２〜Ｔ０４についても、同様の規則で参照画素パターンＳ１〜Ｓ５を抽出することができる。
【０１２５】
次に、図６７に示される演算回路７２０の動作について説明する。この演算回路７２０は、画素選択回路７７１で抽出された参照画素パターンＳ１〜Ｓ５の中から、当該面内画素加算パターンＴｐと最も相関の高い参照画素パターンを参照画素加算パターンＳｐとして選択する。図６７の演算回路７２０の構成及び動作は、上記した図３５の演算回路７２０の構成及び動作と同じである。それ故、図６７の演算回路７２０は、参照画素パターンＳ１〜Ｓ５にそれぞれ対応する面間相関評価値ＰＰｂ１〜ＰＰｂ５を算出し、これら面間相関評価値ＰＰｂ１〜ＰＰｂ５の中から最小値ＶＬ３を検出する。そして、演算回路７２０は、最小値ＶＬ３を画素指定回路７５０に供給するとともに、最小値ＶＬ３に対応する参照画素パターンＳｐを示す情報を参照画素加算パターンを示す情報として画素指定回路７５０に供給する。
【０１２６】
図６７に示される画素指定回路７５０は、当該最小値ＶＬ３と、参照画素加算パターンＳｐの画素領域ＰＮ３を示す情報（画素位置を示す情報）とを出力端子７６１，７８１から画素加算部２０に供給する。
【０１２７】
次に、図２に示される画素加算部２０の構成及び動作について説明する。
【０１２８】
画素加算部２０は、選択回路２１，２２，２３，２４と、加算演算回路２５とを有している。図２に示されるように、遅延回路３６は、撮像信号Ｆ３を所定の遅延時間δ３だけ遅延させて遅延信号Ｆ３Ｄを選択回路２３に出力する。また、遅延回路３５は、１フレーム遅延回路３１の出力であるフレーム遅延信号Ｆ２を所定の遅延時間δ２だけ遅延させて遅延信号Ｆ２Ｄを選択回路２２及び選択回路２４にそれぞれ出力する。遅延回路３４は、１フレーム遅延回路３２の出力であるフレーム遅延信号Ｆ１を所定の遅延時間δ１だけ遅延させて遅延信号Ｆ１Ｄを選択回路２１に出力する。遅延時間δ１，δ２，δ３は、ノイズ低減回路４０、面内パターン検出回路５０及び参照パターン検出回路７０での処理遅延時間に応じて定めることができる。
【０１２９】
選択回路２１は、遅延信号Ｆ１Ｄから画素領域ＰＮ１内の画素を選択して加算演算回路２５に供給する。選択回路２２は、遅延信号Ｆ２Ｄから画素領域ＰＮ２内の画素を選択して加算演算回路２５に供給する。選択回路２３は、遅延信号Ｆ３Ｄから画素領域ＰＮ３内の画素を選択して加算演算回路２５に供給する。そして、選択回路２４は、遅延信号Ｆ２Ｄから画素領域ＰＮ４内の画素を選択して加算演算回路２５に供給する。
【０１３０】
図９８は、選択回路２１〜２４の各々と同じ構成を有する選択回路２ｘの回路構成例を概略的に示す図である。図９８に示される選択回路２ｘは、図３４のサンプリング回路９７０と同様の構成を有するサンプリング回路２７０と、入力端子２１８から入力された水平同期信号ＨＤ及び垂直同期信号ＶＤに基づいて動作する画素選択回路２２０とを有する。
【０１３１】
サンプリング回路２７０は、入力端子２００に入力された遅延信号ＦｘＤから、注目画素を含む１１×１１画素領域内の複数画素をサンプリングし、当該サンプリングされた画素の画素値Ｐ００〜ＰＡＡを画素選択回路２２０に並列に出力する。図９８に示されるように、サンプリング回路９７０は、直列接続された１０個の１ライン遅延回路（１Ｌ−ＤＬ）２０１，２０２，…，２１０を有する。これら１ライン遅延回路２０１〜２１０の各々は、入力信号を１水平ライン分の時間だけ遅延させた後に出力する遅延回路である。先頭の１ライン遅延回路２０１には、遅延信号ＦｘＤが入力される。またサンプリング回路２７０は、１１０（＝１０×１１）個の１画素遅延回路（１Ｄ−ＤＬ）２７００〜２７０９，２７１０〜２７１９，２７２０〜２７２９，２７３０〜２７３９，２７４０〜２７４９，２７５０〜２７５９，２７６０〜２７６９，２７７０〜２７７９，２７８０〜２７８９，２７９０〜２７９９，２８０１〜２８０９を有する。これら１画素遅延回路の各々は、入力信号を１画素分の時間だけ遅延させた後に出力する遅延回路である。
【０１３２】
画素選択回路２２０は、１１×１１画素領域内の画素値Ｐ００〜ＰＡＡから、入力端子２１９を介して通知された画素領域ＰＮｘ内の画素を選択して端子２４０から加算演算回路２５に出力する。ここで、画素領域ＰＮｘは、上記した画素領域ＰＮ１〜ＰＮ４のいずれかである。同期信号発生回路１８は、入力端子２１８を介して画素選択回路２２０へ水平同期信号ＨＤと垂直同期信号ＶＤを供給するので、画素選択回路２２０は、水平同期信号ＨＤと垂直同期信号ＶＤに基づいて注目フレーム画像の注目画素、あるいは前方参照フレーム画像または後方参照フレーム画像の参照注目画素の画素位置を識別して、色フィルタ配列に対応する注目画素または参照注目画素の画素位置を特定することができる。また、注目画素または参照注目画素がＲ画素かＧ画素かＢ画素かも特定することが可能である。
【０１３３】
加算演算回路２５は、前方参照パターン検出回路７１から通知された画素領域ＰＮ１の相関評価値の最小値ＶＬ１と、後方参照パターン検出回路７２から通知された画素領域ＰＮ３の相関評価値の最小値ＶＬ３と、補助画素パターン検出回路９０から通知された画素領域ＰＮ４の相関評価値ＶＬ４とを相互に比較する。そして、加算演算回路２５は、その比較結果に基づいて、上記した参照画素加算パターンＫｐ，Ｓｐ及び補助画素パターンＬ１の中から面内画素加算パターンＴｐと最も相関の低い画素パターンを除いた画素加算パターンを選択し、当該選択された画素加算パターンに含まれる全ての画素を加算して注目画素に対する補正画素を生成する。そして、加算演算回路２５は、当該補正画素を示す画素加算信号を出力端子ＯＵＴａから映像信号処理回路１５へ供給する。
【０１３４】
なお、面内パターン検出回路５０から当該注目画素に対する加算対象画素の位置が指定されるタイミングで、画素加算部２０には、注目画素を中心とした加算対象画素が入力されている必要がある。遅延回路３４，３５，３６では、加算対象画素の画素位置と入力画素値（画素加算部２０への入力）とが互いに整合するように遅延時間δ１，δ２，δ３が決められる。
【０１３５】
したがって、加算演算回路２５は、面内画素加算パターンＴｐに対応する補助画素パターンＬ１の方が参照画素加算パターンＫｐ，Ｓｐよりも注目画素と高い相関を有する場合には、参照画素加算パターンＫｐ，Ｓｐの代わりに、補助画素パターンＬ１の構成画素を加算対象とすることで、出力画像の動解像度劣化を効果的に抑制することができる。
【０１３６】
次に、注目画素がＧ画素のときに、動画像を構成するフレーム画像間で動きが無い場合の動作例を、図３６及び図６８の参照画素パターンＫ１，Ｓ１について説明する。図３６及び図６８の参照画素パターンＫ１，Ｓ１は、上側ブロックパターンＴ０１（図１５）に対応するものである。注目フレーム画像で上側ブロックパターンＴ０１が注目画素と最も高い相関を有し、前方参照フレーム画像で注目フレーム画像の画素配置と同じ画素配置が注目画素と最も高い相関を有し、後方フレーム画像で注目フレーム画像の画素配置と同じ画素配置が注目画素と最も高い相関を有し、さらに、注目フレーム画像の上側ブロックパターンに対応する補助画素パターンＬ１と注目画素との相関が低い場合、加算演算回路２５は、次式の演算を行うことができる。
Ｇ＝（Ｇ１５３＋Ｇ１４４＋Ｇ１６４＋Ｇ１５５
＋Ｇ５３＋Ｇ４４＋Ｇ６４＋Ｇ５５
＋Ｇ３５３＋Ｇ３４４＋Ｇ３６４＋Ｇ３５５）×Ｌ／１２
【０１３７】
ここで、Ｌは、増感倍率であり、１倍から１２倍までの値に設定することができる。次に、注目画素がＧ画素のときに、フレーム画像間で動きが少ないときの動作例を、図３７及び図７０の参照画素パターンＫ２，Ｓ３について説明する。
【０１３８】
注目フレーム画像で上側ブロックパターンＴ０１が注目画素と最も高い相関を有し、前方参照フレーム画像で注目フレーム画像の画素配置を左上シフトした画素配置が注目画素と最も高い相関を有し、後方参照フレーム画像では注目フレーム画像の画素配置を右下シフトした画素配置が注目画素と最も高い相関を有し、さらに、注目フレーム画像の上側ブロックパターンＴ０１に対応する補助画素パターンＬ１と注目画素との相関が低い場合、加算演算回路２５は、次式の演算を行うことができる。
Ｇ＝（Ｇ１４２＋Ｇ１３３＋Ｇ１５３＋Ｇ１４４
＋Ｇ５３＋Ｇ４４＋Ｇ６４＋Ｇ５５
＋Ｇ３５５＋Ｇ３６４＋Ｇ３７５＋Ｇ３６６）×Ｌ／１２
【０１３９】
ここで、Ｌは、増感倍率であり、１倍から１２倍までの値に設定することができる。１２倍以上の値に増感倍率Ｌを設定してもよいが、１２倍以上の増感倍率Ｌの設定は、階調落ちに注意する必要がある。
【０１４０】
次に、注目画素がＧ画素のときに、フレーム画像間で動きが大きいときの動作例を図３７と図７０の参照画素パターンＫ２，Ｓ３について説明する。
【０１４１】
注目フレーム画像で上側ブロックパターンＴ０１が最も注目画素との相関が高く、前方参照フレーム画像で注目フレーム画像の画素配置を左上シフトした画素配置が注目画素と最も高い相関を有し、さらに、後方参照フレーム画像で注目フレーム画像の画素配置を右下シフトした画素配置が注目画素と最も高い相関を有するが、注目フレーム画像の上側ブロックパターンＴ０１に対応する補助画素パターンＬ１よりも注目画素と低い相関を有する場合、加算演算回路２５は、次式の演算を行うことができる。
Ｇ＝（Ｇ１４２＋Ｇ１３３＋Ｇ１５３＋Ｇ１４４
＋Ｇ５３＋Ｇ４４＋Ｇ６４＋Ｇ５５＋Ｇ３５＋Ｇ４６＋Ｇ６６＋Ｇ７５）×Ｌ／１２
【０１４２】
次に、注目画素がＲ画素のときに、フレーム画像間で動きが無いときの動作例を、図６１及び図９３の画素パターンＫ１，Ｓ１について説明する。注目フレーム画像で左上側ブロックパターンが注目画素と最も高い相関を有し、前方参照フレーム画像で注目フレーム画像の画素配置と同じ画素配置が注目画素と最も高い相関を有し、後方参照フレーム画像で注目フレーム画像の画素配置と同じ画素配置が注目画素と最も高い相関を有し、さらに、注目フレーム画像の左上側ブロックパターンに対応する補助画素加算パターンと注目画素との相関が低い場合、加算演算回路２５は、次式の演算を行うことができる。
Ｒ＝（Ｒ１３３＋Ｒ１５３＋Ｒ１３５＋Ｒ１５５
＋Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５
＋Ｒ３３３＋Ｒ３５３＋Ｒ３３５＋Ｒ３５５）×Ｌ／１２
【０１４３】
次に、注目画素がＲ画素のときに、フレーム画像間で動きが少ないときの動作例を、図６２及び図９５の画素パターンＫ２，Ｓ３について説明する。注目フレーム画像で上側ブロックパターンが最も注目画素と高い相関を有し、前方参照フレーム画像で注目フレーム画像の画素配置を左シフトした画素配置が注目画素と最も高い相関を有し、後方参照フレーム画像で注目フレーム画像の画素配置を右シフトした画素配置が注目画素と最も高い相関を有し、さらに、注目フレーム画像の上側ブロックパターンに対応する補助画素パターンと注目画素との相関が低い場合、加算演算回路２５は、次式の演算を行うことができる。
Ｒ＝（Ｒ１１３＋Ｒ１３３＋Ｒ１１５＋Ｒ１３５
＋Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５
＋Ｒ３５３＋Ｒ３７３＋Ｒ３５５＋Ｒ３７５）×Ｌ／１２
【０１４４】
次に、注目画素がＲ画素のときに、フレーム画像間で動きが少ないときの動作例を図６２及び図９５の画素パターンＫ２，Ｓ３について説明する。注目フレーム画像で上側ブロックパターンＴ０１の画素領域が注目画素と最も高い相関を有し、前方参照フレーム画像で注目フレーム画像の画素配置を左シフトした画素配置が注目画素と最も高い相関を有し、さらに、後方参照フレーム画像で注目フレーム画像の画素配置を右シフトした画素配置が注目画素と最も高い相関を有するが、注目フレーム画像の上側ブロックパターンに対応する補助画素パターンよりも注目画素と低い相関を有する場合、加算演算回路２５は、次式の演算を行うことができる。
Ｒ＝（Ｒ１１３＋Ｒ１３３＋Ｒ１１５＋Ｒ１３５
＋Ｒ３３＋Ｒ５３＋Ｒ３５＋Ｒ５５
＋Ｒ３７＋Ｒ５７＋Ｒ７３＋Ｒ７５）×Ｌ／１２
【０１４５】
注目画素がＢ画素のときは、注目画素がＲ画素の場合と同様の空間配置を有するためＲ画素の場合と同様に演算を行うことができるので、その説明を省略する。
【０１４６】
以下、本実施の形態の効果について説明する。
【０１４７】
以上に説明したように、本実施の形態では、注目画素に最も相関の高い画素を使って画素加算を行うので画像解像度の劣化を最小限に抑えつつ感度向上とＳ／Ｎ比の向上とを実現することができる。本実施の形態では、画素加算回路１４は、前方参照フレーム画像及び後方参照フレーム画像の参照画素加算パターンＫｐ，Ｓｐと注目フレーム画像の補助画素パターンＬ１の中から注目画素との相関の高い画素加算パターンを選択し加算することができるので、被写体の動きが大きい場合でも、動解像度の低下を効果的に抑制することができる。
【０１４８】
また、面内パターン検出回路５０は、注目画素がＧ画素の場合は、１２パターンの面内画素パターンＴ０１〜Ｔ１２の中から注目画素と最も相関の高い最適な面内画素加算パターンＴｐを選択し、注目画素がＲ画素またはＢ画素の場合は、４パターンの面内画素パターンＴ０１〜Ｔ０４の中から注目画素と最も相関の高い最適な面内画素加算パターンＴｐを選択するので、画素加算部２０による画素加算で使用される画素として、注目画素と相関の高い画素を適正に選択することができる。よって、画素加算後の画像の解像度劣化を効果的に抑制することができる。
【０１４９】
たとえば、ブロックパターン、横ラインパターン及び斜めラインパターンなどの、解像度の高い被写体画像を含む撮像画像を想定した種々の画素パターンが使用されるので、相関の高い画素同士を加算することができる。解像度の高い被写体を含むシーンの画素を加算した場合でも、高解像度部分がぼやけることを防ぐことができる効果がある。
【０１５０】
また、時間的に前方及び後方の隣接フレーム画像の画素を使用し、注目フレーム画像の注目画素と最も相関の高い画素を使用して画素加算を行うことができる。それ故、被写体画像の動きによるぼやけを最小限に抑えつつ、感度向上とＳ／Ｎ比の向上とを実現することができる。具体的には、参照パターン検出回路７０は、面内パターン検出回路５０で検出された面内画素加算パターンＴｐと、隣接フレーム画像における画素パターンＫ１〜Ｋ５，Ｓ１〜Ｓ５の中から選択された参照画素加算パターンＫｐ，Ｓｐとを組み合わせることができる。よって、隣接フレーム画像内の参照画素を画素加算に使用する場合に、注目画素と相関の高い画素を適切に選択することができ、画素加算後の画像の解像度劣化を効果的に抑制することができる。
【０１５１】
また、上記したように、まず、面内パターン検出回路５０が注目フレーム画像における注目画素と相関の高い面内画素加算パターンＴｐを選択したうえで、参照パターン検出回路７０は、その面内画素加算パターンＴｐに絞って時間的に前方及び後方の隣接フレーム画像の中の加算すべき画素を探索するので、画素加算パターンを効率的に探索することができる。したがって、画素加算パターンの探索のための回路規模を小規模化することができる。
【０１５２】
また、画素加算回路１４は、空間フィルタ４１，４２，４３を有するので、参照パターン検出回路７０及び補助画素パターン検出回路９０におけるノイズ成分による誤判定を防止することができ、より相関の高い画素を特定できるので、画素加算画像の解像度が低下することなく高画質化を実現することができる。
【０１５３】
また、画素加算部２０は、フロントエンド部１３の出力に対する画素加算を、映像信号処理回路１５で映像信号処理が実行される前に行うので、映像信号処理の影響を受けずに、画素加算による高感度な画像信号を生成することができる。仮に映像信号処理の後で画素加算を実行するとすれば、注目画素の近傍の周辺画素を使用する色同時化処理及びフィルタ処理が実行された後に画素加算が行われることとなるので、水平解像度もしくは垂直解像度の低下が大きくなる可能性がある。また、小振幅信号に対して映像信号処理を行うので階調落ちの可能性もある。これに対し、本実施の形態では、画素加算部２０は、画素加算を映像信号処理の前に行う。よって、画像情報が損なわれる前に画素加算を実行することができるので、細部の画像情報が損なうことを抑制することができる。
【０１５４】
また、色同時化処理などの各種画像処理を施す前に、画素加算部２０のノイズ低減回路４０はノイズ低減処理を実行するので、映像信号処理回路１５が画像処理を施すことによってノイズの影響がその周辺画素に拡散する前に、ノイズ低減処理を実行することが可能となる。したがって、効果的にノイズを低減することができる。
【０１５５】
また、映像信号処理回路１５では非線形なフィルタ処理あるいは階調変換処理が行われる場合がある。かかる場合に低振幅信号を入力とした場合、映像信号処理回路１５は、所望の信号振幅を失うおそれがある。このため、仮に映像信号処理回路１５の出力信号を２画素加算しても、信号振幅が２倍の画像信号にならない可能性がある。本実施の形態では、画素加算部２０は、画素加算を映像信号処理の前に行うため、かかる可能性を回避することができる。
【０１５６】
また、本実施の形態では、画素加算回路１４は、同じ色の画素を選択し加算するので、混色することなく高感度なカラー画像を得ることができる。
【０１５７】
ところで、低照度時の撮像画像をアナログアンプで増幅すると信号よりもノイズが大きくなる。またデジタルアンプで増幅すると階調落ちが発生する。上記したように、本実施の形態では、画素加算で高感度化を図ることができるので、信号成分よりもノイズ成分が小さくなる。たとえば、２画素加算すると信号成分は２倍になり、ノイズ成分は二乗根倍になり、相対的に純粋の信号成分が大きくなる。また、画像の性質として空間的に互いに近傍に位置する画素同士は高い相関を有することから、注目画素に最も近い位置の複数画素を加算することで実効性の高い感度向上を実現している。
【０１５８】
なお、上記実施の形態では、たとえば、説明のわかりやすさのため、サンプリング回路４２０，５２０，２７０，７７０の構成が冗長であるが、回路構成の工夫でその構成の一部を削減してもよい。
【０１５９】
また、上記画素加算回路１４は、注目フレーム画像、前方参照フレーム画像及び後方参照フレーム画像という３枚のフレーム画像分の容量を持つフレーム画像メモリを使用する。参照フレーム画像の枚数を２枚に限らず、３枚以上にすることで、より加算画素数を増やし高感度化を図ることができる。
【０１６０】
また、Ｒ画素及びＢ画素を注目画素とする参照画素パターンＫ１〜Ｋ５は、上記したものに限定されるものではない。たとえば、斜めラインパターンを参照画素パターンに追加してもよい。Ｒ画素及びＢ画素の場合は、Ｇ画素の場合よりも加算対象の画素間の距離が長くなることから相関判定の誤判定を抑制すること、回路規模が適正な規模となること、並びに、また人間の色の変化に対する感度が輝度に対するそれよりも低いことなどを総合的に判断して加算パターンを決めることが望ましい。
【０１６１】
上記実施の形態では、加算演算回路２５は、注目フレーム画像の面内画素加算パターンＴｐの４画素、前後の隣接フレーム画像での参照画素加算パターンＫｐ，Ｓｐの８画素、及び、注目フレーム画像の補助画素パターンＬ１の４画素という３面あわせて合計１６画素から１２画素を選択し加算するが、これに限定されるものではない。たとえば、注目フレーム画像の面内画素加算パターンＴｐの２画素、前後の隣接フレーム画像の各面内での参照画素加算パターンＫｐ，Ｓｐの２画素、及び、注目フレーム画像の補助画素パターンＬ１の２画素という３面あわせて合計８画素から６画素を選択的に加算することもできる。上記の増感倍率Ｌは１〜１２倍まで設定することができるが、増感倍率Ｌが７〜１２倍のときは、各加算パターンを構成する画素数を４画素とし、増感倍率Ｌが１〜６倍のときは、各加算パターンを構成する画素数を２画素とすることで、解像度の低下を最低限に抑えた高感度化が可能となる。
【０１６２】
前記増感倍率Ｌの設定パターンの別パターンを以下に説明する。増感倍率Ｌが１〜６倍のときは、各加算パターンを構成する画素数を２画素とし、３面あわせて合計８画素から６画素を選択し、最大倍率の６倍を実現する。増感倍率Ｌが６〜８倍のときは、注目フレーム画像の面内画素加算パターンＴｐの画素数を４画素とし、補助画素パターン及び隣接フレーム画像内での加算パターンの画素数は２画素とし、３面あわせて１０画素から８画素を選択し、最大倍率の８倍を実現することができる。増感倍率Ｌが８〜１２倍のときは、加算パターンの画素数を４画素とし、３面あわせて１６画素の中から１２画素を選択し、最大倍率の１２倍を実現する。このように２画素の加算パターンと４画素の加算パターンを組み合わせることで解像度の低下を最低限に抑えた高感度化が可能となる。
【０１６３】
上記実施の形態では、隣接フレーム画像内の参照画素加算パターンＫｐ，Ｓｐを両方とも加算対象としたが、フレーム画像メモリを含む回路規模の削減による低コスト化のために、隣接フレーム画像のいずれか一方を使用した加算処理を実行してもよい。これにより、フレーム画像メモリの容量を削減することができる。この場合、加算すべき画素は減るものの、解像度の劣化が少ない高感度化という効果を得ることはできる。
【０１６４】
また、色フィルタの配列としてＲＧＢの原色系のベイヤ配列の場合について説明したが、水平方向２画素×垂直方向２画素の合計４画素を基本配列とする同様な市松パターンを基本配列としていれば、いかなる色フィルタの組み合わせでもよく、同様な効果を得ることができる。
【０１６５】
実施の形態２．
次に、本発明に係る実施の形態２について説明する。図９９は、実施の形態２の撮像装置２の概略構成を示すブロック図である。図９９において、実施の形態２の撮像装置２の構成は、画像検波回路８１が付加されている点と図１のＭＰＵ１９の代わりにＭＰＵ１９Ｂが設けられている点を除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
【０１６６】
画像検波回路８１は、同期信号発生回路１８から供給される水平同期信号ＨＤと垂直同期信号ＶＤとに同期して動作し、画素加算回路１４の出力信号（すなわち、補正された撮像信号）を検波する機能を有する。たとえば、画像検波回路８１は、垂直走査周期と同期して、画素加算回路１４の出力信号に含まれる有効画素領域の補正画素値を所定数のフレーム分（たとえば、１フレーム分）だけ積算して積算値Σｐを算出する積分機能や、その積算値Σｐを全有効画素数Ｎｐで除算して信号振幅の平均レベルＡＳＡ（＝Σｐ／Ｎｐ）を算出（検出）する平均レベル検出機能を有している。積分値Σｐや平均レベルＡＳＡは、ＭＰＵ１９Ｂに与えられる。画像検波回路８１は、画素加算回路１４の出力信号から特定の空間周波数成分を抽出し、抽出された空間周波数成分を積算して積算値Σｐの算出や平均レベルＡＳＡの検出を行うこともできる。なお、全有効画素数Ｎｐが２のｎ乗（ｎは２以上の整数）で与えられる場合には、積算値Σｐを示すビット列にビットシフト演算を施すことで平均レベルＡＳＡを算出（検出）してもよい。
【０１６７】
また、画像検波回路８１は、ＭＰＵ１９Ｂにより指定された露光制御パラメータと積算値Σｐとから被写体照度の換算値を逆算する機能を有する。露光制御パラメータとしては、たとえば、開口絞り１１１の開口度を示す絞り値、プログラマブル利得増幅回路１３Ｐの増幅利得、ＣＣＤ画像センサ１２の電荷蓄積時間、及び、増感倍率Ｌが挙げられる。被写体照度の換算値をＬＸで表すとき、たとえば、次の式（１）を用いて被写体照度の換算値ＬＸを逆算することができる。
ＬＸ＝Σｐ／（Ｋ×Ｔｃ×Ｇ×Ｌ）        ・・・（１）
【０１６８】
上式（１）中、Ｋは、比例定数、Ｔｃは、ＣＣＤ画像センサ１２の電荷蓄積時間、Ｇは、プログラマブル利得増幅回路１３Ｐの増幅利得、Ｌは、画素加算回路１４で使用される増感倍率である。
【０１６９】
本実施の形態のＭＰＵ１９Ｂは、実施の形態１のＭＰＵ１９の機能に加えて、映像信号レベルが目標とする信号レベルとなるように、画像検波回路８１の出力に応じて露光制御パラメータを制御する機能を有している。具体的には、ＭＰＵ１９Ｂは、画像検波回路８１の出力に応じて撮像光学系１１の開口絞り１１１の絞り値を制御することができる。また、タイミング発生回路１７は、駆動タイミング信号ＤＲＴを駆動回路１６に供給してＣＣＤ素子１２２の光電変換素子からの電荷読み出しタイミングや電荷強制排出タイミングを制御することができるので、ＭＰＵ１９Ｂは、画像検波回路８１の出力に応じてタイミング発生回路１７の動作を制御することによりＣＣＤ画像センサ１２の電荷蓄積時間Ｔｃ（すなわち露光時間）を制御することが可能である。また、ＭＰＵ１９Ｂは、画像検波回路８１の出力に応じて増幅利得Ｇと増感倍率Ｌとを個別に制御することができる。
【０１７０】
映像信号処理回路１５は、垂直走査周期と同期して、画素加算回路１４の出力に含まれるノイズ信号の信号レベル（ノイズレベル）を検出する機能を有している。ＭＰＵ１９Ｂは、映像信号処理回路１５から供給されたノイズレベルに応じた露光制御を行うことができる。たとえば、ＭＰＵ１９Ｂは、当該ノイズレベルに応じて、係数可変設定回路４９５を制御して空間フィルタ４１，４２，４３におけるフィルタ係数群を最適なものに設定することが可能である。これにより、ノイズが低減した画像を得ることができる。
【０１７１】
なお、上記の例では、信号振幅の平均レベルＡＳＡの算出及びノイズレベルの算出は、垂直走査周期と同期して行うものとして説明されていたが、画像検波回路８１及び映像信号処理回路１５のそれぞれの信号処理時間、並びに、画像検波回路８１及び映像信号処理回路１５からＭＰＵ１９Ｂへの信号伝送時間を考慮して、垂直走査周期の数回に１回の割合で平均レベルＡＳＡの算出及びノイズレベルの算出が行われてもよい。
【０１７２】
また、画像検波回路８１は、画素加算回路１４の出力信号に対してピーク検波と平均値検波とを実行する機能を有していてもよい。ＭＰＵ１９Ｂは、画像検波回路８１により検出されたピーク値及び平均値を用いて、着目する被写体画像の視認性が高くなるように露光制御を行うことができる。たとえば、ＭＰＵ１９Ｂは、被写体画像のハイライト部分を白く飽和させないようにピーク値を用いた露光制御を行うことができ、あるいは、ハイライト部分が白く飽和しても中間階調部分が明瞭に視認されるように平均値を用いた露光制御を行うことができる。
【０１７３】
次に、画素加算回路１４の出力信号を用いた露光制御の一例を以下に説明する。以下に詳しく述べるように、ＭＰＵ１９Ｂは、画素加算回路１４の動作を制御することで露光制御の一環として感度制御を行うことができる。このため、照度環境が変動しても、常に最適な撮影条件で視認性の良好な被写体画像を得ることができるという効果がある。上述したように、画素加算回路１４は、照度環境の変動に応じて増感倍率Ｌを変えることで画素の信号振幅を調整することができる。
【０１７４】
ＭＰＵ１９Ｂは、上記被写体照度の換算値ＬＸに応じて、画像検波回路８１から得られる平均レベルＡＳＡの検出値が一定となるように自動露光制御を行うことができる。被写体照度の換算値ＬＸが高く、明るい環境での撮像で画素の信号振幅が大きいときは、ＭＰＵ１９Ｂは、撮像光学系１１の開口絞り１１１を絞るように制御（すなわち絞り値を制御）してＣＣＤ画像センサ１２への入射光量を減らしたり、タイミング発生回路１７による電荷強制排出タイミングを調整することで、ＣＣＤ画像センサ１２の光電変換素子に蓄積される電荷を強制排出して露光時間（電荷蓄積時間Ｔｃ）を減らしたりすることができる。
【０１７５】
一方、被写体照度の換算値ＬＸが低く、暗い環境での撮像で画素の信号振幅が小さくなってきたときは、ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを増やすように制御して撮像信号を増幅することができる。このとき、増幅利得Ｇが大き過ぎると画像中のノイズが目立つようになり視認性の悪い画像となり得るので、増幅利得Ｇに上限を設けることが望ましい。
【０１７６】
ＭＰＵ１９Ｂは、ＣＣＤ画像センサ１２の光電変換素子からの電荷読出しを垂直走査周期単位で間引くように制御することにより露光時間（電荷蓄積時間Ｔｃ）を延ばすこともできる。このとき、露光時間が長すぎると、動く被写体が残像となり視認性の悪い画像が撮像されるので、垂直走査周期単位で欠落する画像の補間（フレーム補間）を行う回路を設けることが望ましい。
【０１７７】
上記実施の形態１の場合と同様に、本実施の形態のＭＰＵ１９Ｂは、被写体照度の換算値ＬＸに応じて、画素加算回路１４に対して増感倍率Ｌを１倍から１２倍の範囲内の値に設定することができる。増感倍率Ｌの設定（即ち調整）は、画像検波回路８１の出力と露光制御パラメータとに基づいて行われる。上述したように、加算演算回路２５は、注目画素の近傍領域内に位置する互いに相関の高い複数の画素（たとえば、１２画素）を加算して補間画素を生成し、その補間画素の画素値に増感倍率Ｌを乗算する。このため、感度向上を実現することができ、極めて暗い低照度環境での撮像でも撮像画像の視認性を大幅に改善することができる。また、フレーム周波数の低下を防止乃至抑制することができるので、動解像度、水平解像度及び垂直解像度の劣化を最小に抑えることができる。
【０１７８】
以下、図１００（Ａ）〜（Ｅ）を参照しつつ、被写体照度の換算値ＬＸ（以下、単に「照度ＬＸ」と呼ぶ。）が変化したときの露光制御（感度制御）のための手順の一例を説明する。図１００（Ａ）〜（Ｄ）は、照度ＬＸと各種露光制御パラメータとの関係を示すグラフであり、図１００（Ｅ）は、照度ＬＸに対する平均レベルＡＳＡの一例を示すグラフである。図１００（Ａ）は、照度ＬＸと開口絞り１１１の絞り値（開口量）との関係を示すグラフであり、図１００（Ｂ）は、照度ＬＸと増幅利得Ｇとの関係を示すグラフであり、図１００（Ｃ）は、照度ＬＸと増感倍率Ｌとの関係を示すグラフであり、図１００（Ｄ）は、照度ＬＸと露光時間との関係を示すグラフである。増感倍率Ｌは、１倍から１２倍の範囲内で設定可能であるものとする。
【０１７９】
図１００（Ｄ）の実線で示されるように露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが１倍（下限値）としたときに、画素加算回路１４の出力値が所定レベルとなる照度を高照度側基準値ＨＬとする。また、この高照度基準値ＨＬの１／１２の照度、即ち、露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが１２倍としたときに、画素加算回路１４の出力値が所定のレベルとなる照度を低照度側基準値ＬＬとする。
【０１８０】
図１００（Ａ），（Ｂ），（Ｃ）に示されるように、照度ＬＸが閾値ＵＬを超えていて撮像条件が高照度環境のときには、ＭＰＵ１９Ｂは、絞り値を上限値（最大絞り値）に、増幅利得Ｇを下限値ＬＧＬに、増感倍率Ｌを１倍にそれぞれ維持する。このとき、図１００（Ｄ）の実線で示されるように露光時間は一定値（標準露光時間）Ｔｒに維持される。また、照度ＬＸが閾値ＵＬ以下で閾値ＭＬ以上の範囲Ｓａ内にある場合には、絞り値は、閾値ＵＬから閾値ＭＬに向かうにつれて上限値から全開値（開放Ｆ値）に連続的又は段階的に低減させられる。露光時間は一定である。このとき、増幅利得Ｇは下限値ＬＧＬに維持され、増感倍率Ｌは１倍に維持される。これにより、照度ＬＸが範囲Ｓａ内にある場合には、図１００（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。
【０１８１】
また、照度ＬＸが閾値ＭＬ未満で高照度側基準値ＨＬ以上の範囲Ｓｂ内にあるときには、図１００（Ａ），（Ｃ）に示されるように、絞り値は全開値に維持され、増感倍率Ｌは１倍に維持される。このとき、図１００（Ｂ）に示されるように、増幅利得Ｇは、閾値ＭＬから高照度側基準値ＨＬに向かうにつれて下限値ＬＧＬから上限値ＵＧＬに連続的又は段階的に上昇させられる。露光時間は一定である。これにより、照度ＬＸが範囲Ｓｂ内にある場合には、図１００（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。
【０１８２】
また、照度ＬＸが高照度側基準値ＨＬ未満で低照度側基準値ＬＬ以上の範囲Ｓｃ内にあるときには、図１００（Ａ），（Ｂ）に示されるように、絞り値は全開値に維持され、増幅利得Ｇは上限値ＵＧＬに維持される。このとき、図１００（Ｃ）に示されるように、増感倍率Ｌは、高照度側基準値ＨＬから低照度側基準値ＬＬに向かうにつれて１倍から１２倍に連続的又は段階的に上昇させられる。露光時間は一定である。これにより、照度ＬＸが範囲Ｓｃ内にある場合には、図１００（Ｅ）に示されるように、平均レベルＡＳＡをほぼ一定の目標値に維持することができる。そして、照度ＬＸが低照度側基準値ＬＬ未満のときは、図１００（Ａ）〜（Ｄ）に示されるように、絞り値は全開値に、増幅利得Ｇは上限値ＵＧＬに、増感倍率Ｌは１２倍に、露光時間は一定値Ｔｒにそれぞれ維持される。
【０１８３】
図１００（Ａ）〜（Ｄ）の対応関係は、メモリ（図示せず）に保持された設定値テーブル（ルックアップテーブル）で実現されてもよいし、あるいは、１次関数などの関数を用いた演算で露光制御パラメータの値を算出する演算回路で実現されてもよい。ＭＰＵ１９Ｂは、図１００（Ａ）〜（Ｄ）の対応関係に基づいて信号振幅の平均レベルＡＳＡを所望の目標値に維持することが可能である。
【０１８４】
たとえば、照度ＬＸが徐々に暗くなり、信号振幅の平均レベルＡＳＡの検出値が下がってくると、ＭＰＵ１９Ｂは、撮像光学系１１の開口絞り１１１を開放方向に制御して（図１００（Ａ）の範囲Ｓａ）、信号振幅の平均レベルＡＳＡを一定に維持することができる。また、撮像光学系１１の開口絞り１１１の絞り値が全開値になった後は、ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを増やすように制御して（図１００（Ｂ）の範囲Ｓｂ）、信号振幅の平均レベルＡＳＡを一定に維持する。プログラマブル利得増幅回路１３Ｐの増幅利得Ｇが大きくなり、増幅利得Ｇの所定の上限値ＵＧＬに達した後は、ＭＰＵ１９Ｂは、画素加算回路１４の増感倍率Ｌが大きくなるように制御して（図１００（Ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを一定に維持する。
【０１８５】
増感倍率Ｌの制御による平均レベルＡＳＡの維持は、増感倍率Ｌが最大値（Ｌ＝１２）となるまで可能である。増感倍率Ｌが最大値（＝１２倍）に達した後にさらに照度ＬＸが低下すると、図１００（Ｅ）の実線で示されるように、平均レベルＡＳＡは低下を開始する。
【０１８６】
また、照度ＬＸが徐々に明るくなって、低照度側基準値ＬＬ以上となり、信号振幅の平均レベルの検出値ＡＳＡが上がろうとすると、画素加算回路１４における増感倍率Ｌを減らすように制御して（図１００（Ｃ）の範囲Ｓｃ）、信号振幅の平均レベルＡＳＡを一定に維持する。増感倍率Ｌが１倍まで小さくなると、ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを減らすように制御して、信号振幅の平均レベルＡＳＡを一定に維持する。プログラマブル利得増幅回路１３Ｐの増幅利得Ｇが減少し（図１００（Ｂ）の範囲Ｓｂ）、所定の下限値ＬＧＬに達した後は、撮像光学系１１の開口絞り１１１を遮光方向に制御して（図１００（Ａ）の範囲Ｓａ）、信号振幅の平均レベルＡＳＡを一定に維持する（図１００（Ｅ））。さらに照度ＬＸが高くなると、図１００（Ｅ）に示されるように、平均レベルＡＳＡは上昇する。
【０１８７】
以上の露光制御により、図１００（Ｅ）の実線で示されるように、低照度側基準値ＬＬから閾値ＵＬ（ＵＬ＞ＬＬ）までの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
【０１８８】
上記の露光制御では、図１００（Ｅ）の実線で示されるように、露光時間は一定とされたが、照度ＬＸに応じて露光時間も可変制御してもよい。たとえば、照度ＬＸが低下して、増感倍率Ｌが最大値（＝１２倍）に到達してもなお、平均レベルＡＳＡが十分な値とならないときには、図１００（Ｅ）の破線で示されるように、ＭＰＵ１９Ｂは、低照度側基準値ＬＬ以下で閾値ＬＬｅ以上の照度範囲Ｓｄ内で露光時間を長くしてもよい。逆に、照度ＬＸが高くなり、開口絞り１１１を最大に絞っても（Ｆ値を最も高くしても）、平均レベルＡＳＡが大きすぎる場合には、図１００（Ｅ）の破線で示されるように、ＭＰＵ１９Ｂは、閾値ＵＬ以上で閾値ＵＬｅ以下の照度範囲Ｓｅ内で露光時間を短くしてもよい。このような露光時間の制御を実行することにより、図１００（Ｅ）の点線で示されるように、下限ＬＬｅから上限ＵＬｅまでの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
【０１８９】
ところで、増幅利得Ｇの上限値ＵＧＬは、映像信号処理回路１５で検出されるノイズレベルに基づいて適正な値に設定することができる。このとき、照度ＬＸが低下し、これに伴いＣＣＤ画像センサ１２の出力のＳ／Ｎ比が低下する場合に増幅利得Ｇを増加させる必要がある状況が考慮される。具体的には、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が、許容上限値である所定の割合（以下「第１の所定ノイズ割合」と呼ぶ。）に達したときのプログラマブル利得増幅回路１３Ｐの増幅利得Ｇの値を上限値ＵＧＬとして設定することができる。第１の所定ノイズ割合は、たとえば、１／５０と定められる。
【０１９０】
ノイズレベルの検出値は、たとえば、フィルタリング処理により画素加算回路１４の出力からノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで算出される。フィルタリング処理では、まず、画素加算回路１４の出力信号からノイズ成分を低減させたノイズ低減信号を生成し、次に、画素加算回路１４の出力信号からノイズ低減信号を減算することで画素加算回路１４の出力信号からノイズ成分を抽出することができる。
【０１９１】
用途によって被写体画像の視認にあたり許容できるノイズレベルは異なるため、第１の所定ノイズ割合は、Ｓ／Ｎ比を重視するか、画像解像度を重視するか等、撮像装置２の用途に応じて定められる。ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐに設定される増幅利得Ｇと、映像信号処理回路１５からＭＰＵ１９Ｂへ供給されるノイズレベルの検出値とを監視しつつ増幅利得Ｇの上限値ＵＧＬをダイナミックに（動的に）決定してプログラマブル利得増幅回路１３Ｐ及び画素加算回路１４を制御してもよい。
【０１９２】
また、撮像装置２を工場から出荷する前に、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が第１の所定ノイズ割合に達したときの増幅利得Ｇの値を測定し、この測定値を上限値ＵＧＬとして参照可能な形でメモリ（図示せず）に書き込むことができる。これにより、ＭＰＵ１９Ｂは、このメモリに記憶された上限値ＵＧＬを参照し利用することができる。なお、上限値ＵＧＬのデータが書き込まれるメモリは、撮像装置２の電源を切断してもその記憶内容を保持することができる不揮発性メモリやバッテリーバックアップ型メモリ（内蔵電池でバックアップされた揮発性メモリ）であればよい。
【０１９３】
ところで、増幅利得Ｇの下限値ＬＧＬも、映像信号処理回路１５で検出されるノイズレベルに基づいて適正な値に設定することができる。具体的には、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が所定の割合（以下「第２の所定ノイズ割合」と呼ぶ。）を下回ったときのプログラマブル利得増幅回路１３Ｐの増幅利得Ｇの値を下限値ＬＧＬとして設定することができる。第２の所定ノイズ割合は、上記第１の所定ノイズ割合（たとえば、１／５０）と増感倍率Ｌの設定値（たとえば、１２倍）とに基づいて決めることができる。たとえば、第２の所定ノイズ割合は、１／６００（＝｛（１／５０）×（１／１２）｝）の値と定めることができる。
【０１９４】
用途によって被写体画像の視認にあたり許容できるノイズレベルは異なるため、第２の所定ノイズ割合は、Ｓ／Ｎ比を重視するか、画像解像度を重視するか等、撮像装置２の用途に応じて定められる。ＭＰＵ１９Ｂは、プログラマブル利得増幅回路１３Ｐに設定される増幅利得Ｇと、映像信号処理回路１５からＭＰＵ１９Ｂへ供給されるノイズレベルの検出値とを監視しつつ増幅利得Ｇの下限値ＬＧＬをダイナミックに（動的に）決定してプログラマブル利得増幅回路１３Ｐ及び画素加算回路１４を制御してもよい。
【０１９５】
また、撮像装置２を工場から出荷する前に、平均レベルＡＳＡの検出値に対するノイズレベルの検出値の比率が第２の所定ノイズ割合に達したときの増幅利得Ｇの値を測定し、この測定値を下限値ＬＧＬとして参照可能なメモリ（図示せず）に書き込むことができる。これにより、ＭＰＵ１９Ｂは、このメモリに記憶された下限値ＬＧＬを参照し利用することができる。なお、下限値ＬＧＬが書き込まれるメモリは、撮像装置２の電源を切断してもその記憶内容を保持することができる不揮発性メモリやバッテリーバックアップ型メモリであればよい。
【０１９６】
以上に説明したように実施の形態２では、ＭＰＵ１９Ｂは、画素加算回路１４の出力信号に基づいて、露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）を動的に設定することができるので、撮影環境が変化しても、視認性の良好な画像を含む映像信号を生成することができる。たとえば、ＭＰＵ１９Ｂは、画像検波回路８１から供給される被写体照度ＬＸや平均レベルＡＳＡの検出値に応じて露光制御パラメータを動的に設定することができる。上述の通り、画素加算回路１４は、画像解像度の劣化を最小限に抑制しつつ感度向上とＳ／Ｎ比の向上とを実現する。このため、画素加算回路１４の出力信号に基づいて適正な自動露光制御を行うことができる。
【０１９７】
また、上述の通り、画素加算回路１４は、画素加算処理の過程で増感倍率Ｌを用いた増感処理（乗算処理）を行う機能を有している。ＭＰＵ１９Ｂは、撮影環境の変化に合わせて、絞り値、増幅利得Ｇ及び電荷蓄積時間Ｔｃに加えて増感倍率Ｌをも動的に設定することができる。このため、撮像装置２は、撮影環境が変化しても、細かいシームレスな露出制御を行うことができる。これにより、画像の明るさの急変などの画質劣化を伴うことなく、視認性の良好な画像を生成することが可能である。また、増感倍率Ｌは、整数値に限らず、小数を含む値に設定され得るので、極めて細かい露出制御を行うことができる。
【０１９８】
また、図１００（Ａ）〜（Ｅ）に例示されるように、ＭＰＵ１９Ｂは、画像検波回路８１から出力される被写体照度の換算値ＬＸに応じて、増感倍率Ｌを含む露光制御パラメータを制御するので、低照度環境下でも適正な露光制御を行うことができる。絞り値の制御、増幅利得Ｇの制御、増感倍率Ｌの制御及び露光時間の制御を順番に切替えることで、視認性の良好な最適な明るさの画像を出力することができるという効果がある。
【０１９９】
実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１０１は、実施の形態３の撮像装置３の概略構成を示すブロック図である。図１０１において、実施の形態３の撮像装置３の構成は、測光部８２が付加されている点とＭＰＵ１９の代わりにＭＰＵ１９Ｃが設けられている点とを除き、実施の形態１の撮像装置１の構成と同様であり、実施の形態１と同様な効果を奏するものである。
【０２００】
測光部８２は、ＣＣＤ画像センサ１２の撮像面あるいは撮像光学系１１への入射光を測光して被写体照度を検出する機能を有する。測光部８２は、照度センサ（図示せず）を有しており、この照度センサの取り付け及びその位置決めは、撮像光学系１１の光軸に基づいて決められる。
【０２０１】
ＭＰＵ１９Ｃは、実施の形態１のＭＰＵ１９の機能に加えて、測光部８２から供給される被写体照度の検出値（以下、「照度」と呼ぶ。）に応じて露光制御パラメータを制御する機能を有している。具体的には、ＭＰＵ１９Ｃは、照度に応じて、撮像光学系１１の開口絞り１１１の絞り値と増幅利得Ｇと増感倍率Ｌとを個別に制御することができる。また、ＭＰＵ１９Ｃは、照度に応じてタイミング発生回路１７の動作を制御することによりＣＣＤ画像センサ１２の電荷蓄積時間Ｔｃ（すなわち露光時間）を制御することができる。また、ＭＰＵ１９Ｃは、実施の形態２のＭＰＵ１９Ｂと同様に、映像信号処理回路１５から供給されたノイズレベルに応じた露光制御を行うことができる。
【０２０２】
ＭＰＵ１９Ｃは、たとえば、メモリ（図示せず）に保持された設定値テーブルあるいは演算回路を用いて、照度に対応する露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）の値を取得し、取得した値を用いた露光制御を行う。設定値テーブルは、複数の照度値と露光制御パラメータの値との対応関係が記録されたルックアップテーブルである。
【０２０３】
設定値テーブルには、たとえば、図１００（Ａ）〜（Ｄ）の対応関係を記録することができる。この場合には、たとえば、照度が範囲Ｓａ内のときは、ＭＰＵ１９Ｃは、ＣＣＤ画像センサ１２の露光時間をフレームレートに基づく標準露光時間Ｔｒに設定し、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを下限値ＬＧＬに設定し、画素加算回路１４の増感倍率Ｌを１倍に設定することができる。このときに照度が次第に上昇すると、図１００（Ａ）の対応関係に従って、ＭＰＵ１９Ｃは、絞り値を連続的又は段階的に上昇させる。絞り値が上限値（最大絞り値）に到達した後に照度がさらに上昇するとき、図１００（Ｄ）の点線で示されるように、ＭＰＵ１９Ｃは、ＣＣＤ画像センサ１２の露光時間を標準露光時間Ｔｒから短く制御することができる（図１００（Ｄ）の範囲Ｓｅ）。
【０２０４】
一方、照度が範囲Ｓａ内のときに照度が次第に暗くなると、ＭＰＵ１９Ｃは、図１００（Ａ）の対応関係に従って、絞り値を連続的又は段階的に低下させる。絞り値が全開値（開放値）に達した後に照度がさらに低下すると、ＭＰＵ１９Ｃは、プログラマブル利得増幅回路１３Ｐの増幅利得Ｇを下限値ＬＧＬから増加させる（図１００（Ｂ）の範囲Ｓｂ）。増幅利得Ｇが上記の上限値ＵＧＬに達した後に照度がさらに低下すると、ＭＰＵ１９Ｃは、増感倍率Ｌを１倍から上昇させる（図１００（Ｃ）の範囲Ｓｃ）。増感倍率Ｌが１２倍（上限値）に到達した後に照度がさらに低下すると、図１００（Ｄ）の点線で示されるように、ＭＰＵ１９Ｃは、露光時間を標準露光時間Ｔｒを長くする（図９８（Ｄ）の範囲Ｓｄ）。
【０２０５】
以上の露光制御により、図１００（Ｅ）に示されるように、下限ＬＬｅから上限ＵＬｅまでの照度範囲において、信号振幅の平均レベルＡＳＡを一定に保つことができる。
【０２０６】
以上に説明したように実施の形態３では、実施の形態２の場合と同様に、ＭＰＵ１９Ｃは、照度の測定値に基づいて、露光制御パラメータ（開口絞り１１１の絞り値、増幅利得Ｇ、電荷蓄積時間Ｔｃ及び増感倍率Ｌ）を動的に設定することができるので、撮影環境が変化しても、視認性の良好な画像を含む映像信号を生成することができる。また、画素加算回路１４の出力信号に基づいて、低照度環境下でも適正な自動露光制御を行うことができる。また、増感倍率Ｌは、整数値に限らず、小数を含む値に設定され得るので、極めて細かい露出制御を行うことが可能である。
【０２０７】
また、実施の形態２の場合と同様に、ＭＰＵ１９Ｃは、撮影環境の変化に合わせて、絞り値、増幅利得Ｇ及び電荷蓄積時間Ｔｃに加えて増感倍率Ｌをも動的に設定することができる。このため、撮像装置３は、撮影環境が変化しても、細かいシームレスな露出制御を行うことができる。さらに、絞り値の制御、増幅利得Ｇの制御、増感倍率Ｌの制御及び露光時間の制御を順番に切替えることで、視認性の良好な最適な明るさの画像を含む映像信号を生成することができる。
【０２０８】
なお、上記実施の形態２及び３について、増感倍率Ｌを最大にしても信号振幅が十分でない場合に露光時間を長くする旨説明したが、これはフレームレートが変わらないようにすることを優先した結果である。フレームレートよりも解像度を重視する場合には、露光時間を長くする制御を先に行い、露光時間を（たとえば、所定の値まで）長くしても信号振幅が十分でない場合に増感倍率Ｌを大きくすることとしてもよい。また、増感倍率Ｌを大きくする制御と露光時間を長くする制御とを並行して行ってもよい。
【０２０９】
実施の形態１〜３の変形例．
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、上記実施の形態１〜３は、固体撮像素子の一例としてＣＣＤ画像センサ１２を使用しているが、これに限定されるものではない。２次元イメージセンサであれば、ＣＭＯＳ撮像素子などのＣＣＤ画像センサ１２以外のいかなる固体撮像素子を使用してもよい。図１０２は、実施の形態１の変形例である撮像装置４の概略構成を示すブロック図である。この撮像装置４は、上記ＣＣＤ画像センサ１２及びフロントエンド部１３に代えて、ＣＭＯＳ画像センサ１２Ｃを有している。また、ＣＣＤ画像センサ１２としては、インターライントランスファーＣＣＤ撮像素子（ｉｎｔｅｒｌｉｎｅ−ｔｒａｎｓｆｅｒ  ＣＣＤ  ｉｍａｇｅｒ）に限らず、フレームトランスファーＣＣＤ撮像素子（ｆｒａｍｅ−ｔｒａｎｓｆｅｒ  ＣＣＤ  ｉｍａｇｅｒ）であってもよく、フレームインターライントランスファーＣＣＤ撮像素子（ｆｒａｍｅ−ｉｎｔｅｒｌｉｎｅ−ｔｒａｎｓｆｅｒ  ＣＣＤ  ｉｍａｇｅｒ）であってもよい。
【０２１０】
また、上記実施の形態では、画素加算回路１４は、入力された撮像信号のうち有効画素領域内の画素についてのみ処理してもよいし、あるいは、有効画素領域の外側にある画素を用いて処理を行ってもよい。たとえば、注目画素が有効画素領域の端に位置するとき、画素加算回路１４は、有効画素領域外の画素に代えて有効画素領域内の画素を使用してもよいし、有効画素領域外の画素が存在する場合には、その有効画素領域外の画素を使用してよい。
【０２１１】
また、上記画素加算回路１４は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのＬＳＩ（Ｌａｒｇｅ  ｓｃａｌｅ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）により実現され得る。
【０２１２】
また、上記画素加算回路１４の機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。図１０３は、当該機能の全部または一部をコンピュータプログラムで実現する場合の画像処理ユニット５の構成を概略的に示す図である。図１０３の画像処理ユニット５は、ＣＰＵ（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）を含むプロセッサ１０１、入出力インタフェース１０２、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）１０３、不揮発性メモリ１０４、記録媒体１０５及びバス１００を備えている。記録媒体１０５としては、たとえば、ハードディスク（磁気ディスク）、光ディスクまたはフラッシュメモリが挙げられる。プロセッサ１０１は、不揮発性メモリ１０４または記録媒体１０５からコンピュータプログラムをロードし実行することによって画素加算回路１４の機能を実現することができる。
【０２１３】
上記撮像装置１〜４は、たとえば、監視カメラや車載カメラに組み込むことができる。特に、比較的暗い場所を撮像する監視カメラとして上記撮像装置１〜４が使用される場合には、暗所においても良好な視認性を得ることができ、高感度を実現することができる。近年、固体撮像素子の画素数の増大に伴い、画素サイズの微細化が進んでおり、画素あたりの集光量が減少することによる感度の低下が課題となっているが、上記撮像装置１〜４は、このような課題を解決し得る構成を有している。
【符号の説明】
【０２１４】
１〜３  撮像装置、  ５  画像処理ユニット、  １１  撮像光学系（レンズ機構）、  １２  ＣＣＤ画像センサ、  １２１，１２１Ｃ  色フィルタアレイ、  １２２  ＣＣＤ素子、  １２Ｃ  ＣＭＯＳ画像センサ、  １２２Ｃ  ＣＭＯＳ素子、  １３  フロントエンド部、  １３Ｐ  プログラマブル利得増幅回路、  １３Ｃ  相関二重サンプリング処理回路、  １３Ａ  Ａ／Ｄ変換器（ＡＤＣ）、  １４  画素加算回路（ＡＤＤ）、  １５  映像信号処理回路、  １６  駆動回路（ＤＲＶ）、  １７  タイミング発生回路（ＴＧ）、  １８  同期信号発生回路（ＳＳＧ）、  １９，１９Ｂ，１９Ｃ  制御回路、  ２０  画素加算部、  ２１〜２４  選択回路、  ２５  加算演算回路、  ３１，３２  １フレーム遅延回路（１Ｆ−ＤＬ）、  ３４〜３９  遅延回路、  ４０  ノイズ低減回路、  ４１〜４３  空間フィルタ、  ５０  面内パターン検出回路、  ７０  参照パターン検出回路、  ７１  前方参照パターン検出回路、  ７２  後方参照パターン検出回路、  ８１  画像検波回路、  ８２  測光部、  ９０  補助画素パターン検出回路。
【図１】
2014107807.tif 000004
【図２】
2014107807.tif 000005
【図３】
2014107807.tif 000006
【図４】
2014107807.tif 000007
【図５】
2014107807.tif 000008
【図６】
2014107807.tif 000009
【図７】
2014107807.tif 000010
【図８】
2014107807.tif 000011
【図９】
2014107807.tif 000012
【図１０】
2014107807.tif 000013
【図１１】
2014107807.tif 000014
【図１２】
2014107807.tif 000015
【図１３】
2014107807.tif 000016
【図１４】
2014107807.tif 000017
【図１５】
2014107807.tif 000018
【図１６】
2014107807.tif 000019
【図１７】
2014107807.tif 000020
【図１８】
2014107807.tif 000021
【図１９】
2014107807.tif 000022
【図２０】
2014107807.tif 000023
【図２１】
2014107807.tif 000024
【図２２】
2014107807.tif 000025
【図２３】
2014107807.tif 000026
【図２４】
2014107807.tif 000027
【図２５】
2014107807.tif 000028
【図２６】
2014107807.tif 000029
【図２７】
2014107807.tif 000030
【図２８】
2014107807.tif 000031
【図２９】
2014107807.tif 000032
【図３０】
2014107807.tif 000033
【図３１】
2014107807.tif 000034
【図３２】
2014107807.tif 000035
【図３３】
2014107807.tif 000036
【図３４】
2014107807.tif 000037
【図３５】
2014107807.tif 000038
【図３６】
2014107807.tif 000039
【図３７】
2014107807.tif 000040
【図３８】
2014107807.tif 000041
【図３９】
2014107807.tif 000042
【図４０】
2014107807.tif 000043
【図４１】
2014107807.tif 000044
【図４２】
2014107807.tif 000045
【図４３】
2014107807.tif 000046
【図４４】
2014107807.tif 000047
【図４５】
2014107807.tif 000048
【図４６】
2014107807.tif 000049
【図４７】
2014107807.tif 000050
【図４８】
2014107807.tif 000051
【図４９】
2014107807.tif 000052
【図５０】
2014107807.tif 000053
【図５１】
2014107807.tif 000054
【図５２】
2014107807.tif 000055
【図５３】
2014107807.tif 000056
【図５４】
2014107807.tif 000057
【図５５】
2014107807.tif 000058
【図５６】
2014107807.tif 000059
【図５７】
2014107807.tif 000060
【図５８】
2014107807.tif 000061
【図５９】
2014107807.tif 000062
【図６０】
2014107807.tif 000063
【図６１】
2014107807.tif 000064
【図６２】
2014107807.tif 000065
【図６３】
2014107807.tif 000066
【図６４】
2014107807.tif 000067
【図６５】
2014107807.tif 000068
【図６６】
2014107807.tif 000069
【図６７】
2014107807.tif 000070
【図６８】
2014107807.tif 000071
【図６９】
2014107807.tif 000072
【図７０】
2014107807.tif 000073
【図７１】
2014107807.tif 000074
【図７２】
2014107807.tif 000075
【図７３】
2014107807.tif 000076
【図７４】
2014107807.tif 000077
【図７５】
2014107807.tif 000078
【図７６】
2014107807.tif 000079
【図７７】
2014107807.tif 000080
【図７８】
2014107807.tif 000081
【図７９】
2014107807.tif 000082
【図８０】
2014107807.tif 000083
【図８１】
2014107807.tif 000084
【図８２】
2014107807.tif 000085
【図８３】
2014107807.tif 000086
【図８４】
2014107807.tif 000087
【図８５】
2014107807.tif 000088
【図８６】
2014107807.tif 000089
【図８７】
2014107807.tif 000090
【図８８】
2014107807.tif 000091
【図８９】
2014107807.tif 000092
【図９０】
2014107807.tif 000093
【図９１】
2014107807.tif 000094
【図９２】
2014107807.tif 000095
【図９３】
2014107807.tif 000096
【図９４】
2014107807.tif 000097
【図９５】
2014107807.tif 000098
【図９６】
2014107807.tif 000099
【図９７】
2014107807.tif 000100
【図９８】
2014107807.tif 000101
【図９９】
2014107807.tif 000102
【図１００】
2014107807.tif 000103
【図１０１】
2014107807.tif 000104
【図１０２】
2014107807.tif 000105
【図１０３】
2014107807.tif 000106