【手続補正書】
【提出日】平成27年8月6日(2015.8.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時間的に連続する複数のフレーム画像で構成される画像信号を処理する画像処理装置であって、
前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、当該注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出し、さらに前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択する面内パターン検出部と、
前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、当該参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出し、さらに前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択する参照パターン検出部と、
前記注目フレーム画像の中から前記面内画素加算パターンと隣接し且つ複数の画素で構成される補助画素パターンを特定し、当該補助画素パターンと前記面内画素加算パターンとの間の相関を表す面内補助相関評価値を算出する補助画素パターン検出部と、
前記補助画素パターンに対応する当該面内補助相関評価値と前記参照画素加算パターンに対応する当該面間相関評価値とに基づいて、前記参照画素加算パターン及び前記補助画素パターンの中から前記面内画素加算パターンと最も相関の低い画素パターンを除いた画素加算パターンを選択し、当該選択された画素加算パターンに含まれる全ての画素を加算して前記注目画素に対する補正画素を生成する画素加算部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記面内パターン検出部は、
前記複数の面内画素パターンの各々を構成する複数の画素の画素値の中から第１の最大画素値及び第１の最小画素値を検出し、前記第１の最大画素値と前記第１の最小画素値との間の差分を前記面内相関評価値として算出し、さらに前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる面内画素パターンを前記面内画素加算パターンとして選択する演算部と、
前記面内画素加算パターンの画素位置を示す情報を前記画素加算部に通知する画素指定部と
を有することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記参照パターン検出部は、
前記複数の参照画素パターンの各々を構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第２の最大画素値及び第２の最小画素値を検出し、前記第２の最大画素値と前記第２の最小画素値との間の差分を前記面間相関評価値として算出し、さらに前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる参照画素パターンを前記参照画素加算パターンとして選択する演算部と、
前記参照画素加算パターンの画素位置を示す情報と前記参照画素加算パターンに対応する当該面間相関評価値とを前記画素加算部に通知する画素指定部と
を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記補助画素パターン検出部は、
前記補助画素パターンを構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第３の最大画素値及び第３の最小画素値を検出し、前記第３の最大画素値と前記第３の最小画素値との間の差分を前記面内補助相関評価値として算出する演算部と、
前記補助画素パターンの画素位置を示す情報と前記面内補助相関評価値とを前記画素加算部に通知する画素指定部と
を有することを特徴とする画像処理装置。
【請求項５】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記画像信号を遅延させて前記注目フレーム画像における当該注目画素を中心とする第１の局所画素領域内の複数画素の信号を並列に出力する第１の遅延回路と、
前記画像信号を遅延させて前記参照フレーム画像における当該参照注目画素を中心とする第２の局所画素領域内の複数画素の信号を並列に出力する第２の遅延回路と
をさらに備え、
前記画素加算部は、
前記第１の遅延回路により並列に出力された当該第１の局所画素領域内の複数画素の信号から前記面内画素加算パターンの画素と前期補助画素パターンの画素とを選択する面内画素選択部と、
前記第２の遅延回路により並列に出力された当該第２の局所画素領域内の複数画素の信号から前記参照画素加算パターンの画素を選択する参照画素選択部と、
前記参照画素加算パターンに対応する当該面間相関評価値と前期補助画素パターンに対応する当該面内補助相関評価値とに基づいて、前記面内画素選択部により選択された画素と前期参照画素選択部により選択された画素とから、当該選択された画素加算パターンに含まれる画素を選択し、当該選択された画素を加算して前記補正画素を生成する加算演算部と
を有することを特徴とする画像処理装置。
【請求項６】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記参照フレーム画像は、
前記注目フレーム画像に対して時間的に前方に位置する前方参照フレーム画像と、
前記注目フレーム画像に対して時間的に後方に位置する後方参照フレーム画像と
を含み、
前記面間相関評価値は、
前記複数の参照画素パターンのうち前記前方参照フレーム画像内の複数の前方参照画素パターンに対して前記面内画素加算パターンとの相関を表す第１の面間相関評価値と、
前記複数の参照画素パターンのうち前記後方参照フレーム画像内の複数の後方参照画素パターンに対して前記面内画素加算パターンとの相関を表す第２の面間相関評価値と
を含み、
前記参照パターン検出部は、
前記第１の面間相関評価値に基づいて前記複数の前方参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを前方参照画素加算パターンとして選択し、
前記第２の面間相関評価値に基づいて前記複数の後方参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを後方参照画素加算パターンとして選択する
ことを特徴とする画像処理装置。
【請求項７】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、前記画素加算部は、当該選択された画素加算パターンに含まれる全ての画素の画素値を加算して得られた値に増感倍率を乗算して前記補正画素の画素値を算出することを特徴とする画像処理装置。
【請求項８】
請求項１から４のうちのいずれか１項に記載の画像処理装置と、
前記複数のフレーム画像で構成される画像信号を出力する撮像素子と
を備えることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置であって、
前記撮像素子は、
互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、
前記色フィルタアレイを透過した光学像を検出する撮像面と
を有し、
前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記面内パターン検出部は、前記注目フレーム画像の中から前記注目画素と同じ色を有する画素パターンを前記複数の面内画素パターンとして選択し、
前記参照パターン検出部は、前記参照フレーム画像の中から前記注目画素と同じ色を有する画素パターンを前記複数の参照画素パターンとして選択し、
前記補助画素パターン検出部は、前記注目フレーム画像の中から前記面内画素パターンと同じ色を有する画素パターンを前記補助画素パターンとして特定する
ことを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置であって、前記色フィルタの配列はベイヤ配列であることを特徴とする撮像装置。
【請求項１１】
請求項９または１０に記載の撮像装置であって、前記画素加算部は、当該選択された画素加算パターンに含まれる全ての画素の画素値を加算して得られた値に増感倍率を乗算して前記補正画素の画素値を算出することを特徴とする撮像装置。
【請求項１２】
請求項１１に記載の撮像装置であって、
前記撮像素子の前面に配置された開口絞りと、
前記撮像素子から出力される当該画像信号を増幅する信号増幅器と、
前記増感倍率の値を設定する制御部と
をさらに備え、
前記制御部は、前記画素加算部の出力に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間とのうちの少なくとも１つを設定する
ことを特徴とする撮像装置。
【請求項１３】
請求項１２に記載の撮像装置であって、前記制御部は、前記画素加算部の出力の信号振幅と前記増幅利得と前記露光時間と前記増感倍率とに基づいて被写体照度の換算値を算出し、前記被写体照度の換算値に応じて、前記開口量と前記増幅利得と前記露光時間と前記増感倍率とを個別に設定することを特徴とする撮像装置。
【請求項１４】
請求項１２に記載の撮像装置であって、
前記撮像素子に入射する光学像を測光することにより被写体照度を検出する測光部をさらに備え、
前記制御部は、前記測光部により検出された当該被写体照度に応じて前記増感倍率の値を設定する
ことを特徴とする撮像装置。
【請求項１５】
時間的に連続する複数のフレーム画像で構成される画像信号を処理する画像処理方法であって、
前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、当該注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出するステップと、
前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択するステップと、
前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、当該参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出するステップと、
前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択するステップと、
前記注目フレーム画像の中から前記面内画素加算パターンと隣接し且つ複数の画素で構成される補助画素パターンを特定し、当該補助画素パターンと前記面内画素加算パターンとの間の相関を表す面内補助相関評価値を算出するステップと、
前記補助画素パターンに対応する当該面内補助相関評価値と前記参照画素加算パターンに対応する当該面間相関評価値とに基づいて、前記参照画素加算パターン及び前記補助画素パターンの中から前記面内画素加算パターンと最も相関の低い画素パターンを除いた画素加算パターンを選択するステップと、
当該選択された画素加算パターンに含まれる全ての画素を加算して前記注目画素に対する補正画素を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法であって、
前記面間相関評価値を算出する当該ステップは、
前記複数の面内画素パターンの各々を構成する複数の画素の画素値の中から第１の最大画素値及び第１の最小画素値を検出するステップと、
前記第１の最大画素値と前記第１の最小画素値との間の差分を前記面内相関評価値として算出するステップと
を含み、
前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる面内画素パターンが前記面内画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項１７】
請求項１６に記載の画像処理方法であって、
前記面内補助相関評価値を算出する当該ステップは、
前記複数の参照画素パターンの各々を構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第２の最大画素値及び第２の最小画素値を検出するステップと、
前記第２の最大画素値と前記第２の最小画素値との間の差分を前記面間相関評価値として算出するステップと
を含み、
前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる参照画素パターンが前記参照画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項１８】
請求項１７に記載の画像処理方法であって、
前記面内補助相関評価値を算出する当該ステップは、
前記補助画素パターンを構成する複数の画素の画素値、前記第１の最大画素値及び前記第１の最小画素値の中から第３の最大画素値及び第３の最小画素値を検出するステップと、
前記第３の最大画素値と前記第３の最小画素値との間の差分を前記面内補助相関評価値として算出するステップと
を含むことを特徴とする画像処理方法。
【請求項１９】
請求項１５から１８のうちのいずれか１項に記載の画像処理方法であって、
前記画像信号は、撮像素子から出力された信号であり、
前記撮像素子は、
互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、
前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記注目フレーム画像の中から前記注目画素と同じ色を有する画素パターンが前記複数の面内画素パターンとして選択され、
前記参照フレーム画像の中から前記注目画素と同じ色を有する画素パターンが前記複数の参照画素パターンとして選択され、
前記注目フレーム画像の中から前記面内画素パターンと同じ色を有する画素パターンが前記補助画素パターンとして特定される
ことを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
図１０は、図６の画素空間配置で注目画素がＢ画素のときの水平１１画素×垂直１１画素の空間的な配列を示す図である。Ｒ画素、Ｇ画素及びＢ画素は市松状に配列されている。図１１は、空間フィルタ４１，４２，４３で注目画素がＢ画素のときの、点線で囲まれた領域内の演算対象画素の配列を示す図である。注目画素がＢ画素の場合の空間フィルタ４１，４２，４３及び係数可変設定回路４９５の動作は、注目画素がＲ画素の場合の動作と同様である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
図１４は、サンプリング回路５２０の回路構成例を概略的に示す図である。図１４に示されるサンプリング回路５２０は、直列接続された８個の１ライン遅延回路（１Ｌ−ＤＬ）５０１，５０２，…，５０８を有する。これら１ライン遅延回路５０１〜５０８の各々は、入力信号を１水平ライン分の時間だけ遅延させた後に出力する遅延回路である。先頭の１ライン遅延回路５０１には、フィルタ信号ＮＲ２が入力される。またサンプリング回路５２０は、７２（＝９×８）個の１画素遅延回路（１Ｄ−ＤＬ）１５１１〜１５１８，１５２１〜１５２８，１５３１〜１５３８，１５４１〜１５４８，１５５１〜１５５８，１５６１〜１５６８，１５７１〜１５７８，１５８１〜１５８８，１５９１〜１５９８を有する。これら１画素遅延回路の各々は、入力信号を１画素分の時間だけ遅延させた後に出力する遅延回路である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
図１４に示されるように、１画素遅延回路１５１１〜１５１８は直列接続されており、画素シフトレジスタを構成している。同様に、１画素遅延回路１５２１〜１５２８、１画素遅延回路１５３１〜１５３８、１画素遅延回路１５４１〜１５４８、１画素遅延回路１５５１〜１５５８、１画素遅延回路１５６１〜１５６８、１画素遅延回路１５７１〜１５７８、１画素遅延回路１５８１〜１５８８及び１画素遅延回路１５９１〜１５９８も、それぞれ、画素シフトレジスタを構成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
また、１画素遅延回路１５１１にはフィルタ信号ＮＲ２が供給されており、１画素遅延回路１５２１，１５３１，１５４１，１５５１，１５６１，１５７１，１５８１，１５９１には、１ライン遅延回路５０１，５０２，５０３，５０４，５０５，５０６，５０７，５０８の遅延出力がそれぞれ供給される。このため、１画素遅延回路１５１１〜１５１８は、画素値Ｐ８９，Ｐ７９，Ｐ６９，Ｐ５９，Ｐ４９，Ｐ３９，Ｐ２９，Ｐ１９を、１画素遅延回路１５２１〜１５２８は、画素値Ｐ８８，Ｐ７８，Ｐ６８，Ｐ５８，Ｐ４８，Ｐ３８，Ｐ２８，Ｐ１８を、１画素遅延回路１５３１〜１５３８は、画素値Ｐ８７，Ｐ７７，Ｐ６７，Ｐ５７，Ｐ４７，Ｐ３７，Ｐ２７，Ｐ１７を、１画素遅延回路１５４１〜１５４８は、画素値Ｐ８６，Ｐ７６，Ｐ６６，Ｐ５６，Ｐ４６，Ｐ３６，Ｐ２６，Ｐ１６を、１画素遅延回路１５５１〜１５５８は、画素値Ｐ８５，Ｐ７５，Ｐ６５，Ｐ５５，Ｐ４５，Ｐ３５，Ｐ２５，Ｐ１５を、１画素遅延回路１５６１〜１５６８は、画素値Ｐ８４，Ｐ７４，Ｐ６４，Ｐ５４，Ｐ４４，Ｐ３４，Ｐ２４，Ｐ１４を、１画素遅延回路１５７１〜１５７８は、画素値Ｐ８３，Ｐ７３，Ｐ６３，Ｐ５３，Ｐ４３，Ｐ３３，Ｐ２３，Ｐ１３を、１画素遅延回路１５８１〜１５８８は、画素値Ｐ８２，Ｐ７２，Ｐ６２，Ｐ５２，Ｐ４２，Ｐ３２，Ｐ２２，Ｐ１２を、１画素遅延回路１５９１〜１５９８は、画素値Ｐ８１，Ｐ７１，Ｐ６１，Ｐ５１，Ｐ４１，Ｐ３１，Ｐ２１，Ｐ１１をそれぞれ画素選択回路１５９９に並列に出力する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１６６
【補正方法】変更
【補正の内容】
【０１６６】
画像検波回路８１は、同期信号発生回路１８から供給される水平同期信号ＨＤと垂直同期信号ＶＤとに同期して動作し、画素加算回路１４の出力信号（すなわち、補正された撮像信号）を検波する機能を有する。たとえば、画像検波回路８１は、垂直走査周期と同期して、画素加算回路１４の出力信号に含まれる有効画素領域の補正画素値を所定数のフレーム分（たとえば、１フレーム分）だけ積算して積算値Σｐを算出する積分機能や、その積算値Σｐを全有効画素数Ｎｐで除算して信号振幅の平均レベルＡＳＡ（＝Σｐ／Ｎｐ）を算出（検出）する平均レベル検出機能を有している。積算値Σｐや平均レベルＡＳＡは、ＭＰＵ１９Ｂに与えられる。画像検波回路８１は、画素加算回路１４の出力信号から特定の空間周波数成分を抽出し、抽出された空間周波数成分を積算して積算値Σｐの算出や平均レベルＡＳＡの検出を行うこともできる。なお、全有効画素数Ｎｐが２のｎ乗（ｎは２以上の整数）で与えられる場合には、積算値Σｐを示すビット列にビットシフト演算を施すことで平均レベルＡＳＡを算出（検出）してもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１７９
【補正方法】変更
【補正の内容】
【０１７９】
図１００（Ｄ）の実線で示されるように露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが１倍（下限値）としたときに、画素加算回路１４の出力値が所定レベルとなる照度を高照度側基準値ＨＬとする。また、この高照度側基準値ＨＬの１／１２の照度、即ち、露光時間が標準露光時間Ｔｒに維持される場合に、開口絞り１１１の絞り値を開放値とし、増幅利得Ｇを上限値ＵＧＬとし、増感倍率Ｌが１２倍としたときに、画素加算回路１４の出力値が所定のレベルとなる照度を低照度側基準値ＬＬとする。
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2014107807.tif 000001