【手続補正書】
【提出日】平成26年8月27日(2014.8.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時間的に連続する複数のフレーム画像を処理する画像処理装置であって、
前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出し、さらに前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択する面内パターン検出部と、
前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出し、さらに前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択する参照パターン検出部と、
前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成する画素加算部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
前記面内パターン検出部は、
当該注目フレーム画像を構成する画素群から前記複数の面内画素パターンを抽出する面内画素抽出部と、
前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出し、前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンを前記面内画素加算パターンとして選択する演算部と、
前記注目フレーム画像における前記面内画素加算パターンの画素位置を示す情報を前記画素加算部に通知する画素指定部と
を含むことを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記参照パターン検出部は、
前記参照フレーム画像を構成する画素群から前記複数の参照画素パターンを抽出する参照画素抽出部と、
前記複数の参照画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出する演算部と、
前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンを前記参照画素加算パターンとして選択し、前記参照フレーム画像における前記参照画素加算パターンの画素位置を示す情報を前記画素加算部に通知する加算パターン指定部と
を含むことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記複数のフレーム画像で構成される画像信号を遅延させて前記注目フレーム画像における当該注目画素を中心とする第１の局所画素領域内の複数画素の信号を並列に出力する第１の遅延回路と、
前記画像信号を遅延させて前記参照フレーム画像における当該参照注目画素を中心とする第２の局所画素領域内の複数画素の信号を並列に出力する第２の遅延回路と
をさらに備え、
前記画素加算部は、
前記第１の遅延回路により並列に出力された当該第１の局所画素領域内の複数画素の信号から前記面内画素加算パターンの画素を選択する面内画素選択部と、
前記第２の遅延回路により並列に出力された当該第２の局所画素領域内の複数画素の信号から前記参照画素加算パターンの画素を選択する参照画素選択部と、
前記面内画素選択部により選択された画素と前記参照画素選択部により選択された画素とを加算する加算演算部と
を含むことを特徴とする画像処理装置。
【請求項５】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記複数のフレーム画像は撮像素子から出力され、
前記撮像素子は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記面内パターン検出部は、前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の面内画素パターンのうち当該注目画素の色を有する群の面内画素パターンを当該注目フレーム画像から抽出するとともに、当該抽出された群の面内画素パターンを前記複数の面内画素パターンとして使用し、
前記参照パターン検出部は、前記Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の参照画素パターンのうち当該注目画素の色を有する群の参照画素パターンを当該参照フレーム画像から抽出するとともに、当該抽出された群の参照画素パターンを前記複数の参照画素パターンとして使用する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、前記色フィルタの配列はベイヤ配列であることを特徴とする画像処理装置。
【請求項７】
請求項１から６のうちのいずれか１項に記載の画像処理装置であって、
前記参照フレーム画像は、
当該注目フレーム画像に対して時間的に前方に位置する前方参照フレーム画像と、
当該注目フレーム画像に対して時間的に後方に位置する後方参照フレーム画像とを含み、
前記複数の参照画素パターンは、
前記前方参照フレーム画像から抽出された複数の前方参照画素パターンと、
前記後方参照フレーム画像から抽出された複数の後方参照画素パターンとを含み、
前記面間相関評価値は、
前記複数の前方参照画素パターンの各々と当該注目画素との間の相関を表す第１の面間相関評価値と、
前記複数の後方参照画素パターンの各々と当該注目画素との間の相関を表す第２の面間相関評価値とを含み、
前記参照パターン検出部は、前記第１の面間相関評価値に基づいて前記複数の前方参照画素パターンの中から当該注目画素と最も相関が高い第１の参照画素加算パターンを前記参照画素パターンの一部として選択するとともに、前記第２の面間相関評価値に基づいて前記複数の後方参照画素パターンの中から当該注目画素と最も相関が高い第２の参照画素加算パターンを前記参照画素パターンの他の一部として選択する
ことを特徴とする画像処理装置。
【請求項８】
請求項１から７のうちのいずれか１項に記載の画像処理装置であって、
前記複数のフレーム画像で構成される画像信号に含まれるノイズ成分を減衰させるフィルタ部をさらに備え、
前記面内パターン検出部は、前記フィルタ部の出力に基づいて前記面内相関評価値を算出するとともに前記面内画素加算パターンを選択し、
前記参照パターン検出部は、前記フィルタ部の出力に基づいて前記面間相関評価値を算出するとともに前記参照画素加算パターンを選択する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記フィルタ部は、
前記画像信号を遅延させて前記複数のフレーム画像の各々における第３の局所画素領域内の複数画素の信号を並列に出力する第３の遅延回路と、
前記第３の遅延回路により並列に出力された当該第３の局所画素領域内の複数画素の信号に重み係数を個別に乗算して複数の重み付き画素を生成する乗算部と、
前記複数の重み付き画素の総和を演算する総和演算部と、
前記重み係数を被写体照度情報に応じた値に設定する係数可変設定部と
を有することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、前記係数可変設定部は、前記被写体照度情報の値が閾値よりも大きいときに前記重み係数を第１の所定値に設定し、前記被写体照度情報の値が前記閾値以下のときは前記重み係数を前記第１の所定値よりも大きい第２の所定値に設定することを特徴とする画像処理装置。
【請求項１１】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記画素加算部は、前記面内画素加算パターン及び前記参照画素加算パターンの双方の画素を加算した結果に増感倍率を乗算して前記補正画素を生成し、
前記増感倍率の値は、可変に設定される
ことを特徴とする画像処理装置。
【請求項１２】
請求項１から１０のうちのいずれか１項に記載の画像処理装置と、
前記複数のフレーム画像を出力する撮像素子と
を備えることを特徴とする撮像装置。
【請求項１３】
請求項１１に記載の画像処理装置と、
前記複数のフレーム画像を出力する撮像素子と、
前記画素加算部の出力に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。
【請求項１４】
請求項１３に記載の撮像装置であって、
前記撮像素子の前面に配置された開口絞りと、
前記複数のフレーム画像で構成される画像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記画素加算部の出力に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間とのうちの少なくとも１つを設定する
ことを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置であって、前記制御部は、前記画素加算部の出力の信号振幅と前記増幅利得と前記露光時間と前記増感倍率とに基づいて被写体照度の換算値を算出し、前記被写体照度の換算値に応じて、前記開口量と前記増幅利得と前記露光時間と前記増感倍率とを個別に設定することを特徴とする撮像装置。
【請求項１６】
請求項１１に記載の画像処理装置と、
前記複数のフレーム画像を出力する撮像素子と、
前記撮像素子に入射する光学像を測光することにより被写体照度を検出する測光部と、
前記被写体照度の検出値に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。
【請求項１７】
請求項１６に記載の撮像装置であって、
前記制御部は、
前記撮像素子の前面に配置された開口絞りと、
前記複数のフレーム画像で構成される画像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記被写体照度の検出値に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間と前記増感倍率とを個別に設定する
ことを特徴とする撮像装置。
【請求項１８】
請求項１２から１７のうちのいずれか１項に記載の撮像装置であって、前記撮像素子は、固体撮像素子であることを特徴とする撮像装置。
【請求項１９】
時間的に連続する複数のフレーム画像を処理する画像処理方法であって、
前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出するステップと、
前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択するステップと、
前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出するステップと、
前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択するステップと、
前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項２０】
請求項１９に記載の画像処理方法であって、
前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
前記面内相関評価値を算出する当該ステップは、
当該注目フレーム画像を構成する画素群から前記複数の面内画素パターンを抽出するステップと、
前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出するステップとを含み、
前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンが前記面内画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項２１】
請求項２０に記載の画像処理方法であって、
前記面間相関評価値を算出する当該ステップは、
前記参照フレーム画像を構成する画素群から前記複数の参照画素パターンを抽出するステップと、
前記複数の参照画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出するステップとを含み、
前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンが前記参照画素加算パターンとして選択される
ことを特徴とする画像処理方法。
【請求項２２】
請求項１９から２１のうちのいずれか１項に記載の画像処理方法であって、
前記複数のフレーム画像は撮像素子から出力され、
前記撮像素子は、前記Ｎ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記複数のフレーム画像の各々を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記画像処理方法は、
互いに異なるＮ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の面内画素パターンのうち当該注目画素の色を有する群の面内画素パターンを当該注目フレーム画像から抽出するステップと、
Ｎ個の波長域の色をそれぞれ有する第１乃至第Ｎ群の参照画素パターンのうち当該注目画素の色を有する群の参照画素パターンを当該参照フレーム画像から抽出するステップと
をさらに備え、
当該抽出された群の面内画素パターンは、前記複数の面内画素パターンとして使用され、
当該抽出された群の参照画素パターンは、前記複数の参照画素パターンとして使用される
ことを特徴とする画像処理方法。
【請求項２３】
記録媒体から読み出されて、請求項１９から２２のうちのいずれか１項に記載の画像処理方法が備えるステップをプロセッサに実行させることを特徴とするコンピュータプログラム。
【請求項２４】
請求項２３に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の第１の態様による画像処理装置は、時間的に連続する複数のフレーム画像を処理する画像処理装置であって、前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出し、さらに前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択する面内パターン検出部と、前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出し、さらに前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択する参照パターン検出部と、前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成する画素加算部とを備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の第２の態様による撮像装置は、前記第１の態様による画像処理装置と、前記複数のフレーム画像を出力する撮像素子とを備えることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の第３の態様による画像処理方法は、時間的に連続する複数のフレーム画像を処理する画像処理方法であって、前記複数のフレーム画像のうちの注目フレーム画像を構成する画素の中から注目画素を選択し、前記注目画素を含む複数の面内画素パターンと前記注目画素との間の相関を表す面内相関評価値を算出するステップと、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から前記注目画素と最も相関の高い面内画素パターンを面内画素加算パターンとして選択するステップと、前記注目フレーム画像に対して時間的に隣接する参照フレーム画像を構成する画素の中から前記注目画素に対応する参照注目画素を特定し、前記参照注目画素と当該参照注目画素の周辺に位置する周辺画素との一方または双方を含む複数の参照画素パターンと前記面内画素加算パターンとの間の相関を表す面間相関評価値を算出するステップと、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から前記面内画素加算パターンと最も相関の高い参照画素パターンを参照画素加算パターンとして選択するステップと、前記面内画素加算パターンに含まれる画素と前記参照画素加算パターンに含まれる画素とを加算して前記注目画素に対応する補正画素を生成するステップとを備えることを特徴とする。