【手続補正書】
【提出日】平成26年10月22日(2014.10.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子から出力された撮像信号を処理する画像処理装置であって、
前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出するとともに、前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンを検出する主面内パターン検出部と、
前記注目画像内において前記面内画素加算パターンの周辺に位置する複数の補助面内画素パターンを抽出し、当該抽出された複数の補助面内画素パターンの各々と当該注目画素との間の相関を表す補助面内相関評価値を算出するとともに、前記補助面内相関評価値に基づいて前記複数の補助面内画素パターンの中から当該注目画素と最も相関が高い補助面内画素加算パターンを検出する補助面内パターン検出部と、
前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出するとともに、前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い主参照画素加算パターンを検出する主参照パターン検出部と、
前記注目画素が選択される毎に、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素と前記補助面内画素加算パターンの画素とを加算して補正画素を生成する画素加算部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記複数の面内画素パターンの各々は、当該注目画素と当該注目画素を中心とする周辺画素とからなり、
前記主面内パターン検出部は、
前記注目画像から前記複数の面内画素パターンの画素を選択する画素選択部と、
前記複数の面内画素パターンの各々を構成する複数画素の画素値のうちの最大画素値と最小画素値との間の差分を前記面内相関評価値として算出し、前記複数の面内画素パターンの中から前記面内相関評価値の大きさが最小となる画素パターンを前記面内画素加算パターンとして選択する演算部と
を含むことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記主参照パターン検出部は、
前記参照画像から前記複数の参照画素パターンの画素を選択する画素選択部と、
前記複数の参照画素パターンの各々を構成する画素と当該注目画素との画素値のうちの最大画素値と最小画素値との間の差分を前記面間相関評価値として算出し、前記複数の参照画素パターンの中から前記面間相関評価値の大きさが最小となる画素パターンを前記主参照画素加算パターンとして選択する演算部と
を含むことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記参照画像は、
当該注目画像に対して時間的に前方に位置する前方参照画像と、
当該注目画像に対して時間的に後方に位置する後方参照画像とを含み、
前記複数の参照画素パターンは、
前記前方参照画像から抽出された複数の前方参照画素パターンと、
前記後方参照画像から抽出された複数の後方参照画素パターンとを含み、
前記面間相関評価値は、
前記複数の前方参照画素パターンの各々と当該注目画素との間の相関を表す第１の面間相関評価値と、
前記複数の後方参照画素パターンの各々と当該注目画素との間の相関を表す第２の面間相関評価値とを含み、
前記主参照パターン検出部は、前記第１の面間相関評価値に基づいて前記複数の前方参照画素パターンの中から当該注目画素と最も相関が高い第１の参照画素加算パターンを前記参照画素パターンの一部として選択するとともに、前記第２の面間相関評価値に基づいて前記複数の後方参照画素パターンの中から当該注目画素と最も相関が高い第２の参照画素加算パターンを前記参照画素パターンの他の一部として選択する
ことを特徴とする画像処理装置。
【請求項５】
請求項１から４のうちのいずれか１項に記載の画像処理装置であって、
前記補助面内パターン検出部は、
前記注目画像から前記複数の補助面内画素パターンの画素を選択する画素選択部と、
前記複数の補助面内画素パターンの各々を構成する画素の画素値と当該注目画素とのうちの最大画素値と最小画素値との間の差分を前記補助面内相関評価値として算出し、前記複数の補助面内画素パターンの中から前記補助面内相関評価値の大きさが最小となる画素パターンを前記補助面内画素加算パターンとして選択する演算部と
を含むことを特徴とする画像処理装置。
【請求項６】
請求項１から５のうちのいずれか１項に記載の画像処理装置であって、
前記補助面内画素加算パターンと当該注目画素との間の相関に応じて、前記補助面内画素加算パターンが前記画素加算部で加算されるべき画素パターンであるか否かを判別する相関判別部をさらに備え、
前記画素加算部は、前記相関判別部により前記補助面内画素加算パターンが加算されるべき画素パターンであると判別されたときは、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記補助面内画素加算パターンの画素とを加算し、前記相関判別部により前記補助面内画素加算パターンが加算されるべき画素パターンではないと判別されたときは、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記補助面内画素加算パターンの画素を加算しない、
ことを特徴とする画像処理装置。
【請求項７】
請求項１から５のうちのいずれか１項に記載の画像処理装置であって、
前記参照画像内において前記主参照画素加算パターンの周辺に位置する複数の補助参照画素パターンを抽出し、当該抽出された複数の補助参照画素パターンの各々と当該注目画素との間の相関を表す補助面間相関評価値を算出するとともに、前記補助面間相関評価値に基づいて前記複数の補助参照画素パターンの中から当該注目画素と最も相関が高い補助参照画素加算パターンを検出する補助参照パターン検出部と、
前記補助参照画素加算パターンと当該注目画素との間の相関に応じて、前記補助参照画素加算パターンが前記画素加算部で前記面内画素加算パターンと前記主参照画素加算パターンとに加算されるべき画素パターンであるか否かを判別する相関判別部と
をさらに備え、
前記画素加算部は、前記相関判別部により前記補助参照画素加算パターンが加算されるべき画素パターンであると判別されたとき、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記補助参照画素加算パターンの画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記一連の画像のうち当該参照画像に対して時間的に隣接する副参照画像から抽出された複数の第１補助参照画素パターンの各々と当該注目画素との間の相関を表す第１補助面間相関評価値を算出するとともに、前記第１補助面間相関評価値に基づいて前記複数の第１補助参照画素パターンの中から当該注目画素と最も相関が高い第１補助参照画素加算パターンを検出する第１の副補助参照パターン検出部をさらに備え、
前記相関判別部は、前記第１補助参照画素加算パターンと当該注目画素との間の相関に応じて、前記第１補助参照画素加算パターンが前記画素加算部で前記面内画素加算パターンと前記主参照画素加算パターンとに加算されるべき画素パターンであるか否かを判別し、
前記画素加算部は、前記相関判別部により前記第１補助参照画素加算パターンが加算されるべき画素パターンであると判別されたとき、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記第１補助参照画素加算パターンの画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置であって、
前記参照画像は、当該注目画像に対して１フレーム画像分だけ時間的に前方または後方のいずれか一方の側にずれて位置し、
前記副参照画像は、当該注目画像に対して２フレーム画像分だけ前記一方の側にずれて位置する
ことを特徴とする画像処理装置。
【請求項１０】
請求項８または９に記載の画像処理装置であって、
前記副参照画像内において前記第１補助参照画素加算パターンの周辺に位置する複数の第２補助参照画素パターンを抽出し、当該抽出された複数の第２補助参照画素パターンの各々と当該注目画素との間の相関を表す第２補助面間相関評価値を算出するとともに、前記第２補助面間相関評価値に基づいて前記複数の第２補助参照画素パターンの中から当該注目画素と最も相関が高い第２補助参照画素加算パターンを検出する第２の副補助参照パターン検出部をさらに備え、
前記相関判別部は、前記第２補助参照画素加算パターンと当該注目画素との間の相関に応じて、前記第２補助参照画素加算パターンが前記画素加算部で前記面内画素加算パターンと前記主参照画素加算パターンとに加算されるべき画素パターンであるか否かを判別し、
前記画素加算部は、前記相関判別部により前記第２補助参照画素加算パターンが加算されるべき画素パターンであると判別されたとき、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素とに前記第２補助参照画素加算パターンの画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。
【請求項１１】
請求項１から１０のうちのいずれか１項に記載の画像処理装置であって、
前記撮像素子は、互いに異なるＮ個の波長域の色の光をそれぞれ透過させるＮ種類の色フィルタ（Ｎは２以上の正整数）を周期的に且つ面状に配列してなる色フィルタアレイと、前記色フィルタアレイを透過した光学像を検出する撮像面とを有し、
前記一連の画像を構成する各画素は、前記Ｎ個の波長域の色のうちのいずれか１色を有し、
前記画素加算部は、同色の当該画素を加算して前記補正画素を生成する
ことを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置であって、前記色フィルタの配列はベイヤ配列であることを特徴とする画像処理装置。
【請求項１３】
請求項１から１２のうちのいずれか１項に記載の画像処理装置であって、
前記複数の参照画素パターンは、
前記面内画素加算パターンと同じ画素配置を有する画素パターンと、
当該同じ画素配置を有する画素パターンを前記参照画像内でシフトすることで得られる画素パターンと
を含むことを特徴とする画像処理装置。
【請求項１４】
請求項１から１３のうちのいずれか１項に記載の画像処理装置であって、
前記撮像信号に含まれるノイズ成分を減衰させてノイズ低減信号を生成し、前記ノイズ低減信号を前記主面内パターン検出部と前記補助面内パターン検出部と前記主参照パターン検出部とに供給するノイズ低減回路をさらに備え、
前記ノイズ低減回路は、
前記撮像信号を遅延させて前記各画像における局所画素領域内の複数画素の信号を並列に出力する遅延回路と、
前記遅延回路により並列に出力された当該局所画素領域内の複数画素の信号に重み係数を個別に乗算して複数の重み付き画素を生成する乗算部と、
前記複数の重み付き画素の総和を演算する総和演算部と、
前記重み係数を被写体照度情報に応じた値に設定する係数可変設定部と
を含むことを特徴とする画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置であって、前記係数可変設定部は、前記被写体照度情報の値が閾値よりも大きいときに前記重み係数を第１の所定値に設定し、前記被写体照度情報の値が前記閾値以下のときは前記重み係数を前記第１の所定値よりも大きい第２の所定値に設定することを特徴とする画像処理装置。
【請求項１６】
請求項１から１５のうちのいずれか１項に記載の画像処理装置であって、
前記画素加算部は、当該画素加算部による加算結果に増感倍率を乗算して前記補正画素を生成し、
前記増感倍率の値は、可変に設定される
ことを特徴とする画像処理装置。
【請求項１７】
請求項１から１５のうちのいずれか１項に記載の画像処理装置と
前記撮像素子と
を備えることを特徴とする撮像装置。
【請求項１８】
請求項１６に記載の画像処理装置と
前記撮像素子と、
前記画素加算部の出力に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。
【請求項１９】
請求項１８に記載の撮像装置であって、
前記撮像素子の前面に配置された開口絞りと、
前記撮像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記画素加算部の出力に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間とのうちの少なくとも１つを設定する
ことを特徴とする撮像装置。
【請求項２０】
請求項１９に記載の撮像装置であって、前記制御部は、前記画素加算部の出力の信号振幅と前記増幅利得と前記露光時間と前記増感倍率とに基づいて被写体照度の換算値を算出し、前記被写体照度の換算値に応じて、前記開口量と前記増幅利得と前記露光時間と前記増感倍率とを個別に設定することを特徴とする撮像装置。
【請求項２１】
請求項１６に記載の画像処理装置と
前記撮像素子と、
前記撮像素子に入射する光学像を測光することにより被写体照度を検出する測光部と、
前記被写体照度の検出値に応じて前記増感倍率の値を設定する制御部と
を備えることを特徴とする撮像装置。
【請求項２２】
請求項２１に記載の撮像装置であって、
前記制御部は、
前記撮像素子の前面に配置された開口絞りと、
前記撮像信号を増幅する信号増幅器と
をさらに備え、
前記制御部は、前記被写体照度の検出値に応じて、前記開口絞りの開口量と前記信号増幅器の増幅利得と前記撮像素子の露光時間と前記増感倍率とを個別に設定する
ことを特徴とする撮像装置。
【請求項２３】
請求項１８から２２のうちのいずれか１項に記載の撮像装置であって、前記撮像素子は、固体撮像素子であることを特徴とする撮像装置。
【請求項２４】
撮像素子から出力された撮像信号を処理する画像処理方法であって、
前記撮像信号に含まれる一連の画像の各々が注目画像として入力されたときに当該注目画像を構成する複数の画素の各々を注目画素として選択し、当該注目画像から抽出された複数の面内画素パターンの各々と当該注目画素との間の相関を表す面内相関評価値を算出するステップと、
前記面内相関評価値に基づいて前記複数の面内画素パターンの中から当該注目画素と最も相関が高い面内画素加算パターンを検出するステップと、
前記注目画像内において前記面内画素加算パターンの周辺に位置する複数の補助面内画素パターンを抽出し、当該抽出された複数の補助面内画素パターンの各々と当該注目画素との間の相関を表す補助面内相関評価値を算出するステップと、
前記補助面内相関評価値に基づいて前記複数の補助面内画素パターンの中から当該注目画素と最も相関が高い補助面内画素加算パターンを検出するステップと、
前記一連の画像のうち当該注目画像に対して時間的に隣接する参照画像から抽出された複数の参照画素パターンの各々と当該注目画素との間の相関を表す面間相関評価値を算出するステップと、
前記面間相関評価値に基づいて前記複数の参照画素パターンの中から当該注目画素と最も相関が高い主参照画素加算パターンを検出するステップと、
前記注目画素が選択される毎に、前記面内画素加算パターンの画素と前記主参照画素加算パターンの画素と前記補助面内画素加算パターンの画素とを加算して補正画素を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項２５】
記録媒体から読み出されて、請求項２４に記載の画像処理方法が備えるステップをプロセッサに実行させることを特徴とするコンピュータプログラム。
【請求項２６】
請求項２５に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。