【手続補正書】
【提出日】令和2年11月5日(2020.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像において、着目画素を基準とした複数の画素で構成される着目パッチと、該着目パッチと類似する類似パッチとを含むパッチ集合を取得する取得手段と、
前記着目パッチに含まれている各画素の画素値に基づいて、該各画素に対応するノイズ量パラメータを推定する第１の推定手段と、
前記パッチ集合に基づいて、前記パッチ集合に対応する共分散行列を算出する第１の算出手段と、
前記共分散行列と前記ノイズ量パラメータとに基づいて、前記各画素のノイズ量パラメータに応じた共分散行列を推定する第２の推定手段と、
前記第２の推定手段が推定した共分散行列を用いて、前記パッチ集合に含まれているパッチのうち少なくとも前記着目パッチのノイズを低減した第１のパッチを生成する処理を実行する処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
更に、
前記第１のパッチに基づいて、前記入力画像に対してノイズを低減した画像を合成する合成処理を行う合成手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の推定手段はさらに、ノイズが付加される前の前記パッチ集合を多次元正規分布でモデル化できると仮定し、事前確率モデルとして多次元正規分布を用いて、前記事前確率モデルを表すパラメータを事前確率パラメータとして推定し、
前記処理手段は、前記第２の推定手段が推定した共分散行列および前記事前確率パラメータを用いて前記第１のパッチを生成する処理を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の推定手段は、前記パッチ集合の平均ベクトルと前記パッチ集合の分散共分散行列と前記ノイズ量パラメータとに基づいて前記事前確率パラメータを推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記処理手段は、前記パッチ集合における各パッチを構成する画素に付加されているノイズが全て独立に正規分布に従うことを尤度としたときに、ノイズが付加される前のパッチの事後確率を最大化するようなノイズ低減後のパッチを、前記各パッチと前記事前確率モデルと前記尤度と前記ノイズ量パラメータとに基づいてベイズの定理により推定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記処理手段は、Ｐをノイズが付加される前の本来の画像に基づいて構成されるパッチ、
2019096222.tif 000001
を撮像素子によるノイズが付加された入力画像に基づいて構成されるパッチ、Σをパッチを構成する各画素のノイズ量パラメータを表した対角行列、
2019096222.tif 000002
をノイズが付加される前の本来の画像に基づいて構成されるパッチと該パッチに対する類似パッチとから生成されるパッチ集合の分散共分散行列、とするとき、前記事前確率モデルがＰ（Ｐ）、前記尤度が
2019096222.tif 000003
、前記事後確率が
2019096222.tif 000004
にそれぞれ対応し、前記事後確率を最大化するような式
2019096222.tif 000005
と同じものとみなせる計算に基づいて、前記第１のパッチを生成する処理を実行することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記取得手段は、
前記着目パッチと、前記入力画像において前記着目画素に対応する複数の参照画素のそれぞれについて、前記参照画素を基準として複数の画素で構成される参照パッチを設定する設定手段と、
前記設定手段が設定したそれぞれの参照パッチと前記着目パッチとの類似度を算出する算出手段と、
前記算出手段が算出した類似度に基づいて、前記パッチ集合に前記類似パッチとして含める参照パッチを選別する選別手段と
を備え、
前記着目パッチと前記選別手段で選別された参照パッチとを、前記パッチ集合として取得することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記選別手段は、前記算出手段が算出した類似度と規定値との比較により、前記パッチ集合に前記類似パッチとして含める参照パッチを選別することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記選別手段は、前記算出手段が算出した類似度が高い順に上位の規定の数の参照パッチを、前記類似パッチとして選別することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記第１の推定手段は、パッチの各画素値と前記入力画像を撮像した撮像素子のノイズ特性とに基づいてノイズ量パラメータを推定することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記第１の推定手段は、前記パッチ集合に含まれる各パッチに対して共通のノイズ量パラメータを推定することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の推定手段は、ノイズ量パラメータを推定する際に使用する画素値を算出する第２の算出手段を有し、前記画素値と前記ノイズ特性とに基づいてノイズ量パラメータを推定することを特徴とする請求項１０又は１１に記載の画像処理装置。
【請求項１３】
前記第２の算出手段は、前記パッチ集合における画素位置ごとの画素値の平均値を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第２の算出手段は、前記パッチ集合のうち、前記着目パッチと一枚以上の前記参照パッチとにおいて対応する画素位置ごとの画素値の重み付き平均値を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記第２の算出手段は、前記パッチ集合のうち、前記着目パッチと、該着目パッチとの類似度が高い順に上位の規定の数の前記参照パッチと、において対応する画素位置ごとの画素値の重み付き平均値を算出し、前記規定の数は前記パッチ集合のノイズ量に応じて決定されることを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
前記入力画像は、撮像素子による輝度依存性のあるノイズを含む画像であることを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項１７】
前記処理手段は、前記第２の推定手段が推定した共分散行列を用いて、前記パッチ集合に含まれている前記類似パッチのノイズを低減した第２のパッチを生成し、
前記合成手段は、前記第１のパッチと前記第２のパッチとを合成することを特徴とする請求項２に記載の画像処理装置。
【請求項１８】
更に、
前記入力画像における複数の画素を前記着目画素として、前記取得手段、前記第１の推定手段、前記第１の算出手段、前記第２の推定手段、前記処理手段、前記合成手段、により得られる画像を、前記入力画像に対するノイズ低減処理を行ったノイズ低減後画像として出力する出力手段を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項１９】
前記画像処理装置はデジタル撮像装置であることを特徴とする請求項１乃至１８の何れか１項に記載の画像処理装置。
【請求項２０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、入力画像において、着目画素を基準とした複数の画素で構成される着目パッチと、該着目パッチと類似する類似パッチとを含むパッチ集合を取得する取得工程と、
前記画像処理装置の第１の推定手段が、前記着目パッチに含まれている各画素の画素値に基づいて、該各画素に対応するノイズ量パラメータを推定する第１の推定工程と、
前記画像処理装置の第１の算出手段が、前記パッチ集合に基づいて、前記パッチ集合に対応する共分散行列を算出する第１の算出工程と、
前記画像処理装置の第２の推定手段が、前記共分散行列と前記ノイズ量パラメータとに基づいて、前記各画素のノイズ量パラメータに応じた共分散行列を推定する第２の推定工程と、
前記画像処理装置の処理手段が、前記第２の推定工程で推定した共分散行列を用いて、前記パッチ集合に含まれているパッチのうち少なくとも前記着目パッチのノイズを低減した第１のパッチを生成する処理を実行する処理工程と
を備えることを特徴とする画像処理方法。
【請求項２１】
コンピュータを、請求項１乃至１９の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一様態は、入力画像において、着目画素を基準とした複数の画素で構成される着目パッチと、該着目パッチと類似する類似パッチとを含むパッチ集合を取得する取得手段と、
前記着目パッチに含まれている各画素の画素値に基づいて、該各画素に対応するノイズ量パラメータを推定する第１の推定手段と、
前記パッチ集合に基づいて、前記パッチ集合に対応する共分散行列を算出する第１の算出手段と、
前記共分散行列と前記ノイズ量パラメータとに基づいて、前記各画素のノイズ量パラメータに応じた共分散行列を推定する第２の推定手段と、
前記第２の推定手段が推定した共分散行列を用いて、前記パッチ集合に含まれているパッチのうち少なくとも前記着目パッチのノイズを低減した第１のパッチを生成する処理を実行する処理手段と
を備えることを特徴とする。