【手続補正書】
【提出日】平成26年1月31日(2014.1.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成する画像推定部と、
前記ジャギー発生前推定画像におけるジャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、
前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算部を有する画像処理装置。
【請求項２】
前記画像推定部は、
前記ジャギー発生画像から生成した輝度画像を入力してジャギー発生前推定輝度画像を生成し、
前記加重加算部は、
前記ジャギー発生前推定輝度画像に基づいて前記重みを算出し、
前記ジャギー発生画像から生成した輝度画像を適用して、前記重みを適用した画素値の加重加算処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記画像推定部は、事前学習データを適用したベイズ推定処理により、ジャギー発生前推定画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像推定部は、前記ジャギー発生画像の平滑化処理によってジャギー発生前推定画像を生成する請求項１に記載の画像処理装置。
【請求項５】
前記画像推定部は、エッジを表現する特徴量の統計データを事前学習データとして適用したベイズ推定処理により、ジャギー発生前推定画像を生成する請求項１に記載の画像処理装置。
【請求項６】
前記加重加算部は、ＮＬ−Ｍｅａｎｓ（Ｎｏｎ  Ｌｏｃａｌ−Ｍｅａｎｓ）法を適用した加重加算処理を実行する請求項１に記載の画像処理装置。
【請求項７】
前記加重加算部は、Ｊｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒ法を適用した加重加算処理を実行する請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像を参照画像として、Ｊｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒ（ＪＢＦ）を適用した相関処理を実行して補正色差情報を生成するフィルタ処理部を有する請求項１に記載の画像処理装置。
【請求項９】
前記画像処理装置は、さらに、
前記加重加算部の算出した補正画素値を持つジャギー低減輝度画像と、補正前のジャギー発生画像に基づいて生成されるジャギー発生輝度画像とを、画像のエッジ領域に応じた重みに従ってブレンドするブレンド処理部を有する請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置において画像処理を実行する画像処理方法であり、
画像推定部が、ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成する画像推定ステップと、
加重加算部が、前記ジャギー発生前推定画像におけるジャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出し、
前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算ステップを実行する画像処理方法。
【請求項１１】
画像処理装置において画像処理を実行させるプログラムであり、
画像推定部に、ジャギー発生画像からジャギー発生前の画像を推定して、ジャギー発生前推定画像を生成させる画像推定ステップと、
加重加算部に、前記ジャギー発生前推定画像におけるジャギー発生領域を処理領域として選択し、該処理領域に類似する画素領域である類似領域を検出し、検出した類似領域各々に対して処理領域との類似度に応じた重みを算出させ、
前記処理領域と類似領域に対応する前記ジャギー発生画像の対応領域を検出し、検出した対応領域の画素値の前記重みを適用した加重加算処理により、前記ジャギー発生画像の処理領域の補正画素値を算出する加重加算ステップを実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
この画素数の削減に基づくジャギー発生について、図を参照して説明する。
図１には、
（ａ）撮像素子の画素配列（ベイヤー（Ｂａｙｅｒ）配列）、
（ｂ）出力画素の画素重心、
これらの図を示している。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
同様に、図１（ａ）に示す３×３画素のブロック２３に含まれる４つのＧｂ画素に基づいて、図１（ｂ）に示すＧｂ画素３３の画素値が算出される。
この場合、出力画像におけるＧｂ画素３３の重心は、（ｘ，ｙ）＝（６，２）の位置、すなわち、図１（ｂ）に示すＧｂ画素３３の位置となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
このシフト処理によって、以下のような問題が発生する。
例えば、
画素重心の位置が（ｘ，ｙ）＝（６，２）のＧｂ画素３３は、出力画像では、画素位置が（ｘ，ｙ）＝（４，２）のＧｂ画素５３として設定される。
また、
画素重心の位置が（ｘ，ｙ）＝（７，２）のＢ画素３４は、出力画像では、画素位置が（ｘ，ｙ）＝（５，２）のＢ画素５４として設定される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
ここで、縮尺率を算出する。
画素位置（ｘ，ｙ）＝（２，２）のＧＢ画素３１を固定位置とした基準画素と仮定して考える。
図２（ｂ）に示す画素位置（ｘ，ｙ）＝（６，２）のＧｂ画素３３は、基準画素であるＧｂ画素３１から４画素離れている。
これが、出力画像では、画素位置が（ｘ，ｙ）＝（４，２）のＧｂ画素５３として設定されるので、その基準画素：Ｇｂ画素３１からの距離は２画素となる。
すなわち、縮尺率は、
２画素／４画素＝１／２
となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
一方、図２（ｂ）に示す画素位置（ｘ，ｙ）＝（７，２）のＢ画素３４は、基準画素であるＧｂ画素３１から５画素離れている。
これが、出力画像では、画素位置が（ｘ，ｙ）＝（５，２）のＢ画素５４として設定されるので、その基準画素：Ｇｂ画素３１からの距離は３画素となる。
すなわち、縮尺率は、
３画素／５画素＝３／５
となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
［２．画像処理装置の構成と処理について］
本開示に係る画像処理装置の構成と処理について、図４以下を参照して説明する。
図４は、本開示に係る画像処理装置１００の主要部の構成例を示す図である。
画像処理装置１００は、例えばＲＧＢ画像等の入力画像８０を入力して、ジャギーを低減した画像である出力画像９０を生成して出力する。
画像処理装置１００は、図４に示すように、輝度色差成分分離部１０１、画像推定部（ベイズ推定部）１０２、加重加算部１０３、エッジ抽出部１０４、ブレンド処理部１０５、フィルタ処理部１０６、輝度色差合成部１０７を有する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
（２−２．（処理２）ジャギーの発生している輝度画像からベイズ推定によってジャギー発生前の輝度画像を推定する処理）
次にベイズ推定による輝度画像推定方法について説明する。
この処理は、図４に示す画像推定部（ベイズ推定部）１０２において実行する処理である。画像推定部（ベイズ推定部）１０２は、輝度色差成分分離部１０１の算出した輝度［Ｌ＝（Ｒ＋２Ｇ＋Ｂ）／４］を入力して、この輝度情報からなる輝度画像に基づいてベイズ推定によってジャギー発生前の輝度画像を推定する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
なお、各パラメータは以下のパラメータである。
ｘ：対象画素値のｘ座標
ｙ：参照画素値のｙ座標
Ｉ：画像全体の画素の集合
ｇ（ｘ）：ＮＬ−Ｍｅａｎｓ適用後の画素値
式［ｇ（ｘ）＝・・・］中のｆ（ｘ）：ＮＬ−Ｍｅａｎｓ適用前の画素値
式［ｗ（ｘ，ｙ）＝・・・］中のｆ（ｘ）：座標ｘの近傍画素値をベクトルで表現したもの
ｗ（ｘ，ｙ）：座標ｘ，ｙにある画素値から得られる重み
ｈ：ＮＬ−Ｍｅａｎｓの強度調整パラメータ
Ｃ（ｘ）：重みの総和
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
（２−４．（処理４）処理３によるジャギー低減画像のエッジ領域と、原画像のエッジ領域以外の部分をブレンドする処理）
次に、処理３によるジャギー低減画像のエッジ領域と、原画像のエッジ領域以外の部分をブレンドする処理について説明する。
この処理は、図４に示す画像処理装置１００のエッジ抽出部１０４と、ブレンド処理部１０５の処理として実効される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
そこで、処理対象画像内のジャギーの多く発生するエッジ近辺にはＮＬ−Ｍｅａｎｓの結果を積極的に利用し、それ以外の領域は原画像を積極的に用いるようなブレンド処理（マスク処理）を行う。
すなわち、ＮＬ−Ｍｅａｎｓ適用結果を利用したいのはエッジ近辺のみであり、通常のエッジ検出フィルタで反応するようなテクスチャ成分は原画像を利用するという画像特徴に応じて、それぞれの出力をブレンドする処理を行う。
このブレンド処理を実行するのが、図４に示す画像処理装置１００のブレンド処理部１０５である。
エッジ検出処理は、エッジ抽出部（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）１０４において実行される。