(57)【要約】【課題】写真画像データに対して、粒状のノイズに応じた平滑化領域を設定して、粒状ノイズを効果的に抑制できる写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置を提供する。【解決手段】写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法であって、写真画像データの注目画素の画素成分を抽出する画素成分抽出ステップと、注目画素の画素成分である原画素成分とノイズ抑制画像データの注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項と、ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項とを備え、データ項と平滑化項の夫々に係数を乗じて加算したエネルギー関数を生成し、エネルギー関数が最小値を示すノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理ステップと、を含む。【選択図】図４
2010034713.tif 000002
【特許請求の範囲】
【請求項１】
写真画像データに含まれる粒状のノイズを抑制してノイズ抑制画像データを生成する写真画像処理方法であって、
前記写真画像データの注目画素の画素成分を抽出する画素成分抽出ステップと、
前記注目画素の画素成分である原画素成分と前記ノイズ抑制画像データの前記注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項と、
前記ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項とを備え、
前記データ項と前記平滑化項の夫々に係数を乗じて加算したエネルギー関数を生成し、前記エネルギー関数が最小値を示す前記ノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理ステップと、
を含む写真画像処理方法。
【請求項２】
前記画素成分抽出ステップで抽出された画素成分から平滑化すべき平滑化画素と平滑化すべきでない非平滑化画素を識別し、その識別結果に基づいて平滑化マスク画像データを算出する平滑化処理ステップをさらに備え、
前記データ項は、前記ノイズ抑制画素成分と前記原画素成分の画素値の差分を、前記ノイズ抑制画素成分の全画素に対して累積加算した値と所定の第一係数の積で生成され、
前記重み係数は、前記ノイズ抑制画素成分の隣接する二画素に該当する前記平滑化マスク画像データの二画素の画素値の平均値であり、
前記平滑化項は、前記ノイズ抑制画素成分の隣接する二画素の画素値の差分に、前記重み係数を乗じた結果である平滑化エネルギーを、前記ノイズ抑制画素成分の全ての隣接する二画素に対して累積加算した値と所定の第二係数の積で生成される請求項１記載の写真画像処理方法。
【請求項３】
前記画素成分抽出ステップは、前記写真画像データから輝度成分と色差成分を抽出し、
前記ノイズ抑制処理部は、前記輝度成分の前記ノイズ抑制画素成分と、前記色差成分の前記ノイズ抑制画素成分を算出し、
前記輝度成分の前記ノイズ抑制画素成分と前記色差成分の前記ノイズ抑制画素成分から、ＲＧＢ成分の前記ノイズ抑制画素成分である前記ノイズ抑制画像データに変換する画素成分変換ステップをさらに含む、
請求項２記載の写真画像処理方法。
【請求項４】
前記平滑化処理ステップは、前記輝度成分をエッジ抽出フィルタによるフィルタ処理で得られたエッジ情報に基づいて前記平滑化マスク画像データを算出する請求項３記載の写真画像処理方法。
【請求項５】
前記エッジ抽出フィルタは、ソーベルフィルタである請求項４記載の写真画像処理方法。
【請求項６】
前記平滑化処理ステップは、サポートベクターマシンを利用して、前記写真画像データのＲＧＢ成分の共分散値行列特徴量から、前記ＲＧＢ成分の各画素に対して前記平滑化画素と前記非平滑化画素の識別を行い、閾値処理する前の出力結果を正規化して前記平滑化マスク画像データを算出する請求項３記載の写真画像処理方法。
【請求項７】
前記ノイズ抑制処理部は、前記輝度成分の前記ノイズ抑制画素成分を算出する場合の前記第二の係数の値を、前記色差成分の前記ノイズ抑制画素成分を算出する場合の前記第二の係数の値よりも小さい値に設定する請求項３から６の何れかに記載の写真画像処理方法。
【請求項８】
写真画像データに含まれる粒状のノイズを抑制してノイズ抑制画像データを生成する写真画像処理プログラムであって、
前記写真画像データの注目画素の画素成分を抽出する画素成分抽出ステップと、
前記注目画素の画素成分である原画素成分と前記ノイズ抑制画像データの前記注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項と、
前記ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項とを備え、
前記データ項と前記平滑化項の夫々に係数を乗じて加算したエネルギー関数を生成し、前記エネルギー関数が最小値を示す前記ノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理ステップと、
をコンピュータに実行させるための写真画像処理プログラム。
【請求項９】
写真画像データに含まれる粒状のノイズを抑制してノイズ抑制画像データを生成する写真画像処理装置であって、
前記写真画像データの注目画素の画素成分を抽出する画素成分抽出部と、
前記注目画素の画素成分である原画素成分と前記ノイズ抑制画像データの前記注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項と、
前記ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項とを備え、
前記データ項と前記平滑化項の夫々に係数を乗じて加算したエネルギー関数を生成し、前記エネルギー関数が最小値を示す前記ノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理部と、
を含む写真画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラで撮影された画像を観察すると、画像に細かな粒状のノイズが重畳されていることが観察される。特に画像の暗部でざらつくようなノイズが目立ち、暗所でストロボ発光無しで撮影された画像には同様のノイズが画像全体に現れる。
【０００３】
これらのノイズは、撮像素子のリセットノイズや暗電流ノイズ等、素子の特性等に起因して発生するもので、撮影環境が悪い、つまり被写体の照度が低いほどノイズ成分が勝り、さらにゲイン調整によって明るさを補正する場合にノイズが強調されるようになる。
【０００４】
同様に、光学カメラによって撮影されたフィルム画像にも色素雲の大きさに基づいた粒状ムラが存在し、フィルムスキャナを介してデジタル画像に変換した写真画像データには細かな粒状のノイズが重畳されている。これらの粒状のノイズは、写真画像を拡大処理したときに顕著に現れる。
【０００５】
本発明者は、自動露光（ＡＥ、auto exposure）により撮影した画像とシャッター速度を速くしてゲインを上げた状態で撮影した画像の画素値を、ＲＧＢの色チャンネルを各軸とした３次元空間にプロットし、粒状ノイズを含む画像の画素値がＲＧＢ色空間でどのように分布するかを知見している。
【０００６】
上述の知見によると、自動露光で撮影された画像は、色が線状に分布しているが、ゲインを上げた状態で撮影された画像では、粒状ノイズの発生により、色がＲＧＢ各チャンネルに一定の幅でばらつき、線の幅が太くなることが確認されている。また、この線の膨らみは等方的であることから、これは粒状ノイズが各色独立に発生していることと考えられる。
【０００７】
また、非特許文献１では、分割した領域内のＲＧＢ値の固有値と固有ベクトルを調べた結果、第一固有値が他の２つの固有値よりも著しく大きいことが示されている。さらに、他の２つの固有値を無視して全画素値を第一固有値に射影して得られた画像は元の画像にほぼ復元されるため、各領域内のＲＧＢ値が線状に分布していることも確認され、また、膨張の幅には限度があることも確認されている。さらに、強力な光を発している窓や蛍光灯等の部分では粒状ノイズはほとんど観測されないことも確認されている。
【０００８】
以上のことから、粒状ノイズは、以下の性質があることが確認された。１）ＲＧＢの色チャンネルに依存しない独立なノイズである（色の独立性）。２）粒状ノイズの大きさは輝度値に対して独立であるとは言えない（輝度値依存性）。３）粒状ノイズを観測するためには、画像を局所的に分析する必要がある（局所性）。
【０００９】
このような粒状ノイズを抑制する手法として、従来、「エッジ保存平滑化（Edge Preserving Smoothing）」や「バイラテラルフィルタ（Bilateral Filter）」、「グラフカット（Graph Cuts）」、領域分割によるノイズ推定・除去等の平滑化手法（非特許文献１）が用いられている。
【００１０】
「エッジ保存平滑化（Edge Preserving Smoothing）」は、所定サイズの平滑化マスク内で分散が小さくなる画素集合を用いて、エッジの情報を保存しながらノイズを抑制する手法である。しかし、粒状ノイズを抑制するには空間的に広い範囲での平滑化処理が必要になるため、通常用いられるマスクサイズでは、色むらが残り、輪郭（以下、「エッジ」と示す。）部分が過剰に鮮鋭化されて不自然な画像となってしまう。
【００１１】
「バイラテラルフィルタ（Bilateral Filter）」は、空間的に近接し、画素値の上でも近接した画素の荷重を強めてエッジの情報を保存しながら、重み付き平均によって平滑化を行う手法である。しかし、粒状ノイズは空間的にも画素値の上でも孤立性が強いため、「バイラテラルフィルタ（Bilateral Filter）」でノイズを除去すると、フィルタの幅を広げなければならない。その結果生じる過剰な平滑化によって、被写体のテクスチャまで失われてしまう。また、近接する画素が近接した画素値を多数持ちにくい領域においては、領域境界部分に細かい凹凸が現れ、エッジ部分が細くなることが顕著となる。
【００１２】
一方、マルコフ確率場（Markov Random Field、エム・アール・エフ（ＭＲＦ)）を用いて定式化される問題の最適解を求める「グラフカット（Graph Cuts）」は近年注目を集めており、画像のノイズ除去に適用する試みもなされている。これは、「与えられた画素値とできるだけ一致し」、且つ、「各画素周辺の画素値のばらつきができるだけ小さくなる」という２条件を満足する画像を、エネルギー最小化によって求める手法である。
【００１３】
このエネルギー関数は与えられた画像とのずれを表すエネルギー項である「データ項」と、画素値のばらつきを表すエネルギー項である「平滑化項」の和として表現される。この手法は平滑化の度合いを各エネルギー項の重みで調整できるというメリットがあり、エッジの情報を保存しながら、細かい粒状ノイズを抑制することができる。しかし、実際に重みの調整を行っても、「エッジ保存平滑化（Edge Preserving Smoothing）」や「バイラテラルフィルタ（Bilateral Filter）」と同様に、平坦な領域に色むらが現れ、それぞれが微妙に異なる色を持つことがわかった。
【非特許文献１】C.Liu,R.Szeliski,S.B.Kang,C.L.Zitnick,and W.T.Freeman,”Automatic Estimation and Removal of Noise from a Single Image”,IEEE Transactions on PAMI,vol.30,no.2,pp.299-314,2008.
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上述の従来の手法に共通することは、「空間的に一様な処理を画像全体に適用する」ことである。これらの手法で良好な結果が得られないという事実は、何らかの空間的不均一性を導入すべきであることを示唆しているといえる。尚、このことは、非特許文献１において、画像を所定サイズに分割した領域内の画素値を、ＲＧＢ空間内の線形部分空間に射影することによって、色ノイズを除去することに成功していることからも正当化される。
【００１５】
しかし、非特許文献１が示す手法では、「領域」という比較的大きな単位を利用するため、手続き的かつ複雑になっており、問題の本質をとらえた手法であるとは言い難かった。
【００１６】
本発明は、上述の従来欠点に鑑み、写真画像データに対して、粒状のノイズに応じた平滑化領域を設定して、粒状ノイズを効果的に抑制できる写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置を提供する点にある。
【課題を解決するための手段】
【００１７】
上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、写真画像データに含まれる粒状のノイズを抑制してノイズ抑制画像データを生成する写真画像処理方法であって、前記写真画像データの注目画素の画素成分を抽出する画素成分抽出ステップと、前記注目画素の画素成分である原画素成分と前記ノイズ抑制画像データの前記注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項と、前記ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項とを備え、前記データ項と前記平滑化項の夫々に係数を乗じて加算したエネルギー関数を生成し、前記エネルギー関数が最小値を示す前記ノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理ステップと、を含む点にある。
【００１８】
上述の構成によれば、平滑化項において、画素値のばらつきに空間的に不均一な重み係数を乗じているため、実質的に場所毎の平滑化の度合いが変化したノイズ抑制画素成分を生成することができるようになる。
【００１９】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記画素成分抽出ステップで抽出された画素成分から平滑化すべき平滑化画素と平滑化すべきでない非平滑化画素を識別し、その識別結果に基づいて平滑化マスク画像データを算出する平滑化処理ステップをさらに備え、前記データ項は、前記ノイズ抑制画素成分と前記原画素成分の画素値の差分を、前記ノイズ抑制画素成分の全画素に対して累積加算した値と所定の第一係数の積で生成され、前記重み係数は、前記ノイズ抑制画素成分の隣接する二画素に該当する前記平滑化マスク画像データの二画素の画素値の平均値であり、前記平滑化項は、前記ノイズ抑制画素成分の隣接する二画素の画素値の差分に、前記重み係数を乗じた結果である平滑化エネルギーを、前記ノイズ抑制画素成分の全ての隣接する二画素に対して累積加算した値と所定の第二係数の積で生成される点にある。
【００２０】
上述の構成によれば、平滑化項に含まれる空間的に不均一な重み係数が、一旦平滑化画素と非平滑化画素を識別した結果である平滑化マスク画像データから算出されるため、平滑化領域が広くなり過ぎることを抑制できるようになる。
【００２１】
同第三の特徴構成は、同請求項３に記載した通り、上述の第二特徴構成に加えて、前記画素成分抽出ステップは、前記写真画像データから輝度成分と色差成分を抽出し、前記ノイズ抑制処理部は、前記輝度成分の前記ノイズ抑制画素成分と、前記色差成分の前記ノイズ抑制画素成分を算出し、前記輝度成分の前記ノイズ抑制画素成分と前記色差成分の前記ノイズ抑制画素成分から、ＲＧＢ成分の前記ノイズ抑制画素成分である前記ノイズ抑制画像データに変換する画素成分変換ステップをさらに含む点にある。
【００２２】
上述の構成によれば、輝度成分から平滑化マスク画像データが生成されるため、粒状ノイズの特徴である輝度成分の依存性を加味して、粒状ノイズを適切に抑制できるようになる。
【００２３】
同第四の特徴構成は、同請求項４に記載した通り、上述の第三特徴構成に加えて、前記平滑化処理ステップは、前記輝度成分をエッジ抽出フィルタによるフィルタ処理で得られたエッジ情報に基づいて前記平滑化マスク画像データを算出する点にある。
【００２４】
上述の構成によれば、エッジ抽出フィルタによるフィルタ処理で得られるエッジ情報に基づいて平滑化すべきでない非平滑化画素を識別し、その識別結果に基づいて平滑化マスク画像データが算出される。したがって、平滑化マスク画像データから算出される重み係数にも、エッジ情報を保存する効果が反映されるようになる。
【００２５】
同第五の特徴構成は、同請求項５に記載した通り、上述の第四特徴構成に加えて、前記エッジ抽出フィルタは、ソーベルフィルタである点にある。
【００２６】
上述の構成によれば、ソーベルフィルタによる平滑化の特徴的な効果である、なめらかなエッジの抽出とノイズ抑制の効果が平滑化マスク画像データに反映されるため、平滑化マスク画像データから算出される重み係数にも、なめらかなエッジの抽出及びノイズ抑制の効果が反映されるようになる。
【００２７】
同第六の特徴構成は、同請求項６に記載した通り、上述の第三特徴構成に加えて、前記平滑化処理ステップは、サポートベクターマシンを利用して、前記写真画像データのＲＧＢ成分の共分散値行列特徴量から、前記ＲＧＢ成分の各画素に対して前記平滑化画素と前記非平滑化画素の識別を行い、閾値処理する前の出力結果を正規化して前記平滑化マスク画像データを算出する点にある。
【００２８】
上述の構成によれば、ＲＧＢ成分の共分散値行列特徴量から、粒状ノイズの性質である局所的な色の分布を評価することができるため、粒状ノイズにどれほど近いかを分析することが可能となる。また、教師あり学習を用いる識別手法の一つであるサポートベクターマシン（Support Vector Machine）を利用して、当該ＲＧＢ成分の共分散値行列特徴量の識別問題を扱うことにより、粒状ノイズが適切に識別され、粒状ノイズが適切に抑制された平滑化マスク画像データを算出することができる。したがって、平滑化マスク画像データから算出される重み係数にも、粒状ノイズの適切な抑制効果が反映されるようになる。
【００２９】
同第七の特徴構成は、同請求項７に記載した通り、上述の第三から第六の何れかの特徴構成に加えて、前記ノイズ抑制処理部は、前記輝度成分の前記ノイズ抑制画素成分を算出する場合の前記第二の係数の値を、前記色差成分の前記ノイズ抑制画素成分を算出する場合の前記第二の係数の値よりも小さい値に設定する点にある。
【００３０】
人間の視覚的な空間解像度知覚は、色差成分よりも輝度成分に対しての方が敏感である。上述の構成によれば、輝度成分に対する平滑化の度合いを弱め、一方色差成分に対する平滑化の度合いを高めることにより、視覚的に影響のない粒状ノイズを強く抑制し、視覚的に影響がある粒状ノイズが適度に抑制されたノイズ抑制画像データを生成できるようになる。
【００３１】
同第八の特徴構成は、本発明による写真画像処理プログラムの特徴構成であり、同請求項８に記載した通り、写真画像データに含まれる粒状のノイズを抑制してノイズ抑制画像データを生成する写真画像処理プログラムであって、前記写真画像データの注目画素の画素成分を抽出する画素成分抽出ステップと、前記注目画素の画素成分である原画素成分と前記ノイズ抑制画像データの前記注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項と、前記ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項とを備え、前記データ項と前記平滑化項の夫々に係数を乗じて加算したエネルギー関数を生成し、前記エネルギー関数が最小値を示す前記ノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理ステップと、をコンピュータに実行させる点にある。
【００３２】
同第九の特徴構成は、本発明による写真画像処理装置の特徴構成であり、同請求項９に記載した通り、写真画像データに含まれる粒状のノイズを抑制してノイズ抑制画像データを生成する写真画像処理装置であって、前記写真画像データの注目画素の画素成分を抽出する画素成分抽出部と、前記注目画素の画素成分である原画素成分と前記ノイズ抑制画像データの前記注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項と、前記ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項とを備え、前記データ項と前記平滑化項の夫々に係数を乗じて加算したエネルギー関数を生成し、前記エネルギー関数が最小値を示す前記ノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理部と、を含む点にある。
【発明の効果】
【００３３】
以上説明した通り、本発明によれば、写真画像データに対して、粒状のノイズに応じた平滑化領域を設定して、粒状ノイズを効果的に抑制できる写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置を提供することができるようになった。
【発明を実施するための最良の形態】
【００３４】
以下、本発明による写真画像処理方法及び写真画像処理装置の実施の形態について説明する。
【００３５】
図１に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理して写真プリントを生成出力する写真プリンタ２と、写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行ない、原画像から編集処理した出力画像データを写真プリンタ２に出力する操作ステーション３を備えて構成されている。
【００３６】
操作ステーション３は、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１と、デジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２と、コントローラ３３としての汎用コンピュータ等を備えている。
【００３７】
図１及び図２に示すように、写真プリンタ２は、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えている。
【００３８】
露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。
【００３９】
搬送経路に沿って配置された露光部２４や現像処理部２５に、所定のプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。
【００４０】
操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、写真処理装置１の各種の画像処理や入出力制御を実行するための複数のアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。当該アプリケーションプログラムに本発明による画像処理プログラムが含まれる。
【００４１】
コントローラ３３は、そのハードウェア及びソフトウェアが協働して写真処理プロセスを実行するブロックで、以下に、各機能ブロックに分けて説明する。
【００４２】
図３に示すように、コントローラ３３は、フィルムスキャナ３１やメディアドライバ３２によって読み取られた原画像としての写真画像データを受け取り、所定の前処理を行なってメモリ４１に転送する画像入力部４０と、モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対するキーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、画像入力部４０から転送される写真画像データ及び画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、メモリ４１に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なう画像処理部４７を備えている。
【００４３】
さらに、グラフィックユーザーインターフェース部４２からの表示コマンドに基づいてメモリ４１に展開された画像データや各種の入出力用グラフィックデータ等をモニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等を備えている。
【００４４】
フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されてプリンタ２に出力される。
【００４５】
同様に、メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際にメモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されてメモリ４１に転送される。
【００４６】
このように、頻繁に試行錯誤される各種の編集処理が低解像度の画像に対して実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。
【００４７】
画像処理部４７には、メモリ４１に格納された原画像である写真画像データに対して撮影レンズに起因する歪を補正する歪補正部５０と、粒状ノイズを抑制する粒状ノイズ抑制処理部５１と、画像のエッジを強調し、ノイズを抑制する鮮鋭化処理部５２と、自然なカラーを再現できるようにカラーバランスを調整するカラー補正部５３と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部５４等の複数の画像処理ブロックを備えている。
【００４８】
粒状ノイズ抑制処理部５１は、本発明による画像処理装置として機能し、写真フィルムＦから本スキャンモードで読み込まれた画像データに含まれる粒状ノイズを抑制するフィルム画像用の粒状ノイズ抑制処理部５１と、メディアドライバ３２から読み込まれた高解像度の画像データに含まれる粒状ノイズを抑制するデジタルカメラ撮影画像用の粒状ノイズ抑制処理部５１を備えている。
【００４９】
以下、メディアドライバ３２から入力されるデジタルカメラで撮影された写真画像データの処理について詳述するが、写真フィルムＦから本スキャンモードで読み込まれた写真画像データも同様の処理を行なうことが可能である。
【００５０】
メディアドライバ３２から読み込まれた複数のサムネイル画像データ及び高解像度の画像データがメモリ４１に格納されると、モニタ３４の画面にサムネイル画像データに基づく数コマの写真画像とグラフィック操作画面が表示される。尚、通常、メディアに格納されているデジタル画像はＪＰＥＧ方式により圧縮されているため、逆変換して伸長処理した画像データが格納される。
【００５１】
モニタ３４の画面に表示された各コマ画像に対して、グラフィック操作画面に対するオペレータの操作を介してオーダー処理部４３によりプリント条件、つまり、プリント枚数やプリントサイズ等が設定される。
【００５２】
さらに、各コマ画像に対して、オペレータの操作を介して画像処理部４７により歪補正、鮮鋭化処理、カラー補正が実行され、このとき設定された画像の補正処理条件がメモリ４１に格納される。
【００５３】
モニタ３４の画面に表示された各コマ画像に対するプリント条件の設定や補正処理の操作が終了すると、次画面にスクロールして、全コマ画像に対して同様の処理が実行される。
【００５４】
全ての操作処理が終了し、グラフィック操作画面を介してプリント出力操作が行なわれると、メモリ４１に格納されている高解像度の写真画像データに対して、歪補正、粒状ノイズ抑制処理、鮮鋭化処理、カラー補正処理、拡縮処理等の画像処理が順番に実行され、プリントデータ生成部４４によって画像処理後の画像データがプリントデータに変換生成され、写真プリンタ２に出力される。
【００５５】
高解像度の写真画像データに対する歪補正、鮮鋭化処理、カラー補正処の夫々は、サムネイル画像に対して設定された補正処理条件、つまりメモリ４１に格納された補正処理条件に基づいて自動的に補正処理が実行される。
【００５６】
以下、本発明によるデジタルカメラ撮影画像用の粒状ノイズ抑制処理部５１について詳述する。
【００５７】
図４に示すように、粒状ノイズ抑制処理部５１は、写真画像データから注目画素の画素成分を抽出する画素成分抽出部１０と、画素成分抽出部１０で抽出された原画素成分に含まれる粒状のノイズを抑制してノイズ抑制画素成分を出力するノイズ抑制処理部１１と、ノイズ抑制画素成分が示す画素成分をＲＧＢ成分に変換してノイズ抑制画像データを生成する画素成分変換部１２と、を備えている。
【００５８】
画素成分抽出部１０は、写真画像データを構成する各画素のＲＧＢ成分ＲＧＢの夫々をＹＵＶ成分に変換するＲＧＢ−ＹＵＶ変換処理部１０１を備え、ＲＧＢ−ＹＵＶ変換処理部１０１で得られた輝度成分Ｙと色差成分ＵＶの夫々と、画素成分抽出部１０に入力されたＲＧＢ成分ＲＧＢをそのまま出力可能に構成されている。
【００５９】
画素成分変換部１２は、後述するノイズ抑制処理部１１から得られたノイズ抑制画素成分のうち、輝度成分Ｙのノイズ抑制画素成分と、色差成分ＵＶのノイズ抑制画素成分から得られる各画素のＹＵＶ成分の夫々をＲＧＢ成分ＲＧＢに変換するＹＵＶ‐ＲＧＢ変換処理部１２１を備えている。
【００６０】
ノイズ抑制処理部１１は、画素成分抽出部１０から得られた輝度成分ＹあるいはＲＧＢ成分ＲＧＢから平滑化すべき平滑化画素と平滑化すべきでない非平滑化画素を識別し、その識別結果に基づいて平滑化マスク画像データを算出する平滑化処理部１１２と、平滑化処理部１１２から得られた平滑化マスク画像データと画素成分抽出部１０から得られた原画素成分から、後述するグラフカット法により粒状ノイズが抑制されたノイズ抑制画素成分を算出するグラフカット法演算処理部１１１と、を備えている。
【００６１】
画素成分変換部１２は、入力された輝度成分Ｙと色差成分ＵＶのノイズ抑制画素成分を、ＹＵＶ‐ＲＧＢ変換処理部１２１を介して、ＲＧＢ成分ＲＧＢに逆変換した結果のデータをノイズ抑制画像データとして出力する。
【００６２】
ＲＧＢ−ＹＵＶ変換処理部１０１は、以下の変換式に基づいて、メモリ４１から読み出した高解像度の原画像である写真画像データ（例えば、８００万画素であれば、横３２６４画素×縦２４４８画素程度である）を構成する各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の夫々の色成分（以下、「ＲＧＢ」と記す。）を、輝度成分Ｙと色差成分ＵＶに変換して出力する。
Ｙ    ＝    ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｕ    ＝  −０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｖ    ＝    ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【００６３】
平滑化処理部１１２は、画素成分に応じて平滑化マスク画像データの算出方法を変え、算出した平滑化マスク画像データをグラフカット法演算処理部１１１へ出力する。画素成分抽出部１０から出力された輝度成分ＹとＲＧＢ成分ＲＧＢのうち、どちらの原画素成分を利用して平滑化マスク画像データを算出するかは、写真画像処理装置１の初期設定時にメモリ４１に記憶された設定情報により判断される。
【００６４】
尚、メモリ４１へ当該算出に利用する画素成分の設定情報は、画像処理を行う度にグラフィックユーザーインターフェース部４２を介して、ユーザからの入力により設定可能に構成しても構わない。
【００６５】
平滑化処理部１１２は、ＲＧＢ−ＹＵＶ変換処理部１０１から得られた輝度成分Ｙを利用して平滑化マスク画像データを算出する場合は、輝度成分Ｙをソーベルフィルタによりフィルタ処理を行なった結果である平滑化マスク画像データを出力する。
【００６６】
ソーベルフィルタは、ノイズを抑えながらエッジを抽出する場合によく利用されるフィルタであり、例えば、縦方向のエッジを抽出する場合は、横方向に対して微分した後、それと直交する縦方向に関して平滑化を施して、縦方向のエッジは残しつつノイズを低減しようというものである。
【００６７】
ソーベルフィルタにより縦方向と横方向の夫々についてエッジ抽出を行い、各画素における縦方向のエッジ抽出結果をＳｙ、横方向のエッジ抽出結果をＳｘとした場合、画素値の勾配Ｓは、
【数１】
2010034713.tif 000003
で表される。
【００６８】
即ち、平滑化処理部１１２は、入力された輝度成分Ｙをソーベルフィルタによりフィルタ処理した結果の各画素値の勾配Ｓを算出し、勾配Ｓを各画素の画素値とした画像データを、平滑化マスク画像データとして出力する。
【００６９】
尚、平滑化マスク画像データは、上述のソーベルフィルタに限らず、エッジ情報を抽出することにより、平滑化画素と非平滑化画素を識別することができる「エッジ保存平滑化（Edge Preserving Smoothing）」や「バイラテラルフィルタ（Bilateral Filter）」等のフィルタ処理の結果から算出しても構わない。
【００７０】
また、平滑化処理部１１２は、ＲＧＢ成分ＲＧＢを利用して平滑化マスク画像データを算出する場合は、サポートベクターマシンを利用して、ＲＧＢ成分ＲＧＢの共分散値行列特徴量から、ＲＧＢ成分の各画素に対して平滑化画素と非平滑化画素の識別を行い、閾値処理する前の出力結果を正規化して平滑化マスク画像データを算出する。
【００７１】
まず、ＲＧＢ成分ＲＧＢから、注目画素を中心とした３×３の近傍領域に対して、以下の３つの共分散値行列特徴量を求める。
１．領域内のＲＧＢ成分の共分散行列Ｓの行列式    ｄｅｔ（Ｓ）
２．領域内のＲＧＢ成分の共分散行列Ｓのトレース  ｔｒａｃｅ
３．領域内の最大輝度成分値と最小輝度成分値の差  ｍａｘｍｉｎ
【００７２】
ただし、行列式ｄｅｔ（Ｓ）と、トレースｔｒａｃｅは以下のように正規化を行う。
【数２】
2010034713.tif 000004
2010034713.tif 000005
2010034713.tif 000006
2010034713.tif 000007
【００７３】
これらの共分散値行列特徴量を用いて、２クラスの識別問題を扱うために教師あり学習を用いる識別手法の一つであるサポートベクターマシン（Support Vector Machine (SVM)）を利用する。サポートベクターマシンでは、各画素に対して平滑化を行うべき平滑化画素のクラスに属するか、平滑化を行わない非平滑化画素のクラスに属するかを識別し、２クラスを閾値処理する前に０から２５５の値をとるように正規化した値を、平滑化マスク画像データの各画素の画素値とする。
【００７４】
グラフカット法演算処理部１１１は、平滑化処理部１１２から入力される平滑化マスク画像データを利用して、画素成分抽出部１０で抽出された輝度成分Ｙと色差成分ＵＶの夫々の原画素成分から、粒状ノイズを抑制したノイズ抑制画素成分をグラフカット法により算出する。
【００７５】
グラフカット法は、離散最適化問題を解く手法として近年盛んに用いられており、画像処理等の問題をエネルギー最小化の問題として捉え、グラフの最小切断（グラフカット）アルゴリズムを使って、最適解を算出する手法である。
【００７６】
以下では、本発明におけるエネルギー関数とグラフ構造の関係、及び、最適化の原理について説明する。
【００７７】
まず、画像Ｖに対する各画素ｖをｖ∈Ｖとしたとき、有限個のラベルからなる集合ＬからラベルＬｖを一つずつ画像Ｖの各画素ｖに割り振られるエネルギーを、次のエネルギー関数Ｅ(Ｌ)として定義する。
【数３】
2010034713.tif 000008
【００７８】
Ｅｄａｔａ（Ｌ）は、観測画像データとラベルＬｖの相違に対するペナルティ関数であり、Ｅｓｍｏｏｔｈ（Ｌ）は、画素間の不連続に対するペナルティ関数である。ここで、Ｅｄａｔａ（Ｌ）とＥｓｍｏｏｔｈ（Ｌ）を次のように定義する。
【数４】
2010034713.tif 000009
【数５】
2010034713.tif 000010
【００７９】
ここで、Ｎは隣接関係であり、（ｕ，ｖ）∈Ｎは画素ｕとｖが隣接していることを示し、Ｌｕ、Ｌｖは、画素ｕとｖに割り当てられるラベルを示す。
【００８０】
Ｅｄａｔａ（Ｌ）は、各画素に割り当てられたラベルのみに依存する値であり、各画素にどのラベルを割り当てるかについて、画像データから来る直接的な影響を受けるという意味で、「データ項」と呼ばれる。
【００８１】
Ｅｓｍｏｏｔｈ（Ｌ）は、隣接する画素に割り当てられるラベルの関係に依存する値であり、隣接する画素間の値が大きく変化しないよう、隣接する各画素間に割り当てるべきラベルの値を近づけて滑らかにするという意味で、「平滑化項」と呼ばれる。
【００８２】
グラフカット法で作成されるグラフは、ノード（頂点）とそれらを接続するエッジ（辺）以外に、ターミナルと呼ばれる特別なノードで構成される。また、全てのエッジ（辺）には、コスト（重み）がある。
【００８３】
グラフカット法では、上述のグラフを作成し、最小カット最大フローアルゴリズムでコストが最小となるようなエッジをカットし、ノードにラベルの割り当てを行う。
【００８４】
例えば、図５（ａ）に示すように、ソースｓとシンクｔの２つのターミナルと、４つのノードｖ１，ｖ２，ｖ３，ｖ４を作成し、ｎ−ｌｉｎｋと呼ばれる各ノード間を接続するエッジと、ｔ−ｌｉｎｋと呼ばれる各ノードと各ターミナルを接続するエッジを作成する。
【００８５】
続いて、図５（ｂ）に示すように、作成したグラフに対して、最小カット最大フローアルゴリズムを用いて、ソースｓからシンクｔへ向かう方向のエッジのコスト（図５（ｂ）の太線部参照）が最小となるよう、ノードの集合Ｖを２つの部分集合ＳとＴに２分割（カット）する。ただし、ｓ∈Ｓ、ｔ∈Ｔである。
【００８６】
ここで、ノードは画像の各画素、ターミナルは各画素に割り当てられる画素値の部分集合と考えた場合、上述のグラフのカットは、各画素に対して、画素値の部分集合を割り当てることとみなすことができる。
【００８７】
また、カットされるｎ−ｌｉｎｋの両端の画素には、異なる画素値の部分集合が割り当てられるため、ｎ−ｌｉｎｋのコストは、画素間の不連続に対するペナルティと考えられる。
【００８８】
また、図５（ｂ）に示すように、カットされたｔ−ｌｉｎｋの両端のノードのうち、ターミナルでないノードには、画素値の部分集合を示す部分集合が割り当てられるため、ｔ−ｌｉｎｋのコストは、元来割り当てられていたラベルと、カット後に割り当てられるラベルの相違に対するペナルティと考えられる。
【００８９】
例えば、ノードｖ２が部分集合Ｓに属するノードであった場合は、カットにより再び部分集合Ｓに属するラベルが割り当てられ、ノードｖ２が部分集合Ｔに属するノードであった場合は、カットにより異なる部分集合Ｓに属するラベルが割り当てられる。
【００９０】
即ち、ノードｖ２とシンクｔを両端とするｔ−ｌｉｎｋのコストは、元来と同じラベルが割り当てられる場合には発生せず、元来と異なるラベルが割り当てられる場合には発生する。
【００９１】
したがって、ｎ−ｌｉｎｋは、Ｅｓｍｏｏｔｈ（Ｌ）に該当し、ｔ−ｌｉｎｋは、Ｅｄａｔａ（Ｌ）に該当すると考えられる。また、Ｅ（Ｌ）は、上述のグラフをカットしたときに発生するコストの合計と考えることができる。
【００９２】
このように、上述のグラフをコストが最小となるようにカットするという問題は、画像をグラフ化した場合に、ノードである各画素に、ラベルを割り付ける場合のエネルギー関数を最小にするという問題と関連づけ、グラフカット法によりコストが最小となるカットを見つけ出すことにより、エネルギー関数を最小にする最適な画素値の割り付けが行なえることになる。
【００９３】
グラフカット法の実現には、公知文献「グラフカット（チュートリアル）、石川  博、２００７年３ 月ＣＶＩＭ研究会チュートリアル／情報処理学会研究報告２００７−ＣＭＩＭ−158-(26) pp. 193-204.」等により、多数のアルゴリズムが知られているが、本発明におけるグラフカット演算処理部１２は、α拡張アルゴリズムを用いて構成する。
【００９４】
α拡張アルゴリズムは、ノードに割り当てるラベルの集合が多値である場合によく利用される。ノードへのラベルの割り当て、あるいは、グラフをカットすることを「配置」と呼ぶことにすると、ある配置Ｌからのα拡張とは、配置Ｌがαを割り当てているノードを増やすことだけを許す移動のことをいう。
【００９５】
αにラベルを変える・変えないという２値についてエネルギー関数を定義し、ある配置Ｌから始めて、その配置から最もエネルギーを減少させるα拡張をラベルが２値（αと元画素値）の場合のグラフカットを使って最小化し、これを全てのα∈Ｌについて繰り返すことにより、最良の移動を見つけ、移動先を新しい配置Ｌとして繰り返すものである。
【００９６】
以下、実施形態の説明に戻り、グラフカット法演算処理部１１１は、グラフカット法で利用するエネルギー関数Ｅｄａｔａ（Ｌ）、Ｅｓｍｏｏｔｈ（Ｌ）を以下のように定義し、メモリ４１に記憶している。
【数６】
2010034713.tif 000011
【数７】
2010034713.tif 000012
【００９７】
ここで、Ｗｕ、Ｗｖは、平滑化処理部１１２から入力される平滑化マスク画像データの隣接する画素ｕ、ｖの夫々の画素値を示す。尚、平滑化項は、グラフカットにおけるエッジのコストと考えられるため、画素値であるＷｕとＷｖの平均を重み係数として乗じている。このように、平滑化マスク画像データの画素であるＷｕ、Ｗｖの平均値を空間的に不均一な重み係数として乗じることにより、場所ごとに平滑化される範囲が実質的に変化する。
【００９８】
また、ｈとｋは、入力される原画素成分の特性に応じて、データ項及び平滑化項の重みを調整可能にする重み係数（以下、ｈを「第一係数」、ｋを「第二係数」と示す。）を示し、入力される原画素成分の特性に応じた値がメモリ４１に記憶されている。
【００９９】
例えば、写真画像データの輝度成分と色差成分、夫々のノイズ抑制画素成分を出力する場合、人間の視覚的な空間解像度知覚は、色差成分よりも輝度成分に対しての方が敏感であることを踏まえて、輝度成分に対するノイズ抑制画素成分算出時は第二係数ｋの値を小さくして平滑化の度合いを弱め、色差成分に対するノイズ抑制画素成分算出時は第二係数ｋの値を大きくして平滑化の度合いを高めるといった調整が可能となる。
【０１００】
また、粒状ノイズが目視で明らかに確認されるような画像の場合など、全体的に平滑化の度合いを高めたい場合に、第一係数ｈを小さくして、第二係数ｋを大きくするという調整も可能である。尚、モニタ３４の画面に第一係数ｈと第二係数ｋの編集画面を表示するアプリケーションをグラフィックユーザーインターフェース部４２に備えるよう構成し、ノイズ抑制処理後の画像を確認しながら調整できるようにしても構わない。
【０１０１】
上述のように、グラフカット法演算処理部１１１は、平滑化処理部１１２から入力される平滑化マスク画像データと、メモリ４１からエネルギー関数の定義式とエネルギー関数のデータ項と平滑化項の夫々に乗じる第一係数ｈと第二係数ｋを取得し、画素成分抽出部１０から入力された輝度成分Ｙと色差成分ＵＶの夫々の原画素成分から粒状ノイズを抑制した、ノイズ抑制画素成分を上述のグラフカット法により算出し、画素成分変換部１２のＹＵＶ−ＲＧＢ変換処理部１２１へ出力する。
【０１０２】
ＹＵＶ−ＲＧＢ変換処理部１２１は、ノイズ抑制処理部１１で得られた輝度成分を示すノイズ抑制画素成分と、色差成分を示すノイズ抑制画素成分を、次式に基づいてＲＧＢ色成分に逆変換して、ノイズ抑制画像データとして出力する。
Ｒ  ＝  Ｙ−０．０００００７Ｕ＋１．４０１９９８Ｖ
Ｇ  ＝  Ｙ−０．３４４１３３Ｕ−０．７１４１３８Ｖ
Ｂ  ＝  Ｙ＋１．７７２００３Ｕ＋０．００００１５Ｖ
【０１０３】
以下に、上述した粒状ノイズ抑制処理部５１による各処理の手順を、図６に示すフローチャートに基づいて説明する。
【０１０４】
まず、写真画像データを構成する各画素のＲＧＢ成分データが、画素成分抽出部１０に入力されると、画素成分抽出ステップ（Ｓ１）が実行される。
【０１０５】
画素成分抽出ステップ（Ｓ１）は、ＲＧＢ‐ＹＵＶ変換処理ステップ（Ｓ１１）で構成される。
【０１０６】
まず、ＲＧＢ‐ＹＵＶ変換処理ステップが実行され、入力された各画素のＲＧＢ成分の夫々がＹＵＶ成分に変換され、輝度成分はノイズ抑制処理部１１に備えられた平滑化処理部１１２とグラフカット演算処理部１１１に出力され、色差成分はノイズ抑制処理部１１に備えられたグラフカット演算処理部１１１に出力される（Ｓ１１）。
【０１０７】
また、画素成分抽出ステップ（Ｓ１）に入力されたＲＧＢ成分は、ノイズ抑制処理部１１に備えられた平滑化処理部１１２へ出力される。
【０１０８】
続いて、ノイズ抑制処理部１１に画素成分抽出ステップ（Ｓ１）から出力された原画素成分が入力されると、ノイズ抑制処理ステップ（Ｓ２）が実行される。
【０１０９】
ノイズ抑制処理ステップ（Ｓ２）は、平滑化処理ステップ（Ｓ２１）と、グラフカット演算ステップ（Ｓ２２）と、全画素成分ノイズ抑制終了判定ステップ（Ｓ２３）で構成される。
【０１１０】
まず、平滑化処理ステップ（Ｓ２１）が実行され、平滑化処理部１１２は、メモリ４１に記憶された設定情報に基づいて、入力された輝度成分ＹあるいはＲＧＢ成分ＲＧＢのうち、どちらか一方の原画素成分から平滑化マスク画像データを算出し、グラフカット法演算処理部１１１へ出力する。
【０１１１】
続いて、グラフカット法演算処理部１１１に平滑化マスク画像データが入力されると、グラフカット法演算ステップ（Ｓ２２）が実行される。
【０１１２】
グラフカット法演算ステップ（Ｓ２２）は、メモリ４１に記憶されたデータ項と平滑化項の定義式と、メモリ４１に記憶された第一係数ｈと第二係数ｋと、平滑化処理ステップ（Ｓ２１）で出力された平滑化マスク画像データの画素値を利用して、エネルギー関数を最小化する最適解をグラフカット法により算出し、ノイズ抑制画素成分として出力する。入力される画素成分には、輝度成分Ｙと色差成分ＵＶの２つがあるが、夫々についてノイズ抑制画素成分を算出する。尚、輝度成分Ｙと色差成分ＵＶのどちらを先に処理するかの順序は問わない。
【０１１３】
続いて、全画素成分ノイズ抑制終了判定ステップ（Ｓ２３）が実行され、輝度成分Ｙと色差成分ＵＶの２つのノイズ抑制画素成分が生成されているかどうかを確認し、どちらか一方のノイズ抑制画素成分が存在しない場合には、所定時間待った後、再びグラフカット演算処理ステップ（Ｓ２２）を実行し、存在しない画素成分のノイズ抑制画素成分を生成する。
【０１１４】
輝度成分Ｙと色差成分ＵＶの２つのノイズ抑制画素成分が生成されている場合は、当該２つのノイズ抑制画素成分を、画素成分変換部１２へ出力する。
【０１１５】
画素成分変換部１２に、輝度成分Ｙと色差成分ＣＹのノイズ抑制画素成分が入力されると、画素成分変換ステップ（Ｓ３）が実行される。
【０１１６】
画素成分変換ステップ（Ｓ３）は、ＹＵＶ−ＲＧＢ変換処理ステップ（Ｓ３１）で構成されており、まず、ＹＵＶ−ＲＧＢ変換処理ステップ（Ｓ３１）が実行され、輝度成分Ｙのノイズ抑制画素成分と色差成分ＵＶのノイズ抑制画素成分から得られる輝度成分Ｙと色差成分ＵＶをＲＧＢ成分ＲＧＢに変換し、ノイズ抑制画像データとして出力する。
【０１１７】
上述した粒状ノイズ抑制処理部５１による各処理は、コントローラ３３に備えたハードディスクにインストールされた本発明の写真画像処理プログラムが実行されることにより実現される。
【０１１８】
つまり、写真画像データに含まれる粒状のノイズを抑制してノイズ抑制画像データを生成する写真画像処理プログラムであって、写真画像データの注目画素の画素成分を抽出する画素成分抽出ステップ（Ｓ１）と、注目画素の画素成分である原画素成分とノイズ抑制画像データの注目画素に該当する想定画素の画素成分であるノイズ抑制画素成分の画素値の差分を示すデータ項Ｅｄａｔａ（Ｌ）と、ノイズ抑制画素成分の画素値のばらつきに空間的に不均一な重み係数を乗じた平滑化項Ｅｓｍｏｏｔｈ（Ｌ）とを備え、データ項と平滑化項の夫々に係数を乗じて加算したエネルギー関数Ｅ（Ｌ）を生成し、エネルギー関数Ｅ（Ｌ）が最小値を示すノイズ抑制画素成分をグラフカット法により算出するノイズ抑制処理ステップ（Ｓ２）と、をコンピュータに実行させるための写真画像処理プログラムが記憶されたＣＤやＤＶＤ等の記憶媒体を介してインストールされている。
【０１１９】
尚、本発明により、ノイズ抑制処理ステップ（Ｓ２）から出力される、輝度成分Ｙのノイズ抑制画素成分と色差成分Ｙのノイズ抑制画素成分から得られる輝度成分Ｙと色差成分ＵＶをＲＧＢ成分ＲＧＢに変換して、ノイズ抑制画像データを出力する画素成分変換ステップ（Ｓ３）をコンピュータに実行させる写真画像処理プログラムが、当該プログラムが記憶されたＣＤやＤＶＤ等の記憶媒体を介してインストールされていても構わない。
【０１２０】
図７（ａ）に示す原画像に対して、バイラテラルフィルタにより粒状ノイズを抑制した結果の画像を図７（ｂ）に示し、本発明によるサポートベクターマシンを利用して算出した平滑化マスク画像データを利用して粒状ノイズを抑制した結果の画像を図７（ｃ）に示し、本発明によるソーベルフィルタを利用して算出した平滑化マスク画像データを利用して粒状ノイズを抑制した結果の画像を図７（ｄ）に示す。
【０１２１】
バイラテラルフィルタを利用した場合は、ほぼ粒状ノイズが消えているが、エッジ部分が細くなり、領域境界部分に細かい凹凸が現れている。これは近接する画素が類似した画素値を多数持ちにくい部分で顕著となる。
【０１２２】
本発明によるグラフカットを使用した場合は、図７（ｃ）（ｄ）に示すように、エッジはぼやけず、粒状ノイズは除去されていることがわかる。さらに、色むらもほぼ消えており、他と比べても良好な結果になっている。サポートベクターマシンで算出した平滑化マスク画像データを利用した場合と、ソーベルフィルタを利用して算出した平滑化マスク画像データを利用した場合とでは、僅かではあるが後者の方が平坦部分での輝度むらが少なく感じられる。
【０１２３】
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【０１２４】
【図１】写真画像処理装置の外観説明図
【図２】写真プリンタの説明図
【図３】写真画像処理装置の機能ブロック構成図
【図４】粒状ノイズ抑制処理部の機能ブロック構成図
【図５】グラフカット法で利用するグラフを説明する説明図であり、（ａ）はグラフを示す説明図、（ｂ）はグラフのカットを説明する説明図
【図６】粒状ノイズ抑制処理部の処理手順を説明するためのフローチャート
【図７】粒状ノイズの抑制を行う前後の写真画像であり、（ａ）は原画像を示す写真画像、（ｂ）はバイラテラルフィルタを利用して粒状ノイズを抑制した写真画像、（ｃ）はサポートベクターマシンで算出した平滑化マスク画像データを利用して粒状ノイズを抑制した写真画像、（ｄ）はソーベルフィルタを利用して算出した平滑化マスク画像データを利用して粒状ノイズを抑制した写真画像
【符号の説明】
【０１２５】
１：写真画像処理装置
１０：画素成分抽出部
１１：ノイズ抑制処理部
１２：画素成分変換処理部
５１：粒状ノイズ抑制処理部
１０１：ＲＧＢ−ＹＵＶ変換処理部
１１１：グラフカット法演算処理部
１１２：平滑化処理部
１２１：ＹＵＶ−ＲＧＢ変換処理部
Ｅ（Ｌ）：エネルギー関数
Ｅｄａｔａ（Ｌ）：データ項
Ｅｓｍｏｏｔｈ（Ｌ）：平滑化項
Ｓ１：画素成分抽出ステップ
Ｓ１１：ＲＧＢ−ＹＵＶ変換処理ステップ
Ｓ２：ノイズ抑制処理ステップ
Ｓ２１：平滑化処理ステップ
Ｓ２２：グラフカット法演算ステップ
Ｓ３：画素成分変換ステップ
Ｓ３１：ＹＵＶ−ＲＧＢ変換処理ステップ
ＵＶ：色差成分
Ｙ：輝度成分
【図１】
2010034713.tif 000013
【図２】
2010034713.tif 000014
【図３】
2010034713.tif 000015
【図４】
2010034713.tif 000016
【図５】
2010034713.tif 000017
【図６】
2010034713.tif 000018
【図７】
2010034713.tif 000019