(57)【要約】本発明は、入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理方法であって、前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算し、前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算し、前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算し、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正し、前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算し、前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する画像処理方法である。
2014126153.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理方法であって、
前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算し、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算し、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算し、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正し、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算し、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する
画像処理方法。
【請求項２】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配強度が大きいほど前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項１に記載の画像処理方法。
【請求項３】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配強度が小さいほど前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項１に記載の画像処理方法。
【請求項４】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配方向における前記勾配強度が大きいほど、当該方向に前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項１に記載の画像処理方法。
【請求項５】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配方向における前記勾配強度が小さいほど、当該方向の前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項１に記載の画像処理方法。
【請求項６】
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される前記骨格成分抽出フィルタ重みの補正量が、所定の閾値を超える場合、または、下回る場合、補正量を所定の値とする
請求項１から請求項５のいずれかに記載の画像処理方法。
【請求項７】
前記骨格成分抽出フィルタ重みの補正量の上限値及び下限値を定め、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第１の閾値を超える場合、前記骨格成分抽出フィルタ重みの補正量を前記上限値とし、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第２の閾値を下回る場合、前記骨格成分抽出フィルタ重みの補正量を前記下限値とする
請求項６に記載の画像処理方法。
【請求項８】
前記骨格成分を入力画像として、所定の回数前記フィルタ処理を繰り返す
請求項１から請求項７のいずれかに記載の画像処理方法。
【請求項９】
入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理装置であって、
前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算手段と、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算手段と、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算手段と、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正手段と、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算手段と、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行手段と
を有する画像処理装置。
【請求項１０】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配強度が大きいほど前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項９に記載の画像処理装置。
【請求項１１】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配強度が小さいほど前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項９に記載の画像処理装置。
【請求項１２】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配方向における前記勾配強度が大きいほど、当該方向に前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項９に記載の画像処理装置。
【請求項１３】
前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配方向における前記勾配強度が小さいほど、当該方向の前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
請求項９に記載の画像処理装置。
【請求項１４】
前記骨格成分抽出フィルタ重み補正手段は、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される前記骨格成分抽出フィルタ重みの補正量が、所定の閾値を超える場合、または、下回る場合、補正量を所定の値とする
請求項９から請求項１３のいずれかに記載の画像処理装置。
【請求項１５】
前記骨格成分抽出フィルタ重み補正手段は、前記骨格成分抽出フィルタ重みの補正量の上限値及び下限値を記憶し、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第１の閾値を超える場合、前記骨格成分抽出フィルタ重みの補正量を前記上限値とし、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第２の閾値を下回る場合、前記骨格成分抽出フィルタ重みの補正量を前記下限値とする
請求項１４に記載の画像処理装置。
【請求項１６】
前記骨格成分抽出フィルタリング実行手段から出力される骨格成分を前記入力画像とし、
前記局所変動量計算手段、前記骨格成分抽出フィルタの重み計算手段、前記画像特徴量計算手段、前記重み補正手段、前記骨格成分抽出フィルタ係数計算手段及び前記骨格成分抽出フィルタリング実行手段は、所定回数、処理を繰り返す
請求項９から請求項１５のいずれかに記載の画像処理装置。
【請求項１７】
入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理のプログラムであって、
前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算処理と、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算処理と、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算処理と、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正処理と、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算処理と、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行処理と
を、コンピュータに実行させるプログラム。
【請求項１８】
前記骨格成分抽出フィルタリング実行処理から出力される骨格成分を前記入力画像とし、
前記局所変動量計算処理、前記骨格成分抽出フィルタの重み計算処理、前記画像特徴量計算処理、
前記重み補正処理、前記骨格成分抽出フィルタ係数計算処理及び前記骨格成分抽出フィルタリング実行処理を、所定回数繰り返す
請求項１７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像処理技術の中でも、画像に含まれるノイズを低減する技術は、撮像した画像をより鮮明に再現するために、欠かせない技術である。画像に含まれるノイズの一例としては、図１０に示すような加法性白色ガウスノイズがある。原信号をs、ノイズで劣化した信号をfとする。このとき、図１０の加法性白色ガウスノイズは、ノイズnGの振幅がガウス分布に従うとすると、f = s + nG で表される。【０００３】
画像に含まれるノイズを低減する技術としては、例えば、非特許文献１に開示された技術である全変分（Total Variation）ノルム最小化法（以下、TV法）が広く用いられている。【０００４】
TVノルムとは、隣接する信号間の差分の絶対値を全信号区間で足しあわせたものであり、信号uのTVノルムは以下の式（１）で定義される。
2014126153.tif 000003
ここで、
2014126153.tif 000004
は偏微分オペレータを示す。【０００５】
図１１から図１３に一次元信号に対するTVノルムの例を示す。図１１に示すなだらかな変化の信号（平坦な信号）と図１２に示す急峻なエッジを含む信号では、同じTVノルムとなる。また、図１３に示すように、信号値が振動するようなとき、TVノルムは大きな値となる。つまり、TVノルムは、不連続成分を考慮した、信号の滑らかさを表す指標ということができる。【０００６】
TV法では、ノイズを含む入力画像fを、画像のエッジ成分や平坦成分を含む骨格成分uと、テクスチャ成分やノイズ成分を含む残差成分vに分離する手法である。つまり、以下の式（２）の関係が成り立つ。
2014126153.tif 000005
【０００７】
骨格成分uは、式（１）で定義される全変分ノルムTV(u)に、正則化項を導入した式（３）を最小化することで求めることができる。【０００８】
2014126153.tif 000006
なお、式（３）中、u(0)=f であり、μは原画との忠実度を表すパラメータである。【０００９】
図１４を用いて、上述の式（３）を説明する。図１４中の実線で示した信号を、ノイズを含む入力信号fとする。図１４中の破線で示した信号u1と図１４中の点線で示した信号u2のTVノルムはそれぞれ10であり、等しい。しかし、原信号fと骨格成分uが乖離するほど第二項は大きくなるため、上述の式（３）を最小化するには、より原信号fに近い、点線で示した信号が骨格成分uとして計算される。【００１０】
以上により、TV法は、ノイズを含む入力画像を、画像のエッジや平坦領域を含む骨格成分 （TVノルム小）と、テクスチャやノイズを含む残差成分（TVノルム大）に分離することが可能となる。この骨格成分をノイズ除去画像とみなすことができる。【００１１】
図１５に入力画像を骨格成分と残差成分に分離する、本発明に関連する画像処理方法の一例のブロック図を示す。【００１２】
関連する画像処理方法は、成分分離手段１１を備える。【００１３】
入力画像fは成分分離手段１１に入力され、骨格成分uと残差成分vが出力される。【００１４】
図１６に成分分離手段１１を説明するためのブロック図を示す。【００１５】
成分分離手段１１は、骨格成分抽出手段２１と残差成分計算手段３１とを備える。【００１６】
骨格成分抽出手段２１は、入力画像fを受信し、式（３）を最小化することで骨格成分uを求める。そして、得られた骨格成分uを残差成分計算手段３１に出力する。【００１７】
残差成分計算手段３１は、入力画像fと、骨格成分抽出手段２１から出力される骨格成分uとを受信し、式（２）の関係より、v = f -u から残差成分vを求める。【００１８】
骨格成分抽出手段２１において、式（３）を最小化して骨格成分を抽出する手法として、非特許文献２に開示された技術のDigital TV Filter (DTVF) がある。【００１９】
図１７に、DTVFに基づいて骨格成分を抽出する、骨格成分抽出手段２１を説明するためのブロック図を示し、各処理部の動作を図１８のフローチャートを用いて説明する。【００２０】
なお、以後の説明において、画像uの画素位置αにおける画素値をuαと表記する。また、αの近傍画素位置の集合をN(α)と表記する。図１９に画素位置α=(i, j)の近傍画素位置の例を示す。図１９(a)を４近傍といい、N(α)は、N(α)={(i, j-1), (i, j+1), (i-1, j), (i+1, j)}である。また、図１９(b)を８近傍といい、N(α)={(i, j-1), (i, j+1), (i-1, j), (i+1, j), (i-1, j-1), (i-1, j+1), (i+1, j-1), (i+1, j+1)}である。【００２１】
骨格成分抽出手段２１は、局所変動量計算手段１０１と、フィルタ重み計算手段１０２と、フィルタ係数計算手段１０３と、フィルタリング実行手段１０４とを備える。【００２２】
まず、初期設定として、反復回数を保存するカウンタ変数kをk=0とする。また、入力画像fを初期骨格画像u(0)とする（ステップS1）。【００２３】
局所変動量計算手段１０１は、画像u(k)を受信し、以下の式（４）に基づいて
2014126153.tif 000007
を計算する（ステップS2）。そして、計算して得られた
2014126153.tif 000008
をフィルタ重み計算手段１０２に出力する。
2014126153.tif 000009
【００２４】
なお、式（４）中のεは後続の処理における0による除算を防ぐためのパラメータであり、εは概ね10-4程度の値で良いとされている。【００２５】
フィルタ重み計算手段１０２は、局所変動量計算手段１０１から
2014126153.tif 000010
を受信し、以下の式（５）で表されるフィルタ重みwαβ(u)を計算する（ステップS3）。そして、計算して得られたフィルタ重みwαβ(u)をフィルタ係数計算手段１０３に出力する。
2014126153.tif 000011
【００２６】
フィルタ係数計算手段１０３は、フィルタ重み計算手段１０２からフィルタ重みwαβ(u)を受信し、以下の式（６）、（７）に基づいてフィルタ係数hαα、hαβを計算する（ステップS4）。そして、計算して得られたフィルタ係数hαα、hαβをフィルタリング実行手段１０３に出力する。
2014126153.tif 000012
2014126153.tif 000013
【００２７】
フィルタリング実行手段１０４は、初期画像u(0)と、フィルタリング対象の画像u(k)と、フィルタ係数計算手段１０３からフィルタ係数hαα、hαβと、を受信し、以下の式（８）に基づいてk+1回フィルタ後の画像u(k+1)を計算し（ステップS5）、反復回数カウンタkを1つ増やす（ステップS6）
2014126153.tif 000014
【００２８】
そして、kと最大反復回数kmaxを比較し、kが最大反復回数kmax未満のとき、次の反復計算のために、フィルタリング後の画像を局所変動量計算手段１０１とフィルタリング実行手段１０４に出力し、処理を継続する。kが最大反復回数kmaxに到達したら、画像を骨格成分uとして出力する（ステップS7）。【００２９】
式（５）、（６）、（７）より、局所変動量がノイズ成分に対して十分大きい時、
2014126153.tif 000015
となるため、エッジのボケを防ぐことができる。逆に、局所変動量が小さい時、DTVFはこの領域を平坦とみなして
2014126153.tif 000016
となるため、通常のローパスフィルタのように振る舞う。なお、μについては、推定するノイズ標準偏差σを用いて、μ＝１／σ２とすればよい。【００３０】
続いて、図２０に入力画像を骨格成分と残差成分に分離する関連の画像処理装置１０００のブロック図を示す。【００３１】
画像処理装置１０００は、局所変動量計算部１００１と、フィルタ重み計算部１００２と、フィルタ係数計算部１００３と、フィルタリング実行部１００４と、残差成分計算部１００５と、制御部１００６と、スイッチ１００７と、スイッチ１００８と、メモリ１００９とを備える。【００３２】
入力画像fは、入力バッファからスイッチ１００７と、メモリ１００９とに入力される。【００３３】
制御部１００６は、マイクロコンピュータなどを用いて構成されており、記憶しているプログラムを実行して、各部を制御する。なお、制御部１００６は、フィルタリング回数を記憶するカウンタ変数kをもつ。入力バッファから画像が入力されるとカウンタkをk=0にリセットし、スイッチ１００７を切り替えて、入力画像fを初期骨格画像u(0)として局所変動量計算部１００１と、フィルタリング実行部１００４とに出力し、その後、スイッチ１００７を切り替えて、以降は入力バッファからではなく、スイッチ１００８から受信する画像を局所変動量計算部１００１と、フィルタリング実行部１００４に出力するよう制御する。【００３４】
さらに、制御部１００６は、フィルタリング実行部１００４を監視し、フィルタリングが完了すると、フィルタリング回数カウンタkを1つ増やす。そして、kと最大反復回数kmaxを比較し、kが最大反復回数kmax未満のとき、画像をスイッチ１００７に出力するようにスイッチ１００８を切り替え、kが最大反復回数kmaxに到達したら、画像を骨格成分uとして出力バッファと残差成分計算部１００５に出力するようにスイッチ１００８を切り替える。【００３５】
スイッチ１００７及びスイッチ１００８は、制御部１００６の制御に従い、スイッチを切り替える。【００３６】
メモリ１００９は、入力画像fを保存する。【００３７】
局所変動量計算部１００１は、スイッチ１００７から画像u(k)を受信し、上述の式（４）に基づいて
2014126153.tif 000017
を計算する。そして、計算して得られた
2014126153.tif 000018
をフィルタ重み計算部１００２に出力する。【００３８】
フィルタ重み計算部１００２は、局所変動量計算部１００１から
2014126153.tif 000019
を受信し、上述の式（５）で表されるフィルタ重みwαβ(u)を計算する。そして、計算して得られたフィルタ重みwαβ(u)をフィルタ係数計算部１００３に出力する。【００３９】
フィルタ係数計算部１００３は、フィルタ重み計算部１００１からフィルタ重みwαβ(u)を受信し、上述の式（６）、（７）に基づいてフィルタ係数hαα、hαβを計算する。そして、計算して得られたフィルタ係数hαα、hαβをフィルタリング実行部１００４に出力する。【００４０】
フィルタリング実行部１００４は、メモリ１００９から入力画像u(0)を読み出し、スイッチ１００７からフィルタリング対象の画像u(k)、フィルタ係数計算部１００３からフィルタ係数hαα、hαβを受信し、上述の式（８）に基づいてk+1回フィルタ後の画像u(k+1)を計算する。そして、計算して得られたk+1回フィルタ後の画像u(k+1)をスイッチ１００８に出力する。【００４１】
残差成分計算部１００５は、メモリ１００９から入力画像u(0)、スイッチ１００８から骨格成分uを受信し、式（２）の関係から残差成分vを求める。そして得られた残差成分vを出力バッファに出力する。
【先行技術文献】
【非特許文献】
【００４２】
【非特許文献１】L. Rudin, S. Osher, and E. Fatemi, "Nonlinear total variation based noise removal algorithms," Physic D, vol. 60, pp. 259-268, 1992.
【非特許文献２】Chan, T.F., Osher, S., Shen, J., "The digital TV filter and nonlinear denoising," Image Processing, IEEE Transactions on, vol.10, no.2, pp.231-241, Feb 2001.
【非特許文献３】Yan, Luxin; Fang, Houzhang; Zhong, Sheng, “Blind image deconvolution with spatially adaptive total variation regularization”, Optics Letters, vol. 37, issue 14, p. 2778
【発明の概要】
【発明が解決しようとする課題】
【００４３】
TV法では、局所変動量に基づいてフィルタ係数を決定するが、局所変動量からは、エッジによる局所変動量とノイズの振動による局所変動量の違いを区別できない。これにより、隣接画素間の画素値の変動量が比較的小さいエッジの場合では、
2014126153.tif 000020
とならないため、若干のボケが生じる問題がある。さらに、TV法は反復型の処理であるため、反復が進むにつれてこのようなボケはより顕著になる。【００４４】
つまり、TV法では、画素値の変動量が比較的小さいエッジ保存性能の改善が課題である。【００４５】
TV法におけるエッジ保存を目的とした方法として、非特許文献３に開示されるような、画像の空間的特徴に忠実度パラメータμを適応させる方法がある。この方法では、エッジが存在するとき、
2014126153.tif 000021
となるように忠実度パラメータμを大きくすることでボケを防ぐ。しかし、この場合はエッジ上の画素にフィルタリング処理がかからないことと等価になるため、エッジ周りのノイズが残存する問題がある。【００４６】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、画素値の変動量が比較的小さいエッジを維持しつつ、ノイズを効果的に除去できる画像処理方法、画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００４７】
本発明は、入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理方法であって、前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算し、前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算し、前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算し、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正し、前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算し、前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する画像処理方法である。【００４８】
本発明は、入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理装置であって、前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算手段と、前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算手段と、前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算手段と、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正手段と、前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算手段と、前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行手段とを有する画像処理装置である。【００４９】
本発明は、入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理のプログラムであって、前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算処理と、前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算処理と、前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算処理と、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正処理と、前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算処理と、前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行処理とを、コンピュータに実行させるプログラムである。
【発明の効果】
【００５０】
本発明によれば、画素値の変動量が比較的小さいエッジを維持しつつ、ノイズを効果的に除去できる。
【図面の簡単な説明】
【００５１】
【図１】図１は本発明の実施の形態の画像処理方法のブロック図である。
【図２】図２は成分分離部１２を説明するためのブロック図である。
【図３】図３は骨格成分抽出部２２を説明するためのブロック図である。
【図４】図４は骨格成分抽出部２２の各処理部の動作を説明するためのフローチャートである。
【図５】図５は画像の各領域と勾配共分散行列の固有対の関係のイメージ図である。
【図６】図６は８方向の方向ベクトルを説明するための図である。
【図７】図７はコーナーにおけるフィルタ係数の補正量計算のイメージ図である。
【図８】図８はエッジにおけるフィルタ係数の補正量計算のイメージ図である。
【図９】図２０は本発明の第一の実施の形態の画像処理装置２０００のブロック図である。
【図１０】図１０はランダムノイズの説明するための図である。
【図１１】図１１はなだらかに信号が変化する領域におけるTVノルムを示す図である。
【図１２】図１２はエッジを含む領域におけるTVノルムを示す図である。
【図１３】図１３は振動成分を含む領域におけるTVノルムを示す図である。
【図１４】図１４はTV法を説明するための図である。
【図１５】図１５は関連する画像処理方法のブロック図である。
【図１６】図１６は成分分離手段１１を説明するためのブロック図である。
【図１７】図１７は骨格成分抽出手段２１を説明するためのブロック図である。
【図１８】図１８は骨格成分抽出手段２１の各処理部の動作を説明するためのフローチャートである。
【図１９】図１９は画素位置αの近傍画素位置の例を説明するための図である。
【図２０】図２０は関連する画像処理装置１０００のブロック図である。
【発明を実施するための形態】
【００５２】
本発明の実施の形態を説明する。
【００５３】
図１に、本発明の実施の形態の画像処理方法のブロック図を示す。
【００５４】
本発明の第一の実施の形態の画像処理方法は、成分分離手段１２を備える。
【００５５】
入力画像fは成分分離手段１２に入力され、骨格成分uと残差成分vとが出力される。
【００５６】
図２に、本発明の第一の実施の形態の画像処理方法の成分分離手段１２を説明するためのブロック図を示す。
【００５７】
成分分離手段１２は、骨格成分抽出手段２２と残差成分計算手段３１とを備える。
【００５８】
骨格成分抽出手段２２は、入力画像fを受信し、後述する図４のフローチャートに基づく方法で骨格成分uを求める。そして、得られた骨格成分uを残差成分計算手段３１に出力する。
【００５９】
残差成分計算手段３１は、入力画像fと、骨格成分抽出手段２１から出力される骨格成分uとを受信し、式（２）の関係より、v = f - uから残差成分vを求める。
【００６０】
図３は、本発明の実施の形態である画像処理方法の骨格成分抽出手段２２を説明するためのブロック図である。
【００６１】
骨格成分抽出手段２２は、骨格成分抽出手段２１と同様に、局所変動量計算手段１０１と、フィルタ重み計算手段１０２と、フィルタ係数計算手段１０３と、フィルタリング実行手段１０４とを備えることに加え、画像特徴量計算部２０１と、フィルタ重み補正部２０２とを備えることを特徴とする。
【００６２】
次に、骨格成分抽出手段２２の各処理部の動作を図４のフローチャートを用いて説明する。
【００６３】
まず、骨格成分抽出手段２１と同様に、初期設定として、反復回数を保存するカウンタ変数kをk = 0 とする。また、入力画像fを初期骨格画像u(0)とする（ステップS1）。
【００６４】
局所変動量計算手段１０１は、従来の骨格成分抽出手段２１と同じ動作で、式（４）に基づいて
2014126153.tif 000022
を計算し（ステップS2）、フィルタ重み計算手段１０２に出力する。
【００６５】
フィルタ重み計算手段１０２は、骨格成分抽出手段２１と同じ動作で、式（５）で表されるフィルタ重みwαβ(u)を計算する（ステップS3）。そして、計算して得られたフィルタ重みwαβ(u)を、骨格成分抽出手段２１とは異なり、フィルタ重み補正手段２０２に出力する。
【００６６】
画像特徴量計算手段２０１は、k回フィルタ後の画像u(k)を受信し、画像特徴量として、以下の式（９）で表される勾配共分散行列Mの固有対（固有値と固有ベクトル）を計算する（ステップS8）。ここで、固有値は注目画素の周辺の画素値の勾配強度に対応し、固有ベクトルは注目画素の周辺の画素値の勾配方向に対応する。そして、得られた固有対を画像特徴量としてフィルタ重み補正手段２０２に出力する。
2014126153.tif 000023
【００６７】
2014126153.tif 000024
図５に画像の各領域と勾配共分散行列Mの固有対の関係のイメージ図を示す。
【００６８】
勾配共分散行列Mの固有値の性質より、図５（ａ）のように固有値が２つとも大きい場合には、注目画素はコーナーであるため、画像の鮮明さを保つためには、注目画素はいずれの方向に対してもローパスフィルタを実行すべきでない。別の言い方をすると、フィルタリング実行手段１０４のフィルタ係数が初期画像と初期画像に所定の処理を行った画像とを重み付け加算する際に用いられるフィルタ係数であるとすると、勾配強度が大きいほど初期画像に対するフィルタ係数が大きくなるように（初期画像が支配的になるように）、フィルタ重み補正手段２０２によりフィルタリング実行手段１０４の重みを補正する方が良い。
【００６９】
図５（ｂ）のように１つの固有値が大きく、他の固有値が小さい場合には、注目画素はエッジ上にあるため、大きな固有値に対応する固有ベクトルの方向（すなわち、エッジをまたぐ方向）に対してはローパスフィルタを実行せず、小さな固有値に対応する固有ベクトルの方向（すなわち、エッジに沿う方向）に対してローパスフィルタを実行する。別の言い方をすると、フィルタリング実行手段１０４のフィルタ係数が初期画像と初期画像に所定の処理を行った画像とを重み付け加算する際に用いられるフィルタ係数であるとすると、勾配方向における勾配強度が大きいほど、当該方向に前記初期画像に対するフィルタ係数が大きくなるように、又は、勾配方向における勾配強度が小さいほど、当該方向の前記初期画像に対するフィルタ係数が小さくなるように、フィルタ重み補正手段２０２によりフィルタリング実行手段１０４の重みを補正する方が良い。
【００７０】
図５（ｃ）のように固有値が２つとも小さい場合には、注目画素は画像中の特徴的な領域にないため、いずれの方向に対してもローパスフィルタを実行してよい。別の言い方をすると、フィルタリング実行手段１０４のフィルタ係数が初期画像と初期画像に所定の処理を行った画像とを重み付け加算する際に用いられるフィルタ係数であるとすると、勾配強度が小さいほど初期画像に対するフィルタ係数が小さくなるように、フィルタ重み補正手段２０２によりフィルタリング実行手段１０４の重みを補正する方が良い。
【００７１】
フィルタ重み補正手段２０２は、局所変動量計算部１０１から
2014126153.tif 000025
を、画像特徴量計算手段１０１から、画像特徴量として式（９）の行列Mの固有対λ0, λ1, e0, e1を受信し、上記勾配共分散行列の固有値の性質を踏まえて、式（５）のフィルタ重みwαβ(u)を以下の式（１０）のw’αβ(u)のように補正する（ステップS9）。そして、補正して得られたフィルタ重みw’αβ(u)をフィルタ係数計算手段１０３に出力する。
2014126153.tif 000026
【００７２】
ここで、εは０による除算を防ぐために用いられる。dβ−αは注目画素位置αからみた画素位置β方向ベクトルを示し、以下の式（１１）で表される。
2014126153.tif 000027
【００７３】
例えば、図１９（ｂ）のように８近傍の画素を考える場合には、図６のように８方向のベクトルを定義する。斜め方向（45度、135度、225度、315度）についてはノルムが１になるように正規化する。
【００７４】
図７にコーナーにおけるフィルタ係数の補正量計算のイメージ図を示す。矢印１がλ0 e0を１つの方向ベクトルに射影したもの、矢印２がλ1 e1を１つの方向ベクトルに射影したものを示す。コーナーにおいては、λ0, λ1がともに大きな値をもつため、８近傍のいずれの方向に対しても、
2014126153.tif 000028
の値は大きくなる。すなわち、式（１０）で示すフィルタ係数値は小さくなる。よって、コーナーにおいては式（８）の
2014126153.tif 000029
が支配的になるため、ぼけは生じない。
【００７５】
次に、図８にエッジにおけるフィルタ係数の補正量計算のイメージ図を示す。コーナーにおいては、λ0は大きな値をもち、λ1は比較的小さな値をもつ。λ0が大きな値をもつため、e0が直交する方向（すなわち、e1の方向）以外については、
2014126153.tif 000030
が大きくなる。すなわち、式（１０）で示すフィルタ係数値は小さくなる。また、e0が直交する方向（すなわち、e1の方向）に近い方向（図８の45°方向）ついては
2014126153.tif 000031
であり、また、λ1も比較的小さな値をもつため、
2014126153.tif 000032
である。よって、e1に近い方向については式（１０）で示すフィルタ係数値が大きくなり、ローパスフィルタが実行される。
【００７６】
2014126153.tif 000033
【００７７】
フィルタ係数計算手段１０３は、重み補正手段２０２から、フィルタ重みwαβが補正されたフィルタ重みw’αβ(u)を受信し、フィルタ重みwαβの代わりにフィルタ重みw’αβ(u)を用いて式（６）、（７）に基づいてフィルタ係数hαα、hαβを計算する（ステップS4）。そして、計算して得られたフィルタ係数hαα、hαβをフィルタリング実行手段１０４に出力する。
【００７８】
フィルタリング実行手段１０４は、入力画像u(0)と、フィルタリング対象の画像u(k)と、フィルタ係数計算手段１０３からフィルタ係数hαα、hαβとを受信し、式（８）に基づいてk+1回フィルタ後の画像u(k+1)を計算し（ステップS5）、カウンタkを1つ増やす（ステップS6）。
【００７９】
そして、kと最大反復回数kmaxを比較し、kが最大反復回数kmax未満のとき、次の反復計算のためにフィルタリング後の画像を局所変動量計算手段１０１とフィルタリング実行手段１０４とに出力し、処理を継続する。kが最大反復回数kmaxに到達したら、画像を骨格成分uとして出力する（ステップS7）。
【００８０】
なお、図４のフローチャートにおいて、ステップS8の画像特徴量計算はステップS2の局所変動量計算とステップS3のフィルタ重み計算とに後続しているが、ステップS1の初期設定とステップS9のフィルタ重み補正の前であれば、どこで実行しても良い。
【００８１】
また、式（１０）では、勾配共分散行列Mの固有対を隣接画素方向に射影したものの逆数に基づいてフィルタ重みw’αβ(u)を計算したが、以下の式（１２）のように関数化し、同様の技術的思想の一例として式（１３）のような拡張も可能である。
2014126153.tif 000034
2014126153.tif 000035
【００８２】
式（１３）の例では、フィルタ係数値の過剰な補正を防ぐため、補正の上限値と下限値を設定する。また、パラメータρを乗じることで補正の強度を調整する。
【００８３】
このように、本発明の実施の形態では、注目画素周辺の画素値の勾配方向と勾配強度の二つの画像特徴量に基づいて、最適なフィルタの方向にローパスフィルタを実行する。本発明の実施の形態で述べた画像処理方法を用いることにより、画素値の変動量が比較的小さいエッジを維持しつつ、ノイズを効果的に除去できる。
【００８４】
続いて、図９に本発明の実施の形態の画像処理装置２０００のブロック図を示す。
【００８５】
本発明の実施の形態の画像処理装置２０００は、画像処理装置１０００と同様に、局所変動量計算部１００１と、フィルタ重み計算部１００２と、フィルタ係数計算部１００３と、フィルタリング実行部１００４と、残差成分計算部１００５と、制御部１００６と、スイッチ１００７と、スイッチ１００８と、メモリ１００９とを備えることに加えて、新たに画像特徴量計算部２００１と、フィルタ重み補正部２００２とを備えることを特徴とする。
【００８６】
入力画像fは、入力バッファからスイッチ１００７と、メモリ１００９とに入力される。
【００８７】
制御部１００６は、画像処理装置１０００と同様の動作を行う。ただし、画像u(k)は、所変動量計算部１００１と、フィルタリング実行部１００４と、に加えて、新たに画像特徴量計算部２００１にも出力するように、スイッチ１００７を制御する。
【００８８】
フィルタ重み計算部１００２は、局所変動量計算部１００１から
2014126153.tif 000036
を受信し、上述の式（５）で表されるフィルタ重みwαβ(u)を計算する。そして、計算して得られたフィルタ重みwαβ(u)をフィルタ重み補正部２００２に出力する。
【００８９】
画像特徴量計算部２００１は、スイッチ１００７から画像u(k)を受信し、画像特徴量として、上述の式（９）で表される勾配共分散行列Mの固有対（固有値と固有ベクトル）を計算する。そして、得られた固有対を画像特徴量としてフィルタ重み補正部２００２に出力する。
【００９０】
フィルタ重み補正部２００２は、フィルタ重み計算部１００２からフィルタ重みwαβ(u)を、画像特徴量計算部２００１から画像特徴量を受信し、フィルタ重みwαβ(u)を上述の式（１０）のw’αβ(u)のように補正する。そして、補正して得られたフィルタ重みw’αβ(u)をフィルタ係数計算部１００３に出力する。
【００９１】
フィルタ係数計算部１００３は、フィルタ重み補正部２００２からフィルタ重みw’αβ(u)を受信し、上述の式（６）、（７）に基づいてフィルタ係数hαα、hαβを計算する。そして、計算して得られたフィルタ係数hαα、hαβをフィルタリング実行部１００４に出力する。
【００９２】
局所変動量計算部１００１、フィルタリング実行部１００４、残差成分計算部１００５、スイッチ１００７、スイッチ１００８、メモリ１００９の動作は、画像処理装置１０００と同じであるため、説明を省略する。
【００９３】
以上のごとく、本発明の実施の形態によれば、注目画素周辺の画素値の勾配方向と勾配強度の二つの画像特徴量に基づいて、最適なフィルタの方向にローパスフィルタが実行されるため、画素値の変動量が比較的小さいエッジを維持しつつ、ノイズを効果的に除去できる。
【００９４】
尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【００９５】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００９６】
（付記１）  入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理方法であって、
前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算し、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算し、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算し、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正し、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算し、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する
画像処理方法。
【００９７】
（付記２）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配強度が大きいほど前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１に記載の画像処理方法。
【００９８】
（付記３）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配強度が小さいほど前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１に記載の画像処理方法。
【００９９】
（付記４）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配方向における前記勾配強度が大きいほど、当該方向に前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１に記載の画像処理方法。
【０１００】
（付記５）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタの重みの補正は、前記勾配方向における前記勾配強度が小さいほど、当該方向の前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１に記載の画像処理方法。
【０１０１】
（付記６）  前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される前記骨格成分抽出フィルタ重みの補正量が、所定の閾値を超える場合、または、下回る場合、補正量を所定の値とする
付記１から付記５のいずれかに記載の画像処理方法。
【０１０２】
（付記７）  前記骨格成分抽出フィルタ重みの補正量の上限値及び下限値を定め、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第１の閾値を超える場合、前記骨格成分抽出フィルタ重みの補正量を前記上限値とし、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第２の閾値を下回る場合、前記骨格成分抽出フィルタ重みの補正量を前記下限値とする
付記６に記載の画像処理方法。
【０１０３】
（付記８）  前記骨格成分を入力画像として、所定の回数前記フィルタ処理を繰り返す
付記１から付記７のいずれかに記載の画像処理方法。
【０１０４】
（付記９）  入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理装置であって、
前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算手段と、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算手段と、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算手段と、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正手段と、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算手段と、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行手段と
を有する画像処理装置。
【０１０５】
（付記１０）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配強度が大きいほど前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
付記９に記載の画像処理装置。
【０１０６】
（付記１１）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配強度が小さいほど前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
付記９に記載の画像処理装置。
【０１０７】
（付記１２）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配方向における前記勾配強度が大きいほど、当該方向に前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
付記９に記載の画像処理装置。
【０１０８】
（付記１３）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正手段は、前記勾配方向における前記勾配強度が小さいほど、当該方向の前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
付記９に記載の画像処理装置。
【０１０９】
（付記１４）  前記骨格成分抽出フィルタ重み補正手段は、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される前記骨格成分抽出フィルタ重みの補正量が、所定の閾値を超える場合、または、下回る場合、補正量を所定の値とする
付記９から付記１３のいずれかに記載の画像処理装置。
【０１１０】
（付記１５）  前記骨格成分抽出フィルタ重み補正手段は、前記骨格成分抽出フィルタ重みの補正量の上限値及び下限値を記憶し、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第１の閾値を超える場合、前記骨格成分抽出フィルタ重みの補正量を前記上限値とし、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第２の閾値を下回る場合、前記骨格成分抽出フィルタ重みの補正量を前記下限値とする
付記１４に記載の画像処理装置。
【０１１１】
（付記１６）  前記骨格成分抽出フィルタリング実行手段から出力される骨格成分を前記入力画像とし、
前記局所変動量計算手段、前記骨格成分抽出フィルタの重み計算手段、前記画像特徴量計算手段、前記重み補正手段、前記骨格成分抽出フィルタ係数計算手段及び前記骨格成分抽出フィルタリング実行手段は、所定回数、処理を繰り返す
付記９から付記１５のいずれかに記載の画像処理装置。
【０１１２】
（付記１７）  入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理のプログラムであって、
前記注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算処理と、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算処理と、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算処理と、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正処理と、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算処理と、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行処理と
を、コンピュータに実行させるプログラム。
【０１１３】
（付記１８）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正処理は、前記勾配強度が大きいほど前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１７に記載のプログラム。
【０１１４】
（付記１９）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正処理は、前記勾配強度が小さいほど前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１７に記載のプログラム。
【０１１５】
（付記２０）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正処理は、前記勾配方向における前記勾配強度が大きいほど、当該方向に前記初期画像に対するフィルタ係数が大きくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１７に記載のプログラム。
【０１１６】
（付記２１）  前記骨格成分抽出フィルタ係数は、初期画像と前記初期画像に所定の処理を行った画像とを、重み付け加算する際に用いられるフィルタ係数であり、
前記骨格成分抽出フィルタ重み補正処理は、前記勾配方向における前記勾配強度が小さいほど、当該方向の前記初期画像に対するフィルタ係数が小さくなるように、前記骨格成分抽出フィルタの重みを補正する
付記１７に記載のプログラム。
【０１１７】
（付記２２）  前記骨格成分抽出フィルタ重み補正処理は、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される前記骨格成分抽出フィルタ重みの補正量が、所定の閾値を超える場合、または、下回る場合、補正量を所定の値とする
付記１７から付記２１のいずれかに記載のプログラム。
【０１１８】
（付記２３）  前記骨格成分抽出フィルタ重み補正処理は、前記骨格成分抽出フィルタ重みの補正量の上限値及び下限値を記憶し、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第１の閾値を超える場合、前記骨格成分抽出フィルタ重みの補正量を前記上限値とし、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第２の閾値を下回る場合、前記骨格成分抽出フィルタ重みの補正量を前記下限値とする
付記２２に記載のプログラム。
【０１１９】
（付記２４）  前記骨格成分抽出フィルタリング実行処理から出力される骨格成分を前記入力画像とし、
前記局所変動量計算処理、前記骨格成分抽出フィルタの重み計算処理、前記画像特徴量計算処理、
前記重み補正処理、前記骨格成分抽出フィルタ係数計算処理及び前記骨格成分抽出フィルタリング実行処理を、所定回数繰り返す
付記１７から付記２３のいずれかに記載のプログラム。
【０１２０】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【０１２１】
本出願は、２０１３年２月１８日に出願された日本出願特願２０１３−２８８７６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１２２】
１        画像処理方法
２        画像処理方法
１１      成分分離手段
２１      骨格成分抽出手段
２２      骨格成分抽出手段
３１      残差成分算出手段
１０１    局所変動量計算手段
１０２    フィルタ重み計算手段
１０３    フィルタ係数計算手段
１０４    フィルタリング実行手段
２０１    画像特徴量計算手段
２０２    フィルタ重み補正手段
１０００  画像処理装置
１００１  局所変動量計算部
１００２  フィルタ重み計算部
１００３  フィルタ係数計算部
１００４  フィルタリング実行部
１００５  残差成分計算部
１００６  制御部
１００７  スイッチ
１００８  スイッチ
１００９  メモリ
２０００  画像処理装置
２００１  画像特徴量計算部
２００２  フィルタ重み補正部
【図１】
2014126153.tif 000037
【図２】
2014126153.tif 000038
【図３】
2014126153.tif 000039
【図４】
2014126153.tif 000040
【図５】
2014126153.tif 000041
【図６】
2014126153.tif 000042
【図７】
2014126153.tif 000043
【図８】
2014126153.tif 000044
【図９】
2014126153.tif 000045
【図１０】
2014126153.tif 000046
【図１１】
2014126153.tif 000047
【図１２】
2014126153.tif 000048
【図１３】
2014126153.tif 000049
【図１４】
2014126153.tif 000050
【図１５】
2014126153.tif 000051
【図１６】
2014126153.tif 000052
【図１７】
2014126153.tif 000053
【図１８】
2014126153.tif 000054
【図１９】
2014126153.tif 000055
【図２０】
2014126153.tif 000056
【手続補正書】
【提出日】平成27年7月23日(2015.7.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理方法であって、
注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算し、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算し、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算し、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正し、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算し、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する
画像処理方法。
【請求項２】
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される前記骨格成分抽出フィルタ重みの補正量が、所定の閾値を超える場合、または、下回る場合、補正量を所定の値とする
請求項１に記載の画像処理方法。
【請求項３】
前記骨格成分抽出フィルタ重みの補正量の上限値及び下限値を定め、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第１の閾値を超える場合、前記骨格成分抽出フィルタ重みの補正量を前記上限値とし、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第２の閾値を下回る場合、前記骨格成分抽出フィルタ重みの補正量を前記下限値とする
請求項２に記載の画像処理方法。
【請求項４】
前記骨格成分を入力画像として、所定の回数前記フィルタ処理を繰り返す
請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項５】
入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理装置であって、
注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算手段と、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算手段と、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算手段と、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正手段と、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算手段と、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行手段と
を有する画像処理装置。
【請求項６】
前記骨格成分抽出フィルタ重み補正手段は、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される前記骨格成分抽出フィルタ重みの補正量が、所定の閾値を超える場合、または、下回る場合、補正量を所定の値とする
請求項５に記載の画像処理装置。
【請求項７】
前記骨格成分抽出フィルタ重み補正手段は、前記骨格成分抽出フィルタ重みの補正量の上限値及び下限値を記憶し、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第１の閾値を超える場合、前記骨格成分抽出フィルタ重みの補正量を前記上限値とし、前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて計算される骨格成分抽出フィルタ重みの補正量が第２の閾値を下回る場合、前記骨格成分抽出フィルタ重みの補正量を前記下限値とする
請求項６に記載の画像処理装置。
【請求項８】
前記骨格成分抽出フィルタリング実行手段から出力される骨格成分を前記入力画像とし、
前記局所変動量計算手段、前記骨格成分抽出フィルタの重み計算手段、前記画像特徴量計算手段、前記重み補正手段、前記骨格成分抽出フィルタ係数計算手段及び前記骨格成分抽出フィルタリング実行手段は、所定回数、処理を繰り返す
請求項５から請求項７のいずれかに記載の画像処理装置。
【請求項９】
入力画像を、エッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する画像処理のプログラムであって、
注目画素と前記注目画素に隣接する画素との変動量である局所変動量を計算する局所変動量計算処理と、
前記局所変動量に基づいて骨格成分抽出フィルタの重みを計算する骨格成分抽出フィルタの重み計算処理と、
前記注目画素の周辺の画素値の勾配方向の画像特徴量と、前記注目画素の周辺の画素値の勾配強度の画像特徴量とを計算する画像特徴量計算処理と、
前記勾配方向の画像特徴量と前記勾配強度の画像特徴量とに基づいて、前記骨格成分抽出フィルタ重みを補正する骨格成分抽出フィルタ重み補正処理と、
前記補正された骨格成分抽出フィルタ重みに基づいて骨格成分抽出フィルタ係数を計算する骨格成分抽出フィルタ係数計算処理と、
前記計算された骨格成分抽出フィルタ係数を用いて注目画素に骨格成分抽出フィルタ処理を行い、前記骨格成分を抽出する骨格成分抽出フィルタリング実行処理と
を、コンピュータに実行させるプログラム。
【請求項１０】
前記骨格成分抽出フィルタリング実行処理から出力される骨格成分を前記入力画像とし、
前記局所変動量計算処理、前記骨格成分抽出フィルタの重み計算処理、前記画像特徴量計算処理、
前記重み補正処理、前記骨格成分抽出フィルタ係数計算処理及び前記骨格成分抽出フィルタリング実行処理を、所定回数繰り返す
請求項９に記載のプログラム。
【国際調査報告】
2014126153.tif 000057
2014126153.tif 000058