(57)【要約】【課題】入力画像を、TV正則化成分分離部（Total Variation フィルタ）により、骨格成分とテクスチャ成分に分離し、骨格成分を線形拡大フィルタ処理後、Shockフィルタでエッジ成分の先鋭化を行うが、輪郭部（エッジ付近）にはジャギーと呼ばれる階段状のギザギザのノイズが発生し、滑らかな輝度値変化をするグラデーションのある部分では階段状の波形となり、画質の解像度が劣化する。【解決手段】改良型Shockフィルタとして、外部的には線形拡大フィルタとShockフィルタの間にローパスフィルタを設置する。内部的には、Shockフィルタの演算式のsign関数および勾配ノルムの値を、sign関数の変数および勾配ノルムの変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする。【選択図】図１
2015055907.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を骨格成分とテクスチャ成分に分離するTV正則化成分分離部（１）を有し、
前記骨格成分を拡大骨格成分とする線形拡大フィルタ（２１）、次いでShockフィルタ（２３）を有し、
前記テクスチャ成分を拡大テクスチャ成分とする線形補間拡大部（３）を有し、
前記拡大骨格成分と前記拡大テクスチャ成分を加算して出力画像とする加算器（４）を有する画像処理装置において、
前記線形拡大フィルタ（２１）とShockフィルタ（２３）の間にローパスフィルタ（２２）を設置し、
または、前記Shockフィルタ（２３）の演算式（数３）のsign関数の値および勾配ノルムの値を、sign関数の変数および勾配ノルムの変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする画像処理装置。
【請求項２】
前記線形拡大フィルタ（２１）とShockフィルタ（２３）の間にローパスフィルタ（２２）を設置し、
および、前記Shockフィルタ（２３）の演算式（数３）のsign関数の値および勾配ノルムの値を、sign関数の変数および勾配ノルムの変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記Shockフィルタ（２３）の演算式（数３）のsign関数の値を、sign関数の変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記Shockフィルタ（２３）の演算式（数３）の勾配ノルムの値を、勾配ノルムの変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン、デジタルカメラ、医療画像などの画像処理装置における画像拡大方式に関するものである。
【背景技術】
【０００２】
非特許文献１の従来例に示されたTotal variation正則化（以下、TV正則化)の手法を用いた画像拡大法およびShockフィルタを用いた画像拡大法は、テレビジョンやカメラ画像などの超解像度拡大法として非常に有用である。この手法は、画像を骨格成分とテクスチャ成分に分離し、骨格成分には線形補間拡大を行った後にShockフィルタによるエッジ成分の先鋭化を行い、テクスチャ成分には線形拡大法によって拡大し、拡大された各成分を合成することで高精細な画像を得る手法である。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】作田泰隆，川本祐大，渡辺将史，後藤富朗，平野智，桜井優：“TV正則化法とShock Filterを用いた超解像拡大法”，電子情報通信学会論文誌，Vol.J96-D，No.3，pp.686 - 694，2013
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１による画像拡大法では、骨格成分の線形補間拡大後にShockフィルタによるエッジ成分の先鋭化を行っている。その際、輪郭部（エッジ付近）にはジャギーと呼ばれる階段状のギザギザのノイズが発生し、滑らかな輝度値変化をする部分（グラデーションのある部分）では階段状の波形となり、画質の解像度が劣化してしまう課題がある。
【０００５】
本発明では、非特許文献１の問題点であるShockフィルタの改良を行うものである。具体的には、線形拡大フィルタで処理した信号をそのままShockフィルタに入力しないで、画像のノイズになる急峻信号等を取り除くためにローパスフィルタを設置する。ローパスフィルタを通してからShockフィルタで処理する改良を行うことで、輪郭部のエッジ先鋭化が行われジャギーの発生を抑えることができる。これにより鮮明な画像を得る改良型Shockフィルタを用いた画像処理装置を提供するものである。
また、Shockフィルタの演算式に着目し、符号判定の値に、一定の範囲を設けてノイズを除去する。即ち、符号判定の閾値を、従来の１点から範囲に広げて処理をするように改良する。これにより、連続的に輝度値変化をするグラデーションのある画像において、階段状の出力にならないようにし、滑らかな輝度値変化する画像とすることができる。
以上のように、線形拡大フィルタで処理した信号をそのままShockフィルタで処理するのではなく、ローパスフィルタを採用すること、または符号判定の閾値を範囲にする処理を行った後に、Shockフィルタで信号処理する改良型Shockフィルタを用いることによって輪郭部であるエッジおよび滑らかな輝度値変化をするグラデーションのある画像に於いて高精細な画像を得ることが可能となる。
【課題を解決するための手段】
【０００６】
上記課題を解決するための請求項１に記載の発明は、入力画像を骨格成分とテクスチャ成分に分離するTV正則化成分分離部（１）を有し、前記骨格成分を拡大骨格成分とする線形拡大フィルタ（２１）、次いでShockフィルタ（２３）を有し、前記テクスチャ成分を拡大テクスチャ成分とする線形補間拡大部（３）を有し、前記拡大骨格成分と前記拡大テクスチャ成分を加算して出力画像とする加算器（４）を有する画像処理装置において、
前記線形拡大フィルタ（２１）とShockフィルタ（２３）の間にローパスフィルタ（２２）を設置し、または、前記Shockフィルタ（２３）の演算式（数３）のsign関数の値および勾配ノルムの値を、sign関数の変数および勾配ノルムの変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする画像処理装置である。請求項２に記載の発明は、前記線形拡大フィルタ（２１）とShockフィルタ（２３）の間にローパスフィルタ（２２）を設置し、および、前記Shockフィルタ（２３）の演算式（数３）のsign関数の値および勾配ノルムの値を、sign関数の変数および勾配ノルムの変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする請求項１に記載の画像処理装置である。請求項３に記載の発明は、前記Shockフィルタ（２３）の演算式（数３）のsign関数の値を、sign関数の変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする請求項１または請求項２に記載の画像処理装置である。請求項４に記載の発明は、前記Shockフィルタ（２３）の演算式（数３）の勾配ノルムの値を、勾配ノルムの変数が定数値の絶対値の範囲の場合ゼロとして、その間の出力信号を入力信号とする、ことを特徴とする請求項１または請求項２に記載の画像処理装置である。
【０００７】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態であるShockフィルタを説明する図である。
【図２】本発明の第１実施形態を施した場合の出力例である。
【図３】本発明の第２実施形態に係るShockフィルタのエッジ検出器閾値処理を説明するフローチャートである。
【図４】本発明の第３実施形態に係るShockフィルタの勾配ノルム閾値処理を説明するフローチャートである。
【図５】本発明の第２実施形態および第３実施形態を施した場合の出力例である。
【図６】従来例を説明する図である。
【図７】従来のShockフィルタを説明するフローチャートである。
【図８】従来法の問題点を説明する図である。
【発明を実施するための形態】
【０００９】
従来の例を図６により説明する。TV正則化成分分離部１によって入力画像ｆを第１成分である骨格成分uと第２成分であるテクスチャ成分vに成分分離する。骨格成分uに対しては線形拡大フィルタ２1によって拡大を行った後、Shockフィルタ２３によるエッジの先鋭化を行う。これにより、骨格成分Uを拡大第１次成分である拡大骨格成分Uに変換する。一方、テクスチャ成分ｖに対しては線形補間拡大部３による拡大が行われ、拡大第２成分である拡大テクスチャ成分Vに変換する。拡大骨格成分Uと拡大テクチャ成分Vは、加算器４によって合成されて、出力画像が得られる。
【００１０】
Shockフィルタの従来の演算式を数１に、数1のsign関数の符号判定を数２に示す。
【数１】
2015055907.tif 000003
【数２】
2015055907.tif 000004
【００１１】
Shockフィルタの演算式である数１は、入力信号のu(n)に、u(n)のラプラシアン（２階微分）の符号と勾配の強さを表す|Δｕ(n)|の積を減じた値を、出力信号u(n+1)としている。
数２は、数１のsign関数の変数Δｕ(n)をｘとし、sign(x)関数の値（符号）を、変数ｘの値により判別している。ここで、変数ｘが一定値である０の場合、出力を０としている。即ち、sign(x)の符号を１又はー１とする判定値である閾値を、変数ｘ＝０の一定値としている。
【００１２】
図７に現状のShockフィルタの処理のフローチャートを示す。
【００１３】
図８にShockフィルタの効果として、入出力の波形を示す。立ち上がり及び下がり時に、時間的遅れが発生しエッジ部に丸みを持っている方形破を入力波形とした場合、出力波形は、エッジが急峻化された方形波となる。即ち、方形波を持つ信号を入力すると、方形波のノイズが除去され、画像が鮮明になる。一方、ランプ波形を入力波形すると、階段状の歪が発生したランプ波形となる。即ち、Shockフィルタにランプ波形を持つ信号を入力すると歪が発生し、画像に悪影響を与える。これが、従来のShockフィルタの問題点である。
【００１４】
本発明による改良型Shockフィルタの演算式を数３に示す。
【数３】
2015055907.tif 000005
数１の関数sign(x)の変数ｘであるΔu(n)を、数３ではΔv(n)とする。これは、入力信号u(n)にローパスフィルタKσをかけたものを符号判定に使用することを意味し、数４で表される。また、数１の勾配ノルム|∇u（n）|を|∇u(n)ε｜とした。これは、勾配ノルムに閾値の処理を加えたことに相当し、その処理は数６で表される。
【００１５】
（第１実施形態）
第１実施形態は、外部的な改良型Shockフィルタである。
図１に示すように、TV正則化成分分離部１によって入力画像ｆを第１成分である骨格成分uと第２成分であるテクスチャ成分vに成分分離する。骨格成分uに対しては線形拡大フィルタ２1によって拡大を行った後に、ローパスフィルタ２２を用いて高周波成分を取り除き、Shockフィルタ２３によるエッジの先鋭化を行う。これにより、骨格成分Uを拡大第１次成分である拡大骨格成分Uに変換する。一方、テクスチャ成分ｖに対しては線形補間拡大部３による拡大が行われ、拡大第２成分である拡大テクスチャ成分Vに変換する。拡大骨格成分Uと拡大テクチャ成分Vは、加算器４によって合成されて、拡大出力画像が得られる。
【００１６】
第１実施形態による改良型Shockフィルタに基づくローパスフィルタ２２を数４に示す。
【数４】
2015055907.tif 000006
数４は、ローパスフィルタ処理することを意味し、数４および図１に示すように、Shockフィルタ２３への入力 を、u(n) に対してローパスフィルタ２２の係数Ｋσを施しｖ(n) にすることより、エッジ付近に発生するジャギーノイズを低減することができる。これは、入力 u(n)高調波成分を取り除くことにより、ランプ波形から方形波に近づけるからである。
【００１７】
図２に、実際の自然画像に対して数４の処理を施さない場合と施した場合の例を示す。図２（ａ）は、ローパスフィルタ２２１を使わないで、入力 u(n)をShockフィルタで処理した場合の画像である。エッジ付近には、大きな階段状のジャギーノイズが発生しており、輪郭がぼけた画像になっている。図２（ｂ）は、入力 u(n)にローパスフィルタ２２１を施しShockフィルタで処理した場合の画像である。エッジ付近のギザギザの階段状のジャギーノイズは細かくなり、輪郭がはっきりした画像になっている。よって、Shockフィルタの入力に対してローパスフィルタを施すことで輪郭部であるエッジ付近に発生していたジャギーノイズを除去することができる。
【００１８】
ローパスフィルタには様々な種類のものが存在するが、移動平均フィルタ、ガウシアンフィルタなどの平滑化フィルタを用いることができる。
【００１９】
（第２実施形態）
本発明の第２実施形態による改良型Shockフィルタを数５に示す。第２実施形態は内部的な改良型Shockフィルタである。数５は、改良型Shockフィルタの演算式３のsign関数の符号判定を示す。これは、数２に示すエッジ処理に関する数３のsign関数の符号判定に関して数５を適用する。即ち、数２は、sign(Δu(n))の１またはー１の符号判定値（閾値）を単一値の「０」としているが、数５は、sign(Δｖ (n）)の１またはー１の符号発停値（閾値）を、定数eの絶対値の範囲としている。
【００２０】
この第２実施形態のフローチャートを図３に示す。
【数５】
2015055907.tif 000007
数５は、sign関数の変数ｘとして、Δｖ (n)の値を検出してその絶対値が、ある定数e より大きい場合のみ、sign(x)を１又はー１としてshock フィルタを有効にするものである。即ち、定数εの範囲（−ε〜ε）では、sign(x)を０としてshock フィルタを無効とし、入力信号を出力値とする。
【００２１】
Δv (n)は画素の２階微分を表しているため、傾きが大きい方形波のような場合に大きくなり、傾きが一定となるランプ波形のような場合は小さくなる。したがって、ランプ波形のみに、shock フィルタの効果が働かなくなり、歪みは発生しない。
【００２２】
（第３実施形態）
本発明の第３実施形態による改良型Shockフィルタを数６に示す。第３実施形態は、内部的な改良型Shockフィルタである。これは、数３中の勾配ノルム|∇u(n)ε｜に関する項に着目し、数６に示すように勾配ノルム（数６）に関して閾値処理をするものである。この場合のフローチャートを図４に示す。
【数６】
2015055907.tif 000008
【００２３】
勾配ノルム|∇u(n)ε｜は、勾配ノルムの変数|∇u｜（絶対値）がある定数e より大きい場合のみに shock フィルタを有効にする（|∇u｜を出力）ものである。即ち、|∇u(n)ε｜は、定数εの範囲が一定の絶対値の範囲内（−ε〜ε）では、shock フィルタを無効（０の出力）とし、この間拡大第１成分を出力しない。  |∇u(n)ε｜も波形の急峻さを表しているので、同じようにランプ波形のみに、shockフィルタの効果が働かなくなり、歪みは発生しない。
【００２４】
第２実施形態および第３実施形態を処理した出力例を図５に示す。図５（a）は、定数εを0とし閾値を一定値0とした場合である。左上の濃い緑色と右下の白色の境界が、中央部の左下から右上に急激な輝度値の変化として階段状に表れている。一方、図５（b）は、定数εをー2とし閾値を―2〜2の範囲とした場合である。左上の濃い緑色と右下の白色の境界が、中央部の左下から右上に滑らかな輝度値の変化として表れている。即ち、滑らかな輝度値変化をするグラデーションのある画像に於いて高精細な画像を得ることができる。また、εの値としては、0以上で、0.5〜3が良い。値が大きいと細かなエッジを判定できなく、shockフィルタを無効にできなくなるからである。
【００２５】
また、入力画像の特徴により、第１実施形態、第２実施形態、第３実施形態を使い分けることができる。即ち、輪郭が明確で滑らかな輝度変化のない入力画像の場合、第１実施形態のみの使用で高精緻な画像が得られる。一方、輪郭が明確でなく滑らかな輝度変化の有する入力画像の場合、第２実施形態および第３実施形態の使用で高精緻な画像が得られる。ここで、第２実施形態と第３実施形態は、いずれが一方で処理でもよい。数３の改良型Shockフィルタの式の、sign関数と勾配ノルムは関の関係だからである。
【産業上の利用可能性】
【００２６】
本発明は、地上デジタル放送波を次世代テレビに表示する際に必要となる高精細な超解像画像を生成するものであり、パーソナルコンピュータやスマートフォンなど、すべてのディスプレイにも応用できる技術である。
【符号の説明】
【００２７】
１            TV正則化成分分離部（Total Variation フィルタ）
２１          線形拡大フィルタ
２２          ローパスフィルタ
２２          Shockフィルタ
３            線形補間拡大部
４            加算器          
【図１】
2015055907.tif 000009
【図２】
2015055907.tif 000010
【図３】
2015055907.tif 000011
【図４】
2015055907.tif 000012
【図５】
2015055907.tif 000013
【図６】
2015055907.tif 000014
【図７】
2015055907.tif 000015
【図８】
2015055907.tif 000016