(57)【要約】【課題】入力画像の信号を、TV正則化成分分離部（Total Variation フィルタ）により、骨格成分uとテクスチャ成分vに分離し、テクスチャ成分vを線形フィルタにより拡大処理した後にShockフィルタによるエッジの先鋭化を行うが、出力画像が高精細とならない。【解決手段】テクスチャ成分vを非線形フィルタであるｎ乗フィルタを用いて拡大処理後にShockフィルタによるエッジの先鋭化を行い高精細な出力画像を得る超解像画像処理装置を提供する。【選択図】図１
2015049588.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の信号を骨格成分uとテクスチャ成分vに分離するTV正則化成分分離部（１）を有し、
前記骨格成分uを拡大骨格成分Uとする線形拡大フィルタ（２１）、次にShockフィルタ（２２）を有し、
前記テクスチャ成分vを拡大テクスチャ成分Vとするｎ乗フィルタ拡大部（３）を有し、
前記拡大骨格成分Uと前記拡大テクスチャ成分Vを加算して出力画像とする加算器（４１）を有することを特徴とする画像処理装置。
【請求項２】
前記ｎ乗フィルタ拡大部（３）は、前記テクスチャ成分vの振幅を拡大するｎ乗フィルタ（３１）、次に拡大した振幅の先端部のみを出力するリミット関数部（３２）を有し、
前記テクスチャ成分ｖと前記リミット関数部（３２）の出力を加算して前記拡大テクスチャ成分Vを出力する加算器（４２）を有することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン、デジタルカメラ、医療画像などの画像処理装置における画像拡大方式に関するものである。
【背景技術】
【０００２】
特許文献１の従来例に示されたTotal variation 正則化(以下、TV正則化)の手法を用いた画像拡大法（以下、TV正則化拡大法）は、テレビジョンやカメラ画像などの超解像度拡大法として非常に有用である。このTV正則化拡大法は、画像を骨格成分とテクスチャ成分に分離し、骨格成分にはTV正則化拡大法を用い、テクスチャ成分には線形拡大法によって拡大し、拡大された各成分を合成することで高精細な画像を得る手法である。
非特許文献１に示されたShock filter(以下、Shockフィルタ)を用いた画像拡大法は、特許文献１の骨格成分の拡大法をTV正則化拡大法からShockフィルタに変更したものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１８２０９４号公報
【非特許文献】
【０００４】
【非特許文献１】作田泰隆，川本祐大，渡辺将史，後藤富朗，平野智，桜井優：“TV正則化法とShock filter Shockフィルタを用いた超解像拡大法”，電子情報通信学会論文誌，Vol.J96-D，No.3，pp.686 - 694，2013
【非特許文献２】合志清一，越前功：“非線形信号処理を用いた超解像”，電子情報通信学会技術報告書，Vol.112，No.190，EMM2012-44，pp.51-56，2012
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１による画像拡大法では、TV正則化拡大部によって入力画像を拡大し、拡大骨格成分Uを得る。拡大骨格成分Uは、ダウンサンプリング部によって縮小され、骨格成分uを得る。次に入力画像と得られた骨格成分uを差分することによってテクスチャ成分vが得られ、テクスチャ成分vは、線形補間拡大部において拡大され、拡大テクスチャ成分Vが得られる。最後に成分合成部において拡大骨格成分Uと拡大テクスチャ成分Vが合成され、拡大出力画像が得られる。
課題としては２点挙げられる。第一に、TV正則化を信号の拡大に使用しているので、骨格成分uのTV正則化拡大においてエッジ先鋭化のために膨大な処理時間を要すること。第二に、テクスチャ成分vの拡大には線形拡大を用いているため、テクスチャ成分vが高精細とはならないことである。
【０００６】
また、図４に示す非特許文献１による画像拡大法では、TV正則化成分分離部１によって入力画像を第１成分である骨格成分uと第２成分であるテクスチャ成分vに成分分離する。
即ち、TV正則化を信号の成分分離に使用している。骨格成分uに対しては線形拡大フィルタ２１によって拡大を行った後にShockフィルタ２２によるエッジの先鋭化を行う。これにより、骨格成分uを拡大第１次成分である拡大骨格成分Uに変換する。一方、テクスチャ成分ｖに対しては線形補間拡大部５による拡大が行われ、拡大第２成分である拡大テクスチャ成分Vに変換する。拡大骨格成分Uと拡大テクチャ成分Vは、加算器４１によって合成されて、拡大出力画像が得られる。よって、特許文献１の手法とほぼ同等の画質を得ることができ、TV正則化理論を信号の拡大ではなく信号の成分分離に使用しているので、骨格成分uの拡大時間を大幅に短縮することが可能である。しかし、テクスチャ成分vの拡大には線形拡大を用いているため、特許文献１による画像拡大法と同様にテクスチャ成分vが高精細とはならないことが問題点である。
【０００７】
本発明では、非特許文献１のテクスチャ成分vの拡大の問題点を解決するために次の手法を用いた。第一に、入力画像の信号を、TV正則化理論を信号の成分分離に適用するTotal Variation フィルタ（以下：TV正則化成分分離部）によって、骨格成分uとテクスチャ成分vに成分分離する（特許文献１）。第二に、テクスチャ成分vに対して非特許文献２の非線形フィルタを用いて拡大を行う。第三に、骨格成分uの拡大については、非特許文献１の手法を用いる。第四に、拡大骨格成分Uと拡大テクスチャ成分Vとを足し合わせることで、骨格成分u、テクスチャ成分ｖともに高精細な拡大画像を得ることが可能となる。本発明の特徴は、非線形フィルタとして、具体的にｎ乗フィルタを使用し、高精細な画像を得ることができるものである。
【課題を解決するための手段】
【０００８】
上記課題を解決するための請求項１に記載の発明は、入力画像の信号を骨格成分uとテクスチャ成分ｖに分離するTV正則化成分分離部（１）を有し、前記骨格成分uを拡大骨格成分Uとする線形拡大フィルタ（２１）、次にShockフィルタ（２２）を有し、前記テクスチャ成分ｖを拡大テクスチャ成分Vとするｎ乗フィルタ拡大部（３）を有し、前記拡大骨格成分Uと前記拡大テクスチャ成分Vを加算して出力画像とする加算器（４１）を有することを特徴とする画像処理装置である。
請求項２に記載の発明は、前記ｎ乗フィルタ拡大部（３）は、前記テクスチャ成分vの振幅を拡大するｎ乗フィルタ（３１）、次に拡大した振幅の先端部のみを出力するリミット関数部（３２）を有し、前記テクスチャ成分vと前記リミット関数部（３２）の出力を加算して前記拡大テクスチャ成分Vを出力する加算器（４２）を有することを特徴とする請求項１に記載の画像処理装置である。
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態における画像拡大装置の全体構成を示す図である。
【図２】本発明の第２実施形態に係るn乗フィルタ構成部を示す図である。
【図３】本発明の第２実施形態に係るn乗フィルタに微小振動信号を入力した際の各ノードの信号例を示す図である。
【図４】従来のShockフィルタを用いた超解像の例を説明する図である。
【図５】従来のn乗フィルタを用いた超解像の例を説明する図である。
【発明を実施するための形態】
【００１０】
（第１実施形態）
図１に本発明の実施例を示す。TV正則化成分分離部１によって入力画像を第１成分である骨格成分uと第２成分であるテクスチャ成分vに成分分離する。骨格成分uには滑らかな輝度値変化をする信号とエッジ成分が含まれる。一方、テクスチャ成分vには細かく振動する信号が含まれる。
骨格成分uに対しては線形拡大フィルタ２1によって拡大を行った後にShockフィルタ２２によるエッジの先鋭化を行う。これにより、骨格成分uを拡大第１次成分である拡大骨格成分Uに変換する。
一方、テクスチャ成分ｖに対しては、従来の線形補間拡大部５に変えて、新たに非線形手法の一つであるn乗フィルタ拡大部３による拡大を行ない、拡大第２成分である拡大テクスチャ成分Vに変換する。
拡大骨格成分Uと拡大テクチャ成分Vは、加算器４１によって合成されて、拡大出力画像が得られる。
【００１１】
TV正則化成分分離部１、線形拡大フィルタ２1、Shockフィルタ２２、加算器４１は、図４に同じ符号で表した要素と同等の機能を有する。図４の従来例との大きな差は、テクスチャ成分vの線形補間拡大部５が非線形であるn乗フィルタ拡大部３に変更していることである。
線形補間拡大部５によると、線形補間拡大を用いているため、細かく振動するテクスチャ成分vの高精細な拡大が行えないという課題があるが、非線形であるｎ乗フィルタ拡大部３によると細かく振動するテクスチャ成分vを先鋭化させる作用があり、高精細な画像が得られる効果がある。
【００１２】
（第２実施形態）
図２に図１のｎ乗フィルタ拡大部３の実施例を示す。
ｎ乗フィルタ拡大部３は、第２成分であるテクスチャ成分ｖを、ｎ乗フィルタ３１およびリミット関数部を経た先鋭化振動成分と、テクスチャ成分ｖを加算器４２にて加算して拡大振動成分を出力している。
図３にｎ乗フィルタの各ノードであるｎ乗フィルタ３１、リミット関数部３２、加算器４２における信号例を示す。第２成分であるテクスチャ成分ｖは、図３（ａ）に示すように、細かく振動する入力信号である。この成分の振幅をｈ１とする。
ｎ乗フィルタ３１は、テクスチャ成分ｖ振動の成分を強調する。即ち、図３（ｂ）に示すように、図３（ａ）の振幅を「ｎ乗」することで大きくする。
リミット関数部３２では、大きくなった振動成分を、一定の値によるフィルタで振幅値の制限を行う。即ち、ｎ乗フィルタ３１で処理した信号に対し、最大振幅である波高部より一定の値（以下、制限値）ｈ２より小さい信号の通過を制限する。よって、リミット関数部３２では、図３（ｃ）に示すように最大振幅がｈ２の山型で、次の山型との間に振幅が０の領域がある先鋭化振動成分を作成する。
最後に、加算器４２では、図３（ａ）のテクスチャ成分ｖと図３（ｃ）の先鋭化振動成分を加算し、図３（ｄ）に示す最大振幅ｈ１＋ｈ２の拡大振動成分が得られる。この拡大振動成分の波形は、テクスチャ成分ｖの波形に比べ、２段階で凸となる波形となり、振動成分を先鋭化としている。
【００１３】
第２実施形態におけるｎ乗フィルタ３１の具体的な指数、即ちｎ乗としては、２〜５乗が望ましい。また、リミット関数部３２の制限値ｈ２の具体的な値としては、ｈ１の０.５〜２倍が望ましい。
リミット関数部３２、加算器４２は、図５に同じ符号で表した要素と同等の機能を有する。図５の従来例との大きな差は、第一に、非線形フィルタ３２として具体的にｎ乗フィルタ３１を用いたことである。これにより先鋭化した波形の振動成分を作り、高精細なテクスチャ成分vを得ている。
【００１４】
第二に、ハイパスフィルタを取り除いたことである。これは、図２の入力信号が、TV正則化成分分離部１において入力画像をテクスチャ成分ｖに分離した信号であり、既に細かく振動する高周波成分であるため、ハイパスフィルタを通す必要がないためである。ハイパスフィルタを取り除いたことにより、信号処理の高速化も実現できる。
【産業上の利用可能性】
【００１５】
本発明は、地上デジタル放送波を次世代テレビに表示する際に必要となる高精細な拡大画像を生成するものである。また、次世代テレビだけでなく、パーソナルコンピュータのディスプレイにも応用できる技術である。
【符号の説明】
【００１６】
１            TV正則化成分分離部（Total Variation フィルタ）
２１          線形拡大フィルタ
２２          Shockフィルタ
３            ｎ乗フィルタ拡大部
３１          ｎ乗フィルタ
３２          リミット関数部
３３          ハイパスフィルタ
３４          非線形フィルタ
４１          加算器１
４２          加算器２
５            線形補間拡大部
【図１】
2015049588.tif 000003
【図２】
2015049588.tif 000004
【図３】
2015049588.tif 000005
【図４】
2015049588.tif 000006
【図５】
2015049588.tif 000007