(57)【要約】                      【課題】  デジタル画像の鮮鋭化に要する演算時間を短くし、鮮鋭で且つ平滑なデジタル静止拡大画像及び動画を得る。                      【解決手段】  Total Variation正則化方法を用いるデジタル画像装置において、デジタル画像の入力信号を骨格成分及びテクスチャ成分に分離し、前記骨格成分を線形拡大フィルタ、Shockフィルタ、Total Variation正則化フィルタで順に処理することにより鮮鋭化する。【選択図】図２
2013152583.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、入力画像のエッジ成分を鮮鋭化するShockフィルタとを備えたことを特徴とする画像処理装置。
【請求項２】
入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタとを有することを特徴とする画像処理装置。
【請求項３】
入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタと、前記Shockフィルタにより鮮鋭化された画像を平滑化するTotal Variation正則化フィルタとを有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像の画像処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
デジタル画像の画僧数を増やし、当該画像を拡大する際、元のデジタル信号成分には存在しない高周波成分を復元することにより高精細なデジタル画像を得るための様々な方法が研究されている。これらの方法は超解像技術と言われている。
【０００３】
非特許文献１、２及び３によると、超解像技術の一つであるTV正則化方法（Total Variation正則化方法）を用いた超解像画像拡大法は、拡大画像のエッジ成分を鮮鋭化する上で非常に大きな効果が確認されており、TV正則化方法は高精細な拡大画像を得る方法の１つとして有用である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特願２０１０−０５６５７１
【非特許文献】
【０００５】
【非特許文献１】齊藤隆弘：“１枚の画像からの超解像度オーバーサンプリング”、映像メディア学会誌、Vol.62、No.2、pp.181-189、2008
【非特許文献２】桜井優、吉川明博、鈴木彰太郎、後藤富朗、平野智：“Total Variation正則化と事例学習法を組合せた超解像度画像の復元”、映像メディア学会誌、Vol. 61、No. 9、pp. 1363-1366、2007
【非特許文献３】作田泰隆、後藤富朗、平野智、桜井優、“Total Variation 正則化法を用いた超解像拡大法の高速化”、FIT（情報科学技術フォーラム）、I-023、2011、9月
【非特許文献４】A. Chambolle, “An algorithm for total variation minimization and applications”, J. Mathematical Imaging and Vision, Vol.20, No.1, pp.89-97, 2004
【非特許文献５】S. J. Osher and L. I. Rudin: “Feature-oriented image enhancement using shock filters”, SIAM Journal on Numerical Analysis, Vol. 27, pp. 910-940, 1990.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１及び２による方法は、拡大画像のエッジ成分を鮮鋭化させるためには大きな効果があるが、エッジ成分を鮮鋭化するための演算時間が非常に長くなるという欠点があった。非特許文献３による方法は、非特許文献１及び２による方法と比べて、拡大画像のエッジ成分を鮮鋭化させるための演算時間を短くすることは可能になるが、画質の鮮鋭度で少し劣ることと、動画へ応用するためには演算時間が長過ぎるという欠点があった。
【０００７】
本発明は上記課題に鑑みて、拡大画像のエッジ成分を鮮鋭化するための演算時間を短くし、静止画のみならず動画においても鮮鋭な画像を得ることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、非特許文献３で用いられているTV正則化拡大部のHPF（ハイパスフィルタ）の代わりに、非特許文献５で用いられているShockフィルタを用いることを第１の特徴とし、前記ShockフィルタをTV正則化フィルタと縦続接続して用いることを第２の特徴とする。
【０００９】
具体的には、本発明は、入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像のエッジ成分を鮮鋭化するShockフィルタとを備えたことを特徴とする。
【００１０】
また、本発明は、入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタとを有することを特徴とする。
【００１１】
また、本発明は、入力画像の骨格成分を得るTotal Variation正則化成分分離手段と、前記Total Variation正則化成分分離手段により得られた骨格成分を拡大するTotal Variation正則化拡大手段とを備え、前記Total Variation正則化拡大手段は、前記Total Variation正則化成分分離手段により得られた骨格成分に対し、画像を拡大する拡大フィルタと、前記拡大フィルタにより拡大された画像のエッジ成分を鮮鋭化するShockフィルタと、前記Shockフィルタにより鮮鋭化された画像を平滑化するTotal Variation正則化フィルタとを有することを特徴とする。
【００１２】
本発明によれば、Shockフィルタにより画像が鮮鋭化される。また、Shockフィルタにより画像が鮮鋭化された後、TV正則化フィルタにより鮮鋭化された画像が平滑化されるように構成した場合には、２つのフィルタによって処理される前の画像と比べ、エッジ部が鮮鋭で且つ平滑な画像を得ることができる。また、非特許文献３の方法とは異なり、TV正則化フィルタで何度も画像を平滑化処理しなくても済むので、画像処理に要するトータルの演算時間を短くすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る超解像システムを示す図である。
【図２】本発明の第１実施形態のTV正則化拡大部の構成を示す図である。
【図３】TV正則化成分分離による入力信号成分の分離を示す図である。
【図４】本発明に係るTV正則化成分分離部の演算アルゴリズムを示すフローチャートである。
【図５】本発明に係るShockフィルタの演算アルゴリズムを示すフローチャートである。
【図６】本発明の第２実施形態のTV正則化拡大部の構成を示す図である。
【発明を実施するための形態】
【００１４】
（第１実施形態）
以下、図１〜図５に従って、本発明の第１実施形態を詳細に説明する。
【００１５】
本発明の第１実施形態は、図１に示すように、入力画像fをエッジ成分と低周波成分（以下では両成分を合せて「骨格成分」という）及び細かい振動成分とノイズ成分（以下では両成分を合せて「テクスチャ成分」という）に分離するためのTV正則化成分分離部1と、TV正則化拡大部2と、線形補間拡大部3と、拡大骨格成分U及び拡大テクスチャ成分Vとを加算するための加算器4から構成される。
【００１６】
前記TV正則化拡大部2は、図２に示すように、線形拡大フィルタ5と、Shockフィルタ７と、TV正則化フィルタ8が縦続接続された構成である。
【００１７】
TV正則化成分分離部1において入力信号fが骨格成分u及びテクスチャ成分vに分離される状況を図３により模式的に示す。
【００１８】
分離された第一成分である骨格成分uはTV正則化拡大部２によって、エッジ成分が急峻化され且つ拡大される。一方、分離された第二成分であるテクスチャ成分vは、例えばBicubic法などの線形補間法を用いて、線形補間拡大部３によって拡大される。TV正則化拡大部２からの出力で、エッジ成分が急峻化され且つ拡大された拡大骨格成分Uと線形補間拡大部３からの出力で、線形補間法により拡大されたテクスチャ成分Vは加算器4により加算され、出力画像となる。
【００１９】
TV正則化成分分離は非特許文献４で用いられているChambolleの射影法と呼ばれる繰り返し演算によって、式（１）に従って求められる。
【００２０】
【数１】
2013152583.tif 000003
【００２１】
（１）
式（１）中で、pi,jは入力画素信号ｆi,jに対応した双対ベクトルと呼ばれる２次元のベクトルである。i,jは画素の位置を表す。
【００２２】
式（１）における各記号は、夫々式（２）及び式（３）のとおり定義される。
【００２３】
【数２】
2013152583.tif 000004
【００２４】
（２）
【００２５】
【数３】
2013152583.tif 000005
【００２６】
（３）
pi,jを、式（１）に従って全画素i=1〜K、j=1〜Lまで演算し、その後、n=1〜Nまで繰り返し演算を行う。K及びLは画素数を表す。繰り返し演算の回数Nは通常は10〜30回くらいの値が取られる。繰り返し演算の終わった後のpi,jの値より、テクチャ成分ｖi,jが式（４）に従って求められる。
【００２７】
【数４】
2013152583.tif 000006
【００２８】
（４）
一方、骨格成分ｕは式（５）に従って求められる。
【００２９】
【数５】
2013152583.tif 000007
【００３０】
（５）
上記式（１）〜式（４）の演算を行うフローチャートを図４に示す。
【００３１】
次に、Shockフィルタ７における演算処理を説明する。繰り返し演算を行う画素の値を
2013152583.tif 000008
【００３２】
と表す。
2013152583.tif 000009
【００３３】
は式（６）の繰り返し演算によって求められる。
【００３４】
【数６】
2013152583.tif 000010
【００３５】
（６）
式（６）の第２項の各要素は夫々式（７）及び式（８）のとおり定義される。
【００３６】
【数７】
2013152583.tif 000011
【００３７】
（７）
【００３８】
【数８】
2013152583.tif 000012
【００３９】
（８）
式（７）及び式（８）中の各要素は夫々式（９）、式（１０）、式（１１）及び式（１２）のとおり定義される。
【００４０】
【数９】
2013152583.tif 000013
【００４１】
（９）
【００４２】
【数１０】
2013152583.tif 000014
【００４３】
（１０）
【００４４】
【数１１】
2013152583.tif 000015
【００４５】
（１１）
【００４６】
【数１２】
2013152583.tif 000016
【００４７】
（１２）
式（９）及び式（１０）の関数ｍは式（１３）のとおり定義される。
【００４８】
【数１３】
2013152583.tif 000017
【００４９】
（１３）
上記式（６）〜式（１３）の演算を行うフローチャートを図５に示す。
【００５０】
Shockフィルタ７の演算を数回繰り返した後の画像
2013152583.tif 000018
【００５１】
は、もとの画像のエッジが強調されるが、同時に平面的な方向に画像の縁にギザギザの形とエッジ付近にオーバシュートとアンダーシュートによる輝度変化が現れる。前記ギザギザの形と輝度変化は、次段のTV正則化フィルタ８により平滑化される。
【００５２】
Shockフィルタ７では演算が５回ほど繰り返し行われ、TV正則化フィルタ８では演算が２０回ほどの繰り返し行なわれ、その後TV正則化フィルタでは演算が１回行われる。
（第２実施形態）
図６に示すように、図１のTV正則化拡大部２からTV正則化フィルタ８を省き、線形拡大フィルタ５とShockフィルタ７のみによって構成しても構わない。
（第３実施形態）
第１及び第２実施形態では、画像の拡大を行うものを示したが、画像の拡大を行わない、すなわち、線形拡大フィルタ５を省いた構成としても構わない。前記構成では画像の拡大を行わずに画像の鮮鋭度を増すこととなり、用途としては、現行のテレビジョン信号例の画素数を変えずに鮮鋭度を向上させる手段としても使用が可能である。
（その他の実施形態）
第１、第２及び第３実施形態は何れもハードウェアではなく、ソフトウェアのみで構成しても構わないし、ハードウェアとソフトウェアの組み合わせで構成しても構わない。ソフトウェアで構成した場合、図１、図２、図４、図５、図６等で示される構成は、各機能を実現するための画像処理プログラムとして実現される。
【産業上の利用の可能性】
【００５３】
本発明の方法はテレビジョン画像を始め、デジタルカメラ画像、医療用画像、監視カメラ画像、衛星伝送画像などを拡大して表示する際の高精細化画像の復元に利用することができる。
【符号の説明】
【００５４】
1   TV正則化成分分離部（TV正則化成分分離手段）
2   TV正則化拡大部（TV正則化拡大手段）
3   線形補間拡大部
4   加算器
5   線形拡大フィルタ（拡大フィルタ）
6   ＴＶ正則化フィルタ
7   Shockフィルタ
【図２】
2013152583.tif 000019
【図６】
2013152583.tif 000020
【図１】
2013152583.tif 000021
【図３】
2013152583.tif 000022
【図４】
2013152583.tif 000023
【図５】
2013152583.tif 000024