(57)【要約】【課題】画像の解像度を向上する超解像装置及びプログラムを提供する。【解決手段】第一補間処理部は、入力画像を補間して画素数を増加し、補間画像を生成する。高域抽出処理部は入力画像の高域成分に関連する高域画像を生成する。第二補間処理部は、前記高域画像に対し水平および垂直方向に標本位置をずらしつつ不均一標本化を行うことで等価的に前記高域画像の有する高域成分の空間周波数を周波数変調しつつ補強画像を生成する。合成処理部は、前記補間画像に対し前記補強画像を必要に応じてレベル変換して重畳することで、出力映像を生成する。【選択図】図１
2016076168.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を補間して画素数を増加する第一補間処理部と、
前記入力画像の高域成分に関連する高域画像を生成する高域抽出処理部と、
前記高域抽出処理部の出力する前記高域画像に対し、水平および垂直方向に２以上の整数画素周期で標本位置をずらしつつ不均一標本化を行うことで画素数を増加する第二補間処理部と、
前記第一補間処理部の出力する画像に対し、前記第二補間処理部の出力に基づく画像を重畳する合成処理部と、
を備えることを特徴とする超解像装置。
【請求項２】
前記高域抽出処理部は、前記入力画像の空間２階差分を抽出するラプラシアン演算を行うことを特徴とする、請求項１に記載の超解像装置。
【請求項３】
前記第二補間処理部の不均一標本化は、最近傍補間によることを特徴とする、請求項１又は２に記載の超解像装置。
【請求項４】
前記合成処理部において、前記第一補間処理部の出力する画像に、前記第二補間処理部の出力する画像をレベル変換して重畳することを特徴とする、請求項１乃至３のいずれか一項に記載の超解像装置。
【請求項５】
コンピュータを、請求項１乃至４のいずれか一項に記載の超解像装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の解像度を向上する装置に関し、特に、入力画像のナイキスト周波数を超える信号成分を生成する超解像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、画像表示装置の画面の大型化、画素の微細化に伴い、表示画面の画素数・解像度が向上しており、入力信号の解像度が表示画面の解像度に満たない場合に、入力画像のアップコンバートを行い、画像の補間技術等を利用して、画像の解像度を変換することが行われている。
【０００３】
画像の解像度を変換する場合、入力画像に補間関数を畳み込み、入力画像とは異なる標本化周期で標本化を行うことが行われる。また、特に、出力画像の解像度の方が入力画像の解像度よりも高い場合には、入力画像のナイキスト周波数を超える信号成分を補うことで精細感のある出力画像を得る超解像技術が用いられることもある。
【０００４】
画像が時系列で与えられる場合には、注目する画像と、時刻の近い他の画像とを、画像領域ごとにサブピクセル精度で動き補償（位置合わせ）し、当該位置合わせのされた画像同士を重畳することでナイキスト周波数を超える信号成分を再生する複数フレーム超解像技術がある。
【０００５】
一方、１枚の画像からナイキスト周波数を超える信号成分を人工的に合成することで見た目の精細感を向上する手法もあり、単一フレーム超解像技術と呼ばれる。
【０００６】
単一フレーム超解像技術には、画素値レベルに対し非線形関数を適用することで波形を歪ませ、高調波を発生することで、ナイキスト周波数を超える信号成分を生成する技術が実用に供せられている。特許文献１においては、入力信号Ｓinに対して、一般式
Ｓ1＝Ｓinp/q    （ｐ／ｑは任意の有理数を意味する。）
で表される非線形関数により演算処理を行って、入力信号よりも高周波成分を含む信号Ｓ1を生成し、その後、信号Ｓ1にＨＰＦ（ハイパスフィルタ）処理を行って高周波成分を抽出し、これを入力画像信号Ｓinに加算することにより、画像輪郭部の鮮鋭化を行っている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第５３９６６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の補間関数を畳み込む手法では、特に出力画像の解像度の方が入力画像の解像度よりも高い場合にはぼやけを生じる。
【０００９】
複数フレーム超解像技術では、入力画像に折り返し歪が含まれ、なおかつ被写体が適切な動きをすれば、正確な動き補償と画像重畳により折り返し歪をキャンセルしつつナイキスト周波数を超える信号成分を再生することができる。しかし、実際には、折り返し歪の不足、被写体の動きの不適切な動き（完全静止や、単一方向の移動など）や動き推定の誤差などに起因して十分な精細感が得られないことがあるばかりか、動き推定の誤差に起因してブロックノイズといったアーチファクトを生じる危険もある。また、複数の時点の画像を用いるこの手法は、演算負荷やメモリ消費が大きく、実現にはコストが高くなる。
【００１０】
特許文献１の単一フレーム超解像技術によれば、画素値のレベル方向の非線形演算等によって比較的低コストに超解像効果を得ることができる。しかし、レベル方向に非線形演算を適用するため、画像の明暗によって高精細化の度合いに影響が生じるほか、非線形演算処理後のレベルオーバ等に対応させるためのリミッタ処理が必要となり、その結果アーチファクトを生じる危険がある。
【００１１】
従って、上記のような問題点に鑑みてなされた本発明の目的は、比較的簡易な演算処理により、ナイキスト周波数を超える信号成分を創出することができる超解像装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために本発明に係る超解像装置は、入力画像を補間して画素数を増加する第一補間処理部と、前記入力画像の高域成分に関連する高域画像を生成する高域抽出処理部と、前記高域抽出処理部の出力する前記高域画像に対し、水平および垂直方向に２以上の整数画素周期で標本位置をずらしつつ不均一標本化を行うことで画素数を増大する第二補間処理部と、前記第一補間処理部の出力する画像に対し、前記第二補間処理部の出力に基づく画像を重畳する合成処理部と、を備えることを特徴とする。
【００１３】
また、前記高域抽出処理部は、前記入力画像の空間２階差分を抽出するラプラシアン演算を行うことが望ましい。
【００１４】
また、前記第二補間処理部の不均一標本化は、最近傍補間によることが望ましい。
【００１５】
また、前記合成処理部において、前記第一補間処理部の出力する画像に、前記第二補間処理部の出力する画像をレベル変換して重畳することが望ましい。
【００１６】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。
【発明の効果】
【００１７】
本発明の超解像装置によれば、画素値レベル方向の非線形処理ではなく、標本化位置に対する非線形的な摂動によってナイキスト周波数を超える信号成分を創出することができる。これにより、特許文献１の場合に生じ得る画像の明暗への依存性等の問題が改善できる。さらに、高調波の信号成分を生成するための、標本位置をずらしつつ不均一に標本化する操作を、最近傍補間という簡易な演算で実現でき、演算コストが低減できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の超解像装置の構成例を示したブロック図である。
【図２】実施の形態の第一補間処理の概要を示す図である。
【図３】入力画像の標本点と補間画像の標本点を、同じ画像領域に配置した図である。
【図４】実施の形態の第二補間処理の概要を示す図である。
【図５】従来技術（単純補間）による解像度変換画像の例を示す図である。
【図６】従来技術（単純補間後のラプラシアン強調）による解像度変換画像の例を示す図である。
【図７】本発明による解像度変換画像の例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について説明する。
【００２０】
図１に、本発明の実施の形態に係る超解像装置の構成のブロック図を例示する。本発明の超解像装置１０は、入力画像Ｌを入力し、入力画像Ｌよりも解像度の高い出力画像Ｈを出力する。
【００２１】
入力画像Ｌの画像座標（ｘ，ｙ）における画素値をＬ（ｘ，ｙ）のように表記する。他の画像についても同様とする。なお、入力及び出力の画像信号は、（ｘ，ｙ）が整数のときに画素値が定義された離散関数信号と考えてよい。入力画像Ｌの画素数を水平方向Ｃx画素、垂直方向Ｃy画素とし、出力画像Ｈの画素数を水平方向Ｄx画素、垂直方向Ｄy画素とする。ここで、Ｄx＞Ｃx、Ｄy＞Ｃyである。
【００２２】
以下、超解像装置１０の構成を具体的に説明する。超解像装置１０は、第一補間処理部１１と、高域抽出処理部１２と、第二補間処理部１３と、合成処理部１４とによって構成される。
【００２３】
第一補間処理部１１は、入力画像Ｌに対して画素の補間を行うことにより、入力画像Ｌよりも画素数を増加した補間画像Ｍを生成する。
【００２４】
以下において、処理の過程で画像の範囲外の画素を参照する場合（例えば、Ｌ（−１，５）やＬ（２，Ｃy＋１０））には、該画素に最も近い画像内の画素の画素値（例えば、Ｌ（０，５）やＬ（２，Ｃy−１））が設定されているものとみなすか、あるいは所定の定数（例えば、０）が設定されているものとして処理を行うものとする。
【００２５】
第一補間処理部１１の出力する補間画像Ｍの画素数を、水平方向Ｄx画素、垂直方向Ｄy画素とする。補間処理としては様々な手段を利用することができるが、本発明の実施の形態においては、第一補間処理部１１は、入力画像Ｌと補間画像Ｍとの間の画素数の違いを考慮して、入力画像Ｌの画像座標系において標本化位置を水平方向Ｏx、垂直方向Ｏyだけオフセットしつつ解像度を変換するものとする。
【００２６】
図２に、第一補間処理の概要を示す。例として、一次元の入力信号Ｌに対して、解像度を２倍に向上させる補間処理を示す。
【００２７】
図２（ａ）は、入力信号Ｌに対して、信号Ｌの画素点（サンプリング位置：Ａ）の中間に補間点をとった場合（Ｂ）の概念図である。この場合は、増加した画素（補間点の画素）に対して、例えば、両側に隣接する又は周囲の入力画像Ｌの画素値の平均化処理から求めた画素値を与えることが可能である。しかしながら、元の信号のサンプリング位置の画素値は誤差がなく、補間点の画素値のみに誤差（ノイズ）が生じるため、画素ごとの誤差量の差が大きい。
【００２８】
そこで、図２（ｂ）のように、元の信号の画素点（サンプリング位置：Ａ）の中間に補間点を加え、さらに全体の画素点を１／４画素（オフセット）ずらした点（Ｃ）を、補間画像Ｍの画素点とする。
【００２９】
補間画像Ｍの画素値を求めるには、離散関数である入力信号Ｌを、一度、畳み込み処理等により、元の画像に近い連続関数Ｌ'に変換して、この連続関数Ｌ'から、補間画像Ｍの各画素点の画素値を読み取ることとする。これにより、各画素に生じる誤差量を均一化することができる。
【００３０】
具体的には、２次元画像では、次のように処理を行う。Ｌ（ｘ，ｙ）の標本点から求められる推定入力画像をＬ'（ｘ，ｙ）として、Ｌ'（ｘ，ｙ）を次式で求める。
【００３１】
【数１】
2016076168.tif 000003
【００３２】
数式（１）において、ｈ（ｘ，ｙ）は、連続関数からなる補間関数であり、記号「＊」は畳み込み処理を意味するものとする。例えば、ｈ（ｘ，ｙ）は、ある範囲で定められたガウシアン（Gaussian）関数やsinc(x)関数、Lanczos関数等を利用できる。この畳み込み処理により、連続関数としての推定入力画像Ｌ'を得て、この推定入力画像Ｌ'から、次の式により、オフセットを考慮した補間画像Ｍの各画素値を得る。
【００３３】
【数２】
2016076168.tif 000004
【００３４】
Ｃx：Ｄx＝１：２、Ｃy：Ｄy＝１：２の場合の標本点の配置を、図３に例示する。図３は、入力画像Ｌの標本点と補間画像Ｍの標本点を、同じ画像領域２０に配置して対比した図である。入力画像Ｌの標本点（白丸）に対して、補間画像Ｍの標本点（黒丸）の個数が、縦横２倍に増大し、且つ、１／４のオフセットを有して配置されている。
【００３５】
なお、入力画像の標本点（白丸）は、後述する高域画像の標本点でもあり、また、補間画像の標本点（黒丸）は、後述する補強画像及び出力画像の標本点でもある。
【００３６】
数式（１）及び数式（２）の処理をまとめて、第一補間処理部１１は、次式（３）のように補間関数ｈを畳み込むことによって非整数画素位置を含む画素位置の画素値を求めるよう動作させてもよい。
【００３７】
【数３】
2016076168.tif 000005
【００３８】
数式（３）において、ｈは補間関数、Ａは補間に用いる画素の範囲を表す集合である。数式（３）の分母は、正規化のために関数ｈの係数の総和で除する処理を行っている。補間関数ｈとしては、好ましくは遮断周波数が入力画像Ｌの標本化間隔におけるナイキスト周波数付近にある低域通過型のフィルタを用いる。例えば、補間関数ｈとして、次式（４）に示す２次元Lanczos-3関数を用いることができる。
【００３９】
【数４】
2016076168.tif 000006
【００４０】
このとき、集合Ａは次のように定める。
【００４１】
【数５】
2016076168.tif 000007
【００４２】
なお、数式（５）における丸括弧は開区間を、演算子×は直積をそれぞれ表す。
【００４３】
補間関数ｈに数式（４）の２次元Lanczos-3関数を用い、補間画像Ｍの画素数が入力画像Ｌの水平方向２倍、垂直方向２倍である場合には、数式（３）は、次式（６）のように書ける。
【００４４】
【数６】
2016076168.tif 000008
【００４５】
次に、補強画像Γを作成するための、高域抽出処理部１２と、第二補間処理部１３の処理について説明する。
【００４６】
高域抽出処理部１２は、入力画像Ｌから高周波数成分を抽出又は生成する処理を行い、高域画像Λを出力する。高域抽出処理部１２の演算処理として、高域通過特性を有する任意のフィルタ（ハイパスフィルタ）処理を適用することができ、例えば、ラプラシアン演算子（数式（７））を用いることができる。
【００４７】
【数７】
2016076168.tif 000009
【００４８】
本実施形態においては、高域抽出処理部１２は、入力画像Ｌにラプラシアン演算子又はこれを離散近似した演算を適用することで、入力画像Ｌの高域成分に関連する画像を生成し、これを高域画像Λとして出力する。高域画像Λは、次式（８）で表される。
【００４９】
【数８】
2016076168.tif 000010
【００５０】
したがって、高域抽出処理部１２は、空間の２階差分に基づいて、例えば、次式（９）の演算により高域（ラプラシアン）画像Λを得る。
【００５１】
【数９】
2016076168.tif 000011
【００５２】
高域抽出処理はこれに限られるものではないが、ラプラシアン演算により、簡易で高速な処理が可能となる。
【００５３】
第二補間処理部１３は、高域画像Λに対して、第一補間処理部１１とは異なる手段で画素の補間を行うことにより、補間画像Ｍと同じ水平・垂直画素数の補強画像Γを生成する。
【００５４】
具体的には、第二補間処理部１３は、高域画像Λに対し、水平および垂直に整数画素周期（例えば、Ｄx／ＣxおよびＤy／Ｃyが２以上の整数であれば、水平方向にＤx／Ｃx画素周期かつ垂直方向にＤy／Ｃy画素周期）で標本位置をずらしつつ不均一標本化（均等間隔ではない標本化）を行う。これにより、高域画像Λの有する高域成分の空間周波数が等価的に周波数変調された補強画像Γが生成される。
【００５５】
例えば、第二補間処理部１３における補間方法として、次式の最近傍補間を用いる。
【００５６】
【数１０】
2016076168.tif 000012
【００５７】
Ｄx／ＣxおよびＤy／Ｃyが２以上の整数であれば、数式（１０）は水平方向にＤx／Ｃx画素かつ垂直方向Ｄy／Ｃy画素の周期性のある不均一なパターンで標本化が行われることになる。
【００５８】
図４に、最近傍補間を利用した、第二補間処理の概要を示す。
【００５９】
Ｄx／ＣxおよびＤy／Ｃyが２のとき、図４のように、高域画像Λの標本点（白丸）と補強画像Γの標本点（黒丸）が配置され、各高域画像Λの値が、図の矢印のように、その画素を中心として隣接する４つの補強画像Γの画素値となる。例えば、数式（１０）に基づいて、Γ（０，０）、Γ（０，１）、Γ（１，０）、Γ（１，１）の画素値として、Λ（０，０）の画素値が与えられる。
【００６０】
このとき、図で破線に囲まれた４つの補強画像Γの標本点（黒丸）に注目すると、高域画像Λで距離１．０×１．０の正方形の頂点（白丸）上にあった画素値Λを、Γの０．５×０．５の４標本点（黒丸）に適用することとなるため、ラプラシアンで抽出された画像（エッジ）情報を縦横半分に圧縮していることとなる。結果として、この部分で入力画像のナイキスト周波数よりも高い周波数成分が発生する。本発明は、この高周波成分を利用して、画像の精細感を生じさせる。なお、高域画像Λの標本点を中心とする４つの補強画像の標本点は、画素値が同一のためエッジ形状を無限大に拡大していることとなるが、これによる視覚的な悪影響は少ない。
【００６１】
合成処理部１４は補間画像Ｍと補強画像Γとを合成し、出力画像Ｈを得る。このとき、合成処理部１４は、補強画像Γの画素値を関数ｆに通して変換し、高域成分の補強の度合いを調整することもできる。例えば、合成処理部１４は、次式により出力画像を得る。
【００６２】
【数１１】
2016076168.tif 000013
【００６３】
関数ｆには、例えば、奇関数を用いる。高域画像Λの算出にラプラシアン演算を用いた場合、関数ｆは、例えば、広義単調減少関数を用いる。
【００６４】
とくに、関数ｆとして、次式（１２）の一次関数を用いてもよい。
【００６５】
【数１２】
2016076168.tif 000014
【００６６】
このとき、合成処理部１４は、次式（１３）により出力画像Ｈを得る。
【００６７】
【数１３】
2016076168.tif 000015
【００６８】
なお、高域画像Λの算出にラプラシアン演算を用いた場合、係数αは負の実数とする。この係数αの値は外部から設定可能としてもよい。
【００６９】
以上により、補強画像Γのない補間画像Ｍよりも精細感がある状態でアップコンバートされた出力画像Ｈを得ることができる。
【００７０】
図５〜図７に比較例と共に本発明の処理の実例を示す。この例ではＣx＝３８４０、Ｃy＝２１６０、Ｄx＝７６８０、Ｄy＝４３２０として、処理を行った（但し、図５〜図７は処理結果の７６８０×４３２０画素のうち、４００×４００画素の部分領域を切り出したものである）。
【００７１】
図５は、Lanczos-3補間を利用した単純補間（従来技術）による画像である。単純補間の結果にはぼやけが見られる。
【００７２】
図６は、図５の結果（Lanczos-3補間）を更にラプラシアン強調（従来技術）したものである。図６ではエッジが強くなったものの、不自然に太みを帯びたエッジが強調されており精細感の向上にはつながっていない。これは、ナイキスト周波数以上の成分を有しない図５を高域強調したところで、ナイキスト周波数を超える周波数が生成し得ないことによる。
【００７３】
図７が本発明による出力画像である。この実施例では、合成処理部１４の関数は数式（１３）によった。このとき、係数αはα＝−０．１５とした。本発明により得られた画像は、図５よりも精細感があり、かつ図６の不自然さも解消できている。特に、図６との比較においては、枝の部分のギザギザが解消され、自然な画像となっており、本発明の効果が明らかである。
【００７４】
上述のとおり、本発明の超解像装置は、比較的簡単な演算処理でナイキスト周波数を超える信号成分を創出することができ、高精細な画像を表示することができる。
【００７５】
なお、上述した超解像装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００７６】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成ブロック等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロックを１つに組み合わせたり、或いは分割したりすることが可能である。
【符号の説明】
【００７７】
１０  超解像装置
１１  第一補間処理部
１２  高域抽出処理部
１３  第二補間処理部
１４  合成処理部
２０  画素領域
【図１】
2016076168.tif 000016
【図２】
2016076168.tif 000017
【図３】
2016076168.tif 000018
【図４】
2016076168.tif 000019
【図５】
2016076168.tif 000020
【図６】
2016076168.tif 000021
【図７】
2016076168.tif 000022