(57)【要約】【課題】非可逆圧縮の画像のノイズを低減し、該画像を超解像すること。【解決手段】本発明は、圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像を切り出し、局所画像に含まれる複数の画素の各頂点をノードとして隣接するノードの間をリンクで結んで得られる第１グラフモデルを設定し、画素の輝度値に基づいて各リンクに重み付けを行い、重みに基づいて第１グラフモデルにおける平坦部とエッジ部とを判定し、該リンクを新たなノードとして隣接するリンクの間を結んで得られる第２グラフモデルを設定し、平坦部およびエッジ部の特性に基づいて第２グラフモデルにおける隣接する新たなノードの間に適用される拘束条件を設定し、拘束条件に基づいて局所画像の事前分布を定義し、入力画像の圧縮過程で使用される量子化データと事前分布とを比較して局所画像からノイズを除去して高解像度局所画像を生成する画像処理方法である。【選択図】図１
2017097397.tif 000002
【特許請求の範囲】
【請求項１】
圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像を切り出し、前記局所画像に含まれる複数の画素の各頂点をノードとして隣接する前記ノードの間をリンクで結んで得られる第１グラフモデルを設定する工程と、
前記画素の輝度値に基づいて各前記リンクに重み付けを行い、前記重みに基づいて前記第１グラフモデルにおける平坦部とエッジ部とを判定する工程と、
前記重みが与えられた前記リンクを新たなノードとして隣接する前記リンクの間を結んで得られる第２グラフモデルを設定する工程と、
前記平坦部および前記エッジ部の特性に基づいて前記第２グラフモデルにおける隣接する前記新たなノードの間に適用される拘束条件を設定し、前記拘束条件に基づいて前記局所画像の事前分布を定義する工程と、
前記入力画像の圧縮過程で使用される量子化データと前記事前分布とを比較して前記局所画像からノイズを除去して最適化を行い、高解像度局所画像を生成する工程と、
を有する、画像処理方法。
【請求項２】
前記拘束条件は、前記平坦部と前記エッジ部との間の境界形状が滑らかに変化する要素と、前記平坦部における隣接する前記画素の前記輝度値が滑らかに変化する要素とを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記重みは、前記平坦部と前期エッジ部とを識別するための異なる２値を設定して各前記リンクに対してそれぞれ前記重み付けを行う、
請求項１または２に記載の画像処理方法。
【請求項４】
前記重みは、前記平坦部と前期エッジ部とを識別するための連続する値を設定して各前記リンクにそれぞれ前記重み付けを行う、
請求項１または２に記載の画像処理方法。
【請求項５】
圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像を切り出し、前記局所画像に含まれる複数の画素の各頂点をノードとして隣接する前記ノードの間をリンクで結んで得られる第１グラフモデルを設定する第１グラフモデル設定手段と、
前記画素の輝度値に基づいて各前記リンクに重み付けを行い、前記重みに基づいて前記第１グラフモデルにおける平坦部とエッジ部とを判定する判定手段と、
前記重みが与えられた前記リンクを新たなノードとして隣接する前記リンクの間を結んで得られる第２グラフモデルを設定する第２グラフモデル設定手段と、
前記平坦部および前記エッジ部の特性に基づいて前記第２グラフモデルにおける隣接する前記新たなノードの間に適用される拘束条件を設定し、前記拘束条件に基づいて前記局所画像の事前分布を定義する画像推定手段と、
前記入力画像の圧縮過程で使用される量子化データと前記事前分布とを比較して前記局所画像からノイズを除去して最適化を行い、高解像度局所画像を生成する演算手段と、
を有する、画像処理装置。
【請求項６】
前記拘束条件は、前記平坦部と前記エッジ部との間の境界形状が滑らかに変化する要素と、前記平坦部における隣接する前記画素の前記輝度値が滑らかに変化する要素とを含む、
請求項５に記載の画像処理装置。
【請求項７】
前記重みは、前記平坦部と前期エッジ部とを識別するための異なる２値を設定して各前記リンクに対してそれぞれ前記重み付けを行う、
請求項５または６に記載の画像処理装置。
【請求項８】
前記重みは、前記平坦部と前期エッジ部とを識別するための連続する値を設定して各前記リンクにそれぞれ前記重み付けを行う、
請求項６または７に記載の画像処理装置。
【請求項９】
圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像を切り出し、前記局所画像に含まれる複数の画素の各頂点をノードとして隣接する前記ノードの間をリンクで結んで得られる第１グラフモデルを設定する工程と、
前記画素の輝度値に基づいて各前記リンクに重み付けを行い、前記重みに基づいて前記第１グラフモデルにおける平坦部とエッジ部とを判定する工程と、
前記重みが与えられた前記リンクを新たなノードとして隣接する前記リンクの間を結んで得られる第２グラフモデルを設定する工程と、
前記平坦部および前記エッジ部の特性に基づいて前記第２グラフモデルにおける隣接する前記新たなノードの間に適用される拘束条件を設定し、前記拘束条件に基づいて前記局所画像の事前分布を定義する工程と、
前記入力画像の圧縮過程で使用される量子化データと前記事前分布とを比較して前記局所画像からノイズを除去して最適化を行い、高解像度局所画像を生成する工程と、
を有する、画像処理方法の各処理をコンピュータに実行させるプログラム。
【請求項１０】
前記拘束条件は、前記平坦部と前記エッジ部との間の境界形状が滑らかに変化する要素と、前記平坦部における隣接する前記画素の前記輝度値が滑らかに変化する要素とを含む、
請求項９に記載のプログラム。
【請求項１１】
前記重みは、前記平坦部と前期エッジ部とを識別するための異なる２値を設定して各前記リンクに対してそれぞれ前記重み付けを行う、
請求項９または１０に記載のプログラム。
【請求項１２】
前記重みは、前記平坦部と前期エッジ部とを識別するための連続する値を設定して各前記リンクにそれぞれ前記重み付けを行う、
請求項９または１０に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮された画像を鮮明にするための画像処理方法、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、ＴＶ放送がＤｉｇｉｔａｌ放送に移行すると共に、ＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）などのインターネットを介した映像配信サービスも普及している。また、Ｓｍａｒｔ  ＴＶの出現により、ＹｏｕＴｕｂｅ（登録商標）などのＵＧＣ（Ｕｓｅｒ  Ｇｅｎｅｒａｔｅｄ  Ｃｏｎｔｅｎｔｓ）を手軽にＴＶで視聴できる環境も整いつつある。放送波やＩｎｔｅｒｎｅｔを介した映像配信では、ＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４ＡＶＣといったビデオコーデックで圧縮された映像が用いられている。圧縮された映像では、ブロックノイズなどの符号化ノイズによって画質劣化が生じることが問題となっている。
【０００３】
符号化ノイズの検出・除去に関しては１９９０年代に入ってから現在まで数多くの方法が提案されている。従来の符号化ノイズ検出では、画質劣化の無い参照画像（正解画像）と圧縮画像との比較によりノイズ量を推定する手法、圧縮情報（ビットストリームに含まれている量子化マトリクス、量子化スケールなど）を用いてノイズ量を推定する手法（Ｆｕｌｌ−ｒｅｆｅｒｅｎｃｅ型手法）などが提案されている。しかし、Ｎｏ−ｒｅｆｅｒｅｎｃｅ且つＣｏｍｐｒｅｓｓｉｏｎ−ｂｌｉｎｄという条件下において、非可逆圧縮された映像信号から原信号とＮｏｉｓｅを完璧に分離することは如何なる方法でも不可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｕ．  Ｌｕｘｂｕｒｇ，  “Ａ  ｔｕｔｏｒｉａｌ  ｏｎ  ｓｐｅｃｔｒａｌ  ｃｌｕｓｔｅｒｉｎｇ，”  ｉｎ  Ｓｔａｔｉｓｔｉｃｓ  ａｎｄ  Ｃｏｍｐｕｔｉｎｇ，  ｖｏｌ．  １７，  ｎｏ．４  Ｄｅｃｅｍｂｅｒ  ２００７，  ｐｐ．３９５−４１６．
【非特許文献２】Ｄ．  Ａ．  Ｓｐｉｅｌｍａｎ，  ｉｎ  Ｌｅｃｔｕｒｅ  ２  ｏｆ  Ｓｐｅｃｔｒａｌ  Ｇｒａｐｈ  Ｔｈｅｏｒｙ  ａｎｄ  ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎｓ，  Ｓｅｐｔｅｍｂｅｒ  ２００４．
【非特許文献３】Ｇ．  Ｆｒｅｅｄｍａｎ  ａｎｄ  Ｒ．  Ｆａｔｔａｌ，  “Ｉｍａｇｅ  ａｎｄ  ｖｉｄｅｏ  ｕｐｓｃａｌｉｎｇ  ｆｒｏｍ  ｌｏｃａｌ  ｓｅｌｆ−ｅｘａｍｐｌｅｓ，”  ＡＣＭ  Ｔｒａｎｓ．  Ｇｒａｐｈ．，  ｖｏｌ．  ２８，  ｎｏ．  ３，  ｐｐ．１−１０，  ２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非可逆圧縮された画像において検出対象となっている符号化ノイズには、ブロックノイズ、モスキートノイズ、リンギングノイズがある。モスキートノイズは画像中のエッジ部分に顕著に発生する。関連する技術ではエッジを含む領域（例えばＭＰＥＧ２では８×８画素単位のブロック）を検出し、その領域内部でエッジ保存平滑化をかけることにより符号化ノイズを低減する手法が提案されている。ところが、このような手法では、本来画像に含まれているテクスチャと符号化ノイズ成分の両方からノイズ成分を推定するため、符号化ノイズ量だけを推定することは困難であり、また、平滑化時に本来の画像テクスチャも平滑化してしまうという問題がある。
【０００６】
近年、ＴＶ画面の更なる高解像度化が進んでおり、Ｆｕｌｌ  Ｈｉｇｈ  Ｖｉｓｉｏｎ（２Ｋ  ＴＶ，  １９２０×１０８０画素）から４Ｋ  ＵＨＤ  ＴＶ（３８４０×２１６０画素）へ移行しつつある。しかし、ＴＶ画面が高精細化してもそれに表示できるコンテンツが少ないため、４Ｋ  ＴＶで２Ｋ以下の解像度のコンテンツを表示する場合が生じる。このとき、表示される２Ｋ以下の画像を超解像によって４Ｋサイズに拡大して表示する必要がある。元の２Ｋ解像度以下のコンテンツ画像にノイズが含まれていない場合は、画像拡大した際のアーチファクトは画像のボケだけで済む。しかし、元の画像にノイズが含まれている場合はノイズも同時に超解像してしまうという問題がある。
【０００７】
関連する手法では、超解像を行う際は画像にノイズが重畳されていないことを前提にしていることが多い。そのため、超解像の対象となる画像にノイズが重畳されている場合は、画像を超解像する際にノイズも超解像されてしまう場合がある。ノイズは本来画像に含まれていないテクスチャであるため、ノイズが超解像されると非常に不自然なアーチファクトとして目立つという問題がある。その場合、前処理としてノイズ低減処理を行うが、エッジをぼかしてしまったり、テクスチャまで低減したりしてしまう。この場合、超解像する際にぼけたエッジやロストしたテクスチャを綺麗に拡大できなくなる。
本発明は、ノイズが重畳された非可逆圧縮の画像のノイズを低減すると共に、該画像を超解像することができる画像処理方法、画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる画像処理方法の一態様は、圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像を切り出し、前記局所画像に含まれる複数の画素の各頂点をノードとして隣接する前記ノードの間をリンクで結んで得られる第１グラフモデルを設定する工程と、
前記画素の輝度値に基づいて各前記リンクに重み付けを行い、前記重みに基づいて前記第１グラフモデルにおける平坦部とエッジ部とを判定する工程と、
前記重みが与えられた前記リンクを新たなノードとして隣接する前記リンクの間を結んで得られる第２グラフモデルを設定する工程と、
前記平坦部および前記エッジ部の特性に基づいて前記第２グラフモデルにおける隣接する前記新たなノードの間に適用される拘束条件を設定し、前記拘束条件に基づいて前記局所画像の事前分布を定義する工程と、
前記入力画像の圧縮過程で使用される量子化データと前記事前分布とを比較して前記局所画像からノイズを除去して最適化を行い、高解像度局所画像を生成する工程と、
を有する。
【０００９】
本発明にかかる画像処理装置の一態様は、圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像を切り出し、前記局所画像に含まれる複数の画素の各頂点をノードとして隣接する前記ノードの間をリンクで結んで得られる第１グラフモデルを設定する第１グラフモデル設定手段と、
前記画素の輝度値に基づいて各前記リンクに重み付けを行い、前記重みに基づいて前記第１グラフモデルにおける平坦部とエッジ部とを判定する判定手段と、
前記重みが与えられた前記リンクを新たなノードとして隣接する前記リンクの間を結んで得られる第２グラフモデルを設定する第２グラフモデル設定手段と、
前記平坦部および前記エッジ部の特性に基づいて前記第２グラフモデルにおける隣接する前記新たなノードの間に適用される拘束条件を設定し、前記拘束条件に基づいて前記局所画像の事前分布を定義する画像推定手段と、
前記入力画像の圧縮過程で使用される量子化データと前記事前分布とを比較して前記局所画像からノイズを除去して最適化を行い、高解像度局所画像を生成する演算手段と、
を有する。
【００１０】
本発明にかかるプログラムの一態様は、圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像を切り出し、前記局所画像に含まれる複数の画素の各頂点をノードとして隣接する前記ノードの間をリンクで結んで得られる第１グラフモデルを設定する工程と、
前記画素の輝度値に基づいて各前記リンクに重み付けを行い、前記重みに基づいて前記第１グラフモデルにおける平坦部とエッジ部とを判定する工程と、
前記重みが与えられた前記リンクを新たなノードとして隣接する前記リンクの間を結んで得られる第２グラフモデルを設定する工程と、
前記平坦部および前記エッジ部の特性に基づいて前記第２グラフモデルにおける隣接する前記新たなノードの間に適用される拘束条件を設定し、前記拘束条件に基づいて前記局所画像の事前分布を定義する工程と、
前記入力画像の圧縮過程で使用される量子化データと前記事前分布とを比較して前記局所画像からノイズを除去して最適化を行い、高解像度局所画像を生成する工程と、
を有する、画像処理方法の各処理をコンピュータに実行させる。
【発明の効果】
【００１１】
本発明にかかる画像処理方法、画像処理装置および画像処理プログラムによると、ノイズが重畳された非可逆圧縮の画像のノイズを低減すると共に、該画像を超解像することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】画像処理装置の画像処理の流れを示したブロック図である。
【図３】画像処理に用いられるＰＷＳ画像とＧＰＷＳ画像を示す図である。
【図４】画像処理に用いられるＰＷＳ画像が変換された第１グラフモデルを示す図である。
【図５】第１グラフモデルを変換した第２グラフモデルを示す図である。
【図６】処理するパッチ（Ｐｒｏｃｅｓｓｉｎｇ  Ｐａｔｃｈ）と符号化するブロック（Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）のサイズを示す図である。
【図７】画像処理方法における平坦領域と遷移領域との境界とを分離する処理を示す図である。
【図８】画像処理装置による画像処理方法の処理を示すフローチャートである。
【図９】第２実施形態にかかる画像処理の流れを示したブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ、本発明にかかる画像処理方法、画像処理装置および画像処理プログラムの実施形態について説明する。
【００１４】
［第１実施形態］
先ず本発明に係る画像処理方法に用いられる原理およびそれを実現する装置について説明する。
【００１５】
図１に示されるように、画像処理装置１は、入力画像から局所画像を切り出してこの局所画像を隣接するノード間が結ばれたグラフモデル（第１グラフモデル）に設定する第１グラフモデル設定手段２と、局所画像の画素の輝度に基づいて各リンクに重み付けを行い、重みに基づいて第１のグラフモデルにおける平坦部とエッジ部とを判定する判定手段３と、重みが与えられた第１のグラフモデルからデュアルグラフ（第２グラフモデル）を設定する第２グラフモデル設定手段４と、第２のグラフモデルの拘束条件を設定して局所画像の事前分布を定義する画像推定手段５と、事前分布に基づいて局所画像のノイズ除去および最適化を行う演算手段６と、各処理の実行を制御する制御手段７とを有する。
【００１６】
図２には、入力される画像に対するノイズ低減を行う処理の流れを示したブロック図が記載されている。先ず第１グラフモデル設定手段２の処理について説明する。入力される画像は、例えばＪＰＥＧ、またはＭＰＥＧ圧縮によって既にノイズが重畳されている画像である。次に、入力画像から√Ｎ×√Ｎ画素の局所画像パッチを切り出す（Ｌｏｃａｌ  Ｐａｔｃｈ  Ｃｌｉｐｐｉｎｇ）。この局所ＰａｔｃｈをＰＷＳ（Ｐｉｅｃｅｗｉｓｅ  Ｓｍｏｏｔｈ）画像と呼ぶ。つまり、第１グラフモデル設定手段２は、圧縮された入力画像からエッジ部と平坦部とからなる所定の単位で分割された局所画像パッチを切り出す。
【００１７】
図３（ａ）に示されるように、ＰＷＳ画像は、エッジ部と平坦部とを含んでいる。ＰＷＳ画像は、平坦領域（平坦部）がステップエッジで分割された画像であり、特にアニメーション映像や距離画像を想定している。これらの画像では局所領域においてエッジが連続的につながり、平坦部の輝度（または測定値）も滑らかに変化する。この性質をＰｉｅｃｅｗｉｓｅ  Ｓｍｏｏｔｈ（ＰＷＳ）と表現している。
【００１８】
次に、ＰＷＳ画像をノード間がリンクで結ばれたグラフモデルで表現する（Ｃｏｎｓｔｒｕｃｔ  Ｓｉｍｉｌａｒｉｔｙ  Ｇｒａｐｈ）。ＰＷＳ画像のグラフモデルとは、ここではＰＷＳ画像内の各画素を頂点（ｖｅｒｔｅｘ）として、各頂点間がエッジ（ｅｄｇｅ）で結ばれたものを示す。
【００１９】
図４に示されるように、グラフモデル（第１グラフモデル）１０は、各画素の頂点Ｖｎがエッジ（リンク）ｅｉ，ｊで結ばれている。グラフモデル１０は、Ｇ＝｛ｖ，ε，Ｗ｝と定義される。ここで、ｖは頂点Ｖｎ（ｎ＝１，・・・，９）の集合であり、εはエッジｅｉ，ｊの集合であり、Ｗは、各リンクｅｉ，ｊに与えられる重みの集合である。ｅｉ，ｊは、ｉ番目の頂点Ｖｉとｊ番目の頂点Ｖｊとを結んだエッジ（リンク）である。頂点ＶｉはＰＷＳ画像の各画素ｚｉに対応する。つまり、第１グラフモデル設定手段２は、局所画像に含まれる複数の画素ｚｉの各頂点Ｖｉをノードとして隣接するノードの間をリンクｅｉ，ｊで結んで得られるグラフモデル１０を設定する。
【００２０】
次に、判定手段３における処理について説明する。各リンクｅｉ，ｊは、それぞれ頂点Ｖｉと頂点Ｖｊとの間の類似性を示す類似度に応じた重み（結合の強さ）ｗｉ，ｊを持つ。頂点Ｖｉと頂点Ｖｊとの間の類似度は、例えば輝度値が用いられる。ＰＷＳ画像において、例えば距離画像のように領域境界の輝度値の遷移（Ｔｒａｎｓｉｔｉｏｎ）が急峻な場合（ステップエッジに近い場合）は、頂点Ｖｉと頂点Ｖｊとの間の重みｗｉ，ｊは０（結合が無い）に設定される。ＰＷＳ画像において、平坦部のように隣接画素間の輝度値が近い場合はｗｉ，ｊが１（結合している）に設定される。
【００２１】
隣接画素のペアが急峻な遷移（エッジ）であるか平坦であるかを判断するために、ＰＷＳ画像（ｚｉの集合ｚ）に対して、例えば非特許文献１に記載されたスペクトラル・クラスタリングが用いられる。スペクトラル・クラスタリングにより、ｚはエッジ部と平坦部の二つのセグメントに分割される。それにより、Ｗは初期化される。つまり、判定手段３は、画素ｚｉの輝度に基づいて各リンクｅｉ，ｊに重みｗｉ，ｊ付けを行い、重みｗｉ，ｊに基づいてグラフモデル１０における平坦部とエッジ部とを判定する。
【００２２】
次に、第２グラフモデル設定手段４の処理について説明する。
【００２３】
図５に示されるように、その後、全てのＫ個の重みｗｉ，ｊをスタックしたＫ次元ベクトルｗ＝［ｗ１，２，ｗ２，３，…，ｗＮ−１，Ｎ］Ｔを設定し、これをＤｕａｌ  Ｇｒａｐｈ：デュアルグラフ（第２グラフモデル）２０として設定する。以降、本実施形態では、グラフモデル１０（図４参照）を直接最適化する代わりに、Ｄｕａｌ  Ｇｒａｐｈ２０を最適化する。Ｄｕａｌ  Ｇｒａｐｈ２０Ｇｗでは、各ノードがグラフモデル１０（図４参照）のエッジ（リンク）に対応する。つまり、第２グラフモデル設定手段４は、重みｗｉ，ｊが与えられたリンクｅｉ，ｊを新たなノードｅｉ，ｊとして隣接するリンクの間を結んで得られるＤｕａｌ  Ｇｒａｐｈ２０を設定する。これにより、画像処理装置１は、画像処理において画像の形状情報に関する制約条件を導入することができる。
【００２４】
次に、画像推定手段５の処理について説明する。Ｄｕａｌ  Ｇｒａｐｈ２０Ｇｗにおいて、ＰＷＳ画像と同様にＰｉｅｃｅｗｉｓｅ  Ｓｍｏｏｔｈの特性を定義するために、ＡＣとＤＣとの二つの成分を用いて生成された事前確率を定義する（Ｃａｌｃｕｌａｔｅ  ＡＣ／ＤＣ  Ｐｒｉｏｒ）。まず、ＰＷＳ画像において、境界線は滑らかに変化すると仮定する。この境界線に沿って隣接するノードの重みｗｉ，ｊは似ているはずである。このｗのＴｏｔａｌ  Ｖａｒｉａｔｉｏｎとしての拘束条件をＡＣ  Ｐｒｉｏｒと呼び、次式で定義する。
【００２５】
【数１】
2017097397.tif 000003
・・・・（１）
式（１）でＨはＧｗの隣接ノード間の差分を計算する差分マトリクス、ｃＡは正規化項、μ２は調整パラメータを表す。この式はＰＷＳ画像内の境界形状が滑らかでなければならないという拘束条件を表している。次に、ＰＷＳ画像の境界部分以外の画素は平坦であるという拘束条件をＤＣ  Ｐｒｉｏｒと呼び、次式で定義する。
【００２６】
【数２】
2017097397.tif 000004
・・・・（２）
式（２）で、||１−ｗ||内の１は全ての要素が１であるＫ次元ベクトル、ｃＤは正規化項、μ３は調整パラメータを表す。式（２）は、平坦部において、ほとんどの重みが１にならなければいけないという拘束条件を表す。そして、式（１），（２）の積により、Ｄｕａｌ  Ｇｒａｐｈ２０ｗに関する拘束条件を次式で表す。
【００２７】
【数３】
2017097397.tif 000005
・・・・（３）
式（３）で、ｃ２は正規化項であり、ｗの各要素ｗｉ，ｊは０または１の値をとる。隣接画素が急峻な輝度変化（エッジ）をまたいでいる場合はｗｉ，ｊ＝０となり、隣接画素が平坦部に存在している時はｗｉ，ｊ＝１となる。式（３）はＰＷＳ画像内の隣接画素ペアが持つ重みの、空間的な連続性（例えば、境界線は途切れない）を表している。つまり、重みは、平坦部とエッジ部とを識別するための異なる２値を設定して各リンクに対してそれぞれ重み付けを行っている。
【００２８】
次に、ＰＷＳ画像の輝度値が空間的に連続しているという拘束条件を次式で表す（Ｃａｌｃｕｌａｔｅ  Ｇｒａｐｈ−ｓｉｇｎａｌ  Ｓｍｏｏｔｈｎｅｓｓ  Ｐｒｉｏｒ）。
【数４】
2017097397.tif 000006
・・・・（４）
式（４）でｉ〜ｊはＤｕａｌ  Ｇｒａｐｈ２０Ｇｗにおけるノードｅｉ，ｊからの４近傍における隣接頂点のペアを表し、εは十分に小さな正定数である。式（４）を満たすためには、平坦部における輝度値が滑らかに変化していなければならない。式（４）は、例えば非特許文献２に記載されたＧｒａｐｈ  Ｌａｐｌａｃｉａｎ  Ｌを用いると、
【００２９】
【数５】
2017097397.tif 000007
のように表すことができる。この式で、Ｌ：＝Ｄ−Ｗと定義される。ＤはＤｅｇｒｅｅ  Ｍａｔｒｉｘと呼ばれる対角行列で、その要素は、
【数６】
2017097397.tif 000008
で表される。つまり、画像推定手段５は、ＰＷＳ画像ｚにおける平坦部およびエッジ部の特性に基づいてＤｕａｌ  Ｇｒａｐｈ２０Ｇｗにおける隣接する新たなノードｅｉ，ｊの間に適用される拘束条件を設定する。そして、拘束条件は、平坦部とエッジ部との間の境界形状が滑らかに変化する要素と、前記平坦部における隣接する画素の輝度値が滑らかに変化する要素とを含んでいる。
【００３０】
次に、式（４）と、その等価式
【数７】
2017097397.tif 000009
とを用いて、重みベクトルｗが与えられた時のＰＷＳ画像ｚの理想状体である事前分布が次式で定義される。
【数８】
2017097397.tif 000010
・・・・（５）
式（５）で、ｃ１は正規化項、μ１は調整パラメータを表す。つまり、式（５）により、画像推定手段５は、拘束条件に基づいてＰＷＳ画像ｚの事前分布を定義する。
【００３１】
次に、演算手段６における処理について説明する。演算手段６は、ＪＰＥＧ、またはＭＰＥＧ圧縮によって量子化されたＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数に関する拘束条件を用いて、ＰＷＳ画像ｚをＭＡＰ（Ｍａｘｉｍｕｍ  ａ  ｐｏｓｔｅｒｉｏｒｉ：最大事後確率）推定する（ＭＡＰ  Ｅｓｔｉｍａｔｉｏｎ）。圧縮によって量子化された各ＤＣＴ係数に対応する量子化ステップのベクトルをβ、ｑとするとＰＷＳ画像ｚのＭＡＰ推定は次式で表される。
【００３２】
【数９】
2017097397.tif 000011
・・・・（６）
ＪＰＥＧ，ＭＰＥＧにおけるＤＣＴ係数の量子化過程に従うと、ＰＷＳ画像ｚが観測された時のＤＣＴ係数の確率
【数１０】
2017097397.tif 000012
は次式で表される。
【数１１】
2017097397.tif 000013
・・・・（７）
式（７）で、
【数１２】
2017097397.tif 000014
・・・・（８）
であり、ＤＣＴ係数が量子化される範囲を表す。ＴはＤＣＴ変換行列、ＥはＰＷＳ画像から抽出された画像の行列であり、サイズはＮ×Ｍ（Ｎ＜Ｍ）である。式（７）は画像の圧縮過程において量子化されたＤＣＴ係数が、ＭＡＰ推定により復元される際に、推定されたＤＣＴ係数が式（８）の範囲に拘束される条件を示している。
【００３３】
図６には、処理するパッチ（Ｐｒｏｃｅｓｓｉｎｇ  Ｐａｔｃｈ）と符号化するブロック（Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）のサイズが示されている。ここで、Ｃｏｄｉｎｇ  ＢｌｏｃｋはＰｒｏｃｅｓｓｉｎｇ  ｐａｔｃｈ内を走査してＭＡＰ推定を行うため、Ｐｒｏｃｅｓｓｉｎｇ  ｐａｔｃｈあたりのＭＡＰ推定回数は√Ｍ×√Ｍ＝Ｍ回になる。Ｃｏｄｉｎｇ  Ｂｌｏｃｋの画素数は√Ｎ×√Ｎ＝Ｎなので、式（７）におけるＥのサイズがＮ×Ｍとなる。
【００３４】
このＣｏｄｉｎｇ  Ｂｌｏｃｋを走査して処理する際において、Ｃｏｄｉｎｇ  ＢｌｏｃｋとＰｒｏｃｅｓｓｉｎｇ  Ｐａｔｃｈとがオーバーラップする範囲は既にｚが推定済みである。式（７）を用いてそのオーバーラップする範囲を比較すると、ＭＡＰ推定結果によってブロック境界に生じるアーチファクト（ＪＰＥＧ圧縮で生じたブロックノイズ）を低減できる。
【００３５】
式（６）のｆ（ｚ）は条件付き確率に関する全確率の公式から、次式のように表される。
【数１３】
2017097397.tif 000015
・・・・（９）
式（９）に式（３）、（５）、（７）を代入すると、ｚのＭＡＰ推定は、次式のように表される。
【数１４】
2017097397.tif 000016
・・・・（１０）
式（１０）は、高次元の積分を必要とし計算コストが高いため、次式のような近似計算を行う。
【数１５】
2017097397.tif 000017
・・・・（１１）
【００３６】
式（１１）は、式（５）の分布が単峰性である場合に良い近似となる。式（５）において、ｚの構造がｗに一致しない場合にはｚＴＬ（ｗ）ｚが大きくなり、その結果、指数関数ｅｘｐ（）の減衰によりｆ（ｚ｜ｗ）の値は小さくなり、その分布のピークから離れていく。従って、式（１１）の近似は、妥当である。式（１１）の最大化は、次式の最小化と等価である。
【数１６】
2017097397.tif 000018
・・・・（１２）
【００３７】
式（１２）では次の拘束条件を満たすように最小化が行われる。
【数１７】
2017097397.tif 000019
これらの拘束条件のうち最後の条件は、図６で説明したオーバーラップ領域における推定画素の一貫性を表す。Ｓｋｚは事前に最適化されたｚとオーバーラップするｚｋの領域であり、Ｓｚｋはｚとオーバーラップするｚｋの領域を表す。τは十分に小さな定数しきい値である。
【００３８】
式（１２）において、ｚとｗとについて最適化するために、ここでは各変数を相互に反復最適化する。まず、前述のようにｗをスペクトラル・クラスタリング（非特許文献１）により、境界部と平坦部との二つのセグメントに分割する。そして、それぞれのセグメントのエッジには重み１を割り当て、セグメントをまたぐエッジには重み０を割り当てて初期化する。
【００３９】
ＰＷＳ画像ｚのサイズは√Ｎ×√Ｎであるが、セグメント分割を安定して行うために、スペクトラル・クラスタリングは√Ｎ×√Ｎより大きなサイズで実行する（但し、Ｍ＜Ｎ）。初期化されたｗを式（１２）に代入し、ｚについて最適化を行う。次に推定されたｚを固定して、ｗについて最適化を行う。これらｗとｚとの最適化を交互に行い、ｚが収束するまで反復を繰り返す。つまり、演算手段６は、入力画像の圧縮過程で使用される量子化データと事前分布とを比較してＰＷＳ画像中からノイズを除去して最適化を行い、高解像度局所画像を生成する。
【００４０】
以上の最適化はＰＷＳ画像に対して行われるものであるが、一般的な画像では二つの領域に分割されたセグメント間の境界部（遷移領域）が急峻でなく、なだらかに変化していることが多い（図３（ｂ）参照）。その場合、離散化された重みを用いてＰＷＳ画像を最適化すると、ＰＷＳ画像に緩やかに変化する輝度がある場合の最適化に対応できない。そこで、そのような遷移領域を考慮したＰＷＳ画像のモデル化が必要になる。ここでは、一般化されたＰＷＳ画像（Ｇｅｎｅｒａｌｉｚｅｄ  ＰＷＳ画像：ＧＰＷＳ画像）に対して、式（１）で表されるＡＣ  Ｐｒｉｏｒを次式のように拡張する。
【００４１】
【数１８】
2017097397.tif 000020
・・・・（１３）
上式において、ｄはＧＰＷＳ画像中の遷移領域（図６（ｃ）参照）に対応するＧｗのノードを示す。図７（ｃ）には、ｚをスペクトラル・クラスタリングによって３つの領域に分割したときの、最小固有値に対応する領域が示されている。ｄに対応しない領域のノードには重み１を割り当てる。Ｈｄは領域ｄにおいて、隣接ノード間の重みの差分を計算する。ｃｄは正規化係数であり、λｄは調整パラメータである。
【数１９】
2017097397.tif 000021
と表すと、ＧＰＷＳ画像に対する最適化は次式によって行われる。
【００４２】
【数２０】
2017097397.tif 000022
・・・・（１４）
【数２１】
2017097397.tif 000023
ＰＷＳ画像における最適化と同様、式（１４）においてもｚとｗの相互反復最適化を行い、ＧＰＷＳ画像を推定する。つまり、演算手段６は、入力画像の圧縮過程で使用される量子化データと事前分布とを比較してＧＰＷＳ画像中からノイズを除去し高解像度局所画像を生成する。
【００４３】
次に、本実施形態に係る画像処理方法の処理の流れについて説明する。
【００４４】
図８に示されるように、画像処理方法において、第１グラフモデル設定手段２は、圧縮された入力画像からエッジ部と平坦部とからなる所定の単位（√Ｎ×√Ｎ画素）で分割された局所画像を切り出す（Ｓ１００）。局所画像に含まれる複数の画素の各頂点Ｖｎをノードとして隣接するノードＶｎの間をリンクｅｉ，ｊで結んで得られるグラフモデル１０を設定する（Ｓ１０１）。判定手段３は、画素ｚｉの輝度に基づいて各リンクｅｉ，ｊに重みｗｉ，ｊ付けを行い、重みｗｉ，ｊに基づいてグラフモデル１０における平坦部とエッジ部とを判定する（Ｓ１０２）。第２グラフモデル設定手段４は、重みｗｉ，ｊが与えられたリンクｅｉ，ｊを新たなノードｅｉ，ｊとして隣接するリンクの間を結んで得られるＤｕａｌ  Ｇｒａｐｈ２０を設定する（Ｓ１０３）。
【００４５】
画像推定手段５は、ＰＷＳ画像ｚにおける平坦部およびエッジ部の特性に基づいてＤｕａｌ  Ｇｒａｐｈ２０Ｇｗにおける隣接する新たなノードｅｉ，ｊの間に適用される拘束条件を設定する（Ｓ１０４）。画像推定手段５は、拘束条件に基づいてＰＷＳ画像ｚの事前分布を定義する（Ｓ１０５）。演算手段６は、入力画像の圧縮過程で使用される量子化データと事前分布とを比較してＰＷＳ画像中またはＧＰＷＳ画像中からノイズを除去して最適化を行い、高解像度局所画像を生成する（Ｓ１０６）。
【００４６】
上述したように画像処理装置１によると、ノイズが重畳された非可逆圧縮画像からノイズを低減し、超解像画像を生成することができる。また、画像処理装置１によると、画像処理において画像の形状情報に関する制約条件を導入することができ、超解像処理を効果的に行うことができる。特に、画像処理装置１は、入力画像に文字やアニメなどのエッジ構造が強い画像即ち、グラフモデルを構築しやすい画像に対して画像処理を有効に行うことができる。
【００４７】
［第２実施形態］
図９には、ノイズ低減と超解像とが同時に行うための画像処理を示したブロック図が示されている。ノイズが重畳された低解像度の画像パッチ（Ｎｏｉｓｙ  ａｎｄ  ＬＲ  ＧＰＷＳ  Ｉｍａｇｅ）を入力すると、ノイズが低減され、かつ高解像度の画像パッチ（Ｄｅｎｏｉｓｅｄ  ａｎｄ  ＨＲ  ＧＰＷＳ  Ｉｍａｇｅ）が出力される。ここで、ＬＲ（Ｌｏｗ  Ｒｅｓｏｌｕｔｉｏｎ：低解像度）、ＧＰＷＳ：  Ｇｅｎｅｒａｌｉｚｅｄ  Ｐａｔｃｈ−ｗｉｓｅ  ｓｍｏｏｔｈ（パッチ単位での一般化平滑性）、ＨＲ：  Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ（高解像度）を示す。ＧＰＷＳとは、平坦領域をエッジで分割された局所領域パッチのことである（図３（ｂ）参照）。
【００４８】
第１実施形態と同様に、入力画像パッチ（Ｎｏｉｓｙ  ａｎｄ  ＬＲ  ＧＰＷＳ  Ｉｍａｇｅ）から画像構造を表現するグラフモデルを構築する（Ｃｏｎｓｔｒｕｃｔ  ＬＲ  Ｇｒａｐｈ）。画像のグラフモデルとは、ここではパッチ内の各画素を頂点（ｖｅｒｔｅｘ）として、各頂点間をエッジ（ｅｄｇｅ）で結び、グラフモデルを構成する。用いるグラフの形態は図４、５と同じものを用いる。
【００４９】
頂点間を結ぶエッジには結合の重みが設定される。距離画像のように、領域境界の値の遷移（Ｔｒａｎｓｉｔｉｏｎ）が急峻な場合（ステップエッジに近い場合）は、これらの重みは０（結合が無い）か１（結合している）の２値で表現される。一方、文字やアニメ、あるいは一般画像におけるエッジの場合は領域境界の値の遷移はステップエッジのような急峻変化だけではなく、緩やかに変化することが多い。このような場合、エッジの結合重みを２値ではなく連続値で表現することで、より画像構造を反映したグラフモデルを構築できる。
【００５０】
この際、平坦部を分離する遷移領域を抽出する処理が必要になる。ここでは、構築したグラフに対してスペクトラル・クラスタリングを用いて、Ｈａｒｄ  Ｂｏｕｎｄａｒｙ（平坦領域を分割する境界線（別の言葉ではスケルトン））とＢｏｒｄｅｒｓ（平坦領域と遷移領域との境界）とを分離する。Ｈａｒｄ  ＢｏｕｎｄａｒｙとＢｏｒｄｅｒｓの例を図７に示す。図７（ａ）は現画像から切り出したＧＰＷＳパッチ、図７（ｂ）は、グラフモデル１０を主成分分析した時の第二固有値に対応する固有ベクトルであり、これをＨａｒｄ  Ｂｏｕｎｄａｒｙと定義する。
【００５１】
図７（ｃ）はグラフモデルの第三固有値に対応する固有ベクトルであり、これをＢｏｒｄｅｒｓ（輝度値がなだらかに変化する遷移領域）と定義する。Ｈａｒｄ  Ｂｏｕｎｄａｒｙの高解像度化は比較的容易にできるので、拡大対象画像パッチがステップエッジで表現できない場合は、このようにＨａｒｄ  ＢｏｕｎｄａｒｙとＢｏｒｄｅｒｓに分離してからＨａｒｄ  Ｂｏｕｎｄａｒｙのみを拡大し、Ｂｏｒｄｅｒｓは拡大されたＨａｒｄ  Ｂｏｕｎｄａｒｙに合致するようにマッピングする。つまり、平坦部とエッジ部とを識別するための連続する値を設定して各リンクにそれぞれ重み付けを行っている。
【００５２】
上述したように、ＬＲ  Ｇｒａｐｈから分離したＨａｒｄ  ＢｏｕｎｄａｒｙとＢｏｒｄｅｒｓの高解像度モデルを作成する。まず、ＬＲ  ｉｍａｇｅのＨａｒｄ  Ｂｏｕｎｄａｒｙに対して、例えば非特許文献３に記載されたＬｏｃａｌ  ｓｅｌｆ−ｅｘａｐｍｌｅ法により、高解像度のＨＲ  Ｈａｒｄ  Ｂｏｕｎｄａｒｙを生成する（Ｓｕｐｅｒ−ｒｅｓｏｌｖｅ  Ｂｏｕｎｄａｒｉｅｓ）。そして、ＨＲ  Ｈａｒｄ  Ｂｏｕｎｄａｒｙに基づき、ＬＲ  ｉｍａｇｅのＢｏｒｄｅｒｓをＨＲ  ｉｍａｇｅのＢｏｒｄｅｒｓにマッピングする（Ｍａｐ  ｔｏ  ＨＲ  Ｔｒａｎｓｉｔｉｏｎ）。生成された高解像度のＨａｒｄ  ＢｏｕｎｄａｒｙとＢｏｒｄｅｒｓとから高解像度のグラフを構成する（ＨＲ  Ｇｒａｐｈ）。
【００５３】
最後に、高解像度のグラフ（ＨＲ  Ｇｒａｐｈ）に対して、グラフ形状の連続性に関する拘束条件と、元の高解像度画像にはノイズが重畳されていないという拘束条件を与えてＨＲ  Ｇｒａｐｈの最適化を行い（Ｇｒａｐｈ  Ｒｅｇｕｌａｒｉｚａｔｉｏｎ）、最適化されたグラフから高解像度画像パッチを生成する（Ｄｅｎｏｉｓｅｄ  ａｎｄ  ＨＲ  ＧＰＷＳ  Ｉｍａｇｅ）。この処理については第１実施形態の処理と同じ内容である。
【００５４】
上記で説明した画像処理装置１による画像処理方法は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）を含む半導体処理装置を用いて実現されてもよい。また、これらの処理は、少なくとも１つのプロセッサ（例えば、マイクロプロセッサ、ＭＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ））を含むコンピュータシステムにプログラムを実行させることによって実現されてもよい。具体的には、これらの送信信号処理又は受信信号処理に関するアルゴリズムをコンピュータシステムに行わせるための命令群を含む１又は複数のプログラムを作成し、当該プログラムをコンピュータに供給すればよい。
【００５５】
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。
【００５６】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ））を含む。
【００５７】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００５８】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５９】
１…画像処理装置
２…第１グラフ設定手段
３…判定手段
４…第２グラフ設定手段
５…画像推定手段
６…演算手段
７…制御手段
１０…第１グラフモデル
２０…Ｄｕａｌ  Ｇｒａｐｈ（第２グラフモデル）
【図１】
2017097397.tif 000024
【図２】
2017097397.tif 000025
【図３】
2017097397.tif 000026
【図４】
2017097397.tif 000027
【図５】
2017097397.tif 000028
【図６】
2017097397.tif 000029
【図７】
2017097397.tif 000030
【図８】
2017097397.tif 000031
【図９】
2017097397.tif 000032