(57)【要約】【課題】自動的に遮蔽物を検出し、高精度の超解像を実現することを可能とする超解像法を提供する。【解決手段】遮蔽パターンを観測画像の画素ごとに離散値をとる確率変数と定義し、遮蔽物等が存在する領域では原画像に対応しない観測画像が得られることを仮定する。遮蔽パターンを表現する確率変数の確率分布をスピングラスとしてモデル化し、遮蔽物等は空間的になめらかに接続することが多いという性質を反映し、遮蔽物を任意の形状の連続領域として表現する。遮蔽の有無を推定の確信度を表現する確率分布(観測が与えられたときの遮蔽パターンの事後分布)によって確率的に推定するため、確信度に応じた推定を行え、決定論的に遮蔽領域を同定する手法に比べてより高精度に高解像度画像の推定ができる。遮蔽パターンの推定と高解像度画像の推定は、互いの推定結果に強い依存関係があるため、これらを独立の推定方法で取り扱わず、同時に推定する。【選択図】図１
2009146231.tif 000002
【特許請求の範囲】
【請求項１】
（１）複数の低解像度の観測画像を入力するステップと、
（２）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義するステップと、
（３）遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定するステップと、
（４）推定した遮蔽パターンの事後分布を用いて、遮蔽パターンを同定し前記低解像度の観測画像から除外するステップと、を備えたことを特徴とする超解像法。
【請求項２】
原画像に関連する複数の低解像度の観測画像から高解像度の画像を生成するための方法であって、
（１）複数の低解像度の観測画像を入力するステップと、
（２）高解像度の画像の事前分布を定義するステップと、
（３）既知の遮蔽パターンを入力するステップと、
（４）前記遮蔽パターンを前記低解像度の観測画像から除外するステップと、
（５）高解像度の画像の事後分布を、自由エネルギが最小化されるように推定するステップと、
（６）前記ステップ（５）で推定した高解像度の画像の事後分布を用いて、高解像度の画像を生成するステップと、を備えたことを特徴とする超解像法。
【請求項３】
原画像に関連する複数の低解像度の観測画像から高解像度の画像を生成するための方法であって、
（１）複数の低解像度の観測画像を入力するステップと、
（２）高解像度の画像の事前分布を定義するステップと、
（３）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義するステップと、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定するステップと、
（５）前記ステップ（４）で推定した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成するステップと、を備えたことを特徴とする超解像法。
【請求項４】
原画像に関連する複数の低解像度の観測画像から高解像度の画像を生成するための方法であって、
（１）複数の低解像度の観測画像を入力するステップと、
（２）高解像度の画像の事前分布を定義するステップと、
（３）遮蔽パターンを前記複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義するステップと、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定するステップと、
（５）高解像度の画像の事後分布および遮蔽パターンの事後分布が収束するまで、前記ステップ（４）を反復するステップと、
（６）前記ステップ（５）で収束した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成するステップと、を備えたことを特徴とする超解像法。
【請求項５】
前記ステップ（３）において、観測画像の画素ごとに離散値をとる確率変数および確率分布は、スピングラスモデルであることを特徴とする請求項３又は４に記載の超解像法。
【請求項６】
前記自由エネルギが最小化されるように推定するステップにおいて、更に、原画像の劣化過程のパラメータも同時に、自由エネルギが最小化されるように推定することを特徴とする請求項３又は４に記載の超解像法。
【請求項７】
コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義する手順と、
（３）遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定する手順と、
（４）推定した遮蔽パターンの事後分布を用いて、遮蔽パターンを同定し前記低解像度の観測画像から除外する手順と、
を実行させるための超解像プログラム。
【請求項８】
コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）高解像度の画像の事前分布を定義する手順と、
（３）既知の遮蔽パターンを入力する手順と、
（４）前記遮蔽パターンを前記低解像度の観測画像から除外する手順と、
（５）高解像度の画像の事後分布を、自由エネルギが最小化されるように推定する手順と、
（６）前記手順（５）で推定した高解像度の画像の事後分布を用いて、高解像度の画像を生成する手順と、
を実行させるための超解像プログラム。
【請求項９】
コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）高解像度の画像の事前分布を定義する手順と、
（３）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義する手順と、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定する手順と、
（５）前記手順（４）で推定した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成する手順と、
を実行させるための超解像プログラム。
【請求項１０】
コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）高解像度の画像の事前分布を定義する手順と、
（３）遮蔽パターンを前記複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義する手順と、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定する手順と、
（５）高解像度の画像の事後分布および遮蔽パターンの事後分布が収束するまで、前記手順（４）を反復する手順と、
（６）前記手順（５）で収束した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成する手順と、
を実行させるための超解像プログラム。
【請求項１１】
前記手順（３）において、観測画像の画素ごとに離散値をとる確率変数および確率分布は、スピングラスモデルであることを特徴とする請求項９又は１０に記載の超解像プログラム。
【請求項１２】
前記自由エネルギが最小化されるように推定する手順において、更に、原画像の劣化過程のパラメータも同時に、自由エネルギが最小化されるように推定することを特徴とする請求項９又は１０に記載の超解像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の低解像度の画像を使用して劣化画像から原画像を高精度に復元する超解像法および超解像プログラムに関するもので、特に、観測画像中に遮蔽物が写り込んだり高ノイズ領域が存在する場合に自動的に遮蔽物等（以下、本明細書において、遮蔽物や高ノイズ領域を総称して遮蔽物等もしくは遮蔽領域と称する。）を除くことが可能な超解像法および超解像プログラムに関する。
【背景技術】
【０００２】
超解像とは、計算機による画像処理法のうち、特に画像を複数枚撮影し、それらの情報を統合することにより、画素数増大・画質改善された画像を生成する技術をいい、具体的には、カメラ、ビデオなどレンズやＣＣＤ（Charge Coupled Device）で構成される結像系に内在する物理的限界を超えて、観測画像の解像度を高めることをいう。カメラ、ビデオなど撮像装置では、レンズやＣＣＤなどの構成部品の品質が撮影される画像の解像度を決定する。また、レンズの収差に起因するボケやＣＣＤの密度に依存するサブサンプリング、さらにＣＣＤのショットノイズなど観測に混入するノイズにより、撮影された画像は、真の観測対象の画像（原画像）よりも劣化したものになる。
【０００３】
撮像装置の物理的な限界を突破した高解像度の画像を得るため、ソフトウエア的な超解像処理を行い、撮像装置の能力を超える高解像度の画像を得る方法が研究されており、撮像対象の物体を僅かずつ異なる位置・角度から撮影した画像を複数枚用意できる場合には、それら複数の観測画像の情報を統計的に処理することで、より高い解像度の画像を生成できることが知られている。
【０００４】
応用現場によっては観測画像中に遮蔽物等が写りこむことがある。しかしながら、上述したような従来の超解像技術は、すべての画像に一貫して目的とする対象物体のみが撮影されていることを前提として設計されていることから、不意の遮蔽等には対応することができず、遮蔽等により乱された低品質なものとなる。例えば、不意の外乱に対応できる超解像法としては、Ｆａｒｓｉｕらによる高速ロバスト超解像法が知られている（非特許文献１）。これは遮蔽物を明にモデリングするのではなく、各画素で一様な、遮蔽にロバストなＬ１ノルム基準のノイズ確率分布を仮定したものであるため、遮蔽領域の自動検出は対象外である。
【０００５】
一般に、遮蔽物等を検出する画像処理法としては、事前に背景画像を用意しておく背景差分法や、背景画像なしに移動物体を検出するフレーム間差分法、適応的に遮蔽を除去した画像を推定するロバスト背景推定法などが知られている。その他、画像を多数の領域に画像処理によりセグメンテーションして、人手により遮蔽領域をラベリングする方法も存在する。
【０００６】
【特許文献１】国際公報ＷＯ２００７／１２２８３８号
【非特許文献１】S. Farsiu, D. Robinson, and P. Milanfar, "Fast and Robust Multiframe Super Resolution," IEEE Trans. Imag. Proc., 13(10), pp. 1327-1344, 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の超解像技術は、すべての観測画像に一貫して目的とする対象物体のみが撮影されていることを前提としており、対象以外の遮蔽物等が写りこむことを仮定していなかった。しかしながら実際には、例えば衛星写真中の雲や街路写真中の人など、遮蔽物等が写りこみうる状況が少なくない。また遮蔽物等は複数枚の画像ごとに変動しうるものである。このような状況において、従来の超解像技術は、変動する遮蔽物等の影響を受け、非常に低画質な「高解像」度画像を出力してしまうといった問題が生じている。従来の超解像技術が遮蔽等に対応するためには、人間による手作業あるいはまったく独立の画像処理手法によりあらかじめ遮蔽領域を観測画像ごとに特定して超解像法に教える必要があり、また、超解像法は教示された遮蔽領域を除いて超解像をするように設計しなおされなければならなかった。
【０００８】
上記問題点に鑑み、本発明は、自動的に遮蔽物等を検出し、高精度の超解像を実現することを可能とする超解像法および超解像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の第１の観点の超解像法は、
（１）複数の低解像度の観測画像を入力するステップと、
（２）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義するステップと、
（３）遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定するステップと、
（４）推定した遮蔽パターンの事後分布を用いて、遮蔽パターンを同定し前記低解像度の観測画像から除外するステップと、を備えたことを特徴とする。
【００１０】
本発明の第１の観点の超解像法によれば、自動的に遮蔽物等を検出することができる。
遮蔽パターンを観測画像の画素ごとに離散値をとる確率変数と定義し、遮蔽物等が存在する領域では原画像に対応しない観測画像が得られることを仮定する。遮蔽の有無を推定の確信度を表現する確率分布(観測が与えられたときの遮蔽パターンの事後分布)によって確率的に推定するため、確信度に応じた推定を行え、決定論的に遮蔽領域を同定する手法に比べてより高精度に遮蔽パターンの推定ができる。
【００１１】
また、本発明の第２の観点の超解像法は、原画像に関連する複数の低解像度の観測画像から高解像度の画像を生成するための方法であって、
（１）複数の低解像度の観測画像を入力するステップと、
（２）高解像度の画像の事前分布を定義するステップと、
（３）既知の遮蔽パターンを入力するステップと、
（４）前記遮蔽パターンを前記低解像度の観測画像から除外するステップと、
（５）高解像度の画像の事後分布を、自由エネルギが最小化されるように推定するステップと、
（６）前記ステップ（５）で推定した高解像度の画像の事後分布を用いて、高解像度の画像を生成するステップと、を備えたことを特徴とする。
【００１２】
本発明の第２の観点の超解像法によれば、既知の遮蔽パターンを用いて、自動的に遮蔽物等を検出して、遮蔽物等が存在する領域では原画像に対応しない観測画像が得られると仮定して観察画像から除外し、高解像度の画像の事後分布を自由エネルギが最小化されるように推定することにより高精度の超解像を実現する。
【００１３】
また、本発明の第３の観点の超解像法は、原画像に関連する複数の低解像度の観測画像から高解像度の画像を生成するための方法であって、
（１）複数の低解像度の観測画像を入力するステップと、
（２）高解像度の画像の事前分布を定義するステップと、
（３）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義するステップと、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定するステップと、
（５）前記ステップ（４）で推定した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成するステップと、を備えたことを特徴とする。
【００１４】
原画像に対して、位置ずれ、回転、ボケ、低解像化、ノイズなどが加わることで、観測画像が得られるというのは一般的な状況である。このように劣化された観測画像から原画像を復元する解像は、劣化が不可逆過程であるため、たとえ劣化過程が既知であったとしても直接には不可能であるが、観測画像が複数あり劣化過程が観測画像ごとに異なる場合は、それら複数の観測画像について一種の多数決を用いることで推定できる。この多数決には、統計的推定法の一種であるベイズ推定の手法、例えば、自由エネルギの最小化を用いることで、高精度の解像が可能となる超解像を実現する。
【００１５】
ここで、従来、観測過程のモデルとしては、フレーム間移動，ボケ，画素数減少，ノイズのみが仮定されているのに対して、本発明の超解像法は、これらに加えて観測過程のモデルに様々な形状の遮蔽物等が存在する可能性を仮定した。
すなわち、遮蔽パターンを観測画像の画素ごとに離散値をとる確率変数と定義したのである。すなわち、遮蔽物等が存在する領域では原画像から期待される画素値とは大きく異なりえることを仮定するのである。遮蔽領域、非遮蔽領域の判断は推定の確信度を表現する確率分布(観測が与えられたときの遮蔽パターンの事後分布)によって確率的に行われるため、確信度に応じた推定を行うことが可能となり、決定論的に遮蔽領域を同定する手法に比べてより高精度に高解像度画像の生成ができることになる。
【００１６】
ここで、観測画像の画素ごとに離散値をとる確率分布は、スピングラスモデルであることが好ましい。スピングラスモデル化することで、遮蔽物等は空間的になめらかに接続する（つながっている）ことが多いという性質を反映することが可能となり、遮蔽物等を任意の形状の連続領域として表現することができる。
【００１７】
また、自由エネルギが最小化されるように推定するステップにおいて、更に、原画像の劣化過程のパラメータも同時に、自由エネルギが最小化されるように推定することが好ましい。
【００１８】
なお、真の事後確率分布を厳密計算することは不可能であるため、真の分布を近似する。 近似は、真の分布を自由エネルギの最小化など何らかの基準に基づいて計算可能な分布(試験確率分布)に近づけることで達成される。 高解像度画像と遮蔽パターンの事後分布を近似的に求めることで、遮蔽パターンの推定による遮蔽物除去と超解像の両方を自動的にかつ同時に実現できるものである。遮蔽領域、非遮蔽領域の推定と高解像度画像の推定は、互いの推定結果に強く依存する関係があるため、これらを独立の推定方法で取り扱わず、同時に推定できることも高精度な高解像画像生成に寄与する。
【００１９】
また、本発明の第４の観点の超解像法は、原画像に関連する複数の低解像度の観測画像から高解像度の画像を生成するための方法であって、
（１）複数の低解像度の観測画像を入力するステップと、
（２）高解像度の画像の事前分布を定義するステップと、
（３）遮蔽パターンを前記複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義するステップと、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定するステップと、
（５）高解像度の画像の事後分布および遮蔽パターンの事後分布が収束するまで、前記ステップ（４）を反復するステップと、
（６）前記ステップ（５）で収束した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成するステップと、を備えたことを特徴とする。
【００２０】
本発明の超解像法においては、高解像度画像と遮蔽パターンを隠れ変数とし、それらの確率分布(のパラメータ)と、位置ズレなどのパラメータとを、適当なコスト関数（自由エネルギ）を最適化する方法(変分ＥＭアルゴリズム)を用いている。これらの確率分布、または確率分布のパラメータは同時に最適化することも、交互に最適化することも可能である。どちらの場合でもこれらの確率分布、または確率分布のパラメータに関しての自由エネルギが最小となるようにパラメータを収束させるのである。
【００２１】
次に、本発明の第１の観点の超解像プログラムは、コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義する手順と、
（３）遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定する手順と、
（４）推定した遮蔽パターンの事後分布を用いて、遮蔽パターンを同定し前記低解像度の観測画像から除外する手順と、を実行させるものである。
【００２２】
上述した本発明の第１の観点の超解像法をコンピュータに実行させるプログラムであり、観測画像データファイルをコンピュータに読み込ませ、遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現した確率分布の定義ファイルを用いて、推定処理と除外処理を行うものである。
【００２３】
次に、本発明の第２の観点の超解像プログラムは、コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）高解像度の画像の事前分布を定義する手順と、
（３）既知の遮蔽パターンを入力する手順と、
（４）前記遮蔽パターンを前記低解像度の観測画像から除外する手順と、
（５）高解像度の画像の事後分布を、自由エネルギが最小化されるように推定する手順と、
（６）前記手順（５）で推定した高解像度の画像の事後分布を用いて、高解像度の画像を生成する手順と、
を実行させるものである。
【００２４】
上述した本発明の第２の観点の超解像法をコンピュータに実行させるプログラムであり、観測画像データファイルをコンピュータに読み込ませ、遮蔽パターンを既知として、高解像度の画像を推定するものである。
【００２５】
次に、本発明の第３の観点の超解像プログラムは、コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）高解像度の画像の事前分布を定義する手順と、
（３）遮蔽パターンを複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義する手順と、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定する手順と、
（５）前記手順（４）で推定した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成する手順と、
を実行させるものである。
【００２６】
上述した本発明の第３の観点の超解像法をコンピュータに実行させるプログラムである。遮蔽パターンを観測画像の画素ごとに離散値をとる確率変数と定義し、遮蔽物等が存在する領域では原画像に対応しない観測画像が得られることを仮定し、遮蔽の有無を推定の確信度を表現する確率分布(観測が与えられたときの遮蔽パターンの事後分布)によって確率的に推定することにより、高解像度画像の推定を行う。遮蔽パターンの推定と高解像度画像の推定は、互いの推定結果に強い依存関係があるため、これらを独立の推定方法で取り扱わず、同時に推定するものである。
【００２７】
次に、本発明の第４の観点の超解像プログラムは、コンピュータに、
（１）複数の低解像度の観測画像を入力する手順と、
（２）高解像度の画像の事前分布を定義する手順と、
（３）遮蔽パターンを前記複数の低解像度の観測画像の画素ごとに離散値をとる確率変数として表現しその確率分布を定義する手順と、
（４）高解像度の画像の事後分布および遮蔽パターンの事後分布を、自由エネルギが最小化されるように推定する手順と、
（５）高解像度の画像の事後分布および遮蔽パターンの事後分布が収束するまで、前記手順（４）を反復する手順と、
（６）前記手順（５）で収束した高解像度の画像の事後分布および遮蔽パターンの事後分布を用いて、高解像度の画像を生成する手順と、
を実行させるものである。
【００２８】
上述した本発明の第４の観点の超解像法をコンピュータに実行させるプログラムである。高解像度画像と遮蔽パターンを隠れ変数とし、それらの確率分布(のパラメータ)と、位置ズレなどのパラメータとを、適当なコスト関数（自由エネルギ）を最適化する処理(変分ＥＭアルゴリズム)をコンピュータに実行させるものである。確率分布または確率分布のパラメータに関して、自由エネルギが最小となるようにパラメータを収束させるようコンピュータに実行させる。
【発明の効果】
【００２９】
本発明の超解像法および超解像プログラムによれば、明示的な人間による遮蔽領域の教示もしくは超解像とは独立の遮蔽検出法を必要とせず、自動的に遮蔽領域、非遮蔽領域を推定できる効果がある。 さらにそれらの遮蔽領域、非遮蔽領域の判断は推定の確信度を表現する確率分布(観測が与えられたときの遮蔽パターンの事後分布)によって確率的に行われるため、確信度に応じた推定を行うことが可能となり、より高精度に高解像度画像を生成することができるといった効果がある。高解像度画像も事後確率分布の形で確率的に推定できるが、例えばその確率分布の平均を求めることで、遮蔽に応じて適切に生成された高解像度画像を得ることができる。 また、遮蔽領域、非遮蔽領域の推定と高解像度画像の推定は、互いの推定結果に強く依存する関係があるため、これらを独立の推定方法で取り扱わず、同時に推定できることも高精度な高解像画像生成に寄与する。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しつつ、本発明の超解像法および超解像プログラムの実施例を説明する。
【００３１】
本発明の超解像法の処理フローに関して、図１を参照しながら順をおって説明する。
（１）先ず、２個以上の低解像度の画像を入力する（ステップＳ１０）。ここで、低解像度の画像とは、原画像に対して、位置ずれ、回転、ボケ、ノイズなどが印加され、レンズの収差に起因するボケやＣＣＤの密度に依存するサブサンプリング，さらにＣＣＤのショットノイズなど観測に混入するノイズによって、劣化された画像を指している。
【００３２】
（２）次に、高解像度の画像の事前分布について、局所的な滑らかさ（各画素は近傍の画素と相関を有する）を表現した分布として定義する（ステップＳ２０）。例えば、画像の事前分布を、ガウス分布と定義する。
【００３３】
（２）遮蔽パターンを前記複数の低解像度の観測画像の画素ごとに離散値をとる確率変数と定義する（ステップＳ３０）。観測画像として、撮像機器の物理的性質によってノイズの混じった低解像度の観測画像が複数枚得られ、同じシーンを撮影しているものの、そこに何らかの遮蔽等が生じていることを仮定する。遮蔽等は観測画像ごとに変動しても一定でもよい。これは例えば、衛星画像において少しずつ移動する雲が遮蔽として写りこんだ状況、観光地での撮影において風景、建物の前を人が往来し遮るような状況、レンズに汚れや傷が存在する状況などを想定している。このような遮蔽が存在するかどうかを各観測画像の画素ごとに二値変数で表し、その分布をスピングラスモデルで表現する。
【００３４】
遮蔽パターンを観測画像の画素ごとに離散値をとる確率変数と定義し、遮蔽物等が存在する領域では原画像に対応しない観測画像が得られることを仮定し、また遮蔽パターンを表現する確率変数の確率分布をスピングラスとしてモデル化することで、遮蔽物等は空間的になめらかに接続する（つながっている）ことが多いという性質を反映することが可能となり、遮蔽物を任意の形状の連続領域として表現することができることになる。
【００３５】
以下、記法として、ｘは、ＰＨ個の画素数をもつ原画像（ＰＨ次元のベクトル）を意味し、ｙｔは、ＰＬ個の画素数をもつｔ番目の観測画像（ＰＬ次元のベクトル）を意味し、ｚｔは、ｔ番目の観察画像の画素それぞれに対して、−１もしくは＋１で遮蔽の有無を表す遮蔽パターン（ＰＬ次元のベクトル）を意味するものとする。
Ｔ枚の観測画像ｙｔが得られるものとし、それらの観測画像のセットを下式で表す。
【００３６】
【数１】
2009146231.tif 000003
【００３７】
観測において画素ごとに独立にガウスノイズが付加されるものとする。画素ｉに付加されるガウスノイズの逆分散βｉ が、遮蔽の有無によって異なることとし、以下の式で表す。ここで、ｚｔｉは、観測画像ｙｔの画素ｉに遮蔽物による遮蔽が生じているかを示すもので、ｚｔｉが＋１の時は遮蔽が生じておらず観測が信頼できることを意味し、またｚｔｉが−１の時は遮蔽により観測が信頼できないことを意味する。ここで、遮蔽が存在するときに観測ノイズが大きくなることを表現するためβＨ＞βＬである。
【００３８】
【数２】
2009146231.tif 000004
【００３９】
ここで、ｉ番目の対角要素をβｉとするＰＬ×ＰＬの対角行列をβ（ｚｔｔ）と表すと、観測過程の確率モデルは、次式で表される。
【００４０】
【数３】
2009146231.tif 000005
【００４１】
Ｗｔは、ｔ番目の観測における位置ズレ、ＰＳＦによるボケ、ダウンスケールを表すＰＬ×ＰＨの線形変換である。なお、ここでは遮蔽物除去に焦点を絞るため、以下では位置ズレ推定の煩雑さを避けＷｔを既知として取り扱うことにする。
【００４２】
そして、遮蔽パターンの確率モデルについて、隠れ変数ｚの事前分布は、下式のボルツマンマシンモデルによって与えられる。
【００４３】
【数４】
2009146231.tif 000006
【００４４】
またエネルギ関数Ｅ（ｚ，Ｊ）は下式で定義される。
【００４５】
【数５】
2009146231.tif 000007
【００４６】
ただし、ｉ〜ｊは画素ｉと画素ｊとが互いに近傍であることを示し、ここでは、上下左右に隣接する画素が近傍であるものとした。自己結合Ｊｉは、ｚｉが＋１もしくは−１をとりやすくするバイアスをかける効果をもち、想定される遮蔽の大きさに関する事前知識を表現する。スピン間結合Ｊｉｊは、スピン同士の相関を表現する。ここでは、近傍関係にある画素ｉ，ｊ間の結合を正の定数（Ｊｉｊ＞０）とすることで、近傍関係にあるｚｉとｚｊとが同じ値をとりやすくし、遮蔽が空間的に連続する物体によって生じるという事前知識を表現することとした。
【００４７】
（３）次に、高解像度の画像の事後分布、遮蔽パターンの事後分布、および原画像の劣化過程のパラメータを推定する（ステップＳ４０）。直接事後分布を計算するには、２Ｐｏ個の項からなる和を求めねばならないが、現実的な時間では不可能である。
本発明は、現実的な時間で算出すべく、試験分布を計算の容易な形にとった変分ＥＭ（Expectation-Maximization）アルゴリズムを用いている。
変分ＥＭアルゴリズムは、近似的な事後分布（試験確率分布）と最尤パラメータを求めるための計算手順であり、自由エネルギを試験確率分布とパラメータに関して最適化するアルゴリズムである。変分学習アルゴリズムを用いると、直接に事後分布を計算するのが困難な場合にでも、より計算の容易となるような試験確率分布を仮定して自由エネルギを計算することで効率的に近似的な事後分布と最尤パラメータを求めることができるのである。
【００４８】
変分ＥＭアルゴリズムは、自由エネルギＦ[ｑ，θ]の交代最小化として定式化される。自由エネルギＦ[ｑ，θ]は，確率密度関数ｑの汎関数かつモデルパラメタθの関数であり、下式のように定義される。
【００４９】
【数６】
2009146231.tif 000008
【００５０】
変分ＥＭアルゴリズムの実行に際しては、まず適当なモデルパラメタの初期値θ０を用意する。変分ＥＭアルゴリズムの第l（＞１）反復における計算は、下式で表されるＥステップとＭステップの２ステップからなる。収束に至るまで反復してＥステップとＭステップの計算をくりかえし、収束したときのθlをモデルパラメタの推定値とする（ステップＳ５０）。
【００５１】
【数７】
2009146231.tif 000009
【００５２】
以上説明したように、遮蔽の有無を推定の確信度を表現する確率分布(観測が与えられたときの遮蔽パターンの事後分布)によって確率的に推定することで、確信度に応じた推定を行うことが可能となり、決定論的に遮蔽領域を同定する手法に比べてより高精度に高解像度画像の推定ができるのである。遮蔽パターンの推定と高解像度画像の推定は、互いの推定結果に強く依存する関係があるため、これらを独立の推定方法で取り扱わず、同時に推定できることも高精度な高解像画像生成に寄与することとなる。
【００５３】
ステップＳ４０における高解像度の画像と遮蔽パターンの事後分布の推定は、指数オーダの項からなる和を含むことから、現実的な時間で計算するのは困難である。そこで、本発明では、試験分布q を任意の確率分布にとるのではなく、自由エネルギの計算が可能であるような簡単な形に限定することで変分ＥＭアルゴリズムを実行可能とするのである。すなわち、試験分布ｑ（ｚ，ｘ）を次元ごとに独立に因子分解された下式で表される分布にとるのである。
【００５４】
【数８】
2009146231.tif 000010
【００５５】
上式により定義される試験分布は、高解像度画像ｘと各観測画像の各画素の遮蔽の有無を表す隠れ変数ｚｔｉが独立である。
【００５６】
ここで、自由エネルギを最小にする最適試験分布は次のように与えられる。
【００５７】
【数９】
2009146231.tif 000011
【００５８】
但し、それぞれの最適試験分布のパラメータは次の通りである。
【００５９】
【数１０】
2009146231.tif 000012
【００６０】
（４）図１に示されるフローで、最後に、推定した高解像度の画像の事後分布と遮蔽パターンの事後分布とパラメータを用い、高解像度の画像を生成する（ステップＳ６０）。
これにより、遮蔽等の影響が取り除かれた高精度の高解像度の画像を復元することができる。
【００６１】
以下に示す実施例で、本超解像法の特徴である自動的に遮蔽パターンの検出を行うものの有用性を検証するために、遮蔽を仮定しない超解像法との比較実験を行う。
【実施例１】
【００６２】
原画像として、図２に示す大きさ５１２×５１２のLenna標準画像を用いる。観測画像は、原画像（図２）に対して、人為的に位置ズレ、ボケ、ダウンスケール（縦横１／４倍に縮小）、さらに正規ノイズ（遮蔽パターン）の付与を施し、１２８×１２８のサイズの低解像度画像を１５枚生成している。１５枚の観測画像のうちの１枚を図３に示す。ノイズの大きさは画素ごとに異なり、図４に示す遮蔽パターンに応じて、黒（高ノイズ領域と定義）と白（低ノイズ領域と定義）とに変化させたものである。具体的には、縦方向、横方向ともに−２ピクセルから＋２ピクセルの間の一様分布からの乱数によってシフト量を定め、−４／（１８０π）ラジアンから４／（１８０π）ラジアンの一様分布からの乱数によって回転量を定めている。レンズによるボケとして標準偏差が２(ピクセル) のガウスＰＳＦ（ＰＳＦ：Point Spread function；点拡がり関数）を用い、その後、拡大率ｒ がｒ＝４となるようにダウンスケールを施し、最後に遮蔽の有無を表す隠れ変数ｚｔを図４のように生成し、ｚｔｉ＝−１では１０ｄＢ、ｚｔｉ＝＋１では４０ｄＢとなる観測ノイズを付加した。
【００６３】
図４において、黒がｚｔｉ＝−１、白がｚｔｉ＝＋１の画素を表す。このように生成した観測画像について、本発明の超解像法(Ours) を用いて、５１２×５１２の高解像度画像の推定を行った。この推定結果と、隠れ変数z を導入せずに画像上に一様な強さの観測ノイズがのるとしたときの結果(Uniform)、単に観測画像の平均を取り、双線形補間を行ったときの結果(Obs. Mean) を比較した。ここでは、推定変数x、z以外のパラメータに関しては既知としている。
各手法による出力画像の評価基準には、下式で定義されるピーク信号対雑音比（ＰＳＮＲ）を用いている。
【００６４】
【数１１】
2009146231.tif 000013
【００６５】
ここで、Ｍは画素値の最大値、ｘは真の高解像度画像、ＰＨは画像の画素数である。ＰＳＮＲは平均２乗誤差の負の対数であり、大きいほど性能がよい。ＰＳＮＲが１ｄＢだけ異なると平均２乗誤差は１０倍異なる。
本超解像法により出力されたマスクパターンを図５に示す。かなり正確に真のマスクパターンを再現できていることが理解できる。また、推定された画像を図６に示す。図７は図６の「右目」付近を部分的に拡大したものである。
【００６６】
上部中央（図６（２））が１５枚の観測画像の平均値である。上部右（図６（３））が本超解像法により出力された高解像度画像である。また下部の３つの画像（図６（４）〜（６））は遮蔽を仮定せずに、全ピクセルに一様なノイズを仮定する手法により出力された高解像度画像であり、仮定されたノイズの強さが異なる。下部左（図６（４））は遮蔽領域のノイズ量（高）を、下部右（図６（６））は非遮蔽領域のノイズ量（低）を仮定した出力であり、下部中央（図６（５））は真の画像とのＰＳＮＲが最小になるようノイズ量を定めたときの出力である。
【００６７】
図７の「右目」付近を部分的に拡大したもので比較すると、本超解像法による出力（図７（３））は、最適な一様ノイズ法の出力（図７（５））に比べて、3.32ｄＢ（＝31.38−28.06）だけ高いＰＳＮＲ（したがって低いＭＳＥ）を実現しており、遮蔽されていない領域の情報を効率的に利用してより高精細な画像出力ができている。また、視覚的に観察しても、本手法による出力は一様法に比べてよりシャープでノイズの少ない高解像度画像となっている。
【００６８】
また、一様な観測ノイズがのることを仮定したUniform の結果は、仮定する観測ノイズの強さを１０ｄＢから４０ｄＢまでと様々に変えてみたものの、図８に示す通り、ＰＳＮＲは最高でも29.51ｄＢに留まった。このことから、本発明の超解像法の方法の如く、ノイズが画素ごとに異なるという遮蔽パターンの情報を用いて推定する方が高精細な画像出力が可能なことがわかる。
【実施例２】
【００６９】
実施例２では、遮蔽パターンが固定されている状況での超解像の例を示すことにする。すなわち、実施例１では異なる遮蔽パターンを用いて、複数枚の低解像度の画像を生成したのに対して、実施例２では同一の遮蔽パターンを用いて、複数枚の低解像度の画像を生成したものを準備した。同一の遮蔽パターンは、カメラのＣＣＤ素子に不良が生じたケース等のモデルである。
【００７０】
原画像としては、実施例１と同様に、図２に示す大きさ５１２×５１２のLenna標準画像を用いる。観測画像は、原画像（図２）に対して、図９に示すような同一の遮蔽パターンを付与し、１２８×１２８のサイズの低解像度画像を１５枚生成している（図１０参照）。図９の遮蔽パターンは、実施例１と同様、黒（高ノイズ領域と定義）と白（低ノイズ領域と定義）で表される。
【００７１】
本発明の超解像法を用いて、生成した１２８×１２８のサイズの低解像度画像１５枚から縦横４倍にした５１２×５１２画像を推定した。出力画像の評価基準には、実施例１と同様にピーク信号対雑音比（ＰＳＮＲ）を用いた。
本超解像法により推定された画像を図１１に、推定されたマスクパターンを図１２に示す。推定されたマスクパターン（図１２（２））は、かなり正確に真のマスクパターン（図１２（１））を再現できていることが理解できる。また、図１３は図１１の「右目」付近を部分的に拡大したものである。
【００７２】
上部中央（図１１（２））が１５枚の観測画像の平均値である。上部右（図１１（３））が本超解像法により出力された高解像度画像である。また下部の３つの画像（図１１（４）〜（６））は遮蔽を仮定せずに、全ピクセルに一様なノイズを仮定する手法により出力された高解像度画像であり、仮定されたノイズの強さが異なる。下部左（図１１（４））は遮蔽領域のノイズ量（高）を、下部右（図１１（６））は非遮蔽領域のノイズ量（低）を仮定した出力であり、下部中央（図１１（５））は真の画像とのＰＳＮＲが最小になるようノイズ量を定めたときの出力である。
【００７３】
図１１で比較すると、本超解像法による出力（図１１（３））は、最適な一様ノイズ法の出力（図１１（５））に比べて、1.20ｄＢ（＝30.06−28.86）だけ高いＰＳＮＲ（したがって低いＭＳＥ）を実現しており、遮蔽されていない領域の情報を効率的に利用してより高精細な画像出力ができている。また、視覚的に観察しても、本手法による出力は一様法に比べてよりシャープでノイズの少ない高解像度画像となっている。
【００７４】
また、「右目」付近を部分的に拡大した図１３で比較すると、本超解像法による出力（図１３（３））は、最適な一様ノイズ法の出力（図１３（５））に比べて、3.47ｄＢ（＝31.58−28.10）だけ高いＰＳＮＲ（したがって低いＭＳＥ）を実現しており、遮蔽されていない領域の情報を効率的に利用してより高精細な画像出力ができている。また、視覚的に観察しても、本手法による出力は一様法に比べてよりシャープでノイズの少ない高解像度画像となっている。
なお、拡大した部分は、遮蔽されていない部分であり、遮蔽を仮定せずに全ピクセルに一様な非遮蔽領域のノイズ量（低）を仮定した出力（図１３（６））のＰＳＮＲの値も大きくなっている。
【実施例３】
【００７５】
次に、実施例３では、人工的なノイズがのったものではなく、実際のカメラで撮影した画像で推定した例について説明する。本実施例は、より現実問題に適しているものと考える。
実施例３では、カメラで本棚を撮影している状況で、カメラレンズの前を右から左に人が横切るケースを考える。ここで、人は遮蔽物となる。人の姿は遮蔽パターンとなるのであるが、この遮蔽パターンは動きがあり、またパターン形状も多少なり変化する（歩く様子が時々刻々と変化する）ものである。
ここでは本棚の背景画像を推定する。すなわち、人が横切っている観測画像から遮蔽物（人の姿）を除去した画像を推定する。図１４に人が横切っている観測画像を９枚示す。本超解像法により、遮蔽パターンを推定すると、個々の観察画像に対して図１５に示すような遮蔽パターンが推定される。
【００７６】
図１６（１）が、本超解像法により推定された本棚の画像である。比較のために、図１６（３）に９枚の観測画像の平均値により推定した画像（観測平均画像）を示す。図１６（３）の画像には中央右側に所謂ゴースト像（遮蔽物の残像）が現れている。また、図１６（４）はロバストを使って、ノイズを一様に仮定して推定した画像（観測メジアン画像）を示している。本棚の本が少しボケていることが確認できる。
本実施例からわかるように、本解像法を用いることにより、遮蔽されていない領域の情報を効率的に利用してより高精細な画像出力ができ、また、視覚的に観察しても出力画像は他の手法に比べてよりシャープでノイズの少ない高解像度画像となっている。
【産業上の利用可能性】
【００７７】
本発明の超解像法および超解像プログラムは、観光地などで撮影した写真画像から、動きのある人の映り込みを排除し、対象とする背景物体のみを高精細に復元するなど、個人利用のデジタルカメラでの撮影から、衛星画像中に混入する雲の画像を除去し、市街の衛星画像のみを高精細に復元するなどの大規模問題まで、各種画像の復元に関するものであり多くの産業分野での応用が見込まれる。
【図面の簡単な説明】
【００７８】
【図１】本発明の超解像法のフローチャート
【図２】原画像の５１２×５１２のLenna（レナ）標準画像
【図３】１２８×１２８のサイズの観測画像の一例
【図４】真の遮蔽パターン
【図５】推定された遮蔽パターン
【図６】遮蔽物を自動的推定する手法（本発明）と遮蔽物を仮定しない手法の比較のための説明図
【図７】「右目」付近の部分拡大画像
【図８】画像上に一様な強さの観測ノイズがのるとしたときの結果(Uniform)を示すグラフ図
【図９】実施例２における遮蔽パターン
【図１０】実施例２における１５枚の１２８×１２８のサイズの観測画像
【図１１】実施例２における遮蔽物を自動的推定する手法（本発明）と遮蔽物を仮定しない手法の比較のための説明図
【図１２】実施例２における真の遮蔽パターンと推定された遮蔽パターン
【図１３】実施例２における「右目」付近の部分拡大画像
【図１４】実施例３における観察画像
【図１５】実施例３における推定された遮蔽パターン
【図１６】実施例３における遮蔽物を自動的推定する手法（本発明）と他の手法の比較のための説明図
【図１】
2009146231.tif 000014
【図２】
2009146231.tif 000015
【図３】
2009146231.tif 000016
【図４】
2009146231.tif 000017
【図５】
2009146231.tif 000018
【図６】
2009146231.tif 000019
【図７】
2009146231.tif 000020
【図８】
2009146231.tif 000021
【図９】
2009146231.tif 000022
【図１０】
2009146231.tif 000023
【図１１】
2009146231.tif 000024
【図１２】
2009146231.tif 000025
【図１３】
2009146231.tif 000026
【図１４】
2009146231.tif 000027
【図１５】
2009146231.tif 000028
【図１６】
2009146231.tif 000029