(57)【要約】【課題】画像中のエッジ部における本来の輝度変化が鈍ること、および、アーティファクトの発生を十分に抑制可能な超解像技術を提供する。【解決手段】第１処理部は、初期の推定高解像度画像を生成する。第２処理部は、この初期の推定高解像度画像に対してエッジ強調処理を実行し、エッジ強調後の推定高解像度画像を生成する。第３処理部は、エッジ強調後の推定高解像度画像を更新対象の推定高解像度画像としてまず設定し、再構成型超解像処理により最終出力画像を生成する。【選択図】図２
2017111470.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの第１画像から、前記少なくとも１つの第１画像の解像度よりも高い解像度を有する第２画像を生成する画像処理装置であって、
前記少なくとも１つの第１画像を基に、前記少なくとも１つの第１画像の解像度よりも高い解像度を有し前記第２画像と同じ画像サイズの初期の推定高解像度画像を生成する第１処理部と、
前記初期の推定高解像度画像に対してエッジ強調処理を実行して、エッジ強調後の推定高解像度画像を生成する第２処理部と、
前記エッジ強調後の推定高解像度画像を更新対象の推定高解像度画像としてまず設定し、前記少なくとも１つの第１画像の各画素値と、前記少なくとも１つの第１画像と同じ画像サイズであって更新対象の推定高解像度画像に基づいて得られる推定低解像度画像の各画素値と、の誤差を最小化するように、推定高解像度画像を更新する第３処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記少なくとも１つの第１画像とは複数の第１画像であり、
前記第１処理部は、前記複数の第１画像を基にマルチフレーム超解像技術を用いて前記初期の推定高解像度画像を生成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記第１処理部は、前記初期の推定高解像度画像の各画素を前記複数の第１画像の対応する位置の画素の諧調値で埋めて、前記初期の推定高解像度画像を生成することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記少なくとも１つの第１画像とは１つの第１画像であり、
前記第１処理部は、前記１つの第１画像を基に補間法を用いて前記初期の推定高解像度画像を生成することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記補間法はLanczos補間法であることを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
前記第２処理部は、Bilateralフィルタを用いて前記初期の推定高解像度画像に対してエッジ強調処理を実行することを特徴とする画像処理装置。
【請求項７】
コンピュータにインストールされてＣＰＵによって実行されることにより、前記コンピュータを請求項１ないし請求項６のいずれかに記載の画像処理装置として機能させることを特徴とする画像処理プログラム。
【請求項８】
少なくとも１つの第１画像から、前記少なくとも１つの第１画像の解像度よりも高い解像度を有する第２画像を生成する画像処理方法であって、
前記少なくとも１つの第１画像を基に、前記少なくとも１つの第１画像の解像度よりも高い解像度を有し前記第２画像と同じ画像サイズの初期の推定高解像度画像を生成する第１処理工程と、
前記初期の推定高解像度画像に対してエッジ強調処理を実行して、エッジ強調後の推定高解像度画像を生成する第２処理工程と、
前記エッジ強調後の推定高解像度画像を更新対象の推定高解像度画像としてまず設定し、前記少なくとも１つの第１画像の各画素値と、前記少なくとも１つの第１画像と同じ画像サイズであって更新対象の推定高解像度画像に基づいて得られる推定低解像度画像の各画素値と、の誤差を最小化するように、推定高解像度画像を更新する第３処理工程と、
を備えることを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法であって、
前記少なくとも１つの第１画像とは複数の第１画像であり、
前記第１処理工程では、前記複数の第１画像を基にマルチフレーム超解像技術を用いて前記初期の推定高解像度画像を生成することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法であって、
前記第１処理工程では、前記初期の推定高解像度画像の各画素を前記複数の第１画像の対応する位置の画素の諧調値で埋めて、前記初期の推定高解像度画像を生成することを特徴とする画像処理方法。
【請求項１１】
請求項８に記載の画像処理方法であって、
前記少なくとも１つの第１画像とは１つの第１画像であり、
前記第１処理工程では、前記１つの第１画像を基に補間法を用いて前記初期の推定高解像度画像を生成することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法であって、
前記補間法はLanczos補間法であることを特徴とする画像処理方法。
【請求項１３】
請求項８ないし請求項１２のいずれかに記載の画像処理方法であって、
前記第２処理工程では、Bilateralフィルタを用いて前記初期の推定高解像度画像に対してエッジ強調処理を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理を実行する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
低解像度画像に基づいてより精細な高解像度画像を生成する超解像技術が知られている。超解像技術は、低解像度な撮像系で得た観測画像から原画像（撮像系により劣化する前の画像）を可能な限り復元した高解像度画像を生成して、この高解像度画像を表示機器に表示する場合等に利用される。
【０００３】
超解像技術における処理の一例として、低解像度画像を基に推定された高解像度画像（以下、推定高解像度画像という）を評価関数によって評価し、評価結果に基づいて推定高解像度画像を再構成する再構成型超解像処理がある。この再構成型超解像処理を行う方法として、非特許文献１に記載されるように、ＭＬ(Maximum likelihood)法やＭＡＰ(Maximum A Posteriori)法が知られている。
【０００４】
ＭＬ法は、推定高解像度画像を基に推定された低解像度画像（以下、推定低解像度画像という）と撮像画像との階調差の２乗和を評価値として推定高解像度画像を更新しながら、上記評価値を最小化する推定高解像度画像を求める手法である。
【０００５】
また、ＭＡＰ法は、与えられた低解像度画像に対して、事後確率を最大化する、すなわち最も確率的に確からしい高解像度画像を求める方法である。ＭＡＰ法は、推定高解像度画像に任意の拘束条件を与えて推定高解像度画像を更新しながら、この拘束条件に適合する範囲で上記評価値を最小化する推定高解像度画像を求める手法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２４８４７５号公報
【非特許文献】
【０００７】
【非特許文献１】Payman Milanfar、「Super-Resolution IMAGING」、CRC Press、1.34節
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、再構成型超解像処理では、画像中の輝度変化が急峻となるエッジ部の周辺において、原画像に存在しない画像パターン（以下、アーティファクトという）が意図せずに発生することがある。このようにアーティファクトが発生するのは、原画像に近づけるべく推定高解像度画像を補正する更新の過程において、画像中のエッジ部の周囲が過剰に補正されてしまうことに起因する。原画像を可能な限り復元した高解像度画像を得るという超解像技術の目的を達成するためには、アーティファクトの発生が抑制されることが望ましい。
【０００９】
ＭＡＰ法では、推定高解像度画像の局所的な輝度変化をなるべく緩やかにするように拘束条件を与えることで、上述した過剰な補正が行われないようにし、アーティファクトの発生を抑制することができる。このような処理としては、例えば、ＧＭＲＦ(Gaussian Markov Random Filed)を用いた処理が知られている。しかしながら、この処理は推定高解像度画像の２次微分の２乗和を小さくするように拘束条件を与えるものであるため、画像中のエッジ部における本来の輝度変化まで鈍らせてしまうという欠点がある。
【００１０】
特許文献１では、画像中の非エッジ部に対しては２次微分の２乗和を小さくするように拘束条件を設定し、画像中のエッジ部に対しては１次微分の絶対値和を小さくするように拘束条件を設定する手法が提案されている。この技術では、画像中のエッジ部における本来の輝度変化の形状が鈍ることを抑制することはできるものの、アーティファクトの発生原因そのものを抑制する（すなわち、上述した過剰な補正を行う必要性を十分に減らす）ことができず、アーティファクトが発生してしまう。
【００１１】
そこで、本発明は、画像中のエッジ部における本来の輝度変化が鈍ること、および、アーティファクトの発生を十分に抑制可能な超解像技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の態様にかかる画像処理装置は、少なくとも１つの第１画像から、前記少なくとも１つの第１画像の解像度よりも高い解像度を有する第２画像を生成する画像処理装置であって、前記少なくとも１つの第１画像を基に、前記少なくとも１つの第１画像の解像度よりも高い解像度を有し前記第２画像と同じ画像サイズの初期の推定高解像度画像を生成する第１処理部と、前記初期の推定高解像度画像に対してエッジ強調処理を実行して、エッジ強調後の推定高解像度画像を生成する第２処理部と、前記エッジ強調後の推定高解像度画像を更新対象の推定高解像度画像としてまず設定し、前記少なくとも１つの第１画像の各画素値と、前記少なくとも１つの第１画像と同じ画像サイズであって更新対象の推定高解像度画像に基づいて得られる推定低解像度画像の各画素値と、の誤差を最小化するように、推定高解像度画像を更新する第３処理部と、を備えることを特徴とする。
【００１３】
本発明の第２の態様にかかる画像処理装置は、本発明の第１の態様にかかる画像処理装置であって、前記少なくとも１つの第１画像とは複数の第１画像であり、前記第１処理部は、前記複数の第１画像を基にマルチフレーム超解像技術を用いて前記初期の推定高解像度画像を生成することを特徴とする。
【００１４】
本発明の第３の態様にかかる画像処理装置は、本発明の第２の態様にかかる画像処理装置であって、前記第１処理部は、前記初期の推定高解像度画像の各画素を前記複数の第１画像の対応する位置の画素の諧調値で埋めて、前記初期の推定高解像度画像を生成することを特徴とする。
【００１５】
本発明の第４の態様にかかる画像処理装置は、本発明の第１の態様にかかる画像処理装置であって、前記少なくとも１つの第１画像とは１つの第１画像であり、前記第１処理部は、前記１つの第１画像を基に補間法を用いて前記初期の推定高解像度画像を生成することを特徴とする。
【００１６】
本発明の第５の態様にかかる画像処理装置は、本発明の第４の態様にかかる画像処理装置であって、前記補間法はLanczos補間法であることを特徴とする。
【００１７】
本発明の第６の態様にかかる画像処理装置は、本発明の第１の態様ないし第５の態様のいずれかにかかる画像処理装置であって、前記第２処理部は、Bilateralフィルタを用いて前記初期の推定高解像度画像に対してエッジ強調処理を実行することを特徴とする。
【００１８】
本発明の第７の態様にかかる画像処理プログラムは、コンピュータにインストールされてＣＰＵによって実行されることにより、前記コンピュータを本発明の第１の態様ないし第６の態様のいずれかにかかる画像処理装置として機能させることを特徴とする。
【００１９】
本発明の第８の態様にかかる画像処理方法は、少なくとも１つの第１画像から、前記少なくとも１つの第１画像の解像度よりも高い解像度を有する第２画像を生成する画像処理方法であって、前記少なくとも１つの第１画像を基に、前記少なくとも１つの第１画像の解像度よりも高い解像度を有し前記第２画像と同じ画像サイズの初期の推定高解像度画像を生成する第１処理工程と、前記初期の推定高解像度画像に対してエッジ強調処理を実行して、エッジ強調後の推定高解像度画像を生成する第２処理工程と、前記エッジ強調後の推定高解像度画像を更新対象の推定高解像度画像としてまず設定し、前記少なくとも１つの第１画像の各画素値と、前記少なくとも１つの第１画像と同じ画像サイズであって更新対象の推定高解像度画像に基づいて得られる推定低解像度画像の各画素値と、の誤差を最小化するように、推定高解像度画像を更新する第３処理工程と、を備えることを特徴とする。
【００２０】
本発明の第９の態様にかかる画像処理方法は、本発明の第８の態様にかかる画像処理方法であって、前記少なくとも１つの第１画像とは複数の第１画像であり、前記第１処理工程では、前記複数の第１画像を基にマルチフレーム超解像技術を用いて前記初期の推定高解像度画像を生成することを特徴とする。
【００２１】
本発明の第１０の態様にかかる画像処理方法は、本発明の第９の態様にかかる画像処理方法であって、前記第１処理工程では、前記初期の推定高解像度画像の各画素を前記複数の第１画像の対応する位置の画素の諧調値で埋めて、前記初期の推定高解像度画像を生成することを特徴とする。
【００２２】
本発明の第１１の態様にかかる画像処理方法は、本発明の第８の態様にかかる画像処理方法であって、前記少なくとも１つの第１画像とは１つの第１画像であり、前記第１処理工程では、前記１つの第１画像を基に補間法を用いて前記初期の推定高解像度画像を生成することを特徴とする。
【００２３】
本発明の第１２の態様にかかる画像処理方法は、本発明の第１１の態様にかかる画像処理方法であって、前記補間法はLanczos補間法であることを特徴とする。
【００２４】
本発明の第１３の態様にかかる画像処理方法は、本発明の第８の態様ないし第１２の態様のいずれかにかかる画像処理方法であって、前記第２処理工程では、Bilateralフィルタを用いて前記初期の推定高解像度画像に対してエッジ強調処理を実行することを特徴とする。
【発明の効果】
【００２５】
本発明の第１の態様ないし第１３の態様では、エッジ強調後の推定高解像度画像を更新対象の推定高解像度画像としてまず設定する。このため、更新開始時の推定高解像度画像は、エッジ強調前の画像に比べ、原画像との間でエッジ部の差異が小さい。このように、更新開始時の推定高解像度画像が原画像の高周波成分を含むことにより、推定高解像度画像を更新する際に上記過剰な補正がなされることが抑制される。その結果、本発明の画像処理では、アーティファクトの発生が抑制される。
【図面の簡単な説明】
【００２６】
【図１】撮像系における低解像度化のモデルを示す図である。
【図２】本実施形態に係る画像処理装置１の機能構成を示すブロック図である。
【図３】画像処理装置における処理の流れを示すフロー図である。
【図４】再構成型超解像処理の流れを示すフロー図である。
【図５】再構成型超解像処理のモデルを示す図である。
【図６】原画像の一例を示す模式図である。
【図７】比較例において、第１画像に対してBilinear補間法を行い生成された初期の推定高解像度画像を示す模式図である。
【図８】比較例において、初期の推定高解像度画像に対してＭＬ法を用いて生成された最終出力画像を示す模式図である。
【図９】エッジ強調後の推定高解像度画像を示す模式図である。
【図１０】第２画像を示す模式図である。
【図１１】第１画像に対してBicubic補間法を行い生成された初期の推定高解像度画像を示す模式図である。
【図１２】第１画像に対してLanczos補間法を行い生成された初期の推定高解像度画像を示す模式図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明の実施形態について説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、重複説明が省略される。なお、以下の実施形態は、本発明を具体化した一例であり、本発明の技術的範囲を限定する事例ではない。また、図面においては、理解容易のため、各部の寸法や数が誇張または簡略化して図示されている場合がある。
【００２８】
＜１  実施形態＞
＜１．１  画像処理装置１の機能構成＞
図１は、撮像系における低解像度化のモデルを示す図である。図２は、本実施形態に係る画像処理装置１の機能構成を示すブロック図である。
【００２９】
図１に示すように、低解像度な撮像系で原画像３００を撮像した場合、基準位置からの撮像位置のずれ、撮像系での光学劣化、ダウンサンプリング、および、ノイズ等の影響によって、原画像３００から低解像度化された撮像画像（以下、第１画像３０１という）が得られる。
【００３０】
画像処理装置１は、少なくとも１つの第１画像３０１から該少なくとも１つの第１画像３０１の解像度よりも高い解像度を有する第２画像３０４（原画像３００を可能な限り復元した高解像度画像）を生成する装置である。
【００３１】
画像処理装置１は、その機能構成として、少なくとも１つの第１画像３０１が入力される画像入力部１１０と、第１処理部１２１ないし第３処理部１２３を有し再構成型超解像処理を行って第２画像３０４を生成する画像処理部１２０と、この第２画像３０４を出力する画像出力部１３０と、を備える。
【００３２】
ここで、第１処理部１２１は、少なくとも１つの第１画像３０１を基に、該少なくとも１つの第１画像３０１の解像度よりも高い解像度を有し第２画像３０４と同じ画像サイズの初期の推定高解像度画像３０２を生成する処理部である。
【００３３】
第２処理部１２２は、初期の推定高解像度画像３０２に対してエッジ強調処理を実行して、エッジ強調後の推定高解像度画像３０３を生成する処理部である。
【００３４】
第３処理部１２３は、エッジ強調後の推定高解像度画像３０３を更新対象の推定高解像度画像としてまず設定し、推定高解像度画像を更新しながら再構成型超解像処理を行う処理部である。
【００３５】
画像処理プログラムがコンピュータにインストールされてＣＰＵにより実行されることで、このコンピュータが画像処理装置１として機能する。このプログラムは、無線または有線でコンピュータに読み込まれてもよい。また、コンピュータによって読み取り可能な記録媒体にこのプログラムが記録されて、この記録媒体を介してこのプログラムがコンピュータに読み込まれてもよい。
【００３６】
＜１．２  処理の流れ＞
図３は、画像処理装置１における処理の流れを示すフロー図である。
【００３７】
まず、画像入力部１１０に少なくとも１つの第１画像３０１が入力される（ステップＳＴ１）。そして、該少なくとも１つの第１画像３０１を基に、初期の推定高解像度画像３０２が生成される（ステップＳＴ２：第１処理工程）。
【００３８】
ステップＳＴ１において画像入力部１１０に１つの第１画像３０１が入力された場合には、第１処理部１２１がその第１画像３０１を基に種々の画素補間法を行って初期の推定高解像度画像３０２を生成する（ステップＳＴ２）。このような画素補間法としては、例えば、Bilinear補間法、Bicubic補間法、Lanczos補間法等がある。
【００３９】
また、ステップＳＴ１において画像入力部１１０に複数の第１画像３０１が入力された場合には、第１処理部１２１がその複数の第１画像３０１を基に種々のマルチフレーム超解像技術を行って初期の推定高解像度画像３０２を生成する（ステップＳＴ２）。このようなマルチフレーム超解像技術としては、例えば、初期の推定高解像度画像３０２の各画素を複数の第１画像３０１の対応する位置の画素の諧調値で埋める方法（以下、画素埋め法という）等がある。
【００４０】
以下では、画像処理装置１における処理態様の一例として、３つの第１画像３０１が画像入力部１１０に入力されて第１処理部１２１で画素埋め法を行う態様について説明する。
【００４１】
画素埋め法で初期の推定高解像度画像３０２を生成する場合には、各第１画像３０１におけるサブピクセル単位での撮像位置ずれ量が既知である必要がある。撮像位置ずれ量を把握する態様としては、ピエゾステージを用いて各第１画像３０１の撮像位置を精密に制御しその制御値を基に位置ずれ量を特定する態様や、手振れ等で各第１画像３０１の撮像位置を制御せずに取得して種々の画像位置合わせ法（例えば、ＳＳＤ法や正規化相関法等）により位置ずれ量を推定する態様がある。
【００４２】
第１処理部１２１で画素埋め法により生成された初期の推定高解像度画像３０２は、第２処理部１２２に与えられ、第２処理部１２２でエッジ強調処理を施される。これにより、エッジ強調後の推定高解像度画像３０３が生成される（ステップＳＴ３：第２処理工程）。エッジ強調処理としては、例えば、Bilateralフィルタを用いた処理が考えられる。Bilateralフィルタを強くかけることにより、エッジ部の輝度変化が急激にされて非エッジ部の輝度変化が平坦にされる。
【００４３】
エッジ強調後の推定高解像度画像３０３は、第３処理部１２３に与えられ、再構成型超解像処理を施される。そして、一連の再構成型超解像処理が終了すると、第２画像３０４が生成される（ステップＳＴ４：第３処理工程）。以下では、ＭＬ法によって再構成型超解像処理を行う態様について説明する。
【００４４】
図４は、再構成型超解像処理の流れを示すフロー図である。図５は、再構成型超解像処理のモデルを示す図である。以下では、再構成型超解像処理の過程で用いられる推定高解像度画像に関して、エッジ強調後の推定高解像度画像３０３および第２画像３０４を区別せず単に推定高解像度画像３０５という。
【００４５】
まず、エッジ強調後の推定高解像度画像３０３が更新対象の推定高解像度画像３０５として設定される（ステップＳＴ４１）。
【００４６】
そして、推定高解像度画像３０５と同一の３つの画像が複製される（ステップＳＴ４２）。
【００４７】
その後、これら３つの画像に対して撮像系における低解像度化のモデル（図１を参照）と同様の処理が実行される。ここで、３つの第１画像３０１を取得した撮像系における、基準位置からの撮像位置のずれ、撮像系での光学劣化、および、ダウンサンプリング、に関する各値（図１を参照）は、予め画像処理装置１の記憶部に格納されている。
【００４８】
具体的には、３つの第１画像３０１における位置ずれと同様になるよう、３つの推定高解像度画像３０５に対して位置ずらし処理が行われる。そして、位置ずらし処理後の３つの画像に対して３つの第１画像３０１における光学劣化と同様の光学劣化処理が行われる。さらに、光学劣化処理後の３つの画像に対して３つの第１画像３０１におけるダウンサンプリングと同様のダウンサンプリング処理（例えば、平均化縮小処理）が行われる。
【００４９】
その結果、推定高解像度画像３０５が原画像であると仮定した場合に推定高解像度画像３０５を上記撮像系で撮像して得られる３つの撮像画像（以下、３つの推定低解像度画像３０６という）が生成される（ステップＳＴ４３）。すなわち、３つの推定低解像度画像３０６は、更新対象の推定高解像度画像３０５に基づいて生成され、３つの第１画像３０１と同じ画像サイズの画像である。
【００５０】
そして、３つの推定低解像度画像３０６から３つの第１画像３０１を差し引く差分がそれぞれ算出されて、３つの差分低解像度画像３０７が生成される（ステップＳＴ４４）。
【００５１】
次に、３つの差分低解像度画像３０７に対して、撮像系における低解像度化のモデル（図１を参照）の逆処理が実行される。
【００５２】
具体的には、３つの差分低解像度画像３０７に対して、ステップＳＴ４３で実行したダウンサンプリング処理の逆処理（アップサンプリング処理、例えば、Bilinear補間処理）が行われる。そして、アップサンプリング処理後の３つの画像に対して、ステップＳＴ４３で実行した光学劣化処理の逆処理が行われる。さらに、この逆処理後の３つの画像に対して、ステップＳＴ４３で実行した位置ずらし処理とは逆向きに同じ大きさで位置ずらし処理が行われる。
【００５３】
それから、位置ずらし後の３つの画像に平均化処理が実行され、平均差分高解像度画像３０８が生成される（ステップＳＴ４５）。ここで、平均化処理とは、位置ずらし後の３つの画像を重ね合わせた後に、その画像数Ｎ（本実施形態では、３）で割る処理である。したがって、平均差分高解像度画像３０８は、低解像度状態での画像比較を用いて得られる画像であり、原画像３００には表されず推定高解像度画像３０５には表された余分な画像に相当する。
【００５４】
このため、平均差分高解像度画像３０８に一定比率αを乗じて重み付け画像を得た後（ステップＳＴ４６）、推定高解像度画像３０５からこの重み付け画像を差し引くことにより、元の推定高解像度画像３０５よりも原画像３００に近づいた更新画像が生成される（ステップＳＴ４７）。
【００５５】
そして、一定の判断基準を基に、再構成型超解像処理を続けるか否かの判断がなされる（ステップＳＴ４８）。
【００５６】
ステップＳＴ４８でＹｅｓに分岐した場合には、更新画像を新たな推定高解像度画像３０５として、ステップＳＴ４２〜４７が繰り返される。この繰り返し演算によって、推定高解像度画像３０５が徐々に原画像３００に近似していく。
【００５７】
また、ステップＳＴ４８でＮｏに分岐した場合には、最終的な更新画像を第２画像３０４として、該第２画像３０４が生成される（ステップＳＴ４９）。
【００５８】
ここで、一定の判断基準として、例えば、更新回数が何回目であるかという基準を用いることができる。この場合、再構成型超解像処理の所要時間を特定しやすいという利点がある。また別の例で、一定の判断基準として、平均差分高解像度画像３０８における各画素の諧調値が所定の閾値以下となるか（後述する数２における右辺第２項が十分に小さくなるか）という基準を用いてもよい。この場合、最終的に得られる第２画像３０４が原画像３００に十分に近似した画像になるという利点がある。
【００５９】
以上説明した再構成型超解像処理について、以下の２つの数式（数１および数２）を用いて、改めて説明する。
【００６０】
【数１】
2017111470.tif 000003
【００６１】
【数２】
2017111470.tif 000004
【００６２】
本実施形態のＭＬ法では、数１に示すように、評価関数Ｅを各第１画像３０１と各推定低解像度画像３０６の諧調値の差の２乗和（Ｌ２ノルム）と定義して、これを最小化するような推定高解像度画像を求める。
【００６３】
数１において、Ｘは推定高解像度画像３０５を意味し、Ｎは位置をずらして得た第１画像３０１の枚数（本実施形態では、３）、ＹｋはＮ枚の第１画像３０１のうちｋ番目の第１画像を意味する。Ｄｋ、Ｂｋ、Ｍｋはそれぞれｋ番目の第１画像に対応するダウンサンプリング、光学劣化、位置ずらしの作用を意味する。すなわち、ＤｋＢｋＭｋＸは、ｋ番目の撮像画像に対応する推定低解像度画像３０６を意味する。||  ||はＬ２ノルムを意味する。比較される推定低解像度画像３０６と第１画像の対はＮ組あるので、それぞれについて差のＬ２ノルムを求めて、その総和を評価関数Ｅの最終的な出力値とする。
【００６４】
なお、数１には、撮像系におけるノイズ成分を考慮していない。これは、ノイズが平均値０のガウス分布に従い、第１画像３０１の諧調値は平均値を推定低解像度画像３０６の諧調値とするガウス分布に従う、と仮定すると、上記誤差の最小化を考える際にノイズ成分は無視できるためである。
【００６５】
数１の評価関数Ｅを最小化する推定高解像度画像３０５を求めるため、Ｅが小さくなる方向に推定高解像度画像３０５が反復更新される。数２は、反復ごとの推定高解像度画像３０５の更新式を示す。Ｘｉはｉ回目の反復開始時点での推定高解像度画像３０５を意味し、Ｘｉ＋１はＸｉの更新後でｉ＋１回目の反復開始時点の推定高解像度画像３０５を意味する。αは、１階の反復で更新する度合いを調整する正の重み係数である。ＤｋＴ、ＢｋＴ、ＭｋＴはそれぞれｋ番目の画像に対応するダウンサンプリング、光学劣化、位置ずらしの逆作用（すなわち、アップサンプリング、光学劣化キャンセル、逆位置ずらし）を意味する。
【００６６】
したがって、数２の更新式は、第１画像３０１と推定低解像度画像３０６の差分画像（差分低解像度画像３０７）に上記逆作用を加えて画像数Ｎで平均化した平均差分高解像度画像３０８を求めて、それに重みαを乗じたものを推定高解像度画像３０５から差し引くことを意味する。
【００６７】
以上説明したように、本実施形態における再構成型超解像処理では、数１の評価関数Ｅの最小化問題を最急降下法のアプローチで解いていることに相当する。具体的には、第３処理部１２３は、３つの第１画像３０１の各画素値と３つの推定低解像度画像３０６の各画素値と、の誤差を最小化するように、再構成型超解像処理を実行する。
【００６８】
そして、ステップＳＴ４で生成された第２画像３０４は、画像出力部１３０によって出力される（ステップＳＴ５）。第２画像３０４の出力先は特に限定されず、ネットワークを介して外部の処理装置に出力されてもよいし、ＣＲＴや液晶画面などにより構成されている画像表示装置に出力されてもよい。
【００６９】
＜１．３  効果＞
図６は、原画像３００の一例を示す模式図である。また、図７および図８は、本実施形態の比較例において各種処理をして生成される画像を示す模式図である。図９および図１０は、本実施形態において各種処理をして生成される画像を示す模式図である。
【００７０】
具体的には、図７は、第１画像３０１に対してBilinear補間法を行い生成された初期の推定高解像度画像４０２を示す模式図である。図８は、初期の推定高解像度画像４０２に対してＭＬ法を用いて生成された最終出力画像４０４（本実施形態の第２画像３０４に相当する画像）を示す模式図である。図９は、エッジ強調後の推定高解像度画像３０３を示す模式図である。図１０は、第２画像３０４を示す模式図である。
【００７１】
以下、図６〜図１０を参照しつつ、本実施形態における画像処理の効果を説明する。
【００７２】
一般に、各第１画像３０１は原画像３００に比べて高周波成分が欠落しており、各第１画像３０１を基に生成される初期の推定高解像度画像も高周波成分が欠落した画像（具体的には、エッジ部周囲の輝度変化が鈍った画像）となる。これは、比較例における初期の推定高解像度画像４０２を示す図７からも分かる。
【００７３】
このように高周波成分が欠落した初期の推定高解像度画像４０２をそのまま更新対象の推定高解像度画像とした場合、原画像に近づけるべく推定高解像度画像を補正する更新の過程において、初期の推定高解像度画像４０２のエッジ部を大きく補正する必要が生じる。
【００７４】
その結果、更新の過程において画像中のエッジ部の周囲が過剰に補正されてしまい、この過剰な補正に起因して、最終出力画像４０４中にアーティファクトが発生する。具体的には、図８に示すように、黒色領域のうちエッジ部の近傍で原画像３００には存在しない白色領域（アーティファクト）が発生してしまう。例えば、特許文献１に記載の技術においても、更新開始時の推定高解像度画像が原画像の高周波成分を含まない（言い換えると、更新開始時の推定高解像度画像と原画像との間でエッジ部の差異が大きい）ことにより、同様の原理で、アーティファクトが発生してしまう。
【００７５】
これに対して、本実施形態の画像処理では、マルチフレーム超解像技術（具体的には、画素埋め法）を用いて、初期の推定高解像度画像３０２が生成される。このため、本実施形態における初期の推定高解像度画像３０２は、比較例における初期の推定高解像度画像４０２（Bilinear補間法など１フレームを基に生成した画像）に比べ、原画像３００に近似した画像となる。
【００７６】
さらに、本実施形態の画像処理では、初期の推定高解像度画像３０２に対してエッジ強調処理を施して、エッジ強調後の推定高解像度画像３０３を生成し、このエッジ強調後の推定高解像度画像３０３を更新開始時の推定高解像度画像３０５として設定する。このため、本実施形態における更新開始時の推定高解像度画像３０５（エッジ強調後の推定高解像度画像３０３）は、比較例における更新開始時の推定高解像度画像４０２に比べ、原画像３００との間でエッジ部の差異が小さい。
【００７７】
このように、本実施形態では、更新開始時の推定高解像度画像３０５（エッジ強調後の推定高解像度画像３０３）が原画像３００の高周波成分を含むことにより、推定高解像度画像３０５を更新する際に上記過剰な補正がなされることが抑制される。その結果、本実施形態の画像処理では、アーティファクトの発生が抑制される。
【００７８】
＜２  変形例＞
以上、本発明の実施の形態について説明したが、この発明はその趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００７９】
上記実施形態では、撮像画像（第１画像３０１）の総数Ｎが３である場合について説明したが、Ｎは１または２であってもよいし、４以上であってもよい。
【００８０】
上記実施形態では、第１処理部１２１が画素埋め法により初期の推定高解像度画像３０２を生成する態様について説明したが、これに限られるものではない。マルチフレーム超解像技術として画素埋め法以外の種々の方法が用いられてもよい。また、１フレームを基に初期の推定高解像度画像３０２が生成されてもよく、この場合は、Bilinear補間法、Bicubic補間法、および、Lanczos補間法等が用いられてもよい。
【００８１】
図１１は、第１画像３０１に対してBicubic補間法を行い生成された初期の推定高解像度画像５０２を示す模式図である。図１２は、第１画像３０１に対してLanczos補間法を行い生成された初期の推定高解像度画像６０２を示す模式図である。図７、図１１、および図１２を比較して分かるように、Bilinear補間法で生成された初期の推定高解像度画像４０２よりもBicubic補間法で生成された初期の推定高解像度画像５０２の方が、原画像３００に近似したエッジ部を含み、Bicubic補間法で生成された初期の推定高解像度画像５０２よりもLanczos補間法で生成された初期の推定高解像度画像６０２の方が、原画像３００に近似したエッジ部を含む。このため、これら３つの補間法で初期の推定高解像度画像を生成する態様を比較すると、Lanczos補間法、Bicubic補間法、Bilinear補間法の順に最終出力画像でアーティファクトの発生が抑制される。
【００８２】
また、上記実施形態では第３処理部１２３がＭＬ法を用いて再構成型超解像処理を行う態様について説明したが、第３処理部１２３がＭＡＰ法や他の手法を用いて再構成型超解像処理を行う態様でも構わない。
【００８３】
以上、実施形態およびその変形例に係る画像処理装置、画像処理プログラム、および画像処理方法について説明したが、これらは本発明に好ましい実施形態の例であって、本発明の実施の範囲を限定するものではない。本発明は、その発明の範囲内において、各実施形態の自由な組み合わせ、あるいは各実施形態の任意の構成要素の変形、もしくは各実施形態において任意の構成要素の増減が可能である。
【符号の説明】
【００８４】
１  画像処理装置
１１０  画像入力部
１２０  画像処理部
１２１  第１処理部
１２２  第２処理部
１２３  第３処理部
１３０  画像出力部
３００  原画像
３０１  第１画像
３０２、４０２、５０２、６０２  初期の推定高解像度画像
３０３  エッジ強調後の推定高解像度画像
３０５  推定高解像度画像
３０６  推定低解像度画像
３０７  差分低解像度画像
３０８  平均差分高解像度画像
ＳＴ１〜ＳＴ５、ＳＴ４１〜ＳＴ４９  ステップ
【図１】
2017111470.tif 000005
【図２】
2017111470.tif 000006
【図３】
2017111470.tif 000007
【図４】
2017111470.tif 000008
【図５】
2017111470.tif 000009
【図６】
2017111470.tif 000010
【図７】
2017111470.tif 000011
【図８】
2017111470.tif 000012
【図９】
2017111470.tif 000013
【図１０】
2017111470.tif 000014
【図１１】
2017111470.tif 000015
【図１２】
2017111470.tif 000016