(57)【要約】位置ずれを含むマルチモーダル・マルチスペクトル画像からでも、高画質なフィルタ処理画像を生成することを可能とする。画像摂動部は、ガイド画像を変形させた第１乃至第Ｋの摂動ガイド画像から成る摂動ガイド画像群を生成する。フィルタ処理部は、摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する。信頼度算出部は、第１乃至第Ｋの摂動ガイド画像とターゲット画像との間の第１乃至第Ｋの相関値に基づき、フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する。重み最適化部は、第１乃至第Ｋの信頼度に基づき、それぞれ第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する。出力画像合成部は、重み群とフィルタ処理画像群とから出力画像を合成する。
2018084069.tif 000002
【特許請求の範囲】
【請求項１】
ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と、
前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と、
前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と、
前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と、
前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成部と、
を備える画像合成システム。
【請求項２】
前記画像摂動部は、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、請求項１に記載の画像合成システム。
【請求項３】
前記信頼度算出部は、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、請求項１又は２に記載の画像合成システム。
【請求項４】
前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項１乃至３のいずれか１つに記載の画像合成システム。
【請求項５】
前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項１乃至３のいずれか１つに記載の画像合成システム。
【請求項６】
前記重み最適化部は、前記信頼度算出部にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、請求項１乃至３のいずれか１つに記載の画像合成システム。
【請求項７】
画像摂動部が、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動工程と、
フィルタ処理部が、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理工程と、
信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出工程と、
重み最適化部が、前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化工程と、
出力画像合成部が、前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成工程と、
を含む画像合成方法。
【請求項８】
前記画像摂動工程では、前記画像摂動部が、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、請求項７に記載の画像合成方法。
【請求項９】
前記信頼度算出工程では、前記信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、請求項７又は８に記載の画像合成方法。
【請求項１０】
前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項７乃至９のいずれか１つに記載の画像合成方法。
【請求項１１】
前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、請求項７乃至９のいずれか１つに記載の画像合成方法。
【請求項１２】
前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、請求項７乃至９のいずれか１つに記載の画像合成方法。
【請求項１３】
ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動手順と、
前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理手順と、
前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出手順と、
前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化手順と、
前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成手順と、
をコンピュータに実行させる画像合成プログラムを記録した画像合成プログラム記録媒体。
【請求項１４】
前記画像摂動手順は、前記コンピュータに、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成させる、請求項１３に記載の画像合成プログラム記録媒体。
【請求項１５】
前記信頼度算出手順は、前記コンピュータに、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出させる、請求項１３又は１４に記載の画像合成プログラム記録媒体。
【請求項１６】
前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
【請求項１７】
前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
【請求項１８】
前記重み最適化手順は、前記コンピュータに、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いらせる、請求項１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成システム、画像合成方法、および画像合成プログラム記録媒体に関する。
【背景技術】
【０００２】
昨今のデバイス技術とソフトウェアの進歩により、温度や距離，動きベクトルなどの計測量を高精度に計測することが可能になってきており、これらデバイスにより取得された画像を同時に利用することが盛んになってきている。例えば、可視画像と遠赤外画像、近赤外画像、深度画像などを同時に利用する画像処理が盛んになってきている。【０００３】
一例をあげると、非特許文献１、２及び３に記載の技術のように、可視画像或いは非可視画像のうち、一方の画像をガイドとして用い（以下、「ガイド画像」とよぶ）、他方の画像（以下、「ターゲット画像」とよぶ）中に含まれるノイズを除去したり、ターゲット画像をアップサンプリングしたり、霧領域を鮮明化するなどの技術が盛んに研究されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Tomasi, Carlo, and Roberto Manduchi. "Bilateral filtering for gray and color images." Computer Vision, 1998. Sixth International Conference on. IEEE, 1998.
【非特許文献２】He, Kaiming, Jian Sun, and Xiaoou Tang. "Guided image filtering." European conference on computer vision. Springer Berlin Heidelberg, 2010.
【非特許文献３】Shen, Xiaoyong, et al. "Mutual-Structure for Joint Filtering." Proceedings of the IEEE International Conference on Computer Vision. 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般的に、可視カメラと非可視カメラとでは、画角や姿勢などのカメラパラメータが異なるため、位置ずれが発生することが一般的である。【０００６】
これに対して、非特許文献１、２及び３のようにガイド画像を用いるフィルタ処理の方法は、可視画像と非可視画像との間で、位置合わせが正確に行われていることが前提となっている。位置ずれが存在する可視画像と非可視画像とに対して、非特許文献１、２或いは３に記載の方法を用いた場合、ハロー効果やゴースト効果、或いはリンギングなどのアーチファクトが発生する。【０００７】
本発明の目的は、上述した課題を解決できる画像合成システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一形態は、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と；前記重み群と前記フィルタ処理画像群より出力画像を合成する出力画像合成部と；を備える画像合成システムである。
【発明の効果】
【０００９】
本発明によれば、画像中に含まれるノイズが除去された画像、アップサンプリングされた画像、霧領域を鮮明化された画像を生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る画像合成システムの概略構成を示すブロック図である。
【図２】図１に示された画像合成システムに使用される、信頼度算出部の構成を示すブロック図である。
【図３】図１に示された画像合成システムに使用される、重み最適化部における入出力関係の一例を示すブロック図である。
【図４】図１に示された画像合成システムに使用される、重み最適化部における入出力関係の他の例を示すブロック図である。
【図５】図１に示された画像合成システムに使用される、重み最適化部における入出力関係の更に他の例を示すブロック図である。
【図６】図１に示した画像合成システムの動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
次に、発明を実施するための形態について図面を参照して詳細に説明する。
【００１２】
[構成の説明]
図１は、本発明の実施の形態に係る画像合成システムの概略構成を示すブロック図である。
【００１３】
図１を参照すると、本発明の実施の形態に係る画像処理システムは、ターゲット画像入力部１０１と、ガイド画像入力部１０２と、プログラム制御により動作するコンピュータ２００と、画像出力部３０１とから成る。コンピュータ２００は、例えば、中央処理装置やプロセッサ、或いはデータ処理装置で構成されてよい。
【００１４】
コンピュータ２００は、画像摂動部２１０と、フィルタ処理部２２０と、信頼度算出部２３０と、重み最適化部２４０と、出力画像合成部２５０とから成る。
【００１５】
これらの手段は、それぞれ概略、次のように動作する。
【００１６】
ターゲット画像入力部１０１には、ターゲット画像として、カメラや測定用のセンサなどによって得られた画像や測定値が入力される。ターゲット画像入力部１０１に入力する画像或いは測定値（ターゲット画像）としては、可視画像に限定されず、例えば、その他のセンサから取得された画像を入力してもよい。そして、ターゲット画像入力部１０１は、入力された画像或いは測定値（ターゲット画像）をメモリ（図示せず）等に記録する。
【００１７】
ガイド画像入力部１０２には、ガイド画像として、カメラや測定用のセンサなどによって得られた画像や測定値が入力される。ターゲット画像入力部１０１と同様に、ガイド画像入力部１０２に入力する画像或いは測定値（ガイド画像）としては、可視画像に限定されず、例えば、その他のセンサから取得された画像を入力してもよい。例えば、ターゲット画像入力部１０１には、ガイド画像として、深度画像、遠赤外画像、近赤外画像などを入力してもよい。そして、ガイド画像入力部１０２は、入力された画像或いは測定値（ガイド画像）をメモリ（図示せず）等に記録する。
【００１８】
画像摂動部２１０は、ガイド画像入力部１０２にて入力したガイド画像を、位置ずれ量に関して摂動させ、摂動ガイド画像群を生成する。位置ずれ量に関して摂動させる方法としては、例えば、画像の縦方向と横方向に、一定の間隔毎（例えば数画素おき）に画像を平行移動させることで、摂動ガイド画像を生成してもよい。或いは、画像摂動部２１０は、平行移動だけでなく、回転変形やアフィン変形、或いはホモグラフィ変換などの画像変形により摂動ガイド画像群を生成してもよい。また、本発明の実施の形態において、摂動ガイド画像群を生成する方法は、位置ずれ量に限定されず、例えば、ボケ量や倍率など、より一般的な画像劣化過程の一部を摂動として与えてガイド画像を変換し、これを摂動ガイド画像群として用いてもよい。
【００１９】
以下では、説明のため、ターゲット画像を
【数１】
2018084069.tif 000003
と表し、ｋ番目の摂動ガイド画像を
【数２】
2018084069.tif 000004
と表し、摂動ガイド画像群を
【数３】
2018084069.tif 000005
と表す。
【００２０】
したがって、摂動ガイド画像の個数をＫ（１≦ｋ≦Ｋ）とすると、摂動ガイド画像群は、第１乃至第Ｋの摂動ガイド画像から成る。
【００２１】
フィルタ処理部２２０は、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する。より具体的には、フィルタ処理部２０２は、ターゲット画像
【数４】
2018084069.tif 000006
と、前記摂動ガイド画像群
【数５】
2018084069.tif 000007
より、フィルタ処理画像群を生成する。各フィルタ処理の方法としては、上記非特許文献１、２或いは３の手法などを用いればよい。以下では、生成されたフィルタ処理画像群を
【数６】
2018084069.tif 000008
と表す。
【００２２】
信頼度算出部２３０は、前記第１乃至第Ｋの摂動ガイド画像とターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する。前記摂動ガイド画像群とターゲット画像群との間の相関値群としては、例えば、フィルタ処理部２２０で用いた第１乃至第Ｋのフィルタ処理の際に使用した第１乃至第Ｋの目的関数を、第１乃至第Ｋの相関値として用いてもよい。
【００２３】
したがって、信頼度算出部２３０は、図２に示されるように、相関値計算部２３２と、信頼度計算部２３４とから成る。相関値計算部２３２は、第１乃至第Ｋの相関値から成る相関値群を、第１乃至第Ｋの目的関数から成る目的関数群に基づき計算する。信頼度計算部２３４は、相関値群に基づき、信頼度群を計算する。
【００２４】
例えば、相関値計算部２３２は、以下の数７に示すようにリッジ回帰に基づく量がフィルタ処理の目的関数として用いられる場合には、その値を用いて相関値を算出すればよい。
【００２５】
【数７】
2018084069.tif 000009
ここで、
【数８】
2018084069.tif 000010
は、リッジ回帰の結果算出された係数である。
【００２６】
また、以下の数９のように、リッジ回帰に基づく相関値に加え、ターゲット画像及び摂動ガイド画像群との誤差項の２つに基づく量がフィルタ処理の目的関数として用いられている場合には、相関値計算部２３２は、その値を相関値として用いてもよい。
【００２７】
【数９】
2018084069.tif 000011
ここで、
【数１０】
2018084069.tif 000012
は、リッジ回帰の結果算出された係数である。また、λI，λGは、パラメータであり、利用者により決定される量である。
【００２８】
あるいは、カーネル関数K（・）に基づく量がフィルタ処理の目的関数として用いられる場合には、相関値計算部２３２は、以下の数１１のように、その値を用いて相関値を算出すればよい。 
【００２９】
【数１１】
2018084069.tif 000013
ここで、
【数１２】
2018084069.tif 000014
は、カーネル関数であり、σｓ，σiは利用者により決定されるパラメータである。
【００３０】
なお、本発明で用いる相関値は、上記に限定されず、例えば、ターゲット画像と摂動ガイド画像群との間の相関を表すものであれば良い。このような相関を表す量としては、ターゲット画像と各摂動ガイド画像との間の局所領域における正規化相関、差分の二乗和、差分の絶対値の和などを用いればよい。或いは、本発明では、ターゲット画像と摂動ガイド画像群との間の相関を、予め機械学習などの方法で学習し、これを用いて相関値を算出してもよい。
【００３１】
次に、信頼度計算部２３４は、例えば、以下の数１４のようなソフトマックス関数を用いて、第ｋの信頼度
【数１３】
2018084069.tif 000015
を算出すればよい。
【数１４】
2018084069.tif 000016
ここで、βはパラメータであり、利用者により決定される量である。
【００３２】
なお、上記実施の形態では、信頼度算出部２３０において相関値群からソフトマックス関数を用いて信頼度群を算出する方法について述べたが、本発明はこれに限定されない。一般的には、信頼度は相関値の単調増加関数であれば何でもよく、例えば、相関値の値をそのまま用いてもよい。或いは、信頼度算出部２３０は、二次関数、多項式関数、対数関数などを用いて信頼度を算出してもよい。
【００３３】
重み最適化部２４０は、第１乃至第Ｋの信頼度に基づき、それぞれ第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する。本例では、重み最適化部２４０は、第ｋの信頼度
【数１５】
2018084069.tif 000017
及び、第ｋの信頼度
【数１６】
2018084069.tif 000018
の空間平滑性とスパース性に基づき、前記第ｋのフィルタ処理画像を合成するための第ｋの重み
【数１７】
2018084069.tif 000019
を算出する。
【００３４】
図３に示されるように、第ｋの重み
【数１８】
2018084069.tif 000020
を算出する方法として、例えば、以下の数２０で定義される、第ｋの信頼度
【数１９】
2018084069.tif 000021
に関する忠実項、空間的平滑性、スパース性に基づくエネルギー関数を最小化すればよい。
【数２０】
2018084069.tif 000022
ここで、数２０における、右辺第一項は第ｋの信頼度
【数２１】
2018084069.tif 000023
に関する忠実項、右辺第二項は空間的平滑性、右辺第三項はスパース性に基づく項である。また、η及びγは、各項の大きさを調整するためにパラメータであり、利用者により決定される量である。
【００３５】
例えば、第ｋの信頼度
【数２２】
2018084069.tif 000024
に関する忠実項としては、以下の数２５で定義されるように、第ｋの信頼度
【数２３】
2018084069.tif 000025
と第ｋの重み
【数２４】
2018084069.tif 000026
との差分の二乗和として定義されたものを用いればよい。
【数２５】
2018084069.tif 000027
なお、上記実施の形態では、第ｋの信頼度
【数２６】
2018084069.tif 000028
に関する忠実項として、第ｋの信頼度
【数２７】
2018084069.tif 000029
と第ｋの重み
【数２８】
2018084069.tif 000030
との差分の二乗和として定義されたものを用いたが、本発明はこれに限定されない。忠実項は、第ｋの信頼度
【数２９】
2018084069.tif 000031
と第ｋの重み
【数３０】
2018084069.tif 000032
との差分に関する関数であればなんでもよく、例えば、忠実項として差分の絶対値の和などを用いてもよい。
【００３６】
また、空間平滑性としては、例えば、以下の数３２で表すように、第ｋの重み
【数３１】
2018084069.tif 000033
の空間微分の二乗和を用いればよい。
【数３２】
2018084069.tif 000034
なお、上記実施の形態では、空間平滑性を表す量として、第ｋの重み
【数３３】
2018084069.tif 000035
の空間微分の二乗和を用いる形態について述べたが、本発明はこれに限定されない。例えば、第ｋの重み
【数３４】
2018084069.tif 000036
の空間微分の二乗和の替わりに、空間平滑性を表す量として空間微分の絶対値の和を用いてもよい。或いは、第ｋの重み
【数３５】
2018084069.tif 000037
の空間微分の替わりに、空間平滑性を表す量として二回微分を用いてもよい。すなわち、空間平滑性を表す量としては、なんらかの形態で高周波成分を抽出する量であればなんでもよく、上記の方法に限定されない。
【００３７】
また、スパース性に基づく項としては、例えば、下記の数３７に表すように、第ｋの重み
【数３６】
2018084069.tif 000038
に関するノルムを用いればよい。
【数３７】
2018084069.tif 000039
ここで、εは、スパース性を調整するパラメータであり、利用者により与えられるパラメータである。
【００３８】
なお、上記実施の形態では、重み関数として、信頼度群に関する忠実項、空間的平滑性、スパース性に基づくエネルギー関数を最小化することで算出する方法を述べたが、本発明はこれに限定されない。一般的に、重み最適化部２４０は、重み関数として、信頼度の値をそのまま用いてもよい。
【００３９】
或いは、図４に示されるように、重み最適化部２４０は、画素毎に、摂動フィルタ画像群のうち、第１乃至第Ｋの信頼度に対して、対応する信頼度が最大となるものだけ重みを１とし、その他の重みをゼロとすることで、第１乃至第Ｋの重みを算出してもよい。
【００４０】
或いは、図５に示されるように、重み最適化部２４０は、上述のようなエネルギー関数を用いるのではなく、信頼度群に関する忠実項と空間平滑性とのみを考慮したエネルギー関数を、例えば、離散最適化の手法を用いることで最小化し、重み群を算出してもよい。
【００４１】
出力画像合成部２５０は、前記第ｋの重み
【数３８】
2018084069.tif 000040
と、前記フィルタ処理画像群
【数３９】
2018084069.tif 000041
とから、これらの線形結合として出力画像
【数４０】
2018084069.tif 000042
を合成する。
【００４２】
より具体的には、出力画像合成部２５０は、例えば、以下の数４１に示すように、出力画像を合成すればよい。
【数４１】
2018084069.tif 000043
なお、上記実施の形態では、出力画像を第ｋの重み
【数４２】
2018084069.tif 000044
とフィルタ処理画像群
【数４３】
2018084069.tif 000045
との線形結合として表す場合について述べたが、本発明はこれに限定されない。例えば、出力画像合成部２５０は、第ｋの重み
【数４４】
2018084069.tif 000046
とフィルタ処理画像群
【数４５】
2018084069.tif 000047
との非線形結合として、出力画像を合成してもよい。或いは、出力画像合成部２５０は、第ｋの重み
【数４６】
2018084069.tif 000048
に応じて、出力画像をどのように合成するかを規定する合成則を予め何らかの形で学習しておき、この合成則に基づいて、フィルタ処理画像群
【数４７】
2018084069.tif 000049
から出力画像を合成してもよい。
【００４３】
画像出力部３０１は、出力画像合成部２５０にて合成した出力画像
【数４８】
2018084069.tif 000050
をモニタなどで出力する。
【００４４】
[動作の説明]
次に、図６のフローチャートを参照して、本実施の形態に係る画像合成システムの全体の動作について詳細に説明する。
【００４５】
まず、ターゲット画像入力部１０１とガイド画像入力部１０２とにて、処理対象となるターゲット画像とガイド画像とを入力する（ステップＳ１０１）。
【００４６】
次に、画像摂動部２１０にて、ガイド画像を摂動変形させ、第１乃至第Ｋの摂動ガイド画像から成る摂動ガイド画像群を生成する（ステップＳ１０２）。
【００４７】
次に、フィルタ処理部２２０にて、摂動ガイド画像群とターゲット画像とから、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成する（ステップＳ１０３）。
【００４８】
次に、信頼度算出部２３０にて、フィルタ処理画像群の第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する（ステップＳ１０４）。
【００４９】
次に、重み最適化部２４０にて、信頼度算出部２３０にて算出された信頼度群から、重み群を算出する（ステップＳ１０５）。
【００５０】
次に、出力画像合成部２５０にて、重み最適化部２４０にて算出した重み群と、フィルタ処理画像群とから、出力画像を合成し、画像出力部３０１にて出力画像を出力する（ステップＳ１０６）。
【００５１】
[効果の説明] 
次に、本実施の形態の効果について説明する。
【００５２】
本発明の実施の形態を用いることで、位置ずれが含まれる可視画像と非可視画像とに対して、ガイドを用いたフィルタ処理を適用することで、ゴースト効果やハロー効果などのアーチファクトを抑えながら、画像中に含まれるノイズが除去された画像、アップサンプリングされた画像、霧領域を鮮明化された画像を生成することが可能となる。その理由は、位置連れに関して摂動させたガイド画像を用いてフィルタ処理画像を生成し、これらの線形結合のための重みを、画素毎にフィルタ処理の信頼度に基づき、適応的に算出するためである。
【００５３】
尚、画像合成システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像合成プログラムが展開され、該画像合成プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該画像合成プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された画像合成プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００５４】
上記実施の形態を別の表現で説明すれば、画像合成システムとして動作させるコンピュータを、ＲＡＭに展開された画像合成プログラムに基づき、画像摂動部２１０、フィルタ処理部２２０、信頼度算出部２３０、重み最適化部２４０、および出力画像合成部２５０として動作させることで実現することが可能である。
【００５５】
なお、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
【００５６】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００５７】
以上の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００５８】
（付記１）ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動部と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理部と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出部と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化部と；前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成部と；を備える画像合成システム。
【００５９】
（付記２）前記画像摂動部は、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、付記１に記載の画像合成システム。
【００６０】
(付記３)前記信頼度算出部は、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、付記１又は２に記載の画像合成システム。
【００６１】
(付記４)前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記１乃至３のいずれか１つに記載の画像合成システム。
【００６２】
（付記５）前記重み最適化部は、前記信頼度算出部にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記１乃至３のいずれか１つに記載の画像合成システム。
【００６３】
(付記６)前記重み最適化部は、前記信頼度算出部にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、付記１乃至３のいずれか１つに記載の画像合成システム。
【００６４】
（付記７）画像摂動部が、ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動工程と；フィルタ処理部が、前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理工程と；信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出工程と；重み最適化部が、前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化工程と；出力画像合成部が、前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成工程と；を含む画像合成方法。
【００６５】
（付記８）前記画像摂動工程では、前記画像摂動部が、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成する、付記７に記載の画像合成方法。
【００６６】
(付記９)前記信頼度算出工程では、前記信頼度算出部が、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出する、付記７又は８に記載の画像合成方法。
【００６７】
(付記１０)前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記７乃至９のいずれか１つに記載の画像合成方法。
【００６８】
（付記１１）前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出する、付記７乃至９のいずれか１つに記載の画像合成方法。
【００６９】
（付記１２）前記重み最適化工程では、前記重み最適化部が、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いる、付記７乃至９のいずれか１つに記載の画像合成方法。
【００７０】
(付記１３)ガイド画像を変形させた第１乃至第Ｋ（Ｋは２以上の整数）の摂動ガイド画像から成る摂動ガイド画像群を生成する画像摂動手順と；前記摂動ガイド画像群を用い、ターゲット画像を第１乃至第Ｋのフィルタ処理することで、第１乃至第Ｋのフィルタ処理画像から成るフィルタ処理画像群を生成するフィルタ処理手順と；前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の第１乃至第Ｋの相関値から成る相関値群に基づき、前記フィルタ処理画像群の前記第１乃至第Ｋのフィルタ処理画像用の第１乃至第Ｋの信頼度から成る信頼度群を算出する信頼度算出手順と；前記第１乃至第Ｋの信頼度に基づき、それぞれ前記第１乃至第Ｋのフィルタ処理画像を合成するための第１乃至第Ｋの重みから成る重み群を算出する重み最適化手順と；前記重み群と前記フィルタ処理画像群とから出力画像を合成する出力画像合成手順と；をコンピュータに実行させる画像合成プログラムを記録した画像合成プログラム記録媒体。
【００７１】
（付記１４）前記画像摂動手順は、前記コンピュータに、位置ずれ量に対して前記ガイド画像を変形させることで、前記摂動ガイド画像群を生成させる、付記１３に記載の画像合成プログラム記録媒体。
【００７２】
（付記１５）前記信頼度算出手順は、前記コンピュータに、前記第１乃至第Ｋの摂動ガイド画像と前記ターゲット画像との間の前記第１乃至第Ｋの相関値を、対応する前記フィルタ処理部の前記第１乃至第Ｋのフィルタ処理で使用した第１乃至第Ｋの目的関数から成る目的関数群に基づき算出させる、付記１３又は１４に記載の画像合成プログラム記録媒体。
【００７３】
（付記１６）前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
【００７４】
（付記１７）前記重み最適化手順は、前記コンピュータに、前記信頼度算出手順にて算出された前記信頼度群に関する忠実項、前記信頼度群の空間平滑性、前記信頼度群のスパース性に基づくエネルギー関数を最小化させることで、前記重み群を算出させる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
【００７５】
(付記１８)前記重み最適化手順は、前記コンピュータに、前記信頼度算出工程にて算出された前記第１乃至第Ｋの信頼度において、画素毎に最大値を持つものを１とし、それ以外をゼロとしたものを、前記第１乃至第Ｋの重みとして用いらせる、付記１３乃至１５のいずれか１つに記載の画像合成プログラム記録媒体。
【符号の説明】
【００７６】
１０１    ターゲット画像入力部
１０２    ガイド画像入力部
２００    コンピュータ（中央処理装置；プロセッサ；データ処理装置）
２１０    画像摂動部
２２０    フィルタ処理部
２３０    信頼度算出部
２３２    相関値計算部
２３４    信頼度計算部
２４０    重み最適化部
２５０    出力画像合成部
３０１    画像出力部【００７７】
この出願は、２０１６年１１月７日に出願された日本出願特願２０１６−２１７５４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2018084069.tif 000051
【図２】
2018084069.tif 000052
【図３】
2018084069.tif 000053
【図４】
2018084069.tif 000054
【図５】
2018084069.tif 000055
【図６】
2018084069.tif 000056
【国際調査報告】
2018084069.tif 000057
2018084069.tif 000058