(57)【要約】複数のセンサより取得された画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の画像を表示することを可能にする、画像処理システムを提供する。画像処理システムは、複数のセンサより取得された画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と；重みを用いて、画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手段と；画像の勾配をもとに算出された量を用いて、出力画像を合成する画像最適化手段と；を備える。
2016208142.tif 000002
【特許請求の範囲】
【請求項１】
複数のセンサより取得された画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と、
前記重みを用いて、前記画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手段と、
前記画像の勾配をもとに算出された量を用いて、前記出力画像を合成する画像最適化手段と、
を含む画像処理システム。
【請求項２】
前記画像の勾配をもとに算出された量が、構造テンソルから成る、請求項１に記載の画像処理システム。
【請求項３】
前記画像最適化手段は、
前記出力画像の勾配を画素毎に独立に最適化する勾配最適化手段と、
前記最適化された勾配を用いて画像全体で前記出力画像の画素値を最適化する画素値最適化手段と、
を含む請求項１又は２に記載の画像処理システム。
【請求項４】
前記重み決定手段は、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出する、請求項１から３の何れか１つに記載の画像処理システム。
【請求項５】
前記重み決定手段は、各バンドの重要度を画素毎に決定する、請求項１から４の何れか１つに記載の画像処理システム。
【請求項６】
前記算出手段は、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記画像の勾配をもとに算出された量を算出する、請求項１から５の何れか１つに記載の画像処理システム。
【請求項７】
複数のセンサより取得された画像群を解析して、１枚の画像を得る画像処理システムの画像処理方法であって、
重み決定部が、前記画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定工程と、
算出部が、前記重みを用いて、前記画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出工程と、
画像最適化部が、前記画像の勾配をもとに算出された量を用いて、前記出力画像を合成する画像最適化工程と、
を含む画像処理方法。
【請求項８】
前記画像の勾配をもとに算出された量が、構造テンソルから成る、請求項７に記載の画像処理方法。
【請求項９】
前記画像最適化工程は、
勾配最適化部が、前記出力画像の勾配を画素毎に独立に最適化する勾配最適化工程と、
画素値最適化部が、前記最適化された勾配を用いて画像全体で前記出力画像の画素値を最適化する画素値最適化工程と、
を含む請求項７又は８に記載の画像処理方法。
【請求項１０】
前記重み決定工程では、前記重み決定部が、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出する、請求項７から９の何れか１つに記載の画像処理方法。
【請求項１１】
前記重み決定工程では、前記重み決定部が各バンドの重要度を画素毎に決定する、請求項７から１０の何れか１つに記載の画像処理方法。
【請求項１２】
前記算出工程では、前記算出部が、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記画像の勾配をもとに算出された量を算出する、請求項７から１１の何れか１つに記載の画像処理方法。
【請求項１３】
コンピュータに、複数のセンサより取得された画像群を解析させて、１枚の画像を得させる画像処理システムの画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、前記画像処理プログラムは、前記コンピュータに、
前記画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手順と、
前記重みを用いて、前記画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手順と、
前記画像の勾配をもとに算出された量を用いて、前記出力画像を合成する画像最適化手順と、
を実行させるコンピュータ読取可能な記録媒体。
【請求項１４】
前記画像の勾配をもとに算出された量が、構造テンソルから成る、請求項１３に記載のコンピュータ読取可能な記録媒体。
【請求項１５】
前記画像最適化手順は、前記コンピュータに、
前記出力画像の勾配を画素毎に独立に最適化する勾配最適化手順と、
前記最適化された勾配を用いて画像全体で前記出力画像の画素値を最適化する画素値最適化手順と、
を実行させる請求項１３又は１４に記載のコンピュータ読取可能な記録媒体。
【請求項１６】
前記重み決定手順は、前記コンピュータに、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出させる、請求項１３から１５の何れか１つに記載のコンピュータ読取可能な記録媒体。
【請求項１７】
前記重み決定手順は、前記コンピュータに、各バンドの重要度を画素毎に決定させる、請求項１３から１６の何れか１つに記載のコンピュータ読取可能な記録媒体。
【請求項１８】
前記算出手順は、前記コンピュータに、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記画像の勾配をもとに算出された量を算出させる、請求項１３から１７の何れか１つに記載のコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
昨今、様々な画像合成手法が開発されている。また、様々な設定（例えば露光量や露出時間）で動作する様々なカメラがあり、それらカメラは波長帯域に対する様々な感度特性で画像を取得する。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで、実質的に異なる画像を取得する。【０００３】
また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。また、他のカメラとして、近紫外線カメラも市販されている。或いは、他のカメラとして、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。【０００４】
このような背景の中、複数のセンサより取得された画像群を容易に解析するために、１枚の画像として表示することが必要になる。特許文献１は、複数のセンサより取得された画像群を容易に解析するために、複数バンドの画像群の情報を、１枚のカラー画像を用いて表現する方法を開示している。【０００５】
この特許文献１に開示された方法では、後で図１を参照して詳細に説明するように、複数バンドの画像群の勾配情報から構造テンソルを算出し、構造テンソルを用いて出力画像を合成している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第８６８２０９３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の方法では、構造テンソルを算出する際に、各バンドの特性を考慮せず、単純に勾配の総和により、構造テンソルを算出している。このため、特許文献１の方法では、特定のバンドに含まれている重要な情報が、出力されるカラー画像に反映されないという課題がある。【０００８】
本発明の目的は、複数のセンサより取得された画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の画像を表示することを可能にする、画像処理システム、画像処理方法、コンピュータ読取可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一形態は、複数のセンサより取得された画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と；前記重みを用いて、画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手段と；前記画像の勾配をもとに算出された量を用いて、出力画像を合成する画像最適化手段と、から構成される画像処理システムである。
【発明の効果】
【００１０】
本発明によれば、複数のセンサより取得された画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の画像を表示することを可能にする画像処理システムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】特許文献１に開示された関連技術の画像処理システムの概略構成を示すブロック図である。
【図２】本発明の一実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【図３】図２に示した画像処理システムに使用される画像最適化部の概略構成を示すブロック図である。
【図４】図２に示した画像処理システムの動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
［関連技術］
まず、本発明の理解を容易にするために、上記特許文献１に開示された関連技術の画像処理システムについて説明する。
【００１３】
図１は、特許文献１に記載され関連技術の画像処理システムを示すブロック図である。特許文献１に記載された画像処理システムは、画像入力部１０、勾配制約算出部２１、勾配算出部２２、画像合成部２３、および画像出力部３０からなる。
【００１４】
画像入力部１０には、複数バンドの画像群と参照するカラー画像とが入力される。そして、画像入力部１０は、入力された画像をメモリ（図示せず）等に記録する。
【００１５】
勾配制約算出部２１は、複数バンドの画像群の勾配情報から構造テンソルと呼ばれる、勾配の総和を画素毎に算出する。
【００１６】
勾配算出部２２は、勾配制約算出部２１にて算出した構造テンソルと、参照するカラー画像の勾配とから、出力画像と算出した構造テンソルが厳密に一致し、さらに入力されたカラー画像の勾配と出力画像の勾配の最小二乗誤差が最小となるように、出力画像の勾配を算出する。
【００１７】
画像合成部２３は、勾配算出部２２にて算出した勾配より、ポアソン合成を用いて、出力画像を合成する。
【００１８】
しかしながら、図１に示した特許文献１の画像処理システムでは、構造テンソルを算出する際に、各バンドの特性を考慮せず、単純に勾配の総和により、構造テンソルを算出している。このため、図１に示した特許文献１の画像処理システムでは、特定のバンドに含まれている重要な情報が、出力されるカラー画像に反映されないという課題がある。
【００１９】
次に、本発明の課題について具体例を用いて説明する。以下では、多バンドの画像群として、霧領域が撮影された可視画像と近赤外画像とがあり、可視画像では霧領域が不鮮明でノイジーであるが、近赤外画像ではノイズが少なく遠方の風景が鮮明に撮影されている、場合を例にとって説明する。
【００２０】
この場合、霧領域においては、近赤外画像の方が鮮明な画像となっているため、近赤外画像の勾配をもとに出力されるカラー画像を生成することが望ましい。しかしながら、図１に示した特許文献１の画像処理システムでは、可視画像から算出された勾配と、近赤外画像から算出された勾配の総和として構造テンソルを算出する。このため、図１に示した特許文献１の画像処理システムでは、結果として、出力されるカラー画像は、入力した可視画像の勾配情報の影響により不鮮明な画像となる。
【００２１】
［実施の形態] 
次に、発明を実施するための形態について図面を参照して詳細に説明する。
【００２２】
[構成の説明]
図２は、本発明の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【００２３】
図２を参照すると、本発明の実施の形態に係る画像処理システムは、画像入力部１００と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２００と、画像出力手段３００とから成る。
【００２４】
コンピュータ（中央処理装置；プロセッサ；データ処理装置）２００は、バンド重み決定部２１０と、勾配制約算出部２２０と、画像最適化部２３０とから成る。さらに、図３に示されるように、画像最適化部２３０は、勾配最適化部２３１と、画素値最適化部２３２とから成る。
【００２５】
これらの手段は、それぞれ概略、次のように動作する。
【００２６】
画像入力部１００には、カメラなどによって得られた画像が入力される。入力する画像としては、カラー画像とその他のセンサから取得された画像とを別々に入力してもよい。そして、画像入力部１００は、入力された画像をメモリ（図示せず）等に記録する。
【００２７】
ここで、以下では、入力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi,Gi，Biと表すこととする。また、これらの成分をまとめて、
【数１】
2016208142.tif 000003
と表すこととする。さらに、入力カラー画像以外の他のセンサから取得された画像が存在する場合には、その画像についても、i番目の画素の画素値を下付き添え字を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、i番目の近赤外画像の画素値をNiと表せばよい。
【００２８】
また、合成画像についても入力画像と同様に、各画素の画素値をラスタスキャン順に並べた行列により表すこととする。より具体的には、出力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi,Gi,Biと表すこととする。
【００２９】
画像出力部３００は、再構成画像を出力する出力装置である。画像出力部３００は、例えば、ディスプレイ装置などによって実現される。
【００３０】
バンド重み決定部２１０は、画像入力部１００にて入力した入力画像のうち、どのバンドが重要であるかを表す重みを決定する。重みを決定する方法としては、例えば、各バンドの重要度を、利用者がパラメータとして予め与えてもよいし、機械学習などの技術を用いて、自動的に算出してもよい。また、各バンドの重要度は、画像全体で同じであってもよいし、画素毎に異なる値を用いてもよい。
【００３１】
以下では、各バンドの重要度が画素毎に異なる値を持つ場合の例として、次の場合を例にとって説明する。まず、多バンドの画像群として、霧領域が撮影された可視画像と近赤外画像とがあるとする。そして、可視画像では霧領域が不鮮明でノイジーであるが、近赤外画像では、ノイズが少なく、遠方の風景が鮮明に撮影されているとする。
【００３２】
この場合、バンド重み決定部２１０は、霧領域でのみ近赤外画像のバンドの重要度が大きくなるように設定し、それ以外の領域では、可視画像（すなわちＲＧＢ）のバンドの重要度が大きくなるように設定すればよい。
【００３３】
以下では、バンド重み決定部２１０にて決定したi番目のバンド重みを、各バンドの重みを対角成分として持つバンド重み行列
【数２】
2016208142.tif 000004
を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明する。この場合、i番目のＲＧＢ及び近赤外画像の重みをWRi，WGi，WBi，WNiと決定した場合、i番目のバンド重み行列
【数３】
2016208142.tif 000005
を、例えば以下の数４のように表せばよい。
【数４】
2016208142.tif 000006
【００３４】
勾配制約算出部２２０は、画像入力部１００にて入力された入力画像群と、バンド重み決定部２１０にて得られた各バンドの重要さを表すバンド重み行列
【数５】
2016208142.tif 000007
より、出力カラー画像の勾配を制約する構造テンソル
【数６】
2016208142.tif 000008
を画素毎に算出する。構造テンソルを算出するために、勾配制約算出部２２０は、まず、入力画像群より、画像空間における垂直方向と水平方向の微分値を算出する。
【００３５】
以下では、i番目の画素の勾配を以下の勾配行列
【数７】
2016208142.tif 000009
により表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、勾配制約算出部２２０は、i番目の勾配行列
【数８】
2016208142.tif 000010
を、以下の数９のように算出すればよい。
【数９】
2016208142.tif 000011
ここで、∇ｘは、水平方向の微分値であり、∇ｙは垂直方向の微分値である。
【００３６】
次に、勾配制約算出部２２０は、各バンドの重要さを表すバンド重み行列
【数１０】
2016208142.tif 000012
と勾配行列
【数１１】
2016208142.tif 000013
とを用いて、構造テンソル
【数１２】
2016208142.tif 000014
を、以下の数１３のように算出すればよい。
【数１３】
2016208142.tif 000015
【００３７】
画像最適化部２３０は、出力する合成画像から算出した構造テンソルに相当する値が、勾配制約算出部２２０にて算出した構造テンソル
【数１４】
2016208142.tif 000016
となるべく一致し、さらに入力カラー画像の色と出力カラー画像の色がなるべく一致するように、合成画像を生成する。
【００３８】
以下では、合成画像を
【数１５】
2016208142.tif 000017
で表す。合成画像は画素毎にＲＧＢの３つの成分を持つため、
【数１６】
2016208142.tif 000018
は、合成画像の画素数がＮである場合、Ｎ×３の行列となる。
【００３９】
以下では、画像最適化部２３０は、具体的には、例えば、以下の数１８で表される最適化関数を
【数１７】
2016208142.tif 000019
について最小化することで、合成画像を生成すればよい。
【数１８】
2016208142.tif 000020
ここで、数１８の右辺第一項は、勾配制約算出部２２０にて算出した構造テンソル
【数１９】
2016208142.tif 000021
と、合成画像から算出した構造テンソルに相当する値
【数２０】
2016208142.tif 000022
が一致するように制約する項である。なお、添え字のFは、行列のフロベニウスノルムを意味している。
【００４０】
また、数１８の右辺第二項は、入力カラー画像と合成画像の色がなるべく一致するように制約する項であり、行列
【数２１】
2016208142.tif 000023
は、色の一致の程度を調整する行列である。例えば、色の輝度成分に比べ、式差成分については、入力カラー画像と合成画像をより強く一致させるためには、行列
【数２２】
2016208142.tif 000024
は、例えば以下の数２３のように与えればよい。
【数２３】
2016208142.tif 000025
ただしここで、
【数２４】
2016208142.tif 000026
は、色空間を変換する行列であり、例えば、ｓＲＧＢ色空間からＹＵＶ色空間に変換する行列などを用いればよい。
【００４１】
数１８の右辺第三項は、入力画像の画素値と、合成画像の画素値をなるべく一致させるための項である。なお、下付き添え字の「２」は、ベクトルのL2ノルムを意味している。ここで、α，ε，δは利用者があらかじめ決定したパラメータである。
【００４２】
そして、画像最適化部２３０は、数１８で表される最適化関数を
【数２５】
2016208142.tif 000027
について最小化するために、さらに勾配最適化部２３１と、画素値最適化部２３２から成る。
【００４３】
そして、画像最適化部２３０では、勾配最適化部２３１と画素値最適化部２３２とを用いて、画像の勾配
【数２６】
2016208142.tif 000028
と画素値
【数２７】
2016208142.tif 000029
を交互に最適化する。より具体的には、画像最適化部２３０は、
【数２８】
2016208142.tif 000030
について最適化するために、
【数２９】
2016208142.tif 000031
の勾配、すなわち
【数３０】
2016208142.tif 000032
を画素毎に独立に最小化する。そのために、勾配最適化部２３１は、数１８で表される最適化関数を、以下の数３１のように拡張する。
【数３１】
2016208142.tif 000033
【００４４】
ここで、数１８では、
【数３２】
2016208142.tif 000034
についての最適化関数であったが、数３１では、
【数３３】
2016208142.tif 000035
に加え
【数３４】
2016208142.tif 000036
を同時に最適化する。
【００４５】
ここで、数３１の右辺第１項，第３項，第４項は、数１８と同等であるため、説明を省略する。
【００４６】
数３１の右辺第２項は、
【数３５】
2016208142.tif 000037
と
【数３６】
2016208142.tif 000038
が一致するように制約するための項であり、βは、勾配最適化部２３１と画素値最適化部２３２にて、画像の勾配
【数３７】
2016208142.tif 000039
と画素値
【数３８】
2016208142.tif 000040
を交互に最適化するたびに大きくなるパラメータであり、最終的には非常に大きな値をもつパラメータである。
【００４７】
なお、βが大きくなる場合には、
【数３９】
2016208142.tif 000041
と
【数４０】
2016208142.tif 000042
がほぼ一致するように、画像最適化部２３０は動作するため、数３１を
【数４１】
2016208142.tif 000043
及び
【数４２】
2016208142.tif 000044
で最適化することで、数１８を
【数４３】
2016208142.tif 000045
について最適化することと同等になる。
【００４８】
勾配最適化部２３１では、例えば、数３１の
【数４４】
2016208142.tif 000046
に相当する部分だけを、画素毎に最小化すればよい。より具体的には、勾配最適化部２３１は、例えば以下の数４６を
【数４５】
2016208142.tif 000047
について最小化することで、合成画像の勾配を算出すればよい。
【数４６】
2016208142.tif 000048
【００４９】
勾配最適化部２３１では、
【数４７】
2016208142.tif 000049
に相当する部分は、画素毎に独立に算出できるため、例えば並列計算などの技術を用いることで
【数４８】
2016208142.tif 000050
を高速に算出することができる。
【００５０】
次に、画素値最適化部２３２では、例えば、数３１の
【数４９】
2016208142.tif 000051
に相当する部分だけを、以下の数５０で示されるように、画像全体で最小化すればよい。
【数５０】
2016208142.tif 000052
【００５１】
なお、画素値最適化部２３２において、
【数５１】
2016208142.tif 000053
に相当する部分は、２次形式になっているため、例えばフーリエ変換などを用いることで、画像の画素値を高速に算出することができる。
【００５２】
以上のように、画像最適化部２３０は、勾配最適化部２３１と画素値最適化部２３２とを有し、数１８に加え新しい補助変数
【数５２】
2016208142.tif 000054
を追加し、数３１に相当する最適化関数を構成し、画素毎に独立に最適化が可能な部分（数４６）と、フーリエ変換などの画像変換を用いて画像全体で効率的に計算が可能な部分（数５０）とに分離することで、数１８に相当する最適化関数の最小化を効率的に行うことができる。
【００５３】
[動作の説明]
次に、図４のフローチャートを参照して、本実施の形態に係る画像処理システムの全体の動作について詳細に説明する。
【００５４】
まず、画像入力部１００にて、カラー画像と複数センサから取得された多バンド画像とを入力する（ステップＳ２００）。
【００５５】
次に、バンド重み決定部２１０にて、各バンドの重要度を決定する（ステップＳ２０１）。
【００５６】
さらに、勾配制約算出部２２０にて、構造テンソル
【数５３】
2016208142.tif 000055
を算出する（ステップＳ２０２）。
【００５７】
勾配最適化部２３１にて、合成画像の勾配に相当する補助変数
【数５４】
2016208142.tif 000056
を、例えば数４６を用いて最適化する（ステップＳ２０３）。
【００５８】
次に、画素値最適化部２３２にて、合成画像の画素値
【数５５】
2016208142.tif 000057
を、例えば数５０を用いて最適化する（ステップＳ２０４）。
【００５９】
次に、画像最適化部２３０は、補助変数
【数５６】
2016208142.tif 000058
と合成画像の画素値
【数５７】
2016208142.tif 000059
とが一致させることを制約するパラメータβの値を増加させる（ステップ２０５）。
【００６０】
次に、画像最適化部２３０は、画素値
【数５８】
2016208142.tif 000060
の値が十分に収束しているかを判定する（ステップＳ２０６）。もしも、十分に画素値
【数５９】
2016208142.tif 000061
の値が収束していない場合（ステップＳ２０６のＮｏ）、画像最適化部２３０は、再度、ステップＳ２０３からＳ２０５までの処理を繰り返し行う（ステップＳ２０６）。
【００６１】
もしも、画素値
【数６０】
2016208142.tif 000062
の値が十分に収束していれば（ステップＳ２０６のＹｅｓ）、その画素値からなる合成画像を画像出力部３００にて出力する（ステップＳ２０７）。
【００６２】
[効果の説明] 
次に、本実施の形態の効果について説明する。
【００６３】
本発明の実施の形態によれば、性質の異なる複数の画像から、各々のバンドに含まる重要な情報が集約された合成画像を生成することができる。その理由は、バンド重み決定部２１０にて、入力した入力画像のうち、どのバンドが重要であるかを表す重みを決定し、勾配制約算出部２２０で、決定したバンド重みを用いて構造テンソルを算出することで、そのバンドの勾配情報がより反映された合成画像を生成できるためである。
【００６４】
さらに、本発明の実施の形態によれば、出力画像の勾配と、出力画像の画素値とを交互に最適化することで、より高速かつ高精度に合成画像を生成することできる。その理由は、画像最適化部２３０は、勾配最適化部２３１と画素値最適化部２３２とを有し、本来の最適化関数に補助変数を追加した最適化関数を構成し、さらに画素毎に独立に最適化が可能な部分と、フーリエ変換などの画像変換を用いて画像全体で効率的に計算が可能な部分とに分離し、これらを交互に最適化することで、本来の最適化関数の最小化を効率的に行うことができるためである。
【００６５】
尚、画像処理システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、コンピュータ読取可能な記録媒体に記録されて頒布されても良い。当該コンピュータ読取可能な記録媒体に記録されたプログラムは、有線、無線、又はコンピュータ読取可能な記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、コンピュータ読取可能な記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００６６】
上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させるコンピュータを、ＲＡＭに展開された画像処理プログラムに基づき、バンド重み決定部２１０、勾配制約算出部２２０、および画像最適化部２３０として動作させることで実現することが可能である。
【００６７】
以上説明したように、本発明の実施の形態によれば、性質の異なる複数の画像から、各々のバンドに含まれる重要な情報が集約された合成画像を生成することができる。また、本発明の実施の形態によれば、出力画像の勾配と、出力画像の画素値とを交互に最適化することで、より高速かつ高精度に合成画像を生成することが可能となる。
【００６８】
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。例えば、上記実施の形態では、画像の勾配をもとに算出された量として、構造テンソルを用いているが、それに限定されないのは勿論である。
【００６９】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【００７０】
本発明を用いることで、例えば、衛星画像といった画像を、画像分析者が分析する際に、画像解析者が最適と思う画質になるように、バンド重み決定部にて、入力した入力画像のうちどのバンドが重要であるかを表す重みを決定することで、調整することができる。【００７１】
また、医療画像を医療従事者、研究者等が分析する際にも同様に、分析者が最適と思う画質を、バンド重み決定部にて重みを調整し、その画像を分析する、といった用途にも適用可能である。【００７２】
さらに，本発明を用いることで、それらの各画像分析者が調整したバンド重みを、他の画像分析者が利用することで、各画像分析者の画像分析に対する経験やノウハウを共有する、といった用途にも適用できる。【００７３】
この出願は、２０１５年６月２６日に出願された日本特許出願２０１５−１２９１２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００７４】
１００    画像入力部
２００    コンピュータ（中央処理装置；プロセッサ；データ処理装置）
２１０    バンド重み決定部
２２０    勾配制約算出部
２３０    画像最適化部
２３１    勾配最適化部
２３２    画素値最適化部
３００    画像出力部
【図１】
2016208142.tif 000063
【図２】
2016208142.tif 000064
【図３】
2016208142.tif 000065
【図４】
2016208142.tif 000066
【国際調査報告】
2016208142.tif 000067
2016208142.tif 000068
2016208142.tif 000069
2016208142.tif 000070