(57)【特許請求の範囲】
【請求項１】
性質の異なる複数の画像各々から、視認性が他の画像よりもより高い領域を選択するための指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部と
を含むことを特徴とする画像合成システム。
【請求項２】
前記選択指標算出部は、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性が他の画像よりもより高い領域を示す前記指標データを、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
前記領域選択部は、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を選択する
ことを特徴とする請求項１に記載の画像合成システム。
【請求項３】
予め画像の種別毎に視認性の高さを表す関数が定義され、
前記選択指標算出部は、予め定義された画像の種別毎に視認性の高さを表すそれぞれの前記関数を用いて前記性質の異なる複数の画像各々の前記指標データを数値化して取得する
ことを特徴とする請求項１又は２に記載の画像合成システム。
【請求項４】
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする請求項１ないし３の何れか一項に記載の画像合成システム。
【請求項５】
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする請求項１ないし４の何れか一項に記載の画像合成システム。
【請求項６】
波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部を更に有し、
前記選択指標算出部は、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記領域選択部は、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする請求項１ないし５の何れか一項に記載の画像合成システム。
【請求項７】
前記選択指標算出部は、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする請求項１ないし６の何れか一項に記載の画像合成システム。
【請求項８】
前記選択指標算出部は、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする請求項１ないし６の何れか一項に記載の画像合成システム。
【請求項９】
性質の異なる複数の画像を取得し、
前記複数の画像各々から視認性が他の画像よりもより高い領域を選択するための指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に数値化し、
前記複数の画像から数値化した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択し、
選択された視認性がより高い領域を組み合わせて合成画像を生成する
ことを特徴とする情報処理システムによる画像合成方法。
【請求項１０】
情報処理システムを、
性質の異なる複数の画像各々から、視認性が他の画像よりもより高い領域を選択するための指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に数値化して取得する選択指標算出手段と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択手段と、
前記領域選択手段にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成手段
として動作させることを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、詳しくは、波長帯域に対する感度特性が異なる複数の画像などの性質の異なる複数の画像を用いて所望する合成画像を得る画像合成システム、画像合成方法、及び画像合成プログラムに関する。
【背景技術】
【０００２】
昨今、様々な画像合成手法が開発されている。また、様々な設定（例えば露光量や露出時間）で動作する様々なカメラがあり、それらカメラでは波長帯域に対する様々な感度特性で画像を取得できる。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで実質的に異なる画像を取得される。
【０００３】
また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。他にも、近紫外線カメラも市販されている。或いは、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。
【０００４】
一般に 異なる種類の撮像センサを用いたカメラでは、光の周波数に対する感度特性が異なるため、何れかの撮像センサで取得された画像が他方の画像に対して低画質になりやすい。また、撮像の設定が異なることが多い。例えば、ある可視光カメラで照明を撮影した場合、発光部付近の画素で露光量が多すぎるため、可視光カメラで撮影された画像（可視光画像）では発光部付近の画素値が飽和（白とび）する。他方で、同一画角であっても、赤外線カメラで撮影された画像（赤外光画像）は、発光部付近の画素値が飽和せずに通常レンジ内で画像化できる。このように波長帯域に対する感度特性が異なる複数の画像を用いることで、『白とび』を解消する有益な合成画像を得られることが推定される。同様に、波長帯域に対する感度特性が異なる複数の画像を用いることで、『黒つぶれ』の解消も推定できる。
【０００５】
波長帯域に対する感度特性が異なる複数の画像を用いる画像合成処理に関する関連技術は、例えば以下の３文献がある。
【０００６】
特許文献１には、同一撮像センサを用いて、可視光画像と赤外光画像とを同時に同一画角で同一露光時間で撮像し、可視光画像の『白とび』部分について補整した後に全体画像の階調を整える手法が開示されている。この手法では、同時に同一画角で同一露光時間で撮像した可視光画像と赤外光画像との画像特徴から、可視光画像の『白とび』部分の階層特徴を補完しつつ、全体を整える。結果、可視光画像の『白とび』部分をレンジ内に有するハイダイナミックレンジ画像（HDR画像（High Dynamic Range Image））を生成している。 
具体的な実施形態での処理動作は、図９に示すように、撮像部において可視光画像と赤外光画像とを同時に撮像し、各々の画像を画像処理部に出力する。画像処理部は、可視光画像に飽和した画素が存在するか否かを検出し、可視光画像に飽和した画素が存在する場合、飽和した画素の周囲の可視光画像の画素出力値と赤外光画像の画素出力値との比（補正係数）を求める。飽和した画素における赤外光画像の画素出力値と補正係数を乗算し補正値を算出する。そして、可視光画像の飽和した画素の画素値と補正値とを入れ換える。最後に、階調変換部は、補正画素値に基づいて出力画像の階調を変換する。
【０００７】
また、特許文献２には、複数の撮像センサから取得した同一画角の可視光画像と赤外光画像の同一領域内での可視光画像と赤外光画像の輝度を対比して、高い方の画像の輝度情報を用いてHDR画像に使用する手法を開示している。
【０００８】
また、特許文献３には、１つの撮像センサ内に可視光の受光素子群とともに赤外光の受光素子群を配置して、同一画角の可視光と赤外光の信号化と同一領域内での可視光と赤外光の輝度合成を可能にした撮影装置（カメラ）が開示されている。
【０００９】
なお、下記非特許文献１ないし７は、本発明に利用できる要素技術であり、本発明分野の先行技術である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００６−１８０２７０号公報
【特許文献２】特開２０１０−１６６３６３号公報
【特許文献３】特開２０１３−２５５１４４号公報
【非特許文献】
【００１１】
【非特許文献１】Rudin, L. I.; Osher, S.; Fatemi, E. (1992). "Nonlinear total variation based noise removal algorithms". Physica D 60: 259-268.
【非特許文献２】K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian, “BM3D Image Denoising with Shape-Adaptive Principal Component Analysis”, Proc. Workshop on Signal Processing with Adaptive Sparse Structured Representations (SPARS'09), Saint-Malo, France, April 2009.
【非特許文献３】S. Park, M. Park, and M. G. Kang, “Super-resolution image reconstruction, a technical overview,” IEEE Signal Process. Mag., vol. 20, no. 5, pp. 21-36, May 2003.
【非特許文献４】B. D. Lucas and T. Kanade (1981), “An iterative image registration technique with an application to stereo vision,” Proceedings of Imaging Understanding Workshop, pages 121-130
【非特許文献５】B. Zitova´, J. Flusser, “Image registration methods: a survey,”Image Vision Computing. 21 (11) (2003) 977-1000.
【非特許文献６】Y. Boykov, O. Veksler and R. Zabih, "Fast approximate energy minimisation via graph cuts", IEEE Transactions on Pattern Analysis and Machine Intelligence, 29, 1222-1239,(2001)
【非特許文献７】Pearl, Judea. “Reverend Bayes on inference engines: A distributed hierarchical approach”. Proceedings of the Second National Conference on Artificial Intelligence. AAAI-82, (1982).
【非特許文献８】P´erez, P., Gangnet, M. and Blake, A. “Poisson image editing,”  ACM Transactions on Graphics vol. 22(3), p. 313-318 (2003).
【発明の概要】
【発明が解決しようとする課題】
【００１２】
先行技術たる特許文献１ないし３について、課題を例示すれば以下の点を指摘できる。
【００１３】
特許文献１で開示された方法は、可視光画像の画素値が飽和した画素でしか高画質化処理を行わないため、白とびが存在する領域以外に高画質化処理は影響されない。例えば、暗めの所で 赤外線フラッシュを用いて可視光画像と赤外光画像を撮像した場合、可視光画像にはノイズが多く 赤外光画像は鮮明であるものの、高画質化処理が有効に働かない。同様に、霧や霞がかかった所で撮影した場合でも、赤外光画像はクリアであったとしても、可視光画像の透過性について変化はなく、白っぽい画像が取得される。
【００１４】
特許文献２や３で開示されている手法も同様であり、可視光画像と赤外光画像との間の画像特徴を用いて、画像合成を行っているものの、合成する領域や その領域の優先画像（加えて反映度）などに改善の余地を残す。改善点を端的に指摘すれば、複数の画像から合成する領域やその大きさが予め人為的に定められている点が挙げられる。また、撮像手段は、同時に同画角で可視光画像と赤外光画像を取得することが求められる点もシステムによっては問題になるかもしれない。
【００１５】
発明者らは、波長帯域に対する感度特性などの性質の異なる複数の画像から、それぞれの画像が有する視認性を高め得る画像特徴を利用した画像合成手法を検討した。本手法では、各々の画像が他の画像に対して有する良好な視認性の領域を踏まえた合成画像を取得可能なアルゴリズムを検討した。
【００１６】
本発明は、上記検討に鑑み、性質の異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像を生成する画像合成システム、画像合成方法、画像合成プログラムを提供する。
【課題を解決するための手段】
【００１７】
本発明に係る画像合成システムは、性質の異なる複数の画像各々から、視認性が他の画像よりもより高い領域を選択するための指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に数値化して取得する選択指標算出部と、前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部とを含むことを特徴とする。
【００１８】
本発明に係る情報処理システムによる画像合成方法は、性質の異なる複数の画像を取得し、前記複数の画像各々から視認性が他の画像よりもより高い領域を選択するための指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に数値化し、前記複数の画像から数値化した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択し、選択された視認性がより高い領域を組み合わせて合成画像を生成することを特徴とする。
【００１９】
本発明に係る画像合成プログラムは、情報処理システムを、性質の異なる複数の画像各々から、視認性が他の画像よりもより高い領域を選択するための指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に数値化して取得する選択指標算出手段と、前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択手段と、前記領域選択手段にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成手段として動作させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、性質の異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像を生成する画像合成システム、画像合成方法、画像合成プログラムを提供できる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態に係る画像合成システムを示す構成図である。
【図２】第１の実施形態に係る画像合成システムで行われる処理動作例を示したフローチャートである。
【図３】画像合成システムを含む画像表示システムを示す構成図である。
【図４】画像表示システムの処理動作例を示すフローチャートである。
【図５】本発明による画像合成を簡略化した描写で示した説明図１である。
【図６】本発明による画像合成を簡略化した描写で示した説明図２である。
【図７】変形例の画像合成システムを含む画像表示システムを示す構成図である。
【図８】一実施例に係る画像合成システムを示す構成図である。
【図９】特許文献１に記載された画像合成システムを示す構成図である。
【発明を実施するための形態】
【００２２】
本発明の実施形態を図面を参照して説明する。 
以下では、性質の異なる複数の画像として、波長帯域に対する感度特性が異なる複数の画像（可視光センサから取得された画像（以下、可視光画像）と非可視光センサから取得された画像（以下、非可視光画像））を例にとって説明する。なお、本発明で用いる画像はこれに限定されない。例えば、画像合成に用いる画像は、複数の異なる画像センサが両方とも非可視光センサから取得された画像であってもよいし、両方とも可視光センサから取得された画像であってもよい。また、露出量の異なるカメラから取得された画像や、撮像時のフラッシュの有無が異なる画像でもよい。 
また、画像の別の例としては、可視光画像と深度画像のように性質の異なる画像であってもよい。また、画像合成システムは、可視光画像と オプティカルフロー画像やステレオ画像のように動きや立体を情報化した画像とを用いてもよい。或いは、画像合成システムは、例えば、可視画像と CG（Computer Graphics）などにより合成したシミュレーション画像とを用いてもよいし、可視画像と 何らかの物理量をシミュレートした画像とを用いてもよい。いずれにしても、本発明は、同一の対象に対する複数の画像を入力画像とすれば何でもよい。
【００２３】
また、外部で画像化済みの画像群を入力画像として用いる形態を説明するが、光学系要素や撮像素子を具備して、本画像合成システム内で入力画像を生成する画像取得部を有してもよい。
【００２４】
［第１の実施形態］  
図１は、第１の実施形態に係る画像合成システム１を示す構成図である。
【００２５】
第１の実施形態に係る画像合成システム１は、選択指標算出部１０と、領域選択部２０、画像合成部３０を含み構成されている。
【００２６】
当該画像合成システム１は、複数の波長帯域に対する感度特性が異なる画像を入力画像群として受け付けて、生成した合成画像を所要に出力する。出力形態は、例えば表示部にリアルタイムで出力してもよいし、画像データとして半導体メモリーやＨＤＤ（Hard disk drive）などの記憶部に保存してもよい。この記憶部は、画像合成システム１内に設けてもよいし、外部記憶装置を使用してもよい。
【００２７】
選択指標算出部１０は、入力画像である複数の画像から、視認性がより高い領域を選択するための指標データとして、各々の画像内での視認性の指標値を画像毎に取得する。また、選択指標算出部１０は、指標データとして、各々の画像内での視認性の指標と、各々の画像の他の画像に対する指標と、を組み合わせた指標値を画像毎に取得してもよい。 
なお、ここでいう視認性が高い領域というのは、利用者において、その利用用途において重要であると思われる領域であってもよい。
【００２８】
以下では、一例として、赤外線画像から領域を選択する場合を例にとって説明する。 
人体や車などの視認性が高いとして選択したい領域は多くの場面で、赤外線画像内で一定以上の温度や特定範囲内の温度を示す傾向がある。
【００２９】
そこで、例えば、画像合成システムがある温度以上や温度範囲の領域を画像内から選択するように、所望温度域で赤外線画像の画素値が大きな値を持つ関数を選択指標算出部１０に設定すればよい。後述する領域選択部２０は、この関数に基づいた指標値に従って所望領域を選択する。 
同様に、深度画像から所望領域を選択する場合を例にとって説明する。この例では、選択指標算出部１０は、より近い被写体にある画素ほど領域選択されやすくするように、深度画像の画素値が大きいほど大きな値を持つ関数で指標値を出力するように構成すればよい。 
同様に、オプティカルフロー画像から領域を選択する場合を例にとって説明する。この例では、選択指標算出部１０は、オプティカルフローの値が大きいほど大きな値を持つ関数で指標値を出力するように構成すればよい。
【００３０】
すなわち、視認性が高い領域（すなわち、利用者にとって重要な領域）を選択するために、利用者は、入力画像の種別毎に、画素値と視認性の高さを表す関数を定義し、この関数に基づいて視認性の高い領域が選択されるように、選択指標算出部１０の動作を設計してもよい。 
なお、所望領域を選択するための上記関数は、例えば、B-スプライン関数などによって 利用者が手動で定義してもよいし、画像認識や機械学習などの技術を用いて このような関数を算出してもよい。
【００３１】
以下では、視認性が高い領域（すなわち、利用者にとって重要な領域）を選択するための関数を、機械学習により算出する方法について、詳しく述べる。 
まず、利用者は、学習用のデータを収集するために、機械学習マシンが提示する入力画像とは異なる複数の学習用の画像群に対して、視認性が高い領域（すなわち、利用者にとって重要な領域）を選択する。次に、機械学習マシンは、例えば、全ての学習用の画像から、特徴ベクトルを画素毎に算出する。さらに、各特徴ベクトルと視認性が高い領域の関係を、例えば、サポートベクターマシンなどにより識別器を学習する。機械学習結果は、画像合成システムと同一のコンピュータに機械学習マシンを構築して取得してもよいし、他のコンピュータやクラウド環境にある機械学習機能を介して取得してもよい。以上により、視認性が高い領域（すなわち、利用者にとって重要な領域）が、識別器によって表現できる。 
実際に、入力画像に対して、視認性が高い領域を算出する際には、まず、選択指標算出部１０は、入力画像の画素毎に、学習時に用いた同様の計算方法にて、特徴ベクトルを算出する。次に、選択指標算出部１０は、機械学習により得られた識別器を用いて、各特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得する。
【００３２】
取得した指標値は、任意の記憶領域に一時記憶してもよいし、領域選択部２０が即座に取得するようにしてもよい。なお、入力画像は、２枚の画像に限定されず、３枚以上の画像でもよい。
【００３３】
以下では、各々の画像内での視認性の指標を画像内選択指標と記載し、各々の画像の他の画像に対する指標を画像間選択指標と記載する。
【００３４】
領域選択部２０は、選択指標算出部１０で算出された指標データを参照して、入力画像である複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する。この領域選択処理では、複数の画像に含まれる任意画像と他の画像との関係で視認性がより高い領域を示す合成パタンデータを、画像内選択指標や画像間選択指標を変数として含む関数で求めればよい。
【００３５】
画像合成部３０は、領域選択部２０にて選択された視認性がより高い領域を示した合成パタンデータに従い、入力画像である複数画像から視認性がより高い領域を基準画像に組み合わせて合成画像を生成する。また、画像合成として、基準画像に反映させる各部分画像に、基準画像の輝度を踏まえた輝度調整処理を加えてもよい。ここで基準画像を用いることで、情報処理量の低減が図れる。また、基準画像を用いずに選択された各領域を組み合わせて合成画像を得てもよい。
【００３６】
また、画像合成部３０は、画像合成に当たって、画像合成する各々の領域範囲とその領域での優先画像を識別して、領域毎の画像合成を実施した後に、画像全体を合成するようにしても良い。この場合、１ないし複数の領域がそれぞれ画像合成されることで、結果的に より良好な視認性を有する合成画像が得られる。また、個々の領域毎の画像合成について、選択指標算出部１０で算出した指標データに従って、画像合成手法を選定することも可能である。例えば、基準画像と優先画像の該当領域との接触領域の輝度比に基づいて、優先画像と基準画像のブレンド比を変えたり、優先画像の種別や領域の大きさに基づいて色補完手法の選定するとよい。
【００３７】
なお、基準画像は、入力画像の何れかをユーザが選択してもよいし、画像合成システム１が自動的に選択するようにしてもよい。 
基準画像の選択アルゴリズムは、例えば、入力画像１枚ごとの画像内の全体の視認性指標に基づいて、より視認性が高いだろう画像を選択する手法を用いることができる。より具体的な一例であれば、基準画像選定処理として、各々の画像が有する全面もしくは選択された所定範囲の適度な視認性（例えば所定輝度範囲内）領域の面積に基づいて、面積が広い画像を基準画像として選定処理すればよい。また、単に、時間帯や撮像目標、撮影時の明るさなどに合わせて一般により良好な、撮影手法で取られた画像 や 波長帯域に対する感度特性 を有する画像を選定してもよい。
【００３８】
結果、他の感度特性で取得された画像内で基準画像の視認性を高められる画像領域を視認可能に画像全体に渡り反映された合成画像が得られる。例えば、日中の風景画であれば、基準画像として可視光画像が選択されることが多いと考えられる。この場合、非可視光画像内で可視光画像よりも視認性が良い領域部分が抽出されて可視光画像と画像合成される。また、基準画像として非可視光画像が選択された場合、可視光画像内で非可視光画像よりも視認性が良い領域部分が抽出されて非可視光画像に画像合成される。
【００３９】
なお、以上の記述では、選択指標算出部１０、領域選択部２０、画像合成部３０が単一の階層にて動作する例について説明した。しかし、本発明は、画像の取り扱いを単一の階層に限定する必要はない。 
例えば、１ないし複数の入力画像を周波数成分が異なる複数の階層（画像ピラミッド）を有する画像で受け付け、又は 入力画像を前処理で複数の階層を有する画像データに分解して、各階層で各々の処理動作を実行するアルゴリズムを採用してもよい。より具体的な一例では、選択指標算出部１０、領域選択部２０は、階層毎に、各々の処理を並列的に実施する。次に、画像合成部３０は、各階層における処理結果を統合して、最終的な合成画像を生成してもよい。 
このように、各入力画像を周波数成分が異なる複数の階層に分けて取り扱うことで、可視光画像では高周波成分に視認性が高い領域が存在し、遠赤外線画像では低周波成分の同様の領域に視認性が高い領域が存在するような場合に、領域選択部２０は、高周波成分が支配的な階層からは可視光画像を、低周波成分が支配的な階層からは遠赤外線画像を選択する。そして、画像合成部３０は、可視光画像の高周波成分の画像情報と 遠赤外線画像の低周波成分の画像情報とを用いて、当該領域の画像を合成する。結果、両者の視認性の高さ（利用者にとっての重要性）を保持した画像が合成できる。
【００４０】
このような構成によって、波長帯域に対する感度特性が異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像を得ることができる。
【００４１】
［画像処理フロー］ 
次に、画像合成処理について説明する。 
図２では、画像合成システム１で行われる画像処理フロー例を示している。なお、本処理フローや後述する処理フローは例示であり、処理の順序の入れ替えや、各処理の繰り返し方法、各処理に適用する方式、処理する画像枚数などは所要に適宜変更して読みかえればよい。
【００４２】
まず、選択指標算出部１０は、入力画像群（波長帯域に対する感度特性が異なる複数の画像）から、各々の画像毎に、画像内選択指標と画像間選択指標を数値化して、視認性がより高い領域を選択した指標データを取得する（Ｓ１０１）。本処理例では、画像内選択指標に追加して、画像間選択指標として、画像間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化する。画素レベル特徴の指標値を得るための関数を例示すれば、画素レベル特徴である輝度比や画素連続性、画素間の輝度値の勾配を含めた関数を組み合わせて、画像内選択指標と画像間選択指標を算出すればよい。
【００４３】
画像内選択指標データであれば、コントラストが大きいほど大きな値を持つ指標を数値化すればよい。
【００４４】
画像間選択指標データであれば、以下の複数の関数を組み合わせることで、画素レベル特徴である画素間の連結性と画素間の輝度値の勾配の両方を組み合わせた指標値を得られる。 
１）画素間の連結性を示す関数として、複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数 
２）画素間の輝度値の勾配を示す関数として、複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
なお、選択指標算出部１０は、複数の画像から指標データを取得する前に、入力画像について、視認性を定める基準画像もしくは 複数の画像の何れかの画像に対する正規化処理を実施することが望ましい。正規化処理を行うことで、撮像条件や撮像素子、出力形態などの違いによって生じた、画像毎の視認性の偏りが補正される。
【００４５】
また、選択指標算出部１０は、複数の画像から指標データを取得する前に、入力画像について、画角を定める基準画像もしくは 複数の画像の何れかの画像に対する位置合わせ処理を実施することを行ってもよい。位置合わせ処理を行うことで、後段の情報処理量の削減や、画像合成の劣化等を低減できる。
【００４６】
次に、領域選択部２０は、取得された指標データを参照して、複数の画像から、優先画像とその領域範囲を一体的に導出処理して、合成画像に使用する視認性がより高い領域を選択する（Ｓ１０２）。 
領域を選択は、画素レベルの特徴が表れている指標データを参照して、画像内の画素毎の指標値と 比較する画像の画素間の指標値と を変数に有した関数を利用して画像全体に画像処理を実行することで、優先画像とその領域範囲を合成パタンデータとして確定する。また、合成パタンデータ内に領域毎の画像合成処理方式を記述してもよい。
【００４７】
次に、画像合成部３０は、選択された視認性がより高い領域を組み合わせて合成画像を生成する（Ｓ１０３）。合成パタンデータを用いることで、選択された視認性がより高い領域について識別可能になっている。また、領域毎に画像合成処理を実施する場合、合成パタンデータを用いることで、領域毎の画像合成処理方式の識別（アルゴリズム選定）や、同一画像合成処理方式を用いる複数の領域での共通する演算処理の一元化などが容易になる。 
例えば、画像合成部３０は、合成画像前に、基準画像に反映させる各部分画像に、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、非可視光領域の色成分を可視光領域の色成分に補正する処理を一元化して実施できる。
【００４８】
上記処理動作が行なわれることによって、波長帯域に対する感度特性が異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性をより高めた合成画像が得られる。
【００４９】
次に、第１の実施形態の一構成例について図面を用いて説明する。
【００５０】
図３は、画像合成システムを含む画像表示システムを示す構成図である。 
図３を参照すると、画像表示システム１００は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）１００と、画像入力部１０１と画像出力部１０２とから構成されている。 
コンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）１００は、前処理部１１０と、選択指標算出部１２０と、領域選択部１３０と、画像合成部１４０とを含み構成されている。 
これらの部はそれぞれ概略つぎのように動作する。
【００５１】
画像入力部１０１には、可視光センサを内蔵したカメラから取得された可視光画像と、非可視光センサを内蔵したカメラから取得された非可視光画像などの性質の異なる複数の画像が入力される。また、例えば、フラッシュ前の画像、フラッシュ中の画像、フラッシュ後の画像や、異なるカメラ設定で取得された画像相互を入力画像として用いてもよい。また、入力されるデータ形式はどのような形式でもよい。例えばビットマップイメージや圧縮イメージの複数画像データを入力画像としてもよいし、コンポジット映像信号などの映像信号を入力信号としてそれぞれ受け付けて、コンピュータ１００側で画像データ化してもよい。 
そして、入力画像は、コンピュータ１００のメモリ（図示せず）等に記録される。 
以下では、入力画像として、可視光画像と 非可視光画像としての近赤外光画像をそれぞれ１画像ずつ入力する例にとって説明する。なお、非可視光画像として、紫外画像や電波画像、テラヘルツ画像を用いてもよい。撮像された周波数成分が画像化されてあれば、どのような画像を用いてもよい。
【００５２】
前処理部１１０は、可視光画像と非可視光画像の両画像について、前処理を実施する。前処理には、ノイズ除去処理やボケ除去処理、鮮明化処理、画像強調処理などを適宜実行すればよい。以下では、これらの処理についての詳細を説明する。ノイズ除去処理は、可視光画像と非可視光画像に含まれているセンサノイズや圧縮ノイズを除去する処理である。これらのノイズを除去する方法としては、例えば、ガウシアンフィルタやメディアンフィルタ、バイラテラルフィルタなどのフィルタを用いてノイズ除去を行ってもよいし、例えば非特許文献１にあるような、画像再構成による方法を用いてノイズ除去を行ってもよい。あるいは、非特許文献２にあるようなパッチベースの方法を用いてノイズ除去を行ってもよい。
【００５３】
また前処理部１１０で行うボケ除去処理とは、可視光画像と非可視光画像に含まれるボケを除去する処理である。ボケとしては、焦点ボケやモーションブラーなどがある。ボケ除去処理を行う方法としては、例えば、ルーシー・リチャードソンの方法などを用いてボケ除去処理を行えばよい。
【００５４】
さらに前処理部１１０は、利用者に より良い視認性を提供するために、鮮明化処理、画像強調処理或いは超解像処理などを１ないし複数の組み合わせで行うことが望ましい。鮮明化処理の例としては、例えば、可視光画像と非可視光画像のそれぞれについて、明度やコントラストを補正することで視認性を向上させればよい。また、画像強調処理の例としては、例えば、解像感を向上させるために、可視光画像と非可視光画像のそれぞれについて、画像中の高周波成分を強調する処理などを行えばよい。超解像処理の例としては、例えば、非特許文献３に記載の方法を用いて、可視光画像と非可視光画像の解像度を向上させればよい。前処理部１１０は、これらの前処理が行われた多数の画像をメモリ（図示せず）等に保存して、後段の処理時に適宜読み出せるように保存する。
【００５５】
次に、選択指標算出部１２０は、前処理部１１０にて前処理がされた可視光画像と非可視光画像のそれぞれについて、１）画素毎の視認性の高さに基づき定義される画像内選択指標と、２）１枚の画像中の画素間の連結性に基づき定義される画像間選択指標の２つを、視認性が高い領域をそれぞれの画像から選択するための指標データとして算出する。前処理の設定が複数ある場合、選択指標算出部１２０は、それぞれの画像について指標データを算出する。
【００５６】
また、選択指標算出部１２０は、指標データを取得する前に、非可視光画像の画素値を可視光画像の画素値に合わせるために、正規化処理や位置合わせ処理を実施することが望ましい。
【００５７】
正規化処理の一例としては、選択指標算出部１２０は、可視光画像と非可視光画像の平均と分散を算出し、両者の平均と分散が一致するように非可視光画像の画素値を正規化すればよい。また、位置合わせ処理として、可視光画像と非可視光画像の間に存在する位置ずれを補正する。位置ずれを補正する手法としては、例えば、非特許文献４にあるように領域ベースの方法を用いてもよいし、非特許文献５にあるように特徴点を用いた方法を用いることも可能である。
【００５８】
この際、入力画像枚数が多い場合、予め、視認性や画角を定める基準画像を定めることで、正規化処理や位置合わせ処理の処理量が低減できる。なお、入力画像の全ての組み合わせに対して正規化処理や位置合わせ処理を実施する構成としてもよい。
【００５９】
以下、選択指標算出部１２０が取得する選択指標データ、すなわち画像内選択指標と画像間選択指標についてより具体的に説明する。なお、以下では、可視光画像と非可視光画像がそれぞれ１枚ずつある場合について説明するが、本発明はこれに限定されない。例えば、非可視光画像が複数枚／複数設定あってもよいし、可視光画像が複数枚／複数設定あってもよい。要するに、性質の異なる画像が複数枚あれば何でもよい。
【００６０】
まず、画像内選択指標について説明する。画像内選択指標は、例えば、画素毎に輝度値の勾配に基づき定義すればよい。すなわち、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標を、それぞれ画像中の輝度勾配が大きいほど、大きい量として定義すればよい。
【００６１】
なお、上記では、輝度勾配を抽出する方法としては、ｘ方向とｙ方向の微分を用いてもよいし、ラプラシアンフィルタを用いて画素毎の画像内選択指標を算出してもよい。あるいは、特定の高い周波数の抽出するフィルタをあらかじめ定義し、その周波数成分の大きさに基づいて、画素毎の画像内選択指標を算出してもよい。或いは、周辺領域での画素値の最大値と最小値の差分値を画像内選択指標としてもよい。或いは着目する画素を中心とする周辺領域内の情報エントロピーを算出し、これを画像内選択指標としてもよい。
【００６２】
なお、上記では、輝度勾配に基づいて画素毎の画像内選択指標を算出する方法について述べたが、本発明はこれに限定されない。 
例えば、画素毎の輝度値の勾配だけでなく、輝度値の勾配の方向や、輝度値の大きさに基づいて、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標とを算出してもよい。例えば、輝度値の勾配の方向や、輝度値の大きさが、周辺に比べて大きく異なっている場合、画像内選択指標が大きくなるように定義した関数を用いればよい。すなわち、領域ごとに輝度値の勾配の方向や大きさについてヒストグラムを作成し、このヒストグラムにおける平均値から大きく外れている画素の画像内選択指標が高くなるように、可視光画像の画素毎の画像内選択指標と、非可視光画像の画素毎の画像内選択指標を算出することとしてもよい。
【００６３】
なお、上記では、輝度勾配、輝度値の大きさ、輝度勾配の方向に基づいて画素毎の画像内選択指標を算出する方法について述べたが、回帰分析など統計的な解析や機械学習を用いた方法を用いてもよい。
【００６４】
例えば、あらかじめ別途用意した可視光画像と非可視光画像から、画像の事前確率分布を回帰分析などを用いて算出し、この確率分布を用いて情報エントロピーなどの指標を算出し、この値に基づいて画像内選択指標を算定してもよい。
【００６５】
或いは、これらの別途用意した可視光画像と非可視光画像から、矩形のパッチをサンプリングし、これらをK平均法などの方法でクラスタリングし、これらのクラスタリングした結果を用いて画像内選択指標を算出してもよい。例えば、クラスタリングした矩形パッチの代表的なクラスタリング中心と 実際に合成処理を行う可視光画像および非可視光画像から抽出された矩形のパッチと の間の画像の類似性を、PSNR（Peak signal-to-noise ratio）やSSIM（Structural similarity）などを用いて算出し、これらが類似しているほど 値が大きくなるような量を画像内選択指標として採用することができる。
【００６６】
或いは、あらかじめ用意した可視光画像と非可視光画像から、指紋，虹彩，静脈などの血管，文字，人体，顔，車両，建築物，製造物や建造物における欠陥，植物の植生，物体表面の特定パターン，人体における腫瘍などの病理的異常箇所，特定の細胞や染色体，等を検出する検出器でそれぞれの検出対象の特徴を予め学習しておき、これらの検出器により、これらが検出されやすいほど大きな値となる指標を画像内選択指標として採用してもよい。
【００６７】
或いは、あらかじめ用意した検出器で、指紋，虹彩，静脈などの血管，文字，人体，顔，車両，建築物，製造物や建造物における欠陥，植物の植生，物体表面の特定パターン，人体における腫瘍などの病理的異常箇所，特定の細胞や染色体等を検出したあとに、これらの対象を 人或いは機械 が認識処理により高精度に認識或いは識別可能な領域であればあるほど、値が大きくなる画像品質評価指標を別途設計し、この画像品質評価指標を画像内選択指標として用いてもよい。
【００６８】
或いは、合成する可視光画像と非可視光画像と、これらの画像から手動などで作成した 利用者にとって最も望ましく合成された合成画像（以下，正解合成画像）をあらかじめ用意し、これら可視光画像、非可視光画像および正解合成画像から、画像内選択指標を回帰的な学習によって算出してもよい。
【００６９】
或いは、画像内選択指標は、入力された可視光画像と非可視光画像から自動的に決定するだけでなく、利用者が画素毎に画像内選択指標を手動で与えてもよい。
【００７０】
或いは、画像内選択指標は、例えば、照明における影の部分や、明らかに他の物体によって被写体が遮蔽されている部分など、異常な領域については、値が小さくなるようにしてもよい。このように指標を取得することで、影の部分や、明らかに他の物体によって被写体が遮蔽されている部分などが選択され、合成画像が合成されることを防ぐことができる。
【００７１】
例えば、あらかじめ可視光画像と非可視光画像のそれぞれについて、画像の画像内選択指標が高い画像と、信頼度が低い画像のサンプルを集めておき、それらの画像を用いて回帰分析をすることで、画像内選択指標を算出してもよい。 
以下では、画素 p における 可視光画像と非可視光画像の画素毎の画像内選択指標をそれぞれ、EVIS(p)およびEINVIS(p)と表す。これらの画素毎の画像内選択指標はメモリ（図示せず）に適宜記録される。あるいは、複数のサンプル画像から、深層学習などにより、可視光画像と非可視光画像の事前確率分布をパッチベースで算出し、この事前確率分布が大きいほど、画像内選択指標が高くなるように、画像内選択指標を算出してもよい。
【００７２】
あるいは、最終的に合成された画像を、画像認識技術を用いて自動的或いは半自動的に認識することを念頭に置き、この認識結果が高くなるように、例えば深層学習などの技術を用いて、画像内選択指標を設計してもよい。 
なお、上記では、入力画像が可視光画像と非可視光画像がそれぞれ１枚ずつの場合について述べたが、本発明はこれに限定されない。例えば、可視光画像と非可視光画像がそれぞれ複数ある場合、選択指標算出部１２０は、EVIS(p)およびEINVIS(p)に相当する画像内選択指標を画像毎に算出すればよい。
【００７３】
次に、輝度値の勾配と画素間の連結性に基づき定義される画像間選択指標について説明する。１枚の画像中の画素 p と画素 q の間の輝度値の勾配と画素間の連結性に基づく ある画像と他の画像との間での類似性で定義される画像間選択指標をV(p,q) としたとき、次のように画像間選択指標を定義すればよい。 
画像間選択指標は、(a) 可視光画像と非可視光画像のそれぞれについて、隣接画素との画素値が近い領域ほど、指標値が大きくなり、(b) 可視光画像と非可視光画像の輝度勾配が類似している部分で指標値が小さくなるように定義する。 
このように、選択指標算出部１２０は、合成対象候補の各々の画像の画像間にそれぞれ含まれる任意領域間での画素間にある特徴（輝度勾配や同等輝度範囲など）に基づく類似性の高低を値として算出して画像間選択指標として取得すればよい。
【００７４】
なお、以下では、Ｎ個の画素数を持つ可視光画像の画素値をラスタスキャン順に並べた縦ベクトルIVIS、N個の画素数を持つ非可視光画像の画素値をラスタスキャン順に並べた縦ベクトルIINVISを以下のようにあらわすことにする。 
【数１】
0006497579.tif 000002
【数２】
0006497579.tif 000003
このとき、上記(a)について、可視光画像と非可視光画像のそれぞれについて、隣接画素との画素値が近い領域ほど、画像間選択指標が大きくなる量としては、例えば、２つの画素をp , qとしたとき、画素pと画素qの画素間の画像間選択指標を、以下のように定義すればよい。 
【数３】
0006497579.tif 000004
【数４】
0006497579.tif 000005
一方、上記(b)について、可視光画像と非可視光画像の輝度勾配が類似している部分で画像間選択指標が小さくなるような画像間選択指標としては、同様に２つの画素をp , qとしたとき、画素pと画素qの画素間の画像間選択指標を以下のように定義すればよい。ただし、γは利用者があらかじめ定めた正の定数である。また、θVIS, θINVISはあらかじめ利用者が定めた正の定数である。 
【数５】
0006497579.tif 000006
なお、εとγは、利用者があらかじめ与えた正の定数である。
【００７５】
次に、これらの２種類の画素間の画像間選択指標Vconnect(p,q)及びVgrad(p,q)から、画素 p と画素 q の画素間の選択指標を、例えば、以下のように算出し、メモリ（図示せず）に適宜記録する。
【数６】
0006497579.tif 000007
【数７】
0006497579.tif 000008
【００７６】
領域選択部１３０は、選択指標算出部１２０にて画像毎に算出された画素毎の選択指標EVIS(p)およびEINVIS(p)と、画素間の選択指標V(p,q)を用いて、後述する画像合成部１４０にて合成画像を生成する際に用いる入力画像のどの画像を用いるかを定めた合成パターンを生成する領域選択処理を行う。導き出された合成パタンデータには、画素毎の視認性の指標と 各々の画像の他の画像に対する指標とを用いて各領域の優先画像とその領域範囲とが組み合わされた情報が表れる。 
以下では、合成パタンデータとして、可視光画像と非可視光画像の内、どちらの画像を用いるかを、画素（領域）毎に定義される離散ラベルの集合X=( X1, X2… Xp… XN )で表す。ここでは、この離散ラベルの集合Xを、離散ラベル集合と呼び、X={Xp} と表すこともある。なお、離散ラベルは、画素毎に変えて、数画素を纏めたグリッド毎を単位領域として用いてもよい。 
この離散ラベル集合X={Xp} は、画像を合成する際に画素ｐ におけるラベルXpの値が０の時、画素ｐ において可視光画像を優先的に合成画像に取り込み、Xpの値が１の時、画素ｐ において非可視光画像を優先的に合成画像に取り込むことを意味する変数である。 
なお、これまでは、離散ラベルの集合Xが可視光画像と非可視光画像の２枚の入力画像に対応し、０と１の値を取る場合について述べたが、本発明はこれに限定されない。例えば、画像入力部１０１にて入力された画像が複数枚である場合、領域選択部１３０はそれに対応する離散ラベルの集合としてXを定義すればよい。より具体的には、画像入力部１０１が可視光画像１枚、非可視光画像４枚を入力とする場合には、これらの離散ラベルは０,１,２,３,４の５つの離散値を取る変数として定義すればよい。
【００７７】
領域選択部１３０にて領域を選択する方法としては、例えば、この離散ラベル集合を変数とする関数E({Xp})が最小になる離散ラベル集合を算出することで、領域を選択すればよい。離散ラベル集合の算出式は下記式（８）のように、画像内選択指標と画像間選択指標を含む計算式が使用できる。なお、右辺１項及び右辺２項にそれぞれ重み変数を与え、画像内選択指標をより優先するか、画像間選択指標をより優先するか、可変させる設定することも可能である。 
【数８】
0006497579.tif 000009
ここで、gp(Xp)及びhpq(Xp、Xq)は、画素毎及び画素間で定義される関数であり、選択指標算出部１２０にて算出された画素毎の選択指標と、画素間の選択指標を用いて構成される関数である。具体的には、gp(Xp)及びhpq(Xp、Xq)としては、例えば、以下のように定義すればよい。 
【数９】
0006497579.tif 000010
【数１０】
0006497579.tif 000011
このような関数を最小化する方法としては、例えば、非特許文献６に記載のグラフカットを用いてもよいし、非特許文献７に記載の確率伝搬法を用いてもよい。次に、領域選択部１３０は、上記の関数を最小化するX={Xp}をメモリ（図示せず）に適宜記録して、合成画像を生成するために使用する入力画像に含まれる任意画像と他の画像との関係で視認性がより高い領域を示す合成パタンデータを構築する。
【００７８】
画像合成部１４０は、領域選択部１３０にて算出されたどの画像を優先的に使用するかを表した離散ラベル集合X={ Xp }と、入力画像（可視光画像と非可視光画像）から合成画像を生成する。 
合成画像を生成する方法としては、例えば、アルファブレンディングを用いればよい。具体的には、画素p における合成画像の画素値をIp としたとき、画素p における可視光画像の画素値と非可視光画像の画素値を用いて、以下のような式を用いて画像を合成すればよい。 
【数１１】
0006497579.tif 000012
ただしここで、αはブレンド比率であり、０から１の領域の値を取る量であり、利用者があらかじめ定める。 
なお、非可視光画像の成分情報が輝度値のみである場合、アルファブレンディングは輝度成分にのみ行い、色差成分などその他の成分においては可視光画像の値を用いればよい。或いは、可視光画像の輝度値と合成画像の輝度値との比率から補正係数を算出し、色成分を、算出した補正係数を乗じた値で復元してもよい。或いは、αを画素毎に変化させてブレンディングをしてもよい。例えば、画素毎の画像内選択指標EVIS(p)およびEINVIS(p) の比が大きいほど、αが大きくなるようにすればよい。
【００７９】
或いは、画像合成部１４０は、アルファ ブレンディングを用いて画像を合成するのではなく、非特許文献８に記載のように、ポアソンエディティングを用いて画像を合成してもよい。すなわち、離散ラベル集合Xが１となる画素の輝度値を可視光画像の輝度値となるように、以下を満たす下記 式（１２）を、変分法を用いて解くことで画像を合成し、輝度値を復元すればよい。 
【数１２】
0006497579.tif 000013
ただしここで、Ωは、離散ラベル集合Xが１となる領域であり、可視光画像を用いて優先的に画像を合成する領域をあらわす。 
なお、アルファブレンディングにより合成画像を生成する場合と同様に、非可視光画像の成分情報が輝度値のみである場合、アルファブレンディングは輝度成分にのみ行い、色差成分などその他の成分においては可視光画像の値を用いればよい。あるいは、以下のように、輝度成分以外の成分（たとえばUV成分）についての拘束条件を加えながら、式（１３）を解くことで、色情報を復元してもよい。すなわち、式（１４）を、変分法を用いて解くことで画像を合成すればよい。 
【数１３】
0006497579.tif 000014
ここで、λU、λVは、利用者があらかじめ定める重みである。或いは、輝度値以外の情報を復元するために、復元に使用する可視光画像から、輝度値と色成分の関係を学習し、これを用いて画像を復元してもよい。例えば、合成画像を生成するために用いる可視光画像から、輝度値Iにおける、U成分とV成分の条件付き確率分布関数を作成し、これを用いて色成分を復元すればよい。より具体的には、輝度成分Iにおける、U及びVとの条件付き確率分布関数をP（U|I）、P(V|I)としたとき、以下の方程式を満足するようなI、U、Vを求めることで、色情報を復元してもよい。 
【数１４】
0006497579.tif 000015
ここで、ηU、ηVは、利用者があらかじめ定める重みである。なお、これまでは、輝度成分Iにおける、U及びVとの条件付き確率分布関数をP（U|I）、P(V|I)を求める方法として、合成画像を生成するために使用する可視光画像を用いる場合について述べたが、あらかじめ用意した複数の学習画像を用いてもよい。また、これまでは、１画素の画素値I及びU、Vにおける条件付き確率分布関数を用いる方法について述べたが、例えばパッチなど局所領域を用いて確率分布関数を構成してもよい。また、色を復元する場合に画像合成部１４０は、白とび、黒潰れなどで色情報が不正確な場合のみ式（１３）、式（１４）を用いて色情報を復元し、それ以外の領域では、可視光画像の値を用いてもよい。 
以上のようにして復元した合成画像を、画像合成部１４０はメモリ（図示せず）や補助記憶装置（図示せず）に記録する。
【００８０】
また、本発明では、輝度情報としてYUV成分のYを用いる方法について述べたが、他の色表現方法を用いてもよい。例えば、HSV色空間におけるV成分を輝度情報として扱い、上述の方法で合成画像を生成してもよい。或いは、YUV色空間で処理する領域とHSV色空間で処理する領域を、例えば閾値処理などで、適法的に切り替えても良い。要するに、輝度値に相当するような明るさの情報と、それ以外の情報である色の情報を分離する方法であれば、何でもよい。
【００８１】
また、本発明では、式（１３）あるいは式（１４）を用いて 合成画像の色を表現する方法について述べたが、本発明はこれに限定されない。例えば、あらかじめ輝度成分のみを式（１２）で復元し、次に、色成分については、輝度成分が類似している画素の周辺領域の色成分同士が、同一の色成分になるような制約を課しながら、これを表現してもよい。具体的には、式（１２）によって復元した輝度成分をもとに、色成分を表現したい領域と類似の輝度成分のパターンをもつ領域を、輝度成分を復元した画像から探索し、この探索した領域の色成分を張り付けることで、色成分を復元してもよい。
【００８２】
また、本発明では、式（１３）あるいは（１４）を用いて、合成画像の色を表現する方法について述べたが、本発明はこれに限定されない。例えば、あらかじめ用意した可視画像と非可視画像の波長帯域の成分を、主成分分析などを用いて少数の基底関数で表し、次に、輝度成分のみを式（１２）で復元し、復元した輝度成分の値から、これら少数の基底の線形結合として 色成分を表現してもよい。
【００８３】
なお、このような色の復元は、合成画像全体に対して行ってもよいし、画像中の影や、明らかに物体が遮蔽されている領域などに対してのみ行ってもよい。
【００８４】
画像出力部１０２は、画像合成部１４０にて生成された合成画像を出力する。さらに画像出力部１０２は、合成画像だけでなく、可視光画像と非可視光画像、前処理を加えた各画像或いは領域選択部１２０にて算出された離散ラベル集合を同時的に出力してもよい。
【００８５】
次に、図３及び図４を参照して画像表示システムの全体動作について説明する。図４は、画像表示システムの動作例を示すフローチャートである。 
まず、画像入力部１０１に可視光画像と非可視光画像が入力されると、画像入力部１０１は、入力された両画像をメモリ（図示せず）に記録する（Ｓ１１１）。前処理部１１０は、可視光画像と非可視光画像のそれぞれについて、ノイズ除去などの前処理を実施する（Ｓ１１２）。
【００８６】
次に、選択指標算出部１２０は、前処理部１１０にて前処理がされた可視光画像と非可視光画像のそれぞれについて、正規化処理及び位置合わせ処理を実行した後に、画像内選択指標と、画像間選択指標の２つを選択指標データとして算出する（Ｓ１１３）。 
次に、領域選択部１３０は、選択指標算出部１２０にて算出された画素毎の選択指標データと画素間の選択指標データを用いて、合成画像に導入する視認性がより高い領域を選択する（Ｓ１０４）。
【００８７】
次に、画像合成部１４０は、領域選択部１３０にて導き出されたより視認性が高いとして選択された１ないし複数の領域と可視光画像と非可視光画像を用いて合成画像を生成する（Ｓ１０５）。
【００８８】
最後に、画像合成部１４０にて合成された合成画像を、画像出力部１０２から出力する（Ｓ１０６）。
【００８９】
［効果の説明］ 
次に、本実施の形態の効果について説明する。 
本実施の形態の画像合成システムは、画像毎に、画像内での視認性の高さを定義した画像内選択指標を有することで、入力された波長帯域に対する感度特性が異なる複数の画像から視認性が他の画像に対して他の画像との関係でより高い領域を選択する構成を有する。さらに、本実施の形態の画像合成システムは、 画像間（任意領域間）での画像特徴の類似性の高さを定義した画像間選択指標有することで、選択された視認性が高い領域が滑らかに合成されるため、画像全体として違和感のない画像が生成できる。 
このため、白とびや黒潰れなどの飽和した領域以外であっても、他の画像に視認性がより高い同等領域があれば置換されることになる。結果、全体として視認性に優れた合成画像を得られる。
【００９０】
ここで、本発明による画像合成を図５及び図６を用いて簡略化した描写で説明する。
【００９１】
図５の説明図１では、入力される２枚の画像として、可視光画像と近赤外光画像（非可視光画像）とを受け付ける。図５（ａ）及び（ｂ）に示すように、入力される２枚の画像は次の特徴がある。 
可視光画像は、背景の照明の影響により、人の顔の視認性が良いところも悪いところもある。また、可視光画像は、衣服の領域の視認性が良く、衣服のパタンも視認できる。また、照明具部分でよい視認性が得られていない。
【００９２】
一方、近赤外光画像も、人の顔の視認性が良いところも悪いところもある。また、近赤外光画像は、近赤外領域の塗料などの反射率が低いため、衣服の領域の視認性が悪い。
【００９３】
本発明を実装することで、選択指標算出部１２０にて、各々の選択指標データが、可視光画像と非可視光画像の他方に比べてより良く視認できる領域が高く算出される。 
このため、領域選択部１３０にて選択された結果（領域選択結果）は、図５（ｃ）に描写されているように、顔部分や衣服部分、照明具部分でそれぞれ異なる画像から各々領域が採択される。 
画像合成部１４０は、領域選択結果と入力画像を参照して、結果的に、波長帯域に対する感度特性が良好な領域で且つ連続性がある領域部分が一体的に切り出された合成画像（図５（ｄ））を合成する。 
この結果、顔部分、衣類部分、照明具部分などの個々の領域を含む全体として高い視認性を持つ画像が得られる。また、両画像間での位置補正や色合いの補正も行われる。
【００９４】
図６の説明図２では、入力される性質の異なる３枚の花の画像として、（ａ）近紫外光画像と（ｂ）可視光画像と（ｃ）近赤外光画像とを受け付ける。図示されているように、入力される各画像はそれぞれ特徴がある。 
近紫外光画像（ａ）には、花びらの根元部分に人間が肉眼で視認できない綺麗な模様が描写されている。 
可視光画像（ｂ）には、肉眼で視認できる輪郭や色合いが描写されている。 
近赤外光画像（ｃ）には、花の中心部分（雄蕊や雌蕊）や花びらの輪郭が可視光画像よりも はっきりと描写されている。 
この３枚の入力画像を受け付け、選択指標算出部１２０にて、各々の画像の選択指標データが、他の画像に比べてより良く視認できる領域が高く算出される。 
このため、領域選択部１３０にて選択された結果（領域選択結果）は、図５（ｄ）に描写されているように、それぞれ異なる画像から各々領域が視認性とその連続性が反映されて採択される。図５（ｄ）のハッチ領域は近紫外光画像領域であり、白領域は可視光画像領域、黒領域は近赤外光画像領域である。 
画像合成部１４０は、領域選択結果と入力画像を参照して、結果的に、波長帯域に対する感度特性が良好な領域で且つ連続性がある領域部分が一体的に切り出された合成画像（図６（ｅ））を合成する。 
この結果、全体として花の形状や模様などの高い視認性を持つ画像が得られる。また、両画像間での位置補正や色合いの補正も行われる。
【００９５】
［変形例］ 
なお、本発明の変形例として、図７のように、画像入力部１０１、前処理部１１０、選択指標算出部１２０、領域選択部１３０、画像合成部１４０、異常領域検出部１５０、画像出力部１０２からなる構成で、処理をおこなってもよい。 
なお、画像入力部１０１、画像出力部１０２、前処理部１１０、領域選択部１３０、画像合成部１４０に関しては、前述の記載と同様であるため、説明は省略する。
【００９６】
選択指標算出部１２０は、上記式（９）で表されるgp(Xp)と、後述する異常領域検出部１５０における異常領域値Qp(Xp)とを組み合わせた関数であるdp(Xp)を、新たに画素毎の選択指標とする。なお、本変形例において、最初に選択指標算出部１２０において、画素毎の選択指標を算出する際は、異常領域値Qp(Xp)をゼロとして、画素毎の選択指標dp(Xp)を算出すればよい。 
なお、画素毎の選択指標dp(Xp)は、下記式（１５）に一例を示すように、異常領域値Qp(Xp)を変数として有する関数で表せばよい。下記式（１５）は、式（９）で表されるgp(Xp)と異常領域値Qp(Xp)の和の関数として表される。また、例えば、選択指標dp(Xp)は、gp(Xp)とQp(Xp)の線形結合や乗算として表してもよい。 
【数１５】
0006497579.tif 000016
【００９７】
異常領域検出部１５０は、画像合成部１４０にて合成された画像において、利用者にとって好ましくない領域（異常領域）を検出するように動作する。ここでいう利用者にとって好ましくない領域とは、基準となる画像に存在しない物体の影や 基準画像に存在しない動物体 などである。或いは、入力画像間で僅かに位置ずれが存在していた場合、その位置ずれが原因で発生するアーティファクトなども、利用者にとって好ましくない領域となる。異常領域検出部１５０は、このような利用者にとって好ましくない領域を、画像合成部１４０にて生成された画像（合成画像）と、画像入力部１０１にて入力した各画像（入力画像）との相関を算出することで検出する。例えば、画像合成部１４０にて生成された画像と、画像入力部１０１にて入力した各画像とで算出する相関としては、画像間の輝度値或いは勾配の正規化相互相関などを用いればよい。 
異常領域検出部１５０は、入力画像と合成画像との相関を、基準画像のみでなく、多くの入力画像について取ことが望ましい。また、画像種別毎に相関結果の値に重みを与えてもよい。合成画像と基準画像のみとの相関を取る場合、異常領域検出部１５０は、合成画像と基準画像が類似さえしていれば、異常領域と見做さないように動作する。このため、異常領域検出部１５０による処理を加えることにより、合成画像は、基準画像に類似度が高い画像になる。一方、合成画像と基準画像以外の入力画像（群）について相関を取る場合、異常領域検出部１５０は、合成画像と相関を取った全ての画像（群）に基づいた異常領域を検出するように動作する。このため、異常領域検出部１５０による処理により、最終的な合成画像は、どれか一つの入力画像に過度に類似することなく、全体として良好な視認性を有する画像になる。。
【００９８】
より具体的には、例えば、異常領域検出部１５０は、画像合成部１４０にて合成された画像のある画素が、異常領域であるか否かを判定するために、以下式（１５）で定義される値を異常領域値Qp(Xp)として算出すればよい。入力画像を３画像以上にする場合には、適宜φの変数を増やせばよい。 
【数１６】
0006497579.tif 000017
ただし、φvis，φinvisはそれぞれ、画像合成部１４０にて生成された画像（合成画像）と 可視光画像或いは非可視光画像との間の、輝度値と輝度値の勾配の正規化相互相関である。また、φthは、当該画素が異常領域か否かを判定するための閾値である。
【００９９】
式（１５）を用いた場合、合成画像と可視画像の正規化相関φvis 及び 合成画像と非可視光画像の正規化相互相関φinvis の和がφth以下であった際に、Qp(Xp)はゼロになる。このため、選択指標算出部１２０は、指標値を算定する上で、異常領域の影響を受けない。結果、当該画素pは異常領域とならない。 
一方、合成画像と可視画像の正規化相関φvis 及び 合成画像と非可視光画像の正規化相互相関φinvis の和がφth以上であった際に、Qp(Xp)はゼロ以上の値となる。このため、選択指標算出部１２０は、指標値を算定する上で、異常領域の影響を受けた値を算定する。この結果、領域選択部１３０は、異常領域が存在しない基準画像がより選択されやすくなる。 
なお、以上では、Qp(Xp)が、φinvisとφvisの単純な和である場合について説明したが、本発明はこれに限定されない。例えば、Qp(Xp)はφinvisとφvisの線形結合な関数であってもよいし、或いは、Qp(Xp)とφinvisのφvisの関係（関数形）を機械学習によって算出してもよい。 
また、異常領域検出部１５０による選択指標算出部１２０へのフィードバックは、適度な回数を繰り返すことでより高い視認性を有する画像を得られる。フィードバック回数は、予め定めた回数でもよいし、合成画像の変化量がある程度収束したところで停止するようにしてもよい。
【０１００】
以上のような構成を有することで、画像合成システムとして、合成画像中の異常領域を除去しながら、高い視認性を有する画像を合成することが可能となる。
【０１０１】
以上説明したように、本画像合成システムによれば、性質の異なる複数の画像から、各々の感度特性の画像に含まれた他の画像に対する良好な視認性領域を画像全体に渡り導き出して、視認性を高められる画像領域を視認可能に画像全体に渡り反映させて、視認性をより高めた合成画像を得られる。
【０１０２】
なお、画像処理システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、図８に示すように、ＲＡＭに画像合成プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ：Central Processing Unit）等のハードウェアを動作させることによって、前処理部、選択指標算出部、領域選択部、画像合成部の全て又は一部の手段として機能させる。また、このプログラムは、記録媒体に非一時的に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。また、各部の全て又は一部をＬＳＩ（Large Scale Integration）上に回路構築して形成してもよい。
【０１０３】
本発明の具体的な構成は前述の実施形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替え、各実施形態の組み合わせなど、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
【０１０４】
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。  
［付記１］
性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部と
を含むことを特徴とする画像合成システム。
【０１０５】
［付記２］
前記選択指標算出部は、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
前記領域選択部は、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択する
ことを特徴とする上記付記に記載の画像合成システム。
【０１０６】
［付記３］
前記選択指標算出部は、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得することを特徴とする上記付記に記載の画像合成システム。
【０１０７】
［付記４］
前記選択指標算出部は、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得することを特徴とする上記付記に記載の画像合成システム。
【０１０８】
［付記５］
前記選択指標算出部及び前記領域選択部は、前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施し、
前記画像合成部は、各階層における前記領域選択部にて選択された視認性がより高い領域を組み合わせて、前記合成画像を生成する
ことを特徴とする上記付記に記載の画像合成システム。
【０１０９】
［付記６］
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする上記付記に記載の画像合成システム。
【０１１０】
［付記７］
前記選択指標算出部は、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする上記付記に記載の画像合成システム。
【０１１１】
［付記８］
波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部を更に有し、
前記選択指標算出部は、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記領域選択部は、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする上記付記に記載の画像合成システム。
【０１１２】
［付記９］
前記選択指標算出部は、
前記画像間選択指標データとして、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
【０１１３】
［付記１０］
前記選択指標算出部は、
前記画像間選択指標データとして、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
【０１１４】
［付記１１］
前記選択指標算出部は、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする上記付記に記載の画像合成システム。
【０１１５】
［付記１２］
前記選択指標算出部は、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする上記付記に記載の画像合成システム。
【０１１６】
［付記１３］
前記画像合成部は、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成することを特徴とする上記付記に記載の画像合成システム。
【０１１７】
［付記１４］
前記画像合成部で合成された前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める異常領域検出部を更に有し、
前記選択指標算出部は、前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成システム。
【０１１８】
［付記１５］
前記画像合成部で合成された前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める異常領域検出部を有し、
前記選択指標算出部は、前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成システム。
【０１１９】
［付記１６］
性質の異なる複数の画像を取得し、
前記複数の画像から視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化し、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択し、
選択された視認性がより高い領域を組み合わせて合成画像を生成する
ことを特徴とする情報処理システムによる画像合成方法。
【０１２０】
［付記１７］
前記情報処理システムは、
前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得し、
各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択する
ことを特徴とする上記付記に記載の画像合成方法。
【０１２１】
［付記１８］
前記情報処理システムは、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得することを特徴とする上記付記に記載の画像合成方法。
【０１２２】
［付記１９］
前記情報処理システムは、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得することを特徴とする上記付記に記載の画像合成方法。
【０１２３】
［付記２０］
前記情報処理システムは、
前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施し、
各階層で選択された視認性がより高い領域を組み合わせて、前記合成画像を生成する
ことを特徴とする上記付記に記載の画像合成方法。
【０１２４】
［付記２１］
前記情報処理システムは、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施することを特徴とする上記付記に記載の画像合成方法。
【０１２５】
［付記２２］
前記情報処理システムは、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施することを特徴とする上記付記に記載の画像合成方法。
【０１２６】
［付記２３］
前記情報処理システムは、
波長帯域に対する感度特性が異なる複数の画像を生成し、
前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得し、
前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行う
ことを特徴とする上記付記に記載の画像合成方法。
【０１２７】
［付記２４］
前記情報処理システムは、
前記画像間選択指標データとして、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
【０１２８】
［付記２５］
前記情報処理システムは、
前記画像間選択指標データとして、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
【０１２９】
［付記２６］
前記情報処理システムは、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数を用いて取得する
ことを特徴とする上記付記に記載の画像合成方法。
【０１３０】
［付記２７］
前記情報処理システムは、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得することを特徴とする上記付記に記載の画像合成方法。
【０１３１】
［付記２８］
前記情報処理システムは、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成することを特徴とする上記付記に記載の画像合成方法。
【０１３２】
［付記２９］
前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める工程を有し、
前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成方法。
【０１３３】
［付記３０］
前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める工程を有し、
前記異常領域の指標値を変数として有する関数で前記指標データを取得する
ことを特徴とする上記付記に記載の画像合成方法。
【０１３４】
［付記３１］
情報処理システムのプロセッサを、
性質の異なる複数の画像から、視認性がより高い領域を選択するための指標データを、各々の画像の画像内指標値で数値化して取得する選択指標算出部と、
前記複数の画像から取得した前記指標データを参照して、前記複数の画像から、合成画像を生成するために使用する視認性がより高い領域を、優先画像とその領域範囲を一体的に導出処理して選択する領域選択部と、
前記領域選択部にて選択された視認性がより高い領域を組み合わせて合成画像を生成する画像合成部
として動作させることを特徴とする画像合成プログラム。
【０１３５】
［付記３２］
前記選択指標算出部に、前記性質の異なる複数の画像として波長帯域に対する感度特性が異なる複数の画像を受け付けて、該複数の画像の各々の波長帯域を基準に視認性がより高い領域を、各々の画像の画像内指標値と画像間指標値で数値化して取得させ、
前記領域選択部に、各々の画像の前記指標データを参照して、各画像から他の画像に対して視認性がより高い領域を導出して、前記優先画像を選択させる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１３６】
［付記３３］
前記選択指標算出部に、波長帯域に対する感度特性が異なる複数の画像から視認性が高い領域を選択するための前記指標データとして、画像毎の視認性の高さを表す画像内選択指標データと、画像間の見えの連続性の大きさを表す画像間選択指標データとを画像毎に取得させることを特徴とする上記付記に記載の画像合成プログラム。
【０１３７】
［付記３４］
前記選択指標算出部に、複数の画像から視認性が高い領域を選択するための前記指標データとして、前記複数の画像各々の画素毎に特徴ベクトルを算出し、機械学習により得られた識別器を用いて、各画素の特徴ベクトルから、画素毎に視認性が高い領域であるか否かの大きさを示す指標値を取得させることを特徴とする上記付記に記載の画像合成プログラム。
【０１３８】
［付記３５］
前記選択指標算出部及び前記領域選択部に、前記複数の画像である周波数成分が異なる複数の階層を有する画像を、階層毎に各々の処理を並列的に実施させ、
前記画像合成部に、各階層における前記領域選択部にて選択された視認性がより高い領域を組み合わせて、前記合成画像を生成させる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１３９】
［付記３６］
前記選択指標算出部に、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、視認性を定める基準画像もしくは 前記複数の画像の何れかの画像に対する正規化処理を実施させることを特徴とする上記付記に記載の画像合成プログラム。
【０１４０】
［付記３７］
前記選択指標算出部に、前記複数の画像から前記指標データを取得する前に、前記複数の画像について、画角を定める基準画像もしくは 前記複数の画像の何れかの画像に対する位置合わせ処理を実施させることを特徴とする上記付記に記載の画像合成プログラム。
【０１４１】
［付記３８］
前記情報処理システムを、波長帯域に対する感度特性が異なる複数の画像を取得する画像取得部として更に動作させ、
前記選択指標算出部に、前記指標データとして、前記複数の画像に含まれる画像間にそれぞれ含まれる任意領域間での画素レベルの特徴に基づく類似性の高低を表した指標値を数値化して取得させ、
前記領域選択部に、前記選択指標算出部にて画像毎に画素レベルの特徴を含めて算出された前記指標データを参照して、優先画像とその領域範囲を、画素毎の指標値と 画素間の指標値と を変数に有したエネルギー関数で算定することで、領域選択処理を画素毎に行わせる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１４２】
［付記３９］
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数
で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１４３】
［付記４０］
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数
で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１４４】
［付記４１］
前記選択指標算出部に、
前記画像間選択指標データを、
画素間の連結性を示す関数として、前記複数の画像毎に、隣接画素との画素値が近い領域ほど、画像間選択指標を大きくなる関数と、
画素間の輝度値の勾配を示す関数として、前記複数の画像の輝度勾配が類似している部分で画像間選択指標が小さくなる関数と
を、組み合わせた関数で取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１４５】
［付記４２］
前記選択指標算出部に、コントラストが大きいほど大きな値を持つ指標を前記画像内選択指標データとして取得させることを特徴とする上記付記に記載の画像合成プログラム。
【０１４６】
［付記４３］
前記画像合成部に、可視光領域のセンサから取得された画像の色成分の連続性と 色成分の出現頻度とに基づいて、合成する画像に含まれた非可視光領域の色成分を可視光領域の色成分に補正した後に、合成画像を生成させることを特徴とする上記付記に記載の画像合成プログラム。
【０１４７】
［付記４４］
前記プロセッサを、
前記画像合成部で合成された前記合成画像と前記複数の画像に含まれる基準画像との相関に基づいて前記合成画像が有する前記基準画像に対する異常領域の指標値を求める異常領域検出部として動作させ、
前記選択指標算出部に、前記異常領域の指標値を変数として有する関数で前記指標データを取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１４８】
［付記４５］
前記プロセッサを、
前記画像合成部で合成された前記合成画像と前記複数の画像との相関に基づいて前記合成画像が有する前記複数の画像に対する異常領域の指標値を求める異常領域検出部として動作させ、
前記選択指標算出部に、前記異常領域の指標値を変数として有する関数で前記指標データを取得させる
ことを特徴とする上記付記に記載の画像合成プログラム。
【０１４９】
［付記４６］
上記付記に記載の画像合成プログラムを非一時的に記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０１５０】
１      画像合成システム
１０    選択指標算出部（選択指標算出手段）
２０    領域選択部（領域選択手段）
３０    画像合成部（画像合成手段）
１００  コンピュータ（中央処理装置；プロセッサ；データ処理装置；画像合成システム）
１０１  画像入力部
１０２  画像出力部
１１０  前処理部（前処理手段）
１２０  選択指標算出部（選択指標算出手段）
１３０  領域選択部（領域選択手段）
１４０  画像合成部（画像合成手段）
１５０  異常領域検出部（異常領域検出手段）
【図１】
0006497579.tif 000018
【図２】
0006497579.tif 000019
【図３】
0006497579.tif 000020
【図４】
0006497579.tif 000021
【図５】
0006497579.tif 000022
【図６】
0006497579.tif 000023
【図７】
0006497579.tif 000024
【図８】
0006497579.tif 000025
【図９】
0006497579.tif 000026