(57)【要約】      （修正有）【課題】コントロール画像にないエッジを有する対象画像のエッジのぼやけを抑制するジョイントバイラテラルフィルタを提供する。【解決手段】フィルタを対象画像Ｏに適用するフィルタリング処理を実行する画像処理装置であって、フィルタは、注目画素と周辺画素との距離に基づく空間重みＷｓと、注目画素値と周辺画素値との差に基づく画素値重みと、を含む。画素値重みは、対象画像Ｏの撮像対象物と同じ撮像対象物を撮像したコントロール画像Ｉにおける注目画素値と周辺画素値との差に基づく第１重みＷｃと、対象画像Ｏにおける注目画素値と周辺画素値との差に基づく第２重みＷｏと、を含む【選択図】図２
2018005518.tif 000002
【特許請求の範囲】
【請求項１】
フィルタを対象画像に適用するフィルタリング処理を実行する画像処理装置であって、
前記フィルタは、
注目画素と周辺画素との距離に基づく空間重みと、
注目画素値と周辺画素値との差に基づく画素値重みと、
を含み、
前記画素値重みは、
前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
を含む
画像処理装置。
【請求項２】
前記対象画像は、前記コントロール画像よりも低解像度の画像であり、
前記フィルタリング処理は、画素数が前記コントロール画像に対応するように前記対象画像を変換する変換処理を含み、
前記第２重みは、前記変換処理がなされた前記対象画像に基づいて求められ、
前記フィルタは、前記変換処理がなされた前記対象画像に適用される
請求項１に記載の画像処理装置。
【請求項３】
前記コントロール画像は、可視光画像であり、
前記対象画像は、赤外線画像である
請求項１に記載の画像処理装置。
【請求項４】
前記コントロール画像は、可視光画像であり、
前記対象画像は、前記可視光画像よりも低解像度の赤外線画像であり、
前記フィルタリング処理は、画素数が前記可視光画像に対応するように前記赤外線画像を変換する変換処理を更に含み、
前記第２重みは、前記変換処理がなされた前記遠赤外線画像に基づいて求められ、
前記フィルタは、前記変換処理がなされた前記赤外線画像に適用される
請求項１に記載の画像処理装置。
【請求項５】
前記第１重み及び前記第２重みは、前記第１重み及び前記第２重みが適用される局所領域における前記コントロール画像と前記対象画像との相互関連性に基づいて設定される
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１重みは、局所的な前記相互関連性が高いほど大きく設定され、
前記第２重みは、局所的な前記相互関連性が低いほど大きく設定される
請求項５に記載の画像処理装置。
【請求項７】
対象画像及びコントロール画像を撮像する撮像部と、
フィルタを前記対象画像に適用するフィルタリング処理を実行する画像処理装置と、
を備え、
前記フィルタは、
注目画素と周辺画素との距離に基づく空間重みと、
注目画素値と周辺画素値との差に基づく画素値重みと、
を含み、
前記画素値重みは、
前記コントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
を含む
撮像システム。
【請求項８】
フィルタを対象画像に適用するフィルタリング処理を実行することを含む画像処理方法であって、
前記フィルタは、
注目画素と周辺画素との距離に基づく空間重みと、
注目画素値と周辺画素値との差に基づく画素値重みと、
を含み、
前記画素値重みは、
前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
を含む
画像処理方法。
【請求項９】
フィルタを対象画像に適用するフィルタリング処理をコンピュータに実行させるコンピュータプログラムであって、
前記フィルタは、
注目画素と周辺画素との距離に基づく空間重みと、
注目画素値と周辺画素値との差に基づく画素値重みと、
を含み、
前記画素値重みは、
前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
を含む
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関する。
【背景技術】
【０００２】
フィルタリング処理によって対象画像の画質を改善する画像処理として、バイラテラルフィルタを用いた処理が知られている。バイラテラルフィルタは、画像中のエッジを保存しつつ画像を平滑化することができる。バイラテラルフィルタは、注目画素と周辺画素との距離に基づく空間重みと、注目画素値と周辺画素値との差に基づく画素値重みとを含む。注目画素値と周辺画素値との差は、エッジのある箇所のように画素値間の差が大きくなる箇所で生じる。注目画素値と周辺画素値との差が大きいと、画素値重みは小さくなる。画素値重みが小さい部分では、エッジが保存されやすい。
【０００３】
画素値重みを、対象画像とは別のコントロール画像によって求めることがある。画素値重みがコントロール画像に基づいて求められたフィルタは、ジョイントバイラテラルフィルタとよばれる。ジョイントバイラテラルフィルタは、クロスバイラテラルフィルタとよばれることもある。ジョイントバイラテラルフィルタは、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１４４４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ジョイントバイラテラルフィルタは、対象画像がコントロール画像にないエッジを有する場合、そのエッジを十分に保存することができない。コントロール画像にないエッジにおいては、コントロール画像に基づく画素値重みは、十分に小さくならない。このため、対象画像におけるエッジは、周辺画素値の影響を大きく受けてぼやける。
【０００６】
したがって、従来のジョイントバイラテラルフィルタの改善が望まれる。
【課題を解決するための手段】
【０００７】
本発明の一の態様において、フィルタは、注目画素値と周辺画素値との差に基づく画素値重みとして、コントロール画像に基づく第１重みだけでなく、対象画像に基づく第２重みをも含む。画素値重みとして、対象画像に基づく第２重みがあることで、対象画像のエッジがぼやけるのを抑制できる。
【図面の簡単な説明】
【０００８】
【図１】撮像システムのブロック図である。
【図２】トライラテラルフィルタにおける重みの求め方の説明図である。
【図３】バイラテラルフィルタにおける重みの求め方の説明図である。
【図４Ａ】バイラテラルフィルタリングの処理結果を示す画像である。
【図４Ｂ】図４Ａの画像のディザ画像である。
【図５Ａ】図４Ａの画像の拡大画像である。
【図５Ｂ】図５Ａの画像のディザ画像である。
【図６Ａ】バイラテラルフィルタリングとトライラテラルフィルタリングの処理結果を示す画像である。
【図６Ｂ】図６Ａの画像のディザ画像である。
【図７Ａ】トライラテラルフィルタリングと局所トライラテラルフィルタリングの処理結果を示す画像である。
【図７Ｂ】図７Ａの画像のディザ画像である。
【発明を実施するための形態】
【０００９】
［１．実施形態の概要］
【００１０】
（１）実施形態に係る画像処理装置は、フィルタを対象画像に適用するフィルタリング処理を実行する。前記フィルタは、注目画素と周辺画素との距離に基づく空間重みと、注目画素値と周辺画素値との差に基づく画素値重みと、を含む。前記画素値重みは、前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、を含む。画素値重みとして、コントロール画像に基づく第１重みだけでなく、対象画像に基づく第２重もあることで、対象画像のエッジがぼやけるのを抑制できる。
【００１１】
（２）前記対象画像は、前記コントロール画像よりも低解像度の画像であり、前記フィルタリング処理は、画素数が前記コントロール画像に対応するように前記対象画像を変換する変換処理を含み、前記第２重みは、前記変換処理がなされた前記対象画像に基づいて求められ、前記フィルタは、前記変換処理がなされた前記対象画像に適用されるのが好ましい。この場合、対象画像の高解像度化が可能である。
【００１２】
（３）前記コントロール画像は、可視光画像であり、前記対象画像は、赤外線画像であるのが好ましい。この場合、赤外線画像のエッジがぼやけるのを抑制できる。
【００１３】
（４）前記コントロール画像は、可視光画像であり、前記対象画像は、前記可視光画像よりも低解像度の赤外線画像であり、前記フィルタリング処理は、画素数が前記可視光画像に対応するように前記赤外線画像を変換する変換処理を更に含み、前記第２重みは、前記変換処理がなされた前記遠赤外線画像に基づいて求められ、前記フィルタは、前記変換処理がなされた前記赤外線画像に適用されるのが好ましい。この場合、赤外線画像のエッジがぼやけるのを抑制しつつ、赤外線画像を高解像度化することができる。
【００１４】
（５）前記第１重み及び前記第２重みは、前記第１重み及び前記第２重みが適用される局所領域における前記コントロール画像と前記対象画像との相互関連性に基づいて設定されるのが好ましい。この場合、よりフィルタリングがより適切となる。
【００１５】
（６）前記第１重みは、局所的な前記相互関連性が高いほど大きく設定され、前記第２重みは、局所的な前記相互関連性が低いほど大きく設定されるのが好ましい。
【００１６】
（７）実施形態に係る撮像システムは、対象画像及びコントロール画像を撮像する撮像部と、前記フィルタを前記対象画像に適用するフィルタリング処理を実行する画像処理装置と、を備える。
【００１７】
（８）実施形態に係る画像処理方法は、前記フィルタを対象画像に適用するフィルタリング処理を実行することを含む。
【００１８】
（９）実施形態に係るコンピュータプログラムは、前記フィルタを対象画像に適用するフィルタリング処理をコンピュータに実行させる。
【００１９】
［２．実施形態の詳細］
【００２０】
［２．１  撮像システム］
【００２１】
図１に示す撮像システム１０は、撮像部２０を備える。撮像部２０は、複数の画像を出力する。複数の画像は、対象画像及びコントロール画像を含む。対象画像は、画像処理の対象となる画像である。コントロール画像は、フィルタ重みを求めるために用いられる画像である。コントロール画像は、対象画像と同じ撮像対象物を撮像した画像である。コントロール画像は、例えば、対象画像とは異なる撮像法で、対象画像と同じ撮像対象物を撮像した画像が用いられる。
【００２２】
対象画像とは異なる撮像法とは、例えば、コントロール画像に現れる撮像対象物に、対象画像に現れる撮像対象物とは何らかの相違が生じるような撮像法である。対象画像とは異なる撮像法とは、例えば、対象画像が可視光により像が検出された可視光画像であれば、赤外線により像を検出する撮像法である。対象画像とは異なる撮像法の他の例としては、例えば、対象画像が超音波画像であれば、核磁気共鳴画像法（ＭＲＩ）である。
【００２３】
撮像法の相違は、撮像条件の相違であってもよい。撮像条件の相違は、例えば、撮像時の光量の違いである。光量の違いは、例えば、フラッシュの有無又は環境光の相違によって生じることがある。撮像条件の相違は、例えば、撮像に用いられるレンズの違いであってもよい。レンズの相違は撮像によって得られる像の相違を生じさせる。
【００２４】
撮像部２０は、１又は複数の撮像装置を有する。複数の撮像装置２１，２３を有する撮像部２０は、例えば、アレイカメラとして構成される。複数の撮像装置２１，２３は、近接して配置され、同じ撮像対象物を撮像することができる。複数の撮像装置は、例えば、コントロール画像を撮像する撮像装置２１と、対象画像を撮像する撮像装置２３とを備える。
【００２５】
撮像装置２１は、例えば、可視光カメラ２１である。可視光カメラ２１は、可視光に基づく撮像装置である、可視光カメラ２１によって撮像された可視光画像は、肉眼で見える像と同様の像を有する。実施形態において、可視光画像は、コントロール画像として用いられる。
【００２６】
撮像装置２３は、例えば、赤外線カメラ２３である。赤外線カメラ２３は、赤外線に基づく撮像装置である。赤外線カメラ２３によって撮像された赤外線画像は、撮像対象物からの赤外線を視覚化した画像である。赤外線画像は、サーマル画像とよばれることもある。実施形態において、赤外線画像は、対象画像として用いられる。
【００２７】
赤外線は、赤外線は、波長が、約０．７μから１ｍｍの範囲の電磁波である。赤外線は可視光よりも波長が長い。赤外線は、例えば、近赤外線、中赤外線及び遠赤外線に分類される。遠赤外線は、例えば、波長８〜１４μｍの電磁波である。赤外線カメラ２３は、いずれの赤外線をとらえるものであってもよい。実施形態の赤外線カメラ２３は、例えば、遠赤外線カメラである。遠赤外線カメラは、遠赤外線の強弱をとらえることができる。
【００２８】
赤外線カメラ２３は可視光カメラ２１よりも解像度が劣ることが多い。この結果、赤外線画像は、可視光画像よりも解像度が低いことが多い。特に遠赤外線カメラによって撮像された赤外線画像は解像度が低い。一方、可視光カメラは、ＣＭＯＳ技術の発展により、高解像度であり、比較的、低価格である。赤外線カメラは、低解像度であっても高価格であることが多く、十分に高い解像度を持つものは非常に高価である。とりわけ、遠赤外線カメラにおいてはその傾向が顕著である。
【００２９】
本実施形態では、高解像度であっても比較的安価である可視光カメラ２１で撮像された画像をコントロール画像とし、可視光カメラ２１よりも低解像度の遠赤外線カメラ２３で撮像された画像を対象画像とする。低解像度の遠赤外線カメラ２３の採用により、撮像システム１０の高価格化を抑制できる。
【００３０】
撮像部２０は、複数の撮像装置２１，２３を有している必要はなく、一つの撮像装置だけを有していても良い。一つの撮像装置によって対象画像及びコントロール画像を撮像するには、前述の撮像条件を異ならせればよい。
【００３１】
図１に示すように、撮像システム１０は、画像処理装置３０を備える。画像処理装置３０は、例えば、コンピュータを備える。コンピュータは、プロセッサ５０及び記憶装置４０を備える。プロセッサ５０は、記憶装置４０に格納されたコンピュータプログラムを実行する。コンピュータプログラムは、対象画像に対する画像処理をコンピュータに実行させるコードを含む。実施形態のコンピュータプログラムは、撮像部２０による撮像を制御する処理をコンピュータに実行させるコードも含むことができる。
【００３２】
記憶装置４０は、コントロール画像の記憶領域４１を有する。可視光カメラ２１によって撮像されたコントロール画像は、記憶領域４１に格納される。記憶装置４０は、対象画像の記憶領域４３を有する。赤外線カメラ２３によって撮像された対象画像は、記憶領域４３に格納される。記憶装置４０は、対象画像に対する画像処理によって生成された生成画像の記憶領域４５を有する。
【００３３】
プロセッサ５０によって実行される画像処理は、フィルタリング処理５１を含む。フィルタリング処理５１において、プロセッサ５０は、記憶領域４３に格納された対象画像にフィルタを適用し、生成画像を生成する。プロセッサ５０は、生成画像を、記憶領域４５に格納する。
【００３４】
実施形態のフィルタは、複数のフィルタ重みを有して構成される。実施形態のフィルタは、コントロール画像及び対象画像に基づいて生成される。フィルタリング処理５１の詳細は、後述する。
【００３５】
［２．２  バイラテラルフィルタ（bilateral filter）］
【００３６】
以下では、実施形態のフィルタのベースとなったバイラテラルフィルタについて説明する。バイラテラルフィルタは、ガウス関数を用いた空間重み及び輝度値重みを有する。バイラテラルフィルタは、エッジを保存しつつ画像を平滑化する。バイラテラルフィルタを用いたフィルタリング処理は、例えば、次式で表される。
【数１Ａ】
2018005518.tif 000003
ここで、Ｉは、対象画像である。Ｆは、フィルタリングにより生成された画像である。ｐは注目画素である。ｑは周辺画素である。周辺画素ｐは、注目画素ｐの周辺領域に含まれる画素である。周辺画素は中心画素を含む。Ｉ（ｑ）は対象画像Ｉの周辺画素ｑにおける画素値である。Ｆ（Ｉ（ｐ））は、生成画像Ｆの注目画素ｐにおける画素値である。Ｎ（ｐ）は、画素ｐの周辺領域の範囲を示す。Ｎ（ｐ）は、式１Ａにおける積和計算の範囲となる。
【００３７】
式１Ａに示すバイラテラルフィルタは、注目画素ｐと周辺画素ｑとの距離に基づく空間重みＷｓを有する。空間重みＷｓは、例えば、次式によって求められる。空間重みＷｓは、注目画素ｐと周辺画素ｑとの距離が大きくなるほど小さくなる。空間重みＷｓによって、画像が平滑化される。
【数２】
2018005518.tif 000004
ここで、σｓは、重みＷｓを決定するパラメータであり、分散を示す。
【００３８】
式１Ａに示すバイラテラルフィルタは、対象画像Ｉにおける注目画素値Ｉ（ｐ）と周辺画素値Ｉ（ｐ）との差に基づく画素値重みＷｃを有する。画素値重みは、例えば、次式によって求められる。画素値重みＷｃは、注目画素値Ｉ（ｐ）と周辺画素値Ｉ（ｑ）との差が大きくなるほど小さくなる。画素値重みＷｃによって対象画像Ｉのエッジが保存される。
【数３】
2018005518.tif 000005
ここで、σｃは、重みＷｃを決定するパラメータであり、分散を示す。
【００３９】
バイラテラルフィルタを用いたフィルタリングでは、対象画像Ｉの周辺画素値Ｉ（ｑ）に対して、空間重みＷｓと画素値重みＷｃとの積が掛けられ、複数の周辺画素ｑについての総和が求められる。
【００４０】
式１ＡにおけるＷは、正規化パラメータであり、次式のように、ＷｓとＷｃの積和計算によって得られる。
【数４】
2018005518.tif 000006
【００４１】
［２．３  ジョイントバイラテラルフィルタ（joint bilateral filter）］
対象画像Ｏとは別のコントロール画像Ｉに基づいて求めた重みＷｓ，Ｗｃの積が対象画像Ｏに対するフィルタリングに用いられるフィルタは、ジョイントバイラテラルフィルタとよばれる。ジョイントバイラテラルフィルタを用いたフィルタリング処理は、例えば、次式で表される。
【数１Ｂ】
2018005518.tif 000007
ここで、Ｏは、対象画像である。Ｆは、フィルタリングによる生成画像である。ｐは注目画素である。ｑは周辺画素である。Ｏ（ｑ）は対象画像Ｏの周辺画素ｑにおける画素値である。Ｆ（Ｏ（ｐ））は、生成画像Ｆの注目画素ｐにおける画素値である。Ｎ（ｐ）は、画素ｐの周辺領域の範囲を示す。Ｎ（ｐ）は、式１Ｂにおける積和計算の範囲となる。
【００４２】
式１Ｂにおいて、重みＷｓ，Ｗｃは、対象画像Ｏではなく、コントロール画像Ｉに基づいて求められる。式１Ｂにおいて、その他の点は、式１Ａと同様である。
【００４３】
ジョイントバイラテラルフィルタは、可視光画像などのコントロール画像に基づいて求められた重みＷｓ，Ｗｃを利用して、距離画像などの別の対象画像Ｏをフィルタリングするために用いられる。
【００４４】
ジョイントバイラテラルフィルタを、高解像度のコントロール画像と低解像度の対象画像の組に適用すると、対象画像の解像度をコントロール画像の解像度まで高くすることができる。このような高解像度化処理をアップサンプリングとよぶ。アップサンプリングは、次式で表される。
【数１Ｃ】
2018005518.tif 000008
ここで、Ｔは、高解像度のコントロール画像Ｉと低解像度の対象画像Ｏとの間の画素の対応関係を求める変換処理である。変換処理は、例えば、画素の補間処理によって行われる。変換処理が施された対象画像Ｏは、コントロール画像Ｉの画素数に対応した画素数を持つ。Ｔ（ｐ）は、変換処理が施された対象画像Ｏにおける画素ｑの画素値である。式１Ｃにおいて、その他の点は、式１Ｂと同様である。
【００４５】
［２．４  トライラテラルフィルタ（trilateral filter）］
実施形態のフィルタは、コントロール画像Ｉから求めた重みＷｓ，Ｗｃだけでなく、対象画像Ｏから求めた重みＷｏをも有する。重みＷｏは、対象画像Ｏにおける注目画素値Ｏ（ｐ）と周辺画素値Ｏ（ｑ）との差に基づく重みである。重みＷｃは、コントロール画像Ｉから求められるのに対し、重みＷｏは、対象画像Ｏから求められる。以下、重みＷｃを第１重みといい、重みＷｏを第２重みということがある。
【００４６】
以下では、実施形態のフィルタを、トライラテラルフィルタとよぶ。トライラテラルフィルタによるフィルタリング処理は、図１に示すフィルタリング処理５１に対応し、例えば、次式で表される。
【数１Ｄ】
2018005518.tif 000009
ここで、Ｏは、対象画像である。Ｆは、フィルタリングによる生成画像である。ｐは注目画素である。ｑは周辺画素である。Ｔは、高解像度のコントロール画像Ｉと低解像度の対象画像Ｑとの間の画素の対応関係を求める変換処理である。Ｔ（ｐ）は、変換処理が施された対象画像Ｏにおける画素ｑの画素値である。Ｏ（Ｔ（ｑ）は変換処理が施された対象画像Ｏの画素ｑにおける画素値である。Ｆ（Ｏ（ｐ））は、生成画像Ｆの画素ｐにおける画素値である。Ｎ（ｐ）は、画素ｐの周辺領域の範囲を示す。Ｎ（ｐ）は、式１Ｄにおける積和計算の範囲となる。
【００４７】
式１Ｄに示すフィルタは、低解像度の対象画像に対する変換処理Ｔを含む。変換処理Ｔによって、低解像度の対象画像Ｏの画素数を、高解像度のコントロール画像Ｉに対応させることができる。ただし、トライラテラルフィルタは、変換処理Ｔを含まなくても良い。
【００４８】
図２に示すように、式１Ｄにおける空間重みＷｓは、コントロール画像Ｉに基づき、式２によって求められる。式１Ｄにおける輝度値重みである第１重みＷｃは、コントロール画像Ｉに基づき、式３によって求められる。なお、空間重みＷｓは、変換処理Ｔが施された対象画像Ｏに基づいて求められても良い。
【００４９】
図２に示すように、式１Ｄにおける他の輝度値重みである第２重みＷｏは、対象画像Ｏに基づき、次式によって求められる。第２重みＷｏは、対象画像Ｏの注目画素値Ｏ（Ｔ（ｐ））と周辺画素値Ｏ（Ｔ（ｑ））との差が大きくなるほど小さくなる。第２重みＷｏによって、対象画像Ｏのエッジがぼやけるのを防止できる。
【数５Ａ】
2018005518.tif 000010
ここで、σｏは、重みＷｏを決定するパラメータであり、分散を示す。
【００５０】
プロセッサ５０は、σ０の値を設定する処理を行うことができる。プロセッサ５０は、σｓ，σｃの値を設定する処理を行うこともできる。プロセッサ５０は、重みＷｃと重みＷｏの大きさのバランスを調整する処理を行うこともできる。重みＷｃを大きくすれば、フィルタリングの際に、コントロール画像Ｉの効きがより強くなり、重みＷｏを大きくすれば、フィルタリングの際に、対象画像Ｉの効きがより強くなる。重みＷｃと重みＷｏの大きさのバランス調整は、例えば、σｃ，σｏの値を調整することで行われても良いし、重みに調整用の係数を掛けることで行われても良い。重みＷｃと重みＷｏのバランスの調整は、画像毎に行われても良いし、画像中の画素毎又は画像中の部分領域毎に局所的に行われても良い。
【００５１】
トライラテラルフィルタを用いたフィルタリング処理５１では、対象画像Ｏの周辺画素値Ｏ（Ｔ（ｑ））に対して、空間重みＷｓと第１重みＷｃと第２重みＷｏとの積が掛けられ、複数の周辺画素ｑについての総和が求められる積和計算が行われる。
【００５２】
式１ＤにおけるＷは、正規化パラメータであり、次式のように、ＷｓとＷｃとＷｏとの積和計算によって得られる。フィルタリング処理５１では、Ｗによって、空間重みＷｓと第１重みＷｃと第２重みＷｏの積和計算結果が正規化される。正規化された値が、生成画像における画素ｐの画素値となる。
【数６】
2018005518.tif 000011
【００５３】
図３は、バイラテラルフィルタにおける重みＷｓ，Ｗｃの求め方を示している。図２と図３との対比からも明らかなように、トライラテラルフィルタは、ジョイントバイラテラルフィルタに、対象画像Ｏから求めた輝度値重みＷｏを追加したものである。対象画像Ｏから求めた輝度値重みＷｏは、対象画像Ｏのエッジを保存するように機能するため、生成画像のエッジがぼやけるのを防止できる。
【００５４】
式１Ｄにおける第２重みＷｏは、対象画像から求められた輝度値重みであるという点で、式１Ａに示すバイラテラルフィルタにおける輝度値重みＷｃと共通する。また、式１Ｄにおける空間重みＷｓも、式１Ａに示すバイラテラルフィルタにおける空間重みＷｓと同様ものである。したがって、式１Ｄに示すトライラテラルフィルタは、式１Ｃに示すジョイントバイラテラルフィルタと、式１Ａに示すバイラテラルフィルタとを融合したものであると考えることができる。
【００５５】
ジョイントバイラテラルフィルタは、対象画像がコントロール画像にないエッジを有する場合、生成画像において対象画像のエッジを保存することができず、生成画像が部分的に対象画像からかけ離れたものとなることがある。しかし、トライラテラルフィルタは、対象画像Ｏのエッジを保存するように機能する輝度値重みＷｏを有するため、コントロール画像にないエッジがぼやけるのを抑制する。この結果、生成画像が対象画像から大きくかけ離れることを抑制できる。しかも、トライラテラルフィルタは、ジョイントバイラテラルフィルタに基づいているため、ジョイントバイラテラルフィルタとしての機能も期待できる。
【００５６】
図４Ａ及び図５Ａは、ジョイントバイラテラルフィルタによるフィルタリング処理結果の例を示している。図４Ａに示すコントロール画像Ｉは、可視光カメラ２１で撮像された高解像度のカラー可視光画像である。撮像対象物は、ある建物の屋上である。図４Ａに示す対象画像Ｏは、同じ撮像対象物を赤外線カメラ２３で撮像した赤外線画像である。赤外線画像は、可視光画像よりも低解像度である。
【００５７】
図５Ａに示す画像Ｉ，Ｏ，Ｆは、図４Ａに示す画像Ｉ，Ｏ，Ｆの拡大画像である。図５Ａにおけるコントロール画像Ｉの領域Ａに着目すると、コントロール画像Ｉでは、屋上面と、屋上面に建てられた構造物の屋根と、は同じ色であり、両者の境界にはエッジが存在しない。これに対して、対象画像Ｏの領域Ｂに着目すると、屋上面と、屋上面に建てられた構造物の屋根と、では温度が異なるため、赤外線画像としては、両者に濃淡差が生じ、両者の境界にエッジが存在する。
【００５８】
領域Ａ及び領域Ｂは撮像対象物における同じ領域であるにもかかわらず、撮像法の違いにより、コントロール画像Ｉの領域Ａではエッジが存在せず、対象画像Ｏの領域Ｂではエッジが存在する。このようなコントロール画像Ｉから求めた重みＷｓ，Ｗｃを有するジョイントバイラテラルフィルタを対象画像Ｏに適用すると、図５Ａにおける生成画像Ｆの領域Ｃに示すように、対象画像Ｏの領域Ｂに存在していたエッジが、エッジを有しないコントロール画像Ｉに引きずられて、ぼやけてしまう。
【００５９】
図６Ａは、バイラテラルフィルタリングによる生成画像１０２ａ，１０２ｂと、トライラテラルフィルタリングによる生成画像１０３ａ，１０３ｂとを示している。生成画像１０２ｂ及び生成画像１０３ｂは、それぞれ、生成画像１０２ａ及び生成画像１０３ａの拡大画像である。バイラテラルフィルタリングによる生成画像１０２ｂの領域Ｃでは、エッジがぼやけているのに対して、トライラテラルフィルタリングによる生成画像１０３ｂの領域Ｄでは、エッジが保存されている。
【００６０】
このようにジョイントバイラテラルフィルタでは、低解像度の赤外線画像を高解像度の可視光画像を用いて高解像度化すると、適切な高解像度化が行えないことがあるのに対して、実施形態のトライラテラルフィルタリングでは、低解像度の赤外線画像を適切に高解像度化することができる。実施形態のトライラテラルフィルタリングを利用すると、比較的安価な低解像度の赤外線カメラ２３を用いて、高解像度の赤外線画像が得られるため、非常に高価な高解像度の赤外線カメラを用いる必要がなく有利である。
【００６１】
なお、図４Ｂ，図５Ｂ及び図６Ｂ中の画像は、図４Ａ，図５Ａ及び図６Ａ中の画像それぞれに対して、ディザリング（Dithering）処理を施して２値のディザ画像としたものである。ディザリング処理を行うことは、本発明及びその実施形態とは無関係である。権限を有する機関による本願の公開に際して、仮に図４Ａ，図５Ａ及び図６Ａ中の画像に劣化が生じた場合であっても、図４Ｂ，図５Ｂ及び図６Ｂによって、第三者が画像を認識できるようにすることが意図されている。後述の図７Ｂも図７Ａのディザ画像であり、同様の意図に基づくものである。
【００６２】
さて、トライラテラルフィルタによるフィルタリング処理は、ベクトル値を持つ対象画像Ｏにも適用できる。ベクトル値を持つ対象画像Ｏへのトライラテラルフィルタリングは、例えば、次式で表される。式１Ｅに関し、特に説明しない点は、式１Ｄと同様である。
【数１Ｅ】
2018005518.tif 000012
【００６３】
式１Ｅにおける第２重みＷｏは、対象画像Ｏに基づき、次式によって求められる。
【数５Ｂ】
2018005518.tif 000013
【００６４】
［２．４  局所トライラテラルフィルタ（local trilateral filter）］
式１Ｅに示すトライラテラルフィルタでは、対象画像Ｏに基づく第２重みＷｏによるフィルタリングも行われるため、対象画像Ｏの空間解像度が低い場合、空間解像度の向上には限界が生じる。そこで、トライラテラルフィルタにおける第１重みＷｃ及び第２重みＷｏの大きさのバランスを、画像上の場所（座標）に応じて局所的に変更すると、例えば、生成画像Ｆにおける空間解像度をより向上させて、よりシャープな画像を得ることができる。画像上の場所に応じて第１重みＷｃ及び第２重みＷｏの大きさのバランスが変更されるトライラテラルフィルタを、局所トライラテラルフィルタという。局所トライラテラルフィルタは、コントロール画像と解像度が同じ対象画像に適用してもよい。
【００６５】
実施形態の局所トライラテラルフィルタを用いたフィルタリング処理５１では、第１重みＷｃ及び第２重みＷｏのバランスは、コントロール画像Ｉと対象画像Ｏとの局所的な相互関連性に基づいて設定される。局所的な相互関連性とは、２つの画像Ｉ，Ｏの局所的な領域における、２つの画像Ｉ，Ｏ相互の関連性をいう。局所的な領域は、１又は複数の画素からなる範囲である。局所的な相互関連性としては、例えば、コントロール画像Ｉと対象画像Ｏとの局所相互情報量が用いられる。
【００６６】
２つの画像Ｉｘ及び画像Ｉｙの画素ｐにおける局所相互情報量μＸＹ（ｐ）は、例えば、次式で定義される。
【数７】
2018005518.tif 000014
ここで、Ｎ（ｐ）は画素Ｐの近傍系、ＰＸＹ（ＩＸ（ｑ），ＩＹ（ｑ））は画素値ＩＸ（ｑ），ＩＹ（ｑ）の同時生起確率、ＰＸ（ＩＸ（ｑ）），ＰＹ（ＩＹ（ｑ））は、それぞれ、画素値ＩＸ（ｑ），ＩＹ（ｑ）の生起確率である。
【００６７】
プロセッサ５０は、フィルタリング処理において、各画素ｐについて、コントロール画像Ｉと対象画像Ｏとの局所相互情報量μｃｏを求める。ある注目画素ｐにおいて、コントロール画像Ｉと対象画像Ｏとの局所相互情報量μｃｏが大きければ、その注目画素ｐ付近においては、二つの画像Ｉ，Ｏ間で相互関連性が高い。相互関連性が高ければ、コントロール画像Ｉの効き方を強めても問題はない。したがって、ある注目画素ｐにおいて局所相互情報量μｃｏが大きければ、プロセッサ５０は、コントロール画像Ｉに基づく第１重みＷｃのほうが大きくなるように、注目画素ｐにおける両重みＷｃ，Ｗｏの大きさのバランスを設定する。
【００６８】
一方、ある注目画素ｐにおいて、コントロール画像Ｉと対象画像Ｏとの局所相互情報量が小さければ、その注目画素ｐ付近においては、二つの画像Ｉ，Ｏ間で相互関連性が低い。相互関連性が低ければ、コントロール画像Ｉの効き方を弱めて対象画像Ｏの効き方を強めるべきである。したがって、ある注目画素ｐにおいて局所相互情報量μｃｏが小さければ、プロセッサ５０は、対象画像Ｏに基づく第２重みＷｏのほうが大きくなるように、注目画素ｐにおける両重みＷｃ，Ｗｏの大きさのバランスを設定する。
【００６９】
重みＷｃ，Ｗｏの大きさのバランス調整は、前述のように、例えば、プロセッサ５０がパラメータσｃ，σｏの値を調整する処理を実行することで行える。パラメータσｃ，σｏの値の調整は、画素毎に行われても良いし、複数の画素を含む部分領域毎に行われても良い。σｃ，σｏの値の調整は、例えば、パラメータσｃ，σｏを、相互関連性の関数とすることで行われる。より具体的には、σｃ，σｏの値の調整は、パラメータσｃ，σｏを、相互情報量μｃｏの関数σｃ（μｃｏ），σｏ（μｃｏ）とすることで行える。
【００７０】
関数σｃ（μｃｏ）は、局所相互情報量μｃｏが大きくなれば、関数σｃ（μｃｏ）の値が小さくなり、局所相互情報量μｃｏが小さくなれば、関数σｃ（μｃｏ）の値が大きくなるものとすればよい。関数σｏ（μｃｏ）は、局所相互情報量μｃｏが大きくなれば、関数σｏ（μｃｏ）の値が大きく、局所相互情報量μｃｏが小さくなれば、関数σｏ（μｃｏ）の値が小さくなる。
【００７１】
換言すると、局所相互情報量μｃｏが大きくなれば、関数σｃ（μｃｏ）の値が小さくなり、関数σｏ（μｃｏ）の値が大きくなる。これにより、コントロール画像Ｉに基づく第１重みＷｃのほうが大きくなる。また、局所相互情報量μｃｏが小さくなれば、関数σｃ（μｃｏ）の値が大きくなり、関数σｏ（μｃｏ）の値が小さくなる。これにより、対象画像Ｏに基づく第２重みＷｏのほうが大きくなる。
【００７２】
相互情報量の関数であるパラメータσＣ，σＯの一例を以下に示す。相互情報量の関数であるパラメータσＣ，σＯの計算方法は、以下のものに限られない。以下において、σｒＯ，σｇＯ，σｂＯは、それぞれ、カラーコントロール画像Ｉの赤、緑、青チャネルｒ，ｇ，ｂ毎のパラメータである。σｒＣ，σｇＣ，σｂＣは、それぞれ、カラーコントロール画像Ｉの赤、緑、青チャネルｒ，ｇ，ｂ毎のパラメータである。
【数８】
2018005518.tif 000015
【数９】
2018005518.tif 000016
【数１０】
2018005518.tif 000017
【数１１】
2018005518.tif 000018
ここで、μｒｏ，μｇｏ，μｂｏは、それぞれ、カラーコントロール画像Ｉの赤、緑、青チャネルの画像Ｉｒ，Ｉｇ，Ｉｂそれぞれと対象画像Ｏとの局所相互情報量を表している。
【００７３】
式８〜式１０に示すように、パラメータσｒＯ，σｇＯ，σｂＯは、それぞれ、μｒＯ，μｇｏ，μｂＯの関数となっている。第２重みＷＯのためのパラメータσＯは、色チャネルｒ，ｇ，ｂ毎に求められたパラメータσｒＯ，σｇＯ，σｂＯに基づき、式１１のように求められる。
【００７４】
式８〜式１０に示すように、パラメータσｒＣ，σｇＣ，σｂＣも、それぞれ、μｒＯ，μｇｏ，μｂＯの関数となっている。第１重みＷｃは、色チャネルｒ，ｇ，ｂ毎に求められたパラメータσｒＣ，σｇＣ，σｂＣに基づき、次式によって求められる。
【数１２】
2018005518.tif 000019
【００７５】
図７Ａは、トライラテラルフィルタリングによる生成画像１０３ａ，１０３ｂ，１０３ｃと、局所トライラテラルフィルタリングによる生成画像１０４ａ，１０４ｂ，１０４ｃとを示している。生成画像１０３ｂ及び生成画像１０４ｂは、それぞれ、生成画像１０３ａ，１０４ａの拡大画像である。生成画像１０３ｃ，１０４ｃは、それぞれ、生成画像１０３ｂ及び生成画像１０４ｂの拡大画像である。
【００７６】
局所トライラテラルフィルタリングによる生成画像１０４ｃの領域Ｅでは、トライラテラルフィルタリングによる生成画像１０３ｂの領域Ｄに比べて、エッジがよりシャープになっており、空間解像度が向上している。
【００７７】
［３．付記］
本発明は、前述の実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【００７８】
１０  撮像システム
２０  撮像部
２１  可視光カメラ
２３  赤外線カメラ
３０  画像処理装置
４０  記憶装置
４１  コントロール画像の記憶領域
４３  対象画像の記憶領域
４５  生成画像の記憶領域
５０  プロセッサ
５１  フィルタリング処理
１０２ａ，１０２ｂ  生成画像
１０３ａ，１０３ｂ，１０３ｃ  生成画像
１０４ａ，１０４ｂ，１０４ｃ  生成画像
Ｏ  対象画像
Ｉ  コントロール画像
【図１】
2018005518.tif 000020
【図２】
2018005518.tif 000021
【図３】
2018005518.tif 000022
【図４Ａ】
2018005518.tif 000023
【図４Ｂ】
2018005518.tif 000024
【図５Ａ】
2018005518.tif 000025
【図５Ｂ】
2018005518.tif 000026
【図６Ａ】
2018005518.tif 000027
【図６Ｂ】
2018005518.tif 000028
【図７Ａ】
2018005518.tif 000029
【図７Ｂ】
2018005518.tif 000030