(57)【要約】  類似度の評価対象の画像群を構成する画像の種類によらず、類似度が高精度で検出されるようにするために、画像処理装置は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段１１と、各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段１２と、正規化された各々の前記相違度を統合する相違度統合手段１５とを含む。
2020075237.tif 000002
【特許請求の範囲】
【請求項１】
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段と、
正規化された各々の前記相違度を統合する相違度統合手段と
を備えた画像処理装置。
【請求項２】
前記正規化手段は、投票方式で前記相違度を正規化する
請求項１記載の画像処理装置。
【請求項３】
統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段をさらに備えた
請求項１または請求項２記載の画像処理装置。
【請求項４】
統合された相違度を平滑化して前記変形量算出手段に出力する統合相違度平滑化手段をさらに備えた
請求項３記載の画像処理装置。
【請求項５】
正規化された各々の前記相違度を平滑化して前記相違度統合手段に出力する相違度平滑化手段をさらに備えた
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出し、
各々の前記類似度評価のための手法による前記相違度を正規化し、
正規化された各々の前記相違度を統合する
画像処理方法。
【請求項７】
投票方式で前記相違度を正規化する
請求項６記載の画像処理方法。
【請求項８】
統合された相違度を最小にする変形量を画像の変形量とする
請求項６または請求項７記載の画像処理方法。
【請求項９】
前記画像の変形量を導出する前に、統合された相違度を平滑化する
請求項８記載の画像処理方法。
【請求項１０】
正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する
請求項６から請求項９のうちのいずれか１項に記載の画像処理方法。
【請求項１１】
コンピュータに、
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化処理と、
正規化された各々の前記相違度を統合する相違度統合処理と
を実行させるための画像処理プログラム。
【請求項１２】
コンピュータに、
投票方式で前記相違度を正規化させる
請求項１１記載の画像処理プログラム。
【請求項１３】
コンピュータに、
統合された相違度を最小にする変形量を画像の変形量とする処理を実行させるための
請求項１１または請求項１２記載の画像処理プログラム。
【請求項１４】
コンピュータに、
前記画像の変形量を導出する前に、統合された相違度を平滑化する処理を実行させるための
請求項１３記載の画像処理プログラム。
【請求項１５】
コンピュータに、
正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する処理を実行させるための
請求項１１から請求項１４のうちのいずれか１項に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種類の画像の類似度を判定する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
複数の様式の情報を入力し、入力された情報に基づいて情報処理を行うマルチモーダル情報処理方式がある。【０００３】
画像処理分野において、単一モーダル（例えば、可視画像）の情報のみを用いるよりも複数のモーダル（例えば、可視画像と遠赤外画像）の情報を併用する方が、より多様なシーンに対応でき、画像処理の精度が向上することが知られている。例えば、一般的なカメラで撮影された可視画像と遠赤外線カメラなどで撮影された非可視画像とが合成されることによって、それぞれの画像単独では捉えにくい対象物などの視認性が向上する。【０００４】
以下、可視画像とは別の画像として、遠赤外画像を例にする。一般に、遠赤外画像を出力するカメラ（別モーダルとする。）は、可視画像を出力するカメラとは独立して設置されている。したがって、別モーダルが出力する画像と可視画像との間で、視差が生ずる。すなわち、ある対象物の可視画像における位置と遠赤外画像における位置とがずれる。【０００５】
非特許文献１には、特殊な装置による視差が除去されたデータを用いることによって、位置ずれの問題を回避する方法が記載されている。【０００６】
非特許文献２には、ある画像とｘ方向に平行移動した他の画像とのペア（画像ペア）の類似度を算出する処理によって、また、高品位化のためのフィルタ処理や最適化処理を併用して、視差や変形量を求める方法が開示されている。類似度として、画素値の差分絶対値和、相互情報量、正規相互相関などが用いられる。【０００７】
また、非特許文献２には、画素単位でコストボリュームを生成し、コストボリュームに対してフィルタリングを行い、最小コストを与える視差を採用する手法が記載されている。視差に着目した場合には、コストボリュームは、基準画像と参照画像とで対応する画素についての画素値がどの程度相違しているかを表すコストが水平方向、垂直方向、視差方向に分布した集合である。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Soonmin Hwang, et al., "Multispectral Pedestrian Detection:Benchmark Dataset and Baseline", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015
【非特許文献２】Asmaa Hosni, et al., "Fast cost-volume filtering for visual correspondence and beyond", IEEE Transactions on Pattern Analysis and Machine Intelligence, 35.2, 2013, pp.504-511
【非特許文献３】Marshall F. Tappen, William T. Freeman, "Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters", Proceedings Ninth IEEE International Conference on Computer Vision, 2003
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非特許文献１に記載された方法を実施する画像処理装置を実現しようとすると、特殊な装置が必要である。すると、画像処理装置が高価になる。【００１０】
上述したように、非特許文献２に記載された方法を実施する場合、類似度として、画素値の絶対値和、相互情報量、正規相互相関などの指標が用いられるが、類似度の検出対象の画像に応じて最適な手法は異なる。例えば、画像ペアが２つの可視画像で構成されるときには、画素値の絶対値和は有効な指標である。しかし、画像ペアが可視画像と遠赤外画像とで構成されるときには、画素値の絶対値和は有効な指標であるとはいいがたい。なぜなら、一般に、可視画像の値域と遠赤外画像の値域とは異なるので、可視画像の画素値と遠赤外画像の画素値との差分絶対値和は、大きな値になるからである。【００１１】
本発明は、類似度の評価対象の画像群を構成する画像の種類によらず、類似度を高精度で検出できる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による画像処理装置は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、各々の類似度評価のための手法による相違度を正規化する正規化手段と、正規化された各々の相違度を統合する相違度統合手段とを含む。【００１３】
本発明による画像処理方法は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出し、各々の類似度評価のための手法による相違度を正規化し、正規化された各々の相違度を統合する。【００１４】
本発明による画像処理プログラムは、コンピュータに、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、各々の類似度評価のための手法による相違度を正規化する正規化処理と、正規化された各々の相違度を統合する相違度統合処理とを実行させる。
【発明の効果】
【００１５】
本発明によれば、類似度の評価対象の画像群を構成する画像の種類によらず、類似度が高精度で検出される。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置の構成を示すブロック図である。
【図２】画像処理装置の動作を示すフローチャートである。
【図３】正規化部の機能を説明するための説明図である。
【図４】画像処理方法の概略を示す説明図である。
【図５】ＣＰＵを有するコンピュータの一例を示すブロック図である。
【図６】画像処理装置の主要部を示すブロック図である。
【図７】他の態様の画像処理装置の主要部を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面を参照して説明する。
【００１８】
図１は、画像処理装置の構成例を示すブロック図である。画像処理装置１００は、画像入力部１０１と、相違度算出部２０１と、正規化部２０２と、相違度平滑化部２０３と、相違度統合部２０４と、統合相違度平滑化部２０５と、変形量算出部２０６と、出力部３０１とを備えている。
【００１９】
画像入力部１０１は、１台以上のカメラ（図示せず）またはセンサ（図示せず）で取得された複数の画像を入力する。複数の画像は、視差や変形量を求める対象である画像群を構成する。画像入力部１０１には、カメラや測定用のセンサなどによって得られた１枚以上の画像や測定値が入力される。入力される画像は、可視光カメラや可視光センサからの可視画像や測定値に限定されない。例えば、可視光カメラや可視光センサから以外のカメラやセンサで取得された画像が入力されてもよい。一例として、温度画像や深度画像が入力されてもよい
【００２０】
なお、画像入力部１０１は、入力された画像に対して、ノイズ除去等を目的として、トーンマッピング処理、超解像処理、ぼけ除去処理、画像融合処理などの画像処理を施してもよい
【００２１】
相違度算出部２０１は、画像入力部１０１に入力された画像群のうちのいずれかを１つ以上の変形の仕方で変形する。相違度算出部２０１は、さらに、変形した画像とそれ以外の画像との類似度を評価する。一例として、相違度算出部２０１は、画像群のうち、一の画像以外の画像をずらした後、画像間の正規化相互相関、差分絶対値和、位相限定相関などの複数の類似度算出方法（類似度評価のための手法）を使用して画像の相違度（または、類似度）を算出する。そして、本実施形態では、相違度算出部２０１は、相違度に対応する値であるコストボリュームを算出する。
【００２２】
正規化部２０２は、各々の類似度算出方法で算出された相違度に基づくコストボリュームを、投票方式で正規化する。
【００２３】
相違度平滑化部２０３は、正規化された各々のコストボリュームを平滑化する。
【００２４】
相違度統合部２０４は、相違度平滑化部２０３で平滑化されたコストボリュームを統合する。
【００２５】
統合相違度平滑化部２０５は、統合された相違度（統合相違度）を平滑化する。
【００２６】
変形量算出部２０６は、平滑化された相違度から、画素ごとに最小値を探索することによって、視差や変形量を求める。
【００２７】
出力部３０１は、変形量算出部２０６で求められた画像間の視差や変形量を出力する。
【００２８】
次に、図２のフローチャートを参照して画像処理装置１００の動作を説明する。
【００２９】
画像入力部１０１は、複数の画像または測定値を入力する（ステップＳ１０１）。画像入力部１０１は、入力された画像または測定値をメモリ（図示せず）等に保存する。なお、画像入力部１０１が入力する画像は、カメラからの画像に限定されない。例えば、深層学習の途中の処理結果が、多チャンネルの画像（複数の画像）として入力されてもよい。また、数値シミュレーションなどによって算出されたベクトルデータ（速度場、密度場など）が、多チャンネルの画像（複数の画像）として入力されてもよい。
【００３０】
相違度算出部２０１は、画像入力部１０１に入力された複数の画像のうちのいずれかを１つ以上の変形方法で変形する。ここでは、画像群に２つの画像が含まれる場合を例にする。すなわち、画像ペアが画像入力部１０１に入力される。相違度算出部２０１は、画像ペアを構成する一方の画像を変形する。相違度算出部２０１は、変形した画像とそれ以外の画像との相違度を算出する（ステップＳ１０２）。
【００３１】
画像の変形と相違度の算出の具体例を説明する。
【００３２】
画像ペアのうちの変形されない画像を基準画像という。変形される画像を参照画像という。以下、基準画像をI(j)とする。j は画素（具体的には、画素位置）を示す。また、参照画像をJ(j)とする。
【００３３】
相違度算出部２０１は、参照画像J(j)に、平行移動などの幾何変形を施す。例えば、平行移動が施される場合には、相違度算出部２０１は、平行移動量として、「右に１画素」、「右に２画素」、「右に３画素」、「変形なし」（移動させない。）、「左に１画素」、「左に２画素」、「左に３画素」などを使用する。この場合には、１つの参照画像について、変形によって、７種類の変形の仕方（「変形なし」も含まれる。）で変形された複数種類の画像が生成される。相違度算出部２０１は、生成した変形画像をメモリ（図示せず）に保存する。
【００３４】
以下、変形された参照画像を変形画像という。変形画像をK(j, n) と表す。n は、変形の仕方（具体的には、変形量）を識別するための値である。上記の例では、「右に１画素」、「右に２画素」、「右に３画素」、「変形なし」、「左に１画素」、「左に２画素」、「左に３画素」の各々に対応して、n は、１〜７のいずれかの値になる。
【００３５】
なお、相違度算出部２０１が実行する変形は、平行移動に限定されない。例えば、相違度算出部２０１は、参照画像を、ホモグラフィ変換、アフィン変換、またはヘルマート変換を用いて変形してもよい。また、相違度算出部２０１は、各変換を特徴づけるパラメータを複数種類（例えば、ホモグラフィ変換の場合には８つのパラメータ）用意し、パラメータごとに画像を変形させることによって、複数種類の変形画像を生成してもよい。
【００３６】
また、相違度算出部２０１は、例えば、画素ごとに複数種類の位置ずれ量を個別に与え、複数種類の位置ずれ量毎に画像を変形させることによって変換画像を生成してもよい。
【００３７】
また、相違度算出部２０１は、設置されているカメラの特性に応じて、変形の仕方を選択してもよい。一例として、カメラが横に整列して並んでいる場合、これらのカメラ配置に対応するエピポーラ線の周辺に各画素が平行移動した変形画像を使用してもよい。
【００３８】
相違度算出部２０１は、生成した各変形画像と基準画像との間の相違度（または、類似度）を算出する。
【００３９】
相違度算出部２０１は、例えば、基準画像I(j)と変形画像K(j,k) との正規化相互相関、差分絶対値和、位相限定相関など複数の類似度算出方法を使用して画像の相違度（または、類似度）を算出する。相違度算出部２０１は、相違度に対応する値であるコストボリュームを算出する。
【００４０】
相違度算出部２０１は、例えば、以下のようにコストボリュームC(j, k) を算出する。k は、変形量（例えば、ずれ量すなわちシフト量）を示す。
【００４１】
（１）式は、コストボリュームC(j, k)の表現の一例を示す式である。（１）式において、(x, y)は、画素j の２次元表現に相当する。I は一方の画像（基準画像）を示し、J は他方の画像（参照画像）を示す。αは、右辺の第１項と第２項とのバランスを調整するためのパラメータである。gradx は、画素値のｘ方向の勾配を示す。T1，T2は、コストの打ち切り値を示す。
【００４２】
【数１】
2020075237.tif 000003
【００４３】
類似度算出方法に応じたコストボリュームをC(j, k, l)とする。なお、l は、類似度算出方法を識別するための値である。例えば、類似度算出方法として、正規化相互相関、差分絶対値和および位相限定相関の３種類が用いられる場合には、l は１〜３のいずれかの値になる。
【００４４】
正規化部２０２は、例えば、以下のような手順で、投票方式でコストボリュームC(j, k, l)を正規化する（ステップＳ１０３）。
【００４５】
図３は、正規化部２０２の機能を説明するための説明図である。
【００４６】
まず、正規化部２０２は、コストボリュームC(j, k, l)の各々（上記の例では、３つ）について、（２）式に示すように、画素j ごとに、ｋ （変形量）の方向での最小コストを算出する。なお、図３には、相違度算出部２０１が正規化相互相関を用いて相違度に対応するコストボリュームC(j, k, l)５０１を算出した例が示されている。
【００４７】
【数２】
2020075237.tif 000004
【００４８】
そして、正規化部２０２は、投票によって、正規化されたコストボリュームを生成する。
【００４９】
本実施形態では、画素j の周辺領域の画素j'に着目する。そして、正規化部２０２は、画素j の周辺領域をROI(j)としたきに、（３）式で表される値を正規化されたコストボリュームとする。すなわち、正規化部２０２は、画素j ごとに、周辺領域における最小コストになる要素の数を数え、すなわち、最小コストになる要素が投票され、その個数（投票数）を投票による正規化されたコストボリューム（図３における正規化されたコストボリューム５１１参照）とする。
【００５０】
【数３】
2020075237.tif 000005
【００５１】
（３）式において、δ（）は、ディラックのデルタ関数である。（３）式を用いる場合には、正規化されたコストボリュームは、周辺領域ROI(j)においてδ(kmin(j' , l))がk に等しい個数で表される。
【００５２】
相違度平滑化部２０３は、正規化された各々の相違度を平滑化する（ステップＳ１０４）。なお、本実施形態では、相違度はコストボリュームC(j, k, l)に反映されている。したがって、相違度平滑化部２０３は、具体的には、正規化された各々のコストボリュームを平滑化する。
【００５３】
なお、相違度平滑化部２０３は、正規化されたコストボリュームを画像空間上で（j 方向に）平滑化する。
【００５４】
相違度平滑化部２０３は、平滑化のために種々の手法を用いることができる。一例として、相違度平滑化部２０３は、非特許文献２に記載されたような画像空間における平滑化フィルタ（非特許文献２では、具体的には、guided filter ）を使用することができる。相違度平滑化部２０３は、非特許文献３に記載されているようなグラフカットなどの最適化手法を用いて、正規化されたコストボリュームを空間的に平滑化してもよい。
【００５５】
平滑化されたコストボリュームをD(j, k, l)とする。
【００５６】
なお、本実施形態では、相違度平滑化部２０３が、正規化されたコストボリュームを平滑化した後、相違度統合部２０４に出力するが、処理速度の向上等を目的として、相違度算出部２０１が算出したコストボリュームがそのまま相違度統合部２０４に入力されるようにしてもよい。
【００５７】
相違度統合部２０４は、平滑化された相違度を統合する（ステップＳ１０５）。なお、本実施形態では、相違度はコストボリュームC(j, k, l)に反映されている。したがって、相違度統合部２０４は、具体的には、平滑化されたコストボリュームD(j, k, l)を統合する。統合されたコストボリューム（統合コストボリューム）をE(j, k) とする。相違度統合部２０４は、例えば下記の（４）式に示すような重み付き線形和などを用いる。（４）式において、重みwlは、それぞれのコストボリュームに対応して設定される。
【００５８】
【数４】
2020075237.tif 000006
【００５９】
重みwlは、例えば、画像処理装置の利用者によってあらかじめ設定される。しかし、重みwlは、あらかじめ導出された実験データなどを用いて、機械学習などによって設定されてもよい。
【００６０】
相違度統合部２０４は、重み付き線形和以外の手法で、平滑化されたコストボリュームD(j, k, l)を統合してもよい。例えば、ソフトマックス関数などを用いて、平滑化されたコストボリュームD(j, k, l)を統合してもよい。具体的には、相違度統合部２０４は、平滑化されたコストボリュームD(j, k, l)の値が大きいほど、統合コストボリュームをE(j, k) の値が大きくなるような手法を用いて統合を行えばよい。
【００６１】
統合相違度平滑化部２０５は、統合された相違度（統合相違度）を画像空間で平滑化する（ステップＳ１０６）。なお、本実施形態では、相違度はコストボリュームに反映されている。したがって、統合相違度平滑化部２０５は、具体的には、統合コストボリュームE(j, k) を平滑化する。
【００６２】
なお、統合相違度平滑化部２０５は、統合コストボリュームE(j, k) を画像空間上で（j 方向に）平滑化する。平滑化された統合コストボリュームE(j, k) を、コストボリュームF(j, k) とする。
【００６３】
統合相違度平滑化部２０５は、平滑化のために種々の手法を用いることができる。一例として、統合相違度平滑化部２０５は、非特許文献２に記載されたような画像空間における平滑化フィルタを使用することができる。統合相違度平滑化部２０５は、非特許文献３に記載されているようなグラフカットなどの最適化手法を用いて、統合コストボリュームE(j, k) を空間的に平滑化してもよい。
【００６４】
なお、本実施形態では、統合相違度平滑化部２０５が、統合コストボリュームE(j, k) を平滑化した後、変形量算出部２０６に出力するが、処理速度の向上等を目的として、相違度統合部２０４が算出した統合コストボリュームE(j, k) がそのまま変形量算出部２０６に入力されるようにしてもよい。
【００６５】
変形量算出部２０６は、平滑化された相違度から、画素j ごとに最小値を探索することによって、視差や変形量を求める（ステップＳ１０７）。
【００６６】
変形量算出部２０６は、例えば、各画素j において、統合コストボリュームE(j, k) を最小にするk を算出し、そのk に対応する変形量や視差を、画像間の変形量や視差として算出する。一例として、変形量算出部２０６は、（５）式によって、統合コストボリュームE(j, k) を最小にするk を算出する。
【００６７】
【数５】
2020075237.tif 000007
【００６８】
参照画像に対して、「右に１画素」（k =1）、「右に２画素」（k =2）、「右に３画素」（k =3）、「変形なし」（k =4）、「左に１画素」（k =5）、「左に２画素」（k =6）、「左に３画素」（k =7）の７種類の変形が施されている場合を想定する。そして、統合コストボリュームE(j, k) を最小にするk としてkmin=3が得られたときには、変形量算出部２０６は、「右に３画素」を、画像間の視差や変形量とする。
【００６９】
出力部３０１は、変形量算出部２０６で求められた画像間の視差や変形量を出力する（ステップＳ１０８）。
【００７０】
次に、図４の説明図を参照して、画像処理方法の概略を説明する。
【００７１】
図４には、相違度算出部２０１は、ステップＳ１０２の処理で、相違度（コストボリュームC(j, k, l)）を算出するために、正規化相互相関、差分二乗和、および相互情報量を用いる例が示されている。すなわち、相違度算出部２０１は、正規化相互相関によるコストボリューム５０１、差分二乗和によるコストボリューム５０２、および相互情報量によるコストボリューム５０３を算出する。
【００７２】
正規化部２０２は、上述したように、ステップＳ１０３の処理で、コストボリューム５０１，５０２，５０３を投票によって正規化し、正規化されたコストボリューム５１１，５１２，５１３を生成する。
【００７３】
相違度統合部２０４は、ステップＳ１０５の処理で、正規化されたコストボリューム５１１，５１２，５１３を統合し、統合コストボリューム５２０を生成する。図４には、重みwlとして、a1，a2，a3が例示されている。
【００７４】
なお、上述したように、正規化されたコストボリューム５１１，５１２，５１３は、相違度平滑化部２０３によって平滑化されてもよい。
【００７５】
統合相違度平滑化部２０５は、ステップＳ１０６の処理で、統合コストボリューム５２０を平滑化して、最終的なコストボリューム５３０とする。
【００７６】
以上に説明したように、本実施形態では、相違度算出部２０１は、複数の手法で、画像ペアを構成する画像の相違度を評価する。上記の例では、相違度算出部２０１は、各々の手法による相違度に基づくコストボリュームを算出する。また、正規化部２０２が、各々の相違度（上記の例では、コストボリューム）を正規化する。上記の例では、正規化部２０２は、投票によってコストボリュームを正規化する。
【００７７】
画像処理装置は複数種類の相違度を併用し、正規化された複数の相違度が相違度統合部２０４において線形和などで統合される。その際に、正規化部２０２が投票によって各相違度を正規化するので、各相違度の値域が揃えられ、平等に統合される。その結果、画像ペアを構成する画像の種類によらず、高精度で画像の類似度が判定される。また、画像ペアを構成する画像の種類によらないので、画像処理装置の汎用性が向上する。すなわち、画像ペアが２つの可視画像で構成される場合でも、可視画像と遠赤外画像で構成される場合でも、その他の種類の画像の組み合わせで構成される場合でも、画像処理装置は、高精度で画像の類似度を判定できる。
【００７８】
なお、上記の実施形態では、主に、画像処理装置が、２種類の画像で構成される画像ペアを対象として視差や変形量を算出して画像の類似度を判定する場合について説明したが、画像処理装置が、３つ以上の画像を対象として、視差や変形量を算出して画像の類似度を判定することもできる。
【００７９】
また、上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
【００８０】
上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。
【００８１】
図５は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１に示された画像処理装置１００における、相違度算出部２０１、正規化部２０２、相違度平滑化部２０３、相違度統合部２０４、統合相違度平滑化部２０５、および変形量算出部２０６の機能を実現する。
【００８２】
記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ−Ｒ（Compact Disc-Recordable ）、ＣＤ−Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
【００８３】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
【００８４】
メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
【００８５】
図６は、画像処理装置の主要部を示すブロック図である。図６に示す画像処理装置１０は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し（例えば、各画素を複数種類の所定量だけずらし）、複数種類の類似度評価のための手法（例えば、正規化相互相関、差分絶対値和、差分二乗和、位相限定相関、相互情報量などのうちの２種類以上）を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出手段１１（実施形態では、相違度算出部２０１で実現される。）と、各々の類似度評価のための手法による相違度を正規化する正規化手段１２（実施形態では、正規化部２０２で実現される。）と、正規化された各々の相違度を統合する相違度統合手段１５（実施形態では、相違度統合部２０４で実現される。）とを備えている。
【００８６】
図７に示すように、画像処理装置１０は、さらに、統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段１６（実施形態では、変形量算出部２０６で実現される。）を備えていてもよい。
【００８７】
画像処理装置１０は、さらに、統合された相違度を平滑化して変形量算出手段１６に出力する統合相違度平滑化手段（実施形態では、統合相違度平滑化部２０５で実現される。）を備えていてもよい。
【００８８】
画像処理装置１０は、さらに、正規化された各々の相違度を平滑化して相違度統合手段１５に出力する相違度平滑化手段（実施形態では、相違度平滑化部２０３で実現される。）を備えていてもよい。
【００８９】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【００９０】
（付記１）画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段と、
正規化された各々の前記相違度を統合する相違度統合手段と
を備えた画像処理装置。
【００９１】
（付記２）前記正規化手段は、投票方式で前記相違度を正規化する
付記１の画像処理装置。
【００９２】
（付記３）統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段をさらに備えた
付記１または付記２の画像処理装置。
【００９３】
（付記４）統合された相違度を平滑化して前記変形量算出手段に出力する統合相違度平滑化手段をさらに備えた
付記３の画像処理装置。
【００９４】
（付記５）正規化された各々の前記相違度を平滑化して前記相違度統合手段に出力する相違度平滑化手段をさらに備えた
付記１から付記４のうちのいずれかの画像処理装置。
【００９５】
（付記６）画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出し、
各々の前記類似度評価のための手法による前記相違度を正規化し、
正規化された各々の前記相違度を統合する
画像処理方法。
【００９６】
（付記７）投票方式で前記相違度を正規化する
付記６の画像処理方法。
【００９７】
（付記８）統合された相違度を最小にする変形量を画像の変形量とする
付記６または付記７の画像処理方法。
【００９８】
（付記９）前記画像の変形量を導出する前に、統合された相違度を平滑化する
付記８の画像処理方法。
【００９９】
（付記１０）正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する
付記６から付記９のうちのいずれかの画像処理方法。
【０１００】
（付記１１）コンピュータに、
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化処理と、
正規化された各々の前記相違度を統合する相違度統合処理と
を実行させるための画像処理プログラム。
【０１０１】
（付記１２）コンピュータに、
投票方式で前記相違度を正規化させる
付記１１の画像処理プログラム。
【０１０２】
（付記１３）コンピュータに、
統合された相違度を最小にする変形量を画像の変形量とする処理を実行させるための
付記１１または付記１２の画像処理プログラム。
【０１０３】
（付記１４）コンピュータに、
前記画像の変形量を導出する前に、統合された相違度を平滑化する処理を実行させるための
付記１３の画像処理プログラム。
【０１０４】
（付記１５）コンピュータに、
正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する処理を実行させるための
付記１１から付記１４のうちのいずれかの画像処理プログラム。
【０１０５】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１０６】
１０      画像処理装置
１１      相違度算出手段
１２      正規化手段
１５      相違度統合手段
１６      変形量算出手段
１００    画像処理装置
１０１    画像入力部
２０１    相違度算出部
２０２    正規化部
２０３    相違度平滑化部
２０４    相違度統合部
２０５    統合相違度平滑化部
２０６    変形量算出部
３０１    出力部
１０００  ＣＰＵ
１００１  記憶装置
１００２  メモリ
【図１】
2020075237.tif 000008
【図２】
2020075237.tif 000009
【図３】
2020075237.tif 000010
【図４】
2020075237.tif 000011
【図５】
2020075237.tif 000012
【図６】
2020075237.tif 000013
【図７】
2020075237.tif 000014
【手続補正書】
【提出日】令和3年3月4日(2021.3.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段と、
正規化された各々の前記相違度を統合する相違度統合手段と
を備えた画像処理装置。
【請求項２】
前記正規化手段は、投票方式で前記相違度を正規化する
請求項１記載の画像処理装置。
【請求項３】
統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段をさらに備えた
請求項１または請求項２記載の画像処理装置。
【請求項４】
統合された相違度を平滑化して前記変形量算出手段に出力する統合相違度平滑化手段をさらに備えた
請求項３記載の画像処理装置。
【請求項５】
正規化された各々の前記相違度を平滑化して前記相違度統合手段に出力する相違度平滑化手段をさらに備えた
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
【請求項６】
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出し、
各々の前記類似度評価のための手法による前記相違度を正規化し、
正規化された各々の前記相違度を統合する
画像処理方法。
【請求項７】
投票方式で前記相違度を正規化する
請求項６記載の画像処理方法。
【請求項８】
統合された相違度を最小にする変形量を画像の変形量とする
請求項６または請求項７記載の画像処理方法。
【請求項９】
前記画像の変形量を導出する前に、統合された相違度を平滑化する
請求項８記載の画像処理方法。
【請求項１０】
コンピュータに、
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化処理と、
正規化された各々の前記相違度を統合する相違度統合処理と
を実行させるための画像処理プログラム。
【国際調査報告】
2020075237.tif 000015
2020075237.tif 000016
2020075237.tif 000017
2020075237.tif 000018