(57)【要約】  画像処理装置１００は、ペア画像それぞれから画像ブロックを抽出し、一方の画像の画像ブロックと他方の画像の画像ブロックとを組み合せ、画像ブロックの組を設定する画像抽出部１０と、各組について、一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、一方の画像ブロックの画素の輝度とその画像ブロックの輝度の平均値との差を算出し、他方の画像ブロックの対応する画素の輝度とその画像ブロックの輝度の平均値との差を算出し、一方の差から他方を減算して輝度差を算出し、輝度差の積算値を相関値とする相関値算出部２０と、相関値に基づき、画像ブロックの組毎に、一方の画像ブロックと他方の画像ブロックとが一致しているか否かを判定する判定部３０とを備える。
2017090705.tif 000002
【特許請求の範囲】
【請求項１】
対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする画像処理装置。
【請求項２】
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項１に記載の画像処理装置。
【請求項３】
前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、相関値補正部を更に備えている、
請求項１または２に記載の画像処理装置。
【請求項４】
前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
前記画像抽出部が、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記判定部は、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項４に記載の画像処理装置。
【請求項６】
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする画像処理方法。
【請求項７】
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項６に記載の画像処理方法。
【請求項８】
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に有する、
請求項６または７に記載の画像処理方法。
【請求項９】
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項６〜８のいずれかに記載の画像処理方法。
【請求項１０】
前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から得られた画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項９に記載の画像処理方法。
【請求項１１】
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１２】
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項１１に記載のコンピュータ読み取り可能な記録媒体。
【請求項１３】
前記コンピュータに、
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体。
【請求項１４】
前記コンピュータに、
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換うち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項１１〜１３のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【請求項１５】
前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項１４に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの画像を用いた画像処理を行なうための、画像処理装置、画像処理方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来から、３次元データの自動生成方法として、人工衛星又は航空機等から得られたペア画像を基に、ステレオマッチング処理を行うことによって、地形を示す３次元データ［ＤＳＭ（Digital Surface Model）データ］を生成する方法が広く知られている。ペア画像は、２台のカメラによって同一の被写体を異なる視点で撮影することによって得られた画像である。【０００３】
具体的には、ステレオマッチング処理では、まず、ステレオ画像を構成する各画像は一定サイズの画像ブロックが抽出され、次いで、一方の画像の画像ブロックに一致する他方の画像の画像ブロックが特定される。その後、一致する画像ブロック間で対応点を特定し、特定した対応点間の視差を用いて、三角測量を実行することによって、被写体の奥行き及び形状が求められる。【０００４】
ところで、ステレオマッチング処理において、精度を高めるためには、一致する画像ブロックを正確に特定することが重要となる。そして、一致する画像ブロックを特定する処理の具体的手法としては、輝度差の和（ＳＡＤ：Sum of Absolute Difference）を利用した方法、輝度差の２乗和（ＳＳＤ：Sum of Squared Difference）を利用した方法、正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）を利用した方法、などが知られている。【０００５】
具体的には、ＳＡＤを利用する場合は、下記の数１を用いて、ＲＳＡＤの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する（例えば、特許文献１〜３及び非特許文献１参照）。なお、数１において、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける対応する画素の輝度を示している。また、（ｉ，ｊ）は、画素の座標を表している。【０００６】
【数１】
2017090705.tif 000003
【０００７】
また、ＳＳＤを利用する場合は、下記の数２を用いて、ＲＳＳＤの値が最も小さくなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する（例えば、特許文献４及び非特許文献１参照）。数２においても、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける輝度を示している。【０００８】
【数２】
2017090705.tif 000004
【０００９】
更に、ＮＣＣを利用する場合は、下記の数３を用いて、ＲＮＣＣの値が１．０に最も近くなる画像ブロックのペアを特定し、特定したペアを互いに一致する画像ブロックであると判定する（例えば、特許文献５参照）。数３においても、Ｉ（ｉ，ｊ）及びＴ（ｉ，ｊ）は、画像ブロックにおける輝度を示している。【００１０】
【数３】
2017090705.tif 000005
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平９−２１１０８０号公報
【特許文献２】特開２０００−００３４４８号公報
【特許文献３】特開２００６−９０８９６号公報
【特許文献４】特開２０００−０８２１４２号公報
【特許文献５】特開平７−１２１７１１号公報
【非特許文献】
【００１２】
【非特許文献１】新井元基、鷲見和彦、松山 隆司著、「画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化」、２００４年５月６日、ｐ．２、右パラグラム、第２〜１９行
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、上記数１及び数２から分かるように、ＳＡＤを利用した方法及びＳＳＤを利用した方法のいずれにおいても、値の算出は、比較対象となる２つの画像ブロックそれぞれの互いに対応する２つの画素毎に行なわれている。このため、これらの方法によれば、２枚の画像同士が同一かどうかを判定することを目的とした一般的なマッチング処理においては、非常に正確な判定が期待出来る。【００１４】
しかしながら、ステレオマッチング処理においては、ペア画像を撮影する２台のカメラそれぞれの撮影角度が異なるため、被写体で反射された光の入射角度が、カメラ毎に異なり、各カメラで得られる画像の輝度が互いに微妙に異なる場合がある。このため、ＳＡＤ又はＳＳＤを用いてステレオマッチング処理を行なった場合は、画像間の輝度の違いが原因で、互いに一致する画像ブロックのペアであるにもかかわらず、算出された値が高くなり、一致していないと判定される可能姓がある。【００１５】
一方、ＮＣＣを利用した方法では、上記数３から分かるように、一般的には２枚の画像の輝度の違いが許容されると考えられる。しかしながら、ＮＣＣを利用した方法では、２つの画像ブロックそれぞれの２つの画素毎に計算が行なわれるわけではない。このため、ＮＣＣを利用してステレオマッチング処理を行なった場合は、一致しない画像ブロック間でも、画像全体的の輝度の条件によっては、一致すると判定されてしまう場合がある。つまり、ＮＣＣを利用してステレオマッチング処理を行なった場合には、誤判定が発生しやすいという問題がある。【００１６】
本発明の目的の一例は、上記問題を解消し、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図り得る、画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明の一側面における画像処理装置は、
対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする。【００１８】
また、上記目的を達成するため、本発明の一側面における画像処理方法は、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする。【００１９】
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【００２０】
以上のように本発明によれば、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。
【図２】図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。
【図３】図３は、本発明の実施の形態において画像ブロックが抽出されたペア画像の一例を示す図である。
【図４】図４は、本発明の実施の形態において設定される画像ブロックの組の一例を説明する図である。
【図５】図５は、本発明の実施の形態における相関値の算出処理で用いられる画素間組合せの一例を説明するための図である。
【図６】図６は、ペア画像における画像ブロック間の輝度の相違の一例を示す図である。
【図７】図７は、ペア画像それぞれにおける画像ブロックの輝度の平均値と特定の画素の輝度との差の一例を示す図である。
【図８】図８は、画像ブロック間で輝度値の変化のパターンが近似している例を示す図である。
【図９】図９は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。
【図１０】図１０は、画像ブロックの抽出方法の変形例を説明するための図である。
【図１１】図１１は、画像ブロックの抽出方法の変形例を説明するための図である。
【図１２】図１２は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００２２】
（実施の形態）
以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１〜図１２を参照しながら説明する。
【００２３】
［装置構成］
最初に、図１を用いて、本発明の実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。
【００２４】
図１に示すように、本実施の形態における画像処理装置１００は、２枚の画像を対象として画像処理を行なう装置であり、画像抽出部１０と、相関値算出部２０と、判定部３０とを備えている。
【００２５】
画像抽出部１０は、対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出する。また、画像抽出部１０は、２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する。
【００２６】
相関値算出部２０は、続いて、設定された画像ブロックの組それぞれについて、一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ（以下「画素間組合せ」と表記する。）毎に、（ａ）〜（ｃ）の算出処理を行なう。
（ａ）一方の画像ブロックの画素における輝度と一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出する。
（ｂ）他方の画像ブロックの対応する画素における輝度と他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出する。
（ｃ）第１の輝度差と第２の輝度差との差を、画素間の輝度差として算出する。
【００２７】
更に、相関値算出部２０は、画素間組合せ毎に算出した画素間の輝度差を積算し、得られた積算値を、計算対象となった画像ブロックの組の相関値とする。
【００２８】
判定部３０は、画像ブロックの組それぞれの相関値に基づいて、画像ブロックの組毎に、各画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する。
【００２９】
このように、図１に示した構成では、一方の画像ブロックの画素と他方の画像ブロックの画素との間で相関値を比較する際に、両画像ブロックにおいて全体の平均の輝度値（平均値）と画素単独の輝度値との差が求められ、この差に基づいて、相関値が計算される。このため、図１に示した構成によれば、一方の画像ブロックと他方の画像ブロックとの間の全体的な輝度の違いによる影響が、大きく軽減されるので、輝度が異なるペア画像を対象としたマッチング処理において、従来からの方法に比べて、判定精度の向上が図られることになる。
【００３０】
続いて、図２を用いて、本発明の実施の形態における画像処理装置の構成及び機能について更に具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。
【００３１】
まず、本実施の形態では、画像処理装置１００は、ステレオマッチング処理を行なう装置である。処理対象となる２つの画像は、異なる角度から同一対象を撮影して得られたペア画像、具体的には、人工衛星又は航空機等から撮影されたペア画像である。
【００３２】
また、図２に示すように、本実施の形態では、画像処理装置１００は、図１に示した、画像抽出部１０、相関値算出部２０、及び判定部３０に加えて、更に、画像取得部４０と相関値補正部５０とを備えている。
【００３３】
画像取得部４０は、処理対象となるペア画像を取得する。具体的には、画像取得部４０は、ネットワーク等を介して送信されてきたペア画像の各画像データを取得し、取得した各画像データを画像抽出部１０に入力する。また、画像取得部４０は、ペア画像それぞれのエピポーラ線が水平方向において一致しているかどうかを判定し、一致していない場合は、一方又は両方の画像に対して、回転および射影変換のうち少なくとも１つを行なって、エピポーラ線が一致するように補正を実行する。
【００３４】
画像抽出部１０は、図３に示すように、ペア画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、複数の画像ブロックを抽出する。本実施の形態で、画像抽出部１０は、ペア画像それぞれを、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、タイル状に分割した形で、ペア画像それぞれから複数の画像ブロックを抽出する。図３は、本発明の実施の形態において画像ブロックを抽出したペア画像の一例を示す図である。
【００３５】
具体的には、図３の例では、ペア画像は、画像２０１と画像２０２とで構成されている。そして、図３に示すように、画像抽出部１０は、画像２０１及び画像２０２それぞれから、予め設定された大きさの矩形の画像ブロックを抽出する。これにより、画像ブロックは、画像の水平方向及び垂直方向に沿って配列される。
【００３６】
また、画像抽出部１０は、本実施の形態では、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出する。そして、画像抽出部１０は、選出した画像ブロック同士を組み合せて、画像ブロックの組を設定し、設定した画像ブロックの組を、相関値算出部２０に入力する。
【００３７】
具体的には、上述したように、本実施の形態では、画像取得部４０によって、ペア画像それぞれのエピポーラ線は水辺方向において一致している。従って、図４に示すように、画像抽出部１０は、行数が一致する画像ブロック同士を組み合せて、画像ブロックの組を設定する。図４は、本発明の実施の形態において設定される画像ブロックの組の一例を説明する図である。
【００３８】
図４の例では、画像抽出部１０は、まず、画像２０１及び画像２０２それぞれの１行目から選出した画像ブロックを用いて、画像ブロックの組を設定する。つまり、画像抽出部１０は、画像２０１の１行目の全画像ブロックと画像２０２の１行目の全画像ブロックとで得られる、全ての組合せを、画像ブロックの組として設定する。例えば、画像ブロック２０３は、画像ブロック２０４に加えて、画像ブロック２０５〜画像ブロック２０９それぞれとも組合せられる。
【００３９】
続いて、画像抽出部１０は、画像２０１及び画像２０２それぞれの２行目以降についても同様に、画像２０１の画像ブロックと画像２０２の画像ブロックとを組み合せて、画像ブロックの組を設定する。そして、画像抽出部１０は、このようにして設定した各画像ブロックの組を相関値算出部２０に入力する。
【００４０】
相関値算出部２０は、入力された画像ブロックの組それぞれについて、画素間組合せ毎に算出処理を行なって、相関値を算出する。ここで、図５〜図７を用いて、相関値算出部による相関値の算出処理について具体的に説明する。
【００４１】
図５は、本発明の実施の形態における相関値の算出処理で用いられる画素間組合せの一例を説明するための図である。図６は、ペア画像における画像ブロック間の輝度の相違の一例を示す図である。図７は、ペア画像それぞれにおける画像ブロックの輝度の平均値と特定の画素の輝度との差の一例を示す図である。
【００４２】
図５に示すように、相関値算出部２０は、まず、画像ブロック２０３及び２０４それぞれにおける座標が同じ画素によって画素間組合せを設定する。最上段の行の左端を原点（０，０）とすると、相関値算出部２０は、例えば、画像ブロック２０３の座標（０，０）に位置する画素４０１を、画像ブロック２０４の同じ座標（０，０）に位置する画素４０２と組み合わせる。同様に、相関値算出部２０は、画像ブロック２０３の座標（１，０）に位置する画素４０３を、画像ブロック２０４の座標（１，０）に位置する画素４０４と組み合わせる。更に、相関値算出部２０は、画像ブロック２０３の他の座標に位置する画素についても、同様にして、画像ブロック２０４の画素と組み合わせる。
【００４３】
ところで、エピポーラ線が一致しているペア画像において、行数が同じ画像ブロック同士であっても、図６に示すように、画像ブロック全体の輝度値が相違する場合がある。これはペア画像それぞれの被写体は同じであっても、ペア画像を構成する画像毎に、撮影角度が異なり、それによって全体の輝度値が微妙に異なるからである。
【００４４】
なお、図６において、実線は、画像ブロック２０３の特定の水平行を構成する画素の輝度値を示し、破線は、画像ブロック２０４の対応する水平行を構成する画素の輝度値を示している。
【００４５】
一方、図７に示すように、ペア画像を構成する画像間では、両者の全体の輝度値が異なっていても、画像ブロックの輝度の平均値と各画素の輝度との差は両者間で極めて小さいものとなる。
【００４６】
なお、図７において、左側の図は画像ブロック２０３に対応し、右側の図は画像ブロック２０４に対応する。そして、左側の図における実線は、画像ブロック２０３の特定の水平行を構成する画素の輝度値を示し、右側の図における破線は、画像ブロック２０４の対応する水平行を構成する画素の輝度値を示している。また、左側の図における一点鎖線は、画像ブロック２０３の輝度の平均値を示し、右側の図における一点鎖線は、画像ブロック２０４の輝度の平均値を示している。
【００４７】
このため、相関値算出部２０は、画素間組合せ毎に、第１の輝度差及び第２の輝度差を算出し、更に、両者の差（画素間の輝度差）を算出する。そして、相関値算出部２０は、計算対象となっている画像ブロックの組について、画素間の輝度差を積算し、得られた積算値を、画像ブロックの組の相関値とする。具体的には、相関値算出部２０は、下記の数４を用いて、画像ブロックの組の相関値Ｒを算出する。
【００４８】
【数４】
2017090705.tif 000006
【００４９】
また、上記数４において、Ｍは、各画像の水平方向における画像ブロックの数（列数）を示し、Ｎは、各画像の垂直方向における画像ブロックの数（行数）を示している。また、上記数４においてＩ（ｉ，ｊ）は、一方の画像の画像ブロックにおいて座標（ｉ，ｊ）に位置する画素の輝度値を示し、Ｉバーは、座標（ｉ，ｊ）に位置する画素が属する画像ブロックの輝度の平均値を示している。更に、上記数４においてＪ（ｉ，ｊ）は、他方の画像の画像ブロックにおいて座標（ｉ，ｊ）に位置する画素の輝度値を示し、Ｊバーは、座標（ｉ，ｊ）に位置する画素が属する画像ブロックの輝度の平均値を示している。
【００５０】
ところで、例えば、被写体がビル壁などである場合は、複数の画像ブロックが同じ色で構成されてしまう。このため、図８に示すように、一致しないはずの画像ブロック間で輝度値の変化のパターンが近似することがある。図８は、画像ブロック間で輝度値の変化のパターンが近似している例を示す図である。
【００５１】
なお、図８において、実線は、画像ブロック２０３の特定の水平行を構成する画素の輝度値を示し、破線は、画像ブロック２０４の対応する水平行を構成する画素の輝度値を示している。また、２本の一点鎖線のうち、下側の一点鎖線は、画像ブロック２０３の輝度の平均値を示し、上側の一点鎖線は、画像ブロック２０４の輝度の平均値を示している。
【００５２】
そして、このようなケースにおいては、両者の輝度値は異なるが、上述の相関値Ｒの値は小さくなってしまい、後述する判定部３０において間違った判定がなされるおそれがある。
【００５３】
このため、本実施の形態では、相関値補正部５０によって相関値の補正が行なわれる。相関値補正部５０は、設定された画像ブロックの組毎に、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた差に基づいて、相関値算出部２０によって算出された相関値を補正する。本実施の形態では、補正後の相関値が、判定部３０に入力される。
【００５４】
具体的には、相関値補正部５０は、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、求めた差を基準にペナルティＰを算出し、ペナルティＰが一定の閾値を超えている場合に、相関値に対して、算出したペナルティＰを付与する。
【００５５】
ペナルティＰの算出は、例えば、下記の数５を用いて行なうことができる。下記の数５において、αは、任意の値であり、サンプルとなるペア画像を用いた実験によって求められる。また、Ｉは、一方の画像ブロックの輝度の平均値であり、Ｊは、他方の画像ブロックの輝度の平均値である。また、本実施の形態において、ペナルティＰの算出式は、下記の数５に限定されることはない。ペナルティＰは、｜Ｉ−Ｊ｜を二乗したり、｜Ｉ−Ｊ｜の対数を取ったりすることによって算出されても良い。
【００５６】
【数５】
2017090705.tif 000007
【００５７】
また、上記数５によってペナルティが算出され、ペナルティＰが一定の閾値を超えている場合は、相関値補正部５０は、例えば、相関値に対して、算出したペナルティＰを乗算することによって、相関値を補正する。
【００５８】
また、相関値補正部５０が、このように、一方の画像ブロックの輝度の平均値と他方の画像ブロックの輝度の平均値との差を基準にペナルティを計算しているのは、相関値計算部２０によって算出された平均値をそのまま流用するためである。この結果、相関値補正部５０による計算処理を削減でき、処理時間の短縮化が図られることになる。但し、相関値補正部５０による補正処理の仕方は、上記態様に限定されるものではない。相関値補正部５０は、例えば、一方の画像ブロックの輝度の分散値と、他方の画像ブロックの輝度の分散値との差を求めることによって、相関値を補正することもできる。
【００５９】
判定部３０は、本実施の形態では、一方の画像から抽出された画像ブロックの一つに組み合わされた、他方の画像から抽出された画像ブロックのうち、上記数４によって算出された相関値Ｒ（又は補正後の相関値Ｒ）が最も小さくなる画像ブロックを特定する。そして、判定部３０は、特定した画像ブロックは、一方の画像から抽出された画像ブロックの一つと一致していると判定する。つまり、判定部３０は、相関値Ｒが最も小さくなる画像ブロックの組を特定し、特定した画像ブロックを構成する画像ブロック同士は一致していると判定する。
【００６０】
［装置動作］
次に、本発明の実施の形態における画像処理装置１００の動作について図９を用いて説明する。図９は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図８を参酌する。また、本実施の形態では、画像処理装置１００を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１００の動作説明に代える。
【００６１】
図９に示すように、画像処理装置１００においては、最初に、画像取得部４０が、ネットワーク等を介して送信されてきたペア画像を取得する（ステップＡ１）。更に、画像取得部４０は、ペア画像それぞれのエピポーラ線が水平方向において一致するように、一方又は両方の画像を補正する（ステップＡ２）。
【００６２】
次に、画像抽出部１０は、ペア画像それぞれを、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、タイル状に分割した形で、ペア画像それぞれから複数の画像ブロックを抽出する（ステップＡ３）。
【００６３】
次に、画像抽出部１０は、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、画像ブロックの組を設定する（ステップＡ４）。具体的には、画像抽出部１０は、行数が一致する画像ブロック同士を組み合せて、画像ブロックの組を設定する。
【００６４】
次に、相関値算出部２０は、入力された画像ブロックの組毎に、上記数４を用いて、相関値を算出する（ステップＡ５）。具体的には、相関値算出部２０は、画像ブロック間で同じ座標に位置する２つの画素によって画素間組合せを設定し、画素間組合せ毎に、第１の輝度差及び第２の輝度差を算出し、更に、両者の差（画素間の輝度差）を算出する。そして、相関値算出部２０は、算出した画素間の輝度差を積算し、得られた積算値を相関値とする。
【００６５】
次に、相関値補正部５０は、算出された相関値に対して必要に応じて補正を実行する（ステップＡ６）。具体的には、相関値補正部５０は、設定された画像ブロックの組毎に、一方の画像ブロックの輝度の平均値と、他方の画像ブロックの輝度の平均値との差を求め、求めた差を基準にペナルティＰを算出する。そして、相関値補正部５０は、ペナルティＰが一定の閾値を超えている場合に、相関値に対して、算出したペナルティＰを乗算する。
【００６６】
次に、判定部３０は、画像ブロックの組それぞれの相関値に基づいて、画像ブロックの組毎に、画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する（ステップＡ７）。具体的には、判定部３０は、相関値Ｒが最も小さくなる画像ブロックの組を特定し、特定した画像ブロックの組を構成する画像ブロック同士は一致していると判定する。
【００６７】
このように、ステップＡ１〜Ａ７の実行により、ペア画像において一致する画像ブロックの組が特定される。その後、画像処理装置１００は、一致する画像ブロック間で対応点を特定し、特定した対応点間の視差を用いて、三角測量を実行する。更に、画像処理装置１００は、三角測量の結果に基づいて、被写体の奥行き及び形状を特定する。
【００６８】
［実施の形態における効果］
以上のように、本実施の形態では、各画像ブロックにおいて、画像ブロック全体の平均の輝度値と画素単独の輝度値との差が求められ、この差に基づいて、画像ブロック間の相関値が求められる。従って、本実施の形態によれば、従来からのＳＡＤ又はＳＳＤを利用する場合と異なり、直接の輝度値のみで相関値が算出されないので、画像ブロック間の全体的な輝度の違いによる影響が大きく軽減される。
【００６９】
また、本実施の形態では、ＮＣＣを利用する場合と異なり、画像ブロック間の相関値を計算するに際して、各画像ブロックの対応する画素同士が直接比較されるので、一致しない画像ブロックの組が誤って一致していると判断される可能姓は大きく低減される。
【００７０】
また、一致しないはずの画像ブロックの組で、両者の輝度値の変化のパターンが近似していると、誤って両者が一致していると判断される可能姓がある。しかし、本実施の形態では、画像ブロック間の平均の輝度の差に応じて、相関値が補正され、輝度値の変化のパターンが近似しているだけの画像ブロックの組の相関値は高くなるので、このような事態が回避されることになる。
【００７１】
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図９に示すステップＡ１〜Ａ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１００と画像処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、画像抽出部１０、相関値算出部２０、判定部３０、画像取得部４０、及び相関値補正部５０として機能し、処理を行なう。
【００７２】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像抽出部１０、相関値算出部２０、判定部３０、画像取得部４０、及び相関値補正部５０のいずれかとして機能しても良い。
【００７３】
［変形例］
上述した例では、ステップＡ３において画像抽出部１０は、ペア画像それぞれを予め設定されたサイズの画像ブロックに分割することによって、ペア画像それぞれから複数の画像ブロックを抽出しているが、ステップＡ３における画像ブロックの抽出方法は上述の例に限定されない。図１０は、画像ブロックの抽出方法の変形例を説明するための図である。なお、図１０には、画像取得部４０によって取得された画像２０１及び画像２０２が示されている。図１０においては、説明を分かりやすくするために、画像に含まれる各画素を大きく示している。したがって、実際には、各画像には、図１０に示すよりも多くの画素が含まれていてもよい。
【００７４】
本実施の形態における変形例においても、画像抽出部１０は、ペア画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、複数の画像ブロックを抽出する。具体的には、図１０を参照して、画像抽出部１０は、画像２０１，２０２それぞれにおいて、垂直方向（矢印Ｖで示す方向）及び水平方向（矢印Ｈで示す方法）に沿って、水平方向Ｈにおける行と垂直方向Ｖにおける列とを設定する。各行は、水平方向Ｈに並ぶ複数の画素によって構成されている。同様に、各列は、垂直方向Ｖに並ぶ複数の画素によって構成されている。図１０の例では、画像２０１，２０２それぞれにおいて、垂直方向Ｖに沿って２０個の行が設定され、水平方向Ｈに沿って２４個の列が設定されている。各行は、水平方向Ｈに並ぶ２４個の画素によって構成され、各列は、垂直方向Ｖに並ぶ２０個の画素によって構成されている。
【００７５】
画像抽出部１０は、上記のように複数の行及び複数の列が設定された画像２０１，２０２それぞれから、複数の画像ブロックを抽出する。画像ブロックは、複数の画素によって構成される。本変形例では、画像抽出部１０は、画像２０１の画素ごとに、その画素を中心画素とする画像ブロックを抽出する。また、画像抽出部１０は、画像２０２の画素ごとに、その画素を中心画素とする画像ブロックを抽出する。したがって、画像抽出部１０は、例えば、画像２０１を構成する複数の画素と同数の画像ブロックを、画像２０１から抽出する。また、画像抽出部１０は、例えば、画像２０２を構成する複数の画素と同数の画像ブロックを、画像２０２から抽出する。
【００７６】
図１０においては、画像２０１から抽出された複数の画像ブロックのうちの一つの画像ブロック２０３が示され、画像２０２から抽出された複数の画像ブロックのうちの一つの画像ブロック２０４が示されている。図１０においては、画像ブロック２０３，２０４を構成する複数の画素にハッチングを付している。図１０の例では、画像ブロック２０３，２０４はそれぞれ、９画素によって構成されている。
【００７７】
なお、図１１を参照して、例えば、画像２０１内の最も外側に並ぶ複数の画素のうちの一つを中心画素として画像ブロック２０３を抽出する際には、画像２０１内の画素のみによって画像ブロックを構成することはできない。この場合には、例えば、一定の輝度（例えば、零）を有する複数の画素（以下、仮想画素と記載する。）が、画像２０１を囲むように設けられていると仮定して画像ブロックを抽出する。図１１の例では、例えば、画像２０１内の６個の画素と、３個の仮想画素とによって、画像ブロック２０３が構成されている。詳細な説明は省略するが、画像２０２から抽出される画像ブロックについても同様である。
【００７８】
更に、本変形例では、画像抽出部１０は、一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを、両者の中心画素が位置している行が互いに対応するように選出する。そして、選出した画像ブロック同士を組み合せて、複数の画像ブロックの組を設定し、設定した複数の画像ブロックの組を、相関値算出部２０に入力する。例えば、図１０では、画像２０２の一つの行は、２４画素によって構成されている。上述したように、画像ブロックは画素ごとに設定されるので、画像２０２の一つの行に対して２４個の画像ブロックが設定される。したがって、図１０の例では、一方の画像２０１から抽出された任意の画像ブロックは、他方の画像２０２の対応する一つの行を構成する画素ごとに設定された２４個の画像ブロックにそれぞれに組み合わされる。例えば、画像２０１から抽出された画像ブロックの中心画素が５行目に位置している場合には、その画像ブロックは、画像２０２の５行目の画素ごとに設定された２４個の画像ブロックにそれぞれ組み合わされる。このようにして、本変形例では、画像２０１から抽出された画像ブロックごとに、２４個の画像ブロックの組が設定される。すなわち、画像２０１を構成する全ての画素それぞれに対して、２４個の画像ブロックの組が設定される。
【００７９】
以上のように、本変形例においては、画像抽出部１０は、ペア画像２０１，２０２から、画素と同数の画像ブロック２０３，２０４を抽出する。この場合、互いに一致する画像ブロックのペアをより高精度に特定することが可能になる。すなわち、ペア画像を対象としたマッチング処理において、判定精度をさらに向上させることができる。
【００８０】
ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置１００を実現するコンピュータについて図１２を用いて説明する。図１２は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
【００８１】
図１２に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【００８２】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【００８３】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００８４】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００８５】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
【００８６】
なお、本実施の形態における画像処理装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【００８７】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１５）によって表現することができるが、以下の記載に限定されるものではない。
【００８８】
（付記１）
対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする画像処理装置。
【００８９】
（付記２）
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記１に記載の画像処理装置。
【００９０】
（付記３）
前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、相関値補正部を更に備えている、
付記１または２に記載の画像処理装置。
【００９１】
（付記４）
前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
前記画像抽出部が、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記１〜３のいずれかに記載の画像処理装置。
【００９２】
（付記５）
前記判定部は、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記４に記載の画像処理装置。
【００９３】
（付記６）
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする画像処理方法。
【００９４】
（付記７）
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記６に記載の画像処理方法。
【００９５】
（付記８）
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に有する、
付記６または７に記載の画像処理方法。
【００９６】
（付記９）
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記６〜８のいずれかに記載の画像処理方法。
【００９７】
（付記１０）
前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から得られた画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記９に記載の画像処理方法。
【００９８】
（付記１１）
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【００９９】
（付記１２）
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記１１に記載のコンピュータ読み取り可能な記録媒体。
【０１００】
（付記１３）
前記コンピュータに、
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
付記１１または１２に記載のコンピュータ読み取り可能な記録媒体。
【０１０１】
（付記１４）
前記コンピュータに、
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換うち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記１１〜１３のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【０１０２】
（付記１５）
前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記１４に記載のコンピュータ読み取り可能な記録媒体。
【０１０３】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０４】
この出願は、２０１５年１１月２７日に出願された日本出願特願２０１５−２３２０６３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０５】
以上のように本発明によれば、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図ることができる。本発明は、例えば、ステレオマッチングが必要な分野に有用である。
【符号の説明】
【０１０６】
１０  画像抽出部
２０  相関値算出部
３０  判定部
４０  画像取得部
５０  相関値補正部
１００  画像処理装置
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2017090705.tif 000008
【図２】
2017090705.tif 000009
【図３】
2017090705.tif 000010
【図４】
2017090705.tif 000011
【図５】
2017090705.tif 000012
【図６】
2017090705.tif 000013
【図７】
2017090705.tif 000014
【図８】
2017090705.tif 000015
【図９】
2017090705.tif 000016
【図１０】
2017090705.tif 000017
【図１１】
2017090705.tif 000018
【図１２】
2017090705.tif 000019
【手続補正書】
【提出日】平成30年5月22日(2018.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、画像抽出部と、
設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、相関値算出部と、
前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、判定部と、
を備えている、ことを特徴とする画像処理装置。
【請求項２】
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項１に記載の画像処理装置。
【請求項３】
前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、相関値補正部を更に備えている、
請求項１または２に記載の画像処理装置。
【請求項４】
前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、画像取得部を更に備え、
前記画像抽出部が、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記判定部は、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項４に記載の画像処理装置。
【請求項６】
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする画像処理方法。
【請求項７】
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項６に記載の画像処理方法。
【請求項８】
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に有する、
請求項６または７に記載の画像処理方法。
【請求項９】
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換のうち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に有し、
前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項６〜８のいずれかに記載の画像処理方法。
【請求項１０】
前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から得られた画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項９に記載の画像処理方法。
【請求項１１】
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させるプログラム。
【請求項１２】
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、請求項１１に記載のプログラム。
【請求項１３】
前記コンピュータに、
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
請求項１１または１２に記載のプログラム。
【請求項１４】
前記コンピュータに、
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換うち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
請求項１１〜１３のいずれかに記載のプログラム。
【請求項１５】
前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
請求項１４に記載のプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、２つの画像を用いた画像処理を行なうための、画像処理装置、画像処理方法、及びこれらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の目的の一例は、上記問題を解消し、輝度が異なるペア画像を対象としたマッチング処理において判定精度の向上を図り得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出し、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
（付記１１）
コンピュータに、
（ａ）対象となる２つの画像それぞれから、設定されたサイズの複数の画像ブロックを抽出、前記２つの画像の一方の画像から抽出された画像ブロックの一つと、他方の画像から抽出された画像ブロックの一つとを組み合せて、複数の画像ブロックの組を設定する、ステップと、
（ｂ）設定された画像ブロックの組それぞれについて、
一方の画像ブロックの画素と他方の画像ブロックの対応する画素との組合せ毎に、
前記一方の画像ブロックの前記画素における輝度と前記一方の画像ブロックの輝度の平均値との差を第１の輝度差として算出し、
前記他方の画像ブロックの前記対応する画素における輝度と前記他方の画像ブロックの輝度の平均値との差を第２の輝度差として算出し、
更に、前記第１の輝度差と前記第２の輝度差との差を、画素間の輝度差として算出し、
求められた前記組合せ毎の前記画素間の輝度差を積算し、得られた積算値を、当該画像ブロックの組の相関値とする、ステップと、
（ｃ）前記画像ブロックの組それぞれの相関値に基づいて、前記画像ブロックの組毎に、当該画像ブロックの組の一方の画像ブロックと他方の画像ブロックとが一致しているかどうかを判定する、ステップと、
を実行させるプログラム。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
（付記１２）
前記２つの画像が、異なる角度から同一対象を撮影して得られたペア画像である、付記１１に記載のプログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
（付記１３）
前記コンピュータに、
（ｄ）前記画像ブロックの組それぞれ毎に、前記一方の画像ブロックの輝度の平均値と、前記他方の画像ブロックの輝度の平均値との差を求め、一定条件を満たす場合に、求めた前記差に基づいて前記相関値を補正する、ステップを更に実行させる、
付記１１または１２に記載のプログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
（付記１４）
前記コンピュータに、
（ｅ）前記２つの画像を取得し、取得した前記２つの画像それぞれのエピポーラ線が水平方向において一致していない場合に、前記２つの画像の一方または両方に対して、回転および射影変換うち少なくとも１つを行なって、前記２つの画像それぞれのエピポーラ線を水平方向において一致させる、ステップを更に実行させ、
前記（ａ）のステップにおいて、前記２つの画像それぞれから、垂直方向及び水平方向に沿って、水平方向における行と垂直方向における列とが形成されるように、前記複数の画像ブロックを抽出し、
前記一方の画像から抽出された画像ブロックの一つと、前記他方の画像から抽出された画像ブロックの一つとを、両者が位置している行が互いに対応するように選出し、選出した画像ブロック同士を組み合せて、前記画像ブロックの組を設定する、
付記１１〜１３のいずれかに記載のプログラム。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
（付記１５）
前記（ｃ）のステップにおいて、前記一方の画像から抽出された画像ブロックの一つに組み合わされた、前記他方の画像から抽出された画像ブロックのうち、前記相関値が最も小さくなる画像ブロックを特定し、特定した画像ブロックは、前記一方の画像から抽出された画像ブロックの一つと一致していると判定する、
付記１４に記載のプログラム。
【国際調査報告】
2017090705.tif 000020
2017090705.tif 000021
2017090705.tif 000022
2017090705.tif 000023