(57)【要約】【課題】視差算出に係る計算コスト及びメモリ消費量を抑制する。【解決手段】視差算出装置（１）は、ステレオカメラ（５０）により撮像された一対の画像を用いて、ブロック毎の視差算出処理、視差差分算出処理及びコスト算出処理を、互いに形状が異なる複数種類のブロック形状各々について行う処理手段（２０）と、視差を求める対象画素を夫々含み、且つ、複数種類のブロック形状に夫々対応する複数のブロックのうち、コスト算出処理により関連付けられたコストが最小であるブロックの視差値を、対象画素の視差とする視差選択処理を、画像を構成する複数の画素各々について行う選択手段（３０、４０）とを備える。【選択図】図１
2018132946.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラにより撮像された一対の画像を取得する取得手段と、
（ｉ）前記一対の画像のうち一方の画像である基準画像を複数のブロックに分割し、前記複数のブロック各々について、前記一対の画像のうち他方の画像である参照画像に含まれる対応点を探索して視差を算出する視差算出処理、（ｉｉ）前記複数のブロックのうち対象ブロックと、前記複数のブロックのうち前記対象ブロックの周囲の複数の周囲ブロックとを含むブロック群を設定するブロック群設定処理、及び（ｉｉｉ）前記視差算出処理の結果に基づいて、前記設定されたブロック群に係る視差の一様性を示す指標を算出すると共に、前記算出された指標を、前記対象ブロックに係る評価を示すコストとして前記対象ブロックに関連付けるコスト算出処理、を互いに形状が異なる複数種類のブロック形状各々について行う処理手段と、
前記基準画像を構成する複数の画素のうち対象画素を夫々含み、且つ、前記複数種類のブロック形状に夫々対応する複数のブロックのうち、前記コスト算出処理により関連付けられたコストが最小であるブロックの前記視差算出処理により算出された視差を、前記対象画素の視差とする視差選択処理を、前記複数の画素各々について行う選択手段と、
を備えることを特徴とする視差算出装置。
【請求項２】
前記コスト算出処理は、（ｉ）前記視差算出処理の結果に基づいて、前記設定されたブロック群において相互に隣接するブロック間の視差差分を算出し、前記算出された視差差分に基づいて、前記指標を算出することを特徴とする請求項１に記載の視差算出装置。
【請求項３】
前記処理手段は、前記複数種類のブロック形状各々についての前記視差算出処理、前記ブロック群設定処理及び前記コスト算出処理を並列処理することを特徴とする請求項１又は２に記載の視差算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差算出装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置で用いられる視差算出方法として、例えば、着目画素の周囲との滑らかさ（ｓｍｏｏｔｈｎｅｓｓ）をコスト関数に加味して、ステレオカメラにより撮像された左右の画像同士で各画素のマッチングを行うＳｅｍｉ  Ｇｌｏｂａｌ  Ｍａｔｃｈｉｎｇ（ＳＧＭ）が提案されている（非特許文献１参照）。尚、ＳＧＭを用いて立体物を検出する装置（特許文献１参照）や、ＳＧＭにおいて視差値を最適化する際の処理コストを抑制する方法（特許文献２参照）が提案されている。
【０００３】
ＳＧＭとは異なる視差算出方法として、基準画像及び参照画像からなるステレオ画像についてウィンドコストを算出し、該ウィンドコストを用いて基準画像に含まれる全ての画素毎に評価値を算出し、評価値を視差の探索範囲において最小にする視差を注目画素の最適な視差として採用する方法が提案されている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−０６２３５６号公報
【特許文献２】特開２０１６−００１８４１号公報
【特許文献３】特開２０１６−０９９３１８号公報
【非特許文献】
【０００５】
【非特許文献１】Heiko Hirschmuller, “Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Diego, CA, USA, June 20-26 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載のＳＧＭでは、コスト関数を解くために画像全体に対する最適化計算が必要不可欠であり計算コスト（即ち、計算量）が比較的高くなってしまう。加えて、視差を求めるために画像全体の輝度情報をメモリに蓄えておく必要がありメモリ消費量が比較的高くなってしまう。特許文献１乃至３に記載の技術では、これらの問題点を解決することはできない。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、計算コスト及びメモリ消費量を抑制することができる視差算出装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明の視差算出装置は、上記課題を解決するために、ステレオカメラにより撮像された一対の画像を取得する取得手段と、（ｉ）前記一対の画像のうち一方の画像である基準画像を複数のブロックに分割し、前記複数のブロック各々について、前記一対の画像のうち他方の画像である参照画像に含まれる対応点を探索して視差を算出する視差算出処理、（ｉｉ）前記複数のブロックのうち対象ブロックと、前記複数のブロックのうち前記対象ブロックの周囲の複数の周囲ブロックとを含むブロック群を設定するブロック群設定処理、及び（ｉｉｉ）前記視差算出処理の結果に基づいて、前記設定されたブロック群に係る視差の一様性を示す指標を算出すると共に、前記算出された指標を、前記対象ブロックに係る評価を示すコストとして前記対象ブロックに関連付けるコスト算出処理、を互いに形状が異なる複数種類のブロック形状各々について行う処理手段と、前記基準画像を構成する複数の画素のうち対象画素を夫々含み、且つ、前記複数種類のブロック形状に夫々対応する複数のブロックのうち、前記コスト算出処理により関連付けられたコストが最小であるブロックの前記視差算出処理により算出された視差を、前記対象画素の視差とする視差選択処理を、前記複数の画素各々について行う選択手段と、を備える。ここで、「ブロック」とは、画像を構成する画素の集合を意味する。つまり、一つのブロックは、複数の画素から構成されている。
【０００９】
視差算出処理では、ブロック毎に視差が算出される（所謂“Ｂｌｏｃｋｗｉｓｅ”）。ブロック群設定処理では、対象ブロックと、該対象ブロックの周囲の複数の周囲ブロックとを含むブロック群が設定される。コスト算出処理では、視差算出処理の結果に基づいて、設定されたブロック群に係る視差の一様性を示す指標が算出される。算出された指標は、対象ブロックに係る評価を示すコストとして、該対象ブロックに関連付けられる。当該視差算出装置では、視差算出処理、ブロック群設定処理及びコスト算出処理を一連の処理として、該一連の処理が、複数種類のブロック形状各々について行われる。
【００１０】
各画素の視差は次のように求められる。即ち、先ず、第１のブロック形状（例えば、正方形）のブロックのうち、視差を求めようとする対象画素を含むブロックに関連付けられたコスト、第２のブロック形状（例えば、横長の長方形）のブロックのうち、視差を求めようとする対象画素を含むブロックに関連付けられたコスト、…、及び、第Ｎ（Ｎは２以上の自然数）のブロック形状のブロックのうち、視差を求めようとする対象画素を含むブロックに関連付けられたコスト（即ち、複数種類のブロック形状各々の対象画素を含むブロックに関連付けられたコスト）のうち、最小のコストに関連付けられたブロックが選択される。そして、該選択されたブロックについて行われた視差算出処理の結果である視差が、対象画素の視差とされる。
【００１１】
ところで、後述する実施形態において詳細に説明するが、視差を求めようとする対象によって最適なブロック形状は異なる。２次元画像において、地面（例えば路面）に対応する領域では、画像の左右方向で互いに隣接する画素が、撮像地点からほぼ等距離にある地点に対応する。或いは、２次元画像において、建造物の壁に対応する領域では、画像の上下方向で互いに隣接する画素が、撮像地点からほぼ等距離にある地点に対応する。
【００１２】
このため、例えば地面に対応する領域の視差を求める際に、縦長の長方形のブロックが用いられると、該ブロックの下側の画素に対応する地点と該ブロックの上側の画素に対応する地点との視差が実際には異なっているにもかかわらず、ブロック毎に視差が算出されるために該ブロックに含まれる画素全ての視差は同じになってしまう。つまり、ブロック形状を固定してしまうと、算出された視差の正解率が低下する可能性がある。他方で、画像のどの領域に何が写るのかを予め特定して、領域毎に最適なブロック形状を予め設定することは不可能である。
【００１３】
当該視差算出装置では、上述の如く、複数種類のブロック形状各々について一連の処理が行われる。このとき、例えば地面に対応する領域では、該領域に最適なブロック形状を用いて一連の処理が行われた場合のコストが最小になると期待される。そして当該視差算出装置では、対象画素を夫々含み、複数種類のブロック形状に夫々対応する複数のブロックのうちコストが最小であるブロックの視差が、対象画素の視差とされる。このため、各画素の視差は、自動的に、各画素に最適なブロック形状のブロックを用いて算出された視差になることが期待される。
【００１４】
当該視差算出装置によれば、ブロック毎に視差が算出されるので、ピクセル毎に視差が算出される場合（所謂“Ｐｉｘｅｌｗｉｓｅ”）に比べて、計算コスト及びメモリ消費量を抑制することができる。更に、複数種類のブロック形状各々について視差算出処理を含む一連の処理が行われると共に、画素毎に視差が求められるので、視差の正解率の向上を図ることができると共に、比較的高密度な視差画像を取得することができる。
【００１５】
本発明の視差算出装置の一態様では、前記コスト算出処理は、（ｉ）前記視差算出処理の結果に基づいて、前記設定されたブロック群において相互に隣接するブロック間の視差差分を算出し、前記算出された視差差分に基づいて、前記指標を算出する。この態様によれば、比較的容易にして、ブロック群に係る視差の一様性を示す指標を算出することができる。
【００１６】
本発明の視差算出装置の他の態様では、前記処理手段は、前記複数種類のブロック形状各々についての前記視差算出処理、前記ブロック群設定処理及び前記コスト算出処理を並列処理する。この態様によれば、処理時間を短縮することができ、実用上非常に有利である。
【００１７】
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る視差算出装置の構成を示すブロック図である。
【図２】実施形態に係る視差算出装置における視差算出に用いられるブロック形状の一例を示す図である。
【図３】視差算出に用いられる画像の一例を示す図である。
【図４】実施形態に係る視差算出装置における視差差分の算出概念を示す図である。
【発明を実施するための形態】
【００１９】
本発明の視差算出装置に係る実施形態について、図１乃至図４を参照して説明する。
【００２０】
実施形態に係る視差算出装置の構成について、図１を参照して説明する。図１は、実施形態に係る視差算出装置の構成を示すブロック図である。
【００２１】
図１において、視差算出装置１は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、歪矯正・平行化部１０、処理部２０、ブロックサイズ選択部３０及び視差画像生成部４０を備えている。処理部２０は、複数の視差算出部２１ａ、２１ｂ、…、２１Ｎと、複数のブロック群設定部２２ａ、２２ｂ、…、２２Ｎと、複数のコスト算出部２３ａ、２３ｂ、…、２３Ｎとを有する。
【００２２】
次に、視差算出装置１における視差算出方法について言及しつつ、該視差算出装置１の各構成要素について説明する。
【００２３】
歪矯正・平行化部１０は、カメラ５０Ｌ及び５０Ｒを備えてなるステレオカメラ５０により撮像された左画像（即ち、カメラ５０Ｌにより撮像された画像）及び右画像（即ち、カメラ５０Ｒにより撮像された画像）各々に対し、歪み矯正（補正）処理及び平行化補正処理を施す。尚、歪み矯正処理及び平行化補正処理については、既存の各種方法を適用可能であるので、その詳細な説明については省略する。
【００２４】
処理部２０は、歪み矯正処理及び平行化補正処理が施された左画像及び右画像を用いて、視差算出処理、視差差分算出処理及びコスト算出処理を行う。言うまでもないことではあるが、該３つの処理で用いられる左画像及び右画像は互いに同時期に撮像された画像である。
【００２５】
処理部２０の視差算出部２１ａ、２１ｂ、…、２１Ｎ各々は、左画像及び右画像のうち一方の画像である基準画像を複数のブロック（即ち、画素の集合）に分割し、該複数のブロック各々について、左画像及び右画像のうち他方の画像である参照画像に含まれる対応点を探索して視差を算出する。つまり、視差算出部２１ａ、２１ｂ、…、２１Ｎ各々は、ブロック毎に視差を算出する。
【００２６】
本実施形態では特に、視差算出部２１ａ、２１ｂ、…、２１Ｎ各々は、互いに異なるブロック形状で基準画像を分割する。ここで、ブロック形状について、図２及び図３を参照して説明を加える。
【００２７】
図２に示すように、ブロック形状が四角形である場合、視差算出部２１ａ、２１ｂ、…、２１Ｎ各々は、縦横比が互いに異なる四角形で基準画像１００を分割する。尚、ブロック形状が互いに異なっていても、一つのブロックの面積（即ち、一つのブロックを構成する画素数）は、典型的には、同じである。具体的には例えば、一つのブロックの面積が「３２」である場合、ブロック形状としては、「縦１×横３２」、「縦２×横１６」、「縦４×横８」、「縦８×横４」、「縦１６×横２」、「縦３２×横１」が挙げられる。
【００２８】
例えば図３に示す画像が、視差算出の対象画像であるとする。例えば路面に対応する領域では、画像の左右方向に並んだ画素同士の視差は（ほぼ）等しい一方で、奥行き方向に相当する画像の上下方向に並んだ画素同士の視差は異なる。このため、路面に対応する領域の視差が算出される場合には、例えばブロックｂ１１のような、横長の四角形のブロックが用いられることが望ましい。
【００２９】
例えば建物の側面に対応する領域では、画像の上下方向に並んだ画素同士の視差は（ほぼ）等しい一方で、奥行き方向に相当する画像の左右方向に並んだ画素同士の視差は異なる。このため、建物の側面に対応する領域の視差が算出される場合には、例えばブロックｂ１２のような、縦長の四角形のブロックが用いられることが望ましい。
【００３０】
例えば先行車両の後部に対応する領域では、画像の左右方向に並んだ画素同士の視差も、画像の上下方向に並んだ画素同士の視差も、（ほぼ）等しい。他方で、該領域が画像上において占める範囲は比較的小さいので、例えばブロックｂ１１及びｂ１２のようなブロック形状では、ブロック内に先行車両の後部とは異なる物体が含まれる可能性がある。このため、先行車両の後部に対応する領域の視差が算出される場合には、例えばブロックｂ１３のような、正方形に近い四角形のブロックが用いられることが望ましい。
【００３１】
このように、視差を求めようとする対象によって最適なブロック形状は異なる。しかしながら、対象画像のどの領域に何が写るのかを予め特定することは不可能である。そこで本実施形態では、複数種類のブロック形状各々についてブロック毎に視差が算出され、視差の算出結果に基づいて、後述するように、画素毎にブロック形状が選択される。
【００３２】
再び図１に戻り、ブロック群設定部２２ａ、２２ｂ、…、２２Ｎ各々は、対象であるブロックと、該ブロックの周囲の複数のブロックとからなるブロック群を設定する。コスト算出部２３ａ、２３ｂ、…、２３Ｎ各々は、夫々対応する視差算出部２１ａ、２１ｂ、…、２１Ｎの視差算出結果に基づいて、夫々対応するブロック群設定部２２ａ、２２ｂ、…、２２Ｎにより設定されたブロック群に係る視差の一様性を示す指標を算出する。コスト算出部２３ａ、２３ｂ、…、２３Ｎ各々は、算出された指標を、該指標の算出対象となったブロック群に含まれる対象ブロックに、該対象ブロックに係る評価を示すコストとして、関連付ける。  具体的には例えば、図４に示す正方形のブロックｂ２１が対象ブロックであるとする。この場合、一のブロック群設定部（即ち、ブロック群設定部２２ａ、２２ｂ、…、２２Ｎのいずれか）は、ブロックｂ２１と、該ブロックｂ２１の周囲のブロックｂ２２〜ｂ２９とから一つのブロック群を設定する。ここで、ブロックｂ２１、ｂ２２、ｂ２３、ｂ２４、ｂ２５、ｂ２６、ｂ２７、ｂ２８及びｂ２９の視差値を、夫々、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６、ｐ７、ｐ８及びｐ９とする。
【００３３】
上記一のブロック群設定部に対応する一のコスト算出部（即ち、コスト算出部２３ａ、２３ｂ、…、２３Ｎのいずれか）は、ブロック群（即ち、ブロックｂ２１〜ｂ２９）において相互に隣接するブロック間の視差差分を算出する。
【００３４】
ブロックｂ２１及びブロックｂ２２間の視差差分は（ｐ１−ｐ２）であり、ブロックｂ２１及びブロックｂ２３間の視差差分は（ｐ１−ｐ３）であり、ブロックｂ２１及びブロックｂ２４間の視差差分は（ｐ１−ｐ４）であり、ブロックｂ２１及びブロックｂ２５間の視差差分は（ｐ１−ｐ５）である。ブロックｂ２２及びブロックｂ２６間の視差差分は（ｐ２−ｐ６）であり、ブロックｂ２２及びブロックｂ２７間の視差差分は（ｐ２−ｐ７）である。ブロックｂ２３及びブロックｂ２７間の視差差分は（ｐ３−ｐ７）であり、ブロックｂ２３及びブロックｂ２８間の視差差分は（ｐ３−ｐ８）である。ブロックｂ２４及びブロックｂ２８間の視差差分は（ｐ４−ｐ８）であり、ブロックｂ２４及びブロックｂ２９間の視差差分は（ｐ４−ｐ９）である。ブロックｂ２５及びブロックｂ２９間の視差差分は（ｐ５−ｐ９）であり、ブロックｂ２５及びブロックｂ２６間の視差差分は（ｐ５−ｐ６）である。
【００３５】
次に、上記一のコスト算出部は、算出された視差差分に基づいて、視差差分の２乗和を、ブロック群に係る視差の一様性を示す指標として、算出する。上記一のコスト算出部は、算出された視差差分の２乗和を、ブロックｂ２１に係る評価を示すコストとして、該ブロックｂ２１に関連付ける。
【００３６】
ブロックｂ２１についてのコストは、（ｐ１−ｐ２）２＋（ｐ１−ｐ３）２＋（ｐ１−ｐ４）２＋（ｐ１−ｐ５）２＋（ｐ２−ｐ６）２＋（ｐ２−ｐ７）２＋（ｐ３−ｐ７）２＋（ｐ３−ｐ８）２＋（ｐ４−ｐ８）２＋（ｐ４−ｐ９）２＋（ｐ５−ｐ９）２＋（ｐ５−ｐ６）２と表される。
【００３７】
ブロック形状が、視差を算出しようとする対象に適した形状である場合、互いに隣接するブロック間の視差の差分は比較的小さいと考えられる、言い換えれば、互いに隣接するブロック間では視差が比較的滑らかに変化すると考えられる。従って、コスト算出部２３ａ、２３ｂ、…、２３Ｎの算出結果を比較すれば、視差を算出しようとする対象に適したブロック形状を選択可能である。
【００３８】
再び図１に戻り、ブロックサイズ選択部３０は、コスト算出部２３ａ、２３ｂ、…、２３Ｎの算出結果から、視差を求めようとする対象画素を夫々含む複数のブロック各々のコストを取得する。具体的には例えば、図２に黒点で示す画素が対象画素である場合、ブロックサイズ選択部３０は、ブロックｂ１（図２（ａ））、ブロックｂ２（図２（ｂ））、ブロックｂ３（図２（ｃ））及びブロックｂ４（図２（ｄ））各々のコストを取得する。
【００３９】
ブロックサイズ選択部３０は、コストを比較して、最小コストのブロック（形状）を選択する。視差画像生成部４０は、ブロックサイズ選択部３０により選択されたブロックの視差値を、対象画素の視差値とする。ブロックサイズ選択部３０及び視差画像生成部４０は、基準画像１００（図２参照）を構成する全ての画素について、同様の処理を繰り返し行うことにより、視差画像を生成する。
【００４０】
（技術的効果）
処理部２０における視差算出等は、ブロック単位で行われるので、ピクセル単位で視差等が算出される場合に比べて、計算コスト及びメモリ消費量を抑制することができる。加えて、処理部２０では、各ブロック形状についての視差算出等が並列処理されるので、複数のブロック形状各々について視差算出等が行われるにもかかわらず、ピクセル単位で視差等が算出される場合に比べて処理時間を短縮することができる。
【００４１】
当該視差算出装置１では、上述の如く、画素毎に視差値が求められるので、視差の正解率の向上を図ることができると共に、比較的高密度な視差画像を得ることができる。当該視差算出装置１では特に、対象画素の視差値が求められる際に、該対象画素を含み、互いに異なるブロック形状の複数のブロックから、最小コストのブロックが選択され（即ち、最小コストとなるブロック形状が選択され）、そして、該選択されたブロックの視差値が対象画素の視差値とされる。このため、各画素の視差値は、自動的に、各画素に最適なブロック形状のブロックを用いて算出された視差値になることが期待される。
【００４２】
実施形態に係る「歪矯正・平行化部１０」及び「処理部２０」は、夫々、本発明に係る「取得手段」及び「処理手段」の一例である。実施形態に係る「ブロックサイズ選択部３０」及び「視差画像生成部４０」は、本発明に係る「選択手段」の一例である。
【００４３】
＜第１変形例＞
コスト算出部２３ａ、２３ｂ、…、２３Ｎ各々は、上述した視差差分の２乗和に代えて、ブロック群における視差の分散値を、該ブロック群に係る視差の一様性を示す指標として算出してよい。図４に示す例では、視差の一様性を示す指標は、｛（ｐ１−ｍ）２＋（ｐ２−ｍ）２＋（ｐ３−ｍ）２＋（ｐ４−ｍ）２＋（ｐ５−ｍ）２＋（ｐ６−ｍ）２＋（ｐ７−ｍ）２＋（ｐ８−ｍ）２＋（ｐ９−ｍ）２｝／９と表される。ここで、“ｍ”は、ブロック群における視差の平均値である。図４に示す例では、ｍ＝（ｐ１＋ｐ２＋ｐ３＋ｐ４＋ｐ５＋ｐ６＋ｐ７＋ｐ８＋ｐ９）／９である。
【００４４】
＜第２変形例＞
コスト算出部２３ａ、２３ｂ、…、２３Ｎ各々は、上述した視差差分の２乗和に代えて、ブロック群における視差の平均値ｍと、該ブロック群に含まれる複数のブロックの視差各々との差分の絶対値の単純和を、視差の一様性を示す指標として算出してよい。図４に示す例では、視差の一様性を示す指標は、｜ｐ１−ｍ｜＋｜ｐ２−ｍ｜＋｜ｐ３−ｍ｜＋｜ｐ４−ｍ｜＋｜ｐ５−ｍ｜＋｜ｐ６−ｍ｜＋｜ｐ７−ｍ｜＋｜ｐ８−ｍ｜＋｜ｐ９−ｍ｜と表される。図４に示す例では、ｍ＝（ｐ１＋ｐ２＋ｐ３＋ｐ４＋ｐ５＋ｐ６＋ｐ７＋ｐ８＋ｐ９）／９である。
【００４５】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う視差算出装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００４６】
１…視差算出装置、１０…歪矯正・平行化部、２０…処理部、２１ａ、２１ｂ、２１Ｎ…視差算出部、２２ａ、２２ｂ、２２Ｎ…ブロック群設定部、２３ａ、２３ｂ、２３Ｎ…コスト算出部、３０…ブロックサイズ選択部、４０…視差画像生成部、５０…ステレオカメラ
【図１】
2018132946.tif 000003
【図２】
2018132946.tif 000004
【図３】
2018132946.tif 000005
【図４】
2018132946.tif 000006