(57)【要約】【課題】シーンの奥行き情報を獲得する時、非境界部の精度を落とさずに境界部分の精度を向上させる。また、複雑な形状の境界部分において誤対応の発生を低く抑える。【解決手段】ステレオ法の原理を用いて奥行き情報を獲得し、その際、オクルージョンに対処したステレオ処理手法である「オクルージョン領域推定ステレオ」と、比較的大きいウインドウを使用しつつ高精度化を実現した「評価値制限法」の２つの手法の基本原理を融合させた処理を行うことで、上記の「オクルージョン領域ステレオ処理」と「評価値制限法」のどちらの手法でも正しく求められなかった境界領域の奥行き情報を正確に求める。また、実際のオクルージョンパターンに適合しないオクルージョン領域においては、上記融合処理が持つ、「不当に高い評価値に影響を大きく受けずマッチングが行える機能」において、推定誤りの発生を低く抑える。【特許請求の範囲】
【請求項１】
複数のカメラ又は視点からシーンを撮影し、得られた複数の画像からシーンの奥行き情報を復元するときに、画像間の対応具合を示す評価値に対し制限を設けたステレオ処理方式と、複数のカメラの使用パターンを組み合わせたステレオ処理方式を併用することで、より高精度化を実現したことを特徴としたステレオ処理方式。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、容易に高精度化を実現できるステレオ処理に関する。
【０００２】
【従来の技術】
２枚以上の異なる視点（位置）から得た複数の画像を用い、三角測量の原理によって奥行き情報を獲得する方法を「ステレオ処理」と呼ぶ。
【０００３】
ステレオ処理では、複数の画像のうちの一枚を「基準画像」とし、他の画像を「参照画像」して設定し、「基準画像」に対して奥行き情報を求める。
【０００４】
奥行き情報を求めるには、「基準画像」と複数の「参照画像」との間で三角測量の原理を用いる。
【０００５】
このとき、具体的には、「マッチング処理」と呼ばれる操作が行われる。
【０００６】
マッチング処理とは、後述する式１で示されるように、「基準画像」上のある点（画素）と「参照画像」上の任意の点との対応度（評価値）を求め、一番対応度の高い点を、対応点として決定する操作である。
【０００７】
マッチング処理により各画像間の対応関係が求められ、奥行き情報を獲得することが出来る。
【０００８】
上記の「マッチング処理」では、安定した結果を得るため、奥行きを求めようとする画素（注目画素）を含んだある大きさの領域（ウインドウ）を設定し、このウインドウ間で評価値を計算する方法（ウインドウマッチング）を一般的に用いる。
【０００９】
特に物体同士の境界付近（境界部）以外では、より大きなウインドウを用いることにより、安定した結果が得られることが多くの実験から明らかになっている。
【００１０】
ところで、ステレオ処理は異なる位置からシーンを観測するという原理上、いずれかの画像で観測される領域が、他の画像では観測されない、という現象が存在する。
【００１１】
これを、オクルージョンという。
【００１２】
オクルージョンは、「基準画像」で観測可能な領域が「参照画像」では手前の物体に隠されてしまうために観測できない「消失タイプのオクルージョン」と、逆に「基準画像」で観測不可能な領域が「参照画像」では観測できるという「出現タイプのオクルージョン」の２つに大別される。
【００１３】
このようなオクルージョン領域では、対応関係が求められないため、誤った奥行き情報を推定してしまう。
【００１４】
オクルージョンは、その発生メカニズム上、物体の境界領域に存在するため、境界領域の奥行き推定は困難なものとなっている。
【００１５】
またこのようなオクルージョン領域で、ウインドウを使用したマッチング処理を行うと、本来奥行き情報を獲得不可能な領域を使用することになるため、誤った奥行きを推定することが多くなる。
特に大きなウインドウを使用した場合、推定誤りを起こす領域が多くなる。
【００１６】
つまり、ウインドウの大きさは「境界部の安定性」と「非境界部の安定性」という点で、トレードオフの関係にある。
【００１７】
以上のことから従来のステレオ処理は、ウインドウの大きさ・形状・設定位置等を調整する方法や、オクルージョンの影響を排除する方法で高精度化を実現してきた。
【００１８】
境界部分の精度を改善するための手法として例えば、金出武雄、奥富正敏らのウインドウ形状を変化させる方法を用いた方式である”Ａ　Ｓｔｅｒｅｏ　ｍａｔｃｈｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｗｉｔｈ　ａｎ　ａｄａｐｔｉｖｅ　ｗｉｎｄｏｗ：　Ｔｈｅｏｒｙ　ａｎｄ　ｅｘｐｅｒｉｍｅｎｔ”，　ＩＥＥＥ　Ｔｒａｎｓ．　ＰＡＭＩ，　Ｖｏｌ．１６，　Ｎｏ９，　ｐｐ．９２０−９３２，１９９４　、佐藤清秀、大田友一らの「オクルージョン領域推定ステレオ」”Ｏｃｃｌｉｓｉｏｎ　Ｄｅｔｅｃｔａｂｌｅ　Ｓｔｅｒｅｏ　−Ｓｙｓｔｅｍａｔｉｃ　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｄｅｔｅｃｔｉｏｎ　Ａｌｇｏｒｉｔｈｍｓ−”　ＩＣＰＲ，　ｐｐ．２８０−２８６，　１９９６　、野口貴司、大田友一らの「評価値制限法」”Ａ　Ｓｉｍｐｌｅ　ｂｕｔ　Ｈｉｇｈ　Ｑｕａｌｉｔｙ　Ｓｔｅｒｅｏ　Ａｌｇｒｉｔｈｍ”　ＩＣＰＲ，　２００２、等がある。
【００１９】
これらは、それぞれ独自の方法でオクルージョンの影響を排除しており、境界部の奥行き推定精度は向上している。
【００２０】
「オクルージョン領域推定ステレオ」は、後述するように、オクルージョンマスクを用いて処理を行い、消失タイプのオクルージョン現象に対処できる方法である。
【００２１】
「評価値制限法」は、評価値に上限を設けて正しい奥行きを推定する手法である。
この手法は、オクルージョンによって発生するウインドウ内の不当に高い評価値に対して制限を設けることでオクルージョンの影響を排除する方法である。
この手法は、境界部分の奥行き推定精度が使用するウインドウの大きさに対して余り影響を受けずに安定している、という特徴がある。
そのため、比較的大きめのウインドを安心して使用できるという利点を持つ。
【００２２】
【発明が解決しようとする課題】
しかしながら従来の手法では、オクルージョンへの対処が不十分であり、境界部において推定誤りが多く残留する。
【００２３】
奥行き推定精度は、例えば、現実空間と仮想空間を融合させる場合等の融合精度に直接影響するために、融合結果中に多くの視覚的な不整合を生じることとなる。
【００２４】
このようなことから、境界部および非境界部分の奥行き推定精度を高めた奥行き推定処理手法が必要とされる。
【００２５】
また、解決に至っては、実時間システムへの実装性を考慮して簡単な方法で実装可能な方法である必要がある。
【００２６】
本発明で解決する課題は、非境界部分と境界部分の奥行き情報を簡単かつ高い精度で獲得する点である。
【００２７】
【課題を解決するための手段】
本発明は、「オクルージョン領域推定ステレオ」の基本原理と「評価値制限法」の基本原理とを融合処理させることで、より精度の良い奥行き推定を可能にする。
【００２８】
「オクルージョン領域推定ステレオ」の基本原理は、最低３つ以上のカメラを使用し、最低２つ以上からなるステレオペアを作成することを特徴とする。
【００２９】
また、「オクルージョン領域推定ステレオ」の基本原理は、オクルージョンが生じていると考えられる領域では、複数のステレオペアのうち有効に奥行き情報を獲得できると考えられるステレオペアを選択することでオクルージョンの影響を排除し、奥行き情報を獲得することを特徴とする。
【００３０】
また、「オクルージョン領域推定ステレオ」の基本原理において、選択するステレオのペアは、境界で実際に生じているオクルージョンのパターンを模擬したオクルージョンマスク（図１７）を使用しする方法、もしくは比較的対応具合が大きい評価値を算出するステレオペアを任意の数だけ選択する方法を使用することを特徴とする。
【００３１】
また、オクルージョンマスクで設定される使用ステレオペア数は、シーンに合わせて任意に設定できることを特徴とする。
【００３２】
つまり、「オクルージョン領域推定ステレオ」基本原理は、以上のように、「ステレオペアの選択」という手法でオクルージョン現象に対処することを特徴としている。
【００３３】
「評価値制限法」の基本原理は、最低２つ以上のカメラを組み合わせ、最低１つ以上のステレオペアを作成することを特徴とする。
【００３４】
また、「評価値制限法」の基本原理は、ウインドウ内に存在する、オクルージョンの影響による不当に高い評価値に上限を設け、上述の「出現タイプ」と「消失タイプ」の両タイプのオクルージョンの影響を排除することを特徴とする。
【００３５】
「評価値制限法」は、上記の処理の結果、不当に高い評価値に対して頑健性をもつ。
【００３６】
本発明は、上記の２つの手法「オクルージョン領域推定ステレオ」の基本原理と、「評価値制限法」の基本原理を融合処理させることで、これらのそれぞれの手法よりも高精度に奥行き情報を獲得することを特徴とする。
【００３７】
「評価値制限法」は、上述のとおり、ウインドウのサイズの影響を余り受けないため、比較的大きなウインドウを使用できる。
【００３８】
そのため、融合処理では、オクルージョン領域ステレオに対して大きなウインドウを使用することで、非境界部分の奥行き推定精度を確保しつつ、より境界部の奥行き推定制度を高めることができる。
【００３９】
また上述のように、評価値制限法は不当に高い評価値に対して頑健性を持つので、実際のオクルージョンパターンに対応しないオクルージョンマスクを使用した場合に生ずる奥行き情報推定精度の低下を抑えることができる。
【００４０】
【発明の実施の形態】
ここでは、９個のカメラを配列状に配置する場合もしくは、配列状の９つの視点からシーンを観測した場合の例を述べる。
【００４１】
まず９つの視点からシーンを撮影し９枚の画像を獲得する。
図１は、中心画像であり、これを「基準画像」として使用する。
他の８枚は「参照画像」として利用する。
このため、合計８つのステレオペアが作成される。
【００４２】
次に式９および式１０で示されるように、ウインドウ間の評価値を計算する。
この式では、ウインドウ間の評価値はウインドウ間の差分値（ＳＡＤ）を使用している。
【００４３】
評価値は、他にも差分値の二乗を用いる方法や、相互相関係等を用いる方法があるが、基本的には画素間の色距離の相違を何らかの尺度で示すものであり、本質的には同じである。
【００４４】
以降では、画素間評価値を”ＡＤ”、”ＡＤ”に対して制限を施した画素間評価値を”ＬＡＤ”、ウインドウ間評価値を”ＳＡＤ”、もしくは”ＳＬＡＤ”、複数の”ＳＡＤ”、”ＳＬＡＤ”を加算した評価値を”ＳＳＡＤ”、”ＳＳＬＡＤ”とする。
【００４５】
なお各式において、”Ｌ”は制限値である。
もし、画素間の評価値が”Ｌ”より大きい場合は、その評価値を”Ｌ”とし、それ以下の場合は、その値を用いる。
【００４６】
また、”Ｍ”と”Ｎ”はそれぞれ縦方向、横方向のウインドウサイズである。
【００４７】
また、”ｒ”は参照画像番号を意味し、１〜８の範囲であり、”ｔ”はマスクタイプ番号を意味し、これも１〜８の範囲である。
【００４８】
”ｍ”はオクルージョンマスクで定義される使用ステレオペア数であり、最大ペア数を超えない範囲で任意に設定できる。
【００４９】
”Ｗｍ”は、使用ステレオペア数が”ｍ”の時に、全てのステレオペアを使用させるための重みである。
【００５０】
次に、式１１および図１７に示されるオクルージョンマスクを用いて、各マスクタイプ毎に評価値（ＳＳＬＡＤｔ）を計算する。
【００５１】
本例において使用したオクルージョンマスクでは、使用ステレオペア数は３としている。
【００５２】
これにより、合計８つの評価値（ＳＳＬＡＤｔ）得られる。
【００５３】
以上の操作を仮定する視差数（ｄの範囲）分計算し、合計８ｄ個の評価値（ＳＳＬＡＤｔ）を得る。
【００５４】
この８ｄ個の評価値の中で、最小値を選択する。
この値が最終的な評価値となり、このときの仮定視差ｄの値が注目画素の視差となる。
【００５５】
得られる視差は、奥行き情報として利用できる。
【００５６】
以上の操作により、注目画素の奥行き情報が計算される。
この操作を基準画像全体に施すことにより、画像全体の奥行き情報を獲得することが出来る。
【実施例】
【００５７】
本手法は「オクルージョン領域推定ステレオ」と「評価値制限法」の２つの手法を融合させることによって高精度化を達成しているが、そのうち、「オクルージョン領域推定ステレオ」は以下の式で実現できる。
【００５８】
【数１】
2004094697.tif 000002
【数２】
2004094697.tif 000003
【数３】
2004094697.tif 000004
【数４】
2004094697.tif 000005
【００５９】
また、「評価値制限法」は以下の式で実現できる。
【００６０】
【数５】
2004094697.tif 000006
【数６】
2004094697.tif 000007
【数７】
2004094697.tif 000008
【数８】
2004094697.tif 000009
【００６１】
上記の数式において、Ｌは制限値である。
【００６２】
また、本発明は以下の式で実現可能である。
【００６３】
【数９】
2004094697.tif 000010
【数１０】
2004094697.tif 000011
【数１１】
2004094697.tif 000012
【数１２】
2004094697.tif 000013
【００６４】
図１は実際のシーンである。
図２は正解奥行き情報である。
図３と図４はオクルージョン領域推定ステレオの結果で、それぞれウインドウサイズが３、１３であり、図２と比べて誤っている部分を赤で表示している。
図５と図６は評価値制限法による結果であり、同様にウインドウサイズが３、１３を使用したものである。
図７と図８は、発明手法で得た結果であり、同様にウインドウサイズが３、１３を使用したものである。
図９と図１０は発明手法を使用することで初めて正しい奥行き情報を獲得できた領域を黄色で示したものであり、同様にウインドウサイズが３、１３を使用したものである。
【００６５】
発明手法が有効であるかどうかは、発明手法で初めて正解に導けた領域が存在するかどうかで判別できる。
【００６６】
発明手法で初めて正解に導けた領域は、図９と図１０で示されるように、物体境界部に明確に存在する。
【００６７】
また、図７と図８を比較して分かるように、大きなウインドウを使用した場合でも境界部分の奥行き推定精度を落とすことなく、かつ非境界部の推定精度が安定した奥行き情報を獲得することに成功している。
【００６８】
また、図１１と図１２は図１７に示されるオクルージョンマスクを使用した結果であり、それぞれ「オクルージョン領域推定ステレオ」「発明手法」による結果である。
上記の場合と同様に、推定誤り領域を赤色で示している。
【００６９】
図１３と図１４は図１７示されるオクルージョンマスクからさらに使用ステレオペア数を４つほど強制的に増加させた場合の結果であり、それぞれ「オクルージョン領域推定ステレオ」「発明手法」によるものである。
【００７０】
図１５は、図１１と図１３を比較し、推定誤りの増加領域を示している。
図１６も同様に、図１２と図１４を比較し、推定誤りの増加領域を示している。
【００７１】
境界部分においては、オクルージョンが生じているカメラ数が多くなるため、使用ステレオペア数を増加させると必然的に誤対応が増加する。
【００７２】
実際、図１５、図１６共に、境界部分において、推定誤り領域が増加していることが分かる。
【００７３】
しかし「オクルージョン領域推定ステレオ」による推定誤り領域の増加面積（図１５）と「発明手法」による推定誤り領域の増加面積（図１６）は、「発明手法」では大きく低減されている。
【００７４】
これは、オクルージョンマスクが実際に境界で生じているオクルージョンパターンに該当しないような場合も誤対応領域の増加を低く抑えることが出来たことを示している。
【００７５】
【発明の効果】
発明手法では、非境界部分の精度を低下させること無く境界部の精度を向上させることができる。
【００７６】
また、実際のオクルージョンパターンに該当しないオクルージョンマスクを使用した場合の推定誤り領域の増加量を抑えることができる。
【００７７】
オクルージョンマスクは、すべての境界のオクルージョンパターンを模擬していないため、特に複雑なオクルージョンが生じている境界部では、発明手法を用いることで精度の低下を抑えることができる。
【００７８】
また、この手法は非常に処理が単純であり、既存のステレオ処理装置にも容易に組み込むことが可能である。
【図面の簡単な説明】
【図１】実際のシーン。
【図２】正解奥行き情報。
【図３】オクルージョン領域推定ステレオの結果で誤った部分を白色で表示したもの（ウィンドウサイズ３）。
【図４】オクルージョン領域推定ステレオの結果で誤った部分を白色で表示したもの（ウィンドウサイズ１３）。
【図５】評価値制限法による結果で誤った部分を白色で表示したもの（ウィンドウサイズ３）。
【図６】評価値制限法による結果で誤った部分を白色で表示したもの（ウィンドウサイズ１３）。
【図７】発明手法で得た結果で誤った部分を白色で表示したもの（ウィンドウサイズ３）。
【図８】発明手法で得た結果で誤った部分を白色で表示したもの（ウィンドウサイズ１３）。
【図９】発明手法で初めて正解に導けた領域を白色で表示したもの（ウインドウサイズ３）。
【図１０】発明手法で初めて正解に導けた領域を白色で表示したもの（ウインドウサイズ１３）。
【図１１】オクルージョン領域推定ステレオによる結果で誤った部分を白色で表示したもの（使用ステレオペア数３）。
【図１２】発明手法による結果で誤った部分を白色で表示したもの（使用ステレオペア数３）。
【図１３】オクルージョン領域推定ステレオによる結果で誤った部分を白色で表示したもの（使用ステレオペア数７）。
【図１４】発明手法による結果で誤った部分を白色で表示したもの（使用ステレオペア数７）。
【図１５】オクルージョン領域推定ステレオによる結果で、ペア数が増えたことにより増加した誤った部分を白色で表示したもの。
【図１６】発明手法による結果で、ペア数が増えたことにより増加した誤った部分を白色で表示したもの。
【図１７】オクルージョンマスクの例（使用ペア数３）。使用するステレオペアの参照画像を”○”、使用しないものを”×”で示している。
【図１】
2004094697.tif 000014
【図２】
2004094697.tif 000015
【図３】
2004094697.tif 000016
【図４】
2004094697.tif 000017
【図５】
2004094697.tif 000018
【図６】
2004094697.tif 000019
【図７】
2004094697.tif 000020
【図８】
2004094697.tif 000021
【図９】
2004094697.tif 000022
【図１０】
2004094697.tif 000023
【図１１】
2004094697.tif 000024
【図１２】
2004094697.tif 000025
【図１３】
2004094697.tif 000026
【図１４】
2004094697.tif 000027
【図１５】
2004094697.tif 000028
【図１６】
2004094697.tif 000029
【図１７】
2004094697.tif 000030