(57)【要約】【課題】  計算量、メモリの増加をともなわずに、重要な対象について効率よく奥行きの算出を行う。【解決手段】  処理結果を奥行きデータベース６ヘ格納する入出力処理手段１、画像特徴点を算出する画像特徴点算出処理手段２、画像特徴点算出処理手段２にて算出された画像特徴点を利用して視差量候補を算出する視差量候補算出手段３、および、算出された視差量候補から視差量を決定する視差量算出処理手段４により奥行き算出装置を構成する。【選択図】  図１
2005173995.tif 000002
【特許請求の範囲】
【請求項１】
横軸が平行投影であるステレオ画像を用いて、画像中の対象物の奥行きを算出する装置であって、
対象物を撮影した2枚のステレオ画像並びにこの画像を構成する縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度を含む撮影パラメータを取得する入出力処理手段と、
前記2枚のステレオ画像から画像特徴点を算出する画像特徴点算出処理手段と、
前記算出した画像特徴点を用いて投票により視差量候補を算出する視差量候補算出手段と、
前記視差量候補から視差量を決定し、この視差量および前記撮影パラメータから奥行きを算出して、この奥行きを前記視差量に対応する画像の領域に付する視差量決定処理手段と、を備えることを特徴とする奥行き算出装置。
【請求項２】
前記画像特徴点算出処理手段は、
前記画像特徴点として、画像上の局所領域における濃淡値の変化の大きい箇所を抽出することを特徴とする請求項１に記載の奥行き算出装置。
【請求項３】
前記視差量候補算出手段は、
一方の画像をずらして前記２枚の画像の対応する画像特徴点どうしを重ねるのに必要な差分値を算出し、
この差分値に対して投票を行い、得票が閾値以上であったものを視差量候補とすることを特徴とする請求項１または２に記載の奥行き算出装置。
【請求項４】
前記視差量候補算出手段は、
前記画像特徴点を用いて視差量候補を算出するときに、画像特徴点間の距離を伸縮させることを特徴とする請求項１〜３いずれかに記載の奥行き算出装置。
【請求項５】
前記視差量決定処理手段は、
前記投票された得票数順に視差量候補の処理を行うことで、画像中に占める面積割合の大きい対象物から順に奥行きを算出することを特徴とする請求項１〜４いずれかに記載の奥行き算出装置。
【請求項６】
横軸が平行投影であるステレオ画像を用いて、画像中の対象物の奥行きを算出する方法であって、
対象物を撮影した2枚のステレオ画像並びにこの画像を構成する縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度を含む撮影パラメータを取得する入出力処理ステップと、
前記2枚のステレオ画像から画像特徴点を算出する画像特徴点算出ステップと、
前記算出した画像特徴点を用いて投票により視差量候補を算出する視差量候補算出ステップと、
前記視差量候補から視差量を決定し、この視差量および前記撮影パラメータから奥行きを算出して、この奥行きを前記視差量に対応する画像の領域に付する視差量決定処理ステップと、を備えることを特徴とする奥行き算出方法。
【請求項７】
前記画像特徴点算出ステップは、
前記画像特徴点として、画像上の局所領域における濃淡値の変化の大きい箇所を抽出することを特徴とする請求項６に記載の奥行き算出方法。
【請求項８】
前記視差量候補算出ステップは、
一方の画像をずらして前記２枚の画像の対応する画像特徴点どうしを重ねるのに必要な差分値を算出し、
この差分値に対して投票を行い、得票が閾値以上であったものを視差量候補とすることを特徴とする請求項６または７に記載の奥行き算出方法。
【請求項９】
前記視差量候補算出ステップは、
前記画像特徴点を用いて視差量候補を算出するときに、画像特徴点間の距離を伸縮させることを特徴とする請求項６〜８いずれかに記載の奥行き算出方法。
【請求項１０】
前記視差量決定処理ステップは、
前記投票された得票数順に視差量候補の処理を行うことで、画像中に占める面積割合の大きい対象物から順に奥行きを算出することを特徴とする請求項６〜９いずれかに記載の奥行き算出方法。
【請求項１１】
前記の請求項１〜１０のいずれか１項に記載の奥行き算出装置ムまたは奥行き算出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は横軸が平行投影な画像を用いてステレオ視することにより奥行きを算出する技術に関するものである。
【背景技術】
【０００２】
ステレオ画像から奥行きを算出するには、以下の２つの方法が知られている。
【０００３】
方法１として、一方の画像中の画素を中心とするブロック状の部分画像を切り出してきて、もう一方の画像上でもっとも類似度が高い領域を求め、その領域を対応点とし奥行きを算出するブロックマッチングに基づく方法がある。この方法では画像上すべての領域または濃淡等の特徴を抽出しその特徴点に対して対応点付けを行い、各画素または領域ごとに奥行きを算出する(例えば、非特許文献1参照。)。
【０００４】
また方法２として、平面や曲面といった３次元の形状モデルを用意し、マッチング処理により得られた類似度を形状モデルのパラメータで張られる空間に投票し、多数決の原理を用いてパラメータを決定することにより、形状を復元する方法がある(例えば、特許文献1参照。)。
【特許文献１】特開２００３−２５６８１１号公報
【非特許文献１】安居院  猛  著、「Ｃ言語による画像処理入門」、昭晃堂、２０００年１１月２０日
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の方法１は、各ブロック状の部分画像ごとにマッチング処理を行うため、処理時間がかかるという欠点を有している。また各点ごとに奥行きを求めるため、復元する奥行きに優先順位をつけることができず、必要度の低い奥行きまで算出してしまう。このため復元する際に対象物を構成する面の数が非常に多くなり、そのままでは十分なモデル化がなされているとは言えない。さらに算出した奥行きには雑音も多く、たとえば平面モデルを復元したいときでも凹凸のある複雑な形状となってしまい、余計なデータを保存しなければならない場合もある。
【０００６】
上述の方法２は、投票を用いているため、必要度の高い物体の奥行きから算出することが可能であるが、計算量が多い上、対象物の領域抽出が難しいという問題がある。また３次元形状を探索するとき投票する空間の次元数は高くなるため、形状復元に投票と多数決の原理によるＨｏｕｇｈ変換（松山  隆司、久野  義徳、井宮  淳  編「コンピュータビジョン」、新技術コミュニケーションズ、１９９９年7月２５日）を用いた場合は、投票する空間の次元数のべき乗に比例して計算量とメモリが増加してしまう。また投票する空間中では異なる図形からの投票軌跡が干渉し、形状復元精度が落ちることがあるが、次元が多いほどその対処は難しくなるという問題がある。
【０００７】
本発明はかかる事情に鑑みなされたもので、その目的は、上記課題を解決した奥行き算出技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記の問題を解決するために、本発明は画像特徴点を算出する画像特徴点算出処理と、画像特徴点に対してのみ投票を行い視差量候補を算出する視差量候補算出処理と、視差量候補から視差量を決定し画像中の奥行きを決定していく視差決定処理を有することを特徴としている。
【０００９】
これらの処理を奥行き算出装置、奥行き算出方法、および、プログラムとして以下のように実現した。
【００１０】
請求項１に記載の奥行き算出装置は、横軸が平行投影であるステレオ画像を用いて、画像中の対象物の奥行きを算出する装置であって、対象物を撮影した2枚のステレオ画像並びにこの画像を構成する縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度を含む撮影パラメータを取得する入出力処理手段と、前記2枚のステレオ画像から画像特徴点を算出する画像特徴点算出処理手段と、前記算出した画像特徴点を用いて投票により視差量候補を算出する視差量候補算出手段と、前記視差量候補から視差量を決定し、この視差量および前記撮影パラメータから奥行きを算出して、この奥行きを前記視差量に対応する画像の領域に付する視差量決定処理手段と、を備えることを特徴とする。
【００１１】
また、請求項２に記載の奥行き算出装置は請求項１において、前記画像特徴点算出処理手段は、前記画像特徴点として、画像上の局所領域における濃淡値の変化の大きい箇所を抽出することを特徴とする。
【００１２】
また、請求項３に記載の奥行き算出装置は、請求項１または２において、前記視差量候補算出手段は、一方の画像をずらして前記２枚の画像の対応する画像特徴点どうしを重ねるのに必要な差分値を算出し、この差分値に対して投票を行い、得票が閾値以上であったものを視差量候補とすることを特徴とする。
【００１３】
また、請求項４に記載の奥行き算出装置は、請求項１〜３いずれかにおいて、前記視差量候補算出手段は、前記画像特徴点を用いて視差量候補を算出するときに、画像特徴点間の距離を伸縮させることを特徴とする。
【００１４】
また、請求項５記載の奥行き算出装置は、請求項１〜４いずれかにおいて、前記視差量決定処理手段は、前記投票された得票数順に視差量候補の処理を行うことで、画像中に占める面積割合の大きい対象物から順に奥行きを算出することを特徴とする。
【００１５】
また、請求項６に記載の奥行き算出方法は、横軸が平行投影であるステレオ画像を用いて、画像中の対象物の奥行きを算出する方法であって、対象物を撮影した2枚のステレオ画像並びにこの画像を構成する縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度を含む撮影パラメータを取得する入出力処理ステップと、前記2枚のステレオ画像から画像特徴点を算出する画像特徴点算出ステップと、前記算出した画像特徴点を用いて投票により視差量候補を算出する視差量候補算出ステップと、前記視差量候補から視差量を決定し、この視差量および前記撮影パラメータから奥行きを算出して、この奥行きを前記視差量に対応する画像の領域に付する視差量決定処理ステップと、を備えることを特徴とする。
【００１６】
また、請求項７に記載の奥行き算出方法は、請求項６において、前記画像特徴点算出ステップは、前記画像特徴点として、画像上の局所領域における濃淡値の変化の大きい箇所を抽出することを特徴とする。
【００１７】
また、請求項８に記載の奥行き算出方法は、前記視差量候補算出ステップは、請求項６または７において、一方の画像をずらして前記２枚の画像の対応する画像特徴点どうしを重ねるのに必要な差分値を算出し、この差分値に対して投票を行い、得票が閾値以上であったものを視差量候補とすることを特徴とする。
【００１８】
また、請求項９に記載の奥行き算出方法は、請求項６〜８いずれかにおいて、前記視差量候補算出ステップは、前記画像特徴点を用いて視差量候補を算出するときに、画像特徴点間の距離を伸縮させることを特徴とする。
【００１９】
また、請求項１０に記載の奥行き算出方法は、請求項６〜９いずれかにおいて、前記視差量決定処理ステップは、前記投票された得票数順に視差量候補の処理を行うことで、画像中に占める面積割合の大きい対象物から順に奥行きを算出することを特徴とする。
【００２０】
また、請求項１１に記載のプログラムは、前記の請求項１〜１０のいずれか１項に記載の奥行き算出装置ムまたは奥行き算出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００２１】
これにより市街地などにおける道路沿いの建物までの奥行きのように、画像中の対象物がおおよそ一定の奥行きを持つ場合には、投票を用いることにより、一番多く画像中を占める奥行きから復元することが可能となる。また画像特徴点のみに対して投票を行っているため、処理時間を短くすることができる。また縦エッジ間を数画素伸縮させて投票することで、縦エッジ間の距離が撮影時に伸縮してしまったときにも対応できる。また投票における得票数をもとに視差量候補に優先度を与えることにより、復元したい奥行きの解像度を選択することが可能となる。
【００２２】
なお、ここでいう平行投影とは、物体から放射される平行光と投影面とが交差する点で結像するように表現することであり、実空間中での物体のサイズと画像上での物体のサイズとは比例関係になる。一般に普通のカメラで撮影した場合には、透視投影で表現され、実空間のサイズとは比例関係にはない。またここでいう横軸が平行投影な画像とは、画像横軸が実空間と比例関係にある画像のことを指す。
【００２３】
また、奥行きを視差量に対応する画像の領域に付することには、縦エッジに該当する対象物にこの縦エッジの視差量から算出した奥行きを付すること、および、縦エッジで挟まれた領域に該当する対象物にこの縦エッジの視差量から算出した奥行きを付することが含まれる。
【発明の効果】
【００２４】
本発明により、画像特徴点に対してのみ投票を行い奥行きを算出することにより、奥行き算出に最も重要な大きな対象物から復元することが可能となり、安定して、かつ効率の良い非常に高速な処理を実現できる効果が得られる。また復元する奥行きの解像度を選択できることにより、効率の良いデータ量に調整することが可能となる。これにより効率的に実際の市街地の３次元都市空間を構築できるようになる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施形態について図面を用いて説明する。
【００２６】
本発明の実施形態では横軸が平行投影な画像を用いたステレオ視により奥行きを算出する。
【００２７】
なお、ここでいう平行投影とは、物体から放射される平行光と投影面とが交差する点で結像するように表現することであり、実空間中での物体のサイズと画像上での物体のサイズとは比例関係になる。一般に普通のカメラで撮影した場合には、透視投影で表現され、実空間のサイズとは比例関係にはない。またここでいう横軸が平行投影な画像とは、画像横軸が実空間と比例関係にある画像のことを指す。
【００２８】
本実施形態における奥行き算出装置の構成を図１に示す。図１に示すように奥行き算出装置は、オペレータから処理を受け付け、処理結果を奥行きデータベース６ヘ格納する入出力処理手段１と、画像特徴点を算出する画像特徴点算出処理手段２と、画像特徴点算出処理手段２にて算出された画像特徴点を利用して視差量候補を算出する視差量候補算出手段３と、算出された視差量候補から視差量を決定する視差量算出処理手段４とを備えている。
【００２９】
また、奥行き算出装置は横軸が平行投影なステレオ画像と、画像を構成する縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度を含む撮影パラメータを格納する画像データベース５、および、処理対象となる画像に奥行き情報を付加したデータを格納する奥行きデータベース６に接続しているか、またはこれらを備えているものとする。
【００３０】
ここで、奥行き算出装置の各手段について説明するにあたり、先ず入出力処理手段１から説明する。入出力処理手段１は画像データベース５から処理対象画像を入力し、画像特徴点算出処理手段２、視差量候補算出手段３、および、視差量決定処理手段４によりこの処理対象画像の奥行きを算出した結果を奥行きデータベース６ヘ格納する。この処理は図２に示す手順で以下のように行われる。
【００３１】
(Ｓ２１)入出力処理手段１が画像データベース５から、ステレオ視をおこなうための２枚の処理対象画像とその縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度を含む撮影パラメータとを取得し、バッファに格納する。
【００３２】
(Ｓ２２) 画像特徴点算出処理手段２が画像特徴点算出処理を行う。
【００３３】
(Ｓ２３) 視差量候補算出手段３、および、視差量決定処理手段４が奥行き算出処理を行う。
【００３４】
(Ｓ２４) 入出力処理手段１が奥行きデータベース６に算出された奥行きを格納する。
【００３５】
続いて、画像特徴点算出処理手段２について説明する。画像特徴点算出処理手段２は入出力処理手段１で取得した処理対象画像から画像特徴点の算出を行う。この処理は図３に示す手順で以下のように行われる。
【００３６】
(Ｓ３１)処理対象画像の各画素（ｉ、ｊ）に対して、Ｓｏｂｅｌのｘ方向のエッジ検出オペレータ(画像処理標準テキストブック編集委員会監修、「画像処理標準テキストブック」、財団法人画像情報教育振興協会、平成９年２月２５日、ｐｐ．１７９)を適用し、特徴量Ｆ（ｉ、ｊ）を算出する。
【００３７】
ただし、平行投影になっている軸をｘ方向、それと垂直な方向をｙ方向とする。
【００３８】
(Ｓ３２)閾値以上のＦ（ｉ、ｊ）を持つ（ｉ、ｊ）を画像特徴点として算出する。
【００３９】
なお、特徴量算出にＳｏｂｅｌのエッジ検出オペレータを用いているが、ラプラシアンフィルタ（画像処理標準テキストブック編集委員会監修、「画像処理標準テキストブック」、財団法人画像情報教育振興協会、平成９年２月２５日、ｐｐ．１７０）などを用いてもよい。また特徴量の閾値は、あらかじめ固定値を設定しておいてもよいし、特徴量の平均値、偏差値などといった統計的に算出される値を利用して決定してもよい。
【００４０】
続いて視差量候補算出手段３について説明する。視差量候補算出手段３は、前記手順にて算出された２枚の画像上の画像特徴点を利用して、視差量候補を算出する。この処理は図４に示す手順で以下のように行われる。
【００４１】
(Ｓ４１)一方の画像上の画像特徴点ともう一方の画像のエピポーラ線上（画像処理標準テキストブック編集委員会監修、「画像処理標準テキストブック」、財団法人画像情報教育振興協会、平成９年２月２５日、ｐｐ．２７２）の画像特徴点のｘ座標の差分値を算出し、この差分値に対し得票数を算出する。
【００４２】
(Ｓ４２)得票数が閾値を満たす上位Ｎ個の差分値を取得し、これを視差量候補とする。
【００４３】
なお、奥行きは、両画像上での対象物のｘ軸座標の差分値に比例するので、一方の画像をｘ軸方向にずらしながら、両画像上とも画像特徴点であった場合の画素数を、そのずらし量に対してカウントすればよい。得票数は、単純にカウントした結果の値でもよいし、カウント数／全カウント数として算出してもよい。
【００４４】
続いて視差量決定処理手段４について説明する。視差量決定処理手段４は、前記手順にて算出された視差量候補から視差量を決定する。この処理は図５に示す手順で以下のように行われる。
【００４５】
(Ｓ５１)差分値が所定の範囲に入らない視差量候補を削除し、残った視差量候補より視差量を決定する。
【００４６】
(Ｓ５２)決定した視差量をもとに、画像特徴点に挟まれている領域の視差量を決定する。
【００４７】
(Ｓ５３)復元したいすべての視差量候補に対して処理をおこなったか確認する。
【００４８】
なお、復元したい物体の奥行きの範囲がある程度既知の場合には、視差量の範囲がわかっているので、その所定範囲内に入らない場合には削除し、復元したい奥行きの解像度まで得票数が多い奥行き順に視差量を決定することができる。
【００４９】
以下に、上述した処理手順を実際のデータに即して、具体的に説明する。
【００５０】
まず、画像データベース５に格納されている横軸が平行投影なステレオ画像と、画像を構成する縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度を含む撮影パラメータとの取得について、２台のラインセンサカメラを車両に搭載し、移動しながら市街地の建造物の画像を取得する場合を例に説明する。
【００５１】
図６は、上述の画像取得方法を説明するための図である。図６において、２台のラインセンサカメラ６０１、６０２は同時に建造物６０６の撮影を開始し、２台のラインセンサカメラ６０１、６０２は光軸が移動方向６０３に垂直な方向に対称になるように設置する。ライン方向６０４は地面に鉛直方向であり、移動方向６０３に垂直な方向とラインセンサカメラ６０１、６０２の光軸とのなす角は等しく、カメラ設置角度は共にθ（６０５）とする。
【００５２】
このような状況で２台のラインセンサカメラ６０１、６０２を移動させながら、ロータリエンコーダーを用いて一定距離ごとにライン画像を取り込む。この距離を撮影間隔距離と呼ぶ。なおロータリーエンコーダとは車両等に取り付けることにより、一定距離ごとに特定信号を発生させる装置のことである。本発明においては１〜１００ｍｍの範囲の中で一定距離を自由に設定でき、例えば、５ｍｍの距離走行毎にラインセンサカメラのシャッターをきるための信号を発生することができるものとする。
【００５３】
このようにしてそれぞれのラインセンサカメラ６０１、６０２から取得したライン画像を時系列にならべて２枚のステレオ画像を作成する。そして得られた横軸が平行投影なステレオ画像と、この画像を構成する縦方向のライン画像間の撮影間隔距離およびステレオ画像撮影時のカメラの設置角度θ（６０５）を含む撮影パラメータとを取得し、これを画像データベース５に格納する。
【００５４】
この横軸が平行投影なステレオ画像の一例を図７に示す。図７は建物７１１と２本の電信柱７１２、７１３が立っている街並みを撮影した例である。建物７１１は同じ奥行きの面で構成されており、電信柱７１２、７１３の方が建物７１１より手前にある様子を示している。７０３は進行方向に傾けたラインセンサカメラ６０１で撮影した画像を示し、これを右画像と呼ぶ。７０４は進行方向と逆に傾けたラインセンサカメラ６０２により撮影した画像を示し、これを左画像と呼ぶ。この画像の時間軸方向がｘ軸７０１、ライン方向がｙ軸７０２にあたる。
【００５５】
ここで、右画像７０３に写っている建物７１１の端を７０５と７０６、左画像７０４に写っている同じ建物７１１の端を７０７と７０８として、後の処理で、７０５、７０６、７０７、７０８のような建物７１１の端などエッジにあたる特徴を用いて奥行きを算出する。
【００５６】
なお、右画像７０３上の７０９と左画像７０４上の７１０は同じ箇所を撮影しているが、それぞれの座標を（ｘA、ｙA）と（ｘB、ｙA）とすると、その箇所の奥行きＬは、
【００５７】
【数１】
2005173995.tif 000003
【００５８】
で表される。つまり奥行きは差分値(視差量)に比例する。
【００５９】
続いて画像特徴量算出手段２における処理ついて説明する。画像特徴量算出手段２は上述の処理対象画像に対して画像特徴点算出処理を行い、画像特徴点を算出する。ここでは良く知られているＳｏｂｅｌのｘ方向のエッジ検出オペレータを処理対象画像に適用し、各画素（ｉ、ｊ）のエッジ強度を算出する。そしてこのエッジ強度の分布を算出し、算出された分布から閾値を算出し、閾値を満たすエッジ強度を有する画素を画像特徴点として算出する。なおこの画像特徴点を縦エッジと呼ぶ。
【００６０】
図８に図７のステレオ画像の画像特徴点を算出した結果を例示する。図８において、画像のｘ軸を８０１、ｙ軸を８０２、右画像を８０３、左画像を８０４とし、図７の右画像７０３に写っている建物７１１の端の縦エッジを抽出した線分を８０５と８０６、左画像７０４に写っている建物７１１の端の縦エッジを抽出した線分を８０７と８０８とする。
【００６１】
続いて視差量候補算出手段３について説明する。視差量候補算出手段３は前記手順にて算出された両画像の画像特徴点である縦エッジどうしの差分値を算出する。すなわち、右画像を左画像上のｘ軸方向に一画素ずつずらしながら、両画素が縦エッジであるとき右画像をずらした差分値に対し投票する。つまり、右画像の（ｉ、ｊ）と左画像の（ｉ＋ｎ、ｊ）との両方が縦エッジであれば、差分値ｎに対して＋１を投票する。ここでは投票して得られたカウント数を得票数とする。そしてこの得票数が閾値を満たす上位いくつかの差分値を取得し、視差量候補とする。なお、縦エッジ間の距離は撮影時に伸縮してしまう可能性もあるので、縦エッジ間を数画素伸縮させて投票してもよい。
【００６２】
図９は、図８の画像特徴点を算出した結果を用いて視差量候補を求めている様子を示している。図９において差分値ｎ分だけ移動したとき、右画像９０３上の建物の両端の縦エッジ９０５と９０６を含む建物の縦エッジが、それぞれ左画像９０４上の建物の両端の縦エッジ９０７と９０８を含む建物の縦エッジと一致し、右画像と左画像との一致度が最大になる状態を示している。ここでは建物の奥行きに該当する差分値への得票数が一番多く、電信柱の奥行きに該当する差分値への得票数が二番目に多くなる。
【００６３】
続いて視差量決定処理手段４について説明する。視差量決定処理手段４は、前記手順にて算出された視差量候補から視差量を決定する。得票数が一番高い視差量に関して、その視差量をずらしたときに重なる両画像上の縦エッジに、この視差量に対する奥行きを付与する。次に、各ｙ座標ごとに得票数が一番高い視差量に該当する奥行きが付与された縦エッジで挟まれた領域の奥行きを決定する。つまり、縦エッジで挟まれた元画像上の領域どうしを比較し、領域どうしの類似度が閾値を満たす場合には、その領域を挟んでいる縦エッジに付与された視差量に対する奥行きに決定する。次に、得票数が二番目に高い視差量に関して前記と同様の処理を行う。
【００６４】
図１０に画像特徴点である縦エッジに挟まれた領域の奥行きを決定する様子を示す。図１０において、１００１に画像のｘ軸、１００２に画像のｙ軸、１００３に右画像、１００４に左画像を示す。１０１１、１０１２、１０１３はそれぞれ図７における建物７１１と電信柱７１２、７１３を示す。まず、右画像１００３を得票数が一番多い視差量ｎ分だけｘ軸方向にずらしたときに、右画像１００３と左画像１００４とで重なる縦エッジに、視差量ｎに該当する奥行きを付与する。つまり、縦エッジ１００５と１００６、１００７と１００８には視差量ｎに該当する奥行きが付与される。次に上記の視差量ｎ分だけずらしたときに重なる縦エッジに挟まれた領域の奥行きを決定する。１００９は右画像１００３上の得票数が一番高い視差量ｎに該当する奥行きが付与された１００５と１００６に挟まれた領域を示し、領域Ｐとする。１０１０は左画像１００４上の視差量ｎに該当する奥行きが付与された１００７と１００８に挟まれた領域を示し、領域Ｑとする。領域Ｐと領域Ｑとの類似度が閾値を満たす場合には、１００５、１００６、１００７、１００８と同じ奥行きにあたる視差量ｎに該当する奥行きを付与する。なお類似度には画素値の差分や相関値を用いることができる。
【００６５】
このようにしてまず得票数が一番高い視差量ｎに該当する奥行きをもつ建物にその奥行きを付与することができる。次に得票数が二番目だった視差量に関して、上記と同じ処理を行う。
【００６６】
このように得票数が多い視差量の順番に奥行きを決定していけばよく、画像中の占有領域が最も大きい建物の奥行きが一定の場合、この得票数が多くなるため、大きい建物から順に復元できるという効果がある。
【００６７】
また細かい詳細形状まで復元する場合には、奥行きを決定する視差量候補を多くすればよく、また大局的な形状のみ復元する場合には、視差量候補を少なくすればよい。例えば、撮影した街並みがほとんど歩道の手前にある電信柱と歩道の奥にある建物とで構成され、かつ建物の奥行きがほぼ一定である場合には、電信柱と建物の２種類の奥行きがわかればいいので、得票数が二番目までの奥行きに関して復元すればよい。このように、復元する奥行きの解像度を求めようとする詳細形状のレベルに応じて選択することが可能となる。
【００６８】
以上のように画像特徴点に対してのみ投票を行い奥行きを算出することにより、処理時間を短縮することができ、かつ安定して画像中で最も占有面積が大きい対象物、つまり一番重要と思われる大きな対象物から復元することが可能となる。
【００６９】
なお、本発明は図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図２〜図１０で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【００７０】
【図１】奥行き算出装置の概略構成図。
【図２】本発明の処理フローチャート。
【図３】画像特徴点算出処理手段のフローチャート。
【図４】視差量候補算出手段の処理フローチャート。
【図５】視差量決定処理手段の処理フローチャート。
【図６】画像取得方法の説明図。
【図７】取得した画像の一例を示す図。
【図８】画像特徴点の算出を示す図。
【図９】視差量候補の算出を示す図。
【図１０】画像特徴点に挟まれた領域の奥行きをの決定示す図。
【符号の説明】
【００７１】
１…入出力処理手段
２…画像特徴点算出処理手段
３…視差量候補算出手段
４…視差量決定処置手段
５…画像データベース
６…奥行きデータベース
６０１…カメラ
６０２…カメラ
６０３…移動方向
６０４…ライン方向
６０５…カメラ角度
６０６…建造物
７０１…ｘ軸
７０２…ｙ軸
７０３…右画像
７０４…左画像
７０５…建物の端
７０６…建物の端
７０７…建物の端
７０８…建物の端
７０９…画像上の一箇所
７１０…画像上の一箇所
７１１…建物
８０１…ｘ軸
８０２…ｙ軸
８０３…右画像
８０４…左画像
８０５…建物の端の縦エッジを抽出した線分
８０６…建物の端の縦エッジを抽出した線分
８０７…建物の端の縦エッジを抽出した線分
８０８…建物の端の縦エッジを抽出した線分
９０１…ｘ軸
９０２…ｙ軸
９０３…右画像
９０４…左画像
９０５…建物の端の縦エッジ
９０６…建物の端の縦エッジ
９０７…建物の端の縦エッジ
９０８…建物の端の縦エッジ
１００１…ｘ軸
１００２…ｙ軸
１００３…右画像
１００４…左画像
１００５…縦エッジ
１００６…縦エッジ
１００７…縦エッジ
１００８…縦エッジ
１００９…領域Ｐ
１０１０…領域Ｑ
１０１１…建物
１０１２…電信柱
１０１３…電信柱
【図１】
2005173995.tif 000004
【図２】
2005173995.tif 000005
【図３】
2005173995.tif 000006
【図４】
2005173995.tif 000007
【図５】
2005173995.tif 000008
【図６】
2005173995.tif 000009
【図７】
2005173995.tif 000010
【図８】
2005173995.tif 000011
【図９】
2005173995.tif 000012
【図１０】
2005173995.tif 000013