(57)【特許請求の範囲】
【請求項１】
画像内で局所運動を検出し、その運動情報を平面の空間パラメータで構成される投票空間に投票して複数の平面の空間パラメータを求め、投票結果のデータを基に局所領域を探索することによって、前記空間パラメータによって特定される複数の平面が画像中で占める領域を特定する平面領域特定方法。
【請求項２】
画像内の任意の位置の局所運動を検出する局所運動検出部と、
その運動情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する平面パラメータ投票部と、
その投票結果から複数のピークデータを抽出するピーク抽出部と、
投票したデータ情報を格納する投票データ格納部と、
前記ピーク抽出部から得られた複数のピークデータを基に、前記投票データ格納部を探索して複数の平面領域に含まれる局所領域をそれぞれ特定する平面領域抽出部とを備える画像計測装置。
【請求項３】
画像内で局所視差を検出し、その視差情報を平面の空間パラメータで構成される投票空間に投票して複数の平面の空間パラメータを求め、投票結果のデータを基に局所領域を探索することによって、前記空間パラメータによって特定される複数の平面が画像中で占める領域を特定する平面領域特定方法。
【請求項４】
画像内の任意の位置の局所視差を検出する局所視差検出部と、
その視差情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する平面パラメータ投票部と、
その投票結果から複数のピークデータを抽出するピーク抽出部と、
投票したデータ情報を格納する投票データ格納部と、
前記ピーク抽出部から得られた複数のピークデータを基に、前記投票データ格納部を探索して複数の平面領域に含まれる局所領域をそれぞれ特定する平面領域抽出部とを備える画像計測装置。
【請求項５】
被写体に向かって移動するカメラによって異なる時刻にその被写体を撮影して得られた撮影画像から複数の局所領域画像を切り出し、その切り出された局所領域画像ごとに、局所領域画像内の任意の位置の局所運動を検出し、平面の空間パラメータからなる投票空間を構成する複数の配列の要素それぞれに前記検出された運動情報に基づいて得られる投票値を投票し、その投票値を投票値の投票先要素の指定情報と投票値の基礎とされた局所領域画像の指定情報とに対応づけて格納し、前記投票結果から複数のピークデータを抽出し、その抽出された複数のピークデータを基に、前記格納された情報から、前記複数の局所領域画像のうち前記抽出された各ピークの出現に寄与した局所領域画像の指定情報を探索し、その探索された複数の指定情報によって指定される複数の局所領域画像を撮影画像中の複数の平面領域として特定する平面領域特定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像から平面の位置や向きを計測し、その計測された平面が画像中で占める領域を特定する画像計測方法、および、その画像計測方法を実施する画像計測装置に関するものである。
【０００２】
【従来の技術】
従来、画像のオプティカルフローや視差ベクトルなどから、平面の三次元幾何情報（平面の向きや距離などの平面の空間パラメータ）を計測する方法が提供されている（特開2000-357235号公報など）。
【０００３】
同公報に記載の方法によれば、ある被写体に向かって移動しているカメラによって異なる時刻ｔ０、ｔ１にその被写体を撮影して得られた２枚の画像から得られる動き情報、あるいは、左眼カメラ及び右眼カメラによって同一時刻ｔにその被写体を撮影して得られた２枚の画像から得られる視差情報から、画像中の平面の空間パラメータ（平面の向き、平面までの到達時間、平面までの最短距離など）を計測することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記平面の空間パラメータの計測方法では、平面（空間パラメータ）を計測することはできるが、その計測された平面が画像中のどの領域に存在しているかを特定することができなかった。
【０００５】
本発明の課題は、平面の空間パラメータの計測方法により計測された平面（空間パラメータによって特定される平面）が画像中で占める領域を特定できるようにすることにある。
【０００６】
【課題を解決するための手段】
本発明は、上記の課題を解決するために、平面領域特定方法であって、画像内で局所運動を検出し、その運動情報を平面の空間パラメータで構成される投票空間に投票して平面の空間パラメータを求め、投票結果のデータを基に局所領域を探索することによって、前記空間パラメータによって特定される平面が画像中で占める領域を特定する構成とした。
【０００７】
本発明によれば、平面の空間パラメータの計測方法により計測された平面（空間パラメータ（平面方位ｎと規格化時間ｔｃなど）によって特定される平面）が画像中で占める領域を特定することが可能になる。
【０００８】
上記平面領域特定方法をコンピュータシステムによって実施する場合、画像計測装置として次のように特定することが可能である。
【０００９】
画像計測装置であって、画像内の任意の位置の局所運動を検出する局所運動検出部と、その運動情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する平面パラメータ投票部と、その投票結果からピークデータを抽出するピーク抽出部と、投票したデータ情報を格納する投票データ格納部と、前記ピーク抽出部から得られたピークデータを基に、前記投票データ格納部を探索して平面領域に含まれる局所領域を特定する平面領域抽出部とを備える。
【００１０】
本発明によれば、平面の空間パラメータの計測方法により計測された平面（ピークデータ、空間パラメータ（平面方位ｎと規格化時間ｔｃなど）によって特定される平面）が画像中で占める領域を特定することが可能になる。即ち、ピークデータ、平面の空間パラメータ（平面方位ｎと規格化時間ｔｃなど）によって特定される平面領域に含まれる局所領域（平面領域を構成する局所領域）を特定することが可能になる。
【００１１】
また、本発明は、上記の課題を解決するために、平面領域特定方法であって、画像内で局所視差を検出し、その視差情報を平面の空間パラメータで構成される投票空間に投票して平面の空間パラメータを求め、投票結果のデータを基に局所領域を探索することによって、前記空間パラメータによって特定される平面が画像中で占める領域を特定する構成とした。
【００１２】
本発明によれば、平面の空間パラメータの計測方法により計測された平面（空間パラメータ（平面方位ｎと最短距離ｄｃなど）によって特定される平面）が画像中で占める領域を特定することが可能になる。
【００１３】
上記平面領域特定方法をコンピュータシステムによって実施する場合、画像計測装置として次のように特定することが可能である。
【００１４】
画像計測装置であって、画像内の任意の位置の局所視差を検出する局所視差検出部と、その視差情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する平面パラメータ投票部と、その投票結果からピークデータを抽出するピーク抽出部と、投票したデータ情報を格納する投票データ格納部と、前記ピーク抽出部から得られたピークデータを基に、前記投票データ格納部を探索して平面領域に含まれる局所領域を特定する平面領域抽出部とを備える。
【００１５】
本発明によれば、平面の空間パラメータの計測方法により計測された平面（ピークデータ、空間パラメータ（平面方位ｎと最短距離ｄｃなど）によって特定される平面）が画像中で占める領域を特定することが可能になる。即ち、ピークデータ、平面の空間パラメータ（平面方位ｎと規格化時間ｔｃなど）によって特定される平面領域に含まれる局所領域（平面領域を構成する局所領域）を特定することが可能になる。
【００１６】
本発明は、次のように特定することも可能である。平面領域特定方法であって、被写体に向かって移動するカメラによって異なる時刻にその被写体を撮影して得られた撮影画像から複数の局所領域画像を切り出し、その切り出された局所領域画像ごとに、局所領域画像内の任意の位置の局所運動を検出し、投票空間（例えば、実施の形態における平面パラメータ投票空間１０１）を構成する複数の配列の要素それぞれに前記検出された運動情報に基づいて得られる投票値を投票し、その投票値を投票値の投票先要素の指定情報と投票値の基礎とされた（投票値若しくは局所運動検出の基礎とされた）局所領域画像の指定情報とに対応づけて格納し（例えば、実施の形態における投票強度テーブル１０６）、前記投票結果からピークデータを抽出し、その抽出されたピークデータを基に、前記格納された情報から、前記複数の局所領域画像のうち前記抽出されたピークデータの出現に寄与した局所領域画像の指定情報を探索し、その探索された指定情報によって指定される局所領域画像を撮影画像中の平面領域として特定する。
【００１７】
本発明によれば、平面の空間パラメータの計測方法により計測された平面（ピークデータ、空間パラメータ（平面方位ｎと規格化時間ｔｃなど）によって特定される平面）が画像中で占める領域を特定することが可能になる。
【００１８】
本発明は、次のように特定することも可能である。平面領域特定方法であって、被写体に向かって移動するあるいは静止した複数のカメラ（例えば、２台のカメラ）によって同一時刻にその被写体を撮影して得られた撮影画像から複数の局所領域画像を切り出し、その切り出された局所領域画像ごとに、局所領域画像内の任意の位置の局所視差を検出し、投票空間（例えば、実施の形態における平面パラメータ投票空間１０１）を構成する複数の配列の要素それぞれに前記検出された視差情報に基づいて得られる投票値を投票し、投票値と投票値の投票先要素の指定情報と投票値の基礎とされた（投票値若しくは局所運動検出の基礎とされた）局所領域画像の指定情報とを対応づけて格納し（例えば、実施の形態における投票強度テーブル１０６）、前記投票結果からピークデータを抽出し、その抽出されたピークデータを基に、前記格納された情報から、前記複数の局所領域画像のうち前記抽出されたピークデータの出現に寄与した局所領域画像の指定情報を探索し、その探索された指定情報によって指定される局所領域画像を撮影画像中の平面領域として特定する。
【００１９】
本発明によれば、平面の空間パラメータの計測方法により計測された平面（ピークデータ、平面の空間パラメータ（平面方位ｎと最短距離ｄｃなど）によって特定される平面）が画像中で占める領域を特定することが可能になる。
【００２０】
【発明の実施の形態】
以下、本発明の平面領域特定方法を実施するためのシステム構成について、図面を参照しながら説明する。図１は、本発明の平面領域特定方法（平面の空間パラメータ計測方法を含む）を実施するためのコンピュータシステムの外観図である。図２は、図１に示すコンピュータシステムのハードウェア構成図である。
【００２１】
コンピュータシステム３００は、中央演算処理装置（ＣＰＵ）３１１と、そのＣＰＵ３１１にバスなどを介して接続される、ＲＡＭ３１２、磁気ディスクコントローラ３１３、フロッピィディスクドライバ３１４、ＭＯドライバ３１５、マウスコントローラ３１６、キーボードコントローラ３１７、ディスプレイコントローラ３１８、通信用ボード３１９、及び、画像入力用ボード３２０などを備えている。
【００２２】
磁気ディスクコントローラ３１３は、本体３０１（図１参照）に内蔵された磁気ディスク３２１をアクセスするためのものである。また、フロッピィディスクドライバ３１４、ＭＯドライバ３１５はそれぞれ、フロッピィディスク３２２、ＭＯ３２３が装填され、装填されたフロッピィディスク３２２、ＭＯ３２３をアクセスするためのものである。
【００２３】
また、マウスコントローラ３１６、キーボードコントローラ３１７はそれぞれ、マウス３０４、キーボード３０３の操作をこのコンピュータ内部に伝えるものである。
【００２４】
また、ディスプレイコントローラ３１８は、ＣＰＵ３１１が実行するプログラムに応じて、ＣＲＴディスプレイ３０２に画像を表示させるコントローラである。
【００２５】
さらに、通信用ボード３１９は、通信回線４００を介してＬＡＮやインターネットなどの通信網と接続されており、この通信用ボード３１９は、例えば、その通信網を介して画像データを受信する役割りを担っている。
【００２６】
さらに、画像入力用ボードは、外部のカメラＣＡ（電子スチールカメラ、あるいはビデオカメラ等）と接続され、そのカメラＣＡでの撮影により得られた画像データをこのコンピュータ内部に取り込む役割りを担っている。尚、この図２には、カメラは１台のみ示されているが、この画像入力用ボード３２０には２台のカメラが接続され、例えば人間の両眼の視差に対応した異なる方向から同一の被写体を同時に撮影して得た２枚の画像を入力することもできる。
【００２７】
また、航空機や二足歩行ロボットや車両などの移動体にカメラＣＡ及びフラッシュメモリやＩＣカードなどの着脱可能な記録媒体を搭載し、そのカメラＣＡで撮影した画像を記録媒体に記録し、コンピュータに接続された読取装置などによって、その記録媒体から画像を読み取ってコンピュータ内部に入力するようにしてもよい。また、そのような記録媒体から画像を読み取って無線又は有線の通信回線を介してコンピュータ内部に入力するようにしてもよい。
【００２８】
このコンピュータシステム３００は、フロッピィディスク３２２やＭＯ３２３に記憶されているプログラムがインストールされ、あるいは、通信回線４００を経由してきたプログラムがインストールされて、後述する本発明の平面領域特定方法（平面の空間パラメータの計測方法を含む）を実施するものである。平面領域特定方法を実施するための機能は、コンピュータシステム３００において所定のプログラムが実行されることによって実現される。それらの機能は、後述する各種の機能ブロック図及びフローチャートなどで示されている。
【００２９】
次に、平面領域特定方法（平面の空間パラメータの計測方法も含む）の第一の実施の形態の概略について説明する。
【００３０】
本実施の形態の平面領域特定方法は、平面の空間パラメータの計測方法（特開2000-357235号公報など）によって計測された平面（平面方位ｎと規格化時間ｔｃによって特定される平面）が画像中（撮影画像中）で占める領域を特定しようとするものである。
【００３１】
平面の空間パラメータの計測方法は、図３に示すように、ある被写体（本実施の形態では被写体として滑走路を例示している）に向かって移動しているカメラＣＡ（本実施の形態では航空機に搭載されているものとする）によって異なる時刻ｔ０、ｔ１にその被写体を撮影して得られた２枚の画像Ｇ０、Ｇ１（図８ではその一方の画像Ｇ０を示している）に対して、図１２のＳ１００からＳ１１２で示される処理を施すことにより、画像中の平面の空間パラメータ（平面方位ｎと規格化時間ｔｃなど）を計測しようとするものである。
【００３２】
平面領域特定方法（平面の空間パラメータの計測方法も含む）の理解を容易にするため、まず、平面領域特定方法において用いられる、ijτテーブルと平面パラメータ投票空間について説明する。
【００３３】
ijτテーブル１００とは、局所領域番号ｉにおける局所速度τの計算強度を空間パラメータの要素番号ｊに投票することを決めるためのものである（要素番号ｊは方位と到達時間のパラメータからなる全投票空間における通し番号である）。本実施の形態においては、図４及び図５に示すように、ｉ及びｊとijτとを対応づけているテーブルのことをijτテーブルと呼んでいる。ijτテーブルの作成方法については、特開2000-357235号公報の第１１１図及びその説明部分などに詳細に記載されているので、ここでは、ijτテーブルの作成に用いられる機能ブロックを示すにとどめる（図６及び図７参照）。
【００３４】
平面パラメータ投票空間１０１は、図９及び図１０に示すように、複数の配列の要素１０１ａを含んだ円１０１ｂがいくつも重なり合った円柱状の投票空間であり（図８参照）、所定のプログラムが実行されることにより形成される。個々の配列の要素１０１ａには通し番号ｊ（１、２、・・・、最後）が割り当てられている。個々の配列の要素１０１ａは、同じく通し番号ｊが割り当てられている投票値格納領域（ＲＡＭ内に確保される領域）に対応している（図１１参照）。
【００３５】
本実施の形態の平面領域特定方法は、図８に示すように、その第１段階では、入力画像から局所領域を順次切り出し、それぞれについて局所運動検出を行う。その検出結果を基に、平面の空間パラメータによって構成された投票空間に投票を行い、投票値を累積して行く。ここでは、平面を表す空間パラメータとして、平面の方位（２次元）と平面までの規格化到達時間の３次元配列を取った。この投票空間からピークを検出することにより、画像内の平面の方位ｎと規格化到達時間ｔｃが求まる。ここまでの平面検出方法についてはこれまでに報告されている（特開2000-357235号公報 ，電子情報通信学会論文誌J83-D-II, No.12, pp.2786-2797など）。
【００３６】
第２段階では、ピーク検出によって得られた方位と規格化到達時間に基いて、予め記録してあった投票データを探索し、ピークへの投票に寄与した局所運動検出領域を求める。それらの局所領域を包含する部分が画像内でその平面が存在している領域である。こうして、画像中の平面領域（平面が画像中で占める領域）を特定し、抽出することができる。このように、本実施の形態によれば、画像中で向き・距離などを検出された平面が、画像内のどの領域に存在しているのかを速度検出・視差検出を行う局所領域の単位で簡単に求めることができる。
【００３７】
次に、本実施の形態の平面領域特定方法（平面の空間パラメータの計測方法も含む）をコンピュータシステム３００で実施する例について、図４、図１２を参照しながら詳細に説明する。以下の説明においては、カメラＣＡの移動方向ｖは既知とし、平面の空間パラメータとしては平面の方位ｎと平面までの到達時間ｔｃを考える。また、ijτテーブルはＳ１００以下の処理が開始される前に予め作成されているものとする。
【００３８】
以下の処理は、所定プログラムが実行されることによって実現される。所定プログラムが実行されると、まず、個々の局所領域（又は局所領域画像）を指定する局所領域番号ｉに初期値としてｉ＝０が設定される（Ｓ１００）。局所領域走査部１０２は、画像内を走査しながら時刻ｔ０と時刻ｔ１の２枚の画像からそれぞれ、予め設定されている局所領域（ｉ番目の局所領域）に対応する画像部分（以下、局所領域画像という）を各々切り出す（Ｓ１０１）。図１３は、切り出された局所領域画像の例を示している。局所運動検出部１０３は、画像内の任意の位置の局所運動を検出する（Ｓ１０２）。具体的には、局所運動検出部１０３は、これら切り出された２つの局所領域画像（ｉ番目の局所領域画像）からその運動ベクトル（局所速度）を算出する。
【００３９】
局所運動検出の方法としては、（ａ）極変換＋１次元相関＋逆極変換による方法（特開平６−４４３６４号公報など参照）、あるいは、（ｂ）ＭＰＥＧの動き推定で用いられているブロックマッチングによる方法などが利用できる。この局所運動検出処理により、入力画像に応じた局所運動検出平面（局所速度マップ）が得られる。図１４は、局所運動検出平面（局所速度マップ）の例を示している。
【００４０】
局所運動検出平面は速度を示す座標値とその強度情報から成り、その強度情報は（ａ）においては反応強度、（ｂ）で相関演算を用いる場合は相関値、（ｂ）で差分絶対値和などの距離演算を用いる場合はその距離値を意味する。反応強度あるいは相関値が最大となる座標（距離の場合は最小となる座標）が、その局所領域の速度を示す。これらの強度情報（反応強度・相関値・距離値）を平面パラメータ投票空間への投票値として直接／間接に利用することができる。
【００４１】
次に、平面パラメータ投票空間の個々の配列の要素（及び、投票値格納領域）を指定する要素番号ｊに初期値としてｊ＝０が設定される（Ｓ１０３）。
【００４２】
平面パラメータの走査部１０４は、ijτテーブルから、その時点での局所領域番号ｉ及び要素番号ｊが対応づけられているijτを読み出す（出力する）（Ｓ１０４）。
【００４３】
平面パラメータ投票部１０５は、局所運動検出部１０３によって検出された運動情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する。即ち、平面パラメータ投票部１０５は、Ｓ１０２で算出された運動情報に基づく計算値（強度ともいう。以下、投票値という。）をijτテーブルに従い、平面パラメータ投票空間１０１の要素番号ｊに投票して行く（Ｓ１０６）。具体的には、Ｓ１０４で読み出されたijτに対する投票値（Ｓ１０２で算出されている）をＲＡＭ内に確保される投票値格納領域（ｊで示される領域）に加算する。
【００４４】
なお、投票値をそのまま（投票値に対して何らの演算を施すことなく）投票してもよいし、投票値を必要に応じて１０倍あるいは１／１０倍（強度計算）などして投票してもよい（Ｓ１０５）。また、投票値を２値化して投票してもよいし、投票値がある値よりも小さい場合には０を投票してもよい。
【００４５】
投票の際、その投票値としての計算値（強度）をその投票時点での局所領域番号ｉ及び要素番号ｊに対応づけて投票強度テーブル１０６（例えば、図１５左側の投票強度テーブル１０６）に格納しておく（Ｓ１０７）。投票強度テーブル１０６が、投票したデータ情報を格納する投票データ格納部に相当する。強度テーブル１０６は、投票値（投票強度）と投票値の投票先要素の指定情報ｊと投票値の基礎とされた局所領域画像の指定情報ｉ（即ち、投票時点でのｉ）とを対応づけたテーブルである。
【００４６】
上記のＳ１０４からＳ１０７の処理は、平面パラメータ投票空間１０１を構成する全ての配列の要素番号に対して行われる（Ｓ１０８、Ｓ１０９）。また、上記のＳ１０１からＳ１０９の処理は、画像内の全ての局所領域画像に対して行われる（Ｓ１１０、Ｓ１１１）。本実施の形態においては、画像中には円領域で示されるｉ＝０番目からｉ＝１０番目までの合計１１個の局所領域画像が存在しているので（図８参照）、Ｓ１０１からＳ１０９の処理は、これらの１１個の局所領域画像に対して行われる。
【００４７】
全画像を走査した後に、ピーク抽出部１０７は、平面パラメータ投票空間１０１でピーク抽出を行う（Ｓ１１２）。即ち、ピーク抽出部１０７は、投票結果からピークデータを抽出する。ピークは、例えば、平面パラメータ空間１０１のある断面において図１０に示すように出現する。
抽出されたピークの平面パラメータ投票空間１０１における座標位置(ｎ、ｔｃ)が画像内に存在する平面（図８に示した画像においては、水平線以下の大地部分）の方位ｎと到達時間ｔｃを示している。これにより平面が検出されたことになる。即ち、平面空間パラメータとして平面の方位ｎと到達時間ｔｃが計測されたことになる。この計測された座標位置(ｎ、ｔｃ)は要素番号ｊｐに対応しており、要素番号ｊｐで表すこともできる（Ｓ１１３）。
【００４８】
次の段階では、平面領域検出部１０８が、ピーク抽出部１０７から得られたピークデータを基に、投票データ格納部を探索して平面領域に含まれる局所領域を特定する。以下、平面領域検出部１０８の処理について説明する。
【００４９】
まず、検出された平面空間パラメータの要素番号ｊｐを基にして、投票強度テーブル１０６を探索し（Ｓ１１５）、要素ｊｐに投票された局所領域番号ｉとその投票値としての計算値（強度）を調べる（Ｓ１１６）。即ち、投票強度テーブル１０６から、要素番号ｊｐが対応づけられている局所領域番号ｉ及びその投票値を読み出す。
【００５０】
そして、読み出した投票値を用いて平面領域としての判定処理（例えば、読み出した投票値が一定の閾値以上であるか否かの判定）を実行し（Ｓ１１６）、ｉ番目の局所領域画像が平面（方位ｎと到達時間ｔｃによって特定される平面）に含まれる領域であるかどうかを決定する。例えば、投票値が閾値以上のｉ番号に対応づけて、同一グループを示す記号”１”などをテーブルに格納する（図１６参照）。
【００５１】
この領域判定を繰り返して（Ｓ１１８、Ｓ１１９）、平面領域検出部１０８は、最終的に得られた局所領域番号ｉ（例えば、ｉ番号に同一グループを示す記号”１”が対応づけられている局所領域ｉ）の覆う部分を画像中の平面（方位ｎと到達時間ｔｃによって特定される平面）の領域であると特定し、抽出する（Ｓ１２０）。
即ち、平面の空間パラメータ（方位ｎと到達時間ｔｃ）によって特定される平面が撮影画像中で占める領域として、最終的に得られた局所領域番号ｉで指定される局所領域を特定している。また、平面の空間パラメータ（方位ｎと到達時間ｔｃ）によって特定される平面領域に含まれる局所領域として、最終的に得られた局所領域番号ｉで指定される局所領域を特定していると捉えることもできる。
さらに、抽出されたピークデータとしてのｊｐを基に、投票強度テーブル１０６から、前記複数の局所領域画像のうち抽出されたピークデータの出現に寄与した局所領域画像の指定情報ｉを探索し、その探索された指定情報ｉによって指定される局所領域画像を撮影画像中の平面領域として特定していると捉えることもできる。
【００５２】
なお、投票強度テーブル１０６は図１５右のように、ijτテーブルと共有しても構わない。このようにすれば、テーブルを格納するためのメモリなどを節約できる。また、投票強度だけではなく、検出速度がその局所運動検出平面上でピークであるか否かなどの属性を記録して、その情報を領域判定に利用することも有効である。このようにすれば、より正確に平面が存在する領域を特定することが可能になる。
【００５３】
また、上記実施の形態では予め作成したijτテーブルを用いて投票を行う例について説明したが、本発明は、これに限定されることなく、逐次的に投票先要素番号を計算しながら、投票と同時に投票強度テーブルを作成し、このijτテーブルを用いて投票を行うようにしてもよい。
【００５４】
また、上記実施の形態では局所領域画像として円領域に対応する合計１１個の局所領域画像を用いる例について説明した（図８参照）。本発明は、これに限定されることなく、例えば、図１９に示すように、局所領域画像として、画像全体を格子状に分割しその分割した個々の矩形領域（その他、三角形、５角形、楕円などあらゆる図形の領域が考えられる）に対応する局所領域画像を用いてもよい。また、その局所領域画像の個数は、必要に応じて適宜の数とすることが可能である。
【００５５】
また、上記実施の形態では画像中に含まれている１つの平面の領域を特定する例について説明した。本発明は、これに限定されることなく、複数の平面それぞれの領域を、次のようにして特定することも可能である。
【００５６】
例えば、図１９下に示すように、立方体を撮影した３つの平面を含む画像を考える。この場合、Ｓ１１２では３つのピークが抽出されることになる。抽出された３つのピークの平面パラメータ投票空間１０１における座標位置(ｎ１、ｔｃ１)、(ｎ２、ｔｃ２)、(ｎ３、ｔｃ３)が画像内に存在する３つの平面それぞれの方位ｎと到達時間ｔｃを示している。これらの計測された座標位置(ｎ１、ｔｃ１)、(ｎ２、ｔｃ２)、(ｎ３、ｔｃ３)は要素番号ｊｐ１、ｊｐ２、ｊｐ３に対応しており、要素番号ｊｐ１、ｊｐ２、ｊｐ３で表すこともできる（Ｓ１１３）。
【００５７】
次に、各ｊｐ（ｊｐ１、ｊｐ２、ｊｐ３）ごとに、Ｓ１１４からＳ１１９の処理を行う。このとき、Ｓ１１６の判定処理において、ｊｐごとに異なる閾値を用いる。そして、投票値が閾値以上のｉ番号に対応づけて、同一グループを示す記号”１”、”２”、”３”などをテーブルに格納する（図１６参照）。
【００５８】
このようにすれば、最終的に得られた局所領域番号ｉ（例えば、ｉ番号に同一グループを示す記号”１”が対応づけられている局所領域ｉ）の覆う部分を画像中の第１平面（方位ｎ１と到達時間ｔｃ１によって特定される平面）の領域であると特定し、抽出できる。第２平面（方位ｎ２と到達時間ｔｃ２によって特定される平面）の領域及び第３平面（方位ｎ３と到達時間ｔｃ３によって特定される平面）の領域についても同様に特定し、抽出できる。
【００５９】
次に、平面領域特定方法（平面の空間パラメータの計測方法も含む）の第二の実施の形態の概略について説明する。
【００６０】
本実施の形態の平面領域特定方法は、平面の空間パラメータの計測方法（特開2000-357235号公報など）によって計測された平面（平面方位ｎと最短距離ｄｃによって特定される平面）が画像中（撮影画像中）で占める領域を特定しようとするものである。
【００６１】
平面の空間パラメータの計測方法は、図３に示すように、左眼カメラＣＡ及び右眼カメラＣＡ（本実施の形態では航空機に搭載されているものとする）によって同一時刻にその被写体を撮影して得られた２枚の画像Ｇ０、Ｇ１（図８ではその一方の画像Ｇ０を示している）に対して、図１８のＳ２００からＳ２１２で示される処理を施すことにより、画像中の平面の空間パラメータ（平面方位ｎと平面までの最短距離ｄｃなど）を計測しようとするものである。
【００６２】
平面領域特定方法において用いられるijσテーブルとしては、上記の第一の実施の形態で説明したijτテーブルが相当し（即ち、図５に示したijτテーブルのijτの値をijσに置き換えたものがijσテーブルである）、平面パラメータ投票空間としては、上記の第一の実施の形態で説明したものと同じものを用いる。
【００６３】
次に、本実施の形態の平面領域特定方法（平面の空間パラメータの計測方法も含む）をコンピュータシステム３００で実施する例について、図１７、図１８を参照しながら詳細に説明する。以下の説明においては、左眼カメラＣＡから右眼カメラＣＡへの移動方向ｖは既知とし、平面の空間パラメータとしては平面の方位ｎと平面までの最短距離ｄｃを考える。また、局所領域ｉにおける局所視差σの計算強度を空間パラメータの要素番号ｊに投票することを決めるためのijσテーブルはＳ２００以下の処理が開始される前に予め作成されているものとする。
【００６４】
以下の処理は、所定プログラムが実行されることによって実現される。所定プログラムが実行されると、まず、個々の局所領域（又は局所領域画像）を指定する局所領域番号ｉに初期値としてｉ＝０が設定される（Ｓ２００）。局所領域走査部２０２は、画像内を走査しながら左眼カメラＣＡと右目カメラより同一時刻に得られた２枚の画像からそれぞれ、予め設定されている局所領域（ｉ番目の局所領域）に対応する画像部分（以下、局所領域画像という）を各々切り出す（Ｓ２０１）。図１３は、切り出された局所領域画像の例を示している。局所視差検出部２０３は、画像内の任意の位置の局所視差を検出する（Ｓ２０２）。具体的には、局所視差検出部２０３は、これら切り出された２つの局所領域画像（ｉ番目の局所領域画像）からその変位ベクトル（局所視差）を算出する。
【００６５】
次に、平面パラメータ投票空間の個々の配列の要素（及び、投票値格納領域）を指定する要素番号ｊに初期値としてｊ＝０が設定される（Ｓ２０３）。
【００６６】
平面パラメータの走査部２０４は、ijσテーブルから、その時点での局所領域番号ｉ及び要素番号ｊが対応づけられているijσを読み出す（出力する）（Ｓ２０４）。
【００６７】
平面パラメータ投票部２０５は、局所視差検出部２０３によって検出された視差情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する。即ち、平面パラメータ投票部２０５は、Ｓ２０２で算出された視差情報に基づく計算値（強度ともいう。以下、投票値という。）をijσテーブルに従い、平面パラメータ投票空間の要素番号ｊに投票して行く（Ｓ２０６）。具体的には、Ｓ２０４で読み出されたijσに対する投票値（Ｓ２０２で算出されている）をＲＡＭ内に確保される投票値格納領域（ｊで示される領域）に加算する。
【００６８】
なお、投票値をそのまま（投票値に対して何らの演算を施すことなく）投票してもよいし、投票値を必要に応じて１０倍あるいは１／１０倍（強度計算）などして投票してもよい（Ｓ２０５）。また、投票値を２値化して投票してもよいし、投票値がある値よりも小さい場合には０を投票してもよい。
【００６９】
投票の際、その投票値としての計算値（強度）をその投票時点での局所領域番号ｉ及び要素番号ｊに対応づけて投票強度テーブル２０６（例えば、図１５左側の投票強度テーブル１０６）に格納しておく（Ｓ２０７）。投票強度テーブル２０６が、投票したデータ情報を格納する投票データ格納部に相当する。強度テーブル２０６は、投票値（投票強度）と投票値の投票先要素の指定情報ｊと投票値の基礎とされた局所領域画像の指定情報ｉ（即ち、投票時点でのｉ）とを対応づけたテーブルである。
【００７０】
上記のＳ２０４からＳ２０７の処理は、平面パラメータ投票空間１０１を構成する全ての配列の要素番号に対して行われる（Ｓ２０８、Ｓ２０９）。また、上記のＳ２０１からＳ２０９の処理は、画像内の全ての局所領域画像に対して行われる（Ｓ２１０、Ｓ２１１）。本実施の形態においては、画像中には円領域で示されるｉ＝０番目からｉ＝１０番目までの合計１１個の局所領域画像が存在しているので（図８参照）、Ｓ２０１からＳ２０９の処理は、これらの１１個の局所領域画像に対して行われる。
【００７１】
全画像を走査した後に、ピーク抽出部２０７は、平面パラメータ投票空間１０１でピーク抽出を行う（Ｓ２１２）。即ち、ピーク抽出部２０７は、投票結果からピークデータを抽出する。ピークは、例えば、平面パラメータ空間１０１のある断面において図１０に示すように出現する。
抽出されたピークの平面パラメータ投票空間１０１における座標位置(ｎ、ｄｃ)が画像内に存在する平面（図８に示した画像においては、水平線以下の大地部分）の方位ｎと最短距離ｄｃを示している。これにより平面が検出されたことになる。即ち、平面空間パラメータとして平面の方位ｎと最短距離ｄｃが計測されたことになる。この計測された座標位置(ｎ、ｄｃ)は要素番号ｊｐに対応しており、要素番号ｊｐで表すこともできる（Ｓ２１３）。
【００７２】
次の段階では、平面領域検出部２０８が、ピーク抽出部２０７から得られたピークデータを基に、投票データ格納部を探索して平面領域に含まれる局所領域を特定する。以下、平面領域検出部２０８の処理について説明する。
【００７３】
まず、検出された平面空間パラメータの要素番号ｊｐを基にして、投票強度テーブル２０６を探索し（Ｓ２１５）、要素ｊｐに投票された局所領域番号ｉとその投票値としての計算値（強度）を調べる（Ｓ２１６）。即ち、投票強度テーブル２０６から、要素番号ｊｐが対応づけられている局所領域番号ｉ及びその投票値を読み出す。
【００７４】
そして、読み出した投票値を用いて平面領域としての判定処理（例えば、読み出した投票値が一定の閾値以上であるか否かの判定）を実行し（Ｓ２１６）、ｉ番目の局所領域画像が平面（方位ｎと最短距離ｄｃによって特定される平面）に含まれる領域であるかどうかを決定する。例えば、投票値が閾値以上のｉ番号に対応づけて、同一グループを示す記号”１”などをテーブルに格納する（図１６参照）。
【００７５】
この領域判定を繰り返して（Ｓ２１８、Ｓ２１９）、平面領域検出部２０８は、最終的に得られた局所領域番号ｉ（例えば、ｉ番号に同一グループを示す記号”１”が対応づけられている局所領域ｉ）の覆う部分を画像中の平面（方位ｎと最短距離ｄｃによって特定される平面）の領域であると特定し、抽出する（Ｓ２２０）。
即ち、平面の空間パラメータ（方位ｎと最短距離ｄｃ）によって特定される平面が撮影画像中で占める領域として、最終的に得られた局所領域番号ｉで指定される局所領域を特定している。また、平面の空間パラメータ（方位ｎと最短距離ｄｃ）によって特定される平面領域に含まれる局所領域として、最終的に得られた局所領域番号ｉで指定される局所領域を特定していると捉えることもできる。
さらに、抽出されたピークデータとしてのｊｐを基に、投票強度テーブル１０６から、前記複数の局所領域画像のうち抽出されたピークデータの出現に寄与した局所領域画像の指定情報ｉを探索し、その探索された指定情報ｉによって指定される局所領域画像を撮影画像中の平面領域として特定していると捉えることもできる。
【００７６】
上記実施の形態では局所領域画像として円領域に対応する合計１１個の局所領域画像を用いる例について説明した（図８参照）。本発明は、これに限定されることなく、例えば、図１９に示すように、局所領域画像として、画像全体を格子状に分割しその分割した個々の矩形領域（その他、三角形、５角形、楕円などあらゆる図形の領域が考えられる）に対応する局所領域画像を用いてもよい。また、その局所領域画像の個数は、必要に応じて適宜の数とすることが可能である。
【００７７】
また、上記実施の形態では画像中に含まれている１つの平面の領域を特定する例について説明した。本発明は、これに限定されることなく、複数の平面それぞれの領域を、次のようにして特定することも可能である。
【００７８】
例えば、図１９下に示すように、立方体を撮影した３つの平面を含む画像を考える。この場合、Ｓ２１２では３つのピークが抽出されることになる。抽出された３つのピークの平面パラメータ投票空間１０１における座標位置(ｎ１、ｔｃ１)、(ｎ２、ｔｃ２)、(ｎ３、ｔｃ３)が画像内に存在する３つの平面それぞれの方位ｎと到達時間ｔｃを示している。これらの計測された座標位置(ｎ１、ｔｃ１)、(ｎ２、ｔｃ２)、(ｎ３、ｔｃ３)は要素番号ｊｐ１、ｊｐ２、ｊｐ３に対応しており、要素番号ｊｐ１、ｊｐ２、ｊｐ３で表すこともできる（Ｓ２１３）。
【００７９】
次に、各ｊｐ（ｊｐ１、ｊｐ２、ｊｐ３）ごとに、Ｓ２１４からＳ２１９の処理を行う。このとき、Ｓ２１６の判定処理において、ｊｐごとに異なる閾値を用いる。そして、投票値が閾値以上のｉ番号に対応づけて、同一グループを示す記号”１”、”２”、”３”などをテーブルに格納する（図１６参照）。
【００８０】
このようにすれば、最終的に得られた局所領域番号ｉ（例えば、ｉ番号に同一グループを示す記号”１”が対応づけられている局所領域ｉ）の覆う部分を画像中の第１平面（方位ｎ１と到達時間ｔｃ１によって特定される平面）の領域であると特定し、抽出できる。第２平面（方位ｎ２と到達時間ｔｃ２によって特定される平面）の領域及び第３平面（方位ｎ３と到達時間ｔｃ３によって特定される平面）の領域についても同様に特定し、抽出できる。
【００８１】
［その他］  本発明は、以下のように特定することができる。
（付記１）  画像内で局所運動を検出し、その運動情報を平面の空間パラメータで構成される投票空間に投票して平面の空間パラメータを求め、投票結果のデータを基に局所領域を探索することによって、前記空間パラメータによって特定される平面が画像中で占める領域を特定する平面領域特定方法。
（付記２）  画像内の任意の位置の局所運動を検出する局所運動検出部と、その運動情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する平面パラメータ投票部と、その投票結果からピークデータを抽出するピーク抽出部と、投票したデータ情報を格納する投票データ格納部と、前記ピーク抽出部から得られたピークデータを基に、前記投票データ格納部を探索して平面領域に含まれる局所領域を特定する平面領域抽出部とを備える画像計測装置。
（付記３）  画像内で局所視差を検出し、その視差情報を平面の空間パラメータで構成される投票空間に投票して平面の空間パラメータを求め、投票結果のデータを基に局所領域を探索することによって、前記空間パラメータによって特定される平面が画像中で占める領域を特定する平面領域特定方法。
（付記４）  画像内の任意の位置の局所視差を検出する局所視差検出部と、その視差情報を投票テーブルに基づいて平面の空間パラメータで構成される投票空間に投票する平面パラメータ投票部と、その投票結果からピークデータを抽出するピーク抽出部と、投票したデータ情報を格納する投票データ格納部と、前記ピーク抽出部から得られたピークデータを基に、前記投票データ格納部を探索して平面領域に含まれる局所領域を特定する平面領域抽出部とを備える画像計測装置。
（付記５）  被写体に向かって移動するカメラによって異なる時刻にその被写体を撮影して得られた撮影画像から複数の局所領域画像を切り出し、その切り出された局所領域画像ごとに、局所領域画像内の任意の位置の局所運動を検出し、投票空間を構成する複数の配列の要素それぞれに前記検出された運動情報に基づいて得られる投票値を投票し、その投票値を投票値の投票先要素の指定情報と投票値の基礎とされた局所領域画像の指定情報とに対応づけて格納し、前記投票結果からピークデータを抽出し、その抽出されたピークデータを基に、前記格納された情報から、前記複数の局所領域画像のうち前記抽出されたピークの出現に寄与した局所領域画像の指定情報を探索し、その探索された指定情報によって指定される局所領域画像を撮影画像中の平面領域として特定する平面領域特定方法。
（付記６）  被写体に向かって移動するあるいは静止した複数のカメラによって同一時刻にその被写体を撮影して得られた撮影画像から複数の局所領域画像を切り出し、その切り出された局所領域画像ごとに、局所領域画像内の任意の位置の局所視差を検出し、投票空間を構成する複数の配列の要素それぞれに前記検出された視差情報に基づいて得られる投票値を投票し、投票値と投票値の投票先要素の指定情報と投票値の基礎とされた局所領域画像の指定情報とを対応づけて格納し、前記投票結果からピークデータを抽出し、その抽出されたピークデータを基に、前記格納された情報から、前記複数の局所領域画像のうち前記抽出されたピークデータの出現に寄与した局所領域画像の指定情報を探索し、その探索された指定情報によって指定される局所領域画像を撮影画像中の平面領域として特定する平面領域特定方法。
【００８２】
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。このため、上記の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、平面の空間パラメータの計測方法により計測された平面（空間パラメータによって特定される平面）が画像中で占める領域を特定することが可能になる。また、画像中のどの領域に平面が存在しているのかを特定することができるので、その平面を画像から切り出すことが可能になる。その結果、移動中の障害物の大きさを推定して適切に回避動作を行うことができる。また、重なりなどによって複数の平面に分割されて検出された平面も抽出することができる。複数の平面領域を抽出することにより、画像からのその三次元的な空間構造を再構成することも実現可能である。
【図面の簡単な説明】
【図１】本発明の第一及び第二の実施形態を実施するためのコンピュータシステムの外観図である。
【図２】図１に示すコンピュータシステムのハードウェア構成図である。
【図３】本発明の第一及び第二の実施の形態で撮影される被写体の例である。
【図４】本発明の第一の実施の形態をコンピュータシステムで実施するための機能ブロック図である。
【図５】本発明の第一の実施の形態において用いられるijτテーブルの例を説明するための図である。
【図６】本発明の第一の実施の形態において用いられるijτテーブルの作成に用いられる機能ブロック図である。
【図７】本発明の第一の実施の形態において用いられるijτテーブルの作成に用いられる機能ブロック図である。
【図８】主に、本発明の第一及び第二の実施の形態において用いられる平面パラメータ投票空間、及び、局所領域画像を説明するための図である。
【図９】本発明の第一及び第二の実施の形態において用いられる平面パラメータ投票空間の構造（断面構造）を説明するための図である。
【図１０】本発明の第一及び第二の実施の形態において用いられる平面パラメータ投票空間に出現するピークを説明するための図である。
【図１１】本発明の第一及び第二の実施の形態において用いられるＲＡＭ内に確保される投票値格納領域と投票との関係を説明するための図である。
【図１２】本発明の第一の実施形態を図４の機能ブロックで実施する場合の動作を説明するためのフローチャートである。
【図１３】本発明の第一及び第二の実施の形態において切り出される局所領域画像の例である。
【図１４】本発明の第一の実施形態において得られる局所運動検出平面（局所速度マップ）の例である。
【図１５】本発明の第一及び第二の実施の形態において用いられる投票強度テーブルの例である。
【図１６】本発明の第一及び第二の実施の形態において用いられる、局所領域画像をグループ化するためのテーブルの例である。
【図１７】本発明の第二の実施の形態をコンピュータシステムで実施するための機能ブロック図である。
【図１８】本発明の第二の実施の形態を図１７の機能ブロックで実施する場合の動作を説明するためのフローチャートである。
【図１９】本発明の変形例を説明するための図である。
【符号の説明】
１００      ijτテーブル
１０１      平面パラメータ投票空間
１０１ａ    配列の要素
１０２      局所領域走査部
１０３      局所運動検出部
１０４      平面パラメータ走査部
１０５      平面パラメータ投票部
１０６      投票強度テーブル
１０７      ピーク抽出部
１０８      平面領域検出部
２０２      局所領域走査部
２０３      局所視差検出部
２０４      平面パラメータ走査部
２０５      平面パラメータ投票部
２０６      投票強度テーブル
２０７      ピーク抽出部
２０８      平面領域検出部
３００      コンピュータシステム
３０１      本体
３１１      ＣＰＵ
３１２      ＲＡＭ
３１３      磁気ディスクコントローラ
３１４      フロッピィディスクドライバ
３１５      ＭＯドライバ
３１６      マウスコントローラ
３１７      キーボードコントローラ
３１８      ディスプレイコントローラ
３１９      通信用ボード
３２０      画像入力用ボード
３２１      磁気ディスク
３２２      フロッピィディスク
３２３      ＭＯ
４００      通信回線
ＣＡ        カメラ
ｎ          平面方位
ｔｃ        規格化時間
ｄｃ        最短距離
Ｇ０，Ｇ１  画像
【図１】
0004288028.tif 000002
【図２】
0004288028.tif 000003
【図３】
0004288028.tif 000004
【図４】
0004288028.tif 000005
【図５】
0004288028.tif 000006
【図６】
0004288028.tif 000007
【図７】
0004288028.tif 000008
【図８】
0004288028.tif 000009
【図９】
0004288028.tif 000010
【図１０】
0004288028.tif 000011
【図１１】
0004288028.tif 000012
【図１２】
0004288028.tif 000013
【図１３】
0004288028.tif 000014
【図１４】
0004288028.tif 000015
【図１５】
0004288028.tif 000016
【図１６】
0004288028.tif 000017
【図１７】
0004288028.tif 000018
【図１８】
0004288028.tif 000019
【図１９】
0004288028.tif 000020