(57)【要約】【課題】観測空間の信頼度に基づいた効率的な移動物体の３次元位置推定を可能にする。【解決手段】空間内を複数の視点から撮像した画像を入力し、移動物体の写っていない画像を各視点ごとの基準画像と保存する手段１０２１〜１０２ｎ、各視点ごとに、当該視点の画像と基準画像を比較し相違部分を検出することで、移動物体領域とする手段と１０３１〜１０３ｎ、複数の視点で観測される実空間を仮想の小領域に量子化する手段１０４、この仮想の小領域と複数の視点の位置関係に基づき、小領域ごとに空間の信頼度定義を行う手段１０５と、信頼度定義を行った空間に対し、各視点ごとの移動物体領域を投影する手段１０６、この移動物体領域の投影結果をもとに空間中の対象位置を推定する手段１０７を備える。【選択図】　　　　図２
2004046464.tif 000002
【特許請求の範囲】
【請求項１】
観測空間の信頼度に基づき移動物体の３次元位置推定が可能である移動物体３次元位置推定装置であって、
空間内を複数の視点から撮像した画像を入力して、各視点ごとに移動物体の有無を検出し、移動物体の写っていない画像を各視点ごとの基準画像とする基準画像生成手段と、
各視点ごとに、該視点より得た画像と前記基準画像生成手段より得た基準画像とを比較し相違部分を検出することで移動物体領域とする移動物体領域検出手段と、
前記複数の視点から観測される実空間を仮想の小領域に量子化する実空間分割手段と、
前記実空間分割手段より得た仮想の小領域と前記複数の視点の位置関係に基づき小領域ごとに空間の信頼度定義を行う観測空間信頼度定義手段と、
前記観測空間信頼度定義手段より信頼度定義を行った空間に対し、前記移動物体領域検出手段より得た前記視点ごとの移動物体領域を投影する移動物体領域投影手段と、
前記移動物体領域投影手段より得た移動物体領域の投影結果をもとに空間中の対象位置を推定する移動物体位置推定手段と、
を備えることを特徴とする移動物体３次元位置推定装置。
【請求項２】
前記基準画像生成手段が、設定した一定時間内の複数画像の平均画像を基準画像として生成することを特徴とする請求項１記載の移動物体３次元位置推定装置。
【請求項３】
前記基準画像生成手段が、赤外線センサの出力に基づき移動物体の写っていない画像を検出し、その画像を基準画像とすることを特徴とする請求項１記載の移動物体３次元位置推定装置。
【請求項４】
前記観測空間信頼度定義手段が、各小領域に対し、当該小領域と視点間のなす角度の大きさと、当該小領域と視点の奥行の距離とに基づき、小領域ごとに空間の信頼度を算出することを特徴とする請求項１記載の移動物体３次元位置推定装置。
【請求項５】
前記観測空間信頼度定義手段により得た空間信頼度に基づき、前記複数の視点の配置を再度計画しなおす視点再配置計画手段を備えたことを特徴とする請求項１記載の移動物体３次元位置推定装置。
【請求項６】
観測空間の信頼度に基づき移動物体の３次元位置推定が可能である移動物体３次元位置推定方法であって、
空間内を複数の視点から撮像した画像を入力して、各視点ごとに移動物体の有無を検出し、移動物体の写っていない画像を各視点ごとの基準画像とする基準画像生成処理と、
各視点ごとに、当該画像と前記基準画像とを比較し相違部分を検出することで移動物体領域とする移動物体領域検出処理と、
前記複数の視点で観測される実空間を仮想の小領域に量子化する実空間分割処理と、
前記実空間分割処理により得た仮想の小領域と前記複数の視点の位置関係に基づき、小領域ごとに空間の信頼度定義を行う観測空間信頼度定義処理と、
前記観測空間信頼度定義処理により信頼度定義を行った空間に対し、前記移動物体領域検出処理により得た各視点ごとの移動物体領域を投影する移動物体領域投影処理と、
前記移動物体領域投影処理により得た移動物体領域の投影結果をもとに空間中の対象位置を推定する移動物体位置推定処理と、
を有することを特徴とする移動物体３次元位置推定方法。
【請求項７】
前記画像生成処理が、設定した一定時間内の複数画像の平均画像を基準画像として生成することを特徴とする請求項６記載の移動物体３次元位置推定方法。
【請求項８】
前記基準画像生成処理が、赤外線センサの出力に基づき移動物体の写っていない画像を検出し、その画像を基準画像とすることを特徴とする請求項６記載の移動物体３次元位置推定方法。
【請求項９】
前記観測空間信頼度定義処理が、各小領域に対し、当該小領域と視点間のなす角度の大きさと、当該小領域と視点の奥行は距離とに基づき、小領域ごとに空間の信頼度を算出することを特徴とする請求項６記載の移動物体３次元位置推定方法。
【請求項１０】
前記観測空間信頼度定義処理により得た空間信頼度に基づき、複数の視点の配置を再度計画しなおす視点再配置計画処理を備えたことを特徴とする請求項６に記載の移動物体３次元位置推定方法。
【請求項１１】
請求項６乃至１０記載の移動物体３次元位置推定方法をコンピュータで実行するためのプログラム。
【請求項１２】
請求項６乃至１０記載の移動物体３次元位置推定方法をコンピュータで実行するためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の監視カメラなどの撮像装置において観測される人物等の移動物体の効率的な位置推定に関するものである。
【０００２】
【従来の技術】
複数の視覚画像より３次元位置を計測する手法には、ステレオ法、時系列画像解析、投票法の、大きく分けて３つに分類できる。ステレオ法はカメラの位置・姿勢などの外部パラメータ、焦点距離などの内部パラメータが既知である場合、それぞれの画像中における同一特徴点を見つけ出し、三角測量の原理で画像中の３次元位置を求める手法である。また、時系列画像解析は、連続する複数のフレーム間で変化している部分を検出し、その領域中のある部分が次フレームのどの部分に対応するかを求めることにより、検出対象の運動パラメータを決定し、３次元位置推定を行う手法である。これらステレオ法、時系列画像解析の２つに共通する問題は、対応点の求め方であり、対応点の誤対応により検出精度が大きく左右されてしまう欠点がある。
【０００３】
他方、投票法は、複数の撮像装置で撮影された画像の特徴点を、仮想の小領域、ボクセルに分割した実空間に逆投影し、逆投影線の交差する点、つまり得票値が多いボクセルを割り出すことで、画像中の特徴点の３次元位置を推定する手法である。そのため、上記で述べた複数画像間の対応問題が生じず、誤った対応づけも生じないという特徴を持ち、頑健な３次元位置推定法であると言える。
【０００４】
しかし、投票法は、画像の注目領域を実空間に逆投影するという性質上、投票範囲が広範囲になってしまい、特徴点を含むボクセルの検出が不安定になってしまう問題が生じる。この問題に対し、精度良く特徴点の属するボクセルを抽出する手法として、第１、第２の２段階の投票処理を用いた三次元情報抽出方法が提案されている（特開平６−１１７８３５号公報）。以下、これについて説明する。
【０００５】
まず、第１の投票処理において、図１８に示すように、画像の投影中心と画像中の特徴点とを結ぶ３次元空間中の直線１４を撮像装置１１ごとに求め、検出対象１２の存在する３次元空間中の個々のボクセル１３において、直線１４と交差する数をカウントし記録する。その結果は、図１９のようになる。次に、第２の投票処理では、図２０で示すように、直線１４が３次元空間中のボクセル１３と交差する参照ボクセル３１の中で、第１の投票処理により得られたカウント値が最大となる最大値ボクセル３２のみを抽出し、図２１に示すように、最大値ボクセル３２にのみ新たな投票値をカウントする。この第２の投票処理をすべての撮像装置１１に対し行い、図２２のような新たにカウントした第２の投票処理結果を得る。
【０００６】
以上より得られた第１・第２の投票処理結果を利用し、画像中の特徴点の３次元位置を代表するボクセルを精度良く抽出することが可能である。
【０００７】
この手法は、図１８のように、撮像装置１１の配置がある程度分散していることを前提としているため、図２３のように撮像装置１１の配置に偏りがある場合、図２４に示すように、第２の投票処理は広範囲のボクセルに分布してしまい検出精度が低下してしまう。そこで、特開平６−１１７８３５号公報では、図２４のように、第２の投票結果が広範囲のボクセルに分布した場合、それらボクセルの中で中心のボクセルのみを抽出し第２投票値のカウントを行い、第２の投票処理結果とする手法も併せて提案されている。
【０００８】
上記手法を要約すると、第１の投票処理において全ての撮像装置から実空間ボクセルに平等に投票処理を行い、特徴点の存在する可能性のあるボクセルを限定し、第２の投票処理において第１の処理結果を利用し、対象の存在するボクセルのみを抽出することで、画像上の特徴点の３次元位置を精度良く検出するというものである。
【０００９】
上記の手法において、図１８のように撮像装置１１の数が多く分散している場合、図１９のように第１の投票処理結果の得票値にばらつきが生じやすい。その結果、図２２に示すように第２の投票処理を行う際、画像上の特徴点を含むボクセルを精度良く検出しやすくなる。しかし、撮像装置１１の位置と検出対象１２の位置関係によって、第１の投票処理結果は異なり、第２の投票処理結果で誤ったボクセルに投票を行ってしまう。例えば、図１８のように、撮像装置１１間と検出対象１２の位置のなす角が十分に大きい場合、第１の投票処理結果で最大得票値を持つボクセルの分布は狭範囲となり、精度のよい対象検出が期待できる。しかし、図２５に示すように、撮像装置１１間と検出対象１２のなす角８１が小さい場合、図２６に示すように、第１の投票処理結果で最大得票値を持つボクセルが広範囲に分布してしまい、本来の検出対象１２を誤検出対象９１と誤検出を起こしてしまう。
【００１０】
以上のように、撮像装置と検出対象の位置関係により、同じ観測空間内においても、第１の投票処理結果に違いが生じ、対象の検出精度が異なると言える。
【００１１】
【発明が解決しようとする課題】
従来の投票法を用いて対象の３次元位置推定を行う手法においては、画像上の特徴点を実空間への逆投影する際に生じる投票値が広範囲に分布してしまい対象の検出精度が低下する問題があげられた。そこで、上述の手法では、第１の投票処理として全ての撮像装置から実空間中のボクセルに対して平等に投票処理を行い、対象の存在可能性の高いボクセル情報をあらかじめ得る。そして、第２の投票処理にて、その情報を利用し存在可能性の高いボクセルのみに第２の投票処理を行い、第１と第２の投票処理結果を統合し、対象の位置検出を行うことで、従来問題であった投票値の広範囲への分布を抑え、精度良く対象の検出を可能としたものである。
【００１２】
ところが、上記手法には次のような問題がある。対象の検出精度は、第１の投票処理結果に大きく依存することが上述の鋭明よりわかるが、上述の第１の投票処理方法は、全ての撮像装置において平等な投票であるため、撮像装置の数が少ない場合や検出対象の位置と撮像装置間のなす角が小さい場合において投票法による検出精度が低下する。
【００１３】
そこで、本発明の主な目的は、撮像装置（視点）の数や、検出対象の位置と撮像装置間のなす角による検出精度の変化を考慮した検出対象のボクセル抽出が可能な移動物体の３次元位置推定手法を提供することにある。
【００１４】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、空間内を複数の視点から撮像した画像を入力し、各視点ごとに移動物体の有無を検出し、移動物体の写っていない画像を各視点ごとの基準画像として保存する手段と、各視点ごとに、当該視点の画像と基準画像を比較し相違部分を検出することで、移動物体領域とする手段と、前記複数の視点で観測される実空間を仮想の小領域に量子化する手段と、この仮想の小領域と複数の視点の位置関係に基づき、小領域ごとに空間の信頼度定義を行う手段と、信頼度定義を行った空間に対し、各視点ごとの移動物体領域を投影する手段と、この移動物体領域の投影結果をもとに空間中の対象位置を推定する手段とを備えることを主要な特徴としている。
【００１５】
また、本発明は、設定した一定時間内の複数画像の平均画像を基準画像として生成することを特徴とする。また、本発明は、赤外線センサの出力に基づき、移動物体の写っていない画像を検出し、その画像を基準画像とすることを特徴とする。
【００１６】
また、本発明では、観測空間信頼度定義手段は、各小領域に対し、当該小領域と視点間のなす角度の大きさと、当該小領域と視点の奥行は距離とに基づき、小領域ごとに空間の信頼度を算出することを特徴とする。さらに、本発明は、観測空間信頼度定義手段により得た空間信頼度に基づき、複数の撮像手段（視点）の配置を再度計画しなおす手段を備えることを特徴とする。
【００１７】
本発明によれば、観測対象となる空間を仮想の小領域に分割し、その各小領域に対し、小領域と撮像装置間のなす角の大きさと、小領域と撮像装置の奥行き方向の距離とに応じて、観測対象空間の各小領域に重み付けすることにより、観測対象空間全体の信頼度を定義し、各撮像装置において移動物体が観測された画像から基準となる観測画像を差し引くことにより求めた画像中の移動物体領域を信頼度定義した観測対象空間の小領域に逆投影することで、信頼度に基づいた移動物体の３次元位置推定が可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の移動物体３次元位置推定装置における一実施例のシステム図である。本実施例のシステムは、移動物体１を撮像する装置としてのカメラ１０１１〜１０１ｎと、該カメラ１０１１〜１０１ｎと接続される移動物体３次元位置推定装置１００と、該移動物体３次元位置推定装置１００から得られた移動物体の３次元位置を表示する表示用端末１５０とを備えている。本発明は、移動物体３次元位置推定装置１００に関する。
【００１９】
なお、図１に示す本実施例では、空間内を複数の視点から撮像する撮像装置のカメラ１０１１〜１０１ｎを直接、移動物体３次元位置推定装置１００に接続しているが、カメラ１０１１〜１０１ｎの代わりにＩＰカメラ、またはカメラと計算機の組み合わせとしネットワークにより移動物体３次元位置推定装置１００に接続してもよい。また、撮影装置としてはカメラ１０１１〜１０１ｎのかわりに赤外線カメラ、赤外線センサ等を使用してもよい。
【００２０】
図２は、移動物体３次元位置推定装置１００の構成例を示すブロック図である。本実施例の移動物体３次元位置推定装置１００は、図２に示すように、移動物体の監視注目領域（観測対象空間）１０に向けて配置された複数台のカメラ１０１１〜１０１ｎから得られる画像を基に、カメラ１０１１〜１０１ｎごとの基準画像を生成する基準画像生成部１０２１〜１０２ｎと、カメラ１０１１〜１０１ｎからの画像と画像生成部１０２１〜１０２ｎからの基準画像をそれぞれ入力し、両方の画像を比較してそれぞれ移動物体の領域を算出する移動物体領域算出部１０３１〜１０３ｎと、実空間中の監視領域を仮想の小領域に分割する実空間分割部１０４と、実空間分割部１０４により得た個々の小領域に対して、カメラ１０１１〜１０１ｎの位置関係に基づいた観測空間の信頼度を算出・定義する観測空間信頼度定義部１０５と、観測空間信頼度定義部１０６により信頼度を定義した仮想の小領域に対し、移動物体領域算出部１０３１〜１０３ｎからそれぞれ得られた移動物体領域画像を逆投影する移動物体領域投影部１０６と、移動物体領域投影部１０６より得られた投影結果に基づき移動物体の３次元位置を推定する移動物体位置推定部１０７とを備えている。
【００２１】
次に、図２に示した移動物体３次元位置推定装置１００内の各部の構成及び処理について詳細に説明する。
【００２２】
図３は基準画像生成部１０２１の構成例を示す。基準画像生成部１０２１は、観測画像蓄積部１１１１と、移動物体有無判定部１１２１と、判定条件設定部１１３１と、基準画像記憶部１１４１とを備えている。なお、図２に示した基準画像生成部１０２２〜１０２ｎの構成も、この基準画像生成部１０２１の構成と同様であるため、その説明は省略する。
【００２３】
観測画像蓄積部１１１１は、カメラ１０１１により撮像された画像（観測画像）を撮像時刻のタイムスタンプとともに逐次蓄積する。判定条件設定部１１３１は、観測画像蓄積部１１１１に蓄積された画像の中から基準画像を選定する際の判定条件として、基準画像の候補となる時間的範囲を設定する判定期間と、その期間内の画像間の相関値閾値を設定している。
【００２４】
移動物体有無判定部１１２１は、判定条件設定部１１３１の設定条件に基づいて、観測画像蓄積部１１１１に蓄積された画像から移動物体の写っていない画像を基準画像として選定する。即ち、移動物体有無判定部１１２１では、判定条件設定部１１３１に設定された判定期間内の観測画像蓄積部１１１１に蓄積された全画像に対して各画像間の相関値を求め、判定条件設定部１１３１に設定された相関値閾値以下の画像を基準画像として選定する。相関値閾値以下の画像が複数得られた場合には、そのうちの任意の一つを基準画像とする。基準画像記憶部１１４１は、移動物体有無判定部１１２１の判定結果に基づき、観測画像蓄積部１１１１から基準画像としての画像（移動物体の写っていない画像）を読み出して記憶する。この基準画像記憶部１１４１に記憶された基準画像は、移動物体領域算出部１０３１に送られる。
【００２５】
なお、基準画像生成部１０２１は、観測画像蓄積部１１１１に蓄積された画像の一定期間の平均を求めることで基準画像とし、基準画像記憶部１１４１に記憶してもよい。また、カメラ１０１１にかえて赤外線センサを用い、基準画像生成部１０２１は、該赤外線センサを用い移動物体の写っていない画像を基準画像とし、基準画像記憶部１１４１に記憶してもよい。
【００２６】
図４は移動物体領域算出部１０３１の構成例を示す。移動物体領域算出部１０３１は、観測画像比較部１２１１と、比較条件設定部１２２１と、比較結果記憶部１２３１とを備えている。なお、図２に示した移動物体領域算出部１０３２〜１０３ｎの構成も、この移動物体領域算出部１０３１の構成と同様であるため、その説明は省略する。
【００２７】
比較条件設定１２２１は観測画像と基準画像の間の相関値閾値を設定している。観測画像比較部１２１１は、カメラ１０１１にて撮像した観測画像と基準画像生成部１０２１内の基準画像記憶部１１４１に記憶している基準画像の２つの画像間の相関値を比較し、比較条件設定部１２２１にて設定された相関値閾値以上（相違部分が大）の領域を移動物体領域として検出する。比較結果記憶部１２３１は、観測画像比較部１２１１で検出された移動物体領域の画像を記憶する。この比較結果記憶部１２３１の移動物体領域画像は、後述の移動物体領域投影部１０６に送られる。
【００２８】
図５は実空間分割部１０４の構成例を示す。実空間分割部１０４は、分割情報設定部１３１と、分割処理部１３２と、分割処理結果記憶部１３３とを備えている。
分割条件設定部１３１は、観測対象空間を仮想の小領域に分割する際のひとつの小領域の大きさを設定している。分割処理部１３２は、分割条件設定部１３１で設定されたひとつの小領域の大きさに基づき、観測対象空間を複数の仮想の小領域に分割し量子化する。分割処理結果記憶部１３３は、分割処理部１３２で分割された観測対象空間の個々の小領域の位値座標を記憶する。この分割処理結果記憶部１３３に記憶された個々の小領域の位置座標が観測空間信頼度定義部１０５に与えられる。
【００２９】
図６は観測空間信頼度定義部１０５の構成例を示す。観測空間信頼度定義部１０５は、カメラパラメータ保持部１４１と、観測空間信頼度算出部１４２と、観測空間信頼度記憶部１４３を備えている。カメラパラメータ保持部１４１は、各カメラ１０１１〜１０１ｎについて、カメラの外部パラメータとして投影中心座標と姿勢角度を、内部パラメータとして焦点距離、画像中心座標、画素サイズ、レンズ歪み係数を保持している。また、カメラパラメータ保持部１４１は、後述のすべての注目小領域とカメラの距離の最大値として、あらかじめ測定しておいた観測対象空間とカメラの奥行き方向の距離の最大値を保持している。
【００３０】
観測空間信頼度算出部１４２は、各小領域に対し、小領域とカメラ間の配置角度に応じた信頼度算出と、小領域とカメラの奥行き方向の距離に応じた信頼度算出を実施する。ここでは、各小領域に対し、小領域とカメラ間の配置角度に応じた信頼度算出について詳細に説明する。
【００３１】
観測空間信頼度算出部１４２は、各小領域について、カメラ１０１１〜１０１ｎから２台ずつすへての組み合わせを選択して、カメラパラメータ保持部１４１に保持されている当該カメラ２台分の投影中心座標と、実空間分割部１０４内の分割処理結果記憶部１３３に記憶されている当該小領域の中心部の位置座標の、３点の座標の位置関係に基づき、実空間分割部１０４にて分割した観測対象空間の個々の小領域に対して信頼度を算出する。観測空間信頼度記憶部１４３は、観測空間信頼度算出部１４２にて算出した観測対象空間内のすべて小領域に対する信頼度を記憶する。
【００３２】
以下に、図７、図８を用いて、観測空間信頼度算出部１４２における小領域とカメラ間の配置角度に基づく信頼度算出処理を詳細に説明する。
図７は、観測空間信頼度算出部１４２における上記算出処理の流れを示したものである。また、図８は、カメラ１０１１〜１０１ｎと、観測対象空間を分割した仮想の小領域との位置関係を示したものである。
【００３３】
図７において、まず、実空間分割部１０４内の分割処理結果記憶部１３３から信頼度を定義する小領域を一つ選択し、当該小領域の中心位置座標を取得する
（Ｓ１１）。次に、信頼度を算出するために使用する２台のカメラを選択し、カメラパラメータ保持部１４１から当該カメラ台分の投影中心座標を取得する（Ｓ１２）。
【００３４】
次に、Ｓ１１で選択した小領域の中心座標を原点とし、Ｓ１２で選択した２台のカメラの投影中心座標とそれぞれを結んだ際にできる角度θを利用して、信頼度定義式「｜ｓｉｎθ｜」により、信頼度（｜ｓｉｎθ｜）を算出する（Ｓ１３）。
【００３５】
図７を用いて、｜ｓｉｎθ｜の算出法を説明する。観測対象空間内の仮想の小領域Ｖ０００を選択し、また、２台のカメラ１０１１，１０１２を選択したとする。選択した小領域Ｖ０００の中心位置座標（Ｘｖ０００，Ｙｖ０００，Ｚｖ０００）を原点として、その原点と選択した２台のカメラ１０１１，１０１２の投影中心座標Ｐ１（Ｘｐ１，Ｙｐ１，Ｚｐ１）、Ｐ２（Ｘｐ２，Ｙｐ２，Ｚｐ２）をそれぞれ結んだ際にできる角度θ１とする。この３点の位置座標Ｖ０００，Ｐｌ，Ｐ２と角度θ１から、内積の関係式を利用して、以下のように信頼度｜ｓｉｎθ｜を算出する。即ち、
【数１】
2004046464.tif 000003
ただし、
【数２】
2004046464.tif 000004
また、
【数３】
2004046464.tif 000005
【００３６】
の関係式より、
【数４】
2004046464.tif 000006
【００３７】
図７の処理フローに戻り、すべてのカメラの組み合わせに対して信頼度｜ｓｉｎθ｜の算出処理を行ったかどうかをチェックする（Ｓ１４）。すべてのカメラの組み合わせに対し信頼度｜ｓｉｎθ｜の算出処理が終わっていない場合は、Ｓ１２に戻り、カメラの組み合わせを変えて、再び信頼度｜ｓｉｎθ｜の算出を行う。ただし、カメラの組み合わせは、同順とする。例えば、カメラの組み合わせ（１０１１，１０１２）と（１０１２，１０１１）は同じものであるとする。
【００３８】
すべてのカメラの組み合わせに対する信頼度｜ｓｉｎθ｜の算出が終わった場合、この算出したすべてのカメラの組み合わせに対する｜ｓｉｎθ｜の和を求め、Ｓ１１で選択した小領域の信頼度とする（Ｓ１５）。後述するように、｜ｓｉｎθ｜の総和が大きいほど、当該１１、領域の信頼度が大であることを意味している。
【００３９】
次に、観測対象空間内のすべての小領域に対してＳ１２〜Ｓ１５の処理が終わったかどうかをチェックする（Ｓ１６）。処理が終わっていない場合、Ｓ１１に戻り、信頼度の算出が終わっていない小領域を選択し、Ｓ１２〜Ｓ１５の処理すべての小領域に対して信頼度の算出が終わった場合、該算出した観測対象空間内のすべての小領域に対する信頼度を観測空間信頼度記憶部１４３に記憶し（Ｓ１７）、信頼度算出処理を終了する。
【００４０】
図９、図１０を用いて、観測対象空間内の小領域の信頼度と上記信頼度定義式｜ｓｉｎθ｜の関係について説明する。
図９、図１０はともに、カメラ１０１１とカメラ１０１２の配置を上面から２次元的に示したものである。図９は、カメラ１０１１とカメラ１０１２が近接し、注目小領域との配置角度θが０°に近い様子を示したものである。図１０は、カメラ１０１１とカメラ１０１２が直角に配置され、注目小領域との配置角度θが９０°がの様子を示したものである。
【００４１】
図９に示すように、カメラ１０１１とカメラ１０１２が近接し、配置角度θが０°に近い場合、投票範囲は広範囲に分布し、投票処理の信頼度は最も低くなる。一方、図１０に示すように、カメラ１０１１とカメラ１０１２の配置角度θが９０°の場合、投票範囲は最も狭範囲となり、投票処理の信頼度は最も高くなる。信頼度定義式｜ｓｉｎθ｜は、これに合致し、配置角度θが０°の時、信頼度最小、配置角度が９０°の時、信頼度最大となる。
【００４２】
次に、観測空間信頼度算出部１４２において、各小領域に対し、小領域とカメラの奥行き方向の距離に基づく信頼度の算出処理について説明する。観測対象空間内のすべての小領域に対して信頼度を算出するにあたり、注目小領域とカメラとの配置角度は等しいが、カメラの配置位置が異なる場合、上記信頼度定義式
「｜ｓｉｎθ｜」の適用だけでは不十分である。
【００４３】
図１１は、注目小領域とカメラ１０１１とカメラ１０１２においてできる配置角度θが、同注目小領域とカメラ１０１１′とカメラ１０１２′においてできる配置角度θと等しい場合を示した図である。上記信頼度定義式「｜ｓｉｎθ｜」を用いて注目小領域の信頼度を計算した場合、配置角度θが等しいため、求める信頼度も等しくなる。ところが、後述の移動物体領域画像を実空間へ投影処理する際、対象とカメラとの奥行き方向の距離に応じて、カメラで撮像される画像上の対象の大きさが異なるため、観測対象空間内の投影分布にも違いが生じる。つまり、対象とカメラの奥行き方向の距離が近い場合、カメラ画像上の対象は大きく撮像されるため、観測対象空間に投影される対象の像が、カメラ画像上のノイズ領域の投影による影響を受けにくく、対象の像を明瞭に得ることができる。逆に、対象とカメラの奥行き方向の距離が遠い場合、カメラ画像上の対象は小さく撮像されるため、観測対象空間に投影される対象の像が、カメラ画像上のノイズ領域の投影による影響を受けやすく、対象の像を得にくくなる。
【００４４】
そこで、注目小領域とカメラとの奥行き方向の距離が近い方から遠くなるにしたがって線形に信頼度を低下させるように、注目小領域とカメラの奥行き方向の距離に応じた信頼度を定義する。即ち、この場合の信頼度定義式は、
【数５】
2004046464.tif 000007
とする。ここで、「注目小領域とカメラの距離」とは、カメラ光軸に対し注目小領域の中心座標から垂線を下ろした際の交点座標と、カメラの投影中心座標とのユークリッド距離である。また、「注目小領域とカメラの距離の最大値」とは、すべての「注目小領域とカメラの距離」の中で最も大きいものである。この値は、あらかじめパラメータ保持に設定しておく。
【００４５】
図１２は、観測空間信頼度定義部１０５内の観測空間信頼度算出部１４２において、上記〔数５〕の信頼度定義式に基づき、実空間分割部１０４にて分割した観測対象空間の個々の小領域に対して信頼度を算出する場合の処理の流れを示したものである。
【００４６】
まず、信頼度を定義する注目小領域を一つ選択する（Ｓ２１）。次に、信頼度を算出するために使用する１台のカメラを選択する（Ｓ２２）。次に、カメラ光軸に対し注目小領域の中心座標から垂直を下ろした際の交点座標と、カメラの投影中心座標とのユークリッド距離を利用し、上記〔数５〕の信頼度定義式に基づいて信頼度を算出する（Ｓ２３）。この信頼度の算出をすべてのカメラについて繰り返す。そして、すべてのカメラに対する信頼度の算出が終った場合（Ｓ２４）、この算出したすべてのカメラに対する信頼度の和を求め、Ｓ２１で選択した注目小領域の信頼度とする（Ｓ２５）。次に、Ｓ２１に戻り、信頼度の算出が終っていない次の小領域を選択し、Ｓ２２〜Ｓ２５の処理を繰り返す。こうして、すべての小領域に対して信頼度の算出が終った場合（Ｓ２６）、該算出した観測対象空間内のすべての小領域に対する信頼度を観測空間信頼度記憶部１４３に記憶し（Ｓ１７）、信頼度算出処理を終了する。
【００４７】
図１３は、上記〔数５〕の信頼度定義式で用いられる「注目小領域とカメラの距離」の算出方法を説明する図である。
図１３では、例として注目小領域とカメラ１０１１の位置関係を示している。まず、カメラ１０１１の投影中心座標と画像中心座標を結ぶ直線を求め、カメラ光軸とする。次に、注目小領域の中心座標からカメラ光軸に垂線を引き、カメラ光軸との交点座標を求める。そして、上記求めたカメラ光軸との交点座標と、カメラ１０１１の投影中心座標のユークリッド距離を求め、「注目小領域とカメラ１０１１の距離とする。これを〔数５〕の定義式に導入して信頼度を算出する。また、カメラが複数存在する場合は、各カメラに対して〔数５〕の定義式より信頼度を算出し、これらを加算することで、注目小領域の信頼度とする。
【００４８】
図１４に、注目小領域とカメラの奥行き方向の距離に応じた信頼度の算出の具体例を示す。図１４は、図１３と同様に、注目小領域とカメラ１０１１の配置関係を示した図である。ここでは、すべての注目小領域とカメラ１０１１の距離の最大値は１０とし、当該注目小領域とカメラ１０１１の距離は７であったとする。この場合、カメラ１０１１と注目小領域の信頼度は、
【数６】
2004046464.tif 000008
から、０．３となる。
【００４９】
観測対象空間内の各小領域の最終的な信頼度は、先の小領域とカメラ配置角度から求められる値（数４の定義式）と、上述の小領域とカメラの奥行き方向の距離から求められる値（数６の定義式）の和とすればよい。この各小領域の最終的な信頼度を、あらためて観測空間信頼度記憶部１４３に記憶する。この観測空間信頼度記憶部１４３に記憶された観測空間内の各小領域の信頼度を、カメラパラメータ保持部１４１の各カメラパラメータとともに移動物体領域投影部１０６に与える。
【００５０】
図１５は、図２に示した移動物体領域投影部１０６の構成例を示す。移動物体領域投影処理部１０６は、移動物体領域投影処理部２２１と、移動物体領域投影結果記憶部２２２とを備えている。
【００５１】
移動物体領域投影処理部２２１は、移動物体領域算出部１０３１〜１０３ｎ内の比較結果記憶部１２３１〜１２３ｎと、観測空間信頼度定義部１０５内のカメラパラメータ保持部１４１、観測空間信頼度記憶部１４３と接続され、比較結果記憶部１２３１〜１２３ｎに記憶されている各移動物体領域画像を、観測空間信頼度記憶部１４３により信頼度定義された観測対象空間の仮想小領域に投影する。移動物体領域投影結果記憶部２２２は、移動物体領域投影処理部２２１において算出された観測対象内のすべての仮想小領域に対する投影値を記憶する。この投影値が移動物体位置推定部１０７に与えられる。
【００５２】
図１６は、移動物体領域投影処理部２２１の処理の流れを示したものである。図１６を用いて、移動物体領域投影処理部２２１での処理を詳細に説明する。
まず、投影先となる観測対象空間中の小領域を一つ選択する（Ｓ３１）。次に、投影対象となる移動物体領域画像が記憶されている移動物体領域算出部１０３１〜１０３ｎ内の比較結果記憶部１２３１〜１２３ｎから一つの比較結果記憶部（ここでは、１２３ｉとする）を選択する（Ｓ３２）。そして、Ｓ３１で選択した小領域の中心座標と、Ｓ３２で選択した比較結果記憶部１２３ｉに対応するカメラの投影中心座標とを結ぶ直線を求める。なお、Ｓ３２で選択した比較結果記憶部１２３ｉに対応するカメラ１０１ｉの投影中心座標は、観測空間信頼度定義部１０５内のカメラパラメータ保持部１４１より読み取る。
【００５３】
次に、Ｓ３３で求めた直線と、Ｓ３２で選択した比較結果記憶部１２３ｉに対応するカメラ１０１ｉの画像平面の交点座標を求める（Ｓ３４）。なお、交点座標は、世界座標系における３次元座標値である。まず、カメラ１０１ｉの画像平面の方程式を求める。画像平面の方程式は、観測空間信頼度定義部１０６内のカメラバラメータ保持部１４１に保持されている投影中心座標と画像中心座標を用いて、画像平面の法線ベクトルを求める。そして、求めた画像平面の法線ベクトルと投影中心座標より、画像平面の方程式を算出する。この求めた画像平面方程式とＳ３３において求めた直線との交点座標を求める。
【００５４】
次に、Ｓ３４で求めた交点座標を画像座標に変換する（Ｓ３５）。なお、Ｓ３４で求めた交点座標は３次元座標値、変換後の画像座標は２次元座標値である。
【００５５】
次に、Ｓ３５で求めた交点の画像座標が、カメラ１０１ｉに対応する移動物体領域算出部１０３１内の比較結果記憶部１２３ｉの移動物体領域画像上に存在するかどうかを判別する（Ｓ３６）。判別の結果、移動物体領域画像上に存在する場合、投影値に１を加算する（Ｓ３７）。また、移動物体領域画像上に存在しない場合、投影値には加算しない（Ｓ３８）。
【００５６】
次に、上記Ｓ３３〜Ｓ３８の処理をすべての比較結果記憶部１２３１〜１２３ｎを選択して行ったか判別する（Ｓ３９）。すべての比較結果記憶部１２３１〜１２３ｎを選択していない場合は、Ｓ３２に戻り、新たな比較結果記憶部を選択して、上記Ｓ３３〜Ｓ３８の処理を繰り返す。すべての比較結果記憶部１２３１〜１２３ｎを選択し終えた場合は、得られた投影値に当該小領域の信頼度を重みとしてかけた値を最終的な投影値とする（Ｓ４０）。なお、小領域の信頼度は、観測空間信頼度定義部１０５内の観測空間信頼度記憶部１４３より読み取る。
【００５７】
その後、上記Ｓ３２〜Ｓ４０の処理をすべての小領域を選択して行ったか判別する（Ｓ４１）。すべての小領域を選択していない場合は、Ｓ３１に戻り、新たな小領域を選択して、上記Ｓ３２〜Ｓ４０の処理を繰り返す。こうして、すべての小領域を選択し終えた場合、観測対象内のすべての仮想小領域に対して算出した投影値を移動物体領域投影結果記憶部２０２に記憶して（Ｓ４２）、投影処理をすべて終了する。
【００５８】
なお、移動物体領域投影処理部２２１は、移動物体領域画像中の１画素とカメラの投影中心を結ぶ直線を求め、その直線が通過する観測対象空間内の小領域に対して投影値を加算する投影処理を行ってもよい。
【００５９】
図１７は、図２に示した移動物体位置推定部１０７の構成例を示す。移動物体位置推定部１０７は、判定情報設定部２４１と、移動物体位置判定部２４２と、移動物体位置判定記憶部２４３とを備えている。
【００６０】
判定情報設定部２４１は、投影値閾値を判定情報として記憶している。移動物体位置判定部２４２は、移動物体領域投影部１０６内の移動物体領域投影結果記憶部２２２に記憶されている各小領域の投影値から、判定情報設定部２４１の投影値閾値に基づき該閾値以上の投影値を検出する。移動物体位置判定結果記憶部２４３は、移動物体位置判定部２４２において検出された観測対象空間中の小領域を記憶する。これにより、観測対象空間中における移動物体の３次元位置の推定が可能である。
【００６１】
以上、本発明の実施の形態を説明したが、図２において、観測空間信頼度定義部１０５により得た観測対象空間内の各小領域に対する信頼度（空間信頼度）に基づきカメラ１０１１〜１０１ｎの配置（視点の配置）を計画しなおす撮影（視点）再配置計画部を追加することも可能である。この撮像配置計画部により、例えば、観測したい領域が最も信頼度が高くなるようにカメラ１０１１〜１０１ｎを再配置する。
【００６２】
なお、図２で示した移動物体３次元位置推定装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２で示した装置構成の処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００６３】
【発明の効果】
以上鋭明したように、本発明によれば、次のような効果を得ることができる。
（１）　観測空間を仮想の小領域に分割し、各小領域に対して空間の信頼度を定義することにより、観測空間の信頼度に基づいた効率的な移動物体の３次元位置推定が可能となる。
（２）　信頼度を定義した観測空間を参照することにより、観測したい領域が最も信頼度が高くなるよう撮像装置の再配置計画に利用することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態の移動物体３次元位置推定装置のシステム構成図である。
【図２】本発明の実施形態の移動物体３次元位置推定装置の構成例を示すブロック図である。
【図３】本発明の実施形態の移動物体３次元位置推定装置における基準画像生成部の構成例を示すブロック図である。
【図４】本発明の実施形態の移動物体３次元位置推定装置における移動物体領域算出部の構成例を示すブロック図である。
【図５】本発明の実施形態の移動物体３次元位置推定装置における実空間分割部の構成例を示すブロック図である。
【図６】本発明の実施形態の移動物体３次元位置推定装置における観測空間信頼度定義部の構成例を示すブロック図である。
【図７】観測空間信頼度定義部における観測空間信頼度算出部の処理フロー図である。
【図８】観測空間信頼度算出部の処理を説明するための観測対象空間とカメラの位置関係を示した図である。
【図９】観測空間信頼度算出部のカメラ配置角度による信頼度算出を説明するための図である。
【図１０】同じく観測空間信頼度算出郡の信頼度算出を説明するための図である。
【図１１】観測空間信頼度定義部におけるカメラ配置角度による信頼度算出の問題点を説明するための図である。
【図１２】観測空間信頼度定義部における観測空間信頼度算出部の別の処理フロー図である。
【図１３】観測空間信頼度算出部のカメラ奥行き距離による信頼度算出を説明するための図である。
【図１４】観測空間信頼度算出部のカメラ奥行き距離による信頼度算出の具体例を説明するための図である。
【図１５】本発明の実施形態の移動物体３次元位置推定装置における移動物体領域投影部の構成例を示すブロック図である。
【図１６】移動物体領域投影部における移動物体領域投影処理部の処理フロー図である。
【図１７】本発明の実施形態の移動物体３次元位置推定装置における移動物体領域投影部の構成例を示すブロック図である。
【図１８】従来技術の３次元情報抽出法の処理過程である第１の投票処理を説明するための図である。
【図１９】従来技術の３次元情報抽出法の処理過程である第１の投票処理結果を説明するための図である。
【図２０】従来技術の３次元情報抽出法の処理過程である第２の投票処理を説明するための図である。
【図２１】従来技術の３次元情報抽出法の処理過程である第２の投票処理結果を説明するための図である。
【図２２】従来技術の３次元情報抽出法の処理過程であるすべて撮影装置に対する第２の投票処理結果を説明するための図である。
【図２３】従来技術の３次元情報抽出法の解決した問題点を説明するための図である。
【図２４】図２３であげた問題点を解決した従来技術の３次元情報抽出法を説明するための図である。
【図２５】従来技術の３次元情報抽出法の問題点を説明するための図である。
【図２６】従来技術の３次元情報抽出法の問題点を説明するための図である。
【符号の説明】
１　　移動物体
１０　　観測対象空間
１００　移動物体３次元位置推定装置
１０１１〜１０１ｎ　カメラ
１０２１〜１０２ｎ　基準画像生成部
１０３１〜１０３ｎ　移動物体領域算出部
１０４　実空間分割部
１０５　観測空間信頼度定義部
１０６　移動物体領域投影部
１０７　移動物体位置推定部
【図１】
2004046464.tif 000009
【図２】
2004046464.tif 000010
【図３】
2004046464.tif 000011
【図４】
2004046464.tif 000012
【図５】
2004046464.tif 000013
【図６】
2004046464.tif 000014
【図７】
2004046464.tif 000015
【図８】
2004046464.tif 000016
【図９】
2004046464.tif 000017
【図１０】
2004046464.tif 000018
【図１１】
2004046464.tif 000019
【図１２】
2004046464.tif 000020
【図１３】
2004046464.tif 000021
【図１４】
2004046464.tif 000022
【図１５】
2004046464.tif 000023
【図１６】
2004046464.tif 000024
【図１７】
2004046464.tif 000025
【図１８】
2004046464.tif 000026
【図１９】
2004046464.tif 000027
【図２０】
2004046464.tif 000028
【図２１】
2004046464.tif 000029
【図２２】
2004046464.tif 000030
【図２３】
2004046464.tif 000031
【図２４】
2004046464.tif 000032
【図２５】
2004046464.tif 000033
【図２６】
2004046464.tif 000034