(57)【要約】【課題】物体が複数存在する多視点画像から、複数の物体について、各画像間で同一性を予め識別しなくても、各物体の位置を正しく決定できる。【解決手段】３次元空間にある平面上の領域を異なる方向から撮影した背景画像、テスト画像および複数物体を含む画像のそれぞれ多視点画像を用い、平面を真上から見た図形に相似な図形、カメラで撮影された各画像内の平面との間の平面射影変換、各画像の垂直消失点を決定し、物体を含む画像ごとに物体領域を抽出し、物体領域ごとに内部の点を決定し、その点と垂直消失点を通る直線を求め、求めた直線を上記相似な図形上に平面射影変換を用いて射影し、射影した直線同士の交点を求め、交点を図形上の位置に応じてグループ分けして交点グループごとに含まれる交点数を求め、交点数の多いグループから平面上の物体の正しい位置を求める。【選択図】図１
2009145061.tif 000002
【特許請求の範囲】
【請求項１】
３次元空間内の平面を囲むように設置された複数のカメラにより、平面上の所定領域を異なる方向から撮影して得られる背景画像、テスト画像および複数物体を含む画像のそれぞれ多視点画像を用いて平面図上に複数物体の位置を算出する位置計測装置であって、
前記平面上の図形を真上から見た図形に相似する相似平面図を作成する相似平面図作成部と、
前記各テスト画像内の平面と前記相似平面図に基づいて、カメラで撮影した画像と前記相似平面図間の画像・図形間平面射影変換を決定する画像・図形間平面射影変換決定部と、
前記各テスト画像に基づいて同角度のカメラで撮影した画像の垂直消失点をそれぞれ決定する垂直消失点決定部と、
前記各背景画像と前記各複数物体を含む画像の差分を取って物体領域をそれぞれ抽出する物体領域抽出部と、
前記抽出された各物体領域の基準にする物体領域内点をそれぞれ決定する物体領域内点決定部と、
画像ごとに前記各物体領域内点と前記垂直消失点を通過する直線を決定する物体通過垂直線決定部と、
全ての画像の前記物体領域内点を通過する直線を、前記平面射影変換に基づいて前記相似平面図上に射影する平面図上直線決定部と、
前記相似平面図上に射影された直線同士の交点を求める交点決定部と、
前記複数の交点を前記相似平面図上の位置に基づいてグループ分けするグルーピング部と、
前記グループ分けされた交点グループの中から、含まれる交点数に基づいて物体の位置として有効な交点グループを決定し、決定した交点グループ内の交点に基づいて前記相似平面図上における各物体の正しい位置を算出する物体位置決定部を備えたことを特徴とする位置計測装置。
【請求項２】
グルーピング部は、交点決定部で求めた交点を、隣接する交点間の距離が閾値以下であることを条件としてグループ分けすることを特徴とする請求項１記載の位置計測装置。
【請求項３】
物体位置決定部は、グループ分けされた交点のグループの中から、交点数が多い予め決めた数の上位グループを物体の位置として有効な交点グループと決定し、当該各上位グループに含まれる交点数に基づいてそれぞれの対応する物体の正しい位置を算出することを特徴とする請求項１の位置計測装置。
【請求項４】
物体位置決定部は、カメラで抽出された物体数のうち、最も頻度が多かった物体数を、上位グループの予め決めた数とすることを特徴とする請求項３の位置計測装置。
【請求項５】
物体位置決定部で逐次１個単位で物体の正しい位置を算出した交点グループの交点に関係した直線を除き、残りの直線の交点をグループ分けする再グルーピング部を備え、
前記物体位置決定部は、最初はグルーピング部から、以降は前記再グルーピング部から入力されるグループ分けされた交点のグループの中から交点数が最も多いグループを物体の位置として有効な交点グループと決定して、当該有効な交点グループに含まれる交点数に基づいて対応する物体の正しい位置を算出することを特徴とする請求項１記載の位置決定装置。
【請求項６】
３次元空間内の平面を囲むように設置された複数のカメラにより、平面上の所定領域を異なる方向から撮影して得られる背景画像、テスト画像および複数物体を含む画像のそれぞれ多視点画像を用いて平面図上に複数物体の位置を算出する位置計測装置であって、
前記平面上の図形を真上から見た図形に相似する相似平面図を作成する平面図作成部と、
前記各テスト画像内の平面と前記相似平面図に基づいて、カメラで撮影した画像と前記相似平面図間の画像・図形間平面射影変換を決定する画像・図形間平面射影変換決定部と、
前記各テスト画像内の平面上の図形に基づいてカメラで撮影した各画像間の画像間平面射影変換を決定する画像間平面射影変換決定部と、
前記各テスト画像に基づいて同角度のカメラで撮影した画像の垂直消失点をそれぞれ決定する垂直消失点決定部と、
前記各背景画像と前記各複数物体を含む画像の差分を取って物体領域をそれぞれ抽出する物体領域抽出部と、
前記抽出された各物体領域の基準にする物体領域内点をそれぞれ決定する物体領域内点決定部と、
画像ごとに前記各物体領域内点と前記垂直消失点を通過する直線を決定する物体通過垂直線決定部と、
画像ごとの物体領域内点を通過する直線を、前記画像間平面射影変換に基づいて各画像上にそれぞれ射影する撮影画像上変換直線決定部と、
前記各画像上に変換された直線同士の交点を、それぞれの画像上で求める画像内交点決定部と、
前記各画像上で求めた交点を画像上の位置に基づいてグループ分けする１次グルーピング部と、
前記グループ分けされた交点のグループの中から、含まれる交点数に基づいて物体の位置として有効な交点グループを決定し、決定した交点グループ内の交点に基づいて各画像上における物体の位置を算出する１次物体位置決定部と、
前記各画像上の物体の位置を、前記画像・図形間平面射影変換を用いて前記相似平面図上に射影して物体の位置候補とする平面図位置決定部と、
前記相似平面図上にまとめられた各物体の位置候補を当該相似平面図上の位置に基づいてグループ分けする２次グルーピング部と、
前記グループ分けされた物体の位置候補のグループの中から、含まれる位置候補の数に基づいて正しい物体の位置として有効なグループを決定し、決定したグループ内の物体の位置候補に基づいて前記相似平面図上における各物体の正しい位置を算出する２次物体位置決定部を備えたことを特徴とする位置計測装置。
【請求項７】
１次グルーピング部は、画像内交点決定部で求めた交点を、隣接する交点間の距離が閾値以下であることを条件としてグループ分けすることを特徴とする請求項６記載の位置計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、物体を複数のカメラで撮影した多視点画像から物体の位置を決定する位置計測装置に関するものである。
【背景技術】
【０００２】
物体を複数のカメラで撮影して得られる多視点画像から物体の位置を決定する技術としては、単一の物体に対してのあるカメラで撮影した画像と、それとは異なるカメラで撮影した画像について、それぞれの画像内の物体の領域を通過する垂直線をそれぞれ決定し、そのうちの一方の画像上の垂直線を、平面射影変換を利用してもう一方の画像上に変換し、その変換した直線と、その画像上の垂直線の交点を、上記物体の位置とする方法がある。（例えば非特許文献１参照）。
また、３つ以上のカメラで撮影した画像において、互いに同一と考えられる物体領域を通過する垂直線をそれぞれ決定し、ある1つのカメラで撮影した画像上の上記垂直線と、その画像上に、他のカメラで撮影した画像上の垂直線を平面射影変換で射影した直線とを求め、それら直線間の距離を算出してその直線間の距離が、半数以上で閾値を超える直線を棄却することで、正しい物体領域に由来する直線のみによる交点の位置を利用することで、正確な物体位置を決定する方法がある。（例えば非特許文献２参照）。
【０００３】
【非特許文献１】木村健二，斎藤英雄“多視点テニス画像からのプレーヤ視点画像の生成”，映情メ誌，Ｖｏｌ．５８，Ｎｏ．１０，ｐｐ．１５０３−１５１０  （２００４）
【非特許文献２】長瀬琢也，小沢慎治，“多視点映像を用いたサッカーにおける選手のプレー判定”，映情メ誌，Ｖｏｌ．６０，Ｎｏ．１０，ｐｐ．１６６４−１６７１  （２００６）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の多視点画像による位置計測方法は以上のようになっているが、非特許文献１の場合、あるカメラで撮影した画像内の垂直線が通過する物体と、別のカメラで撮影した画像内の垂直線が通過する物体とが、同一であることが予め前提となっている。そのため、画像内に異なる物体が複数あってそれぞれに垂直線を引いた場合、それら複数の垂直線を他の画像に平面射影変換で射影してその画像上の複数の垂直線との交点を求めると、同一物体に由来する直線同士の交点と、異なる物体に由来する直線同士の交点とが生じてしまい、それぞれの物体の位置を正しく決定できない場合があった。この問題は異なるカメラで撮影された画像内の複数の物体に対し、同一の物体同士を識別することができれば解決するが、この識別はこれまで困難であった。
【０００５】
この発明は、上記問題点を解決するためになされたもので、物体が複数存在する多視点画像から、複数の物体について、各画像間で同一性を予め識別しなくても、各物体の位置を正しく決定できる位置決定装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る位置決定装置は、３次元空間内の平面を囲むように設置された複数のカメラにより、平面上の所定領域を異なる方向から撮影して得られる背景画像、テスト画像および複数物体を含む画像のそれぞれ多視点画像を用いて平面図上に複数物体の位置を算出する位置計測装置であって、平面上の図形を真上から見た図形に相似する相似平面図を作成する平面図作成部と、各テスト画像内の平面と相似平面図に基づいて、カメラで撮影した画像と相似平面図間の平面射影変換を決定する平面射影変換決定部と、各テスト画像に基づいて同角度のカメラで撮影した画像の垂直消失点をそれぞれ決定する垂直消失点決定部と、各背景画像と前記各複数物体を含む画像の差分を取って物体領域をそれぞれ抽出する物体領域抽出部と、抽出された各物体領域の基準にする物体領域内点をそれぞれ決定する物体領域内点決定部と、画像ごとに各物体領域内点と垂直消失点を通過する直線を決定する物体通過垂直線決定部と、全ての画像の物体領域内点を通過する直線を、平面射影変換に基づいて相似平面図上に射影する平面図上直線決定部と、相似平面図上に射影された直線同士の交点を求める交点決定部と、複数の交点を相似平面図上の位置に基づいてグループ分けするグルーピング部と、グループ分けされた交点グループの中から、含まれる交点数に基づいて物体の位置として有効な交点グループを決定し、決定した交点グループ内の交点に基づいて相似平面図上における各物体の正しい位置を算出する物体位置決定部を備えたものである。
【発明の効果】
【０００７】
この発明によれば、ある３次元領域を複数のカメラによって、それぞれ別の方向から撮影した多視点画像において、３次元空間の平面上の物体が各画像に複数の物体が共通に撮影されている場合に、カメラ画像間で予め物体の同一性を識別していなくても、それら物体の位置を決定することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明の実施の形態１による位置計測装置の機能構成を示すブロック図である。
図１において、この実施の形態１の位置計測装置は、複数のカメラ１1 〜１N （Ｎ≧３）、画像データ一時保存部２、床面平面図作成部（相似平面図作成部）３、背景画像保存部４、テスト画像保存部５、垂直消失点決定部６、床面対応平面射影変換決定部（画像・図形間平面射影変換決定部）７、物体領域抽出部８、物体領域内点決定部９、物体通過垂直線決定部１０、床面平面図上直線決定部（平面図上直線決定部）１１、交点決定部１２、グルーピング部１３および物体位置決定部１４を備えている。
複数のカメラ１1 〜１N （Ｎ≧３）は、３次元空間内の平面を囲むように設置され、それぞれ同期しており、平面上の所定領域をそれぞれ異なる方向から撮影して多視点画像を取得する。この発明では、各カメラは、設置した後、移動させない同じ視点で、背景画像、テスト画像、それ以降に平面上に存在する複数の物体を含む画像をそれぞれ撮影するものとする。８台のカメラを使用した例として、背景画像の撮影方法を図２に、テスト画像の撮影方法を図３に、物体を含む画像の撮影方法を図４に示して説明する。図２〜図４において、水平な平面で構成される床面を考え、その周囲を取り囲むようにほぼ同じ大きさの三脚に取り付けた８台のカメラ１1 〜１8 を床面上に設置しており、いずれの撮影においても、カメラ１1 〜１8 はその位置や向きを変化させない。また、カメラの設置において、どのカメラからも「全カメラの視野に入る床面領域」を撮影できるようにしておく。
【０００９】
図２の背景画像の撮影例では、何も置かれていない床面を撮影対象の背景としている。他の例として、床面上に図４で示す撮影対象の物体以外の物を置いた状態を撮影対象の背景としてもよいが、その物の位置や向きなどが図４に示す物体を含む画像の撮影の際に変化していないことが条件となる。図３のテスト画像の撮影例では、床面上にマーキングされた正方形とその正方形の床面に垂直に設置された２本の棒を撮影対象としている。これらの正方形と２本の棒は、全てのカメラ１1 〜１8 で撮影可能であるものとする。図４の物体を含む画像の撮影例では、床面上に置かれたぬいぐるみと花瓶を撮影対象の物体としている。
カメラ１1 〜１8 により図２〜図４の撮影で取得された各画像はいったん画像データ一時保存部２に保存された後、位置決定装置の処理に際し、各背景画像は背景画像保存部４に移されて保存され、各テスト画像は、テスト画像保存部５に移されて保存される。また、各物体を含む画像は、物体領域抽出部８に与えられる。
なお、以下図５〜図８においては、４台のカメラ１1，１3，１5，１7 を例にした画像について説明することにする。
【００１０】
垂直消失点決定部６では、テスト画像保存部５で保存された各テスト画像に基づいて同角度のカメラで撮影した画像の垂直消失点をそれぞれ決定する。図３に示すカメラ１1，１3，１5，１7 で撮影されたテスト画像から垂直消失点を算出する例を図５に示す。各テスト画像において、床面にマーキングされた正方形と床面に垂直に設置された２本の棒が撮影されている。なお、図中の破線は垂直消失点の求め方を示す補助線である。テスト画像ごとに画像内の床面に垂直な２本の棒を含む直線を延長し、その交点を垂直消失点として決定する。なお、この発明では、３次元空間における垂直な方向の直線の無限遠点を画像に投影した点である消失点を垂直消失点と呼ぶものとする。無限遠点や消失点についての詳細は、例えば文献「佐藤淳“コンピュータビジョン  視覚の幾何学”，コロナ社，１９９９」に開示されている。また、この例では２本の垂直線を利用して垂直消失点決定しているが、それ以外の方法で決定してもよいものとする。また、垂直消失点を利用して水平な床面に対する垂直な直線の方向を決定するが、それ以外の方法で垂直方向を決定してもよく、カメラの設置位置によっては画像の縦軸方向を垂直方向と近似してもよい。
【００１１】
物体領域抽出部８では、背景画像保存部４で保存された各背景画像と画像データ一時保存部２で保存された各複数物体を含む画像の差分を取って物体領域をそれぞれ抽出する。図４に示す撮影カメラ１1，１3，１5，１7で撮影された物体を含む画像を図６に示す。なお、この図６では、各画像においてぬいぐるみと花瓶が表されている。なお、実際にはこれらの背後に背景となる床や壁、それ以外の物体なども写っている筈であるが、ここでは説明を容易にするために省略して示している。図６のような２個の物体が撮影されている画像と背景画像保存部４で保存されている背景画像との間で、画素値ごとの差分を取って、その差分値が一定の閾値以上である画素を含む領域を物体領域として抽出する。この物体領域抽出部８で抽出された物体領域を表す画像の例を図７に示す。この例では背景差分法により、物体領域を抽出しているので、図２で背景画像の撮影時点では存在しなかったぬいぐるみと花瓶の領域が表されている。画素値の変化があった部分を物体領域として抽出しているため、図７の時点では各画像内の２つの領域のうち、どちらがぬいぐるみで、どちらが花瓶かは判別できない状態にある。なお、この例では、背景差分法によって物体領域を抽出しているが、物体の動きや色などで抽出してもよく、カメラで撮影した画像内において、位置を決定したい物体の領域が抽出できればよく、例えば、その一部が遮蔽物やその他の要因によって、欠けていてもよい。
【００１２】
物体領域内点決定部９では、物体領域抽出部８で抽出された各物体領域の基準となる物体領域内点を決定する。図７に示す物体領域抽出部８で抽出された物体領域の画像において、例えばその物体領域の面積の重心位置を算出し、その位置を、各物体領域の基準となる物体領域内点として決定する。
次に、物体通過垂直線決定部１０では、画像ごとに物体領域内点決定部９で決定された各物体領域内点と前記垂直消失点を通過する直線を決定する。すなわち、図５で示すカメラごとの垂直消失点と物体領域内点を結んで、図８に示すような、各画像内の物体領域内点を通過する垂直線を作成する。これは、３次元空間において平面に垂直な直線を画像に投影したものである。
【００１３】
次に、床面平面図上直線決定部１１の処理説明に先立ち、床面平面図作成部３と床面対応平面射影変換決定部７による処理について説明する。
床面平面図作成部３では、テスト画像の撮影における床面（平面）を真上から見た図形に相似する相似平面図を作成する。この床面平面図作成部３で作成された相似平面図を図９に示す。図９には、図３で示されている床面にマーキングされたものとサイズの違う正方形が書き込まれている。なお、ここで言う相似平面図は、画像上で描かれた図形であるが、ここでは単に「相似平面図」として扱うことにする。
床面対応平面射影変換決定部７では、テスト画像保存部５に保存されている各テスト画像内の平面と床面平面図作成部３で作成された相似平面図に基づいて、カメラで撮影した画像と相似平面図間の平面射影変換（画像・図形間平面射影変換）を決定する。各カメラで撮影したテスト画像（図５）内の床面にマーキングされた正方形の４つの頂点の座標と、図９に示した相似平面図（正方形）の４つの頂点の座標とから、各カメラで撮影した画像の床面から相似平面図への平面射影変換を決定する。この平面射影変換の算出方法については、例えば、出口光一郎“ロボットビジョンの基礎”，コロナ社，2000に開示されている。なお、ここでは床面上にマーキングされている正方形の４つの頂点と、それに対応する平面図の４つの頂点を使用したが、正方形でなくてもよい。また４つ以上の点で、カメラ画像内のある１つの平面上の点と、それに対応する平面図上の点であればよい。
【００１４】
次に、床面平面図上直線決定部１１では、全ての画像における物体通過垂直線決定部１０で決定された物体領域内点を通過する直線を、床面対応平面射影変換決定部７で決定された画像・図形間平面射影変換に基づいて、相似平面図上に射影する。図８に示すような各カメラ画像上の物体領域を通過する垂直線を全て相似平面図上に射影した状態を図１０に示す。図１０において、Ｌ１〜Ｌ１６は、床面平面図上直線決定部１１で決定された平面図上の直線を示す。８台のカメラ１1 〜１8 で取得した画像のそれぞれにおいて、物体が２つずつ抽出され、それら物体を通過する直線の本数も１画像２本ずつとなるため、カメラ８台分の画像から直線を変換すると合計１６本の直線となる。
交点決定部１２では、床面平面図上直線決定部１１で相似平面図上に射影された直線同士の交点を決定する。すなわち図１０の場合、直線Ｌ１〜Ｌ１６同士が作る交点を全て求める。次に、グルーピング部１３では、交点決定部１２で求めた相似平面図上の複数の交点を相似平面図上の位置に基づいてグループ分けする。この場合、交点間の距離が一定の閾値以内である交点同士を同じグループとしてまとめる。こうすることで、グルーピングを簡便に行うことができる。図１０の相似平面図上おいては、○で囲んだ６つ交点グループＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに分けられたことを表している。
【００１５】
次に、物体位置決定部１４では、グルーピング部１３でグループ分けされた交点グループの中から、含まれる交点数に基づいて物体の位置として有効な交点グループを決定し、決定した交点グループ内の交点に基づいて相似平面図上における各物体の正しい位置を算出する。図１０に示す交点グループの中から、例えばグループ内に含まれる交点数が多い上位Ｍ個（Ｍは予め定めた数であり、この例ではＭ＝２とする）の交点グループを物体の位置として有効な交点グループと決定する。そして、当該各上位グループに含まれる交点の座標の平均値をそれぞれ取り、各平均値を対応するグループの物体の正しい位置として算出する。なお、この場合、有効な交点グループ内の全ての交点ではなく、それらの一部を使用してもよい。交点グループのうち、交点数が多いものの中から、何番目までを物体位置として有効な交点グループとするかは、人が予め物体数を指定しておけばよい。そうすれば、物体数が複数であって事前に各画像ごとに抽出される物体を識別できなくても物体位置の決定を行うことができる。一方、物体位置として有効な交点グループは、物体領域抽出部８で抽出された物体領域数を用いてもよく、そうすることで、上記のように予め物体数を決定しなくても、実態に即したより高い精度で物体の位置を算出することができる。
また、この抽出された物体領域数がカメラごとに違った場合は、平均の数を整数化した数値を用いてもよいし、各カメラで抽出した物体数の中から、最も頻度が多く抽出された物体数を用いてもよい。また、グループに含まれる交点数が多い順にグループを並べ、あるグループを境に交点数が大きく減っている場合、そのグループまでを物体位置としてもよい。またその交点数は撮影カメラ数によって変化させてもよい。またグループ内の交点数のより細かい部分領域における密度や分散を用いて判定してもよい。また、各カメラで撮影した画像ごとに抽出された物体の数を求め、それらの物体数のうち、最も多かった物体数を予め定めた物体数Ｍとして、グループ内に含む交点数が多い上位Ｍ個のグループを物体の位置としてもよい。
【００１６】
また、物体位置決定を図１１のフローチャートに示す方法を用いて行なうようにしてもよい。この場合、図１に破線で示す再グルーピング部１３１を設けることになる。
図１０のグループを例に説明すると、物体位置決定部１４は、最初にグルーピング部１３でまとめた６つのグループＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆの中から、最も交点数が多いグループを、物体の位置として有効な第１の交点グループとして決定する。もし、最も交点数が多いグループが複数ある場合は、その中の任意のグループを第１の交点グループとしてもよいし、交点座標の分散が最も小さいグループを第１の交点グループとしてもよい。今、グループＥを第１の交点グループと決定したとする。次に、再グルーピング部１３１において、第１の交点グループＥの交点を作った直線を取り除いて、残りの直線の交点をグループ分けして物体位置決定部１４に再入力する。この例では直線Ｌ９〜Ｌ１６が取り除かれる。すると、残る直線Ｌ１〜Ｌ８で作られる交点のグループはＢのみとなる。したがって、物体位置決定部１４では、グループＢを次の物体の位置として有効な第２の交点グループとして、その交点から物体の正しい位置を算出する。
【００１７】
ここで、上記例では第１の交点グループの交点に関連した直線Ｌ９〜Ｌ１６を取り除いた後に残ったグループはＢだけであったが、２つ以上のグループが残る場合も考えられる。この場合、残ったグループの中で最も交点数が多いグループを次の物体の位置として有効な第２の交点グループとする。次に、再グルーピング部１３１で第２の交点グループの交点に関連した直線を取り除いた上で、さらに残っている直線の交点のグループを再編し、その中から３番目の物体の位置として有効な第３の交点グループを決定する。以後、残っているグループがある場合には、物体位置決定部１４と再グルーピング部１３１の間でこの処理を繰り返す。やがて、予め決めた物体数の交点グループから物体の位置を算出した場合、またはグループに含まれる交点数やその座標の分散値があるしきい値より小さくなった場合には、これ以上の物体は存在しないか、または位置を決定することが不可能として、物体位置の決定を終了する。なお、図１１では物体の位置を予め定めた数だけ見つけるようにしているが、それ以外の方法で物体の位置の数を決定してもよい。
図１１で説明した方法によれば、特に物体数が増えた場合でも、より高い精度で物体の位置を決定することができる。
【００１８】
以上のように実施の形態１によれば、複数台のカメラを使って、３次元空間にある平面上の領域をそれぞれ異なる方向から撮影した背景画像、テスト画像および複数物体を含む画像のそれぞれ多視点画像を用い、上記平面を真上から見た図形に相似な図形と、カメラで撮影された各画像内の平面との間の平面射影変換と、各画像の垂直消失点を決定しておき、複数物体を含む画像ごとに物体領域を抽出し、その物体領域ごとに内部の点を決定し、それらの点と垂直消失点を通る直線を物体ごとに求め、求めた直線を、上記平面を真上から見た図形に相似な図形上に平面射影変換を用いて射影し、それら射影した直線同士の交点を求め、交点を図形上の位置に応じてグループ分けし、グループ分けした交点のグループごとに含まれる交点数を求め、交点数の多いグループからいくつかを選んで平面上の物体の正しい位置とするようにしている。したがって、平面図上で直線の交点を決定してそれら交点のグループ分けを行い、物体の位置を決定するので、物体数が複数であって事前に各画像ごとに抽出された物体を識別できなくても物体の位置の決定を行うことができる。
【００１９】
実施の形態２．
図１２は、この発明の実施の形態２による位置計測装置の機能構成を示すブロック図である。この図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。
この実施の形態２では、床面対応平面射影変換決定部７のほかに画像間平面射影変換決定部１７を備えており、この画像間平面射影変換決定部１７では、各テスト画像内の平面上の図形に基づいてカメラで撮影した各画像間の平面射影変換（画像間平面射影変換）を決定する。すなわち、テスト画像（図５）内の床面にマーキングされた正方形の４つの頂点の座標で表される各カメラ画像の床面（平面領域）間で射影を行なうための平面射影変換を決定する。実施の形態１で述べたように物体通過垂直線決定部１０において画像ごとの物体領域内点を通過する直線が生成されるが、撮影画像上変換直線決定部２１では、これらの画像ごとに決定された物体領域内点を通過する直線を、画像間平面射影変換決定部１７で決定された画像間平面射影変換を用いて、各カメラで撮影された画像上にそれぞれ射影してまとめる。例えばカメラ１1 で撮影された画像上に射影された直線の例を図１３に示す。この図にはカメラ１1 自身の画像に関する直線と射影された他のカメラ１2 〜１8 の画像の直線が表されている。このように、カメラ１2 〜１8 のそれぞれの画像上にも他のカメラの画像の変換された直線がまとめられたものを作成する。
【００２０】
次に、画像内交点決定部２２では、実施の形態１の交点決定部１２と同様にして、各画像上にまとめられた直線同士の交点をそれぞれの画像上で求める。１次グルーピング部２３では、画像内交点決定部２２で求めた各画像上の複数の交点について、実施の形態１のグルーピング部１３と同様にして、画像内の交点間の距離が一定の閾値以内である交点同士を同じグループとしてまとめる。１次物体位置決定部２４では、実施の形態１の物体位置決定部１４と同様にして、各画像上において、グループ分けされた交点のグループの中から、含まれる交点数に基づいて物体の位置として有効な交点グループを決定し、決定した交点グループ内の交点に基づいて各画像上における物体の位置を算出する。図１３で説明すると、例えばカメラ１1 （カメラ１2 〜１8 のそれぞれでも同様）の画像上において１次グルーピング部２３でグループ分けされた交点のグループを○で囲んで示す。１次物体位置決定部２４は、これらグループの中から、各グループに含まれる交点数の多い上位Ｍ個（Ｍ＝２）のグループを物体の位置を表す交点グループとし、そのグループに含まれる交点座標の平均を物体位置の座標として決定する。この場合、全ての交点の座標の平均を求める代わりに、そのグループの一部の交点の座標を利用してもよい。
【００２１】
次に、床面平面図位置決定部（平面図位置決定部）２５では、１次物体位置決定部２４で決定された各画像上における物体の位置を、床面対応平面射影変換決定部７で決定された床面対応の画像・図形間平面射影変換を用いて相似平面図上に射影して当該相似平面図上における物体の位置候補としてまとめる。２次グルーピング部３３では、床面平面図位置決定部２５で相似平面図上にまとめられた各物体の位置候補をグループ分けする。この状態を図１４に示す。
【００２２】
次に、２次物体位置決定部３４では、２次グルーピング部３３でグループ分けされた物体の位置候補のグループの中から、含まれる位置候補の数に基づいて正しい物体の位置として有効なグループを決定し、決定したグループ内の物体の位置候補に基づいて相似平面図上における各物体の正しい位置を算出する。この場合、図１４に示された物体の位置候補のグループの中から、例えばグループ内に含まれる物体位置候補数が多い上位ｍ個（ｍは予め定めた数であり、この例ではｍ＝２とする）のグループを正しい物体の位置として有効なグループと決定する。そして当該各上位グループに含まれる物体位置候補の座標の平均値をそれぞれ取り、各平均値を対応するグループの物体の正しい位置として算出する。なお、この場合、有効なグループ内の全ての物体位置候補ではなく、それらの一部を使用してもよい。
【００２３】
以上のように、この実施の形態２によれば、グルーピングや物体の位置決定の一部を画像上で行なうようにしたので、より簡単な手順でグルーピングや物体の位置の決定を行うことができ、またグルーピングを２度行うことで高い精度で物体の位置を決定することができる。
なお、この例では床面平面図位置決定部２５と２次グルーピング部３３、２次物体位置決定部３４で、図１４に示すように、平面図上の物体の正しい位置を決定したが、代わって図１３に示すような、ある画像上においてこれらの動作を行って物体の位置を決定してもよい。
【図面の簡単な説明】
【００２４】
【図１】この発明の実施の形態１に係る位置計測装置の機能構成を示すブロック図である。
【図２】この発明の各実施の形態に係る背景画像の撮影方法を示す説明図である。
【図３】この発明の各実施の形態に係る垂直方向を決定するためのテスト画像の撮影方法を示す説明図である。
【図４】この発明の各実施の形態に係る撮影対象の物体を含む画像の撮影方法を示す図である。
【図５】この発明の各実施の形態に係るテスト画像を用いた垂直消失点の決定方法を示す説明図である。
【図６】図４に示した状況をカメラで撮影した物体を含む画像の例を示す説明図である。
【図７】この発明の各実施の形態に係る物体領域抽出部で抽出された物体領域を表す画像例を示す説明図である。
【図８】この発明の各実施の形態に係る物体通過垂直線決定部で決定した物体領域内点を通過する直線を示す説明図である。
【図９】この発明の各実施の形態に係る床面平面図作成部で作成された床面の図形と相似する相似平面図を示す平面図である。
【図１０】この発明の実施の形態１に係る床面平面図上直線決定部で変換された相似平面図上の直線とそのグループ分けされた交点を示す説明図である。
【図１１】この発明の実施の形態１に係る位置決定方法の他の処理手順を示すフローチャートである。
【図１２】この発明の実施の形態２による位置計測装置の機能構成を示すブロック図である。
【図１３】この発明の実施の形態２に係る一つの画像上に変換された直線とそのグループ分けされた交点の例を示す説明図である。
【図１４】この発明の実施の形態２に係る相似平面図上にグループ分けされた物体の位置候補を示す説明図である。
【符号の説明】
【００２５】
１1〜１N  カメラ、２  画像データ一時保存部、３  床面平面図作成部、４  背景画像保存部、５  テスト画像保存部、６  垂直消失点決定部、７  床面対応平面射影変換決定部、８  物体領域抽出部、９  物体領域内点決定部、１０物体通過垂直線決定部、１１  面平面図上直線決定部、１２  交点決定部、１３  グルーピング部、１３１  再グルーピング部、１４  物体位置決定部、１７  画像間平面射影変換決定部、２１  撮影画像上変換直線決定部、２２  １次交点決定部、２３  １次グルーピング部、２４  １次物体位置決定部、２５  床面平面図決定部、３３  ２次グルーピング部、３４  ２次物体位置決定部。
【図１】
2009145061.tif 000003
【図２】
2009145061.tif 000004
【図３】
2009145061.tif 000005
【図４】
2009145061.tif 000006
【図５】
2009145061.tif 000007
【図６】
2009145061.tif 000008
【図７】
2009145061.tif 000009
【図８】
2009145061.tif 000010
【図９】
2009145061.tif 000011
【図１０】
2009145061.tif 000012
【図１１】
2009145061.tif 000013
【図１２】
2009145061.tif 000014
【図１３】
2009145061.tif 000015
【図１４】
2009145061.tif 000016