(57)【要約】  【課題】  決められた大きさのマーカーを実際に設置したりマーカーの位置関係を測定しなくても、また専用車両の走行を必要とせずに、カメラのキャリブレーションを行うことのできるカメラ位置合わせ装置及び方法を提供する。  【解決手段】  固定した位置の画像を撮影する第１のカメラ１で撮影した画像の任意の１箇所を、第２のカメラ２で拡大して撮影する際の、第２のカメラ２の撮影する方向を変えるカメラ向き変更手段７のための制御データを計算する。即ち、実際の路面上の目印を第１のカメラ１で撮影した画像上で選択し、第２のカメラ２でこれらの目印を画像の中心で撮影した時の、第２のカメラ２の方向を求め、第１のカメラ１の位置を算出する。【選択図】  図１
2006148221.tif 000002
【特許請求の範囲】
【請求項１】
定点に位置の固定した第１のカメラと、任意の方向の画像を撮影する第２カメラとの位置を合わせるカメラ位置合わせ方法であって、
前記第１のカメラによって入力された前記画像を保持する画像保持手段と、
前記画像保持手段に保持された前記第１のカメラの画像の中の目印位置を設定する目印位置設定手段と、
前記第２のカメラによって前記目印を撮影する際の前記第２のカメラの撮影方向を制御するカメラ制御手段と、
前記目印位置設定手段によって設定された目印位置と前記カメラ制御手段によって制御された撮影方向とを対応させて記録する対応関係保持手段と、
前記対応関係保持手段に保持された対応関係から前記第１のカメラで撮影した撮影範囲中の場所を前記第２のカメラで撮影する場合の前記第２のカメラの撮影方向を計算する角度計算手段と
を備えるカメラ位置合わせ装置。
【請求項２】
前記目印位置設定手段が設定する前記画像保持手段に保持された画像中の位置は、最低５個以上である請求項１に記載のカメラ位置合わせ装置。
【請求項３】
前記対応関係保持手段に保持されるデータは、前記画像保持手段に保持された画像中の３次元座標の位置と、前記第２のカメラの向きを決定するための水平方向と垂直方向の角度の対応関係を有する請求項１又は２に記載のカメラ位置合わせ装置。
【請求項４】
定点に位置の固定した第１のカメラと、任意の方向の画像を撮影する第２カメラとの位置を合わせるカメラ位置合わせ方法であって、
前記第１のカメラによって入力された前記画像を画像保持手段で保持するステップと、
前記画像保持手段に保持された前記第１のカメラの画像の中の目印位置を目印位置設定手段で設定するステップと、
前記第２のカメラによって前記目印を撮影する際の前記第２のカメラの撮影方向をカメラ制御手段で制御するステップと、
前記目印位置設定手段によって設定された目印位置と前記カメラ制御手段によって制御された撮影方向とを対応させて対応関係保持手段で記録するステップと、
前記対応関係保持手段に保持された対応関係から前記第１のカメラで撮影した撮影範囲中の場所を前記第２のカメラで撮影する場合の前記第２のカメラの撮影方向を角度計算手段で計算するステップと
を有するカメラ位置合わせ方法。
【請求項５】
前記目印位置設定手段が設定する前記画像保持手段に保持された画像中の位置は、最低５個以上である請求項４に記載のカメラ位置合わせ方法。
【請求項６】
前記対応関係保持手段に保持されるデータは、前記画像保持手段に保持された画像中の３次元座標の位置と、前記第２のカメラの向きを決定するための水平方向と垂直方向の角度との対応関係を有する請求項４又は５に記載のカメラ位置合わせ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のカメラである固定カメラで撮影した画像中の物体や人物を、カメラの方向や拡大率を変えることのできる第２のカメラであるパンチルトカメラで拡大撮影などを行う際の、第１のカメラ（固定カメラ）と第２のカメラ（パンチルトカメラ）の位置合わせを行うことができるカメラ位置合わせ装置及び方法に関するものである。
【背景技術】
【０００２】
例えば、道路の監視システムでは、車両の走行状態を計測するために、監視エリアの基準平面である道路平面と監視カメラとの関係をあらかじめ数学的に算出しておく必要がある。そこで、道路上の白線を利用して監視カメラのキャリブレーションを実施するカメラのキャリブレーション方法が提案されている（例えば、特許文献１参照）。ここで、「キャリブレーション」とは、カメラパラメータ（例えばレンズの焦点距離など）やカメラから見た監視エリアの基準平面の方程式を算出すること、換言すれば「カメラ位置合わせ」のことを言う。また、カメラから見た「基準平面」は、カメラの向きや高さ（パン、チルト）で表すこともできる。ところが、このキャリブレーション方法は、一般に、道路がカーブしておらず直線でなければ実施できない。
【０００３】
そこで、道路にマーカーを設置することにより、カーブなどの道路でもキャリブレーションを行うことができる方法が提案されている。ところが、この方法では、交通規制を行いながら道路上にマーカーを設置することにより、そのマーカーを利用してキャリブレーションを実施するため、道路によっては、交通規制が実施できずにキャリブレーションを実施できない場合もある。
【０００４】
そこで、道路上でのマーカーの設置や交通規制を実施することなく、監視カメラのキャリブレーションを行うことができるカメラの位置合わせ方法も提案されている（例えば、特許文献２参照）
この従来のカメラ位置合わせ方法について、図９を参照しながら以下に説明する。
図９に示す従来のカメラ位置合わせ方法は、監視カメラのキャリブレーションの実験に用いる専用の車両（移動体）を用意するステップ（ＳＴ１）と、車両上の特徴点を複数選択して、複数の特徴点の相対的な位置関係や道路平面からの高さを測定するステップ（ＳＴ２）と、監視カメラを用いて専用の車両を撮像するステップ（ＳＴ３）と、監視カメラにより撮像された画像における複数の特徴点の座標値を検出するステップ（ＳＴ４）と、複数の特徴点の座標値と複数の特徴点の相対的な位置関係に基づいて、複数の特徴点の奥行き（監視カメラから見た三次元位置）と監視カメラのパラメータを算出するステップ（ＳＴ５）と、複数の特徴点の奥行きと道路平面からの高さに基づいて、監視カメラから見た道路平面パラメータを算出するステップ（ＳＴ６）とを備えている。つまり、このカメラ位置合わせ方法では、専用車両を用意し、特徴点の測定、撮影、特徴点の検出、３次元位置の算出、道路面の算出を行っているわけである。
【特許文献１】特開平４−１５０５９１号公報
【特許文献２】特開２００２−２３２８６９号公報（７ページ、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように、従来のカメラ位置合わせ方法にあっては、前述したように、専用車両を用意したり、この専用車両を道路上で走行させる必要があるという不都合があった。
【０００６】
本発明は、上記事情に鑑みてなされたもので、決められた大きさのマーカーを実際に設置したりマーカーの位置関係を測定しなくても、また専用車両の走行を必要とせずに、カメラのキャリブレーションを行うことのできるカメラ位置合わせ装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のカメラ位置合わせ装置は、定点に位置の固定した第１のカメラと、任意の方向の画像を撮影する第２カメラとの位置を合わせるカメラ位置合わせ方法であって、前記第１のカメラによって入力された前記画像を保持する画像保持手段と、前記画像保持手段に保持された前記第１のカメラの画像の中の目印位置を設定する目印位置設定手段と、前記第２のカメラによって前記目印を撮影する際の前記第２のカメラの撮影方向を制御するカメラ制御手段と、前記目印位置設定手段によって設定された目印位置と前記カメラ制御手段によって制御された撮影方向とを対応させて記録する対応関係保持手段と、前記対応関係保持手段に保持された対応関係から前記第１のカメラで撮影した撮影範囲中の場所を前記第２のカメラで撮影する場合の前記第２のカメラの撮影方向を計算する角度計算手段とを備えることを特徴としている。
【０００８】
本発明のカメラ位置合わせ装置は、前記目印位置設定手段が設定する前記画像保持手段に保持された画像中の位置は、最低５個以上であることを特徴としている。
【０００９】
本発明のカメラ位置合わせ装置は、前記対応関係保持手段に保持されるデータは、前記画像保持手段に保持された画像中の３次元座標の位置と、前記第２のカメラの向きを決定するための水平方向と垂直方向の角度の対応関係を有することを特徴としている。
【００１０】
本発明のカメラ位置合わせ方法は、定点に位置の固定した第１のカメラと、任意の方向の画像を撮影する第２カメラとの位置を合わせるカメラ位置合わせ方法であって、前記第１のカメラによって入力された前記画像を画像保持手段で保持するステップと、前記画像保持手段に保持された前記第１のカメラの画像の中の目印位置を目印位置設定手段で設定するステップと、前記第２のカメラによって前記目印を撮影する際の前記第２のカメラの撮影方向をカメラ制御手段で制御するステップと、前記目印位置設定手段によって設定された目印位置と前記カメラ制御手段によって制御された撮影方向とを対応させて対応関係保持手段で記録するステップと、前記対応関係保持手段に保持された対応関係から前記第１のカメラで撮影した撮影範囲中の場所を前記第２のカメラで撮影する場合の前記第２のカメラの撮影方向を角度計算手段で計算するステップと有することを特徴としている。
【００１１】
本発明のカメラ位置合わせ方法は、前記目印位置設定手段が設定する前記画像保持手段に保持された画像中の位置は、最低５個以上であることを特徴としている。
【００１２】
本発明のカメラ位置合わせ方法は、前記対応関係保持手段に保持されるデータは、前記画像保持手段に保持された画像中の３次元座標の位置と、前記第２のカメラの向きを決定するための水平方向と垂直方向の角度との対応関係を有することを特徴としている。
【発明の効果】
【００１３】
本発明によれば、固定した位置の画像を撮影する第１のカメラで撮影した画像の任意の１箇所を、第２のカメラで拡大して撮影する際の、第２のカメラの撮影する方向を変えるカメラ向き変更手段のための制御データを計算するようになっており、例えば、第１のカメラで撮影した画像上で実際の路面上の５個以上の目印を選択し、これらの目印を、第２のカメラで画像の中心となるように撮影したときの第２のカメラの方向を求めるだけで、第１のカメラの位置を知ることができる。従って、実際に道路上にマーカーを設置したり専用車両を用いなくても、第１のカメラの撮影点と第２のカメラの撮影点の位置合わせなどを行うことができるカメラ位置合わせ装置及び方法を提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。
図１は、本発明の実施形態に係るカメラ位置合わせ装置を示すものであり、このカメラ位置合わせ装置は、第１のカメラ１及び第２のカメラ２と、画像保持手段３と、第１の画像表示手段４及び第２の画像表示手段５と、目印位置設定手段６と、カメラ向き変更手段７と、カメラ制御手段８と、対応関係保持手段９と、演算手段１０と、カメラ位置関係保持手段１１と、位置指示手段１２と、角度計算手段１３とを備えている。
【００１５】
第１のカメラ１は、定点に設置して固定された位置の画像を入力するようになっており、この画像は、画像保持手段３に保持され、第１の画像表示手段４に表示される。目印位置設定手段６は、画像保持手段３に保持された画像のうち目印となる箇所を選び、その箇所の画像上の位置を求める。なお、この目印の位置は対応関係保持手段９に保持される。
第２のカメラ２は、第１のカメラ設置点とは別位置に設置してあるとともに、カメラ向き変更手段７に接続されており、自由に向きを変えて撮影方向を変更することができる。その第２のカメラ２の向きはカメラ制御手段８によって制御される。また、第２のカメラ２によって撮影された画像は、第２の画像表示手段５に表示される。
目印位置設定手段６によって設定された目印の位置は、カメラ制御手段８を用いて拡大撮影する。この時点では、カメラ制御手段８は、人手によって操作される。カメラ制御手段８が操作されると、その操作に従ってカメラ向き変更手段７が起動され、第２のカメラ２の向きが変更される。
目印位置設定手段６によって設定された目印位置とカメラ制御手段８によって制御された第２のカメラ２の位置は、対応関係保持手段９に保持される。演算手段１０は、対応関係保持手段９に保持されたカメラの位置と目印の位置とを用いて、第１のカメラ１の位置を求める。求め方については、後述する。なお、演算手段１０によって求められた第１のカメラ１の位置は、カメラ位置関係保持手段１１に保持される。
このような状態で、位置指示手段１２によって、画像保持手段３に保持されている画像の任意の位置を指示すると、角度計算手段１３は、カメラ位置保持手段１１に保持されたカメラの位置を用いて、第２のカメラ２の撮影方向を計算し、カメラ制御手段８に、その角度を送る。この角度によってカメラ位置変更手段７が制御され、位置指示手段１２によって指示された、画像保持手段３に保持された画像上の位置に対応する実際の場所を、第２の画像撮影手段２が拡大撮影する。
【００１６】
次に、図２は対応関係保持手段９の構成を示す説明図である。
この対応関係保持手段９には、目印位置９Ａとして、画像保持手段３に保持された画像上の（ｘ，ｙ）座標と、カメラ方向９Ｂとして、カメラ向き変更手段７によって決められた第２のカメラ２の方向（パン，チルト）のペアが複数登録されている。
【００１７】
次に、図３はカメラ位置合わせ装置の動作する様子を説明した説明図である。このカメラ位置合わせ装置の動作について、図４を参照しながら説明する。なお、地面には目立つものが目印として５個以上（本実施形態では目印１〜目印５の都合５個）配置されている。目印としては、目立つものであれば何でもよい。また、ここで、第２のカメラ２の直下には座標原点を置き、座標軸であるｘ軸、ｙ軸は、地面上にとり、ｚ軸は地面と垂直に設定する。第２のカメラ２の位置をＺ＝Ｌ、つまり３次元のデカルト座標上で（０，０，Ｌ）と仮定する。カメラの向きは、カメラの向きのｘ軸となす角(パン角)、ｚ軸となす角(チルト角)によって表す。
初めに、図４（Ａ）において、第１カメラ１が、この地面を撮影し（第１ステップＳ１）、その画像は、画像保持手段３に保持される（第２ステップＳ２）。この画像保持手段３に保持された画像から、目印位置設定手段で目印が決定される（第３ステップＳ３）。この目印の決定は予め設定された目印の数だけ行う（第４ステップＳ４）。
次に、地面上の目印を第２のカメラ２の画像中央で撮影した時のカメラの向き(パン、チルト)と、同じ目印の第１のカメラ１の画像上の座標位置は、対になって対応関係保持手段９に保持される（第５ステップＳ５）。その後、この対応関係保持手段９に保持された内容から演算手段１０によって、第１のカメラ１の位置が求められ（第８ステップＳ８）、その結果がカメラ位置保持手段１１に保持される（第９ステップＳ９）。
こうした動作が行われた後、図４（Ｂ）に示すように、任意の物体（例えば、特定の車両又は人物）が地面上の第１のカメラ１によって撮影できる範囲にあったとき、その位置を指示し（第１０ステップＳ１０）、この物体を第２のカメラ２によって拡大撮影する際の角度を計算することができ（第１１ステップＳ１１）、カメラ制御手段８の制御によりカメラ向き変更手段７を制御し（第１２ステップＳ１２）、第２のカメラ２によって、物体を拡大撮影することができる（第１３ステップＳ１３）。
【００１８】
次に、第１のカメラ１の位置を求める数学的な方法について、以下に図面を参照しながら具体的に述べる。なお、この方法は、以下の論文に述べられた計算方法を参考にしている。「“A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”, Roger Y.Tsai IEEE Journal of Robotics and Automation, Vol.RA-3,No.4,August 1987（ロジャー・Ｙ・ツァイ著、『一般のＴＶカメラとレンズを使用した高精度３次元測定のための汎用カメラ校正技術』ロボット工学及び自動化に関するＩＥＥＥジャーナル、第ＲＡ−３巻、第４号、１９８７年８月、第３２３〜３４４ページ）」
【００１９】
（Ｉ）ステップ１：
図５のように、点Ｐが、世界座標系（Ｏｗ−ｘｗｙｗｚｗ）から見て（ｘｗ，ｙｗ，ｚｗ）、カメラ座標系（Ｏ−ｘｙｚ）から見て（ｘ，ｙ，ｚ）にあるとき、世界座標系の座標と、カメラ座標系の座標との関係は次式（１）で表すことができる。
【００２０】
【数１】
2006148221.tif 000003
【００２１】
ただし、世界座標系とカメラ座標系の関係は、次式に示す回転行列（Ｒ）と、移動量（Ｔ）によって表されるものとする（図５参照）。
【００２２】
【数２】
2006148221.tif 000004
【００２３】
従って、世界座標系とカメラ座標系の関係は、次式（２）の多元連立方程式になる。
【００２４】
【数３】
2006148221.tif 000005
【００２５】
（II）ステップ２：
次に、図６で、カメラ座標系のＺ＝ｆ、つまりカメラ座標系から見て（０，０，ｆ）のところにｘｙ平面に平行に投影面γを設定し、点Ｐをこの投影面γに投影させると、投影面上の位置Ｐｕ（Ｘｕ，Ｙｕ）は次式のようになる。
【００２６】
【数４】
2006148221.tif 000006
【００２７】
（III）ステップ３：
ところで、投影面γに点Ｐを投影させるとき、図７に示すように、レンズひずみの影響で、Ｐｕの位置に投影されるはずのものが実際にはＰｄの位置に投影される。ここで、座標Ｐｕ（Ｘｕ，Ｙｕ）を画像座標系のひずみなしデータ、座標Ｐｄ（Ｘｄ，Ｙｄ）を画像座標系の歪ありデータとし、（Ｄｘ，Ｄｙ）を歪の大きさとすると、（Ｘｄ，Ｙｄ）と（Ｘｕ，Ｙｕ）の関係は、次のように表される。
【００２８】
【数５】
2006148221.tif 000007
【００２９】
このとき、歪係数κ１、κ２を導入して（Ｄｘ，Ｄｙ）を表せば、次式
【００３０】
【数６】
2006148221.tif 000008
【００３１】
の関係となるので、（４）式は次に示す（５）式のようになる。
【００３２】
【数７】
2006148221.tif 000009
【００３３】
ここで、（３）、（５）から、次式の関係が成立する。
【００３４】
【数８】
2006148221.tif 000010
となる。
【００３５】
次に、図８のように、点Ｐを通りｘ、ｙ軸に平行な平面を考え、ｚ軸との交点をＱとする。そして、この平面からＬ離れた位置に世界座標の原点を移動する。このとき、ｘ軸とＰＱとのなす角をα、z軸とＯＰとのなす角をβとすると、世界座標系からみた点Ｐの各座標（ｘｗ、ｙｗ）は、次のように表される。
【００３６】
【数９】
2006148221.tif 000011
ここで、簡単のために、上式を以下のように表す。
【００３７】
【数１０】
2006148221.tif 000012
【００３８】
（６−１）式に（７−１）を代入すると、以下のようになる。
【００３９】
【数１１】
2006148221.tif 000013
【００４０】
ところで、（Ｘｄ，Ｙｄ）は図６でＰを撮影した時のイメージ画像上の位置で、Ｃβα，Ｓβαはこれを原点Ｏから見た時の角度（α，β）から計算できるので、
【００４１】
【数１２】
2006148221.tif 000014
【００４２】
およびＸｄは既知となり、最小自乗法を用いて左辺の第２の因数、つまり
【００４３】
【数１３】
2006148221.tif 000015
【００４４】
【数１４】
2006148221.tif 000016
【００４５】
【数１５】
2006148221.tif 000017
【００４６】
【数１６】
2006148221.tif 000018
【００４７】
【数１７】
2006148221.tif 000019
【００４８】
【数１８】
2006148221.tif 000020
【００４９】
【数１９】
2006148221.tif 000021
【００５０】
【数２０】
2006148221.tif 000022
但し、
【００５１】
従って、次のように演算して、最下式が得られる。
【００５２】
【数２１】
2006148221.tif 000023
【００５３】
次に、再度、（１）、（２）、（３）、（７−１）、（８）、即ち、
【００５４】
【数２２】
2006148221.tif 000024
【００５５】
により、次式が得られる。即ち、
【００５６】
【数２３】
2006148221.tif 000025
このようにして、つまり、マーカーを実際に設置したり、専用車両を用意することなく、平面上の任意の点にパンチルトカメラを向けることができる。従って、例えば図４に示す方法を用いれば、第２のカメラ２により所望の物体の拡大撮影などが行える。
【００５７】
なお、本発明は上述した実施形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において種々の形態で実施し得るものである。
【産業上の利用可能性】
【００５８】
本発明のカメラ位置合わせ装置及び方法は、固定した位置の画像を撮影する第１のカメラで撮影した画像の任意の１箇所を、第２のカメラで拡大して撮影する際の、第２のカメラの撮影する方向を変えるカメラ向き変更手段のための制御データを計算することにより、例えば、実際の路面上の目印を第１のカメラで撮影した画像上で選択し、第２のカメラでこれらの目印を画像の中心として撮影し、このときの第２のカメラの方向を求めるだけで、第１のカメラの位置を知ることができる効果を有する。従って、例えば、固定カメラで撮影した画像に撮影されている物体や人物を、カメラの方向や拡大率を変えることのできるパンチルトカメラで拡大撮影する際の、固定カメラとパンチルトカメラの位置合わせ等として有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態に係るカメラ位置合わせ装置の構成を示すブロック図
【図２】本発明の実施形態に係るカメラ位置合わせ装置の対応関係保持手段の構成を示す説明図
【図３】本発明の実施形態に係るカメラ位置合わせ装置の動作を示す説明図
【図４】本発明の実施形態に係るカメラ位置合わせ装置の動作を示すフロー図
【図５】本発明の実施形態に係るカメラ位置合わせ装置の演算手段に用いる世界座標とカメラ座標を示す説明図
【図６】本発明の実施形態に係る投影面に投影させる点Ｐの投影面上での位置を示す説明図
【図７】本発明の実施形態に係る投影面での点Ｐのレンズひずみによるずれを示す説明図
【図８】本発明の実施形態に係る点Ｐの世界座標系からみた各座標を示す説明図
【図９】従来のカメラ位置合わせ方法を示すフロー図
【符号の説明】
【００６０】
１  第1のカメラ
２  第２のカメラ
３  画像保持手段
４  第１の画像表示手段
５  第２の画像表示手段
６  目印位置設定手段
７  カメラ向き変更手段
８  カメラ制御手段
９  対応関係保持手段
１０  演算手段
１１  カメラ位置関係保持手段
１２  位置指示手段
１３  角度計算手段
【図１】
2006148221.tif 000026
【図２】
2006148221.tif 000027
【図３】
2006148221.tif 000028
【図４】
2006148221.tif 000029
【図５】
2006148221.tif 000030
【図６】
2006148221.tif 000031
【図７】
2006148221.tif 000032
【図８】
2006148221.tif 000033
【図９】
2006148221.tif 000034