(57)【特許請求の範囲】
【請求項１】
撮像レンズおよび撮像素子を有する撮像装置によって監視領域を撮像して得られた入力画像を処理し、前記撮像装置によって得られた入力画像の第一の座標系を、前記撮像装置の設置の高さと、前記撮像装置の設置の高さから見下ろす俯角と、前記撮像装置の視野角もしくは焦点距離の少なくとも３つのパラメータに基づいて第二の座標系に変換し、検出すべき物体の情報に基づいて、画像から抽出した物体が検出すべき物体か否かを前記第二の座標系で判定する監視システムにおけるパラメータ調整方法であって、
前記視野角もしくは焦点距離は、前記撮像装置が有する撮像素子の大きさ、及び前記撮像装置が有する撮像レンズの焦点距離に基づいて算出され、
前記俯角は、前記第一の座標系で設定された矩形もしくは線分における２つの幅情報に基づいて算出され、
前記設置高さは、前記第一の座標系で設定された矩形もしくは線分における１つの高さ情報に基づいて算出されることを特徴とするパラメータ調整方法。
【請求項２】
撮像レンズおよび撮像素子を有する撮像装置によって監視領域を撮像して得られた入力画像を処理し、検出すべき物体の情報に基づいて画像から抽出した物体が検出すべき物体か否かを判定し、前記撮像装置によって得られたカメラ座標系での入力画像を、前記撮像装置の設置の高さと、前記撮像装置の設置の高さから見下ろす俯角と、前記撮像装置の視野角もしくは焦点距離の少なくとも３つのパラメータに基づいてワールド座標系に変換する監視システムにおけるパラメータ調整方法であって、
該監視システムが有する操作画面に焦点距離入力フォームと撮像素子サイズ選択フォームとを表示し、前記撮像素子の大きさ及び前記撮像レンズの焦点距離Ｆmmの入力を受け付ける第１ステップと、
前記操作画面に前記入力画像と２つの実幅入力フォームとを表示し、該監視システムが有する入力装置を用いて該表示された入力画像上で２つの矩形領域もしくは線分を描画する操作と、前記２つの実幅入力フォームへ該２つの矩形領域もしくは線分の実際の幅の値を入力する操作とを受け付け、該描画された２つの矩形領域もしくは線分の前記カメラ座標系での座標と該入力された２つの実際の幅の値と前記第１ステップでの入力とに基づいて前記俯角θelvを算出する第２ステップと、
前記操作画面に前記入力画像と実高さ入力フォームとを表示し、前記入力装置を用いて該表示された入力画像上で１つの矩形領域もしくは線分を描画する操作と、前記実幅入力フォームへ該１つの矩形領域もしくは線分の実際の高さの値を入力する操作とを受け付け、該描画された１つの矩形領域もしくは線分の前記カメラ座標系での座標と該入力された２つの幅の値と前記第１ステップでの入力と前記第２ステップで算出した俯角θelvとに基づいて前記設置の高さＨcを算出する第３ステップと、
前記操作画面に前記入力画像を表示し、前記入力装置を用いて該表示された入力画像上で任意のオブジェクトに対応させて矩形領域もしくは線分を描画する操作を受け付け、該オブジェクトに対応する矩形領域もしくは線分の前記カメラ座標系での座標と、前記第１乃至第３ステップで求めた３つのパラメータとに基づいて、該オブジェクトのワールド座標系での幅もしくは高さの値を推定して表示し、ユーザに該推定の正しさの確認を求める第４ステップと、を備え、
前記第１乃至第４ステップを、ウイザード形式で進めることを特徴とするパラメータ調整方法。
【請求項３】
請求項２記載のパラメータ調整方法において、
前記第１ステップは、ピクセル単位の焦点距離Ｆpを
0005105972.tif 000012
により算出し、
前記第２ステップは、前記描画された一方の矩形領域もしくは線分について始点と終点を(x11,y11)と(x12,y12)、実際の幅をW1とし、他方の矩形領域もしくは線分について始点と終点を(x21,y21)と(x22,y22)、実際の幅W2として、前記俯角θelvを
0005105972.tif 000013
0005105972.tif 000014
により算出し、
前記第３ステップは、前記描画された矩形領域もしくは線分について始点と終点を(x31,y31)と(x32,y32)、実際の幅をH3として、前記設置の高さＨcを
0005105972.tif 000015
により算出し、
前記第４ステップは、前記推定の正しさが十分でないときに、前記第１から第４ステップによるパラメータ調整を途中からやり直す指示を受け付けることを特徴とするパラメータ調整方法。
【請求項４】
請求項１乃至３のいずれかに記載のパラメータ調整方法を用いた監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムに関するものである。
【背景技術】
【０００２】
例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。
【０００３】
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が従来より広く用いられている。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度（或いは、画素値）の差分を算出し、当該検出値が所定の閾値（しきい値）と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行なう。検出すべき物体を監視する方法として、背景差分法以外にも、異なる時刻に得られた複数の入力画像の差分を用いるフレーム間差分や、２つの画像間の局所部分の動きを算出することで画像内の動きの流れを検出するオプティカルフロー法などがあり、監視対象領域の環境条件に応じて適切な方法が実装される。
【０００４】
監視システムでは、撮像した画像から前記方法によって検出した物体が、本当に検出すべき物体であるか判定するために、基準となる情報（例えば検出すべき物体の大きさ情報が広く用いられる）と、入力画像から抽出した物体の情報を比較して判断する。この基準となる情報は、監視システムを動作させる前に予め設定する必要がある。例えば、上記例で用いた基準となる情報として大きさ情報を用いた場合、画像上の物体の見かけの大きさがカメラと物体の距離に応じて変わってしまう。すなわち、物体がカメラに近い場所（画像下部）に存在する場合は画像上大きく見え、カメラから離れている場所（画像上部）に存在する場合は小さく見えてしまうため、画像上の各位置において検出すべき物体が見える大きさを設定しなければならない。従来の方式では、画像上の少なくとも２つの位置において検出すべき物体の画像上での大きさを指定し、指定されなかった位置に存在する物体の画像上の大きさは、指定された位置の画像上の大きさから補間するという方法が取られる。この方法では、原理上２つの位置において検出すべき物体の大きさ情報があれば、画像上の任意の位置での大きさ情報を補間できるが、通常、画像上で指定する物体の位置の数を増やして大きさ設定の誤差を減らす必要があり、非常に煩雑な作業となる。
【特許文献１】特開２００１−２７３５００号公報
【特許文献１】特開２００５−５７７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の監視システムでは、前述のとおり、入力画像から抽出した物体が検出すべき物体か否かを判定するために、画像上で検出すべき物体の情報を設定する必要がある。この設定では、誤差を少なくするために、数多くの情報を設定する必要があるため、設定作業が非常に煩雑になるという問題がある。
【０００６】
本発明は、このような従来の事情に鑑みなされたもので、撮像した入力画像から抽出した第１の座標系で表現される物体を、監視領域の地図に相似する第２の座標系に変換するようにして、画像上の位置による見かけの情報の変化を解決し、より少ない作業でも監視システムを設定できる座標変換方法及びパラメータ調整方法及び監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述の問題を解決するために、監視領域を撮像レンズおよび撮像素子を有する撮像装置などの手段によって撮像して得られた入力画像を処理し、検出すべき物体の情報に基づいて画像から抽出した物体が検出すべき物体か否かを判定し、前記撮像装置などの手段によって得られた入力画像の第一の座標系を、前記撮像装置などの手段の設置の高さと、前記撮像装置などの手段の設置の高さから見下ろす俯角と、前記撮像装置などの手段の視野角もしくは焦点距離の少なくとも３つのパラメータに基づいて第二の座標系に変換する座標系変換手段を有する監視システムにおいて、
前記視野角もしくは焦点距離は、前記撮像装置などの手段が有する撮像素子の大きさ、及び前記撮像装置などの手段が有する撮像レンズの焦点距離に基づいて算出される、または、
前記前記設置高さからみ下ろす俯角は、前記第一の座標系で設定された矩形もしくは線分のいずれか１つの座標の幅情報の少なくとも２つに基づいて算出される、または、
前記設置高さは、前記前記第一の座標系で設定された矩形もしくは線分のいずれか１つの座標の高さ情報の少なくとも１つに基づいて算出されることの少なくとも一方を実施することを特徴とするパラメータ調整方法である。
【０００８】
また上記のパラメータ調整方法を用いたことを特徴とする監視システムである。
【発明の効果】
【０００９】
本発明によれば、前記撮像装置などの手段の設置の高さと、前記撮像設置などの手段の設置の高さから見下ろす俯角と、前記撮像装置などの手段の視野角もしくは焦点距離の少なくとも３つのパラメータに基づいて入力画像から抽出した物体の情報を第一の座標系から第二の座標系に変換するようにし、３つのパラメータで入力画像から抽出した物体を検出すべき物体か否かを判定できるようにすることで、監視システムの設定の作業を削減し、オペレータが容易に設定を行える座標変換方法及びパラメータ調整方法及び監視システムを実現できる。
【発明を実施するための最良の形態】
【００１０】
本発明に係る第一の実施例を、図面を参照して説明する。図１は、本発明に係る監視システムの構成を示すブロック図である。本例の監視システムは、撮像装置101、物体検出装置102、表示装置103、設定装置104、アクセスライン105〜107によって構成されている。撮像装置101は、監視の対象となる領域を撮像し、撮像された入力画像は、物体検出装置102で監視対象領域内に侵入する物体を検出し、検出画像と、検出結果および設定装置104で予め設定されたカメラパラメータより算出された値とを用いて得られた情報が表示装置103に表示される。アクセスライン105〜107は、例えばアナログ電話網やISDN網、デジタル専用線網、インターネットなどのネットワークに接続されていても良い。
【００１１】
侵入物体を追尾し、監視するＴＶカメラに監視対象ではない民家やプライバシー等の監視対象以外の領域をＴＶカメラの視野内に映さないようにＴＶカメラを制御し、監視領域に侵入した物体を正確に検出、追尾する。
【００１２】
撮像方向及びズームの少なくとも一方を制御可能に構成された撮像装置で侵入物体を追尾する追尾方法は、該撮像装置からの画像を1フレーム取り込み、該画像から侵入物体の現在位置を検出し、前記撮像装置の現在のまたは予測視野範囲を算出し、該算出した現在または予測視野範囲が撮像禁止領域を含むか否かを判定し、含まないとき、前記侵入物体の検出情報に基き前記撮像装置の撮像方向及びズームの少なくとも一方を制御し、前記撮像装置で前記現在または予測視野範囲を撮像して警報／追尾情報を表示するように構成される。
【００１３】
次に、設定装置104の動作について図２を用いて説明する。図２は、設定装置104の操作画面の一例である。操作画面201は、画像表示部202、俯角パラメータ設定203、高さパラメータ設定204、視野角パラメータ設定205、パラメータ設定ボタン206、ライブボタン207、ファイル選択ボタン208を持つ。以下、俯角パラメータ設定203、高さパラメータ設定204、視野角パラメータ設定205の３つによって設定される３つの値をカメラパラメータと呼ぶ。また、初めてカメラパラメータを設定する時には、予めカメラパラメータにはデフォルト値（例えば、俯角パラメータを45 [°]、高さパラメータを1.0 [m]、視野角パラメータを45 [°]）が設定されているものとする。
【００１４】
画像表示部202には、撮像装置101によって得られた第１の座標系（以下、カメラ座標系と呼ぶ）で表される入力画像を、カメラパラメータに基づく第２の座標系（以下、ワールド座標系と呼ぶ）に変換した画像が表示される。
【００１５】
ここで、画像表示部202に画像を表示する２つの方法について説明する。第１の方法として、ライブボタン207を押下することにより、撮像装置101で撮像された最新の画像が領域設定装置より送信され、取得した画像をワールド座標系の画像に変換して表示する。第２の方法として、予め撮像装置101で撮像した静止画像を用意しておき、ファイル選択ボタンを押下することでファイル選択ダイアログを表示し、表示する画像を選択すると該当する画像をワールド座標系の画像に変換して表示する。例えば、図４の画像を操作画面201表示すると、画像表示部202の画像のようにワールド座標系の画像に変換されて表示される。画像をワールド座標系の画像に変換する手段については後述する。
【００１６】
上記では使用する画像を静止画としたが、動画像を用いるようにしても良い。その場合は、操作画面201には動画像を再生するためのボタンや一時停止するボタンを追加し（図示しない）、動画像を一時停止した状態でカメラパラメータの設定を行なう。
【００１７】
次に、カメラパラメータを設定する方法について図２、５および６を用いて説明する。カメラパラメータは、俯角パラメータ設定203、高さパラメータ設定204および横方向視野角パラメータ設定205の３つを使用して変更する。俯角パラメータ設定203では、撮像装置101の俯角501を設定する。高さパラメータ設定204では、撮像装置101を設置した高さ502を設定する。視野角設定205では、撮像装置101の横方向の視野角601を設定する。オペレータは、設置した撮像装置101の俯角、高さ、視野角の各パラメータを、各設定を用いて設定する。なお、撮像装置101の縦方向の視野角503は、使用する撮像装置101の撮像素子のアスペクト比（縦横比）によって決定され、例えば縦３に対して横４の比率の素子を使用する場合、縦方向の視野角503は、横方向の視野角601の75%になる。したがって、撮像装置101の縦方向と横方向の視野角は本質的に１つの情報になるため、撮像装置101の視野角は、横方向の視野角601で代表して設定される。また、各設定のパラメータを変更した時、変更したパラメータに基づいて画像表示部202のワールド座標系の画像が更新される。
【００１８】
カメラパラメータを設定する別の方法について説明する。設置した撮像装置101の俯角、高さ、視野角のカメラパラメータを入力画像から算出する場合、画像表示部202に表示されたワールド座標系の画像を見ながら、画像の位置に係らず幅および高さが一定になるように、俯角パラメータ設定203、高さパラメータ設定204、横方向視野角パラメータ設定205を変更することでカメラパラメータを設定することができる。例えば図３に示す画像表示部202の画像のように、道路などは平行な線にすることで幅を一定にし、異なる場所に設置されている同じ高さの道路標識の高さを一定にすることで高さを一定になるように、各設定スライダーを調節する。この時、平行な線となっているか確認するための補助線を表示するようにしても良い。また、入力画像に写る、例えば窓やフェンス、橋の欄干など、高さが一定であるとみなせる構造物が、画像表示202に表示される変換後の画像上で同じ高さになっているか確認することで、カメラパラメータの設定が容易になる。この場合、高さが一定であるとみなせる構造物が、画像表示202に表示される変換後の画像上で同じ高さになっているか確認するために、例えば画像上に線を描画してその線の長さを操作画面201上に表示するようにしても良い。
【００１９】
ここで、設定したカメラパラメータの保存方法について説明する。パラメータ設定ボタン206を押下することによって、俯角パラメータ設定203、高さパラメータ設定204および横方向視野角パラメータ設定205の３つで設定した３つのパラメータが、例えばファイルなどに保存され、アクセスライン106を介して物体検出装置102へ送信される。物体検出装置102では、カメラパラメータを保存したファイルを受信した場合、そのファイルの各パラメータを読み出し、入力画像から抽出した物体が検出すべき物体か否かを判定するカメラパラメータとして使用する。
【００２０】
次に、設定したカメラパラメータを用いて画像座標から実座標を求める方法について説明する。ここで、撮像装置101の俯角をθT、撮像装置101の設置の高さをH、撮像装置101の横方向の視野角をθH、撮像装置101の縦方向の視野角をθVとする。なお、撮像装置101の縦方向の視野角θVは、前述の通り、撮像装置101の横方向の視野角θHから算出されるため、説明した俯角θT、高さH、視野角θHが図３で説明されるカメラパラメータに一致している。
【００２１】
撮像装置の俯角θT、高さh、横方向の視野角である画角θH、縦方向の視野角である画角θVを用いて視野範囲に含まれるカメラ座標系の画像上の各位置をワールド座標系へ変換することができる。
例えば、入力画像上のある点(x',y')を、ワールド座標(x,y)に変換する一例を以下に示す。
例えば、画像上(x',y')で表される画素を撮像する俯角θyは、入力画像の縦方向の画素数を480画素とすると、(式１)で表される。
(式１)
0005105972.tif 000002
【００２２】
また、カメラ座標における画素(x',y') を撮像する回転角θxは、入力画像の画素数を640とすると、点Dを撮像する回転角θxは、(式２)で表される。
(式２)
0005105972.tif 000003
【００２３】
したがって、カメラ座標系の入力画像上の(x',y')で表される任意の位置の画素は、ワールド座標系のワールド画像の座標(x,y)として、(式３)により求められる。
(式３)
0005105972.tif 000004
0005105972.tif 000005
すなわち、ワールド画像は、入力画像を(式１)〜(式３)に従って座標変換することで得られる。なお、視野範囲の位置の座標は、撮像装置のパンやチルトやズームにより変化し得る。また、ワールド座標系に変換した画像は、(式１)〜(式３)で表される変換の逆変換を行うことで、カメラ座標系に戻すことができる。
【００２４】
また、撮像装置の横方向の視野角である画角θH、及び縦方向の視野角である画角θVは、焦点距離f、及び撮像素子サイズ横幅H，撮像素子サイズ縦幅Vを用いて、例えば、図式４及び図式５で表現する事が可能である。
(式４)
0005105972.tif 000006
(式５)
0005105972.tif 000007
すなわち、焦点距離及び撮像素子の大きさ情報があれば、視野角の情報に代替するカメラパラメータとして、焦点距離をワールド座標系への変換に利用することが可能である。
【００２５】
画像表示部202には、上記式によって算出されるワールド座標系で表される４点P1、P2、P3、P4に基づいて、入力画像を変換した画像が表示される。図２の画像表示部202に表示される画像は、前記４点P1、P2、P3、P4に対応する画像表示部202上の４点P1’、P2’、P3’、P4’を頂点として入力画像を変換して表示される。例えば、P1’及びP2’を画像表示部202の下部に、P3’及びP4’を画像表示部202の上部になるように表示させることができる。また、撮像装置101から画像表示202に表示される奥行きの距離（上記式中ＬFで表される距離）に制限を設けて画像を表示することも可能で、例えば、奥行きを25[m]と制限した場合、変換後の画素のY座標が25[m]以上になる部分は、画像表示部202に表示されないようにする。さらに、撮像装置101から画像表示202に表示される手前までの距離（上記式中ＬNで表される距離）制限を設けて画像を表示することも可能で、例えば、手前までの距離を10[m]と制限した場合、変換後の画素のY座標が10[m]以上になる部分は、画像表示部202に表示されないようにする。
【００２６】
以上のようにすることで、カメラ座標系からワールド座標系に変換するカメラパラメータを設定することが可能となり、さらには、従来カメラ座標系で、入力画像から抽出した物体の位置、大きさ、領域などの判定を行っていたものを、ワールド座標系で判定することが可能となる。すなわち、従来入力画像上の各位置において物体の見かけの大きさの違いを考慮しながら入力画像から抽出した物体の判定を行わなければならなかったものを、地図に相似するワールド座標系（各位置において、同一物体の大きさは同じになる）で判定できるようになる。従って、物体の見かけの大きさの違いを監視システムに設定する必要がなくなる。
【００２７】
本発明では、領域設定において設置した撮像装置101の俯角、高さ、視野角をカメラパラメータとしたが、俯角の代わりに仰角を、また視野角の代わりに焦点距離（この場合、使用する撮像装置101の撮像素子の大きさの情報が必要となる）をパラメータとして設定を行なうことも可能である。
【００２８】
本発明に関わる第二の実施例を、図面を参照して説明する。
本実施例では、本発明(当該座標変換方法及びパラメータ調整方法及び監視システム)を利用するために必要となるカメラパラメータ(ピクセル単位の焦点距離、カメラの俯角、カメラの高さ)を、撮像装置より撮像された画像中において大きさが既知の物体や撮像装置の素子サイズなどを用いて推定することで、対話形式(ウィザードと呼ぶ)で簡単に設定し、カメラパラメータが未知の場合でも物体の位置や大きさをワールド座標系で判定することを可能とする方法である。
【００２９】
本発明に関わる監視システムの構成は、設定装置104の内部構成を除いて、第一の実施例と同等である。第二の実施例における設定装置104の動作について図7を用いて説明する。
図7は、設定装置104の操作画面の一例である。操作画面700は、画像表示部701、パラメータ決定ウィザード表示部702の２つの表示部を持つ。画像表示部701には、撮像装置101によって得られたカメラ座標系での入力画像が表示される。本例における入力画像のサイズ(幅:w×高さ:h)は640×480(pix)であるとする。ウィザード表示部702は、設定装置104を扱うユーザーへの指示703、ステップ番号704、情報設定ウィンドウ705、”次へ進む”ボタン706を持つ。本例では、ウィザード表示部702に表示されるユーザへの指示703に従って、画像表示部701及び情報設定ウィンドウ705に対して数回の入出力動作を実施することで、カメラパラメータを決定、及び設定する。
【００３０】
本設定装置104のカメラパラメータ設定操作の一例を以下に示す。
ウィザードでの最初の操作をステップ１とする。ステップ１では本監視システムに用いる撮像装置のピクセル単位の焦点距離のカメラパラメータを設定する。カメラパラメータ設定操作の開始時は、一例として、図7のようにステップ1を実行するためのユーザへの指示703、及び情報設定ウィンドウ705が表示されているとし、情報設定ウィンドウ705は、焦点距離入力フォーム707、CCDサイズ選択フォーム708を持つとする。ステップ1では、ユーザは焦点距離入力フォーム707に撮像装置が持つレンズの焦点距離をmm単位で入力する。また、撮像装置に用いられているCCD撮像素子の大きさをCCDサイズ選択フォーム708より１つ選択する。CCDサイズ選択フォーム708では、一般的に用いられるCCDサイズ、例えば2/3インチ(幅W:8.8mm×高さH:6.6mm)、1/2インチ(W:6.4mm×H:4.8mm)などをウィザード上に記載し、選択式で選べるようにしてあるが、任意のCCD撮像素子の大きさW, Hをユーザが直接入力できるようにしてもよい。入力が完了したら、”次へ進む”ボタン706を押すことで入力情報は設定装置に記憶されて、次の処理、例えばステップ２へ進む。本例で用いる撮像装置は、焦点距離8.4ｍｍ、CCDサイズ2/3インチであるとし、図8のように情報設定ウィンドウ704に該情報を入力する。本例のステップ１で得た焦点距離Fmmは、カメラパラメータの計算に用いるための便宜的な措置として、CCD撮像素子の大きさH，V 、入力画像のピクセルサイズw, hを用いて、ピクセル単位の値Fpに変換する。（式６）はその計算式の一例である。
（式６）
0005105972.tif 000008
【００３１】
次にステップ2の操作を説明する。ステップ2では、画像表示部701上に、実際の幅[m]が既知の矩形領域もしくは線分を少なくとも２つ以上選択し、それぞれの矩形及び線分の座標と実際の幅との対応関係からカメラの俯角のカメラパラメータを設定する。前述で得た値により、例えば、撮像装置101の俯角を計算する事が出来る。例えば、表示部701における道路709が、画像上での見かけの幅によらず実際の幅3[m]と一定であることが既知の時、図9のように、画像表示部701の道路709上の近方と遠方に、矩形901、902を描く。矩形901、902は、例えばマウスなどの入力装置を用いて直線もしくは多角形の形で描写する。選択した２つの矩形901、902の座標情報などは、ウィザード表示部702において、自動的に表示される。例えば、矩形によって設定する場合は、矩形901については、矩形の座標903、ピクセル幅904、ピクセル高さ905、矩形902は、矩形の座標906、ピクセル幅907、ピクセル高さ908がそれぞれウィザード表示部702に表示される。また、線分の場合は端点の座標、ピクセル幅、ピクセル高さがウィザード表示部702に表示される(図示しない)。次に、該矩形901、902または線分の実際の幅を、それぞれ実幅入力フォーム909、910に入力する。本例では、矩形901、矩形902の実際の幅を3[m]としていたので、それぞれのフォーム909、910に入力する。入力終了後、”次に進む”ボタン706を押す事で、矩形901、902の座標、及び実際の幅の値を用いて撮像装置101の俯角が瞬時に計算され、ウィザード表示部702が、次の処理、例えばステップ3の操作を行うための画面に更新される。
【００３２】
一例として、撮像装置101の俯角θelvは、ステップ2で入力した選択矩形(1)901のカメラ座標の始点(左上)を(x11,y11)、終点(右下)を(x12,y12)、実際の幅909をW1、選択矩形(2)902のカメラ座標の始点(左上)を(x21,y21)、終点(右下)を(x22,y22)、実際の幅910をW2、撮像装置101の焦点距離をFpとした時、（式７）により計算される。
（式７）
0005105972.tif 000009
0005105972.tif 000010
【００３３】
次にステップ３の操作を説明する。ステップ３では、画像表示部701上に、実の高さ[m]が既知の矩形領域もしくは線分を少なくとも１つ以上選択し、選択領域の座標と実際の高さとの対応関係からカメラの高さのカメラパラメータを設定する。これにより、例えば、撮像装置101の高さを計算する事が出来る。例として、表示部701における人型のオブジェクトの実際の高さが1.8[m]と既知の時、図10のように、画像表示部701上で該オブジェクトを囲うように矩形131を描く。矩形131は、例えばマウスなどの入力装置を用いて直線もしくは多角形の形で描写する。選択した矩形131の情報は、ウィザード表示部702において、例えば、座標132やピクセルサイズ133が自動的に表示される。次に、該矩形132の実際の高さを、それぞれ実高さ入力フォーム134に入力する。本例では、矩形132の実際の幅は1.8[m]と既知であるので、入力フォーム134に該値を入力する。入力終了後、”次に進む”ボタン706を押す事で、矩形132の座標、実際の高さ134、及びステップ2で算出した撮像装置101の俯角を用いて、撮像装置101の高さについて瞬時に算出される。
【００３４】
一例として、撮像装置101の高さHcは、ステップ3で入力した選択矩形131のカメラ座標132の始点(左上)を(x31,y31)、終点(右下)を(x32,y32)、実際の高さ134をH3、とした時、撮像装置101の焦点距離Fp及び俯角θelvを用いて、以下のように計算される。
(式８）
0005105972.tif 000011
【００３５】
以上、ステップ1、ステップ2及びステップ3により、撮像装置101の高さHc、俯角θelvといったカメラパラメータの推定値が得られた。尚、本実施例では、これらの処理をステップ１〜３と三段階に分けて処理を行ったが、ステップ１〜３で入力を求めた値について、例えば1回のステップでまとめて入力する形し、一段階で処理を行ってもよい。
次にステップ4の操作を説明する。ステップ4では、前述で算出したカメラパラメータ推定値を用いて、画像中に存在する物体の大きさが正しく推定できるかどうかを確認する。すなわち、カメラパラメータ推定値に基づいて、入力画像をカメラ座標系を仮のワールド座標系に変換し、画像中の任意のオブジェクトの大きさが仮のワールド座標系上で正しく推定されているかどうかを確認することで、カメラパラメータ推定値の妥当性を検討する。本操作が必要となる理由は、ステップ１〜３における入力、例えば矩形の選択などが人の手によるものであることなどから、計算に誤差が生じ、所望する値が正しく推定出来ない可能性があることによる。本例では、ユーザが画像表示部701上の任意の領域を、例えば、図11における矩形141のように選択する。選択する矩形141は、大きさ情報が既知、もしくは主観的な判断などによりおよその大きさ情報が推定できる領域であることが望ましい。本例で選択した矩形141は、人型のオブジェクトであり、高さが1.8m前後、幅が0.7m前後であることが主観的に推測可能もしくは既知であるとする。次に、選択した矩形141のカメラ座標系での座標142を用いて、カメラパラメータ推定値で変換したワールド座標系に基づいて、該矩形141の実際の幅推定値144及び高さ推定値145を算出し、瞬時にウィザード702上に表示する。表示された推定値144、145の値と、既知もしくは推測可能な大きさ情報とを比較し、その差が許容範囲内であるかを特定の判断基準などにより判断する。一例として、本実施例の選択矩形141について、高さ1.7m、幅0.7mという推定値が得られた時、ユーザが推定値の誤差の許容範囲をそれぞれ±0.3mとしていた場合、推定値は許容範囲内であり、カメラパラメータ推定値で大きさ情報が正しく推定出来ていると言える。画像表示部701上に任意の矩形を選択し、幅推定値144及び高さ推定値145を得るまでの一連の動作は、ステップ4において何度でも実施する事が出来る。従って、距離や大きさの異なるオブジェクトなど、あらゆる領域について、カメラパラメータ推定値の評価を行える。カメラパラメータ推定値が十分に正しい事を確認できた場合、”確定”ボタン146を押すことで、カメラパラメータ推定値を本監視システムにおけるカメラパラメータとして決定する。決定されたパラメータは例えば図12におけるカメラ設定値150のように表示され、物体検出装置102に設定する事が出来る。一方で、カメラパラメータ推定値が適切であると判断できない場合、”やり直す”ボタン147を押し、ステップを途中からやり直してカメラパラメータを推定しなおす。
尚、ステップ4は推定したカメラパラメータを確認するためのものであるため、ウィザードにより推定したカメラパラメータの誤差が実用上考えなくてもよい場合は、ステップ４を省略してもよい。
【００３６】
以上により、カメラ座標系からワールド座標系に変換するカメラパラメータを設定することが可能となり、第一の実施例で説明した座標変換方法により、入力画像中の任意の画像座標より実座標を求めることが出来る。本実施例では、特に、カメラパラメータが未知であり、従来であればワールド座標系を用いることが出来ない場合であっても、ウィザード形式で簡単にカメラパラメータを推定及び設定することが可能で、大きさ判定などワールド座標系に基づく処理を、監視システム上でより容易に用いることが出来るようになる。
【図面の簡単な説明】
【００３７】
【図１】本発明の監視システムの構成例を示すである。
【図２】本発明の設定装置の操作画面の一例を説明するための図である。
【図３】本発明の設定装置の操作画面の一例を説明するための図である。
【図４】本発明の設定装置の表示を説明するための図である。
【図５】本発明の設定方法を説明するための図である。
【図６】本発明の設定方法を説明するための図である。
【図７】本発明の設定装置の操作画面の一例を示す図である。
【図８】本発明の設定方法を説明するための図である。
【図９】本発明の設定方法を説明するための図である。
【図１０】本発明の設定方法を説明するための図である。
【図１１】本発明の設定方法を説明するための図である。
【図１２】本発明の設定方法を説明するための図である。
【符号の説明】
【００３８】
101：撮像装置、102：物体検出装置、103：表示装置、104：設定装置、105：アクセスライン、106：アクセスライン、107：アクセスライン、203：俯角パラメータ設定、204：高さパラメータ設定、205：視野角パラメータ設定、206：パラメータ設定ボタン、207：ライブボタン、208：ファイル選択ボタン208、501：撮像装置の俯角、502：撮像装置の設置の高さ、503：撮像装置の縦方向の視野角、601：撮像装置の横方向の視野角、700：操作画面、701：画像表示部、702：ウィザード表示部、703：ユーザへの指示、704：ステップ番号、705：情報設定ウィンドウ、706："次へ進む"ボタン、707：焦点距離入力フォーム、708：ＣＣＤサイズ選択フォーム、709：道路、901：選択矩形、902：選択矩形、903：選択矩形の座標、904：選択矩形のピクセル幅、905：選択矩形のピクセル高さ、906：選択矩形の座標、907：選択矩形のピクセル幅、908：選択矩形のピクセル高さ、909：選択矩形の実幅入力フォーム、910：選択矩形の実幅入力フォーム、131：選択矩形、132：選択矩形の座標、133：選択矩形のピクセル幅、134：選択矩形のピクセル高さ、141：選択矩形、142：選択矩形の座標情報、143：選択矩形のピクセルサイズ、144：選択矩形の実幅推定値、145：選択矩形の実高さ推定値、146：確定ボタン、147：やりなおすボタン、150：カメラ設定値
【図１】
0005105972.tif 000016
【図２】
0005105972.tif 000017
【図３】
0005105972.tif 000018
【図４】
0005105972.tif 000019
【図５】
0005105972.tif 000020
【図６】
0005105972.tif 000021
【図７】
0005105972.tif 000022
【図８】
0005105972.tif 000023
【図９】
0005105972.tif 000024
【図１０】
0005105972.tif 000025
【図１１】
0005105972.tif 000026
【図１２】
0005105972.tif 000027