(57)【要約】【課題】被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することである。【解決手段】本発明に係る移動体監視システム１は、１台のカメラＣ１と画像提示部１１と移動体方向推定部１２と監視対象選択部１３とを少なくとも備える。画像提示部１１は、カメラＣ１によって撮影された、複数の移動体Ｏ１，Ｏ２が存在する被写界の画像を利用者に提示する。監視対象選択部１３は、利用者による選択操作に従って、画像提示部１１により提示された画像上において、複数の移動体Ｏ１，Ｏ２の中から一の移動体Ｏ１を監視対象として選択する。画像提示部１１は、カメラＣ１から見て移動体Ｏ１の存在する方向を撮影方向とする画像を提示する。また、移動体Ｏ１の左又は右側に別の移動体が存在することが移動体方向推定部１２により判定された場合には、画像提示部１１は、その存在及び位置を提示する。【選択図】  図１
2004336569.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮影された、複数の移動体が存在する被写界の画像を利用者に提示する画像提示手段と、
前記利用者による選択操作に従って、前記画像提示手段により提示された前記画像上において、複数の移動体の中から一の移動体を監視対象として選択する監視対象選択手段とを備え、
前記画像提示手段は、前記監視対象選択手段により選択された前記移動体の方向を撮影方向とする画像を提示することを特徴とする移動体監視システム。
【請求項２】
前記カメラの撮影方向を基準とする移動体の方向を推定すると共に、該推定結果に基づいて、提示画像内の移動体の右側又は左側における別の移動体の存否を判定する移動体方向推定手段を更に備え、
前記画像提示手段は、前記移動体方向推定手段により前記別の移動体が存在することが判定された場合には、前記提示画像内に提示されていない移動体の存在を、その位置と共に前記利用者に提示し、
前記監視対象選択手段は、前記利用者による選択操作に従って、前記画像提示手段により存在が提示された移動体を監視対象として選択することを特徴とする請求項１に記載の移動体監視システム。
【請求項３】
複数のカメラによって撮影された、移動体が存在する被写界の画像を利用者に提示する画像提示手段と、
前記利用者による選択操作に従って、前記画像提示手段により提示された前記画像上において、一の移動体を監視対象として選択する監視対象選択手段と、
前記監視対象選択手段により選択された前記移動体と各カメラとの位置関係を使用して、前記複数のカメラの中から、前記移動体の撮影に適したカメラを選択するカメラ選択手段とを備え、
前記画像提示手段は、前記カメラ選択手段により選択された前記カメラにより撮影された前記移動体の画像を提示することを特徴とする移動体監視システム。
【請求項４】
前記カメラ選択手段は、前記監視対象選択手段により選択された前記移動体とカメラとの間に別の移動体が存在する場合には、当該カメラに優先して、前記移動体との間に別の移動体が存在しないカメラを選択することを特徴とする請求項３に記載の移動体監視システム。
【請求項５】
前記カメラ選択手段は、前記カメラの右側又は左側における別のカメラの存否を判定し、
前記画像提示手段は、前記カメラ選択手段により前記別のカメラが存在することが判定された場合には、当該カメラの存在を、その位置と共に前記利用者に提示し、
前記カメラ選択手段は、前記利用者による選択操作に従って、前記画像提示手段により存在が提示されたカメラを、前記移動体を撮影するカメラとして選択することを特徴とする請求項３に記載の移動体監視システム。
【請求項６】
移動体監視システムが、
カメラによって撮影された、複数の移動体が存在する被写界の画像を利用者に提示する第１の画像提示ステップと、
前記利用者による選択操作に従って、前記第１の画像提示ステップにて提示された前記画像上において、複数の移動体の中から一の移動体を監視対象として選択する監視対象選択ステップと、
前記監視対象選択ステップにて選択された前記移動体の方向を撮影方向とする画像を提示する第２の画像提示ステップとを含むことを特徴とする移動体監視方法。
【請求項７】
移動体監視システムが、
複数のカメラによって撮影された、移動体が存在する被写界の画像を利用者に提示する第１の画像提示ステップと、
前記利用者による選択操作に従って、前記第１の画像提示ステップにて提示された前記画像上において、一の移動体を監視対象として選択する監視対象選択ステップと、
前記監視対象選択ステップにて選択された前記移動体と各カメラとの位置関係を使用して、前記複数のカメラの中から、前記移動体の撮影に適したカメラを選択するカメラ選択ステップと、
前記カメラ選択ステップにて選択された前記カメラにより撮影された前記移動体の画像を提示する第２の画像提示ステップとを含むことを特徴とする移動体監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラを使用した移動体監視システム、及び移動体監視方法に関する。
【０００２】
【従来の技術】
従来、複数箇所に設置されたカメラを使用して、被写界に存在し得る移動体の遠隔監視を行うシステムが実用化されている。かかるシステムは、様々な手法によって実現されている。例えば、カメラと同数のモニタを用意して各モニタに異箇所の映像を表示する手法、複数の表示領域に分割された１台のモニタに異箇所の映像を同時に表示する手法、あるいは、１台のモニタに異箇所の映像を時分割で順次表示する手法、１台のモニタに異箇所の映像を適宜切換え可能に表示する手法などが一般的である。また、これらの手法のうち、複数の手法を組み合わせた手法も提案されている。
【０００３】
更には、被写界に存在する移動体（不審者など）を自動的に検出及び追跡し、該移動体を含む画像を利用者に提示するシステムも提案されている（例えば、非特許文献１。）。かかるシステムは、３体までの移動体を利用者に提示可能なものである。利用者が、複数の移動体の中から監視対象を指定する手法としては、提示画像とは別に設けられた被写界の地図上で移動体の位置を選択する手法、あるいは、検出された移動体のリストから監視対象を選択する手法がある。
【０００４】
また、非特許文献２には、以下に説明する移動体の検出手法が開示されている。すなわち、同一の室内空間を撮影した複数台のカメラから得られる画像から、人物領域を示す差分画像を抽出した後、視体積交差法を用いることで、人物の存在によって生じる差分領域が空間中に存在する領域を推定する。そして、当該室内空間を離散化した直方体の集合により、室内空間内における人物の位置を俯瞰視点にて表現する。
【０００５】
【非特許文献１】
“全方位画像センサによるネットワークを介したテレプレゼンスシステムと遠隔監視システム”、信学技報ＰＲＭＵ２００２−８３，電子情報通信学会，Ｓｅｐ．２００２、森田真司、山澤一誠、横矢直和
【非特許文献２】
“ダイナミックミニチュアモデルによるセキュリティ監視システム”、信学技報ＰＲＭＵ２００２−１９３，電子情報通信学会，Ｊａｎ．２００３、川崎直之、高井昌彰
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、以下に示す問題点があった。すなわち、利用者が、スイッチ等を利用して手動で、画像を提示するカメラを選択する場合には、利用者が各カメラの撮影範囲を事前に把握しておく必要がある。また、利用者が、何の訓練も無しに、監視したい移動体を提示画像内に適確かつ継続して捉えることは困難である。
【０００７】
また、非特許文献１の様に、システムが、移動体の位置推定結果に基づいてその追跡を行うと共に、画像を提示するカメラを自動的に切り換える場合であっても、次の難点が懸念される。すなわち、システムが追跡する移動体を誤った際に、正しい移動体を追跡する状態にすばやく戻すために、利用者は、被写界が掲載された地図、あるいは、提示画像内の移動体とリスト表示された移動体との対応関係を事前に把握しておく必要がある。また、そのための訓練や慣れが少なくとも必要となる。
【０００８】
更に、システムが移動体を追跡してカメラを自動的に切り換える場合、従前に想定されていた環境では、各カメラ間における被写界の重なりが小さいため、移動体に最も近いカメラを選択する手法で十分である。しかし、ユビキタスセンサネットワーク環境の様に、多数のカメラが設置され、各カメラ間において被写界が大きく重なり合う場合には、移動体に最も近いカメラを選択するのが必ずしも最適とは限らない。例えば、カメラに極めて近接した位置に移動体が存在する場合には、その全貌がカメラの撮影範囲に収まらないし、複数の移動体が重なって投影される場合には、移動体が幾つ存在するのかが提示画像からは判別しにくい。
【０００９】
非特許文献２に記載の技術は、室内空間における移動体の位置や移動軌跡などの全体像を把握するには適した手法である。しかしながら、空間解像度が低いため、監視で重要となる人物の表情や細部の動き等、移動体の詳細な状況を、提示画像から利用者が適確に把握することは難しい。
【００１０】
そこで、本発明の課題は、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することである。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る移動体監視システムは、カメラによって撮影された、複数の移動体が存在する被写界の画像を利用者に提示する画像提示手段と、前記利用者による選択操作に従って、前記画像提示手段により提示された前記画像上において、複数の移動体の中から一の移動体を監視対象として選択する監視対象選択手段とを備え、前記画像提示手段は、前記監視対象選択手段により選択された前記移動体の方向を撮影方向とする画像を提示する。
【００１２】
本発明に係る移動体監視方法は、移動体監視システムが、カメラによって撮影された、複数の移動体が存在する被写界の画像を利用者に提示する第１の画像提示ステップと、前記利用者による選択操作に従って、前記第１の画像提示ステップにて提示された前記画像上において、複数の移動体の中から一の移動体を監視対象として選択する監視対象選択ステップと、前記監視対象選択ステップにて選択された前記移動体の方向を撮影方向とする画像を提示する第２の画像提示ステップとを含む。
【００１３】
これらの発明によれば、利用者は、提示画像内に存在する複数の移動体の中から、監視したい一の移動体を選択することにより、この移動体の方向（カメラから移動体に向かう方向）を撮影方向とする画像、つまり中心部近傍に該移動体が常に捉えられた画像を参照することができる。移動体を選択する操作は、提示画像上を移動可能なポインタやカーソルを提示画像上に表示させることで容易に実現される。その結果、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【００１４】
本発明に係る移動体監視システムにおいて好ましくは、前記カメラの撮影方向を基準とする移動体の方向を推定すると共に、該推定結果に基づいて、提示画像内の移動体の右側又は左側における別の移動体の存否を判定する移動体方向推定手段を更に備え、前記画像提示手段は、前記移動体方向推定手段により前記別の移動体が存在することが判定された場合には、前記提示画像内に提示されていない移動体の存在を、その位置と共に前記利用者に提示し、前記監視対象選択手段は、前記利用者による選択操作に従って、前記画像提示手段により存在が提示された移動体を監視対象として選択する。
【００１５】
本発明によれば、現在撮影されている移動体のみならず、その右側又は左側に位置し、かつ、利用者に提示しきれない移動体が存在する場合に、その旨が位置（右側、左側の何れか）と共に提示される。これにより、利用者は、カメラの画角外にある移動体の存在及び位置を簡易迅速に把握することができる。また、利用者は、提示画像を参照しながら、該画像内の移動体の右側又は左側に提示された移動体を選択することができる。提示画像の参照は、利用者による直感的な移動体の切換えを実現させる。その結果、利用者は、被写界に関する事前把握や操作の訓練を必要とせずに、容易かつ適確に監視対象を所望の移動体に変更することが可能となる。
【００１６】
本発明に係る移動体監視システムは、複数のカメラによって撮影された、移動体が存在する被写界の画像を利用者に提示する画像提示手段と、前記利用者による選択操作に従って、前記画像提示手段により提示された前記画像上において、一の移動体を監視対象として選択する監視対象選択手段と、前記監視対象選択手段により選択された前記移動体と各カメラとの位置関係（例えば、距離の長短）を使用して、前記複数のカメラの中から、前記移動体の撮影に適したカメラを選択するカメラ選択手段とを備え、前記画像提示手段は、前記カメラ選択手段により選択された前記カメラにより撮影された前記移動体の画像を提示する。
【００１７】
本発明に係る移動体監視方法は、移動体監視システムが、複数のカメラによって撮影された、移動体が存在する被写界の画像を利用者に提示する第１の画像提示ステップと、前記利用者による選択操作に従って、前記第１の画像提示ステップにて提示された前記画像上において、一の移動体を監視対象として選択する監視対象選択ステップと、前記監視対象選択ステップにて選択された前記移動体と各カメラとの位置関係（例えば、距離の長短）を使用して、前記複数のカメラの中から、前記移動体の撮影に適したカメラを選択するカメラ選択ステップと、前記カメラ選択ステップにて選択された前記カメラにより撮影された前記移動体の画像を提示する第２の画像提示ステップとを含む。
【００１８】
これらの発明によれば、利用者は、提示画像内に存在する複数の移動体の中から、監視したい一の移動体を選択することにより、この移動体の方向を撮影方向とする画像、つまり中心部近傍に該移動体が常に捉えられた画像を参照することができる。移動体を選択する操作は、提示画像上を移動可能なポインタやカーソルを表示させることで容易に実現される。また、移動体を撮影可能な複数のカメラの中から、実際に撮影（提示画像の提供）に使用されるカメラが１台選択される。通常、監視対象となる移動体とカメラとの距離が短い程、利用者は、提示画像内の移動体をより適確に監視できるが、上記カメラは、移動体との距離に基づいて選定された、当該移動体を撮影するために最適なカメラである。したがって、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【００１９】
本発明に係る移動体監視システムにおいて好ましくは、前記カメラ選択手段は、前記監視対象選択手段により選択された前記移動体とカメラとの間に別の移動体が存在する場合には、当該カメラに優先して、前記移動体との間に別の移動体が存在しないカメラを選択する。
【００２０】
本発明によれば、実際に撮影（提示画像の提供）に使用されるカメラの選択に際して、監視対象である移動体との距離のみならず、移動体との間における別の移動体の存否が勘案されることになる。すなわち、移動体に近いカメラが必ずしも優先的に選択されるとは限らず、より移動体に近い別のカメラが存在するカメラであっても、移動体との間に別の移動体が存在しない場合には、当該カメラが移動体を撮影するために最適なカメラと判断され、選択される。かかるカメラ選択手法は、複数のカメラの中で監視対象の移動体に最も近いカメラと移動体との間に、別の移動体や障害物が存在し、監視対象を遮っている場合などに特に効果的である。この様な場合に、遮蔽物の存在しない別のカメラが選択されることで、監視対象に対する撮影方向が変化する。その結果、監視の容易性、適確性の観点から、より実益の高い提示画像を利用者に提示することができる。
【００２１】
本発明に係る移動体監視システムにおいては、前記カメラ選択手段は、前記カメラの右側又は左側における別のカメラの存否を判定し、前記画像提示手段は、前記カメラ選択手段により前記別のカメラが存在することが判定された場合には、当該カメラの存在を、その位置と共に前記利用者に提示し、前記カメラ選択手段は、前記利用者による選択操作に従って、前記画像提示手段により存在が提示されたカメラを、前記移動体を撮影するカメラとして選択するものとしもよい。
【００２２】
本発明によれば、移動体を現在撮影しているカメラの右側又は左側に別のカメラが存在する場合には、その旨が位置（右側、左側の何れか）と共に提示される。これにより、利用者は、現在は提示画像を提示していないカメラの存在及び位置を簡易迅速に把握することができる。また、利用者は、提示画像を参照しながら、移動体を撮影中のカメラの右側又は左側に提示されたカメラを選択することができる。提示画像の参照は、利用者による直感的なカメラの選択及び切換えを実現させる。その結果、利用者は、被写界に関する事前把握（特に、各カメラの設置位置関係に関する事前知識）や操作の訓練を必要とせずに、容易かつ適確に所望の移動体の監視を行うことが可能となる。
【００２３】
【発明の実施の形態】
（第１の実施形態）
以下、例示のみの為に添付された図面を参照しながら、本発明の第１の実施形態について説明する。まず、本実施の形態における移動体監視システム１の構成について説明する。図１に示す様に、移動体監視システム１は、機能的な構成要素として、１台のカメラＣ１と、移動体監視装置１０とを備える。更に、移動体監視装置１０は、画像提示部１１（画像提示手段に対応）と、移動体方向推定部１２（移動体方向推定手段に対応）と、監視対象選択部１３（監視対象選択手段に対応）とを備える。これら各部は、バスＢ１を介して相互に信号の送受信が可能な様に接続されている。
【００２４】
以下、移動体監視システム１の各構成要素について詳細に説明する。
カメラＣ１は、撮影方向（カメラの向き）及び画角（カメラの視野角）を所定の範囲内で調節可能に構成されており、移動体やその背景を含む被写界を撮影する。撮影された被写界の画像は、提示画像として利用者に提供される。ここで、提示画像とは、利用者に提示されている画像、すなわち利用者が実際に閲覧可能な画像である。したがって、撮影方向や画角の変更等によりカメラが提供可能であっても、現に利用者に提示されていない画像は含まない。
【００２５】
なお、本実施の形態では、カメラＣ１として、撮影方向や画角を動的に変更可能なカメラ（所謂アクティブカメラ）を想定するが、これに限らず、例えば、画角が１８０度の広角カメラ、あるいは、水平方向の画角が３６０度の全方位カメラであってもよい。
【００２６】
画像提示部１１は、カメラＣ１により撮影された被写界の画像を提示画像として、本システムの利用者（オペレータ）に提示する。提示画像上には、当該利用者が被写界の様子を参照しながら監視対象を直接的に選択可能なように、ポインタが表示される。図２は、一の移動体を含む提示画像Ｐ１において、ポインタＡにより移動体Ｏ１が選択された様子を示す図である。同様に、図３は、二の移動体Ｏ１，Ｏ２を含む提示画像Ｐ２において、ポインタＡにより移動体Ｏ１が選択された様子を示す図である。
【００２７】
移動体方向推定部１２は、任意の手法により、カメラを基点とした移動体の存在する方向を推定する。移動体方向推定部１２は、例えば、撮影画像の固定背景差分による移動体の差分領域の存在する方向を推定することにより、移動体の存在する方向を推定する。あるいは、周知慣用の手法で移動体の位置を検出し、該移動体の位置とカメラの設置箇所との位置関係に基づいて、移動体の存在する方向を推定する。また、移動体方向推定部１２は、当該推定結果に基づいて、提示画像内の移動体の右側又は左側に位置し、かつ、提示画像内に入りきらない別の移動体の存否を判定する。
【００２８】
監視対象選択部１３は、移動体方向推定部１２により推定された移動体の方向と、提示画像内のポインタの位置とを参照して特定された移動体を、利用者による監視対象として選択する。
【００２９】
次に、移動体監視システム１の動作を説明し、併せて、本発明に係る移動体監視方法について説明する。図４は、移動体監視システム１により実行される移動体監視処理を説明するためのフローチャートである。
【００３０】
まずＳ１では、移動体方向推定部１２は、提示画像の撮影方向（カメラの向き）を基準とした移動体（複数有る場合は各移動体）の方向を推定する。
続いて、移動体方向推定部１２は、Ｓ１における推定結果を基に、現在撮影されている移動体の右側又は左側における別の移動体の存否を判定すると共に、存在する場合には提示されていない移動体の存否を判定する（Ｓ２）。
双方の要件を満たす移動体が存在することが判定された場合（Ｓ２；ＹＥＳ）には、移動体方向推定部１２は、存在するにも関わらず利用者に提示されていない移動体が存在するものと判断し、移動体の存在を示す情報を、提示画像近傍の対応する位置に表示させる。表示は、画像提示部１１が行う。
【００３１】
本実施の形態では、図５に示す様に、カメラＣ１の画角内に移動体Ｏ１は収まるが移動体Ｏ２は収まらない場合を想定する。この場合、移動体Ｏ２はカメラＣ１の画角の左側に存在するので、図６に示す様に、移動体Ｏ２の存在は、提示画像Ｐ３の左側に提示されることになる。これにより、利用者は、現時点でカメラＣ１によっては捉えきれない移動体の存在、及びその位置を直感的に把握することができる。
【００３２】
図４に戻り、Ｓ３の処理が完了すると、監視対象選択処理（Ｓ４〜Ｓ１０）に移行する。
Ｓ４では、監視対象選択部１３は、特定の移動体を追跡して監視する指示を待機しており、かかる指示入力を検出すると（Ｓ４；ＹＥＳ）、Ｓ５の処理に移行する。すなわち、監視対象選択部１３は、監視対象の移動体が既に選択されているか否かを判定する（Ｓ５）。
【００３３】
当該判定の結果、現時点で移動体が選択されていない場合には（Ｓ５；ＮＯ）、監視対象選択部１３は、利用者によって指示されているポインタの位置を検出する（Ｓ６）。位置検出の結果、ポインタが提示画像内に存在する場合には（Ｓ７；ＹＥＳ）、監視対象選択部１３は、提示画像上においてポインタの位置に近い移動体を監視対象として選択する（Ｓ８）。具体的には、監視対象選択部１３は、ポインタの指示する方向と、移動体方向推定部１２により推定された移動体（複数有る場合は各移動体）の方向との為す角度を算出し、これが最小となる移動体を監視対象として選択する。
【００３４】
なお、Ｓ８では、上記角度が最小となる移動体に限らず、当該角度が閾値以下となる条件を満たす移動体の中から、カメラとの距離が最も近い移動体を選択するものとしてもよい。また、当該角度が閾値以下となる条件を満たす移動体の中から、固定背景差分により生じる差分領域の面積が最大となる移動体を選択するものとしてもよい。
【００３５】
一方、Ｓ６における位置検出の結果、ポインタが提示画像内に存在しない場合には（Ｓ７；ＮＯ）、監視対象選択部１３は、提示画像外の移動体、すなわち、現在提示されている移動体の右側又は左側に存在する移動体の提示を利用者が要求しているものと判断し、ポインタの位置に応じた移動体を監視対象として選択する（Ｓ１０）。例えば、図６に示した様に、利用者が、ポインタＡを介して、提示画像Ｐ３の左側に表示されている移動体Ｏ２を指定した場合には、移動体Ｏ２が監視対象として選択される。その結果、以後、移動体Ｏ２の方向を撮影方向とした提示画像が利用者の閲覧に供される。
【００３６】
画像の提示形態は任意であるが、監視対象を利用者が簡易迅速に把握可能とする観点から、選択されている移動体の領域を切出し領域（図２、図３、図６のハッチング部分）として表示することが好ましい。
【００３７】
なお、ポインタが提示画像の内外何れにも存在しない場合には（図示せず）、監視対象選択部１３は、利用者が監視したい移動体は存在しないものと判断し、特定の移動体を追跡監視する指示がない場合（Ｓ４；ＮＯ）と同様に、当該指示の待機を継続する。
【００３８】
Ｓ９では、画像提示部１１は、監視対象選択部１３からの指示に従って、Ｓ８若しくはＳ１０で選択された移動体の方向を撮影方向とし、所定の画角を有する提示画像を利用者に提示する。ポインタの位置から撮影方向を決定する手法に関しては、様々な手法が考え得るが、例えば、カメラの特性が考慮された計算式により算定する手法や、ポインタの座標と撮影方向とが予め対応付けられたテーブルを参照する手法などが採られる。前者は、後者に対して、木目細やかな撮影方向の調整が可能であるという長所を有し、後者は、前者に対して、処理時間を短縮できるという長所を有する。
【００３９】
なお、Ｓ５において、監視対象の移動体が選択済である場合には（Ｓ５；ＹＥＳ）、監視対象選択部１３は、ポインタの検出を行うことなく、既に選択されている移動体を中心とした撮影方向の提示画像を画像提示部１１に提示させる。ここで、監視対象の移動体が選択済であるとは、必ずしも利用者が能動的に移動体を選択した場合に限らず、Ｓ１における移動体の方向導出の結果、被写界に移動体が１つしか存在しないことが判明した場合を含む。
【００４０】
以上説明した様に、移動体監視システム１によれば、移動体監視装置１０は、カメラＣ１により撮影された被写界の画像を画像提示部１１に提示させる。監視対象選択部１３により、提示画像Ｐ２上において一の移動体Ｏ１（図３参照）が監視対象として選択されると、カメラＣ１は移動体Ｏ１を追跡し、カメラＣ１から移動体Ｏ１に向かう方向（移動体Ｏ１の方向）を撮影方向とする画像が継続的に提示される。したがって、利用者は、提示画像内に表示された複数の移動体の中から、監視したい一の移動体を選択することにより、この移動体の方向を撮影方向とする画像、つまり中心部近傍に該移動体が表示された画像を参照することができる。移動体を選択する操作は、提示画像上を移動可能なポインタＡを表示させることで容易に実現される。その結果、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【００４１】
また、移動体監視システム１は、例えば、以下に説明する場合に適用することも効果的である。すなわち、利用者が移動体の追跡監視を行っていた際に、当該移動体が他の移動体と近接したことにより、システムが監視対象を誤認して、本来監視すべき移動体とは別の移動体を追跡してしまった場合である。かかる場合であっても、本来の監視対象である移動体が提示画像から外れる前に、当該移動体を利用者が選択しておくことで、所望する移動体の追跡監視を間断無く継続することができる。
【００４２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態では、１台のカメラを用いて、複数の移動体の中から選ばれた一の移動体を監視する場面を想定したが、第２の実施形態においては、複数のカメラを用いて１又は複数の移動体を監視する場面を想定する。本実施の形態では、システムがカメラを自動的に選択して特定の移動体を追跡監視する態様（図９のＴ２〜Ｔ９）と、利用者がカメラを手動操作で切り換えて監視する態様（図９のＴ１１〜Ｔ１４）とに分けて、上記場面の説明を行う。
【００４３】
まず、本実施の形態における移動体監視システム２の構成について説明する。
図７に示す様に、移動体監視システム２は、機能的な構成要素として、ｎ台のカメラＣ１〜Ｃｎと、移動体監視装置２０とを備える。更に、移動体監視装置２０は、画像提示部２１（画像提示手段に対応）と、監視対象選択部２２（監視対象選択手段に対応）と、移動体位置推定部２３と、カメラ選択部２４（カメラ選択手段に対応）と、カメラ情報記憶部２５とを備える。これら各部は、バスＢ２を介して相互に各種信号の送受信が可能な様に接続されている。
【００４４】
以下、移動体監視システム２の各構成要素について詳細に説明する。
カメラＣ１〜Ｃｎは、撮影方向（カメラの向き）及び画角（カメラの視野角）を所定の範囲内で調節可能に構成されており、被写界を同一とする撮影装置である。ｎは、２以上の整数である。
【００４５】
画像提示部２１は、カメラＣ１〜Ｃｎの中から選択された任意のカメラにより撮影された被写界の画像を提示画像として、本システムの利用者（オペレータ）に提示する。提示画像上には、当該利用者が被写界の様子を参照しながら監視対象を直接的に選択可能なように、ポインタＡが表示される（第１の実施形態に前述の図２、図３参照。）。
【００４６】
監視対象選択部２２は、提示画像内の移動体の中から、カメラの自動選択による追跡監視の対象として、一の移動体を選択する。監視対象の選択には、移動体方向の推定処理が必要となるが、当該処理に関しては、第１の実施形態において詳述したので、その説明は省略する。
【００４７】
移動体位置推定部２３は、監視対象として選択された移動体Ｏ１の位置を推定する。かかる位置推定処理に関しては周知慣用の三次元計測技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に例示する。移動体位置推定部２３は、平行ステレオ法により、被写界としての三次元空間上に存在する移動体の位置を推定する。すなわち、移動体位置推定部２３は、焦点距離ｆが等しく光軸が互いに平行な複眼レンズを有するカメラを備え、この複眼カメラにより少なくとも２つの視点から上記移動体を観測する。そして、各視点に投影された画像における上記移動体の位置の相違に基づいて、三角測量法によりその三次元位置を推定する。
【００４８】
カメラ選択部２４は、監視対象として選択された移動体（例えば移動体Ｏ１）と各カメラＣ１〜Ｃｎとの間の距離を用いて、カメラＣ１〜Ｃｎの中から、提示画像の提供に使用されるカメラを選択する。具体的な処理内容に関しては後述するが、カメラ選択部２４は、所定の数式に上記距離を適用した値（カメラ選択評価値）を算出し、この値が最大となるカメラを選択する。カメラ選択評価値の算出に際しては、距離のみならず、移動体Ｏ１との間における遮蔽物の有無を考慮することが好ましい。また、上記距離の算出に際しては、移動体位置推定部２３による推定結果を使用してもしなくてもよい。
【００４９】
カメラ情報記憶部２５には、提示画像の提供に現在使用されているカメラの位置を基準として、その左側及び右側に設置されているカメラに固有の識別情報が、使用中のカメラの識別情報と共に記憶される。図８（ａ）に示す様に、カメラ情報記憶部２５は、左側カメラＩＤ領域２５ａと右側カメラＩＤ領域２５ｂとを有する。左側カメラＩＤ領域２５ａには、画像提示に現に使用されているカメラの１台分左側に位置するカメラの識別情報が更新可能に記憶される。同様に、右側カメラＩＤ領域２５ｂには、画像提示に現に使用されているカメラの１台分右側に位置するカメラの識別情報が更新可能に記憶される。左側又は右側にカメラが存在しない場合には、その旨を示す情報（例えば、“ＮＵＬＬ”）が更新可能に記憶される。
【００５０】
カメラＣ１〜Ｃｎが左側から順に配置されている場合において、カメラＣ２の撮影に係る画像が提示画像である時には、図８（ａ）に示す様に、カメラＣ２の左側に設置されているカメラの識別情報（例えば“Ｃ１”）が左側カメラＩＤ領域２５ａに記憶され、カメラＣ２の右側に設置されているカメラの識別情報（例えば“Ｃ３”）が右側カメラＩＤ領域２５ｂに記憶される。その後、提示画像の提供に使用されるカメラがカメラＣ２からカメラＣ１に切り換えられた時には、図８（ｂ）に示す様に、左側カメラＩＤ領域２５ａに記憶されている“Ｃ１”は“ＮＵＬＬ”に更新され、右側カメラＩＤ領域２５ｂに記憶されている“Ｃ３”は“Ｃ２”に更新される。
【００５１】
次に、移動体監視システム２の動作を説明し、併せて、本発明に係る移動体監視方法について説明する。図９は、移動体監視システム２により実行される移動体監視処理を説明するためのフローチャートである。
【００５２】
まず、利用者により、提示画像の提供に使用されるカメラの自動選択が指示されると（Ｔ１；ＹＥＳ）、監視対象選択部２２は、特定の移動体を追跡して監視する指示を待機する。
Ｔ２では、利用者が、提示画像上において特定の移動体を監視対象として選択し、これを契機として、Ｔ３〜Ｔ９に示す自動追跡処理が開始される。本実施の形態では、監視対象として移動体Ｏ１が選択された場合を想定し、以下の説明を行う。
【００５３】
Ｔ３においては、カメラ選択部２４は、提示画像の提供に使用するカメラを選択するための前提処理として、各カメラＣ１〜Ｃｎと、監視対象としての移動体Ｏ１との距離を算出する。移動体位置推定部２３により移動体Ｏ１の位置が事前に推定されている場合には、推定された位置とカメラの設置位置とから距離の算出が可能である。また、何れか一方の位置が未定の場合であっても、カメラが固定背景差分処理を実行することにより、移動体Ｏ１により投影される差分領域の面積を基に、上記距離を算出することが可能である。
【００５４】
カメラ選択部２４は、Ｔ２で選択された移動体を遮蔽する別の移動体（以下、「遮蔽物」と記す。）が、Ｔ２で選択された移動体と距離の算出に係るカメラとの間に存在するか否かを判定する（Ｔ４）。遮蔽物の存否の判定手法は様々考え得るが、例えば、カメラと移動体双方の位置が判明している場合には、カメラ選択部２４は、カメラ、監視対象の移動体、他の移動体それぞれの二次元座標を検出することで遮蔽物の存否を判定する。また、移動体Ｏ１の投影される差分領域を用いる場合には、カメラ選択部２４は、移動体Ｏ１の自動追跡処理と並行して差分領域の面積を保持しておき、この面積の変化割合に基づいて遮蔽物の存否を判定する。すなわち、カメラ選択部２４は、差分領域の面積に閾値以上の変化が認められる時には、他の移動体Ｏ２が移動体Ｏ１よりカメラに近い位置で重なる、つまり遮蔽物が存在するものと判定する。
【００５５】
Ｔ４における判定の結果、遮蔽物の存在が確認された場合には（Ｔ４；ＹＥＳ）、距離の算出に係るカメラは、上記移動体との距離が例え近くても、使用に適さない可能性があるので、カメラ選択部２４は、カメラ選択評価値に対する重み付けを行うことが好適である。すなわち、カメラＣ１〜Ｃｎは、そのカメラ選択評価値が大きい程、優先的に選択されることから、カメラ選択部２４は、移動体Ｏ１との間に遮蔽物が存在するカメラに関して、カメラ選択評価値が低くなるような重み付け（例えば、０より大きく１未満の数値の乗算）を行う。
【００５６】
重み付けに使用される数値（重み）は、重み付けを有為なものとする観点から、実質的に重み付け無しを意味する数値“１”と比較して十分に小さい数値を使用する。具体的には、０．５程度に設定しておくことが好ましい。重みは、それ自体が０でない限り、重み付けによりカメラ選択評価値を０にすることはない。
このため、カメラと移動体Ｏ１との間に遮蔽物が多数存在する場合や、全てのカメラに遮蔽物の影響が存する場合であっても、カメラ選択評価値が相対的に最も低いカメラ、換言すれば遮蔽物による影響がより少ないカメラが選ばれることになる。
【００５７】
更に、この重みとしては、使用中のカメラと比較して設置位置や撮影方向が近いカメラ程、１に近い大きな値が設定され、反対に、設置位置や撮影方向の差が大きいカメラ程、０に近い小さな値が設定される。これにより、切換えに伴う提示画像の変化の小さいカメラへの切換えが優先的に行われる。したがって、カメラが切り換わっても、利用者は、できる限り変化の抑えられた提示画像を閲覧することができる。
【００５８】
Ｔ４における判定の結果、遮蔽物が存在しないと判定された場合には（Ｔ４；ＮＯ）、カメラ選択評価値に対する重み付けを行わず（Ｔ５の処理を省略して）、Ｔ６に移行する。
【００５９】
Ｔ６においては、カメラ選択部２４は、Ｔ３でカメラ毎に算出された距離を所定の評価値算出式にそれぞれ代入することにより、カメラを選択する際の指標となるカメラ選択評価値を算出する。評価値算出式は、１つの極大値を有する凸型の関数であれば足りるが、カメラと移動体間の距離をｘとすると、カメラ選択評価値Ｅは、定数ａを用いて、例えば次式（１）で表される。
Ｅ＝２ａｘ／（ｘ２＋ａ２）    …（１）
【００６０】
この様な凸型の関数を用いることより、移動体Ｏ１がカメラから遠い場合（換言すれば、距離ｘが大きい値の場合）だけでなく、移動体Ｏ１がカメラに近過ぎる場合（換言すれば、距離ｘが小さ過ぎる値の場合）であってもカメラ選択評価値Ｅを低い値におくことができる。したがって、移動体Ｏ１がカメラに近付き過ぎて画角に収まりきらない場合にまで、当該カメラが選択されることがなく、移動体Ｏ１を常時確実に提示画像内に捉えることができる。
【００６１】
Ｔ７では、Ｔ３〜Ｔ６の一連の処理が、全てのカメラＣ１〜Ｃｎに関して実行されたか否かが確認される。確認の結果、実行されていない場合には（Ｔ７；ＮＯ）、カメラ選択部２４は、カメラ選択評価値が算出されていないカメラが残存するものと判断し、Ｔ３以降の処理が再び実行される。一方、実行された場合には（Ｔ７；ＹＥＳ）、カメラ選択部２４は、被写界を同一とする全てのカメラＣ１〜Ｃｎの選択評価値が算出され、各算出値の比較が可能になったものと判断し、Ｔ８に移行する。
【００６２】
Ｔ８では、カメラ選択部２４は、カメラＣ１〜Ｃｎに関して算出された全てのカメラ選択評価値の大小を比較する。カメラ選択部２４は、当該比較の結果、カメラ選択評価値が最大値をとるカメラを、提示画像提供用のカメラとして選択する（Ｔ９）。Ｔ１０では、カメラ情報記憶部２５において、Ｔ９で選択されたカメラの左右に設置されているカメラのＩＤが更新される。
【００６３】
Ｔ１において、利用者により、提示画像の提供に使用されるカメラの手動選択が指示されると（Ｔ１；ＮＯ）、カメラ選択部２４は、カメラ情報記憶部２５に格納されているデータを参照して、現在使用中のカメラの右側又は左側における、切換え可能な別のカメラの有無を判定する（Ｔ１１）。
【００６４】
当該判定の結果、切換え可能な別のカメラが存在すると判定された場合（Ｔ１１；ＹＥＳ）には、カメラ選択部２４は、その旨を示す情報を、提示画像近傍の対応する位置に表示させる（Ｔ１２）。表示は、画像提示部２１が行う。
【００６５】
Ｔ１２が完了すると、カメラ選択部２４は、カメラの切換え指示を待機する。
利用者が当該指示を行うと（Ｔ１３；ＹＥＳ）、指示に応じた位置に設置されているカメラへの切換えを行う（Ｔ１４）。
なお、Ｔ１１において、切換え可能な別のカメラが存在しないと判定された場合（Ｔ１１；ＮＯ）には、Ｔ１２の処理は省略される。
【００６６】
例えば、図１０に示す様に、利用者が、ポインタＡを介して、提示画像Ｐ４の右側に表示されているカメラを指定した場合には、提示画像の提供に使用されるカメラは当該カメラに切り替えられ、以後、このカメラによって撮影された画像が利用者の閲覧に供される。
【００６７】
以上説明した様に、第２の実施形態における移動体監視システム２によれば、利用者は、中心部近傍に所望の移動体が常に捉えられた画像を参照することができるのは勿論のこと、移動体を撮影可能な複数のカメラＣ１〜Ｃｎの中から、提示画像の提供に実際に使用するカメラを１台選択することができる。これにより、例えば、所望の移動体に最も近いカメラ、あるいは、所望の移動体を最も見易いカメラといった、より監視に適したカメラが提示画像の提供に使用される。したがって、被写界に関する事前把握や操作の訓練を要せずに、より監視に適したカメラによって捉えられた画像を利用者の閲覧に供することが可能となる。
【００６８】
【発明の効果】
本発明によれば、被写界に関する事前把握や操作の訓練を要せずに、容易かつ適確に所望の移動体を監視することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における移動体監視システムの構成を示す図である。
【図２】提示画像内に表示された移動体を利用者が選択する様子を示す図である。
【図３】提示画像内に表示された複数の移動体から一の移動体を利用者が選択する様子を示す図である。
【図４】第１の実施形態における移動体監視処理を説明するためのフローチャートである。
【図５】カメラの画角と複数の移動体との位置関係を示す図である。
【図６】提示画像内の移動体の左側における別の移動体の存在が提示された様子を示す図である。
【図７】本発明の第２の実施形態における移動体監視システムの構成を示す図である。
【図８】図８（ａ）は、カメラ情報記憶部におけるカメラ切換え前のデータ格納例を示す図である。図８（ｂ）は、カメラ情報記憶部におけるカメラ切換え後のデータ格納例を示す図である。
【図９】第２の実施形態における移動体監視処理を説明するためのフローチャートである。
【図１０】画像提示に使用中のカメラの右側に位置する別のカメラの存在が提示された様子を示す図である。
【符号の説明】
１，２…移動体監視システム、Ｃ１〜Ｃｎ…カメラ、１０，２０…移動体監視装置、１１，２１…画像提示部、１２…移動体方向推定部、１３，２２…監視対象選択部、２３…移動体位置推定部、２４…カメラ選択部、２５…カメラ情報記憶部、Ｏ１，Ｏ２…移動体
【図１】
2004336569.tif 000003
【図２】
2004336569.tif 000004
【図３】
2004336569.tif 000005
【図４】
2004336569.tif 000006
【図５】
2004336569.tif 000007
【図６】
2004336569.tif 000008
【図７】
2004336569.tif 000009
【図８】
2004336569.tif 000010
【図９】
2004336569.tif 000011
【図１０】
2004336569.tif 000012