(57)【要約】【課題】複数の監視カメラで監視対象を追跡する監視システムにおいて、監視対象の動きに合わせて自動的にカメラ映像が切り替わっても、監視対象の位置を見失うことのない監視映像モニタリングシステムを提供する。【解決手段】監視対象の移動方向を検出する移動方向検出手段と、監視区域の通路構成を記憶する地図情報記憶手段と、カメラの設置情報を記憶するカメラ設置位置記憶手段と、移動方向情報と通路構成情報とカメラ設置情報から、監視対象を次に撮影するカメラを特定するカメラ選択手段と、監視対象を撮影中のカメラ映像とカメラ選択手段により選択されたカメラ映像を合成表示する画面合成手段を備え、監視端末画面上に、監視対象を撮影中のカメラ映像と、監視対象の移動経路上にあり、次に監視対象を撮影するカメラ映像を同時に表示することにより、監視者が監視対象の位置を見失うことがない監視映像モニタリングシステムを構成する。【選択図】  図１
2005012415.tif 000002
【特許請求の範囲】
【請求項１】
監視区域内で監視対象となる移動体を複数カメラで監視するための監視映像モニタリングシステムであって、
複数のカメラ部と、
前記カメラ部によって撮影された監視対象の移動方向を検出する移動方向検出手段と、
前記監視区域の地図情報を記憶する地図情報記憶手段と、
前記監視区域における、前記複数のカメラ部の設置位置と撮像範囲情報とを記憶するカメラ位置記憶手段と、
前記監視対象の移動方向情報と、前記監視区域の地図情報と、前記複数のカメラ部の設置位置と撮像範囲情報と、から、監視対象を次に撮影するカメラ部を予測するカメラ選択手段と、
前記監視対象を撮影中のカメラ映像と前記カメラ選択手段により選択されたカメラ映像とを合成表示する画面合成手段と、
前記画面合成手段により合成された映像を表示する画面表示手段と、
を具備することを特徴とする、監視映像モニタリングシステム。
【請求項２】
監視区域内で監視対象となる移動体を複数カメラで監視するための監視映像モニタリングシステムの監視映像生成方法であって、
あらかじめ監視区域の地図情報とカメラの設置位置および撮像範囲情報を記憶しておき、
一のカメラで撮影された前記監視対象を含む映像から前記監視対象の移動方向を検出し、
前記移動方向と前記地図情報と前記カメラの設置位置および撮像範囲情報とから、次に前記監視対象を撮影すべき他のカメラを少なくとも一つ以上予測し、
前記一のカメラの撮像と前記他のカメラの撮像とを含む表示画像を生成する、
ことを特徴とする、監視映像生成方法。
【請求項３】
請求項２に記載の監視映像生成方法であって、
一のカメラと他のカメラの映像を、地図上でのカメラの位置関係と近似する位置に配置して表示画像を生成する、
ことを特徴とする、監視映像生成方法。
【請求項４】
請求項２または３に記載の監視映像生成方法であって、
他のカメラの映像を、前記一のカメラの映像の大きさに対して前記一のカメラの撮影中心と前記他のカメラの撮影中心との距離に応じた比率の大きさで表示させた表示画像を生成する、
ことを特徴とする、監視映像生成方法。
【請求項５】
請求項２または３に記載の監視映像生成方法であって、
他のカメラの映像を、前記一のカメラの映像の大きさに対して前記一のカメラの撮影中心と前記他のカメラの撮影中心との距離に応じた位置に配置した表示画像を生成する、
ことを特徴とする、監視映像生成方法。
【請求項６】
請求項２に記載の監視映像生成方法であって、
一のカメラの前に監視対象を撮影していたカメラを記憶しておき、監視対象を前に撮影していたカメラの映像も合わせて表示する表示画像を生成する、
ことを特徴とする、監視映像生成方法。
【請求項７】
請求項２または６に記載の監視映像生成方法であって、
一のカメラの映像と関連のある映像を、監視対象の撮影する順に時系列に並べて配置する、
ことを特徴とする、監視映像生成方法。
【請求項８】
カメラによって撮影された映像から監視対象の移動方向を検出する移動方向検出手段と、
監視区域の地図情報を記憶する地図情報記憶手段と、
前記監視区域における、複数のカメラの設置位置と撮像範囲情報とを記憶するカメラ位置記憶手段と、
前記監視対象の移動方向情報と、前記監視区域の地図情報と、前記複数のカメラ部の設置位置と撮像範囲情報と、から、監視対象を次に撮影するカメラを予測するカメラ選択手段と、
前記監視対象を撮影中のカメラ映像と前記カメラ選択手段により選択されたカメラ映像とを合成表示する画面合成手段と、
を具備することを特徴とする、監視映像生成装置。
【請求項９】
請求項８に記載の監視映像生成装置であって、
前記監視対象を撮影中のカメラの映像を中心に配置し、同時に表示するカメラ映像をカメラの設置位置に反映する画面レイアウト手段と、
を具備することを特徴とする、監視映像生成装置。
【請求項１０】
監視区域の地図情報を記憶する地図情報記憶手段と、
前記監視区域に配置された複数のカメラの位置と撮像範囲情報を記憶するカメラ位置記憶手段と、
前記複数のカメラから映像を受信する映像受信手段と、
前記映像受信手段によって受信された映像から監視対象となる移動体の移動方向を検出する移動方向検出手段と、
前記監視対象の移動方向情報と、前記監視区域の地図情報と、前記複数のカメラの設置位置と撮像範囲情報と、から、監視対象を次に撮影するカメラ部を予測するカメラ選択手段と、
前記監視対象を撮影中のカメラ映像と前記カメラ手段により選択されたカメラ映像とを合成する画面合成手段と、
を具備することを特徴とする、監視映像モニタリングサーバ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の監視カメラと、監視カメラ映像を閲覧する監視端末により構成される監視システムにおいて、監視対象の移動方向とカメラの設置状況に応じて複数のカメラ映像を自動的に表示することにより、監視者が監視対象を見失うことがない監視映像モニタリングシステムに関する。
【０００２】
【従来の技術】
近年、監視機器のＩＰネットワーク対応などにともない、複数の監視カメラで広域を一括監視する広域監視システムの開発が進められている。この種の監視システムでは、カメラ制御の自動化や監視端末のインターフェース改良により、複数のカメラを制御する際の監視者の負担軽減が図られている。
【０００３】
カメラ制御の自動化に関しては、特開２００２−９２７５１号公報（特許文献１）記載の監視装置が知られている。特許文献１に記載の監視装置では、複数の監視カメラが設置された環境において、侵入物体が監視カメラの視野から外れる場合に、他の監視カメラに監視を引き継ぐことができるため、ユーザの操作なしに常に追跡対象を監視端末に表示することが可能である。
【０００４】
また、監視端末のインターフェースに関しては、特開平９−２８９６０７号公報（特許文献２）が示されており、特許文献２に記載の監視システムは、監視端末上にカメラの設置位置を示す地図を表示することにより、カメラの設置位置を監視者が容易に理解できる。
【０００５】
【特許文献１】
特開２００２−９２７５１号公報
【特許文献２】
特開平９−２８９６０７号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の自動追尾機能を備えた監視システムでは、追跡対象が監視中のカメラの視野から外れた場合に、映像が自動的に切り替わるため、新たに表示されたカメラと直前まで表示していたカメラの位置関係が分かり難く、監視者が追跡対象の位置を即座に判断できないという問題があった。また、特許文献２に記載のシステムのように地図を表示しても、表示されている映像と地図上のカメラアイコンとの対応関係を即座に理解できず、また、地図の内容とカメラ位置の対応を取るために、地図とカメラ映像間で頻繁に視線の移動を要するため、監視者の負担が増大するという問題があった。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本願発明は、監視区域内で監視対象となる移動体を複数カメラで監視するために、あらかじめ監視区域の地図情報とカメラの設置位置および撮像範囲情報を記憶しておき、一のカメラで撮影された前記監視対象を含む映像から前記監視対象の移動方向を検出し、前記移動方向と前記地図情報と前記カメラの設置位置および撮像範囲情報とから、次に前記監視対象を撮影すべき他のカメラを少なくとも一つ以上予測し、前記一のカメラの撮像と前記他のカメラの撮像とを含む表示画像を生成する。これにより、監視者が監視対象を見失うことを防ぐことが出来る。
【０００８】
さらに、一のカメラと他のカメラの映像を、地図上でのカメラの位置関係と近似する位置に配置して表示画像を生成することにより、映像画面上で監視対象が移動して見切れる方向に次に監視対象を撮影するカメラ映像を配置するので、監視対象が移動して撮影するカメラ映像が切り替わっても、監視者の視線を次のカメラ映像に自然に誘導でき、監視者の負担を軽減することができる。
【０００９】
さらに、他のカメラの映像を、前記一のカメラの映像の大きさに対して前記一のカメラの撮影中心と前記他のカメラの撮影中心との距離に応じた比率の大きさで表示させたり、距離に応じた位置に配置して表示させることにより、カメラの位置関係、特に距離関係を直感的に容易に把握することができ、監視者の負担を軽減することができる。
【００１０】
さらに、現在監視対象を撮影しているカメラの映像と、過去に監視対象を撮影していたカメラの映像と、これから監視対象を撮影すると予測されるカメラの映像とを時系列に順に配置して表示させることにより、監視対象の移動経路を用意に把握することができる。
【００１１】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を詳細に説明する。
【００１２】
（実施の形態１）
以下、第１の実施の形態の監視映像モニタリングシステムについて図１から図２０を用いて説明する。
【００１３】
図１は本発明の第１の実施の形態の構成を示すブロック図である。
【００１４】
図１において、１０１は監視カメラから取得した映像データとカメラ映像内の人物の移動方向をネットワークに送信するカメラサーバ装置、１０２はカメラサーバ装置１０１から受信した映像を画面上に表示する監視端末、１０３は複数のカメラサーバと監視端末をネットワークに接続するネットワーク装置、１０４は映像を撮影する監視カメラ、１０５は監視カメラより取得した映像データをネットワーク装置経由で監視端末に伝送する映像伝送手段、１０６は監視カメラより取得した映像データを解析して撮影されている人物の移動方向を検出する移動方向検出手段、１０７は移動方向検出手段により取得した移動方向情報をネットワーク装置経由で監視端末に送信する移動方向送信手段、１０８はネットワーク装置経由でカメラサーバ装置から送信される映像データを受信する映像受信手段、１０９はネットワーク装置経由でカメラサーバ装置から送信される移動方向情報を受信する移動方向受信手段、１１０は監視区域の通路構成を記憶しておく地図情報記憶手段、１１１は監視カメラの設置位置と設置角度を記憶しておくカメラ設置位置記憶手段、１１２は人物の移動方向とカメラの設置情報と監視区域の地図情報より、監視対象の人物を撮影しているカメラと、次に人物を撮影するカメラを特定するカメラ選択手段、１１３は複数のカメラ映像を１枚の画面上に合成する画面合成手段、１１４は合成された画面データを表示する画面表示手段である。
【００１５】
監視カメラ１０４は、撮影した映像を１フレームのデジタル画像データに変換し、映像送信手段１０５および移動方向検出手段１０６へ出力する。
【００１６】
映像送信手段１０５は、監視端末１０２上の映像受信手段から映像送信開始要求を受信すると、監視端末１０２のネットワークアドレスを記憶し、画像データが入力されると、ＪＰＥＧなどのデータ量の少ない形式に変換し、ネットワーク装置経由で、ネットワークアドレスが記憶されている監視端末１０２に変換したデータを送信する。映像送信手段１０５は、監視端末から映像送信の停止要求を受信すると、記憶しているネットワークアドレスを消去し、画像データが入力されても映像を送信しない。
【００１７】
移動方向検出手段１０６の動作を図２、図３を用いて説明する。
【００１８】
図２は、移動方向検出手段の動作フローを示す図である。
【００１９】
図３は、移動方向検出手段における動作例を示す図である。
【００２０】
図３において、３０１は時刻ｔに入力された画像データ、３０２は時刻ｔ＋δに入力された画像データ、３０３は時刻ｔの画像と時刻ｔ＋δの画像からオプティカルフローを算出した結果、３０４はオプティカルフローとして算出された動きベクトルの平均を算出した結果である。
【００２１】
移動方向検出手段１０６は、処理が開始されると監視カメラ１０４から画像が入力されるまで待機し、画像が入力されると、内部メモリに過去の画像が保存されているかどうかを確認する。過去の画像が保存されていない場合には、入力された画像を過去画像として内部メモリに保存し、次の画像データが入力されるまで待機する。過去画像がすでに存在する場合には、過去画像と入力画像のオプティカルフローを算出する。２つの画像間のオプティカルフローとは、画像を複数のブロックに分割し、各ブロックが比較画像のどの位置から動いたかを算出し、動きベクトルの場として表したものである。オプティカルフローの算出方法は、「画像の処理と認識」（安居院猛著昭晃堂）Ｐ．１６４ページなどに示されている。
【００２２】
例えば、図３においては、時刻ｔに入力された画像３０１が移動方向検出手段の過去画像として内部メモリに記憶されており、時間δミリ秒後に時刻ｔ＋δの画像３０２が入力されたとすると、時刻ｔ＋δの画像を８画素×８画素の小さなブロックに分割し、各ブロックの画素データと時刻ｔの画像における該当ブロック近辺の画素データを比較し、変化量が少ない８画素×８画素のブロックを求めることで、動きベクトルを算出する。時刻ｔ＋δの画像の全ブロックに対して同処理を繰り返すことで、全ブロックの動きベクトルの場を算出し、オプティカルフローの算出結果３０３を生成する。図３においては、時刻ｔに通路下部に存在した人物が、時刻ｔ＋δでは通路を上方へ移動しており、オプティカルフローは、人物が存在する各ブロックに対して、人物の移動量に相当する動きベクトルが算出される。
【００２３】
移動方向検出手段１０６は、次にオプティカルフローとして算出された動きベクトルの平均値を算出し、この平均ベクトル値を監視対象の動き情報として、移動方向送信手段１０７に出力する。
【００２４】
移動方向送信手段１０７の動作を図４を用いて説明する。
【００２５】
図４は移動方向送信手段１０７が送信する移動方向情報のデータ構造を示す図である。
【００２６】
図４において、４０１はカメラの識別子であるカメラＩＤ、４０２は移動方向検出手段が算出した監視対象の移動ベクトル値である。移動方向送信手段１０７は、ネットワーク装置１０３経由で、移動方向情報を監視端末１０２に送信する。移動方向情報は、図４に示すデータ構造であり、カメラＩＤ４０１と移動ベクトル４０２の組により構成される。
【００２７】
監視端末１０２上の移動方向受信手段１０９は、ネットワークに接続されている全てのカメラサーバ装置から移動方向情報を受信し、カメラ選択手段１１２に出力する。
【００２８】
地図情報記憶手段１１０の動作を図５、図６を用いて説明する。
【００２９】
図５は、地図情報記憶手段１１０の動作を説明するための監視区域の例を示す図である。
【００３０】
図６は、地図情報記憶手段１１０が記憶する地図情報のデータ構造および例を示す図である。
【００３１】
図６において、６０１は地図情報記憶手段１１０が記憶する通路の構成情報を示す通路リストである。
【００３２】
監視区域の通路構成などの地理的情報は、地図情報記憶手段１１０に記憶されている。
【００３３】
以下、図５に示す、１０ｍ×１０ｍの建物内に１ｍの通路が存在し、５台のカメラで監視する場合を例に地図情報記憶手段１１０の動作を説明する。
【００３４】
地図情報記憶手段１１０には、図６に示すような通路リスト６０１が記憶される。通路リスト６０１は、通路の識別子である通路ＩＤと通路の開始点である開始ノード、通路の終了点である終点ノード、通路上に設置されるカメラの一覧を始点から終点に向かって撮影している順番に列挙したカメラリスト、および通路の向きを示す通路方向により構成される。通路方向は、東を０°とし、反時計回りに北を９０°、西を１８０°、南を２７０°と表した場合に、通路が始点から終点に向かって、どの方向へ向かっているかを示す。
【００３５】
図５に示す環境では、ｒ１、ｒ２、ｒ３、ｒ４の４つの通路が、通路リスト６０１に示すように登録される。
【００３６】
カメラ設置位置記憶手段１１１の動作を図５、図７を用いて説明する。
【００３７】
図７は、カメラ設置位置記憶手段１１１が記憶するカメラ設置情報のデータ構造および例を示す図である。
【００３８】
図７において、７０１はカメラの設置位置および設置角度を示すカメラ設置位置情報である。
【００３９】
カメラ設置位置記憶手段１１１には、図７に示すようなカメラ設置位置情報７０１が記憶されている。カメラ設置位置情報７０１は、カメラの識別子であるカメラＩＤ、設置座標、カメラを真上から見た場合の設置角度を東＝０°として反時計周りで表現した水平設置角度、カメラを真横から見た場合の設置角度を地面と水平である場合＝０°として時計周りで表現した垂直設置角度により構成される。図５に示す環境では、カメラｃ１からｃ５の５台のカメラが存在し、各設置座標と角度はカメラ設置位置情報７０１に示すように登録される。
【００４０】
図８から図１４を用いて、カメラ選択手段１１２の動作を説明する。
【００４１】
図８は、カメラ選択手段１１２の動作フローを示す図である。
【００４２】
図９は、カメラ選択手段１１２が、通路リスト６０１内の通路方向側に隣接するカメラの一覧情報である順方向隣接カメラリストを作成する際の動作フローを示す図である。
【００４３】
図１０は、カメラ選択手段１１２が、通路リスト６０１内の通路方向と異なる方向に隣接するカメラの一覧情報である逆方向隣接カメラリストを作成する際の動作フローを示す図である。
【００４４】
図１１は、カメラ選択手段１１２が、通路上での監視対象の移動方向を決定する際の動作フローを示す図である。
【００４５】
図１２は、カメラ選択手段１１２が、移動方向ベクトルからカメラ画面上での移動角度を算出する方法を示す図である。
【００４６】
図１３は、カメラ選択手段１１２が、監視対象の監視空間上での絶対移動角度を算出する方法を示す図である。
【００４７】
図１４は、カメラ選択手段１１２が、監視対象の通路上での移動方向を決定する方法を示す図である。
【００４８】
カメラ選択手段１１２は、処理を開始すると、移動方向受信手段１０９より移動方向情報が入力されるまで待機する。移動方向情報が入力されると、内部メモリ上の追跡中カメラＩＤが設定されていなければ、移動方向情報内のカメラＩＤ４０１を追跡中カメラＩＤとして設定し、追跡中のカメラに隣接するカメラの一覧である隣接カメラリストを作成する。隣接カメラリストは、監視対象が通路リスト６０１に示す通路方向と一致する方向に移動した際に、次に監視対象を撮影する可能性のあるカメラＩＤの一覧である順方向隣接カメラリストと、監視対象が通路リスト６０１に示す通路方向と異なる方向に移動した際に、次に監視対象を撮影する可能性のあるカメラＩＤの一覧である逆方向隣接カメラリストから構成される。
【００４９】
カメラ選択手段１１２が、順方向隣接カメラリストを作成する際の動作フローを図９に示す。
【００５０】
カメラ選択手段１１２は、通路リスト６０１から追跡中カメラＩＤが含まれる通路を探索し、該当する通路のカメラリストを取得する。取得したカメラリストにおいて、追跡中カメラＩＤがリストの最後尾でなければ、追跡中カメラＩＤの直後のカメラＩＤを順方向隣接カメラリストの唯一の要素として追加し、リスト作成を終了する。取得したカメラリストにおいて、追跡中カメラＩＤが最後尾であれば、追跡中のカメラが設置されている通路上に隣接するカメラがないと判断し、隣接する通路を探索する。隣接する通路の一覧は、追跡中カメラＩＤが含まれる通路の終点ノードを次ノードとし、この次ノードを始点あるいは終点ノードとして含む通路の一覧として取得する。取得した各隣接通路に対して、次ノードが始点ノードであった場合には、この通路のカメラリストの先頭カメラＩＤを順方向隣接カメラリストに追加し、次ノードが終点ノードであった場合には、この通路のカメラリストの最後のカメラＩＤを順方向隣接カメラリストに追加することで、順方向隣接カメラリストを作成できる。
【００５１】
カメラ選択手段１１２が、逆方向隣接カメラリストを作成する際の動作フローを図１０に示す。
【００５２】
カメラ選択手段１１２は、通路リスト６０１から追跡中カメラＩＤが含まれる通路を探索し、該当する通路のカメラリストを取得する。取得したカメラリストにおいて、追跡中カメラＩＤがリストの先頭でなければ、追跡中カメラＩＤの直前のカメラＩＤを逆方向隣接カメラリストの唯一の要素として追加し、リスト作成を終了する。取得したカメラリストにおいて、追跡中カメラＩＤがリストの先頭であれば、追跡中のカメラが設置されている通路上に隣接するカメラがないと判断し、隣接する通路を探索する。隣接する通路の一覧は、追跡中カメラＩＤが含まれる通路の始点ノードを次ノードとし、この次ノードを始点あるいは終点ノードとして含む通路の一覧として取得する。取得した各隣接通路に対して、次ノードが始点ノードであった場合には、この通路のカメラリストの先頭カメラＩＤを逆方向隣接カメラリストに追加し、次ノードが終点ノードであった場合には、この通路のカメラリストの最後のカメラＩＤを逆方向隣接カメラリストに追加することで、逆方向隣接カメラリストを作成できる。
【００５３】
カメラ選択手段１１２が、移動方向受信手段から入力された移動方向情報内の移動ベクトル４０２から監視対象の通路上での移動方向を決定する際の動作フローを図１１に示す。
【００５４】
カメラ選択手段１１２は、入力された移動方向情報内の移動ベクトル４０２より、カメラ画面上での移動角度を算出する。次に、カメラ画面上での移動角度とカメラ設置位置情報７０１の水平設置角度より、監視空間における監視対象の絶対移動角度を算出する。この絶対移動角度と、通路リスト６０１に記憶されている追跡中のカメラが設置される通路の通路方向を比較し、人物が通路方向に対して順方向に移動しているか逆方向に移動しているかを決定する。
【００５５】
図１２にカメラ画面における監視対象の移動角度の算出方法を示す。画面上での移動角度は、監視対象が画面に対して上方に移動した場合を０°として、移動ベクトルの示す角度から算出する。移動角度θは、移動ベクトルＶ＝（Ｖｘ，Ｖｙ）とすると、以下の式１により算出できる。
【００５６】
（式１）：移動角度θ＝ａｔａｎ（―Ｖｘ／Ｖｙ）
図１３に監視対象の絶対移動角度の算出方法を示す。絶対移動角度は、カメラ画面上での監視対象の移動方向が０°で、カメラ画面上で監視対象が上方に移動した場合に、カメラの水平設置角度と同じ方向に移動していると考えられるため、カメラの水平設置角度とカメラ画面上での移動角度を足し合わせた値である。絶対移動角度は、東を０°として以下の式２で算出される。
【００５７】
（式２）：絶対移動角度＝カメラの水平設置角度＋カメラ画面上での移動角度図１４に通路上での監視対象の移動方向の決定方法を示す。通路上での移動方向は、追跡中のカメラが設置されている通路の通路方向を、通路リスト６０１より取得し、この通路方向と監視対象の絶対移動角度を比較することで決定される。通路方向と絶対移動角度の差の絶対値が９０°以下ならば、順方向に移動と決定し、９０°より大きいならば、通路に対して逆方向に移動していると決定する。
【００５８】
カメラ選択手段１１２は、追跡対象の移動方向が順方向であれば順方向隣接カメラリストを、逆方向であれば逆方向隣接カメラリストを、追跡対象が次に撮影される可能性があるカメラと判断し、追跡中カメラＩＤと共に画面合成手段に出力する。
【００５９】
カメラ選択手段１１２は、移動方向情報が入力された際に追跡中カメラＩＤが設定されている場合には、移動方向情報内のカメラＩＤが追跡中カメラＩＤ、順方向隣接カメラリスト、あるいは逆方向隣接カメラリスト内のカメラＩＤのいずれかと一致するか確認し、一致しなければ、現在の追跡対象に関する情報ではないと判断し、新しい移動方向情報が入力されるまで待機する。
【００６０】
図１５および図１６を用いて、画面合成手段１１３の動作を説明する。
【００６１】
図１５は、画面合成手段１１３の動作フローを示す図である。
【００６２】
図１６は、画面合成手段１１３が作成する画面レイアウトを示す図である。
【００６３】
画面合成手段１１３は、カメラ選択手段１１２から入力される追跡中カメラＩＤと隣接カメラリストに従って、カメラ映像を合成し、画面表示手段１１４に出力する。
【００６４】
画面合成手段１１３は、処理を開始すると、カメラ選択手段１１２からの入力がないか確認し、カメラリストが入力された場合には、各カメラ映像を受信するように映像受信手段に命令を送信する。次に、入力されたカメラ画面数に応じて、画面レイアウトを決定し、各画面位置にカメラＩＤを割り当てる。図１６に画面レイアウトを示す。図１６の（ａ）は、入力された隣接カメラが１台であった場合のレイアウトであり、左側に追跡中のカメラ映像を表示し、右側に隣接カメラを追跡中のカメラと同じ大きさで表示する。（ｂ）は隣接カメラが２台の場合のレイアウトであり、右側に上下２台分の隣接カメラ映像を追跡中カメラと同じ大きさで表示する。（ｃ）は隣接カメラが３台の場合のレイアウトであり、右側に３台分の隣接カメラ映像を追跡カメラの１／４の大きさで表示する。隣接カメラ数が３台よりも多い場合には、適宜大きさを調整して、画面上に表示する。
【００６５】
画面合成手段１１３は、画面レイアウトを決定すると、各映像受信手段１０８から入力された画像データをレイアウトに従って配置し、画面表示手段１１４に出力する。また、画面合成手段１１３は、カメラ選択手段から新しいカメラリストが入力されない場合には、前回と同じ画面レイアウトで画面を合成し、画面表示手段１１４に出力する。
【００６６】
映像受信手段１０８は、映像端末が合成できる映像数と同じ数だけ用意される。映像受信手段１０８は、画面合成手段１１３より、映像受信命令を受け取ると、現在受信中のカメラと新規に受信すべきカメラＩＤが同一であるか確認し、カメラＩＤが異なる場合には、現在受信中のカメラサーバに映像送信終了を通知し、新しいカメラＩＤに相当するカメラサーバに映像送信開始を要求する。映像送信開始要求後は、カメラサーバ装置から映像を受信し、受信した画像データを画面合成手段１１３へ出力し続ける。
【００６７】
画面表示手段１１４は、入力された画像データを表示端末の画面上に表示する。
【００６８】
上記のように構成された監視映像モニタリング装置における動作例を図１７に示す。
【００６９】
図１７のＡに示した移動例に従って監視対象が移動した場合には、（ａ）、（ｂ）、（ｃ）の各位置において、画面例Ｂに示す画面が監視端末画面上に出力される。（ａ）では、カメラｃ１の映像が追跡中カメラ映像として左側に表示され、監視対象の移動方向上にあるカメラｃ２の映像が右側に表示される。人物が（ｂ）の位置に移動すると、追跡中カメラはｃ２に切り替わり、移動方向上にあるカメラｃ３の映像が隣接カメラとして右側に表示される。さらに（ｃ）の位置に監視対象が移動すると、追跡中カメラとしてｃ３の映像が表示され、移動方向が分岐しているので各分岐通路上のカメラｃ４およびカメラｃ５の映像が隣接カメラとして右側に表示される。
【００７０】
このように、第一の実施の形態に示す監視映像モニタリング装置では、カメラ画面上で監視対象の移動方向を検出する移動方向検出手段と、監視環境の通路構成を記憶する地図情報記憶手段と、カメラの設置情報を記憶するカメラ設置位置記憶手段と、地図情報とカメラ設置位置情報を用いて、監視対象の移動方向に合わせて、監視対象を次に撮影するカメラを選択するカメラ選択手段を備えることにより、監視端末上に常に監視対象自身と次に監視対象を撮影するカメラ映像が表示されることで、監視者が監視対象の位置を見失うことがない監視システムを提供することができる。
【００７１】
なお、第一の実施の形態では、次に監視対象を撮影する可能性の高い１台分のカメラ映像を表示するが、カメラ選択手段１１２の隣接カメラリスト作成処理において、図９および図１０で示した方法で作成したカメラリスト中の各カメラＩＤに対して、再度、同様の方法で隣接カメラリストの作成を実施することにより、２台先に監視対象を撮影する可能性のあるカメラの一覧も取得できる。
【００７２】
図１８は、２台先までの映像を出力する場合の画面例を示す図である。
【００７３】
図１８では監視対象の人物が（ａ）の位置では、画面例（ａ）に示すように現在人物を撮影しているカメラｃ１と、次に撮影するカメラｃ２と更にその後に撮影するカメラｃ３の映像が画面に表示される。監視対象が（ｂ）の位置に移動すると、監視対象を撮影中のカメラｃ２と、次に撮影するカメラｃ３と、分岐後に監視対象を撮影する可能性がある２台のカメラｃ４、ｃ５が監視端末画面上に表示される。このように、カメラ選択手段１１２において、カメラリストの作成処理を再帰的に繰り返し実行することにより、ｎ台先までのカメラリストを作成し、画面合成手段１１３においてｎ台先までのカメラ映像を合成することで、カメラｎ台分の予想経路を端末画面上に表示することも、本発明により同様に実施可能である。
【００７４】
なお、第一の実施の形態では、監視対象を撮影中のカメラと、次に監視対象を撮影するカメラ映像を表示するが、カメラ選択手段１１２において、前回追跡中であったカメラＩＤを記憶しておくことにより、過去に監視対象を撮影していたカメラ映像を表示することも可能である。
【００７５】
図１９は、過去一台分のカメラ映像と監視対象を撮影中のカメラ映像を同時に表示する場合の画面例を示す図である。監視対象の人物が（ａ）の位置では、画面例（ａ）に示すように、前回撮影していたカメラｃ１と、監視対象を撮影中のカメラｃ２と、次に監視対象を撮影するカメラｃ３が表示される。監視対象が（ｂ）の位置に移動すると、（ａ）の位置で撮影していたカメラｃ２と、監視対象を撮影中のカメラｃ３と、分岐後に監視対象を撮影する可能性があるカメラｃ４とｃ５の映像が表示される。このように、カメラ選択手段１１２において、過去に撮影していたカメラＩＤを記憶しておくことにより、過去の移動経路を示すカメラ映像と、今後の予想経路を示すカメラ映像を、同時に端末画面上に表示することも、本発明により同様に実施可能である。
【００７６】
なお、第１の実施の形態では、カメラの設置角度が変化しない固定カメラを用いているが、カメラから設置角度を取得し定期的にカメラ設置位置情報７０１を更新することにより、回転旋回機能を備えたカメラを使用することも、本発明により同様に実施可能である。
【００７７】
（実施の形態２）
以下、第２の実施の形態の監視映像モニタリングシステムについて図２０から図２６を用いて説明する。
【００７８】
図２０は、第２の実施の形態の監視映像モニタリングシステムのブロック構成を示す図である。
【００７９】
図２０において、１０１から１１４は、図１に示した第１の実施の形態の監視映像モニタリングシステムと同様である。
【００８０】
２００１は、カメラ選択手段１１２が選択したカメラの配置レイアウトを生成する画面レイアウト生成手段である。
【００８１】
図２１から図２５を用いて、画面レイアウト生成手段２００１の動作を説明する。
【００８２】
図２１は、画面レイアウト生成手段２００１の動作フローを示す図である。
【００８３】
図２２は、画面レイアウト生成手段２００１が、カメラの撮影中心座標を算出する方法を示す図である。
【００８４】
図２３は、画面レイアウト生成手段２００１が、隣接カメラの画面配置角度を算出する方法を示す図である。
【００８５】
図２４は、画面レイアウト生成手段２００１の動作例を示す図である。
【００８６】
画面レイアウト生成手段２００１は、追跡中カメラと隣接カメラの物理的な位置関係が把握し易いように、カメラ映像を画面上に配置するためのレイアウト情報を生成する。
【００８７】
画面レイアウト生成手段２００１は、カメラ選択手段により入力された追跡中カメラおよび隣接カメラリストの各カメラに関して、カメラ設置位置情報７０１から、カメラが撮影している中心位置座標を算出する。
【００８８】
撮影中心座標の算出方法を図２２に示す。
【００８９】
まず、図２２（ａ）に示すように、地面におけるカメラ設置位置から撮影中心座標までの距離である撮影距離ａを、カメラ設置位置情報７０１の垂直設置角度φおよびカメラ設置座標のｚ軸値であるカメラ設置高ｈより以下の式３で算出する。
【００９０】
（式３）：ａ  ＝  ｈ  ／  （ｔａｎφ）
次に、図２２（ｂ）に示すように、カメラのＸ軸およびＹ軸の設置座標（Ｘ，Ｙ）、カメラの設置角度θおよび撮影距離ａから以下の式４でカメラの撮影中心座標（Ｐ，Ｑ）を算出する。
【００９１】
（式４）：（Ｐ，Ｑ）＝（Ｘ＋ａ×ｃｏｓθ，Ｙ＋ａ×ｓｉｎθ  ）
画面レイアウト生成手段２００１は、撮影中心座標を算出した後、追跡中カメラの設置角度と撮影中心座標から、隣接カメラリスト内の各カメラの画面配置角度を算出する。
【００９２】
隣接カメラの画面配置角度の算出方法を図２３に示す。
【００９３】
追跡中カメラの撮影中心座標（Ｐ，Ｑ）、画面配置位置を算出する隣接カメラの撮影中心座標（Ｘ，Ｙ）とすると、追跡中カメラの撮影中心座標を原点とした場合の隣接カメラの撮影中心座標の絶対角度φは以下の式５で算出される。
【００９４】
（式５）：φ＝ａｔａｎ（（Ｙ−Ｑ）／（Ｘ−Ｐ））
画面配置角度θは、追跡中カメラの水平設置角度ａと、隣接カメラの撮影中心座標の絶対角度φより以下の式６で算出する。
【００９５】
（式６）：θ＝（１８０−ａ）＋φ
画面レイアウト生成手段２００１は、算出した画面配置角度θに従って各隣接カメラ画面を配置するレイアウト情報を生成する。
【００９６】
図２４は画面レイアウト生成手段２００１が生成するレイアウト情報の例を示す図である。
【００９７】
画面レイアウト生成手段２００１は、まず、追跡中カメラ画面を画面中央付近に配置する。次に、画面下方向を０°として、隣接カメラ画面の中心点が、追跡中カメラ画面の中心点から、画面配置角度と等しくなる位置に各隣接カメラの画面を配置する。
【００９８】
図２４は、２台のカメラが隣接カメラリストに含まれており、１台目のカメラＡの画面配置角度が１００°、２台目のカメラＢの画面配置角度が２２０°の場合の画面配置例である。各カメラの画面は、画面配置例（ｂ）に示すように、カメラＡの画面は、中心が追跡中カメラの画面中心から１００°の位置に、カメラＢの画面は、中心が追跡中カメラの画面中心から２２０°の位置に配置される。
【００９９】
図２５に典型的なカメラ設置における動作例を示す。
【０１００】
（ａ）は直線状の通路に２台のカメラが向かい合って設置されている。隣接カメラの画面配置角度は１８０°であり、隣接カメラ画面は、追跡中カメラ画面の上部に配置される。監視対象が通路を移動すると、追跡中カメラ画面上では監視対象は上方向に移動し、上方に見切れ、その後、次のカメラである隣接カメラ画面上に出現するため、監視対象の移動に合わせて、監視者の視線を自然に次のカメラ画面に誘導できる。
【０１０１】
（ｂ）は直角に曲がった通路を挟んで２台のカメラが向かい合って設置されている。隣接カメラの画面配置角度は９０°であり、隣接カメラ画面は、追跡中カメラ画面の右側に配置される。監視対象の人物が通路を移動すると、追跡中カメラ画面上では人物は上方向に移動したあと、右方向に移動し、画面から消失する。その後、隣接カメラの画面に出現するが、監視者は人物が消失する際に移動していた右方向に視線を動かすだけで、次に人物が出現するカメラ画面を視界に捉えることができる。
【０１０２】
（ｃ）は突き当たりの通路に３台のカメラが向かい合って設置されている。隣接カメラＡの画面配置角度は１３５°、隣接カメラＢの画面配置角度は２２５°である。（ｃ）の場合は監視対象の人物が右か左に曲がる可能性があるが、どちらに曲がった場合も、追跡中カメラ画面上の人物の動きを追いかけることで、人物が次に出現する隣接カメラ画面を視界に捉えることができ、監視者が画面切り替え時に追跡対象を見失い難いことが分かる。
【０１０３】
このように、第２の実施の形態では、監視カメラの設置位置関係を反映するように、監視端末上でのカメラ画面の配置レイアウトを生成する画面レイアウト生成手段２００１を備えることにより、監視対象が移動して、撮影するカメラが切り替わった場合でも、監視者が監視対象を見失うことのない監視映像モニタリングシステムを実現する。
【０１０４】
なお、画面レイアウト生成手段２００１において、隣接カメラ画面を配置する際に、追跡中カメラの撮影中心座標と隣接カメラの撮影中心座標間の距離に応じて、隣接カメラ画面の大きさを決定したり、隣接カメラ画面の配置距離を決定することも、本発明により同様に実施可能である。
【０１０５】
図２６は、撮影中心座標間の距離に反比例するように、隣接カメラ画面の画面サイズを決定する場合の画面配置例を示す図である。追跡中カメラと隣接カメラＡの撮影中心座標間の距離が１０ｍであり、隣接カメラＢの撮影中心座標との距離が５ｍなので、距離が２倍遠い選択カメラＡの画面が選択カメラＢに比較して１／４の大きさで表示される。
【０１０６】
図２７は、撮影中心座標間の距離に比例するように、隣接カメラ画面の配置位置を決定する場合の画面配置例を示す図である。追跡中カメラと隣接カメラＡの撮影中心座標間の距離は、選択カメラＢと比較して２倍遠いので、追跡中カメラと隣接カメラＡの画面中心間の距離が、隣接カメラＢとの画面中心間の距離である３００画素の２倍である６００画素になるように、各画面が配置される。
【０１０７】
このようにカメラ間の設置距離に応じて、画面サイズや画面間の距離を決定することで、監視者がカメラ間の距離関係を容易に理解することが可能となる監視映像モニタリングシステムも、本発明により同様に実施可能である。
【０１０８】
（実施の形態３）
以下、第３の実施の形態の監視映像モニタリングシステムについて図２８を用いて説明する。
【０１０９】
図２８は、第３の実施の形態の監視映像モニタリングシステムのブロック構成を示す図である。
【０１１０】
図２８においては、１０３から１１４は、図１に示した第１の実施の形態の監視映像モニタリングシステムの各手段と同様である。
【０１１１】
２８０１は、カメラ映像をネットワーク上の監視端末に送信するカメラサーバ装置、２８０２は、カメラサーバ装置２８０１から受信した映像を画面上に表示する監視映像モニタリングサーバである。
【０１１２】
図２８のネットワーク装置および各手段は、図１に示した第１の実施の形態と同様であるが、監視映像モニタリングサーバ２８０２が移動方向手段１０６を備え、カメラサーバ２８０１および監視映像モニタリングサーバ２８０２が各々移動方向送信手段１０７および移動方向受信手段１０９を備えない点が異なる。
【０１１３】
第３の実施の形態の監視映像モニタリングシステムでは、監視映像モニタリングサーバ２８０２が監視区域に設置されているカメラ台数分のカメラ映像受信手段１０８を備え、各カメラ映像受信手段１０８は、あらかじめ決められたカメラサーバ装置２８０１からの映像を常時受信し、受信した画像データから図２に示した動作フローにより監視対象の移動方向を算出し、カメラ選択手段１１２に出力することにより、監視映像モニタリングサーバ２８０２上の画面に、監視対象撮影中のカメラ映像と次に監視対象を撮影する隣接カメラ映像を表示することにより、監視対象を撮影するカメラが切り替わった場合でも、監視者が監視対象の位置を見失うことがない監視システムを提供する。
【０１１４】
【発明の効果】
本発明によると、第１に、複数の監視カメラが設置された環境において、監視対象を撮影するカメラ映像と、次に監視対象を撮影するカメラ映像が、監視端末画面上に同時に表示されるため、監視対象が撮影中のカメラの視野外に移動しても、即座に次のカメラ映像で監視対象を捕らえることが可能であり、撮影するカメラが切り替わっても、監視者は監視対象の位置を見失うことのない監視映像モニタリングシステムを提供できるものである。
【０１１５】
第２に、複数の監視カメラ映像が端末画面上に同時に表示される場合に、監視対象が移動して見切れる方向に、次に監視対象を撮影するカメラ映像画面を配置することにより、カメラ切り替え時に監視者の視線を適切に誘導し、監視者が監視対象の位置を見失うことのない監視映像モニタリングシステムを提供できるものである。
【０１１６】
第３に、複数の監視カメラ映像が端末画面上に同時に表示される場合に、監視対象を撮影中のカメラと、次に監視対象を撮影するカメラ間の設置距離に応じて、次に監視対象を撮影するカメラ映像画面の画面サイズを決定することにより、監視者が表示されているカメラの位置関係を容易に理解することができる監視映像モニタリングシステムを提供できるものである。
【０１１７】
第４に、複数の監視カメラ映像が端末画面上に同時に表示される場合に、監視対象を撮影中のカメラと、次に監視対象を撮影するカメラ間の設置距離に応じて、次に監視対象を撮影するカメラ映像画面の配置距離を決定することにより、監視者が表示されているカメラの位置関係を容易に理解することができる監視映像モニタリングシステムを提供できるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態１における監視映像モニタリングシステムのブロック図
【図２】図１における移動方向検出手段１０６の動作フローを示す図
【図３】図１における移動方向検出手段１０６の動作例を示す図
【図４】図１における移動方法送信手段１０７が送信する移動方向情報データ構造を示す図
【図５】図１における監視映像モニタリングシステムの動作を説明するための監視環境の例を示す図
【図６】図１における地図情報記憶手段１１０に記憶される地図情報を示す図
【図７】図１におけるカメラ設置位置記憶手段１１１に記憶されるカメラ設置位置情報を示す図
【図８】図１におけるカメラ選択手段１１２の動作フローを示す図
【図９】図１のカメラ選択手段１１２における順方向隣接カメラリスト作成方法の動作フローを示す図
【図１０】図１のカメラ選択手段１１２における逆方向隣接カメラリスト作成方法の動作フローを示す図
【図１１】図１のカメラ選択手段１１２における通路上での移動方向決定方法の動作フローを示す図
【図１２】図１のカメラ選択手段１１２におけるカメラ画面上での移動角度算出方法を説明するための図
【図１３】図１のカメラ選択手段１１２における絶対移動角度の算出方法を説明するための図
【図１４】図１のカメラ選択手段１１２における通路上での移動方向の算出方法を説明するための図
【図１５】図１における画面合成手段１１３の動作フローを示す図
【図１６】図１の画面合成手段１１３が生成する画面のレイアウトを説明するための図
【図１７】図１における監視映像モニタリングシステムの動作例を示す図
【図１８】図１の監視映像モニタリングシステムにおいて表示カメラ台数を拡張した場合の動作例を示す図
【図１９】図１の監視映像モニタリングシステムにおいて直前に撮影していたカメラ映像を表示するよう拡張した場合の動作例を示す図
【図２０】本発明の第２の実施の形態における監視映像モニタリングシステムのブロック図
【図２１】図２０における画面レイアウト作成手段２００１の動作フローを示す図
【図２２】図２０の画面レイアウト作成手段２００１における撮影中心座標の算出方法を説明するための図
【図２３】図２０の画面レイアウト作成手段２００１における画面配置角度の算出方法を説明するための図
【図２４】図２０の画面レイアウト作成手段２００１における画面配置例を示す図
【図２５】図２０の監視映像モニタリングシステムにおいて典型的な監視環境における画面配置角度と表示画面の例を示す図
【図２６】図２０の監視映像モニタリングシステムにおいてカメラの撮影中心位置間の距離に応じて画面サイズを変更するように拡張した場合の画面配置例を示す図
【図２７】図２０の監視映像モニタリングシステムにおいてカメラの撮影中心位置間の距離に応じて画面の中心位置を変更するように拡張した場合の画面配置例を示す図
【図２８】本発明の第３の実施の形態における監視映像モニタリングシステムのブロック図
【符号の説明】
１０１  カメラサーバ装置
１０２  監視端末
１０３  ネットワーク装置
１０４  監視カメラ
１０５  映像送信手段
１０６  移動方向検出手段
１０７  移動方向送信手段
１０８  映像受信手段
１０９  移動方向受信手段
１１０  地図情報記憶手段
１１１  カメラ設置位置記憶手段
１１２  カメラ選択手段
１１３  画面合成手段
１１４  画面表示手段
３０１  時刻ｔの画像
３０２  時刻ｔ＋δの画像
３０３  オプティカルフロー画像
３０４  平均ベクトル画像
４０１  カメラＩＤ
４０２  移動ベクトル
６０１  通路リスト
７０１  カメラ設置位置情報
２００１  画面レイアウト生成手段
２８０１  カメラサーバ装置
２８０２  監視端末
【図１】
2005012415.tif 000003
【図２】
2005012415.tif 000004
【図３】
2005012415.tif 000005
【図４】
2005012415.tif 000006
【図５】
2005012415.tif 000007
【図６】
2005012415.tif 000008
【図７】
2005012415.tif 000009
【図８】
2005012415.tif 000010
【図９】
2005012415.tif 000011
【図１０】
2005012415.tif 000012
【図１１】
2005012415.tif 000013
【図１２】
2005012415.tif 000014
【図１３】
2005012415.tif 000015
【図１４】
2005012415.tif 000016
【図１５】
2005012415.tif 000017
【図１６】
2005012415.tif 000018
【図１７】
2005012415.tif 000019
【図１８】
2005012415.tif 000020
【図１９】
2005012415.tif 000021
【図２０】
2005012415.tif 000022
【図２１】
2005012415.tif 000023
【図２２】
2005012415.tif 000024
【図２３】
2005012415.tif 000025
【図２４】
2005012415.tif 000026
【図２５】
2005012415.tif 000027
【図２６】
2005012415.tif 000028
【図２７】
2005012415.tif 000029
【図２８】
2005012415.tif 000030