(57)【要約】【課題】移動体を監視ターゲットとして撮影した撮影画像を再生出力する際に、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生できるようにする。【解決手段】施設内監視システム２は、要注意人物を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したか退出したかを検出し、監視ターゲットの出現が検出された際には、その時の監視スタート情報として「開始時刻」を記録し、退出が検出された際には、その時の監視エンド情報として「終了時刻」をモニタログデータベース２２内に記録しておき、撮影画像の再生時において検索システム３は、モニタログデータベース２２内の「開始時刻」と「終了時刻」とによって示される範囲内の撮影画像を抽出して再生出力する。【選択図】  図１
2004187115.tif 000002
【特許請求の範囲】
【請求項１】
移動体を監視ターゲットとして撮影した撮影画像の中から監視ターゲットを抽出して再生出力する監視システムであって、
撮影画像の中に監視ターゲットが出現したかを検出すると共に、撮影画像の中から当該ターゲットが退出したかを検出する検出手段と、
この検出手段によって監視ターゲットの出現が検出された際に、その時の情報を監視スタート情報として記録し、当該ターゲットの退出が検出された際に、その時の情報を監視エンド情報として記録する記録制御手段と、
この記録手段に記録されている監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力する再生制御手段と、
を具備したことを特徴とする監視システム。
【請求項２】
前記監視ターゲットの入場時に、そのターゲットを撮影した撮影画像を解析することによって取得した当該ターゲットの特徴情報を保存する保存手段を設け、前記検出手段は、入場後に撮影された撮影画像の中に前記保存されている特徴情報を持つターゲットが含まれていることを検出した場合に、当該ターゲットの出現を検出する、
ようにしたことを特徴とする請求項１記載の監視システム。
【請求項３】
前記監視ターゲットの特徴情報を取得する際に、当該ターゲットを複数方向から撮影した各撮影画像に基づいて特徴情報を取得する、
ようにしたことを特徴とする請求項２記載の監視システム。
【請求項４】
前記検出手段は、監視ターゲットの出現を検出した際に、撮影画像内の当該ターゲット位置にマークを付与すると共に、このターゲットの移動に追随して移動するマークの位置に基づいて当該ターゲットが退出したかを検出する、
ようにしたことを特徴とする請求項１記載の監視システム。
【請求項５】
移動体を監視ターゲットとして撮影する複数台の監視カメラを有し、
前記検出手段は、複数台の監視カメラによって同一ターゲットが撮影された各撮影画像に基づいて監視ターゲットの出現および退出を監視カメラ毎に検出し、前記記録制御手段は、監視カメラ毎に検出された監視ターゲットの出現および退出に応じて前記監視スタート情報と監視エンド情報の記録を行い、
前記再生制御手段は、各監視カメラに対応付けられている監視スタート情報と監視エンド情報とに基づいて監視カメラ毎に抽出された同一ターゲットの各撮影画像を再生出力する、
ようにしたことを特徴とする請求項１記載の監視システム。
【請求項６】
撮影画像の再生条件を任意に指定する指定手段と、
この指定手段によって指定された再生条件に該当するターゲットを撮影画像の中から検索する検索手段と、
を設け、前記再生制御手段は、この検索手段によって検索されたターゲットに対応付けられている監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力する、
ようにしたことを特徴とする請求項１記載の監視システム。
【請求項７】
前記監視ターゲットの出現および退出時の情報である監視スタート情報、監視エンド情報は、その時の時刻情報、撮影画像を逐次記録する記録媒体上の物理的な位置情報、撮影開始から終了までの撮影期間内において一定のタイミングで計数された数値情報のうち、その何れかの情報である、
ことを特徴とする請求項１記載の監視システム。
【請求項８】
コンピュータに対して、
移動体を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したかを検出すると共に、撮影画像の中から当該ターゲットが退出したかを検出する機能と、
監視ターゲットの出現が検出された際に、その時の情報を監視スタート情報として記録し、当該ターゲットの退出が検出された際に、その時の情報を監視エンド情報として記録する機能と、
この監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、移動体を監視ターゲットとして撮影した撮影画像の中から監視ターゲットを抽出して再生出力する監視システムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視する監視装置としては、例えば、以下に示す技術が知られている。すなわち、撮影画像の表示画面上でカーソル操作で不審者の位置をポイントすると、不審者を囲むカーソルエリアが表示されると共に、不審者の移動に伴ってカーソルエリアも移動するようにした旨の技術が知られている（特許文献１参照）。また、撮影画像内の人物像からその形状特徴と動き特徴を特定し、予め蓄積した不審者に関する情報と比較して、不審者を特定する旨の技術が知られている（特許文献２参照）。
【０００３】
【特許文献１】
特開２００１−１１１９８７号公報
【特許文献２】
特開平１１−３３９１３９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１の技術にあっては、撮影画像の表示画面上でカーソルを操作して不審者の位置をポイント指定するようにしている為、専用係員を配備しておかなくてはならず、しかも、人的作業では不審者を見落とす等のおそれもある。また、上述の特許文献２の技術にあっては、不審者を発見することができたとしても、撮影画像の再生時には、人的作業によって膨大な撮影画像を最初から再生させ、その中から不審者を見つけ出さなければならず、その確認作業に多大な労力と時間を要することになる。
【０００５】
この発明の課題は、移動体を監視ターゲットとして撮影した撮影画像を再生出力する際に、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、移動体を監視ターゲットとして撮影した撮影画像の中から監視ターゲットを抽出して再生出力する監視システムであって、撮影画像の中に監視ターゲットが出現したかを検出すると共に、撮影画像の中から当該ターゲットが退出したかを検出する検出手段と、この検出手段によって監視ターゲットの出現が検出された際に、その時の情報を監視スタート情報として記録し、当該ターゲットの退出が検出された際に、その時の情報を監視エンド情報として記録する記録制御手段と、この記録手段に記録されている監視スタート情報および監視エンド情報によって示される範囲内の撮影画像を抽出して再生出力する再生制御手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項８記載の発明）。
【０００７】
したがって、請求項１、８記載の発明は、移動体を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したか退出したかを検出し、監視ターゲットの出現が検出された際には、その時の情報として監視スタート情報を記録し、退出が検出された際には、その時の情報として監視エンド情報を記録しておき、撮影画像の再生時には、この監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力するようにしたから、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生することができ、その再生作業の効率化に伴って不審者等の行動監視を確実かつ迅速に行うことが可能となる。
【０００８】
なお、請求項１記載の発明は次のようなものであってもよい。
前記監視ターゲットの入場時に、そのターゲットを撮影した撮影画像を解析することによって取得した当該ターゲットの特徴情報を保存する保存手段を設け、前記検出手段は、入場後に撮影された撮影画像の中に前記保存されている特徴情報を持つターゲットが含まれていることを検出した場合に、当該ターゲットの出現を検出する（請求項２記載の発明）。
したがって、請求項２記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、監視ターゲットの入場時に、そのターゲットを撮影した撮影画像に基づいて当該ターゲットの特徴情報を解析して保存しておき、入場後に撮影された撮影画像の中に当該特徴情報を持つターゲットが含まれている場合には、ターゲットの出現を検出するようにしたから、特徴比較によってターゲットの出現を確実に検出することができる。
この場合、前記監視ターゲットの特徴情報を取得する際に、当該ターゲットを複数方向から撮影した各撮影画像に基づいて特徴情報を取得するようにすれば
（請求項３記載の発明）、ターゲットの出現をより確実に検出することができる。
【０００９】
前記検出手段は、監視ターゲットの出現を検出した際に、撮影画像内の当該ターゲット位置にマークを付与すると共に、このターゲットの移動に追随して移動するマークの位置に基づいて当該ターゲットが退出したかを検出する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、監視ターゲットの出現を検出した際に、撮影画像内の当該ターゲット位置にマークを付与すると共に、このターゲットの移動に追随して移動するマークの位置に基づいて当該ターゲットが退出したかを検出するようにしたから、ターゲットの追跡監視を容易に行うことができる。
【００１０】
移動体を監視ターゲットとして撮影する複数台の監視カメラを有し、前記検出手段は、複数台の監視カメラによって同一ターゲットが撮影された各撮影画像に基づいて監視ターゲットの出現および退出を監視カメラ毎に検出し、前記記録制御手段は、監視カメラ毎に検出された監視ターゲットの出現および退出に応じて前記監視スタート情報と監視エンド情報の記録を行い、前記再生制御手段は、各監視カメラに対応付けられている監視スタート情報と監視エンド情報とに基づいて監視カメラ毎に抽出された同一ターゲットの各撮影画像を再生出力する（請求項５記載の発明）。
したがって、請求項５記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、複数台の監視カメラによって同一ターゲットが撮影された各撮影画像に基づいて監視ターゲットの出現および退出を監視カメラ毎に検出すると共に、監視カメラ毎に監視スタート情報と監視エンド情報を記録し、各監視カメラに対応付けられている監視スタート情報と監視エンド情報とに基づいて監視カメラ毎に抽出された同一ターゲットの各撮影画像を再生出力するるようにしたから、複数台の監視カメラによって同一ターゲットを監視することによって立体的（３次元的に）な監視が可能となり、ターゲットの動きをより確実に把握することができる。
【００１１】
撮影画像の再生条件を任意に指定する指定手段と、この指定手段によって指定された再生条件に該当するターゲットを撮影画像の中から検索する検索手段と、を設け、前記再生制御手段は、この検索手段によって検索されたターゲットに対応付けられている監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力する（請求項６記載の発明）。
したがって、請求項６記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、撮影画像の再生条件が任意に指定されることによって、その指定条件に該当するターゲットに対応付けられている監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力するようにしたから、多数のターゲットが撮影された撮影画像の中から所望するターゲットの画像を任意に再生することができる。
【００１２】
前記監視ターゲットの出現および退出時の情報である監視スタート情報、監視エンド情報は、その時の時刻情報、撮影画像を逐次記録する記録媒体上の物理的な位置情報、撮影開始から終了までの撮影期間内において一定のタイミングで計数された数値情報のうち、その何れかの情報であってもよい（請求項７記載の発明）。
【００１３】
【発明の実施の形態】
以下、図１〜図９を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における監視システムの全体構成を示したブロック図である。
この監視システムは、会社、工場等の施設内に構築された構内通信システム（ＬＡＮシステム）であり、施設内の人物（移動体）を撮影した撮影画像を解析することによって人物の行動を監視し、撮影画像の中に監視ターゲット（後述する要注意人物）が出現したことを検出した際には、その時の情報を監視スタート情報として記録し、そのターゲットの退出が検出された際には、その時の情報を監視エンド情報として記録しておき、画像再生時においては、この監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力するようにしたもので、複数のサブシステムである入退場管理システム１、施設内監視システム２、検索システム３、警備システム４が構内通信網５を介して接続された構成となっている。
【００１４】
入退場管理システム１は、入退場カメラ群１１によって撮影された各撮影画像を解析することによって施設内に入退場する人物を管理するデータ処理装置を中核とする管理システムであり、後述する登録画像ファイル１２、要注意登録人物ＩＤメモリ１３、入退場管理テーブル１４、入場画像ファイル１５を有している。
施設内監視システム２は、複数台の監視用モニタカメラ２１によって撮影された各撮影画像を解析することによって人物監視を行うデータ処理装置を中核とする管理システムであり、後述するモニタログデータベース（ＤＢ）２２、抽象化画像ファイル２３を有している。ここで、監視用モニタカメラ２１によって撮影された各撮影画像は、対応するカメラ毎の記憶媒体６内に記録保存される。なお、記憶媒体６は、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体であり、監視用モニタカメラ２１に１体１に対応して設けられている。
【００１５】
検索システム３は、各カメラ対応の記憶媒体６から所望する画像を検索して再生出力させるデータ処理装置を中核とするもので、任意に指定された再生条件に該当する画像を各記憶媒体６の中から検索して再生出力させる。この場合、任意の人物を再生条件としたり、任意の時間帯を再生条件として指定可能となっており、人物が再生条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定された人物に関する画像を抽出して再生出力し、また、時間帯が再生条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定時間帯内に撮影された画像を抽出して再生出力するようにしている。
【００１６】
また、検索システム３側には、各監視用モニタカメラ２１に対応してモニタ用の表示装置が設けられており、監視用モニタカメラ２１によって撮影された撮影画像は、対応するモニタ表示装置に出力される。ここで、監視ターゲット（要注意人物）が複数台の監視用モニタカメラ２１によって同時に撮影されている場合には、その人物の行動を複数台のモニタ表示によって同時確認することができるようになっている。また、検索システム３は、ネットワークを介して入退場管理システム１側の入退場管理テーブル１４、入場画像ファイル１５、施設内監視システム２側のモニタログデータベース２２をアクセス可能となっている。
なお、警備システム４は、警備室に構築されている管理システムである。
【００１７】
図２は、施設の入退場口や施設内に設置されているカメラの配置図を概念的に示した図である。
入退場カメラ群１１は、施設の出入口に設置されている４台のカメラによって入退場者をその前後左右から撮影するもので、図中、円で囲んだ部分の各矢印は、入退場者をその前後左右から撮影することを示した撮影方向であり、入退場時に４台のカメラによって入場者、退場者を撮影するようにしている。
監視用モニタカメラ２１は、施設内全体を撮影可能範囲とする為に施設の各所に設置されたもので、図中、Ａ、Ｂ、Ｃ、Ｄは、各所に設置された監視用モニタカメラ２１を示し、施設内監視システム２は、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲット（要注意人物）が出現したか退出したかを検出するようにしている。
【００１８】
図３（Ａ）は、入退場管理システム１側に設けられている登録画像ファイル１２、要注意登録人物ＩＤメモリ１３を説明する為の図である。
登録画像ファイル１２は、予め要注意人物として登録されている人物の顔画像を１人物１ファイル形式で記憶するもので、この登録画像ファイル１２には、その人物を識別する為の人物ＩＤが付加されている。なお、要注意人物とは、例えば、過去に不正を行った者や不審な行動を起した者の他、出入業者等をも含む。この要注意人物の顔画像は、予め入退場カメラ群１１によって撮影されたものであり、要注意登録人物ＩＤメモリ１３は、要注意人物を識別する人物ＩＤを一覧形式で記憶管理するメモリである。
【００１９】
図３（Ｂ）は、入退場管理システム１側に設けられている入退場管理テーブル１４、入場画像ファイル１５を説明する為の図である。
入退場管理テーブル１４は、所定期間（例えば、日単位）内において入退場した要注意人物に関する情報を記憶管理するもので、要注意人物毎に、その「人物ＩＤ」、「入場時刻」、「退場時刻」の各項目を記憶する構成となっている。
「人物ＩＤ」は、入退場カメラ群１１によって撮影された撮影画像を解析することによって、施設内に向かう人物が要注意人物に該当する場合に、その登録画像ファイル１２から取得した「人物ＩＤ」である。「入場時刻」は、その要注意人物が施設の出入口から入場した際の入場時刻を示し、その際、入退場カメラ群１１によって撮影された前後左右の各撮影画像は、入場画像ファイル１５として記録される。「退場時刻」は、施設の出入口から退場した際の退場時刻を示している。
入場画像ファイル１５は、「人物ＩＤ」に対応してその前後左右の各撮影画像を保存するファイルである。
【００２０】
図４（Ａ）は、施設内監視システム２側に設けられているモニタログデータベース２２の内容を示した図である。
このモニタログデータベース２２は、監視用モニタカメラ２１毎に設けられており、施設内監視システム２は、施設内に入った要注意人物を複数台の監視用モニタカメラ２１で監視し、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲット（要注意人物）が出現した時の情報とそのターゲットの退出した時の情報を当該カメラ対応のモニタログデータベース２２に記録するようにしている。このモニタログデータベース２２を構成する各監視レコードは、「人物ＩＤ」、「マークＮｏ」、「開始時刻」、「終了時刻」の各項目を有する構成となっている。
【００２１】
「人物ＩＤ」は、入退場管理システム１側において要注意人物が入場したことが認識された際に、この要注意人物を特定する為の情報として入退場管理システム１側から送信されて来たもので、施設内監視システム２は、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中にこの要注意人物が出現したことを検出した際に、それを監視ターゲットとして特定すると共に、このターゲットを識別する情報として当該「人物ＩＤ」を使用し、この「人物ＩＤ」を含む監視レコードを新規生成してモニタログデータベース２２内に追加登録するようにしている。
【００２２】
「マークＮｏ」は、何れかの監視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲットが出現したことが検出された際に、この撮影画像内の当該ターゲット位置に付加されるマークを識別する為の情報である。この場合、施設内監視システム２は、監視ターゲットの出現を検出した際に、図５（Ｂ−４）に示すように、その撮影画像内の当該ターゲットの位置にマークを付加し、その後、このターゲットの移動に伴ってマークを追随させるようにしているが、「マークＮｏ」は、このマーク付きターゲットを識別する為の情報である。
「開始時刻」は、監視ターゲットの出現を検出した時の情報として記憶される監視スタート情報（出現時刻）であり、「終了時刻」は、そのターゲットの退出を検出した時の情報として記憶される監視エンド情報（退出時刻）である。
【００２３】
図４（Ｂ）は、施設内監視システム２側に設けられている抽象化画像ファイル２３を説明する為の図である。
この抽象化画像ファイル２３は、視用モニタカメラ２１によって撮影された撮影画像の中に監視ターゲット（要注意人物）が含まれているかを認識する為に、その要注意人物の特徴を現した抽象化画像である。この場合、入退場管理システム１は、要注意人物が入場したことを認識した際に、この要注意人物をその左右前後から撮影した各撮影画像を解析することによってその人物の特徴を抽象化した左右前後の抽象化画像を生成して施設内監視システム２側へ送信すると、施設内監視システム２は、要注意人物毎に、その「人物ＩＤ」を付加して左右前後の抽象化画像を保存するようにしている。
【００２４】
図６は、入退場管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図である。
なお、施設内監視システム２を構成するデータ処理装置、検索システム３を構成するデータ処理装置も同様の構成要素を有する構成となっている為、以下、入退場管理システム１側のデータ処理装置について説明し、施設内監視システム２側および検索システム３側のデータ処理装置ついては、その説明を省略するものとする。
ＣＰＵ１０１は、記憶装置１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのデータ処理装置の全体動作を制御する中央演算処理装置である。記憶装置１０２は、プログラム記憶領域とデータ記憶領域とを有し、このプログラム記憶領域内には、オペレーティングシステムの他に、各種アプリケーションプログラムが格納され、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。
【００２５】
この記録装置１０２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置１０２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）１０３にロードされたり、ＲＡＭ１０３内のデータが記憶装置１０２にセーブされる。なお、ＲＡＭ１０３内には、プログラム実行領域と作業領域とを有している。更に、ＣＰＵ１０１は通信装置１０４を介して他の電子機器側のプログラム／データを直接アクセスして使用したり、通信装置１０４を介してダウンロード受信することもできる。一方、ＣＰＵ１０１にはその入出力周辺デバイスである入力装置１０５、表示装置１０６がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。
【００２６】
次に、この実施形態における行動監視システムの動作概念を図７〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００２７】
図７は、電源投入に伴って実行開始される入退場管理システム１側の動作を示したフローチャートである。
先ず、入退場管理システム１は、常時、モニタリングしている入退場カメラ群１１からの各撮影画像を取得し、各撮影画像を解析することによって施設内に向かって来る方向に移動する人物の有無をチェックする（ステップＡ１）。すなわち、入退場管理システム１は、入口方向（入場方向）に指向しているカメラに対して正面に向いた人物像が次第に大きくなったかを調べ、人物が所定の大きさになった際には、入場者有りと判別する。いま、入場者が検出されると、この入場者に対して正面のカメラを指定し、その人物の顔画像を拡大撮影させる（ステップＡ２）。そして、入退場管理システム１は、要注意登録人物ＩＤメモリ１３から「人物ＩＤ」を１つずつ読み出しながら、この「人物ＩＤ」対応の登録画像ファイル１２と入場者の顔画像とを比較し（ステップＡ３）、入場者は登録人物（要注意人物）に該当するかをチェックする（ステップＡ４）。
【００２８】
ここで、入場者が社員等の正規な人物であれば（ステップＡ４でＮＯ）、特別な処理を行わずに、ステップＡ９に移るが、入場者が何れかの要注意人物に該当する場合には、その撮影画像を保存する（ステップＡ５）。すなわち、要注意人物に該当する登録画像ファイル１２内から「人物ＩＤ」を取得すると共に、入退場カメラ群１１によって撮影された要注意人物の前後左右の撮影画像を取得し、この前後左右の撮影画像に「人物ＩＤ」を付加して、入場画像ファイル１５として保存する。そして、この「人物ＩＤ」と「現在時刻（入場時刻）」とを含む管理レコードを生成して、入退場管理テーブル１４に追加登録すると共に（ステップＡ６）、上述した前後左右の撮影画像の中からその人物の特徴を抽出して、前後左右の抽象化画像を生成した後（ステップＡ７）、各抽象化画像と当該「人物ＩＤ」とを施設内監視システム２へ送信して要注意人物が入場した旨を通知する（ステップＡ８）。
その後、最初のステップＡ１に戻って入場者の有無をチェックする。以下、要注意人物の入場を検出する毎に、上述の動作が繰り返される（ステップＡ１〜Ａ８）。
【００２９】
一方、入退場管理システム１は、施設からの退場時にも、入場時と基本的には同様の処理を行う。すなわち、入退場管理システム１は、入退場カメラ群１１からの各撮影画像を解析することによって施設から出て行く方向に移動する人物の有無をチェックする（ステップＡ９）。この場合、入退場管理システム１は、出口方向（退場方向）に指向するカメラに対して正面に向いた人物像が次第に大きくなったかを調べ、人物が所定の大きさになった際には、退場者有りと判別する。いま、退場者が検出されると、この退場者に対して正面のカメラを指定し、その人物の顔画像を拡大撮影させる（ステップＡ１０）。
【００３０】
そして、入退場管理システム１は、要注意登録人物ＩＤメモリ１３から「人物ＩＤ」を１つずつ読み出しながら、この「人物ＩＤ」対応の登録画像ファイル１２と退場者の顔画像とを比較し（ステップＡ１１）、退場者が登録人物（要注意人物）に該当する場合には（ステップＡ１２）、この登録画像ファイル１２内の「人物ＩＤ」を取得し（ステップＡ１３）、この「人物ＩＤ」に基づいて入退場管理テーブル１４をアクセスし、該当する管理レコード内に現在時刻（退場時刻）をセットする（ステップＡ１３）。以下、退場者を検出する毎に、上述の動作が繰り返される（ステップＡ９〜Ａ１４）。
【００３１】
図８は、電源投入に伴って実行開始される施設内監視システム２側の動作を示したフローチャートであり、監視用モニタカメラ２１毎に同様の動作が行われるが、図８は、モニタカメラ１台分の動作を示し、以下、図５を参照して、施設内監視システム２側の動作を説明する。図５（Ａ−１）〜（Ａ−３）は、監視用モニタカメラＡにおけるモニタ画面、（Ｂ−１）〜（Ｂ−４）は、監視用モニタカメラＢにおけるモニタ画面を示している。
なお、施設内監視システム２は、入退場管理システム１との間でデータ送受信を行い、入退場管理システム１側で要注意人物の入場が検出された際に、その「抽象化画像」と共に「人物ＩＤ」が入退場管理システム１から送信されて来た場合には、それを受信してワーク域内に一時保存するようにしている。
【００３２】
先ず、施設内監視システム２は、常時、モニタリングしている監視用モニタカメラ２１からの撮影画像を取得し、このモニタ画像を解析して画像の変化を調べ（ステップＢ１）、画像変化を検出した場合には、変化している画像は、上述したマーク付き画像かをチェックする（ステップＢ２）。いま、例えば、図５（Ａ−１）に示す如く、監視用モニタカメラＡのモニタ画面において、マーク付き画像が検出されると、このモニタ画面内における当該画像の変化位置（変化量と変化方向）を検出し、この変化位置に合わせてマーク表示位置を移動させることにより、図５（Ａ−２）に示す如く、このマークを画像移動に追随させる（ステップＢ３）。
【００３３】
この状態において、モニタ画面内のマーク位置を追跡監視し、それがモニタ画面から外れたかをチェックする（ステップＢ４）。いま、マークがモニタ画面内に有れば、最初のステップＢ１に戻り、画像移動に応じてマークを追随させるが、図５（Ａ−３）に示す如く、マークがモニタ画面から外れた場合には（ステップＢ４）、この「マークＮｏ」に基づいてモニタログデータベース２２をアクセスし、該当するモニタレコード内に「終了時刻（現在時刻）」をセットすると共に、当該モニタレコード内の「マークＮｏ」を消去した後（ステップＢ５）、最初のステップＢ１に戻り、以下、上述の動作が繰り返される。
【００３４】
また、監視用モニタカメラＢのモニタ画面において、マーク付き画像ではないことが検出された場合には（ステップＢ２）、人物の移動に伴ってモニタ内に新規に出現した人物画像（新規画像）かをチェックし（ステップＢ６）、新規画像でなければ、最初のステップＢ１に戻るが、図５（Ｂ−３）に示すように、人物の移動に伴ってモニタ内に新規画像が出現した場合には、入退場管理システム１から受信取得して一時保存してある上述の「抽象化画像」を読み出し、この「抽象化画像」と今回の「新規画像」との特徴比較を行い（ステップＢ７）、同一人物であるか否かを判別する（ステップＢ８）。
【００３５】
ここで、同一人物でなければ、最初のステップＢ１に戻るが、同一人物であれば、言換えれば、要注意人物がモニタ画面内に出現した場合には、図５（Ｂ−４）に示すように当該対象画像（要注意人物画像）にマークを付与すると共に、「マークＮｏ」を新規生成する（ステップＢ９）。そして、当該「抽象化画像」に対応して一時保存してある上述の「人物ＩＤ」を読み出し、この「人物ＩＤ」、「マークＮｏ」、「開始時刻（要注意人物が出現した現在時刻）」を含むモニタレコードを生成して、モニタログデータベース２２に追加登録する（ステップＢ１０）。
【００３６】
図９は、電源投入に伴って実行開始される検索システム３の動作を示したフローチャートである。
先ず、検索システム３は、電源投入に伴って検索メニュー画面を表示する（ステップＣ１）。この検索メニュー画面は、「１：時間検索」、「２：人物検索」の各メニュー項目を有し、オペレータによって何れかのメニュー項目が選択指定された後に、任意の検索条件（再生条件）が入力されると（ステップＣ２）、その選択メニューの判別を行う（ステップＣ３）。
【００３７】
いま、「２：人物検索」のメニュー項目が選択指定されて、その検索条件として任意の人物が入力指定されたものとする（ステップＣ１〜Ｃ３）。この場合、検索条件の入力は、例えば、次のようにして行われる。すなわち、検索システム３は、施設内監視システム２側のモニタログデータベース２２をアクセスして各「人物ＩＤ」を読み出した後に、各「人物ＩＤ」に基づいて入退場管理システム１側の登録画像ファイル１２をアクセスし、該当する人物画像を取得して一覧表示させる。この一覧画面の中から所望する人物画像が選択指定されると、この指定画像対応の「人物ＩＤ」を取得し、この「人物ＩＤ」を入力指定された検索条件として決定する。
【００３８】
これによって検索条件が入力指定された場合には、入力された「人物ＩＤ」に基づいて監視用モニタカメラ２１対応の各モニタログデータベース２２をアクセスして、「人物ＩＤ」対応のモニタレコードをカメラ毎に読み出す（ステップＣ１１）。そして、各監視用モニタカメラ２１毎に読み出したモニタレコード内から「開始時刻」および「終了時刻」を取得した後、この「開始時刻」および「終了時刻」によって示される範囲内の画像を再生対象として、各カメラ対応の記憶媒体６の中から抽出して再生出力させるが、その際、各カメラ対応のモニタ表示装置毎に、記録時刻の同期を取ってモニタ再生させる（ステップＣ１０）。つまり、複数台のモニタ表示装置には、対応する記録媒体６の内容が再生表示されるが、その際、カメラ対応のモニタレコードから取得した「開始時刻」から「終了時刻」までの範囲内の撮影画像を時刻の進行に合わせて各記録媒体６から読み出して一斉に同期表示させることによって、監視ターゲットが複数台の監視用モニタカメラ２１によって同時に撮影されている場合には、その人物の行動を複数台のモニタ表示によって同時確認することが可能となる。
【００３９】
一方、「１：時間検索」のメニュー項目が選択指定されて、その検索条件として任意の時間が入力指定された場合には（ステップＣ１〜Ｃ３）、この指定時間に施設に居た監視ターゲットを検索する為に、入退場管理システム１側の入退場管理テーブル１４をアクセスし、その「入場時刻」、「退場時刻」を参照することによってその指定時間内に施設に居た人物を特定し、その「人物ＩＤ」を抽出する（ステップＣ４）。そして、この「人物ＩＤ」に基づいて登録画像ファイル１２をアクセスし、対応の登録画像を読み出して一覧表示させる（ステップＣ５）。この登録画像の一覧表示の中から所望する人物を特定する人物の選択有無を受け付け（ステップＣ６）、人物が特定されたかを判別する（ステップＣ７）。
【００４０】
いま、登録画像の一覧表示の中から任意の人物が選択されて、検索対象の人物が特定された場合には（ステップＣ７でＹＥＳ）、指定時間内で該当する「人物ＩＤ」対応の全モニタレコードを読み出す（ステップＣ８）。すなわち、特定された人物の「人物ＩＤ」を取得し、この「人物ＩＤ」に基づいて監視用モニタカメラ２１対応の各モニタログデータベース２２をアクセスして、「人物ＩＤ」対応のモニタレコードをカメラ毎に読み出す。そして、各カメラ対応のモニタ表示装置毎に、記録時刻の同期を取ってモニタ再生させる（ステップＣ１０）。
【００４１】
また、検索対象の人物が特定されなければ（ステップＣ７でＮＯ）、指定時間に施設に居た人物毎に、その「人物ＩＤ」を取得し、この「人物ＩＤ」に基づいて監視用モニタカメラ２１対応の各モニタログデータベース２２をアクセスして、「人物ＩＤ」対応のモニタレコードをカメラ毎に読み出した後に（ステップＣ９）、各カメラ対応のモニタ表示装置毎に、記録時刻の同期を取ってモニタ再生させるが（ステップＣ１０）、この場合における再生動作は、指定時間に施設に居た人物毎に順次繰り返される。
【００４２】
以上のように、この実施形態における監視システムは、入退場管理システム１、施設内監視システム２、検索システム３等によって構成され、施設内監視システム２は、要注意人物を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したか退出したかを検出し、監視ターゲットの出現が検出された際には、その時の監視スタート情報として「開始時刻」を記録し、退出が検出された際には、その時の監視エンド情報として「終了時刻」をモニタログデータベース２２内に記録しておき、撮影画像の再生時において検索システム３は、モニタログデータベース２２内の「開始時刻」と「終了時刻」とによって示される範囲内の撮影画像を抽出して再生出力するようにしたから、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生することができ、その再生作業の効率化に伴って不審者等の行動監視を確実かつ迅速に行うことが可能となる。
【００４３】
入退場管理システム１は、要注意人物である監視ターゲットの入場時に、そのターゲットを撮影した撮影画像に基づいてその特徴情報を解析して抽象化画像を生成して施設内監視システム２へ送信すると、施設内監視システム２は、これを抽象化画像ファイル２３として保存しておき、入場後に撮影された撮影画像の中に当該特徴情報を持つターゲットが含まれている場合には、ターゲットの出現を検出するようにしたから、特徴比較によってターゲットの出現を確実に検出することができる。
この場合、入退場管理システム１は、抽象化画像を生成する際に、この人物をを左右前後から撮影した各撮影画像に基づいて生成するようにしたから、ターゲットの出現をより確実に検出することができる。
【００４４】
この場合、施設内監視システム２は、モニタ画面内に監視ターゲットの出現を検出した際に、モニタ画面内の当該ターゲット位置にマークを付与すると共に、このターゲットの移動に追随してマークを移動させ、このマークの位置に基づいてターゲットがモニタ画面から退出したかを検出するようにしたから、マークを追跡するだけて、ターゲットを追跡監視することができ、その監視を容易に行うことが可能となる。
【００４５】
また、複数台の監視用モニタカメラ２１によって同一ターゲットが撮影された各撮影画像に基づいて監視ターゲットの出現および退出をカメラ毎に検出すると共に、カメラ対応のモニタログデータベース２２内に「開始時刻」と「終了時刻」とをカメラ毎に記録し、このカメラ対応のモニタログデータベース２２の内容に基づいてカメラ毎に抽出された同一ターゲットの各撮影画像を再生出力するるようにしたから、複数台のカメラによって同一ターゲットを監視することによって立体的（３次元的に）な監視が可能となり、ターゲットの動きをより確実に把握することができる。
【００４６】
検索システム３は、撮影画像の検索条件が任意に指定されることによって、その指定条件に該当する撮影画像を抽出して再生出力するようにしたから、多数のターゲットが撮影された撮影画像の中から所望するターゲットの画像を任意に再生出力することができる。この場合、任意の人物を検索条件としたり、任意の時間帯を検索条件として指定することができ、人物が検索条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定された人物画像を抽出して再生出力し、また、時間帯が検索条件として指定された場合には、各カメラ対応の記憶媒体６の中から指定時間帯内に撮影された画像を抽出して再生出力することができる。
【００４７】
なお、上述した実施形態においては、監視ターゲットの出現時および退出時の情報として、「開始時刻」、「終了時刻」を記録するようにしたが、時刻情報に限らず、例えば、撮影画像を逐次記録する記録媒体上の物理的な位置情報（アドレス値）を監視スタート情報、監視エンド情報として記録してもよく、また、撮影開始から終了までの撮影期間内において一定のタイミングで計数された数値情報（カウンタ値）を監視スタート情報、監視エンド情報として記録するようにしてもよい。
【００４８】
上述した実施形態においては、要注意人物を監視ターゲットとしたが、人物に限らず、例えば、施設内の自動車を監視ターゲットとしてもよく、自動車が正規な駐車スペースへ駐車したかを監視するようにしてもよい。また、監視対象は、施設に限らず、遊園地、動物園、テーマパーク等の構内であってもよい。
【００４９】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、移動体を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したかを検出すると共に、撮影画像の中から当該ターゲットが退出したかを検出する機能と、監視ターゲットの出現が検出された際に、その時の情報を監視スタート情報として記録し、当該ターゲットの退出が検出された際に、その時の情報を監視エンド情報として記録する機能と、この監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５０】
【発明の効果】
この発明（請求項１記載の発明）によれば、移動体を監視ターゲットとして撮影した撮影画像の中に監視ターゲットが出現したか退出したかを検出し、監視ターゲットの出現が検出された際には、その時の情報として監視スタート情報を記録し、退出が検出された際には、その時の情報として監視エンド情報を記録しておき、撮影画像の再生時には、この監視スタート情報と監視エンド情報とによって示される範囲内の撮影画像を抽出して再生出力するようにしたから、膨大な撮影画像の中から監視ターゲットが写っている部分のみを再生することができ、その再生作業の効率化に伴って不審者等の行動監視を確実かつ迅速に行うことが可能となる。
【図面の簡単な説明】
【図１】監視システムの全体構成を示したブロック図。
【図２】施設の入退場口や施設内に設置されているカメラの配置図を概念的に示した図。
【図３】（Ａ）は、入退場管理システム１側に設けられている登録画像ファイル１２、要注意登録人物ＩＤメモリ１３を説明する為の図、（Ｂ）は、入退場管理システム１側に設けられている入退場管理テーブル１４、入場画像ファイル１５を説明する為の図。
【図４】（Ａ）は、施設内監視システム２側に設けられているモニタログデータベース２２の内容を示した図、（Ｂ）は、施設内監視システム２側に設けられている抽象化画像ファイル２３を説明する為の図。
【図５】（Ａ−１）〜（Ａ−３）は、監視用モニタカメラＡにおけるモニタ画面、（Ｂ−１）〜（Ｂ−４）は、監視用モニタカメラＢにおけるモニタ画面を示した図。
【図６】入退場管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図。
【図７】電源投入に伴って実行開始される入退場管理システム１側の動作を示したフローチャート。
【図８】電源投入に伴って実行開始される施設内監視システム２側のモニタカメラ１台分の動作を示したフローチャート。
【図９】電源投入に伴って実行開始される検索システム３の動作を示したフローチャート。
【符号の説明】
１  入退場管理システム
２  施設内監視システム
３  検索システム
４  警備システム
５  構内通信網
６  カメラ対応の記憶媒体
１１  入退場カメラ群
１２  登録画像ファイル
１３  要注意登録人物ＩＤメモリ
１４  入退場管理テーブル
１５  入場画像ファイル
２１  監視用モニタカメラ
２２  モニタログデータベース
２３  抽象化画像ファイル
１０１  ＣＰＵ
１０２  記憶装置
１０４  通信装置
１０６  表示装置
【図１】
2004187115.tif 000003
【図２】
2004187115.tif 000004
【図３】
2004187115.tif 000005
【図４】
2004187115.tif 000006
【図５】
2004187115.tif 000007
【図６】
2004187115.tif 000008
【図７】
2004187115.tif 000009
【図８】
2004187115.tif 000010
【図９】
2004187115.tif 000011