(57)【要約】【課題】監視者の状態に適応可能な監視システムを提供する。【解決手段】監視システムは、対象の映像を取得する映像取得部と、予め撮影された関係者の映像に基づいて生成された情報である関係者特徴情報を記憶する関係者特徴情報記憶部と、映像取得部により取得された映像から人物を示す被撮影者領域を抽出し、被撮影者領域から被撮影者特徴情報を抽出する被撮影者特徴情報抽出部と、関係者特徴情報と被撮影者特徴情報とに基づいて被撮影者領域に非関係者が含まれるか否かを示す監視情報を生成する映像解析部と、監視情報に応じた出力を行う出力部を備える。出力部は、被撮影領域に非関係者が含まれている場合に、映像取得部が取得した対象の映像をより大きく表示する。【選択図】図１
2007312271.tif 000002
【特許請求の範囲】
【請求項１】
対象の映像を取得する映像取得部と、
予め撮影された関係者の映像に基づいて生成された情報である関係者特徴情報を記憶する関係者特徴情報記憶部と、
前記映像取得部により取得された映像から人物を示す被撮影者領域を抽出し、前記被撮影者領域から被撮影者特徴情報を抽出する被撮影者特徴情報抽出部と、
前記関係者特徴情報と前記被撮影者特徴情報とに基づいて前記被撮影者領域に非関係者が含まれるか否かを示す監視情報を生成する映像解析部と、
前記監視情報に応じた出力を行う出力部
とを具備する
監視システム。
【請求項２】
請求項１に記載された監視システムであって、
前記出力部は、前記被撮影者領域に前記非関係者が含まれている場合に、前記映像取得部が取得した前記対象の映像をより大きく表示する
監視システム。
【請求項３】
請求項１乃至２に記載された監視システムであって、
更に、前記映像取得部によって取得される映像が表示されるモニタが設置される監視者領域の映像を取得する第２映像取得部と、
前記監視者領域の映像から監視者領域特徴量を抽出し、前記監視者領域特徴量と前記関係者特徴情報とを照合することにより、前記監視者領域における前記関係者の状態を示す状態情報を生成する関係者状態情報生成部とを具備し、
前記出力部は、前記状態情報に応じて前記出力を変更する
監視システム。
【請求項４】
請求項３に記載された監視システムであって、
更に、前記状態情報の履歴を記録する記録部
を具備する
監視システム。
【請求項５】
請求項３乃至４に記載された監視システムであって、
更に、前記映像取得部により取得された第１映像に含まれる第１領域から抽出された第１被撮影者特徴情報と第２映像に含まれる第２領域から抽出された第２被撮影者特徴情報とを所定の基準に基づいて照合して一致したとき前記第１領域と前記第２領域を関連づける同一対象決定部と、
前記第１映像と前記第２映像に対して映像評価値をそれぞれ生成し、前記映像評価値の大小関係を評価する映像評価値決定部
とを具備し、
前記出力部は、前記大小関係に応じた出力を行う
監視システム。
【請求項６】
対象の映像を取得する映像取得部と、
予め撮影された関係者の映像に基づいて生成された情報である関係者特徴情報を記憶する関係者特徴情報記憶部と、
前記映像取得部により取得された映像から人物を示す被撮影者領域を抽出し、前記被撮影者領域から被撮影者特徴情報を抽出する被撮影者特徴情報抽出部と、
前記関係者特徴情報と前記被撮影者特徴情報とに基づいて前記被撮影者領域に非関係者が含まれるか否かを示す監視情報を生成する映像解析部と、
前記監視情報に応じた出力を行う出力部
とを具備する
監視サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを用いて監視を行う監視システムに関する。
【背景技術】
【０００２】
複数のカメラから入力された映像信号を同時に扱う映像監視システムが知られている。近年、ネットワークを介して映像が送信される映像監視システムや、配線を省略するために無線で映像が伝送される映像監視システムが販売されている。
【０００３】
特許文献１には、多数台の映像入力を用いた広域監視装置において、所定の数のカメラ毎に撮像される動物体を追跡しその同一性を判断して、情報の送信を限定することで通信量の削減を行う発明が開示されている。
【特許文献１】特開平１１−１５９８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
通常、監視端末を常時監視するのは監視者にとって苦痛である。更に、監視者の状態（定期的な巡回や休憩など）により、端末を常時注視することが妨げられる状況が発生し、監視領域（監視カメラにより撮影される領域）で発生する異常が見落とされる可能性が存在する。監視業務が複数の監視者により実施される場合においては、同様の理由により、監視画像を注視している担当者の人数が状況に応じて変動する。こうした変動は、安定した監視を行うためには好ましくない。
【０００５】
監視カメラは、監視領域において待機している関係者や巡回している監視者をも撮影する。これらは通常の監視業務上は冗長な映像である。監視者がこうした冗長な映像を長時間監視することは、本来の監視されるべき対象に対する注意力を低下させる。更に、こうした冗長な映像が限られた録画媒体に記録されることにより、長時間の映像録画が妨げられる。
【０００６】
多数のカメラ映像を切り替えながら監視業務が行われる場合、監視従事者の負担が大きい。多数の映像に同時に多数の人物が撮像されると、監視従事者が特定の監視対象を追跡することが困難である。
【０００７】
本発明の目的は、監視者の状態に適応可能な監視システムを提供することである。
本発明の他の目的は、監視領域にいる関係者を除外して監視業務を行うことを可能にする監視システムを提供することである。
本発明の更に他の目的は、多数の監視カメラが設置されている場合に、映像選択作業や冗長な映像表示を低減する監視システムを提供することである。
本発明の更に他の目的は、対象毎に画像を限定して表示し、撮像される複数の対象を少数の監視者で効率的に監視できる監視システムを提供することである。
【課題を解決するための手段】
【０００８】
以下に、［発明を実施するための最良の形態］で使用される番号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００９】
本発明による監視システムは、対象の映像を取得する映像取得部（１）と、予め撮影された関係者の映像に基づいて生成された情報である関係者特徴情報を記憶する関係者特徴情報記憶部（９）と、映像取得部により取得された映像から人物を示す被撮影者領域（３５）を抽出し、被撮影者領域から被撮影者特徴情報を抽出する被撮影者特徴情報抽出部（２１）と、関係者特徴情報と被撮影者特徴情報とに基づいて被撮影者領域に非関係者が含まれるか否かを示す監視情報を生成する映像解析部（２２）と、監視情報に応じた出力を行う出力部（５０）とを備える。
【００１０】
本発明による監視システムにおいて、出力部（５０）は、被撮影者領域（３５）に非関係者が含まれている場合に、映像取得部（１）が取得した対象の映像をより大きく表示する。
【００１１】
本発明による監視システムは、映像取得部（１）によって取得される映像が表示されるモニタ（５０）が設置される監視者領域（３２）の映像を取得する第２映像取得部（５）と、監視者領域の映像から監視者領域特徴量を抽出し、監視者領域特徴量と関係者特徴情報とを照合することにより、監視者領域における関係者の状態を示す状態情報を生成する関係者状態情報生成部（６３）とを備える。出力部（５０）は、状態情報に応じて出力を変更する。
【００１２】
本発明による監視システムは、更に、状態情報の履歴を記録する記録部（１０）を備える。
【００１３】
本発明による監視システムは、映像取得部（１）により取得された第１映像に含まれる第１領域から抽出された第１被撮影者特徴情報と第２映像に含まれる第２領域から抽出された第２被撮影者特徴情報とを所定の基準に基づいて照合して一致したとき第１領域と第２領域を関連づける同一対象決定部（２２）と、第１映像と第２映像に対して映像評価値をそれぞれ生成し、映像評価値の大小関係を評価する映像評価値決定部（２３）とを備える。出力部（５０）は、大小関係に応じた出力を行う。
【００１４】
本発明による監視サーバは、対象の映像を取得する映像取得部（１）と、予め撮影された関係者の映像に基づいて生成された情報である関係者特徴情報を記憶する関係者特徴情報記憶部（９）と、映像取得部（１）により取得された映像から人物を示す被撮影者領域（３５）を抽出し、被撮影者領域から被撮影者特徴情報を抽出する被撮影者特徴情報抽出部（２１）と、関係者特徴情報と被撮影者特徴情報とに基づいて被撮影者領域に非関係者が含まれるか否かを示す監視情報を生成する映像解析部（２２）と、監視情報に応じた出力を行う出力部（５０）とを備える。
【発明の効果】
【００１５】
本発明によれば、監視者の状態に適応可能な監視システムが提供される。
更に本発明によれば、監視領域にいる関係者を除外して監視業務を行うことを可能にする監視システムが提供される。
更に本発明によれば、多数の監視カメラが設置されている場合に、映像選択作業や冗長な映像表示を低減する監視システムが提供される。
更に本発明によれば、対象毎に画像を限定して表示し、撮像される複数の対象を少数の監視者で効率的に監視できる監視システムが提供される。
【発明を実施するための最良の形態】
【００１６】
［実施の第１形態］
以下、図面を参照しながら本発明を実施するための最良の形態について説明する。図１は、実施の第１形態における監視システムが適用される施設を示す。監視システムは、監視者（監視従事者）が監視領域３１を監視するために使用される。監視領域３１は、屋内、屋外またはその両方を含む。
【００１７】
監視領域３１を監視するために、少なくとも１台のカメラ１０１ａ〜１０１ｄが用いられる。一のカメラによって撮影される領域と他のカメラによって撮影される領域とは重なっていてもよい。各カメラで撮影される映像は静止画像または動画像である。以下の説明では、カメラ１０１ａ〜１０１ｄはカラーの動画像を撮影する。
【００１８】
監視領域を監視する監視者は、監視室３２に位置する。監視室３２は、監視対象である施設の一部、またはその施設から離れた場所に位置する。監視室３２の内部には、表示端末５０が設置される。表示端末５０は、カメラ１０１ａ〜１０１ｄによって撮影された監視領域の映像を表示する。監視室３２には、カメラ１０５が設置される。カメラ１０５は、表示端末５０に表示される映像を監視する監視者の位置を含む監視室３２の内部の領域を撮影する。
【００１９】
図２は、実施の第１形態における監視システムの構成を示す。監視システムは、映像撮影手段１、映像解析手段２、映像選択表示手段３、監視室映像撮影手段５、監視者状況把握手段６、システム動作条件決定手段７、警告手段８及び監視者特徴情報記録手段９を備える。
【００２０】
監視者特徴情報記録手段９は、予め撮影された監視者（関係者）の映像に基づいて作成された監視者特徴情報を記憶する。映像撮影手段１はカメラ１０１ａ〜１０１ｄを含み、カメラ１０１ａ〜１０１ｄによって撮影された監視領域３１の画像を含む監視領域画像情報を映像解析手段２に送信する。映像解析手段２は、受信した監視領域画像情報を解析し、監視領域に撮影された監視対象（典型的には人）の対象領域を抽出して、その対象領域の特徴を、予め監視者特徴情報記録手段９に記録された監視者特徴情報と比較することによって、対象が関係者であるかどうかを判定した判定結果を生成し、映像選択表示手段３に送信する。映像選択表示手段３は受信した判定結果に基づいて映像選択情報を生成し、その映像選択情報に基づいた表示画面を生成して表示端末５０に表示する。映像選択表示手段３は更に、受信した解析結果に依存して警告手段８を制御し、監視者に対する警告を発生する。
【００２１】
監視室映像撮影手段５はカメラ１０５を含み、カメラ１０５によって撮影された監視室３２の画像を含む監視室画像情報を監視者状況把握手段６に送信する。監視者状況把握手段６は、受信した監視室画像情報と、予め特徴情報記憶手段９の記憶媒体に記録された監視者特徴情報とに基づいて、監視者ごとの状態（表示端末５０の近くにいるか否か、監視室の中にいるか否か）を示す監視者状況情報を生成し、システム動作条件決定手段７に送信する。システム動作条件決定手段７は、受信した監視者状況情報に基づいてシステム動作条件情報を生成して映像選択表示手段３に送信する。映像選択表示手段３は受信したシステム動作条件情報に基づいて映像選択情報を生成し、その映像選択情報に基づいた表示画面を生成して表示端末５０に表示する。映像選択表示手段３は更に、受信したシステム動作条件情報に依存して警告手段８を制御し、監視者に対する警告を発生する。
【００２２】
こうした監視システムは、コンピュータを用いて実現される。例えば、監視者特徴情報記録手段９はハードディスクに例示されるコンピュータにより読み取り可能な記憶媒体を用いて実現される。映像解析手段２、映像選択表示手段３、監視者状況把握手段６及びシステム動作条件決定手段７は、記憶媒体に格納されコンピュータにより読み取られることによりコンピュータに定まった手順を実行させるプログラムによってそれぞれ実現することが可能である。映像撮影手段１、監視室映像撮影手段５及び警告手段８はインターフェースを介してコンピュータと情報の授受を行う。
【００２３】
図３は、監視システムの動作を示すフローチャートである。映像撮影手段１は、監視領域３１を撮影した撮影画像を映像解析手段２に送信する。映像解析手段２は、受信した撮影画像に対して画像認識を行って監視対象が映っている対象領域を抽出する。映像解析手段２は更に、各対象領域から所定の方法によって特徴情報を抽出する（ステップＡ１）。
【００２４】
図５は、撮影画像３３と、その中にある監視対象３４とを示す。映像解析手段２は、撮影画像３３の中で例えば撮影された人間の形態を示す領域である監視対象３４を識別し、その領域を図６に示されるような対象領域３５として抽出し、対象領域３５から特徴情報を抽出する。
【００２５】
対象領域３５は、背景差分法及び領域分割法に例示される慣用的な方法により抽出される。１つの映像からは、０、１または複数の対象領域３５が抽出される。各々の対象領域３５の情報には、その対象領域３５を含んでいる映像を識別するための識別子と、その映像が撮影された時刻の情報が付加される。
【００２６】
映像解析手段２は、抽出された特徴情報を監視者特徴情報記録手段９に記録された監視者特徴情報と比較することにより、撮影画像３３に含まれる各監視対象３４が予め登録された監視者（関係者）であるかどうかを判定する監視者特徴比較処理を行う（ステップＡ２）。
【００２７】
映像選択表示手段３は、監視者特徴比較処理によって得られた、撮影画像３３中の各監視対象３４が監視者（関係者）であるかどうかを示す判定結果をもとに、撮影画像３４を選択しユーザに表示する映像選択表示処理を行う（ステップＡ３）。
【００２８】
映像選択表示手段３は、次のような方法を用いて撮影画像３４を選択する。例えば、関係者以外の人はいないと想定される監視領域３１の撮影画像３３に関係者以外の人が映っている場合、その撮影画像が注意すべき画像として大きく映される、あるいは警告表示とともに映される。図７は、表示端末５０の表示画面４０を示す。カメラ画像表示領域４１にカメラ１０１ａ〜１０１ｄによって撮影された撮影画像３４が小さく表示される。拡大画像表示領域４２に注意すべき画像が大きく表示される。メッセージ表示領域４３に警告メッセージが表示される。
【００２９】
上記ステップＡ１〜Ａ３までのサイクルは、決まった周期で継続的に繰返される。このサイクルと並行して、図４に示される処理が実行される。
【００３０】
監視室映像撮影手段５は、監視室３２を撮影した監視室映像を監視者状況把握手段６に送信する。監視者状況把握手段６は、受信した監視室映像に対して画像認識を行って対象（典型的には人）が映っている対象領域を抽出する。監視者状況把握手段６は更に、各対象領域から所定の方法によって特徴情報を抽出する（ステップＢ１）。
【００３１】
監視者状況把握手段６は、抽出された特徴情報を監視者特徴情報記録手段９に記録された監視者特徴情報と比較することにより、監視室映像に含まれる各対象が予め登録された監視者（関係者）であるかどうかを判定する監視者特徴比較処理を行う（ステップＢ２）。
【００３２】
システム動作条件決定手段７は、監視者特徴比較処理の結果得られた、監視室映像の各対象が監視者（関係者）であるかどうかを示す判定結果をもとに、監視者の状態を認識する。監視者の状態は、画像認識により、監視室３２の表示端末５０の前に座っている、監視室３２の内部にいるが表示端末５０から離れている、休憩室にいる、または監視室３２の中にいない、などを判定し、その判定の結果と所定の基準とに基づいて、「監視業務中」、「監視業務外かつ監視室内」、「休憩中」、「離席中」の４値のいずれかに分類され記録される。システム動作条件決定手段７は、認識された監視者の状態に基づいて、映像選択表示手段３の動作条件を変更するシステム動作条件決定処理を行う。
【００３３】
判定される状態の確度を高めるため、監視者が監視室または休憩室で検出されていない時間が所定の期間よりも長い場合にのみ、当該監視者の状態が巡回中であると判定してもよい。また、監視者領域が限定された空間である場合には、映像内の出入り口近くで監視者が抽出された後、監視者が抽出されなくなった場合にのみ、当該監視者の状態が巡回中であると判定してもよい。
【００３４】
動作条件の変更は、次のように行われる。映像解析手段２により監視領域３１の監視映像に関係者以外の人が映っており、かつ監視者状況把握手段６により監視者が表示端末５０の前にいると認識されたときは、表示端末５０のディスプレイに注意を促す表示がなされる。映像解析手段２により監視領域３１の監視映像に関係者以外の人が映っており、かつ監視者状況把握手段６により監視者が表示端末５０の前にいないが監視室３２の中にいると認識されたときは、表示端末５０が監視者に音声により警告を発する。さらに、休憩中の監視者に無線により警告が知らせられる。
【００３５】
監視室３２において複数の監視者の状態が同時に監視業務中であり、それぞれ別々の監視端末を注視している状況であると判定された場合に、複数の監視対象が監視領域３１において検出されたときは、監視システムは、それぞれの監視対象の代表映像を、各監視端末に別々に表示する。
【００３６】
本実施の形態による監視システムによれば、監視領域３１の監視映像内の監視対象を事前に記録された関係者の特徴と比較することにより、関係者を自動的に除外して監視業務が行われるため、関係者以外の人が撮影されている状況に敏感な監視業務が実現される。
【００３７】
更に本実施の形態による監視システムによれば、監視室３２を撮影した映像から監視者の状況が把握され、その状況に応じて監視システムの動作が自動的に変更され、異常時には監視者の状況に応じて警告がされるように構成されている。そのため、監視者側の状況変化に対して設定を手動で変更することなく、異常の見落としを抑制する効率的な監視業務が実現される。
【００３８】
本実施の形態における監視システムは、図１に示される施設に代えて、図９に示される施設に対しても好適に適用可能である。ローカル側の監視領域３１を監視するために、少なくとも１台のカメラ１０１ａ〜１０１ｄが用いられる。監視領域３１を監視する監視者は、監視室３２に位置する。監視室３２の内部には、表示端末５０が設置される。表示端末５０は、カメラ１０１ａ〜１０１ｄによって撮影された監視領域の映像を表示する。監視室３２には、カメラ１０５が設置される。カメラ１０５は、表示端末５０に表示される映像を監視する監視者の位置を含む監視室３２の内部の領域を撮影する。カメラ１０１ａ〜１０１ｄ及び１０５で撮影された映像は、図１の施設の場合と同じ処理を施される。
【００３９】
監視領域３１から離れたリモート側に、遠隔監視センター５２が設置される。遠隔監視センター５２には、表示端末５４が設置され、表示端末５４の画面を注視する監視者が配置される。カメラ１０１ａ〜１０１ｄの映像と表示端末５０に表示される映像とは、インターネットに例示される情報通信回線網であるネットワーク網５６を介して遠隔監視センター５２に送信され、表示端末５４の表示画面に表示される。
【００４０】
監視室３２にいる監視者の状態が休憩中である場合に、監視システムによって表示端末５０から警告が発せられる場合、監視システムは警告信号を遠隔監視センター５２の表示端末５４を制御するサーバに送信する。サーバが警告信号を受信すると、表示５４は、端末遠隔監視センター５２の監視員に対して警告を発する。
【００４１】
複数の監視対象が映像中に含まれる場合、ある対象を監視室３２の表示端末５０に表示し、他の対象を遠隔監視センター５２の表示端末５４に表示するようにしてもよい。
【００４２】
システム動作条件決定手段７は、監視室において監視者の状態が監視業務中である場合には、当該監視者付近の表示端末５０に映像を表示する。システム動作条件決定手段７は、監視室において監視者の状態が監視業務中であり、さらに複数の監視対象が監視領域において検出された場合には、ある対象の代表映像を監視室の監視者に対し表示すると共に、遠隔監視センター５２にいる監視者の表示端末５４に別の対象の代表映像を送信する。
【００４３】
全ての監視者が監視室におらず、休憩中ないし巡回中の場合には、遠隔監視モードが設定される。この場合、監視システムは、遠隔監視センター５２にいる監視者の表示端末５４に監視領域３１の映像を送信する。監視領域３１の映像は表示端末５４に表示され、遠隔監視センター５２の監視者により監視される。
【００４４】
遠隔監視モードにおいて、監視システムが監視領域３１に侵入者がいることを認識した場合、あるいはあらかじめ設定された進入禁止領域への侵入を認識した場合、表示端末５０により音声で監視者に警告を発する。監視システムは更に、遠隔監視センター５２のサーバに異常を知らせる異常信号を送信する。遠隔監視センター５２のサーバは異常信号を受信すると表示端末５４から映像と音声により遠隔監視センター５２の監視者に警告を発する。その警告を認識した監視者は、ローカル側の監視者に連絡を取って状況を確認する。
【００４５】
こうした監視システムによれば、現地の監視室３２にいる監視者の状態に応じて支援が必要な場合に限定して監視映像が遠隔監視センター５２に送信される。そしてローカル側の監視者とリモート側の監視者が連携して監視を行うことにより、少ない監視者で見落としの少ない効果的な監視業務を行うことができる。監視映像は必要なときにだけ送信されるため、ネットワーク帯域が効率的に用いられる。
【００４６】
一つのリモート側の遠隔監視センター５２に対して、ネットワーク網５６を介して、図９に示された構成を有する複数のローカル側の監視システムを接続することができる。こうした構成によれば、複数の監視領域３１の各々を監視するローカル側の監視者の業務を遠隔監視センター５２で支援できる。そのため、すべての監視者をローカル側の現場に配置する場合に比べてより効率的かつ柔軟な監視業務が実現される。
【００４７】
［実施の第２形態］
実施の第２形態における監視システムは、実施の第１形態と同様に図１に示される構成の施設に適用される。図１０は、実施の第２形態における監視システムの構成を示す。監視システムは、映像撮影手段１、映像解析手段２、映像選択表示手段３、監視室映像撮影手段５、監視者状況把握手段６、システム動作条件決定手段７、警告手段８、監視者特徴情報記録手段９及び映像選択条件記録手段１０を備える。こうした監視システムは、実施の第１形態と同様にコンピュータを用いて実現することができる。この監視システムにおいて、図１と同じ番号を付与された対象は、実施の第１形態と同様の機能を備える。
【００４８】
映像解析手段２は、対象領域抽出手段２１、同一対象決定手段２２及び映像評価値決定手段２３を含む。監視者状況把握手段６は、監視者領域抽出手段６１、特徴照合手段６２及び状況決定手段６３を備える。
【００４９】
映像選択条件記録手段１０は、システム動作条件決定手段７によって決められる映像選択表示手段３の動作条件を記録する。映像選択表示手段３は、映像選択条件記録手段１０に記録された動作条件に従い、映像解析手段２により選択された映像をユーザに表示する。
【００５０】
映像解析手段２における対象領域抽出手段２１は、映像撮影手段１により取得された映像中の対象が映る領域を、背景差分法及び領域分割法に例示される画像処理方法を用いて背景と区別し抽出する。
【００５１】
映像解析手段２における同一対象決定手段２２は、対象領域抽出手段２１により抽出された各対象領域の内部の色分布とテキスチャとを含む画像特徴量を解析する。同一対象決定手段２２は、複数の映像に同一の人物が含まれているか否かを識別する。すなわち同一対象決定手段２２は、第１の映像に含まれる第１対象領域の画像特徴量と第２の映像に含まれる第２対象領域の画像特徴量とを比較して、同一の対象（例示：同一人物）が含まれているかどうか判定する。その結果、同一の対象が複数の映像に映っていた場合には、第１対象領域と第２対象領域に対して同一の対象が映っていることを示す識別子が付与される。
【００５２】
より詳しくは、同一対象決定手段２２は、各対象領域について、慣用の画像処理方法によって得られる特性を比較することにより、映っている対象の同一性を判定する。このとき用いられる領域特性としては、色分布のヒストグラム、テクスチャ、画像内での大きさ及び形状が例示される。
【００５３】
領域特性として色分布のヒストグラムが用いられる場合についてより詳しく説明する。各対象領域に含まれる全画素について、ＲＧＢで得られる各画素値をＨＳＩ色空間に変換し、得られた色相Ｈの分布ヒストグラムを所定の区間ごとに求め、各頻度を領域内の全画素数で割って得られる正規化ヒストグラムを当該領域の特徴量として設定する。各映像に含まれる全領域について、ヒストグラムの類似度を各頻度の差の総和で評価し、所定のしきい値を下回る領域同士を同一対象とみなし、各領域に同一のラベルを付与する。これにより、同一対象が映った複数の領域が関連付けられる。色分布以外の特性が併用される場合には、ヒストグラムによる類似度と他の類似度の重み付け和を用いて対象の同一性が評価される。
【００５４】
対象の同一性は、画像内の領域特性のみを用いて判定される。そのため、対象の実空間内の位置または形状を求めるために映像撮影手段１の画角または拡大率の情報を収集する必要はない。
【００５５】
さらに、同一対象決定手段２２は、各対象領域について得られた特徴量を監視者特徴情報記録手段９に記録される関係者の特徴量と比較して、各対象領域に関係者が移っているか否かを判定する。この判定は、同一の対象が映っていると識別された複数の対象領域に対しては、それらから抽出され共通している特徴量を用いて行うことにより、照合の工程を抑制することができる。
【００５６】
映像解析手段２の映像評価値決定手段２３は、同一対象決定手段２２により得られた判定結果をもとに、各映像に対して評価を行う。具体的には、関係者以外の対象が撮影されている対象領域を含む映像には高い評価値が付与される。関係者以外の対象が複数撮影されている場合には、その対象が映っている対象領域について所定の方法で算出される明瞭度がより高い方の対象領域に高い評価値が付与される。
【００５７】
詳しくは、映像評価値決定手段は、慣用的な画像処理方法を用いて映像から生成した情報を所定の基準に基づいて処理することにより評価値を生成する。以下の基準が例示される：
処理対象領域において顔が撮像されていると認識される；
対象領域の面積が画像中で適度な面積である；
対象領域が画像中の中央に近い位置にある；
他の物体による対象の隠蔽が少ない；
周辺の照明条件がよく、対象領域のコントラストが適切である；
対象領域のフォーカスが合っており、動きボケが少ない；及び
各画像における所定の領域に近い場所にある。
これらの評価基準に基づいて、それぞれ既存の画像処理方法による評価値が得られる。すなわち評価基準ごとの評価値が解析処理によって定められ、対象領域の評価値集合が得られる。その評価値集合の重み付き和が代表評価値として設定される。
【００５８】
一例として、処理対象領域の顔認識による評価値算出処理を説明する。各画像について、慣用的な顔領域認識方法が適用され、映像中の顔認識が行われる。その顔認識によって顔が存在すると判定された領域が、検出済みの対象領域に含まれている場合、その対象領域の評価値に１が加えられる。検出されない領域の評価値は０に設定される。
【００５９】
映像選択表示手段３は、評価値集合に応じて、映像選択記録手段１０に記録された条件及びパラメータに従い、同一対象の複数の映像から適切な映像を選択して表示する。さらに監視者の状態が休憩中であることが検出され、監視者が画像を注視していないと思われる場合は、警告手段８を用いて監視者または監視対象に警告を発する。
【００６０】
対象領域が小さい場合には、表示端末５０により拡大された画像が表示される。複数の対象が映像に含まれる場合には、以下に例示される表示方法が適用される：
より高い代表評価値を持つ対象領域が表示される；
画面の領域が分割され、分割された領域にそれぞれの対象が表示される；
それぞれの対象を含む画像が時分割されて交互に表示される；
それぞれの対象領域の縮小画像がユーザに提示され、ユーザに選択された縮小画像が拡大されて表示される。
【００６１】
図８は、表示方法の一例を示す。縮小画像表示領域４４に複数の縮小画像が表示される。複数の縮小画像のなかでユーザがマウスで選択した画像は拡大されて拡大画像表示領域４２に表示される。
【００６２】
監視システムは、撮影された複数の対象のうち、ユーザにより選択された単一の対象が映っている複数の映像を領域分割または時分割表示し、特定の対象の行動を複数の視点から監視できるようにする。
【００６３】
監視者状況把握手段６における監視者領域抽出手段６１は、監視室映像撮影手段５により取得された監視従事者が監視業務を行う監視室３２の映像中の対象が映っている領域を背景と区別し抽出する処理を行う。この処理は、対象領域抽出手段２１と同様に、背景差分法または領域分割法に例示される慣用的な方法により実行される。
【００６４】
監視者状況把握手段６における特徴照合手段６２は、監視者領域抽出手段６１により得られた各対象領域について、同一対象決定手段２２と同様に、領域内の色分布とテクスチャを含む画像特徴量を解析し、得られた特徴量を監視者特徴情報記録手段９に記録される関係者の特徴量と比較して、各対象領域が関係者に該当するか否かを判定する。
【００６５】
監視者状況把握手段６における状況決定手段６３は、特徴照合手段６２により得られた判定結果に基づいて、監視室３２における監視従事者の有無、人数および位置を含む状態から監視者の状況を判定し、システム動作条件決定手段７に伝える。
【００６６】
図１１は、監視システムの動作を示すフローチャートである。映像撮影手段１は、監視領域３１を撮影した撮影画像を映像解析手段２に送信する。対象領域抽出手段２１は、受信した撮影画像に対し、映像内の各対象領域を抽出する対象領域抽出処理を行う（ステップＣ１）。
【００６７】
同一対象決定手段２２は、対象領域抽出処理により抽出された各対象領域についての領域内色分布とテクスチャを含む画像特徴量を解析し、得られた特徴情報を複数の映像に属する各対象領域で比較して、類似している対象領域については、同一の対象を撮影していることを示す共通の領域番号を付与する処理を行う（ステップＣ２）。
【００６８】
同一対象決定手段２２は、対象領域抽出処理により抽出された各対象領域についての領域内色分布とテクスチャを含む画像特徴量と、監視者特徴情報記録手段９に予め記録された特徴情報（監視関係者の画像の特徴量を示す）とを比較し、画像中の当該対象が登録された監視関係者であるかどうかを判定した判定結果を生成する監視者特徴比較処理を行う（ステップＣ３）。
【００６９】
映像評価値決定手段２３は、監視者特徴比較処理の結果得られた判定結果と、各対象領域の特徴量をもとに各映像についての評価値を決定する映像評価値決定処理を行う（ステップＣ４）。
【００７０】
映像選択表示手段３は、映像評価値決定処理の結果得られた各映像の評価値と、映像選択条件記録手段１０に予め記録されたルールに基づいて、映像を選択し、表示端末５０によってユーザ（監視者）に表示する映像選択表示処理を行う（ステップＣ５）。
【００７１】
上記ステップ    Ｃ１〜Ｃ５までのサイクルは、決まった周期で継続的に繰返される。このサイクルと並行して、図１２に示される処理が実行される。
【００７２】
監視室映像撮影手段５は、監視室３２を撮影した監視室映像を監視者状況把握手段６に送信する。監視者領域抽出手段６１は、受信した監視室映像に対し、映像内の各対象領域を抽出する監視者領域抽出処理を行う（ステップＤ１）。
【００７３】
特徴照合手段６２は、監視者領域抽出処理によって抽出された各対象の特徴を、監視者特徴情報記憶手段９に記憶された特徴情報と比較し、画像中の当該対象が予め登録された監視関係者であるかどうかを判定して判定結果を生成する監視者特徴比較処理を行う（ステップＤ２）。
【００７４】
状況決定手段６３は、監視者特徴比較処理の結果得られた判定結果と対象の位置とを含む情報に基づいて、監視従事者の状態を判別する状況決定処理を行う（ステップＤ３）。
【００７５】
システム動作条件決定手段７は、状況決定処理の結果得られた監視従事者の状態に基づき、映像選択表示手段３の動作条件を変更する、システム動作条件決定処理を行う（ステップＤ４）。
【００７６】
本実施の形態による監視システムは、複数の映像から同一の対象が映っている対象領域を関連づけ、対象毎に映像を限定して表示する。そのため、多数の監視カメラ映像を切り替える作業が低減され、冗長な映像表示が抑制される。そのため、撮像された複数の対象を少ない監視者で効率的に監視できる。
【００７７】
本実施の形態による監視システムは、各カメラの実空間における画角の情報を設定する必要がない。そのため、カメラを設置する際にその設置角度を示す情報を取得する作業が省略できる。さらに、画角が可変なカメラを用いた運用が容易である。
【図面の簡単な説明】
【００７８】
【図１】図１は、監視システムが適用される施設を示す。
【図２】図２は、監視システムの構成を示す。
【図３】図３は、監視システムの動作を示すフローチャートである。
【図４】図４は、監視システムの動作を示すフローチャートである。
【図５】図５は、撮影画像と監視対象を示す。
【図６】図６は、撮影画像から抽出された対象領域を示す。
【図７】図７は、表示画面を示す。
【図８】図８は、表示方法の一例を示す。
【図９】図９は、監視システムが適用される施設を示す。
【図１０】図１０は、監視システムの構成を示す。
【図１１】図１１は、監視システムの動作を示すフローチャートである。
【図１２】図１２は、監視システムの動作を示すフローチャートである。
【符号の説明】
【００７９】
３３…撮影画像
４０…表示画面
４１…カメラ画像表示領域
４２…拡大画像表示領域
４３…メッセージ表示領域
４４…縮小画像表示領域
１０１…カメラ
１０５…カメラ
【図１】
2007312271.tif 000003
【図２】
2007312271.tif 000004
【図３】
2007312271.tif 000005
【図４】
2007312271.tif 000006
【図５】
2007312271.tif 000007
【図６】
2007312271.tif 000008
【図７】
2007312271.tif 000009
【図８】
2007312271.tif 000010
【図９】
2007312271.tif 000011
【図１０】
2007312271.tif 000012
【図１１】
2007312271.tif 000013
【図１２】
2007312271.tif 000014