(57)【特許請求の範囲】
【請求項１】
撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置であって、
前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、
前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡する物体追跡部と、
前記物体追跡部による前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出する置去り物体検出部と、
前記物体追跡部による前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成する経過情報生成部と、
前記出現物体が複数検出された場合に、前記出現物体毎に該出現物体の画像を含む画像層を生成する画像層生成部と、
前記撮像画像から前記出現物体を除去した背景画像を生成する背景画像生成部と、
前記経過情報を前記撮像画像に重畳して報知画像を生成する報知画像生成部と、を備え、
前記報知画像生成部は、前記背景画像に前記各画像層を該各画像層に含まれる前記出現物体の検出順に重畳することを特徴とする置去り物体監視装置。
【請求項２】
前記経過情報が、前記監視領域内への出現後の所定時点からの経過時間を含むことを特徴とする請求項１に記載の置去り物体監視装置。
【請求項３】
前記経過情報が、前記監視領域内への出現後の所定時点以降の前記置去り物体の時系列画像を含むことを特徴とする請求項１または請求項２に記載の置去り物体監視装置。
【請求項４】
前記報知画像生成部は、前記出現物体が検出された場合に、該出現物体を取り囲む枠画像を前記報知画像にさらに重畳することを特徴とする請求項１ないし請求項３のいずれかに記載の置去り物体監視装置。
【請求項５】
前記報知画像生成部は、前記枠画像の色を、前記置去り物体の前記監視領域内への出現後の所定時点からの経過時間に応じて変更することを特徴とする請求項４に記載の置去り物体監視装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の置去り物体監視装置と、
監視領域を撮像するための撮像装置と、
前記置去り物体監視装置で生成された報知画像を表示する表示装置と
を備えた置去り物体監視システム。
【請求項７】
撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視方法であって、
前記撮像装置により撮像された前記監視領域の撮像画像を取得するステップと、
前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡するステップと、
前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出するステップと、
前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成するステップと、
前記出現物体が複数検出された場合に、前記出現物体毎に該出現物体の画像を含む画像層を生成するステップと、
前記撮像画像から前記出現物体を除去した背景画像を生成するステップと、
前記経過情報を前記撮像画像に重畳して報知画像を生成するステップと、を有し、
前記報知画像を生成する前記ステップは、前記背景画像に前記各画像層を該各画像層に含まれる前記出現物体の検出順に重畳することを特徴とする置去り物体監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置により撮像された監視領域の撮像画像に基づいて監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法に関する。
【背景技術】
【０００２】
従来、駅や空港等の不特定多数の者が利用する空間では、防犯等を目的として、不審物の置き去りを監視することが行われている。置き去りの監視は一般的に、監視カメラ（撮像装置）により撮像された監視領域の撮像画像を監視員がモニタリングすることにより行われるが、監視員の負担軽減および置き去り検出の精度向上のために、監視領域の撮像画像に基づいて置去り物体を自動的に検出することが求められている。そこで、撮像画像に基づいて置去り物体を自動的に検出するための様々な技術が提案されている（例えば、特許文献１）。特許文献１の従来技術では、所定の時間間隔で撮像入力される監視対象領域の入力画像と監視対象領域の初期画像との差を求めて監視対象領域内における人物像を切り出し、この所定の時間間隔で逐次求められる人物像を相互に比較して該人物像から分離する物体像を検出し、物体像が検出されたときにはこの物体像の放置時間を計測し、所定の時間が経過したときに警報を発報するようにしている。
【０００３】
また、置去り物体が検出された場合は、その置去り物体の置去り主を特定できることが望ましい。そこで、撮像画像に基づいて置去り物体の置去り主を特定するための様々な技術が提案されている（例えば、特許文献２、特許文献３）。特許文献２の従来技術では、撮像画像から、置去り物の画像と、該置去り物から所定の距離範囲内にいる周辺人物の画像とを抽出し、置去り物の画像と周辺人物の画像とを含むログデータを生成することにより、置去り主を特定するための情報をユーザに提供するようにしている。また、特許文献３の従来技術では、置去り物（不審物）が最初に検出された検出時刻直前を終点とする所定期間において、検出領域が不審物の検出領域と重なる全ての物体を置去り主の候補物体として検知し、検知された候補物体の物体像を含む情報（事案情報）を出力することにより、置去り主を特定するための情報をユーザに提供するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１−２４５３９５号公報
【特許文献２】特開２０１２−２３５３００号公報
【特許文献３】特開２０１１−４９６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の従来技術では、監視領域内への出現後の置去り物体の経過情報をユーザに提供することができないという問題があった。もし、監視領域内への出現後の置去り物体の経過情報をユーザに提供することができれば、置去り物体の状態の変化や、置去り物体の出現から警報の発報に至るまでの経緯をユーザが把握することが可能になるため有益である。
【０００６】
また、上記特許文献２および特許文献３の従来技術では、置去り物体の置去り主を特定することは可能であるが、置去り物体が置去り主や他の置去り物体等の他の出現物体の背後に隠れた場合に、ユーザが置去り物体を視認することができないという問題があった。もし、置去り物体が他の出現物体の背後に隠れた場合でも、置去り物体を画像中に表示することができれば、ユーザが置去り物体の状態を確認することが可能になるため有益である。
【０００７】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能な置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法を提供することを第１の目的とする。また、本発明は、置去り物体が他の出現物体の背後に隠れた場合でも、置去り物体を画像中に表示することが可能な置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法を提供することを第２の目的とする。
【課題を解決するための手段】
【０００８】
本発明の置去り物体監視装置は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡する物体追跡部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出する置去り物体検出部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成する経過情報生成部と、前記出現物体が複数検出された場合に、前記出現物体毎に該出現物体の画像を含む画像層を生成する画像層生成部と、前記撮像画像から前記出現物体を除去した背景画像を生成する背景画像生成部と、前記経過情報を前記撮像画像に重畳して報知画像を生成する報知画像生成部と、を備え、前記報知画像生成部は、前記背景画像に前記各画像層を該各画像層に含まれる前記出現物体の検出順に重畳することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能となる。また、これにより、置去り物体の状態の変化や、出現から警報の発報に至るまでの経緯をユーザが把握可能となると共に、置去り物体が他の出現物体の背後に隠れた場合でも、置去り物体を画像中に表示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る置去り物体監視システムの概略構成図
【図２】（Ａ）撮像画像から監視領域内に出現した出現物体（カバンを持った人物）が検出された例を示す図、（Ｂ）撮像画像から監視領域内に新規に出現した出現物体（カバン）が検出された例を示す図
【図３】経過情報が、置去り物体が監視領域内に出現した時点から経過時間である場合の報知画像の例を示す図であり、（Ａ）報知画像の例を示す図、（Ｂ）報知画像の他の例を示す図
【図４】経過情報が、置去り物体が監視領域内に出現した時点以降の置去り物体の時系列画像である場合の報知画像の例を示す図であり、（Ａ）報知画像の例を示す図、（Ｂ）時系列画像の例を示す図
【図５】経過情報が、置去り物体が監視領域内に出現した時点から経過時間であり、経過時間を枠画像の色の変化により示した報知画像の例を示す図であり、（Ａ）枠画像の色が青色の報知画像の例を示す図、（Ｂ）枠画像の色が黄色の報知画像の例を示す図、（Ｃ）枠画像の色が赤色の報知画像の例を示す図
【図６】第１実施形態に係る置去り物体監視装置での処理の流れを示すフロー図
【図７】本発明の第２実施形態に係る置去り物体監視システムの概略構成図
【図８】時系列の撮像画像中の局所領域の特徴量レベルを示したグラフ
【図９】（Ａ）は背景物体および出現物体Ａの画像層の例を示す図、（Ｂ）は出現物体Ｂの画像層の例を示す図
【図１０】（Ａ）背景画像の例を示す図、（Ｂ）背景画像に各画像層を重畳した画像を示す図、（Ｃ）前記（Ｂ）の画像に経過情報および枠画像を重畳して生成した報知画像を示す図
【図１１】第２実施形態に係る置去り物体監視装置での処理の流れを示すフロー図
【発明を実施するための形態】
【００１１】
上記課題を解決するためになされた第１の発明は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視装置であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得する画像取得部と、前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡する物体追跡部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出する置去り物体検出部と、前記物体追跡部による前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成する経過情報生成部と、前記出現物体が複数検出された場合に、前記出現物体毎に該出現物体の画像を含む画像層を生成する画像層生成部と、前記撮像画像から前記出現物体を除去した背景画像を生成する背景画像生成部と、前記経過情報を前記撮像画像に重畳して報知画像を生成する報知画像生成部と、を備え、前記報知画像生成部は、前記背景画像に前記各画像層を該各画像層に含まれる前記出現物体の検出順に重畳することを特徴とする。
【００１２】
この第１の発明に係る置去り物体監視装置によれば、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能となる。また、これにより、置去り物体の状態の変化や、出現から警報の発報に至るまでの経緯をユーザが把握可能となると共に、置去り物体が他の出現物体の背後に隠れた場合でも、置去り物体を画像中に表示することが可能となる。
【００１３】
また、第２の発明では、上記第１の発明において、前記経過情報が、前記監視領域内への出現後の所定時点からの経過時間を含むことを特徴とする。
【００１４】
この第２の発明に係る置去り物体監視装置によれば、監視領域内への出現後の所定時点からの経過時間をユーザに対して視覚的に分かりやすく表示することが可能となる。
【００１５】
また、第３の発明では、上記第１の発明または第２の発明において、前記経過情報が、前記監視領域内への出現後の所定時点以降の前記置去り物体の時系列画像を含むことを特徴とする。
【００１６】
この第３の発明に係る置去り物体監視装置によれば、監視領域内への出現後の所定時点以降の置去り物体の状態の変化をユーザに対して視覚的に分かりやすく表示することが可能となる。
【００１７】
また、第４の発明では、上記第１の発明ないし第３の発明のいずれかにおいて、前記出現物体が検出された場合に、該出現物体を取り囲む枠画像を前記報知画像にさらに重畳することを特徴とする。
【００１８】
この第４の発明に係る置去り物体監視装置によれば、出現物体が検出された場合に、出現物体をユーザに対して視覚的に分かりやすく表示することが可能となる。
【００１９】
また、第５の発明では、上記第４の発明において、前記報知画像生成部は、前記枠画像の色を、前記置去り物体の前記監視領域内への出現後の所定時点からの経過時間に応じて変更することを特徴とする。
【００２０】
この第５の発明に係る置去り物体監視装置によれば、置去り物体の監視領域内への出現後の所定時点からの経過時間をユーザに対して視覚的に分かりやすく表示することが可能となる。
【００２３】
また、第６の発明は、上記第１の発明ないし第５の発明のいずれかに記載の置去り物体監視装置と、監視領域を撮像するための撮像装置と、前記置去り物体監視装置で生成された報知画像を表示する表示装置とを備えた置去り物体監視システムである。
【００２４】
また、第７の発明は、撮像装置により撮像された監視領域の撮像画像に基づいて前記監視領域内に置き去りにされた置去り物体を検出する置去り物体監視方法であって、前記撮像装置により撮像された前記監視領域の撮像画像を取得するステップと、前記撮像画像から前記監視領域内に出現した出現物体を検出し、該出現物体毎に前記撮像画像間で追跡するステップと、前記出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない前記出現物体を前記置去り物体として検出するステップと、前記出現物体毎の追跡結果に基づき、前記監視領域内への出現後の前記置去り物体の経過情報を生成するステップと、前記出現物体が複数検出された場合に、前記出現物体毎に該出現物体の画像を含む画像層を生成するステップと、前記撮像画像から前記出現物体を除去した背景画像を生成するステップと、前記経過情報を前記撮像画像に重畳して報知画像を生成するステップと、を有し、前記報知画像を生成する前記ステップは、前記背景画像に前記各画像層を該各画像層に含まれる前記出現物体の検出順に重畳することを特徴とする。
【００２５】
以下、本発明の実施形態について、図面を参照しながら説明する。
【００２６】
（第１実施形態）
まず、本発明の第１の実施形態に係る置去り物体監視システム１について、図１〜６を参照して説明する。この置去り物体監視システム１は、撮像装置２により撮像された監視領域の撮像画像に基づいて監視領域内に置き去りにされた置去り物体を検出し、置去り物体が検出された場合に警報を発報するためのシステムであり、駅や空港等の不特定多数の者が利用する空間における不審物の置き去りの監視に適用可能である。以下では、本発明に係る置去り物体監視システム１を、駅構内での不審物の置き去りの監視に適用した場合について説明する。置去り物体としては、物品（例えば、紙袋、カバン）や人物等が挙げられる。なお、置去り物体は特に限定されるものではなく、例えば車椅子や電動カート等の他の様々な物体であってよい。
【００２７】
図１は、本発明の第１実施形態に係る置去り物体監視システム１の概略構成図である。図１に示すように、置去り物体監視システム１は、撮像装置２と、置去り物体監視装置３と、表示装置４とを備えて構成される。表示装置４は、監視員に対して警報を報知するための報知装置としての役割を果たす。置去り物体監視装置３は、撮像装置２および表示装置４と、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、置去り物体監視装置３と、撮像装置２および表示装置４との接続形態は特に限定されるものではなく、例えば、インターネット等のネットワークを介した接続であってよいし、汎用のインターフェース（例えばＵＳＢ（Universal Serial Bus）インターフェース）を用いて通信ケーブルで互いに接続してもよい。
【００２８】
撮像装置２は、例えばＣＣＤカメラ等の一般的な撮像装置であり、壁や天井等に設置され、予め定められた監視領域を、静止画像または動画像として時系列に撮像する。なお、撮像装置２は、監視領域を時系列に撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、撮像装置２は、壁等に設置され１台で１８０度撮影できるパノラマ型カメラや、天井等に設置され１台で３６０度撮影できる全方位型カメラであってもよい。撮像装置２により時系列に撮像された監視領域の撮像画像は、置去り物体監視装置３に入力される。
【００２９】
表示装置４は、監視員が監視業務を行う監視室等に設置されたモニタ（ディスプレイ）等の一般的な表示装置であり、置去り物体監視装置３から出力された報知画像（図４参照）を表示する。報知画像の詳細については後述する。なお、表示装置４は、報知画像の表示が可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、表示装置４は、巡回等で監視室を離れる場合に監視員が携帯する携帯端末の表示画面であってもよい。
【００３０】
置去り物体監視装置３は、一般的なコンピュータ装置であり、詳細は図示しないが、所定の制御プログラムに基づき各種情報処理や周辺機器の制御等を統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインタフェース等を含んで構成されている。後に詳述する置去り物体監視装置３の各種機能（例えば、経過情報の生成）は、ＣＰＵが所定の制御プログラム（例えば、経過情報生成プログラム）を実行することによって実現可能である。なお、置去り物体監視装置３としては、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバ等）を用いることもできる。また、置去り物体監視装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。
【００３１】
置去り物体監視装置３は、置去り物体が検出されてから予め定められた時間が経過すると、表示装置４を介して警報の発報を行う。具体的には、表示装置４に出力する報知画像上に警報の発報を示す情報を表示することにより警報の発報を行う。例えば、置去り物体が検出された時点で置去り物体を枠画像で取り囲んでおき、置去り物体が検出されてから予め定められた時間が経過したときに、枠画像の色を目立つ色に変更したり、枠画像を点滅させたりすることによって警報の発報を行うとよい。また、置去り物体監視装置３が図示しない発報装置を制御して警報の発報を行うようにしてもよい。発報装置としては、例えば警報ブザーや警報ランプ等の一般的な発報装置の他、所定の警報メッセージを音声で流す音声発生装置を用いることができる。
【００３２】
図１に示すように、置去り物体監視装置３は、画像取得部１１と、画像処理部１２と、報知画像生成部１３とを備えており、画像処理部１２は、物体追跡部２１と、置去り物体検出部２２と、経過情報生成部２３とを有している。各部は、図示しない制御部によって制御される。
【００３３】
画像取得部１１は、撮像装置２と接続されており、撮像装置２から監視領域の撮像画像を取得する。画像取得部１１は、画像処理部１２および報知画像生成部１３と接続されており、画像取得部１１が撮像装置２から取得した撮像画像は、画像処理部１２および報知画像生成部１３に入力される。
【００３４】
画像処理部１２は、画像取得部１１から撮像画像を取得する。撮像画像が所定時間間隔で撮像された静止画像である場合は、その静止画像データとして取得し、撮像画像が動画像である場合は、該動画像から所定時間間隔で抽出した静止画像データ（画像フレームデータ）として取得する。画像処理部１２が画像取得部１１から取得した撮像画像（静止画像データ）は、物体追跡部２１、置去り物体検出部２２および経過情報生成部２３で処理される。
【００３５】
物体追跡部２１は、撮像画像から監視領域内に出現した出現物体を検出し、検出された出現物体毎に、該出現物体の検出以降の撮像画像間で追跡する。出現物体は、人物、車椅子や電動カート等の人が乗っている移動物体、またはその他の有人または無人の移動物体等であり得る。出現物体の検出は、予め撮像した背景画像と撮像画像との比較、または時系列に互いに隣接する２枚の撮像画像の比較により行われる。具体的には、比較される撮像画像間の対応する画素の画素値（例えば、輝度値）の相違度（差または相関値）を求め、求められた相違度が予め定められた閾値を超える画素を抽出し、近接して抽出された画素をまとめた領域を出現物体として検出する。撮像画像から出現物体が検出されたら、検出された出現物体毎に個別の識別符号を付与し、該出現物体の検出以降の撮像画像間で追跡する。既に検出済みの出現物体の近くに新規の出現物体が出現した場合は、既に検出済みの出現物体から新規の出現物体が分離したと判断する。この場合は、既に検出済みの出現物体の識別符号は変更せず、新規に出現した出現物体に新しい識別符号を付与して管理する。物体追跡部２１で出現物体が検出された場合、その検出結果は報知画像生成部１３に入力される。
【００３６】
図２（Ａ）は、物体追跡部２１により、撮像画像から監視領域内に出現した出現物体３１が検出された例を示す図である。図２（Ａ）の例では、出現物体３１は、カバン３２を持った人物３３である。この時点では、カバン３２と人物３３は個別に識別されておらず、１つの出現物体３１として検出される。図２（Ｂ）は、物体追跡部２１により、撮像画像から監視領域内に新規に出現した出現物体３４が検出された例を示す図である。図２（Ｂ）の例では、人物３３から分離したカバン３２が新たな出現物体３４として検出される。以降、カバン３２は、新たな出現物体３４として追跡される。また、カバン３２が分離した出現物体３１（すなわち、人物３３）は、そのまま出現物体３１として追跡される。
【００３７】
置去り物体検出部２２は、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物体を検出する。具体的には、物体追跡部２１で検出された出現物体毎に、該出現物体の撮像画像内での経時的な変位を求め、予め定められた時間を超えて変位しない、すなわち予め定められた時間を超えて静止している出現物体を置去り物体として検出する。置去り物体が検出されたら、置去り物体毎に固有の識別符号を付与し、該置去り物体の検出以降の撮像画像間で追跡する。置去り物体検出部２２で置去り物体が検出された場合、その検出結果は報知画像生成部１３に入力される。
【００３８】
経過情報生成部２３は、物体追跡部２１による出現物体毎の追跡結果に基づき、置去り物体が監視領域内に出現した時点（以降、「物体出現時点」と称する）より後の置去り物体の経過情報を生成する。経過情報としては、物体出現時点以後の所定時点からの経過時間、置去り物体が検出された時点以後の所定時点からの経過時間、物体出現時点以後の所定時点以降の置去り物体の時系列画像が挙げられる。なお、経過情報は、これらに限定されるものではなく、例えば、置去り物体の監視領域内への出現時の画像や時刻、置去り物体の検出時の画像や時刻等の他の様々な情報または画像であってよい。経過情報生成部２３で生成された経過情報は、報知画像生成部１３に入力される。
【００３９】
報知画像生成部１３は、画像取得部１１から撮像画像を取得する。そして、報知画像生成部１３は、経過情報生成部２３から置去り物体の経過情報が入力された場合に、置去り物体の経過情報を撮像画像に重畳して報知画像を生成する。具体的には、報知画像生成部１３は、経過情報生成部２３から入力された経過情報に基づいて置去り物体の経過情報を含む画像を生成し、その画像を撮像画像に重畳して報知画像を生成する。経過情報生成部２３から入力される経過情報が経過情報を含む画像である場合は、その画像を撮像画像に重畳して報知画像を生成する。
【００４０】
また、報知画像生成部１３は、物体追跡部２１で出現物体が検出された場合に、その出現物体を取り囲む枠画像を、報知画像にさらに重畳する。置去り物体検出部２２で置去り物体が検出されなかった場合は、報知画像生成部１３は、出現物体を取り囲む枠画像を撮像画像に重畳して報知画像を生成する。報知画像生成部１３で生成された報知画像は、表示装置４に出力される。なお、物体追跡部２１で出現物体が検出されなかった場合は、報知画像生成部１３は、画像取得部１１から取得した撮像画像をそのまま表示装置４に出力する。
【００４１】
図３は、経過情報が、物体出現時点からの経過時間である場合の報知画像の例を示す図である。この場合、報知画像生成部１３は、物体出現時点からの経過時間を示す画像（以降、「経過時間画像」と称する）を生成し、その経過時間画像を撮像画像上に重畳して報知画像を生成する。また、報知画像生成部１３は、置去り物体を取り囲む枠画像を報知画像にさらに重畳する。
【００４２】
図３の例では、置去り物体として紙袋４１が検出されており、撮像画像中における紙袋４１の上側の位置に経過時間画像４２が重畳されている。また、紙袋４１を取り囲む枠画像４３が報知画像にさらに重畳されている。図３（Ａ）の例では、置去り物体である紙袋４１が監視領域内に出現した時点からの経過時間が３分１５秒であることを示す「３：１５」という経過時間画像４２が撮像画像に重畳されている。また、図３（Ｂ）の例では、置去り物体である紙袋４１が監視領域内に出現した時点からの経過時間が８分５９秒であることを示す「８：５９」という経過時間画像４２が撮像画像に重畳されている。
【００４３】
このように、撮像画像に経過時間画像４２を重畳すると、置去り物体である紙袋４１が監視領域内に出現した時点からの経過時間をユーザに対して視覚的に分かりやすく表示することができる。また、置去り物体（紙袋４１）を枠画像４３で取り囲むことにより、置去り物体（紙袋４１）をユーザに対して視覚的に分かりやすく表示することができる。なお、撮像画像から紙袋４１以外の他の出現物体または置去り物が検出された場合は、それらの物体を枠画像で取り囲むと、それらの物体をユーザに対して視覚的に分かりやすく表示することができる。なお、図３の例では、経過情報が、物体出現時点からの経過時間である場合について説明したが、経過情報は、物体出現時点以後の所定時点からの経過時間であってもよい。また、経過情報は、置去り物体が検出された時点（またはそれ以後の所定時点）からの経過時間であってもよい。
【００４４】
図４は、経過情報が、物体出現時点以降の置去り物体の時系列画像である場合の報知画像の例を示す図である。この場合、報知画像生成部１３は、経過情報生成部２３から入力された置去り物体の時系列画像を撮像画像上に重畳して報知画像を生成する。また、報知画像生成部１３は、置去り物体を取り囲む枠画像を報知画像にさらに重畳する。
【００４５】
図４（Ａ）の例では、置去り物体として床に倒れた人物５１が検出されており、撮像画像中における人物５１の上側の位置に経過時間画像５２が重畳されている。また、人物５１を取り囲む枠画像５３がさらに重畳されている。図４（Ａ）の例では、置去り物体である人物５１の物体出現時点からの経過時間が１０分であることを示す「１０：００」という経過時間画像５２が撮像画像に重畳されている。
【００４６】
この例では、物体出現時点から１０分経過し、置去り物体が発生した時点で警報を発報した様子を示している。つまり、図４（Ａ）の時点は、警報発報時点である。警報が発報されると、監視員は、キーボードやマウス等の図示しない入力操作装置を介して置去り物体監視装置３を操作することにより、図４（Ｂ）に示すように、枠画像５３内に、置去り物体である人物５１の時系列画像５４を表示することができる。時系列画像５４は、所定時間間隔の静止画像（コマ送り画像）または動画像として表示される。また、時系列画像５４の経過時間も時系列画像５４中に表示される。図４（Ｂ）の例では、４分５０秒の時点の画像では人物５１は立っており、５分００秒の時点以降の画像では人物５１は倒れている。
【００４７】
このように、撮像画像に、置去り物体である人物５１の時系列画像５４を重畳すると、物体出現時点以降の置去り物体（人物５１）の状態の変化をユーザに対して視覚的に分かりやすく表示することができる。図４（Ｂ）の例では、人物５１は４分５０秒の時点までは立っていたが、５分００秒の時点では倒れていたことが分かる。これにより、監視員は、人物５１が倒れる前の状態や人物５１が倒れた時点を把握することが可能となる。なお、図４の例では、経過情報が、物体出現時点以降の置去り物体の時系列画像である場合について説明したが、経過情報は、物体出現時点以後の所定時点からの経過時間であってもよい。また、経過情報は、置去り物体が検出された時点（またはそれ以後の所定時点）からの経過時間であってもよい。
【００４８】
なお、人物５１の時系列画像５４の表示位置は枠画像５３内に限定されるものではなく、例えば、報知画像中の他の位置や別の画面に表示してもよい。また、時系列画像５４の経過時間の表示位置または表示方法も様々であってよい。また、監視員が時系列画像５４を表示する時点は、警報発報時点よりも前の時点であってもかまわない。例えば、人物５１が倒れている図４（Ｂ）の時点で、時系列画像５４を表示するようにしてもよい。このようにすると、人物５１の状態変化を警報発報時点よりも早い時点で把握することができるので、より早く対応することが可能となる。
【００４９】
図５は、経過情報が、物体出現時点からの経過時間であり、経過時間を枠画像の色の変化により示した報知画像の例を示す図である。この場合、報知画像生成部１３は、置去り物体を取り囲む枠画像を撮像画像に重畳し、枠画像の色を経過時間に応じて変更する。図５の例では、経過時間に応じて、枠画像の色を青色、黄色、赤色の順に変更している。
【００５０】
図５の例では、置去り物体としてバック６１が検出されており、バック６１を取り囲む枠画像６２が撮像画像に重畳されている。図５の例では、時間が経過するに従って、枠画像６２の色を、青色（図５（Ａ）参照）、黄色（図５（Ｂ）参照）、赤色（図５（Ｃ）参照）の順に変更している。図５（Ａ）は、置去り物体であるバック６１の物体出現時点から所定時間経過した時点までの期間の報知画像であり、図５（Ｂ）は、図５（Ａ）の時点から所定時間経過した時点までの期間の報知画像であり、図５（Ｃ）は、図５（Ｂ）の時点から所定時間経過した時点までの期間の報知画像である。この例では、図５（Ｃ）の時点で警報が発報されるように設定されており、枠画像６２を赤色に変更することによって警報の発報が行われる。枠画像６２の色を変更する時間間隔は任意に設定可能である。また、経過時間に応じて変更する枠画像６２の色も任意に設定可能である。さらに、枠画像６２の色だけでなく、経過時間に応じて、枠画像６２の形状や明るさ等を変更したり、点滅させたりしてもよい。
【００５１】
このように、枠画像の色を経過時間に応じて変更すると、置去り物体である紙袋４１の物体出現時点からの経過時間をユーザに対して視覚的に分かりやすく表示することができる。なお、図５の例では、経過情報が、物体出現時点からの経過時間である場合について説明したが、経過情報は、物体出現時点以後の所定時点からの経過時間であってもよい。また、経過情報は、置去り物体が検出された時点（またはそれ以後の所定時点）からの経過時間であってもよい。
【００５２】
次に、図１に示した本発明の第１実施形態に係る置去り物体監視システム１の置去り物体監視装置３での処理の流れを、図６のフロー図を参照して説明する。
【００５３】
まず、画像取得部１１が、撮像装置２から撮像画像を取得し、画像処理部１２および報知画像生成部１３に入力する（ステップＳＴ１０１）。続いて、物体追跡部２１が、撮像画像から監視領域内に出現した出現物体（図２（Ａ）、図２（Ｂ）参照）の検出を行う（ステップＳＴ１０２）。出現物体が検出された場合（ステップＳＴ１０２：Ｙｅｓ）は、ステップＳＴ１０３に進み、出現物体が検出されなかった場合（ステップＳＴ１０２：Ｎｏ）は、ステップＳＴ１０１に戻る。
【００５４】
ステップＳＴ１０３では、物体追跡部２１が、検出された出現物体毎に、該出現物体の検出以降の撮像画像間で追跡する。続くステップＳＴ１０４では、置去り物体検出部２２が、物体追跡部２１による出現物体毎の追跡結果に基づき、予め定められた時間を超えて変位しない出現物体を置去り物体として検出する。置去り物体が検出された場合（ステップＳＴ１０４：Ｙｅｓ）は、ステップＳＴ１０５に進み、置去り物体が検出されなかった場合（ステップＳＴ１０４：Ｎｏ）は、ステップＳＴ１０１に戻る。
【００５５】
ステップＳＴ１０５では、経過情報生成部２３が、物体追跡部２１による出現物体毎の追跡結果に基づき、物体出現時点より後の置去り物体の経過情報を生成する。上述したように、経過情報としては、物体出現時点以後の所定時点からの経過時間、置去り物体が検出された時点以後の所定時点からの経過時間、物体出現時点以後の所定時点以降の置去り物体の時系列画像が挙げられる。
【００５６】
次に、ステップＳＴ１０６では、報知画像生成部１３が、経過情報生成部２３で生成された経過情報を撮像画像に重畳して報知画像（図３〜図５参照）を生成する。また、報知画像生成部１３は、出現物体を取り囲む枠画像を報知画像にさらに重畳する。生成された報知画像は、表示装置４に出力される。
【００５７】
そして、ステップＳＴ１０７では、置去り物体が検出されてから予め定められた時間が経過すると、置去り物体監視装置３は、表示装置４または図示しない発報装置を介して警報の発報を行う。
【００５８】
以上のように、この第１実施形態によれば、物体出現時点より後の置去り物体の経過情報を撮像画像に重畳して報知画像を生成することができるので、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能となる。また、置去り物体の経過情報をユーザに対して感覚的に分かりやすく表示することが可能となる。
【００５９】
（第２実施形態）
次に、本発明の第２の実施形態に係る置去り物体監視システム１について、図７〜１１を参照して説明する。この第２実施形態に係る置去り物体監視装置３は、画像層生成部２４と、背景画像生成部２５とをさらに備えている点が、図１に示した第１実施形態に係る置去り物体監視装置３と異なる。他の点は上述した第１実施形態と同じであるので、同一の符号を付してその説明は省略する。
【００６０】
画像層生成部２４は、監視領域内に出現物体が複数検出された場合に、検出された出現物体毎に該出現物体の画像を含む画像層を生成する。具体的には、撮像画像中の局所領域の特徴量レベルに基づいて複数の出現物体をそれぞれ識別し、識別された出現物体毎に画像層を生成する。また、出現物体が置去り物体であり、その背後に背景物体が存在する場合は、その背景物体の画像を含む画像層も生成する。なお、背景物体の画像層の生成は必須ではない。
【００６１】
図８は、時系列の複数の撮像画像（撮像フレーム）中の局所領域の特徴量レベルを示したグラフである。図８の例では、特徴量レベルに応じて、背景物体と、出現物体Ａと、出現物体Ｂとが識別されている。画像層生成部２４は、このようにして識別された物体毎に画像層を生成する。各画像層は、背景画像から各物体を切り出すことにより生成される。
【００６２】
図９（Ａ）は、図８のグラフにおけるｔ１の時点での特徴量レベルに基づいて生成された画像層である。この図９（Ａ）の例では、図８の出現物体Ａは置去り物体であり、置去り物体（出現物体Ａ）としてバッグ７１が検出されている。また、バッグ７１はベンチ７２の上に置かれており、置去り物体であるバッグ７１の背景物体としてベンチ７２が検出されている。画像層生成部２４は、図９（Ａ）の右側に示すように、背景物体であるベンチ７２の画像を含む画像層Ｌ１と、置去り物体（出現物体Ａ）であるバッグ７１の画像を含む画像層Ｌ２とを生成する。
【００６３】
図９（Ｂ）は、図８のグラフにおけるｔ２の時点での特徴量レベルに基づいて生成された画像層である。この図９（Ｂ）の例では、図８の出現物体Ｂとして人物７３が検出されている。この人物７３は画像中を左から右へ移動中であり、このｔ２の時点ではバッグ７１およびベンチ７２の前に位置している。すなわち、このｔ２の時点では、バッグ７１およびベンチ７２は、人物７３の背後に隠れている。画像層生成部２４は、図９（Ｂ）の右側に示すように、出現物体Ｂである人物７３の画像を含む画像層Ｌ３を生成する。
【００６４】
背景画像生成部２５は、撮像画像から出現物体を除去した背景画像を生成する。図１０（Ａ）は、背景画像生成部２５で生成された背景画像を示す図である。具体的には、最初の出現物体が検出された時点（図９の例では、出現物体Ａが検出されたｔ１の時点）の撮像画像と、それ以前の時点の撮像画像との差分に基づいて出現物体の画像領域を前景画像として抽出する。そして、最初の出現物体が検出された時点の撮像画像から、上記の前景画像を除去することにより背景画像を生成する。あるいは、事前に撮像しておいた、出現物体が存在しない状況での監視領域の画像を背景画像として用いてもよい。
【００６５】
報知画像生成部１３は、図１０（Ｂ）に示すように、背景画像（図１０（Ａ）参照）に、画像層生成部２４で生成された画像層Ｌ１〜Ｌ３を、背後側からその検出順に重畳する。画像層Ｌ１およびＬ２は、それらの画像層中に含まれる物体の少なくとも一部が見えるように重畳される。図１０（Ｂ）の例では、各画像層Ｌ１〜Ｌ３は、互いに左右方向に所定距離だけ位置をずらして重畳されている。これにより、人物７３の背後に隠れたバッグ７１およびベンチ７２を画像中に表示することができる。各画像層Ｌ１〜Ｌ３の位置をずらす方向や距離は任意に設定してよい。なお、そのまま重畳しても画像層Ｌ１およびＬ２に含まれる物体の少なくとも一部が見える場合は、各画像層Ｌ１〜Ｌ３の位置を互いにずらさなくてもよい。また、各画像層Ｌ１〜Ｌ３が互いに重畳されていることを監視員が認識することができれば、各画像層Ｌ１〜Ｌ３はそのまま重畳してもよい。この場合は、例えば、画像枠に付加したタブ（図示せず）や、他の任意の操作キー（図示せず）等の画像層の重畳順を変更する手段を設け、該手段を操作して背後側の画像層を表示するようにするとよい。
【００６６】
また、報知画像生成部１３は、図１０（Ｃ）に示すように、背景画像に各画像層を重畳した画像（図１０（Ｂ）参照）に、経過情報生成部２３で生成された経過情報および枠画像をさらに重畳して報知画像を生成する。図１０（Ｃ）の例では、経過情報として、「６：１８」という経過時間画像７４と、人物７３、バッグ７１およびベンチ７２をそれぞれ取り囲む枠画像７５〜７７が重畳されている。報知画像生成部１３で生成された報知画像は、表示装置４に出力される。
【００６７】
次に、図６に示した本発明の第２実施形態に係る置去り物体監視システム１の置去り物体監視装置３での処理の流れを、図１１のフロー図を参照して説明する。
【００６８】
この第２実施形態に係る置去り物体監視装置３での処理は、図６を参照して説明した第１実施形態に係る置去り物体監視装置３の処理のステップＳＴ１０５とステップＳＴ１０６との間にステップＳＴ２０１〜２０４が追加された点が、第１実施形態と異なる。以下、主に、追加されたステップＳＴ２０１〜２０４について説明する。
【００６９】
ステップＳＴ１０５で監視領域内に出現物体が検出された場合、ステップＳＴ１０５に続くステップＳＴＳＴ２０１では、監視領域内に出現物体が複数検出されたか否かを判断する。出現物体が複数検出された場合（ステップＳＴ２０１：Ｙｅｓ）は、ステップＳＴ２０２に進み、出現物体が複数検出されなかった場合（ステップＳＴ２０１：Ｎｏ）は、ステップＳＴ１０６に進む。
【００７０】
ステップＳＴＳＴ２０２では、画像層生成部２４が、出現物体毎に、該出現物体の画像を含む画像層を生成する。また、出現物体が置去り物体であり、その背後に背景物体が存在する場合は、その背景物体の画像を含む画像層も生成する（図９（Ａ）、図９（Ｂ）参照）。続く、ステップＳＴＳＴ２０３では、画像層生成部２４が、背景画像（図１０（Ａ）参照）を生成する。
【００７１】
次のステップＳＴ２０４では、報知画像生成部１３が、背景画像生成部２５で生成された背景画像に、画像層生成部２４で生成された各画像層を、該各画像層に含まれる物体の少なくとも一部が見えるように重畳する（図１０（Ｂ）参照）。そして、ステップＳＴ２０４に続くステップＳＴ１０６では、報知画像生成部１３が、背景画像に各画像層を重畳した画像に、経過情報生成部２３で生成された経過情報および枠画像をさらに重畳して報知画像（図１０（Ｃ）参照）を生成し、表示装置４に出力する。
【００７２】
以上のように、この第２実施形態によれば、監視領域内に出現物体が複数検出された場合に撮像画像中に含まれる各出現物体および背景物体を画像中に表示することができるので、置去り物体が他の物体の背後に隠れた場合でも、置去り物体を画像中に表示することが可能となる。また、置去り物体の背後に位置する背景物体も画像中に表示することが可能となる。
【００７３】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【００７４】
本発明に係る置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法は、監視領域内への出現後の置去り物体の経過情報をユーザに提供することが可能な置去り物体監視装置およびこれを備えた置去り物体監視システムならびに置去り物体監視方法等として有用である。
【符号の説明】
【００７５】
１    置去り物体監視システム
２    撮像装置
３    置去り物体監視装置
４    表示装置（報知装置）
１１  画像取得部
１２  画像処理部
１３  報知画像生成部
２１  物体追跡部
２２  置去り物体検出部
２３  経過情報生成部
２４  画像層生成部
２５  背景画像生成部
【図１】
0006390860.tif 000002
【図２】
0006390860.tif 000003
【図３】
0006390860.tif 000004
【図４】
0006390860.tif 000005
【図５】
0006390860.tif 000006
【図６】
0006390860.tif 000007
【図７】
0006390860.tif 000008
【図８】
0006390860.tif 000009
【図９】
0006390860.tif 000010
【図１０】
0006390860.tif 000011
【図１１】
0006390860.tif 000012