(57)【特許請求の範囲】
【請求項１】
対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置であって、
前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、
前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、
前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、
を備えたことを特徴とするモニタリング装置。
【請求項２】
前記第１の処理部は、前記第２の処理部が前記撮像画像から動体を検知する際に生成した背景画像に物体の識別性を低減する画像処理を行うことを特徴とする請求項１に記載のモニタリング装置。
【請求項３】
前記第１の処理部は、前記物体の識別性を低減する画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの処理を実行することを特徴とする請求項１または請求項２に記載のモニタリング装置。
【請求項４】
前記第２の処理部は、前記動体の輪郭形状を表す透過性の前記マスク画像を生成することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
【請求項５】
前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、
前記マスク条件では、前記マスク画像の色、透過率、および輪郭線の有無の少なくともいずれかの表示要素を変更可能としたことを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
【請求項６】
前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、
前記マスク条件として、混雑度で指定される色または同一の色相での濃淡や透過率で前記マスク画像が生成される混雑状態表示モードを設定可能としたことを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
【請求項７】
対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成してユーザ端末装置に配信するモニタリングシステムであって、
前記対象エリアを撮像するカメラと、
前記モニタリング画像を前記ユーザ端末装置に配信するサーバ装置と、
前記ユーザ端末装置と、
を有し、
前記カメラおよび前記サーバ装置のいずれかが、
前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、
前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、
前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、
を備えたことを特徴とするモニタリングシステム。
【請求項８】
対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、
前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行って、識別性低減画像を生成し、
前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成し、
前記識別性低減画像を背景画像とし、この背景画像上に前記マスク画像を重畳した前記モニタリング画像を生成して出力することを特徴とするモニタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。
【背景技術】
【０００２】
鉄道駅やイベント会場などの施設では、施設内をカメラで撮像して、そのカメラの画像で施設内の状況を監視する監視システムが採用されているが、施設内に設置されたカメラの画像をインターネットで一般の利用者に配信するようにすると、施設内の混雑状況などを現地に出向くことなく利用者が確認することができるため、利用者の利便性を高めることができる。
【０００３】
ここで、防犯や防災のための監視の目的でカメラの画像を利用する場合には問題とならないが、カメラの画像を一般の利用者に配信する場合には、人物のプライバシーを保護することが望まれる。
【０００４】
このような人物のプライバシーを保護する要望に対して、従来、カメラの画像内で人物の顔が検出された領域、またはカメラの画像の全体に対して、モザイク処理やぼかし処理などの画像処理（プライバシーマスク処理）を行う技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５０８８１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術のように、人物の顔が検出された領域に対してプライバシーマスク処理を行う場合、顔検出が失敗すると、その人物の画像領域はプライバシーマスク処理の対象外となり、人物がそのまま映った画像が出力される。このため、人物のプライバシーを確実に保護することができず、カメラの画像を公開することができないといった実用上の問題があった。
【０００７】
また、前記従来の技術のように、カメラの画像の全体に対してプライバシーマスク処理を行う場合、撮像エリアの概観、すなわちどこに何があるかを大まかに認識することができるが、人物の状態を容易に認識することができないため、施設の混雑状況などを直感的に把握することができないといった問題があった。
【０００８】
そこで、本発明は、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができるモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することを主な目的とする。
【課題を解決するための手段】
【０００９】
本発明のモニタリング装置は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
【００１０】
また、本発明のモニタリングシステムは、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成してユーザ端末装置に配信するモニタリングシステムであって、前記対象エリアを撮像するカメラと、前記モニタリング画像を前記ユーザ端末装置に配信するサーバ装置と、前記ユーザ端末装置と、を有し、前記カメラおよび前記サーバ装置のいずれかが、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
【００１１】
また、本発明のモニタリング方法は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行って、識別性低減画像を生成し、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成し、前記識別性低減画像を背景画像とし、この背景画像上に前記マスク画像を重畳した前記モニタリング画像を生成して出力する構成とする。
【発明の効果】
【００１２】
本発明によれば、背景画像とした識別性低減画像へ動体の輪郭内部を所定の色で塗り潰したマスク画像を重畳したことにより、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係るモニタリングシステムの全体構成図
【図２】カメラ１の設置状況の一例を示す駅構内の平面図
【図３】カメラ１で行われる画像処理の概要を説明する説明図
【図４】カメラ１で行われる画像処理の概要を説明する説明図
【図５】カメラ１で行われる画像処理の概要を説明する説明図
【図６】カメラ１で行われる画像処理の概要を説明する説明図
【図７】カメラ１およびサーバ装置３のハードウェア構成を示すブロック図
【図８】カメラ１の機能ブロック図
【図９】ユーザ端末装置４に表示されるモニタリング画面を示す説明図
【図１０】カメラ１で行われる画像処理の概要を示す説明図
【図１１】第２実施形態に係るカメラ１０１およびサーバ装置１０２の機能ブロック図
【図１２】ユーザ端末装置４に表示されるマスク条件設定画面を示す説明図
【発明を実施するための形態】
【００１４】
前記課題を解決するためになされた第１の発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
【００１５】
これによると、背景画像とした識別性低減画像へ動体の輪郭内部を所定の色で塗り潰したマスク画像を重畳したことにより、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
【００１６】
また、第２の発明は、前記第１の処理部は、前記第２の処理部が前記撮像画像から動体を検知する際に生成した背景画像に物体の識別性を低減する画像処理を行う構成とする。
これによると、動体除去できなかった背景画像に映る人物などに対してもプライバシーを保護することができる。
【００１７】
また、第３の発明は、前記第１の処理部は、前記物体の識別性を低減する画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの処理を実行する構成とする。
【００１８】
これによると、撮像画像に映る物体の識別性を適切に低減することができる。
【００１９】
また、第４の発明は、前記第２の処理部は、前記動体の輪郭形状を表す透過性の前記マスク画像を生成する構成とする。
【００２０】
これによると、マスク画像が透過性を有するため、モニタリング画像においてマスク画像の部分で背景の画像が透けて見える状態となるため、動体の状態を把握しやすくなる。
【００２１】
また、第５の発明は、前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、前記マスク条件では、前記マスク画像の色、透過率、および輪郭線の有無の少なくともいずれかの表示要素を変更可能とした構成とする。
【００２２】
これによると、マスク画像の表示要素を変更することができるため、ユーザにとって見やすいモニタリング画像を表示させることができる。
【００２３】
また、第６の発明は、前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、前記マスク条件として、混雑度で指定される色または同一の色相での濃淡や透過率で前記マスク画像が生成される混雑状態表示モードを設定可能とした構成とする。
【００２４】
これによると、混雑状況に従ってマスク画像の色などが動的に変化し、対象エリアのリアルな状況を把握することができる。また、複数の対象エリアごとのモニタリング画像を並べて表示した際に、各対象エリアの混雑度を見比べることができ、複数の対象エリアの状態を瞬時に把握することができる。
【００２５】
また、第７の発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成してユーザ端末装置に配信するモニタリングシステムであって、前記対象エリアを撮像するカメラと、前記モニタリング画像を前記ユーザ端末装置に配信するサーバ装置と、前記ユーザ端末装置と、を有し、前記カメラおよび前記サーバ装置のいずれかが、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
【００２６】
これによると、第１の発明と同様に、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
【００２７】
また、第８の発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行って、識別性低減画像を生成し、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成し、前記識別性低減画像を背景画像とし、この背景画像上に前記マスク画像を重畳した前記モニタリング画像を生成して出力する構成とする。
【００２８】
これによると、第１の発明と同様に、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
【００２９】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３０】
（第１実施形態）
図１は、第１実施形態に係るモニタリングシステムの全体構成図である。
【００３１】
このモニタリングシステムは、鉄道駅（施設）の構内の各エリアを撮像した画像（動画像）により、監視員が構内の状況を監視するとともに、各エリアを撮像した画像を一般ユーザに配信するものであり、カメラ（モニタリング装置）１と、監視端末装置２と、サーバ装置３と、ユーザ端末装置（閲覧装置）４と、を備えている。
【００３２】
カメラ１は、駅構内のホームや改札口などの各対象エリアに設置され、各対象エリアを撮像する。このカメラ１は、構内ネットワークおよびルータ６を介して、ＶＬＡＮ（Virtual Local Area Network）などの閉域ネットワークに接続されている。また、カメラ１では、人物のプライバシーを保護するための画像処理（プライバシーマスク処理）が実施され、この画像処理で得られた動画像であるモニタリング画像（処理画像）と未処理画像とがカメラ１から出力される。
【００３３】
監視端末装置２は、ＰＣで構成され、駅構内の監視室に設置されている。この監視端末装置２は、構内ネットワークを介してカメラ１に接続されている。この監視端末装置２は、監視員が防犯や防災のための監視の目的でカメラ１の画像を閲覧するものであり、各カメラ１から監視端末装置２に未処理画像が送信され、この各カメラ１の未処理画像が監視端末装置２に表示され、未処理画像を監視員が閲覧することで、駅構内の状況を監視することができる。
【００３４】
サーバ装置３は、閉域ネットワークを介して各駅の各カメラ１に接続されており、各駅の各カメラ１から送信されるモニタリング画像を受信する。また、サーバ装置３は、インターネットを介してユーザ端末装置４に接続されており、ユーザが閲覧する画面を生成してユーザ端末装置４に配信し、また、ユーザが画面で入力した情報を取得する。
【００３５】
ユーザ端末装置４は、スマートフォンやタブレット端末やＰＣで構成される。このユーザ端末装置４では、サーバ装置３から配信されるモニタリング画像が表示される。このモニタリング画像をユーザが閲覧することで、駅構内の混雑状況や列車の運行状況などを把握することができる。
【００３６】
なお、サーバ装置３では、カメラ１から送信される現在のモニタリング画像をそのまま配信するライブ配信が可能である。また、サーバ装置３では、カメラ１から送信されるモニタリング画像を蓄積して、ユーザ端末装置４で指定した日時のモニタリング画像を配信することができる。
【００３７】
このようなモニタリングシステムにおいては、カメラ１とサーバ装置３とが、閉域ネットワークを介して接続されているため、カメラ１から出力される未処理画像の安全性を確保することができる。また、サーバ装置３とユーザ端末装置４とがインターネットを介して接続されているため、任意の場所でユーザ端末装置４からサーバ装置３にアクセスすることができる。
【００３８】
次に、駅構内におけるカメラ１の設置状況について説明する。図２は、カメラ１の設置状況の一例を示す駅構内の平面図である。
【００３９】
図２に示す例では、駅構内のプラットホームにカメラ１が設置されている。このカメラ１は、プラットホームの天井やポールに設置されており、プラットホームや階段に存在する人物が撮像される。特に、図２に示す例では、カメラ１に、所定の画角を有するカメラ、いわゆるボックスカメラが採用されているが、魚眼レンズを用いて３６０度の撮像範囲を有する全方位カメラでも可能である。
【００４０】
なお、図２ではプラットホームの例を示したが、カメラ１は、駅構内の改札口やエスカレータなどの適宜に設定された対象エリアを撮像するように設置される。
【００４１】
次に、カメラ１で行われる画像処理の概要について説明する。図３、図４、図５、図６は、カメラ１で行われる画像処理の概要を説明する説明図である。
【００４２】
カメラ１では、駅構内の各エリアが撮像され、図３（Ａ）に示す未処理の撮像画像が得られる。この未処理の撮像画像では、人物がそのまま写っており、個人を識別することができるため、人物のプライバシーを保護することができない。そこで、本実施形態では、人物のプライバシーを保護する画像処理（プライバシーマスク処理）が実施される。
【００４３】
ここで、まず、プライバシーマスク処理として、図３（Ｂ）に示すように、撮像画像の全体に対して、物体の識別性を低減する画像処理を実施することが考えられる。また、撮像画像に対して動体検知および人物検知を行い、この動体検知および人物検知で検知された人物の画像領域の位置情報を取得して、図３（Ｃ）に示すように、人物の画像領域（人物の輪郭内部）に対して識別性低減の画像処理を実施することが考えられる。図３（Ｂ），（Ｃ）に示す例では、識別性低減の画像処理としてモザイク処理が実施されている。
【００４４】
このように識別性低減の画像処理を実施すると、個人を識別することができなくなるため、人物のプライバシーを確実に保護することができる。ところが、識別性低減の画像処理を実施した画像では、撮像エリアの概観、すなわちどこに何があるかを大まかに認識することができるが、往来している人物の状態まで容易に認識することができなくなることで、混雑状況、すなわち、人物が大勢いるか否かを直感的に把握することができないといった問題がある。
【００４５】
一方、プライバシーマスク処理として、撮像画像に対して動体検知および人物検知を行い、この動体検知および人物検知で検知された人物に対して、マスク処理、すなわち、人物の画像領域（人物の輪郭内部）をマスク画像に変更（置換）する処理を行うことが考えられる。
【００４６】
具体的には、図４（Ａ）に示すように、複数の撮像画像から動体の画像（前景画像）を除去する動体除去処理（背景画像生成処理）により背景画像を生成する。また、図４（Ｂ）に示すように、動体検知および人物検知の検知結果に基づいて、人物の画像領域を覆うマスク画像を生成する。そして、図４（Ｂ）に示すマスク画像を、図４（Ａ）に示す背景画像に重畳することで、図４（Ｃ）に示すマスク処理画像を生成する。このマスク処理画像では、個人を識別することができなくなるため、人物のプライバシーを保護することができる。
【００４７】
ところが、動体除去処理により生成した背景画像では、図５（Ａ）に示すように、動きの少ない人物がそのまま残った状態となることがある。この場合、動きの少ない人物は動体検知でも検知されないため、図５（Ｂ）に示すように、その人物を除く人物のみのマスク画像が生成される。そして、図５（Ｂ）に示すマスク画像を、図５（Ａ）に示す背景画像に重畳すると、図５（Ｃ）に示すマスク処理画像が得られる。このマスク処理画像では、動体除去処理で除去できなかった人物がそのまま写っており、人物のプライバシーを保護することができない。
【００４８】
また、図３（Ｃ）に示したように、人物の画像領域に対して識別性低減の画像処理を実施する場合でも、動体検知および人物検知において検知漏れが発生すると、検知が失敗した人物が背景画像に残った状態となり、人物のプライバシーを保護することができない。
【００４９】
そこで、本実施形態では、図６（Ａ）に示すように、識別性低減の画像処理を実施した画像（図３（Ｂ）と同一）を背景画像として、この背景画像に、図６（Ｂ）に示すマスク画像（図５（Ｂ）と同一）を重畳して、図６（Ｃ）に示すようなマスク処理画像を生成する。
【００５０】
このようにすると、マスク画像により、人物などの動体を明確に背景と区別して視認することができるため、動体の状態を明瞭に把握することができる。このため、施設内の混雑状況などを直感的に把握することができる。また、動体検知や人物検知が失敗した人物は、背景画像上に現れるが、この背景画像では識別性低減の画像処理により個人を識別することができないため、人物のプライバシーを確実に保護することができる。
【００５１】
なお、動体検知および人物検知の検知結果に基づいて、人物の顔や上半身の領域を表す人物枠をマスク処理画像上に表示するようにしてもよい。複数の人物が重なり合うように映っている場合に、その複数の人物の画像領域を覆うようにマスク画像が表示されると、個々の人物の区別が難しくなり、人物が何人いるのかを簡単に把握することができない場合があり、このような場合に人物枠が表示されていると、人数を容易に把握することができる。
【００５２】
また、マスク画像の色を混雑度に応じて変更するようにしてもよい。例えば、混雑度が高い場合にはマスク画像を赤色で表示し、混雑度が低い場合にはマスク画像を青色で表示する。また、同一の色相で濃淡や透過率で混雑度を表現するようにしてもよい。このようにすると、混雑状況に従ってマスク画像の色などが動的に変化し、対象エリアのリアルな状況を把握することができる。また、複数の対象エリアごとのモニタリング画像を並べて表示した際に、各対象エリアの混雑度を見比べることができ、複数の対象エリアの状態を瞬時に把握することができる。なお、混雑度は、人物検知の検知結果（人物枠数相当）に基づいて取得すればよい。
【００５３】
次に、カメラ１およびサーバ装置３の概略構成について説明する。図７は、カメラ１およびサーバ装置３のハードウェア構成を示すブロック図である。図８は、カメラ１の機能ブロック図である。
【００５４】
図７に示すように、カメラ１は、撮像部２１と、プロセッサ２２と、記憶デバイス２３と、通信部２４と、を備えている。
【００５５】
撮像部２１は、イメージセンサを備え、時間的に連続する撮像画像（フレーム）、いわゆる動画像を順次出力する。プロセッサ２２は、撮像画像に対して画像処理を行い、モニタリング画像を生成して出力する。記憶デバイス２３は、プロセッサ２２で実行されるプログラムや、撮像部２１から出力される撮像画像を記憶する。通信部２４は、プロセッサ２２から出力されるモニタリング画像をネットワークを介してサーバ装置３に送信する。また、通信部２４は、撮像部２１から出力される未処理画像をネットワークを介して監視端末装置２に送信する。
【００５６】
サーバ装置３は、プロセッサ３１と、記憶デバイス３２と、通信部３３と、を備えている。
【００５７】
通信部３３は、各カメラ１から送信されるモニタリング画像を受信する。また、通信部３３は、ユーザが閲覧するモニタリング画像を含む画面をユーザ端末装置４に配信する。記憶デバイス３２では、通信部３３で受信したカメラ１ごとのモニタリング画像や、プロセッサ３１で実行されるプログラムを記憶する。プロセッサ３１では、ユーザ端末装置４に配信する画面を生成する。
【００５８】
また、図８に示すように、カメラ１は、画像取得部４１と、第１の処理部４２と、第２の処理部４３と、画像出力制御部４４と、を備えている。この画像取得部４１、第１の処理部４２、第２の処理部４３、および画像出力制御部４４は、記憶デバイス２３に記憶されたモニタリング用のプログラム（インストラクション）をプロセッサ２２に実行させることで実現される。
【００５９】
画像取得部４１では、撮像部２１により撮像された撮像画像を撮像部２１および記憶デバイス（画像蓄積部）２３から取得する。
【００６０】
第１の処理部４２は、第１の背景画像生成部５１を備えている。この第１の背景画像生成部５１では、撮像画像に写った物体の識別性を低減する画像処理を撮像画像の全体に対して実施して第１の背景画像（識別性低減画像）を生成する。本実施形態では、物体の識別性を低減する画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの画像処理を実施することができる。また、このような特別な画像処理を行うことなく、物体の識別性が失われる程度に画像の解像度を低下させることにより、第１の背景画像（識別性低減画像）を生成してもよい。この場合、特別な画像処理機能を搭載する必要がないため、第１の背景画像生成部５１を安価に構成でき、画像データ量も減少させることができるので、ネットワーク上での通信負荷を軽減することができる。
【００６１】
モザイク処理は、撮像画像を複数のブロックに分割して、ブロック内の１つの画素の画素値あるいはブロック内の各画素の画素値の平均値などの単一の画素値に、そのブロック内の全ての画素の画素値を置換するものである。
【００６２】
ぼかし処理は、各種のフィルタ処理、例えば、ブラーフィルタ、ガウシアンフィルタ、メディアンフィルタ、およびバイラテラルフィルタなどによるフィルタ処理である。さらに、ネガ／ポジ反転、色調補正（明るさ変化、ＲＧＢカラーバランス変化、コントラスト変化、ガンマ補正、および彩度調整など）、２値化、ならびにエッジフィルタなどの各種の画像処理を利用することも可能である。
【００６３】
ブレンド処理は、２つの画像を半透過状態で合成（ブレンド）するものであり、合成する度合いを示すα値に基づいて、所定の合成用の画像と撮像画像とを合成する。
【００６４】
第２の処理部４３は、第２の背景画像生成部５３と、位置情報取得部５４と、マスク画像生成部５５と、を備えている。
【００６５】
第２の背景画像生成部５３では、撮像画像から人物の画像（前景画像）を除去した第２の背景画像を生成する処理が行われる。この処理では、直近の所定の学習期間における複数の撮像画像（フレーム）から第２の背景画像を生成し、新たな撮像画像を取得するのに応じて第２の背景画像が逐次更新される。この第２の背景画像生成部５３で行われる処理には、公知の技術を用いればよい。
【００６６】
位置情報取得部５４では、撮像画像から人物を検知して、撮像画像内に存在する人物の画像領域の位置情報を取得する処理が行われる。この処理は、第２の背景画像生成部５３で生成した第２の背景画像に基づいて行われ、注目する時刻（リアルタイム処理では現在時刻）の撮像画像と、それ以前の学習期間で取得した第２の背景画像との差分から、動体の画像領域を特定する（動体検知）。そして、動体の画像領域に、人物の顔、または頭部および肩部で構成されるΩ形状が検出されると、その動体を人物と判断する（人物検知）。なお、この位置情報取得部５４で行われる処理にも、公知の技術を用いればよい。
【００６７】
なお、本実施形態における第２の背景画像には、いわゆる「背景モデル」が含まれ、第２の背景画像生成部５３において、学習期間における複数の撮像画像から背景モデルを構築し、位置情報取得部５４において、注目する時刻の撮像画像と背景モデルとの比較により、動体の画像領域（前景領域）と背景領域とを分割して、動体の画像領域の位置情報を取得する。
【００６８】
また、第２の背景画像は、前記のように逐次更新されることが好ましいが、人物が存在しないときの撮像画像、例えば始業前の撮像画像を第２の背景画像として予めカメラに保持させておくようにしてもよい。
【００６９】
マスク画像生成部５５では、位置情報取得部５４で取得した人物の画像領域の位置情報に基づいて、人物の画像領域に対応する輪郭を有するマスク画像を生成する処理が行われる。この処理では、人物の画像領域の位置情報から、人物の画像領域の輪郭に関する情報を生成し、その輪郭に関する情報に基づいて、人物の輪郭形状を表すマスク画像を生成する。このマスク画像は、人物の輪郭の内部を所定の色（例えば青色）で塗りつぶしたものであり、透過性を有する。
【００７０】
画像出力制御部４４では、第１の背景画像生成部５１で生成した第１の背景画像上に、マスク画像生成部５５で生成したマスク画像を重畳して、モニタリング画像（マスク処理画像）を生成する処理が行われる。本実施形態では、マスク画像が透過性を有するものであり、モニタリング画像ではマスク画像の部分で背景の画像が透けて見える状態となる。
【００７１】
次に、ユーザ端末装置４に表示されるモニタリング画面について説明する。図９は、ユーザ端末装置４に表示されるモニタリング画面を示す説明図である。この図９では、ユーザ端末装置４としてのスマートフォンの例を示す。なお、ユーザ端末装置４に表示されるモニタリング画面は、デジタルサイネージ用のコンテンツに編集して、駅や商業施設などに設置されたサイネージ端末（大型ディスプレイ）に表示して、現在の混雑状況を知らせるようにしてもよい。
【００７２】
ユーザ端末装置４で所定のアプリケーションを起動してサーバ装置３にアクセスすると、図９に示すモニタリング画面が表示される。このモニタリング画面をユーザが閲覧することで、駅構内の混雑状況などを把握することができる。
【００７３】
このモニタリング画面には、メインメニュー表示ボタン６１と、駅選択ボタン６２と、日時入力部６３と、再生操作部６４と、画像一覧表示部６５と、が設けられている。
【００７４】
メインメニュー表示ボタン６１を操作すると、メインメニューが表示される。このメインメニューにより、駅構内モニタリングやユーザ設定などを選択することができる。駅構内モニタリングを選択すると、図９に示すモニタリング画面が表示される。
【００７５】
画像一覧表示部６５には、駅構内のプラットホームや改札口などの対象エリアごとのモニタリング画像が並べて表示される。
【００７６】
駅選択ボタン６２では、画像一覧表示部６５に表示させるモニタリング画像の対象となる駅を選択することができる。この駅選択ボタン６２には、現在設定されている駅が表示される。この駅選択ボタン６２を操作すると、駅選択メニューが表示され、駅を変更することができる。
【００７７】
日時入力部６３は、画像一覧表示部６５に表示させるモニタリング画像の表示日時を入力するものでる。この日時入力部６３には、ＮＯＷボタン７１と、日付変更ボタン７２と、時刻変更ボタン７３と、が設けられている。
【００７８】
ＮＯＷボタン７１では、表示日時を現在の時刻に変更することができる。日付変更ボタン７２では、表示日を変更することができる。この日付変更ボタン７２には、現在設定されている表示日が表示される。この日付変更ボタン７２を操作すると、カレンダー画面（図示せず）が表示され、このカレンダー画面で日付を選択することができる。時刻変更ボタン７３では、表示時刻を変更することができる。この時刻変更ボタン７３には、現在設定されている表示時刻が表示される。この時刻変更ボタン７３を操作すると、時刻選択メニューが表示され、この時刻選択メニューで表示時刻を変更することができる。なお、初期状態では、現在の時刻のモニタリング画像が表示される。
【００７９】
再生操作部６４は、画像一覧表示部６５に表示されるモニタリング画像の再生に関する操作を行うものであり、通常再生、早送り再生、巻き戻し再生、および停止の各操作ボタンが設けられており、これらの操作ボタンを操作することで、モニタリング画像を効率的に閲覧することができる。
【００８０】
また、このモニタリング画面は、ピンチアウト操作（画面に触れた２本の指を広げる操作）で拡大表示させることができる。そして、拡大表示した状態のままでスワイプ操作（画面に触れた指をずらす操作）を行って画面を移動させることで、別のエリアのモニタリング画像も拡大表示で閲覧することができる。なお、モニタリング画像をタップ操作（指１本で短時間触れる操作）すると、モニタリング画像を拡大表示する画面が表示されるようにしてもよい。
【００８１】
なお、本実施形態では、ユーザが選択した駅における各エリアのモニタリング画像を画像一覧表示部６５に並べて表示するようにしたが、エリア選択ボタンを設けて、このエリア選択ボタンで選択したエリアのモニタリング画像が表示されるようにしてもよい。
【００８２】
次に、カメラ１で行われる画像処理の概要について説明する。図１０は、カメラ１で行われる画像処理の概要を示す説明図である。
【００８３】
本実施形態では、第２の背景画像生成部５３において、表示時刻（リアルタイム表示では現在時刻）を基準にした所定の学習期間における複数の撮像画像（フレーム）から、第２の背景画像を生成する。この処理は、撮像部２１から新たな撮像画像が出力されるたびに繰り返され、第２の背景画像がその都度更新される。
【００８４】
ついで、位置情報取得部５４において、表示時刻の撮像画像および第２の背景画像から人物ごとの位置情報を取得する。そして、マスク画像生成部５５において、人物ごとの位置情報からマスク画像を生成する。
【００８５】
また、第１の背景画像生成部５１において、表示時刻の撮像画像に対して識別性低減の画像処理を実施して第１の背景画像を生成する。そして、画像出力制御部４４において、マスク画像を第１の背景画像上に重畳したモニタリング画像を生成する。
【００８６】
このようにして、表示時刻が進行するのに応じて、撮像画像の出力タイミングに対応する各時刻の第２の背景画像、位置情報、マスク画像、第１の背景画像を取得して、各時刻のモニタリング画像がカメラ１から順次出力される。
【００８７】
なお、第１の背景画像は、各時刻の撮像画像から生成すればよいが、第１の背景画像の元になる撮像画像を、所定の間隔をおいて撮像画像を間引きながら選択して、第１の背景画像を生成するようにしてもよい。
【００８８】
また、本実施形態では、撮像画像に識別性低減の画像処理を実施した画像を第１の背景画像としたが、動体検知のために生成した第２の背景画像に対して識別性低減の画像処理を実施して第１の背景画像を生成することも可能である。
【００８９】
以上のように、本実施形態では、識別性低減の画像処理が実施された第１の背景画像（識別性低減画像）上にマスク画像を重畳したモニタリング画像を生成して出力する。このモニタリング画像では、マスク画像により、人物などの動体を明確に背景と区別して視認することができるため、動体の状態を明瞭に把握することができる。このため、駅構内の混雑状況などを直感的に把握することができる。また、動体検知が失敗した人物は第１の背景画像上に現れるが、この第１の背景画像では個人を識別することができないため、人物のプライバシーを確実に保護することができる。
【００９０】
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。
【００９１】
図１１は、第２実施形態に係るカメラ１０１およびサーバ装置１０２の概略構成を示す機能ブロック図である。
【００９２】
第１実施形態では、カメラ１において、第１の背景画像およびマスク画像を生成し、第１の背景画像上にマスク画像を重畳したモニタリング画像を生成して出力するようにしたが、この第２実施形態では、ユーザごとにマスク画像の表示要素を変更することができるように、第１の背景画像と人物の画像領域の位置情報とをカメラ１０１からサーバ装置１０２に送信し、サーバ装置１０２において、ユーザによる表示要素の指定内容にしたがったマスク画像を生成して、このマスク画像を第１の背景画像上に重畳したモニタリング画像を生成するようにしている。
【００９３】
カメラ１０１は、前記の実施形態と同様に、画像取得部４１と、第１の処理部４２と、第２の処理部１０４と、を備えているが、第２の処理部１０４では、第１実施形態（図８参照）において第２の処理部４３に設けられていたマスク画像生成部５５が省略されている。また、第１実施形態で設けられていた画像出力制御部４４も省略されている。
【００９４】
サーバ装置１０２は、マスク条件設定部１０６と、マスク画像生成部１０７と、画像出力制御部１０８と、を備えている。このマスク条件設定部１０６、マスク画像生成部１０７、および画像出力制御部１０８は、記憶デバイス３２に記憶されたモニタリング用のプログラム（インストラクション）をプロセッサ３１に実行させることで実現される。
【００９５】
マスク条件設定部１０６では、ユーザ端末装置４でのユーザの入力操作に応じて、マスク画像に係る各種の条件が設定される。マスク画像生成部１０７では、マスク条件設定部１０６において設定されたユーザごとのマスク条件と、カメラ１から取得した位置情報とに基づいて、マスク画像を生成する処理が行われる。本実施形態では、マスク条件設定部１０６において、マスク画像の表示要素に関するマスク条件がユーザごとに設定され、マスク画像生成部１０７において、ユーザによる表示要素の指定内容にしたがったマスク画像を生成する。
【００９６】
画像出力制御部１０８では、カメラ１から取得した第１の背景画像上に、マスク画像生成部１０７で生成したマスク画像を重畳して、モニタリング画像（マスク処理画像）を生成する処理が行われる。これにより、ユーザによる表示要素の指定内容にしたがったマスク画像が現れたモニタリング画像がユーザ端末装置４に表示される。
【００９７】
なお、本実施形態では、サーバ装置１０２においてマスク画像を生成するようにしたが、カメラ１０１においてマスク画像を一旦生成した上で、サーバ装置１０２において、画像編集により、ユーザによる表示要素の指定内容にしたがってマスク画像を調整するようにしてもよい。
【００９８】
次に、マスク条件の設定について説明する。図１２は、ユーザ端末装置４に表示されるマスク条件設定画面を示す説明図である。
【００９９】
図９に示したモニタリング画面のメインメニュー表示ボタン６１で表示されるメインメニューでユーザ設定を選択すると、ユーザ設定メニューが表示され、このユーザ設定メニューでマスク条件設定を選択すると、図１２に示すマスク条件設定画面が表示される。このマスク条件設定画面により、マスク画像の表示要素をユーザが変更することができる。
【０１００】
このマスク条件設定画面には、塗りつぶし選択部１１１と、透過率選択部１１２と、輪郭線描画選択部１１３と、設定ボタン１１４と、が設けられている。
【０１０１】
塗りつぶし選択部１１１では、マスク画像における輪郭の内部の塗りつぶし方（色やパターンなど）をタイルメニューからユーザが選択する。透過率選択部１１２では、マスク画像の透過率をプルダウンメニューからユーザが選択する。透過率は、０％〜１００％の範囲で選択することができる。すなわち、透過率が０％の場合には、第１の背景画像が全く見えない状態となり、透過率が１００％の場合には、第１の背景画像がそのまま現れることになる。輪郭線描画選択部１１３では、マスク画像に輪郭線を描画するか否かをプルダウンメニューからユーザが選択する。ここで、透過率が１００％で輪郭線なしを選択した場合には、人物は消去された状態でモニタリング画像が表示されることになる。
【０１０２】
この塗りつぶし選択部１１１、透過率選択部１１２および輪郭線描画選択部１１３でマスク画像の塗りつぶし方、透過率および輪郭線描画の有無を選択して、設定ボタン１１４を操作すると、入力内容がサーバ装置１０２に送信され、マスク条件設定部１０６でユーザのマスク条件を設定する処理が行われる。
【０１０３】
また、前述のように、マスク画像の色を混雑度（人物枠数相当）に応じて指定される色へ変更する場合（混雑度が高い場合にはマスク画像を赤色で表示し、混雑度が低い場合にはマスク画像を青色で表示する態様、または、同一の色相で濃淡や透過率で混雑度を表現する態様）には、マスク条件設定画面で、塗りつぶし選択部１１１でのマスク画像の選択に代えて、混雑状態表示モードを設け、ユーザにモードのオン／オフを選択させるようにしてもよい。
【０１０４】
以上のように、本実施形態では、マスク画像の色、透過率、および輪郭線の有無の少なくともいずれかの表示要素をユーザが変更することができるため、ユーザにとって見やすいモニタリング画像を表示させることができる。
【０１０５】
なお、本実施形態では、ユーザごとにマスク画像の表示要素を変更することができるように、サーバ装置１０２にマスク条件設定部１０６を設けたが、第１実施形態のカメラ１（図８参照）にマスク条件設定部を設けて、このマスク条件設定部において、ユーザの操作入力に応じてマスク条件を設定して、マスク画像生成部５５において、マスク条件に基づいてマスク画像を生成するようにしてもよい。このようにすると、例えば管理者などのユーザがカメラ１ごとにマスク画像の表示要素を自由に変更することができる。
【０１０６】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【０１０７】
上記の実施形態の変形例として、人物の輪郭形状のマスク画像に代えて、動体検知および人物検知の検知結果に基づいて、人物枠に相当する矩形のマスク画像を用いても良い。この場合、人物の画像領域に対応するマスク画像の形状が変わるだけで、上記の実施形態で説明したマスク条件など、ユーザが希望する設定を行うことができる。
【０１０８】
また、前記の実施形態では、鉄道駅の例について説明したが、このような鉄道駅に限定されるものではなく、テーマパーク、イベント会場などの各種の施設に広く適用することができる。また、カメラ（モニタリング装置）１が設置されるバス停、歩道、道路なども施設対象に含まれ、これらの施設対象においても、本開示における技術を適用することができる。
【０１０９】
また、前記の実施形態では、マスク処理の対象となる動体を人物とした例について説明したが、人物以外の動体、例えば自動車や自転車などの車両を対象としたものであってもよい。このような人物以外の動体でも、その所有者や使用者を特定することができる場合には、個人のプライバシーを侵害しない配慮が必要となる。
【０１１０】
また、前記の実施形態では、撮像画像の全体に対して識別性低減の画像処理を実施するようにしたが、建造物の天井など、人物が写らないことが明らかである領域を、識別性低減の画像処理の対象から除外するようにしてもよい。このようにすると、対象エリアの状況を把握しやすくなる。
【０１１１】
この場合、識別性低減の画像処理の対象外とするエリアを管理者などが手動で設定するようにしてもよいが、識別性低減の画像処理の対象外とするエリアを、動体検知の検知結果に基づいて設定するようにしてもよい。すなわち、動体検知で動体が一定時間以上検知されない領域を、識別性低減の画像処理の対象外とすればよい。また、動体が検知されない時間が継続するのに応じて、識別性低減の画像処理の効果を徐々に低減するようにしてもよい。
【０１１２】
また、前記の実施形態では、カメラにおいて、物体の識別性を低減した第１の背景画像を生成する第１の処理と、マスク画像を生成する第２の処理と、背景画像にマスク画像を重畳する画像出力制御と、を行うようにしたが、これらの必要な処理の全部または一部をＰＣで行うようにしてもよい。また、カメラから出力される画像を蓄積するレコーダ（画像蓄積装置）や、カメラからの画像出力を制御するアダプタ（画像出力制御装置）で、前記の必要な処理の全部または一部を行うようにしてもよい。
【産業上の利用可能性】
【０１１３】
本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法は、人物のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる効果を有し、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。
【符号の説明】
【０１１４】
１  カメラ（モニタリング装置）
３  サーバ装置
４  ユーザ端末装置
２１  撮像部
２２  プロセッサ
２３  記憶デバイス
２４  通信部
４１  画像取得部
４２  第１の処理部
４３  第２の処理部
４４  画像出力制御部
５１  第１の背景画像生成部
５３  第２の背景画像生成部
５４  位置情報取得部
５５  マスク画像生成部
１０１  カメラ
１０２  サーバ装置
１０４  第２の処理部
１０６  マスク条件設定部
１０７  マスク画像生成部
１０８  画像出力制御部
１１１  塗りつぶし選択部
１１２  透過率選択部
１１３  輪郭線描画選択部
【図１】
0006504364.tif 000002
【図２】
0006504364.tif 000003
【図３】
0006504364.tif 000004
【図４】
0006504364.tif 000005
【図５】
0006504364.tif 000006
【図６】
0006504364.tif 000007
【図７】
0006504364.tif 000008
【図８】
0006504364.tif 000009
【図９】
0006504364.tif 000010
【図１０】
0006504364.tif 000011
【図１１】
0006504364.tif 000012
【図１２】
0006504364.tif 000013