(57)【要約】【課題】プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、適切なマスク処理が施された映像を効率よく生成できるようにする。【解決手段】映像に含まれる物体を、種別を識別可能に検出する物体検出部４１と、この物体検出部で検出された物体に発生した注目事象を検知する事象検知部４２と、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外するマスク対象設定部４３と、このマスク対象設定部でマスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成するマスク処理部４６と、を備える。【選択図】図８
2019186777.tif 000002
【特許請求の範囲】
【請求項１】
監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理装置であって、
前記映像に含まれる物体を、種別を識別可能に検出する物体検出部と、
この物体検出部で検出された物体に発生した注目事象を検知する事象検知部と、
マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外するマスク対象設定部と、
このマスク対象設定部で前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成するマスク処理部と、
を備えたことを特徴とする映像処理装置。
【請求項２】
前記マスク対象設定部は、
マスク条件として背景を選択するユーザの操作入力に応じて、前記物体検出部で物体が検出されない背景領域をマスク対象に設定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記マスク処理部は、
前記マスク対象設定部において、物体の全ての種別および背景を選択するユーザの操作入力に応じて、全ての種別の物体および背景領域がマスク対象に設定された場合には、注目事象が検知された物体を除く全ての領域に対して識別性低減処理を行うことを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記マスク対象設定部は、
前記マスク条件となる物体の種別として人物または車両が選択された場合に、前記アンマスク条件となる注目事象をユーザが選択可能にすることを特徴とする請求項１から請求項３のいずれかに記載の映像処理装置。
【請求項５】
前記マスク画像は、物体の一般名称を表す文字が描画されたラベル画像であることを特徴とする請求項１から請求項４のいずれかに記載の映像処理装置。
【請求項６】
前記マスク画像は、人物を模したアバタ画像であることを特徴とする請求項１から請求項４のいずれかに記載の映像処理装置。
【請求項７】
前記マスク対象設定部は、
物体を個別にマスク対象に指定するユーザの操作入力に応じて、指定された物体をマスク対象に設定すると共に、物体を個別にマスク対象から除外するユーザの操作入力に応じて、指定された物体をマスク対象から除外することを特徴とする請求項１から請求項６のいずれかに記載の映像処理装置。
【請求項８】
さらに、物体ごとのサムネイル画像を生成するサムネイル生成部と、
編集画面を表示部に表示する画面制御部と、
を備え、
この画面制御部は、
前記編集画面に、マスク対象に指定するかマスク対象から除外するかを選択する選択操作部を、物体ごとに前記サムネイル画像と並べて一覧表示することを特徴とする請求項７に記載の映像処理装置。
【請求項９】
監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理システムであって、
監視エリアを撮影するカメラと、
このカメラで撮影した映像を録画するレコーダと、
前記カメラおよび前記レコーダの少なくとも一方から映像を取得してマスク処理を行う映像処理装置と、
この映像処理装置で生成した処理済みの映像を表示する映像閲覧装置と、
を備え、
前記映像処理装置は、
前記映像に含まれる物体を、種別を識別可能に検出する物体検出部と、
この物体検出部で検出された物体に発生した注目事象を検知する事象検知部と、
マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外するマスク対象設定部と、
このマスク対象設定部で前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成するマスク処理部と、
を備えたことを特徴とする映像処理システム。
【請求項１０】
映像処理装置において、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理をプロセッサにより行う映像処理方法であって、
前記映像に含まれる物体を、種別を識別可能に検出し、
検出された物体に発生した注目事象を検知し、
マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外し、
前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成することを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理装置、映像処理システム及び映像処理方法に関するものである。
【背景技術】
【０００２】
監視エリアをカメラで撮影して、そのカメラの映像に基づいて、種々の監視業務を行う監視システムが広く普及している。このような監視システムで収集した映像は、裁判の証拠として利用することができ、また、報道で利用することができるが、この場合、プライバシーを保護することが求められるため、プライバシーの保護対象となる人物などが映像に映っている場合には、その画像領域を覆い隠すマスク処理を行うとよい。
【０００３】
このようなマスク処理に関する技術として、従来、映像に映る人物をマスク処理すると共に、特定の事象を検知すると、その事象に関連する人物のマスクを解除する技術が知られている（特許文献１参照）。また、監視者ごとに、物体の種類（人物、車両）に関して元の画像を閲覧できる閲覧権限を設定して、監視者に閲覧権限がある物体のマスクを解除する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０９１７０５号公報
【特許文献２】特開２００５−２８６４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、映像には、プライバシーの保護対象となるものとして、人物、車両、動物、看板などの様々な種別の物体が映り、また、特定の種別の物体を検出できない背景領域に、プライバシーの保護対象となる物体が映っている場合もある。このため、プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、物体をマスク対象とするマスク条件を適宜に設定できるようにするとよい。
【０００６】
また、特許文献１，２に開示された従来の技術のように、所定のマスク条件に基づいて一様にマスク処理を行う場合でも、部分的にアンマスク（マスクの解除）ができるようにすると、特定の物体に注目して、その物体の状態を詳しく観察したい場合に都合がよい。ところが、どのようなものをアンマスクの対象とするかは映像に応じて異なる。このため、映像の状況に応じて、物体をマスク対象から除外するアンマスク条件を適宜に設定できるようにするとよい。
【０００７】
しかしながら、従来の技術では、マスク条件およびアンマスク条件を映像の状況に応じて適宜に設定することに関しては何ら配慮されていないため、映像の状況に応じた適切なマスク処理が施された映像を効率よく生成することができないという問題があった。
【０００８】
そこで、本発明は、プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、適切なマスク処理が施された映像を効率よく生成することができる映像処理装置、映像処理システム及び映像処理方法を提供することを主な目的とする。
【課題を解決するための手段】
【０００９】
本発明の映像処理装置は、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理装置であって、前記映像に含まれる物体を、種別を識別可能に検出する物体検出部と、この物体検出部で検出された物体に発生した注目事象を検知する事象検知部と、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外するマスク対象設定部と、このマスク対象設定部で前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成するマスク処理部と、を備えた構成とする。
【００１０】
また、本発明の映像処理システムは、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理システムであって、監視エリアを撮影するカメラと、このカメラで撮影した映像を録画するレコーダと、前記カメラおよび前記レコーダの少なくとも一方から映像を取得してマスク処理を行う映像処理装置と、この映像処理装置で生成した処理済みの映像を表示する映像閲覧装置と、を備え、前記映像処理装置は、前記映像に含まれる物体を、種別を識別可能に検出する物体検出部と、この物体検出部で検出された物体に発生した注目事象を検知する事象検知部と、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外するマスク対象設定部と、このマスク対象設定部で前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成するマスク処理部と、を備えた構成とする。
【００１１】
また、本発明の映像処理方法は、映像処理装置において、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理をプロセッサにより行う映像処理方法であって、前記映像に含まれる物体を、種別を識別可能に検出し、検出された物体に発生した注目事象を検知し、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外し、前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成する構成とする。
【発明の効果】
【００１２】
本発明によれば、ユーザの操作入力に応じて、物体をマスク対象とするマスク条件、および物体をマスク対象から除外するアンマスク条件が設定される。これにより、プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、マスク条件およびアンマスク条件を適宜に設定できるため、適切なマスク処理が施された映像を効率よく生成することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係るモニタリングシステムの全体構成図
【図２】映像処理装置３に表示される編集画面を示す説明図
【図３】編集画面の要部の遷移状況を示す説明図
【図４】編集画面において設定内容に応じた処理済みの映像の状況を示す説明図
【図５】編集画面において設定内容に応じた処理済みの映像の状況を示す説明図
【図６】編集画面において設定内容に応じた処理済みの映像の状況を示す説明図
【図７】編集画面において設定内容に応じた処理済みの映像の状況を示す説明図
【図８】第１実施形態に係る映像処理装置３の概略構成を示すブロック図
【図９】第２実施形態に係る映像処理装置３に表示される編集画面を示す説明図
【図１０】第２実施形態に係る映像処理装置３の概略構成を示すブロック図
【発明を実施するための形態】
【００１４】
前記課題を解決するためになされた第１の発明は、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理装置であって、前記映像に含まれる物体を、種別を識別可能に検出する物体検出部と、この物体検出部で検出された物体に発生した注目事象を検知する事象検知部と、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外するマスク対象設定部と、このマスク対象設定部で前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成するマスク処理部と、を備えた構成とする。
【００１５】
これによると、ユーザの操作入力に応じて、物体をマスク対象とするマスク条件、および物体をマスク対象から除外するアンマスク条件が設定される。これにより、プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、マスク条件およびアンマスク条件を適宜に設定できるため、適切なマスク処理が施された映像を効率よく生成することができる。
【００１６】
また、第２の発明は、前記マスク対象設定部は、マスク条件として背景を選択するユーザの操作入力に応じて、前記物体検出部で物体が検出されない背景領域をマスク対象に設定する構成とする。
【００１７】
これによると、背景領域をマスク処理することができる。これにより、映像内で物体が検出されない領域に、プライバシーの保護対象となるものがある場合でも、プライバシーの保護を図ることができる。
【００１８】
また、第３の発明は、前記マスク処理部は、前記マスク対象設定部において、物体の全ての種別および背景を選択するユーザの操作入力に応じて、全ての種別の物体および背景領域がマスク対象に設定された場合には、注目事象が検知された物体を除く全ての領域に対して識別性低減処理を行う構成とする。
【００１９】
これによると、アンマスク条件に該当する物体のみ識別できるようになる。
【００２０】
また、第４の発明は、前記マスク対象設定部は、前記マスク条件となる物体の種別として人物または車両が選択された場合に、前記アンマスク条件となる注目事象をユーザが選択可能にする構成とする。
【００２１】
これによると、人物や車両に関するアンマスク条件をユーザが指定することができる。これにより、注目事象（例えば異常な状態）が検知された人物や車両をマスク対象から除外して、その物体を詳細に観察することができる。
【００２２】
また、第５の発明は、前記マスク画像は、物体の一般名称を表す文字が描画されたラベル画像である構成とする。
【００２３】
これによると、物体の種別や属性などを表す一般名称を表示することで、マスク処理した物体を閲覧者が容易に識別することができる。
【００２４】
また、第６の発明は、前記マスク画像は、人物を模したアバタ画像である構成とする。
【００２５】
これによると、アバタ画像で人物が存在することを閲覧者が容易に把握することができる。
【００２６】
また、第７の発明は、前記マスク対象設定部は、物体を個別にマスク対象に指定するユーザの操作入力に応じて、指定された物体をマスク対象に設定すると共に、物体を個別にマスク対象から除外するユーザの操作入力に応じて、指定された物体をマスク対象から除外する構成とする。
【００２７】
これによると、物体を個別にマスク対象に設定したりマスク対象から除外したりすることができる。
【００２８】
また、第８の発明は、さらに、物体ごとのサムネイル画像を生成するサムネイル生成部と、編集画面を表示部に表示する画面制御部と、を備え、この画面制御部は、前記編集画面に、マスク対象に指定するかマスク対象から除外するかを選択する選択操作部を、物体ごとに前記サムネイル画像と並べて一覧表示する構成とする。
【００２９】
これによると、サムネイル画像により物体を確認した上で、マスク対象に指定するかマスク対象から除外するかを選択することができる。
【００３０】
また、第９の発明は、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理システムであって、監視エリアを撮影するカメラと、このカメラで撮影した映像を録画するレコーダと、前記カメラおよび前記レコーダの少なくとも一方から映像を取得してマスク処理を行う映像処理装置と、この映像処理装置で生成した処理済みの映像を表示する映像閲覧装置と、を備え、前記映像処理装置は、前記映像に含まれる物体を、種別を識別可能に検出する物体検出部と、この物体検出部で検出された物体に発生した注目事象を検知する事象検知部と、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外するマスク対象設定部と、このマスク対象設定部で前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成するマスク処理部と、を備えた構成とする。
【００３１】
これによると、第１の発明と同様に、プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、適切なマスク処理が施された映像を効率よく生成することができる。
【００３２】
また、第１０の発明は、映像処理装置において、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理をプロセッサにより行う映像処理方法であって、前記映像に含まれる物体を、種別を識別可能に検出し、検出された物体に発生した注目事象を検知し、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定すると共に、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外し、前記マスク対象に設定された物体の画像領域をマスク画像に変更した映像を生成する構成とする。
【００３３】
これによると、第１の発明と同様に、プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、適切なマスク処理が施された映像を効率よく生成することができる。
【００３４】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３５】
（第１実施形態）
図１は、第１実施形態に係る映像処理システムの全体構成図である。
【００３６】
この映像処理システムは、監視エリアを撮影した映像にプライバシーの保護対象となる物体が映る場合に、その映像に対してマスク処理を行って、処理済みの映像を閲覧者に提供するものであり、カメラ１と、レコーダ２と、映像処理装置３と、映像閲覧装置４と、を備えている。
【００３７】
カメラ１は、監視エリアを撮影する。なお、監視エリアは様々であり、例えば、店舗、病院などの施設内や、屋外の道路などが監視エリアとなる。また、固定カメラの他、警察官や警備員などが装着するウエアラブルカメラであってもよい。
【００３８】
レコーダ２は、カメラ１から出力される映像を録画する。
【００３９】
映像処理装置３は、カメラ１またはレコーダ２から映像を取得して、その映像に対して、プライバシー保護のためのマスク処理を行う。
【００４０】
映像閲覧装置４は、映像処理装置３で生成した処理済みの映像（動画）を取得して、その映像を画面表示する。
【００４１】
なお、映像処理装置３で生成した処理済みの映像は、例えば、裁判の証拠として利用することができ、この場合、裁判所に設置された映像閲覧装置４で、処理済みの映像を裁判の関係者が閲覧する。また、処理済みの映像は、報道で利用することができ、この場合、テレビ局などの放送事業者が処理済みの映像を放送し、映像閲覧装置４で受信した処理済みの映像を視聴者が閲覧する。
【００４２】
また、映像処理装置３で行われる処理は、撮影後に行う事後処理でも、撮影と同時に行うリアルタイム処理でもよい。リアルタイム処理を行う場合には、カメラ１と映像処理装置３とをネットワーク接続すればよい。また、事後処理のみを行う場合には、適宜な記憶媒体を介して、レコーダ２に蓄積した映像を映像処理装置３に転送するようにしてもよい。
【００４３】
次に、映像処理装置３に表示される編集画面について説明する。図２は、編集画面を示す説明図である。図３は、編集画面の要部の遷移状況を示す説明図である。
【００４４】
映像処理装置３では、カメラ１またはレコーダ２から取得した映像を編集する編集画面が表示され、この編集画像には、図２に示すように、映像表示部１１と、マスク条件指定部１２と、アンマスク条件指定部１３と、マスク種別指定部１４と、が設けられている。
【００４５】
映像表示部１１では、編集対象となる映像２１が表示される。
【００４６】
この映像表示部１１には、「反映」のボタン２２と、「キャンセル」のボタン２３と、「出力」のボタン２４と、が設けられている。「反映」のボタン２２を操作すると、マスク条件指定部１２、アンマスク条件指定部１３、およびマスク種別指定部１４の指定内容が映像表示部１１に反映され、指定内容に応じたマスク処理が行われた映像２１が表示される。「キャンセル」のボタン２３を操作すると、マスク処理が解除され、元の映像が表示される。「出力」のボタン２４を操作すると、マスク処理済みの映像が格納された映像ファイルを生成し、利用先に映像を配布することができる。
【００４７】
また、映像表示部１１には、再生操作部２５が設けられている。この再生操作部２５には、映像の再生、一時停止、巻き戻し、および早送りを指示するボタンや、再生位置を調整するスライドバーが設けられている。
【００４８】
マスク条件指定部１２は、物体をマスク対象とするマスク条件をユーザが指定する。本実施形態では、マスク条件として、物体の種別（人物、看板、車両、動物）、および背景を複数選択することができ、マスク条件指定部１２には、種別ごとのチェックボックスと、背景のチェックボックスと、が設けられている。
【００４９】
ここで、人物を選択すると、人物がマスク対象となり、映像内の人物の画像領域がマスク画像に変更される。看板を選択すると、看板がマスク対象となり、映像内の看板の画像領域がマスク画像に変更される。車両を選択すると、車両がマスク対象となり、映像内の車両の画像領域がマスク画像に変更される。動物を選択すると、動物がマスク対象となり、映像内の動物の画像領域がマスク画像に変更される。背景を選択すると、背景がマスク対象となり、映像内の背景の画像領域がマスク画像に変更される。
【００５０】
なお、人物、看板、車両、および動物のいずれかがプライバシーの保護対象となる場合には、そのプライバシーの保護対象となる種別を選択すればよく、人物、看板、車両、および動物のいずれにも該当しないものがプライバシーの保護対象となる場合には、背景を選択すればよい。また、看板には、表札や掲示板や案内板なども含まれる。
【００５１】
アンマスク条件指定部１３は、物体をマスク対象から除外するアンマスク条件をユーザが指定する。本実施形態では、アンマスク条件として、物体に発生する注目事象を選択することができ、アンマスク条件指定部１３には、注目事象ごとのチェックボックスが設けられている。このアンマスク条件指定部１３で選択できる注目事象は、マスク条件指定部１２で選択した物体の種別に応じて異なる。
【００５２】
本実施形態では、マスク条件として人物または車両を選択した場合に、アンマスク条件を指定することができる。マスク条件として人物を選択すると、アンマスク条件となる注目事象として、人物の異常な状態（転倒、疾走、ふらつき、暴行）を指定することができ、異常な状態が検知された人物がマスク対象から除外される。また、マスク条件として車両を選択すると、アンマスク条件となる注目事象として、車両の異常な状態（速度超過、衝突事故、逆走）を指定することができ、異常な状態が検知された車両がマスク対象から除外される。
【００５３】
具体的には、図３（Ａ）に示すように、マスク条件指定部１２で物体の種別が選択されていない状態では、アンマスク条件指定部１３は選択不能状態となる。
【００５４】
図３（Ｂ）に示すように、マスク条件指定部１２で人物が選択されると、アンマスク条件指定部１３には、転倒、疾走、ふらつき、暴行の各チェックボックスが表示され、転倒、疾走、ふらつき、暴行の各注目事象を、アンマスク条件として複数選択することができる。
【００５５】
ここで、転倒を選択すると、転倒が検知された人物をマスク対象から除外する。疾走を選択すると、疾走が検知された人物をマスク対象から除外する。ふらつきを選択すると、ふらつきが検知された人物をマスク対象から除外する。暴行を選択すると、暴行が検知された人物をマスク対象から除外する。
【００５６】
図３（Ｃ）に示すように、マスク条件指定部１２で車両が選択されると、アンマスク条件指定部１３には、速度超過、衝突事故、逆走の各チェックボックスが表示され、速度超過、衝突事故、逆走の各注目事象を、アンマスク条件として複数選択することができる。
【００５７】
ここで、速度超過を選択すると、速度超過が検知された車両をマスク対象から除外する。衝突事故を選択すると、衝突事故が検知された車両をマスク対象から除外する。逆走を選択すると、逆走が検知された車両をマスク対象から除外する。
【００５８】
図３（Ｄ）に示すように、マスク条件指定部１２で人物および車両の両方が選択されると、アンマスク条件指定部１３には、人物に関する注目事象（転倒、疾走、ふらつき、暴行）のチェックボックスと、車両に関する注目事象（速度超過、衝突事故、逆走）のチェックボックスと、が表示される。
【００５９】
なお、本実施形態では、アンマスク条件を人物および車両に関するものに限定しているため、マスク条件指定部１２で、人物または車両を選択せずに、看板、動物、背景を選択した場合には、図３（Ａ）に示した例と同様に、アンマスク条件指定部１３は選択不能状態となる。
【００６０】
マスク種別指定部１４は、マスク画像の種別をユーザが指定する。本実施形態では、マスク画像として、ぼかし画像、ラベル画像、およびアバタ画像を選択することができる。
【００６１】
ここで、ぼかし画像は、マスク領域（マスク処理の対象となる画像領域）の画像を映像から抽出して、そのマスク領域の画像に対して、例えばガウシアンフィルタを用いたぼかし処理を行うことで生成されるものである。
【００６２】
なお、マスク領域の画像に対してぼかし処理以外の識別性低減処理を行った画像をマスク画像としてもよい。例えば、見かけ上の解像度を低くしたモザイク画像をマスク画像としてもよい。
【００６３】
ラベル画像は、マスク領域の輪郭の内部を所定の色で塗り潰して、その塗り潰し画像上に物体の一般名称を表す文字を描画したものである。本実施形態では、物体の一般名称として、物体の種別を表す「人物」、「看板」、「車両」、および「動物」の文字が描画される。なお、物体の属性（例えば人物であれば性別や年齢など）を取得して、物体の属性を表す文字を描画するようにしてもよい。
【００６４】
アバタ画像は、マスク対象となる人物を模したキャラクターの画像である。なお、映像から人物の属性（性別や年齢など）を取得して、属性に応じたアバタ画像をマスク画像としてもよい。また、看板、車両、および動物の場合にも、種別ごとの物体の特徴を模した画像をマスク画像としてもよい。また、映像から人物の動きを検出して、人物の動きに応じてキャラクターが動く動画でアバタ画像を表示するようにしてもよい。
【００６５】
なお、背景のマスク画像は、ぼかし画像となる。したがって、マスク対象が人物、看板、車両、動物の場合には、ぼかし画像、ラベル画像、アバタ画像のいずれも選択することができるが、マスク対象が背景の場合には、ぼかし画像のみを選択することができる。
【００６６】
また、人物や車両のマスク画像は、マスク領域の輪郭の内部を所定の色で塗り潰したシルエット画像で表示されるようにしてもよい。この場合、シルエット画像を透過性マスクとすることで、背景が透けて見えるので、人物や車両（前景）のプライバシーを保護しつつ、背景との関連を容易に把握することができる。
【００６７】
次に、映像処理装置３に表示される編集画面において設定内容を変更した場合の処理済みの映像の状況について説明する。図４、図５、図６、図７は、編集画面において設定内容に応じた処理済みの映像の状況を示す説明図である。
【００６８】
図４に示す例では、マスク条件指定部１２において、人物が選択され、アンマスク条件指定部１３において、転倒が選択されている。また、マスク種別指定部１４において、ぼかし画像が選択されている。
【００６９】
この場合、転倒の事象が検知された人物にはマスク処理が行われないが、その人物を除く全ての人物には、人物の画像領域をぼかし画像に変更するマスク処理が行われる。すなわち、転倒の事象が検知されない人物の画像領域のみぼかし画像によるマスク状態となり、その他の画像領域はアンマスク状態となる。
【００７０】
図５に示す例では、マスク条件指定部１２において、物体の全ての種別（人物、看板、車両、動物）および背景が選択され、アンマスク条件指定部１３において、転倒が選択されている。また、マスク種別指定部１４において、ぼかし画像が選択されている。
【００７１】
この場合、転倒の事象が検知された人物にはマスク処理が行われないが、転倒の事象が検知された人物の画像領域を除く全ての画像領域をぼかし画像に変更するマスク処理が行われる。すなわち、転倒の事象が検知された人物の画像領域のみアンマスク状態となり、その他の画像領域はぼかし画像によるマスク状態となる。
【００７２】
図６に示す例では、マスク条件指定部１２において、人物および看板が選択され、アンマスク条件指定部１３において、転倒が選択されている。また、マスク種別指定部１４において、ラベル画像が選択されている。
【００７３】
この場合、転倒の事象が検知された人物にはマスク処理が行われないが、転倒の事象が検知されない全ての人物には、人物の画像領域をラベル画像に変更するマスク処理が行われる。また、看板の画像領域をラベル画像に変更するマスク処理が行われる。すなわち、転倒の事象が検知されない人物および看板の画像領域のみ、ラベル画像によるマスク状態となり、その他の画像領域はアンマスク状態となる。
【００７４】
なお、本実施形態では、ラベル画像を、マスク領域の輪郭の内部を所定の色で塗り潰したシルエット画像としたが、マスク領域の画像に識別性低減処理を行ったものとしてもよい。
【００７５】
図７に示す例では、マスク条件指定部１２において、人物が選択され、アンマスク条件指定部１３において、転倒が選択されている。また、マスク種別指定部１４において、アバタ画像が選択されている。
【００７６】
この場合、転倒の事象が検知された人物にはマスク処理が行われないが、その人物を除く全ての人物には、人物の画像領域をアバタ画像に変更するマスク処理が行われる。すなわち、転倒の事象が検知されない人物の画像領域のみアバタ画像によるマスク状態となり、その他の画像領域はアンマスク状態となる。なお、人物のアバタ画像として、予め人物の状態に対応した複数のパターンの人物アイコンを記憶しておき、映像の再生時に人物の動きに合わせて、人物アイコンを切り替えて表示するようにしてもよい。
【００７７】
このように本実施形態では、注目事象が検知された物体を、マスク対象から除外することができる。これにより、注目事象が検知された物体を詳細に観察することができる。また、同一の種別でも注目事象が検知されない物体はマスク処理されるため、プライバシーの保護を図ることができる。
【００７８】
次に、映像処理装置３の概略構成について説明する。図８は、映像処理装置３の概略構成を示すブロック図である。
【００７９】
映像処理装置３は、映像入出力部３１と、記憶部３２と、表示部３３と、操作入力部３４と、制御部３５と、を備えている。
【００８０】
映像入出力部３１では、事後処理の場合には、レコーダ２で録画された映像が入力され、リアルタイム処理の場合には、カメラ１で撮影された映像が入力される。また、映像入出力部３１では、制御部３５で生成した編集済みの映像が出力され、映像閲覧装置４で編集済みの映像を閲覧することができる。
【００８１】
記憶部３２は、制御部３５を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部３２は、制御部３５で映像から検出した物体に関する情報や、ユーザが入力した設定情報などを記憶する。
【００８２】
表示部３３は、編集画面（図２〜図７参照）を表示する。操作入力部３４は、マウスなどの入力デバイスで構成され、この操作入力部３４によりユーザが画面操作を行うことができる。
【００８３】
制御部３５は、物体検出部４１と、事象検知部４２と、マスク対象設定部４３と、マスク領域設定部４４と、マスク種別設定部４５と、マスク処理部４６と、画面制御部４７と、を備えている。この制御部３５は、プロセッサで構成され、制御部３５の各部は、記憶部３２に記憶されたプログラムをプロセッサで実行することで実現される。
【００８４】
物体検出部４１は、映像に含まれる物体を、種別を識別可能に検出する。本実施形態では、人物、看板、車両および動物の各種別の物体を検出する。また、いずれの種別の物体も検出されない領域を背景領域とする。この物体検出では、公知の技術を用いればよく、例えば、ディープラーニングに基づく物体検出では精度の高い検出が可能である。
【００８５】
事象検知部４２は、物体検出部４１で検出した物体に発生する注目事象を検知する。本実施形態では、人物に発生する注目事象として、転倒、疾走、ふらつき、および暴行の各事象を検知する。この人物に関する事象検知では、公知の技術を用いればよく、例えば、人物の位置、姿勢、移動速度、動作などを検出することで、転倒、疾走、ふらつき、および暴行を検知することができる。
【００８６】
また、事象検知部４２は、車両に発生する事象として、速度超過、衝突事故、および逆走の各事象を検知する。この車両に関する事象検知では、公知の技術を用いればよく、例えば、車両の位置、移動速度、走行方向などを検出することで、速度超過、衝突事故、および逆走を検知することができる。
【００８７】
マスク対象設定部４３は、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体をマスク対象に設定し、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外する。また、マスク条件として背景を選択するユーザの操作入力に応じて、物体検出部４１で物体が検出されない背景領域をマスク対象に設定する。
【００８８】
マスク領域設定部４４は、マスク対象設定部４３でマスク対象に設定された物体および背景の画像領域に基づいて、マスク領域（マスク処理の対象となる画像領域）を設定する。ここで、物体がマスク対象に設定されている場合には、その物体の画像領域がマスク領域となり、背景がマスク対象に設定されている場合には、背景領域がマスク領域となる。また、マスク条件として物体の全ての種別および背景が選択された場合には、注目事象が検知された物体を除く全ての領域がマスク領域となる。
【００８９】
マスク種別設定部４５は、マスク画像の種別（ぼかし画像、ラベル画像、アバタ画像）を指定するユーザの操作入力に応じて、マスク画像の種別を設定する。
【００９０】
マスク処理部４６は、マスク領域設定部４４で設定されたマスク領域と、マスク種別設定部４５で設定されたマスク画像の種別とに基づいて、マスク領域ごとのマスク画像を生成して、映像内のマスク領域をマスク画像に変更するマスク処理を行う。
【００９１】
画面制御部４７は、編集画面（図２〜図７参照）を生成して表示部３３に表示する。このとき、カメラ１やレコーダ２から取得した映像や、マスク処理部４６で生成したマスク処理済みの映像を編集画面に表示する。
【００９２】
なお、映像処理装置３で行われる処理は、事後処理でもリアルタイム処理でもよいが、リアルタイム処理では、事象検知部４２でアンマスク条件となる注目事象を検知すると、その注目事象が検知された物体がマスク対象から除外される。例えば、マスク条件として人物を選択すると共にアンマスク条件として転倒を選択した場合、最初は全ての人物がマスク状態であるが、ある人物が転倒すると、それ以降は、その転倒した人物はアンマスク状態となる。
【００９３】
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図９は、第２実施形態に係る映像処理装置３に表示される編集画面を示す説明図である。
【００９４】
第１実施形態では、マスク条件となる物体の種別が選択されると、選択された種別に該当する物体を一括してマスク対象に設定し、アンマスク条件となる注目事象が選択されると、選択された注目事象が検知された物体をマスク対象から除外するようにしたが、本実施形態では、特定の物体を個別にマスク対象に指定したりマスク対象から除外したりできるようにする。
【００９５】
図９に示すように、編集画像には、第１実施形態と同様に、映像表示部１１と、マスク条件指定部１２と、アンマスク条件指定部１３と、マスク種別指定部１４と、が設けられているが、本実施形態では、さらに、個別マスク指定部５１が設けられている。
【００９６】
この個別マスク指定部５１では、検出された全ての物体（オブジェクト）に関する、管理用のＩＤ、マスクの有無、サムネイル画像、種別、および検知した事象が一覧表示される。
【００９７】
マスクの有無に関する表示欄には、マスクの有無を選択するチェックボックス（選択操作部）が設けられている。このチェックボックスは、マスク条件指定部１２およびアンマスク条件指定部１３の指定内容が反映されている。すなわち、マスク条件指定部１２およびアンマスク条件指定部１３の指定内容に応じて、マスク対象に設定された物体ではチェック状態となり、マスク対象から除外された物体では非チェック状態となる。
【００９８】
ユーザは、チェックボックスを操作することで、チェックボックスの状態、すなわち、マスクの有無を変更することができる。すなわち、マスク対象に変更したい場合にはチェック状態とし、マスク対象から除外したい場合には非チェック状態とする。これにより、特定の物体を個別にマスク対象に指定したりマスク対象から除外したりできる。
【００９９】
次に、第２実施形態に係る映像処理装置３の概略構成について説明する。図１０は、映像処理装置３の概略構成を示すブロック図である。
【０１００】
映像処理装置３は、第１実施形態と同様に、映像入出力部３１と、記憶部３２と、表示部３３と、操作入力部３４と、制御部３５と、を備えている。制御部３５（プロセッサ）は、第１実施形態と同様に、物体検出部４１と、事象検知部４２と、マスク対象設定部４３と、マスク領域設定部４４と、マスク種別設定部４５と、マスク処理部４６と、画面制御部４７と、を備えているが、さらに、管理ＩＤ付与部６１と、サムネイル生成部６２と、を備えている。
【０１０１】
管理ＩＤ付与部６１は、物体検出部４１で検出した物体に管理用のＩＤを付与する。
【０１０２】
サムネイル生成部６２は、映像から物体の画像領域を切り出して、物体のサムネイル画像（静止画代表画像）を生成する。そして、管理用のＩＤおよびサムネイル画像は、個別マスク指定部５１に、マスクの有無（チェック欄）、種別、検知した事象と共に一覧表示される。
【０１０３】
マスク対象設定部４３は、第１実施形態と同様に、マスク条件として物体の種別を選択するユーザの操作入力に応じて、選択された種別に該当する物体を一括してマスク対象に設定し、アンマスク条件として注目事象を選択するユーザの操作入力に応じて、選択された注目事象が検知された物体をマスク対象から除外する。
【０１０４】
また、マスク対象設定部４３は、物体を個別にマスク対象に指定するユーザの操作入力に応じて、指定された物体をマスク対象に設定すると共に、物体を個別にマスク対象から除外するユーザの操作入力に応じて、指定された物体をマスク対象から除外する。
【０１０５】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【０１０６】
本発明に係る映像処理装置、映像処理システム及び映像処理方法は、プライバシーの保護対象となる様々な物体が出現する映像の状況に応じて、適切なマスク処理が施された映像を効率よく生成することができる効果を有し、監視エリアを撮影した映像から物体を識別して、ユーザの操作入力に応じたマスク処理を行う映像処理装置、映像処理システム及び映像処理方法などとして有用である。
【符号の説明】
【０１０７】
１  カメラ
２  レコーダ
３  映像処理装置
４  映像閲覧装置
１１  映像表示部
１２  マスク条件指定部
１３  アンマスク条件指定部
１４  マスク種別指定部
３１  映像入出力部
３２  記憶部
３３  表示部
３４  操作入力部
３５  制御部
４１  物体検出部
４２  事象検知部
４３  マスク対象設定部
４４  マスク領域設定部
４５  マスク種別設定部
４６  マスク処理部
４７  画面制御部
５１  個別マスク指定部
６１  管理ＩＤ付与部
６２  サムネイル生成部
【図１】
2019186777.tif 000003
【図２】
2019186777.tif 000004
【図３】
2019186777.tif 000005
【図４】
2019186777.tif 000006
【図５】
2019186777.tif 000007
【図６】
2019186777.tif 000008
【図７】
2019186777.tif 000009
【図８】
2019186777.tif 000010
【図９】
2019186777.tif 000011
【図１０】
2019186777.tif 000012