(57)【要約】今後様々なロケーションに設置される監視カメラシステムや画像センサに顔や個人を特定するものが映りこんだ際に、個人情報保護の観点で、自動的にマスキングする画像マスキング装置及び方法を提供すること、更に、犯罪捜査や事件があった場合に、マスキングを解除する必要に迫られた際には、そのマスキングを解除する機能を保有する画像マスキング装置及び方法を提供することを課題とする。解決方法として、画像マスキング装置であって、画像の入力を受け付ける画像入力受付部と、入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、抽出された上記マスキング対象部分にマスキングを付すマスキング付与部と上記マスキングが付された画像を出力する画像出力部とを有する。更に、画像のマスキングを除去するアンマスキング部を有してもよい。
2018225775.tif 000002
【特許請求の範囲】
【請求項１】
Ａ）画像の入力を受け付ける画像入力受付部と、
Ｂ）入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
Ｃ）抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と、
Ｄ）前記マスキングが付された画像を出力する画像出力部と
を有する画像マスキング装置。
【請求項２】
前記マスキング対象部分が、人を含む動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分のいずれか１つ以上であることを特徴とする請求項１に記載の画像マスキング装置。
【請求項３】
更に、
Ｅ）前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
を有することを特徴とする請求項１に記載の画像マスキング装置。
【請求項４】
前記属性情報を用いて、前記マスキング対象部分を検索する機能を有することを特徴とする請求項３に記載の画像マスキング装置。
【請求項５】
更に、
Ｆ）前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
を有することを特徴とする請求項３に記載の画像マスキング装置。
【請求項６】
画像情報の中に、マスキングが不要な特定の情報を認識した場合に、該特定情報に関連したマスキング対象部分をマスキングすることを特徴とする請求項１に記載の画像マスキング装置。
【請求項７】
前記特定情報が車両番号であり、前記マスキング対象部分が該車両の運転者及び／または同乗者の全てまたは一部であることを特徴とする請求項６に記載の画像マスキング装置。
【請求項８】
前記マスキング対象部分抽出部が、機械学習を用いた画像処理によって前記マスキング対象部分を抽出することを特徴とする請求項１に記載の画像マスキング装置。
【請求項９】
前記機械学習が、畳み込みニューラルネットワークを利用したものであることを特徴とする請求項８に記載の画像マスキング装置。
【請求項１０】
前記マスキング対象部分抽出部が、エッジ抽出処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴とする請求項１に記載の画像マスキング装置。
【請求項１１】
前記マスキング対象部分抽出部が、ＯＣＲ処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴とする請求項１に記載の画像マスキング装置。
【請求項１２】
更に、
Ｇ）前記マスキングが付された画像のマスキングを除去するアンマスキング部と
を有することを特徴とする請求項１に記載の画像マスキング装置。
【請求項１３】
前記マスキング対象部分の属性情報により、マスキングを除去する部分を決定することを特徴とする請求項１２に記載の画像マスキング装置。
【請求項１４】
前記アンマスキング部は、特定の手順によってのみ、アンマスキングが可能であることを特徴とする請求項１２に記載の画像マスキング装置。
【請求項１５】
Ａ）画像の入力を受け付け、
Ｂ）入力された画像からマスキング対象部分を自動的に抽出し、
Ｃ）抽出された前記マスキング対象部分にマスキングを付し、
Ｄ）前記マスキングが付された画像を出力する
画像マスキング方法。
【請求項１６】
前記マスキング対象部分が、人を含む動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分のいずれか１つ以上であることを特徴とする請求項１５に記載の画像マスキング方法。
【請求項１７】
更に、
Ｅ）前記マスキング対象部分の属性情報を検出する
ことを特徴とする請求項１５に記載の画像マスキング方法。
【請求項１８】
前記属性情報を用いて、前記マスキング対象部分を検索することを特徴とする請求項１７に記載の画像マスキング方法。
【請求項１９】
更に、
Ｆ）前記属性情報を用いて前記マスキングが付された画像を統計処理する
ことを特徴とする請求項１７に記載の画像マスキング装置。
【請求項２０】
画像情報の中に、マスキングが不要な特定の情報を認識した場合に、該特定情報に関連したマスキング対象部分をマスキングすることを特徴とする請求項１５に記載の画像マスキング方法。
【請求項２１】
前記特定情報が車両番号であり、前記マスキング対象部分が該車両の運転者及び／または同乗者の全てまたは一部であることを特徴とする請求項２０に記載の画像マスキング方法。
【請求項２２】
前記マスキング対象部分を抽出する工程が、機械学習を用いた画像処理によることを特徴とする請求項１５に記載の画像マスキング方法。
【請求項２３】
前記機械学習が、畳み込みニューラルネットワークを利用したものであることを特徴とする請求項２２に記載の画像マスキング方法。
【請求項２４】
前記マスキング対象部分を抽出する工程が、エッジ抽出処理を用いた画像処理によることを特徴とする請求項１５に記載の画像マスキング方法。
【請求項２５】
前記マスキング対象部分を抽出する工程が、ＯＣＲ処理を用いた画像処理によることを特徴とする請求項１５に記載の画像マスキング方法。
【請求項２６】
更に、
Ｇ）前記マスキングが付された画像のマスキングを除去するアンマスキング工程を有することを特徴とする請求項１５に記載の画像マスキング方法。
【請求項２７】
前記マスキング対象部分の属性情報により、マスキングを除去する部分を決定することを特徴とする請求項２６に記載の画像マスキング方法。
【請求項２８】
前記アンマスキング工程は、特定の手順によってのみ、アンマスキングが可能であることを特徴とする請求項２６に記載の画像マスキング方法。
【請求項２９】
入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と
を有する画像マスキングユニット。
【請求項３０】
更に、
前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
前記マスキングが付された画像のマスキングを除去するアンマスキング部と
の少なくとも一つ以上を含むことを特徴とする請求項２９に記載の画像マスキングユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の特定の個所にマスキングを付す画像マスキング装置及び画像マスキング方法に係る。なお、マスキングとは画像の一部を覆い隠すことをいう。
【背景技術】
【０００２】
近年、犯罪の発生の抑止、あるいは犯罪発生時の状況の把握などの目的で、監視カメラが広汎に設置されており、その目的のために有効に機能している。【０００３】
しかしながら、その画像の中に、犯罪とは関係のない、個人のプライバシーを侵害するような情報、例えば、個人の顔画像、車のナンバープレートなどが撮像され、問題を生じている。【０００４】
このような問題を生じないようにするために、特許文献１には、監視カメラが画像に映るプライバシーゾーンをマスキングするマスクデータを保持し、このデータに従って画像の一部をマスキングするように構成する技術思想が開示されている。【０００５】
更に、マスキングの解除についても、パスワードを有する特定の人のみが実施できるようにし、一般人が恣意的に操作することを防ぐ技術思想も開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−６９４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のプライバシーゾーンは、操作者がその中心位置とゾーン枠を指定するもので、人による操作が必要なことから手間がかかり、かつ、その範囲外の情報についてはマスキングされず、個人情報の保護がなされないという問題点があった。【０００８】
本発明は、上記の問題点を踏まえ、今後様々なロケーションに設置される監視カメラシステムや画像センサに顔や個人を特定するものが映りこんだ際に、個人情報保護の観点で、自動的にマスキングする画像マスキング装置及び方法を提供することを課題とする。更に、犯罪捜査や事件があった場合に、マスキングを解除する必要に迫られた際には、そのマスキングを解除する機能を保有する画像マスキング装置及び方法を提供することを課題とする。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため、本発明に係る画像マスキング装置は、
Ａ）画像の入力を受け付ける画像入力受付部と、
Ｂ）入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、
Ｃ）抽出された前記マスキング対象部分にマスキングを付すマスキング付与部と、
Ｄ）前記マスキングが付された画像を出力する画像出力部と
を有することを特徴とする。【００１０】
ここで、画像は、静止画、動画のいずれをも含むものであり、画像入力受付部は、監視カメラなどの撮像部から直接に入力されるもののほか、有線・無線のネットワークやインターネットを通じて画像受信部で受信されたものや、既に撮影されまたは処理されて、画像記憶部に記憶されているものなどの入力を受け付ける。【００１１】
また、画像出力部から画像を出力するとは、画像表示部に画像を表示すること、画像を記憶装置に記憶すること、画像送信部を通じて画像をネットワークなどの外部に送信することを含むものとする。【００１２】
また、本発明に係る画像マスキング装置は、前記マスキング対象部分が、人を含む動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分のいずれか１つ以上であることを特徴としてもよい。【００１３】
ここで、個人情報記載部分とは、免許証・パスポート・個人番号カードなどの個人情報が記載されている書類またはカード類の個人情報が記載された部分のことである。【００１４】
また、対象とする画像は、監視カメラの画像だけでなく、テレビ放映画像、スマートホンや携帯可能なカメラによる画像など、一切の撮影された動画及び静止画の画像が含まれる。【００１５】
例えば、テレビ放映画像において、取材の際に背後の人の顔をマスキング（あるいはモザイク処理）している場合があるが、このような場合に、自動でマスキングを行うことも可能である。【００１６】
このようにすると、人手を介さずにマスキング対象部分が抽出でき、マスキングを付すことができるため、監視カメラ画像などの応用範囲が大きく拡大する。【００１７】
また、本発明に係る画像マスキング装置は、更に、
Ｅ）前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と
を有することを特徴としてもよい。【００１８】
すなわち、マスキング対象部分が人間の顔であった場合、性別、年齢、着衣、顔の特徴（眼鏡、髭、頭髪量など）などの属性情報を画像から検出し、それらの属性情報を、タグを付すなどの手法により、マスキング対象部分と紐づけて出力することで、その後の種々の用途に有効に利用できる。【００１９】
なお、属性を自動的に検出せずに、あるいは自動的な検出と併用して、人手により属性を付与するようにしてもよい。属性情報の正確さが増す場合もあり得る。【００２０】
更に、本発明に係る画像マスキング装置は、前記属性情報を用いて、前記マスキング対象部分を検索する機能を有することを特徴としてもよい。【００２１】
このようにすると、膨大な画像情報の中から、付されたタグにある属性情報の組合せ（例えば、男性で、眼鏡を着用しているなど）から、特定の画像を抽出することができ、更に、マスキングを解除するアンマスキングが必要となった場合にも、アンマスキングすべき画像を特定して効率よく処理ができる。【００２２】
また、本発明に係る画像マスキング装置は、更に、
Ｆ）前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と
を有することを特徴としてもよい。【００２３】
このようにすると、顔画像の場合であれば、個人を特定することなく、マーケティングなどに必要な、顧客の属性毎（性別、年代別など）に集計した統計データを取得することができる。【００２４】
また、本発明に係る画像マスキング装置は、画像情報の中に、マスキングが不要な特定の情報を認識した場合に、該特定情報に関連したマスキング対象部分をマスキングすることを特徴としてもよい。【００２５】
このようにすると、マスキングをせずに利用したい情報と関連して同じ画像に写り込んでいる他の情報をマスキングすることができ、個人情報などを保護しつつ、画像情報を利用することができるという効果を奏する。【００２６】
特に、本発明に係る画像マスキング装置は、前記特定情報が車両番号であり、前記マスキング対象部分が該車両の運転者及び／または同乗者の全てまたは一部であることを特徴としてもよい。【００２７】
このようにすると、車両番号は料金収受などの目的でマスキングは不要であるが、その車両の運転者や同乗者の顔は、個人情報保護の観点からマスキングが必要な場合に、極めて有効である。【００２８】
ここで、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、機械学習を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。【００２９】
このようにすると、マスキング対象部分の抽出が人手を介することなく高精度で行える。【００３０】
更に、本発明に係る画像マスキング装置は、前記機械学習が、畳み込みニューラルネットワークを利用したものであることを特徴としてもよい。【００３１】
このようにすると、機械学習の中でも画像処理に優れた手法であるため、より高精度のマスキング対象部分の抽出が可能となる。【００３２】
あるいは、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、エッジ抽出処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。【００３３】
このようにすると、対象とする画像によっては、簡便で、かつ精度の高いマスキング対象部分の抽出ができる場合もある。【００３４】
あるいは、本発明に係る画像マスキング装置は、前記マスキング対象部分抽出部が、ＯＣＲ処理を用いた画像処理によって前記マスキング対象部分を抽出することを特徴としてもよい。【００３５】
このようにすると、特に、マスキング対象部分が文字情報を含む場合には、その部分の抽出が容易となる。【００３６】
更に、本発明に係る画像マスキング装置は、
Ｇ）前記マスキングが付された画像のマスキングを除去するアンマスキング部と
を有することを特徴としてもよい。【００３７】
このようにすると、マスキングされた画像情報を、例えば犯罪捜査などの特定の目的のためにアンマスキングすることができ、画像情報の有効活用がなされる。【００３８】
なお、本発明に係る画像マスキング装置は、前記マスキング対象部分の属性情報により、マスキングを除去する部分を決定することを特徴としてもよい。【００３９】
このようにすると、例えば、監視カメラ画像の中から、アンマスキングが必要な特定の画像を抽出するのに、画像に付されたタグなどに記された属性情報によって行うことができるため、人手の介在を少なくし、見落としの無い高精度なアンマスキングが可能となる。【００４０】
また、前記アンマスキング部は、特定の手順によってのみ、アンマスキングが可能であることを特徴としてもよい。【００４１】
例えば、その特定の手順は、マスキングされた画像と、暗号化されたマスキング対象部分の元の画像とを関連付けて記憶し、アンマスキングの際に、マスキング対象部分の元の画像を復元して、マスキング画像に嵌めこむことであることを特徴としてもよい。【００４２】
具体的には、警察や特定の権限を有する人のみが、ＩＤカード、パスワード、指紋・虹彩などの生体認証などを用いて暗号を解除する操作を行うようにする。あるいは、特定の端末からのみ操作ができるようにしてもよい。【００４３】
例えば、米国におけるスーツケースに用いられるＴＳＡロックのように、認定されたマスキング方法が世界中の監視カメラに搭載され、私人は監視カメラの特定の情報が見えないものの、警察や特定の権限を有した人のみがマスキング解除ができるということも想定できる。【００４４】
なお、前述のテレビ放映画像の場合では、編集時に、インタビューを受けている人だけアンマスキングするということも可能である。【００４５】
また、本発明は、画像マスキング装置が有する機能を、画像マスキング方法という態様としたものであってもよい。装置の構成によらず、本発明の効果を実現できる。【００４６】
また、本発明は、入力された画像からマスキング対象部分を自動的に抽出するマスキング対象部分抽出部と、抽出された前記マスキング対象部分にマスキングを付すマスキング付与部とを有する画像マスキングユニットという態様であってもよい。【００４７】
更に、前記マスキング対象部分の属性情報を検出するマスキング対象属性検出部と、前記属性情報を用いて前記マスキングが付された画像を統計処理するマスキング対象統計処理部と、前記マスキングが付された画像のマスキングを除去するアンマスキング部とのうちの、少なくとも一つ以上を含むことを特徴とする画像マスキングユニットという態様であってもよい。【００４８】
そのようにすれば、その他の周辺ユニットについて、制約なく組み合わせることができ、画像マスキングユニットのみでも本発明の効果を実現できる。
【発明の効果】
【００４９】
本発明の画像マスキング装置及び画像マスキング方法によれば、監視カメラなどの画像に、マスキング対象部分に自動的にマスキングすることができるので、個人情報が保護され、かつ、犯罪捜査などの際にマスキングを解除する必要に迫られた際には、そのマスキングを、管理された特定の手順で解除することができるため、公益的な観点からの画像の利用が可能となるなどの効果がある。
【図面の簡単な説明】
【００５０】
【図１】本発明の画像マスキング装置の一実施形態のブロック図である。
【図２】本発明の画像マスキング装置の一実施形態のマスキングまでのフローチャートである。
【図３】本発明の装置の一実施形態の顔画像抽出のフローチャートである。
【図４】本発明の装置の一実施形態の原画像の説明図である。
【図５】本発明の装置の一実施形態のマスキング対象領域を抽出した画像の説明図である。
【図６】本発明の装置の一実施形態のマスキングを付与した後の画像の説明図である。
【図７】本発明の画像マスキング装置の一実施形態のアンマスキングのフローチャートである。
【図８】本発明の画像マスキング装置の別の実施形態の原画像の説明図である。
【発明を実施するための形態】
【００５１】
以下、図面を参照し、本発明の一実施形態にかかる画像マスキング装置について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
【００５２】
図１は本発明の画像マスキング装置１の一実施形態のブロック図である。
【００５３】
画像マスキング装置１は、ハードウェア構成としては、ＰＣが好適であり、ＣＰＵ、メモリー、通信インターフェース、ディスプレイなどからなる。
【００５４】
機能的には、画像マスキング装置１は、それらのハードウェア構成要素を用いて実現する画像マスキングユニット１０、制御部２０、画像入力受付部３０、画像出力部４０を含み、更に、画像マスキングユニット１０は、マスキング対象部分抽出部１１０、マスキング対象属性検出部１２０、マスキング対象統計処理部１３０、マスキング付与部１４０、アンマスキング部１５０の機能要素を含んでいる。
【００５５】
制御部２０は、全体の制御を司り、画像入力受付部３０からの画像の入力の受け付け、画像出力部４０への画像の出力、画像マスキングユニット１０を用いた画像のマスキング・アンマスキング処理を制御する。
【００５６】
画像入力受付部３０は、マスキングを必要とする画像の入力を受け付ける。例えば、カメラなどの撮像部５０から、有線・無線やインターネットなどを介して送信される画像を受信する画像受信部６０から、あるいは、これまでに撮影された、あるいは画像処理された画像を記憶してある画像記憶部７０から、画像の入力を受ける。
【００５７】
ここで、撮像部５０としては、固定の場所に設置された監視カメラに代表されるが、ほかにも、車載カメラ、テレビや映画の撮影機、スマホや写真機など、動画、静止画が撮影できるものであればどのようなものであってもよい。
【００５８】
画像マスキングユニット１０は、マスキング対象部分抽出部１１０、マスキング対象属性検出部１２０、マスキング対象統計処理部１３０、マスキング付与部１４０、アンマスキング部１５０を有しており、制御部２０から伝達される画像に対して処理を行う。
【００５９】
マスキング対象部分抽出部１１０は、画像の中のマスキング対象部分を抽出する。
【００６０】
マスキング対象属性検出部１２０は、マスキング対象部分の属性、例えば、人の顔であれば、性別、年齢などの属性を検出する。
【００６１】
マスキング対象統計処理部１３０は、マスキング対象の、属性別、日別、時間帯別などの統計処理を行う。
【００６２】
マスキング付与部１４０は、抽出されたマスキング対象部分にマスキングを付与する。
【００６３】
アンマスキング部１５０は、マスキングされた画像のマスキング部分の全て、または一部をアンマスキングする。
【００６４】
画像出力部４０は、制御部２０に接続され、撮像部５０で撮影された画像、画像マスキングユニット１０で処理された画像、画像に関連付けられた属性、更に、アンマスキングに必要な情報などを出力する。
【００６５】
出力先としては、画像を表示する画像表示部９０へ、画像を記憶する画像記憶部７０へ、あるいは、画像を有線・無線あるいはインターネットなどを介して送信する画像送信部８０へ、と出力する。
【００６６】
なお、これまで説明した構成には限定されず、画像マスキング装置に、撮像部、画像受信部、画像記憶部、画像送信部、画像表示部の一部または全部が内蔵されていてもよく、逆に、一部の画像マスキング装置の機能が撮像部に内蔵されていてもよいし、あるいは、画像マスキング装置の機能の分担がこれと異なってもよく、更には、クラウドコンピューティングのように画像マスキング装置の機能が遠隔に分散されて設けられてもよい。
【００６７】
次に、このような構成の本発明の画像マスキング装置の動作を説明する。図２は本発明の画像マスキング装置１の一実施形態のマスキングまでのフローチャートである。
【００６８】
まず、画像入力受付部３０が、画像の入力を受ける（ステップＳ０１）。ここでは、例えば、撮像部５０としての街路を監視する監視カメラから、常時撮影されている動画が入力されるものとする。
【００６９】
次に、マスキング対象部分抽出部１１０がマスキング対象部分を抽出する（Ｓ０２）。ここでは、個人のプライバシー保護の観点から、監視カメラ画像の中の、人物の顔画像をマスキング対象部分とする。
【００７０】
具体的には、撮影された画像につき、機械学習、その中でも人工ニューラルネットワークを用いたディープラーニングによって、顔画像と思われるものを抽出する。図３は本発明の画像マスキング装置１の一実施形態の顔画像抽出のフローチャートであり、図４から図６は本発明の画像マスキング装置１の一実施形態の顔画像抽出からマスキングまでの画像の説明図であり、図４は原画像、図５はマスキング対象領域を抽出した画像、図６はマスキングを付与した後の画像である。なお、図５に相当するマスキング対象領域の抽出図は、実際の使用の際は画像として表示されなくてもよい。
【００７１】
ここで、まず、監視カメラなどから、分類された学習用データ（顔画像の場合であれば、顔画像である／顔画像でない、及び、顔画像を内包する矩形などの外形の位置）を収集する（Ｓ１１）。その量は多い方が望ましい。
【００７２】
次に、学習用データを訓練データと検証データに分ける（Ｓ１２）。
【００７３】
これについて、ニューラルネットワークを用いて、訓練データで学習、重み調整を行ない、検証データで現在の学習状況を検証する（Ｓ１３）。
【００７４】
これを繰り返して検証時の間違い率が所望の値より小さくなれば学習は終了する（Ｓ１４）。
【００７５】
次に、学習完了済みのニューラルネットワークに新たな画像、例えば、撮像部５０で撮影した図４に示すような画像を入力する（Ｓ１５）。
【００７６】
すると、この中のマスキング対象部分、例えば、人物の顔画像が抽出される（Ｓ１６）。図５に示すように、画面右上方の前を向いた女性の顔１０１、右下方の横を向いた男性の顔１０２、中央の子供の顔１０３が抽出され、矩形で囲われる。なお、この形状はこれには限定されず、円形、楕円形、多角形などどのようなものでもよい。
【００７７】
なお、機械学習の方法は、ニューラルネットワークやディープラーニングに限定せず、決定木学習やサポートベクターマシン（ＳＶＭ）などどのような手法の機械学習であってもよいが、追加の人手による入力を必要とする場合もあり得る。
【００７８】
また、機械学習によらない方法も使用することができる。例えば、エッジ抽出処理によることもできる。これは、画像の明るさの鋭敏な変化のあるところをエッジすなわち輪郭とみなすもので、具体的な手法は、実用化されている。
【００７９】
あるいは、文字を含む画像、例えば自動車のナンバープレート、住所情報などの場合については、光学文字認識（ＯＣＲ）によってマスキングする個所を決定してもよい。
【００８０】
ここで、マスキング対象部分を抽出する際に、マスキング対象属性検出部１２０が、マスキング対象から、必要とされる属性を検出する（Ｓ０３）。
【００８１】
必要な属性としては、例えば人の顔の場合であれば、性別、年齢、特徴（体形、眼鏡、髭、頭髪量など）などである。これは、後にアンマスキングする際、あるいは、統計処理をする際などに有効である。
【００８２】
なお、マスキング対象部分抽出部１１０、及び、マスキング対象属性検出部１２０は、具体的には、ＮＥＣソリューションイノベータ株式会社のFieldAnalyst（登録商標）やグローリー株式会社の顔認証システムなど、実用化されている技術を応用することもできる。
【００８３】
なお、検出された属性は、制御部２０によって、抽出されたマスキング対象部分にタグ付けするなど、マスキング対象部分と関連づけて記憶される。
【００８４】
次に、マスキング付与部１４０が、マスキング対象部分の元の画像を暗号化する（Ｓ０４）。これは、アンマスキングを可能とするためであるが、特定の操作を行わないとアンマスキングができないようにするための処理である。
【００８５】
同時に、マスキング付与部１４０が、図６に示すように、抽出された対象部分２０１、２０２、２０３にマスキングを行う（Ｓ０４）。マスキングは、領域の全てをグレー色で不透明に塗りつぶすようにしたが、それには限定されず、色、透明の度合い、ベタでなくモザイク状など、どのようなものであってもよいし、枠部分を有してもよいし、グレーでない無彩色や有彩色であってもよい。
【００８６】
なお、マスキングを実施した後は、マスキング部分の画像情報は上書きされて消失しており、その画像からは復元することはできない。
【００８７】
次に、画像出力部４０を経由して画像記憶部７０において、マスキングされた画像と、暗号化されたマスキング対象部分の元の画像と、マスキング部分の属性とを関連付けて記憶する（Ｓ０６）。これは、後にアンマスキングが必要となった場合に確実に操作ができるためである。
【００８８】
ここまでの動作（Ｓ０１からＳ０６）はすべて自動で行われるため、人手の介在を必要とせず、効率が極めてよく、また、人手の介在による個人プライバシーの侵害の恐れもない。
【００８９】
なお、必要な場合には、画像出力部４０を経由して画像表示部９０においてマスキングされた画像を表示する（Ｓ０７）。
【００９０】
更に、必要な場合は、マスキング対象統計処理部１３０が、検出された属性と関連づけて統計的な集計処理を行うこともできる（Ｓ０８）。
【００９１】
例えば、人の顔の画像であれば、男性が５６％、女性が４４％、年齢４０歳未満が３２％、４０歳以上６０歳以下が５４％、６０歳超が１４％などというような統計が得られる。これは、個人情報を開示せずに、属性によって分類した結果を、マーケティングなどに活用するために、有効である。
【００９２】
ここで、本発明のような画像処理のニューラルネットワークとしては、現時点では畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いることが望ましい。例えば、2016年8月26日発行のIEEE Signal Processing Letters にあるJoint Face Detection and Alignment Using Multitask Cascaded
Convolutional Networksに記載された方法は、極めて有効である。これは複数（３ないし４）の浅いディープラーニングをカスケード接続したネットワーク構造をしており、高速に動作することが可能となっている。
【００９３】
高速に処理できることから、フレーム毎にマスキング対象部分を抽出し、マスキングを付与することができる。そのため、固定カメラだけでなく、車載カメラなどの移動体からの画像に対しても対応が可能である。なお、前のフレームとの差分によってマスキング部分を決定する方法であってもよい。
【００９４】
次に、アンマスキング部１５０の動作について説明する。図７は、本発明の画像マスキング装置１の一実施形態のアンマスキングに関するフローチャートである。
【００９５】
アンマスキング部１５０が、画像記憶部７０から画像入力受付部３０を経由して、マスキングされた画像と、それに関連付けられて記憶されている、暗号化されたマスキング対象部分の元の画像とを読み出す（Ｓ２１）。
【００９６】
次に、マスキング対象部分の元の画像の復元処理を行う（Ｓ２２）。これは、特定の権限を有する操作者あるいは装置を予め定めておいて、パスワード、個人ＩＤ、指紋・虹彩などの生体認証などの入力を行うことで、操作を開始するようにすればよい。
【００９７】
次にマスキング対象部分の復元された画像を、マスキングされた画像の対象部分に嵌めこむ（Ｓ２３）。
【００９８】
このようにすることで、マスキングが解除された画像を得ることができ、必要に応じて、アンマスキングされた画像を、画像出力部４０を経由して、画像記憶部７０に記憶したり、画像表示部９０に表示したり、画像送信部８０から遠隔に送信したりすることができる。
【００９９】
なお、これまでの説明では、マスキングを実施した後は、マスキング部分の画像情報は上書きされて消失しており、その画像からは復元することはできず、マスキング対象部分の元の画像は暗号化して記憶されるとしたが、マスキングを実施した後も、マスキング部分の画像情報を維持し、かつ、マスキング対象部分の座標などの情報のみを暗号化して記憶するようにしてもよい。
【０１００】
この場合には、アンマスキング時には、マスキング対象部分の座標情報を復号化して、それを用いて、マスキング画像の元の画像を復元するようにする。
【０１０１】
このようにすれは、暗号化された情報量が少ないため、高速な処理が可能となることも期待できる。
【０１０２】
また。マスキングする前の画像とマスキング付与後の画像の両方を記憶するようにしてもよい。マスキングする前の画像については厳重なアクセス管理（暗号化やパスワードなど）を行うことによりプライバシーを保護するようにする。
【０１０３】
このようにすると、複雑な処理を必要とせずに、ある程度のプライバシー保護が実現できる。
【０１０４】
なお、これまでの説明では、マスキング対象部分を人物の顔として説明したが、それ以外の個人情報に係る、動物の顔、人を含む動物の外形、車両番号、車両外観、表札、家屋外観、個人情報記載部分などであってもよい。
【０１０５】
ここで、個人情報記載部分とは、免許証・パスポート・個人番号カードなどの個人情報が記載されている書類またはカード類の個人情報が記載された部分のことである。
【０１０６】
なお、画像情報の中に、マスキングが不要な特定の情報、例えば、道路や駐車場において、必要な車両番号を認識した場合に、その特定情報に関連したマスキングを必要とする部分、例えば、その車両の運転者や同乗者をマスキングするようにしてもよい。
【０１０７】
図８は、本発明の画像マスキング装置１の別の実施形態の原画像の説明図であり、車のナンバープレート４０１、４０２を対象としている。なお、ナンバープレートの場合には、アンマスキングの際に、ナンバープレートの記号・番号を自動的に読み取り、犯罪捜査に役立てることも可能である。
【産業上の利用可能性】
【０１０８】
本発明の画像マスキング装置は、監視カメラ画像に限らず、幅広くプライバシー保護の必要性のある画像の処理に用いることができるため、産業上の利用可能性が大いにある。
【符号の説明】
【０１０９】
１        画像マスキング装置
１０      画像マスキングユニット
２０      制御部
３０      画像入力受付部
４０      画像出力部
５０      撮像部
６０      画像受信部
７０      画像記憶部
８０      画像送信部
９０      画像表示部
１１０    マスキング対象部分抽出部
１２０    マスキング対象属性検出部
１３０    マスキング対象統計処理部
１４０    マスキング付与部
１５０    アンマスキング部
１０１−１０３  マスキング対象部分
２０１−２０３  マスキング付与部分
４０１−４０２  ナンバープレート
【図１】
2018225775.tif 000003
【図２】
2018225775.tif 000004
【図３】
2018225775.tif 000005
【図４】
2018225775.tif 000006
【図５】
2018225775.tif 000007
【図６】
2018225775.tif 000008
【図７】
2018225775.tif 000009
【図８】
2018225775.tif 000010
【国際調査報告】
2018225775.tif 000011
2018225775.tif 000012
2018225775.tif 000013
2018225775.tif 000014