(57)【要約】【課題】人物画像に含まれている人物の属性情報を維持しつつ、人物を匿名化し、これによって、個人情報の保護を図りながら、上記属性情報に基づく分析を可能にする。【解決手段】情報処理装置３は、人物検出部１１と、属性推定部１２と、匿名加工部１３とを備える。人物検出部１１は、店舗内で人物を撮影した人物画像に基づいて、上記人物を検出する。属性推定部１２は、上記人物画像に基づいて、上記人物の属性に関する属性情報を推定する。匿名加工部１３は、上記人物画像から、上記人物とは異なる別人の画像であって、上記人物と同じ属性情報を有する別人画像を生成して、上記人物を匿名化する。【選択図】図１
2020091770.tif 000002
【特許請求の範囲】
【請求項１】
店舗内で人物を撮影した人物画像に基づいて、前記人物を検出する人物検出部と、
前記人物画像に基づいて、前記人物の属性に関する属性情報を推定する属性推定部と、
前記人物画像から、前記人物とは異なる別人の画像であって、前記人物と同じ前記属性情報を有する別人画像を生成して、前記人物を匿名化する匿名加工部とを備えていることを特徴とする情報処理装置。
【請求項２】
前記属性の異なる複数の属性情報ごとに、前記属性情報を有する画像の代表となる代表画像を記憶する代表画像記憶部をさらに備え、
前記匿名加工部は、前記代表画像記憶部から、前記人物と同じ前記属性情報を有する前記代表画像を読み出して前記人物画像と合成することにより、前記別人画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記人物画像から、前記人物の頭部領域を推定する頭部領域推定部をさらに備え、
前記匿名加工部は、前記人物画像の前記頭部領域を前記代表画像で置換することにより、前記別人画像を生成することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記匿名加工部は、前記頭部領域の位置、角度または大きさに基づいて、前記代表画像を変形することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記匿名加工部は、前記人物画像から前記別人画像を生成する深層生成モデルをさらに含み、
前記深層生成モデルは、敵対的生成ネットワークの生成器で構成されていることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記匿名加工部によって生成された前記別人画像を記憶する別人画像記憶部をさらに備えていることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
前記人物検出部および前記属性推定部は、畳み込み型ニューラルネットワークで構成されていることを特徴とする請求項１から６のいずれかに記載の情報処理装置。
【請求項８】
請求項１から７のいずれかに記載の情報処理装置と、
前記店舗内を撮影して前記人物画像を取得する撮像部とを備えていることを特徴とする情報処理システム。
【請求項９】
店舗内で人物を撮影した人物画像に基づいて、前記人物を検出する人物検出工程と、
前記人物画像に基づいて、前記人物の属性に関する属性情報を推定する属性推定工程と、
前記人物画像から、前記人物とは異なる別人の画像であって、前記人物と同じ前記属性情報を有する別人画像を生成して、前記人物を匿名化する匿名加工工程とを含むことを特徴とする情報処理方法。
【請求項１０】
前記匿名加工工程では、前記属性の異なる複数の属性情報ごとに、前記属性情報を有する画像の代表となる代表画像を記憶した代表画像記憶部から、前記人物と同じ前記属性情報を有する前記代表画像を読み出して前記人物画像と合成することにより、前記別人画像を生成することを特徴とする請求項９に記載の情報処理方法。
【請求項１１】
前記人物画像から、前記人物の頭部領域を推定する頭部領域推定工程をさらに含み、
前記匿名加工工程では、前記人物画像の前記頭部領域を前記代表画像で置換することにより、前記別人画像を生成することを特徴とする請求項１０に記載の情報処理方法。
【請求項１２】
前記匿名加工工程では、前記頭部領域の位置、角度または大きさに基づいて、前記代表画像を変形することを特徴とする請求項１１に記載の情報処理方法。
【請求項１３】
前記匿名加工工程では、敵対的生成ネットワークの生成器で構成される深層生成モデルによって、前記人物画像から前記別人画像を生成することを特徴とする請求項９に記載の情報処理方法。
【請求項１４】
請求項９から１３のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗内を撮影して取得された人物画像中の人物を匿名化する情報処理装置、情報処理システム、情報処理方法、プログラムおよび記録媒体に関する。なお、「匿名化」とは、人物が誰であるかの特定を困難にすることを指す。
【背景技術】
【０００２】
従来から、個人情報を含むデータを匿名化する技術が提案されている。例えば特許文献１では、個人情報が含まれる一次データを解析して、一次データに含まれる情報を項目ごとに特定する。そして、予め設定されている項目ごとの評価値に基づいて、一次データに含まれる各情報の総評価値を評価する。最後に、総評価値が所定の閾値を越えないように、各情報を変更または削除した二次データを生成する。これにより、個人情報の有用性を保ちながら、匿名性を十分に担保した二次データを生成できるようにしている。また、例えば非特許文献１では、人物の行動検出性能を維持しながら、顔の匿名化を行う深層生成モデルが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−２２３１３号公報（請求項１、段落〔０００７〕、〔００１６〕、〔００２０〕〜〔００３７〕、図１〜図４等参照）
【非特許文献】
【０００４】
【非特許文献１】Zhongzheng Ren et al., "Learning to Anonymize Faces for Privacy Preserving Action Detection", European Conference on Computer Vision (ECCV), Submitted on 30 Mar 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、マーケティングの分野では、店舗内の商品の販売促進の目的で、店舗内を撮影して取得された画像に基づき、店舗での顧客（人物）の購買行動の分析が行われている。上記画像は、個人情報保護の観点から、行動分析後に消去されるのが一般的である。しかし、近年では、上記画像に含まれる情報を再度利用して別の分析を行えるようにしたいという要望や、最初の分析自体を、購買行動とリアルタイムではなく、時間をずらして（例えば後日に）行えるようにしたいという要望が高まっている。このため、上記画像を消去せずに保存することが検討されている。
【０００６】
ただし、取得した画像に含まれる情報の再度の利用（二次利用）や後日の利用（一次利用）においては、上記画像から個人が特定されることを回避すべく、上記画像には、画像中の人物を匿名化する匿名加工が施される。匿名加工の一般的な方法としては、画像中の人物の顔領域に対して、ぼかし処理を施す、モザイク処理を施す、アイコン（例えば黒ベタの四角形）を重畳する、などがある。
【０００７】
ところが、上記した従来の一般的な匿名加工（ぼかし処理等）を施した画像では、匿名加工を施す前の画像に含まれていた人物の属性情報が失われる。すなわち、元の画像に対して従来の一般的な匿名加工を施すと、画像中の人物の性別が女性であるか男性であるかがわからなくなり、年齢層もわからなくなる。このため、匿名加工後の画像を用いても、元の人物の属性情報に基づく分析を行うことができない。したがって、特にそのような分析が必要となるマーケティング用途では、上記匿名加工による匿名化を採用することができない。マーケティング用途において、属性情報に基づく分析を行えるようにするためには、元の画像に含まれている属性情報を維持しつつ、元の人物を匿名化することが必要とされる。しかし、このような技術は未だ提案されていない。
【０００８】
なお、上記した特許文献１の技術は、一次データおよび二次データとしてテキストデータを対象としており、画像データを対象としておらず、ましてや、人物画像中の人物の属性情報を維持しつつ、上記人物を匿名化する技術を一切開示も示唆もしていない。
【０００９】
また、非特許文献１の技術は、人物の行動検出性能の維持と匿名化とを行うことを目的としている。この技術では、匿名化のために、例えば女性が男性に変化したり、見た目の年齢が変わるように、顔画像を変化させている。つまり、非特許文献１では、元の画像に含まれている性別等の属性情報が維持されずに匿名化が行われている。このため、匿名化した後の画像を用いても、上記属性情報に基づく分析を行うことができない。
【００１０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、元の画像に含まれている人物の属性情報を維持しつつ、上記人物を匿名化することができ、これによって、個人情報の保護を図りながら、上記属性情報に基づく分析を可能にする情報処理装置、情報処理システム、情報処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一側面に係る情報処理装置は、店舗内で人物を撮影した人物画像に基づいて、前記人物を検出する人物検出部と、前記人物画像に基づいて、前記人物の属性に関する属性情報を推定する属性推定部と、前記人物画像から、前記人物とは異なる別人の画像であって、前記人物と同じ前記属性情報を有する別人画像を生成して、前記人物を匿名化する匿名加工部とを備えている。
【００１２】
本発明の他の側面に係る情報処理システムは、上記の情報処理装置と、前記店舗内を撮影して前記人物画像を取得する撮像部とを備えている。
【００１３】
本発明のさらに他の側面に係る情報処理方法は、店舗内で人物を撮影した人物画像に基づいて、前記人物を検出する人物検出工程と、前記人物画像に基づいて、前記人物の属性に関する属性情報を推定する属性推定工程と、前記人物画像から、前記人物とは異なる別人の画像であって、前記人物と同じ前記属性情報を有する別人画像を生成して、前記人物を匿名化する匿名加工工程とを含む。
【００１４】
本発明のさらに他の側面に係るプログラムは、上記情報処理方法をコンピュータに実行させるためのプログラムである。
【００１５】
本発明のさらに他の側面に係る記録媒体は、上記プログラムを記録した、コンピュータ読取可能な記録媒体である。
【発明の効果】
【００１６】
元の人物画像に含まれている人物の属性情報を維持しつつ、上記人物を匿名化することができる。これにより、上記人物の個人情報の保護を図りながら、上記属性情報に基づく分析を行うことが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の一形態の情報処理システムの全体の構成を模式的に示すブロック図である。
【図２】上記情報処理システムが適用される店舗内の様子を模式的に示す説明図である。
【図３】敵対的生成ネットワークの構成を模式的に示す説明図である。
【図４】上記情報処理システムにおける処理の流れを示すフローチャートである。
【図５】上記情報処理システムの撮像部で取得された任意のフレームの人物画像の一例を示す説明図である。
【図６】上記情報処理システムの匿名加工部が生成した別人画像の一例を示す説明図である。
【図７】本発明の他の実施の形態の情報処理システムの概略の構成を示すブロック図である。
【図８】上記情報処理システムにおける処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１８】
＜実施の形態１＞
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。
【００１９】
〔１．情報処理システムの構成〕
図１は、本実施形態の情報処理システム１の全体の構成を模式的に示すブロック図である。図２は、情報処理システム１が適用される店舗１００内の様子を模式的に示す説明図である。情報処理システム１は、店舗１００内での顧客Ｐ（人物）の行動を分析するシステムに適用可能である。
【００２０】
このような情報処理システム１は、撮像部２と、情報処理装置３とを含む。撮像部２は、店舗１００内を撮影して、人物を含む画像（人物画像）を取得するカメラで構成されている。上記画像は、例えば動画であるが、静止画であってもよい。撮像部２は、店舗１００内で例えば天井１０１に設置されている。本実施形態では、店舗１００内での撮像部２の設置台数を１台としているが、上記設置台数は複数台であっても構わない。
【００２１】
撮像部２は、有線ケーブルやＬＡＮ（Local Area Network）などの通信回線を介して情報処理装置３と通信可能に接続されている。なお、撮像部２は、情報処理装置３と無線通信可能に構成されていてもよい。いずれにしても、撮像部２での撮影によって取得された人物画像のデータは、通信回線を介して情報処理装置３に送られる。
【００２２】
情報処理装置３は、例えばパーソナルコンピュータ（ＰＣ）で構成されている。この情報処理装置３は、行動分析部１０と、人物検出部１１と、属性推定部１２と、匿名加工部１３と、記憶部１４と、入力部１５と、表示部１６と、通信部１７と、読取部１８と、制御部１９と、頭部領域推定部２０とを有している。制御部１９は、情報処理装置３の各部の動作を制御する中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、記憶部１４のプログラム記憶部１４ａに記憶された動作プログラムに従って動作する。
【００２３】
行動分析部１０は、制御部１９とは別個のまたは同一のＣＰＵで構成され、店舗１００を撮影して取得された画像に基づいて、店舗１００内の顧客Ｐの行動を分析する。例えば、行動分析部１０は、上記画像に基づいて、店舗１００内での顧客Ｐの位置や姿勢を検出する。これにより、行動分析部１０は、店舗１００内での顧客Ｐの動線（移動経路）を分析したり、商品棚１０２に陳列されている商品２０１のうち、どの商品２０１に手を触れたかを分析したり、どの商品２０１をカゴ３０１（カートでもよい）に入れたかを分析することが可能となる。
【００２４】
なお、情報処理装置３において、行動分析部１０は必須の構成ではなく、行動分析部１０を省略した構成とすることも可能である。つまり、情報処理システム１は、撮像部２で取得した画像を情報処理装置３の外部（例えば外部の端末装置）に転送し、情報処理装置３の外部で上記画像に基づいて顧客Ｐの行動を分析する構成であってもよい。
【００２５】
人物検出部１１は、店舗１００内で人物を撮影した人物画像に基づいて、人物を検出する。ここで、人物を検出するとは、人物画像から、人物画像中の人物の領域を検出することを指す。なお、上記人物画像としては、撮像部２で取得されて情報処理装置３に入力された画像を考えることもできるし、別の端末装置やサーバーに予め蓄積されて情報処理装置３に入力された画像を考えることもできる。
【００２６】
属性推定部１２は、上記の人物画像に基づいて、検出した人物の属性に関する属性情報を推定し、認識する。ここで、上記属性情報は、人物の性別、年齢、年齢層の少なくともいずれかに関する情報を含むが、さらに他の情報を含んでいてもよい。上記他の情報としては、例えば人物の国籍、髪色、ひげ、帽子類、マスク類、眼鏡類などに関する情報を考えることができる。
【００２７】
人物検出部１１および属性推定部１２は、例えばＧＰＵ（Graphics Processing Unit）で構成されている。ＧＰＵは、リアルタイムな画像処理に特化した演算装置（プロセッサ）である。人物検出部１１および属性推定部１２をＧＰＵで構成することにより、畳み込み型ニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）などの機械学習が可能なニューラルネットワークを構築し、このニューラルネットワークを人物検出部１１および属性推定部１２として機能させることが可能となる。したがって、本実施形態では、人物検出部１１および属性推定部１２は、例えばＣＮＮで構成されていると言うこともできる。なお、ＣＮＮを構成する各ノードの重み（パラメータ）は、教師データ（正解ラベル付きの学習データ）を用いた機械学習によって予め適切に設定される。
【００２８】
匿名加工部１３は、上記人物画像から、上記人物とは異なる別人の画像であって、上記人物と同じ属性情報を有する別人画像を生成して、上記人物を匿名化する画像処理部である。このような匿名加工部１３は、制御部１９とは別個のまたは同一のＣＰＵで構成することもできるし、上述したＧＰＵで構成することもできるし、画像処理専用の処理回路で構成することもできる。なお、匿名加工部１３による具体的な処理の内容については、後述する動作説明の中で併せて説明する。
【００２９】
記憶部１４は、各種の情報を記憶するメモリであり、例えばハードディスクで構成されるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などをさらに含んで構成されてもよい。この記憶部１４は、プログラム記憶部１４ａと、入力画像記憶部１４ｂと、代表画像記憶部１４ｃと、別人画像記憶部１４ｄとを有している。
【００３０】
プログラム記憶部１４ａは、情報処理装置３の各部を動作させるための動作プログラムを記憶する。別人画像記憶部１４ｄは、匿名加工部１３によって生成された別人画像（データ）を記憶する。なお、別人画像記憶部１４ｄは、情報処理装置３に必須の構成ではなく、これを省略した構成とすることも可能である。
【００３１】
入力画像記憶部１４ｂは、例えば撮像部２で取得され、情報処理装置３に入力された、時間的に異なる各フレームの画像データを一次的に記憶する。なお、個人情報保護の観点から、撮像部２で取得された画像を永久に保存するのは妥当ではないため、入力画像記憶部１４ｂに記憶された画像情報は、適当なタイミングで消去されるか、新しい画像データによって上書きされる。なお、入力画像記憶部１４ｂは、外部の端末装置やサーバーから情報処理装置３に画像データが入力されたときに、上記画像データを一時的に記憶してもよい。
【００３２】
代表画像記憶部１４ｃは、属性の異なる複数の属性情報ごとに、上記属性情報を有する画像の代表となる代表画像を記憶するメモリである。上記の代表画像としては、例えば、以下の（ａ）〜（ｄ）で示す画像を単独で、または適宜組み合わせて用いることができる。
【００３３】
（ａ）予め用意した同一の属性の平均画像
例えば、１０代の男性のｎ人分（ｎは２以上の整数とする）の顔画像を用い、同一の画素位置の画素値を足してｎで割って平均画像を取得する。そして、このような平均画像を、他の属性情報（例えば２０代男性、３０代男性、１０代女性、２０代女性、・・・）についても同様の手法で取得する。取得した各平均画像を、属性情報ごとの代表画像として用いる。
【００３４】
（ｂ）世代を代表する有名人画像
例えば、１０代男性、２０代男性、１０代女性、２０代女性の各属性情報と同じ属性情報を有する有名人（例えばスポーツ選手、芸能人、政治家）の顔画像を、属性情報ごとの代表画像として用いる。なお、著作権等との関係で、有名人の顔画像の利用についての許諾を受けることが必要な場合は、予めその許諾を受けておく。
【００３５】
（ｃ）深層生成モデルで生成した同一属性の画像の平均画像
訓練データを学習し、訓練データと似たような新しいデータを生成するニューラルネットワークを、深層生成モデルと呼ぶ。このような深層生成モデルを利用することにより、代表画像を取得することができる。
【００３６】
例えば、図３は、敵対的生成ネットワーク（ＧＡＮ；Generative Adversarial Network）の構成を模式的に示している。ＧＡＮは、生成器（generator）Ｇと判別器（discriminator）Ｄという２つのネットワーク（例えばＣＮＮ）を含む。生成器Ｇは、訓練データと同じようなデータ（偽物）を生成しようとする。判別器Ｄは、判別器Ｄに入力されるデータが訓練データ（本物）であるか、生成器で生成されたデータ（偽物）であるかを判別する。判別器Ｄにおいて入力データが本物に近い偽物であると判別されるように、生成器Ｇを学習させることにより、入力データとして人物画像のデータを生成器Ｇに入力したときに、人物画像の人物と属性が同一で人物画像と異なる画像（偽物）を生成することができる。そこで、このような学習済みの生成器Ｇを深層生成モデルとして利用し、生成器Ｇで生成した複数の画像から代表画像を生成する。
【００３７】
具体的には、訓練データとして、属性情報の異なる人物画像を、各属性情報について複数用意する。そして、異なる属性情報ごとに、人物画像を入力として、人物画像の人物と属性が同一で人物画像と異なる画像（偽物）を出力（生成）するように生成器Ｇを学習させる。その後、属性情報ごとに、生成器Ｇで生成された複数の画像の平均を平均画像として取得する（平均画像の各画素の画素値は、生成器Ｇで生成された各画像における同一の画素位置の画素値の平均である）。取得した各平均画像を属性情報ごとの代表画像として用いる。
【００３８】
（ｄ）ユーザ（例えばシステムの管理者）が指定した画像
１０代男性、２０代男性等の属性情報ごとに、上記属性を代表する画像をユーザが予め指定し、代表画像として用いる。
【００３９】
入力部１５は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、ユーザによる各種の指示入力を受け付ける。表示部１６は、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部１７は、撮像部２および外部端末（例えば他の端末装置（スマートフォンなどの携帯端末を含む）、サーバー）と通信するためのインターフェースである。この通信部１７は、入出力ポートのほか、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。読取部１８は、記録媒体Ｒに記録された情報を読み取る装置であり、例えばディスクドライブで構成される。なお、記録媒体Ｒが可搬型の不揮発性メモリである場合、上記不揮発性メモリの接続部が指し込まれる接続ポートも読取部１８に含まれるとする。
【００４０】
頭部領域推定部２０は、上記した人物画像から、人物の頭部領域を推定する。なお、人物の頭部領域とは、人物画像において、人物の顔の他、人物の頭蓋骨を覆う皮膚、肌、頭髪が存在する領域を指す。この頭部領域推定部２０は、上述した人物検出部１１および属性推定部１２と同一のまたは別個のＣＮＮで構成することができる。ＣＮＮを予め機械学習させて各ノードのパラメータを適切に設定しておくことにより、入力される人物画像から、特徴量を抽出して人物の頭部領域を推定し、その結果を出力することができる。
【００４１】
なお、頭部領域推定部２０は、人物画像から人物の関節位置や頭蓋骨の位置および大きさを求める姿勢検出部で構成されてもよい。上記姿勢検出部は、例えばＣＰＵで構成される。例えば、公知のソフトウェア（姿勢検出プログラム）を上記ＣＰＵが実行することにより、人物の関節位置や頭蓋骨の位置を検出して、人物の頭部領域を推定することができる。
【００４２】
〔２．情報処理システムの動作〕
次に、本実施形態の情報処理システム１の動作について説明する。図４は、本実施形態の情報処理システム１における処理の流れを示すフローチャートである。本実施形態の情報処理システム１によって実現される情報処理方法は、人物画像取得工程（Ｓ１）、人物検出工程（Ｓ２）、属性推定工程（Ｓ３）、頭部領域推定工程（Ｓ４）、匿名加工工程（Ｓ５）、および別人画像記憶工程（Ｓ６）を含む。以下、各工程について説明する。
【００４３】
（Ｓ１；人物画像取得工程）
Ｓ１では、店舗１００内を撮像部２によって撮影することにより、時間的に異なるフレームごとの人物画像を取得する。図５は、撮像部２で取得された任意のフレームの人物画像Ｍの一例を示している。人物画像Ｍでは、店舗１００内で、商品棚１０２に陳列された商品２０１に向かって人物（顧客Ｐ）が手を伸ばしている様子（行動）が示されている。撮像部２で取得された各フレームの人物画像Ｍの画像データは、情報処理装置３に入力されて入力画像記憶部１４ｂに順次記憶される。
【００４４】
（Ｓ２；人物検出工程、Ｓ３；属性推定工程、Ｓ４；頭部領域推定工程）
Ｓ２では、人物検出部１１が、Ｓ１で取得され、入力画像記憶部１４ｂに記憶された人物画像Ｍに基づいて、人物画像Ｍ中の人物を検出する。また、Ｓ３では、属性推定部１２が、人物画像Ｍに基づいて、上記人物の属性に関する属性情報を推定する。Ｓ４では、頭部領域推定部２０が、人物画像Ｍから、上記人物の頭部領域Ｈを推定する。これらの人物の検出、属性情報の推定および頭部領域Ｈの推定の各工程は、上述したように、予め学習されたＣＮＮによって行うことができる。つまり、人物画像ＭのデータをＣＮＮに入力することにより、ＣＮＮが人物検出部１１、属性推定部１２および頭部領域推定部２０として機能し、これによって、人物の検出、属性情報の推定および頭部領域Ｈの推定を行うことができる。
【００４５】
（Ｓ５；匿名加工工程）
Ｓ５では、匿名加工部１３が、人物画像Ｍから別人画像を生成して、人物画像Ｍ中の人物を匿名化する。より詳しくは、匿名加工部１３は、代表画像記憶部１４ｃから、人物画像Ｍ中の人物と同じ属性情報を有する代表画像を読み出す。そして、匿名加工部１３は、上記代表画像を人物画像Ｍと合成することにより、別人画像を生成する。
【００４６】
図６は、匿名加工部１３が生成した別人画像Ｎの一例を示している。例えば、Ｓ３で推定した属性情報が、「２０代男性」であった場合、匿名加工部１３は、代表画像記憶部１４ｃから「２０代男性」の代表画像Ｆを読み出して人物画像Ｍと合成することにより、別人画像Ｎを生成する。つまり、匿名加工部１３は、人物画像Ｍ中の人物の頭部領域Ｈ（図５参照）を代表画像Ｆで置換することにより、別人画像Ｎを生成する。
【００４７】
このとき、匿名加工部１３は、頭部領域推定部２０によって推定された人物の頭部領域Ｈの位置、角度または大きさに基づいて、代表画像Ｆを変形し、変形した代表画像Ｆで頭部領域Ｈを置換する。同図の例では、匿名加工部１３は、推定された頭部領域Ｈの大きさに合うように代表画像Ｆを縮小するとともに、代表画像Ｆを所定角度回転させる。そして、匿名加工部１３は、人物画像Ｍの頭部領域Ｈを代表画像Ｆで置換し、これによって別人画像Ｎを生成する。なお、代表画像Ｆの変形には、拡大、シフト等が含まれていてもよい。
【００４８】
（Ｓ６；別人画像記憶工程）
Ｓ５で生成された別人画像Ｎのデータは、別人画像記憶部１４ｄに記憶され、必要に応じて読み出される。別人画像記憶部１４ｄから読み出した別人画像Ｎのデータを、例えば外部の端末装置に送信することにより、外部の端末装置では、別人画像Ｎに含まれている属性情報、つまり、元の人物画像Ｍに含まれていた人物（顧客Ｐ）の属性情報に基づく分析が可能となる。例えば、特定の商品を購入した人物の性別および年齢層の分析が可能となる。
【００４９】
なお、Ｓ５で生成された別人画像Ｎのデータは、通信部１７を介して外部の端末装置またはサーバーに出力され、そこで記憶されてもよい。この場合、外部の端末装置では、自機に記憶された別人画像Ｎを用いて、属性情報に基づく分析が可能となる。
【００５０】
なお、情報処理装置３が行動分析部１０を備えている構成では、この行動分析部１０が、別人画像記憶部１４ｄから読み出した別人画像Ｎを用いて、属性情報に基づく分析を行ってもよい。
【００５１】
〔３．効果〕
以上のように、本実施形態では、匿名加工部１３が、人物画像Ｍから別人画像Ｎを生成して人物を匿名化する。別人画像Ｎでは元の人物が匿名化されているため、別人画像Ｎを用いて分析を行う場合でも、元の人物が誰であるか特定されることはない。しかも、別人画像Ｎは、元の人物画像Ｍ中の人物と同じ属性情報を有しており、元の人物の属性情報を維持している。これにより、別人画像Ｎを用いて分析を行う場合に、元の人物の属性情報に基づく分析が可能となる。
【００５２】
つまり、本実施形態の情報処理装置３および情報処理方法によれば、元の人物画像Ｍに含まれている人物の属性情報を維持しつつ、上記人物を匿名化した別人画像Ｎを得ることができる。これにより、上記別人画像Ｎを用いて分析を行う場合でも、上記人物の個人情報の保護を図りながら、上記人物の属性情報に基づく分析を行うことが可能となる。したがって、本実施形態の情報処理装置３および情報処理方法は、属性情報に基づく分析が必要とされるマーケティング用途に非常に有効となる。
【００５３】
また、匿名加工部１３は、代表画像記憶部１４ｃから代表画像Ｆを読み出して人物画像Ｍと合成することにより、別人画像Ｎを生成する。代表画像Ｆは、人物画像Ｍ中の人物と同じ属性情報を有する画像の代表となる画像である。この代表画像Ｆを人物画像Ｍと合成することにより、上記人物の属性情報を維持しつつ、上記人物とは別人の画像（別人画像Ｎ）を確実に生成することができる。
【００５４】
また、匿名加工部１３は、人物画像Ｍの頭部領域Ｈを代表画像Ｆで置換することにより、別人画像Ｎを生成する。頭部領域Ｈを別の画像（代表画像Ｆ）で置換することにより、人物の匿名化は十分に達成される。したがって、必要最小限の領域（頭部領域Ｈ）を代表画像Ｆで置換するという簡易的な手法で、人物を匿名化した別人画像Ｎを容易に生成することができる。
【００５５】
特に、匿名加工部１３は、頭部領域Ｈの位置、角度または大きさに基づいて、代表画像Ｆを変形（拡大／縮小、回転、シフト等）する。これにより、頭部領域Ｈを代表画像Ｆで置換した後の別人画像Ｎにおいて、人物の顔の部分（代表画像Ｆで置換された部分）と残りの体の部分との大きさのバランスを良好に保ち、生成した別人画像Ｎに違和感が生じるのを抑えることができる。
【００５６】
また、匿名加工部１３によって生成された別人画像Ｎは、別人画像記憶部１４ｄに記憶される。これにより、必要なときにいつでも、別人画像記憶部１４ｄから別人画像Ｎのデータを読み出して、別人画像Ｎが有する属性情報に基づく分析を行うことが可能となる。
【００５７】
また、人物検出部１１および属性推定部１２は、ＣＮＮで構成されている。この場合、ＣＮＮの機械学習を繰り返して行うことにより、人物検出および属性情報の推定の精度を向上させることができる。したがって、属性情報を維持した別人画像Ｎに基づく分析を行う場合でも、その分析の精度を向上させることができる。
【００５８】
また、本実施形態の情報処理システム１は、上述した情報処理装置３と、撮像部２とを備えている。店舗１００内を撮像部２で撮影して人物画像を取得し、情報処理装置３にてその人物画像から別人画像Ｎを生成するシステムにおいて、上述した本実施形態の効果を得ることができる。
【００５９】
＜実施の形態２＞
本発明の他の実施の形態について、図面に基づいて説明すれば、以下の通りである。図７は、本実施形態の情報処理システム１の概略の構成を示すブロック図である。本実施形態の情報処理システム１は、匿名加工部１３が深層生成モデル１３ａを含む点、頭部領域推定部２０および代表画像記憶部１４ｃを削除した点を除いて、実施の形態１の情報処理システム１と同様の構成である。以下、実施の形態１と異なる点について説明する。
【００６０】
深層生成モデル１３ａは、人物画像Ｍから別人画像Ｎを生成するネットワークである。より詳しくは、深層生成モデル１３ａは、図３で示した敵対的生成ネットワーク（ＧＡＮ）の生成器Ｇで構成されている。
【００６１】
前述のように、ＧＡＮは、生成器Ｇと判別器Ｄとを含み、これらはいずれもＣＮＮで構成される。判別器Ｄにおいて入力データが本物に近い偽物であると判別されるように、生成器Ｇを学習させることにより、入力データとして人物画像Ｍのデータを生成器Ｇに入力したときに、人物画像Ｍの人物と属性が同一で上記人物とは異なる別人の画像（偽物）を別人画像Ｎとして生成することができる。そこで、本実施形態では、このような学習済みの生成器Ｇを深層生成モデル１３ａとして利用し、生成器Ｇによって人物画像Ｍから別人画像Ｎを直接生成する。
【００６２】
図８は、本実施形態の情報処理システム１における処理の流れを示すフローチャートである。本実施形態の情報処理システム１によって実現される情報処理方法は、実施の形態１の頭部領域推定工程（Ｓ４）を削除し、匿名加工工程（Ｓ５）を匿名加工工程（Ｓ５’）に置き換えた以外は、実施の形態１の情報処理方法と同様である。
【００６３】
Ｓ５’では、敵対的生成ネットワークの生成器Ｇで構成された深層生成モデル１３ａによって、人物画像Ｍから別人画像Ｎを生成する。生成された別人画像Ｎの画像データは、記憶部１４の別人画像記憶部１４ｄに記憶される（Ｓ６）。
【００６４】
以上のように、本実施形態では、匿名加工部１３は、人物画像Ｍから別人画像Ｎを直接生成する深層生成モデル１３ａをさらに含み、深層生成モデル１３ａは、ＧＡＮの生成器Ｇで構成されている。生成器Ｇによって人物画像Ｍから別人画像Ｎを直接生成するため、実施の形態１で説明したような人物画像Ｍにおける人物の頭部領域Ｈの推定や、代表画像Ｆの記憶は不要となり、頭部領域推定部２０および代表画像記憶部１４ｃを不要とすることができる。したがって、実施の形態１に比べて、情報処理装置３ひいては情報処理システム１の構成を簡素化することができる。また、別人画像Ｎを生成するにあたって、頭部領域Ｈの推定および代表画像Ｆによる頭部領域Ｈの置換が不要となるため、人物画像Ｍから別人画像Ｎを取得するまでの処理（情報処理方法）も、実施の形態１に比べて簡素化される。
【００６５】
＜プログラムおよび記録媒体＞
上述した実施の形態１および２で説明した情報処理システム１の情報処理装置３は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部１９）が読み取って実行することにより、情報処理装置３の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されてプログラム記憶部１４ａに記憶される。また、上記プログラムは、例えばＣＤ−ＲＯＭ（Compact  Disk-Read  Only  Memory）などのコンピュータ読取可能な記録媒体Ｒに記録され、この記録媒体Ｒから上記プログラムをコンピュータが読み取ってプログラム記憶部１４ａに記憶する形態であってもよい。
【００６６】
＜その他＞
以上の各実施の形態で説明した情報処理装置、情報処理システム、情報処理方法、プログラムおよび記録媒体は、以下のように表現されてもよい。
【００６７】
１．店舗内で人物を撮影した人物画像に基づいて、前記人物を検出する人物検出部と、
前記人物画像に基づいて、前記人物の属性に関する属性情報を推定する属性推定部と、
前記人物画像から、前記人物とは異なる別人の画像であって、前記人物と同じ前記属性情報を有する別人画像を生成して、前記人物を匿名化する匿名加工部とを備えていることを特徴とする情報処理装置。
【００６８】
２．前記属性の異なる複数の属性情報ごとに、前記属性情報を有する画像の代表となる代表画像を記憶する代表画像記憶部をさらに備え、
前記匿名加工部は、前記代表画像記憶部から、前記人物と同じ前記属性情報を有する前記代表画像を読み出して前記人物画像と合成することにより、前記別人画像を生成することを特徴とする前記１に記載の情報処理装置。
【００６９】
３．前記人物画像から、前記人物の頭部領域を推定する頭部領域推定部をさらに備え、
前記匿名加工部は、前記人物画像の前記頭部領域を前記代表画像で置換することにより、前記別人画像を生成することを特徴とする前記２に記載の情報処理装置。
【００７０】
４．前記匿名加工部は、前記頭部領域の位置、角度または大きさに基づいて、前記代表画像を変形することを特徴とする前記３に記載の情報処理装置。
【００７１】
５．前記匿名加工部は、前記人物画像から前記別人画像を生成する深層生成モデルをさらに含み、
前記深層生成モデルは、敵対的生成ネットワークの生成器で構成されていることを特徴とする前記１に記載の情報処理装置。
【００７２】
６．前記匿名加工部によって生成された前記別人画像を記憶する別人画像記憶部をさらに備えていることを特徴とする前記１から５のいずれかに記載の情報処理装置。
【００７３】
７．前記人物検出部および前記属性推定部は、畳み込み型ニューラルネットワークで構成されていることを特徴とする前記１から６のいずれかに記載の情報処理装置。
【００７４】
８．前記１から７のいずれかに記載の情報処理装置と、
前記店舗内を撮影して前記人物画像を取得する撮像部とを備えていることを特徴とする情報処理システム。
【００７５】
９．店舗内で人物を撮影した人物画像に基づいて、前記人物を検出する人物検出工程と、
前記人物画像に基づいて、前記人物の属性に関する属性情報を推定する属性推定工程と、
前記人物画像から、前記人物とは異なる別人の画像であって、前記人物と同じ前記属性情報を有する別人画像を生成して、前記人物を匿名化する匿名加工工程とを含むことを特徴とする情報処理方法。
【００７６】
１０．前記匿名加工工程では、前記属性の異なる複数の属性情報ごとに、前記属性情報を有する画像の代表となる代表画像を記憶した代表画像記憶部から、前記人物と同じ前記属性情報を有する前記代表画像を読み出して前記人物画像と合成することにより、前記別人画像を生成することを特徴とする前記９に記載の情報処理方法。
【００７７】
１１．前記人物画像から、前記人物の頭部領域を推定する頭部領域推定工程をさらに含み、
前記匿名加工工程では、前記人物画像の前記頭部領域を前記代表画像で置換することにより、前記別人画像を生成することを特徴とする前記１０に記載の情報処理方法。
【００７８】
１２．前記匿名加工工程では、前記頭部領域の位置、角度または大きさに基づいて、前記代表画像を変形することを特徴とする前記１１に記載の情報処理方法。
【００７９】
１３．前記匿名加工工程では、敵対的生成ネットワークの生成器で構成される深層生成モデルによって、前記人物画像から前記別人画像を生成することを特徴とする前記９に記載の情報処理方法。
【００８０】
１４．前記９から１３のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。
【００８１】
１５．前記１４に記載のプログラムを記録した、コンピュータ読取可能な記録媒体。
【００８２】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【００８３】
本発明は、店舗内での顧客の行動を分析するシステムに利用可能である。
【符号の説明】
【００８４】
１      情報処理システム
２      撮像部
３      情報処理装置
１１      人物検出部
１２      属性推定部
１３      匿名加工部
１３ａ    深層生成モデル
１４ｃ    代表画像記憶部
１４ｄ    別人画像記憶部
２０      頭部領域推定部
１００      店舗
Ｆ      代表画像
Ｇ      生成器
Ｈ      頭部領域
Ｍ      人物画像
Ｎ      別人画像
【図１】
2020091770.tif 000003
【図２】
2020091770.tif 000004
【図３】
2020091770.tif 000005
【図４】
2020091770.tif 000006
【図５】
2020091770.tif 000007
【図６】
2020091770.tif 000008
【図７】
2020091770.tif 000009
【図８】
2020091770.tif 000010