(57)【要約】【課題】  プライバシーの問題を考慮した画像と、その他の情報を組み合わせたマーケティングの分析が可能な画像編集装置及び画像編集方法を提供することを目的とする。【解決手段】  画像編集装置であって、画像を取り込む画像入力部と、画像入力部で取り込んだ画像から画像に人物が映っているか判定する人物認識部と、画像に映っている人物が顧客として識別可能か判定する人物特定部と、人物特定部で判定された顧客の識別情報と顧客情報を有するデータベースの識別情報を照合し顧客の識別情報に対応した顧客情報を取得し、取得した顧客情報に応じたマスクパターンを取得する情報照合部と、情報照合部により取得したマスクパターンに基づいて画像のマスキングを実施するマスキング部を有する。【選択図】図１
2020141246.tif 000002
【特許請求の範囲】
【請求項１】
画像を取り込む画像入力部と、
前記画像入力部で取り込んだ画像から画像に人物が映っているか判定する人物認識部と、
前記画像に映っている人物が顧客として識別可能か判定する人物特定部と、
前記人物特定部で判定された顧客の識別情報と、顧客情報を有するデータベースの識別情報を照合し、該顧客の識別情報に対応した顧客情報を取得し、該取得した顧客情報に応じたマスクパターンを取得する情報照合部と、
前記情報照合部により取得したマスクパターンに基づいて前記画像のマスキングを実施するマスキング部を有することを特徴とする画像編集装置。
【請求項２】
請求項１に記載の画像編集装置であって、
前記人物認識部によって判定された人物の領域を前記画像の領域内で切り出す人物エリア切り出し部を有し、
前記マスキング部は、前記人物エリア切り出し部で切り出した人物の領域を前記情報照合部により取得したマスクパターンに基づいてマスキングすることを特徴とする画像編集装置。
【請求項３】
請求項１に記載の画像編集装置であって、
前記人物特定部は、顧客識別用データテーブルの画像データと、前記画像に映った人物とを照合し、前記画像に映った人物を顧客として識別し、
前記情報照合部は、前記取得した顧客情報と、マスクパターン照合用データテーブルとを照合し、前記取得した顧客情報と合致するマスクパターンを取得することを特徴とする画像編集装置。
【請求項４】
請求項１に記載の画像編集装置であって、
前記情報照合部は、前記人物特定部で前記画像に映っている人物が顧客として識別できなかった場合は、顧客情報がないマスクパターンを取得することを特徴とする画像編集装置。
【請求項５】
請求項１に記載の画像編集装置であって、
前記顧客情報を有するデータベースは会員システムデータテーブルであって外部システムに保存されており、
前記情報照合部により、通信部を介して前記外部システムに問い合わせ、前記顧客の識別情報と前記会員システムデータテーブルを照合して前記顧客情報を取得することを特徴とする画像編集装置。
【請求項６】
請求項１に記載の画像編集装置であって、
前記顧客情報は来店頻度であることを特徴とする画像編集装置。
【請求項７】
請求項２に記載の画像編集装置であって、
前記人物エリア切り出し部で切り出した人物の領域は、個人が特定される領域であって、
前記マスキング部により前記情報照合部により取得したマスクパターンに基づいて前記個人が特定される領域をマスキングすることを特徴とする画像編集装置。
【請求項８】
請求項２に記載の画像編集装置であって、
前記マスキング部によるマスキングは、前記人物の行動が認識できるように、前記人物エリア切り出し部で切り出した人物の身体の形状に沿ったマスキングを行うことを特徴とする画像編集装置。
【請求項９】
取り込んだ画像から画像に人物が映っているか判定し、
前記画像に映っている人物が顧客として識別可能か判定し、
前記判定された顧客の識別情報と、顧客情報を有するデータベースの識別情報を照合し、該顧客の識別情報に対応した顧客情報を取得し、
該取得した顧客情報に応じたマスクパターンを取得し、
該取得したマスクパターンに基づいて、前記画像のマスキングを実施することを特徴とする画像編集方法。
【請求項１０】
請求項９に記載の画像編集方法であって、
前記判定された人物の領域を前記画像の領域内で切り出し、
前記マスキングは、切り出した人物の領域を前記取得したマスクパターンに基づいてマスキングすることを特徴とする画像編集方法。
【請求項１１】
請求項９に記載の画像編集方法であって、
前記顧客として識別可能かの判定は、顧客識別用データテーブルの画像データと、前記画像に映った人物とを照合し、前記画像に映った人物を顧客として識別し、
前記マスクパターンの取得は、前記取得した顧客情報と、マスクパターン照合用データテーブルとを照合し、前記取得した顧客情報と合致するマスクパターンを取得することを特徴とする画像編集方法。
【請求項１２】
請求項９に記載の画像編集方法であって、
前記画像に映っている人物が顧客として識別できなかった場合は、顧客情報がないマスクパターンを取得することを特徴とする画像編集方法。
【請求項１３】
請求項９に記載の画像編集方法であって、
前記顧客情報を有するデータベースは会員システムデータテーブルであって外部システムに保存されており、
前記顧客情報の取得は、通信部を介して前記外部システムに問い合わせ、前記顧客の識別情報と前記会員システムデータテーブルを照合して前記顧客情報を取得することを特徴とする画像編集方法。
【請求項１４】
請求項９に記載の画像編集方法であって、
前記顧客情報は来店頻度であることを特徴とする画像編集方法。
【請求項１５】
請求項１０に記載の画像編集方法であって、
前記切り出した人物の領域は、個人が特定される領域であって、
前記マスキングは、取得したマスクパターンに基づいて前記個人が特定される領域をマスキングすることを特徴とする画像編集方法。
【請求項１６】
請求項１０に記載の画像編集方法であって、
前記マスキングは、前記人物の行動が認識できるように、前記切り出した人物の身体の形状に沿ったマスキングを行うことを特徴とする画像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に所定の画像処理を行う画像編集装置、及び、その画像編集方法に関する。
【背景技術】
【０００２】
小売店等に置かれる監視カメラで撮影された画像は、防犯上のみならず、マーケティングにおいても有用な情報を含んでいる。しかしながら、その画像には、特定された個人の個人情報が記録されているため、画像所有者以外が活用するにはプライバシーの問題がある。
【０００３】
本技術分野に関する従来技術として、特許文献１がある。特許文献１では、ネットワーク上の不特定多数の人に対して公開される場合に、オリジナル画像の品質、ディテールを損なうことなく、簡単にプライバシーや肖像権を保護することを可能となる動画像を編集する画像編集装置を提供することを目的に、動画ストリームを入力する入力部と、前記入力した動画ストリームを構成する少なくとも１つ以上のフレームから、特定の被写体を抽出する抽出部と、前記入力した動画ストリームを構成するフレームに含まれる前記特定の被写体に対してマスク処理を施す画像処理部と、を備え、前記画像処理部は、前記特定の被写体に対して、動画ストリームの出力解像度に少なくとも基づく所定の出力条件に従って前記マスク処理を施すか否かを判定し、判定結果に基づいて当該被写体に対して前記マスク処理を施す、画像編集装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−４２２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、画像を公開する動画像を編集する場合に、出力する動画像の解像度に応じて必要最低限の特殊効果処理（マスキング処理）を行うため、オリジナル画像の品質、ディテールを過度に損なうことなく、プライバシーや肖像権を保護することができる。しかしながら、例えば、小売店で導入している会員システムの情報は、マーケティング上重要であるが、それらの情報と、公開する画像を組み合わせてマーケティングを分析することについては考慮されていなかった。
【０００６】
本発明は、上記課題に鑑み、プライバシーの問題を考慮した画像と、その他の情報を組み合わせたマーケティングの分析が可能な画像編集装置及び画像編集方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、画像編集装置であって、画像を取り込む画像入力部と、画像入力部で取り込んだ画像から画像に人物が映っているか判定する人物認識部と、画像に映っている人物が顧客として識別可能か判定する人物特定部と、人物特定部で判定された顧客の識別情報と顧客情報を有するデータベースの識別情報を照合し顧客の識別情報に対応した顧客情報を取得し、取得した顧客情報に応じたマスクパターンを取得する情報照合部と、情報照合部により取得したマスクパターンに基づいて画像のマスキングを実施するマスキング部を有する。
【発明の効果】
【０００８】
本発明によれば、プライバシーの問題を考慮した画像と、その他の情報を組み合わせたマーケティングの分析が可能な画像編集装置及び画像編集方法を提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施例１における画像編集システムの機能構成図である。
【図２】実施例１における画像編集装置の処理フロー図である。
【図３】実施例１における顧客識別用データテーブルである。
【図４】実施例１における会員システムデータテーブルである。
【図５】実施例１におけるマスクパターン照合用データテーブルである。
【図６】実施例１におけるマスキング画像の説明のためのイメージ図である。
【図７】実施例２におけるマスキング画像の説明のためのイメージ図である。
【図８】実施例２におけるマスキング画像の説明のための他のイメージ図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施例につき、図面を用いて説明する。
【実施例１】
【００１１】
図１は本実施例における画像編集システムの機能構成図である。図１において、画像編集システムは、画像編集装置１、外部システム２からなる。画像編集装置１は、監視カメラ等からの画像を取り込む画像入力部１１、画像認識部１２、情報照合部１３、人物エリア切り出し部１４、人物エリアマスキング部１５、画像出力部１６で構成される。また、画像認識部１２は、人物認識部１２１、人物特定部１２２を有する。また、外部システム２は、顧客情報データベース２１を有する。
【００１２】
なお、画像編集装置１は、ハードウェアとしては、一般的な情報処理装置である、プロセッサとメモリと記憶装置と通信部（インターフェース）を有する装置によって実現される。すなわち、画像入力部１１は通信部によって画像を取得し、情報照合部１３は、外部システム２から、同様に通信部によって顧客情報を取得し、さらに、画像出力部１６は通信部によって外部に画像を出力する。また、画像認識部１２、情報照合部１３、人物エリア切り出し部１４、人物エリアマスキング部１５は、プロセッサにより、メモリに格納されたプログラムを実行するソフトウェア処理で実行される。
【００１３】
図２は本実施例における画像編集装置の処理フロー図である。以下、図1の機能構成図を参照しながら、図２を用いて、本実施例における画像編集装置の処理を説明する。
【００１４】
図２において、まず、ステップＳ１０１で、画像入力部１１で取り込んだ画像から画像に人物が映っているか判定する。この判定は、画像認識部１２の人物認識部１２１で実施する。人物が映っていればステップＳ１０２へ、映っていなければ終了する。
【００１５】
ステップＳ１０２では、画像に現れた人物が顧客として識別可能か判定する。すなわち、図３に示す、顧客識別用データテーブル１００の画像データと、画像に映った人物とを照合する。図３に示す顧客識別用データテーブル１００は、画像データと、その画像データを取得した時間情報であるタイムスタンプと、会員ＩＤで構成されている。なお、図３に示す画像は、簡略化して簡単な線図で記載しているが、実際は人物画像となる。また、画像データは会員証の写真、あるいは過去の来店時の画像でよい。照合の結果、一致する画像があれば、画像に映った人物を顧客として識別し、その会員ＩＤを取得する。この照合は、画像認識部１２の人物特定部１２２で実施する。照合の方法は、公知の画像認識の手法を使用して行うので、その詳細な説明は省略する。顧客として識別できなければステップＳ１０３へ進み、識別できればステップＳ１０４へ進む。
【００１６】
ステップＳ１０４では、識別した顧客情報を他システムに問い合わせる。すなわち、ステップＳ１０２で取得した会員ＩＤに対応した会員の個別情報である図４に示す会員システムデータテーブル２００は、顧客情報を有するデータベースであって、外部システム２の顧客情報データベース２１に登録されている。そして、顧客情報を外部システムに問い合わせ、取得した会員ＩＤと図４に示す会員システムデータテーブル２００を照合する。図４に示す会員システムデータテーブル２００は、会員ＩＤに対応した、氏名、性別、年齢、前回来店日、月間平均来店回数、平均購入金額等の会員の個別情報で構成されている。なお、図４の会員システムデータテーブル２００は、図４に記載の情報に限定されるものではなく、顧客情報であればよく、例えば、来店頻度を表す情報を有してもよい。
【００１７】
そして、ステップＳ１０５で、対象顧客の取得すべき情報を取得する。すなわち、ステップＳ１０４で照合した会員ＩＤに対する、後述するマスクパターン決定に必要な情報を取得する。取得する情報は、例えば小売店の分析方法に依存し、例えば、「前回来店日」と「来店頻度」を重要視する場合には、図４に示す会員システムデータテーブル２００から「前回来店日」と「月間平均来店回数」を取得する。
【００１８】
そして、ステップＳ１０６で、対象顧客の取得すべき情報全てに合致するパターンを選定する。すなわち、ステップＳ１０５で取得した情報と、図５に示すマスクパターン照合用データテーブル３００を照合する。そして、取得した情報と合致するマスクパターンを取得する。例えば、取得した情報が、来店頻度が高く平均購入金額が高い場合は、パターンＮｏ．００１のマスクパターンを取得する。以上のステップＳ１０４からＳ１０６の処理は、情報照合部１３で実施する。
【００１９】
そして、ステップＳ１０７で、取得したマスクパターンに基づいて、顧客画像のマスキングを実施し、画像ファイルとして出力する。なお、ステップＳ１０３の、人物をデータ無しのパターンでマスキングする場合には、図５に示すパターンＮｏ．９９９の顧客情報がないマスクパターンにてマスキングし、画像ファイルとして出力する。以上のステップＳ１０７、及びＳ１０３の処理は、人物エリア切り出し部１４、人物エリアマスキング部１５、及び、画像出力部１６で実施する。すなわち、人物エリア切り出し部１４は、人物認識部１２１によって判定された人物の領域を画像領域内で切り出し、人物エリアマスキング部１５は、情報照合部１３により取得したマスクパターンに基づいて人物エリア切り出し部１４で切り出した人物の領域をマスキングする。
【００２０】
そして、ステップＳ１０８で、他に未置換の人物が画像にいるかを判断し、他に人物がいればステップＳ１０２へ、他にいなければ終了する。
【００２１】
図６は、本実施例におけるマスキング画像の説明のためのイメージ図である。なお、図６に示す人物画像は、簡略化して簡単な線図で記載している。図６において、Ｐ１は画像入力部１１で取り込んだオリジナル画像の模式図である。また、Ｐ１９、Ｐ１３、Ｐ１２、Ｐ１１は、顔部分のみにマスキングを行ったイメージ図である。なお、図では、四角でマスキングしているが、顔の輪郭に合わせてマスキングしてもよいし、顔の特徴部分、例えば、目、鼻、口のみをマスキングしてもよい。また、服装や体形で個人が特定される場合を考慮して、全身をマスキングしてもよい。
【００２２】
Ｐ１９は、オリジナル画像に映った人物が初来店の場合のマスキングを行った画像のイメージ図であり、ステップＳ１０３での、画像に現れた人物が顧客として識別できなかった場合の人物をデータ無しのパターンでマスキングする場合の例である。すなわち、初来店であったので、図３の顧客識別用データテーブル１００には、画像データが登録されておらず、顧客として識別できなかった場合であり、図５に示すマスクパターン照合用データテーブル３００のパターンＮｏ．９９９のマスクパターンで顔部分をマスキングした画像イメージとなっている。
【００２３】
また、Ｐ１３は、顧客が、来店頻度が高く購入金額が低い場合のマスキングを行った画像のイメージ図である。すなわち、図５に示すマスクパターン照合用データテーブル３００の、来店頻度が高く平均購入金額が低い、パターンＮｏ．００３のマスクパターンで顔部分をマスキングした画像イメージとなっている。
【００２４】
また、Ｐ１２は、顧客が、来店頻度が低く購入金額が高い場合のマスキングを行った画像のイメージ図である。すなわち、図５に示すマスクパターン照合用データテーブル３００の、来店頻度が低く平均購入金額が高い、パターンＮｏ．００２のマスクパターンで顔部分をマスキングした画像イメージとなっている。
【００２５】
同様に、Ｐ１１は、顧客が、来店頻度が高く購入金額も高い場合のマスキングを行った画像のイメージ図である。すなわち、図５に示すマスクパターン照合用データテーブル３００の、来店頻度が高く平均購入金額が高い、パターンＮｏ．００１のマスクパターンで顔部分をマスキングした画像イメージとなっている。
【００２６】
このように、画像に映る顧客は、マスキングされるため、個人が特定できない状態であり、かつ顧客情報に応じてマスキングパターンを変えてマスクキングを行うので、画像上で、例えば、来店頻度が多い客、平均購入金額が多い客、などの顧客の情報を把握することができる。そのため、画像と、その他の情報を組み合わせたマーケティングの分析が可能となる。
【００２７】
なお、以上の説明では、図３に示す顧客識別用データテーブル１００と、図５に示すマスクパターン照合用データテーブル３００は、画像編集装置１がそれぞれ持つが、顧客識別用データテーブル１００とマスクパターン照合用データテーブル３００を1つのテーブルとして構成してもよい。また、外部システム２の顧客情報データベース２１に、これらのテーブルの１つもしくは両方を持ってもよい。また、画像編集装置１と外部システム２が一体でもよい。
【００２８】
以上のように、本実施例によれば、マスキングによりプライバシーの問題を考慮した画像とでき、かつマスキングパターンの違いから顧客の情報を把握することができ、画像と、その他の情報を組み合わせたマーケティングの分析が可能な画像編集装置及び画像編集方法を提供することが可能となる。
【実施例２】
【００２９】
本実施例は、実施例１の顧客情報に応じたマスキングパターンを利用したマスキング  において、マスキング部分を工夫することで、さらなる情報を取得することが出来る例について説明する。
【００３０】
図７は、本実施例におけるマスキング画像の説明のためのイメージ図である。なお、図７に示す人物画像は、簡略化して簡単な線図で記載している。図７において、Ｐ２は画像入力部１１で取り込んだオリジナル画像の模式図であり、人物が棚の方に近づく画像を示している。また、Ｐ２９、Ｐ２３、Ｐ２２、Ｐ２１は、それぞれ、実施例１での図６のＰ１９、Ｐ１３、Ｐ１２、Ｐ１１と同様の顧客の情報に対応した、本実施例におけるマスキングを行ったイメージ図である。
【００３１】
図７において、図６と異なる点は、人物画像の行動、動作が認識できるようにマスキングを行う点である。すなわち、身体の形状に沿ったマスキングを行う。これにより、マスキングを行っても、人物が棚の方に近づく画像と認識できる。
【００３２】
また、図８は、本実施例におけるマスキング画像の説明のための他のイメージ図である。なお、図８に示す人物画像は、簡略化して簡単な線図で記載している。図８において、Ｐ３は画像入力部１１で取り込んだオリジナル画像の模式図であり、人物が棚の中をのぞき込んでいる画像を示している。また、Ｐ３９、Ｐ３３、Ｐ３２、Ｐ３１は、それぞれ、実施例１での図６のＰ１９、Ｐ１３、Ｐ１２、Ｐ１１と同様の顧客の情報に対応した、本実施例におけるマスキングを行ったイメージ図である。
【００３３】
図８において、図６と異なる点は、人物画像の行動、動作が認識できるようにマスキングを行う点である。これにより、マスキングを行っても、人物が棚の中をのぞき込んでいる画像と認識できる。なお、図７、８では身体全体の形状に沿ってマスキングするようにしたが、例えば、手の形状をマスキングすることで、商品をつかんでいることが認識できる。
【００３４】
このように、本実施例によれば、プライバシー保護のためマススキングを行っても、例えば、コンビニにおいて、棚の商品をのぞき込んでいるとか、商品を取り出しているとか、商品を取り出しているとかの行動、動作が認識できる。言い換えれば、行動が認識できるようなマスキングを行なうことで、その形状から、顧客の行動の情報を取得することが出来る。
【００３５】
また、顧客情報に応じてマスキングパターンを変えてマスクキングを行ない、さらに行動が認識できるようなマスキングを行なうことで、顧客情報と顧客の行動パターンの情報を組み合わせた分析が容易となる。また、本実施例におけるマスキングされた画像は個人の特定が不可能となり、画像所有者以外にも画像の提供が可能となり、例えば、コンビニのドリンク売り場の画像をドリンクメーカに提供するなどが可能となる。
【００３６】
以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【符号の説明】
【００３７】
１：画像編集装置、２：外部システム、１１：画像入力部、１２：画像認識部、１３：情報照合部、１４：人物エリア切り出し部、１５：人物エリアマスキング部、１６：画像出力部、１２１：人物認識部、１２２：人物特定部、２１：顧客情報データベース、１００：顧客識別用データテーブル、２００：会員システムデータテーブル、３００：マスクパターン照合用データテーブル
【図１】
2020141246.tif 000003
【図２】
2020141246.tif 000004
【図３】
2020141246.tif 000005
【図４】
2020141246.tif 000006
【図５】
2020141246.tif 000007
【図６】
2020141246.tif 000008
【図７】
2020141246.tif 000009
【図８】
2020141246.tif 000010