(57)【特許請求の範囲】
【請求項１】
商品の販売時情報を取得可能なＰＯＳレジスタと、
商品購入時の顧客の姿を撮影すると同時に、撮影した顧客画像データに対して個人認証を困難にする処理を施して個人識別困難化データとする個人識別困難化手段を備えるとともに、前記ＰＯＳレジスタに備えられた撮像装置と、
その撮像装置により得られた個人識別困難化データおよび前記ＰＯＳレジスタから取得した販売時情報を用いて顧客画像付き販売時情報としてデータベース化する演算装置と、を備え、
前記個人識別困難化手段は、撮影された画像中の肌色部分を抽出する肌色抽出手段と、
その肌色抽出手段によって抽出された肌色部分から所定以上の面積を持つ領域を取り出す所定領域抽出手段と、
その所定領域抽出手段によって取り出された領域中に存在する眼色部分およびその周辺部分の画素のデータを変更する変換手段と、
を備え、
前記肌色抽出手段、所定領域抽出手段および変換手段を用いて、前記顧客画像データを前記個人識別困難化データとする顧客画像データベース作成装置。
【請求項２】
前記撮像装置は、前記変換手段による変換を経る前の画像データを一時的に保存するランダム・アクセス・メモリをさらに備え、
そのランダム・アクセス・メモリに保存された画像データを個人識別困難化データに変換することで、変換を経る前のその画像データを出力不能とした請求項１記載の顧客画像データベース作成装置。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、商品の販売時情報（いわゆるＰＯＳ情報）における時間、数字などの数値化されたデータに、顧客のプライバシーを保護しつつ、顧客の映像情報を加えたデータベースを作成するための技術に関するものである。
【０００２】
【先行技術】
（ＰＯＳ情報技術の現状）
いわゆるＰＯＳ情報は、顧客が購入する商品に関する情報と、購入する顧客に関する情報とを、レジスタにおいて入力し、データベース化することによって、マーチャンダイジングについての検証および分析や、その後のマーチャンダイジングの立案などに際して役立つデータとなっている。
【０００３】
（一つの商品が購入される際に入力されるデータの種類）
通常、一つの商品が購入されるとＪＡＮコードと呼ばれる商品の単品コード、数量、時刻などがデータとして記録される。商品コードはバーコードスキャニングによって入力され、商品マスターから価格情報などが呼び出される。また、顧客の年齢層、男女などの区分などのデータが、店員による主観的な判断にて入力されている場合には、当該データも記録される。
【０００４】
（蓄積されたデータの具体的な使い方）
通常は、単品ごとの売上数量を集計し、発注数量を決定する。これによって、欠品による機会損失を未然に防ぐのである。また、売れ筋商品を残して死に筋商品をカットする、といった商品の採否決定の判断データとしても用いられる。
【０００５】
（顧客の映像情報に対する潜在的需要）
ところで、画像データから得られる情報量は、記録媒体が要する記録量の多さが技術的には取り上げられる機会が多いが、視覚に直接訴える情報であることから、情報の受け手側が得られる情報も多い。例えば、ある商品を購入した顧客について、ＰＯＳレジスタによる顧客情報としては「２０代女性」という情報だとする。仮に、この顧客の映像情報が存在したとすると、「２０代女性でも、着飾った会社員風なのか、子どもがいそうな主婦風なのか、」といったことが、映像情報から得ることが出来る。
このように、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく抽出、閲覧可能な映像情報は、小売業にとってのマーチャンダイジング戦略、商品開発、メーカーにとってのマーケティング戦略などにおいて、極めて重要なデータとなり得る可能性を秘めており、顧客の映像情報を取得して商用に供することについての、潜在的需要は極めて高いと考えられる。
【０００６】
一方、画像をデジタルデータとして取り込むデジタルカメラ、デジタルビデオの技術は、日進月歩している。例えば、デジタルカメラの商品サイクルは３カ月ほどで画素数が上がり、価格は下がるという開発競争が、企業間で行われている。したがって、顧客の画像データを取り込むことに対する技術的、経済的な障壁は、だんだん低くなってきている。
【０００７】
（プライバシー保護の現状）
画像情報技術の進歩の一方で、取り込まれた画像データを商目的に使用する場合、映っている人々のプライバシーは保護されなければならない。日本では、プライバシー保護を保護する法律が欧米諸国に比べて十分とは言えないが、画像データ中におけるプライバシーの保護が十分でない状態で画像データを商用とすれば、その企業は社会的に制裁されることとなろう。従って、画像データを商用に供する場合、企業は細心の注意を払うのが通例となっている。
【０００８】
【発明が解決すべき課題】
先行する技術については、以下のような問題があった。
（顧客情報の正確さ）
ＰＯＳシステムによって取り込まれるデータのうち、商品情報はバーコードにて入力されるため、誤入力はほとんどないが、顧客情報は、レジスタを操作する者によって入力されるので、顧客情報入力の正確さは当該操作者に依存する。
【０００９】
顧客情報入力の精度を高めるには、操作者の意識向上教育などの事前対策があるが、事後検証する技術として、合理的な手段が存在しなかった。すなわち、入力されたデータは、データベースに残っているものの、入力の対象となる顧客の姿はレジスタ通過時にしか存在しないので、レジスタ操作者によって入力されたデータとの対応を事後に検証する手段がなかった。
【００１０】
ここで、レジスタにて精算する顧客の姿の画像情報を取得し、商品情報とを対応付けできれば、この問題を解決可能であると想定できる。しかし、顧客の姿を画像情報として取得してしまうとすれば、顧客がプライバシーを侵害されているという不快感を覚え、当該店舗での買い物を敬遠してしまうおそれがあると予想される。
【００１１】
（プライバシー保護の技術的課題）
プライバシー保護の本質は、個人の特定を不可能にすることにある。例えば、商用に供するための画像データ中において、個人が識別できる映像に対しては、眼およびその周辺をマスク処理したり、モザイク処理したりするが、これらの処理行程は、人為的に行われている。
【００１２】
しかし、買い物をする際に画像を取得されるとした場合の顧客の立場では、画像データの取得と同時に、しかも人手を介さずに、個人識別が出来ないような画像データ取得の手段でなければ、前述した「プライバシー侵害の不快感」を解消できないと予想される。ところが、そのような技術は、確立されていなかった。
【００１３】
（本発明の解決課題）
本発明が解決すべき課題は、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく抽出、閲覧可能な技術を提供することにある。
ここで、請求項１および請求項２に記載の発明の目的は、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく抽出、閲覧可能な顧客画像データベース作成装置を提供することである。
【００１４】
【００１５】
【課題を解決するための手段】
本発明は、上記した目的を達成するためのものである。
（請求項１）
請求項１記載の発明は、  商品の販売時情報を取得可能なＰＯＳレジスタと、  商品購入時の顧客の姿を撮影すると同時に、撮影した顧客画像データに対して個人認証を困難にする処理を施して個人識別困難化データとする個人識別困難化手段を備えた撮像装置と、
その撮像装置により得られた個人識別困難化データおよび前記ＰＯＳレジスタから取得した販売時情報を用いて顧客画像付き販売時情報としてデータベース化する演算装置と、を備える。  撮像装置は、前記ＰＯＳレジスタに備えられる。
そして、前記個人識別困難化手段は、撮影された画像中の肌色部分を抽出する肌色抽出手段と、  その肌色抽出手段によって抽出された肌色部分から所定以上の面積を持つ領域を取り出す所定領域抽出手段と、  その所定領域抽出手段によって取り出された領域中の画素のデータを変更する変換手段と、を備え、  前記肌色抽出手段、所定領域抽出手段および変換手段を用いて、前記顧客画像データを前記個人識別困難化データとする顧客画像データベース作成装置に係る。
【００１６】
（用語定義）
「個人認識困難化手段」とは、「誰」という認識、特定が困難である程度に映像を変化させる手段のことであり、具体的には、いわゆるモザイク処理、マスク処理などがある。例えば、顧客画像データを入力してから個人識別困難化データとするまでの手順をワンチップ化して提供し、「撮像装置」に組み込む。
「肌色抽出手段」における「肌色」は、本発明に係る撮像装置を設置する環境に応じて調整したり、定義したりできるものとしている。「変換手段」における「眼色」もまた、本発明に係る撮像装置を設置する環境に応じて調整したり、定義したりできるものとしている。
「変換手段」が行うランダム変換とは、いわゆるモザイク処理やマスク処理などである。
【００１７】
（作用）
まず、顧客が購入商品の精算のため、ＰＯＳレジスタに向かう。そして、ＰＯＳレジスタは、販売時情報を取得する。一方、撮像装置が顧客の姿を撮影する。同時に、個人認識困難化手段がその顧客画像データに対して、個人認証を困難にする処理を施す。
【００１８】
そうしてできた画像データと、ＰＯＳレジスタが取得した販売時情報とを、演算装置が顧客画像付き販売時情報としてデータベース化する。データベースに取り込まれた顧客画像付き販売時情報は、画像データとしては、顧客の全体像や雰囲気は把握できるものの、個人認証は困難であるので、当該顧客がどのような店でどのような商品を購入したか、といったプライバシーを侵すおそれが極めて小さい。
【００１９】
【００２０】
【００２１】
（作用）
なお、撮像装置が人間の姿を撮影する。そうして撮影した撮影画像の中から、肌色抽出手段が、肌色部分を抽出する。このとき、顔、手などが撮影画像の中から抽出される。
次に、所定領域抽出手段が、抽出された肌色部分から所定領域以上の面積を占めている肌色領域を抽出し、その所定領域に達しない肌色面積の部分は無視する。このとき、画像データ中におけるランダム変換が必要ない「手」や、ランダム変換の必要性が高くない「小さく写った顔」は、捨象される。次に、抽出された領域に対して、変換手段が眼色部分を認識し、その眼色部分およびその周辺部分の画素データをランダムに変換する。すると、画像データ中の顔における眼およびその周辺部分の画像が乱れ、変換された顔の個人認証は極めて困難となる。
【００２２】
（請求項２）
請求項２記載の発明は、請求項１に記載の顧客画像データベース作成装置を限定したものである。
すなわち、前記撮像装置は、前記変換手段による変換を経る前の画像データを一時的に保存するランダム・アクセス・メモリをさらに備え、  そのランダム・アクセス・メモリに保存された画像データを個人識別困難化データに変換することで、変換を経る前のその画像データを出力不能とした顧客画像データベース作成装置に係る。
例えば、顧客画像データを入力してから個人識別困難化データとするまでの手順をワンチップ化して提供し、「撮像装置」に組み込む場合、この出力制限手段までを含めてワンチップ化する。
【００２３】
（作用）
本発明によれば、変換を経ない映像データが出力されることはなく、プライバシー保護を強化できる。
【００２４】
本願は、以下のような方法発明を提供することもできる。
すなわち、  撮像装置が、商品購入時の顧客の姿を撮影して顧客画像データを得るステップ、  肌色抽出手段が、前記顧客画像データについて画像中の肌色部分を抽出するステップ、  所定領域抽出手段が、前記肌色抽出手段により抽出された肌色部分から所定以上の面積を持つ領域を取り出すステップ、  変換手段が、前記所定領域抽出手段により取り出された領域中の画素のデータを変更することで、前記顧客画像データについてその画像中の前記顧客の個人認証が困難にされた個人識別困難化データとするステップ、  および、ＰＯＳレジスタが取得した前記顧客に対する商品の販売時情報と前記個人識別困難化データとが一致させられて顧客画像データベースに記憶されるステップ、を含んで構成される顧客画像データベース作成方法に係る。
【００２５】
（請求項５）
前述した顧客画像データベース作成方法を限定した発明も提供できる。
すなわち、  前記顧客画像データをランダム・アクセス・メモリに一時的に保存するステップをさらに含み、
前記肌色抽出手段は、そのランダム・アクセス・メモリに一時的に保存された顧客画像データについて画像中の肌色部分を抽出し、  前記変換手段は、前記所定領域抽出手段によって取り出された領域中に存在する眼色部分およびその周辺部分の画素データをランダムに変換する顧客画像データベース作成方法に係る。
【００２６】
本願は、コンピュータが読み取り可能であるようにコンピュータプログラムを記録した記録媒体に係る発明を提供することもできる。
そのプログラムは、  撮像装置に対して商品購入時の顧客の姿を撮影させ顧客画像データを取得させるステップ、  演算装置に、前記顧客画像データについて画像中の肌色部分を抽出するステップ、  抽出された前記肌色部分から所定以上の面積を持つ領域を取り出すステップ、  取り出された前記領域中の画素のデータを変更することで、前記顧客画像データについてその画像中の前記顧客の個人認証が困難にされた個人識別困難化データとするステップ、  およびＰＯＳレジスタが取得した前記顧客に対する商品の販売時情報と前記個人識別困難化データとを一致させて顧客画像データベースに記憶するステップ、をコンピュータに実行させるコンピュータプログラムである。
【００２７】
【発明の実施の形態】
以下、本発明を実施の形態及び図面に基づいて、更に詳しく説明する。ここで使用する図面は、図１乃至図４である。図１は、本発明の実施形態を構成するＰＯＳレジスタ、デジタルカメラの設置位置を示す全体図である。図２は、デジタルカメラで撮影した画像データの処理工程を示す概念図である。図３は、画像データの処理工程中における一つの処理を更に詳しく説明するための概念図である。図４は、顧客画像データベースの構築工程を示す概念図である。図５は、構築された顧客画像データベースの活用状態を示す概念図である。
【００２８】
（図１に基づく説明）
図１は、ある店舗におけるレジスタ付近の様子を示している。レジスタは、ここでは２台（ａ，ｂ）が設置されており、それぞれＰＯＳレジスタであるので、商品に付されたバーコードを読み取ることによって商品の種類、価格などのデータを読み取ることができる。また、それぞれのＰＯＳレジスタ（ａ，ｂ）では、それぞれのレジ係Ａ、Ｂが、精算に来た客Ｃ、Ｄの属性（性別や年齢層など）を入力する。
前記のＰＯＳレジスタには、商品購入時の顧客の姿を撮影すると同時に、撮影した顧客画像データに対して個人認証を困難にする処理を施して個人識別困難化データとする個人識別困難化手段を備えたデジタルカメラが備えられている。
【００２９】
（図２に基づく説明）
個人識別困難化手段における手法について、図２に基づいて説明する。
【００３０】
ＰＯＳレジスタの前にお客が立つと、前記のデジタルカメラが撮影する。レジ係による操作による撮影でも良いが、この実施形態においては、精算合計金額が表示された直後にシャッターを切る命令が出される自動撮影方式としている。シャッターを切られたら、その画像はＲＡＭ（ランダム・アクセス・メモリ）へと保存される。記録媒体へ定着させるような記録は行わないし、出力もできない。このときの画像データが、図２中の（１）であるとする。ここには、最も近くに客Ｃ、次にレジ係Ｂ、その後ろに客Ｅ、Ｆが写っている。
【００３１】
ＲＡＭに保存された画像データは、撮影画像中から予め定義された肌色部分を抽出する肌色抽出手順を経て、図２中の（２）のようなデータとなる。この手順によって、客Ｃの顔および手、レジ係Ｂの顔および手、客Ｅ、Ｆの顔が抽出される。次に、肌色抽出手順によって抽出された肌色部分から一定領域以上の面積部分を取り出す一定領域抽出手順、および肌色部分に囲まれた非肌色部分を塗りつぶす手順を経て、図２中の（３）のようなデータとなる。ここにおいて、客Ｅ、Ｆの顔が捨象される。詳しくは、図３に基づいて説明する。
【００３２】
続いて、一定領域抽出手順によって取り出された領域中に存在する予め定義された眼色部分を取り出すことによって図２中の（４）のようなデータとなる。ここにおいて、眼と一緒に眉毛、眼鏡フレームおよび時計も一緒に抽出されたのは、それらが「眼色」として定義した色であると認識したからである。最後に、眼色部分およびその周辺部分の画素データをランダムに変換する変換手順を経て、図２中の（５）のようなデータとなる。ここにおいて、客Ｃおよびレジ係Ｂの個人認証はほぼ不可能となる。
【００３３】
（図３に基づく説明）
図３は、前述した「一定領域抽出手順」を更に詳しく説明したものである。すなわち、「肌色」と認識した画素部分（上図中の黒丸）を、例えば八近傍膨張処理によって一旦画像を膨張（中央図）させてから、八近傍収縮処理させることにより、分離していた画素を連結させ、肌色の中にある非肌色部分を肌色とする。これによって肌色の画素に囲まれた一画素が肌色と認識され、下図中にて囲まれた領域が肌色となる。
なお図示は省略するが、一方においてランダム変換手順が不要な領域、すなわち一定以下の面積の肌色部分を捨象するため、八近傍収縮処理において複数画素の収縮を行う場合もある。
【００３４】
（図４に基づく説明）
図４は、図２にて説明した手順によって得られた変換済み画像データと、ＰＯＳレジスタから得られたレジ情報とを、それぞれのデータベースへ格納した後、顧客画像データベースを構築する手順を示している。
【００３５】
なお、図２にて説明した手順によって得られた変換済み画像データから、最も大きく写っている顧客Ｃのみを切り取ったり、顧客Ｃ以外の領域のデータを間引いたりしてから画像データベースへ取り込むこととし、データ量を減らすこともできる。画像データとレジ情報を一致させるには、レジスタにおけるレシートナンバーを画像データの属性情報として加える、などの手段による。
【００３６】
（図５に基づく説明）
図５は、構築された顧客画像データベースの活用状態を示す概念図である。例えば、どんな顧客がとある商品を購入したのかを確認したいとする。その場合、当該商品の商品コードを入力する。すると、一画面中に、顧客の画像を並べることとしている。ここにおいて、顧客層の全体を画面上の映像によって認識することができる。
【００３７】
更に、顔特徴認識ソフトウエアを用いて、顔の特徴を数値化（ベクトル化）する。その数値化により、類似の数値は同一人物であると想定し、固定客率を出力させる。また、レジ係が入力した顧客の属性情報についての入力精度を検証することにも利用できる。
【００３８】
【発明の効果】
請求項１および請求項２に記載の発明によれば、販売商品、販売時間などの特定条件下の顧客層の画像データを、プライバシーを損なうことなく商用の画像を取り込める顧客画像データベース作成装置を提供することができた。
【００３９】
【図面の簡単な説明】
【図１】本発明の実施形態を構成するＰＯＳレジスタ、デジタルカメラの設置位置を示す全体図である。
【図２】デジタルカメラで撮影した画像データの処理工程を示す概念図である。
【図３】画像データの処理工程中における一つの処理を更に詳しく説明するための概念図である。
【図４】顧客画像データベースの構築工程を示す概念図である。
【図５】構築された顧客画像データベースの活用状態を示す概念図である。
【図１】
0004230049.tif 000002
【図２】
0004230049.tif 000003
【図３】
0004230049.tif 000004
【図４】
0004230049.tif 000005
【図５】
0004230049.tif 000006