(57)【要約】【課題】利用者に娯楽性の高い商品情報を提供する情報提供システム、及び情報提供方法を提供する。【解決手段】ユーザー情報データベース４４には、商品情報が予め関連付けられた複数の特徴量に基づくグループ情報が記憶される。顔画像抽出部３６は、サーバー１１に入力された利用者の画像から顔画像を抽出する。特徴量算出部３７は、顔画像抽出部３６で抽出された顔画像の特徴量を算出する。特徴量照合部３８は、利用者の特徴量と、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合して利用者の特徴量に対応する商品情報を特定する。特徴量照合部３８で特定した商品情報を利用者に提供する。【選択図】図２
2010198199.tif 000002
【特許請求の範囲】
【請求項１】
利用者の画像を取得する画像取得手段と、
前記画像取得手段により取得した画像から利用者の顔画像を抽出する顔画像抽出手段と、
前記顔画像取得手段で抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出手段と、
商品情報が予め関連付けられた複数の特徴量に基づくグループ情報が記憶されたデータベースと、
前記特徴量算出手段で算出された利用者の特徴量と、前記データベースに記憶された前記グループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合手段と、
前記特徴量照合手段で特定された前記商品情報を前記利用者に提供する情報提供手段とからなることを特徴とする情報提供システム。
【請求項２】
前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、
関連付けされた特徴量が所定範囲内にある前記ユーザー情報を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、
前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、
前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることを特徴とする請求項１記載の情報提供システム。
【請求項３】
前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、
前記ユーザー情報に関連付けされた特徴量に基づいて顔画像の類似度が高い登録者同士を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、
前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、
前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることを特徴とする請求項１記載の情報提供システム。
【請求項４】
前記画像取得手段は、前記登録者として前記利用者の画像を取得し、前記顔画像抽出手段は、前記登録者として前記利用者の顔画像を抽出し、前記特徴量算出手段は、前記登録者として前記利用者の顔画像から特徴量を算出するものであり、
前記特徴量算出手段で算出された前記登録者の特徴量を前記登録者のユーザー情報に関連付けて前記データベースに記憶することを特徴とする請求項２又は３記載の情報提供システム。
【請求項５】
前記ユーザー情報、及び情報提供指示の入力を行う入力手段と、前記画像取得手段と、前記画像取得手段で取得した画像を前記データベースへ送信する通信手段とを備えた端末と、
前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段、前記グループ情報作成手段、前記購入履歴作成手段、及び前記商品集計手段を備えたサーバと、
前記端末及び前記サーバを接続するネットワークとを備えたことを特徴とする請求項１ないし４いずれか記載の情報提供システム。
【請求項６】
前記画像取得手段は、店舗に設置され、顧客である利用者を撮影するカメラであり、前記店舗で売買される商品情報、前記ユーザー情報及び情報提供指示を入力する入力手段、及び前記カメラと通信して撮影画像を受け取る通信手段とを備えた端末と、
前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段を備えたサーバとを備えたことを特徴とする請求項１ないし４いずれか記載の情報提供システム。
【請求項７】
利用者の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像から利用者の顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップで抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップで算出した利用者の特徴量と、データベースに記憶され、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合ステップと、
前記特徴量照合ステップにより特定された前記商品情報を利用者に提供する情報提供ステップとからなることを特徴とする情報提供方法。
【請求項８】
登録者を撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量を前記登録者のユーザー情報に関連付けて記憶する特徴量記憶ステップと、
前記特徴量が所定範囲内にある登録者を同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、
前記登録者が購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、
前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、
前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各登録者の前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなる請求項７記載の情報提供方法。
【請求項９】
新規ユーザーを撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量をユーザー情報に関連付けて記憶する特徴量記憶ステップと、
前記特徴量が所定範囲内にあるユーザーを同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、
前記ユーザーが購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、
前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、
前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各ユーザーの前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなる請求項７記載の情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像に写っている人物と顔の類似度が高い人物のデータを検索し、検索にヒットしたデータを表示する情報提供システム及び情報提供方法に関する。
【背景技術】
【０００２】
近年、静止画や動画などから人間の顔を抽出する顔画像抽出処理、さらにこの顔画像抽出処理を発展させた技術として、抽出した顔画像から特徴量を算出し、この特徴量に基づいて顔の類似度を判定する類似度判定処理などが注目されている。これらの顔画像抽出処理や類似度判定処理は顔認証システムなどのセキュリティ、ビジネス、またはエンターテイメント（娯楽）分野での利用が増えてきている。例えば特許文献１記載の顧客情報収集システムでは、店舗内部に複数のカメラを設置し、このカメラで撮影された画像から抽出した顔画像と、過去に来店して既に記憶されている顔画像とを照合して、過去の顔画像と一致すれば過去にも来店した客、一致しなければ新規の顧客かなどの行動履歴を把握することができる。
【０００３】
また、特許文献２では、遊技機で遊技を行う客の顔画像をカメラで撮影し、このカメラで撮影した遊技客個々の顔情報を識別し、この顔情報を遊技機の機種別に分類して収集し、さらにこの収集データに基づいて、遊技機の機種別に算出された特定の客層による機種別嗜好情報を遊技客情報として分析している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−４１７７０号公報
【特許文献２】特開２００４−３０５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献記載の方法では、いずれも販売側の利点を考慮して活用されるものであり、顧客側には具体的な利点が見当たらない。さらに、最近では、インターネットの普及に伴い、アマゾンドットコム（amazon.com，登録商標）、セブンドリームドットコム（7dream.com，登録商標）などの通販サイトや、自社製品の通信販売を目的としたフジフイルムモール（Fujifilm Mall）などのＥＣ（電子商取引）サイトが人気となっており、これらは、商品検索の利便性や、効率の高さは考慮されているが、商品情報の提供方法としては、売上げ、人気の高い商品、新商品などを並べる形態が中心であり、従来の店頭での商品配列と変わるものではなく、利用者としては面白みに欠けていた。
【０００６】
また、このようなサイトは、使用料・広告料収入により成り立っているのが通常であり、収益を増やすために、エンターテイメント性（娯楽性）を高めて多くの者に利用されることが望まれる。
【０００７】
本発明は、上記事情を考慮してなされたものであり、顔画像抽出処理をＥＣサイトなどで活用して、利用者に娯楽性の高い商品情報を提供する情報提供システム、及び情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、利用者の画像を取得する画像取得手段と、前記画像取得手段により取得した画像から利用者の顔画像を抽出する顔画像抽出手段と、前記顔画像取得手段で抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出手段と、商品情報が予め関連付けられた複数の特徴量に基づくグループ情報が記憶されたデータベースと、前記特徴量算出手段で算出された利用者の特徴量と、前記データベースに記憶された前記グループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合手段と、前記特徴量照合手段で特定された前記商品情報を前記利用者に提供する情報提供手段とからなることを特徴とする。
【０００９】
前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、関連付けされた特徴量が所定範囲内にある前記ユーザー情報を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることが好ましい。
【００１０】
前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、前記ユーザー情報に関連付けされた特徴量に基づいて顔画像の類似度が高い登録者同士を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることが好ましい。
【００１１】
前記画像取得手段は、前記登録者として前記利用者の画像を取得し、前記顔画像抽出手段は、前記登録者として前記利用者の顔画像を抽出し、前記特徴量算出手段は、前記登録者として前記利用者の顔画像から特徴量を算出するものであり、前記特徴量算出手段で算出された前記登録者の特徴量を前記登録者のユーザー情報に関連付けて前記データベースに記憶することが好ましい。また、前記ユーザー情報、及び情報提供指示の入力を行う入力手段と、前記画像取得手段と、前記画像取得手段で取得した画像を前記データベースへ送信する通信手段とを備えた端末と、前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段、前記グループ情報作成手段、前記購入履歴作成手段、及び前記商品集計手段を備えたサーバと、前記端末及び前記サーバを接続するネットワークとを備えたことが好ましい。
【００１２】
前記画像取得手段は、店舗に設置され、顧客である利用者を撮影するカメラであり、前記店舗で売買される商品情報、前記ユーザー情報及び情報提供指示を入力する入力手段、及び前記カメラと通信して撮影画像を受け取る通信手段とを備えた端末と、前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段を備えたサーバとを備えたことが好ましい。
【００１３】
本発明の情報提供方法は、利用者の画像を取得する画像取得ステップと、前記画像取得ステップで取得した画像から利用者の顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップで抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで算出した利用者の特徴量と、データベースに記憶され、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合ステップと、前記特徴量照合ステップにより特定された前記商品情報を利用者に提供する情報提供ステップとからなることを特徴とする。
【００１４】
登録者を撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量を前記登録者のユーザー情報に関連付けて記憶する特徴量記憶ステップと、前記特徴量が所定範囲内にある登録者を同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、前記登録者が購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各登録者の前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなることが好ましい。
【００１５】
新規ユーザーを撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量をユーザー情報に関連付けて記憶する特徴量記憶ステップと、前記特徴量が所定範囲内にあるユーザーを同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、前記ユーザーが購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各ユーザーの前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなることが好ましい。
【発明の効果】
【００１６】
本発明の情報提供システム及び情報提供方法によれば、利用者の画像から顔画像を抽出し、顔画像から利用者の特徴量を算出して、この利用者の特徴量と、データベースに記憶され、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合し、利用者の特徴量に対応する商品情報を特定して利用者に提供するので、利用者に娯楽性の高い商品情報を提供することができる。
【発明を実施するための最良の形態】
【００１７】
［第１実施形態］
図１において、本発明の情報提供方法及びデータベース構築方法を適用した商品情報システムは、商品情報プログラムがインストールされたサーバー１１、ユーザー端末１２、及びこれらを接続するネットワークとしてのインターネット１３から構成される。サーバー１１は、商品情報プログラムを実行することで、インターネット１３を介してユーザー端末１２へＥＣ（電子商取引）サイトを提供することができる。ユーザー端末１２は、例えば周知のパーソナルコンピュータやワークステーションであり、各種操作画面などを表示するモニタ１５と、操作信号を出力するマウス１６及びキーボード１７からなる操作部１８（入力手段）と、ウェブカメラ１９とを備えている。なお、ウェブカメラ１９は、モニタ１５上に正面のユーザーを撮像するようにセットされている。
【００１８】
図２に示すように、ユーザー端末１２を構成するＣＰＵ２１は、データバス２２を介して接続された操作部１８から入力される操作信号などに従ってユーザー端末１２全体を統括的に制御する。ＣＰＵ２１には、操作部１８の他に、データバス２２を介して、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、通信インターフェース（通信Ｉ／Ｆ）２５、及びモニタ１５が接続されている。
【００１９】
ＲＡＭ２３は、ＣＰＵ２１が処理を実行するための作業用メモリである。ＨＤＤ２４には、ユーザー端末１２を動作させるための各種プログラムやデータが記憶されている。ＣＰＵ２１は、ＨＤＤ２４からプログラムを読み出してＲＡＭ２３に展開し、読み出したプログラムを逐次処理する。
【００２０】
通信Ｉ／Ｆ２５は、例えばモデムやルータであり、インターネット１３に適合した通信プロトコルの制御を行い、インターネット１３を経由したデータの遣り取りをする。また、通信Ｉ／Ｆ２５は、ウェブカメラ１９を含む外部機器や、記憶媒体などとのデータ入出力を行う。
【００２１】
図３に示すように、サーバー１１を構成するＣＰＵ３１は、インターネット１３を経由してユーザー端末１２から入力される操作信号に従ってサーバー１１全体を統括的に制御する。ＣＰＵ３１には、データバス３２を介して、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、通信インターフェース（通信Ｉ／Ｆ）３５、顔画像抽出部３６、特徴量算出部３７、特徴量照合部３８、グループ情報作成部３９、購入履歴作成部４１、及び商品集計部４２が接続されている。
【００２２】
ＲＡＭ３３は、ＣＰＵ３１が処理を実行するための作業用メモリである。ＨＤＤ３４には、サーバー１１を動作させるための各種プログラムやデータが記憶されている。また、ＨＤＤ３４には、商品情報提供プログラム４３が記憶されている。ＣＰＵ３１は、ＨＤＤ３４からプログラムを読み出してＲＡＭ３３に展開し、読み出したプログラムを逐次処理する。
【００２３】
ＨＤＤ３４には、ユーザー情報ＤＢ（データベース）４４及び商品情報ＤＢ４５が備えられている。ユーザー情報ＤＢ４４には、複数のユーザー情報が格納されている。それぞれのユーザー情報には、ユーザーの顔画像から抽出された特徴量が関連付けて記憶されている。商品情報ＤＢ４５には、商品情報提供システム１０で提供する商品に関する詳細な情報が記憶されている。
【００２４】
通信Ｉ／Ｆ３５は、例えばモデムやルータであり、インターネット１３に適合した通信プロトコルの制御を行い、インターネット１３を経由したデータの遣り取りをする。通信Ｉ／Ｆ３５は、画像が入力される入力部として機能し、また、特徴量照合部３８で特定された商品情報をユーザー端末１２に出力する出力部として機能する。通信Ｉ／Ｆ３５を介して入力されたデータは、ＲＡＭ３３に一時的に記憶される。
【００２５】
図４に示すように、顔画像抽出部３６は、ユーザー端末１２のウェブカメラ１９で撮影された画像がサーバー１１に入力されると、その画像から顔画像を抽出する。顔画像の抽出には、特開平０５−１５８１６４号公報で開示されている測光値から作成した色相値と彩度値とのヒストグラムを用いた方法や、特開平０７−３０６４８３号公報で開示されている肌色検出を用いた方法などを利用する。詳しい説明は、特開平０５−１５８１６４号公報や、特開平０７−３０６４８３号公報などを参照されたい。なお、顔画像の抽出には、パターンマッチングを用いた技術を利用してもよい。
【００２６】
特徴量算出部３７は、顔画像抽出部３６で抽出された顔画像の特徴量を算出する。特徴量算出部３７が算出する顔の特徴量としては、例えば、顔の輪郭線の位置、顔の輪郭形状、並びに顔を構成する目、口および鼻等の顔パーツの位置などを算出する。特徴量の算出には、特開平０５−０２０４４２号公報や、カリフォルニア大学サンタバーバラ校ＨＰ（http://www.cs.ucsb.edu/~mturk/Papers/mturk-CVPR91.pdf）で開示されている画像の濃淡分布を表現した特徴ベクトルを算出する方法などを利用する。詳しい説明は、特開平０５−０２０４４２号公報や、カリフォルニア大学サンタバーバラ校ＨＰなどを参照されたい。
【００２７】
特徴量照合部３８は、ユーザー端末１２から入力された新規のユーザー情報に関連付けられた特徴量と、既に登録済みのユーザー情報に関連付けられた特徴量に基づくグループ情報とを照合し、新規のユーザー情報の特徴量と一致する特徴量が関連付けられた登録済みのユーザー情報を特定する。本実施形態では、新規のユーザー情報に関連付けされた特徴量と照合するグループ情報として、後述するグループ情報作成部３９によって特徴量を所定範囲ごとにグループ分けしたグループ情報を用いる。
【００２８】
グループ情報作成部３９は、新規のユーザー情報及び登録済みのユーザー情報に対して、関連付けられた特徴量が所定範囲内にあるユーザー同士を同じグループとするグループ情報を作成して、各ユーザー情報が属するグループ情報をユーザー情報に関連付けて記憶する。このグループ情報作成で作成するグループ情報では、例えば、以下の表１に示す所定範囲内にある特徴量が関連付けされたユーザー情報同士が同じグループＡ〜Ｅとして設定されている。
【００２９】
【表１】
2010198199.tif 000003
【００３０】
購入履歴作成部４１は、ユーザー情報の登録後、ユーザーが商品情報提供システム１０を利用して商品を購入した購入履歴を作成し、この商品購入履歴をユーザー情報に関連付けて記憶する。商品集計部４２は、グループ情報及び商品購入履歴に基づき、ユーザー情報が属するグループごとに各ユーザー情報に関連付けられた商品購入履歴にある商品を読み出して集計し、この集計された商品の集計結果を商品情報としてユーザー情報に関連付けて記憶させる。
【００３１】
図５に示すように、ユーザー情報ＤＢ４４には、各ユーザー情報が記憶されている。これらの各ユーザー情報には、例えば、名前、生年月日、性別、住所、商品購入履歴などの項目に対応した情報が記憶されるとともに、顔画像から抽出された特徴量が関連付けて記憶されている。また、商品情報ＤＢ４５には商品情報提供システム１０で情報提供し、販売する商品に関する商品情報がそれぞれ記憶されている。なお、図５では、後述する
【００３２】
次に、上記構成を有する商品情報システム２の処理手順について、ユーザー情報を登録するユーザー登録処理と、情報提供処理と、データベース構築処理とを行う場合とに分けて、図６〜図８のフローチャートを参照して説明する。まず、図６において、ビューアーソフトが起動され、サーバー１１へのアクセス認証が行われた後、ユーザー情報の登録を行うモードが選択されると、図９（Ａ）に示す登録ウィンドウ５０がモニタ１５に表示される。登録ウィンドウ５０には、入力バー５１〜５４、画像表示領域５５、画像取り込みボタン５６、登録ボタン５７が形成されている。
【００３３】
ユーザー（利用者）は、各入力バー５１〜５４に名前、生年月日、性別、住所など自身に関する情報を入力する。そして、画像取り込みボタン５６を選択すると、ＣＰＵ３１に撮影指示が入力される。撮影指示が入力されたＣＰＵ３１は、ウェブカメラ１９を制御し、撮影を実行させる。ウェブカメラ１９は上述したようにモニタ１５上に設置されているため、ユーザー端末１２前にいるユーザーの画像を撮影することができる。ウェブカメラ１９で撮影された画像は、登録ウィンドウ５０内の画像表示領域５５に表示される。なお、画像表示領域５５に画像が表示された後、再度撮影したい場合は、画像取り込みボタン５６を選択すると、表示された画像が破棄され、新たにウェブカメラ１９で撮影された画像が画像表示領域５５に表示される。各入力バー５１〜５４に情報が入力され、画像表示領域５５に画像が表示された状態（図９（Ｂ）に示す状態）となり、ユーザーがそれを確認して内容が良ければ、操作部１８によって登録ボタン５７を選択する。登録ボタン５７が選択されると、ユーザー情報とともに、ウェブカメラ１９で撮影した最新の画像が通信Ｉ／Ｆ２４を介してサーバー１１に出力される。
【００３４】
サーバー１１では、通信Ｉ／Ｆ３４でユーザー情報、およびユーザーを撮影した画像が受信される。これらの情報のうち、ユーザー情報はＣＰＵ３０に入力されるとともにＲＡＭ３３に記憶される。また、画像データは、顔画像抽出部３６に入力される。顔画像抽出部３６では、上述したようにユーザーを撮影した画像が入力されると、その画像から顔画像を抽出する。この顔画像抽出部３６で抽出された顔画像は、ＲＡＭ３３に記憶される。
【００３５】
顔画像抽出部３６で抽出された顔画像は、ＲＡＭ３３から特徴量算出部３７に読み出される。特徴量算出部３７では、顔画像抽出部３６で抽出された顔画像の特徴量が算出される（図４参照）。算出された特徴量はＲＡＭ３３に記憶される。
【００３６】
ＣＰＵ３１は、以上のようにして記憶された新規のユーザー情報及び特徴量をＲＡＭ３３から読み出して、ユーザー情報に特徴量を関連付けてユーザー情報ＤＢ４４に記憶させる。これによりユーザー登録処理が完了する。
【００３７】
ユーザー登録処理が完了すると、商品情報提供システム１０では続いて情報提供処理が実行される。情報提供処理では、図７のフローチャートに示すように、先ずユーザー情報ＤＢ４４に記憶された新規のユーザー情報及びこれに関連付けられた特徴量が、特徴量照合部３８に読み出される。特徴量照合部３８では、特徴量算出部３７で算出された新規のユーザー情報に関連付けされた特徴量と、ユーザー情報ＤＢ４４に予め記憶されている特徴量に基づくグループ情報とを照合して商品情報を特定する。
【００３８】
特徴量照合部３８では、新規のユーザー情報に関連付けされた特徴量と、グループ情報とを照合して、新規のユーザー情報に関連付けされた特徴量が当てはまるグループ情報を特定し、さらにそのグループ情報に基づき、同じグループに属する特徴量に関連付けされた商品情報が特定される。本実施形態では、特徴量はユーザー情報に関連付けられており、さらに各ユーザー情報には、後述する商品購入履歴及び商品集計結果が商品情報として関連付けられている。よって、特徴量に関連付けされた商品情報が特定された場合、これらの商品購入履歴及び商品集計結果がデータベース４３から読み出される。特徴量照合部３８で特定された商品情報は通信Ｉ／Ｆ３５を介してユーザー端末１２に出力される。ユーザー端末１２に表示される画面が上述した登録画面から図１０に示す情報提供ウィンドウ６０に切り替わり、特徴量照合部３８で特定された商品情報６１が表示される。この情報提供ウィンドウ６０では、ユーザーの顔画像から抽出された特徴量に関連付けされた商品情報６１を、ユーザーの顔に似た人が購入した商品情報として表示している。
【００３９】
そして、ユーザーは情報提供ウィンドウ６０に形成された購入ボタン６２を選択することで商品情報６１に表示された商品を購入する購入画面（図示せず）に進み、この購入画面で購入手続きを行うことで通信販売などの形態で商品を購入することができる。このようにして商品を購入した場合、購入手続きの遣り取りの中でユーザー端末１２からサーバー１１へユーザー情報及び購入済みの商品情報が出力される。サーバー１１では、ユーザー情報及び購入済みの商品情報を受信すると、購入履歴作成部４１へユーザー情報及び購入済みの商品情報が入力される。購入履歴作成部４１では、入力されたユーザー情報に基づき、データベース４３から以前に作成した商品購入履歴があればそれを読み出し、無ければ新規に商品購入履歴を作成する。また、以前に作成した商品購入履歴がある場合、今回の商品情報を追加して内容を更新した商品購入履歴を作成する。そして、購入履歴作成部４１で作成された商品購入履歴は、対応するユーザー情報に関連付けられてユーザー情報ＤＢ４４に記憶される。商品購入履歴は、例えば図１１に示すように商品情報と、ユーザーが購入した順番に商品Ａ，Ｂ，Ｃ・・・と作成されている。
【００４０】
以上のようにしてユーザーの顔画像から抽出された特徴量から特定された商品情報をユーザーに提供することができるため、ユーザーに対して娯楽性の高い商品情報の提供を行うことができる。
【００４１】
一方、ユーザー登録処理が完了した後、上述した情報提供処理が行われるとともに、以下で説明するデータベース構築処理も並列して行われる。データベース構築処理では、図８のフローチャートに示すように、ユーザー登録処理完了後、グループ情報作成部３９に新規のユーザー情報及びユーザー情報に関連付けられた特徴量が読み出される。グループ情報作成部３９では、新規のユーザー情報、及び既に登録済みのユーザー情報に対して、関連付けられた特徴量が所定範囲内にあるユーザー情報同士を同じグループとするグループ情報を作成して、各ユーザー情報が属するグループ情報を作成する（表１参照）。作成されたグループ情報はＲＡＭ３３に記憶される。
【００４２】
グループ情報作成部３９で作成されたグループ情報は、ＲＡＭ３３から商品集計部４２に読み出される。商品集計部４２では、このグループ情報から、同じグループに属するユーザー情報に関連付けられた商品購入履歴を読み出し、図１２に示すように、グループ情報及び商品購入履歴に基づき、同じグループに属するユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成する。作成された商品集計結果はＲＡＭ３３に記憶される。ＲＡＭ３３からグループ情報及び商品集計結果を読み出したＣＰＵ３１は、ユーザー情報にグループ情報及び商品集計結果を関連付けてユーザー情報ＤＢ４４に記憶させる。
【００４３】
上述したように、ユーザー登録処理後、商品情報提供システム１０では、商品の購入が合った場合、随時商品購入履歴の更新が行われる。よって、データベース構築処理でも最初の商品集計結果作成後、商品購入履歴に更新がある度に、グループ情報作成部３９によるグループ情報の作成、商品集計部４２による商品の集計が行われ、更新された商品集計結果がユーザー情報に関連付けて記憶される。
【００４４】
以上説明したように、特徴量が所定範囲内にあるユーザー情報同士を同じグループとするグループ情報及び商品購入履歴に基づいて、ユーザー（利用者）に商品情報を提供しているので、特徴量が近似するユーザー（登録者）、すなわち、顔が類似すると思われる人物に関する商品情報が、商品購入の度に随時更新されながら提供されているので、ユーザー（利用者）にとって娯楽性の高い情報提供を行うことができる。
［第２実施形態］
上記第１実施形態の情報提供システムでは、新規のユーザー情報に関連付けられた特徴量と照合するグループ情報、及び特徴量に基づいてグループ情報作成部で作成するグループ情報として、所定範囲内にある特徴量が関連付けされたユーザー情報同士が同じグループとして設定されているが、本発明はこれに限定されるものではない。
【００４５】
第２実施形態の情報提供システムでは、図１３に示すように、特徴量算出部７１は、顔画像抽出部３６で抽出された顔画像から複数項目（例えば、顔の輪郭線位置に関する項目、顔の輪郭形状に関する項目、顔パーツの位置に関する項目など）の特徴量を算出してユーザー情報に関連付けする。また、図１４に示すように、グループ情報作成部７２では、これらの複数項目の特徴量に基づいて類似度の高いグループ、すなわち、ユーザー情報に関連付けられた複数項目の特徴量が近似（特徴量の差分の合計が所定範囲内）する者同士が同じグループとして設定されている。なお、図１４では、「山田太郎」のユーザー情報７３と「鈴木花子」のユーザー情報７４とに関連付けられた特徴量の差分を全ての項目で合計した値が最も小さいため同じグループＡにあることを示している。また、これらの特徴量算出部７１及びグループ情報作成部７２以外の構成は上記実施形態と同様である。なお、類似度の高いグループを設定する方法はこれに限るものではなく、例えば、関連付けられた特徴量の差分が全ての項目で近似（差分が所定範囲内）する者同士を同じグループとしてもよい。
【００４６】
次に、上記構成を有する商品情報システムの処理手順について、ユーザー登録処理及びデータベース構築処理を行う場合について、図１５及び図１６に示すフローチャートを参照して説明する。なお、情報提供処理については上記第１実施形態と同様であるため詳しい説明を省略する。また、各処理内で上記実施形態と同様のプロセスを行う場合も説明を省略する。本実施形態のユーザー登録処理では、先ず、上記第１実施形態と同様のプロセスで登録ウィンドウ５０を開いて入力操作を行い、ユーザー情報とともに、ウェブカメラ１９で撮影した最新の画像がユーザー端末１２から出力される。これらの情報のうち、画像データは、顔画像抽出部３６に入力される。顔画像抽出部３６では、ユーザーを撮影した画像が入力されると、その画像から顔画像を抽出する。この顔画像抽出部３６で抽出された顔画像は、ＲＡＭ３３に記憶される。顔画像抽出部３６で抽出された顔画像は、ＲＡＭ３３から特徴量算出部７１に読み出される。特徴量算出部３７では、顔画像抽出部３６で抽出された顔画像から複数項目の特徴量が算出される。算出された特徴量はＲＡＭ３３に記憶される。
【００４７】
ＣＰＵ３１は、以上のようにして記憶された新規のユーザー情報及び特徴量をＲＡＭ３３から読み出して、ユーザー情報に複数項目の特徴量を関連付けてユーザー情報ＤＢ４４に記憶させる。これによりユーザー登録処理が完了する。
【００４８】
ユーザー登録処理が完了した後、グループ情報作成部７２に新規のユーザー情報及びユーザー情報に関連付けられた特徴量が読み出される。グループ情報作成部７２では、新規のユーザー情報、及び既に登録済みのユーザー情報に対して、複数項目の特徴量が近似する者同士を同じグループとするグループ情報を作成して、各ユーザー情報が属するグループ情報を作成する。作成されたグループ情報はＲＡＭ３３に記憶される。
【００４９】
グループ情報作成部７２で作成されたグループ情報は、ＲＡＭ３３から商品集計部４２に読み出される。商品集計部４２では、グループ情報及び商品購入履歴に基づき、同じグループに属するユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成する。ＣＰＵ３１は、ユーザー情報にグループ情報及び商品集計結果を関連付けてユーザー情報ＤＢ４４に記憶させる。上記第１実施形態と同様に、最初の商品集計結果作成後、商品購入履歴に更新がある度にグループ情報作成部７２によるグループ情報作成、及び商品集計部４２による商品の集計が行われ、更新された商品集計結果がユーザー情報に関連付けて記憶される。
【００５０】
以上で説明したように、複数項目の特徴量が近似する者同士を同じグループとするグループ情報を作成して、このグループ情報に関連する商品情報を提供しているので、上記第１実施形態よりもさらにユーザー自身に似た人物の商品情報が得られ、娯楽性の高い情報を提供することができる。
【００５１】
なお、上記各実施形態では、サーバー１１及びユーザー端末１２及びこれを接続するインターネット１３からなる情報提供システムに適用される例を説明したが、これに限定されるものではない。例えば、入力用の端末と、この端末が直接接続されたサーバーと、端末またはサーバーに接続されたカメラ（画像取得手段）からなるシステムに適用し、これらを店舗などに設置してもよい。この場合、カメラは、店舗内の顧客を撮影可能とし、端末は、店舗内の顧客が入力可能とすることが好ましい。また、入力用の端末を省略して、一台のサーバーに上記各実施形態で説明したサーバー１１及びユーザー端末１２の機能のうち、ウェブカメラを除く全ての機能を持たせるようにしてもよい。
【００５２】
なお、上記各実施形態においては、ユーザー登録処理完了後、情報提供処理と、データベース構築処理とを並列して行い、ユーザー情報データベースを随時更新した内容を情報提供処理に反映させる構成となっているが、本発明はこれに限るものではなく、ユーザー登録処理及び情報提供処理を行うときは、ユーザー情報データベースは更新せず、ユーザー登録処理で登録された内容と予め記憶された内容のみで情報提供処理を行うようにしてもよい。この場合、上記各実施形態のように、ユーザー情報に、特徴量、商品情報及びグループ情報を関連付けさせる構成ではなく、所定の特徴量に商品情報及びグループ情報を関連付けさせたデータを予めデータベースに記憶させておけばよい。
【００５３】
なお、上記各実施形態においては、情報提供処理の際、新規のユーザー情報に関連付けされた特徴量から特定された商品情報をユーザーに提供しているが、この際、商品情報だけではなく、特徴量照合部による照合で、新規のユーザー情報に関連付けされた特徴量が当てはまるグループ情報を特定し、さらにそのグループ情報に基づき、同じグループに属する特徴量に関連付けされたユーザー情報及び商品情報を読み出すようにする。これにより特徴量が同じグループのユーザー情報、例えば年齢や性別などを提供することで、ユーザーに提供する情報量が増加する。
【００５４】
また、上記各実施形態で示した情報提供システムは一例にすぎず、本発明の趣旨を逸脱しなければ、如何様な態様にも適宜変更することができる。
【図面の簡単な説明】
【００５５】
【図１】第１実施形態のネットワークシステムの構成を示す該略図である。
【図２】第１実施形態のユーザー端末の内部構成を示すブロック図である。
【図３】第１実施形態のサーバの内部構成を示すブロック図である。
【図４】第１実施形態の顔画像の抽出、及び特徴量の算出を説明する図である。
【図５】第１実施形態のユーザー情報データベースを示す説明図である。
【図６】第１実施形態のユーザー登録処理手順を説明するフローチャートである。
【図７】第１実施形態の情報提供処理手順を説明するフローチャートである。
【図８】第１実施形態のデータベース構築処理手順を説明するフローチャートである。
【図９】第１実施形態のユーザー登録時に表示される登録ウィンドウを示す説明図である。
【図１０】第１実施形態の情報提供時に表示される情報提供ウィンドウを示す説明図である。
【図１１】第１実施形態の商品購入履歴が作成された状態を示す説明図である。
【図１２】第１実施形態の商品購入履歴に基づく商品の集計を説明する図である。
【図１３】第２実施形態の特徴量算出を説明する図である。
【図１４】第２実施形態のグループ情報作成を説明する図である。
【図１５】第２実施形態のユーザー登録処理手順を説明するフローチャートである。
【図１６】第２実施形態のデータベース構築処理手順を説明するフローチャートである。
【符号の説明】
【００５６】
１０  商品情報提供システム
１１  サーバー
１２  ユーザー端末
１９  ウェブカメラ
３５  通信インターフェース（通信Ｉ／Ｆ）
３６  顔画像抽出部
３７  特徴量算出部
３８  特徴量照合部
３９  グループ情報作成部
４１  購入履歴作成部
４２  商品集計部
４３  ユーザー情報データベース
【図１】
2010198199.tif 000004
【図２】
2010198199.tif 000005
【図３】
2010198199.tif 000006
【図４】
2010198199.tif 000007
【図５】
2010198199.tif 000008
【図６】
2010198199.tif 000009
【図７】
2010198199.tif 000010
【図８】
2010198199.tif 000011
【図９】
2010198199.tif 000012
【図１０】
2010198199.tif 000013
【図１１】
2010198199.tif 000014
【図１２】
2010198199.tif 000015
【図１３】
2010198199.tif 000016
【図１４】
2010198199.tif 000017
【図１５】
2010198199.tif 000018
【図１６】
2010198199.tif 000019