(57)【要約】【課題】顧客識別情報を容易に得ることができ、それでいて高い個人識別率を得ることができる顧客情報管理装置を提供すること。【解決手段】顧客情報管理システム１では、撮像手段９により撮影した来店客の顔画像データと、ここから生成された学習データと、時間情報とを既知の顧客のデータとして顔画像認識用顔画像ＤＢ７に蓄積する。新たな来店客の顔画像データから生成した検索用データにより学習データを参照して所定の画像認識により来店客を推定して候補者として表示装置１０に表示し、確認しながら顔画像認識用顔画像ＤＢ７を更新する。またこの来店客の顧客データＤＢ６のデータを参照して顧客管理を行う。この更新により来店客の推定の精度を高めることができる。【選択図】　　　図１
2004086625.tif 000002
【特許請求の範囲】
【請求項１】
既知の顧客の顔画像データを顧客毎に記憶する顧客顔画像データベースと、
入力された未知の顧客の顔画像データに基づいて生成された検索用データと、前記顧客顔画像データベースに記憶された既知の顧客の顔画像データに基づいて生成された比較用データとを比較することにより、当該未知の顔画像データと類似する既知の顧客の顔画像データを候補者として抽出する候補者抽出手段と、
前記候補者抽出手段により抽出された候補者の顔画像を表示する候補者表示手段と、
表示された候補者の選択についての所定コマンドの入力に基づいて前記顧客顔画像データベースを更新する顧客顔画像データベース更新手段と
を備えたことを特徴とする顧客情報管理装置。
【請求項２】
前記候補者抽出手段の前記既知の顧客の比較データは、前記顧客顔画像データベースに記憶された顔画像データが１の顧客に対して複数ある場合は当該複数の顔画像データに基づいて生成されることを特徴とする請求項１に記載の顧客情報管理装置。
【請求項３】
前記顧客顔画像データベース更新手段は、表示された候補者の選択についての所定コマンドの入力に基づいて、前記未知の顔画像を当該選択された顧客の顔画像データとして追加することで前記顧客顔画像データベースを更新することを特徴とする請求項１又は請求項２に記載の顧客情報管理装置。
【請求項４】
前記顧客顔画像データベースは、顧客毎の顔画像データが、当該顔画像データが登録された登録時間情報と関係付けられて記憶されることを特徴とする請求項１乃至請求項３のいずれか１項に記載の顧客情報管理装置。
【請求項５】
前記顧客顔画像データベース更新手段は、一定条件で前記登録時間情報に基づいて時間の経過に応じて顔画像データの前記候補者抽出手段における比較データの決定におけるウエイト付けを減少させ若しくは破棄することを特徴とする請求項４に記載の顧客情報管理装置。
【請求項６】
前記一定条件が、前記顧客顔画像データベースに記憶された当該顧客の顔画像データが所定数を超えた場合には最も古い顔画像データを廃棄することを特徴とする請求項５に記載の顧客情報管理装置。
【請求項７】
前記顧客顔画像データベースは、所定の撮像角度により分類されて顧客の顔画像データが記憶されていることを特徴とする請求項１乃至請求項６のいずれか１項に記載の顧客情報管理装置。
【請求項８】
前記顧客顔画像データベースは、所定の撮像角度により分類された顧客の顔画像データが、当該顔画像データが登録された登録時間情報に関係付けられて記憶されることを特徴とする請求項４乃至請求項６のいずれか１項に記載の顧客情報管理装置。
【請求項９】
前記候補者表示手段により表示された既知の顧客の顔画像と未知の顧客の顔画像とが異なるとする判断に基づいた所定のコマンドが入力された場合に、前記顧客顔画像データベースに新たな顧客として顔画像を新規に登録する顧客顔画像データベース新規登録手段を備えたことを特徴とする請求項１乃至請求項８に記載の顧客情報管理装置。
【請求項１０】
前記候補者抽出手段は、顧客顔画像データベースに蓄積された顔画像の中に、所定コマンドの入力により抽出され表示された複数の候補者から選択された候補者の顔画像データが複数ある場合は、当該選択された顧客の複数の顔画像を表示させる詳細画面表示手段をさらに備えたことを特徴とする請求項１乃至請求項９のいずれか１項に記載の顧客情報管理装置。
【請求項１１】
顧客毎の顧客管理情報データを記憶する顧客管理情報データベースと、表示された候補者から選択された候補者に基づいて入力された所定のコマンドの入力に基づいて、当該選択された顧客の来店履歴を含む顧客管理情報を前記顧客管理情報データベースから抽出して表示する顧客管理情報表示手段を備えたことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の顧客情報管理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顧客情報管理装置に係り、詳しくは顧客からの顔画像情報を逐次更新して高い顔画像識別率を得ることができる顧客情報管理装置に関するものである。
【０００２】
【従来の技術】
例えば販売店の店舗では、顧客の管理が重要であるが、各顧客ごとの来店履歴や販売履歴を掌握する必要があった。そのため、販売員が来店客を判断し、顧客の名前毎に来店や販売実績を収集し、顧客カード、顧客データベースなどで顧客を管理していた。しかし、販売員が来店したすべての顧客の顔と名前を覚えていることはできず、また名前を収集できるとは限らないという問題があった。一方、来店客にその都度名前を聞くことも困難である。そこで、特開２００２−５６０６６号公報に記載されているような発明が提案された。この発明は、来店客を特定するための顔画像や、声紋、指紋、掌紋、虹彩などの生体情報から顧客を識別する顧客識別手段を備える。そして、この顧客識別手段によって特定された来店客の顧客情報から、顧客の店舗利用履歴情報や顧客の優良度情報、顧客に対する販売促進情報などをデータベースから抽出し、これらを表示出力または印刷出力する顧客情報提示システムである。この発明によれば顧客を容易に特定でき、顧客情報を簡便迅速に抽出提示することができた。
【０００３】
一方、顔画像から個人を推定する方法としては、本発明者が提案した特願２００１−３４７４７８号に記載されたような方法がある。この顔画像認識方法及び顔画像認識装置では、まず顔向き推定工程をおこなう。顔向き推定工程では、識別登録者毎に全ての顔向き方向から取得した登録顔画像の特徴ベクトルと未知顔画像の特徴ベクトルとを用いて、未知顔画像の顔向き方向が含まれる複数の左右顔向き方向面を線形判別分析によって推定する。そして、複数の左右顔向き方向を推定することで、未知顔画像の実際の顔向き方向が、推定した左右顔向き方向に属さなかったことに起因する顔向き方向の推定精度の低下を抑制する。なお、未知顔画像の顔向き方向が含まれる複数の上下顔向き方向面を線形判別分析によって推定し、複数の上下顔向き方向を推定することで、さらに、推定精度を高めることができる。次の１次個人識別工程では、推定した複数の左右上下顔向き方向面に含まれる全ての顔向き方向から取得した登録顔画像の特徴ベクトルと未知顔画像の特徴ベクトルとを用いて、識別対象者の候補者を線形判別分析によって複数人推定する。この後、複数の候補者内から識別対象者を推定する。このような方法により認識対象者から取得する未知顔画像の顔向き変化に対するロバスト性を向上させ、最終的な顔画像識別率を向上させることができた。
【０００４】
【発明が解決しようとする課題】
しかしながら、顧客を特定するための声紋、指紋、掌紋、虹彩などの生体情報は、収集が難しく、あるいは収集への顧客の心理的抵抗が大きいため販売店などでの実施が困難であるという問題があった。
【０００５】
また、顔画像は比較的収集が容易であるといえるが、顔画像は変化が大きい。そこで上述の特願２００１−３４７４７８に記載されたような方法を用いることが考えられるが、この方法では高い識別力を得るためには識別登録者から多くの異なる顔向きの顔画像を予め得ることが必要である。ところが販売店などでは一時に顧客毎に全ての顔向き方向から取得した登録顔画像を得ることは煩雑であるため難しく、少ない登録顔画像に基づいたデータからは入店客の顔画像から高い顔画像識別率を得ることが困難であるという問題があった。
【０００６】
また、同じ顔向きであっても、時間の経過と共に顧客の顔自体に変化があると顔画像識別率が低下してしまうという問題もあった。
上記課題を解決するため、本発明では、顧客識別情報を容易に得ることができ、それでいて高い個人識別率を得ることができる顧客情報管理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に係る顧客情報管理装置では、既知の顧客の顔画像データを顧客毎に記憶する顧客顔画像データベースと、入力された未知の顧客の顔画像データに基づいて生成された検索用データと、前記顧客顔画像データベースに記憶された既知の顧客の顔画像データに基づいて生成された比較用データとを比較することにより、当該未知の顔画像データと類似する既知の顧客の顔画像データを候補者として抽出する候補者抽出手段と、前記候補者抽出手段により抽出された候補者の顔画像を表示する候補者表示手段と、表示された候補者の選択についての所定コマンドの入力に基づいて前記顧客顔画像データベースを更新する顧客顔画像データベース更新手段とを備えたことを要旨とする。
【０００８】
請求項２に係る顧客情報管理装置では、請求項１に記載の顧客情報管理装置の構成に加え、前記候補者抽出手段の前記既知の顧客の比較データは、前記顧客顔画像データベースに記憶された顔画像データが１の顧客に対して複数ある場合は当該複数の顔画像データに基づいて生成されることを要旨とする。
【０００９】
請求項３に係る顧客情報管理装置では、請求項１又は請求項２に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベース更新手段は、表示された候補者の選択についての所定コマンドの入力に基づいて、前記未知の顔画像を当該選択された顧客の顔画像データとして追加することで前記顧客顔画像データベースを更新することを要旨とする。
【００１０】
請求項４に係る顧客情報管理装置では、請求項１乃至請求項３のいずれか１項に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベースは、顧客毎の顔画像データが、当該顔画像データが登録された登録時間情報と関係付けられて記憶されることを要旨とする。
【００１１】
請求項５に係る顧客情報管理装置では、請求項４に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベース更新手段は、一定条件で前記登録時間情報に基づいて時間の経過に応じて顔画像データの前記候補者抽出手段における比較データの決定におけるウエイト付けを減少させ若しくは破棄することを要旨とする。
【００１２】
請求項６に係る顧客情報管理装置では、請求項５に記載の顧客情報管理装置の構成に前記一定条件が、前記顧客画像データベースに記憶された当該顧客の顔画像データが所定数を超えた場合には最も古い顔画像データを廃棄することを要旨とする。
【００１３】
請求項７に係る顧客情報管理装置では、請求項１乃至請求項６のいずれか１項に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベースは、所定の撮像角度により分類されて顧客の顔画像データが記憶されていることを要旨とする。
【００１４】
請求項８に係る顧客情報管理装置では、請求項４乃至請求項６のいずれか１項に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベースは、所定の撮像角度により分類された顧客の顔画像データが、当該顔画像データが登録された登録時間情報に関係付けられて記憶されることを要旨とする。
【００１５】
請求項９に係る顧客情報管理装置では、請求項１乃至請求項８に記載の顧客情報管理装置の構成に加え、前記候補者表示手段により表示された既知の顧客の顔画像と未知の顧客の顔画像とが異なるとする判断に基づいた所定のコマンドが入力された場合に、前記顧客顔画像登録データベースに新たな顧客として顔画像を新規に登録する顧客顔画像データベース新規登録手段を備えたことを要旨とする。
【００１６】
請求項１０に係る顧客情報管理装置では、請求項１乃至請求項９のいずれか１項に記載の顧客情報管理装置の構成に加え、前記候補者抽出手段は、顧客顔画像データベースに蓄積された顔画像の中に、所定コマンドの入力により抽出され表示された複数の候補者から選択された候補者の顔画像データが複数ある場合は、当該選択された顧客の複数の顔画像を表示させる詳細画面表示手段をさらに備えたことを要旨とする。
【００１７】
請求項１１に係る顧客情報管理装置では、請求項１乃至請求項１０のいずれか１項に記載の顧客情報管理装置の構成に加え、顧客毎の顧客管理情報データを記憶する顧客管理情報データベースと、表示された候補者から選択された候補者に基づいて入力された所定のコマンドの入力に基づいて、当該選択された顧客の来店履歴を含む顧客管理情報を前記顧客管理情報データベースから抽出して表示する顧客管理情報表示手段を備えたことを要旨とする。
【００１８】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の顧客情報管理装置を具体化した一実施形態である顧客情報管理システム１を図１〜図９に従って説明する。
【００１９】
（ハード構成）
図１は、顧客情報管理システム（以下適宜システムと略記する）１のハード構成の概略を示すブロック図である。図１に沿ってシステム１のハード構成について説明する。システム１は、撮像手段９とコンピュータ１４を備えて構成される。システム１は、例えば一般消費者を対象とする衣料品の物販店等の店舗に設置され、店舗への入店客の顔画像を例えばカラーのＣＣＤカメラなどから構成された撮像手段９で「顔画像データ」としてのデジタル画像を撮影する。撮影は、光センサなどで客の入店を検出して自動撮影したり、レジでの支払い時に撮影したり、店員が手持ちカメラで撮影してもよい。この段階では、顔画像データは未知の識別対象者の顔画像が含まれた人物全体または一部の画像である。撮像手段９は、コンピュータ１４に常時接続されてリアルタイムで処理するようにしてもよいが、撮像手段９をコンピュータ１４に接続しない状態で撮影をして、後からコンピュータ１４に接続して入力するような構成でもよい。なお、従来の方法では、客の顔の角度が撮影方向に対して一定、例えば正面になることが精度上望ましいが、本実施形態であれば顔画像データが蓄積されればさまざまな顔の方向に対応できるため、１方向に限定する必要はない。
【００２０】
顔画像蓄積手段１０は、撮像手段９に接続され、撮影された顔画像データとしてのデジタル画像データを蓄積する手段である。例えば、ＣＰＵ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）を備えたサーバコンピュータからなるデータベースサーバのようなものであってもよいし、単にカメラに内蔵されたフラッシュＲＯＭのような記憶媒体であってもよい。また、ＣＰＵ２により制御されるＨＤＤであってもよい。何らかのかたちで顔画像データが蓄積されればよい。このシステム１において顔画像蓄積手段１０は、ネットワークコンピュータを備えたデータベースサーバとして構成され、コンピュータ１４とはＬＡＮ接続されている。
【００２１】
コンピュータ１４は、ＣＰＵ２、ＲＡＭ３、ＲＯＭ４、ＨＤＤ８、インタフェイス５を備えて構成される。ＣＰＵ２はＲＡＭ３及びＲＯＭ４とバスにより接続されている。また、顧客データＤＢ６、顔画像認識用顔画像ＤＢ７、表示装置１１、入力装置１２が、インタフェイス５を介してＣＰＵ２と接続されている。撮像手段９から直接、若しくは顔画像蓄積手段１０を介して入力された顔画像データは、このコンピュータ１４により特徴が分析され検索用データが生成される。コンピュータ１４は、顔画像認識用顔画像ＤＢ７に蓄積された顔画像データから生成された比較データを参照して特徴が共通する顧客の候補を特定する。顧客が特定されると表示装置１１に表示され、必要に応じてその顧客の顧客データ（本発明の顧客管理情報データに相当）が顧客データＤＢ６から抽出され表示される。また、画像データが販売員からの入力により顔画像認識用顔画像ＤＢ７に蓄積された顔画像認識用顔画像が更新される。このコンピュータ１４が、本発明の顧客情報管理プログラムが実行されることにより、本発明の候補者抽出手段、候補者表示手段、顧客顔画像データベース更新手段として機能する。また、顔画像を新規に登録する顧客顔画像データベース新規登録手段としても機能する。
【００２２】
ＣＰＵ２は、ＨＤＤ８にインストールされたプログラムにより各種処理を行う。ＲＡＭ３は、ＣＰＵ２の処理に必要な一時的な記憶をする。ＲＯＭ４は、コンピュータ１４のハードシステムを管理するＢＩＯＳプログラムが格納されている。ＨＤＤ８は、コンピュータ１４に内蔵されており、コンピュータ１４及びここに接続された周辺機器を管理するＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）がインストールされ、また、システム１を本発明の顧客情報管理装置として機能させる顧客情報管理プログラムが格納されている。
【００２３】
表示装置１１は、ＬＣＤ（ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレーなどからなる周知のディスプレー装置から構成される。コンピュータ１４により候補者の顔画像を表示したり、操作画面、操作に必要な情報や顧客管理情報を表示する。なお、表示手段としてプリンタ（不図示）をコンピュータ１４に接続しハードコピーを出力するようにしてもよい。また、複数店舗の情報を管理するためのホストコンピュータであるＰＯＳ（Ｐｏｉｎｔ−ｏｆ−ｓａｌｅｓ　ｓｙｓｔｅｍ）１３に専用回線やインターネットを含む公衆回線などの電気通信回線を介して送信するような構成を備える。入力装置１２は、キーボード等のキャラクター入力装置や、マウス等のポインテッドデバイスから構成され、コンピュータ１４に対するシリアル入力として各種操作に供される。なお、表示画面上をタッチパネルとして操作するような表示装置１１と入力装置１２を兼ね備えた構成でもよい。
【００２４】
顧客データＤＢ６は、顧客管理情報として顧客の氏名、住所、管理番号、年齢、趣味等の属性データの他、顧客の店舗利用履歴情報、顧客の優良度情報、顧客に対する販売促進情報などを記憶する。また、関係する顔画像と関係付けるデータも記憶される。これらの情報はリレーショナルデータベースとして構築され、例えば、管理番号をキーに管理される。顧客データＤＢ６は、ここではＬＡＮ接続されたデータベースサーバとして構成されるが、コンピュータ１４内の内蔵ＨＤＤとして構成されてもよい。
【００２５】
顔画像認識用顔画像ＤＢ７は、入力した顔画像データと、ここから抽出された顧客の特徴を認識するための比較用データである学習データが予め蓄積されている。この学習データは、顧客別に所定の撮像角度により分類され、この顔画像データが登録された時間情報とともに記憶されている。また、既知若しくは未知の顧客が来店客として入力された場合も、その後の学習データとして蓄積される。以下この学習データの取得方法について説明する。この顔画像認識用顔画像ＤＢ７が本発明の顧客顔画像データベースに相当する。また、ここに記憶された顔画像データが、本発明の顔画像データに相当する。また、ここに記憶された学習データが本発明の比較用データに相当する。
【００２６】
（学習データ取得方法）学習データの取得は、顔画像取得工程、顔領域検出工程及び特徴ベクトル取得工程の３段階の工程で行う。
（顔画像取得工程）　先ず、顔画像取得工程では、各顧客毎に、予め設定された複数の顔向き方向で撮像した顔画像データを取得する。本実施形態では、顔正面を中心として左右に±４５°、かつ、上下に±３０°の角度範囲内に設定される顔向き方向で撮像する。なお、好ましくは設定されたすべての方向からの顔画像データが取得されることが望ましいが、本発明では、後に更新処理により顔画像データが追加されるので、ここでは取得可能な顔画像データのみを処理する。
【００２７】
各顔向き方向は、次のように設定されている。先ず、顧客Ｚの顔正面を中心（０°）として左右に１５°おきに異なる角度をなす複数の左右顔向き方向面ＰＶ（−４５），ＰＶ（−３０），ＰＶ（−１５），ＰＶ（０），ＰＶ（＋１５），ＰＶ（＋３０），ＰＶ（＋４５）を設定する。各左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）は、鉛直視で頭部の略中心にある鉛直線Ｐｖにそれぞれ交差する平面である。また、顔正面の水平面を中心（０°）として、上下に１５°おきに上下に異なる角度をなす複数の上下顔向き方向面ＰＨ（−３０），ＰＨ（−１５），ＰＨ（０），ＰＨ（＋１５），ＰＨ（＋３０）を設定する。各上下顔向き方向面ＰＨ（−３０）〜ＰＨ（＋３０）は、側面視で頭部の略中心にある水平線Ｐｈにそれぞれ交差する平面である。
【００２８】
本実施形態では、左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）として、顔正面を左右に等分する左右顔向き方向面ＰＶ（０）に以下の角度を加えて７つの左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）を設定する。まず、顔正面に対して右方向にそれぞれ＋１５°、＋３０°、＋４５°だけ角度をなす３つの左右顔向き方向面ＰＶ（＋１５），ＰＶ（＋３０），ＰＶ（＋４５）を加える。また、同じく左方向にそれぞれ−１５°、−３０°、−４５°だけ角度をなす３つの左右顔向き方向面ＰＶ（−１５），ＰＶ（−３０），ＰＶ（−４５）を加える。
【００２９】
また、上下顔向き方向面ＰＨ（＝３０）〜ＰＨ（＋３０）として、顔正面を上下に分割する水平な上下顔向き方向面ＰＨ（０）の方向面を設定する。また、顔正面に対して上方向にそれぞれ＋１５°、＋３０°だけ角度をなす２つの上下顔向き方向面ＰＨ（＋１５），ＰＨ（＋３０）の方向面を設定する。そして、さらに同じく下方向にそれぞれ−１５°、−３０°だけ角度をなす２つの上下顔向き方向面ＰＨ（−１５），ＰＨ（−３０）の合計５つの方向面を設定する。
【００３０】
そして、各顧客Ｚの顔画像データを、７つの左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）と５つの上下顔向き方向面ＰＨ（−３０）〜ＰＨ（＋３０）との各交差線によって設定される３５の撮像方向、すなわち、顔画像データの顔向き方向で撮像する。従って、各左右顔向き方向面ＰＶ（ｊ）（ｊ：−４５，−３０，−１５，０，＋１５，＋３０，＋４５）には、５つの上下顔向き方向面ＰＨ（ｋ）（ｋ：−３０，−１５，０，＋１５，＋３０）との交差線で設定される５つの顔向き方向が含まれることになる。
【００３１】
なお、識別精度の点からは各顔向き方向毎に、複数枚の顔画像データを撮影する必要がある。例えば、１０枚とした場合、各顧客Ｚ毎に、最大３５０（＝３５方向×１０個）個の顔画像データを取得するが、本システム１においては、最初は取得可能な少数の顔画像データから開始して順次更新により顔画像データを蓄積して、識別精度を高めることになる。
【００３２】
（顔領域検出工程）
次に、顔領域検出工程では、各顧客について最大３５０個ずつ取得した各顔画像毎に、その顔領域を検出する。
【００３３】
顔領域検出には、色情報を用いた公知の肌色基準値による手法であって、均等知覚色空間の１つであるＣＩＥ−Ｌ＊ｕ＊ｖ＊表色系を用いる。先ず、顔画像データの全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒストグラムを求め、予め定めた肌色有効範囲内のピーク値（度数が最大の値）を肌色基準値とする。
【００３４】
次に、公知の判別分析法を用いて、肌色基準値からの色差に対する閾値を決定し、この閾値に基づいて顔画像データを肌色領域とその他の領域に２値化する。最後に、抽出された複数の肌色領域毎に、その肌色領域を形成する画素数（面積）を求め、画素数が最大であった肌色領域を顔領域とする。
【００３５】
（特徴ベクトル取得工程）
次に、特徴ベクトル取得工程では、各顧客について最大３５０個ずつ取得した各顔画像データ毎に、その特徴量を表した特徴ベクトルを作成する。なお、この特徴ベクトルを作成する際に、所定のウエイト付けを行う。本実施形態では、原則として登録時間情報から登録されてからの時間が短いもののウエイトを大きくし、時間が経過するとともに小さくなるようにしている。また、販売者が写真の状態などを判断して、後述する顔向き表示画面Ｐ４においてマニュアルで順序を変えて、より状態のよい顔画像データのウエイトを大きくすることもできる。
【００３６】
詳述すると、各顧客から取得した最大３５０個の顔画像データ毎に、その濃淡値の勾配から４方向のベクトル場を求める。本実施形態では、４方向を、水平方向、垂直方向、左下がり４５°斜め方向、及び、右下がり４５°斜め方向としている。そして、公知の手法によって、各方向別に分割したエッジ画像を得る。得られた各エッジ画像は、方向性を有する濃淡画像である。
【００３７】
具体的には、各顔画像データ毎に、Ｐｒｅｗｉｔｔオペレータを用いた微分フィルタ処理を行い、水平、垂直、左下がり斜め、及び、右下がり斜めに分割された４つの方向エッジ画像（以下、方向面という。）を生成する。
【００３８】
次に、４つの各方向面をその顔領域で正規化し、８×８に低解像度化する。最後に、各顔画像データ毎に、４つの各方向面について、それぞれ８×８に低解像度化した画像の濃淡値を特徴量として抽出した２５６次元の特徴ベクトルを作成する。
【００３９】
そして、各顔画像データ毎に作成した特徴ベクトルを、顧客及び顔向き方向に対応させて記憶する。この各特徴ベクトルは、２５６次元の線形空間上の１点として表されるものであり、この学習データは顔認識を行うための比較用データとなる。以上予め顔画像認識用顔画像ＤＢ７に蓄積される既知の顧客の比較用データの生成の仕方を説明したが、後に未知の来店客から取得した顔画像データから生成する検索用データも基本的に同じ方法により生成する。
【００４０】
（顧客情報管理方法の説明）このように構成された顧客情報管理システム１の顧客情報管理処理の概要を説明する。図２〜３は、顧客情報管理システム１の処理のメインルーチンを示すフローチャートである。以下このフローチャートに沿って説明する。
【００４１】
顧客情報管理処理は、まず画像入力の処理（ステップ（以下Ｓと略記する。）１）から開始される。画像は、撮像手段９で撮像され、直接インタフェイス５を介してコンピュータ１４に入力するか、一旦顔画像蓄積手段１０に蓄積しておいた顔画像データをインタフェイス５を介してコンピュータ１４に入力する。ここで入力されるデータは対象者を撮影したカラーデジタル画像からなる画像データである。なお、本実施形態では撮像時に予め時間情報を顔画像データに付加して記録するが、コンピュータ１４への入力時に時間情報を付加して記録してもよい。顔画像データとともに記憶されるこれらの時間情報が、本発明の登録時間情報に相当する。
【００４２】
次に顔領域検出の処理を行う（Ｓ２）。この処理は学習データ取得で説明した顔領域検出工程の処理であるので詳細な説明は省略する。そして、入力された画像データから顔領域が検出できたかを判断し（Ｓ３）、顔領域が検出できなかった場合は（Ｓ３；ＮＯ）、次の画像入力の処理（Ｓ１）を行う。顔領域が検出できた場合は（Ｓ３；ＹＥＳ）、未知顔画像認識の処理（Ｓ４）を行う。ここでは、入力された未知顔である来店客の顔画像データについて、前述した特徴ベクトル取得工程を行う。この処理は学習データ取得における処理と同様の処理で生成した特徴ベクトルで、詳細な説明は省略するが本発明の検索用データに相当する。
【００４３】
（未知顔画像認識処理）以下、未知顔画像認識の処理（Ｓ４）の概要を説明する。未知顔画像認識処理（Ｓ４）は、顔領域検出ができたものについて（Ｓ３；ＹＥＳ）、特徴ベクトル取得工程の工程を行う。
【００４４】
特徴ベクトル取得工程では、来店客の顔画像データから、学習データと同様の処理により特徴ベクトルを取得する。続いて、顔画像データ比較抽出の処理（Ｓ５）を行う。顔画像データ比較抽出の処理（Ｓ５）では、顔向き推定工程、１次個人識別工程、個人顔向き推定工程、２次個人識別工程の４段階の工程により処理される。
【００４５】
まず、顔向き推定工程では、来店客の顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）（ｊ：−４５，−３０，−１５，０，＋１５，＋３０，＋４５）を、７つの左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）の内から推定する。
【００４６】
１次個人識別工程では、全ての顧客内から来店客の候補者を複数人推定する。次に、個人顔向き推定工程では、１次個人識別工程で推定した各候補者毎に、その候補者が来店客であった場合の未知顔画像の顔向き方向を最大３５０の全ての顔向き方向の範囲内から可能なものを推定する。
【００４７】
最後の２次個人識別工程では、１次個人識別工程で推定され、個人顔向き推定工程で顔向き方向が推定された例えば１０人の候補者を、確度の高い順に抽出し候補者一覧画面に表示するため記憶しておく。
【００４８】
（顔画像データ比較抽出の処理）
次に、顔画像データ比較抽出の処理（Ｓ５）について詳述する。
（顔向き推定工程）　顔向き推定工程では、各顧客毎に全ての顔向き方向から撮像した顔画像データから取得した特徴ベクトルと、来店客の顔画像データから取得した特徴ベクトルとを用いて、来店客の顔画像の顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）を公知の線形判別分析によって推定する。すなわち、来店客の顔画像の顔向き方向を、左右の傾きのみで判別する。
【００４９】
顔向き推定工程として、先ず、来店客の顔画像データの特徴ベクトルを、全ての登録された顧客毎に全ての顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、顔向き判別空間αという。）に線形写像する。
【００５０】
顔向き判別空間αは、全ての顔画像データの特徴ベクトルが、この特徴ベクトルから求めた係数行列を用いて線形写像された線形空間である。顔向き判別空間αでは、線形写像された各特徴ベクトルが、それぞれ５つの顔向き方向を含む７つの各左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）に対応して生成されたクラス１〜クラス７に分類されている。
【００５１】
各クラスｊ（１≦ｊ≦７；ｊは自然数）には、そのクラスｊに分類された１つの左右顔向き方向面ＰＶ（ｊ）に含まれる５つの各顔向き方向毎に各顧客について撮像された例えば最大５０（＝上下５方向×１０）の顔画像データの特徴ベクトルが、最大１５０人分の数７５００（＝１５０人×５０）分類されている。
【００５２】
各クラスｊは、クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。なお、顔向き判別空間αは、全ての顔画像データの特徴ベクトルから予め作成されている。
【００５３】
顔向き推定工程として、次に、顔向き判別空間αに線形写像した来店客の特徴ベクトルｙ１が、クラス１〜クラス７のいずれに属するかを判別する。そして、判別されたクラスｊに分類されている特徴ベクトルが取得された顔画像データの顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）が、来店客の顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）であると推定する。
【００５４】
来店客の特徴ベクトルｙ１が属するクラスｊの判別は、この特徴ベクトルｙ１と、各クラスの平均特徴ベクトルＡ（１）〜Ａ（ｊ）〜Ａ（７）とのユークリッド距離ｓ１（１）〜ｓ１（ｊ）〜ｓ１（７）が最小となるものを求めることで行う。なお、各クラス１〜７の平均特徴ベクトルＡ（１）〜Ａ（７）は予め求められている。
【００５５】
さらに、顔向き推定工程では、来店客の顔向き方向が、顔向き判別空間αで推定した左右顔向き方向面ＰＶ（ｊ）と、この左右顔向き方向面ＰＶ（ｊ）の両隣りの２つの左右顔向き方向面ＰＶ（ｊ）とを合わせた３つの左右顔向き方向面ＰＶ（ｊ）のいずれかに含まれると推定する。
【００５６】
例えば、顔向き判別空間αで推定した左右顔向き方向面ＰＶ（ｊ）が左右顔向き方向面ＰＶ（０）であるときには、以下のように推定する。すなわちこの左右顔向き方向面ＰＶ（ｊ）に加え、その両隣りの２つの左右顔向き方向面ＰＶ（−１５）及びＰＶ（＋１５）との３つの左右顔向き方向面ＰＶ（−１５），ＰＶ（０），ＰＶ（＋１５）のいずれかに含まれると推定する。これは、顔向き判別空間αで推定した左右顔向き方向面ＰＶ（ｊ）に来店客の顔向き方向が含まれる確率が最も高いものの、その両隣りの左右顔向き方向面ＰＶ（ｊ）に含まれる確率も小さいながらあるからである。
【００５７】
これにより、顔向き推定工程での推定結果によって、来店客の顔向き方向が実際に含まれる左右顔向き方向面ＰＶ（ｊ）が以後の各工程で考慮されなくなる確率を小さくし、最終的な顔画像識別率の向上を図っている。
【００５８】
（１次個人識別工程）
次に、１次個人識別工程では、顔向き推定工程で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向で撮像した顔画像データの特徴ベクトルと、来店客の特徴ベクトルとを用いて、候補者を全ての顧客内から線形判別分析によって複数人推定する。
【００５９】
１次個人識別工程として、先ず、来店客の特徴ベクトルを、顔向き推定工程で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、１次個人判別空間βという。）に線形写像する。
【００６０】
１次個人判別空間βは、全ての顔画像データの特徴ベクトルの内、３つの各左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向から撮像された顔画像データの特徴ベクトルだけが、この各特徴ベクトルから求めた係数行列を用いて線形写像された線形空間である。
【００６１】
１次個人判別空間βでは、線形写像された各特徴ベクトルが、例えば１５０人の各顧客に対応して生成されたクラス１〜クラスｊ〜クラス１５０に分類されている。
【００６２】
各クラスｊ（１≦ｊ≦１５０；ｊは自然数）には、そのクラスｊに分類された顧客について全ての顔向き方向で撮像された顔画像データ内、特定の顔画像データの特徴ベクトルが分類されている。すなわち、３つの左右顔向き方向面ＰＶ（ｊ）に含まれる１５（左右３方向×上下５方向）の顔向き方向で撮像された１５０（＝左右３方向×上下５方向×１０個）の顔画像データの特徴ベクトルが分類されている。
【００６３】
各クラス１〜クラス１５０は、各クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。１次個人判別空間βは、７つの左右顔向き方向の内、隣り合う３つの左右顔向き方向面ＰＶ（ｊ）の５つの組み合わせ毎に予め作成されている。すなわち、（＋４５°、＋３０°、＋１５°），（＋３０°、＋１５°、Ｏ°），（＋１５°、０°、−１５°），（０、−１５°、−３０°），（−１５°、−３０°、−４５°）毎に予め作成されている。そして、顔向き推定工程での推定結果に基づいて選択される。
【００６４】
１次個人識別工程として、次に、１次個人判別空間βに線形写像された来店客の特徴ベクトルｙ２が、クラス１〜クラス１５０のいずれに属するかを判別する。そして、判別されたクラスｊに分類されている特徴ベクトルが取得された顔画像データが撮像された顧客を候補者とする。
【００６５】
来店客の特徴ベクトルｙ２が属するクラスｊの判別は、この特徴ベクトルｙ２と、各クラスの平均特徴ベクトルＢ（１）〜Ｂ（ｊ）〜Ｂ（１５０）とのユークリッド距離ｓ２（１）〜ｓ２（ｊ）〜ｓ２（１５０）が最小となるものを求めることで行う。なお、各クラスｊの平均特徴ベクトルＢ（１）〜Ｂ（１５０）は予め求められており、顔向き推定工程での推定結果に基づいて選択される。
【００６６】
さらに、１次個人識別工程では、候補者となる顧客を、１次個人判別空間βでのユークリッド距離が小さい順に例えば１０名推定する。すなわち、ユークリッド距離が小さい順に１０のクラスｊを求め、この各クラスｊに対応する顧客を、識別対象者の１０人の候補者とする。これは、１次個人判別空間βで求めた顧客が来店客である確率が最も高いものの、ユークリッド距離が最小に近い９のクラスｊに対応する顧客である見込みも小さいながらあるからである。これにより、１次個人識別工程での識別結果によって、実際の顧客が以後の各工程で考慮されなくなる確率を小さくし、最終的な顔画像識別率の向上を図っている。
【００６７】
（個人顔向き推定工程）　次に、個人顔向き推定工程では、前記各候補者毎に、その候補者が来店客であった場合の来店客の顔画像の顔向き方向を全ての顔向き方向の範囲内から推定する。この推定には、顔向き方向推定工程で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向で撮像した顔画像データの特徴ベクトルと、来店客の顔画像の特徴ベクトルとを用いる。
【００６８】
個人顔向き推定工程として、先ず、来店客の特徴ベクトルを、各候補者毎にその候補者に対し３５の全ての顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、個人顔向き判別空間γ１〜γ１０という。）に線形写像する。各個人顔向き判別空間γ１〜γ１０は、その候補者から取得した３５０（＝３５方向×１０個）個の顔画像データの特徴ベクトルが、この特徴ベクトルから求めた係数行列を用いてそれぞれ線形写像された線形空間である。各個人顔向き判別空間γ１〜γ１０では、線形写像された各特徴ベクトルが、３５の顔向き方向に対応して生成されているクラス１〜クラスｊ〜クラス３５に分類されている。
【００６９】
各クラスｊ（１≦ｊ≦３５；ｊは自然数）には、そのクラスｊに分類された１つの顔向き方向で撮像された１０個の顔画像データの特徴ベクトルが分類されている。各クラスｊは、クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。各個人顔向き判別空間γ１〜γ１０は、１５０人の各顧客毎に予め作成されており、１次個人識別工程での推定結果に応じて選択される。
【００７０】
個人顔向き推定工程として、次に、各候補者毎に、その個人顔向き判別空間γ１〜γ１０に線形写像した来店客の特徴ベクトルｙ３が、クラス１〜クラス３５のいずれに属するかを判別する。そして、判別されたクラスｊに分類された特徴ベクトルが取得された顔画像データの顔向き方向が、その候補者が来店客であった場合の顔向き方向であると推定する。
【００７１】
来店客の特徴ベクトルｙ３が属するクラスｊの判別は、この特徴ベクトルｙ３と、各クラスの平均特徴ベクトルＣ（１）〜Ｃ（ｊ）〜Ｃ（３５）とのユークリッド距離ｓ３（１）〜ｓ３（３５）が最小となるものを求めることで行う。なお、各クラス１〜クラス３５の平均特徴ベクトルＣ（１）〜Ｃ（３５）は予め求められており、１次個人識別工程での推定結果に応じて選択される。
【００７２】
（２次個人識別工程）　次に、２次個人識別工程では、１次個人識別で推定した各候補者毎に、個人顔向き推定で推定したその候補者の顔向き方向から取得した顔画像の特徴ベクトルと、来店客の特徴ベクトルとを用いて、最終的な顧客を全ての候補者内から線形判別分析によって推定する。
【００７３】
２次個人識別工程として、先ず、来店客の特徴ベクトルを、個人顔向き推定工程で各候補者毎に推定された顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、２次個人判別空間δという。）に線形写像する。
【００７４】
２次個人判別空間δは、前記各顔画像データの特徴ベクトルが、この各特徴ベクトルから求めた係数行列を用いて線形写像された線形空間である。２次個人判別空間δでは、線形写像された各特徴ベクトルが、１０人の各候補者に対応して生成されているクラス１〜クラス１０に分類されている。各クラスｊ（１≦ｊ≦１０；ｊは自然数）には、そのクラスｊに分類された候補者の一人について推定された１つの顔向き方向で撮像された１０の顔画像データの特徴ベクトルが分類されている。各クラスｊは、クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。２次個人判別空間δは、顔画像認識処理の実行毎に、個人顔向き推定工程での推定結果に応じて作成される。これは、顔向き判別空間、１次個人判別空間、及び、個人顔向き判別空間に比較して、その組み合わせ数が著しく多いためである。
【００７５】
２次個人識別工程として、次に、２次個人判別空間δに線形写像した未知顔画像の特徴ベクトルｙ４が、クラス１〜クラス１０のいずれに属するかを判別する。そして、判別したクラスｊに分類されている特徴ベクトルが取得された顔画像データが撮像された候補者を、最終的な顧客であると推定する。
【００７６】
未知顔画像の特徴ベクトルｙ４が属するクラスｊの判別は、この特徴ベクトルｙ４と、各クラスｊの平均特徴ベクトルＤ（１）〜Ｄ（ｊ）〜Ｄ（１０）とのユークリッド距離ｓ４（１）〜ｓ４（ｊ）〜ｓ４（１０）が最小となるものを求めることで行う。
【００７７】
各クラス１〜１０の平均特徴ベクトルＤ（１）〜Ｄ（１０）は、顔画像認識処理毎に、個人顔向き推定工程で推定された各候補者毎の顔向き方向に属する特徴ベクトルから求められる。
【００７８】
以上の各工程からなる顔画像データ比較抽出の処理（Ｓ５）によって、任意の顔向き方向で撮像された来店客の顔画像が、予め顔画像が登録されている顧客内から抽出される。
【００７９】
このようにして顔画像データ比較抽出の処理（Ｓ５）で抽出された候補者を表示装置１１の画面に一覧表示する（Ｓ６）。ここで、図５は、表示装置１１の画面に複数の候補者の顔画像が一覧表示された候補者一覧表示画面Ｐ１を示す図である。顔画像認識用顔画像ＤＢ７から抽出された各候補者１〜５の顔画像Ｃ１〜５は、来店客（未知顔）の顔画像Ｕ１と比較ができるように一覧表示される。図５では、候補者が５名の例を示しているが、前述の説明のように１０名としてもよいし、人数を定めず一定の基準以上の一致度の候補者を全て表示するようにしてもよい。なお候補者が多数あり、１ページで表示できない場合は、図示しない「次頁ボタン」を操作すれば、他の候補者が表示されるようにする。ここでは、１頁だけであるので「次頁なし」Ｐ１ａが表示される。顔画像Ｃ１には、氏名Ｃ１ａが表示され、顔画像とともに来店客の特定するための情報を販売員に与える。販売員は来店客の顔画像Ｕ１を候補者１〜５の顔画像Ｃ１〜Ｃ５と比較しながら、表示された氏名Ｃ１ａなども参考に同一人物か否かを判断する。
【００８０】
ここで、顧客選択の処理（Ｓ８）が行われる。顧客選択の処理（Ｓ８）は、候補者一覧表示画面Ｐ１（図５）が表示されているときに、コンピュータ１４が販売員の入力装置１２による操作を待つ処理である。販売員が来店客（未知顔）をいずれかの候補者と判断した場合には、候補者１〜候補者５の選択ボタンＣ１ｂ，Ｃ２ｂ，Ｃ３ｂ，Ｃ４ｂ，Ｃ５ｂのいずれかを操作すると、販売員の選択の意思をコンピュータ１４が認識する。また、来店客がいずれの候補者とも一致しない場合は、新規登録として画面上に表示された「新規登録」ボタンＰ１ｂを操作することで新規登録であることをコンピュータ１４が認識する。なお、フローチャートには図示を省略したが、例えば販売員自身の画像など登録したくない場合には、「次処理」ボタンＰ１ｃにより、次の画像入力の処理（図２；Ｓ１）に進む。また、「終了」ボタンＰ１ｄを操作すれば、処理を終了する（図３；終了）。
【００８１】
次に、コンピュータ１４は、該当者ありか否かを判断する（Ｓ９）。顧客選択（Ｓ８）で、一定の候補者が選択され、入力装置１２から候補者１〜候補者５の選択ボタンＣ１ｂ〜Ｃ５ｂのいずれかが操作された場合は、該当者ありと判断し（Ｓ９；ＹＥＳ）、顔画像認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）を行う。一方、候補者一覧表示画面Ｐ１（図５）に該当する候補者がいないときは、販売員は新規登録ボタンＰ１ｂを操作することで、コンピュータ１４は該当者なしと認識して（Ｓ９；ＮＯ）、新規登録の処理（Ｓ１３）に移行する。新規登録の処理（Ｓ１３）については後述する。
【００８２】
ここで、図４は、顔認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）のサブルーチンを詳細に示すフローチャートである。以下このフローチャートに沿って詳細に説明する。顔画像認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）が開始されると、選択ボタンＣ１ｂ〜Ｃ５ｂが操作された候補者のデータと入力された顔画像を比較可能に表示する（Ｓ１０１）。
【００８３】
ここで、図６は、表示装置１１の画面に選択された単一の候補者のデータと入力された顔画像を比較可能に表示する候補者詳細表示画面Ｐ２を示す図である。本発明の顧客情報管理プログラムによりコンピュータ１４が候補者詳細表示画面Ｐ２を表示させる本発明の詳細画面表示手段として機能させられる。顔認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）では選択された候補者のデータと入力された顔画像を比較可能に表示する処理（以下「詳細表示の処理」という。）（Ｓ１０１）が実行される。詳細表示の処理（Ｓ１０１）では、図５に示す候補者一覧表示画面Ｐ１から、入力装置１２から顧客選択の処理（Ｓ８）において、選択ボタンＣ１ｂ〜Ｃ５ｂが操作されて選択された顧客の図６に示す候補者詳細表示画面Ｐ２が表示される。
【００８４】
図６に示すような候補者詳細表示画面Ｐ２では、選択された候補者１の顔画像がＵ２〜Ｕ１３まで１２枚表示されている。これらは、顔画像データに付加された時間情報に基づいた登録された日時（若しくは所定の処理なされた日時）から、顔向きに拘わらず、経過時間の少ないもの、つまり新しい順に表示される。また、「次頁」ボタンＰ２ａをマウスで操作すればさらに古い顔画像が表示される。なお、顔向きボタンＰ２ｅを操作すれば、顔画像データ比較抽出の処理（Ｓ５）において個人顔向き推定工程で推定されたものと同一の顔向きの候補者の顔画像の一覧画面（図示を省略）が表示される。
【００８５】
次に、コンピュータ１４は、比較結果入力の処理（Ｓ１０２）により、入力待ちの状態になる。ここでは、候補者詳細表示画面Ｐ２（図６）が表示されているときに、来店客の顔画像Ｕ１が詳細表示された顧客と一致すると販売員が判断した場合は、「登録」ボタンＰ２ｃを操作する。一方、候補者詳細表示画面Ｐ２で来店客と比較したが同一の顧客とは判断されず、且つ候補者一覧表示画面Ｐ１で他の顧客を再度確認したいと販売員が判断した場合は、「もどる」ボタンＰ２ｂを操作する。これらの入力操作により、コンピュータ１４が比較結果を認識する。
【００８６】
このように販売員が入力装置１２から顧客を比較した結果を入力すると（Ｓ１０２）、同一人物か否かがコンピュータ１４により判断される（Ｓ１０３）。すなわち、候補者詳細表示画面Ｐ２において登録ボタンＰ２ｃが操作されたか、或いは戻るボタンＰ２ｂ若しくは新規登録ボタンＰ２ｂが操作されたかがコンピュータ１４により判断される。同一人物と判断された場合、すなわち登録ボタンＰ２ｃが操作された場合は（Ｓ１０３；ＹＥＳ）、入力された顔画像を記憶する処理（Ｓ１０４）が行われる。ここでは、前述のように入力された来店客の顔画像Ｕ１の顔画像データから学習データが生成されるとともに、顔画像データから抽出された顔領域の顔画像から表示用のデータが生成される。また、これらのデータには登録時間情報が付加されている。これらのデータは、顔画像認識用顔画像ＤＢ７に既に記憶された顧客のデータとの更新用に一時保管される（以下更新用データという。）。前述の候補者一覧表示画面Ｐ１の選択ボタンＣ１ｂ〜Ｃ５ｂの操作及びこの候補者詳細表示画面Ｐ２の「登録」ボタンＰ２ｃの操作が本発明の表示された候補者の選択についての所定コマンドの入力に相当する。
【００８７】
そして、リスト用顔画像編集（Ｓ１０５）を行う。ここで、図７は、顔画像認識用顔画像ＤＢ７に既に記憶された顧客のデータの更新を行う更新画面Ｐ３を示す図である。更新画面Ｐ３には、来店客の顔画像Ｕ１の顔画像データから生成された更新用データである顔画像と、既に顔画像認識用顔画像ＤＢ７に記憶されている顧客の顔画像（既知データという。）の一覧が表示される。ここでは、顔向き毎に記憶されている既知データの最新の顔画像Ｄ１１，Ｄ１２…の一覧が表示される。登録のない顔向きはブランクになる。そして、未知顔画像認識（Ｓ４）の個人顔向き推定工程で推定された顔向きの既知データが太枠で強調して表示される。
【００８８】
この状態から、「自動」ボタンＰ３ａを操作すれば、更新用データがこの顔向きのデータとして追加される。既にその顔向きに既知データの登録が所定数、例えば１０以上ある場合は、その顔向きの最も古い既知データが削除され、更新用データが新規に既知データとして追加される。
【００８９】
ここで、個人顔向き推定工程で推定された顔向きが誤っていると判断した場合は、マウスで正しい顔向きを選択し、自動ボタンＰ３ａを操作すれば、更新用データがこの選択された顔向きのデータとして追加される。なお、この場合も所定数を超えた場合は、新たに表示された顔向きの最も古い既知データが削除される。更新ＯＫの場合（Ｓ１０６；ＹＥＳ）には、「終了」ボタンＰ３ｃを操作すると顔画像認識用顔画像ＤＢ７追加・更新の処理（図３；Ｓ１０）が終了する（リターン）。
【００９０】
また、「全表示」ボタンＰ３ｂを操作すると、現在太枠で表示されている顔向きの既知データの全てが顔向き表示画面Ｐ４で表示される。ここで、図８は、顔向き表示画面Ｐ４を示す図である。ここには更新用データの顔画像Ｕ１と、選択された顔向きと同一の既知データの顔画像Ｄ２４ａ〜Ｄ２４ｊが新しい順に全て表示される。なお、図８では、既知画像としての登録数が６枚である場合を示している。ここで、時間的な新しさのみならず、撮影状態が悪く最もデータとして不適切なものをマウスで指定して、入替えボタンＰ４ａを操作することで更新用データと入替えることができる。また、「前へ」ボタンＰ４ｄを操作して、選択した顔画像の参照の優先順位を上げたり、「後へ」ボタンＰ４ｅを操作して、選択した顔画像の参照の優先順位を下げたりすることができる。このように入れ替えることで、最も特徴が現れた、若しくは最も撮影の状態のよい顔画像の特徴ベクトルを参照して、識別精度を高めることができる。ベクトル更新ＯＫの場合（Ｓ１０６；ＹＥＳ）には、「終了」ボタンＰ３ｃを操作すると顔画像認識用顔画像ＤＢ７追加・更新の処理（図３；Ｓ１０）が終了する（リターン）。なお、更新ＯＫではない場合（Ｓ１０６；ＮＯ）、例えば顔向きの認識が誤っていると思ったときは、「もどる」ボタンＰ４ｂで、更新画面Ｐ３に戻り、顔向きを変更する。
【００９１】
ここで、同一人物でない場合（図４；Ｓ１０３；ＮＯ）、新規登録か否かが判断され（Ｓ１０７）、「新規登録」ボタンＰ２ｂが操作され新規登録と判断された場合は（Ｓ１０７；ＹＥＳ）、接続子Ｄを介して図３の新規登録の処理（Ｓ１３）に移行する。また、新規登録ではない場合（Ｓ１０７；ＮＯ）、つまり「もどる」ボタンＰ２ｂが操作されたと判断された場合は、接続子Ｂを介して図２の候補者一覧表示の処理（Ｓ６）にもどり、候補者一覧表示画面Ｐ１が表示され、再び来店客が既知の顧客か否かが判断される。
【００９２】
図３のＳ９で該当者なし（Ｓ９；ＮＯ）と判断された場合、若しくは図４のＳ１０７で新規登録（Ｓ１０７；ＹＥＳ）と判断された場合は、新規登録の処理（図３；Ｓ１３）が実行される。新規登録の処理（Ｓ１３）では、入力された来店客の顔画像データに基づいて、前述の学習データ取得の処理が行われ、顔画像認識用顔画像ＤＢ７に新たな顧客としてデータが蓄積される。また、この学習データと関係付けられた顧客データのレコードが新たに生成されて顧客データＤＢ６に記憶される。
【００９３】
顔画像認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）、若しくは新規登録の処理（Ｓ１３）が終了すると、次に、顧客データ表示の処理（Ｓ１１）を行う。顧客データ表示の処理（Ｓ１１）では、更新、新規作成された学習データに関係付けられて顧客データＤＢ６に記憶された顧客データが表示される。ここで、図９は顧客データ表示画面Ｐ５を示す図である。本発明の顧客情報管理プログラムにより顧客データ表示画面Ｐ５を表示させるコンピュータ１４が顧客管理情報表示手段として機能させられる。顧客データ表示画面Ｐ５には、住所、ＴＥＬ、年齢、勤務先、来店履歴、備考などの顧客に関する個人情報などが顧客データＤＢ６から読み出されて表示される。もちろん表示される項目はこれに限らずＰＯＳ１３（図１参照）のホストコンピュータから転送されたデータなどを表示するようにしてもよい。新規登録（Ｓ１３）の場合や、顧客データに追加や変更がある場合は、「編集」ボタンＰ５ｂを操作すると編集モードとなり、各項目の追加、変更ができる。また、画像Ｐ５ａは、最新の顔画像が自動的に抽出されて表示される。この画像Ｐ５ａは、フローチャートでの説明は省略したが更新画面Ｐ３や顔向き表示画面Ｐ４からさらに適切な顔画像があればそれを選択して表示させることもできる。編集終了したい場合、さらに次の画像を入力・処理したい場合には「次処理」ボタンＰ５ｃを操作し、処理を終了したい場合には「終了」ボタンＰ５ｄを操作する。コンピュータ１４は、処理終了か否かを判断する（Ｓ１２）。ここでは、「次処理」ボタンＰ５ｃを操作したときは、処理終了ではない（Ｓ１２；ＮＯ）として接続子Ａを介して図２の画像入力の処理Ｓ１に移行し、次の顔画像データの入力処理を行う。「終了」ボタンＰ５ｄを操作したときは、処理終了と認識して（Ｓ１２；ＹＥＳ）、メインルーチンを終了する（図３；終了）。
【００９４】
上記実施形態の顧客情報管理システム１によれば、以下のような作用・効果を得ることができる。
・　本実施形態の顧客情報管理システム１では、コンピュータ１４（データベース更新手段）により選択された候補者の顔画像認識用顔画像ＤＢ７の顔画像データを更新するため、既知の顧客の顔画像データが逐次更新される。そのため、最新の顔画像データにより候補者の抽出の精度を高めることができるという効果がある。
【００９５】
・　また、本実施形態では、候補者抽出手段であるコンピュータ１４における抽出が複数の顧客によって行えるため、単数の顔画像データに基づいた抽出に比較して精度をさらに高めることができるという効果がある。
【００９６】
・　本実施形態では、顧客顔画像更新手段であるコンピュータ１４による更新が、表示された候補者の選択についての所定コマンドの入力に基づいて行われるため、確度の高い情報に基づいて更新が行われ、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【００９７】
・　本実施形態では、蓄積されている顔画像データの登録時間情報が記憶されているため、より新しい情報に基づいた更新ができ、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【００９８】
・　本実施形態では、古くなった顔画像情報のウエイト付けを減少させ若しくは廃棄することで、古いデータによる影響を小さくして、候補者抽出手段であるコンピュータ１４における抽出の精度をさらに高めることができるという効果がある。
【００９９】
・　本実施形態では、必要以上のデータサイズの大きな画像データの整理を行って、顧客顔画像データベースの記憶容量が大きくなりすぎないようにし、システムの負担を小さくすることができるという効果がある。
【０１００】
・　本実施形態では、顔画像認識用顔画像ＤＢ７は、所定の撮像角度により分類されて顧客の顔画像データが記憶されているため、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【０１０１】
・　本実施形態では、登録された時間情報に関係付けられて顔画像データが記憶されるため、候補者抽出手段であるコンピュータ１４における抽出の精度をさらに高めることができるという効果がある。
【０１０２】
・　本実施形態では、新規の来店客を新たな顧客として追加できるため、この来店客が再度来店したときでも候補者抽出手段であるコンピュータ１４における抽出の精度をさらに高めることができるという効果がある。
【０１０３】
・　本実施形態では、選択された候補者の顔画像データが複数ある場合は、その選択された顧客の複数の顔画像を詳細画面表示手段であるコンピュータ１４により候補者詳細表示画面Ｐ２（図６参照）に表示させる。そのため、候補者の選択がより正確にでき、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【０１０４】
・　本実施形態では、顧客管理情報表示手段であるコンピュータ１４により選択された顧客の来店履歴を含む顧客管理情報を顧客データＤＢ６から抽出して表示するため、顧客管理が容易になるという効果がある。
【０１０５】
なお、上記実施形態は以下のように変更してもよい。
○　本実施形態においては、顔画像認識方法について、最適な方法として特願２００１―３４７４７８号において本発明者が提案した方法を採用しているが、本発明は、この方法に限定されるものではない。本発明は、蓄積した顔画像から未知の画像を推定する顔画像認識方法であれば、この認識のベースとなる情報の更新などに適用することができる。
【０１０６】
○　また、本発明は、販売店の顧客管理を例に説明しているが、顔画像を利用した人員管理などに広く応用できるものである。
【０１０７】
【発明の効果】
以上、詳述したように、本願発明の顧客情報管理装置では、顧客識別情報を容易に得ることができ、それでいて高い個人識別率を得ることができるという効果がある。
【図面の簡単な説明】
【図１】顧客情報管理システム１のハード構成の概略を示すブロック図。
【図２】図３とともに顧客情報管理システム１の処理のメインルーチンを示すフローチャート。
【図３】図２とともに顧客情報管理システム１の処理のメインルーチンを示すフローチャート。
【図４】顔認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）のサブルーチンを詳細に示すフローチャート。
【図５】表示装置１１の画面に複数の候補者の顔画像が一覧表示された候補者一覧表示画面Ｐ１を示す図。
【図６】表示装置１１の画面に選択された単一の候補者のデータと入力された顔画像を比較可能に表示する候補者詳細表示画面Ｐ２を示す図。
【図７】顔画像認識用顔画像ＤＢ７に既に記憶された顧客のデータの更新を行う更新画面Ｐ３を示す図。
【図８】顔向き表示画面Ｐ４を示す図。
【図９】顧客データ表示画面Ｐ５を示す図。
【符号の説明】
１…顧客情報管理システム、２…ＣＰＵ、３…ＲＡＭ、４…ＲＯＭ、５…インタフェイス、６…顧客データＤＢ、７…顔画像認識用顔画像ＤＢ、８…ＨＤＤ、９…撮像手段、１０…顔画像蓄積手段、１１…表示装置、１２…入力装置、１３…ＰＯＳ、１４…コンピュータ
【図１】
2004086625.tif 000003
【図２】
2004086625.tif 000004
【図３】
2004086625.tif 000005
【図４】
2004086625.tif 000006
【図５】
2004086625.tif 000007
【図６】
2004086625.tif 000008
【図７】
2004086625.tif 000009
【図８】
2004086625.tif 000010
【図９】
2004086625.tif 000011