(57)【要約】【課題】本発明が解決しようとする課題は、担当者が、短い時間で多大な負担なく、消去する画像を抽出することができる、顔識別装置およびプログラムを提供することである。【解決手段】実施形態の顔識別装置は、カメラが撮像した画像を入力する第１画像入力手段と、前記第１画像入力手段によって入力された画像に含まれる人物の顔を識別する顔識別手段と、前記識別した人物の顔画像を記憶部に記憶する記憶手段と、顔画像の消去要求操作に対応してカメラが撮像した画像を入力する第２画像入力手段と、前記第２画像入力手段によって入力された画像に基づいて識別した顔の顔画像と類似度が高い顔画像を前記記憶部から抽出する抽出手段と、前記抽出した顔画像を前記記憶部から消去する消去手段と、を備える。【選択図】図７
2016021184.tif 000002
【特許請求の範囲】
【請求項１】
カメラが撮像した画像を入力する第１画像入力手段と、
前記第１画像入力手段によって入力された画像に含まれる人物の顔を識別する顔識別手段と、
前記識別した人物の顔画像を記憶部に記憶する記憶手段と、
顔画像の消去要求操作に対応してカメラが撮像した画像を入力する第２画像入力手段と、
前記第２画像入力手段によって入力された画像に基づいて識別した顔の顔画像と類似度が高い顔画像を前記記憶部から抽出する抽出手段と、
前記抽出した顔画像を前記記憶部から消去する消去手段と、
を備える顔識別装置。
【請求項２】
前記識別された同一人物の前記顔画像の正面を向いている程度を判断する正面度判断手段、
をさらに備え、
前記記憶手段は、前記正面度判断手段によって最も正面を向いていると判断された顔画像を記憶し、
前記第２画像入力手段は、前記カメラが正面を向いている程度が高い顔画像を撮像して入力し、
前記抽出手段は、前記記憶している最も正面を向いている顔画像と前記入力された正面を向いている程度が高い顔画像とに基づいて前記顔画像の類似度が高い顔画像を抽出する、
請求項１に記載の顔識別装置。
【請求項３】
客用表示部と、
前記抽出した顔画像を前記客用表示部に表示する客用表示手段と、
前記表示された顔画像の消去を承認する消去承認手段と、
をさらに備え、
前記消去手段は、前記顔画像の消去が承認された場合に、前記承認した顔画像を前記記憶部から消去する、
請求項１または２に記載の顔識別装置。
【請求項４】
店員用表示部と、
前記抽出した顔画像を前記店員用表示部に表示する店員用表示手段と、
前記店員用表示部に表示された顔画像の前記客用表示部への表示を承認する表示承認手段と、
をさらに備え、
前記客用表示手段は、前記表示が承認された前記顔画像を前記客用表示部に表示する、
請求項３に記載の顔識別装置。
【請求項５】
前記店員用表示部に表示された顔画像から前記客用表示部に表示する顔画像を選択する選択手段、
をさらに備え、
前記表示承認手段は、前記選択手段によって選択された顔画像の前記客用表示部への表示を承認する、
請求項４に記載の顔識別装置。
【請求項６】
コンピュータを、
カメラが撮像した画像を入力する第１画像入力手段と、
前記第１画像入力手段によって入力された画像に含まれる人物の顔を識別する顔識別手段と、
前記識別した人物の顔画像を記憶部に記憶する記憶手段と、
顔画像の消去要求操作に対応してカメラが撮像した画像を入力する第２画像入力手段と、
前記第２画像入力手段によって入力された画像に基づいて識別した顔の顔画像と類似度が高い顔画像を前記記憶部から抽出する抽出手段と、
前記抽出した顔画像を前記記憶部から消去する消去手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、顔識別装置及びプログラムに関する。
【背景技術】
【０００２】
近年、百貨店やスーパーマーケット等の店舗の運営者は、店舗内に設置されたカメラ等で撮像した店内通行人の顔を顔識別して追跡することで、店内の防犯を実行している。また運営者は、追跡情報をデータベース化して、通行人の店舗内での通行パターンを把握しようとしている。
【０００３】
ところが、通行人が、許可なく撮像されることを嫌って、店員に対して、撮像された当人の画像の消去を求めることがある。このような場合、店員は、通行人が通った通路や時間等に基づいて、記憶された多くの記憶画像から該当する人物の画像を探し出して、消去作業を行っていた。そのため、店員は、該当画像の抽出と削除に多くの時間と多大な負担を強いられていた。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、店員が、短い時間で多大な負担なく、画像を抽出して削除することができる、顔識別装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の顔識別装置は、カメラが撮像した画像を入力する第１画像入力手段と、前記第１画像入力手段によって入力された画像に含まれる人物の顔を識別する顔識別手段と、前記識別した人物の顔画像を記憶部に記憶する記憶手段と、顔画像の消去要求操作に対応してカメラが撮像した画像を入力する第２画像入力手段と、前記第２画像入力手段によって入力された画像に基づいて識別した顔の顔画像と類似度が高い顔画像を前記記憶部から抽出する抽出手段と、前記抽出した顔画像を前記記憶部から消去する消去手段と、を備える。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態の各装置の接続関係を示すシステム図である。
【図２】図２は、ＳＣのハードウェア構成を示すブロック図である。
【図３】図３は、ＳＣのメモリ部のメモリ構成を示すメモリマップである。
【図４】図４は、ＳＣのメモリ部のメモリ構成を示すメモリマップである。
【図５】図５は、ＳＣのメモリ部のメモリ構成を示すメモリマップである。
【図６】図６は、ＳＣの機能構成を示す機能ブロック図である。
【図７】図７は、ＳＣの制御処理を示すフローチャートである。
【図８】図８は、ＳＣの制御処理の一部を示すフローチャートである。
【図９】図９は、ＳＣの制御処理の一部を示すフローチャートである。
【図１０】図１０は、ＳＣの制御処理の一部を示すフローチャートである。
【図１１】図１１は、ＳＣの店員用表示部が表示する表示例を示す図である。
【図１２】図１２は、ＳＣの客用表示部が表示する表示例を示す図である。
【発明を実施するための形態】
【０００７】
以下、図１〜図１２を参照して、実施形態の顔識別装置およびプログラムを詳細に説明する。なお、以下に説明する実施形態では、百貨店やスーパーマーケット等の店舗に設置されたストアコンピュータ（ＳＣ）を顔識別装置の一例として説明するが、実施形態によりこの発明が限定されるものではない。
【０００８】
図１は、実施形態に係るシステムの各装置の接続関係を示すシステム図である。図１において、システムは、ＳＣ（Store  Computer）１、ＰＯＳ（Point  of  Sales）端末２、複数台のカメラ３を備えている。これらの装置は、例えばＬＡＮ（Local  Area  Network）のような通信回線５を介して互いに接続されている。
【０００９】
ＰＯＳ端末２は、店舗での顧客が購入した商品について販売登録処理を実行する。また、ＰＯＳ端末２は、販売登録処理を実行した商品に係る商品販売登録情報を生成し、通信回線５を介してＳＣ１に送信する。
【００１０】
ＳＣ１は、ＰＯＳ端末２が売上げた商品の売上情報を収集して管理する。また、ＳＣ１は、店舗で販売する商品の価格や商品名等の商品情報を記憶する。また、ＳＣ１は、カメラ３が撮像した画像を入力して記憶し、店舗内を通行する人物を追跡して管理する。
【００１１】
店舗の運営者は、一般的に、店内を通行する人物に事前に了解を得ることなくカメラ３で店内を撮像している。そのため、カメラ３によって撮像された人物が、自身が撮像されていることを知り、撮像した画像のうち自分が写っている画像の消去を要求することがある。店舗の運営者は、カメラ３が撮像した画像について、当該人物から削除の申し出があった場合、当該画像を抽出して削除する。
【００１２】
カメラ３は、店舗内を通行する人物を撮像できるよう、例えば通路付近の天井等に、一定間隔置きに通路に沿って複数台設置されている。カメラ３は、通路を通行する人物をほぼ正面から撮像できる位置に設置されている。設置された複数台のカメラ３は、人物が来店してから退店するまでの通行経路を撮像する。実施形態では、店内の通路に沿ってｎ台のカメラ３が設置されており、これらのカメラ３が、店内を通行する人物Ｐ１を撮像する。
【００１３】
図２は、ＳＣ１のハードウェア構成を示すブロック図である。図２において、ＳＣ１は、制御主体となるＣＰＵ（Central  Processing  Unit）１１、各種プログラムを記憶するＲＯＭ（Read  Only  Memory）１２、各種データを展開するＲＡＭ（Random  Access  Memory）１３、各種プログラムを記憶するメモリ部１４等を備えている。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラム１４１に従って動作することによって、後述する制御処理を実行する。
【００１４】
ＲＡＭ１３は、制御プログラム１４１を初めとする各種プログラムを展開する他、カメラ３で撮像された画像をメモリ部１４に記憶するまで一時的に記憶する。
【００１５】
メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard  Disc  Drive）やフラッシュメモリ等の不揮発性メモリであって、制御プログラム１４１を含むプログラム等を記憶する。また、メモリ部１４は、フレーム記憶部１４２、特定人記憶部１４３、削除人物記憶部１４４、削除対象記憶部１４５を有する。フレーム記憶部１４２は、カメラ３が撮像した画像を入力し、顔識別したフレームをフレーム毎に記憶する。特定人記憶部１４３は、例えば現在罪を犯して警察から手配されている特定人の顔画像をパーツ毎に記憶し、特定人の顔を特定できる。削除人物記憶部１４４は、カメラ３が撮像した撮像画像の消去を申し出た人物の顔画像を記憶する。削除対象記憶部１４５は、削除の対象となる画像を記憶する。なお、フレームとは、入力された画像の単位をいう。
【００１６】
また、データバス１５には、操作部１７、店員用表示部１８、客用表示部１９、撮像部２０が、コントローラ１６を介して接続されている。
【００１７】
操作部１７は、数字を置数するテンキーや各種ファンクションキー等を備えている。操作部１７は、カメラ３が撮像した撮像画像の消去を開始するための消去キー１７１を備えている。
【００１８】
店員用表示部１８は、表示画面を店員に向けて設置されている。店員用表示部１８は、各種情報等の他、カメラ３から入力した店内の画像を表示する。店員用表示部１８は、カメラ３が撮像した画像を表示する。店員用表示部１８は、削除を要求した人物の画像を表示する。店員用表示部１８は、カメラ３が撮像した店舗の画像から抽出された、削除を要求した人物の画像を表示する。
【００１９】
客用表示部１９は、表示画面を客である人物に向けて設置されている。客用表示部１９は、各種情報等の他、削除を要求した人物の画像を表示する。客用表示部１９は、カメラ３が撮像した店舗の画像から抽出された、削除を要求した人物の画像を表示する。
【００２０】
撮像部２０は、撮像された自分の画像の削除を要求する人物の顔画像を撮像するカメラ２０１を含む撮像機能を備えている。カメラ２０１は、撮像された自分の画像の削除を要求する人物の略正面の顔画像を撮像できるよう、当該人物が立つ位置に当該人物に向けて設置されている。撮像部２０は、カメラ２０１が撮像した顔画像をコントローラ１６に送信する。
【００２１】
また、データバス１５は、ＬＡＮＩ／Ｆ（Interface）等の通信Ｉ／Ｆ１９を接続している。通信Ｉ／Ｆ１９は、通信回線５と接続している。通信Ｉ／Ｆ１９は、カメラ３で撮像された画像を受信する。
【００２２】
図３は、フレーム記憶部１４２を示すメモリマップである。フレーム記憶部１４２は、カメラ３から入力された画像に基づいて顔識別された人物の各パーツの撮像画像を、識別された各人物に対応してパーツ毎に記憶している。
【００２３】
顔識別技術は、人物の顔を識別する公知な技術であり、顔認識した顔を、目、鼻、口、アゴ等の各パーツに分けて、各パーツの画像情報に基づいて当該顔認識した顔のパーツの特徴をとらえることで、全体として個人の顔を識別する。なお、顔認識技術は、入力された画像から人物の目、鼻、口等の存在を認識して、人物の顔であることを認識する公知な技術である。なお、顔のパーツは、顔が識別できる特徴的な部分であればよく、必ずしも目、鼻、口、アゴのすべてに基づく必要はない。また、目、鼻、口、アゴに他のパーツを加えてもよい。さらに、目、鼻、口、アゴに限らず、他の顔のパーツであってもよい。
【００２４】
図３において、フレーム記憶部１４２は、フレーム番号部１４２１、人物部１４２２、目部１４２３、鼻部１４２４、口部１４２５、アゴ部１４２６を有している。フレーム番号部１４２１は、入力されたフレームを特定するためのフレーム番号を記憶する。フレーム番号は、入力された画像に自動的に付される。人物部１４２２は、入力された画像から識別された、当該画像に写っていた人物の画像を個人毎に記憶する。図３の例では、人物Ｐ１、人物Ｐ２、人物Ｐ３の３人の顔が識別されて記憶されている。なお、目部１４２３、鼻部１４２４、口部１４２５、アゴ部１４２６を総称してパーツ部１４２７という。
【００２５】
目部１４２３は、識別された顔のパーツのうち目の画像情報を記憶する。鼻部１４２４は、識別された顔のパーツのうち鼻の画像情報を記憶する。口部１４２５は、識別された顔のパーツのうち口の画像情報を記憶する。アゴ部１４２６は、識別された顔のパーツのうちアゴの画像情報を記憶する。例えば、ＳＣ１の制御部１００は、人物Ｐ１に対応して記憶されたパーツである目、鼻、口、アゴの各画像情報の特徴をとらえることで、人物Ｐ１の顔の特徴を把握する。同様に、制御部１００は、人物Ｐ２、人物Ｐ３の顔の特徴を把握する。このようにして、制御部１００は各人物の顔を識別する。
【００２６】
なお、制御部１００は、フレームが入力される毎に、入力して顔識別をした顔とフレーム記憶部１４２のパーツ部１４２７に過去に記憶されている各パーツとを比較し、これらが同一の顔であることを識別した場合、公知の技術を用いて、どちらの顔がより正面を向いているかの判断を実行する。そして、制御部１００は、より正面を向いていると判断した正面顔画像を選択してフレーム記憶部１４２に記憶する。すなわち、フレーム記憶部１４２は、同一人物の顔画像はより正面を向いた画像を記憶する。なお、制御部１００は、同一人物についての連続した画像の入力が一旦途切れた場合、その後再度入力された同一人物の画像を、別人物と判断する場合もある。
【００２７】
図４は、削除人物記憶部１４４を示すメモリマップである。削除人物記憶部１４４は、撮像部２０が撮像した、自分の画像の削除を要求する人物の顔画像を記憶する。削除人物記憶部１４４は、フレーム番号部１４４１、人物部１４４２、目部１４４３、鼻部１４４４、口部１４４５、アゴ部１４４６を有する。フレーム番号部１４４１は、フレーム記憶部１４２と同様に、入力された画像のフレーム番号を記憶する。人物部１４４２は、撮像された人物の画像を記憶する。目部１４４３は、識別した顔の目の画像情報を記憶する。鼻部１４４４は、識別した顔の鼻の画像情報を記憶する。口部１４４５は、識別した顔の口の画像情報を記憶する。アゴ部１４４６は、識別した顔のアゴの画像情報を記憶する。なお、目部１４４３、鼻部１４４４、口部１４４５、アゴ部１４４６を総称してパーツ部１４４７という。
【００２８】
図５は、特定人記憶部１４３を示すメモリマップである。特定人記憶部１４３は、特定の人物を示す特定人のパーツを記憶して、当該特定人の顔の特徴を記憶する。特定人とは、例えば万引き等の、店舗に被害や影響を及ぼすような罪を犯して、現在手配中等の人物をいう。罪を犯した特定人が来店した場合、店舗の運営者は、撮像した画像を用いて、当該特定人に対する店舗内の監視を強化する必要がある。
【００２９】
図５において、特定人記憶部１４３は、特定人部１４３１、目部１４３２、鼻部１４３３、口部１４３４、アゴ部１４３５を有している。特定人部１４３１は、特定人の氏名、年齢、性別等の人物情報を記憶する。目部１４３２は、特定人の目の画像情報を記憶する。鼻部１４３３は、特定人の鼻の画像情報を記憶する。口部１４３４は、特定人の口の画像情報を記憶する。アゴ部１４３５は、特定人のアゴの画像情報を記憶する。例えば、ＳＣ１の制御部１００は、特定人ＴＰ１の目部１４３２、鼻部１４３３、口部１４３４、アゴ部１４３５に記憶された目、鼻、口、アゴの各画像情報に基づいて、特定人ＴＰ１の顔の特徴を識別する。
【００３０】
続いて、図６〜図１２を用いて、ＳＣ１の制御処理について説明する。図６は、ＳＣ１の機能構成を示す機能ブロック図である。制御部１００が、ＲＯＭ１２やメモリ部１４に記憶された制御プログラム１４１を含む各種プログラムに従うことで、第１画像入力手段１０１、顔識別手段１０２、記憶手段１０３、第２画像入力手段１０４、抽出手段１０５、消去手段１０６、正面度判断手段１０７、客用表示手段１０８、消去承認手段１０９、店員用表示手段１１０、表示承認手段１１１、選択手段１１２として機能する。
【００３１】
画像入力手段１０１は、カメラ３が撮像した画像を入力する機能を有する。
【００３２】
顔識別手段１０２は、第１画像入力手段１０１によって入力された画像に含まれる人物の顔を識別する機能を有する。
【００３３】
記憶手段１０３は、識別した人物の顔画像を記憶部に記憶する機能を有する。
【００３４】
第２画像入力手段１０４は、顔画像の消去要求操作に対応してカメラが撮像した画像を入力する機能を有する。
【００３５】
抽出手段１０５は、第２画像入力手段によって入力された画像に基づいて識別した顔の顔画像と類似度が高い顔画像を前記記憶部から抽出する機能を有する。
【００３６】
消去手段１０６は、抽出した顔画像を前記記憶部から消去する機能を有する。
【００３７】
正面度判断手段１０７は、識別された同一人物の前記顔画像の正面を向いている程度を判断する機能を有する。
【００３８】
客用表示手段１０８は、抽出した顔画像を客用表示部１９に表示する機能を有する。
【００３９】
消去承認手段１０９は、表示された顔画像の消去を承認する機能を有する。
【００４０】
店員用表示手段１１０は、抽出した顔画像を店員用表示部１８に表示する機能を有する。
【００４１】
表示承認手段１１１は、店員用表示部１８に表示された顔画像の客用表示部１９への表示を承認する機能を有する。
【００４２】
選択手段１１２は、店員用表示部１８に表示された顔画像から前記客用表示部１９に表示する顔画像を選択する機能を有する。
【００４３】
図７は、ＳＣ１の制御処理の全体的な流れを示すフローチャートである。制御部１００は、入力された画像情報に基づいて以下の制御を実行する。
【００４４】
図７において、制御部１００は、通信Ｉ／Ｆ１９にカメラ３が撮像した撮像画像を受信したか否かを判断する（ステップＳ１１）。受信されたと判断した場合は（ステップＳ１１のＹｅｓ）、制御部１００は、タイマーをセットする（ステップＳ１２）。
【００４５】
次に制御部１００は、セットしたタイマーが予め設定された所定時間（例えば５００ｍｓ）を経過したことを計時したか否かを判断する（ステップＳ１３）。タイマーが所定時間を経過したことを計時したと判断した場合は（ステップＳ１３のＹｅｓ）、制御部１００は、ステップＳ１２でセットしたタイマーをリセットする（ステップＳ１４）。そして制御部１００（画像入力手段１０１）は、通信Ｉ／Ｆ１９に受信している撮像画像を入力する（ステップＳ１５）。そして制御部１００は、入力した撮像画像をフレーム記憶部１４２の人物部１４２２に記憶する（ステップＳ１６）。制御部１００は、撮像画像を記憶する際に、当該撮像画像を特定する固有のフレーム番号を発生させ、フレーム番号部１４２１に記憶する（ステップＳ１６）。
【００４６】
そして制御部１００は、図８に示す顔識別処理を実行する（ステップＳ１７）。図８において、制御部１００は、人物部１４２２に記憶した撮像画像について、目、鼻、口、アゴ等のパーツの有無を調査して顔認識を実行し（ステップＳ３１）、人物の顔の有無を認識する。そして制御部１００は、顔認識を実行した結果、顔があることを認識したか否かを判断する（ステップＳ３２）。顔を認識したと判断した場合は（ステップＳ３２のＹｅｓ）、制御部１００（顔識別手段１０２）は、認識した顔の各パーツの画像情報を、人物毎にフレーム記憶部１４２のパーツ部１４２７に記憶して顔識別を実行する（ステップＳ３３）。
【００４７】
そして制御部１００は、過去にフレーム記憶部１４２のパーツ部１４２７に記憶した顔画像と同一パーツを有するフレームがあるか否かを調査し、同一顔があるか否かを判断する（ステップＳ３４）。同一顔があると判断した場合は（ステップＳ３４のＹｅｓ）、制御部１００（記憶手段１０３、正面度判断手段１０７）は、両顔画像を比較し、より正面から撮像された顔画像を選択して、そのパーツをパーツ部１４２７に記憶する（ステップＳ３５）。すなわち、パーツ部１４２７は、撮像された同一人物の、最も正面画像のパーツを記憶する。なお、同一顔がないと判断した場合は（ステップＳ３４のＮｏ）、制御部１００は、当該撮像したパーツをパーツ部１４２７に記憶する。そして制御部１００は、ステップＳ１１に戻る。
【００４８】
なお、人物の顔を認識しないと判断した場合（ステップＳ３２のＮｏ）、制御部１００は、店員用表示部１８に顔認識をしていないことを示すエラーメッセージを表示する（ステップＳ３７）。また、ステップＳ３５、ステップＳ３７の処理後、制御部１００は、ステップＳ１１に戻る。
【００４９】
図７の説明に戻る。一方、カメラ３が撮像した撮像画像を受信していないと判断した場合は（ステップＳ１１のＮｏ）、制御部１００は、消去キー１７１が操作されたか否かを判断する（ステップＳ２１）。操作されたと判断した場合は（ステップＳ２１のＹｅｓ）、制御部１００は、図９で示す顔識別処理を実行し（ステップＳ２２）、その後に図１０で示す削除処理を実行する（ステップＳ２３）。そして制御部１００は、ステップＳ１１に戻る。なお、ステップＳ１３において、所定時間を経過していない場合（ステップＳ１３のＮｏ）、また、ステップＳ２１において、消去キー１７１が操作されていないと判断した場合は（ステップＳ２１のＮｏ）、制御部１００は、ステップＳ１１に戻る。
【００５０】
次に、図９のフローチャートを参照して、ステップＳ２２の顔識別処理について説明する。これは、店内に設置されたカメラ３によって撮像された人物の顔画像を削除するために、消去キー１７１が操作されたときに、制御部１００が、当該人物を撮像した顔画像を顔識別して記憶するためのフローチャートである。
【００５１】
図９において、制御部１００は、画像の削除を要求した人物の画像を、撮像部２０を制御して撮像する（ステップＳ４１）。そして制御部１００（第２画像入力手段１０４）は、撮像した当該人物の画像を入力して、削除人物記憶部１４４の人物部１４４２に記憶する（ステップＳ４２）。そして制御部１００は、人物部１４４２に記憶した画像に基づいて顔認識を実行する（ステップＳ４３）。そして制御部１００は、顔認識できたか否かを判断する（ステップＳ４４）。顔認識できたと判断した場合（ステップＳ４４のＹｅｓ）、次に制御部１００は、顔認識できた顔画像について顔のパーツ（目、鼻、口、アゴ）毎にパーツ画像を抽出してパーツ部１４４７に記憶し、顔識別処理を実行する(ステップＳ４５)。そして制御部１００は、ステップＳ２３の処理を実行する。なお、顔認識できなかった場合は（ステップＳ４４のＮｏ）、制御部１００は、ステップＳ４１に戻って再度顔を撮像する。
【００５２】
次に図１０を用いて、ステップＳ２２で記憶した顔画像に基づいて、ステップＳ２３で実行される削除処理について説明する。図１０において、制御部１００は、フレーム記憶部１４２のパーツ部１４２７に記憶しているパーツ画像を対象として、削除人物記憶部１４４のパーツ部１４４７に記憶したパーツ画像の有無の調査を実行する（ステップＳ５１）。フレーム記憶部１４２のパーツ部１４２７に記憶されているすべてのパーツを調査した結果、制御部１００が、パーツ部１４４７に記憶したパーツ画像と同一の顔画像があったか否かを判断する（ステップＳ５２）。あった場合（ステップＳ５２のＹｅｓ）、制御部１００（抽出手段１０５）は、該当するすべての顔画像を類似度が高い顔画像として抽出して削除対象記憶部１４５に記憶する（ステップＳ５３）。
【００５３】
次に制御部１００は、特定人記憶部１４３に記憶された特定人の顔画像に、ステップＳ５３で記憶した顔画像と一致する顔画像が存在するか否かを判断する（ステップＳ５４）。または、特定人記憶部１４３に記憶された特定人の顔画像に、ステップＳ４５で記憶された、削除を要求した人物の顔画像と一致する顔画像が存在するか否かを判断する（ステップＳ５４）。一致する顔画像が存在すると判断した場合は（ステップＳ５４のＹｅｓ）、制御部１００は、ステップＳ５３で記憶した顔画像の人物、またはステップＳ４５で記憶された顔画像の人物は、現在手配中の人物である可能性があるため、当該画像の消去を実行しないエラー処理を実行する（ステップＳ６２）。また、店員用表示部１８に、当該人物の画像は消去できないことを示すメッセージを表示する（ステップＳ６２）。そして制御部１００は、ステップＳ１１に戻る。
【００５４】
一方、特定人記憶部１４３に記憶された特定人の顔画像と一致しないと判断した場合は（ステップＳ５４のＮｏ）、制御部１００（店員表示手段１１０）は、ステップＳ５３で削除対象記憶部１４５に記憶された顔画像を店員用表示部１８に表示する（ステップＳ５５）。図１１に、店員用表示部１８に表示された顔画像の一例を示す。図１１において、制御部１００は、店員用表示部１８に、ステップＳ４５で記憶した顔画像１８１、ステップＳ５３で記憶した顔画像１８２、１８３、１８４を表示する。また、制御部１００は、選択ボタン１８５およびＯＫボタン１８６を表示する。店員は、表示された顔画像１８２、１８３、１８４を見て、顔画像１８１と同じであると感じた顔画像を指定して、選択ボタン１８５を操作する。制御部１００は、指定された画像を顔画像１８１と同じ顔画像を選択する。その後店員は、ＯＫボタン１８６を操作して、選択作業の終了を宣言する。
【００５５】
制御部１００（選択手段１１２）は、店員の操作に従って店員が指定操作をした顔画像を選択する（ステップＳ５６）。そして制御部１００（表示承認手段１１１）は、店員によってＯＫボタン１８６が操作されたか否かを判断する（ステップＳ５７）。ＯＫボタン１８６が操作されるまで当該画像を選択可能とし（ステップＳ５７のＮｏ）、操作されたと判断した場合（ステップＳ５７のＹｅｓ）、制御部１００（客用表示手段１０８）は、ステップＳ４５で記憶した顔画像１８１と店員によって選択された画像を、店員用表示部１８および客用表示部１９に表示する（ステップＳ５８）。
【００５６】
図１２は、ステップＳ５８において客用表示部１９に表示された顔画像の一例を示す。図１２において、制御部１００は、客用表示部１９に、ステップＳ４５で記憶した顔画像１８１、ステップＳ５６で削除されなかった顔画像１８２を表示する。また、制御部１００は、はいボタン１８７、いいえボタン１８８を表示する。この表示を見た削除を要求した人物は、客用表示部１９に表示された画像が自分の顔画像であるか否かを確認する。そして当該人物は、表示された顔画像が当該人物であると判断した場合は、当該人物は、はいボタン１８７を操作する。一方、表示された顔画像が当該人物ではないと判断した場合は、当該人物は、いいえボタン１８８を操作する。
【００５７】
制御部１００（消去承認手段１０９）は、はいボタン１８７が操作されたか否かを判断する（ステップＳ５９）。操作されたと判断した場合は（ステップＳ５９のＹｅｓ）、制御部１００（消去手段１０６）は、客用表示部１９に表示されている顔画像の情報を、フレーム記憶部１４２および削除人物記憶部１４４および削除対象記憶部１４５から削除する（ステップＳ６０）。一方、いいえボタン１８８が操作されたと判断した場合は（ステップＳ５９のＮｏ）、制御部１００は、ステップＳ５６に戻って、客用表示部１９に表示されている顔画像を再度店員用表示部１８に表示し、選択作業をやり直す。
【００５８】
なお、ステップＳ５２において、パーツ部１４４７に記憶したパーツ画像と同一の顔画像がパーツ部１４２７に記憶されていないと判断した場合は（ステップＳ５２のＮｏ）、制御部１００は、同一の顔が記憶されていないことを示すメッセージを、店員用表示部１８に表示する（ステップＳ６１）。
【００５９】
このような実施形態によれば、店内で顔を撮像された人物が、撮像画像の削除を要求した場合、制御部１００は、撮像した当該人物の画像を抽出して削除する。そのため、店内で対応する店員は、短い時間で多大な負担なく、消去する画像を抽出して削除することができる。
【００６０】
また、実施形態によれば、制御部１００は、客用表示部１９に抽出した画像を表示させ、顔の削除を要求した人物が確認ボタンを操作した場合に当該画像を削除する。そのため、顔の削除を要求した人物自身が、自らはいボタン１８７を操作したときに、制御部１００は当該人物の顔画像を削除する。
【００６１】
また、実施形態によれば、制御部１００は、店員用表示部１８に抽出された画像を一旦表示し、店員が抽出された顔画像を確認してから客用表示部１９に表示する。そのため、店員は、抽出した顔画像に他人の顔画像が混入しているか事前に確認することができる。
【００６２】
また、実施形態によれば、制御部１００は、店員用表示部１８に表示された画像から、客に表示しない画像を削除するようにし、削除後の画像を客用表示部１９に表示する。そのため、抽出した顔画像に他人の顔画像が混入している場合、店員が、事前に削除してから当該人物に見せることができる。
【００６３】
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６４】
例えば、実施形態では、カメラが撮像した画像を入力する時間間隔を５００ｍｓとしたが、精度を向上させるためにもっと短時間の時間間隔としてもよい。
【００６５】
また、実施形態では、フレーム記憶部１４２に記憶された目、鼻、口、アゴのすべてのパーツが、特定人記憶部１４３に記憶されたいずれかの人物の目、鼻、口、アゴのパーツと一致した場合に、同一顔フラグを「１」にセットしたが、すべてのパーツが一致しなくても、ある程度のパーツが一致した場合に同一顔フラグを「１」にセットするようにしてもよい。
【００６６】
また、実施形態では、選択ボタン１８５で選択された顔画像を客用表示部１９に表示するようにしたが、選択ボタン１８５で指定されなかった顔画像を選択した顔画像として客用表示部１９に表示するようにしてもよい。
【００６７】
なお、実施形態のＳＣ１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００６８】
また、実施形態のＳＣ１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態のＳＣ１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００６９】
また、実施形態のＳＣ１で実行されるプログラムを、ＲＯＭ１２等に予め組み込んで提供するように構成してもよい。
【符号の説明】
【００７０】
１  ＳＣ
３  カメラ
１１  ＣＰＵ
１４  メモリ部
１００  制御部
１０１  第１画像入力手段
１０２  顔識別手段
１０３  記憶手段
１０４  第２画像入力手段
１０５  抽出手段
１０６  消去手段
１０７  正面度判断手段
１０８  客用表示手段
１０９  消去承認手段
１１０  店員用表示手段
１１１  表示承認手段
１１２  削除手段
１４２  フレーム記憶部
１４３  特定人記憶部
１４４  削除人物記憶部
１４５  削除対象記憶部
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特開２０００−２００３５７号公報
【図１】
2016021184.tif 000003
【図２】
2016021184.tif 000004
【図３】
2016021184.tif 000005
【図４】
2016021184.tif 000006
【図５】
2016021184.tif 000007
【図６】
2016021184.tif 000008
【図７】
2016021184.tif 000009
【図８】
2016021184.tif 000010
【図９】
2016021184.tif 000011
【図１０】
2016021184.tif 000012
【図１１】
2016021184.tif 000013
【図１２】
2016021184.tif 000014