(57)【要約】      （修正有）【課題】個人認証機能に用いられるデータベースにおいて、既に登録されている人物を、気付かずに別名で登録しようとした場合に、重複登録されるのを防ぐことを可能にした画像処理装置を提供する。【解決手段】画像処理装置は、顔画像および付随情報を記憶する記憶手段と、顔画像から特徴情報を抽出する特徴情報抽出手段と、記憶手段に新たな顔画像および付随情報を登録しようとする際に、それぞれの顔画像から、特徴情報抽出手段によって抽出される特徴情報が、類似しているか判定する第１の判定手段と、既に記憶手段に登録されている人物と新たに登録しようとする人物それぞれの人物に関する付随情報が、類似しているか判定する第２の判定手段と、第１及び第２の判定手段の判定結果をもとに、同一人物かどうかを識別する識別手段と、を備え、識別手段によって同一人物であると識別された場合には、警告を行うことを特徴とする。【選択図】図２
2019008495.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔画像およびその人物に関する付随情報を記憶する記憶手段と、
顔画像から特徴情報を抽出する特徴情報抽出手段と、
前記記憶手段に新たな人物の顔画像および付随情報を登録しようとする際に、既に前記記憶手段に登録されている人物と新たに登録しようとする人物、それぞれの顔画像から、前記特徴情報抽出手段によって抽出される特徴情報が、類似しているかどうかを判定する第１の判定手段と、
既に記憶手段に登録されている人物と新たに登録しようとする人物それぞれの人物に関する付随情報が、類似しているかどうかを判定する第２の判定手段と、
前記第１及び第２の判定手段の判定結果をもとに、同一人物かどうかを識別する識別手段と、
を備え、
前記識別手段によって同一人物であると識別された場合には、警告を行うことを特徴とする画像処理装置。
【請求項２】
前記人物に関する付随情報とは、氏名や生年月日、性別、住所、電話番号、メールアドレスの少なくとも一つを示す個人情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１及び第２の判定手段の判定結果がどちらも類似していると判定された場合に、前記識別手段が同一人物であると識別することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記第２の判定手段において、既に前記記憶手段に登録されている人物と、新たに登録しようとする人物、どちらにも共通して記載されている付随情報の項目が、全て一致している場合に、類似していると判定することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記警告とは、新たに登録しようとしている人物が、既に前記記憶手段に登録されている人物と、同一人物である可能性が高いことをユーザに告知する内容であることを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人認証機能を有する画像処理装置に関する。
【背景技術】
【０００２】
従来から、カメラで撮影した画像から人物の顔を検出し、その顔画像から被認証者を識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録してある登録者の特徴情報とを比較して類似度を判定し、その判定結果に基づいて被認証者が、登録者のうちの誰と一致するかを判断する個人認証機能がある。その際、データベースには、人物毎の顔画像および名前が登録されており、さらに生年月日や住所、メールアドレス等の付随情報が登録されている場合もある。
【０００３】
特許文献１には、撮像した画像に存在する顔が、データベースに登録されている人物のいずれかと認証されると、その人物の個人情報をデータベースから読み出して表示する技術が開示されている。
【０００４】
特許文献２には、画像データから検出された顔画像データが、データベースに登録されている顔画像データのいずれかと一致すれば、その登録されている顔画像の名前および、顔画像が属するグループ名称のいずれかを認証結果とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１６５８２２号公報
【特許文献２】特開２０１０−２７０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したデータベースには、新規登録したい人物の顔画像を用意し、その顔画像と名前、さらには生年月日等の付随情報を関連付けて登録することにより、新しい人物を追加登録することが可能である。しかしこの際、同じ人物を違う名前で重複して登録してしまう場合がある。
【０００７】
図３は、既に登録されている人物にもかかわらず、気付かずに違う名前で新規登録しようとした場合を表す図である。図３（ａ）のように、データベースには既に４人の人物が登録されており、そこに新規登録人物として、「太郎さん」と名前が入力されている人物を登録しようとしている。顔画像を見ると、データベースに登録されている「山田君」と、新規登録人物である「太郎さん」は類似しており、実際は同一人物であるが、気付かずにそのまま「太郎さん」を登録してしまうと、図３（ｂ）のように、データベースには「山田君」と「太郎さん」という違う名前で登録された同一人物が存在することになる。
【０００８】
上述の例のように、データベースに登録されている名前は違うが、同一人物の顔画像が登録されている、といういわゆる重複登録が行われている場合、例えば個人認証機能付きのカメラでその重複登録されている人物を撮影した画像から、データベースをもとに個人認証が行われるとする。この場合、その人物を撮影する度に認証結果すなわち、どちらの名前で認証されるかが変わることがあり、ユーザが混乱してしまう。
【０００９】
本発明の目的は、個人認証機能に用いられるデータベースにおいて、既に登録されている人物を、気付かずに別名で登録しようとした場合に、重複登録されるのを防ぐことを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る画像処理装置は、
人物の顔画像およびその人物に関する付随情報を記憶する記憶手段と、顔画像から特徴情報を抽出する特徴情報抽出手段と、前記記憶手段に新たな人物の顔画像および付随情報を登録しようとする際に、既に前記記憶手段に登録されている人物と新たに登録しようとする人物、それぞれの顔画像から、前記特徴情報抽出手段によって抽出される特徴情報が、類似しているかどうかを判定する第１の判定手段と、既に記憶手段に登録されている人物と新たに登録しようとする人物それぞれの人物に関する付随情報が、類似しているかどうかを判定する第２の判定手段と、前記第１及び第２の判定手段の判定結果をもとに、同一人物かどうかを識別する識別手段と、を備え、前記識別手段によって同一人物であると識別された場合には、警告を行うことを特徴とする。
【発明の効果】
【００１１】
本発明に係る画像処理装置によれば、個人認証機能に用いられるデータベースにおいて、既に登録されている人物を、気付かずに別名で追加登録しようとした場合に、重複登録されるのを防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像処理装置としての撮像装置の概略構成を示した図である。
【図２】本発明の実施形態の処理動作を表すフローチャートである。
【図３】データベースに新規に人物を登録する例を示した図である。
【図４】本発明を適用して、データベースに新規に人物を登録する例を示した図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の実施の形態を添付の図面に基づいて説明する。
【００１４】
《第１の実施形態》
図１は、本発明の実施形態にかかわる撮像装置１００の概略構成を示すブロック図である。
【００１５】
１０１が、レンズや絞りを含む光学系、１０２が、メカニカルシャッタ（メカシャッタと図示する）、１０３が、撮像素子、１０４が、アナログ信号処理を行うＣＤＳ回路、１０５が、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。また、１０６が、ＣＤＳ回路１０４およびＡ／Ｄ変換器１０５を動作させる信号を発生するタイミング信号発生回路、１０７が、光学系１０１、メカニカルシャッタ１０２および撮像素子１０３の駆動回路である。
【００１６】
また、１０８が、画像データに必要な信号処理を行う信号処理回路、１０９が、信号処理された画像データを記憶する画像メモリ、１１０が、撮像装置から取り外し可能な画像記録媒体である。また、１１１が、信号処理された画像データを画像記録媒体１１０に記録する記録回路、１１２が、信号処理された画像データを表示する画像表示装置、１１３が、画像表示装置１１２に画像を表示する表示回路、１１４が、撮像装置全体を制御するシステム制御部となっている。
【００１７】
１１５が、信号処理回路１０８からの画像データに対して公知の顔検出処理を施し、撮像画像内に含まれる人物の顔領域を検出する顔検出部である。なお、公知の顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。なお、顔検出処理の手法については、上述した手法に限るものではなく、公知の種々の手法を用いることができる。
【００１８】
１１６が、顔検出回路１１５で検出した顔と、個人認証データベース１１７に記憶した個人認識用の特徴データとを比較することによって、検出した顔が予め登録された個人の顔であるか否かを識別（個人認証）する個人認証回路である。
【００１９】
１１７が、個人認証回路１１６で使用する、個人認証用の特徴データを記憶している個人認証データベースである。個人認証データベースには、各人物の顔画像と特徴データ、名前、さらに付随情報（本実施形態では、生年月日、性別、メールアドレス、電話番号、「家族」「友人」等のグループ分類情報）が格納されている。
【００２０】
以下、上述のように構成された撮像装置１００を用いた撮影動作について説明する。
【００２１】
まず、光学系１０１は、システム制御部１１４からの制御信号により、光学系を駆動して、適切な明るさに設定された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、システム制御部１１４からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。
【００２２】
撮像素子１０３は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子１０３から出力されたアナログの画像信号は、システム制御部１１４により制御されるタイミング信号発生回路１０６が発生する動作パルスにより、ＣＤＳ回路１０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器１０５でデジタル画像信号に変換される。次に、信号処理回路１０８において、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。
【００２３】
信号処理回路１０８においては、システム制御部１１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１０９や記録回路１１１に出力してもよい。さらに、信号処理回路１０８は、システム制御部１１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部１１４に出力する。また、記録回路は、システム制御部１１４から要求があった場合に、画像記録媒体１１０の種類や空き容量等の情報をシステム制御部１１４に出力する。
【００２４】
さらに、画像記録媒体１１０に画像データが記録されている場合の再生動作について説明する。
【００２５】
システム制御部１１４からの制御信号により記録回路は、画像記録媒体１１０から画像データを読み出し、同じくシステム制御部１１４からの制御信号により信号処理回路１０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１０９に記憶する。画像メモリ１０９に記憶されている画像データは、信号処理回路１０８で解像度変換処理を実施された後、表示回路１１３において画像表示装置１１２に適した信号に変換されて画像表示装置１１２に表示される。
【００２６】
顔検出回路１１５は、信号処理回路１０８から受けた撮像画像から、顔領域を検出し、検出した顔領域の位置等の顔領域に係る情報（顔情報）をシステム制御部１１４に通知する。さらに、顔検出部１１５で検出された顔情報は、システム制御部１１４を通じて個人認証回路１１６に渡され、個人認証処理を行う。個人認証処理は、撮影画像から、検出された顔情報をもとに顔画像を抽出し、抽出した顔画像からさらに認証用の特徴データを抽出する。
【００２７】
そして、撮影画像中の顔から抽出された特徴量と、個人認証データベース１１７に登録されている各人物の特徴データとを比較し、最も特徴量の一致度が高い人物を、撮影画像中の顔の人物であると特定して認証する。個人認証用の特徴データとは、顔領域から、目、鼻、口の器官を中心とする小領域を設定し、設定された小領域に対してＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）を計算することにより取得されるデータである。ＬＢＰに関しては、例えば特開２００９−０８６９２６号公報で詳細に説明されているため、ここではその説明を省略する。なお、個人認証用の特徴データについては、上述した方法で抽出した特徴データに限るものではなく、公知の種々の手法を用いることができる。
【００２８】
さらに、個人認証データベース１１７に、認証用のデータを登録させる場合の動作について説明する。上述したように、撮像動作によって得られた撮像画像または、画像記録媒体１１０に記録されている画像データから、顔検出回路１１５において顔領域が検出される。次に、個人認証回路１１６において、検出された顔領域から顔画像が抽出され、さらに顔画像から特徴データが抽出される。
【００２９】
そして、顔画像の人物の名前および付随情報がユーザによって入力され、それらのデータが個人認証データベース１１７に登録される。ここで、登録される顔画像および特徴データは、一人の人物について一つである必要は無く、複数の顔画像および特徴データを登録しておいても良い。例えば、暗い場所で撮影された際の特徴データ、斜めから撮影された際の特徴データ、正面から撮影された際の特徴データ等、同一の人物についてバリエーションのある複数の特徴データが記録されていれば、個人認証をより様々な場面で正確に行うことができる。
【００３０】
次に、図２に示すフローチャートを参照して、本発明の実施形態における個人認証データの個人認証データベースへの登録処理の流れについて説明する。
【００３１】
個人認証データの登録処理は、システム制御部１１４内のメモリ（図示しない）に格納されたコンピュータプログラムに従って実行される。
【００３２】
始めに、ステップＳ２０１では、データベースに登録する人物の顔が写った画像を入力する。入力する画像は、撮像装置１００で撮影した画像でも良いし、画像記録媒体１１０に記録されている画像データの中から選択したものでも構わない。
【００３３】
次に、ステップＳ２０２では、顔検出回路１１５において、ステップＳ２０１で入力された画像から顔領域が検出される。
【００３４】
ステップＳ２０３では、個人認証回路１１６において、ステップＳ２０２で検出された顔領域から顔画像が抽出される。
【００３５】
そして、ステップＳ２０４では、個人認証回路１１６において、ステップＳ２０３で抽出された顔画像から特徴データが抽出される。
【００３６】
ステップＳ２０５では、登録する顔画像の人物の名前および付随情報が、ユーザによって入力される。
【００３７】
ステップＳ２０６では、個人認証データベース１１７に既に登録されている人物の特徴データと、ステップＳ２０４で抽出された、これから登録しようとしている人物の特徴データとを比較することにより、特徴データが類似している人物が存在しているかどうかが判定される。類似している人物が存在していると判定された場合は、ステップＳ２０７に進む。一方、類似している人物が存在していないと判定された場合は、ステップＳ２０８に進み、ステップＳ２０３およびステップＳ２０４で抽出された顔画像と特徴データ、ステップＳ２０５で入力された人物の名前および付随情報が、個人認証データベース１１７に登録されて処理を終了する。
【００３８】
ステップＳ２０７では、ステップＳ２０６において特徴データが類似していると判定された人物の付随情報と、ステップＳ２０５で入力された、これから登録しようとしている人物の付随情報が類似しているかどうかが判定される。ここでは、特徴データが類似していると判定された人物と、これから登録しようとしている人物どちらにも共通して記載されている付随情報の項目が全て一致している場合に、付属情報が類似していると判定される。類似していると判定された場合は、ステップＳ２０９に進む。
【００３９】
一方、類似していないと判定された場合は、ステップＳ２０８に進み、ステップＳ２０３およびステップＳ２０４で抽出された顔画像と特徴データ、ステップＳ２０５で入力された人物の名前および付随情報が、個人認証データベース１１７に登録されて処理を終了する。
【００４０】
ステップＳ２０９では、これから登録しようとしている人物と同じ人物が既に、個人認証データベース１１７に登録されている可能性が高いと判断して、ユーザに警告を行い、処理を終了する。警告の内容としては、これから登録しようとしている人物が、既にデータベースに登録されている人物と、同一人物である可能性が高い、という旨の内容をユーザに告知する内容である。警告については、上述した内容に限るものではなく、例えば、「これから登録しようとしている人物を、同一人物の可能性が高いと判定したデータベースの人物に統合するよう勧める」または、「同一人物の可能性が高いと判定したデータベースの人物と区別できる顔画像をさらに追加登録するよう勧める」のような内容であっても構わない。
【００４１】
ここで、本発明の効果について、図４をもとに説明する。
【００４２】
図４は、本発明の実施形態における個人認証データの登録処理を実施した場合の例を示す図である。
【００４３】
個人認証データベースには、「顔画像」と「名前」、そして付随情報として、「生年月日」、「Ｍａｉｌ」、「Ｔｅｌ」、「Ｇｒｏｕｐ」の項目が用意されている。付随情報の項目については、上述した項目に限るものではなく、例えば「性別」、「住所」、「会社名」を追加したり、これらの一部を選択したものであってももちろん構わない。
【００４４】
個人認証データベースには、顔画像から抽出された特徴データも記録されているが、特徴データは図示していない。また、付随情報の表示欄が「−」になっている箇所は、ユーザによる入力がされていないことを示している。個人認証データベースでは、顔画像と名前は必ず入力される必要があるが、付随情報については、必ずしも全ての項目が入力されている必要は無く、ユーザが任意で入力するかどうかを選択できる。図４では、（ａ）、（ｂ）、（ｃ）、（ｄ）に示す人物を、新たにデータベースに登録する例を説明する。
【００４５】
始めに（ａ）の人物である「佐藤さん」を登録しようとする場合、データベースには「佐藤さん」と特徴データが類似した人物、すなわち似た顔の人物は存在しない。従って、「佐藤さん」は、データベースには登録されていない人物と判断されて、データベースに登録される。
【００４６】
次に（ｂ）の人物である「父」を登録しようとする場合、データベースには「父」と特徴データが類似した人物、すなわち似た顔の人物として「山田太郎」が存在するため、付随情報が比較されることになる。この場合、データベースに登録されている「山田太郎」と、新規に登録しようとしている「父」のどちらの人物にも共通して入力されている付随情報の項目は、「生年月日」と「Ｔｅｌ」であり、それらの入力内容を比較すると、どちらの項目も内容は一致している。従って、「父」は、データベースに登録されている「山田太郎」と同一人物の可能性が高いと判断されて、警告が出される。
【００４７】
次に（ｃ）の人物である「次郎君」を登録しようとする場合、データベースには「次郎君」と特徴データが類似した人物、すなわち似た顔の人物として「田中さん」が存在するため、付随情報が比較されることになる。この場合、データベースに登録されている「田中さん」と、新規に登録しようとしている「次郎君」のどちらの人物にも共通して入力されている付随情報の項目は、「Ｍａｉｌ」と「Ｇｒｏｕｐ」であり、それらの入力内容を比較すると、「Ｇｒｏｕｐ」は一致しているが、「Ｍａｉｌ」は異なっている。従って、「次郎君」は「田中さん」とは別人物であり、データベースには登録されていない人物と判断されて、データベースに登録される。
【００４８】
最後に（ｄ）の人物である「太郎」を登録しようとする場合、データベースには「太郎」と特徴データが類似した人物、すなわち似た顔の人物として「山田太郎」が存在するため、付随情報が比較されることになる。この場合、データベースに登録されている「山田太郎」と、新規に登録しようとしている「太郎」のどちらの人物にも共通して入力されている付随情報の項目は、「Ｇｒｏｕｐ」だけであり、それらの入力内容を比較すると一致している。従って、「太郎」は、データベースに登録されている「山田太郎」と同一人物の可能性が高いと判断されて、警告が出される。
【００４９】
このように、新規に登録しようとしている人物と違う名前で個人認証データベースに登録されていても、顔画像から抽出した特徴データと付随情報が、どちらも類似しており、同一人物である可能性が高い場合には、警告を出すことにより、同一人物が重複登録されるのを防ぐことができる。
【００５０】
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。
【００５１】
本実施形態では、同一人物が重複登録される場合の例として、撮像装置に格納されているデータベースに、その撮像装置で撮影した人物を登録する場合を説明したが、これ以外の場合も考えられる。例えば、２つの撮像装置（Ａ，Ｂとする）それぞれで作成されているデータベースについて、Ａの撮像装置のデータベースに、Ｂの撮像装置のデータベースを統合する場合でも有効である。
【００５２】
また、本実施形態では、顔画像が１枚だけ登録されている場合を示したが、複数枚登録されていてももちろん構わない。その場合、データベースに既に登録されている人物の、複数の特徴データと、これから登録しようとしている人物の特徴データとが、全て類似している場合にのみ、特徴データが類似していると判定されることになる。すなわち、データベースに登録されている複数の特徴データのうち、１つでも類似していないデータがあれば、それぞれの人物が区別できるとして、同一人物とは見なさないようにする。
【００５３】
さらに、本実施形態では、データベースは撮像装置に格納されている場合を示したが、それに限るものではなく、例えば、ＰＣやサーバ等の外部機器に格納されている場合でも構わない。
【００５４】
なお、上述した各実施形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００５５】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００５６】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５７】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５９】
１０１  光学系、１０８  信号処理回路、１１４  システム制御部、
１１５  顔検出回路、１１６  個人認証回路、１１７  個人認証データベース
【図１】
2019008495.tif 000003
【図２】
2019008495.tif 000004
【図３】
2019008495.tif 000005
【図４】
2019008495.tif 000006