(57)【要約】【課題】顔認証における認証対象のグループをシステムに効率的に登録する。【解決手段】情報処理システム１は、複数の人物の顔が写された画像から顔を検出する顔検出部２と、前記顔検出部２により検出された顔が、予め定められた条件を満たすか否かを判定する判定部３と、前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部４とを有する。【選択図】図１
2020091595.tif 000002
【特許請求の範囲】
【請求項１】
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有する情報処理システム。
【請求項２】
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であるか否かを判定する
請求項１に記載の情報処理システム。
【請求項３】
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であり、かつ、当該顔が当該所定の方向を向いているか否かを判定する
請求項２に記載の情報処理システム。
【請求項４】
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記複数の画像から検出された同一の人物についての複数の顔が前記予め定められた条件を満たすか否かを判定し、
前記登録情報生成部は、前記複数の画像から検出された前記複数の顔について前記予め定められた条件を満たすと判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
請求項２又は３に記載の情報処理システム。
【請求項５】
前記予め定められた条件を満たすと判定された顔について、認証対象とするか否かを選択する指示を受け付ける選択受付部をさらに有し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像のうち、前記指示に従って選択された部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
請求項１乃至４のいずれか１項に記載の情報処理システム。
【請求項６】
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定する
請求項１に記載の情報処理システム。
【請求項７】
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出された同一の人物についての複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
請求項１に記載の情報処理システム。
【請求項８】
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、当該登録情報を顔認証サーバに登録する登録情報生成部と
を有する端末装置。
【請求項９】
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する
認証対象の管理方法。
【請求項１０】
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理システム、端末装置、認証対象の管理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、顔認証を用いた様々なシステムが開発されており、その利用用途も多岐にわたっている。顔認証システムにおいて、顔認証を行うためにはあらかじめ認証対象者の顔情報を登録しておく必要がある。本人確認用途の顔認証では、認証対象として登録される顔画像は、個人単位で登録されることが多い。しかし、例えばグループメンバー全員が揃って所定の地点に到達したことをスタンプ付与の条件とするルールを定めたスタンプラリーのゲームにおいて、参加者の到着を顔認証により判定する場合、事前にグループ単位で顔画像の登録を行うことが求められる。
【０００３】
これに関連する技術として、特許文献１に記載された認証装置がある。この認証装置では、画像から検出された複数の顔が関連付けて登録される。
しかし、屋外や人の多い場所で認証対象者の顔を撮影し、その画像から同時に複数の顔を検出して顔情報の登録を行う場合、認証対象者以外の人物の顔が写り込み、認証対象者以外の人物の顔も誤って関連付けられてしまう恐れがある。そのような場合、撮影場所の変更や顔画像の撮影のやり直しなどが必要となり、手間がかかってしまう。
【０００４】
また、関連する技術として、特許文献２に記載された画像情報処理装置がある。この画像情報処理装置は、画像内の人物の向いている方向に基づいて、当該画像内の複数の人物のうちの一部の人物をグループ化する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５７８３００９号公報
【特許文献２】国際公開第２０１１／１４８５６２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１若しくは特許文献２に記載された装置では、顔認証における認証対象のグループをシステムに効率的に登録することができない。
本明細書に開示される実施形態が達成しようとする目的の１つは、顔認証における認証対象のグループをシステムに効率的に登録することができる情報処理システム、端末装置、認証対象の管理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
第１の態様にかかる情報処理システムは、
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有する。
【０００８】
第２の態様にかかる端末装置は、
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、当該登録情報を顔認証サーバに登録する登録情報生成部と
を有する。
【０００９】
第３の態様にかかる認証対象の管理方法では、
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する。
【００１０】
第４の態様にかかるプログラムは、
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させる。
【発明の効果】
【００１１】
上述の態様によれば、顔認証における認証対象のグループをシステムに効率的に登録することができる情報処理システム、端末装置、認証対象の管理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態の概要にかかる情報処理システムの構成の一例を示すブロック図である。
【図２】実施の形態１にかかる情報処理システムの構成の一例を示すブロック図である。
【図３】実施の形態１にかかる顔認証サーバ及び顔登録端末のハードウェア構成の一例を示すブロック図である。
【図４】実施の形態１にかかる登録処理の一例を示すフローチャートである。
【図５】実施の形態２にかかる情報処理システムの構成の一例を示すブロック図である。
【図６】実施の形態２にかかる顔登録端末のハードウェア構成の一例を示すブロック図である。
【図７】実施の形態２にかかる登録処理の一例を示すフローチャートである。
【図８】実施の形態３にかかる情報処理システムの構成の一例を示すブロック図である。
【図９】実施の形態３にかかる登録処理の一例を示すフローチャートである。
【図１０】実施の形態４にかかる情報処理システムの構成の一例を示すブロック図である。
【図１１】実施の形態４にかかる登録処理の一例を示すフローチャートである。
【図１２】実施の形態５にかかる情報処理システムの構成の一例を示すブロック図である。
【図１３】実施の形態５にかかる登録処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
＜実施形態の概要＞
実施形態の詳細な説明に先立って、実施形態の概要を説明する。図１は、実施の形態の概要にかかる情報処理システム１の構成の一例を示すブロック図である。図１に示すように、情報処理システム１は、顔検出部２と、判定部３と、登録情報生成部４とを有する。
【００１４】
顔検出部２は、複数の人物の顔が写された画像から顔を検出する。判定部３は、顔検出部２により検出された顔が、予め定められた条件を満たすか否かを判定する。登録情報生成部４は、顔認証システムにおける認証対象を管理する情報である登録情報を生成する。登録情報生成部４は、判定部３により予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけることにより登録情報を生成する。すなわち、登録情報は、具体的には、予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である。
【００１５】
なお、予め定められた条件は、顔認証における認証対象者の顔であるか否かを判定するための任意の条件である。具体的には、例えば、後述するように、予め定められた条件は、視線の方向の条件であってもよいし、顔（顔面）の向きの条件であってもよいし、顔の被写体距離の条件であってもよいし、顔の位置の変動の条件であってもよい。
【００１６】
情報処理システム１によれば、画像に含まれる顔のうち、予め定められた条件を満たすと判定された顔の集合のみが、認証対象のグループを識別する識別子と関連付けられる。したがって、予め定められた条件を満たさない顔の部分画像が、当該識別子に関連づけられてしまうことを防ぐことができる。したがって、情報処理システム１によれば、適切な登録情報を生成することができる。このため、顔認証における認証対象のグループをシステムに効率的に登録することができる。
【００１７】
＜実施形態の詳細＞
次に、実施の形態の詳細について説明する。
＜実施の形態１＞
図２は、実施の形態１にかかる情報処理システム１０の構成の一例を示すブロック図である。なお、情報処理システム１０は、図１の情報処理システム１と対応している。図２に示すように、情報処理システム１０は、顔認証サーバ１００と、顔登録端末２００とを備える。顔認証サーバ１００と、顔登録端末２００とは、有線又は無線ネットワークにより、通信可能に接続されている。
【００１８】
顔認証サーバ１００は、顔認証処理を行なう装置である。顔認証サーバ１００は、図２に示すように、登録情報管理部１０１と、認証判定用画像取得部１０２と、認証部１０３とを有する。
【００１９】
登録情報管理部１０１は、上述した登録情報を管理する。すなわち、登録情報管理部１０１は、顔認証における照合処理に用いられる予め登録された顔画像を管理する。具体的には、登録情報管理部１０１は、認証対象のグループに属するメンバーのそれぞれの顔画像と、当該グループを識別する識別子（以下、グループＩＤと称す）とを関連づけて記憶装置に記憶して、これらを管理する。例えば、登録情報管理部１０１は、顔認証サーバ１００の記憶装置５４（図３参照）に、顔画像と、グループＩＤとを記憶する。なお、登録情報管理部１０１は、顔登録端末２００から送信された登録情報を受信し、これを管理する。
【００２０】
認証判定用画像取得部１０２は、顔認証の判定対象の顔画像を取得する。認証判定用画像取得部１０２は、例えば、図示しない他の装置から送信された顔画像を取得する。
【００２１】
認証部１０３は、認証判定用画像取得部１０２が取得した顔画像と、登録情報として管理されている顔画像とを照合する。これにより、認証部１０３は、同一のグループＩＤに関連づけられている顔画像のそれぞれに対応する人物（グループのメンバー）の認証を行なう。なお、認証部１０３は、グループの全てのメンバーについて認証が成功したか否かを最終的な認証結果として出力してもよい。
【００２２】
顔登録端末２００は、上述した登録情報を顔認証サーバ１００に登録する端末装置である。顔登録端末２００は、図２に示すように、関連情報作成部２０１と、登録用画像取得部２０２と、顔検出部２０３と、顔視線方向判定部２０４と、登録対象選択部２０５と、顔登録部２０６とを有する。
【００２３】
関連情報作成部２０１は、新規のグループについて登録情報を生成する際に、当該グループを識別するグループＩＤの発行を行う。具体的には、関連情報作成部２０１は、発行済みのグループＩＤと重複しない任意のＩＤを生成する。
【００２４】
登録用画像取得部２０２は、新規のグループについての登録情報の生成に用いる顔画像（以下、登録用画像と称す）を取得する。すなわち、登録用画像取得部２０２は、認証対象者の顔を含む画像を取得する。登録用画像は、カメラなどの撮影装置により、グループに属する全メンバーの顔を撮影した画像である。ただし、登録用画像には、認証対象（登録対象）の人物以外が映り込んでいる可能性がある。登録用画像取得部２０２は、例えば、撮影装置などの他の装置から送信された顔画像を取得してもよいし、顔登録端末２００に設けられた記憶装置５４（図３参照）から読み出すことにより登録用画像を取得してもよい。
【００２５】
顔検出部２０３は、図１の顔検出部２に対応している。
顔検出部２０３は、登録用画像取得部２０２が取得した登録用画像から顔を検出する。顔検出部２０３は、例えば、公知の画像認識処理により、人物の顔を表す領域を検出する。
【００２６】
顔視線方向判定部２０４は、図１の判定部３に対応している。
顔視線方向判定部２０４は、顔検出部２０３により検出された顔の視線の方向が所定の方向であり、かつ、当該顔（顔面）が当該所定の方向を向いているか否かを判定する。なお、所定の方向とは、例えば、撮影方向である。撮影方向とは、画像を撮影するカメラなどの撮影装置が存在する方向である。ただし、ここで言う撮影方向は、画像を撮影するカメラなどの撮影装置が存在する方向に厳密に一致する必要はなく、被写体が正面を向いているとみなされる方向であればよい。このため、視線の方向として要求される所定の方向と、顔の方向として要求される所定の方向とが厳密に一致する必要もない。
【００２７】
このように、本実施の形態では、顔視線方向判定部２０４は、顔検出部２０３により検出された顔が撮影方向を向いており、かつ、その視線も撮影方向を向いているか否かを判定する。顔が所定の方向（撮影方向）を向いており、かつ、その視線も所定の方向（撮影方向）を向いている被写体の状態をポジティブ状態と称すこととする。また、顔が所定の方向（撮影方向）を向いていない、または、その視線が所定の方向（撮影方向）を向いていない被写体の状態をネガティブ状態と称すこととする。つまり、顔視線方向判定部２０４は、顔検出部２０３により検出された全ての顔に対し、ポジティブ状態であるかネガティブ状態であるかを判定する。
【００２８】
顔視線方向判定部２０４は、例えば、機械学習技術を用いて判定を行なう。具体的には例えば、顔視線方向判定部２０４は、ポジティブ状態に分類される学習データと、ネガティブ状態に分類される学習データとを用いて学習されたモデルを用いて判定する。顔視線方向判定部２０４は、このモデルに、顔検出部２０３により検出された顔の画像を入力することにより、いずれの状態の画像であるかを判定する。
【００２９】
なお、本実施の形態では、顔視線方向判定部２０４は、顔の方向及び視線の方向の両方が条件を満たすか否かを判定しているが、いずれか一方のみを判定対象としてもよい。例えば、顔視線方向判定部２０４は、顔検出部２０３により検出された顔の視線の方向が所定の方向であるか否かのみを判定してもよいし、顔検出部２０３により検出された顔の方向が所定の方向でるか否かのみを判定してもよい。言い換えると、顔がポジティブ状態であるかネガティブ状態であるかが、顔の向きのみにより定義されてもよいし、視線の向きのみにより定義されてもよい。
【００３０】
登録対象選択部２０５は、顔検出部２０３により検出された全ての顔（すなわち、登録用画像取得部２０２が取得した画像から切り出された顔部分が写された部分画像）のうち、登録情報として登録すべき顔を選択する。すなわち、登録対象選択部２０５は、顔検出部２０３により検出された全ての顔のうち、新規なグループについての認証対象（登録対象）の顔を選択する。本実施の形態では、登録対象選択部２０５は、顔視線方向判定部２０４によりポジティブ状態であると判定された顔を登録対象として選択する。
【００３１】
顔登録部２０６は、図１の登録情報生成部４に対応している。
顔登録部２０６は、登録対象選択部２０５により選択された複数の顔のそれぞれの部分画像と、関連情報作成部２０１により作成されたグループＩＤとを関連づけることにより、登録情報を生成する。
また、顔登録部２０６は、生成した登録情報を顔認証サーバ１００に送信する。顔認証サーバ１００に送信された登録情報は、登録情報管理部１０１により管理される。これにより、顔認証サーバ１００に登録情報の登録が行なわれる。
【００３２】
次に、顔認証サーバ１００及び顔登録端末２００のハードウェア構成について説明する。
図３は、顔認証サーバ１００及び顔登録端末２００のハードウェア構成の一例を示すブロック図である。顔認証サーバ１００及び顔登録端末２００は、それぞれ、ネットワークインタフェース５１と、メモリ５２と、プロセッサ５３と、記憶装置５４とを有する。顔登録端末２００は、例えば、パーソナルコンピュータであってもよいし、タブレット又はスマートフォンなどであってもよい。すなわち、顔登録端末２００は、コンピュータとしての機能を有する任意の情報処理装置である。また、顔登録端末２００は、登録用画像取得部２０２に登録用画像を提供するための撮像装置（カメラ）を内蔵してもよい。また、撮像装置は、顔登録端末２００の外部の装置として、顔登録端末２００に接続されていてもよい。
【００３３】
ネットワークインタフェース５１は、他の装置との通信を行うために使用される。ネットワークインタフェース５１は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。
【００３４】
メモリ５２は、例えば揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ５２は、プロセッサ５３により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。
【００３５】
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＣＤ-ＲＯＭ）、ＣＤ-Ｒ、ＣＤ-Ｒ/Ｗ、半導体メモリ（例えば、マスクＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ（ＰＲＯＭ）、Ｅｒａｓａｂｌｅ  ＰＲＯＭ（ＥＰＲＯＭ）、フラッシュＲＯＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００３６】
プロセッサ５３は、例えば、マイクロプロセッサ、ＭＰＵ(Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ)、又はＣＰＵ(Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ)であってもよい。プロセッサ５３は、複数のプロセッサを含んでもよい。
顔認証サーバ１００のプロセッサ５３が、メモリ５２からコンピュータプログラムを読み出して実行することで、図２に示した顔認証サーバ１００の各構成要素の処理が行なわれる。
また、顔登録端末２００のプロセッサ５３が、メモリ５２からコンピュータプログラムを読み出して実行することで、図２に示した顔登録端末２００の各構成要素の処理が行なわれる。
【００３７】
記憶装置５４は、処理に用いられるデータなどを記憶する装置であり、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、磁気テープ、光ディスク、又はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などにより構成される。
【００３８】
次に、実施の形態１にかかる登録処理の流れについて説明する。図４は、実施の形態１にかかる登録処理の一例を示すフローチャートである。以下、図４に沿って、登録処理の流れについて説明する。
【００３９】
ステップＳ１０１において、関連情報作成部２０１は、新たなグループＩＤを発行する。
次に、ステップＳ１０２において、登録用画像取得部２０２が、新規のグループについての登録用画像を取得する。
次に、ステップＳ１０３において、顔検出部２０３がステップＳ１０２で取得された登録用画像に写っている全ての顔を検出する。
次に、ステップＳ１０４において、顔視線方向判定部２０４が、ステップＳ１０３で検出された顔のそれぞれについてポジティブ状態であるか否かを判定する。
次に、ステップＳ１０５において、登録対象選択部２０５は、ステップＳ１０３で検出された全ての顔のうち、登録対象の顔を選択する。具体的には、登録対象選択部２０５は、ステップＳ１０４でポジティブ状態であると判定された顔を登録対象として選択する。
次に、ステップＳ１０６において、顔登録部２０６は、ステップＳ１０５で選択された複数の顔のそれぞれの部分画像と、ステップＳ１０１で発行されたグループＩＤとを関連づけることにより、登録情報を生成する。そして、顔登録部２０６は、生成した登録情報を顔認証サーバ１００に送信する。これに対し、顔認証サーバ１００の登録情報管理部１０１は、登録情報として受信した画像とグループＩＤとを関連づけて、顔認証サーバ１００の記憶装置５４に記憶する。
【００４０】
以上、実施の形態１について説明した。実施の形態１にかかる情報処理システム１０によれば、登録用画像に含まれる顔のうち、ポジティブ状態である顔の集合のみが、グループＩＤと関連付けられて、登録情報が生成される。一般的に、登録用画像の撮影の際には、グループのメンバーの顔は正面を向き、その視線が撮影装置の方向を向いた状態で行なわれる。このため、本実施の形態によれば、登録用画像に登録対象とすべきではない人物の顔が写り込んでいたとしても、グループのメンバーの顔を効率よく抽出することができる。すなわち、情報処理システム１０によれば、適切な登録情報を生成することができため、顔認証における認証対象のグループをシステムに効率的に登録することができる。
【００４１】
＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態１では、上述した通り、登録対象とすべき人物の顔かどうかを顔及び視線の向きにより判定した。この場合、通行人等の登録対象とすべきではない人物が、顔及び視線の向きの条件を偶然満たしていると、誤って当該人物の顔が登録情報に含まれてしまう恐れがある。そこで、登録対象として不適切な顔を、ユーザの指示に基づいて除外できるようにした構成について説明する。
【００４２】
図５は、実施の形態２にかかる情報処理システム２０の構成の一例を示すブロック図である。情報処理システム２０は、顔登録端末２００が顔登録端末２１０に置き換わった点で、実施の形態１にかかる情報処理システム１０と異なっている。本実施の形態においても、顔認証サーバ１００と、顔登録端末２１０とは、有線又は無線ネットワークにより、通信可能に接続されている。以下、実施の形態１と異なる構成及び動作について説明し、重複する説明は適宜省略する。
【００４３】
また、図６は、実施の形態２にかかる顔登録端末２１０のハードウェア構成の一例を示すブロック図である。図６に示すように、顔登録端末２１０はハードウェアとして、ネットワークインタフェース５１、メモリ５２、プロセッサ５３、及び記憶装置５４に加え、入力装置５５及び出力装置５６を有している。
【００４４】
入力装置５５は、ユーザによって入力される指示を受け付ける装置であり、例えば、マウス又はキーボードなどの入力装置である。また、出力装置５６は、外部へ情報の出力を行うディスプレイなどの出力装置である。なお、入力装置５５及び出力装置５６は、タッチパネルとして一体的に構成されていてもよい。
【００４５】
顔登録端末２１０は、図５に示すように、関連情報作成部２０１と、登録用画像取得部２０２と、顔検出部２０３と、顔視線方向判定部２０４と、登録対象選択部２０５と、顔登録部２０６と、選択受付部２１１とを有する。すなわち、顔登録端末２１０は、選択受付部２１１をさらに有する点で、顔登録端末２００と異なっている。顔登録端末２１０の図５に示される各構成要素の処理は、顔登録端末２１０のプロセッサ５３が、メモリ５２からコンピュータプログラムを読み出して実行することで、行なわれる。
【００４６】
選択受付部２１１は、顔視線方向判定部２０４によりポジティブ状態であると判定された顔、すなわち、予め定められた条件を満たすと判定された顔について、認証対象（登録対象）とするか否かを選択する指示をユーザから受け付ける。選択受付部２１１は、具体的には、例えば、入力装置５５を介してユーザからの指示を受け付ける。
【００４７】
登録用画像から検出された全ての顔について顔視線方向判定部２０４による判定が終了すると、選択受付部２１１は、より詳細には、次のような処理を行なう。選択受付部２１１は、顔視線方向判定部２０４によりポジティブ状態であると判定された顔を囲む枠線を、登録用画像に重畳し、その画像を出力装置５６に出力する。ユーザは、枠線で囲まれた顔のうち、認証対象（登録対象）とする顔、もしくは認証対象（登録対象）から除外する顔を選択することにより、認証対象（登録対象）とするか否かを選択する指示を入力する。これにより、選択受付部２１１は、ユーザからの指示を受け付ける。選択受付部２１１は、受け付けた指示を登録対象選択部２０５に通知する。
【００４８】
本実施の形態にかかる登録対象選択部２０５は、顔視線方向判定部２０４によりポジティブ状態であると判定された顔のうち、選択受付部２１１が受け付けた指示により登録対象として選択された顔を登録情報に含める顔として選択する。すなわち、本実施の形態にかかる顔登録部２０６は、予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像のうち、ユーザからの指示に従って選択された部分画像と、グループＩＤとを関連づけて、登録情報を生成する。
【００４９】
次に、実施の形態２にかかる登録処理の流れについて説明する。図７は、実施の形態２にかかる登録処理の一例を示すフローチャートである。以下、図７に沿って、登録処理の流れについて説明する。
【００５０】
ステップＳ２０１において、関連情報作成部２０１は、新たなグループＩＤを発行する。
次に、ステップＳ２０２において、登録用画像取得部２０２が、新規のグループについての登録用画像を取得する。
次に、ステップＳ２０３において、顔検出部２０３がステップＳ２０２で取得された登録用画像に写っている全ての顔を検出する。
次に、ステップＳ２０４において、顔視線方向判定部２０４が、ステップＳ２０３で検出された顔のそれぞれについてポジティブ状態であるか否かを判定する。
次に、ステップＳ２０５において、登録対象選択部２０５は、ステップＳ２０３で検出された全ての顔のうち、ステップＳ２０４でポジティブ状態であると判定された顔を登録対象の候補として選択する。
次に、ステップＳ２０６において、選択受付部２１１は、ステップＳ２０５で登録対象の候補として選択された顔を枠線で囲んだ登録用画像を表示する。これに対し、ユーザは、例えば、登録対象として不要な顔がある場合には、その顔を選択する入力を行なう。
次に、ステップＳ２０７において、選択受付部２１１は、登録対象として不要な顔についてユーザから指示されたか否かを判定する。登録対象として不要な顔について指示された場合（ステップＳ２０７でＹｅｓ）、処理はステップＳ２０８へ移行する。これに対し、登録対象として不要な顔について指示されなかった場合（ステップＳ２０７でＮｏ）、処理はステップＳ２０９へ移行する。
ステップＳ２０８では、登録対象選択部２０５は、登録対象の候補の顔のうち、不要な顔であるとユーザから指示された顔を登録対象から除外する。ステップＳ２０８の後、処理はステップＳ２０９へ移行する。
ステップＳ２０９において、顔登録部２０６は、登録対象の候補の顔のうち除外されなかった顔のそれぞれの部分画像と、ステップＳ２０１で発行されたグループＩＤとを関連づけることにより、登録情報を生成する。そして、顔登録部２０６は、生成した登録情報を顔認証サーバ１００に送信する。これに対し、顔認証サーバ１００の登録情報管理部１０１は、登録情報として受信した画像とグループＩＤとを関連づけて、顔認証サーバ１００の記憶装置５４に記憶する。
【００５１】
以上、実施の形態２について説明した。実施の形態２にかかる情報処理システム２０によれば、ポジティブ状態であると判定された顔について、ユーザは登録対象とするか否かを指示することができる。このため、通行人等の登録対象とすべきではない人物の顔が、登録対象を判定するための予め定められた条件を偶然満たした場合でも、適切に登録情報を生成することができる。このため、顔認証における認証対象のグループの登録をより正確に行なうことができる。
【００５２】
なお、本実施の形態で説明したユーザ指示に基づく画像の選択は、実施の形態１に限らず、後述するいずれかの実施の形態と組み合わせることも可能である。
【００５３】
＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態２では、通行人等の登録対象とすべきではない人物の顔が、登録対象を判定するための予め定められた条件を偶然満たした場合に、ユーザからの指示に基づいて、登録に不適切な顔を除外した。本実施の形態では、実施の形態２と異なる方法により、登録に不適切な顔を除外する。
【００５４】
具体的には、本実施の形態では、所定の時間間隔で連続的に撮影された複数枚の登録用画像のうち、複数の登録用画像（例えば、連続的に撮影された登録用画像の全て）における同一人物についての顔がいずれもポジティブ状態である場合、登録対象とする。
【００５５】
図８は、実施の形態３にかかる情報処理システム３０の構成の一例を示すブロック図である。情報処理システム３０は、顔認証サーバ１１０と顔登録端末２２０とを有する。顔認証サーバ１１０と、顔登録端末２２０とは、有線又は無線ネットワークにより、通信可能に接続されている。顔認証サーバ１１０は、同一人物判定部１１１が追加されている点で、実施の形態１の顔認証サーバ１００と異なっている。また、顔登録端末２２０は、登録対象選択部２０５が登録対象選択部２２１に置き換わった点で、実施の形態１にかかる顔登録端末２００と異なっている。
【００５６】
なお、顔認証サーバ１１０及び顔登録端末２２０のハードウェア構成は、例えば図３に示した構成となっている。顔認証サーバ１１０の図８に示される各構成要素の処理は、顔認証サーバ１１０のプロセッサ５３が、メモリ５２からコンピュータプログラムを読み出して実行することで、行なわれる。同様に、顔登録端末２２０の図８に示される各構成要素の処理は、顔登録端末２２０のプロセッサ５３が、メモリ５２からコンピュータプログラムを読み出して実行することで、行なわれる。
以下、実施の形態１と異なる構成及び動作について説明し、重複する説明は適宜省略する。
【００５７】
本実施の形態における登録用画像取得部２０２は、所定の時間間隔（例えば数秒）で連続的に撮影されたＮ枚（ただし、Ｎは２以上の整数）の登録用画像を取得する。そして、顔検出部２０３は、登録用画像取得部２０２が取得した、連続する複数の登録用画像のそれぞれから、顔を検出する。そして、顔検出部２０３は、検出した顔の部分画像を顔認証サーバ１１０の同一人物判定部１１１に出力する。
【００５８】
同一人物判定部１１１は、連続する複数の登録用画像から検出された顔について、登録用画像間でマッチング処理を行なう。なお、同一人物判定部１１１は、公知の任意の画像認識処理（顔認証技術）を用いてマッチング処理を行なう。なお、同一人物判定部１１１に相当する機能が、認証部１０３により提供されてもよい。同一人物判定部１１１は、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。同一人物判定部１１１は、関連付け結果を顔登録端末２２０の登録対象選択部２２１に出力する。
【００５９】
登録対象選択部２２１は、同一人物判定部１１１により同一の人物の顔の画像として関連づけられたＭ枚の登録用画像からそれぞれ抽出された顔がいずれも、顔視線方向判定部２０４によりポジティブ状態であると判定されているかを確認する。なお、Ｍは、２以上の整数である。一例としてＭ＝Ｎであるが、Ｍ＜Ｎであってもよい。Ｍ枚の登録用画像からそれぞれ抽出された顔がいずれもポジティブ状態である場合、登録対象選択部２２１は、このＭ枚の登録用画像からそれぞれ抽出された顔のいずれかの部分画像を登録対象の顔の部分画像として選択する。例えば、登録対象選択部２２１は、Ｍ枚の登録用画像のうち最も先に撮影された登録用画像の部分画像を登録対象の顔の部分画像として選択する。登録対象選択部２２１は、同一人物判定部１１１により関連付けが行なわれた全ての人物についての顔画像について、上述した処理を行なう。
【００６０】
なお、本実施の形態における顔視線方向判定部２０４及び登録対象選択部２２１は、図１における判定部３に対応している。そして、顔視線方向判定部２０４及び登録対象選択部２２１は、複数の登録用画像から検出された同一の人物についての複数の顔がポジティブ状態であるか否かを判定する。そして、顔登録部２０６は、複数の登録用画像から検出された複数の顔について予め定められた条件（ポジティブ状態）を満たすと判定された人物の顔の部分画像と、グループＩＤとを関連づけて、登録情報を生成する。
【００６１】
次に、実施の形態３にかかる登録処理の流れについて説明する。図９は、実施の形態３にかかる登録処理の一例を示すフローチャートである。以下、図９に沿って、登録処理の流れについて説明する。
【００６２】
ステップＳ３０１において、関連情報作成部２０１は、新たなグループＩＤを発行する。
次に、ステップＳ３０２において、登録用画像取得部２０２は、所定の時間間隔（例えば数秒）で連続的に撮影された複数の登録用画像を取得する。
次に、ステップＳ３０３において、顔検出部２０３がステップＳ３０２で取得された登録用画像に写っている全ての顔を検出する。すなわち、顔検出部２０３は、ステップＳ３０２で取得した全ての登録用画像について、画像内の顔を検出する。
次に、ステップＳ３０４において、同一人物判定部１１１が、ステップＳ３０３で検出された顔について、登録用画像間でマッチング処理を行い、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。
次に、ステップＳ３０５において、顔視線方向判定部２０４が、ステップＳ３０３で検出された顔のそれぞれについてポジティブ状態であるか否かを判定する。
次に、ステップＳ３０６において、登録対象選択部２２１は、同一の人物の顔の画像として関連づけられたＭ枚の登録用画像からそれぞれ抽出された顔がいずれもポジティブ状態であるかを判定する。そして、いずれもポジティブ状態である場合、登録対象選択部２２１は、このＭ枚の登録用画像からそれぞれ抽出された顔のいずれかの部分画像を登録対象の顔の部分画像として選択する。
ステップＳ３０７において、顔登録部２０６は、ステップＳ３０６で選択された顔の部分画像と、ステップＳ３０１で発行されたグループＩＤとを関連づけることにより、登録情報を生成する。そして、顔登録部２０６は、生成した登録情報を顔認証サーバ１１０に送信する。これに対し、顔認証サーバ１１０の登録情報管理部１０１は、登録情報として受信した画像とグループＩＤとを関連づけて、顔認証サーバ１１０の記憶装置５４に記憶する。
【００６３】
以上、実施の形態３について説明した。登録対象の人物については、登録用画像の撮影が継続している期間、ポジティブ状態が維持されることが想定される。これに対し、たまたまカメラの方向を向いている通行人などの登録に不適切な人物の顔は、一時的にポジティブ状態となるに過ぎないと想定される。実施の形態３にかかる情報処理システム３０によれば、連続的に撮影された複数枚の登録用画像を用いることで、ポジティブ状態が継続しているか否かを判定することができる。このため、通行人等の登録対象とすべきではない人物の顔が、偶然、ポジティブ状態となったとしても、適切に登録情報を生成することができる。このため、顔認証における認証対象のグループの登録をより正確に行なうことができる。
【００６４】
＜実施の形態４＞
上述した実施の形態では、登録用画像から検出された顔がポジティブ状態であるか否かによって、登録対象の顔が選択された。これに対し、本実施の形態では、登録用画像を撮影した際の撮影装置と被写体との距離に基づいて、登録対象の顔の選択を行なう。
【００６５】
図１０は、実施の形態４にかかる情報処理システム４０の構成の一例を示すブロック図である。情報処理システム４０は、顔登録端末２００が顔登録端末２３０に置き換わった点で、実施の形態１にかかる情報処理システム１０と異なっている。本実施の形態においても、顔認証サーバ１００と、顔登録端末２３０とは、有線又は無線ネットワークにより、通信可能に接続されている。
顔登録端末２３０は、顔視線方向判定部２０４の代わりに、距離推定部２３１及び距離判定部２３２が設けられ、登録対象選択部２０５の代わりに登録対象選択部２３３が設けられている点で、実施の形態１にかかる顔登録端末２００と異なっている。
【００６６】
なお、顔登録端末２３０のハードウェア構成は、例えば図３に示した構成となっている。顔登録端末２３０の図１０に示される各構成要素の処理は、顔登録端末２３０のプロセッサ５３が、メモリ５２からコンピュータプログラムを読み出して実行することで、行なわれる。
以下、実施の形態１と異なる構成及び動作について説明し、重複する説明は適宜省略する。
【００６７】
距離推定部２３１は、顔検出部２０３により検出された顔のそれぞれについて、当該顔の被写体距離を推定する。距離推定部２３１は、例えば、顔検出部２０３により検出された顔の部分画像に対し、公知の画像解析処理を行なうことにより、検出された顔のそれぞれに対し、被写体距離を推定する。例えば、距離推定部２３１は、体の所定の部分の長さ（例えば、両目の間の長さ）によって、被写体距離を推定してもよい。この場合、体の所定の部分の長さが長いほど、被写体距離が短いと推定される。なお、体の所定の部分は、例えば、顔全体であってもよいし、顔の一部（例えば、鼻、目、耳など）であってもよいし、顔以外の部分（例えば、肩、首など）であってもよい。なお、被写体の推定技術として、上記推定方法に限らず、公知の他の推定技術を用いてもよい。
【００６８】
距離判定部２３２は、図１の判定部３に相当する。距離判定部２３２は、距離推定部２３１により推定された被写体距離が所定の距離条件を満たすか否かを判定する。すなわち、距離判定部２３２は、予め定められた条件を満たすか否かの判定として、顔検出部２０３により検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定する。本実施の形態では、距離判定部２３２は、登録用画像から得られた顔のうち被写体距離が最も短い顔の被写体距離を基準距離として、登録用画像から得られた顔のそれぞれの被写体距離について、当該基準距離との差が所定の閾値以下であるか否かを判定する。距離判定部２３２は、登録用画像から得られた顔のそれぞれについて、被写体距離と基準距離との差が所定の閾値以下であるか否かを示す判定結果を登録対象選択部２３３に出力する。
【００６９】
登録対象選択部２３３は、距離判定部２３２により被写体距離が上述の条件を満たすと判定された顔の部分画像を登録対象として選択する。登録用画像の撮影の際、グループのメンバーは、撮影方向において近い位置に存在することが想定される。したがって、被写体距離と基準距離との差が所定の閾値以下であるか否かを判定することにより、グループのメンバー達から離れた位置を通行している人物などといった登録に不適切な人物についての顔を除外することができる。
【００７０】
なお、上述した距離条件は、一例であり、距離判定部２３２は、他の距離条件を用いて判定を行なってもよい。例えば、距離判定部２３２は、距離推定部２３１により推定された被写体距離が所定の閾値以下であるか否かを判定してもよい。登録用画像の撮影は、被写体距離が所定の距離以下となる環境で行なわれることが想定される。このため、被写体距離が所定の閾値以下であるか否かを判定することにより、撮影装置から遠い場所を通行している人物などといった登録に不適切な人物についての顔を除外することができる。
【００７１】
次に、実施の形態４にかかる登録処理の流れについて説明する。図１１は、実施の形態４にかかる登録処理の一例を示すフローチャートである。以下、図１１に沿って、登録処理の流れについて説明する。
【００７２】
ステップＳ４０１において、関連情報作成部２０１は、新たなグループＩＤを発行する。
次に、ステップＳ４０２において、登録用画像取得部２０２が、新規のグループについての登録用画像を取得する。
次に、ステップＳ４０３において、顔検出部２０３がステップＳ４０２で取得された登録用画像に写っている全ての顔を検出する。
次に、ステップＳ４０４において、距離推定部２３１が、ステップＳ４０３で検出された顔のそれぞれについて、当該顔の被写体距離を推定する。
次に、ステップＳ４０５において、距離判定部２３２が、ステップＳ４０４で推定された被写体距離が所定の距離条件を満たすか否かを、ステップＳ４０３で検出されたそれぞれの顔について判定する。
次に、ステップＳ４０６において、登録対象選択部２３３は、ステップＳ４０３で検出された全ての顔のうち、ステップＳ４０５で距離条件を満たすと判定された顔を登録対象として選択する。
次に、ステップＳ４０７において、顔登録部２０６は、ステップＳ４０６で選択された複数の顔のそれぞれの部分画像と、ステップＳ４０１で発行されたグループＩＤとを関連づけることにより、登録情報を生成する。そして、顔登録部２０６は、生成した登録情報を顔認証サーバ１００に送信する。これに対し、顔認証サーバ１００の登録情報管理部１０１は、登録情報として受信した画像とグループＩＤとを関連づけて、顔認証サーバ１００の記憶装置５４に記憶する。
【００７３】
以上、実施の形態４について説明した。実施の形態４にかかる情報処理システム４０によれば、被写体距離が所定の距離条件を満たすか否かにより、登録対象の顔が選択される。このため、グループのメンバー達又は撮影装置から離れた人物などのように、登録対象の人物としてふさわしくない被写体距離の人物を除外することができる。このため、顔認証における認証対象のグループの登録を適切に行なうことができる。
【００７４】
＜実施の形態５＞
本実施の形態では、所定の時間間隔で連続的に撮影された複数枚の登録用画像から算出される同一の人物についての顔の位置の変動距離が所定の閾値以下である場合、登録対象とする。
【００７５】
図１２は、実施の形態５にかかる情報処理システム５０の構成の一例を示すブロック図である。情報処理システム５０は、顔認証サーバ１１０と顔登録端末２４０とを有する。すなわち、情報処理システム５０は、顔登録端末２２０が顔登録端末２４０に置き換わった点で、実施の形態３にかかる情報処理システム３０と異なっている。顔登録端末２４０は、顔視線方向判定部２０４の代わりに座標測定部２４１及び座標判定部２４２が設けられ、登録対象選択部２２１の代わりに登録対象選択部２４３が設けられている点で、実施の形態３にかかる顔登録端末２２０と異なっている。ここで、本実施の形態における座標判定部２４２は、図１における判定部３に対応している。顔認証サーバ１１０と、顔登録端末２４０とは、有線又は無線ネットワークにより、通信可能に接続されている。
【００７６】
なお、顔登録端末２４０のハードウェア構成は、例えば図３に示した構成となっている。顔登録端末２４０の図１２に示される各構成要素の処理は、顔登録端末２４０のプロセッサ５３が、メモリ５２からコンピュータプログラムを読み出して実行することで、行なわれる。
以下、実施の形態３と異なる構成及び動作について説明し、重複する説明は適宜省略する。
【００７７】
本実施の形態における登録用画像取得部２０２は、所定の時間間隔（例えば数秒）で連続的に撮影されたＮ枚（ただし、Ｎは２以上の整数）の登録用画像を取得する。なお、Ｎ枚の登録用画像の撮影範囲は同じであるものとする。すなわち、Ｎ枚の一連の登録用画像の撮影の際、撮影装置は、撮影領域が一定であるものとする。そして、顔検出部２０３は、登録用画像取得部２０２が取得した、連続する複数の登録用画像のそれぞれから、顔を検出する。そして、顔検出部２０３は、検出した顔の部分画像を顔認証サーバ１１０の同一人物判定部１１１に出力する。
【００７８】
同一人物判定部１１１は、連続する複数の登録用画像から検出された顔について、登録用画像間でマッチング処理を行い、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。同一人物判定部１１１は、関連付け結果を顔登録端末２４０の座標判定部２４２に出力する。
【００７９】
座標測定部２４１は、顔検出部２０３により検出された全ての顔について、登録用画像内における位置を測定する。すなわち、座標測定部２４１は、顔検出部２０３により検出された全ての顔について、画像平面における座標を測定する。座標測定部２４１は、例えば、公知の画像認識処理により、顔の所定の部分（例えば、両目の間の中心点）に対応する特徴点の位置（座標）を検出し、検出された位置（座標）を当該顔の登録用画像内における位置とする。
【００８０】
座標判定部２４２は、複数の登録用画像から検出された同一の人物についての複数の顔の位置の登録用画像間における変動距離が所定の閾値以下であるか否かを判定する。座標判定部２４２は、同一人物判定部１１１による関連付け結果から特定される、同一の人物の登録用画像毎の顔について、それらの位置の変動が所定の閾値以下であるか否かを判定する。
【００８１】
登録対象選択部２４３は、座標判定部２４２により変動距離が所定の閾値以下であると判定された人物の顔の部分画像を登録対象として選択する。このとき、登録対象選択部２４３は、Ｎ枚の登録用画像からそれぞれ抽出された同一人物の顔のいずれかの部分画像を登録対象の顔の部分画像として選択する。例えば、登録対象選択部２４３は、Ｎ枚の登録用画像のうち最も先に撮影された登録用画像の部分画像を登録対象の顔の部分画像として選択する。登録対象選択部２４３は、同一人物判定部１１１により関連付けが行なわれた全ての人物についての顔画像について、上述した処理を行なう。
【００８２】
登録用画像の撮影の際、グループのメンバーのそれぞれの顔の位置はほぼ一定であることが想定される。したがって、連続する登録用画像における顔の位置の変動を確認することにより、通行している人物などといった登録に不適切な人物についての顔を除外することができる。
【００８３】
次に、実施の形態５にかかる登録処理の流れについて説明する。図１３は、実施の形態５にかかる登録処理の一例を示すフローチャートである。以下、図１３に沿って、登録処理の流れについて説明する。
【００８４】
ステップＳ５０１において、関連情報作成部２０１は、新たなグループＩＤを発行する。
次に、ステップＳ５０２において、登録用画像取得部２０２は、所定の時間間隔（例えば数秒）で連続的に撮影された複数の登録用画像を取得する。
次に、ステップＳ５０３において、顔検出部２０３がステップＳ５０２で取得された登録用画像に写っている全ての顔を検出する。すなわち、顔検出部２０３は、ステップＳ５０２で取得した全ての登録用画像について、画像内の顔を検出する。
次に、ステップＳ５０４において、同一人物判定部１１１が、ステップＳ５０３で検出された顔について、登録用画像間でマッチング処理を行い、マッチングにより一致すると判定された顔同士を同一の人物の顔として関連づける。
次に、ステップＳ５０５において、座標測定部２４１が、ステップＳ５０３で検出された全ての顔について、画像平面における座標を測定する。
次に、ステップＳ５０６において、座標判定部２４２が、複数の登録用画像から検出された同一の人物についての複数の顔の位置の登録用画像間における変動距離が所定の閾値以下であるか否かを判定する。
次に、ステップＳ５０７において、登録対象選択部２４３は、ステップＳ５０３で検出された全ての顔のうち、ステップＳ５０６で変動距離が閾値条件を満たすと判定された顔を登録対象として選択する。
次に、ステップＳ５０８において、顔登録部２０６は、ステップＳ５０７で選択された複数の顔のそれぞれの部分画像と、ステップＳ５０１で発行されたグループＩＤとを関連づけることにより、登録情報を生成する。そして、顔登録部２０６は、生成した登録情報を顔認証サーバ１１０に送信する。これに対し、顔認証サーバ１１０の登録情報管理部１０１は、登録情報として受信した画像とグループＩＤとを関連づけて、顔認証サーバ１１０の記憶装置５４に記憶する。
【００８５】
以上、実施の形態５について説明した。実施の形態５にかかる情報処理システム５０によれば、顔の位置の変動距離が所定の閾値以下であるか否かにより、登録対象の顔が選択される。このため、通行している人物などといった登録に不適切な人物についての顔を除外することができる。このため、顔認証における認証対象のグループの登録を適切に行なうことができる。
【００８６】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態では、同一人物判定部は、顔認証サーバに設けられていたが、顔登録端末に設けられてもよい。すなわち、同一人物判定部の処理が、顔登録端末において行なわれてもよい。また、顔登録端末における任意の構成要素の一部又は全てが、顔認証サーバに設けられていてもよい。すなわち、図２、図５、図８、図１０、又は図１２に示した顔登録端末のいずれかの構成要素の処理が、顔認証サーバにおいて行なわれてもよい。また、上述した各実施の形態における、登録対象の顔の決定手法は、適宜組み合わせてもよい。
【００８７】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８８】
（付記１）
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有する情報処理システム。
（付記２）
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であるか否かを判定する
付記１に記載の情報処理システム。
（付記３）
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であり、かつ、当該顔が当該所定の方向を向いているか否かを判定する
付記２に記載の情報処理システム。
（付記４）
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記複数の画像から検出された同一の人物についての複数の顔が前記予め定められた条件を満たすか否かを判定し、
前記登録情報生成部は、前記複数の画像から検出された前記複数の顔について前記予め定められた条件を満たすと判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
付記２又は３に記載の情報処理システム。
（付記５）
前記予め定められた条件を満たすと判定された顔について、認証対象とするか否かを選択する指示を受け付ける選択受付部をさらに有し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像のうち、前記指示に従って選択された部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
付記１乃至４のいずれか１項に記載の情報処理システム。
（付記６）
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定する
付記１に記載の情報処理システム。
（付記７）
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出された同一の人物についての複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
付記１に記載の情報処理システム。
（付記８）
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、当該登録情報を顔認証サーバに登録する登録情報生成部と
を有する端末装置。
（付記９）
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であるか否かを判定する
付記８に記載の端末装置。
（付記１０）
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する
認証対象の管理方法。
（付記１１）
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させるプログラム。
【符号の説明】
【００８９】
１、１０、２０、３０、４０、５０    情報処理システム
２    顔検出部
３    判定部
４    登録情報生成部
５１    ネットワークインタフェース
５２    メモリ
５３    プロセッサ
５４    記憶装置
５５    入力装置
５６    出力装置
１００、１１０    顔認証サーバ
１０１    登録情報管理部
１０２    認証判定用画像取得部
１０３    認証部
１１１    同一人物判定部
２００、２１０、２２０、２３０、２４０    顔登録端末
２０１    関連情報作成部
２０２    登録用画像取得部
２０３    顔検出部
２０４    顔視線方向判定部
２０５、２２１、２３３、２４３    登録対象選択部
２０６    顔登録部
２１１    選択受付部
２３１    距離推定部
２３２    距離判定部
２４１    座標測定部
２４２    座標判定部
【図１】
2020091595.tif 000003
【図２】
2020091595.tif 000004
【図３】
2020091595.tif 000005
【図４】
2020091595.tif 000006
【図５】
2020091595.tif 000007
【図６】
2020091595.tif 000008
【図７】
2020091595.tif 000009
【図８】
2020091595.tif 000010
【図９】
2020091595.tif 000011
【図１０】
2020091595.tif 000012
【図１１】
2020091595.tif 000013
【図１２】
2020091595.tif 000014
【図１３】
2020091595.tif 000015
【手続補正書】
【提出日】令和2年3月27日(2020.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有し、
前記予め定められた条件を満たすか否かの判定は、前記顔検出部により検出された顔の視線の方向が所定の方向であるか否かの判定であり、
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記複数の画像から検出された同一の人物についての複数の顔のうち前記予め定められた条件を満たす顔が複数あるか否かを判定し、
前記登録情報生成部は、前記予め定められた条件を満たす顔が複数あると判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
情報処理システム。
【請求項２】
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔の視線の方向が所定の方向であり、かつ、当該顔が当該所定の方向を向いているか否かを判定する
請求項１に記載の情報処理システム。
【請求項３】
前記予め定められた条件を満たすと判定された顔について、認証対象とするか否かを選択する指示を受け付ける選択受付部をさらに有し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像のうち、前記指示に従って選択された部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
請求項１又は２に記載の情報処理システム。
【請求項４】
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有し、
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記顔検出部により検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定し、
前記所定の距離条件は、前記画像から検出された顔のうち被写体距離が最も短い顔の被写体距離である基準距離との差が所定の閾値以下であることである
情報処理システム。
【請求項５】
複数の人物の顔が写された画像から顔を検出する顔検出部と、
前記顔検出部により検出された顔が、予め定められた条件を満たすか否かを判定する判定部と、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成部と
を有し、
前記顔検出部は、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定部は、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出され、かつ、同一の人物についての顔であると既に判定されている複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
前記登録情報生成部は、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
情報処理システム。
【請求項６】
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、
前記予め定められた条件を満たすか否かの判定は、検出された顔の視線の方向が所定の方向であるか否かの判定であり、
前記検出では、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定では、前記複数の画像から検出された同一の人物についての複数の顔のうち前記予め定められた条件を満たす顔が複数あるか否かを判定し、
前記生成では、前記予め定められた条件を満たす顔が複数あると判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
認証対象の管理方法。
【請求項７】
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、
前記判定では、前記予め定められた条件を満たすか否かの判定として、検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定し、
前記所定の距離条件は、前記画像から検出された顔のうち被写体距離が最も短い顔の被写体距離である基準距離との差が所定の閾値以下であることである
認証対象の管理方法。
【請求項８】
複数の人物の顔が写された画像から顔を検出し、
検出された顔が、予め定められた条件を満たすか否かを判定し、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成し、
前記検出では、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定では、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出され、かつ、同一の人物についての顔であると既に判定されている複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
前記生成では、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
認証対象の管理方法。
【請求項９】
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させ、
前記予め定められた条件を満たすか否かの判定は、前記顔検出ステップで検出された顔の視線の方向が所定の方向であるか否かの判定であり、
前記顔検出ステップでは、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定ステップでは、前記複数の画像から検出された同一の人物についての複数の顔のうち前記予め定められた条件を満たす顔が複数あるか否かを判定し、
前記登録情報生成ステップでは、前記予め定められた条件を満たす顔が複数あると判定された人物の顔の部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
プログラム。
【請求項１０】
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させ、
前記判定ステップでは、前記予め定められた条件を満たすか否かの判定として、前記顔検出ステップで検出された顔から推定される当該顔の被写体距離が所定の距離条件を満たすか否かを判定し、
前記所定の距離条件は、前記画像から検出された顔のうち被写体距離が最も短い顔の被写体距離である基準距離との差が所定の閾値以下であることである
プログラム。
【請求項１１】
複数の人物の顔が写された画像から顔を検出する顔検出ステップと、
検出された顔が、予め定められた条件を満たすか否かを判定する判定ステップと、
前記予め定められた条件を満たすと判定された複数の顔のそれぞれの部分画像と、顔認証における認証対象のグループを識別する識別子とを関連づけた情報である登録情報を生成する登録情報生成ステップと
をコンピュータに実行させ、
前記顔検出ステップでは、所定の時間間隔で連続的に撮影された複数の画像のそれぞれから、顔を検出し、
前記判定ステップでは、前記予め定められた条件を満たすか否かの判定として、前記複数の画像から検出され、かつ、同一の人物についての顔であると既に判定されている複数の顔の位置の変動距離が所定の閾値以下であるか否かを判定し、
前記登録情報生成ステップでは、前記予め定められた条件を満たすと判定された複数の人物の顔のそれぞれの部分画像と、前記識別子とを関連づけて、前記登録情報を生成する
プログラム。