(57)【要約】【課題】従来よりも確実に個人を識別する。【解決手段】画像取得部１３１は、連続的に撮像されたフレーム画像を順次取得する。顔検出部１３２は、フレーム画像から顔画像を検出する。顔識別部１３４は、顔画像の顔が誰であるか識別する。顔確定部１３５は、顔識別部１３４による識別結果の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する。【選択図】図２
2018073076.tif 000002
【特許請求の範囲】
【請求項１】
連続的に撮像されたフレーム画像を順次取得する画像取得手段と、
前記フレーム画像から顔画像を検出する顔検出手段と、
前記顔画像の顔が誰であるか識別する顔識別手段と、
前記顔識別手段による識別結果の履歴を記憶する記憶手段と、
前記記憶手段に記憶されている識別結果の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する顔確定手段と、
を備える個人識別装置。
【請求項２】
前記顔確定手段は、前記記憶手段に記憶されている識別結果の直近複数回の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する、
請求項１に記載の個人識別装置。
【請求項３】
前記顔確定手段は、前記直近複数回の履歴のうち過半数で同じ人物であると識別されている場合、前記顔画像の顔は前記人物であると確定する、
請求項２に記載の個人識別装置。
【請求項４】
前記顔検出手段は、前記フレーム画像から第１の顔画像と第２の顔画像とを検出し、
前記顔確定手段は、前記識別結果の履歴で、前記第１の顔画像の顔と前記第２の顔画像の顔とが同じ特定人物であると識別されている場合、該識別の精度が高い方の顔画像の顔を前記特定人物に確定する、
請求項１から３の何れか１項に記載の個人識別装置。
【請求項５】
前記顔確定手段は、前記第１の顔画像および前記第２の顔画像それぞれについて、前記特定人物であると識別した履歴から、直近に実施された識別ほど大きい重みを付した識別の精度の加重平均を求め、該加重平均が高い方の顔画像の顔を前記特定人物に確定する、
請求項４に記載の個人識別装置。
【請求項６】
前記顔確定手段は、前記識別結果の履歴から人物を確定できない場合、前回の処理で確定した結果を継承する、
請求項１から５の何れか１項に記載の個人識別装置。
【請求項７】
前記顔確定手段は、
前記顔検出手段により顔画像の顔が誰であるか識別できた場合は、当該顔画像の顔を識別できた顔に確定し、
識別できなかった場合は、前記記憶手段に記憶されている識別結果の履歴に基づいて、当該顔画像の顔が誰であるか確定する、
請求項１から６の何れか１項に記載の個人識別装置。
【請求項８】
請求項１から７の何れか１項に記載の個人識別装置を備え、前記個人識別装置が確定した個人に応じた処理を実行するロボット。
【請求項９】
フレーム画像から顔を検出し、
検出した顔が誰であるかを識別した結果の履歴情報を記憶し、
前記履歴情報に基づいて、検出した顔が誰であるかを確定する、
個人識別方法。
【請求項１０】
コンピュータを、
連続的に撮像されたフレーム画像を順次取得する画像取得手段、
前記フレーム画像から顔画像を検出する顔検出手段、
前記顔画像の顔が誰であるか識別する顔識別手段、
前記顔識別手段による識別結果の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する顔確定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から画像内の人物が誰であるかを識別する個人識別装置、ロボット、個人識別方法、及び、プログラムに関する。
【背景技術】
【０００２】
撮像画像から人の顔を検出し、検出した顔が誰であるかを識別する技術が知られている。例えば、特許文献１には、顔画像から人物を識別し、識別した人物毎に特定の動作を行うコミュニケーションロボットについて記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−０５６３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像画像内で人が横を向いている場合や顔の一部が障害物で隠れている等の場合、撮像画像から顔は検出できるが、当該顔から個人（顔が誰であるか）を識別することはできない場合がある。そのため、特許文献１に記載のロボットの場合、対話している人が途中で横を向いたり障害物で一部が隠れてしまったりした場合、ロボットはその人を識別できなくなり、個人に応じた動作ができなくなってしまう虞がある。
【０００５】
本発明は上記実情に鑑みてなされたものであり、従来よりも確実に個人を識別することが可能な個人識別装置、ロボット、個人識別方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の個人識別装置は、
連続的に撮像されたフレーム画像を順次取得する画像取得手段と、
前記フレーム画像から顔画像を検出する顔検出手段と、
前記顔画像の顔が誰であるか識別する顔識別手段と、
前記顔識別手段による識別結果の履歴を記憶する記憶手段と、
前記記憶手段に記憶されている識別結果の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する顔確定手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、個人の顔識別中に、横を向いたときや何らかの要因で顔識別が出来なかったときも、顔識別結果の履歴に基づいて、顔画像が誰であるかを確定する。そのため、従来よりも確実に個人を識別することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る個人識別装置を内蔵したロボットの外観図である。
【図２】本発明の実施形態に係る個人識別装置の構成を示すブロック図である。
【図３】人物記憶部に格納されている情報の例を示す図である。
【図４】顔追跡情報記憶部に格納されている情報の例を示す図である。
【図５】識別履歴記憶部に格納されている情報の例を示す図である。
【図６】確定結果記憶部に格納されている情報の例を示す図である。
【図７】本発明の実施形態に係る顔追跡処理のフローチャートを示す図である。
【図８】本発明の実施形態に係る個人確定処理のフローチャート（その１）を示す図である。
【図９】本発明の実施形態に係る個人確定処理のフローチャート（その２）を示す図である。
【図１０Ａ】個人確定処理を具体的に説明するために用いた図であり、フレーム画像を示した図である。
【図１０Ｂ】個人確定処理を具体的に説明するために用いた図であり、識別履歴記憶部に格納されている情報の例を示す図である。
【図１０Ｃ】個人確定処理を具体的に説明するために用いた図であり、確定結果記憶部に格納されている情報の例を示す図である。
【図１１Ａ】個人確定処理を具体的に説明するために用いた図であり、フレーム画像を示した図である。
【図１１Ｂ】個人確定処理を具体的に説明するために用いた図であり、識別履歴記憶部に格納されている情報の例を示す図である。
【図１１Ｃ】個人確定処理を具体的に説明するために用いた図であり、確定結果記憶部に格納されている情報の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。
【００１０】
図１に示すように、本発明の実施形態に係る個人識別装置１０はロボット１に内蔵されている。ロボット１は、図示せぬスピーカやマイクを備えており、ユーザと会話する機能を備える。また、ロボット１は、図示せぬカメラを備えており、所定のフレームレートで自身の正面を撮像してフレーム画像を個人識別装置１０に送信する。また、ロボット１は、個人識別装置１０から、フレーム画像内の人物の識別結果を受信する。これにより、ロボット１は、会話している人物に応じて会話の内容を異ならせる等といった個人に応じた処理を実行する。
【００１１】
個人識別装置１０は、ロボット１が順次撮像したフレーム画像から人物の顔を検出し、検出した顔が誰であるかを識別する機能を有するコンピュータである。個人識別装置１０は、図２に示すように、ＩＦ（インタフェース）部１１と、記憶部１２と、制御部１３と、を備える。
【００１２】
ＩＦ部１１は、所定のコネクタ等であり、ロボット１と接続するためのインタフェースである。
【００１３】
記憶部１２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）やフラッシュメモリ等を備え、個人識別装置１０の動作に必要なプログラムやデータ等を記憶する。また、記憶部１２は、制御部１３のワークエリアとしても機能する。さらに、記憶部１２は、人物記憶部１２１と、顔追跡情報記憶部１２２と、識別履歴記憶部１２３と、確定結果記憶部１２４と、を備える。
【００１４】
人物記憶部１２１には、個人識別装置１０が識別対象とする人物に関する情報が登録されている。具体的には、人物記憶部１２１には、図３に示すように、人物毎に、当該人物の人物ＩＤと氏名と顔画像とが記憶されている。なお、顔画像は、後述する顔識別処理でこの人物を識別するために利用される。また、顔画像の代わりに、顔の特徴を示す情報等を記憶してもよい。
【００１５】
顔追跡情報記憶部１２２には、フレーム画像に対して行った顔検出の結果を示す顔追跡情報が登録される。具体的には、図４に示すように、顔追跡情報記憶部１２２には、フレーム画像から検出された顔画像毎に、顔画像の識別情報である顔ＩＤ、顔画像の位置（顔画像の中心位置座標）とサイズ、及び、更新日時を含む顔追跡情報が記憶される。なお、図４に示すサイズは、顔画像のサイズを１〜５の５段階で表した指標であるが、画素数などでサイズを表してもよい。
【００１６】
識別履歴記憶部１２３には、フレーム画像から検出された顔画像に対してなされた顔識別処理の結果の履歴を示す識別履歴情報が格納される。具体的には、図５に示すように、識別履歴記憶部１２３には、顔画像毎に、顔ＩＤと直近５回分の識別履歴とを含む識別履歴情報が格納される。なお、顔識別処理では、顔画像の顔が誰であるか識別した人物の人物ＩＤとともに、この識別結果がどの程度信頼できるものであるか（確実であるか）を示す精度（識別精度）も出力される。識別履歴情報には、識別した人物の人物ＩＤと識別精度とが識別履歴として記録される。また、図５において識別人物が「不明」となっている箇所は、顔が横を向いていた場合や顔の一部が隠れていた場合、若しくは人物記憶部１２１に登録されていない人物の顔画像である等の理由により、顔画像から人物を識別することができなかったことを示す。
【００１７】
確定結果記憶部１２４には、各顔画像の顔が誰であるか確定した結果が格納される。具体的には、図６に示すように、確定結果記憶部１２４には、顔画像毎に、顔ＩＤと、この顔画像から確定した人物の人物ＩＤ（確定人物）と、確定日時とを含んだ確定情報が記憶される。
【００１８】
図２に戻り、制御部１３は、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）を備え、記憶部１２に記憶されているプログラムを実行することで個人識別装置１０全体を制御する。また、制御部１３は、機能的な構成として、画像取得部１３１と、顔検出部１３２と、顔追跡部１３３と、顔識別部１３４と、顔確定部１３５と、結果出力部１３６と、を備える。
【００１９】
画像取得部１３１は、ＩＦ部１１を介して、ロボット１が所定のフレームレートで撮像したフレーム画像を順次取得して顔検出部１３２に出力する。
【００２０】
顔検出部１３２は、画像取得部１３１がフレーム画像を取得する度に、当該フレーム画像から顔画像を検出する。
【００２１】
顔追跡部１３３は、顔検出部１３２が検出した顔画像が、前回取得したフレーム画像から検出された顔画像と同じ人物の顔画像であるか否かを判別する。なお、この判別は、フレーム画像内での顔画像の位置とサイズにより判別される。そして、同じ人物の顔画像であると判別した場合、顔追跡部１３３は、顔追跡情報記憶部１２２に記憶されている対応する顔追跡情報の位置とサイズを今回検出された顔画像の位置とサイズに更新する。一方、同じ人物でないと判別した場合、顔追跡部１３３は、検出された顔画像に対応する顔追跡情報を顔追跡情報記憶部１２２に新たに登録する。
【００２２】
顔識別部１３４は、所定の時間毎に、フレーム画像から検出された顔画像の人物が誰であるかを識別する顔識別処理を行い、識別結果に基づいて識別履歴記憶部１２３の内容を更新する。
【００２３】
顔確定部１３５は、直近複数回の顔識別結果の履歴に基づいて、フレーム画像から検出された顔画像の人物が誰であるかを確定する。
【００２４】
結果出力部１３６は、顔確定部１３５が確定した人物を示す情報（例えば、確定した人物の人物ＩＤや氏名）を、ＩＦ部１１を介してロボット１に出力する。
【００２５】
（顔追跡処理）
続いて、個人識別装置１０で実施される処理の動作について説明する。個人識別装置１０の制御部１３（顔検出部１３２、顔追跡部１３３）は、ＩＦ部１１を介してロボット１からフレーム画像が取得される度に、図７に示す顔追跡処理を実施する。
【００２６】
まず、制御部１３は、公知の手法を用いて、取得したフレーム画像に対して顔検出処理を実行する（ステップＳ１０１）。これにより、フレーム画像から顔画像が検出される。例えば、制御部１３は、人間の顔のテンプレートのデータを記憶部１２に格納しておき、フレーム画像内でテンプレートに合致する部分を顔画像として検出すればよい。なお、フレーム画像内に複数の人物が存在する場合は、顔検出処理で複数の顔画像が検出される。また以下の説明では、ステップＳ１０１で検出された顔画像を検出顔画像とも表記する。
【００２７】
続いて、制御部１３は、顔追跡情報記憶部１２２に格納されている顔追跡情報のなかから、所定時間（例えば、１秒間）更新されていない顔追跡情報を削除する（ステップＳ１０２）。
【００２８】
続いて、制御部１３は、検出顔画像毎に、検出顔画像の顔と同一人物の顔が現れる顔画像を、顔追跡情報記憶部１２２に格納されている各顔追跡情報が示す各顔画像（前回取得されたフレーム画像から検出された各顔画像）のなかから特定する（ステップＳ１０３）。
【００２９】
具体的には、制御部１３は、検出顔画像の位置及びサイズと、顔追跡情報が示す顔画像の位置及びサイズとを比較して、両顔画像の重なり具合を示す指標である重なり度を算出する。重なり度は、両顔画像の位置およびサイズが等しい程高くなる指標である。なお、両顔画像のサイズが等しくても、位置的に両画像が全く重ならない場合の重なり度は０とする。そして、制御部１３は、所定値以上の重なり度の顔画像の組を同一人物の顔画像の組として特定すればよい。なお、一の検出顔画像に対して、所定値以上の重なり度の顔画像が複数有る場合、制御部１３は、重なり度が最大となる顔画像の組を特定すればよい。
【００３０】
続いて、制御部１３は、ステップＳ１０３で特定した結果に基づいて、顔追跡情報を更新する（ステップＳ１０４）。具体的には、制御部１３は、同一人物の顔であると特定した顔画像に対応する顔追跡情報の位置とサイズを今回の検出顔画像の位置とサイズに更新し、当該追跡情報の更新日時を現在日時に更新すればよい。
【００３１】
なお、ステップＳ１０３で検出顔画像の顔と同一人物の顔画像が特定できなかった場合、制御部１３は、顔ＩＤを新たに発行して当該検出顔画像を人物記憶部１２１に新たに登録するとともに、顔追跡情報記憶部１２２に当該検出顔画像に対応する顔追跡情報を新たに登録する（ステップＳ１０５）。以上で顔検出処理は終了する。
【００３２】
（個人確定処理）
続いて、個人確定処理について説明する。個人識別装置１０の制御部１３（顔識別部１３４、顔確定部１３５、結果出力部１３６）は、上述した顔追跡処理と並行して、所定の時間（例えば、１秒）が経過する毎に、図８に示す個人確定処理を実施する。
【００３３】
まず、制御部１３は、顔追跡情報記憶部１２２に記憶されている顔追跡情報を参照して、ＩＦ部１１を介してロボット１より取得した最新のフレーム画像から顔画像を取得する（ステップＳ２０１）。具体的には、制御部１３は、顔追跡情報が示す位置とサイズとに基づいてフレーム画像から画像を切り出し、この画像を顔画像として取得すればよい。なお、複数の顔追跡情報があれば、複数の顔画像が取得される。また、以下の説明では、ステップＳ２０１で取得した顔画像を取得顔画像とも表記する。
【００３４】
続いて、制御部１３は、確定結果記憶部１２４に記憶されている確定情報のうち、確定日時から予め定めた時間（例えば、３０秒）が経過した確定情報の確定人物を「不明」に更新する（ステップＳ２０２）。
【００３５】
続いて、制御部１３は、公知の手法により、取得顔画像に現れる顔が、人物記憶部１２１に登録されている各人物のうちの誰であるかを識別する顔識別処理を実行する（ステップＳ２０３）。具体的には、制御部１３は、取得顔画像と人物記憶部１２１に登録されている各人物の顔画像とで、目の間の距離や顔の縦横の比率等の特徴量を比較して同じ人物の顔であるかどうかを判別して顔識別を行えばよい。なお、この顔識別処理では、誰であるか識別した人物の人物ＩＤとともに、この識別の精度（識別精度）も出力される。また、この顔識別処理では、複数の取得顔画像に対して同一人物の顔であると識別されてしまう可能性がありうる。
【００３６】
続いて、制御部１３は、ステップＳ２０３で実施した顔識別処理の結果に基づいて、識別履歴記憶部１２３に格納されている識別履歴情報を更新する（ステップＳ２０４）。
【００３７】
続いて、以降の処理では、更新された各顔画像の顔の識別履歴に基づいて、各顔画像の顔が誰であるかを確定する処理が実施される。まず、制御部１３は、全ての取得顔画像を後述するステップＳ２０６の処理で選択したか否かを判別する（ステップＳ２０５）。
【００３８】
未選択の取得顔画像がある場合（ステップＳ２０５；Ｎｏ）、制御部１３は、この取得顔画像を１つ選択する（ステップＳ２０６）。なお、以下の説明では、ステップＳ２０６で選択した顔画像を選択顔画像とも表記する。
【００３９】
続いて、制御部１３は、識別履歴記憶部１２３に格納されている選択顔画像の識別履歴情報を参照して、記録されている直近複数回の識別履歴のうち、過半数で同一人物と識別されているか否かを判別する（ステップＳ２０７）。
【００４０】
過半数で同一人物と識別されていない場合（ステップＳ２０７；Ｎｏ）、識別履歴から選択顔画像の顔が誰であるか確定することはできない。そのため、制御部１３は、この選択顔画像を過半数未到達画像に設定し（ステップＳ２０８）、ステップＳ２０５に処理は戻る。
【００４１】
一方、過半数で同一人物と識別されている場合（ステップＳ２０７；Ｙｅｓ）、制御部１３は、選択顔画像の識別履歴情報を参照して、この人物であると識別した識別精度の平均値を算出する（ステップＳ２０９）。なお、制御部１３は、直近に実施された顔識別ほど大きい重みを付した識別精度の加重平均値を算出してもよい。
【００４２】
続いて、制御部１３は、この人物が選択顔画像に現れる顔の人物の候補であることを示す識別候補情報を生成し、識別候補リストに登録する（ステップＳ２１０）。なお、識別候補情報は、選択顔画像の顔ＩＤと、候補となる人物の人物ＩＤと、ステップＳ２０９で算出した精度と、から構成される情報である。また、識別候補リストは、個人確定処理の度に一時的にＲＡＭ等に作成されるリストであり、今回の確定処理が終了すると消去される。平均精度の算出後、処理はステップＳ２０５に戻る。
【００４３】
一方、未選択の顔画像がない場合（即ち、全ての顔画像を選択した場合）（ステップＳ２０５；Ｙｅｓ）、制御部１３は、識別候補リストに登録されている識別候補情報を後述するステップＳ２１２で全て選択したか否かを判別する（ステップＳ２１１）。
【００４４】
未選択の識別候補情報がある場合（ステップＳ２１１；Ｎｏ）、制御部１３は、識別候補リストに登録されている未選択の識別候補情報のなかから、識別精度が最大のものを１つ選択する（ステップＳ２１２）。
【００４５】
そして、制御部１３は、選択した識別候補情報に含まれる人物ＩＤの人物（候補者）を、後述するステップＳ２１５の処理で他の顔画像の顔の人物として既に確定しているか否かを判別する（ステップＳ２１３）。
【００４６】
確定済の場合（ステップＳ２１３；Ｙｅｓ）、制御部１３は、選択した識別候補情報に含まれる顔ＩＤを有する確定情報の確定人物を「不明」に更新し（ステップＳ２１４）、処理はステップＳ２１１に戻る。
【００４７】
一方、確定済みでない場合（ステップＳ２１３；Ｎｏ）、制御部１３は、選択した識別候補情報に基づいて、顔画像の顔の人物を候補者に確定させる処理を行う（ステップＳ２１５）。具体的には、制御部１３は、選択した識別候補情報に含まれる顔ＩＤを有する確定情報の確定人物を、選択した識別候補情報に含まれる候補者の人物ＩＤに更新するとともに、更新日時を現在日時に更新する。そして、処理はステップＳ２１１に戻る。
【００４８】
全ての識別候補情報が選択された場合（ステップＳ２１１；Ｙｅｓ）、制御部１３は、後述するステップＳ２１７で、ステップＳ２０８で設定した過半数未到達画像を全て選択したか否かを判別する（図９、ステップＳ２１６）。
【００４９】
未選択の過半数未到達画像がある場合（ステップＳ２１６；Ｎｏ）、制御部１３は、この過半数未到達画像を１つ選択する（ステップＳ２１７）。
【００５０】
そして、制御部１３は、選択した過半数未到達画像の確定情報を参照して、前回の確定処理でこの過半数未到達画像の確定人物が「不明」であるか否かを判別する（ステップＳ２１８）。
【００５１】
確定人物が「不明」の場合（ステップＳ２１８；Ｙｅｓ）、今回の確定処理でも選択した過半数未到達画像の顔が誰であるか特定することはできないため、確定人物「不明」をそのまま維持し、処理はステップＳ２１６に戻る。
【００５２】
一方、確定人物が「不明」でなく何らかの人物で確定している場合（ステップＳ２１８；Ｎｏ）、制御部１３は、ステップＳ２１５の処理でこの人物を他の顔画像の人物として確定したか否かを判別する（ステップＳ２１９）。
【００５３】
確定済みでない場合（ステップＳ２１９；Ｎｏ）、制御部１３は、選択した過半数未到達画像の確定人物を、前回の確定人物のまま継承する（ステップＳ２２０）。具体的には、制御部１３は、選択した過半数未到達画像の確定情報を変更せずにそのまま維持する。そして、処理はステップＳ２１６に戻る。
【００５４】
一方、確定済みの場合（ステップＳ２１９；Ｙｅｓ）、制御部１３は、選択した過半数未到達画像の確定人物を「不明」に更新する（ステップＳ２２１）。具体的には、制御部１３は、選択した過半数未到達画像の顔ＩＤを有する確定情報の確定人物を「不明」に更新すればよい。そして、処理はステップＳ２１６に戻る。
【００５５】
全ての過半数未到達画像を選択した場合（ステップＳ２１６；Ｙｅｓ）、全ての顔画像に対して顔画像の人物が誰であるかが確定したこととなり、制御部１３は、ＩＦ部１１を介して、確定結果を示す情報をロボット１に送信する（ステップＳ２２２）。以上で個人確定処理は終了する。
【００５６】
続いて、具体例を挙げて、上述した個人確定処理とその効果について説明する。なお、人物記憶部１２１には、図３に示す登録人物情報が予め登録されているものとする。
【００５７】
例えば、図１０Ａに示すフレーム画像を対象に個人確定処理が実施された場合を考える。この場合、まず、このフレーム画像から顔ＩＤがそれぞれ「Ｆ００１」、「Ｆ００２」、「Ｆ００３」である３つの顔画像Ｘ１〜Ｘ３が取得される（ステップＳ２０１）。
【００５８】
そして、これらの各顔画像Ｘ１〜Ｘ３に対して顔識別処理が実施される（ステップＳ２０３）。この顔識別処理では、顔画像Ｘ１の顔は、登録人物情報の各顔画像と比較することで、人物ＩＤ「Ｐ１」の人物であると識別される。一方、顔画像Ｘ２の顔は横向き、Ｘ３の顔は障害物Ｚにより一部が隠れているため、顔追跡処理では顔画像として検出できたものの、顔識別処理では誰であるか識別できずに「不明」と判定される。そして、今回の識別結果が反映されて、識別履歴記憶部１２３に格納されている識別履歴情報は、例えば、図１０Ｂに示すような状態に更新される（ステップＳ２０４）。
【００５９】
ここで、顔ＩＤ「Ｆ００１」の顔画像Ｘ１の顔は、今回までの５回分の顔識別の全てで識別人物「Ｐ１」と識別されている。そのため、顔画像Ｘ１の顔は、人物ＩＤ「Ｐ１」の人物であると確定する（ステップＳ２１５）。
【００６０】
また、顔ＩＤ「Ｆ００２」の顔画像Ｘ２の顔は、今回までの５回分の顔識別のうち、過半数である３回、識別人物「Ｐ２」と識別されている。そのため、顔画像Ｘ２の顔は、今回取得されたフレーム画像（図１０Ａ）からは誰であるか識別できなかったものの、人物ＩＤ「Ｐ２」の人物であると確定する（ステップＳ２１５）。
【００６１】
また、顔ＩＤ「Ｆ００３」の顔画像Ｘ３の顔については、今回までの５回分の顔識別のうち、過半数で同一人物と識別されていない。しかしながら、ここでは、前回の顔識別処理で顔ＩＤ「Ｆ００３」の顔は人物ＩＤ「Ｐ３」の人物と確定したものとする。そのため、その確定結果が継承されて、顔画像Ｘ３の顔については、人物ＩＤ「Ｐ３」の人物と確定する（ステップＳ２２０）。
【００６２】
そして、最終的に、確定結果記憶部１２４に格納されている確定情報は、図１０Ｃに示すような状態に更新され、顔ＩＤがそれぞれ「Ｆ００１」、「Ｆ００２」、「Ｆ００３」である顔画像Ｘ１〜Ｘ３の顔が誰であるかが確定する。
【００６３】
即ち、本発明に係る個人識別装置１０では、最新のフレーム画像からは横向であったり一部が障害物Ｚで隠れていたりする等して顔識別できなかった顔画像Ｘ２、Ｘ３の顔についても、識別結果の履歴や前回の確定結果から、誰であるか人物を確定することができ、従来よりも確実に画像から個人を特定することが可能となる。
【００６４】
続いて、別の例を挙げて上述した個人確定処理とその効果について説明する。
【００６５】
例えば、図１１Ａに示すフレーム画像を対象に個人確定処理が実施された場合を考える。この場合、まず、このフレーム画像から顔ＩＤがそれぞれ「Ｆ００１」、「Ｆ００２」である２つの顔画像Ｙ１、Ｙ２が取得される（ステップＳ２０１）。
【００６６】
そして、これらの各顔画像Ｙ１、Ｙ２に対して顔識別処理が実施される（ステップＳ２０３）。ここで、顔画像Ｙ１の顔と顔画像Ｙ２の顔とは似ているため、顔画像Ｙ１、Ｙ２ともに人物ＩＤ「Ｐ１」の人物であると識別される。そして、今回の識別結果が反映されて、識別履歴記憶部１２３に格納されている識別履歴情報は、図１１Ｂに示すような状態に更新される（ステップＳ２０４）。
【００６７】
ここで、両顔画像Ｙ１、Ｙ２ともに、今回までの５回分の顔識別のうち、過半数である３回、識別人物「Ｐ１」と識別されている。しかしながら、顔画像Ｙ１に対するこの識別の平均識別精度は９０、顔画像Ｙ２に対するこの識別の平均識別精度は５０であるため（ステップＳ２０９）、平均識別精度が高い顔画像Ｙ１（顔ＩＤ「Ｆ００１」）が優先されて、顔画像Ｙ１の顔は人物ＩＤ「Ｐ１」の人物であると確定する（ステップＳ２１５）。一方、顔画像Ｙ２の顔については、人物ＩＤ「Ｐ１」の人物が確定済みのため、「不明」と確定する（ステップＳ２１４）。
【００６８】
そして、最終的に、確定結果記憶部１２４に格納されている確定情報は、図１１Ｃに示すような状態に更新される。即ち、顔識別処理で複数の顔画像Ｙ１、Ｙ２の顔が同じ人物であると識別された場合でも、識別精度の高い顔画像Ｙ１の顔が優先して誰であるか確定する。そのため、本発明に係る個人識別装置１０では、フレーム画像内に似ている人物が複数いた場合に同一人物と特定してしまう不具合を防止することができる。
【００６９】
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない部分での種々の修正は勿論可能である。
【００７０】
例えば、上記実施形態では、個人識別装置１０がロボット１に内蔵されているものとして説明した。しかしながら、動画撮影機能を有すデジタルカメラやビデオカメラ等に個人識別装置１０が内蔵されていてもよい。この場合、例えば、個人識別装置１０は、デジタルカメラやビデオカメラのライブビュー画像から画像内の顔が誰であるかを特定する用途に用いられる。また、個人識別装置１０に撮像部を備えさせ、個人識別装置１０が撮像したフレーム画像から個人識別を行ってもよい。この場合は個人識別装置１０がデジタルカメラやビデオカメラであってもよい。
【００７１】
また、上記実施形態では、個人確定処理において、顔画像の顔の人物を、直近複数回の識別履歴のうち過半数で同一人物と識別されている人物に確定した。しかしながら、これに限らず、複数回の識別履歴から人物を確定するための条件は種々のものが採用可能である。例えば、より条件を厳しくして、５回分の識別履歴のうち４回以上同一人物と識別されている場合に、当該人物を顔画像の顔の人物として確定してもよい。若しくは、より条件を緩和して、５回分の識別履歴のうち２回以上同一人物と識別されている場合に、当該人物を顔画像の顔の人物として確定してもよい。なお、条件を緩和した場合、条件を満たす人物が複数存在する場合（例えば、５回分の識別履歴のうち、人物Ａとした識別履歴と人物Ｂとした識別履歴が２回ずつある場合）も考えられる。しかしこの場合、例えば、より直近に実施された顔識別で識別された人物に確定する等の別の条件を設定すればよい。
【００７２】
例えば、上記実施形態では、識別履歴記憶部１２３に直近５回分の顔識別結果の履歴を保存したが、何回分の履歴を保存するかは任意であり、例えば、直近１０回分の履歴を保存してもよい。
【００７３】
また、制御部１３は、個人確定処理の顔識別処理（図８のステップＳ２０３）で顔画像の顔が誰であるか識別できなかった場合や識別精度が所定値以下の場合のみ以降の処理（ステップＳ２０４〜Ｓ２２２）を実施してもよい。そして、制御部１３は、顔識別処理（ステップＳ２０３）で顔画像の顔が誰であるか識別できた場合は、識別履歴記憶部１２３に記憶されている履歴を参照せずに、直ちに識別できた人物に顔画像の顔を確定させて、個人確定処理を終了させてもよい。このようにすることで、個人確定処理の処理時間を短縮することが可能となる。
【００７４】
また、この発明の個人識別装置１０の各機能は、通常のＰＣ（Personal Computer）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、個人識別装置１０が行う処理のプログラムが、記憶部に予め記憶されているものとして説明した。しかし、このプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）及びＭＯ（Magneto Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
【００７５】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【００７６】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００７７】
（付記１）
連続的に撮像されたフレーム画像を順次取得する画像取得手段と、
前記フレーム画像から顔画像を検出する顔検出手段と、
前記顔画像の顔が誰であるか識別する顔識別手段と、
前記顔識別手段による識別結果の履歴を記憶する記憶手段と、
前記記憶手段に記憶されている識別結果の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する顔確定手段と、
を備える個人識別装置。
【００７８】
（付記２）
前記顔確定手段は、前記記憶手段に記憶されている識別結果の直近複数回の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する、
付記１に記載の個人識別装置。
【００７９】
（付記３）
前記顔確定手段は、前記直近複数回の履歴のうち過半数で同じ人物であると識別されている場合、前記顔画像の顔は前記人物であると確定する、
付記２に記載の個人識別装置。
【００８０】
（付記４）
前記顔検出手段は、前記フレーム画像から第１の顔画像と第２の顔画像とを検出し、
前記顔確定手段は、前記識別結果の履歴で、前記第１の顔画像の顔と前記第２の顔画像の顔とが同じ特定人物であると識別されている場合、該識別の精度が高い方の顔画像の顔を前記特定人物に確定する、
付記１から３の何れか１つに記載の個人識別装置。
【００８１】
（付記５）
前記顔確定手段は、前記第１の顔画像および前記第２の顔画像それぞれについて、前記特定人物であると識別した履歴から、直近に実施された識別ほど大きい重みを付した識別の精度の加重平均を求め、該加重平均が高い方の顔画像の顔を前記特定人物に確定する、
付記４に記載の個人識別装置。
【００８２】
（付記６）
前記顔確定手段は、前記識別結果の履歴から人物を確定できない場合、前回の処理で確定した結果を継承する、
付記１から５の何れか１つに記載の個人識別装置。
【００８３】
（付記７）
前記顔確定手段は、
前記顔検出手段により顔画像の顔が誰であるか識別できた場合は、当該顔画像の顔を識別できた顔に確定し、
識別できなかった場合は、前記記憶手段に記憶されている識別結果の履歴に基づいて、当該顔画像の顔が誰であるか確定する、
付記１から６の何れか１つに記載の個人識別装置。
【００８４】
（付記８）
付記１から７の何れか１つに記載の個人識別装置を備え、前記個人識別装置が確定した個人に応じた処理を実行するロボット。
【００８５】
（付記９）
フレーム画像から顔を検出し、
検出した顔が誰であるかを識別した結果の履歴情報を記憶し、
前記履歴情報に基づいて、検出した顔が誰であるかを確定する、
個人識別方法。
【００８６】
（付記１０）
コンピュータを、
連続的に撮像されたフレーム画像を順次取得する画像取得手段、
前記フレーム画像から顔画像を検出する顔検出手段、
前記顔画像の顔が誰であるか識別する顔識別手段、
前記顔識別手段による識別結果の履歴に基づいて、最新のフレーム画像から検出した顔画像の顔が誰であるかを確定する顔確定手段、
として機能させるプログラム。
【符号の説明】
【００８７】
１…ロボット、１０…個人識別装置、１１…ＩＦ部、１２…記憶部、１２１…人物記憶部、１２２…顔追跡情報記憶部、１２３…識別履歴記憶部、１２４…確定結果記憶部、１３…制御部、１３１…画像取得部、１３２…顔検出部、１３３…顔追跡部、１３４…顔識別部、１３５…顔確定部、１３６…結果出力部
【図１】
2018073076.tif 000003
【図２】
2018073076.tif 000004
【図３】
2018073076.tif 000005
【図４】
2018073076.tif 000006
【図５】
2018073076.tif 000007
【図６】
2018073076.tif 000008
【図７】
2018073076.tif 000009
【図８】
2018073076.tif 000010
【図９】
2018073076.tif 000011
【図１０Ａ】
2018073076.tif 000012
【図１０Ｂ】
2018073076.tif 000013
【図１０Ｃ】
2018073076.tif 000014
【図１１Ａ】
2018073076.tif 000015
【図１１Ｂ】
2018073076.tif 000016
【図１１Ｃ】
2018073076.tif 000017