(57)【要約】      （修正有）【課題】日中で何度も同一人物の顔認識を行う場合に、ユーザの顔の向き等にも影響を受けないように、同一人物で顔の向き等が異なる複数タイプの特徴量を準備する仕組みを提供する。【解決手段】第１の顔認証手段は、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する。さらに、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像の中から、第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない顔画像を抽出する。そして、登録されている顔画像の第１の特徴量に抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する。【選択図】図６
2019114277.tif 000002
【特許請求の範囲】
【請求項１】
登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記撮影手段が撮像する間、顔の向きが異なる方向に顔を動かすようユーザにガイドするガイド手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記撮影手段を用いて撮影する人物が前記撮影手段の前方で行う動作であるイベント情報を、前記動作毎に繰り返して検出するイベント検出手段と、
を更に備え、
前記イベント検出手段が前記イベント情報を検出する場合に、前記第２の顔認証手段が同じ人物であると判断した前記人物のイベント情報を検出することを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記撮影手段を用いて撮影する人物が前記撮影手段の前方で行う動作であるイベント情報を、前記動作毎に繰り返して記録するイベント記録手段と、
前記イベント記録手段が前記イベント情報を記録する場合に、前記第２の顔認証手段が同じ人物であると判断した前記人物のイベント情報も併せて記録することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
登録されている顔画像と、新規撮影する顔画像とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像に前記抽出した顔画像を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
を備えることを特徴とする情報処理装置。
【請求項６】
登録されている顔画像と、新規撮影する顔画像とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像に前記抽出した顔画像を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
を備えることを特徴とする顔認証システム。
【請求項７】
情報処理装置の第１の顔認証手段が、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証工程と、
前記情報処理装置の撮影手段が、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影工程と、
前記情報処理装置の抽出手段が、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出工程と、
前記情報処理装置の第２の顔認証手段が、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証工程と、
を含むことを特徴とする情報処理装置の制御方法。
【請求項８】
情報処理装置を、
登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、
顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、
前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、
登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、
して機能させることを特徴とする前記情報処理装置で読み取り実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレワーク管理システムに関する。
【背景技術】
【０００２】
近年、ブロードバンドや情報セキュリティ技術の発達の他、災害時における事業継続性や節電対策への注目などを背景に、各企業では、自宅等の遠隔地でユーザが仕事するテレワークに対する関心が強まっている。テレワークを導入する上では、管理者から様子が見えにくいため、家族をはじめとする第三者による情報処理端末へのアクセスにより機密情報が漏えいするリスクや、労働管理がしにくい問題がある。
【０００３】
先行技術には、メガネ有り無し等でユーザの見た目が日々かわると、同一人物を顔認識するための基準顔画像から取得した判定基準がぶれてしまい、同一人物の認識率が日々変動してしまうといった問題を解決するために、先の登録した基準顔画像の特徴量と、新規にカメラで撮影した顔画像の特徴量との類似度を見て、その類似度が許容値を満す（似ていると判断した）場合に、先の登録した基準顔画像の特徴量を使ってイベントを検出する。逆にその類似度が許容値を満たさない（似ていない判断した）場合に、ユーザの見た目に影響を受けずに同一人物の認識率を上げるために、新規にカメラで撮影した顔画像から取得した一時特徴量で使ってイベントを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０３１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
先行技術は、同一人物を顔認識するための特徴量をその日のユーザの見た目によって差し替える技術であり、その日のユーザの見た目に影響を受けずに同一人物の認識率を上げる効果がある。
【０００６】
テレワーカは勤務中、上下左右様々な方向を向くことがある。どの方向を向いたときにも精度良くイベントを検出するためには、様々な角度から撮影された顔画像を用いてイベントを検出する必要がある。
【０００７】
このように、日中で何度も同一人物の顔認識を行い、その度に動作イベントを検出するケースにおいては、動作イベントを検出したいタイミングでユーザの顔の向き等が良くない（ＷＥＢカメラから見て、顔が見えにくい）ケースも想定する必要があり、ユーザの顔の向き等にも影響を受けずに動作イベントを検出できる、同一人物で顔の向き等が異なる複数タイプの特徴量を準備する必要がある。
【０００８】
本発明は、日中で何度も同一人物の顔認識を行う場合に、ユーザの顔の向き等にも影響を受けないように、同一人物で顔の向き等が異なる複数タイプの特徴量を準備することが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、を備えることを特徴とする情報処理装置。
【００１０】
本発明は、情報処理装置の第１の顔認証手段が、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証工程と、前記情報処理装置の撮影手段が、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影工程と、前記情報処理装置の抽出手段が、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出工程と、前記情報処理装置の第２の顔認証手段が、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証工程と、を含むことを特徴とする情報処理装置の制御方法。
【００１１】
本発明は、情報処理装置を、登録されている顔画像の第１の特徴量と、新規撮影する顔画像の第２の特徴量とが類似しているかを判別可能な第１の基準に従って、新規撮影する顔画像の人物が、登録されている顔画像の人物と同じ人物であるか否かを判断する第１の顔認証手段と、顔の向きが異なるように、所定時間内に連続して撮影した複数枚の同じ人物の顔画像を撮影する撮影手段と、前記撮影した複数枚の同じ人物の顔画像の中から、前記第１の顔認証手段では登録されている顔画像の人物と同じ人物であるとは判断しない、前記顔の向きが異なる同じ人物の顔画像を抽出する抽出手段と、登録されている顔画像の第１の特徴量に前記抽出した顔画像の第３の特徴量を加えた第２の基準に従って、新規撮影する顔画像の人物が、前記顔の向きが異なる顔画像が抽出された人物と同じ人物であるか否かを判断する第２の顔認証手段と、して機能させることを特徴とする前記情報処理装置で読み取り実行可能なプログラム。
【発明の効果】
【００１２】
本発明により、日中で何度も同一人物の顔認識を行う場合に、ユーザの顔の向き等にも影響を受けないように、同一人物で顔の向き等が異なる複数タイプの特徴量を準備することが可能な仕組みを提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。
【図２】本発明の操作端末１００および監査端末１１０、管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【図３】本発明におけるテレワーク管理システムを利用して、ユーザがテレワーク作業を行っている間の操作端末１００が行う、動作イベントの検出及び記録処理の一例を示すフローチャートである。
【図４】本発明における、顔認証の基準となる顔画像を登録するシーケンスを示すフローチャートである。
【図５】本発明における、顔認証の基準となる顔画像を１枚撮影するシーケンスを示すフローチャートである。
【図６】本発明における、顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスを示すフローチャートである。
【図７】本発明における、顔画像を操作端末に登録する操作画面の遷移を示すものである。
【図８】本発明における、操作端末に登録する顔画像をユーザが選択する操作画面の遷移を示すものである。
【図９】本発明における、操作端末に登録する顔画像データの一例を示したものである。
【発明を実施するための形態】
【００１４】
まず、本発明の概要について説明する。
【００１５】
本発明のテレワーク管理システムは、顔認識技術を用いてテレワーカの動作イベント（”着席”や”離席”の等の動作イベントや、テレワーカ以外の第三者による”なりすまし”や”覗き込み”のセキュリティインシデント）を検出・記録し、管理者が閲覧できるようにするシステムである。
【００１６】
テレワーカが勤務を開始する際、テレワーカの顔写真を撮影し、当該顔写真と、最初にテレワーカ本人であることが保証されている顔画像の特徴量とを用いて個人認証を行い、テレワーカ本人である可能性の度合い（認証レベル）を算出する（以降、顔画像とその特徴量をまとめて特徴量、個人認証に使用する特徴量を認証特徴量とする）。
図１を説明する。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１は、本発明のテレワーク管理システムの構成の一例を示すシステム構成図である。
【００１７】
図１は、１又は複数の操作端末１００、１又は複数の監査端末１１０、１又は複数の管理サーバ１２０が、ローカルエリアネットワーク（ＬＡＮ）１３０とルータ１４０、およびインターネット１５０を介して接続される構成となっている。
【００１８】
操作端末１００は、使用するテレワーカの動作イベントおよびセキュリティインシデントを検出し、その証跡を管理サーバ１２０に送信する。また、動作イベント検出に使用するテレワーカの特徴量（顔画像とそこから取得した特徴量）を管理サーバ１２０に送信する。
監査端末１１０は、管理サーバ１２０に記録された特徴量の承認操作と、管理サーバ１２０に記録された証跡の監査操作を行う。
【００１９】
管理サーバ１２０は、操作端末１００から受信した証跡を記録し、その証跡に対する監査端末１１０の監査操作を処理する。また、操作端末１００から受信した特徴量を記録し、その特徴量に対する監査端末１１０の承認操作を処理する。
後述する、本発明の操作端末１００及び管理サーバ１２０を用いて顔認証システムを構築することができる。
図２を説明する。
以下、図２を用いて、図１に示した操作端末１００、監査端末１１０、管理サーバ１２０に適用可能な情報処理装置のハードウェア構成について説明する。
図２は、図１に示した操作端末１００、監査端末１１０、管理サーバ１２０に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【００２０】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２１】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２２】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９やカメラデバイス２１０（撮像装置）、不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１１等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。
【００２３】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。
【００２４】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ１３０）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２５】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１１上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２６】
本発明を実現するための後述する各種プログラムは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１２に格納されており、これらについての詳細な説明も後述する。
図３を説明する。
【００２７】
以下、図３を参照して、本発明のテレワーク管理システムにおける、テレワーカが利用する操作端末１００上で動作する常駐アプリケーションでの処理について説明する。
図３のフローチャートで示す処理は、操作端末１００のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００２８】
図３は、図４の顔認証の基準となる顔画像を登録が完了した後、個人の顔を認証して、ＷＥＢカメラを用いて、各個人を認証した動作イベントの検出及び、記録をテレワーク作業中に行う、シーケンスである。
【００２９】
Ｓ４０１では、ユーザが操作端末１００にログインすることにより、操作端末１００が常駐アプリケーションを起動し、バックグラウンドで管理サーバ１２０にテレワーカのアカウントＩＤとパスワードによってログインする。管理サーバ１２０は、アカウント記憶部１２８に記憶されたテレワーカの情報と比較し、一致すればログインを許可する。アカウントＩＤとパスワードは、常駐アプリケーションの初回起動時にユーザが設定し、以降は設定された値を使用するものとする。
【００３０】
Ｓ４０２では、テレワーカの動作イベントが発生する毎に、操作端末１００を使用しているユーザが管理サーバ１２０に登録されたテレワーカである可能性を算出し、その結果次第でＳ４０３の動作イベント検出で使用する特徴量を取得する。
【００３１】
Ｓ４０２で情報処理装置は、情報処理装置の表示部の近傍に設けられた撮影手段２１０（ＷＥＢカメラ等）を使って、テレワーカが作業をしている間中、人物（テレワーカ）の顔画像を動画で撮影する。新規に撮影する各顔画像の静止画から、第４の特徴量（いろいろな方向向いている顔画像から取得した特徴量）を取得する。第４の特徴量を使って、人物が既に登録されている顔画像の人物と同じ人物であるかを判断する場合に、判別可能な第１の基準に、Ｓ８１３において登録した顔画像の第３の特徴量を加えた第２の基準に従って、新規に比較する顔画像の人物が既に登録されている顔画像の人物と同じ人物であるかを判断する（第２の顔認証手段）。
【００３２】
第２の基準とは（登録済みの第１の特徴量をベースに、Ｓ４０２で新規に撮影した画像の第４の特徴量とが類似していると判断する閾値）＋（登録済みの第３の特徴量をベースに、新規に撮影した画像の第４の特徴量とが類似していると判断する閾値）に閾値を広げたものである。
【００３３】
第２の基準を満たすことで、同じ人物と認識されることになり、撮影手段２１０（ＷＥＢカメラ等）を使って継続して顔認証を行う必要があるケースにおいても、たまたま顔の向きが変わっていたタイミングであっても同じ人物を精度よく認識することができる。
【００３４】
Ｓ４０３では、動作イベント（”着席”、”離席”といった労務動作イベントや、”なりすまし”、”覗き込み”といったセキュリティインシデント）を検出し、その証跡を管理サーバ１２０に送信する。
【００３５】
Ｓ４０３で情報処理装置は、撮影手段（ＷＥＢカメラ）を用いて撮影する人物（テレワーカ）が撮影手段（ＷＥＢカメラ）の前方で行う動作であるイベント情報を、リアルタイムで撮影された人物の動作内容を画像解析することにより、撮影された人物の動作毎に繰り返して検出する（イベント検出手段）。ここでイベント検出手段がイベント情報（着席、離席、なりすまし、覗き込み）を検出する場合に、Ｓ８０８の第１の顔認証手段において同じ人物であると判断した人物のイベント情報も検出し、更にＳ４０２の第２の顔認証手段が同じ人物であると判断した人物のイベント情報も併せて検出する。これにより顔の向きが異なっていても、同じ人物の認識の幅が広くなり、同じ人物の認識率が向上し、顔の向きが異なっていても、きちんとイベント情報（着席、離席、覗き込み）を検出することが可能となる。
【００３６】
また、Ｓ４０３で情報処理装置は、撮影手段（ＷＥＢカメラ）を用いて撮影する人物が撮影手段（ＷＥＢカメラ）の前方で行う動作であるイベント情報を、リアルタイムで撮影された人物の動作内容を画像解析することにより、撮影された人物の動作毎に繰り返して記録する（イベント記録手段）。ここでイベント記録手段がイベント情報（着席、離席、なりすまし、覗き込み）を記録する場合に、Ｓ８０８の第１の顔認証手段において同じ人物であると判断した人物のイベント情報も記録し、更にＳ４０２の第２の顔認証手段が同じ人物であると判断した人物のイベント情報も併せて記録する。これにより顔の向きが異なっていても、同じ人物の認識の幅が広くなり、同じ人物の認識率が向上し、顔の向きが異なっていても、きちんとイベント情報（着席、離席、覗き込み）をその証跡として記録することが可能となる。
Ｓ４０４では、ユーザが操作端末１００からログアウトすることにより、操作端末１００がバックグラウンドで管理サーバ１２０からログアウトする。
図４を説明する。
【００３７】
図４は、テレワーク作業を開始する前の準備として、顔認証の基準となる顔画像を登録するシーケンスである。図４の顔認証の基準となる顔画像を登録した後に、図３の動作イベントの検出及び、記録がテレワーク作業中に行うことができる。
Ｓ６０１で情報処理装置は、顔認証の基準となる顔画像を登録する登録リストＡを作成する。
【００３８】
Ｓ６０２で情報処理装置は、登録リストＡに既にある顔画像で顔認証可能か否かを判断する。顔認証な場合（ＴＲＵＥ）にはＳ６０４に進む。顔認証不能なＦＡＬＳＥ）の場合にはＳ６０３に進む。
Ｓ６０３で情報処理装置は、顔認証の基準となる顔画像を１枚撮影するシーケンスのフローチャートである。その詳細は図５で説明する。
Ｓ６０４で情報処理装置は、撮影方式を受け付ける。
【００３９】
Ｓ６０５で情報処理装置は、受け付けた撮影方式が顔画像を１枚撮影するシーケンスであるか、あるいは画で複数枚撮影するシーケンスであるかを判断する。１枚撮影するシーケンスであると判断した場合Ｓ６０３に進む。複数枚撮影するシーケンスであると判断した場合Ｓ６０７に進む。
【００４０】
Ｓ６０６で情報処理装置は、作成した登録リストＡが空か否かを判断する。空であると判断した場合（ＴＲＵＥ）にはＳ６０８に進む。空でないと判断した場合（ＦＡＬＳＥ）にはＳ６０７に進む。
Ｓ６０７で情報処理装置は、顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスのフローチャートである。その詳細は図６で説明する。
【００４１】
Ｓ６０８で情報処理装置は、作成した登録リストＡが空か否かを判断する。空であると判断した場合（ＴＲＵＥ）にはＳ６１６に進む。空でないと判断した場合（ＦＡＬＳＥ）にはＳ６０９に進む。
Ｓ６０９〜Ｓ６１４のステップは本発明とは関連しないので説明を省略する。
図５を説明する。
図５は、Ｓ６０３の顔認証の基準となる顔画像を１枚撮影するシーケンスである。
【００４２】
Ｓ７０１で情報処理装置は、キャンセルか否かを判断する。キャンセルの場合（ＴＲＵＥ）にはＥＮＤに進む。キャンセルでない場合（ＦＡＬＳＥ）の場合にはＳ７０２に進む。
Ｓ７０２で情報処理装置は、画面７００の撮影ボタン７０２をユーザが押下することで、撮影タイミングを受け付ける。
【００４３】
Ｓ７０３で情報処理装置は、ユーザが押下した３秒後に、ＷＥＢカメラ２１０を用いて顔画像を撮影し、操作端末の前に座っているテレワーカの顔画像を１枚取得する。
【００４４】
Ｓ７０４で情報処理装置は、顔画像を１枚取得成功か否かを判断する。顔画像を１枚取得成功の場合（ＴＲＵＥ）にはＳ７０６に進む。顔画像を１枚取得失敗の場合（ＦＡＬＳＥ）の場合にはＳ７０５に進む。
Ｓ７０５で情報処理装置は、顔画像を１枚取得失敗した旨を、操作端末の前に座っているテレワーカに通知する。
【００４５】
Ｓ７０６で情報処理装置は、１枚取得したテレワーカの顔画像７０９を表示して、顔画像７０９に対する処理方法（登録７１０、再撮影７１１、キャンセル７１２の中の１つを選択）を受け付ける。
【００４６】
Ｓ７０７で情報処理装置は、登録７１０か否かを判断する。登録７１０の場合（ＴＲＵＥ）にはＳ７０８に進む。再撮影７１１、キャンセル７１２の場合（ＦＡＬＳＥ）の場合にはＳ７０２に進む。
Ｓ７０８で情報処理装置は、１枚取得した顔画像７０９を登録リストＡに追加保存する。
その後、第１の顔認証手段が認証で使用するために、ここでユーザが追加保存した顔画像７０９から取得した第１の特徴量を登録する。
図６を説明する。
図６は、Ｓ６０７の顔認証の基準となる顔画像を動画で複数枚撮影するシーケンスである。
【００４７】
Ｓ８０１で情報処理装置は、キャンセルか否かを判断する。キャンセルの場合（ＴＲＵＥ）にはＥＮＤに進む。キャンセルでない場合（ＦＡＬＳＥ）の場合にはＳ８０２に進む。
Ｓ８０２で情報処理装置は、仮判別器の登録リストＢを作成する。
Ｓ８０３で情報処理装置は、動画の撮影時間（例えば５秒間）を受け付ける。
【００４８】
Ｓ８０４で情報処理装置は、情報処理装置の表示部の近傍に設けられた撮影手段２１０（ＷＥＢカメラ等）を使って、テレワーカの顔の向きが異なるように、所定時間内（たとえば５秒間程度）に連続して撮影した複数枚の同じ人物（テレワーカ）の顔画像を撮影する。尚、撮影した複数枚の同じ人物（テレワーカ）の各顔画像からそれぞれ第２の特徴量を取得する必要があり、静止画である必要がある。
【００４９】
またここで、撮影手段を使って、動画（ＭＯＶＩＥ）でテレワーカの顔の向きが異なるように、所定時間内（たとえば５秒間程度）の動画を撮影してもよく、動画（ＭＯＶＩＥ）であれば、テレワーカに負荷をかけずに、簡単にテレワーカの顔の向きが異なる複数枚の同じ人物（テレワーカ）の静止画を取得することができる。
【００５０】
Ｓ８０５で情報処理装置は、撮影した複数枚の同じ人物（テレワーカ）の各顔画像の中で、検索していない各顔画像があるか否かを判断する。ある場合（ＴＲＵＥ）にはＳ８０６に進む。ない場合（ＦＡＬＳＥ）の場合にはＳ８０７に進む。
Ｓ８０６で情報処理装置は、連続して撮影した複数枚の同じ人物（テレワーカ）の顔画像の中から同じ人物（テレワーカ）の顔画像を１枚検索する。
Ｓ８０５〜Ｓ８０６のループは撮影した動画からすべての顔画像（静止画）を検索して切り出すループである。
【００５１】
Ｓ８０７で情報処理装置は、検索した複数枚の同じ人物（テレワーカ）の各顔画像の中で、同じ人物かを判別していない各顔画像があるか否かを判断する。ある場合（ＴＲＵＥ）にはＳ８０８に進む。ない場合（ＦＡＬＳＥ）の場合にはＳ８１１に進む。
【００５２】
Ｓ８０８で情報処理装置は、Ｓ７０８において既に登録されている顔画像の第１の特徴量（正面を向いている顔画像から取得した特徴量）と、Ｓ８０４で新規に撮影する顔画像の第２の特徴量（正面を向いていない顔画像から取得した特徴量）とが類似しているかを判別可能な第１の基準に従って、新規に撮影する顔画像の人物が、既に登録されている顔画像の人物と同じ人物であるかを判断する（第１の顔認証手段）。
第１の基準とは（登録済みの第１の特徴量をベースに、Ｓ８０４で新規に撮影した画像の第２の特徴量とが類似していると判断する閾値）のことである。
【００５３】
Ｓ８０９で情報処理装置の分岐では、第１の顔認証手段において、既に登録されている顔画像の人物と同じ人物である（ＴＲＵＥ）と判断された場合には、その顔画像は仮判別器の登録リストに追加保存されない。逆に第１の顔認証手段において、既に登録されている顔画像の人物と同じ人物でない（ＦＡＬＳＥ）と判断された場合には、Ｓ８１０に進み、その顔画像は仮判別器の登録リストに追加保存される。
【００５４】
Ｓ８１０で情報処理装置は、Ｓ８０４で撮影した複数枚（たとえば２０枚程度）の同じ人物の顔画像の中から、第１の基準を用いると、Ｓ８０８の第１の顔認証手段では既に登録されている顔画像の人物と同じ人物であるとは判断しない（同じ人物ではあるが、正面を向いていないので、第１の基準では同じ人物とは認識されない）、顔の向きが異なる同じ人物の顔画像を何枚（たとえば３枚程度）か、を抽出する（抽出手段）。
つまり、顔の向きが変わりすぎて、選択した顔画像から取得した特徴量では第１の特徴量とは類似してないと判断されることになる。
【００５５】
更にここで、抽出手段は顔の向きがそれぞれ異なる（たとえば上向き、下向き、右向き、左向き）同じ人物の顔画像８１１〜８１３を複数枚（１枚以上）抽出する。抽出した同じ人物の顔画像８１１〜８１３を仮判別器の登録リストＢに追加保存する。
仮判別器の登録リストに追加保存された同じ人物の顔画像８１１〜８１３は、画面８０９内に一覧表示される。
【００５６】
Ｓ８１１で情報処理装置は、ユーザが選んだ顔画像８１６を識別表示して、顔画像８１６に対する処理方法（登録８１８、再撮影８１９、キャンセル８２０の中の１つを選択）を受け付ける。
【００５７】
Ｓ８１２で情報処理装置は、登録８１８か否かを判断する。登録８１８の場合（ＴＲＵＥ）にはＳ８１３に進む。再撮影８１９、キャンセル８２０の場合（ＦＡＬＳＥ）の場合にはＳ８０１に進む。
Ｓ８１３で情報処理装置は、選択された顔画像８１６を登録リストＡに追加保存する。
【００５８】
第２の顔認証手段が認証で使用するために、ここでユーザが手動で選択した顔画像８１６から取得した特徴量は、第３の特徴量（正面を向いていない顔画像から取得した特徴量であり、かつ第１の基準では同じ人物とは認識されない特徴量）として追加登録する。
図７を説明する。
【００５９】
図７はＳ６０３の顔認証の基準となる顔画像を１枚撮影するシーケンス時に操作端末１００が表示する、ＷＥＢカメラで正面の顔の静止画を撮影し、顔認識の基準として操作端末１００に登録する操作画面の遷移を示すものである。
【００６０】
７００の画面は、静止画撮影の指示を受け付ける画面である。撮影ボタン７０３がユーザにより押下されると、３秒後に静止画撮影が開始され、静止画を記憶する。
７０７の画面は、Ｓ７０７で登録ボタン７１０が押下されることで、Ｓ７０８で顔画像が登録リストＡに登録される。
図８を説明する。
【００６１】
図８はＳ６０７の顔認証の基準となる顔画像を動画で複数枚撮影するシーケンス時に操作端末１００が表示する、ＷＥＢカメラでユーザのいろいろな向きの顔の動画を撮影し、顔認識の基準として操作端末１００に登録する顔画像をユーザが選択する操作画面の遷移を示すものである。
【００６２】
８００の画面は、動画撮影の指示を受け付ける画面である。撮影ボタン８０３がユーザにより押下されると、動画撮影が開始され、動画を記憶する。この画面では、動画撮影中にユーザにいろいろな方向を向かせて、いろいろな方向を向いた顔画像を登録できるように画面内に案内メッセージ８０１を出している。案内メッセージ８０１は、Ｓ８０４で撮影手段が撮像する間、顔の向きが異なる方向に顔を動かすようユーザにガイドするガイド手段の好適な一例を示すものである。尚、ガイド手段は音声案内であってもよい。
【００６３】
８０５の画面は、撮影ボタン８０３がユーザにより押下され、例えば５秒間動画を撮影している間に表示される画面である。５秒間撮影された動画はコマ毎に静止画に切り出されて、いろいろな方向を向いた顔画像の静止画として利用される。また動画撮影中に残りの撮影時間『残り３秒です。等』も表示される。
【００６４】
８０９の画面は、Ｓ８０８、Ｓ８０９でテレワーカ本人とは判別されずに、Ｓ８１０で抽出された顔画像を一覧表示したものである。ここで一覧表示された顔画像は、テレワーカ本人の顔画像であるが、現在登録済みの顔画像（の顔の向き）に基づいて、本人か否かを判別した場合には、テレワーカ本人とは判別されない。
【００６５】
８１５の画面は、Ｓ８１２でユーザが登録する顔画像を選択するものであり、Ｓ８１３で選択された顔画像が登録リストＡに登録される。顔画像８１６が選択された後に登録ボタン８１８が押下されることで、選択された顔画像が登録リストＡに登録される。
図９を説明する。
顔画像情報とは、顔画像１枚ごとに記憶されている各顔画像を識別するための情報である。
９００はユーザＩＤであり、テレワーカの名前やＩＤである。
９０５は撮影日時情報であり、各顔画像が取得された日時である。
９０６は顔画像データであり、各顔画像から取得された各テレワーカ個人を判別可能な顔の特徴量である。
【００６６】
また、本発明における実行可能なプログラムは、図３、図４、図５、図６の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３、図４、図５、図６の各処理ごとのプログラムであってもよい。
【００６７】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【００６８】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【００６９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【００７０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００７３】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００７４】
１００  操作端末（情報処理装置）
１１０  監査端末
１２０  管理サーバ
【図１】
2019114277.tif 000003
【図２】
2019114277.tif 000004
【図３】
2019114277.tif 000005
【図４】
2019114277.tif 000006
【図５】
2019114277.tif 000007
【図６】
2019114277.tif 000008
【図７】
2019114277.tif 000009
【図８】
2019114277.tif 000010
【図９】
2019114277.tif 000011
【手続補正書】
【提出日】平成31年3月29日(2019.3.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
登録された基準画像を用いて個人認証をする情報処理装置であって、
前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得手段と、
前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示手段と、
前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付手段と、
前記受付手段でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
ユーザの顔が撮影された画像を取得する第１の取得手段と、
前記第１の取得手段で取得された画像の前記ユーザの顔の向きとは異なる方向を向いている前記ユーザの顔が撮影された複数枚の画像を取得する第２の取得手段と、
前記第２の取得手段で取得した複数枚の画像が前記第１の取得手段で取得した画像と類似しているか否かを判断し、前記第１の取得手段で取得した画像とは類似していないと判断された画像を、前記第２の取得手段で取得した複数枚の画像の中から前記画面表示手段が表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
登録された基準画像を用いて個人認証をする情報処理装置の制御方法であって、
前記情報処理装置の取得手段が、前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得工程と、
前記情報処理装置の画面表示手段が、前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示工程と、
前記情報処理装置の受付手段が、前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付工程と、
前記情報処理装置の登録手段が、前記受付工程でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録工程と、
を含むことを特徴とする制御方法。
【請求項４】
登録された基準画像を用いて個人認証をする情報処理装置で読み取り実行可能なプログラムであって、
前記情報処理装置を、
前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得手段と、
前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示手段と、
前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付手段と、
前記受付手段でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録手段と、
して機能させるためのプログラム。
【請求項５】
登録された基準画像を用いて個人認証をする個人認証システムであって、
前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得手段と、
前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示手段と、
前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付手段と、
前記受付手段でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録手段と、
を備えることを特徴とする個人認証システム。
【請求項６】
登録された基準画像を用いて個人認証をする個人認証システムによる個人認証方法であって、
前記個人認証システムの取得手段が、前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得工程と、
前記個人認証システムの画面表示手段が、前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示工程と、
前記個人認証システムの受付手段が、前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付工程と、
前記個人認証システムの登録手段が、前記受付工程でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録工程と、
を含むことを特徴とする個人認証方法。
【請求項７】
登録された基準画像を用いて個人認証をする個人認証システムで読み取り実行可能なプログラムであって、
前記個人認証システムを、
前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得手段と、
前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示手段と、
前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付手段と、
前記受付手段でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録手段と、
して機能させるためのプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明は、登録された基準画像と類似していない画像の中から、ユーザにより受け付けた画像を、基準画像として追加登録する仕組みを提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は、登録された基準画像を用いて個人認証をする情報処理装置であって、前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得手段と、前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示手段と、前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付手段と、前記受付手段でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録手段と、を備えることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、ユーザの顔が撮影された画像を取得する第１の取得手段と、前記第１の取得手段で取得された画像の前記ユーザの顔の向きとは異なる方向を向いている前記ユーザの顔が撮影された複数枚の画像を取得する第２の取得手段と、前記第２の取得手段で取得した複数枚の画像が前記第１の取得手段で取得した画像と類似しているか否かを判断し、前記第１の取得手段で取得した画像とは類似していないと判断された画像を、前記第２の取得手段で取得した複数枚の画像の中から前記画面表示手段が表示することを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明は、登録された基準画像を用いて個人認証をする個人認証システムであって、前記個人認証が可能な基準画像としてユーザが撮影された複数枚の画像を取得する取得手段と、前記取得した複数枚の画像のうち、前記登録された基準画像とは類似していないと判断された画像を表示する画面表示手段と、前記表示された前記画像の中から、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録するべき画像をユーザの手動選択により受け付ける受付手段と、前記受付手段でユーザにより手動選択された画像を、前記登録された基準画像と共に同じ人物の認証に用いる基準画像として追加登録する登録手段と、を備えることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明により、登録された基準画像と類似していない画像の中から、ユーザにより受け付けた画像を、基準画像として追加登録する仕組みを提供することが可能となる。