(57)【要約】【課題】適切な認証用の顔画像を容易に撮影及び登録することができる顔画像登録システム、顔画像登録方法、移動体端末、及び顔認証画像登録装置を提供する。【解決手段】ユーザに対して携帯端末２０を所定の目標位置まで移動させるための第１指示画像が表示部２４に表示され、携帯端末２０が目標位置まで移動された後には、ユーザの顔の向きを目標方向に誘導するための第２指示画像が表示部２４に表示される。第２指示画像によってユーザの顔向きが誘導されている間、第１カメラ１１によって撮影された顔画像が顔画像登録部１２２によって顔認証用の画像としてふさわしいか否かが判定され、適切な画像と判定された顔画像が登録される。【選択図】図５
2019212156.tif 000002
【特許請求の範囲】
【請求項１】
設置された第１カメラを用いて撮影された画像に基づいて、前記第１カメラの位置を基準としたユーザの顔の向き及び位置を示す第１顔向き情報を生成する第１制御部と、
移動体端末に含まれる第２カメラを用いて撮影された画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、
前記第１顔向き情報と前記第２顔向き情報とに基づいて、前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、
認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、前記移動体端末を移動させるための第１の指示情報の出力を制御する第２制御部と、
を備え、
前記第１の指示情報の出力後、前記第１制御部は、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する、
顔画像登録システム。
【請求項２】
前記ずれ量が所定の閾値以下になった場合、前記第２制御部は、さらに、前記ユーザの顔の向きをあらかじめ定められた目標方向へ向けさせるための第２の指示情報の出力を制御する、
請求項１に記載の顔画像登録システム。
【請求項３】
前記第１制御部は、さらに、前記ユーザの顔が前記目標方向を向いているときに前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する、
請求項２に記載の顔画像登録システム。
【請求項４】
前記第１顔向き情報に基づいて変調された光信号を送信する光送信部と、
送信された前記光信号を受信して復調し、復調された前記光信号に基づいた前記第１顔向き情報を前記第２制御部に出力する光受信部と、をさらに備える、
請求項１から３のいずれか一項に記載の顔画像登録システム。
【請求項５】
前記第１制御部は、前記光送信部が前記光信号を送信していないタイミングに前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録させる、
請求項４に記載の顔画像登録システム。
【請求項６】
前記目標方向は、前記ユーザの顔の位置に対する前記第２カメラの方向である、
請求項２から５のいずれか一項に記載の顔画像登録システム。
【請求項７】
前記移動体端末は、表示部を含み、
前記第２制御部は、前記ずれ量に基づいて決定される、前記移動体端末を移動させる向き及び移動量を前記ユーザに指示する第１指示画像を前記第１の指示情報として前記表示部に表示させる、
請求項１から６のいずれか一項に記載の顔画像登録システム。
【請求項８】
前記第２制御部は、少なくとも、前記第１カメラによる前記ユーザの顔画像の撮影の妨げとならない位置に前記移動体端末を移動させるように前記第１指示画像を前記表示部に表示させる、
請求項７に記載の顔画像登録システム。
【請求項９】
前記第２制御部は、前記ユーザの顔の向きが目標方向を向くように前記ユーザに指示する第２指示画像を、前記第２カメラによって撮影された前記ユーザの顔画像の鏡像に重畳して前記表示部に表示させる、
請求項７または８に記載の顔画像登録システム。
【請求項１０】
前記目標方向は、複数の所定の向きであり、
前記第２制御部は、前記ユーザに対して前記複数の所定の向きに顔を向けさせるように前記第２指示画像を変化させる、
請求項９に記載の顔画像登録システム。
【請求項１１】
前記第２制御部は、前記ユーザに対して、顔の向きが前記第２カメラの位置から所定量ずれた方向を向くよう前記第２の指示情報を変化させる、
請求項９または１０に記載の顔画像登録システム。
【請求項１２】
前記移動体端末は、通信部を含み、
前記ユーザの顔が前記目標方向を向いていることを前記第２制御部が検出したとき、前記第２制御部は、さらに、前記認証用の顔画像を撮影すべきタイミングであることを示す通知を前記第１制御部に向けて前記通信部に送信させ、
前記第１制御部は、前記通知を受信したタイミングに基づいて前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する、
請求項２から１１のいずれか一項に記載の顔画像登録システム。
【請求項１３】
前記第１カメラが車両の内部に設置されている場合、前記第１制御部は、前記認証用の顔画像を登録する前に、前記ユーザまたは前記車両に対して前記車両の窓を閉めさせるための第３の指示情報の出力を制御し、
前記第１の指示情報および前記第３の指示情報の出力後、前記第１制御部は、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する、
請求項１から１２のいずれか一項に記載の顔画像登録システム。
【請求項１４】
設置された第１カメラを用いて撮影された画像に基づいて、前記第１カメラの位置を基準としたユーザの顔の向き及び位置を示す第１顔向き情報を生成し、
移動体端末に含まれる第２カメラを用いて撮影された画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、
前記第１顔向き情報と前記第２顔向き情報とに基づいて前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、
認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、前記移動体端末を移動させるための第１の指示情報の出力を制御し、
前記第１の指示情報の出力後、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する、
顔画像登録方法。
【請求項１５】
設置された第１カメラを用いて撮影された画像に基づいて生成された、前記第１カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第１顔向き情報を受信する受信部と、
第２カメラと、
前記第２カメラの撮影した画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、
前記第１顔向き情報と前記第２顔向き情報とに基づいて前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、
認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、自端末を移動させるための第１の指示情報の出力を制御する制御部と、
を備える移動体端末。
【請求項１６】
請求項１から１３のいずれか一項に記載の前記第１制御部と、
前記ユーザの顔を含む顔画像を撮影する前記第１カメラと、
前記移動体端末に対して、前記第１顔向き情報を送信する送信部と、
を備える、顔認証画像登録装置。 
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、顔画像登録システム、顔画像登録方法、移動体端末、及び顔認証画像登録装置に関する。
【背景技術】
【０００２】
セキュリティ対策等のため、個人認証を行う車両が普及している。ユーザに負担が小さい個人認証の方法として、例えば顔認証が挙げられる。
【０００３】
一以上の方向を向いた顔画像を登録する方法として、特許文献１に開示された技術がある。特許文献１には、例えば運転者がミラーの調整をしているとき、右左折時、制動時、加速時等、運転者が向いている方向を限定できる状況で運転者を撮影したデータを顔認証用データの候補とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１３４０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、認証用の顔画像として適切な画像を撮影及び登録することが困難な場合がある。
【０００６】
本開示の目的は、適切な認証用の顔画像を容易に撮影及び登録することができる顔画像登録システム、顔画像登録方法、移動体端末、及び顔認証画像登録装置を提供することである。
【課題を解決するための手段】
【０００７】
本開示の顔画像登録システムは、設置された第１カメラを用いて撮影された画像に基づいて、前記第１カメラの位置を基準としたユーザの顔の向き及び位置を示す第１顔向き情報を生成する第１制御部と、移動体端末に含まれる第２カメラを用いて撮影された画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、前記第１顔向き情報と前記第２顔向き情報とに基づいて、前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、前記移動体端末を移動させるための第１の指示情報の出力を制御する第２制御部と、を備え、前記第１の指示情報の出力後、前記第１制御部は、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する。
【０００８】
本開示の顔画像登録方法は、設置された第１カメラを用いて撮影された画像に基づいて、前記第１カメラの位置を基準としたユーザの顔の向き及び位置を示す第１顔向き情報を生成し、移動体端末に含まれる第２カメラを用いて撮影された画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、前記第１顔向き情報と前記第２顔向き情報とに基づいて前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、前記移動体端末を移動させるための第１の指示情報の出力を制御し、前記第１の指示情報の出力後、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する。
【０００９】
本開示の携帯端末は、設置された第１カメラを用いて撮影された画像に基づいて生成された、前記第１カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第１顔向き情報を受信する受信部と、第２カメラと、前記第２カメラの撮影した画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、前記第１顔向き情報と前記第２顔向き情報とに基づいて前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、自端末を移動させるための第１の指示情報の出力を制御する制御部と、を備える。
【００１０】
本開示の顔認証画像登録装置は、前記第１制御部と、前記ユーザの顔を含む顔画像を撮影する前記第１カメラと、前記移動体端末に対して、前記第１顔向き情報を送信する送信部と、を備える。
【発明の効果】
【００１１】
適切な認証用の顔画像を容易に撮影及び登録することができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施の形態に係る顔画像登録システムの構成について説明するための図
【図２】顔認証画像登録装置の構成について説明するための図
【図３】携帯端末の構成について説明するための図
【図４】顔認証画像登録装置の動作を説明するためのフローチャート
【図５】携帯端末の動作を説明するためのフローチャート
【図６】顔の特徴点の一例を示す図
【図７】斜め左上を向いた顔を示す図
【図８】端末位置誘導部が生成する第１指示画像が表示部に表示された様子を例示した図
【図９Ａ】顔向き誘導部が生成した、顔向きを誘導するための指示画像が表示部に表示された様子を例示した図
【図９Ｂ】顔向き誘導部が生成した、顔向きを誘導するための指示画像が表示部に表示された様子を例示した図
【図１０】第１制御部及び第２制御部の各機能を、プログラムにより実現するコンピュータのハードウェア構成を例示した図
【発明を実施するための形態】
【００１３】
以下、本開示の各実施の形態について図面を参照して詳細に説明する。ただし、必要以上に詳細な説明、例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明等は省略する場合がある。
【００１４】
なお、以下の説明および参照される図面は、当業者が本開示を理解するために提供されるものであって、本開示の請求の範囲を限定するためのものではない。
【００１５】
図１は、本開示の実施の形態に係る顔画像登録システム１の構成について説明するための図である。顔画像登録システム１は、自動車等の車両（図示せず）にて使用されることが想定されている。ここで、車両は、本開示に係る移動体の一例である。移動体は、車両に限定されず、電車、船舶、または、飛行体などであってもよい。以下では、移動体が車両である例を中心に説明を行う。顔画像登録システム１は、車両の利用者（以下、単にユーザと記載する）を個人認証するために用いられる顔画像を登録する顔画像登録処理を行うシステムである。なお、以下では、ユーザが車両の運転者であると仮定して説明を行うが、本開示はこれに限定されない。
【００１６】
＜顔画像登録システム１の構成＞
図１に示すように、顔画像登録システム１は、顔認証画像登録装置１０と、携帯端末２０と、を有する。携帯端末２０は、本開示に係る移動体端末の一例である。
【００１７】
図２は、顔認証画像登録装置１０の構成について説明するための図である。図２に示すように、顔認証画像登録装置１０は、第１カメラ１１と、第１制御部１２と、光送信部１３と、を有する。本実施の形態において、顔認証画像登録装置１０は、車両に搭載されることが想定されている。
【００１８】
第１カメラ１１は、ユーザの顔画像を撮影するためのカメラである。第１カメラ１１は、車両の一部に固定されている。車両の一部とは、例えばセンターコンソールやダッシュボード等である。第１カメラ１１は、例えば、運転席に座った状態のユーザの顔を撮影できるような向きであらかじめ固定されている。第１カメラ１１は、顔画像登録システム１によるユーザの顔画像登録処理の際、ユーザの顔画像を撮影して顔画像データを生成する。以下、第１カメラ１１が生成する顔画像データを第１顔画像データと記載する。
【００１９】
第１制御部１２は、第１カメラ１１及び光送信部１３と接続されている。第１制御部１２は、車両の一部（例えばダッシュボードの内部等）に配置されることが想定されているが、本開示では、第１制御部１２の配置位置については特に限定しない。
【００２０】
図２に示すように、第１制御部１２は、第１顔向き推定部１２１と、顔画像登録部１２２と、を有する。
【００２１】
第１顔向き推定部１２１は、第１カメラ１１によって生成された第１顔画像データに基づいて、第１カメラ１１を基準とした座標系における、ユーザの顔の位置及び向きを推定して、ユーザの顔の位置及び向きに関する情報を含む第１顔向き情報を生成する。第１顔向き推定部１２１による第１顔向き推定処理の詳細については後述する。
【００２２】
顔画像登録部１２２は、第１顔向き情報に基づいて、第１顔画像データにおけるユーザの顔の向きが所望の目標方向を向いているか否かを判定する。目標方向とは、その向きを向いた状態で第１カメラ１１が撮影した顔画像が、顔認証用の画像として適切な向きとなる方向である。顔認証用の画像として適切な向きについては本開示では特に限定しないが、例えば車両の進行方向を向いた画像や、第１カメラ１１の方を向いた画像等が挙げられる。そして、顔画像登録部１２２は、ユーザの顔が適切な向きを向いた顔画像を、顔認証用の画像として登録する。また、「顔画像の登録」の例としては、例えば、顔画像登録部１２２が、図示しない記憶部に、顔認証用の画像である旨を示すフラグを付した第１顔画像データを記憶させることなどが挙げられる。
【００２３】
通常、顔認証では、一方向のみを向いた顔画像だけでは認証の際に十分な信頼性が得られないため、精度の高い顔認証のためには、複数方向を向いた顔画像が登録されることが望ましい。そこで、顔画像登録部１２２は、それぞれ少しずつ異なる複数方向を向いた複数の第１顔画像データを顔認証用の画像として登録する。顔画像登録部１２２は、新たに顔画像を登録した際には、登録進捗情報を更新する。登録進捗情報とは、精度よく顔認証を行うことができる枚数（あらかじめ定められた目標枚数）に対する、既に登録された顔画像の数の割合を示す情報である。なお、本開示では、目標枚数については特に限定しない。
【００２４】
光送信部１３は、第１制御部１２が生成した要送信情報を図１に示す携帯端末２０に送信する。要送信情報には、上記した第１顔向き情報が含まれる。また、要送信情報には、第１顔向き情報とともに、上記した登録進捗情報が含まれることもある。本実施の形態において、光送信部１３は、送信方法として、要送信情報に基づいて変調した光通信信号を送信する、光通信を採用している。光通信信号とは、例えば可視光または赤外光等の光の強度を要送信情報に基づいて変調した信号である。
【００２５】
光送信部１３から携帯端末２０への光を用いた通信技術に関しては、既存の技術を利用することができる。具体的には、光送信部１３は、図示は省略するが、変調信号生成部、発光素子（ＬＥＤ等）、発光素子と直接接続されたスイッチ素子等を有する。変調信号生成部が、要送信情報に基づいて変調信号を生成する。スイッチ素子は、変調信号に基づいて、発光素子に供給される電流のＯＮ／ＯＦＦ制御を行う、または電流量制御を行う。これにより、発光素子は、要送信情報が重畳された光通信信号を送信する。発光素子が発する光は、例えば第１カメラ１１がユーザの顔画像を撮影する際の照明として利用されてもよい。この場合、照明として発光素子が発する光は、要送信情報によって変調されていない光であることが望ましい。
【００２６】
光送信部１３の発光素子は、車両の一部に固定されている。光送信部１３の発光素子が固定される位置については本開示では特に限定しないが、送信した光通信信号が携帯端末２０によって好適に受信される位置であることが望ましい。具体的には、光送信部１３の発光素子は、例えば第１カメラ１１の近傍、すなわちセンターコンソールやダッシュボード等に、運転席の方を向いた状態で固定されればよい。
【００２７】
なお、光送信部１３が光通信信号を送信するために発する光が、第１カメラ１１によるユーザの顔の撮影の際に妨げとなることがある。具体的には、第１カメラ１１が撮影した顔画像において、顔が通常より明るくなったり、まだらに写ったりすることがある。このような画像が顔認証用の画像として登録されるのは望ましくないため、顔画像登録部１２２は、光送信部１３が光通信信号を送信していないタイミングに撮影された顔画像のみを、顔認証用の画像として登録するようにしてもよい。
【００２８】
図３は、携帯端末２０の構成について説明するための図である。図３に示すように、携帯端末２０は、第２カメラ２１と、光復調部２２と、第２制御部２３と、表示部２４と、を有する。
【００２９】
本実施の形態において、携帯端末２０としては、例えばスマートフォンやタブレット端末、携帯電話機等、カメラと表示部とを有し、ユーザが容易に携帯できる電子機器が想定されている。
【００３０】
第２カメラ２１は、ユーザの顔画像を撮影するためのカメラである。第２カメラ２１は、携帯端末２０において、ユーザが後述の表示部２４を見ている状態で、無理なくユーザの顔を撮影できる位置に設けられている。具体的には、第２カメラ２１は、例えば表示部２４と同一の面に設けられたカメラ（いわゆるインカメラ）である。第２カメラ２１は、顔画像登録システム１によるユーザの顔画像登録処理の際、ユーザの顔画像を撮影して顔画像データを生成する。第２カメラ２１が撮影する顔画像の枚数については特に限定しない。以下、第２カメラ２１が生成する顔画像データを第２顔画像データと記載する。
【００３１】
また、第２カメラ２１は、顔認証画像登録装置１０の光送信部１３から送信された光通信信号を受信する。なお、本開示では、携帯端末２０において、光送信部１３から送信された光通信信号は必ずしも第２カメラ２１によって受信されなくてもよく、第２カメラ２１とは別に設けられた他のカメラ（図示せず）によって受信されてもよい。この場合、他のカメラは、携帯端末２０において、例えば第２カメラ２１とは反対側の面に設けられたカメラ（いわゆるアウトカメラ）である。
【００３２】
光復調部２２は、第２カメラ２１（または他のカメラ）によって受信された光通信信号を復調し、顔認証画像登録装置１０から送信された第１顔向き情報を第２制御部２３に入力する。光復調部２２における復調の方法は、本開示では特に限定されず、既存の技術を利用することができる。光復調部２２は、本開示の光受信部の一例である。
【００３３】
第２制御部２３は、第２カメラ２１、光復調部２２、及び表示部２４と接続されている。第２制御部２３は、携帯端末２０に搭載された中央処理装置であり、携帯端末２０の各構成の制御を行う。
【００３４】
図３に示すように、第２制御部２３は、第２顔向き推定部２３１と、端末位置推定部２３２と、端末位置誘導部２３３と、顔向き誘導部２３４と、を有する。
【００３５】
第２顔向き推定部２３１は、第２カメラ２１が生成した第２顔画像データに基づいて、第２カメラ２１を基準とした座標系におけるユーザの顔の位置及び向きを推定して、ユーザの顔の位置及び向きに関する情報を含む第２顔向き情報を生成する。第２顔向き推定部２３１による第２顔向き推定処理の詳細については後述する。
【００３６】
端末位置推定部２３２は、光復調部２２から入力された第１顔向き情報と、第２顔向き推定部２３１が生成した第２顔向き情報と、に基づいて、顔認証画像登録装置１０の第１カメラ１１から見た携帯端末２０の位置（以下、端末位置と記載する）を推定する。より具体的には、端末位置推定部２３２は、第１カメラ１１を基準とした座標系における、携帯端末２０が有する第２カメラ２１の位置を端末位置として推定する。端末位置推定部２３２による端末位置推定処理の詳細については後述する。なお、端末位置推定部２３２は、第１顔向き情報と、第２顔向き情報とに基づいて、第１カメラ１１を基準とした座標系における、携帯端末２０が有する第２カメラ２１の位置とともに、第１カメラ１１を基準とした座標系における第２カメラ２１の姿勢（以下では、これらを纏めて「端末位置姿勢」と記載する場合がある）を同時に推定してもよい。以下では、端末位置推定部２３２が、端末位置を推定する例を中心として説明を行う。
【００３７】
端末位置誘導部２３３は、端末位置推定部２３２が推定した端末位置に基づいて、ユーザに対して携帯端末２０の位置をあらかじめ定められた所定の位置（目標位置）まで誘導するように、移動させる向き及び移動量を指示する第１指示画像を表示部２４に表示させる。目標位置とは、後述する顔向き誘導部２３４によってユーザの顔向きが誘導される際に携帯端末２０が固定（保持）されるべき位置である。
【００３８】
具体的には、目標位置とは、ユーザの顔が上記した目標方向を向いた状態で、ユーザの顔が携帯端末２０の方をまっすぐ向くことになる位置である。この目標位置は、第１カメラ１１の位置や向き、運転席の位置や形状等によってあらかじめ定められている。目標位置を示す情報（目標位置情報）は、例えば第１カメラを基準とした座標系における位置情報として、顔画像登録処理の開始時に、顔認証画像登録装置１０から光送信部１３を介して送信される。あるいは、目標位置情報は、あらかじめ携帯端末２０の記憶部（図示せず）に記憶されていてもよい。端末位置誘導部２３３による端末位置誘導処理の詳細については後述する。なお、端末位置誘導部２３３は、端末位置推定部２３２が推定した端末位置姿勢に基づいて、携帯端末２０の位置および姿勢をあらかじめ定められた所定の位置および所定の姿勢（以下では、「目標位置姿勢」と記載する場合がある）までユーザに対して誘導するように、当該第１指示画像を表示部２４に表示させてもよい。
【００３９】
顔向き誘導部２３４は、端末位置誘導部２３３による処理結果に基づいて、ユーザの顔の向きを目標方向に誘導するための第２指示画像を表示部２４に表示させる。例えば、上記の目標位置に対する、端末位置推定部２３２が推定した携帯端末２０の位置のずれ量が所定の閾値以下になった場合（例えば、携帯端末２０が端末位置誘導部２３３によって目標位置に誘導された状態など）、顔向き誘導部２３４は、当該第２指示画像を表示部２４に表示させてもよい。
【００４０】
また、顔向き誘導部２３４は、それぞれ少しずつ異なる複数方向を向いた顔の画像を第１カメラ１１に撮影させるためにユーザの顔を誘導する第３指示画像を表示部２４に表示させる。顔向き誘導部２３４による顔向き誘導処理の詳細については後述する。
【００４１】
表示部２４は、液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスである。表示部２４は、第２制御部２３の制御に基づいて種々の表示を行うが、本開示では、特に端末位置誘導部２３３による第１指示画像、または、顔向き誘導部２３４による第２指示画像または第３指示画像を表示する。
【００４２】
＜顔画像登録システム１の動作＞
以下、顔画像登録システム１の動作について説明する。図４及び図５は、顔画像登録システム１において行われる顔画像登録処理について説明するためのフローチャートである。なお、顔画像登録処理とは、ユーザが顔認証用の画像を登録する際に行われる処理であり、ユーザが車両に搭乗した状態で所定の契機により開始されることが想定されている。所定の契機については本開示では限定しないが、例えば車両に設けられたスイッチ等に対する所定の操作や、携帯端末２０に対する所定の操作等が想定される。
【００４３】
図４は顔認証画像登録装置１０の動作を示しており、図５は携帯端末２０の動作を示している。
【００４４】
［顔認証画像登録装置１０の動作］
まず、顔画像登録処理における顔認証画像登録装置１０の動作について説明する。図４に示すように、顔認証画像登録装置１０における顔画像登録処理が開始されると、顔認証画像登録装置１０の光送信部１３は、携帯端末２０に対して目標情報を送信する（ステップＳ１１）。目標情報とは、携帯端末２０にて使用される目標位置情報及び目標方向情報である。これにより、顔画像登録処理の開始時に、目標位置及び目標方向に関する情報が、顔認証画像登録装置１０と携帯端末２０とに共有される。
【００４５】
以下説明するステップＳ１２からステップＳ１８までの処理は、ステップＳ１９においてＹＥＳが選択されるまでループする。
【００４６】
第１カメラ１１は、ユーザの顔を含む画像である顔画像を撮影し、第１顔画像データを生成する（ステップＳ１２）。そして、第１制御部１２の第１顔向き推定部１２１は、第１顔画像データに基づいて第１顔向き推定処理を実行する（ステップＳ１３）。その結果、第１顔画像データにおける、第１カメラ１１を基準とした座標系でのユーザの顔の位置及び向きに関する情報である第１顔向き情報が生成される。
【００４７】
顔画像登録部１２２は、ステップＳ１３で生成された第１顔向き情報に基づいて、ステップＳ１２で撮影された顔画像における顔の向きが、顔認証用の画像として適切な方向（目標方向）であるか否かを判定する（ステップＳ１４）。
【００４８】
顔向きが適切であると判定された場合（ステップＳ１４：ＹＥＳ）、顔画像登録部１２２は、ステップＳ１２で撮影された顔画像を顔認証用の画像として登録する（ステップＳ１５）。そして、顔画像登録部１２２は、目標枚数に対する、登録された顔画像の割合を示す登録進捗情報を更新する（ステップＳ１６）。さらに、光送信部１３は、第１顔向き情報と登録進捗情報と含む要送信情報を携帯端末２０に対して送信する（ステップＳ１７）。
【００４９】
一方、顔向きが適切でないと判定された場合（ステップＳ１４：ＮＯ）、顔画像登録部１２２は、第１顔向き情報のみを含む要送信情報を携帯端末２０に対して送信する（ステップＳ１８）。
【００５０】
顔画像登録部１２２は、顔認証用の画像の登録が完了したか否かを判定する（ステップＳ１９）。この判定は、例えば所定の枚数の顔認証用の画像が登録されたか否か、すなわち登録進捗情報が１００％になったか否かによって行われればよい。顔認証用の画像の登録が完了したと判定された場合（ステップＳ１９：ＹＥＳ）、顔認証画像登録装置１０における顔画像登録処理は終了する。そうでない場合（ステップＳ１９：ＮＯ）、次のループに入る（ステップＳ１２に戻る。）
【００５１】
［携帯端末２０の動作］
次に、顔画像登録処理における携帯端末２０の動作について説明する。図５に示すように、携帯端末２０における顔画像登録処理が開始されると、携帯端末２０の光復調部２２は、図４のステップＳ１１において顔認証画像登録装置１０から送信された目標情報を受信する（ステップＳ２１）。目標情報とは、上記したように目標位置情報及び目標方向情報である。
【００５２】
以下説明するステップＳ２２からステップＳ２９までの処理は、ステップＳ２８においてＹＥＳが選択されるまでループする。
【００５３】
第２カメラ２１は、ユーザの顔を撮影し、第２顔画像データを生成する（ステップＳ２２）。そして、第２制御部１２の第２顔向き推定部２３１は、第２顔向き推定処理を実行する（ステップＳ２３）。その結果、第２顔画像データにおける、第２カメラ２１を基準とした座標系での、ユーザの顔の位置及び向きに関する情報である第２顔向き情報が生成される。
【００５４】
光復調部２２は、図４のステップＳ１７またはステップＳ１８において顔認証画像登録装置１０から送信された要送信情報を受信する（ステップＳ２４）。要送信情報には、上記したように、第１顔向き情報、または第１顔向き情報及び登録進捗情報が含まれている。
【００５５】
次に、第２制御部２３の第２顔向き推定部２３１は、第１顔向き情報と第２顔向き情報とに基づいて、第１カメラ１１を基準とした座標系における携帯端末２０の位置である、端末位置を推定する。そして、端末位置推定部２３２は、ステップＳ２１にて受信された目標位置情報に基づいて、推定された端末位置が目標位置であるか否かを判定する（ステップＳ２６）。
【００５６】
推定された端末位置が目標位置ではないと判定された場合（ステップＳ２６：ＮＯ）、端末位置誘導部２３３は、ユーザに対して、携帯端末２０の位置を目標位置まで移動させるための端末位置誘導処理を行う（ステップＳ２７）。
【００５７】
一方、推定された端末位置が目標位置であると判定された場合（ステップＳ２６：ＹＥＳ）、顔向き誘導部２３４は、顔認証画像登録装置１０における顔認証用の画像の登録が完了したか否かを判定する（ステップＳ２８）。なお、本実施の形態において、ステップＳ２８の処理の主体は顔向き誘導部２３４であるとしたが、本開示はこれに限定されず、第２制御部２３の他の構成がステップＳ２８を実行してもよい。
【００５８】
顔認証用の画像の登録が完了したと判定された場合（ステップＳ２８：ＹＥＳ）、携帯端末２０における顔画像登録処理は完了する。一方、登録が完了していないと判定された場合（ステップＳ２８：ＮＯ）、顔向き誘導部２３４は、ステップＳ２１にて受信された目標方向情報に基づいて、ユーザの顔向きが目標方向となるように誘導するための顔向き誘導処理を行う（ステップＳ２９）。
【００５９】
顔認証画像登録装置１０において、ステップＳ１２からステップＳ１９までの処理が繰り返されるとともに、携帯端末２０において、ステップＳ２２からステップＳ２９までの処理が繰り返される。このように、顔認証画像登録装置１０における顔画像登録処理と、携帯端末２０における顔画像登録処理とが並行して繰り返し行われることにより、携帯端末２０によって目標方向に誘導されたユーザの顔が顔認証画像登録装置１０において撮影され、顔認証用の画像として所定の枚数登録される。
【００６０】
［顔認証画像登録装置１０の処理と携帯端末２０の処理との関係］
図４に示す顔認証画像登録装置１０の動作と、図５に示す携帯端末２０の動作とは、顔画像登録処理が完了するまで、並行して同時に実行される。顔認証画像登録装置１０は、ステップＳ１１で目標情報を送信した後、ユーザの顔を撮影して第１顔向き情報を携帯端末２０に送信するとともに、撮影した顔画像が顔認証用の画像として適切な画像であった場合、その画像を登録する処理を繰り返す。同時に、携帯端末２０は、第１顔向き情報と第２顔向き情報とに基づいて端末位置を推定し、目標位置まで移動させる第１指示画像を表示し、携帯端末２０が目標位置まで移動した後は、ユーザの顔向きを目標方向に向かせる第２指示画像と、それぞれ異なる複数の方向に向かせる第３指示画像と、を表示する。
【００６１】
これにより、顔認証画像登録装置１０で得られる顔画像におけるユーザの顔向きが、携帯端末２０によって、次第に顔認証用の画像として適切な方向に誘導される。このような処理を繰り返すことによって、顔認証画像登録装置１０は、顔認証用の画像としてふさわしい顔画像を目標枚数登録することができる。
【００６２】
＜各処理の詳細＞
以下では、上記した各処理の詳細について説明する。
【００６３】
［第１顔向き推定処理及び第２顔向き推定処理］
まず、第１顔向き推定部１２１による第１顔向き推定処理、及び第２顔向き推定部２３１による第２顔向き推定処理について説明する。
【００６４】
第１顔向き推定部１２１は、第１カメラ１１によって生成された第１顔画像データに基づいて、ユーザの顔の特徴点を複数個抽出し、抽出した特徴点を用いて顔の向きを推定し、第１顔向き情報を生成する。
【００６５】
具体的な特徴点の抽出方法は、例えば以下の通りである。第１顔向き推定部１２１は、第１画像データにおける顔領域画像内の顔の特徴点位置を検出する。顔特徴点位置検出分野では、Ａｄａｐｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ方式により顔画像から顔の特徴点を検出できることが報告されている（例えば非特許文献１：Stephen Milborrow、Fred Nicolls、「Locating Facial Features with an Extended Active Shape Model」、Lecture Notes Computer Science ;Vol.5303、Proceedings of the 10th European Conference on Computer Vision :PartIV）。
【００６６】
図６は、顔の特徴点の一例を示す図である。同図において、３００は顔、３０１は顔の特徴点である。顔の特徴点とは、目中心（または黒目）、目頭、目尻、鼻翼、鼻筋の頭、口中心、口両端、こめかみや顎先などの顎のライン上の点など、眉、目、鼻、口、顎などの顔のパーツの位置や輪郭特徴を示す点位置である。第１顔向き推定部１２１は、上記検出方式を用いて、顔領域画像から図６に例を示す顔特徴点を検出し、同特徴点位置を出力する。なお、上記検出方式は一例であり、本発明で用いる顔特徴点位置検出の方式は上記検出方式に限るものではない。顔領域画像から顔の特徴点位置を特定することができる検出方式であれば、どのようなものでも良い。例えばパターンマッチングなどであっても顔の特徴点位置を検出することは可能である。
【００６７】
そして、第１顔向き推定部１２１は、検出した顔の各特徴点位置の特徴量を算出する。顔認識分野では、Ｇａｂｏｒ  Ｗａｖｅｌｅｔ変換により算出した特徴量により、顔を高精度に認識できることが報告されている（例えば非特許文献２：E. Elagin、J.Steffens、H.Neven、「Automatic Pose Estimation System for Human Faces Basedon Bunch Graph Matching Technology」、Proceedings of the International Conference on Automatic Face and Gesture Recognition‘98. pp136-141、1998）。
【００６８】
Ｇａｂｏｒ  Ｗａｖｅｌｅｔフィルタ係数を式（１）に示す。式（１）において、ｘ、ｙは画素の水平及び垂直位置、ｋは周波数、θは方位、σはガウス関数の標準偏差であり２πである。周波数ｋ及び方位θを変化させ、各画素位置ｘ、ｙの画素値に式により求められる係数を畳み込み演算することにより、Ｇａｂｏｒ  Ｗａｖｅｌｅｔ変換を行う。
【００６９】
【数１】
2019212156.tif 000003
【００７０】
第１顔向き推定部１２１は、上記Ｇａｂｏｒ  Ｗａｖｅｌｅｔ変換により、各周波数ｋ成分及び各方位θに対してそれぞれ、検出した顔の各特徴点位置の特徴量を算出する。なお、上記Ｇａｂｏｒ  Ｗａｖｅｌｅｔ変換による特徴量抽出は一例であり、本発明で用いる特徴量抽出の方式は上記方式に限るものではない。顔の各特徴点位置に対し、各周波数成分の特徴量を抽出するものであれば良い。
【００７１】
そして、第１顔向き推定部１２１は、検出した顔の各特徴点位置の位置関係から顔の向きを推定する。図７は、斜め左上を向いた顔３１０を示す図である。同図中に示す各特徴点位置３１１を通る各破線３１２同士の角度や、各特徴点位置間の距離比率は顔の向きによって差が現れる。これを利用することで、各特徴点位置により顔向きを推定することができる。なお、顔の向きを推定するためには、同一平面上にない少なくとも４つの特徴点が必要である。
【００７２】
また、各特徴点位置の３次元位置モデルを事前に用意し、以下の式（２）に示す３次元姿勢式を当てはめた時に、以下の式（４）に示す位置誤差評価値Ｅが最小になるような３次元回転行列Ｒ及び３次元並進ベクトルｔを求めることによっても、顔向きを推定することができる。
【００７３】
【数２】
2019212156.tif 000004
【００７４】
式（２）は、頭部を基準とした座標系（以下、顔座標系と記載する）を定義し、顔座標系における同一平面上にないｎ個（ｎ≧４）の顔の特徴点から成る３次元位置モデルを事前に用意し、顔座標系（ｕ，ｖ，ｗ）における当該各特徴点位置をＭｉ＝（Ｕｉ，Ｖｉ，Ｗｉ）ｔ（ｉ＝０，１，２・・・ｎ−１）とた場合に、これをカメラ座標系（ｘ，ｙ，ｚ）に変換する式である。ここで、Ｒは３行３列の３次元回転行列であり、ｔは３次元並進ベクトルである。
【００７５】
以下の式（３）は、３次元のカメラ座標系上の各特徴点から、２次元のカメラ画像上の座標（Ｘｉ，Ｙｉ）への変換式である。ここで、ｆはカメラの焦点距離である。また、以下の式（４）は、カメラが撮影した映像上で実際に検出された各特徴点の座標（Ｘ’ｉ，Ｙ’ｉ）と、式（２）、式（３）で求めた３次元位置モデルを回転・並進させた場合の各特徴点の座標（Ｘｉ，Ｙｉ）との誤差Ｅを求める式である。
【００７６】
【数３】
2019212156.tif 000005
【数４】
2019212156.tif 000006
【００７７】
誤差Ｅを最小にするＲおよびｔを推定する手法として、例えば非特許文献３に報告されたＰＯＳＩＴアルゴリズムがある（非特許文献３：DENIS OBERKAMPF, DANIEL F. DEMENTHON, AND LARRY S. DAVIS, 「Iterative Pose Estimation Using Coplanar Feature Points」, COMPUTER VISION AND IMAGE UNDERSTANDING Vol. 63, No. 3, May, pp. 495-511, 1996)。
【００７８】
以上のようにして、第１顔向き推定部１２１は、第１カメラ１１から見たユーザの顔の位置及び向きを示す第１顔向き情報を生成する。
【００７９】
第２顔向き推定部２３１による第２顔向き推定処理では、第２カメラ２１が生成した第２画像データを用いて、上記説明した第１顔向き推定処理と同様の処理が行われる。これにより、第２顔向き推定部２３１は、第２カメラ２１から見たユーザの顔の位置及び向きを示す第２顔向き情報を生成する。
【００８０】
［端末位置推定処理］
次に、端末位置推定部２３２による端末位置推定処理について説明する。端末位置推定部２３２は、第１顔向き情報及び第２顔向き情報に基づいて、第１カメラ１１から見た携帯端末２０の位置、より正確にはカメラ２１の位置を推定し、端末位置情報を生成する。
【００８１】
具体的には、端末位置推定部２３２は以下のような処理を行う。まず、端末位置推定部２３２は、第１カメラを基準とした座標系（以下、第１座標系と記載する）から、第２カメラを基準とした座標系（以下、第２座標系と記載する）へ変換するための座標変換行列を算出する。
【００８２】
第１顔向き情報に含まれる、第１座標系に対する顔座標系の回転行列をＲ１、並進ベクトルをｔ１とし、第２顔向き情報に含まれる、第２座標系に対する顔座標系の回転行列をＲ２、並進ベクトルをｔ２とすると、第１座標系上の各特徴点の座標Ｃ１ｉ及び第２座標系上の各特徴点の座標Ｃ２ｉは以下の式（５）及び式（６）のように表される。
【００８３】
【数５】
2019212156.tif 000007
【数６】
2019212156.tif 000008
【００８４】
式（５）及び式（６）から、Ｃ１ｉとＣ２ｉとの関係は、以下の式（７）のようになる。
【００８５】
【数７】
2019212156.tif 000009
【００８６】
すなわち、第２座標系から第１座標系への回転行列Ｒ３及び並進ベクトルｔ３は、以下の式（８）及び式（９）で与えられる。
【００８７】
【数８】
2019212156.tif 000010
【数９】
2019212156.tif 000011
【００８８】
第２座標系において、携帯端末２０の第２カメラ２１の位置は、原点である。これにより、式（８）及び（９）の変換行列を用いて、携帯端末２０の位置（第２カメラ２１の位置）を示す端末位置情報を生成することができる。
【００８９】
［端末位置誘導処理］
次に、端末位置誘導部２３３による端末位置誘導処理について説明する。端末位置誘導部２３３は、第１カメラ１１から見た携帯端末２０の位置を示す端末位置情報に基づいて、ユーザに対して携帯端末２０の位置を目標位置に誘導するように、移動させる向き及び移動量を指示する第１指示画像を生成する。
【００９０】
図８は、端末位置誘導部２３３が生成する第１指示画像が表示部２４に表示された様子を例示した図である。図８に示す例では、第１指示画像として、十字４０１と、球体４０２と、メッセージ４０３と、が示されている。図８に示す例では、ユーザが携帯端末２０を移動させると、第２カメラ２１が撮影した画像に基づいて端末位置が更新され、球体４０２の位置が変化する。球体４０２の位置は端末位置が目標位置となったときに十字４０１の中心に来るようになっている。例えば図８に示す例のように、球体４０２が十字４０１の中心から左上の方向に外れているとき、ユーザが携帯端末２０を右下方向に移動させることによって、球体４０２が十字４０１の中心に来るようになっている。
【００９１】
端末位置誘導部２３３は、現時点での携帯端末２０の目標位置からのズレ量に基づいて、十字４０１と、球体４０２を含む第１指示画像を生成する。このため、ユーザが球体４０２を十字４０１の中心となるように携帯端末２０を移動させることで、携帯端末２０の位置を目標位置とすることができる。
【００９２】
なお、携帯端末２０を目標位置に空中で保持することがユーザーの筋力等の都合で難しい場合は、例えば目標位置のやや下方に土台となるハンドル等があるなら、ハンドル等を支えにして本来の目標位置からやや下方に目標位置を変更することを許容してもよい。その場合でも、左右位置は本来の目標位置から変更しないことが望ましい。
【００９３】
また、例えば目標位置がたまたまユーザの顔と第１カメラ１１との間である等、携帯端末２０が第１カメラ１１による顔の撮影の妨げ（換言すれば邪魔）になるような場合には、端末位置誘導部２３３は、少なくとも当該撮影の妨げとならない位置まで携帯端末２０を移動させる画像（矢印等）を含む第１指示画像を表示部２４に表示させてもよい。
【００９４】
［顔向き誘導処理］
さらに、顔向き誘導部２３４による顔向き誘導処理について説明する。図９Ａ及び図９Ｂは、顔向き誘導部２３４が生成した、顔向きを誘導するための指示画像が表示部２４に表示された様子を例示した図である。
【００９５】
図９Ａには、ユーザに対して目標方向を向くように指示する第２指示画像が例示されている。図９Ａには、第２指示画像として、第１顔鏡像画像５０１と、第１矢印５０２と、第２顔鏡像画像５０３と、第２矢印５０４と、メッセージ５０５と、が示されている。
【００９６】
第１顔鏡像画像５０１は、第２カメラ２１によって撮影されているユーザの顔画像を鏡像とした画像であり、リアルタイムで表示される画像である。第１矢印５０２は、ユーザの顔を携帯端末２０の方にまっすぐ向けさせるために、ユーザが顔を動かすべき方向を指示する矢印である。第１矢印５０２は、ユーザの顔が携帯端末２０の方を向くにつれて、徐々に短くなるようになっている。そして、ユーザの顔が携帯端末２０の方をまっすぐに向いた状態では、矢印５０２は消失する（あるいは最も短く表示される）ようになっている。これにより、ユーザは矢印５０２に従って顔の向きを調節することで、顔認証用の画像を撮影するために好適な向きである、目標位置にある携帯端末２０の方をまっすぐに向くことができるようになる。
【００９７】
第２顔鏡像画像５０３は、ユーザに対して、携帯端末２０の方をまっすぐ向くために顔を動かすべき方向を示すための画像である。第２顔鏡像画像５０３の例には、あらかじめ用意されたイラストや動画等が含まれる。また、第２矢印５０４は、第２顔鏡像画像５０３に重畳して表示される矢印であって、第２顔鏡像画像５０３に重畳して表示され、ユーザが顔を動かすべき方向を示すものである。なお、図９Ｂに示す例では第２顔鏡像画像５０３及び第２矢印５０４を示したが、本開示はこれに限定されず、第２顔鏡像画像５０３及び第２矢印５０４は第２指示画像として表示されなくてもよい。
【００９８】
顔向き誘導部２３４が図９Ａに例示したような第２指示画像を生成することによって、ユーザは、目標位置に保持される携帯端末２０の方をまっすぐに向くことができる。これにより、ユーザの顔は、目標方向を向くことができる。顔認証画像登録装置１０の第１カメラ１１によって撮影されるユーザの顔画像が、顔認証用の画像として適切なものとなる。
【００９９】
図９Ｂには、それぞれ少しずつ異なる複数の向きを向いた顔の画像を第１カメラ１１に撮影させるためにユーザの顔を誘導する第３指示画像が例示されている。顔鏡像画像５１１は、図９Ａに示す第１顔鏡像画像５０１と同様に、第１カメラ２１によって撮影されている、ユーザの顔画像が鏡像としてリアルタイムで表示された画像である。矢印５１２は、ユーザがこれに沿って顔を動かすべき方向を示す矢印である。ユーザが矢印５１２に沿って顔の向きを動かすことにより、それぞれ少しずつ異なる複数の向きを向いた顔の画像が第１カメラ１１によって撮影される。これにより、精度の高い顔認証を行うための複数の顔画像が得られる。
【０１００】
進捗状況グラフ５１３は、顔認証画像登録装置１０から得られた登録進捗情報に基づいて表示される、精度よく顔認証を行うことができる顔画像の枚数（目標枚数）に対する、既に登録された顔画像の枚数の割合を示すグラフである。進捗状況グラフ５１３は、図９Ｂに示すようにバーグラフと文字との組み合わせであってもよいし、バーグラフのみ、または文字のみであってもよい。進捗状況グラフ５１３は、バーグラフに限定されず、他の形態のグラフであってもよい。
【０１０１】
また、顔向き誘導部２３４は、例えば第２指示画像によってユーザの顔が携帯端末２０の方をまっすぐに向いた状態で、あえてユーザの顔を少しずらさせるような画像（矢印等）を表示部２４に表示させてもよい。これにより、例えばユーザがメガネをかけている場合等、メガネの反射等によって第１カメラ１１が撮影する顔画像の一部に白飛びが生じる事態を防止することができるようになる。
【０１０２】
＜作用・効果＞
以上説明したように、本開示の実施の形態に係る顔画像登録システム１によれば、顔認証用の画像を登録する際に、ユーザに対して携帯端末２０を所定の目標位置まで移動させるための第１指示画像が表示部２４に表示され、携帯端末２０が目標位置まで移動された後には、ユーザの顔の向きを目標方向に誘導するための第２指示画像が表示部２４に表示される。これにより、ユーザの顔は、第１カメラ１１によって顔認証用の画像としてふさわしい画像が撮影される向きに誘導される。このように携帯端末２０を用いてユーザの顔向きを誘導するため、ユーザにとって直感的かつわかりやすい誘導を容易に行うことができる。また、第１カメラ１１とは独立した携帯端末２０を用いて誘導を行うため、第１カメラ１１の設置位置にかかわらず、ユーザの顔向きを容易に誘導することができる。
【０１０３】
第２指示画像によってユーザの顔向きが誘導されている間、第１カメラ１１によって撮影された顔画像が顔画像登録部１２２によって顔認証用の画像としてふさわしいか否かが判定され、適切な画像と判定された顔画像が登録される。
【０１０４】
さらに、それぞれ少しずつ異なる複数の向きを向いた顔の画像を第１カメラ１１に撮影させるためにユーザの顔を誘導する第３指示画像が表示部２４に表示される。これにより、精度の高い顔認証を行うために必要な複数枚（目標枚数）の顔画像を、顔認証用の画像として登録することができる。
【０１０５】
＜変形例＞
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到しうることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素は任意に組み合わせてられてもよい。
【０１０６】
上記した実施の形態において、携帯端末２０によってユーザの顔向きは目標方向を向くように誘導されるが、携帯端末２０は、ユーザの顔向きが目標方向を向いたことを顔認証画像登録装置１０に対して特に通知していなかった。本開示の変形例として、例えば携帯端末２０は、ユーザの顔向きが目標方向を向いたか否かを判定し、向いたと判定した場合に顔認証画像登録装置１０に向けて顔画像を撮影するタイミングであることを示す通知を送信する通信装置（図示せず）を有していてもよい。この場合、顔認証画像登録装置１０は、当該通知を受信したタイミングに基づいて（例えば、当該タイミングから所定の時間内に）第１カメラ１１によって撮影されたユーザの顔画像を、認証用の顔画像として登録してもよい。これにより、顔認証画像登録装置１０は、認証用の顔画像を無駄なく撮影することができる。
【０１０７】
また、本開示の変形例として、車両に設けられる第１制御部１２は、車両のサイドウインドウを自動的に閉めるサイドウインドウ制御部、またはユーザに対してサイドウインドウを閉めるように指示する報知部をさらに有していてもよい。これは、車両のサイドウインドウが開いた状態と閉じた状態とでは、閉じた状態の方が太陽光が減衰されることで顔への陰影が弱まり、顔認証用の画像を撮影するために好適であるからである。このような事態は、特に顔認証用のカメラとして近赤外線カメラを採用し、照明に近赤外線発光素子を併用した場合に顕著である。これは、サイドウィンドウにより太陽光の近赤外成分が減衰され、照明用の近赤外線発光素子の光量が相対的に十分大きければ、顔認証用カメラによる撮影映像に太陽光による陰影がほとんど発生しないからである。このような構成により、顔認証用の画像としてより好適な顔画像が、第１カメラ１１を用いて撮影されうる。
【０１０８】
上記した実施の形態において、ユーザとしては車両の運転席に搭乗した人物のみを想定している。このため、車両に複数の人物が搭乗した場合には、カメラ１１が例えば助手席に搭乗した人物の顔画像を誤って登録してしまうことが考えられる。このような事態を回避するため、本開示の変形例として、例えば第１制御部１２が、第１カメラ１１から見てあらかじめ設定された所定の空間（例えば運転席に湯治した人物の顔が存在しうる範囲の空間）内で撮影された顔画像のみを使用して処理を行うようにしてもよい。
【０１０９】
上記した実施の形態において、携帯端末２０における端末位置の誘導及び顔向きの誘導は、表示部２４に表示された第１〜第３指示画像によって行われていた。しかしながら、本開示の変形例として、携帯端末２０が表示部２４の代わりに例えば音声等によってユーザに対する指示を行うようにしてもよい。
【０１１０】
上記した実施の形態において、携帯端末２０が１箇所のみ定められた目標位置に保持され状態で顔向き誘導部２３４がユーザの顔向きの誘導を行っていた。しかしながら、本開示はこれに限定されず、例えば端末位置誘導部２３３が携帯端末２０を複数の目標位置に誘導し、顔向き誘導部２３４がそれぞれの目標位置においてそれぞれ異なる顔向きの誘導を行ってもよい。具体的には、本開示の変形例として、例えば端末位置誘導部２３３が携帯端末２０を第１カメラ１１の真横、真上、あるいは真下等に誘導し、それぞれの位置において顔向き誘導部２３４がユーザの顔を左右または上下に一直線状に動かすように誘導するようにしてもよい。この場合、ユーザの顔向きが第１カメラ１１に対して十字、または格子状に誘導される。これにより、顔認証画像登録装置１０において複数方向を向いたユーザの顔画像を好適に撮影することができる。
【０１１１】
＜コンピュータの例＞
図１０は、上述した実施の形態における第１制御部１２及び第２制御部２３の各機能を、プログラムにより実現するコンピュータのハードウェア構成を例示した図である。
【０１１２】
図１０に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive ）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【０１１３】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【０１１４】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【０１１５】
＜本開示のまとめ＞
本開示における顔画像登録システムは、設置された第１カメラを用いて撮影された画像に基づいて、前記第１カメラの位置を基準としたユーザの顔の向き及び位置を示す第１顔向き情報を生成する第１制御部と、移動体端末に含まれる第２カメラを用いて撮影された画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、前記第１顔向き情報と前記第２顔向き情報とに基づいて、前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、前記移動体端末を移動させるための第１の指示情報の出力を制御する第２制御部と、を備え、前記第１の指示情報の出力後、前記第１制御部は、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する。
【０１１６】
本開示における顔画像登録システムにおいて、前記ずれ量が所定の閾値以下になった場合、前記第２制御部は、さらに、前記ユーザの顔の向きをあらかじめ定められた目標方向へ向けさせるための第２の指示情報の出力を制御する。
【０１１７】
本開示における顔画像登録システムにおいて、前記第１制御部は、さらに、前記ユーザの顔が前記目標方向を向いているときに前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する。
【０１１８】
本開示における顔画像登録システムは、前記第１顔向き情報に基づいて変調された光信号を送信する光送信部と、送信された前記光信号を受信して復調し、復調された前記光信号に基づいた前記第１顔向き情報を前記第２制御部に出力する光受信部と、をさらに備える。
【０１１９】
本開示における顔画像登録システムにおいて、前記第１制御部は、前記光送信部が前記光信号を送信していないタイミングに前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録させる。
【０１２０】
本開示における顔画像登録システムにおいて、前記目標方向は、前記ユーザの顔の位置に対する前記第２カメラの方向である。
【０１２１】
本開示における顔画像登録システムにおいて、前記移動体端末は、表示部を含み、前記第２制御部は、前記ずれ量に基づいて決定される、前記移動体端末を移動させる向き及び移動量を前記ユーザに指示する第１指示画像を前記第１の指示情報として前記表示部に表示させる。
【０１２２】
本開示における顔画像登録システムにおいて、前記第２制御部は、少なくとも、前記第１カメラによる前記ユーザの顔画像の撮影の妨げとならない位置に前記移動体端末を移動させるように前記第１指示画像を前記表示部に表示させる。
【０１２３】
本開示における顔画像登録システムにおいて、前記第２制御部は、前記ユーザの顔の向きが前記目標方向を向くように前記ユーザに指示する第２指示画像を、前記第２カメラによって撮影された前記ユーザの顔画像の鏡像に重畳して前記表示部に表示させる。
【０１２４】
本開示における顔画像登録システムにおいて、前記目標方向は、複数の所定の向きであり、前記第２制御部は、前記ユーザに対して前記複数の所定の向きに顔を向けさせるように前記第２指示画像を変化させる。
【０１２５】
本開示における顔画像登録システムにおいて、前記第２制御部は、前記ユーザに対して、顔の向きが前記第２カメラの位置から所定量ずれた方向を向くよう前記第２の指示情報を変化させる。
【０１２６】
本開示における顔画像登録システムにおいて、前記移動体端末は、通信部を含み、前記ユーザの顔が前記目標方向を向いていることを前記第２制御部が検出したとき、前記第２制御部は、さらに、前記認証用の顔画像を撮影すべきタイミングであることを示す通知を前記第１制御部に向けて前記通信部に送信させ、前記第１制御部は、前記通知を受信したタイミングに基づいて前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する。
【０１２７】
本開示における顔画像登録システムにおいて、前記第１カメラが車両の内部に設置されている場合、前記第１制御部は、前記認証用の顔画像を登録する前に、前記ユーザまたは前記車両に対して前記車両の窓を閉めさせるための第３の指示情報の出力を制御し、前記第１の指示情報および前記第３の指示情報の出力後、前記第１制御部は、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する。
【０１２８】
本開示における顔画像登録方法は、設置された第１カメラを用いて撮影された画像に基づいて、前記第１カメラの位置を基準としたユーザの顔の向き及び位置を示す第１顔向き情報を生成し、移動体端末に含まれる第２カメラを用いて撮影された画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、前記第１顔向き情報と前記第２顔向き情報とに基づいて前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、前記移動体端末を移動させるための第１の指示情報の出力を制御し、前記第１の指示情報の出力後、前記第１カメラによって撮影された前記ユーザの顔画像を前記認証用の顔画像として登録する。
【０１２９】
本開示における移動体端末は、設置された第１カメラを用いて撮影された画像に基づいて生成された、前記第１カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第１顔向き情報を受信する受信部と、第２カメラと、前記第２カメラの撮影した画像に基づいて、前記第２カメラの位置を基準とした前記ユーザの顔の向き及び位置を示す第２顔向き情報を生成し、前記第１顔向き情報と前記第２顔向き情報とに基づいて前記第１カメラの位置を基準とした前記第２カメラの位置を推定し、認証用の顔画像の登録の基準となる目標位置に対する、推定された前記第２カメラの位置のずれ量に基づいて、自端末を移動させるための第１の指示情報の出力を制御する制御部と、を備える。
【０１３０】
本開示における顔認証画像登録装置は、前記第１制御部と、前記ユーザの顔を含む顔画像を撮影する前記第１カメラと、前記移動体端末に対して、前記第１顔向き情報を送信する送信部と、を備える。
【産業上の利用可能性】
【０１３１】
本開示は、顔認証用の画像を登録する顔画像登録システムに有用である。
【符号の説明】
【０１３２】
１  顔画像登録システム
１０  顔認証画像登録装置
１１  第１カメラ
１２  第１制御部
１３  光送信部
２０  携帯端末
２１  第２カメラ
２２  光復調部
２３  第２制御部
２４  表示部
１２１  第１顔向き推定部
１２２  顔画像登録部
２３１  第２顔向き推定部
２３２  端末位置推定部
２３３  端末位置誘導部
２３４  顔向き誘導部
【図１】
2019212156.tif 000012
【図２】
2019212156.tif 000013
【図３】
2019212156.tif 000014
【図４】
2019212156.tif 000015
【図５】
2019212156.tif 000016
【図６】
2019212156.tif 000017
【図７】
2019212156.tif 000018
【図８】
2019212156.tif 000019
【図９Ａ】
2019212156.tif 000020
【図９Ｂ】
2019212156.tif 000021
【図１０】
2019212156.tif 000022