(57)【要約】【課題】  マスクなどにより顔の一部が覆われている場合であっても、顔向きを推定可能とする。【解決手段】  一実施形態に係る顔向き推定装置は、顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する瞳孔座標算出部と、前記顔画像に基づいて、顔重心座標を算出する重心座標算出部と、前記第１瞳孔座標と前記第２瞳孔座標との間の前記顔画像における水平方向の距離と、前記第１瞳孔座標及び前記第２瞳孔座標の中心座標と前記顔重心座標との間の前記顔画像における水平方向の差と、に基づいて顔向きを推定する顔向き推定部と、を備える。【選択図】  図２
2018163411.tif 000002
【特許請求の範囲】
【請求項１】
顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する瞳孔座標算出部と、
前記顔画像に基づいて、顔重心座標を算出する重心座標算出部と、
前記第１瞳孔座標と前記第２瞳孔座標との間の前記顔画像における水平方向の距離と、前記第１瞳孔座標及び前記第２瞳孔座標の中心座標と前記顔重心座標との間の前記顔画像における水平方向の差と、に基づいて顔向きを推定する顔向き推定部と、
を備える顔向き推定装置。
【請求項２】
前記顔向き推定部は、前記距離及び前記差に応じた値と、前記顔向きと、の関係を示す推定モデルに基づいて、前記顔向きを推定する
請求項１に記載の顔向き推定装置。
【請求項３】
前記顔向きは、鉛直軸まわりの回転角度である
請求項１又は請求項２に記載の顔向き推定装置。
【請求項４】
前記顔画像は、明瞳孔画像、暗瞳孔画像、及び無照明画像を含む
請求項１乃至請求項３のいずれか１項に記載の顔向き推定装置。
【請求項５】
前記瞳孔座標算出部は、前記明瞳孔画像及び前記暗瞳孔画像に基づいて、前記第１瞳孔座標及び前記第２瞳孔座標を算出する
請求項４に記載の顔向き推定装置。
【請求項６】
前記重心座標算出部は、前記明瞳孔画像、前記暗瞳孔画像、及び前記無照明画像に基づいて、前記顔重心座標を算出する
請求項４又は請求項５に記載の顔向き推定装置。
【請求項７】
前記顔画像を取得する顔画像取得部を更に備える
請求項１乃至請求項６のいずれか１項に記載の顔向き推定装置。
【請求項８】
顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する瞳孔座標算出工程と、
前記顔画像に基づいて、顔重心座標を算出する重心座標算出工程と、
前記第１瞳孔座標と前記第２瞳孔座標との間の前記顔画像における水平方向の距離と、前記第１瞳孔座標及び前記第２瞳孔座標の中心座標と前記顔重心座標との間の前記顔画像における水平方向の差と、に基づいて顔向きを推定する顔向き推定工程と、
を有する顔向き推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔向き推定装置及び顔向き推定方法に関する。
【背景技術】
【０００２】
従来、顔姿勢の推定方法として、顔画像の重心と、顔画像の代表点を通る直線の傾きと、に基づいて、顔の傾きを推定する方法が知られている。また、他の推定方法として、顔画像における左右の瞳孔及び左右の鼻孔のうちの３点間の距離に基づいて、顔向きを推定する方法も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−３５０７０号公報
【特許文献２】特開２００７−２７１５５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前者の推定方法では、顔の傾きは推定できるものの、顔向きを推定できなかった。また、後者の推定方法では、マスクなどで鼻孔が覆われている場合、顔向きを推定できなかった。
【０００５】
本発明は、上記の課題に鑑みてなされたものであり、マスクなどにより顔の一部が覆われている場合であっても、顔向きを推定可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態に係る顔向き推定装置は、顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する瞳孔座標算出部と、前記顔画像に基づいて、顔重心座標を算出する重心座標算出部と、前記第１瞳孔座標と前記第２瞳孔座標との間の前記顔画像における水平方向の距離と、前記第１瞳孔座標及び前記第２瞳孔座標の中心座標と前記顔重心座標との間の前記顔画像における水平方向の差と、に基づいて顔向きを推定する顔向き推定部と、を備える。
【発明の効果】
【０００７】
本発明の各実施形態によれば、マスクなどにより顔の一部が覆われている場合であっても、顔向きを推定できる。
【図面の簡単な説明】
【０００８】
【図１】顔向き推定装置のハードウェア構成の一例を示す図。
【図２】顔向き推定装置の機能構成の一例を示す図。
【図３】瞳孔座標の算出方法の一例を説明する図。
【図４】顔重心座標の算出方法の一例を説明する図。
【図５】瞳孔間距離及び重心誤差の算出方法を説明する図。
【図６】上から見た対象者の頭部の一例を示す図。
【図７】推定モデルの一例を示す図。
【図８】顔向き推定装置の処理の一例を示すフローチャート。
【図９】顔画像取得部による顔画像の取得方法の一例を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。
【００１０】
一実施形態に係る顔向き推定装置について、図１〜図９を参照して説明する。本実施形態に係る顔向き推定装置は、対象者の顔画像に基づいて、当該対象者の顔向きｑを推定する装置である。ここでいう顔向きｑは、顔姿勢の一例であり、対象者の頭部を通る鉛直軸（ヨー軸）まわりの回転角度（°）のことである。
【００１１】
まず、顔向き推定装置のハードウェア構成について説明する。図１は、顔向き推定装置のハードウェア構成の一例を示す図である。図１の顔向き推定装置は、撮影装置１と、制御装置２と、を備える。
【００１２】
撮影装置１は、対象者の顔を撮影し、顔画像を取得する装置であり、制御装置２と接続される。撮影装置１は、対象者の顔を撮影可能な位置に配置される。以下では、撮影装置１の方向が正面であるものとするが、正面は、撮影装置１の方向を基準とした任意の方向に設定可能である。図１の撮影装置１は、撮影部１１Ｌ，１１Ｒと、複数の光源１２Ｌ，１２Ｒと、を備える。
【００１３】
撮影部１１Ｌは、対象者の顔を撮影するカメラであり、図１における撮影装置１の左側に配置される。撮影部１１Ｒは、対象者の顔を撮影するカメラであり、図１における撮影装置１の右側に配置される。以下、撮影部１１Ｌ，１１Ｒを区別しない場合、撮影部１１と称する。
【００１４】
光源１２Ｌは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｌの近傍に複数配置される。光源１２Ｒは、対象者の顔を撮影する際に、対象者の顔に所定のタイミングで光を照射する光源であり、撮影部１１Ｒの近傍に複数配置される。光源１２Ｌ，１２Ｒは、例えば、近赤外光を照射するＬＥＤ（Light Emitting Diode）であるが、これに限られない。以下、光源１２Ｌ，１２Ｒを区別しない場合、光源１２と称する。
【００１５】
なお、図１の例では、撮影装置１は、２つの撮影部１１を備えるが、１つ又は３つの撮影部１１を備えてもよい。撮影部１１が１つの場合、撮影装置１は、撮影部１１に対して略同軸の光源１２と非同軸の光源１２とをそれぞれ備えれば良い。また、図１の例では、撮影装置１は、それぞれ４つの光源１２Ｌ，１２Ｒを備えるが、光源１２Ｌ，１２Ｒの数は任意に設計可能である。
【００１６】
制御装置２は、撮影装置１を制御する装置であり、撮影装置１と接続される。具体的には、制御装置２は、撮影部１１による撮影及び光源１２の発光を制御する。また、制御装置２は、撮影装置１により取得された顔画像に基づいて、対象者の顔向きｑを推定する。図１の制御装置２は、ＣＰＵ（Central Processing Unit）２０１と、ＲＯＭ（Read Only Memory）２０２と、ＲＡＭ（Random Access Memory）２０３と、ＨＤＤ（Hard Disk Drive）２０４と、入力装置２０５と、表示装置２０６と、を備える。また、制御装置２は、接続インタフェース２０７と、通信インタフェース２０８と、バス２０９と、を備える。
【００１７】
ＣＰＵ２０１は、プログラムを実行することにより、制御装置２の各ハードウェア構成を制御し、制御装置２の機能を実現する。
【００１８】
ＲＯＭ２０２は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００１９】
ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。
【００２０】
ＨＤＤ２０４は、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。
【００２１】
入力装置２０５は、ユーザの操作に応じた情報を制御装置２に入力する。入力装置２０５は、例えば、タッチパネル、キーボード、マウス、ハードウェアボタンなどである。
【００２２】
表示装置２０６は、ユーザの操作に応じた画面を表示する。表示装置２０６は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどである。
【００２３】
接続インタフェース２０７は、制御装置２を撮影装置１に接続するためのインタフェースである。制御装置２は、接続インタフェース２０７を介して、撮影装置１を制御し、撮影装置１から顔画像（画像データ）を取得する。
【００２４】
通信インタフェース２０８は、制御装置２をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続するためのインタフェースである。制御装置２は、通信インタフェース２０８を介して、ネットワーク上の外部装置と通信する。
【００２５】
バス２０９は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、入力装置２０５、表示装置２０６、接続インタフェース２０７、及び通信インタフェース２０８を相互に接続する。
【００２６】
なお、図１の例では、制御装置２がＰＣ（Personal Computer）、サーバ、タブレット端末、スマートフォンなどのコンピュータにより構成される場合を想定している。しかしながら、制御装置２は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specified Integrated Circuit）などのＩＣにより、１チップで構成されてもよい。この場合、制御装置２は、ＨＤＤ２０４、入力装置２０５、及び表示装置２０６を備えない。
【００２７】
次に、顔向き推定装置の機能構成について説明する。図２は、顔向き推定装置の機能構成の一例を示す図である。図２の顔向き推定装置は、顔画像取得部２１と、瞳孔座標算出部２２と、重心座標算出部２３と、顔向き推定部２４と、推定モデル記憶部２５と、を備える。これらの各機能構成は、制御装置２のＣＰＵ２０１がプログラムを実行し、顔向き推定装置の各ハードウェア構成と協働することにより実現される。
【００２８】
顔画像取得部２１は、対象者の顔を撮影し、当該対象者の顔画像を取得する。顔画像取得部２１は、ＣＰＵ２０１が撮影装置１を制御することにより実現される。より詳細には、顔画像取得部２１は、短い間隔で連続して対象者の顔を撮影することにより、明瞳孔画像、暗瞳孔画像、及び無照明画像をそれぞれ取得する。撮影間隔は、例えば、１ｍｓｅｃ以上１００ｍｓｅｃ以下である。
【００２９】
明瞳孔画像は、対象者の瞳孔が明るく撮影された顔画像である。明瞳孔画像は、光源１２から対象者の顔に光を照射した状態で、当該光源１２と略同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１の方向に反射するため、対象者の瞳孔が明るく撮影される。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、明瞳孔画像が取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、明瞳孔画像が取得される。
【００３０】
暗瞳孔画像は、対象者の瞳孔が、明瞳孔画像に比べて暗く撮影された顔画像である。暗瞳孔画像は、光源１２から対象者の顔に光を照射した状態で、当該光源１２と非同軸の撮影部１１により対象者の顔を撮影することにより取得される。このように撮影することにより、光源１２からの光が、対象者の網膜により、撮影部１１とは異なる方向に反射するため、対象者の瞳孔が暗く撮影される。図１の撮影装置１では、光源１２Ｌから対象者の顔に光を照射した状態で、撮影部１１Ｒにより対象者の顔を撮影することにより、暗瞳孔画像が取得される。また、光源１２Ｒから対象者の顔に光を照射した状態で、撮影部１１Ｌにより対象者の顔を撮影することにより、暗瞳孔画像が取得される。
【００３１】
無照明画像は、光源１２から対象者の顔に光を照射しない状態で、撮影部１１により対象者の顔を撮影することにより取得される顔画像である。
【００３２】
顔画像取得部２１は、顔画像を取得すると、明瞳孔画像及び暗瞳孔画像を瞳孔座標算出部２２に渡す。また、顔画像取得部２１は、顔画像を取得すると、明瞳孔画像、暗瞳孔画像、及び無照明画像を重心座標算出部２３に渡す。
【００３３】
瞳孔座標算出部２２は、顔画像に基づいて、第１瞳孔座標及び第２瞳孔座標を算出する。第１瞳孔座標は、顔画像において左側に位置する瞳孔（対象者の右目の瞳孔）の座標である。第２瞳孔座標は、顔画像おいて右側に位置する瞳孔（対象者の左目の瞳孔）の座標である。瞳孔座標算出部２２は、算出した第１瞳孔座標及び第２瞳孔座標を顔向き推定部２４に渡す。
【００３４】
ここで、瞳孔座標算出部２２による瞳孔座標の算出方法について説明する。図３は、瞳孔座標の算出方法の一例を説明する図である。図３の画像Ｉｍ１〜Ｉｍ４は、顔画像における瞳孔周辺部分に相当する。
【００３５】
まず、瞳孔座標算出部２２は、明瞳孔画像Ｉｍ１から暗瞳孔画像Ｉｍ２を減算し、差分画像Ｉｍ３を生成する。明瞳孔画像Ｉｍ１及び暗瞳孔画像Ｉｍ２は、瞳孔以外の部分の輝度が略同一である。また、明瞳孔画像Ｉｍ１における瞳孔部分の輝度は、暗瞳孔画像Ｉｍ２における瞳孔部分の輝度より高い。したがって、明瞳孔画像Ｉｍ１から暗瞳孔画像Ｉｍ２を減算することにより、瞳孔部分の輝度が、瞳孔以外の部分の輝度より高い差分画像Ｉｍ３が生成される。
【００３６】
次に、瞳孔座標算出部２２は、差分画像Ｉｍ３を二値化し、二値画像Ｉｍ４を生成する。二値画像Ｉｍ４は、２値の輝度のいずれかを有する画素により構成される。以下、２値の輝度のうち、高い方の輝度を１、低い方の輝度を０とする。また、輝度が１の画素を白画素、輝度が０の画素を黒画素と称する。
【００３７】
具体的には、瞳孔座標算出部２２は、差分画像Ｉｍ３における各画素の輝度を、所定の閾値と比較し、輝度が閾値以上の画素を白画素（輝度が１の画素）に変換し、輝度が閾値未満の画素を黒画素（輝度が０の画素）に変換する。これにより、瞳孔部分が白画素であり、瞳孔以外の部分が黒画素である、二値画像Ｉｍ４が生成される。
【００３８】
その後、瞳孔座標算出部２２は、二値画像Ｉｍ４に基づいて、瞳孔部分（白画素の部分）の重心座標を算出する。算出された重心座標が、瞳孔座標に相当する。顔画像において左側に位置する瞳孔について算出された瞳孔座標が第１瞳孔座標であり、右側に位置する瞳孔について算出された瞳孔座標が第２瞳孔座標である。
【００３９】
重心座標算出部２３は、顔画像に基づいて、顔重心座標を算出する。顔重心座標は、顔画像に含まれる顔部分の重心座標である。重心座標算出部２３は、算出した顔重心座標を顔向き推定部２４に渡す。
【００４０】
ここで、重心座標算出部２３による顔重心座標の算出方法について説明する。図４は、顔重心座標の算出方法の一例を説明する図である。
【００４１】
まず、重心座標算出部２３は、明瞳孔画像Ｉｍ５から無照明画像Ｉｍ６を減算し、差分画像Ｉｍ７を生成する。明瞳孔画像Ｉｍ５における顔部分の輝度は、無照明画像Ｉｍ６における顔部分の輝度に比べて高い。これは、明瞳孔画像Ｉｍ５が、光源１２から対象者の顔に光を照射した状態で撮影されるためである。一方、明瞳孔画像Ｉｍ５における顔以外の部分（背景部分）の輝度は、無照明画像Ｉｍ６における顔以外の部分（背景部分）の輝度と略同一である。これは、光源１２から背景までの距離が遠いため、背景部分は、光源１２からの光による輝度の上昇が小さいためである。したがって、明瞳孔画像Ｉｍ５から無照明画像Ｉｍ６を減算することにより、対象者の顔部分の輝度が背景部分の輝度に比べて高い差分画像Ｉｍ７が生成される。
【００４２】
同様に、重心座標算出部２３は、暗瞳孔画像Ｉｍ８から無照明画像Ｉｍ６を減算し、差分画像Ｉｍ９を生成する。暗瞳孔画像Ｉｍ８における顔部分の輝度は、無照明画像Ｉｍ６における顔部分の輝度に比べて高い。これは、暗瞳孔画像Ｉｍ８が、光源１２から対象者の顔に光を照射した状態で撮影されるためである。一方、暗瞳孔画像Ｉｍ８における顔以外の部分（背景部分）の輝度は、無照明画像Ｉｍ６における顔以外の部分（背景部分）の輝度と略同一である。これは、光源１２から背景までの距離が遠いため、背景部分は、光源１２からの光による輝度の上昇が小さいためである。したがって、暗瞳孔画像Ｉｍ８から無照明画像Ｉｍ６を減算することにより、対象者の顔部分の輝度が背景部分の輝度に比べて高い差分画像Ｉｍ９が生成される。
【００４３】
次に、重心座標算出部２３は、差分画像Ｉｍ７及び差分画像Ｉｍ９を乗算し、乗算画像Ｉｍ１０を生成する。これにより、対象者の顔部分がより強調された（すなわち、対象者の顔部分の輝度がより高められた）乗算画像Ｉｍ１０が生成される。また、差分画像Ｉｍ７及び差分画像Ｉｍ９を乗算することにより、光源１２以外からの光に起因するノイズ（輝度のオフセット）や、明瞳孔画像Ｉｍ５及び暗瞳孔画像Ｉｍ８における瞳孔部分の輝度の差に起因するノイズを除去できる。
【００４４】
続いて、重心座標算出部２３は、乗算画像Ｉｍ１０を二値化し、二値画像Ｉｍ１１を生成する。具体的には、重心座標算出部２３は、乗算画像Ｉｍ１０における各画素の輝度を、所定の閾値と比較し、輝度が閾値以上の画素を白画素（輝度が１の画素）に変換し、輝度が閾値未満の画素を黒画素（輝度が０の画素）に変換する。これにより、対象者の顔部分が白画素であり、背景部分が黒画素である、二値画像Ｉｍ１１が生成される。
【００４５】
その後、重心座標算出部２３は、二値画像Ｉｍ１１に基づいて、顔部分（白画素部分）の重心座標を算出する。算出された重心座標が、顔重心座標に相当する。
【００４６】
なお、図４の例では、対象者の胴体部分についても、顔部分と同様の処理が行われているが、顔認識技術を利用して、胴体部分と顔部分とを区別してもよい。これにより、胴体部分を除く顔部分から顔重心座標を算出できるため、顔重心座標をより精度よく算出できる。また、重心座標算出部２３は、差分画像Ｉｍ７や差分画像Ｉｍ９から二値画像を生成し、生成した二値画像に基づいて顔重心座標を算出してもよい。また、重心座標算出部２３は、差分画像Ｉｍ７や差分画像Ｉｍ９をそれぞれ二乗して乗算画像を生成し、生成した乗算画像から二値画像を生成し、生成した二値画像に基づいて顔重心座標を算出してもよい。
【００４７】
顔向き推定部２４は、第１瞳孔座標、第２瞳孔座標、及び顔重心座標に基づいて、対象者の顔向きｑを推定する。具体的には、顔向き推定部２４は、第１瞳孔座標及び第２瞳孔座標に基づいて、瞳孔間距離Ｌを算出し、第１瞳孔座標、第２瞳孔座標、及び顔重心座標に基づいて、重心誤差Ｄを算出する。そして、顔向き推定部２４は、瞳孔間距離Ｌ及び重心誤差Ｄに基づいて、パラメータｐを算出し、パラメータｐ及び推定モデルに基づいて、顔向きｑを推定する。
【００４８】
図５は、瞳孔間距離Ｌ及び重心誤差Ｄの算出方法を説明する図である。図５に示すように、瞳孔間距離Ｌは、第１瞳孔座標と第２瞳孔座標との間の、顔画像Ｉｍにおける水平方向（矢印ｘの方向）の距離である。第１瞳孔座標が（ｘ１，ｙ１）、第２瞳孔座標が（ｘ２，ｙ２）である場合、Ｌ＝｜ｘ１−ｘ２｜となる。すなわち、顔向き推定部２４は、左側に位置する瞳孔のｘ座標ｘ１と、右側に位置する瞳孔のｘ座標ｘ２と、の間の距離（差の絶対値）を、瞳孔間距離Ｌとして算出する。
【００４９】
これに対して、重心誤差Ｄは、第１瞳孔座標及び第２瞳孔座標の中心座標と顔重心座標との間の、顔画像Ｉｍにおける水平方向（矢印ｘ方向）の差である。第１瞳孔座標が（ｘ１，ｙ１）、第２瞳孔座標が（ｘ２，ｙ２）、顔重心座標が（ｘ３，ｙ３）である場合、Ｄ＝（ｘ１＋ｘ２）／２−ｘ３となる。すなわち、顔向き推定部２４は、第１瞳孔座標及び第２瞳孔座標の中心座標のｘ座標（ｘ１＋ｘ２）／２と、顔の重心座標のｘ座標ｘ３と、の差を、重心誤差Ｄとして算出する。重心誤差Ｄの符号は、顔が正面に対して右を向いているか左を向いているかを示す。
【００５０】
対象者の顔が正面（撮影装置１の方向）を向いている場合、重心誤差Ｄは０となる。一方、対象者の顔が向いている方向が正面から離れるほど、重心誤差Ｄの大きさ（絶対値）は大きくなる。
【００５１】
顔向き推定部２４は、こうして算出した重心誤差Ｄを瞳孔間距離Ｌで除算することにより、パラメータｐを算出する（ｐ＝Ｄ／Ｌ）。パラメータｐは、重心誤差Ｄを、瞳孔間距離Ｌで正規化した値である。重心誤差Ｄを瞳孔間距離Ｌで正規化することにより、重心誤差Ｄに対する顔と撮影装置１との間の距離の影響を抑制できる。その後、顔向き推定部２４は、パラメータｐ及び推定モデルに基づいて、顔向きｑを推定する。
【００５２】
推定モデル記憶部２５は、推定モデルを記憶する。推定モデルは、パラメータｐと、顔向きｑと、の関係を示すモデルであり、予め用意される。推定モデルは、パラメータｐと顔向きｑとが対応付けられたテーブルであってもよいし、パラメータｐと顔向きｑとの関係を示す関数（ｑ＝ｆ（ｐ））であってもよい。
【００５３】
ここで、推定モデルの具体例について説明する。図６は、上から見た対象者の頭部の一例を示す図である。図６において、破線矢印は、撮影装置１の方向（正面）を示し、実線矢印は、対象者の顔向きｑ及びｘ軸を示す。図６の例では、顔向きｑの基準は正面（ｑ＝０°）であり、頭部の回転中心は後頭部であり、左右の瞳孔間の距離は６２ｍｍであり、頭長は１９００ｍｍである。
【００５４】
図７は、推定モデルの一例を示す図である。図７の推定モデルは、図６の例に基づいて、パラメータｐに対応する顔向きｑをシミュレーションし、得られたシミュレーション結果に基づいて生成された近似式ｆ（ｐ）である。図７の例では、ｆ（ｐ）＝−０．０３８９ｐ４＋０．９６１ｐ３−８．９４９４ｐ２＋４０．００３ｐ−０．３２８７である。
【００５５】
顔向き推定部２４は、このような推定モデルに、瞳孔間距離Ｌ及び重心誤差Ｄに基づいて算出したパラメータｐを入力することにより、顔向きｑを推定する。図７の推定モデルは、ｐが１の場合、顔向きｑとして約３０°が推定される。
【００５６】
次に、本実施形態に係る顔向き推定装置の処理について説明する。図８は、顔向き推定装置の処理の一例を示すフローチャートである。
【００５７】
まず、顔画像取得部２１が、顔画像として、明瞳孔画像、暗瞳孔画像、及び無照明画像を取得する（ステップＳ１０１）。図９は、顔画像取得部２１（撮影装置１）による顔画像の取得方法の一例を示す図である。図９の例では、撮影部１１Ｌ，１１Ｒは、時刻ｔ１，ｔ２，ｔ３に対象者の顔をそれぞれ撮影する。また、光源１２Ｌは時刻ｔ１に発光し、光源１２Ｒは時刻ｔ２に発光する。このような動作により、撮影部１１Ｌは、時刻ｔ１に明瞳孔画像を取得し、時刻ｔ２に暗瞳孔画像を取得し、時刻ｔ３に無照明画像を取得できる。また、撮影部１１Ｒは、時刻ｔ１に暗瞳孔画像を取得し、時刻ｔ２に明瞳孔画像を取得し、時刻ｔ３に無照明画像を取得できる。時刻ｔ１，ｔ２，ｔ３の間隔は、例えば、１６．６７ｍｓｅｃであるが、これに限られない。
【００５８】
撮影部１１Ｌ，１１Ｒにより取得されたこれらの顔画像は、瞳孔座標算出部２２及び重心座標算出部２３に入力される。以降の処理は、撮影部１１Ｌ又は撮影部１１Ｒにより取得された顔画像のいずれかを利用して行われてもよいし、撮影部１１Ｌ及び撮影部１１Ｒにより取得された顔画像の両方に対して行われてもよい。
【００５９】
瞳孔座標算出部２２は、顔画像取得部２１から顔画像を入力されると、入力された顔画像に基づいて、第１瞳孔座標（ｘ１，ｙ１）及び第２瞳孔座標（ｘ２，ｙ２）を算出する（ステップＳ１０２）。第１瞳孔座標（ｘ１，ｙ１）及び第２瞳孔座標（ｘ２，ｙ２）の算出方法は上述の通りである。瞳孔座標算出部２２は、算出した第１瞳孔座標（ｘ１，ｙ１）及び第２瞳孔座標（ｘ２，ｙ２）を顔向き推定部２４に渡す。
【００６０】
一方、重心座標算出部２３は、顔画像取得部２１から顔画像を入力されると、入力された顔画像に基づいて、顔重心座標（ｘ３，ｙ３）を算出する（ステップＳ１０３）。顔重心座標（ｘ３，ｙ３）の算出方法は上述の通りである。重心座標算出部２３は、算出した顔重心座標（ｘ３，ｙ３）を顔向き推定部２４に渡す。
【００６１】
顔向き推定部２４は、第１瞳孔座標（ｘ１，ｙ１）、第２瞳孔座標（ｘ２，ｙ２）、及び顔重心座標（ｘ３，ｙ３）を受け取ると、瞳孔間距離Ｌ（＝｜ｘ１−ｘ２｜）を算出する（ステップＳ１０４）。また、顔向き推定部２４は、重心誤差Ｄ（＝（ｘ１＋ｘ２）／２−ｘ３）を算出する（ステップＳ１０５）。
【００６２】
その後、顔向き推定部２４は、瞳孔間距離Ｌ及び重心誤差Ｄに基づいて、パラメータｐ（＝Ｄ／Ｌ）を算出し、算出したパラメータｐを推定モデルに入力して顔向きｑを推定する（ステップＳ１０６）。
【００６３】
顔向き推定装置は、以上の処理を、所定の時間間隔で、又は所定のタイミングで実行する。これにより、顔向き推定装置は、所定の時間間隔で、又は所定のタイミングで、対象者の顔向きを推定できる。
【００６４】
以上説明した通り、本実施形態に係る顔向き推定装置は、第１瞳孔座標、第２瞳孔座標、及び顔重心座標に基づいて、対象者の顔向きｑを推定できる。第１瞳孔座標、第２瞳孔座標、及び顔重心座標は、対象者の顔がマスクなどにより覆われている場合であっても取得可能である。したがって、本実施形態に係る顔向き推定装置は、マスクなどにより対象者の顔の一部が覆われている場合であっても、対象者の顔向きｑを推定できる。
【００６５】
なお、本実施形態に係る顔向き推定装置は、対象者の顔向きｑを利用する任意の装置に適用可能である。このような装置として、運転中のドライバの視線を検知する車載装置や、ディスプレイに表示された広告を視聴する視聴者の視線を検知する広告装置などが挙げられる。
【００６６】
また、本実施形態に係る顔向き推定装置は、推定される顔向きｑをキャリブレーションする機能を有してもよい。顔向き推定装置は、例えば、対象者に複数の顔向きｑｉに顔を向けるように要求し、対象者が各顔向きｑｉに顔を向けた際の顔向きｑをそれぞれ推定し、推定された各顔向きｑが各顔向きｑｉと一致するように、推定モデルのパラメータを調整する。これにより、顔向き推定装置は、顔向きｑをキャリブレーションできる。顔向きｑをキャリブレーションすることにより、頭部の形状や瞳孔の位置などの個人差に起因する顔向きｑの推定誤差を抑制できる。
【００６７】
なお、上記実施形態に挙げた構成等と他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００６８】
１：撮影装置
２：制御装置
１１Ｌ，１１Ｒ：撮影部
１２Ｌ，１２Ｒ：光源
２１：顔画像取得部
２２：瞳孔座標算出部
２３：重心座標算出部
２４：顔向き推定部
２５：推定モデル記憶部
【図１】
2018163411.tif 000003
【図２】
2018163411.tif 000004
【図３】
2018163411.tif 000005
【図４】
2018163411.tif 000006
【図５】
2018163411.tif 000007
【図６】
2018163411.tif 000008
【図７】
2018163411.tif 000009
【図８】
2018163411.tif 000010
【図９】
2018163411.tif 000011