(57)【要約】【課題】登録画像の撮像時の照明条件を予め登録することなく、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することを可能とする。【解決手段】顔照合装置３が、登録画像を取得する登録画像取得部１１と、登録画像中の顔領域の画素値に基づいて登録画像の撮像時の照明条件を推定する照明条件推定部１３と、照明条件推定部１３で推定された登録画像の撮像時の照明条件に基づいて、照合対象者を照明する照明装置の照明条件を設定する照明装置制御部１４と、照明装置制御部１４で設定された照明条件下で撮像された照合画像を取得する照合画像取得部１５と、照合画像を登録画像と照合する画像照合部１６とを備えた構成とする。【選択図】図１
2017027492.tif 000002
【特許請求の範囲】
【請求項１】
照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合装置であって、
前記登録画像を取得する登録画像取得部と、
前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定部と、
前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定する照明装置制御部と、
前記設定された照明条件下で撮像された前記照合画像を取得する照合画像取得部と、
前記照合画像を前記登録画像と照合する画像照合部と
を備えた顔照合装置。
【請求項２】
前記照明条件が、照明方向および光強度を含むことを特徴とする請求項１に記載の顔照合装置。
【請求項３】
前記登録画像中の顔領域の３次元座標を設定する３次元座標設定部をさらに備え、
前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の３次元座標と画素値とに基づいて推定することを特徴とする請求項１または請求項２に記載の顔照合装置。
【請求項４】
前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に調節制御な複数の光源を有しており、
前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする請求項１ないし請求項３のいずれかに記載の顔照合装置。
【請求項５】
前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の３次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定部と、
前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部と
をさらに備えたことを特徴とする請求項３または請求項４に記載の顔照合装置。
【請求項６】
前記照合画像中の顔領域の３次元座標を推定する照合画像３次元座標推定部と、
前記照合画像中の顔領域の３次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、
前記登録画像中の顔領域の３次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、
前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部と
をさらに備えたことを特徴とする請求項３ないし請求項５のいずれかに記載の顔照合装置。
【請求項７】
前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の３次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定部をさらに備えたことを特徴とする請求項６に記載の顔照合装置。
【請求項８】
前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知部をさらに備えたことを特徴とする請求項６に記載の顔照合装置。
【請求項９】
請求項１ないし請求項８のいずれかに記載の顔照合装置と、
前記顔照合装置に登録画像を入力する登録画像入力装置と、
照明条件を調節可能な照明装置と、
前記照明装置で照明された照合対象者を撮像する撮像装置と
を備えた顔照合システム。
【請求項１０】
前記照明条件が、照明方向および光強度を含むことを特徴とする請求項９に記載の顔照合システム。
【請求項１１】
前記顔照合装置が、前記登録画像中の顔領域の３次元座標を設定する３次元座標設定部をさらに備え、
前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の３次元座標と画素値とに基づいて推定することを特徴とする請求項９または請求項１０に記載の顔照合システム。
【請求項１２】
前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に調節制御な複数の光源を有しており、
前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする請求項９ないし請求項１１のいずれかに記載の顔照合システム。
【請求項１３】
前記顔照合装置が、前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の３次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定部と、
前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部と
をさらに備えたことを特徴とする請求項１１または請求項１２に記載の顔照合システム。
【請求項１４】
前記顔照合装置が、前記照合画像中の顔領域の３次元座標を推定する照合画像３次元座標推定部と、
前記照合画像中の顔領域の３次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、
前記登録画像中の顔領域の３次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、
前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部と
をさらに備えたことを特徴とする請求項１１ないし請求項１３に記載の顔照合システム。
【請求項１５】
前記顔照合装置が、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の３次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定部をさらに備えたことを特徴とする請求項１４に記載の顔照合システム。
【請求項１６】
前記顔照合装置が、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知部をさらに備えたことを特徴とする請求項１４に記載の顔照合システム。
【請求項１７】
照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合方法であって、
前記登録画像を取得する登録画像取得ステップと、
前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定ステップと、
前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定する照明装置制御ステップと、
前記設定された照明条件下で撮像された前記照合画像を取得する照合画像取ステップと、
前記照合画像を前記登録画像と照合する画像照合ステップと
を有する顔照合方法。
【請求項１８】
前記照明条件が、照明方向および光強度を含むことを特徴とする請求項１７に記載の顔照合方法。
【請求項１９】
前記登録画像中の顔領域の３次元座標を設定する３次元座標設定ステップをさらに有し、
前記照明条件推定ステップは、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の３次元座標と画素値とに基づいて推定することを特徴とする請求項１７または請求項１８に記載の顔照合方法。
【請求項２０】
前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に調節制御な複数の光源を有しており、
前記照明装置制御ステップは、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする請求項１７ないし請求項１９のいずれかに記載の顔照合方法。
【請求項２１】
前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の３次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定ステップと、
前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定ステップと
をさらに有することを特徴とする請求項１９または請求項２０に記載の顔照合方法。
【請求項２２】
前記照合画像中の顔領域の３次元座標を推定する照合画像３次元座標推定ステップと、
前記照合画像中の顔領域の３次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出ステップと、
前記登録画像中の顔領域の３次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出ステップと、
前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定ステップと
をさらに有することを特徴とする請求項１９ないし請求項２１のいずれかに記載の顔照合方法。
【請求項２３】
前記顔向き判定ステップにおいて前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の３次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定ステップをさらに有することを特徴とする請求項２２に記載の顔照合方法。
【請求項２４】
前記顔向き判定ステップにおいて前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知ステップをさらに有することを特徴とする請求項２２に記載の顔照合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合装置およびこれを備えた顔照合システムならびに顔照合方法に関する。
【背景技術】
【０００２】
従来、顔認証を目的として、照合対象者の顔をその場で撮像した照合用の画像（照合画像）と、事前に撮像された登録画像とを照合する装置が知られている。このような装置は、例えば、セキュリティゲート等での本人確認に用いることができる。しかし、登録画像の撮像時の照明状態と、照合画像の撮像時の照明状態が異なると、画像中の顔の見え方が大きく変わるため、照合に失敗するおそれがある。
【０００３】
そこで、登録画像の撮像時の照明状態を示す照明パラメータ値（周囲の照度、光源の数、位置、光源の方向、光源の種類等）を予め登録しておき、登録された照明パラメータ値を目標として、入力画像（照合対象者を撮像した画像）のパラメータ値を調整することにより、入力画像から照合画像を生成する技術が開示されている（例えば、特許文献１）。入力画像のパラメータ値は、入力画像の撮像時に照度センサ等のセンサを用いて取得する。また、登録画像の撮像時の照明装置の照明条件（強弱、ＯＮ・ＯＦＦ、向き、位置等）を予め登録しておき、照合画像の撮像時に、登録された照明条件を再現すべく照明装置の照明条件を制御する技術が開示されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３０６０９５号公報
【特許文献２】特開２００３−３０８５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来技術は、登録画像の撮像時の照明状態や照明条件を予め登録しておく必要があるため、例えば、空港等での出入国審査におけるパスポート照合等（本人確認）のような、撮像時の照明状態や照明条件が予め登録されていない未知の登録画像がその場で提示される場合には適さない。
【０００６】
また、特許文献１の従来技術では、入力画像の撮像時の照明状態を検出するために、照度センサ等のセンサが必要となるため、装置の構成が複雑になるという問題がある。また、登録された照明パラメータ値を目標として入力画像の照明パラメータ値を調整して照合画像を生成するとあるが、そのための具体的な方法は開示されていない。
【０００７】
本開示は、このような従来技術の課題を鑑みて案出されたものであり、登録画像の撮像時の照明条件を予め登録することなく、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することを可能とする顔照合装置およびこれを備えた顔照合システムならびに顔照合方法を提供することを主目的とする。
【課題を解決するための手段】
【０００８】
本開示の顔照合装置は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合装置であって、前記登録画像を取得する登録画像取得部と、前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定部と、前記推定された照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を制御する照明装置制御部と、前記制御された照明条件下で撮像された前記照合画像を取得する照合画像取得部と、前記照合画像を前記登録画像と照合する画像照合部とを備えたことを特徴とする。
【発明の効果】
【０００９】
本開示によれば、登録画像の撮像時の照明条件を予め登録することなく、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１実施形態に係る顔照合システムの全体構成図
【図２】図１中の照合画像撮像装置の模式図であり、（Ａ）は側面図、（Ｂ）は正面図
【図３】図１の顔照合システムを実現するためのハードウェア構成を示すブロック図
【図４】本開示の第１実施形態に係る顔照合装置による顔照合処理の流れを示すフロー図
【図５】本開示の第２実施形態に係る顔照合システムの全体構成図
【図６】図５中の顔照合装置のフィードバック部の概略構成を示すブロック図
【図７】本開示の第２実施形態に係る顔照合装置による顔照合処理の流れを示すフロー図
【発明を実施するための形態】
【００１１】
上記課題を解決するためになされた第１の発明は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合装置であって、前記登録画像を取得する登録画像取得部と、前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定する照明条件推定部と、前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定する照明装置制御部と、前記設定された照明条件下で撮像された前記照合画像を取得する照合画像取得部と、前記照合画像を前記登録画像と照合する画像照合部とを備えたことを特徴とする。
【００１２】
この第１の発明に係る顔照合装置によれば、登録画像中の顔領域の画素値に基づいて登録画像の撮像時の照明条件を推定し、推定された登録画像の撮像時の照明条件を再現すべく、照合対象者を照明する照明装置の照明条件を設定するように構成したので、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。
【００１３】
また、第２の発明では、上記第１の発明において、前記照明条件が、照明方向および光強度を含むことを特徴とする。
【００１４】
この第２の発明に係る顔照合装置によれば、推定された登録画像の撮像時の照明方向および光強度を再現すべく、照明装置の照明方向および光強度を設定することにより、登録画像の撮像時の同様の照明状態で照合画像を撮像することが可能となる。
【００１５】
また、第３の発明では、上記第１の発明または第２の発明において、前記登録画像中の顔領域の３次元座標を設定する３次元座標設定部をさらに備え、前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の３次元座標と画素値とに基づいて推定することを特徴とする。
【００１６】
この第３の発明に係る顔照合装置によれば、登録画像の撮像時の照明条件を登録画像中の顔領域の３次元座標と画素値とに基づいて推定するように構成したので、登録画像の撮像時の照明条件をより正確に推定することができる。これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００１７】
また、第４の発明では、上記第１の発明ないし第３の発明のいずれかにおいて、前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に制御可能な複数の光源を有しており、前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする。
【００１８】
この第４の発明に係る顔照合装置によれば、照明装置制御部によって照明装置の各光源のオン・オフおよび光強度の少なくとも一方を個別に制御するように構成したので、照明装置の照明条件を容易かつ精密に調節することができる。これにより、登録画像の撮像時の照明条件をより良く再現することが可能となる。
【００１９】
また、第５の発明では、上記第３の発明または第４の発明において、前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の３次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定部と、前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部とをさらに備えたことを特徴とする。
【００２０】
この第５の発明に係る顔照合装置によれば、画像照合部での照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定することが可能となる。これにより、照合画像の撮像時の照明条件が適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００２１】
また、第６の発明では、上記第３の発明ないし第５の発明のいずれかにおいて、前記照合画像中の顔領域の３次元座標を推定する照合画像３次元座標推定部と、前記照合画像中の顔領域の３次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、前記登録画像中の顔領域の３次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部とをさらに備えたことを特徴とする。
【００２２】
この第６の発明に係る顔照合装置によれば、照明条件判定部で照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致しないと判定された場合に、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定するように構成したので、照合画像中の顔の向きが適切であるか否かを確認することができる。これにより、照合画像の撮像時の照合対象者の顔の向きが適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００２３】
また、第７の発明では、上記第６の発明において、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の３次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定部をさらに備えたことを特徴とする。
【００２４】
この第７の発明に係る顔照合装置によれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の３次元座標と登録画像中の顔領域の画素値とに基づいて再推定するように構成したので、照明条件推定部で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の３次元座標が適切でなかった場合に、照合画像中の顔領域の３次元座標を使用して登録画像の撮像時の照明条件を再度推定することができる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００２５】
また、第８の発明では、上記第６の発明において、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知部をさらに備えたことを特徴とする。
【００２６】
この第８の発明に係る顔照合装置によれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を撮り直すように通知するように構成したので、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合に、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００２７】
また、第９の発明は、上記第１の発明ないし第８の発明のいずれかに記載の顔照合装置と、前記顔照合装置に登録画像を入力する登録画像入力装置と、照明条件を調節可能な照明装置と、前記照明装置で照明された照合対象者を撮像する撮像装置とを備えた顔照合システムである。
【００２８】
この第９の発明に係る顔照合システムによれば、登録画像中の顔領域の画素値に基づいて登録画像の撮像時の照明条件を推定し、推定された登録画像の撮像時の照明条件を再現すべく、照合対象者を照明する照明装置の照明条件を設定するように構成したので、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。
【００２９】
また、第１０の発明では、上記第９の発明において、前記照明条件が、照明方向および光強度を含むことを特徴とする。
【００３０】
この第１０の発明に係る顔照合システムによれば、推定された登録画像の撮像時の照明方向および光強度を再現すべく、照明装置の照明方向および光強度を設定することにより、登録画像の撮像時の同様の照明状態で照合画像を撮像することが可能となる。
【００３１】
また、第１１の発明では、上記第９の発明または第１０の発明において、前記顔照合装置が、前記登録画像中の顔領域の３次元座標を設定する３次元座標設定部をさらに備え、前記照明条件推定部は、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の３次元座標と画素値とに基づいて推定することを特徴とする。
【００３２】
この第１１の発明に係る顔照合システムによれば、登録画像の撮像時の照明条件を登録画像中の顔領域の３次元座標と画素値とに基づいて推定するように構成したので、登録画像の撮像時の照明条件をより正確に推定することができる。これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００３３】
また、第１２の発明では、上記第９の発明ないし第１１の発明のいずれかにおいて、前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に調節制御な複数の光源を有しており、前記照明装置制御部は、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする。
【００３４】
この第１２の発明に係る顔照合システムによれば、照明装置制御部によって照明装置の各光源のオン・オフおよび光強度の少なくとも一方を個別に制御するように構成したので、照明装置の照明条件を容易かつ精密に調節することができる。これにより、登録画像の撮像時の照明条件をより良く再現することが可能となる。
【００３５】
また、第１３の発明では、上記第１１の発明または第１２の発明において、前記顔照合装置が、前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の３次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定部と、前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定部とをさらに備えたことを特徴とする。
【００３６】
この第１３の発明に係る顔照合システムによれば、画像照合部での照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定することが可能となる。これにより、照合画像の撮像時の照明条件が適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００３７】
また、第１４の発明では、上記第１１の発明ないし第１３の発明のいずれかにおいて、前記顔照合装置が、前記照合画像中の顔領域の３次元座標を推定する照合画像３次元座標推定部と、前記照合画像中の顔領域の３次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出部と、前記登録画像中の顔領域の３次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出部と、前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定部とをさらに備えたことを特徴とする。
【００３８】
この第１４の発明に係る顔照合システムによれば、照明条件判定部で照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致しないと判定された場合に、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定するように構成したので、照合画像中の顔の向きが適切であるか否かを確認することができる。これにより、照合画像の撮像時の照合対象者の顔の向きが適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００３９】
また、第１５の発明では、上記第１４の発明において、前記顔照合装置が、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の３次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定部をさらに備えたことを特徴とする。
【００４０】
この第１５の発明に係る顔照合システムによれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の３次元座標と登録画像中の顔領域の画素値とに基づいて再推定するように構成したので、照明条件推定部で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の３次元座標が適切でなかった場合に、照合画像中の顔領域の３次元座標を使用して登録画像の撮像時の照明条件を再度推定することができる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００４１】
また、第１６の発明では、上記第１４の発明において、前記顔照合装置が、前記顔向き判定部で前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知部をさらに備えたことを特徴とする。
【００４２】
この第１６の発明に係る顔照合システムによれば、顔向き判定部で照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を撮り直すように通知するように構成したので、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合に、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００４３】
また、第１７の発明は、照合対象者の顔を撮像した照合画像を事前に撮像された登録画像と照合する顔照合方法であって、前記登録画像を取得するステップと、前記登録画像中の顔領域の画素値に基づいて前記登録画像の撮像時の照明条件を推定するステップと、前記推定された前記登録画像の撮像時の照明条件に基づいて、前記照合対象者を照明する照明装置の照明条件を設定するステップと、前記設定された照明条件下で撮像された前記照合画像を取得するステップと、前記照合画像を前記登録画像と照合するステップとを有することを特徴とする。
【００４４】
この第１７の発明に係る顔照合方法によれば、登録画像中の顔領域の画素値に基づいて登録画像の撮像時の照明条件を推定し、推定された登録画像の撮像時の照明条件を再現すべく、照合対象者を照明する照明装置の照明条件を設定するように構成したので、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。
【００４５】
また、第１８の発明では、上記第１７の発明において、前記照明条件が、照明方向および光強度を含むことを特徴とする。
【００４６】
この第１８の発明に係る顔照合方法によれば、推定された登録画像の撮像時の照明方向および光強度を再現すべく、照明装置の照明方向および光強度を設定することにより、登録画像の撮像時の同様の照明状態で照合画像を撮像することが可能となる。
【００４７】
また、第１９の発明では、上記第１７の発明または第１８の発明において、前記登録画像中の顔領域の３次元座標を設定する３次元座標設定ステップをさらに有し、前記照明条件推定ステップは、前記登録画像の撮像時の照明条件を、前記登録画像中の顔領域の３次元座標と画素値とに基づいて推定することを特徴とする。
【００４８】
この第１９の発明に係る顔照合方法によれば、登録画像の撮像時の照明条件を登録画像中の顔領域の３次元座標と画素値とに基づいて推定するように構成したので、登録画像の撮像時の照明条件をより正確に推定することができる。これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００４９】
また、第２０の発明では、上記第１７の発明ないし第１９の発明のいずれかにおいて、前記照明装置が、前記照合対象者を前方および上方から照明可能な位置に設置され、かつオン・オフおよび光強度の少なくとも一方を個別に調節制御な複数の光源を有しており、前記照明装置制御ステップは、前記照明装置の前記各光源のオン・オフおよび光強度の少なくとも一方を個別に制御することにより前記照明装置の照明条件を調節することを特徴とする。
【００５０】
この第２０の発明に係る顔照合方法によれば、照明装置制御ステップにおいて照明装置の各光源のオン・オフおよび光強度の少なくとも一方を個別に制御するように構成したので、照明装置の照明条件を容易かつ精密に調節することができる。これにより、登録画像の撮像時の照明条件をより良く再現することが可能となる。
【００５１】
また、第２１の発明では、上記第１９の発明または第２０の発明において、前記照合画像の撮像時の照明条件を前記登録画像中の顔領域の３次元座標と前記照合画像中の顔領域の画素値とに基づいて推定する照合画像照明条件推定ステップと、前記照合画像の撮像時の照明条件が前記登録画像の撮像時の照明条件と一致するか否かを判定する照明条件判定ステップとをさらに有することを特徴とする。
【００５２】
この第２１の発明に係る顔照合方法によれば、画像照合ステップにおいて照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定することが可能となる。これにより、照合画像の撮像時の照明条件が適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００５３】
また、第２２の発明では、上記第１９の発明ないし第２１の発明のいずれかにおいて、前記照合画像中の顔領域の３次元座標を推定する照合画像３次元座標推定ステップと、前記照合画像中の顔領域の３次元座標に基づいて前記照合画像中の顔の向きを検出する照合画像顔向き検出ステップと、前記登録画像中の顔領域の３次元座標に基づいて前記登録画像中の顔の向きを検出する登録画像顔向き検出ステップと、前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致するか否かを判定する顔向き判定ステップとをさらに有することを特徴とする。
【００５４】
この第２２の発明に係る顔照合方法によれば、照明条件判定ステップにおいて照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致しないと判定された場合に、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定するように構成したので、照合画像中の顔の向きが適切であるか否かを確認することができる。これにより、照合画像の撮像時の照合対象者の顔の向きが適切であったか否かを確認することができるので、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００５５】
また、第２３の発明では、上記第２２の発明において、前記顔向き判定ステップにおいて前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致すると判定された場合に、前記登録画像の撮像時の照明条件を、前記照合画像中の顔領域の３次元座標と前記登録画像中の顔領域の画素値とに基づいて再推定する登録画像照明条件再推定ステップをさらに有することを特徴とする。
【００５６】
この第２３の発明に係る顔照合方法によれば、顔向き判定ステップにおいて照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の３次元座標と登録画像中の顔領域の画素値とに基づいて再推定するように構成したので、照明条件推定ステップにおいて登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の３次元座標が適切でなかった場合に、照合画像中の顔領域の３次元座標を使用して登録画像の撮像時の照明条件を再度推定することができる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００５７】
また、第２４の発明では、上記第２２の発明において、前記顔向き判定ステップにおいて前記照合画像中の顔の向きが前記登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、前記照合対象者の顔の向きを前記登録画像中の顔の向きと同じ顔の向きに変更して前記照合画像を撮り直すように通知する通知ステップをさらに有する。
【００５８】
この第２４の発明に係る顔照合方法によれば、顔向き判定ステップにおいて照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を撮り直すように通知するように構成したので、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合に、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【００５９】
以下、本開示の実施形態について、図面を参照しながら説明する。
【００６０】
（第１実施形態）
図１は、本開示の第１実施形態に係る顔照合システムの全体構成図であり、図２は、図１中の照合画像撮像装置の模式図であり、（Ａ）は側面図、（Ｂ）は正面図である。
【００６１】
本開示に係る顔照合システムは、撮像装置により撮像された照合対象者の顔画像（以降、「照合画像」とも称する）を、事前に撮像された照合対象者の顔画像（以降、「登録画像」とも称する）と照合するためのシステムであり、例えば、空港等での出入国審査におけるパスポート照合（本人確認）に適用可能である。近年では、パスポートとして、ＩＣ（集積回路）を搭載したＩＣ旅券が用いられており、ＩＣチップにそのＩＣ旅券の名義人の顔画像が記録されている。本開示に係る顔照合システムによれば、ＩＣ旅券（パスポート）から読み出した顔画像と、空港内の審査場で撮像した顔画像とを照合して本人確認を行うことができる。以下では、本開示に係る顔照合システムを、空港等での出入国審査におけるパスポート照合（本人確認）に適用する場合について説明する。
【００６２】
図１に示すように、本開示に係る顔照合システム１は、登録画像入力装置２と、顔照合装置３と、照合画像撮像装置６とを備えて構成される。照合画像撮像装置６は、照明装置４と撮像装置５とを含んでいる。顔照合装置３は、登録画像入力装置２、照明装置４、および撮像装置５と、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、顔照合装置３と、登録画像入力装置２、照明装置４、および撮像装置５との接続形態は特に限定されるものではなく、例えば、インターネット等のネットワークを介した接続であってよいし、汎用のインターフェース（例えばＵＳＢ（Universal Serial Bus）インターフェース）を用いて通信ケーブルで互いに接続してもよい。
【００６３】
登録画像入力装置２は、事前に撮像された照合対象者の顔画像（登録画像）を、顔照合装置３に入力するための装置である。登録画像入力装置２としては、例えば、ＩＣ旅券のＩＣチップから登録画像等の登録情報を読み取るための旅券読取装置（パスポートリーダー）を用いることができる。旅券読取装置（登録画像入力装置２）で読み取られた登録画像は、顔照合装置３に入力される。なお、登録画像入力装置２は、少なくとも登録画像を顔照合装置３に入力することが可能な限りにおいて、その形態、機能、配置、数量等については特に限定されるものではなく、種々の変更が可能である。
【００６４】
図２に示すように、照合画像撮像装置６は、垂直方向に延在する垂直部材７と、垂直部材７の上端部７ａの前側面７ｂから前方に向かって水平に延在する水平部材８とを有している。垂直部材７と水平部材８は、両部材により画成される空間内に照合対象者９が入ることができるような高さおよび幅を有している。
【００６５】
照明装置４は、例えばＬＥＤ光源である複数の光源４ａを有している。光源４ａは、照合対象者９を前方および上方から照明すべく、垂直部材７の前側面７ｂおよび水平部材８の下側面８ａに配置されている。光源４ａは、水平部材８の下側面８ａにおいて、左右方向に５列、前後方向に７列に配置されている。また、光源４ａは、垂直部材７の前側面７ｂにおいて、左側および右側にそれぞれ縦１列、下側に横１列で、撮像装置５を取り囲むように配置されている。なお、光源４ａの配置形態はこれに限定されるものではない。
【００６６】
各光源４ａは個別にオン・オフすることができるように構成されており、後述する顔照合装置３の照明装置制御部１４の制御によって個別にオン・オフすることができる。これにより、照合対象者９を照明する方向または光量（すなわち光強度）を様々な方向または光強度に設定することが可能となる。また、各光源４ａは光強度を個別に調節することができるように構成してもよい。このようにすると、照合対象者９を照明する光強度をより精密に調節することが可能となる。なお、照明装置４は、照明条件（照明方向および光強度）を様々な条件に調節可能な限りにおいて、その形態、機能、配置、数量等については特に限定されるものではなく、種々の変更が可能である。
【００６７】
撮像装置５は、例えばＣＣＤカメラであり、照合対象者９の顔を正面から撮像すべく、垂直部材７の前側面７ｂに配置されている。撮像装置５は、照明装置４で照明された照合対象者を撮像し、撮像装置５により撮像された照合対象者の顔画像（照合画像）は、顔照合装置３に入力される。なお、撮像装置５は、照合対象者の顔画像を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。
【００６８】
顔照合装置３は、一般的なコンピュータ装置であり、詳細は図示しないが、所定の制御プログラムに基づき各種情報処理や周辺機器の制御等を統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインタフェース等を含むハードウェア構成を有している。後に詳述する顔照合装置３の各種機能（例えば、画像照合処理等）は、ＣＰＵが所定の制御プログラム（例えば、画像照合プログラム）を実行することによって実現可能である。なお、顔照合装置３としては、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバ等）を用いることもできる。また、顔照合装置３の機能の少なくとも一部を他の従来公知のハードウェアによる処理によって代替してもよい。
【００６９】
図１に示すように、顔照合装置３は、登録画像取得部１１と、３次元（３Ｄ）座標設定部１２と、照明条件推定部１３と、照明装置制御部１４と、照合画像取得部１５と、画像照合部１６とを備えている。各部は、図示しない制御部によって制御される。
【００７０】
登録画像取得部１１は、登録画像入力装置２と接続されており、登録画像入力装置２から、事前に撮像された照合対象者の顔画像（登録画像）を取得する。登録画像取得部１１が登録画像入力装置２から取得した登録画像は、３Ｄ座標設定部１２、照明条件推定部１３、画像照合部１６に入力される。
【００７１】
３Ｄ座標設定部１２は、登録画像取得部１１から入力された登録画像中の顔領域の３次元座標を設定する。具体的には、登録画像中の顔特徴点の３次元座標を設定する。顔特徴点の３次元座標は、従来公知の技術を用いて、登録画像取得部１１から入力された登録画像中の顔領域の画素値から推定することが可能である。例えば、登録画像中の顔領域の画素値の濃淡と顔特徴点の３次元座標との相関を、多数の顔画像および３次元座標データを用いて予め学習しておき、学習した相関関係に基づいて、登録画像中の顔領域の画素値の濃淡から顔特徴点の３次元座標を推定することが可能である（例えば、「Real-Time Combined 2D+3D Active Appearance Models, CVPR '04, pp. 535-542」を参照）。
【００７２】
このように、登録画像の撮像時の照明条件を登録画像中の顔領域の３次元座標と画素値とに基づいて推定すると、登録画像の撮像時の照明条件をより正確に推定することが可能となる。なお、登録画像中の顔領域（または顔特徴点）の３次元座標を設定する方法は、特に限定されるものではなく、他の様々な公知の技術を用いることが可能である。例えば、予め用意した標準的な３次元座標データを使用してもよいし、図示しない入力手段を用いてユーザが入力してもよい。３Ｄ座標設定部１２で設定された登録画像中の顔領域の３次元座標は、照明条件推定部１３に入力される。
【００７３】
照明条件推定部１３は、３Ｄ座標設定部１２から入力された登録画像中の顔領域の３次元座標と、登録画像取得部１１から入力された登録画像中の顔領域の画素値とに基づいて、登録画像の撮像時の照明条件を推定する。登録画像の撮像時の照明条件の推定は、従来公知の技術を用いて行うことができる。例えば、仮想的な天球上にｎ個の光源を離散的に設定し、登録画像中の各顔特徴点における前記各光源からの照明の遮蔽の有無または強度を、登録画像中の各顔特徴点の３次元座標に基づいて算出する。そして、登録画像中の各顔特徴点における画素値を表す一次方程式を導き、その解を求めることにより、前記各光源の照明方向および光強度を求めることができる（例えば、「物体の陰影に基づく光源環境の推定, Vol. 41, No. SIG 10, CVIM 1, Dec. 2000」を参照）。なお、登録画像の撮像時の照明条件を推定する方法は、特に限定されるものではなく、他の様々な公知の技術を用いることが可能である。照明条件推定部１３で推定された登録画像の撮像時の照明条件は、照明装置制御部１４に入力される。
【００７４】
照明装置制御部１４は、照明装置４と接続されており、照明装置４の各光源４ａを個別に制御して、照明装置４の照明条件（照明方向および光強度）を設定する。照明装置４の照明条件は、照明条件推定部１３で推定された登録画像の撮像時の照明条件を再現するように設定する。前述したように、照明装置４の各光源４ａを個別にまたは照明位置毎にオン・オフすることにより、または各光源４ａの光強度を個別にまたは照明位置毎に制御することにより、照明方向および光強度を変更することができ、これにより、照明装置４の照明条件を設定することができる。例えば、本実施形態のように、照明条件を天球上のｎ個の光源を用いて実現するモデルを用いる場合は、照明装置４にも天球に対応する球面を設け、その球面にｎ個の光源を実際に配置し、照明条件推定部１３が推定したｎ個の光源のパラメータを再現すればよい。これにより、照明装置４の照明条件を容易かつ精密に調節することができ、登録画像の撮像時の照明条件をより良く再現することが可能となる。照明装置４は、照明装置制御部１４により設定された照明条件、すなわち登録画像の撮像時の照明条件を再現した照明条件で、照合対象者を照明する。
【００７５】
照合画像取得部１５は、撮像装置５と接続されており、撮像装置５で撮像された照合対象者の顔画像（照合画像）を取得する。撮像装置５は、照明装置制御部１４で設定された照明条件で照明された照合対象者を撮像するので、照合画像は、登録画像の撮像時の照明条件と略同一の照明条件で撮像された画像となる。照合画像取得部１５が撮像装置５から取得した照合画像は、画像照合部１６に入力される。
【００７６】
画像照合部１６は、照合画像取得部１５から入力された照合画像を、登録画像取得部１１から入力された登録画像と照合する。具体的には、照合画像と登録画像との類似度を算出し、類似度が高い場合は照合画像と登録画像との照合が合致すると判定し、類似度が低い場合は照合画像と登録画像との照合が合致しないと判定する。類似度の算出方法の一例としては、照合画像の顔特徴量と登録像の顔特徴量との差分をとる方法が挙げられる。前記差分が小さい場合は類似度が高いと判断し、前記差分が大きい場合は類似度が低いと判断する。なお、照合画像と登録画像とを照合する方法は、特に限定されるものではなく、他の様々な公知の技術を用いることが可能である。画像照合部１６での照合結果は、図示しない出力部を介して、セキュリティシステムや監視カメラシステムなどの顔照合装置３の外部に出力される。
【００７７】
図２は、図１の顔照合システム１を実現するためのハードウェア構成を示すブロック図である。図１の顔照合システム１は、図２に示すように、画像入力部２１、照明部２２、撮影部２３、通信部２４、記憶部２５、プロセッサ２６、表示部２７、入力部２８、およびそれらを接続するためのシステムバス２９を含むハードウェア構成によって実現される。
【００７８】
画像入力部２１は、例えば、ＩＣ旅券のＩＣチップから登録画像等の登録情報を読み取るための旅券読取装置であり、事前に撮像された照合対象者の顔画像（登録画像）を顔照合装置３に入力するのに使用される。画像入力部２１は、図１中の登録画像入力装置２に対応する。
【００７９】
照明部２２は、複数の光源（例えば、ＬＥＤ光源）を有する照明装置であり、照合対象者を前方および上方から照明するのに使用される。各光源は、照明条件（照明方向および光強度）を調節すべく、オン・オフおよび光強度の少なくとも一方を個別に制御可能に構成されている。照明部２２は、図１中の照明装置４に対応する。
【００８０】
撮影部２３は、例えばＣＣＤカメラであり、照明部２２で照明された照合対象者の顔画像を正面から撮像するのに使用される。撮影部２３は、図１中の撮像装置５に対応する。
【００８１】
通信部２４は、一般的な通信モジュールであり、顔照合装置３が外部の他の装置またはシステムと通信を行うのに使用される。通信部２４は、例えば、顔照合装置３の画像照合部１６での照合結果を、表示部２７や、外部のセキュリティシステムまたは監視カメラシステムなどに出力するのに使用される。
【００８２】
記憶部２５は、例えばＲＯＭまたはハードディスクであり、顔照合装置３の各種機能を実現するための各種プログラムおよび各種データを格納している。各種プログラムは、顔照合装置３の登録画像取得部１１、３Ｄ座標設定部１２、照明条件推定部１３、照明装置制御部１４、照合画像取得部１５、および画像照合部１６における各処理を実現するためのプログラム、顔照合装置３全体を制御するためのプログラム、並びに、顔照合装置３に接続された登録画像入力装置２、照明装置４および撮像装置５を制御するためのプログラムなどである。各種データは、顔照合装置３の上記各部での各処理で用いられる閾値、および画像照合部１６での顔画像の照合に使用される照合用データなどである。
【００８３】
プロセッサ２６は、例えばＣＰＵであり、記憶部２５から上記の各種プログラムおよび各種データを図示しないＲＡＭ上に読み出して、顔照合装置３の登録画像取得部１１、３Ｄ座標設定部１２、照明条件推定部１３、照明装置制御部１４、照合画像取得部１５、および画像照合部１６での各処理を実行する。また、プロセッサ２６は、顔照合装置３全体の制御、および顔照合装置３の周辺機器（登録画像入力装置２、照明装置４、撮像装置５）の制御などを統括的に実行する。
【００８４】
表示部２７は、一般的なディスプレイ装置であり、顔照合装置３での処理結果の表示等に使用される。
【００８５】
入力部２８は、キーボードやマウスなどの一般的な入力デバイスであり、ユーザが顔照合装置３に命令を入力するのに使用される。
【００８６】
次に、図１に示した本開示の第１実施形態に係る顔照合装置３による顔画像照合処理の流れを、図４を参照して説明する。図４は、本開示の第１実施形態に係る顔照合装置３による顔照合処理の流れを示すフロー図である。
【００８７】
まず、登録画像取得部１１が、登録画像入力装置２から、事前に撮像された照合対象者の顔画像（登録画像）を取得する（ステップＳＴ１０１）。続いて、３Ｄ座標設定部１２が、登録画像中の顔領域の３次元座標を設定する（ステップＳＴ１０２）。次に、照明条件推定部１３が、登録画像中の顔領域の３次元座標と、登録画像中の顔領域の画素値とに基づいて、登録画像の撮像時の照明条件を推定する（ステップＳＴ１０３）。
【００８８】
続くステップＳＴ１０４では、照明装置制御部１４は、照明装置４の各光源４ａを個別に制御して、照明条件推定部１３で推定された登録画像の撮像時の照明条件を再現すべく照明装置４の照明条件を設定する。照明装置４は、照明装置制御部１４によって設定された照明条件で照合対象者を照明し、撮像装置５は、前記照明条件で照明された照合対象者を撮像する。
【００８９】
次のステップＳＴ１０５では、照合画像取得部１５は、撮像装置５から、前記照明条件下で撮像された照合対象者の顔画像（照合画像）を取得する。そして、ステップＳＴ１０６では、画像照合部１６が、照合画像を登録画像と照合する。照合結果は、図示しない出力部を介して、顔照合装置３の外部に出力される。
【００９０】
以上のように、本開示の第１実施形態に係る顔照合装置３によれば、登録画像の撮像時の照明条件を予め登録することなく、照合画像の撮像時に登録画像の撮像時の照明条件を再現することができる。これにより、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することができるので、照合画像と登録画像との照合の精度を高めることが可能となる。
【００９１】
（第２実施形態）
図５は、本開示の第２実施形態に係る顔照合システムの全体構成図であり、図２は、図５中の顔照合装置３のフィードバック部１７の概略構成を示すブロック図である。この第２実施形態に係る顔照合システム１は、顔照合装置３がフィードバック部１７を備えている点が、図１に示した第１実施形態に係る顔照合システム１と異なる。その他の構成は第１実施形態と同じであるので、同一の構成部分については同一の符号を付してその説明は省略する。
【００９２】
フィードバック部１７は、図示しないが、登録画像取得部１１、３Ｄ座標設定部１２、照明条件推定部１３、照合画像取得部１５、および画像照合部１６と接続されている。フィードバック部１７は、図示しない制御部によって制御され、画像照合部１６で照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件の確認、照合画像中の顔の向きの確認、および登録画像の撮像時の照明条件の再推定を行う。
【００９３】
フィードバック部１７は、照合画像照明条件推定部３１と、照明条件判定部３２と、照合画像３次元（３Ｄ）座標推定部３３と、照合画像顔向き検出部３４、登録画像顔向き検出部３５と、顔向き判定部３６と、通知部３７と、登録画像照明条件再推定部３８とを備えている。
【００９４】
照合画像照明条件推定部３１は、３Ｄ座標設定部１２に接続されており、３Ｄ座標設定部１２から登録画像中の顔領域の３次元座標を取得することができる。また、照合画像照明条件推定部３１は、照合画像取得部１５に接続されており、照合画像取得部１５から照合画像を取得することができる。照合画像照明条件推定部３１は、画像照合部１６で照合画像と登録画像との照合が合致しなかった場合に、登録画像中の顔領域の３次元座標と照合画像中の顔領域の画素値とに基づいて照合画像の撮像時の照明条件を推定する。照合画像照明条件推定部３１で推定された照合画像の撮像時の照明条件は、照明条件判定部３２に入力される。
【００９５】
照明条件判定部３２は、照明条件推定部１３に接続されており、照明条件推定部１３で推定された登録画像の撮像時の照明条件を取得することができる。照明条件判定部３２は、照合画像照明条件推定部３１で推定された照合画像の撮像時の照明条件が、照明条件推定部１３で推定された登録画像の撮像時の照明条件と一致するか否かを判定する。具体的には、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件との差分を算出し、前記差分が予め定められた閾値を下回った場合は、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件とが一致すると判定し、前記差分が前記閾値以上だった場合は、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件とが一致しないと判定する。前記差分の一例としては、各照明位置（各光源）の光強度の差の絶対値の総和が挙げられる。照明条件判定部３２の判定結果は、照合画像３Ｄ座標推定部３３に入力される。
【００９６】
画像照合部１６で照合画像と登録画像との照合が合致せず、かつ照明条件判定部３２で登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致すると判定された場合は、照明条件が同一にもかかわらず、照合画像と登録画像との照合が合致しなかったので、照合対象者が登録画像中の人物と別人であると判断することができる。
【００９７】
登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致しないと判定された場合は、照合画像の撮像時の照合対象者の顔の向きが登録画像中の顔の向きと異なっていた場合が考えられる。そこで、照合画像中の顔の向きが適切であるか否かを確認し、適切でなかった場合は、登録画像と同じ顔の向きで照合画像を撮り直す。また、照明条件推定部１３で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の３次元座標が適切でなかったことも考えられる。そこで、登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致しないと判定された場合は、照合画像中の顔領域の３次元座標を使用して、登録画像の撮像時の照明条件の再推定を行う。
【００９８】
照合画像３Ｄ座標推定部３３は、照合画像取得部１５に接続されており、照合画像取得部１５から照合画像を取得することができる。照合画像３Ｄ座標推定部３３は、照明条件判定部３２で登録画像の撮像時の照明条件と照合画像の撮像時の照明条件が一致しないと判定された場合に、照合画像中の顔領域の３次元座標を推定する。照合画像中の顔領域の３次元座標は、従来公知の技術を用いて、照合画像中の顔領域の画素値から推定することが可能である。例えば、３Ｄ座標設定部１２で用いた方法と同様の方法を用いることができる。照合画像３Ｄ座標推定部３３で推定された照合画像中の顔領域の３次元座標は、照合画像顔向き検出部３４に入力される。
【００９９】
照合画像顔向き検出部３４は、照合画像３Ｄ座標推定部３３から入力された照合画像中の顔領域の３次元座標に基づいて、照合画像中の顔の向きを検出する。画像中の顔の向きを検出は、従来公知の顔認識技術を用いて行うことができる。例えば、顔領域の顔特徴点の位置に基づいて検出可能である。照合画像顔向き検出部３４で検出された照合画像中の顔の向きは、顔向き判定部３６に入力される。
【０１００】
登録画像顔向き検出部３５は、３Ｄ座標設定部１２に接続されており、３Ｄ座標設定部１２から登録画像中の顔領域の３次元座標を取得することができる。登録画像顔向き検出部３５は、３Ｄ座標設定部１２から取得した登録画像中の顔領域の３次元座標に基づいて、登録画像中の顔の向きを検出する。画像中の顔の向きを検出は、照合画像顔向き検出部３４と同様に、従来公知の顔認識技術を用いて行うことができる。登録画像顔向き検出部３５で検出された登録画像中の顔の向きは、顔向き判定部３６に入力される。
【０１０１】
顔向き判定部３６は、照合画像顔向き検出部３４から入力された照合画像中の顔の向きが、登録画像顔向き検出部３５から入力された登録画像中の顔の向きと一致するか否かを判定する。この判定も、照合画像顔向き検出部３４および登録画像顔向き検出部３５と同様に、従来公知の顔認識技術を用いて行うことができる。顔向き判定部３６の判定結果は、通知部３７および登録画像照明条件再推定部３８に入力される。
【０１０２】
通知部３７は、顔向き判定部３６で照合画像中の顔の向きが登録画像中の顔の向きと一致しないと判定された場合に、ユーザに対して、照合対象者の顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を取り直すように通知する。通知は、通知部３７自体が行ってもよいし、表示装置等の図示しない通知手段を介して行ってもよい。このことにより、照合対象者の顔の向きを登録画像と同じ顔の向きに変更して照合画像を撮り直すことが可能となる。したがって、照合画像を登録画像との照合の精度をさらに高めることが可能となる。
【０１０３】
登録画像照明条件再推定部３８は、登録画像取得部１１に接続されており、登録画像取得部１１から登録画像を取得することができる。登録画像照明条件再推定部３８は、顔向き判定部３６で照合画像中の顔の向きが登録画像中の顔の向きと一致すると判定された場合に、登録画像の撮像時の照明条件を、照合画像中の顔領域の３次元座標と登録画像中の顔領域の画素値とに基づいて再推定する。登録画像照明条件再推定部３８で再推定された登録画像の撮像時の照明条件は、照明装置制御部１４に入力される。このことにより、照明条件推定部１３で登録画像の撮像時の照明条件を推定するときに使用した登録画像中の顔領域の３次元座標が適切でなかった場合に、照合画像中の顔領域の３次元座標を使用して登録画像の撮像時の照明条件を再度推定することができ、これにより、照合画像を登録画像との照合の精度をさらに高めることが可能となる。
【０１０４】
次に、図５および図６に示した本開示の第２実施形態に係る顔照合装置３による顔画像照合処理の流れを、図７を参照して説明する。図７は、本開示の第２実施形態に係る顔照合装置３による顔照合処理の流れを示すフロー図である。
【０１０５】
ステップ２０１からステップ２０５までは、前述した図４のフロー図のステップＳＴ１０１からＳＴ１０５と同一なので説明は省略する。
【０１０６】
ステップ２０６では、画像照合部１６で、照合画像と登録画像との照合が合致するか否かを判定する。照合が合致すると判定された場合（ＳＴ２０６：Ｙｅｓ）は処理を終了し、照合が合致しないと判定された場合（ＳＴ２０６：Ｎｏ）はステップＳＴ２０７に進む。
【０１０７】
ステップＳＴ２０７では、照合画像照明条件推定部３１が、登録画像中の顔領域の３次元座標と照合画像中の顔領域の画素値とに基づいて、照合画像の撮像時の照明条件を推定する。続くステップＳＴ２０８では、照明条件判定部３２が、照合画像の撮像時の照明条件が登録画像の撮像時の照明条件と一致するか否かを判定する。一致すると判定された場合（ＳＴ２０８：Ｙｅｓ）はステップＳＴ２０９に進み、一致しないと判定された場合（ＳＴ２０８：Ｎｏ）はステップＳＴ２１０に進む。ステップＳＴ２０９では、照明条件が同一にもかかわらず照合画像と登録画像との照合が合致しなかったので、照合対象者が登録画像中の人物と別人であると判断し、その後、処理を終了する。
【０１０８】
ステップＳＴ２１０では、照合画像３Ｄ座標推定部３３が、照合画像中の顔領域の３次元座標を推定する。続いて、ステップＳＴ２１１では、照合画像顔向き検出部３４が、照合画像３Ｄ座標推定部３３で推定された照合画像中の顔領域の３次元座標に基づいて、照合画像中の顔の向きを検出する。続くステップＳＴ２１２では、登録画像顔向き検出部３５が、３Ｄ座標設定部１２から取得した登録画像中の顔領域の３次元座標に基づいて登録画像中の顔の向きを検出する。
【０１０９】
次のステップＳＴ２１３では、顔向き判定部３６が、照合画像中の顔の向きが登録画像中の顔の向きと一致するか否かを判定する。一致すると判定された場合（ＳＴ２１３：Ｙｅｓ）はステップＳＴ２１４に進み、一致しないと判定された場合（ＳＴ２１３：Ｎｏ）はステップＳＴ２１５に進む。
【０１１０】
ステップＳＴ２１４では、登録画像照明条件再推定部３８が、照合画像中の顔領域の３次元座標と登録画像中の顔領域の画素値とに基づいて、登録画像の撮像時の照明条件を再推定する。その後、ステップＳＴ２０４に進み、ＳＴ２０４以降の処理を繰り返す。
【０１１１】
ステップＳＴ２１５では、通知部３７が、照合対象者に対して、顔の向きを登録画像中の顔の向きと同じ顔の向きに変更して照合画像を取り直すように通知する。その後、ステップＳＴ２０５に進み、ＳＴ２０５以降の処理を繰り返す。
【０１１２】
以上のように、本開示の第２実施形態に係る顔照合装置３によれば、画像照合部１６で照合画像と登録画像との照合が合致しなかった場合に、照合画像の撮像時の照明条件の確認、照合画像中の顔の向きの確認、および登録画像の撮像時の照明条件の再推定を行うことができ、これにより、照合画像と登録画像との照合の精度をさらに高めることが可能となる。
【０１１３】
以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本開示に係る顔照合装置およびこれを備えた顔照合システムならびに顔照合方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【０１１４】
本開示に係る顔照合装置およびこれを備えた顔照合システムならびに顔照合方法は、録画像の撮像時の照明条件を予め登録することなく、照合画像を登録画像の撮像時の照明条件と略同一の照明条件で撮像することを可能とする顔照合装置およびこれを備えた顔照合システムならびに顔照合方法等として有用である。
【符号の説明】
【０１１５】
１    顔照合システム
２    登録画像入力装置
３    顔照合装置
４    照明装置
５    撮像装置
６    照合画像撮像装置
１１  登録画像取得部
１２  ３次元（３Ｄ）座標設定部
１３  照明条件推定部
１４  照明装置制御部
１５  照合画像取得部
１６  画像照合部
１７  フィードバック部
３１  照合画像照明条件推定部
３２  照明条件判定部
３３  照合画像３次元（３Ｄ）座標推定部
３４  照合画像顔向き検出部
３５  登録画像顔向き検出部
３６  顔向き判定部
３７  通知部
３８  登録画像照明条件再推定部
【図１】
2017027492.tif 000003
【図２】
2017027492.tif 000004
【図３】
2017027492.tif 000005
【図４】
2017027492.tif 000006
【図５】
2017027492.tif 000007
【図６】
2017027492.tif 000008
【図７】
2017027492.tif 000009