(57)【要約】【課題】より精度良く物体を照合することを目的とする。【解決手段】現実環境で撮影された撮影画像と、複数の照明条件それぞれが反映された現実環境の複数の画像と、に基づいて、現実環境の照明条件を推定し、第１の物体の三次元データと、推定された照明条件と、に基づいて、照明条件が反映された第１の物体の画像である変動画像を生成し、生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、第１の物体と入力画像に含まれる第２の物体とを照合する。【選択図】図７
2019032694.tif 000002
【特許請求の範囲】
【請求項１】
現実環境で撮影された撮影画像と、複数の照明条件それぞれが反映された現実環境の複数の画像と、に基づいて、現実環境の照明条件を推定する推定手段と、
第１の物体の三次元データと、前記推定手段により推定された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成手段と、
前記生成手段により生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と前記入力画像に含まれる第２の物体とを照合する照合手段と、
を有する情報処理装置。
【請求項２】
前記推定手段は、照明の方向、又は、照明の強度に関する条件を含む照明条件を推定する請求項１記載の情報処理装置。
【請求項３】
前記推定手段は、照明の色温度に関する条件を含む照明条件を推定する請求項２記載の情報処理装置。
【請求項４】
前記推定手段は、前記複数の画像それぞれを合成することで前記撮影画像を近似した場合の前記複数の画像それぞれの合成後の画像に対する割合に基づいて、現実環境の照明条件を推定する請求項１乃至３何れか１項記載の情報処理装置。
【請求項５】
前記推定手段は、前記複数の画像それぞれを合成することで前記撮影画像を近似した場合の前記複数の画像それぞれの合成後の画像に対する割合に基づいて、前記複数の画像それぞれに対応する照明条件を合成することで、現実環境の照明条件を推定する請求項４記載の情報処理装置。
【請求項６】
前記推定手段は、前記複数の画像における予め定められた領域それぞれを合成することで前記撮影画像における前記予め定められた領域を近似した場合の前記複数の画像における前記予め定められた領域それぞれの合成後の画像に対する割合に基づいて、現実環境の照明条件を推定する請求項４又は５記載の情報処理装置。
【請求項７】
前記推定手段は、現実環境で撮影された物体の画像である前記撮影画像と、前記複数の照明条件それぞれが反映された現実環境における物体の画像である前記複数の画像と、に基づいて、現実環境の照明条件を推定する請求項１乃至６何れか１項記載の情報処理装置。
【請求項８】
前記推定手段は、現実環境で撮影された複数の前記撮影画像が平均化された画像と、前記複数の画像と、に基づいて、現実環境の照明条件を推定する請求項１乃至７何れか１項記載の情報処理装置。
【請求項９】
前記推定手段は、撮影の際の現実環境の条件が類似する前記複数の前記撮影画像が平均化された画像と、前記複数の画像と、に基づいて、現実環境の照明条件を推定する請求項８記載の情報処理装置。
【請求項１０】
前記推定手段は、撮影の際の現実環境の条件である気象条件、場所、周囲の人の数のうち少なくとも１つ以上が類似する前記複数の前記撮影画像が平均化された画像と、前記複数の画像と、に基づいて、現実環境の照明条件を推定する請求項９記載の情報処理装置。
【請求項１１】
前記推定手段は、前記撮影画像と、照明条件を測定する測定装置による現実環境の照明条件の測定と同期して撮影され、前記測定装置により測定された照明条件と対応付けられた画像である前記複数の画像と、に基づいて、現実環境の照明条件を推定する請求項１乃至１０何れか１項記載の情報処理装置。
【請求項１２】
前記第１の物体は、人物の顔である請求項１乃至１１何れか１項記載の情報処理装置。
【請求項１３】
現実環境で撮影された撮影画像と、複数の照明条件それぞれが反映された現実環境の複数の画像と、に基づいて、現実環境の照明条件を推定する推定手段と、
第１の物体の三次元データと、前記推定手段により推定された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成手段と、
前記生成手段により生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と前記入力画像に含まれる第２の物体とを照合する照合手段と、
を有するシステム。
【請求項１４】
情報処理装置が実行する情報処理方法であって、
現実環境で撮影された撮影画像と、複数の照明条件それぞれが反映された現実環境の複数の画像と、に基づいて、現実環境の照明条件を推定する推定ステップと、
第１の物体の三次元データと、前記推定ステップで推定された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成ステップと、
前記生成ステップで生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と前記入力画像に含まれる第２の物体とを照合する照合ステップと、
を含む情報処理方法。
【請求項１５】
コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像中の人物等の物体と予め辞書に登録された物体と比較することにより同一の物体か否かを判定する物体認証技術が提案されている。物体認証技術には、例えば、人の顔の認証を行う顔認証技術等がある。物体認証技術の応用先として、入退室管理を顔パスで実現するセキュリティ用途や、撮り貯めた画像データベースの中から特定の人物を探し出す検索用途、デジタルカメラ等の撮影パラメタを人物毎に自動で切り換える機器制御用途等がある。このような用途において、画像は、様々な照明条件で撮影される。そこで、照明条件の変動に頑健な物体認証技術が求められる。
照明条件の影響を軽減する技術として、事前に登録した物体の画像から、様々な照明条件が反映された際のそれらの物体の画像である変動画像を生成し、認証に使用する手法がある。
例えば、特許文献１には、以下のような技術が開示されている。即ち、事前に二次元画像、又は標準三次元モデルから様々な照明条件が反映された画像である変動画像を生成しておき、入力画像と変動画像とを比較し最も類似する変動画像を入力画像の照明条件に類似しているとし、照合に使用する技術が開示されている。これにより、入力画像により近い照明条件同士の比較が可能となり、精度向上が期待できる。
特許文献２では、三次元モデルに対して、あらかじめ設定しておいた照明の位置、強度といったパラメタを適用し、変動画像をレンダリングする方法が開示されている。三次元モデルを用いることで、二次元画像から変動画像を作るよりも、よりリアルな変動画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５５７４０３３号公報
【特許文献２】特開２００１−２８３２１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来手法では、現実環境の照明条件を精度よく反映した変動画像を生成することができない。
特許文献１では、二次元画像や標準三次元モデルをもとにするため、人の顔のような凹凸がある物体における凹凸による陰影が再現できない。また、特許文献１では、照明条件が照明基底を用いた統計的な表現で表されており、現実環境の照明条件とは異なる照明条件を反映した変動画像が生成される可能性がある。
特許文献２では、個人毎の三次元モデルを用いているため、人の顔の凹凸による陰影は再現できる。しかし、特許文献２では、照明条件が照明の位置・角度で表される簡易なモデルを用いて表されており、現実環境の複雑な照明条件を反映した変動画像を生成することはできない。
そのため、従来手法では、物体の照合の精度には限界があった。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、現実環境で撮影された撮影画像と、複数の照明条件それぞれが反映された現実環境の複数の画像と、に基づいて、現実環境の照明条件を推定する推定手段と、第１の物体の三次元データと、前記推定手段により推定された照明条件と、に基づいて、前記照明条件が反映された前記第１の物体の画像である変動画像を生成する生成手段と、前記生成手段により生成された変動画像の特徴量と、入力画像の特徴量と、に基づいて、前記第１の物体と前記入力画像に含まれる第２の物体とを照合する照合手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、より精度良く物体を照合することができる。
【図面の簡単な説明】
【０００７】
【図１】画像処理システムのシステム構成等の一例を示す図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】情報処理装置の機能構成の一例を示す図である。
【図４】物体登録処理の一例を示すフローチャートである。
【図５】推定部の詳細の一例を示す図である。
【図６】照明分布登録処理の一例を示すフローチャートである。
【図７】照合処理の一例を示すフローチャートである。
【図８】推定部の詳細の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
【０００９】
＜実施形態１＞
本実施形態では、照合対象の物体として人物の顔を照合する画像処理システムが、ゲートにおける入退室制御を行う例について説明する。建物の入り口付近に設置されるゲートの周囲の環境は、室内の照明変化だけでなく、外光による影響を受け、室内の環境等に比べて照明条件が大きく変化する。そこで、画像処理システムは、ゲートの周囲の環境における複数の照明条件を測定し、測定した照明条件に基づいて、照合対象の物体に照明条件を反映させた変動画像を生成し、生成した画像と入力される画像とを照合する。
【００１０】
（画像処理システムのシステム構成）
図１は、本実施形態の画像処理システムのシステム構成等の一例を示す図である。図１の例では、照合対象の人物が、ゲートを通過しようとしている状況が示される。
画像処理システムは、情報処理装置１、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６、フラッパー７を含む。情報処理装置１、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６は、ネットワーク２を介して、相互に通信可能に接続されている。以下では、フラッパー７により通行の可否が制御されるゲート制御装置６の間隙を、ゲートとする。
情報処理装置１は、ネットワーク２を介して、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６と通信し、照合対象の人物がゲートを通過してよい人物か否かを判定し、判定結果をゲート制御装置６に出力する。情報処理装置１は他例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。
ネットワーク２は、ローカルエリアネットワークであり、情報処理装置１、三次元データ取得装置３、照明分布取得装置４、撮像装置５、ゲート制御装置６の間の通信に用いられる。また、ネットワーク２は、インターネット等の他のネットワークであってもよい。
【００１１】
三次元データ取得装置３は、三次元スキャナであり、物体の三次元データを取得し、ネットワーク２を介して、情報処理装置１に出力する。三次元データ取得装置３は、予め、照合対象の物体（例えば、人物の顔等）の三次元データを取得し、取得した三次元データを、情報処理装置１に送信する。情報処理装置１は、送信された三次元データの情報を、予め図２で後述する二次記憶装置１４に記憶することで登録する。本実施形態では、三次元データ取得装置３は、ゲート制御装置６と異なる場所に配置される。三次元データ取得装置３は、三次元スキャナでなく、複数の撮像装置と接続された情報処理装置であってもよい。この場合、三次元データ取得装置３は、接続された複数の撮像装置を介して、物体の二次元画像を複数視点から撮影し、撮影した二次元画像に基づいて、ステレオマッチングにより物体の三次元データを取得してもよい。また、情報処理装置１が、複数の撮像装置を介して、物体の二次元画像を複数視点から撮影し、撮影した二次元画像に基づいて、ステレオマッチングにより物体の三次元データを取得することとしてもよい。
照明分布取得装置４は、周囲の三次元空間上の照明条件を測定する魚眼レンズが装着されたカメラ等の撮像装置であり、測定した照明条件を、ネットワーク２を介して、情報処理装置１に送信する。照明分布取得装置４は、照明条件として、照明分布取得装置４の周囲の現実環境における照明の方向、照明の強度、照明の色温度等を測定する。
【００１２】
照明分布取得装置４は、現実環境における周囲の照明条件を測定し、測定した照明条件を示す二次元画像を生成する。照明分布取得装置４は、例えば、以下のような処理により、測定した照明条件を示す二次元画像を生成する。照明分布取得装置４は、照明分布取得装置４を中心とした現実環境における空間に対応する球形又はドーム形状の空間の画像を生成する。そして、照明分布取得装置４は、画像内の球形又はドーム形状の空間の表面に、照明の方向に対応する位置に、照明の強度に応じた大きさの円状のオブジェクトを配置させる。また、照明分布取得装置４は、画像内の球形又はドーム形状の空間の表面の表示態様を、対応する照明の色温度を示す模様や色となるように更新する。そして、照明分布取得装置４は、表面の表示態様を更新した画像を、測定した照明条件を示す二次元画像とする。以下では、照明分布取得装置４により測定された照明条件を示す二次元画像を、照明分布とする。照明分布取得装置４は、生成した照明分布を情報処理装置１に送信する。
建物の入口のように、外光の影響のある場所では、太陽のような証明強度のレンジが広い照明条件をより正確に測定するため、照明分布取得装置４は、ＨＤＲ（Ｈｉｇｈ  Ｄｉｎａｍｉｃ  Ｒａｎｇｅ）撮影のできる撮像装置であるのが好ましい。本実施形態では、照明分布取得装置４は、魚眼レンズ装着の撮像装置とした。しかし、照明分布取得装置４は、例えば、通常のカメラと自動雲台との組を複数含み、複数の視点から画像を複数撮影し、スティッチ処理を加えることで、照明分布を生成してもよい。また、照明分布取得装置４は、通常のカメラとミラーボール、反射鏡等を組み合わせて、照明分布を生成するようにしてもよい。また、照明分布取得装置４は、後の照合処理の際に色温度が不要であるなら、色温度を測定せずに、照明方向及び照明強度、又は、照明方向と照明強度とのうちの何れか１つを測定することとしてもよい。
【００１３】
例えば、照明分布取得装置４を他の場所で用いたいという要望があり、画像処理システム内に常に照明分布取得装置４を設置できない場合がある。また、照合の度に照明分布取得装置４を操作する処理が情報処理装置１にとって負担となる場合もある。
そこで、本実施形態では、画像処理システムは、実際にゲートを通過しようとする人物を照合する際には、照明分布取得装置４を利用しない。即ち、図７等で後述する照合処理においては、画像処理システムは、照明分布取得装置４を利用しないこととなる。照明分布取得装置４は、予め、撮像装置５による現実環境の撮影と同期して、現実環境における照明条件を測定し、照明分布を生成する。そして、情報処理装置１は、撮像装置５により撮影された現実環境の画像と、撮像装置５による現実環境の撮影と同期して照明分布取得装置４により測定された照明条件を示す照明分布と、の組を複数、図２で後述する二次記憶装置１４に記憶しておく。
また、照明分布取得装置４は、照明分布を生成し、生成した照明分布を情報処理装置１に送信することとした。しかし、照明分布取得装置４が測定した照明条件の情報を情報処理装置１に送信し、情報処理装置１が照明分布を生成することとしてもよい。
【００１４】
撮像装置５は、光学レンズと、映像センサと、通信ユニットと、を含むネットワークカメラであり、照合対象の人物を撮影し、撮影した画像を、ネットワーク２を介して、情報処理装置１へ送信する。撮像装置５は、１つの撮像装置であるとするが、複数の撮像装置であってもよい。
ゲート制御装置６は、情報処理装置１から取得した照合対象の人物の認証結果に応じて、開閉を制御する制御信号をフラッパー７の駆動部に送信する。ゲート制御装置６は、フラッパー７を開閉させることで、人物の入場を制御する。
フラッパー７は、開閉部と、開閉部を駆動する駆動部を含み、人物のゲートの通過を物理的に制御する。
また、本実施形態では、画像処理システムの各要素は、それぞれ別個の要素であるとする。しかし、ある要素が他の要素の機能を有することとして、画像処理システムが、その他の要素を含まないこととしてもよい。例えば、照明分布取得装置４は、撮像装置５と同一の装置であるとして、撮像装置５との機能を有し、照合対象の物体を撮影することとしてもよい。また、情報処理装置１は、ゲート制御装置６と同一の装置であるとし、ゲート制御装置６の機能を有し、フラッパー７を制御することとしてもよい。
また、本実施形態では、三次元データ取得装置３は、ゲート制御装置６と異なる場所に配置されるとするが、ゲート制御装置６の近傍（例えば、ゲート制御装置６と同室内、ゲート制御装置６との距離が５メートル以下の範囲等）に配置されることとしてもよい。
【００１５】
（情報処理装置のハードウェア構成）
図２は、情報処理装置１のハードウェア構成の一例を示す図である。情報処理装置１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、二次記憶装置１４、通信装置１５、映像出力装置１６、操作入力装置１７を含む。各要素は、接続バス１８を介して、相互に通信可能に接続されている。
ＣＰＵ１１は、ＲＯＭ１２やＲＡＭ１３に格納された制御プログラムを実行することにより、本装置全体の制御を行う。
ＲＯＭ１２は、不揮発性メモリであり、制御プログラムや各種パラメタデータ等を記憶する。制御プログラムは、ＣＰＵ１１により実行され、図４、６、７等で後述する各処理が実現される。
ＲＡＭ１３は、揮発性メモリであり、画像のデータ、制御プログラムの実行結果のデータ等を一時的に記憶する。
【００１６】
二次記憶装置１４は、ハードディスク、ソリッドステートドライブ、フラッシュメモリー等の書き換え可能な二次記憶装置であり、各種プログラム、各種設定情報、画像のデータや三次元データ、照明分布のデータ、各種閾値の情報等を記憶する。また、二次記憶装置１４は、制御プログラム、各種設定内容、処理結果等を記憶し、制御プログラムがＣＰＵ１１により実行される際にＲＡＭ１３に出力される。
通信装置１５は、有線通信ユニットであり、ネットワーク２を介して他の装置との通信に利用する。通信装置１５は、無線通信ユニットであってもよい。
映像出力装置１６は、ＣＲＴやＴＦＴ液晶等のモニタであり、ＲＡＭ１３からＣＰＵ１１により送信された画像や制御プログラムの実行結果等を表示する。
操作入力装置１７は、キーボードやマウス等のユーザによる操作を介した入力を受付ける装置である。
ＣＰＵ１１が、ＲＯＭ１２、二次記憶装置１４等に記憶されたプログラムに基づき処理を実行することで、図３、５、８で後述する情報処理装置１の機能及び図４、６、７で後述するフローチャートの処理等が実現される。
【００１７】
（情報処理装置の機能構成）
図３は、本実施形態における情報処理装置１の機能構成の一例を示す図である。情報処理装置１は、三次元データ取得部１０１、生成部１０２、入力部１０３、検出部１０４、特徴抽出部１０５、記憶部１０６、登録部１０７、推定部１０８、選択部１０９、照合部１１０、出力部１１１を含む。
三次元データ取得部１０１は、三次元データ取得装置３を介して、被写体の三次元データを取得し、二次記憶装置１４に記憶する。本実施形態では、三次元データ取得部１０１は、照合処理の対象となる人物の顔の三次元データを取得する。
生成部１０２は、三次元データ取得部１０１により取得された三次元データと、記憶部１０６により記憶された照明分布と、に基づいて、照明分布が示す照明条件が反映された人物の顔の画像である変動画像を生成する。変動画像は、例えば、照明分布が示す照明条件下における人物の顔の三次元データからレンダリングされた二次元画像である。生成部１０２は、生成した変動画像に、どの照明分布から生成されたのかを示す照明分布情報を紐づけて、検出部１０４へ送信する。照明分布情報としては、例えば、照明分布が取得された時刻の情報、照明分布を識別する番号等がある。
入力部１０３は、撮像装置５を介して、ゲートを通過しようとする人物等の物体の二次元の画像を撮影し、検出部１０４へ送信する。入力部１０３により撮像装置５を介して撮影された物体の画像は、入力画像の一例である。
【００１８】
検出部１０４は、入力部１０３から送信された画像、又は生成部１０２から送信された変動画像から物体を検出する。本実施形態では、検出部１０４は、検出対象の物体として人物の顔を検出し、入力部１０３から送信された画像と生成部１０２から送信された変動画像とのそれぞれから、検出した顔領域を抽出して、抽出した顔領域のデータを、特徴抽出部１０５へ送信する。検出部１０４は、生成部１０２と同様に、変動画像から抽出した顔領域のデータに、どの照明分布から生成されたかを示す照明分布情報を紐づけておく。画像処理システムが人物の顔以外の物体の照合を行う場合、検出部１０４は、照合対象の物体を検出することとなる。
特徴抽出部１０５は、検出部１０４から送信された顔領域のデータから特徴量を抽出する。また、特徴抽出部１０５は、抽出した特徴量を、登録部１０７、又は照合部１１０へ送信する。また、特徴抽出部１０５は、照明分布情報と紐づけられた顔領域のデータから抽出した特徴量については、抽出した特徴量にその照明分布情報を紐付けて、登録部１０７、又は照合部１１０へ送信する。
記憶部１０６は、推定部１０８から送信された照明分布を二次記憶装置１４に記憶し、生成部１０２、又は選択部１０９へ送信する。
【００１９】
登録部１０７は、特徴抽出部１０５から送信された特徴量と、特徴量に紐づけられた照明分布情報と、を二次記憶装置１４に記憶し、選択部１０９、又は照合部１１０に送信する。このとき、登録部１０７は、特徴抽出部１０５から送信された特徴量と、特徴量に紐づけられた照明分布情報と、を、誰の顔の特徴量であるかを示す人物情報と紐付けて、二次記憶装置１４に記憶する。登録部１０７は、人物情報を、操作入力装置１７を介したユーザによる入力操作に基づいて、取得する。以下では、照明分布情報と、その照明分布情報が示す照明分布に基づいて生成された変動画像内の顔の領域から抽出された特徴量と、その特徴量が誰の顔の領域の特徴量であるかを示す人物情報と、の組の情報を、登録データとする。
推定部１０８は、撮像装置５を介して撮影された画像と、予め二次記憶装置１４に記憶された照明分布と撮像装置５を介して撮影された画像との複数の組と、に基づいて、現実環境の照明条件を推定する。そして、推定部１０８は、推定した照明条件を示す照明分布を生成し、生成した照明分布を二次記憶装置１４に記憶する。推定部１０８の詳細については、図５、８で後述する。
選択部１０９は、推定部１０８により推定された照明分布に基づいて、二次記憶装置１４に記憶されている過去の登録データから、照合に使用される特徴量を含む登録データを選択する。選択部１０９は、選択した登録データの情報を照合部１１０に送信する。
照合部１１０は、特徴抽出部１０５から送信された入力部１０３により取得された画像から抽出された特徴量と、選択部１０９から送信された登録データに含まれる特徴量と、を照合し、照合結果を出力部１１１へ送信する。
出力部１１１は、例えば、照合部１１０から送信された照合結果を、通信装置１５を介して、ゲート制御装置６等に外部装置に出力する。
【００２０】
（画像処理システムの処理の概要）
本実施形態では、画像処理システムは、複数の人物、複数の照明分布それぞれについて、登録データを生成し、二次記憶装置１４に記憶することで登録する。
本実施形態では、画像処理システムは、照合対象の人物についての登録データを新たに登録する物体登録処理、現実環境の照明条件を推定する推定処理を実行する。また、画像処理システムは、新たな照明分布が推定された場合に、その照明分布に応じた登録データを登録する照明分布登録処理、物体を照合する照合処理等の処理を実行する。画像処理システムは、推定処理と照明分布登録処理とを、照合処理のバックグラウンドで実行することとしてもよい。以下、それぞれの処理について説明する。
【００２１】
（物体登録処理）
物体登録処理は、照合対象の候補となる人物についての登録データを登録する処理である。物体登録処理は、新たに取得された人物の顔の三次元モデルと、既に記憶されている照明分布と、を用いて、変動画像を生成し、生成した変動画像から照合に用いられる特徴量を抽出し、登録データを生成し、登録する処理である。
図４は、物体登録処理の一例を示すフローチャートである。
Ｓ１１０１において、三次元データ取得部１０１は、三次元データ取得装置３を介して、照合対象の候補となる人物の顔の三次元データを取得する。三次元データ取得部１０１は、物体の三次元データとして、物体の形状を示すポリゴンメッシュと、物体の質感を表現するテクスチャと、を含むデータを取得する。本実施形態では、三次元データ取得部１０１は、ポリゴンメッシュとして顔の形状、テクスチャとして顔画像をそれぞれ取得する。
【００２２】
Ｓ１１０２において、生成部１０２は、記憶部１０６により二次記憶装置１４に記憶された照明分布を全て取得する。二次記憶装置１４には、予め、記憶部１０６により過去に記憶された照明分布が複数記憶されているものとする。記憶部１０６により過去に記憶された照明分布とは、推定部１０８により過去に推定された照明条件を示す照明分布である。照明分布の記憶に係る処理の詳細は、図６で後述する。照明分布は、現実環境の照明条件を示す二次元画像である。人手によるライティングを行わずに、リアルなライティングを実現するイメージ・ベースド・ライティングと呼ばれる手法がある。本実施形態では、画像処理システムは、照合対象の人物がいる現場のライティングをリアルに表現するためにイメージ・ベースド・ライティングを使用する。
Ｓ１１０３において、生成部１０２は、Ｓ１１０２で取得した全ての照明分布から１つを選択し、選択した照明分布について、Ｓ１１０４〜Ｓ１１０８の処理を実行するよう制御する。生成部１０２は、この処理を繰り返し、Ｓ１１０２で取得した全ての照明分布について、Ｓ１１０４〜Ｓ１１０８の処理を実行するよう制御する。
【００２３】
Ｓ１１０４において、生成部１０２は、Ｓ１１０３で選択した照明分布と、Ｓ１１０１で取得された三次元データと、に基づいて、その照明分布が示す照明条件における照合対象の候補となる人物の顔の画像である変動画像を生成する。生成部１０２は、Ｓ１１０４で、照明分布（二次元画像）を使ってライティングを行うイメージベースドライティング（ＩＢＬ）という手法を用いて変動画像を生成する。生成部１０２は、例えば、以下の参考文献１に開示されている手法を用いて、変動画像を生成する。
参考文献１：ＤＥＢＥＶＥＣ、  Ｐ．、  ''Ｉｍａｇｅ−Ｂａｓｅｄ  Ｌｉｇｈｔｉｎｇ、''  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ、  Ｖｏｌ．  ２２、  Ｎｏ．  ２、  Ｍａｒｃｈ／Ａｐｒｉｌ、  ２００２．
【００２４】
Ｓ１１０５において、検出部１０４は、Ｓ１１０４で生成された変動画像から人物の顔を検出する。検出部１０４は、例えば、以下の参考文献２に開示されている手法を用いて、顔の検出を行う。
参考文献２：Ｒａｐｉｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  ｂｏｏｓｔｅｄ  ｃａｓｃａｄｅ  ｏｆ  ｓｉｍｐｌｅ  ｆｅａｔｕｒｅｓ：  Ｐ．  Ｖｉｏｌａ、  Ｍ．  Ｊｏｎｅｓ：  ２００１
検出部１０４は、例えば、顔の検出結果として、画像中における顔の領域を表す矩形領域の座標を決定する。検出部１０４は、検出した顔領域に対して、顔サイズや顔の傾きが一定になるよう正規化処理を施す。また、検出部１０４は、顔の目や鼻といった特徴点を抽出し、顔の部分領域を出力するようにしてもよい。検出部１０４は、例えば、以下の参考文献３に開示されている手法を用いて、顔の特徴点を抽出する。
参考文献３：特開２００９−２１１１７７号公報
【００２５】
Ｓ１１０６において、特徴抽出部１０５は、Ｓ１１０５で検出された人物の顔の領域から特徴量を抽出する。特徴抽出部１０５は、例えば、ＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）特徴量を抽出する。また、特徴抽出部１０５は、例えば、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ）特徴量、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量等の特徴量を抽出してもよい。また、特徴抽出部１０５は、例えば、ＬＢＰ特徴量、ＨＯＧ特徴量、ＳＩＦＴ特徴量等のうち、複数を混合した特徴量を抽出することとしてもよい。また、特徴抽出部１０５は、ニューラルネットワークを用いて、特徴量を抽出してもよい。また、特徴抽出部１０５は、抽出した特徴量をＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）等の手法を用いて次元圧縮したものを、新たに特徴量としてもよい。
【００２６】
Ｓ１１０７において、登録部１０７は、Ｓ１１０６で抽出した特徴量と、その特徴量が誰の顔から抽出されたかを示す人物情報と、その特徴量がどの照明分布に基づき生成されたかを示す照明分布情報と、の組を、登録データとして二次記憶装置１４に記憶する。
Ｓ１１０８において、生成部１０２は、Ｓ１１０２で取得した全ての照明分布について、Ｓ１１０３〜Ｓ１１０７の処理が完了しているか否かを判定する。生成部１０２は、Ｓ１１０２で取得した全ての照明分布について、Ｓ１１０３〜Ｓ１１０７の処理が完了していると判定した場合、図４の処理を終了する。生成部１０２は、Ｓ１１０２で取得した照明分布の中に、Ｓ１１０３〜Ｓ１１０７の処理が完了していないものがあると判定した場合、Ｓ１１０３の処理に進む。
【００２７】
以上、物体登録処理について説明した。
本実施形態では、情報処理装置１は、照合対象の物体の三次元データを取得した後に照明分布を取得することとしたが、この順番はこの限りではなく、照明分布を取得した後で、照合対象の物体の三次元データを取得してもよい。
本実施形態では、情報処理装置１は、二次記憶装置１４に記憶されている全ての照明分布それぞれについて、対応する変動画像を生成したが、一部の照明分布だけについて生成してもよい。例えば、類似する照明分布が複数記憶されている場合、情報処理装置１は、類似する複数の照明分布のうちの１つを、代表の照明分布として、代表の照明分布に基づいて、変動画像を生成し、他の照明分布は使用しないようにしてもよい。情報処理装置１は、例えば、以下のような処理により、照明分布が類似しているか否か判定する。
照明分布は、二次元画像である。情報処理装置１は、例えば、以下の式を用いて、比較対象の２つの照明分布同士のｃｏｓ類似度を取得し、取得したｃｏｓ類似度が予め定められた閾値以上である場合、比較対象の２つの照明分布同士が類似するとする。
Ｓ＝（Ａ・Ｂ）／（｜Ａ｜｜Ｂ｜）
この式で、Ａ、Ｂは、それぞれ比較対象の照明分布の画素値を並べたベクトルである。Ａ、Ｂ∈ＲDである。Ｄは、次元数であり、例えば、照明分布の画素数である。
即ち、情報処理装置１は、既に登録された登録データに対応する照明分布に類似する照明分布がＳ１１０３で選択された場合、Ｓ１１０４〜Ｓ１１０７の処理を行わないこととしてもよい。
【００２８】
（推定処理）
以下では、現実環境の照明条件を推定する推定処理について説明する。
図５は、推定部１０８の詳細の一例を示す図である。推定部１０８は、測定部３０１、画像管理部３０２、推定演算部３０３を含む。測定部３０１は、照明分布取得装置４を介して測定された照明条件を示す照明分布と、測定部３０１による照明条件の測定と同期して撮像装置５を介して撮影された物体の画像と、の組の情報を二次記憶装置１４に記憶するよう、画像管理部３０２に指示する。以下では、測定部３０１により測定された照明分布と、測定部３０１による照明条件の測定と同期して撮像装置５を介して撮影された物体の画像と、の組の情報を、測定結果情報とする。画像管理部３０２は、測定結果情報を、二次記憶装置１４に記憶する。本実施形態では、物体の画像は、照合対象の物体である人の顔の画像であるとする。測定部３０１は、照合処理が開始される前に、予め、測定結果情報を複数取得し、画像管理部３０２に記憶を指示する。画像管理部３０２により記憶された測定結果情報は、推定演算部３０３に入力される情報となる。
推定演算部３０３は、撮像装置５を介して撮影された照合対象の物体（人物の顔）の画像と、画像管理部３０２により記憶された測定結果情報と、を入力として、現実環境の照明条件を推定し、出力する。この撮像装置５を介して撮影された照合対象の物体（人物の顔）の画像は、撮影画像の一例である。より具体的には、推定演算部３０３は、例えば、画像管理部３０２により記憶された測定結果情報のそれぞれに含まれる画像を合成することで、撮像装置５を介して撮影された画像を近似する。推定演算部３０３は、例えば、以下の式１を用いて、測定結果情報のそれぞれに含まれる画像を線形結合させることで、撮像装置５を介して撮影された画像と近似する画像を合成する。本実施形態では、推定演算部３０３は、撮像装置５を介して撮影されたある人物の顔の画像と近似する画像を、予め様々な照明条件で撮影された複数の人物の顔の画像それぞれを線形結合させることで合成する。
【００２９】
【数１】
2019032694.tif 000003
【００３０】
式１の右辺における右側のΣに係る部分は、測定結果情報に含まれる画像の中で、同じ照明条件を示す照明分布に対応する画像を合成する処理を示す。そして、式１の右辺における左側のΣに係る部分は、測定結果情報に含まれる同じ照明条件を示す照明分布に対応する画像が合成された画像それぞれを、合成する処理を示す。
式１の左辺のＦは、合成後の画像の輝度値を示す。Ｌは、同じ照明条件を示す照明分布に対応する測定結果情報に含まれる画像が合成された画像それぞれをどのような割合で合成するかを示す線形結合係数を示す。Ｎは、測定結果情報として、幾つの照明分布に対応するデータが存在するかを示す。ｎは、同じ照明条件を示す照明分布に対応する測定結果情報の個数を示す。ａは、どの照明分布であるかを示すインデックスである。ｉは、同じ照明分布に対応する画像のうち、どの画像であるかを示すインデックスである。右辺のＦaは、照明分布ａを示す照明分布に対応する測定結果情報に含まれる画像の輝度値を示す。αは、測定結果情報に含まれる画像の中で、同じ照明条件を示す照明分布に対応する画像をどのような割合で合成するかを示す線形結合係数を示す。
推定演算部３０３は、式１が成り立つように、Ｌ、αを求める。推定演算部３０３は、例えば、公知の最適化技術を用いて、Ｌ、αを求める。推定演算部３０３は、例えば、ＬＡＳＳＯと呼ばれる最適化手法を用いることで、Ｌ、αを求める。
推定演算部３０３は、式１を満足するＬに基づいて、以下の式２を用いて、撮像装置５を介して撮影された画像に対応する現実環境の照明条件を示す照明分布Ｅを取得することで、現実環境の照明条件を推定する。
【００３１】
【数２】
2019032694.tif 000004
【００３２】
式２で、Ｅaは、二次記憶装置に記憶された測定結果情報に含まれる照明分布のうち、インデックスａに対応する照明分布である。
本実施形態では、式１のＦを、撮像装置５を介して撮影された画像の全領域の輝度値とした。また、式１のＦaを、測定結果情報に含まれる各画像の全領域の輝度値であるとした。しかし、式１のＦを、撮像装置５を介して撮影された画像における照明条件の影響が他の領域よりも強い領域として予め定められた領域の輝度値としてもよい。また、Ｆaを、測定結果情報に含まれる各画像におけるその予め定められた領域の輝度値であるとしてもよい。これにより、推定演算部３０３は、画像内の一部の領域について、合成する際のＬ、αを求めればよくなり、画像の全領域について、合成する際のＬ、αを求める場合よりも処理の負担を軽減できる。
また、推定演算部３０３は、式１を満たすＬ、αを求める際に、その誤差を、二次記憶装置１４に記憶してもよい。この誤差は、照明条件の推定結果の出来具合を表すので、画像処理システムは、式２を用いて推定された照明分布を用いる際に、この誤差を、参考値として用いることができる。
【００３３】
（照明分布登録処理）
以下では、照明分布登録処理について説明する。照明分布登録処理は、推定処理により照明分布を新たに取得し、取得した照明分布に対応する登録データを生成し、登録する処理である。即ち、照明分布登録処理は、新たに取得された照明分布と、その時点で既に取得されている照合対象である物体の三次元データと、に基づいて変動画像を生成し、登録する処理である。照明分布登録処理は、図７で後述する照合処理のバックグラウンドで実行される。
図６は、照明分布登録処理の一例を示すフローチャートである。
Ｓ１２０１において、推定部１０８は、照明分布の取得を実行するか否かを判定する。本実施形態では、画像処理システムは、予め定められた間隔毎に周期的に照明分布を取得することとする。そのため、推定部１０８は、前回、照明分布を取得してから、経過した時間が、予め定められた時間以上であれば、照明分布の取得を実行すると判定する。また、推定部１０８は、前回、照明分布を取得してから、経過した時間が、予め定められた時間未満であれば、照明分布の取得を実行しないと判定する。
推定部１０８は、照明分布の取得を実行すると判定した場合、Ｓ１２０３の処理に進み、照明分布の取得を実行しないと判定した場合、Ｓ１２０２の処理に進む。
【００３４】
Ｓ１２０２において、推定部１０８は、予め定められた時間、待機する。
Ｓ１２０３において、推定部１０８は、図５で説明した推定処理により、照明分布を取得する。
Ｓ１２０４において、記憶部１０６は、Ｓ１２０３で取得された照明分布を、二次記憶装置１４に記憶する。
Ｓ１２０５において、生成部１０２は、三次元データ取得部１０１により二次記憶装置１４に記憶された物体の三次元モデルを取得し、二次記憶装置１４からＳ１２０３で取得された照明分布を取得する。
Ｓ１２０６において、生成部１０２は、Ｓ１２０５で取得した全ての三次元モデルから、１つを選択し、選択した三次元モデルについて、Ｓ１２０７〜Ｓ１２１１の処理が実行されるよう制御する。そして、生成部１０２は、この処理を繰り返すことで、Ｓ１２０５で取得した全ての三次元モデルについて、Ｓ１２０７〜Ｓ１２１１の処理が実行されるよう制御する。
【００３５】
Ｓ１２０７において、生成部１０２は、Ｓ１２０６で選択された三次元データと、Ｓ１２０３で取得された照明分布と、に基づいて、変動画像を生成する。
Ｓ１２０８において、検出部１０４は、Ｓ１２０７で生成された変動画像から人物の顔を検出する。
Ｓ１２０９において、特徴抽出部１０５は、Ｓ１２０８で検出された変動画像の顔領域から特徴量を抽出する。
Ｓ１２１０において、登録部１０７は、抽出した特徴量と、その特徴量が誰の顔から抽出されたかを示す人物情報と、Ｓ１２０３で取得された照明分布を示す照明分布情報と、の組を、登録データとして二次記憶装置１４に記憶する。登録部１０７は、例えば、人物情報として、人物名を示す文字列や人物を識別する数字等の情報を記憶する。
【００３６】
Ｓ１２１１において、生成部１０２は、Ｓ１２０５で取得した全ての三次元モデルについて、Ｓ１２０７〜Ｓ１２１０の処理が完了しているか否かを判定する。生成部１０２は、Ｓ１２０５で取得した全ての三次元モデルについて、Ｓ１２０７〜Ｓ１２１０の処理が完了していると判定した場合、Ｓ１２１２の処理に進む。生成部１０２は、Ｓ１２０５で取得した三次元モデルの中に、Ｓ１２０７〜Ｓ１２１０の処理が完了していないものがあると判定した場合、Ｓ１２０６の処理に進む。
Ｓ１２１２において、推定部１０８は、操作入力装置１７を介したユーザによる入力操作に基づいて、照明分布登録処理の終了指示を受付けたか否かを判定する。推定部１０８は、照明分布登録処理の終了指示を受付けたと判定した場合、図５の処理を終了し、照明分布登録処理の終了指示を受付けていないと判定した場合、Ｓ１２０１の処理に進む。
【００３７】
以上、照明分布登録処理について説明した。
本実施形態では、三次元データ、照明分布、特徴量のデータは、それぞれ個別の情報処理装置１の機能構成要素が管理しているとするが、１つの機能構成要素が、全てのデータを管理することとしてもよい。
本実施形態では、推定部１０８は、Ｓ１２０１で、前回、照明分布を取得した時刻から予め定められた時間が経過している場合、照明分布の取得を行うこととした。しかし、推定部１０８は、例えば、過去に取得した照明分布に対応する照明条件に対して、新たに取得した照明分布に対応する照明条件が類似している場合、Ｓ１２０３以降の処理を行わないこととしてもよい。また、推定部１０８は、例えば、過去に取得した照明分布に対応する照明条件に対して、新たに取得した照明分布に対応する照明条件が類似していない場合、Ｓ１２０３以降の処理を行うこととしてもよい。
【００３８】
画像処理システムは、過去に取得された照明分布と、過去に取得された人物の三次元モデルと、に対応する登録データを二次記憶装置１４に蓄積していくことで、様々な照明条件に応じた照合に利用される特徴量を蓄積していく。これにより、画像処理システムは、照合対象として、入力された画像に対して、様々な照明条件を考慮した照合処理を行うことができるようになる。そのため、類似する照明分布に対応する登録データを再度登録することが不要である場合がある。
そこで、推定部１０８は、過去に取得した照明分布に対応する照明条件と、新たに取得した照明分布に対応する照明条件と、が類似している場合、Ｓ１２０３以降の処理を行わないようにすることで、以下のような効果を奏することができる。即ち、画像処理システムは、不要な処理の負担を軽減することができる。
【００３９】
（照合処理）
以下では、照合処理について説明する。
図７は、照合処理の一例を示すフローチャートである。
Ｓ１３０１において、入力部１０３は、撮像装置５を介して、ゲートを通過しようとする人物の顔の画像を撮影する。
Ｓ１３０２において、検出部１０４は、Ｓ１３０１で撮影された画像から人物の顔を検出する。ゲートを通過しようとする人物がいれば、Ｓ１３０２で検出部１０４により、検出され、照合されることになる。検出部１０４は、Ｓ１３０１で撮影された画像中におけるゲートを通過する人物が写り得る範囲として予め定められた範囲から検出する。これにより、検出部１０４は、ゲートから離れた位置にいる人を照合して、ゲートが誤動作する可能性を低減できる。また、検出部１０４は、Ｓ１３０１で撮影された画像の全領域から顔を検出してもよい。
Ｓ１３０３において、検出部１０４は、Ｓ１３０２で１つ以上の顔が検出されたか否かを判定する。検出部１０４は、Ｓ１３０２で１つ以上の顔が検出されたと判定した場合、Ｓ１３０４の処理に進み、Ｓ１３０２で１つも顔が検出されなかったと判定した場合、Ｓ１３０１の処理に進む。
【００４０】
Ｓ１３０４において、特徴抽出部１０５は、Ｓ１３０１で撮影された画像中のＳ１３０２で検出された顔の領域から特徴量を抽出する。特徴抽出部１０５は、Ｓ１３０２で検出された顔が複数ある場合、顔のサイズが最も大きいものから特徴量を抽出する。特徴抽出部１０５は、Ｓ１３０１で撮影された画像中の予め定められた座標範囲内で検出された顔を、特徴量を抽出する対象の顔として決定してもよい。これにより、情報処理装置１は、照合対象の人物がゲートを通過する際、別の人物から抽出された特徴量に応じた照合が行われ、フラッパー７が開閉する可能性を軽減できる。特徴抽出部１０５は、Ｓ１３０２で検出されたすべての顔の領域それぞれから特徴量を抽出してもよい。その場合、情報処理装置１は、顔を追尾する等して、それぞれの人物がフラッパー７の直前に来たときに開閉を制御するようにすることとなる。
Ｓ１３０５において、推定部１０８は、推定処理で説明した方法と同様の方法で現実環境の照明条件を推定し、推定した照明条件を示す照明分布を取得する。これにより、推定部１０８は、人物がゲートを通過しようとする際の現実環境における照明条件を推定し、推定した照明条件を示す照明分布を取得できる。推定部１０８は、照明条件を複数推定し、推定した複数の照明条件をそれぞれ示す複数の照明分布を取得することとしてもよい。例えば、同じ物体の画像でも、撮影のタイミングによっては、推定部１０８による推定結果が異なる場合がある。そのため、推定部１０８は、撮像装置５を介して撮影された物体（人物の顔）の画像を複数取得し、取得した複数の画像それぞれについて、照明条件を推定し、照明分布を取得することとしてもよい。
【００４１】
Ｓ１３０６において、選択部１０９は、Ｓ１３０５で取得された照明分布に基づいて、記憶部１０６に記憶されている複数の登録データの中から、照合に用いられる特徴量を含む登録データを選択する。
選択部１０９は、過去の照明分布の中から、Ｓ１３０５で取得された照明分布と類似する照明分布を特定したら、特定した照明分布に対応する登録データを選択する。選択部１０９は、例えば、（物体登録処理）で説明した方法と同様の方法で、Ｓ１３０５で取得された照明分布と、登録データ夫々に対応する照明分布と、のｃｏｓ類似度を取得する。そして、選択部１０９は、取得したｃｏｓ類似度が予め定められた閾値以上である場合、対応する登録データを、Ｓ１３０５で取得された照明分布と類似する照明分布に対応する登録データとして選択する。
また、選択部１０９は、登録されている登録データに含まれる照明分布に対応するＬ、αの誤差に基づいて、登録データを選択してもよい。
【００４２】
Ｓ１３０７において、照合部１１０は、Ｓ１３０６で選択された登録データから、１つ選択し、選択した登録データに含まれる特徴量について、Ｓ１３０８〜Ｓ１３０９の処理を実行するよう制御する。照合部１１０は、この処理を繰り返すことで、Ｓ１３０６で選択された登録データに含まれる特徴量の全てについて、Ｓ１３０８〜Ｓ１３０９の処理を実行するよう制御する。
Ｓ１３０８において、照合部１１０は、以下のような処理を行うことで、ゲートを通過しようとする人物の顔を照合する。照合部１１０は、Ｓ１３０４で抽出された特徴量と、Ｓ１３０７で選択された登録データに含まれる特徴量と、の類似の度合いを示す類似度を取得する。照合部１１０は、例えば、以下の式を用いて、特徴量同士の類似度を取得する。
Ｓ＝（Ａ・Ｂ）／（｜Ａ｜｜Ｂ｜）
この式のＡは、Ｓ１３０４で抽出された特徴量を示すベクトルであり、Ｂは、Ｓ１３０７で選択された登録データに含まれる特徴量を示すベクトルである。
Ｓ１３０９において、照合部１１０は、Ｓ１３０６で選択された登録データの全てに含まれる特徴量について、Ｓ１３０８の処理を実行したか否かを判定する。照合部１１０は、Ｓ１３０６で選択された登録データの全てについて、Ｓ１３０８の処理を実行したと判定した場合、Ｓ１３１１の処理に進む。照合部１１０は、Ｓ１３０６で選択された登録データに、Ｓ１３０８の処理を実行していないものがあると判定した場合、Ｓ１３０７の処理に進む。
【００４３】
Ｓ１３１０において、照合部１１０は、Ｓ１３０８で取得された類似度に基づいて、ゲートを通過しようとしている人物を認証するか否かの最終的な認証結果を決定する。より具体的には、照合部１１０は、Ｓ１３０８で取得された類似度のうち、最も高い類似度を特定し、特定した類似度が予め定められた閾値以上である場合、以下の処理を行う。即ち、照合部１１０は、ゲートを通過しようとする人物の顔と、その特定した類似度がＳ１３０８で取得された際に、Ｓ１３０７で選択されていた登録データに含まれる人物情報が示す人物の顔と、が同一であると照合する。この人物情報が示す人物の顔は、第１の物体の一例である。また、ゲートを通過しようとする人物の顔は、第２の物体の一例である。照合部１１０は、ゲートを通過しようとする人物の顔と、この人物情報が示す人物の顔と、が同一であると照合した場合、ゲートを通過しようとする人物を認証する。また、照合部１１０は、その特定した類似度が予め定められた閾値未満である場合、ゲートを通過しようとする人物が登録されている人物のうちの誰でもないとして、認証しない。
Ｓ１３１１において、出力部１１１は、Ｓ１３１０での認証処理の結果を、ゲート制御装置６等の外部装置に送信する。ゲート制御装置６は、受信した認証処理の結果に応じて、フラッパー７の開閉を制御する。これにより、画像処理システムは、人物がゲートを通過できるか否かを制御する入退室管理を実現できる。
Ｓ１３１２において、照合部１１０は、操作入力装置１７を介したユーザによる入力操作に基づいて、照合処理の終了指示を受付けたか否かを判定する。照合部１１０は、照合処理の終了指示を受付けたと判定した場合、図６の処理を終了し、照合処理の終了指示を受付けていないと判定した場合、Ｓ１３０１の処理に進む。
【００４４】
以上、照合処理の一例について説明した。
このように、画像処理システムは、照合の現場で撮影された画像から、現実環境の照明条件を推定し、推定した照明条件を示す照明分布と、記録しておいた過去の照明分布とを比較し、類似する照明分布を特定した。そして、画像処理システムは、特定した照明分布に対応する登録データに含まれる特徴量を用いて、照合することとした。このように、画像処理システムは、照合の現場で撮影された画像から推定した照明条件を示す照明分布と類似する照明分布に応じた特徴量を用いることで、照合の精度を向上させることができる。
本実施形態では、入力部１０３は、撮像装置５を介して、撮影することで、照合処理を行う二次元画像を取得した。しかし、入力部１０３は、例えば、撮像装置５を介して、三次元画像を取得した上で、取得した三次元画像に基づいて、レンダリングした二次元画像を取得して照合してもよい。また、入力部１０３は、外部の装置から照合処理を行う二次元画像を、ネットワークを介して、取得してもよい。
【００４５】
また、本実施形態では、画像処理システムは、２つの照明分布同士の比較において、照明分布全体の画素値を並べたベクトルを用いて、類似度を取得した。しかし、例えば、現実環境の一部の領域の照明条件が、他の領域における照明条件よりも影響が強い場合がある。例えば、晴れた日の日中の室内においては、窓際の領域における照明条件が、他の領域における照明条件よりも強くなる。そこで、画像処理システムは、Ｓ１３０６で、照明分布に含まれる予め定められた領域（例えば、窓際の領域等）に対応する部分について、Ｓ１３０５で取得された照明分布と、過去に取得された照明分布と、の類似度を取得してもよい。また、画像処理システムは、照明分布取得装置４を介して、予め定められた領域（例えば、窓際の領域等）についての照明条件を取得し、取得した照明条件を示す照明分布を生成することとしてもよい。
これにより、画像処理システムは、処理の負担を軽減できる。
また、本実施形態では、画像処理システムは、照明分布登録処理を、照合処理のバックグラウンドで実行するとした。しかし、画像処理システムは、照合処理を止めて、照明分布登録処理を実行する期間を設けてもよい。これにより、画像処理システムは、登録データをより効率よく蓄積できる。
【００４６】
以上、本実施形態では、画像処理システムは、予め二次記憶装置１４等に記憶された複数の照明条件それぞれにおける現実環境の複数の画像と、現実環境が撮影された画像と、に基づいて、現実環境の照明条件を推定した。そして、画像処理システムは、推定した照明条件を示す照明分布と照合対象の物体である人物の顔の三次元モデルとに基づいて、変動画像を生成した。そして、画像処理システムは、撮像装置５により撮影されたゲートを通過しようとする人物の画像から抽出された顔領域の特徴量と、生成した変動画像から抽出された顔領域の特徴量と、に基づいて、以下の処理を実行した。即ち、画像処理システムは、ゲートを通過しようとする人物が変動画像に対応する人物と同一か否かを照合することで、ゲートを通過しようとする人物の認証を実行した。
このように、画像処理システムは、現実環境の照明条件を反映した変動画像を生成し、照合に用いることで、より精度良く人物を照合することができる。
また、画像処理システムは、照合の際に、照明条件を測定する処理を行わないため、照明条件を測定するための装置のコストや、照明条件を測定する処理の負担を軽減できる。
【００４７】
また、本実施形態では、画像処理システムは、予め、照合対象の各人物の三次元モデルと、過去に推定された照明分布と、に基づいて、変動画像を生成した。そして、画像処理システムは、生成した変動画像から顔領域を検出し、検出した顔領域から特徴量を抽出し、抽出した特徴量を、対応する人物情報と、対応する照明分布情報と、紐付けて、登録データとして二次記憶装置１４に記憶した。画像処理システムは、ゲートを通過しようとする人物の認証を行う際に、現実環境の照明条件を推定した。そして、画像処理システムは、過去に取得された照明分布のうち推定した照明条件を示す照明分布に類似する照明分布を特定し、特定した照明分布に対応する登録データを選択した。そして、画像処理システムは、選択した登録データに含まれる特徴量と、撮像装置５を介して撮影したゲートを通過しようとする人物の画像の顔領域から抽出した特徴量と、に基づいて、ゲートを通過しようとする人物の照合を実行した。
即ち、画像処理システムは、照合の際に改めて、推定された照明条件を示す照明分布を用いて、照合に用いられる変動画像を生成したり、特徴量を抽出したりする必要がない。これにより、画像処理システムは、照合処理を高速化できる。
【００４８】
＜実施形態２＞
実施形態１では、画像処理システムは、照明条件を推定するために、撮像装置５を介して撮影された画像を、予め二次記憶装置１４に記憶された測定結果情報に含まれる複数の画像それぞれを線形結合することで合成した。そして、画像処理システムは、予め記憶された複数の画像それぞれに対応する照明条件を、この複数の画像それぞれに対応する割合で合成することで、現実環境の照明条件を推定した。
本実施形態では、画像処理システムは、撮像装置５を介して撮影された複数の画像を平均化した画像を、予め二次記憶装置１４に記憶された測定結果情報に含まれる複数の画像それぞれを線形結合することで合成する。そして、画像処理システムは、予め記憶された複数の画像それぞれに対応する照明分布を、この複数の画像それぞれに対応する割合で合成することで、現実環境の照明条件を推定する。
本実施形態の画像処理システムのシステム構成は、実施形態１と同様である。また、情報処理装置１のハードウェア構成についても、実施形態１と同様である。
【００４９】
本実施形態の情報処理装置１の機能構成のうち、推定部１０８の詳細について、実施形態１と異なり、他は実施形態１と同様である。
図８は、本実施形態の推定部１０８の詳細の一例を示す図である。推定部１０８は、測定部３０１、画像管理部３０２、推定演算部３０３、照合対象画像管理部４０４、平均画像演算部４０５、環境条件取得部４０６を含む。測定部３０１、画像管理部３０２、推定演算部３０３は、実施形態１と同様である。
照合対象画像管理部４０４は、照合対象として撮影された物体の画像を、環境条件取得部４０６により取得された環境条件を示す環境条件情報と対応付けて二次記憶装置１４に記憶し、管理する。平均画像演算部４０５は、推定演算部３０３から指定されたタイミングで、画像管理部３０２又は照合対象画像管理部４０４により二次記憶装置１４に記憶されている画像の平均画像を作成し、推定演算部３０３に出力する。
【００５０】
環境条件取得部４０６は、照合対象画像管理部４０４により画像が記憶されるタイミングで、環境条件を取得し、取得した環境条件を示す環境条件情報と照合対象画像とを対応付ける。ここで、環境条件を示す情報とは、時刻や、気象条件、場所、周囲の人の数等の現実環境がどのような条件下であるかを示す情報である。環境条件取得部４０６は、例えば、予め設置位置を記録しておくことで、ネットワークを介してインターネットから、環境条件を示す情報を取得することができる。また、環境条件取得部４０６は、周囲の人の数の情報を、撮像装置５を介して撮影された画像から、顔検出等の技術を用いて顔を検出し、検出した顔を計測することで、取得することとしてもよい。
推定演算部３０３は、画像管理部３０２と照合対象画像管理部４０４とにより記憶された画像を入力に照明分布推定結果を出力する。以下、この処理について説明する。
まず、平均画像演算部４０５は、測定結果情報として記憶されている画像の中から、同じ照明分布に対応付けられた画像の平均画像を生成する。以下では、この平均画像を、第１の平均画像とする。画像管理部３０２は、平均画像演算部４０５により生成された第１の平均画像を二次記憶装置１４に記憶する。即ち、１つの照明分布に対して、１つの平均画像が生成され、記憶されることになる。
次に、平均画像演算部４０５は、撮像装置５を介して撮影された複数の画像のうち、類似する現実環境で撮影された画像を取得し、取得した画像を平均化した平均画像を生成する。以下では、この平均画像を、第２の平均画像とする。平均画像演算部４０５は、例えば、撮像装置５を介して撮影された複数の画像のうち、対応付けて記憶された環境条件情報に基づいて、類似する現実環境の画像を取得する。照合対象画像管理部４０４は、平均画像演算部４０５により生成された第２の平均画像を、二次記憶装置１４に記憶する。
次に、推定演算部３０３は、以下の式３を用いて、第１の平均画像それぞれを合成することで、第２の平均画像と類似する画像を合成する。
【００５１】
【数３】
2019032694.tif 000005
【００５２】
式３で、Ｎ、ａ、Ｌは、式１の場合と同様である。ＳＦは、合成される画像の輝度値を示す。ＳＦaは、第１の平均画像それぞれの輝度値を示す。推定演算部３０３は、例えば、Ｌを、実施形態１の（推定処理）で説明した方法と同様の方法で求める。
推定演算部３０３は、式３を満足するＬに基づいて、以下の式４を用いて、撮像装置５を介して撮影された画像に対応する現実環境の照明条件を示す照明分布Ｅを取得することで、現実環境の照明条件を推定する。
【００５３】
【数４】
2019032694.tif 000006
【００５４】
式４のＥaは、式２の場合と同様である。
【００５５】
以上、本実施形態では、画像処理システムは、撮像装置５を介して撮影された複数の画像を平均化した画像を用いて線形結合係数を求め、求めた線形結合係数を用いて、照明条件を推定することとした。これにより、画像処理システムは、複数の画像を平均化することで、画像固有の特徴の影響を低減し、より精度よく照明条件を推定できる。
【００５６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５７】
実施形態１、２では、推定演算部３０３は、撮像装置５を介して撮影されたある物体（人物の顔）の画像と近似する画像を、予め様々な照明条件で撮影された複数の物体（人物の顔）の画像それぞれを線形結合させることで合成することとした。そして、推定演算部３０３は、予め様々な照明条件で撮影された複数の物体の画像それぞれに対応する照明分布を、同様の割合で合成することで、現実環境の照明条件を示す照明分布を取得した。しかし、推定演算部３０３は、撮像装置５を介して撮影された背景の画像と近似する画像を、予め様々な照明条件で撮影された背景の画像それぞれを線形結合させることで合成することとしてもよい。その場合も、推定演算部３０３は、予め様々な照明条件で撮影された背景の画像それぞれに対応する照明分布を、同様の割合で合成することで、現実環境の照明条件を示す照明分布を取得する。
例えば、上述した画像処理システムの機能構成の一部又は全てをハードウェアとして情報処理装置１に実装してもよい。
実施形態１のように、画像処理システムが、予め定められた間隔毎に照明分布を取得し、登録データを生成していると、天気の急激な変化や照明設備の点灯・消灯等に対応できない場合が有りうる。その場合は、画像処理システムは、照明分布取得装置４を介して、照明分布を取得する時間的な間隔を予め定められた値以下にして、照明分布を取得する度に、以下の処理を行うようにすればよい。即ち、画像処理システムは、取得した照明分布と、過去の最新の照明分布と、を比較し、類似していない場合のみ取得した照明分布を記録し、対応する登録データの生成、登録を行えばよい。その場合、情報処理装置１は、照明分布の記録と登録データの生成を繰り返す計算負荷に耐えられる処理リソースを有することとすればよい。また、画像処理システムは、照合処理が行われていない場合のみ、以上のような処理を行うこととしてもよい。
実施形態１、２では、画像処理システムは、人物の顔の照合を行ったが、人物の全体、人物の上半身、車、動物、貨物等の他の物体の照合を行ってもよい。
実施形態１、２では、情報処理装置１は単体の情報処理装置であるとしたが、複数のＰＣ、サーバ装置、タブレット装置等であるとしてもよい。その場合、情報処理装置１に含まれる各情報処理装置のＣＰＵが、各情報処理装置の補助記憶装置に記憶されるプログラムに基づき、連携して処理を実行することで、図３、５、８の機能及び図４、６、７のフローチャートの処理等が実現される。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
【符号の説明】
【００５８】
１  情報処理装置
４  照明分布取得装置
５  撮像装置
【図１】
2019032694.tif 000007
【図２】
2019032694.tif 000008
【図３】
2019032694.tif 000009
【図４】
2019032694.tif 000010
【図５】
2019032694.tif 000011
【図６】
2019032694.tif 000012
【図７】
2019032694.tif 000013
【図８】
2019032694.tif 000014