(57)【要約】【課題】被写体に遮蔽物により遮蔽された領域がある場合でも、より高精度に被写体を識別することを目的とする。【解決手段】被写体における遮蔽物により遮蔽された領域である遮蔽領域を観察可能な光の波長帯を探索し、探索で得られた波長帯の光を用いて撮像部により撮影された被写体の画像の特徴量に基づいて、被写体を識別する。【選択図】図３
2020009308.tif 000002
【特許請求の範囲】
【請求項１】
被写体において遮蔽物により遮蔽された領域である遮蔽領域を観察可能な光の波長帯を探索する探索手段と、
前記探索手段による探索で得られた波長帯の光を用いて撮像部により撮影された前記被写体の画像の特徴量に基づいて、前記被写体を識別する識別手段と、
を有する情報処理装置。
【請求項２】
前記探索手段は、前記撮像部により撮影された前記被写体の画像の特徴量が前記遮蔽領域の性質を示すか否かに基づいて前記画像の撮影に用いられた光の波長帯が前記遮蔽領域を観察可能な光の波長帯か否かを決定することで、前記遮蔽領域を観察可能な光の波長帯を探索する請求項１記載の情報処理装置。
【請求項３】
前記探索手段による探索で得られた１つ以上の波長帯の光それぞれを用いて前記撮像部により撮影された前記被写体の１つ以上の画像それぞれの特徴量に基づいて、前記１つ以上の波長帯から、前記被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定する決定手段を更に有し、
前記識別手段は、前記決定手段により決定された波長帯の光を用いて前記撮像部により撮影された前記被写体の画像の特徴量に基づいて、前記被写体を識別する請求項１又は２記載の情報処理装置。
【請求項４】
前記決定手段は、前記探索手段による探索で得られた１つ以上の波長帯それぞれの光を用いて前記撮像部により撮影された前記１つ以上の画像それぞれの特徴量に示される前記遮蔽領域の性質の度合に基づいて、前記１つ以上の波長帯から、前記被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定する請求項３記載の情報処理装置。
【請求項５】
前記決定手段は、前記探索手段による探索で得られた１つ以上の波長帯それぞれの光を用いて前記撮像部により撮影された前記１つ以上の画像それぞれの特徴量に示される前記遮蔽領域の性質の度合と、前記１つ以上の画像それぞれの鮮鋭さの度合と、に基づいて、前記１つ以上の波長帯から、前記被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定する請求項４記載の情報処理装置。
【請求項６】
前記探索手段は、１つ以上の波長帯の光それぞれを用いて前記撮像部により撮影された前記被写体の画像から検出された前記遮蔽物の領域の特徴量が前記遮蔽領域に対応する性質を示すか否かに基づいて、前記遮蔽領域を観察可能な光の波長帯を探索し、
前記決定手段は、前記探索手段による探索で得られた１つ以上の波長帯の光それぞれを用いて前記撮像部により撮影された前記１つ以上の画像それぞれから検出された前記遮蔽物の領域それぞれの特徴量に基づいて、前記１つ以上の波長帯から、前記被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定する請求項３乃至５何れか１項記載の情報処理装置。
【請求項７】
前記探索手段は、前記遮蔽領域を含む前記被写体に定められた複数の領域に含まれるそれぞれの領域について、前記領域について定められた前記領域を観察できる可能性のある光の波長帯の中から、前記領域を観察可能な光の波長帯を探索し、
前記決定手段は、前記複数の領域に含まれる領域それぞれについて、前記探索手段による探索で得られた１つ以上の波長帯の光それぞれを用いて前記撮像部により撮影された前記被写体の１つ以上の画像それぞれにおける前記領域の特徴量に基づいて、前記１つ以上の波長帯から、前記被写体の識別に用いられる前記領域の撮影に用いられる光の波長帯を決定し、
前記識別手段は、前記決定手段により決定された波長帯の光それぞれを用いて前記撮像部により撮影された画像それぞれにおける前記複数の領域それぞれの特徴量に基づいて、前記被写体を識別する請求項３乃至６何れか１項記載の情報処理装置。
【請求項８】
前記探索手段は、前記複数の領域に含まれるそれぞれの領域について、前記領域について定められた前記領域を観察できる可能性のある光の波長帯である前記領域に存在する可能性のある前記遮蔽物を透過する可能性のある光の波長帯の中から、前記領域を観察可能な光の波長帯を探索する請求項７記載の情報処理装置。
【請求項９】
前記遮蔽物の材質を特定する特定手段を更に有し、
前記探索手段は、前記特定手段により特定された前記遮蔽物の材質に応じて定められた前記遮蔽物を透過する可能性のある光の波長帯の中から、前記遮蔽領域を観察可能な光の波長帯を探索する請求項１乃至８何れか１項記載の情報処理装置。
【請求項１０】
前記探索手段は、複数の前記遮蔽領域それぞれを観察可能な光の波長帯を探索する請求項１乃至９何れか１項記載の情報処理装置。
【請求項１１】
前記撮像部は、偏光フィルタを用いて前記被写体を撮影する撮像部である請求項１乃至１０何れか１項記載の情報処理装置。
【請求項１２】
前記識別手段は、前記探索手段による探索で得られた波長帯の光を用いて撮影された前記被写体の画像の特徴量に基づいて、前記被写体が属するクラスを特定することで、前記被写体を識別する請求項１乃至１１何れか１項記載の情報処理装置。
【請求項１３】
前記被写体は、人物の顔である請求項１乃至１２何れか１項記載の情報処理装置。
【請求項１４】
前記探索手段は、前記被写体の眼、鼻、口、耳、肌の何れかの領域である前記遮蔽領域を観察可能な光の波長帯を探索する請求項１３記載の情報処理装置。
【請求項１５】
前記遮蔽物は、マスク、サングラス、メガネ、眼帯、傘、帽子、化粧の何れかである請求項１３又は１４記載の情報処理装置。
【請求項１６】
前記識別手段は、前記探索手段による探索で得られた波長帯の光を用いて前記撮像部により撮影された前記被写体の画像の特徴量に基づいて、人種、性別、年齢、個人、表情の何れかについて、前記被写体を識別する請求項１３乃至１５何れか１項記載の情報処理装置。
【請求項１７】
情報処理装置が実行する情報処理方法であって、
被写体において遮蔽物により遮蔽された領域である遮蔽領域を観察可能な光の波長帯を探索する探索ステップと、
前記探索ステップでの探索で得られた波長帯の光を用いて撮像部により撮影された前記被写体の画像の特徴量に基づいて、前記被写体を識別する識別ステップと、
を含む情報処理方法。
【請求項１８】
コンピュータを、請求項１乃至１６何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
撮影された画像データ内の被写体を識別する技術が多く提案されている。例えば、人物の顔を含む画像から顔の領域を抽出し、抽出した顔画像を予め登録した特定人物の顔画像と比較することで、個人識別を行う顔識別技術がある。この技術は、例えば、撮影されている人物が登録者であると識別された際にオフィスへの入室を許可するといったセキュリティ用途に使用されている。また、この技術を同一人物が写っている写真の検索に利用したいといった要望もある。しかし、この場合、人物が撮影された際の撮影条件が多岐にわたり、識別精度が低下してしまう。例えば、顔の向きや表情、撮影時の照明が異なった画像間では同一人物が写っていても、別人物と誤判定されてしまう場合がある。このように、被写体の撮影条件の違いが、被写体の識別について課題になることが知られている（非特許文献１）。
例えば、顔識別においては、眼・鼻・口等の特徴的な部位の位置を基に、顔の特徴点を抽出し、その位置関係を比較する方法がある。この方法では、特徴的な部位が一つでも遮蔽されてしまうと顔識別精度が下がってしまう。顔を複数の領域に分割し、分割した領域毎に照合を行うことにより、例えばサングラスで眼の位置が隠れてしまう場合であっても、他の部分を用いて識別が可能とする方法もある。しかし、その方法においても、特徴的な部位が隠れてしまうことによる精度の劣化は依然として存在する。そこで、特許文献１では、顔の遮蔽物を検出することにより、遮蔽物領域を基に顔の特徴的な部位を検出し、顔識別を行う。
また、可視光以外の波長帯の光を用いて、顔を撮影して分析する手法も提案されている。例えば、特許文献２では、顔領域のうち肌と髪との領域を区別する技術が開示されている。特定の近赤外線の波長が肌で吸収され髪で反射される性質を持ち、また別の近赤外線では逆の性質を持つことを利用して実現する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１５７０７３号公報
【特許文献２】特許５０１８６５３号公報
【非特許文献】
【０００４】
【非特許文献１】Ｘ．  Ｚｈａｎｇ、  Ｙ  Ｇａｏ：  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ａｃｒｏｓｓ  Ｐｏｓｅ  −Ｒｅｖｉｅｗ、  ２００９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
被写体の特徴的な部位が遮蔽物により遮蔽されている場合、被写体の識別処理の精度が低下してしまう。また、特許文献１でも、遮蔽物により遮蔽された顔の部分は遮蔽物の画像情報がそのまま認識に使われるため、遮蔽物により顔が遮蔽されていない場合に比べ、識別精度が下がってしまう。また、特許文献１の方法は、眼・鼻が共に隠れている場合等、複数の領域が遮蔽されている場合用いることができず、識別を行うことができない。
本発明の目的は、被写体に遮蔽物により遮蔽された領域がある場合でも、より高精度に被写体を識別することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、被写体において遮蔽物により遮蔽された領域である遮蔽領域を観察可能な光の波長帯を探索する探索手段と、前記探索手段による探索で得られた波長帯の光を用いて撮像部により撮影された前記被写体の画像の特徴量に基づいて、前記被写体を識別する識別手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、被写体に遮蔽物により遮蔽された領域がある場合でも、より高精度に被写体を識別することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置のハードウェア構成の一例を示す図である。
【図２】情報処理装置の機能構成の一例を示す図である。
【図３】顔識別処理の一例を示すフローチャートである。
【図４】情報処理装置の機能構成の一例を示す図である。
【図５】顔識別処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
【００１０】
＜実施形態１＞
本実施形態では、情報処理装置１００が、人物の顔の画像を基に、その人物がどのクラスに属するか（例えば、どの個人であるか等）を特定することで、被写体を識別する処理について説明する。
図１は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、被写体が撮影された画像を用いて、被写体の識別処理を実行する情報処理装置である。情報処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置、各種のデバイスに組み込まれたコンピュータ等である。
情報処理装置１００は、ＣＰＵ１１０、主記憶装置１２０、補助記憶装置１３０、入出力Ｉ／Ｆ１４０、デバイスＩ／Ｆ１５０、ネットワークＩ／Ｆ１６０を含む。各要素は、システムバス１７０を介して、相互に通信可能に接続されている。
【００１１】
ＣＰＵ１１０は、情報処理装置１００を制御する中央演算装置である。主記憶装置１２０は、ＣＰＵ１１０のワークエリアやデータの一時的な記憶領域として機能するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置１３０は、各種プログラム、各種設定情報、撮影された被写体の画像等を記憶する記憶装置である。補助記憶装置１３０は、例えば、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）等である。
入出力Ｉ／Ｆ１４０は、マウス、キーボード、タッチパネル等の入力装置や、ディスプレイ、タッチパネル、スピーカ等の出力装置との接続に用いられるインターフェースである。ＣＰＵ１１０は、入出力Ｉ／Ｆ１４０を介して、入出力Ｉ／Ｆ１４０に接続された入力装置を介した情報の入力を受付ける。また、ＣＰＵ１１０は、入出力Ｉ／Ｆ１４０を介して、入出力Ｉ／Ｆ１４０に接続された出力装置に情報を出力する。
【００１２】
デバイスＩ／Ｆ１５０は、撮像装置等のデバイスとの接続に用いられるインターフェースである。本実施形態では、情報処理装置１００は、デバイスＩ／Ｆ１５０を介して、識別対象である人物の顔を撮影する撮像装置と接続されている。ＣＰＵ１１０は、デバイスＩ／Ｆ１５０を介して、デバイスＩ／Ｆ１５０に接続されている撮像装置から、撮影された人物の顔の画像等を取得する。また、ＣＰＵ１１０は、デバイスＩ／Ｆ１５０を介して、デバイスＩ／Ｆ１５０に接続されている撮像装置に対して、人物の顔の撮影に用いられる光を、どの波長帯の光にするか等を指示する。以下では、識別対象の被写体を撮影し、情報処理装置１００と接続される撮像装置を、接続撮像装置とする。また、接続撮像装置は、任意の場所に設置できるとする。また、接続撮像装置は、情報処理装置１００に組み込まれた撮像装置であることとしてもよい。接続撮像装置は、撮像部の一例である。
ネットワークＩ／Ｆ１６０は、外部の装置との、インターネット、Ｌｏｃａｌ  Ａｒｅａ  ｎｅｔｗｏｒｋ（ＬＡＮ）等のネットワークを介した通信に用いられるインターフェースである。接続撮像装置がネットワークカメラ等のネットワークを介した通信機能を有する撮像装置である場合、情報処理装置１００は、ネットワークＩ／Ｆ１６０を介して、接続撮像装置と接続されることとしてもよい。その場合、ＣＰＵ１１０は、ネットワークＩ／Ｆ１６０を介して、ネットワーク経由で接続撮像装置と情報の入出力を行う。
ＣＰＵ１１０が、補助記憶装置１３０等に記憶されたプログラムにしたがって処理を実行することで、図２、４で後述する機能等の情報処理装置１００の機能、及び、図３、５で後述するフローチャートの処理等の情報処理装置１００の処理が実現される。
【００１３】
本実施形態で接続撮像装置は、光学レンズと画像センサとを含み、撮影に用いられる光の波長帯を切り替えて撮影するための複数のバンドパスフィルタを含む撮像装置であるとする。この場合、接続撮像装置は、例えば、情報処理装置１００からの指示に応じて、複数のバンドパスフィルタを用いて、撮影に用いられる光の波長帯を切り替え、被写体の画像を撮影し、撮影した画像を情報処理装置１００に送信する。
また、撮影に用いる光の波長帯がそれぞれ異なる複数の接続撮像装置が存在することしてもよい。その場合、複数の接続撮像装置それぞれは、例えば、情報処理装置１００からの指示に応じて、対応する波長帯の光を用いて撮影した被写体の画像を情報処理装置１００に送信する。また、複数の接続撮像装置それぞれは、ミラーで分光された光を用いて、被写体を撮影してもよい。これにより、バンドパスフィルタを切り替える処理が不要となり、被写体の撮影にかかる処理の負荷の低減と処理速度の向上とが実現できる。また、バンドパスフィルタの切り替えの時間が不要となり撮影される複数の画像間において撮影されたシーンに差異が生じることを防止できる。
【００１４】
また、接続撮像装置は、複数の光学レンズを含み、光学レンズ毎に異なる波長帯の光を透過させるバンドパスフィルタを含む複眼カメラや、ハイパースペクトルカメラであってもよい。この場合も、バンドパスフィルタを切り替える処理が不要な分、処理負荷の低減と処理速度の向上とが実現できる。
また、接続撮像装置が複数存在する場合、ある接続撮像装置が撮影に用いる光の波長帯を、その接続撮像装置よりも前に撮影を行った接続撮像装置が撮影に用いた光の波長帯に基づいて、決定してもよい。これにより、バンドパスフィルタを切り替える処理が不要な分、処理負荷の低減と処理速度の向上とが実現できる。
【００１５】
図２は、情報処理装置１００の機能構成の一例を示す図である。
情報処理装置１００は、画像取得部２１０、検出部２２０、管理部２３０、抽出部２４０、探索部２５０、決定部２６０、識別部２７０を含む。
画像取得部２１０は、例えば、デバイスＩ／Ｆ１５０を介して、情報処理装置１００に接続された接続撮像装置から、撮影された画像のデータを取得する。
検出部２２０は、画像取得部２１０により取得された画像から、被写体（本実施形態では、人物の顔）の領域を検出し、検出した領域を抽出する。
【００１６】
管理部２３０は、画像取得部２１０により予め取得された登録対象の画像のデータを、補助記憶装置１３０等に記憶し、管理する。この登録対象の画像は、被写体の識別処理の際に、識別対象の被写体の画像と比較されるための画像である。以下では、被写体の識別処理の際に、識別対象の被写体の画像と比較されるために登録された画像を、登録画像とする。
抽出部２４０は、画像取得部２１０により取得された被写体の画像から、識別に用いられる特徴量を抽出する。
探索部２５０は、遮蔽物を透過し、遮蔽物により遮蔽されている被写体の領域を観察可能な光の波長帯を探索する。
【００１７】
決定部２６０は、探索部２５０により探索された波長帯の光それぞれを用いて接続撮像装置により撮影された画像それぞれから抽出部２４０により抽出された特徴量に基づいて、以下の処理を行う。即ち、決定部２６０は、探索部２５０により特定された波長帯から、被写体の識別に用いられる被写体の画像の撮影に用いられる光の波長帯を決定する。決定部２６０は、例えば、探索部２５０により探索された波長帯それぞれを用いて撮影された画像それぞれから抽出部２４０により抽出された特徴量それぞれに、遮蔽物に遮蔽されている被写体の領域の性質がどの程度示されているかを評価する。そして、決定部２６０は、評価の結果に基づいて、以下のようにする。即ち、決定部２６０は、遮蔽物に遮蔽されている被写体の領域の性質が最も示されていると評価した特徴量に対応する画像の撮影に用いられた光の波長帯を、被写体の識別に用いられる被写体の画像の撮影に用いられる光の波長帯として決定する。
識別部２７０は、決定部２６０により決定された波長帯の光を用いて接続撮像装置により撮影された被写体の画像の特徴量に基づいて、被写体の識別を行う。
【００１８】
図３は、本実施形態の情報処理装置１００の処理の一例を示すフローチャートである。以下では、本実施形態の情報処理装置１００の処理について図３を用いて説明する。本実施形態では、接続撮像装置により撮影される画像には、識別対象である顔が一つだけ写っているとする。
（登録処理）
図３（ａ）は、登録画像の登録処理の一例を示すフローチャートである。図３（ａ）を用いて、登録画像の登録処理について説明する。
【００１９】
Ｓ１００１において、画像取得部２１０は、識別対象の候補となる人物の顔の画像を取得する。例えば、画像取得部２１０は、マスク、サングラス、メガネ、眼帯、傘、帽子、化粧等の遮蔽物がない状態で、正面から顔全体が写るように、可視光を介して接続撮像装置により撮影された人物の顔の画像を取得する。また、画像取得部２１０は、他の撮像装置を用いて撮影された人物の顔の画像を取得してもよい。また、画像取得部２１０は、人物の顔が正面から撮影された画像だけでなく、人物の顔が他の方向から撮影された画像についても取得することとしてもよい。例えば、複数の接続撮像装置が存在する場合、各接続撮像装置が、人物の顔をそれぞれ異なる角度から撮影し、撮影した画像のデータを情報処理装置１００に送信することとしてもよい。情報処理装置１００は、複数の方向から撮影された人物の顔の複数の画像を登録画像として登録し、撮影された方向のそれぞれ異なる複数の登録画像及び複数の識別対象の画像とを用いて識別処理を行うことで、顔向きによる識別精度の低下を防止できる。
また、画像取得部２１０は、顔に遮蔽物が存在する状態で識別対象の候補となる人物の顔の画像を取得してもよい。その場合、画像取得部２１０は、例えば、接続撮像装置から、接続撮像装置により遮蔽物を透過する波長帯の光を介して撮影された人物の顔の画像を取得することとしてもよい。これにより、情報処理装置１００は、登録画像の登録の際に人物の顔に遮蔽物により遮蔽された領域が存在する場合でも、遮蔽物に遮蔽された顔の領域の特徴を表す画像を登録画像として登録できる。以下では、遮蔽物に遮蔽された被写体（本実施形態では人の顔）の領域を、遮蔽領域とする。遮蔽領域としては、例えば、マスク、サングラス、メガネ、眼帯、傘、帽子、化粧等の遮蔽物で遮蔽されうる人物の顔における眼、鼻、口、耳、肌等の領域がある。
【００２０】
また、画像取得部２１０は、動画像から取得された複数のフレーム（静止画像）を、取得してもよい。これにより、情報処理装置１００は、より効率的に登録画像を拡充することができる。また、情報処理装置１００は、偏光フィルタを用いて撮影された画像を取得してもよい。これにより、情報処理装置１００は、サングラス等の遮蔽物の反射の影響が低減された登録画像を登録できる。
また、補助記憶装置１３０は、予め、登録画像を記憶していることとしてもよい。その場合、画像取得部２１０は、接続撮像装置等から登録画像の登録のために、画像を改めて取得しないこととしてもよい。
【００２１】
Ｓ１００２において、検出部２２０は、Ｓ１００１で画像取得部２１０により取得された画像内の顔を検出する。検出部２２０は、例えば、Ｓ１００１で取得された画像から人物の顔を、例えば、以下の参考文献１に開示されている技術等の公知の技術を用いて検出する。
参考文献１：Ｐａｕｌ  Ｖｉｏｌａ、  Ｍｉｃｈａｅｌ  Ｊ．  Ｊｏｎｅｓ：  Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ、  ２００１
検出部２２０は、顔を検出した場合、顔領域の画像である顔画像を取得する。検出部２２０は、例えば、顔画像のサイズを、識別処理の際に用いられる画像のサイズとして予め定められたサイズに変更する（例えば、変倍処理等を施す）。
【００２２】
検出部２２０は、顔を検出できなかった場合、図３（ａ）の処理を終了する。その後、情報処理装置１００は、新たに登録画像を登録する際には、再度、図３（ａ）の処理を実行することとなる。
検出部２２０は、顔を検出した場合、入出力Ｉ／Ｆ１４０に接続されているディスプレイに、Ｓ１００１で取得された画像と共に検出した顔枠を重畳して表示してもよい。そして、検出部２２０は、入出力Ｉ／Ｆ１４０に接続されている入力装置を介したユーザの操作に基づいて、Ｓ１００１で取得された画像における顔画像となる領域の指定を受付けてもよい。検出部２２０は、例えば、顔枠の更新（拡大・縮小・移動等）の指示を受付け、更新後の顔枠が示す領域が、顔画像となる領域として指定されたことを受付ける。
【００２３】
Ｓ１００３において、管理部２３０は、Ｓ１００２で取得された顔画像を、登録画像として、補助記憶装置１３０に記憶することで登録する。その後、管理部２３０は、補助記憶装置１３０に記憶された登録画像を管理する。
管理部２３０は、Ｓ１００２で取得された顔画像（登録画像）にカテゴリ名を付与し、カテゴリ名の情報についても、登録画像と対応付けて補助記憶装置１３０に記憶する。管理部２３０は、カテゴリ名として、個人の名前、個人を識別するＩＤ番号等の個人の顔にユニークな名称を付与する。また、管理部２３０は、入出力Ｉ／Ｆ１４０に接続されている入力装置を介したユーザの操作に基づいて受付けたキーワードを、カテゴリ名として登録画像に付与してもよい。例えば、管理部２３０は、入出力Ｉ／Ｆ１４０に接続されたディスプレイに登録対象となった顔画像と共に固有なＩＤ番号か任意のキーワードを登録するか否かの質問ウインドウを表示する。そして、管理部２３０は、任意のキーワードを登録することが選択されたことを検知した場合、文字入力欄を表示し、入出力Ｉ／Ｆ１４０に接続された入力装置を介したユーザからの文字列の入力を受付け、受け付けた文字列をカテゴリ名とする。
【００２４】
また、管理部２３０は、登録画像と対応付けて、登録画像の撮影に用いられた光の波長帯の情報を補助記憶装置１３０に記憶してもよい。情報処理装置１００は、例えば、この情報に基づいて、識別処理の際に、識別対象の画像の撮影に用いられた光と類似する波長帯の光を用いて撮影された登録画像を検索する。そして、情報処理装置１００は、検索した登録画像を用いて識別処理を行うことで、登録画像と識別対象の画像との間での撮影条件の違いによる識別精度の低下を防止できる。
また、識別処理において、人物の顔の一部分（例えば、眼、鼻、口等の部分）しか用いられない場合、管理部２３０は、顔画像からその一部分に対応する領域を抽出し、抽出した領域の画像を、登録画像として補助記憶装置１３０に記憶することとしてもよい。これにより、情報処理装置１００は、登録画像を記憶する記憶領域を低減することができる。また、情報処理装置１００は、顔の一部分のみを用いて識別処理を行う場合、顔の全部を用いて、識別処理を行う場合に比べて、処理の負荷を軽減でき、処理速度を向上できる。
また、管理部２３０は、登録画像を補助記憶装置１３０に記憶せずに、登録画像から抽出部２４０により抽出された特徴量を記憶することとしてもよい。そして、情報処理装置１００は、補助記憶装置１３０に記憶された登録画像の特徴量を用いて、識別処理を行う。これにより、補助記憶装置１３０に記憶されるデータの量を低減することができる。
【００２５】
（識別処理）
図３（ｂ）は、識別処理の一例を示すフローチャートである。図３（ｂ）を用いて、被写体を識別する識別処理について説明する。本実施形態では、識別対象の被写体は、サングラスを身に着けた人物の顔であるとする。本実施形態では、情報処理装置１００は、Ｓ１０１１〜Ｓ１０１４等で識別対象の被写体の画像を接続撮像装置から取得する処理が行われる。しかし、情報処理装置１００は、予め全ての波長帯の光を用いて接続撮像装置により撮影された被写体の画像を取得し、補助記憶装置１３０に記憶することとしてもよい。その場合、情報処理装置１００は、後で（例えば、別の日等）、記憶されたこれらの画像を用いて、図３（ｂ）の処理のうち、画像の取得の処理以外の処理を実行することとしてもよい。これにより、情報処理装置１００は、顔識別に係る処理の負荷を分散できる。
【００２６】
Ｓ１０１１において、探索部２５０は、遮蔽物を透過し、遮蔽領域を観察可能な光の波長帯を探索する。探索部２５０は、例えば、遮蔽物であるサングラスを透過して眼の領域となる遮蔽領域を観察可能な光の撮影波長帯を探索するため、以下のような処理を行う。
探索部２５０は、接続撮像装置による撮影の際に用いられる光の波長帯の幅を、予め定められた値（例えば、５０ｎｍ）に設定するよう、接続撮像装置に指示する。また、探索部２５０は、接続撮像装置による撮影の際に用いられる光の波長帯の幅を、入出力Ｉ／Ｆ１４０に接続された入力装置を介してユーザから指定された値にするよう、接続撮像装置に指示してもよい。接続撮像装置は、情報処理装置１００からの指示に応じて、撮影の際に用いる光の波長帯の幅を、指示に応じた値に決定する。
そして、探索部２５０は、接続撮像装置による撮影の際に用いられる光の波長帯を、予め定められた値（例えば、最小の波長帯、最大の波長帯等）に設定するよう、接続撮像装置に指示する。本実施形態では、探索部２５０は、例えば、撮影の際に用いられる光の波長帯を、設定可能な最小の波長帯（本実施形態では、３６０ｎｍ〜４１０ｎｍとする）にするよう、接続撮像装置に指示する。接続撮像装置は、情報処理装置１００からの指示に応じて、撮影の際に用いる光の波長帯を、指示に応じた値に決定する。
【００２７】
探索部２５０は、接続撮像装置に被写体の撮影を指示する。接続撮像装置は、決定した波長帯の光を介して、被写体を撮影し、撮影した画像のデータを情報処理装置１００に送信する。探索部２５０は、画像取得部２１０を介して、接続撮像装置から送信された画像を取得する。探索部２５０は、画像取得部２１０を介して取得された画像から、検出部２２０を介して、顔の領域を検出し、検出した領域の画像を顔画像として取得する。探索部２５０は、取得した顔画像から、抽出部２４０を介して特徴量を抽出する。
抽出部２４０は、例えば、顔画像全体から輝度値を抽出し、抽出した輝度値を基に特徴ベクトルを生成し、生成した特徴ベクトルを特徴量とする。また、抽出部２４０は、顔画像の特徴量として、色の特徴を表すカラーヒストグラムや、エッジを表すエッジ方向の勾配ヒストグラム、増分符号等を顔画像から抽出してもよい。また、抽出部２４０は、複数の特徴量を抽出し、抽出した複数の特徴量を組み合わせて、一つの特徴量としてもよい。
また、抽出部２４０は、顔画像全体についての一つの特徴量を抽出するのではなく、人物の顔に予め定められた複数の局所領域それぞれについて、特徴量を抽出することとしてもよい。そして、情報処理装置１００は、これらの局所領域のうちの一部の局所領域だけを利用して（一部の局所領域の特徴量に基づいて）、識別処理を実行してもよい。これにより、情報処理装置１００は、顔全体の特徴量を利用する場合に比べて、処理の負荷を低減でき、処理速度を向上できる。
【００２８】
探索部２５０は、抽出した特徴量に、眼の領域の性質として予め定められた性質（例えば、眼の輪郭部分に特有なエッジの特徴量の分布等）が示されているか否かを判定する。探索部２５０は、例えば、抽出した特徴量と、眼の輪郭部分に特有なエッジの特徴量の分布と、の類似度を求める。探索部２５０は、この類似度として、例えば、抽出した特徴量を示すベクトルと、眼の輪郭部分に特有なエッジの特徴量の分布を示すベクトルと、の内積を求める。そして、探索部２５０は、求めた類似度が予め定められた閾値以上であれば、抽出した特徴量に、眼の領域の性質として予め定められた性質が示されていると判定する。また、探索部２５０は、求めた類似度が予め定められた閾値未満であれば、抽出した特徴量に、眼の領域の性質として予め定められた性質が示されていないと判定する。
このような接続撮像装置に撮影に用いられる光の波長帯を指定し、接続撮像装置により撮影された画像（顔画像）に遮蔽領域（眼）の特徴が示されているか否かを判定するまでの１回の処理を、波長帯探索処理とする。
【００２９】
探索部２５０は、接続撮像装置に対して設定するよう指示する光の波長帯を更新しながら、波長帯探索処理を繰り返す。探索部２５０は、例えば、線形探索法を用いて、遮蔽領域を観察可能な光の波長帯を探索する。例えば、探索部２５０は、撮影に用いられる光をある波長帯の光にするよう接続撮像装置に指示して波長帯探索処理を行った後、次に、以下の処理を行う。
即ち、探索部２５０は、撮影に用いられる光を、その波長帯よりも波長帯の幅１つ分（５０ｎｍ）だけ大きな波長帯の光にするよう接続撮像装置に指示して波長帯探索処理を実行する。探索部２５０は、撮影に用いられる光を、指定された値（例えば、３０ｎｍ、１００ｎｍ、１５０ｎｍ等）だけ大きな波長帯の光にするよう接続撮像装置に指示して波長帯探索処理を実行することとしてもよい。例えば、探索部２５０は、撮影に用いられる光を、入出力Ｉ／Ｆ１４０に接続された入力装置を介して指定された値だけ大きな波長帯の光にするよう接続撮像装置に指示して波長帯探索処理を実行することとしてもよい。これにより、情報処理装置１００は、処理に係る負荷と、探索の精密さと、の双方を考慮した波長帯の探索処理を実行できる。
探索部２５０は、例えば、以上の処理を繰り返すことで、遮蔽領域を観察可能な光の波長帯を探索する。
【００３０】
また、探索部２５０は、初めの波長帯探索処理の際に、接続撮像装置による撮影の際に用いられる光の波長帯を、設定可能な最大の波長帯にするよう、接続撮像装置に指示することとしてもよい。その場合、探索部２５０は、例えば、線形探索法を用いて、以下のようにして、遮蔽領域を観察可能な光の波長帯を探索することとしてもよい。
例えば、探索部２５０は、撮影に用いられる光をある波長帯の光にするよう接続撮像装置に指示して波長帯探索処理を行った後、次に、以下の処理を行うこととしてもよい。即ち、探索部２５０は、撮影に用いられる光を、指定された値（例えば、３０ｎｍ、５０ｎｍ、１００ｎｍ、１５０ｎｍ等）だけ小さな波長帯の光にするよう接続撮像装置に指示して波長帯探索処理を実行することとしてもよい。
探索部２５０は、以上の処理を繰り返すことで、遮蔽領域を観察可能な光の波長帯を探索することができる。
【００３１】
また、探索部２５０は、初めの波長探索処理の際に、接続撮像装置による撮影の際に用いられる光の波長帯を、設定可能な波長帯のうちの中央の波長帯にするよう、接続撮像装置に指示することとしてもよい。また、探索部２５０は、二分探索法を用いて、遮蔽領域を観察可能な光の波長帯を探索してもよい。
また、探索部２５０は、Ｓ１０１１の処理の途中で、遮蔽領域を観察可能な光の波長帯として、複数の離れた波長帯を探索した場合、以降のＳ１０１１の処理として以下のような処理を行うこととしてもよい。即ち、探索部２５０は、この複数の波長帯間の中心付近の波長帯について、波長帯探索処理を実行していく。また、探索部２５０は、例えば、それぞれの波長帯探索処理の後に、波長帯探索処理で抽出した顔画像の特徴量と、眼の輪郭部分に特有なエッジの特徴量の分布と、の類似度が予め定められた閾値以上となるか否かを判定する。そして、探索部２５０は、閾値以上となると判定した場合、その時点で、Ｓ１０１１の処理を終了してもよい。
これにより、情報処理装置１００は、処理の負荷の低減、処理速度の向上が実現できる。
【００３２】
また、情報処理装置１００は、登録画像の登録の際、登録画像に対応する人物が着用する可能性のある遮蔽物の材質・光学特性に応じ決定されるその遮蔽物を透過しうる光の波長帯の情報を、その人物の登録画像と対応付けて補助記憶装置１３０に記憶してもよい。そして、情報処理装置１００が識別対象の被写体がその人物であるか否かを識別する場合、探索部２５０は、Ｓ１０１１で、以下の処理を行うこととしてもよい。即ち、探索部２５０は、補助記憶装置１３０に記憶されたその人物の登録画像と対応付けられた波長帯の情報を読込み、読込んだ波長帯に含まれる波長帯の中から、遮蔽物により遮蔽されている被写体の領域を観察可能な光の波長帯を探索することとしてもよい。
これにより、情報処理装置１００は、Ｓ１０１１での波長帯の探索の処理の負荷の軽減、処理速度の向上を実現できる。
また、情報処理装置１００は、時系列データを入力画像とする場合、前の画像で特定の特徴が観察可能とされた光の波長帯を、追尾対象に対し適用することにより、撮影に用いられる光の波長帯を切り替える時間を短縮できる。
【００３３】
Ｓ１０１２において、決定部２６０は、Ｓ１０１１で探索された波長帯の光それぞれを用いて接続撮像装置により撮影された画像の特徴量それぞれにおける遮蔽領域の性質が示される度合に基づいて、以下の処理を行う。即ち、決定部２６０は、被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定する処理を行う。
決定部２６０は、Ｓ１０１１で探索された波長帯の光それぞれを用いて接続撮像装置により撮影された被写体の画像を取得する。決定部２６０は、例えば、Ｓ１０１１で探索部により取得された画像のうち、これらの波長帯の光それぞれを用いて接続撮像装置により撮影された被写体の画像を取得する。また、決定部２６０は、例えば、接続撮像装置に対して、これらの波長帯の光それぞれを用いて再度被写体を撮影し、撮影した画像を情報処理装置１００に送信するよう指示することで、これらの画像を取得してもよい。
決定部２６０は、検出部２２０を介して、取得した画像それぞれから顔画像を取得する。そして、決定部２６０は、抽出部２４０を介して、取得した顔画像から特徴量を抽出する。
また、決定部２６０は、改めて取得した画像から特徴量を抽出せずに、例えば、Ｓ１０１１で探索部２５０により抽出された特徴量のうち、これらの波長帯の光それぞれを用いて撮影された画像から抽出された特徴量を取得することとしてもよい。
【００３４】
決定部２６０は、例えば、抽出した特徴量それぞれと、遮蔽領域の性質である眼の輪郭部分に特有なエッジの特徴量の分布と、の類似度を求める。この類似度は、抽出した特徴量それぞれに示される遮蔽領域の性質として予め定められた性質の度合を示す指標となる。決定部２６０は、例えば、抽出した特徴量それぞれを示すベクトルと、眼の輪郭部分に特有なエッジの特徴量の分布を示すベクトルと、の内積をこの類似度として求める。
そして、決定部２６０は、求めた類似度のうち、予め定められた閾値以上であり、且つ、最大の類似度を特定する。そして、決定部２６０は、特定した類似度に対応する顔画像（その顔画像の領域が検出された画像）の接続撮像装置による撮影に用いられた光の波長帯を、被写体の識別に用いられる画像の撮影に用いられる光の波長帯として決定する。また、決定部２６０は、求めた類似度の中に予め定められた閾値以上のものがない場合、被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定できないこととなる。決定部２６０が波長帯を決定できなかった場合、情報処理装置１００は、Ｓ１０１１で探索された何れかの波長帯の光を用いて撮影された画像に基づいて、被写体の識別を行ってもよい。また、情報処理装置１００は、このような場合、識別処理を行わないこととしてもよい。これにより、情報処理装置１００は、遮蔽物の影響を取り除けない時に顔識別をすることによる誤識別の発生を抑制できる。この際、情報処理装置１００は、例えば、入出力Ｉ／Ｆ１４０に接続されたディスプレイに、顔識別できない撮影条件であるために顔識別を中止した旨を表示してもよい。
本実施形態では、決定部２６０は、Ｓ１０１１で探索された全ての波長帯の光を用いて撮影された画像を取得し、取得した画像から抽出された特徴量それぞれに示される遮蔽領域の性質の度合（類似度）を求めることとした。しかし、決定部２６０は、例えば、まずＳ１０１１で探索された全ての波長帯の光を用いて撮影された画像を取得することをしないで以下のような処理を実行することとしてもよい。
【００３５】
即ち、決定部２６０は、Ｓ１０１１で探索した波長帯から１つずつ波長帯を選択し、以下のような処理を行う。即ち、決定部２６０は、選択した波長帯の光を用いて撮影された被写体の画像から抽出した特徴量と、眼の領域の性質として予め定められた性質と、の類似度を求める。そして、決定部２６０は、求めた類似度と過去に選択した波長帯について求めた類似度とを比較する。決定部２６０は、このような処理を繰り返すことで、類似度が最大となる波長帯を探索してもよい。また、決定部２６０は、類似度が予め定められた閾値以上となる波長帯を探索できた時点で、その波長帯を識別に用いられる画像の撮影に用いられる光の波長帯として決定してもよい。これにより、情報処理装置１００は、処理時間の短縮ができる。
決定部２６０は、１つ以上の波長帯それぞれの光を用いて撮影された画像それぞれから抽出された特徴量と遮蔽領域の性質として予め定められた性質との類似度と併せて、以下の指標に基づいて、遮蔽領域の特徴の観察に適した光の波長帯を決定してもよい。即ち、決定部２６０は、１つ以上の波長帯それぞれの光を用いて撮影された画像それぞれの鮮鋭度に基づいて、決定してもよい。例えば、決定部２６０は、ある画像から抽出された特徴量と遮蔽領域の性質として予め定められた性質との類似度が閾値以上であり、かつ、その画像の鮮鋭度が予め定められた閾値以上である場合、以下のようにしてもよい。即ち、決定部２６０は、その画像の波長帯を、識別に用いられる画像の撮影に用いられる光の波長帯として決定することとしてもよい。また、決定部２６０は、画像から抽出された特徴量と遮蔽領域の性質として予め定められた性質とその画像の鮮鋭度とに基づく評価関数を用いて、その画像の波長帯を、識別に用いられる画像の撮影に用いられる光の波長帯とするかどうか決定してもよい。
【００３６】
Ｓ１０１３において、決定部２６０は、Ｓ１０１２で被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定できたか否かを判定する。決定部２６０は、Ｓ１０１２で被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定できたと判定した場合、Ｓ１０１４の処理に進む。また、決定部２６０は、Ｓ１０１２で被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定できなかったと判定した場合、Ｓ１０１１の処理に進む。
また、被写体に複数の遮蔽物が存在する場合、情報処理装置１００は、遮蔽物毎に遮蔽領域を観察可能な光の波長帯を探索し、被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定する。そして、情報処理装置１００は、例えば、遮蔽物毎に決定された波長帯の光それぞれを用いて撮影された画像それぞれにおけるそれぞれの遮蔽領域に基づいて、被写体を識別する。この場合、情報処理装置１００は、局所解に陥る可能性があるため、他の波長帯についても探索してもよい。これにより、情報処理装置１００は、遮蔽物が複数ある場合でもより精度よく被写体を識別できる。
【００３７】
Ｓ１０１４において、識別部２７０は、Ｓ１０１２で決定された波長帯を用いて接続撮像装置により撮影された被写体の画像（以下では、入力画像とする）に基づいて、被写体の識別を行う。識別部２７０は、例えば、Ｓ１０１１、又はＳ１０１２で取得されたＳ１０１２で決定された波長帯の光を用いて接続撮像装置により撮影された画像を、入力画像として取得する。また、識別部２７０は、接続撮像装置に対して、改めて、Ｓ１０１２で決定された波長帯の光を用いて被写体を撮影し、撮影した画像を情報処理装置１００に送信するよう指示することで、入力画像を取得してもよい。
例えば、識別部２７０は、この入力画像と登録画像それぞれとを照合する。識別部２７０は、入力画像と全ての登録画像それぞれとを照合し、入力画像のクラス（例えば、誰であるか）を識別する。例えば、識別部２７０は、入力画像の特徴量と登録画像の特徴量との類似度をそれぞれ算出する。識別部２７０は、特徴量間の類似度の尺度としては、ユークリッド距離を用いる。識別部２７０は、特徴量間の類似度の尺度として、マハラノビス距離等を用いることとしてもよい。
本実施形態では、識別部２７０は、被写体が、それぞれがどの個人であるかを示す複数のクラスの何れに属するかを識別することとした。しかし、識別部２７０は、被写体が、それぞれがどの人種であるかを示す複数のクラスの何れに属するかを識別することとしてもよい。また、識別部２７０は、被写体が、それぞれがどの性別であるかを示す複数のクラスの何れに属するかを識別することとしてもよい。また、識別部２７０は、被写体が、それぞれがどの年齢であるかを示す複数のクラスの何れに属するかを識別することとしてもよい。また、識別部２７０は、被写体が、それぞれがどの表情であるかを示す複数のクラスの何れに属するかを識別することとしてもよい。
【００３８】
被写体に定められた複数の局所領域毎に特徴量が取得された場合、情報処理装置１００は、局所領域毎に特徴量同士で類似度を算出し、算出した類似度の合計を画像全体の類似度としてもよい。また、情報処理装置１００は、登録画像として可視光以外の撮影波長帯で撮影されている画像が登録されている場合、最も遮蔽物を透過する撮影波長帯の入力画像に対し、最も近い撮影波長帯の登録画像を照合に用いてもよい。これにより、情報処理装置１００は、撮影に用いられる光の波長帯が異なることによる特徴量の違いを吸収し、顔識別精度を向上させることができる。
また、情報処理装置１００は、照合の際に、複数の波長帯の光を用いて撮影された複数の画像を入力画像としてもよい。情報処理装置１００は、照合の際に、複数の登録画像を用いてもよい。これにより、情報処理装置１００は、撮影に用いられた光の波長帯が異なることによる特徴量の違いを吸収することができる。
識別部２７０は、最終的な識別の際は、全ての登録画像それぞれとの照合結果として、類似度の最も高い値を識別対象の被写体に対する照合スコアとして決定する。そして、識別部２７０は、全ての登録画像との照合を行い、最も照合スコアが高かった登録画像に対応する人物のカテゴリとして、入力画像を識別する。
【００３９】
識別部２７０は、局所領域ベースの顔識別を行う場合、画像全体の類似度を求め、照合結果として用いてもよい。また、識別部２７０は、顔画像に隠れや著しい表情の変化がある場合に対応するために全ての局所領域でなく類似度が上位の予め定められた数の局所領域についての類似度の総和を求めるようにしてもよい。これにより、情報処理装置１００は、顔識別精度を向上できる。
また、識別部２７０は、登録画像それぞれとの照合の結果得られた類似度それぞれが予め定めた閾値を超えない場合、入力画像に該当するカテゴリはないとする結果を出力（例えば、ディスプレイに表示）してもよい。これにより、情報処理装置１００は、誤識別を低減することができる。各種の閾値の大きさは任意であるが、大きすぎる閾値を設定した場合、本来何れかのカテゴリに属す入力画像が「どのカテゴリにも属さない」と出力されてしまう可能性がある。また、小さすぎる閾値を設定した場合、本来どのカテゴリにも属さない入力画像も「何れかのカテゴリに属する」と出力されてしまう可能性がある。この閾値は、予め調整を重ねて決めておくとよいし、また、変更可能にしてもよい。
【００４０】
本実施形態では、情報処理装置１００は、Ｓ１０１１で遮蔽領域を観察可能な光の波長帯を探索し、探索した波長帯の中から識別に用いられる被写体の画像の撮影に用いられる光の波長帯を決定した。そして、情報処理装置１００は、決定した波長帯の光を用いて撮影された画像に基づいて、被写体を識別した。しかし、情報処理装置１００は、以下のような処理を行うこととしてもよい。
即ち、探索部２５０は、被写体に予め定められた複数の領域（例えば、眼・鼻・口・耳等の領域）それぞれについて、Ｓ１０１１と同様にその領域を観察可能な光の波長帯を探索する。探索部２５０は、Ｓ１０１１と同様に、画像の特徴量とその領域の性質として予め定められた性質との類似度を求め、求めた類似度に基づいて、その画像にその領域の特徴が表れているかどうかを判定する。探索部２５０は、遮蔽物がない領域についても、その領域を観察可能な光の波長帯の探索を行うこととしてもよい。また、探索部２５０は、遮蔽物がない領域については、全ての波長帯をその領域を観察可能な光の波長帯としてもよい。
そして、決定部２６０は、この複数の領域それぞれについて、探索部２５０により探索された波長帯から、Ｓ１０１２と同様に被写体の識別に用いられる画像の撮影に用いられる光の波長帯を決定する。そして、識別部２７０は、この複数の領域それぞれについて決定部２６０により決定された波長帯の光を用いて撮影されたこの複数の領域それぞれの画像を取得し、取得したそれぞれの画像の特徴量に基づいて、被写体の識別を行うこととしてもよい。
これにより、情報処理装置１００は、被写体の各領域の特徴をより精度よく示す特徴量に基づいて、より精度よく被写体を識別できる。
【００４１】
以上、本実施形態では、情報処理装置１００は、被写体における遮蔽物により遮蔽されている遮蔽領域を観察可能な光の波長帯を探索し、探索した波長帯の光を用いて撮影された被写体の画像を用いて、被写体を識別することとした。これにより、情報処理装置１００は、被写体に遮蔽物により遮蔽された領域がある場合でも、より高精度に被写体を識別することができる。
【００４２】
＜実施形態２＞
本実施形態では、情報処理装置１００が遮蔽物の領域を検出し、遮蔽物の材質を特定し、検出した領域や遮蔽物の材質に基づいて、被写体の識別を行う処理について説明する。
本実施形態の情報処理装置１００のハードウェア構成は、実施形態１と同様である。
本実施形態では、情報処理装置１００は、人物の顔がどの人物であるかを識別することとする。
図４は、本実施形態の情報処理装置１００の機能構成の一例を示す図である。本実施形態の情報処理装置１００は、遮蔽物検出部４１０、材質特定部４２０を含む点で、図２に示される機能構成と異なる。
遮蔽物検出部４１０は、抽出部２４０により抽出された特徴量に基づいて、遮蔽物を検出する。
材質特定部４２０は、抽出部２４０により抽出された特徴量に基づいて、遮蔽物の材質を特定する。
以下では、本実施形態の処理について図５のフローチャートを用いて説明する。なお、本実施形態では、識別処理の対象となる画像は、顔が一つだけ写った画像とする。
情報処理装置１００は、図３（ａ）に示す実施形態１における登録画像の登録処理と同様の処理（図５（ａ）の処理）を実行することで、登録画像を登録する。
【００４３】
（識別処理）
図５（ｂ）の処理のうち、図３（ｂ）の処理と異なる点について説明する。
Ｓ１１０１において、遮蔽物検出部４１０は、画像取得部２１０を介して、接続撮像装置により撮影された被写体の画像を取得する。遮蔽物検出部４１０は、例えば、画像取得部２１０を介して、可視光を用いて接続撮像装置により撮影された被写体の画像を取得する。遮蔽物検出部４１０は、取得した画像から、検出部２２０を介して、顔画像を取得する。遮蔽物検出部４１０は、取得した顔画像から、抽出部２４０を介して、特徴量を抽出する。そして、遮蔽物検出部４１０は、抽出した特徴量に基づいて、遮蔽物を検出する。
遮蔽物検出部４１０は、この特徴量が、遮蔽物により遮蔽されうる被写体の領域の性質として予め定められた性質をどの程度示すかを決定する。遮蔽物検出部４１０は、この特徴量が、遮蔽物により遮蔽されうる被写体の領域の性質として予め定められた性質との類似度を求める。遮蔽物検出部４１０は、求めた類似度が予め定められた閾値以上であれば、その性質に対応する領域に遮蔽物が存在しないと判定する。また、遮蔽物検出部４１０は、求めた類似度が予め定められた閾値未満であれば、その性質に対応する領域に遮蔽物が存在すると判定し、その性質に対応する領域に遮蔽物が存在するとして検出する。
【００４４】
例えば、遮蔽物で遮蔽される領域として眼の領域が想定されているとする。この場合、遮蔽物検出部４１０は、例えば、この特徴量が示すベクトルが、遮蔽物により遮蔽されうる被写体の領域の性質として予め定められた性質である眼の輪郭部分のエッジの特徴量の分布を示すベクトルとの内積を、類似度として求める。遮蔽物検出部４１０は、求めた類似度が予め定められた閾値未満であると判定した場合、この性質に対応する領域である眼の領域に遮蔽物が存在するとして検出する。
遮蔽物検出部４１０は、例えば、被写体における眼の領域全体を遮蔽物の領域として決定してもよいし、被写体の画像から抽出された特徴量の分布により、遮蔽物が占める領域を特定し、特定した領域を、遮蔽物の領域として決定してもよい。これにより、情報処理装置１００は、撮影波長帯を切り替えながら撮影し、特定の特徴が観察される度合いを評価する処理の対象範囲を狭くすることができ、処理量を低減することができる。
また、抽出部２４０により、被写体画像全体についての一つの特徴量を抽出するのではなく、被写体に予め定められた複数の局所領域それぞれについて特徴量が抽出された場合、情報処理装置１００は、以下のような処理を行うこととしてもよい。即ち、情報処理装置１００は、これらの局所領域のうちの一部の局所領域だけを利用して（一部の局所領域の特徴量に基づいて）、識別処理を実行してもよい。
【００４５】
また、遮蔽物で遮蔽される領域として口の領域が想定されているとする。この場合、遮蔽物検出部４１０は、例えば、この特徴量と、遮蔽物により遮蔽されうる被写体の口の領域の性質として予め定められた性質と、の類似度を求める。遮蔽物検出部４１０は、求めた類似度が予め定められた閾値未満であると判定した場合、この性質に対応する領域である口の領域に遮蔽物が存在するとして検出する。
また、遮蔽物で遮蔽される領域として複数の領域（例えば、眼の領域と口の領域と）が想定されているとする。その場合、遮蔽物検出部４１０は、遮蔽される領域として想定されている領域毎に、被写体におけるその領域に遮蔽物で存在するか否かを判定する。
また、遮蔽物検出部４１０は、例えば、画像内における輝度特徴を用いたパターンマッチングを用いて、遮蔽物の領域を決定してもよい。
【００４６】
Ｓ１１０２において、材質特定部４２０は、Ｓ１１０１で抽出された画像の特徴量に基づいて、Ｓ１１０１で検出された遮蔽物の材質を特定する。
材質特定部４２０は、例えば、事前に遮蔽物の候補となる物体の画像のエッジ特徴量を教師データとして、教師あり学習された識別対象の画像がどの遮蔽物かを識別する識別器を用いて、Ｓ１１０１で取得された画像どの遮蔽物であるかを識別する。材質特定部４２０は、例えば、このようにして、遮蔽物を特定し、遮蔽物の材質を特定することができる。
材質特定部４２０は、例えば、Ｓ１１０１で抽出された特徴量から眼に対応する部分の特徴量を取得する。そして、材質特定部４２０は、取得した特徴量を、事前に学習された識別器に入力する。そして、メガネ・サングラスと識別された場合、材質特定部４２０は、メガネ・サングラスの材質を、遮蔽物の材質として特定する。
【００４７】
材質特定部４２０は、例えば、眼領域のエッジ特徴量を取得し、エッジ特徴量の分布がメガネの形状に近い分布ならば、メガネ・サングラスの可能性があるため、遮蔽物の材質として、メガネ・サングラスで利用される材質に特定することができる。材質特定部４２０は、画像の特徴量としてエッジ特徴量、輝度特徴量等を用いることとする。また、材質特定部４２０は、画像の特徴量として、顔特徴量とは別の特徴量を用いてもよい。これにより、例えば、遮蔽物がメガネ・サングラスであると識別された場合、材質特定部４２０は、画像の輝度特徴量に基づいて、遮蔽物がメガネ・サングラスのどちらであるかを特定できる。
また、材質特定部４２０は、例えば、以下の参考文献２に開示されている方法を用いて、接続撮像装置を介して、複数の波長帯の光を用いて、被写体を撮影し、撮影した画像に基づいて、材質を特定してもよい。
参考文献２：宮崎  祥一、  岡部  孝弘：  ワンショット画像に基づく材質識別のための照明の最適化、  ２０１６
【００４８】
探索部２５０は、Ｓ１０１２で、遮蔽物検出部４１０により検出された遮蔽物それぞれについて、遮蔽物で遮蔽されている被写体の領域である遮蔽領域を観察可能な光の波長帯を探索する。探索部２５０は、例えば、眼領域に存在する遮蔽物が検出された場合、眼領域に眼に特有な性質（眼の輪郭部分に特有なエッジ特徴量の分布）が示される特徴量を有する画像の撮影に用いられた光の波長帯を探索する。
また、探索部２５０は、Ｓ１１０２で遮蔽物の材質が特定された場合、予め定められた特定された材質を透過する可能性のある光の波長帯の中から、遮蔽領域を観察可能な光の波長帯を探索することとしてもよい。例えば、遮蔽物の材質がメガネかサングラスの材質であると特定された場合、探索部２５０は、予め定められたメガネに使われる様々な材質を透過する光の波長帯とサングラスに使われる様々な材質を透過する光の波長帯とを、探索範囲とする。これにより、情報処理装置１００は、探索範囲とする波長帯の範囲を限定することができ、遮蔽領域を観察可能な光の波長帯を探索する処理の負荷を低減できる。
【００４９】
決定部２６０は、Ｓ１０１２で、遮蔽物検出部４１０により検出された遮蔽物それぞれについて、Ｓ１０１１で探索された波長帯の光それぞれを用いて撮影された被写体の画像における遮蔽物の領域の特徴量に基づいて、以下の処理を行う。即ち、決定部２６０は、被写体の識別に用いられる遮蔽領域の画像の撮影に用いられる光の波長帯を決定する。
識別部２７０は、Ｓ１０１４で、遮蔽物それぞれについて決定部２６０により決定された波長帯の光を用いて撮影された被写体の画像を用いて、被写体の識別を行う。ここで、識別部２７０は、各遮蔽領域と遮蔽物のない領域とで、各々異なる波長帯の光を用いて撮影された画像を用いてもよい。このように、情報処理装置１００は、複数の波長帯の光を用いて撮影された画像毎に照合処理を行うのではなく、被写体の領域毎に異なる画像を用いて識別することとしてもよい。これにより、情報処理装置１００は、識別に使う画像サイズ自体を、単一の画像サイズに限定でき、処理負荷の低減、処理速度の向上、識別精度の向上が実現できる。例えば、情報処理装置１００は、眼領域が遮蔽領域であるとして、遮蔽物を１０００ｎｍ〜１０５０ｎｍの波長帯の光が透過する場合、眼領域の画像として１０００ｎｍ〜１０５０ｎｍの波長帯の光を用いて撮影された画像を用いる。そして、情報処理装置１００は、それ以外の領域では可視光を用いて撮影された画像を用いることとしてもよい。
【００５０】
＜その他の実施形態＞
実施形態１、２では、接続撮像装置により撮影される画像には、識別対象である被写体が１つだけ写っていることとした。しかし、接続撮像装置により撮影される画像には、識別対象である被写体が複数写っていることとしてもよい。その場合、情報処理装置１００は、写っている顔それぞれについて、実施形態１、２の処理を実行することとなる。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
例えば、上述した情報処理装置１００の機能構成の一部又は全てをハードウェアとして情報処理装置１００に実装してもよい。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
【符号の説明】
【００５１】
１００  情報処理装置
１１０  ＣＰＵ
【図１】
2020009308.tif 000003
【図２】
2020009308.tif 000004
【図３】
2020009308.tif 000005
【図４】
2020009308.tif 000006
【図５】
2020009308.tif 000007