(57)【要約】  情報処理部２０-1の特徴量生成部２６ａは、マルチスペクトルカメラ１０で取得されたマルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量の生成を行う。認識処理部２７は、２点の少なくとも一方をマルチスペクトル画像における認識対象の被写体の画像領域内の位置として特徴量生成部２６ａで生成された特徴量に基づき、被写体の認識処理を行う。したがって、特徴量生成部２６ａでは、光源の変動に対してロバストで被写体に応じた特徴量を容易に生成できる。また、認証処理部２７は、被写体の登録時と被写体の認識時で光源が変動しても、精度よく認識処理を行える。
2019039059.tif 000002
【特許請求の範囲】
【請求項１】
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成する特徴量生成部
を備える特徴量生成装置。
【請求項２】
前記同一光源の照射域は、照射光の分光分布が等しい領域である
請求項１に記載の特徴量生成装置。
【請求項３】
前記２点の少なくとも一方の点は、前記特徴量の生成の対象である被写体の画像領域内の位置である
請求項１に記載の特徴量生成装置。
【請求項４】
前記２点は同時刻の異なる位置である
請求項１に記載の特徴量生成装置。
【請求項５】
前記特徴量生成部は、前記２点の少なくとも一方が動被写体上の点であるとき、前記２点を同時刻の異なる位置として前記特徴量の生成を行う
請求項１に記載の特徴量生成装置。
【請求項６】
前記特徴量生成部は、前記２点の両方が静止被写体上の点であるとき、さらに前記２点を異なる時刻の同一位置として前記特徴量の生成を行う
請求項５に記載の特徴量生成装置。
【請求項７】
前記２点間の分光反射率の関係性を示す特徴量として、ＬＤＧＭＣ（log-difference geometric mean chromaticity）値を生成する
請求項１に記載の特徴量生成装置。
【請求項８】
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成すること
を含む特徴量生成方法。
【請求項９】
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成する特徴量生成部と、
前記２点の少なくとも一方を前記マルチスペクトル画像における認識対象の被写体の画像領域内の位置として前記特徴量生成部で生成された特徴量に基づき、前記被写体の認識処理を行う認識処理部と
を備える情報処理装置。
【請求項１０】
前記分光データを用いて、動領域を検出する動領域検出部をさらに備え、
前記特徴量生成部は、前記動領域検出部の検出結果に基づいた位置である前記２点間の分光反射率の関係性を示す特徴量を生成する
請求項９に記載の情報処理装置。
【請求項１１】
前記特徴量生成部は、動領域検出部の検出結果に基づき、前記被写体が動きを生じていると判別したとき、前記２点を同時刻の前記被写体の画像領域内における異なる位置として前記特徴量の生成を行う
請求項１０に記載の情報処理装置。
【請求項１２】
特徴量生成部は、前記被写体が動きを生じていないと判別したとき、さらに前記２点を異なる時刻の前記画像領域内における同一位置として前記特徴量の生成を行う
請求項１１に記載の情報処理装置。
【請求項１３】
前記分光データを用いて被写体領域を検出する領域検出部と、
前記領域検出部の検出結果に応じて前記光源の照射光制御を行う照射光制御部とをさらに備える
請求項９に記載の情報処理装置。
【請求項１４】
前記照射光制御部は、前記領域検出部で検出された前記認識対象の被写体に対して、予め設定された分光分布の照射光を前記光源から照射させる
請求項１３に記載の情報処理装置。
【請求項１５】
前記認識処理部は、前記特徴量生成部で生成されたバンド毎の特徴量を用いて機械学習を行うことにより得られた認証情報と予め登録されている登録認証情報との照合を行い、照合結果に基づき前記被写体の認識結果を出力する
請求項９に記載の情報処理装置。
【請求項１６】
前記特徴量生成部は、前記２点間の分光反射率の関係性を示す特徴量として、ＬＤＧＭＣ（log-difference geometric mean chromaticity）値を生成する
請求項９に記載の情報処理装置。
【請求項１７】
前記マルチスペクトル画像は肌領域を含む撮像画である
請求項９に記載の情報処理装置。
【請求項１８】
前記２点は前記肌領域内の点である
請求項１７に記載の情報処理装置。
【請求項１９】
前記２点の一方の点は前記肌領域内の点であり、他方の点は前記肌領域と異なる非肌領域内の点である
請求項１７に記載の情報処理装置。
【請求項２０】
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成することと、
前記２点の少なくとも一方を前記マルチスペクトル画像における認識対象の被写体の画像領域内の位置として前記特徴量生成部で生成された特徴量に基づき、前記被写体の認識処理を行うことと
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、特徴量生成装置と特徴量生成方法および情報処理装置と情報処理方法に関し、光源の変動に対してロバストな特徴量を生成する。
【背景技術】
【０００２】
従来、被写体の色を利用して被写体の認識することが行われている。例えば特許文献１では、光源の分光分布情報である光源情報を取得して、この光源情報に基づき光源環境に依存しない色特徴量情報を算出して、算出した色特徴量情報を用いて所望の被写体の存在を判定することが行われている。また、光源情報の取得は、分光反射率が既知の被写体を撮影して、あるいは、画像の特定領域の色分布情報と光源の分光分布情報の対応関係を示すデータベースと照合して行われている。また、特許文献２では、プローブ光源を点灯させて撮影した画像と、点灯させないで撮影した画像の差分画像を生成し、差分画像から光源情報を取得することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６４３７号公報
【特許文献２】特開２００１−８３００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１では、色特徴量情報を算出ために光源情報を取得する処理が必要となる。【０００５】
そこで、この技術では、光源情報を取得することなく、光源の変動に対してロバストで被写体に応じた特徴量を容易に生成できる特徴量生成装置と特徴量生成方法および生成した特徴量を用いる情報処理装置と情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成する特徴量生成部
を備える特徴量生成装置にある。【０００７】
この技術では、マルチスペクトル画像の分光データから、同一光源の照射域内における２点のデータを用いて、２点間の分光反射率の関係性を示す特徴量として、ＬＤＧＭＣ（log-difference geometric mean chromaticity）値が生成される。２点の少なくとも一方の点は、特徴量の生成の対象である被写体の画像領域内の位置とする。また、２点は例えば同時刻の異なる位置とする。また、２点の少なくとも一方が動被写体上の点であるとき、２点を同時刻の異なる位置として特徴量の生成を行い、２点の両方が静止被写体上の点であるとき、さらに２点を異なる時刻の同一位置として特徴量の生成を行う。【０００８】
この技術の第２の側面は、
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成すること
を含む特徴量生成方法にある。【０００９】
この技術の第３の側面は、
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成する特徴量生成部と、
前記２点の少なくとも一方を前記マルチスペクトル画像における認識対象の被写体の画像領域内の位置として前記特徴量生成部で生成された特徴量に基づき、前記被写体の認識処理を行う認識処理部と
を備える情報処理装置にある。【００１０】
この技術においては、マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量としてＬＤＧＭＣ（log-difference geometric mean chromaticity）値が特徴量生成部で生成される。例えば、マルチスペクトル画像は肌領域を含む撮像画であり、２点は肌領域内の点、あるいは２点の一方の点は肌領域内の点で、他方の点は肌領域と異なる非肌領域内の点とする。また、認識処理部は、特徴量生成部で生成されたバンド毎の特徴量を用いて機械学習を行うことにより得られた認証情報と予め登録されている登録認証情報との照合を行い、照合結果に基づき認識対象の被写体の認識結果が出力される。【００１１】
また、分光データを用いて動領域を検出する動領域検出部が設けられて、特徴量生成部は、動領域検出部の検出結果に基づいた位置である２点間の分光反射率の関係性を示す特徴量が生成される。例えば、特徴量生成部は、動領域検出部の検出結果に基づき、被写体が動きを生じていると判別したとき、２点を同時刻の前記被写体の画像領域内における異なる位置として特徴量の生成を行う。また、特徴量生成部は、被写体が動きを生じていないと判別したとき、さらに２点を異なる時刻の画像領域内における同一位置として特徴量の生成を行う。【００１２】
また、分光データを用いて被写体領域を検出する領域検出部と、領域検出部の検出結果に応じて光源の照射光制御を行う照射光制御部が設けられて、照射光制御部は、領域検出部で検出された認識対象の被写体に対して、予め設定された分光分布の照射光を光源から照射させる。【００１３】
この技術の第４の側面は、
マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成することと、
前記２点の少なくとも一方を前記マルチスペクトル画像における認識対象の被写体の画像領域内の位置として前記特徴量生成部で生成された特徴量に基づき、前記被写体の認識処理を行うことと
を含む情報処理方法にある。
【発明の効果】
【００１４】
この技術によれば、マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量が生成される。このため、光源情報を取得することなく、光源の変動に対してロバストで被写体に応じた特徴量を容易に生成できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態の構成を示した図である。
【図２】第１の実施の形態の動作を示すフローチャートである。
【図３】肌の撮像画を例示した図である。
【図４】第２の実施の形態の構成を示した図である。
【図５】第２の実施の形態の動作を示すフローチャートである。
【図６】動きを生じている肌の撮像画を例示している。
【図７】第３の実施の形態の構成を示した図である。
【図８】マルチスペクトルカメラと情報処理部と光源部の配置を例示している。
【図９】第５の実施の形態の構成を示した図である。
【図１０】第５の実施の形態の動作を示すフローチャートである。
【図１１】第５の実施の形態の動作例を示す図である。
【図１２】処理結果の出力を例示した図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．変形例
【００１７】
＜１．第１の実施の形態＞
図１は、第１の実施の形態の構成を例示している。マルチスペクトルカメラ１０は、同一光源のもとで物体、例えば肌を撮像して得られたマルチスペクトル画像の画像データを情報処理部２０-1へ出力する。なお、本技術におけるマルチスペクトル画像の画像データとは、数バンド乃至数十バンド以上に分光されたバンド（波長域，カラーチャンネル）毎の分光データである。
【００１８】
情報処理部２０-1は、マルチスペクトルカメラ１０で得られたマルチスペクトル画像の分光データ（画像データ）から、照射光の分光分布が等しい領域である同一光源の照射域内の２点間の分光反射率の関係性を示す特徴量を生成する。情報処理部２０-1は、２点の少なくとも一方の点を特徴量の生成の対象である被写体の画像領域内、すなわち肌領域内の位置として特徴量を生成する。また、情報処理部２０-1は、生成した特徴量に基づき、撮像された肌についての認識処理を行う。
【００１９】
情報処理部２０-1は、例えば肌領域検出部２１、基準画素設定部２３、特徴量生成部２６ａ、認識処理部２７、情報記憶部２８を有している。
【００２０】
肌領域検出部２１は、分光データに基づき画素毎に肌画像の画素であるか判別して、肌画像の領域を示す肌領域マップを生成する。肌画像の画素であるか否かの判別は、例えば分光データをＨＳＶ色空間またはＹＣｒＣｂ色空間あるいはＹＩＱ色空間等に変換して、色成分と閾値との比較結果に基づいて行う。また、マルチスペクトルカメラ１０が固定で、分光データが動きを生じた肌色の被写体を撮像した動画データである場合は、動きを生じていない背景部分を除いた画像領域を肌色領域として検出してもよい。なお、肌領域検出部２１は、これらの方法に限らず、これらの方法を組み合わせて用いてもよく、他の方法を用いて肌領域を検出してもよい。肌領域検出部２１は、生成した肌領域マップを基準画素設定部２３へ出力する。
【００２１】
基準画素設定部２３は、２点間の分光反射率の関係性を示す特徴量の生成における一方の点を基準画素として設定する。基準画素設定部２３は、１画素あるいは複数画素からなる画素領域を基準画素に設定する。例えば、基準画素設定部２３は、肌領域マップで示された肌領域の特定位置の画素を基準画素として設定する。あるいは、基準画素設定部２３は、肌領域マップで示された肌領域の全体を基準画素として設定してもよく、肌領域マップで示された肌領域における特定の部位等を示す領域の１画素または複数画素を基準画素として設定してもよい。例えば、分光データが手の画像を示している場合、基準画素設定部２３は、爪や指関節を示す１画素または複数画素を基準画素に設定してもよく、分光データが顔の画像を示している場合、基準画素設定部２３は、鼻や唇，目などの部位上の１画素または複数画素を基準画素に設定してもよい。また、基準画素の設定は、特徴量に基づく認証情報の生成と情報記憶部２８に記憶されている登録認証情報の生成において等しくすることで、認証処理を精度よく行えるようにする。なお、複数画素を基準画素として設定する場合、基準画素の画素値として例えば複数画素の平均値を用いる。
【００２２】
特徴量生成部２６ａは、一方の点である基準画素と、基準画素と異なる他方の点の画素（以下「参照画素」という）の分光データとを用いて、異なる２点間の分光反射率の関係性を示す特徴量を生成する。
【００２３】
マルチスペクトルカメラ１０で取得される分光データＲは、式（１）に示すように、光源の分光分布Ｅ、被写体の分光反射率Ｓ、マルチスペクトルカメラ１０の分光感度特性Ｑによって決まることが一般的である。なお、式（１）において、「σ」はスケーリングファクタ、「λ」は光の波長、「ｋ」はマルチスペクトルカメラ１０のバンド（カラーチャンネル）を示している。
【００２４】
【数１】
2019039059.tif 000003
【００２５】
また、非特許文献「“Practical Scene Illuminant Estimation via Flash/No-Flash Pairs”, Cheng Lu and Mark S. Drew Simon Fraser University」では、式（１）において、マルチスペクトルカメラ１０の分光感度特性をディラック関数で近似して、光源がプランクの法則に従うことで、バンド（カラーチャンネル）ｋの分光データにおける位置ｘの分光データＲk（ｘ）の対数値を、式（２）で表せることが記載されている。なお、式（２）において、「ｗk」はマルチスペクトルカメラ１０の分光感度特性と光の波長に関する項である。「Ｋ（ｘ）」は画像上の位置ｘにおける光源の輝度に関する項である。「ｓk（ｘ）」は画像上の位置ｘにおける物体の分光反射率特性に関する項である。「Ｔ（ｘ）」は光源の色温度であり、「ｅk」はマルチスペクトルカメラ１０の分光感度特性に関する項である。
【００２６】
【数２】
2019039059.tif 000004
【００２７】
また、光源の輝度に関する項の影響を除くために分光データＲkを幾何平均で除算して色空間ｃkに切り替えて、この色空間ｃkの対数値すなわちＬＧＭＣ（log geometric mean chromaticity）の値（以下「ＬＧＭＣ値」という）ｒkは、式（３）によって算出できることが記載されている。なお、式（３）において、「ｓM」は各バンドおける物体の分光反射率特性を用いて算出した幾何平均であり、「（ｓk／ｓM）」は物体の分光反射率特性に関する項である。また、「ｅM」は各バンドにおける分光感度特性を用いて算出した算術平均であり、「（ｅk−ｅM）」は、マルチスペクトルカメラ１０の分光感度特性に関する項である。
【００２８】
【数３】
2019039059.tif 000005
【００２９】
また、式（３）に示す値ｒkは、分光データＲkを幾何平均で除算して得られた値の対数値であることから、式（４）として表すこともできる。なお、式（４）において、「Ｎ」はバンド数（カラーチャンネルのチャンネル数）を示している。
【００３０】
【数４】
2019039059.tif 000006
【００３１】
ここで、位置ｘ0におけるＬＧＭＣ値ｒk（ｘ0）と位置ｘ1におけるＬＧＭＣ値ｒｋ（ｘ１）の差分を求める場合、位置ｘ0，ｘ1が同一光源を用いて同一のマルチスペクトルカメラ１０で撮像された画像上の位置である場合、「（ｅk−ｅM）／Ｔ」の値は等しくなる。したがって、ＬＧＭＣ値ｒk（ｘ０）とＬＧＭＣ値ｒk（ｘ1）の差分すなわちＬＤＧＭＣ（log-difference geometric mean chromaticity）の値（以下「ＬＤＧＭＣ値」という）Ｄｒk（ｘ1，ｘ0）を求める式は式（５）となり、ＬＤＧＭＣ値Ｄｒk（ｘ1，ｘ0）は、光源に依存せず、物体の分光反射率の関係性を示す特徴量となる。
【００３２】
【数５】
2019039059.tif 000007
【００３３】
特徴量生成部２６ａは、基準画素と参照画素の分光データを用いてＬＤＧＭＣ値Ｄｒk（ｘ1，ｘ0）の算出を行い、算出したＬＤＧＭＣ値Ｄｒk（ｘ1，ｘ0）を２点間の分光反射率の関係性を示す特徴量とする。具体的には、各バンドの分光データを用いて、式（４）に基づき基準画素の位置ｘ0におけるＬＧＭＣ値ｒk（ｘ0）と、参照画素の位置ｘ1におけるＬＧＭＣ値ｒk（ｘ1）を算出して、ＬＧＭＣ値ｒk（ｘ0）とＬＧＭＣ値ｒk（ｘ1）の差分を示すＬＤＧＭＣ値を特徴量とする。
【００３４】
また、特徴量生成部２６ａは、基準画素設定部２３によって複数画素の領域が基準画素として設定された場合、例えば肌領域マップで示された肌領域の全体が基準画素として設定されている場合、式（６）に基づき肌領域に含まれる全画素の算術平均を算出して基準画素の分光データＲk（ｘ0）とする。なお、式（６）において「Ｍ」は肌領域に含まれる画素数を示している。分光データＲk（ｊ）は、ｋ番目のバンドの分光データにおいて、肌領域に含まれるｊ番目の画素の画素値を示している。
【００３５】
【数６】
2019039059.tif 000008
【００３６】
特徴量生成部２６ａは、基準画素と同時刻の撮像画における照射光の分光分布が等しい領域であって、特徴量の生成の対象である肌領域内に参照画素を設定して、基準画素と参照画素の分光データを用いて、２点間の分光反射率の関係性を示す特徴量を生成して、認識処理部２７へ出力する。
【００３７】
認識処理部２７は、特徴量生成部２６ａから供給された特徴量と情報記憶部２８に記憶されている登録認証情報に基づき、分光データが示す被写体の認識を画素単位または複数画素からなる領域毎に行う。情報記憶部２８には、登録認証情報が被写体情報と共に記憶されている。被写体情報は、登録認証情報に関連付けられており、登録認証情報によって示される被写体がどのような物体であるかを示している。例えば、情報処理部２０-1で人の肌画像の分光データを用いる場合、被写体情報として氏名等のテキスト情報や顔画像等の画像情報を用いる。また、被写体情報として音声情報等を用いてもよい。
【００３８】
認識処理部２７は、特徴量生成部２６ａで生成された特徴量に基づく認証情報と、情報記憶部２８に記憶されている登録認証情報と比較して、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報を出力する。認識処理部２７は、特徴量に基づき認識処理に適した認証情報を生成する。例えば、肌領域マップで示された肌領域内に参照画素を設けて生成されたバンド毎の特徴量を用いて機械学習を行い、学習結果を認証情報として用いる。機械学習のアルゴリズムは特定のアルゴリズムに限定されず、例えばニューラルネット、回帰、クラスタリング等のアルゴリズムを用いて機械学習を行えばよい。このように、特徴量を用いた機械学習結果を認証情報として用いるようにすれば、分光データに含まれるノイズや特徴量の算出に用いる画素値（例えば複数画素で構成される基準画素の画素値）のばらつき、および基準画素位置や参照画素位置のばらつき等の影響が少ない認証情報を生成できる。なお、認識処理部２７は、特徴量を認証情報として用いてもよい。また、認識処理部２７は、被写体情報の出力として、被写体情報と撮像画と関連付けて認識結果マップを生成して出力してもよい。認識結果マップは、例えば撮像画における肌領域がいずれの人の肌であるか等を示すように生成する。
【００３９】
情報記憶部２８に記憶されている登録認証情報は、例えば登録する人物の肌をマルチスペクトルカメラ１０で撮像して得られた分光データを用いて、肌領域検出部２１、基準画素設定部２３、特徴量生成部２６ａおよび認識処理部２７で処理を行い、認識処理部２７で生成された認証情報を用いる。情報記憶部２８は、認識処理部２７で生成された認証情報を登録認証情報として、登録する人物に関する被写体情報と関連付けて記憶する。
【００４０】
次に、情報処理部の第１の実施の形態の動作について説明する。図２は第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で情報処理部２０-1は、分光データを取得する。情報処理部２０-1は、マルチスペクトルカメラ１０で生成された分光データを取得してステップＳＴ２に進む。
【００４１】
ステップＳＴ２で情報処理部は肌領域を検出する。情報処理部２０-1は、分光データに基づき画素毎に肌画像の画素であるか判別して、肌領域の検出結果を示す例えば肌領域マップを生成してステップＳＴ３に進む。図３は、肌の撮像画を例示しており、領域ＡＲsは肌領域の検出によって検出された肌領域、領域ＡＲeは非肌領域を示している。
【００４２】
ステップＳＴ３で情報処理部は基準画素を設定する。情報処理部２０-1は、２点間の分光反射率の関係性を示す特徴量の生成における一方の点、例えば１画素あるいは複数画素からなる固定の画素領域を基準画素に設定してステップＳＴ４に進む。なお、図３では、位置Ｐ（ｘ0）が基準画素に設定されている場合を示している。
【００４３】
ステップＳＴ４で情報処理部は特徴量を生成する。情報処理部２０-1は、参照画素を肌領域に設定して、参照画素の分光データとステップＳＴ３で設定された基準画素の分光データを用いて、基準画素と参照画素間の分光反射率の関係性を示す特徴量を生成してステップＳＴ５に進む。なお、図３では、同時刻の異なる位置Ｐ（ｘ1）を参照画素に設定して、基準画素の分光データＲk（ｘ0）と参照画素の分光データＲk（ｘ1）を用いて、上述の式（４）（５）に基づき、特徴量Ｄｒk（ｘ1，ｘ0）を生成する。
【００４４】
ステップＳＴ５で情報処理部は認識処理を行う。情報処理部２０-1は、ステップＳＴ４で生成した特徴量に基づく認証情報と、予め記憶されている登録認証情報を比較して、分光データが示す被写体の認識を画素単位または領域単位で行う。また、情報処理部２０-1は、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報、または被写体情報と撮像画を関連付けて認識結果として出力する。
【００４５】
なお、図３では、基準画素と１つの参照画素を用いて特徴量が生成される場合を示しているが、参照画素を肌領域内に複数設けてもよく、基準画素を肌領域の異なる複数の特定位置に設定して特徴量の生成を行ってもよい。この場合、認識処理部２７は、基準画素および参照画素毎に生成された特徴量に基づき認識情報を生成する。
【００４６】
このように、第１の実施の形態によれば、光源情報を取得することなく、光源の変動に対してロバストで肌に応じた特徴量、すなわち、光源の分光分布に依存せず肌固有の分光反射率に関する特徴量を生成できる。また、認証情報の登録時と登録認証情報と認証情報を用いた認識処理時に光源が異なる場合でも、光源の影響を受けることなく例えば人物の認識処理を精度よく行えるようになる。
【００４７】
＜２．第２の実施の形態＞
ところで、第１の実施の形態では、同一撮像画内すなわち同一時刻における２点間の分光反射率の関係性を示す特徴量を生成する場合について説明したが、２点すなわち基準画素と参照画素は同一撮像画内に設定する場合に限られない。次に、第２の実施の形態では、時間の異なる撮像画の一方に基準画素を設定して、他方の撮像画に参照画素を設定する場合について説明する。
【００４８】
図４は、第２の実施の形態の構成を示している。情報処理部２０-2は、例えば肌領域検出部２１、基準画素設定部２３動領域検出部２４、過去画像記憶部２５、特徴量生成部２６ｂ、認識処理部２７、情報記憶部２８を有している。
【００４９】
肌領域検出部２１は、マルチスペクトルカメラ１０で取得された分光データに基づき画素毎に肌画像の画素であるか判別して、肌画像の領域を示す肌領域マップを上述のように生成する。肌領域検出部２１は、生成した肌領域マップを基準画素設定部２３へ出力する。
【００５０】
基準画素設定部２３は、２点間の分光反射率の関係性を示す特徴量の生成における一方の点を基準画素として設定する。基準画素設定部２３は、１画素あるいは複数画素からなる固定の画素領域を基準画素に設定する。
【００５１】
動領域検出部２４は、マルチスペクトルカメラ１０で取得された分光データを過去画像記憶部２５に記憶する。また、動領域検出部２４は、マルチスペクトルカメラ１０で取得された分光データ（「現画像の分光データ」ともいう）と、過去画像記憶部２５に記憶されている過去画像の分光データを用いて動領域を判別する。動領域検出部２４は、例えば現画像と過去画像との画素位置毎に差分値を算出して、差分値が閾値を超える画素を動領域の画素、差分値が閾値以下である画素を静領域の画素と判定して、判定結果に基づき動領域マップを生成して特徴量生成部２６ｂへ出力する。
【００５２】
特徴量生成部２６ｂは、基準画素と参照画素間の分光反射率の関係性を示す特徴量を生成する。特徴量生成部２６ｂは、２点の少なくとも一方が動被写体上の点であるとき、２点を同時刻の異なる位置として特徴量の生成を行う。また、特徴量生成部２６ｂは、２点の両方が静止被写体上の点であるとき、２点を同時刻の異なる位置として特徴量の生成を行い、さらに２点を異なる時刻の同一位置として特徴量の生成を行う。すなわち、特徴量生成部２６ｂは、肌領域検出部２１の検出結果を示す肌領域マップと、動領域検出部２４の検出結果を示す動領域マップを比較して、肌領域が動領域である場合、第１の実施の形態と同様に、基準画素と参照画素を現画像内に設定する。また、特徴量生成部２６ｂは、肌領域が動領域でない場合、基準画素と参照画素を現画像内に設定するだけでなく、過去画像において現画像の基準画素と等しい位置に参照画素を設定する。特徴量生成部２６ｂは、現画像の分光データにおける基準画素と参照画素の分光データを用いて、あるいは現画像の分光データにおける基準画素と参照画素の分光データと、過去画像記憶部２５に記憶されている過去画像の分光データにおける参照画素の分光データを用いて特徴量を生成する。
【００５３】
認識処理部２７は、特徴量生成部２６ｂ生成された特徴量に基づく認証情報と、情報記憶部２８に記憶されている登録認証情報と比較して、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報を出力する。認識処理部２７は、静領域について、過去画像に参照画素を設定して生成された特徴量と現画像に参照画素を設定して生成された特徴量に基づく認証情報と、情報記憶部２８に記憶されている登録認証情報を比較する。また、認識処理部２７は、動領域について、現画像に参照画素を設定して生成された特徴量に基づく認証情報と、情報記憶部２８に記憶されている登録認証情報を比較する。認識処理部２７は、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報を出力する。
【００５４】
次に、情報処理部における第２の実施の形態の動作について説明する。図５は第２の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で情報処理部２０-2は、分光データを取得する。情報処理部２０-2は、マルチスペクトルカメラ１０で生成された分光データを取得してステップＳＴ１２に進む。
【００５５】
ステップＳＴ１２で情報処理部は肌領域を検出する。情報処理部２０-2は、分光データに基づき画素毎に肌画像の画素であるか判別して、肌領域の検出結果を示す例えば肌領域マップを生成してステップＳＴ１３に進む。図６は、動きを生じている肌の撮像画を例示している。ここで、時点（ｔ）の撮像画を現画像、時点（ｔ）よりも過去の時点（ｔ−１）の撮像画を過去画像とする。図６の(a)は肌領域の動きがない場合、図６の(ｂ)は肌領域が動きを生じている場合であり、肌領域マップによって、領域ＡＲsは肌領域であり、領域ＡＲeは非肌領域であることが示される。
【００５６】
ステップＳＴ１３で情報処理部は基準画素を設定する。情報処理部２０-2は、２点間の分光反射率の関係性を示す特徴量の生成における一方の点、例えば１画素あるいは複数画素からなる固定の画素領域を基準画素に設定してステップＳＴ１４に進む。なお、図６では、位置Ｐ（ｘ0）が基準画素に設定されている場合を示している。
【００５７】
ステップＳＴ１４で情報処理部は動領域を検出する。情報処理部２０-2は、分光データに基づき画素毎に動領域の画素であるか判別してステップＳＴ１５に進む。なお、図６の（ａ）は肌領域の動きがないことから、領域ＡＲs，ＡＲeは共に静領域であり、図６の(ｂ)は肌領域が動きを生じていることから領域ＡＲsは動領域として検出される。
【００５８】
ステップＳＴ１５で情報処理部は特徴量を生成する。情報処理部２０-2は、参照画素を肌領域に設定して、参照画素の分光データとステップＳＴ１３で設定された基準画素の分光データを用いて、基準画素と参照画素間の分光反射率の関係性を示す特徴量を生成する。また、肌領域の動きがない場合、過去画像において基準画素と等しい位置を、さらに参照画素に設定して特徴量を生成してステップＳＴ１６に進む。
【００５９】
例えば図６の（ａ）に示すように肌領域の動きがない場合、現画像における位置Ｐ（ｘ0）の基準画素の分光データＲk（ｘ0）と、現画像の位置Ｐ（ｘ1）に設定した参照画素の分光データＲk（ｘ1）を用いて、上述の式（４）（５）に基づき、特徴量Ｄｒk（ｘ1，ｘ0）を生成する。また、現画像における位置Ｐ（ｘ0）の基準画素の分光データＲk（ｘ0）と、過去画像の位置Ｐ（ｘ0）に設定した参照画素の分光データＲk（ｘ0’）を用いて、上述の式（４）（５）に基づき、特徴量Ｄｒk（ｘ0’，ｘ0）を生成する。
【００６０】
肌領域は、図６の（ａ）に示すように、見た目上の動きの変化はないが、生体情報（脈拍や呼吸等）は時間変動を生じていることから、マルチスペクトルカメラ１０で得られる分光データは相違を生じる。したがって、特徴量Ｄｒk（ｘ0’，ｘ0）は、ユーザ固有の時間方向の変動に応じた情報となる。また、図６の（ｂ）に示すように、肌領域が動領域である場合、現画像の基準画素の位置と過去画像の基準画素の位置が異なってしまう。したがって、肌領域が動領域の場合は、第１の実施の形態と同様に、現画像における肌領域内に参照画素を設定することで、ユーザ固有の特徴量を生成する。
【００６１】
ステップＳＴ１６で情報処理部は認識処理を行う。情報処理部２０-2は、ステップＳＴ１５で生成した特徴量に基づく認証情報と、予め記憶されている登録認証情報を比較して、分光データが示す被写体の認識を画素単位または領域単位で行う。また、情報処理部２０-2は、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報、または被写体情報と撮像画を関連付けて認識結果として出力する。
【００６２】
このように、第２の実施の形態によれば、第１の実施の形態の作用効果を得られるだけでなく、肌領域が静領域の場合には、異なる時刻間の基準画素間の特徴量も用いることで、肌状態だけでなく生体のバイタル等に関するユーザ固有の情報を用いて人物の認識処理等を行うことできる。
【００６３】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。上述の第１および第２の実施の形態では、肌を認識対象としているが、第３の実施の形態では、一般の物体を認識対象とした場合について説明する。
【００６４】
図７は、第３の実施の形態の構成を示している。情報処理部２０-3は、例えば物体領域検出部２２、基準画素設定部２３、特徴量生成部２６ａ、認識処理部２７、情報記憶部２８を有している。
【００６５】
物体領域検出部２２は、マルチスペクトルカメラ１０で取得された分光データに対して予め設定された物体判定条件を用いて画素毎に分類分けを行い、物体領域マップを生成する。例えば、認識対象がオレンジやリンゴ等の果物である場合、果物の種類等に応じた物体判定基準を用いて、いずれの果物の画像に相当するか画素毎に判定して、物体毎の領域を示す物体領域マップを生成する。物体領域検出部２２は、生成した物体領域マップを基準画素設定部２３へ出力する。
【００６６】
基準画素設定部２３は、２点間の分光反射率の関係性を示す特徴量の生成における一方の点を基準画素として設定する。基準画素設定部２３は、物体領域マップに基づき認識対象の物体の領域内における１画素あるいは複数画素からなる固定の画素領域を基準画素に設定する。
【００６７】
特徴量生成部２６ａは、基準画素と参照画素間の分光反射率の関係性を示す特徴量を生成する。特徴量生成部２６ａは、物体領域検出部２２の検出結果を示す物体領域マップに基づき認識対象の物体の領域内に参照画素を設定して、基準画素と参照画素の分光データを用いて特徴量を生成する。
【００６８】
認識処理部２７は、特徴量生成部２６ａで生成された特徴量に基づく認証情報と、情報記憶部２８に記憶されている登録認証情報と比較して、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報、すなわち物体の認識結果を出力する。例えば、認識処理部２７は、特徴量生成部２６ａで生成された特徴量に基づく認証情報と、予め記憶されている果物の品種や生産地等の登録認証情報を比較して、いずれの品種や生産地等であるかを認識結果として出力する。
【００６９】
情報記憶部２８に記憶されている登録認証情報は、例えば登録する物体をマルチスペクトルカメラ１０で撮像して得られた分光データを用いて、物体領域検出部２２、基準画素設定部２３、特徴量生成部２６ａおよび認識処理部２７で処理を行い、認識処理部２７で生成された認証情報を用いる。情報記憶部２８は、認識処理部２７で生成された認証情報を登録認証情報として、登録する物体に関する被写体情報と関連付けて記憶する。
【００７０】
また、物体の認識処理では、果物の品種等の認識に限らず鮮度等を認識してもよい。例えば肉の鮮度については色素タンパク質の変性よって分光反射率が影響を受けることが知られている。したがって、鮮度毎の登録認証情報を情報記憶部２８に記憶させておくことで、認識処理部２７では物体の鮮度等を判別できる。
【００７１】
このように、第３の実施の形態によれば、光源情報を取得することなく、光源の変動に対してロバストで物体に応じた特徴量、すなわち、光源の分光分布に依存せず物体の分光反射率に関する特徴量を生成できる。さらに、認証情報の登録時と登録認証情報と認証情報を用いた認識処理時に光源が異なる場合でも、光源の影響を受けることなく例えば一般の物体の認識処理を精度よく行えるようになる。
【００７２】
＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。上述の第１乃至第３の実施の形態では、認識対象の画像領域に基準画素を設定しているが、基準画素は認識対象の画像領域と異なる背景領域に設定してもよい。
【００７３】
マルチスペクトルカメラ１０が固定されている状態で撮像を行うことにより取得された分光データでは、認識対象の後方に位置する背景が同じ画像となる。したがって、情報処理部の特徴量生成部２６ａ（２６ｂ）、および例えば図２のステップＳＴ３における基準画素の設定では、背景領域例えば図３の非肌領域ＡＲeに基準画素を設定する。この場合、基準画素の分光データは安定していることから、背景領域に設定した基準画素と認識対象の画像領域内に設定した参照画素の画像値を用いて、認識対象に応じた特徴量をばらつき等が少なく安定して生成できるようになる。
【００７４】
＜５．第５の実施の形態＞
次に、第５の実施の形態として、撮像時に照射光の制御を行う場合について説明する。特徴量を生成する場合、２点間で光源が異なると、式（３）および式（５）において、光源の色温度Ｔの項が残ってしまうため、光源の分光分布特性の影響を排除できない。このため、特徴量の算出に用いる基準画素と参照画素では、光源の分光分布が等しくなるように例えば同一光源から光が照射されている必要がある。そこで、情報処理部は、例えば肌領域に対して認識処理を精度よく行える光を照射する。また、情報処理部は、非肌領域に対しては特徴量の生成に関わりない光、例えば種々の情報の投影光を照射する。
【００７５】
図８は、マルチスペクトルカメラと情報処理部と光源部の配置を例示している。マルチスペクトルカメラ１０は、被写体を撮像して得られた分光データを情報処理部２０-5へ出力する。情報処理部２０-5は、分光データに基づき例えば肌領域を判別して、肌領域に対して認識処理を精度よく行える光を光源部３０から照射して、非肌領域には認識対象の認識処理に関わりない種々の情報の投影光等を光源部３０から照射する。
【００７６】
図９は、第５の実施の形態の構成を示している。情報処理部２０-5は、例えば肌領域検出部２１、基準画素設定部２３、特徴量生成部２６ａ、認識処理部２７、情報記憶部２８、光照射制御部２９を有している。
【００７７】
肌領域検出部２１は、マルチスペクトルカメラ１０で取得された分光データに基づき画素毎に肌画像の画素であるか判別して、上述のように肌画像の領域を示す肌領域マップを生成して基準画素設定部２３へ出力する。
【００７８】
基準画素設定部２３は、２点間の分光反射率の関係性を示す特徴量の生成における一方の点を基準画素として設定する。基準画素設定部２３は、１画素あるいは複数画素からなる固定の画素領域を基準画素に設定する。
【００７９】
特徴量生成部２６ａは、基準画素と参照画素間の分光反射率の関係性を示す特徴量を生成する。特徴量生成部２６ａは、肌領域検出部２１の検出結果を示す肌領域マップに基づき、肌領域に参照画素を設定して、基準画素と参照画素の分光データを用いて特徴量を生成する。
【００８０】
認識処理部２７は、特徴量生成部２６ａで生成された特徴量に基づく認証情報と、情報記憶部２８に記憶されている登録認証情報と比較して、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報を出力する。
【００８１】
光照射制御部２９は、領域検出部で検出された認識対象の被写体に対して、予め設定された分光分布の照射光を光源から照射させる。光照射制御部２９は、肌領域検出部２１の肌領域検出結果である肌領域マップに基づき光源部３０から出力する照射光の制御を行う。照射光の制御は、肌領域に対しては認識処理に適した光を照射して、非肌領域に対しては認識処理に関係のない投影光等を照射する。また、光照射制御部２９は、光源部３０から認識処理に適した光を照射して肌領域の検出結果が得られたのち、非肌領域に対して肌領域と異なる光を照射してもよい。
【００８２】
次に、情報処理部における第５の実施の形態の動作について説明する。図１０は第５の実施の形態の動作を示すフローチャートである。なお、図１０に示す動作では、光源部３０から認識処理に適した光を照射して、肌領域の検出結果が得られた場合に、非肌領域に対して特徴量の生成に関わりない光、例えば画像やテキスト情報等の投影光を照射する場合を例示している。
【００８３】
ここで、認識処理に適した照射光について説明する。マルチスペクトルカメラ１０で得られる分光データは、式（１）に示したとおり、光源の分光分布、被写体の分光反射率、およびマルチスペクトルカメラの分光感度特性に応じて決定される。したがって、認識処理に適した分光データを得るためには、光源の分光分布にもその波長成分が含まれている必要がある。例えば特徴量の生成に適した照明光が波長λi付近にあったとする。また、マルチスペクトルカメラの分光感度特性Ｑk（λ）も波長λiで十分あったとする。ここで、光源部３０の分光分布が波長λiでＥ（λi）＝０であると、マルチスペクトルカメラで得られる分光データＲkには、波長λiにおける分光成分が含まれないことになり、特徴量を生成できない。したがって、特徴量の生成に適した波長が分かっている場合は、その波長において分光分布を持った照明光を用いるようにする。また、特徴量の生成に適した波長が分かっていない場合は、全波長帯域に対して分光分布を持った照明光を用いるようにする。例えば、肌領域についての特徴量を生成する場合、白色光を用いることで明瞭とされた肌のキメや青色成分の吸収が大きいシミ部分等に基づいた特徴量を生成してもよい。
【００８４】
ステップＳＴ２１で情報処理部２０-5は、分光データを取得する。情報処理部２０-5は、光源部３０から認識処理に適した光を照射させて、このときマルチスペクトルカメラ１０で生成された分光データを取得してステップＳＴ２２に進む。
【００８５】
ステップＳＴ２２で情報処理部は肌領域を検出する。情報処理部２０-5は、分光データに基づき画素毎に肌画像の画素であるか判別して、肌領域の検出結果を示す例えば肌領域マップを生成してステップＳＴ２３に進む。図１１は、第５の実施の形態の動作例を示している。マルチスペクトルカメラ１０で生成された分光データに基づき肌領域の検出を行い、領域ＡＲs1，ＡＲs2は肌領域、領域ＡＲeは非肌領域と検出されている。
【００８６】
ステップＳＴ２３で情報処理部は照射光制御を行う。情報処理部２０-5は、領域ＡＲs1，ＡＲs2に対して、認識処理に適した光を光源から照射させる。また、情報処理部２０-5は、領域ＡＲeに対して例えば画像やテキスト情報等を示す投影光を照射させる。このように、情報処理部２０-5は、肌領域の検出結果に応じて照射する光を制御してステップＳＴ２４に進む。
【００８７】
ステップＳＴ２４で情報処理部は基準画素を設定する。情報処理部２０-5は、２点間の分光反射率の関係性を示す特徴量の生成における一方の点、例えば１画素あるいは複数画素からなる固定の画素領域を基準画素に設定してステップＳＴ２５に進む。なお、図１１では、領域ＡＲs1では位置Ｐ（ｘ01）が基準画素に設定されており、領域ＡＲs2では位置Ｐ（ｘ02）が基準画素に設定されている。
【００８８】
ステップＳＴ２５で情報処理部は特徴量を生成する。情報処理部２０-5は、参照画素を基準画素と等しい肌領域に設定して、参照画素の分光データとステップＳＴ２４で設定された基準画素の分光データを用いて、基準画素と参照画素間の分光反射率の関係性を示す特徴量を生成してステップＳＴ２６に進む。
【００８９】
例えば図１１における領域ＡＲs1に設定した位置Ｐ（ｘ01）の基準画素の分光データＲk（ｘ01）と位置Ｐ（ｘ11）の参照画素の分光データＲk（ｘ11）を用いて、上述の式（４）（５）に基づき、特徴量Ｄｒk（ｘ11，ｘ01）を生成する。また、領域ＡＲs2に設定した位置Ｐ（ｘ02）の基準画素の分光データＲk（ｘ02）と位置Ｐ（ｘ12）の参照画素の分光データＲk（ｘ12）を用いて、上述の式（４）（５）に基づき、特徴量Ｄｒk（ｘ12，ｘ02）を生成する。
【００９０】
ステップＳＴ２６で情報処理部は認識処理を行う。情報処理部２０-5は、ステップＳＴ２５で生成した特徴量に基づく認証情報と、予め記憶されている登録認証情報を比較して、分光データが示す被写体の認識を画素単位または領域単位で行う。また、情報処理部２０-5は、特徴量に基づく認証情報と一致または誤差が閾値内で最小となる登録認証情報に関連付けられた被写体情報、または被写体情報と撮像画を関連付けて認識結果として出力する。
【００９１】
また、上述の動作では、肌領域に対して認識処理に適した波長の光を照射する場合について説明したが、第３の実施の形態と同様に物体の認識処理を行う場合には、認識する物体に認識処理に適した波長の光を照射すればよい。例えば、植物が活発に光合成を行っているとき、赤色の可視領域（６５０〜６６０ｎｍ付近）における分光反射率が近赤外領域（７５０〜８００ｎｍ付近）における分光反射率に対してかなり低くなるため、これらの相対的な関係である正規化差植生指数（ＮＤＶＩ：Normalized Difference Vegetation Index）を用いて植物の活性度を判別することが知られている。したがって、物体が植物である場合、赤色の可視領域と近赤外領域の波長成分を含む光を、認識処理に適した波長の光として用いる。また、植物の鮮度の低下に伴い赤色の可視領域の反射率が上昇して近赤外領域の反射率が低下する傾向があることが知られていることから、赤色の可視領域と近赤外領域の波長成分を含む光を照射して得られた分光データを用いて、植物の鮮度を精度よく認識できるようになる。
【００９２】
このような第５の実施の形態によれば、認識処理に用いる領域に対しては、認識処理に適した光が照射されるので、上述の実施の形態よりも認識処理を精度よく行うことができる。また、認識処理に関係しない領域に対して種々の情報を投影することができる。
【００９３】
＜６．変形例＞
情報処理部は、上述の実施の形態の構成や動作に限らず、上述の実施の形態を組み合わせた構成や動作としてもよい。例えば、第５の実施の形態に第２の実施の形態を組み合わせて、非肌領域に情報を投影しながら、静止している肌領域の認識処理を精度よく行えるようにしてもよい。
【００９４】
また、情報処理部の処理結果は、認識対象の被写体の位置または近傍に表示してよい。図１２は、処理結果の出力を例示した図である。認識処理部２７は、例えば特徴量生成部２６ａ（２６ｂ）で生成された特徴量に基づく認証情報と一致する登録認証情報に関連付けられた被写体情報を分光データに重畳させて出力する。図１２の（ａ）は、分光データに被写体情報を重畳した場合の出力画像を例示しており、認識対象の被写体ＯＢの位置または近傍に被写体情報ＤＢを表示させる。また、情報処理装置が光照射制御部を有した構成である場合、認識処理結果を認識処理部から光照射制御部へ出力して、光照射制御部は、被写体領域とは異なる領域に照射する照射光を利用して、認証処理結果で示された被写体情報を投影する。図１２の（ｂ）は、被写体情報を投影した場合を例示している。光照射制御部は、被写体ＯＢaに対する照射光とは異なる照射光を利用して、被写体ＯＢaの近傍に被写体情報ＤＢａを投影させる。また、光照射制御部は、被写体ＯＢbに対する照射光とは異なる照射光を利用して、被写体ＯＢbの近傍に被写体情報ＤＢｂを投影させる。このように、情報処理部の処理結果を認識対象の被写体の位置または近傍に表示することで、被写体毎の認識状況を容易に把握できるようになる。
【００９５】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９６】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００９７】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９８】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【００９９】
また、本技術の特徴量生成装置は以下のような構成も取ることができる。
（１）  マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成する特徴量生成部を備える特徴量生成装置。
（２）  前記同一光源の照射域は、照射光の分光分布が等しい領域である（１）に記載の特徴量生成装置。
（３）  前記２点の少なくとも一方の点は、前記特徴量の生成の対象である被写体の画像領域内の位置である（１）または（２）に記載の特徴量生成装置。
（４）  前記２点は同時刻の異なる位置である（１）乃至（３）のいずれかに記載の特徴量生成装置。
（５）  特徴量生成部は、前記２点の少なくとも一方が動被写体上の点であるとき、前記２点を同時刻の異なる位置として前記特徴量の生成を行う（４）に記載の特徴量生成装置。
（６）  特徴量生成部は、前記２点の両方が静止被写体上の点であるとき、さらに前記２点を異なる時刻の同一位置として前記特徴量の生成を行う（４）に記載の特徴量生成装置。
（７）  前記２点間の分光反射率の関係性を示す特徴量として、ＬＤＧＭＣ（log-difference geometric mean chromaticity）値を生成する（１）乃至（６）のいずれかに記載の特徴量生成装置。
【０１００】
さらに、本技術の情報処理装置は以下のような構成も取ることができる。
（１）  マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量を生成する特徴量生成部と、
前記２点の少なくとも一方を前記マルチスペクトル画像における認識対象の被写体の画像領域内の位置として前記特徴量生成部で生成された特徴量に基づき、前記被写体の認識処理を行う認識処理部と
を備える情報処理装置。
（２）  前記分光データを用いて、動領域を検出する動領域検出部をさらに備え、
前記特徴量生成部は、前記動領域検出部の検出結果に基づいた位置である前記２点間の分光反射率の関係性を示す特徴量を生成する（１）に記載の情報処理装置。
（３）  前記特徴量生成部は、動領域検出部の検出結果に基づき、前記被写体が動きを生じていると判別したとき、前記２点を同時刻の前記被写体の画像領域内における異なる位置として前記特徴量の生成を行う（２）に記載の情報処理装置。
（４）  特徴量生成部は、前記被写体が動きを生じていないと判別したとき、さらに前記２点を異なる時刻の前記画像領域内における同一位置として前記特徴量の生成を行う（３）に記載の情報処理装置。
（５）  前記分光データを用いて被写体領域を検出する領域検出部と、
前記領域検出部の検出結果に応じて前記光源の照射光制御を行う照射光制御部とをさらに備える（１）乃至（４）のいずれかに記載の情報処理装置。
（６）  前記照射光制御部は、前記領域検出部で検出された前記認識対象の被写体に対して、予め設定された分光分布の照射光を前記光源から照射させる（５）に記載の情報処理装置。
（７）  前記認識処理部は、前記特徴量生成部で生成されたバンド毎の特徴量を用いて機械学習を行うことにより得られた認証情報と予め登録されている登録認証情報との照合を行い、照合結果に基づき前記被写体の認識結果を出力する（１）乃至（６）のいずれかに記載の情報処理装置。
（８）  前記特徴量生成部は、前記２点間の分光反射率の関係性を示す特徴量として、ＬＤＧＭＣ（log-difference geometric mean chromaticity）値を生成する（１）乃至（７）のいずれかに記載の情報処理装置。
（９）  前記マルチスペクトル画像は肌領域を含む撮像画である（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）  前記２点は前記肌領域内の点である（９）に記載の情報処理装置。
（１１）  前記２点の一方の点は前記肌領域内の点であり、他方の点は前記肌領域と異なる非肌領域内の点である（９）に記載の情報処理装置。
【産業上の利用可能性】
【０１０１】
この技術の特徴量生成装置と特徴量生成方法および情報処理装置と情報処理方法では、マルチスペクトル画像の分光データから、同一光源の照射域内における２点間の分光反射率の関係性を示す特徴量が生成される。また、生成された特徴量を用いて被写体の認識処理が行われる。したがって、光源情報を取得することなく、光源の変動に対してロバストで被写体に応じた特徴量を容易に生成できるようになる。また、生成された特徴量を用いて認識処理を行うことで、被写体の登録時と被写体の認識時で光源が変動しても、精度よく認識処理を行えるようになる。したがって、人の認証システムや監視システム、所望の物体の選別等に適している。
【符号の説明】
【０１０２】
１０・・・マルチスペクトルカメラ
２０-1，２０-2，２０-3，２０-5・・・情報処理部
２１・・・肌領域検出部
２２・・・物体領域検出部
２３・・・基準画素設定部
２４・・・動領域検出部
２５・・・過去画像記憶部
２６ａ，２６ｂ・・・特徴量生成部
２７・・・認識処理部
２８・・・情報記憶部
２９・・・光照射制御部
３０・・・光源部
【図１】
2019039059.tif 000009
【図２】
2019039059.tif 000010
【図３】
2019039059.tif 000011
【図４】
2019039059.tif 000012
【図５】
2019039059.tif 000013
【図６】
2019039059.tif 000014
【図７】
2019039059.tif 000015
【図８】
2019039059.tif 000016
【図９】
2019039059.tif 000017
【図１０】
2019039059.tif 000018
【図１１】
2019039059.tif 000019
【図１２】
2019039059.tif 000020
【国際調査報告】
2019039059.tif 000021
2019039059.tif 000022
2019039059.tif 000023
2019039059.tif 000024