(57)【要約】      （修正有）【課題】物体の状態をより精密に認識できる画像処理装置および画像処理方法を提供する。【解決手段】画像処理装置１００は、可視光の波長帯の半分以下の幅の波長帯で物体を撮像して時系列画像を取得する撮像部１１０と、撮像部によって得られた時系列画像から前記波長帯で区別できる物体表面の特徴を抽出する特徴抽出部１２０と、特徴抽出部によって抽出された特徴の時間的な変化を追跡する追跡部１３０と、追跡部によって追跡された特徴の時間的な変化に基づいて物体の状態を評価する評価部１４０と、を備える。【選択図】図１
2018200640.tif 000002
【特許請求の範囲】
【請求項１】
可視光の波長帯の半分以下の幅の波長帯で物体を撮像して時系列画像を取得する撮像手段と、
前記撮像手段によって得られた時系列画像から前記波長帯で区別できる物体表面の特徴を抽出する抽出手段と、
前記抽出手段によって抽出された特徴の時間的な変化を追跡する追跡手段と、
前記追跡手段によって追跡された特徴の時間的な変化に基づいて前記物体の状態を評価する評価手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像手段は、一部または全部が前記可視光の波長帯の半分以下の幅の波長帯のフィルタで構成されたセンサを用いて前記物体を撮像することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像手段は、可視光の波長帯の半分以下の幅の複数種類の波長帯のフィルタで構成されたセンサを用いて前記物体を撮像することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記物体とは人間の顔であることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記物体表面の特徴とは、人間の顔の中の構造に基づく局所的なパターンであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記局所的なパターンとは、ほくろ、しみ、毛穴、しわ、にきび、髭、血管、産毛、および傷跡の中のいずれかであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記波長帯は、メラニンまたはヘモグロビンを区別できる波長帯であることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記物体の状態とは、笑顔度、緊張度、疲労度、本音度、ストレス度、警戒度、および活性度の中の少なくとも１つであることを特徴とする請求項４〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記評価手段は、前記特徴の時間的な変化から筋肉の痙攣および／または線維束性収縮を評価することによって前記物体の状態を評価することを特徴とする請求項４〜８の何れか１項に記載の画像処理装置。
【請求項１０】
前記評価手段は、前記物体表面の特徴の変位を周波数空間に変換することによって前記痙攣を評価することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記評価手段は、所定の時間における前記物体表面の特徴の変位に基づいて前記線維束性収縮を評価することを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
可視光の波長帯の半分以下の幅の波長帯で物体を撮像して時系列画像を取得する撮像手段を有する画像処理装置の画像処理方法であって、
前記撮像手段によって得られた時系列画像から前記波長帯で区別できる物体表面の特徴を抽出する抽出工程と、
前記抽出工程において抽出された特徴の時間的な変化を追跡する追跡工程と、
前記追跡工程において追跡された特徴の時間的な変化に基づいて前記物体の状態を評価する評価工程と、
を備えることを特徴とする画像処理方法。
【請求項１３】
可視光の波長帯の半分以下の幅の波長帯で物体を撮像して時系列画像を取得する撮像手段を有する画像処理装置を制御するためのプログラムであって、
前記撮像手段によって得られた時系列画像から前記波長帯で区別できる物体表面の特徴を抽出する抽出工程と、
前記抽出工程において抽出された特徴の時間的な変化を追跡する追跡工程と、
前記追跡工程において追跡された特徴の時間的な変化に基づいて前記物体の状態を評価する評価工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、物体の表面の状態を評価するために用いて好適な画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
従来、撮像装置により物体を撮像して画像データを取得し、当該画像データを解析して物体の状態を評価、判定する画像認識技術が知られている。例えば、特許文献１には、顔を含む画像データを入力し、前記画像データより顔の特定箇所の位置を検出し、検出された特定箇所の位置に基づいて顔の特徴点を検出し、検出された特徴点に基づいて顔の表情を判定する物体認識技術が開示されている。ここで、特徴点の検出は特定箇所の位置検出よりも検出精度が高く、特定箇所の位置検出は特徴点の検出よりも変動に頑健である。これによって、撮像条件が動的に変化する環境においても高い精度で物体を認識することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７９９１０４号公報
【非特許文献】
【０００４】
【非特許文献１】The optics of human skin Aspects important for human health: K. P. Nielsenら: 2008
【非特許文献２】Rapid object detection using a boosted cascade of simple features: P. Viola, M. Jones: 2001
【非特許文献３】Harris, Stephens, "A Combined Corner and Edge Detector", Proc. Alvey Vision Conf., pp.147-151, 1988.
【非特許文献４】Face recognition with local binary patterns: T Ahonen, A Hadid, M Pietikainen: 2004
【非特許文献５】Facial feature point extraction method based on combination of shape extraction and pattern matching: K. Fukui, O. Yamaguchi: 1998
【非特許文献６】He, Zhang, Ren, and Sun. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition. Computer Vision - ECCV 2014
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された構成においては、顔の器官の形状や位置関係によって喜び、怒り、悲しみ、哀れみ、無表情、悩み、哀れみ、驚きといったような基本的な表情を評価している。目や口などの顔の顔器官と肌との境界には明確な色の違いがあるため位置や形を検出しやすく、かつ人によって器官の大きさや形が異なるため、これらの表情を認識しやすい。
【０００６】
一方、体毛が薄い被写体や化粧をした被写体では、肌は通常の撮像装置ではほぼ一様な面として写る。したがって、特許文献１に記載の技術では、色の違いが判別しにくい肌の下の表情筋の緊張などによる痙攣や線維束性収縮を精度よく検出することが困難である。つまり、例えば作り笑いか自然の笑いかの区別や、緊張度などの細かな表情までを精度よく認識することはできない。
【０００７】
本発明は前述の問題点に鑑み、物体の状態をより精密に認識できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、可視光の波長帯の半分以下の幅の波長帯で物体を撮像して時系列画像を取得する撮像手段と、前記撮像手段によって得られた時系列画像から前記波長帯で区別できる物体表面の特徴を抽出する抽出手段と、前記抽出手段によって抽出された特徴の時間的な変化を追跡する追跡手段と、前記追跡手段によって追跡された特徴の時間的な変化に基づいて前記物体の状態を評価する評価手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、物体の状態をより精密に認識することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【図３】実施形態における全体的な処理手順の一例を示すフローチャートである。
【図４】状態評価部における詳細な構成例を示す図である。
【図５】顔領域の分割標本の例を示す図である。
【図６】第２の実施形態におけるカラーフィルタの例を示す図である。
【図７】第２の実施形態において、差分画像を生成する手順を説明するための図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、図面を参照して本発明の実施形態を詳細に説明する。本実施形態では、オブジェクトの一例として人間の顔を扱い、入力された人物の表情の判定に本発明を適用する例を説明する。なお、本実施形態の目的は、顔器官のような明確な箇所だけではなく、肌領域そのものの動きをとらえて肌の下の表情筋の緊張などによる痙攣や線維束性収縮を精度よく検出することによって細かな表情を認識することである。
【００１２】
＜全体の構成＞
図１は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
図１に示すように、画像処理装置１００は、撮像部１１０、および画像認識部１０１を備えている。
【００１３】
撮像部１１０は、認識対象の顔を撮影し、画像をデジタルデータとして出力する。
画像認識部１０１は、特徴抽出部１２０、追跡部１３０、状態評価部１４０、および判定部１５０から構成され、撮像部１１０が出力した画像を入力し、細かな表情を認識して認識結果を出力する。各部の説明については後述する。
【００１４】
図２は、本実施形態に係る画像処理装置１００のハードウェア構成例を示すブロック図である。
図２に示すように、画像処理装置１００は、演算装置２０１、ＲＡＭ２０２，２次記憶装置２０３、撮像装置２０４、ネットワークＩ／Ｆ２０５、入力装置２０６、表示装置２０７、およびバス２０８を備えている。
【００１５】
演算装置２０１は、ＣＰＵ、ＭＰＵ、ＰＥおよびＧＰＵなどであり、プログラムに従って命令を実行し、画像処理装置１００を構成する各部の処理や制御を行う。ＲＡＭ２０２は、ＤＲＡＭやＳＲＡＭなどの揮発性メモリであり、画像などのデータやプログラムを一時的に記憶する。
【００１６】
２次記憶装置２０３は、磁気記憶装置、半導体メモリ等のストレージデバイスであり、長時間記憶しなくてはならないデータ等を記憶する。データは例えば、本実施形態のフローチャートに係るプログラムやその他の制御に必要なプログラム、撮像装置２０４から入力したデータ、各種設定内容などである。演算装置２０１は、２次記憶装置２０３に記憶したプログラムやデータを、高速にアクセス可能なＲＡＭ２０２に転送して、プログラムの実行、およびデータを利用する。
【００１７】
撮像装置２０４は、光学レンズと映像センサとを備えたカメラなどであり、光の物理量を計測、検出してＡ／Ｄ変換などを行いデジタル信号として出力する。例えば、レンズユニット等の光学系や後述する映像センサなどから構成され、波長帯毎に各８ビットで表現される画像を出力する。ネットワークＩ／Ｆ２０５は、モデムなどデジタルデータの送受信のためのインターフェースであり、インターネットやイントラネットなどのネットワークと接続を行う。
【００１８】
入力装置２０６は、オペレータからの操作命令を入力するキーボードやマウス、タッチパネル、スイッチ、ボタン等である。表示装置２０７は、液晶パネル、液晶ディスプレイなどのモニタ、プロジェクタ等であり、各装置の設定内容や撮像装置２０４から取得した画像、画像認識部１０１が出力する認識結果などの情報を表示する。バス２０８は、これらを接続して相互にデータの入出力を行う。
【００１９】
なお、画像処理装置１００の構成は、上述した構成に限られるものではない。例えば、表示装置２０７は、その他の構成部と物理的に離れた場所に置かれていてもよく、映像をネットワークＩ／Ｆ２０５を介して他の構成部に転送するような構成でもよい。
【００２０】
＜全体のフロー＞
図３は、本実施形態における全体的な処理手順の一例を示すフローチャートである。以下、図３を参照しながら画像処理装置１００において表情を識別する実際の処理について説明する。なお、本実施形態では説明を簡便にするため、撮像部１１０から取得する画像には、顔が１つだけ写っていることとする。もちろん実際に装置を運用する際には複数の顔が画像に写ることも考えられる。その場合は図３のステップＳ３０３以降の処理を顔それぞれについて繰り返せばよい。
【００２１】
まず、ステップＳ３０１において、撮像部１１０は、撮像装置２０４から処理すべき画像を取得する。ここで、図１における撮像部１１０について詳細を説明する。撮像部１１０は、光学レンズと映像センサとを備えた撮像装置２０４を用いて実現される。センサの物理的構成、およびセンサが受光した信号を画像化する現像処理の構成は、本実施形態で人物の顔を撮影する場合を例に、以下のように構成する。
【００２２】
一般にデジタルカメラなどで普及している映像センサとして代表的なＣＭＯＳイメージセンサは、各フォトダイオード前面に異なる分光透過率を持つカラーフィルタを持つ。一般的にはＲＧＢの３種類で、それぞれ人間が見ることができる赤・緑・青の３色に対応している。本実施形態では、これらカラーフィルタのうち全部または一部を、例えば波長７００ｎｍを中心に半値全幅５０ｎｍから１００ｎｍ程度の幅の波長帯を持つフィルタに変更している。
【００２３】
撮像部１１０で撮影した信号から画像を実際に得る現像処理では、以下のようにすればよい。映像センサ中の全部の画素のカラーフィルタを上記のフィルタに置き換えた場合、単色のカメラとして扱うことができる。センサ信号をそのまま取り出して画像化すれば、上記７００ｎｍを中心に半値全幅５０ｎｍから１００ｎｍ程度の波長帯で見える映像が得られる。一方、映像センサ中の一部の画素を上記のフィルタに置き換えた場合、歯抜けの状態で画素が配置されており、歯抜けを補完（デモザイク）する処理が必要になる。その補完の方法は任意であるが、例えばガウシアンフィルタのような畳み込みフィルタを用いればよい。取り出したままの歯抜け画像にガウシアンフィルタを適用すれば、抜けている画素の値を補完した画像を得ることができる。または、各色単独では画素の数が少なく解像度が足りない場合は、分光透過率が近い色の画素同士を組み合わせて相補的に補完してもよい。
【００２４】
本実施形態では、上記のような映像センサを用いることにより、顔表面のほくろ、しみ、毛穴などに存在するメラニンを人間の視覚より強調して写すことができる。つまり、複数種類の物質が持つ分光反射率が特定の波長帯で異なる場合、その特定の波長帯でのみ物質を見ると、物質の反射輝度の違いにより物質の違いを可視化できる性質を利用している。前述した７００ｎｍ付近は、メラニン色素とそれ以外の肌領域とで分光反射率に違いがある特定の波長帯であり、非特許文献１にはこのことが示されている。
【００２５】
本実施形態では波長７００ｎｍを利用して肌のメラニン色素を区別して可視化することに着目しているが、例えば、波長９５０ｎｍ付近を利用して血液のヘモグロビンを区別して可視化することも可能である。近紫外線から近赤外線までの波長帯のうち、可視光の波長帯の半分以下の幅の波長帯で物体を撮影するものであれば、ヘモグロビンを区別して強調することができる。
【００２６】
次に、ステップＳ３０２において、特徴抽出部１２０は、ステップＳ３０１で取得した画像に写る人物の顔を検出して、画像中の顔の位置を特定する。なお、顔の検出は公知の技術を用いればよく、例えば非特許文献２に記載の方法を利用する。
次に、ステップＳ３０３において、特徴抽出部１２０は、ステップＳ３０２で検出した顔の位置から平行移動、回転、スケールの座標変換を行い、顔の位置、大きさや回転角を正規化した正規化顔画像を作成する。
【００２７】
次に、ステップＳ３０４において、特徴抽出部１２０は、正規化顔画像から所定の演算を行って特徴点を抽出し、各特徴点の特徴量を出力する。以下、ステップＳ３０４における特徴抽出部１２０の処理について詳細を説明する。ここでは正規化顔画像から、表情の識別に必要な特徴量を抽出する。特徴量は多次元量であり、特徴ベクトルとして表される。特徴量を抽出する方法は特に限定されないが、本実施形態では以下のように特徴量を抽出する。
【００２８】
まず、画像から追跡の対象としやすい、コーナー等の特徴点を抽出する。特徴点を抽出するには、非特許文献３に記載のＨａｒｒｉｓのインタレストオペレータの演算を行い、演算結果が極大となる画素を特徴点とする。特徴点の目安としては、肌のほくろや、しみ、毛穴、しわ、にきび、髭、血管、産毛、傷跡などの局所的な顔の中の構造が挙げられる。様々な大きさのほくろやしみ等に対応するためには、あらかじめ画像を拡大縮小したり、ガウシアンフィルタのサイズを変えたりして畳み込みを行った画像に対して、Ｈａｒｒｉｓ演算を行えばよい。なお、特徴点の密度が特定の箇所に偏らないようにするため、正規化顔画像を格子状に例えば２０×２０ブロックに領域分割を行い、各領域で所定の数以上の特徴点については枝切りを行ってもよい。これにより、認識精度への影響を抑えつつ効果的に処理コストを削減できる。
【００２９】
次に、抽出した各特徴点について特徴量を求める。特徴量としては、特徴点の周囲の画素値を用いて、モーメントを求める。１つの特徴点（ｘ0，ｙ0）の周りの（ｍ＋ｎ）次モーメントＵmnは以下の式（１）によって求めることができる。
【００３０】
【数１】
2018200640.tif 000003
【００３１】
ただし、｜ｘ−ｘ0｜＜α，かつ｜ｙ−ｙ0｜＜αとする。また、αは本実施形態では８である。また、ｆ（ｘ，ｙ）として通常は画像の輝度値を用いるが、本実施形態では通常の肌よりほくろの中心の値が高くなるようにするため、白黒反転させた画素値を利用する。
【００３２】
また、特徴点の抽出によらないで最も簡単に特徴量を抽出する方法として、矩形領域内の画素値を左上から右下に向かって順に取り出し、一列につなげた数値列を特徴ベクトルとする方法を用いてもよい。あるいは画素値を取り出す前に非特許文献４に記載の方法を用いてもよい。隣り合う画素の大小関係だけに変換すれば、撮影環境で変化する画像全体での輝度値の大きさの変動を取り除くことができる。さらにその他各種の画像処理フィルタを前処理として組み合わせることも可能である。
【００３３】
次に、ステップＳ３０５において、追跡部１３０は、ステップＳ３０４で抽出された特徴点と過去に撮影した正規化顔画像の特徴点との照合を行い、特徴点の時間的な変化を追跡し、一定期間の時間的な変化をＲＡＭ２０２または２次記憶装置２０３に記憶する。以下、ステップＳ３０５における追跡部１３０の処理について詳細を説明する。
【００３４】
ＲＡＭ２０２には、過去に撮影した画像について特徴抽出部１２０において抽出された特徴点の情報が一定期間記憶されている。追跡部１３０は、入力された正規化顔画像と過去に入力された正規化顔画像とで特徴点の対応をとり、顔画像の各部位における時間的変位を出力する。特徴点の対応をとる方法では、例えば、ＲＡＮＳＡＣ法により、はずれ値を除外し、２画像の位置関係を表す座標変換行列を求める。ＲＡＮＳＡＣ（RANdom SAmple Consensus）法とは、パラメータ推定の一手法である。具体的には、少数の点から求めたパラメータ推定の候補に対して、多数の点の中からその推定に適合する点の数や適合の正確性の度合いを算出し、度合いの高い推定候補を最終の推定結果として採用する方法である。
【００３５】
また、特徴点の時間的な変化の追跡には、オプティカルフローや、パーティクルフィルタを用いてもよい。また、二つの正規化顔画像で対応点をとる際には、肌のほくろ、しみ、毛穴、しわ、にきび、髭、血管、産毛、傷跡などの局所的なパターンマッチを利用してもよい。局所的なパターンマッチは処理が単純だが、パターンサイズが大きすぎると回転や変形などの変動の影響を受けてミスマッチが発生しやすくなり、パターンサイズが小さすぎると誤った対応点とマッチする問題が発生しやすい。そこで、例えば非特許文献５に記載の方法を用いる。非特許文献５に記載の方法は、特定の大きさ・形状のパターンが入力画像のどこに存在するかを求めるフィルタ演算である。例えば、顔のほくろが概ね円形であると仮定すれば、様々な大きさの円形に対応するフィルタを用意することで、各種大きさのほくろの位置を求めることができる。また、この方法では、ほくろの濃さに対応して存在の確度も得られる。フィルタの形状を任意に変えることで、別の形状のパターンも同様の方法で取り出すことができる。また、撮影した画像に顔が複数存在する場合には、過去の画像との顔の位置や顔画像の変位が最小になるように対応付けを行って同一の人物で追跡すればよい。
【００３６】
次に、ステップＳ３０６において、状態評価部１４０は、データの蓄積時間が顔画像の状態を評価するのに十分か否かを判定する。この判定の結果、データの蓄積時間が不十分な場合はステップＳ３０１に戻り、更に処理すべき画像を取得する。一方、データ蓄積時間が十分な場合は、ステップＳ３０７に進む。
【００３７】
ステップＳ３０７においては、状態評価部１４０は、特徴点の時間的な変化から顔画像の状態を評価し、評価値を出力する。以下、ステップＳ３０７における状態評価部１４０の処理について詳細を説明する。状態評価部１４０は、追跡部１３０が出力した特徴点群の変位に基づき、緊張度、笑顔度、疲労度、本音度、ストレス度、警戒度、活性度などの状態に係る評価値を出力する。
【００３８】
図４は、状態評価部１４０の詳細な構成例を示すブロック図である。
状態評価部１４０は図４に示すように、領域分割部１４１、代表ベクトル抽出部１４２、周波数変換部１４３、パルス検出部１４４、および射影部１４５を備えている。
【００３９】
領域分割部１４１は、顔領域を詳細な領域に分割を行う。図５は顔領域の分割標本の例を示しており、顔領域の分割例の１つである。分割標本は平均的な顔形状の筋肉の流れに沿って領域を分割するのが好適であるが、領域の分割方法は図５に示す例に限定されるものではない。また、個人差や視点の位置や方向による顔形状の差を吸収するため、分割標本から変形を行う必要がある。変形はまず、特許文献１に記載の方法で顔の目口の重心を検出し、そこから、器官の周囲の特徴点を検出する。次に画像から検出した特徴点と、分割標本の対応点とを合わせ、他の点は等比間隔になるように各頂点を移動することで変形を行い、複数の領域を決定する。
【００４０】
代表ベクトル抽出部１４２は、領域分割部１４１で分割した各領域について、複数の特徴点から領域を代表する特徴ベクトル（代表ベクトル）を出力する。代表ベクトルは、領域内の各特徴点の特徴量を平均することで求める。領域内に特徴点が１つもない場合には周辺領域の代表ベクトルから補完して求める。この場合、時刻ｔにおける領域ｍと領域ｎのそれぞれの重心間の距離をｄmntとして補完する。
【００４１】
周波数変換部１４３およびパルス検出部１４４は、代表ベクトル抽出部１４２から各領域における代表ベクトルを入力する。
周波数変換部１４３は、主として筋肉の痙攣を検出する。入力された代表ベクトルの変位に窓関数をかけてフーリエ変換を行って周波数空間に変換し、時刻ｔにおける周波数別の強度を出力する。
パルス検出部１４４は、主として筋肉のぴくつき（線維束性収縮）を検出する。所定時間における代表ベクトルの変位が所定の閾値を超えた場合に１を領域毎に出力する。閾値を超えてない場合には０を領域毎に出力する。
【００４２】
本実施形態では、周波数変換部１４３およびパルス検出部１４４は、映像より抽出した特徴量（代表ベクトル）を入力している。一方、人体に電極を接着し、電気抵抗や静電容量などの電気的な信号センサより入力したアナログ信号をデジタル変換して入力してもよい。周波数変換部１４３およびパルス検出部１４４は、一方のみを備え、筋肉の痙攣とびくつきのいずれかを検出するようにしてもよい。
【００４３】
射影部１４５は、代表ベクトル抽出部１４２、周波数変換部１４３およびパルス検出部１４４の出力から判別空間へと射影し、顔の状態を評価する評価値を算出する。ここで、射影のための変換式は、あらかじめ与えられる教師データを使用し機械学習することによって得られる。機械学習は非特許文献６のようなディープネット（或いはディープニューラルネット、ディープラーニングとも称される）と呼ばれる多階層のニューラルネットワークを用いる。ほかに、サポートベクターマシンやブースティング、ランダムツリーなどの非線形射影や判別分析などの線形射影を用いてもよい。
【００４４】
また、前述した各状態の評価値（緊張度、笑顔度、疲労度、本音度、ストレス度、警戒度、活性度など）は、図５に示した各領域における代表ベクトルの変位などによって総合的に判断される。
【００４５】
緊張度は、リラックスした状態が０であり、体や心が張詰めた状態になるほど大きくなる値である。笑顔度は、真顔が０であり、口を大きく開けて大笑いするほど大きくなる値である。微笑みはその中間値をとる。疲労度は、疲労感がないと感じる時が０であり、疲労感が多いほど値が大きくなる値である。本音度は、表情と心理が同じ時に高くなり、異なるときに低くなる値である。その他、ストレス度、警戒度、活性度など、いずれも被験者をサンプリングしてアンケートによるヒアリングや測定を行い、統計的手法で度合いを定義する。
【００４６】
ステップＳ３０８においては、判定部１５０は、評価値が所定の範囲内か否か閾値との比較処理を行い、顔の表情を判定する。例えば、所定の閾値との比較によって笑顔度が高くても本音度が低い場合は、顔の表情は作り笑顔と判定する。本実施形態では自然な笑顔と作り笑いの時系列画像から得た特徴量を別のクラスとして教師データとして与えて適切な閾値を学習することで、自然な笑顔と作り笑いとを識別できるようになる。また、時系列画像と対応する緊張度を教師データとして与えて学習することで、入力データに対する緊張度を出力することができるようになる。
【００４７】
以上のように本実施形態によれば、特定の波長帯で物体を撮影することによって、一般的な画像ではわかりにくい特徴を判別できるようにしたので、しわなどの細かい特徴から、物体の状態をより細かく判別することができる。
【００４８】
（第２の実施形態）
第１の実施形態では、撮像部１１０が撮像する光の波長帯として、特定の１つの狭い波長帯を用いていたが、本実施形態では複数の波長帯を用いて顔を撮影することで物体表面の反射率が異なることを利用し、効果を増強できる例を説明する。以下、第１の実施形態と同じ部分は説明を省略し、第１の実施形態と異なる点についてのみ説明する。
【００４９】
＜撮像部＞
図１の撮像部１１０について、第１の実施形態との差異を説明する。第１の実施形態では、イメージセンサの全画素について、フォトダイオード前面に設けるカラーフィルタを、単一の分光透過率を持つものに置き換える例を説明した。本実施形態では二種類のカラーフィルタを配置する。具体的には、縦横に配列した画素について、図６に示すような市松模様で二種類のカラーフィルタを配置する。
【００５０】
図６において、１つは波長６００ｎｍを中心に半値全幅５０ｎｍから１００ｎｍ程度の波長帯の分光透過率を持つフィルタａを用いる。そして、もう１つは第１の実施形態と同様に７００ｎｍを中心に半値全幅５０ｎｍから１００ｎｍ程度の波長帯の分光透過率を持つフィルタｂを用いる。ただし図６の配置はあくまでも例であり、これに限ったものではない。また、カラーフィルタの分光透過率の絶対的な大きさに応じて、どちらか片方のカラーフィルタに対応する画素の数を多めまたは少なめに配置してもよい。
【００５１】
また、単一のイメージセンサで一度に二種類の波長帯を撮影する必要はない。物理的に近い位置に二つの撮像装置を用意して、それぞれのイメージセンサでそれぞれの波長帯を同時に撮影する方法も考えられる。あるいは、単一のイメージセンサ前のカラーフィルタでフィルタａとフィルタｂとを可動式で交換可能にして、はじめにフィルタａで撮影したあと次にフィルタｂで撮影する方法もありえる。
【００５２】
次に、入力画像を得る手順を説明する。以下、説明を簡便にするために上記６００ｎｍの波長帯を波長帯ａ、７００ｎｍの波長帯を波長帯ｂと呼ぶ。まず、図６のように単一イメージセンサ上に両波長帯に対応する画素があれば、同時に両波長帯の光を受光することができる。そのあと、波長帯ａ、ｂで受光した信号それぞれを画像化する。
【００５３】
ここで、それぞれの波長帯でのセンサ信号をそのまま取り出しただけの画像では、画素がない位置には信号がない市松模様の歯抜け状態となるため、抜けている画素の値を補完（デモザイク）する。その補完の方法は任意であるが、第１の実施形態と同じ方法を用いればよい。したがって本実施形態では、波長帯ａ、ｂの２チャンネルから成る入力画像を得ることができる。本実施形態で用いる６００ｎｍの波長帯は、非特許文献１に示すとおり、肌のメラニン色素の多少に対して、分光反射率があまり変化しない波長帯である。
【００５４】
＜特徴抽出部＞
図１の特徴抽出部１２０について、第１の実施形態との差異を説明する。本実施形態では、矩形領域を設定したあと、波長帯ａ、ｂのチャンネルのゲインを調整したのち、チャンネル間で輝度値を減算した差分画像を求める。そして、差分画像から、特徴点を抽出する。
【００５５】
まず、両波長帯で得られたチャンネルの輝度値をゲインで乗算して、図７で示す状態になるよう試みる。それは両波長帯で肌を撮影した際のセンサ信号値つまり輝度値の大きさが、矩形領域（図７に示す例では横一列）において両波長帯で略一致する状態である。本発明を運用する環境の光源を固定できる場合、ゲインは予め求めておくことができる。波長帯ａに対応するチャンネルの肌の輝度値Brightness（ａ）は、下記式（２）に示すようにＡ（ａ）×Ｂ（ａ）×Ｃ（ａ）で求めることができる。波長帯ｂでも同様の式によりBrightness（ｂ）を求めることができる。
Brightness（ａ）＝Ａ（ａ）×Ｂ（ａ）×Ｃ（ａ）      ・・・（２）
【００５６】
ここで、Ａ（ａ）は環境光源に含まれる波長帯ａの強度を表す。Ｂ（ａ）は、波長帯ａに対応する肌の反射率を表す。また、Ｃ（ａ）は波長帯ａに対応するカラーフィルタの透過率を表す。
【００５７】
Brightness（ａ）の大きさとBrightness（ｂ）の大きさとが略等しくなるように、予めゲインを定めておくことが望ましい。また、ここで用いる肌の反射率Ｂ（ａ）、Ｂ（ｂ）は、Fitzpatrickスケール３の顔を基準とするとよい。Fitzpatrickスケールとは、人間の皮膚色を６段階に分割する数値分類法である。スケール３はメラニンが中程度含まれる肌で、典型的には色白な日本人が属するものである。
【００５８】
その一方、持ち運び可能なカメラなど固定されていない環境で運用する場合、強度Ａ（ａ）、Ａ（ｂ）を仮定できない。その場合はそこで撮像したその場でゲインを求めることになる。矩形領域内の平均輝度を両チャンネルで求め、この両方の値が等しくなるようゲインを定めることが望ましい。
【００５９】
そして両チャンネルのゲインを調整したあと、図７に示すように、波長帯ａに対応するチャンネルから波長帯ｂに対応するチャンネルの輝度値を減算した差分画像を求める。ここで、肌でメラニンが集中する部分を明確に判断できるような差分画像が得られる理由を、図７を参照しながら顔のほくろを撮影する例を交えて説明する。
【００６０】
前述したように、メラニン色素の有無に対して分光反射率があまり変化しない波長帯である６００ｎｍの波長帯ａと、分光反射率が大きく変化する波長帯ｂとで撮影する。それぞれの波長帯で顔のほくろを横一列で撮影した画像を、図７中の画像（Ａ）と画像（Ｂ）とする。波長帯ａで撮影した画像（Ａ）は、メラニン色素の有無にかかわらず、輝度値が大きく変わらない状態で撮影できる。それに対して波長帯ｂで撮影した画像（Ｂ）は、メラニン色素の有無に応じて、輝度値のコントラストが大きい状態で撮影することができる。そして、画像（Ａ）から画像（Ｂ）を減算した差分画像が示すとおり、メラニンが多く含まれる肌の部分の画素は差分画像上では正の値となる。このように、肌のどこにメラニンが多く含まれているかを正負の値で示すことができる。
【００６１】
以上のように差分画像を求めることによってメラニンの位置を特徴点として抽出することができる。その後特徴量を抽出する場合は、第１の実施形態と同様の手順により特徴量を抽出すればよい。
【００６２】
以上のように本実施形態によれば、異なる波長帯のセンサを用いることにより差分画像を生成し、その特徴を抽出することができる。これにより、肌などの状態をより細かく判別することができる。
【００６３】
（その他の実施形態）
第１及び第２の実施形態では、物体として人間の顔を例に、詳細な表情を判定する表情認識の目的で本発明を説明した。ただし表情認識のほかの顔認識の目的として、例えば緊張度や疲労度などを数値化して推定することができる。さらに、本発明において、人物を追跡可能な撮影間隔ではなく、撮影間隔を日単位にしてむくみや肌の健康度、美容レベルなどを推定することもできる。
【００６４】
また、本発明が適用できる対象は、人間の顔に限らず、物体表面に局所的に存在する構成物質の配置をパターンとして物体の属性を判定することも可能である。従って、例えば生きた動植物や昆虫、細菌、ウイルスのストレス度、警戒度、緊張度、活性度などを評価し、値付け、商品選別、飼育、養殖、培養の効率化などに応用することもできる。なお、他の物体に応用する際には、その物体に適合する撮影波長帯を予め求めておくことが必要である。
【００６５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１１０  撮像部
１２０  特徴抽出部
１３０  追跡部
１４０  状態評価部
【図１】
2018200640.tif 000004
【図２】
2018200640.tif 000005
【図３】
2018200640.tif 000006
【図４】
2018200640.tif 000007
【図５】
2018200640.tif 000008
【図６】
2018200640.tif 000009
【図７】
2018200640.tif 000010