(57)【要約】【課題】カテゴリ数が未知の分類問題として、分類対象データの分類を行う。【解決手段】学習用の顔画像データ６２を用いて自己組織化マップの学習を行わせることで、マップ層６４のマップ層ユニットＵ０〜Ｕ４の結合荷重が、可視化画像６６のように決定される。そして、隣接するマップ層ユニット間における結合荷重の相関係数ｒ０〜ｒ３を計算し、最小のｒ３を示すマップ層ユニットＵ３，Ｕ４間を、第１層における分割境界７０とする。マップ層ユニットＵ４は、ただ一つに分類されたため、第２層の分類は行わない。他方、マップ層ユニットＵ０〜Ｕ３は、分類が不十分であり、第２層の分類を行う。この処理は、分類特性に基づき、分類が十分に行われると判断されるまで続けられる。こうして、最終的には、学習用の顔画像データに応じた二分木の表情特徴空間が形成される。【選択図】図３
2007272398.tif 000002
【特許請求の範囲】
【請求項１】
複数の学習データを順次マップ層へと自己組織化マッピングさせる学習演算を行い、得られた自己組織化マップの分類特性を評価して、前記マップ層を二以上のカテゴリに分類する分類処理手段と、
前記分類特性を評価して、あるカテゴリの再分類の必要性を判定する判定手段と、
前記判定手段により再分類が必要であると判定された場合に、そのカテゴリに属する前記学習データを対象として、再度、前記分類処理手段に分類を行わせる階層化手段と、
を備える分類装置。
【請求項２】
請求項１に記載の分類装置において、
前記マップ層は、結合荷重が設定された複数のマップ層ユニットを備え、
前記学習演算では、類似する前記学習データ同士を同一または近傍のマップ層ユニットにマッピングさせるように、前記結合加重が変更され、
前記分類特性は、前記学習演算により得られた前記結合加重についての特性であり、
前記判定手段は、前記マップ層ユニット間の結合荷重の相関を評価して、再分類の必要性を判定する分類装置。
【請求項３】
請求項１に記載の分類装置において、
前記判定手段は、ある階層までの分類により確定したカテゴリ数に基づいて、その階層におけるカテゴリの再分類の必要性を判定する分類装置。
【請求項４】
請求項１に記載の分類装置において、
前記分類処理手段は、前記マップ層を二つのカテゴリに分類する分類装置。
【請求項５】
請求項４に記載の分類装置において、
分類対象データを、形成された二分木の階層的な分類構造へと分類する手段と、
二分木の階層的な分類構造を表すインデックスを、分類された前記分類対象データに付与する手段と、
前記インデックスを利用して、分類された前記分類対象データの検索を行う検索手段と、
を備える分類装置。
【請求項６】
請求項１に記載の分類装置において、
前記学習データは、センサの検知結果に基づいて生成されたセンサデータである分類装置。
【請求項７】
請求項６に記載の分類装置において、
前記センサデータは、カメラ撮影された人間の顔画像データである分類装置。
【請求項８】
請求項７に記載の分類装置において、
あるカテゴリの結合荷重から生成された可視化画像に対して表情解析を行い、予め設定された対応表を参照して、このカテゴリを特徴づける意味情報を算出する算出手段を備える分類装置。
【請求項９】
請求項８に記載の分類装置において、
上位階層のカテゴリと下位階層のカテゴリとから、前記算出手段によって相反する意味情報が算出されたか否かを検査する検査手段を備える分類装置。
【請求項１０】
請求項８に記載の分類装置において、
前記学習データの一部分をなす部分データを対象として、前記分類処理手段、前記判定手段、前記階層手段、及び前記算出手段による各処理を実施させる手段と、
新たな顔画像データを、前記学習データに基づく分類構造、及び、前記部分データに基づく分類構造へと分類し、各々から得られる前記意味情報を対比して、この顔画像データを特徴づける意味情報を出力する手段と、
を備える分類装置。
【請求項１１】
コンピュータを、
複数の学習データを順次マップ層へと自己組織化マッピングさせる学習演算を行い、得られた自己組織化マップの分類特性を評価して、前記マップ層を二以上のカテゴリに分類する分類処理手段と、
前記分類特性を評価して、あるカテゴリの再分類の必要性を判定する判定手段と、
前記判定手段により再分類が必要であると判定された場合に、そのカテゴリに属する前記学習データを対象として、再度、前記分類処理手段に分類を行わせる階層化手段と、
して機能させるための分類プログラム。
【請求項１２】
コンピュータが実行する方法であって、
複数の学習データを順次マップ層へと自己組織化マッピングさせる学習演算を行い、得られた自己組織化マップの分類特性を評価して、前記マップ層を二以上のカテゴリに分類する分類処理手順と、
前記分類特性を評価して、あるカテゴリの再分類の必要性を判定する判定手順と、
前記判定手段により再分類が必要であると判定された場合に、そのカテゴリに属する前記学習データを対象として、再度、前記分類処理手順の分類を行わせる階層化手順と、
を含む分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自己組織化マップを用いたデータ分類技術、特に、分類されたデータをさらに細かく分類する技術に関する。
【背景技術】
【０００２】
顔画像データを、顔の表情に応じて分類する技術が知られている。
【０００３】
下記特許文献１には、顔器官（目や口など）の輪郭形状変化を数値化し、表情を推定する技術が開示されている。この技術では、驚き、喜び、怒り、中立の４表情を対象として、表情の推定を行っている。
【０００４】
下記特許文献２には、初めから基本６表情（驚き、喜び、悲しみ、恐れ、嫌悪、怒り）のカテゴリを決定し、それらの特徴ベクトルによるコードブックを基にして、マッチングによる表情認識を行う技術が開示されている。そして、無表情から基本６表情への遷移について、ＨＭＭ（隠れマルコフモデル）を用いた認識処理を行っている。
【０００５】
下記特許文献３の技術は、笑顔についてのみの判定を、口の開き具合の計測に基づいて行うものである。具体的には、色情報を用いて唇領域（口領域）や歯領域を抽出し、口領域の外形、内径、面積や、歯領域の面積などから口の開き具合を認識している。
【０００６】
これらの文献の技術では、顔器官の輪郭形状の抽出や顔器官上の特徴点の抽出に失敗した場合に、認識処理に破綻をきたしたり、処理の負荷が増加したりするため、リアルタイム性の高い認識が困難となる。また、これらの技術は、いずれも予め定められたいくつかの表情へと顔画像データを分類するものである。しかし、個人差等の要因により、同一の感情であっても表情の特徴が異なることがあるため、基本６表情とは異なる表情を分類のベースとする方が良い場合も考えられる。
【０００７】
これに対し、下記非特許文献１乃至３の技術では、自己組織化マップを利用して、個人の表情を分類している。この技術では、顔画像データの分類カテゴリの基準を予め定めることはせず、大きな特徴から小さな特徴へと次々と二分割して表情を分類している。これにより、個人の表情の特徴に適したカテゴリへと各表情が分類されることになる。
【０００８】
【特許文献１】特開２００５−２９３５３９号公報
【特許文献２】特開平８−２４９４５３号公報
【特許文献３】特開２００５−２３４６８６号公報
【非特許文献１】石井雅樹、佐藤和人、間所洋和、門脇さくら、西田眞、「顔の動的変化に着目した表情空間モデルの最適化に関する検討」、電子情報通信学会技術研究報告、電子情報通信学会、平成１７年（２００５年）３月１１日、第１０４巻、第７４２号、ＰＲＭＵ２００４−２５０、ｐｐ．１０９−１１４
【非特許文献２】石井雅樹、佐藤和人、間所洋和、西田眞、「顔画像の位相特性に基づいた個人固有の表情特徴空間の形成」、画像の認識・理解シンポジウム２００５論文集、情報処理学会、平成１７年（２００５年）７月１８日、ｐｐ．７６３−７７０
【非特許文献３】石井雅樹、西田眞、佐藤和人、間所洋和、「顔画像の位相特性に基づいた個人固有の表情特徴空間の形成に関する検討」、平成１７年度電気関係学会東北支部連合大会講演論文集、平成１７年度電気関係学会東北支部連合大会実行委員会、平成１７年８月２５日、ｐ．２９７
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記非特許文献１乃至３の技術は、上記特許文献１乃至３のように、固定された分類カテゴリへの分類を行うものではない。しかし、上記非特許文献１の技術では、あらかじめ階層的な分類の深さを定めてしまっている。このため、多様な表情を捉え切れない場合がありえる。特に、個人差、性別差、民族差などの違いや、顔の向きの違い、照明の違いなども考慮すると、予定した数よりも多くの分類を行った方が好ましいことがありえる。また、実際にはそれほど多様な表情が無いにもかかわらず、カテゴリが予定した数になるまで、強引に分類を行ってしまうこともありえる。
【００１０】
なお、表情分類は、技術的に困難である一方、Human Computer Interaction をはじめとする様々な分野での応用が期待されている。しかし、表情分類の技術は、必ずしも顔データの分類に限定されるものではなく、一般的な画像、動画、音声などの各種センサデータはもとより、図形や文書などの様々なデータの分類にも適用できることが多い。
【００１１】
本発明の目的は、カテゴリ数が未知の分類問題として、分類対象データの分類を行う技術を確立することにある。
【００１２】
本発明の別の目的は、表情の多様性に応じて、顔画像データの分類カテゴリ数を変更する技術を実現することにある。
【００１３】
本発明のさらに別の目的は、個人の顔画像データをもとに、その個人に固有の表情特徴空間を形成する新たな技術を開発することにある。
【課題を解決するための手段】
【００１４】
本発明の分類装置は、複数の学習データを順次マップ層へと自己組織化マッピングさせる学習演算を行い、得られた自己組織化マップの分類特性を評価して、前記マップ層を二以上のカテゴリに分類する分類処理手段と、前記分類特性を評価して、あるカテゴリの再分類の必要性を判定する判定手段と、前記判定手段により再分類が必要であると判定された場合に、そのカテゴリに属する前記学習データを対象として、再度、前記分類処理手段に分類を行わせる階層化手段と、を備える。
【００１５】
分類装置は、演算機能及び記憶機能を備えたコンピュータハードウエアと、その動作を制御するソフトウエアとを用いて構築することができる。分類装置は、通信可能な複数のハードウエアを用いた分散システムとして構築されても、単体のハードウエアを用いた集中システムとして構築されてもよい。
【００１６】
分類処理手段は、自己組織化マップの学習演算を行って、そのマップ層を二以上のカテゴリに分類する。自己組織化マップとは、分類対象データが入力される入力層と、その入力が写像（マッピング）されるマップ層とを備えた（さらに中間層を備えることもできる）数理モデルであり、分類装置内では記憶装置（メモリ）上に構築される。自己組織化マップの学習では、教師信号は用いられず、代わりに、分類対象データとしての学習データの入力に対し、マップ層を構成するマップ層ユニットの競合と更新が行われる。これにより、一般に、自己組織化マップは、類似する分類対象データ同士を同一又は近傍のマップ層ユニットに写像するような分類特性を備えるに至る。分類処理手段は、予め設定された分類条件に当てはめるなどして分類特性を評価し、マップ層を二以上のカテゴリに分類する。
【００１７】
判定手段は、あるカテゴリの再分類の必要性を判定する手段である。判定は、分類特性の評価によって行われる。この評価態様は、分類処理手段と同じであってもよいが、異なっていてもよい。例えば、判定手段は、あるカテゴリ内の分類特性を評価して、予め設定された再分類条件に基づき、再分類の必要性を判定する。
【００１８】
階層化手段は、再分類が必要であると判定された場合に、そのカテゴリに属する学習データを対象として、再度、分類処理手段による分類を実行させる手段である。これにより、そのカテゴリが、複数の下位カテゴリに再分類される。
【００１９】
この構成によれば、学習データに応じた自己組織化マップが階層的に形成される。そして、下位の分類を行うか否かは分類特性の判定により行われるため、学習データや判定基準に応じた適当な数や分類特性をもつカテゴリが形成されることになる。すなわち、学習データの特徴に対応した特徴空間が自己組織的に形成されることになる。
【００２０】
なお、形成された分類空間を用いて、学習データはもとより、新たな分類対象データを分類することができる。すなわち、上位の階層から順に自己組織化マップを用いた分類を行うことで、この分類対象データの分類を行うことが可能となる。この分類処理は、階層数分の演算により実施できるので、リアルタイム処理にも適している。
【００２１】
階層化手段が分類処理手段に分類を行わせるにあたっては、通常は、階層の深さによらず、同じ数のマップ層ユニットが使われる。これは、深さによらず同程度の精度で分類を行うという観点から有効である。しかし、使用する前記マップ層ユニットの数を変更させることも可能である。例えば、階層の深さに応じてマップ層ユニットの数を増加させた場合には、比較的小さな差異の解析を精度よく行うことが可能となる。
【００２２】
本発明の分類装置の一態様においては、前記マップ層は、結合荷重が設定された複数のマップ層ユニットを備え、前記学習演算では、類似する前記学習データ同士を同一または近傍のマップ層ユニットにマッピングさせるように、前記結合加重が変更され、前記分類特性は、前記学習演算により得られた前記結合加重についての特性であり、前記判定手段は、前記マップ層ユニット間の結合荷重の相関を評価して、再分類の必要性を判定する。
【００２３】
結合荷重は、入力層の位相に対応したデータであり、各マップ層ユニットに設定される。学習演算では、結合荷重を調整することで、入力されるデータに対する競合特性を変更し、ひいては分類特性を変更することとなる。そして、判定手段は、再分類の必要性を、マップ層ユニット間の結合荷重の相関により判定する。相関の評価は、絶対的な大きさの評価であっても、複数の前記相関同士の相対的な大きさの評価であってもよい。相関を評価することで、例えば、同じカテゴリ内での分類特性の類似度や、別カテゴリとの間における分類特性の相違度を評価することが可能となる。判定手段では、こうした評価結果を適当な基準値と比較するなどして、下位の分類を行うべきか否か判定する。なお、この態様においては、分類処理手段は、得られた自己組織化マップにおける結合荷重を評価して、マップ層の分類を行う。具体例としては、隣接するマップ層ユニット間の結合荷重の相関が小さな部分を分類の境界としてマップ層の分割を行う態様を挙げることができる。
【００２４】
本発明の分類装置の一態様においては、前記判定手段は、ある階層までの分類により確定したカテゴリ数に基づいて、その階層におけるカテゴリの再分類の必要性を判定する。つまり、既に再分類の必要性がないとされたカテゴリの数を用いて、自己組織化マップの分類特性を評価し、さらに細かな再分類を行うべきか否か決定する。
【００２５】
本発明の分類装置の一態様においては、分類処理手段は、前記マップ層を二つのカテゴリに分類する。二つのカテゴリに分類することで、明確な特徴に基づいて大別することが可能となる。なお、この場合、マップ層ユニットの数は比較的少数で十分であると考えられる。具体的な数は、学習データの数量などのパラメータにも依存するため適宜実験を行って決定することが望ましいが、例えば２０個程度以下、さらには１０個以下としても良いことが多いであろう。また、二つのカテゴリに分類する場合には、マップ層ユニットの配置は１次元的であれば十分なことが多いと考えられる。これにより、演算速度の高速化が実現するものと期待される。なお、こうして形成される分類の二分木構造は、学習データ群に包含される特徴を、寄与度の大きいものから順に分類基準とした結果を表すことになる。
【００２６】
本発明の分類装置の一態様においては、分類対象データを、形成された二分木の階層的な分類構造へと分類する手段と、二分木の階層的な分類構造を表すインデックスを、分類された前記分類対象データに付与する手段と、前記インデックスを利用して、分類された前記分類対象データの検索を行う検索手段と、を備える。分類対象データは、学習に使用した学習データであってもよいが、新たなデータであってもよい。二分木を利用した検索アルゴリズムは様々に知られているところである。ここでは、分類の結果得られる二分木構造を、そのまま検索に利用することで、直ちにそうした検索アルゴリズムが使用できることとなる。
【００２７】
本発明の分類装置の一態様においては、前記学習データは、センサの検知結果に基づいて生成されたセンサデータである。また、本発明の分類装置の一態様においては、前記センサデータは、カメラ撮影された人間の顔画像データである。つまり、表情認識装置や表情分類装置とでも呼ぶべき分類装置が実現する。この場合、典型的には、学習データは、同一の個人の複数の顔画像データである。これにより、その個人固有の表情特徴空間を形成することができる。しかし、もちろん、複数の個人のデータをまとめて分類してもよい。この場合には、最初に、個人差が現れる可能性が高いが、特徴的な表情の分類が先に行われる可能性もある。
【００２８】
本発明の分類装置の一態様においては、あるカテゴリの結合荷重から生成された可視化画像に対して表情解析を行い、予め設定された対応表を参照して、このカテゴリを特徴づける意味情報を算出する算出手段を備える。全てのカテゴリについて意味情報を算出してもよいし、末端（最下位）の階層のカテゴリについてのみ意味情報を算出してもよい。表情解析の例としては、特徴点の動きに基づくルールベースの解析や、テンプレートデータと対比するテンプレートベースの解析などを挙げることができる。また、意味情報は、喜びや悲しみというような感情についての情報や、笑顔や泣き顔というような模写的情報など、カテゴリの意味を与える情報である。表情解析結果に応じた意味情報を予め対応表として設定し記憶させておくことで、カテゴリについての意味情報を算出することが可能となる。
【００２９】
本発明の分類装置の一態様においては、上位階層のカテゴリとその下位階層のカテゴリとから、前記算出手段によって相反する意味情報が算出されたか否かを検査する検査手段を備える。例えば、喜びに分類されたカテゴリが、下位の階層において怒りと悲しみに分類されるような場合には、その分類は相反するものと言える（通常は予め相反する組み合わせなどが規則化され設定される）。そこで、検査手段を設け、こうした矛盾を検証することとした。なお、相反する分類がなされた場合には、例えば、学習データ数を増やす処理を行ってもよいし、上位のカテゴリに比べ小さな差異に基づいて生成された下位のカテゴリの分類を不採用とする処理を行ってもよい。
【００３０】
本発明の分類装置の一態様においては、前記学習データの一部分をなす部分データを対象として、前記分類処理手段、前記判定手段、前記階層手段、及び前記算出手段による各処理を実施させる手段と、新たな顔画像データを、前記学習データに基づく分類構造、及び、前記部分データに基づく分類構造へと分類し、各々から得られる前記意味情報を対比して、この顔画像データを特徴づける意味情報を出力する手段と、を備える。対比に基づく意味情報の決定処理は、例えば、多数決（これは特に複数の部分データに対して同様の処理を行い、それぞれから意味情報を得た場合に有効である）により行ってもよいし、共通部分の選定処理により行ってもよい。また、前記学習データ（広範囲のデータ）に基づく意味情報を前記部分データ（狭範囲のデータ）に基づく意味情報よりも重きをおくようにすることも有効である。
【発明の効果】
【００３１】
本発明により、処理対象データに含まれる特徴に応じて、適当なカテゴリ数を定め、そのカテゴリへと分類することが可能となる。例えば、処理対象データとして個人の顔画像データを用いた場合には、その個人に適した表情特徴空間を形成することが可能となる。
【発明を実施するための最良の形態】
【００３２】
図１は、本実施の形態にかかる表情認識システム１０の概略的な構成を説明するブロック図である。表情認識システム１０は、表情認識装置２０と、表情認識装置２０に顔画像データを入力する撮像装置４０と、表情認識装置２０による分類結果を表示する表示端末５０を備えている。
【００３３】
表情認識装置２０は、通常、ＰＣ（パーソナルコンピュータ）などのコンピュータを用いて形成される。表情認識装置２０には、信号入力処理部２２、表情学習処理部２４、表情認識処理部３０、及び認識結果出力部３４が設けられている。信号入力処理部２２は、撮像装置４０から顔画像データを入力し、表情学習処理部２４や表情判定処理部３２に出力する。その際には、信号入力処理部２２は、必要に応じて動画データからの静止画の切り出しを行ったり、顔領域の領域画定やサイズ正規化などを行う。
【００３４】
表情学習処理部２４は、入力される顔画像データを学習データとして、表情特徴空間を形成するものである。表情学習処理部２４には、表情特徴空間形成処理部２６と、表情特徴空間データベース２８が設けられている。表情特徴空間形成処理部２６は、ＳＯＭ（自己組織化マップ）を内蔵しており、順次分類結果を二分割して、二分木構造をもつ表情特徴空間を形成する。形成された表情特徴空間は、表情特徴空間データベース２８に格納される。
【００３５】
また、表情学習処理部２４は、分類された表情特徴空間がどのような表情を反映したものであるかを解析することができる。すなわち、分類された特徴空間を表す可視化画像を解析して、驚き、喜び、悲しみ、恐れ、嫌悪、怒り、無表情などの基本表情についての意味情報や、基本表情が複合的に表現されている旨を示す意味情報、基本表情よりもさらに細かな表情を表現する意味情報などを求める。また、特徴空間が顔の向きの差異や、撮影条件の差異を反映しているような場合には、そうした差異に基づく意味情報を与えることも可能である。もちろん、特徴空間に対しては必ずしも意味情報を与える必要はないが、意味情報を与えることで、分類結果の理解が促進され、また、検索や利用がしやすくなるという利点が生じる。意味情報を算出するための解析は、従来から知られている手法を利用して自動的に行うことができる。手法の例としては、各種表情に対応した複数のテンプレートを用意しておき、類似性を判定するテンプレートベースの手法や、顔器官の距離や面積などを測定するルールベースの手法を挙げることができる。そして、これらの解析結果と意味情報との対応づけを予め規則化しておくことで、解析結果から意味情報を求めることが可能となる。
【００３６】
表情認識処理部３０は、表情判定処理部３２を備える他、表情特徴空間データベース２８を表情学習処理部２４と共有している。表情判定処理部３２では、表情特徴空間データベース２８に形成された表情特徴空間に従って、新たに入力される顔画像データの分類を行う。具体的には、形成されたＳＯＭに顔画像データを入力し、どのカテゴリに分類されるかという処理を最下層のＳＯＭにまで繰り返すことで、分類が行われる。
【００３７】
認識結果出力部３４は、表情認識処理部３０による表情認識の結果を入力し、表示端末５０に出力する。その際には、認識結果出力部３４は、認識結果を階層表示したり、得られた意味情報を表示したりするなど、ユーザ理解が容易な形態へとデータを整理する。
【００３８】
図２は、図１に示した表情学習処理部２４が表情特徴空間を形成する手順を示すフローチャートである。処理が開始されると、表情特徴空間形成処理部２６は、信号入力処理部２２から顔画像データを順次入力して（Ｓ１０）、ＳＯＭの学習処理を行う（Ｓ１２）。ＳＯＭ及びその学習法については後で詳しく説明する。続いて、ＳＯＭのマップ層ユニットに設定された結合荷重の可視化処理を行うとともに（Ｓ１４）、隣接するマップ層ユニットの結合荷重の相関係数を算出する（Ｓ１６）。そして、相関係数が最も小さいマップ層ユニット間で、マップ層の二分割を行い（Ｓ１８）、さらに分割されたマップ層の分割比が検討される（Ｓ２０）。ここでは、マップ層ユニットが５個である場合を想定しており、２分割が４：１または１：４で行われた場合に、１のユニットについては再分類を行わず分類処理を終了する（Ｓ２２）。他方、上記２分割が４：１もしくは１：４で行われた場合の４のユニット、または、上記２分割が３：２もしくは２：３で行われた場合の各ユニットについては、分類処理の対象となる。１のユニットについてのみ、再分割を行わない理由は、１のユニットでは既に十分に細かな分割が行われたとみなせることによる。ただし、一般的な分割の深さや、マップ層ユニットの数によっては、特に上位の階層においては、１のユニットの再分割を実施したほうが良い場合もありえる。
【００３９】
続いて、再分類の対象となったマップ層ユニット間の結合荷重の相関係数を計算し、その値を評価する（Ｓ２４）。これは、同じカテゴリに分類されたマップ層ユニットがほぼ同様の結合荷重を有しているのであれば、再分類をする必要性が小さいためである。具体的には、マップ層ユニット間の相関係数のばらつき（相対的な大きさの差）が基準値より小さい場合には、再度の分類の必要はないと判断し、処理を終了する（Ｓ２２）。他方、マップ層ユニット間の相関係数のばらつきが大きい場合には、再分類が必要であると判断し、処理を続行する。なお、判定は、複数の相関係数の絶対的な大きさにより行うことも可能である。具体的には、相関係数がある基準値以上になるまで、再分類を繰り返す例を挙げることができる。また、分類の収束・発散を判断するため、下層になるにつれ、相関係数の絶対的あるいは相対的な大きさがどう変化するかを評価し、再分類の判定を行うことも有効であろう。判定における具体的な判断基準は、顔画像データの特性にもよるため、実験的、経験的に定めればよい。
【００４０】
最後に、再分類用の顔画像データが抽出される（Ｓ２６）。これは、最終的な結合荷重で固定されたＳＯＭに対し、顔画像データを入力し、いずれのマップ層ユニットに写像されたかを確認することで行われる。そして、再分類対象となった顔画像データに対しては、ステップＳ１２以降の処理が繰り返される。また、分類結果の情報は、表情特徴空間データベース２８に格納される。
【００４１】
次に、図３を用いて、さらに詳しく、分類の過程について説明する。図３は、表情特徴空間の形成例を示す模式図である。ＳＯＭは、入力層６０とマップ層６４の２層で構成されている。入力層６０は、顔画像データの画素数と同じ数（ここではｎ個とする）の入力層ユニットを備えており、ｉ番目（１≦ｉ≦ｎ）の入力層ユニットには、顔画像データ６２のｉ番目の画素の画素値ｘi（０≦ｘi≦２５５）が入力される。
【００４２】
マップ層６４は、一次元配置された五つのマップ層ユニットＵ０，Ｕ１，．．，Ｕ４を備える。各マップ層ユニットは各入力層ユニットと結びつけられており、各入力層ユニットに対応した結合荷重を備えている。すなわち、ｊ番目（１≦ｊ≦５）のマップ層ユニットはｗij（０≦ｗij≦１）で表される結合荷重を備える。結合荷重ｗijの値の大きさは画素値に関連している。
【００４３】
ＳＯＭの学習の開始時には、各マップ層ユニットの結合荷重ｗijは乱数を用いて初期化される。そして、ｔ回目の学習では、ｉ番目の入力層ユニットには、顔画像データにおけるｉ番目の画素の画素値ｘiが入力される。この時、ｘiとｗijとのユークリッド距離ｄjが、次式によって計算される。
【００４４】
【数１】
2007272398.tif 000003
この演算に基づいて、ｄjが最小となるマップ層ユニット、すなわち勝者ユニットが探索される。次に、勝者ユニット及びその近傍領域に含まれるマップ層ユニットの結合荷重が、次式によって更新される。
【００４５】
【数２】
2007272398.tif 000004
ここで、α(t)は学習率係数（０＜α(t)＜１）である。この一連の処理は、最大学習回数繰り返される。
【００４６】
本実施の形態では、学習回数ｔは経験的に２０万回に設定し、近傍領域は勝者ユニットと隣接するマップ層ユニットのみとして時間的に固定した。また、α（ｔ）の初期値は０．５とし、学習回数が１０万回の時点で０．０２まで、最大学習回数の時点で０までそれぞれ線形的に減少させた。さらに、結合荷重の更新比率は勝者ユニットを１とし、隣接するマップ層ユニットを０．５とした。
【００４７】
最終的に得られたマップ層の各ユニットの結合荷重ｗijの値は、０から２５５の値に変換され、可視化画像６６が生成される。また、マップ層の各隣接ユニット間において結合荷重ｗijの相関係数ｒ０，ｒ１，ｒ２，ｒ３が算出される。図では、相関係数ｒ３が最も小さいことを仮定しており、マップ層ユニットＵ３，Ｕ４の間でマップ層が二分割される。これは、相関係数が最も小さなマップ層ユニット同士が、最も大きな位相特性差を有していると考えられることによる。
【００４８】
二分割したマップ層の双方に分類された入力群は、それぞれ独立な部分問題を構成するとみなせる。そこで、双方に分類された入力群を対象として再帰的にＳＯＭによる分類処理が繰り返される。ただし、図示した例では、マップ層ユニットＵ３，Ｕ４の間でマップ層が二分割されたため、マップ層ユニットＵ４は表情の位相特性が他と比較して特異性を有しているといえる。そこで、階層化処理を終了し、独立のカテゴリとして扱うことにする。他方、四つのマップ層ユニットＵ０〜Ｕ３に分類される顔画像データ７２に対しては、その間の相関係数ｒ０，ｒ１，ｒ２が基準値より小さい場合には、未だ分類が十分ではないとして再分類処理が行われる。
【００４９】
図示した例では、再分類処理の結果、分割境界７４がマップ層ユニットＵ２，Ｕ３の間に設定され、顔画像データ７２は、顔画像データ７６，７８の二つに分類されている。そして、これらの顔画像データ７６，７８に対しても、同様に、再分類の必要性が判定され、さらなる分類が継続される。
【００５０】
次に、図１に示した表情認識処理部３０における処理について、図４を用いて説明する。図４は、表情特徴空間データベース２８に格納された表情特徴空間の意味情報の解析結果を示す図である。図には、第１層の分類、及び第２層の分類により得られた可視化画像が示されている。可視化画像は、各マップ層ユニットＵ０〜Ｕ４の結合荷重から作成した画像である。つまり、ＳＯＭの入力層ユニットに対し、図示した可視化画像またはその類似画像を入力すると、そのマップ層ユニットへと分類されることを示している。
【００５１】
第１層においては、マップ層ユニットＵ４が１ユニットから分類され、独立のカテゴリとして決定されている。そこで、マップ層ユニットＵ４の可視化画像を隣接するマップ層ユニットＵ３の可視化画像と比較する。ここでは、比較は、FACS（Facial Action Coding System)のAUに従って行っている。FACSは、代表的な表情分析モデルとして知られているものであり、表情に対応した眉、目、口等の顔部位の動きの特徴をAU(Action Unit)として定性的に定義している。
【００５２】
その結果、第１層では、マップ層ユニットＵ４の可視化画像は、AU1の「眉の内側を上げる」特徴、AU2の「眉の外側を上げる」特徴、AU5の「上瞼を上げる」特徴、AU26の「顎を下げて唇を開く」特徴、AU27の「口を大きく開く」特徴などを備えていることが見出された。そして、これらの特徴をFACSの分類に当てはめることにより、マップ層ユニットＵ４は驚きの表情であると判定された。
【００５３】
同様にして、第２層で独立のカテゴリに分類されたマップ層ユニットＵ４の可視化画像は、AU6の「頬を上げる」特徴、AU25の「唇を開く（顎は下げない）」特徴、AU11の「鼻唇溝を深める」特徴、AU12の「唇端を鋭く引っ張り上げる」特徴、AU13の「唇端を鋭く上げて頬を膨らます」特徴を備えていることが示された。そして、FACSの分類に基づいて、喜びの表情であると判定された。
【００５４】
図示した例では、オペレータが目視でAUの解析を行っている。しかし、例えば、特徴点を設定して顔器官の差異を算出する従来技術を用いれば、FACSに基づく顔分類結果を、全く同様にして自動的に行うことができる。また、自動的な解析は、特徴点による手法に限られるものではなく、例えば、テンプレートを用いた手法など、様々な一般的技術を用いて行うことができる。なお、自動解析の結果、例えば、驚きと喜びがある割合で混ざったような複合的な表情との判断がなされる可能性があるが、その場合には、複合的な表情であるとの意味情報を付与すればよい。さらに、ここでは、分類の境界にあるマップ層ユニット間での比較を行ったが、二分された各分類の平均値同士を比較するなど、カテゴリ全体を判断対象に含めることも効果的であろう。
【００５５】
図５は、表情特徴空間の形成結果を示す図である。ここで使用した顔画像データは、被験者が主観的に表現した７表情(無表情、怒り、嫌悪、恐れ、喜び、悲しみ、驚き)を対象とし、通常の室内環境(日常一般的と考えられる蛍光灯による照明下)において動画像(24 bit Color)で取得したものである。取得した動画像をグレースケールの静止画像に変換した。そして、１被験者につき、表情毎に50枚から60枚程度、合計350枚から420枚程度の画像を学習データとして採用した。また、この例では、第４層までの分類で分類処理を打ち切っている。
【００５６】
まず、第１層では、マップ層ユニットＵ４に、驚きを表す独立カテゴリが構築されている。これは、驚きの表情が、他の表情に比べて特異性をもっているからだと考えられる。また、第２層では、マップ層ユニットＵ４に、喜びを表す独立カテゴリが構築されている。
【００５７】
第３層では、マップ層ユニットＵ０，Ｕ１のカテゴリと、マップ層ユニットＵ２〜Ｕ４のカテゴリとに分割されている。そして、これらに対しては第４層の分類（それぞれ４．１層及び４．２層と呼ぶ）が行われている。４．１層では、マップ層ユニットＵ２とＵ３の間の相関係数が最も低く、また、マップ層ユニットＵ０，１は恐れの表情、マップ層ユニットＵ２〜Ｕ４は無表情であると分析されている。他方、４．２層では、マップ層ユニットＵ２とＵ３の間の相関係数が最も低く、また、マップ層ユニットＵ０は嫌悪、マップ層ユニットＵ１，２は悲しみ、マップ層ユニットＵ３，４は怒りを表すと分析されている。
【００５８】
なお、この例では、第４層で分類処理を終了しているが、さらに下層までの分類を認める場合には、第４層の分類特性を評価することが望ましい。例えば、４．１層の場合、Ｕ３とＵ４は共に無表情に分類されていることからわかるように、似通った分類特性を有している。したがって、両者の結合荷重の相関荷重は比較的大きなものとなろう。ゆえに、このカテゴリについては、（基準値にもよるが）再分類をする必要がないと判断される可能性が高いと言える。他方、Ｕ０〜Ｕ３については、恐れまたは無表情に分類されていることからわかるように、両者の結合荷重の相関係数は比較的小さなものとなろう。そこで、このカテゴリについては、再分類をする必要があると判断される可能性が高いと言える。
【００５９】
続いて、別の被験者に対する分類結果について、図６を用いて説明する。図６の（ａ）は図５の被験者について、また、（ｂ）〜（ｄ）は、図５とは別の３名の被験者について解析した表情特徴空間を示す図である。ここでは、簡単のため、いずれも第３層までで分類を中止している。
【００６０】
図６（ａ）の被験者の場合には、全ての顔画像データ１００は、第１層でカテゴリ１０２とカテゴリ１０４に分類される。カテゴリ１０４は、独立したマップ層ユニットからなり、驚きの表情であると分析されている。他方、カテゴリ１０２は、第２層でカテゴリ１０６とカテゴリ１０８に分類され、独立のマップ層ユニットからなるカテゴリ１０８は、喜びの表情であると分析されている。そして、カテゴリ１０６は、第３層で恐怖又は無表情を表すカテゴリ１１０と、嫌悪、悲しみ、怒りを表すカテゴリ１１２に分類されている。こうして、図６（ａ）の場合には、第３層までの分類で、四つのカテゴリからなる表情特徴空間が形成される。
【００６１】
図６（ｂ）の被験者の場合には、第１層で驚きの表情を表すカテゴリ１２２が得られ、第３層で嫌悪のカテゴリ１２４、喜びのカテゴリ１２６、悲しみのカテゴリ１２８、及び怒り、恐怖、無表情を含むカテゴリ１３０が得られている。つまり、図６（ｂ）の場合には、第３層までの分類で、五つのカテゴリからなる表情特徴空間が形成される。
【００６２】
図６（ｃ）の被験者の場合には、第２層で驚きの表情を表すカテゴリ１４２と、無表情のカテゴリ１４４が得られ、第３層で怒りのカテゴリ１４６、恐怖と嫌悪のカテゴリ１４８、喜びのカテゴリ１５０、及び悲しみのカテゴリ１５２が得られている。つまり、図６（ｃ）の場合には、第３層までの分類で、六つのカテゴリからなる表情特徴空間が形成される。
【００６３】
図６（ｄ）の被験者の場合には、第２層で喜びのカテゴリ１６２が得られ、第３層で恐怖のカテゴリ１６４、嫌悪のカテゴリ１６６、悲しみのカテゴリ１６８、怒りのカテゴリ１７０、驚き及び無表情のカテゴリ１７２、及び無表情のカテゴリ１７４が得られている。つまり、図６（ｄ）の場合には、第３層までの分類で、七つのカテゴリからなる表情特徴空間が形成される。
【００６４】
このように、同じ階層数であっても、被験者ごとに、特徴空間の数や、その意味情報は異なる。つまり、被験者の表情には個人差があり、表情間の類似性も異なっている。したがって、どの程度のカテゴリ数で分類すべきか、また、どのような種類のカテゴリで分類すべきかは、一概に決定できるものではないことがわかる。そして、この性質にもかかわらず、本実施の形態の手法によれば、特徴差が大きなものから順に分類が行われ、その個人に適した表情特徴空間を形成することができる。また、複数の感情が混在した表情の分類においても有用に機能する。
【００６５】
なお、図６に示した例では、分類の深さを第３層までに限定したが、さらに深くまで分類することも可能であるし、また、分類結果に基づいて動的に深さを決定することも可能である。動的に深さを決定する例としては、カテゴリ数が一定値（例えば６個〜８個程度）を超えるまでは、次の層の分類を行う態様をあげることができる。図６（ａ）の場合には、第３層目までに四つのカテゴリのみしか得られておらず、さらにもう１層深く分類することが有効であろう。また、動的に深さを決定する別の例としては、図５の説明において言及したように、カテゴリ内のマップ層ユニット間における結合荷重の相関係数値に基づいて、そのカテゴリが再分類を必要としているか否かを判定する態様を挙げることができる。図６（ａ）の場合には、カテゴリ１１２において、嫌悪と悲しみと怒りが混ざっており、一般に互いの相関係数も大きなものとなる。そこで、このような場合には、（少なくともそのカテゴリは）さらに深くまで分類することが有効となろう。
【００６６】
図７は、決定された表情特徴空間を利用して、新たな顔画像データの分類を行う場合の処理の流れを示すフローチャートである。この処理は、図１に示した表情認識処理部３０を用いて行われる。
【００６７】
処理においては、まず、表情判定処理部３２が、分類対象となる個人の表情特徴空間のデータを、表情特徴空間データベース２８からロードする（Ｓ４０）。そして、信号入力処理部２２から、適当なサンプリング間隔で動画像から切り出した顔画像データを入力する（Ｓ４２）。顔画像データは、まず、第１層のマップ層に写像され（Ｓ４４）、どのカテゴリに写像されたかが判定される（Ｓ４６）。そして、そのカテゴリが最終階層でない場合には（Ｓ４８）、一つ下の階層（Ｓ５０）のマップ層に再度写像される。他方、分類されたカテゴリが最下層の場合には、そのカテゴリに分類された旨の情報が、そのカテゴリに付与された意味情報とともに出力される（Ｓ５２）。
【００６８】
最後に、顔画像データに対する分類処理の変形例について説明する。図８は、顔画像データを複数部分に分割して行う処理を説明する図である。
【００６９】
一般に、表情は顔全体の変化として現れるが、変化の度合いは顔全体において必ずしも一律ではない。また、同じ表情であっても、個人差などにより、顕著な特徴の現れる部分が異なることもありえる。そこで、ここでは、顔全体及び部分の画像を用いて解析を行うこととした。
【００７０】
図示した例では、撮影された頭部領域画像２００から、顔全体領域画像２０２、顔上部領域画像２０４、及び顔下部領域画像２０６を切り出している。顔全体領域画像２０２は、眉、目、鼻、口を含む顔面全体を含む画像である。また、顔上部領域画像２０４は、眉や目を含む画像であり、顔下部領域画像２０６は、鼻や口を含む画像である。これらの画像の切り出しは、例えばパターンマッチングの手法を用いて自動的に行うことができる。
【００７１】
自己組織化マップを用いた表情特徴空間の形成は、領域画像ごとに行われる。すなわち、まず、複数の顔全体領域画像２０２を用いた学習が行われ、顔全体領域表情特徴空間２０８が得られるとともに意味情報が付与される。同様にして、顔上部領域画像２０４を用いた学習により顔上部領域表情特徴空間２１０及びその意味情報が与えられ、顔下部領域画像２０６を用いた学習により顔下部領域表情特徴空間２１２及びその意味情報が与えられる。
【００７２】
そして、これらの表情特徴空間を用いて新たな顔画像データの分類を行う場合には、その顔画像データから顔全体領域画像、顔上部領域画像、及び顔下部領域画像を作成し、各特徴空間を用いた判定を行う。これにより、顔全体領域表情判定結果２１４、顔上部領域表情判定結果２１６、及び顔下部領域表情判定結果２１８が得られる。
【００７３】
最後に、これらを総合的に判断することで、表情認識結果２２０が得られる。判断は様々に行うことが可能である。例えば、多数決を行って、三つの判定結果のうち支配的な表情の意味情報を採用する態様が挙げられる。また、例えば、顔全体領域についての結果を基本的分類とし、顔全体領域ではうまく細分化できない表情については、顔上部領域や顔下部領域のうちこれらを明確に分類できた結果があればそれを利用する態様を挙げることもできる。このように、三つのうち、どの結果をどの段階で利用するかをルール化しておくことにより、個人の特徴にきめ細かに対応した表情認識を行うことが可能となる。
【００７４】
なお、以上に示した表情認識の技術は、様々な分野に応用することが可能である。例えば、表情特徴空間を記憶しておくことにより、顔の表情に影響を受けない個人認証（代表ベクトル抽出手法）を行うことができる。また、顔のパターン認識によるコンピュータ入力（例えばポインティングディバイスの操作）を行う場合にも、個人に適した顔のパターンを利用できるようになるため、特に、医療分野や福祉分野で高い効果を発揮することが期待できる。また、商品のモニター調査や心理テストなど感情情報を収集するような分野においても、本技術は有用なものとなろう。
【００７５】
さらに、本実施の形態の技術は、顔画像データ以外のデータを対象とすることで、様々なデータの分類に転用できる。データの例としては、顔画像データ以外の一般の画像データや、音声データなどを挙げることができる。
【図面の簡単な説明】
【００７６】
【図１】本実施の形態のシステム構成を示す概略的な機能ブロック図である。
【図２】表情特徴空間の形成時の処理を示すフローチャートである。
【図３】表情特徴空間の形成時の処理概要を示す図である。
【図４】表情の分析により意味情報を決定する過程を説明する図である。
【図５】表情特徴空間の形成結果の例を示す図である。
【図６】異なる４人の被験者の表情特徴空間を示す図である。
【図７】新たな顔画像データに対する表情認識の過程を示すフローチャートである。
【図８】顔全体、顔上部、顔下部の表情認識を統合する処理を示す図である。
【符号の説明】
【００７７】
１０  表情認識システム、２０  表情認識装置、２２  信号入力処理部、２４  表情学習処理部、２６  表情特徴空間形成処理部、２８  表情特徴空間データベース、３０  表情認識処理部、３２  表情判定処理部、３４  認識結果出力部、４０  撮像装置、５０  表示端末、６０  入力層、６２  顔画像データ、６４  マップ層、６６  可視化画像、７２  顔画像データ、７４  分割境界。
【図１】
2007272398.tif 000005
【図６】
2007272398.tif 000006
【図２】
2007272398.tif 000007
【図３】
2007272398.tif 000008
【図４】
2007272398.tif 000009
【図５】
2007272398.tif 000010
【図７】
2007272398.tif 000011
【図８】
2007272398.tif 000012