(57)【要約】【課題】  特定の神経伝達物質が分泌されたことにより変化する人の気分を簡易に推定する。【解決手段】  人の顔を撮像した顔画像を順次取得し、特定の神経伝達物質の分泌により人の顔において形状が変化する所定領域を顔画像における検出対象領域として設定し、順次取得された顔画像に基づいて、設定された検出対象領域の変化を検出し、検出された変化に基づいて特定の神経伝達物質に基づいて生ずる人の気分を推定する。【選択図】        図１
2008046691.tif 000002
【特許請求の範囲】
【請求項１】
人の顔を撮像した顔画像を順次取得する画像取得手段と、
特定の神経伝達物質の分泌により人の顔において形状が変化する所定領域を前記顔画像における検出対象領域として設定する領域設定手段と、
前記画像取得手段により順次取得された顔画像に基づいて、前記領域設定手段により設定された検出対象領域の変化を検出する変化検出手段と、
前記変化検出手段により検出された変化に基づいて特定の神経伝達物質に基づいて生ずる人の気分を推定する気分推定手段と、を含む、
ことを特徴とする顔画像処理装置。
【請求項２】
請求項１に記載の顔画像処理装置であって、
前記特定の神経伝達物質は、少なくともドーパミンを含み、
前記領域設定手段は、眼を検出対象領域として設定し、
前記変化検出手段は、前記検出対象領域として設定された眼の少なくとも上下いずれかの輪郭の曲率変化を検出し、
前記気分推定手段は、前記変化検出手段により検出された曲率変化に基づいて、ドーパミンの分泌に基づく人の気分を推定する、
ことを特徴とする顔画像処理装置。
【請求項３】
請求項１又は２に記載の顔画像処理装置であって、
前記特定の神経伝達物質は、少なくともドーパミンを含み、
前記領域設定手段は、顔に含まれる複数の部位を検出対象領域として設定し、
前記変化検出手段は、前記領域設定手段により設定された各検出対象領域の位置関係の変化を検出し、
前記気分推定手段は、前記変化検出手段により検出された位置関係の変化に基づいて、ドーパミンの分泌に基づく人の気分を推定する、
ことを特徴とする顔画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の顔画像処理装置であって、
前記特定の神経伝達物質は、少なくともドーパミンを含み、
前記変化検出手段は、前記領域設定手段により設定された検出対象領域に含まれるエッジの濃度変化を検出し、
前記気分推定手段は、前記変化検出手段により検出されたエッジの濃度変化に基づいて、ドーパミンの分泌に基づく人の気分を推定する、
ことを特徴とする顔画像処理装置。
【請求項５】
人の顔を撮像した顔画像を順次取得する画像取得手段、
特定の神経伝達物質の分泌により人の顔において形状が変化する所定領域を前記顔画像における検出対象領域として設定する領域設定手段、
前記画像取得手段により順次取得された顔画像に基づいて、前記領域設定手段により設定された検出対象領域の変化を検出する変化検出手段、
前記変化検出手段により検出された変化に基づいて、特定の神経伝達物質に基づいて生ずる人の気分を推定する気分推定手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に顔画像に写し出された人の気分を推定する技術に関する。
【背景技術】
【０００２】
コンピュータの急速な普及、発達に伴い、コンピュータが人とコミュニケーションを取りながらサービスを提供する機会が増えてきている。コンピュータが人とコミュニケーションを取る上では、人の気持ちを理解できるようになるのが望ましい。コンピュータが人の気持ちを理解することができれば、様々な分野、例えばカウンセリング等の医療分野や、ゲームなどのエンターテインメント分野等の幅広い産業分野で、より柔軟で多様なサービスの提供が可能となると考えられる。
【０００３】
そこで、従来では、人の顔画像をカメラで撮像して、その人が疲労している場合の顔、不安に思っている場合の顔、焦っている場合の顔等の複数のサンプル顔画像をデータベースに保持しておいて、新たに撮像した顔画像をそのデータベースを参照したマッチングを行って、人の感情を判定する技術が提案されている（特許文献１を参照）。
【０００４】
しかし、感情を判定する時は、例えば笑っている場合には口角が上がる、といった感情に対応する顔形状の変化を識別するものであり、感情に基づく表情は人間の意志によって、笑った顔をしたり、怒った顔をしたりすることでコントロールできてしまうため、人の状態を装置によって判定するには不十分な場合がある。
【０００５】
一方、人にはふとストレスを感じたときや、逆にふとリラックスしたときなどのように、人間の意志ではコントロールしにくい気分の変化が起きる。この気分の変化は、人体の神経伝達物質の分泌により引き起こされているとの臨床事実に基づいて、人の尿や血液からドーパミン、セロトニン、ノルアドレナリン等の神経伝達物質を検出して、人がストレスを感じているか等を判断する技術を提案しているものもある（特許文献２を参照）。
【特許文献１】特開２０００−７６４２１号公報
【特許文献２】特開２０００−１３１３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の従来技術は、顔画像による判別が感情の判別に止まっていために、人の意思によるコントロールが働き難い状態、即ち気分、を判別することはできなかった。また、特許文献２に記載の従来技術では、人体から直接に神経伝達物質の分泌を検出するには専門の装置を必要とするため、費用や手間がかかってしまっていた。そのため、簡易に人の気分を判断できるようなものではなかった。
【０００７】
本発明は、上記課題に鑑みてなされたものであって、その目的の１つは、特定の神経伝達物質が分泌されたことにより変化する人の気分を簡易に推定できる顔画像処理装置及びコンピュータのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る顔画像処理装置は、人の顔を撮像した顔画像を順次取得する画像取得手段と、特定の神経伝達物質の分泌により人の顔において形状が変化する所定領域を前記顔画像における検出対象領域として設定する領域設定手段と、前記画像取得手段により順次取得された顔画像に基づいて、前記領域設定手段により設定された検出対象領域の変化を検出する変化検出手段と、前記変化検出手段により検出された変化に基づいて特定の神経伝達物質に基づいて生ずる人の気分を推定する気分推定手段と、を含む、ことを特徴とする。
【０００９】
また、本発明に係るコンピュータ（パーソナルコンピュータ、サーバコンピュータ、プリンタ、携帯情報端末（ＰＤＡ）、携帯電話機、ゲーム装置等を含む、以下同様）を機能させるためのプログラムは、人の顔を撮像した顔画像を順次取得する画像取得手段、特定の神経伝達物質の分泌により人の顔において形状が変化する所定領域を前記顔画像における検出対象領域として設定する領域設定手段、前記画像取得手段により順次取得された顔画像に基づいて、前記領域設定手段により設定された検出対象領域の変化を検出する変化検出手段、前記変化検出手段により検出された変化に基づいて、特定の神経伝達物質に基づいて生ずる人の気分を推定する気分推定手段、としてコンピュータを機能させるためのプログラムである。
【００１０】
プログラムは、ＣＤ−ＲＯＭ（Compact Disk - Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk - Read Only Memory）、メモリーカードその他のあらゆるコンピュータが読み取り可能な情報記憶媒体に格納することとしてよい。
【００１１】
本発明では、カメラにより撮像された人の顔画像がコンピュータに入力される。そして、入力された顔画像について、特定の神経伝達物質の分泌により人の顔において形状変化する所定領域（例えば、眼、鼻、口、眉等の所定部位における形状変化）を検出対象領域として設定する。そして、コンピュータに順次入力される顔画像に基づいて、顔画像における検出対象領域の変化を検出する。ここで検出された変化に基づいて、分泌されたと推定される神経伝達物質に基づいて生じる、人の気分を推定する。
【００１２】
本発明によると、特定の神経伝達物質の分泌により人の顔において形状変化する所定領域が存在することを見出したことにより、人の顔画像に基づいた画像処理により、特定の神経伝達物質が分泌されたことにより変化する人の気分を簡易に推定することができるようになる。
【００１３】
また、本発明の一態様では、前記特定の神経伝達物質は、少なくともドーパミンを含み、前記領域設定手段は、眼を検出対象領域として設定し、前記変化検出手段は、前記検出対象領域として設定された眼の少なくとも上下いずれかの輪郭の曲率変化を検出し、前記気分推定手段は、前記変化検出手段により検出された曲率変化に基づいて、ドーパミンの分泌に基づく人の気分を推定する、ことを特徴とする。こうすることで、眼の輪郭の曲率変化に基づいてドーパミンの分泌に基づいて変化する人の気分を簡易に推定することができる。
【００１４】
また、本発明の一態様では、前記特定の神経伝達物質は、少なくともドーパミンを含み、前記領域設定手段は、顔に含まれる複数の部位を検出対象領域として設定し、前記変化検出手段は、前記領域設定手段により設定された各検出対象領域の位置関係の変化を検出し、前記気分推定手段は、前記変化検出手段により検出された位置関係の変化に基づいて、ドーパミンの分泌に基づく人の気分を推定する、ことを特徴とする。こうすることで、複数の検出対象領域の位置関係の変化に基づいてドーパミンの分泌に基づいて変化する人の気分を簡易に推定することができる。
【００１５】
また、本発明の一態様では、前記特定の神経伝達物質は、少なくともドーパミンを含み、前記変化検出手段は、前記領域設定手段により設定された検出対象領域に含まれるエッジの濃度変化を検出し、前記気分推定手段は、前記変化検出手段により検出されたエッジの濃度変化に基づいて、ドーパミンの分泌に基づく人の気分を推定する、ことを特徴とする。こうすることで、検出対象領域に含まれるエッジの濃度変化に基づいてドーパミンの分泌に基づく人の気分を簡易に推定することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施の形態（以下、実施形態とする）について、図面を参照しつつ詳細に説明する。
【００１７】
図１は、本実施形態に係るコンピュータを含む顔画像処理システムの全体を示すシステム構成図である。
【００１８】
図１に示されるように、顔画像処理システム１は、コンピュータ１０とカメラ１００とを含み、コンピュータ１０とカメラ１００とは接続されている。カメラ１００は、ＣＣＤ素子やＣＭＯＳ素子にレンズを組み合わせた構造を有し、所定の時間間隔で（例えば、１／６０秒毎に）レンズに写し出された画像を撮像するものである。本発明においては、カメラ１００により人２００の顔が撮像される。そして、カメラ１００により撮像された人２００の顔画像は、コンピュータ１０に順次入力される。コンピュータ１０では、入力された顔画像に画像処理を施して情報を取得し、取得した情報に基づいて顔画像に写し出された人２００の気分を推定する。顔画像に写し出された人２００の気分を推定するためにコンピュータ１０が備える構成と、その構成を用いて行われる処理の一例について、以下、詳細に説明する。
【００１９】
図２には、本発明の実施形態に係るコンピュータ１０のハードウェア構成の一例を示す。図１に示されるように、コンピュータ１０は、物理的な構成として、プロセッサ１２、メモリ１４、グラフィックインターフェース１６、Ｉ／Ｏインターフェース１８を含み、各部はバス２０を介して相互にデータ通信可能である。グラフィックインターフェース１６には、ディスプレイ３０が接続されており、グラフィックインターフェース１６に内蔵されたＶＲＡＭに格納された描画データに基づいて画像（カメラ１００で撮像された顔画像等を含む）が出力される。Ｉ／Ｏインターフェース１８にはカメラ１００が接続され、カメラ１００で撮像された画像データがコンピュータ１０に入力される。また、Ｉ／Ｏインターフェース１８は、ＵＳＢインターフェース等の一般的なパーソナルコンピュータに備えられるインターフェースであることとしてよい。
【００２０】
以下、コンピュータ１０のハードウェアを利用して行われる顔画像処理の詳細を、図３に示されるフロー図を参照しつつ説明する。顔画像の処理は、コンピュータプログラムに従って、コンピュータ１０の各部が動作することで実現されるものである。また、コンピュータプログラムは、メモリ１４や図示しないハードディスク装置に格納されることとしてもよいし、ＤＶＤ−ＲＯＭ等の情報記憶媒体から読み込まれることとしてもよいし、ネットワークを介してコンピュータ１０にダウンロードされることとしてもよい。
【００２１】
カメラ１００により人の顔画像が撮像され、撮像された顔画像は、Ｉ／Ｏインターフェース１８を介してコンピュータ１０に入力される（Ｓ１０１）。入力された顔画像は、例えば、Ｍ×Ｎ画素の二次元格子画素から構成され、各画素は、Ｒ、Ｇ、Ｂ成分の階調値を持つディジタルデータ（以下、顔画像データとする）に変換されて、メモリ１４に格納される。
【００２２】
コンピュータ１０では、メモリ１４に格納された顔画像データについて画像処理が行われる。なお、顔画像データにより示される顔画像について、顔画像の左上の頂点を原点（０，０）、そして原点から右方向にＸ座標、下方向にＹ座標を設定する。
【００２３】
本発明は、特定の神経伝達物質の分泌により人の顔において形状変化する所定領域を検出対象領域として設定し、検出対象領域から検出される変化に基づいて、特定の神経伝達物質が分泌に基づく人の気分を推定する。
【００２４】
本実施形態では、特定の神経伝達物質をドーパミンとする。そして、以下の実験の知見に基づき、ドーパミンが分泌された場合に、人の顔において形状が変化する領域を特定した。
【００２５】
実験においては、人が喫煙するとドーパミンが分泌されるという臨床事実に基づいて、図５に示す１８名（健康な成人男性）に喫煙させ、喫煙前後の顔画像をそれぞれ撮像した。また、それ以外の喫煙しない３名（健康な成人男性２名と女性１名）には、喫煙動作と同じような動作（吸う動作）をしてもらい、その前後の顔画像をそれぞれ撮像した。なお、実験は、６時間以上の禁煙時間を設けてから行っている。図６乃至図８には、上記実験の結果を示す。
【００２６】
図６は、眼の輪郭を近似した２次曲線の２次係数の絶対値についての、喫煙前後での相対的な増加量を示している。増加量が大きいほど、眼の輪郭の曲率が大きく変化していることを示す。図６において、喫煙者についての結果を白の棒グラフで、非喫煙者についての結果を黒の棒グラフで示している（図７、８においても同様である）。なお、図６に示す右上の輪郭において、棒グラフに示される番号は、被験者を示す番号であり、１〜１８は喫煙者、９１〜９３は非喫煙者を示している。また、他の部位については番号を省略するが、各被験者の棒グラフの位置関係は上記に示したものと同様である。なお、図６の棒グラフにおいて、縦軸には２次係数の絶対値の変化量を示している。そして、同グラフには、両眼のそれぞれについて、上側と下側のそれぞれの輪郭についての近似曲線の２次係数の変化量が示されている。そして、図６に示されるように、喫煙者（１〜１８）において眼の輪郭の曲率が大きくなる傾向が見られ、特に下側の輪郭においてその傾向は顕著である。
【００２７】
図７は、眼と口の距離（右眼と右口角、左眼と左口角の距離）と、鼻と口との距離（鼻下と下唇下との距離）に関して、喫煙前後での変化量を示している。各距離は、両眼の距離によって除算して、正規化したものを用いる。図７の棒グラフにより示されるように、白の棒グラフで示される喫煙者（１〜１８）において、顔の部位間の距離が増大する傾向、すなわち、顔が弛緩する状態に変化する傾向にあることが見て取れる。
【００２８】
図８は、顔の各部（左右眼窩下、左右鼻唇溝、左右口角、左右口角横、左右頬、眉間）について、喫煙前後での、エッジ成分の変化量を示している。鼻唇溝では、斜めをエッジの探索方向とし、眉間では左右の両方をエッジの探索方向とし、それ以外の部位では上下をエッジの探索方向としている。図８に示されるように、ドーパミンが分泌されると、皺が浅くなる傾向にあり、特に眉間、眼窩下、頬においてその傾向は顕著であることが分かる。
【００２９】
以上の実験結果に基づいて、ドーパミンが分泌されると、人の顔においては、眼の上側または下側の輪郭線の曲率が大きくなるという変化や、顔の表面が全体的に弛緩することにより生ずる皺の形状変化が現れるということができる。本実施形態では、ドーパミンの分泌を、上記の変化を顔画像に基づいて検出することにより推定する。
【００３０】
図４を用いて、本実施形態におけるドーパミンの分泌を推定する際の具体的基準を説明する。まず、眼の輪郭線の曲率変化を検出するために、図４（Ａ）に示されるように、顔画像３００に含まれる顔領域３１０の中から、眼３１２を検出対象領域として設定する。そして、顔の表面が全体的に弛緩するという変化は、図４（Ｂ）に示されるように、眼３１２と口３１６との距離（ｄ１）と、鼻３１４と口３１６との距離（ｄ２）のそれぞれの変化に基づいて検出される。従って、鼻３１４と口３１６も、検出対象領域として設定する。また、顔の表面が全体的に弛緩するという変化は、図４（Ｃ）に示されるように、眉間３１８の皺の濃さの変化に基づいても検出される。従って、眉間３１８も検出対象領域として設定する。皺の濃さの変化は、眉間以外の部位、例えば、下眼瞼、頬、鼻唇溝、口角の横、口角からも検出することとしてもよい。本実施形態では、眼、鼻、口、眉間を検出対象領域として設定し、各検出対象領域から得られる情報に基づいてドーパミンの分泌を推定する。
【００３１】
以下、顔画像から特定される検出対象領域に基づいて算出される情報量に従って、ドーパミンの分泌を推定する処理の詳細を説明する。
【００３２】
［顔領域の特定］
まず、入力された顔画像の中から、顔が写し出されている顔領域を特定する処理が行われる（Ｓ１０２）。本実施形態では、眼や口においては顔の他の部分に比較して輝度が暗くなっていることに基づいて、眼と口の候補領域を特定し、その候補領域の位置に基づいて顔全体の領域を特定することとする。
【００３３】
眼と口の候補領域は、輝度が極小になる輝度極小点を含み、輝度が大きくなっていく輝度変曲点により囲まれた領域として検出される。輝度極小点と、輝度変曲点とは、以下のようにして決定される。
【００３４】
メモリ１４に格納された顔画像データに基づいて、Ｙ軸方向の輝度の勾配（gradient）と、ラプラシアンとが計算される。そして、計算された勾配とラプラシアンに基づいて、輝度が極小になる輝度極小点と、輝度が大きくなっていく輝度変曲点とが決定される。輝度極小点は、勾配が０で、ラプラシアンが正の点として決定される。また、輝度変曲点は、勾配が正で、ラプラシアンが０の点として決定される。
【００３５】
こうして決定された輝度極小点と輝度変曲点とに基づいて、顔画像の中から、眼と口の候補領域が選択される。そして、選択された眼と口の候補領域について、それぞれの顔における位置関係として適切な組合せを判断し、適切な組合せを眼と口の領域として特定する。こうして特定された両眼の重心位置を基準として、顔の存在する候補領域を切り出す。切り出された候補領域について顔標準パターンとのマッチングを行い、顔が正常に写し出されていることが確認されると、その候補領域を顔領域とする。
【００３６】
なお、顔領域の特定は、他の公知の方法を用いることとしても構わない。例えば、顔画像データから抽出される肌色領域に基づいて、顔画像データに含まれる顔領域を特定することとしてもよい。
【００３７】
次に、特定された顔領域の中から、検出対象領域（眼、鼻、口、眉間）の各部を特定する処理（Ｓ１０３）について説明する。
【００３８】
［眼の特定］
顔領域の特定処理（Ｓ１０２）により特定された顔領域の中から、眼を特定する。眼の特定は、顔領域について、眼の輪郭を抽出するための眼輪郭抽出フィルタを用いたフィルタ処理を施すことにより行われる。フィルタ処理は、顔領域の特定処理において選択された眼の候補領域を含む領域に対して行うこととしてもよい。眼輪郭フィルタは、眼の周囲の肌色の画像に対して相対的に暗い曲線状の目の輪郭が適切に抽出されるように、画像を分離するフィルタのパラメータが設定される。なお、眼の特定についてのフィルタの関数やパラメータについての詳細は、公知の文献（例えば、特許文献の特開２００４−３０００６号公報等）に記載のものを用いることとしてよい。
【００３９】
［鼻の特定］
顔領域の特定処理（Ｓ１０２）により特定された顔領域の中から、鼻を特定する。鼻の特定は、顔領域のＸ軸方向とＹ軸方向の両方についてエッジを検出し、鼻孔を特定することで行われる。鼻孔は、顔領域における黒くて丸い形状の領域として特定される。Ｘ軸方向とＹ軸方向の２方向についてエッジを検出するのは、鼻孔の形状は、顔の向きによっては縦長にも横長にもなり得るので、ＸとＹの２方向からエッジを検出することで鼻孔の検出精度が向上されるためである。ここで、鼻孔の検索は、既に特定された眼の位置に基づいて、検索領域を絞って行うこととしてもよい。なお、鼻を特定する処理の詳細は、公知の文献（例えば、特許文献の特開２００６−３８６８９号公報等）の記載を参照することとしてもよい。
【００４０】
［口の特定］
顔領域の特定処理（Ｓ１０２）により特定された顔領域の中から、口を特定する。口の特定は、顔領域内の画素群から、口唇の色空間を定義する色成分値の範囲にその色成分値が含まれる画素群を抽出し、抽出した画素群が占める領域の左右幅と上下幅との縦横比率に応じて口を特定することで行う。なお、口を特定する処理の詳細は、公知の文献（例えば、特許文献の特開２００３−１８７２４７号公報等）の記載を参照することとしてもよい。
【００４１】
［眉間の特定］
顔領域の特定処理（Ｓ１０２）により特定された顔領域の中から、眉間を特定する。眉間を特定する上では、まず、眉の位置を特定する。眉の位置は、既に検出された眼の位置の上方をエッジ検出に基づいて検索する。そして、検索された両眉の位置に基づき、その中間位置を眉間として特定する。
【００４２】
次に、顔領域から特定された顔の各検出対象領域に基づいて、ドーパミンが分泌されることで顔に生じる変化を検出するための特徴量を算出する処理（Ｓ１０４）を説明する。
【００４３】
［眼の輪郭の曲率変化に基づく特徴量の算出］
まず、顔画像から検出された眼に基づいて、眼の上下それぞれの輪郭の曲率を算出する。眼の上下の輪郭の曲率は、眼の輪郭線上の複数の画素の座標値に基づいてそれぞれ算出される。また、眼の輪郭の曲率変化量を算出するにあたり、標準状態における眼の上下の輪郭の曲率をそれぞれ算出し記憶しておくものとする。記憶される曲率の値は、初期設定時に撮像された顔画像に基づいて算出される眼の輪郭の曲率であることとしてもよいし、一定の期間撮像された顔画像に基づいて計算された眼の輪郭の曲率の平均値としてもよい。そして、算出された上下それぞれの輪郭の曲率と、メモリ１４に記憶される曲率との差を計算して、この値を眼の上下それぞれの輪郭に関する曲率変化量とする。なお、眼の輪郭線の曲率変化の特徴量として、眼の輪郭線上の画素の座標値に基づいて、最小二乗法により輪郭線の２次曲線を求め、その２次曲線における２次係数の値の変化量を用いることとしてもよい。
【００４４】
［顔の弛緩状態の変化に基づく特徴量の算出］
次に、顔の弛緩状態を判断するための特徴量として、上述したように本実施形態では２つの距離（眼と口、鼻と口との距離）を算出する。まず、眼と口の距離は、両眼を結ぶ直線の中心の位置と、口の両端（口角）を結ぶ直線の中心の位置との距離により算出される。鼻と口との距離は、鼻と、口の下唇下端との距離を算出する。これらの距離は、アフィン変換により、顔画像が正面に向いた状態に補正した状態で距離を算出して、顔の傾きにより距離変化の影響を抑制することとしてもよい。その他にも、顔の傾きにより距離変化の影響を抑制するために、例えば、両眼の距離、傾きを計算し、その値に基づいてそれぞれの距離を補正することとしてもよい。
【００４５】
また、眼と口、鼻と口のそれぞれの距離変化量を算出するにあたり、標準状態における各距離を算出し記憶しておくものとする。記憶される距離は、初期設定時に撮像された顔画像に基づいて算出されるそれぞれの距離であることとしてもよいし、一定の期間撮像された顔画像に基づいて計算されたそれぞれの距離の平均値としてもよい。そして、算出されたそれぞれの距離と、メモリ１４に記憶されるそれぞれの距離との差を計算して、この値を眼と口、鼻と口のそれぞれの距離変化量とする。
【００４６】
［しわの深さの変化に基づく特徴量の算出］
次に、顔画像から特定した眉間の領域について、Ｘ軸方向をエッジの探索方向として、眉間領域の縦皺に起因するエッジ成分を計算する。そして、眉間領域の全画素について計算したエッジ成分を積算して得た値を、縦方向のエッジ濃度とする。また、Ｙ軸方向をエッジの探索方向として、眉間領域の横皺に起因するエッジ成分を計算する。そして、眉間領域の全画素について計算したエッジ成分を積算して得た値を、横方向のエッジ濃度とする。
【００４７】
また、縦方向と横方向のそれぞれのエッジ濃度のエッジ濃度変化量を算出するにあたり、標準状態におけるそれぞれのエッジ濃度を算出し記憶しておくものとする。記憶されるエッジ濃度は、初期設定時に撮像された顔画像に基づいて算出されるそれぞれのエッジ濃度であることとしてもよいし、一定の期間撮像された顔画像に基づいて計算されたそれぞれのエッジ濃度の平均値としてもよい。そして、算出された縦方向と横方向のそれぞれのエッジ濃度と、メモリ１４に記憶されるそれぞれのエッジ濃度との差を計算して、この値をそれぞれのエッジ濃度変化量とする。
【００４８】
［ドーパミンの分泌推定］
そして、算出された曲率変化量と、距離変化量と、エッジ濃度変化量とに基づいて、撮像された顔画像に写し出された人物においてドーパミンが分泌されたか否かを推定する（Ｓ１０５）。ドーパミンは、眼の輪郭の曲率が大きくなっており、顔が弛緩しており、皺が伸びている場合に、分泌されていると推定される。そこで、曲率変化量が正であり、距離変化量が共に正であり、エッジ濃度変化量が共に負である場合に、ドーパミンが分泌されていると推定する。なお、この推定基準は、一例であり、算出された曲率変化量と、距離変化量と、エッジ濃度変化量のどのように組み合わせて推定するかは上記の例に限られるものではない。
【００４９】
［気分の推定］
ステップＳ１０５において分泌されていると推定された神経伝達物質に基づいて、撮像された顔画像に写し出された人の気分を推定する（Ｓ１０６）。本実施形態では、ステップＳ１０５においてドーパミンが分泌されたと推定される場合には、人がリラックスした気分になったと推定される。
【００５０】
以上の本発明の実施形態に係るコンピュータ（顔画像処理装置）によれば、ドーパミンが分泌された場合に人の顔において変化が現れ得る領域を検出対象領域として設定し、設定された検出対象領域の変化に基づいて、ドーパミンが分泌されたことにより変化する人の気分を簡易に推定できる。
【００５１】
また、本発明は上記の実施形態に限定されるものではない。
【００５２】
本実施形態では、神経伝達物質としてドーパミンに焦点を絞って説明したが、他の神経伝達物質についても本発明の技術を適用することとしてもよい。その場合には、分泌されたと推定される神経伝達物質の組合せに基づいて、撮像された人の気分を推定することとしてもよい。
【図面の簡単な説明】
【００５３】
【図１】本実施形態に係るコンピュータを含む顔画像処理システムの全体を示すシステム構成図である。
【図２】コンピュータのハードウェア構成の一例を示す図である。
【図３】顔画像処理のフロー図である。
【図４】ドーパミンの分泌を推定する際の基準を説明する図である。
【図５】被験者の情報を示す表である。
【図６】実験結果の一つを示すグラフである。
【図７】実験結果の一つを示すグラフである。
【図８】実験結果の一つを示すグラフである。
【符号の説明】
【００５４】
１  顔画像処理システム、１０  コンピュータ、１２  プロセッサ、１４  メモリ、１６  グラフィックインターフェース、１８  Ｉ／Ｏインターフェース、２０  バス、３０  ディスプレイ、１００  カメラ、２００  人、３００  顔画像、３１０  顔領域、３１２  眼、３１４  鼻、３１６  口、３１８  眉間。
【図１】
2008046691.tif 000003
【図２】
2008046691.tif 000004
【図３】
2008046691.tif 000005
【図４】
2008046691.tif 000006
【図５】
2008046691.tif 000007
【図６】
2008046691.tif 000008
【図７】
2008046691.tif 000009
【図８】
2008046691.tif 000010