(57)【要約】【課題】一般的なカメラを用いて撮影された顔画像データのみによって、精度良くストレス状態を評価することが可能な顔画像解析装置等を提供する。【解決手段】顔画像解析装置１は、ストレス計測を目的として顔画像を解析する装置であって、顔画像データを入力する顔画像データ入力部１１と、顔画像データから顔領域を抽出する顔領域抽出部１２と、顔領域の色情報を補正する色情報補正部１３と、顔領域から頬領域を抽出する頬領域抽出部１４と、顔領域の色情報に対する頬領域の色情報の相対的な値に基づく評価指標を算出する指標算出部１５と、を備える。顔領域抽出部１２は、顔画像データにおける顔の位置情報を取得し、位置情報に基づいて顔画像データを矩形状にトリミングし、トリミング後領域に対して所定の画像サイズにリサイズ処理を行い、リサイズ処理後領域に対してマスク画像を用いてマスク処理を行うことによって、顔領域を抽出する。【選択図】図１
2020187510.tif 000002
【特許請求の範囲】
【請求項１】
ストレス計測を目的として顔画像を解析する顔画像解析装置であって、
顔画像データを入力する顔画像データ入力部と、
前記顔画像データから顔領域を抽出する顔領域抽出部と、
前記顔領域の色情報を補正する色情報補正部と、
補正された前記顔領域から頬領域を抽出する頬領域抽出部と、
補正された前記顔領域の色情報に対する前記頬領域の色情報の相対的な値に基づく指標を算出する指標算出部と、
を備え、
前記顔領域抽出部は、前記顔画像データにおける顔の位置情報を取得し、前記位置情報に基づいて前記顔画像データを矩形状にトリミングし、トリミング後領域に対してリサイズ処理を行い、リサイズ処理後領域に対してマスク画像を用いてマスク処理を施すことによって、前記顔領域を抽出する
ことを特徴とする顔画像解析装置。
【請求項２】
前記マスク画像は、前記リサイズ処理後領域に外接する楕円の内部領域から一部の領域を除外した領域を対象とするものである
ことを特徴とする請求項１に記載の顔画像解析装置。
【請求項３】
前記指標算出部は、彩度の値で前記顔領域に含まれる画素を昇順にソートし、前記顔領域に含まれる画素に対する前記頬領域に含まれる画素のパーセンタイル値に基づいて前記指標を算出する
ことを特徴とする請求項１又は請求項２に記載の顔画像解析装置。
【請求項４】
前記指標算出部は、右頬の前記頬領域及び左頬の前記頬領域の両方の前記パーセンタイル値を合算した値を前記指標とする
ことを特徴とする請求項３に記載の顔画像解析装置。
【請求項５】
前記顔画像データは複数であり、
前記指標算出部は、前記顔画像データごとに前記指標を算出し、算出される複数の前記指標を昇順にソートし、所定のパーセンタイルの位置における前記指標を最終的な前記指標とする
ことを特徴とする請求項３又は請求項４に記載の顔画像解析装置。
【請求項６】
コンピュータを、ストレス計測を目的として顔画像を解析する顔画像解析装置として機能させるためのプログラムであって、
前記コンピュータを、
顔画像データを入力する顔画像データ入力部と、
前記顔画像データから顔領域を抽出する顔領域抽出部と、
前記顔領域の色情報を補正する色情報補正部と、
補正された前記顔領域から頬領域を抽出する頬領域抽出部と、
補正された前記顔領域の色情報に対する前記頬領域の色情報の相対的な値に基づく指標を算出する指標算出部として機能させ、
前記顔領域抽出部は、前記顔画像データにおける顔の位置情報を取得し、前記位置情報に基づいて前記顔画像データを矩形状にトリミングし、トリミング後領域に対してリサイズ処理を行い、リサイズ処理後領域に対してマスク画像を用いてマスク処理を施すことによって、前記顔領域を抽出する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストレス計測を目的とする顔画像解析装置等に関するものである。
【背景技術】
【０００２】
従来、ストレス計測を行う手法として、唾液アミラーゼ濃度の計測等が知られている。しかしながら、日常的にストレス状態を把握するためには、より簡便な計測手法が望ましい。そこで、近年、顔画像データを用いたストレス計測技術の開発が行われている。
【０００３】
例えば、特許文献１には、補助照明として人工太陽灯や偏光板などの器具を用いて顔画像データを取得し、ストレス状態を判断する手法が開示されている。特許文献２には、体や顔などの特徴点の動きをベクトルで表し、そのベクトルに基づいて悪いストレスか良いストレスかを判断するとともに、脈波や音声の情報を組み合わせてストレスを定量的に測定する手法が開示されている。特許文献３には、顔画像データ及び音声データに基づいてストレス状態を判定する手法が開示されている。特許文献４には、サーモカメラによって撮影された赤外顔画像を用いてストレスを測定する手法が開示されている。特許文献５には、近赤外光を出射する光源を含む撮像装置によって取得される画像に基づいて、作業者の作業の適正度を判定する手法が開示されている。
【０００４】
また、非特許文献１には、Raspberry Piのカメラモジュールによって撮影された顔画像データに基づいて顔面の皮膚色の変化を計測し、従来のストレス評価の指標（＝血流量）との関連性の検討結果が開示されている。特に、（１）ＨＳＶ色空間における色相（Ｈ：Ｈｕｅ）や、Ｌ＊ａ＊ｂ＊色空間のａ＊成分の値は、酸素化ヘモグロビンの吸光特性に応じて変化していると考えられるが、被験者によっては、血流量が変動していても色相やａ＊成分の時系列データから変化を捉えることが困難な場合があったこと、（２）彩度に関しては、赤みの減少により顔面皮膚色の彩度は低下することが考えらえるものの、血流量が減少していても、彩度の減少が見られない被験者もいたこと、（３）色相、明度、彩度の３項目を総合した評価の方がストレス時の変動を捉えやすい可能性が示唆されたことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−２９３１８号公報
【特許文献２】特開２０１７−１７６７６２号公報
【特許文献３】特開２０１８−１２６２０９号公報
【特許文献４】特開平０９−２８６７８号公報
【特許文献５】特開２０１８−１４０１６２号公報
【非特許文献】
【０００６】
【非特許文献１】渡邊  汐、影山  芳之著  「顔画像解析による色情報とストレスとの関連性について」東海大学紀要工学部 Vol.57,No.1,pp.51-57  ２０１７年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１から５に記載の技術では、特殊なカメラによって撮影された顔画像データを用いたり、顔画像データ以外の情報を組み合わせたりしているため、場所を選ばずに日常的に計測を行うことが困難である。
【０００８】
また、非特許文献１に記載の技術では、一般的なカメラを用いて撮影された顔画像データのみを用いているものの、ストレス状態を評価するために十分な精度の指標が開示されていない。
【０００９】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、一般的なカメラを用いて撮影された顔画像データのみによって、精度良くストレス状態を評価することが可能な顔画像解析装置等を提供することである。
【課題を解決するための手段】
【００１０】
前述した目的を達成するための第１の発明は、ストレス計測を目的として顔画像を解析する顔画像解析装置であって、顔画像データを入力する顔画像データ入力部と、前記顔画像データから顔領域を抽出する顔領域抽出部と、前記顔領域の色情報を補正する色情報補正部と、補正された前記顔領域から頬領域を抽出する頬領域抽出部と、補正された前記顔領域の色情報に対する前記頬領域の色情報の相対的な値に基づく指標を算出する指標算出部と、を備え、前記顔領域抽出部は、前記顔画像データにおける顔の位置情報を取得し、前記位置情報に基づいて前記顔画像データを矩形状にトリミングし、トリミング後領域に対してリサイズ処理を行い、リサイズ処理後領域に対してマスク画像を用いてマスク処理を施すことによって、前記顔領域を抽出することを特徴とする顔画像解析装置である。第１の発明によって、一般的なカメラを用いて撮影された顔画像データのみによって、精度良くストレス状態を評価することが可能となる。
【００１１】
例えば、第１の発明における前記マスク画像は、前記リサイズ処理後領域に外接する楕円の内部領域から一部の領域を除外した領域を対象とするものである。これによって、顔領域から背景や頭髪が除外されるため、算出される指標の精度が向上する。
【００１２】
また、例えば、前記指標算出部は、彩度の値で前記顔領域に含まれる画素を昇順にソートし、前記顔領域に含まれる画素に対する前記頬領域に含まれる画素のパーセンタイル値に基づいて前記指標を算出する。これによって、精度良くストレス状態を評価することができる。
【００１３】
また、例えば、前記指標算出部は、右頬の前記頬領域及び左頬の前記頬領域の両方の前記パーセンタイル値を合算した値を前記指標とする。これによって、ストレス状態をより精度良く評価できる。
【００１４】
また、例えば、前記顔画像データは複数であり、前記指標算出部は、前記顔画像データごとに前記指標を算出し、算出される複数の前記指標を昇順にソートし、所定のパーセンタイルの位置における前記指標を最終的な前記指標とする。これによって、瞬きによる影響を除外することができる。
【００１５】
第２の発明は、コンピュータを、ストレス計測を目的として顔画像を解析する顔画像解析装置として機能させるためのプログラムであって、前記コンピュータを、顔画像データを入力する顔画像データ入力部と、前記顔画像データから顔領域を抽出する顔領域抽出部と、前記顔領域の色情報を補正する色情報補正部と、補正された前記顔領域から頬領域を抽出する頬領域抽出部と、補正された前記顔領域の色情報に対する前記頬領域の色情報の相対的な値に基づく指標を算出する指標算出部として機能させ、前記顔領域抽出部は、前記顔画像データにおける顔の位置情報を取得し、前記位置情報に基づいて前記顔画像データを矩形状にトリミングし、トリミング後領域に対してリサイズ処理を行い、リサイズ処理後領域に対してマスク画像を用いてマスク処理を施すことによって、前記顔領域を抽出することを特徴とするプログラムである。第２の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明の顔画像解析装置を得ることができる。
【発明の効果】
【００１６】
本発明により、一般的なカメラを用いて撮影された顔画像データのみによって、精度良くストレス状態を評価することが可能な顔画像解析装置等を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】顔画像解析装置の概要を示す図
【図２】顔領域抽出部の処理の流れを示すフローチャート
【図３】顔領域抽出部の処理を説明する図
【図４】顔領域抽出部の処理を説明する図
【図５】色情報補正部の処理の流れを示すフローチャート
【図６】頬領域抽出部の処理の流れを示すフローチャート
【図７】頬領域抽出部の処理を説明する図
【図８】指標算出部の処理を説明する図
【図９】撮影環境の概要を示す図
【図１０】実施例又は比較例の指標と唾液アミラーゼ濃度との散布図
【発明を実施するための形態】
【００１８】
以下図面に基づいて、本発明の実施形態を詳細に説明する。図１は、顔画像解析装置の概要を示す図である。顔画像解析装置１は、デスクトップＰＣ（「Personal Computer」の略）やノートＰＣ等のコンピュータであり、制御部としてのＣＰＵ（「Central Processing Unit」の略）、主記憶部としてのメモリ、補助記憶部としてのＨＤＤ（「Hard Disk Drive」の略）やフラッシュメモリ、表示部としての液晶ディスプレイ、入力部としてのキーボードやマウス、タッチパネルディスプレイ等のハードウエアを有する。補助記憶部には、ＯＳ（「Operating System」の略）、アプリケーションプログラム、処理に必要なデータ等が記憶されている。顔画像解析装置１の制御部は、補助記憶部からＯＳやアプリケーションプログラムを読み出して主記憶部に格納し、主記憶部にアクセスしながら、その他の機器を制御し、後述する処理を実行する。
【００１９】
顔画像解析装置１は、ストレス計測を目的として顔画像を解析する装置であって、顔画像データを入力する顔画像データ入力部１１と、顔画像データから顔領域を抽出する顔領域抽出部１２と、顔領域の色情報を補正する色情報補正部１３と、補正された顔領域から頬領域を抽出する頬領域抽出部１４と、補正された顔領域の色情報に対する頬領域の色情報の相対的な値に基づく評価指標を算出する指標算出部１５と、を備える。
【００２０】
顔画像データは、一般的な照明環境において、一般的な可視光カメラによって、ストレス計測の対象となる人物の上半身を正面から撮影した画像データである。本実施の形態では、顔画像データは、所定のフレームレートによって、所定の時間連続して撮影される。本実施の形態では、約３０ｆｐｓのフレームレートによって、約１０秒連続して撮影され、画像サイズは６４０×４８０画素である。顔画像データ入力部１１は、可視光カメラから複数の顔画像データを入力し、補助記憶部に記憶する。
【００２１】
顔領域抽出部１２は、顔画像データにおける顔の位置情報を取得し、位置情報に基づいて顔画像データを矩形状にトリミングし、トリミング後領域に対して所定の画像サイズにリサイズ処理を行い、リサイズ処理後領域に対してマスク画像を用いてマスク処理を行うことによって、顔領域を抽出する。
【００２２】
図２は、顔領域抽出部の処理の流れを示すフローチャートである。図２に示すように、顔領域抽出部１２は、顔画像データにおける顔の位置情報を取得する（ステップＳ１１）。本実施の形態では、顔領域抽出部１２は、Ｈａａｒ−ｌｉｋｅ特徴に着目した顔検出器を用いて、顔画像データに対してＨａａｒ−ｌｉｋｅ特徴のパターンを適用し、人物の正面顔を検出し、検出される情報を基に顔の位置情報を取得する。これらの処理は、例えば、ＯｐｅｎＣＶのライブラリによって実現可能である。
【００２３】
次に、顔領域抽出部１２は、ステップＳ１１によって取得される顔の位置情報に基づいて顔画像データを矩形状にトリミングする（ステップＳ１２）。トリミング後領域は、顔画像データごとに大きさが異なる。そこで、解析を容易にするために、顔領域抽出部１２は、トリミング後領域に対して所定の画像サイズにリサイズ処理を実行する（ステップＳ１３）。本実施の形態では、所定の画像サイズは１６０×１９２画素である。これによって、全ての顔画像データに対して、同様の条件下での解析が可能となる。
【００２４】
図３は、顔領域抽出部の処理を説明する図である。図３（ａ）には、顔画像データ２１が図示されている。図３（ｂ）には、リサイズ処理後領域２２が図示されている。リサイズ処理後領域２２としては、目、鼻、口、頬などの顔の主要な特徴部位が含まれていれば、その他の顔の一部が切り取られていても、後述の処理に影響はない。
【００２５】
次に、顔領域抽出部１２は、リサイズ処理後領域２２に対してマスク処理を実行し、顔領域を抽出する（ステップＳ１４）。リサイズ処理後領域２２には、背景や頭髪の一部など、顔の表面以外の部分が含まれていることがある。顔の表面以外の部分は、後述する指標算出部１５の処理においてはノイズとなり、精度を低下させる要因となる。そこで、顔領域抽出部１２は、マスク処理によってノイズとなる部分を除外する。
【００２６】
図４は、顔領域抽出部の処理を説明する図である。図４（ａ）には、マスク処理に用いるマスク画像２３が図示されている。マスク画像２３は、リサイズ処理後領域２２に外接する楕円の内部領域から一部の領域を除外した領域を対象とするものである。本実施の形態では、楕円の内部領域から、リサイズ処理後領域２２の上端からリサイズ処理後領域２２の縦方向の長さの１５％までの領域を除外する。
【００２７】
図４（ｂ）には、顔領域２４が図示されている。顔領域２４は、図３（ｂ）に示すリサイズ処理後領域２２に対して、図４（ａ）に示すマスク画像２３を用いたマスク処理が適用されることによって抽出されたものである。これによって、顔領域２４は、背景や頭髪が除外されるため、後述する指標算出部１５によって算出される指標の精度が向上する。
【００２８】
図１の説明に戻る。可視画像は、撮影環境における環境光や照度条件などの差異に起因して、色情報に変化が生じる場合がある。そこで、色を定量的に表現可能な指標である色温度に着目し、同一の条件下で解析ができるように、色情報補正部１３によって顔領域２４の色情報を補正する。
【００２９】
図５は、色情報補正部の処理の流れを示すフローチャートである。図５に示すように、色情報補正部１３は、顔画像データ２１に含まれる全画素の平均色を算出する（ステップＳ２１）。次に、色情報補正部１３は、ステップＳ２１において算出される平均色から、灰色仮説に従い、撮影環境の光源色Ｗの推定を行う（ステップＳ２２）。灰色仮説とは、画像中の物体色の平均が灰色に近いという仮説である。詳細は、非特許文献２（＝G. Buchsbaum著、“A spatial processor model for object colour perception”、Journal of the Franklin Institute，Vol.310，No.1，pp.1-26 （1980））を参照されたい。
【００３０】
次に、色情報補正部１３は、顔領域２４内の色温度が所定の光源色Ａの色温度となるように色順応変換を実行する（ステップＳ２３）。色順応変換とは、感覚系の慣れである色順応を定量的に表現したvon Kriesの色順応予測式を用いた画像の色情報補正手法である。詳細は、非特許文献３（＝大田  登著、「色彩工学  第２版」、東京電機大学出版局 （2005））を参照されたい。本実施の形態における光源色Ａは、相関色温度を６２５０Ｋに設定している。
【００３１】
図５に示す色情報補正部１３の処理によって、所定の光源色Ａ下において撮影された画像を疑似的に作成することが可能となり、顔領域２４を同一の条件下で解析することができる。本実施の形態では、ステップＳ２２及びＳ２３における処理は、黒体放射軌跡を用いた相関色温度及び色度座標の取得手法を用いている。詳細は、非特許文献４（＝村上  龍希著、「感性情報を考慮した人物画像処理の開発に関する研究」、秋田大学博士論文 （2015））を参照されたい。
【００３２】
図１の説明に戻る。人間はストレスを感じると交感神経が優位となり、血管が収縮することによって、顔色がくすむことが知られている。これは、精神的なストレスの負荷によって、顔表面の肌の彩度に変化が生じるためと考えられる。特に、頬の彩度に変化が生じるという知見を得たため、本実施の形態では、頬領域抽出部１４によって左右の頬に関する頬領域を抽出し、頬領域を解析することによって、ストレス計測を行う。
【００３３】
図６は、頬領域抽出部の処理の流れを示すフローチャートである。図６に示すように、頬領域抽出部１４は、複数の顔領域２４から１つ選択し（ステップＳ３１）、ステップＳ３１において選択される顔領域２４における目の位置情報を取得する（ステップＳ３２）。本実施の形態では、頬領域抽出部１４は、機械学習のオープンソースライブラリdlibと、顔器官検出用の学習済モデル「300 Faces In-the-Wild Challenge」を用いて、左右の目の位置情報を取得する。
【００３４】
図７は、頬領域抽出部の処理を説明する図である。図７（ａ）には、dlibによって取得される目の位置情報が図示されている。dlibによって取得可能な顔の特徴点は６８点であり、目の特徴点は左右それぞれ６点である。目の位置情報は、目の特徴点から求まる基準点の座標である。本実施の形態では、下瞼の２つの特徴点の中点を基準点とする。図７（ａ）に示す例では、右目の基準点は特徴点３１及び３２の中点、左目の基準点は特徴点３３及び３４の中点である。図７（ｂ）には、右目の基準点３５及び左目の基準点３６が図示されている。
【００３５】
次に、頬領域抽出部１４は、ステップＳ３１において選択される顔領域２４における頬領域の入力を受け付ける（ステップＳ３３）。本実施の形態では、頬領域は３０×３０画素の矩形とし、（１）矩形内に陰影が含まれない、（２）矩形の横方向に鼻が存在する、（３）矩形の縦方向に目が存在する、（４）眼窩（＝眼球が収まっている骨の枠）の下の骨が盛り上がっている部分を含む、という基準を満たすように、ユーザが手動で頬領域の位置を設定する。ユーザが手動で設定する理由は、顔の各パーツのサイズや位置関係に個人差があるためである。
【００３６】
次に、頬領域抽出部１４は、ステップＳ３２において取得される目の位置情報（＝基準点３５及び３６）と、ステップＳ３３において入力される頬領域との相対座標を算出し（ステップＳ３４）、相対座標に基づいて他の顔領域における頬領域を抽出する（ステップＳ３５）。
【００３７】
図７（ｂ）には、ユーザによって手動で設定される右頬の頬領域３７及び左頬の頬領域３８が図示されている。頬領域抽出部１４は、右目の基準点３５と右頬の頬領域３７の相対座標と、左目の基準点３６と左頬の頬領域３８の相対座標を算出する。そして、頬領域抽出部１４は、同一人物に対する２枚目以降の顔領域２４に対しては、ステップＳ３２と同様に左右の目の基準点を取得し、ステップＳ３４において算出される相対座標と基準点の座標から頬領域の位置を特定することによって、頬領域を抽出する。これによって、同一人物に対して、同一の条件下で解析が可能になる。
【００３８】
図１の説明に戻る。指標算出部１５は、彩度の値で顔領域２４に含まれる画素を昇順にソートし、顔領域２４に対する頬領域３７、３８のパーセンタイル値に基づいて指標を算出する。本実施の形態では、顔領域２４に対する頬領域３７、３８のパーセンタイル値を「頬領域の相対彩度割合」と定義する。頬領域の相対彩度割合によって、精度良くストレス状態を評価することができる。本実施の形態では、指標算出部１５は、顔領域２４に含まれる画素値をＲＧＢ表色系からＬ＊ａ＊ｂ＊表色系に変換し、下記の式によって彩度を算出する。
【００３９】
【数１】
2020187510.tif 000003
【００４０】
頬領域の相対彩度割合は、パーセンタイルの中央値、すなわち５０パーセンタイルの値とすることが望ましい。これによって、ノイズの影響を抑制することができる。
【００４１】
図８は、指標算出部の処理を説明する図である。図８を参照しながら、頬領域の相対彩度割合の計算方法を具体的に説明する。図８に示す例では、顔領域２４が５×５＝２５画素、頬領域３７、３８が太枠で囲まれた２×２＝４画素である。例えば、図８（ａ）に示す（１，１）＝０．１１は、（ｘ，ｙ）＝（１，１）の画素の彩度（０≦彩度≦１）が０．１１であることを示している。
【００４２】
データ数をｎ、顔領域２４内の画素（ｘ，ｙ）を彩度の値で昇順にソートした場合の順位をｒ（ｘ，ｙ）とすると、画素（ｘ，ｙ）のパーセンタイル値ｐ（ｘ，ｙ）の算出式は、ｐ（ｘ，ｙ）＝ｒ（ｘ，ｙ）／ｎとなる。図８（ａ）に示す例に対して、各画素（ｘ，ｙ）の順位ｒ（ｘ，ｙ）を図８（ｂ）に示し、各画素（ｘ，ｙ）のパーセンタイル値ｐ（ｘ，ｙ）を図８（ｃ）に示す。例えば、画素（１，１）の順位ｒ（１，１）は１位であり、パーセンタイル値ｐ（１，１）はｐ（１，１）＝１／２５＝０．０４である。
【００４３】
頬領域の相対彩度割合を５０パーセンタイルの値として求める場合、頬領域の相対彩度割合は、頬領域３７、３８内の４画素のパーセンタイル値ｐ（ｘ，ｙ）である｛０．５２，０．５６，０．７２，０．７６｝の中央値となり、（０．５６＋０．７２）／２＝０．６４となる。
【００４４】
図８に示す例では、説明を簡略化するために頬領域３７、３８を１つとしたが、指標算出部１５は、右頬の頬領域３７及び左頬の頬領域３８の両方のパーセンタイル値を合算した値を指標とすることが望ましい。これによって、より精度良くストレス状態を評価することができる。
【００４５】
また、指標算出部１５は、撮影区間に含まれる複数の顔画像データごとに指標を算出し、算出される複数の指標を昇順にソートし、所定のパーセンタイルの位置における指標を最終的な指標とすることが望ましい。これによって、瞬きによる影響を除外することができる。本実施の形態では、撮影区間３００フレーム内における第一四分位数（＝２５パーセンタイル）をその撮影区間における指標とする。
【実施例】
【００４６】
本実施例では、精神的なストレスを対象とし、暗算によるストレス負荷実験を行い、暗算前後における顔画像データを取得した。被験者は９名（２０代男性８名、女性１名）とし、期間は被験者一人につき２日間とした。可視カメラは、Logicool（登録商標） HD Pro Webcam C920を用いた。１回の撮影では、約３０ｆｐｓのフレームレートで約１０秒間、６４０×４８０画素の顔画像データを３００フレーム撮影した。
【００４７】
図９は、撮影環境の概要を示す図である。被験者Ｓは椅子に座り、可視カメラ４１との距離は約５０ｃｍとした。日常一般的な照明環境とするため、照明４２は、照度約３００〜５００ｌｘの白色蛍光灯とした。被験者の後方には、灰色の背景板４３を設置し、被験者の上半身を正面から撮影した。
【００４８】
指標算出部１５によって算出される指標の有用性を評価するため、生体情報として、暗算前後における唾液アミラーゼ濃度、血圧及び脈拍を計測した。また、アンケートによってデータ取得時における被験者の体調や心理状態を記録し、各データ取得後に医師による問診を実施した。
【００４９】
データ取得実験は、（１）体調及び心理状態に関するアンケート、（２）５分間の安静状態、（３）各種生体情報の計測、（４）顔画像の撮影（約１０秒）、（５）暗算によるストレス負荷（１０分）、（６）顔画像の撮影（約１０秒）、（７）各種生体情報の計測、（８）対象及び心理状態に関するアンケート、（９）医師による問診、の手順で行った。暗算によるストレス負荷として、被験者に対して、椅子に座った状態で、１０００から一定数ずつ減算していくことを繰り返してもらった。計算速度は、無理のないペースで行うことを指示した。
【００５０】
指標算出部１５によって算出される指標と、既知のストレス計測の指標である唾液アミラーゼ濃度との比較を行うため、両者の変化量の相関係数を算出した。全データ数は被験者９名×２日＝１８個である。相関係数は、（１）全データ数を対象とした場合、（２）暗算前又は暗算後の唾液アミラーゼ濃度が２０ｋＩＵ／Ｌ以上であったデータ（以下、「抽出データ」と表記する。）を対象とした場合の２通りで算出した。抽出データ数は７個である。
【００５１】
実施例は、色情報補正部１３による色情報補正処理を行い、左右の頬領域のパーセンタイル値（＝左右の頬領域の相対彩度割合）を合算した値を指標とした。比較例１は、頬領域の彩度を指標とした。比較例２は、色情報補正部１３による色情報補正処理を行わなかった場合とした。比較例３は、右頬及び左頬の頬領域のパーセンタイル値をそれぞれ別々に指標とした場合とした。
【００５２】
図１０は、実施例又は比較例の指標と唾液アミラーゼ濃度との散布図である。詳細には、図１０（ａ）が実施例の指標と唾液アミラーゼ濃度との散布図、図１０（ｂ）が比較例１の指標と唾液アミラーゼ濃度との散布図、図１０（ｃ）が比較例２の指標と唾液アミラーゼ濃度との散布図、図１０（ｄ）が比較例３の右頬の指標と唾液アミラーゼ濃度との散布図、図１０（ｅ）が比較例３の左頬の指標と唾液アミラーゼ濃度との散布図である。また、表１は、実施例又は比較例の指標と唾液アミラーゼ濃度との相関係数の算出結果である。
【００５３】
【表１】
2020187510.tif 000004
【００５４】
図１０（ａ）及び表１の実施例の数値を参照すれば、実施例の指標と唾液アミラーゼ濃度との間には、強い負の相関があることが分かる。従って、唾液アミラーゼ濃度と同様に、実施例の指標によってストレス状態を精度良く評価できると言える。また、全データと抽出データを比較すると、全データよりも抽出データの方が顕著に負の相関を示していることが分かる。
【００５５】
図１０（ａ）及び図１０（ｂ）並びに表１の実施例及び比較例１の数値を参照すれば、比較例１よりも実施例の方が負の相関が強いことが分かる。従って、頬領域の彩度をそのまま指標として用いるよりも、実施例の指標の方が、ストレス状態を精度良く評価できると言える。これは、比較例１の指標（＝頬領域の彩度）が、頬領域の色情報のみの値であるのに対し、実施例の指標（＝頬領域の相対彩度割合）が、顔領域の色情報に対する頬領域の色情報の相対的な値であるという違いによるものと考えられる。
【００５６】
また、図１０（ａ）及び図１０（ｃ）並びに表１の実施例及び比較例２の数値を参照すれば、比較例２よりも実施例の方が負の相関が強いことが分かる。従って、色情報補正部１３による色情報補正処理を行った方が、ストレス状態を精度良く評価できると言える。
【００５７】
また、図１０（ａ）、図１０（ｄ）及び図１０（ｅ）並びに表１の実施例、比較例３（右頬）及び比較例３（左頬）の数値を参照すれば、比較例３（右頬）及び比較例３（左頬）よりも実施例の方が負の相関が強いことが分かる。従って、片方の頬の色情報のみを用いるよりも、両方の頬の色情報を用いる方が、ストレス状態を精度良く評価できると言える。
【００５８】
以上、添付図面を参照しながら、本発明に係る顔画像解析装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５９】
１………顔画像解析装置
１１………顔画像データ入力部
１２………顔領域抽出部
１３………色情報補正部
１４………頬領域抽出部
１５………指標算出部
２１………顔画像データ
２２………リサイズ処理後領域
２３………マスク画像
２４………顔領域
３１、３２、３３、３４………特徴点
３５、３６………基準点
３７、３８………頬領域
４１………可視カメラ
４２………照明
４３………背景板
Ｓ………被験者
【図１】
2020187510.tif 000005
【図２】
2020187510.tif 000006
【図３】
2020187510.tif 000007
【図４】
2020187510.tif 000008
【図５】
2020187510.tif 000009
【図６】
2020187510.tif 000010
【図７】
2020187510.tif 000011
【図８】
2020187510.tif 000012
【図９】
2020187510.tif 000013
【図１０】
2020187510.tif 000014