(57)【特許請求の範囲】
【請求項１】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少又はネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助装置。
【請求項２】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示
す表情の増加又はネガティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする健康管理補助装置。
【請求項３】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助装置。
【請求項４】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする健康管理補助装置。
【請求項５】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助装置。
【請求項６】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする健康管理補助装置。
【請求項７】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ感情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあること、又は、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助装置。
【請求項８】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記健康状態推定部は、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助装置。
【請求項９】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することを特徴とする健康管理補助装置。
【請求項１０】
対象者の精神的健康の管理を補助する健康管理補助装置であって、
前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識
する表情認識部と、
前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、
前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、
を有し、
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定部は、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助装置。
【請求項１１】
前記通常値は、前記記憶部に記憶された前記対象者の時系列データから統計的に求めた値である
ことを特徴とする請求項３、４、５、６、９、１０のうちいずれか１項に記載の健康管理補助装置。
【請求項１２】
前記直近の所定期間は、１日よりも長い期間である
ことを特徴とする請求項３、４、５、６、９、１０、１１のうちいずれか１項に記載の健康管理補助装置。
【請求項１３】
前記健康状態推定部は、前記対象者の複数日分の時系列データを用いて、精神的健康状態の推定を行う
ことを特徴とする請求項１〜１２のうちいずれか１項に記載の健康管理補助装置。
【請求項１４】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識するステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少又はネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助方法。
【請求項１５】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識するステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶す
るステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の増加又はネガティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする健康管理補助方法。
【請求項１６】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定ステップでは、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助方法。
【請求項１７】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定ステップでは、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあること、又は、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする健康管理補助方法。
【請求項１８】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定ステップでは、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあること、又は、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助方法。
【請求項１９】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定ステップでは、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあること、又は、直近の所定期間のネガティブ表情スコ
アの変動幅が通常値に比べて減少傾向にあること、を検出した場合に、前記対象者の精神的健康状態が好転していると推定する
ことを特徴とする健康管理補助方法。
【請求項２０】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定ステップでは、
前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアもしくはネガティブな感情の度合いを示すネガティブ感情スコアを選択又は生成し、
表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあること、又は、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあること、を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助方法。
【請求項２１】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識するステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助方法。
【請求項２２】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助方法。
【請求項２３】
コンピュータにより対象者の精神的健康の管理を補助する健康管理補助方法であって、
コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識ステップと、
コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
コンピュータが、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定ステップと、
コンピュータが、前記推定結果に基づき前記対象者の精神的健康状態に関する情報を出力するステップと、
を有し、
前記表情認識ステップは、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
前記健康状態推定ステップでは、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定する
ことを特徴とする健康管理補助方法。
【請求項２４】
請求項１４〜２３のうちいずれか１項に記載の健康管理補助方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の精神的健康の管理を補助するための技術に関する。
【背景技術】
【０００２】
近年、うつ病、認知症などの精神疾患の患者数が著しく増加しており、大きな社会問題となっている。特に我が国では、高齢者の増加に伴い、精神疾患への対策は今後ますます重要な課題になるといわれている。精神疾患については、普段の生活における予防が極めて重要であるとともに、早い段階での気づき（早期発見）と適切な治療が回復への近道である。しかしながら、精神疾患に対する正しい認識や知識をもっている人は少なく、精神疾患のサイン（兆候）や症状に気づくことは一般の人では難しいのが実情である。
【０００３】
精神疾患の診断を補助することを目的として、特許文献１では、被診断者の顔画像から、表情の左右対称度、目の緊張度、頬の緊張度、口角の角度を数値化した診断データベクトルを生成し、その診断データベクトルと医学的知見を数値化した診断マトリックスに基づき、パラノイア度・ノイローゼ度・ソシオパス度・うつ度・ストレス度の診断結果をグラフ表示する装置が提案されている。確かに、精神疾患のサインは顔の表情や緊張となって表出することが多く、実際の診断やカウンセリングにおいても、専門家は顔表情の変化を患者の精神的健康状態を推測する手がかりの一つとしている。しかしながら、たとえ専門家であっても、一枚の顔画像をみるだけでは、その表情や目・頬・口角の状態が、精神疾患のサインなのか個性（もともとの顔のつくり、普段の表情）なのかは区別できない。したがって、特許文献１に提案された手法では、信頼性の高い診断情報を得ることは難しいと考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０５２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は上記実情に鑑みなされたものであって、画像から認識した顔表情に基づいてその人の精神的健康状態を推定し、精神的健康の管理に有用な情報を提供可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明では、顔表情の時系列データから対象者の顔表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者の精神的健康状態を推定する、という構成を採用する。
【０００７】
具体的には、本発明に係る健康管理補助装置は、対象者の精神的健康の管理を補助する健康管理補助装置であって、前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情の特徴を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者の精神的健康状態を推定する健康状態推定部と、前記健康状態推定部の推定結果に基づき前記対象者の精神的健康状態に関する情報を出力する出力部と、を有することを特徴とする。
【０００８】
本発明によれば、顔表情の時間的変化に関わる特徴に注目するため、顔表情の変化として表れる精神的健康状態の変化（悪化又は好転）を検出することができ、一枚の画像における顔表情だけで推定するのに比べて、高信頼の推定結果を得ることができる。そして、そのような高信頼の推定結果を自動で且つ早期に得ることができるため、対象者の精神的健康状態に応じた有用な情報を適時に提供することが可能となり、対象者の精神的健康管理を適切に補助することができる。
【０００９】
前記健康状態推定部は、表情の時間的変化に関わる特徴として、ポジティブな感情を示す表情の減少を検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。うつ病、認知症などの精神疾患のサイン（兆候）や症状の一つである「抑うつ状態」では、ポジティブな感情を示す表情（喜びの表情など）の減少が顕著だからである。あるいは、前記健康状態推定部は、表情の時間的変化に関わる特徴として、ネガティブな感情を示す表情の増加を検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。うつ病、認知症などの精神疾患のサイン（兆候）や症状の一つである「抑うつ状態」では、ネガティブな感情を示す表情（悲しみの表情など）の増加が顕著だからである。
【００１０】
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて低下傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、ポジティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアが通常値に比べて上昇傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。これにより、ネガティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
【００１１】
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアが通常値に比べて上昇傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することが好ましい。これにより、ポジティブな感情を示す表情の上昇を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアが通常値に比べて低下傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定してもよい。これにより、ネガティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。
【００１２】
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて減少傾向にあることを検出し
た場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。これにより、ポジティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。これにより、ネガティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
【００１３】
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のポジティブ表情スコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することも好ましい。これにより、ポジティブな感情を示す表情の増加を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、直近の所定期間のネガティブ表情スコアの変動幅が通常値に比べて減少傾向にあることを検出した場合に、前記対象者の精神的健康状態が好転していると推定することも好ましい。これにより、ネガティブな感情を示す表情の減少を定量的に評価することができ、精神的健康状態の好転を高信頼に推定することができる。
【００１４】
また、前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、前記複数種類の表情のスコアからポジティブな感情の度合いを示すポジティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、ポジティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に高い傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することも好ましい。あるいは、前記健康状態推定部は、前記複数種類の表情のスコアからネガティブな感情の度合いを示すネガティブ表情スコアを選択又は生成し、表情の時間的変化に関わる特徴として、ネガティブ表情スコアの日内変動が朝方のスコアに比べて夕方のスコアが相対的に低い傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定してもよい。これにより、朝方は気分が沈み、夕方になると気分が上昇するという症状の出現を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
【００１５】
前記健康状態推定部は、表情の時間的変化に関わる特徴として、複数種類の表情の出現割合の変化を検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。認知症などの精神疾患では、例えば怒りやすくなるなど、感情表現の変化（人格の変化）が起きるからである。
【００１６】
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、表情の時間的変化に関わる特徴として、前記複数種類の表情のうちの一部又は全部の表情に関する直近の所定期間のスコア平均と通常値との差が閾値より大きいことを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、表情の出現割合の変化を定量的に評価することができ、精神的健康状
態の悪化を高信頼に推定することができる。
【００１７】
前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記健康状態推定部は、表情の時間的変化に関わる特徴として、直近の所定期間のある表情のスコアの変動幅が通常値に比べて増加傾向にあることを検出した場合に、前記対象者の精神的健康状態が悪化していると推定することが好ましい。これにより、感情の起伏が激しくなるという症状の出現を定量的に評価することができ、精神的健康状態の悪化を高信頼に推定することができる。
【００１８】
前記通常値は、前記記憶部に記憶された前記対象者の時系列データから統計的に求めた値であることが好ましい。対象者自身の時系列データから統計的に求めた値を通常値として用いることにより、その対象者の表情の個性（もともとの顔のつくり、通常時の表情や感情表現など）を基準にして表情の時間的変化を評価できるため、個人差による推定精度の低下を抑制し、推定処理の信頼性をより高めることができる。
【００１９】
前記健康状態推定部は、前記対象者の複数日分の時系列データを用いて、精神的健康状態の推定を行うことが好ましい。また、前記「直近の所定期間」は１日よりも長い期間であることが好ましい。たとえ健康な人であっても気分の浮き沈みや感情の変化はあるので、数時間〜１日程度の期間の表情変化だけでは、その人の精神的健康状態を推定することは難しい（推定できたとしても信頼性が低い）からである。検出しようとする「表情の時間的変化に関わる特徴」にもよるが、日単位、週単位、月単位、又は、年単位での表情変化を評価することが好ましい。したがって、「直近の所定期間」は、例えば、数日、１週〜数週、１月〜数月、又は、１年〜数年といった期間に設定するとよい。
【００２０】
なお、本発明は、上記構成ないし機能の少なくとも一部を有する健康管理補助装置として捉えることができる。また本発明は、上記処理の少なくとも一部を含む健康管理補助方法、又は、かかる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００２１】
本発明によれば、画像から認識した顔表情に基づいてその人の精神的健康状態を推定し、精神的健康の管理に有用な情報を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】健康管理補助装置の構成例を示す図。
【図２】表情認識処理の流れを示すフローチャート。
【図３】記憶部に記憶された表情認識結果の時系列データの一例。
【図４】精神疾患によるポジティブ表情スコアの変化の例。
【図５】具体例（１）における健康状態推定部の推定ロジックを示す図。
【図６】具体例（２）における健康状態推定部の推定ロジックを示す図。
【図７】具体例（３）における健康状態推定部の推定ロジックを示す図。
【図８】具体例（４）における健康状態推定部の推定ロジックを示す図。
【図９】具体例（５）における健康状態推定部の推定ロジックを示す図。
【発明を実施するための形態】
【００２３】
以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対
配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００２４】
（装置構成）
図１は、本発明の実施形態に係る健康管理補助装置の構成例を示す図である。健康管理補助装置１は、対象者２を撮影した画像を解析して、対象者２の精神的健康（メンタルヘルス）の管理に役立つ情報を提供するための装置である。この健康管理補助装置１は、対象者自身によるセルフチェック、医師やカウンセラなどの専門家のための診断ツール、企業や学校などにおけるメンタルヘルスケアなど、様々な用途に応用可能である。
【００２５】
図１の健康管理補助装置１は、主な構成として、画像取得部１０、表情認識部１１、記憶部１２、健康状態推定部１３、結果出力部１４を有している。
【００２６】
画像取得部１０は、撮像装置３から画像を取得する機能を有する。本実施形態では、対象者２の顔を時系列で撮影した複数の画像が撮像装置３から順次取り込まれる。撮像装置３はモノクロ又はカラーのカメラにより構成される。図１では撮像装置３を健康管理補助装置１とは別に設けたが、撮像装置３を健康管理補助装置１に搭載してもよい。表情認識部１１は、画像センシング処理によって画像から顔表情の特徴を認識する機能を有する。記憶部１２は、表情認識部１１から出力される表情認識結果を時系列データとして記憶する機能を有する。健康状態推定部１３は、記憶部１２に記憶された時系列データから対象者２の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者２の精神的健康状態を推定する機能を有する。結果出力部１４は、健康状態推定部１３の推定結果を出力する機能を有する。
【００２７】
対象者２の画像を撮影ないし取り込む間隔は、健康管理補助装置１の用途や使用環境に応じて適宜設定すればよい。例えば、顔表情の日内変動又は複数日（例えば数日、数週間、数カ月など）にわたる変化を評価する目的であれば、数秒から数分に１回程度の頻度、あるいは、数十分から数時間に１回程度の頻度で画像を撮影ないし取り込めば足りる。対象者２が撮像装置３の視野内に常に存在する場合には、一定の時間間隔や決まった時刻に撮影を行うことができる。対象者２が撮像装置３の視野内に常に存在するとは限らない場合には、例えば、人感センサなどで対象者２を検知できたときに撮影するとか、対象者自身が所定の頻度でセルフ撮影を行う、などの構成を採ることもできる。
【００２８】
健康管理補助装置１は、ＣＰＵ（プロセッサ）、メモリ、補助記憶装置、入力装置、表示装置、通信装置などを具備するコンピュータにより構成することができる。健康管理補助装置１の各機能は、補助記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが実行することにより実現される。ただし、健康管理補助装置１の一部又は全部の機能をＡＳＩＣやＦＰＧＡなどの回路で実現することもできる。あるいは、健康管理補助装置１の一部の機能（例えば、表情認識部１１、記憶部１２、健康状態推定部１３の機能）をクラウドコンピューティングや分散コンピューティングにより実現してもよい。
【００２９】
（表情認識結果の時系列データ）
図２を参照して健康管理補助装置１で実行される表情認識処理の流れを説明する。図２は、表情認識処理の流れを示すフローチャートである。図２の処理は、撮像装置３で対象者２が撮影される度に実行される処理である。
【００３０】
ステップＳ２０１では、画像取得部１０が、撮像装置３から対象者２を撮影した画像を取得する。顔表情の認識が目的のため、対象者２の顔が（可能な限り）正面から写った画像が望ましい。次に、表情認識部１１が、画像から顔を検出し（ステップＳ２０２）、さらに顔器官（目、眉、鼻、口など）を検出する（ステップＳ２０３）。顔検出及び顔器官
検出には公知の手法をはじめ、いかなるアルゴリズムを用いてもよいため、詳しい説明は割愛する。
【００３１】
次に、表情認識部１１が、ステップＳ２０２及びＳ２０３の検出結果を利用して、対象者２の顔表情の特徴を認識する（ステップＳ２０４）。本実施形態では、ポール・エックマン（Paul Ekman）の表情分析をもとに、顔表情を「怒り」「嫌悪」「恐れ」「喜び」「悲しみ」「驚き」「真顔（無表情）」の７種類に分類する。表情認識結果としては、７種類の表情それぞれの度合い（表情らしさ、表情度とも呼ぶ）を合計が１００となるように数値化したスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。以後の説明では、７表情に以下の番号を付し、各表情のスコアをＳ１〜Ｓ７と表記する場合がある。
１：怒り
２：嫌悪
３：恐れ
４：喜び
５：悲しみ
６：驚き
７：真顔
【００３２】
なお、ステップＳ２０４の表情認識には公知の手法をはじめ、いかなるアルゴリズムを用いてよい。以下、表情認識処理の一例を述べる。まず表情認識部１１が、顔器官の位置情報に基づき顔器官の相対位置や形状に関わる特徴量を抽出する。特徴量としては、Ｈａａｒ−ｌｉｋｅ特徴量、特徴点間距離、フーリエ記述子などを用いることができる。次に、表情認識部１１が、抽出した特徴量を７種類の顔表情それぞれの判別器に入力し、各表情の度合いを計算する。各判別器はサンプル画像を用いた学習によって生成することができる。最後に、表情認識部１１は、７つの判別器からの出力値を合計が１００になるよう規格化し、７種類の表情のスコア（表情成分値）を出力する。
【００３３】
表情認識部１１は、表情認識結果をタイムスタンプ情報と共に記憶部１２内のデータベースに格納する（ステップＳ２０５）。図３は、記憶部１２内に記憶された表情認識結果の時系列データの一例である。各行が１枚の顔画像から得られた表情認識結果を示している。
【００３４】
（精神的健康状態の推定）
次に、精神的健康状態の推定処理について説明する。本実施形態の健康管理補助装置１では、健康状態推定部１３が、表情認識結果の時系列データから対象者２の顔表情の時間的変化に関わる特徴を検出し（この処理を「表情データの時系列解析」とも呼ぶ）、その検出された特徴に基づいて対象者２の精神的健康状態を推定する。表情データの時系列解析により検出可能な「顔表情の時間的変化に関わる特徴」には様々なものがある。以下、具体例（１）〜（５）を説明する。
【００３５】
（１）ポジティブな感情を示す表情の減少（スコアの低下）
精神疾患の一つである「うつ病」の典型的な症状には、
・気分が沈む（抑うつ気分）
・興味がわかず楽しめない
・疲れを感じたり、気力がわかない
・仕事や家事に集中したり、決断することができない
・動作や話し方が遅い、またはイライラしたり、落着きが無い
・食欲が低下（増加）、体重が増減
・寝付けない、夜中や早朝に目が覚める
・自分に価値が無い、または申し訳ないと感じる
・この世から消えてしまいたいと思うことがある
などがある。これらの症状のうちの多くは顔表情の変化を生み、例えば「表情が暗い」、「笑顔が減った」、「表情に乏しい」といったサインとして表れる。
【００３６】
そこで、具体例（１）では、表情の時間的変化に関わる特徴として「ポジティブな感情を示す表情の減少」に注目する。詳しくは、本実施形態では、ポジティブな感情の度合いを示す指標として「ポジティブ表情スコアＳｐｏｓ」を次のように定義する。
Ｓｐｏｓ＝喜びスコアＳ４−怒りスコアＳ１−悲しみスコアＳ５
このポジティブ表情スコアＳｐｏｓは、対象者２の気分が良好で前向きな場合は高い値を示し、気分が沈んだりイライラした場合には低い値を示すように設計されている。
【００３７】
図４に、ポジティブ表情スコアＳｐｏｓの日内変動の例を示す。精神的健康状態が良好な人の場合、一日の中で感情の変化があるのが通常であるため、図４の左側のグラフのようにスコアＳｐｏｓは大きく変動する。これに対し、うつ病の人の場合は、図４の右側のグラフのように、スコアＳｐｏｓが全体的に低下したり、スコアＳｐｏｓの変動幅が小さくなる傾向にある。また、うつ病の特徴的な症状として、朝方は気分が沈み、夕方になるにつれ気分が上昇してくる、というものもある。したがって、表情データの時系列解析により、このようなスコア変化を検出することで、精神疾患（特にうつ病）の兆候または症状としての精神的健康状態の変化（悪化）を発見することが可能となる。本明細書において、「精神疾患の兆候」とは、精神疾患に至る前もしくは精神疾患の極めて初期の段階で現れる症状を意味している。
【００３８】
図５（Ａ）、図５（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図５（Ａ）は、ある対象者２のポジティブ表情スコアＳｐｏｓの変化を示すグラフであり、横軸は日、縦軸はポジティブ表情スコアＳｐｏｓの一日当たりの平均（以下、スコア日平均ＤＳｐｏｓと呼ぶ）を示している。直近のスコア日平均ＤＳｐｏｓが低下傾向にあり、精神疾患（うつ病）の兆候が表れている。図５（Ｂ）は、具体例（１）における健康状態推定部１３の処理フローを示す。
【００３９】
ステップＳ５００において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去一カ月分）の時系列データを読み込み、各データについてポジティブ表情スコアＳｐｏｓを計算する。次に、健康状態推定部１３は、ポジティブ表情スコアＳｐｏｓの日平均ＤＳｐｏｓを計算する（ステップＳ５０１）。また、健康状態推定部１３は、スコア日平均ＤＳｐｏｓの通常値ＲＤＳを取得する（ステップＳ５０２）。通常値ＲＤＳは、精神的健康状態が通常状態にあるときのスコア日平均ＤＳｐｏｓの値である。ここでは、対象者２自身のスコア日平均ＤＳｐｏｓの過去一カ月の平均を通常値ＲＤＳとして用いることとする。
【００４０】
続いて、健康状態推定部１３は、直近の所定期間（例えば、数日〜１週間）分のスコア日平均ＤＳｐｏｓと通常値ＲＤＳとを比較し、直近の値が通常値ＲＤＳに対して低下傾向にあるか否かを判断する（ステップＳ５０３，Ｓ５０４）。ここでは、スコア日平均ＤＳｐｏｓの過去一カ月の標準偏差をσとしたときに、
ＤＳｐｏｓ＜ＲＤＳ−ｎ×σ
を満たすスコア日平均ＤＳｐｏｓが所定期間（例えば、数日〜１週間）のあいだ続いた場合に、直近の値が低下傾向にあると判定する。ｎは検出感度を調整するパラメータであり、例えば１〜３の値に設定される。
【００４１】
ステップＳ５０４においてスコアの低下傾向が検出された場合、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ５０５）。逆に、スコアの低下傾向が検出されなかった場合、健康状態推定部１３は、対象者
２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ５０６）。これにより、対象者２の精神疾患の兆候や症状（例えば、うつ病の疑い）を自動で且つ早期に発見することができる。
【００４２】
（２）ポジティブな感情を示す表情の減少（スコアの変動幅の減少）
図４で説明したように、抑うつ状態では、ポジティブ表情スコアＳｐｏｓの変動幅が減少する傾向がある。そこで具体例（２）では、ポジティブ表情スコアＳｐｏｓの分散の低下を検出することで、精神疾患（特にうつ病）の兆候や症状を発見する。
【００４３】
図６（Ａ）、図６（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図６（Ａ）は、ある対象者２のポジティブ表情スコアＳｐｏｓの変化を示すグラフであり、横軸は日、縦軸はポジティブ表情スコアＳｐｏｓの一日当たりの分散（以下、スコア日分散ＶＳｐｏｓと呼ぶ）を示している。直近のスコア日分散ＶＳｐｏｓが低下傾向にあり、精神疾患（うつ病）の兆候が表れている。図６（Ｂ）は、具体例（２）における健康状態推定部１３の処理フローを示す。
【００４４】
ステップＳ６００において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去一カ月分）の時系列データを読み込み、各データについてポジティブ表情スコアＳｐｏｓを計算する。次に、健康状態推定部１３は、ポジティブ表情スコアＳｐｏｓの日分散ＶＳｐｏｓを計算する（ステップＳ６０１）。また、健康状態推定部１３は、スコア日分散ＶＳｐｏｓの通常値ＲＶＳを取得する（ステップＳ６０２）。通常値ＲＶＳは、精神的健康状態が通常状態にあるときのスコア日分散ＶＳｐｏｓの値である。ここでは、対象者２自身のスコア日分散ＶＳｐｏｓの過去一カ月の平均を通常値ＲＶＳとして用いることとする。
【００４５】
続いて、健康状態推定部１３は、直近の所定期間（例えば、数日〜１週間）分のスコア日分散ＶＳｐｏｓと通常値ＲＶＳとを比較し、直近の値が通常値ＲＶＳに対して低下傾向にあるか否かを判断する（ステップＳ６０３，Ｓ６０４）。ここでは、スコア日分散ＶＳｐｏｓの過去一カ月の標準偏差をσとしたときに、
ＶＳｐｏｓ＜ＲＶＳ−ｎ×σ
を満たすスコア日分散ＶＳｐｏｓが所定期間（例えば、数日〜１週間）のあいだ続いた場合に、直近のスコア日分散が低下傾向にある（つまり、スコア変動幅が減少傾向にある）と判定する。ｎは検出感度を調整するパラメータであり、例えば１〜３の値に設定される。
【００４６】
ステップＳ６０４においてスコア変動幅の減少傾向が検出された場合、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ６０５）。逆に、スコア変動幅の減少傾向が検出されなかった場合、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ６０６）。これにより、対象者２の精神疾患の兆候や症状（例えば、うつ病の疑い）を自動で且つ早期に発見することができる。
【００４７】
なお、具体例（２）では、スコア日分散の低下を検出したが、ポジティブ表情スコアＳｐｏｓの値が閾値を超える頻度又は時間の減少を検出することでも、スコア変動幅の減少傾向を捉えることができる。
【００４８】
（３）朝方と夕方のあいだの表情の変化
図４で説明したように、うつ病の特徴的な症状として、朝方は気分が沈み、夕方になるにつれ気分が上昇してくる、というものがある。そこで具体例（３）では、ポジティブ表情スコアＳｐｏｓの日内変動を評価することで、精神疾患（特にうつ病）の兆候や症状を
発見する。
【００４９】
図７（Ａ）、図７（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図７（Ａ）は、うつ病の人にみられるポジティブ表情スコアＳｐｏｓの日内変動を示すグラフであり、横軸は時間、縦軸はポジティブ表情スコアＳｐｏｓを示している。朝方のスコアが最も低く、時間の経過とともにスコアが徐々に上昇し、夕方のスコアが朝方に比べて相対的に高くなっている。図７（Ｂ）は、具体例（３）における健康状態推定部１３の処理フローを示す。
【００５０】
ステップＳ７００において、健康状態推定部１３は、記憶部１２から一日分の時系列データを読み込み、各データについてポジティブ表情スコアＳｐｏｓを計算する。次に、健康状態推定部１３は、朝方と夕方それぞれのポジティブ表情スコアＳｐｏｓの平均を計算する（ステップＳ７０１）。ここでは、午前７時〜午前９時のデータから朝方のスコア平均ＡＳｐｏｓを求め、午後４時〜午後６時のデータから夕方のスコア平均ＰＳｐｏｓを求める。
【００５１】
続いて、健康状態推定部１３は、朝方のスコア平均ＡＳｐｏｓと夕方のスコア平均ＰＳｐｏｓの差ΔＳｐｏｓ（＝ＰＳｐｏｓ−ＡＳｐｏｓ）を計算し（ステップＳ７０２）、差ΔＳｐｏｓを閾値Ｔｈ１と比較する（ステップＳ７０３）。差ΔＳｐｏｓが閾値Ｔｈ１より大きい場合（ステップＳ７０３；ＹＥＳ）、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ７０４）。逆に、差ΔＳｐｏｓが閾値Ｔｈ１以下の場合（ステップＳ７０３；ＮＯ）、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ７０５）。これにより、対象者２の精神疾患の可能性（例えば、うつ病の疑い）を自動で且つ早期に発見することができる。
【００５２】
なお、具体例（３）では、一日分の日内変動のみを評価したが、直近数日分の日内変動を評価し、図７（Ａ）のような日内変動が数日間続いた場合に、精神的健康状態の悪化と判断してもよい。
【００５３】
（４）表情の出現割合の変化
精神疾患の一つである「認知症」の場合、行動・心理症状として、
・不安及び焦燥
・うつ状態
・幻覚及び妄想
・興奮及び暴力
などがある。これらの症状は感情表現の変化（人格の変化）を生じ、例えば、「怒りやすくなった」、「感情の起伏が激しくなった」、「嫌悪や悲しい表情が増えた」といったサインとして表れることがある。
【００５４】
そこで、具体例（４）では、７表情の出現割合の変化を評価することで、精神疾患（特に認知症）の兆候や症状を発見する。
【００５５】
図８（Ａ）、図８（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図８（Ａ）は、７表情の出現割合を示すグラフであり、横軸は表情の番号（１：怒り、２：嫌悪、３：恐れ、４：喜び、５：悲しみ、６：驚き、７：真顔）、縦軸はスコアＳ１〜Ｓ７の月平均を示している。精神的健康状態が良好なときには左側のグラフのように「４：喜び」や「５：悲しみ」の表情が多かったのに対し、認知症の症状により、右側のグラフのように「４：喜び」の表情が少なくなり、「１：怒り」や「２：嫌悪」の表情が多くなっていることがわかる。図８（Ｂ）は、具体例（４）における健康状態推定部１３の処理フロー
を示す。
【００５６】
ステップＳ８００において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去二カ月分）の時系列データを読み込み、７表情それぞれのスコアＳ１〜Ｓ７の一月当たりの平均（スコア月平均ＭＳ１〜ＭＳ７）を計算する（ステップＳ８００）。また、健康状態推定部１３は、スコア月平均ＭＳ１〜ＭＳ７の通常値ＲＭＳ１〜ＲＭＳ７を取得する（ステップＳ８０１）。通常値ＲＭＳ１〜ＲＭＳ７は、精神的健康状態が通常状態にあるときのスコア月平均ＭＳ１〜ＭＳ７の値である。ここでは、対象者２自身の過去（例えば一カ月以上前）のスコア月平均ＭＳ１〜ＭＳ７を通常値ＲＭＳ１〜ＲＭＳ７として用いることとする。
【００５７】
続いて、健康状態推定部１３は、下記式により、スコア月平均ＭＳ１〜ＭＳ７と通常値ＲＭＳ１〜ＲＭＳ７の差ΔＳを計算する（ステップＳ８０３）。
ΔＳ＝Σ（｜ＲＭＳｉ−ＭＳｉ｜）    （ｉ＝１，２，…，７）
この差ΔＳは、直近の所定期間（ここでは一カ月）と通常時のあいだでの表情の出現割合の変化の大きさを表す指標である。
【００５８】
健康状態推定部１３は、差ΔＳを閾値Ｔｈ２と比較する（ステップＳ８０３）。そして、差ΔＳが閾値Ｔｈ２より大きい場合（ステップＳ８０３；ＹＥＳ）、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ８０４）。逆に、差ΔＳが閾値Ｔｈ２以下の場合（ステップＳ８０３；ＮＯ）、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ８０５）。これにより、対象者２の精神疾患の兆候や症状（例えば、認知症の疑い）を自動で且つ早期に発見することができる。
【００５９】
なお、具体例（４）では、月平均を評価したが、複数日の平均や複数週の平均を用いて評価を行ってもよい。また、７表情すべてのスコアを用いるのでなく、認知症により出現が多くなる又は少なくなる表情（例えば、「怒り」「嫌悪」「喜び」）のスコアだけを評価に用いてもよい。
【００６０】
（５）感情の起伏の激化
前述したように、認知症の症状として、感情の起伏が激しくなるというものがある。そこで具体例（５）では、７表情のうちのいずれかの表情のスコアの変動幅の増加を検出することで、認知症の兆候や症状を発見する。
【００６１】
図９（Ａ）、図９（Ｂ）を参照して、健康状態推定部１３の処理を説明する。図９（Ａ）は、ある対象者２の怒りスコアＳ１の変化を示すグラフであり、横軸は日、縦軸は怒りスコアＳ１の一日当たりの分散（以下、スコア日分散ＶＳ１と呼ぶ）を示している。直近のスコア日分散ＶＳ１が上昇傾向にあり、精神疾患（認知症）の兆候が表れている。図９（Ｂ）は、具体例（５）における健康状態推定部１３の処理フローを示す。
【００６２】
ステップＳ９０１において、健康状態推定部１３は、記憶部１２から必要な期間分（例えば、過去一カ月分）の時系列データを読み込み、怒りスコアＳ１の日分散ＶＳ１を計算する。また、健康状態推定部１３は、スコア日分散ＶＳ１の通常値ＲＶＳ１を取得する（ステップＳ９０２）。通常値ＲＶＳ１は、精神的健康状態が通常状態にあるときのスコア日分散ＶＳ１の値である。ここでは、対象者２自身のスコア日分散ＶＳ１の過去一カ月の平均を通常値ＲＶＳ１として用いることとする。
【００６３】
続いて、健康状態推定部１３は、直近の所定期間（例えば、数日〜１週間）分のスコア日分散ＶＳ１と通常値ＲＶＳ１とを比較し、直近の値が通常値ＲＶＳ１に対して上昇傾向
にあるか否かを判断する（ステップＳ９０３，Ｓ９０４）。ここでは、スコア日分散ＶＳ１の過去一カ月の標準偏差をσとしたときに、
ＶＳ１＞ＲＶＳ１＋ｎ×σ
を満たすスコア日分散ＶＳ１が所定期間（例えば、数日〜１週間）のあいだ続いた場合に、直近のスコア日分散が上昇傾向にある（つまり、怒りスコアの変動幅が増加傾向にある）と判定する。ｎは検出感度を調整するパラメータであり、例えば１〜３の値に設定される。
【００６４】
ステップＳ９０４において怒りスコアの変動幅の増加傾向が検出された場合、健康状態推定部１３は、対象者２の精神的健康状態が悪化している、との推定結果を出力する（ステップＳ９０５）。逆に、怒りスコアの変動幅の増加傾向が検出されなかった場合、健康状態推定部１３は、対象者２の精神的健康状態に変化なし、との推定結果を出力する（ステップＳ９０６）。これにより、対象者２の精神疾患の兆候や症状（例えば、認知症の疑い）を自動で且つ早期に発見することができる。
【００６５】
なお、具体例（５）では、スコア日分散の上昇を検出したが、怒りスコアＳ１の値が閾値を超える頻度又は時間の増加を検出することでも、怒りスコアの変動幅の増加傾向を捉えることができる。また、怒りスコアＳ１だけでなく、他の表情のスコア（例えば嫌悪スコアＳ２）の分散や変動幅を評価してもよい。
【００６６】
本実施形態の健康状態推定部１３は、上述した具体例（１）〜（５）のうちの１つ又は複数の推定ロジックを有している。ただし、これらの推定ロジックは、表情の時間的変化に関わる特徴に基づき精神的健康状態を推定する処理の一例にすぎず、これらの以外の推定ロジックを健康状態推定部１３に実装しても構わない。
【００６７】
（推定結果の出力）
以上のように、健康状態推定部１３による推定結果が得られたら、結果出力部１４がその推定結果に基づき対象者２の精神的健康状態に関する情報を出力する。出力先のデバイス、出力情報、出力方法は任意であり、健康管理補助装置１の用途や構成に応じて適宜設計できる。例えば、結果出力部１４は、表示装置に画像やメッセージを表示したり、スピーカに音声情報を出力したり、外部装置（スマートフォン、他のコンピュータ、外部ストレージなど）へ情報を伝送したりすることができる。出力する情報としては、例えば、精神疾患の可能性、対応策やアドバイスなど、メンタルヘルスケアに役立つ情報であればどのようなものを出力してもよい。また、図５（Ａ）、図６（Ａ）、図７（Ａ）、図８（Ａ）、図９（Ａ）に示したような表情の時間的変化を示すグラフを出力してもよい。このようなグラフ（時間的変化）をみることで、精神的健康状態の良し悪しや傾向などを直観的に理解することができる。
【００６８】
なお、健康状態推定部１３が複数の推定ロジックを有している場合、結果出力部１４は、各ロジックで得られた推定結果を別々に出力してもよいし、複数のロジックの推定結果を統合した結果（例えば、いずれかのロジックでＴＲＵＥ（＝精神的健康状態が悪化している）と判定されたらＴＲＵＥを出力する方法、すべてのロジックでＴＲＵＥ判定されたときのみＴＲＵＥを出力する方法など）を出力してもよい。
【００６９】
（健康管理補助装置の適用例）
健康管理補助装置１の適用例としては、例えば以下のものが想定される。
【００７０】
（適用例１）職場での健康管理
デスクや天井に設置したセンサで業務中の対象者（デスクワーカーなど）の顔が定期的に撮影される。健康管理補助装置１（サーバ）がＬＡＮを介して各センサから画像を収集
し、各対象者の表情認識及び健康状態推定を行い、推定結果を蓄積する。精神疾患の兆候が検出されると、その情報が上司に通知される。また、上司は健康管理補助装置１にアクセスし、部下のメンタルヘルス状態を確認できる。このようなシステムによれば、上司が部下のメンタルヘルス状態をリアルタイムで且つ客観的な情報として確認できるため、メンタルヘルスの低下や精神疾患の兆候にいち早く気付くことができる。そして、面談を行ったり、仕事の負荷を軽減したり、早期に健康管理室と連携したりするなど、適切な行動を迅速にとることが可能となる。
【００７１】
（適用例２）高齢者見守り
対象者は一人暮らしの高齢者である。テレビやキッチンに設置したセンサで対象者の顔が定期的に撮影される。家庭内に設定された健康管理補助装置１がセンサから画像を収集し、対象者の表情認識及び健康状態推定を行い、推定結果をクラウドサーバにアップロードする。離れて暮らす家族、ソーシャルワーカー、医者などが、必要なときにクラウドサーバにアクセスし、対象者のメンタルヘルス状態を確認できる。あるいは、クラウドサーバから対象者のメンタルヘルス状態の通知を受信する。このようなシステムによれば、一人暮らしの高齢者の健康状態を遠隔地から簡単に確認でき、認知症の兆候なども早期に発見することができる。
【００７２】
（適用例３）自宅での自己診断
ドレッサーや洗面台に設置したセンサで対象者の顔が定期的に撮影される。健康管理補助装置１（例えばスマートフォンのアプリ）がセンサから画像を収集し、対象者の表情認識及び健康状態推定行い、推定結果を蓄積する。このようなシステムによれば、ユーザは必要なときにスマートフォン上で自分自身のメンタルヘルス状態をチェックすることができる。
【００７３】
以上述べた本実施形態の構成は次のような利点を有する。健康管理補助装置１は、顔表情の時間的変化に関わる特徴に注目するため、顔表情の変化として表れる精神的健康状態の変化（悪化又は好転）を検出することができ、一枚の画像における顔表情だけで推定するのに比べて、高信頼の推定結果を得ることができる。そして、そのような高信頼の推定結果を自動で且つ早期に得ることができるため、対象者の精神的健康状態に応じた有用な情報を適時に提供することが可能となり、対象者の精神的健康管理を適切に補助することができる。また、具体例（１）〜（５）で述べたように、７表情を数値化したスコアの時系列データに基づき表情の時間的変化を定量的に評価するため、うつ病や認知症などの精神疾患につながる精神的健康状態の悪化を高信頼に推定することができる。さらに、対象者自身の時系列データから統計的に求めた値（上記の例では平均値）を通常値として用いることにより、その対象者の表情の個性（もともとの顔のつくり、通常時の表情や感情表現など）を基準にして表情の時間的変化を評価できるため、個人差による推定精度の低下を抑制し、推定処理の信頼性をより高めることができる。
【００７４】
なお、上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば、上記実施形態では７種類の表情分類を用いたが、他の表情分類を用いても構わない。また、上記実施形態では、喜びスコアと怒りスコアと悲しみスコアからポジティブ表情スコアを生成したが、ポジティブ表情スコアの定義はこれに限らない。例えば、７表情のうちの１つ（例えば喜びスコア）をそのままポジティブ表情スコアとして選択して用いてもよい。また、上記実施形態では、精神疾患の例としてうつ病と認知症を挙げたが、顔表情に兆候（サイン）が表れる精神疾患であれば本発明の方法は有効である。例えば、解離性障害、適応障害、統合失調症、パニック障害・不安障害などが想定される。また、表情データの時系列解析には、回帰分析、周波数解析、トレンド推定など、いかなる手法を適用してもよい。また、上記実施形態では、通常
値として平均値を用いたが、対象者自身の時系列データから統計的に求めた値であれば、他の統計値（例えば、中間値、最頻値など）を用いることも好ましい。
【００７５】
時系列解析に用いる表情データの期間については、推定ロジック、表情の時間的変化の特徴、精神疾患やその兆候・症状の種類などに応じ、日単位、週単位、月単位、又は、年単位で、適宜設定することができる。上記具体例（１）などでは、直近の数日〜１週間の表情を評価対象とし、これを統計的に求めた通常値と比較したが、評価対象をサンプルする期間は、数日、１週〜数週、１月〜数月、又は、１年〜数年などの期間に設定することができる。同様に、通常値をサンプルする期間も、数日、１週〜数週、１月〜数月、又は、１年〜数年などの期間に設定することができる。例えば、直近の一カ月のポジティブ表情スコアがそれ以前のスコアと比較して悪化（スコアの低下や変動幅の減少）していたら「精神的健康状態の悪化」と判定し、さらにその状態が三カ月続いたら「うつ病の可能性が高い」と判定することが考えられる。
【００７６】
また、精神疾患によっては症状に季節変動があるものがある。季節変動がある場合には、評価対象をサンプルした期間と同じ季節の過去のデータから通常値をサンプルするとよい。例えば、認知症の症状進行を年単位で評価する場合には、今年の直近一カ月の表情と、過去数年分の同じ月の表情とを比較することが考えられる。
【００７７】
上記具体例（１）では、ポジティブ表情スコアＳｐｏｓが通常値よりも低下したことを検出した場合に「精神的健康状態の悪化」と判定したが、逆に、ポジティブ表情スコアＳｐｏｓが通常値よりも上昇したことを検出した場合に「精神的健康状態の好転」と判定することもできる。例えば、スコア日平均をＤＳｐｏｓ、通常値をＲＤＳ、スコア日平均ＤＳｐｏｓの過去一カ月の標準偏差をσ、検出感度を調整するパラメータをｎ、としたときに、
ＤＳｐｏｓ＞ＲＤＳ＋ｎ×σ
を満たすスコア日平均が所定期間のあいだ続いた場合に、直近の値が上昇傾向にあると判定することができる。同様に、ポジティブ表情スコアＳｐｏｓの変動幅が通常値（過去の統計値）よりも増加したことを検出した場合に「精神的健康状態の好転」と判定してもよい。
【００７８】
また、ポジティブ表情スコアＳｐｏｓの他に、ネガティブな感情を示す表情の度合いを数値化したネガティブ表情スコアＳｎｅｇの時間的変化に注目してもよい。ネガティブな感情を示す表情には、悲しみの表情、怒りの表情などが該当し、ネガティブ表情スコアＳｎｅｇは例えば次のように定義できる。
Ｓｎｅｇ＝悲しみスコアＳ５＋怒りスコアＳ１
具体的には、ネガティブ表情スコアＳｎｅｇが通常値よりも上昇した場合や、ネガティブ表情スコアＳｎｅｇの変動幅が通常値よりも増加した場合に、「精神的健康状態の悪化」と判定することができる。逆に、ネガティブ表情スコアＳｎｅｇが通常値よりも低下した場合や、ネガティブ表情スコアＳｎｅｇの変動幅が通常値よりも減少した場合に、「精神的健康状態の好転」と判定することができる。また、具体例（３）のポジティブ表情スコアＳｐｏｓの代わりにネガティブ表情スコアＳｎｅｇの日内変動を評価し、ネガティブ表情スコアＳｎｅｇが朝方に高く、夕方に相対的に低くなっている場合に、「精神的健康状態の悪化」と判定することもできる。
【符号の説明】
【００７９】
１：健康管理補助装置
２：対象者
３：撮像装置
１０：画像取得部
１１：表情認識部
１２：記憶部
１３：健康状態推定部
１４：結果出力部
【図１】
0006467966.tif 000002
【図２】
0006467966.tif 000003
【図３】
0006467966.tif 000004
【図４】
0006467966.tif 000005
【図５】
0006467966.tif 000006
【図６】
0006467966.tif 000007
【図７】
0006467966.tif 000008
【図８】
0006467966.tif 000009
【図９】
0006467966.tif 000010