(57)【特許請求の範囲】
【請求項１】
対象人物の顔を撮影して画像データを取得する画像取得工程と、
前記画像データに基づいて前記対象人物のポジティブ感情及びネガティブ感情に関する心理状態を推定する心理状態推定工程と、
を具備し、
前記心理状態推定工程は、
前記画像データに基づいて前記対象人物の笑顔度を推定する笑顔度推定工程と、
前記画像データに基づいて前記対象人物の年齢を推定する年齢推定工程と、
前記年齢の推定結果と予め設定される前記対象人物の基準推定年齢とを比較して年齢差を算出する算出工程と、
前記笑顔度の推定結果及び前記年齢差の算出結果に基づいて、前記対象人物の心理状態を推定する複合推定工程と、
を具備する、
心理状態推定方法。
【請求項２】
予め前記対象人物の基準となる画像データを撮影し、当該撮影した基準となる画像データに基づいて前記対象人物の基準推定年齢を設定する設定工程をさらに具備する、
請求項１に記載の心理状態推定方法。
【請求項３】
前記心理状態推定工程は、
前記画像データに基づいて個人を同定する個人同定工程と、
前記個人を同定した結果に基づいて、予め設定される全ての対象人物の基準推定年齢の中から前記同定した個人の基準推定年齢を取得する取得工程と、
をさらに具備する、
請求項１又は請求項２に記載の心理状態推定方法。
【請求項４】
前記画像取得工程は、
インターフォンの玄関子機に取り付けられるカメラを用いて前記対象人物の顔を撮影する、
請求項１から請求項３までのいずれか一項に記載の心理状態推定方法。
【請求項５】
対象人物の顔を撮影して画像データを取得する撮影手段と、
前記画像データに基づいて前記対象人物の笑顔度を推定する笑顔度推定手段と、
前記画像データに基づいて前記対象人物の年齢を推定する年齢推定手段と、
前記年齢の推定結果と予め設定される前記対象人物の基準推定年齢とを比較して年齢差を算出し、前記笑顔度の推定結果及び前記年齢差の算出結果に基づいて、前記対象人物のポジティブ感情及びネガティブ感情に関する心理状態を推定する心理状態推定手段と、
を具備する、
心理状態推定システム。
【請求項６】
請求項１から請求項４までのいずれか一項に記載の心理状態推定方法を用いたケアシステムであって、
前記対象人物の心理状態の推定結果に基づいた通知を、前記対象人物以外の人物に行う通知手段を具備する、
ケアシステム。
【請求項７】
請求項４に記載の心理状態推定方法を用いたケアシステムであって、
前記カメラを用いて撮影した結果に基づいて前記玄関子機が設けられる玄関のドアを自動的に開錠する自動開錠手段を具備する、
ケアシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに基づいて画像データに写った人物の心理状態を推定する心理状態推定方法及び心理状態推定システムの技術に関する。また、本発明は、心理状態推定方法を用いたケアシステムの技術に関する。
【背景技術】
【０００２】
従来、画像データ等に基づいて画像データに写った人物の状態を推定する技術は公知となっている。例えば、特許文献１に記載の如くである。
【０００３】
特許文献１に記載の技術は、帰宅者の音声データ及び画像データを検知して、帰宅者の通常の音声データ及び画像データと検知時の音声データ及び画像データとに基づいて検知時の人体状態を分析し、当該分析結果を表示して在宅者に知らせている。
【０００４】
しかしながら、特許文献１に記載の技術は、帰宅者の表情や疲労度といった表面的な状態を分析するだけであり、人物の内面的な状態、すなわち心理状態を分析して客観的に判断するまでには至っていない。画像データに写った人物の状態を推定する技術に関しては、この点において改善の余地があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２９３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、以上の如き状況を鑑みてなされたものであり、対象人物の心理状態を客観的に判断することができる心理状態推定方法、心理状態推定システム及びケアシステムを提供するものである。
【課題を解決するための手段】
【０００７】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【０００８】
即ち、請求項１においては、対象人物の顔を撮影して画像データを取得する画像取得工程と、前記画像データに基づいて前記対象人物のポジティブ感情及びネガティブ感情に関する心理状態を推定する心理状態推定工程と、を具備し、前記心理状態推定工程は、前記画像データに基づいて前記対象人物の笑顔度を推定する笑顔度推定工程と、前記画像データに基づいて前記対象人物の年齢を推定する年齢推定工程と、前記年齢の推定結果と予め設定される前記対象人物の基準推定年齢とを比較して年齢差を算出する算出工程と、前記笑顔度の推定結果及び前記年齢差の算出結果に基づいて、前記対象人物の心理状態を推定する複合推定工程と、を具備するものである。
【０００９】
請求項２においては、予め前記対象人物の基準となる画像データを撮影し、当該撮影した基準となる画像データに基づいて前記対象人物の基準推定年齢を設定する設定工程をさらに具備するものである。
【００１０】
請求項３においては、前記心理状態推定工程は、前記画像データに基づいて個人を同定する個人同定工程と、前記個人を同定した結果に基づいて、予め設定される全ての対象人物の基準推定年齢の中から前記同定した個人の基準推定年齢を取得する取得工程と、をさらに具備するものである。
【００１１】
請求項４においては、前記画像取得工程は、インターフォンの玄関子機に取り付けられるカメラを用いて前記対象人物の顔を撮影するものである。
【００１２】
請求項５においては、対象人物の顔を撮影して画像データを取得する撮影手段と、前記画像データに基づいて前記対象人物の笑顔度を推定する笑顔度推定手段と、前記画像データに基づいて前記対象人物の年齢を推定する年齢推定手段と、前記年齢の推定結果と予め設定される前記対象人物の基準推定年齢とを比較して年齢差を算出し、前記笑顔度の推定結果及び前記年齢差の算出結果に基づいて、前記対象人物のポジティブ感情及びネガティブ感情に関する心理状態を推定する心理状態推定手段と、を具備するものである。
【００１３】
請求項６においては、請求項１から請求項４までのいずれか一項に記載の心理状態推定方法を用いたケアシステムであって、前記対象人物の心理状態の推定結果に基づいた通知を、前記対象人物以外の人物に行う通知手段を具備するものである。
【００１４】
請求項７においては、請求項４に記載の心理状態推定方法を用いたケアシステムであって、前記カメラを用いて撮影した結果に基づいて前記玄関子機が設けられる玄関のドアを自動的に開錠する自動開錠手段を具備するものである。
【発明の効果】
【００１６】
本発明の効果として、以下に示すような効果を奏する。
【００１７】
請求項１においては、対象人物の心理状態を客観的に判断することができる。また、対象人物の心理状態を高精度に推定することができる。
【００１８】
請求項２においては、対象人物の心理状態を高精度に推定することができる。
【００１９】
請求項３においては、対象人物の心理状態を効率的に推定することができる。
【００２０】
請求項４においては、対象人物の顔を効率的に撮影することができる。
【００２１】
請求項５においては、対象人物の心理状態を客観的に判断することができる。
【００２２】
請求項６においては、対象人物がネガティブ感情を抱いていることを、対象人物以外の人物が把握することができる。
【００２３】
請求項７においては、対象人物の顔を効率的に撮影することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る心理状態推定システムの全体的な構成を示した図。
【図２】本発明の一実施形態に係る心理状態推定方法の流れを示した図。
【図３】インターフォンの玄関子機のカメラで撮影した画像データを示した図。
【図４】標準顔画像データを示した図。
【図５】心理状態が変化したときの笑顔度及び年齢差の逆相関関係を示した図。
【図６】笑顔度と年齢差と心理状態との関係を示した図。
【発明を実施するための形態】
【００２６】
以下では、本発明の一実施形態に係る心理状態推定方法について説明する。
【００２７】
心理状態推定方法は、対象人物の心理状態を推定するものである。本実施形態に係る心理状態推定方法は、親子を含む家族の心理状態を推定する。心理状態推定方法は、前記家族が居住する建物に図１に示すケアシステム１０が採用されることで実施される。
【００２８】
まず、図１を参照してケアシステム１０の構成について説明する。
【００２９】
ケアシステム１０は、心理状態推定方法の推定結果を用いて家族のコミュニケーションの手助け等を行うためのものである。ケアシステム１０は、主としてインターフォン２０、電子錠装置３０及びパーソナルコンピュータ４０等を具備する。
【００３０】
本実施形態に係るインターフォン２０は、前記建物の玄関前にいる来訪者を視認可能なカメラ付きのインターフォンである。インターフォン２０は、玄関子機２１及び親機２２を具備する。
【００３１】
玄関子機２１は、屋外、より詳細には、玄関のドアＤの近傍等に設けられる。玄関子機２１には、来訪者の顔を撮影するためのカメラ２１ａ等が取り付けられる。
【００３２】
親機２２は、前記建物の内壁等に取り付けられることによって、屋内に設けられる。親機２２は、無線通信手段又は有線通信手段によって玄関子機２１と信号を送受信可能に構成される。親機２２には、玄関子機２１のカメラ２１ａで撮影されている映像を表示するためのモニター２２ａ等が設けられる。
【００３３】
電子錠装置３０は、玄関のドアＤを自動的に施錠及び開錠するものである。電子錠装置３０は、電子錠３１及び制御盤３２を具備する。
【００３４】
電子錠３１は、玄関のドアＤに取り付けられ、モータの駆動によってデッドボルトを移動させることで玄関のドアＤを施錠及び開錠する。電子錠３１は、例えば、テンキー及びＩＣカード読み取り部のような入力部を具備する。
【００３５】
制御盤３２は、前記建物の内壁等に取り付けられることによって、インターフォン２０の親機２２の近傍に配置される。制御盤３２は、無線通信手段又は有線通信手段によって電子錠３１と信号を送受信可能に構成される。制御盤３２には、電子錠３１に適宜の信号を入力して動作させ、ドアＤを施錠及び開錠可能なボタン３２ａ等が設けられる。制御盤３２には、電子錠３１から開錠されたことを通知する信号等が入力される。また、制御盤３２は、無線通信手段又は有線通信手段によってインターフォン２０の親機２２と信号を送受信可能に構成される。制御盤３２には親機２２からドアＤを開錠する信号等が入力される。
【００３６】
パーソナルコンピュータ４０は、家族の心理状態を推定するために必要な演算処理等を行うためのものである。パーソナルコンピュータ４０は、バスで相互に接続された演算装置（ＣＰＵ等）、記憶装置（ＲＡＭ及びＲＯＭのような主記憶装置やＳＳＤ及びＨＤＤのようなストレージ）、入力装置（キーボードやマウス等）、出力装置（液晶ディスプレイや有機ＥＬディスプレイ等）を具備する。パーソナルコンピュータ４０は、記憶装置に記憶されるＯＳやプログラムを演算装置が呼び出して実行することで、種々の機能を提供する。
【００３７】
パーソナルコンピュータ４０は、ＬＡＮケーブル及びハブＨ等によってインターフォン２０の親機２２と信号を送受信可能に構成される。パーソナルコンピュータ４０には、玄関子機２１のカメラ２１ａでの撮影結果が親機２２及びハブＨを介して入力される。また、パーソナルコンピュータ４０には、ハブＨ、親機２２及び制御盤３２等を介して、ドアＤが開錠されたことを通知する信号が入力される。また、パーソナルコンピュータ４０は、ドアＤを開錠させる信号をハブＨ、親機２２及び制御盤３２等を介して電子錠３１に入力可能に構成される。
【００３８】
本実施形態に係るパーソナルコンピュータ４０は、家族の心理状態を推定するために必要な演算処理等を行う手段として、個人同定部４１、表情認識部４２、心理状態推定部４３及び推定結果記憶領域４４等を具備する。
【００３９】
個人同定部４１は、所定の画像データに写っている人物が誰であるかを特定する（個人を同定する）ためのプログラムである。個人同定部４１は、所定の画像データに写っている顔及び予め記憶装置に記憶される家族の顔を撮影した画像データとを比較することで、所定の画像データがどの家族の顔を撮影した画像データと一致しているかを確認する。そして、個人同定部４１は、前記一致した家族の顔を撮影した画像データをキーにして、記憶装置に予め記憶される家族の情報（例えば、家族の名前及び家族一人ずつに一意に設定されるＩＤ等）を抽出することで、個人を同定する。
【００４０】
表情認識部４２は、所定の画像データに写っている人物の笑顔度及び年齢を推定するためのプログラムである。
【００４１】
笑顔度は、所定の画像データに写っている人物がどの程度笑っているかを数値化しものである。表情認識部４２は、所定の画像データに写っている顔の目じり及び口角の状態等を判断し、当該判断した結果に基づいて笑顔度を推定する。本実施形態における笑顔度は、高い値であるほど笑顔の度合いが高い（笑っている）ものとする。
【００４２】
また、表情認識部４２は、所定の画像データに写っている顔の輪郭、目と鼻と口との位置等を判断し、当該判断した結果に基づいて年齢を推定する。
【００４３】
心理状態推定部４３は、所定の画像データに写っている人物の心理状態を推定するためのプログラムである。心理状態推定部４３による演算処理の内容ついては後で詳述する。
【００４４】
推定結果記憶領域４４は、心理状態の推定結果と心理状態の推定に用いられた画像データと心理状態を推定した日時等とを互いに関連付けて記憶するための記憶領域であり、記憶装置に確保される。推定結果記憶領域４４には、前記心理状態の推定結果及び画像データ等を関連付けた情報が家族毎にフォルダ（ディレクトリ）４４ａに分けられて記憶される。
【００４５】
次に、ケアシステム１０の動作、すなわち心理状態推定方法の流れについて説明する。
【００４６】
まず、図１及び図２に示すように、来訪者がインターフォン２０（玄関子機２１に設けられる呼び出しボタン）を押す（ステップＳ１０）。これにより、インターフォン２０の玄関子機２１は、カメラ２１ａで来訪者の顔を撮影する。
【００４７】
来訪者がインターフォン２０を押した後で、ケアシステム１０は、来訪者が家族であるかどうかを確認する（ステップＳ２０）。このとき、インターフォン２０の玄関子機２１は、来訪者の顔を撮影した画像データを作成し、親機２２等を介して前記画像データをパーソナルコンピュータ４０の個人同定部４１に入力する。個人同定部４１は、入力された画像データから個人を同定する。
【００４８】
仮に、来訪者が家族でない場合、すなわち個人同定部４１で個人を同定できなかった場合、ケアシステム１０は、心理状態の推定等を行わず、再びインターフォン２０が押されるまで待機する（ステップＳ２０：ＮＯ）。
【００４９】
一方、来訪者が家族である場合、すなわち家族が帰宅して個人同定部４１で個人を同定できた場合、ケアシステム１０は、玄関子機２１のカメラ２１ａで帰宅した家族の顔を複数回撮影し、帰宅した家族の顔を撮影した複数の画像データを作成する（ステップＳ２０：ＹＥＳ、ステップＳ３０）。ステップＳ３０において、玄関子機２１は、作成した複数の画像データを親機２２等を介してパーソナルコンピュータ４０に入力する。パーソナルコンピュータ４０は、当該入力された複数の画像データ及びステップＳ２０で入力された画像データから正面視の画像データ（顔がカメラ２１ａに対して正面を向いている画像データ）のみを取得する。パーソナルコンピュータ４０は、例えば以下のようにして、正面視の画像データを取得する。
【００５０】
すなわち、パーソナルコンピュータ４０は、入力された画像データに写った顔の向きを測定し、当該測定結果が笑顔度及び年齢の推定が可能な顔の向き（例えば、カメラ２１ａに対して真正面を向いた状態を０°として左右方向に±５°以内の範囲で傾いた顔の向き）であればその画像データを取得する。こうして、パーソナルコンピュータ４０は、正面視の画像データを予め設定される枚数だけ取得し、当該取得した正面視の画像データを複数の画像データ１００（図３参照）として表情認識部４２に入力する。
【００５１】
本実施形態に係る心理状態推定方法は、玄関子機２１のカメラ２１ａを用いて帰宅した家族の顔を撮影することで、家族の顔を撮影するために別途設けられた装置等を用いることなく（既に建物に設けられる装置を用いて）家族の正面の顔を撮影することができる。
【００５２】
帰宅した家族の顔を撮影した後で、ケアシステム１０は、ステップＳ３０で取得した複数の画像データ１００の中から適宜抽出した一つの画像データ１００を、パーソナルコンピュータ４０から図示せぬ個人端末（例えば、携帯端末及び外出先に設置されるパーソナルコンピュータ等）に送る（ステップＳ４０）。このとき、ケアシステム１０は、例えば、パーソナルコンピュータ４０によって以下のようにして画像データ１００を送る。
【００５３】
すなわち、パーソナルコンピュータ４０の記憶装置には、家族の情報と画像データ１００を送る個人端末の情報（メールアドレス等）とを関連付けた情報が予め記憶されている。パーソナルコンピュータ４０は、ステップＳ４０に移行したときに、ステップＳ２０で同定した家族の情報をキーにして前記家族の情報と個人端末の情報等とを関連付けた情報から画像データ１００を送る個人端末を抽出する。そして、パーソナルコンピュータ４０は、当該抽出した個人端末に画像データ１００を添付したメールを送る。
【００５４】
画像データ１００を送った後で、ケアシステム１０は、来訪者（帰宅した家族）に応対する者（以下、「応対者」と称する）がいるかどうかを確認する（ステップＳ５０）。このとき、ケアシステム１０は、例えば、インターフォン２０の親機２２及びパーソナルコンピュータ４０によって以下のようにして応対者がいるかどうかを確認する。
【００５５】
すなわち、インターフォン２０の親機２２は、ステップＳ５０において、応対者によって操作されたときにパーソナルコンピュータ４０にその旨を通知する信号を入力する。パーソナルコンピュータ４０は、当該信号が入力されたことを確認することで応対者がいると判断する。一方、パーソナルコンピュータ４０は、ステップＳ５０に移行してから予め設定される時間が経過しても前記信号が入力されなかった場合に、応対者がいないと判断する。
【００５６】
仮に、応対者がいると判断した場合、ケアシステム１０は、応対者によって玄関のドアＤが開錠されるまで待機する（ステップＳ５０：ＹＥＳ、ステップＳ６０）。すなわち、ステップＳ５０からステップＳ６０に移行した場合においては、応対者がインターフォン２０の親機２２のモニター２２ａで来訪者を確認し、制御盤３２を介してドアＤを自動的に開錠したり玄関まで移動して手動でドアＤを開錠したりする。電子錠３１は、ドアＤが開錠されたことを通知する信号をパーソナルコンピュータ４０に入力する。ケアシステム１０は、これによってドアＤが開錠されたことを確認し、ステップＳ８０に移行する。
【００５７】
一方、応対者がいないと判断した場合、ケアシステム１０は、ドアＤを自動的に開錠する（ステップＳ５０：ＮＯ、ステップＳ７０）。すなわち、ケアシステム１０は、パーソナルコンピュータ４０から電子錠３１にドアＤを開錠する信号を入力することでドアＤを開錠し、ステップＳ８０に移行する。
【００５８】
本実施形態に係るケアシステム１０は、ステップＳ７０においてドアＤを自動的に開錠する構成とすることで、帰宅した家族が玄関子機２１のカメラ２１ａに対して正面を向くように意識付けすることができる。また、ケアシステム１０は、ドアＤを開錠する度に家族の顔を撮影することができる。すなわち、ケアシステム１０は、ドアＤを開錠するために撮影した画像データを心理状態の推定に再利用することができるため、別途顔データを撮影する必要がない（又はステップＳ３０において家族を撮影する回数を減らすことができる）。
【００５９】
図１、図２及び図３に示すように、ステップＳ８０に移行したケアシステム１０は、表情認識部４２によって笑顔度及び年齢を推定する。このとき、パーソナルコンピュータ４０は、ステップＳ３０で取得した複数の画像データ１００を表情認識部４２に入力する。表情認識部４２は、入力された複数の画像データ１００毎に笑顔度を推定し、当該笑顔度の推定結果の単純平均を算出する。表情認識部４２は、当該単純平均の算出結果を笑顔度の推定結果Ｓとする。また、表情認識部４２は、これと同様に、複数の画像データ１００の年齢の推定結果の単純平均を算出し、当該算出結果を年齢の推定結果Ａとする。
【００６０】
笑顔度及び年齢を推定した後で、ケアシステム１０は、心理状態推定部４３によって帰宅した家族の心理状態を推定する（ステップＳ９０）。
【００６１】
以下では、心理状態を推定する工程であるステップＳ９０について詳細に説明する。
【００６２】
ステップＳ９０に移行したとき、個人同定部４１は、帰宅した（同定した）家族の情報を心理状態推定部４３に入力する。
【００６３】
図４に示すように、心理状態推定部４３は、個人同定部４１から入力された家族の情報に基づいて帰宅した家族の標準顔推定年齢Ｓ０を取得する。
【００６４】
標準顔推定年齢Ｓ０は、家族毎に予め設定される年齢であり、家族の情報と関連付けてパーソナルコンピュータ４０の記憶装置に予め記憶されている。標準顔推定年齢Ｓ０は、家族が普段の表情で写っている標準顔画像データＳＤを表情認識部４２に入力し、表情認識部４２で標準顔画像データＳＤの年齢を推定することで設定される。心理状態推定部４３は、家族の情報をキーにして、前記家族の情報と標準顔推定年齢Ｓ０とを関連付けた情報から帰宅した家族の標準顔推定年齢Ｓ０を取得する。
【００６５】
また、ステップＳ９０に移行したとき、図１及び図３に示すように、表情認識部４２は、笑顔度の推定結果Ｓ及び年齢の推定結果Ａを心理状態推定部４３に入力する。
【００６６】
図３、図４及び図５に示すように、心理状態推定部４３は、入力された年齢の推定結果Ａから標準顔推定年齢Ｓ０を減算することで、年齢の推定結果Ａと標準顔推定年齢Ｓ０との差（以下、「年齢差」と称する）を算出する。なお、図５は、笑顔度の推定結果Ｓ及び年齢の推定結果Ａを時系列で示したグラフであり、右端部における値がステップＳ９０で入力された笑顔度の推定結果Ｓ及び年齢の推定結果Ａとなっている。
【００６７】
入力された年齢の推定結果Ａが標準顔推定年齢Ｓ０よりもある程度低い年齢となった場合（年齢差が０よりもある程度小さい値となった場合）、帰宅した家族は、通常よりも若く見える状態である。一方、入力された年齢の推定結果Ａが標準顔推定年齢Ｓ０よりもある程度高い年齢となった場合（年齢差が０よりもある程度大きい値となった場合）、帰宅した家族は、通常よりも老けて見える状態である。
【００６８】
心理状態推定部４３は、このような年齢差の算出結果と笑顔度の推定結果Ｓとを用いて、帰宅した家族がポジティブ感情を抱いているかネガティブ感情を抱いているかを推定する。
【００６９】
本実施形態において、ポジティブ感情とは、喜び及び幸せのようなストレスを感じていないときに抱く感情である。
また、本実施形態において、ネガティブ感情とは、悲しみ、怒り及び恐れのようなストレスを感じているときに抱く感情である。
【００７０】
帰宅した家族がポジティブ感情を抱いている場合、若く見え易いため、年齢の推定結果Ａが低い年齢となって年齢差が０よりも小さい値となり易い。また、この場合、表情が明るくなり易いため、笑顔度の推定結果Ｓは、高い値となり易い。
一方、帰宅した家族がネガティブ感情を抱いている場合、老けて見え易いため、年齢の推定結果Ａが高い年齢となって年齢差が０よりも大きい値となり易い。また、この場合、表情が暗くなり易いため、笑顔度の推定結果Ｓは、低い値となり易い。
【００７１】
すなわち、図５及び図６に示すように、ポジティブ感情を抱いている状態からネガティブ感情を抱いている状態に変化した場合、笑顔度の推定結果Ｓが低下し易くなると共に年齢差が０よりも大きい値となり易い（図５に示す符号Ｃ及び図６に示す領域Ｒ４参照）。
一方、ネガティブ感情を抱いている状態からポジティブ感情を抱いている状態に変化した場合、笑顔度の推定結果Ｓが増加し易くなると共に年齢差が０よりも小さい値となり易い（図６に示す領域Ｒ１参照）。
【００７２】
心理状態推定部４３は、以上のような逆相関関係を利用して帰宅した家族がポジティブ感情を抱いているかネガティブ感情を抱いているかを推定する。
【００７３】
具体的には、心理状態推定部４３は、笑顔度の推定結果Ｓが高い値であると共に年齢差が０よりも小さい値である場合に、帰宅した家族がポジティブ感情を抱いていると推定する（図６に示す領域Ｒ１参照）。
一方、心理状態推定部４３は、笑顔度の推定結果Ｓが低い値であると共に年齢差が０よりも大きい値である場合に、帰宅した家族がネガティブ感情を抱いていると推定する（図６に示す領域Ｒ４参照）。
【００７４】
また、心理状態推定部４３は、帰宅した家族がこのようなポジティブ感情及びネガティブ感情を抱いている場合に該当しない場合に、帰宅した家族がネガティブ感情を抱いている可能性があると推定する。このような場合としては、笑顔度の推定結果Ｓが高い値であると共に年齢差が０よりも大きい値である場合及び笑顔度の推定結果Ｓが低い値であると共に年齢差が０よりも小さい値である場合等がある（図６に示す領域Ｒ２・Ｒ３参照）。
【００７５】
心理状態推定部４３は、以上のようにして帰宅した家族がポジティブ感情を抱いているかネガティブ感情を抱いているかを推定する。これにより、心理状態推定方法は、ストレス等の影響で変化する家族の内面的な情報、すなわちポジティブ感情及びネガティブ感情といった家族の心理状態を推定することができる。
【００７６】
これによれば、心理状態推定方法は、画像データ１００から推定可能な笑顔度のような表面的な情報から、家族の心理状態を客観的に判断することができる。
【００７７】
また、心理状態推定方法及びケアシステム１０は、笑顔度及び年齢差に基づいて心理状態を推定することで、家族の心理状態を高精度に推定することができる。
【００７８】
また、心理状態推定方法及びケアシステム１０は、実年齢を標準顔推定年齢Ｓ０にするのではなく、平常時に推定した年齢（標準顔推定年齢Ｓ０）を基準として年齢差が０より大きいか小さいかを判断している。これにより、心理状態推定方法及びケアシステム１０は、家族の心理状態をより客観的に判断することができる。
【００７９】
また、心理状態推定方法及びケアシステム１０は、個人同定部４１で個人を同定した結果に基づいて標準顔推定年齢Ｓ０を取得することで、パーソナルコンピュータ４０に帰宅した家族が自身の情報を手作業で入力することなく（効率的に）標準顔推定年齢Ｓ０を取得することができる。
【００８０】
図１及び図２に示すように、心理状態を推定した後で、ケアシステム１０は、心理状態推定部４３によって心理状態の推定結果を保存する（ステップＳ１００）。ステップＳ１００において、心理状態推定部４３は、心理状態の推定結果を、入力された複数の画像データ１００、笑顔度の推定結果Ｓ、年齢差の算出結果及び心理状態を推定した日時等と関連付けて推定結果記憶領域４４に記憶させる。このとき、心理状態推定部４３は、帰宅した家族に対応する推定結果記憶領域４４のフォルダ４４ａ内に記憶させる。
【００８１】
心理状態の推定結果を保存した後で、ケアシステム１０は、パーソナルコンピュータ４０によってアラートの定義に該当するかどうかを確認する（ステップＳ１１０）。パーソナルコンピュータ４０は、例えば、以下のようにしてアラートの定義に該当しているかどうかを確認する。
【００８２】
すなわち、パーソナルコンピュータ４０は、笑顔度の推定結果Ｓ及び年齢差の算出結果が図６に示す領域Ｒ１〜Ｒ４に含まれているかどうかを確認する。仮に、心理状態の推定結果が領域Ｒ２〜Ｒ４に含まれる場合、パーソナルコンピュータ４０は、アラートの定義に該当すると判断する。一方、領域Ｒ２〜Ｒ４に含まれていない場合、パーソナルコンピュータ４０は、アラートの定義に該当しないと判断する。
【００８３】
仮に、アラートの定義に該当すると判断した場合、ケアシステム１０は、アラート及び注意喚起をパーソナルコンピュータ４０から個人端末Ｔに送る（ステップＳ１１０：ＹＥＳ、ステップＳ１２０）。ケアシステム１０は、例えば、パーソナルコンピュータ４０によって以下のようにしてアラート及び注意喚起を送る。
【００８４】
すなわち、パーソナルコンピュータ４０の記憶装置には、家族の情報とアラート及び注意喚起を送る個人端末Ｔの情報（メールアドレス等）とを関連付けた情報が予め記憶されている。パーソナルコンピュータ４０は、ステップＳ１１０に移行したときに、同定した家族の情報をキーにして前記家族の情報と個人端末Ｔの情報等とを関連付けた情報からアラート及び注意喚起を送る個人端末Ｔを抽出する。そして、パーソナルコンピュータ４０は、当該抽出した個人端末Ｔ（本実施形態では携帯端末）にアラート及び注意喚起を記載したメールを送る。
パーソナルコンピュータ４０は、心理状態の推定結果が領域Ｒ４に含まれる場合にアラートを送る。また、パーソナルコンピュータ４０は、心理状態の推定結果が領域Ｒ２・Ｒ３に含まれる場合に注意喚起を送る。
【００８５】
このようなアラートの具体的な内容（文面）としては、「帰宅した家族が心的ストレスを抱えているかもしれない」等がある。また、注意喚起の具体的な内容としては、「帰宅した家族が何か無理をしているかもしれない」、「帰宅した家族が不安ごとを抱えているかもしれない」等がある。アラート及び注意喚起の内容は、心理状態の推定結果と関連付けて記憶装置に予め記憶されており、ステップＳ１２０において、パーソナルコンピュータ４０によって適宜抽出される。
【００８６】
ケアシステム１０は、以上のようなステップＳ１２０を行うことで、帰宅した子供の心理状態に関するアラート及び注意喚起を両親の個人端末Ｔに送ることができる。これにより、ケアシステム１０は、子供の心理状態の悪化を両親に伝えることができる。従って、ケアシステム１０は、両親と子供とのコミュニケーションの手助けをすることができると共に、子供の心理状態の悪化を両親に速やかに気付かせることができる。
【００８７】
一方、アラートの定義に該当しないと判断した場合、ケアシステム１０は、定期報告をパーソナルコンピュータ４０から個人端末Ｔに送る（ステップＳ１１０：ＮＯ、ステップＳ１３０）。この場合においても、パーソナルコンピュータ４０は、ステップＳ１２０と同様に、帰宅した家族の情報をキーにして定期報告を送る個人端末Ｔを抽出し、当該抽出した個人端末Ｔに定期報告を記載したメールを送る。
【００８８】
このような定期報告の具体的な内容としては、「帰宅した家族はリラックスした状態である」等がある。定期報告の内容は、心理状態の推定結果と関連付けて記憶装置に予め記憶されており、ステップＳ１３０において、パーソナルコンピュータ４０によって適宜抽出される。
【００８９】
以上により、ケアシステム１０はその動作を終了する。
【００９０】
なお、本実施形態に係るケアシステム１０は、標準顔推定年齢Ｓ０を、標準顔画像データＳＤ、家族の情報、実年齢、生年月日及び標準顔推定年齢Ｓ０を設定した日と関連付けてパーソナルコンピュータ４０の記憶装置に予め記憶させている（図４参照）。本実施形態に係るパーソナルコンピュータ４０は、生年月日及び標準顔推定年齢Ｓ０を設定した日等に基づいて、標準顔推定年齢Ｓ０を適宜補正している。
【００９１】
具体的には、パーソナルコンピュータ４０は、標準顔推定年齢Ｓ０を設定してから誕生日を迎えた場合又は標準顔推定年齢Ｓ０を設定した日から１年を経過した場合等に、標準顔推定年齢Ｓ０に１歳加えた年齢が標準顔推定年齢Ｓ０となるように補正している。パーソナルコンピュータ４０は、このような処理を定期的に（例えば１ヶ月に１回）行う。
【００９２】
これにより、ケアシステム１０は、長期間標準顔推定年齢Ｓ０を再設定していない場合でも、年を取った影響で年齢差が変動することを防止できる。すなわち、心理状態が変化したときだけ年齢差が変動するようになるため、ケアシステム１０は、より客観的に心理状態を推定することが可能となる。
【００９３】
以上の如く、本実施形態に係る心理状態推定方法は、対象人物の顔を撮影して画像データ１００を取得する画像取得工程（ステップＳ２０・Ｓ３０）と、前記画像データ１００に基づいて前記対象人物のポジティブ感情及びネガティブ感情に関する心理状態を推定する心理状態推定工程（ステップＳ２０・Ｓ８０・Ｓ９０）と、を具備するものである。
【００９４】
このように構成することにより、対象人物の心理状態を客観的に判断することができる。
【００９５】
また、前記心理状態推定工程（ステップＳ２０・Ｓ８０・Ｓ９０）は、前記画像データ１００に基づいて前記対象人物の笑顔度を推定する笑顔度推定工程（ステップＳ８０）と、前記画像データ１００に基づいて前記対象人物の年齢を推定する年齢推定工程（ステップＳ８０）と、前記年齢の推定結果Ａと予め設定される前記対象人物の標準顔推定年齢Ｓ０（基準推定年齢）とを比較して年齢差を算出する算出工程（ステップＳ９０）と、前記笑顔度の推定結果Ｓ及び前記年齢差の算出結果に基づいて、前記対象人物の心理状態を推定する複合推定工程（ステップＳ９０）と、を具備する、ものである。
【００９６】
このように構成することにより、対象人物の心理状態を高精度に推定することができる。
【００９７】
また、本実施形態に係る心理状態推定方法は、予め前記対象人物の標準顔画像データＳＤ（基準となる画像データ）を撮影し、当該撮影した標準顔画像データＳＤに基づいて前記対象人物の標準顔推定年齢Ｓ０を設定する設定工程をさらに具備するものである。
【００９８】
このように構成することにより、対象人物の心理状態を高精度に推定することができる。
【００９９】
また、前記心理状態推定工程（ステップＳ２０・Ｓ８０・Ｓ９０）は、前記画像データ１００に基づいて個人を同定する個人同定工程（ステップＳ２０）と、前記個人を同定した結果に基づいて、予め設定される全ての対象人物の標準顔推定年齢Ｓ０の中から前記同定した個人の標準顔推定年齢Ｓ０を取得する取得工程（ステップＳ９０）と、をさらに具備するものである。
【０１００】
このように構成することにより、対象人物の心理状態を効率的に推定することができる。
【０１０１】
また、前記画像取得工程（ステップＳ２０・Ｓ３０）は、インターフォン２０の玄関子機２１に取り付けられるカメラ２１ａを用いて前記対象人物の顔を撮影するものである。
【０１０２】
このように構成することにより、対象人物の顔を効率的に撮影することができる。
【０１０３】
また、本実施形態に係るケアシステム１０は、対象人物の顔を撮影して画像データ１００を取得するカメラ２１ａ（撮影手段）と、前記画像データ１００に基づいて前記対象人物の笑顔度を推定する笑顔度推定手段と、前記画像データ１００に基づいて前記対象人物の年齢を推定する年齢推定手段と、前記年齢の推定結果Ａと予め設定される前記対象人物の標準顔推定年齢Ｓ０（基準推定年齢）とを比較して年齢差を算出し、前記笑顔度の推定結果Ｓ及び前記年齢差の算出結果に基づいて、前記対象人物のポジティブ感情及びネガティブ感情に関する心理状態を推定する心理状態推定部４３（心理状態推定手段）と、を具備するものである。
【０１０４】
このように構成することにより、対象人物の心理状態を客観的に判断することができる。
【０１０５】
また、本実施形態に係るケアシステム１０は、心理状態推定方法を用いたケアシステム１０であって、前記対象人物の心理状態の推定結果に基づいた通知を、前記対象人物以外の人物に行うパーソナルコンピュータ４０（通知手段）を具備するものである。
【０１０６】
このように構成することにより、対象人物がネガティブ感情を抱いていることを、対象人物以外の人物が把握することができる。
【０１０７】
また、本実施形態に係るケアシステム１０は、前記カメラ２１ａを用いて撮影した結果に基づいて前記玄関子機２１が設けられる玄関のドアＤを自動的に開錠する電子錠装置３０（自動開錠手段）をさらに具備するものである。
【０１０８】
このように構成することにより、対象人物の顔を効率的に撮影することができる。
【０１０９】
なお、本実施形態に係る標準顔推定年齢Ｓ０は、本発明に係る基準推定年齢の実施の一形態である。
また、本実施形態に係る標準顔画像データＳＤは、本発明に係る基準となる画像データの実施の一形態である。
また、本実施形態に係るケアシステム１０は、本発明に係る心理状態推定システムの実施の一形態である。
また、本実施形態に係るインターフォン２０のカメラ２１ａは、本発明に係る撮影手段の実施の一形態である。
また、本実施形態に係る表情認識部４２は、本発明に係る笑顔度推定手段及び年齢推定手段の実施の一形態である。
また、本実施形態に係る心理状態推定部４３は、本発明に係る心理状態推定手段の実施の一形態である。
また、本実施形態に係るパーソナルコンピュータ４０は、本発明に係る通知手段の実施の一形態である。
また、本実施形態に係る電子錠装置３０は、本発明に係る自動開錠手段の実施の一形態である。
【０１１０】
以上、本発明の実施形態を説明したが、本発明は上記構成に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で種々の変更が可能である。
【０１１１】
例えば、本実施形態においては、家族が居住する建物で帰宅した家族の心理状態を推定するものとしたが、本発明における心理状態を推定する環境（シチュエーション）はこれに限定されるものでなく、家族が居住する建物以外の場所で家族以外の人物の心理状態を推定しても良い。すなわち、本発明に係る心理状態推定方法及び心理状態推定システムは、会社の入口で会社員の心理状態を推定しても良く、自動車の運転席で運転者の心理状態を推定しても良い。
【０１１２】
また、本実施形態に係る心理状態推定方法は、笑顔度の推定結果Ｓ及び年齢差の算出結果に基づいて心理状態を推定したが、本発明に係る心理状態推定方法はこれに限定されるものでない。本発明に係る心理状態推定方法は、笑顔度の推定結果Ｓ及び年齢差の算出結果のいずれか一方に基づいて心理状態を推定しても構わない。また、本発明に係る心理状態推定方法は、年齢の推定結果に基づいて（年齢差を算出することなく）心理状態を推定しても構わない。
【０１１３】
また、本実施形態に係る心理状態推定方法及びケアシステム１０は、目じり及び口角の状態等に基づいて笑顔度を推定するものとしたが、本発明に係る笑顔度を推定する手段はこれに限定されるものでない。
【０１１４】
また、本実施形態に係る心理状態推定方法及びケアシステム１０は、顔の輪郭、目と鼻と口との位置等に基づいて年齢を推定するものとしたが、本発明に係る年齢を推定する手段はこれに限定されるものでない。
【０１１５】
また、本発明に係る心理状態推定方法は、過去の笑顔度の推定結果Ｓ等を用いて帰宅した家族の心理状態の変化を推定してもよい。この場合、心理状態推定方法は、笑顔度の推定結果Ｓが低い値から高い値に変動した場合に帰宅した家族の感情がネガティブ感情を抱いている状態からポジティブ感情を抱いている状態に変化していると推定する。また、心理状態推定方法は、笑顔度の推定結果Ｓが高い値から低い値に変動した場合に帰宅した家族の感情がポジティブ感情を抱いている状態からネガティブ感情を抱いている状態に変化していると推定する。
【０１１６】
また、本実施形態に係る心理状態推定方法及びケアシステム１０は、複数の画像データ１００の笑顔度の推定結果の単純平均を笑顔度の推定結果Ｓとしたが、本発明に係る笑顔度の推定結果はこれに限定されるものでない。本発明に係る笑顔度の推定結果は、複数の画像データ１００のメジアン（中央値）や最も大きな複数（例えば５つ）の笑顔度及び最も小さな複数（例えば５つ）の笑顔度を除いた笑顔度の単純平均であっても良い。これは、年齢の推定結果においても同様である。
【０１１７】
また、本実施形態に係る心理状態推定方法及びケアシステム１０は、画像データ１００を複数取得するものとしたが、本発明に係る心理状態推定方法及び心理状態推定システムはこれに限定されるものでない。本発明に係る心理状態推定方法及び心理状態推定システムは、一つの画像データ１００を取得して心理状態を推定するものであっても良い。
【０１１８】
また、本実施形態に係る標準顔推定年齢Ｓ０は、標準顔画像データＳＤに写った顔の年齢の推定結果に基づいて設定するものとしたが、本発明に係る標準顔推定年齢はこれに限定されるものでない。本発明に係る標準顔推定年齢は、実年齢に基づいて設定しても構わない。
【０１１９】
また、本実施形態に係る心理状態推定方法は、個人同定部４１によって自動的に個人を同定するものとしたが、本発明に係る心理状態推定方法はこれに限定されるものでない。本発明に係る心理状態推定方法は、帰宅した家族が個人を同定する情報をパーソナルコンピュータ４０に入力するものであっても良い。この場合において、帰宅した家族は、例えば、電子錠３１の入力部等を介して前記個人を同定する情報を入力する。
【０１２０】
また、本実施形態に係る個人端末Ｔは、携帯端末であるものとしたが、本発明に係る個人端末はこれに限定されるものでない。本発明に係る個人端末は、外出先に設置されるパーソナルコンピュータであっても良い。
【０１２１】
また、本実施形態に係るケアシステム１０は、アラート、注意喚起及び定期報告をメールで送るものとしたが、本発明に係るケアシステムはこれに限定されるものでない。本発明に係るケアシステムは、個人端末Ｔとデータを共有して使用可能なクラウドサーバにアラート等をアップロードすることで、アラート等を間接的に送るものであっても良い。これは、ステップＳ４０において画像データを送る場合においても同様である。
【０１２２】
また、本実施形態に係るケアシステム１０は、帰宅した家族がポジティブ感情を抱いている状態及びネガティブ感情を抱いている状態に関わらず、個人端末Ｔに心理状態の推定結果を送るようにしたが、本発明に係るケアシステムはこれに限定されるものでない。本発明に係るケアシステムは、帰宅した家族がネガティブ感情を抱いている状態である場合のみ個人端末Ｔに心理状態の推定結果を送るものであっても良い。
【０１２３】
また、本実施形態に係る心理状態推定方法及びケアシステム１０は、インターフォン２０の玄関子機２１のカメラ２１ａを用いて画像データ１００を取得するものとしたが、本発明に係る心理状態推定方法及び心理状態推定システムはこれに限定されるものでない。本発明に係る心理状態推定方法及び心理状態推定システムは、玄関前を撮影する監視カメラ及び心理状態の推定に必要な画像データ１００を取得するために別途ドアＤに設置されるカメラであっても良い。
【０１２４】
また、本実施形態に係るケアシステム１０は、パーソナルコンピュータ４０を用いて心理状態を推定するものとしたが、本発明に係る心理状態推定システムはこれに限定されるものでない。本発明に係る心理状態推定システムは、携帯端末を用いて心理状態を推定しても良い。これは、笑顔度の推定、年齢の推定及び年齢差の算出についても同様である。
【０１２５】
また、本実施形態に係るケアシステム１０は、インターフォン２０、電子錠装置３０及びパーソナルコンピュータ４０がＬＡＮケーブル等によって電気的に接続されるものとしたが、本発明に係る心理状態推定方法はこれに限定されるものでない。本発明に係るケアシステムは、無線通信手段を用いて電気的に接続されるものであっても良い。
【０１２６】
また、本実施形態においては、推定結果記憶領域４４は、パーソナルコンピュータ４０の記憶装置に確保されるものとしたが、本発明はこれに限定されるものでなく、パーソナルコンピュータ４０との間でインターネット回線を通じてデータを送受信可能なクラウドサーバの記憶装置に確保されていてもよい。
【０１２７】
また、本実施形態においては、心理状態の推定結果を個人単位のフォルダ４４ａに記憶するものとしたが、本発明はこれに限定されるものでなく、一つのフォルダ４４ａに心理状態の推定結果を記憶しても良い。
【符号の説明】
【０１２８】
１０    ケアシステム
２０    インターフォン
３０    電子錠装置
４０    パーソナルコンピュータ
１００  画像データ
Ａ      年齢の推定結果
Ｓ      笑顔度の推定結果
【図１】
0006452395.tif 000002
【図２】
0006452395.tif 000003
【図３】
0006452395.tif 000004
【図４】
0006452395.tif 000005
【図５】
0006452395.tif 000006
【図６】
0006452395.tif 000007