(57)【要約】      （修正有）【課題】認知症の比較的初期の症状の診断を支援するための表情認知診断支援装置を提供する。【解決手段】複数の動画パターンを予め記憶した顔表情パターン記憶部と、複数の質問パターンを予め記憶した質問パターン記憶部と、動画パターン及び質問パターンに従って応答するユーザーの顔面を撮影可能なカメラ部と、顔情報を抽出する顔画像処理部と、予め設定された教師情報に基づいて、ユーザー顔情報記憶部の顔情報と、健常者顔情報記憶部の顔情報又は軽度認知障害者顔情報記憶部の顔情報とを用いて機械学習し、更新された顔面の各部位の重み係数を記憶する学習制御部と、顔画像処理部で抽出された顔情報と、健常者顔情報記憶部に記憶された顔情報又は軽度認知障害者顔情報記憶部に記憶された顔情報との間で、所定の距離を計算しユーザーが健常者グループ又は軽度認知障害者グループのいずれに属するかの判定を行う判定処理部とを備える。【選択図】図２
2018007792.tif 000002
【特許請求の範囲】
【請求項１】
人の顔面を毎秒１２０フレーム以上で立体撮影した複数の動画パターンを予め記憶した顔表情パターン記憶部と、
ユーザーに対する複数の質問パターンを予め記憶した質問パターン記憶部と、
ユーザーからの入力操作を受付可能な操作部と、
予め設定された設定情報及び前記操作部で受け付けられた入力情報に基づいて、情報表示部を制御する表示制御部と、
前記表示制御部からの指令に基づいて、前記顔表情パターン記憶部に記憶された動画パターン及び前記質問パターン記憶部に記憶された質問パターンを表示する情報表示部と、
毎秒１２０フレーム以上で撮影可能な複数のイメージセンサを、前記情報表示部に表示される動画パターン及び質問パターンに従って応答するユーザーの顔面を立体撮影可能に配置したカメラ部と、
前記カメラ部で撮影された動画から顔面の各部位についての顔情報を抽出する顔画像処理部と、
前記顔画像処理部で抽出された顔情報を記憶するユーザー顔情報記憶部と、
健常者グループに属する顔情報を予め記憶した健常者顔情報記憶部と、
軽度認知障害者グループに属する顔情報を予め記憶した軽度認知障害者顔情報記憶部と、
予め設定された教師情報に基づいて、前記ユーザー顔情報記憶部に記憶された顔情報と、前記健常者顔情報記憶部に記憶された顔情報又は前記軽度認知障害者顔情報記憶部に記憶された顔情報とを用いて機械学習し、更新された顔面の各部位の重み係数を記憶する学習制御部と、
前記顔画像処理部で抽出された顔情報と、前記健常者顔情報記憶部に記憶された顔情報又は前記軽度認知障害者顔情報記憶部に記憶された顔情報との間で、前記学習制御部に記憶された重み係数を用いて所定の距離を計算し、該距離に基づいて、ユーザーが健常者グループ又は軽度認知障害者グループのいずれに属するかの判定を行う判定処理部と、
前記判定処理部における判定の結果を記憶する判定情報記憶部と、
を備えることを特徴とする表情認知診断支援装置。
【請求項２】
前記カメラ部の撮影時のフレームレートが毎秒２４０フレームであることを特徴とする請求項１に記載の表情認知診断支援装置。
【請求項３】
前記顔画像処理部で抽出される顔情報には、ユーザーの顔面の各部位のベクトル情報及び時間情報が含まれ、
前記健常者顔情報記憶部に記憶される顔情報には、健常者グループに属する人の顔面の各部位のベクトル情報及び時間情報が含まれ、
前記軽度認知障害者顔情報記憶部に記憶される顔情報には、軽度認知障害者グループに属する人の顔面の各部位のベクトル情報及び時間情報が含まれることを特徴とする請求項１又は２に記載の表情認知診断支援装置。
【請求項４】
前記判定処理部１１２は、前記顔画像処理部で抽出されたユーザーの顔情報と、前記健常者顔情報記憶部に記憶された顔情報又は前記軽度認知障害者顔情報記憶部に記憶された顔情報との間で、前記学習制御部に記憶された重み係数を用いてユークリッド距離、相関距離、マハラノビス距離又はキャンベラ距離を計算し、該距離の比較の結果に基づいて、ユーザーが健常者グループ又は軽度認知障害者グループのいずれに属するかの判定を行うことを特徴とする請求項１乃至３に記載の表情認知診断支援装置。
【請求項５】
前記学習制御部は、ユーザーの顔情報が健常者グループに属する場合には、軽度認知障害者グループの顔情報との距離が小さく、健常者グループの顔情報との距離が大きくなるように機械学習し、一方、ユーザーの顔情報が軽度認知障害者グループに属する場合には、健常者グループの顔情報との距離が小さく、軽度認知障害者グループの顔情報との距離が大きくなるように機械学習することで、最適重み係数を決定することを特徴とする請求項１乃至４に記載の表情認知診断支援装置。
【請求項６】
携帯端末装置に実装したことを特徴とする請求項１乃至５に記載の表情認知診断支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認知症の比較的初期の症状の診断を支援するための表情認知診断支援装置に関する。
【背景技術】
【０００２】
近年、認知症の予防や早期発見に対する関心は非常に高くなってきている。認知症は、要介護状態に陥る３大原因疾患の一つに挙げられており、日本人で認知症の人は２０１２年では約４６２万人（６５歳以上の約７人に１人）であったが、今後高齢化の進展に伴い増加が見込まれ、２０２５年には約７００万人（６５歳以上の約５人に１人）になると予測されている。
【０００３】
認知症には、アルツハイマー型認知症、脳血管性認知症、前頭側頭型認知症、レビー小体型認知症等のいくつかのタイプがあるが、認知症のうち最も多いのが、アルツハイマー型認知症である。
【０００４】
認知症は、日常の態度や行動において健常者との違いが表れる。例えば、健常者であれば、相手の顔の筋肉の動きによる口角、目尻、眉等の微小な位置の変化や眼球運動によって表れる微細な表情変化を十分に認知することができるが、認知症では、相手の表情変化を認知するのに障害がでるほど能力が低下していることが知られている（非特許文献１）。また、認知症の進行過程が進むと、その能力の低下はより顕著になっていく。
【０００５】
他方で、認知症の前駆状態である軽度認知障害（ＭＣＩ：Ｍｉｌｄ  Ｃｏｇｎｉｔｉｏｎ  Ｉｍｐａｉｒｍｅｎｔ）であれば、脳の適応力によりある程度の回復が見込める場合があるとの考えが示されている（一般社団法人日本神経学会、認知症疾患治療ガイドライン２０１０、ｐ７５）。
【０００６】
また、アルツハイマー型認知症は、病状発症の１０年以上前に脳神経変性が始まることが多く、比較的初期の症状のうちに診断することができれば、認知症の進行を抑制し、又は発症を予防できる可能性が高くなることが示されている（厚生労働省、認知症予防・支援マニュアル（改訂版）、平成２１年３月）。
【０００７】
ところで、認知症をはじめ、人の病状の診断には、従来から問診や視診が行われており、これらを支援する診断支援システムが存在する。
【０００８】
例えば、特許文献１に開示されている認知症診断支援システムは、患者に対して、患者の属性やスケジュール、ニュースなどについて質問を行い、その回答の正解率又は正解数などに基づいて患者の認知症のレベルを判定し、医師が利用するコンピュータ端末へ結果が通知する。医師は、この通知された結果を見て詳細な問診などを行うことができる。
【０００９】
特許文献２に開示されている認知症予見システムは、定期的な入力を求める約束のもとで対象者によって入力された入力情報に基づいて認知症可能性判定基準に該当するか否かを判定し、該当するときは、認知症の可能性があることを通知する。対象者は、定期的な入力に基づいて認知症の可能性を予見するシステムに利用することができる。
【００１０】
特許文献３に開示されている表情診断支援装置は、被診断者の顔の表情をディジタルカメラで撮影し、その顔画像の特徴点を抽出し、診断データとして数値化したものを、複数の専門家の知見を数値化した診断マトリックスを用いて演算し、その結果を診断結果として表示器に表示する。診断者は、この診断結果から容易に被診断者の心因性疾病の度合いの判断をすることができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−２８２９９２号公報
【特許文献２】特開２０１５−１３８４８８号公報
【特許文献３】特開２００６−３０５２６０号公報
【非特許文献】
【００１２】
【非特許文献１】Ｄ．ＭｃＣａｄｅ  ｅｔ  ａｌ．：  Ｒｅｖｉｅｗ  ｏｆ  ｅｍｏｔｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  ｍｉｌｄ  ｃｏｇｎｉｔｉｖｅ  ｉｍｐａｉｒｍｅｎｔ，  Ｄｅｍｅｎｔ  Ｇｅｒｉａｔｒ  Ｃｏｇｎ  Ｄｉｓｏｒｄ，  ３２，  ２５７−２６６，  ２０１１
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、軽度認知障害では、脳の適応力によりある程度の回復が見込める場合があるにも関わらず、認知症の比較的初期の症状の診断を支援するための手段が確立されているとはいいにくいのが現状である。
【００１４】
また、認知症の診断ではその症状を適切に捉えることが必要であるが、従来の認知症診断支援システム等により行われる診断支援では、例えばユーザーの顔の表情等に健常者と違う微細な特徴が表れていても、それを認知症の症状として適切に捉えることができているかどうかは不明である。
【００１５】
本発明は、このような問題点に鑑みてなされたものであり、認知症の比較的初期の症状の診断を支援するための表情認知診断支援装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、上記問題点を解決するために、
人の顔面を毎秒１２０フレーム以上で立体撮影した複数の動画パターンを予め記憶した顔表情パターン記憶部と、
ユーザーに対する複数の質問パターンを予め記憶した質問パターン記憶部と、
ユーザーからの入力操作を受付可能な操作部と、
予め設定された設定情報及び前記操作部で受け付けられた入力情報に基づいて、情報表示部を制御する表示制御部と、
前記表示制御部からの指令に基づいて、前記顔表情パターン記憶部に記憶された動画パターン及び前記質問パターン記憶部に記憶された質問パターンを表示する情報表示部と、
毎秒１２０フレーム以上で撮影可能な複数のイメージセンサを、前記情報表示部に表示される動画パターン及び質問パターンに従って応答するユーザーの顔面を立体撮影可能に配置したカメラ部と、
前記カメラ部で撮影された動画から顔面の各部位についての顔情報を抽出する顔画像処理部と、
前記顔画像処理部で抽出された顔情報を記憶するユーザー顔情報記憶部と、
健常者グループに属する顔情報を予め記憶した健常者顔情報記憶部と、
軽度認知障害者グループに属する顔情報を予め記憶した軽度認知障害者顔情報記憶部と、
予め設定された教師情報に基づいて、前記ユーザー顔情報記憶部に記憶された顔情報と、前記健常者顔情報記憶部に記憶された顔情報又は前記軽度認知障害者顔情報記憶部に記憶された顔情報とを用いて機械学習し、更新された顔面の各部位の重み係数を記憶する学習制御部と、
前記顔画像処理部で抽出された顔情報と、前記健常者顔情報記憶部に記憶された顔情報又は前記軽度認知障害者顔情報記憶部に記憶された顔情報との間で、前記学習制御部に記憶された重み係数を用いて所定の距離を計算し、該距離に基づいて、ユーザーが健常者グループ又は軽度認知障害者グループのいずれに属するかの判定を行う判定処理部と、
前記判定処理部における判定の結果を記憶する判定情報記憶部と、
を備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、認知症の比較的初期の症状の診断支援を簡便に行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の全体的な構成を示す全体図である。
【図２】本発明の機能的な構成を示すブロック図である。
【図３】本発明の情報表示部における表示の一例を示した説明図である。
【図４】本発明の質問パターンの例を表形式で示した図である。
【図５】顔面画像における顔の各部位のベクトル情報の一例を示した説明図である。
【図６】本発明のベクトル情報の距離Ｄに関する概念図である。
【図７】本発明を携帯端末装置に実装した例を示した説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。なお、本発明は以下の記述のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００２０】
まず、本発明に係る表情認知診断支援装置１００の構成について説明する。図１は本発明１００の全体的な構成を示す全体図であり、図２は本発明１００の機能的な構成を示すブロック図である。
図１に示すように、表情認知診断支援装置１００は、本体部１、情報表示部２、カメラ部３及び操作部４を備える。
【００２１】
カメラ部３は、毎秒１２０フレーム以上で立体撮影が可能な２又は複数のイメージセンサで構成される。イメージセンサは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等である。
このカメラ部３は、ユーザー５に情報表示部２に表示される動画パターンや質問パターンに従って応答してもらい、そのときのユーザー５の顔の表情を立体撮影するためのものである。カメラ部３は、ユーザー５の顔面に表れる微細な表情をも適切に撮影できるように、撮影時のフレームレートは毎秒１２０フレーム以上、好ましくは毎秒２４０フレームとされている。
また、カメラ部３は、情報表示部２を観視するユーザー５の顔面を正面のアングルで立体撮影できるように、情報表示部２に近接した位置に２又は複数のイメージセンサが設置されている。
【００２２】
本体部１は、物理的な構成としては、ＣＰＵ等の処理装置、ＲＯＭやＲＡＭ等の主記憶装置、ハードディスクやフラッシュメモリ等の補助記憶装置等を備えており、予め設定されている各種の設定情報や、操作部４等の入力装置からの入力信号に基づいて各種プログラムを実行し、必要な制御処理を行う。
【００２３】
一方で、本体部１は、図２に示すように、機能的な構成としては、顔表情パターン記憶部１０１、質問パターン記憶部１０２、表示制御部１０３、顔画像処理部１１１、判定処理部１１２、判定情報記憶部１１３、ユーザー顔情報記憶部１２１、健常者顔情報記憶部１２２、軽度認知障害者顔情報記憶部１２３及び学習制御部１３１を備えている。
【００２４】
顔表情パターン記憶部１０１は、ハードディスク等の磁気ディスク装置や、フラッシュメモリ等の不揮発性メモリ装置等で構成される。
この顔表情パターン記憶部１０１には、情報表示部２を介してユーザーに立体的映像として提示される、人の顔面の複数の動画パターンが予め記憶されている。
この動画パターンは、人の顔面に表れる微細な表情をも適切に提示できるように、フレームレートは毎秒１２０フレーム以上、好ましくは毎秒２４０フレームで撮影されている。また、人の顔面を立体映像表示できるように、２又は複数のカメラで立体撮影されている。
また、この動画パターンには複数のパターンがあり、人の顔面に表れる表情や感情によるパターン、人の性別や年齢層等によるパターン、構図のとり方や背景設定によるパターン等があるが、ユーザー５が、この動画パターンを見ながら表情の模倣、作為又は自然な表情をしやすいものを採択することが好ましい。
【００２５】
質問パターン記憶部１０２は、ハードディスク等の磁気ディスク装置や、フラッシュメモリ等の不揮発性メモリ装置等で構成される。
この質問パターン記憶部１０２には、情報表示部２を介してユーザーに提示される、複数の質問パターンが予め記憶されている。
この質問パターンには、文字表示により提示される文字情報だけでなく、必要に応じて画像表示により提示される動画情報等も含まれる。
また、この質問パターンには複数のパターンがあり、テーマによるパターン、設問形式によるパターン等があるが、ユーザー５の応答に健常者と違い、軽度認知障害や認知症に見られる特徴が表れやすいものを採択することが好ましい。
【００２６】
図４は、本発明の質問パターンの例を表形式で示した図である。
この図に示す例では、質問パターンには４つのテーマがある。１つは表情の判別であり、ユーザー５の直接的な回答を収集するためのものである。ただし、ユーザー５に対して回答の正解、不正解を意識させるものではなく、ユーザー５に対して心理的負担を与えないよう配慮したものである。
他の３つは表情の模倣、表情の作為及び自然な表情であり、ユーザー５の顔面の表情を収集するためのものである。ユーザー５は、画面表示を見ながら表情の模倣、作為又は自然な表情をしやすいように配慮したものである。
【００２７】
表示制御部１０３は、予め設定されている設定情報や操作部４からの入力信号等に基づいて、顔表情パターン記憶部１０１に記憶された人の顔面の動画パターン及び質問パターン記憶部１０２に記憶された質問パターンを、情報表示部２に表示するための表示制御を行う。
【００２８】
顔画像処理部１１１は、カメラ部３で撮影されたユーザー５の顔面画像２１から口角、目尻、眉、眼球等の各部位の微細な動きを適切に捉えた顔情報を抽出する。
この顔情報には、ユーザー５の顔面の各部位の位置ベクトル情報及び時間情報のほか、速度ベクトルが含まれる。
【００２９】
図５は、顔面画像２１における顔の各部位のベクトル情報の一例を示した図である。この図に示すように、顔座標系２２は、顔面画像２１の鼻頂点の位置を基準点とするＸ軸、Ｙ軸及びＺ軸の３軸からなる直交座標系であり、顔情報としては、表情を構成する代表的な部位である口角、目尻、眉、眼球等の位置ベクトル情報２３及び時間情報が顔情報として抽出される。
【００３０】
ユーザー顔情報記憶部１２１は、ハードディスク等の磁気ディスク装置や、フラッシュメモリ等の不揮発性メモリ装置等で構成される。
このユーザー顔情報記憶部１２１は、顔画像処理部１１１で抽出されたユーザー５の顔情報が記憶される。
【００３１】
健常者顔情報記憶部１２２は、ハードディスク等の磁気ディスク装置や、フラッシュメモリ等の不揮発性メモリ装置等で構成される。
この健常者顔情報記憶部１２２には、多数の健常者から収集した多数の顔面画像から各部位ごとに抽出したベクトル情報及び時間情報が、健常者グループに属する顔情報として記憶されている。
この健常者顔情報記憶部１２２に記憶された顔情報は、健常者に情報表示部２に提示される動画パターンや質問パターンに従って応答してもらい、このときにカメラ部３で撮影された顔面画像から口角、目尻、眉、眼球等の部位ごとにベクトル情報及び時間情報を抽出し、蓄積したものであり、顔画像処理部１１１で抽出されたユーザー５の顔情報やその他の顔情報と演算することができる。
この顔情報には、顔面の各部位の位置ベクトル情報及び時間情報のほか、速度ベクトルが含まれる。
【００３２】
軽度認知障害者顔情報記憶部１２３は、ハードディスク等の磁気ディスク装置や、フラッシュメモリ等の不揮発性メモリ装置等で構成される。
この軽度認知障害者顔情報記憶部１２３には、多数の軽度認知障害者から収集した多数の顔面画像から各部位ごとに抽出したベクトル情報及び時間情報が、軽度認知障害者グループに属する顔情報として記憶されている。
この軽度認知障害者顔情報記憶部１２３に記憶された顔情報は、予め軽度認知障害者に情報表示部２に提示される動画パターンや質問パターンに従って応答してもらい、このときにカメラ部３で撮影された顔面画像から口角、目尻、眉、眼球等の部位ごとにベクトル情報及び時間情報を抽出し、蓄積したものであり、顔画像処理部１１１で抽出されたユーザー５の顔情報やその他の顔情報と演算することができる。
この顔情報には、顔面の各部位の位置ベクトル情報及び時間情報のほか、速度ベクトルが含まれる。
【００３３】
判定処理部１１２は、顔画像処理部１１１で抽出されたユーザー５の顔情報と、健常者顔情報記憶部１２２に記憶された健常者グループに属する顔情報又は軽度認知障害者顔情報記憶部１２３に記憶された軽度認知障害者グループに属する顔情報との間で、学習制御部１３１で決定された顔面の各部位の重み係数を用いて距離を計算し、該距離の比較の結果に基づいて、ユーザー５が健常者グループ又は軽度認知障害者グループのいずれに属するかの判定を行う。
【００３４】
該判定は、ある時刻において、ユーザー５の顔面の各部位の速度ベクトルが健常者グループ又は軽度認知障害者グループのいずれに属するかを判定するための判別関数として実行することができる。
【００３５】
例えば、ユーザー５の顔情報を判別関数に入力すると、健常者グループに属する顔情報の平均パターンとの間の距離と、軽度認知障害者グループに属する顔情報の平均パターンとの間の距離のそれぞれが計算され、該距離のうちいずれか近い方の距離について、その逆数として得られる値に基づいて類似性が高いかどうかの判定結果を得ることができる。
【００３６】
なお、該距離には、幾何学的距離に相当するユークリッド距離のほか、１から速度ベクトル間の相関係数を引いた数値として定義される相関距離、分散を考慮したマハラノビス距離、近いところを大きく評価するキャンベラ距離等を用いることができる。
【００３７】
また、該距離は、顔面の各部位を均等なものと仮定して計算することもできるが、本発明では、顔の部位ごとに重み係数による重み付けをして計算する。
【００３８】
例えば、時刻tにおけるユーザー５の顔情報と、時刻t′における健常者グループに属する顔情報との間のユークリッド距離Ｄは、次式で表すことができる。
【数１】
2018007792.tif 000003
ただし、ｔ０及びｔ′０は、それぞれ顔面の部位ｎの動きが開始された時刻、ｗｎは、顔面の部位ｎにおける重み係数、ｘｎ、ｙｎ、ｚｎ及びｘ′ｎ、ｙ′ｎ、ｚ′ｎは、それぞれ顔面の部位ｎの位置ベクトル、Δｘｎ、Δｙｎ、Δｚｎ及びΔｘ′ｎ、Δｙ′ｎ、Δｚ′ｎは、それぞれ顔面の部位ｎの速度ベクトルである。
【数２】
2018007792.tif 000004
【数３】
2018007792.tif 000005
【００３９】
判定情報記憶部１１３は、ハードディスク等の磁気ディスク装置や、フラッシュメモリ等の不揮発性メモリ装置等で構成される。
この判定情報記憶部１１３は、判定処理部１１２で判定された結果が記憶される。
【００４０】
学習制御部１３１は、予め設定された教師情報に基づいて、ユーザー顔情報記憶部１２１に記憶された顔情報と、健常者顔情報記憶部１２２に記憶された顔情報又は軽度認知障害者顔情報記憶部１２３に記憶された顔情報とを用いて機械学習し、更新された顔の各部位の重み係数を記憶する。
【００４１】
顔の各部位の重み係数は、ユーザー５の顔情報が健常者グループに属する場合には、軽度認知障害者グループの顔情報との距離が小さく、健常者グループの顔情報との距離が大きくなるように予め設定された教師情報に基づいて機械学習し、他方で、ユーザー５の顔情報が軽度認知障害者グループに属する場合には、健常者グループの顔情報との距離が小さく、軽度認知障害者グループの顔情報との距離が大きくなるように予め設定された教師情報に基づいて機械学習することで、最適重み係数を決定することができる。
【００４２】
最適重み係数を用いて距離を計算すれば、判定の精度を向上させることができる。
【００４３】
また、学習制御部１３１には、２層以上の多層構造のニューラルネットワーク等、深層学習の機能が実装されていることが判定の精度を向上させるうえで好ましい。
【００４４】
ユーザー５が過去にｆＭＲＩやＣＴ、血液検査等の方法による診断を受けている場合には、その結果を反映させるため、検出値等に対応した教師情報に基づいて機械学習することで、判定の精度を向上させていくこともできる。
【００４５】
情報表示部２は、液晶ディスプレイやプラズマディスプレイ等のフラットパネルディスプレイで構成される。
この情報表示部２は、表示制御部１０３からの出力信号に基づいて、顔表情パターン記憶部１０１に記憶された動画パターン及び質問パターン記憶部１０２に記憶された質問パターンを画面に表示する。
この情報表示部２は、ユーザー５に対して、人の顔面に表れる微細な表情を適切に提示できるように、フレームレートは毎秒１２０フレーム以上、好ましくは毎秒２４０フレームで表示する。
なお、顔表情パターン記憶部１０１に記憶されている動画パターンは立体撮影されたものであるため、３Ｄメガネを使用しないで立体映像表示することができる。
【００４６】
図３は、情報表示部２における表示の一例を示した図である。この図では、画面の中央部には人の顔面の動画パターンが高フレームレートかつ立体映像表示され、画面の上部にはユーザー５に対する質問パターン１１、画面の下部には該質問パターン１１に対する回答選択肢１３の文字がそれぞれ表示されている。
なお、この図では情報表示部２の左右両隅に２個のイメージスキャナ１２が設置されているが、このように情報表示部２にカメラ部３を設置してもよい。
【００４７】
操作部４は、操作キー、ボタン、タッチパッド等で構成される。
この操作部４は、例えば、ユーザー５が情報表示部２に提示された質問パターンに対する回答を回答選択肢のうちから選択するとき等に、入力操作を受け付ける。
【００４８】
なお、上記の実施形態のほか、例えば、本体部１の構成のうち、膨大なデータを処理するユーザー顔情報記憶部１２１、健常者顔情報記憶部１２２、軽度認知障害者顔情報記憶部１２３、学習制御部１３１、判定情報記憶部１１３及び顔画像処理部１１１については、例えばクラウド、サーバーシステム等の、インターネットに接続して通信可能なコンピュータシステムに実装し、情報表示部２、カメラ部３、操作部４及び本体部１の顔情報パターン記憶部１０１、質問パターン１０２、表示制御部１０３及び判定処理部１１２等の残りの構成を携帯端末装置に実装することで、インターネットに接続可能な多数のユーザー５が利用できるようにすることもできる。図７に本発明を携帯端末装置に実装した例を示す。
【００４９】
以上のように本発明の実施形態によれば、ユーザー５は３Ｄメガネを使用することなく、情報表示部２に毎秒１２０フレーム以上で、かつ、見やすく表示された人の顔面の動画パターンの立体映像表示を見ながら、表情の識別、表情の模倣、表情の作為、自然な表情等のテーマに関する質問パターンに従って無理なく回答することができるとともに、このときにカメラ部３で毎秒１２０フレーム以上で立体撮影されたユーザー５の顔面画像から各部位の微細な動きを適切に捉えた顔情報を抽出し、該顔情報に基づいて、ユーザー５が健常者グループ又は軽度認知障害者グループのいずれに属するかを判定することができるので、認知症の比較的初期の症状の診断支援を簡便に行うことができる。
【００５０】
また、本発明の実施形態によれば、判定処理部１１２において、顔画像処理部１１１で抽出されたユーザー５の顔情報と、健常者顔情報記憶部１２２に記憶された健常者グループに属する顔情報又は軽度認知障害者顔情報記憶部１２３に記憶された軽度認知障害者グループに属する顔情報との間で、学習制御部１３１で決定された顔面の各部位の重み係数を用いて距離を計算し、該距離の比較の結果に基づいて、ユーザー５が健常者グループ又は軽度認知障害者グループのいずれに属するかの判定を行うことができるので、予め設定された教師情報に基づいて機械学習し、顔面の各部位の最適重み係数を決定しておくことで、該判定の精度を向上させることができる。
【００５１】
また、本発明の他の実施形態によれば、インターネットから多数のユーザー５が手軽に自己診断用に利用できるようになる。また、遠隔地にいる医師でもインターネットを介してユーザー５が保有する判定結果を確認することができるようになるため、遠隔診断として利用できるようになる。
【産業上の利用可能性】
【００５２】
本発明は、軽度認知障害又は認知症の早期診断に適用することができる。
【００５３】
本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施例、変形例を含むことは、本明細書に記載の実施形態や思想から本発明の属する分野における当業者にとって明らかである。
【符号の説明】
【００５４】
１００  表情認知診断支援装置
１      本体部
２      情報表示部
３      カメラ部
４      操作部
５      ユーザー
１１    質問パターン
１２    カメラ部
１３    回答候補表示
２１    ユーザーの顔面画像
２２    顔座標系
２３    顔面の部位の位置ベクトル
３１    診断支援携帯端末装置
３２    質問パターン
３３    カメラ部
３４    回答候補表示
１０１  顔表情パターン記憶部
１０２  質問パターン記憶部
１０３  表示制御部
１１１  顔画像処理部
１１２  判定処理部
１１３  判定情報記憶部
１２１  ユーザー顔情報記憶部
１２２  健常者顔情報記憶部
１２３  軽度認知障害者顔情報記憶部
１３１  学習制御部
【図１】
2018007792.tif 000006
【図２】
2018007792.tif 000007
【図３】
2018007792.tif 000008
【図４】
2018007792.tif 000009
【図５】
2018007792.tif 000010
【図６】
2018007792.tif 000011
【図７】
2018007792.tif 000012