(57)【特許請求の範囲】
【請求項１】
画面上に表示された注視対象物を見ている人の顔を撮影することによって得られる時系列の顔画像を取得する顔画像取得部と、
上記顔画像取得部により取得された時系列の顔画像から黒目部分の位置を検出して時系列の黒目位置情報を得る黒目位置検出部と、
上記黒目位置検出部により検出された時系列の黒目位置情報をトレーニングデータとテストデータとに分離するデータ分離部と、
上記注視対象物の画面上での表示位置情報を目標変数、上記トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する予測モデル生成部と、
上記予測モデル生成部により生成された上記予測モデルに対して上記テストデータとされた黒目位置情報を入力することにより、上記予測モデルから出力される画面上での注視位置情報を予測結果として取得する注視位置予測部と、
上記注視位置予測部により取得された上記画面上での注視位置情報および上記注視対象物の画面上での表示位置情報に基づいて、上記予測モデルによる予測の精度を検証し、その検証結果に基づいて、上記注視対象物を見ている人の視線異常を評価する異常評価部とを備えた
ことを特徴とする認知・運動機能異常評価システム。
【請求項２】
上記黒目位置検出部は、上記顔画像取得部により取得された顔画像から複数の特徴点を抽出し、当該複数の特徴点から眼球の位置および当該眼球の中の上記黒目部分の位置を推定し、撮影画像の座標系における上記眼球の位置の座標情報および上記黒目部分の位置の座標情報を上記黒目位置情報として得ることを特徴とする請求項１に記載の認知・運動機能異常評価システム。
【請求項３】
上記黒目位置検出部は、上記顔画像取得部により取得された顔画像から顔の位置を推定し、上記眼球の位置の座標情報、上記黒目部分の位置の座標情報および上記顔の位置の座標情報を上記黒目位置情報として得ることを特徴とする請求項２に記載の認知・運動機能異常評価システム。
【請求項４】
上記座標情報は、カメラから対象物までの距離に応じて変わる奥行き方向の情報を含む３次元座標情報であることを特徴とする請求項２または３に記載の認知・運動機能異常評価システム。
【請求項５】
上記注視対象物を端末装置の画面上に表示させる対象物表示部を備え、
上記顔画像取得部は、上記端末装置に備えられたカメラにより撮影される時系列の顔画像を取得する
ことを特徴とする請求項１に記載の認知・運動機能異常評価システム。
【請求項６】
画面上に表示された注視対象物を見ている人の顔を撮影することによって得られる時系列の顔画像を取得する顔画像取得手段、
上記顔画像取得手段により取得された時系列の顔画像から黒目部分の位置を検出して時系列の黒目位置情報を得る黒目位置検出手段、
上記黒目位置検出手段により検出された時系列の黒目位置情報をトレーニングデータとテストデータとに分離するデータ分離手段、
上記注視対象物の画面上での表示位置情報を目標変数、上記トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する予測モデル生成手段、
上記予測モデル生成手段により生成された上記予測モデルに対して上記テストデータとされた黒目位置情報を入力することにより、上記予測モデルから出力される画面上での注視位置情報を予測結果として取得する注視位置予測手段、および
上記注視位置予測手段により取得された上記画面上での注視位置情報および上記注視対象物の画面上での表示位置情報に基づいて、上記予測モデルによる予測の精度を検証し、その検証結果に基づいて、上記注視対象物を見ている人の視線異常を評価する異常評価手段
としてコンピュータを機能させるための認知・運動機能異常評価用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認知・運動機能異常評価システムおよび認知・運動機能異常評価用プログラムに関し、特に、視線の動きに基づいて視線異常を評価し、これによって認知機能や眼球運動機能の異常を判定可能にするシステムに用いて好適なものである。
【背景技術】
【０００２】
近年、人口の高齢化とともに認知症の患者が増加している。認知症とは、見当識、記憶力、注意力、言語的能力などの認知機能に障害を来たすことにより、日常生活が正常に送れない状態になることをいう。認知症の症状が進行すると認知機能の回復が困難になるため、認知症を早期に発見し、治療することが重要である。【０００３】
従来、認知症の兆候を早期に判定できるようにすることを目的として、被験者の視線の動きを検出して認知症の診断を行うシステムが提案されている（例えば、特許文献１参照）。特許文献１に記載の診断支援システムでは、メンタル・ローテーション課題を遂行している被験者の視線の動きを測定し、当該測定された被験者の視線の動きに基づいて固視点（被験者の視線が一定時間以上動かない状態で見つめ続けた点）を検出し、検出された固視点の分布に基づいて、被験者が軽度認知機能障害であるかどうかを判定する。【０００４】
なお、視線の動きを検出する方法として、機械学習を利用した方法が知られている（例えば、特許文献２参照）。特許文献２に記載の視線方向推定システムでは、１または複数の人物の顔を様々な条件で撮影して得られる画像から目を含む部分画像を抽出し、抽出した部分画像に人物の視線方向を紐付けることで作成された多数の学習データを用いて、視線方向を推定するための機械学習を行う。そして、推定対象の人物の顔を含む画像から目を含む部分画像を抽出し、学習済みの学習器に部分画像を入力することで、人物の視線方向を示す視線情報を当該学習器から取得する。【０００５】
【特許文献１】特開２０１８−１７５０５２号公報
【特許文献２】特開２０１９−２８８４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載の診断支援システムでは、被験者の視線の動きに基づいて画面上の固視点を検出する処理、検出した固視点が画面上のどの領域（参照画像の領域、正答選択肢画像の領域、誤答選択肢画像の領域、それ以外の空白部分の領域）に該当するのかを検出する処理を行っている。すなわち、被験者の視線方向を画面上の位置にマッピングした上で固視点を検出することが必要である。そのため、診断の精度を上げるためには、視線方向から画面上の固視点へのマッピングの精度を上げることが求められる。【０００７】
しかしながら、認知症の症状がある人の場合、視線が絶えずふらつくようにさ迷っていて固視点が定まらない可能性がある。また、例えば斜視のような眼球偏位を有する人の場合、その人が意識として見ている点と、眼球の物理的な向きに基づいて検出される注視点とが一致しない可能性がある。このため、特許文献１に記載の方法では、認知機能や眼球運動に障害がない人については認知症の兆候がないことをある程度精度よく判定することは可能であるが、認知機能や眼球運動に障害がある人については、画面上の固視点を特定すること自体が難しく、必ずしも精度よく認知症の兆候を判定することができないという問題があった。【０００８】
本発明は、このような問題を解決するために成されたものであり、認知機能や眼球運動機能などについて障害の兆候があるか否かを判別できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決するために、本発明では、画面上に表示された注視対象物を見ている人の顔を撮影することによって得られる時系列の顔画像から黒目部分の位置を検出して時系列の黒目位置情報を得る。ここで、時系列の黒目位置情報をトレーニングデータとテストデータとに分離し、注視対象物の画面上での表示位置情報を目標変数、トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する。また、テストデータとされた黒目位置情報を予測モデルに入力することにより、画面上での注視位置情報を予測結果として取得する。そして、その予測結果をもとに予測モデルによる予測の精度を検証し、その検証結果に基づいて、注視対象物を見ている人の視線異常を評価するようにしている。
【発明の効果】
【００１０】
上記のように構成した本発明によれば、移動する注視対象物を見ているときの黒目部分の位置を表す黒目位置情報を機械学習のトレーニングデータとして用いた場合に、視線異常のない健常者のトレーニングデータから生成される予測モデルと、視線異常がある非健常者のトレーニングデータから生成される予測モデルとの間で予測の精度に差が生じる。本発明では、このことを利用して、テストデータを使って検証される予測モデルによる予測の精度に基づいて、注視対象物を見ている人の視線異常が評価される。これにより、その評価結果から、認知機能や眼球運動機能などについて障害の兆候があるか否かを判別することが可能である。
【図面の簡単な説明】
【００１１】
【図１】本実施形態による認知・運動機能異常評価システムの構成例を示す図である。
【図２】本実施形態による端末装置およびサーバ装置の機能構成例を示す図である。
【図３】ディスプレイに表示される注視対象物の動きの一例を示す図である。
【図４】顔画像から抽出される複数の特徴点の例を示す図である。
【図５】眼球の位置および黒目部分の位置を推定した結果とそれぞれの座標情報の例を示す図である。
【図６】顔の位置を推定した結果とその座標情報の例を示す図である。
【図７】斜視による眼球偏位を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による認知・運動機能異常評価システムの構成例を示す図である。本実施形態の認知・運動機能異常評価システムは、例えば図１（ａ）に示すように、ユーザが使用する端末装置１００と、サーバ装置２００とを備えて構成される。端末装置１００とサーバ装置２００との間は、インターネットまたは携帯電話網等の通信ネットワーク５００により接続される。
【００１３】
端末装置１００は、例えばスマートフォンまたはタブレットなどのモバイル端末である。端末装置１００は、筐体の正面にタッチパネル付きのディスプレイ１０１が配置されるとともに、ディスプレイ１０１の上方にインカメラ１０２が配置されている。インカメラ１０２は、筐体の背面に配置されたメインカメラとは別に設けられたサブカメラであり、フロントカメラとも称される。なお、端末装置１００がモバイル端末であることは必須ではなく、例えばパーソナルコンピュータのような据置型の端末であってもよい。
【００１４】
端末装置１００は、ディスプレイ１０１の画面上に表示された注視対象物を見ている人の顔をインカメラ１０２により撮影し、その撮影画像をサーバ装置２００に送信する。サーバ装置２００は、視線異常評価装置として機能するものであり、端末装置１００から送られたユーザの顔を含む撮影画像を用いて、ユーザの視線異常を評価する処理を実行する。
【００１５】
なお、本実施形態の認知・運動機能異常評価システムは、図１（ｂ）に示すように、端末装置１００’のみで構成することも可能である。この場合、端末装置１００’が視線異常評価装置として機能する。すなわち、端末装置１００’は、インカメラ１０２により撮影されたユーザの顔の撮影画像を用いて、ユーザの視線異常を評価する処理を実行する。なお、以下では、本実施形態の認知・運動機能異常評価システムは図１（ａ）のように構成されているものとして説明する。
【００１６】
図２は、本実施形態による端末装置１００およびサーバ装置２００（視線異常評価装置）の機能構成例を示す図である。図２に示すように、本実施形態の端末装置１００は、機能構成として、対象物表示部１１、撮影処理部１２および撮影画像送信部１３を備えている。また、本実施形態のサーバ装置２００は、機能構成として、顔画像取得部２１、黒目位置検出部２２、データ分離部２３、予測モデル生成部２４、注視位置予測部２５および異常評価部２６を備えている。また、本実施形態のサーバ装置２００は、記憶媒体として、顔画像記憶部２７、予測モデル記憶部２８および表示位置記憶部２９を備えている。
【００１７】
端末装置１００の各機能ブロック１１〜１３およびサーバ装置２００の各機能ブロック２１〜２６はそれぞれ、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１３，２１〜２６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記憶媒体に記憶された認知・運動機能異常評価用プログラムが動作することによって実現される。
【００１８】
端末装置１００の対象物表示部１１は、注視対象物をディスプレイ１０１の画面上に表示させる。図３は、対象物表示部１１がディスプレイ１０１に表示させる注視対象物の動きの一例を示す図である。図３に示す例において、注視対象物３１は、丸形状のマークであり、図３（ａ）のように画面の右上端部から移動を開始した後、図３（ｂ）→（ｃ）→（ｄ）の順番で画面上を移動し、元のスタート位置に戻る。この動きを複数回繰り返すことにより、例えば１００秒程度の一定時間、注視対象物３１を画面上に連続的に動くように表示させる。
【００１９】
なお、図３に示した注視対象物３１の形状は一例に過ぎず、円形に限定されない。また、図３に示した注視対象物３１の動きも一例に過ぎず、これに限定されない。例えば、元のスタート位置に戻るような周回の動きを繰り返す例に限らない。また、規則的な動きに限らず、不規則な動きをするものであってもよい。また、注視対象物３１が連続的に移動するような動きではなく、画面上の複数の位置に注視対象物３１が順番に表示されるような態様であってもよい。ただ、注視対象物３１の動き（表示位置）は、後述するようにユーザの視線異常を評価する際に用いる。そのため、対象物表示部１１が注視対象物３１をランダムに動くように表示させた場合は、その一連の動きを示す表示位置情報を記録し、この表示位置情報もサーバ装置２００に送信する必要がある。
【００２０】
対象物表示部１１は、以上のように、端末装置１００の内部で生成した注視対象物３１の画像をディスプレイ１０１に表示させるようにすることが可能である。あるいは、対象物表示部１１は、サーバ装置２００の表示位置記憶部２９に記憶されている注視対象物３１の表示位置情報に基づいて、サーバ装置２００により生成されて端末装置１００に送信される注視対象物３１の画像を表示するようにしてもよい。
【００２１】
端末装置１００のユーザは、図３のように注視対象物３１が画面上に動くように表示されている間、当該注視対象物３１を常時注視するように追跡する。このとき撮影処理部１２は、インカメラ１０２を一定時間動作させて、撮影を実行する。インカメラ１０２の前方には、画面上に動くように表示された注視対象物３１を見ているユーザがいる。これにより、ユーザの顔を含む画像（顔画像）がインカメラ１０２により一定時間撮影される。
【００２２】
撮影画像送信部１３は、撮影処理部１２により撮影された一定時間の撮影画像（すなわち、ディスプレイ１０１の画面上に動くように一定時間表示された注視対象物３１を見ている人の顔をインカメラ１０２で撮影することによって得られる時系列の顔画像）をサーバ装置２００に送信する。なお、上述したように、対象物表示部１１が注視対象物３１を画面上にランダムに動くように表示させた場合は、その一連の動きを示す表示位置情報もサーバ装置２００に送信する。
【００２３】
サーバ装置２００の顔画像取得部２１は、撮影画像送信部１３により送信された一定時間の撮影画像（注視対象物３１を見ている人の時系列の顔画像）を取得し、顔画像記憶部２７に記憶させる。
【００２４】
黒目位置検出部２２は、顔画像取得部２１により取得された時系列の顔画像から黒目部分の位置を検出し、時系列の黒目位置情報を得る。例えば、黒目位置検出部２２は、１００秒程度の撮影によって得られた時系列の顔画像について、フレーム毎に黒目部分の位置を検出することにより、時系列の黒目位置情報を得る。
【００２５】
例えば、黒目位置検出部２２は、顔画像取得部２１により取得された顔画像から複数の特徴点を抽出し、当該複数の特徴点から眼球の位置および当該眼球の中の黒目部分の位置を推定する。そして、撮影画像の座標系における眼球の位置の座標情報および黒目部分の位置の座標情報を黒目位置情報として得る。ここで、撮影画像の座標系は、撮影画像の中央位置を原点としてｘ軸とｙ軸をとったｘｙ座標系であってもよいし、撮影画像の左上端部の位置を原点としてｕ軸とｖ軸をとったｕｖ座標系であってもよい。
【００２６】
図４は、顔画像から抽出される複数の特徴点の例を示す図である。図４では、説明のために背景は省略し、人のみを図示している。この図４において、複数の特徴点は丸形状のドットで示されている。なお、この図４は、実際に検出される全ての特徴点を忠実に再現して描画したものではなく、説明のために簡略化して示したものである。黒目位置検出部２２は、撮影画像に対して画像認識処理を行うことによって顔部分を認識し、認識した顔部分の中から複数の特徴点を抽出する。特徴点は、例えば、画像上で色や輝度が変わる境界において抽出される。
【００２７】
図５は、眼球の位置および黒目部分の位置を推定した結果とそれぞれの座標情報の例を示す図である。図５に示すように、黒目位置検出部２２は、目の周りにおいてほぼ円形を成す状態で抽出された複数の特徴点をもとに形成される円形の領域５１を、球体をした眼球の位置と推定する。また、黒目位置検出部２２は、目の中において色の境界として円弧状に抽出された複数の特徴点を、円形をした黒目部分（虹彩部分）の輪郭の一部に相当すると推定し、左右の円弧を含む円形の領域５２を黒目部分の位置と推定する。
【００２８】
黒目位置検出部２２は、以上のように眼球の位置として推定した円形の領域５１の中心位置５１ａの座標を眼球の位置の座標情報として取得する。また、黒目位置検出部２２は、以上のように黒目部分の位置として推定した円形の領域５２の中心位置５２ａの座標と、領域５２における円形のエッジ上において互いに９０度を成す位置関係にある４点の位置５２ｂ〜５２ｅの座標とを黒目部分の位置の座標情報として取得する。眼球の位置の座標情報および黒目部分の位置の座標情報は、左右両方の目部分について取得する。眼球の位置の座標情報と黒目部分の位置の座標情報とを取得することにより、眼球の中で黒目部分が相対的にどの方向を向いているのかを認識することが可能である。
【００２９】
なお、黒目位置検出部２２は、顔画像取得部２１により取得された顔画像から抽出される複数の特徴点をもとに顔の位置を推定し、上述した眼球の位置の座標情報および黒目部分の位置の座標情報と、顔の位置の座標情報とを黒目位置情報として取得するようにしてもよい。図６は、顔の位置を推定した結果とその座標情報の例を示す図である。
【００３０】
図６に示すように、黒目位置検出部２２は、例えば、上下方向は眉毛より下で顎より上の部分、左右方向は左右の耳より内側の部分からなる矩形の領域６１を顔の位置として推定する。また、黒目位置検出部２２は、以上のように顔の位置として推定した矩形の領域６１の中心位置６１ａの座標を顔の位置の座標情報として取得する。
【００３１】
ユーザが注視対象物３１を注視する際に、端末装置１００をどこかの場所に固定して設置し、撮影時には顔を極力動かさないようにすることをユーザにアナウンスするが、実際には顔の動きが生じることもある。また、顔を動かさずに眼球だけを動かして注視対象物３１を見る場合の他に、同じ場所を固視しながら顔を動かすといったことが生じる場合もある。そこで、眼球の位置の座標情報および黒目部分の位置の座標情報に加え、顔の位置の座標情報も取得するのが好ましい。このようにすれば、端末装置１００に対して相対的にどの方向から注視対象物３１を見ているときに、眼球の中で黒目部分が相対的にどの方向を向いているのかを認識することが可能である。
【００３２】
また、黒目位置検出部２２は、上述した座標情報として、インカメラ１０２から対象物までの距離に応じて変わる奥行き方向の情報を含む３次元座標情報を取得するようにしてもよい。注視対象物３１が表示される端末装置１００からユーザまでの距離によって、視線の角度が異なってくる。ユーザが注視対象物３１を注視している際に、同じ場所を固視しながら端末装置１００からの距離が変わることもある。そこで、奥行き情報を含む３次元座標情報を取得するようにするのが好ましい。
【００３３】
データ分離部２３は、黒目位置検出部２２により検出された時系列の黒目位置情報をトレーニングデータとテストデータとに分離する。例えば、データ分離部２３は、１００秒程度の撮影によって得られた顔画像からフレーム毎に取得された時系列の黒目位置情報のうち、前半の４／５のフレーム群から取得された黒目位置情報をトレーニングデータとし、後半の１／５のフレーム群から取得された黒目位置情報をテストデータとする。
【００３４】
予測モデル生成部２４は、表示位置記憶部２９に記憶されている注視対象物３１の画面上での表示位置情報を目標変数、データ分離部２３によりトレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置から画面上での注視位置を予測するための予測モデルを生成する。この予測モデルは、黒目位置情報（撮影画像の座標系において顔の位置、眼球の位置および黒目部分の位置を示す座標情報）が入力された際に、画面上での注視位置情報（画面座標系においてユーザの注視位置を示す座標情報）が出力されるようになされたモデルである。
【００３５】
すなわち、予測モデル生成部２４は、注視対象物３１の画面上での表示位置情報を目標変数、トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより、黒目位置情報が入力された際に、正解としての注視対象物３１の表示位置情報が出力されやすくなるように、予測モデルの各種パラメータを調整する。そして、予測モデル生成部２４は、生成した予測モデルを予測モデル記憶部２８に記憶させる。このとき目標変数として用いる注視対象物３１の画面上での表示位置情報は、注視対象物３１の一連の動きを示す全フレームの表示位置情報のうち、トレーニングデータとされた４／５のフレーム群に対応する前半４／５の表示位置情報である。
【００３６】
ここで、注視対象物３１は、図３に示したようにあらかじめ決められた動きをし、注視対象物３１の画面上での表示位置情報（画面座標系において注視対象物３１の表示位置を示す座標情報）は、表示位置記憶部２９にあらかじめ記憶されている。なお、上述したように、対象物表示部１１が注視対象物３１をランダムに動くように表示させた場合は、その一連の動きを示す表示位置情報がサーバ装置２００に送信されて表示位置記憶部２９に記憶される。
【００３７】
予測モデル生成部２４が生成する予測モデルの形態は、例えばニューラルネットワークモデル、回帰モデル、木モデル、ベイズモデル、クラスタリングモデルなどのうち何れかとすることも可能である。なお、ここに挙げた予測モデルの形態は一例に過ぎず、これに限定されるものではない。
【００３８】
注視位置予測部２５は、予測モデル生成部２４により生成され予測モデル記憶部２８に記憶された予測モデルに対して、データ分離部２３によりテストデータとされた黒目位置情報を入力することにより、予測モデルから出力される画面上での注視位置情報を予測結果として取得する。ここで、予測モデル生成部２４により生成された予測モデルの精度が高ければ高いほど、予測モデルから出力される画面上での注視位置情報が、正解である注視対象物３１の画面上での表示位置情報と一致または近似する可能性が高くなる。
【００３９】
異常評価部２６は、注視位置予測部２５により取得（予測）された画面上での注視位置情報と、表示位置記憶部２９に記憶されている注視対象物３１の画面上での表示位置情報とに基づいて、予測モデルによる予測の精度を検証し、その検証結果に基づいて、注視対象物３１を見ている人の視線異常を評価する。このとき用いる注視対象物３１の画面上での表示位置情報は、注視対象物３１の一連の動きを示す全フレームの表示位置情報のうち、テストデータとされた１／５のフレーム群に対応する後半１／５の表示位置情報である。
【００４０】
予測モデルによる予測の精度の検証は、例えば、予測モデルから出力される画面上での注視位置情報と、正解である注視対象物３１の画面上での表示位置情報との差の大きさを表す指標値を算出することによって行う。この場合の指標値として、平均絶対誤差、平方平均二乗誤差、決定係数、平均差などを用いることが可能である。
【００４１】
異常評価部２６は、算出した指標値に基づいて、注視対象物３１を見ている人の視線異常を評価する。例えば、指標値が閾値以上の場合に視線異常ありと判定し、閾値未満の場合に視線異常なしと判定することが可能である。異なる閾値を２つ以上設定し、視線異常の程度を判定するようにしてもよい。
【００４２】
予測モデル生成部２４により生成される予測モデルは、視線異常がない健常者のトレーニングデータから生成される予測モデルと、視線異常がある非健常者のトレーニングデータから生成される予測モデルとの間で予測の精度に差が生じる。画面上で移動する注視対象物３１をユーザが注視する際に、固視（視線を注視対象物３１に固定させる状態）の安定度が健常者と非健常者とで異なる。そのため、注視対象物３１を見ているときの黒目位置情報を機械学習のトレーニングデータとして用いる場合、トレーニングデータの精度にも健常者と非健常者とで差が生じ、その影響を受けて、生成される予測モデルの精度に差が生じる。
【００４３】
すなわち、視線異常がない健常者の場合は、固視が安定していて視線のふらつきが少ないため、注視対象物３１の動きに対して視線も安定して追従する。これに対し、視線異常がある非健常者の場合は、固視が不安定で視線のふらつきが多くなるため、注視対象物３１の動きに対する視線の追従が不安定となる。このため、移動する注視対象物３１を見ているときの黒目位置情報を機械学習のトレーニングデータとして用いると、非健常者のトレーニングデータから生成される予測モデルは、健常者のトレーニングデータから生成される予測モデルよりも予測の精度が悪くなる。
【００４４】
本実施形態では、このような性質を利用して、生成された予測モデルの検証結果から視線異常を評価するようにしている。視線異常は、例えば、認知機能に障害を有する人や、図７に示す斜視のような眼球偏位を有する人の場合に生じ得る。よって、本実施形態によれば、視線異常の評価を通じて、認知機能や眼球運動機能などについて障害の兆候があるか否かまたはその程度を判別することが可能である。
【００４５】
なお、上記実施形態では、視線異常評価装置の機能ブロック２１〜２６を全てサーバ装置２００が有する構成について説明したが、本発明はこれに限定されない。例えば、顔画像取得部２１および黒目位置検出部２２の機能を端末装置１００が備え、時系列の黒目位置情報を端末装置１００からサーバ装置２００に送信するようにしてもよい。また、データ分離部２３も端末装置１００が備えるようにしてもよい。
【００４６】
また、上記実施形態では、インカメラ１０２で撮影した顔画像を解析することによって黒目位置情報を取得する例について説明したが、本発明はこれに限定されない。例えば、メガネ型またはスタンドアロン型のアイトラッキング装置（視線検出装置）を用いてもよい。ただし、スマートフォン等のインカメラ１０２を用いることにより、ユーザが専用の視線検出装置を用いることなく、例えば自宅等で撮影した画像を用いて視線異常の評価を行うことができる点で好ましい。
【００４７】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４８】
１１  対象物表示部
１２  撮影処理部
１３  撮影画像送信部
２１  顔画像取得部
２２  黒目位置検出部
２３  データ分離部
２４  予測モデル生成部
２５  注視位置予測部
２６  異常評価部
１００，１００’  端末装置
２００  サーバ装置
【要約】
画面上に表示された注視対象物を見ている人を撮影することによって得られる時系列の顔画像から黒目部分の位置を検出する黒目位置検出部２２と、時系列の黒目位置情報をトレーニングデータとテストデータとに分離するデータ分離部２３と、注視対象物の画面上での表示位置情報を目標変数、トレーニングデータとされた黒目位置情報を説明変数として機械学習を行うことにより予測モデルを生成する予測モデル生成部２４と、テストデータとされた黒目位置情報を予測モデルに入力することにより画面上での注視位置を予測する注視位置予測部２５と、その予測結果をもとに予測モデルによる予測の精度を検証し、健常者と非健常者とでトレーニングデータから生成される予測モデルの精度に差が生じることを利用して、予測モデルにより注目位置を予測した結果の精度に基づいて視線異常を評価する異常評価部２６とを備える。【図１】
0006865996.tif 000002
【図２】
0006865996.tif 000003
【図３】
0006865996.tif 000004
【図４】
0006865996.tif 000005
【図５】
0006865996.tif 000006
【図６】
0006865996.tif 000007
【図７】
0006865996.tif 000008