(57)【要約】【課題】低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動のサッケードの回数が検出可能な眼球運動計測装置および計測方法を提供する。【解決手段】一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示手段と、指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影手段と、撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段と、画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測手段と、連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出手段とを備える。【選択図】図９
2017189470.tif 000002
【特許請求の範囲】
【請求項１】
一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示手段と、
前記指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影手段と、  撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段と、  画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測手段と、  連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出手段と、  を備えたことを特徴とする眼球運動計測装置。
【請求項２】
前記サッケード回数算出手段は、
予め設定した連続フレームの区間における黒目領域の移動に対し、
黒目領域の移動が停留した場合との第１誤差と、
黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差と、を算出し、
第１誤差が第２誤差よりも小さくなる回数を前記停留回数として算出することを特徴とする請求項１に記載の眼球運動計測装置。
【請求項３】
前記誤差は、一定区間の相違度であり、
算出した前記誤差に対してスムージングを行い、
第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を前記停留回数として算出することを特徴とする請求項２に記載の眼球運動計測装置。
【請求項４】
上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることを特徴とする請求項１〜３の何れかに記載の眼球運動計測装置。
【請求項５】
黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることを特徴とする請求項１〜４の何れかに記載の眼球運動計測装置。
【請求項６】
黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることを特徴とする請求項１〜５の何れかに記載の眼球運動計測装置。
【請求項７】
一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示ステップと、
前記指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影ステップと、  撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出ステップと、  画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測ステップと、  連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出ステップと、を備えたことを特徴とする眼球運動計測方法。
【請求項８】
前記サッケード回数算出ステップにおいて、
予め設定した連続フレームの区間における黒目領域の移動に対し、
黒目領域の移動が停留した場合との第１誤差と、
黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差と、を算出し、
第１誤差が第２誤差よりも小さくなる回数を前記停留回数として算出することを特徴とする請求項７に記載の眼球運動計測方法。
【請求項９】
前記誤差は、一定区間の相違度であり、
算出した前記誤差に対してスムージングを行い、
第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を前記停留回数として算出することを特徴とする請求項８に記載の眼球運動計測方法。
【請求項１０】
上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることを特徴とする請求項７〜９の何れかに記載の眼球運動計測方法。
【請求項１１】
黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることを特徴とする請求項７〜１０の何れかに記載の眼球運動計測方法。
【請求項１２】
黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることを特徴とする請求項７〜１１の何れかに記載の眼球運動計測方法。
【請求項１３】
請求項７〜１２の何れかに記載の眼球運動計測方法の各ステップを、コンピュータに実行させる眼球運動計測プログラム。
【請求項１４】
請求項１３の眼球運動計測プログラムが搭載されたコンピュータおよびディスプレイを備えた眼球運動計測装置。
【請求項１５】
請求項７〜１２の何れかに記載の眼球運動計測方法における各ステップと、
脳機能障害を判定する判定ステップと
を備えたことを特徴とする脳機能障害スクリーニング方法。
【請求項１６】
請求項１〜６，１４の何れかの眼球運動計測装置と、
脳機能障害を判定する判定手段と、
を備えたことを特徴とする脳機能障害スクリーニング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像した顔画像から、眼球運動のサッケードの回数を計測する技術に関するものである。
【背景技術】
【０００２】
近年、高齢化社会が急速に進展しており、様々な病気が社会的な問題になっている。その一つに認知症という病気があり、その数は２０１０年時点で国内４４０万人と推定され、今後１０年で２倍近くまで増加するといわれている。
認知症は一旦発達した知能が脳の器質性障害によって低下した状態であり、脳のダメージから由来すると言われる中核症状と、障害による不安や憤りから由来すると言われる周辺症状という２つの症状を持つ。具体的な症状としては、中核症状では同じことを何度も繰り返してしまうなどの記憶障害、知っているはずの道で迷子になってしまうといった見当識障害、物の名前を忘れてしまう失語、物が何なのかを忘れてしまう失認、物の使い方を忘れてしまう失行などがあり、周辺症状では幻覚や妄想、興奮、うつ状態などが挙げられる。
しかし現在、認知症であると診断された患者のうち、約８割はかかりつけ医が認知症を見落としているという報告がなされており、早期発見ができているとは言い難い。
【０００３】
現在の認知症の検査は、まず、本人や家族への問診と、その時の患者の観察が重要であると言われている。また、ＨＤＳ−Ｒ（改訂長谷川式簡易知能評価スケール）やＭＭＳＥ（Mini-Mental State Examination）といった認知症のテスト、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像）やＰＥＴ（Positron Emission Tomography：陽電子放射断層撮影）などの脳画像診断といった客観的な診断方法もある。
しかしこれらの手法には、専門家が必要であるということや時間や手間がかかることなどといった問題がある。そして、一番の問題点として、認知症という病気の大きな特徴の一つとして、メタ記憶に侵襲が及んでおり自身が病気であるという認識がないという症状があるため、患者が診察に来ず早期発見ができないという問題がある。
そこで、体温や血圧を測るように手軽に測定可能なものや、意識せず日常の中で自然に測定できるようなものがあれば、認知症の早期発見が可能になると期待される。
【０００４】
認知症などの脳機能障害を手軽にスクリーニングするための手法として、表情や声、血液を分析し認知症を検出する研究が行われている。表情や声は日常生活の中で測定することができ、手軽な手法であるが、被験者が検査であることを意識してしまうことによる影響を受けやすい。また、血液は多くの場合健康診断などで採取するため早期発見が期待できるが、日常生活の中で手軽に測定することはできない。
一方、眼球運動は検査であることを意識することによる影響を受けにくいため検査に向いており、かつ日常生活の中で手軽に測定することが可能である。そして、認知症患者は健常者に比べ、眼球運動のサッケード回数の増加が見られることが知られており（非特許文献１を参照）、眼球運動の測定により認知症の早期発見が可能であると考えられている。
【０００５】
ここで、サッケードについて説明する。
眼球運動は大きく分けると衝動性眼球運動と滑動性眼球運動に分けることができる。衝動性眼球運動は、人間が随意的に見ようとする所に注視点を切り替えるときに見られる高速な眼球運動である。滑動性眼球運動は移動する物体を目で追いかけるときに起こる運動で、視野の発達した霊長類特有の運動である。
このとき、遅延などにより追従しきれなかったとき反射的にジャンプし移動物体に追いつく運動が行われる。この運動を特にキャッチアップサッケードと呼ぶ。また、人は静止物体をじっと見つめているときでも不随意的に常に眼球に揺れが起こっており、その時の揺れを特にマイクロサッケードと呼ぶ。
以下、本明細書において、サッケードとは、キャッチアップサッケードの意味で用いる。
【０００６】
眼球運動を計測する技術としては、例えば、ゴーグル型の視標提示装置を用いて滑動性眼球運動を計測する方法が知られている（例えば、非特許文献１を参照。）。かかる方法では、１９名の認知症患者、１８名の健常高齢者、７名の健常若年者に対して実施し、認知症患者における初動時間の延長などの知見が得られている。
しかし、非特許文献１に開示された眼球運動を計測する方法では、大掛かりな装置を必要とし、日常的に計測することは難しい。
【０００７】
眼球運動を計測する方法において、小型の装置を使用する技術としては、アイトラッキングシステムが知られている（例えば、非特許文献２を参照。）。これによると、眼球の動きを精度よく求めることができ、使用者がどこを見ているのかなどの情報までわかるため、注視情報などを調べることが可能である。
しかし、非特許文献２に開示されたアイトラッキングシステムは、視線を計測するためにキャリブレーションが必要であり、キャリブレーションの誤差がその後の計測の誤差につながるなどの問題がある。
【０００８】
また、眼球位置と視標位置との相対関係を把握すると共に、疾患の鑑別、重症度等を判断するための補助的データを提供する装置として、眼球運動解析システムが知られている（特許文献１を参照）。特許文献１の眼球運動解析システムでは、非特許文献１と同様に、ゴーグル型の視標提示装置を用いて、ゴーグル型ヘッドセットのディスプレイに映し出される視標を追従する眼球の動きをその手前に配したハーフミラーで反射させて撮像カメラにより撮像する眼球撮像装置により取り込まれた眼球画像を画像処理し、その眼球運動データと視標の移動データに基づき、その関係を横軸に時間、縦軸に視標位置と眼球位置との偏差を表示する追視誤差表示グラフとして出力するものである。
特許文献１の眼球運動解析システムで用いるゴーグル型ヘッドセットは、眼鏡タイプのコンパクトな装置であり、ゴーグル型ヘッドセットの頭部への装着により、頭部を固定することなく、視標を映し出すスクリーン等のディスプレイに対して頭部を静止させ、眼球を撮像する撮像カメラに対しても頭部を静止させた状態で眼球を撮像し、正確な視標追跡機能検査を行うことができるものである。つまり、頭部が多少動いても、頭部移動による画像ブレを起すことなく、視標に追従する眼球運動を撮像することができるものである。
【０００９】
しかしながら、この眼球運動解析システムでは、眼球位置と視標位置の偏差を算出して疾患判定を行うため、眼球位置は、視標の移動量で予め正規化したキャリブレーションデータを用いて決定する必要がある。すなわち、非特許文献２と同様に、測定に先立ってキャリブレーションを行うことが必要であり、正面を向いた標準的な眼球の視軸と対向するディスプレイの中心（基準位置）から標準的な眼球の視軸が左右３０°に傾斜する位置まで視標を移動させ、その始点と終点の眼球画像に基づき、画像上の眼球移動量を視標の移動量で正規化してキャリブレーションデータを算出する必要がある。
【００１０】
近年、カメラ映像で医師と患者を結び付けた在宅診療システムが提唱されている。これは、患者が在宅にいながら、ビデオ通話で医師と相談したりするが、そのようなシステムで用いるカメラは通常低画素なものである。また、患者に対して事前にキャリブレーションを行うことや、ゴーグル型ヘッドセットを頭部に装着させることが困難な場面も多い。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００４−３３７３４８号公報
【非特許文献】
【００１２】
【非特許文献１】福本一郎ほか. 眼球運動計測を用いた痴呆簡易診断システムの基礎研究. 長岡技術科学大学研究報告, 2002.
【非特許文献２】T Nakano et al. Atypical gaze patterns in children and adults with autism spectrum disorders dissociated from developmental changes in gaze behaviour. Proceedings of the Royal Society B, 2010.
【非特許文献３】Hutton JT et al. Eye tracking dysfunction in alzheimer-type dementia. Neurology, 1984.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従来は、カメラでフレーム毎の黒目（眼球の中央の円く黒い部分）の位置検出を行ってサッケードを計測する場合、フレーム間の黒目の位置の移動量が増えたときに、サッケードが発生したとして、その回数をカウントしていた。そのため、パーソナルコンピュータ（ＰＣ）に内蔵されているような低画素カメラの場合や、測定される黒目とカメラ位置が離れているような場合には、黒目の位置の検出精度が粗いため、ノイズに埋もれて、黒目の位置の単なる移動量の増加だけでは正しく測定することができなかった。
【００１４】
かかる状況に鑑みて、本発明は、低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動のサッケード回数が検出可能な眼球運動計測装置および計測方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記状況に鑑みて、本発明の眼球運動計測装置は、下記１）〜５）を備える。
１）一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示手段
２）指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影手段３）撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段４）画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測手段５）連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出手段
【００１６】
上記構成の眼球運動計測装置によれば、カメラで撮影された画像が粗い画像であっても、眼球運動のサッケード回数の算定が可能であるため、ネットワークを利用して、映像を配信するためのＣＣＤ（Charge Coupled Device）カメラとＰＣを用いたような簡易な装置で眼球運動の計測が可能となる。眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する。ここで、被検体はヒトに限定されず眼球運動を行う動物も含まれる。
【００１７】
上記３）の黒目領域検出手段における撮像時間内の各画像フレームにおける黒目領域を検出するやり方は、既知の手法が適用できるが、例えば、Zhaoらの手法が好適に用いることができる。Zhaoらの手法（詳細は、”Zijing Zhao et al. An accurate iris segmentation framework under relaxed imaging constraints using total variation model. In ICCV, 2015.”を参照）は、楕円あてはめなど目のモデルを元に検出するmodel−basedの手法を用いており、高い精度で黒目を検出することができる。Zhaoらの手法の主な流れとしては、目の周辺をクロップした画像を入力とし、ノイズ除去などの前処理を行った後、睫毛や皺などの影響を避けるためスムージングを行い、その後、円形あてはめにより黒目を検出し、瞼検出などの後処理を行うという流れになっている。
ここで、計測時間は長くないこと、被験体は視標を注視していることから、計測期間において顔の向きの変更など大きな顔の動きがないと仮定すると、顔の大きな動きの影響を受けていない純粋な眼球の動きが映像中の黒目の座標の変化で表される。映像中の黒目座標は、映像を目周辺の領域でクロップすれば求めることができるため、目周辺の領域を検出すればいいことになる。
【００１８】
本発明の眼球運動計測装置において、サッケード回数算出手段は、予め設定した連続フレームの区間における黒目領域の移動に対し、黒目領域の移動が停留した場合との第１誤差と、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差とを算出し、第１誤差が第２誤差よりも小さくなる回数を停留回数として算出することが好ましい。
サッケードが発生していない区間では、黒目領域の移動が停留した場合との第１誤差が大きくなり、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差が小さくなる。これに対して、サッケードが発生している区間では、黒目領域の移動が停留した場合との第１誤差が小さくなり、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差が大きくなる。そこで、第１誤差が第２誤差よりも小さくなる回数を停留回数として算出するものである。ここで、黒目領域の移動は、連続フレームにおける位置座標の変化、フレーム間における位置の移動速度、移動量で捉えることができる。
【００１９】
本発明の眼球運動計測装置において、誤差は、一定区間の相違度であり、算出した誤差に対してスムージングを行い、第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を停留回数として算出することが好ましい。一定区間の相違度とは、例えば、連続フレームにおける各フレームの位置の誤差の二乗をフレーム数で割った平均二乗誤差を用いることができる。
【００２０】
本発明の眼球運動計測装置において、上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることが好ましい。
サッケードが生じて黒目領域が停留している時間を考慮したものである。
【００２１】
本発明の眼球運動計測装置において、黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることが好ましい。
上述の如く、眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する必要がある。計測時間は短時間であり、また、被験者は視標を注視して計測を行うため、計測期間において顔の向きの変更など大きな顔の動きはないが、実際には小さな顔の動きが存在するため、単純に映像中における黒目の座標を求めただけでは、顔の微小な動きなどにより眼球運動特徴量が誤検出されてしまう。そこで、映像中の座標における黒目の座標をそのまま用いるのではなく、微小な顔の動きによって黒目との位置関係の変化しない基準点を設けて、移動量を計測する。
【００２２】
本発明の眼球運動計測装置において、黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることが好ましい。
人の眼球を水平方向に移動させる場合は、内側直筋と外側直筋を滑車のように動かす。これに対して、人の眼球を垂直方向に移動させる場合は、上直筋と下直筋を滑車のように動かす。これらの筋肉を支配している運動神経の上位中枢は、衝動性眼球運動では前頭葉に位置し、滑動性眼球運動では後頭葉に位置しており、認知症では前頭葉、後頭葉などが委縮する。また、高齢者の場合、まぶたの筋肉が衰え、目を開いている状態でも黒目の露出が著しく小さいため、垂直方向の眼球運動を計測することは難しい。そこで、水平方向の黒目領域の移動量のみを用いる。
【００２３】
次に、本発明の眼球運動計測方法について説明する。
本発明の眼球運動計測方法は、下記ａ）〜ｅ）を備える。
ａ）一定方向に一定速度で移動する指標をディスプレイ上に表示する指標表示ステップ
ｂ）指標を追従する時の被検体の眼球を撮影して眼球画像を取得する眼球撮影ステップｃ）撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出ステップｄ）画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する運動計測ステップｅ）連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定するサッケード回数算出ステップ
【００２４】
本発明の眼球運動計測方法は、サッケード回数算出ステップにおいて、予め設定した連続フレームの区間における黒目領域の移動に対し、黒目領域の移動が停留した場合との第１誤差と、黒目領域の移動が計測した滑動性眼球運動における平均移動量に沿った場合との第２誤差とを算出し、第１誤差が第２誤差よりも小さくなる回数を停留回数として算出することが好ましい。
【００２５】
本発明の眼球運動計測方法において、誤差は、一定区間の相違度であり、算出した誤差に対してスムージングを行い、第１誤差の時系列変化において、第２誤差よりも小さくなり、かつ、極小値となる時点の回数を停留回数として算出することが好ましい。
【００２６】
本発明の眼球運動計測方法において、上記の予め設定した連続フレーム数は、３０ｆｐｓの場合で、４又は５であることが好ましい。
【００２７】
本発明の眼球運動計測方法において、黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることが好ましい。
また、黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることが好ましい。
【００２８】
本発明の眼球運動計測プログラムは、上述の眼球運動計測方法の各ステップａ）〜ｅ）を、コンピュータに実行させるプログラムである。
また、本発明の眼球運動計測装置は、上記の眼球運動計測プログラムが搭載されたコンピュータおよびディスプレイを備える。
【００２９】
本発明の脳機能障害スクリーニング方法は、上述の眼球運動計測方法における各ステップと、脳機能障害を判定する判定ステップとを備える。
また、本発明の脳機能障害スクリーニング装置は、上述の眼球運動計測装置と、脳機能障害を判定する判定手段とを備える。
認知症の視線への影響については様々な研究が行われており、実際に、認知症患者は健常者に比べ、滑動性眼球運動の異常が見られる、すなわちサッケードの回数が増加することが報告されている。このことから、眼球運動のサッケード回数の測定により認知症の早期発見の可能性があり、上述の眼球運動計測方法は、脳機能障害スクリーニング方法として用いることができるのである。ここで、脳機能障害を判定する判定ステップは、例えば、サッケード回数が所定回数を超える場合に、脳機能障害の可能性があることを判定することである。或は、視覚認識時間の遅れ、内外直筋切り替え時間の延長、追従時の最高速度の低下、追従ゲインの低下、初動時間（視標が現れてから目が視標を捉え動きがなくなるまでの時間）の延長、注視時のマイクロサッケード回数の増加、サッケード振幅の低下などの計測結果を総合して、脳機能障害を判定することもできる。
【発明の効果】
【００３０】
本発明の眼球運動計測方法および計測システムによれば、低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動のサッケードが検出できるといった効果がある。そのため、ネットワークを介したビデオ通話を行っている状態のビデオ画像を用いて、認知症の早期発見が期待できる。
【図面の簡単な説明】
【００３１】
【図１】サッケードの説明図
【図２】眼の筋肉構造の説明図であり、（１）は正面図、（２）は左側面図、（３）は移動方向と関与する筋肉の相関図を示している。
【図３】眼球運動計測方法のフロー図１
【図４】黒目重心座標の説明図
【図５】サッケード回数の計算方法であり、（１）はサッケードによる停留、（２）はサッケード検出方法、（３）は平均二乗誤差の時間的変化を示している。
【図６】評価実験１の実験結果であり、（１）はサッケード回数の誤差値、（２）はサッケード回数の測定値を示している。
【図７】評価実験２の実験結果であり、（１）はサッケード回数の誤差値、（２）はサッケード回数の測定値を示している。
【図８】視標追従実験のイメージ図であり、（１）は視標表示前、（２）は視標表示後を示している。
【図９】眼球運動計測装置の機能ブロック図
【図１０】眼球運動計測方法のフロー図２
【図１１】サッケード回数算出方法の説明図
【図１２】サッケード回数算出方法の説明図であり、（１）は第１プロット、（２）は第２プロット、（３）は第３プロットを示している。
【図１３】サッケード回数算出方法の説明図であり、（１）は第４プロット、（２）は第５プロット、（３）は第６プロットを示している。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例１】
【００３３】
まず、眼球運動計測装置の一態様について説明する。図９は、眼球運動計測装置の機能ブロック図を示している。
図９に示すように、眼球運動計測装置は、ディスプレイ１、指標表示手段６、眼球撮影手段７、黒目領域検出手段８、運動計測手段９およびサッケード回数算出手段１０から構成される。指標表示手段６によってディスプレイ１上に指標が表示される。眼球撮影手段７は、指標表示手段６によって表示された指標を見る被験者の眼球をビデオ撮影する。黒目領域検出手段８は、撮像時間内の各画像フレームにおける黒目領域を検出する。運動計測手段９は、画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する。サッケード回数算出手段１０は、連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定する。
【００３４】
次に、眼球運動計測方法について説明する。
眼球運動は大きく分けると衝動性眼球運動と滑動性眼球運動に分けることができる。衝動性眼球運動はサッケードと呼ばれる、人間が随意的に見ようとする所に注視点を切り替えるときに見られる高速な眼球運動である。滑動性眼球運動は移動する物体を目で追いかけるときに起こる運動で、視野の発達した霊長類特有の運動である。
【００３５】
図１は、サッケードの説明図を示している。
図１に示すように、縦軸は黒目重心座標、横軸は時間、破線はベースライン１１を示し、プロットは時間の経過に伴う黒目重心座標の変化を表している。ｔ０において、視標及び黒目重心座標の移動が開始し、動画中の視標が移動している区間では滑動性眼球運動が起こるので、黒目重心座標は単調に増加、あるいは減少する。すなわち、ｔ０からｔ３までは、プロットの黒目重心座標は、ほぼベースライン１１に沿って移動している。
しかし、サッケード開始時点であるｔｓａｃｃａｄｅにおいて、サッケードが起こると単調増加（減少）している理想的なラインを外れ、再び指標を追従するため一定時間の経過後、サッケード終了時点であるｔｅｎｄにおいて、元に戻ることになる。このように、完全に視標に追従しているときの理想的な動きをベースライン１１とし、ベースライン１１から一定以上大きく動いてから元に戻るまでを１回のサッケード運動として数えている。
従来のサッケードの計測方法は、点線で示す傾きｇ２を検出するものであったが、本実施例における計測方法は、サッケードには水平部ｇ１があることに着目し、この水平部ｇ１の検出を行うものである。
【００３６】
図８は、視標追従実験のイメージ図であり、（１）は視標移動前、（２）は視標移動後を示している。図８（１）に示すように、ディスプレイ１上に視標２が現れた後、図８（２）に示すように、視標２が右へと移動する間にサッケードを計測している。
【００３７】
図２は、眼の筋肉構造の説明図であり、（１）は正面図、（２）は左側面図、（３）は移動方向と関与する筋肉の相関図を示している。
図２に示すように、人の眼球を水平方向に移動させる場合は、内側直筋と外側直筋を滑車のように動かす。これに対して、人の眼球を垂直方向に移動させる場合は、上直筋と下直筋を滑車のように動かす。これらの筋肉を支配している運動神経の上位中枢は、衝動性眼球運動では前頭葉に位置し、滑動性眼球運動では後頭葉に位置しており、認知症では前頭葉、後頭葉などが委縮する。また、高齢者の場合、まぶたの筋肉が衰え、目を開いている状態でも黒目の露出が著しく小さいため、垂直方向の眼球運動を計測することは難しい。以上より、計測に当たっては、水平方向のみの眼球運動を計測する。
【００３８】
図３は、眼球運動計測方法のフロー図を示している。
図３に示すように、眼球運動計測方法は大きく３段階に分けられ、撮影した動画を入力とするバッチ処理である。まず、基準点となる目の端の座標の検出や映像中での黒目座標を検出するために目領域をクロップする特徴点検出（Ｐｒｏｃｅｓｓ１）、次にクロップした目の画像から映像中での黒目座標を検出する黒目検出（Ｐｒｏｃｅｓｓ２）、そして得られた黒目重心座標からサッケード回数を計測する眼球運動機能特徴量計測（Ｐｒｏｃｅｓｓ３）の３つからなる。
【００３９】
まず、被検体の顔をビデオで撮影した動画像を入力する。先ず、Ｐｒｏｃｅｓｓ１において、撮影したフレーム画像から顔検出を行い（Ｓ０１）、顔の中の目や鼻などといった特徴点を検出する（Ｓ０２）。そして、誤検出処理を行い（Ｓ０３）、スムージング処理を行う（Ｓ０４）。各フレーム画像からクロップ（切り出し）した目のクロップ画像群を取得する（Ｓ０５）。また一方で、検出された目の特徴点座標を出力する（Ｓ０６）。次に、Ｐｒｏｃｅｓｓ２では、目のクロップ画像群の各画像から黒目検出を行い（Ｓ０７）、黒目座標を検出する（Ｓ０８）。そして、Ｐｒｏｃｅｓｓ２で検出された黒目座標と、Ｐｒｏｃｅｓｓ１で得られた特徴点座標から、Ｐｒｏｃｅｓｓ３で眼球運動のサッケード回数について算定する。算定した眼球運動のサッケード回数は、眼球機能特徴量となる。
【００４０】
Ｐｒｏｃｅｓｓ１において、特徴点を検出（Ｓ０２）するために、顔の中の目や鼻などといった特徴点をモデル化し検出するＡＳＭ（Active Shape Model）という手法を用いて特徴点の検出を行った。
ＡＳＭは、顔の大まかな位置を与えないと特徴点をうまく検出できないので、画像中から顔検出器により顔検出を行った後、ＡＳＭを適用する。また、黒目重心座標をＡＳＭで得られた目の端の座標との相対位置で求めるため、ＡＳＭの検出誤差によりサッケードなどが誤検出される可能性がある。そこで、動画内の全フレームについて前後一定数のフレームの特徴点の座標を用いて移動平均によりスムージング処理を行う。
以上のようにして、基準点となる目の端の座標の検出と、目領域をクロップするための特徴点検出が行われる。
【００４１】
Ｐｒｏｃｅｓｓ２において、黒目検出は以下の方法により行う。
まず、目の周辺をクロップした画像を入力とし、ノイズ除去などの前処理を行った後、睫毛や皺などの影響を避けるためスムージング処理を行う。その後、円形当てはめにより黒目を検出し、瞼検出などの後処理を行う。
【００４２】
Ｐｒｏｃｅｓｓ３において、サッケード回数の計算は、黒目重心座標の時系列変化に基づいて計算する。以下、黒目重心座標の求め方について説明する。
眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する必要がある。計測時間は短時間であり、また、被験者は視標を注視して計測を行うため、計測期間において顔の向きの変更など大きな顔の動きはないが、実際には小さな顔の動きが存在するため、単純に映像中における黒目の座標を求めただけでは、顔の微小な動きなどにより眼球運動特徴量が誤検出されてしまう。そこで、映像中の座標における黒目の座標をそのまま用いるのではなく、微小な顔の動きによって黒目との位置関係の変化しない基準点を設ける。
【００４３】
図１０は、眼球運動計測方法のフロー図を示している。まず、一定方向に一定速度で移動する指標をディスプレイ上に表示する（指標表示ステップ；Ｓ１１）。指標を追従する時の被検体の眼球を撮影して眼球画像を取得する（眼球撮影ステップ；Ｓ１２）。撮像時間内の各画像フレームにおける黒目領域を検出する（黒目領域検出ステップ；Ｓ１３）。画像フレーム間における黒目領域の移動量を算出して滑動性眼球運動を計測する（運動計測ステップ；Ｓ１４）。連続する画像フレームにおいて黒目領域の移動が停留している停留回数を算出し、算出した停留回数を眼球運動のサッケード回数として算定する（サッケード回数算出ステップ；Ｓ１５）。
【００４４】
図４は、黒目重心座標の説明図を示している。図４に示すように、目３の内側端部３ｂの座標を基準点としている。目３の外側端部３ａではなく、内側端部３ｂの座標を基準点とするのは、より誤差が生じ難いからである。そして、黒目４の中心と目３の内側端部３ｂの座標との距離を黒目重心座標５として、眼球運動機能特徴量の計測に用いる。
【００４５】
サッケード回数は区間内で黒目重心座標が大きく動いている部分を数えているが、実際の測定データにはノイズが含まれるため黒目重心座標が大きく変動している部分を検出するのは難しい。そこで、サッケードの特性に注目し、以下の仮定に基づき大きく動いている点ではなく動きがない点を検出する。
図５は、サッケード回数の計算方法であり、（１）はサッケードによる停留、（２）はサッケード検出方法、（３）は平均二乗誤差の時間的変化を示している。図５（１）及び（２）は、横軸に時間、縦軸に黒目重心座標を取り、区間内の眼球運動を表したものである。
図５（１）に示すように、点線部でのサッケードの発生により、ベースラインに戻るための停留が生じている。すなわち、眼球は常に物体を注視しているので、サッケードによりベースラインから外れた場合、ベースラインに戻るため眼球の運動を止める必要がある。
図５（２）において、実線は平均の傾きによる直線、破線は傾きのない直線を表す。図５（２）に示すように、サッケードが発生していない区間では破線との平均二乗誤差が大きくなり、実線との誤差が小さくなる。サッケードが発生している区間では逆に、破線との平均二乗誤差が小さくなり、実線との誤差が大きくなる。
図５（３）は、実線部と破線部による平均二乗誤差の時系列変化を表したものである。図５（３）に示すように、サッケードが発生している区間では、破線との平均二乗誤差が小さくなるため、実線より破線部が小さく、かつ極小値を取る部分をサッケードとして数える。
このように測定区間内の部分区間ごとに、平均的な傾きの直線と眼球移動のない直線の２つの直線との平均二乗誤差を計算することで、サッケード回数を数えることができる。
以下、例を示しながらサッケード回数の算出方法を詳細に説明する。
【００４６】
図１１は、サッケード回数算出方法の説明図である。ここでは、説明の都合上、計測される黒目重心座標の位置等を簡略化している。プロットＰ１〜Ｐ９は、滑動性眼球運動計測時の黒目重心座標を示している。プロットＰ１〜Ｐ９は、動画の各画像フレームの座標を示しており、各フレーム画像は、一定の時間間隔で存在することから、間隔Ｓ１〜Ｓ８は同一となる。
図１１では、滑動性眼球運動計測時において、サッケードが発生していない場合には、一定の速度で眼球が指標を追従し、一方、サッケードが発生した場合には、サッケード終了までの間、黒目重心座標は同じ位置に停留するものとしている。すなわち、プロットＰ１とプロットＰ２の間の黒目重心座標の距離Ｄ１、プロットＰ２とプロットＰ３の間の黒目重心座標の距離Ｄ２、プロットＰ３とプロットＰ４の間の黒目重心座標の距離Ｄ３、プロットＰ４とプロットＰ５〜Ｐ８のいずれかの間の黒目重心座標の距離Ｄ４、プロットＰ５〜Ｐ８のいずれかとプロットＰ９の間の黒目重心座標の距離Ｄ５とした場合、Ｄ１〜Ｄ３およびＤ５は同じ距離となり、仮にこれらの距離を１とすると、距離Ｄ４は４となる。
上記簡略化した内容を前提として、以下、サッケード回数算出の仕組みについて説明する。
【００４７】
図１２，図１３は、サッケード回数算出の原理説明図であり、図１２（１）は第１プロット、図１２（２）は第２プロット、図１２（３）は第３プロットを示している。また、図１３（１）は第４プロット、図１３（２）は第５プロット、図１３（３）は第６プロットを示している。ここで、図中の太線は、連続する４フレームの黒目重心座標のプロットを線でつないだものである。また、図中のベースライン１１は、黒目重心座標が一定の移動量で移動することを示すものである。そして、図中の破線は、連続する４フレームの黒目重心座標が同じ位置に停留した様子を示す水平線１２を示し、時系列に並んだ４フレームの内、時間的に最後のフレームのプロットとベースライン１１の交点から水平に引かれたものである。
図１２（１）に示す第１プロット（プロットＰ１〜Ｐ４）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ１で−３、プロットＰ２で−２、プロットＰ３で−１、プロットＰ４で０となっており、４フレーム間の平均二乗誤差は、｛（−３）２＋（−２）２＋（−１）２＋０２｝÷４＝１４÷４＝３．５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ１で０、プロットＰ２で０、プロットＰ３で０、プロットＰ４で０となっており、４フレーム間の平均二乗誤差は、｛０２＋０２＋０２＋０２｝÷４＝０となる。
次に、図１２（２）に示す第２プロット（プロットＰ２〜Ｐ５）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ２で−３、プロットＰ２で−２、プロットＰ３で−１、プロットＰ４で＋３となっており、４フレーム間の平均二乗誤差は、｛（−３）２＋（−２）２＋（−１）２＋（＋３）２｝÷４＝２３÷４＝５．７５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ２で０、プロットＰ３で０、プロットＰ４で０、プロットＰ５で３となっており、４フレーム間の平均二乗誤差は、｛０２＋０２＋０２＋（＋３）２｝÷４＝９÷４＝２．２５となる。
そして、図１２（３）に示す第３プロット（プロットＰ３〜Ｐ６）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ３が−３、プロットＰ４が−２、プロットＰ５が＋２、プロットＰ６が＋２となっており、４フレーム間の平均二乗誤差は、｛（−３）２＋（−２）２＋（＋２）２＋（＋２）２｝÷４＝２１÷４＝５．２５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ３で０、プロットＰ４で０、プロットＰ５で＋３、プロットＰ６で＋２となっており、４フレーム間の平均二乗誤差は、｛０２＋０２＋（＋３）２＋（＋２）２｝÷４＝１３÷４＝３．２５となる。
【００４８】
また、図１３（１）に示す第４プロット（プロットＰ４〜Ｐ７）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ４が−３、プロットＰ５が＋１、プロットＰ６が＋１、プロットＰ７が＋１となっており、４フレーム間の平均二乗誤差は、｛（−３）２＋（＋１）２＋（＋１）２＋（＋１）２｝÷４＝１２÷４＝３となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ４で０、プロットＰ５で＋３、プロットＰ６で＋２、プロットＰ７で＋１となっており、４フレーム間の平均二乗誤差は、｛０２＋（＋３）２＋（＋２）２＋（＋１）２｝÷４＝１４÷４＝３．５となる。
また、図１３（２）に示す第５プロット（プロットＰ５〜Ｐ８）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ５が０、プロットＰ６が０、プロットＰ７が０、プロットＰ８が０となっており、４フレーム間の平均二乗誤差は、｛０２＋０２＋０２＋０２｝÷４＝０となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ５で＋３、プロットＰ６で＋２、プロットＰ７で＋１、プロットＰ８で０となっており、４フレーム間の平均二乗誤差は、｛（＋３）２＋（＋２）２＋（＋１）２＋０２｝÷４＝１４÷４＝３．５となる。
図１３（３）に示す第６プロット（プロットＰ６〜Ｐ９）において、各プロットと水平線１２の間の座標の差（距離）は、プロットＰ６が−１、プロットＰ７が−１、プロットＰ８が−１、プロットＰ９が０となっており、４フレーム間の平均二乗誤差は、｛（−１）２＋（−１）２＋（−１）２＋０２｝÷４＝３÷４＝０．７５となる。一方、各プロットとベースライン１１の間の座標の差（距離）は、プロットＰ６で＋２、プロットＰ７で＋１、プロットＰ８で０、プロットＰ９で０となっており、４フレーム間の平均二乗誤差は、｛（＋２）２＋（＋１）２＋０２＋０２｝÷４＝５÷４＝１．２５となる。
【００４９】
図示しないが、プロットＰ１０以降がベースライン１１上に存在するとすれば、プロットＰ７〜Ｐ１０と水平線１２の間の座標の差（距離）は、プロットＰ７が−２、プロットＰ８が−２、プロットＰ９が−１、プロットＰ１０が０となっており、４フレーム間の平均二乗誤差は、｛（−２）２＋（−２）２＋（−１）２＋０２｝÷４＝９÷４＝２．２５となる。一方、プロットＰ７〜Ｐ１０とベースライン１１の間の座標の差（距離）は、プロットＰ７で＋１、プロットＰ８で０、プロットＰ９で０、プロットＰ１０で０となっており、４フレーム間の平均二乗誤差は、｛（＋１）２＋０２＋０２＋０２｝÷４＝１÷４＝０．２５となる。
さらに、プロットＰ８〜Ｐ１１は、第１プロット（プロットＰ１〜Ｐ４）と同じく、水平線１２の間の座標の差（距離）は、プロットＰ８で−３、プロットＰ９で−２、プロットＰ１０で−１、プロットＰ１１で０となっており、４フレーム間の平均二乗誤差は、｛（−３）２＋（−２）２＋（−１）２＋０２｝÷４＝１４÷４＝３．５となる。また、プロットＰ８〜Ｐ１１とベースライン１１の間の座標の差（距離）は、プロットＰ８で０、プロットＰ９で０、プロットＰ１０で０、プロットＰ１１で０となっており、４フレーム間の平均二乗誤差は、｛０２＋０２＋０２＋０２｝÷４＝０となる。
これらの結果を表にまとめると、下記表１となる。
【００５０】
【表１】
2017189470.tif 000003
【００５１】
サッケードが発生している区間は、図１３（１）に示す第５プロット（プロットＰ５〜Ｐ８）である。この時、水平線１２に対する４フレーム間の平均二乗誤差（第１誤差）が最も小さくなる。水平線１２に対する４フレーム間の平均二乗誤差（第１誤差）は、サッケードが発生している区間に近づくにつれて、一旦大きくなり、その後、小さくなって極小値をとる。一方、ベースライン１１に対する４フレーム間の平均二乗誤差（第２誤差）は、サッケードが発生していない区間では小さく、サッケードが発生している区間に近づくにつれて誤差が大きくなる。
このように、水平線１２に対する４フレーム間の平均二乗誤差（第１誤差）を破線、ベースライン１１に対する４フレーム間の平均二乗誤差（第２誤差）を実線とすると、時系列変化において、図５（３）で示すようなグラフになることがわかる。そして、第１誤差が第２誤差よりも小さくなり、かつ、極小値となる時点の回数をカウントすることで、サッケード回数を算出できることがわかる。
【００５２】
（評価実験１）
被験者は健常な２０代の男性１３名、女性３名を対象とした。実験場所は静かな密室で、実験に使用する端末以外に注意を引くものがない環境で行った。
また、被験者のうち眼鏡を常用している人は６人で、可能であれば眼鏡を外した状態で測定を行った。
【００５３】
実験内容としては、視標追従実験を行った。具体的には、まず、被験者にタブレット端末の前に座ってもらい、画面を見てもらう。このとき、画面上には黒い円の画像が表示されており、これが画面の端から端へ移動するので、目で追いかけるように指示した。このときの被験者の顔を、タブレット端末のカメラで撮影した。なお、この実験では黒い円が見えれば良く、眼鏡の反射等による計測エラーを防ぐため、実験中は可能であれば眼鏡を外した状態で計測を行い、眼鏡を着用して実験を行ったのは２名であった。
【００５４】
顔の位置は、画面から２１０ｍｍに設定した。また、視標速度は、２種類設け、２．６ｐｉｘｅｌ／フレームのものをＳｌｏｗ、５．２ｐｉｘｅｌ／フレームのものをＦａｓｔとして実験を行った。なお、画面描画は６０ｆｐｓである。一度視標が消え、現れてから移動し終わるまでを１シーケンスとすると、Ｓｌｏｗでは１被験者当たり７シーケンスの撮影を行い、Ｆａｓｔでは視標の移動時間を統一するため１４シーケンスの撮影を行った。
【００５５】
図６は、評価実験１の実験結果であり、（１）はサッケード回数（回／２０秒）の誤差値、（２）はサッケード回数（回／２０秒）の測定値を示している。
図６（２）に示すように、サッケード回数は、視標速度が大きいほど多くなる。また、図６（１）に示すように、視標速度がＳｌｏｗのときは誤差がやや大きく、２０秒当たり１６．５回の精度、視標速度がＦａｓｔのときは、誤差は２０秒当たり１０．８回の精度で計測されている。過去の知見（非特許文献３を参照）により、認知症患者と健常者を判別するのに必要な精度は、２０秒当たりの誤差値１２．０回以下であればいいので、視標速度Ｆａｓｔでは十分な精度が得られたと言える。視標速度Ｓｌｏｗでは精度が悪いが、本手法ではサッケードの検出に眼球移動の停留を利用しているため、眼球運動の速度が小さくなると停留との差が小さくなり、誤検出が発生しやすくなることが原因と考えられる。しかし、視標速度Ｓｌｏｗは認知症の進行度とサッケード回数に相関がみられない速度のため、実用上はＦａｓｔのみ使用すればよく、問題ないと言える。
【００５６】
（評価実験２）
被験者は健常な２０代の男性１３名、女性３名を対象とした。実験場所は静かな密室で、実験に使用する端末以外に注意を引くものがない環境で行った。
また、被験者のうち眼鏡を常用している人は６人で、眼鏡を着用した状態で測定を行った。なお、その他特に記載しない条件については、評価実験１と同様である。
【００５７】
実験内容としては、日常的に使うことを想定した実験を行った。日常的を想定した評価実験では、スマートフォンのニュースアプリのプッシュ通知のように、メール、ニュースなど受信した情報を画面上にポップアップで表示するアプリを使用している場面を想定し、受信しポップアップ表示された興味のあるニュースを実際に読むという実験を行った。また、選んだニュースについては実験日に公表されたニュースのうち、政治、信仰など読み手によって著しく興味に差が出るものは避け、被験者と同年代がある程度の興味を持って読めるものを選んだ。
【００５８】
具体的な実験内容は、評価実験１と同様に被験者にタブレット端末の前に座ってもらい、ディスプレイに表示される画面を見てもらう。このとき、画面上にはＷｅｂサイトの天気予報がブラウザで表示されている。一定時間の経過後、画面の端に別のニュースのタイトルがポップアップ表示されるので、ポップアップをタップしてもらう。タップすると、画面にそのニュースが表示されるので、表示されたニュースを読んでもらうよう指示した。このときの被験者の顔を、タブレット端末のカメラで撮影した。
なお、本評価実験では、文章を読む必要があり、日常生活で使用することを想定しているため、普段眼鏡を着用している６名の被験者については、眼鏡を着用したまま計測を行った。撮影は、各被験者につき１シーケンスだけ行った。
【００５９】
図７は、評価実験２の実験結果であり、（１）はサッケード回数の誤差値、（２）はサッケード回数の測定値を示している。
図７（１）に示すように、サッケード回数は、２０秒当たりの誤差６．９回と十分な精度で計測されている。文章を読むときはサッケードが大きいので検出が容易になっているといえる。
【産業上の利用可能性】
【００６０】
本発明は、認知症の検出、鬱による認知機能能の低下、眼球やその周りの筋肉の病気の存在、脳機能の損傷などのスクリーニング装置や方法に利用できる。
【符号の説明】
【００６１】
１  ディスプレイ
２  視標
３  目
３ａ  外側端部
３ｂ  内側端部
４  黒目
５  黒目重心座標
６  指標表示手段
７  眼球撮影手段
８  黒目領域検出手段
９  運動計測手段
１０  サッケード回数算出手段
【図１】
2017189470.tif 000004
【図２】
2017189470.tif 000005
【図３】
2017189470.tif 000006
【図４】
2017189470.tif 000007
【図５】
2017189470.tif 000008
【図６】
2017189470.tif 000009
【図７】
2017189470.tif 000010
【図８】
2017189470.tif 000011
【図９】
2017189470.tif 000012
【図１０】
2017189470.tif 000013
【図１１】
2017189470.tif 000014
【図１２】
2017189470.tif 000015
【図１３】
2017189470.tif 000016