(57)【要約】      （修正有）【課題】低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動の初動時間が検出可能な眼球運動計測装置および計測方法を提供する。【解決手段】指標をディスプレイ上に表示する指標表示手段と、少なくとも指標を表示した時点から所定時間経過するまで、被検体の眼球を撮影して眼球画像を取得する眼球撮影手段と、撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段と、画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングすることにより、眼球動作終了時点を算出する眼球動作終了算出手段と、指標表示時点と眼球動作終了時点との時間差を、眼球運動の初動時間として算定する初動時間算定手段とを備える。また、指標を表示するタイミングを被験体に知らせるための視覚、聴覚、或は触覚を刺激する注意喚起手段、具体的にはブザー音出力装置を備える。【選択図】図９
2017176302.tif 000002
【特許請求の範囲】
【請求項１】
指標をディスプレイ上に表示する指標表示手段と、
少なくとも指標を表示した時点から所定時間経過するまで、被検体の眼球を撮影して眼球画像を取得する眼球撮影手段と、  撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段と、  画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングすることにより、眼球動作終了時点を算出する眼球動作終了算出手段と、  指標表示時点と眼球動作終了時点との時間差を、眼球運動の初動時間として算定する初動時間算定手段と、を備えたことを特徴とする眼球運動計測装置。
【請求項２】
眼球動作終了算出手段において、
黒目領域の移動量の微分値の絶対値が、黒目動作開始時点から黒目動作終了時点までが大きく、黒目動作開始以前および黒目動作終了後が小さいことから、大小２つのクラスを時系列に３つに分ける閾値を算定する際に、大小２つのクラスのクラス間分散を算出し、分散が最大になるように前記閾値を最適化し、黒目動作終了時点を算出することを特徴とする請求項１に記載の眼球運動計測装置。
【請求項３】
黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることを特徴とする請求項１又は２に記載の眼球運動計測装置。
【請求項４】
黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることを特徴とする請求項１〜３の何れかに記載の眼球運動計測装置。
【請求項５】
前記指標を表示するタイミングを被験体に知らせるための視覚、聴覚、或は触覚を刺激する注意喚起手段が更に備えられたことを特徴とする請求項１〜４の何れかに記載の眼球運動計測装置。
【請求項６】
前記注意喚起手段は、指標表示手段と同期するブザー音出力装置であることを特徴とする請求項５に記載の眼球運動計測装置。
【請求項７】
指標をディスプレイ上に表示する指標表示ステップと、
少なくとも指標を表示した時点から所定時間経過するまで、被検体の眼球を撮影して眼球画像を取得する眼球撮影ステップと、  撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出ステップと、  画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングすることにより、眼球動作終了時点を算出する眼球動作終了算出ステップと、  指標表示時点と眼球動作終了時点との時間差を、眼球運動の初動時間として算定する初動時間算定ステップと、を備えたことを特徴とする眼球運動計測方法。
【請求項８】
眼球動作終了算出ステップにおいて、
黒目領域の移動量の微分値の絶対値が、黒目動作開始時点から黒目動作終了時点までが大きく、黒目動作開始以前および黒目動作終了後が小さいことから、大小２つのクラスを時系列に３つに分ける閾値を算定する際に、大小２つのクラスのクラス間分散を算出し、分散が最大になるように前記閾値を最適化し、黒目動作終了時点を算出することを特徴とする請求項７に記載の眼球運動計測方法。
【請求項９】
黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることを特徴とする請求項７又は８に記載の眼球運動計測方法。
【請求項１０】
黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることを特徴とする請求項７〜９の何れかに記載の眼球運動計測方法。
【請求項１１】
前記指標表示ステップと同期して、前記指標を表示するタイミングを被験体に知らせるための視覚、聴覚、或は触覚を刺激する注意喚起ステップが更に備えられたことを特徴とする請求項７〜１０の何れかに記載の眼球運動計測方法。
【請求項１２】
前記注意喚起ステップは、前記指標表示ステップと同期してブザー音を出力することを特徴とする請求項１１に記載の眼球運動計測方法。
【請求項１３】
請求項７〜１２の何れかに記載の眼球運動計測方法の各ステップを、コンピュータに実行させる眼球運動計測プログラム。
【請求項１４】
請求項１３の眼球運動計測プログラムが搭載されたコンピュータおよびディスプレイを備えた眼球運動計測装置。
【請求項１５】
請求項７〜１２の何れかに記載の眼球運動計測方法における各ステップと、
脳機能障害を判定する判定ステップと
を備えたことを特徴とする脳機能障害スクリーニング方法。
【請求項１６】
請求項１〜６，１４の何れかの眼球運動計測装置と、
脳機能障害を判定する判定手段と、
を備えたことを特徴とする脳機能障害スクリーニング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像した顔画像から、眼球運動の初動時間を計測する技術に関するものである。
【背景技術】
【０００２】
近年、高齢化社会が急速に進展しており、様々な病気が社会的な問題になっている。その一つに認知症という病気があり、その数は２０１０年時点で国内４４０万人と推定され、今後１０年で２倍近くまで増加するといわれている。
認知症は一旦発達した知能が脳の器質性障害によって低下した状態であり、脳のダメージから由来すると言われる中核症状と、障害による不安や憤りから由来すると言われる周辺症状という二つの症状を持つ。具体的な症状としては、中核症状では同じことを何度も繰り返してしまうなどの記憶障害、知っているはずの道で迷子になってしまうといった見当識障害、物の名前を忘れてしまう失語、物が何なのかを忘れてしまう失認、物の使い方を忘れてしまう失行などがあり、周辺症状では幻覚や妄想、興奮、うつ状態などが挙げられる。
しかし現在、認知症であると診断された患者のうち、約８割はかかりつけ医が認知症を見落としているという報告がなされており、早期発見ができているとは言い難い。
【０００３】
現在の認知症の検査は、まず、本人や家族への問診と、その時の患者の観察が重要であると言われている。また、ＨＤＳ−Ｒ（改訂長谷川式簡易知能評価スケール）やＭＭＳＥ（Mini-Mental State Examination）といった認知症のテスト、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像）やＰＥＴ（Positron Emission Tomography：陽電子放射断層撮影）などの脳画像診断といった客観的な診断方法もある。
しかしこれらの手法には、専門家が必要であるということや時間や手間がかかることなどといった問題がある。そして、一番の問題点として、認知症という病気の大きな特徴の一つとして、メタ記憶に侵襲が及んでおり自身が病気であるという認識がないという症状があるため、患者が診察に来ず早期発見ができないという問題がある。
そこで、体温や血圧を測るように手軽に測定可能なものや、意識せず日常の中で自然に測定できるようなものがあれば、認知症の早期発見が可能になると期待される。
【０００４】
認知症などの脳機能障害を手軽にスクリーニングするための手法として、表情や声、血液を分析し認知症を検出する研究が行われている。表情や声は日常生活の中で測定することができ、手軽な手法であるが、被験者が検査であることを意識してしまうことによる影響を受けやすい。また、血液は多くの場合健康診断などで採取するため早期発見が期待できるが、日常生活の中で手軽に測定することはできない。
一方、眼球運動は検査であることを意識することによる影響を受けにくいため検査に向いており、かつ日常生活の中で手軽に測定することが可能である。そして、認知症患者は健常者に比べ、眼球運動の初動時間の延長が見られることが知られており（非特許文献１を参照）、眼球運動の測定により認知症の早期発見が可能であると考えられている。
本明細書において、眼球運動の初動時間とは、視標が現れてから目が視標を捉え動きがなくなるまでの時間と定義する。また、以下で単に初動時間とあるのは、眼球運動の初動時間のことを指す。
【０００５】
眼球運動を計測する技術としては、例えば、ゴーグル型の視標提示装置を用いて滑動性眼球運動を計測する方法が知られている（例えば、非特許文献１を参照。）。かかる方法では、１９名の認知症患者、１８名の健常高齢者、７名の健常若年者に対して実施し、認知症患者における初動時間の延長などの知見が得られている。
しかし、非特許文献１に開示された眼球運動を計測する方法では、大掛かりな装置を必要とし、日常的に計測することは難しい。
【０００６】
眼球運動を計測する方法において、小型の装置を使用する技術としては、アイトラッキングシステムが知られている（例えば、非特許文献２を参照。）。これによると、眼球の動きを精度よく求めることができ、使用者がどこを見ているのかなどの情報までわかるため、注視情報などを調べることが可能である。
しかし、非特許文献２に開示されたアイトラッキングシステムは、視線を計測するためにキャリブレーションが必要であり、キャリブレーションの誤差がその後の計測の誤差につながるなどの問題がある。
【０００７】
また、眼球位置と視標位置との相対関係を把握すると共に、疾患の鑑別、重症度等を判断するための補助的データを提供する装置として、眼球運動解析システムが知られている（特許文献１を参照）。特許文献１の眼球運動解析システムでは、非特許文献１と同様に、ゴーグル型の視標提示装置を用いて、ゴーグル型ヘッドセットのディスプレイに映し出される視標を追従する眼球の動きをその手前に配したハーフミラーで反射させて撮像カメラにより撮像する眼球撮像装置により取り込まれた眼球画像を画像処理し、その眼球運動データと視標の移動データに基づき、その関係を横軸に時間、縦軸に視標位置と眼球位置との偏差を表示する追視誤差表示グラフとして出力するものである。
特許文献１の眼球運動解析システムで用いるゴーグル型ヘッドセットは、眼鏡タイプのコンパクトな装置であり、ゴーグル型ヘッドセットの頭部への装着により、頭部を固定することなく、視標を映し出すスクリーン等のディスプレイに対して頭部を静止させ、眼球を撮像する撮像カメラに対しても頭部を静止させた状態で眼球を撮像し、正確な視標追跡機能検査を行うことができるものである。つまり、頭部が多少動いても、頭部移動による画像ブレを起すことなく、視標に追従する眼球運動を撮像することができるものである。
【０００８】
しかしながら、この眼球運動解析システムでは、眼球位置と視標位置の偏差を算出して疾患判定を行うため、眼球位置は、視標の移動量で予め正規化したキャリブレーションデータを用いて決定する必要がある。すなわち、非特許文献２と同様に、測定に先立ってキャリブレーションを行うことが必要であり、正面を向いた標準的な眼球の視軸と対向するディスプレイの中心（基準位置）から標準的な眼球の視軸が左右３０°に傾斜する位置まで視標を移動させ、その始点と終点の眼球画像に基づき、画像上の眼球移動量を視標の移動量で正規化してキャリブレーションデータを算出する必要がある。
【０００９】
近年、カメラ映像で医師と患者を結び付けた在宅診療システムが提唱されている。これは、患者が在宅にいながら、ビデオ通話で医師と相談したりするが、そのようなシステムで用いるカメラは通常低画素なものである。また、患者に対して事前にキャリブレーションを行うことや、ゴーグル型ヘッドセットを頭部に装着させることが困難な場面も多い。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００４−３３７３４８号公報
【非特許文献】
【００１１】
【非特許文献１】福本一郎ほか. 眼球運動計測を用いた痴呆簡易診断システムの基礎研究. 長岡技術科学大学研究報告, 2002.
【非特許文献２】T Nakano et al. Atypical gaze patterns in children and adults with autism spectrum disorders dissociated from developmental changes in gaze behaviour. Proceedings of the Royal Society B, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来は、カメラでフレーム毎の黒目（眼球の中央の円く黒い部分）の位置検出を行って初動時間を計測する場合、フレーム間の黒目の位置の移動量に変化が現れる時点、すなわち移動量が大きくなる時点と、フレーム間の黒目の位置の移動量が無くなる時点を移動量の差分から求め、眼球運動の初動時間を求めていた。そのため、パーソナルコンピュータ（ＰＣ）に内蔵されているような低画素カメラの場合や、測定される黒目とカメラ位置が離れているような場合には、黒目の位置の検出精度が粗いため、ノイズに埋もれて、黒目の位置の単なる移動量の差分だけでは正しく測定することができなかった。
【００１３】
かかる状況に鑑みて、本発明は、低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動の初動時間が検出可能な眼球運動計測装置および計測方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記状況に鑑みて、本発明の眼球運動計測装置は、下記１）〜５）を備える。
１）指標をディスプレイ上に表示する指標表示手段
２）少なくとも指標を表示した時点から所定時間経過するまで、被検体の眼球を撮影して眼球画像を取得する眼球撮影手段
３）撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出手段
４）画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングすることにより、眼球動作終了時点を算出する眼球動作終了算出手段
５）指標表示時点と眼球動作終了時点との時間差を、眼球運動の初動時間として算定する初動時間算定手段
【００１５】
上記構成の眼球運動計測装置によれば、カメラで撮影された画像が粗い画像であっても、眼球運動の初動時間の算定が可能であるため、ネットワークを利用して、映像を配信するためのＣＣＤ（Charge Coupled Device）カメラとＰＣを用いたような簡易な装置で眼球運動の計測が可能となる。眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する。ここで、被検体はヒトに限定されず眼球運動を行う動物も含まれる。
【００１６】
上記２）の「指標を表示した時点から所定時間経過するまで」とは、指標をディスプレイ上に表示したタイミングから、被検体が指標の存在を認識して、視線を指標に合せるべく黒目が移動し、視線が指標の位置に合わさった時点で黒目の移動が終了するが、黒目の移動が終了した後、十分な時間が経過するまでをいう。通常、ヒトの眼球運動の初動時間は、１秒以内であるので、所定時間は数秒を設定すればよい。少なくとも指標を表示した時点としたのは、指標を表示する時点の以前から、被検体の眼球を撮影してもよいという意味である。
【００１７】
上記３）の黒目領域検出手段における撮像時間内の各画像フレームにおける黒目領域を検出するやり方は、既知の手法が適用できるが、例えば、Zhaoらの手法が好適に用いることができる。Zhaoらの手法（詳細は、”Zijing Zhao et al. An accurate iris segmentation framework under relaxed imaging constraints using total variation model. In ICCV, 2015.”を参照）は、楕円あてはめなど目のモデルを元に検出するmodel−basedの手法を用いており、高い精度で黒目を検出することができる。Zhaoらの手法の主な流れとしては、目の周辺をクロップした画像を入力とし、ノイズ除去などの前処理を行った後、睫毛や皺などの影響を避けるためスムージングを行い、その後、円形あてはめにより黒目を検出し、瞼検出などの後処理を行うという流れになっている。
ここで、計測時間は長くないこと、被験体は視標を注視していることから、計測期間において顔の向きの変更など大きな顔の動きがないと仮定すると、顔の大きな動きの影響を受けていない純粋な眼球の動きが映像中の黒目の座標の変化で表される。映像中の黒目座標は、映像を目周辺の領域でクロップすれば求めることができるため、目周辺の領域を検出すればいいことになる。
【００１８】
上記４）の眼球動作終了算出手段は、本発明の特徴部分であり、画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングすることにより、眼球動作終了時点を算出する。眼球運動の初動時間は、指標が現れてから目が指標を捉えて止まる（視線が指標に合う）までとしているので、黒目領域の移動量の時系列変化から目が動いて止まる時間を求めれば良いということになる。黒目の位置が一定になった点を求めればいいのだが、固視微動と呼ばれる眼球のブレが生じており、黒目の位置にはノイズ等が含まれる。そのため、計測する眼球運動はごく短い時間で起こるためノイズと混じってしまい、うまく検出することができない。そこで、計測区間内での眼球移動は静止、移動、静止と変化することに着目し、黒目領域の移動量の微分値を二値化クラスタリングして、眼球移動が静止、移動、静止となる時点を算出するのである。
【００１９】
本発明の眼球運動計測装置の眼球動作終了算出手段において、黒目領域の移動量の微分値の絶対値が、黒目動作開始時点から黒目動作終了時点までが大きく、黒目動作開始以前および黒目動作終了後が小さいことから、大小２つのクラスを時系列に３つに分ける閾値を算定する際に、大小２つのクラスのクラス間分散を算出し、分散が最大になるように閾値を最適化し、黒目動作終了時点を算出することが好ましい。
上述の如く、眼球移動が静止、移動、静止となる時点を算出するため、黒目領域の移動量の微分値を二値化クラスタリングする。黒目動作開始時点から黒目動作終了時点までは、微分値の絶対値が大きくなり、黒目動作開始以前および黒目動作終了後は、微分値の絶対値が小さくなる。そこで、微分値の絶対値が大きいものと小さいものの２つのクラスを時系列に３つに分ける閾値を算定することで、眼球移動が静止、移動、静止となる時点を算出することができることになる。具体的には、微分値の絶対値が大きいものと小さいものの２つのクラスのクラス間分散を算出し、分散が最大になるように上記の閾値を最適化していく。閾値としては、眼球移動が静止から移動する閾値と、移動から静止する閾値の２つの閾値が求まる。移動から静止する閾値を求めることが、黒目動作終了時点を算出することになる。
【００２０】
本発明の眼球運動計測装置において、黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることが好ましい。
上述の如く、眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する必要がある。計測時間は短時間であり、また、被験者は視標を注視して計測を行うため、計測期間において顔の向きの変更など大きな顔の動きはないが、実際には小さな顔の動きが存在するため、単純に映像中における黒目の座標を求めただけでは、顔の微小な動きなどにより眼球運動特徴量が誤検出されてしまう。そこで、映像中の座標における黒目の座標をそのまま用いるのではなく、微小な顔の動きによって黒目との位置関係の変化しない基準点を設けて、移動量を計測する。
【００２１】
本発明の眼球運動計測装置において、黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることが好ましい。
人の眼球を水平方向に移動させる場合は、内側直筋と外側直筋を滑車のように動かす。これに対して、人の眼球を垂直方向に移動させる場合は、上直筋と下直筋を滑車のように動かす。これらの筋肉を支配している運動神経の上位中枢は、衝動性眼球運動では前頭葉に位置し、滑動性眼球運動では後頭葉に位置しており、認知症では前頭葉、後頭葉などが委縮する。また、高齢者の場合、まぶたの筋肉が衰え、目を開いている状態でも黒目の露出が著しく小さいため、垂直方向の眼球運動を計測することは難しい。そこで、水平方向の黒目領域の移動量のみを用いる。
【００２２】
本発明の眼球運動計測装置には、指標を表示するタイミングを被験体に知らせるための視覚、聴覚、或は触覚を刺激する注意喚起手段が更に備えられたことが好ましい。
注意喚起手段が設けられることにより、被験体は指標が表示されたことに注意を促され、指標に視線を合せようとするので、よりスムーズな眼球運動計測が可能となる。
【００２３】
本発明の眼球運動計測装置における注意喚起手段は、指標表示手段と同期するブザー音出力装置であることが好ましい。上記の注意喚起手段では、指標表示と同時にブザー音が出力される。例えば、ＰＣにＵＳＢ（Universal Serial Bus）接続されたブザー音出力装置があり、ＰＣのディスプレイに指標を表示させると同時に、ブザー出力させるプログラムが搭載されているとする。指標表示時間とブザー音出力時間に厳密には若干の時間差があるが、計測において無視できる程度である。
【００２４】
次に、本発明の眼球運動計測方法について説明する。
本発明の眼球運動計測方法は、下記ａ）〜ｅ）を備える。
ａ）指標をディスプレイ上に表示する指標表示ステップ
ｂ）少なくとも指標を表示した時点から所定時間経過するまで、被検体の眼球を撮影して眼球画像を取得する眼球撮影ステップ
ｃ）撮像時間内の各画像フレームにおける黒目領域を検出する黒目領域検出ステップ
ｄ）画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングすることにより、眼球動作終了時点を算出する眼球動作終了算出ステップ
ｅ）指標表示時点と眼球動作終了時点との時間差を、眼球運動の初動時間として算定する初動時間算定ステップ
【００２５】
本発明の眼球運動計測方法は、眼球動作終了算出ステップにおいて、黒目領域の移動量の微分値の絶対値が、黒目動作開始時点から黒目動作終了時点までが大きく、黒目動作開始以前および黒目動作終了後が小さいことから、大小２つのクラスを時系列に３つに分ける閾値を算定する際に、大小２つのクラスのクラス間分散を算出し、分散が最大になるように閾値を最適化し、黒目動作終了時点を算出することが好ましい。
【００２６】
本発明の眼球運動計測方法において、黒目領域の移動量は、目の特徴点を基準座標とする重心座標系における黒目重心座標の移動量であることが好ましい。
また、黒目領域の移動量は、水平方向の黒目領域の移動量のみを用いることが好ましい。
【００２７】
本発明の眼球運動計測方法には、指標表示ステップと同期して、指標を表示するタイミングを被験体に知らせるための視覚、聴覚、或は触覚を刺激する注意喚起ステップが更に備えられたことが好ましい。注意喚起ステップは、具体的には、指標表示ステップと同期してブザー音を出力する。
【００２８】
本発明の眼球運動計測プログラムは、上述の眼球運動計測方法の各ステップａ）〜ｅ）を、コンピュータに実行させるプログラムである。
また、本発明の眼球運動計測装置は、上記の眼球運動計測プログラムが搭載されたコンピュータおよびディスプレイを備える。
【００２９】
本発明の脳機能障害スクリーニング方法は、上述の眼球運動計測方法における各ステップと、脳機能障害を判定する判定ステップとを備える。
また、本発明の脳機能障害スクリーニング装置は、上述の眼球運動計測装置と、脳機能障害を判定する判定手段とを備える。
認知症の視線への影響については様々な研究が行われており、実際に、認知症患者は健常者に比べ、眼球運動の初動時間の延長が報告されている。このことから、眼球運動の初動時間の測定により認知症の早期発見の可能性があり、上述の眼球運動計測方法は、脳機能障害スクリーニング方法として用いることができるのである。ここで、脳機能障害を判定する判定ステップは、例えば、眼球運動の初動時間が所定閾値時間を超える場合に、脳機能障害の可能性があることを判定することである。或は、視覚認識時間の遅れ、内外直筋切り替え時間の延長、追従時の最高速度の低下、追従ゲインの低下、キャッチアップサッケード（移動する物体を目で追いかけるときに起こる眼球運動で、遅延などにより追従しきれなかったとき反射的にジャンプし移動物体に追いつく眼球運動）の増加、注視時のサッケード回数の増加、サッケード振幅の低下などの計測結果を総合して、脳機能障害を判定することもできる。
【発明の効果】
【００３０】
本発明の眼球運動計測方法および計測システムによれば、低画素のカメラで撮影された画像、又はカメラが黒目を接写してないような粗い画像からでも、眼球運動の初動時間が検出できるといった効果がある。そのため、ネットワークを介したビデオ通話を行っている状態のビデオ画像を用いて、認知症の早期発見が期待できる。
【図面の簡単な説明】
【００３１】
【図１】初動時間の説明図
【図２】眼の筋肉構造の説明図であり、（１）は正面図、（２）は左側面図、（３）は移動方向と関与する筋肉の相関図を示している。
【図３】眼球運動計測方法のフロー図１
【図４】黒目重心座標の説明図
【図５】初動時間の計算方法であり、（１）は区間内の眼球移動、（２）は区間内の微分値を示している。
【図６】評価実験１の実験結果であり、（１）は初動時間の誤差値、（２）は初動時間の測定値を示している。
【図７】評価実験２の実験結果であり、（１）は初動時間の誤差値、（２）は初動時間の測定値、（３）は初動時間の外れ値を除いた初動時間の誤差値を示している。
【図８】視標追従実験のイメージ図であり、（１）は視標表示前、（２）は視標表示後を示している。
【図９】眼球運動計測装置の機能ブロック図
【図１０】眼球運動計測方法のフロー図２
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例１】
【００３３】
まず、眼球運動計測装置の一態様について説明する。図９は、眼球運動計測装置の機能ブロック図を示している。
図９に示すように、眼球運動計測装置は、ディスプレイ１、指標表示手段６、眼球撮影手段７、黒目領域検出手段８、眼球動作終了算出手段９、初動時間算定手段１０および注意喚起手段１１から構成される。指標表示手段６によってディスプレイ１上に指標が表示される。注意喚起手段１１は、具体的にはブザー音出力装置１２であり、ブザー音を出力して被験者に注意喚起する。眼球撮影手段７は、指標表示手段６によって表示された指標を見る被験者の眼球をビデオ撮影する。黒目領域検出手段８は、撮像時間内の各画像フレームにおける黒目領域を検出する。眼球動作終了算出手段９は、画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングすることにより、眼球動作終了時点を算出する。初動時間算定手段１０は、指標表示時点と眼球動作終了時点との時間差を、眼球運動の初動時間として算定する。
【００３４】
次に、眼球運動計測方法について説明する。
眼球運動は大きく分けると衝動性眼球運動と滑動性眼球運動に分けることができる。衝動性眼球運動はサッケードと呼ばれる、人間が随意的に見ようとする所に注視点を切り替えるときに見られる高速な眼球運動である。滑動性眼球運動は移動する物体を目で追いかけるときに起こる運動で、視野の発達した霊長類特有の運動である。
【００３５】
図１は、初動時間の説明図を示している。
ここでは、視標が現れ移動するときの映像を撮影しているので、動画中の視標が現れている区間では図１に示すように、ある所を注視し一定になっていた黒目重心座標が、ｔ０で視標が現れたときに少し遅れて移動を始め、視標を捉えたところで一定になる。このときの、視標が現れてから目が視標を捉え動きがなくなるまでを眼球運動の初動時間とした。
【００３６】
図８は、視標追従実験のイメージ図であり、（１）は視標表示前、（２）は視標表示後を示している。図８（１）に示すように、視標表示前においては、ディスプレイ１上には視標２は現れておらず、図８（２）に示すように、視標表示後においては、ディスプレイ１上には視標２が現れている。視標２が現れてから少し遅れて黒目重心座標が移動を始め、視標２を捉えたところで一定になる。
【００３７】
図２は、眼の筋肉構造の説明図であり、（１）は正面図、（２）は左側面図、（３）は移動方向と関与する筋肉の相関図を示している。
図２に示すように、人の眼球を水平方向に移動させる場合は、内側直筋と外側直筋を滑車のように動かす。これに対して、人の眼球を垂直方向に移動させる場合は、上直筋と下直筋を滑車のように動かす。これらの筋肉を支配している運動神経の上位中枢は、衝動性眼球運動では前頭葉に位置し、滑動性眼球運動では後頭葉に位置しており、認知症では前頭葉、後頭葉などが委縮する。また、高齢者の場合、まぶたの筋肉が衰え、目を開いている状態でも黒目の露出が著しく小さいため、垂直方向の眼球運動を計測することは難しい。以上より、計測に当たっては、水平方向のみの眼球運動を計測する。
【００３８】
図３は、眼球運動計測方法のフロー図を示している。
図３に示すように、眼球運動計測方法は大きく３段階に分けられ、撮影した動画を入力とするバッチ処理である。まず、基準点となる目の端の座標の検出や映像中での黒目座標を検出するために目領域をクロップする特徴点検出（Ｐｒｏｃｅｓｓ１）、次にクロップした目の画像から映像中での黒目座標を検出する黒目検出（Ｐｒｏｃｅｓｓ２）、そして得られた黒目重心座標から初動時間を計測する眼球運動機能特徴量計測（Ｐｒｏｃｅｓｓ３）の３つからなる。
【００３９】
まず、被検体の顔をビデオで撮影した動画像を入力する。先ず、Ｐｒｏｃｅｓｓ１において、撮影したフレーム画像から顔検出を行い（Ｓ０１）、顔の中の目や鼻などといった特徴点を検出する（Ｓ０２）。そして、誤検出処理を行い（Ｓ０３）、スムージング処理を行う（Ｓ０４）。各フレーム画像からクロップ（切り出し）した目のクロップ画像群を取得する（Ｓ０５）。また一方で、検出された目の特徴点座標を出力する（Ｓ０６）。次に、Ｐｒｏｃｅｓｓ２では、目のクロップ画像群の各画像から黒目検出を行い（Ｓ０７）、黒目座標を検出する（Ｓ０８）。そして、Ｐｒｏｃｅｓｓ２で検出された黒目座標と、Ｐｒｏｃｅｓｓ１で得られた特徴点座標から、Ｐｒｏｃｅｓｓ３で眼球運動の初動時間について算定する。算定した眼球運動の初動時間は、眼球機能特徴量となる。
【００４０】
Ｐｒｏｃｅｓｓ１において、特徴点を検出（Ｓ０２）するために、顔の中の目や鼻などといった特徴点をモデル化し検出するＡＳＭ（Active Shape Model）という手法を用いて特徴点の検出を行った。
ＡＳＭは、顔の大まかな位置を与えないと特徴点をうまく検出できないので、画像中から顔検出器により顔検出を行った後、ＡＳＭを適用する。また、黒目重心座標をＡＳＭで得られた目の端の座標との相対位置で求めるため、ＡＳＭの検出誤差によりサッケードなどが誤検出される可能性がある。そこで、動画内の全フレームについて前後一定数のフレームの特徴点の座標を用いて移動平均によりスムージング処理を行う。
以上のようにして、基準点となる目の端の座標の検出と、目領域をクロップするための特徴点検出が行われる。
【００４１】
Ｐｒｏｃｅｓｓ２において、黒目検出は以下の方法により行う。
まず、目の周辺をクロップした画像を入力とし、ノイズ除去などの前処理を行った後、睫毛や皺などの影響を避けるためスムージング処理を行う。その後、円形当てはめにより黒目を検出し、瞼検出などの後処理を行う。
【００４２】
Ｐｒｏｃｅｓｓ３において、初動時間の計算は、黒目重心座標の時系列変化に基づいて計算する。以下、黒目重心座標の求め方について説明する。
眼球が動くということは黒目が動くということなので、映像から眼球の動きを検出するためには黒目の動きを計測する必要がある。計測時間は短時間であり、また、被験者は視標を注視して計測を行うため、計測期間において顔の向きの変更など大きな顔の動きはないが、実際には小さな顔の動きが存在するため、単純に映像中における黒目の座標を求めただけでは、顔の微小な動きなどにより眼球運動特徴量が誤検出されてしまう。そこで、映像中の座標における黒目の座標をそのまま用いるのではなく、微小な顔の動きによって黒目との位置関係の変化しない基準点を設ける。
【００４３】
図１０は、眼球運動計測方法のフロー図を示している。先ず、指標をディスプレイ上に表示する（指標表示ステップ；Ｓ１１）。指標を表示した時点から所定時間経過するまで、被検体の眼球を撮影して眼球画像を取得する（眼球撮影ステップ；Ｓ１２）。また、撮像時間内の各画像フレームにおける黒目領域を検出する（黒目領域検出ステップ；Ｓ１３）。そして、画像フレーム間における黒目領域の移動量の微分値を二値化クラスタリングして、眼球動作終了時点を算出する（眼球動作終了算出ステップ；Ｓ１４）。最後に、指標表示時点と眼球動作終了時点との時間差を、眼球運動の初動時間として算定する（初動時間算定ステップ；Ｓ１５）。
【００４４】
図４は、黒目重心座標の説明図を示している。図４に示すように、目３の内側端部３ｂの座標を基準点としている。目３の外側端部３ａではなく、内側端部３ｂの座標を基準点とするのは、より誤差が生じ難いからである。そして、黒目４の中心と目３の内側端部３ｂの座標との距離を黒目重心座標５として、眼球運動機能特徴量の計測に用いる。
【００４５】
初動時間とは、物体が動いてから目が物体を捉えて止まるまでの時間をいう。したがって、初動時間の計算は、黒目重心座標の時系列変化から目が動いて止まる時間を求めればよいといえる。
しかし、黒目重心が一定になった点を求める方法では、黒目重心座標にはノイズなどが含まれており、計測する衝動性眼球運動はごく短い時間で起こるため、ノイズと混じり、うまく検出することができない。
【００４６】
そこで、以下の初動時間の計算方法を用いる。図５は、初動時間の計算方法であり、（１）は区間内の眼球移動を表し、横軸は時間、縦軸は黒目重心座標を示している。また、（２）は区間内の微分値を表し、横軸は時間、縦軸は黒目重心座標の微分値を示している。
図５（１）に示すように、計測区間内での眼球移動は静止、移動、静止と変化する。このとき、黒目重心座標の微分値の絶対値は小、大、小と変化するので、図５（２）に示すように、区間内を微分値の小さいクラスと大きいクラスの２つに分けることができる。
【００４７】
ここで、図５（１）および（２）に示すように、黒目の動き始めた時間ｔｂｅｇｉｎと黒目が動き終わった時間ｔｅｎｄを、２つのクラスを３つに分ける閾値として、判別分析による画像の２値化のように下記数１で表される２つのクラスのクラス間分散を求め、これが最大になるように２つの閾値を最適化することで眼球の動き終わった時間（眼球動作終了時点）が求まり、視標の現れた時間（指標表示時点）との差を求めることで眼球運動の初動時間が求まる。クラス間分散σ２は、黒目重心座標をｘ、微分値が小さいクラスのフレーム数をωｌｏｗ、微分値の平均をｍｌｏｗ、微分値が大きいクラスのフレーム数をωｈｉｇｈ、微分値の平均をｍｈｉｇｈとすると、それぞれ下記数１のように表される(式１中、ｎは定数である)。
【００４８】
【数１】
2017176302.tif 000003
【００４９】
（評価実験１）
被験者は健常な２０代の男性１３名、女性３名を対象とした。実験場所は静かな密室で、実験に使用する端末以外に注意を引くものがない環境で行った。
また、被験者のうち眼鏡を常用している人は６人で、可能であれば眼鏡を外した状態で測定を行った。
【００５０】
実験内容としては、視標追従実験を行った。具体的には、まず、被験者にタブレット端末の前に座ってもらい、画面を見てもらう。このとき、画面上には黒い円の画像が表示されており、これが画面の端から端へ移動するので、目で追いかけるように指示した。このときの被験者の顔を、タブレット端末のカメラで撮影した。なお、この実験では黒い円が見えれば良く、眼鏡の反射等による計測エラーを防ぐため、実験中は可能であれば眼鏡を外した状態で計測を行い、眼鏡を着用して実験を行ったのは２名であった。
【００５１】
顔の位置は、画面から２１０ｍｍに設定した。また、視標速度は、２種類設け、２．６ｐｉｘｅｌ／フレームのものをＳｌｏｗ、５．２ｐｉｘｅｌ／フレームのものをＦａｓｔとして実験を行った。なお、画面描画は６０ｆｐｓである。一度視標が消え、現れてから移動し終わるまでを１シーケンスとすると、Ｓｌｏｗでは１被験者当たり７シーケンスの撮影を行い、Ｆａｓｔでは視標の移動時間を統一するため１４シーケンスの撮影を行った。
【００５２】
図６は、評価実験１の実験結果であり、（１）は初動時間の誤差値、（２）は初動時間の測定値を示している。
図６（２）から、眼球運動の初動時間は視標速度にかかわらず一定で約０．３秒程度である。また、図６（１）に示すように、誤差は１フレーム（０．０３３秒）未満となっている。認知症患者と健常者を判別するのに必要な精度は、非特許文献１によると誤差値０．０６５秒以下であればよいので、本評価実験の実験結果は十分な精度が得られたといえる。
【００５３】
（評価実験２）
被験者は健常な２０代の男性１３名、女性３名を対象とした。実験場所は静かな密室で、実験に使用する端末以外に注意を引くものがない環境で行った。
また、被験者のうち眼鏡を常用している人は６人で、眼鏡を着用した状態で測定を行った。なお、その他特に記載しない条件については、評価実験１と同様である。
【００５４】
実験内容としては、日常的に使うことを想定した実験を行った。日常的を想定した評価実験では、スマートフォンのニュースアプリのプッシュ通知のように、メール、ニュースなど受信した情報を画面上にポップアップで表示するアプリを使用している場面を想定し、受信しポップアップ表示された興味のあるニュースを実際に読むという実験を行った。また、選んだニュースについては実験日に公表されたニュースのうち、政治、信仰など読み手によって著しく興味に差が出るものは避け、被験者と同年代がある程度の興味を持って読めるものを選んだ。
【００５５】
具体的な実験内容は、評価実験１と同様に被験者にタブレット端末の前に座ってもらい、ディスプレイに表示される画面を見てもらう。このとき、画面上にはＷｅｂサイトの天気予報がブラウザで表示されている。一定時間の経過後、画面の端に別のニュースのタイトルがポップアップ表示されるので、ポップアップをタップしてもらう。タップすると、画面にそのニュースが表示されるので、表示されたニュースを読んでもらうよう指示した。このときの被験者の顔を、タブレット端末のカメラで撮影した。
なお、本評価実験では、文章を読む必要があり、日常生活で使用することを想定しているため、普段眼鏡を着用している６名の被験者については、眼鏡を着用したまま計測を行った。撮影は、各被験者につき１シーケンスだけ行った。
【００５６】
図７は、評価実験２の実験結果であり、（１）は初動時間の誤差値、（２）は初動時間の測定値、（３）は初動時間の外れ値を除いた初動時間の誤差値を示している。
図７（１）に示すように、初動時間について、誤差０．１９秒の精度で計測され、評価実験１よりも精度が低くなっている。しかし、実験結果は分散が大きく、一部の被験者のみ誤差が大きくなる傾向がみられた。また、図７（２）に示すように、一部の被験者で初動時間が著しく大きくなっていることがわかる。これらのことから、図７（３）では、初動時間の正解ラベルが中央値＋５０％の範囲より初動時間が長いものを除いて誤差値を求めたものを示している。図７（３）に示すように、極端に初動時間が大きいものを除くと誤差値０．０６４秒で求められ、十分な精度で求まる。評価実験１では、被験者は画面上の視標を見ており、視標が動けばすぐにそれに追従する。しかし、評価実験２では、被験者は最初自由にものを見ているため、別のものに注目していたり、目を動かしていたりなどの理由で、反応が遅れるからである。
【産業上の利用可能性】
【００５７】
本発明は、認知症の検出、鬱による認知機能能の低下、眼球やその周りの筋肉の病気の存在、脳機能の損傷などのスクリーニング装置や方法に利用できる。
【符号の説明】
【００５８】
１  ディスプレイ
２  視標
３  目
３ａ  外側端部
３ｂ  内側端部
４  黒目
５  黒目重心座標
６  指標表示手段
７  眼球撮影手段
８  黒目領域検出手段
９  眼球動作終了算出手段
１０  初動時間算定手段
１１  注意喚起手段
１２  ブザー音出力装置
【図１】
2017176302.tif 000004
【図２】
2017176302.tif 000005
【図３】
2017176302.tif 000006
【図４】
2017176302.tif 000007
【図５】
2017176302.tif 000008
【図６】
2017176302.tif 000009
【図７】
2017176302.tif 000010
【図８】
2017176302.tif 000011
【図９】
2017176302.tif 000012
【図１０】
2017176302.tif 000013