(57)【要約】【課題】サッカードの検出精度を向上させるサッカード検出装置の提供。【解決手段】サッカード検出装置１は、監視対象者２の眼球運動として、サッカードの候補となる候補運動を抽出する抽出ブロック１０の候補抽出部１２と、監視対象者２の眼球運動を除く顔運動として、候補抽出部１２により抽出された候補運動との連動が想定される連動運動を抽出する抽出ブロック１０の連動抽出部１３と、候補抽出部１２により抽出された候補運動と、連動抽出部１３により抽出された連動運動との相関パターンに応じて、サッカードの発生確率Ｐを予測する予測ブロック２０と、候補抽出部１２により抽出された候補運動がサッカードであるか否かの真偽を判定する判定閾値Ｊを、予測ブロック２０により予測された発生確率Ｐに従って調整する調整ブロック３０と、調整ブロック３０により調整された判定閾値Ｊを基準に真偽を判定する判定ブロック４０とを、備える。【選択図】図２
2020199166.tif 000002
【特許請求の範囲】
【請求項１】
監視対象者（２）のサッカードを検出するサッカード検出装置（１）であって、
前記監視対象者の眼球運動として、前記サッカードの候補となる候補運動を抽出する第一抽出ブロック（１２）と、
前記監視対象者の前記眼球運動を除く顔運動として、前記第一抽出ブロックにより抽出された前記候補運動との連動が想定される連動運動を抽出する第二抽出ブロック（１３）と、
前記第一抽出ブロックにより抽出された前記候補運動と、前記第二抽出ブロックにより抽出された前記連動運動との相関パターンに応じて、前記サッカードの発生確率（Ｐ）を予測する予測ブロック（２０）と、
前記第一抽出ブロックにより抽出された前記候補運動が前記サッカードであるか否かの真偽を判定する判定閾値（Ｊ）を、前記予測ブロックにより予測された前記発生確率に従って調整する調整ブロック（３０）と、
前記調整ブロックにより調整された前記判定閾値を基準に前記真偽を判定する判定ブロック（４０）とを、備えるサッカード検出装置。
【請求項２】
前記相関パターンは、前記候補運動の運動振幅（Ａｐ）と、前記連動運動のうち顔向き変動とに、関するパターンを含む請求項１に記載のサッカード検出装置。
【請求項３】
前記相関パターンは、前記候補運動の運動振幅（Ａｐ）と、前記連動運動のうち瞬目とに、関するパターンを含む請求項１又は２に記載のサッカード検出装置。
【請求項４】
前記相関パターンは、前記候補運動の運動振幅（Ａｐ）と、前記連動運動のうち顔向き変動及び瞬目の組み合わせとに、関するパターンを含む請求項２又は３に記載のサッカード検出装置。
【請求項５】
前記相関パターンは、前記候補運動の運動方向（Ｄｐ）と、前記連動運動のうち顔向き変動とに、関するパターンを含む請求項１〜４のいずれか一項に記載のサッカード検出装置。
【請求項６】
プロセッサ（６）により実行されて監視対象者（２）のサッカードを検出するサッカード検出方法であって、
前記監視対象者の眼球運動として、前記サッカードの候補となる候補運動を抽出し（Ｓ１０２）、
前記監視対象者の前記眼球運動を除く顔運動として、抽出された前記候補運動との連動が想定される連動運動を抽出し（Ｓ１０３）、
抽出された前記候補運動と、抽出された前記連動運動との相関パターンに応じて、前記サッカードの発生確率（Ｐ）を予測し（Ｓ１０４）、
抽出された前記候補運動が前記サッカードであるか否かの真偽を判定する判定閾値（Ｊ）を、予測された前記発生確率に従って調整し（Ｓ１０５）、
調整された前記判定閾値を基準に前記真偽を判定する（Ｓ１０６，Ｓ１０７，Ｓ１０８）、ことを含むサッカード検出方法。
【請求項７】
監視対象者（２）のサッカードを検出するために記憶媒体（５）に格納され、プロセッサ（６）に実行させる命令を含むサッカード検出プログラムであって、
前記命令は、
前記監視対象者の眼球運動として、前記サッカードの候補となる候補運動を抽出させ（Ｓ１０２）、
前記監視対象者の前記眼球運動を除く顔運動として、抽出された前記候補運動との連動が想定される連動運動を抽出させ（Ｓ１０３）、
抽出された前記候補運動と、抽出された前記連動運動との相関パターンに応じて、前記サッカードの発生確率（Ｐ）を予測させ（Ｓ１０４）、
抽出された前記候補運動が前記サッカードであるか否かの真偽を判定する判定閾値（Ｊ）を、予測された前記発生確率に従って調整させ（Ｓ１０５）、
調整された前記判定閾値を基準に前記真偽を判定させる（Ｓ１０６，Ｓ１０７，Ｓ１０８）、ことを含むサッカード検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、監視対象者のサッカードを検出する技術に、関する。
【背景技術】
【０００２】
従来、サッカードを検出するために特許文献１に開示された技術では、サッカードの無発生確率に基づくことで、サッカード検出時の出力がフィルタリングされている。ここでサッカードの無発生確率は、サッカード運動を示すサッカード信号に表れた振幅に応じて、算出されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５６１３５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の開示技術では、単一時刻におけるサッカード信号の振幅が大きい場合、サッカードの無発生確率が低く算出される。即ち、単一時刻におけるサッカードの運動振幅が大きい場合には、サッカードの発生確率が高いと判断されていることになる。しかし、単一時刻における運動振幅が大きくても、例えば前後時刻における運動振幅次第では、サッカードの発生確率は低いと判断すべき場合がある。
【０００５】
本開示の課題は、サッカードの検出精度を向上させるサッカード検出装置を、提供することにある。
【０００６】
本開示の別の課題は、サッカードの検出精度を向上させるサッカード検出方法を、提供することにある。
【０００７】
本開示のさらに別の課題は、サッカードの検出精度を向上させるサッカード検出プログラムを、提供することにある。
【課題を解決するための手段】
【０００８】
以下、課題を解決するための本開示の技術的手段について、説明する。尚、特許請求の範囲及び本欄に記載された括弧内の符号は、後に詳述する実施形態に記載された具体的手段との対応関係を示すものであり、本開示の技術的範囲を限定するものではない。
【０００９】
本開示の第一態様は、
監視対象者（２）のサッカードを検出するサッカード検出装置（１）であって、
監視対象者の眼球運動として、サッカードの候補となる候補運動を抽出する第一抽出ブロック（１２）と、
監視対象者の眼球運動を除く顔運動として、第一抽出ブロックにより抽出された候補運動との連動が想定される連動運動を抽出する第二抽出ブロック（１３）と、
第一抽出ブロックにより抽出された候補運動と、第二抽出ブロックにより抽出された連動運動との相関パターンに応じて、サッカードの発生確率（Ｐ）を予測する予測ブロック（２０）と、
第一抽出ブロックにより抽出された候補運動がサッカードであるか否かの真偽を判定する判定閾値（Ｊ）を、予測ブロックにより予測された発生確率に従って調整する調整ブロック（３０）と、
調整ブロックにより調整された判定閾値を基準に真偽を判定する判定ブロック（４０）とを、備える。
【００１０】
本開示の第二態様は、
プロセッサ（６）により実行されて監視対象者（２）のサッカードを検出するサッカード検出方法であって、
監視対象者の眼球運動として、サッカードの候補となる候補運動を抽出し（Ｓ１０２）、
監視対象者の眼球運動を除く顔運動として、抽出された候補運動との連動が想定される連動運動を抽出し（Ｓ１０３）、
抽出された候補運動と、抽出された連動運動との相関パターンに応じて、サッカードの発生確率（Ｐ）を予測し（Ｓ１０４）、
抽出された候補運動がサッカードであるか否かの真偽を判定する判定閾値（Ｊ）を、予測された発生確率に従って調整し（Ｓ１０５）、
調整された判定閾値を基準に真偽を判定する（Ｓ１０６，Ｓ１０７，Ｓ１０８）、ことを含む。
【００１１】
本開示の第三態様は、
監視対象者（２）のサッカードを検出するために記憶媒体（５）に格納され、プロセッサ（６）に実行させる命令を含むサッカード検出プログラムであって、
命令は、
監視対象者の眼球運動として、サッカードの候補となる候補運動を抽出させ（Ｓ１０２）、
監視対象者の眼球運動を除く顔運動として、抽出された候補運動との連動が想定される連動運動を抽出させ（Ｓ１０３）、
抽出された候補運動と、抽出された連動運動との相関パターンに応じて、サッカードの発生確率（Ｐ）を予測させ（Ｓ１０４）、
抽出された候補運動がサッカードであるか否かの真偽を判定する判定閾値（Ｊ）を、予測された発生確率に従って調整させ（Ｓ１０５）、
調整された判定閾値を基準に真偽を判定させる（Ｓ１０６，Ｓ１０７，Ｓ１０８）、ことを含む。
【００１２】
以上の第一〜第三態様において候補運動がサッカードであるか否かの真偽は、サッカードの発生確率に従って調整された判定閾値を、基準に判定される。ここでサッカードの発生確率は、監視対象者の眼球運動のうちサッカードの候補運動と、監視対象者の眼球運動を除く顔運動のうち候補運動との連動が想定される連動運動との相関パターンに応じて、予測される。これは、単一時刻の候補運動に留まらず、それと連動する顔運動との相関パターンも考慮して、サッカード発生確率の予測及び判定閾値の調整を行うことになるので、サッカードの真偽を正確に判定することができる。したがって、サッカードの検出精度を向上させることが可能である。
【図面の簡単な説明】
【００１３】
【図１】第一実施形態によるサッカード検出装置の全体構成を示すブロック図である。
【図２】第一実施形態によるサッカード検出装置の詳細構成を示すブロック図である。
【図３】第一実施形態による確率予測データを説明するための表である。
【図４】第一実施形態による予測条件及び予測処理を説明するためのグラフである。
【図５】第一実施形態による予測条件及び予測処理を説明するためのグラフである。
【図６】第一実施形態による予測条件及び予測処理を説明するためのグラフである。
【図７】第一実施形態による予測条件及び予測処理を説明するためのグラフである。
【図８】第一実施形態による予測条件及び予測処理を説明するためのグラフである。
【図９】第一実施形態による予測条件及び予測処理を説明するためのグラフである。
【図１０】第一実施形態によるサッカード検出方法を示すフローチャートである。
【図１１】第二実施形態による確率予測データを説明するための表である。
【図１２】第二実施形態による予測条件及び予測処理を説明するためのグラフである。
【発明を実施するための形態】
【００１４】
以下、複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
【００１５】
（第一実施形態）
図１に示すように第一実施形態によるサッカード検出装置１は、監視対象者２の眼球運動のうち特にサッカードを、検出する。
【００１６】
具体的にサッカード検出装置１は、車両に搭載されて、監視対象者２である乗員のサッカードを検出してもよい。この場合にサッカードの検出結果は、例えば車両の運転制御等に利用される。サッカード検出装置１は、コンピュータに接続されて、監視対象者２であるユーザのサッカードを検出してもよい。この場合にサッカードの検出結果は、例えばコンピュータの操作制御等に利用される。サッカード検出装置１の適用形態は、これら以外の形態であっても勿論よい。
【００１７】
サッカード検出装置１は、情報取得ユニット３及び電子制御ユニット４を含んで構成される。情報取得ユニット３は、監視対象者２に関する対象情報を、取得する。対象情報の取得は、監視対象者２若しくは他者からの指示に従って、又は電子制御ユニット４若しくは他ユニットからの制御に従って、実行される。対象情報は、監視対象者２の眼球運動に関する眼球情報と、監視対象者２の眼球運動を除いた顔運動に関する顔情報とを、含む。
【００１８】
情報取得ユニット３は、監視対象者２の顔のうち少なくとも眼球を撮像する、例えばカメラ等であってもよい。この場合、カメラにより撮影されて生成される画像が、対象情報となる。情報取得ユニット３は、監視対象者２の運動のうち少なくとも眼球運動を波形出力する、例えば眼電図計測装置等であってもよい。この場合、眼電図計測装置により計測される眼電図が、対象情報となる。情報取得ユニット３は、これらカメラと眼電図計測装置の組み合わせであってもよい。尚、サッカード検出装置１が車両に搭載される場合、車両に搭載された例えば車内カメラ等の搭載機器が、情報取得ユニット３として利用されてもよい。この場合にサッカード検出装置１は、電子制御ユニット４のみから構成される。
【００１９】
電子制御ユニット４は、例えばＬＡＮ（Local Area Network）、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して、情報取得ユニット３に接続されている。電子制御ユニット４は、メモリ５及びプロセッサ６を、少なくとも一つずつ含んで構成される専用のコンピュータである。
【００２０】
メモリ５は、コンピュータにより読み取り可能なプログラム及びデータを非一時的に格納する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ６は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及びＲＩＳＣ（Reduced Instruction Set Computer）−ＣＰＵ等のうち、少なくとも一種類をコアとして含む。
【００２１】
プロセッサ６は、メモリ５に格納されたサッカード検出プログラムに含まれる複数の命令を、実行する。これにより電子制御ユニット４は、監視対象者２のサッカードを検出するための機能ブロックを、複数構築する。このように電子制御ユニット４では、監視対象者２のサッカードを検出するためにメモリ５に格納されたサッカード検出プログラムが複数の命令をプロセッサ６に実行させることで、複数の機能ブロックが構築される。
【００２２】
電子制御ユニット４により構築される機能ブロックには、図２に示すように、抽出ブロック１０、予測ブロック２０、調整ブロック３０、及び判定ブロック４０が含まれる。抽出ブロック１０は、特徴検出部１１、候補抽出部１２及び連動抽出部１３を、サブ機能ブロックとして有する。
【００２３】
特徴検出部１１には、情報取得ユニット３により取得された対象情報が、入力される。特徴検出部１１は、監視対象者２における眼球及び顔の特徴点を、入力された対象情報に基づき検出する。特徴検出部１１は、検出された眼球及び顔の特徴点をそれぞれ表す特徴データを、生成する。眼球の特徴データには、眼球運動を表す指標として、例えば眼球のうち視線方向（即ち、視線角度）等が含まれる。顔の特徴データには、顔運動を表す指標として、例えば顔の向き及び瞼の動き等が含まれる。
【００２４】
候補抽出部１２には、特徴検出部１１により生成された眼球の特徴データが、入力される。候補抽出部１２は、監視対象者２における少なくとも一方の眼の眼球運動のうち、サッカードの候補と予測される候補運動を、入力された眼球の特徴データに基づき抽出する。候補運動には、監視対象者２が視線方向を意図して変化させる場合に生じる、短時間で高速な眼球運動が含まれてもよい。候補運動には、監視対象者２が注視（即ち、固視）中に不随意に生じる、微動で急速な眼球運動が含まれていてもよい。
【００２５】
候補抽出部１２は、眼球の特徴データに基づき算出される特定物理量を、所定の標準閾値と対比させる。標準閾値は、候補運動に想定される特定物理量の臨界値に、予め設定される。候補抽出部１２では、特定物理量が標準閾値から許容範囲内にあれば、同物理量に対応する候補運動が抽出される。
【００２６】
候補抽出部１２は、視線方向の変化距離（即ち、視線の移動距離）によって算出した運動振幅を、標準閾値と対比させてもよい。この場合、運動振幅の許容範囲のうち、例えば下限値及び上限値の少なくとも一方等に、標準閾値が設定される。候補抽出部１２は、視線方向の時間変化量によって算出した視線速度（即ち、角度換算の場合は視線角速度）を、標準閾値と対比させてもよい。この場合、視線速度の許容範囲のうち、例えば下限値及び上限値の少なくとも一方等に、標準閾値が設定される。候補抽出部１２は、視線方向の時間変化量に対する時間微分値によって算出した視線加速度を、標準閾値と対比させてもよい。この場合、視線加速度の許容範囲のうち、例えば下限値及び上限値の少なくとも一方等に、標準閾値が設定される。
【００２７】
候補抽出部１２は、抽出した候補運動を表す候補データを、同運動の発生時刻を表す時間データ（即ち、タイムスタンプ）と関連付けて、メモリ５に記憶する。このとき候補抽出部１２は、入力された眼球の特徴データに基づき、候補データを生成する。候補データには、抽出された候補運動の振幅である運動振幅が、含まれていてもよい。候補データには、抽出された候補運動の方向である運動方向が、含まれていてもよい。候補データには、抽出された候補運動である今回運動について、それよりも前に抽出された前回の候補運動である前回運動との時間間隔（即ち、時間差）が、含まれていてもよい。以上、抽出ブロック１０のサブ機能ブロックのうち候補抽出部１２が、「第一抽出ブロック」に相当する。
【００２８】
連動抽出部１３には、特徴検出部１１により生成された顔の特徴データが、入力される。連動抽出部１３は、監視対象者２の顔運動のうち、候補抽出部１２により抽出された候補運動と連動する連動運動を、入力された顔の特徴データに基づき抽出する。このとき連動抽出部１３は、候補運動と実質同時を含み且つ候補運動から前後に設定時間までの範囲において、監視対象者２に生じた顔運動を、連動運動として抽出する。連動運動には、監視対象者２において顔の向きが変動する顔向き変動が、含まれていてもよい。連動運動には、監視対象者２の顔において瞼の運きにより瞬きの生じる瞬目が、含まれていてもよい。
【００２９】
連動抽出部１３は、抽出した連動運動の種別を表す連動データを、同運動の発生時刻を表す時間データ（即ち、タイムスタンプ）と、同運動との連動関係にある候補運動の候補データとに関連付けて、メモリ５に記憶する。連動データが表す連動運動の種別とは、上述の顔向き変動及び瞬目といった、監視対象者２の顔運動の分類を意味する。以上、抽出ブロック１０のサブ機能ブロックのうち連動抽出部１３が、「第二抽出ブロック」に相当する。
【００３０】
予測ブロック２０は、互いに関連付けられた候補データ及び連動データと、それらデータの各々に関連付けられた時間データとを、メモリ５から読み出す。予測ブロック２０は、読み出したデータに基づき、サッカードの発生確率であるサッカード確率Ｐを予測する。サッカード確率Ｐとは、候補抽出部１２により抽出された候補運動が、サッカードとして監視対象者２に生じる確率を意味する。サッカード確率Ｐには、初期値となる標準確率が予め設定されている。そこで、以下の説明においてサッカード確率Ｐを低下させるとは、標準確率に１未満の予測係数を乗算することで、より小さい値にサッカード確率Ｐを予測する処理を、意味する。一方、以下の説明においてサッカード確率Ｐを上昇させるとは、標準確率に１超過の予測係数を乗算することで、より大きい値にサッカード確率Ｐを予測する処理を、意味する。
【００３１】
予測ブロック２０は、図３に示すようにサッカード確率Ｐを予測するための確率予測データ２１を、メモリ５から読み出す。確率予測データ２１は、例えばテーブル、マップ及び演算式等のうち少なくとも一種類の形式で生成され、メモリ５に予め記憶されている。確率予測データ２１は、予測条件と予測処理とのデータセットとして、図３に示すセット２２〜２７のうち少なくとも一セットを含んでいる。
【００３２】
データセット２２〜２４は、候補抽出部１２により時間を前後して抽出された候補運動同士の相関パターンを予測条件として、予測処理と共に定義されている。一方、データセット２５〜２７は、候補抽出部１２により抽出された候補運動と、連動抽出部１３により抽出された連動運動との相関パターンを予測条件として、予測処理と共に定義されている。
【００３３】
具体的にデータセット２２の予測条件及び予測処理は、図４に示す実験結果に基づき定義されている。データセット２２の予測条件は、抽出された候補運動のうち今回運動と前回運動との、時間間隔Ｔｉを含んでいる。そこでデータセット２２の予測処理は、時間間隔Ｔｉが第一設定間隔Ｔ１以下となる予測条件では、今回運動のサッカード確率Ｐを低下させる。データセット２２の予測処理はまた、時間間隔Ｔｉが第二設定間隔Ｔ２以上となる予測条件でも、今回運動のサッカード確率Ｐを低下させる。
【００３４】
このように候補運動同士の時間間隔Ｔｉに関する相関パターンを含んだ予測条件と、同条件に応じた予測処理とを、データセット２２は定義している。尚、第一設定間隔Ｔ１は、例えば６２ｍｓ等に設定される。第二設定間隔Ｔ２は、例えば６７．５ｓ等に設定される。
【００３５】
データセット２３の予測条件及び予測処理は、図５に示す実験結果に基づき定義されている。データセット２３の予測条件は、抽出された候補運動のうち今回運動と前回運動とについて、各々の運動方向Ｄｐ，Ｄｌの相関性を含んでいる。そこでデータセット２３の予測処理は、今回運動の運動方向Ｄｐが前回運動の運動方向Ｄｌと一致する同方向運動の予測条件において、今回運動のサッカード確率Ｐを低下させる。さらにデータセット２３の予測条件は、運動方向Ｄｐ，Ｄｌが連続して一致する回数を、含んでいる。そこでデータセット２３の予測処理は、予測条件として運動方向Ｄｐ，Ｄｌの一致する同方向運動の連続回数が増加するのに従って、サッカード確率Ｐの低下度合いを増大させる。
【００３６】
このように候補運動同士の運動方向Ｄｐ，Ｄｌに関する相関パターンを含んだ予測条件と、同条件に応じた予測処理とを、データセット２３は定義している。尚、運動方向Ｄｐ，Ｄｌは、例えば監視対象者２の横方向のみ等において、サッカード確率Ｐの低下が必要な一致か否かを判断される。
【００３７】
データセット２４の予測条件及び予測処理は、図６に示す実験結果に基づき定義されている。データセット２４の予測条件は、抽出された候補運動のうち今回運動と前回運動とについて、各々の運動振幅Ａｐ，Ａｌの相関性を、時間間隔Ｔｉとの相関性と共に含んでいる。そこでデータセット２４の予測処理は、今回運動の運動振幅Ａｐが第一設定振幅Ａ１以上且つ前回運動の運動振幅Ａｌが第二設定振幅Ａ２未満となる図６（ｂ）の場合に、時間間隔Ｔｉが第三設定間隔Ｔ３以下となる予測条件では、今回運動のサッカード確率Ｐを上昇させる。
【００３８】
一方でデータセット２４の予測処理は、今回運動の運動振幅Ａｐが第一設定振幅Ａ１以上且つ前回運動の運動振幅Ａｌが第一設定振幅Ａ１以上となる図６（ａ）の場合に、時間間隔Ｔｉが第四設定間隔Ｔ４以下となる予測条件では、今回運動のサッカード確率Ｐを低下させる。データセット２４の予測処理は同様に、今回運動の運動振幅Ａｐが第二設定振幅Ａ２未満且つ前回運動の運動振幅Ａｌが第一設定振幅Ａ１以上となる図６（ｄ）の場合にも、時間間隔Ｔｉが第四設定間隔Ｔ４以下となる予測条件では、今回運動のサッカード確率Ｐを低下させる。
【００３９】
さらにデータセット２４の予測処理は、今回運動の運動振幅Ａｐが第二設定振幅Ａ２未満且つ前回運動の運動振幅Ａｌが第二設定振幅Ａ２未満となる図６（ｃ）の場合に、時間間隔Ｔｉが第四設定間隔Ｔ４超過且つ第五設定間隔Ｔ５以下となる予測条件では、今回運動のサッカード確率Ｐを上昇させる。データセット２４の予測処理は同様に、今回運動の運動振幅Ａｐが第二設定振幅Ａ２未満且つ前回運動の運動振幅Ａｌが第一設定振幅Ａ１以上となる図６（ｄ）の場合にも、時間間隔Ｔｉが第四設定間隔Ｔ４超過且つ第五設定間隔Ｔ５以下となる予測条件では、今回運動のサッカード確率Ｐを上昇させる。
【００４０】
このように候補同士の運動振幅Ａｐ，Ａｌ及び時間間隔Ｔｉに関する相関パターンを含んだ予測条件と、同条件に応じた予測処理とを、データセット２４は定義している。尚、第一設定振幅Ａ１は、例えば角度換算で１６°等に設定される。第二設定振幅Ａ２は、例えば角度換算で８°等に設定される。第三設定間隔Ｔ３は、例えば１０２ｍｓ等に設定される。第四設定間隔Ｔ４は、例えば１６７ｍｓ等に設定される。第五設定間隔Ｔ５は、例えば２７６ｍｓ等に設定される。
【００４１】
データセット２５の予測条件及び予測処理は、図７に示す実験結果に基づき定義されている。データセット２５の予測条件は、抽出された候補運動のうち今回運動の運動振幅Ａｐと、抽出された連動運動のうち顔向き変動との相関性を、含んでいる。そこでデータセット２５の予測処理は、今回運動の運動振幅Ａｐが第三設定振幅Ａ３以上となる場合に、今回運動と顔向き変動とが連動する予測条件では、今回運動のサッカード確率Ｐを上昇させる。
【００４２】
このような運動振幅Ａｐ及び顔向き変動に関する相関パターンを含んだ予測条件と、同条件に応じた予測処理とを、データセット２５は定義している。尚、顔向き変動は、例えば今回運動との時間間隔が前後に１ｓ等の範囲内に収まる場合に、サッカード確率Ｐの上昇が必要な連動運動と判断される。また第三設定振幅Ａ３は、例えば角度換算で２０°等に設定される。
【００４３】
データセット２６の予測条件及び予測処理は、図８に示す実験結果に基づき定義されている。データセット２６の予測条件は、抽出された候補運動のうち今回運動の運動振幅Ａｐと、抽出された連動運動のうち瞬目との相関性を、含んでいる。そこでデータセット２６の予測処理は、今回運動の運動振幅Ａｐが第四設定振幅Ａ４以上となる場合に、今回運動と瞬目とが連動する予測条件では、今回運動のサッカード確率Ｐを上昇させる。
【００４４】
このような運動振幅Ａｐ及び瞬目に関する相関パターンを含んだ予測条件と、同条件に応じた予測処理とを、データセット２６は定義している。尚、瞬目は、例えば今回運動との時間間隔が前後に５００ｍｓ等の範囲内に収まる場合に、サッカード確率Ｐの上昇が必要な連動運動と判断される。また第四設定振幅Ａ４は、例えば角度換算で２０°等に設定され、第一実施形態では特に第三設定振幅Ａ３との同一値に設定される。
【００４５】
データセット２７の予測条件及び予測処理は、図９に示す実験結果に基づき定義されている。データセット２７の予測条件は、抽出された候補運動のうち今回運動の運動方向Ｄｐと、抽出された連動運動のうち顔向き変動の変動方向Ｄｆとの相関性を、含んでいる。そこでデータセット２７の予測処理は、今回運動の運動方向Ｄｐと顔向き変動の変動方向Ｄｆとが一致する予測条件では、今回運動のサッカード確率Ｐを上昇させる。一方でデータセット２７の予測処理は、今回運動の運動方向Ｄｐと顔向き変動の変動方向Ｄｆとが相違する予測条件では、今回運動のサッカード確率Ｐを低下させる。
【００４６】
このような運動方向Ｄｐ及び顔向き変動に関する相関パターンを含んだ予測条件と、同条件に応じた予測処理とを、データセット２７は定義している。尚、顔向き変動は、例えば今回運動との時間間隔が前後に１ｓ等の範囲内に収まる場合に、サッカード確率Ｐの上昇又は低下が必要な連動運動と判断される。また方向Ｄｐ，Ｄｆは、例えば監視対象者２の横方向のみ等において、サッカード確率Ｐの上昇が必要な一致か、又は同確率Ｐの低下が必要な相違かを判断される。
【００４７】
図２に示す予測ブロック２０は、データセット２２〜２７のうちメモリ５における記憶セットの全ての予測処理を実行することで、候補運動のうち今回運動のサッカード確率Ｐを確定する。その際、標準確率に乗算する予測係数は、メモリ５における記憶セットの全ての予測条件同士で同一値、又は記憶セットの各予測条件毎に重みを付けて異なる値に、設定される。記憶セットの各々に設定された予測係数が標準確率に乗算されることで、今回運動に関するサッカード確率Ｐの予測が確定される。
【００４８】
調整ブロック３０には、予測の確定されたサッカード確率Ｐが、入力される。調整ブロック３０は、入力されたサッカード確率Ｐに従って、判定閾値Ｊを調整する。判定閾値Ｊは、候補運動のうち今回運動がサッカードであるか否かの真偽を、判定ブロックによって判定する際に、基準となる値である。このサッカード真偽の判定閾値Ｊには、候補抽出部１２においても用いられる標準閾値が、サッカード確率Ｐの標準確率と対応して設定されている。
【００４９】
そこで調整ブロック３０は、予測ブロック２０の予測したサッカード確率Ｐが標準確率よりも低下するのに従って、標準閾値の場合よりも偽判定が下され易い側へ、判定閾値Ｊを調整する。これにより、標準確率からのサッカード確率Ｐの低下度合いが大きくなるほど、偽判定となる特定物理量の範囲を広げる値に、判定閾値Ｊが調整される。一方で調整ブロック３０は、予測ブロック２０の予測したサッカード確率Ｐが標準確率よりも上昇するのに従って、標準閾値の場合よりも真判定が下され易い側へ、判定閾値Ｊを調整する。これにより、標準確率からのサッカード確率Ｐの上昇度合いが大きくなるほど、真判定となる特定物理量の許容範囲を広げる値に、判定閾値Ｊが調整される。
【００５０】
判定ブロック４０には、今回運動に対して調整された判定閾値Ｊが、入力される。判定ブロック４０は、候補運動のうち今回運動のサッカード真偽につき、入力された判定閾値Ｊを基準に判定する。具体的に判定ブロック４０は、候補抽出部１２では標準閾値と対比された今回運動の特定物理量を、今度は同運動の判定閾値Ｊと対比させる。そこで、特定物理量が判定閾値Ｊから許容範囲内にあるか否かを、判定ブロック４０が判定する。特定物理量が許容範囲内にある場合、今回運動はサッカードであるとの真判定が、下される。一方、特定物理量が許容範囲内にない場合、今回運動はサッカードでないとの偽判定が、下される。
【００５１】
ここまで説明したブロック１０，２０，３０，４０の共同により、電子制御ユニット４が監視対象者２のサッカードを検出するサッカード検出方法のフローを、図１０に従って以下に説明する。このフローは、情報取得ユニット３により対象情報が取得されると、開始される。尚、後述するフローにおいて「Ｓ」とは、サッカード検出プログラムに含まれた複数命令によって実行される、フローの複数ステップを意味する。
【００５２】
Ｓ１０１では、情報取得ユニット３により取得された対象情報に基づくことで、監視対象者２における眼球及び顔の特徴点を、特徴検出部１１により検出する。Ｓ１０１ではさらに、検出した眼球及び顔の特徴点をそれぞれ表すように、特徴データを特徴検出部１１により生成する。
【００５３】
Ｓ１０２では、Ｓ１０１にて生成された眼球の特徴データに基づくことで、監視対象者２の眼球運動のうちサッカードの候補運動を、候補抽出部１２により抽出する。このとき具体的には、眼球の特徴データに基づき算出される特定物理量が標準閾値から許容範囲内にある場合に、同物理量に対応する眼球運動が候補運動として抽出される。Ｓ１０２ではさらに、抽出した今回の候補運動である今回運動の候補データと、同運動の時間データとを、候補抽出部１２により互いに関連付けてメモリ５に記憶する。尚、今回運動の抽出時点において、前回運動の候補データ及び時間データは、メモリ５に記憶されているものとする。
【００５４】
Ｓ１０３では、Ｓ１０１にて生成された顔の特徴データに基づくことで、Ｓ１０２にて抽出された今回運動と連動する連動運動を、連動抽出部１３により抽出する。Ｓ１０３ではさらに、抽出した連動運動の連動データと、同運動と連動関係にある今回運動の候補データと、同運動の時間データとを、連動抽出部１３により互いに関連付けてメモリ５に記憶する。尚、今回運動に対する連動運動の抽出時点において、前回運動に対する連動運動の連動データ及び時間データは、メモリ５に記憶されているものとする。
【００５５】
Ｓ１０４では、Ｓ１０２，Ｓ１０３にて記憶されたデータと共に、予め記憶された確率予測データ２１（図３参照）とを、メモリ５から予測ブロック２０により読み出す。Ｓ１０４ではさらに、読み出したデータに基づくことで、候補運動のうち今回運動のサッカード確率Ｐを予測ブロック２０により予測する。
【００５６】
Ｓ１０５では、候補運動のうち今回運動に対する判定閾値Ｊを、Ｓ１０４にて予測されたサッカード確率Ｐに従う値となるように、調整ブロック３０により調整する。Ｓ１０６では、Ｓ１０５にて調整された判定閾値Ｊを基準として、候補運動のうち今回運動のサッカード真偽を、判定ブロック４０により判定する。このとき具体的には、Ｓ１０２にて標準閾値と対比された特定物理量は判定閾値Ｊから許容範囲内にあるか否かが、判定される。
【００５７】
Ｓ１０６にて特定物理量が許容範囲内にある場合には、Ｓ１０７へ移行する。Ｓ１０７では、候補運動のうち今回運動がサッカードであるとの真判定を、判定ブロック４０により下す。一方、Ｓ１０６にて特定物理量が許容範囲内にない場合には、Ｓ１０８へ移行する。Ｓ１０８では、候補運動のうち今回運動がサッカードではないとの偽判定を、判定ブロック４０により下す。
【００５８】
Ｓ１０７，Ｓ１０８の一方にて判定が下されると、本フローは終了する。以上による真偽判定結果は、サッカード検出プログラムとは別プログラムの実行により、例えば車両の運転制御又はコンピュータの操作制御における状態推定等に活用されてもよい。
【００５９】
（作用効果）
以上説明した第一実施形態の作用効果を、以下に説明する。
【００６０】
第一実施形態において候補運動がサッカードであるか否かの真偽は、サッカードの発生確率であるサッカード確率Ｐに従って調整された判定閾値Ｊを、基準に判定される。ここでサッカード確率Ｐは、監視対象者２の眼球運動のうちサッカードの候補運動と、同対象者２の眼球運動を除く顔運動のうち候補運動との連動が想定される連動運動との相関パターンに応じて、予測される。これは、単一時刻の候補運動に留まらず、それと連動する顔運動との相関パターンも考慮して、サッカード確率Ｐの予測及び判定閾値Ｊの調整を行うことになるので、サッカード真偽を正確に判定することができる。したがって、サッカードの検出精度を向上させることが可能である。
【００６１】
第一実施形態においてサッカード確率Ｐの予測に用いられる相関パターンは、候補運動の運動振幅Ａｐと、連動運動のうち顔向き変動とに、関するパターンを含む。これによれば、候補運動の運動振幅Ａｐだけに留まらず、サッカード確率Ｐを左右する要因の中でも特に、候補運動と連動する顔向き変動の運動振幅Ａｐとの相関パターンが、考慮され得る。故に、サッカード確率Ｐに従う判定閾値Ｊを基準とした正確な真偽判定を実現して、検出精度の向上に貢献することが可能となる。
【００６２】
第一実施形態においてサッカード確率Ｐの予測に用いられる相関パターンは、候補運動の運動振幅Ａｐと、連動運動のうち瞬目とに、関するパターンを含む。これによれば、候補運動の運動振幅Ａｐだけに留まらず、サッカード確率Ｐを左右する要因の中でも特に、候補運動と連動する瞬目の運動振幅Ａｐとの相関パターンが、考慮され得る。故に、サッカード確率Ｐに従う判定閾値Ｊを基準とした正確な真偽判定を実現して、検出精度の向上に貢献することが可能となる。
【００６３】
第一実施形態においてサッカード確率Ｐの予測に用いられる相関パターンは、候補運動の運動方向Ｄｐと、連動運動のうち顔向き変動とに、関するパターンを含む。これによれば、候補運動の運動方向Ｄｐだけに留まらず、サッカード確率Ｐを左右する要因の中でも特に、同運動と連動する顔向き変動（第一実施形態ではその変動方向Ｄｆ）との相関パターンが、考慮され得る。故に、サッカード確率Ｐに従う判定閾値Ｊを基準とした正確な真偽判定を実現して、検出精度の向上に貢献することが可能となる。
【００６４】
（第二実施形態）
図１１に示すように第二実施形態は、第一実施形態の変形例である。
【００６５】
予測ブロック２０により利用される第二実施形態の確率予測データ２０２１は、第一実施形態のデータセット２５，２６に代わるデータセット２０２８を、含んでいる。データセット２０２８には、第一実施形態のデータセット２５，２６とは異なる予測条件及び予測処理が、図１２に示す実験結果に基づき定義されている。
【００６６】
データセット２０２８の予測条件は、候補抽出部１２により抽出された候補運動のうち今回運動の運動振幅Ａｐと、抽出された連動運動のうち顔向き変動及び瞬目の組み合わせとの相関性を、含んでいる。データセット２０２８の予測処理は、今回運動の運動振幅Ａｐが第五設定振幅Ａ５以上となる場合に、今回運動と顔向き変動と瞬目とが連動する予測条件では、今回運動のサッカード確率Ｐを上昇させる。一方でデータセット２０２８の予測処理は、今回運動の運動振幅Ａｐが第六設定振幅Ａ６以上且つ第七設定振幅Ａ７未満となる場合に、今回運動と顔向き変動と瞬目とが連動する予測条件では、今回運動のサッカード確率Ｐを低下させる。
【００６７】
さらにデータセット２０２８の予測処理は、今回運動の運動振幅Ａｐが第五設定振幅Ａ５以上となる場合に、今回運動と顔向き変動との連動なし且つ今回運動と瞬目との連動ありとなる予測条件では、今回運動のサッカード確率Ｐを低下させる。一方でデータセット２０２８の予測処理は、今回運動の運動振幅Ａｐが第六設定振幅Ａ６以上且つ第七設定振幅Ａ７未満となる場合に、今回運動と顔向き変動との連動なし且つ今回運動と瞬目との連動ありとなる予測条件では、今回運動のサッカード確率Ｐを上昇させる。
【００６８】
このように、特定の顔運動の組み合わせ及び運動振幅Ａｐに関して相関パターンを含んだ予測条件と、同条件に応じた予測処理とを、データセット２０２８は定義している。尚、第五設定振幅Ａ５は、例えば角度換算で２０°等に設定される。第六設定振幅Ａ６は、例えば角度換算で５°等に設定される。第七設定振幅Ａ７は、例えば角度換算で１０°等に設定される。
【００６９】
以上の第二実施形態においてサッカード確率Ｐの予測に用いられる相関パターンは、候補運動の運動振幅Ａｐと、連動運動のうち顔向き変動及び瞬目の組み合わせとに、関するパターンを含む。これにより、候補運動と連動する顔向き変動及び瞬目の組み合わせに対しては、候補運動のうちサッカード確率Ｐを大きく左右する運動振幅との相関パターンが、考慮され得る。故に、サッカード確率Ｐに従う判定閾値Ｊを基準とした真偽判定の正確性を高めて、検出精度の向上に貢献することが可能となる。
【００７０】
（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００７１】
具体的に、第一及び第二実施形態に関する変形例１の電子制御ユニット４は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。
【００７２】
第一及び第二実施形態に関する変形例２では、データセット２２〜２４の全てが省略されてもよい。第一及び第二実施形態に関する変形例３では、情報取得ユニット３の取得する対象情報に、顔情報が含まれていなくてもよい。この場合、特徴検出部１１によりＳ１０１にて顔の特徴点が検出されないことで、連動抽出部１３及びＳ１０３と共に、データセット２５〜２７の全てが省略されてもよい。第一及び第二実施形態に関する変形例４では、確率予測データ２１，２０２１におけるデータセット２４の予測条件に、運動振幅Ａｐ，Ａｌの相関性のみが含まれていてもよい。
【００７３】
第一及び第二実施形態に関する変形例５では、サッカード真偽が二択の判定ではなく、運動振幅との相関性と共に判定されてもよい。この具体例は、データセット２４のうち時間間隔Ｔｉが第三設定間隔Ｔ３以下となる予測条件において、今回運動の運動振幅Ａｐが第一設定振幅Ａ１以上となるサッカード確率Ｐが上昇する場合に、同振幅Ａｐが第二設定振幅Ａ２未満となる状況である。この状況下、第一及び第二実施形態ではサッカード確率Ｐ，Ｐｐが低下することで、偽判定が下され易くなる。これに対して変形例５では、特徴データに基づく運動振幅Ａｐに誤りがあると想定されることで、今回運動は第一設定振幅Ａ１以上のサッカードであると真判定が、下されてもよいのである。
【００７４】
第一及び第二実施形態に関する変形例６では、監視対象者２が覚醒しているにも拘わらず、判定閾値Ｊの調整によっても所定時間以上、サッカードの偽判定が下され続ける場合、判定ブロック４０により検出漏れの可能性が高いと擬制されてもよい。この場合、サッカード検出プログラムとは別プログラムの実行により、例えば車両の運転制御又はコンピュータの操作制御における状態推定等にて、真偽判定結果の活用が制限されてもよい。
【００７５】
第一及び第二実施形態に関する変形例７では、抽出ブロック１０により所定時間内に複数の候補運動が抽出されるのを待ってから、後続ブロック２０，３０，４０での各処理が実行されてもよい。この場合、サッカード確率の高い候補運動から順に今回運動が選定されることで、後続ブロック２０，３０，４０での各処理が実行されてもよい。あるいは、例えば瞳孔特徴点のバラツキが少ない等、候補としての確からしさが高い候補運動から順に今回運動が選定されることで、後続ブロック２０，３０，４０での各処理が実行されてもよい。
【符号の説明】
【００７６】
１  サッカード検出装置、２  監視対象者、５  メモリ、６  プロセッサ、１０  抽出ブロック、１０  ブロック、１２  候補抽出部、１３  連動抽出部、２０  予測ブロック、３０  調整ブロック、４０  判定ブロック、Ａｐ  運動振幅、Ｄｐ  運動方向、Ｊ  判定閾値、Ｐ  確率
【図１】
2020199166.tif 000003
【図２】
2020199166.tif 000004
【図３】
2020199166.tif 000005
【図４】
2020199166.tif 000006
【図５】
2020199166.tif 000007
【図６】
2020199166.tif 000008
【図７】
2020199166.tif 000009
【図８】
2020199166.tif 000010
【図９】
2020199166.tif 000011
【図１０】
2020199166.tif 000012
【図１１】
2020199166.tif 000013
【図１２】
2020199166.tif 000014