(57)【要約】【課題】特定の瞳孔の動きを検出し易くすることができる瞳孔検出装置および検出システムを提供する。【解決手段】瞳孔検出装置（５）は、瞳孔を含んだ画像を撮像する撮像装置（４）の撮像結果に基づいて、瞳孔の動きを検出する。瞳孔検出装置は、取得部（５１）と、制御部（５２）とを備える。取得部は、撮像装置から撮像結果を示す撮像データを取得する。制御部は、取得部によって取得された撮像データに基づくデータ処理を実行する。制御部は、撮像データに基づいて、瞳孔の動きを示す情報を抽出し、抽出した情報に時間周波数解析を行って、瞳孔の動きを検出する。【選択図】図６
2019103745.tif 000002
【特許請求の範囲】
【請求項１】
瞳孔を含んだ画像を撮像する撮像装置の撮像結果に基づいて、前記瞳孔の動きを検出する瞳孔検出装置であって、
前記撮像装置から前記撮像結果を示す撮像データを取得する取得部と、
前記取得部によって取得された撮像データに基づくデータ処理を実行する制御部と
を備え、
前記制御部は、
前記撮像データに基づいて、前記瞳孔の動きを示す情報を抽出し、
抽出した情報に時間周波数解析を行って、前記瞳孔の動きを検出する
瞳孔検出装置。
【請求項２】
前記撮像データは、フレーム毎の画像を示し、
前記瞳孔の動きを示す情報は、瞳孔の位置の時間的変化を示し、
前記制御部は、前記フレーム毎の画像における瞳孔の位置の時間的変化を抽出する
請求項１に記載の瞳孔検出装置。
【請求項３】
前記制御部は、
前記フレーム毎の画像に、輝度に関する二値化処理を行って、前記瞳孔に対応する領域を判定し、
フレーム毎に判定した領域に基づいて、前記瞳孔の位置の時間的変化を抽出する
請求項２に記載の瞳孔検出装置。
【請求項４】
前記撮像データは、画素毎に輝度が変化したタイミングを示し、
前記瞳孔の動きを示す情報は、前記輝度が変化したタイミングの回数である輝度変化数の時間的変化を示し、
前記制御部は、前記撮像データに基づいて、前記輝度変化数を計数して、前記輝度変化数の時間的変化を抽出する
請求項１記載の瞳孔検出装置。
【請求項５】
前記制御部は、前記抽出した輝度変化数の時間的変化を周波数分解して、特定の周波数帯における瞳孔の動きを検出する
請求項４に記載の瞳孔検出装置。
【請求項６】
前記特定の周波数帯は、眼球運動のマイクロサッカードに応じた周波数を含む
請求項５に記載の瞳孔検出装置。
【請求項７】
瞳孔を含む画像を撮像して、撮像データを生成する撮像装置と、
前記撮像データに基づき前記瞳孔の動きを検出する、請求項１〜６のいずれか１項に記載の瞳孔検出装置と
を備えた検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、瞳孔の動きを検出する瞳孔検出装置、および瞳孔検出装置を備えた検出システムに関する。
【背景技術】
【０００２】
特許文献１は、撮影画像から、対象となる人物の眼球の運動と頭部の運動の推定をするための眼球運動検査装置を開示している。眼球運動検査装置の対象者は、所定のコンタクトレンズを装着している。当該コンタクトレンズには、再帰性反射材が、所定の反射パターンを成すように形成されている。眼球運動検査装置では、光源により、対象者に向けて所定の波長の光が照射され、カメラによって撮像が行われる。コンピュータは、撮像された画像に基づき、世界座標系での軸ごとに対象者の頭部運動を推定し、頭部座標系における対象者の眼球運動を頭部座標系の軸ごとに推定している。
【０００３】
特許文献２は、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出することを目的とした眼部領域検出プログラムを開示している。眼部領域検出プログラムは、被検者の顔を含んだ元画像における濃度値を、元画像の縦方向で微分し、微分値を横方向で積算してヒストグラムを生成し、ヒストグラムの最大値又は極大値を用いて元画像から眼部領域を抽出している。
【０００４】
また、特許文献３，４においても、カメラで撮像した画像から眼部および瞳孔部分等を検出する画像処理技術が開示されている。特許文献５は、車両のドライバ等を監視対象者として、眼球運動に基づき監視対象者の状態を推定する状態推定装置を開示している。特許文献６は、状態推定装置において監視対象者の注意力を推定するシステムを開示している。特許文献７は、利用者の視野内で利用者が注意している位置を推定する際に、固視微動の計測を用いることを提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−８７０９３号公報
【特許文献２】特許第５２７６３８１号公報
【特許文献３】特許第５９６４５８号公報
【特許文献４】特許第５９９５２１７号公報
【特許文献５】特開２０１７−２３５１９号公報
【特許文献６】特開２０１５−２０７１６３号公報
【特許文献７】特開２０１３−２４０４６９号公報
【非特許文献】
【０００６】
【非特許文献１】Ｔｏｂｉ  Ｄｅｌｂｒｕｃｋ，“Ｆｒａｍｅ−ｆｒｅｅ  ｄｙｎａｍｉｃ  ｄｉｇｉｔａｌ  ｖｉｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｌ．Ｓｙｍｐ．ｏｎ  Ｓｅｃｕｒｅ−Ｌｉｆｅ  Ｅｌｅｃｔｒｏｎｉｃｓ，Ａｄｖａｎｃｅｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  ｆｏｒ  Ｑｕａｌｉｔｙ  Ｌｉｆｅ  ａｎｄ  Ｓｏｃｉｅｔｙ，Ｕｎｉｖ．  ｏｆ  Ｔｏｋｙｏ，Ｍａｒ．６−７，２００８．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の眼球運動検査装置では、再帰性反射材による特殊なコンタクトレンズを対象者に装着させる必要がある。また、対象者の眼球運動を検出する際に、先ず頭部運動を推定する処理を実行する必要が生じてしまう。よって、従来技術では、対象者の頭部運動と眼球運動とが同時に発生し得る状況において、検出対象とする眼球運動に応じた特定の瞳孔の動きを検出することが、容易に行えないという課題があった。
【０００８】
本開示の目的は、特定の瞳孔の動きを検出し易くすることができる瞳孔検出装置および検出システムを提供することにある。
【課題を解決するための手段】
【０００９】
本開示に係る瞳孔検出装置は、瞳孔を含んだ画像を撮像する撮像装置の撮像結果に基づいて、瞳孔の動きを検出する。瞳孔検出装置は、取得部と、制御部とを備える。取得部は、撮像装置から撮像結果を示す撮像データを取得する。制御部は、取得部によって取得された撮像データに基づくデータ処理を実行する。制御部は、撮像データに基づいて、瞳孔の動きを示す情報を抽出し、抽出した情報に時間周波数解析を行って、瞳孔の動きを検出する。なお、時間周波数解析は、時間方向における解析対象の波形を周波数毎に分解する数値解析であり、例えばフーリエ変換により実行される。
【００１０】
本開示に係る検出装置は、撮像装置と、瞳孔検出装置とを備える。撮像装置は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置は、撮像データに基づき瞳孔の動きを検出する。
【発明の効果】
【００１１】
本開示の瞳孔検出装置および検出システムによると、特定の瞳孔の動きを検出し易くすることができる。
【図面の簡単な説明】
【００１２】
【図１】本開示に係る検出システムの適用例を説明するための図
【図２】検出システムにおける瞳孔検出装置の構成を例示する図
【図３】実施形態１に係る瞳孔検出装置の動作を例示するフローチャート
【図４】実施形態１におけるマイクロサッカード検出処理を例示するフローチャート
【図５】実施形態１のマイクロサッカード検出処理における画像処理を例示する図
【図６】実施形態１のマイクロサッカード検出処理における時間周波数解析を説明するための図
【図７】実施形態２に係る撮像装置を説明するための図
【図８】実施形態２のマイクロサッカード検出処理における各種画像の模式図
【図９】実施形態２におけるマイクロサッカード検出処理を例示するフローチャート
【図１０】マイクロサッカードの発生時の輝度変化データにおけるイベントの分布を例示する散布図
【図１１】輝度変化画像における楕円領域の探索方法を例示する図
【図１２】実施形態２の瞳孔検出装置に関する瞳孔の模型実験の実験結果を示すグラフ
【図１３】図１２の実験結果の周波数スペクトルを示すグラフ
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照して本開示に係る瞳孔検出装置および検出システムの実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
【００１４】
（適用例）
本開示に係る瞳孔検出装置および検出システムが適用可能な一例について、図１を用いて説明する。図１は、本開示に係る検出システム１の適用例を説明するための図である。
【００１５】
図１は、車載用途への検出システム１の適用例を示している。検出システム１は、例えば、車両２を運転するドライバ３の覚醒状態を示す覚醒度を検出して、覚醒度の低下に応じて居眠り運転又は漫然運転の防止のための報知を行う。検出システム１は、覚醒度等の検出結果に基づき、車両２の運転支援のための各種制御を行ってもよい。
【００１６】
検出システム１は、図１に示すように、撮像装置４と、瞳孔検出装置５とを備える。撮像装置４は、例えば車両２中に配置され、ドライバ３の眼３０近傍の画像を撮像する。ドライバ３は、検出システム１の検出対象となる対象者の一例である。
【００１７】
瞳孔検出装置５は、撮像装置４の撮像結果に基づいて、対象者の眼球運動に応じた瞳孔の動きを検出する装置である。瞳孔検出装置５は、例えば車両２に設けられた音声出力装置などの報知部２１に接続される。瞳孔検出装置５は、車両２の各種ＥＣＵ（電子制御ユニット）等に接続されてもよい。
【００１８】
眼球運動の一種であるマイクロサッカードの発生頻度と覚醒度との間には、生理学的な相関関係があると考えられている。例えば、覚醒度が低下する際にはマイクロサッカードの発生頻度が増加すると考えられている。そこで、本適用例の検出システム１は、瞳孔検出装置５によってドライバ３の眼３０によるマイクロサッカードを検出して、覚醒度の検出に用いる。マイクロサッカードは、固視微動に分類される微細な眼球運動において、瞬間的に移動する高速な眼球運動である。
【００１９】
車両２においては、例えばドライバ３が頭部を動かしたときにマイクロサッカードが発生することが生じる等、頭部運動と眼球運動とが同時に発生し得る状況が想定される。従来、このような状況下では頭部運動と眼球運動との各々を計測し、互いの相関を解析する煩雑な処理を行って、対象とする眼球運動の検出が行われていた。これに対して、検出システム１は、上記の状況下で頭部運動を別途、計測するような必要なく、マイクロサッカード等の対象とする眼球運動を検出可能にするために、瞳孔検出装置５において瞳孔の動きを示す情報を抽出し、時間方向に周波数解析を行う。
【００２０】
（構成例）
以下、検出システム１及び瞳孔検出装置５の構成例として各実施形態を説明する。
【００２１】
（実施形態１）
実施形態１では、フレーム毎の画像を撮像する撮像装置４を用いた検出システム１の構成例を説明する。
【００２２】
１．構成
本実施形態に係る検出システム１の撮像装置４及び瞳孔検出装置５の構成について、以下に説明する。
【００２３】
１−１．撮像装置について
本実施形態において、撮像装置４は、例えば５００ｆｐｓ等の高速なフレームレートを有する高速カメラで構成される。撮像装置４のフレームレートは、マイクロサッカード等の検出対象を考慮して、検出対象の眼球運動におけるピーク周波数の２倍以上となるように設定される。
【００２４】
本実施形態の撮像装置４は、フレーム画像を示す画像データを生成し、生成した画像データを瞳孔検出装置５に出力する。撮像装置４が生成する画像データは、本実施形態における撮像データの一例である。
【００２５】
撮像装置４は、撮像用の照明光源を備えてもよい。照明光源は、例えば赤外光を照明光として発光する。照明光源は、ドライバ３等の対象者に照明光を照射するように配置される。照明光源は、撮像装置４とは別体で構成されてもよく、適宜、検出システム１に組み込むことができる。
【００２６】
１−２．瞳孔検出装置について
検出システム１における瞳孔検出装置５の構成を、図２を参照して説明する。図２は、瞳孔検出装置５の構成を例示する図である。瞳孔検出装置５は、図２に示すように、取得部５１と制御部５２とを備える。また、瞳孔検出装置５は、例えば、記憶部５３と出力部５４とを備える。
【００２７】
取得部５１は、瞳孔検出装置５の外部からデータを入力する入力インタフェース回路である。取得部５１は、例えばＵＳＢ等の所定の通信規格に従って、撮像装置４に接続される。取得部５１は、撮像装置４から撮像結果を示す撮像データ等を取得する。
【００２８】
制御部５２は、ＣＰＵ、ＲＡＭ及びＲＯＭ等を含み、情報処理に応じて各構成要素の制御を行う。例えば、制御部５２は、取得部５１が取得したデータに基づき、所定のプログラムに従うデータ処理を実行する。所定のプログラムは、瞳孔検出装置５の後述する各種動作を実現するためのプログラムである。制御部５２は、例えば撮像装置４からの撮像データ等の各種データを、ＲＡＭ等の内部メモリに保持してもよい。
【００２９】
記憶部５３は、例えば、ハードディスクドライブ又はソリッドステートドライブ等の補助記憶装置である。記憶部５３は、制御部５２で実行されるプログラム、及び各種のデータ等を記憶する。
【００３０】
瞳孔検出装置５は、可搬性を有する記憶媒体から上記のプログラム等を取得してもよい。記憶媒体は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。
【００３１】
出力部５４は、瞳孔検出装置５から外部にデータを出力する出力インタフェース回路である。出力部５４は、例えば、車両２（図１）の報知部２１、又は各種ＥＣＵ等に接続される。瞳孔検出装置５において、出力部５４と取得部５１とは、入出力インタフェースを構成するように、一体的に構成されてもよい。
【００３２】
２．動作
以上のように構成される検出システム１及び瞳孔検出装置５の動作について、以下説明する。
【００３３】
２−１．検出システムの動作
検出システム１の全体動作について、図３を用いて説明する。図３は、検出システム１における瞳孔検出装置５の動作を例示するフローチャートである。
【００３４】
図３に示すフローチャートの各処理は、瞳孔検出装置５の制御部５２によって実行される。本フローチャートは、例えば図１に示す車両２の運転中に、撮像装置４がドライバ３の眼３０近傍の画像を撮像している状態で開始される。
【００３５】
図３のフローチャートにおいて、瞳孔検出装置５の制御部５２は、マイクロサッカード検出処理を実行する（Ｓ１）。マイクロサッカード検出処理は、撮像装置４の撮像結果に基づいて、瞳孔６の動きにおけるマイクロサッカードを検出するデータ処理の一例である。マイクロサッカード検出処理の詳細については後述する。
【００３６】
次に、マイクロサッカード検出処理（Ｓ２）の検出結果によりマイクロサッカードの発生頻度を検知して、現在のマイクロサッカードの発生頻度が、覚醒度の低下条件に該当するか否かを判断する（Ｓ２）。
【００３７】
ステップＳ２の判断は、想定されるマイクロサッカードの発生頻度と覚醒度間の相関関係に従った覚醒度の低下条件を適宜、設定して行われる。例えば、制御部５２は、現在のマイクロサッカードの発生頻度が所定の基準値よりも高いか否かに応じて、同発生頻度が覚醒度の低下条件に該当するか否かを判断する（Ｓ２）。
【００３８】
制御部５２は、現在のマイクロサッカードの発生頻度が覚醒度の低下条件に該当していないと判断した場合（Ｓ２でＮＯ）、所定の周期においてステップＳ１の処理を再度、実行する。ステップＳ１を繰り返す周期は、適宜設定可能であり、例えば１秒である。
【００３９】
一方、制御部５２は、現在のマイクロサッカードの発生頻度が覚醒度の低下条件に該当すると判断した場合（Ｓ２でＹＥＳ）、覚醒度が低下したことを示す報知情報を生成して、出力部５４（図２）を介して報知部２１等に報知情報を出力する（Ｓ３）。
【００４０】
制御部５２は、報知情報の出力を行って（Ｓ３）、図３のフローチャートによる処理を終了する。
【００４１】
以上の処理によると、検出システム１において、瞳孔検出装置５がドライバ３等の対象者によるマイクロサッカードの発生頻度を検知して、覚醒度の低下を検出することができる。
【００４２】
２−１−１．マイクロサッカード検出処理
図３のステップＳ１におけるマイクロサッカード検出処理の詳細について、図４〜図６を参照して説明する。
【００４３】
図４は、本実施形態におけるマイクロサッカード検出処理（図３のＳ１）を例示するフローチャートである。図５は、本実施形態のマイクロサッカード検出処理における画像処理（Ｓ１２）を例示する図である。図６は、マイクロサッカード検出処理における時間周波数解析（Ｓ１３，Ｓ１４）を説明するための図である。
【００４４】
図４のフローチャートにおいて、まず、瞳孔検出装置５（図１）の制御部５２は、撮像装置４から取得部５１を介して、所定期間分の画像データを取得する（Ｓ１１）。ステップＳ１１の所定期間は、周波数解析に必要なフレーム数を考慮して適宜、設定可能である。例えば、当該所定期間は１秒間に設定される。
【００４５】
次に、制御部５２は、取得した画像データにおける各々のフレームの画像に画像処理を行って、瞳孔の位置の時間的変化（即ち時間発展）を抽出する（Ｓ１２）。ステップＳ１２の処理の一例を、図５を用いて説明する。
【００４６】
図５（ａ）は、撮像装置４からの画像データにおける１フレームの画像６０を例示している。図５（ａ）の例では、画像６０中に瞳孔６１が含まれている。図５（ｂ）は、図５（ａ）の画像６０の二値化画像６２を例示している。以下、各種画像６０，６２に共通のＸＹ座標系として、撮像装置４の撮像面における水平方向を「Ｘ方向」とし、垂直方向を「Ｙ方向」とする。
【００４７】
ステップＳ１２において、制御部５２は、例えば図５（ａ）に示すような１フレームの画像６０において、画素毎の輝度についての二値化処理を行う。例えば、制御部５２は、元の画像６０（図５（ａ））において所定のしきい値未満の輝度を有する画素に白階調を割り当て、同しきい値以上の輝度を有する画素に黒階調を割り当てて、二値化画像６２（図５（ｂ））を生成する。当該しきい値は、画像６０中の瞳孔６１として想定される輝度よりも大きい値に設定される。
【００４８】
上記の二値化処理によると、図５（ｂ）に示すように、瞳孔６１に対応する領域６３を容易に判定することができる。制御部５２は、二値化処理で判定した領域６３の中心位置６４を、対応するフレームの時点における瞳孔６１の瞳孔位置として算出する。ステップＳ１２において、制御部５２は、以上の処理を各フレームの画像に行って、瞳孔位置の時系列データを生成する。これにより、瞳孔位置の時間的変化が抽出される。図６（ａ）に、瞳孔位置の時間的変化を例示する。図６（ａ）に例示するグラフにおいて、横軸は時刻（ｍｓ）を示し、縦軸は瞳孔位置のＸ座標を示す。
【００４９】
図４に戻り、制御部５２は、抽出した瞳孔位置の時間的変化を、時間方向に周波数分解する（Ｓ１３）。例えば、制御部５２は、生成した時系列データにＦＦＴ（高速フーリエ変換）を行って、時系列データの周波数スペクトルを算出する。図６（ｂ）は、図６（ａ）における１秒分の周波数スペクトルを示すグラフである。図６（ｂ）のグラフにおいて、横軸は周波数（Ｈｚ）を示し、縦軸は周波数成分の強度を示す。
【００５０】
次に、制御部５２は、例えば図６（ｂ）に示す周波数分解の結果の周波数スペクトルを解析して、マイクロサッカードに対応する特定の周波数帯における瞳孔の動きが生じたか否かを判断する（Ｓ１４）。特定の周波数帯は、例えば２２０〜２５０Ｈｚなど、マイクロサッカードのピーク周波数を含んで且つ頭部運動に応じて顕著に生じることが想定される周波数を含まない範囲に設定される。
【００５１】
ステップＳ１４において、制御部５２は、例えば周波数スペクトルにおいて、特定の周波数帯に含まれる周波数成分が所定のしきい値以上であるか否かを判断する。当該しきい値は、マイクロサッカードが発生した場合に想定される周波数成分の強度を考慮して設定される。特定の周波数帯成分の最大値がしきい値以上である場合、制御部５２は、特定の周波数帯における瞳孔の動き、即ちマイクロサッカードが生じたと判断する（Ｓ１４でＹＥＳ）。
【００５２】
制御部５２は、特定の周波数帯における瞳孔の動きが生じたと判断すると（Ｓ１４でＹＥＳ）、マイクロサッカードの発生時刻を記憶部５３に記録する（Ｓ１５）。例えば、制御部５２はマイクロサッカードの発生時刻として、ステップＳ１１で画像データを取得した時刻を記録する。
【００５３】
一方、制御部５２は、特定の周波数帯における瞳孔の動きが生じていないと判断すると（Ｓ１４でＮＯ）、ステップＳ１５の処理を行わずにマイクロサッカード検出処理（図３のＳ１）を終了し、ステップＳ２に進む。
【００５４】
以上の処理によると、撮像装置４からの画像データにおける瞳孔位置の周波数スペクトルに基づく時間周波数解析によって、マイクロサッカードの自動検出を行うことができる。本実施形態のマイクロサッカード検出処理における時間周波数解析について、図６（ａ），（ｂ）を用いて説明する。
【００５５】
図６（ａ）では、頭部運動によって瞳孔の位置のＸ座標が緩やかに変化しながら、矢印Ａ１を付したタイミングにマイクロサッカードが発生した例を示している。本実施形態の瞳孔検出装置５は、マイクロサッカード検出処理を所定期間（Ｓ１１）毎に実行して、処理対象の期間中にマイクロサッカードが発生したか否かを検出する。例えば、瞳孔検出装置５の制御部５２は、図６（ａ）の例における１秒分の瞳孔の位置の時間的変化を抽出し（Ｓ１２）、図６（ｂ）に示すように、時間方向の周波数スペクトルを算出する（Ｓ１３）。
【００５６】
図６（ｂ）の例の周波数スペクトルは、頭部運動に対応する第１のピーク値Ｐ１と、マイクロサッカードに対応する第２のピーク値Ｐ２とを含んでいる。図６（ｂ）の周波数スペクトルに対して、瞳孔検出装置５の制御部５２は、例えば特定の周波数帯Ｂ１の範囲内で最大となる第２のピーク値Ｐ２に基づいて、処理対象の１秒中にマイクロサッカードが発生したことを検出する（Ｓ１４，Ｓ１５）。このように、頭部運動が同時に生じ得る状況下で特に頭部運動に干渉することなく、マイクロサッカードが発生しているか否かを検出することができる。
【００５７】
３．まとめ
以上のように、本実施形態に係る瞳孔検出装置５は、瞳孔を含んだ画像を撮像する撮像装置４の撮像結果に基づいて、瞳孔の動きを検出する。瞳孔検出装置５は、取得部５１と、制御部５２とを備える。取得部５１は、撮像装置４から撮像結果を示す撮像データとして画像データを取得する。制御部５２は、取得部５１によって取得された画像データに基づくデータ処理を実行する。制御部５２は、画像データに基づいて、瞳孔の動きを示す情報として瞳孔位置の時間変化を抽出する（Ｓ１２）。制御部５２は、抽出した情報に時間周波数解析を行って、瞳孔の動きを検出する（Ｓ１３，Ｓ１４）。
【００５８】
以上の瞳孔検出装置５によると、瞳孔の動きを示す情報を抽出して、時間周波数解析を行うことにより、例えば頭部運動とは別の周波数帯を有する眼球運動などに応じた特定の瞳孔の動きを検出し易くすることができる。
【００５９】
本実施形態において、撮像装置４の撮像データは、フレーム毎の画像６０を示す画像データである。制御部５２は、フレーム毎の画像６０における瞳孔６１の位置の時間的変化を抽出する（Ｓ１２）。これにより、フレーム画像６０のフレームレートの範囲内で、瞳孔６１の動きの時間周波数解析を行うことができる（図６）。
請求項１に記載の瞳孔検出装置。
【００６０】
また、本実施形態において、制御部５２は、フレーム毎の画像６２に、輝度に関する二値化処理を行って、瞳孔６１に対応する領域６３を判定する（図５参照）。制御部５２は、フレーム毎に判定した領域６３に基づいて、瞳孔６１の位置６４の時間的変化を抽出する（Ｓ１２）。画像６２中で瞳孔６１の輝度は顕著に低いと考えられることから、二値化処理により、瞳孔６１の位置を精度良く得ることができる。
【００６１】
また、本実施形態に係る検出システム１は、撮像装置４と、瞳孔検出装置５とを備える。撮像装置４は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置５は、撮像データに基づき瞳孔の動きを検出する。検出システム１は、瞳孔検出装置５によって、マイクロサッカード等に応じた特定の瞳孔の動きを容易に検出でき、当該検出結果に基づき対象者の覚醒度などを検出することができる。
【００６２】
（実施形態２）
実施形態２では、輝度の変化を検出する微分検出型の撮像装置４を用いた検出システム１の構成例を説明する。
【００６３】
１．構成
実施形態２に係る検出システム１において、瞳孔検出装置５の構成は、実施形態１と同様に構成される。以下、実施形態２に係る撮像装置４について、図７を参照して説明する。
【００６４】
図７は、本実施形態に係る撮像装置４を説明するための図である。図７は、本実施形態の撮像装置４における撮像面４ａと、撮像面４ａ上の画素４０毎の出力データとを模式的に示している。
【００６５】
本実施形態の検出システム１は、撮像装置４として、撮像面４ａにおける画素４０毎に輝度の時間変化率を検出する微分検出型のカメラデバイスを採用する。本実施形態の撮像装置４の構成としては、例えば、動的ビジョンセンサ（ＤＶＳ）として知られる公知の構成を適用することができる（例えば非特許文献１参照）。
【００６６】
例えば、撮像装置４は、画素４０が二次元アレイ状に配置された撮像面４ａを有する撮像素子、撮像面４ａに光を集光する光学レンズ、及び撮像データ（輝度変化データＤ１）を出力するデータ出力回路などを備える。撮像素子の各画素４０は、例えば、フォトダイオード、微分器および比較器などを備える。各々の画素４０は、撮像面４ａにおけるＸＹ座標によって識別可能である。
【００６７】
撮像装置４において、撮像素子の撮像面４ａには、光学レンズからの光によって画像が形成（結像）される。本実施形態の撮像装置４は、撮像面４ａ上の画像に対して画素４０毎に輝度の時間変化率のしきい値判定を行って、画素４０毎の輝度が変化したイベントを検出する。検出対象のイベントは、画素４０の位置において輝度の変化が生じた事象であり、輝度の変化が増大か減少かと、輝度が増大または減少したタイミングと、画素４０のＸＹ座標とによって特定される。
【００６８】
撮像装置４は、図７に示すように、各イベントの検出結果を示す輝度変化データＤ１を生成する。図７に例示する輝度変化データＤ１は、輝度の増大時の出力データＤ１１と、輝度の減少時の出力データＤ１２とを含んでいる。図７に図示する輝度変化データＤ１のうち、白抜きの四角は、輝度の増大時の出力データを意味する。そして、黒塗りの四角は、輝度の減少時の出力データを意味する。輝度変化データＤ１は、本実施形態の撮像装置４による撮像結果の撮像データの一例である。
【００６９】
撮像装置４において、各画素４０は、輝度の時間変化率が、上限のしきい値を上回ると輝度の増大を検出し、下限のしきい値を下回ると輝度の減少を検出する。各画素４０は、それぞれ輝度の増大又は減少を検出すると、検出したタイミングで直ちに検出結果を出力する。輝度が変化していない画素４０、及び輝度の時間変化率が上限のしきい値と下限のしきい値間にある画素４０は、特に検出結果の出力を行わない。撮像装置４は、例えば検出結果を出力した画素４０のＸＹ座標、検出結果のタイミング、及び輝度の増大又は減少を示す情報を関連付けて、輝度変化データＤ１を生成する。撮像装置４は、例えば時間幅が所定値に設定された時系列データとして、輝度変化データＤ１を外部出力する。
【００７０】
以上の撮像装置４の撮像方法によると、特に全画素の検出結果を同期させるフレーム周期のような動作周期は生じない。よって、本実施形態の撮像装置４は、フレーム周期よりも格段に短い時間幅における輝度の変化を検出可能である。検出可能な時間幅は、例えば画素４０が輝度の変化に反応する反応期間であり、例えば１００マイクロ秒である。
【００７１】
２．動作
実施形態２に係る検出システム１の動作について、以下に説明する。
【００７２】
２−１．動作の概要
本実施形態の検出システム１では、撮像装置４による輝度変化データＤ１を用いて、瞳孔検出装置５がマイクロサッカード検出処理（図３のＳ１）を実行する。本実施形態におけるマイクロサッカード検出処理の概要について、図８を用いて説明する。
【００７３】
図８は、本実施形態のマイクロサッカード検出処理における各種画像の模式図を示す。図８（ａ），８（ｂ）は、マイクロサッカードの発生前後の瞳孔６を含んだ画像を例示する。図８（ｃ）は、撮像装置４（図１）による図８（ａ），８（ｂ）間の撮像結果に対応する輝度変化画像７を例示する。
【００７４】
図８（ａ），８（ｂ）に例示する画像は、それぞれマイクロサッカードの発生前後の時点において、撮像装置４の撮像面４ａ（図７）上に形成される。図８（ａ），８（ｂ）の画像上の瞳孔６は、図８（ａ）の時点からマイクロサッカードによって、図８（ｂ）に示すように移動方向ｄ１に移動している。本実施形態の検出システム１において、撮像装置４は、図８（ａ），８（ｂ）間に随時、画素毎の輝度の変化を輝度変化データＤ１として出力する（図７）。
【００７５】
図８（ｃ）は、図８（ａ），８（ｂ）の間に得られた輝度変化データＤ１に対応する輝度変化画像７を例示している。瞳孔６が位置する領域の輝度は瞳孔６の周囲の領域の輝度よりも顕著に低いことから、マイクロサッカードのような瞳孔６の動きによると、輝度変化画像７において特有の輝度の変化が生じると考えられる。
【００７６】
図８（ｃ）の例において、輝度変化画像７の輝度は、瞳孔６の移動方向ｄ１における始端側の領域７１と終端側の領域７２とで変化している。具体的に、始端側の領域７１においては、図８（ａ）の時点では瞳孔６が位置していたが図８（ｂ）の時点で瞳孔６が位置しなくなったことから、輝度が増大する。また、終端側の領域７２においては、図８（ａ）の時点では瞳孔６が位置していなかったが図８（ｂ）の時点で瞳孔６が位置するようになったことから、輝度が減少する。
【００７７】
本実施形態のマイクロサッカード検出処理は、以上のような輝度の変化を計数する簡単な処理によって、随時、発生し得るマイクロサッカードの自動検出を実現する。以下、本実施形態に係るマイクロサッカード検出処理の詳細について説明する。
【００７８】
２−２．マイクロサッカード検出処理
図９は、実施形態２におけるマイクロサッカード検出処理を例示するフローチャートである。本実施形態の瞳孔検出装置５は、例えば図３のステップＳ１において、図４のフローチャートの代わりに、図９のフローチャートによるマイクロサッカード検出処理を実行する。
【００７９】
実施形態１のマイクロサッカード検出処理は、複数のフレームを含む所定期間分の画像データを取得して（図４のＳ１１）、瞳孔位置の時間的変化を抽出した（Ｓ１２）。本実施形態のマイクロサッカード検出処理において、瞳孔検出装置５の制御部５２は、取得部５１を介して撮像装置４から、画像データの代わりに、所定期間分の輝度変化データＤ１を取得する（Ｓ１１Ａ）。
【００８０】
取得した輝度変化データＤ１に基づいて、制御部５２は、瞳孔位置の時間的変化の代わりに、輝度変化数の時間的変化を抽出する（Ｓ１２Ａ）。輝度変化数は、輝度変化データＤ１における同一座標の輝度が時間的に変化したイベントの回数、即ちイベント数を示す。例えば、制御部５２は、上記の所定期間を所定のサンプル期間毎に分割し、取得した輝度変化データＤ１において各サンプル期間中の輝度変化数を計数する（Ｓ１２Ａ）。当該サンプル期間は、検出対象とする瞳孔の動きの周波数の逆数の１／２以下において適宜、設定される。
【００８１】
抽出した輝度変化数の時間的変化に対して、制御部５２は、実施形態１と同様に時間方向に周波数分解し（Ｓ１３）、周波数分解の結果に基づいて、特定の周波数帯における瞳孔の動きが生じたか否かを判断する（Ｓ１４）。特定の周波数は、例えばマイクロサッカードの速度のピーク周波数近傍に設定される。これにより、実施形態１と同様に、マイクロサッカードの発生時刻を検知することができる（Ｓ１５）。
【００８２】
２−２−１．瞳孔の領域の探索方法について
以上のマイクロサッカード検出処理におけるステップＳ１２Ａにおいて、制御部５２は、輝度変化データＤ１の中で瞳孔に対応する領域を探索し、探索した領域内の座標を有するイベント数を輝度変化数として計数してもよい。輝度変化データＤ１における瞳孔の領域の探索方法について、図１０〜１１を用いて説明する。
【００８３】
図１０は、マイクロサッカードの発生時の輝度変化データＤ１におけるイベントの分布を例示する散布図である。図１０では、ステップＳ１１Ａで取得された輝度変化データＤ１において輝度が増大した増大イベントＥ１１と、輝度が減少した減少イベントＥ１２との空間分布を示している。
【００８４】
例えば、制御部５２は、取得した輝度変化データＤ１における各画素のＸＹ座標毎に、各イベントＥ１１，Ｅ１２の回数を算出して、輝度変化画像７を生成する。輝度変化画像７は、各画素において、増大イベントＥ１１と減少イベントＥ１２とに対応する２種類（例えば２色）の画素値を有してもよい。
【００８５】
図１０の分布には、マイクロサッカードで動いた瞳孔６に対応する楕円領域Ｒ１が含まれている。楕円領域Ｒ１には、輝度の増大イベントＥ１１と減少イベントＥ１２とが、楕円状に分布している。そこで、制御部５２は、生成した輝度変化画像７において、瞳孔６の動きによる楕円領域Ｒ１を探索する。
【００８６】
図１１は、輝度変化画像７における楕円領域Ｒ１の探索方法を例示する図である。制御部５２は、例えば図１１に示すように、走査領域Ｒ１０を用いて輝度変化画像７を走査する。走査領域Ｒ１０は、所定の楕円形状を有し、輝度変化画像７上で種々の走査位置に設定される。走査領域Ｒ１０の楕円形状は、瞳孔６の動きによる楕円領域Ｒ１として想定される寸法及び形状に設定される。
【００８７】
輝度変化画像７の走査時に、制御部５２は順次、走査領域Ｒ１０の内部に位置する画像について所定の評価値を計数する。評価値は、例えば走査領域Ｒ１０の内部の画像において少なくとも一つのイベントＥ１１，Ｅ１２を有する画素の個数で計数される。評価値は、走査領域Ｒ１０内の輝度変化数で計数されてもよい。
【００８８】
種々の走査位置における走査領域Ｒ１０の評価値を比較することにより、楕円領域Ｒ１が探索される。例えば、制御部５２は、評価値が最大値又は極大値となる走査位置の走査領域Ｒ１０を楕円領域Ｒ１として探知する。
【００８９】
また、楕円領域Ｒ１の探索は、走査領域Ｒ１０による走査に限らず、例えばパターン認識を適用してもよいし、楕円曲線の方程式等を用いたハフ変換が適用されてもよい。また、輝度変化画像７の画像処理に限らず、輝度変化データＤ１のイベント処理によって、移動中の瞳孔６に対応するデータが抽出されてもよい。
【００９０】
２−２−２．確認実験について
本実施形態のマイクロサッカード検出処理の効果に関する確認実験について、図１２，１３を用いて説明する。
【００９１】
図１２は、実施形態２の瞳孔検出装置５に関する瞳孔の模型実験の実験結果を示すグラフである。図１２において、時間（μｓ）を示し、縦軸は輝度変化数を示す。
【００９２】
図１２では、眼球運動と頭部運動とが重畳した状態を模擬する模型実験を行った。瞳孔の模型として、直径３ｍｍの黒色の丸形部材を用いた。眼球運動に対応して同模型を振動させながら、頭部運動に対応して同模型を１００ｍ／ｓで移動させた。同模型の振動は、マイクロサッカードに相当するように、振動数１００Ｈｚで且つ振幅２００μｍに設定し、最大速度２０ｍｍ／ｓを得た。
【００９３】
以上のような瞳孔の模型の運動を撮像装置４で撮像し、瞳孔検出装置５で輝度変化数を計数した（Ｓ１５）。撮像装置４の撮像条件は、光学倍率１．０倍で解像度３０４×２４０画素であった。輝度変化数を計数するサンプル期間（Ｓ１２Ａ）は、０．５ミリ秒とした。
【００９４】
図１２の実験結果において、輝度の増大イベントＥ１１と減少イベントＥ１２とは、瞳孔の模型が撮像装置４の画角の範囲内にあるとき、例えば５００以上になっている。輝度変化数は、瞳孔などの対象物が速く移動するほど多くなり、対象物の速度と相関があると考えられる。このため、例えば眼球運動とは無関係な頭部運動によって瞳孔が移動すると、輝度変化数が増えてしまうと考えられる。これに対して、本実施形態の瞳孔検出装置５は、輝度変化数の時間変化を周波数分解して、頭部運動を含まない高周波成分を解析する（Ｓ１３）。
【００９５】
図１３は、図１２の実験結果の周波数スペクトルを示すグラフである。図１３において、周波数（Ｈｚ）を示し、縦軸は周波数成分の強度を示す。
【００９６】
図１３では、５１２ミリ秒分の１０２４サンプルの輝度変化数に、周波数解析を行った。図１３の周波数スペクトルにおいては、互いに離間した第１のピークＰ１１と、第２のピークＰ１２とが確認された。第１のピークＰ１１は、０Ｈｚ近傍に位置し、頭部運動の模擬の移動運動に対応すると考えられる。第２のピークＰ１２は、１００Ｈｚ近傍に位置し、眼球運動の模擬の振動運動に対応すると考えられる。よって、実際のマイクロサッカード等が頭部運動と重畳して発生した場合においても、輝度変化数の時間的変化を周波数分解して、マイクロサッカードに応じた特定の周波数帯における瞳孔の動きを検出可能であることが確認された。
【００９７】
３．まとめ
以上のように、本実施形態に係る瞳孔検出装置５において、撮像装置４から取得する撮像データは、画素毎に輝度が変化したイベントのタイミングを示す輝度変化データＤ１である。制御部５２は、輝度変化データＤ１に基づいて、輝度が変化したイベントのイベント数（即ち輝度変化数）の時間的変化を抽出する（Ｓ１２Ａ）。当該イベント数は瞳孔６の動きの速度と相関関係を有し、同イベント数の時間的変化は、瞳孔６の動きを示す情報の一例である。本実施形態の瞳孔検出装置５によると、イベント数の計数によって、容易に瞳孔６の動きを示す情報を抽出することができる。
【００９８】
本実施形態において、制御部５２は、抽出したイベント数の時間的変化を周波数分解して（Ｓ１３）、特定の周波数帯における瞳孔の動きを検出する（Ｓ１４）。これにより、輝度変化データＤ１における輝度の変化に応じて、容易に高分解能の時間周波数解析を行うことができる。
【００９９】
また、本実施形態において、特定の周波数帯は、例えば眼球運動のマイクロサッカードに応じた周波数を含む。検出対象とする瞳孔６の動きの周波数帯を特定することにより、容易に特定の瞳孔６の動きを検出することができる。
【０１００】
（他の実施形態）
上記の実施形態１，２では、瞳孔検出装置５による検出対象が、マイクロサッカードである例を説明した。瞳孔検出装置５による検出対象は、マイクロサッカードに限らず、他の固視微動であってもよいし、サッカード、あるいは瞬目などであってもよい。この場合、検出対象とする瞳孔の動きに応じた特定の周波数帯が適宜、設定可能である。
【０１０１】
また、上記の各実施形態では、検出システム１が対象者の覚醒度を検出する例を説明したが、検出システム１の検出対象は、覚醒度に限らず、瞳孔検出装置５の検出結果に応じて検出可能な各種指標であってもよい。例えば、検出システム１は、対象者の収集度、あるいは疲労度などを検出してもよい。
【０１０２】
また、以上の説明では、車載用途への検出システム１の適用例を説明したが、本開示に係る検出システム１は車載用途に限定されない。本開示に係る検出システム１は、対象者の眼を撮像可能な種々の環境に適用可能であり、例えば、工場の作業者を監視するように適用することができる。
【０１０３】
（付記）
以上のように、本開示の各種実施形態について説明したが、本発明は上記の開示内容に限定されるものではなく、本発明の範囲内で種々の変更を行って実施することができる。以下、本開示に係る各種態様を付記する。
【０１０４】
本開示に係る第１の態様は、瞳孔を含んだ画像を撮像する撮像装置（４）の撮像結果に基づいて、前記瞳孔の動きを検出する瞳孔検出装置（５）である。瞳孔検出装置は、取得部（５１）と、制御部（５２）とを備える。取得部は、前記撮像装置から前記撮像結果を示す撮像データを取得する。制御部は、前記取得部によって取得された撮像データに基づくデータ処理を実行する。前記制御部は、前記撮像データに基づいて、前記瞳孔の動きを示す情報を抽出する（Ｓ１２，Ｓ１２Ａ）。前記制御部は、抽出した情報に時間周波数解析を行って、前記瞳孔の動きを検出する（Ｓ１３，Ｓ１４）。
【０１０５】
第２の態様では、第１の態様の瞳孔検出装置において、前記撮像データは、フレーム毎の画像（６０）を示す。前記瞳孔の動きを示す情報は、瞳孔の位置の時間的変化を示す。前記制御部は、前記フレーム毎の画像における瞳孔（６１）の位置の時間的変化を抽出する。
【０１０６】
第３の態様では、第２の態様の瞳孔検出装置において、前記制御部は、前記フレーム毎の画像に、輝度に関する二値化処理を行って、前記瞳孔に対応する領域（６３）を判定する。前記制御部は、フレーム毎に判定した領域に基づいて、前記瞳孔の位置の時間的変化を抽出する（Ｓ１２）。
【０１０７】
第４の態様では、第１の態様の瞳孔検出装置において、前記撮像データ（Ｄ１）は、画素毎に輝度が変化したタイミングを示す。前記瞳孔の動きを示す情報は、前記輝度が変化したタイミングの回数である輝度変化数の時間的変化を示す。前記制御部は、前記撮像データに基づいて、前記輝度変化数を計数して、前記輝度変化数の時間的変化を抽出する（Ｓ１２Ａ）。
【０１０８】
第５の態様では、第４の態様の瞳孔検出装置において、前記制御部は、前記抽出した輝度変化数の時間的変化を周波数分解して（Ｓ１３）、特定の周波数帯における瞳孔の動きを検出する（Ｓ１４）。
【０１０９】
第６の態様では、第５の態様の瞳孔検出装置において、前記特定の周波数帯は、眼球運動のマイクロサッカードに応じた周波数を含む。
【０１１０】
第７の態様は、撮像装置と、第１〜第６の態様のいずれかの瞳孔検出装置とを備える検出システム（１）である。撮像装置は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置は、前記撮像データに基づき前記瞳孔の動きを検出する。
【符号の説明】
【０１１１】
１    検出システム
２    車両
３    ドライバ
４    撮像装置
５    瞳孔検出装置
５１    取得部
５２    制御部
【図１】
2019103745.tif 000003
【図２】
2019103745.tif 000004
【図３】
2019103745.tif 000005
【図４】
2019103745.tif 000006
【図５】
2019103745.tif 000007
【図６】
2019103745.tif 000008
【図７】
2019103745.tif 000009
【図８】
2019103745.tif 000010
【図９】
2019103745.tif 000011
【図１０】
2019103745.tif 000012
【図１１】
2019103745.tif 000013
【図１２】
2019103745.tif 000014
【図１３】
2019103745.tif 000015