(57)【要約】【課題】瞬きの検出精度を向上すること。【解決手段】本瞬き検出システムは、被験者からの反射波を受信してＩ信号及びＱ信号を取得するドップラーセンサと、前記Ｉ信号及び前記Ｑ信号に基づいて、ドップラー信号、振幅信号、及び位相信号を算出する信号算出部と、前記ドップラー信号、前記振幅信号、及び前記位相信号の各々からスペクトログラムを算出するスペクトログラム算出部と、前記ドップラー信号、前記振幅信号、及び前記位相信号の各々の前記スペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値の時間変化を算出する積分値算出部と、各々の前記積分値の時間変化に基づいて、前記被験者の瞬きを検出する瞬き検出部と、を有する。【選択図】図４
2019030582.tif 000002
【特許請求の範囲】
【請求項１】
被験者からの反射波を受信してＩ信号及びＱ信号を取得するドップラーセンサと、
前記Ｉ信号及び前記Ｑ信号に基づいて、ドップラー信号、振幅信号、及び位相信号を算出する信号算出部と、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々からスペクトログラムを算出するスペクトログラム算出部と、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々の前記スペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値の時間変化を算出する積分値算出部と、
各々の前記積分値の時間変化に基づいて、前記被験者の瞬きを検出する瞬き検出部と、を有する瞬き検出システム。
【請求項２】
各々の前記積分値の時間変化を時刻毎に乗算して積の時間変化を算出する積算出部を有し、
前記瞬き判定部は、前記積の時間変化に基づいて、前記被験者の瞬きを検出する請求項１に記載の瞬き検出システム。
【請求項３】
前記積の時間変化を時間軸方向に連続する複数のセルに分割し、注目するセルに隣接しない前後のセルの振幅値に基づいて閾値を決定し、前記注目するセルにおいて前記閾値以上の信号成分を検出する信号検出部を有し、
前記瞬き判定部は、前記閾値以上の信号成分に基づいて、前記被験者の瞬きを検出する請求項２に記載の瞬き検出システム。
【請求項４】
前記振幅信号から算出した前記スペクトログラムにおいて、前記閾値以上の信号成分が検出された時刻を含む信号に基づいて特徴量ベクトルを形成する特徴量ベクトル形成部を有し、
前記瞬き判定部は、前記特徴量ベクトルに基づいて、前記被験者の瞬きを検出する請求項３に記載の瞬き検出システム。
【請求項５】
前記特徴量ベクトル形成部は、
前記振幅信号から算出した前記スペクトログラムの所定の周波数帯域内において、縦横に配置された複数の単位領域から構成されるウィンドウを、前記閾値以上の信号成分が検出された時刻を中心に設定し、
各々の前記単位領域に含まれるエネルギーを要素とする行列及び前記行列の転置行列を生成し、
前記行列及び前記転置行列の各々の共分散行列を算出し、
各々の前記共分散行列の共分散要素に基づいて前記特徴量ベクトルを形成する請求項４に記載の瞬き検出システム。
【請求項６】
前記瞬き判定部は、前記特徴量ベクトルに機械学習アルゴリズムを適用して、前記被験者の瞬きを検出する請求項５に記載の瞬き検出システム。
【請求項７】
前記機械学習アルゴリズムはランダムフォレストである請求項６に記載の瞬き検出システム。
【請求項８】
前記所定の周波数帯域は、１４Ｈｚ以上３０Ｈｚ以下である請求項５乃至７の何れか一項に記載の瞬き検出システム。
【請求項９】
ドップラーセンサで被験者からの反射波を受信してＩ信号及びＱ信号を取得する信号取得ステップと、
前記Ｉ信号及び前記Ｑ信号に基づいて、ドップラー信号、振幅信号、及び位相信号を算出する信号算出ステップと、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々からスペクトログラムを算出するスペクトログラム算出ステップと、
前記ドップラー信号、前記振幅信号、及び前記位相信号の各々の前記スペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値の時間変化を算出する積分値算出ステップと、
各々の前記積分値の時間変化に基づいて、前記被験者の瞬きを検出する瞬き検出ステップと、を有する瞬き検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞬き検出システム、瞬き検出方法に関する。
【背景技術】
【０００２】
近年、被験者の疲労度、ストレス、健康状態等を把握するために、例えばドップラーセンサを用いて非接触で瞬きを検出する瞬き検出システムが検討されている。ドップラーセンサを用いた瞬き検出システムにおいて、瞬きの検出精度を向上することは重要な課題であり、そのために様々な提案がなされている。
【０００３】
例えば、機械学習に基づいて瞬きを検出する手法が提案されている（例えば、非特許文献１参照）。この手法では、瞬き信号について５つの特徴量（電圧最大値、時間幅、分散、生信号の分散、生信号の電圧最大値）を定義し、機械学習の一つであるＳＶＭ（Support Vector Machine）により瞬きと非瞬きを識別することで一定の検出精度を確保している。
【０００４】
しかしながら、従来から提案されている手法では、例えば、車内環境のような雑音レベルが高く、顔の向きが変化し易く、瞬きと同じような周波数成分を含む素早い体動が発生するような環境では、十分な検出精度が得られなかった。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】C，Tamba and T．Ohtsuki，"Learning−based Blink Detection Using a Doppler Sensor，"IEICE technical report，vol．114，no．418，ASN2014−123，pp．97−102．Jan．2015．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の点に鑑みてなされたものであり、瞬きの検出精度を向上することを目的とする。
【課題を解決するための手段】
【０００７】
本瞬き検出システムは、被験者からの反射波を受信してＩ信号及びＱ信号を取得するドップラーセンサと、前記Ｉ信号及び前記Ｑ信号に基づいて、ドップラー信号、振幅信号、及び位相信号を算出する信号算出部と、前記ドップラー信号、前記振幅信号、及び前記位相信号の各々からスペクトログラムを算出するスペクトログラム算出部と、前記ドップラー信号、前記振幅信号、及び前記位相信号の各々の前記スペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値の時間変化を算出する積分値算出部と、各々の前記積分値の時間変化に基づいて、前記被験者の瞬きを検出する瞬き検出部と、を有することを要件とする。
【発明の効果】
【０００８】
開示の技術によれば、瞬きの検出精度を向上することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態に係る瞬き検出システムの概略構成を例示する図である。
【図２】ドップラーセンサで得た信号の一例である。
【図３】本実施の形態に係る信号処理部のハードウェアブロックを例示する図である。
【図４】本実施の形態に係る信号処理部の機能ブロックを例示する図である。
【図５】本実施の形態に係る瞬き検出システムの動作を示すフローチャートの一例である。
【図６】Ｉ信号及びＱ信号から得た信号の一例である。
【図７】振幅信号から算出したスペクトログラムの一例である。
【図８】スペクトログラム上のエネルギー積分の積分値の一例である。
【図９】ＣＡ−ＣＦＡＲ検出について説明する図である。
【図１０】複数のビンから構成されるウィンドウの一例である。
【図１１】ウィンドウ内の各ビンに含まれるエネルギーを要素とする行列Ｍｅの一例である。
【図１２】特徴量ベクトルの形成について説明する図である。
【図１３】瞬きと分類されたデータ、非瞬きと分類されたデータの一例である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、実施の形態の説明を行う。なお、各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１１】
図１は、本実施の形態に係る瞬き検出システムの概略構成を例示する図である。図１に示すように、瞬き検出システム１は、主要な構成要素として、ドップラーセンサ１０と、信号処理部２０とを有している。
【００１２】
ドップラーセンサ１０は、ドップラー効果による送信信号と受信信号の周波数シフトを観測することで、観測対象（被験者）の動きを検出するセンサである。本実施の形態では、一例として、送信波として無変調連続波（ＣＷ：Continuous Wave）を用いる。
【００１３】
ドップラーセンサ１０は被験者の近傍に配置され、被験者の瞼又はその近傍で反射された信号（反射波）を受信し、観測対象の動きにより発生した信号を得ることができる。被験者としては、例えば、車両の運転者、画像表示端末（ＶＤＴ）で作業する作業者等が挙げられる。
【００１４】
図２は、ドップラーセンサで得た信号の一例である。図２に示す信号は、送信信号と受信信号の間の周波数シフトを表わす信号を時間の関数として取得したものであり、送信信号と同相（In-phase）成分であるＩ信号、及び直交位相（Quadrature）成分であるＱ信号で構成される。
【００１５】
瞬き、心拍や呼吸、体動（身体による動作）等の身体の表面の動きはドップラーセンサ１０により観測できる。瞬き検出を行う際には、ハイパスフィルタやバンドパスフィルタ等を用いて適宜ノイズ除去を行うことが好ましい。
【００１６】
図１に戻り、信号処理部２０は、ドップラーセンサ１０の出力信号に基づいて、被験者の瞬きを検出する。信号処理部２０は、適宜、ドップラーセンサ１０で受信した信号のＩ信号及びＱ信号をそのまま利用したり、Ｉ信号及びＱ信号に基づいて各種信号（振幅、位相、それらの積分値等）を生成したりすることができる。
【００１７】
図３は、本実施の形態に係る信号処理部のハードウェアブロックを例示する図である。図３を参照するに、信号処理部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、Ｉ／Ｆ２４と、バスライン２５とを有している。ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及びＩ／Ｆ２４は、バスライン２５を介して相互に接続されている。
【００１８】
ＣＰＵ２１は、信号処理部２０の各機能を制御する。記憶手段であるＲＯＭ２２は、ＣＰＵ２１が信号処理部２０の各機能を制御するために実行するプログラムや、各種情報を記憶している。記憶手段であるＲＡＭ２３は、ＣＰＵ２１のワークエリア等として使用される。又、ＲＡＭ２３は、所定の情報を一時的に記憶することができる。Ｉ／Ｆ２４は、瞬き検出システム１を他の機器等と接続するためのインターフェイスである。瞬き検出システム１は、Ｉ／Ｆ２４を介して、外部ネットワーク等と接続されてもよい。
【００１９】
但し、信号処理部２０の一部又は全部は、ハードウェアのみにより実現されてもよい。ハードウェアの一例としては、ＡＳＩＣ（Application Specific Integrated Circuit)、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。又、信号処理部２０は、物理的に複数の装置等により構成されてもよい。
【００２０】
図４は、本実施の形態に係る信号処理部の機能ブロックを例示する図である。図４を参照するに、信号処理部２０は、機能ブロックとして、信号算出部２０１と、スペクトログラム算出部２０２と、積分値算出部２０３と、積算出部２０４と、信号検出部２０５と、特徴量ベクトル形成部２０６と、瞬き判定部２０７とを有している。各機能ブロックの具体的な機能については、図５等の説明の中で後述する。
【００２１】
図５は、本実施の形態に係る瞬き検出システムの動作を示すフローチャートの一例である。図５を中心にして適宜他の図も参照しながら、本実施の形態に係る瞬き検出方法について説明する。
【００２２】
まず、ステップＳ１１では、信号算出部２０１は、ドップラーセンサ１０で被験者からの反射波を受信して信号を取得する。ここで取得する信号は、例えば、図２に示すようなＩ信号及びＱ信号で構成されている。
【００２３】
次に、ステップＳ１２では、ステップＳ１１で受信したＩ信号及びＱ信号のノイズ成分の除去を行う。ノイズ成分の除去は、例えば、ドップラーセンサ１０と信号処理部２０との間にバンドパスフィルタを挿入してハードウェア的に行うことができる。又、ドップラーセンサ１０の出力信号を直接信号処理部２０に入力し、信号処理部２０内においてディジタル信号処理（ディジタルフィルタ等）により行ってもよい。バンドパスフィルタの通過帯域は、例えば、４Ｈｚ〜３０Ｈｚ程度とすることができる。
【００２４】
次に、ステップＳ１３では、信号算出部２０１は、バンドパスフィルタでノイズ成分を除去したＩ信号及びＱ信号から、ドップラー信号＝Ｉ（ｔ）＋ｊＱ（ｔ）を算出する。例えば、図２に示す信号から図６（ａ）に示すドップラー信号を得ることができる。
【００２５】
次に、ステップＳ１４では、信号算出部２０１は、バンドパスフィルタでノイズ成分を除去したＩ信号及びＱ信号から、振幅信号＝√（Ｉ（ｔ）２＋Ｑ（ｔ）２）を算出する。例えば、図２に示す信号から図６（ｂ）に示す振幅信号を得ることができる。
【００２６】
次に、ステップＳ１５では、信号算出部２０１は、バンドパスフィルタでノイズ成分を除去したＩ信号及びＱ信号から、位相信号＝ｔａｎ−１（Ｑ（ｔ）／Ｉ（ｔ））を算出する。例えば、図２に示す信号から図６（ｃ）に示す位相信号を得ることができる。なお、Ｓ１３〜Ｓ１５の処理順序は任意として構わない。
【００２７】
次に、ステップＳ１６では、スペクトログラム算出部２０２は、ステップＳ１３で算出したドップラー信号、ステップＳ１４で算出した振幅信号、及びステップＳ１５で算出した位相信号の各々からスペクトログラムを算出する。つまり、３種類のスペクトログラムが算出される。
【００２８】
スペクトログラムとは、横軸を時間、縦軸を周波数とした平面上に、信号に含まれるエネルギーの周波数分布を表現したものであり、例えば、信号を短時間フーリエ変換（Short-Time Fourier Transform：STFT）することにより算出できる。短時間フーリエ変換は、例えば、ウィンドウサイズ５１２ｍｓ、オーバーラップ５ｍｓの条件で行うことができる。
【００２９】
図７は、ステップＳ１６で振幅信号から算出したスペクトログラムの一例であり、時間、ドップラー周波数、及び信号成分の強さをグレースケールで表示している。なお、ドップラー信号及び位相信号のスペクトログラムの図示は省略するが、図７と同様に、時間、ドップラー周波数、及び信号成分の強さを表示したものとなる。但し、ドップラー信号のスペクトログラムは、近接運動に対応する正のドップラー周波数と、離隔運動に対応する負のドップラー周波数とを含むものとなる。
【００３０】
次に、ステップＳ１７では、積分値算出部２０３は、ドップラー信号、振幅信号、及び位相信号の各々のスペクトログラム上のエネルギー積分を行う。ドップラー信号、振幅信号、及び位相信号の各々の積分範囲は、例えば、−３０Ｈｚ〜−４Ｈｚ及び４Ｈｚ〜３０Ｈｚ、４Ｈｚ〜３０Ｈｚ、４Ｈｚ〜３０Ｈｚとすることができる。
【００３１】
すなわち、積分値算出部２０３は、ドップラー信号のスペクトログラムにおいて、−３０Ｈｚ〜−４Ｈｚ及び４Ｈｚ〜３０Ｈｚに含まれる各周波数の振幅を時刻毎に積分し、振幅の積分値の時間変化を算出する。例えば、図８（ａ）に示す積分値Ｅｄが得られる。
【００３２】
同様に、積分値算出部２０３は、振幅信号のスペクトログラムにおいて、４Ｈｚ〜３０Ｈｚに含まれる各周波数の振幅を時刻毎に積分し、振幅の積分値の時間変化を算出する。例えば、図８（ｂ）に示す積分値Ｅａが得られる。
【００３３】
同様に、積分値算出部２０３は、位相信号のスペクトログラムにおいて、４Ｈｚ〜３０Ｈｚに含まれる各周波数の振幅を時刻毎に積分し、振幅の積分値の時間変化を算出する。例えば、図８（ｃ）に示す積分値Ｅｐが得られる。
【００３４】
次に、ステップＳ１８では、積算出部２０４は、３つの積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を時刻毎に乗算して積の時間変化を算出する。例えば、図８（ｄ）に示す積Ｅｃ（＝Ｅｄ×Ｅａ×Ｅｐ）が得られる。なお、図８（ａ）〜図８（ｄ）では、便宜上、実際に瞬きが起きた時刻を破線で示している。
【００３５】
次に、ステップＳ１９では、信号検出部２０５は、ＣＡ−ＣＦＡＲ（Cell Averaging Constant False Alarm Rate）処理に基づいて、瞬きが起きた可能性のある時刻を検出する。具体的には、信号検出部２０５はＣＡ−ＣＦＡＲ処理において閾値ＴＨ１を決定し、ステップＳ１８で算出した積Ｅｃを閾値ＴＨ１と比較して、閾値ＴＨ１以上である時刻の信号を検出する。
【００３６】
ここで、ＣＡ−ＣＦＡＲ処理において閾値ＴＨ１を決定するには、図９に示すように積Ｅｃを時間軸方向に連続する複数のセルに分割し、注目するセル（Ｃｕｔ：Cell under test）を決定する。
【００３７】
次に、Ｃｕｔに隣接しない前後のセルの振幅値に基づいて閾値ＴＨ１を決定する。具体的には、Ｃｕｔの直前の所定数のセルをガードセルＧＦ、Ｃｕｔの直後の所定数のセルをガードセルＧＲとし、更に、ガードセルＧＦの直前の所定数のセルをフロントセルＦ、ガードセルＧＲの直後の所定数のセルをリアセルＲとする。ドップラーセンサ１０で観測された瞬き信号の時間長は、経験的に約０．２秒であることがわかっている。そこで、図９における各セルのセル長は０．２秒程度に設定することが好ましい。
【００３８】
なお、図９では、ガードセルＧＦ、ガードセルＧＲ、フロントセルＦ、及びリアセルＲをそれぞれ３セルで構成しているが、これは一例であり、ガードセルＧＦ、ガードセルＧＲ、フロントセルＦ、及びリアセルＲを構成するセル数は適宜決定することができる。
【００３９】
次に、フロントセルＦの振幅値とリアセルＲの振幅値の平均値ＡＡＶＥを算出し、平均値ＡＡＶＥを係数α倍したものを閾値ＴＨ１とする。すなわち、閾値ＴＨ１＝ＡＡＶＥ×αである。なお、ガードセルＧＦ及びＧＲは閾値ＴＨ１の算出には用いない。これは、注目するセルであるＣｕｔ自身が閾値ＴＨ１へ影響することを防ぐためである。
【００４０】
閾値ＴＨ１が低すぎると、多くの雑音を瞬きと誤検出しＦＰ（False Positive）が増加する。一方、閾値ＴＨ１が高すぎると、瞬きの検出漏れが多くなりＦＮ（False Negative）が増加する。そこで、係数αを適切な値に設定する必要があるが、発明者らの事前実験により、α＝３．４程度とすることでＦＰ及びＦＮを低減できることがわかっている。
【００４１】
以上のようにして閾値ＴＨ１が決定されると、信号検出部２０５は、Ｃｕｔにおいて閾値ＴＨ１以上の信号成分を検出する。引き続きＣｕｔの位置を移動させながら同様の検出を繰り返して積Ｅｃを閾値ＴＨ１と比較して、閾値ＴＨ１以上である時刻の信号を検出する。
【００４２】
なお、以上のステップＳ１７〜Ｓ１９は、事前検出ステップであり、瞬きが起きた可能性のある時刻及び信号を検出する。一方、以下のステップＳ２０及びＳ２１は、分類ステップであり、瞬きが起きた可能性のある時刻及び信号を、瞬きが起きた時刻及び信号と、瞬きが起きていない（非瞬き）時刻及び信号に分類する。
【００４３】
具体的には、ステップＳ２０では、特徴量ベクトル形成部２０６は、ステップＳ１６で振幅信号から算出したスペクトログラム（例えば、図７）において、閾値ＴＨ１以上の信号成分が検出された時刻を含む信号に基づいて特徴量ベクトルを形成する。なお、振幅信号から算出したスぺクトログラムを用いる理由は、振幅信号から算出したスぺクトログラムでは、ドップラー信号から算出したスぺクトログラムや位相信号から算出したスぺクトログラムよりも、瞬きと非瞬きの差が顕著に現れるからである。
【００４４】
特徴量ベクトルを形成するには、まず、特徴量ベクトル形成部２０６は、振幅信号から算出したスペクトログラムの所定の周波数帯域内において、縦横に配置された複数のビン（単位領域）から構成されるウィンドウを、閾値ＴＨ１以上の信号成分が検出された時刻を中心に設定する。そして、特徴量ベクトル形成部２０６は、設定したウィンドウ内の各ビンに含まれるエネルギーを要素とする行列Ｍｅを生成する。
【００４５】
例えば、１４Ｈｚ以上３０Ｈｚ以下の周波数範囲に幅５００ｍｓのウィンドウを設定し、１つのビンを縦２Ｈｚ、横５ｍｓとすると、図１０に示すように、設定したウィンドウ内に８×１００のビンができ、ウィンドウ内の各ビンに含まれるエネルギーを要素とする行列Ｍｅ（８×１００）を生成できる。図１１に行列Ｍｅの具体例を示す。
【００４６】
なお、瞬きの周波数は４Ｈｚ〜３０Ｈｚ程度であるが、車の中では瞬き以外の体の揺れが生じやすく、それは４Ｈｚから１４Ｈｚ程度の周波数帯に現れやすい。つまり、４Ｈｚから１４Ｈｚ程度の周波数帯は雑音が多いため、この周波数帯を除いた１４Ｈｚ以上３０Ｈｚ以下の周波数範囲でウィンドウを設定している。
【００４７】
又、瞬きの時間は約２００ｍｓ〜１２００ｍｓ程度であるが、エネルギーの広がりを考えると、５００ｍｓのウィンドウ幅があれば瞬きを十分に捉えることができる。又、ビンの縦幅である２Ｈｚは、短時間フーリエ変換の条件（例えば、ウィンドウサイズ５１２ｍｓ、オーバーラップ５ｍｓ）から決定される。
【００４８】
瞬きと非瞬きでは、エネルギーの生じ方が異なる。一方、時間及び周波数領域に対するエネルギーの生じ方はどの瞬きも類似している。そこで、ここでは、スペクトログラム上のエネルギーの生じ方に注目して共分散行列により特徴量スペクトルを抽出する。
【００４９】
具体的には、特徴量ベクトル形成部２０６は、行列Ｍｅの共分散行列Ｘを算出する。図１２（ａ）に共分散行列Ｘの具体例を示す。そして、共分散行列Ｘの共分散要素を、図１２（ａ）の線Ｌ１に沿って１列に並べる。例えば、図１２（ｂ）に示すように、［1.2948、0.6550、…、0.0244］となる。
【００５０】
なお、共分散行列Ｘの対角成分は自己分散であり意味を持たないので使用しない。又、共分散要素は、共分散行列Ｘの対角成分に対して対称であるので、ここでは対角成分の右上側の共分散要素のみを使用する。
【００５１】
次に、特徴量ベクトル形成部２０６は、行列Ｍｅの転置行列ＭｅＴに対しても同様に共分散行列を算出し、転置行列ＭｅＴの共分散行列の共分散要素を１列に並べる。例えば、図１２（ｃ）に示すように、［3.2315、1.0102、…、0.0143］となる。
【００５２】
次に、特徴量ベクトル形成部２０６は、行列Ｍｅの共分散行列の共分散要素及び転置行列ＭｅＴの共分散行列の共分散要素に基づいて、特徴量ベクトルを形成する。具体的には、図１２（ｂ）及び図１２（ｃ）で１列に並べた共分散要素を結合し、特徴量ベクトルを形成する。例えば、図１２（ｄ）に示すように、［1.2948、0.6550、…、0.0244、3.2315、1.0102、…、0.0143］となる。
【００５３】
なお、特徴量ベクトルは、振幅信号のスペクトログラム上において、ステップＳ１９で検出した瞬きが起きた可能性のある全ての時刻で形成する。
【００５４】
次に、ステップＳ２１では、瞬き判定部２０７は、ステップＳ２０で形成した特徴量ベクトルに機械学習アルゴリズムを適用して、被験者の瞬きを検出する。具体的には、例えば、機械学習アルゴリズムとしてランダムフォレストを用い、ランダムフォレストにより瞬きと非瞬きを分類する。
【００５５】
なお、ランダムフォレストとは、複数の決定木を使用し、各々の決定木によって決定された最頻値を最終的な出力とする分類器である。ここでは、一例として、決定木の数を５０とし、最大分割数（決定木の深さ）を２０としている。図１３に、瞬きと分類されたデータ、非瞬きと分類されたデータの一例を示す。図１３に示すように、瞬きと非瞬きとでは特徴量ベクトルが大きく異なるため、ランダムフォレストを用いた精度のよい分類が可能となる。
【００５６】
このように、瞬き検出システム１では、ドップラーセンサ１０で取得したＩ信号及びＱ信号に基づいてドップラー信号、振幅信号、及び位相信号を算出し、ドップラー信号、振幅信号、及び位相信号の各々からスペクトログラムを算出する。そして、各々のスペクトログラムの所定の周波数帯域内に含まれる各周波数の振幅を時刻毎に積分し、積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を算出し、更に、各々の積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を時刻毎に乗算して積Ｅｃの時間変化を算出する。
【００５７】
積分値Ｅｄ、Ｅａ、及びＥｐの時間変化を時刻毎に乗算して積Ｅｃの時間変化を算出することにより、積Ｅｃの雑音レベルが積分値Ｅｄ、Ｅａ、及びＥｐの雑音レベルよりも低下する。例えば、図８（ｄ）の２７〜２８秒及び３７秒付近ではＦＰが低減し、図８（ｄ）の２９秒付近ではＦＮが低減している。そのため、積Ｅｃに基づいて瞬き検出を行うことで、瞬きの検出精度を向上することができる。
【００５８】
但し、瞬き判定部２０７は、要求される検出精度に応じ、３つの積分値Ｅｄ、Ｅａ、及びＥｐの時間変化に基づいて被験者の瞬きを検出してもよい。又、瞬き判定部２０７は、要求される検出精度に応じ、積Ｅｃの時間変化に基づいて被験者の瞬きを検出してもよいし、閾値ＴＨ１以上の信号成分に基づいて被験者の瞬きを検出してもよい。
【００５９】
［実施例］
実施例では、本実施の形態に係る瞬き検出システム１を用いて瞬き検出を行った。具体的には、瞬き検出システム１を用い、運転者と乗員３人の計４人が乗車した自動車で一般道を走行時及び停車時に被験者である運転者が計８１回（走行時：６４回、停車時：１７回）行った瞬きの検出を試みた。但し、停発車の前後１秒以内は除外した。なお、ドップラーセンサ１０は、被験者が運転席に着座した状態で、送受信信号がハンドルにより遮蔽されないように配慮し、被験者の顔正面で約４０〜５０ｃｍ離隔するようにダッシュボード上に配置した。
【００６０】
実験の諸元を表１に、実験の結果を表２に示す。なお、比較例として、Ｉ信号及びＱ信号から振幅信号を求め、求めた振幅信号をＣＡ−ＣＦＡＲ処理して瞬き候補を選出し、選出した瞬き候補から体動を除去して瞬きを検出する方法を用いた場合の結果も表２に示した。
【００６１】
【表１】
2019030582.tif 000003
【００６２】
【表２】
2019030582.tif 000004
表２に示すように、実施例では、走行時のRecall（検出率）が７２％、走行時のPrecision（適合率）が７０％、停車時のRecall（検出率）が８２％、停車時のPrecision（適合率）が７８％であった。
【００６３】
一方、比較例では、走行時のRecall（検出率）が２０％、走行時のPrecision（適合率）が３３％、停車時のRecall（検出率）が３５％、停車時のPrecision（適合率）が４３％であった。
【００６４】
このように、実施例では、Recall（検出率）、Precision（適合率）共に比較例よりも大幅に改善され、瞬き検出の精度を向上できることが確認された。
【００６５】
なお、実施例では、停車時においても比較例と比べて検出精度が向上しているが、これは、停車時にもエンジンがかかっており、エンジンの振動に伴う体の細かい揺れ等により生じる雑音を、実施例では除去できたが比較例では除去できなかったためと考えられる。このように、実施例は、比較例よりも雑音に強いアルゴリズムである。
【００６６】
以上、好ましい実施の形態等について詳説したが、上述した実施の形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態等に種々の変形及び置換を加えることができる。
【符号の説明】
【００６７】
１  瞬き検出システム
１０  ドップラーセンサ
２０  信号処理部
２１  ＣＰＵ
２２  ＲＯＭ
２３  ＲＡＭ
２４  Ｉ／Ｆ
２５  バスライン
２０１  信号算出部
２０２  スペクトログラム算出部
２０３  積分値算出部
２０４  積算出部
２０５  信号検出部
２０６  特徴量ベクトル形成部
２０７  瞬き判定部
【図１】
2019030582.tif 000005
【図２】
2019030582.tif 000006
【図３】
2019030582.tif 000007
【図４】
2019030582.tif 000008
【図５】
2019030582.tif 000009
【図６】
2019030582.tif 000010
【図７】
2019030582.tif 000011
【図８】
2019030582.tif 000012
【図９】
2019030582.tif 000013
【図１０】
2019030582.tif 000014
【図１１】
2019030582.tif 000015
【図１２】
2019030582.tif 000016
【図１３】
2019030582.tif 000017