(57)【要約】  例示のシステムは、対象者のストレスや疲労をモニタリングできる。システムは、対象者の顔の上に照明光向けるよう構成された光源を含み得る。照明光は反射された光を形成するために、対象者の顔から反射され得る。システムは、集光光学系を含み、反射された光の一部を集め、対象者の顔のビデオレートイメージを生成し得る。システムは、ビデオレートイメージにおける目を位置付け、位置付けけられた目から疲労のサインを抽出し、部分的に、疲労のサインから、対象者の疲労レベルを決定するよう構成されたイメージプロセッサを含み得る。イメージプロセッサは、また、ビデオレートイメージにおける目から離れた顔領域を位置付け、位置付けられた顔領域からストレスのサインを抽出し、ストレスのサインから対象者のストレスレベルを決定するよう構成され得る。
2016524939.tif 000002
【特許請求の範囲】
【請求項１】
対象者のストレスと疲労をモニタリングするためのシステムであって、
前記対象者の顔から反射された光の一部を集め、対象者の顔のビデオレートイメージを生成する集光光学系と、
前記ビデオレートイメージにおける目を位置付けることと、
位置付けられた前記目から疲労のサインを抽出することと、
部分的に、前記疲労のサインから、前記対象者の疲労レベルを決定することと、
前記ビデオレートイメージにおける目から離れた顔領域を位置付けることと、
位置付けられた前記顔領域からストレスのサインを抽出することと、
前記ストレスのサインから対象者のストレスレベルを決定することと、
のために構成されるイメージプロセッサと、
を備えるシステム。
【請求項２】
前記対象者の前記顔の上に照明光を向けるよう構成された光源を更に備え、前記照明光は、前記反射された光を形成するために、前記対象者の前記顔から反射する、請求項１に記載のシステム。
【請求項３】
照明光は、第１の波長を含むスペクトルを有し、
前記集光光学系は、前記第１の波長においてビデオレートイメージを生成する、
請求項２に記載のシステム。
【請求項４】
前記集光光学系は、
前記第１の波長を含む波長帯域における波長を送り、送られる前記波長帯域の外側の波長をブロックするスペクトルフィルタと、
前記対象者の前記顔のイメージを形成するよう構成されたレンズと、
前記第１の波長において、前記対象者の前記顔の前記イメージを検出するよう構成された検出器と、
を備える、請求項３に記載のシステム。
【請求項５】
前記第１の波長は、前記スペクトルの赤外部にある、請求項３に記載のシステム。
【請求項６】
前記照明光は、第１の波長と第２の波長を含むスペクトルを有し、
前記集光光学系は、前記第１の波長で第１のビデオレートイメージを生成し、前記第２の波長で第２のビデオレートイメージを生成する、
請求項２に記載のシステム。
【請求項７】
前記集光光学系は、
前記第１の波長を含む第１の波長帯域における波長を送り、前記第２の波長を含む第２の波長帯域における波長を反射するスペクトル感度ビームスプリッタと、
前記第１の波長で前記対象者の前記顔の第１のイメージを、前記第２の波長で前記対象者の前記顔の第２のイメージを形成するよう構成されるレンズと、
前記第１の波長における前記対象者の前記顔の前記第１のイメージを検出するよう構成される第１の検出器と、
前記第２の波長における前記対象者の前記顔の前記第２のイメージを検出するよう構成される第２の検出器と、
を備える、請求項６に記載のシステム。
【請求項８】
前記イメージプロセッサは、前記第１のビデオレートイメージと前記第２のビデオレートイメージの一方において前記目を位置付け、前記第１のビデオレートイメージと前記第２のビデオレートイメージの他方において前記顔領域を位置付けるよう構成される、請求項７に記載のシステム。
【請求項９】
前記第１の波長と前記第２の波長は、前記スペクトルの赤外部にある、請求項６に記載のシステム。
【請求項１０】
前記第１の波長と前記第２の波長の一方は、前記スペクトルの赤外部にあり、前記第１の波長と前記第２の波長の他方は、前記スペクトルの可視部にある、請求項６に記載のシステム。
【請求項１１】
前記疲労のサインは、視線、目の瞬き、および、目を閉じている比率の少なくとも１つを備える、請求項１に記載のシステム。
【請求項１２】
前記疲労のサインは、更に、あくび検出とマイクロノッドの少なくとも１つを備え、あくび検出とマイクロノッドの前記少なくとも１つは、ビデレートイメージから抽出される、請求項１１に記載のシステム。
【請求項１３】
前記ストレスのサインは、心拍数（ＨＲ）、心拍数変位度（ＨＲＶ）、および、呼吸数（ＲＲ）の少なくとも１つを備える、請求項１に記載のシステム。
【請求項１４】
前記光源は、複数の発光ダイオードを備え、前記発光ダイオードの少なくとも２つは、異なる放出スペクトルを有する光を生成する、請求項１に記載のシステム。
【請求項１５】
前記光源と前記集光光学系は、前記対象者から、０．５メートルと１．５メートルとの間の距離だけ間隔をあけられる、請求項１に記載のシステム。
【請求項１６】
対象者のストレスと疲労をモニタリングするためのシステムであって、
前記対象者の顔の上に照明光を向けるよう構成される光源と、前記光源は、少なくとも１つの赤外発光ダイオードを備え、前記照明光は、第１の波長を含むスペクトルを有し、前記照明光は、反射された光を形成するために前記対象者の前記顔から反射される、
前記反射された光の一部を集め、前記第１の波長における前記対象者の前記顔のビデオレートイメージを生成する集光光学系と、前記集光光学系は、
前記第１の波長を含む波長帯域における波長を送り、送られる前記波長帯域の外側の波長をブロックするスペクトルフィルタと、
前記対象者の前記顔のイメージを形成するよう構成されるレンズと、
前記第１の波長における前記対象者の前記顔の前記イメージを検出するよう構成される検出器と、
を備える、
イメージプロセッサと、イメージプロセッサは、
前記ビデオレートイメージにおける目を位置付けることと、
位置付けられた前記目から疲労のサインを抽出することと、前記疲労のサインは、視線挙動、目の瞬き、目を閉じている比率の少なくとも１つを備える、
部分的に、前記疲労のサインから、前記対象者の疲労レベルを決定することと、
前記ビデオレートイメージにおける前記目から離れた顔領域を位置付けることと、
位置付けられた前記顔領域からストレスのサインを抽出することと、前記ストレスのサインは、心拍数（ＨＲ）、心拍数変位度（ＨＲＶ）、および、呼吸数（ＲＲ）の少なくとも１つを備える、
前記ストレスのサインから前記対象者のストレスレベルを決定することと、
を行うように構成される、
を備えたシステム。
【請求項１７】
前記集光光学系と光源とは、前記対象者から、０．５メートルと１．５メートルの間の距離だけ間隔をあけられる、請求項１６に記載のシステム。
【請求項１８】
対象者のストレスと疲労をモニタリングするための方法であって、
前記対象者の顔のビデオレートイメージを受けることと、
前記ビデオレートイメージにおける目を位置付けることと、
位置付けられた前記目から疲労のサインを抽出することと、
部分的に、前記疲労のサインから、前記対象者の疲労レベルを決定することと、
前記ビデオレートイメージにおける前記目から離れた顔領域を位置付けることと、
位置付けられた前記顔領域からストレスのサインを抽出することと、
前記ストレスのサインから前記対象者のストレスレベルを決定することと、
を備える方法。
【請求項１９】
前記対象者の顔の上に照明光を向けることと、前記照明光は、反射された光を形成するために、前記対象者の前記顔から反射する、
前記反射された光の一部を集めることと、
集められた前記光から前記ビデオレートイメージを生成することと、
を更に備える、請求項１８に記載の方法。
【請求項２０】
前記疲労のサインは、視線挙動、目の瞬き、および、目を閉じている比率の少なくとも１つを備え、
前記ストレスのサインは、心拍数（ＨＲ）、心拍数変位度（ＨＲＶ）、および、呼吸数（ＲＲ）の少なくとも１つを備える、
請求項１８に記載の方法。
【発明の詳細な説明】
【関連出願】
【０００１】
本願は、参照することによってその全体がこの中に組み込まれる、２０１３年６月１９日に出願された、米国出願番号第１３／９２１，３１０号に優先権の利益を主張する。
【技術分野】
【０００２】
実施形態は、対象者のストレスや疲労をモニタリングすることに関する。該モニタリングは、車両の運転手、航空交通管制官、航空機や遠隔操縦機のパイロット、および、適当なストレスのかかるその他の職業での使用のために好適である。
【背景】
【０００３】
オペレータが延長された時間期間の間特定のタスクを実行するような、多くのストレスがかかる職業がある。例えば、車両の運転者、航空交通管制官、航空機および遠隔操縦機のパイロット、電力プラントやコンピュータネットワークシステムのオペレータは、皆、それぞれのオペレータから、集中の延長された期間を必要とする。これらの職業の多くにとって、集中力の喪失は、死、けが、および／または機器へのダメージの結果となる。集中力のそのような喪失は、オペレータにとっての疲労の高められたレベルおよび／またはストレスの高められたレベルによって引き起こされ得る。
【発明の概要】
【０００４】
多くの現在のモニタリングシステムは、対象者とのコンタクトに依存している。例えば、心拍数および／または心拍数変位度の測定は、パルスオキシメトリのために用いられるタイプのような光学的な指用カフ、血圧測定のために用いられるタイプのような圧力センサーを有する腕用カフ、および／または、心電図検査のために用いられるタイプのような電極を用いることができる。多くの場合には、対象者にコンタクトするデバイスの使用は、気持ちの良いものではなく、実用的ではない。対象者とのコンタクトなしに、対象者から距離を置いて動作し得るモニタリングシステムの必要性が存在する。
【０００５】
以下で検討されるように、例示のモニタリングシステムは、対象者の顔のビデオイメージから疲労とストレス情報の両方を抽出することができる。
より具体的には、疲労とストレスの情報は、単一の光学システムから同時に収集され得る。有利なことには、このモニタリングシステムは、対象者との直接のコンタクトを用いない。いくつかの例において、モニタリングシステムは、約１メートル、または、約０．５メートルから約１．５メートルまでの範囲の距離から動作し得る。
【０００６】
疲労情報は、対象者の一方または両方の目の挙動から抽出され得る。
例えば、不規則な目の視線挙動、目の瞬きの増加するかまたは異常な数、および／または、目を閉じる増加するかまたは異常な数は、対象者の疲労の増加するかまたは高いレベルを示し得る。加えて、あくびおよび／またはマイクロノッド（micronods）の増加するか非常な数は、また、対象者の疲労の増加するかまたは高いレベルを示し得る。あくびおよび／またはマイクロノッドは、目以外の顔の１つまたは複数の部分から測定され得る。
【０００７】
ストレス情報は、顔の前頭部またはほお等、対象者の目から離れた、対象者の顔の１つまたは複数の領域から抽出され得る。例えば、増加するかまたは異常な心拍数、増加するかまたは異常な心拍数変位度、および／または、増加するかまたは異常な呼吸数は、対象者のストレスの増加するか高いレベルを示す。疲労および／またはストレスの増加するおよび／または高いレベルは、システムオペレータまたはシステムコントローラ等に警告を与える、および／または、対象者への警告を起こす等、１つまたは複数の更なるアクションを起こすために用いられ得る。
【０００８】
いくつかの例では、対象者の顔は、赤外光を用いて照明される。赤外光は、対象者に見えず、対象者に混乱を伴わず、このモニタリングシステムは、暗い環境において用いられることができる。モニタリングシステムにおける集光光学系（collection optics）は、特定の波長範囲の外側の光のほとんどまたは全てをブロックするスペクトルフィルタ（spectral filter）を含むことができる。いくつかの例において、スペクトルフィルタは、スペクトルの可視部のほとんどまたは全てをブロックし得、モニアリングシステムは、性能における低下なく、日光や環境光の存在の中で用いられ得る。
【０００９】
例示のシステムは、対象者のストレスや疲労をモニタリングすることができる。システムは、対象者の顔から反射された光の一部を集め、対象者の顔のビデオレートイメージ（vide-rate image）を生成する集光光学系を含み得る。システムは、ビデオレートイメージにおいて目を位置付け、位置付けられた目から疲労のサインを抽出し、部分的に、疲労のサインから、対象者の疲労レベルを決定するよう構成されるイメージプロセッサを含み得る。イメージプロセッサは、また、ビデオレートイメージにおいて、目から離れた顔領域を位置付け、位置付けられた顔領域からストレスのサインを抽出し、ストレスのサインから対象者のストレスレベルを決定するよう構成され得る。
【００１０】
他の例示のシステムは、対象者のストレスと疲労をモニタリングすることができる。システムは、対象者の顔の上に照明光を向けるよう構成される光源を含み得る。光源は、少なくとも１つの赤外発光ダイオードを含み得る。照明光は、第１の波長を含むスペクトルを有し得る。照明光は、反射された光を形成するために、対象者の顔から反射し得る。
システムは、反射された光の一部を集め、第１の波長において対象者の顔のビデオレートイメージを生成する集光光学系を含み得る。集光光学系と光源は、対象者から、０．５メートルと１.５メートルの間の距離だけ間隔をあけられ得る。集光光学系は、第１の波長を含む波長帯域における波長を送り、送られる波長帯域の外側の波長をブロックするスペクトルフィルタを含み得る。集光光学系は、対象者の顔のイメージを形成するよう構成されるレンズを含み得る。集光光学系は、第１の波長において、対象者の顔のイメージを検出するよう構成される検出器を含み得る。システムは、ビデオレートイメージにおいて目を位置付け、位置付けられた目から疲労のサインを抽出し、部分的に、疲労のサインから、対象者の疲労レベルを決定するよう構成されるイメージプロセッサを含み得、疲労のサインは、目の挙動視線、目の瞬き、および、目を閉じている比率の少なくとも１つを備える。イメージプロセッサは、また、ビデオレートイメージにおける目から離れた顔領域を位置付け、位置付けられた顔領域からストレスのサインを抽出し、ストレスのサインから対象者のストレスレベルを決定するよう構成され得、ストレスのサインは、心拍数、心拍数変位度、および、呼吸数の少なくとも１つを備える。
【００１１】
例示の方法は、対象者のストレスと疲労をモニタリングすることができる。対象者の顔のビデオレートイメージが受けられ得る。目が、ビデオレートイメージにおいて位置付けられる。疲労のサインが、位置付けられた目から抽出され得る。部分的に、疲労のサインから、対象者の疲労レベルが決定され得る。目から離れた顔領域がビデオレートイメージにおいて位置付けられる。ストレスのサインが、位置付けられた顔領域から抽出され得る。
対象者のストレスレベルが、ストレスのサインから決定され得る。
【００１２】
この概要は、本特許出願の主題の大要を与えることを意図されている。発明の排他的または尽くされた説明を与えることは意図されない。「詳細な説明」は、本特許出願についての更なる情報を提供するために含まれる。
【００１３】
必ずしも縮小されたものではない図面において、同様な番号が、異なるビューにおける類似のコンポーネントを記載し得る。異なる文字サフィックスを有する同様な番号は、類似のコンポーネントの異なる例を表し得る。図面は、一般的に、例示であって、限定ではなく、本明細書にて議論される種々の実施形態を示す。
【図面の簡単な説明】
【００１４】
【図１】図１は、対象者のストレスや疲労をモニタリングするための例示のシステムの概略図である。
【図２】図２は、図１のシステムの集光光学系の例の構成の概略図である。
【図３】図３は、図１のシステムの集光光学系の他の例の構成の概略図である。
【図４】図４は、図１のシステムの集光光学系の他の例の構成の概略図である。
【図５】図５は、ビデオイメージに位置付けられた目の例と、目かろから離れて位置付けられた例示の顔領域をもった、例示のビデオイメージの図面である。
【図６】図６は、種々の疲労のサインやストレスのサインを検出し、疲労レベルとストレスレベルを決定する例示のコンピュータ／イメージプロセッサの概略図である。
【図７】自動車のステアリングホイールに設置された、例示のモニタリングシステムの透視図である。
【図８】図１のモニタリングシステムのための動作の例示の方法のフローチャートである。
【詳細な説明】
【００１５】
図１は、対象者のストレスと疲労をモニタリングするための例示のシステム１００の概略図である。光源１０２が対象者の顔１２０を照らす。集光光学系１１０は、対象者の顔から反射された光を集め、一連の対象者の顔１２０のビデオレートイメージ１３０を形成する。コンピュータおよび／またはイメージプロセッサ１８０は、ビデオレートイメージ１３０から１または複数の疲労のサインおよび１または複数のストレスのサインを抽出する。疲労のサインは、対象者の疲労レベル１６０を決定し得る。ストレスのサインは、対象者のストレスレベル１７０を決定し得る。これらの要素の各々または要素のグループは、以下でより詳細に検討される。
【００１６】
光源１０２は、照明光１２２を生成する。光源１０２は、対象者が存在するとき、照明光１２２が対象者の顔にあたるように、対象者の予想される位置の近くに配置される。例えば、システムが自動車に設置される場合には、光源１０２は、ダッシュボードに、または、ステアリングホイール上に設置され得、運転手の顔のための予想される位置に向かって、照明光を向け得る。照明光１２２は、対象者の顔１２０のサイズや位置上でのトレランスを含み、対象者の顔１２０を十分に照明するサイズをもった円錐状の角度で光源から広がり得る。いくつかの場合では、１つより多くの光源があってよく、光源は、お互いに離れて位置付けられ得る。例えば、自動車は、ドアの上、風よけの上、ダッシュボードの中、他の好適な位置に、光源を含み得る。これらの例では、各光源が、対象者の顔の予想される位置に向かって照明光をあてる。いくつかの例では、光路は、光源と対象者の予想される位置との間に拡散器（diffuser）を含み得る。電磁スペクトルの可視部分は、４００ｎｍの波長から７００ｎｍまでのびる。電磁スペクトルの赤外部分は、７００ｎｍの波長から１ｍｍまでのびる。いくつかの例では、照明光１２２は、照明光１２２が対象者に見えないように、スペクトルの可視部分の光なしで、スペクトルの赤外部分における少なくとも１つのスペクトル成分を含む。他の例では、照明光１２２は、スペクトルの赤外部分における少なくとも１つのスペクトル成分とスペクトルの可視部分における少なくとも１つのスペクトル成分を含む。いくつかの実施形態では、照明光１２２は、ただ１つのスペクトル成分を含み、他の例では、照明光１２２は、１より多くのスペクトル成分を含む。好適な光源１０２の例は、単一の赤外光発光ダイオード、全てが同じ波長で発光する複数の赤外光発光ダイオード、少なくとも２つの発光ダイオードが異なる波長で発光する複数の赤外光発光ダイオード、少なくとも１つがスペクトルの赤外部分において発光し、少なくとも１つがスペクトルの可視部分で発光する複数の発光ダイオードを含み得る。
【００１７】
発光ダイオードについて、光出力のスペクトル分布は、中心波長とスペクトル幅によって特徴づけられる。いくつかの例では、照明光１２２は、７５０ｎｍから９００ｎｍの範囲、８００ｎｍから８５０ｎｍの範囲、７５０ｎｍから８５０ｎｍの範囲、および／または、８００ｎｍから９００ｎｍの範囲において中心波長を有する。いくつかの例では、照明光１２２は、５０ｎｍより少ない、４０ｎｍより少ない、３０ｎｍより少ない、および／または、２０ｎｍより少ないスペクトル幅を有する。
【００１８】
照明光１２２は、反射された光１２４を形成するために、対象者の顔１２０から反射される。集光光学系１１０は、反射された光１２４の一部を集め、対象の顔のビデオレートイメージを生成する。照明光１２２は、図１にλ１と示された第１の波長を含むスペクトルを有し得る。集光光学系１１０は、第１の波長において、ビデオレートイメージ１３０を生成し得る。集光光学系１１０についての３つの例示の構成が、図２−４に示され、以下に詳細に検討される。いくつかの例では、集光光学系１１０は、共通の筐体において光源１０２とともにパッケージされ得る。共通の筐体は、自動車のダッシュボードまたはステアリングホイール上等の好適な場所に設置され得る。
【００１９】
いくつかの例では、コンピュータおよび／またはイメージプロセッサ１８０が光源を制御することができ、対象者の顔１２０のビデオレートイメージ１３０を受けることができる。コンピュータは、少なくとも１つのプロセッサ、メモリ、プロセッサとメモリを用いた動作のために構成される命令を保持するための機械読み出し可能な媒体とを含み得る。イメージプロセッサは、コンピュータの中に含まれ得るか、または、コンピュータの外部にありえる。
【００２０】
イメージプロセッサ１８０は、ビデオレートイメージ１３０を処理し得る。例えば、イメージプロセッサは、ビデオレートイメージ１３０において、目等の様々な特徴の位置づけを感知し得、ビデオレートイメージ１３０から、対象者の目についての視線方向を決定し得、対象者があくびをするかまたはマイクロノッド（micronod）を経験するときを感知し得、心拍数、心拍数変位度、呼吸数を感知し得る。リアルタイムでビデオレートイメージ１３０を処理することに加えて、コンピュータは、また、特性の最近の履歴を維持することができ、コンピュータは、特定の特性が変化するときを感知することができる。コンピュータは、また、特定の量についてのベースラインまたは平常範囲を維持することができ、コンピュータは、特定の量が定常範囲を逸脱するときを感知できる。コンピュータは、全体の疲労またはストレスレベルを決定するために、様々なサインの間または中で重みづけをすることができる。様々な疲労のサインおよびストレスのサインは、図６に示され、以下でより詳細に検討される。
【００２１】
図２は、図１のシステム１００のための集光光学系１１０Ａの例示の構成の概略図である。集光光学系１１０Ａは、光源によって生成され、対象者の顔から反射する反射された光１２４を受ける。光源１０２が第１の波長を含むスペクトルを有する照明光１２２を生成する場合、集光光学系１１０Ａは、第１の波長においてビデオレートイメージ１３０を生成し得る。
【００２２】
集光光学系１１０Ａは、第１の波長を含む波長帯域における波長を送り、送られる波長帯域の外側の波長をブロックするスペクトルフィルタ１１４を含み得る。好適なスペクトルフィルタ１１４は、限定はされないが、エッジフィルタやノッチフィルタを含み得る。
【００２３】
いくつかの例において、第１の波長は、スペクトルの赤外部分にある。これらの例について、スペクトルフィルタ１１４は、ほとんど、または、全ての環境光または日光をブロックすることができる。そして、ビデオレートイメージ１３０は、光源１０２のスペクトルに対応するスペクトルを有した光で形成される。加えて、ビデオレートイメージ１３０は、日光または環境光の存在に比較的に影響を受けない強度を有し、これが望ましい。
【００２４】
集光光学系１１０Ａは、対象者の顔１２０のイメージを掲載するよう構成されるレンズを含み得る。集光光学系１１０Ａの中に受けられた光は、スペクトルフィルタ１１４を通過し、イメージを形成するためにレンズ１１６によって焦点を合わせられる。対象者が存在する場合、レンズ１１６によって形成されるイメージ１１６は、対象者の顔１２０である。
【００２５】
集光光学系１１０Ａは、第１の波長において、対象者の顔１２０のイメージを検出するよう構成される検出器１１８を含み得る。第１の波長は、図２においてλ１と示される。
対象者が存在する場合、集光光学系１１０は、対象者の顔１２０を検出器１１８上に映し出す。好適な検出器１１８は、限定はされないが、ＣＣＤまたはＣＭＯＳビデオセンサーを含み得る。検出器１１８は、対象者の顔１２０のビデオレートイメージ１３０を生成する。好適なビデオフレームレートは、限定はされないが、１０Ｈｚ、１２Ｈｚ、１４Ｈｚ、１６Ｈｚ、１８Ｈｚ、２０Ｈｚ、２２Ｈｚ、２４Ｈｚ、２５Ｈｚ、２６Ｈｚ、２８Ｈｚ、３０Ｈｚ、３６Ｈｚ、４８Ｈｚ、５０Ｈｚ、６０Ｈｚ、または、６０Ｈｚより上を含み得る。
【００２６】
図３は、図１のシステム１００のための集光光学系１１０Ｂの他の例示の構成の概略図である。この構成において、スペクトルフィルタ１１４は、レンズ１１６と検出器１１８の間に配置される。両構成１１０Ａ、１１Ｂは、第１の波長において対象者の顔１２０のビデオレートイメージ１３０を生成し得るが、光学性能に関係しない理由で一方の構成が他方のより有利である場合があり得る。例えば、集光光学系が筐体にパッケージされ、筐体が透明なカバーを含む場合、いくつかの場合には、スペクトルフィルタを透明なカバーに取り付けること、または、透明なカバー自身としてスペクトルフィルタを用いることが望ましい。これらの例のためには、図２の構成が好ましい。他の例では、スペクトルフィルタ１１４は、検出器１１８の前面上に組み込まれ得、または、検出器の前に配置されるカバーガラス上に含まれ得る。これらの例のためには、図３の構成が好ましい。
【００２７】
図２および３の集光光学系１１０Ａ、１１０Ｂは、単一の波長で光を放出する光源１０２とともに用いられ得る。代替的に、図４は、２つの異なる波長において光を放出する光源１０２とともに用いられ得る集光光学系１１０Ｃの例示の構成を示す。光源１０２が、第１と第２の波長を含むスペクトルを有する照明光１２２を生成する場合、集光光学系１１０Ｃは、第１の波長でビデオレートイメージ１３０を生成することができ、また、第２の波長でビデオレートイメージ１３０を生成することができる。
【００２８】
コリメーション（collimation）光学系１１０Ｃは、第１の波長λ１を含む第１の波長帯域における波長を送り、第２の波長λ２を含む第２の波長帯域における波長を反射する、スペクトル感度ビームスプリッタ（spectrally-sensitive beamsplitter）４１４を含み得る。コリメーション光学系１１０Ｃは、第１の波長において対象者の顔１２０の第１のイメージを、第２の波長において対象者の顔１２０の第２のイメージを形成するように構成されるレンズ４１６を含み得る。実際問題として、レンズ４１６は、レンズ１１６と構造や機能において類似であり、ビームスプリッタ４１４がレンズ４１６の後の光路に設けられる。ビームスプリッタ４１４は、第１の波長において、第１の検出器４１８Ａ上に、第１の光路を向け得る。ビームスプリッタ４１４は、第２の波長において、第２の検出器４１８Ｂ上に、第２の光路を向け得る。第１の検出器４１８Ａは、第１の波長で、対象者の顔のイメージを検出するように構成され得る。第２の検出器４１８Ｂは、第２の波長で、対象者の顔のイメージを検出するように構成され得る。
【００２９】
集光光学系１１０Ｃは、２組のビデオ―レートイメージ１３０を生成し得、一方の組は第１の波長において、他方の組は第２の波長においてである。いくつかの例において、イメージプロセッサ１８０は、第１と第２のビデオレートイメージ１３０の一方で目を位置付け、第１と第２のビデオレートイメージ１３０の他方で顔領域を位置付けるように構成され得る。いくつかの例では、第１と第２の波長は、スペクトルの赤外部分にある。他の例では、第１と第２の波長の一方はスペクトルの赤外領域にあり、第１と第２の波長の他方はスペクトルの可視部分にある。
【００３０】
図５は、ビデオレートイメージ１３０のストリームからの１つのイメージである、例示のビデオイメージ５００の図面である。イメージプロセッサ１８０は、イメージ５００の境界５０２の中でサーチをすることができ、イメージ５００の中に顔５０４が存在するか否かを決定することができ、顔５０４における一方又は両方の目５０６、５０８を自動的に位置づけすることができ、目５０６、５０８から離れた顔における少なくとも１つの他の領域５１０を自動的に位置付けることができる。他の領域５１０は、顔の前頭部上、または、ほお上の場所であってよい。５０６、５０８、５１０等の顔の位置付けられた領域から、イメージプロセッサ１８０は、対象者の疲労レベルまたはストレスレベルにリンクされ得る様々なサインを記録することができる。
【００３１】
図６は、様々な疲労のサイン６４０とストレスのサイン６５０を検出し、それぞれのサインから疲労レベル１６０とストレスレベル１７０を決定する、例示のコンピュータ／イメージプロセッサ１８０の概略図である。イメージプロセッサ１８０は、対象者の顔１２０のビデオレートイメージ１３０を受ける。ビデオレートイメージ１３０は、単一の波長におけるイメージの単一のストリームであり得、または、異なる波長におけるイメージの２つのストリームを含み得る。
【００３２】
疲労サイン６４０は、目の挙動（eye behavior）６４０、あくび検出（yawn detection）６４４、マイクロノッド（micronods）６４６の１つまたは複数を含む。目の挙動６４２は、ビデオレートイメージにおける一方または両方の目から抽出され得る。目の挙動６４２は、視線（eye gaze）、目の瞬き（eye blinks）、および、目を閉じている比率（eye closure rate）の１つまたは複数を含み得る。あくび検出６４４は、ビデオレートイメージ１３０における顔の口を含み得る。対象者が眠り込むときの頭の小さな搖動等のマイクロノッド６４６は、顔の位置から、並びに、一方または両方の目から抽出され得る。
【００３３】
疲労のサイン６４０の各々について、コンピュータは、動作のベースラインまたは「平常な」範囲を設けることができる。例えば、目の瞬きは、１分あたりの瞬きで測定され、平常な範囲は、１分あたりの瞬きの低い値から１分あたりの瞬きの高い値までにわたり得る。平常な範囲は、対象者からの過去の挙動の履歴によって決定され得、従って、対象者ごとに変わり得る。代替的には、平常な範囲は予め定められ、全ての対象者に対して同じであり得る。
【００３４】
対象者が疲労するに至った場合、対象者はより頻繁に瞬きをする。瞬きの増加された頻度は、平常な範囲における高い値を超えて延びる。代替的に、瞬きの頻度は、１分間に１０％より多く、または、他の好適な値と時間間隔等、特定の閾値を超した増加の率を有し得る。動作の平常な範囲からの逸脱は、コンピュータに、対象者が疲労しているかもしれない、または、疲労しつつあるかもしれないという表示（indication）を与える。
【００３５】
目の瞬きは、疲労の一つの表示にすぎない。あくび検出６４４とマイクロノッド６４６は、同様の平常な範囲を持ち得、感知された値が平常な範囲の外である場合に、コンピュータに疲労の表示を与え得る。コンピュータは、疲労レベルを決めるために、目の挙動６４２、あくび検出６４４、および、マイクロノッド６４６からのデータを、単独で、または、任意の組み合わせで使用することができる。コンピュータによって決定される疲労レベル１６０は、「平常（normal）」、「穏やかに疲労している（mildly fatigued）」、および、「非常に疲労している（severely fatigued）」等、離散的な値を有し得る。代替的に、疲労レベル１６０は、連続したスケール上の値を有し得、そこで、連続したスケール上の特定の値または範囲が、対象者が、「平常」、「穏やかに疲労している」、または、「非常に疲労している」であることを示す。
【００３６】
ストレスのサイン６５０は、心拍数（heart rate：ＨＲ）６５２、心拍数変位度（heart rate variability：ＨＲＶ）６５４、呼吸数（respiration rate：ＲＲ）６５６を含む。ストレスのサイン６５０は、前頭部、または、片方または両方のほお上等の、ビデオレートイメージ１３０における目から離れた１つまたは複数の領域から抽出され得る。各ストレスのサインは、動作のそれ自身の平常な範囲を有し得、サインの挙動が動作の平常な範囲の外に動いた場合に、コンピュータに表示を与え得る。ストレスのサイン６５０からの情報は、対象者のストレスレベル１７０を決定するために、単独で、または、任意の組み合わせでとられ得る。ストレスレベルは、離散値を有し得、または、代替的に、連続体を用い得る。
【００３７】
図７は、自動車のステアリングホイールに設置された場合の、例示のモニタリングシステム７００の透視図である。この例における光源は、スペクトルの赤外部において、照明光を、対象者の顔の上に向ける。光は、対象者の顔で反射する。反射された光の一部は、これも光源の近くのステアリングホイールに設置された、集光光学系によって集められる。コンピュータ／イメージプロセッサは、光源と集光光学系とともに位置付けられてもよく、自動車の他のどこかに位置付けられてもよく、外部の位置に位置付けられてもよい。ビデオレートイメージは、有線で、自動車の中の無線で、または、セルラテレホンネットワーク等の外部のネットワークを用いる無線接続で、検出器からイメージプリセッサに送られる。
【００３８】
図８は、対象者のストレスと疲労をモニタリングするための動作８００の例示の方法のフローチャートである。動作８００の方法は、図１のモニタリングシステム１００を用いて、または、他のモニタリングシステムを用いて実行され得る。ステップ８０２は、図１に示された対象者の顔１２０のビデオレートイメージ１３０等の対象者の顔のビデオレートイメージを受ける。ステップ８０４は、図５に示された目５０６または目５０８等、ビデオレートイメージにおいて目を位置付ける。ステップ８０６は、図６に示された疲労サイン６４０等、位置付けられた目から疲労のサインを抽出する。ステップ８０８は、図１に示された疲労レベル１６０等、部分的に、疲労サインから、対象者の疲労レベルを決定する。ステップ８１０は、図５における領域５１０等、ビデオレートイメージにおける目から離れた顔領域を位置付ける。ステップ８１２は、図６に示されたようなすストレスのサイン６５０等、位置付けられた顔領域からストレスのサインを抽出する。ステップ８１４は、図１に示されたストレスレベル１７０等、ストレスのサインから対象者のストレスレベルを決定する。ステップ８０４−８０８は、ステップ８１０−８１４の前に、後に、または、割り込まれて実行され得る。
【００３９】
追加のステップは、対象者の顔の上に照明光を向けることを含み、照明光は、反射された光を形成するために、対象者の顔から反射する。他の追加のステップは、反射された光の一部を集めることを含み得る。他の追加のステップは、集められた光からビデオレートイメージを生成することを含み得る。
【００４０】
いくつかの実施形態は、ハードウェア、ファームウェア、および、ソフトウェアの１つまたは組み合わせにおいて実装される。実施形態は、また、コンピュータ読み出し可能な記憶デバイス上に記憶された命令として実装され得、命令は、この中に書かれた動作を実行するために、少なくとも１つのプロセッサによって読まれ、実行され得る。コンピュータ読み出し可能なデバイスは、機械（例えば、コンピュータ）によって読まれることが可能な形態で情報を記憶するための任意の非一時的な機構を含み得る。例えば、コンピュータ読み出し可能な記憶デバイスは、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および、他の記憶デバイスや媒体を含み得る。いくつかの実施形態では、システム１００は、１つまたは複数のプロセッサを含み得、コンピュータ読み出し可能記憶デバイスに記憶された命令とともに構成され得る。
【図１】
2016524939.tif 000003
【図２】
2016524939.tif 000004
【図３】
2016524939.tif 000005
【図４】
2016524939.tif 000006
【図５】
2016524939.tif 000007
【図６】
2016524939.tif 000008
【図７】
2016524939.tif 000009
【図８】
2016524939.tif 000010
【国際調査報告】
2016524939.tif 000011
2016524939.tif 000012
2016524939.tif 000013