(57)【特許請求の範囲】
【請求項１】
車両運転者の状態を判定するのに用いられる画像データを受信し、画質を改善するように構成されたシステムであって、
前記車両運転者の画像データを検出するために設置されたカメラと、
前記車両内部を紫外線又は可視光線の周波数を有する光で照らすために設置された照明装置と、
検出された前記画像データを受信し、画質の判定をするように構成された制御装置と、を備え、
前記制御装置は、判定された前記画像データの画質に基づいて前記照明装置を変更するように構成され、
前記制御装置は、前記車両運転者の生物学的又は生理学的状態を判定するために前記画像データを分析するように構成され、前記生物学的又は生理学的状態は前記車両運転者の心拍数又は呼吸数の少なくとも一つであり、
さらに、前記制御装置は、判定された前記生物学的又は生理学的状態に基づいて前記車両運転者の状態を判定するように構成される、
ことを特徴とするシステム。
【請求項２】
前記制御装置は、前記車両運転者の判定された生物学的又は生理学的状態に基づいて車両構成要素に出力信号を送信するようにさらに構成される、請求項１に記載のシステム。
【請求項３】
前記制御装置は、非画像センサからの入力を受信するようにさらに構成され、判定された前記画像データの画質に応じて、前記車両運転者の前記画像データと前記非画像センサからの前記入力の両方に基づいて前記車両運転者の生物学的又は生理学的状態を判定するように構成される、請求項１に記載のシステム。
【請求項４】
前記照明装置の変更は、前記照明装置の少なくとも一つの光源の光度を強くすることを含む、請求項１に記載のシステム。
【請求項５】
前記照明装置は、光の波動がカメラのシャッターと同期するようにパルス化可能に構成されている、請求項１に記載のシステム。
【請求項６】
検出された前記画像データから前記車両運転者の生物学的又は生理学的状態を判定するために特定の周波数帯域の光を通す光学フィルタを含む、請求項１に記載のシステム。
【請求項７】
前記特定の周波数帯域は、３９０〜４２０ナノメートルの波長を有する光に対応した帯域である、請求項１に記載のシステム。
【請求項８】
前記制御装置は、前記運転者の顔及び目を追跡し、前記運転者の目への光の投影を減らすように前記運転者の顔に向かって光を照射するように構成されている、請求項１に記載のシステム。
【請求項９】
前記出力信号は、前記車両内部に配置された表示装置に表示データを表示させる、請求項２に記載のシステム。
【請求項１０】
前記出力信号は、音響システムから音声データを出力させる、請求項２に記載のシステム。
【請求項１１】
前記画像データの画質は、信号対雑音比の程度である、請求項１に記載のシステム。
【請求項１２】
車両運転者の状態を判定するのに用いられるデータを受信し、データの質を改善するように構成されたシステムであって、
前記車両運転者の画像データを検出するために設置されたカメラと、
前記車両内部を照明するために設置された照明装置と、
検出された前記画像データを受信し、前記画像データの画質を判定するように構成された制御装置と、を備え、
前記制御装置は、前記車両運転者の生物学的又は生理学的状態を判定するために前記画像データを分析するように構成され、前記生物学的又は生理学的状態は前記車両運転者の心拍数又は呼吸数の少なくとも一つであり、
さらに、前記制御装置は、非画像センサからの入力を受信するように構成され、
判定された前記画像データの画質に応じて、前記車両運転者の前記画像データと前記非画像センサからの前記入力の両方に基づいて前記車両運転者の生物学的又は生理学的状態を判定するように構成される、ことを特徴とするシステム。
【請求項１３】
前記制御装置は、前記車両運転者の判定された前記生物学的又は生理学的状態に基づいて車両構成要素に出力信号を送信するようにさらに構成される、請求項１２に記載のシステム。
【請求項１４】
前記制御装置は、前記画像データの画質の判定に基づいて前記照明装置を変更するようにさらに構成される、請求項１２に記載のシステム。
【請求項１５】
前記非画像センサは、圧力センサ、電界変換器、圧電センサ、超音波変換器又はマイクロホンのうちの少なくとも一つである、請求項１２に記載のシステム。
【請求項１６】
前記出力信号は、前記車両内部に配置された表示装置に表示データを表示させる、請求項１３に記載のシステム。
【請求項１７】
前記出力信号は、音響システムから音声データを出力させる、請求項１３に記載のシステム。
【請求項１８】
前記出力信号は、前記照明装置から発せられる光を変更させる、請求項１３に記載のシステム。
【請求項１９】
前記画像データの画質は、信号対雑音比の程度である、請求項１２に記載のシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１０年１２月１０日に出願された米国仮出願番号第６１／４２２，１１６号に基づく優先権及び利益を主張し、参照することにより本明細書に組み込む。
【背景技術】
【０００２】
本開示は、一般に、生物学的及び生理学的信号の監視の分野に関する。生物学的若しくは生理学的パラメータ、指標又はデータは、人体の生物学的活動により生成され、例えば、心拍数又は呼吸数を含んでいてもよい。生物学的指標は、人を監視し、意識がはっきりしているかどうかを判定するために用いられる場合がある。例えば、車両において、生物学的指標は、運転者の運転を判定し、運転を最適範囲内に維持するために用いられる。生物学的指標は、運転者が誤りを犯し、運転の安全性を低下させる等の可能性を高め得る運転者のストレス、興奮、疲労又はリラックスを示す場合もある。
【０００３】
現在のカメラベースのシステムは、例えば、生物学的又は生理学的信号を得るために、人間の顔面に対して光学的モニタリングを行うことが可能である。しかし、光学的モニタリングは、例えば、特定の運転条件下での車両内といった、低環境光の条件下では、困難又は不正確になる可能性がある。特定の運転条件では、車両の環境光の量が減り、結果として生物学的指標の信号対雑音比（ＳＮ比）がより小さくなる。必要とされているのは、車両内に配置されるカメラベースのシステムが、照明装置や様々なセンサといった他の車両システムと共に、光学技術を用いて運転者の運転を監視するのに必要とされる正確な生物学的指標を得ることを可能にするためのシステム及び方法である。
【発明の概要】
【０００４】
開示された実施形態によれば、車両運転監視システムが提供される。この車両運転監視システムは、車両運転者の状態を判定するのに用いられる画像データを受信し、画像データの画質を改善するように構成されており、本明細書において開示される。一実施例によれば、このシステムは、車両運転者の画像データを検出するために設置されたカメラと、車両内部を照明するために設置された照明装置と、検出された画像データを受信し、画像データの画質の判定をし、判定された画像データの画質に基づいて照明装置を変更し、受信した画像データに基づいて運転者の状態を判定するように構成された制御装置と、を含む。
【０００５】
また、このシステムは、車両運転者の画像データを検出するために設置されたカメラと、車両内部に配置された照明装置と、検出された画像データを受信し、画像データの画質を判定し、非画像センサからの入力を受信し、車両運転者の画像データと非画像センサからの入力の両方に基づいて運転者の状態を判定するように構成された制御装置と、を含んでいてもよい。
【図面の簡単な説明】
【０００６】
本発明のこれら及び他の特徴、態様及び効果は、以下の説明、添付の特許請求の範囲及び図面に示された以下の例示的実施形態から明らかになろう。次に、図面について簡単に説明する。
【図１】運転者監視システム用制御装置が用いられ得る車両及び車両内部の斜視図である。
【図２】様々な車両システムに接続されたシステム制御装置のブロック図である。
【図３】車両運転者監視システムで使用される制御装置のブロック図である。
【図４】車両運転者監視システムで使用されるカメラ用の照明レベルを調整するための処理のフローチャートである。
【図５】車両運転者監視システムで使用されるシステム制御装置のブロック図である。
【図６】車両運転者監視システム用制御装置のブロック図である。
【図７】生物学的指標の質を向上するためにセンサ及び変換器の信号を使用するための処理のフローチャートである。
【詳細な説明】
【０００７】
本願明細書において、通常、記載されているのは、車両運転者の生物学的指標を監視するシステム制御装置を使用するための図、システム及び方法である。図２に示すように、システム制御装置２００は、例えば、心拍数や呼吸数のような生物学的又は生理学的信号を得るために、一つのカメラ又は複数のカメラ２１０に接続される。一つの例示的実施形態によれば、システム制御装置と連動する一つのカメラ又は複数のカメラは、２０１１年３月１６日に出願された米国特許出願第１３／０４８，９６５号「生理学的パラメータの測定方法及びシステム」にて記載した方法で、車両乗員に関する生物学的又は生理学的情報を得ることができる。米国特許出願第１３／０４８，９６５号は、参照することにより本明細書に組み込む。生物学的又は生理学的パラメータが得られると、システム制御装置２００は、運転者１２が車両を運転するための最適な状態であるかを判定する。
【０００８】
システム制御装置２００及びカメラ２１０は、運転者１２の身体の一部の照明レベルを調整する照明装置２０６をさらに含んでいてもよい又は照明装置２０６に接続されていてもよい。照明装置２０６は、車両全体に設置された光源を有する車両の照明装置を含んでいてもよい。また、照明装置は、システム制御装置２００又は車両照明装置以外の補助光源に接続されたカメラ２１０と関連した照明も含んでいてもよい。例えば、車両における環境光レベルが低い場合、システム制御装置２００は、追加照明が提供されるべきかを判定し、カメラ２１０がシステム制御装置のための生物学的指標をより正確に得られるように、照明装置が追加照明を提供するように構成されていてもよい。システム制御装置は、例えば、圧力センサといった非画像センサや、例えば、赤外線センサ、可視光センサといった追加センサ２０８にさらに接続されていてもよい又は動作可能に接続されていてもよい。カメラ２１０は、光学フィルタを用いた赤外線検出器や多重波長検出機能を含んでいてもよい。
【０００９】
追加センサ２０８は、運転者の生物学的状態を判断するために用いられてもよい。システム制御装置２００は、カメラ２１０からの画像データの画質が悪い場合、より正確に生物学的状態を判定するために、非画像センサ２０８とカメラ２１０の両方からの入力を使用してもよい。さらに、非画像センサ２０８からの信号は、様々な信頼度を有している場合がある。例えば、振動や、感知される人に近接しているといった信号障害のためにＳＮ比が低い信号もある。したがって、システム制御装置２００は、カメラ２１０からの画像信号と、追加センシングユニット２０８からの非画像信号の両方を受信し、ブラインド信号源分離又は他の相関技術を用いて信号を相関させてもよい。さらに、システム制御装置２００及びカメラ２１０は、光学的フィルタリング技術を利用して対象となるより強い生体情報を含む特定の周波数のみを測定するように構成されてもよい。さらに、カメラ２１０に検出された光をフィルタに通すことにより、カメラ２１０によって得られた信号に含まれるノイズが低減される又は除去される場合もある。本願明細書において、記載されているシステムの任意の組み合わせは、生物学的指標を取得して使用するためにシステム制御装置２００に使用され得ることを理解されたい。
【００１０】
ここで、図１Ａ〜Ｂは、車両１０及び運転者１２の斜視図を示す。車両１０は、カメラ３０及び／又は３２に接続されたシステム制御装置４０を含んでいてもよい。カメラ３０及び／又は３２は、車両１０のインストルメントパネルディスプレイ２０若しくはその付近、車両１０のステアリングホイール２２又は、カメラ３０及び／又は３２が運転者１２の顔面及び／又は身体をはっきり写し、カメラ３０及び／又は３２が車両運転者の画像データを検出できるような車両１０のその他の任意の位置に配置されてもよい。カメラ３０及び／又は３２は、システム制御装置４０に連続するフレームの画像データを含む信号を供給してもよい。この場合、この画像データは、例えば、心拍数又は呼吸数といった感知された運転者１２の生物学的指標から導かれる生物学的パラメータを得るためにシステム制御装置４０により分析され得る。
【００１１】
車両１０は、システム制御装置の追加照明を提供し得る光源をさらに含んでいてもよい。追加照明により、カメラ３０及び／又は３２は、例えば、運転者１２から生物学的指標をより容易に得ることが可能になる。光源は、インストルメントパネルディスプレイ２０、ステアリングホイール２２、バックミラー２４、車両のヘッドアップディスプレイ用ボタン照明２６、車両のセンターコンソール２８又は別の位置に組み込まれていてもよい。
【００１２】
車両１０は、例えば、非画像センサ２０８のような、運転者の生物学的指標を得るように構成された、車両１０に配置されたセンサ又は他の装置をさらに含んでいてもよい。非画像センサ２０８及び他の装置は、例えば、圧電センサ、圧力センサ、超音波変換器、電界変換器、赤外線センサ又はマイクロホンを含む。非画像センサ２０８によって得られた生物学的指標は、決定された生物学的パラメータの精度を改善するために、カメラ３０及び／又は３２によって得られた生物学的指標と組み合わされてもよい。非画像センサは、例えば、車両１０のシートバック１４、シート座部１６（例えば、圧力センサ）、シートベルト１８（例えば、圧力センサ、圧電センサ）、ステアリングホイール２２（例えば、運転者１２の方を向いている赤外線センサ又は光センサ）、又は車両１０の他の場所に配置されてもよい。システム制御装置４０は、車両１０内にあってもよく、様々なカメラ３０及び／又は３２、非画像センサ２０８又は様々な他の車両構成要素に接続されていてもよい。システム制御装置４０は、受信した信号に基づいて様々な車両構成要素に信号を送信し、警告、警報又は他の出力を車両構成要素に提供してもよい。
【００１３】
ここで、図２は、車両構成要素２０４を含む、システム制御装置２００及び様々な車両システムのブロック図を示す。車両構成要素２０４は、例えば、ディスプレイ、車両電子制御装置（ＥＣＵ）、照明装置、ブレーキシステム及びマイクロホン若しくは音響システムを含む。システム制御装置２００は、出力信号が車両動作に関する命令を伝達する時、一つ又は複数の車両構成要素２０４に出力信号を供給してもよい。例えば、システム制御装置２００は、インストルメントパネルディスプレイ、車両のセンターコンソール又は車両のヘッドアップディスプレイの上にデータを表示するための情報をディスプレイに指示を与える出力信号に付与する。出力信号には、カメラ２１０から受信した運転者１２の画像データから導かれる状態信号に基づいて、運転者１２が最適な運転をしていない又は運転できるような状態ではない可能性があるという警告又は警報を含む情報が含まれていてもよい。
【００１４】
システム制御装置２００は、車両の運転に関して、車両ＥＣＵへの出力信号を供給してもよい。システム制御装置２００は、車両ＥＣＵへの命令を含む出力信号を供給してもよい。例えば、システム制御装置２００は、運転者の状態が原因で運転者が適切に車両を運転することが妨げられていると判定した場合、システム制御装置２００は、車両ＥＣＵ２０４に車両を停止するように指示する。システム制御装置２００は、一つ又は複数の車両構成要素２０４に運転者１２への忠告又は警告を与える出力信号を供給してもよい。さらに、システム制御装置２００は、車両１０の運転の変更を引き起こす又は指示する出力信号を送信してもよい。
【００１５】
システム制御装置２００は、車両の照明装置２０６に情報を提供してもよい。照明装置２０６は、システム制御装置２００からの命令によって車両内の照明を調整してもよい。例えば、システム制御装置２００がカメラ２１０にもっと光が必要であると判定した場合、照明装置２０６の光源からの光度を強くする。光源の方向は、運転者の身体の適切な部分を照明する（又は薄暗くする）ように調整されてもよい。システム制御装置２００は、車両において検出される環境光が運転者１２の画像データを作り出すのに十分であるかを判定するために、メモリに格納された所定の閾値を有していてもよい。システム制御装置２００は、車両のマイクロホン又は音響システム２０８に情報を提供してもよい。音響システム２０８は、車両の運転者又は他の乗員に運転者の状態に関する可聴警告を与えてもよい。システム制御装置２００は、生物学的指標を得るためにカメラ２１０にさらに接続される。システム制御装置２００は、車両の運転に関して、車両構成要素２０４にさらに接続されてもよく、画像データに基づいた車両運転者の生物学的又は生理学的状態に関連した状態信号に基づいて、これらの車両構成要素２０４に出力信号を供給してもよい。例えば、状態信号は、車両乗員１２の心拍数又は呼吸数の程度である。
【００１６】
ここで、図３は、典型的なシステム制御装置３００をより詳細に示す。システム制御装置３００は、カメラ３０２と、照明モジュール３０４と、信号相関モジュール３０６と、運転者警報モジュール３０８と、少なくとも一つのプロセッサ３２２と、少なくとも一つのメモリ３２４と、を含む。システム制御装置３００は、例えば、図２に示すような車両運転者監視システムで使用される。様々なモジュールは、メモリ３２４に蓄積されプロセッサ３２２により実行されるソフトウェア命令を備えていてもよい。例えば、照明モジュール３０４は、カメラ３０２からの入力を受信し、照明レベルの変更を決定する。この決定に基づいて、システム制御装置３００の照明モジュール３０４は、一つ以上の光源の光度を強くする又は追加光源のスイッチを入れるための出力信号を照明装置３１０に送信する。あるいは、照明モジュール３０４は、カメラ３０２で撮影された画像データから生物学的指標をカメラ３０２が検出できるように、車両内に利用可能な環境光が十分にあることを判定してもよい。
【００１７】
照明モジュール３０４は、提供された追加照明の光の周波数を決定及び／又は設定してもよい。一部の光の周波数は、他の光の周波数より生物学的指標を幅広く検出することが可能である。特に、黄色／緑色の可視光に対応する約５２０〜５８５ナノメートル（ｎｍ）の周波数を利用した場合、プレチスモグラフィ技術を用いてカメラ３０２で心臓血管の脈波検出を増強させる場合がある。しかし、低環境光の条件下において、この周波数の激しい光を運転者の顔面に投影すると、運転者を邪魔する可能性がある。ヘモグロビンは、可視光線から紫外線への境界域である約４００ｎｍの周波数での吸収性が高いことが知られており、この時、人間の目は光に対する過敏性が低下する。したがって、運転者はこの周波数の光に気付きにくいので、この周波数の補助光源が提供されることがより望ましい。光源は、例えば、インストルメントパネルディスプレイ、センタースタックディスプレイ、ステアリングホイールの照明、ボタン照明又はカメラ３０２といった様々な位置に組み込まれてもよい。光の周波数は、カメラ３０２のシャッターと波動が同期するように、減少させたデューティサイクルでパルス化してもよい。そのような場合、カメラ３０２で検出される画像データのＳＮ比は高く保たれたまま、運転者の顔面に投影される全光量は低くなる。
【００１８】
さらに、カメラ３０２により行われる顔及び目の追跡は、運転者の目への可視光の投影を減らす方向又は形態で運転者の顔面に向かって照明装置３１０内で補助光源をコリメートする又は向けるように用いられてもよい。また、照明装置３１０及びカメラ３０２は、運転者の目に光を向けないようにするために、運転者の手又は他の皮膚露出部に向けられていてもよい。
【００１９】
信号相関モジュール３０６は、カメラ３０２から信号を受信し、信号を分析するように構成される。例えば、信号相関モジュール３０６は、信号を受信し、信号からノイズを分離するためにフィルタリングを利用する。
【００２０】
システム制御装置３００は、運転者警報モジュール３０８をさらに含む。運転者警報モジュール３０８は、照明モジュール３０４及び／又は信号相関モジュール３０６からデータを受信し、分析してもよい。運転者警報モジュール３０８は、運転者の心拍数、呼吸数又は別の生物学的状態の測定値に基づいて、運転者が適切に車両を運転することができない又は適切に車両を運転しない危険性があると判定してもよい。運転者警報モジュール３０８は、判定に関して、車両構成要素２０４又はハプティック警報装置にメッセージを含む出力信号を供給してもよい。
【００２１】
プロセッサ３２２及びメモリ３２４は、本願明細書において記載されている処理を実行するために用いられてもよい。プロセッサ３２２は、メモリ３２４に蓄積されるコンピュータコード又は命令を実行するように構成された汎用プロセッサ、ＡＳＩＣ又は別の適切なプロセッサであってもよい。メモリ３２４は、ハードディスク、フラッシュメモリ、ネットワーク記憶装置、ＲＡＭ、ＲＯＭ、コンピュータに読み込み可能な記憶媒体の組み合わせ又は、ソフトウェアオブジェクト及び／又はコンピュータ命令を蓄積するためのその他の任意の適切なメモリであってもよい。プロセッサ３２２が本願明細書に記載されている様々な動作を完了するためにメモリ３２４に蓄積された命令を実行する時、一般に、プロセッサ３２２は、かかる動作を完了させるようにシステム制御装置３００を構成する。プロセッサ３２２は、システム制御装置３００の様々なモジュールに接続されてもよい、又は、例えば、運転者警報モジュール３０８といったシステム制御装置３００の様々なモジュールを含んでいてもよい。モジュールは、ソフトウェア又はハードウェアであってもよく、アナログ又はデジタルであってもよい。各モジュールは、プロセッサ３２２と類似した追加プロセッサをさらに含んでいてもよい。かかる実施形態において、プロセッサ３２２は省略されてもよい。
【００２２】
また、図４は、システム制御装置３００を用いて照明レベルを調整するための典型的な処理４００のフローチャートを示す。照明モジュール３０４は、工程４０２において、カメラ３０２から車両の画像データを受信し、車両における環境光レベル等の画質が所定の閾値より高いか低いかを判定した後、工程４０４において、カメラ３０２が生物学的状態を判断できる特定の属性を検出又は確認できる適切な照明レベル又は照明設定を決定してもよい。工程４０４で適切な照明設定が決定されると、その照明設定は工程４０６において照明装置２０６といった照明装置に提供されてもよい。一実施例によれば、車両の照明は、その後、工程４０８において、システム制御装置３００からの出力信号に基づいて調整される。図４に示される処理は、反復的又は非反復的であってもよい。
【００２３】
ここで、図５は、別の典型的なシステム制御装置５００を示す。制御装置５００は、例えば、図２に示すような車両運転者監視システムで使用される。カメラ３０２は、カメラ３０２に検出された光をフィルタに通す光学フィルタ５０４に接続されて示されている。光学フィルタ５０４を使用することにより、システム制御装置５００は、対象となるより強い生物学的指標を含む周波数を測定するだけで、カメラ３０２から受信される信号のＳＮ比が向上する場合がある。例えば、ヘモグロビンは、黄色〜緑色の周波数帯域である約５２０〜５８５ｎｍの間と、紫色の周波数帯域である約３９０〜４２０ｎｍの間で光をより強く吸収することが知られている。黄色〜緑色又は紫色の周波数帯域の一部のみを検出するために光学フィルタ５０４を用いて光をフィルタに通すことによって、他の隣接する周波数帯域に含まれるノイズが除去され、ＳＮ比が改善される。その後、改善された信号は、より正確に運転者の状態を判定するために、信号相関モジュール３０６及び運転者警報モジュール３０８に使用されてもよい。システム制御装置５００は、図３に記載したように、プロセッサと、メモリと、をさらに含む。
【００２４】
ここで、図６は、システム制御装置６００を示す。制御装置６００は、例えば、図２に示すような車両運転者監視システムで使用される。図６において、様々なセンサ及び変換器６０２は、システム制御装置６００に接続されて示されており、センサ及び変換器６０２に検出された生物学的指標に関するデータをシステム６００及び信号相関モジュール３０６に提供してもよい。センサ及び変換器６０２からの信号は、車両の運転者の生物学的パラメータを決定するために、カメラ３０２からの信号と相関されてもよい。カメラ３０２のための環境光が十分でない時、システム制御装置６００はセンサ及び変換器６０２からの信号を使用してもよい。例えば、システム制御装置６００は、運転者１２の生物学的パラメータが画像データから導くことができないほど、カメラ３０２で撮影された画像データの画質が悪い（例えば、画質がメモリ３２４に蓄積された所定の閾値より低い）と判定した場合、システム制御装置６００は、運転者１２の生物学的状態に関する状態信号を導くために画像データの画質を改善する又は非画像センサのデータで画像データを補完するように、照明装置２０６を変更してもよい又は非画像センサ２０８からデータを取り出してもよい。
【００２５】
カメラ３０２からの信号は、対象となる生物学的指標を非侵入的に検出する非画像センサのような様々なセンサ６０２からの信号と相関されてもよい。センサに検出された個々の生物学的指標は、例えば、機械的な振動がある場合にＳ／Ｎ比が低い、電界衝撃を受けた場合のＳ／Ｎ比が低い、センサから運転者までの距離が大きくなった場合のＳ／Ｎ比が低い、等の固有の弱点を有している場合がある。しかし、信号が、信号相関モジュール３０６によって、他のセンサ、変換器及びカメラ３０２からのＳ／Ｎ比の低い信号と相関する時、運転者の生理学的状態の改善された指標が信号相関モジュール３０６によって導かれ、運転者警報モジュール３０８に提供されてもよい。
【００２６】
センサ６０２は、一つ以上の圧電センサ６１０を含んでいてもよい。圧電センサ６１０は、車両に配置され、システム制御装置６００に接続されていてもよい。圧電センサ６１０は、車両１０のシート１４，１６、シートベルト１８又はステアリングホイール２２に配置されていてもよく、シート１４，１６、シートベルト１８、ステアリングホイール２２又は運転者１２が接触している車両１０の別の部分に車両１０の運転者１２が加える動圧又は力を測定してもよい。
【００２７】
センサ６０２は、一つ以上の圧力センサ６１２を含んでいてもよい。圧力センサ６１２は、車両に配置され、システム制御装置６００に結合されていてもよい。圧力又は力センサ６１２は、車両のシート１４，１６、シートベルト１８又はステアリングホイール２２に配置されていてもよい。圧力センサ６１２は、空気／流体袋、感圧性インク、感圧性抵抗体又は歪みゲージを含んでいてもよく、シート１４，１６、シートベルト１８、ステアリングホイールリム２２又は運転者１２が接触している車両１０の別の部分に車両１０の運転者１２が加える圧力に関する信号をシステム制御装置６００に提供してもよい。
【００２８】
センサ６０２は、超音波変換器６１４を含んでいてもよい。超音波変換器６１４は、車両に配置されていてもよく、運転者の身体及び／又は衣服に反射した高周波音波に関する信号をシステム制御装置６００に提供してもよい。超音波変換器６１４は、車両１０のシートベルト１８、インストルメントパネル２０、ステアリングホイール２２又は別の範囲に配置されていてもよい。容量的に結合された電界変換器６１６は、車両１０のシート１４，１６、シートベルト１８、ステアリングホイール２２又は別の範囲に配置されていてもよく、電界に関する信号をシステム制御装置６００に提供してもよい。
【００２９】
センサ６０２は、赤外線センサ６１８を含んでいてもよい。赤外線センサ６１８又はフォトダイオードは、例えば、車両１０、ダッシュボード２０又はステアリングホイール２２に含まれていてもよく、運転者１２の顔面又は手に向けられていてもよい。赤外線センサ６１８は、運転者１２から自然に発せられている又は補助若しくは自然の赤外線源により運転者１２から反射された赤外線を測定し、測定された動的赤外線量に関する信号をシステム制御装置６００に提供する。さらに一般的には、光センサ６２０は、車両１０に（例えば、車両のステアリングホイール又はダッシュボードに）も含まれていてもよく、運転者１２の顔面又は手に向けられていてもよい。光センサ６２０は光及び光の変化を検出し、光の変化に関する信号をシステム制御装置６００に提供する。光センサ６２０は、殆ど目に見えない光源により補完される。さらに、光センサ６２０、赤外線センサ６１８及びセンサ６０２のいずれかは、所望の実装形態に応じて、照明装置２０６、非画像センサ２０８、車両構成要素２０４又はカメラ２１０と関連付けられてもよい。
【００３０】
センサ６０２は、音を検出し、運転者１２がたてる音に関する信号をシステム制御装置６００に提供するマイクロホン６２２を含んでいてもよい。マイクロホン６２２は、シート１４，１６、シートベルト１８、ステアリングホイール２２又は別の場所に配置されていてもよい。
【００３１】
システム制御装置６００は、複数の光の周波数を検出するための一つ以上のバンドパスフィルタ６２４を含むように示される。バンドパスフィルタ６２４は、カメラ３０２から提供された画像信号又はカメラ３０２からの画像の一部の画素に適用されてもよい。
【００３２】
信号相関モジュール３０６は、センサ、変換器６０２及びカメラ３０２から様々な信号を受信してもよい。対象となる生物学的指標は、様々な相関技術を用いた信号相関モジュール３０６により識別されてもよい。例えば、ブラインド信号源分離（ＢＳＳ）は、関連した生物学的指標を分離して確認するために用いられる。心拍数や呼吸数等の生理学的パラメータに関しては、信号の期待帯域は既知であるため、バンドパスフィルタ（例えば、バンドパスフィルタ６２４）にかけることによってノイズから信号を分離してもよい。しかし、従来のハードウェア／ソフトウェアによるフィルタリングでは除去できないノイズ源に周波数の重なりがある。したがって、ＢＳＳ技術は、主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）又はスパース成分分析分析（ＳＣＡ）に用いられてもよい。運転者警報モジュール３０８は、信号相関モジュール３０６からの信号を使用し、運転者の現在の状態に応じて警告を出す又は車両の運転に別の変更を行うべきか決定してもよい。ＢＢＳ技術の適用後に、信号を処理し、呼吸数や呼吸速度等のバイオメトリクスに基づいて周波数をさらに引き出すために高速フーリエ変換（ＦＦＴ）技術を適用してもよい。
【００３３】
また、図７は、生物学的指標の質を向上するために非画像センサ２０８のような追加センサ６０２からの信号を使用するための処理７００のフローチャートを示す。システム制御装置６００は、カメラ３０２からの画像データを受信し、画像データの画質が、工程７０４において、車両運転者１２の生物学的パラメータを導くのに十分であるかを判定してもよい。画像データの画質は、例えば、一つ以上のＳＮ比、検出された環境光又は信号強度に基づいていてもよい。画像データが運転者１２の信頼性の高い生物学的パラメータを作り出すのに十分である場合、工程７１０において、車両運転者１２の少なくとも一つの生物学的パラメータが処理により決定される。しかし、例えば、所定の画質の閾値を満たさない又は上回らないということにより、カメラ３０２からの画像データが不十分である場合、システム制御装置６００は、工程７０６において、非画像センサのような一つ以上のセンサ６０２から信号を要求する。工程７０６において、センサ６０２からの追加信号を受信すると、例えば、工程７１０において、信頼性の高い生物学的パラメータを決定するために、処理７００で信号相関モジュール３０６で画像データと非画像データを相関させる。前述のように、決定された生物学的パラメータは、その後、運転者に不適切な状態であることを警告するように車両構成要素２０４に出力信号を送信するために、運転者警報モジュール３０８に使用されてもよい。生物学的パラメータは呼吸数であってもよく、呼吸数があまりにも低い場合、運転者を目覚めさせるために出力信号によりスピーカーから音声コマンドを出力させる。
【００３４】
システム制御装置は、互いに関連して利用される複数の機能を含むように例示されているが、システム制御装置は、述べられている機構又は機能の全てより多く又は少なく選択的に利用してもよい。例えば、他の例示的実施形態では、例示されたセンサより多く又は少なくてもよく、図３，５及び６の実施形態の様々なモジュールが組み合わされる等してもよい。さらに、システム制御装置が、車両以外の環境で使用されてもよい。
【００３５】
各構成要素の特定の形状及び位置が図面に記載されているが、各構成要素は、その構成要素により行われる機能を助長する他の形状又は位置であってもよい。例えば、カメラ及び光源は特定の車両の位置に示されているが、他の例示的実施形態では、検出構成要素が車両の任意の場所に配置されていてもよい。
【００３６】
本開示のため、用語「結合される」は、二つの構成要素を直接又は間接的に互いに（電気的、機械的又は磁気的に）接合することを意味する。かかる接合は、固定式でも可動式でもよい。かかる接合は、二つの構成要素（電気的又は機械的）と任意に追加される中間部材により単一で単体の物体として一体的に定義してもよい。あるいは、二つの構成要素又は二つの構成要素と任意に追加される部材を互いに取り付けて定義してもよい。かかる接合は、永続的であっても取外し可能又は解放可能でもよい。
【００３７】
本開示は、例示的実施形態に関して説明してきたが、開示された主題の趣旨及び範囲から逸脱することのない形式及び詳細における変更を、当業者なら認識するだろう。例えば、異なる例示の実施形態が一つ以上の利点を提供する一つ以上の機構を含むものとして記載されているが、記載された例示において、又は他の変形実施形態において、記載された機構が互いに置き換えられる、又は代わりとして互いに組み合わされることが予想される。本開示の技術が比較的複雑であるので、技術の全ての変更を予見できるとは限らない。例示的実施形態に関して記載される本開示は、できるだけ広範であることを明白に意図されている。例えば、特に断りのない限り、単一の特定要素を説明している例示的実施形態も、複数のそのような特定要素を含んでいる。
【００３８】
例示的実施形態は、機械で実行可能な蓄積された命令又はデータ構造を運ぶ又は有するコンピュータ又は機械で読み取り可能な媒体を備えているプログラム製品を含んでいてもよい。例えば、システム制御装置は、コンピュータで作動するものであってもよい。図の方法で例示されている例示的実施形態は、機械で実行可能な蓄積された命令又はデータ構造を運ぶ又は有するコンピュータ又は機械で読み取り可能な媒体を備えているプログラム製品に制御されてもよい。かかるコンピュータ又は機械で読み取り可能な媒体は、汎用コンピュータ、特殊用途のコンピュータ又はプロセッサを有する他の機械によって、アクセス可能な任意の利用可能な媒体であってもよい。例えば、かかるコンピュータ又は機械で読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又は他の光ディスク装置、磁気ディスク装置又は、機械で実行可能な命令又はデータ構造の形式で所望のプログラムコードを運ぶ又は蓄積するために用いられ、汎用コンピュータ、特殊用途のコンピュータ又はプロセッサを有する他の機械によって、アクセス可能な任意の他の媒体を備えていてもよい。上記の組み合わせも、コンピュータ又は機械で読み取り可能な媒体の範囲内に含まれる。コンピュータ又は機械で実行可能な命令は、例えば、汎用コンピュータ、特殊用途のコンピュータ又は特殊用途の処理機械に特定な機能又は一連の機能を実行させる指示及びデータを含む。発明のソフトウェアによる実装は、様々な接続工程、処理工程、比較工程及び決定工程を達成するために、ルールベースのロジックと他のロジックを用いた標準プログラミング技法により実現され得る。
【００３９】
好ましい例示的実施形態及び他の例示的実施形態に示すシステムの構成要素の構造及び構成は、例示的なものに過ぎない点に留意することも重要である。本開示においては、一定数の実施形態のみを詳細に説明してきたが、記載されている主題の新規な教示及び効果から著しく逸脱することなく多くの変更態様が可能である（例えば、サイズ、寸法、構造、様々な要素の形状及び比率、パラメータの値、取り付け構成、使用される材料、色、方向等におけるバリエーション）ことを、この開示を検討する当業者なら容易に理解するであろう。例えば、一体的に形成されるように示される構成要素は、複数の部品又は構成要素で構成してもよいし、複数の部品として示される構成要素は、一体的に形成されてもよいし、組立ての工程は逆にする又は変更してもよいし、システムの構造物及び／又は部材又はコネクタ又は他の構成要素は変更してもよいし、構成要素間に設けられた調整又は取付位置の性質又は数は変更してもよい。システムの構成要素及び／又はアセンブリは、十分な強度又は耐久性を与える任意の多種多様な材料から構成されてもよいことを留意されたい。したがって、このような全ての変更態様は、本出願の範囲内に含まれることを意図されたものである。任意のプロセス又は方法ステップの順序又は配列は、代替実施例により変更する又は再配列してもよい。好ましい例示的実施形態及び他の例示的実施形態の設計、動作条件及び構成において、本主題の趣旨及び範囲から逸脱することなく、その他の置換、改変、変更及び省略を行うことが可能である。
【符号の説明】
【００４０】
１０  車両
１２  運転者（車両乗員，車両運転者）
１４  シートバック（シート）
１６  シート座部（シート）
１８  シートベルト
２０  インストルメントパネル（インストルメントパネルディスプレイ，ダッシュボード）
２２  ステアリングホイール（ステアリングホイールリム）
２４  バックミラー
２６  ヘッドアップディスプレイ用ボタン照明
２８  センターコンソール
３０  カメラ
４０，２００，３００，５００，６００  システム制御装置（制御装置）
２０４  車両構成要素
２０６，３１０  照明装置
２０８  非画像センサ（追加センサ，追加センシングユニット，音響システム）
２１０，３０２  カメラ
３０４    照明モジュール
３０６  信号相関モジュール
３０８  運転者警報モジュール
３２２  プロセッサ
３２４  メモリ
４００，７００  処理
４０２，４０４，４０６，４０８，７０４，７０６，７１０  工程
５０４  光学フィルタ
６０２  変換器，センサ，追加センサ
６１０  圧電センサ
６１２  圧力センサ，力センサ
６１４  超音波変換器
６１６  電界変換器
６１８  赤外線センサ
６２０  光センサ
６２２  マイクロホン
６２４  バンドパスフィルタ
【図１Ａ】
0005997871.tif 000002
【図１Ｂ】
0005997871.tif 000003
【図２】
0005997871.tif 000004
【図３】
0005997871.tif 000005
【図４】
0005997871.tif 000006
【図５】
0005997871.tif 000007
【図６】
0005997871.tif 000008
【図７】
0005997871.tif 000009