(57)【要約】対象者のデジタル画像をキャプチャするための撮像カメラ及びデジタル画像がキャプチャされている期間中、対象者を照射するように構成された１つ以上の光源、キャプチャされた画像を処理し及び対象者の対象者注意データを生成するように構成されたプロセッサを含み、プロセッサは（ｉ）現在の対象者注意データから前記対象者の主視覚注意レイを生成し、（ｉｉ）前記主視覚注意レイに共通する原点を有する視覚注意レイを生成し、（ｉｉｉ）複数の、あらかじめ定義された関心領域を有する前記シーン（５００）のデジタル表現に、前記視覚注意レイを投影し、（ｉｖ）前記投影された視覚注意レイと、１つ以上の前記関心領域との交点を求め、及び（ｖ）前記交点に基づいて、前記対象者の注意の注意状態を推定するように構成されている、シーン内の対象者の注意状態を推定するシステム。【選択図】図４
2022502757.tif 000002
【特許請求の範囲】
【請求項１】
モニタリングシステムを使用して、シーン内の対象者の注意状態を推定する方法であって、前記モニタリングシステムは、前記対象者の画像をキャプチャし及び前記対象者の対象者注意データを生成する撮像カメラを含み、前記方法は、
（ａ）現在の対象者注意データから前記対象者の主視覚注意レイを生成することであって、前記主視覚注意レイは原点及び方向を含む、主視覚注意レイを生成すること、
（ｂ）前記主視覚注意レイに共通する原点を有する視覚注意レイの角度分布を生成すること、
（ｃ）複数の、あらかじめ定義された関心領域を有する前記シーンのデジタル表現に、前記視覚注意レイを投影すること、
（ｄ）投影された視覚注意レイと、１つ以上の前記関心領域との交点を求めること、及び、
（ｅ）前記交点に基づいて、前記対象者の注意の注意状態を推定すること、
を含む方法。
【請求項２】
前記対象者の注意データは、視線又は頭部姿勢のデータの１つ又は両方を含む
請求項１に記載の方法。
【請求項３】
現在の対象者の注意データの可用性を求める前記最初のステップを含む
請求項２に記載の方法。
【請求項４】
もし、現在の視線データが利用可能なら、前記主視覚注意レイは、現在の視線データに基づいて生成される
請求項３に記載の方法。
【請求項５】
もし、現在の視線データが利用可能でないなら、前記主視覚注意レイは、現在の頭部姿勢データに基づいて生成される
請求項４に記載の方法。
【請求項６】
視覚注意の信頼度を求めるステップを含む
請求項１−５のいずれか１項に記載の方法。
【請求項７】
視覚注意レイの前記角度分布は、少なくとも部分的には、前記信頼度に基づいて分布される
請求項１−６のいずれか１項に記載の方法。
【請求項８】
前記信頼度は、前記撮像カメラの位置及び／又は向きに対する前記主視覚注意レイの角度に基づく
請求項７に記載の方法
【請求項９】
ステップ（ｅ）は、前記投影された視覚注意レイと、前記１つ以上の前記関心領域とのいくつかの交点を求めること
を含む
請求項１−８のいずれか１項に記載の方法。
【請求項１０】
前記推定される注意状態は、前記対象者の注意の尤もらしい関心領域を含む
請求項９に記載の方法。
【請求項１１】
前記対象者の注意の前記尤もらしい関心領域は、前記最も多い交差する視覚注意レイを有する前記関心領域として指定される
請求項１０に記載の方法。
【請求項１２】
ステップ（ｅ）は、特定の関心領域に重み付けを適用すること
を含む
請求項９に記載の方法。
【請求項１３】
前記重み付けは動的に適用される
請求項１２に記載の方法。
【請求項１４】
前記重み付けは最近の対象者の注意行動に基づく
請求項１３に記載の方法。
【請求項１５】
前記対象者の注意の、前記尤もらしい関心領域は、前記視覚注意レイと、前記１つ以上の関心領域との交点の加重和に基づいて最も高い値を有する前記関心領域として求められる
請求項１２−１４のいずれか１項に記載の方法。
【請求項１６】
前記重み付けは、前記関心領域のサイズに基づいて適用される
請求項１２に記載の方法。
【請求項１７】
前記推定された注意状態は、前記対象者の注意が前記１つ以上の関心領域の外であるという指定を含む
請求項１−１６のいずれか１項に記載の方法。
【請求項１８】
前記視覚注意レイの分布はガウス分布である
請求項１−１７のいずれか１項に記載の方法。
【請求項１９】
前記分布は、人間の慣例的な眼球運動範囲に基づく標準偏差を有する
請求項１−１８のいずれか１項に記載の方法。
【請求項２０】
前記分布は、前記信頼度のリアルタイムの推定に基づく標準偏差を有する
請求項１−１８のいずれか１項に記載の方法。
【請求項２１】
前記信頼度は、前記視覚注意レイのＲＭＳ誤差を含む
請求項６−８のいずれか１項に記載の方法。
【請求項２２】
請求項１−２１のいずれか１項に記載の方法を実行するように構成されたモニタリングシステム。
【請求項２３】
シーン内の対象者の注意状態を推定するためのシステムであって、前記システムは、
前記対象者のデジタル画像をキャプチャするための撮像カメラ、
前記デジタル画像がキャプチャされている期間中、前記対象者を照射するように構成された１つ以上の光源、及び
プロセッサであって、前記プロセッサは、
前記キャプチャされた画像を実行し及び前記対象者の対象者注意データを生成し、
現在の対象者注意データから前記対象者の主視覚注意レイを生成し、
前記主視覚注意レイに共通する原点を有する視覚注意レイの角度分布を生成し、
複数の、あらかじめ定義された関心領域を有する前記シーンのデジタル表現に、前記視覚注意レイを投影し、
前記投影された視覚注意レイと、１つ以上の前記関心領域との交点を求め、及び
前記交点に基づいて、前記対象者の注意の注意状態を推定するように構成されているプロセッサ
を含むシステム。
【請求項２４】
前記対象者注意データは、視線又は頭部姿勢のデータの１つ又は両方を含む
請求項２３に記載のシステム。
【請求項２５】
前記プロセッサはさらに、視覚注意の信頼度を求めるように構成されている
請求項２３又は２４に記載のシステム。
【請求項２６】
視覚注意レイの前記角度分布は、少なくとも部分的には、前記信頼度に基づいて分布される
請求項２５に記載のシステム。
【請求項２７】
前記信頼度は、前記撮像カメラの位置及び／又は向きに対する前記主視覚注意レイの角度に基づく
請求項２６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モニタリングシステムに関し、車両ドライバーのような、モニタされている対象者の注意状態を推定するためのシステム及び方法に特に関する。いくつかの実施形態がその応用例を特に参照してここでは説明されるが、本発明はそのような使用分野に限定されず、より広い文脈でも応用可能である。
【背景技術】
【０００２】
明細書を通して背景技術についての任意の議論は、そのような技術が周知であり、又は当該分野における広く一般的に知られた知識の一部を成すという自認としては決して考えられるべきではない。
【０００３】
ドライバーモニタリングシステムは、ドライバーの頭の姿勢及び視線の方向を推定することに依拠する。しかし、これらのパラメータを有用にするためには、ドライバーの注意がどこに投影されているかを特定するために、シーンジオメトリを正確に知る必要がある。生の視線及び頭部姿勢のデータは、ノイズが多く、及び不確実性の程度のばらつきと関連付けられる。この不確実性は、ドライバーの注意状態の推定における誤差に結びつく。
【０００４】
本発明者は、車両ドライバー又はモニタされる他の対象者の注意状態を、より正確に又は効率的に推定したいという願望があることを特定した。
【発明の概要】
【０００５】
本発明の目的は、先行技術の欠点の少なくとも１つを克服又は緩和させ、又は有用な代替手段を提供することである。
【０００６】
本発明の第１局面によれば、モニタリングシステムを使用して、シーン内の対象者の注意状態を推定する方法であって、前記モニタリングシステムは、前記対象者の画像をキャプチャし及び前記対象者の対象者注意データを生成する撮像カメラを含み、前記方法は、
（ａ）現在の対象者注意データから前記対象者の主視覚注意レイを生成することであって、前記主視覚注意レイは原点及び方向を含む、主視覚注意レイを生成すること、
（ｂ）前記主視覚注意レイに共通する原点を有する視覚注意レイの角度分布を生成すること、
（ｃ）複数の、あらかじめ定義された関心領域を有する前記シーンのデジタル表現に、前記視覚注意レイを投影すること、
（ｄ）投影された視覚注意レイと、１つ以上の前記関心領域との交点を求めること、及び、
（ｅ）前記交点に基づいて、前記対象者の注意の注意状態を推定すること
を含む方法が提供される。
【０００７】
いくつかの実施形態では、前記対象者の注意データは、視線又は頭部姿勢のデータの１つ又は両方を含む。
【０００８】
いくつかの実施形態では、前記方法は、現在の対象者の注意データの可用性を求める前記最初のステップを含む。もし、現在の視線データが利用可能なら、前記主視覚注意レイは、現在の視線データに基づいて生成される。もし、現在の視線データが利用可能でないなら、前記主視覚注意レイは、現在の頭部姿勢データに基づいて生成される。
【０００９】
いくつかの実施形態では、前記方法は、視覚注意の信頼度を求めるステップを含む。いくつかの実施形態では、視覚注意レイの前記角度分布は、少なくとも部分的には、前記信頼度に基づいて分布される。いくつかの実施形態では、前記信頼度は、前記撮像カメラの位置及び／又は向きに対する前記主視覚注意レイの角度に基づく。
【００１０】
いくつかの実施形態では、ステップ（ｅ）は、前記投影された視覚注意レイと、前記１つ以上の前記関心領域とのいくつかの交点を求めることを含む。好ましくは、前記推定される注意状態は、前記対象者の注意の尤もらしい関心領域を含む。いくつかの実施形態では、前記対象者の注意の前記尤もらしい関心領域は、前記最も多い交差する視覚注意レイを有する前記関心領域として指定される。
【００１１】
いくつかの実施形態では、ステップ（ｅ）は、特定の関心領域に重み付けを適用することを含む。前記重み付けは動的に適用される。前記重み付けは最近の対象者の注意行動に基づく。よって、いくつかの実施形態では、前記対象者の注意の、前記尤もらしい関心領域は、前記視覚注意レイと、前記１つ以上の関心領域との交点の加重和に基づいて最も高い値を有する前記関心領域として求められる。前記重み付けは、前記関心領域のサイズに基づいて適用される。
【００１２】
前記推定された注意状態は、前記対象者の注意が前記１つ以上の関心領域の外であるという指定を含む。
【００１３】
いくつかの実施形態では、前記視覚注意レイの分布はガウス分布である。いくつかの実施形態では、前記分布は、人間の慣例的な眼球運動範囲に基づく標準偏差を有する。いくつかの実施形態では、前記分布は、前記信頼度のリアルタイムの推定に基づく標準偏差を有する。前記信頼度は、前記視覚注意レイのＲＭＳ誤差を含む。
【００１４】
本発明の第２局面に従って、第１局面に従って方法を実行するように構成されたモニタリングシステムが提供される。
【００１５】
本発明の第３局面に従って、シーン内の対象者の注意状態を推定するためのシステムが提供され、前記システムは、前記対象者のデジタル画像をキャプチャするための撮像カメラ、前記デジタル画像がキャプチャされている期間中、前記対象者を照射するように構成された１つ以上の光源、及びプロセッサであって、前記プロセッサは、前記キャプチャされた画像を実行し及び前記対象者の対象者注意データを生成し、現在の対象者注意データから前記対象者の主視覚注意レイを生成し、前記主視覚注意レイに共通する原点を有する視覚注意レイの角度分布を生成し、複数の、あらかじめ定義された関心領域を有する前記シーンのデジタル表現に、前記視覚注意レイを投影し、前記投影された視覚注意レイと、１つ以上の前記関心領域との交点を求め、及び前記交点に基づいて、前記対象者の注意の注意状態を推定するように構成されているプロセッサを含むシステムである。
【００１６】
いくつかの実施形態では、前記対象者注意データは、視線又は頭部姿勢のデータの１つ又は両方を含む。
【００１７】
いくつかの実施形態では、前記プロセッサはさらに、視覚注意の信頼度を求めるように構成されている。いくつかの実施形態では、視覚注意レイの前記角度分布は、少なくとも部分的には、前記信頼度に基づいて分布される。いくつかの実施形態では、前記信頼度は、前記撮像カメラの位置及び／又は向きに対する前記主視覚注意レイの角度に基づく。
【図面の簡単な説明】
【００１８】
本開示の好ましい実施形態が、添付の図面を参照して、例示としてのみ、ここで説明される。
【図１】図１は、そこに装着されたカメラ及び２つのＬＥＤ光源を含むドライバーモニタリングシステム有する車両の内部の透視図である。
【図２】図２は、そこに装着された図１のドライバーモニタリングシステムを有する自動車のダッシュボードのドライバーが見た透視図の表現である。
【図３】図３は、図１及び２に従った、ドライバーのモニタリンスシステムの概略的機能構成である。
【図４】図４は、ドライバーの注意状態を求める方法での最初のステップを図示したプロセスフロー図である。
【図５】図５は、車両のドライバーの視点から見たドライビングシーンの概略図である。
【図６】図６は、関心領域を図示している図５のドライビングシーンの概略図である。
【図７】図７は、前方の道路領域の動的なメッシュ表現及び対応するその道路領域の周りの関心領域の概略図である。
【図８Ａ】図８Ａは、太字で示される主視覚注意レイの周りの正規分布に従って分布されているように、視覚注意レイの位置の２次元の分布の側面図を図示している。
【図８Ｂ】図８Ｂは、「Ｘ」として表現される主視覚注意レイとともに、図８Ａの分布の断面図を図示している。
【図８Ｃ】図８Ｃは、（１０°,２５°）の平均x、y角度及び５°の標準偏差を有する正規分布に従って分布された４５０個の視覚注意レイのｘ軸及びｙ軸（角度を表現している）のグラフを図示している。
【図９】図９は、ドライバーの頭が動いている間の、視覚注意レイの分布の制約を図示している。
【図１０】図１０は、ドライビングシーンでの、視覚注意レイの交差点の投影を図示している。
【図１１】図１１は、ドライバーの注意状態を推定する方法の例示的な実現における制御フローの決定木を図示している。
【発明を実施するための形態】
【００１９】
本明細書は、自動車、トラック又は鉱山車両のような車両のドライバーをモニタするためのドライバーモニタリングシステムに関して説明する。本発明はまた、航空機、水上バイク、列車及びフライトシミュレーターの操縦のような、他の状況における対象者（subjects）の注意のモニタリングにも適用できることが理解されよう。
［システムの概観］
【００２０】
まず図１−図３を参照すれば、車両１０４の運転中に、車両ドライバー１０２の画像をキャプチャするためのドライバーモニタリングシステム１００が図示されている。システム１００は、顔検出、顔特徴検出、顔認識、顔特徴認識、顔追跡、又は人の目を追跡するような顔特徴追跡のような、キャプチャされた画像に対して、様々な画像処理アルゴリズムを実行するようにさらに構成されている。例示的な画像処理手順は、「Facial Image Processing System」と題され、Seeing Machines Pty Ltd に譲渡されたEdwardsらに対する米国特許７，０４３，０５６（以下、「Edwardsら」）に記載されており、その内容は、相互参照によってここで援用される。
【００２１】
図２で最もよく図示されているように、システム１００は、車両のダッシュボード１０７の計器ディスプレイ上又は計器ディスプレイ内に配置され、及び１人以上の人間の顔の特徴を識別し、位置を特定し、及び追跡するように、赤外線波長範囲内で、ドライバーの顔の画像をキャプチャするように方向付けされている、イメージングカメラ１０６を含む。
【００２２】
カメラ１０６は、光電性画素の２次元アレイを有し、オプションとして距離つまり深度を決定する（１つ以上の位相検出要素を通してのような）能力を有する従来のＣＣＤ又はＣＭＯＳベースのデジタルカメラであり得る。光電性画素は、赤外領域の電磁放射を検出することができる。カメラ１０６は、３次元のシーンを画像化できる、タイムオブフライト（time-of-flight）カメラ又は他の走査又は距離ベースのカメラのような３次元カメラであってもよい。他の実施形態では、カメラ１０６は、ステレオ構成で動作し、深度を抽出するよう較正された１対の同様のカメラによって置き換えられてもよい。カメラ１０６は、赤外波長領域で画像化するよう好ましくは構成されるが、代替の実施形態においては、カメラ１０６は、可視光領域で画像化してもよいことが理解されよう。
【００２３】
図２をさらに参照すれば、システム１００は、車両のダッシュボード１０７上のカメラ１０６に近接したそれぞれの位置に水平方向に対称的に配置された発光ダイオード（ＬＥＤ）１０８及び１１０の形をとる１対の赤外光源も含む。ＬＥＤ１０８及び１１０は、カメラ１０６が画像をキャプチャしている時に、ドライバーの顔又は顔の特徴の高品質な画像を得るために、ドライバーの顔を向上させるよう、ドライバー１０２を赤外放射で照らすよう構成されている。赤外領域でのカメラ１０６及びＬＥＤ１０８及び１１０の動作は、ドライバーに対する視覚的な、注意力を散漫にさせる物を減らす。ＬＥＤ１０８及び１１０は、連続的に、間欠的に、又は周期的に動作され得て、代替としては、画像に存在するグレアを減らすのに動作上の優位性を提供するストロボのように動作され得る。カメラ１０６及びＬＥＤ１０８，１１０の動作は、コンピュータプロセッサ又はマイクロプロセッサ及びカメラ２０１からのキャプチャされた画像を記憶及びバッファリングするためのメモリを含む関連付けられたコントローラ１１２によって制御される。他の実施形態では、光源の異なるタイプがＬＥＤの代わりに用いられ得る。
【００２４】
図２で最もよく図示されているように、カメラ１０６及びＬＥＤ１０８及び１１０は、共通のハウジングを有する単一のユニット１１１として製造され又は組み立てられ得る。このユニット１１１は、車両ダッシュボード１０７内に取り付けられているように示され、車両の製造の間に設置されてもよく、又はアフターマーケット製品として後で取り付けられてもよい。他の実施形態においては、ドライバーモニタリングシステム１００は、車両内のドライバー、対象者、及び／又は同乗者の頭部又は顔の特徴の画像をキャプチャするのに適する任意の位置に装着される１つ以上のカメラ及び光源を含み得る。例として、カメラ及びＬＥＤは、車両のステアリングコラム、リアビューミラー、センターコンソール、又はドライバー側フロントピラー上に配置され得る。またある実施形態では、システムにおいて、２つよりも多い光源が採用され得る。示されている実施形態では、第１及び第２光源は、それぞれ単一のＬＥＤを含む。他の実施形態では、それぞれの光源は、空間的な構成で配置されている複数の個別ＬＥＤをそれぞれ含み得る。
【００２５】
示されている実施形態において、ＬＥＤ１０８及び１１０は、約２ｃｍから１０ｃｍの範囲の距離で水平に好ましくは間隔を空けられており、約３０ｃｍから８０ｃｍだけドライバーの顔から離れて配置されている。キャプチャされた画像に赤目現象が存在しないように、ＬＥＤ群がカメラから軸が十分にずれているように配置される限り、ＬＥＤ１０８及び１１０の間隔は変えてもよい。例として、赤目現象（又は「明瞳孔」状態）は、典型的には、９８０ｎｍの波長で動作する場合、ＬＥＤがカメラの光軸から約３度よりも大きい角度でドライバーを照射するときには、回避され得る。
【００２６】
より一般的には、赤目現象を回避することは、単純な照射角度より複雑である。本発明のいくつかの実施形態は、赤目現象を回避し及び「明瞳孔」状態において操作するよう特に構成される。そのような条件は、光軸に沿ってドライバーから見ると、光源がカメラから特定の角度以上に光源が配置されていることを必要とするだけではなく、
・瞳孔の拡張（大きさ）、
・カメラに対する視線の角度、
・対象者の年齢と民族性、及び
・光の波長
を含む、多くの他の要因にもまた影響される。
【００２７】
暗瞳孔状態では、赤目効果は、除去されるか又は大幅に低減され、及び眼鏡の鏡面反射は追跡を劣化させるほどには重ならない。暗瞳孔状態で操作するドライバーモニタリングシステムは、より高い瞼及び視線の、可用性及び精度の点から、向上された性能を提供し得る。いくつかの実施形態では、システム１００は、ＬＥＤ群のうちの１つだけ又はそのサブセットが暗瞳孔状態で配置される時に動作するように構成される。
【００２８】
ここで図３を参照すれば、システム１００の機能的要素が概略的に図示されている。システムコントローラ１１２は、システム１００のセントラルプロセッサとして機能し及び下で記載されるように、いくつかの機能を実行するように構成される。コントローラ１１２は、車両１０４のダッシュボード１０７内に配置され、及び車両のオンボードコンピュータと、結合され得て又は一体化され得る。別の実施形態では、コントローラ１１２は、カメラ１０６及びＬＥＤ１０８及び１１０とともに、ハウジング又はモジュール内に配置され得る。ハウジング又はモジュールは、アフターマーケット製品として販売され、車両のダッシュボードに取り付けられ、及びその車両での使用のためにその後、較正され得る。利用可能なアフターマーケットのドライバーモニタリングシステムの１つの例は、Seeing Machines Ltdによって開発されたガーディアン（Guardian）（商標）システムである。フライトシュミレータのような更なる実施形態では、コントローラ１１２は、パーソナルコンピュータのような外部コンピュータ又はユニットであり得る。
【００２９】
コントローラ１１２は、例えばレジスタ及び／又はメモリからの電子データを処理して、その電子データを例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、あらゆる形態のコンピュータ処理装置又は装置の一部として実装され得る。図３に図示されるように、コントローラ１１２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的に消去可能なプログラム可能なリードオンリーメモリ（ＥＥＰＲＯＭ）及び当業者にはすぐに分かるはずである他の同等なメモリ又は記憶システムのような、メモリ１１６に記憶されたコードを実行するマイクロプロセッサ１１４を含む。
【００３０】
コントローラ１１２のマイクロプロセッサ１１４は、ビジョンプロセッサ１１８及びデバイスコントローラ１２０を含む。ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、両方ともマイクロプロセッサ１１４によって実行される機能的要素を表す。しかし、代替の実施形態では、ビジョンプロセッサ１１８及びデバイスコントローラ１２０は、カスタムの、つまり特化された回路（例えば、フィールドプログラマブルゲートアレイ）と併用されるマイクロプロセッサのような別個のハードウェアとして実現され得ることが理解されよう。
【００３１】
ビジョンプロセッサ１１８は、対象者注意データに基づき、ドライバーモニタリングを実行するために、キャプチャされた画像を処理するように構成される。例えば、対象者注意データは、モニタリング環境における３次元の頭部姿勢及び／又はドライバー１０２の視線の位置／向きを含み得る。これを達成するために、ビジョンプロセッサ１１８は、１つ以上の視線決定のアルゴリズムを利用する。これは、例として、Edwardsらに記載された方法を含み得る。
【００３２】
図示されていないが、システム１００はまた、前方の道路シーンを画像化するように配置されたダッシュマウント、リアビューミラーマウント又はフロントグリルマウントカメラのような、前に向いたカメラを含み得る。この前向きのカメラ又はカメラ群は、カメラがコントローラ１２０によって制御され及び前方の道路シーンのキャプチャされた画像がビジョンプロセッサ１１８によって処理され得るように、システム１００と統合され得る。
【００３３】
ビジョンプロセッサ１１８によって実行されるドライバーモニタリングアルゴリズムの１つの出力は、統一された視線レイ（unified gaze ray）である。このレイは、ドライバー１０２の現在の注意の向きを表しており、及び３次元空間の原点と、３次元空間の向きを示す３次元方向単位ベクトルとを示す３次元要素ベクトルとして表現され得る。統一された視線レイは、現在の画像フレーム中のデータの利用可能性に応じて、視線データ及び／又は頭部姿勢データを含むがこれらに限定されない対象者注意データから形成され得る。例として、もし、ドライバーの両眼の視線データが取得され得る（両眼が見えており及び開いている）なら、統一された視線レイは、２つの眼の中心の間の中間点に原点を有し得る。もし、片方の眼が見えていないなら、統一された視線レイは、片方の見えている眼にその原点を有し得る。もし、どちらの眼も見えていないなら、統一された視線レイは、頭部姿勢の向きによって求められ得て及びドライバーの頭部の領域に中心を配置され得る。
【００３４】
ビジョンプロセッサ１１８はまた、ドライバーが安全に車両を運転することを妨げ得る眠気又は他の問題を検出するために、閉眼、瞬目頻度（blink rate）のようなドライバー５の属性を求めること及びドライバーの頭部の動きを追跡することを含む、様々な他の機能も実行し得る。これらのさまざまな他の特定された属性もまた、対象者注意データを形成し得る。
【００３５】
ビジョンプロセッサ１１８で取得された生の画像データ、視線位置データ及び他のデータは、メモリ１１６に記憶される。
【００３６】
デバイスコントローラ１２０は、シャッター速度、イメージセンサ露光／積分時間のような、カメラ１０６のさまざまなパラメータを制御し、及びカメラ１０６の露光／積分時間に同期して順序付けられたやり方でＬＥＤ１０８及び１１０を選択的に発光させるように構成される。例えば、ストロボシーケンスを実行するために、ＬＥＤ１０８は奇数画像フレームの間に発光するように制御され得て及びＬＥＤ１１０は偶数画像フレームの間に発光するように制御される。Ｌ，Ｌ，Ｒ，Ｒ，Ｌ，Ｌ，Ｒ，Ｒ，…又はＬ，Ｒ，０，Ｌ，Ｒ，０，Ｌ，Ｒ，０，…のような他の照射シーケンスがデバイスコントローラ１２０によって実行され得て、ここで「Ｌ」は、左に配置されたＬＥＤ１０８を表し、「Ｒ」は、右に配置されたＬＥＤ１１０を表し、「０」は、両方のＬＥＤが消灯している間にキャプチャされた画像フレームを表す。ＬＥＤ１０８及び１１０は、好ましくはデバイスコントローラ１２０に電気的に結合されるが、ブルートゥース（商標）又はWiFi（商標）通信のような無線通信を通してコントローラ１２０によって無線で制御されてもよい。
【００３７】
よって、車両１０４の運転の間、デバイスコントローラ１２０は、カメラ１０６をアクティベートして、ドライバー１０２の顔の画像をビデオシーケンスとしてキャプチャする。ＬＥＤ１０８及び１１０は、画像キャプチャの間にドライバーを照射するために、カメラ１０６によってキャプチャされる連続した画像フレームと同期して、点灯及び消灯される。連携して動作することで、デバイスコントローラ１２０及びビジョンプロセッサ１１８は、車両１０４の通常運転の間の眠気、ドライバーの注意、及び頭部及び視線の位置のようなドライバーの状態情報を得るために、ドライバーの画像をキャプチャすること及び処理することを提供する。
【００３８】
システムの追加の要素はまた、ユニット１１１の共通ハウジング内に含まれてもよく、又は他の追加の実施形態による別個の要素として提供されてもよい。ある実施形態では、コントローラ１１２の動作は、カメラ１０６及びＬＥＤ１０８及び１１２に結合されているオンボード車両コンピュータシステムによって実行される。
［ドライバー注意状態の判定］
【００３９】
ここで図４を参照すれば、システム１００のようなドライバーモニタリングシステムを使用している、運転シーン内のドライバー１０２の注意状態を推定する方法４００が図示されている。方法４００は、ビジョンプロセッサ１１８によって実行される。運転シーンは、車両１０２の内部、前方の道路シーンの風景、及びサイドミラー及びリアビューミラーのような他の領域及び車両側方の道路シーンを含み得る。ドライバーから見た運転シーン５００の例は、図５に図示される。
【００４０】
方法４００を実行するために、初期設定のステップ４０１が実行される。ステップ４０１で、運転シーン５００は、シーン内の対象者及び領域の３次元ジオメトリが既知であるように、デジタル的に表される。シーンジオメトリは、少なくとも部分的には、自動車メーカーによって提供されるＣＡＤモデルのような車両の３次元モデルから求められ得る。シーンジオメトリはまた、シーン５００内又は周囲のカメラ１０６又は他のカメラによってキャプチャされたシーン５００の１つ以上の２次元又は３次元画像から求められ得る。どちらの実施形態においても、シーン５００のデジタル表現は、シーン５００内の既知の特徴の位置及び向きを含み得て、それは基準座標フレームにおいて定義され得る。例として、既知の特徴は、個々の車両のダッシュボード計器、定義可能な車室の輪郭、エッジ、又はオブジェクト又は車両キャビンそのものの全体を含み得る。これら特徴は、車両フレームの領域に対して定義される車両の基準座標系のような、ある基準座標系に対して時間及び空間において固定され得る。
【００４１】
シーンジオメトリの登録における例示的な方法は、「Systems and methods for identifying pose of cameras in scene」と題され及びSeeing Machines Limitedに譲渡されたNobleらに対するＰＣＴ特許出願公開ＷＯ２０１８／００００３７  Ａ１に記載されている（以下、「Nobleら」）。Nobleらの内容は、ここに相互参照によって援用される。例として、基準座標系は、直交座標系を完成させるために、車両のドライブシャフトに沿うように向きを一致させたｚ軸（長手方向の寸法）、右輪が正方向にある状態で前車軸に沿うように向きを一致させたｘ軸（横方向の寸法を定義している）、及び普通は垂直方向の寸法を定義するy軸を有するものとして定義され得る。
【００４２】
最初のステップ４０１で、カメラ１０６の３次元の位置及び向き（集合的にカメラの姿勢を表現している）は、シーン５００と同じ基準座標系でも求められる。シーン内でカメラの姿勢を求める方法は、Nobleらにも記載されている。
【００４３】
シーン５００は、少なくとも１つの及び好ましくはいくつかの関心領域（ＲＯＩｓ）を含み、それらは、ドライバー１０２による共通視野の物体又は領域を表現するためにシーン５００内でデジタル的に指定されている領域である。関心領域の例は、図６に図示されており及び車両計器クラスタＲＯＩ６０１、センターコンソールＲＯＩ６０３、前方道路中心ＲＯＩ６０５、左側ミラーＲＯＩ６０７、右側ミラーＲＯＩ６０９、リアビューミラーＲＯＩ６１１、ＨＵＤディスプレイ６１３、助手席側オンロードＲＯＩ６１５，ドライバーの膝上ＲＯＩ６１７及び助手席足元スペースＲＯＩ６１９を含む。さまざまな他のＲＯＩは、シーン、車両モデル及びその中に含まれる物体によって指定され得る
【００４４】
ＲＯＩ群は、車両の基準座標系の座標で指定された、適切な寸法を有するポリゴンジオメトリ又はメッシュ領域としてシーン５００内で表現され得る。さらに、ＲＯＩ群は静的又は動的であり得る。静的なＲＯＩ群は、リアビューミラー及びサイドミラーのように、車両１０４の内部又は車両１０４上に（固定された車両の標準座標系を使用して）、固定された物体又は領域を含む。動的なＲＯＩ群は、車両の標準座標系に関して、時間とともにサイズ、位置及び／又は形状が動的に変化する物体又は領域を含む。動的領域の例は、前方又は側面の窓を通して、又はリアビューミラーを通してドライバーによって見られる前方の道路シーン及び対象者を含む。
【００４５】
例として、道路シーンのＲＯＩ６０５は、前方の道路を表現するユニークで動的なメッシュアイテムによって定義され得る。これは、図７で概略的に図示されている。メッシュのジオメトリは、現在の道路状況をパラメータ化した前方カメラ（ダッシュマウントカメラ等）からのフレームごとの入力に基づいて、処理中に変形される。これは、曲率、勾配、レーン数等のような特質を考慮して行われる。図７に図示されているように、道路のメッシュは、水平な路面そのものを含み得て、また運転関連の活動が発生する道路上の中央地平線をキャプチャする垂直面をも含み得る。
【００４６】
図４に戻れば、ステップ４０１は、主ループ中には実行されない初期の構成ステップを表現しているので、破線のボックスで図示される。とはいえ、ステップ４０１は、シーンジオメトリを再較正するために、所定の間隔で実行され得る。
【００４７】
上で記載されたシステムオペレーションを使用して、カメラ１０６はドライバー１０２の画像をキャプチャし及びドライバー注意データを生成するように構成される。ドライバー注意データの生成は、好ましくは、ドライバー１０２の片方の眼又は両眼の視線データ及び／又は頭部姿勢のデータを求めることを含み、それはEdwardsらに記載されているようなドライバーモニタリングアルゴリズムから求められる。しかし、ドライバー注意データは他の測定値を包含することが理解されよう。方法４００は、ビジョンプロセッサ１１８によって、リアルタイム又はほぼリアルタイムで実行される。
【００４８】
ステップ４０２で、ビジョンプロセッサ１１８は、現在の対象者注意データからドライバー１０２の主視覚注意レイ（primary visual attention ray）を生成する。上で述べられたように、主視覚注意レイは、ドライバー１０２上の点を表現する原点から投影された、ドライバーの注意の現在の向きを表現する方向ベクトル成分を含む。ある実施形態では、主視覚注意レイは、上で述べられた統一された視線レイであり得る。例として、主視覚注意レイは、＜０．７，０．５，１＞の原点及び＜１，−０．２，−０．８＞の向きを有するように表現され得る。
【００４９】
ステップ４０２は、次に続くステップを実行するために、現在の視覚注意データの利用可能性を求めることを含む。これは、視線データが、現在の画像フレームに対して又は所定の期間内の最近の画像フレーム群に対して利用可能であるか否かを求めるために、ビジョンプロセッサ１１８及び／又はメモリ１１６に質問することを含む。現在の視線データが利用可能である場合、主視覚注意レイは、現在の視線データに基づいて、統一された視線レイとして生成され得る。現在の視線データが利用可能でない場合、主視覚注意レイは、現在の頭部姿勢のデータに基づいて生成され得る。
【００５０】
オプションのステップ４０３で、視覚注意の信頼度が主視覚注意レイについて求められる。この信頼度は、０及び１の間の又は他の任意の範囲の有理数として指定され得て及びキャプチャされた画像からビジョンプロセッサ１１８によって計算された１つ以上の定義可能な要素に基づき得る。信頼度を求めるために使用される例示的要素としては、以下がある。
・ドライバーの眼（視線のため）又は鼻の穴、目尻及び口角のような他の顔の特徴（頭部姿勢のため）の可視性。これは、サングラスの有無を含み得る。
・眼の閉じ具合。これは、片方の眼又は両眼について計算され得て及びあらかじめ定義された範囲内の数字として求められ得る（例えば、０と１との間）。
・処理されている現在の画像に反射及びグレアがあること。これらは、画像又は画像の領域における明るさ及びコントラストの測定を通して定量化され得る。
・カメラ１０６に対するドライバーの頭部の位置。ドライバーの頭部が、カメラ１０６の中心カメラ姿勢軸（central camera pose axis）からさらにずれていると、信頼度は低下する。
・カメラ１０６に対するドライバーの頭部の回転。ドライバーの頭部が、カメラ１０６の中心カメラ姿勢軸に対してさらに回転すると、信頼度は低下する。
・これまでのドライバーの注意行動。もし、ドライバー１０２が、予想可能な頭部の動きを実行しているように検出されたなら、信頼度は、移動の向きにおいて向上され得る。
を含む。
【００５１】
信頼度を求めることは、それに続くステップはこのステップなしで実行され得るという点においてオプションである。
【００５２】
信頼度は、視覚注意レイのＲＭＳ誤差又は偏差に基づいて定義され得る。キャプチャされた画像において特定された輝き（glint）（角膜の鏡面反射）を使用しているデータからＲＭＳエラーのリアルタイム又はリアルタイムに近い検証を得ることが可能である。画像において輝きを求める１つの方法は、「Method and apparatus for eye detection from glints」と題されSeeing Machines Limitedに譲渡されたRougeauxへのＰＣＴ特許出願公開ＷＯ２０１５/０２７２８９  Ａ１に記載されている。
【００５３】
ステップ４０４で、視覚注意レイの分布が生成される。主視覚注意レイのように、視覚注意レイの分布の個々のレイは、原点を表現する３次元位置ベクトル及び向きを表現する３次元方向ベクトルのように指定される。分布されたレイは、主視覚注意レイと同じ３次元の原点を有する。
【００５４】
この分布は、ステップ４０２で生成された主視覚注意レイを中心としてその周辺に位置し、及びこのレイは、あらかじめ定義された分布関数に従ってシーン内の向きに分布される。例として、視覚注意レイの角度の分布は、正規分布又はガウス分布であり得る。さまざまな他のタイプの分布がここで実現され得て、及びそうする選択は当業者の技術の範囲内であることが理解されよう。
【００５５】
この分布は、主視覚注意レイが分布の平均値又は期待値を形成するように定義され得る。視覚注意データが視線データを含む場合、分布の標準偏差は、より高い信頼度がより小さい標準偏差になり及びそれゆえ視線レイの角度の広がりがより小さくなるように、ステップ４０３で求められた信頼度に基づき得る。ある実施形態では、標準偏差はステップ４０３で求められた信頼度と等しい。視覚注意データが頭部姿勢を含む場合、分布の標準偏差は、人間の慣例的な眼球運動範囲（ocular motor range）に基づき得る。これは、人の視線方向に対する、頭部姿勢の間の典型的な最大偏差の尺度である。例として、慣用的な眼球運動範囲は、約２０°±１０°であり得る。
【００５６】
視覚注意レイの分布は、あらかじめ定義された統計上の結果の数字を取り出すために、正規分布又はガウス確率分布に制限されたモンテカルロ型の方法を適用することによって生成され得る。
【００５７】
視覚注意レイの正規分布の例は、図８Ａ−Ｃで図示されている。図８Ａは、分布の側面図を示し、主視覚注意レイは太字で表示されている。図８Ｂは、主視覚注意レイ（太字で表示される）の周りの正規分布に従って分布されているように、結果として生じる視覚注意レイの位置の２次元の分布を図示している。図８Ｃは、（１０°,２５°）の平均x、y角度及び５°の標準偏差を有する正規分布に従って分布された４５０個のサンプルの視覚注意レイのｘ軸及びｙ軸（角度を表現している）のグラフを図示している。３次元のシーンにおいて、角度は３次元のベクトルとして表現されることが理解されよう。
【００５８】
いくつかの状況において、視覚注意レイの分布は、異なる次元においては均等には制約されないかもしれない。例えば、ドライバーの過去の行動は、過去の画像の注意状態からモニタされ得て及びこれは視覚注意レイの分布がどのように定義されるかに関係し得る。これは、信頼度を求めること又は分布を生成する時（適切な制約条件を通して）に考慮され得る。
【００５９】
例として、及び図９を参照すると、ドライバー１０２は、一連の過去の画像を通して、頭部を左右に動かしているかもしれない。頭部の向きは、最大限の量まで変化させることにより、視線の向きに遅れる傾向があることが知られている。例えば、人間は、頭が向いているところから６０°離れたところまで目を回転させることは不快である。２０°を超える偏差はまれである。結果として、頭部回転の変化の向きは、視覚注意の変化の向きと合致していることが期待される。最初及び最後の視線固定の正確な視線角度は不明であるが（予測因子として頭部回転のみを使用する場合）、向きはある程度の信頼度で推測され得る。
【００６０】
この例示的状況で、頭部の向きのコーンの範囲内の分布又はレイ（信頼度によって定義される）は、図９の右パネルに概略的に図示されているように、頭部回転の変化の向きに集中される。ここで、レイ分布ボックスの圧縮された垂直寸法は、信頼度レベルが高いことを表す。
【００６１】
ステップ４０５で、分布された視覚注意レイは、シーン５００のデジタル表現に投影され、それは複数のあらかじめ定義された関心領域を有する。図１０は、視覚的注意レイの交点のシーン５００への例示的な投影を図示している。この投影は、視覚注意レイがシーン５００の３次元デジタル表現のどの点と交差するかを求めることにより達成される。レイは、主視覚注意レイ（例えば、ドライバーからの統一された視線レイなど）によって定義された原点を起点とし及びシーン５００を通してそれらの分布された角度でそれらのベクトルの軌跡に沿って投影する。
【００６２】
ステップ４０６では、投影された視覚注意レイと、１つ以上の関心領域との交点が求められる。図１０で、投影された視覚注意レイは、ＲＯＩ群６０１、６０５、６１１及び６１３と交差し、残りはＲＯＩ群の外の領域と交差している。これを求めることは、各レイの投影された座標又は角度と、デジタルシーン内のＲＯＩ群のあらかじめ定義された座標との比較を実行することを含む。
【００６３】
ステップ４０６で求められた交点に基づいて、ステップ４０７においては、ドライバー１０２の注意状態が推定される。交点に依存して、推定される注意状態は、対象者の注意の関心領域を含み得て、又はドライバーの注意がＲＯＩ群の外であるという指定を含み得る。この後者の場合、ドライバーの注意は、「オフロード」、「未確認」、又はそれらの類似物として指定され得る。これらの注意状態の指定は下で説明される。
【００６４】
注意状態の推定は、投影された視覚注意レイとさまざまなＲＯＩ群とのいくつかの交点の数を求めることのような、いくつかの計算を含み得る。この推定はまた、特定の関心領域に対する、動的に適用され得る重み付けを適用することを含み得る。例えば、重み付けは、最近の対象者の注意行動に基づき得る。ドライバーは、車両を運転する際に、特定の行動パターンを行うことが知られている。例えば、ドライバーの行動パターンは、機械学習プロセスによって又はヒューマンファクターの専門家からのドライバーの行動についての知見を通して学習され得る。これらの行動パターンを学習することにより、現在のドライバーの注意は、将来のドライバーの注意パターンを予測し、及び、結果として、予測されたＲＯＩ群により重い重みを付けるために使用され得る。
【００６５】
例として、ドライバーは典型的には、計器クラスター（ＲＯＩ６０１によって表現される）と前方の道路（ＲＯＩ６０５によって表現される）との間を交互に見る。したがって、もし、以前の画像で、計器クラスタのほうへの視線が検出されたなら、すぐに前方の道路への視線が戻ってくるであろうことが予測され得る。よって、前方の道路に対応しているＲＯＩ６０５は、リアビューミラーＲＯＩ６１１のような他のＲＯＩ群より、より重く重み付けされ得る。この状況では、たとえより多くの視覚注意レイがＲＯＩ６１１内にあったとしても、ドライバーの注意の、推定されるＲＯＩは、ＲＯＩ６０５として指定され得る。重み付けは、０と１との間の数字であり得て、又は、他の、任意だがあらかじめ定義された範囲内の数であり得る。領域が小さければより少ない視覚注意レイしか交差しない可能性が高いので、重み付けはまた、より小さいＲＯＩ群にも適用され得る。
【００６６】
よって、いくつかの実施形態では、ドライバーの注意の尤もらしい（likely）ＲＯＩは、単純に、最も交差する視覚注意レイを有するＲＯＩとして指定され得る。しかし、他の実施形態では、ドライバーの注意の尤もらしいＲＯＩは、視覚注意レイと関心領域との交点の加重和に基づいて、最も高い値を有するＲＯＩとして求められ得る。
【００６７】
上の方法を使用して、ドライバーモニタリングシステム（又は他のモニタリングシステム）は、時間の関数としてドライバーの注意状態を推定することができる。方法４００は、フレームごとに実行され得る。代替としては、時間分解能を犠牲にして計算の複雑さを減少させるために、方法４００は処理された画像のサブセットに対してだけ実行され得る。例として、もし、画像が６０Ｈｚでキャプチャされるなら、方法４００は、６Ｈｚの速さで注意状態の推定を供給するために１０枚の画像ごとに実行され得る。
［例示的な実施例］
【００６８】
方法４００は、注意状態を推定するプロセス全体を通して、さまざまな他の決定を含み得る。ビジョンプロセッサ１１８による方法４００の実現のために、例示的な決定木１０００が図１１に図示される。ブロック１００１で、視線データからの統一された視線レイが、処理中の現在の画像から求められるかどうかについての判定が行われる。もし、統一された視線レイが求められ得るなら（もし片方の眼又は両眼が見えており及び開いているなら）、制御はパス１００２を辿り、及び方法４００は、統一された視線レイを主注意レイとして実行される。ブロック１００３で、視覚注意状態は、ブロック１００４で交差する尤もらしいＲＯＩとして、又はブロック１００５で「オフロード」として、のいずれかとして指定される。「オフロード」の指定は、尤もらしい注意状態（likely attention state）が全ての指定されたＲＯＩ群の外にある時のデフォルトを表現する。
【００６９】
もし、ブロック１００１では、統一された視線レイが求められないなら、制御はパス１００６を辿る。ブロック１００７では、あるかもしれない眼が開いている状態の判定が、現在の画像に対して実行される。もし、片方の眼又は両眼が、眼が開いていることの判定を可能にするために十分に区別ができるなら、制御はブロック１００８に移動し、そこで片方の眼又は両眼が閉じられているかどうかについての判定が行われる。閉状態の判定について、「Detection of The Open/closed State of Eyes Based on Analysis of Relation Between Eye and Eyebrow Images in Input Face Images」と題されたＵＳ特許第５，８７８，１５６号を含む多くの方法が知られている。この文献は、入力された顔の画像における眼の画像と眉の画像との間の関係の分析に基づいて、両眼の開いている／閉じている状態を検出するための技術を説明している。さらに、Edwardsらは、目尻、瞼のエッジの検出に基づいて閉眼を判定すること、瞼に曲線を当てはめること、及び閉眼の程度を計算することを含む方法を教示している。
【００７０】
もし、ブロック１００８で、片方の眼又は両眼が閉じていると判定されるなら、制御はブロック１００９に移動し、そこで両眼が閉じられている時間が長すぎるかについての判定が行われる。ブロック１００９は、以前の画像からの閉眼の判定、及びあらかじめ定義された閾値時間（例えば、１秒）との比較に依拠する。もし、両眼が閉じられている時間が長すぎると判定されるなら、ブロック１０１０で、ドライバーの注意状態は「目が閉じている」として指定され、及び適切なアクション（ドライバーに警告を発するような）が取られ得る。もし、瞬きしている間のように、両眼が一瞬しか閉じられていないと判定される（あらかじめ定義された閾値未満）なら、ブロック１０１１で、ドライバーの注意状態は、その画像フレームでは、推定されないか、又は「なし」又はその類似のものとして指定される。これは、視覚注意は、この特定の画像フレームについては、ドライバーの周りの環境中の何にも向けられていないという事実を反映している。
【００７１】
もし、ブロック１００８で、片方の眼又は両眼が開いていると判定されるなら、又はブロック１００７で開眼が判定されなければ、制御はブロック１０１２に移動する。ここで、頭部姿勢の判定が行われる。もし、頭部姿勢がブロック１０１２で判定されることができなければ、ブロック１０１３で、現在のドライバーの注意状態は、この画像フレームについては「不明の」として指定される。もし、頭部姿勢がブロック１０１２で判定されることができるなら、制御はブロック１０１４に移り、そこで方法４００は、ドライバー１０２の頭部姿勢によって求められた主視覚注意レイを用いて実行される。最後に、ブロック１０１５で、視覚注意状態は、ブロック１０１６において交差する尤もらしいＲＯＩとして、又はブロック１０１７において尤もらしい注意状態が全ての指定されたＲＯＩ群の外にある「オフロード」として、のいずれかとして指定される。頭部姿勢のデータを使用する場合は、どのＲＯＩも頭部だけのフォールバック状態（head-only fallback state）を有する。頭部だけの状態は、固定されたセットであり、視線での結果で達成可能なものよりも粒状性が粗い。
【００７２】
ドライバーの注意状態が推定された後、決定木１０００で図示されているプロセスフローを含んでいる方法４００は、キャプチャされた画像シーケンスの中の後続の画像に対して実行される。
［結論］
【００７３】
上で記載されたシステム及び方法は、別のモニタリングの背景でも、車両のドライバー又は対象者の注意状態を動的に推定できる。生成されたデータは、リアルタイムの又はリアルタイムに近いドライバーモニタリングについて及びドライバーの行動及び分析の長期的な統計研究についてもまた有用である。
［解釈］
【００７４】
本明細書を通して、「要素」という用語の使用は、単一のユニット化されたコンポーネント又は特定の機能又は目的を実行するために組み合わせられるコンポーネント群の集合体、のいずれかを意味することを意図される。
【００７５】
具体的に特段の記載がない限り、以下の議論から明らかなように、本明細書を通して、「処理」、「コンピューティング」、「計算」、「判定」、「分析」又はそれらの類似物のような語を利用した議論は、電子的のような物理的な量として表現されるデータを、物理的な量として同様に表現される他のデータに操作し及び／又は変換する、コンピュータ又はコンピューティングシステム又は類似の電子コンピューティング装置の動作及び／又は処理を表すことが理解されよう。
【００７６】
同様に、「コントローラ」又は「プロセッサ」の用語は、例えば、レジスタ及び／又はメモリからの電子データを処理して、その電子データを、例えばレジスタ及び／又はメモリに記憶され得る他の電子データに変換する装置の、任意の装置又はその一部を表し得る。「コンピュータ」又は「コンピューティングマシン」又は「コンピューティングプラットフォーム」は、１つ以上のプロセッサを含み得る。
【００７７】
本明細書を通して「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という言い方は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。よって、本明細書を通してさまざまな箇所に「１つの実施形態」、「いくつかの実施形態」、又は「ある実施形態」という文言が現れることは、必ずしも全てが同一の実施形態を指すのではない。さらに、特定の特徴、構造、又は特性は、本開示から当業者には明らかなように、１つ以上の実施形態において任意の適切なやり方で組み合わせられてもよい。
【００７８】
ここで用いられるように、特にそうではないと述べられない限り、共通の物体を記載するために用いられる順序を表す形容詞「第１」、「第２」、「第３」等は、単に類似の物体の異なる例が参照されることを示すだけであり、そのように記載された物体が、時間的、空間的、序列において、又は任意の他の点において、与えられた順序で存在しなければならないことを示唆するようには意図されていない。
【００７９】
以下の特許請求の範囲及びここでの説明において、備える、備わった、又は備えられているという語のいずれも開放的な語であり、少なくとも後に続く要素／特徴を含むことを意味するのであって、他のものを排除することを意味しない。よって備えるという語は、特許請求の範囲で用いられるときは、その後に列挙された手段又は要素又はステップに限定されるようには解釈されるべきではない。例えば、Ａ及びＢを備える装置という表現の範囲は、要素Ａ及びＢだけからなる装置に限定されるべきではない。ここで使われているように含むという語のいずれもやはり開放的な語であり、その語の後に続く要素／特徴を少なくとも含むということを意味するが、他の物を排除する意味はない。よって含むは、備えると同義であり、備えるという意味である。
【００８０】
本開示の例示的実施形態の上の説明において、本開示のさまざまな特徴は、時として、本開示を効率的にし、１つ以上のさまざまな発明の局面の理解を助けるために、単一の実施形態、図、又はその記載においてまとめられている。しかしこの開示方法は、特許請求の範囲がそれぞれの特許請求の範囲において明示的に記載されたよりも多くの特徴を要求するという意図を反映するようには解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の局面は、単一の前述の開示された実施形態の全ての特徴よりも少ない所に存する。よって詳細な説明の後の特許請求の範囲は、ここで明示的にこの詳細な説明に援用され、それぞれの請求項は、本開示の別々の実施形態として、それ自身で有効である。
【００８１】
さらに、当業者に理解されるように、ここで記載されたいくつかの実施形態は、いくつかの特徴を含むが、他の実施形態中に含まれる他の特徴は含まないが、異なる実施形態の特徴の組み合わせも本開示の範囲内にあると意図され、異なる実施形態を形成するものと意図される。例えば、以下の特許請求の範囲において、請求された実施形態の任意のものは、任意の組み合わせにおいて用いられ得る。
【００８２】
ここに提供された記載において、多くの具体的な詳細が述べられている。しかし、本開示の実施形態は、これら具体的な詳細なしでも実施され得ることが理解されよう。換言すれば、本記載の理解を不明瞭にさせないために、よく知られた方法、構造、及び技術は詳細には示されていない。
【００８３】
同様に、結合されるという語は、特許請求の範囲で使われるときには、直接的接続だけに限定されて解釈されるべきではないことに注意されたい。「結合された」及び「接続された」という語が、それらの派生形もあわせて、用いられ得る。これら語は、互いの同義語としては意図されていない。よって装置Ｂに結合された装置Ａという表現の範囲は、装置Ａの出力が直接に装置Ｂの入力に接続されている装置又はシステムに限定されるべきではない。それは、Ａの出力及びＢの入力の間のパスが存在し、これは、他の装置又は手段を含むパスであってもよいということを意味する。「結合された」は、２つ以上の要素が直接的な物理的、電気的、又は光学的接触のいずれかにあること、又は２つ以上の要素が直接的な接触にはないが、依然として互いに協働又は相互作用することを意味し得る。
【００８４】
よって、本開示の好ましい実施形態であるべきものが記載されてきたが、他のさらなる改変が本開示の精神から逸脱することなくなされ得て、そのような変更及び改変が本開示の範囲内に入るものとして請求されていると意図されていることが当業者にはわかるだろう。例えば、上で与えられた任意の表現は、用いられ得る手続を代表するものに過ぎない。機能が、ブロック図から追加又は削除されてもよく、操作は、機能ブロック間で相互交換されてもよい。本開示の範囲内で、記載された方法に対してステップが追加又は削除されてもよい。
【図１】
2022502757.tif 000003
【図２】
2022502757.tif 000004
【図３】
2022502757.tif 000005
【図４】
2022502757.tif 000006
【図５】
2022502757.tif 000007
【図６】
2022502757.tif 000008
【図７】
2022502757.tif 000009
【図８Ａ】
2022502757.tif 000010
【図８Ｂ】
2022502757.tif 000011
【図８Ｃ】
2022502757.tif 000012
【図９】
2022502757.tif 000013
【図１０】
2022502757.tif 000014
【図１１】
2022502757.tif 000015
【国際調査報告】
2022502757.tif 000016
2022502757.tif 000017
2022502757.tif 000018
2022502757.tif 000019