(57)【要約】  運転者監視のためのシステム及び方法が開示される。一実施態様では、１つ又は複数の画像が、たとえばイメージ・センサから受信される。かかる画像は、運転者の顔の少なくとも一部を反映することができる。その画像を使用して、運転者の注視の方向が判断される。判断された１組の、運転者の注視の方向は、少なくとも１つの予め定義された方向を使用して識別される。運転者の、１つ又は複数の目の、１つ又は複数の特徴が、識別された組に関連する情報を使用して抽出される。
2019533209.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのイメージ・センサと、
少なくとも１つのプロセッサと
を備えるシステムであって、前記プロセッサは、
前記イメージ・センサから１つ又は複数の画像を受信し、１つ又は複数の前記画像は、運転者の顔の少なくとも一部を反映し、
前記画像を使用して、前記運転者の注視の方向を判断し、
少なくとも１つの予め定義された方向を使用して、判断された１組の運転者の注視の方向を識別し、
前記運転者の、１つ又は複数の目の、１つ又は複数の特徴は、前記識別された組に関連する情報を使用して抽出するよう構成される、
システム。
【請求項２】
前記運転者の前記注視の前記方向は、前記運転者が見ている場所を反映している、請求項１に記載のシステム。
【請求項３】
前記場所は、その中に前記運転者が存在する車両の外部の場所を反映している、請求項２に記載のシステム。
【請求項４】
前記場所は、その中に前記運転者が存在する車両の内部の場所を反映している、請求項２に記載のシステム。
【請求項５】
前記判断された運転者の注視の方向の組を識別するために、少なくとも１つの前記プロセッサはさらに、１つ又は複数の前記判断された運転者の注視の方向を、少なくとも１つの前記予め定義された方向と相関させるよう構成される、請求項１に記載のシステム。
【請求項６】
前記判断された運転者の注視の方向の組は、運転中の前記運転者の注視の分布に関連する情報を使用して識別される、請求項１に記載のシステム。
【請求項７】
前記判断された運転者の注視の方向の組は、運転中の前記運転者の外側への注視の分布に関連する情報を使用して識別される、請求項６に記載のシステム。
【請求項８】
前記判断された運転者の注視の組は、運転時の車両内部への前記運転者の注視の分布に関連する情報を使用して識別される、請求項６に記載のシステム。
【請求項９】
前記判断された運転者の注視の組は、運転行動に基づく前記運転者の注視の分布に関連する情報を使用して識別される、請求項６に記載のシステム。
【請求項１０】
前記判断された運転者の注視の組は、車両内で起こる前記運転者の１つ又は複数の動作に基づく、前記運転者の注視の分布に関連する情報を使用して識別される、請求項６に記載のシステム。
【請求項１１】
前記判断された運転者の注視の組は、車両の構成要素に対して起こる、前記運転者の１つ又は複数の動作に基づく、前記運転者の注視の分布に関連する情報を使用して識別される、請求項６に記載のシステム。
【請求項１２】
前記判断された運転者の注視の組は、車両の動く方向、車速、又は車両の地理的場所のうちの少なくとも１つに関連する追加の情報を使用して識別される、請求項６に記載のシステム。
【請求項１３】
１つ又は複数の特徴を抽出するために、少なくとも１つの前記プロセッサはさらに、前記組の中の前記判断された運転者の注視の方向の各々から、それぞれの特徴を抽出するよう構成される、請求項１に記載のシステム。
【請求項１４】
判断された運転者の注視の方向の組を識別するために、前記プロセッサはさらに、少なくとも、運転者の注視の方向の第１の組と、運転者の注視の方向の第２の組とを識別するよう構成され、
１つ又は複数の特徴を抽出するために、少なくとも１つの前記プロセッサはさらに、少なくとも、前記判断された運転者の注視の方向の第１の組に関連する情報を使用して第１の特徴を抽出し、また前記判断された運転者の注視の方向の第２の組から第２の特徴を抽出するよう構成される、
請求項１に記載のシステム。
【請求項１５】
判断された運転者の注視の方向の組を識別するために、前記プロセッサはさらに、少なくとも、運転者の注視の方向の第１の組と、運転者の注視の方向の第２の組とを識別するよう構成され、
１つ又は複数の特徴を抽出するために、少なくとも１つの前記プロセッサはさらに、少なくとも、前記判断された運転者の注視の方向の第１の組と、前記判断された運転者の注視の方向の第２の組とに関連する情報を使用して、前記１つ又は複数の特徴を抽出するよう構成される、
請求項１に記載のシステム。
【請求項１６】
少なくとも１つの前記プロセッサはさらに、前記運転者の頭の位置を判断するよう構成される、請求項１に記載のシステム。
【請求項１７】
前記判断された運転者の注視の方向の組を識別するために、少なくとも１つの前記プロセッサはさらに、前記運転者の前記頭の前記位置を使用して、前記判断された運転者の注視の方向の組を識別するよう構成される、請求項１６に記載のシステム。
【請求項１８】
前記判断された運転者の注視の方向の組を識別するために、少なくとも１つの前記プロセッサはさらに、前記運転者の頭の位置に関連する情報を使用して、前記判断された運転者の注視の方向の組を識別するよう構成される、請求項１に記載のシステム。
【請求項１９】
さらに発光デバイスを備える、請求項１に記載のシステム。
【請求項２０】
前記発光デバイスは、赤外線発光デバイスを含む、請求項１９に記載のシステム。
【請求項２１】
前記判断された運転者の注視の方向の組を識別するために、少なくとも１つの前記プロセッサはさらに、その中に前記運転者が存在する車両の内部にある１つ又は複数の物体の一部を使用して、前記判断された運転者の注視の方向の組を識別するよう構成される、請求項１に記載のシステム。
【請求項２２】
前記１つ又は複数の物体は、前記車両の１つ又は複数のミラーを含む、請求項２１に記載のシステム。
【請求項２３】
前記少なくとも１つの予め定義された方向は、その中に前記運転者が存在する車両が進んでいる移動の方向と整列する方向を反映する、請求項１に記載のシステム。
【請求項２４】
前記１つ又は複数の特徴は、前記運転者の前記１つ又は複数の目のカッパ角を含む、請求項１に記載のシステム。
【請求項２５】
前記１つ又は複数の特徴は、前記運転者の角膜曲率半径を含む、請求項１に記載のシステム。
【請求項２６】
前記１つ又は複数の特徴は、（
ａ）前記運転者の前記１つ又は複数の目の瞳孔面と（ｂ）前記運転者の角膜曲率の中心との間の距離を含む、請求項１に記載のシステム。
【請求項２７】
イメージ・センサから１つ又は複数の画像を受信し、１つ又は複数の前記画像は、運転者の顔の少なくとも一部を反映するステップと、
前記画像を使用して、前記運転者の注視の方向を判断するステップと、
少なくとも１つの予め定義された方向を使用して、判断された１組の運転者の注視の方向を識別するステップと、
前記運転者の、１つ又は複数の目の、１つ又は複数の特徴を、前記識別された組に関連する情報を使用して抽出するステップと
を含む方法。
【請求項２８】
そこに格納される命令を有する非一時的なコンピュータ可読の媒体であって、処理デバイスによって実行されるとき、前記処理デバイスに、
イメージ・センサから１つ又は複数の画像を受信し、１つ又は複数の前記画像は、ユーザの顔の少なくとも一部を反映するステップと、
前記画像を使用して、前記ユーザの注視の方向を判断するステップと、
少なくとも１つの予め定義された方向を使用して、判断された１組のユーザの注視の方向を識別するステップと、
前記ユーザの、１つ又は複数の目の、１つ又は複数の特徴を、前記識別された組に関連する情報を使用して抽出するステップと
を含む動作を実行させる、そこに格納される命令を有する非一時的なコンピュータ可読の媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１６年７月１日に出願された米国特許出願第６２／３５７，９０２号、及び２０１６年７月５日に出願された米国特許出願６２／３５８，４８０号に関連し、それらの優先権の利益を主張し、そのそれぞれの全体が本明細書に参照として組み入れられている。
【０００２】
本開示の態様及び実施態様は、データ処理に関し、より詳細には、これに限定されないが、運転者の監視、運転者の注視判断、運転者の場所及び座席位置判断、運転中の運転者の行動判断、車両全体にわたる運転者に関係するデータの送信、及び運転者をリアルタイムである期間中に分析するための、複数のセンサと車両情報との組合せに関する。
【背景技術】
【０００３】
自動車を安全に運転するために、かかる車両の運転者は、走行している道路又は通路上に自身の注意を集中しなければならない。運転者の注意は、周期的に変化する可能性がある（たとえば、車両のミラーを見ているとき）。様々な既存の視線追跡システムは、ユーザの注視を追跡するよう構成することができる。かかるシステムは、一般に、効果的に動作させるためにキャリブレーションする必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以下は、かかる態様の基本的な理解を提供するために、本開示の様々な態様の短縮した概要を提示する。本概要は、考えられるすべての態様の広範な概要ではなく、重要な又は決定的な要素を特定することも、かかる態様の範囲を限定することも意図するものではない。その目的は、以降に提示されるより詳細な説明の前置きとして、本開示のいくつかの概念をコンパクトな形で提示することである。
【課題を解決するための手段】
【０００５】
本開示の一態様では、運転者監視のためのシステム及び方法が開示される。一実施態様では、１つ又は複数の画像が、たとえばイメージ・センサから受信される。かかる画像は、運転者の顔の少なくとも一部を反映することができる。その画像を使用して、運転者の注視の方向が判断される。判断された１組の、運転者の注視の方向は、少なくとも１つの予め定義された方向を使用して識別される。運転者の、１つ又は複数の目の、１つ又は複数の特徴は、識別された組に関連する情報を使用して抽出される。
【０００６】
本開示の態様及び実施態様は、以下で与えられる詳細な説明から、及び本開示の様々な態様及び実施態様の添付図面から、より完全に理解されるであろう。しかしそれらは、本開示を特定の態様又は実施態様に限定するものと解釈すべきではなく、説明及び理解させるためのものにすぎない。
【図面の簡単な説明】
【０００７】
【図１】実例の実施例に従って、実例システムを示す図である。
【図２】実例の実施例に従って、運転者監視のための方法を示す流れ図である。
【図３Ａ】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図３Ｂ】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図４】実例の実施例に従って、ユーザの目を示す図である。
【図５Ａ】実例の実施例に従って、方法を示す流れ図である。
【図５Ｂ】実例の実施例に従って、方法を示す流れ図である。
【図６】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図７Ａ】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図７Ｂ】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図８】実例の実施例に従って、方法を示す流れ図である。
【図９】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図１０】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図１１】実例の実施例に従って、本明細書に記載の実例のシナリオを示す図である。
【図１２】実例の実施例に従って、マシン可読の媒体から命令を読み取り、本明細書で論じる方法論のいずれかを実行することができる、マシンの構成要素を示すブロック図である。
【発明を実施するための形態】
【０００８】
本開示の態様、及び実施態様は、運転者の注視判断に向けたものである。
【０００９】
様々な視線追跡技術が、ユーザの注視（たとえば、ユーザの目が向けられている、又は焦点を合わせられている方向／場所）の判断を可能にしていることが理解されよう。ただし、かかる技術は、ユーザの目と他の物体との間の相関を識別／判断する必要がある。たとえば、ユーザの目を認識するカメラに加えて、特定の技術は、外側に向けられた（すなわち、ユーザが見ている方向に向けられた）第２のカメラを使用する。それぞれのカメラによって取り込まれた画像（たとえば、ユーザの注視を反映しているもの、及びユーザが見ている物体を示すもの）とは、そのとき相関がとれていなければならない。或いは、他の解決策は、既知の場所／デバイスにおいて、アイコン、インジケータなどをユーザに提示する。そのときユーザは、参照されるアイコンを見なければならず、その時点でキャリブレーションが実行され得る。しかしながら、参照された解決策の両方とも、多数の欠点を伴う。たとえば、両方の解決策とも、追加のハードウェアを必要とし、それは高価、設置／設定が困難、又はそうでなければ実行不可能の恐れがある。
【００１０】
したがって、本明細書で、運転者監視のためのシステム、方法、及び関連技術を、様々な実施態様で説明する。本明細書に記載の通り、開示される技術は参照された欠点を克服し、多数のさらなる利点及び改良をもたらす。たとえば、開示された技術は、第２のカメラを必要とせず、またユーザ／運転者が特定の瞬間に特定の場所／インジケータを見る必要なく、参照される判断を正確に算出することができる。
【００１１】
したがって、記載された技術は、画像処理、視線追跡、及びマシン・ビジョンを含むがこれらに限定されない、複数の技術分野における特定の技術的課題及び長年の欠陥を対象とし、それらに対処していることが理解されよう。本明細書で詳細に説明されるように、開示された技術は、参照された技術的課題及び参照された技術分野における満たされていないニーズへの具体的な技術的解決策を提供し、従来の手法に対して多数の利点及び改善をもたらす。さらに、様々な実施態様において、本明細書で参照されるハードウェア要素、構成要素などのうちの１つ又は複数は、本明細書に記載の手法などで、記載の技術を可能にし、改善し、且つ／又は強化するように動作する。
【００１２】
図１は、いくつかの実施態様による実例のシステム１００を示す。システム１００は図示のように、画像取得デバイス（たとえば、カメラ）、イメージ・センサ、ＩＲセンサ、又は本明細書に記載の、他の任意のそのようなセンサであってもよい、センサ１３０を備える。センサ１３０は、車両１２０（たとえば、車、バス、又は輸送に使用される他の任意のかかる車両）内に位置決め、又は配向することができる。ある実施態様では、センサ１３０は、センサによって取り込まれた画像及び／又は他のかかるコンテンツを処理する、１つ又は複数のプロセッサ１３２を備える、又はそうでなければ一体化することができる。他の実施態様では、センサ１３０は（本明細書に記載されているように）、他のデバイスに接続され、且つ／又は、そうでなければ、他のデバイスと通信するように構成することができ、かかるデバイスは、参照される画像を受信し処理することができる。
【００１３】
センサ１３０（たとえば、カメラ）は、たとえば、ＣＣＤイメージ・センサ、ＣＭＯＳイメージ・センサ、光センサ、ＩＲセンサ、超音波センサ、近接センサ、短波赤外線（ＳＷＩＲ：ｓｈｏｒｔｗａｖｅ  ｉｎｆｒａｒｅｄ）イメージ・センサ、反射型センサ、ＲＧＢカメラ、白黒カメラ、又は周囲の状況の視覚的特徴を検知可能な他の任意のデバイスを含んでもよい。さらにセンサ１３０は、たとえば、領域を走査可能な単一のフォトセンサ若しくは１次元ライン・センサ、２次元センサ、又はたとえば、複数の２次元イメージ・センサを含む立体視センサを含んでもよい。ある実施態様では、カメラは、たとえば、イメージ・センサ上に特定の領域の光を集束させるために、レンズと結合されてもよい。レンズは、ナロー又はワイドであってもよい。ワイド・レンズは、広い視野を得るために使用することができるが、これには、良好な認識距離を得るために、高解像度のセンサが必要となる場合がある。或いは、２つのセンサを、重複する視野を有する、より狭いレンズと共に使用することができる。これらを組み合わせると広い視野がもたらされるが、かかる２つのセンサのコストは、高解像度センサ及びワイド・レンズよりも低くなる可能性がある。
【００１４】
センサ１３０は、たとえば、円錐形又はピラミッド形の空間容積を見る、又は認識することができる。センサ１３０は、（たとえば、車両１２０内の）固定位置を有することができる。センサ１３０によって取り込まれた画像は、デジタル化して、少なくとも１つのプロセッサ１３２に入力することができる、又はアナログ形式で少なくとも１つのプロセッサ１３２に入力して、少なくとも１つのプロセッサによってデジタル化することができる。
【００１５】
図１に示すセンサ１３０、並びに他の図に示す、また本明細書で説明され、且つ／又は本明細書で参照される様々な他のセンサは、たとえば、３次元（３−Ｄ：ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）視野空間の画像を得るよう構成されるイメージ・センサを含んでもよいことに留意されたい。イメージ・センサは、たとえば、１つ若しくは複数のカメラ、光センサ、赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）センサ、超音波センサ、近接センサ、ＣＭＯＳイメージ・センサ、短波赤外線（ＳＷＩＲ）イメージ・センサ、又は反射型センサを含む任意の画像取得デバイス、領域を走査可能な単一のフォトセンサ若しくは１次元ライン・センサ、ＣＣＤイメージ・センサ、反射型センサ、３次元イメージ・センサ若しくは２つ以上の２次元（２−Ｄ：ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）立体画像センサを備える深度映像システム、及び周囲の状況の視覚的特徴を検知可能な他の任意のデバイスを含んでもよい。センサの視野空間内に位置するユーザ又は他の要素は、センサによって得られた画像に現れることができる。センサは、２次元又は３次元のモノクロ、カラー、又はＩＲビデオを処理ユニットに出力することができ、処理ユニットは、センサと一体化されてもよく、又は有線又は無線の通信チャネルによってセンサに接続されてもよい。
【００１６】
図１に示す少なくとも１つのプロセッサ１３２、並びに他の図に示す、また本明細書で説明され、且つ／又は本明細書で参照される様々な他のプロセッサは、たとえば、１つ又は複数の入力に対して論理演算を実行する電気回路を含んでもよい。たとえばかかるプロセッサは、１つ又は複数の、集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理ユニット（ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、グラフィック処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、デジタル・シグナル・プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、現場でプログラム可能なゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｓｉｒｃｕｉｔ）、又は命令を実行するのに、若しくは論理演算を実行するのに好適な他の任意の回路のすべて、或いは一部を含んでもよい。少なくとも１つのプロセッサは、とりわけ、イメージ・センサによって得られた画像を格納するために使用することができるプロセッサ及びメモリを含み得る処理ユニットなどの、処理ユニットの任意の部分と一致してもよく、又はそれを構成してもよい。処理ユニットは、とりわけ、センサによって得られた画像を格納するために使用することができるプロセッサ及びメモリを含んでもよい。処理ユニット及び／又はプロセッサは、プロセッサ及び／又はメモリ内に存在する１つ又は複数の命令を実行するように構成することができる。かかるメモリ（たとえば、図１２に示すメモリ１２３０）は、たとえば、持続性メモリ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＡＲＯＭ、ＳＲＡＭ、ＤＲＡＭ、ＤＤＲ  ＳＤＲＡＭ、フラッシュ・メモリ・デバイス、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ、などを含んでもよく、命令（すなわち、ソフトウェア又はファームウェア）又は他のデータを含むことができる。一般に、少なくとも１つのプロセッサは、メモリに格納された命令及びデータを受信することができる。すなわち、ある実施例では、少なくとも１つのプロセッサはソフトウェア又はファームウェアを実行して、入力データを操作して出力を生成することによって機能を実行する。ただし、少なくとも１つのプロセッサはまた、たとえば、入力データを処理して出力を生成することによってプロセスを実行する専用ハードウェア又は特定用途向け集積回路（ＡＳＩＣ）であってもよい。少なくとも１つのプロセッサは、専用ハードウェア、１つ又は複数のＡＳＩＣ、１つ又は複数の汎用プロセッサ、１つ又は複数のＤＳＰ、１つ又は複数のＧＰＵ、又はデジタル情報を処理可能な１つ又は複数の他のプロセッサの任意の組合せであってもよい。
【００１７】
センサ１３０によって取り込まれた画像は、センサ１３０によってデジタル化されてプロセッサ１３２へ入力されてもよく、又はプロセッサ１３２にアナログ形式で入力されてプロセッサ１３２によってデジタル化されてもよい。実例の近接センサは、とりわけ、静電容量センサ、静電容量変位センサ、レーザ距離計、飛行時間（ＴＯＦ：ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）技術を使用するセンサ、ＩＲセンサ、磁気歪みを検出するセンサ、又は近接センサに近接する物体の存在を示す情報を生成可能な他の任意のセンサを、１つ又は複数含んでもよい。ある実施例では、近接センサによって生成された情報は、対象物から近接センサまでの距離を含んでもよい。近接センサは、単一のセンサであってもよく、又は１組のセンサであってもよい。図１にただ１つのセンサ１３０を示すが、システム１００は複数の種類のセンサ、及び／又は同じ種類の複数のセンサを含んでもよい。たとえば、複数のセンサは、システム１００のいくつかの又は全部の構成要素を収容するデータ入力デバイスなどの単一のデバイス内で、システム１００の他の構成要素の外部にある単一のデバイスで、又は少なくとも１つの外部センサ、及びシステム１００の他の構成要素（たとえば、プロセッサ１３２若しくはディスプレイ）に組み込まれた少なくとも１つのセンサを備える他の様々な構成で、配設されてもよい。
【００１８】
プロセッサ１３２は、１つ若しくは複数の有線又は無線の通信リンクを介して、センサ１３０と接続する、又はセンサ１３０内に一体化することができ、画像などのセンサ１３０からのデータ、又は本明細書に記載されるような、センサ１３０によって収集可能な任意のデータを受信することができる。かかるセンサのデータは、たとえば、ユーザの頭、目、顔などのセンサ・データを含んでもよい。画像は、センサ１３０によって取り込まれたアナログ画像、センサ１３０によって取り込まれた又はセンサ１３０によって判断されたデジタル画像、センサ１３０によって取り込まれたデジタル又はアナログ画像のサブセット、プロセッサ１３２によってさらに処理されたデジタル情報、センサ１３０によって検知されたデータに関連する情報の数学的表現又は変換、画像を表す周波数データなどの視覚情報として提示される情報、センサ視野内の物体の存在などの概念情報などのうちの、１つ又は複数を含んでもよい。画像はまた、たとえば露出、フレーム・レート、画像の解像度、カラー・ビット解像度、深度解像度、センサ１３０の視野などの、画像取り込み中のセンサの状態及び／又はセンサのパラメータを示す情報を含んでもよく、たとえば、近接センサ情報、加速度センサ（たとえば、加速度計）情報、画像を取り込むためにさらに行われたさらなる処理を示す情報、画像取り込み中の照明条件、センサ１３０によるデジタル画像から抽出された特徴、或いはセンサ１３０によって検知されたセンサ・データに関連する他の任意の情報などの、画像取り込み中の他のセンサからの情報を含む。さらに、参照される画像は、静止画、動画（すなわち、ビデオ）、又は他の任意の視覚ベースのデータに関連する情報を含んでもよい。ある実施態様では、１つ又は複数のセンサ１３０から受信されたセンサ・データは、動きデータ、ＧＰＳ位置座標及び／又は方向ベクトル、視線情報、音声データ、並びに様々なセンサ種類によって測定可能な任意のデータ種類を含んでもよい。さらにある実施態様では、センサ・データは、２つ以上のセンサからのデータの組合せを分析することによって得られる測定基準を含んでもよい。
【００１９】
ある実施態様では、プロセッサ１３２は、１つ若しくは複数の、有線又は無線の通信リンクを介して、複数のセンサからのデータを受信することができる。ある実施態様では、プロセッサ１３２はまた、ディスプレイに接続されてもよく、本明細書に記載の、且つ／又は本明細書で参照されるものなどの、１つ又は複数の画像を表示するための命令を、ディスプレイに送信することができる。様々な実施態様において、記載されたセンサ、プロセッサ、及びディスプレイは、単一のデバイス内に内蔵することができ、又はセンサ、プロセッサ、及びディスプレイの様々な組合せを有する複数のデバイスにわたって分散させることができることを理解されたい。
【００２０】
上述のように、ある実施態様では、センサから組み込みデバイスのマザーボード、プロセッサ、アプリケーション・プロセッサ、ＧＰＵ、アプリケーション・プロセッサによって制御されるプロセッサ、又は他の任意のプロセッサへのデータ転送を減らすために、システムは、部分的又は完全にセンサに一体化することができる。センサ、ＩＳＰ、又はセンサ・モジュールへの一体化が部分的にすぎない場合、（たとえば、予め定義された物体に関する）物体の特徴を抽出する画像の前処理を、センサ、ＩＳＰ、又はセンサ・モジュールの一部として一体化することができる。ビデオ／画像及び／又は物体の特徴の数学的表現は、専用の有線接続又はバスを介して外部ＣＰＵ上でさらなる処理を行うために、転送することができる。システム全体がセンサ、ＩＳＰ又はセンサ・モジュールに一体化されている場合、メッセージ又は命令（たとえば、本明細書で参照されているメッセージ及び命令を含む）を、外部ＣＰＵに送信することができる。さらにある実施例では、システムが立体画像センサを内蔵している場合、２Ｄ画像センサ又は画像センサＩＳＰにおけるビデオ／画像の画像前処理、及びビデオ／画像、物体の特徴の数学的表現によって、周囲の状況の深度マップを作成することができ、且つ／又は他の減らした情報を、外部ＣＰＵでさらに処理することができる。
【００２１】
図１に示すように、センサ１３０は、ユーザ１１０（たとえば、車両１２０の運転者又は操作者であってもよい、人間のユーザ）の画像又は他のかかる入力を、取り込むか、又はさもなければ、受信するよう位置決めすることができる。かかる画像は、異なるフレーム・レート（ＦＰＳ）で取り込むことができる。本明細書で説明されるように、かかる画像は、たとえば、ユーザ１１０の注視又は目１１１の向き、ユーザ１１０の顔の位置（空間内の場所）及び向きなどを含むがこれらに限定されない、ユーザ１１０の顔の様々な態様を反映することができる。一実例では、システムは、ユーザの注視を検出するために、様々な露光率で画像を取り込むよう構成することができる。別の実例では、システムは、ユーザの注視を検出するために取り込まれる画像のＦＰＳを変更又は調整することができる。別の実例では、システムは、ユーザが眼鏡をかけていること、及び／又は眼鏡の種類（眼鏡、サングラスなど）の検出に関して、露出及び／又はフレーム・レートを変更又は調整することができる。
【００２２】
図１に示すシナリオは、実例として提供されていることを理解されたい。したがって、記載の技術はまた、他の様々な配置、構成などで構成又は実装することができる。たとえば、センサ１３０は、任意の数の他の場所（たとえば、車両１２０内）に、位置決めする又は置くことができる。たとえば、ある実施態様では、センサ１３０は、ユーザ１１０の上、ユーザ１１０の前（たとえば、車両１１０のダッシュボード上に位置決めされるか、又はその中に一体化される）、ユーザ１１０の側方（したがって、ユーザの目を側方からセンサで見ることができ／視認可能であって、これは有利であり、眼鏡を着用するユーザによって引き起こされる課題を克服することができる）、及び他のいくつの位置／場所に置かれてもよい。さらにある実施態様では、記載の技術は、（異なる場所に配置され得る）複数のセンサを使用して実装することができる。
【００２３】
ある実施態様では、画像、ビデオ、及び／又は他の入力は、センサ１３０で取り込み／受信し、ユーザ１１０の目１１１の存在を検出するよう処理する（たとえば、顔検出技術を使用して）ことができる。ユーザの目を検出するときに、ユーザの注視を判断することができる。ある実施態様では、ユーザの注視は車両１２０内のセンサ１３０の位置などの情報を使用して、判断することができる。他の実施態様では、ユーザの注視は、車両内のユーザ１１０の顔の場所（ユーザの身長に基づいて変化し得る）、ユーザの年齢、性別、顔の構造、車内の様々な箇所に位置決めされたカメラ、ユーザの顔の３Ｄ情報を提供するセンサ（ＴＯＦセンサなど）、ＩＲセンサ、物理センサ（車両の座席内に置かれた圧力センサなど）、近接センサなどを含む、他のセンサからの入力などの追加情報を使用して、さらに判断することができる。他の実施態様では、ユーザの注視又は注視方向は、他のデバイス、システムなどによって識別し、判断し、又は抽出して、記載のシステムに送信し／提供することができる。ユーザの注視を検出し／判断するとき、本明細書に記載するように、ユーザ１１０の目１１１の様々な特徴をさらに抽出することができる。
【００２４】
本明細書に記載の、且つ／又は本明細書で参照される「ユーザの注視」「視線」などは、人間のユーザの目を位置決めする／目の焦点を合わせる手法を指し得ることを理解されたい。たとえば、ユーザ１１０の「注視」又は「視線」は、たとえば特定の瞬間、及び／又はある期間にわたって、ユーザ１１０の目１１１が向く、又は焦点を合わせる方向を指し得る。さらなる実例のために、「ユーザの注視」は、ユーザが特定の瞬間に見ている場所であり得る、又はその場所を指し得る。いっそうさらなる実例のために、「ユーザの注視」は、ユーザが特定の瞬間に見ている方向であり得る、又はその方向を指し得る。
【００２５】
さらにある実施態様では、記載の技術は、当業者に知られているものなどの様々な技術を使用して、参照されるユーザの注視を判断／抽出することができる。たとえば、ある実施態様において、センサ（たとえば、イメージ・センサ、カメラ、ＩＲカメラなど）は、目（たとえば、人間の一方又は両方の目）の画像を取り込むことができる。次いで、かかる画像を処理して、たとえば、目の瞳孔輪郭、ＩＲ源の反射（たとえば、輝き）などの様々な特徴を抽出することができる。次いで、注視又は注視ベクトルを計算／出力し、（特定の方向、場所、物体などに対応することが可能な）目の注視点を示すことができる。
【００２６】
さらにある実施態様では、記載の技術は、たとえば特定の状況下で、ユーザの注視が特定のアイテム、物体などに向けられる（又はその方に向けられる可能性が高い）ことを計算、判断などすることができる。たとえば、本明細書で説明されるように、ユーザが高速道路をまっすぐ運転していると判断されるシナリオでは、図１に示すようなユーザ１１０の注視は、道路前方／地平線の方に向けられる（又はその方に向けられる可能性が高い）と判断することができる。本明細書で参照される「道路前方を見ている」とは、（前方に運転しているとき）その注視／焦点が、運転している車両のフロントガラスを通して見える道路／通路に向けられる／整列される、車両の運転者などのユーザを指し得ることを理解されたい。
【００２７】
いくつかの実施態様では、プロセッサ１３２は、取り込まれた又は受信された画像内で識別された態様、特性、現象などに関連するものなどの様々な動作を開始するように構成される。プロセッサによって実行される動作は、たとえば、（検出された態様、特性、現象などに関連し得る）メッセージの生成又は命令の実行であってもよい。たとえば、生成されたメッセージ又は命令は、オペレーティング・システム、１つ又は複数のサービス、１つ又は複数のアプリケーション、１つ又は複数のデバイス、１つ又は複数の遠隔アプリケーション、１つ又は複数の遠隔サービス、或いは１つ又は複数の遠隔デバイスを含むがこれらに限定されない、任意の種類の宛先にアドレス指定することができる。
【００２８】
本明細書で使用される「命令」及び／又は「メッセージ」は、オペレーティング・システム、１つ若しくは複数のサービス、１つ若しくは複数のアプリケーション、１つ若しくは複数のデバイス、１つ若しくは複数の遠隔アプリケーション、１つ若しくは複数の遠隔サービス、又は１つ若しくは複数の遠隔デバイスのうちの１つ或いは複数を含むがそれらに限定されない、任意の種類の宛先に向けられる、及び／又は受信される／処理されることが可能な、指示及び／又はコンテンツを指し得ることに留意されたい。
【００２９】
本明細書で参照される様々な構成要素は、特定の実施態様に従って一体に組み合わせること、又はさらなる構成要素に分離することができることを理解されたい。さらに、いくつかの実施態様では、様々な構成要素を別々のマシン上で実行又は具現化することができる。さらに、特定の構成要素のいくつかの動作について、本明細書でより詳細に説明及び図示する。
【００３０】
本開示の主題はまた、グラフィック（又は他の）要素の選択に応答するなどして、外部デバイス又はウェブサイトとの通信を可能にするように構成することができる。かかる通信は、外部デバイス上で実行されているアプリケーション、外部デバイス上で実行されているサービス、外部デバイス上で実行されているオペレーティング・システム、外部デバイス上で実行されているプロセス、外部デバイスのプロセッサ上で実行されている１つ又は複数のアプリケーション、外部デバイスのバックグラウンドで実行されているソフトウェア・プログラム、或いは外部デバイス上で実行されている１つ又は複数のサービスへのメッセージの送信を含んでもよい。さらにある実施態様では、デバイス上で実行されているアプリケーション、デバイス上で実行されているサービス、デバイス上で実行されているオペレーティング・システム、デバイス上で実行されているプロセス、デバイスのプロセッサ上で実行されている１つ又は複数のアプリケーション、デバイスのバックグラウンドで実行されているソフトウェア・プログラム、或いはデバイス上で実行されている１つ又は複数のサービスへメッセージを送信することができる。
【００３１】
本明細書で使用される「画像情報」は、センサ１３０によって取り込まれたアナログ画像、センサ１３０によって取り込まれた又はセンサ１３０によって判断されるデジタル画像、センサ１３０によって取り込まれたデジタル又はアナログ画像のサブセット、ＩＳＰによってさらに処理されたデジタル情報、センサ１３０によって検知されたデータに関連する情報の数学的表現又は変換、センサ１３０によって取り込まれた画像の周波数、センサ１３０の視野内の物体の存在などの概念情報、画像取り込み時のイメージ・センサの状態又はイメージ・センサのパラメータを示す情報（たとえば、露出、フレーム・レート、画像の解像度、カラー・ビット解像度、深度解像度、又はイメージ・センサの視野）、センサ１３０が画像を取り込むときの他のセンサからの情報（たとえば、近接センサ情報、又は加速度計情報）、画像取り込み後に行われたさらなる処理を示す情報、画像取り込み時の照明条件、センサ１３０によるデジタル画像から抽出された特徴、或いはセンサ１３０によって検知されたデータに関連する他の任意の情報のうちの、１つ又は複数であってもよい。さらに「画像情報」は、静止画、動画（すなわち、ビデオ）、又は他の任意の視覚ベースのデータに関連する情報を含んでもよい。
【００３２】
図２は、実例の実施例による、運転者の注視判断のための方法２００を示す流れ図である。この方法は、ハードウェア（回路、専用ロジックなど）、ソフトウェア（本明細書に記載のものなどのコンピュータ処理デバイス上で実行されるものなど）、又はその両方の組合せを含むことができる処理ロジックによって実行される。一実施態様では、方法２００（及び本明細書に記載の他の方法）は、図１に関して図示及び／又は説明した１つ又は複数の要素（本明細書に記載の、デバイス・センサ１３０及び／又は一体化された／接続されたコンピュータ処理デバイスを含むがこれらに限定されない）によって実行される。他のある実施態様では、図２の１つ又は複数のブロックは、別の１つ又は複数のマシンによって実行することができる。
【００３３】
説明を簡単にするために、方法は一連の動作として図示され、また説明されている。しかし、本開示による動作は、様々な順序で、及び／又は同時に、並びに本明細書で提示及び説明されていない他の動作と共に起こり得る。さらに、開示された主題に従ってその方法を実装するために、例示されたすべての動作が必要とされるわけではない。加えて、当業者であればその方法を、状態図又はイベントを通して、一連の相互に関連した状態として代替的に表すことができることを理解し、また認識するであろう。さらに、本明細書に開示されている方法は、かかる方法を容易にコンピュータ処理デバイスに移送し転送するために、製品上に格納することができることを理解されたい。本明細書で使用される用語「製品」は、任意のコンピュータ可読デバイス又は記憶媒体からアクセス可能なコンピュータ・プログラムを包含することを意図している。
【００３４】
動作２１０において、１つ又は複数の画像が受信される。ある実施態様では、かかる画像は、イメージ・センサなどのセンサ（たとえば、図１に示すセンサ１３０）で取り込まれ、且つ／又はセンサから受信され得る。上記のように、かかる画像は、ユーザの顔（及び／又はその一部）を含み、且つ／又はさもなければそれを反映することができる。たとえば、図１に示すように、センサ１３０は、ユーザ１１０（ここでは、車両１２０の運転者）の目１１１の画像を取り込むように配向することができる。
【００３５】
動作２２０で、ユーザの注視の方向が判断される。ある実施態様では、参照される注視の方向は、センサによって取り込まれた画像（たとえば、動作２１０で取り込み／受信された画像）を使用して判断することができる。たとえば、図１に示すように、センサ１３０によって取り込まれた画像は、ユーザ１１０の注視の方向を判断するために、処理し、又はさもなければ分析することができる。
【００３６】
ある実施態様では、ユーザの注視の方向は、たとえば特定の時間に、ユーザが見ている場所を反映することができる。たとえば、運転者の目が道路前方を見ているシナリオでは（たとえば、運転者が運転している車両のフロントガラスを通して）、かかるユーザの注視は、まっすぐに、道路前方などに向けられていると判断することができる。
【００３７】
例示するために、図３Ａは、車両１２０に関してプロットされた様々なドット又は点３１０を示す。図示された各点は、たとえば特定の瞬間において、認識された、車両１２０の運転者の注視の方向を表す。たとえば、点３１０Ａ、３１０Ｂ、及び３１０Ｃは、ユーザの注視が（たとえば、異なる瞬間に）向けられた場所に対応する。もう１つの実例のシナリオを、図３Ｂに示す。図３Ｂに示すように、ユーザの注視は、車両１２０内部（たとえば、点３１０Ｅ及び３１０Ｆ）、及び／又は車両１２０の外部（たとえば、点３１０Ｄ）の様々な場所に向けられる可能性がある。
【００３８】
動作２３０において、ユーザ／運転者の頭／顔の位置、向きなどが判断される。ある実施態様では、センサ１３０によって取り込まれた画像を使用して（たとえば、当技術分野でよく知られているような、顔／頭検出、及び／又は他のかかる画像処理技術を使用して）、かかる位置／向きを判断することができる。ユーザの頭／顔の位置／向きは、特定のシナリオでは判断することができるが、他のシナリオでは判断しない（又は必ずしも判断しない）場合があることを理解されたい。たとえば、ユーザがまっすぐ／前方を（及び／又は遠距離を）見ているシナリオでは、頭の位置は必ずしも判断されない場合がある。他のシナリオ（たとえば、ユーザが車両内の物体／場所、車両のサイドミラーなど、近距離を見ているとき）では、たとえばユーザの目の特徴を抽出してキャリブレーションするために、頭の位置及び向きを判断することができる（注記したように、ユーザが近距離を見ているとき）。また、ある実施態様では、システムは他のシステム、デバイス、情報源などからユーザの顔／頭の位置及び／又は向きを受信することができることにも留意されたい。
【００３９】
動作２４０において、判断された１組の運転者の注視方向が識別される。ある実施態様では、かかる１組は、１つ又は複数の予め定義された方向を使用して／かかる予め定義された方向に照らして識別することができる。かかる予め定義された方向は、たとえば、その中に運転者が存在する車両が進んでいる移動の方向（たとえば、直進／前方向）と整列しているか又は一致している方向を反映することができる。したがって、かかる予め定義された方向は、たとえば特定の状況下で、ユーザの視線が向けられることが予想される／向けられる可能性が高い手法を定義することができる。たとえば、高速道路を直進するとき、ユーザの視線はまっすぐな／道路前方に向かう場所に向けられると予想される。ある実施態様では、認識される様々な運転者の注視の方向は、参照される予め定義された方向と相関があり得る。参照される予め定義された方向は、実例として提供されていること、及び他の予め定義された方向（たとえば、車両のミラーの方向、車載ナビゲーション・システムの方向など）もまた比較可能な手法で使用できることを理解されたい。
【００４０】
例示するために、図３Ａは、点３１０Ａ及び点３１０Ｂを含む組３２０Ａを示し、その間に運転者の注視が特定の場所（ここではまっすぐ、道路前方に向かって）に向けられていた事例を反映している。図３Ａに示すように、点３１０Ｃ（ユーザの注視が他の場所、たとえば空に向けられた瞬間に対応する）は、組３２０Ａに含まれない。参照される予め定義された方向（たとえば、まっすぐ前を見ている運転者に対応する点３１０Ａ及び３１０Ｂの方向）に対応する、そうした運転者の注視方向を識別することによって、たとえば本明細書で説明しているように、運転者の目の様々な特徴を抽出するために、さらに利用することができる。
【００４１】
ある実施態様では、システムは、時間枠に沿った１組の様々な注視方向、たとえば、ユーザの注視を予め定義された場所に反映する確率が高い１組を認識することができる。たとえば、まっすぐ前を見ているときの、運転者の注視を反映する確率が高い１組である。その組が識別されると、たとえばその組に関連するデータを使用して、運転者の目の特徴が抽出される。一実例において、この組内で、システムは、運転者の注視を予め定義された場所（たとえば、前方を見ている）に向けて反映するように、その組の一部を選択し、注視方向の他のサンプルを除外する（それらを「ノイズ」と理解して）。ある実施態様では、元の判断された組（たとえば３２０Ａ）内の注視方向の組を選択するために、異なる方法を使用することができる。一実例では、判断された組（たとえば３２０Ａ）に対して、メディアン・フィルタを使用することができる。別の実例では、判断された組の中のサンプリングされた注視方向を、平均化することができる。さらに別の実例では、注視方向の確率分布グラフを作成することができ、サンプルの注視方向の分布量に従って注視方向の組を選択することができる。
【００４２】
ある実施態様では、かかる判断された運転者の注視方向の１組は、運転中の運転者の注視の分布（たとえば、運転中の車の内部／外部の運転者の注視の分布など）に関連する情報（たとえば、先験的情報）を使用して識別することができる。たとえば、運転者の注視が、定義された時間の割合（たとえば、運転者が高速道路上を直進しているときの時間の少なくとも８０％）だけ、道路前方に向けられると予想されることを、定義及び／又は判断することができる。したがって、車両がまっすぐに走行している、且つ／若しくは高速道路上に位置しているという情報を受信するか、又はさもなければ判断すると、ユーザの注視は道路前方に向かってまっすぐに向けられることが予想される／向けられる可能性が高いと、判断することができる。
【００４３】
さらに例示するために、ユーザが高速で運転しているとき、そして車両のハンドルがまっすぐである間、運転者の注視の分布は、道路の消失点が中心となる（たとえば、水平成分と垂直成分との両方で）。したがって、かかるシナリオでは、記載のシステムは、デフォルトの目のパラメータの組を使用して、計算された運転者の注視点を（たとえば、数千フレーム／画像にわたって）収集することができる。次いでシステムは、消失点に向けられている運転者の注視にどのフレームが対応するかを、識別／検出／判断することができる。これは、計算された注視点の中央値を計算／検出することによって、又は注視点の分布の平均値を検出することによって、行うことができる。ある実施態様では、たとえば、こうしたフレーム上で計算された注視が消失点に等しくなるように、いくつかの目のパラメータ／特徴を補正することができる。たとえば、これは、カッパ角パラメータ（水平及び垂直）を変更することによって、行うことができる。「目のパラメータ」又は「特徴」（本明細書で参照される）は、画像ベースの特徴から注視方向を計算するために使用することができるものなどの、様々な物理的パラメータ（及び／又はその１組）を指し得ることを理解されたい。こうしたパラメータは、目を記述する物理的パラメータ、及び／又はこの計算のための回帰係数を含んでもよい。次いで、新しい目のパラメータは、たとえばその後の、注視計算に適用することができる。
【００４４】
他の実施態様では、かかる判断された運転者の注視方向の１組は、様々な運転行動（及び／又は車両運転の他の態様）に基づく、運転者の注視の分布に関連する情報（たとえば、先験的情報）を使用して識別することができる。すなわち本明細書に記載するように、様々な運転行動（たとえば、方向転換、方向指示器の作動など）は、運転者の注視が特定の方向を向いている可能性が高いことを示し得る。たとえば、車両の速度又は操縦、車両の場所、ミラーを見るなどの様々な現象によって影響を受ける可能性がある運転者の注視を、定義し且つ／又は判断することができる。したがって、参照される運転者の注視方向を判断する際に、（たとえば、車両及び／又は別のデバイス内に一体化された１つ又は複数のセンサによって判断されるような）かかる要因を考慮することができる。
【００４５】
さらに別の実施態様では、かかる判断された運転者の注視方向の１組は、（たとえば、車両内での、且つ／又は車両の構成要素に対する）運転者が取る／実施する動作に基づく、運転者の注視の分布に関連する情報（たとえば、先験的情報）を使用して識別することができる。たとえば、特定の行動（たとえば、ミラーを見ること、車載ナビゲーション・システムを見ること、乗客を見ることなど）が、運転者の注視に影響を及ぼすか又はそれを変える可能性があることを理解され得る。したがって、参照される運転者の注視方向を判断する際に、かかる要因を考慮することができる。さらにある実施態様では、判断された運転者の注視方向の組を識別する際に、車両内の様々な物体（たとえば、ミラー）の位置を考慮に入れることができる。
【００４６】
ある実施態様では、複数組の運転者の注視方向（たとえば、運転者の注視方向の第１の組、運転者の注視方向第２の組など）を判断することができる。たとえば、（図３Ａに示すように、まっすぐに見ている運転者に対応する運転者の注視方向を反映する）組３２０Ａに加えて、図３Ｂは、車両１２０の左側ミラーを見る運転者に対応する運転者の注視方向の組３２０Ｂを示す。
【００４７】
ある実施態様では、参照される、判断された１組の運転者注視方向は、（たとえば、動作２３０において判断された、且つ／又は別のデバイス／情報源から受信された）運転者の頭の位置を使用して、識別することができる。たとえば、運転者の注視が車両内の物体、要素（たとえば、車載ナビゲーション・システム、車両のバック・ミラー、運転者がその上でクリックする／選択するタッチ・スクリーン・デバイス上の場所）など、又は車両の外側の物体、要素（たとえば、車両のサイド・ミラー）に向けられていると判断する際に、運転者の頭の位置を考慮に入れることができる。例示するために、システムは、ユーザがタッチ・スクリーン上のアイコン（又は他の要素）上をクリック／選択した時間を、たとえば選択されたアイコンを検出することによって、又は別のシステム（たとえば、車載インフォテインメント・システム）から情報を受信することによって、認識することができる。かかる情報は、特定のアイコンに関連するタッチ・スクリーン上の場所にユーザが触れた／クリックしたこと、ディスプレイ上のアイコンの場所、及びかかる選択が行われたときのタイムスタンプを、反映することができる。ユーザがタッチ・スクリーン上の特定の場所をクリックしているとき、その時点で（たとえば、タッチ・スクリーン上のその場所に指を向けるために）ユーザはその場所を見ているという仮定に基づいて、ユーザの目の特徴を抽出するために、システムは、車の空間内のアイコンの場所、ユーザの頭／目の場所と向き、及びアイコン上を触れた／クリックした瞬間に検出された注視方向を、使用することができる。
【００４８】
さらに例示するために、車両内装内には、ユーザが見ることが多い様々な物体（たとえば、ミラー、インフォテインメント・システムの釦／タッチ釦など）があることが理解されよう。こうした物体は、センサー・カメラに対して［ｘ、ｙ、ｚ、］の位置が固定されている。記載のシステムは、かかる情報を、様々なやり方で使用することができる。たとえば、一実施態様では、システムは、運転者の計算された注視の「ホット・スポット」（たとえば、運転者が頻繁に見る領域）を分析し、計算された注視点と（たとえば、車両の内装／車両のキャビン内の）物体との間の対応関係を判断することができる。別の実施態様では、システムは、計算された注視点とキャビン内の実際の物体、及び／又は運転者の行動との間の対応関係を判断するために、運転者の計算された注視の「ホット・スポット」を分析し、それらを運転者の動作（たとえば、車線変更、釦への接触など）と相関させる。それぞれの関連するフレームにおいて、カメラ／センサに対して、それぞれの目の［ｘ、ｙ、ｚ、］の場所が計算される。これは、運転者の顔の３Ｄ情報を使用することによって、且つ／又は既知の位置における様々な照明源からの角膜反射間の距離を使用することによって、行うことができる。それぞれの目に対して、１組の対応関係を確立することができ、そのそれぞれが、物体の物理的位置と、目の位置と、そのフレームからの画像ベースの特徴との間の対応関係である。いくつかの目のパラメータは、たとえば、かかる対応関係ごとに計算された注視が、相対的な物体−目−カメラ位置によって予測された注視と一致するように、補正することができる。本明細書で参照される目のパラメータは、画像ベースの特徴から注視方向を計算するために使用することができる、１組の物理的パラメータを指すことを理解されたい。こうしたパラメータは、目を記述する物理的パラメータ、又はこの計算のための回帰係数を含んでもよい。次いで、新しい目のパラメータは、その後の、注視計算に適用することができる。
【００４９】
動作２５０において、運転者の１つ又は複数の目の１つ又は複数の特徴が抽出される。かかる特徴、目の特徴、ユーザの目の特徴などは、たとえば、視線追跡のために、且つ／又は他の状況で使用することができるものなど、様々な解剖学的特徴、パラメータなどであってもよい。ある実施態様では、かかる特徴は（たとえば、動作２４０で識別されるような）、判断された運転者の注視方向の、識別された組に関連する情報を使用して抽出される。抽出可能な特徴の一実例は、運転者の１つ又は複数の目のカッパ角である。かかるカッパ角は、瞳孔軸とユーザの眼の視軸との間の角度に対応することができる。抽出可能な特徴の他の実例は、運転者の目の角膜曲率半径、及び瞳孔面と運転者の目の角膜曲率の中心との間の距離を含むが、それに限定されるものではない。かかる特徴が実例として提供されていること、及び他のいくつのかかる特徴（たとえば、解剖学的パラメータ又はユーザの目の特徴）でもまた抽出可能であることを理解されたい。
【００５０】
さらに例示するために、図４は、本明細書に記載するような、目４００の実例を示す。図４は、眼球４０５及び角膜４１０の適切な場所を示しており、中心窩４１５及び光軸４２０を判断するために、次いでこれらの場所を使用することができる。中心窩４１５及び光軸４２０は、次いで、たとえば本明細書で説明されるように、視軸４２５及びカッパ角４３０を計算／判断するために使用することができる。
【００５１】
たとえば、上記で参照したように、たとえばさらなる処理のために、目の画像の様々な画像特徴に関するデータを抽出することができる。この抽出されたデータを処理し、次いで（たとえば、それぞれの目に関連づけられる）注視ベクトルを計算又は取得するために使用することができる。かかる抽出されたデータは、たとえば、輝き、瞳孔などの非常に正確な場所を含んでもよい。
【００５２】
ある実施態様では、かかる画像の処理及びユーザの注視、注視ベクトルなどの判断は、様々な演算によって仕遂げることができる。かかる演算は、たとえば、図４の目４００の光軸４２０など、画像内の目の光軸を推定することを含んでもよい。かかる光軸は、角膜４１０の曲率の中心を通過し、対称軸と平行に延びる線を指す。目４００は、角膜４１０及びレンズ（焦点合わせのために使用することができる）を含んでもよく、角膜４１０から反射を得ることができることを理解されたい。さらに、球面鏡は、（たとえば、目４００の物理的特徴ではなく）角膜４１０のモデル（たとえば、数学的モデル）と考えることができる。本明細書に記載するように、光軸の様々なパラメータは、１つ又は複数の画像の特徴、角膜曲率半径、及び角膜曲率の中心と瞳孔面との距離に基づいて計算することができる。さらにある実施態様では、参照される動作はさらに、画像内の目の視軸（たとえば、図４の目４００の視軸４２５であり、ここで視軸は、図４の中心窩４１５及び目の（光学的）節点を通るなど、視野の中心を通過する線を指す）の推定を含んでもよい。
【００５３】
また図４に示すように、視軸４２５は、カッパ（「κ」）４３０として知られる角度だけ光軸４２０から逸れてもよく、ここで、κは、水平角α（アルファ）及び横角β（ベータ）などの２つの成分を含んでもよい。たとえば、αの平均値は５°であり得、βの平均値は１．５°であり得る。角度κは、人によるなど、人それぞれに異なることもあり、また左目及び右目などそれぞれの目で異なることもある。さらに、κは、キャリブレーション・プロセスで、各個人に対して測定することができる。
【００５４】
ある実施態様では、視軸は、光軸に基づいて、κ及び目の３軸姿勢を計算することによって、得ることができる。同様に、目のピッチ角及びヨー角も光軸から得る、又は知ることができるが、ロール角は、（これらに限定されないが）ドナーの法則（特定の方向を見るときの目の向きは常に同じである）、リストの法則（目の回転軸は共通の平面内にあり、その平面は光軸に垂直である）など、１つ又は複数の経験則から得ることができる。
【００５５】
さらにある実施態様では、（たとえば、上述のように）片方又は両方の目の視軸を推定した後に、次いで、ユーザの注視を計算又は判断するために、目の光軸（並びに他の特徴）に加えて視軸を使用することができる。ユーザの注視は、正確な視線の追跡に使用することができ、それはいくつの市販及び非商業的なソフトウェア・プログラム又はアプリケーション向けに使用されてもよい。正確な視線追跡が、視線追跡を採用する任意のソフトウェア・アプリケーションから、より良好でより正確な実行を容易にする可能性があると、期待される。
【００５６】
ある実施態様では、それぞれの特徴を、判断された様々な運転者の注視方向（たとえば、動作２４０で識別された、１組の判断された運転者の注視方向など、１組の中に含まれるもの）から抽出することができる。たとえば、第１の特徴は、判断された第１の運転者の注視方向（たとえば、図３Ａに示す点３１０Ａ）に関して抽出することができ、第２の特徴は、判断された第２の運転者の注視方向（たとえば、点３１０Ｂ）に関して抽出することができる。
【００５７】
さらに上記のように、ある実施態様では、判断された運転者の注視方向の複数の組を識別することができる。したがって、かかるシナリオでは、１つの特徴は、たとえば、判断された運転者の注視方向の第１の組に関する情報を使用して抽出することができ、第２の特徴は、判断された運転者の注視方向の第２の組に関する情報を使用して抽出することができる。さらにある実施態様では、参照される特徴は、判断された運転者の注視方向の第１の組、及び／又は判断された運転者の注視方向の第２の組に関連する情報を使用して、抽出することができる。
【００５８】
システムはまた、運転者を認識し、格納された／以前に抽出された運転者の目の特徴を使用して、運転者の注視を計算し、注視方向に従って（たとえば、以前のキャリブレーションからの、保存された運転者の目の特徴を使用して）、関連する運転者の注視の選択された組を判断しながら（上述のように）、さらなる運転者の目の特徴を抽出するように構成される。他の実例では、システムは、運転者の目から抽出された特徴の確実性（たとえば、確実性の程度）にタグづけし、たとえば、新しい組がより高い確実性（たとえば、正確である可能性がより高い）に関連づけられたとタグ付けされている場合には、１組の新しい運転者の目の特徴を用いて、保存／格納された運転者の目の特徴を、変更、更新などすることができる。
【００５９】
さらに例示するために、システムは、たとえば、車両１２０が高速（たとえば、８０．４７ｋｍ／時（５０ｍｐｈ）又は１０４．６ｋｍ／時（６５ｍｐｈ）よりも速い速度）で移動しているというシナリオにおいて、運転者がいつ前方を向いているかを判断又は決定するように構成することができる。別の実例では、システムは、車両が高速道路を走行している、車両がある一定の時間（Ｔ秒）直進している、などのシナリオにおいて、運転者がいつ前を見ているかを判断／決定する。システムは、関連する注視方向の組を選択し、運転者が前方を見ている可能性が低いことを反映する注視方向のサンプルを除外するために、前方を見ている、カメラから受信したデータを使用することができる。たとえば、その瞬間に高速道路上の他の車が車線を移動しつつあると判断され、車線変更した車がない限り、注視方向のサンプルを選択することができる（かかる状況下では、ユーザ／運転者は、まっすぐ前を見ている可能性が高いと認識できる）。
【００６０】
別の実施態様では、システムは、いつユーザ／運転者が前を／先を見ている可能性が高いかを判断するために、運転者及び／又は車両に関連するデータ（たとえば、車両速度、道路上の他の車両からのものなどの音、及び／又は運転者の行動）を使用する。たとえば、車が少なくとも一定の速度で移動している、道路上に車線変更している車両がない、及び／又は運転者が自分の電話をかけていない／見ていないという判断に応答して、注視方向を選択することができる。他の実例では、システムは、ユーザ／運転者がいつ前を／先を見ている可能性が高いかを判断するために、たとえば、本明細書に記載の手法で、車の方向、車の場所、車の速度及び／又はユーザの行動に関連するデータの組合せを使用する。
【００６１】
さらにある実施態様では、システムはさらに、運転者が座っている場所を反映したデータを使用することができる。かかるデータは、たとえば車から受信することができ、運転者が座っている、たとえば車内の物理的な場所を、反映することができる。かかるデータは、たとえば運転者及び／又は運転者の頭の場所を判断するために、運転席内に置かれた圧力センサなどのセンサから発することができる。
【００６２】
様々な実施態様において、記載のシステムは、記載のデータ分析をリアルタイムで、オフラインで、且つ／又は「クラウド」で（たとえば、遠隔デバイス若しくはマシン上で）実行されるよう構成することができることを理解されたい。
【００６３】
本開示のさらなる態様及び実施態様は、カメラの画像信号プロセッサ（ＩＳＰ：ｉｍａｇｅ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）との通信を使用して、ユーザの注意の変化に応答することに関する。
【００６４】
本開示の主題はさらに、グラフィック要素の選択に応答して、画像内で識別されたグラフィック要素に関するデータを外部デバイス又はウェブサイトから受信し、受信したデータをユーザに提示することを含んでもよい。外部デバイス又はウェブサイトとの通信は、通信ネットワークを介してもよい。
【００６５】
図５Ａは、実例の実施例による、カメラのＩＳＰとの通信を使用してユーザの注意の変化に応答するための、方法５００を示す流れ図である。かかる方法は、ハードウェア（回路、専用ロジックなど）、ソフトウェア（コンピュータ・システム又は専用マシン上で実行されるものなど）、又はその両方の組合せを含んでもよい処理ロジックによって実行される。ある実施態様では、かかる方法は、本明細書で説明及び／又は参照されるものを含むがこれらに限定されない、１つ又は複数のデバイス、プロセッサ、マシンなどによって実行することができる。ある実施態様では、本明細書で説明及び／又は参照される方法／プロセスの様々な動作、ステップなどは、本明細書で説明及び／又は参照されるプロセッサ／処理デバイス、センサ、及び／若しくはディスプレイのうちの１つ又は複数によって実行することができるが、別の実施例では、いくつかの動作／ステップは、他の処理デバイス、センサなどによって実行することができることを理解されたい。さらに、ある実施態様では、本明細書に記載の方法／プロセスの１つ又は複数の動作／ステップは、複数のプロセッサを含む分散型コンピュータ処理システム、及び別のステップ／動作を実行する携帯電話などのネットワーク・デバイス内の別のプロセッサを使用して、実行することができる。さらに、ある実施例では、記載の方法／プロセスのうちの１つ又は複数のステップは、クラウド・コンピュータ処理システムを使用して実行することができる。
【００６６】
本明細書に記載のシステムは、カメラのＩＳＰとの通信を使用してユーザの注意の変化に応答することに関して示しているが、記載のシステムはまた、いくつの追加又は代替の設定又は状況で、いくつの追加の目的に向けて実装することも可能であることにもまた留意されたい。
【００６７】
一実例の実施態様では、動作５１０において、イメージ・センサによって取り込まれた第１の画像が受信される。動作５２０において、たとえば、ユーザの１つ又は複数の目の視線が道路に向けられていることを判断するために、第１の画像が処理される。動作５３０において、ユーザの視線が道路に向けられているという判断に基づいて、イメージ・センサは、少なくとも１つのプロセッサに、ユーザの目に対応する第２の画像の一部を送信するよう構成される。動作５４０において、ユーザの目に対応する第２の画像のその部分が処理される。
【００６８】
図５Ｂは、実例の実施例による、別の方法５５０を示す流れ図である。動作５６０において、画像が受信される。動作５７０において、たとえば、ユーザの１つ又は複数の目の視線を判断するために、画像が処理される。ある実施態様では、これは、ユーザの視線の角度を判断すること、及び／又はユーザが視線を予め定義された期間維持していると判断することを含んでもよい。動作５８０において、ユーザの視線の判断に基づいて、イメージ・センサに関連する１つ又は複数の画像処理パラメータが調整される。ある実施態様では、これは、ユーザの目に対応する画像内の座標に関して、１つ又は複数の画像処理パラメータを調整することを含んでもよい。
【００６９】
記載のシステムは、人間のユーザなどの画像、ビデオなどを取り込むためのシステム及び方法を含む。かかる画像、ビデオなどは、ユーザが特定のアイテム、作業などに注意を向けていることを検出／判断するために、処理することができる。ある実施態様では、ユーザが自身の注意を特定のアイテム、作業などに向けている（又は向けていない）と判断したとき、参照される画像、ビデオなどの取り込みに関連する様々な態様、パラメータ、設定などを、変更、調整、修正などすることができる。たとえば、様々な判断（たとえば、ユーザが自身の注意を道路前方に向けているか否か）に基づいて、高い画像取り込みフレーム・レート（たとえば、６０ｆｐｓ又は１２０ｆｐｓ）を維持しながらも、電力消費量、（たとえば、カメラ／イメージ・センサからプロセッサへの）ビデオ転送帯域幅を低減することができる。したがって、（たとえば運転中に）運転者が道路前方に自身の視線／焦点を維持しているかどうかを判断するために画像を分析／処理し、また高速に取り込まれたユーザの画像に関連するフレーム・レートを維持しながらも、電力消費量／カメラからプロセッサへの画像の帯域幅を削減する（及び／又はかかる画像の取り込み／処理に関連する他のパラメータを調整する）ための、システム及び方法がまた、本明細書で説明されている。
【００７０】
ある実施態様では、記載のシステム及び方法は、（たとえば運転中に）ユーザが道路前方に自身の視線／焦点を維持しているかどうかを判断するために画像を分析／処理するよう構成することができる。運転者が自身の視線／焦点を（たとえば道路に向かって）維持していると判断すると、イメージ・センサは、その後に取り込まれる画像の一部、たとえばユーザの目の位置に対応する、かかる画像の一部のみを、（たとえばプロセッサに）送信するように構成することができる。（ユーザの目に対応する）取り込まれた画像の参照部分は、次いで、（たとえば、ユーザが道路前方に向かって自身の注視を維持していることを判断するために）処理することができる。そうすることで、高速及び／又は高解像度で取り込まれたユーザの画像に関連するフレーム・レートを維持しながら、取り込まれた画像のサブセット（すなわち、ユーザの目に対応する部分）のみを送信し処理することによって、電力消費を低減することができる。
【００７１】
ある実施態様では、記載のシステムは、ユーザの顔、目などの画像、ビデオなどを取り込み、ユーザの注視を追跡するためにかかる画像を処理し、ユーザの注視に関して計算された１つ又は複数の判断に基づいて、参照される設定、パラメータなど（たとえば、電力消費量、カメラからプロセッサへのビデオ転送帯域幅などの削減／低減）を調整するよう構成することができる。上記のように、本明細書に記載の、且つ／又は本明細書で参照される「ユーザの注視」「視線」などは、人間のユーザの目が、たとえばある期間にわたって、その位置／焦点を維持する手法を指し得る。たとえば、ユーザの「視線」は、たとえば継続する期間に、かかるユーザの目が向けられる、又は焦点が合わされる方向を指し得る。さらに、ある実施態様では、ユーザの目が、「道路を見ていること」及び運転に対する適切な注意に関連する、又は画像／ビデオの中の周囲の要素（たとえば車の内部、及び／又は他の画像／ビデオ）に関連する、特定の角度／方向に向けられているという判断に基づいて、ユーザの注視が特定のアイテム、物体、作業などに向けられている（たとえば、運転中に道路前方に向けられている）と判断することができる。本明細書で参照される「道路前方を向いて見ている」は、（前方に運転しているとき）自身の目の注視／焦点を、運転している車のフロントガラスを通して見える道路に向けている／維持している、車両の運転者を指し得ることを理解されたい。安全上の理由のために、ユーザが車を運転中の期間の大部分（全部ではないにしても）の間、運転者が道路前方に向けて自身の視線を維持することが（必須ではないにしても）好ましいことが理解されよう。
【００７２】
たとえばある実施態様では、ユーザの注視が道路に向けられている（たとえば、ユーザの注視が、道路を見ていると定義される角度の境界内にある）と判断すると、記載のシステムはさらに、ユーザがまだ道路を見ていることをさらに判断するために、取り込んだ画像、ビデオなどの一部（たとえば、ユーザの目を含む領域）を処理／分析することができる。ユーザの注視が道路前方に向けられていない（或いはかかる判断を行うことの信頼度が、予め定義された閾値を下回る、又は記載のシステムがユーザの目を識別／認識できないなど）と判断／認識されると、記載のシステム及び方法はさらに、画像／ビデオのより大きな部分（たとえば、ユーザの顔全体を含むと判断された部分）を処理／分析し、及び／又は画像全体さえも分析するように構成することができる。
【００７３】
ある実施態様では、記載のシステムは、画像、ビデオ、及び／又は１つ若しくは複数のセンサ、たとえばイメージ・センサ（たとえばカメラ）からの他の入力を受信することができる。かかる画像、ビデオなどは、ユーザの目の存在を検出するために処理することができる（たとえば、顔検出技術を使用して）。ユーザの目を検出するときに、ユーザの注視を判断することができる。ある実施態様では、ユーザの注視は、車内のカメラの位置、車内のユーザの顔の位置（ユーザの身長に応じて異なる場合がある）、ユーザの年齢、性別、顔の構造、車内の様々な所に位置付けられたカメラ、ユーザの顔の３Ｄ情報を提供するセンサ（ＴＯＦセンサなど）を含む他のセンサからの入力、又はＩＲカメラを含む、外部システムなどからの入力などの情報に基づいて、判断することができる。
【００７４】
ユーザの注視を検出／判断すると、ユーザの目を含む（たとえば、画像の）領域を画定することができる。次いで、座標（たとえば、画像内のＸ、Ｙ座標）を、たとえばカメラのＩＳＰ（画像信号プロセッサ）に送信することができる。
【００７５】
一実例では、画像内のユーザの注視又はユーザの目の検出は、カメラの外部にあるプロセッサによって実行され、別の実例では、画像内のユーザの注視又はユーザの目の検出は、カメラ・モジュール内、又はＩＳＰ内に一体化されたプロセッサによって実行される、或いはＩＳＰによって実行される。
【００７６】
他の実施態様では、検出は、ＩＳＰによって、又はカメラ・モジュールに一体化されたプロセッサによって実行され、ユーザの注視検出のさらなる処理及び分析のために、ユーザの顔を含む画像の一部が外部プロセッサに送信される。
【００７７】
受信した座標に基づいて、ＩＳＰは、分析のために、次の取り込んだ画像のサブセットをプロセッサに送信するように構成することができ、たとえば、参照される領域を画定する座標内の画素のみがプロセッサに送信されることになる。そうすることで、バスを介してプロセッサに送信されるデータ量が減少するため、且つ画像すべてではなく画像のサブセット上でのみでプロセッサによる分析が行われるため、システムの総電力消費量を低減することができる。
【００７８】
次いで、記載のシステムは、参照される画像のサブセットを処理／分析することができる。そうすることで、ユーザの注視が画定された方向の範囲内に維持され続けるかどうか、たとえば、ユーザが道路前方を見続けているかどうかを、判断／検証することができる。ある実施態様では、ユーザの頭、目などの位置が変化する可能性がある（たとえば、ユーザが自身の頭を動かす場合）ことを理解されたい。かかるシナリオでは、必要に応じて（たとえば、ユーザが頭を少し動かしたがまだ道路を見ている場合）、かかる変化を検出／判断することができ、補正／更新された座標をＩＳＰに供給することができる。
【００７９】
ユーザが道路を見ていない（たとえば、道路前方へ向けて自身の注視を維持していない）ことを検出、判断、認識などした（又は記載のシステムが、ユーザが道路を見ていない疑いがある、又はユーザの注視を認識することの信頼度が所定の閾値を下回る、又はユーザの目を画像内で識別することができないなど）とき、記載のシステムは、たとえば、画像のより大きな部分（又は画像全体）に対応する新しい座標をＩＳＰに送信することによって、画像のより大きな一部分（又は複数の部分）を処理、分析などをするように、或いは画像全体を分析するように、構成することができる。
【００８０】
一実例では、記載のシステムは、瞬きが起こったことを検出及び／又は無視するように構成することができる（たとえば、ユーザが瞬きするとき、ユーザの「注視」は瞬間的に道路に向けられていない）。瞬きが起こったことの検出及び／又は無視は、カメラの外部にあるプロセッサによって実行することができる。他の実例では、画像内のユーザの注視又はユーザの目の検出は、カメラ・モジュール内、又はＩＳＰ内に一体化されたプロセッサによって実行される、又はＩＳＰによって実行される。
【００８１】
眼鏡、サン・グラスなどを着用するユーザの注視を検出するために、記載のシステムは、眼鏡をかけた顔を検出する顔認識技術を使用／適用することができる（たとえば、眼鏡及びサン・グラスをかけたユーザで訓練された分類手段を使用して）。
【００８２】
ユーザがサン・グラスを着用している場合、注視の検出は、車内のカメラの場所、関連するユーザの顔の位置などの情報を使用して、ユーザの顔が向いている方向に（少なくとも部分的に）基づいて考慮／計算することができる。
【００８３】
ユーザの注視を判断／検出することに関して、全体的に画質はそれほど重要ではないかもしれないが、ユーザの顔に関する視覚的情報をできるだけ多く有していることは、より重要となる可能性があることを理解されたい。したがって、記載のシステムは、それを使って露出、ユーザの顔の調整などの画像パラメータを計算するための座標を、ＩＳＰに提供するように構成することができる。このようにして、記載のシステムは、画像のそうした重要な態様が、視覚上その最高品質であることを検証することができ、車の窓などの画像の部分からの情報を含むユーザ周辺の領域に（たとえば、完全に暗い、又は完全に「焼けている」可能性があるなど、こうした領域内の画像の視覚的品質に対して）重点を置かない又は無視することができる。
【００８４】
ある実施態様では、記載の技術はさらに、ユーザの注視を認識するためのシステム及び／又は方法を含んでもよい。かかるシステムは、イメージ・センサ、イメージ・センサの視空間の少なくとも１つの画像を含んでもよい。少なくとも１つの画像を、少なくとも１つのプロセッサによって処理することができ、画像内のユーザ（又は運転者）の顔又は目の場所を示すデータを得ることができる。画像のサブセットは、検出されたユーザの顔／目に関して、判断することができる（たとえば、画像のサブセットは、検出されたユーザの顔／目を含んでもよい）。ある実施態様では、システムは、画像の判断されたサブセット内の画像情報に関連する視覚データに応じて、イメージ・センサ又はＩＳＰのパラメータを変更し、ＩＳＰパラメータを変更した後の画像内のユーザの注視を検出するように構成することができる。
【００８５】
他の実例において、システムは、ユーザの注視の検出レベルに関連するパラメータに応じて、イメージ・センサ又はＩＳＰのパラメータを繰り返し変更することができる。ある実施態様では、イメージ・センサ又はＩＳＰは、ユーザの注視検出に最適なパラメータに達するまで、パラメータを繰り返し変更することができる。
【００８６】
様々な図で、記載のシステムのさらなる態様を示す。たとえば図１は、本明細書に記載の通り、たとえば車内のカメラの位置、車内のユーザの顔の場所（これは、ユーザの身長に応じて大きく異なり得る）、ユーザの年齢、性別、顔の構造などを含み得る情報を使用して、ユーザ（例えば車の運転者）の視線を抽出する、判断するなどの態様を示す。図１に示すように、運転者１１０は車１２０に着座することができ（記載のシステムは、たとえばバスなどの実質的にあらゆる車両に関して、同様に使用することができることを理解されたい）、またユーザ位置の目の注視／位置は、車内に位置付けられるカメラ１３０によって取り込まれた画像に基づいて、判断することができる。本明細書で使用される「車」は、車輪つきの、自動駆動の自動車、飛行車両など、輸送に使用される実質的にあらゆる自動車を指すことができることにも留意されたい。
【００８７】
図６は、道路前方を見ていると考えられ得る、運転者の注視の角度を反映する、車１２０内の実例の領域６００を示す。ユーザの注視が領域６００の角度の外側にあると判断された場合、運転者は道路を見ていないと判断することができる。
【００８８】
図７Ａ及び図７Ｂは、ユーザが道路前方を見ていない場合の、ユーザの注視の実例を示す。かかる状況では、記載のシステムは、画像のより大きなサブセット、又は全画像でさえも分析するように、構成することができる。
【００８９】
また、運転者の体位を検出するためのシステム、方法、及び関係する技術が、本明細書で説明される。記載のシステム及び方法は、車の内装の画像、ビデオなどを取り込むことを対象とすることができる。ある実施態様では、かかる画像を処理して、車内の人間のユーザ（たとえば車の運転者）の存在を検出することができる。より具体的には、（たとえば運転中の）運転者の体位を極めて忠実に判断するために、車の内装の画像を処理／分析して、運転者の体の様々な部分を識別／検出することができる。次いで、体位の検出は、様々な命令、様々な動作／指示の開始をもたらすことに関して考慮することができる。たとえば、運転者の体位の判断又は検出は、事故発生時に車両内のどのエアバッグを膨張させるかを判断するために使用することができる。
【００９０】
図８は、実例の実施例による、方法８００を示す流れ図である。動作８１０において、車内の空間に関連する画像情報は、たとえばイメージ・センサから受信される。動作８２０において、たとえば画像情報内で、運転者の体位が検出される。動作８３０で、追加の情報、たとえばイメージ・センサからの情報以外の情報が受信される。かかる追加の情報は、たとえば、車内の運転者の空間内の場所（たとえば、ハンドルからの運転席の距離、イメージ・センサよりむしろ別のセンサから抽出された運転者の体の部分の場所）であってもよい。ある実施態様では、かかる追加の情報は、検出条件が最適であった、過去に同様に検出された体位での運転者の体位情報と、関連づけることができる。ある実施態様では、追加の情報は、部分的には、予め定義された体位での体の関節の場所、及び関節間の関係に関連し得る。ある実施態様では、運転者の体位は、少なくとも部分的に、運転者の体の関節の検出場所に基づいて検出することができる。ある実施態様では、追加の情報は、関節の場所、及び検出された体位と整列した体位における、運転者の体の他の部分を表すデータベースから抽出された情報であってもよい。ある実施態様では、追加の情報は、運転者の身体の寸法であってもよい。ある実施態様では、運転者の身体の寸法は、運転者の身長を含む。動作８４０において、追加の情報を使用して、検出された運転者の体位を修正又は検証する。
【００９１】
高度な堅牢性（たとえば、正確さ）をもって運転者の体位を検出するために、記載のシステムはさらに、運転者の体位を検出するために、イメージ・センサから受信されたデータ／入力と共に、追加の情報を使用／考慮することができる。かかる「追加の情報」は、様々な情報源に由来してもよく、（たとえば、取り込まれた画像に基づいて以前に検出／判断されたような）ユーザの体位の判断を、検証及び／又は修正するために使用することができる。
【００９２】
ある実施態様では、運転者の体位は、少なくとも部分的に、運転者の体の関節及び／又は予め定義された体の部分（頭、首、腕など）の場所の認識に基づいて、検出することができる。
【００９３】
参照される追加の情報（前述の通り、それはまた運転者の体位を判断／検出する際に考慮され得る）は、たとえば、以前のフレーム／画像中の運転者の予め定義された体位の検出（たとえば、運転者が自身の両手を車両のハンドルに乗せていることの検出）であってもよく、かかる予め定義された体位に関連する情報（たとえば、かかる予め定義された体位における運転者の体の部分及び関節の、空間内での場所に関する情報）を使用して、イメージ・センサから抽出された情報から抽出／判断された、運転者の検出された体位を（必要に応じて）検証及び／又は修正することができる。
【００９４】
たとえば、運転者がハンドル上の特定の場所で、両手をハンドルに置いていることを検出すると、（たとえば、イメージ・センサから抽出された情報から判断された）運転者の体位の検出を向上、修正及び／又は検証するための、追加の情報を使用することができる。この追加情報は、運転者の体位が、運転者がハンドルに自身の手を置いていることを反映しているときに、運転者の関節及び体の他の部分の場所を表すデータベースから抽出された情報などである。
【００９５】
他の追加の情報（上述のように、運転者の体位を判断／検出する際にもまた考慮することができる）は、運転者の体の寸法（たとえば運転者の身長で、これはたとえばデータベースから抽出することができる情報である）、車内の運転者の空間内の場所（たとえば、運転席とハンドルとの間の距離、又はＴＯＦセンサ、運転席に置かれた圧力センサ、及び／又はかかる情報を提供可能な他の任意のセンサなどの、他のセンサから抽出された運転者の体の部分の場所）、過去に（たとえば最適な検出状態で）同様に検出された体位での運転者の体位の情報、などに関連するものであってもよい。
【００９６】
参照される追加の情報（上述のように、運転者の体位を判断／検出する際にもまた考慮することができる）はまた、ユーザの行動（たとえば、あくび）及びそれに関連する様々な身振り（たとえば、ユーザが自身の口に向けて自身の手を伸ばす可能性がある、など）に関連するものであってもよい。
【００９７】
記載のシステムは、運転者の体位の検出を助け／強化し、運転者の体の関節又は他の体の部分の検出を検証及び／又は修正するために、追加の情報のサブセット又はそのすべてを使用することができる。
【００９８】
さらに、高い忠実度をもって行うかかる検出（たとえば、運転者がハンドルに自身の両手を置いたときなど、運転者の姿勢の先験的な知識／情報、かかる姿勢での関節及び体の場所と距離の関係がどうなっているか、の知識／情報があるときの検出）は、１つの姿勢と別の姿勢との間の変化が（その動きがどれほど速くても）直線的な動きであり、第１の瞬間（「Ｔ１」）における体位検出の高い忠実度の情報が、第２の瞬間（「Ｔ２」）における体位の検出を補助することができるので、（たとえば、検出された姿勢がデータベース内の予め定義された姿勢と整列しないとき）他の検出された姿勢での運転者の体位の検出を補助するために考慮／使用することができる。
【００９９】
このシステムは、運転者の体位を連続的に検出するプロセス内の「ドッキング点」として、参照される忠実度の高い瞬間を、関係づけることができる。実例のドッキング点は、運転者の体位の検出が高い忠実度で行われる、又は予め定義された、検出された運転者の体位に関連する参照される追加の情報が使用される瞬間であってもよい。
【０１００】
一実例では、システムは、検出されたユーザ（運転者）の体位のいくつか、又はそのそれぞれに、ユーザの体位を認識する際の忠実度（正確性）を反映する値で、タグづけする。システムは、分類された「ドッキング点」への、タグづけを使用することができる。
【０１０１】
一実例では、システムは、ユーザ（運転者）が第１の体位から第２の体位に動く可能性を反映する情報を使用する。
【０１０２】
運転者の注意を検出／判断するための自動車システム及び方法もまた、本明細書で説明されている。ある実施態様では、かかる自動車システムは、たとえば運転者の顔を照らす急激な光の変化を克服し、カメラを正しい露光レベル（たとえば、ユーザの顔に関して検出されるべき安定した品質の視覚情報を可能にする露光レベル）に設定するように構成することができる。
【０１０３】
運転者の顔の上への、かかる急激な光の変化は、夜間、たとえば車が街路灯を通り過ぎて走行しているとき、又は道路の反対側を走行する車が近づいてきているときに起こる可能性がある。運転者の顔の上への、光量の変化は非常に重要となる場合があり、かかる変化は極めて急に起こる可能性がある。
【０１０４】
かかる急激な変化を、イメージ・センサのＦＰＳ（１秒当りのフレーム数：ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）を上げることによって克服することができる可能性があるが、ただしそうすることで電力消費量もまた増大し得ることが理解されよう。
【０１０５】
このシステムは、外部センサ（たとえば、車の外側を走査し／見て、たとえば、反対側から接近してくる車からの光、又は街路灯からの光、又は側溝へ出入りする光などを認識することができるセンサ）からの、或いは（たとえば、街路灯によって作り出された）連続して繰り返される光の増加を検出するよう、以前の画像から抽出された、或いは地図、又は道路に関連するデータ、又は他の車からのデータを含むがこれらに限定されない他の情報源からの情報を使用して、運転者の顔面上の光の変化を予測するように構成することができる。
【０１０６】
参照された予測に続いて、システムは、その露出計算の際に使用されるべき情報を、イメージ・センサ（たとえば、画像信号プロセッサ（ＩＳＰ））に送信することができる。
【０１０７】
他の実例では、システムは、イメージ・センサから抽出された情報、及び外部センサ（車の外側を走査し／見て、たとえば反対側から近づいている車からの光、若しくは街路灯からの光、若しくは側溝へ出入りする光などを認識することができるセンサ）から、又は（たとえば、街路灯によって作り出された）連続して繰り返される光の増加を検出するよう、以前の画像から抽出された、又は地図、若しくは道路に関連するデータ、若しくは他の車からのデータを含む他の情報源からの情報など、他の情報源から受信した情報に基づいて、露出を計算するＩＳＰ、或いはＣＰＵ上で動作し、そのＩＳＰが関連するイメージ・センサによって取り込まれた画像を分析するシステム、ユーザの顔又は注視方向の検出を含むユーザに関する情報を抽出するシステムであってもよく、或いはそれらを含んでもよい。
【０１０８】
一実例では、運転者の方に向くイメージ・センサから抽出された情報に加えて、運転者の方に向くイメージ・センサのパラメータを予測及び設定して、運転者に関連する特徴（運転者の注視、運転者の感情的反応、運転者の機敏さなど）の検出に最適な情報を得るための情報を使用して、たとえばイメージ・センサ又はＩＳＰのパラメータを変更することによって、運転者を監視し、且つ／又は運転者の注視を検出するためのシステム及び方法が提供される。
【０１０９】
一実例では、システム及び方法は、様々な情報源、たとえば、外側に向き、反対側から接近する車からの光、又は街路灯からの光、又は側溝へ出入りする光などの反射に関する情報を提供することができる異なるセンサからの情報を組み合わせ、その情報を計算して車速と組み合わせて、外部光源（たとえば車、街路灯など）からの光によって、運転者の顔が「焼ける」ことを防止するよう、いつイメージ・センサ（ＩＳＰ）のパラメータの変更が必要になるかを予測する。
【０１１０】
他の実例では、システム及び方法は、運転者の注視を検出するために運転者の目の特徴（瞳孔の大きさなど）を分析するときに、運転者の顔と目の上の突然の光の変化に関連する追加の情報を使用する。
【０１１１】
他の実例では、システム及び方法は、運転者が目を眩まされるかどうか（「目眩まし期間」中に路上で発生する出来事に、運転者の対応する能力が低下する可能性がある）を予測し、運転者の目が眩んでいない状態と比較して異なる手法で、車のパラメータ（たとえば速度、車の方向）を制御することができる。
【０１１２】
運転者の体位を、少なくとも１つの加速度計からの情報を使用して予測するためのシステム及び方法が、また本明細書で説明される。ある実施態様では、かかるシステムは、車内に置かれる少なくとも１つの加速度計から抽出されるデータに関連する情報を使用して、運転者の体位を認識／判断することができる。
【０１１３】
さらにある実施態様では、運転者の姿勢の変化が大きい（且つ、画像がぼやけるかもしれない）、車内での衝撃がある場合、システムは、その衝撃の前に（たとえば、衝撃のＴミリ秒前に）イメージ・センサから抽出された情報、及び衝撃の瞬間の主要な情報としての加速度計からの情報を使用することができる。
【０１１４】
深層学習及び／又は機械学習を使用して、手の関節を抽出／識別するためのシステム及び方法がまた、本明細書で説明される。ある実施態様では、深層学習マシンを訓練するために、同じ手の２次元画像及び３次元画像を使用することができる。そうすることで、手の関節は２次元画像の入力のみから、識別／抽出することができる。
【０１１５】
車内の運転者を追跡するためのシステム及び方法がまた、本明細書で説明される。
【０１１６】
運転者の注意、体位、及び運転者の他の行動を検出するために、カメラを置く／配向する、車内で最良の場所の１つは、フロントガラスの場所であることが理解されよう。ただし、フロントガラス上にカメラを位置決めすることは、たとえば、それを降ろしているとき、又はそれが中間の位置にあるときに、カメラの視野を妨げる可能性がある。
【０１１７】
したがって、記載のシステムは、いつフロントガラスがカメラの視界を妨げる位置にあるかを検出し、運転者に信号を送る（たとえば、それを完全に引き下げる、又は後ろに配置する）ことによってこの課題／欠点を克服することができる。
【０１１８】
他のオプションでは、フロントガラスを、カメラを妨げる位置に来ることができないようにするモジュールを、フロントガラスの設計に追加することを含む。たとえば、フロントガラスが一定の角度（これはまた、カメラを妨害する角度でもある）内にあるとき、フロントガラスが自動的に（紐によって）開位置又は閉位置に移動する紐を採用することができる。
【０１１９】
他のオプションでは、フロントガラスがカメラの視野と相互作用しないような手法で、フロントガラスを設計し、且つ／又はＩＲを透過する材料でフロントガラスを作ることができる。
【０１２０】
他のオフションでは、フロントガラスをある位置から他の位置へ揺動させる電気式エンジンによって制御することができ、かかるエンジンは、フロントガラスを、カメラを妨害する角度で配向／位置決めできないように構成することができる。
【０１２１】
様々な図に照らして、記載のシステムのさらなる態様が、本明細書で説明される。図９は、ハンドル上の両手など、予め定義された姿勢で着席している運転者の、実例のシナリオを示す。本明細書に記載されるように、かかる姿勢は、ユーザの関節９００及び体の他の部分に基づいて、定義／判断することができる。
【０１２２】
図１０は、予め定義された姿勢（両手がハンドル上）で着席している別の運転者の、実例のシナリオを示す。本明細書に記載されるように、かかる姿勢は、ユーザの関節及び体の他の部分に基づいて定義／決定することができる。図１０に示すように、参照される追加の情報（それに基づいて運転者の姿勢を検証することができる）は、今現在車を運転している運転者に特に関連することができる。
【０１２３】
図１１は、運転者空間に関する情報など（たとえば、運転席の場所、座席とハンドルとの間の距離、座席の高さなど）、様々な判断（たとえば、運転者の姿勢）を検証／修正するために使用可能な、参照される追加情報の実例１１００を示す。様々な運転者及び様々な車は、様々な運転者空間を反映することができるが、それでも特定の車及び特定の運転者にとって、かかる空間は極めて不変であることが理解されよう。
【０１２４】
図７Ａ及び図７Ｂは、車内にいる間、たとえば、車が停止している間（たとえば、信号で停止しているとき）、及び運転中に、運転者の体位を学習する実例を示している。
【０１２５】
本明細書に記載の技術は、主として運転者の監視に関して示しているが、記載の技術はまた、いくつもの追加又は代替の設定又は状況で、いくつもの追加の目的に向けて実装することも可能であることにもまた留意されたい。かかる実施態様の結果として、さらなる技術的利点、解決策、及び／又は（本明細書で説明される、且つ／又は参照されるものを超える）改善が可能であることを理解されたい。
【０１２６】
たとえば、ある実施態様では、記載のシステムは、ユーザが見る予め定義された場所があるシナリオ（車両を含まないかもしれない）に適用することができる。かかるシナリオでは、記載の技術は、ユーザの注視方向を認識し、検出されたユーザの注視方向を、ユーザが見ているかもしれない／見ている可能性がある、予め定義された場所と相関させることができる。１組の注視方向は、それぞれの予め定義された場所について検出された全注視方向から選択することができる。判断された組の中の１組のサンプルを、（オプションで）選択することができる。ユーザの目の特徴は、ユーザの注視方向の選択された組、ユーザの場所（ユーザの頭の場所及び向きを含む）、及びそれぞれの組に関連する物体（また、デジタルの視覚上の物体であってもよい）の場所に関連するデータを使用して、抽出することができる。
【０１２７】
記載の技術は、パーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）、娯楽装置、セット・トップ・ボックス、テレビ（ＴＶ：ｔｅｌｅｖｉｓｉｏｎ）、携帯ゲーム機、携帯電話若しくはタブレット、電子書籍リーダ、スマート・ウォッチ、デジタル手首アームレット、ゲーム機、ポータブル・ゲーム機、ラップトップ若しくはウルトラブックなどのポータブル・コンピュータ、オールインワン、ＴＶ、コネクテッドＴＶ、ディスプレイ装置、家電、通信装置、エアコン、ドッキング・ステーション、ゲーム機、デジタル・カメラ、時計、インタラクティブ・サーフェス、３次元ディスプレイ、娯楽装置、スピーカ、スマート・ホーム装置、ＩｏＴ装置、ＩｏＴモジュール、スマート・ウィンドウ、スマート・ガラス、スマート電球、台所用品、メディア・プレーヤ若しくはメディア・システム、場所ベースの装置、及び携帯ゲーム機、ピコ・プロジェクタ若しくは組込型プロジェクタ、医療装置、医療用表示装置、車両、車内／空中インフォテインメント・システム、無人機、自律走行車、自動運転車、飛行車両、ナビゲーション・システム、ウェアラブル・デバイス、拡張現実可能デバイス、ウェアラブル・ゴーグル、バーチャル・リアリティ装置、場所ベースの装置、ロボット、社会的ロボット、アンドロイド、インタラクティブ・デジタル・サイネージ、デジタル・キオスク、自動販売機、現金自動預け払い機（ＡＴＭ：ａｕｔｏｍａｔｅｄ  ｔｅｌｌｅｒ  ｍａｃｈｉｎｅ）、及び／又はデータを受信し、出力し、且つ／若しくは処理することができる他のかかる任意の装置を含むがこれらに限定されない、任意のデジタル・デバイスなどの様々なデバイス又は構成要素内で、並びに／或いはそれと共に、実装することができることに留意されたい。
【０１２８】
詳細な説明のいくつかの部分は、コンピュータ・メモリ内のデータ・ビットに対する動作のアルゴリズム及び象徴的な表現に関して提示したものである。こうしたアルゴリズムの説明及び表現は、データ処理分野の当業者が、自分の仕事の内容を他の当業者に最も効果的に伝えるために使用する手段である。本明細書では、そして一般的に、アルゴリズムは、所望の結果をもたらす自己矛盾のない一連のステップであると考えられる。このステップは、物理量の物理的操作を必要とするものである。必ずというわけではないが通常は、こうした量は、格納、転送、合成、比較、及びさもなければ操作することができる、電気信号又は磁気信号の形をとる。主に一般的な使用上の理由から、こうした信号をビット、値、要素、記号、文字、用語、数などと呼ぶことが、ときには便利であることが証明されている。
【０１２９】
ただし、これら及び類似の用語のすべてが、適切な物理量に関連づけられるべきであり、これらの量に適用される単に便利なラベルであることに留意されたい。上記の論考から明らかなように、特に具体的に記載しない限り、本説明全体にわたって、「受信」、「処理」、「提供」、「識別」などの用語を使用する論考は、コンピュータ・システムのレジスタ及びメモリ内の物理的（たとえば電子）量として表されるデータを操作し、またそれをコンピュータ・システムのメモリ又はレジスタ又はかかる他の情報記憶装置、伝送装置若しくは表示装置内の物理量として同様に表される他のデータに変換する、コンピュータ・システム或いは類似の電子コンピュータ処理デバイスの動作及びプロセスを指す。
【０１３０】
本開示の態様及び実施態様はまた、本明細書の動作を実行するための装置に関する。したがって、コンピュータ処理デバイスを起動又は構成するためのコンピュータ・プログラムは、フロッピー・ディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスク、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光学カード、又は電子命令を格納するのに好適な任意の種類の媒体を含む任意の種類のディスクなどの、ただしこれらに限定されない、コンピュータ可読の記憶媒体に格納することができる。
【０１３１】
本開示は、任意の特定のプログラミング言語に関して説明していない。本明細書に記載されているように、本開示の教示を実装するために様々なプログラミング言語を使用することができることが理解されよう。
【０１３２】
本明細書で使用される表現「たとえば」、「など」、「一例に」、及びその変形形態は、本開示の主題の非限定的な実施例を説明するものである。本明細書において「１つの場合」、「いくつかの場合」、「他の場合」、又はそれらの変形形態の参照は、実施例に関連して説明された特定の特徴、構造又は特性が、本開示の主題の少なくとも１つの実施例に含まれることを意味する。したがって、表現「１つの場合」、「いくつかの場合」、「他の場合」、又はそれらの変形形態が現れても、必ずしも同じ実施例を指しているわけではない。
【０１３３】
明確にするために、本明細書において別々の実施例の文脈で説明されている特定の特徴はまた、単一の実施例において組み合わせて提供することもできる。逆に、単一の実施例の文脈で説明されている様々な特徴はまた、別々に又は任意の好適な部分的組合せで、複数の実施例で提供されてもよい。さらに、特徴は、特定の組合せで作用するものとして上記で説明され、最初はそのように請求すらされている場合もあるが、請求される組合せからの１つ又は複数の特徴は、場合によってはその組合せから切り取られてもよく、また請求された組合せは、部分的組合せ又は部分的組合せの変形形態に向けられてもよい。
【０１３４】
特定の実施例が説明されている。他の実施例は、後の特許請求の範囲内にある。
【０１３５】
本明細書には、ロジック又は複数の構成要素、モジュール、或いは仕組みを含むような、特定の実施態様が記載されている。モジュールは、ソフトウェア・モジュール（たとえば、マシン可読の媒体上に具現化されたコード）又はハードウェア・モジュールのどちらでも構成することができる。「ハードウェア・モジュール」は、特定の動作を実行することができる有形のユニットであり、特定の物理的手法で構成又は配置することができる。様々な実例の実施態様では、１つ又は複数のコンピュータ・システム（たとえば、独立型コンピュータ・システム、クライアント・コンピュータ・システム、若しくはサーバ・コンピュータ・システム）、或いはコンピュータ・システムの１つ又は複数のハードウェア・モジュール（たとえば、プロセッサ若しくはプロセッサ群）は、本明細書で説明される特定の動作を実行するように動作するハードウェア・モジュールとして、ソフトウェア（たとえば、アプリケーション又はアプリケーションの部分）によって構成することができる。
【０１３６】
いくつかの実施態様では、ハードウェア・モジュールは、機械的、電子的、又はそれらの任意の好適な組合せで、実装することができる。たとえば、ハードウェア・モジュールは、特定の動作を実行するように、恒久的に構成されている専用回路又は専用ロジックを含んでもよい。たとえば、ハードウェア・モジュールは、現場でプログラム可能なゲート・アレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）などの、専用プロセッサであってもよい。ハードウェア・モジュールはまた、特定の動作を実行するために、ソフトウェアによって一時的に構成されるプログラマブル・ロジック又は回路も含んでもよい。たとえば、ハードウェア・モジュールは、汎用プロセッサ又は他のプログラム可能なプロセッサによって実行されるソフトウェアを含んでもよい。かかるソフトウェアによって構成されると、ハードウェア・モジュールは、構成された機能を実行するための固有に調整された特定のマシン（又はマシンの固有の構成要素）になり、もはや汎用プロセッサではない。ハードウェア・モジュールを機械的に、専用の恒久的に構成された回路内に、又は一時的に構成された回路内（たとえばソフトウェアによって構成された）で実装するという判断は、コスト及び時間を考慮して決めることができることを理解されよう。
【０１３７】
したがって、「ハードウェア・モジュール」という表現は、有形の実体を包含し、特定の手法で動作するため、又は本明細書に記載の特定の動作を実行するために、物理的に構築され、恒久的に構成された（たとえば、結線で接続された）、又は一時的に構成された（たとえば、プログラムされた）実体であることを理解されたい。本明細書で使用される、「ハードウェアで実装されたモジュール」は、ハードウェア・モジュールを指す。ハードウェア・モジュールが一時的に構成される（たとえば、プログラムされる）実施態様を考慮すると、ハードウェア・モジュールの各々は、どんな時点においても構成され、インスタンス化されている必要はない。たとえば、ハードウェア・モジュールが、専用プロセッサになるようにソフトウェアによって構成された汎用プロセッサを含む場合、汎用プロセッサは、異なる時間に、それぞれに異なる専用プロセッサ（たとえば、異なるハードウェア・モジュールを含む）として構成することができる。したがって、ソフトウェアは、特定の１つ又は複数のプロセッサが、たとえばある時点で特定のハードウェア・モジュールを構成し、異なる時点で異なるハードウェア・モジュールを構成するように設定する。
【０１３８】
ハードウェア・モジュールは、他のハードウェア・モジュールに情報を提供し、また他のハードウェア・モジュールから情報を受信することができる。したがって、記載のハードウェア・モジュールは、通信可能に結合されていると見なすことができる。複数のハードウェア・モジュールが同時に存在する場合に、通信は、２つ以上のハードウェア・モジュール間の信号伝送を介して（たとえば、適切な回路及びバスを介して）、実施することができる。複数のハードウェア・モジュールが相異なる時間に構成又はインスタンス化される実施態様では、かかるハードウェア・モジュール間の通信は、たとえば、複数のハードウェア・モジュールがアクセスするメモリ構造内の情報の記憶及び検索を通じて実施することができる。たとえば、１つのハードウェア・モジュールが動作を実行し、その動作の出力をそれが通信可能に結合されているメモリ・デバイス内に格納することができる。その後に、次いで、さらなるハードウェア・モジュールがそのメモリ・デバイスにアクセスして、格納された出力を取り出して処理することができる。ハードウェア・モジュールはまた、入力デバイス又は出力デバイスとの通信を開始することができ、リソース（例えば情報の集まり）に対して動作することができる。
【０１３９】
本明細書に記載の実例の方法の様々な動作は、一時的に（たとえばソフトウェアによって）構成された、又は関連する動作を実行するように恒久的に構成された、１つ又は複数のプロセッサによって、少なくとも部分的に実行することができる。一時的に構成されているか、又は恒久的に構成されているかにかかわらず、かかるプロセッサは、本明細書に記載されている１つ又は複数の動作又は機能を実装するように動作する、プロセッサ実行モジュールを構成することができる。本明細書で使用される「プロセッサ実装モジュール」は、１つ又は複数のプロセッサを使用して実装される、ハードウェア・モジュールを指す。
【０１４０】
同様に、本明細書に記載の方法は、少なくとも部分的にプロセッサで実装することができ、特定の１つ又は複数のプロセッサはハードウェアの実例である。たとえば、方法の動作のうちの少なくともいくつかは、１つ又は複数のプロセッサ又はプロセッサ実装モジュールによって、実行することができる。さらに、１つ又は複数のプロセッサはまた、「クラウド・コンピュータ処理」環境において、又は「サービスとしてのソフトウェア」（ＳａａＳ：ｓｏｆｔｗａｒｅ  ａｓ  ａ  ｓｅｒｖｉｃｅ）として、関連する動作の実行を補助するように動作することができる。たとえば、動作のうちの少なくともいくつかは、コンピュータ群（プロセッサを備えるマシンの実例として）によって、実行することができ、こうした動作はネットワーク（たとえばインターネット）を介して、また１つ又は複数の適切なインタフェース（たとえばＡＰＩ）を介して、アクセス可能である。
【０１４１】
特定の動作の実行は、プロセッサ間で分配することができ、単一のマシン内に与えられるだけでなく、複数のマシンにわたって展開される。ある実例の実施態様では、プロセッサ又はプロセッサ実装モジュールは、ただ１箇所の地理的場所（たとえば、家庭環境、オフィス環境、又はサーバ・ファーム内）に置かれ得る。他の実例の実施態様では、プロセッサ又はプロセッサ実装モジュールは、複数の地理的場所にわたって、分散することができる。
【０１４２】
図１乃至図１１に関連して説明したモジュール、方法、アプリケーションなどは、マシン及び関連するソフトウェア・アーキテクチャの環境の中で、いくつかの実施態様で実装される。以下のセクションでは、開示された実施態様と共に使用するのに好適な、代表的なソフトウェア・アーキテクチャ及びマシン（たとえばハードウェア）アーキテクチャを説明する。
【０１４３】
ソフトウェア・アーキテクチャは、ハードウェア・アーキテクチャと組み合わせて使用され、特定の目的に合うように調整されたデバイス及びマシンを作り出す。たとえば、特定のソフトウェア・アーキテクチャと結合された特定のハードウェア・アーキテクチャは、携帯電話、タブレット・デバイスなどの携帯デバイスを作り出すであろう。ハードウェア・アーキテクチャ及びソフトウェア・アーキテクチャが少し異なると、「モノのインターネット」で使用するためのスマート・デバイスが得られるが、さらに他の組合せが、クラウド・コンピュータ処理アーキテクチャ内で使用するためのサーバ・コンピュータを作り出す。当業者であれば、本明細書に含まれる開示とは異なる環境で本発明の主題を実装する方法を容易に理解することができるので、かかるソフトウェア・アーキテクチャ及びハードウェア・アーキテクチャのすべての組合せがここに提示されているわけではない。
【０１４４】
図１２は、ある実例の実施態様による、マシン可読の媒体（たとえば、マシン可読の記憶媒体）から命令を読み取り、本明細書で論じられている方法論のうちの任意の１つ又は複数を実行できる、マシン１２００の構成要素を示すブロック図である。具体的には、図１２は、コンピュータ・システムの実例の形態のマシン１２００である概略図を示し、その中で、マシン１２００に、本明細書で論じられる方法論のうちの任意の１つ又は複数を実行させるための命令１２１６（たとえば、ソフトウェア、プログラム、アプリケーション、アプレット、ａｐｐ、又は他の実行可能コード）を実行することができる。命令１２１６は、一般的なプログラムされていないマシンを、記載の手法で説明され図示された機能を実行するようにプログラムされた、特定のマシンに変換する。代替の実施態様では、マシン１２００は独立型装置として動作するか、又は他のマシンに結合（たとえばネットワーク接続）することができる。ネットワーク展開において、マシン１２００は、サーバ−クライアント・ネットワーク環境では、サーバ・マシン又はクライアント・マシンの能力の中で、又はピアツーピア（又は分散型）ネットワーク環境では、同等の立場のマシンとして動作することができる。マシン１２００は、サーバ・コンピュータ、クライアント・コンピュータ、ＰＣ、タブレット・コンピュータ、ラップトップ・コンピュータ、ネットブック、セット・トップ・ボックス（ＳＴＢ：ｓｅｔ−ｔｏｐ  ｂｏｘ）、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、娯楽メディア・システム、セルラ電話、スマート・フォン、携帯デバイス、ウェアラブル・デバイス（たとえばスマート・ウォッチ）、家庭用スマート・デバイス（たとえばスマート機器）、他のスマート・デバイス、ウェブ機器、ネットワーク・ルータ、ネットワーク・スイッチ、ネットワーク・ブリッジ、又は命令１２１６を順次又はその他の方法で実行可能で、マシン１２００が取るべき動作を指定する任意のマシンを含んでもよいが、これらに限定されない。さらに、単一のマシン１２００のみが図示されているが、「マシン」という用語はまた、命令１２１６を個別に又は共同で実行し、本明細書で論じる方法論のうちの任意の１つ又は複数を実行するマシン１２００の集まりも含むよう解釈されるものとする。
【０１４５】
マシン１２００は、プロセッサ１２１０、メモリ／記憶装置１２３０、及びＩ／Ｏ構成要素１２５０を含んでもよく、バス１２０２を介するなどにより互いに通信するよう構成することができる。実例の実施態様では、プロセッサ１２１０（たとえば、中央処理装置（ＣＰＵ）、縮小命令セット・コンピュータ処理（ＲＩＳＣ：Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｉｎｇ）プロセッサ、複合命令セット・コンピュータ処理（ＣＩＳＣ：Ｃｏｍｐｌｅｘ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｉｎｇ）プロセッサ、グラフィック処理ユニット（ＧＰＵ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ、無線周波数集積回路（ＲＦＩＣ：Ｒａｄｉｏ−Ｆｒｅｑｕｅｎｃｙ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、他のプロセッサ、又はその任意の好適な組合せ）は、たとえば、命令１２１６を実行することができるプロセッサ１２１２及びプロセッサ１２１４を含んでもよい。「プロセッサ」という用語は、同時に命令を実行することができる２つ以上の独立したプロセッサ（時に「コア」と呼ばれる）を備えることができる、マルチコア・プロセッサを含むことを意図している。図１２は複数のプロセッサ１２１０を示しているが、マシン１２００は、ただ１つのコアを有するシングル・プロセッサ、複数のコアを有するシングル・プロセッサ（たとえば、マルチコア・プロセッサ）、複数の、ただ１つのコアを有するプロセッサ、複数の、複数のコアを有するプロセッサ、又はその任意の組合せを含んでもよい。
【０１４６】
メモリ／記憶装置１２３０は、主メモリ又は他のメモリ記憶装置などのメモリ１２３２、及びストレージ・ユニット１２３６を含んでもよく、両方ともバス１２０２を介するなどにより、プロセッサ１２１０にアクセス可能である。ストレージ・ユニット１２３６及びメモリ１２３２は、本明細書に記載の方法論又は機能のうちの任意の１つ又は複数を具体化する命令１２１６を格納する。命令１２１６はまた、マシン１２００によるその実行中、メモリ１２３２内、ストレージ・ユニット１２３６内、少なくとも１つのプロセッサ１２１０内（たとえば、プロセッサのキャッシュ・メモリ内）、又はその任意の好適な組合せに、完全に又は部分的に存在することができる。したがって、メモリ１２３２、ストレージ・ユニット１２３６、及びプロセッサ１２１０のメモリは、マシン可読の媒体の実例である。
【０１４７】
本明細書で使用される「マシン可読の媒体」は、命令（たとえば命令１２１６）及びデータを一時的に又は恒久的に格納することができるデバイスを意味し、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、バッファ・メモリ、フラッシュ・メモリ、光メディア、磁気メディア、キャッシュ・メモリ、他の種類の記憶装置（たとえば、消去可能でプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ：Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ））、及び／又はその任意の好適な組合せを含んでもよいが、これらに限定されない。「マシン可読の媒体」という用語は、命令１２１６を格納することができる単一の媒体又は複数の媒体（たとえば、集中型又は分散型データベース、或いは関連するキャッシュ及びサーバ）を含むように解釈されたい。「マシン可読の媒体」という用語はまた、マシンの１つ又は複数のプロセッサ（たとえば、プロセッサ１２１０）によって実行されるとき、命令によって、マシンが、本明細書に記載の方法論のうちの任意の１つ又は複数を実行するように、マシン（例えば、マシン１２００）による実行のための命令（たとえば、命令１２１６）を格納することができる、任意の媒体、又は複数の媒体の組合せも含むと解釈されるものとする。したがって、「マシン可読の媒体」は、単一の記憶装置又は記憶デバイス、並びに複数の記憶装置又は記憶デバイスを備える「クラウドベースの」ストレージ・システム又はストレージ・ネットワークを指す。「マシン可読の媒体」という用語は、本来、信号は含まない。
【０１４８】
Ｉ／Ｏ構成要素１２５０は、入力を受信する、出力を供給する、出力を生成する、情報を送信する、情報を交換する、測定値を取り込む、などのための、多種多様な構成要素を含んでもよい。特定のマシンが備える特定のＩ／Ｏ構成要素１２５０は、マシンの種類によって変わるであろう。たとえば、携帯電話などの携帯機器は、タッチ入力装置又は他のかかる入力機構を含む可能性があるが、ヘッドレス・サーバ・マシンは、かかるタッチ入力装置を備えていない可能性が高いであろう。Ｉ／Ｏ構成要素１２５０は、図１２には示していない他の多くの構成要素を含んでもよいことが理解されよう。Ｉ／Ｏ構成要素１２５０は、単に以下の論考を簡略化するために機能に従って分類され、この分類は決して限定的なものではない。様々な実例の実施態様では、Ｉ／Ｏ構成要素１２５０は、出力構成要素１２５２及び入力構成要素１２５４を備えることができる。出力構成要素１２５２は、視覚的な構成要素（たとえば、プラズマ・ディスプレイ・パネル（ＰＤＰ：ｐｌａｓｍａ  ｄｉｓｐｌａｙ  ｐａｎｅｌ）、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ  ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ）ディスプレイ、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）、プロジェクタ、又は陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ  ｒａｙ  ｔｕｂｅ）などのディスプレイ）、聴覚構成要素（たとえばスピーカ）、触覚構成要素（たとえば振動モータ、抵抗機構）、その他の信号発生器などを含んでもよい。入力構成要素１２５４は、英数字入力構成要素（たとえば、キーボード、英数字入力を受け取るように構成されたタッチ・スクリーン、光学方式のキーボード、又は他の英数字入力構成要素）、ポイント・ベースの入力構成要素（たとえば、マウス、タッチパッド、トラックボール、ジョイスティック、モーション・センサー、又は他のポインティング機器）、接触入力構成要素（物理的釦、タッチ若しくはタッチの身振りの場所及び／又は力を与えるタッチ・スクリーン、或いはその他の接触入力構成要素）、音声入力構成要素（たとえば、マイク）などを含んでもよい。
【０１４９】
さらに実例の実施態様では、Ｉ／Ｏ構成要素１２５０は、他の広範な構成要素の中でもとりわけ、バイオメトリックス構成要素１２５６、動き構成要素１２５８、環境構成要素１２６０、又は位置構成要素１２６２を含んでもよい。バイオメトリックス構成要素１２５６は、たとえば、表情を検出する（たとえば、手での表現、顔の表情、声での表現、体の身振り、又は視線追跡）、生体信号を測定する（たとえば、血圧、心拍数、体温、発汗、又は脳波）、人を識別する（たとえば、声識別、網膜識別、顔識別、指紋識別、又は脳波ベースの識別）などのための構成要素を含んでもよい。動き構成要素１２５８は、加速度センサ構成要素（たとえば加速度計）、重力センサ構成要素、回転センサ構成要素（たとえばジャイロスコープ）などを含んでもよい。環境構成要素１２６０は、たとえば、照度センサ構成要素（たとえば、光度計）、温度センサ構成要素（たとえば、周囲温度を検出する１つ又は複数の温度計）、湿度センサ構成要素、圧力センサ構成要素（たとえば、気圧計）、音響センサ構成要素（たとえば、バックグラウンド・ノイズを検出する１つ又は複数のマイク）、近接センサ構成要素（たとえば、近くの物体を検出する赤外線センサ）、ガス・センサ（たとえば、安全のために有害ガスの濃度を検出するため、又は大気中の汚染物質を測定するための、ガス検知センサ）、或いは周囲の物理的環境に対応する指示、測定値、又は信号を提供することができる他の構成要素を含んでもよい。位置構成要素１２６２は、位置センサ構成要素（たとえば全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎ  Ｓｙｓｔｅｍ）受信器構成要素）、高度センサ構成要素（たとえば、それから高度を導き出すことができる気圧を検出する高度計又は気圧計）、方位センサ構成要素（たとえば磁力計）などを含んでもよい。
【０１５０】
多種多様な技術を使用して、通信を実装することができる。Ｉ／Ｏ構成要素１２５０は、それぞれ結合部１２８２及び結合部１２７２を介して、マシン１２００をネットワーク１２８０又はデバイス１２７０に動作可能に結合するための、通信構成要素１２６４を含んでもよい。たとえば、通信構成要素１２６４は、ネットワーク・インタフェース構成要素又はネットワーク１２８０とインタフェースをとるための他の好適なデバイスを含んでもよい。さらなる実例では、通信構成要素１２６４は、有線通信構成要素、無線通信構成要素、セルラ通信構成要素、近距離無線通信（ＮＦＣ：Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）構成要素、ブルートゥース（登録商標）構成要素（たとえばブルートゥース（登録商標）低エネルギー）、Ｗｉ−Ｆｉ（登録商標）構成要素、及び他のモダリティを介して通信を提供する他の通信構成要素を含んでもよい。デバイス１２７０は、他のマシン又は任意の多種多様な周辺デバイス（たとえば、ＵＳＢを介して結合される周辺デバイス）であってもよい。
【０１５１】
さらに、通信構成要素１２６４は、識別子を検出することができる、又は識別子を検出するように動作可能な構成要素を含んでもよい。たとえば、通信構成要素１２６４は、無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグ・リーダ構成要素、ＮＦＣスマート・タグ検出構成要素、光学式リーダ構成要素（たとえば、ユニバーサル商品コード（ＵＰＣ：Ｕｎｉｖｅｒｓａｌ  Ｐｒｏｄｕｃｔ  Ｃｏｄｅ）バー・コードなどの１次元バー・コード、クイック・レスポンス（ＱＲ：Ｑｕｉｃｋ  Ｒｅｓｐｏｎｓｅ）コード、Ａｚｔｅｃコード、Ｄａｔａ  Ｍａｔｒｉｘ、Ｄａｔａｇｌｙｐｈ、ＭａｘｉＣｏｄｅ、ＰＤＦ４１７、Ｕｌｔｒａ  Ｃｏｄｅ、ＵＣＣ  ＲＳＳ−２Ｄバー・コード、及び他の光学コードなどの、多次元バー・コードを検出するための光学センサ）、又は音響検出構成要素（たとえば、タグつき音声信号を識別するためのマイク）を含んでもよい。さらに、インターネット・プロトコル（ＩＰ：Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）測位による場所、Ｗｉ−Ｆｉ（登録商標）信号三角測量による場所、特定の場所を示すことができるＮＦＣビーコン信号検出による場所など、様々な情報を通信構成要素１２６４を介して導出することができる。
【０１５２】
様々な実例の実施態様において、ネットワーク１２８０の１つ又は複数の部分は、アド・ホック・ネットワーク、イントラネット、エクストラネット、仮想プライベート・ネットワーク（ＶＰＮ：ｖｉｒｔｕａｌ  ｐｒｉｖａｔｅ  ｎｅｔｗｏｒｋ）、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、無線ＬＡＮ（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ、無線ＷＡＮ（ＷＷＡＮ：ｗｉｒｅｌｅｓｓ  ＷＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ：ｍｅｔｒｏｐｏｌｉｔａｎ  ａｒｅａ  ｎｅｔｗｏｒｋ）、インターネット、インターネットの一部、公衆交換電話網（ＰＳＴＮ：Ｐｕｂｌｉｃ  Ｓｗｉｔｃｈｅｄ  Ｔｅｌｅｐｈｏｎｅ  Ｎｅｔｗｏｒｋ）の一部、基本電話サービス（ＰＯＴＳ：ｐｌａｉｎ  ｏｌｄ  ｔｅｌｅｐｈｏｎｅ  ｓｅｒｖｉｃｅ）ネットワーク、セルラ電話ネットワーク、無線ネットワーク、Ｗｉ−Ｆｉ（登録商標）ネットワーク、他の種類のネットワーク、又は２つ以上のかかるネットワークの組合せであってもよい。たとえば、ネットワーク１２８０又はネットワーク１２８０の一部は、無線又はセルラ・ネットワークを含んでもよく、結合部１２８２は、符号分割多元接続（ＣＤＭＡ：Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）接続、移動体通信用グローバル・システム（ＧＳＭ（登録商標）：Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ）接続、又は別の種類のセルラ若しくは無線結合であってもよい。本実例では、結合部１２８２は、シングル・キャリア無線伝送技術（１ｘＲＴＴ：Ｓｉｎｇｌｅ  Ｃａｒｒｉｅｒ  Ｒａｄｉｏ  Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ）、進化したデータ最適化（ＥＶＤＯ：Ｅｖｏｌｕｔｉｏｎ−Ｄａｔａ  Ｏｐｔｉｍｉｚｅｄ）技術、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ  Ｐａｃｋｅｔ  Ｒａｄｉｏ  Ｓｅｒｖｉｃｅ）技術、進化したＧＳＭ用の拡張データ転送速度（ＥＤＧＥ：Ｅｎｈａｎｃｅｄ  Ｄａｔａ  ｒａｔｅｓ  ｆｏｒ  ＧＳＭ  Ｅｖｏｌｕｔｉｏｎ）技術、３Ｇを含む第３世代パートナーシップ・プロジェクト（３ＧＰＰ）、第４世代無線（４Ｇ：ｆｏｕｒｔｈ  ｇｅｎｅｒａｔｉｏｎ  ｗｉｒｅｌｅｓｓ）ネットワーク、ユニバーサル移動通信システム（ＵＭＴＳ：Ｕｎｉｖｅｒｓａｌ  Ｍｏｂｉｌｅ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｙｓｔｅｍ）、高速パケット・アクセス（ＨＳＰＡ：Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）、マイクロ波アクセスのためのワールドワイド相互運用性（ＷｉＭＡＸ：Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ロング・ターム・エボリューション（ＬＴＥ：Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）規格、様々な規格設定機関によって定義された他のもの、他の長距離プロトコル、又は他のデータ転送技術など、様々な種類のデータ転送技術のうちのいずれかを実装することができる。
【０１５３】
命令１２１６は、ネットワーク・インタフェース・デバイス（たとえば、通信構成要素１２６４に含まれるネットワーク・インタフェース構成要素）を介して伝送媒体を使用し、またいくつかのよく知られている転送プロトコル（たとえばＨＴＴＰ）のいずれか１つを使用して、ネットワーク１２８０を介して送信又は受信することができる。同様に、命令１２１６は、結合部１２７２（たとえば、ピアツーピア結合）を介して、伝送媒体を使用してデバイス１２７０に送信又は受信することができる。「伝送媒体」という用語は、マシン１２００による実行のために命令１２１６を格納、符号化、又は運ぶことができ、またかかるソフトウェアの通信を容易にするためのデジタル若しくはアナログ通信信号又は他の無形媒体を含む、任意の無形媒体を含むと解釈されるものとする。
【０１５４】
本明細書全体を通して、複数の例が、単一の例として説明されている構成要素、動作、又は構造を実装することができる。１つ又は複数の方法の個々の動作は、別々の動作として図示及び説明されているが、１つ又は複数の個々の動作は、同時に実行することができ、動作が図示の順序で実行される必要はない。実例の構成において、別々の構成要素として提示された構造及び機能は、組み合わされた構造又は構成要素として実装することができる。同様に、単一の構成要素として提示された構造及び機能は、別々の構成要素として実装することができる。これら、及び他の変形形態、修正形態、追加形態、及び改良形態は、本明細書の主題の範囲内に入る。
【０１５５】
本発明の主題の概要を、特定の実例の実施態様を参照して説明してきたが、本開示の実施態様のより広い範囲から逸脱することなく、こうした実施態様に対して様々な修正及び変更を行うことができる。単に便宜上、またその複数が事実上開示されている場合、本適用の範囲を任意の単一の開示又は発明の概念に自発的に限定する意図はなく、用語「発明」によって、個々に又は集合的に、本発明の主題のかかる実施態様を本明細書で参照することができる。
【０１５６】
本明細書に示す実施態様は、当業者が開示された教示を実施することを可能にするために、十分に詳細に記載されている。他の実施態様を使用し、またそれらから導出することができ、したがって本開示の範囲から逸脱することなく、構造的及び論理的な置換及び変更を行うことができる。したがって、発明を実施するための形態は、限定的な意味で解釈されるべきではなく、様々な実施態様の範囲は、添付の特許請求の範囲と、かかる特許請求の範囲に権利がある均等物の全範囲によってのみ定義される。
【０１５７】
本明細書で使用される「又は」という用語は、包括的な意味又は排他的な意味のどちらでも解釈することができる。さらに、本明細書で単一の例として説明されているリソース、動作、又は構造に対して、複数の例を提供することができる。さらに、様々なリソース、動作、モジュール、エンジン、及びデータ記憶の間の境界は、やや任意であり、特定の動作は特定の例示的な構成の文脈で示されている。機能性の他の割り振りが考えられており、本開示の様々な実施態様の範囲内に入り得る。実例の実施態様において、別々のリソースとして提示された構造及び機能は、概ね、組み合わされた構造又はリソースとして実装することができる。同様に、単一のリソースとして提示された構造及び機能は、別々のリソースとして実装することができる。これら及び他の変形形態、修正形態、追加形態、及び改良形態は、添付の特許請求の範囲によって表される本開示の実施態様の範囲内に入る。したがって、本明細書及び図面は、限定的な意味ではなく例示的な意味であると見なされるべきである。
【図１】
2019533209.tif 000003
【図２】
2019533209.tif 000004
【図３Ａ】
2019533209.tif 000005
【図３Ｂ】
2019533209.tif 000006
【図４】
2019533209.tif 000007
【図５Ａ】
2019533209.tif 000008
【図５Ｂ】
2019533209.tif 000009
【図６】
2019533209.tif 000010
【図７Ａ】
2019533209.tif 000011
【図７Ｂ】
2019533209.tif 000012
【図８】
2019533209.tif 000013
【図９】
2019533209.tif 000014
【図１０】
2019533209.tif 000015
【図１１】
2019533209.tif 000016
【図１２】
2019533209.tif 000017
【国際調査報告】
2019533209.tif 000018