(57)【要約】  自動車のためのユーザ認識及び表現の方法及びシステムを開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像に符合するかを決定することにより、ユーザが正規ユーザとして認証された場合に、自動車へのユーザアクセスを許可する。顔面特徴は、顔面特徴を含む２次元（２Ｄ）又は３次元（３Ｄ）画像を含むことができる。コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。ユーザは、自動車の運転者又は同乗者とすることができる。コンピュータはまた、正規ユーザとして認証された場合に運転者又は同乗者に対する設定又は好みを構成することができる。【選択図】      図７Ｂ
2020536782.tif 000002
【特許請求の範囲】
【請求項１】
自動車のためのデータ処理システムであって、
少なくとも前記自動車のユーザの画像を格納するデータベースと、
前記ユーザの画像を取り込むユーザ取り込みデバイスと、
前記データベースと前記ユーザ取り込みデバイスとに結合され、前記ユーザの格納された画像が該ユーザの取り込まれた画像に符合するかを決定することによって該ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可するコンピュータと、
を含むことを特徴とするデータ処理システム
【請求項２】
前記ユーザの前記画像は、２次元（２Ｄ）又は３次元（３Ｄ）画像を含むことを特徴とする請求項１に記載のデータ処理システム。
【請求項３】
前記ユーザ取り込みデバイスは、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの表現を取り込むためのものであることを特徴とする請求項１に記載のデータ処理システム。
【請求項４】
前記コンピュータは、前記取り込まれた表現に基づいて応答を提供することを特徴とする請求項３に記載のデータ処理システム。
【請求項５】
前記ユーザ取り込みデバイスは、１又は２以上のカメラを含むことを特徴とする請求項１に記載のデータ処理システム。
【請求項６】
前記１又は２以上のカメラは、立体カメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラを含むことを特徴とする請求項５に記載のデータ処理システム。
【請求項７】
前記ユーザ取り込みデバイスは、正規ユーザを更に認識するために前記赤外線カメラを使用して温度差情報を取り込むことを特徴とする請求項６に記載のデータ処理システム。
【請求項８】
前記コンピュータは、前記ユーザが正規ユーザとして認証された場合に前記自動車及び該自動車の制御器への前記ユーザアクセスを許可することを特徴とする請求項１に記載のデータ処理システム。
【請求項９】
前記コンピュータは、前記ユーザが正規ユーザとして認証されなかった場合に前記自動車及び該自動車の制御器への前記ユーザアクセスを拒否することを特徴とする請求項１に記載のデータ処理システム。
【請求項１０】
前記コンピュータは、前記ユーザが正規ユーザとして認証された場合に該ユーザのための設定及び好みを用いて前記自動車を構成することを特徴とする請求項１に記載のデータ処理システム。
【請求項１１】
前記ユーザ取り込みデバイスは、前記自動車の内側又は外側に位置付けられることを特徴とする請求項１に記載のデータ処理システム。
【請求項１２】
前記ユーザは、前記自動車の運転社又は同乗者であることを特徴とする請求項１に記載のデータ処理システム。
【請求項１３】
自動車のユーザの取り込まれた画像を受信する段階と、
前記ユーザの前記取り込まれた画像がデータベースに格納された画像に符合する場合に該ユーザを正規ユーザとして認証する段階と、
を含むことを特徴とするコンピュータ実装方法。
【請求項１４】
前記ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可する段階、
を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
【請求項１５】
前記ユーザが正規ユーザとして認証されなかった場合に前記自動車へのユーザアクセスを拒否する段階、
を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
【請求項１６】
前記ユーザが正規ユーザとして認証された場合に該ユーザのための設定及び好みを用いて前記自動車を構成する段階、
を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
【請求項１７】
顔面特徴を含む前記ユーザの前記画像を前記データベースに格納する段階、
を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
【請求項１８】
前記ユーザの前記受信した取り込み画像は、２次元（２Ｄ）又は３次元（３Ｄ）画像を含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
【請求項１９】
前記ユーザを正規ユーザとして更に認証するために該ユーザの温度情報を受信する段階、
を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
【請求項２０】
自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの取り込まれた表現を受信する段階、
を更に含むことを特徴とする請求項１３に記載のコンピュータ実装方法。
【請求項２１】
前記取り込まれた表現に基づいて応答を提供する段階、
を更に含むことを特徴とする請求項２０に記載のコンピュータ実装方法。
【請求項２２】
コンピュータによって実行された場合に該コンピュータに
自動車のユーザの取り込まれた画像を受信させ、かつ
前記ユーザの前記取り込まれた画像がデータベースに格納された該ユーザの画像に符合する場合に該ユーザを正規ユーザとして認証させる
命令を含む非一時的コンピュータ可読媒体。
【請求項２３】
前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証された場合に前記自動車へのユーザアクセスを許可させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２４】
前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証されなかった場合に前記自動車へのユーザアクセスを拒否させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記コンピュータによって実行された場合に該コンピュータに前記ユーザが正規ユーザとして認証された場合に該ユーザに対する設定及び好みを用いて前記自動車を構成させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記コンピュータによって実行された場合に該コンピュータに顔面特徴を含む前記ユーザの前記画像を前記データベースに格納させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記コンピュータによって実行された場合に該コンピュータに前記ユーザを正規ユーザとして認証するために該ユーザの温度情報を受信させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記コンピュータによって実行された場合に該コンピュータに自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含む前記ユーザの取り込まれた表現を受信させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項２９】
前記コンピュータによって実行された場合に該コンピュータに前記取り込まれた表現に基づいて応答を提供させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【請求項３０】
前記コンピュータによって実行された場合に該コンピュータに前記ユーザの取り込まれた２次元（２Ｄ）又は３次元（３Ｄ）画像を受信させる命令を含むことを特徴とする請求項２２に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、データ及び画像処理、及びユーザ識別、認識、及び認証の分野のものである。より具体的には、本発明の実施形態は、自動車のためのユーザ認識及び表現の方法及びシステムに関する。
【背景技術】
【０００２】
自動車は、運転体験を高める高度な電子制御器と組み込みコンピュータとによってより洗練されてきた。そのような制御器及びコンピュータは、個人情報を含む膨大な量の情報へのアクセスをユーザアプリケーションのアレイに提供することができる。これらの電子制御器及びコンピュータに対するセキュリティ及びアクセスは、キー、ドアロックシステム、及びコンピュータへのログイン／パスワードに限定される。キー、ドアロック、及びログイン／パスワードが障害を受けた場合に、不正ユーザ又は運転者は、個人情報に接続された電子制御器及びコンピュータへのアクセスを含む自動車へのアクセス及びエントリを得ることができる。自動車とその電子制御器及びコンピュータとへの正当なアクセスだけを許可するために、自動車には正規運転者又はユーザ識別が必要である。
【発明の概要】
【課題を解決するための手段】
【０００３】
自動車のためのユーザ認識及び表現の方法及びシステムを開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像と符合するかを決定することによってユーザが正規ユーザとして認証された場合に自動車へのユーザアクセスを許可する。一例として、ユーザ画像は、顔面特徴を含む２次元（２Ｄ）又は３次元（３Ｄ）ユーザ画像を含む。
【０００４】
一例として、コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。一例として、ユーザは、自動車の運転者又は同乗者である。コンピュータはまた、正規ユーザとして認証かつ認識された場合に運転者又は同乗者のための設定又は好みを構成することができる。
【０００５】
一例として、ユーザ取り込みデバイスは、自動車の内側又は外側に位置付けることができる。一例として、ユーザ取り込みデバイスは、例えば、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含むユーザの表現を取り込む。一例として、コンピュータは、取り込まれた表現に基づいて応答を提供することができる（例えば、規定の期間を超えて目が閉じている場合に「あなたは眠り込んでいる」と運転者に警告する音声）。一例として、ユーザ取り込みデバイスは、立体カメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラを含む１又は２以上のカメラを含む。ユーザ取り込みデバイスは、赤外線カメラを使用して温度差情報を取り込んで正規ユーザを更に認証かつ認識することができる。
【０００６】
自動車のためのユーザ認識及び表現の他の方法、システム、及びコンピュータ可読媒体を説明する。
【図面の簡単な説明】
【０００７】
添付の図面は例を示しており、従って例示的実施形態であり、範囲を限定するようには見なされない。
【０００８】
【図１Ａ】ユーザ識別（ＩＤ）デバイスを有する自動車の上面図の一例を示す図である。
【図１Ｂ】ユーザ取り込みデバイス及び動作制御デバイスを有する自動車の内面図の一例を示す図である。
【図２Ａ】ユーザ取り込みデバイスによるユーザ画像及び特徴の取り込みの例を示す図である。
【図２Ｂ】ユーザ取り込みデバイスによるユーザ画像及び特徴の取り込みの例を示す図である。
【図３Ａ】ユーザ取り込みデバイスを有する自動車に対する例示的運転者制御環境を示す図である。
【図３Ｂ】ユーザ取り込みデバイスを有する自動車に対する例示的運転者制御環境を示す図である。
【図４】図１Ａ〜図３Ｂの自動車に使用することができるデータ処理又はコンピュータシステムアーキテクチャの一例示的ブロック図を示す図である。
【図５】図４のデータ処理システムアーキテクチャのためのコンピュータシステムの一例示的ブロック図を示す図である。
【図６】自動車に対してユーザを認識してユーザ表現を取り込むコンピュータシステムのブロック図を示す図である。
【図７Ａ】自動車のユーザの生体走査を登録するための例示的作動の流れ図である。
【図７Ｂ】自動車のユーザを認証する例示的作動の流れ図である。
【図７Ｃ】自動車のユーザを認証する例示的作動の流れ図である。
【図８】自動車のユーザの中立及び非中立表情を処理する例示的作動の流れ図である。
【発明を実施するための形態】
【０００９】
自動車のためのユーザ認識及び表現のための実施形態及び実施例を開示する。一例として、自動車のためのデータ処理システムは、データベース、ユーザ取り込みデバイス、及びコンピュータを含む。データベースは、少なくとも自動車のユーザの画像を格納する。ユーザ取り込みデバイスは、少なくともユーザの画像を取り込む。コンピュータは、データベースとユーザ取り込みデバイスとに結合される。コンピュータは、ユーザの格納された画像がユーザの取り込まれた画像と符合するかを決定することによってユーザが正規ユーザとして認証された場合に自動車へのユーザアクセスを許可することができる。一例として、顔面特徴は、顔面特徴を含む２次元（２Ｄ）又は３次元（３Ｄ）画像を含む。
【００１０】
一例として、コンピュータは、ユーザが正規ユーザとして認証された場合に自動車及び自動車の制御器へのユーザアクセスを許可する。コンピュータはまた、ユーザが正規ユーザとして認証されなかった場合に自動車及び自動車の制御器へのユーザアクセスを拒否することができる。一例として、ユーザは、自動車の運転者又は同乗者である。コンピュータはまた、正規ユーザとして認証された場合に自動車の運転者又は同乗者に対する設定又は好みを構成することができる。
【００１１】
本明細書に示すように、様々な実施形態、実施例、及び態様は、以下で議論する詳細を参照して説明し、添付の図面は、様々な実施形態及び実施例を例示することになる。以下の説明及び図面は例示であり、限定として解釈されないものとする。様々な実施形態及び実施例の完全な理解を提供するために多くの具体的な詳細を説明する。しかし、ある一定の事例では、実施形態及び実施例の簡潔な議論を提供するために公知の又は慣例的な詳細は説明しない。
【００１２】
以下の実施例及び実施形態は、自動車のためのユーザ認識及び表現検出技術に向けられるが、そのような技術は、エントリ及びアクセスを必要とするあらゆるタイプの環境に適用することができる。開示する技術は、エントリ及びアクセスのためのキーを要求することを回避し、かつ不正ユーザからの電子制御器及びコンピュータのなりすまし及び不正使用を防止することができる。
【００１３】
ユーザ認識及び表現検出を有する例示的自動車
図１Ａ〜１Ｂは、ユーザ識別（ＩＤ）及び動作制御デバイスを有する自動車１１０の上面図及び内面図（１００及び１５０）の例を示している。一例として、１又は２以上のユーザ（例えば、運転者又は同乗者）は、自動車にアクセスしてそれを使用するために登録された生体走査情報を有することができる。一例として、生体走査情報は、安全なデータベースに又は安全なクラウドストレージに格納することができる。生体走査情報の例は、ユーザの２Ｄ又は３Ｄ顔面画像を含むユーザの２次元（２Ｄ）又は３次元画像を含むことができる。
【００１４】
ユーザに対する生体走査情報の登録は、自動車１１０の購入又は注文に使用されるアプリケーションによって開始することができる。例えば、自動車１１０が購入かつ配送された状態で、例えば、個人識別及びパスワード認証、指紋認証、又は２段認証を有する自動車１１０に対して認証されたモバイルデバイス、例えば、モバイル電話、タブレットコンピュータ、ラップトップコンピュータなど上で実行されるプリケーションは、デバイス上の１又は２以上のカメラを使用してユーザの画像を取り込み、正規ユーザとして自動車１１０のための安全な環境に画像を格納かつ登録することができる。登録される正規ユーザは、自動車１１０の運転を許可される又は自動車１１０の運転を制限されるものとして登録することができる。例えば、自動車１１０を運転するために夫と妻の両方を登録することができるが、全ての子供には自動車１１０を運転する権限がない。一例として、自動車１１０は、ユーザの画像を取り込むために１又は２以上のカメラを含み、その画像を自動車のために正規ユーザとして格納かつ登録することができる。
【００１５】
図１Ａを参照すると、上面図１００は、自動車１１０の右側と左側の両方に形成されたピラーＡ、Ｂ、及びＣ（１０１、１０２、１０３）を有する自動車１１０を示している。一例として、複数のユーザＩＤデバイス（１０７−Ａ〜１０７−Ｄ）は、自動車の異なる位置に装着することができ、異なる位置でそれらを使用して自動車１１０のユーザ（例えば、運転者又は同乗者）を識別、認識、及び認証し、自動車２２０内の制御器及びコンピュータへのアクセスを含む自動車１１０へのエントリ及びアクセスを許可することができる。同じく、ユーザＩＤデバイス１０７−Ａ〜１０７−Ｄを使用して、正規ユーザとして自動車１１０に登録された１又は２以上のユーザの画像を取り込むことができる。例えば、ユーザは、ユーザＩＤデバイス１０７−Ｂに近づいて、自動車１１０と共に認証されたモバイルデバイス上で作動しているアプリケーション上で生体走査登録を開始することができ、その場合に、ユーザＩＤデバイス１０７−Ｂは、ユーザの画像を取り込んで正規ユーザとして自動車１１０に対して格納かつ登録する。
【００１６】
各ユーザＩＤデバイス１０７−Ａ〜１０７−Ｄは、２Ｄ又は３Ｄ顔面画像及び特徴を含むユーザ生体走査情報と温度差情報とを取り込むために、例えば、ステレオカメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラのような１又は２以上のカメラを含むことができる。カメラは、図１Ａ〜８に説明する技術及び作動を使用してそれを実施するように構成されたそれぞれのハードウエア及びソフトウエアを含むあらゆるタイプの市販カメラとすることができる。一例として、取り込まれたユーザ画像は、格納又は登録されたユーザ画像、例えば、データベースに格納されたユーザ画像と比較され、取り込まれた画像が格納された画像と符合するかを決定し、符合が存在する場合は正規ユーザとしてユーザを認証することができる。正規ユーザとして認証された場合に、自動車１１０は、ユーザにアクセス及びエントリを許可することができる。このようにして、例えば、自動車１１０の運転者又は同乗者のような正規ユーザを検出してそれを認識するのに使用されるユーザの画像を取り込むユーザＩＤデバイス１０７−Ａ〜１０７−Ｄを有することにより、自動車１１０のためのキーは必要ない。
【００１７】
図１Ａの上面図１００により、ユーザＩＤデバイス１０７−Ｃ及び１０７−Ｄは、自動車１１０の両側のドア間のピラーＢ（１０２）上に位置付けられ、自動車１１０の右側又は左側に近づくユーザを識別かつ認識することができる。一例として、運転者側のドア支持体に装着されて位置付けられたユーザＩＤデバイス１０７−Ｂは、近づく運転者を検出し、その個人が自動車にアクセスして入ることができる正規の許可された個人であるか否かを決定することができる。例えば、ユーザＩＤデバイス１０７−Ｂ、１０７−Ｃ、又は１０７−Ｄによって正規ユーザとして識別かつ認識された場合に、自動車１１０は、ユーザに自動車１１０のキーを挿入させる又は起動させる代わりに、ユーザのためにドアを自動的に解錠することができる。一例として、ピラーＡ（１０１）に接続されたユーザＩＤデバイス１０７−Ａは、後端から自動車に近づくユーザ（運転者）を検出することができる。ユーザＩＤデバイス１０７−Ａ〜１０７−Ｄの各々は、自動車１１０の施錠システム及び機構を含む自動車１１０のコンピュータシステムと結合されてそれと通信することができ、例えば、取り込まれたユーザ画像をデータベースに格納されたユーザ画像と照合することによって正規ユーザが検出された場合に、自動車１１０のための施錠システム及び機構は、そのような正規ユーザのためにそれぞれのドアを自動的に解錠し、自動車１１０へのアクセスを許可することができる。一例として、正規運転者と識別された正規ユーザだけが、運転制御器にアクセスして自動車１１０を運転することができる。
【００１８】
図１Ｂを参照すると、自動車１１０の内面図１５０は、後部座席の視点からダッシュボード１３７に向けて示されている。一例として、自動車１１０は、複数のユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃ及び動作制御デバイス１２７−Ａ〜１２７−Ｃを含む。一例として、ユーザ取り込みデバイス１１７−Ａは、ダッシュボード１３７の上方のフロントガラスの上部に位置付けられ、ユーザ取り込みデバイス１１７−Ｂ及び１１７−Ｃは、運転席及び助手席のヘッドレストの裏側に位置付けられる。各ユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃは、ユーザ画像（例えば、ユーザの顔面画像、表現、及び特徴）又は熱差情報（例えば、ユーザの頭部及び周辺区域の温度差情報）を取り込むために１又は２以上のステレオカメラ、ＲＧＢ（赤、緑、青）カメラ、又は赤外線カメラを含むことができる。
【００１９】
一例として、ユーザ取り込みデバイス１１７−Ａは、運転者又は同乗者のユーザ画像を取り込んでそのユーザを正規ユーザとして識別かつ認識することができる。一例として、ユーザが正規ユーザであると決定された場合に、自動車１１０のためのコンピュータシステム及び制御器は、運転者又は同乗者としてのユーザのための設定及び好みを構成することができる。例えば、運転者は、温度制御器を涼しくしたいと望む場合があり、設定及び好みは、認識された運転者に基づいて設定することができる。同乗者はまた、認識された同乗者のために自動車１１０内のディスプレイ上に設定することができるある一定の音楽及び音楽制御器を選択することができる。一例として、正規運転者と識別された正規ユーザだけが、自動車１１０の運転制御器にアクセスすることができ、かつ自動車１１０を運転することができる。
【００２０】
一例として、ユーザ取り込みデバイス１１７−Ａは、例えば、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いのようなユーザの１又は２以上の画像又は表現（例えば、運転者又は同乗者の表現）を取り込むことができる。一例として、自動車１１０のためのコンピュータシステム及び制御器は、例えば、眠り込んだ場合に音声警告を与える又は音楽の音が大きすぎてイライラした表現を認識した場合にラジオの音量を下げるなど、取り込まれたユーザ表現に応答することができる。コンピュータシステム及び制御器は、自動車１１０の各正規ユーザに対してあらゆる望ましい方式でかつ個別に応答するようにプログラムすることができる。
【００２１】
一例として、ユーザ取り込みデバイス１１７−Ｂ及び１１７−Ｃは、運転者席及び助手席の後ろの同乗者に対して、ユーザ取り込みデバイス１１７−Ａと同様に作動し、ディスプレイコンピュータ１５１−Ａ及び１５１−Ｂに対する設定及び好みも、後部座席内の認識されたユーザの設定及び好みに応じて設定することができる。一例として、ユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃは、赤外線カメラを含み、例えば、ユーザが発熱で具合が悪い場合に、健康状態を決定するのにユーザの温度差情報を検出することができる。
【００２２】
一例として、自動車１１０は、自動車１１０のダッシュボードの下方に位置付けられた動作制御デバイス１２７−Ａ〜１２７−Ｃと、ディスプレイコンピュータ１５１−Ａ及び１５１−Ｂとを含む。これらの動作制御デバイス１２７−Ａ〜１２７−Ｃの各々は、自動車１１０のダッシュボードのディスプレイ又はディスプレイコンピュータ１５１−Ａ及び１５１−Ｂ上に提供される機能、アプリケーション、情報、オプション、アイコン、又はオブジェクトを制御又はアクセスする際のユーザ（例えば、自動車１１０の運転者又は同乗者）の手の動作／運動を検出するために１又は２以上のカメラ（例えば、飛行時間ＴＯＦカメラ）又は運動センサを含むことができる。一例として、動作制御デバイス１２７−Ａ〜１２７−Ｃは、ダッシュボード１３７のディスプレイ又はディスプレイコンピュータ１５１−Ａ及び１５１−Ｂ上でインタフェースの動作制御を実施するためにＩｎｔｅｌ  Ｒｅａｌｓｅｎｓｅ（登録商標）からのハードウエア及びソフトウエアを含むことができる。
【００２３】
例示的ユーザ特徴及び表現
図２Ａ〜２Ｂは、ユーザ取り込みデバイス２０７によるユーザ画像及び特徴の取り込み例を示している。図２Ａを参照すると、ユーザ頭部２０１が３次元的に描かれている。一例として、ユーザ取り込みデバイス２０７は、ユーザ頭部２０１の顔面特徴２１１を含む２次元（２Ｄ）又は３次元（３Ｄ）の画像を取り込むことができる。ユーザ頭部２０１は、自動車１１０の運転者又は同乗者とすることができるユーザの頭部を示すように描かれ、ユーザ取り込みデバイス２０７によって識別又は認識される。ユーザ取り込みデバイス２０７は、図１に示すユーザＩＤデバイス１０７−Ａ〜１０７−Ｄ又は図１Ｂに示すユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃと同様に１又は２以上のカメラを含むことができる。
【００２４】
一例として、ユーザ取り込みデバイス２０７は、２Ｄユーザ特徴（例えば、２Ｄ顔面特徴２１１）を取り込むためのあらゆるタイプのＲＧＢカメラ、又はユーザ頭部２０１の３Ｄユーザ特徴（例えば、３Ｄ顔面特徴２１１）を取り込むための立体カメラを含むことができる。ユーザ画像での顔面特徴の例は、例えば、ユーザ頭部２０１の鼻、口、耳、目、眉毛、唇、頬、あざ、顔の幅、頭のサイズ、髪の色などの形状、サイズ、及び寸法を含むことができる。一例として、２Ｄ又は３Ｄユーザ画像及び顔面特徴の情報は、自動車１１０のユーザに対する生体走査情報の登録中に格納することができ、この生体走査情報は、自動車１１０内の安全なデータベース内に又は遠隔的に安全なクラウド環境に格納されるものとすることができる。一例として、ユーザ取り込みデバイス２０７を使用してユーザ頭部２０１の顔面特徴を識別かつ認識し、自動車１１０の正規ユーザとしてユーザを認証する時に、そのような特徴がユーザに関するデータベースに格納された特徴と符合するかを決定することができる。例えば、ＯｐｅｎＣＶソフトウエアによって提供されるオープンソースの顔面認識アルゴリズムのようなあらゆるタイプの顔面特徴認識アルゴリズムを使用することができる。一例として、ユーザ取り込みデバイス２０７は、自動車１１０の正規同乗者である可能性がある子供の顔面画像を取り込むことができるが、自動車１１０コンピュータは、子供を運転者制御器から及び自動車１１０を運転することから拒否かつ防止することができる。
【００２５】
一例では、ユーザ取り込みデバイス２０７を使用してユーザ画像を取り込み、ユーザの表現を検出することができる。例えば、ユーザ取り込みデバイスは、ユーザによる自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、悲しみ、疲労、怒り、ストレス、又は身震いを取り込むことができる。一例として、取り込まれた表現は、応答を提供する時に自動車１１０内のコンピュータシステムによって処理かつ分析することができ、又は応答は必要とされない。例えば、運転者が眠り込んでいることを示してユーザの目が規定の期間にわたって閉じているのを取り込みデバイス２０７が取り込んだ場合に、自動車のためのコンピュータ１１０は、「ティムさん、起きてください、眠り込んでいますよ」のような音声応答を提供することによって応答することができる。他の応答は、ディスプレイ上のメッセージ、ディスプレイ上のライト点滅、設定及び好みの変更などを含むことができる。
【００２６】
図２Ｂを参照すると、一例として、ユーザ取り込みデバイス２０７は、温度情報２０３を取り込むことができる赤外線カメラを含むことができる。そのような情報は、温度差情報を含むことができる。例えば、個人は、無生物とは異なる温度差の赤外線画像を有することになる。このタイプの温度情報２０３は、更に、ユーザ頭部２０１が正規ユーザと符合するかを決定するのに使用することができ、なりすましを検出することができる。ユーザ取り込みデバイス２０７を自動車１１０の内側及び外側に設置し、ユーザ頭部２０１のユーザ画像を取り込むように位置合わせすることができる。同じく、温度情報を自動車１１０のユーザ間で比較して運転席又は同乗者席のユーザの健康状態を決定することができる。
【００２７】
ユーザ取り込みデバイスを有する例示的運転者制御環境
図３Ａ〜３Ｂは、ユーザ取り込みデバイス３０７を有する自動車（例えば、自動車１１０）のための例示的運転者制御環境を示している。
【００２８】
図３Ａを参照すると、運転者制御環境３００が前部座席の視点から示されている。一例として、運転者制御環境３００は、ハンドル３１２及び「端から端まで」ディスプレイ３０２を有する自動車ダッシュボード３３７を含む。端から端までディスプレイ３０２は、３つの表示区域：表示区域１（３０４）、２（３０６）及び３（３０８）を含む。図示しないが、自動車ダッシュボード３３７内では、自動車の制御及びアプリケーションを提供する別のコンピュータデバイス（コンピュータ）を含むことができる。一例として、ユーザ取り込みデバイス３０７は、ダッシュボード３３７の上方に装着かつ位置付けることができ、ユーザ（例えば、前部座席の運転者又は同乗者）の画像又は表現を取り込むために１又は２以上のカメラを含む。動作制御デバイス３２７は、自動車ダッシュボード３３２上の端から端までディスプレイ３０２の下方に装着することができる。動作制御デバイス３２７は、端から端までディスプレイ３０２の表示区域１〜３（３０４、３０６、及び３０８）上のアプリケーション及びインタフェースにアクセスしてそれを制御するために、例えば、ユーザの手の動作を取り込むために１又は２以上の運動カメラ（例えば、飛行時間ＴＯＦカメラ）及びセンサを含むことができる。
【００２９】
一例として、ユーザ取り込みデバイス３０７は、自動車ダッシュボード３３２の上方に、例えば、自動車のフロントガラス上に装着することができ、１又は２以上のカメラを含み、図１Ａ〜２Ｂに説明したユーザ取り込みデバイスと同様に作動してユーザの画像、特徴、及び表現を取り込むことができる。ユーザ取り込みデバイス３０７は、図２Ａ〜２Ｂに示すように、ユーザ画像と運転者又は前部座席同乗者の表現とを取り込むために位置合わせされるように位置付ける又は装着することができる。ユーザ取り込みデバイス３０７の他の場所は、ダッシュボード３３７、ハンドル３１２の左側ピラー（自動車の内側又は外側）、助手席の右側ピラー（自動車の内側又は外側）上とすることができる。図示しないが、他のカメラを自動車の内部又は外部に取り付けて、端から端までディスプレイ３０２に、例えば表示区域１（３０４）の左側に表示することができる側方視野及び後方視野画像を取得し、サイドミラー及びバックミラーを使用する必要性を回避することができる。
【００３０】
図３Ｂを参照すると、運転者制御環境３５０は、自動車ダッシュボード３３７上の端から端までディスプレイ３０２上に設けられたユーザインタフェース及びアプリケーションを有して前方視野の視点から示されている。ハンドル３１２及び運転者タブレット３１０は、ダッシュボード３３７に装着される。運転者タブレット３１０は、自動車（例えば、自動車１１０）に対する設定及び好みを含む制御器にアクセスするための運転者インタフェースを提供することができる。一例として、ユーザ取り込みデバイス３７７は、１又は２以上のカメラを有してダッシュボード３３７の上に位置付けられて位置決めされ、運転者（例えば、識別する運転者３７１「ティム」又は識別する同乗者３８１「ジェニー」）を検出かつ識別することができる。一例として、ティムは、ユーザ取り込みデバイス３７７を使用して正規のユーザ又は運転者として一度認証される（例えば、ティムのユーザ画像を格納されたユーザ画像と照合してティムを正規ユーザとして検出する）。ユーザ取り込みデバイス３７７はまた、運転者又は同乗者、例えば、ティム又はジェニーの表現を取り込み、例えば、運転者が眠り込んでいる場合は音声警告のような応答を与えることができる。他の例では、子供が運転席に座っている場合に、ユーザ取り込みデバイス３３７は子供の画像を取り込むことができ、運転者タブレット３１０又は自動車コンピュータは、子供を検出し、運転者タブレット３１０又は端から端までディスプレイ３０２に対する制御を拒否し、子供が自動車を運転する又はその制御器のいずれかにアクセスすることを防ぐことができる。
【００３１】
一例として、正規運転者、例えば、ティムとして認証された状態で、運転者タブレット３１０又は自動車コンピュータ（例えば、自動車ダッシュボード３３７内）は、端から端までディスプレイ３０２上の制御インタフェースに対する設定及び好みを含むティムの設定及び好みを構成することができる。例えば、表示区域３（３０８）に示すように、娯楽設定は、表示区域３（３０８）及びティムのための対応する回転多面体３１７に示すような音楽、オーディオブック、映画、ゲームに関する好みを有するティムに対して設定することができる。同乗者、例えば、ジェニーも、認証された状態で端から端までディスプレイ３０２上にジェニーのために指定された設定及び好みを有することができる。設定及び好みの例は、端から端までディスプレイ３０２上の個人用ユーザインタフェ−ス、個人用座席制御器、個人用ハンドル制御器、ペダル場所、個人用温度制御器、個人用電話インタフェース、個人用マッピングなどを含むことができる。
【００３２】
一例として、動作制御デバイス３２７は、１又は２以上のカメラ及び運動センサを有して自動車のダッシュボード３３７の下方に位置付けられて位置決めされ、手の動作及びユーザの手３０７の運動を検出する。例えば、ユーザの手３０７は、運転者又は同乗者（例えば、正規ユーザとして正しく認識された）の手を表すことができ、動作制御デバイス３２７は、端から端までディスプレイ３０２上に提供される機能、アプリケーション、情報、オプション、アイコン、又はオブジェクトを制御する又はそれらにアクセスするためにユーザの動作（例えば、ユーザの手３０７の動作）を取り込むことができる。一例として、動作制御デバイス３２７は、Ｉｎｔｅｌ  Ｒｅａｌｓｅｎｓｅ（登録商標）からのハードウエア及びソフトウエアを含むことができ、ユーザ取り込みデバイス３７７は、例えば、飛行時間ＴＯＦカメラのような１又は２以上のカメラを含むことができる。
【００３３】
一例として、運転者タブレット３１０は、タブレットコンピュータであり、触覚フィードバック及び制御器を有するタッチスクリーンを提供することができる。運転者タブレット３１０は、正規ユーザが識別かつ認証され、例えば識別された運転者３７１ティム又は識別された同乗者３８１ジェニーである状態で設定することができる温度制御及び環境１００の様々な設定のような主要な車両機能制御を運転者又はユーザに提供することができる。運転者タブレット３１０は、自動車ダッシュボード３３７内の自動車コンピュータ（図示せず）、ユーザ取り込みデバイス３７７、又は動作制御デバイス３２７に結合することができる。運転者タブレット３１０、自動車コンピュータ、又はその両方は、運転者（例えば、ティム）又は同乗者（例えば、ジェニー）を認識し、運転者又は同乗者が動作制御デバイス３２７を使用して端から端までディスプレイ３０２にアクセス可能であるように構成することができる。一例として、運転者タブレット３１０は、そのタッチスクリーン上にあらゆる数の表示、オブジェクト、アイコン、又はボタンを設けて機能、ナビゲーションユーザインタフェース、モバイル電話３３３とのＢｌｕｅｔｏｏｔｈ接続を通して電話の呼出しに応答し、又はスマートウォッチのようなウェアラブルデバイスから例えば心拍動又は上った階段の数といった活動情報のようなデータ又は情報を受信するための電話制御ユーザインタフェースを提供することができる。
【００３４】
端から端までディスプレイ３０２は、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、又は量子ドットディスプレイを含むことができ、これらは自動車ダッシュボード３３７の一端から他端まで延びることができる。一例として、端から端までディスプレイ３０２は、自動車ダッシュボード３３７の幅に組み込まれた湾曲ディスプレイとすることができ、その幅にわたって延びる。端から端までディスプレイ３０２の表示区域１（３０４）、２（３０６）、及び３（３０８）のような複数の表示区域には、１又は２以上のグラフィカルユーザインタフェースを設けることができる。そのようなグラフィカルユーザインタフェースは、例えば、表示区域１（３０４）及び３（３０８）に示すステータスメニューを含むことができる。
【００３５】
一例として、表示区域１（３０４）は、後方視野又は側方視野画像を取り込むために、自動車の外側又は内側に設置可能な１又は２以上のカメラからの車両又は自動車の後方視野又は側方視野画像を表示することができる。一例では、表示区域２（３０６）は、点及び線で定められた多角形面を有する回転多面体３１７のような回転可能な３次元オブジェクトを提供かつ表示することができる。これに代えて、表示区域３（３０８）は、回転多面体３２７を表示することができる。回転多面体３１７は、空間に浮かんでいるように表示区域２（３０６）に現れ、一定又は可変の速度で回転することができる。
【００３６】
一例として、回転多面体３１７は、１又は２以上の面、点、及び線を使用して情報の群を提供することができ、それにより、正規ユーザとして認証された各ユーザ（運転者又は同乗者）に様々なパラメータ及び様々なタイプのユーザ情報の有形形態を与えることができる。すなわち、自動車の各認証ユーザ又は正規ユーザは、表示区域２（３０６）及び表示区域３（３０８）に示すユーザ情報及びアプリケーションにアクセスかつ制御するために個人用回転多面体３１７を有することができる。例えば、あらゆる数の運転者又はユーザを顔面特徴又は表情のような格納された生体走査情報と共にデータベースに登録することができる。ユーザ取り込みデバイス３７７は、ユーザを正規として識別、認識、及び認証するのに使用することができ、運転者タブレット３１０は、各正規ユーザに個人用多面体３１７を提供することができる。
【００３７】
正規ユーザ（例えば、正規の運転者又は同乗者）毎に関連付けて個別化することができる情報又はアプリケーションのタイプ又は群の例は、表示区域２（３０６）に示すように回転多面体３１７上の対応する面と共に「私の娯楽」、「私の活動」、「私の健康」のようなユーザ情報及びアプリケーションを含むことができる。回転多面体３１７上の多角形面を定める点又は線、及び点及び線の数は、「私の娯楽」、「私の活動」、及び「私の健康」のようなユーザ情報に関する様々なパラメータを表現することができる。例えば、「私の健康」に対する多角形面を定める点の数は、正規ユーザに対する健康情報のカテゴリの数を示すことができる。
【００３８】
一例として、運転者又はユーザの手３０７は、動作制御デバイス３２７で取り込まれる手の動作を使用してあらゆる軸に沿って多面体３２７を回転させ、多面体３２７の望ましい面を前景に、例えば、表示区域２の前景に移動することによってユーザ情報又はアプリケーションを選択することができる。図３Ｂを参照すると、「私の娯楽」の面は、それが選択されたユーザ情報又はアプリケーションであることを示して前景にある。一例として、選択されたユーザ情報又はアプリケーションがユーザの手によって前景に、例えば、「私の娯楽」に位置決めされた状態で、ユーザ情報又はアプリケーションのアイコン、カテゴリ、項目、制御器などが表示区域３（３０８）に示される。他の例では、制御オブジェクト又はカーソル又はアバターを端から端までディスプレイ３０２に表示して多面体３２７上の面を選択することができる。多面体を回転させるユーザ動作の例は、手又は指を左から右へ又はその逆に移動し、それに応じて多面体３１７を回転させることを含む。他の運動を認識して多面体３１７を異なる軸に沿って回転させ、多面体３１７の望ましい面を前景に移動して望ましいユーザ情報又はアプリケーション、例えば、「私の娯楽」を選択することができる。多面体３１７の望ましい面が前景に来た状態で、ユーザは、自分の手３０７で把持及び解放運動を与えて、選択されたユーザ情報又はアプリケーションに関する追加の情報を取得することができる。
【００３９】
図３Ｂを参照すると、例えば、「私の娯楽」にアクセスする時に、「私の娯楽」の多角形面は、ユーザに対する４つのパラメータ又はカテゴリに対応することができる４つの点又は辺を含み、例えば、「音楽」、「オーディオブック」、「映画」、及び「ゲーム」が表示区域３（３０８）に示される。運転者又はユーザは、自分の手３０７で合図して「私の娯楽」の面が前景に来るように多面体３１７を回転させ、「私の娯楽」を選択して表示区域３（３０８）に「私の娯楽」に関する具体的な項目を表示することができる。次に運転者又はユーザは、動作制御デバイス３２７によって取り込まれる表示区域３（３０８）に自分の手３０７で合図し、例えば、表示区域３（３０８）の音楽カテゴリ下にある特定の音楽項目にアクセスして再生することができる。同様に「私の活動」及び「私の健康」は、例えば、通話、心拍動、上った階段の数のようなユーザ情報の４つの異なるパラメータ又はカテゴリを表すことができる４つの点及び線を含む。他の例では、点はユーザの体重、ユーザの心拍数などを表すことができる。点及び線の数により、回転多面体３１７の形状を変えて修正することができる。例えば、より多くの点が健康関連である場合に、「私の健康」に対する多角形面は、より大きい面と共に多くの点及び線を有する多角形表面を有することができる。
【００４０】
「私の娯楽」の例に言及すると、ユーザが映画を見る場合に、回転多面体３１７の「私の娯楽」の面にデータ点を生成することができる。「私の活動」の例に言及すると、モバイル電話の不在着信に対してデータ点を生成することができる。未読のテキストメッセージを示すデータ点も生成することができる。「私の健康」の例では、ユーザ体重の表示のような回転多面体３１７上のいくつかの点を予め構成することができる。他の例では、運転者又はユーザは、運転者タブレット３１０を通して、例えば、血圧を示す点又は健康目的で歩数を把握する点のような点を追加することができる。点の追加により、回転多面体１１７上の「私の健康」に対する多角形面を変えることができる。各運転者又はユーザは、端から端までディスプレイ３０２上で回転多面体３１７を描写する時に最小数の基準点を生成することができるユーザアカウントを有することができる。運転者又はユーザはまた、例えば、不在着信のようなピン留めすべき特定タイプの情報に関して点を追加することができる。
【００４１】
カテゴリ、関連情報、及びパラメータは、ユーザが運転者タブレット３１０で生成又は入力するか、又は情報を制御して端から端までディスプレイ３０２に提供する運転者タブレット１１０に、例えば、モバイル電話３３３又はスマートウォッチ３１３（又はあらゆる他のモバイルコンピュータデバイス）を使用してダウンロード又は入力することができる。一例として、ユーザ又は運転者が認証又は識別された後で、回転多面体３１７に対して情報及びパラメータを生成又は入力することができ、これらは、運転者タブレット３１０に格納された又は結合された１又は２以上のメモリ又はデータベースに格納することができる。各ユーザ又は運転者に対して、個人用回転多面体３１７を提供し、かつそれぞれの個人情報及びパラメータ、例えば、心拍動、心拍数などに関連付けることができる。例えば、各ユーザ又は運転者はデータ点を生成することができ、又はデータ点は自動的に生成可能であり、それにより、回転多面体３１７の形状は変わるとすることができる。回転多面体３１７の使用に関する実施例及び実施形態は、ディスプレイの乱雑さを低減するためにデスクトップ、ラップトップ、タブレット、ネットブック、モバイル電話、及びデバイスのためのディスプレイインタフェースのようなあらゆるディスプレイインタフェース環境に使用することができる。
【００４２】
例示的データ処理及びコンピュータシステムアーキテクチャ
図４は、図１Ａ〜１Ｂ及び３Ａ〜３Ｂの例示的環境１００、１５０、３００、及び３５０のためのデータ処理（又はコンピュータシステム）アーキテクチャ４００の一例示的ブロック図を示している。一例として、データ処理システムアーキテクチャ４００は、図１Ｂ，３Ａ〜３Ｂのダッシュボード１３７、３３７内の自動車１１０のためのコンピュータシステムを表すことができる。他の例では、アーキテクチャ４００は、図１Ａ〜１Ｂ及び２の運転者タブレット３１０又はディスプレイコンピュータ２１０に対するコンピュータシステムを表すことができる。
【００４３】
図４を参照すると、データ処理システムアーキテクチャ４００は、プロセッサ４１２と、リアルタイム作動システム４１０と、ＨＭＩミドルウェア４０２、仮想マシン４０４及び仮想デバイス環境４０６に結合された処理間通信４０８と、セキュリティ／オンラインサービス４１４とを含む。プロセッサ４１２は、本明細書に開示する技術及び作動を実行するように構成されたＡＲＭ（登録商標）、ｎＶｉｄｉａ（登録商標）、又はＩｎｔｅｌ（登録商標）のマイクロプロセッサ又は中央演算処理ユニット（ＣＰＵ）のあらゆるタイプを含むことができる。一例として、プロセッサ４１２は、図３Ａ〜３Ｂの端から端までディスプレイ３０２に示すようなグラフィカルユーザインタフェース及び制御器を提供する自動車に使用可能なグラフィカル処理ユニット（ＧＰＵ）アーキテクチャを提供するｎＶｉｄｉａ  Ｔｅｇｒａ（登録商標）のようなシステムオンチップ（ＳＯＣ）を含むことができる。一例として、プロセッサ４１２はまた、本明細書に開示する技術及び作動を実施するように構成された端から端までディスプレイ３０２に高度なグラフィック及びコンピュータビジョンナビゲーションを提供するｎＶｉｄｉａ  Ｄｒｉｖｅ  ＣＸハードウエア及びソフトウエアソリューションを含むことができる。プロセッサ４１２はまた、本明細書に開示する技術及び作動を使用して構成された自動車に情報及び娯楽特徴を提供するＩｎｔｅｌ  Ｉｎ−Ｖｅｈｉｃｌｅ  Ｉｎｆｏｒｔａｉｎｍｅｎｔ（ＩＶＩ）（登録商標）又はｎＶｉｄｉａ  Ｄｒｉｖｅ  ＣＸ（登録商標）の処理アーキテクチャ及びソフトウエアを含むことができる。
【００４４】
一例として、リアルタイムオペレーティングシステム４１０は、セキュリティ／オンラインサービス４１４を通じたクラウド接続と仮想デバイス環境４０６を通じた仮想デバイス通信とを提供することができるＵｎｉｘ（登録商標）ベースのオペレーティングシステムとすることができる。セキュリティ／オンラインサービス４１４は、スマートアンテナを含み、Ｌｏｎｇ−Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）標準のような高速無線通信を使用するユーザ認証を必要とする外部クラウドサービスへの安全なゲートウェイを提供することができる。Ｂｌｕｅｔｏｏｔｈ（登録商標）通信も、データ処理システムアーキテクチャ４００のセキュリティ／オンラインサービス４１４で提供することができる。仮想デバイス環境４０６は、例えば、データ処理システムアーキテクチャ４００と通信可能なデバイス及び仮想マシンのＡｎｄｒｉｏｄ（登録商標）ベースの環境を含むことができる。
【００４５】
ヒューマンマシンインタフェース（ＨＭＩ）ミドルウェア４０２は、運転者又はユーザにグラフィカルユーザインタフェース及び制御器又は環境１００及び運転者タブレット１１０を提供するソフトウエアを含むことができる。一例として、ＨＭＩミドルウェア４０２は、本明細書に開示する技術及び作動に基づいて図３Ａ〜３Ｂの端から端までディスプレイ３０２にユーザインタフェース及び制御器を提供するように構成されたＵｎｉｔｙ（登録商標）ソフトウエア又はＳｏｆｔｋｉｎｅｔｉｃｓ（登録商標）ソフトウエアを含むことができる。ＨＭＩミドルウェア４０２はまた、図１Ａ〜３Ｂに説明するようなユーザＩＤデバイス１０７−Ａ〜１０７−Ｄ、ユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃ、ユーザ取り込みデバイス２０７、及びユーザ取り込みデバイス３０７及び３７７が受信した２Ｄ及び３Ｄ顔面特徴、表情、及び温度情報を含む取り込まれたユーザ画像を処理かつ分析するソフトウエアを含むことができる。一例として、仮想マシン４０４は、Ｕｎｉｔｙ（登録商標）又はＳｏｆｔｋｉｎｅｔｉｃｓ（登録商標）ソフトウエアのようなＨＭＩミドルウェア４０２と処理通信４０８とを使用して自動車１１０の運転者タブレット１１０又は他のコンピュータデバイス、又は端から端までディスプレイ３０２に対するユーザインタフェースアプリケーションとして作動することができる。ＨＭＩミドルウェア４０２はまた、例えば、手の動作を認識して端から端までディスプレイ３０２上のインタフェースを制御するように構成されＩｎｔｅｌ  Ｒｅａｌｓｅｎｓｅ（登録商標）ソフトウエア及びハードウエアを使用して動作制御デバイス３２７によって取り込まれた画像からユーザの動作を認識するソフトウエアを含むことができる。
【００４６】
図５は、図４のデータ処理システムアーキテクチャのためのコンピュータシステムの一例示的ブロック図を示している。例えば、コンピュータシステム５００は、図１Ｂ、３Ａ〜３Ｂのダッシュボード１３７、３３７内にある自動車１１０のための自動車コンピュータ、又は運転者タブレット１１０、３１０、又はディスプレイコンピュータ１５１−Ａ、１５１Ｂのようなコンピュータに使用される様々な構成要素を表すことができる。図５は、データ処理又はコンピュータシステムの様々な構成要素を示すが、構成要素は、それらを相互接続する特定のアーキテクチャ又は方法を表すことを意図したものではなく、なぜならばそのような詳細は、開示する実施例又は実施形態にあまり関連しないからである。より少ない構成要素又は場合によってはより多くの構成要素を有するネットワークコンピュータ及び他のデータ処理システム又は他の消費者向け電子デバイスも、開示する実施例及び実施形態と共に使用することができる。
【００４７】
図５を参照すると、データ処理又はコンピュータシステムの一形態であるコンピュータシステム５００は、キャッシュ５０４に結合されたプロセッサ５０２に結合されたバス５０３、ディスプレイ５１５に結合されたディスプレイコントローラ５１４、ネットワークインタフェース５１７、不揮発性ストレージ５０６、メモリ５１０に結合されたメモリコントローラ、Ｉ／Ｏデバイス５２０に結合されたＩ／Ｏコントローラ４１８、及びデータベース５１２を含む。プロセッサ５０２は、１又は２以上の中央演算処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、専用プロセッサ、又はそれらのあらゆる組合せを含むことができる。プロセッサ５０２は、不揮発性ストレージ５０６、メモリ５１０、又はデータベース５１２を含むメモリのいずれかから命令を取得し、その命令を実行して開示する実施例及び実施形態に説明する作動を行うことができる。
【００４８】
Ｉ／Ｏデバイス５２０の例は、マウス、キーボード、プリンタ、及びＩ／Ｏコントローラ５１８によって制御される他の類似のデバイスを含む。ネットワークインタフェース５１７は、モデム、有線及び無線送受信機を含み、有線又は無線ＷＡＮを含むあらゆるタイプのネットワークプロトコル、及びＬＴＥ及びＢｌｕｅｔｏｏｔｈ（登録商標）標準を含むＬＡＮプロトコルを使用して通信することができる。メモリ５１０は、ランダムアクセスメモリ（ＲＡＭ）、メモリ内のデータをリフレッシュ又は維持するために断続的に電力を必要とする動的ランダムアクセスメモリ（ＤＲＡＭ）を含むあらゆるタイプのメモリとすることができる。不揮発性ストレージ５０６は、磁気ハードドライブ又は光磁気ドライブ又は光学ドライブ又はデジタルビデオディスク（ＤＶＤ）ＲＡＭ又はフラッシュメモリ又は他タイプのメモリシステムを含む大容量ストレージデバイスとすることができ、これらは、システムの電源が落とされた後でもデータ（例えば、大量のデータ）を維持する。
【００４９】
一例として、メモリデバイス５１０又はデータベース５１２は、自動車（例えば、自動車１１０）のあらゆる数のユーザ（例えば、運転者又は同乗者）の情報を生体走査することができる。生体走査情報は、２Ｄ又は３Ｄ顔面画像、顔面特徴及び表情を含むユーザ画像を含むことができる。他の例では、メモリデバイス５１０又はデータベース５１２は、例えば、「私の健康」、「私の活動」、又は「私の娯楽」タイプのユーザ情報に関連付けられたユーザ情報及びパラメータを端から端までディスプレイ３０２上のアプリケーションに格納することができる。メモリデバイス５１０及びデータベース５１２は、システムバス５０１に結合された状態で示すが、プロセッサ５０２は、ネットワークインタフェース５１７を通して局所的に又は遠隔的にあらゆる数の外部メモリデバイス又はデータベースに結合することができ、例えば、データベース５１２はクラウド環境内の安全なストレージとすることができる。一例では、プロセッサ５０２は、ユーザ及び表現を認識するために図１Ａ〜８に説明する技術及び作動を実施することができる。ディスプレイ５１５は、端から端までディスプレイ３０２、又は図１Ｂ及び３Ａ〜３Ｂのディスプレイコンピュータ１５１−Ａ、１５１−Ｂに対するディスプレイを表すことができる。
【００５０】
本明細書に開示する実施例及び実施形態は、データ処理システムアーキテクチャ、データ処理システム又はコンピュータシステム、又はコンピュータ可読媒体又はコンピュータプログラム製品に具現化することができる。開示する実施例及び実施形態の態様、特徴、及び詳細は、システム又はエンジンと呼ぶ場合のあるハードウエア又はソフトウエア又はその両方の組合せを取ることができる。開示する実施例及び実施形態はまた、図１Ａ〜８に開示する技術及び作動を実施するために１又は２以上のプロセッサ（例えば、プロセッサ４０２）によって実行可能なコンピュータ可読コードを有する１又は２以上のコンピュータ可読媒体を含むコンピュータプログラム製品の形態に具現化することができる。
【００５１】
例示的ユーザ識別システム及び作動
図６は、自動車の運転者又はユーザを認証するためのコンピュータシステム６００のブロック図を示している。コンピュータシステム６００は、ユーザ取り込み及び表現エンジン６２２に結合されたメモリ又はデータベース６３０を含む。一例として、データベース６３０は、ユーザ１の顔面特徴（６０３）、ユーザ２の顔面特徴（６０４）からユーザＮの顔面特徴（６０６）までを含むユーザ画像のような複数の生体走査ユーザ情報を格納する。データベース６３０は、２Ｄ及び３Ｄ画像及び表情を含む他タイプの生体走査情報を格納することができる。格納された顔面特徴は、ユーザ１（６０３）からユーザＮ（６０６）について、例えば、鼻、口、目、唇、頬などを含む顔面特徴の形状、サイズ、及び寸法を含むことができる。一例として、データベース６３０に格納される情報は、自動車、例えば、自動車１１０に関する１又は２以上のユーザの生体走査情報の登録中に格納することができる。データベース６３０は、自動車又はコンピュータ内に又はユーザがアクセス可能な安全なクラウド環境に位置付けられた安全なストレージとすることができる。
【００５２】
一例として、ユーザ取り込みデバイス６０７は、ユーザ（例えば、運転者又は同乗者）が自動車（例えば、自動車１１０）に入るか又はその傍に来ると直ちに例えば顔面特徴画像のようなユーザ画像を取り込むことができる。ユーザ取り込み及び表現エンジン６２２は、顔面特徴を含む取り込まれたユーザ画像をユーザ１の顔面特徴（６０３）からユーザＮの顔面特徴（６０６）を含むデータベース６３０に格納されたユーザ画像と比較し、自動車に登録されたものとの符合が存在するかを決定することができる。エンジン６２２は、あらゆる顔面認識アルゴリズムを使用してユーザ画像及び顔面特徴を認識することができる。エンジン６２２は、符合を検出した場合に、ユーザを正規ユーザとして認証し、自動車に対して運転するための制御器へのアクセスを含む許可された運転者資格証明書をユーザが有するかを更に決定することができる。一例として、エンジン６２２は、同乗者ドアに入る子供を検出してそのドアの解錠を可能にするが、自動車の運転制御器への子供のアクセスを拒否することができる。ユーザ取り込みデバイス６０７は、例えば、赤外線カメラを使用してユーザの温度差情報を取り込むことができ、これをエンジン６２２が処理し、例えば、運転者又は同乗者の健康状態を決定することができる。例えば、運転者が同乗者よりも大きい温度差読取値を有すると温度情報が示す場合に、エンジン６２２は、運転者が健康でない、例えば、熱がある可能性があると決定し、自動車による応答が行われるものとすることができる。一例では、エンジン６２２は、図１Ａ〜８に説明するような技術及び作動を実施することができる。
【００５３】
図７Ａは、自動車のユーザの生体走査画像を登録するための例示的作動７００の流れ図である。
【００５４】
ブロック７０２では、ユーザの生体走査登録を開始する。一例として、ユーザの生体走査情報の登録は、自動車（例えば、自動車１１０）の購入又は注文に使用されるアプリケーションで開始することができる。一例では、個人識別及びパスワード認証、指紋認証、又は２段認証を使用して自動車に対して認証されたモバイルデバイス上で実行されるアプリケーションが、登録処理を開始することができる。ユーザはまた、配偶者、子供のような他のユーザの生体走査登録を開始することができる。
【００５５】
開始後に、ブロック７０４では、ユーザの生体走査画像を取り込み、例えば、２Ｄ又は３Ｄ顔面画像を取り込む。一例として、モバイルデバイス又は自動車は、２Ｄ又は３Ｄ顔面画像のようなユーザ画像を取り込むための１又は２以上のカメラを有することができる。登録中に１よりも多いユーザの画像を取り込むことができる。
【００５６】
ブロック７０６では、ユーザ（又は各ユーザ）の生体走査画像を安全なデータベースに格納する。一例として、顔面画像を含む２Ｄ又は３Ｄユーザ画像のような取り込まれた生体走査画像は、自動車内に局所的に又は安全なクラウド環境内に遠隔的に格納される。
【００５７】
ブロック７０８では、ユーザの格納された生体走査画像を自動車に登録する。取り込まれた各画像は、運転者又は同乗者又はその両方として制限付きで自動車に登録することができる。例えば、第１のユーザは、自動車の所有者とすることができ、運転者アクセス権だけを有することができ、第２のユーザは、第１のユーザの子供とすることができ、運転者アクセス権を持たず、同乗者資格だけに制限されるものとすることができる。ユーザの登録により、自動車へのアクセス及び制御にあらゆる数の統制及び制限を加えることができる。例えば、自動車（例えば、自動車１１０）を運転するために夫と妻の両方を登録することができるが、全ての子供は、運転する権限を持たず、同乗者のディスプレイコンピュータ１１５−Ａ及び１１５−Ｂを利用することができるに過ぎない。
【００５８】
図７Ｂは、自動車のユーザを認証する例示的作動７１０の流れ図を示している。ブロック７１２では、ユーザの２次元（２Ｄ）又は３次元（３Ｄ）顔面特徴を受信する（例えば、ユーザ頭部２０１の２Ｄ又は３Ｄ顔面特徴２１１）。
【００５９】
ブロック７１４では、受信した２Ｄ又は３Ｄ顔面特徴に基づいてユーザを正規ユーザとして認証する。例えば、図６を参照すると、エンジン６２２は、ユーザ取り込みデバイス６０７から２Ｄ又は３Ｄ顔面特徴を受信し、それらをデータベース６３０内の顔面特徴を含む格納されたユーザ画像と比較し、顔面特徴を含むユーザ画像が符合するかを決定することによってユーザを認証することができる。符合が存在する場合に、ユーザは、正規ユーザであると決定することができる。符合するものがない場合に、ユーザは、不正ユーザであると決定することができる。
【００６０】
ブロック７１６では、ユーザを正規ユーザとして認証した場合に、ユーザに対して自動車（例えば、自動車１１０）及び制御器（例えば、端から端までディスプレイ３０２上の制御インタフェース）へのアクセスを許可する。ブロック７１８では、ユーザを正規ユーザとして認証しなかった場合に、ユーザに対して自動車及びその制御器へのアクセスを拒否する。
【００６１】
図７Ｃは、自動車のユーザを認証する例示的作動７２０の流れ図を示している。
【００６２】
ブロック７２２では、ユーザの２次元（２Ｄ）又は３次元（３Ｄ）顔面特徴を受信する。ブロック７２４では、ユーザの温度情報を受信する。例えば、図２Ｂを参照すると、ユーザ取り込みデバイス２０７は、ユーザ頭部２０１の温度差情報を取り込む赤外線カメラを含むことができる。
【００６３】
ブロック７２６では、受信した２Ｄ又は３Ｄ顔面特徴及び温度情報に基づいて、ユーザを正規ユーザとして認証する。例えば、図６を参照すると、エンジン６２２は、ユーザ取り込みデバイス６０７から２Ｄ又は３Ｄ顔面特徴及び温度情報を受信することができる。エンジン６２２は、受信した２Ｄ又は３Ｄ画像をデータベース６３０内の顔面特徴を含む格納されたユーザ画像と比較し、顔面特徴を含むユーザ画像が符合するかを決定することによってユーザを認証することができる。エンジン６２２はまた、本物のユーザを検出してなりすましを防止する際に温度情報を分析してユーザ画像が無生物を示していないかを決定することができる。ユーザ画像との符合が存在し、温度情報が本物のユーザを表す場合に、そのユーザを正規ユーザであると決定することができる。符合するものがなく、温度情報が本物のユーザを表さない場合に、そのユーザを不正ユーザであると決定することができる。
【００６４】
ブロック７２８では、ユーザを正規ユーザとして認証した場合に、ユーザに対して自動車（例えば、自動車１１０）及び制御器（例えば、端から端までディスプレイ３０２上の制御インタフェース）へのアクセスを許可する。ブロック７３０では、ユーザを正規ユーザとして認証しなかった場合に、ユーザに対して自動車及び制御器へのアクセスを拒否する。
【００６５】
図８は、自動車のユーザの中立表情及び非中立表情を処理する例示的作動８００の流れ図を示している。ブロック８０２では、ユーザの取り込まれた画像を受信する。例えば、図１Ｂ、２Ａ〜２Ｂ、及び３Ａ〜３Ｂのユーザ取り込みデバイス１１７−Ａ〜１１７−Ｃ、ユーザ取り込みデバイス２０７、及びユーザ取り込みデバイス３０７、３７７は、ユーザ（例えば、運転者及び同乗者）の画像を取り込むことができる。
【００６６】
ブロック８０４では、ユーザの取り込まれた画像内の非中立又は中立表情について決定を行う。非中立表情の例は、自撮り画像、微笑み、しかめ面、眠り、うたた寝、瞬き、怒り、喜び、疲労、怒り、ストレス、又は身震いを含むことができる。中立表情は、応答を提供するのに認識されない表情である。
【００６７】
ブロック８０６では、取り込まれた画像に非中立表情が決定された場合に、自動車は、応答を提供することができる。例えば、ユーザの目がある期間にわたって閉じているなどの非中立表情が取り込まれた場合に、エンジン６２２は、例えば、ユーザを目覚めさせるために音声警告を与えることによって応答を提供することができる。ディスプレイ上のメッセージ、ディスプレイ上のライト点滅、設定及び好みの変更、椅子の振動などのようなあらゆるタイプの応答を提供することができる。
【００６８】
ブロック８０８では、取り込まれた画像に中立表情が決定された場合に、自動車は応答を提供しないことになる。中立表情は、いずれの決定的な変化又は特徴もない通常の表情とすることができる。
【００６９】
以上の明細書では、本発明をその特定の例示的実施形態に関連して説明した。しかし、開示した実施例及び実施形態のより広範な精神及び範囲から逸脱することなく様々な修正及び変更をそれに対して行うことができることは明らかであろう。従って、本明細書及び図面は、限定的な意味ではなく例示的に考えるものとする。
【符号の説明】
【００７０】
７１０  自動車のユーザを認証する例示的作動
７１２  ユーザの２次元（２Ｄ）又は３次元（３Ｄ）画像を受信する
７１４  受信した２Ｄ又は３Ｄ画像に基づいてユーザを正規ユーザとして認証する
７１６  自動車及び制御器へのアクセスを許可する
７１８  自動車及びその制御器へのアクセスを拒否する
【図１Ａ】
2020536782.tif 000003
【図１Ｂ】
2020536782.tif 000004
【図２Ａ】
2020536782.tif 000005
【図２Ｂ】
2020536782.tif 000006
【図３Ａ】
2020536782.tif 000007
【図３Ｂ】
2020536782.tif 000008
【図４】
2020536782.tif 000009
【図５】
2020536782.tif 000010
【図６】
2020536782.tif 000011
【図７Ａ】
2020536782.tif 000012
【図７Ｂ】
2020536782.tif 000013
【図７Ｃ】
2020536782.tif 000014
【図８】
2020536782.tif 000015
【国際調査報告】
2020536782.tif 000016
2020536782.tif 000017