(57)【要約】  視覚補助具を有する人間の視線方向を検出するための方法において、人間の視覚補助具の少なくとも１つの光学特性を提供するステップと、人間の少なくとも１つの目を観察するステップと、視覚補助具の少なくとも１つの光学特性に基づいて、前記観察により算出されたデータを修正するステップと、を有している。また、人間の視線方向を検出するために設計された装置（１）において、人間の少なくとも１つの目を観察するために設計された観察装置（２）と、人間の視覚補助具の少なくとも１つの光学特性を含むデータレコード（５）と、前記データレコード（５）に基づいて前記観察を修正するために設計された演算装置（３）と、を有している。  【選択図】  図１
2018510701.tif 000002
【特許請求の範囲】
【請求項１】
視覚補助具を有する人間の視線方向を検出するための方法において、
前記人間の視覚補助具の少なくとも１つの光学特性を提供するステップと、
前記人間の少なくとも１つの目を観察するステップと、
前記観察の算出されたデータを、前記視覚補助具の少なくとも１つの光学特性に基づいて修正するステップと、
を有していることを特徴とする、人間の視線方向を検出するための方法。
【請求項２】
前記観察のデータを修正するために少なくとも１つの画像を撮影し、この画像を少なくとも１つの前記光学特性を用いて処理する、請求項１記載の方法。
【請求項３】
前記観察のデータを修正するために、前記データの少なくとも一部を、少なくとも１つの前記光学特性を使用して分析する、請求項１記載の方法。
【請求項４】
少なくとも１つの前記光学特性が、屈折率、厚み、球、軸および円柱から選ばれる少なくとも１つのパラメータを含んでいる、請求項１から３までのいずれか１項記載の方法。
【請求項５】
少なくとも１つの前記光学特性を、モデル、パラメータフィールド、ベクトルおよび／またはマトリックスに変える、請求項１から４までのいずれか１項記載の方法。
【請求項６】
前記修正を、少なくとも検出の補正段階中に使用する、請求項１から５までのいずれか１項記載の方法。
【請求項７】
人間の視線方向を検出するために設計された装置において、
前記人間の少なくとも１つの目を観察するために設計された観察装置（２）と、
前記人間の視覚補助具の少なくとも１つの光学特性を含むデータレコード（５）と、
前記データレコード（５）に基づいて前記観察を修正するために設計された演算装置（３）と、
を有していることを特徴とする、人間の視線方向を検出するために設計された装置。
【請求項８】
前記装置（１）が車両の運転者観察システムの一部である、請求項７記載の装置。
【請求項９】
前記装置（１）が電子機器の一部である、請求項７または８記載の装置。
【請求項１０】
請求項１から６までのいずれか１項記載の方法を実施するために設計された自動車のためのコントロールユニット。
【請求項１１】
プログラムが装置で実行されると、請求項１から６までのいずれか１項記載の方法を実施するための、コンピュータで実行可能なプログラムコードを有するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の視線方向を検出するための方法、人間の視線方向を検出するために設計された装置、並びにコンピュータプログラム製品に関する。
【背景技術】
【０００２】
視線方向検出システムは、例えば車両または電子機器、例えば娯楽用電子機器または消費電子機器により公知である。このような形式の視線方向検出システムは、一般的な形式で、観察しようとする人間の瞳の位置および大きさを検出する。
【０００３】
このような形式のシステムは、例えばメガネまたはコンタクトレンズ等の、場合によっては存在する視覚補助具を考慮しない。従って、視覚補助具の厚みおよび幾何学形状に応じて、視角内での検出された瞳の位置及び瞳の大きさの間違った解釈が生じ得る。何故ならば、使用された視覚補助具による相応の視線の歪みが考慮されないからである。
【発明の概要】
【０００４】
本発明によれば、視覚補助具を有する人間の視線方向を検出するための方法で、次のステップ、つまり、
人間の視覚補助具の少なくとも１つの光学特性を提供するステップと、
人間の少なくとも１つの目を観察するステップと、
前記観察により得られたデータを、視覚補助具の少なくとも１つの光学特性に基づいて修正するステップと、
を有している方法が提供される。
【発明の効果】
【０００５】
本発明による方法は、視角補助具の光学的な歪みによって生ぜしめられる、画像情報の多くの解釈が避けられ得ることによって、視線方向検出のロバスト性が高められる、という利点を有している。これによって、視線制御は、画像情報の不変な歪み公差に基づいて実際に可能であるよりも大きい使用者範囲にアクセス可能である。
【０００６】
観察のデータを修正するために、少なくとも１つの画像が撮影され、この画像が少なくとも１つの光学特性を用いて処理され得る。このような画像を提供する方法は、単数または複数の個別画像、または例えばビデオフィルムまたはビデオストリーム等の画像の連続に基づいていてよい。このような画像処理または画像加工は、予め保管されている多数のアルゴリズムを使用できる、という利点を有している。
【０００７】
観察によるデータを修正するために、少なくとも１つの光学特性を使用して分析が行われる。この場合、例えば所定の部分または領域のみ、例えば視覚補助具の領域が分析されるかまたは処理されてよい。これによって演算能力が節約される。
【０００８】
少なくとも１つの光学特性が、屈折率、厚み、球、軸および円柱から選ばれる少なくとも１つのパラメータを含んでいてよい。これらの少なくとも１つの光学特性は、視角補助具の光学特性を記述し、それに基づいて相応の修正を可能にするために、良好に適している。
【０００９】
少なくとも１つの光学特性は、モデル、パラメータフィールド、ベクトルおよび／またはマトリックスに変えられてよい。このような方法は、モデル、パラメータフィールド、ベクトルおよび／またはマトリックスを有するデータレコードまたは画像の相互作用によって、観察されたまたは検出された人間の目を簡単に修正することができる。視覚補助具によって生ぜしめられた歪みを取り除くために、例えば、光学特性は、画像ベクトルまたは画像マトリックスに変えることができ、次いで目の検出されたデータに使用される。
【００１０】
修正は、少なくとも検出の補正段階中に使用される。視線方向検出の際に、最初の補正が行われると、修正がこの段階中に直接実施され得るので、後からの演算費用が低減される。また、例えば精度を高めるために、補正段階中の修正にも関わらず、本来の検出時に追加的にさらに修正が行われてもよい。
【００１１】
人間の視線方向を検出するために設計された本発明の装置は、人間の少なくとも１つの目を観察するために設計された観察装置と、人間の視覚補助具の少なくとも１つの光学特性を含むデータレコードと、データレコードに基づいて観察を修正するために設計された演算装置と、を有している。
【００１２】
装置とは、センサ信号を処理し、それに基づいて制御信号を発信する電気機器若しくは電気コントロールユニットであると理解されてよい。装置は、単数または複数の車両の支援システムを有していてもよい。前述したのと同じ利点および変更が当てはまる。
【００１３】
この装置は、車両の運転者観察システムの一部であってよい。車両とは、自動車、特に道路に限定された車両、例えば乗用車、トラックまたは二輪車であってよい。この装置は、特に車両のために提供される。何故ならば、車両の運転者の視線方向を非常に精確に検知することは、走行安全性のために決定的に寄与し得るからである。
【００１４】
この装置は、電子機器の一部であってよい。視線方向の改善された検出は、電子機器においても、例えば娯楽用電子機器の分野から、より広い普及または導入が要求され得る。
【００１５】
本発明による、自動車のためのコントロールユニットは、前記方法を実施するために設計されている。自動車のコントロールユニットに組み込むことは、道路交通の観点のために迅速かつ目的に合わせた修正および必要なデータへの迅速かつ確実なアクセスを可能にする。
【００１６】
また本発明は、プログラムが装置で実行されると、前記方法を実施するための、コンピュータで実行可能なプログラムコードを有するコンピュータプログラム製品を提案する。前述と同じ利点および変更が当てはまる。
【図面の簡単な説明】
【００１７】
【図１】人間の視線方向を検出するための、視覚補助具を有する方法及び装置の概略的な図である。
【発明を実施するための形態】
【００１８】
本発明の実施例を以下の説明の図面を用いて詳しく説明する。
【００１９】
図１は、人間の視線方向を検出するための装置１またはシステムを示す。装置１は、例えば単数または複数の運転者観察カメラの形の観察装置２を有している。観察装置２は、個別の画像または画像の連続を撮影して、この画像または画像の連続を、演算装置３、例えば支援システムのコントロールユニットに提供する。演算装置３で、観察装置２の単数または複数の画像が評価される。このために、まず、１つまたは２つの瞳が観察装置２のデータで確認され、次いで、１つまたは２つの瞳の位置及び大きさから例えば視線方向ベクトルが形成され得る。この視線方向ベクトルは、観察された人間がどの方向を見ているかを知らせる。また、人間の視線が何にどのくらい離れて焦点を合わせているかを知らせることもできる。
【００２０】
観察されている人間が例えばメガネまたはコンタクトレンズ等の視覚補助具を使用している場合、目若しくは瞳は、観察装置２の視点から見て視覚補助具の後ろに位置する。従って、観察装置２の光学的な経路は視覚補助具の光学系を通るので、目若しくは瞳は、視覚補助具の光学特性に従って歪む。
【００２１】
視覚補助具が使用されているにも関わらず、視線方向の精確な検出を可能にするために、まず外部のシステム４で、人間の視覚補助具の特性若しくは光学特性が算出される。例えば眼科またはメガネ店または視覚補助具の製造業者において使用されるこの外部のシステムは、視覚補助具の少なくとも１つの光学特性を有するデータレコード５を提供する。このデータレコード５は装置１に提供される。データレコード５は、ワイヤレスでまたはケーブル接続により、例えばスマートフォン、ＵＳＢスティック、ＥメールまたはＳＭＳによって、外部のシステム４から装置１へ伝送され得る。
【００２２】
一般的な形式で、運転者観察システムは、運転者データレコード６を作成し、この運転者データレコードは、まず第１に運転者を識別するために用いられ、さらに別の機能、例えば快適性機能のために使用され得る。視覚補助具の光学特性を備えたデータレコード５は、追加的に運転者データレコード６に伝送され、この運転者データレコードに組み込まれる。このような形式で、視覚補助具の光学特性は、この視覚補助具をもっている人間に精確に割り当てられる。データレコード５若しくは光学特性は、屈折率、厚み、球、軸および円柱から選ばれる少なくとも１つのパラメータを含んでいる。このような値またはパラメータを用いて視覚補助具は光学的に記述され得る。
【００２３】
運転者観察システムは、補正機能７を有していてよく、この補正機能７を、一般的な形式で、人間が装置１と最初に接触するときに呼び出すことができる。補正機能７は光学的な特徴を表すことができ、これらの特徴の位置は装置１に知られていて、視線をこれらの特徴に合わせるように人間に要求する。既知のマークを注視する際の人間若しくは人間の目および／または人間の瞳を観察、検出および／または記録することによって、それぞれの人間に合わせて装置１の補正を行うことができる。このために、補正機能７が光学特性若しくはデータレコード５を提供することができ、それによって、予め補正時に人間の視覚補助具の光学特性が考慮される。
【００２４】
補正機能７は視線方向補正データレコード８を生成し、この視線方向補正データレコード８内に特別な補正データが含まれている。この視線方向補正データレコード８内に運転者データレコード６からのデータも流入し得る。相応に、視覚補助具の光学特性若しくはデータレコード５が、運転者データレコード６および／または補正機能７を介して視線方向補正データレコード８内に流入し得る。視覚補助具の光学特性は、演算装置３に、データレコード５を介して直接的に提供されるか、または視線方向補正データレコード８を介して間接的に提供される。演算装置３内で、観察装置２からのデータが、視覚補助具の少なくとも１つの光学特性に基づいて修正され、それによって、視覚補助具によって生じる光学的な歪みがアルゴリズム的に取り除かれる。これは、予め補正段階でおよび／または観察運転中に行われてよい。
【００２５】
このために、演算装置３は、データレコード５若しくは視覚補助具の少なくとも１つの光学特性から、モデル、パラメータフィールド、ベクトルおよび／またはマトリックスを演算することができる。それぞれ選択された構成のために、観察装置２からのデータが入力値として使用されるか、若しくは選択された構成が観察装置２のデータに使用される。モデルの場合、観察装置２からのデータが入力値として使用され、モデルの出力値は観察装置２からの歪修正された表示である。パラメータフィールドを介して、観察装置２からのデータの処理が例えばフィルタ調節としてパラメータ化され得る。ベクトルまたはマトリックスが、観察装置２のデータへの変換または光学的な結像として使用され得る。
【００２６】
記載した方法は、観察装置２からの完全な画像若しくは完全なデータに使用されてよい。演算費用を低減するために若しくは処理速度を高めるために、所定の領域だけを処理することができる。このために、所定の領域、例えば瞳、目、瞳および／または目の周囲の所定の領域、または視覚補助具の三次元的な大きさを使用でき、それによって、観察若しくはデータまたは観察装置２からの画像の領域が規定される。
【００２７】
ついでこの領域に、モデル、パラメータフィールド、ベクトルおよび／またはマトリックスが使用される。その結果、リアルタイムに修正される安定した視線方向が得られ、この視線方向は、別のシステム９若しくはソフトウエアモジュールまたはソフトウエアルーチンに提供され得る。視線方向のさらなる処理が演算装置３で実施されてもよい。
【００２８】
本発明の詳細は、好適な実施例を用いて詳しく図示され説明されているが、本発明は、開示された例に限定されるものではなく、本発明の保護範囲を越えることなしに、別の変化例が当業者により導き出されてよい。
【符号の説明】
【００２９】
１  装置
２  観察装置
３  演算装置、コントロールユニット
４  外部のシステム
５  データレコード
６  運転者データレコード
７  補正機能
８  視線方向補正データレコード
９  別のシステム
【図１】
2018510701.tif 000003
【国際調査報告】
2018510701.tif 000004
2018510701.tif 000005
2018510701.tif 000006
2018510701.tif 000007