(57)【要約】　　　（修正有）【課題】さまざまな機能、特に現代の自動車のバックアップシステムおよび安全システムを支援に関し、人物の視線方向を検出することが必要である。【解決手段】マイクロホンによる視線方向の検出は、所与の時間に存する照明条件に関わらず、かつ作動中の照明装置に頼らず、このような機能を実現するために用いることができる方法を提供する。このため、人物の発声方向を少なくとも１つの方向選択マイクロホンによって検出し、そこから同人物の視線方向を決定する。実際、話者が誰かに話しかけているときは、一般に相手の方向を見るか、または少なくとも実質的に相手がいる位置の方向を見る傾向があることから、検出された発声方向から人物の視線方向を決定し得る。したがって、発声方向は本質的に視線方向に対応するとほぼ完全に仮定することができる。【選択図】図１
2004053581.tif 000002
【特許請求の範囲】
【請求項１】
人物、特に自動車の運転者の視線方向を検出する方法であって、発声方向が前記視線方向に本質的に対応すると仮定して、前記視線方向を話者の前記発声方向から導出する場合に、前記話者の前記発声方向を検出するため前記話者から発せられた発声信号が少なくとも１つの方向選択マイクロホンによって検知され、この結果として生じるマイクロホン信号から前記発声方向が決定されることを特徴とする検出方法。
【請求項２】
前記発声信号が、少なくとも１つの方向選択独立マイクロホンによって検知されることを特徴とする請求項１に記載の方法。
【請求項３】
前記発声信号が、互いに接続された独立マイクロホンの少なくとも１つの配列（マイクロホン配列）によって検知されることを特徴とする請求項２に記載の方法。
【請求項４】
前記発声方向の検出中に、前記話者を囲む空間の幾何構成、および音声の伝搬に関連する条件についての知識が用いられることを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
通信システムの発声評価の結果が、前記発声方向の検出中に用いられること、または前記発声信号がかかるシステムによって検知されることを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記発声方向の検出中に、異なる人物または異なる発声方向に関する発声パターンを含む標準化データによることを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記方法の実行中に、格納された発声パターンまたは標準化データが、変化した状況、特に、話し方または記録方式における変化に適応することを特徴とする請求項６に記載の方法。
【請求項８】
前記方法を標準化するために、少なくとも１人の発声パターンまたは異なる発声方向に関する発声パターンが、記憶装置に記憶されていることを特徴とする請求項１〜７のいずれか１項に記載の方法。
【請求項９】
標準化用の発声パターンを生成するために、前記方法が標準化モードで作動し、発声パターンの格納される前記人物が一定の規則および規格に基づいて発声パターンをシステムに入力することを特徴とする請求項８に記載の方法。
【請求項１０】
前記方法を標準化するために、前記データが自然人から直接発せられたものではなく、代わりに特に複数の自然人の発声パターンを組合わせることによって、合成によって生成されることを特徴とする請求項８に記載の方法。
【請求項１１】
人物、特に自動車の運転者の視線方向の検出装置であって、
前記装置が、発声信号を参照することによって前記人物の発声方向を検出する少なくとも１つの方向選択マイクロホンを有し、
前記装置が、前記発声信号を処理して前記人物の視線方向を決定する装置を有すること、を特徴とする装置。
【請求項１２】
少なくとも１つの前記方向選択マイクロホンが、方向選択独立マイクロホンであることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記装置が方向選択方式で評価される配列を含み、互いに接続された独立マイクロホンの配列（マイクロホン配列）を含むことを特徴とする請求項１１あるいは１２に記載の装置。
【請求項１４】
前記装置が、前記人物を囲む空間に関して幾何構成、および音声の伝搬条件に影響する知識が記憶される記憶装置を有し、この知識を前記発声方向の検出に用いることを特徴とする請求項１１〜１３のいずれか一項に記載の装置。
【請求項１５】
前記装置が、少なくとも独立素子における通信システムの一部であることと、そのようなシステムに少なくとも１つの接続があることと、を特徴とする請求項１１〜１４のいずれか一項に記載の装置。
【請求項１６】
前記装置が、異なる人物または異なる発声方向の発声パターンに関する標準化データが記憶される記憶装置を有することを特徴とする請求項１１〜１５のいずれか一項に記載の装置。
【請求項１７】
前記装置が、前記記憶装置に記憶された前記標準化データを前記方法の作動中に変化した状況、特に視線方向の検出される話者の話し方または記録方式における変化に適応させるための装置を有することを特徴とする請求項１６に記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、請求項１および請求項１１の前文による方法および装置に関する。
【０００２】
自動車の安全性および自動車の快適さを増すために、現代の自動車は、適応警告システムおよび情報システムのほか、現在の交通状態および自動車の運転者の状態に基づいて、自動車誘導の分野において機能を自発的に遂行することができるバックアップシステムを備えることがますます増えている。
【０００３】
【従来の技術】
たとえば、（特許文献１）は、自動車の運転者の運転挙動を監視し、および／または、これに影響を与える装置を開示しており、この装置は、警告信号を発生したり、運転者の視線方向が進行方向とずれているかどうかの関数としてステアリングに作用したりする。ここでは、自動車の運転者の視線方向は、カメラを用いて決定されるが、特に暗い場合、または太陽が空の低い位置にある場合にはカメラ信号を評価しにくいという欠点がある。
【０００４】
現在の照明条件に関わらず、特に夜間に、カメラシステムによって自動車の運転者を観察することができるようにするために、本明細書より後日に公開された独国公開特許第１０１　６０　８４３　Ａ１号明細書は、自動車におけるパターンを検出するために、自動車の乗員を赤外光によって積極的に照らす記録画像用の照明手段について述べている。自動車の運転者を眩しくしないようにするために、照明には可視光を用いることはできないことから、画像を記録するために、可視波長範囲で作動する別個のカメラシステムを用いることも必要である。
【０００５】
【特許文献１】
独国登録特許第１９７　３４　３０７　Ｃ２号明細書
【０００６】
【特許文献２】
独国登録特許第３８　４３　０３４　Ｃ２号明細書
【０００７】
【特許文献３】
独国公開特許第３４　４７　８４２　Ａ１号明細書
【０００８】
【特許文献４】
独国登録特許第１９９　３８　１７１　Ｃ２号明細書
【０００９】
【発明が解決しようとする課題】
このことを出発点と見なすと、当業者は、人物、特に自動車の運転者の視線方向の検出のための方法、およびその方法を実行するのに適し、現在普及している照明の条件に関わらず、作動中の照明装置によらず、作動することができる装置を発見することを目標にしている。
【００１０】
【課題を解決するための手段】
本目的は、一方では、その特徴部分の構成による特許請求項１の前文による方法によって実現され、他方ではその特徴部分の構成による特許請求項１１の前文による装置によって実現される。
【００１１】
本発明の有利な改良点および発展については、従属請求項に記載されている。
【００１２】
本発明において、人物の発声方向は、少なくとも１つの方向選択マイクロホンによって特に好都合な態様で検出され、人物の視線方向がそこから決定される。実際多くの場合、話者が誰かに話しかけているときには、一般に相手の方を見るか、または少なくとも実質的に相手がいる位置の方向を見る傾向があることから、検出された発声方向から話者の視線方向を決定する可能性が提供される。したがって、実際には、発声方向は本質的に視線方向に対応するとほぼ完全に仮定することができる。
【００１３】
例示的実施形態および図を参照して、本発明を以下に詳細に説明する。
【００１４】
本発明の範囲内にある方向選択マイクロホンは、独立マイクロホンまたは多数の独立マイクロホンが互いに接続されて形成されるマイクロホン配列のいずれであってもよい。
【００１５】
一例として、音源の方向を決定するための単独マイクロホンから構成されるマイクロホンシステムを開示する（特許文献２）または多数の電気音声変換器から構成される音波の入射方向を決定するためのマイクロホン配列について述べている（特許文献３）が、参照される。
【００１６】
【発明の実施の形態】
自動車の運転者（２）の視線方向を決定するための自動車における本発明による装置の例示的構成が、図に示されている。本明細書では、自動車の運転者（２）は自動車（１）の運転席に座り、自動車の長手軸に沿ってマイクロホン配列として相互に作用する内部の３つのマイクロホン（３ａ，３ｂ，３ｃ）が、運転者から発せられた音波（矢印で示す）を受信する。本発明によれば、マイクロホン配列は、マイクロホン配列の信号が評価される発声信号処理装置（４）に接続される。図に示されている例のように、運転者が自動車の進行方向（１０）（前方への直線）を見ている場合には、運転者から発せられた発声信号は、マイクロホン（３ａ）によって最も強く受信され、マイクロホン（３ｃ）によって最も弱く受信される。自動車運転者（信号源）に関してあまり好ましくない角度であったとしても、わずかに短い距離であることから、マイクロホン（３ｂ）によって測定される信号強度は、マイクロホン（３ａ）で測定される信号の信号強度よりわずかに弱いはずである。自動車を運転中に頻繁に起こる自動車運転者が助手席の同乗者または自動車の中央コンソールに位置する電子装置に顔を向ける状況では、互いに対するマイクロホン（３ａ）およびマイクロホン（３ｂ）で測定される信号レベルの比は、運転者がまっすぐ前方を見ている状態に比べて著しく変化する。運転者が自動車の後部席にいる人物の方を振り返る場合には、個々のマイクロホン（３ａ〜３ｃ）の信号レベルは、互いに対してはるかに著しく変化する。
【００１７】
図に示されたマイクロホン配列の構成は例示に過ぎず、特に応用分野に応じて、当然のことながらかなり異なる構成も考えられる。たとえば、運転者がフロントガラスを通して周囲の異なる領域を見ている間、正常な運転モードにおいて運転者の視線方向をさらに詳しく決定することができるようにするために、ダッシュボードに沿った領域に自動車に多数のマイクロホンを内蔵することも考えられるであろう。
【００１８】
閉ざされた空間、特に自動車において、さまざまな反射面における発声信号の反射のために、話者の位置を決定し、発声方向を検出することは困難である。したがって、発声方向を検出する場合に、周囲の幾何構成についての知識を考慮することは、好都合で適切である。音の伝搬条件についての知識、特に話者の周囲の物体の反射特性についての知識を考慮することができることは、本明細書では特に好都合である。そのような知識は、一方では、周囲領域の構造データおよびその既知の物理変数から直接生成されることができ、他方では、特に異なる人物の発声パターンおよび／または異なる発声方向に関する情報を含む特定の標準化データにアクセスすることも考えられる。本発明による方法の範囲内では、方法を実行中にそのような標準化データを適合させることも好都合なことに考えられる。そのような適合は、連続的に実行されることもでき、あるいは明確に実行される別の標準化の範囲内であってもよい。この目的のため、別の標準化の範囲内で、システムが初めに標準化されるときに、記憶装置における手続きに応じて、異なる人物の発声パターンおよび／または少なくとも１人の発声パターンが、異なる発声方向に関して記憶される。さらに較正のために、発声パターンが瞬間的に話している人物および／または瞬間的に発声方向に関して、記憶装置に既に記憶されている場合には、上記の発声パターンが直接、置換されるのではなく、適切なアルゴリズムによって修正されるだけであるように、本明細書の記憶方法を改良することも好都合なことに可能である。本明細書では、既に記憶された発声パターンおよび新しい発声パターンの加重平均を算出することが考えられる。
【００１９】
視線方向の検出方法が標準化データにアクセスする場合には、発声パターンが生成されるときに、たとえば特定の単語または単語のグループが用いられるという旨または発声パターンが所定の好ましい発声方向に話すことによって生成されるという旨の一定の規則および規格に応じて、標準化または別の標準化が実行されるのであれば、検出力を著しく増大させることができる。このように、特に危機的状況に関して、システムを選択的に訓練することができる。危機的状況とは、特に、周囲の反射特性のために、発声方向を辛うじて検出することのみができる方向に話しているか、または監視対象の人物が、潜在的に危険性の高い状況（たとえば自動車の運転者が後部席の人物を振り返って話しかけているような状況）を生じる程度まで、実際に見ていると想定される領域から注意を逸らすと確かに想定されなければならない方向に話している状況である。標準化データを生成するために、当然のことながら、個別の発声パターンを自然人物によって生成されることが絶対に必要であるわけではなく、合成によって生成される発声パターンも同等に考えられる。そのような合成の枠組みの中で、異なる人物の発声パターンを互いに接続すること、または理論的な検討に基づき、方向選択マイクロホンの周囲の構造データの知識を用いて、そのようなデータを推定することが考えられる。このような合成標準化データの利用は、特に作業場および検出システムの事前設定に適している。
【００２０】
発声方向の検出の枠組みの中で、特に、本発明による装置の製作コストを削減するために、通信システム、たとえば、電話システムの発声評価の結果を用いることも特に好都合なことに可能である。これに適した通信システムは、たとえば、（特許文献４）によって公知であり、乗用車内の乗車室の複数の所定の領域からの音声信号を選択的に検知し、それから、乗車室内の規定された位置／領域に伝送するシステムについて説明している。音声信号を検知するために、特に、マイクロホン配列を用いることが提案されている。したがって、本発明によって、マイクロホン配列の信号の評価範囲内で、通信システムの信号処理装置が話者の発声方向に対して検出結果を供給するか、または少なくともマイクロホン配列の信号が個別の検出装置に伝送されるように、そのような通信システムを構成することが考えられる。
【００２１】
本発明による装置がバックアップシステムに接続される場合には、たとえば、自動車の運転者を監視するときに、邪魔および注意散漫のさまざまな事例を解釈し、警告信号および自動車の運転者に対して適応するように促す類の情報信号を出力し、信号によって上記の運転者の運転機能を著しく支援することが可能である。
【００２２】
当然のことながら、観察されている人物に関するさらに広範な知識を獲得する観点からさらに検出力を改善するために、他のセンサ（たとえばカメラまたは赤外輪郭検出）を組み合わせて、本発明を実現することも考えられる。このように、警告信号を発し、情報を提供するための既知のシステムをさらに改善することができる。
【００２３】
当然のことながら、本発明は、自動車における視線方向検出のための利用に限定されるわけではなく、人物の視線方向を検出および評価するために必要な任意の技術分野においても同様に用いられることができる。
【図面の簡単な説明】
【図１】自動車において視線方向を検出するための本発明による装置を実現する可能な方法に関する概略図である。
【符号の説明】
１　自動車
２　運転者
３ａ　マイクロホン
３ｂ　マイクロホン
３ｃ　マイクロホン
４　発声信号処理装置
１０　自動車の進行方向
【図１】
2004053581.tif 000003