(57)【要約】      （修正有）【課題】車両における言語制御のための文脈を認識する方法に関する。【解決手段】車両の乗員１０４の最新の視線方向４００に関する視線方向情報を読み取る読取ステップと；乗員１０４が観察した最新の観察領域４０３に関する観察領域情報を得るために、車両の内部空間における観察領域４０３に視線方向情報を分類する分類ステップと；観察領域情報を使用して、観察した最新の観察領域４０３に分類された所定の文脈に関する文脈情報を決定する決定ステップとを含む。【選択図】図４
2017007652.tif 000002
【特許請求の範囲】
【請求項１】
車両（１００）における言語制御のための文脈を認識する方法（６００）であって、該方法（６００）が、次のステップ：
前記車両（１００）の乗員（１０４）の最新の視線方向（４００）に関する視線方向情報（２０８）を読み取る読取ステップ（６０２）と；
前記乗員（１０４）が観察した最新の観察領域（４０３）に関する観察領域情報（２１２）を得るために、前記車両（１００）の内部空間（５００）における観察領域（４０３）に前記視線方向情報（２０８）を分類する分類ステップ（６０４）と；
前記観察領域情報（２１２）を使用して、観察した最新の前記観察領域（４０３）に分類された所定の文脈に関する文脈情報（２１４）を決定する決定ステップ（６０６）と
を含む方法（６００）。
【請求項２】
請求項１に記載の方法（６００）において、
前記読取ステップ（６０２）で注視時間の所定の注視時間閾値を超過した場合に、前記分類ステップ（６０４）を実施し、
前記注視時間が、前記乗員（１０４）による前記観察領域（４０３）の観察継続時間を表す方法（６００）。
【請求項３】
請求項１または２に記載の方法（６００）において、
前記分類ステップ（６０４）で、前記視線方向情報（２０８）を使用して複数の観察領域から前記観察領域（４０３）を選択する方法（６００）。
【請求項４】
請求項１〜３のいずれか一項に記載の方法（６００）において、
前記文脈情報（２１４）を使用して言語制御のための所定の言語モデルを選択する選択ステップ（６０８）を含む方法（６００）。
【請求項５】
請求項１〜４のいずれか一項に記載の方法（６００）において、
前記視線方向情報（２０８）を使用して複数の乗員カテゴリのうちのいずれか１つの乗員カテゴリに前記乗員（１０４）を分類する分類ステップ（６１０）を含み、
決定ステップ（６０６）で、さらに前記乗員（１０４）が分類された乗員カテゴリを使用して前記文脈情報（２１４）を決定する方法（６００）。
【請求項６】
請求項５に記載の方法（６００）において、
乗員カテゴリに前記乗員（１０４）を分類する前記分類ステップ（６１０）で、乗員を個人として同定する方法。
【請求項７】
請求項１〜６のいずれか一項に記載の方法（６００）において、
前記車両（１００）の別の乗員についての別の最新の視線方向に関する別の視線方向情報を読み取る読取ステップと、
別の乗員が観察した別の最新の観察領域に関する別の観察領域情報を得るために、前記車両（１００）の前記内部空間（５００）における別の観察領域に別の視線方向情報を分類する分類ステップと、
別の観察領域情報を使用して、観察した別の最新の観察領域に分類された別の所定の文脈に関する別の文脈情報を決定する決定ステップと
を含む方法（６００）。
【請求項８】
請求項１〜７のいずれか一項に記載の方法（６００）において、
前記車両（１００）の前記乗員（１０４）の最新の頭部姿勢に関する頭部姿勢情報を読み取る読取ステップ（６１２）と、
前記乗員（１０４）が観察した最新の前記観察領域（４０３）に関する付加的な観察領域情報を得るために、前記車両（１００）の前記内部空間（５００）における前記観察領域（４０３）に前記頭部姿勢情報を分類する分類ステップ（６１４）と
を含み、
観察した最新の前記観察領域（４０３）に分類された所定の文脈に関する前記文脈情報（２１４）を決定する決定ステップ（６０６）で、さらに付加的な観察領域情報を使用して前記文脈情報（２１４）を決定する方法（６００）。
【請求項９】
請求項１〜８のいずれか一項に記載の方法（６００）において、
前記車両（１００）の前記乗員（１０４）の最新の唇位置（４０２）に関する唇位置情報を読み取る読取ステップ（６１６）と、
前記乗員（１０４）が観察した最新の前記観察領域（４０３）に関する第２の付加的な観察領域情報を得るために、前記車両（１００）の前記内部空間（５００）における前記観察領域（４０３）に唇位置情報を分類する分類ステップ（６１８）と
を含み、
観察した最新の前記観察領域（４０３）に分類された所定の文脈に関する前記文脈情報（２１４）を決定する決定ステップで、さらに第２の付加的な観察領域情報を使用して前記文脈情報（２１４）を決定する方法。
【請求項１０】
車両（１００）における言語制御のための言語制御信号（３１０）を決定する方法（７００）において、該方法（７００）が、次のステップ：
請求項１〜９のいずれか一項に記載の文脈を認識するための方法（６００）にしたがって決定された前記文脈情報（２１４）を読み取る読取ステップ（７０２）およびオーディオ信号（３０４）を読み取る読取ステップ（７０２）と；
前記文脈情報（２１４）および前記オーディオ信号（３０４）を使用して言語制御信号（３１０）を決定する決定ステップ（７０４）と
を含む方法（７００）。
【請求項１１】
請求項１０に記載の方法（７００）において、
前記読取ステップ（７０２）で、少なくとも部分的にバッファ（３０８）から前記オーディオ信号（３０４）を読み取り、
前記バッファ（３０８）が、少なくとも前記オーディオ信号（３０４）を所定時間にわたって保存するように構成されている方法（７００）。
【請求項１２】
請求項１〜９のいずれか一項に記載の方法（６００）または請求項１０または１１に記載の方法（７００）を実施するように構成された装置（２００，２１６）。
【請求項１３】
請求項１〜９のいずれか一項に記載の方法（６００）または請求項１０または１１に記載の方法（７００）を実行するように構成されたコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムが保存された機械読取可能なメモリ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、独立請求項１の前提部分に記載の方法および装置に関する。本発明は、コンピュータブログラムにも関する。
【背景技術】
【０００２】
言語対話システムは、現在では車両のＨＭＩシステムの標準装備である。言語対話システムによって、車両のドライバは、例えば車両のナビゲーション機器またはインフォテイメントシステムを言語コマンドによって制御することができる。話者および／または言語対話の検出は、オーディオおよび／またはビデオに基づいて行うことができ、代替的または付加的にＮＩＲカメラを用いたアイ・トラッキングによって行うことができる。
【０００３】
既に最新の言語対話システムでは、自然に話された言語の加工および理解が行われている。これについての英語の名称は「自然言語処理」（ＮＬＰ）および「自然言語理解」（ＮＬＵ）である。自然言語対話システムは、固定したコマンドワードおよび話されるワードの特別な順序を、言語制御において必ずしも守らなくてもよいことにより、優れている。
【０００４】
ドイツ連邦共和国特許出願公開第１０２０１１０８４５２２号明細書は、移動機器により人の注意深さを認識する方法を記載している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ドイツ連邦共和国特許出願公開第１０２０１１０８４５２２号明細書
【発明の概要】
【課題を解決するための手段】
【０００６】
このような背景を考慮して、ここで説明するアプローチでは、言語制御のための文脈を認識する方法、さらに言語制御のための言語制御信号を決定する方法、この方法を使用する装置、および請求項１に記載の対応するコンピュータプログラムを最後に説明する。従属請求項に記載の手段により、独立請求項に記載の方法の有利な構成および改良が可能である。
【０００７】
車両の内部空間における観察領域に車両乗員の視線方向に関する視線方向情報を分類することにより、観察領域に分類された所定の文脈を検出することができる。
【０００８】
ここで説明したコンセプトでは、例えば、車両の少なくともドライバの視線方向をカメラに基づいて決定し、言語入力の早い時点で、または既に言語入力の開始前に、言語対話認識の予想されるドメインを決定することができる。
【０００９】
車両における言語制御のための文脈を認識する方法を説明する。この方法は次のステップ：
車両の乗員の最新の視線方向に関する視線方向情報を読み取る読取ステップと；
乗員が観察した最新の観察領域に関する観察領域情報を得るために、車両の内部空間における観察領域に視線方向情報を分類する分類ステップと；
観察領域情報を使用して、観察した最新の観察領域に分類された所定の文脈に関する文脈情報を決定する決定ステップと
を含む。
【００１０】
この方法は、例えばソフトウェアまたはハードウェア、あるいはソフトウェアおよびハードウェアの混合形式で、例えば制御機器で実行してもよい。
【００１１】
言語制御は、車両に組み込まれた言語対話システムによって行うことができる。車両の乗員、例えばドライバは、例えば車両のナビゲーション機器またはインフォテイメントシステムを制御するために、言語対話システムを利用して、話した文言を介して制御コマンドを出力することができる。文脈は、言語ドメイン、すなわち所定のワード選択によって特徴づけられる所定の生活分野であってもよい。視線方向情報は、例えば車両の適切なセンサの電気信号によって伝達されるデータであってもよい。最新の視線方向は、空間におけるベクトルおよびベクトルの３Ｄ位置によって表すことができる。観察領域は、車両の内部空間において乗員が観察した最新の領域であってもよい。観察領域は、言語対話システムに接続された装置、例えば車両のナビゲーション機器を表す車両の内部空間の一領域であってもよい。この場合、ナビゲーション機器は、物理的または視覚的にのみこの領域に位置していてもよい。観察領域は異なる大きさを備えていてもよく、画面のアイコンを表してもよいし、例えば車両の計器領域全体を表してもよい。観察領域情報は、観察した最新の観察領域の機能に関するデータを含んでいてもよい。例えば、観察領域情報は、観察した最新の観察領域が車両においてどのような役割を担っているかについて示唆を与えてもよい。文脈情報は、観察した観察領域に分類された文脈に関するデータに基づいていてもよい。
【００１２】
方法の一実施形態によれば、読取ステップで注視時間が所定の注視時間閾値を超過した場合に分類ステップを実施することができ、注視時間は、乗員による観察領域の観察継続時間を表してもよい。こうして、乗員の偶然の注視に対して、すなわち、乗員が言語制御を意図せずに車内空間の領域を観察したことに対して、言語対話システムが反応することを防止することができる。
【００１３】
読取ステップで、視線方向が、言語認識のために設定された領域に向けられた視線方向であることが決定された場合にのみ分類ステップを実施してもよい。こうして、好ましくは言語対話システムの計算コストを減じることができる。
【００１４】
特に分類ステップでは、視線方向情報を使用して複数の観察領域から観察領域を選択してもよい。こうして、言語コマンドのために予想される言語ドメインのフィルタリングを短時間で行うことができる。
【００１５】
別の実施形態によれば、方法は、文脈情報を使用して言語制御のための所定の言語モデルを選択する選択ステップを含んでいてもよい。こうして、好ましくは言語制御部の認識率を効果的に上げることができる。
【００１６】
方法が、視線方向情報を使用して複数の乗員カテゴリのうちのいずれか１つの乗員カテゴリに乗員を分類する分類ステップを含んでいる場合も有利である。対応して、決定ステップで、さらに乗員が分類された分類カテゴリを使用して文脈情報を決定することができる。例えば、乗員カテゴリは、「ドライバ」、「同乗者」、「乗客」などであってもよい。このようにして、予想される文脈を素早く推論することができる。
【００１７】
さらに、乗員カテゴリに乗員を分類する分類ステップでは、乗員を個人として同定することができる。この実施形態では、例えば保存された言語パターンまたは保存された過去の言語コマンドを使用して認識率を改善することも可能である。
【００１８】
別の実施形態によれば、方法は、車両の別の乗員についての別の最新の視線方向に関する別の視線方向情報を読み取る読取ステップと、別の乗員が観察した別の最新の観察領域に関する別の観察領域情報を得るために、車両の内部空間における別の観察領域に別の視線方向情報を分類する分類ステップと、別の観察領域情報を使用して、観察した別の最新の観察領域に分類された別の所定の文脈についての別の文脈情報を決定する決定ステップとを含んでいてもよい。この実施形態により、同時に、または時間的に別々に、異なる複数の人の言語コマンドを素早く、確実に分類することができる。
【００１９】
さらに方法は、車両の乗員の最新の頭部姿勢に関する頭部姿勢情報を読み取る読取ステップと、乗員が観察した最新の観察領域に関する観察領域情報を得るために、車両の内部空間における観察領域に頭部姿勢情報を分類する分類ステップとを含んでいてもよい。これに対応して、観察した最新の観察領域に分類された所定の文脈に関する文脈情報を決定する決定ステップで、さらに付加的な観察領域情報を使用して文脈情報を決定してもよい。乗員に関するこのような重複した情報により、方法を確実に構成することができる。
【００２０】
代替的または付加的に、車両の乗員の最新の唇位置に関する唇位置情報を読み取る読取ステップと、乗員が観察した最新の観察領域に関する第２の付加的な観察領域情報を得るために、車両の内部空間における観察領域に唇位置情報を分類する分類ステップとを含む。これに対応して、観察した最新の観察領域に分類された所定の文脈に関する文脈情報を決定する決定ステップでは、さらに第２の付加的な観察領域情報を使用して文脈情報を決定することができる。方法のこのような実施形態によっても言語認識を確実に実現することができる。
【００２１】
さらに、車両における言語制御のための言語制御信号を決定する方法を説明する。この方法は、次のステップ：
文脈を認識するための上記方法の実施形態にしたがって、決定された文脈情報を読み取る読取ステップおよびオーディオ信号を読み取る読取ステップと、
文脈情報およびオーディオ信号を使用して言語制御信号を決定するステップと
を含む。
【００２２】
この方法は、例えば制御機器において、ソフトウェアまたはハードウェアで実行してもよいし、ソフトウェアおよびハードウェアからなる混合形式で実行してもよい。
【００２３】
言語制御信号は、言語対話システムに接続された車両の装置を制御するための電気信号であってもよい。オーディオ信号は、車両のオーディオセンサの電気信号であってもよい。オーディオ信号は、車両で検出された言語要素を表してもよい。
【００２４】
方法の一実施形態によれば、読取ステップで、オーディオ信号を少なくとも部分的にバッファから読み取ることもできる。バッファは、少なくともオーディオ信号を所定時間にわたって保存するように構成されていてもよい。これにより、言語認識時の言語コマンドの一部が消失してしまうことを効果的に防止できる。
【００２５】
さらに、言語制御のための文脈を認識する方法および／または言語制御のための言語制御信号を決定する方法を実施するように構成された装置を説明する。
【００２６】
ここで説明するアプローチでは、さらに、言語制御のための文脈を認識し、および／または適宜な装置で言語制御のための言語制御信号を決定する上述の方法の実施形態のステップを実行、制御もしくは変更するように構成された装置が得られる。装置の形式の本発明のこれらの実施形態により、本発明の基礎をなす課題を迅速かつ効率的に解決することができる。
【００２７】
この場合、装置は、センサ信号を処理し、センサ信号に応じて制御信号および／またはデータ信号を出力する電気機器であってもよい。装置は、ハードウェアおよび／またはソフトウェアとして構成されたインターフェイスを備えていてもよい。ハードウェアとして構成されている場合、インターフェイスは、例えば、装置の種々異なる機能を含む、いわゆる「システムＡＳＩＣ」の一部であってもよい。しかしながら、インターフェイスは、固有の集積回路であるか、または少なくとも部分的に個別の構成部材からなっていることも可能である。ソフトウェアとして構成されている場合には、インターフェイスは、例えば、他のソフトウェアモジュールと共にマイクロコントローラに設けられているソフトウェアモジュールであってもよい。
【００２８】
コンピュータプログラム製品、またはプログラムコードを備えるコンピュータプログラムも有利であり、プログラムコードは、機械読取可能な担体またはメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、または光学メモリなどに保存されていてもよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実施される場合に上記いずれかの実施形態にしたがって方法ステップを実行、変更および／または制御するために使用される。
【００２９】
本発明の実施例を図面に示し、以下に詳細に説明する。
【図面の簡単な説明】
【００３０】
【図１】一実施例にしたがって言語対話システムを備える車両を示す原理図である。
【図２】一実施例にしたがって言語制御のための文脈を認識するための装置を示すブロック図である。
【図３】一実施例にしたがって言語制御のための言語制御信号を決定するための装置を示すブロック図である。
【図４】一実施例にしたがって視線方向情報および唇位置情報のセンサに基づいた検出を説明するための原理図である。
【図５】一実施例にしたがって複数の可能なカメラ位置を備える車内空間を示す斜視図である。
【図６】一実施例にしたがって言語制御のための文脈を認識する方法を示すフロー図である。
【図７】一実施例にしたがって言語制御のための言語制御信号を決定する方法を示すフロー図である。
【発明を実施するための形態】
【００３１】
次に説明する本発明の好ましい実施例では、様々な図面に示した同様に機能する部材には同じまたは類似した符号を用い、これらの部材については繰り返し説明しない。
【００３２】
図１は、一実施例による言語対話システムもしくは言語認識システム１０２を備える車両１００の原理図を示す。車両１００は、乗用車またはトラックなどの道路を走行する車両である。言語対話システム１０２は、乗員１０４、ここではドライバ１０４の言語コマンドを検出し、言語コマンドに基づいて、言語対話システム１０２に接続されている車両１００の装置を制御するように構成されている。
【００３３】
図１に示した実施例では、言語対話システム１０２は、第１言語コマンド１０６および第２言語コマンド１０８を読み取り、第１言語コマンド１０６に応答して車両１００のナビゲーション機器１１２に制御信号１１０を出力し、第２言語コマンド１０８に応答して車両１００のインフォテイメントシステム１１６に制御信号１１４を出力するように構成されている。
【００３４】
言語対話システム１０２は、現在では車両における最新のＨＭＩシステムの標準に属する。これらの言語対話システム１０２の多くは、今のところまだコマンド形式の入力に基づいており、所定のワードを定められた順序で話す必要がある。既に最新の言語対話システム１０２では、自然に話された言語をＮＬＰおよびＮＬＵ（ＮＬＰ＝自然言語処理；ＮＬＵ＝自然言語理解）として認識し、解釈することができる。この場合、固定されたコマンドワードや特殊なワード順序をもはや必ずしも保持しなくてもよい。
【００３５】
言語対話システム１０２で使用される統計に基づいた全ての認識方法は、言語ドメインに依存している点で共通している。例えばナビゲーションの文脈で住所を入力する場合やＭＰ３コレクション内の音楽タイトルとならんで作者を入力する場合のように、ドメインが正確で限定されている程、より特殊な統計的言語モデルを使用することができる。統計的な言語モデルの質は、現在の言語認識システム１０２の認識能力において本質的である。
【００３６】
最高レベルで自然言語入力を行うことが可能なこのような言語対話に基づいたＨＭＩシステムでは、第１言語入力時に文脈に関する不確実性をできるだけ広範囲に減じることが重要な目的である。例えば、多くの場合にステアリングホイールに設けられている「プッシュ・トゥー・トーク」ボタンの押圧と組み合わせて、言語対話システム１０２によって支援されたドメインから、原理的にはそれぞれ所望の入力を行うことができる。言語認識における最初の探索空間が可能な限り小さくなるべきであり、さらにこの入力の時点では、劣悪な認識率をもたらすこともある一般的な言語モデルにアクセスする必要はない。
【００３７】
オーディオに基づいて話者認識および言語対話認識を行う言語対話システム１０２の一実施形態では、オーディオに基づいた最新の方法により、オーディオ信号により複数の話者を認識し、対話の話者を分類することが可能になる。さらにマルチ・マイクロフォンアレイと組み合わせて、検出された人を空間的に分類することも可能である。ステレオ・マイクロフォンアレイでは、左側の話者と右側の話者とを区別することが可能であり、モノラル・システムでは空間的な分類は行われない。さらにこの方法をビデオに基づいた方法と良好に組み合わせることができ、自発的な対話を十分に解釈することもできる。
【００３８】
ビデオに基づいて話者および言語対話検出を行う言語対話システム１０２の付加的または代替的な構成では、例えば顔検出方法による画像処理を用いた最新の方法により話者を同定し、話者の同定に関連して行われることの多い唇位置の抽出方法により言語検出を行うことも可能である。さらに話者の空間的分類は、モノラルによる画像方法においても可能である。頭部姿勢の推定により、いずれの方向に向かって話したのかを検出することもできる。これは必要とされる正確さに応じて、車内空間の１つ以上のカメラによってドライバ１０４および他の全ての乗員について決定することができる。
【００３９】
乗員１０４の目の動きの追跡（以下では「アイ・トラッキング」と呼ぶ）を利用する言語対話システム１０２を実施することも有利である。アイ・トラッキングは、いわゆる「角膜反射」の原理に基づいてＮＩＲカメラを用いて行うことができる。この場合、赤外線発光ダイオードは、いわゆる「角膜反射」、すなわち対象者の目もしくは目の角膜における赤外線発光ダイオードの反射をミリ秒単位の正確さで測定することにより目の動きを検出する。この角膜反射法は、現在では多くのアイ・トラッキングシステムによって利用されている視線追跡方法である。
【００４０】
非接触に視線を表示する場合には、付加的に別の参照点として瞳孔もしくは瞳孔中心を組み込む必要がある。すなわち、角膜反射は、瞳孔中心の推定位置に対して相対的に測定される。角膜における角膜反射を生じさせるために、刺激の受けた際に対象者の目が保護されるように、言語対話システム１０２のアイ・トラッキングモニターに組み込まれた発光ダイオードから放出された弱い赤外線もしくは近赤外線（ＮＩＲ）によって照射される。赤外線に対して感度のあるＬＥＤカメラは、同時に対象者の目を検出する。
【００４１】
アイ・トラッカーの視界には、色つきの外輪「虹彩」によって包囲され、白色のアーモンドのような「眼球」ならびに上下まぶたによって縁どりされた小さい黒色の円板として、瞳孔が現れる。実際にこのような構造は視線表示の基礎として用いられる。アイ・トラッキング・ソフトウェアは、対象者の瞳孔を最も暗い点として処理し（瞳孔は入射する赤外線をほぼ完全に吸収するからである）、瞳孔反射を最も明るい点として処理する（赤外線における反射率が高いことによる）。これらの結果は、一般に黒白ビデオ画像としてアイ・トラッカーの分析ソフトウェアによって処理される。
【００４２】
次に詳細に説明する新しいコンセプトは、車両１００内の話者１０４の空間的分類を常に保証し、「視線方向および／または対話方向」を検出するために、上述の全ての方法またはいくつかの方法を組み合わせることを可能にする。こうして、例えば、現在ではまだ不可欠な「プッシュ・トゥー・トーク」ボタンを、場合によっては廃止することができる。しかしながら、特に話者１０４の視線方向情報に基づいて、言語検出において予想されるドメインが決定される。例えば、ドライバ１０４がナビゲーション機器１１２のアイコンを見て話し始めた場合には、言語対話システム１０２はこれを認識し、入力を、例えば住所入力として解釈する。例えば、ドライバ１０４がミュージックコレクションのアイコンを見て話し始めた場合には、入力は、ミュージックサーチとして解釈される。
【００４３】
図２は、一実施例にしたがって車両における言語制御のための文脈を認識するための装置２００のブロック図を示す。この装置２００は、図１に示した言語対話システムの一部であるか、または車両の配線システムを介して言語対話システムに連結されているか、または連結可能である。装置２００は、読取装置２０２、分類装置２０４、および決定装置２０６を含む。
【００４４】
読取装置２０２は、車両の乗員、例えばドライバの最新の視線方向に関する視線方向情報２０８を検出するように構成されている。視線方向情報２０８は、一実施例によれば、車両の内部空間カメラ２１０によって適切なインターフェイスを介して電気信号の形式で読取装置２０２に供給される。
【００４５】
分類装置２０４は、適切なアルゴリズムを使用して、車両の内部空間の複数の観察領域のうちの１つの観察領域に視線方向情報２０８を分類するように構成されている。その観察領域または他の観察領域の位置データは、本実施例によれば、装置２００または装置２００に接続された車両の設備に保存されている。分類装置２０４は、乗員が観察した最新の観察領域に関する観察領域情報２１２を形成し、決定装置２０６に供給するように構成されている。
【００４６】
決定装置２０６は、観察領域情報２１２を使用して、観察した最新の観察領域に分類される所定の文脈についての文脈情報２１４を決定し、適切なインターフェイスを介して言語対話システムの言語制御のための言語制御信号を決定する装置２１６に供給するように構成されている。
【００４７】
図３は、車両における言語制御に用いる言語制御信号を決定するための装置２１６の一実施例のブロック図を示す。装置２１６は、図１に示された言語対話システムの一部であるか、または車両の配線システムを介して言語対話システムに連結されているか、または連結可能であり、読取装置３００および決定装置３０２を含む。
【００４８】
読取装置３００は、文脈情報２１４ならびに車両のオーディオセンサ３０６のオーディオ信号を読み取るように構成されている。一実施例によれば、さらに読取信号３００は、読取装置３００に連結されたバッファメモリもしくはバッファ３０８から少なくとも部分的にオーディオ信号３０４を読み取り、オーディオ信号３０４が言語制御のために完全な形式で供給されることが確保される。バッファ３０８は、所定の時間にわたってオーディオ信号３０４を一時保存するように構成されている。このために、バッファ３０８は、例えばリングバッファとして構成されていてもよい。
【００４９】
決定装置３０２は、文脈情報２１４およびオーディオ信号３０４を使用して、車両の言語対話システムに接続された車両設備を言語制御するために言語制御信号３１０を生成し、供給するように構成されている。
【００５０】
図４は、自然言語対話システムで文脈を検出する場合のビデオに基づいた言語検出および視線方向検出を説明するための原理図を示す。
【００５１】
車両の内部空間カメラ２１０の光学センサは、１人または複数の乗員１０４に向けられており、目および随意に唇を含む顔領域を少なくとも検出するように構成されている。内部空間カメラ２１０は近赤外線領域で作動するので、以下ではＮＩＲカメラ２１０とも呼ぶ。ＮＩＲカメラ２１０に加えて、車内空間において乗員１０４を検出するためにさらに複数の別のＮＩＲカメラを設けてもよい。
【００５２】
図４に示した実施例では、ＮＩＲカメラ２１０の光学センサは、乗員１０４、ここではドライバ１０４の目領域および唇領域の両方を検出するように構成されている。これに対応してＮＩＲカメラ２１０は、乗員１０４の最新の視線方向４００および最新の唇位置４０２を検出する。図４に示した実施例では、ドライバ１０４の視線方向４００は、車内空間の例示的な観察領域４０３に向いている。観察領域４０３は、車両のナビゲーション機器または車両のナビゲーション機器のためのアイコンであってもよい。
【００５３】
ＮＩＲカメラ２１０は、車両における言語制御のための文脈を認識するための装置に、最新の視線方向４００に基づいて視線方向情報を供給し、最新の唇位置４０２に基づいて唇位置情報を供給する。
【００５４】
随意にＮＩＲカメラ２１０または別のカメラは乗員１０４の頭部姿勢も検出し、文脈を認識するための装置に適切な頭部姿勢情報を供給してもよい。
【００５５】
少なくとも１つの内部空間カメラすなわちＮＩＲカメラ２１０は、画像領域内に少なくとも顔の目領域を見ることができるようにドライバ１０４に向けられている。ＮＩＲカメラ２１０の計算ユニットは、画像分析および既知の画像処理方法に基づいて、車両における視線方向４００および視線方向から得られる３Ｄ位置を決定する。例えば、計算ユニットは、光学検出により生じる濃淡値画像を解釈し、ドライバの視線方向４００、および場合によっては唇位置４０２および／または頭部姿勢を決定する。図４に示した実施例では、車内空間に対する唇位置４０２および全体的な頭部位置も計算される。このようにして計算ユニットは、少なくともドライバ１０４について、いつ、どこで、もしくは車両内でいずれの方向を見たか、あるいは話したかを決定する。
【００５６】
３次元の視線方向４００に関する情報が、文脈を認識するための装置によってさらに解釈され、この視線方向の先に位置するＨＭＩシステムのアイコンまたは車内空間の自由に定義可能な領域が決定される。推論された領域が言語入力を許可し、この領域に対する所定の注視時間を超えた場合に、文脈および予想される言語ドメインを言語検出システムに通知する準備が開始され、このために特有な言語モデルが必要に応じて言語検出システムのメモリに保存される。
【００５７】
代替的には、上記センサ構成によって複数の人員が評価される。視線方向４００、頭部姿勢、唇分析、またはアイデンティティが、顔検出に基づいて適宜に分類される。このことは、異なる複数の人員が異なる文脈で言語入力を操作できるという利点を有する。例えば、ドライバ１０４はナビゲーションの文脈で、同乗者はインフォテイメントの文脈で言語入力を操作することができる。
【００５８】
さらに実施例によれば、乗員、アイデンティティ、および発話に関する空間的な情報を、インターフェイスを介して外部の業務機関に提供することができ、これらの情報の質、例えば、話者に依存した話者認識の質を改善することができる。同様に、ドライバの注意力を推定することができる。
【００５９】
さらに視線方向４００の分析に基づいて他のドライバ支援システムが、待機している照会のために準備することもでき、車両内または車両周辺における最新の出来事に対して自ら能動的な提案を行うこともできる。これらの提案は、さらに現在のオーディオ管理と組み合わせ、それぞれの乗員に個別に指示してもよいし、または対応して提供されているディスプレイに表示してもよい。
【００６０】
さらに、「テキスト・トゥ・スピーチ」などのオーディオに基づいた個人的なドライバ情報サービス、例えば届いたＳＭＳまたはＥメールの自動読上げなどを、誰が今車内に座っているのか、誰が質問したのか、などの状況に応じて制御することもできるし、関心に基づいて制御することもできる。すなわち、対話指示は邪魔に感じられる場合もあるし、目が覚めてよいと感じる場合もあるからである。
【００６１】
別の代替的な構成では、車内の専用の物体もしくは専用の領域が言語入力のために設定されている。例えば、情報ディスプレイまたは計器盤の強調された点に視線が向けられた場合には、言語入力を作動することができる。このモードは、「トーク・トゥー・ミー」または「ルック・トゥー・トーク」と呼ぶこともできる。
【００６２】
既に述べたように、車内の乗員を観察するために車内空間の種々異なる領域で複数のＮＩＲカメラ２１０を使用することもできる。これについて、図５は車両の例示的な内部空間５００を斜視図で示しており、内部空間５００では８個のＮＩＲカメラ２１０が使用される。車内空間におけるこれらのＮＩＲカメラのそれぞれの位置が図面に点でマークされている。
【００６３】
一実施例によれば、後部の車両乗員を分析および監視するために、前部座席のヘッドレスト（図５に示していない）がＮＩＲカメラ２１０を備えていてもよい。少なくともドライバの正確な視線方向、場合によっては唇および／または頭部位置を検出することができるように、それぞれ顔および目領域、随意に唇領域および頭部全体もＮＩＲカメラ２１０の視界に入ることが特に重要である。
【００６４】
図６は、車両における言語制御のための文脈を認識する方法６００の実施例をフロー図で示す。方法６００は、図２に示した言語制御のための文脈認識装置によって実施することができる。
【００６５】
読取ステップ６０２では、車両乗員の最新の視線方向に関する視線方向情報が読み取られる。分類ステップ６０４では、視線方向情報が、車両の内部空間の観察領域に分類され、これにより乗員が観察した最新の観察領域に関する観察領域情報が得られる。決定ステップ６０６では、観察領域情報を使用して、観察した最新の観察領域に分類される所定の文脈に関する文脈情報が決定される。
【００６６】
方法６００の実施例にしたがって、分類ステップ６０４で多数の観察ゾーンから観察ゾーンが選択される。
【００６７】
原則的には、読取ステップ６０２で、視線方向が、言語検出のために設定された領域に向けられた視線方向として検出されたかどうかに応じて、分類ステップ６０４を実施してもよい。
【００６８】
方法６００の別の実施例によれば、読取ステップ６０２で観察領域に対する注視時間の所定の注視時間閾値を超過した場合にのみ、分類ステップ６０４が実施される。この場合、車内空間の所定範囲のみが観察領域として定義されていてもよい。
【００６９】
さらにこの方法は選択ステップ６０８を含んでいてもよい。選択ステップ６０８では、文脈情報を使用して、車両の言語対話システムの多数の言語モデルから言語制御のための所定の言語モデルが選択される。
【００７０】
例示的な一実施形態では、方法６００は視線方向情報を使用して種々異なる乗員カテゴリのいずれか１つに乗員を分類する分類ステップ６１０を含んでいてもよい。次いで決定ステップ６０６で、乗員が分類された乗員カテゴリをさらに使用して文脈情報が決定される。
【００７１】
別の実施例によれば、方法６００は、乗員の最新の頭部姿勢に関する頭部姿勢情報を読み取る読取ステップ６１２と、乗員が観察した最新の観察領域についての付加的な観察領域情報を得るために、車両の内部空間の観察領域に頭部姿勢情報を分類する分類ステップ６１４とを含む。次いで決定ステップ６０６で、この付加的な観察領域情報をさらに使用して文脈情報が決定される。
【００７２】
別の実施形態によれば、方法６００は、乗員の最新の唇位置に関する唇位置情報を読み取る読取ステップ６１６と、乗員が観察した最新の観察領域についての第２の付加的な観察領域情報を得るために、観察領域に唇位置情報を分類する分類ステップ６１８とを含む。次いで決定ステップ６０６で、第２の付加的な観察情報をさらに使用して文脈情報が決定される。
【００７３】
当然ながら、車両の複数の乗員について方法６００を実施してもよい。この場合、方法手順は、説明したいずれかの実施形態で車両の複数または全ての乗員について同時に実施される。
【００７４】
方法６００では、例えばカメラに基づいて少なくともドライバの、好ましくは全ての車両乗員の視線方向を決定することが可能である。随意に、頭部および唇位置を検出することもできる。視線方向、および随意に頭部姿勢を検出することにより文脈を検出することが可能である。唇位置の随意の時間分析と組み合わせて、車両における発話を空間的に分類することも可能である。
【００７５】
視線方向の分析および文脈の推論により、現在のＮＬＰシステムの言語モデルをバックグラウンドで用い、言語入力を認識する場合に極めて良好な結果をもたらすことができる。さらに、これにより、言語認識能力を加速することができる。なぜなら、探索領域は言語認識に制限されており、結果はより一義的であり、したがって言語認識における現在の加速方法、いわゆる「プルーニング技術」の作用がより良好になるからである。
【００７６】
図７は、これに関して、車両における言語制御のための言語制御信号を決定する方法７００の実施例のフロー図を示している。方法７００は、図３に示した車両における言語制御のための言語制御信号を決定するための装置によって実施することができる。
【００７７】
読取ステップ７０２では、文脈を認識する方法６００の実施形態にしたがって決定された文脈情報ならびに車両のオーディオセンサのオーディオ信号が読み取られる。決定ステップ７０４では、文脈情報およびオーディオ信号を使用して言語制御信号が決定される。
【００７８】
方法７００の実施例によれば、読取ステップ７０２で、一時保存のためのバッファから少なくとも部分的にオーディオ信号が読み取られる。
【００７９】
言語入力に関与した車両乗員の空間的分類を改善し、対話の内容を良好に認識するために、方法７００を、オーディオに基づいた話者認識および／または言語認識方法と組み合わせることもできる。この場合、別の計算ユニットが、オーディオ信号に基づいて話者のアイデンティティおよび話の内容を認識する。このことは、上述のように、様々な人が様々な文脈で言語入力を操作できるという利点を有する。
【００８０】
方法６００では、少なくとも１つの内部空間カメラまたは視線方向の抽出を可能にする別のセンサによって、乗員の正確な視線方向、および随意に頭部姿勢およびアイデンティティが検出される。唇検出および画像における唇領域の時間分析によって、それぞれの人が話したかどうかを検出することができる。認識された全ての乗員、彼らの発話、および彼らの空間的分類を組み合わせることにより乗員を対話に分類することもできるが、しかしながら、対話の内容は理解もしくは認識されない。
【００８１】
予想される言語ドメインを認識するために、言語入力をする場合に、言語入力の時点で（またはこれよりも少し前に）車両内のアイコンまたは領域に向けられた視線方向が使用される。この場合に不可欠である車両における視線方向の３Ｄ位置がセンサによって供給される。この位置から、操作ユニットの適宜なアイコン、例えばナビゲーションシンボルまたはミュージックコレクションのためのシンボル、または、フロントまたはリアウィンドウなどの一般的な領域が推論される。言語認識システムは既に実際の作動前から、場合によって行われる入力に備え、適切な言語モデルをメモリに保存することができる。
【００８２】
このプロセスは、視線方向検出に基づいてバックグラウンドで持続的に行うことができる。随意に、例えば車内空間の領域が著しく大きい場合に、頭部姿勢を認識すれば十分な場合もある。この場合、実際の言語認識の起動は、従来のようにプッシュ・トゥー・トークボタンによって行うことができる。
【００８３】
しかしながら、ここで説明したコンセプトでは、代替的に、視線方向、注視時間および唇位置の時間分析に基づいた言語検出を組み合わせて起動することも可能である。所定領域の注視時間が所定の閾値を超えており、唇分析により発話が示唆された場合には、オーディオ信号を言語入力として解釈することができ、この場合にはボタンを押す必要はない。唇分析によってはじめて起動が確実になる。なぜなら、注視時間が長い場合には、この時点で生じているそれぞれのオーディオ信号、例えば車内空間に流れる音楽も言語入力として解釈されてしまうからである。
【００８４】
したがって、この起動形式では言語入力の開始を見逃さないように、一実施例によれば、小さいリングバッファが、注視時間の超過時に供給されるそれぞれのオーディオ信号によって充填される。唇分析が発話を示唆した場合には、実際の言語バッファが、小さいリングバッファ容積により開始され、さらに充填され、最終的に言語認識システムによって処理される。この場合、言語入力の終了は、信号処理の古典的方法、いわゆる「スタート・ストップ検出」によって認識される。
【００８５】
ビデオに基づいた方法７００とオーディオに基づいた方法とを組み合せ、場合によっては複数の参加者による対話の内容を理解することもできる。さらに、これにより、必要に応じて乗員のアイデンティティの正確さを改善することもできる。
【００８６】
上述の方法６００，７００を車両および周辺センサと組み合わせることもできる。例えばドライバの視野から状況を良好に推定できるように会話を中断したことをセンサ装置が突き止めた場合には、ドライバ支援システムがそのことを示唆することができる。
【００８７】
言語制御時に認識機能の起動および改善を同時に行うために視線方向を利用するというここで提案したコンセプトは、自動車分野の自然言語対話システムの性能を効果的に改善するために適している。
【００８８】
実施例が、第１の特徴および第２の特徴の間に「および／または」の接続詞を含む場合には、この実施例は、ある実施形態によれば第１の特徴および第２の特徴の両方を備えており、別の実施形態によれば第１の特徴のみ、または第２の特徴のみを備えていると読み取られるべきである。
【符号の説明】
【００８９】
１００  車両
１０２  言語対話システム（言語認識システム）
１０４  乗員（ドライバ、話者）
１０６  第１言語コマンド
１０８  第２言語コマンド
１１０  制御信号
１１２  ナビゲーション機器
１１４  制御信号
１１６  インフォテイメントシステム
２００  文脈認識装置
２０２  読取装置
２０４  分類装置
２０６  決定装置
２０８  視線方向情報
２１０  内部空間カメラ、ＮＩＲカメラ
２１２  観察領域情報
２１４  文脈情報
２１６  装置
３００  読取装置
３０２  決定装置
３０４  オーディオ信号
３０６  オーディオセンサ
３０８  バッファ
３１０  言語制御信号
４００  視線方向
４０２  唇位置
４０３  観察領域
５００  内部空間
６００  方法
６０２  読取ステップ
６０４  分類ステップ
６０６  決定ステップ
６０８  選択ステップ
６１０  分類ステップ
６１２  読取ステップ
６１４  分類ステップ
６１６  読取ステップ
６１８  分類ステップ
７００  方法
７０２  読取ステップ
７０４  決定ステップ
【図１】
2017007652.tif 000003
【図２】
2017007652.tif 000004
【図３】
2017007652.tif 000005
【図４】
2017007652.tif 000006
【図５】
2017007652.tif 000007
【図６】
2017007652.tif 000008
【図７】
2017007652.tif 000009
【外国語明細書】
2017007652000001.pdf