(57)【要約】【課題】運転者が複数の異なる地理的領域において道路を使用することを支援する方法またはシステムを提供する。【解決手段】車両において使用されるシステムであって、前記システムは、車両の外部の画像シーンであって、前記画像シーンは複数の情報インジケーターを含み、それぞれが画像シーンのそれぞれの領域に存在し、それぞれがテキストおよび／またはシンボルを含む。画像処理手段は、複数の情報出力であって、それぞれが前記複数の情報インジケーターの一つに対応する複数の情報出力を生成する。手段は、少なくとも一つの所定の基準に従って、前記複数の情報出力に優先度を割り当てる。手段は、前記複数の情報出力を、前記割り当てられた優先度に依存して、前記車両のユーザーに伝達する。【選択図】図１
2017507425.tif 000002
【特許請求の範囲】
【請求項１】
車両において使用されるシステムであって、前記システムは、前記車両の外部の画像シーンであって、前記画像シーンは複数の情報インジケーターを含み、それぞれが画像シーンの対応する領域に存在し、それぞれがテキストおよび／またはシンボルを含む前記画像シーンをキャプチャーする画像キャプチャー手段と、
複数の情報出力であって、それぞれが前記複数の情報インジケーターの少なくとも一つに対応する複数の情報出力を生成する画像処理手段と、
少なくとも一つの所定の基準に従って、前記複数の情報出力に優先度を割り当てる割り当て手段と、
前記複数の情報出力を、前記割り当てられた優先度に依存して、前記車両のユーザーに伝達する手段と、
を備えるシステム。
【請求項２】
前記所定の基準は、画像シーンの対応する領域の関連する位置を含む、請求項１に記載のシステム。
【請求項３】
前記割り当て手段は、前記車両が前記画像シーンにおける対応する領域を通過する順序で優先度を割り当てるように構成される、
請求項２に記載のシステム。
【請求項４】
情報インジケーターのそれぞれは、種類を有しており、前記所定の基準は前記情報インジケーターの前記種類を含む、
請求項１に記載のシステム。
【請求項５】
前記種類は、命令、警告、および情報を備えるグループから選択される、
請求項４に記載のシステム。
【請求項６】
前記優先度は、(i)命令、(ii) 警告、(iii)情報の優先順位に従った種類によって割り当てられる、
請求項５に記載のシステム。
【請求項７】
前記システムは、車両の位置および／またはルートの表示を与える衛星ナビゲーションシステムを備え、前記割り当て手段は、前記位置および／またはルートに従って前記複数の情報出力に優先度を割り当てるように構成される、
請求項１ないし請求項６のいずれか一に記載のシステム。
【請求項８】
前記情報インジケーターまたは前記情報インジケーターのそれぞれは、方向付けがなされており、前記所定の基準は、前記情報インジケーターの前記方向付けを含む、
請求項１ないし請求項７のいずれか一記載のシステム。
【請求項９】
前記画像処理手段は、一またはそれ以上の情報インジケーターの前記方向付けが車両から離れる方向であるかどうかを判断するように構成される、
請求項８に記載のシステム。
【請求項１０】
前記割り当て手段は、車両から離れる方向の方向付けがなされた情報インジケーターには低い優先度を割り当て、あるいは無視するように設けられる、
請求項９に記載のシステム。
【請求項１１】
前記所定の基準は、車両特有の規制である、
請求項１ないし請求項１０のいずれか一に記載のシステム。
【請求項１２】
前記システムは、前記一またはそれ以上の情報インジケーターが車両に特有かどうかを判断する手段を備え、
前記割り当て手段は、前記車両に特有ではないと判断された規制について、低い優先度を割り当てるか、あるいは、無視するように設けられる、
請求項１１に記載のシステム。
【請求項１３】
前記所定の基準は、時間が特定された規制である、
請求項１ないし請求項１２のいずれか一に記載のシステム。
【請求項１４】
前記優先度を割り当てる手段は、事実上、現在の時刻ではない規制には、低い優先度を割り当て、あるいは無視するように設けられる、
請求項１３に記載のシステム。
【請求項１５】
前記システムは、前記画像シーンの領域のユーザーによる選択を可能とするユーザー選択手段を備え、
前記伝達装置は、前記ユーザーによる選択に従った領域に対応する前記情報出力を伝達するように構成される、
請求項１ないし請求項１４のいずれか一に記載のシステム。
【請求項１６】
前記車両は、車両のユーザーと前記システムとの間でコミュニケーションが実行可能な選択された車両言語を有しており、前記情報インジケーターの少なくとも一つは、前記選択された車両言語以外の国言語でのテキストを含み、
前記システムは、遠隔サーバーに対して前記車両言語を表す車両言語信号を出力する手段と、
前記情報インジケーターに含まれるテキストの前記国言語を示す国言語信号を前記遠隔サーバーに出力する手段と、
前記国言語から前記車両言語への前記テキストの翻訳のために、前記情報出力を前記遠隔サーバーに出力する手段と、
翻訳されたテキストを表す翻訳されたテキスト出力を前記遠隔サーバーから受信する手段と、を備え、
前記伝達する手段は、前記翻訳されたテキスト出力を前記車両のユーザーに伝達する、
請求項１ないし請求項１５のいずれか一に記載のシステム。
【請求項１７】
車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用されるシステムであって、前記情報インジケーターの少なくとも一つは、前記選択された車両言語以外の国言語でのテキストを含み、
前記システムは、前記国言語から前記選択された車両言語へ前記テキストを翻訳し、前記翻訳されたテキストを表す翻訳テキスト出力を生成する手段を備え、
前記伝達する手段は、前記車両のユーザーに前記翻訳されたテキスト出力を伝達する、
請求項１ないし請求項１５のいずれか一に記載のシステム。
【請求項１８】
前記情報インジケーターは、シンボルをも含み、前記システムは、前記シンボルからシンボルの意味を得る手段を備え、前記伝達する手段は、前記車両のユーザーに前記シンボルの意味を伝達するように構成される、
請求項１ないし請求項１５のいずれか一、または請求項１７に記載のシステム。
【請求項１９】
前記情報インジケーターは、シンボルを備え、前記システムは、前記シンボルを解釈のために遠隔サーバーに出力する手段と、前記遠隔サーバーから前記シンボルを表す解釈を受信する手段とを備え、前記伝達する手段は、前記シンボルの前記解釈を前記車両のユーザーに伝達するように構成されている、
請求項１ないし請求項１８のいずれか一に記載のシステム。
【請求項２０】
前記情報インジケーターは、前記画像シーン内の道路標識、および／または路面標識を備える、
請求項１ないし請求項１９のいずれか一に記載のシステム。
【請求項２１】
前記情報インジケーターは、前記画像シーン内の広告板を備える、
請求項１ない請求項２０のいずれか一に記載のシステム。
【請求項２２】
前記伝達装置は、オーディオシステムを備える、
請求項１ないし請求項２１のいずれか一に記載のシステム。
【請求項２３】
それぞれが車両内に位置を有する複数のスピーカーを備えるオーディオシステムを含み、
前記伝達する手段は、前記車両内の前記スピーカーの位置に従って、前記スピーカーを通して前記情報出力を伝達するように構成される、
請求項２２に記載のシステム。
【請求項２４】
前記伝達装置は、視覚ディスプレイ画面を含む、
請求項１ないし請求項２３のいずれか一に記載のシステム。
【請求項２５】
前記伝達手段の種類のユーザーによる選択を可能とする手段をさらに備える、
請求項１ないし請求項２４のいずれか一に記載のシステム。
【請求項２６】
車両において使用される方法であって、前記方法は、
車両の外部の画像シーンであって、前記画像シーンは複数の情報インジケーターを含み、それぞれが画像シーンのそれぞれの領域に存在し、それぞれがテキストおよび／またはシンボルを含む画像シーンをキャプチャーし、
それぞれが前記複数の情報インジケーターの一つに対応する複数の情報出力を生成し、
少なくとも一つの所定の基準に従って、前記複数の情報出力に優先度を割り当て、
前記割り当てた優先度に依存して前記複数の情報出力を前記ユーザーに伝達する方法。
【請求項２７】
請求項１ないし請求項２５のいずれか一に記載のシステムを備える車両。
【請求項２８】
添付図面を参照して実質的に上述されたシステム、方法、または車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両に用いられるシステム、特に、限定ではないが、道路標識と遭遇しやすい幹線道路、高速自動車道路、およびその他の道路において運転されることを意図された車両に用いられるシステムに関する。本開示はまた、そのような車両システムを取り入れた車両、およびそのような車両の運転を支援する方法に関する。
【０００２】
本発明の態様は、システム、方法、および車両に関する。
【背景技術】
【０００３】
道路脇または頭上の信号台において、複数の道路標識または広告板と遭遇する幹線道路、高速自動車道路、またはその他の道路を運転する際、運転者は、短い時間で、ルート、方向、障害物または催し物に関する多くの情報に、頻繁に直面する。これは、運転者には運転上の危険を引き起こし得るものであり、矢継ぎ早に複数の標識を観察しようとすることにより、運転者を混乱させることになる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、この背景に対するために考えられたものである。本発明の実施形態は、複数の異なる地理的領域における運転者の道路使用を支援する方法またはシステムを提供する。本発明の他の目的と利点は、以下の説明、特許請求の範囲、および図面から明らかになろう。
【課題を解決するための手段】
【０００５】
本発明の態様は、特許請求の範囲に記載したように、システム、方法、および車両に関する。
【０００６】
本発明の一態様によれば、車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両で使用される前記システムを提供し、前記システムは、前記車両の外部の画像シーンであって、複数の情報インジケーターを含み、それぞれの情報インジケーターが前記画像シーンの対応する領域において見出され、かつ、それぞれの情報インジケーターが、テキストおよび／またはシンボルを含む前記画像シーンをキャプチャーする画像キャプチャー手段と、複数の情報出力であって、それぞれが前記複数の情報インジケーターの一つに対応する複数の情報出力を生成する画像処理手段と、少なくとも一つの所定の基準に従って、前記複数の情報出力に対する優先度を割り当てる割り当て手段と、前記割り当てられた優先度に依存して、前記ユーザーに前記複数の情報出力を伝達する手段と、を備える。
【０００７】
前記システムは、道路上または道路脇の道路標識に含まれる情報の告知またはその他の提示を、助けになるような方法で運転者に供給することにより、運転者の道路使用を支援してもよい。前記システムは、所定の基準に基づいて割り当てられた優先度に従って、前記情報の告知またはその他の提示を供給するようにしてもよい。このように、前記運転者は、差し迫った方向転換、障害物、または催し物についての意思決定を支援する一連の有益な告知または提示を供給される。道路脇の多くの異なる道路標識に直面する際、例えば、特に矢継ぎ早に直面する際、車両の運転者は、「情報オーバーロード」に直面し得る。本発明の実施形態は、現在の運転状況に最も関連がある標識に優先を割り当てる、助けになる順序で情報を運転者に提示することにより、この情報の負担を緩和してもよい。
【０００８】
本明細書の目的のため、「情報インジケーター」という文言は、いかなるアルファベットと数字を組み合わせた文字、または標識上で典型的に実行される種類の他のシンボル、車両での旅行中に車両のユーザーに意味または指示を伝える電子的または他の表示板、広告板または他の掲示板、あるいは路面標示の形式のいかなるアルファベットと数字を組み合わせた文字についても言及することを意図されたものである。そして、例えば、道路名および番号、路面標示、方向情報、道路の出口、またはジャンクション番号、距離、道路標識シンボル、場所の名前、および速度制限の形式の文字を含む。典型的には、そのような標識は、例えば、道路脇、または道路上の頭上の信号台に位置している。
【０００９】
一実施形態では、所定の基準は、画像における対応する領域の相対的な位置を含む。この場合には、車両が画像において対応する領域を通過する順序で優先度が割り当てられる。
【００１０】
例えば、頭上の信号台上の標識にとっては、前記頭上の信号台の異なる領域に対応する複数の情報出力は、左から右（または、地方の通行側に依存してその逆）に優先度が割り当てられてもよい。
【００１１】
代替の実施形態においては、情報インジケーターのそれぞれは種類を有しており、前記所定の基準は、前記情報インジケーターの前記種類を含む。種類は、指令、警告、および情報を含むグループから選択してもよく、優先度は、（i）指令、（i i）警告、（i i i）情報の優先順位に従った種類により割り当てられてもよい。
【００１２】
有利なことに、画像処理手段は、一または複数の情報インジケーターが車両から離れて方向づけられているかどうかを判断するように備えられてもよい。このようにして、前記処理手段は、標識が車両の進行路に属しているかどうかを判断することができる。従って、所定の基準は、情報出力が関連する情報インジケーターの方向付けでもよい。そして、車両から離れて方向付けされた情報インジケーターは、低い優先度が割り当てられ、または、無視される。
【００１３】
所定の基準は、車両特有の制限でもよい。この場合には、優先度を割り当てる手段は、車両に適用されない制限に低い優先度を割り当て、または、無視するようになっていてもよい。これは、運転者には関係がなく、不必要に気を散らすことになるであろう標識で運転者を悩ませることを有利に避ける。
【００１４】
また、所定の基準は時間特有の制限であってもよく、この場合には、割り当て手段は、現在は有効ではない制限に低い優先度を割り当て、または、無視するようにしてもよい。これは、また、現在の運転状況に関係のない標識を運転者に提示することを避ける効果を有している。
【００１５】
一実施形態においては、システムは、画像シーンの領域のユーザーによる選択を可能する選択手段を備えている。そして、伝達する手段は、さらに、ユーザーによる選択に従った領域に対応する情報出力を伝達するようになっている。
【００１６】
これは、不明確または見逃した道路標識を含む画像シーンにおける領域を選択することにより、最初に通過した際には不明確であった道路標識情報、または、運転者が道路標識を直接に見る際に見逃してしまったかもしれない道路標識情報を見る機能を運転者に提供する。
【００１７】
この場合には、システムは、車両言語を表す車両言語信号を遠隔サーバーに出力する手段と、情報インジケーターに含まれるテキストの国言語を表す国言語信号を遠隔サーバーに出力する手段と、国言語から車両言語へのテキストの翻訳のために、情報出力を遠隔サーバーに出力する手段と、翻訳されたテキストを表す翻訳テキスト出力を遠隔サーバーから受信する手段と、を備える。伝達する手段は、翻訳されたテキスト出力を車両のユーザーに伝達するように構成される。
【００１８】
翻訳工程は、車載型コンピューターに必要とされるプロセッサーパワーおよびデータメモリを削減するために、車外または車両コンピューターシステムの外部で、または遠隔で実行されるのが有益かもしれない。この実施形態は、翻訳ソフトウェアは、車両自体に記憶されている必要はなく、遠隔サーバーに記憶されるという利点を提供する。これは、車載型の車両コンピューターの処理要件を削減する。
【００１９】
他の実施形態では、システムは、テキストを、車両言語以外の言語である国言語から車両言語に翻訳し、翻訳されたテキストを表す翻訳されたテキスト出力を生成する手段を備え、伝達する手段は、前記翻訳されたテキストを車両のユーザーに伝達するように構成される。
【００２０】
この実施形態は、ワイヤレスの「問題の多い地域」があり、または車両と外部のサーバーシステムとの間の通信が相対的に弱い状況においては、ユーザーはまだ車載型翻訳プロセッサー経由で画像化されたテキストの翻訳をそれでも提供され得るという利点を提供する。
【００２１】
前記情報インジケーターは、また、前記画像シーンにおけるシンボル、前記シンボルからシンボルの意味を得るシステム構成手段、および前記車両のユーザーに前記シンボルの意味を伝達する手段を含む。伝達する手段は、シンボルの意味を車両のユーザーに伝達するように構成されてもよい。
【００２２】
他の実施形態では、システムは、解釈のためにシンボルを非車載型（遠隔）サーバーに出力する手段と、前記遠隔サーバーからシンボルを表す解釈を受信する手段と、を備える。再び、この場合には、伝達する手段は、シンボルの解釈を車両のユーザーに伝達するように構成されてもよい。
【００２３】
情報出力は、視覚的に、または聴覚的に、あるいはその両方で前記ユーザーに伝達され得る。伝達手段は、例えばヒューマンマシンインターフェース(HMI)を介して前記ユーザーにより好みで選択できるようにしてもよい。
【００２４】
前記情報インジケーターは、前記画像シーンにおける道路標識に含まれ得る。代替案として、または追加案として、情報インジケーターは、前記画像シーンにおける広告板に含まれ得る。情報インジケーターは、道路の周辺、例えば、道路脇、または頭上の信号台における道路上の、いかなる標識、広告板、または他の表示を含む。
【００２５】
一実施形態では、伝達手段は、オーディオシステムを含む。オーディオシステムは、例えば、それぞれ車両の異なる位置の複数のスピーカーを備える。
【００２６】
一つの実施形態では、例えば、伝達する手段は、車両におけるスピーカーの一に従って、スピーカーを通して情報出力を伝達するように構成されていてもよい。
【００２７】
他の実施形態では、前記伝達手段は、加えて、または代替として、視覚ディスプレイ画面を含んでもよい。
【００２８】
前記システムは、伝達手段の種類のユーザーによる選択を可能とする手段を備えてもよい。
【００２９】
本発明の他の態様によれば、車両で使用される方法を提供し、前記方法は、前記車両の外部の画像シーンであって、複数の情報インジケーターを含み、それぞれが画像シーンの対応する領域に存在し、それぞれがテキストおよび／またはシンボルを含む前記画像シーンをキャプチャーし、それぞれが前記複数の情報インジケーターの一つに対応する複数の情報出力を生成し、少なくとも一つの所定の基準に従って、複数の情報出力に優先度を割り当て、割り当てられた優先度に依存して、複数の情報出力をユーザーに伝達する。
【００３０】
他の態様によれば、本発明は、上述した文章のいずれかにおいて述べられたようなシステム備える車両に関する。
【００３１】
本出願の範囲内で、前述の段落、特許請求の範囲、および／または、後述する明細書および図面に記載された、種々の態様、実施例、例、および、代替案、および、特に、それらの個々の特徴は、独立していてもよいし、どのように組み合わされてもよい。つまり、すべての実施例および／またはいずれかの実施例の特徴は、そのような特徴が矛盾しなければ、どのような方法および／または組み合わせでも組み合わされ得る。出願人は、出願時の特許請求の範囲に記載されていなくても、いずれかの他の請求項のいずれかの特徴に依存し、および／または前記いずれかの特徴を組み入れるように、いずれかの出願時の請求項を補正する権利を含み、いずれかの出願当初の請求項を変更し、またはいずれかの新しい請求項を適宜に提出する権利を留保する。
【図面の簡単な説明】
【００３２】
本発明の実施例は、以下の図面を参照して、ほんの例として説明される。
【図１】画像シーンをキャプチャーする車両カメラシステムを含む、本発明の第１実施例による車両システムのブロック図である。
【図２】車両がその旅程を移動する時に、図１の車両カメラシステムによりキャプチャーされ得る画像シーンの一例である。
【図３】車両がその旅程を移動する時に、図１の車両カメラシステムによりキャプチャーされ得る画像シーンの他の例である。
【図４】画像シーンにおいてキャプチャーされ得る道路標識であって、テキストとシンボル情報の両方を含む道路標識の一例である。
【図５】車両カメラシステムによりキャプチャーされた画像シーンにおける道路標識から、シンボルとテキスト情報を抽出する方法のステップを示すフローチャートである。
【図６】図５に示す方法の代替方法のステップを示すフローダイアグラムである。
【図７】図１に示す本発明の他の実施例による車両システムのブロック図である。
【発明を実施するための形態】
【００３３】
車両は、様々な車両センサーからのセンサー出力に自動的に応じて、またはユーザー起動のコマンドに応じて、様々な車両のセッティングを制御する車載型車両コンピューターシステム１０を典型的に含む。車両コンピューターシステム１０の構成部分は、車載ラジオおよびテレビシステム（図示せず）のそれぞれを介して音響と映像の車載エンターテインメントサービスを車両のユーザーに提供し得るインフォテインメントシステムである。車両コンピューターシステムは、また、衛星ナビゲーションシステム（図示せず）と、オプションとして、テレインレスポンス（登録商標）のような運転者支援システムを含む。
【００３４】
車両は、外部の測位システム（図示せず）との通信を介して現在の車両の位置の表示を確立する衛星利用測位センサー１２の形式の位置表示手段を装備している。衛星利用測位センサー１２は、車両コンピューターシステム１０の一部を形成してもよく、コンピューターに車両の位置の表示を提供するためにコンピューターシステム１０に出力信号１４を与える。出力信号１４は、また、特に、衛星ナビゲーションシステムへの入力として用いられる。
【００３５】
車載コンピューターシステム１０は、車載のハードウェアおよび組み込まれたソフトウェアであって、購入時において車両の集積部を形成するハードウェア単体で構成することができ、または、一部または全部が、車外で他の目的にも使用される運転者のパーソナル装置（例えば、タブレットまたは携帯電話）のような車載の装置により提供され得る。これを踏まえて、本発明は、車両のユーザーのパーソナル携帯装置において稼働する応用例として実施し得る。
【００３６】
コンピューターシステム１０は、車両が移動する国を表示するために、対応する国表示信号を位置信号から得る。国表示信号は、コンピューターシステム１０に格納されたルックアップテーブルから得てもよい。
【００３７】
もし、コンピューターシステム１０が部分的または全体的に車両内のユーザーが携帯する携帯装置内に実現される場合には、携帯装置は、国信号を生成するために用いられ得る。携帯装置は、典型的には、車両が移動するローカルエリアネットワークのセルを決定するために、移動体通信事業者と通信する。
【００３８】
車両の言語は、車両の購入時において車両言語セット機能１６を介して設定され、ユーザーがＨＭＩ（ヒューマンマシンインターフェース）とのやり取りを希望する言語に対応している。車両言語信号１８は、車両言語セット機能１６からコンピューターシステム１０に供給される。
【００３９】
車両は、また、車両のユーザーに、コンピューターシステム１０への音声コマンドの発行を可能にし、またはワイヤレス接続（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））により、コンピューターシステムを介して動作するユーザーの電話との通信を可能にするマイクロフォン２０を含む。車両は、また、運転者が、インフォテインメントシステムへの入力および衛星ナビゲーションシステムへの入力のような、様々な車両セッティングを入力し、制御することができるようにするヒューマンマシンインターフェース（ＨＭＩ）２２を含む。この目的のため、ＨＭＩ２２は、ユーザー入力インターフェース２４を備えている。ＨＭＩ２２は、また、車両の運転者に対して様々な車両セッティングまたは属性についての情報を表示するための、典型的にはＬＣＤディスプレイ画面２６の形式の表示手段を含む。ＨＭＩ２２は、出力信号２８を介して、車両コンピューターと通信を行う。車両はまた、車両コンピューターシステム１０からの制御出力信号３２に応答するオーディオシステム３０を含む。
【００４０】
車両の言語は、車両が購入された時に設定され、ユーザーがＨＭＩ２２とコミュニケートしたい言語（例えば、英語、ドイツ語、フランス語）に対応する。言語信号１８は、指示や他の入力のようなやり取りが、後に詳細に説明されるように、ＨＭＩ２２のディスプレイ２６および／またはオーディオシステム３０を介して運転者に正しい言語で出力されるように、車両コンピューターシステム１０に入力される。
【００４１】
車両の正面には、車両が旅程を移動する時に画像シーンから画像データをキャプチャーするカメラシステム４０が装備されている。カメラシステム４０は、出力信号４２を介して、コンピューターシステムに画像シーンデータを供給する。コンピューターシステム１０は、カメラシステムによってキャプチャーされた画像データを処理する処理手段を含む。画像データを処理するために、コンピューターシステムは、画像プロセッサー４４、サインシンボルテキスト（ＳＳＴ）識別プロセッサー４６、テキストトゥスピーチ（ＴＴＳ）プロセッサー４８、および優先度操作プロセッサー４９を含む。コンピューターシステム１０は、また、コンピューターシステム１０に供給されるデータが、一時的または恒久的に記憶され得るデータストアまたはメモリ５０を含む。
【００４２】
車載型コンピューターシステムは、車両の外部に配置され、ワイヤレス接続５６を介した従来の方法で、インターネットサービスプロバイダー５４を介して、外部サーバー５２と通信を行う。
【００４３】
もし車両が、車両言語信号１８によって表示される、車両の設定された言語とは同じではない言語の国または地域内で運転される場合には、システムは、外国語でテキストを表示する道路標識から画像データをキャプチャーするように、およびテキストの翻訳を画像データにおいて可能とするように動作可能である。システムは、さらに、特に運転者自身の国以外の国内を移動する運転者にとって馴染みがないかもしれない道路標識に表示されたシンボルの解説を可能するように動作可能である。テキストの翻訳とシンボルの解説は、運転者の安全で快適な運転を支援するように伝えられ得る。
【００４４】
図２を参照しつつ、車両が旅程を移動する時に、車両カメラシステム４０によってキャプチャーされるかもしれない画像シーン６０の一例を示す。画像シーン６０は、第１および第２の道路標識６２，６４を含み、第１の道路標識６２は、それぞれテキストを表示する第１および第２標識領域６２ａ，６２ｂからなり、第２の道路標識６４は、テキストの単一の領域からなる。道路標識６２，６４上のテキストは、例えば、地名または旅行者のアトラクション、方向、または移動中の道路の出口の形式の一般的な情報に関連するかもしれない。また、テキストは、義務的な命令および／または禁止の形式をとってもよい。
【００４５】
典型的には、例えば、イギリスのウェールズおよびスコットランドでは、道路標識は、ハイウェイコードに従って、標識のカテゴリーに関連する形および色で、カテゴリーが割り当てられている。例えば、方向標識のような情報を含む標識は、典型的には、長方形である。命令を与える標識は、典型的には円形であり、警告を与える標識は、典型的には三角形であり、警告と命令の両方は、しばしば赤の縁取りがされている。
【００４６】
多くの状況では、いくつかは即時の行動を要求し、他はより一般的な情報を提供し、いくつかは現在の運転状況に全く当てはまっていないかもしれないので、道路標識には優先度を割り当てることが望ましい。従って、本発明の実施形態は、より高い優先度の標識に含まれる情報が最初に提示され、より低い優先度の標識がそれに続くように、道路標識のグループが知覚できる順序で運転者に提供されるように優先度が割り当てられていてもよい。この方法では、標識の種類は、優先度が割り当てられる所定の基準としてふるまう。
【００４７】
一実施形態では、車載型のコンピューターシステム１０は、標識の種類に従って、例えば、上述したハイウェイコード基準を参照して、道路標識のグループに優先度を割り当てるように設けられる。この機能は、優先度操作プロセッサー４９により実行される。この構成において、命令に関連する標識は、高い優先度に割り当てられ、運転者に最初に提示される。警告を含む標識は、中間レベルの優先度が与えられ、方向およびその他の情報を与える標識は、低い優先度に割り当てられ、最後に提示される。
【００４８】
以下に説明するように、優先度操作プロセッサー４９は、標識が何に関連しているのかを判断するために、全標準標識のデータベースに対して検出されるそれぞれの標識を相互参照する。この工程の一部として、プロセッサー４９は、標識のカテゴリーを判断することができる。この工程を支援するため、プロセッサー４９は、標識のカテゴリーをより素早く判断するために、一組の規則を実行してもよい。例えば、標識の形は識別することができ、円形や三角形の標識は、これらは命令や警告を構成するに適しているが、長方形の標識より前に、運転者に提示される。
【００４９】
標識に優先度を割り当てることに関するさらなる考察すると、カメラシステム４０は、車両が移動する進路には存在しない標識を検出してもよい。これは、例えば、典型的には高速自動車道路のすぐそばにある、高速自動車道路の出入道路を通過する時に、起こり得る。出入道路上の標識は、カメラシステム４０によってキャプチャーされた画像に捉えられているかもしれない。このような標識を運転者に提示することは、不必要に気を散らすことになるので、望ましくない。
【００５０】
この点について触れると、コンピューターシステム１０は、カメラシステム４０によって得られた画像を解析して、これは標識が車両にまっすぐ対向していないことを示すだろうが、標識が斜角に方向づけられるかどうかを判断するように設けられる。もし標識が斜角であることがわかった場合には、コンピューターシステム１０によって低い優先度に割り当てられる、あるいは、コンピューターシステム１０によって完全に無視される。実施形態においては、コンピューターシステム１０は、車両の進路を示すために、衛星利用測位センサー１２からの出力信号１４を使用し、特定の標識が運転者をねらっているかどうかの判断を支援する。
【００５１】
ぶつけられて意図せずに斜角で車両に提示される標識については、システムはＧＰＳ情報を使用して、標識がぶつけられ、運転者に純粋な興味として提示すべきかどうか、あるいは、標識が斜角で存在し、無視すべきかどうかを確認するようにしてもよい。
【００５２】
コンピューターシステム１０が検出した標識を無視し、あるいは、それらに低い優先度を割り当てる他の状況は、標識が、問題になっている車両を含まないある種類の車両に特定の標識である場合である。この例は、車両の高さまたは重量に基づく制限の警告を含む。コンピューターシステム１０は、車両の高さと重量を予めプログラムされており、車両が進行するのに問題がないかどうかを判断することができる。もしそうなら、関係のない情報で運転者を不必要に悩ますことを省くために、標識は低い優先度に割り当てられ、あるいは全く無視される。安全に無視し得る標識の他の例は、一日の時間帯に応じたバスレーン規制を示すものであり、現在の時間が、規制から外れている場合である。当業者は、このような方法で低い優先度に割り当てられ得る、または無視され得る標識の他のいくつかの例が存在することを認識するだろう。
【００５３】
カメラシステム４０は、シーンから画像データをキャプチャーし、画像プロセッサー４４に画像データを出力する。画像プロセッサー４４は、データを処理し、これをＳＳＴプロセッサー４６へ供給する。ＳＳＴプロセッサー４６は、標識が、画像シーンに存在するかどうかを判断する。もし、標識が認識されると、画像の標識要素に関連する画像データは、標識上にシンボルが存在するかどうかを判断するために、シンボル認識ステップで処理される。画像データはまた、標識上にテキストが存在するかどうかを判断するために、テキスト認識ステップで処理される。図２の例では、道路標識６２，６４のいずれにも認識されるシンボルはなく、テキストだけである。
【００５４】
図２に示す道路標識のために、第１道路標識６２の第１および第２標識領域６２ａ，６２ｂ上のテキストが翻訳の目的で画像データから抽出される。データストア５０においては、テキスト表示は、道路標識６２，６４が表示される画像シーンにおける個々の位置に割り当てられる。標識の異なる領域に対する数字の割り当ては、以下の説明で明らかになるように、提示の目的上有益である。
【００５５】
テキスト表示は、車両が移動している国を認識する衛星利用測位センサー１２から得られる、車両の位置に対応する国表示信号（図示せず）と一緒に外部サーバー５２に出力される。国表示信号は、道路標識６２，６４上のテキストの言語の表示を供給する。国表示信号は、ワイヤレス通信を介して、外部サーバー５２にホストされるテキスト翻訳プロセッサーに送信される。コンピューターシステム１０によって受信された車両言語信号１８は、また、ワイヤレス通信を介して、外部サーバー５２に送信される。外部サーバー５２は、それ故、画像シーンにおける道路標識内のテキストに対応するデータ、国表示信号、および車両言語信号を受信する。
【００５６】
外部サーバー５２で受信したテキストは、外部サーバー５２上のテキスト翻訳プロセッサーにより翻訳され、国言語９（国言語信号によって表示される）から車両言語（車両言語信号によって表示される）に変換される。翻訳されたテキストに対応するデータは、ワイヤレス通信を介してコンピューターシステム１０に返信される。翻訳されたテキストに対応するデータは、車載型コンピューターのＴＴＳプロセッサー４８に入力され、オーディオシステム３０と互換性のあるテキスト信号に変換され、オーディオシステムのスピーカーを通して、翻訳されたテキストの運転者に対する音声による提示を可能とする。翻訳されたテキストは、また、翻訳されたテキストが運転者に視覚的に表示され得るように、ＨＭＩディスプレイ２２と互換性のあるテキスト信号に変換される。ＨＭＩディスプレイ２６は、運転者に選択画面を表示して、ユーザー入力手段２４を介して、道路標識情報に関する案内を音声で聞くか、あるいは、情報の視覚的な表示で表すか、もしくは両方で表すかを、運転者が選択できるようにする。
【００５７】
翻訳されたテキストに対応するデータは、必要であれば、後日アクセス可能なように、コンピューターシステム上のデータメモリ５０に記憶される。翻訳されたテキストは、後に詳述するように、必要なテキスト情報を得るためにカメラシステム５０によってキャプチャーされた以前の画像シーンから運転手が選択できるように、画像シーンデータとの組み合わせで記憶される。
【００５８】
翻訳の視覚的な提示のため、道路標識６２，６４におけるテキストの各領域は、データストア５０において、異なる番号表示に割り当てられてもよい。ユーザーは、道路標識６２，６４内のテキストのどの領域に対応するどの数字表示かを示すルックアップテーブルにより、ディスプレイ画面２６上に提示される。例えば、第１道路標識６２の第１領域６２ａは、数字１に割り当てられ、第１道路標識６２の第2領域６２ｂは、数字２に割り当てられ、第２道路標識６４は数字３に割り当てられてもよい。選択画面は、番号１，２，３に対応する３つのテキスト翻訳リストを含み、運転者に、画像内の道路標識と適切な翻訳テキストとを関連付けさせる。
【００５９】
代替案として、または追加案として、運転者は、彼が興味のある標識の特定の領域の選択に応答して、テキスト翻訳の音声による告知を提供されるかもしない。例えば、運転者は、番号１を選択することにより、第１道路標識６２の第１領域６２ａに関連する音声による告知を聞くことを選択するかもしれない。あるいは、番号３を選択することにより、第２道路標識６４に関連する告知を聞くことを選択するかもしれない
【００６０】
上述した実施形態の変形において、そして、本発明の実施形態に従って、運転者は、車両が道路標識６２,６４を通過した順序で、翻訳されたテキストに対応する告知を提示されるかもしれない。この場合には、運転者は、選択を行う必要なしに、テキストが表示された道路標識を通過した時に、単に告知を聞くであろう。もし複数の標識が画像シーンに存在する場合には、車両がそれらの標識を通過する順序が、どのような手段でも、運転者に提示される並びまたは順序が決定される。言い換えれば、最初に通過した標識に関係する情報は最初に提示され、二番目に通過した標識に関する情報は二番目に提示される等々である。これは、画像シーンにおける情報の都合がよく、かつ、明確な表示を運転者に与え、さもなければ運転者を混乱させるかもしれない短い距離に沢山の道路標識または他の標識が存在する場合に特に有益である。画像シーンから引き出すべき情報の選択の際の運転者による入力の必要も回避する。
【００６１】
システムは、また、以前に通過した道路標識に関連する情報をデータメモリ５０から運転者が取り出せるように構成されていてもよい。これを行うため、運転者は、以前の道路標識情報を要求するＨＭＩディスプレイ２６上のオプションを選択する。そして、彼は、ユーザー入力手段２４を使用して、テキストの翻訳が必要な以前の道路標識を彼が選択できる一連の以前の画像を提示される。選択した翻訳は、データメモリ５０から取り出され、彼の選択した好みに応じて、運転者に、音声または視覚的に提示される。
【００６２】
他の実施形態においては、システムは、画像シーン７０における道路標識の位置に依存して、運転者に告知を供給するオーディオシステムとの組み合わせで、動作するように構成され得る。図３を参照すると、車両の旅程は、第１、第２、第３の頭上の道路標識７２、７４、７６をそれぞれのレーンに備えた３レーン高速道路または自動車道に沿った移動を含む。
【００６３】
オーディオシステム３０は、車両の異なる位置に配置された複数のスピーカー（図示せず）を含む。典型的には、例えば、オーディオシステム３０は、左手前方スピーカー、左手後方スピーカー、右手前方スピーカー、右手後方スピーカー、およびセンター前方スピーカーを備えていてもよい。上述した通りに、カメラシステム４０は、３つの頭上道路標識７２、７４、７６を含む画像シーン７０をキャプチャーする。道路標識内のテキストに関連するデータは、翻訳のために、車両言語信号および国出力信号と一緒に、外部サーバー５２に出力される。テキストは、外部サーバー５２で翻訳され、翻訳されたテキストに対応するデータがコンピューターシステム１０に返送される。翻訳されたテキストに対応するデータは、ＴＴＳプロセッサー４８に入力され、オーディオシステムと互換性のあるテキスト出力信号に変換され、運転者に対して翻訳されたテキストの音声による提示を可能にする。
【００６４】
道路標識７２、７４、７６のそれぞれに対する位置表示は、データメモリ５０内で、関係付けられたテキストデータに割り当てられ、画像シーン７０内の道路標識の位置を示す。そして、コンピューターシステムは、画像シーン７０内のテキストの位置に依存して、オーディオシステム３０にテキスト信号を出力する。例えば、左手レーン上の道路標識７２のテキスト対応するテキスト出力信号は、左手前方スピーカーに出力され、右手レーン上の道路標識７６のテキストに対応したテキスト出力信号は、右手前方スピーカーに出力される。そして、センターレーン上道路標識７４のテキストに対応するテキスト出力信号は、前方センタースピーカーに出力される。音声出力は、一度に一つのスピーカーを通して、順次引き出される。告知が聞かれるスピーカーは、運手者に対して、テキストが描写される画像シーン７０のどの部分なのか（例えば、左、右、または中央）を運転者に示す。
【００６５】
翻訳されたテキストに対応するデータは、また、画像プロセッサー４４において、ＨＭＩディスプレイ２６と互換性のあるテキスト出力信号に変換される。データメモリにおいては、以前に述べたように、左手道路標識７２に関連するテキストデータが記憶され、番号１が割り当てられ、中央道路標識７４に関連するテキストデータが記憶され、番号２が割り当てられ、左手道路標識７６に関連するテキストデータが記憶され、番号３が割り当てられる。運転者は、番号表示１、２、３と共に、ＨＭＩディスプレイ２６上に画像シーンの視覚的表示を提示される。番号表示のリストは、また、対応するテキスト翻訳と共に、ディスプレイ２６上に提示され、運転者は繰り返しの翻訳が必要な道路標識７２、７４、７６を選択することができる。運転者は、テキスト翻訳の音声による告知を繰り返すことを選択してもよいし、あるいは、テキスト翻訳を視覚的に提示されることを選択してもよい。
【００６６】
本発明の他の実施形態においては、システムは、どのような態様の翻訳をも必要とせず、以前に通過した道路標識のリマインダーとして、視覚的にまたは音声で、道路標識の言語でテキストが運転者に提示されるようにしてもよい。これは、彼が過去に運転した時に、道路標識の内容を読めなかったかまたは完全には理解していない時に有益かもしれない。カメラシステム４０は、前に述べたように画像データをキャプチャーし、コンピューターシステム１０にデータを送信する。もし衛星利用測位センサー１２が、車両が母国を移動中であることを示した場合には、言語の問題はないので、翻訳の目的で外部サーバー５２に送信すべきデータは存在しない。代わりに、データはＴＴＳプロセッサー４８において変換され、オーディオシステム３０に出力されるかもしれないテキスト出力信号が供給される。データは、また、画像プロセッサー４４において変換され、ＨＭＩディスプレイ２６と互換性のあるテキスト出力信号が供給される。運転者は、先に述べたように、テキストのそれぞれの領域に属する番号表示と共に、ＨＭＩディスプレイ２６上に画像シーンを提示され、翻訳が必要なテキストの選択が可能となる。そして、翻訳は、運転者の選択によって、音声としてまたは視覚的に提示される。
【００６７】
図４は、フランスの道路で出会い、画像シーンにキャプチャーされるかもしれない道路標識８０の一例を示す。カメラシステム４０はシーンの画像をキャプチャーし、画像データを処理のためにコンピューターシステム１０に送信する。道路標識８０は、テキスト８４と同様にシンボル８２を含む。前に述べたように、画像データは、ＳＳＴ識別プロセッサー４６によって処理され、画像シーンにおいて道路標識８０が現れたことが識別される。ＳＳＴ識別プロセッサー４６は、また、画像データからシンボル８２に関連するデータを識別し、抜き出す。シンボルは解釈され、シンボルの意味は、運転者に提示されることができる。これは、特に、運転者が、道路標識が彼らには馴染みがない母国以外の国を移動している時に有効である。
【００６８】
図５は、コンピューターシステム１０が、シンボル表示８２とテキスト表示８４との両方を組み入れた道路標識８０からどのように意味を識別するかを詳細に示すフローチャートである。標識識別ステップ９０では、ＳＳＴ識別プロセッサー４６は、道路標識８０が画像シーンに存在することを判断する。ＧＰＳセンサーは、また、道路標識８０の地理的位置に関して、ＨＭＩディスプレイ２６（またはオーディオシステム）に表示９２を供給する。
【００６９】
続く標識解析ステップ９４では、システムは、シンボルにシンボル識別チェック９６を実行し、シーンにおいて識別されている標識上のテキストにテキスト識別ステップ９８を実行する。ＳＳＴ識別プロセッサー４６は、画像データからシンボルデータとテキストデータを適切に抽出する。図４に示す道路標識８０については、識別すべきただ一つのシンボル８２と一つのテキスト表示８４が存在するが、他の道路標識では、追加のシンボルまたはテキスト表示（追加ブロック１００および１０２によって示したように）が存在するかもしれない。複数のシンボルおよび／またはテキストが識別された場合には、それぞれがデータから抽出され、処理の次のステージのために独立および分離したデータが供給される。
【００７０】
処理の次のステージは、ステップ１０８で、シンボルの意味の翻訳またはテキストの意味の翻訳が必要かどうかを判断する。もし国表示信号が、車両は、車両の選択言語と同様ではない言語の国において乗られていることを示している場合には、テキスト表示の翻訳が必要である。
【００７１】
テキスト表示の翻訳が必要な場合には、コンピューターシステム（または携帯装置）は、衛星利用測位センサー出力に基づいて、外部サーバー５２に国表示信号も送信し、車両が移動している国を示す（この例では、フランス）。
【００７２】
道路標識において識別されたシンボルの意味をユーザーに伝達するために、外部サーバー５２は、道路標識シンボルを様々な異なる国々における意味に関連づけるデータメモリまたはデータベース１０４を保持する。外部サーバー５２は、適切な国（国表示信号から判断される）に対応するシンボルの意味をデータメモリ１０４において調べ、シンボルの意味１０６を表すデータ信号をコンピューターシステム１０に返送する。もし、ステップ１０８でシンボルの意味の、選択された車両言語への翻訳が必要であると判断された場合には（例えば、車両が移動している国の言語が車両言語と異なるため）翻訳ステップは、車両に意味に関連するデータが返送される前に、リモートサーバー５２で行われる。
【００７３】
翻訳された出力は、ＴＴＳプロセッサー４８がシンボルの意味を処理してオーディオシステム３０と互換性のあるシンボル出力信号を供給したらすぐに、ステップ１１２において運転者に提示される。したがって、運転者は、シンボルの意味の翻訳された音声の告知を聞くことになる。
【００７４】
同様に、シンボル８２に関連するデータに関しては、テキスト８４に関連するデータは、ステップ９８で（テキストの複数の領域がある場合には、ステップ１０２を含んで）画像シーンから抽出される。もし、車両が移動する国の言語が、選択された車両の言語と同じではないと判断された場合には、テキストデータは、ワイヤレス通信を介して外部サーバー５２に送信され、テキストの意味の翻訳はリモートサーバー５２においてステップ１１０で実行される。もし、車両が、選択された車両の言語と同じ言語の国で運転されている場合には、テキスト表示の翻訳は必要ない。テキストは、道路標識上に表示される形式によるテキストに対応して、単に運転者に音声で伝達され得る。
【００７５】
もし、翻訳が必要ならば、テキストデータは、車両言語信号および国表示信号と共に外部サーバー５２に送信される。外部サーバー５２は、上述したように、データメモリを検索し、テキストの翻訳バージョンに対応するデータ信号をコンピューターシステム１０に供給する。
【００７６】
もし、国言語信号が、車両が移動している国は二以上の言語を有していることを示している場合、テキストが翻訳されるべき言語に関して、外部サーバー５２において判断が行われる。または、運転者は、外部サーバー５２におけるその後の車両言語への翻訳において国言語が選択可能なリストを提示されてもよい。
【００７７】
上述した通り、ステップ１１２で、運転者は、オーディオシステム３０を介して翻訳されたテキストの音声の告知を聞くか、ＨＭＩディスプレイ２６上の翻訳されたテキストの視覚的な表示を見るか、あるいは両方を選ぶようにしてもよい。運転者は、ＨＭＩディスプレイ２６上の選択画面を提示され、好ましい提示方法を選択することができる。好ましい提示形式の選択は、ユーザー入力装置２４を介してなされる。
【００７８】
他の実施形態においては、翻訳が車両上で、あるいは外部サーバー５２を介して実行すべきかどうかに関連するオプションを提示されてもよい。
【００７９】
図６は、図５に示す方法の修正を示し、文脈上の処理が、道路標識に含まれる情報が現在車両に関係するか、あるいは将来関係するかもしれないかどうかを判断するために実行される。コンピューターシステムはまた、道路標識に含まれるどの情報が運転者に伝札されるべきかを決定するために、予測されるルートおよび目的地の情報のような、ナビゲーションデータを説明する。この場合には、コンピューターシステムは、文脈上認識プロセッサー（図示せず）をも含む点で、図１に示すシステムとは異なっている。
【００８０】
より詳細には、標識識別ステップ１９０では、ＳＳＴ識別プロセッサー４６は、道路標識８０が画像シーンに存在することを判断する。ＳＳＴ識別プロセッサー４６は、好ましくはステップ１９２で、画像データからシンボルデータと好きストデータを取り出す。例えば、図４に示す道路標識については、識別されるべき唯一のシンボル８２と一つのテキスト表示８４があるが、他の道路標識では追加のシンボルまたはテキスト表示が存在するかもしれない。複数のシンボルおよび／またはテキストが識別される場合、それぞれはデータから取り出され、独立して分離したデータセットが工程の次の段階に供給される。
【００８１】
シンボルおよび／または文字データは、外部サーバー５２にホストされるデータベース１０４に伝達され、データセットから取り出されたシンボルおよび／または文字の意味が識別される。次に、シンボルの意味を表すデータ信号は、コンピューターシステムに返信される。加えて、ステップ１９４では、シンボルの意味および／またはテキストの意味の選択された車両言語への翻訳が必要かどうか（すなわち、それが、車両が移動する国の言語と異なるので）についての判断が行われる。もし翻訳が必要な場合には、これはステップ１９６で実行される。翻訳は、コンピューターシステム１０において実行されてもよく、あるいは、データベース１０４をホスティングする遠隔サーバーにおいて実行されてもよい。後者の場合には、翻訳は、シンボルの意味が車両に返送されるのに先立って実行される。
【００８２】
ステップ１９８では、テキストおよび／またはシンボルの意味は、文脈上認識プロセッサーに入力される。これは、翻訳が必要な場合には、翻訳ステップ１９６から来るもので、あるいは、翻訳が必要ない場合には、ステップ１９４から直接来る。ステップ２００においては、文脈上認識プロセッサーはまた、ユーザーの予測されるルートおよび最終目的地に関する情報を含む、車両の衛星ナビゲーションシステムからのナビゲーションデータを受信する。
【００８３】
ステップ２０２および２０６では、標識の種類が、運転者が現在興味あるものか、あるいは将来興味があるかもしれないものかについて、判断が行われる。
【００８４】
ステップ２０２では、標識の種類が、すぐに関係するものであると判断されると、標識に含まれる情報をユーザーに知らせるためにデータはＨＭＩに渡され、データはステップ１９６で実項されたいかなる翻訳をも含んでいる。例ということで、もし標識が現在の時間体に関連しない場合には（例えば、ある時間体にのみ適用される道路工事やレーン規制）、および／またはもし標識が予測されるルートまたは最終目的地に関係しない場合、および／またはもし標識が車両の種類に関係しない場合（例えば、重量または高さ規制）、ステップ２０２において、前記標識が無視し得ることの判断が行われる。もし情報が現在の車両の状況にすぐに関連するものであった場合には、ステップ２０４において、ＨＭＩ２２を介して、素早い伝達がユーザーに対して行われる。
【００８５】
ステップ２０２で、情報がすぐには関係しないものと判断された場合には、ステップ２０６において、情報が将来関係するかもしれないかどうかについて、例えば、衛星ナビゲーションシステムから判断される予測される車両のルートを考慮して、判断が行われる。もし情報が将来に関連かもしれないと判断された場合には、運転者に対する後の使用および伝達のために、ステップ２０８において情報が記憶される。
【００８６】
図６に示すように、他の実施例においては、コンピューターシステム１０は、処理の翻訳段階において、外部サーバー５２によらず、代わりに、車載型翻訳プロセッサー１２０を備える。図６においては図１に示す要素と同様の要素は、同様の符号により表されている。この場合は、画像シーン内のテキストに対応するデータは、国表示信号および車両言語信号と共に、翻訳プロセッサー１２０に供給される。翻訳プロセッサー１２０は、テキストを車両言語に翻訳し、もし、音声の告知が運転者により選択された場合には、適切なテキスト出力信号をオーディオシステム３０に出力する。あるいは、もし、運転者が視覚的に翻訳を見ることを選択した場合には、適切なテキスト信号は翻訳されたテキストの運転者に対する視覚的な提示のためにＨＭＩディスプレイ２６に出力される。この実施例の利点は、車両が図１に示す外部サーバー５２と交信しようとする時に存在するかもしれないワイヤレス通信の「問題の多い地域」が運転者に伝達される翻訳された情報における遅延とならないことである。
【００８７】
図１に示す外部サーバー５２と通信することなく、コンピューターシステムは、また、標識シンボル情報を車両が運転されるかもしれない世界中の様々な国の意味に関連づけるルックアップテーブルをデータメモリに格納する。カメラシステムが、画像シーン内の道路標識におけるテキストに関連するデータを含む画像データをコンピューターシステム１０に返信する時、データは、対応する国表示信号と共に、メモリ５０に入力され、対応する意味が参照されるルックアップテーブルから抽出される。意味は、運転者による好みの選択により、ＴＴＳプロセッサー４８において変換され適切なテキスト出力信号が供給され、および／または適切なテキスト出力信号がＨＭＩディスプレイ２６に車両言語で供給される。優先度操作プロセッサー４９は、上述したように、所定の基準に従ってテキスト出力信号の伝達に優先度を割り当てるように動作可能であってもよい。
【００８８】
他の実施形態においては、システムは車載型のテキスト翻訳およびシンボルの解釈のステップと同様に、車外でできるようにしてもよい。例えば、もし、車両が外部サーバーとのワイヤレス通信が失われる、または、データ通信が遅い「問題の多い地域」を移動する場合、システムは車載型のテキスト翻訳およびシンボル解釈機能によるようにしてもよい。
【００８９】
道路標識の翻訳および解釈以外に、本発明の利益がある他の応用が考えられる。例えば、車載のカメラシステムは広告掲示板または広告から画像データをキャプチャーしてもよく、システムは、そのような掲示板に表れる、興味がある場所、レストラン、お店およびサービス施設のような、沢山の有用な情報の翻訳または解釈を車両の運転者に供給してもよい。
【００９０】
本発明が、特許請求の範囲から離れることなく、多くの代替形式をとるように変形され得ることは当業者によって歓迎されるであろう。
【００９１】
本発明のさらなる態様は以下の付番された節において説明される。
【００９２】
節１：車両において用使用されるシステムであって、前記システムは、車両の外部の画像シーンであって、前記画像シーンは複数の情報インジケーターを含み、それぞれが画像シーンの対応する領域に存在し、それぞれがテキストおよび／またはシンボルを含み、複数の情報出力のそれぞれが前記複数の情報インジケーターの一つに対応する複数の情報出力を生成する画像処理装置と、少なくとも一つの基準に従って、前記複数の情報出力に優先度を割り当てる割り当て装置と、複数の情報出力を、前記割り当てられた優先度に依存して、ユーザーに伝達する伝達装置と、を備える。
【００９３】
節２：前記所定の基準は、画像のそれぞれの領域の関連する位置を含む、節１に記載のシステム。
【００９４】
節３：割り当て装置は、車両が画像におけるそれぞれの領域を通過する順序で優先度を割り当てるように構成される、節２に記載のシステム。
【００９５】
節４：情報インジケーターのそれぞれは、種類を有しており、前記所定の基準は前記情報インジケーターの前記種類を含む、節１に記載のシステム。
【００９６】
節５：前記種類は、命令、警告、および情報を備えるグループから選択される、節４に記載のシステム。
【００９７】
節６：前記割り当て装置は、(i)命令、(ii) 警告、(iii)情報の優先順位に従った種類によって前記優先度を割り当てるように構成される、節５に記載のシステム。
【００９８】
節７：前記システムは、車両の位置および／またはルートの表示を与える衛星ナビゲーションシステムを備え、前記割り当て手段は、前記位置および／またはルートに従って前記複数の情報出力に優先度を割り当てるように構成される、節１に記載のシステム。
【００９９】
節８：前記情報インジケーターまたは前記情報インジケーターのそれぞれは、方向付けがなされており、前記所定の基準は、前記情報インジケーターの前記方向付けを含む、節１に記載のシステム。
【０１００】
節９：前記画像処理装置は、一またはそれ以上の情報インジケーターの前記方向付けが車両から離れる方向であるかどうかを判断するように構成される、節１に記載のシステム。
【０１０１】
節１０：前記割り当て装置は、車両から離れる方向の方向付けがなされた情報インジケーターには低い優先度を割り当て、あるいは無視するように設けられる、節９に記載のシステム。
【０１０２】
節１１：前記所定の基準は、車両特有の規制である、節１に記載のシステム。
【０１０３】
節１２：前記システムは、前記一またはそれ以上の情報インジケーターが車両に特有かどうかを判断する判断装置を備え、前記割り当て装置は、前記車両に特有ではないと判断された規制について、低い優先度を割り当てるか、あるいは、無視するように設けられる、節１１に記載のシステム。
【０１０４】
節１３：前記所定の基準は、時間が特定された規制である、節１に記載のシステム。
【０１０５】
節１４：前記割り当て装置は、事実上、現在ではない規制には、低い優先度を割り当て、あるいは無視するように設けられる、節１３に記載のシステム。
【０１０６】
節１５：前記システムは、前記画像シーンの領域のユーザーによる選択を可能とするユーザー選択装置を備え、前記伝達装置は、前記ユーザーによる選択に従った領域に対応する前記情報出力を伝達するように構成される、節１に記載のシステム。
【０１０７】
節１６：前記車両は、車両のユーザーと前記システムとの間でコミュニケーションが実行可能な選択された車両言語を有しており、前記情報インジケーターの少なくとも一つは、前記選択された車両言語以外の国言語でのテキストを含み、前記システムは、遠隔サーバーに対して前記車両言語を表す車両言語信号を出力する出力装置と、前記情報インジケーターに含まれるテキストの前記国言語を示す国言語信号を前記遠隔サーバーに出力する出力装置と、前記国言語から前記車両言語への前記テキストの翻訳のために、前記情報出力を前記遠隔サーバーに出力する出力装置と、翻訳されたテキストを表す翻訳されたテキスト出力を前記遠隔サーバーから受信する受信装置と、を備え、前記伝達装置は、前記翻訳されたテキスト出力を前記車両のユーザーに伝達する、節１に記載のシステム。
【０１０８】
節１７：車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用されるシステムであって、前記情報インジケーターの少なくとも一つは、前記選択された車両言語以外の国言語でのテキストを含み、前記システムは、前記車両言語以外の言語である前記国言語から前記車両言語に前記テキストの翻訳を行い、前記翻訳されたテキストを表す翻訳されたテキスト出力を生成する翻訳装置を備え、前記伝達装置は、前記翻訳されたテキスト出力を前記車両のユーザーに伝達するように構成される、節１に記載のシステム。
【０１０９】
節１８：前記情報インジケーターは、シンボルを含み、前記システムは、前記シンボルからシンボルの意味を得る解釈装置を備え、前記伝達装置は、前記車両のユーザーに前記シンボルの意味を伝達する、節１に記載のシステム。
【０１１０】
節１９：前記情報インジケーターは、シンボルを備え、前記システムは、前記シンボルを解釈のために遠隔サーバーに出力する出力装置と、前記遠隔サーバーから前記シンボルを表す解釈を受信する受信装置とを備え、前記伝達装置は、前記シンボルの前記解釈を前記車両のユーザーに伝達するように構成されている、節１に記載のシステム。
【０１１１】
節２０：前記情報インジケーターは、前記画像シーン内の道路標識を備える、節１に記載のシステム。
【０１１２】
節２１：前記情報インジケーターは、前記画像シーン内の広告板を備える、節１に記載のシステム。
【０１１３】
節２２：前記伝達装置は、オーディオシステムを備える、節１に記載のシステム。
【０１１４】
節２３：それぞれが車両内に位置を有する複数のスピーカーを備えるオーディオシステムを含み、
前記伝達装置は、前記車両内の前記スピーカーの位置、および車両が前記画像シーンにおける前記情報インジケーターを通過する順序に従って、前記スピーカーを通して前記情報出力を伝達するように構成される、節２２に記載のシステム。
【０１１５】
節２４：前記伝達装置は、視覚ディスプレイ画面を含む、節１に記載のシステム。
【０１１６】
節２５：前記伝達装置の種類のユーザーによる選択を可能とする選択装置を備える、節２４に記載のシステム。
【０１１７】
節２６：車両において使用される方法であって、前記方法は、車両の外部の画像シーンであって、前記画像シーンは複数の情報インジケーターを含み、それぞれが画像シーンのそれぞれの領域に存在し、それぞれがテキストおよび／またはシンボルを含む画像シーンをキャプチャーし、それぞれが前記複数の情報インジケーターの一つに対応する複数の情報出力を生成し、少なくとも一つの所定の基準に従って、前記複数の情報出力に優先度を割り当て、前記割り当てた優先度に依存して前記複数の情報出力を前記ユーザーに伝達する方法。
【０１１８】
節２７：節１に記載のシステムを備える車両。
【符号の説明】
【０１１９】
１０…コンピューターシステム
１２…衛星利用測位センサー
１６…車両言語セット機能
１８…車両言語信号
２０…マイクロフォン
２２…ヒューマンマシンインターフェース（ＨＭＩ）
３０…オーディオシステムカメラシステム
４０…カメラシステム
４４…画像プロセッサー
４６…サインシンボルテキスト（ＳＳＴ）識別プロセッサー
４８…テキストトゥスピーチ（ＴＴＳ）プロセッサー
４９…優先度操作プロセッサー
５２…外部サーバー
６０…画像シーン
７０…画像シーン
【図１】
2017507425.tif 000003
【図２】
2017507425.tif 000004
【図３】
2017507425.tif 000005
【図４】
2017507425.tif 000006
【図５】
2017507425.tif 000007
【図６】
2017507425.tif 000008
【図７】
2017507425.tif 000009
【手続補正書】
【提出日】平成28年10月18日(2016.10.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両において使用されるシステムであって、前記システムは、
前記車両の外部の画像シーンであって、前記画像シーンは複数の情報インジケーターを含み、それぞれが画像シーンの対応する領域に存在し、それぞれがテキストおよび／またはシンボルを含む前記画像シーンをキャプチャーする画像キャプチャー手段と、
複数の情報出力であって、それぞれが前記複数の情報インジケーターの少なくとも一つに対応する複数の情報出力を生成する画像処理手段と、
少なくとも一つの所定の基準に従って、前記複数の情報出力に優先度を割り当てる割り当て手段と、
前記複数の情報出力を、前記割り当てられた優先度に依存して、前記車両のユーザーに伝達する手段と、を備え、
前記情報インジケーターまたは前記情報インジケーターのそれぞれは、方向付けがなされており、前記所定の基準は、前記情報インジケーターの前記方向付けを含む、
システム。
【請求項２】
前記所定の基準は、画像シーンの対応する領域の関連する位置を含む、請求項１に記載のシステム。
【請求項３】
前記割り当て手段は、前記車両が前記画像シーンにおける対応する領域を通過する順序で優先度を割り当てるように構成される、
請求項２に記載のシステム。
【請求項４】
情報インジケーターのそれぞれは、種類を有しており、前記所定の基準は前記情報インジケーターの前記種類を含む、
請求項１に記載のシステム。
【請求項５】
前記種類は、命令、警告、および情報を備えるグループから選択される、
請求項４に記載のシステム。
【請求項６】
前記優先度は、(i)命令、(ii) 警告、(iii)情報の優先順位に従った種類によって割り当てられる、
請求項５に記載のシステム。
【請求項７】
前記システムは、車両の位置および／またはルートの表示を与える衛星ナビゲーションシステムを備え、前記割り当て手段は、前記位置および／またはルートに従って前記複数の情報出力に優先度を割り当てるように構成される、
請求項１ないし請求項６のいずれか一に記載のシステム。
【請求項８】
前記画像処理手段は、一またはそれ以上の情報インジケーターの前記方向付けが車両から離れる方向であるかどうかを判断するように構成される、
請求項１ないし請求項７のいずれか一に記載のシステム。
【請求項９】
前記割り当て手段は、車両から離れる方向の方向付けがなされた情報インジケーターには低い優先度を割り当て、あるいは無視するように設けられる、
請求項８に記載のシステム。
【請求項１０】
前記所定の基準は、車両特有の規制である、
請求項１ないし請求項９のいずれか一に記載のシステム。
【請求項１１】
前記システムは、前記一またはそれ以上の情報インジケーターが車両に特有かどうかを判断する手段を備え、
前記割り当て手段は、前記車両に特有ではないと判断された規制について、低い優先度を割り当てるか、あるいは、無視するように設けられる、
請求項１０に記載のシステム。
【請求項１２】
前記所定の基準は、時間が特定された規制である、
請求項１ないし請求項１１のいずれか一に記載のシステム。
【請求項１３】
前記優先度を割り当てる手段は、事実上、現在の時刻ではない規制には、低い優先度を割り当て、あるいは無視するように設けられる、
請求項１２に記載のシステム。
【請求項１４】
前記システムは、前記画像シーンの領域のユーザーによる選択を可能とするユーザー選択手段を備え、
前記伝達装置は、前記ユーザーによる選択に従った領域に対応する前記情報出力を伝達するように構成される、
請求項１ないし請求項１３のいずれか一に記載のシステム。
【請求項１５】
前記車両は、車両のユーザーと前記システムとの間でコミュニケーションが実行可能な選択された車両言語を有しており、前記情報インジケーターの少なくとも一つは、前記選択された車両言語以外の国言語でのテキストを含み、
前記システムは、遠隔サーバーに対して前記車両言語を表す車両言語信号を出力する手段と、
前記情報インジケーターに含まれるテキストの前記国言語を示す国言語信号を前記遠隔サーバーに出力する手段と、
前記国言語から前記車両言語への前記テキストの翻訳のために、前記情報出力を前記遠隔サーバーに出力する手段と、
翻訳されたテキストを表す翻訳されたテキスト出力を前記遠隔サーバーから受信する手段と、を備え、
前記伝達する手段は、前記翻訳されたテキスト出力を前記車両のユーザーに伝達する、
請求項１ないし請求項１４のいずれか一に記載のシステム。
【請求項１６】
車両のユーザーとシステムとの間でコミュニケーションが実行可能であり、選択された車両言語を有する車両において使用されるシステムであって、前記情報インジケーターの少なくとも一つは、前記選択された車両言語以外の国言語でのテキストを含み、
前記システムは、前記国言語から前記選択された車両言語へ前記テキストを翻訳し、前記翻訳されたテキストを表す翻訳テキスト出力を生成する手段を備え、
前記伝達する手段は、前記車両のユーザーに前記翻訳されたテキスト出力を伝達する、
請求項１ないし請求項１４のいずれか一に記載のシステム。
【請求項１７】
前記情報インジケーターは、シンボルをも含み、前記システムは、前記シンボルからシンボルの意味を得る手段を備え、前記伝達する手段は、前記車両のユーザーに前記シンボルの意味を伝達するように構成される、
請求項１ないし請求項１４のいずれか一、または請求項１６に記載のシステム。
【請求項１８】
前記情報インジケーターは、シンボルを備え、前記システムは、前記シンボルを解釈のために遠隔サーバーに出力する手段と、前記遠隔サーバーから前記シンボルを表す解釈を受信する手段とを備え、前記伝達する手段は、前記シンボルの前記解釈を前記車両のユーザーに伝達するように構成されている、
請求項１ないし請求項１７のいずれか一に記載のシステム。
【請求項１９】
前記情報インジケーターは、前記画像シーン内の道路標識、および／または路面標識を備える、
請求項１ないし請求項１８のいずれか一に記載のシステム。
【請求項２０】
前記情報インジケーターは、前記画像シーン内の広告板を備える、
請求項１ない請求項１９のいずれか一に記載のシステム。
【請求項２１】
前記伝達装置は、オーディオシステムを備える、
請求項１ないし請求項２０のいずれか一に記載のシステム。
【請求項２２】
それぞれが車両内に位置を有する複数のスピーカーを備えるオーディオシステムを含み、
前記伝達する手段は、前記車両内の前記スピーカーの位置に従って、前記スピーカーを通して前記情報出力を伝達するように構成される、
請求項２１に記載のシステム。
【請求項２３】
前記伝達装置は、視覚ディスプレイ画面を含む、
請求項１ないし請求項２２のいずれか一に記載のシステム。
【請求項２４】
前記伝達手段の種類のユーザーによる選択を可能とする手段をさらに備える、
請求項１ないし請求項２３のいずれか一に記載のシステム。
【請求項２５】
車両において使用される方法であって、前記方法は、
車両の外部の画像シーンであって、前記画像シーンは複数の情報インジケーターを含み、それぞれが画像シーンのそれぞれの領域に存在し、それぞれがテキストおよび／またはシンボルを含む画像シーンをキャプチャーし、
それぞれが前記複数の情報インジケーターの一つに対応する複数の情報出力を生成し、
少なくとも一つの所定の基準に従って、前記複数の情報出力に優先度を割り当て、
前記割り当てた優先度に依存して前記複数の情報出力を前記ユーザーに伝達し、
前記情報インジケーターまたは前記情報インジケーターのそれぞれは、方向付けがなされており、前記所定の基準は、前記情報インジケーターの前記方向付けを含む、
方法。
【請求項２６】
請求項１ないし請求項２４のいずれか一に記載のシステムを備える車両。
【請求項２７】
添付図面を参照して実質的に上述されたシステム、方法、または車両。
【国際調査報告】
2017507425.tif 000010
2017507425.tif 000011
2017507425.tif 000012
2017507425.tif 000013
2017507425.tif 000014