(57)【特許請求の範囲】
【請求項１】
道路標識画像を地域別に記憶した標識画像データベースと、
車両の進行方向に位置する道路標識を認識する画像認識部と、
前記車両の走行地域を取得する取得部と、
前記車両の走行中に前記画像認識部で前記道路標識が認識される毎に、前記道路標識が過去の地点で認識されたことを示す識別情報を順次記憶し、前記識別情報を記憶してから前記車両が所定距離走行した後に、または前記識別情報を記憶してから所定時間経過した後に、該当の前記識別情報を消去する識別情報管理部と、
前記道路標識の翻訳開始をユーザ操作により指示する操作部と、
前記ユーザ操作がなされた場合に、前記識別情報管理部に前記識別情報が記憶されており、かつ前記記憶されている前記識別情報に基づく道路標識画像が前記標識画像データベースに登録されていれば、予め設定された翻訳先地域における前記道路標識画像を前記過去の地点で認識された前記道路標識の翻訳画像として前記標識画像データベースより読み出して表示する表示制御部とを備える道路標識表示装置。
【請求項２】
請求項１に記載の道路標識表示装置において、
前記表示制御部は、前記ユーザ操作がなされた場合に、前記記憶されている前記識別情報に基づいて、過去の直近に認識した前記道路標識の前記翻訳画像を表示する道路標識表示装置。
【請求項３】
請求項１に記載の道路標識表示装置において、
前記表示制御部は、前記ユーザ操作がなされた場合に、前記記憶されている前記識別情報に基づいて、過去の複数地点で認識した前記道路標識の前記翻訳画像をそれぞれ表示する道路標識表示装置。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の道路標識表示装置において、
テキストデータを地域別に記憶した標識テキストデータベースを備え、
前記表示制御部は、前記標識画像データベースに前記翻訳先地域における前記道路標識画像がない場合は、前記標識テキストデータベースを参照して前記翻訳先地域におけるテキストデータを表示する道路標識表示装置。
【請求項５】
請求項１から請求項３までのいずれか一項に記載の道路標識表示装置において、
前記表示制御部は、前記標識画像データベースより読み出した前記道路標識画像を地図上に表示する道路標識表示装置。
【請求項６】
請求項１から請求項３までのいずれか一項に記載の道路標識表示装置において、
前記表示制御部は、前記標識画像データベースより読み出した前記道路標識画像を一覧表示する道路標識表示装置。
【請求項７】
認識した道路標識を翻訳して表示する道路標識表示装置における道路標識表示方法において、
道路標識画像を地域別に標識画像データベースとして記憶し、
車両の進行方向に位置する道路標識を認識し、
前記車両の走行地域を取得し、
前記車両の走行中に前記道路標識が認識される毎に、前記道路標識が過去の地点で認識されたことを示す識別情報を順次記憶し、
前記識別情報を記憶してから前記車両が所定距離走行した後に、または前記識別情報を記憶してから所定時間経過した後に、該当の前記識別情報を消去し、
前記道路標識の翻訳開始を指示するユーザ操作がなされた場合に、前記識別情報が記憶されており、かつ前記記憶されている前記識別情報に基づく道路標識画像が前記標識画像データベースに登録されていれば、予め設定された翻訳先地域における前記道路標識画像を前記過去の地点で認識された前記道路標識の翻訳画像として前記標識画像データベースより読み出して表示する道路標識表示方法。
【請求項８】
道路標識画像を地域別に標識画像データベースとして記憶し、認識した道路標識を翻訳して表示する道路標識表示装置のコンピュータに、
車両の進行方向に位置する道路標識を認識する認識ステップと、
前記車両の走行地域を取得する取得ステップと、
前記車両の走行中に前記道路標識が認識される毎に、前記道路標識が過去の地点で認識されたことを示す識別情報を順次記憶する記憶ステップと、
前記識別情報を記憶してから前記車両が所定距離走行した後に、または前記識別情報を記憶してから所定時間経過した後に、該当の前記識別情報を消去する消去ステップと、
前記道路標識の翻訳開始がユーザ操作により指示されたことを判定する判定ステップと、
前記ユーザ操作がなされと判定された場合に、前記識別情報が記憶されており、かつ前記記憶されている前記識別情報に基づく道路標識画像が前記標識画像データベースに登録されていれば、予め設定された翻訳先地域における前記道路標識画像を前記過去の地点で認識された前記道路標識の翻訳画像として前記標識画像データベースより読み出して表示する表示ステップとを実行させる道路標識表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路標識表示装置、道路標識表示方法、および道路標識表示プログラムに関する。
【背景技術】
【０００２】
運転者が母国以外の地域で車両を運転する際に、その地域の道路標識の内容を把握することができない場合は、安全運転に支障をきたすおそれがある。そこで、車両に搭載されたカメラの撮影画像から道路標識を認識し、翻訳した標識などにより運転者にその内容を通知する装置が考えられている。
【０００３】
特許文献１には、撮像部により撮像された画像を解析し、画像に含まれる意味情報が示す事象の種類および位置を特定し、特定された事象の種類のうち、利用者により予め定められた事象の種類に対応する画像を表示部に表示する情報提供システムが記載されている。
【０００４】
特許文献２には、カメラによって実際に存在する道路標識を撮影し、画像から道路標識に関する視覚情報を取得し、翻訳変換フラグがオンである場合に、各国標識データベースに記録されている表に基づいて、対応する母国の道路標識を表示する道路標識表示装置が記載されている。
【０００５】
特許文献３には、主要道路に沿った標識または他のオブジェクトを通訳するシステムであって、様々な標識またはオブジェクトの画像を入手して表示し、運転者または乗員が、標識またはオブジェクトを見て、標識に書いてあること、または、オブジェクトが意味するものを知りたいと思う場合に、その標識またはオブジェクトの画像を、ディスプレイから選択することにより、その運転者または乗員の言語で、標識またはオブジェクトを識別するシステムが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０２０−７３９１３号公報
【特許文献２】特開２００９−１０９４０４号公報
【特許文献３】特開２００３−３２３６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載のシステムでは、特定された種類の画像は全て表示されるので、表示画面が煩雑になり、道路標識に対する個々のユーザの理解に応じて簡単な操作で適宜翻訳することができない。特許文献２に記載の装置では、翻訳変換フラグがオンである場合に全ての道路標識が表示されるので、表示画面が煩雑になり、道路標識に対する個々のユーザの理解に応じて簡単な操作で適宜翻訳することができない。特許文献３に記載のシステムでは、全てのオブジェクトが表示されている中から特定のオブジェクトを選択する等の煩雑な操作が必要になり、車両走行中に過去に認識した道路標識を簡単な操作で適宜翻訳することができない。
【課題を解決するための手段】
【０００８】
本発明による道路標識表示装置は、道路標識画像を地域別に記憶した標識画像データベースと、車両の進行方向に位置する道路標識を認識する画像認識部と、前記車両の走行地域を取得する取得部と、前記車両の走行中に前記画像認識部で前記道路標識が認識される毎に、前記道路標識が過去の地点で認識されたことを示す識別情報を順次記憶し、前記識別情報を記憶してから前記車両が所定距離走行した後に、または前記識別情報を記憶してから所定時間経過した後に、該当の前記識別情報を消去する識別情報管理部と、前記道路標識の翻訳開始をユーザ操作により指示する操作部と、前記ユーザ操作がなされた場合に、前記識別情報管理部に前記識別情報が記憶されており、かつ前記記憶されている前記識別情報に基づく道路標識画像が前記標識画像データベースに登録されていれば、予め設定された翻訳先地域における前記道路標識画像を前記過去の地点で認識された前記道路標識の翻訳画像として前記標識画像データベースより読み出して表示する表示制御部とを備える。
本発明による道路標識表示方法は、認識した道路標識を翻訳して表示する道路標識表示装置における道路標識表示方法において、道路標識画像を地域別に標識画像データベースとして記憶し、車両の進行方向に位置する道路標識を認識し、前記車両の走行地域を取得し、前記車両の走行中に前記道路標識が認識される毎に、前記道路標識が過去の地点で認識されたことを示す識別情報を順次記憶し、前記識別情報を記憶してから前記車両が所定距離走行した後に、または前記識別情報を記憶してから所定時間経過した後に、該当の前記識別情報を消去し、前記道路標識の翻訳開始を指示するユーザ操作がなされた場合に、前記識別情報が記憶されており、かつ前記記憶されている前記識別情報に基づく道路標識画像が前記標識画像データベースに登録されていれば、予め設定された翻訳先地域における前記道路標識画像を前記過去の地点で認識された前記道路標識の翻訳画像として前記標識画像データベースより読み出して表示する。
本発明による道路標識表示プログラムは、道路標識画像を地域別に標識画像データベースとして記憶し、認識した道路標識を翻訳して表示する道路標識表示装置のコンピュータに、車両の進行方向に位置する道路標識を認識する認識ステップと、前記車両の走行地域を取得する取得ステップと、前記車両の走行中に前記道路標識が認識される毎に、前記道路標識が過去の地点で認識されたことを示す識別情報を順次記憶する記憶ステップと、前記識別情報を記憶してから前記車両が所定距離走行した後に、または前記識別情報を記憶してから所定時間経過した後に、該当の前記識別情報を消去する消去ステップと、前記道路標識の翻訳開始がユーザ操作により指示されたことを判定する判定ステップと、前記ユーザ操作がなされと判定された場合に、前記識別情報が記憶されており、かつ前記記憶されている前記識別情報に基づく道路標識画像が前記標識画像データベースに登録されていれば、予め設定された翻訳先地域における前記道路標識画像を前記過去の地点で認識された前記道路標識の翻訳画像として前記標識画像データベースより読み出して表示する表示ステップとを実行させる。
【発明の効果】
【０００９】
本発明によれば、車両走行中に過去に認識した道路標識を簡単な操作で適宜翻訳することができる。
【図面の簡単な説明】
【００１０】
【図１】道路標識表示装置のシステム構成図である。
【図２】標識画像データベースを示す図である。
【図３】標識テキストデータベースを示す図である。
【図４】道路標識表示装置が実行する処理を示すフローチャートである。
【図５】道路標識表示装置の標識認識処理を示すフローチャートである。
【図６】道路標識表示装置の標識表示処理を示すフローチャートである。
【図７】（Ａ）（Ｂ）道路標識画像の表示を説明する図である。
【図８】第２の実施形態における道路標識表示装置の標識認識処理を示すフローチャートである。
【図９】第２の実施形態における道路標識表示装置の標識表示処理を示すフローチャートである。
【図１０】第２の実施形態における表示部の表示状態図である。
【図１１】第３の実施形態における表示部の表示状態図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
【００１２】
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
【００１３】
また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ、ＧＰＵ）によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡやＡＳＩＣ）を含んでいてもよい。ＦＰＧＡは、Field Programmable Gate Arrayの略、ＡＳＩＣは、Application Specific Integrated Circuitの略である。
【００１４】
プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【００１５】
［第１の実施形態]
図１は、第１の実施形態に係わる道路標識表示装置１００のシステム構成図である。
道路標識表示装置１００は、撮像部２００で撮像された道路標識を認識して保持し、ユーザ操作があった場合に、翻訳した道路標識を表示部３００に表示する。
【００１６】
道路標識表示装置１００は、画像認識部１０１、識別情報管理部１０２、標識画像データベース１０３、標識テキストデータベース１０４、現在位置取得部１０５、表示制御部１０６、操作部１０７、翻訳地域設定テーブル１０８、地図表示制御部１０９、地図データ管理部１１０を備える。
【００１７】
画像認識部１０１は、撮像部２００で撮像された道路標識であって、車両の走行路に位置する道路標識を認識する。識別情報管理部１０２は、車両の走行中に画像認識部１０１で道路標識が認識されたことを示す識別情報を設定する。識別情報の詳細は後述する。
【００１８】
標識画像データベース１０３は、道路標識画像を国などの地域別に記憶したデータベースである。標識テキストデータベース１０４は、道路標識画像に替わるテキストデータを国などの地域別に記憶したデータベースである。標識画像データベース１０３および標識テキストデータベース１０４の詳細は、図２を参照して後述する。
【００１９】
現在位置取得部１０５は、ＧＰＳ受信装置により構成され、走行中の車両の現在の位置情報を受信すると共に、受信した位置情報から現在の走行地域を求める。
【００２０】
表示制御部１０６は、操作部１０７でユーザ操作がなされた場合に、認識した認識画像と対応する予め設定された地域の道路標識画像またはテキストデータを標識画像データベース１０３または標識テキストデータベース１０４より読み出して、後述の地図表示制御部１０９を介して表示部３００に表示する。
【００２１】
操作部１０７は、道路標識の翻訳開始を指示するもので、ユーザが任意のタイミングで必要に応じて操作する。具体的には、例えば、予め定められた入力操作子をユーザがワンタッチ操作することによって翻訳開始が指示される。または、音声認識によりユーザが発声した所定の音声を認識することにより翻訳開始が指示される。
【００２２】
翻訳地域設定テーブル１０８は、国などの地域が記憶されたテーブルの中から翻訳先地域が予め設定されている。具体的には、現在走行中の地域の道路標識をユーザが理解できる道路標識に翻訳する場合に、ユーザが理解できる翻訳先地域、例えばユーザが属する国が予め設定され、記憶されている。なお、翻訳先地域の設定は、ユーザ等が任意のタイミングで指定することにより設定してもよい。
【００２３】
地図表示制御部１０９は、地図データ管理部１１０に記憶された地図データを読み出し、所定の縮尺を行って、表示すべき道路標識画像等を地図上の所定の位置に重畳し、表示部３００に表示する。
【００２４】
図２は、標識画像データベース１０３を示す図である。図２では、データベースとして記憶されている内容の一例を示すものである。
【００２５】
図２に示すように、標識画像データベース１０３には、識別ＩＤと、標識の意味と、地域別の道路標識画像を対応付けて記憶している。例えば、識別ＩＤの００１と対応して、標識の意味がロータリーであり、地域別の道路標識として英独仏などに対応したロータリーを表す道路標識画像を画像データとして記憶している。識別ＩＤの００２と対応して、標識の意味が高速道路であり、地域別の道路標識として英独仏などに対応した高速道路を表す道路標識画像を記憶している。識別ＩＤの００３と対応して、標識の意味が一時停止であり、地域別の道路標識として英独仏などに対応した一時停止を表す道路標識画像を記憶している。なお、独ではロータリーに対応する道路標識は無いため道路標識画像は記憶されておらず、英国では一時停止に対応する道路標識は無いため道路標識画像は記憶されていない。また、図２に示した道路標識画像は本発明の実施形態を説明するために例示したものであり、実際の道路標識と異なる場合がある。
【００２６】
図３は、標識テキストデータベース１０４を示す図である。図３では、データベースとして記憶されている内容の一例を示すものである。
図３に示すように、標識テキストデータベース１０４には、識別ＩＤと、標識の意味と、地域別のテキストデータを対応付けて記憶している。例えば、識別ＩＤの００１と対応して、標識の意味がロータリーであり、地域別のテキストとして英独仏などに対応したロータリーを表すテキストデータを記憶している。識別ＩＤの００２、００３も同様である。なお、標識画像データベース１０３と標識テキストデータベース１０４の構成は同一の構成とする。例えば、識別ＩＤの００１で指定されるデータはいずれもロータリーであり、地域別に道路標識画像を記憶するかテキストデータを記憶するかその内容が相違し、構成は同じである。この標識テキストデータベース１０４は、主に標識画像データベース１０３に道路標識画像が記憶されていない場合に、道路標識画像に替えてテキストデータを表示する場合に参照される。
【００２７】
図４は、道路標識表示装置１００が実行するプログラムの処理を示すフローチャートである。この図４は、道路標識表示装置１００の全体の処理を示すフローチャートである。
【００２８】
図４に示すように、道路標識表示装置１００は、ステップＳ１００に示す標識認識処理において、道路標識を認識する処理を行う。そして、ステップＳ２００に示す標識表示処理において、認識した道路標識をユーザ操作に応じて翻訳して表示する処理を行う。そして、標識認識処理および標識表示処理を繰り返し実行する。なお、ステップＳ１００の標識認識処理とステップＳ２００の標識表示処理Ｓ２００は、並列処理を行ってもよい。
【００２９】
図５は、標識認識処理を示すフローチャートである。この図５は、図４に示した標識認識処理Ｓ１００の詳細なフローチャートである。
図５に示すように、ステップＳ１０１で、道路標識表示装置１００の画像認識部１０１は、車両の走行路に道路標識がある場合に、撮像部２００で撮像された撮像データから道路標識を抽出する。
【００３０】
ステップＳ１０２で、画像認識部１０１は、現在位置取得部１０５より走行地域を含む車両の現在の位置情報を取得する。ステップＳ１０３では、ステップＳ１０１で画像認識した画像が道路標識に該当するかを判定する。道路標識であればステップＳ１０４へ進み、道路標識に該当しなければ後述のステップＳ１０６で示す識別情報の更新をスキップしてステップＳ１０７へ進む。ステップＳ１０４で、画像認識部１０１は、道路標識を認識した認識画像が標識画像データベース１０３に登録されているかを参照する。具体的には、認識画像と標識画像データベース１０３内の現在の走行地域の道路標識画像とを比較し、認識画像と一致する道路標識画像が登録されているかを参照する。
【００３１】
次に、ステップＳ１０５で、画像認識部１０１は、認識画像が標識画像データベース１０３に登録されているかを判定し、登録されていれば、認識画像と一致する道路標識画像を示す識別ＩＤと現在の位置情報を識別情報管理部１０２へ送信して、ステップＳ１０６へ進む。認識画像と一致する道路標識画像が登録されていなければ、ステップＳ１０７へ進む。
【００３２】
ステップＳ１０６では、識別情報管理部１０２は、識別ＩＤと位置情報を対応付けて識別情報として識別情報管理部１０２内に記憶・設定する。この識別情報は車両の走行中に画像認識部１０１で道路標識が認識されたことを示している。なお、ステップＳ１０６で、識別情報管理部１０２は、以前の異なる位置で認識した道路標識の識別情報は消去して、今回の新たな位置で認識した道路標識の識別情報を設定する。ただし、今回の新たな位置での同一地点において複数の道路標識が認識された場合は、認識した道路標識それぞれに識別情報を設定する。
【００３３】
次に、ステップＳ１０７で、識別情報管理部１０２は、識別情報の位置情報で示される位置、すなわち、道路標識を認識した位置から車両が所定距離走行したかを判定する。所定距離走行していれば、次のステップＳ１０８で、識別情報管理部１０２内の識別情報を消去する。所定距離とは例えば、表示部３００に表示されている地図の範囲を外れる距離である。地図の範囲を外れる程度に車両を走行した場合は、道路標識の翻訳開始を指示するユーザ操作がなされた場合でも、道路標識の翻訳および表示は行われない。なお、識別情報の設定から所定時間経過後に識別情報管理部１０２内の識別情報を消去するようにしてもよい。ステップＳ１０７で、車両が所定距離走行していなければ、ステップＳ１０８の処理を行うことなく標識認識処理を終了する。
【００３４】
図６は、道路標識表示装置１００が標識表示処理において実行するプログラムの処理を示すフローチャートであり、図４に示した標識表示処理Ｓ２００の詳細なフローチャートである。
【００３５】
ステップＳ２０１で、表示制御部１０６は、操作部１０７からのユーザ操作の指示があったかを判定する。ユーザ操作の指示がなければ標識表示処理を終了する。ユーザ操作の指示があった場合は、ステップＳ２０２へ進む。
【００３６】
ステップＳ２０２で、表示制御部１０６は、識別情報管理部１０２内に識別情報が設定されているかを判定する。識別情報が設定されていなければ標識表示処理を終了する。識別情報が設定されていれば、ステップＳ２０３へ進む。
ステップＳ２０３で、表示制御部１０６は、翻訳地域設定テーブル１０８に予め設定されている翻訳先地域を取得する。
【００３７】
次に、ステップＳ２０４で、表示制御部１０６は、標識画像データベース１０３を参照し、識別情報の識別ＩＤで示される標識画像データベース１０３内の道路標識画像であって、ステップＳ２０３で取得した翻訳先地域の道路標識画像が有るかを判定する。道路標識画像が有れば、ステップＳ２０５へ進む。道路標識画像が無ければ、ステップＳ２０６へ進む。
【００３８】
ステップＳ２０５で、表示制御部１０６は、ステップＳ２０４で翻訳先地域の道路標識画像が有ると判定した標識画像データベース１０３内の翻訳先地域の道路標識画像を、識別情報の位置情報で示される位置に表示する画像として設定する。この道路標識画像が認識画像を翻訳した画像となる。
【００３９】
ステップＳ２０６では、表示制御部１０６は、ステップＳ２０３で取得した翻訳先地域の道路標識画像が無い場合であるので、標識テキストデータベース１０４を参照し、識別情報の識別ＩＤで示される標識画像データベース１０３内のテキストデータであって、翻訳先地域のテキストデータを取得する。
【００４０】
次に、ステップＳ２０７で、表示制御部１０６は、取得したテキストデータを識別情報の位置情報で示される位置に表示するデータとして設定する。設定されたテキストデータは、標識画像データベース１０３に道路標識画像が記憶されていない場合に、道路標識画像に替えて表示するデータになる。
【００４１】
ステップＳ２０５またはステップＳ２０７の後、ステップＳ２０８へ進む。ステップＳ２０８で、地図表示制御部１０９は、地図データ管理部１１０に記憶された地図データを取得する。そして、ステップＳ２０８で、地図表示制御部１０９は、表示部３００に設定されている縮尺に従って地図データを縮尺し、位置情報で示される地図上の位置に、道路標識画像またはテキストデータを重畳する。次のステップＳ２１０で、道路標識画像またはテキストデータを表示部３００の地図上に表示する。
【００４２】
図７（Ａ）、図７（Ｂ）は、道路標識画像の表示を説明する図である。図７（Ａ）は、道路を走行している車両を模式的に示す走行状態図であり、図７（Ｂ）は、表示部３００の表示状態図である。
【００４３】
図７（Ａ）には、道路Ｒ１０から進入した車両Ｃ２０が道路Ｒ２０を走行している状態を一例として示す。道路Ｒ１０には道路標識Ｍ１０が、道路Ｒ２０には道路標識Ｍ２０が設置されている。車両Ｃ２０に搭載された道路標識表示装置１００は、道路Ｒ１０を通行した際に、図５に示す標識認識処理によって道路標識Ｍ１０を認識し、識別情報管理部１０２に認識したことを示す識別情報を設定している。続いて、道路標識Ｍ２０を認識すると、識別情報管理部１０２にこれを認識したことを示す識別情報を設定する。この場合、以前に認識した道路標識Ｍ１０の識別情報は消去される。例えば、英国の標識を理解しているユーザが仏国で車両Ｃ２０を運転しているとする。この場合、翻訳地域設定テーブル１０８にはユーザが属する地域である英国が翻訳先地域として予め設定されている。道路標識Ｍ２０を通過した後、道路標識Ｍ２０の意味を確認したい場合に、ユーザは操作部１０７を操作して翻訳開始を指示する。これにより、図６に示す標識表示処理によって、図７（Ｂ）に示すように、表示部３００には地図上の自車位置Ｃ２０’の近傍であって道路標識Ｍ２０を認識した位置に英国の標識に翻訳された道路標識画像Ｍ２０’が表示される。
【００４４】
道路標識画像Ｍ２０’が表示される動作を、図２に示す標識画像データベース１０３を参照して説明すると、道路標識Ｍ２０の認識画像が識別ＩＤの００１で示される仏国の道路標識画像と一致し、認識したことを示す識別情報が設定される。次に、ユーザ操作があった場合に、識別情報内の識別ＩＤの００１で示される英国の道路標識画像Ｍ２０’が読み出されて表示部３００に表示される。この結果、ユーザは、標識Ｍ２０の意味がロータリーであると理解することができる。
【００４５】
第１の実施形態によれば、翻訳された道路標識が全て常に表示画面に表示されるものと比較して、表示画面の表示が煩雑になることがない。また、車両が所定距離走行した後には、翻訳された道路標識を表示しないようにしているので、表示部の表示範囲にない道路標識や現在位置とは離れた位置で認識した道路標識などが不用意に表示されることを防止できる。また、道路標識に対するユーザの理解が異なっても、個々のユーザの必要に応じて、車両の走行中に直近に認識した道路標識を適宜翻訳することができるので、ユーザインターフェースに優れている。
【００４６】
［第２の実施形態]
次に、第２の実施形態について説明する。第２の実施形態では、ユーザ操作に応じて、過去の複数地点で認識した道路標識を翻訳して表示する。
第２の実施形態に係わる道路標識表示装置１００のシステム構成図は、第１の実施形態で示した図１と同様である。また、標識画像データベース１０３の構成は、第１の実施形態で示した図２と同様である。さらに、標識テキストデータベース１０４の構成は、第１の実施形態で示した図３と同様である。
【００４７】
道路標識表示装置１００の全体の処理を示すフローチャートは、第１の実施形態で示した図４と同様であり、道路標識表示装置１００は、ステップＳ１００に示す標識認識処理において、道路標識を認識する処理を行う。そして、ステップＳ２００に示す標識表示処理において、認識した道路標識をユーザ操作に応じて翻訳して表示する処理を行う。
【００４８】
図８は、本実施形態による標識認識処理を示すフローチャートである。
図８において、図５に示した第１の実施形態による標識認識処理と同一の処理には同一の符号を附してその説明を簡略にする。
【００４９】
ステップＳ１０１で、道路標識を画像認識する。次に、ステップＳ１０２で、走行地域を含む位置情報を取得する。ステップＳ１０３では、ステップＳ１０１で画像認識した画像が道路標識に該当するかを判定する。道路標識に該当すればステップＳ１０４へ進み、道路標識に該当しなければ後述のステップＳ１１６で示す識別情報の更新をスキップしてステップＳ１１７へ進む。ステップＳ１０４で、道路標識を認識した認識画像が標識画像データベース１０３に登録されているかを参照する。次に、ステップＳ１０５で、画像認識部１０１は、認識画像が標識画像データベース１０３に登録されているかを判定し、登録されていれば、認識画像と一致する道路標識画像を示す識別ＩＤと現在の位置情報を識別情報管理部１０２へ送信して、ステップＳ１１６へ進む。認識画像と一致する道路標識画像が登録されていなければ、ステップＳ１１７へ進む。
【００５０】
ステップＳ１１６では、識別情報管理部１０２は、識別ＩＤと位置情報を対応付けて識別情報として識別情報管理部１０２内に順次記憶・設定する。この識別情報は車両の走行中に画像認識部１０１で道路標識が認識されたことを示している。なお、ステップＳ１１６で、識別情報管理部１０２は、以前に認識した道路標識の識別情報は消去せず、今回新たに認識した道路標識の識別情報も設定する。すなわち、過去の複数地点で認識したことを示す識別情報を順次記憶している。
【００５１】
次に、ステップＳ１１７で、識別情報管理部１０２は、識別情報の位置情報で示される位置、すなわち、道路標識を認識した位置から車両が所定距離走行した地点の識別情報があるかを判定する。所定距離走行した地点の識別情報があれば、次のステップＳ１１８で、識別情報管理部１０２内の該当する識別情報を消去する。所定距離とは例えば、表示部３００に表示されている地図の範囲を外れる距離である。地図の範囲を外れる程度に車両を走行した場合は、道路標識の翻訳開始を指示するユーザ操作がなされた場合でも、道路標識の翻訳および表示は行わない。なお、識別情報の設定から所定時間経過した識別情報管理部１０２内の該当する識別情報を消去するようにしてもよい。ステップＳ１１７で、該当する識別情報がなければ、ステップＳ１１８の処理を行うことなく標識認識処理を終了する。
【００５２】
図９は、本実施形態による標識表示処理を示すフローチャートである。図６に示した第１の実施形態による標識表示処理と同一の処理には同一の符号を附してその説明を簡略にする。
ステップＳ２０１で、操作部１０７からのユーザ操作の指示があったかを判定する。ユーザ操作の指示がなければ標識表示処理を終了する。ユーザ操作の指示があった場合は、ステップＳ２０２へ進む。ステップＳ２０２で、識別情報管理部１０２内に識別情報が設定されているかを判定する。識別情報が設定されていなければ標識表示処理を終了する。識別情報が設定されていれば、ステップＳ２０３へ進む。
【００５３】
ステップＳ２０３で、翻訳先地域を取得する。次のステップＳ２０４で、標識画像データベース１０３を参照し、識別情報が複数あれば、まず最初の一つの識別情報の識別ＩＤで示される標識画像データベース１０３内の道路標識画像であって、翻訳先地域の道路標識画像が有るかを判定する。道路標識画像が有れば、ステップＳ２０５へ進む。道路標識画像が無ければ、ステップＳ２０６へ進む。
【００５４】
ステップＳ２０５で、表示制御部１０６は、Ｓ２０４で翻訳先地域の道路標識画像が有ると判定した標識画像データベース１０３内の翻訳先地域の道路標識画像を識別情報の位置情報で示される位置に表示する画像として設定する。ステップＳ２０６では、表示制御部１０６は、ステップＳ２０３で取得した翻訳先地域の道路標識画像が無い場合であるので、標識テキストデータベース１０４を参照し、識別情報の識別ＩＤで示される標識画像データベース１０３内のテキストデータであって、翻訳先地域のテキストデータを取得する。次に、ステップＳ２０７で、表示制御部１０６は、取得したテキストデータを識別情報の位置情報で示される位置に表示するデータとして設定する。
【００５５】
ステップＳ２０５またはステップＳ２０７の後、ステップＳ２２１へ進む。ステップＳ２２１では、識別情報管理部１０２内に次の識別情報が設定されているかを判定する。次の識別情報が設定されていれば、ステップＳ２０４に戻り、以下、ステップＳ２０５〜ステップＳ２０７の処理を行い、識別情報に基づいて道路標識画像またはテキストデータを設定する。ステップＳ２２１で、識別情報管理部１０２内に次の識別情報が設定されていないと判定されるとステップＳ２０８へ進む。
【００５６】
ステップＳ２０８で、地図表示制御部１０９は、地図データ管理部１１０に記憶された地図データを取得する。そして、ステップＳ２０８で、地図表示制御部１０９は、表示部３００に設定されている縮尺に従って地図データを縮尺し、各位置情報で示される地図上の位置に、各道路標識画像またはテキストデータを重畳する。次のステップＳ２１０で、道路標識画像またはテキストデータを表示部３００の地図上に表示する。
【００５７】
図１０は、本実施形態における表示部３００の表示状態図である。
図７（Ａ）の走行状態図に示すように、道路Ｒ１０から進入した車両Ｃ２０が道路Ｒ２０を走行し、道路Ｒ１０には道路標識Ｍ１０が、道路Ｒ２０には道路標識Ｍ２０が設置されているとする。車両Ｃ２０に搭載された道路標識表示装置１００は、道路Ｒ１０を通行した際に、図８に示す標識認識処理によって道路標識Ｍ１０を認識し、識別情報管理部１０２に認識したことを示す識別情報を順次設定している。続いて、道路標識Ｍ２０を認識すると、識別情報管理部１０２にこれを認識したことを示す識別情報を更に設定する。例えば、英国の標識を理解しているユーザが仏国で車両Ｃ２０を運転しているとする。この場合、翻訳地域設定テーブル１０８には翻訳先地域として英国が予め設定されているとする。道路標識Ｍ２０を通過した後、通過した道路標識Ｍ１０、Ｍ２０の意味を確認したい場合に、ユーザは操作部１０７を操作して翻訳開始を指示する。これにより、図９に示す標識表示処理によって、図１０に示すように、表示部３００には地図上の自車位置Ｃ２０’の近傍であって道路標識Ｍ２０を認識した位置に英国の標識に翻訳された道路標識画像Ｍ２０’が表示される。さらに、通過した道路標識Ｍ１０を認識した位置に英国の標識に翻訳されたテキストデータＭ１０’が表示される。なお、道路標識Ｍ１０の認識において、標識画像データベース１０３に道路標識画像が記憶されていない場合に、標識テキストデータベース１０４を参照してテキストデータを読み出す。
【００５８】
第２の実施形態では、過去の複数地点で認識した道路標識を翻訳して表示する例で説明したが、過去の複数地点は直近に認識した地点を含めてその数を予め設定してもよい。例えば、直近に認識した地点とその前に認識した地点の２個所にしてもよい。
【００５９】
第２の実施形態によれば、翻訳された道路標識が全て常に表示画面に表示されるものと比較して、表示画面の表示が煩雑になることがない。また、車両が所定距離走行した後には、翻訳された道路標識を表示しないようにしているので、表示部の表示範囲にない道路標識や現在位置とは離れた位置で認識した道路標識などが不用意に表示されることを防止できる。また、道路標識に対するユーザの理解が異なっても、個々のユーザの必要に応じて、車両の走行中に認識した複数個所の道路標識を適宜翻訳することができるので、ユーザインターフェースに優れている。
【００６０】
［第３の実施形態]
次に、第３の実施形態について説明する。第３の実施形態では、ユーザ操作に応じて、過去の複数地点で認識した道路標識を翻訳してリスト形式で表示する。
第３の実施形態に係わる道路標識表示装置１００のシステム構成図は、第１の実施形態で示した図１と同様である。また、標識画像データベース１０３の構成は、第１の実施形態で示した図２と同様である。さらに、標識テキストデータベース１０４の構成は、第１の実施形態で示した図３と同様である。
【００６１】
道路標識表示装置１００の全体の処理を示すフローチャートは、第１の実施形態で示した図４と同様である。また、標識認識処理のフローチャートは、第２の実施形態で示した図８と同様である。さらに、標識表示処理のフローチャートは、第２の実施形態で示した図９と同様であるが、以下に説明するリスト形式による表示処理が追加される。
【００６２】
図１１は、第３の実施形態における表示部３００の表示状態図である。
第３の実施形態では、操作部１０７でユーザによる翻訳開始の指示がなされた場合に、過去の複数地点で認識した道路標識を翻訳してリスト形式で一覧表示する。図１１に示す表示例では、認識した認識画像と翻訳されたテキストデータを対応付けて一覧表示Ｌ３０に表示する例を示す。
【００６３】
図２に示す標識画像データベース１０３および図３に示す標識テキストデータベース１０４を参照して説明すると、道路標識Ｍ２０の認識画像が識別ＩＤの００１で示される仏国の道路標識画像と一致し、認識したことを示す識別情報が設定される。次に、ユーザ操作があった場合に、識別情報内の識別ＩＤの００１で示される標識テキストデータベース１０４から英国のテキストデータが読み出される。これにより、認識した認識画像と翻訳されたテキストデータを対応付けて表示部３００の一覧表示Ｌ３０に表示する。さらに、道路標識Ｍ１０の認識画像が識別ＩＤの００３で示される仏国の道路標識画像と一致し、次に、識別ＩＤの００３で示される標識テキストデータベース１０４から英国のテキストデータが読み出される。これにより、リスト形式による表示処理において、認識した認識画像と翻訳されたテキストデータを対応付けて表示部３００の一覧表示Ｌ３０に表示する。
【００６４】
図１１に示す表示例によれば、一覧表示Ｌ３０を表示することで、認識した認識画像と翻訳されたテキストデータを対応付けて一覧表示したので、認識した認識画像をユーザが理解できなくても、翻訳されたテキストデータから理解することができ、認識した認識画像に対するユーザの学習効果を高めることが出来る。
【００６５】
なお、一覧表示Ｌ３０には、認識した認識画像を表示する例で説明したが、翻訳された道路標識画像を表示してもよい。さらに、一覧表示Ｌ３０には、翻訳されたテキストデータのみを表示してもよい。また、過去の複数地点で認識した道路標識を翻訳してリスト形式で表示する例で説明したが、直近に認識した道路標識のみを翻訳してリスト形式で表示してもよい。
【００６６】
また、表示部３００には一覧表示Ｌ３０と共に、地図上には翻訳した道路標識Ｍ２０’およびテキストデータＭ１０’を表示しているが、地図上には道路標識Ｍ２０’およびテキストデータＭ１０’を表示せず、一覧表示Ｌ３０のみでもよい。また、リスト形式による表示処理において、過去の複数地点で認識した道路標識の各データをリスト形式で表示する例では、図１１に示すように認識した順番に各データを並べて表示した。しかし、この表示処理において、自車位置と認識した地点との２点間の直線距離が近い順番に各データを並び替えて表示してもよい。
【００６７】
第３の実施形態によれば、翻訳された道路標識が全て常に表示画面に表示されるものと比較して、表示画面の表示が煩雑になることがない。また、道路標識に対するユーザの理解が異なっても、個々のユーザの必要に応じて、車両の走行中に認識した複数個所の道路標識を適宜翻訳してリスト表示することができるので、ユーザインターフェースに優れている。
【００６８】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）道路標識表示装置１００は、道路標識画像を地域別に記憶した標識画像データベース１０３と、車両の進行方向に位置する道路標識を認識する画像認識部１０１と、車両の走行地域を取得する現在位置取得部１０５と、車両の走行中に画像認識部１０１で道路標識が認識されたことを示す識別情報を設定する識別情報管理部１０２と、道路標識の翻訳開始をユーザ操作により指示する操作部１０７と、ユーザ操作がなされた場合に、識別情報が設定されていれば、道路標識を認識した認識画像と対応する予め設定された地域における道路標識画像を標識画像データベース１０３より読み出して表示する表示制御部１０６とを備える。これにより、車両走行中に過去に認識した道路標識を簡単な操作で適宜翻訳することができる。
【００６９】
（２）道路標識表示方法は、認識した道路標識画像を翻訳して表示する道路標識表示装置１００における道路標識表示方法において、道路標識画像を地域別に標識画像データベース１０３として記憶し、車両の進行方向に位置する道路標識を認識し、車両の走行地域を取得し、車両の走行中に道路標識が認識されたことを示す識別情報を設定し、道路標識の翻訳開始をユーザ操作により指示し、ユーザ操作がなされた場合に、識別情報が設定されていれば、道路標識を認識した認識画像と対応する予め設定された地域における道路標識画像を標識画像データベース１０３より読み出して表示する。これにより、車両走行中に過去に認識した道路標識を簡単な操作で適宜翻訳することができる。
【００７０】
（３）道路標識表示プログラムは、道路標識画像を地域別に標識画像データベース１０３として記憶し、認識した道路標識画像を翻訳して表示する道路標識表示装置１００のコンピュータに、車両の進行方向に位置する道路標識を認識する認識ステップと、車両の走行地域を取得する取得ステップと、車両の走行中に道路標識が認識されたことを示す識別情報を設定する設定ステップと、道路標識の翻訳開始がユーザ操作により指示されたことを判定する判定ステップと、ユーザ操作がなされと判定された場合に、識別情報が設定されていれば、道路標識を認識した認識画像と対応する予め設定された地域における道路標識画像を標識画像データベース１０３より読み出して表示する表示ステップとを実行させる。これにより、車両走行中に過去に認識した道路標識を簡単な操作で適宜翻訳することができる。
【００７１】
本発明は、上述の実施形態に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。また、上述の実施形態を組み合わせた構成としてもよい。
【符号の説明】
【００７２】
１００・・・道路標識表示装置、１０１・・・画像認識部、１０２・・・識別情報管理部、１０３・・・標識画像データベース、１０４・・・標識テキストデータベース、１０５・・・現在位置取得部、１０６・・・表示制御部、１０７・・・操作部、１０８・・・翻訳地域設定テーブル、１０９・・・地図表示制御部、１１０・・・地図データ管理部、２００・・・撮像部、３００・・・表示部、Ｒ１０、Ｒ２０・・・道路、Ｃ２０・・・車両、Ｃ２０’・・・自車位置、Ｍ１０、Ｍ２０・・・道路標識、Ｍ１０’ ・・・テキストデータ、Ｍ２０’・・・道路標識画像。
【要約】
【課題】車両走行中に過去に認識した道路標識を簡単な操作で適宜翻訳することができない。
【解決手段】道路標識画像を地域別に記憶した標識画像データベースと、車両の進行方向に位置する道路標識を認識する画像認識部と、前記車両の走行地域を取得する取得部と、前記車両の走行中に前記画像認識部で前記道路標識が認識されたことを示す識別情報を設定する識別情報管理部と、前記道路標識の翻訳開始をユーザ操作により指示する操作部と、前記ユーザ操作がなされた場合に、前記識別情報が設定されていれば、前記道路標識を認識した認識画像と対応する予め設定された地域における前記道路標識画像を前記標識画像データベースより読み出して表示する表示制御部とを備える道路標識表示装置。
【選択図】図１【図１】
0006858297.tif 000002
【図２】
0006858297.tif 000003
【図３】
0006858297.tif 000004
【図４】
0006858297.tif 000005
【図５】
0006858297.tif 000006
【図６】
0006858297.tif 000007
【図７】
0006858297.tif 000008
【図８】
0006858297.tif 000009
【図９】
0006858297.tif 000010
【図１０】
0006858297.tif 000011
【図１１】
0006858297.tif 000012