(57)【要約】      （修正有）【課題】車載カメラによって車両の外の看板など撮影した場合に、撮影した画像の中の看板などの画像を正確に認識し、認識結果をユーザが理解可能な画像に変換して表示する。【解決手段】車載用情報表示装置（カーナビゲーション１）は、車両の前方の看板や標識を撮影する車載カメラ１１と、車載カメラ１１により撮影した映像データを、正面から見た画像データに補正する補正部１４と、補正された画像データの中から看板の文字や標識の画像パターンを認識する認識部１４と、認識された看板の文字や標識の画像パターンを、ユーザが理解可能な文字や画像パターンに変換する変換部１４と、変換された看板の文字や標識の画像パターンを、画像データの中に重ね合わせ、この重ね合わせた画像データをディスプレイ（表示装置６、ヘッドアップディスプレイ１３）に表示する表示部１４とを備える。【選択図】図１
2016095688.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方の看板や標識を撮影する車載カメラ（１１）と、
前記車載カメラ（１１）により撮影した映像データを、正面から見た画像データに補正する補正部（１４）と、
前記補正された画像データの中から看板の文字や標識の画像パターンを認識する認識部（１４）と、
前記認識された看板の文字や標識の画像パターンを、ユーザが理解可能な文字や画像パターンに変換する変換部（１４）と、
前記変換された看板の文字や標識の画像パターンを、前記画像データの中に重ね合わせ、この重ね合わせた画像データをディスプレイ（６、１３）に表示する表示部（１４）と
を備えた車載用情報表示装置。
【請求項２】
前記表示部（１４）は、前記変換された看板の文字や標識の画像パターンを、前記車載カメラ（１１）の撮影方向から見た画像データとなるように逆補正し、この逆補正した看板の文字や標識の画像パターンを、前記映像データの中に重ね合わせ、この重ね合わせた映像データをディスプレイ（６、１３）に表示することを特徴とする請求項１記載の車載用情報表示装置。
【請求項３】
対象物となる看板や標識の画像データを含む情報を位置や向きの情報とともにデータベース化しておき、
前記表示部（１４）は、車両が対象物となる看板や標識の位置に近づいたときに、前記データベースにアクセスして車両の現在位置付近の看板や標識の情報を取得し、取得した看板や標識の情報をディスプレイ（６、１３）に表示することを特徴とする請求項１または２記載の車載用情報表示装置。
【請求項４】
種々の情報をディスプレイ（６、１３）に表示する表示部（１４）と、
車両の現在位置を検出する位置検出器（２）とを備え、
対象物となる看板や標識の画像データを含む情報を位置や向きの情報とともにデータベース化しておき、
前記表示部（１４）は、車両が対象物となる看板や標識の位置に近づいたときに、前記データベースにアクセスして車両の現在位置付近の看板や標識の情報を取得し、取得した看板や標識の情報をディスプレイ（６、１３）に表示することを特徴とする車載用情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の看板などを車載カメラで撮影し、撮影した画像の看板などに含まれる文字列を翻訳して表示する車載用情報表示装置に関する。
【背景技術】
【０００２】
海外旅行先でレンタカーを運転する場合において、その国の言語または交通標識をユーザ（運転者や同乗者）が理解していないときには、店やホテル等へ客を誘導するために道路脇等に設置された看板に示された情報または交通標識が示す情報をユーザが理解できないことがある。このような場合、不便な思いをしたり、意図せずに交通違反したりすることがあった。
【０００３】
一方、特許文献１には、カメラで撮影された画像の文書や看板等に含まれる文字列を翻訳または変換してリアルタイムに表示する装置が記載されている。この装置を車両に搭載し、海外旅行先で上記車両を走行させ、車両の周辺の看板などを車載カメラで撮影し、撮影した画像の看板などに含まれる文字列を翻訳して表示するように構成すれば、看板に示された情報をユーザは理解することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１３４１４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の走行中においては、車両の進行方向に対してほぼ平行に設置された看板などに描かれた情報をユーザが視認する必要があるケースも多くなる。このような斜め方向から見た看板などを車載カメラによって撮影すると、撮影した画像が歪んでしまう、即ち、撮影した画像の中の看板などに含まれる文字列の画像が歪んでしまう。歪んだ文字列の画像を、画像認識することが困難であるため、文字列を翻訳できないという問題が発生する。
【０００６】
そこで、本発明の目的は、車載カメラによって車両の外の看板など撮影した場合に、撮影した画像の中の看板などに含まれる画像を正確に認識し、認識結果をユーザが理解可能な画像に変換して表示することができる車載用情報表示装置を提供することにある。
【課題を解決するための手段】
【０００７】
請求項１の発明は、車両の前方の看板や標識を撮影する車載カメラ（１１）と、前記車載カメラ（１１）により撮影した映像データを、正面から見た画像データに補正する補正部（１４）と、前記補正された画像データの中から看板の文字や標識の画像パターンを認識する認識部（１４）と、前記認識された看板の文字や標識の画像パターンを、ユーザが理解可能な文字や画像パターンに変換する変換部（１４）と、前記変換された看板の文字や標識の画像パターンを、前記画像データの中に重ね合わせ、この重ね合わせた画像データをディスプレイ（６、１３）に表示する表示部（１４）とを備えてなる車載用情報表示装置である。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態を示すカーナビゲーション装置のブロック図
【図２】車載カメラの撮影方向を説明する図
【図３】（ａ）は画像データの補正前を示す図、（ｂ）は画像データの補正後を示す図
【図４】（ａ）は２個の車載カメラで撮影する動作を説明する図、（ｂ）は１個の車載カメラで撮影する動作を説明する図
【図５】画像データの補正、変換、逆補正を説明する図
【図６】（ａ）は車載カメラで撮影した映像データを表示した画面を示す図、（ｂ）は補正、変換及び逆補正した画像データを映像データに重ね合わせて表示した画面を示す図
【図７】メイン制御のフローチャート
【図８】第１の変換処理のフローチャート
【図９】第２の変換処理のフローチャート
【図１０】第１の表示処理のフローチャート
【図１１】第２の表示処理のフローチャート
【図１２】ヘッドアップディスプレイで表示する例を示す図
【図１３】立体看板の情報を表示する処理のフローチャート
【図１４】（ａ）は立体看板の映像データを表示した画面を示す図、（ｂ）は立体看板に情報を表示した画面を示す図
【図１５】本発明の第２実施形態を示すメイン制御のフローチャート
【図１６】表示処理のフローチャート
【発明を実施するための形態】
【０００９】
以下、本発明をカーナビゲーションシステムに適用した第１実施形態について、図１ないし図１４を参照して説明する。図１は、本実施形態のカーナビゲーションシステム１の概略全体構成を示すブロック図である。この図１に示すように、カーナビゲーションシステム１は、位置検出器２、地図データ入力器３、操作スイッチ群４、外部メモリ５、表示装置６、タッチパネルセンサ７、インフラデータ受信機８、通信モジュール９、辞書データ入力器１０、車載カメラ１１、車載スピーカー１２、ヘッドアップディスプレイ（ＨＵＤ）１３、及び、制御回路１４を備えている。
【００１０】
位置検出器２は、地磁気センサ１５、ジャイロスコープ１６、距離センサ１７、及び、衛星からの電波に基づいて車両の位置を検出するＧＰＳ（Global Positioning System）のためのＧＰＳ受信機１８を有している。これらのセンサ等１５〜１８は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用して位置を検出するように構成されている。尚、精度によっては上述したセンサの内の一部で構成してもよく、更にステアリングの回転センサ、各転動輪の車両センサ等を用いて補完するように構成しても良い。
【００１１】
地図データ入力器３は、位置検出の精度向上のためのいわゆるマップマッチング用データ、地図データ及び目印データを含む各種データを入力するための装置である。媒体としては、そのデータ量から近年ではＨＤＤ（ハードディスクドライブ）またはフラッシュメモリー等を用いるのが一般的であるが、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカード、その他、通信モジュール９を経由して情報センターのサーバ２１上のデータ等を入力して用いても良い。
【００１２】
また、辞書データ入力器１０は、各国の言語を翻訳するための辞書データ、および各国の交通標識を認識・変換するための標識データ、各種看板の説明データを保持し、制御回路１４に対してそれらのデータを入力するための装置である。媒体としては地図データ入力器３と同様であり、地図データ入力器３と媒体を共用にしても良い。
【００１３】
表示装置６はカラー表示装置であり、表示装置６の画面には、位置検出器２により検出された車両の現在位置のマークと、地図データ入力器３より入力された地図データと、更に地図上に表示する誘導経路等付加データとを重ねて表示することができる。また、ヘッドアップディスプレイ１３を用いて表示情報の一部を表示しても良い。表示装置６及びヘッドアップディスプレイ１３がディスプレイを構成している。また、車載スピーカー１２を用いて、音声による情報提供を行っても良い。
【００１４】
制御回路１４は、通常のコンピュータとして構成されており、内部には周辺のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ及びこれらの構成を接続するバスラインを備えている。制御回路１４は、通信モジュール９を通して無線で外部通信ネットワーク（インターネットなど）に接続されており、ネットワークを介してサーバ２１と情報の送受信を行うことが可能になっている。この構成の場合、制御回路１４は、補正部、認識部、変換部及び表示部の各機能を有する。
【００１５】
また、外部機器としての車載カメラ１１は、車両周辺の映像データを撮影し、撮影した映像データを制御回路１４へ出力する。尚、車載カメラ１１を複数個配設し、車両の前後左右方向等の様々な方向の映像データを撮影可能なように構成することが好ましい。
【００１６】
操作スイッチ群４およびタッチパネルセンサ７は、ユーザにより操作されると、各種のスイッチ信号及び種々のセンサ信号を制御回路１４へ出力する。インフラデータ受信機８は、例えばＶＩＣＳ（登録商標）送信装置（電波ビーコンや光ビーコンやＦＭ多重放送など）２２から送信されたＶＩＣＳ情報を受信し、受信したＶＩＣＳ情報を制御回路１４へ出力する。制御回路１４は、音声メッセージや警告音や楽曲等を車載スピーカー１２から出力する。また、ヘッドアップディスプレイ１３は、制御回路１４から出力された表示情報を車両のフロントガラスまたは専用の投影板（例えばガラス板やアクリル板等）に表示する。
【００１７】
次に、上記構成の動作について、図２〜図１４を参照して説明する。
本実施形態では、車両が道路を走行中に車載カメラ１１により撮影した映像データを、制御回路１４において画像解析し、画像内の看板や標識などの変換すべき対象を抽出する。そして、例えば看板の画像であれば、辞書データ入力器１０に保持する辞書データを利用して、看板に書かれている文字を光学文字認識技術（画像認識技術）により認識する。また、標識の画像であれば、同じく辞書データ入力器１０に保持する標識データ（画像パターンの形・意匠）を利用して、標識の画像が具体的に何の標識（形・意匠）であるのかを画像マッチング技術により認識する。尚、上記標識としては、道路の標識に加えて、道路上の路面標識や、メジャーなお店のロゴマークなどの意匠なども含まれている。
【００１８】
この場合、車両の周囲にある実際の看板や標識などは、その位置や向きが様々であり、車載カメラ１１で撮影された映像データをそのまま、文字認識処理したり、画像マッチング処理したりしても、文字認識や画像マッチングが良好に実行されないことが多かった。具体的には、図２に示すように、道路１９と平行に設置されている看板２０などを車両の前方に配設した車載カメラ１１で撮影した場合、斜め方向から見ることになるから、撮影データは、図３（ａ）に示すように、歪んだ映像データとなる。この歪んだ映像データでは、文字認識や画像マッチングが良好に実行されない。そこで、本実施形態では、歪んだ映像データ（図３（ａ）参照）を、図３（ｂ）に示すように、ほぼ正面から見た画像データに補正して、文字や意匠などが正しく認識できるように画像補正するように構成している。
【００１９】
このような画像補正は、例えばステレオ法（ステレオマッチング処理）と呼ばれる周知技術を利用して行うことが可能である。具体的には、図４（ａ）に示すように、２台以上の車載カメラ１１によって対象物を撮影し、各カメラ１１の視野角（画角）および設置位置の情報をパラメータとして用いることにより、２次元画像上の対象物の位置や形状を３次元的に認識させることができる。これにより、図３（ａ）に示すような歪んだ映像データを、図３（ｂ）に示すような文字や意匠などが正しく認識できる映像データ、即ち、ほぼ正面から見た場合と同等の形状の画像データへ変換することが可能となる。
【００２０】
また、ステレオマッチング処理は、通常、複数のカメラで同時に撮影した画像データを用いて行うが、対象物が看板や標識等の静止物である場合、走行中の車両に設置した１台のカメラにより時間をずらして撮影した複数の画像データを用いてステレオマッチング処理を実行するようにしても良い（図４（ｂ）参照）。この方法を用いると、１台の車載カメラ１１で複数の車載カメラ１１を設置した構成と同等の効果を得ることが可能となるので、製造コストを抑えることができる。尚、１台の車載カメラ１１により撮影した複数の画像データを用いる構成の場合には、各画像データを撮影したときの車載カメラの位置関係、即ち、車両の移動距離がパラメータとして必要となるが、これは車速や車両位置情報から容易に求めることが可能である。
【００２１】
そして、本実施形態では、上記したようにして認識したユーザが理解できない看板の言語や標識（図５（ａ）、（ｂ）参照）を、辞書データ入力器１０に保持する辞書データを利用してユーザが理解できる言語や標識情報に変換(翻訳)する（図５（ｃ）、（ｄ）参照）。更に、上記変換した言語や標識情報を、表示装置６やヘッドアップディスプレイ１３に表示したり、車載スピーカー１２から音声出力したりするように構成されている。
【００２２】
この場合、ユーザが理解している言語や標識情報に変換した後、変換した言語や標識情報を、表示装置６などに表示するに際して、対象物からの吹き出しのような形態で表示する方法を採用しても良い。
【００２３】
また、変換した言語や標識情報を、変換前の画像データ（元の対象物）と同じ比率で画像データ化し（図５（ｃ）参照）、さらに補正の手順を逆に行う（逆補正）ことにより、歪んだ画像データを作成し（図５（ｄ）参照）、この作成した歪んだ画像データ（変換画像データ）を、車載カメラ１１により撮影した映像データに重ね合わせて表示するようにしても良い。このように表示すると、あたかもそこに変換後の言語の看板や標識があるように表示される。図６（ａ）は車載カメラ１１により撮影した映像データの一例を示し、図６（ｂ）は上記作成した歪んだ画像データ（変換画像データ）を車載カメラ１１により撮影した映像データに重ね合わせて表示した例を示す。
【００２４】
次に、上記した本実施形態の動作を実現する制御について、図７ないし図１１、図１３、図１４を参照して説明する。尚、図７ないし図１１、図１３のフローチャートは、制御回路１４の制御の内容を示す。
【００２５】
まず、メイン制御のフローチャートを示す図７のステップＳ１０において、車載カメラ１１により撮影した車両の前方の映像データ（画像データ）を少なくとも２個取得する。この場合、２台の車載カメラ１１で撮影した画像データを用いても良いし、１台の車載カメラ１１で時間をずらして撮影した画像データを用いても良い。続いて、ステップＳ２０へ進み、画像データから変換対象となる領域（１つ以上の領域）をリスト化する。
【００２６】
そして、ステップＳ３０へ進み、ステレオマッチング処理を行うことにより、画像データの変換対象の３次元的な位置及び形状を計算する。次いで、ステップＳ４０へ進み、画像データの対象領域を変換する処理を実行する。尚、この変換処理については、図８、図９、図１３を参照して後述する。
【００２７】
この後、ステップＳ５０へ進み、画像データの中のすべての変換対象領域を変換したか否かを判断する。ここで、変換していない対象領域がある場合には、「ＮＯ」へ進み、ステップＳ３０へ戻り、上述した処理を繰り返す。一方、上記ステップＳ５０において、すべての変換対象領域を変換した場合には、「ＹＥＳ」へ進み、ステップＳ６０へ進み、変換処理で画像が得られた否かを判断する。ここで、画像が得られていないときには、「ＮＯ」へ進み、制御を終了する。
【００２８】
一方、上記ステップＳ６０において、画像が得られたときには、「ＹＥＳ」へ進み、ステップＳ７０へ進み、変換処理で得られた画像を表示する処理を実行する。尚、この表示処理については、図１０、図１１を参照して後述する。この後、ステップＳ８０へ進み、すべての領域の画像を表示したか否かを判断する。ここで、表示していない画像がある場合には、「ＮＯ」へ進み、ステップＳ７０へ戻り、上述した処理を繰り返す。また、上記ステップＳ８０において、すべての領域の画像を表示したときには、「ＹＥＳ」へ進み、制御を終了する。
【００２９】
次に、図８のフローチャートを参照して、看板や標識の文字列を翻訳（変換）する第1の変換処理について説明する。まず、図8のステップＳ１１０においては、ステップＳ３０にて計算された画像データの変換対象の３次元的な位置及び形状の計算結果を利用して、対象領域を正面から見た場合の画像と同等の画像形状に補正する（図５(ａ)、(ｂ)参照）。
【００３０】
続いて、ステップＳ１２０へ進み、補正した対象領域に文字列が含まれているか否かを判断する。ここで、対象領域に文字列が含まれていないと判断されると、「ＮＯ」へ進み、第1の変換処理を終了し、後述する第２の変換処理（図９参照）を実行する。また、上記ステップＳ１２０において、対象領域に文字列が含まれていると判断されると、「ＹＥＳ」へ進み、ステップＳ１３０へ進む。
【００３１】
このステップＳ１３０においては、周知の画像認識技術を用いて上記対象領域に含まれている文字列を認識（抽出）する。そして、ステップＳ１４０へ進み、辞書データを用いて上記認識した文字列を翻訳（変換）する。更に、ステップＳ１５０へ進み、上記翻訳後の文字列を、翻訳前（元）の対象領域と同じ形状・サイズで画像データ化する（図５(ｂ)、(ｃ)参照）。続いて、ステップＳ１６０へ進み、上記画像データ化された画像の形状を、対象領域の補正前の形状（斜め方向から見た画像の形状）に逆補正する（図５(ｃ)、(ｄ)参照）。これにより、第１の変換処理を終了し、続いて、第２の変換処理（図９参照）を実行する。
【００３２】
次に、図９のフローチャートを参照して、標識（看板）の画像パターンを、ユーザが理解できる標識（看板）の画像パターンに変換する第２の変換処理について説明する。まず、図９のステップＳ２１０においては、ステップＳ３０にて計算された画像データの変換対象の３次元的な位置及び形状の計算結果を利用して、対象領域を正面から見た場合の画像と同等の画像形状に補正する。
【００３３】
続いて、ステップＳ２２０へ進み、補正した対象領域が、辞書データ内の標識（看板）の画像パターンにマッチするか否かを判断する。ここで、辞書データ内の標識（看板）の画像パターンにマッチしていないと判断されると、「ＮＯ」へ進み、第２の変換処理を終了し、図７のステップＳ５０へ戻る。また、上記ステップＳ２２０において、辞書データ内の標識（看板）の画像パターンにマッチすると判断されると、「ＹＥＳ」へ進み、ステップＳ２３０へ進む。
【００３４】
このステップＳ２３０においては、辞書データ内の標識（看板）の画像パターンの標識（看板）データを利用してユーザが理解できる標識（看板）の画像に変換する。この場合、上記変換後の画像は、変換前（元）の対象領域と同じ形状・サイズで画像データ化する。そして、ステップＳ２４０へ進み、上記画像データ化された画像の形状を、対象領域の補正前の形状（斜め方向から見た画像の形状）に逆補正する。これにより、第２の変換処理を終了し、図７のステップＳ５０へ戻る。
【００３５】
次に、図１３のフローチャートを参照して、立体看板を認識してその説明を取得(変換)する第３の変換処理について説明する。尚、この第３の変換処理の実行後、取得した説明を後述する表示処理で表示することにより、図１４（ａ）に示すように、映像データの中に立体看板の画像がある場合に、図１４（ｂ）に示すように、上記立体看板の画像に説明の文字列を重ねて表示することができる。
【００３６】
まず、図１３のステップＳ５１０において、映像データの中の対象領域の３次元的な形状が、辞書データ内の立体看板パターンにマッチするか否かを判断する。ここで、マッチしていないと判断されると、「ＮＯ」へ進み、第３の変換処理を終了し、図７のステップＳ５０へ戻る。また、上記ステップＳ５１０において、辞書データ内の立体看板パターンにマッチすると判断されると、「ＹＥＳ」へ進み、ステップＳ５２０へ進む。
【００３７】
このステップＳ５２０においては、辞書データに基づいて上記マッチした立体看板パターンの看板情報（説明の文字列等のデータを含む）を取得する。続いて、ステップＳ５３０へ進み、取得した看板情報（説明の文字列等のデータを含む）を対象領域の形状・角度に合わせて画像データ化する。そして、ステップＳ５４０へ進み、上記画像データ化された画像の形状を、対象領域の補正前の形状（斜め方向から見た画像の形状）に逆補正する。これにより、第３の変換処理を終了し、図７のステップＳ５０へ戻る。
【００３８】
尚、上記した第１の変換処理、第２の変換処理及び第３の変換処理は、パラレルに実行しても良いし、シーケンシャルに実行しても良い。
次に、図１０のフローチャートを参照して、第１の変換処理、第２の変換処理または第３の変換処理により変換（または翻訳）した後の画像を表示装置６に表示する第１の表示処理について説明する。まず、図１０のステップＳ３１０においては、変換後の画像を、車載カメラ１１で撮影した映像データに重ね合わせる。続いて、ステップＳ３２０へ進み、重ね合わせた映像データを、表示装置６に表示する（図６（ｂ）、図１４（ｂ）参照）。これにより、第１の表示処理を終了し、図７のステップＳ８０へ戻る。
【００３９】
また、図１１のフローチャートを参照して、第１の変換処理、第２の変換処理または第３の変換処理により変換（または翻訳）した後の画像をヘッドアップディスプレイ（ＨＵＤ）１３に表示する第２の表示処理について説明する。図１１のステップＳ４１０においては、対象領域の３次元的な位置及び形状の情報に基づいて、ヘッドアップディスプレイ１３上で変換後の画像を実際の対象領域に重なるように表示する（図１２参照）。このヘッドアップディスプレイ１３による表示によって、ユーザは、実際の看板や標識がある場所に上記変換後の画像が重ねて表示される状態を見るようになる。そして、第２の表示処理を終了し、図７のステップＳ８０へ戻る。
【００４０】
尚、上記した第１の表示処理及び第２の表示処理は、パラレルに実行しても良いし、シーケンシャルに実行しても良い。
このような構成の本実施形態においては、車載カメラ１１により車両の前方の看板や標識を撮影した映像データを、正面から見た画像データに補正し、この補正した画像データの中から看板の文字や標識の画像パターンを認識し、認識した看板の文字や標識の画像パターンを、ユーザが理解可能な文字や画像パターンに変換し、変換した看板の文字や標識の画像パターンを、前記画像データの中に重ね合わせ、この重ね合わせた画像データを表示するように構成した。この構成によれば、車載カメラ１１によって撮影した画像の中の看板などの画像を画像認識する際に、画像（文字や図形）の歪みを補正したので、正確に画像認識することができる。その結果、認識結果をユーザが理解可能な画像に精度良く変換して表示することができる。例えば看板であれば、そこに書かれた文字列をユーザの母国語等の理解できる言語に変換して表示することができる。また、標識であれば、ユーザの母国の同じ意味の標識に変換して表示することができる。これにより、不慣れな外国で車両を運転する場合に、有効な運転サポートを行うことができる。
【００４１】
特に、本実施形態では、変換された看板の文字や標識の画像パターンを、車載カメラ１１の撮影方向から見た画像データとなるように逆補正し、この逆補正した看板の文字や標識の画像パターンを、前記映像データの中に重ね合わせ、この重ね合わせた映像データを表示するように構成したので、車両の前方の映像を違和感なく再現することができる。
【００４２】
図１５及び図１６は、本発明の第２実施形態を示すものである。尚、第１実施形態と同一構成には、同一符号を付している。この第２実施形態では、予め対象物となる看板や標識の情報（画像データを含む）を位置（経緯度、高さ）の情報や向きの情報とともにデータベース化しておき、そのデータベース化された情報を地図データ入力器３に格納しておいたり、または、通信モジュール９経由でサーバ２１から取り込んだりしておき、車両が対象物となる看板や標識の位置に近づいたところで、該看板や標識の画像データ（情報）を表示装置６やヘッドアップディスプレイ１３に表示してユーザに報知する。
【００４３】
具体的には、まず、図１５のフローチャートを参照して、対象物となる看板や標識の情報（画像データを含む）を収集する処理について説明する。図１５のステップＳ１０からステップＳ７０までの処理は、図７の処理と同じである。上記ステップＳ７０を実行した後、ステップＳ７５へ進み、３次元的な位置情報と共に、変換処理で得られた情報（画像データを含む種々の情報）を情報センターのサーバ２１へ送信する。尚、情報センターのサーバ２１においては、車両から送信された上記情報を受信して蓄積してデータベース化する。そして、ステップＳ８０へ進み、すべての領域の画像を表示するまでステップＳ７０及びステップＳ７５の処理を続ける。
【００４４】
次に、図１６のフローチャートを参照して、車両が対象物となる看板や標識の位置に近づいたところで、該看板や標識の画像データを表示する処理について説明する。まず、図１６のステップＳ６１０においては、サーバ２１（または地図データ入力器３）のデータベースにアクセスして、ユーザの車両の現在位置（ユーザ地点）付近の看板や標識の情報をリストとともに受信して取得する。
【００４５】
続いて、ステップＳ６２０へ進み、上記取得した看板や標識の情報を表示装置６（ヘッドアップディスプレイ１３）に表示する。この表示処理は、前述した第１の表示処理（図１０参照）及び第２の表示処理（図１１参照）を適宜用いて表示するようになっている。この場合、表示される看板や標識の情報は、第１実施形態と同様にして、ユーザが理解できる画像の情報となっている。
【００４６】
そして、ステップＳ６３０へ進み、車両の現在位置付近のすべての看板や標識の情報を表示したか（リストの数だけ表示したか）否かを判断する。ここで、すべての看板や標識の情報を表示していないときには、「ＮＯ」へ進み、ステップＳ６２０へ戻り、上記した表示処理を繰り返す。また、上記ステップＳ６３０にて、すべての看板や標識の情報を表示したときには、「ＹＥＳ」へ進み、表示処理を終了する。
【００４７】
上述した以外の第２実施形態の構成は、第１実施形態の構成と同じ構成となっている。従って、第２実施形態においても、第１実施形態とほぼ同じ作用効果を得ることができる。特に、第２実施形態によれば、車両の現在位置付近の看板や標識の情報を表示するように構成したので、雨天時や夜間など車載カメラで鮮明な画像を撮影することができない場合や、車載カメラを搭載しない車両の場合であっても、車両の現在位置付近の看板や標識の情報を、ユーザが認識して理解することができる。即ち、第２実施形態の図１６に示す制御は、車載カメラ１１、並びに、補正部、認識部及び変換部の各機能を備えていない構成（カーナビゲーションシステム等の車載用情報表示装置）に適用することも好ましい。
【００４８】
尚、本発明は上記した実施形態に限られるものではなく、次のように変形して実施することができる。例えば、変換した情報を表示する対象を、ユーザが選択できるように構成しても良い。この場合、宿泊施設のみとしたり、食事できるところのみといった形で表示する対象を絞り込むことと、表示をすっきりさせることができ、ユーザが所望する情報を見つけ易くなる。
【００４９】
また、ユーザ毎に理解する言語等が異なるケースに対応させるために、変換(翻訳)後の言語や標識は、ユーザが変わった際に設定を変更できるように構成しても良い。この構成の場合、同じユーザが車両を利用している一定期間(例えば車両のレンタル期間)は、上記設定が保持されるように構成することが好ましい。
【００５０】
また、カーシェアリングなどのユーザが頻繁に変わるような車両においては、複数パターンの設定を保持可能に構成し、ユーザによって設定を簡単に切り替えられるように構成したり、顔認証などの認証技術を用いてユーザを自動認識して設定を自動切り替えするように構成しても良い。
【００５１】
また、変換(翻訳)や画像マッチングのスピードを上げ、できる限りリアルタイムに処理できるようにするために、辞書データ入力器１０が保持するデータの中から、あらかじめ変換の対象物の言語や標識の候補を絞っておくように構成することが好ましい。この際、予め対象言語や国をユーザに設定させるように構成しても良いし、ＧＰＳを利用した車両位置の検出やマップマッチングの機能を利用して、車両が走行している地域に合わせて自動で設定するように構成しても良い。
【００５２】
また、上記各実施形態では、本発明を車載装置（カーナビゲーションシステム）に適用したが、これに限られるものではなく、スマートフォンやウェアラブルデバイスに適用しても良い。
【符号の説明】
【００５３】
図面中、１はカーナビゲーションシステム、２は位置検出器、３は地図データ入力器、６は表示装置（ディスプレイ）、９は通信モジュール、１０は辞書データ入力器、１１は車載カメラ、１３はヘッドアップディスプレイ（ディスプレイ）、１４は制御回路（補正部、認識部、変換部、表示部）である。
【図１】
2016095688.tif 000003
【図２】
2016095688.tif 000004
【図３】
2016095688.tif 000005
【図４】
2016095688.tif 000006
【図５】
2016095688.tif 000007
【図６】
2016095688.tif 000008
【図７】
2016095688.tif 000009
【図８】
2016095688.tif 000010
【図９】
2016095688.tif 000011
【図１０】
2016095688.tif 000012
【図１１】
2016095688.tif 000013
【図１２】
2016095688.tif 000014
【図１３】
2016095688.tif 000015
【図１４】
2016095688.tif 000016
【図１５】
2016095688.tif 000017
【図１６】
2016095688.tif 000018