(57)【特許請求の範囲】
【請求項１】
サービスに対応したサービス画面を表示部に表示する情報提供装置において、
車両外部の音声情報を集音する集音手段と、
前記集音手段が集音した音声情報を音声認識してテキストデータに変換する音声認識手段と、
前記テキストデータに基づき前記サービス画面の表示態様を変更する画面変更手段と、
を有することを特徴とする情報提供装置。
【請求項２】
現在の位置情報に基づき前記サービスの態様を判定するサービス判定手段を有し、
前記画面変更手段は、前記サービスの態様に基づき前記サービス画面の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。
【請求項３】
前記画面変更手段は、前記テキストデータに含まれる所定表現であって、前記サービス画面に含まれる同じ前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。
【請求項４】
前記画面変更手段は、前記テキストデータに含まれる所定表現であって、前記サービス画面に含まれる同じ前記所定表現を前記サービス画面から削除する、
ことを特徴とする請求項１記載の情報提供装置。
【請求項５】
前記画面変更手段は、前記所定表現を強調するよう前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項３記載の情報提供装置。
【請求項６】
前記サービス画面が、駐車場を提供する前記サービスの駐車場マップである場合、
前記画面変更手段は、前記テキストデータが含む位置情報に対応する、前記駐車場マップの所定位置の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。
【請求項７】
前記サービス画面が、ドライブスルーにおいて飲食物を提供する前記サービスの商品メニューである場合、
前記画面変更手段は、前記テキストデータが含む購入可能な商品又は購入不可の商品の情報に対応する、前記商品メニューの商品の表示態様を変更する、
ことを特徴とする請求項１記載の情報提供装置。
【請求項８】
前記テキストデータの係り受け関係を検出する構造解析部と、
係り受け関係に基づき、前記所定表現にかかる変更指示表現を前記テキストデータから検出する変更方法決定手段と、
前記変更指示表現に対応づけて前記所定表現の表示態様の変更方法を記憶する変更方法記憶手段と、を有し、
前記変更方法決定手段は、前記テキストデータから検出した前記変更指示表現に基づき前記変更方法記憶手段から前記変更方法を読み出し、
前記画面変更手段は、読み出された前記変更方法に基づき前記所定表現又はその周囲の表示態様を変更する、
ことを特徴とする請求項３記載の情報提供装置。
【請求項９】
サービスに対応したサービス画面を表示部に表示する情報提供装置の情報表示方法において、
表示部が前記サービス画面を表示するステップと、
集音手段が、車両外部の音声情報を集音するステップと、
音声認識手段が、前記集音手段が集音した音声情報を音声認識してテキストデータに変換するステップと、
画面変更手段が、前記テキストデータに基づき前記サービス画面を変更するステップと、
を有することを特徴とする情報表示方法。
【請求項１０】
請求項１〜８いずれか１項記載の情報提供装置と、
現在位置を検出する位置検出手段と、
現在位置から所定位置までの経路を検索する経路検索手段と、
道路地図情報を記憶した道路地図情報記憶手段と、
を有することを特徴とするナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に情報を表示する情報提供装置に関し、特に、外部の音声を認識する音声認識手段を備えた情報提供装置情報表示方法及びナビゲーション装置に関する。
【背景技術】
【０００２】
車両を運転中、車内には種々の音が生じ、また、車両外で生じた種々の音や音声（以下、音声情報という）が進入する。乗員は音声情報から車両操作に必要な情報を取捨するが、車両内外のノイズにより聞き取るべき音声情報を聞き漏らすことがある。また、運転免許証は所定の条件を満たせば交付されるが、この条件の中には軽度の聴覚障害は含まれず、運転面書証の交付後に聴覚障害が生じた場合でも運転が禁止されることはない。また、運転免許証は交付する国の言語を完全に理解できなくても交付されることが多い。
【０００３】
しかしながら、運転中は、音声情報により公共サービスが提供されたり、場合によっては外部の人とのコミュニケーションが要求されることがあるため、聴覚や言語能力が十分でないと運転者が不都合を感じる場合がある。また、このような不都合があることは、道路や駐車情報のように公共性が高い環境を利用する乗員に不公平をもたらすと言える。
【０００４】
この点について、外部の音声を集音して、車内の乗員を支援する技術が提案されている（例えば、特許文献１参照。）。特許文献１には、音声情報を音声認識してその内容をディスプレイに表示するナビゲーション装置が記載されている。したがって、乗員は聞き取れなかった音声情報を視覚により把握することができる。
【特許文献１】特開２００３−３２９４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載のナビゲーション装置は、単に音声認識してそれを表示するのみであるので、例えば言語能力に劣る外国人には意味を成さないという問題がある。
【０００６】
本発明は、上記課題に鑑み、車両外部の音声情報を、乗員に理解しやすい態様で伝える情報提供装置、情報表示方法及びナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明は、サービスに対応したサービス画面を表示部に表示する情報提供装置において、車両外部の音声情報を集音する集音手段と、集音手段が集音した音声情報を音声認識してテキストデータに変換する音声認識手段と、テキストデータに基づきサービス画面の表示態様を変更する画面変更手段（例えば、音声情報変更部４５、サービス画面生成部４７）と、を有することを特徴とする。
【０００８】
本発明によれば、音声を認識したテキストデータに基づきサービス画面の表示態様を変更するので、音声情報応じてサービス画面を最適化できる。
【０００９】
また、本発明の一形態において、前記サービス画面が、駐車場を提供する前記サービスの駐車場マップである場合、画面変更手段は、テキストデータが含む位置情報に対応する、駐車場マップの所定位置の表示態様を変更する、ことを特徴とする。
【００１０】
本発明によれば、駐車場の係員が駐車位置を音声で指示した場合、その位置が駐車場マップ上で例えば強調されるため、乗員に駐車位置を把握させやすくすることができる。
【００１１】
また、本発明の一形態において、前記サービス画面が、ドライブスルーにおいて飲食物を提供する前記サービスの商品メニューである場合、画面変更手段は、テキストデータが含む購入可能な商品又は購入不可の商品の情報に対応する、商品メニューの商品の表示態様を変更する、ことを特徴とする。
【００１２】
本発明によれば、店員の音声による商品の選択可否を、表示された商品メニューに反映できるので、乗員に商品毎の購入可否を把握させやすくすることができる。
【発明の効果】
【００１３】
車両外部の音声情報を、乗員に理解しやすい態様で伝える情報提供装置、情報表示方法及びナビゲーション装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について図面を参照しながら実施例を挙げて説明する。
【００１５】
図１は、本実施形態の情報提供装置の概略を説明する図である。例えば、駐車場に駐車する場合、図１（ａ）に示すように駐車場の入り口で車両は駐車場情報を受信する。駐車場情報は、例えば、駐車場マップ、混雑状況、料金情報等である。駐車場情報を受信すると車載装置は図１（ｂ）に示すように駐車場情報をディスプレイに表示する（以下、サービスに特有の情報が表示された画面をサービス画面という）。図１（ｂ）では駐車場マップが表示され、この駐車場は３Ｆまでありそのうち１Ｆ部分は満車であるとことがわかる。
【００１６】
乗員はかかるサービス画面をみて、２Ｆか３Ｆ部分に駐車することができると判断できるが、駐車場の係員や警備員に駐車場所を音声で指定される場合がある。図１（ｂ）では係員に「３階のＡを利用してください」と指定されている。本実施形態の情報提供装置は、かかる音声を音声認識してサービス画面に反映させる。例えば音声から「３階」、「Ａ」という表現（後述の被反映表現）を抽出し、駐車場マップの３ＦのＡという駐車場所が強調されるよう表示態様を変更する。図１（ｃ）ではマルで囲むことで強調表示した。
【００１７】
したがって、音声情報がサービス画面に反映されるので、乗員は音声による指示を把握しやすくなる。また、乗員が難聴者や外国人であったり係員の音声を聞き取れなかった場合でも、音声情報がサービス画面に反映されるので、指示に従った駐車が可能となる。すなわち、本実施形態の情報提供装置は、音声情報をより把握させやすくでき、聴覚や言語能力にかかわらず公平に音声によるサービスを提供することを可能とする。
【００１８】
なお、サービスとは、図１の如く駐車場の提供、飲食物の提供、燃料の提供等であるが、以下では、警察が実施する検問など、直接の利益がない公共サービスを含めサービスという。なお、このようなサービスの種類を以下、サービス態様という。また、係るサービスを提供する施設及び者を含め単にサービス提供者という。
【００１９】
図２は、情報提供装置１００のシステム構成図を示す。情報提供装置１００は、ディスプレイ５２を利用して情報を表示するので例えばナビゲーションシステムにより構成することができる。情報提供装置１００は制御部２０により制御され、現在地や目的地までの誘導情報等を乗員に提供するナビ機能部２００、音声情報から音声を認識する音声認識部３００、音声情報を反映してサービス画面を変更するサービス画面表示部４００、とを有する。なお、ナビ機能部２００、音声認識部３００、及び、サービス画面表示部４００の全て又は一部を別体に構成してもよい。
【００２０】
情報提供装置１００は操作部５１、ディスプレイ５２及びスピーカ５３を有する。操作部５１はキーボード、リモコン、音声入力装置、又は、ディスプレイ５２と一体のタッチパネルなど、ユーザが情報提供装置１００に操作を入力するためのユーザインターフェイスである。ディスプレイ５２は、液晶や有機ＥＬなど表示手段であり後述するように道路地図やサービス画面を表示するために用いられる。スピーカ５３は、目的地までの経路において右折や左折の手前で車両操作を促しユーザを目的地まで案内する音声情報を出力するために用いられる。
【００２１】
〔ナビ機能部２００〕
制御部２０は、ＣＡＮ（controller  area  network）や専用線などを介してＧＰＳ受信機２１、車速センサ２２，ジャイロセンサ２３、地図ＤＢ（Ｄａｔａ  Ｂａｓｅ）２４、と接続されている。また、制御部２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発メモリ及び入手力インターフェイスが内部バスで接続されたコンピュータであって、ＣＰＵがプログラムを実行するか又は所定の演算回路で実現される位置検出部２５、経路検索部２６及び地図描画部２７を有する。
【００２２】
ＧＰＳ受信機２１は、地球の周りを周回する好ましくは４つ以上のＧＰＳ衛星を補足して、各ＧＰＳ衛星からの電波の到達時間に基づき、自車両の位置（緯度・経度・標高）を検出する。また、車速センサ２２は、車両の各輪に備えられたロータの円周上に定間隔で設置された凸部が通過する際の磁束の変化をパルス波形に整形して、単位時間あたりのパルス数に基づき各輪毎に車輪速を計測する。車輪速にタイヤの外径や凸部の間隔に応じて定めた補正値を乗じれば車速が得られる。ジャイロセンサ２３は、例えばマイクロマシニングで形成された震動片型ジャイロセンサであり、車両が路面に対しヨーイング方向に回転する時の加速度を電極間の変化による電圧信号として取り出し、これを積分することで角度、すなわち進行方向に変換する。
【００２３】
地図ＤＢ２４は、緯度や経度などの位置情報に対応づけて道路地図情報を記憶している。道路地図情報は、道路を構成するリンクのリンク情報と、リンクとリンクを接続するノード（交差点）のノード情報とを対応づけたテーブル状のデータベースである。リンク情報にはリンク長、幅員、接続ノード、接続方向等が含まれるため、道路地図情報により道路形状を検出することができる。また、地図ＤＢ２４には、リンク毎に自動車専用道路や一般道などの道路種別、及び、駐車場、飲食店、ドライブスルー付き飲食店、ガソリンリンスタンド、駅等の施設の位置情報が記憶されている。
【００２４】
位置検出部２５は、ＧＰＳ受信機２１が検出した車両の位置情報を起点にして、ジャイロセンサ２３が検出する方向に車速センサ２２が検出する走行距離を累積して、車両の位置を高精度に推定する。なお、車両の周囲の道路地図を利用して、推定された位置に対し最も確からしい道路に車両の位置をマッチングするマップマッチングにより自車両の位置を補正してもよい。
【００２５】
経路検索部２６は、自車両の位置（現在位置）、及び、操作部５１から入力された目的地に基づき現在位置から目的地までの経路を検索する。経路探索部２６は、目的地までの経路となりうるリンクを抽出し、各リンクをリンク長や右左折、幅員、通行規制等に応じたコストに置き換え、これらのコストの積算値が最も小さくなる経路を目的地までの経路と決定する。
【００２６】
地図描画部２７は、ディスプレイ５２に表示する地図画面情報を生成する。地図描画部２７は、現在位置や目的地などを含む道路地図情報を地図ＤＢ２４から抽出し、リンク長、リンク間の接続方向、幅員、道路種別等に従い道路網を形成し、これに、現在位置に自車アイコン、目的地には目的地アイコン、施設に応じたアイコンを配置して地図画面情報を生成する。なお、各リンクや道路以外の市街地、河、海、山などは所定の色情報が設定される。
【００２７】
〔音声認識部３００〕
音声認識部３００について説明する。音声認識は公知の技術を用いることができる。音声認識は、音声情報に音響分析を施して得られた特徴量から、種々の辞書を参照してテキストデータを抽出する手順で行われる。音声認識部３００は、ＣＰＵがプログラムを実行するか又は所定の演算回路で実現されるテキスト変換部３２及びテキスト解析部３３を有する。
【００２８】
集音マイク３１は、車外の音声情報を集音すべくフロントバンパ、リアバンパ、左右のドアミラー等に好ましくは複数配置される。集音マイク３１が集音した音声情報は、電気信号に変換されテキスト変換部３２に入力される。テキスト変換部３２は電気信号を例えばフーリエ変換して音声の認識に有効な特徴量を抽出する。この特徴量は人間の聴覚が音声情報を理解するために有効な音を取り出したものになる。
【００２９】
テキスト解析部３３は、特徴量と発音記号との対応関係を確率で示す音響モデルＤＢ、認識対象となりうる単語を発音記号に対応づけて記憶した単語ＤＢ、いくつかの単語候補から一連の会話の中で用いられることが多い単語を結びつけて記憶した言語モデルＤＢ、等を有する。
【００３０】
テキスト変換部３２は、音響分析により得られた特徴量に基づき、音響モデルＤＢを参照し、候補となりうる一連の発音記号を抽出する。候補となる発音記号は通常複数あるので、テキスト変換部３２は単語ＤＢを参照して、複数の発音記号に対応づけられた単語をそれぞれ抽出する。したがって、発音が似た音声情報でも単語が登録されていない（存在しない、使用頻度が極めて低い）単語が抽出されることはない。
【００３１】
ついで、テキスト変換部３２は、音声情報が含む前後の単語を取り出して、言語モデルＤＢを参照する。音声情報は時系列的にいくつもの単語を有し、それぞれが複数の候補を有するので、時系列の単語間の組み合わせを抽出し、一連の会話の中で用いられない候補の単語を排除する。以上のような処理により、テキスト変換部３２は集音マイク３１が集音した音声情報をテキストデータに変換する。テキストデータはテキスト解析部３３に送出される。
【００３２】
なお、通信装置５４がサービス画面情報を受信した場合、サービス態様がサービス画面情報と共に送信されれば、サービス態様に基づき認識対象の単語を絞り込むことができる。
【００３３】
テキスト解析部３３は、入力されたテキストデータに対し、形態素解析の解析結果に基づきテキスデータから係り受け関係を検出する。形態素解析では辞書を参照して、テキストデータに含まれる単語から例えば自立語と付属語を抽出する。係り受け解析ではテキストデータに含まれる文節を解析し、係りと受けの関係にある文節間の関係を抽出する。これにより、テキストデータが含む単語、単語間の係り受け情報が得られる。なお、一般的なテキスト解析では品詞も特定できる。
【００３４】
以上により、集音マイク３１が集音した音声情報から、単語（特に自立語）及び係り受け関係を取得することができる（以下、音声情報を認識して得られたデータをテキストデータといい、テキストデータには係り受け関係の情報を含むものとする。）。
【００３５】
〔サービス画面表示部４００〕
サービス画面表示部４００について説明する。サービス画面表示部４００は、通信装置５４が受信したサービス画面情報によりそのままサービス画面をディスプレイ５２に表示するフェーズと、テキストデータの内容を反映したサービス画面を表示するフェーズとがある。なお、サービス画面表示部４００は、ＣＰＵがプログラムを実行するか又は所定の演算回路で実現されるサービス判定部４１、反映方法決定部４３、音声情報反映部４５、選択禁止部４６、サービス画面生成部４７及び画面制御部４８を有する。また、メモリにはサービステキストＤＢ４２及び反映情報ＤＢ４４が記憶されている。
【００３６】
＜サービス画面をそのままディスプレイ５２に表示するフェーズ＞
通信装置５４は、例えば、相手側の通信装置との距離が所定以内の比較的狭い狭域通信（ＤＳＲＣ（Dedicated  Short  Range  Communication））で通信する。例えば自動車専用道の料金所に設けられた通信装置と通信するため車両がＥＴＣ（Electronic  Toll  Collection  System）装置を搭載している場合、通信装置５４はこれと兼用することができる。通信装置５４は、サービス提供者の通信エリアに入ると自動的に通信を開始し、５．８ＧＨｚ帯の搬送波をＡＳＫ変調やＱＰＳＫ変調して、ベースバンド信号を取り出しこれを復号してデジタルデータを取得する。そして、デジタルデータに所定のプロトコル（例えばＴＣＰ／ＩＰ）処理を施し、サービス画面情報を受信する。なお、無線ＬＡＮ、ブルートゥース、ワイヤレスＵＳＢ等、どのような通信方法を用いてもよい。
【００３７】
・サービス画面情報
サービス画面情報は、例えばＨＴＭＬやＸＭＬファイルなど汎用性のあるフォーマットで送信されることが好ましい。このようなフォーマットで送信されたサービス画面情報であれば、サービス画面生成部４７はホームページ等をディスプレイ５２に表示する場合に用いられるブラウザエンジンによりサービス画面を生成できるのでコストを抑制できる。
【００３８】
なお、サービス画面をテキストフォーマット、ビットマップデータ、ＪＰＥＧデータ、ＭＰＥＧデータ等のフォーマットで送信してもよい。一般的なフォーマットであるテキストフォーマット又はビットマップデータであればそのままディスプレイ５２に表示することができ、ＪＰＥＧデータやＭＰＥＧデータであってもデコーダの入手が容易であるので、サービス画面情報を受信したが表示できないといったことを防止できる。
【００３９】
ところで、サービス画面情報と共に、サービス画面上の位置情報と位置情報に対応づけられた操作入力情報を通信装置５４が受信する場合がある。これは、ディスプレイ５２がタッチパネルの場合に、乗員が触れた位置情報に応じてその操作入力情報を検出するためである。サービス画面生成部４７は、ユーザが触れたディスプレイ５２上の位置情報に基づき操作入力情報を特定し、その操作入力情報をユーザの指示（例えば、「確定ボタン」に触れる）に従い通信装置５４を介してサービス提供者に送信する。したがって、サービス画面により商品や飲食物がディスプレイ５２に表示され、乗員が画面に触れて選択した場合、乗員が選択した商品や飲食物の操作入力情報をサービス提供者に送信することができる。
【００４０】
・画面の切り替え
画面制御部４８は、ディスプレイ５２に表示する画面を、地図描画部２７が生成した地図画面とサービス画面生成部４７が生成したサービス画面とに切り替える。なお、画面制御部４８は、ＶＩＣＳ受信機が例えばＶＩＣＳ（Vehicle  Information  and  Communication  System）から交通情報を受信したときには、優先的にディスプレイ５２に表示する画面を交通情報に切り替えたり、乗員の操作に供するメニュー画面、音楽や映像の再生画面等、情報提供装置１００の使用態様に応じて画面を切り替える。
【００４１】
地図画面とサービス画面の場合、画面制御部４８は、初期状態では地図画面をディスプレイ５２に表示し、通信装置５４がサービス画面情報を受信したら、サービス画面情報に優先的に切り替える。その後は、乗員が操作部５１から地図画面に戻す操作を入力するか、所定時間が経過することで、自動的に地図画面にもどる。なお、地図画面とサービス画面を完全に切り替えるのでなく、地図画面上にサービス画面を重畳表示してもよい。サービス画面がそれほど大きくなければ又は縮小することが可能であれば、ユーザはサービス画面を確認しながら地図画面を視認することができる。また、重畳表示する場合、表面側の画面（例えば、サービス画面）を半透明に色変換してもよい。
【００４２】
＜テキストデータの内容を反映したサービス画面を表示するフェーズ＞
・サービス態様
まず、サービス態様の判定について説明する。上述したように、通信装置５４がサービス画面情報を受信した際にサービス態様がサービス画面情報と共に送信された場合、これをそのままサービス態様とすることができる。
【００４３】
サービス態様が得られなかった場合、いくつかの方法でテキストデータをどのようにサービス画面に反映すべきかを推定することができる。例えば、位置検出部２５が検出する位置情報に基づき地図ＤＢ２４を参照し、そこが駐車場であればサービス態様は駐車場の提供であることが、ガソリンスタンドであればサービス態様は燃料の提供であることが、飲食店であればサービス態様は飲食物の提供であることが検知できる。
【００４４】
サービス態様がサービス画面情報と共に送信されない、又は、位置情報からサービス態様を検知できない場合、サービス判定部４１はサービス毎に典型的なサービス用語を記憶したサービステキストＤＢ４２を参照してサービス態様を判定する。図３はサービス態様に対応づけたサービス用語の一例を示す。サービス判定部４１は、テキストデータに含まれる単語をサービステキストＤＢ４２から検索し、サービス態様を判定する。例えば、テキストデータに「駐車」という単語が含まれていれば、サービス態様は駐車場の提供であり、「いらっしゃいませ」という単語が含まれていれば、サービス態様は飲食物の提供であり、「レギュラー」という単語が含まれていれば、サービス態様は燃料の提供であり、「免許証」という単語が含まれていれば、サービス態様は検問である。
【００４５】
このように、サービス態様を正確に検出することで、i)サービス画面の表示態様の変更が容易になり、ii）サービス態様に応じてテキストデータの内容をサービス画面に反映させることができるようになる。
【００４６】
例えば、サービス態様が駐車場の提供と判明した場合、「３階のＡに駐車してください」という音声情報から「３階」「Ａ」等の場所に係る被反映表現を検出し、例えばサービス画面に同じテキストがあれば「３階」「Ａ」を強調することができる。また、サービス態様が飲食物の提供と判明した場合、「コーヒーはいかがですか」という音声情報から「コーヒー」という商品名に係る被反映表現を検出し、例えばサービス画面に同じテキストがあれば「コーヒー」を強調することができる。この場合、被反映表現は例えばサービステキストＤＢ４２にサービス態様毎に登録しておく。
【００４７】
また、例えば、サービス態様が判明すれば、情報提供装置１００はより適切にサービス画面を変更することができるようになる。例えば、サービス態様が駐車場の提供では強調を簡易にすればよいし、飲食物の提供ではより目立つ表示態様に変更することが可能となる。
【００４８】
・サービス画面の表示態様の変更（反映方法の決定）
サービス態様に基づき被反映表現を抽出した場合、反映方法決定部４２は例えばサービステキストＤＢ４２に登録された反映方法に従い、反映方法を決定すればよい。しかしながら、サービス態様にのみ基づき反映方法を決定すると、適切な反映が困難となる場合がある。例えば、駐車場の提供において「３階に駐車してください」という音声情報と「３階は満車です」という音声情報では、いずれも「３階」を強調してしまう。満車の場合はサービス画面の「３階」を強調すべきでないと考えられる。同様のことが飲食物の提供にも当てはまり、「コーヒーはいかがですか」という音声情報と「おもちゃセットは品切れです」という音声情報では、「コーヒー」は強調すべきであるが、「おもちゃセット」は強調すべきでないと考えられる。
【００４９】
そこで、本実施形態では、テキストデータを解析してより適切な表示態様の変更方法を決定する。反映方法決定部４３は、テキスト解析部３３が解析した係り受け情報を含むテキストデータに基づき反映方法を決定する。
【００５０】
反映方法決定部４３は、図４に示す反映情報ＤＢ４４に登録された反映方法を参照して反映方法を決定する。図４では、サービス態様毎に、反映指示表現、被反映表現、反映方法、が登録されている。反映指示表現は、テキストデータに含まれる依頼、指示、要求、情報伝達、等を伝えるための表現である。例えば、「して下さい」は、依頼、指示、要求に相当し、「品切れ」「お得です」は情報伝達に相当し、「〜は如何ですか」は推奨に相当する。反映方法決定部４３は、まずこのような反映指示表現がテキストデータに含まれていることを検出する。
【００５１】
反映指示表現があった場合、反映方法決定部４３はテキスト解析部３３が検出した係り受け関係を利用して被反映表現を決定する。被反映表現は、反映指示表現にかかる文節又は文節中の自立語である。例えば、「３階のＡの駐車場を利用して下さい」の例文では、「利用して下さい」という反映指示表現に、「駐車場を」という文節がかかる。したがって、「駐車場を」の自立語である「駐車場」が被反映表現となる。また、「駐車場を」には「Ａの」がかかり、「Ａの」には「３Ｆの」がかかる。このように係り受け関係が連鎖している場合は、その全てを抽出する。したがって「駐車場」「Ａ」「３階」が被反映表現となる。
【００５２】
そして、反映方法決定部４３は、反映指示表現に基づき反映方法を決定する。例えば、「して下さい」のような依頼の反映指示表現では、被反映表現が重要であることになるので被反映表現を強調する。図４に示すように、反映指示表現に対応づけて、強調、推奨、削除、選択不能、情報伝達の反映方法が登録されているので、反映指示表現に適切な方法で被反映表現の表示態様を変更することができる。
【００５３】
・サービス画面へのテキストデータの内容の反映
音声情報反映部４５は、テキストデータの内容をサービス画面に反映させる。図５は、被反映表現への反映例を示す図である。音声情報反映部４５は、反映方法決定部４３から被反映表現と反映方法を取得し、強調するよう被反映表現を変更したり、被反映表現を削除したり、被反映表現が推奨されるよう被反映表現を変更する。なお、被反映表現が複数ある場合、全ての被反映表現を対象にしてもよいし、その一部を対象にしてもよい。
【００５４】
図５では、全てのサービス画面に「○△□」という被反映表現が含まれているとして説明している。「○△□」はテキストデータの一部である。図５（ａ）に示すように、テキストデータが「○△□に行って下さい」であって反映方法が強調であれば、音声情報反映部４５は「○△□」に例えば下線を付す。また、例えば、図５（ｂ）に示すように、テキストデータが「○△□はお勧めです」であって反映方法が推奨の場合、音声情報反映部４５は「○△□」を□で囲う。
【００５５】
また、図５（ｃ）に示すように、テキストデータが「○△□は女性限定です」であって反映方法が強い強調の場合、音声情報反映部４５は「○△□」の色を変える。女性らしい色で表示してもよい。また、反映方法が強い強調の場合、図５（ｄ）に示すように、「○△□」を目立たせるため「○△□」を点滅表示する。なお、強調や推奨の場合、被反映表現の太さを太くしたり、書体を変えてもよい。
【００５６】
また、図５（ｅ）に示すように、テキストデータが「○△□は品切れです」の場合であって反映方法が削除や選択不能の場合、音声情報反映部４５は「○△□」をサービス画面から削除したり選択不能にする。図５（ｆ）に示すように、テキストデータが「○△□は１０％引きです」であって反映方法が情報伝達の場合、音声情報反映部４５は「○△□」の例えば下部に「１０％引き」のように補足説明を追加して表示する。
【００５７】
ところで、音声情報反映部４５がテキストデータの内容を反映するには、サービス画面における被反映表現の「○△□」の場所を検出する必要がある。この場合サービス画面情報がＨＴＭＬやＸＭＬであれば、これらのファイル中に「○△□」のテキストがそのまま含まれているので、被反映表現を容易に検出することができる。
【００５８】
また、音声情報反映部４５がテキストデータの内容を被反映表現に反映するには、検出した反映対象の「○△□」又はその周囲に反映処理を施す必要がある。反映の例は図５に示した通りであるが、この場合もサービス画面情報がＨＴＭＬやＸＭＬの場合、容易に反映処理を施すことができる。
【００５９】
例えば、被反映表現に下線を付す場合、ＸＭＬではＵ要素がサポートされているので、＜ｕ＞○△□＜／ｕ＞と記述することでサービス画面上の「○△□」に下線を付すことができる。
【００６０】
例えば、被反映表現を囲む（背景色を変える）場合、ＨＴＭＬ及びＸＭＬでは<SPAN  STYLE="background-color:#ＸＸＸＸ">○△□</SPAN>  と記述することで、サービス画面上の○△□の背景色を指定でき、○△□が囲まれたように表示することができる（ＸＸＸＸは色を指定する１６進数）。
【００６１】
例えば、被反映表現の色を変える場合、ＨＴＭＬ及びＸＭＬでは<font  color=#ＸＸＸＸ>○△□</font>と記述することで、サービス画面上の「○△□」の色を変えることができる。
【００６２】
例えば、被反映表現を点滅させる場合、ＸＭＬでは<blink>○△□</blink>と記述することで、サービス画面上の「○△□」を点滅させることができる。
【００６３】
また、削除する場合はＨＴＭＬ又はＸＭＬの該当する記述を削除するか注釈行にし、補足説明を追加する場合は記述を追加する。なお、選択不能にする場合、表示はそのままでもよいしサービス画面から削除してもよいが、表示した状態で選択不能とする場合、被反映表現を目立たない色などに変更することが好ましい。
【００６４】
これに対し、サービス画面情報がビットマップデータやＪＰＥＧ、ＭＰＥＧ等で送信された場合、ビットマップデータやＪＰＥＧ、ＭＰＥＧの画像データから被反映表現の「○△□」を検出する。検出には例えばＯＣＲ（Optical  Character  Recognition）の技術を用いる。ＪＰＥＧ又はＭＰＥＧの場合、まず、ビットマップデータに変換する。そしてビットマップデータにエッジ処理を施し、被反映表現の輪郭が強調されたエッジ画像にＯＣＲを施す。これにより、サービス画面内の文字や数字を抽出でき、例えば「○△□」で検索することでサービス画面内の「○△□」を検出できる。
【００６５】
また、サービス画面情報が、ビットマップデータ、ＪＰＥＧ又はＭＰＥＧであった場合、音声情報反映部４５がテキストデータの内容を反映するには、○△□の外接矩形に所定のマージンを設けて切り出し、切り出した領域に所望の反映処理を施し、サービス画面上の元の位置に配置する。
【００６６】
例えば、下線を付す場合は、「○△□」を構成する最下部の画素から一定距離離れた位置の、所定幅の画素を例えば黒で置き換える。これにより、「○△□」に下線を付すことができる。なお、下線等の色は背景色と異なることが好ましいので、下線の色は例えばＸＹＺ表色系で背景色と所定距離離れた色とする。
【００６７】
同様に、「○△□」を囲う画素の色を置き換えれば「○△□」を囲むことができ、「○△□」を構成する画素の色を変えれば「○△□」の色を変えることができ、「○△□」を構成する画素の色を背景色と同じにした切り出し領域と元の切り出し領域を所定時間毎に切り替えて表示することで、「○△□」を点滅させることができる。削除する場合は「○△□」を構成する画素の色を背景色と同じ色にし、補足説明を追加する場合は「○△□」の下部に「お得」などの文字をビットマップで表示する。
【００６８】
・操作の禁止
サービス画面生成部４７がサービス画面情報と共に操作入力情報を取得した場合であって、反映方法が選択不能であった場合、選択禁止部４６はサービス画面生成部４７に、その被反映表現を操作する操作入力情報（すなわち、位置情報の入力）があってもその操作の受付を禁止するよう要求する。したがって、音声情報で「品切れ」等が知らされたメニューの選択を禁止することができる。
【００６９】
〔駐車場のサービス画面〕
以上の構成を用いて、駐車場のサービス画面についてより具体的に説明する。図６は、表示されたサービス画面にテキストデータの内容を反映する手順を示すフローチャート図である。図６のフローチャート図は、例えば通信装置５４がサービスの提供者と通信するとスタートする。
【００７０】
まず、サービス画面生成部４７はサービス提供者から通信装置５４を介しサービス画面情報を取得する（Ｓ１０）。取得するとサービス画面生成部４７は、サービス画面情報を解釈し画面制御部４８に送出し、画面制御部４８はサービス画面をディスプレイ５２に表示する（Ｓ２０）。後続のサービス画面情報を取得する場合は、順次、サービス画面情報を画面制御部４８に送出する。駐車場であれば、図１（ｂ）に示すような駐車場マップ等がディスプレイ５２に表示される。
【００７１】
ついで、音声情報反映部４５は、集音マイク３１が外部からの音声情報を集音したか否かを判定する（Ｓ３０）。
【００７２】
集音マイク３１が、例えば「３階のＡを利用して下さい」という音声情報を受信した場合（Ｓ３０のＹｅｓ）、音声認識部３００は音声情報をテキストデータに変換する（Ｓ４０）。そして、反映方法決定部４３は図４のような反映情報ＤＢ４４を参照し、テキストデータに反映指示表現があるか否かを判定する（Ｓ５０）。反映指示表現があれば、反映方法決定部４３は被反映表現と反映方法を音声情報反映部４５に送出する。
【００７３】
反映指示表現がテキストデータに含まれる場合（Ｓ５０のＹｅｓ）、音声情報反映部４５は被反映表現と反映方法に基づき被反映表現の強調等をサービス画面に反映させる（Ｓ６０）。
反映指示表現：「利用して下さい」
被反映表現：「駐車」「３階」「Ａ」
反映方法：強調
図１（ｃ）では、サービス画面の「Ａ」という被反映表現が強調される。すなわち、「駐車」「３階」はサービス画面にないので、サービス画面にある「Ａ」が強調されることになる。
【００７４】
乗員は、図１（ｃ）のように音声情報が反映されたディスプレイ５２を視認することで、駐車場の位置を容易に把握することが可能となる。
【００７５】
以降は、乗員は音声情報が反映されたサービス画面又は反映されないサービス画面を視認して、例えば駐車場マップを見ながら目的の駐車区画に駐車したり、例えば駐車位置をサービス提供者に報告するなどの操作を行う（Ｓ７０）。
【００７６】
駐車区画への駐車をサービス提供者が検出してサービス画面等の提供を停止したり、乗員が操作してサービス画面を終了させると（Ｓ８０）、図６の処理は終了する。
【００７７】
以上のように、本実施形態の情報提供装置１００はナビシステム等が受信した情報だけではカバーできない音声情報を、ディスプレイ５２に反映して表示できるので表示する情報量を向上させることができる。また、難聴者や言語能力が劣る乗員に対しても公平なサービスを提供することができる。音声認識したテキストデータをそのまま表示するわけではないので、外国人にも公平に情報を提供できる。
【００７８】
〔ドライブスルーのサービス画面〕
ドライブスルーのサービス画面について図７の画面遷移に基づき具体的に説明する。なお、フローチャート図は図６と同様であるので省略する。ドライブスルーにおけるサービス画面はメニュー画面が多く、また、サービス画面からメニューを選択できるようになっている。
【００７９】
車両がドライブスルーに到着すると、その入り口付近に設けられた通信部から通信装置５４はサービス画面情報を受信する（Ｓ１０）。画面制御部４８は、例えばそれまで表示していた道路地図画面をサービス画面に切り替える。これにより、図７（ａ）の如くサービス画面が表示される（Ｓ２０）。図７（ａ）ではハンバーガーショップのメニューの一部が表示されており、乗員は所望の商品をタッチパネル等の操作部５１から選択する。
【００８０】
サービス画面の表示に前後して、ハンバーガーショップの店員が音声を発声することがある（Ｓ３０）。これにより、この店舗にしかない限定サービスやシステム改修が追いついていないため表示されないメニュー等の情報を、乗員は聴覚を介し把握できる。例えば、店員が「おもちゃセットは品切れです」と発声した場合、音声情報反映部４５はテキストデータから「品切れ」という反映指示表現を検出し、反映情報ＤＢ４４を参照して、被反映表現と反映方法を読み出す（Ｓ４０、Ｓ５０）。
反映指示表現：「品切れ」
被反映表現：「おもちゃセット」
反映方法：「選択不能」
選択不能とする場合、まず、音声情報反映部４５は被反映表現又は被反映表現を囲む所定領域の色を目立たない色に変更する（Ｓ６０）。目立たない色は背景色に対し、例えば同系統の色（例えば背景がグレーに対し、より薄いグレーにする）である。これにより、図７（ｂ）に示すようにサービス画面の「おもちゃセット」の商品が色を変えて表示される。
【００８１】
したがって、店員の音声による商品の選択可否を、表示された商品に反映できるので、乗員に商品毎の購入可否を把握させやすくすることができる。
【００８２】
また、選択禁止部４６はサービス画面生成部４７に「おもちゃセット」の選択を禁止する。サービス画面生成部４７は、「おもちゃセット」の位置情報を記憶しているので、乗員が「おもちゃセット」をタッチパネル等から選択しても、それを無視する。すなわち、選択されたとして扱わない。なお、選択不能の商品が乗員により選択された場合、「おもちゃセットは品切れです」等の音声情報をスピーカ５３から出力してもよいし、ディスプレイ５２に表示してもよい。乗員は、選択できない理由を改めて把握することができる。
【００８３】
乗員が選択可能な商品から所望の商品を選択した場合（Ｓ７０）、サービス画面生成部４７は乗員が選択したメニューをサービス画面上の位置情報から検出し、通信装置５４を介してサービス提供者に送信する。
【００８４】
このように、サービス提供者と車両との間で双方向に送受信される表示情報に対しても、音声情報の内容を反映させることができる。
【００８５】
以上説明したように、本実施形態の情報提供装置１００は、音声情報がサービス画面に反映されるので、乗員に音声による情報を把握させやすくすることができる。
【図面の簡単な説明】
【００８６】
【図１】情報提供装置の概略を説明する図である。
【図２】情報提供装置のシステム構成図の一例である。
【図３】サービス態様に対応づけたサービス用語の一例を示す図である。
【図４】反映情報ＤＢの一例を示す図である。
【図５】被反映表現への反映例を示す図である
【図６】表示されたサービス画面にテキストデータの内容を反映する手順を示すフローチャート図である。
【図７】ドライブスルーにおけるサービス画面の遷移例を示す図である。
【符号の説明】
【００８７】
２０    制御部
３１    集音マイク
３２    テキスト変換部
３３    テキスト解析部
４１    サービス判定部
４２    サービステキストＤＢ
４３    反映方法決定部
４４    反映情報ＤＢ
４５    音声情報反映部
４６    選択禁止部
４７    サービス画面生成部
４８    画面制御部
１００  情報提供装置
【図１】
0004930407.tif 000002
【図２】
0004930407.tif 000003
【図３】
0004930407.tif 000004
【図４】
0004930407.tif 000005
【図５】
0004930407.tif 000006
【図６】
0004930407.tif 000007
【図７】
0004930407.tif 000008