(57)【要約】【課題】  音声認識中に車両の方位が変化しても、車両周辺を撮影した画像からユーザの意図する対象物を特定し易くする。【解決手段】  音声認識の開始時に車両周辺を複数のカメラで撮影した画像を取り込む（Ｓ１０６）とともに、音声認識の開始時と終了時の自車の方位の変化量を算出し（Ｓ１１２）、自車の方位の変化量と画像を取り込むタイミングとに基づいて優先度が定義されたテーブルを用いて音声認識によって認識された対象物が含まれると推定される画像の優先度を決定し（Ｓ１１４）、対象物と推定される画像領域が複数検出された場合、決定した優先度に従って複数の画像領域の候補を表示部に表示させ、ユーザに意図する対象物を選択させる（Ｓ２１２）【選択図】        図１
2006343829.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された複数のカメラを用いて車両周辺を撮影する車両周辺撮影装置であって、
ユーザの発話した音声を認識する音声認識機能の開始時と終了時の自車の方位の変化量を算出する方位変化量算出手段と、
前記ユーザの発話に基づいた所定のタイミングで前記車両周辺を複数のカメラで撮影した画像を取り込む画像取込手段と、
前記自車の方位の変化量と前記音声認識によって認識された対象物の方位と前記画像取込手段により画像の取り込まれた前記所定のタイミングとに基づいて前記音声認識によって認識された対象物が含まれると推定される画像の優先度が定義されたテーブルを記憶する記憶手段と、
前記記憶手段に記憶された前記テーブルを用いて前記音声認識によって認識された対象物が含まれると推定される順に、前記画像取込手段により取り込まれた画像の優先度を決定する優先度決定手段と、
前記画像取込手段によって取り込まれた前記画像の中から前記音声認識によって認識された対象物と推定される画像領域を検出する画像領域検出手段と、
前記画像領域検出手段によって複数の画像領域が検出された場合、前記優先度決定手段によって決定された前記優先度に従って前記複数の画像領域の候補を表示部に表示させ、前記表示部に表示された画像領域の中からユーザの意図する対象物を選択させる選択手段と、を備えたことを特徴とする車両周辺撮影装置。
【請求項２】
前記所定のタイミングは、音声認識開始時又は音声認識終了時であることを特徴とする請求項１に記載の車両周辺撮影装置。
【請求項３】
前記音声認識の開始時の自車の方位を算出する第１の方位算出手段と、
前記音声認識の終了時の自車の方位を算出する第２の方位算出手段と、を備え、
前記方位変化量算出手段は、前記第１の方位算出手段によって算出された自車の方位と前記第２の方位算出手段によって算出された自車の方位に基づいて前記音声認識の開始時と終了時の自車の方位の変化量を算出することを特徴とする請求項１または２に記載の車両周辺撮影装置。
【請求項４】
前記車両周辺の撮影時の状況を取得する状況取得手段と、
前記状況取得手段によって取得された前記車両周辺の撮影時の状況に応じて前記音声認識によって認識された色の検出範囲を補正する色補正手段を備え、
前記画像領域検出手段は、前記色補正手段によって補正された前記色の検出範囲に基づいて前記画像取込手段によって取り込まれた画像の中から前記音声認識によって認識された対象物と推定される画像領域を検出することを特徴とする請求項１ないし３のいずれか１つ記載の車両周辺撮影装置。
【請求項５】
前記状況取得手段は、前記車両周辺の対象物の撮影時の時間帯を取得し、
前記色補正手段は、前記状況取得手段によって取得された時間帯に応じて前記音声認識によって認識された色の検出範囲を補正することを特徴とする請求項４に記載の車両周辺撮影装置。
【請求項６】
前記状況取得手段は、前記車両周辺の対象物の撮影時の天気を取得し、
前記色補正手段は、前記状況取得手段によって取得された天気に応じて前記音声認識によって認識された色の検出範囲を補正することを特徴とする請求項４または５に記載の車両周辺撮影装置。
【請求項７】
詳細情報を検索する検索機能を有するサーバと通信する通信手段と、
前記選択手段によって選択された前記対象物の画像領域の画像データを前記通信手段を介して前記サーバに送信する送信手段と、
前記送信手段から送信した前記画像データに基づいて前記サーバによって検索された前記対象物の詳細情報を前記通信手段を介して取得する取得手段と、
前記取得手段によって取得された前記対象物の詳細情報をユーザに提供する情報提供手段と、を備えたことを特徴とする請求項１ないし６のいずれか１つに記載の車両周辺撮影装置。
【請求項８】
車両に搭載された複数のカメラを用いて車両周辺を撮影する車両周辺撮影方法であって、
ユーザの発話した音声を認識する音声認識機能の開始時と終了時の自車の方位の変化量を算出し、
前記ユーザの発話に基づいた所定のタイミングで前記車両周辺を複数のカメラで撮影した画像を取り込み、
前記自車の方位の変化量と前記音声認識によって認識された対象物の方位と前記画像を取り込むタイミングとに基づいて前記音声認識によって認識された対象物が含まれると推定される画像の優先度が定義されたテーブルを用いて前記音声認識によって認識された対象物が含まれると推定される順に、前記画像取込手段により取り込まれた画像の優先度を決定し、
前記取り込んだ画像の中から前記音声認識によって認識された対象物と推定される画像領域を検出し、
複数の画像領域が検出された場合、前記決定した優先度に従って前記複数の画像領域の候補を表示部に表示させ、前記表示部に表示された画像領域の中からユーザの意図する対象物を選択させることを特徴とする車両周辺撮影方法。
【請求項９】
前記所定のタイミングは、音声認識開始時又は音声認識終了時であることを特徴とする請求項８に記載の車両周辺撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された複数のカメラを用いて車両周辺を撮影する車両周辺撮影装置および車両に搭載された複数のカメラを用いて車両周辺を撮影する車両周辺撮影方法に関する。
【背景技術】
【０００２】
従来、車両に搭載されたカメラを用いて車両周辺を撮影する車両周辺撮影装置として、ユーザの発話を音声認識して撮影方向やカメラの作動制御ができるようになったものが提案されている（例えば、特許文献１参照）。
【特許文献１】特開平８−２９７７３６号公報（段落番号００１９〜００２１）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に記載したようにユーザの音声を音声認識することにより車両周辺の状況をカメラ撮影する場合、以下のような問題が発生する。
【０００４】
例えば、交差点の手前でユーザが前方の標識を見て「前方の標識は何？」と発話しながら交差点を右折し、交差点を右折し終わった時点で音声認識が終了し、この音声認識の終了に応じて車両周辺の画像を撮影するような場合、「標識」は車両前方を撮影するカメラによって撮影された画像ではなく、車両左側を撮影するカメラによって撮影された画像に含まれる場合がある。
【０００５】
このように音声認識により車両周辺の状況をカメラ撮影する場合、ユーザの発話を音声認識している間に車両の方位が変化すると、ユーザの意図する対象物を特定できなくなってしまうといった状況が考えられる。
【０００６】
そこで、車両周辺の撮影画像から音声認識によって認識された対象物と推定される画像領域が複数検索された場合、これらの画像領域を表示画面に表示させ、ユーザに意図する対象物を選択させるといった方法が考えられる。しかし、複数の画像領域を一律に表示画面に表示させたのでは、意図する対象物を特定し難いといった問題がある。
【０００７】
本発明は上記問題に鑑みたもので、車両周辺を撮影した画像領域からユーザの意図する対象物を特定し易くすることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の発明では、ユーザの発話した音声を認識する音声認識機能の開始時と終了時の自車の方位の変化量を算出し、前記ユーザの発話に基づいた所定のタイミングで前記車両周辺を複数のカメラで撮影した画像を取り込み、前記自車の方位の変化量と前記音声認識によって認識された対象物の方位と前記画像を取り込むタイミングとに基づいて前記音声認識によって認識された対象物が含まれると推定される画像の優先度が定義されたテーブルを用いて前記音声認識によって認識された対象物が含まれると推定される順に、前記画像取込手段により取り込まれた画像の優先度を決定し、前記取り込んだ画像の中から前記音声認識によって認識された対象物と推定される画像領域を検出し、複数の画像領域が検出された場合、前記決定した優先度に従って前記複数の画像領域の候補を表示部に表示させ、前記表示部に表示された画像領域の中からユーザの意図する対象物を選択させることを特徴としている。
【０００９】
したがって、表示部には、優先度に従って音声認識によって認識された対象物が含まれると推定される画像領域の候補が表示部に表示されるので、ユーザの意図する対象物を特定し易くすることができる。
【００１０】
また、ユーザの発話に基づいた所定のタイミングとしては、請求項２に記載の発明のように、音声認識開始時または音声認識終了時とすることができる。
【００１１】
ここで、音声認識の開始時に取り込まれた車両周辺の画像とは、音声認識の開始時に車両周辺を複数のカメラで撮影した画像を取り込んだ画像だけでなく、音声認識の開始前より車両周辺を複数のカメラで撮影した動画像を記憶媒体に記憶しておき、音声認識の終了時に音声認識の開始時の画像を記憶媒体から取り込んだ画像も含む。
【００１２】
また、請求項４〜６に記載の発明では、車両周辺の撮影時の状況を取得し、取得した車両周辺の撮影時の状況に応じて音声認識によって認識された色の検出範囲を補正し、補正した色の検出範囲に基づいて画像取込手段によって取り込まれた画像の中から音声認識によって認識された対象物と推定される画像領域を検出することを特徴としている。
【００１３】
したがって、車両周辺の撮影時の状況により、取り込んだ画像の色が実際の色と異なる場合であっても、ユーザの意図する対象物を特定することが可能である。
【００１４】
また、請求項７に記載の発明では、対象物の画像領域の画像データを通信手段を介してサーバに送信し、送信した画像データに基づいてサーバによって検索された対象物の詳細情報を取得し、取得した対象物の詳細情報をユーザに提供することを特徴としている。
【００１５】
このように、対象物の画像領域の画像データをサーバに送信し、送信した画像データに基づいてサーバによって検索された対象物の詳細情報を取得するので、対象物の詳細情報が車両周辺撮影装置内の記憶媒体に記憶されていなくても、サーバから対象物の詳細情報を取得してユーザに提供することができる。
【発明を実施するための最良の形態】
【００１６】
（第１実施形態）
本発明の第１実施形態に係る情報提供システムの概略構成を図１に示す。情報提供システムは、車両周辺撮像装置としてのナビゲーション装置１とサーバ２によって構成されている。このように、本実施形態では、ナビゲーション装置１を用いて車両周辺撮像装置を構成している。
【００１７】
ナビゲーション装置１は、リモコンセンサ１０、タッチパネル１１、音声認識部１２、音声合成部１３、表示装置１４、ディスプレイ１４ａ、位置検出器１５、外部記憶装置１６、通信機器接続装置１７および制御回路１８を備えている。
【００１８】
また、制御回路１８には、車両周辺の状況を撮影する車載カメラ１９が接続され、音声認識部１２にはマイク１２ａが接続され、音声合成部１３にはスピーカ１３ａが接続されている。
【００１９】
リモコンセンサ１０は、ユーザの操作に基づいて赤外線等による無線信号を送信するリモコン１０ａから受信した信号を制御回路１８へ出力する。
【００２０】
タッチパネル１１は、ディスプレイ１４ａの表示画面に重ねて設けられ、ユーザのタッチ操作に応じた信号を制御回路１８へ出力する。
【００２１】
音声認識部１２は、マイク１２ａから入力される音声信号からユーザの音声を認識して当該音声に含まれる言語を抽出し、制御回路１８へ出力する。
【００２２】
音声合成部１３は、制御回路１８から入力される信号に基づいて音声出力のための音声信号を生成し、生成した音声信号をスピーカ１３ａへ出力する。
【００２３】
表示装置１４は、制御回路１８からの映像信号に応じてＬＥＤ、ＬＣＤ等のディスプレイ１４ａの表示部に当該映像を表示させる。
【００２４】
位置検出器１５は、ＧＰＳ受信機、ジャイロセンサ、車速センサ、加速度センサ等のセンサを有しており、これらセンサの各々の性質に基づいた自車の位置や方位（向き）を特定するための測位信号を制御回路１８に出力する。
【００２５】
外部記憶装置１６は、ＣＤ−ＲＯＭ、ＤＶＤ、メモリカード等の外部記憶媒体に対して、データの読み出しおよび可能であればデータの書き込みの制御を行う。上記外部記憶媒体が記憶している情報としては、マップマッチング用データ、地図データ等がある。
【００２６】
通信機器接続装置１７は、通信機器３を接続するための装置である。通信機器接続装置１７には通信機器３が接続され、この通信機器３を介してナビゲーション装置１とサーバ２との間で双方向の通信を行うようになっている。なお、通信機器３としては、携帯電話が用いられている。
【００２７】
制御回路１８は、ＲＯＭ、ＲＡＭ等のメモリ、ＣＰＵ等を有するコンピュータによって構成され、ＲＯＭに記憶されたプログラムに従って各種処理を実行する。具体的には、位置検出器１５から入力される信号に基づいて現在地を算出する現在地算出処理や地図上の現在地に自車位置マークを重ねて表示させる地図表示処理等がある。また、制御回路１８は、計時のためのタイマを備え、このタイマによって日時を管理するようになっている。
【００２８】
車載カメラ１９は、車両前方、車両右側、車両左側を撮影する３台のカメラを有している。これらのカメラによって撮影された各画像データは動画像として制御回路１８に入力され、制御回路１８は、必要なときに静止画像としてメモリに取り込むようになっている。
【００２９】
本実施形態におけるナビゲーション装置１は、音声認識部１２によってユーザの発話を音声認識し、音声認識が終了した時に車載カメラ１９により車両周辺を撮影し、撮影した画像の中から音声認識によって認識された対象物の画像領域を特定し、特定した画像データを通信機器接続装置１７に接続された通信機器３を介してサーバ２へ送信するようになっている。
【００３０】
サーバ２は、動植物、標識、自動車等の各種詳細情報が記憶されたデータベース（ＤＢ）２０を備えている。このデータベース２０には、例えば、動植物に関しては、動植物の画像、名称、原産地等の詳細情報が記憶され、自動車に関しては、自動車の画像、車種名、メーカ名、年式といった詳細情報が記憶されている。
【００３１】
サーバ２は、ナビゲーション装置１から画像データを受信すると、受信した画像データに含まれる対象物とマッチングする画像をデータベース２０から検索し、検索された対象物の詳細情報をナビゲーション装置１へ送信する。例えば、ナビゲーション装置１から対向車の画像データを受信すると、この画像データに含まれる対向車の画像とマッチングする画像をデータベース２０から検索し、マッチングする車両が検索された場合には、該当する車両の車種名、メーカ名、年式といった詳細情報をナビゲーション装置１へ送信する。
【００３２】
ナビゲーション装置１は、サーバ２から提供される対象物の詳細情報をディスプレイ１４ａに表示するようになっている。
【００３３】
次に、音声認識部１２による音声認識について説明する。音声認識部１２は、自然言語の形態素解析を用いてユーザの音声に含まれる言語を抽出し、抽出した各言語に対し、相対方位（正面、右前、左上、右下、左後ろなど）、目標物の特徴（色、形、大きさなど）、目標物名（固有名詞、施設、看板、動植物など）、疑問詞（何、いつ、どこ、誰、なぜ、どうやって）等の認識を行う。
【００３４】
外部記憶装置１６の外部記憶媒体には、図２に示すような、色データベース（色ＤＢ）、形データベース（形ＤＢ）、相対方位データベース（相対方位ＤＢ）等の各種データベースが記憶されており、音声認識部１２は、これらのデータベースを用いて、相対方位、目標物の特徴、目標物名、疑問詞等を認識する。
【００３５】
例えば、ユーザによる「青い対向車の名前は何？」といった問い掛けに対しては、「青い」「対向」「車」「名前」「何」を抽出し、図２に示したデータベースを用いて、「青い」は色データベースに含まれる色の表現で分類は「青」、「対向」は相対方位データベースに含まれる相対方位の表現で分類は「前」といったように相対方位、目標物の特徴、目標物名、疑問詞等を認識する。
【００３６】
また、音声認識部１２は、ユーザの音声入力に応じて音声認識処理を開始し、一定時間（例えば、５秒）以上音声入力が無い状態が継続すると一連の音声認識処理を終了する。そして、再度、ユーザの音声入力があると、一定時間以上音声入力が無い状態が継続するまで一連の音声認識処理を行う。
【００３７】
上述したように音声認識により車両周辺の状況をカメラ撮影する場合、ユーザの音声を認識する音声認識を開始してから音声認識が終了するまでの間に自車の方位が変化すると、音声認識によって認識された方向（相対方位）を撮影した画像にユーザの意図する対象物が含まれない場合が考えられる。このため、ナビゲーション装置１は、音声認識を開始したときから音声認識を終了するまでの自車の方位の変化量を算出して、ユーザの意図する対象物が含まれると推定される画像の優先度を決定し、決定した優先度に従って音声認識によって認識された対象物が含まれると推定される画像領域の候補を表示部に表示させ、画像領域の候補の中から意図する対象物を特定し易くしている。
【００３８】
ナビゲーション装置１の音声認識部１２、音声合成部１３および制御回路１８はコンピュータによって構成されている。次に、図３を参照して、このコンピュータの処理について説明する。ナビゲーション装置１は、バッテリからイグニッションスイッチを介して電源が供給されると作動を開始し、コンピュータは、上述した現在地算出処理等の処理と並行して図３に示す処理を周期的に行う。また、コンピュータは、一定期間毎に通信機器接続装置１７から携帯電話を介してインターネットに接続し、インターネット上のサイトから現在の天気を取得してメモリに記憶するようになっている。
【００３９】
まず、位置検出器１５から入力される測位信号に基づいて自車の絶対方位（Ｄ１）を算出するとともに算出した絶対方位（Ｄ１）をメモリに記憶する（Ｓ１００）。なお、本実施形態における絶対方位は、北を基準とする反時計回り方向の０°から３６０°までの値として算出される。
【００４０】
次に、マイク１２ａから音声信号の入力があるか否かに基づいて音声入力があるか否かを判定する（Ｓ１０２）。
【００４１】
マイク１２ａから音声信号の入力がない場合、Ｓ１０２において「なし」と判定され、Ｓ１００の処理へ戻り、最新の絶対方位（Ｄ１）を再度算出し、算出した最新の絶対方位（Ｄ１）をメモリに記憶する。
【００４２】
また、マイク１２ａから音声信号が入力されると、Ｓ１０２において「あり」と判定され、ユーザの音声を認識する音声認識を開始する。このように音声認識を開始した場合、メモリに記憶された絶対方位（Ｄ１）が、音声認識の開始時の自車の方位となる。
【００４３】
次に、音声認識により対象物の方位、特徴（色、形）、疑問詞等を抽出する。具体的には、音声認識により抽出された言語からユーザの音声に含まれる対象物の方位、特徴（色、形）、疑問詞等を認識する（Ｓ１０４）。
【００４４】
そして、一定時間以上音声入力の無い無音状態が継続し、一連の音声認識を終了すると、車載カメラ１９によって撮影された車両周辺の画像を取り込みメモリに記憶する（Ｓ１０６）。
【００４５】
次に、画像取り込み時の車両周辺の状況を取得する。具体的には、画像取り込み時における日時情報、天気等の車両周辺の状況を取得する。なお、日時情報はタイマより取得し、メモリから現在の天気を読み出す（Ｓ１０８）。
【００４６】
次に、位置検出器１５から入力される測位信号に基づいて自車の絶対方位（Ｄ２）を算出するとともに算出した絶対方位（Ｄ２）をメモリに記憶する（Ｓ１１０）。
【００４７】
次に、発話してから画像を取り込むまでの自車の方位の変化量、すなわち、音声認識を開始したときから音声認識を終了するまでの自車の方位の変化量を算出する。方位の変化量は、図４に示すように、Ｓ１００において算出した自車の絶対方位（Ｄ１）とＳ１１０において算出した自車の絶対方位（Ｄ２）の差分（Ｄ１−Ｄ２）として算出される（Ｓ１１２）。
【００４８】
次に、音声認識によって認識された対象物の相対方位とＳ１１２において算出された方位の変化量に基づいて車両周辺の対象物を撮影した画像の中から車両周辺の対象物が含まれると推定される画像領域（カメラ画像）の優先度を決定する（Ｓ１１４）。
【００４９】
外部記憶装置１６の外部記憶媒体には、図５に示すように、自車の方位の変化量と音声認識によって認識された対象物の方位に対し、音声認識によって認識された対象物が含まれると推定される画像の優先度が定義されたテーブルが記憶されており、このテーブルを用いて、ユーザが意図する対象物が含まれる画像領域の優先度を決定する。
【００５０】
例えば、「前＞右、左」と記されている場合、車両右側を撮影するカメラによって撮影された画像領域と車両左側を撮影するカメラによって撮影された画像の優先度は同じで、車両前方を撮影するカメラによって撮影された画像の優先度が最も高いことを意味する。
【００５１】
また、「前＞右＞左」と記されている場合、車両前方を撮影するカメラによって撮影された画像の優先度が最も高く、次に、車両右側を撮影するカメラによって撮影された画像の優先度が高く、車両左側を撮影するカメラによって撮影された画像の優先度が最も低いことを意味する。
【００５２】
次に、Ｓ１０８において取得した画像取り込み時の状況、Ｓ１１４において決定した優先度および音声認識によって認識された対象物の特徴から画像毎に対象物の画像領域を検出する画像領域検出処理を行う（Ｓ２００）。
【００５３】
図６に、画像領域検出処理のフローチャートを示す。なお、この画像領域検出処理では、予め外部記憶媒体に記憶された色範囲変換テーブルを用いて色範囲の補正を行うことにより、時間帯や天候などの影響によって取り込んだ画像の色が実際の色と異なる場合であっても、ユーザの意図する対象物を特定できるようになっている。
【００５４】
図７に、時間帯の影響による色範囲の補正を行うための色範囲変換テーブル（時間帯）を示す。例えば、明け方と夕方の時間帯では、朝日や夕日の影響により白いものでも赤みがかって見えることがあるため、音声認識によって認識された色に対して赤の範囲を拡大するように色の検出範囲を補正するようになっている。また、夜の時間帯では、周囲が暗くなり白いものでもグレーに見える可能性があるため、音声認識によって認識された色に対して明るさを減少させるように色の検出範囲を補正するようになっている。
【００５５】
また、図８に、天候の影響による色範囲の補正を行うための色範囲変換テーブル（天候）を示す。図に示すように、曇り、雨、雪の場合、周囲が暗くなるため、音声認識によって認識された色に対して明るさを減少させるように色の検出範囲を補正するようになっている。
【００５６】
図６に示す画像領域検出処理では、まず、優先度が最も高い画像（画像領域）を読み込む（Ｓ２０２）。
【００５７】
次に、Ｓ１０８で取得した画像取り込み時の状況（日時および天候）と色範囲変換テーブルからマッチングの色範囲の補正内容を特定するとともに、音声認識によって認識した対象物の色に対し、特定した補正内容に基づく色範囲の補正を行う。具体的には、色範囲変換テーブル（時間帯）を参照して画像取り込み時の日時（時間帯）における補正内容を特定するとともに、色範囲変換テーブル（天候）を参照して画像取り込み時の天候における補正内容を特定し、音声認識によって認識した対象物の色に対し、特定した補正内容に基づく色範囲の補正を行う（Ｓ２０４）。
【００５８】
例えば、音声認識によって認識した対象物の色が白であっても、夕方の時間帯では、白に対して赤の範囲が拡大され、白だけでなくピンク色を含む色範囲に補正される。また、音声認識によって認識した対象物の色が白であっても、雨の場合には、明るさを減少させるように、白よりもグレーよりの色範囲に補正される。
【００５９】
次に、画像取り込み時の状況および音声認識によって認識された対象物の特徴に基づいて読み込んだ画像から対象物と推定される画像領域のマッチングを行う。具体的には、Ｓ２０４において補正された色範囲を用いて、読み込んだ画像から補正された色範囲に含まれる色の画像領域を検索する。また、音声認識によって、例えば、「標識」が認識された場合には、読み込んだ画像から丸や三角など標識の特徴に一致する形状を検索条件に付加して画像領域のマッチングを行う（Ｓ２０６）。
【００６０】
ここで、読み込んだ画像からマッチングする画像領域が検出された場合には、検出された画像領域を対象物の候補としてＲＡＭに記憶し（Ｓ２０８）、全画像に対してマッチング判定を行ったか否かを判定する（Ｓ２１０）。
【００６１】
このように、優先度の高い画像から順番に上記処理Ｓ２０２〜Ｓ２０８を繰り返し行い、Ｓ２１０において全画像に対してマッチング判定を行ったと判定されると（Ｓ２１０でＹＥＳと判定）、次に、メモリに記憶された対象物の候補が複数あるか否かを判定し、対象物の候補が複数あると判定した場合、優先度に従って対象物の候補をディスプレイ１４ａに表示させ、意図する対象物をユーザに選択させ、ディスプレイ１４ａに表示された画像の候補の中からユーザのタッチパネル１１またはリモコン１０ａの操作によって選択された候補をユーザの意図する対象物として特定する（Ｓ２１２）。
【００６２】
例えば、優先度の高い順に番号を付与し、優先度の高い順にディスプレイ１４ａの左から右に並べて表示させ、意図する対象物をユーザに選択させる。なお、同一画像に対象物の候補が複数あると判定した場合、先にメモリに記憶された候補の優先度を高くし、優先度の高い順にディスプレイ１４ａに表示させる。
【００６３】
また、Ｓ２１２において、メモリに記憶された対象物の候補が１つの場合、メモリに記憶された対象物をディスプレイ１４ａに表示させるとともに、メモリに記憶された対象物をユーザの意図する対象物として特定する。
【００６４】
また、Ｓ２１２において、メモリに記憶された対象物の候補がない場合には、ユーザの意図する対象物が検索されない旨をディスプレイ１４ａに表示させ、本処理を終了する。
【００６５】
図３の説明に戻り、Ｓ３００では、ユーザからの問い合わせ内容とともにＳ２００の画像領域検出処理によって検出された画像領域、すなわち、ユーザの操作により特定された対象物の画像データをサーバ２へ送信する。なお、サーバ２へ画像データを送信する前に、対象物を含む最小の画像になるように切り出し、切り出した画像をサーバ２へ送信する。また、ユーザからの問い合わせ内容は、ユーザの音声を認識する音声認識によって認識した言語としてサーバ２へ送信する（Ｓ３００）。
【００６６】
サーバ２は、ユーザからの問い合わせ内容と画像データを受信すると、受信したユーザからの問い合わせ内容と画像データに基づいてマッチングする画像をデータベース２０から検索し、検索結果をナビゲーション装置１へ送信する。具体的には、受信したユーザからの問い合わせ内容と画像データに基づいてマッチングする対象物をデータベース２０から検索し、検索された対象物の詳細情報をナビゲーション装置１へ送信する。
【００６７】
ナビゲーション装置１のコンピュータは、サーバ２から検索された対象物の詳細情報を受信すると（Ｓ３０２）、受信した対象物の詳細情報をディスプレイ１４ａに表示させるとともにスピーカ１３ａから音声出力させ（Ｓ３０４）、Ｓ１００の処理へ戻る。
【００６８】
上記した構成によれば、ユーザの発話した音声を認識する音声認識機能の開始時に車両周辺を複数のカメラで撮影した画像を取り込む（Ｓ１０６）とともに、ユーザの発話した音声を認識する音声認識機能の開始時と終了時の自車の方位の変化量を算出（Ｓ１１２）し、自車の方位の変化量と音声認識によって認識された対象物の方位と画像取込手段により画像の取り込まれた所定のタイミングとに基づいて音声認識によって認識された対象物が含まれると推定される画像の優先度が定義されたテーブルを用いて音声認識によって認識された対象物が含まれると推定される順に、取り込んだ画像の優先度を決定し（Ｓ１１４）、取り込んだ画像の中から音声認識によって認識された対象物と推定される画像領域を検出し（Ｓ２００）、複数の画像領域が検出された場合、決定した優先度に従って複数の画像領域の候補を表示部に表示させ、表示部に表示された画像領域の中からユーザの意図する対象物を選択させ選択させる（Ｓ２１２）ようになっている。
【００６９】
したがって、表示部には、優先度に従って音声認識によって認識された対象物が含まれると推定される画像領域の候補が表示されるので、ユーザの意図する対象物を特定し易くすることができる。
【００７０】
（第２実施形態）
次に、第２の実施形態に係る情報提供システムについて説明する。第１実施形態におけるナビゲーション装置１は、音声認識の終了時に車両周辺の対象物を撮影した画像を取り込む例を示したが、本実施形態におけるナビゲーション装置１は、一定時間分の車両周辺の動画像をメモリに記憶しておき、音声認識の終了時にメモリに記憶された画像を読み出す。以下、第１実施形態と同じ部分については同一符号を付して説明を省略し、異なる部分を中心に説明する。
【００７１】
図９に、本実施形態に係るナビゲーション装置１のコンピュータの処理を示す。
【００７２】
まず、車載カメラ１９によって撮影された車両周辺の画像を取り込みメモリに記憶する（Ｓ４００）。
【００７３】
次に、画像取り込み時の車両周辺の状況を取得する。具体的には、画像取り込み時における日時情報、天気等の車両周辺の状況を取得する（Ｓ４０２）。
【００７４】
次に、位置検出器１５から入力される測位信号に基づいて自車の絶対方位（Ｄ３）を算出するとともに算出した絶対方位（Ｄ３）をメモリに記憶する（Ｓ４０４）。
【００７５】
次に、マイク１２ａから音声信号の入力があるか否かに基づいて音声入力があるか否かを判定する（Ｓ４０６）。
【００７６】
マイク１２ａから音声信号の入力がない場合、Ｓ４０６において「なし」と判定され、Ｓ４００の処理へ戻り、最新の絶対方位（Ｄ３）を再度算出し、算出した最新の絶対方位（Ｄ３）をメモリに記憶する。
【００７７】
また、マイク１２ａから音声信号が入力されると、Ｓ４０６において「あり」と判定され、ユーザの音声を認識する音声認識を開始する。なお、メモリに記憶された絶対方位（Ｄ３）が、音声認識の開始時の自車の方位となる。
【００７８】
次に、音声認識により対象物の方位、特徴（色、形）、疑問詞等を抽出する。具体的には、音声認識により抽出された言語からユーザの音声に含まれる対象物の方位、特徴（色、形）、疑問詞等を認識する（Ｓ４０８）。
【００７９】
そして、一定時間以上音声入力の無い無音状態が継続すると一連の音声認識を終了すると、位置検出器１５から入力される測位信号に基づいて自車の絶対方位（Ｄ４）を算出するとともに算出した絶対方位（Ｄ４）をメモリに記憶する（Ｓ４１０）。
【００８０】
次に、発話してから画像を取り込むまでの自車の方位の変化量、すなわち、音声認識を開始したときから音声認識を終了するまでの自車の方位の変化量を算出する。方位の変化量は、図４に示したように、Ｓ４１０において算出した自車の絶対方位（Ｄ４）とＳ４０４において算出した自車の絶対方位（Ｄ３）の差分（Ｄ４−Ｄ３）として算出される（Ｓ４１２）。
【００８１】
次に、図５に示した自車の方位の変化量と音声認識によって認識された対象物の方位に対し、音声認識によって認識された対象物が含まれると推定される画像の優先度が定義されたテーブルに基づいて、ユーザが意図する対象物が含まれると推定される画像領域の優先度を決定する（Ｓ４１４）。
【００８２】
なお、第１実施形態では、音声認識の終了時に車両周辺を撮影した画像を取り込み、本実施形態では、音声認識の開始時の車両周辺を撮影した画像の取り込むため、図５に示したテーブルと異なるテーブルを用いて優先度の決定を行うようにしてもよいが、方位の変化量の算出方法を異ならせることにより、第１実施形態と同じテーブル（図５に示す）を用いて優先度の決定を行うようにしている。
【００８３】
すなわち、第１実施形態では、図３のＳ１１２の処理において、音声認識の開始時の絶対方位（Ｄ１）と音声認識の終了時の絶対方位（Ｄ２）の差分（Ｄ１−Ｄ２）として方位の変化量を算出したが、本実施形態では、音声認識の終了時の絶対方位（Ｄ４）と音声認識の開始時の絶対方位（Ｄ３）の差分（Ｄ４−Ｄ３）として方位の変化量を算出することにより、第１実施形態と同じテーブル（図５に示す）を用いて優先度の決定を行うようにしている。
【００８４】
次に、画像取り込み時の状況、画像領域の優先度および音声認識によって認識された対象物の特徴に基づいて対象物と推定される画像領域の検出を行う（Ｓ２００）。
【００８５】
以下、図３のＳ３００〜Ｓ３０４と同様の処理を行い、対象物の詳細情報をユーザ提供する。
【００８６】
したがって、例えば、図１０（ａ）に示すように、交差点の手前でユーザが「あの青い車は何？・・・」と発話を開始し、交差点の右折途中で「・・・、左の方に見える・・・」と発話し、図１０（ｂ）に示すように車両が直角の交差点を右折し終わったときに一連の音声認識が終了するような場合、交差点の手前でユーザが発話を開始したときの自車の方位が音声認識の開始時の自車の方位（Ｄ３）としてメモリに記憶され、音声認識の終了時の車両が交差点を右折し終わったときの自車の方位が自車の方位（Ｄ４）としてメモリに記憶される。この場合、方位の変化量θは、θ＝Ｄ４−Ｄ３＝−９０°として算出される。
【００８７】
図５に示すように、相対方位が「左」、方位の変化量が「−６０°以上」の場合の優先度は「前＞右、左」の順となる。
【００８８】
したがって、図１０（ａ）に示すように、車両前方を撮影するカメラの撮影画像から優先的に対象物の画像を検出する画像領域検出処理を行う。
【００８９】
また、図１１（ａ）に示すように、交差点の手前でユーザが発話を開始し、交差点の右折途中で「・・・、右の方に見える・・・」と発話し、図１１（ｂ）に示すように車両が直角の交差点を右折し終わったときに一連の音声認識が終了するような場合、方位の変化量θは、θ＝Ｄ４−Ｄ３＝−９０°として算出される。
【００９０】
図５に示すように、相対方位が「右」、方位の変化量が「−６０°以上」の場合の優先度は「右＞前＞左」の順となる。
【００９１】
したがって、図１１（ａ）に示すように、車両右側を撮影するカメラの撮影画像、車両前方を撮影するカメラの撮影画像、車両左を撮影するカメラの撮影画像の順番で対象物の画像を検出する画像領域検出処理を行う。
【００９２】
また、図１２（ａ）に示すように、右側に４５°曲がった道路に差し掛かる手前でユーザが発話を開始し、交差点の右折途中で「・・・、前の方に見える・・・」と発話し、図１２（ｂ）に示すように車両が右側に４５°曲がった道路の走行中に一連の音声認識が終了するような場合、方位の変化量θは、θ＝Ｄ４−Ｄ３＝−４５°として算出される。
【００９３】
図５に示すように、相対方位が「前」、方位の変化量が「−３０°以上、−６０°未満」の場合の優先度は「前＞左＞右」の順となる。
【００９４】
したがって、図１２（ａ）に示すように、車両前方を撮影するカメラの撮影画像、車両左側を撮影するカメラの撮影画像、車両右側を撮影するカメラの撮影画像の順番で対象物の画像を検出する画像領域検出処理を行う。
【００９５】
また、図１３（ａ）に示すように、右側に４５°曲がった道路に差し掛かる手前でユーザが発話を開始し、交差点の右折途中で「・・・、右の方に見える・・・」と発話し、図１３（ｂ）に示すように車両が右側に４５°曲がった道路の走行中に一連の音声認識が終了するような場合、方位の変化量θは、θ＝Ｄ４−Ｄ３＝−４５°として算出される。
【００９６】
図５に示すように、相対方位が「前」、方位の変化量が「−３０°以上、−６０°未満」の場合の優先度は「前＞左＞右」の順となる。
【００９７】
したがって、図１３（ａ）に示すように、車両前方を撮影するカメラの撮影画像、車両左側を撮影するカメラの撮影画像、車両右側を撮影するカメラの撮影画像の順番で対象物の画像を検出する画像領域検出処理を行う。
【００９８】
上述したように、本実施形態では、一定時間分の車両周辺の動画像をメモリに記憶しておき、音声認識の終了時にメモリに記憶された画像を読み出すようにしている。音声認識が終了してから車両周囲の状況を撮影する場合、例えば、ユーザの「あの対向車は何？」という問い合わせに対し、対向車が通り過ぎてしまい、車載カメラ１９で撮影した画像に対向車が写っていないといった状況が考えられるが、本実施形態のように、一定時間分の車両周辺の動画像をメモリに記憶しておき、音声認識の終了時にメモリに記憶された画像を読み出すことで、対向車の画像を取り逃がすことがない。
【００９９】
なお、本実施形態におけるナビゲーション装置１は、一定時間分の車両周辺の動画像をメモリに記憶する例を示したが、車両周辺の画像を定期的に撮影した静止画像を随時メモリに記憶するようにしてもよい。
【０１００】
（第３実施形態）
次に、第３の本実施形態に係る情報提供システムについて説明する。第２実施形態におけるナビゲーション装置１は、一定時間分の車両周辺の動画像をメモリに記憶しておき、音声認識の終了時にメモリに記憶された画像を読み出す例を示したが、本実施形態におけるナビゲーション装置１は、音声認識の開始時に車両周辺の対象物を撮影した画像を取り込む。以下、第２実施形態と同じ部分については同一符号を付して説明を省略し、異なる部分を中心に説明する。
【０１０１】
図１４に、本実施形態に係るナビゲーション装置１のコンピュータの処理を示す。
【０１０２】
まず、マイク１２ａから音声信号の入力があるか否かに基づいて音声入力があるか否かを判定する（Ｓ５００）。
【０１０３】
マイク１２ａから音声信号の入力がない場合、Ｓ５００において「なし」と判定され、Ｓ５００の処理へ戻る。
【０１０４】
また、ユーザの発話によりマイク１２ａから音声信号が入力されると、Ｓ５００において「あり」と判定され、ユーザの音声を認識する音声認識を開始するとともに車載カメラ１９によって撮影された車両周辺の画像を取り込みメモリに記憶する（Ｓ５０２）。
【０１０５】
また、音声認識の開始に応じて最新の絶対方位（Ｄ５）を算出し、算出した最新の絶対方位（Ｄ５）をメモリに記憶する（Ｓ５０６）。
【０１０６】
次に、音声認識により対象物の方位、特徴（色、形）、疑問詞等を抽出する。具体的には、音声認識により抽出された言語からユーザの音声に含まれる対象物の方位、特徴（色、形）、疑問詞等を認識する（Ｓ５０８）。
【０１０７】
そして、一定時間以上音声入力の無い無音状態が継続し、一連の音声認識を終了すると、最新の絶対方位（Ｄ６）を算出し、算出した最新の絶対方位（Ｄ６）をメモリに記憶する（Ｓ５１０）。
【０１０８】
次に、発話してから画像を取り込むまでの自車の方位の変化量を算出する。方位の変化量は、図４に示したように、Ｓ５１０において算出した自車の絶対方位（Ｄ６）とＳ５０６において算出した自車の絶対方位（Ｄ５）の差分（Ｄ６−Ｄ５）として算出される（Ｓ５１２）。
【０１０９】
以下、図９のＳ４１４〜Ｓ３０４と同様の処理を行い、対象物の詳細情報をユーザ提供する。
【０１１０】
上記したように、本実施形態では、音声認識の開始時に車両周辺の対象物を撮影した画像を取り込むようにしている。第２実施形態では、一定時間分の車両周辺の動画像を記憶するために比較的大容量のメモリを備える必要があり、また、コンピュータに負荷をかけ続けることになるが、本実施形態のように音声認識の開始時に車両周辺の対象物を撮影した静止画像をメモリへ取り込むことで、メモリ容量を少なくし、また、コンピュータへの負荷を低減することができる。
【０１１１】
（その他の実施形態）
上記実施形態では、Ｓ２１２の処理において、優先度の高い順に対象物の候補をディスプレイ１４ａに並べて表示させる例を示したが、例えば、優先度の高い順にタイミングをずらしてディスプレイ１４ａに表示させてもよい。
【０１１２】
また、上記実施形態では、通信機器３として携帯電話を用いた例を示したが、ＶＩＣＳやＤＳＲＣ等の通信を行う通信機器を用いてもよい。また、ナビゲーション装置１に通信機器３を内蔵した構成としてもよい。
【０１１３】
また、上記実施形態では、ユーザの発話に基づいて、音声認識の開始時または終了時に車両周辺を複数のカメラで撮影した画像を取り込む例を示したが、音声認識の途中で車両周辺を複数のカメラで撮影した画像を取り込むようにしてもよい。
【０１１４】
また、上記実施形態では、Ｓ１１２とＳ４１２のように、方位の変化量の算出方法を異ならせることによって、車両周辺を撮影した画像を取り込むタイミングが、音声認識の終了時と開始時のように異なる場合であっても同一のテーブル（図５に示す）を用いて優先度の決定を行う例を示したが、方位の変化量の算出方法を統一し、音声認識の終了時に車両周辺を撮影した画像を取り込む場合と音声認識の開始時に車両周辺を撮影した画像を取り込む場合とで、別々のテーブルを用いて優先度を決定するようにしてもよい。
【０１１５】
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、Ｓ１１２、Ｓ４１２、Ｓ５１２の各処理が方位変化量算出手段に相当し、Ｓ１０６、Ｓ４００、Ｓ５０２の処理が画像取込手段に相当し、Ｓ１１４、Ｓ４１４、Ｓ５１４の各処理が優先度決定手段に相当し、外部記憶装置１６の外部記憶媒体が記憶手段に相当し、Ｓ２００の処理が画像領域検出手段に相当し、Ｓ２１２の処理が選択手段に相当し、Ｓ１００、Ｓ４０４、Ｓ５０６の処理が第１の方位算出手段に相当し、Ｓ１１０、Ｓ４１０、Ｓ５１０の各処理が第２の方位算出手段に相当し、Ｓ１０８、Ｓ４０２、Ｓ５０４の各処理が状況取得手段に相当し、Ｓ２０４の処理が色補正手段に相当し、通信機器接続装置１７および通信機器３が通信手段に相当し、Ｓ３００の処理が送信手段に相当し、Ｓ３０２の処理が取得手段に相当し、Ｓ３０４の処理が情報提供手段に相当する。
【図面の簡単な説明】
【０１１６】
【図１】本発明の一実施形態に係る情報提供システムの概略構成を示す図である。
【図２】色データベース、形データベース、相対方位データベースを説明するための図表である。
【図３】第１実施形態におけるナビゲーション装置１のコンピュータの処理を示すフローチャートである。
【図４】方位の変化量についての説明図である。
【図５】対象物が含まれると推定される画像領域の優先度が定義されたテーブルを示す図である。
【図６】ナビゲーション装置１のコンピュータによる画像領域検出処理のフローチャートである。
【図７】色範囲変換テーブル（時間帯）の一例を示す図表である。
【図８】色範囲変換テーブル（天候）の一例を示す図表である。
【図９】第２実施形態におけるナビゲーション装置１のコンピュータの処理を示すフローチャートである。
【図１０】第２実施形態における作動を説明するための図である。
【図１１】第２実施形態における作動を説明するための図である。
【図１２】第２実施形態における作動を説明するための図である。
【図１３】第２実施形態における作動を説明するための図である。
【図１４】第３実施形態におけるナビゲーション装置１のコンピュータの処理を示すフローチャートである。
【符号の説明】
【０１１７】
１…ナビゲーション装置、２…サーバ、１０…リモコンセンサ、１１…タッチパネル、
１２…音声認識部、１２ａ…マイク、１３…音声合成部、１３ａ…スピーカ、
１４…表示装置、１４ａ…ディスプレイ、１５…位置検出器、１６…外部記憶装置、
１７…通信機器接続装置、１８…制御回路、１９…車載カメラ、２０…データベース。 
【図１】
2006343829.tif 000003
【図２】
2006343829.tif 000004
【図３】
2006343829.tif 000005
【図４】
2006343829.tif 000006
【図５】
2006343829.tif 000007
【図６】
2006343829.tif 000008
【図７】
2006343829.tif 000009
【図８】
2006343829.tif 000010
【図９】
2006343829.tif 000011
【図１０】
2006343829.tif 000012
【図１１】
2006343829.tif 000013
【図１２】
2006343829.tif 000014
【図１３】
2006343829.tif 000015
【図１４】
2006343829.tif 000016