(57)【要約】【課題】車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能な経路案内装置を提供する。【解決手段】本発明に係る経路案内装置は、ユーザに音楽情報を可聴な態様で出力する出力手段と、出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段と、を有する。【選択図】図７
2020094928.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに音楽情報を可聴な態様で出力する出力手段と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段と、を有する、ことを特徴とする経路案内装置。
【請求項２】
前記出力手段は、出力される音楽情報と対応する画像情報を更に出力可能である、ことを特徴とする請求項１に記載の経路案内装置。
【請求項３】
前記提供手段によって前記ユーザに提供される経路を、選択された前記所定の音楽情報に基づいて決定する決定手段を更に有する、ことを特徴とする請求項１または２に記載の経路案内装置。
【請求項４】
選択された前記所定の音楽情報を外部装置に送信する送信手段であって、前記外部装置は、ユーザに提供される経路を、受信した音楽情報に基づいて決定する決定手段を有する、送信手段と、
前記提供手段によって提供するために、前記外部装置によって決定された経路を前記外部装置から受信する受信手段と、を更に有する、ことを特徴とする請求項１または２に記載の経路案内装置。
【請求項５】
前記出力手段から出力される音楽情報は、経路の環境情報の特徴と対応付けられている、ことを特徴とする請求項１から４のいずれか１項に記載の経路案内装置。
【請求項６】
前記経路の環境情報は、経路を移動する車両の挙動に関する情報を含む、ことを特徴とする請求項５に記載の経路案内装置。
【請求項７】
前記車両の挙動に関する情報は、経路を移動する車両の速度、加速度、およびブレーキ回数の少なくとも１つを含む、ことを特徴とする請求項６に記載の経路案内装置。
【請求項８】
前記経路の環境情報は、更に、経路に係る道路種別、該経路の周辺施設、および該経路の周辺環境の少なくとも１つの情報を含む、ことを特徴とする請求項６または７に記載の経路案内装置。
【請求項９】
前記出力手段から出力される音楽情報は、前記経路案内装置の現在位置からの経路の環境情報の特徴と対応付けられている、ことを特徴とする請求項５から８のいずれか１項に記載の経路案内装置。
【請求項１０】
前記出力手段から出力される音楽情報は、出力しようとする複数の音楽情報が同一の音楽情報であった場合に、前記同一の音楽情報の一方の音楽情報の特性が、対応付けられている前記経路の環境情報に基づいて変更されている、ことを特徴とする請求項５から９のいずれか１項に記載の経路案内装置。
【請求項１１】
前記出力手段から出力される音楽情報と前記出力手段から出力される画像情報とは、それぞれ、経路の環境情報の特徴に対応付けられており、
前記出力手段から出力される音楽情報は、出力しようとする音楽情報が同一であり、且つ、音楽情報に対応する画像情報が同一である場合、前記同一の音楽情報の一方の音楽情報の特性が、対応付けられている前記経路の環境情報に基づいて変更されている、ことを特徴とする請求項２に記載の経路案内装置。
【請求項１２】
第１経路の環境情報に基づく第１音と、第２経路の環境情報に基づく第２音と、をそれぞれ取得する取得手段と、
前記第１経路及び前記第２経路のいずれかを選択するために、前記第１音及び前記第２音をそれぞれ、ユーザに選択可能に出力するように制御する出力制御手段と、
を備える経路案内装置。
【請求項１３】
前記取得手段は、前記第１経路の前記環境情報に基づく第１画像と、前記第２経路の前記環境情報に基づく第２画像と、をそれぞれ取得し、
前記出力制御手段は、更に、前記第１経路及び前記第２経路のいずれかを選択するために、前記第１画像及び前記第２画像をそれぞれ、前記ユーザに選択可能に出力するように制御する請求項１２に記載の経路案内装置。
【請求項１４】
ユーザに音楽情報を可聴な態様で出力する出力工程と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択工程と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供工程と、を有する、ことを特徴とする経路案内装置の制御方法。
【請求項１５】
ユーザに音楽情報を可聴な態様で出力する出力手段と、出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段とを有する経路案内装置と、通信する情報処理サーバであって、
前記所定の音楽情報に対応する経路を、前記所定の音楽情報に基づいて決定する決定手段を有する、ことを特徴とする情報処理サーバ。
【請求項１６】
経路案内装置と情報処理サーバとを有する経路案内システムであって、
前記経路案内装置は、
ユーザに音楽情報を可聴な態様で出力する出力手段と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段と、を有し、
前記情報処理サーバは、
前記所定の音楽情報に対応する経路を、前記所定の音楽情報に基づいて決定する決定手段を有する、ことを特徴とする経路案内システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、経路案内装置およびその制御方法、情報処理サーバ、ならびに経路案内システムに関する。
【背景技術】
【０００２】
従来、車両を運転するドライバに対し、ドライバの指定した目的地への経路を案内する経路案内システム（ナビゲーションシステムともいわれる）が知られている。特許文献１では、現在地から目的地までに複数の経路候補が存在する場合に、予測走行時間や、経路の走行に要する費用、経路の周辺の施設等を表示して、ドライバの経路選択を支援するナビゲーションシステムを提案している。
【０００３】
また、特許文献２では、より精度の高い経路予測を実現するために、複数のナビゲーション装置から取得した走行データを平均化して生成した仮想車両走行データに基づいて、現在地から目的地までの経路予測を行う技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２００３／０９３７６６号
【特許文献２】特開２００９−１４４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特定の目的地を設定するよりも通過する経路の運転を楽しむようなドライブやツーリングのための経路を選択したい場合がある。このような経路の選択には、経路の景色や走行中の速度感など非言語情報が有用であると考えられる。他方、経路案内システムで施設の情報や予測到達時間の表示を確認可能であっても、経路をイメージするような感覚的な非言語情報を得ることは難しいという課題がある。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能な技術を実現することである。
【課題を解決するための手段】
【０００７】
本発明によれば、
ユーザに音楽情報を可聴な態様で出力する出力手段と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段と、を有する、
ことを特徴とする経路案内装置が提供される。
【０００８】
また、本発明によれば、
第１経路の環境情報に基づく第１音と、第２経路の環境情報に基づく第２音と、をそれぞれ取得する取得手段と、
前記第１経路及び前記第２経路のいずれかを選択するために、前記第１音及び前記第２音をそれぞれ、ユーザに選択可能に出力するように制御する出力制御手段と、を備える、
ことを特徴とする経路案内装置が提供される。
【０００９】
また、本発明によれば、
ユーザに音楽情報を可聴な態様で出力する出力工程と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択工程と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供工程と、を有する、
ことを特徴とする経路案内装置の制御方法が提供される。
【００１０】
更に、本発明によれば、
ユーザに音楽情報を可聴な態様で出力する出力手段と、出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段とを有する経路案内装置と、通信する情報処理サーバであって、
前記所定の音楽情報に対応する経路を、前記所定の音楽情報に基づいて決定する決定手段を有する、
ことを特徴とする情報処理サーバが提供される。
【００１１】
また、本発明によれば、
経路案内装置と情報処理サーバとを有する経路案内システムであって、
前記経路案内装置は、
ユーザに音楽情報を可聴な態様で出力する出力手段と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段と、を有し、
前記情報処理サーバは、
前記所定の音楽情報に対応する経路を、前記所定の音楽情報に基づいて決定する決定手段を有する、
ことを特徴とする経路案内システムが提供される。
【発明の効果】
【００１２】
本発明によれば、車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る経路案内システムの一例を示す図
【図２】本実施形態における情報処理サーバの機能構成例を示すブロック図
【図３】本実施形態における経路案内装置の機能構成例を示すブロック図
【図４】本実施形態における、経路案内装置における車両情報送信処理の一連の動作を示すフローチャート
【図５】本実施形態における、情報処理サーバにおける経路提供処理の一連の動作を示すフローチャート
【図６】本実施形態における、経路案内装置における経路提示処理の一連の動作を示すフローチャート
【図７】経路案内装置において、マルチメディア情報を選択して経路の提示例を説明する図
【図８】情報処理サーバにおいて、経路を構成する区間と、マルチメディア情報の構成とを説明する図
【発明を実施するための形態】
【００１４】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。
【００１５】
＜経路案内システムの構成＞
図１を参照して、本実施形態に係る経路案内システム１００の構成について説明する。車両１３０および車両１６０は、経路案内装置１４０を備えた、例えば電気自動車などの電動車両である。車両１３０及び車両１６０は、自動運転機能を備えた車両および運転者が手動で運転する車両を含む。
【００１６】
経路案内装置１４０は、車両１３０及び車両１６０の車内の様々なセンサによって、車両の挙動に関する情報（例えば車両の速度、加速度、およびブレーキの適用などのＣＡＮ情報）と走行経路の周囲の情報（例えばドライブレコーダの映像）とを収集する。これらのデータは車両情報として情報処理サーバ１１０に送信可能である。この車両情報は、フローティングデータ（プローブデータ、交通情報などとも呼ばれる）の一部を構成してもよい。車両情報には、車両の識別情報、車両の使用者の識別情報など他の情報を更に含んでよい。車両情報は、後述する車両情報送信処理により、一定の間隔でまたは特定のイベントが発生したことに応じて情報処理サーバ１１０に送信される。また、車両１３０は、後述する経路提示処理を行う。なお、後述する経路提示処理では、車両１３０のユーザ（ここでは運転者を指す）は、目的地を特定するのではなく、流れる音楽情報（例えばＢＧＭ）と対応する画像情報（例えばジャケット写真）に基づき、所望の音楽情報（および画像）を選択する。これにより、雰囲気に合わせた経路を取得する。例えば、ユーザが目的地を特定せずに経路を設定したい場合、図７に示すような、「街路樹が多い」、「ゆっくり青空が見える」、又は「街の喧騒」などの雰囲気の情報に対応する音楽情報７０２とそれらの音楽情報と対応する画像情報７０３（或いは７０４〜７０５）とを含むマルチメディア情報７０１を用いる。例えば、ユーザは、画像情報７０３と画像情報７０４が選択可能に出力される表示７１０と、カーソル７１１で指定される画像情報に対応する音楽情報の出力とを視聴しながら、所望の雰囲気を表す情報を選択する。ユーザが所望の雰囲気の音楽情報等を選択すると、経路案内装置１４０は、選択された音楽情報等と対応する経路の情報を情報処理サーバ１１０から取得して、表示１５０としてユーザに提供する。表示１５０は、表示部３０６に表示される経路の一例を模式的に示しており、音楽情報等の選択に応じた経路が表示されている。このようにして、ツーリングすることが目的である場合など、ユーザが目的地を特に定めること無く運転したい場合に、非言語情報に基づいて経路を選択できるようにする。なお、以下の説明では、ユーザに対して音楽情報と画像情報との両方を出力して選択させる場合を例に説明するが、いずれかのみをユーザに出力して選択させるようにしてもよい。
【００１７】
情報処理サーバ１１０は、１つ以上のサーバ装置で構成され、車両１３０や車両１６０から送信される車両情報を、ネットワーク１２０を介して取得し、経路の環境情報として蓄積する。後述するように、経路の環境情報は、例えば、速度やブレーキ回数などの車両の挙動に関する情報と、ドライブレコーダの映像などの走行経路の周囲の情報を含む。また、情報処理サーバ１１０は、経路提供処理を実行する。詳細は後述するが、情報処理サーバ１１０は、車両１６０等から取得した車両情報に基づき、経路の環境情報の特徴と音楽情報（および画像情報）とを対応付ける。情報処理サーバ１１０は、経路案内装置１４０に対して経路を選択するための音楽情報や画像情報を送信し、送信した情報のなかから選択された所定の音楽情報や画像情報を受信する。更に、選択された所定の音楽情報や画像情報に基づいて案内用の経路を決定し、決定した案内用の経路が経路案内装置１４０においてユーザに提供されるように、決定した案内用の経路を経路案内装置１４０に送信する。ネットワーク１２０は、例えばインターネットや携帯電話網などの通信網を含み、情報処理サーバ１１０と、車両１３０や車両１６０と間の情報を伝送する。
【００１８】
＜情報処理サーバの構成＞
次に、図２を参照して、情報処理サーバ１１０の機能構成例について説明する。なお、以降の図を参照して説明する機能ブロックの各々は、統合されまたは分離されてもよく、また説明する機能が別のブロックで実現されてもよい。また、ハードウェアとして説明するものがソフトウェアで実現されてもよく、その逆であってもよい。
【００１９】
通信部２０１は、車両１３０或いは車両１６０の経路案内装置１４０と、ネットワーク１２０を介して通信するための通信回路を含む。通信部２０１は、制御部２０２によって制御される外部装置への情報を送信したり外部装置からの情報を受信したりする。
【００２０】
制御部２０２は、１つ以上の演算装置であるＣＰＵ２１０と、ＲＡＭ２１１とを含む。制御部２０２は、記録部２０４に記憶されたプログラムをＲＡＭ２１１に展開、実行することにより、制御部２０２内部の各部の動作を制御したり、情報処理サーバ１１０の各部の動作を制御したりする。また、制御部２０２は、後述の経路提供処理を実行する。ＲＡＭ２１１は、例えばＤＲＡＭ等の揮発性の記憶媒体を含み、制御部２０２がプログラムを実行するためのパラメータや処理結果等を一時的に記憶する。
【００２１】
操作部２０３は、情報処理サーバ１１０の管理者が操作指示を与えるためのキーボードやマウス等の操作部材、或いはリモートで与えられた操作指示を受け付けるモジュールであり、操作指示を受け付けると制御部２０２に操作情報を通知する。
【００２２】
記録部２０４は、例えば半導体メモリ等の不揮発性の記録媒体を含み、情報処理サーバ１１０の動作に必要な設定値を記録している。また、記録部２０４は、車両１３０や車両１６０から送信される車両情報（すなわち車両の速度等の車両の挙動に関する情報とドライブレコーダの映像等の走行経路の周囲の情報）を環境情報データベースに記録する。また、記録部２０４は、「街路樹が多い」、「ゆっくり青空が見える」、又は「街の喧騒」などの雰囲気の情報（ラベル）が付与された音楽情報（例えばＢＧＭ）と、同様の雰囲気の情報が付与された画像情報（例えばジャケット写真）とを、マルチメディア情報データベースに記録する。
【００２３】
表示部２０５は、例えばＬＣＤやＯＬＥＤ等の表示パネルを含み、例えば管理者が情報処理サーバ１１０を設定するための設定用ユーザインタフェースを表示する。或いは、外部装置によって表示可能な情報を送信する表示制御を行ってもよい。
【００２４】
情報取得部２１２は、車両１３０や車両１６０から送信される車両情報を、通信部２０１を介して取得する。情報取得部２１２は、取得した車両情報を環境情報データベースに記録する。また、情報取得部２１２は、画像情報を提供する、不図示の外部装置から、雰囲気の情報が付与された音楽情報および画像情報を取得して、マルチメディア情報データベースに記録する。
【００２５】
環境情報処理部２１３は、環境情報データベースに記録された車両情報から得られる、経路の環境情報の特徴を（例えば所定の距離ごとに）機械学習アルゴリズムを用いて解析し、経路の雰囲気の情報との対応付けを学習する。また、環境情報処理部２１３は、特定の経路が入力されると、学習済みの結果を用いて、入力された特徴と最も対応すると推定される経路の雰囲気の情報を出力する。なお、以下ディープニューラルネットワークモデルを採用した場合について記載するがこれに問わない。機械学習アルゴリズムは、例えば、線形回帰、非線形回帰、ロジスティック回帰、サポートベクターマシーン(SVM)、決定木、パーセプトロン、ランダムフォレストAda Boost、ナイーブベイズ、k近傍法 ( KNN )、ニューラルネットワーク( NN )、畳み込みニューラルネットワーク( CNN )などが選択できる。
【００２６】
マルチメディア情報処理部２１４は、経路の雰囲気の情報と対応するマルチメディア情報（すなわち音楽情報と画像情報）をマルチメディア情報データベースから取り出して出力する。このため、情報処理サーバ１１０は、特定の経路が入力された場合に、環境情報処理部２１３による処理結果を用いて、入力された特徴と最も対応すると推定される音楽情報と画像情報とを出力することができる。
【００２７】
提示対象決定部２１５は、車両１３０の経路案内装置１４０からマルチメディア情報の取得要求を受信すると、経路案内装置１４０で表示するマルチメディア情報を決定し、決定したマルチメディア情報を経路案内装置１４０に送信する。提示対象決定部２１５は、例えば、マルチメディア情報の取得要求に含まれる、経路案内装置１４０の現在位置に基づいて、設定可能な複数の経路候補を選択する。そして、選択した複数の経路候補のそれぞれを、環境情報処理部２１３に入力し、経路候補の雰囲気の情報を出力し、マルチメディア情報処理部２１４が経路候補の雰囲気の情報に基づいて、それぞれに対応付けられる音楽情報および画像情報を出力することで、提示対象決定部２１５は音楽情報及び画像情報を取得する。
【００２８】
情報提供部２１６は、経路案内装置１４０から選択されたマルチメディア情報（音楽情報と画像情報）を受信すると、選択されたマルチメディア情報に対応する経路を特定して、特定した経路を経路案内装置１４０に送信する。例えば、情報提供部２１６は、提示対象決定部２１５が処理した経路候補のうち、選択されたマルチメディア情報と対応する経路候補を特定し、決定された経路として経路案内装置１４０に送信する。
【００２９】
＜車両における経路案内装置の構成＞
次に、車両１３０における経路案内装置１４０の機能構成例について、図３を参照して説明する。なお、図３に示す構成は一例であり、一部の機能ブロックは経路案内装置１４０の外部（すなわち車両１３０内）に備わっていてもよい。例えばセンサ部３０１、通信部３０３、記録部３０５、表示部３０６、音声出力部３０７は、経路案内装置１４０の外部に備わっていてもよい。また、車両１６０には、同様の経路案内装置１４０が備わっているものとする。以下の説明では、経路案内装置１４０が車載機である場合を例に説明するが、経路案内装置１４０は、車載機に限らず、車両１３０の車両の挙動に関する情報を取得可能であればパーソナルコンピュータやスマートフォンなどの電子機器であってもよい。
【００３０】
センサ部３０１は、車両の挙動に関する情報、すなわち、車両の位置、車両速度、車両の加速度、ブレーキの作動有無、電池の充電量等に関する情報を取得するための種々のセンサを含む。センサには例えば、ＧＰＳ、速度センサ、加速度センサ、充電量を計測するセンサやブレーキの作動を検知するセンサ等を含む。センサから取得されたデータの一部または全部は記録部３０５に記録され、後に通信部３０３を介して情報処理サーバ１１０に送信される。また、センサ部３０１は、走行経路の周囲の情報、すなわち、ドライブレコーダの映像を取得するためのカメラやLIDAR（Light Detection and Ranging）を含む。
【００３１】
操作部３０２は、経路案内装置１４０のタッチパネルやボタン等の操作部材を含み、表示部３０６に表示される経路案内（ナビゲーション）や各種操作用のＧＵＩに対する操作を行うことができる。通信部３０３は、例えば通信用回路等を含む通信デバイスであり、例えばＬＴＥ等の移動体通信を介してネットワーク１２０に接続し、情報処理サーバ１１０と必要なデータの送受信を行う。
【００３２】
制御部３０４は、１つ以上の演算装置であるＣＰＵ３１０と、ＲＡＭ３１１とを含み、例えば記録部３０５に記録されたプログラムをＣＰＵ３１０が実行することにより、制御部３０４内の各機能ブロックや経路案内装置１４０内の各部の動作を制御する。
【００３３】
車両情報提供部３１２は、センサ部３０１によって収集されたデータ（車両の挙動に関する情報と走行経路の周囲の情報）を、車両情報として情報処理サーバ１１０に提供する。
【００３４】
マルチメディア情報出力部３１３は、情報処理サーバ１１０から受信したマルチメディア情報（すなわち画像情報と音声情報）を、表示部３０６や音声出力部３０７を介してユーザに視聴可能に出力する。選択部３１４は、出力されたマルチメディア情報に対するユーザの操作に応じて、出力した複数のマルチメディア情報のうちから所定のマルチメディア情報を選択する。
【００３５】
経路情報提供部３１５は、ユーザによって選択された所定のマルチメディア情報に対応する経路を、情報処理サーバ１１０から取得して、表示部３０６を介してユーザに提供する。経路情報提供部３１５によって提供される経路は、表示部３０６に、例えば上述の表示１５０のように表示される。
【００３６】
記録部３０５は、例えば半導体メモリ等の不揮発性メモリを含み、車両の挙動に関する情報や走行経路の周囲の情報を一定期間に渡って格納するデータベース、経路案内のための地図情報等を保持する。また、制御部３０４が実行するプログラムを保持する。
【００３７】
表示部３０６は、例えばＬＣＤやＯＬＥＤ等の表示パネルを含み、経路案内の際に表示される地図、操作用のユーザインタフェース、或いは経路案内装置の各種設定を行ったり車両１３０内の各種操作を行ったりするためのユーザインタフェース等を表示する。表示部３０６は、制御部３０４の指示に応じて、画像情報をユーザに出力可能である。音声出力部３０７は、例えば音声情報をユーザに出力可能なスピーカを含む。
【００３８】
＜経路案内装置における車両情報送信処理の一連の動作＞
次に、経路案内装置１４０における車両情報送信処理の一連の動作について、図４を参照して説明する。なお、本処理は、制御部３０４のＣＰＵ３１０が記録部３０５に記録されるプログラムを実行することにより実現される。制御部３０４は、例えば、経路案内装置１４０に電力が供給されたときに開始する。
【００３９】
Ｓ４０１において、制御部３０４は、ドライブレコーダの情報（すなわち走行経路の周囲の情報）を記録部３０５に記録する。Ｓ４０２において、制御部３０４は、車両の挙動に関する情報（すなわちＣＡＮ情報）を記録部３０５に記録する。
【００４０】
Ｓ４０３において、制御部３０４は、車両情報を情報処理サーバ１１０へ送信するタイミングであるかを判定する。制御部３０４は、例えば、内部のタイマー情報を参照して、基準となる時刻から所定以上の時間が経過している場合は送信タイミングであると判定してＳ４０４へ進む。そうでない場合は、Ｓ４０１に戻って処理を繰り返す。
【００４１】
Ｓ４０４において、制御部３０４は、記録部３０５に記録されている車両情報を情報処理サーバ１１０に送信する。このとき、制御部３０４は、情報処理サーバ１１０に対して送信していない情報であるかを判定したうえで、未送信である情報のみを情報処理サーバ１１０に送信する。
【００４２】
Ｓ４０５において、制御部３０４は、車両情報の送信処理を終了するかを判定する。制御部３０４は、処理を終了しない場合、再びＳ４０１に戻って処理を繰り返す。そうでない場合、制御部３０４は、車両情報送信処理を終了する。
【００４３】
＜情報処理サーバにおける経路提供処理の一連の動作＞
次に、情報処理サーバ１１０における経路提供処理の一連の動作について、図５を参照して説明する。なお、本処理は、制御部２０２のＣＰＵ２１０が記録部２０４に記録されるプログラムを実行することにより実現される。なお、以下で説明する環境情報データベースには予め所定の量の車両情報が格納されており、それらを用いた教師データが生成されているものとする。具体的には、環境情報データベースに記録されている車両情報のうちの少なくとも一部は、機械学習に用いる教師データとして用いるために、情報処理サーバ１１０の運用者や第三者により、手動または自動で、ラベル付けがなされている。教師データは、例えば、車両が走行した経路とその経路を走行した際のドライブレコーダの映像を１区間分取り出して、その区間の経路に対して「街路樹が多い」、「ゆっくり青空が見える」、又は「街の喧騒」などの雰囲気の情報（ラベル）が割り当てられている。例えば、図８（ａ）〜（ｃ）は、経路を区間ごとに分割し、区間８１１〜８１４に対応する車両情報を教師データとして用いる例を示している。区間８１１〜８１４を車両が走行した際のドライブレコーダの映像をもとに、第３者が手動でまたは自動で、雰囲気の情報の正解ラベルを付与することにより、図８（ｂ）に示すような区間と雰囲気の情報のラベルを対応付けた教師データが生成される。また、ドライブレコーダの映像を用いた教師データとは別に、図８（ｃ）に示すような、音楽情報と雰囲気の情報のラベルを対応付けた対応データも生成される。この対応データは、音楽情報（例えばＢＧＭ）を聞いたときに連想される雰囲気の情報が付与されている。画像情報についても、図８（ｃ）と同様の対応データが生成される。
【００４４】
Ｓ５０１において、制御部２０２の情報取得部２１２は、車両１３０の経路案内装置１４０から、車両情報を受信する。情報取得部２１２は、受信した車両情報を、車両の識別情報に関連付けて記録部２０４の環境情報データベースに格納する。
【００４５】
なお、環境情報データベースに新たに追加された車両情報の一部又は全部は更なる教師データの生成のために利用され得るが、新たに追加された車両情報を用いた教師データの生成は本経路提供処理とは別個に行われる。
【００４６】
Ｓ５０２において、制御部２０２は、マルチメディア情報と車両情報との対応付けを学習する。例えば、環境情報処理部２１３は、ある区間を走行した車両の挙動に関する情報（速度やブレーキ回数等）と走行経路の周囲の情報（ドライブレコーダの映像）を入力すると、その区間に対して最も高い確率で推定される雰囲気の情報を出力するディープニューラルネットワークを用いる。走行経路の周囲の情報は、ドライブレコーダの映像に基づき、経路に係る道路種別、該経路の周辺施設、および該経路の周辺環境の情報を予め抽出しておいてもよい。環境情報処理部２１３は、大量の教師データを用いて、区間ごとの車両情報と正解ラベルをディープニューラルネットワークに繰り返し入力し、ディープニューラルネットワークの重み付けを最適化させる（学習済みとなる）。学習済みの結果（学習済みのニューラルネットワーク）を用いることにより、教師データに含まれていない、ある区間の車両情報をディープニューラルネットワークに入力した場合に、当該区間に対する最も可能性の高い雰囲気の情報が出力される。マルチメディア情報処理部２１４は、ディープニューラルネットワークから出力された雰囲気の情報に基づいて、対応する音楽情報を出力する。なお、ここで説明した例では、一例として、ニューラルネットワークに、ある区間の車両情報に対して雰囲気の情報を出力させるようにしたが、ある区間の車両情報に対して経路の雰囲気を表現する音楽情報を出力するようなニューラルネットワークを用いてもよい。また、勿論、ここで説明したディープニューラルネットワークの重み付けを最適化する処理（すなわち学習）は、本経路提供処理とは別個に（教師データの生成後の任意のタイミングで）生成された教師データを用いて予め行っておいてよい。
【００４７】
Ｓ５０３において、制御部２０２は、経路案内装置１４０からマルチメディア情報の取得要求を受信する。マルチメディア情報の取得要求は、例えば、経路案内装置１４０の現在位置、充電状況に応じた走行可能距離を含む。
【００４８】
Ｓ５０４において、制御部２０２は、マルチメディア情報を車両（経路案内装置１４０）に提供する。具体的には、制御部２０２の提示対象決定部２１５は、例えば、受信したマルチメディア情報の取得要求に含まれる、経路案内装置１４０の現在位置、走行可能距離に基づいて、設定可能な複数の経路候補を選択する。そして、選択した複数の経路候補のそれぞれを、環境情報処理部２１３に入力し、その結果として経路候補のそれぞれに対応付けられる音楽情報および画像情報を取得する。なお、経路候補が複数の区間から構成される場合、例えば、環境情報処理部２１３が区間ごとに雰囲気の情報を出力し、マルチメディア情報処理部２１４は区間ごとの雰囲気の情報に対応する音楽情報等を出力する。このため、提示対象決定部２１５は、１つの経路内で最も数の多い音楽情報（および画像情報）を特定することにより、音楽情報および画像情報を決定する。すなわち、図８（ａ）に示す例では、１つの経路候補が区間８１３から区間８１４への経路である場合、「ゆっくり青空がみえる」に対応する「音楽Ｂ」が決定される。つまり、１つの経路候補に対して、代表的な１つの音楽情報および画像情報が決定される。提示対象決定部２１５は、決定した音楽情報および画像情報を車両に提供する。例えば、現在位置から走行可能な距離に基づいて選択された経路候補が３つであった場合、３つの音楽情報および画像情報が経路案内装置１４０に提供される。
【００４９】
なお、提供する複数の音楽情報のうち同一の音楽情報が含まれる（例えば、音楽Ｂが２つである）場合、提示対象決定部２１５は、音楽情報が異なるように、一方の音楽情報の特性を、対応付けられている経路の環境情報に基づいて変更する（例えば編曲する）。編曲は、例えば、経路における車両の挙動に関する情報に基づいて、車両の平均速度が早いほど音楽情報のテンポを上げたり、ブレーキの回数が多いほど音楽情報のテンポを下げたりすることができる。或いは、提示対象決定部２１５は、提供する複数の音楽情報と画像情報のうち音楽情報と画像情報の両方が同一である場合に、音楽情報の特性を、対応付けられている経路の環境情報に基づいて変更してもよい。
【００５０】
Ｓ５０５において、制御部２０２の情報提供部２１６は、車両の経路案内装置１４０で選択された所定のマルチメディア情報（音楽情報および画像情報）を取得する。Ｓ５０６において、情報提供部２１６は、Ｓ５０４において音楽情報に対応付けられていた経路を用いて、経路案内装置１４０で選択されたマルチメディア情報に対応する経路を決定し、Ｓ５０７において、当該決定した経路を車両の経路案内装置１４０に送信する。制御部２０２は、その後、経路提供処理を終了する。
【００５１】
＜経路案内装置における経路提示処理＞
次に、経路案内装置１４０における経路提示処理の一連の動作について、図６を参照して説明する。なお、本処理は、制御部３０４のＣＰＵ３１０が記録部３０５に記録されるプログラムを実行することにより実現される。制御部３０４は、例えば、ユーザからの経路を探索する操作を受け付けた場合に、本処理を開始する。
【００５２】
Ｓ６０１において、制御部３０４は、マルチメディア情報（音楽情報および画像情報）の取得要求を情報処理サーバ１１０に送信する。このとき、取得要求は、経路案内装置１４０の現在位置、および走行可能距離を含む。なお、走行可能距離の代わりに、移動したいと考える移動時間をユーザが入力するようにしてもよい。
【００５３】
Ｓ６０２において、制御部３０４は、情報処理サーバ１１０がＳ５０４において提供するマルチメディア情報（音楽情報および画像情報）を受信する。Ｓ６０３において、制御部３０４は、受信したマルチメディア情報（音楽情報および画像情報）を出力する。音楽情報は、音声出力部３０７から、ユーザに可聴な態様で出力される。画像情報は、表示部３０６にユーザに視認可能に表示される。
【００５４】
Ｓ６０４において、制御部３０４は、出力されたマルチメディア情報に対するユーザの操作（例えば、ユーザによるタッチ操作）に応じて、ユーザの所望のマルチメディア情報を選択する。Ｓ６０５において、制御部３０４は、Ｓ６０４で選択したマルチメディア情報を、情報処理サーバ１１０に送信する。
【００５５】
Ｓ６０５において、制御部３０４は、Ｓ５０７において情報処理サーバ１１０から提供された経路を受信し、Ｓ６０６において、受信した経路を表示部３０６に提示する。ユーザが提示された経路に沿って車両を移動することを決定すると、Ｓ６０８おいて、制御部３０４は、当該経路の案内を行い、案内に係る経路を移動すると本処理を終了する。なお、経路案内装置１４０は、選択した音声情報および画像情報と走行した経路の景色やテンポに違和感があった場合には、同様の組み合わせが発生しないように、ユーザからフィードバック（ユーザ評価）を受け付けるようにしてもよい。この場合、経路案内装置１４０は、情報処理サーバ１１０にフィードバック情報と経路の情報とを送信する。情報処理サーバ１１０では、当該経路に対して、選択された音楽情報および画像情報（直接には雰囲気の情報）が選択され難くなるように、ディープニューラルネットワークの重み付けを変更するように学習してもよい。
【００５６】
以上説明したように、本実施形態では、車両の挙動に関する情報と走行経路の周囲の情報に基づいて決定した音楽情報および画像情報を用いて、ユーザに選択させ、当該選択に応じて経路を提供するようにした。このようにすることで、ツーリングすることが目的である場合など、ユーザが目的地を特に定めること無く運転したい場合に、直感的に経路を選択できるようにする。
【００５７】
なお、上述の例では、情報処理サーバ１１０が、Ｓ５０４において学習済みのニューラルネットワークに基づき経路候補からマルチメディア情報を決定したり、Ｓ５０６において経路案内装置で選択されたマルチメディア情報に対応する経路を決定したりした。しかし、これらの処理を経路案内装置１４０が行うようにしてもよい。例えば、情報処理サーバにおいて学習された学習済みのニューラルネットワークの情報を経路案内装置１４０に送信する。経路案内装置１４０は、Ｓ６０１〜Ｓ６０２を行うことなく、受信した学習済みのニューラルネットワークの情報を用いて、経路候補からマルチメディア情報を決定し、Ｓ６０３において複数のマルチメディア情報を出力してもよい。このニューラルネットワークの情報は、例えば学習済みのニューラルネットワークを再構築するための情報であり各ニューロンの重み付けパラメータの値や当該ニューラルネットワークに使用されるハイパーパラメータの値を含む。この場合、例えば、経路案内装置１４０は記憶部３０５に学習結果をあらかじめ保持していてもよい。また、Ｓ６０４でマルチメディア情報を選択した後に、Ｓ６０５〜Ｓ６０６を行なわずに、選択されたマルチメディア情報に対応する経路を決定してもよい。このようにすれば、処理負荷の重いニューラルネットワークの学習は情報処理サーバ１１０で行っておいて、マルチメディア情報の決定や経路の決定などの処理をローカル側で実行することで高い応答性を実現することができるようになる。
【００５８】
また、上述の例では、経路案内装置１４０は、情報処理サーバからマルチメディア情報（音楽情報および画像情報）を受信（Ｓ６０２）し、当該マルチメディア情報を選択のためにユーザに出力（Ｓ６０３）するようにした。しかし、経路案内装置１４０は、予め経路案内装置１４０の記録部３０５に記録しておいた音楽情報や画像情報をユーザに出力して、所定の音楽情報や画像情報を選択するようにしてもよい。
【００５９】
＜実施形態のまとめ＞
１．上記実施形態の経路案内装置（例えば参照番号１４０）は、
ユーザに音楽情報を可聴な態様で出力する出力手段（例えば３０７、３１３、Ｓ６０３）と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段（例えば３１４）と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段（例えば３１５）と、を有する。
【００６０】
この実施形態によれば、車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能な経路案内装置を提供することができる。
【００６１】
２．上記実施形態では、
前記出力手段（例えば３０６）は、出力される音楽情報と対応する画像情報を更に出力可能である。
【００６２】
この実施形態によれば、景色等を視覚的に連想可能な情報に基づいて経路を決定することができる。
【００６３】
３．上記実施形態では、経路案内装置は更に、
前記提供手段によって前記ユーザに提供される経路を、選択された前記所定の音楽情報に基づいて決定する決定手段を有する。
【００６４】
この実施形態によれば、処理負荷の重いニューラルネットワークの学習は情報処理サーバ１１０で行っておいて、マルチメディア情報の決定や経路の決定などの処理をローカル側で実行することで高い応答性を実現することができる。
【００６５】
４．上記実施形態では、経路案内装置は更に、
選択された前記所定の音楽情報を外部装置に送信する送信手段（例えば３１３）であって、前記外部装置（例えば１１０）は、ユーザに提供される経路を、受信した音楽情報に基づいて決定する決定手段（例えば２１５）を有する、送信手段と、
前記提供手段によって提供するために、前記外部装置によって決定された経路を前記外部装置から受信する受信手段（例えば３１５）と、を更に有する。
【００６６】
この実施形態によれば、マルチメディア情報の決定や経路の決定などの処理をサーバ側で実行することでより高度なアルゴリズムを用いたり精度の高い処理を行ったりすることができる。
【００６７】
５．上記実施形態では、
前記出力手段から出力される音楽情報は、経路の環境情報の特徴と対応付けられている（例えば図８）。
【００６８】
この実施形態によれば、所望の経路の雰囲気を表す音楽情報を選択することにより経路を選択することができる。
【００６９】
６．上記実施形態では、
前記経路の環境情報は、経路を移動する車両の挙動に関する情報を含む。
【００７０】
この実施形態によれば、経路の特徴を車両の挙動に関する情報に基づいて表現し、音楽情報と対応付けることができる。
【００７１】
７．上記実施形態では、
前記車両の挙動に関する情報は、経路を移動する車両の速度、加速度、およびブレーキ回数の少なくとも１つを含む。
【００７２】
この実施形態によれば、経路の特徴を、経路を移動する車両の速度、加速度、およびブレーキ回数の少なくとも１つに基づいて表現し、音楽情報と対応付けることができる。
【００７３】
８．上記実施形態では、
前記経路の環境情報は、更に、経路に係る道路種別、該経路の周辺施設、および該経路の周辺環境の少なくとも１つの情報を含む。
【００７４】
この実施形態によれば、経路の特徴を、経路に係る道路種別、該経路の周辺施設、および該経路の周辺環境の少なくとも１つに基づいて表現し、音楽情報と対応付けることができる。
【００７５】
９．上記実施形態では、
前記出力手段から出力される音楽情報は、前記経路案内装置の現在位置からの経路の環境情報の特徴と対応付けられている。
【００７６】
この実施形態によれば、現在位置からの経路の特徴を車両の挙動に関する情報に基づいて表現し、音楽情報と対応付けることができる。
【００７７】
１０．上記実施形態では、
前記出力手段から出力される音楽情報は、出力しようとする複数の音楽情報が同一の音楽情報であった場合に、前記同一の音楽情報の一方の音楽情報の特性が、対応付けられている前記経路の環境情報に基づいて変更されている。
【００７８】
この実施形態によれば、選択する音楽情報の種類が少なく、出力しようとする音楽情報が重なってしまう場合であっても、経路の特徴に応じて音楽情報を変更してユーザに出力することができる。
【００７９】
１１．上記実施形態では、
前記出力手段から出力される音楽情報と前記出力手段から出力される画像情報とは、それぞれ、経路の環境情報の特徴に対応付けられており、
前記出力手段から出力される音楽情報は、出力しようとする音楽情報が同一であり、且つ、音楽情報に対応する画像情報が同一である場合、前記同一の音楽情報の一方の音楽情報の特性が、対応付けられている前記経路の環境情報に基づいて変更されている。
【００８０】
この実施形態によれば、選択する音楽情報および画像情報の種類が少なく、出力しようとする音楽情報も画像情報も重なってしまう場合であっても、経路の特徴に応じて音楽情報を変更してユーザに出力することができる。
【００８１】
１２．本実施形態の経路案内装置は、
第１経路の環境情報に基づく第１音と、第２経路の環境情報に基づく第２音と、をそれぞれ取得する取得手段と、
前記第１経路及び前記第２経路のいずれかを選択するために、前記第１音及び前記第２音をそれぞれ、ユーザに選択可能に出力するように制御する出力制御手段と、を備える。
【００８２】
この実施形態によれば、車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能な経路案内装置を提供することが可能になる。
【００８３】
１３．本実施形態の経路案内装置は、
前記取得手段は、前記第１経路の前記環境情報に基づく第１画像と、前記第２経路の前記環境情報に基づく第２画像と、をそれぞれ取得し、
前記出力制御部は、更に、前記第１経路及び前記第２経路のいずれかを選択するために、前記第１画像及び前記第２画像をそれぞれ、前記ユーザに選択可能に出力するように制御する。
【００８４】
この実施形態によれば、景色等を視覚的に連想可能な情報に基づいて経路を決定することができる。
【００８５】
１４．本実施形態の経路案内装置の制御方法は、
ユーザに音楽情報を可聴な態様で出力する出力工程と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択工程と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供工程と、を有する。
【００８６】
この実施形態によれば、車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能な経路案内装置の制御方法を提供することが可能になる。
【００８７】
１５．本実施形態の情報処理サーバは、
ユーザに音楽情報を可聴な態様で出力する出力手段と、出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段とを有する経路案内装置と、通信する情報処理サーバであって、
前記所定の音楽情報に対応する経路を、前記所定の音楽情報に基づいて決定する決定手段を有する。
【００８８】
この実施形態によれば、車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能な経路案内装置に、音楽情報に対応する経路を提供可能の情報処理サーバを提供することができる。
【００８９】
１６．本実施形態の経路案内システムは、
経路案内装置と情報処理サーバとを有する経路案内システムであって、
前記経路案内装置は、
ユーザに音楽情報を可聴な態様で出力する出力手段と、
出力された音楽情報に対する前記ユーザの操作に応じて、所定の音楽情報を選択する選択手段と、
選択された前記所定の音楽情報に対応する経路を、前記ユーザに提供する提供手段と、を有し、
前記情報処理サーバは、
前記所定の音楽情報に対応する経路を、前記所定の音楽情報に基づいて決定する決定手段を有する。
【００９０】
この実施形態によれば、車両が走行する経路を設定する際に、非言語情報に基づいて経路を決定することが可能な経路案内システムを提供することができる。
【符号の説明】
【００９１】
１４０…経路案内装置、２１２…情報取得部、２１３…環境情報処理部、２１５…提示対象決定部、２１６…情報提供部、３１３…マルチメディア情報出力部、３１４…選択部、３１５…経路情報提供部
【図１】
2020094928.tif 000003
【図２】
2020094928.tif 000004
【図３】
2020094928.tif 000005
【図４】
2020094928.tif 000006
【図５】
2020094928.tif 000007
【図６】
2020094928.tif 000008
【図７】
2020094928.tif 000009
【図８】
2020094928.tif 000010