(57)【要約】【課題】ユーザが発声した指示語の対象に関する深い情報を取得可能とする。【解決手段】情報提供システム１は、イベントが開催される位置を示す位置情報、及び該イベントに関するイベント情報を情報媒体から取得し、地図画像において位置情報が示す位置に、該位置で開催されるイベントに関するイベント情報を対応付ける参照データ作成部１０と、ユーザの音声を認識し、ユーザが発声した指示語が指している対象の位置を推定する意図推定部２０と、参照データ作成部１０により、意図推定部２０で推定された位置に対応付けられたイベント情報を取得する補足情報取得部３０と、を備える。【選択図】図１
2019145018.tif 000002
【特許請求の範囲】
【請求項１】
イベントが開催される位置を示す位置情報、及び該イベントに関する補足情報を情報媒体から取得し、地図画像において前記位置情報が示す位置に、該位置で開催されるイベントに関する前記補足情報を対応付ける参照データ作成部と、
ユーザの音声を認識し、ユーザが発声した指示語の対象の位置を推定する意図推定部と、
前記参照データ作成部で前記意図推定部により推定された位置に対応付けられている補足情報を取得する補足情報取得部と、
を備えることを特徴とする情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが発声した指示語の対象に関する補足情報を提供可能な情報提供システムに関する。
【背景技術】
【０００２】
従来、音声認識により、車を運転中のユーザの発する指示語の対象を推定・特定する技術が知られている。例えば、特許文献１には、ユーザが所有する情報装置を含む情報取得システムにおける情報取得方法であって、車を運転中のユーザにより行われる特定動作を検知する検知ステップと、特定動作が検知ステップにより検知されると、車の位置を表す車両位置情報を取得して記憶部に保存する保存ステップと、特定動作が音声を発生する動作以外の動作である場合であって、かつ、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行わない場合には、所定時間が経過したときに車両位置情報を記憶部から消去する消去ステップと、を備える情報取得方法が記載されている。
【０００３】
また、特許文献２には、運転者が発声した指示語を推定するために、ＧＰＳ（Global Positioning System）による位置情報を用いることが記載されている。また、特許文献３には、コミュニケーションロボットのカメラ映像から抽出した発話者の視線、指差しにより指示語の対象の方向を推定し、音声認識結果から抽出した指示語の種類（「ここ」、「そこ」、「あそこ」、「この辺」、「その辺」、「あの辺」など）により、指示語の対象と発話者の距離を推定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−０８１５１３号公報
【特許文献２】特開２０１０−２１７３１８号公報
【特許文献３】特許５３９１５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の指示語の対象を推定・特定する技術では、そこで推定・特定できる対象物は、あくまで場所に固定的に紐づかれている建物、オブジェなどに限定される。そのため、指示語の対象が祭り、コンサート、お店の開店などのような経時変化する事象（イベント）である場合には、対象物を推定・特定することができないという問題があった。
【０００６】
また、従来の技術では、視線や指差の方向などにより、お店の開店を待って行列に並んでいる人などを特定することはできるが、その行列がどのようなイベントに対する行列かまでは推定することができない。
【０００７】
かかる事情に鑑みてなされた本発明の目的は、ユーザが発声した指示語の対象に関する補足情報として、従来よりも詳細な深い情報（例えば、行列になっている理由や、多数の人間がある場所でスマートフォンを操作している理由など）を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る情報提供システムは、イベントが開催される位置を示す位置情報、及び該イベントに関するイベント情報を情報媒体から取得し、地図画像において前記位置情報が示す位置に、該位置で開催されるイベントに関する前記イベント情報を対応付ける参照データ作成部と、ユーザの音声を認識し、ユーザが発声した指示語の対象の位置を推定する意図推定部と、前記参照データ作成部で前記意図推定部により推定された位置に対応付けられている補足情報を取得する補足情報取得部と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザは、発声した指示語の対象に関する深い情報を取得することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る情報提供システムの構成例を示すブロック図である。
【図２】本発明の一実施形態に係る情報提供システムにおけるデータ取得・分析部の構成例を示すブロック図である。
【図３】本発明の一実施形態に係る情報提供システムにおける補足情報のマッピング例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１２】
本発明の一実施形態に係る情報提供システムについて、以下に説明する。図１は、本発明の一実施形態に係る情報提供システムの構成例を示すブロック図である。図１に示す情報提供システム１は、参照データ作成部１０と、意図推定部２０と、補足情報取得部３０と、補足情報提示部４０と、を備える。
【００１３】
参照データ作成部１０は、テレビ、ラジオ、インターネットなどの情報媒体から、イベントが開催される位置を示す位置情報、及び該イベントに関する補足情報を取得する。補足情報には、イベントが開催される時刻を示す時刻情報や、イベントの内容（概要）を示すイベント情報が含まれる。そして、参照データ作成部１０は、地図画像において該位置情報が示す位置に、該位置で開催されるイベントに関する補足情報を対応付けて（マッピングして）、マッピング済み地図画像を作成する。これにより、場所に固定的に紐づかれている建物、オブジェクトなどに限定されていた指示語の対象範囲を、祭り、コンサート、お店の開店などのような経時変化する動的なイベントに広げることが可能となる。参照データ作成部１０の詳細については後述する。
【００１４】
意図推定部２０は、ユーザの音声を認識し、ユーザが発声した指示語の対象の位置を推定して、推定した対象の位置情報を生成し、補足情報取得部３０に出力する。ここで、指示語とは、「これ」「それ」「あれ」「どれ」、「ここ」、「そこ」、「あそこ」、「どこ」、「こちら」、「そちら」、「あちら」、「どちら」といった代名詞や、「この」「その」「あの」「どの」といった連体詞などを含む用語である。意図推定部２０の詳細については後述する。
【００１５】
補足情報取得部３０は、意図推定部２０から位置情報が入力されると、参照データ作成部１０により作成されたマッピング済み地図画像から、位置情報が示す位置に対応付けられた補足情報を取得し、補足情報提示部４０に出力する。
【００１６】
補足情報提示部４０は、補足情報取得部３０から入力された補足情報をユーザに提示可能なデータに変換し、出力する。補足情報提示部４０は、該情報を携帯端末、ナビゲーション装置などのディスプレイに表示させてもよいし、合成音を生成してスピーカから出力させてもよい。
【００１７】
次に、参照データ作成部１０の詳細について説明する。図１に示す参照データ作成部１０は、データ取得・分析部１１０と、地図画像記憶部１２０と、データ・位置マッピング部１３０と、マッピング済み地図画像記憶部１４０とを備える。
【００１８】
データ取得・分析部１１０は、テレビやラジオで流れたニュース、インターネット上の電子ニュース、及びインターネット上のＳＮＳ（Social Networking Service）や掲示板の書き込みから、イベントが開催される位置を示す位置情報、及び該イベントに関する補足情報を取得し、取得した情報をデータ・位置マッピング部１３０に出力する。
【００１９】
図２は、データ取得・分析部１１０の構成例を示すブロック図である。図２に示す例では、データ取得・分析部１１０は、データ取得部１１１と、音声認識部１１２と、電子データ整形部１１３と、テキスト分析部１１４と、画像分析部１１５と、イベント情報生成部１１６と、時刻情報生成部１１７と、位置情報生成部１１８とを備える。
【００２０】
データ取得部１１１は、テレビ、ラジオ、インターネットなどの任意の情報媒体からデータを取得する。情報媒体がラジオの場合には、取得した音声データを音声認識部１１２に出力する。情報媒体がテレビの場合には、取得した音声データを音声認識部１１２に出力し、取得した画像データを画像分析部１１５に出力する。情報媒体がインターネットの場合には、取得した電子データを電子データ整形部１１３に出力する。電子データにはインターネット上の電子ニュース、ＳＮＳや掲示板に投稿された情報が含まれる。なお、データ取得部１１１は、クローリングにより電子データを取得してもよい。
【００２１】
音声認識部１１２は、データ取得部１１１から入力された音声データに対して音声認識処理を行ってテキスト化し、テキストデータをテキスト分析部１１４に出力する。
【００２２】
電子データ整形部１１３は、データ取得部１１１から入力された電子データからテキスト部分を抽出し、テキスト分析部１１４に出力する。電子データに記事の日付が含まれる場合には、電子データ整形部１１３は、日付情報として時刻情報生成部１１７に出力する。
【００２３】
また、電子データ整形部１１３は、電子データに画像データが含まれる場合には、画像データを画像分析部１１５に出力する。電子データに映像データが含まれる場合には、音声データを音声認識部１１２に出力し、画像データを画像分析部１１５に出力する。なお、電子データ整形部１１３は、記事に関連しない広告等の情報は削除する。
【００２４】
音声認識部１１２は、電子データ整形部１１３から音声データが入力された場合には、該音声データに対して音声認識処理を行ってテキスト化し、テキストデータをテキスト分析部１１４に出力する。
【００２５】
テキスト分析部１１４は、音声認識部１１２及び電子データ整形部１１３から入力されたテキストデータを形態素解析により形態素単位に分割し、さらに構文分析により係り受けの分析をする。そして、分析結果であるテキスト分析情報を画像分析部１１５、イベント情報生成部１１６、時刻情報生成部１１７、及び位置情報生成部１１８に出力する。
【００２６】
画像分析部１１５は、データ取得部１１１及び電子データ整形部１１３から入力された画像データを解析するために、該画像データに対応するテキスト分析情報をテキスト分析部１１４から取得する。そして、対応するテキスト分析情報に基づいて画像データを分析し、画像データからイベントに関連するオブジェクト画像を検出する。また、オブジェクト画像の詳細な相対位置関係を分析する。そして、検出したオブジェクト画像をイベント情報生成部１１６に出力する。
【００２７】
イベント情報生成部１１６は、テキスト分析部１１４から入力されたテキスト分析情報、及び画像分析部１１５から入力されたオブジェクト画像に基づいて、イベント名、イベントの概要、及びイベントに関連するオブジェクト画像を抽出し、イベント情報としてデータ・位置マッピング部１３０に出力する。
【００２８】
時刻情報生成部１１７は、テキスト分析部１１４から入力されたテキスト分析情報から時刻情報を生成し、データ・位置マッピング部１３０に出力する。テキスト分析情報から抽出した日時情報が、「７月１４日１５時」のように具体的（明確）である場合には、該日時情報をそのまま出力する。また、テキスト分析情報から抽出した日時情報が「今朝」や「本日１７時」のように抽象的（不明確）である場合には、日付を補って「７月１４日の朝」や「７月１４日１７時」としてもよい。例えば、情報媒体がテレビ又はラジオであった場合には、補う日付を情報媒体からデータを取得した日付とし、情報媒体がインターネットであった場合には、補う日付を情報媒体から取得した情報の投稿履歴から決定することができる。
【００２９】
位置情報生成部１１８は、テキスト分析部１１４から入力されたテキスト分析情報から位置情報を生成し、データ・位置マッピング部１３０に出力する。テキスト分析情報から得られる位置情報は、「○○○公園公会堂」といった建築物の名称、「△△ビル前広場」や「□□□通り」といった場所を特定可能な地名又は住所などである。テキスト分析情報から抽出した位置情報が「○○○公園公会堂」、「△△ビル前広場」、「□□□通り」のように具体的（明確）である場合には、該位置情報をそのまま出力する。また、テキスト分析情報から抽出した位置情報が市区町村などの広い範囲を示して抽象的（不明確）である場合には、インターネット上の検索からより詳細な位置を特定してもよい。インターネット検索を行う場合には、イベント情報生成部１１６で生成されたイベント情報から検索クエリを決定してもよい。また、位置情報生成部１１８は、テキスト分析情報から抽出した位置情報が示す位置の地図画像を取得し、画像分析部１１５から入力されたオブジェクト画像と照合して、詳細な位置を特定してもよい。なお、建物についての位置情報は、「××デパート」とするよりは、より具体的に「××デパート７階」というように階数まで特定するのが望ましい。
【００３０】
地図画像記憶部１２０は、地図画像を記憶する。地図画像は、一般的な２次元の地図画像であってもよいし、衛星画像やストリートビュー画像のような３次元の地図画像であってもよい。なお、地図画像記憶部１２０は、情報提供システム１の外部に配置されてもよい。
【００３１】
データ・位置マッピング部１３０は、地図画像記憶部１２０から取得した地図画像に、データ取得・分析部１１０から入力された補足情報（本実施形態では時刻情報及びイベント情報）をマッピングしてマッピング済み地図画像を生成し、マッピング済み地図画像記憶部１４０に出力する。
【００３２】
図３は、データ・位置マッピング部１３０による補足情報のマッピング例を示す図である。例えば、データ・位置マッピング部１３０はＲｏｃｋ  Ｆｅｓｔｉｖａｌというイベントが開催される旨のイベント情報を取得すると、Ｒｏｃｋ  Ｆｅｓｔｉｖａｌというイベントに対応する位置情報を抽出する。そして、該位置情報が示す位置を地図画像で特定し、特定した位置に、補足情報をマッピングする。図３の例では、補足情報は時刻情報（イベントの開催時刻）と、イベント情報（イベントの開催場所、イベント名、及び備考）である。
【００３３】
マッピング済み地図画像記憶部１４０は、データ・位置マッピング部１３０から入力されたマッピング済み地図画像を記憶する。なお、マッピング済み地図画像記憶部１４０は、情報提供システム１の外部に配置されてもよい。
【００３４】
次に、意図推定部２０の詳細について説明する。図１に示す意図推定部２０は、音声認識部２１０と、会話分析部２２０と、画像分析部２３０と、対象推定部２４０とを備える。
【００３５】
音声認識部２１０は、マイクから入力される、ユーザの発生した音声に対して、音声認識処理を行ってテキスト化し、テキストデータを会話分析部２２０に出力する。
【００３６】
会話分析部２２０は、音声認識部２１０から入力されたテキストデータを形態素解析により形態素単位に分割し、さらに構文分析により係り受けの分析をする。そして、分析結果である会話分析情報を対象推定部２４０に出力する。
【００３７】
画像分析部２３０は、カメラから入力される、ユーザを写した画像又は映像から、ユーザの視線又はジェスチャ（指差し方向など）を検知し、周囲の環境を写した画像又は映像からユーザの視線又はジェスチャに基づく方向にあるオブジェクト検出し、対象推定部２４０に出力する。行列ができている場合には、画像分析部２３０は行列ができているオブジェクトを優先的に検出するようにしてもよい。意図推定部２０が車両に搭載されている場合には、車内のカメラからユーザの画像又は映像を取得し、ドライブレコーダから周囲の環境を写した画像又は映像を取得することができる。なお、意図推定部２０は画像分析部２３０を備えなくてもよいが、画像分析部２３０を備えることにより、対象推定部２４０における推定精度を向上させることが可能となる。
【００３８】
対象推定部２４０は、会話分析部２２０から入力された会話分析情報、画像分析部２３０から入力されたオブジェクト、及びＧＰＳ受信機から取得した位置情報に基づいて、ユーザが発声した指示語の対象を推定し、推定した対象の位置情報を補足情報取得部３０に出力する。
【００３９】
例えば、車を運転しているユーザが「あれ、何しているのかな？左の行列の…」と話した場合、対象推定部２４０は、「あれ」は「左の行列」を指していると推定する。そして、対象推定部２４０は、指示語の対象の第１の位置情報（車両の進行方向に対して左側の周辺の位置情報）をＧＰＳ受信機から取得する。この第１の位置情報の範囲に、画像分析部２３０が検出したオブジェクトが含まれる場合には、該オブジェクトの位置情報（第２の位置情報）を補足情報取得部３０に出力する。なお、意図推定部２０が画像分析部２３０を備えない場合には、対象推定部２４０は第１の位置情報を補足情報取得部３０に出力する。
【００４０】
例えば、マッピング済み地図画像記憶部１４０に、図３に示したマッピング済み地図画像が記憶されており、対象推定部２４０が推定した対象の位置が図３で示す位置Ａであった場合には、補足情報取得部３０は、位置Ａにマッピングされた補足情報（イベント「Ｒｏｃｋ  Ｆｅｓｔｉｖａｌ」に関する情報）を取得する。同様に、対象推定部２４０が推定した対象の位置が図３で示す位置Ｂであった場合には、位置Ｂにマッピングされた補足情報（イベント「ヨガ講習」に関する情報）を取得し、対象推定部２４０が推定した対象の位置が図３で示す位置Ｃであった場合には、位置Ｃにマッピングされた補足情報（イベント「ハロウィンイベント」に関する情報）を取得する。
【００４１】
補足情報提示部４０は、補足情報取得部３０により取得された補足情報をユーザに提示する。補足情報の候補が複数存在する場合には、複数提示してもよい。
【００４２】
なお、情報提供システム１は、一体の装置として構成されていなくてもよい。例えば、意図推定部２０、補足情報取得部３０、及び補足情報提示部４０を車両に搭載し、参照データ作成部１０を車外のセンターやクラウドサーバーに配置してもよい。この場合には、補足情報取得部３０は、車外の装置と通信可能な車載通信機（例えば、ＤＣＭ（Data Communication Module））を介して、参照データ作成部１０から補足情報を取得する。
【００４３】
また、情報提供システム１の適用は車両に限定されるものではない。例えば、意図推定部２０、補足情報取得部３０、及び補足情報提示部４０を携帯端末に搭載し、参照データ作成部１０を外部のセンターやクラウドサーバーに配置してもよい。
【００４４】
以上、情報提供システム１について説明したが、情報提供システム１の全部又は一部の機能を実現させるためにコンピュータを好適に用いることが可能である。そのようなコンピュータは、情報提供システム１の全部又は一部の機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００４５】
また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００４６】
以上説明したように、本発明では、イベントが開催される位置を示す位置情報、及び該イベントに関する補足情報を情報媒体から取得し、地図画像において該位置情報が示す位置に、該位置で開催されるイベントに関する補足情報を対応付けてあらかじめ記憶しておく。そして、ユーザが指示語を発声すると、指示語の対象の位置を推定し、推定位置に対応付けられた補足情報を取得してユーザに提示する。したがって、本発明によれば、様々な情報媒体からイベントに関する補足情報を収集し、イベントの開催場所に関連付けて記憶することができるため、ユーザは発声した指示語の対象に関する深い情報を取得することが可能となる。
【００４７】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００４８】
１      情報提供システム
１０    参照データ作成部
２０    意図推定部
３０    補足情報取得部
４０    補足情報提示部
１１０  データ取得・分析部
１１１  データ取得部
１１２  音声認識部
１１３  電子データ整形部
１１４  テキスト分析部
１１５  画像分析部
１１６  イベント情報生成
１１７  時刻情報生成部
１１８  位置情報生成部
１２０  地図画像記憶部
１３０  データ・位置マッピング部
１４０  マッピング済み地図画像記憶部
２１０  音声認識部
２２０  会話分析部
２３０  画像分析部
２４０  対象推定部
【図１】
2019145018.tif 000003
【図２】
2019145018.tif 000004
【図３】
2019145018.tif 000005