(57)【要約】【課題】情報提示方法を更に改善する。【解決手段】本開示の一態様は、ユーザが車を運転中に前記車の周囲の物体に対して関心を示したことを示す特定動作を検知する検知ステップと、特定動作が検知ステップにより検知された時点における車の位置を表す車位置情報を取得して記憶部に保存する第１保存ステップと、特定動作が検知された後から所定時間が経過するまでにユーザが第１の音声を発生した場合に、車位置情報と地図情報を含むデータベースとを用いて、物体の情報を検索する検索ステップと、検索ステップの結果をクリップ情報として保存する第２保存ステップと、クリップ情報をユーザに提示する提示ステップと、を備えるものである。【選択図】図１
2019133670.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが車を運転中に前記車の周囲の物体に対して関心を示したことを示す特定動作を検知する検知ステップと、
前記特定動作が前記検知ステップにより検知された時点における前記車の位置を表す車位置情報を取得して記憶部に保存する第１保存ステップと、
前記特定動作が検知された後から所定時間が経過するまでに前記ユーザが第１の音声を発生した場合に、前記車位置情報と地図情報を含むデータベースとを用いて、前記物体の情報を検索する検索ステップと、
前記検索ステップの結果をクリップ情報として保存する第２保存ステップと、
前記クリップ情報を前記ユーザに提示する提示ステップと、
を備える情報提示方法。
【請求項２】
前記特定動作は、発話動作ではない、
請求項１に記載の情報提示方法。
【請求項３】
前記特定動作が検知された後から所定時間が経過するまでに前記ユーザが前記第１の音声を発生しなかった場合に、前記車位置情報を消去する第１消去ステップをさらに備える、
請求項１または２に記載の情報提示方法。
【請求項４】
前記第１保存ステップでは、前記検知ステップで検知された検知情報を、前記車位置情報と対応付けて前記記憶部に保存し、
前記検索ステップにおいて、前記検知情報をさらに用いる、
請求項１から３のいずれか１項に記載の情報提示方法。
【請求項５】
前記特定動作が検知された後から所定時間が経過するまでに前記ユーザが前記第１の音声を発生しなかった場合に、前記検知情報を消去する第２消去ステップをさらに備える、
請求項４に記載の情報提示方法。
【請求項６】
前記検知情報は、前記ユーザの視線情報である、
請求項４または５に記載の情報提示方法。
【請求項７】
前記物体は施設であり、
前記クリップ情報は、前記施設の分野及び名称を含む、
請求項１から６のいずれか１項に記載の情報提示方法。
【請求項８】
前記第１の音声は、前記物体についての質問を示す音声である、
請求項１から７のいずれか１項に記載の情報提示方法。
【請求項９】
前記第１の音声が方向を示す言葉を含む場合、前記検索ステップにおいて、前記方向に検索範囲を絞り込む、
請求項８に記載の情報提示方法。
【請求項１０】
前記第１の音声は、前記物体の情報の検索を指示する音声であり、
前記提示ステップは、前記ユーザが前記物体についての質問を示す第２の音声を発生した場合に実行される、
請求項１から７のいずれか１項に記載の情報提示方法。
【請求項１１】
前記提示ステップは、スピーカからの音声応答によって実行される、
請求項１から１０のいずれか１項に記載の情報提示方法。
【請求項１２】
前記提示ステップは、ディスプレイへの表示によって実行される、
請求項１から１０のいずれか１項に記載の情報提示方法。
【請求項１３】
前記検知ステップは、前記ユーザの視線方向に関する視線情報を検知し、前記ユーザにより行われる視線を所定角度以上動かす動作を、前記特定動作として検知する、
請求項１に記載の情報提示方法。
【請求項１４】
前記検知ステップは、前記ユーザが腕を所定値以上の速度又は加速度で動かす動作を、前記特定動作として検知する、
請求項１に記載の情報提示方法。
【請求項１５】
前記検知ステップは、前記ユーザが前記車のブレーキペダルを所定値以上踏み込む動作を、前記特定動作として検知する、
請求項１に記載の情報提示方法。
【請求項１６】
ユーザが車を運転中に前記車の周囲の物体に対して関心を示したことを示す特定動作を検知するセンサと、
前記特定動作が前記センサにより検知された時点における前記車の位置を表す車位置情報を保存する第１メモリと、
前記特定動作が検知された後から所定時間が経過するまでに前記ユーザが第１の音声を発生した場合に、前記車位置情報と地図情報を含むデータベースとを用いて、前記物体の情報を検索する検索装置と、
前記検索装置の検索結果をクリップ情報として保存する第２メモリと、
前記クリップ情報を前記ユーザに提示する提示部と、
を備える情報提示システム。
【請求項１７】
ユーザが車を運転中に前記車の周囲の物体に対して関心を示したことを示す特定動作を検知する検知ステップと、
前記特定動作が前記検知ステップにより検知された時点における前記車の位置を表す車位置情報を取得して記憶部に保存する第１保存ステップと、
前記特定動作が検知された後から所定時間が経過するまでに前記ユーザが第１の音声を発生した場合に、前記車位置情報と地図情報を含むデータベースとを用いて、前記物体の情報を検索する検索ステップと、
前記検索ステップの結果をクリップ情報として保存する第２保存ステップと、
前記クリップ情報を前記ユーザに提示する提示ステップと、
を備える情報提示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報提示方法、情報提示システム及び情報提示プログラムに関する。
【背景技術】
【０００２】
従来、ユーザの音声を認識する音声認識技術として、特許文献１に記載の技術が知られている。特許文献１に記載の音声入力装置は、ユーザの音声を音声信号に変換する音声入力部と、音声入力部の角度を検出する角度検出部と、音声入力部とユーザとの距離を検出する距離検出部と、検出された角度及び距離に基づいて、音声入力部のオンオフを制御する音声入力切替部とを備える。この構成により、音声入力のオンオフ制御が精度良く実現され、その結果、音声認識の精度向上が可能にされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１０／１０６７１１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、更なる改善が必要とされていた。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本開示の一態様は、
ユーザが車を運転中に前記車の周囲の物体に対して関心を示したことを示す特定動作を検知する検知ステップと、
前記特定動作が前記検知ステップにより検知された時点における前記車の位置を表す車位置情報を取得して記憶部に保存する第１保存ステップと、
前記特定動作が検知された後から所定時間が経過するまでに前記ユーザが第１の音声を発生した場合に、前記車位置情報と地図情報を含むデータベースとを用いて、前記物体の情報を検索する検索ステップと、
前記検索ステップの結果をクリップ情報として保存する第２保存ステップと、
前記クリップ情報を前記ユーザに提示する提示ステップと、を備えるものである。
【発明の効果】
【０００６】
上記一態様によれば、情報提示方法の更なる改善を実現することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の情報取得システムの構成を示すブロック図である。
【図２】本実施形態の情報取得システムが利用される状況を概略的に示す図である。
【図３】携帯機器の構成を概略的に示すブロック図である。
【図４】スマートフォンの構成を概略的に示すブロック図である。
【図５】車制御システムの構成を概略的に示すブロック図である。
【図６】スマートフォンのコントローラからクラウドセンターに送信される音声処理要求信号のデータ構造の一例を概略的に示す図である。
【図７】クラウドセンターの構成を概略的に示すブロック図である。
【図８】音声制御ＤＢに保存されている、制御内容に対応して規定された音声のリストを含む特定音声対応表の一例を概略的に示す図である。
【図９】制御コマンドに対応する応答内容を規定する応答表を概略的に示す図である。
【図１０】車の進行方向を向いているユーザの視野範囲を概略的に示す図である。
【図１１】ユーザが車の進行方向を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。
【図１２】ユーザが車の進行方向より右側を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。
【図１３】クリップ情報ＤＢに保存されているクリップ情報のデータ構造の一例を概略的に示す図である。
【図１４】スマートフォンのタッチパネルディスプレイに表示されるクリップ情報リスト画面の一例を概略的に示す図である。
【図１５】スマートフォンのタッチパネルディスプレイに表示される検索結果画面の一例を概略的に示す図である。
【図１６】図１に示される情報取得システムの動作の一例を概略的に示すシーケンス図である。
【図１７】図１６の動作が行われる状況を概略的に示す図である。
【図１８】図１に示される情報取得システムの動作の図１６と異なる例を概略的に示すシーケンス図である。
【図１９】図１６、図１８の動作におけるスマートフォンのコントローラの動作手順を概略的に示すフローチャートである。
【発明を実施するための形態】
【０００８】
（本開示に係る一態様を発明するに至った経緯）
まず、本開示に係る一態様の着眼点について説明する。
【０００９】
車の走行中に、道路脇に建っている施設に気付いても、運転中であるため、機器を操作して、その施設の情報を取得することは困難である。また、その施設を運転後に検索しようとしても、場所や景色がうろ覚えである場合には、その施設を正確に検索することは困難である。
【００１０】
そこで、特許文献１に記載の音声認識技術を利用して、例えば「チェック」とのユーザの音声指示に基づき車の位置を表す位置情報を記憶し、その位置に該当する施設を検索してユーザに提示することが考えられる。
【００１１】
この場合、ユーザが道路脇の施設に気付いて「チェック」との音声を発生した時点から音声認識処理を開始し、発生された音声が「チェック」との位置情報を記憶すべきコマンドであるという音声認識処理の結果が得られると、位置情報を記憶することになる。しかしながら、音声認識処理の開始から終了までにある程度の時間を要するため、車の走行速度が速い場合には、記憶した位置情報がユーザの意図した位置を表していない可能性がある。
【００１２】
例えば、車が８０ｋｍ／ｈで走行中に、ユーザが「チェック」との音声指示を発生した時点から音声認識処理の結果が得られるまでに１．５秒要する場合には、約３３ｍずれることになる。
【００１３】
また、ユーザが、道路脇に建っている施設に気付いたときに、ユーザは、音声を発生する前に他の動作を行うことも考えられる。その場合には、音声を発生した位置よりも、他の動作を行った位置の方が、施設の位置に近いことがあり得る。
【００１４】
以上の課題を解決するために、本発明者は、以下の各態様にかかる発明を想到するに至った。
【００１５】
本開示の一態様は、
ユーザが所有する情報装置を含む情報取得システムにおける情報取得方法であって、
車を運転中の前記ユーザにより行われる特定動作を検知する検知ステップと、
前記特定動作が前記検知ステップにより検知されると、前記車の位置を表す車位置情報を取得して記憶部に保存する第１保存ステップと、
前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去ステップと、を備えるものである。
【００１６】
本態様では、ユーザにより行われる特定動作が検知されると、車位置情報が取得されて記憶部に保存される。すなわち、音声認識処理が行われることなく、ユーザが特定動作を行うだけで、車位置情報が記憶部に保存される。したがって、本態様によれば、車が高速で走行中であっても、ユーザが所望する車位置情報を記憶部に保存することができる。
【００１７】
また、本態様では、ユーザが行った特定動作が音声を発生する動作以外の動作である場合であって、かつ、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行わない場合には、所定時間が経過したときに車位置情報が記憶部から消去される。ユーザが音声を発生して車位置情報に関して何らかの指示を行わない場合には、記憶部に保存された車位置情報は不要であると考えられる。したがって、本態様によれば、不要な車位置情報により記憶部の容量が占有されるのを防止することができる。
【００１８】
なお、本態様では、特定動作が音声を発生する動作である場合には、車位置情報が記憶部に保存された状態が維持されることとなる。また、特定動作が音声を発生する動作以外の動作であっても、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行った場合には、車位置情報が記憶部に保存された状態が維持されることとなる。
【００１９】
上記一態様において、例えば、
前記検知ステップは、前記ユーザの視線方向に関する視線情報を検知し、前記ユーザにより行われる視線を所定角度以上動かす動作を、前記特定動作として検知してもよい。
【００２０】
本態様では、ユーザが視線を所定角度以上動かす動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、視線を所定角度以上動かす動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
【００２１】
上記一態様において、例えば、
前記保存ステップは、前記車位置情報と前記視線情報とを互いに対応づけて前記記憶部に保存してもよく、
前記消去ステップは、前記車位置情報を前記記憶部から消去する場合には、前記視線情報も消去してもよい。
【００２２】
本態様では、車位置情報が視線情報に対応づけて記憶部に保存される。このため、本態様によれば、例えば車位置情報を用いて地図の検索を行う際に、視線情報を利用することが可能になる。また、車位置情報が記憶部から消去される場合には、視線情報も消去される。このため、不要な視線情報により記憶部の容量が占有されるのを防止することができる。
【００２３】
上記一態様において、例えば、
前記検知ステップは、前記ユーザが腕を所定値以上の速度又は加速度で動かす動作を、前記特定動作として検知してもよい。
【００２４】
本態様では、ユーザが腕を所定値以上の速度又は加速度で動かす動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、腕を所定値以上の速度又は加速度で動かす動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
【００２５】
上記一態様において、例えば、
前記検知ステップは、前記ユーザが前記車のブレーキペダルを所定値以上踏み込む動作を、前記特定動作として検知してもよい。
【００２６】
本態様では、ユーザが車のブレーキペダルを所定値以上踏み込む動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、車のブレーキペダルを所定値以上踏み込む動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
【００２７】
上記一態様において、例えば、
前記検知ステップは、前記ユーザが音声を発生する動作を、前記特定動作として検知してもよい。
【００２８】
本態様では、ユーザが音声を発生する動作が、特定動作として検知される。したがって、本態様によれば、車の走行中に、ユーザが例えば道路脇の施設に気付いたときに、音声を発生する動作をユーザが行うだけで、車位置情報を記憶部に保存することができる。
【００２９】
上記一態様において、例えば、
前記情報取得システムは、サーバ装置をさらに含んでもよく、
前記サーバ装置は、地図情報を用いて施設に関する情報を検索する検索機能と前記ユーザが発生する音声の内容を認識する音声認識機能とを有してもよく、
前記情報装置は、前記サーバ装置との間で通信可能に構成されてもよく、
前記情報取得方法は、さらに、
前記特定動作が音声を発生する動作である場合、又は、前記特定動作が音声を発生する動作以外の動作であっても、前記特定動作が検知された時点から前記所定時間が経過するまでに前記ユーザが音声を発生する動作を行った場合に、前記ユーザにより発生された音声の内容を認識する音声認識ステップと、
前記ユーザにより発生された音声が特定の検索に関連する音声を含むと前記音声認識ステップにより判断されると、前記地図情報を用いて前記記憶部に保存されている前記車位置情報に対応する位置の周辺に設けられた施設に関する情報を検索する検索ステップと、を備えてもよい。
【００３０】
本態様では、特定動作が音声を発生する動作である場合、又は、特定動作が音声を発生する動作以外の動作であっても、特定動作が検知された時点から所定時間が経過するまでにユーザが音声を発生する動作を行った場合に、ユーザにより発生された音声の内容が認識される。その音声認識の結果、ユーザにより発生された音声が特定の検索に関連する音声を含むと判断されると、地図情報を用いて、記憶部に保存されている車位置情報に対応する位置の周辺に設けられた施設に関する情報が検索される。したがって、本態様によれば、ユーザが所望する車位置情報に対応する位置の周辺に設けられた施設に関する情報を検索することができる。
【００３１】
上記一態様において、例えば、
前記ユーザにより発生された音声が特定の保存に関連する音声を含むと前記音声認識ステップにより判断されると、前記車位置情報及び前記検索ステップにより検索された前記施設に関する情報を含むクリップ情報を生成して前記サーバ装置に保存する第２保存ステップ、をさらに備えてもよい。
【００３２】
本態様では、ユーザにより発生された音声が特定の保存に関連する音声を含むと判断されると、検索された施設に関する情報と車位置情報とが互いに対応付けられてサーバ装置に保存される。したがって、本態様によれば、ユーザが所望する車位置情報に対応する位置の施設に関する情報を保存することができる。
【００３３】
上記一態様において、例えば、
前記消去ステップは、前記ユーザにより発生された音声が前記特定の検索に関連する音声も前記特定の保存に関連する音声も含まないと前記音声認識ステップにより判断されると、前記記憶部に保存されている前記車位置情報を前記記憶部から消去してもよい。
【００３４】
本態様では、ユーザにより発生された音声が特定の検索に関連する音声も特定の保存に関連する音声も含まないと判断されると、車位置情報が記憶部から消去される。ユーザが発生した音声が特定の検索に関連する音声も特定の保存に関連する音声も含まない場合には、記憶部に保存されている車位置情報は不要であったと考えられる。したがって、本態様によれば、不要な車位置情報により記憶部の容量が占有されるのを防止することができる。
【００３５】
本開示の他の態様は、
情報を記憶するための記憶部と、
車を運転中のユーザにより行われる特定動作を検知する検知部と、
前記特定動作が前記検知部により検知されると、前記車の位置を表す車位置情報を取得して前記記憶部に保存する保存制御部と、
前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去制御部と、を備えるものである。
【００３６】
本開示のさらに他の態様は、
ユーザが所有する情報装置を含む情報取得システムに用いられる情報取得プログラムであって、
前記情報取得システムのコンピュータに、
車を運転中の前記ユーザにより行われる特定動作を検知する検知処理と、
前記特定動作が前記検知処理により検知されると、前記車の位置を表す車位置情報を取得して記憶部に保存する保存処理と、
前記特定動作が音声を発生する動作以外の動作である場合であって、かつ、前記特定動作が検知された時点から所定時間が経過するまでに前記ユーザが音声を発生する動作を行わない場合には、前記所定時間が経過したときに前記車位置情報を前記記憶部から消去する消去処理と、を実行させるものである。
【００３７】
（実施の形態）
以下、本開示の一実施の形態が、図面を参照しながら説明される。なお、各図面において、同じ構成要素については同じ符号が用いられている。
【００３８】
（情報取得システムの構成）
図１は、本実施形態の情報取得システム１の構成を示すブロック図である。図２は、本実施形態の情報取得システム１が利用される状況を概略的に示す図である。
【００３９】
図１に示されるように、本実施形態の情報取得システム１は、携帯機器１００と、スマートフォン２００と、車制御システム３００と、クラウドセンター４００とを備える。
【００４０】
なお、図１では、情報取得システム１は、携帯機器１００と、スマートフォン２００とを備えているが、本開示は、この構成に限られない。代替的に、情報取得システム１は、携帯機器１００とスマートフォン２００とが統合された機器、例えば車載ナビゲーションシステムを備えても良い。さらに代替的に、情報取得システム１は、携帯機器１００とスマートフォン２００とに代えて、スマートフォン２００が備える機能のみを備える車載ナビゲーションシステムを備えてもよい。
【００４１】
図２において、携帯機器１００及びスマートフォン２００のユーザ１１は、車１２を運転している。走行中の車１２から、気になる施設１３がユーザ１１の視野に入ったときに、ユーザ１１が特定動作を行う。すると、情報取得システム１は、ユーザ１１が特定動作を行った時点の位置情報を一時的に保存する。
【００４２】
その後、所定時間内にユーザ１１が特定の検索に関連する音声を発生すると、情報取得システム１は、位置情報に基づき施設１３を検索する。ユーザ１１の所望により、情報取得システム１は、検索結果を保存しておき、運転終了後等に閲覧することを可能にする。
【００４３】
なお、特定動作については、後に詳述される。また、車１２の運転中は、移動速度に応じてユーザ１１の視野が狭くなる。このため、情報取得システム１は、位置情報と移動速度から検索対象の範囲を制御する。
【００４４】
図３は、携帯機器１００の構成を概略的に示すブロック図である。携帯機器１００は、本実施形態では、図２に示されるように、腕時計型のウェアラブル端末である。
【００４５】
携帯機器１００は、コントローラ１０１、マイクロフォン１０２、スピーカ１０３、タッチパネルディスプレイ１０４、電池１０５、近距離無線モジュール１０６、加速度センサ１０７、電源ボタン１０８を備える。
【００４６】
電源ボタン１０８が押されると、電池１０５から各部に電力が供給される。マイクロフォン１０２は、ユーザ１１の音声を収集してアナログ音声信号を生成する。マイクロフォン１０２は、生成したアナログ音声信号を例えばパルス符号変調（ＰＣＭ）によりデジタルデータに変換し、ＰＣＭ音声信号を生成する。マイクロフォン１０２は、生成したＰＣＭ音声信号をコントローラ１０１に出力する。
【００４７】
コントローラ１０１は、各部の動作を制御する。コントローラ１０１は、例えば、入力されたユーザ１１の音声に対する応答をスピーカ１０３から出力する。タッチパネルディスプレイ１０４は、この実施形態では、例えば液晶パネルを含む。
【００４８】
近距離無線モジュール１０６は、スマートフォン２００と近距離無線通信を行う。近距離無線モジュール１０６は、例えば無線ＬＡＮの規格に準拠するものであってもよい。近距離無線モジュール１０６は、無線ＬＡＮの各種の方式、例えば２．４ＧＨｚ帯の電波を使用する方式に準拠するものであってもよい。近距離無線モジュール１０６は、スマートフォン２００との間で近距離無線通信を行えるものであればよい。
【００４９】
加速度センサ１０７は、携帯機器１００を手首に着けているユーザ１１が腕を動かしたときの加速度を検出する。加速度センサ１０７は、検出した加速度をコントローラ１０１に出力する。コントローラ１０１（検知部の一例）は、運転中に、所定値以上の加速度が加速度センサ１０７（検知部の一例）により検出されると、ユーザ１１により特定動作が行われたと判断する。上記所定値は、ユーザ１１が車１２の周囲の施設を指さすジェスチャーを行ったことが推定される加速度に予め定められている。コントローラ１０１は、近距離無線モジュール１０６を介して、ユーザ１１が特定動作を行ったことをスマートフォン２００に送信する。
【００５０】
図４は、スマートフォン２００の構成を概略的に示すブロック図である。スマートフォン２００（情報装置の一例）は、コントローラ２０１、マイクロフォン２０２、スピーカ２０３、タッチパネルディスプレイ２０４、電池２０５、近距離無線モジュール２０６、加速度センサ２０７、広域無線モジュール２０８、不揮発性メモリ２０９、揮発性メモリ２１０、ＧＰＳ（グローバル・ポジショニング・システム）２１１、振動モータ２１２、方位センサ２１３を備える。
【００５１】
マイクロフォン２０２、スピーカ２０３、タッチパネルディスプレイ２０４、電池２０５、近距離無線モジュール２０６は、携帯機器１００（図３）のマイクロフォン１０２、スピーカ１０３、タッチパネルディスプレイ１０４、電池１０５、近距離無線モジュール１０６と同様に構成されている。
【００５２】
広域無線モジュール２０８は、例えばインターネット又は携帯電話網を介して、クラウドセンター４００と通信を行う。不揮発性メモリ２０９は、例えばフラッシュメモリを含む。揮発性メモリ２１０は、例えばダイナミックランダムアクセスメモリを含む。ＧＰＳ２１１は、衛星からの電波を受信して位置情報を取得する。振動モータ２１２は、モータの回転によりスマートフォン２００の本体を振動させる。方位センサ２１３は、例えばスマートフォン２００の上端が向いている方位を検出する。
【００５３】
コントローラ２０１は、携帯機器１００のコントローラ１０１から送信される、ユーザ１１が特定動作を行ったことを表す検知情報を受信すると、ＧＰＳ２１１を利用して、受信時点の位置情報を取得する。
【００５４】
コントローラ２０１は、マイクロフォン２０２から入力されるＰＣＭ音声信号から音楽又は雑音などの環境音を除去した後、高速フーリエ変換（ＦＦＴ）を行う。コントローラ２０１は、ＦＦＴが行われた結果において、所定の周波数範囲の音圧が予め定められた閾値を超えると、人間が発した音声であると判断する。
【００５５】
図５は、車制御システム３００の構成を概略的に示すブロック図である。車制御システム３００は、コントローラ３０１、スピーカ３０３、ディスプレイ３０４、近距離無線モジュール３０６、加速度センサ３０７、ＧＰＳ３１１、方位センサ３１３、速度センサ３１４、視線センサ３１５、動きセンサ３１６、ブレーキセンサ３１７を備える。
【００５６】
スピーカ３０３、近距離無線モジュール３０６、加速度センサ３０７は、それぞれ、携帯機器１００（図３）のスピーカ１０３、近距離無線モジュール１０６、加速度センサ１０７と同様に構成されている。ＧＰＳ３１１は、スマートフォン２００のＧＰＳ２１１と同様に構成されている。方位センサ３１３は、例えば北向きを基準として、車１２の進行方向を検出する。ディスプレイ３０４は、例えば液晶パネルを含む。速度センサ３１４は、車１２の走行速度を検出する。
【００５７】
視線センサ３１５（検知部の一例）は、運転席を撮像し、画像処理を行って、ユーザ１１の視線（顔）が向いている方位及び高さ方向の角度（仰角）を検出する。視線センサ３１５は、検出したユーザ１１の視線（顔）が向いている方位及び高さ方向の角度をコントローラ３０１に出力する。
【００５８】
コントローラ３０１は、ユーザ１１の視線（顔）が向いている方位又は高さ方向の角度が所定角度以上変化したか否かを判断する。上記所定角度は、ユーザ１１が車１２の周囲の物体に関心を示したことが想定される角度に予め定められている。コントローラ３０１（検知部の一例）は、ユーザ１１の視線（顔）が向いている方位又は高さ方向の角度が所定角度以上変化したと判断すると、ユーザ１１が特定動作を行ったと判断する。
【００５９】
動きセンサ３１６（検知部の一例）は、運転手であるユーザ１１の位置及び動きなどのジェスチャーを認識するセンサであり、ユーザ１１の腕の動きを検出する。動きセンサ３１６は、検出したユーザ１１の腕の動きをコントローラ３０１に出力する。コントローラ３０１（検知部の一例）は、ユーザ１１の腕が所定値以上の速度又は加速度で動いたと判断すると、ユーザ１１が特定動作を行ったと判断する。上記所定値は、ユーザ１１が車１２の周囲の施設を指さすジェスチャーを行ったことが推定される速度又は加速度に予め定められている。
【００６０】
ブレーキセンサ３１７（検知部の一例）は、ユーザ１１によるブレーキペダル１４の踏み込み量を検出する。ブレーキセンサ３１７は、検出したブレーキペダル１４の踏み込み量をコントローラ３０１に出力する。コントローラ３０１（検知部の一例）は、ブレーキペダル１４の踏み込み量が所定値以上であると判断すると、ユーザ１１が特定動作を行ったと判断する。上記所定値は、ユーザ１１が車１２の周囲の物体に関心を示したことが想定される踏み込み量に予め定められている。
【００６１】
コントローラ３０１は、ユーザ１１が特定動作を行ったと判断すると、ユーザ１１が特定動作を行ったことを表す検知情報をスマートフォン２００のコントローラ２０１に送信する。
【００６２】
図４において、スマートフォン２００のコントローラ２０１は、ユーザ１１が特定動作を行ったことを携帯機器１００又は車制御システム３００から受信すると、受信時点から所定時間が経過するまでに、ユーザ１１が音声を発生したか否かを判断する。上記所定時間は、特定動作に関連する音声を発生することが想定される時間に予め定められている。上記所定時間は、本実施形態では、例えば５秒である。
【００６３】
ユーザ１１が音声を発生したと判断すると、コントローラ２０１は、広域無線モジュール２０８を介して、当該音声信号と受信時点の位置情報とを含む音声処理要求信号（後述）を、クラウドセンター４００に送信する。
【００６４】
コントローラ２０１（検知部の一例）は、さらに、ユーザ１１が特定動作を行ったことを携帯機器１００又は車制御システム３００から受信しない場合において、ユーザ１１が音声を発生したと判断すると、ＧＰＳ２１１を利用して、ユーザ１１が音声を発生したと判断した時点の位置情報を取得する。コントローラ２０１は、当該音声信号と判断時点の位置情報とを含む音声処理要求信号（後述）を、クラウドセンター４００に送信する。
【００６５】
なお、ここでは、コントローラ２０１は、ＧＰＳ２１１を利用して位置情報を取得しているが、本開示は、これに限られない。コントローラ２０１は、車制御システム３００のＧＰＳ３１１の位置情報を取得してもよい。
【００６６】
図６は、スマートフォン２００のコントローラ２０１からクラウドセンター４００に送信される音声処理要求信号６００のデータ構造の一例を概略的に示す図である。
【００６７】
図６に示されるように、音声処理要求信号６００は、トランザクションＩＤ６０１、携帯機器ＩＤ６０２、車制御システムＩＤ６０３、関連情報６０４、センサデータ６０５、及び発話データ６０６を含む。
【００６８】
トランザクションＩＤ６０１は、この音声処理要求信号を識別する識別子である。携帯機器ＩＤ６０２は、携帯機器１００を識別する識別子である。車制御システムＩＤ６０３は、車制御システム３００を識別する識別子である。関連情報６０４は、例えばドライブレコーダ（図示省略）に記録された映像のデータ名である。
【００６９】
センサデータ６０５は、日時６１１、位置情報６１２、及び視線情報６１３を含む。位置情報６１２は、ＧＰＳ情報６２１、方位６２２、及び速度６２３を含む。視線情報６１３は、車制御システム３００の視線センサ３１５により検出された視線の方位６２４及び高さ６２５を含む。
【００７０】
日時６１１は、スマートフォン２００のコントローラ２０１が、ＧＰＳ２１１又はＧＰＳ３１１からＧＰＳ情報６２１を取得した日及び時刻を示す。
【００７１】
ＧＰＳ情報６２１は、ＧＰＳ２１１又はＧＰＳ３１１により取得された緯度、経度、標高を含む。方位６２２は、日時６１１において方位センサ３１３により検出された車１２の進行方向を示す。方位６２２は、本実施形態では北向きを基準の０度として時計回りの角度で表されている。速度６２３は、車制御システム３００の速度センサ３１４により日時６１１において検出された車１２の走行速度を示す。
【００７２】
視線の方位６２４は、視線を地表面に投影したときの方位であり、本実施形態では北向きを基準の０度として時計回りの角度で表されている。高さ６２５は、水平面に対する高さ方向の角度（仰角）で表されている。
【００７３】
発話データ６０６は、言語６３１及び音声データ６３２を含む。言語６３１は、本実施形態では「日本」とのデータを含む。音声データ６３２は、例えば上述のＰＣＭ音声信号を含む。
【００７４】
図７は、クラウドセンター４００の構成を概略的に示すブロック図である。クラウドセンター４００は、クラウドサーバ４０１（サーバ装置の一例）、通信部４０２、音声制御データベース（ＤＢ）４０３、クリップ情報ＤＢ４０４、レストランＤＢ４０５、ホテルＤＢ４０６、娯楽施設ＤＢ４０７、地図ＤＢ４０８等を備える。
【００７５】
通信部４０２は、例えばインターネット又は携帯電話網を介して、スマートフォン２００と通信を行う。レストランＤＢ４０５、ホテルＤＢ４０６、娯楽施設ＤＢ４０７には、それぞれ、レストラン、ホテル、娯楽施設に関する位置及び電話番号等を含む情報が保存されている。地図ＤＢ４０８には、地図に関する情報が保存されている。
【００７６】
音声制御ＤＢ４０３には、音声認識のための音響モデル及び言語モデル等が保存されている。音声制御ＤＢ４０３には、クラウドサーバ４０１の制御内容に対応して規定された音声のリストを含む特定音声対応表が保存されている。音声制御ＤＢ４０３には、制御コマンドに対応するクラウドサーバ４０１による応答内容が保存されている。音声制御ＤＢ４０３には、発生された音声の内容に対する応答内容を規定するシナリオが保存されている。
【００７７】
図８は、音声制御ＤＢ４０３に保存されている、制御内容に対応して規定された音声のリストを含む特定音声対応表８００の一例を概略的に示す図である。
【００７８】
図８に示されるように、ユーザ１１が、例えば「クリップ」、「メモ」、「保存」等の音声（特定の保存に関連する音声の一例）を発生すると、クラウドサーバ４０１は、クリップ情報（後述）を生成してクリップ情報ＤＢ４０４に保存する。ユーザ１１が、例えば「何」、「教えて」、「調べて」、「調査」等の音声（特定の検索に関連する音声の一例）を発生すると、クラウドサーバ４０１は、レストランＤＢ４０５、ホテルＤＢ４０６、娯楽施設ＤＢ４０７、地図ＤＢ４０８を用いて、施設の分野及び名称等を検索する。
【００７９】
図９は、制御コマンドに対応する応答内容を規定する応答表９００を概略的に示す図である。図９に示されるように、応答表９００は、トランザクションＩＤ９０１、制御９０２を含む。制御９０２は、制御コマンド９１１、制御データ９１２を含む。トランザクションＩＤ９０１は、上述のように、音声処理要求信号を識別する識別子である。
【００８０】
図９の例では、トランザクションＩＤが「００２」の音声処理要求信号６００（図６）に対して、クラウドサーバ４０１は、制御コマンド９１１が「読上げ」、制御データ９１２が「りょうかいしました」との応答をスマートフォン２００に送信する。
【００８１】
次に、図１０〜図１２を参照して、クラウドサーバ４０１が地図ＤＢ４０８を用いて施設を検索する際の検索範囲が説明される。
【００８２】
図１０は、車の進行方向を向いているユーザ１１の視野範囲を概略的に示す図である。角度Ｘ１は、視線の中央から視野の左端までの角度を表す。角度Ｘ２は、視線の中央から視野の右端までの角度を表す。角度Ｙ１は、安全確認のため、通常の運転中に運転手であるユーザ１１が見る範囲の左端の視線方向までの角度を表す。角度Ｙ２は、安全確認のため、通常の運転中に運転手であるユーザ１１が見る範囲の右端の視線方向までの角度を表す。
【００８３】
図１１は、ユーザ１１が車の進行方向を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。図１１に示されるように、低速運転時の視野角度Ｘ１１は、高速運転時の視野角度Ｘ１２より大きい。そこで、高速運転時の検索範囲Ｚ２を低速運転時の検索範囲Ｚ２より狭くしている。すなわち、車の走行速度が高くなると検索範囲を絞り込んでいる。
【００８４】
図１２は、ユーザ１１が車の進行方向より右側を向いているときの車の走行速度に応じた検索範囲を概略的に示す図である。車制御システム３００の視線センサ３１５により検出された、ユーザ１１の視線の方位及び高さを含む視線情報は、音声処理要求信号６００（図６）に含まれている。また、車制御システム３００の速度センサ３１４により検出された車１２の走行速度は、音声処理要求信号６００（図６）に含まれている。これらの視線情報及び車１２の走行速度を用いて、図１２に示されるように、クラウドサーバ４０１は、低速運転時の検索範囲Ｚ１１及び高速運転時の検索範囲Ｚ１２を決定する。
【００８５】
図７に戻って、クラウドサーバ４０１は、施設を検索した結果を含むクリップ情報を生成する。クラウドサーバ４０１は、生成したクリップ情報をクリップ情報ＤＢ４０４に保存する。
【００８６】
図１３は、クリップ情報ＤＢ４０４に保存されているクリップ情報１３００のデータ構造の一例を概略的に示す図である。
【００８７】
図１３に示されるように、クリップ情報１３００は、クリップＩＤ１３０１、携帯機器ＩＤ１３０２、車制御システムＩＤ１３０３、ユーザ発話１３０４、及び施設情報１３０５を含む。
【００８８】
クリップＩＤ１３０１は、このクリップ情報を識別する識別子である。携帯機器ＩＤ１３０２、車制御システムＩＤ１３０３、施設情報１３０５のＧＰＳ情報１３１１、方位１３１２、速度１３１３、視線情報１３１４、日時１３１５は、それぞれ、音声処理要求信号６００の携帯機器ＩＤ６０２、車制御システムＩＤ６０３、ＧＰＳ情報６２１、方位６２２、速度６２３、視線情報６１３、日時６１１と同じである。
【００８９】
ユーザ発話１３０４の「言語」は、音声処理要求信号６００に含まれる言語６３１と同じである。ユーザ発話１３０４の「文字列」は、音声処理要求信号６００に含まれる音声データ６３２に対して、クラウドサーバ４０１が音声制御ＤＢ４０３を用いて音声認識処理を行った結果、抽出されたテキストデータである。図１３では、ユーザ１１が「左側にあるレストランをメモ」との音声を発生した例が示されている。
【００９０】
施設情報１３０５の施設分野１３１６は、検索された施設１３（図２）の分野を示し、施設名称１３１７は、検索された施設１３（図２）の名称を示す。図１３の例では、２つの飲食店が検索されている。
【００９１】
施設情報１３０５の関連情報１３１８の「タイプ」は、情報のタイプを表し、「データ名」は、情報のデータ名を表す。図１３の例では、図６の関連情報６０４と同じデータ名の情報が含まれている。
【００９２】
図１４は、スマートフォン２００のタッチパネルディスプレイ２０４に表示されるクリップ情報リスト画面１４００の一例を概略的に示す図である。
【００９３】
クリップ情報リスト画面１４００は、表題表示領域１４０１と、リスト表示領域１４０２とを含む。表題表示領域１４０１には、図１４では、「クリップ情報のリストを表示しています。」と表示されており、この表示画面がクリップ情報リスト画面であることが明示されている。リスト表示領域１４０２には、クリップ情報番号が、そのクリップ情報を取得した日時及び住所とともに、表示されている。
【００９４】
クリップ情報リスト画面１４００がタッチパネルディスプレイ２０４に表示された状態で、ユーザが、例えば指でリスト表示領域１４０２のクリップ情報番号に接触すると、その接触をコントローラ２０１が検知する。すると、コントローラ２０１は、接触されたクリップ情報番号に対応するクリップ情報１３００の検索結果画面１５００（図１５）をタッチパネルディスプレイ２０４に表示する。
【００９５】
図１５は、スマートフォン２００のタッチパネルディスプレイ２０４に表示される検索結果画面１５００の一例を概略的に示す図である。
【００９６】
検索結果画面１５００は、表題表示領域１５０１と、映像表示領域１５０２と、施設表示領域１５０３とを含む。表題表示領域１５０１には、図１５では、「位置情報及び視線情報で検索した結果を表示しています」と表示されており、この表示画面が検索結果画面であることが明示されている。
【００９７】
映像表示領域１５０２には、位置情報を取得したときの映像が表示されている。図１３に示されるように、クリップ情報１３００の関連情報１３１８として、例えばドライブレコーダにより記録された映像が含まれている場合に、その映像が映像表示領域１５０２に表示される。
【００９８】
施設表示領域１５０３には、検索により得られた施設の名称が表示される。上述のように、図１３の例では、クリップ情報１３００に、施設名称１３１７として、２つの飲食店が含まれている。したがって、図１５の施設表示領域１５０３には、２つの飲食店の名称が表示されている。
【００９９】
検索結果画面１５００がタッチパネルディスプレイ２０４に表示された状態で、ユーザが、例えば指で施設表示領域１５０３の施設名称に接触すると、その接触をコントローラ２０１が検知する。すると、コントローラ２０１は、接触された施設名称の詳細な内容をタッチパネルディスプレイ２０４に表示してもよい。
【０１００】
代替的に、図１５に示されるように、複数の施設を含む検索結果画面１５００がタッチパネルディスプレイ２０４に表示された状態で、ユーザが、例えば指で施設表示領域１５０３の施設名称に接触すると、その接触をコントローラ２０１が検知する。すると、コントローラ２０１は、接触された施設名称をクリップ情報１３００から削除する指示をクラウドサーバ４０１に送信してもよい。あるいは逆に、コントローラ２０１は、接触された施設名称のみをクリップ情報１３００に残す指示をクラウドサーバ４０１に送信してもよい。
【０１０１】
（情報取得システムの動作）
図１６は、図１に示される情報取得システム１の動作の一例を概略的に示すシーケンス図である。図１７は、図１６の動作が行われる状況を概略的に示す図である。図１６の動作は、図１７に示されるように、ユーザ１１が車１２を運転して走行しているときに行われる。
【０１０２】
車１２の運転中に道路脇の施設１３を見たユーザ１１は、Ｓ１６０１において、特定動作を行う。Ｓ１６０２において、ユーザ１１が行う特定動作が車制御システム３００において検知される（検知ステップの一例）。すると、その検知情報が車制御システム３００のコントローラ３０１からスマートフォン２００のコントローラ２０１に送信される。
【０１０３】
特定動作としてユーザ１１が腕を所定値以上の速度で動かす動作を行った場合には、車制御システム３００の動きセンサ３１６により検知される。特定動作としてユーザ１１がブレーキペダル１４を所定値以上踏み込む動作を行った場合には、車制御システム３００のブレーキセンサ３１７により検知される。
【０１０４】
特定動作としてユーザ１１が視線を所定角度以上動かす動作を行った場合には、車制御システム３００の視線センサ３１５により検知される。この場合には、車制御システム３００のコントローラ３０１は、視線センサ３１５により検知されたユーザ１１の視線の方位及び高さを含む視線情報を含む検知情報をスマートフォン２００に送信する。スマートフォン２００のコントローラ２０１は、車制御システム３００から送信された視線情報を不揮発性メモリ２０９に保存する。
【０１０５】
Ｓ１６０３において、スマートフォン２００のコントローラ２０１は、現在時刻を取得して不揮発性メモリ２０９に保存する。Ｓ１６０４（第１保存ステップの一例）において、スマートフォン２００のコントローラ２０１（保存制御部の一例）は、位置情報を取得して、現在時刻に対応づけて不揮発性メモリ２０９（記憶部の一例）に保存する。図１６の動作では、Ｓ１６０４において、スマートフォン２００のコントローラ２０１は、位置情報を車制御システム３００に要求し、車制御システム３００のＧＰＳ３１１が検知した位置情報を車制御システム３００から取得する。
【０１０６】
なお、Ｓ１６０２において視線情報が不揮発性メモリ２０９に保存された場合には、コントローラ２０１は、Ｓ１６０３において、視線情報に対応づけて現在時刻を不揮発性メモリ２０９に保存し、Ｓ１６０４（第１保存ステップの一例）において、視線情報に対応づけて位置情報を不揮発性メモリ２０９に保存する。
【０１０７】
Ｓ１６０５において、ユーザ１１は、図１７に示されるように、例えば「調べて保存」との音声を発生する。Ｓ１６０６において、携帯機器１００は、マイクロフォン１０２が取得したユーザ１１の音声から得られたＰＣＭ音声信号を、スマートフォン２００に送信する。
【０１０８】
Ｓ１６０７において、スマートフォン２００のコントローラ２０１は、音声処理要求信号６００（図６）をクラウドセンター４００に送信する。
【０１０９】
Ｓ１６０８において、クラウドセンター４００のクラウドサーバ４０１は、音声制御ＤＢ４０３を用いて、音声処理要求信号６００に含まれる発話データ６０６から音声認識処理を行う（音声認識ステップの一例）。また、クラウドサーバ４０１は、特定音声対応表８００（図８）を用いて、ユーザ１１の意図を分析する。
【０１１０】
ここでは、ユーザ１１が発生した音声が「調べて保存」であるので、クラウドサーバ４０１は、特定音声対応表８００に基づき、まず、「調べて」に対応して施設検索を行う。すなわち、Ｓ１６０９において、クラウドサーバ４０１は、音声処理要求信号６００に含まれる視線情報６１３から地図ＤＢ４０８における検索対象の範囲を決定する。クラウドサーバ４０１は、さらに、レストランＤＢ４０５、ホテルＤＢ４０６、娯楽施設ＤＢ４０７を検索して、地図ＤＢ４０８における検索対象範囲に含まれる施設の情報を抽出する（検索ステップの一例）。
【０１１１】
次に、Ｓ１６１０において、クラウドサーバ４０１は、ユーザ１１が発生した音声が「調べて保存」であるので、特定音声対応表８００に基づき、「保存」に対応して、クリップ情報１３００を生成する。クラウドサーバ４０１は、Ｓ１６０７においてスマートフォン２００から送信された音声処理要求信号６００に含まれる情報と、Ｓ１６０９において得られた施設の情報とから、クリップ情報１３００を生成する。クラウドサーバ４０１は、生成したクリップ情報１３００をクリップ情報ＤＢ４０４に保存する（第２保存ステップの一例）。
【０１１２】
Ｓ１６１１において、クラウドサーバ４０１は、制御コマンド９１１及び制御データ９１２を含む応答表９００（図９）をスマートフォン２００に送信する。Ｓ１６１２において、スマートフォン２００のコントローラ２０１は、受信した制御コマンドの内容を判定する。
【０１１３】
制御コマンド９１１には、図９の例では、「読上げ」が含まれているので、Ｓ１６１３において、スマートフォン２００のコントローラ２０１は、制御データ９１２を携帯機器１００に送信する。Ｓ１６１４において、携帯機器１００のスピーカ１０３は、制御データ９１２に基づき、図１７に示されるように「了解しました」との音声を出力する。
【０１１４】
その後、図１７に示されるように、ユーザ１１が「さっきの左の建物は？」と質問すると、クラウドサーバ４０１で音声認識処理を行った後、携帯機器１００のスピーカ１０３から「イタリアンレストラン伊太利です」と応答してもよい。
【０１１５】
（図１６の動作の変形例）
（１）Ｓ１６０１の特定動作が腕を所定値以上の加速度で動かす動作である場合には、Ｓ１６０２では、その動作を携帯機器１００の加速度センサ１０７が検知すると、携帯機器１００のコントローラ１０１が、検知情報をスマートフォン２００のコントローラ２０１に送信してもよい。
【０１１６】
（２）Ｓ１６０４では、スマートフォン２００のコントローラ２０１は、位置情報を車制御システム３００から取得しているが、ＧＰＳ２１１が検知した位置情報を取得してもよい。
【０１１７】
（３）Ｓ１６０６では、スマートフォン２００のコントローラ２０１は、ユーザ１１の音声信号を携帯機器１００から取得しているが、ユーザ１１の音声信号をマイクロフォン２０２から取得してもよい。
【０１１８】
（４）Ｓ１６０９では、クラウドサーバ４０１は、音声処理要求信号６００に含まれる視線情報６１３から検索対象の範囲を決定しているが、本開示はこれに限られない。Ｓ１６０８における音声認識処理の結果、ユーザ１１が発生した音声に、例えば「右の建物は何？」のように方角を表す言葉が含まれていた場合には、クラウドサーバ４０１は、その方角に検索対象の範囲を絞ってもよい。
【０１１９】
（５）Ｓ１６１２において、スマートフォン２００のコントローラ２０１は、受信した制御コマンドの内容を判定できない場合、予め定められたエラー処理を行ってもよい。
【０１２０】
（６）Ｓ１６１４では、携帯機器１００のスピーカ１０３から応答の音声を出力しているが、スマートフォン２００のスピーカ２０３から音声を出力してもよく、車制御システム３００のスピーカ３０３から音声を出力してもよい。
【０１２１】
（７）Ｓ１６０８における音声認識処理の結果、ユーザ１１により発生された音声が、特定音声対応表８００における「施設検索」に対応する音声でもなく「クリップ情報保存」に対応する音声でもない場合、例えば「電話をかけて」との音声である場合には、クラウドサーバ４０１は、Ｓ１６０９及びＳ１６１０を実行しなくてもよい。その場合、クラウドサーバ４０１は、Ｓ１６１１において、位置情報を不揮発性メモリ２０９から消去する指示を含む制御コマンドをスマートフォン２００のコントローラ２０１に送信してもよい。スマートフォン２００のコントローラ２０１は、Ｓ１６１２において、位置情報を不揮発性メモリ２０９から消去してもよい（消去ステップの一例）。
【０１２２】
（図１６と異なる動作例）
図１８は、図１に示される情報取得システム１の動作の図１６と異なる例を概略的に示すシーケンス図である。図１８の動作も、図１７に示されるように、ユーザ１１が車１２を運転して走行しているときに行われる。
【０１２３】
車１２の運転中に道路脇の施設１３を見たユーザ１１は、Ｓ１８０１において、特定動作として、例えば「調べて保存」との音声を発生する。Ｓ１８０２において、携帯機器１００のコントローラ１０１は、マイクロフォン１０２が集音した信号をユーザ１１が発生した音声であると検知する（検知ステップの一例）。すると、ユーザ１１の音声から得られたＰＣＭ音声信号を、コントローラ１０１は、検知情報として、スマートフォン２００に送信する。
【０１２４】
Ｓ１６０３，Ｓ１６０４，Ｓ１６０７−Ｓ１６１４は、それぞれ、図１６のＳ１６０３，Ｓ１６０４，Ｓ１６０７−Ｓ１６１４と同じである。
【０１２５】
なお、Ｓ１８０２において、スマートフォン２００のコントローラ２０１は、ユーザ１１の音声信号を携帯機器１００から取得しているが、ユーザ１１の音声信号をマイクロフォン２０２から直接取得してもよい。
【０１２６】
（スマートフォンの動作）
図１９は、図１６、図１８の動作におけるスマートフォン２００のコントローラ２０１の動作手順を概略的に示すフローチャートである。
【０１２７】
Ｓ１９０１において、コントローラ２０１は、まず、車制御システム３００又は携帯機器１００から検知情報を取得したか否かを判断する（検知ステップの一例）。検知情報を取得していなければ（Ｓ１９０１でＮＯ）、コントローラ２０１は、Ｓ１９０１の判定を繰り返す。
【０１２８】
検知情報を取得すると（Ｓ１９０１でＹＥＳ）、Ｓ１９０２において、コントローラ２０１は、現在時刻を取得して不揮発性メモリ２０９に保存する。Ｓ１９０３において、コントローラ２０１は、位置情報を取得して、現在時刻に対応づけて不揮発性メモリ２０９に保存する（第１保存ステップの一例）。Ｓ１９０３では、コントローラ２０１は、位置情報を車制御システム３００から取得してもよく、ＧＰＳ２１１が検知した位置情報を取得してもよい。
【０１２９】
なお、Ｓ１９０１において検知情報を取得した場合に（Ｓ１９０１でＹＥＳ）、取得した検知情報に視線情報が含まれる場合には、図１６を用いて説明されたように、コントローラ２０１は、取得した視線情報を不揮発性メモリ２０９に保存する。この場合、Ｓ１９０２では、コントローラ２０１は、視線情報に対応づけて現在時刻を不揮発性メモリ２０９に保存する。また、Ｓ１９０３（第１保存ステップの一例）では、コントローラ２０１は、視線情報に対応づけて位置情報を不揮発性メモリ２０９に保存する。
【０１３０】
Ｓ１９０４において、コントローラ２０１は、ユーザ１１が発生した音声信号を受信したか否かを判断する。音声信号を受信していなければ（Ｓ１９０４でＮＯ）、Ｓ１９０５において、コントローラ２０１は、Ｓ１９０１で検知情報を取得した時点から所定時間が経過したか否かを判断する。所定時間が経過していなければ（Ｓ１９０５でＮＯ）、処理はＳ１９０４に戻る。なお、本実施形態では、視線センサ３１５等がユーザ１１により行われる特定動作を検知した時点と、コントローラ２０１がＳ１９０１で検知情報を取得した時点とは、一致していると見なしている。
【０１３１】
Ｓ１９０１で検知情報を取得した時点から所定時間が経過していれば（Ｓ１９０５でＹＥＳ）、Ｓ１９０６において、コントローラ２０１（消去制御部の一例）は、Ｓ１９０２，Ｓ１９０３で保存した現在時刻及び位置情報を不揮発性メモリ２０９から消去する（消去ステップの一例）。すなわち、コントローラ２０１は、Ｓ１９０１で検知情報を取得した時点から所定時間が経過しても、音声信号を受信しなければ、不揮発性メモリ２０９に保存されている現在時刻及び位置情報を消去する。
【０１３２】
なお、Ｓ１９０１において視線情報が不揮発性メモリ２０９に保存された場合には、Ｓ１９０６において、コントローラ２０１は、不揮発性メモリ２０９から現在時刻及び位置情報を消去する際に、視線情報も消去する。
【０１３３】
一方、音声信号を受信すると（Ｓ１９０４でＹＥＳ）、コントローラ２０１は、Ｓ１９０７において、音声処理要求信号６００（図６）をクラウドセンター４００に送信する。
【０１３４】
Ｓ１９０８において、コントローラ２０１は、制御コマンドをクラウドセンター４００から受信する。Ｓ１９０９において、コントローラ２０１は、制御コマンドの内容を判定して、判定結果に従って制御コマンドを実行する。
【０１３５】
図１９が図１６の動作における動作手順を表す場合には、図１６のＳ１６０６において音声信号が受信されるまで、図１９のＳ１９０４ではＮＯと判断される。図１６のＳ１６０６において音声信号が受信されると、図１９のＳ１９０４でＹＥＳと判断される。その結果、現在時刻及び位置情報が不揮発性メモリ２０９に保存された状態が維持される。
【０１３６】
図１９が図１８の動作における動作手順を表す場合には、図１８のＳ１８０２において音声信号が受信されているので、図１９のＳ１９０４では、ＮＯと判断されることなくＹＥＳと判断される。その結果、現在時刻及び位置情報が不揮発性メモリ２０９に保存された状態が維持される。
【０１３７】
なお、本実施形態では、図１９の動作をスマートフォン２００が実行しているが、本開示はこれに限られない。例えば携帯機器１００等の他の機器が図１９の動作を実行してもよい。
【０１３８】
（効果）
以上説明されたように、本実施形態では、車制御システム３００の視線センサ３１５等によって、ユーザ１１により行われる特定動作が検知されると、スマートフォン２００のコントローラ２０１は、位置情報を取得して不揮発性メモリ２０９に保存する。したがって、音声認識処理の結果が得られるまで待機しないため、ユーザ１１が所望する位置情報を好適に取得することができる。
【０１３９】
（その他）
（１）図１において、車制御システム３００が車メーカのクラウドセンターに接続されており、車制御システム３００の視線センサ３１５等の各センサの検知データは全て車メーカのクラウドセンターに送信される構成も考えられる。この構成の場合には、情報取得システム１のスマートフォン２００又はクラウドセンター４００は、車制御システム３００の各センサの検知データを車メーカのクラウドセンターから取得すればよい。
【０１４０】
（２）スマートフォン２００の初期設定において、ユーザ１１の年齢、身長、視力、眼鏡の有無等の情報を入力してもよい。これらの情報を用いることによって、視線センサ３１５による視線方向の検出精度を向上することができる。
【０１４１】
（３）上記実施形態の車制御システム３００は、視線センサ３１５を備えているが、本開示は、これに限られない。代替的に、車制御システム３００は、視線センサ３１５を備えなくてもよい。車制御システム３００が視線センサ３１５を備えない場合には、音声処理要求信号６００（図６）は、視線情報６１３を含まない。その場合、クラウドサーバ４０１は、図１１に示されるように、車の進行方向を中心として、車速に応じて検索範囲を決定してもよい。すなわち、車制御システム３００が視線センサ３１５を備え、音声処理要求信号６００（図６）が視線情報６１３を含む場合のみ、クラウドサーバ４０１は、図１２に示されるように、視線の方向に応じて検索範囲を決定してもよい。
【産業上の利用可能性】
【０１４２】
本開示の情報取得方法、情報取得システム及び情報取得プログラムは、車の走行中にユーザが気付いた道路脇の施設に関する情報を取得する技術に利用することができる。
【符号の説明】
【０１４３】
１  情報取得システム
１００  携帯機器
１０７  加速度センサ
２００  スマートフォン
２１１  ＧＰＳ
３００  車制御システム
３１１  ＧＰＳ
３１５  視線センサ
３１６  動きセンサ
３１７  ブレーキセンサ
４００  クラウドセンター
４０１  クラウドサーバ
４０３  音声制御ＤＢ
４０４  クリップ情報ＤＢ
４０８  地図ＤＢ
８００  特定音声対応表
【図１】
2019133670.tif 000003
【図２】
2019133670.tif 000004
【図３】
2019133670.tif 000005
【図４】
2019133670.tif 000006
【図５】
2019133670.tif 000007
【図６】
2019133670.tif 000008
【図７】
2019133670.tif 000009
【図８】
2019133670.tif 000010
【図９】
2019133670.tif 000011
【図１０】
2019133670.tif 000012
【図１１】
2019133670.tif 000013
【図１２】
2019133670.tif 000014
【図１３】
2019133670.tif 000015
【図１４】
2019133670.tif 000016
【図１５】
2019133670.tif 000017
【図１６】
2019133670.tif 000018
【図１７】
2019133670.tif 000019
【図１８】
2019133670.tif 000020
【図１９】
2019133670.tif 000021