(57)【要約】【課題】音ずれの問題を解消し、より精度の高いナビゲーションを含む、音声情報提供システムを提供すること。【解決手段】音声情報提供システムは、ユーザの耳に装着される音声出力装置と、音声出力装置と通信可能に接続される情報処理端末とを備える音声案内システムであって、音声出力装置は、ユーザの耳に向けて音声を出力する音声出力部と、ユーザの頭部の向きを検出する検出部と、を備え、情報処理端末は、ユーザの現在位置を取得する位置情報取得部と、音声出力部において、ユーザの頭部の向きに対する目的地の方向から、ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報との関係に応じて生成する生成部とを備える。【選択図】  図１
2020144011.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの耳に装着される音声出力装置と、前記音声出力装置と通信可能に接続される情報処理端末とを備える音声案内システムであって、
前記音声出力装置は、
ユーザの耳に向けて音声を出力する音声出力部と、
前記ユーザの頭部の向きを検出する検出部と、
を備え、
前記情報処理端末は、
前記ユーザの現在位置を取得する位置情報取得部と、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成する生成部と、
を備える、音声情報提供システム。
【請求項２】
前記情報処理端末は、
前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記頭部の向きの変化の停止位置を予測する予測部をさらに備え、
前記生成部は、前記ユーザの頭部の向きに関する情報として、前記予測部により予測された前記停止位置に関する情報を用いて、前記音声データを生成する、
ことを特徴とする請求項１に記載の音声情報提供システム。
【請求項３】
前記予測部は、所定の記憶装置に記憶された、前記ユーザの頭部の向きに関する学習データに基づいて、前記頭部の向きの変化の停止位置を予測する、
ことを特徴とする請求項２に記載の音声情報提供システム。
【請求項４】
前記生成部は、さらに、前記ユーザの移動に関する情報に基づいて前記音声データを生成する、
ことを特徴とする請求項１〜３のいずれか一項に記載の音声情報提供システム。
【請求項５】
前記生成部は、さらに、前記検出部から取得した前記ユーザの頭部の向きと、前記ユーザの進行方向の情報に応じて、前記音声案内の内容を変化させた前記音声データを生成する、
ことを特徴とする請求項１〜４のいずれか一項に記載の音声情報提供システム。
【請求項６】
前記生成部は、前記検出部から検出された前記ユーザの頭部の向きの情報に基づく前記ユーザの視線が、所定の時間以上、所定の地点に向けられている場合、前記ユーザの現在位置に関する情報と、前記ユーザの視線の方向とに応じて、前記音声データを生成する、
ことを特徴とする請求項１から５のいずれか一項に記載の音声情報提供システム。
【請求項７】
前記情報処理端末は、
所定の外部サービスに関する外部音声データに関する情報を受信する受信部をさらに備え、
前記生成部は、前記音声出力部から出力させる前記音声データとしての前記外部音声データを、前記ユーザの頭部の向きに応じて選択する、
ことを特徴とする請求項１から６のいずれか一項に記載の音声情報提供システム。
【請求項８】
前記情報処理端末は、さらに、
前記ユーザの位置情報と、当該位置情報における前記ユーザの頭部の向きに関する情報とを関連付けて所定の情報処理装置に送信する送信部を備え、
前記所定の情報処理装置は、複数のユーザに関する前記位置情報と前記頭部の向きに関する情報とに基づき、立体地図上で複数のユーザの視線が集まる場所を判定する判定部を備える、
ことを特徴とする請求項１から７のいずれか一項に記載の音声情報提供システム。
【請求項９】
ユーザの耳に向けて音声を出力する音声出力部と、前記ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、
前記ユーザの現在位置を取得するステップと、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成するステップと、
を実行させる情報処理端末の制御方法。
【請求項１０】
ユーザの耳に向けて音声を出力する音声出力部と、前記ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、
前記ユーザの現在位置を取得する位置情報取得機能と、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成する生成機能と、
を実現させる情報処理端末の制御プログラム。
【請求項１１】
情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、
前記ユーザの耳に向けて音声を出力するステップと、
前記ユーザの頭部の向きを検出するステップと、
を実行させ、
前記音声を出力するステップにおいて、
前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて、前記情報処理端末で生成された前記音声データに基づく音声を出力する、音声出力装置の制御方法。
【請求項１２】
情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、
前記ユーザの耳に向けて音声を出力する音声出力機能と、
前記ユーザの頭部の向きを検出する検出機能と、
を実現させ、
前記音声出力機能は、
前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて、前記情報処理端末で生成された前記音声データに基づく音声を出力する、音声出力装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラムに関し、特に、ユーザの耳に装用するヒアラブルデバイスを用いた音声情報提供システム等に関する。
【背景技術】
【０００２】
近年、耳に装用するウェアラブル機器であるヒアラブルデバイスの発展が著しい。ヒアラブルデバイスは、無線通信機能を備えた典型的にはマイクが一体化されたイヤホン型デバイスで実現され、無線通信を介し、情報処理端末やクラウドサーバ等との間でデータの送受信が可能なデバイスである（例えば、非特許文献１）。
【０００３】
また、現在、使用者の状況に応じたアシスタント機能を提供可能なヒアラブルデバイスも提案されている（例えば、特許文献１）。特許文献１には、ヒアラブルデバイスを用いたナビゲーションについて記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】日本電気株式会社、“ヒアラブル技術によるヒューマン系IoTソリューションの取り組みと展望”、［online］、２０１７年９月、ＮＥＣ技報Ｖｏｌ．７０  Ｎｏ．１（２０１７年９月）、［平成３０年１１月５日検索］、インターネット＜https://jpn.nec.com/techrep/journal/g17/n01/170110.html＞
【特許文献】
【０００５】
【特許文献１】特開２０１８−７８３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来、ヒアラブルデバイスで取得された、ユーザの音声、頭部の方向、姿勢、移動方向、加速度といったユーザに関する情報は、ヒアラブルデバイスから、ユーザの有する情報処理端末（例えば、スマートフォン）に送信され、当該情報処理端末によってデータ処理が行われた後に、処理の結果としての音声データがヒアラブルデバイスへ送信されて再生される。従って、ヒアラブルデバイスによるユーザに関する情報の取得と、音声データの再生との間で、上記一連の流れによるタイムラグが生じる。特許文献１に記載のようなヒアラブルデバイスによるナビゲーションを実現する場合、このタイムラグによる音ずれにより、ナビゲーション精度が落ちるという問題があった。
【０００７】
そこで、本発明は、上記音ずれの問題を解消し、より精度の高いナビゲーションを含む、音声情報提供システムを提供する。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る音声情報提供システムは、ユーザの耳に装着される音声出力装置と、音声出力装置と通信可能に接続される情報処理端末とを備える音声案内システムであって、音声出力装置は、ユーザの耳に向けて音声を出力する音声出力部と、ユーザの頭部の向きを検出する検出部と、を備え、情報処理端末は、ユーザの現在位置を取得する位置情報取得部と、音声出力部において、ユーザの頭部の向きに対する目的地の方向から、ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報との関係に応じて生成する生成部と、を備える。
【０００９】
本発明の一実施形態に係る音声情報提供システムにおいて、情報処理端末は、検出部がユーザの頭部の向きの変化の開始を検出した場合に、頭部の向きの変化の停止位置を予測する予測部をさらに備え、生成部は、ユーザの頭部の向きに関する情報として、予測部により予測された停止位置に関する情報を用いて、音声データを生成してもよい。
【００１０】
本発明の一実施形態に係る音声情報提供システムにおいて、予測部は、所定の記憶装置に記憶された、ユーザの頭部の向きに関する学習データに基づいて、頭部の向きの変化の停止位置を予測してもよい。
【００１１】
本発明の一実施形態に係る音声情報提供システムにおいて、生成部は、さらに、ユーザの進行方向に関する情報に基づいて音声データを生成してもよい。
【００１２】
本発明の一実施形態に係る音声情報提供システムにおいて、生成部は、さらに、検出部から取得したユーザの頭部の向きと、ユーザの進行方向の情報に応じて、音声案内の内容を変化させた音声データを生成してもよい。
【００１３】
本発明の一実施形態に係る音声情報提供システムにおいて、生成部は、検出部から検出されたユーザの頭部の向きの情報に基づくユーザの視線が、所定の時間以上、所定の地点に向けられている場合、ユーザの現在位置に関する情報と、ユーザの視線の方向とに応じて、音声データを生成してもよい。
【００１４】
本発明の一実施形態に係る音声情報提供システムにおいて、情報処理端末は、所定の外部サービスに関する外部音声データに関する情報を受信する受信部をさらに備え、生成部は、音声出力部から出力させる音声データとしての外部音声データを、ユーザの頭部の向きに応じて選択してもよい。
【００１５】
本発明の一実施形態に係る音声情報提供システムにおいて、情報処理端末は、さらに、ユーザの位置情報と、当該位置情報におけるユーザの頭部の向きに関する情報とを関連付けて所定の情報処理装置に送信する送信部を備え、所定の情報処理装置は、複数のユーザに関する位置情報と頭部の向きに関する情報とに基づき、立体地図上で複数のユーザの視線が集まる場所を判定する判定部を備えてもよい。
【００１６】
本発明の一実施形態に係る情報処理端末の制御方法は、ユーザの耳に向けて音声を出力する音声出力部と、ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、ユーザの現在位置を取得するステップと、音声出力部において、ユーザの頭部の向きに対する目的地の方向から、ユーザの移動する目的地への経路に関する音声案内を出力させる音声データ、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報との関係に応じて生成するステップと、を実行させる。
【００１７】
本発明の一実施形態に係る情報処理端末の制御プログラムは、ユーザの耳に向けて音声を出力する音声出力部と、ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、ユーザの現在位置を取得する位置情報取得機能と、音声出力部において、ユーザの頭部の向きに対する目的地の方向から、ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報との関係に応じて生成する生成機能と、を実現させる。
【００１８】
本発明の一実施形態に係る音声出力装置の制御方法は、情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、ユーザの耳に向けて音声を出力するステップと、ユーザの頭部の向きを検出するステップと、を実行させ、音声を出力するステップにおいて、ユーザの頭部の向きに対する目的地の方向から、ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報との関係に応じて、情報処理端末で生成された音声データに基づく音声を出力する。
【００１９】
本発明の一実施形態に係る音声出力装置の制御プログラムは、情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、ユーザの耳に向けて音声を出力する音声出力機能と、ユーザの頭部の向きを検出する検出機能と、を実現させ、音声出力機能は、ユーザの頭部の向きに対する目的地の方向から、ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報との関係に応じて、情報処理端末で生成された音声データに基づく音声を出力する。
【発明の効果】
【００２０】
本発明によれば、より精度の高いナビゲーションを含む音声情報提供システムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る音声情報提供システム構成の概略図である。
【図２】本発明の一実施形態に係る情報処理端末のハードウェア構成図である。
【図３】本発明の第１実施形態に係る音声情報提供システムを説明する概略図である。
【図４】本発明の第１実施形態に係る音声情報提供システムにおける、音声出力装置と情報処理端末との間のシーケンス図である。
【図５】本発明の第２実施形態に係る音声情報提供システムを説明する概略図である。
【図６】本発明の第２実施形態に係る音声情報提供システムにおける、音声出力装置と情報処理端末との間のシーケンス図である。
【図７】本発明の第２実施形態に係る音声情報提供システムにおける学習データの一例である。
【図８】本発明の第３実施形態に係る音声情報提供システムを説明する概略図である。
【図９】本発明の第４実施形態に係る音声情報提供システムを説明する概略図である。
【図１０】本発明の第５実施形態に係る音声情報提供システムにおける、音声出力装置、情報処理端末、サーバ間のシーケンス図である。
【発明を実施するための形態】
【００２２】
以降、諸図面を参照しながら、本発明の一実施形態を詳細に説明する。
【００２３】
＜システム構成＞
図１は、本発明の一実施形態に係る音声情報提供システムの構成例を示す図である。図１に示すように、音声情報提供システム５００は、ネットワーク４００を介して互いに接続された、音声出力装置１００と、情報処理端末２００と、サーバ３００とを含む。音声出力装置１００は、ユーザの耳に装着可能な、典型的にはイヤホンによって実現される。音声出力装置１００は、ブルートゥース（Bluetooth（登録商標））等の近距離無線通信４１０、又は、図示しない有線ケーブルを介して情報処理端末２００と通信可能に接続される。なお、音声出力装置１００としては、左右のヘッドホンがヘッドバンドで結合されているもの、左右のイヤホンが有線ケーブルで接続されているもの、左右のイヤホンが有線ケーブルで接続されておらず、独立して情報処理端末２００と通信可能であるものを含んでよい。また、音声出力装置１００は、ネットワーク４００を介してサーバ３００と通信可能であってもよい。
【００２４】
情報処理端末２００は、以下に記載される機能や方法を実現できる情報処理装置であればどのようなものでもよい。情報処理端末２００は、例えば、スマートフォン、携帯電話（フィーチャーフォン）、ハンドヘルドコンピュータデバイス（例えば、ＰＤＡ（Personal Digital Assistant）等）、ウェアラブル端末（例えば、メガネ型デバイス、時計型デバイス等）を含んでよいが、ユーザが携帯可能であるものが好ましい。情報処理端末２００は、音声出力装置１００と無線又は有線で接続されて、音声出力装置１００との間で音声データを含む各種情報のやり取りを行う。また、情報処理端末２００は、所定のサービスを提供するためのアプリケーションプログラムがインストールされ、ユーザの指示に応じたアプリケーションを実行する。所定のサービスとは、例えば、ナビゲーション（経路案内）サービス、音声通話サービス、天気予報サービス、ニュース情報提供サービス等を含む。
【００２５】
ネットワーク４００は、無線ネットワークや有線ネットワークを含んでよい。具体的には、ネットワーク４００は、ワイヤレスＬＡＮ（wireless LAN：ＷＬＡＮ）や広域ネットワーク（wide area network：ＷＡＮ）、ＩＳＤＮｓ（integrated service digital networks）、無線ＬＡＮｓ、ＬＴＥ（long term evolution）、ＬＴＥ−Ａｄｖａｎｃｅｄ、第４世代（４Ｇ）、第５世代（５Ｇ）、ＣＤＭＡ（code division multiple access）等である。なお、ネットワーク４００は、これらの例に限られず、例えば、公衆交換電話網（Public Switched Telephone Network：ＰＳＴＮ）やブルートゥース（Bluetooth（登録商標））、光回線、ＡＤＳＬ（Asymmetric Digital Subscriber LINE）回線、衛星通信網等であってもよい。また、ネットワーク４００は、これらの組み合わせであってもよい。
【００２６】
サーバ３００は、典型的にはクラウド上で実現される。サーバ３００は、アプリケーションサーバとしての機能を有し、情報処理端末２００にインストールされたアプリケーションからの要求に応じて各種処理を実行する。また、サーバ３００は、ネットワーク４００を介して、音声出力装置１００や情報処理端末２００から送信されたユーザの指示に応じた情報の送受信を行う。図１においてサーバ３００は１つのみ示してあるが、サーバ３００は複数あってよい。また、サーバ３００は、複数の情報処理端末２００（及び、その情報処理端末２００に接続された音声出力装置１００）から、各情報処理端末２００それぞれのユーザに関する情報を受信して蓄積する。
【００２７】
＜ハードウェア構成＞
ここで、図２を用いて、音声情報提供システム５００に含まれる情報処理端末２００のハードウェア構成について説明する。情報処理端末２００は、プロセッサ２０１と、メモリ２０２と、ストレージ２０３と、入出力インタフェース（入出力Ｉ／Ｆ）２０４と、通信インタフェース（通信Ｉ／Ｆ）２０５とを含む。各構成要素は、バスＢを介して相互に接続される。
【００２８】
情報処理端末２００は、プロセッサ２０１と、メモリ２０２と、ストレージ２０３と、入出力Ｉ／Ｆ２０４と、通信Ｉ／Ｆ２０５との協働により、本実施形態に記載される機能、方法を実現する。
【００２９】
プロセッサ２０１は、ストレージ２０３に記憶されるプログラムに含まれるコード又は命令によって実現する機能、及び／又は、方法を実行する。プロセッサ２０１は、例えば、中央処理装置（ＣＰＵ）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を含み、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって各実施形態に開示される各処理を実現してもよい。また、これらの回路は、１又は複数の集積回路により実現されてよく、各実施形態に示す複数の処理を１つの集積回路により実現されることとしてもよい。また、ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
【００３０】
メモリ２０２は、ストレージ２０３からロードしたプログラムを一時的に記憶し、プロセッサ２０１に対して作業領域を提供する。メモリ２０２には、プロセッサ２０１がプログラムを実行している間に生成される各種データも一時的に格納される。メモリ２０２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含む。
【００３１】
ストレージ２０３は、プログラムを記憶する。ストレージ２０３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等を含む。
【００３２】
通信Ｉ／Ｆ２０５は、ネットワークアダプタ等のハードウェアや通信用ソフトウェア、及びこれらの組み合わせとして実装され、ネットワーク４００を介して各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信Ｉ／Ｆ２０５は、ネットワーク４００を介して、他の情報処理装置との通信を実行する。通信Ｉ／Ｆ２０５は、各種データをプロセッサ２０１からの指示に従って、他の情報処理装置に送信する。また、通信Ｉ／Ｆ２０５は、他の情報処理装置から送信された各種データを受信し、プロセッサ２０１に伝達する。
【００３３】
入出力Ｉ／Ｆ２０４は、情報処理端末２００に対する各種操作を入力する入力装置、及び、情報処理端末２００で処理された処理結果を出力する出力装置を含む。入出力Ｉ／Ｆ２０４は、入力装置と出力装置が一体化していてもよいし、入力装置と出力装置とに分離していてもよい。
【００３４】
入力装置は、ユーザからの入力を受け付けて、当該入力に係る情報をプロセッサ２０１に伝達できる全ての種類の装置のいずれか、又は、その組み合わせにより実現される。入力装置は、例えば、タッチパネル、タッチディスプレイ、キーボード等のハードウェアキーや、マウス等のポインティングデバイス、カメラ（画像を介した操作入力）、音声出力装置１００を含むマイク（音声による操作入力）を含む。
【００３５】
出力装置は、プロセッサ２０１で処理された処理結果を出力する。出力装置は、例えば、タッチパネル、音声出力装置１００の音声出力部１２０であるスピーカ等を含む。なお、サーバ３００を図２のハードウェア構成で構成される。
【００３６】
＜機能構成＞
（１）音声出力装置
図１に戻り、各装置の機能構成について簡単に説明する。図１に示すように、音声出力装置１００は、通信制御部１１０、音声出力部１２０、音声入力部１３０、入力受付部１４０、及び、検出部１５０を少なくとも備える。通信制御部１１０は、ネットワーク４００を介した無線通信であって、情報処理端末２００との間の近距離無線通信や、サーバ３００や図示しない外部装置との間の通信を制御する。音声出力部１２０は、ユーザの耳に向けて音声を出力するスピーカとして機能する。音声入力部１３０は、ユーザから発せられた音声を受信するマイクとして機能する。音声出力装置１００において、ユーザは、音声入力部１３０を介して、音声による情報処理端末２００に対するコマンドの入力や、通話を行うことができる。入力受付部１４０は、ユーザの指による操作入力を受け付ける機能を有し、例えば、ボタン、タッチパネル、ダイヤルボタン等によって実現されてもよい。なお、入力受付部１４０は、音声出力装置１００と一体化されていなくともよく、音声出力装置１００に対するコマンドの入力は、情報処理端末２００を介して行われてもよい。また、音声出力装置１００は、図示しないディスプレイを備えてもよい。
【００３７】
検出部１５０は、音声出力装置１００を装着したユーザの頭部の向きを検出する機能を有し、例えば、ジャイロセンサ、地磁気センサを含む。また、検出部１５０は、ユーザの頭部の回転速度を検出する加速度センサを含む。本発明の一実施形態によれば、これら各種センサを備える音声出力装置１００がユーザの耳に装用されることで、ユーザの頭部の向きや位置を正確に測定することができる。
【００３８】
なお、音声出力装置１００は、図示しない記憶部を備え、情報処理端末２００との接続に必要な情報（例えば、ＰＩＮコード等）が記憶されてもよい。
【００３９】
（２）情報処理端末の機能構成
情報処理端末２００は、通信制御部２１０、入出力制御部２２０、位置情報取得部２３０、生成部２４０、予測部２５０、及び、記憶部２６０を含む。通信制御部２１０は、受信部２１１、送信部２１２を備え、音声出力装置１００、サーバ３００、及び、図示しない外部装置との間の無線通信を実行する機能を有する。入出力制御部２２０は、入出力Ｉ／Ｆ２０４を介した外部装置との各種情報の伝達を制御する。例えば、入出力制御部２２０は、タッチパネル、キーボード、音声出力装置１００の音声入力部１３０であるマイク等の入力装置を介したユーザからの入力指示に応じて各機能部へ情報を伝達したり、タッチパネル、モニタ、音声出力装置１００の音声出力部１２０であるスピーカ等の出力装置に対し、各機能部からの情報を伝達したりする。
【００４０】
位置情報取得部２３０は、情報処理端末２００の位置情報を取得する機能を有する。位置情報取得部２３０は、図示しないＧＰＳ（Global Positioning System）衛星や基地局からの情報に基づき、自端末の位置情報を取得する。位置情報としては、情報処理端末２００が存在する位置の緯度・経度であってもよいし、情報処理端末２００に近接する基地局の設置位置に関する情報を、Ｗｉ−Ｆｉ等の無線ＬＡＮ、ＩＭＥＳ（Indoor MEssaging System）、ＲＦＩＤ（Radio Frequency Identifier）、ＢＬＥ（Bluetooth Low Energy）等の通信方式を用いて取得してもよい。また、位置情報取得部２３０は、例えば、ＬＴＥやＣＤＭＡ等の移動体通信システムを用いて、位置情報を測定してもよい。なお、位置情報の取得は、所定の時間間隔（例えば、３分、１０分等）で行われてよいし、必要な都度行われてもよい。また、位置情報の取得は、音声出力装置１００によって行われてもよい。
【００４１】
生成部２４０は、音声出力装置１００から出力させる音声データを生成する。本発明の一実施形態によれば、音声出力装置１００を装着したユーザに対し、任意の方向から音声が聞こえるように音声を出力することができる。すなわち、生成部２４０は、ユーザにとって音が立体的に聞こえるような音声データを生成する。従って、本発明の一実施形態による音声情報提供システムによれば、例えば、ユーザの右後方に仮想的な音源が存在し、当該音源から音が聞こえるかのような感覚をユーザに与えることができる。これは例えば、仮想的な音源からユーザの左右のイヤホンまでの距離の差に応じて、左右のイヤホンから出力する音声の強弱を変化させた音声データを生成すればよい。なお、音の立体化を実現する技術については、既存のものを用いることができる。
【００４２】
記憶部２６０は、ストレージ２０３等に、情報処理端末２００が動作するうえで必要とする各種プログラムや各種データを記憶する機能を有する。例えば、記憶部２６０は、ユーザがアプリケーションとして経路案内を実行する際、ユーザの目的地に関する情報を記憶する。また、記憶部２６０は、ユーザの過去の行動履歴等を記憶してもよい。
【００４３】
（３）サーバの機能構成
サーバ３００は、通信制御部３１０、学習部３２０、判定部３３０、及び、記憶部３４０を備える。通信制御部３１０は、ネットワーク４００を介したサーバ３００と外部装置との間の通信を制御する。学習部３２０は、音声出力装置１００のジャイロセンサや地磁気センサ、加速度センサ（検出部１５０）から取得したユーザの頭部の向きに関する情報や、その他のユーザに関する情報を用いた学習により、ユーザの頭部の動きに関する特徴を抽出する。学習部３２０による学習には、例えば、機械学習（教師あり学習）を用いることができる。判定部３３０は、複数のユーザから受信し蓄積した、位置情報と、当該位置情報におけるユーザの頭部の向きに関する情報との関連に基づいて、立体地図上で複数のユーザの視線が集まる場所を判定する（詳細は後述する）。
【００４４】
ここで、図３を用いて、本発明の第１実施形態による音声情報提供システムについて説明する。第１実施形態では、目的地までの経路情報に関する音声情報がユーザに提供される。
【００４５】
図３において、ユーザ１０は、ユーザの頭部１１に音声出力装置１００を装着している。なお以降、音声出力装置１００としてイヤホンを例に説明し、左のイヤホンを１００Ｌ、右のイヤホンを１００Ｒとする。ユーザ１０が携帯する情報処理端末２００において、経路案内サービスを提供するアプリケーションが起動され、目的地２０がユーザ１０の目的地として設定されている。
【００４６】
音声出力装置１００の検出部１５０は、ジャイロセンサや地磁気センサに基づき、ユーザ１０の頭部の方向が方向ＤＲＨ１０であることを検出する。情報処理端末２００の位置情報取得部２３０は、ユーザ１０の現在位置に関する情報を取得する。生成部２４０は、目的地２０の位置情報と、ユーザ１０の現在位置と、ユーザ１０の頭部の向きに関する情報との関係に応じて、経路を音声案内する音声データを生成する。このとき、生成部２４０は、ユーザ１０の頭部の向きＤＲＨ１０に対する目的地２０の方向から、音声案内を出力させる音声データを生成する。図３の例では、ユーザの頭部１１に対し、目的地２０が存在する方角から、例えば「こちらです」といった音声情報ＡＧ１が聞こえるような音声データが、生成部２４０によって生成される。
【００４７】
上述した本発明の第１実施形態について、図４のシーケンス図を用いて説明する。図４は、第１実施形態における、音声出力装置１００と情報処理端末２００との間のシーケンス図である。
【００４８】
まず、情報処理端末２００において、例えば経路案内に関するアプリケーションが起動され、目的地の位置情報が記憶される（ステップＳ１０）。そして、情報処理端末２００の位置情報取得部２３０は、ユーザの現在位置に関する情報の取得を開始する（ステップＳ１１）。音声出力装置１００の検出部１５０は、ユーザの頭部の向きを検出する（ステップＳ１２）。検出されたユーザの頭部の向きに関する情報は、情報処理端末２００へ送信される。情報処理端末２００の生成部２４０は、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報との関係に応じて、音声データを生成する（ステップＳ１３）。生成された音声データは、音声出力装置１００へ送信される。音声出力装置１００の音声出力部１２０は、音声データに基づく音声データを出力する（ステップＳ１４）。
【００４９】
上述のように、本発明の第１実施形態によれば、ユーザの目的地に関する情報が、ユーザに対して目的地が存在する方向から、音声出力装置１００において出力される。従って、ユーザに目的地の方角を適切に知らせることができる。また、ヒアラブルデバイスである音声出力装置１００は、例えば、ユーザの目による確認を必要としないため、問題となる「歩きスマホ」をユーザにさせることがなく安全である。
【００５０】
なお、上述のシーケンスは、ユーザに関する情報が所定の条件を満たす場合に実行されてもよい。ユーザに関する情報が所定の条件を満たす場合とは、例えば、ユーザが所定時間以上停止している場合である。この場合、ユーザは移動方向が分からずに立ち止まっていると考えられるため、経路に関する音声案内を、ユーザにとって適切なタイミングで出力することができる。あるいは、ユーザからの入力指示又は音声指示に応じて、上述のシーケンスが実行されてもよい。
【００５１】
次に、本発明の第２実施形態について、図５〜図７を用いて説明する。図５は、第２実施形態に係る音声情報提供システムの説明図である。
【００５２】
第２実施形態において、情報処理端末２００の予測部２５０は、音声出力装置１００においてユーザの頭部の向きの変化が検出された場合に、ユーザの頭部の向きの変化の停止位置を予測する。そして、生成部２４０は、ユーザの頭部の向きに関する情報として、予測部２５０によって予測された停止位置に関する情報を用いて、音声データを生成する。
【００５３】
図５の例では、図５（ａ）に示すように、ユーザ１０が、ユーザの頭部１１ａの回転を開始し、音声出力装置１００の検出部１５０（加速度センサ）が、加速度ＡＲ２０による頭部の向きの変化を検出する。ここで、図５（ｂ）に示すように、ユーザの頭部１１が回転を継続している最中の、ユーザの頭部１１の方向ＤＲＨ３０と、ユーザ１０の現在位置と、目的地２０の位置情報との間の関係に応じて、目的地２０の音声案内ＡＧ３が生成され、音声出力装置１００から出力されたとする。すなわち、音声案内ＡＧ３において、左右のイヤホンに出力する音声データＡＧＬ３、ＡＧＲ３は、方向ＤＲＨ３０と目的地２０との相対関係に応じて生成されている。しかしながら、ユーザの頭部１１は回転を続け、音声出力装置１００から音声データが出力されたときには、データ処理と、装置間のデータ送受信とにおいて生じたタイムラグによって、ユーザの頭部１１は図５（ｂ）の位置からずれることがある。ユーザの頭部１１が図５（ｂ）の位置でない場合に、図５（ｂ）の位置に基づいて生成された音声案内が出力されると、ユーザの頭部１１と目的地２０との間の相対位置からずれた方向から音声案内が聞こえることとなり、音ずれが生じる。
【００５４】
本発明の第２実施形態によれば、上述のようなタイムラグによる音ずれを防ぐため、頭部１１の停止位置を予測部２５０が予測し、予測された停止位置に基づいて音声データが生成される。図５の例では、将来、図５（ｃ）に示す頭部１１の位置（方向ＤＲＨ４０）で頭部の回転が停止する。この場合、予測部２５０は、図５（ａ）及び図５（ｂ）の少なくともいずれかのユーザ１０の頭部の加速度に基づき、ユーザ１０の頭部１１が図５（ｃ）に示す位置（方向ＤＲＨ４０）で停止することを予め予測する。生成部２４０は、予測された頭部の位置に基づいて音声データＡＧ４（すなわち、左右のイヤホンから出力すべき音声データＡＧＬ４、ＡＧＲ４）を生成する。
【００５５】
なお、予測部２５０による予測の手法としては、ユーザの過去の行動に関する情報に基づく機械学習を用いることができる。図７に、ユーザの過去の行動に関する情報を記録したテーブルの一例を示す。図７に示すように、あるユーザに関し、日付、時刻、頭部の回転角、加速度、移動距離（回転距離）、位置情報をテーブルＴＢ１０として記憶する。サーバ３００の学習部３２０は、これらの過去の行動に関する情報に基づく機械学習により、未来の行動を予測する。例えば、学習部３２０は、ユーザの頭部の加速度が「ＡＡ」の場合に、移動距離は「ｈｈ」となるといったデータテーブルＴＢ２０を出力する。なお、各テーブルに記憶されるデータは図示したデータに限られず、また図示したデータを必ず必須とするものではない。なお、学習は情報処理端末２００で実行されてもよい。
【００５６】
図６は、上述した実施形態における、音声出力装置１００と情報処理端末２００との間のシーケンス図である。まず、情報処理端末２００において、例えば経路案内に関するアプリケーションが起動され、目的地の位置情報が記憶される（ステップＳ２０）。そして、情報処理端末２００の位置情報取得部２３０は、ユーザの現在位置に関する情報の取得を開始する（ステップＳ２１）。音声出力装置１００の検出部１５０は、ユーザの頭部の向きの変化の開始を検出する（ステップＳ２２）。検出されたユーザの頭部の向きの変化に関する情報は、情報処理端末２００へ送信される。情報処理端末２００の予測部２５０は、受信した頭部の向きの変化に関する情報に基づき、ユーザの頭部の向きの変化の停止位置を予測する（ステップＳ２３）。情報処理端末２００の生成部２４０は、目的地の位置情報と、ユーザの現在位置と、ユーザの頭部の向きに関する情報としての予測された停止位置との関係に応じて、音声データを生成する（ステップＳ２４）。生成された音声データは、音声出力装置１００へ送信される。音声出力装置１００の音声出力部１２０は、音声データに基づく音声データを出力する（ステップＳ２５）。
【００５７】
上述のように、本発明の第２実施形態によれば、ユーザの目的地に関する情報が、ユーザに対して目的地が存在する方向から、音ずれを生じさせることなく音声出力装置１００において出力される。従って、ユーザにより精度のよい情報を提供することができる。
【００５８】
なお、生成部２４０は、音声データの生成に、ユーザの移動に関する情報をさらに用いてもよい。ユーザの移動に関する情報とは、ユーザの移動速度、進行方向等を含む。例えば、情報処理端末２００においてユーザの位置情報の推移から、ユーザの移動速度やユーザの進行方向を算出することができる。例えば、ユーザの移動速度が所定速度よりも速い場合、ユーザが、車や電車といった移動手段で移動していると考えられる。このような場合、予測部２５０は、ユーザの目的地や路線情報等に基づき、移動手段からの降車位置を予測する。生成部２４０は、予測された降車位置における情報に基づき、音声データを生成してもよい。このような構成により、ユーザの状況に即した音声情報を提供することが可能となる。
【００５９】
次に、本発明の第３実施形態について、図８を用いて説明する。第３実施形態によれば、生成部２４０は、ユーザの頭部の向きと、ユーザの進行方向の情報に応じて、音声案内の内容を変化させた音声データを生成する。図８の例では、ユーザ１０が目的地２０へ向かう方向ＤＲＰ２０において移動しているが、ユーザ１０の頭部１１は、目的地２０の方向とは異なる方向ＤＲＨ２０を向いている。このような場合、生成部２４０は、例えば、進行方向について言及する内容で音声案内を生成する（図８の例では、「進行方向です」という音声案内ＡＧ２にて示してある）。もちろん、この音声案内は、ユーザの頭部の向きＤＲＨ２０に対し、目的地２０の方向から聞こえるように生成されている。逆に、ユーザ１０の進行方向が目的地２０に対し真逆の方向で合った場合、「逆方向です」といった音声案内が生成されてもよい。
【００６０】
ヒアラブルデバイスは、ユーザに地図の確認といった動作を必要としないため、進行方向が合っているかについて、ユーザが不安を感じる事も考えられる。上述の構成にすることで、ユーザに不安を与えることなく、より利便性の高い音声案内を提供することが可能となる。
【００６１】
次に、図９を用いて本発明の第４実施形態について説明する。第４実施形態では、生成部２４０は、検出部１５０から検出されたユーザの頭部の向きの情報に基づくユーザの視線が、所定の時間以上、所定の地点に向けられている場合、ユーザの現在位置に関する情報と、ユーザの視線の方向とに応じて、音声データを生成する。これにより、ユーザの現在位置と、ユーザの頭部の向きに関する情報とに基づいて判定されるユーザの状況に基づき、音声案内が生成される。
【００６２】
具体例により説明する。図９（ａ）は、ユーザ１０が駅にて電光掲示板４０を確認していることを示す図である。位置情報取得部２３０により、ユーザ１０が駅に居ることが判定できる。そして、情報処理端末２００の生成部２４０は、ユーザ１０の頭部の向きが方向ＤＲＨ４０で所定の時間以上継続している場合、ユーザの位置情報（「駅」）と、頭部の向き（「上方」）とに応じた音声データ（「１４：２１発２番線です」との音声案内ＡＧ５）を生成する。また、図９（ｂ）は、ユーザ１０が、マップ５０を確認していることを示す図である。この場合、生成部２４０は、ユーザの位置情報（「地図の前方」）と、頭部の向き（「斜め下方」）との組合せに応じた音声データ（「目的地はどこですか？」との音声案内ＡＧ６）を生成する。
【００６３】
なお、位置情報と頭部の向きに応じて生成すべき音声データは、記憶部２６０（又は記憶部３４０）に予め記憶しておく。また、生成すべき音声データは、さらに、現在時刻、情報処理端末２００において立ち上げられているアプリケーションの有無、ユーザの過去の行動履歴、進行方向、現在位置等によって変化させてもよい。例えば、位置情報が「駅」で頭部の向きが「上方」の場合を考える。情報処理端末２００で経路案内アプリケーションが起動し目的地が設定されている場合、目的地に関係する音声データ「１４：２１発２番線です」が生成されてもよい。さらに、現在時刻に基づき、「１５：５０に○○駅に到着します」といった到着時刻に関する音声データが生成されてもよい。なお、経路案内アプリケーションが起動していない場合、「経路案内を起動しますか？」、「どこへ行きますか？」といった、経路案内の必要の有無を問う音声データであってもよい。また、「○○線は遅延しています」といった、駅に関係する音声データであってもよい。さらに、上述した記憶部２６０に記憶する音声データは、ユーザの行動履歴等によって学習されて生成されてもよい。
【００６４】
なお、従来、店舗の入口や看板等にビーコンを取り付け、ビーコンを受信可能な情報処理端末へ、クーポン情報やポイント等を送信するサービスが存在する。このサービスをヒアラブルデバイスに適用した場合、様々な音声情報が耳へ出力されて不便である。このような場合に、第４実施形態のようにユーザの「注視」を判定可能な情報に基づき、ユーザが注視する地点に関する音声情報のみを出力することができる。
【００６５】
情報処理端末２００の受信部２１１は、所定の外部サービスに関する外部音声データに関する情報を受信する。生成部２４０は、ユーザの頭部の向きに応じて、音声データとして、ユーザが注視していると判定される先に関する外部音声データを選択する。なお、外部音声データは、外部音声データを発する外部装置から直接受信してもよいし、外部音声データを取得可能なリンク情報（例えば、ＵＲＬ情報等）であって、当該リンク情報に基づき、所定のサーバから取得してもよい。
【００６６】
なお、第４実施形態において、ユーザが移動しながら（例えば、エスカレーター上、徒歩、車等）、ある地点を注視することも考えられる。この場合、ユーザの移動速度と、ユーザの頭部の回転角度（角速度や加速度）との関係から、ユーザの視線がある地点にあると判定される場合、上述したように音声データを生成すればよい。
【００６７】
次に、第５実施形態について説明する。第５実施形態では、第１から第４実施形態において説明した、ユーザの頭部の向きと位置情報との関係に関する情報とが関連付けられて、サーバ３００へ送信される。サーバ３００の判定部３３０は、複数のユーザから上記の情報を受信し、立体地図上で複数のユーザの視線が集まる場所を判定する。ここで、立体地図とは、地形を３次元で表現したデータ群であればその形態は問わず、地図の形態でなくともよい。
【００６８】
現在、例えば駅構内、建物の屋上や構内、電車内等様々な場所に、看板やポスターといった視覚情報が提示されている。第５実施形態によれば、そのような視覚情報に対する複数のユーザの注目度（視線を集めているか否か）についての情報をデータとして得ることが可能となる。
【００６９】
図１０に、第５実施形態における、音声出力装置１００、情報処理端末２００、サーバ３００間のシーケンス図を示す。まず、音声出力装置１００において、ユーザの頭部の向きが検出され、情報処理端末２００へ送信される（ステップＴ１０）。情報処理端末２００において、ユーザの位置情報が取得される（ステップＴ１１）。情報処理端末２００は、ユーザの現在位置と、ユーザの頭部の向きとを関連付けてサーバ３００へ送信する（ステップＴ１２）。サーバ３００は、複数のユーザから受信した、現在位置と頭部の向きに関する情報とに基づき、立体地図上で複数のユーザの視線が集まる場所を判定する（ステップＴ１３）。
【００７０】
なお、上述の視覚情報については、例えば近傍に設置されたカメラによる画像を解析することにより、ユーザの視線がどこを向いているかを判定することも可能である。しかしながら、個人情報の観点や、設置場所の制限により、カメラを設置できる箇所は限られているため、十分なデータを得ることができないという問題があった。これに対し、本願発明の一実施形態に係るヒアラブルデバイスによれば、あらゆる場所におけるユーザの視線の向きを集めることができ、より精度の高い情報を得ることが可能となる。
【００７１】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上記実施の形態に示す構成を適宜組み合わせることとしてもよい。例えば、サーバ３００が備えるとして説明した各構成部は、複数のサーバによって分散されて実現されてもよい。また、サーバ３００の機能として説明した処理は、情報処理端末２００や音声出力装置１００によって行われてもよい。また、情報処理端末２００の機能として説明した処理を、音声出力装置１００によって行ってもよい。
【００７２】
例えば、上述では、経路案内を例に説明したが、音声データはこれに限られるものではなく、天気予報や、メールの読み上げ、音声通話の有無に関する音声データが生成され、音声データに関する方向から出力されてもよい。
【００７３】
なお、生成部２４０は、検出部１５０によって検出されたユーザ１０の頭部の向きに関する情報に基づき、ユーザの頭部の向きの変化に応じて、音がユーザ１０の耳にスライドイン（音の定位が上下、左右、前後に移動する、音量が変化することによる音像・音場効果）して聞こえてくるような音声情報を生成してもよい。例えば、生成部２４０は、ユーザ１０の頭部の向きの変化に応じて、音声の右方向、左方向、奥方向、上方向のバランスや、移動方向を変化させ、ユーザが音の存在を知覚しやすくするとともに、ユーザの耳に軽やかに音が入ってくるような音声情報を生成する。これにより、ユーザの頭部の向きに応じて違和感のない音声を提供できるとともに、スタイリッシュな感覚をユーザに与えることができる。
【００７４】
本開示の各実施形態のプログラムは、コンピュータに読み取り可能な記憶媒体に記憶された状態で提供されてもよい。記憶媒体は、「一時的でない有形の媒体」に、プログラムを記憶可能である。プログラムは、例えば、ソフトウェアプログラムやコンピュータプログラムを含む。
【００７５】
記憶媒体は適切な場合、１つ又は複数の半導体ベースの、又は他の集積回路（ＩＣ）（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向けＩＣ（ＡＳＩＣ）等）、ハード・ディスク・ドライブ（ＨＤＤ）、ハイブリッド・ハード・ドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピィ・ディスケット、フロッピィ・ディスク・ドライブ（ＦＤＤ）、磁気テープ、固体ドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュア・デジタル・カードもしくはドライブ、任意の他の適切な記憶媒体、又はこれらの２つ以上の適切な組合せを含むことができる。記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性の組合せでよい。
【００７６】
また、本開示のプログラムは、当該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して、情報処理端末２００に提供されてもよい。
【００７７】
また、本開示の各実施形態は、プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００７８】
なお、本開示のプログラムは、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｙｔｈｏｎ等のスクリプト言語、Ｃ言語、Ｇｏ言語、Ｓｗｉｆｔ，Ｋｏｌｔｉｎ、Ｊａｖａ（登録商標）等を用いて実装される。
【符号の説明】
【００７９】
１００  音声出力装置
２００  情報処理端末
３００  サーバ
４００  ネットワーク
４１０  近距離無線通信
５００  音声情報提供システム
２０１  プロセッサ
２０２  メモリ
２０３  ストレージ
１１０  通信制御部
１２０  音声出力部
１３０  音声入力部
１４０  入力受付部
１５０  検出部
２１０  通信制御部
２１１  受信部
２１２  送信部
２２０  入出力制御部
２３０  位置情報取得部
２４０  生成部
２５０  予測部
２６０  記憶部
３１０  通信制御部
３２０  学習部
３３０  判定部
３４０  記憶部
１０  ユーザ
１１  頭部
２０  目的地
４０  電光掲示板
５０  マップ
【図１】
2020144011.tif 000003
【図２】
2020144011.tif 000004
【図３】
2020144011.tif 000005
【図４】
2020144011.tif 000006
【図５】
2020144011.tif 000007
【図６】
2020144011.tif 000008
【図７】
2020144011.tif 000009
【図８】
2020144011.tif 000010
【図９】
2020144011.tif 000011
【図１０】
2020144011.tif 000012
【手続補正書】
【提出日】令和1年5月22日(2019.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの耳に装着される音声出力装置と、前記音声出力装置と通信可能に接続される情報処理端末とを備える音声案内システムであって、
前記音声出力装置は、
ユーザの耳に向けて音声を出力する音声出力部と、
前記ユーザの頭部の向きを検出する検出部と、
を備え、
前記情報処理端末は、
前記ユーザの現在位置を取得する位置情報取得部と、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成する生成部と、
を備え、
前記生成部は、前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記ユーザの頭部の向きに関する情報として、予測された前記停止位置に関する情報を用いて、前記音声データを生成する、音声情報提供システム。
【請求項２】
前記情報処理端末は、
前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記頭部の向きの変化の停止位置を予測する予測部をさらに備え、
前記生成部は、前記ユーザの頭部の向きに関する情報として、前記予測部により予測された前記停止位置に関する情報を用いて、前記音声データを生成する、
ことを特徴とする請求項１に記載の音声情報提供システム。
【請求項３】
前記予測部は、所定の記憶装置に記憶された、前記ユーザの頭部の向きに関する学習データに基づいて、前記頭部の向きの変化の停止位置を予測する、
ことを特徴とする請求項２に記載の音声情報提供システム。
【請求項４】
前記生成部は、さらに、前記ユーザの移動に関する情報に基づいて前記音声データを生成する、
ことを特徴とする請求項１〜３のいずれか一項に記載の音声情報提供システム。
【請求項５】
前記生成部は、さらに、前記検出部から取得した前記ユーザの頭部の向きと、前記ユーザの進行方向の情報に応じて、前記音声案内の内容を変化させた前記音声データを生成する、
ことを特徴とする請求項１〜４のいずれか一項に記載の音声情報提供システム。
【請求項６】
前記生成部は、前記検出部から検出された前記ユーザの頭部の向きの情報に基づく前記ユーザの視線が、所定の時間以上、所定の地点に向けられている場合、前記ユーザの現在位置に関する情報と、前記ユーザの視線の方向とに応じて、前記音声データを生成する、
ことを特徴とする請求項１から５のいずれか一項に記載の音声情報提供システム。
【請求項７】
前記情報処理端末は、
所定の外部サービスに関する外部音声データに関する情報を受信する受信部をさらに備え、
前記生成部は、前記音声出力部から出力させる前記音声データとしての前記外部音声データを、前記ユーザの頭部の向きに応じて選択する、
ことを特徴とする請求項１から６のいずれか一項に記載の音声情報提供システム。
【請求項８】
前記情報処理端末は、さらに、
前記ユーザの位置情報と、当該位置情報における前記ユーザの頭部の向きに関する情報とを関連付けて所定の情報処理装置に送信する送信部を備え、
前記所定の情報処理装置は、複数のユーザに関する前記位置情報と前記頭部の向きに関する情報とに基づき、立体地図上で複数のユーザの視線が集まる場所を判定する判定部を備える、
ことを特徴とする請求項１から７のいずれか一項に記載の音声情報提供システム。
【請求項９】
ユーザの耳に向けて音声を出力する音声出力部と、前記ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、
前記ユーザの現在位置を取得するステップと、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成するステップと、
を実行させ、
前記生成するステップは、前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記ユーザの頭部の向きに関する情報として、予測された前記停止位置に関する情報を用いて、前記音声データを生成する情報処理端末の制御方法。
【請求項１０】
ユーザの耳に向けて音声を出力する音声出力部と、前記ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、
前記ユーザの現在位置を取得する位置情報取得機能と、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成する生成機能と、
を実現させ、
前記生成機能は、前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記ユーザの頭部の向きに関する情報として、予測された前記停止位置に関する情報を用いて、前記音声データを生成する情報処理端末の制御プログラム。
【請求項１１】
情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、
前記ユーザの耳に向けて音声を出力するステップと、
前記ユーザの頭部の向きを検出するステップと、
を実行させ、
前記音声を出力するステップにおいて、
前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて、前記情報処理端末で生成された前記音声データに基づく音声を出力し、
前記音声データは、前記検出するステップにおいて前記ユーザの頭部の向きの変化の開始を検出した場合に、前記ユーザの頭部の向きに関する情報として、予測された前記停止位置に関する情報を用いて生成される、音声出力装置の制御方法。
【請求項１２】
情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、
前記ユーザの耳に向けて音声を出力する音声出力機能と、
前記ユーザの頭部の向きを検出する検出機能と、
を実現させ、
前記音声出力機能は、
前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて、前記情報処理端末で生成された前記音声データに基づく音声を出力し、
前記音声データは、前記検出機能において前記ユーザの頭部の向きの変化の開始を検出した場合に、前記ユーザの頭部の向きに関する情報として、予測された前記停止位置に関する情報を用いて生成される、音声出力装置の制御プログラム。
【手続補正書】
【提出日】令和1年6月10日(2019.6.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの耳に装着される音声出力装置と、前記音声出力装置と通信可能に接続される情報処理端末とを備える音声案内システムであって、
前記音声出力装置は、
ユーザの耳に向けて音声を出力する音声出力部と、
前記ユーザの頭部の向きを検出する検出部と、
を備え、
前記情報処理端末は、
前記ユーザの現在位置を取得する位置情報取得部と、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成する生成部と、
前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記頭部の向きの変化の停止位置を予測する予測部と
を備え、
前記生成部は、前記ユーザの頭部の向きに関する情報として、前記予測部により予測された前記停止位置に関する情報を用いて、前記音声データを生成する、音声情報提供システム。
【請求項２】
前記予測部は、所定の記憶装置に記憶された、前記ユーザの頭部の向きに関する学習データに基づいて、前記頭部の向きの変化の停止位置を予測する、
ことを特徴とする請求項１に記載の音声情報提供システム。
【請求項３】
前記生成部は、さらに、前記ユーザの移動に関する情報に基づいて前記音声データを生成する、
ことを特徴とする請求項１または２に記載の音声情報提供システム。
【請求項４】
前記生成部は、さらに、前記検出部から取得した前記ユーザの頭部の向きと、前記ユーザの進行方向の情報に応じて、前記音声案内の内容を変化させた前記音声データを生成する、
ことを特徴とする請求項１から３のいずれか一項に記載の音声情報提供システム。
【請求項５】
前記生成部は、前記検出部から検出された前記ユーザの頭部の向きの情報に基づく前記ユーザの視線が、所定の時間以上、所定の地点に向けられている場合、前記ユーザの現在位置に関する情報と、前記ユーザの視線の方向とに応じて、前記音声データを生成する、
ことを特徴とする請求項１から４のいずれか一項に記載の音声情報提供システム。
【請求項６】
前記情報処理端末は、
所定の外部サービスに関する外部音声データに関する情報を受信する受信部をさらに備え、
前記生成部は、前記音声出力部から出力させる前記音声データとしての前記外部音声データを、前記ユーザの頭部の向きに応じて選択する、
ことを特徴とする請求項１から５のいずれか一項に記載の音声情報提供システム。
【請求項７】
前記情報処理端末は、さらに、
前記ユーザの位置情報と、当該位置情報における前記ユーザの頭部の向きに関する情報とを関連付けて所定の情報処理装置に送信する送信部を備え、
前記所定の情報処理装置は、複数のユーザに関する前記位置情報と前記頭部の向きに関する情報とに基づき、立体地図上で複数のユーザの視線が集まる場所を判定する判定部を備える、
ことを特徴とする請求項１から６のいずれか一項に記載の音声情報提供システム。
【請求項８】
ユーザの耳に向けて音声を出力する音声出力部と、前記ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、
前記ユーザの現在位置を取得するステップと、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成するステップと、
前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記頭部の向きの変化の停止位置を予測する予測するステップと
を実行させ、
前記生成するステップは、前記ユーザの頭部の向きに関する情報として、前記予測ステップにおいて予測された前記停止位置に関する情報を用いて、前記音声データを生成する情報処理端末の制御方法。
【請求項９】
ユーザの耳に向けて音声を出力する音声出力部と、前記ユーザの頭部の向きを検出する検出部とを備える音声出力装置と通信可能に接続される情報処理端末に、
前記ユーザの現在位置を取得する位置情報取得機能と、
前記音声出力部において、前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データを、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて生成する生成機能と、
前記検出部が前記ユーザの頭部の向きの変化の開始を検出した場合に、前記頭部の向きの変化の停止位置を予測する予測する予測機能と
を実行させ、
前記生成機能は、前記ユーザの頭部の向きに関する情報として、前記予測ステップにおいて予測された前記停止位置に関する情報を用いて、前記音声データを生成する情報処理端末の制御プログラム。
【請求項１０】
情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、
前記ユーザの耳に向けて音声を出力するステップと、
前記ユーザの頭部の向きを検出するステップと、
前記検出するステップにおいて前記ユーザの頭部の向きの変化の開始を検出した場合に、前記頭部の向きの変化の停止位置を予測する予測するステップと
を実行させ、
前記音声を出力するステップにおいて、
前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて、前記情報処理端末で生成された前記音声データに基づく音声を出力し、
前記音声データは、前記ユーザの頭部の向きに関する情報として、前記予測ステップにおいて予測された前記停止位置に関する情報を用いて、前記音声データを生成される、音声出力装置の制御方法。
【請求項１１】
情報処理端末と通信可能に接続される、ユーザの耳に装着される音声出力装置に、
前記ユーザの耳に向けて音声を出力する音声出力機能と、
前記ユーザの頭部の向きを検出する検出機能と、
前記検出機能により前記ユーザの頭部の向きの変化の開始を検出した場合に、前記頭部の向きの変化の停止位置を予測する予測機能と
を実現させ、
前記音声出力機能は、
前記ユーザの頭部の向きに対する目的地の方向から、前記ユーザの移動する目的地への経路に関する音声案内を出力させる音声データであって、前記目的地の位置情報と、前記ユーザの現在位置と、前記ユーザの頭部の向きに関する情報との関係に応じて、前記情報処理端末で生成された前記音声データに基づく音声を出力し、
前記音声データは、前記ユーザの頭部の向きに関する情報として、前記予測ステップにおいて予測された前記停止位置に関する情報を用いて、前記音声データを生成される、音声出力装置の制御プログラム。