(57)【要約】      （修正有）【課題】使用者の現在状況を把握することで、適切な情報やコンテンツの提供を行なうイヤホン機器を提供する。【解決手段】イヤホン１０１は、血流センサー、加速度センサー、ジャイロセンサー、地磁気センサーなどのセンサー類を備え、使用者の現在の状態を把握する。血流センサーによってコンテンツ再生中の使用者の心理的状態を推定し、コンテンツと心理状態の相関を分析し、保存することによるパーソナリゼーション機能を提供する。また、加速度センサーとジャイロセンサーによって把握された使用者の頭の向きに応じて再生されるコンテンツの調整を行なう。【選択図】図２
2018093503.tif 000002
【特許請求の範囲】
【請求項１】
使用者の脈波の測定手段と、
再生中のコンテンツの識別子を把握する手段と、
前記コンテンツ再生中の使用者の脈波と前記再生中のコンテンツの識別子を対応付けて保存する、または、外部の機器に保存させる手段とを備える
イヤホン。
【請求項２】
イヤホンに備えられたセンサーを使用して使用者の脈波を測定するステップと、
前記イヤホンによって再生中のコンテンツの識別子を把握するステップと、
前記測定された脈波に関する情報と前記コンテンツの識別子を対応付けて保存するステップとから成る
コンピューターによって実行される音声コンテンツ再生方法。
【請求項３】
イヤホンに備えられたセンサーを使用して使用者の脈波を測定する命令と、
前記イヤホンによって再生中のコンテンツの識別子を把握する命令と、
前記測定された脈波に関する情報と前記コンテンツの識別子を対応付けて保存する命令とを
コンピューターによって実行させる音声コンテンツ再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、利用者の状況に応じて最適な情報を提供できるイヤホン、特に、各種センサー情報を活用し、再生コンテンツの最適化を可能にするイヤホンにより提供される自律型アシスタントシステムに関する。
【背景技術】
【０００２】
ウェアラブル機器の中でも特に音声によるイヤホンやヘッドホンによる音声を中心にしたユーザーインターフェースに基づく俗に「ヒアラブル」と呼ばれる分野に注目が集まっている。今日の技術環境・社会環境において「ヒアラブル」は様々な利点を有する。
【０００３】
眼鏡型のウェアラブル機器であるスマートグラスは、現時点でまだ社会的に受容されているとは言いがたく日常的に使用するには心理的抵抗が大きい。加えて、視角が狭く使用者に提供できる情報量に限りがあるという問題がある。また、腕時計型のウェアラブル機器であるスマートウォッチも、画面の小ささから使用者に提供できる情報量に限りがあるという問題がある。
【０００４】
これに対して、イヤホンやヘッドホンを使用した「ヒアラブル」では、音声による多量の情報を継続的に利用者に提供できる点で利点がある。また、イヤホンは常時着用している機器であることから、スマートフォンを取り出す、あるいは、スマートウォッチを見るなどの余分な動作なしに、利用者に対して瞬時に必要な情報を提供することが可能である。加えて、音楽鑑賞のために外出中にイヤホンを着用することは、多くの場合に社会的に許容されており、本人にとっても周囲の者にとっても使用の心理的抵抗感が少ない。さらに、イヤホンは画面サイズの影響を受けず本体をきわめて小型にすることも可能であり、いっそう自然に使用することが可能である。
【０００５】
しかし、今までのヒアラブル機器は音声による情報提供が中心であり、使用者の状態のフィードバックを得るという点では不十分であった。小型のセンサーにより血流や脈波の測定を行なうこと（たとえば、非特許文献1）、および、脈波波形から心理状態を推定すること（たとえば、非特許文献２）が技術的に可能になっているが、これらを十分に活かして、使用者の状況に応じたアシスタント機能を提供できるヒアラブル機器は存在しなかった。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】「小型レーザー血流センサーの開発」（PIONEER  R&D (Vol.21, No.1/2012））（http://pioneer.jp/corp/crdl_design/crdl/rd/pdf/21-1-5.pdf）
【非特許文献２】「脈波信号に基づく身体的・心理的状態の推定およびその可視化」（堀尾 恵一, 李 影1）https://www.jstage.jst.go.jp/article/fss/25/0/25_0_116/_article/-char/ja/
【発明の概要】
【発明が解決しようとする課題】
【０００７】
利用者の状況に応じて、提供されるコンテンツをカスタマイズできるイヤホン機器を提供する。
【課題を解決するための手段】
【０００８】
本願発明は、使用者の脈波の測定手段と、再生中のコンテンツの識別子を把握する手段と、前記コンテンツ再生中に測定された使用者の脈波に関する情報と前記再生中のコンテンツの識別子を対応付けて保存する、または、外部の機器に保存させる手段とを備えるイヤホンを提供することで上記課題を解決する。
【０００９】
また、本願発明は、イヤホンに備えられたセンサーを使用して使用者の脈波を測定するステップと、前記イヤホンによって再生中のコンテンツの識別子を把握するステップと、前記測定された脈波に関する情報と前記コンテンツの識別子を対応付けて保存するステップとから成るコンピューターによって実行される音声コンテンツ再生方法を提供することで上記課題を解決する。
【００１０】
また、本願発明は、イヤホンに備えられたセンサーを使用して使用者の脈波を測定する命令と、前記イヤホンによって再生中のコンテンツの識別子を把握する命令と、前記測定された脈波に関する情報と前記コンテンツの識別子を対応付けて保存する命令とをコンピューターによって実行させる音声コンテンツ再生プログラムを提供することで上記課題を解決する。
【発明の効果】
【００１１】
利用者の状況に応じて、提供されるコンテンツや情報をカスタマイズできるイヤホン機器が提供される。
【図面の簡単な説明】
【００１２】
【図１】本願発明に係るイヤホンの実施例を含む情報提供システムの例の全体図である。
【図２】本願発明に係るイヤホンの実施例の機能構成の例である。
【図３】本願発明に係るイヤホンの実施例と共に使用される携帯情報機器の機能構成の例である。
【図４】本願発明に係るイヤホンの実施例と共に使用されるサーバの機能構成の例である。
【図５】本願発明に係るイヤホンを使用した第一の実施例を表わした図である。
【図６】本願発明に係るイヤホンを使用した第一の実施例において保存されるデータの内容を表わした図である。
【図７】本願発明に係るイヤホンを使用した第二の実施例を表わした図である。
【図８】本願発明に係るイヤホンを使用した第三の実施例を表わした図である。
【図９】本願発明に係るイヤホンを使用した第四の実施例を表わした図である。
【図１０】本願発明に係るイヤホンを使用した第五の実施例に係るフローチャートである。
【発明を実施するための形態】
【００１３】
以下に図を参照しながら本願発明の実施例について説明する。
【００１４】
図１に本願発明に係るイヤホンの実施例の共通の情報提供システムの一例の全体図を示す。イヤホン（101）は典型的にはBluetooth（登録商標）等の近距離無線通信技術または通常のケーブルを介してスマートフォン等の携帯情報機器（102）と通信を行なう。なお、一般には、左右が分離している形状のものをイヤホン、左右が結合された形状のものをヘッドホンと呼ぶことが多いが、本願明細書では両者を合わせてイヤホンと総称する。イヤホン（101）は、インターネット等のネットワークを介して、典型的にはクラウド上に置かれたサーバ（103）と通信を行なう。本願出願時点での技術水準では、各機能をイヤホン（101）と携帯情報機器（102）、および、サーバ（103）間で分散することが好ましいが、将来的には、技術進化に伴う構成要素の小型化・高性能化に伴い、イヤホン（101）側に機能を集約してもよい。また、イヤホン（101）は、携帯情報機器（102）を使用せず、事前に設置された情報提供機器（104）と直接（典型的には無線で）接続され、音声による情報を受け取る形態で使用されてもよい。
【００１５】
図２に本願発明に係るイヤホン（101）の実施例の機能構成を示す。本願発明に係るイヤホン（101）は、イヤホン本来の機能である音を発生するためのスピーカー（201）に加えて、使用者による電話通話またはコマンド入力等のためのマイクロフォン（202）を備えていることが望ましい。また、使用者が指令を与えるためのコントロールボタン（203）を備えていることが望ましい。マイクロフォンとコントロールボタンはイヤホン本体と一体化していても、イヤホン（101）本体とは別の筐体であって、イヤホン（101）本体と有線または無線で通信を行なう設計であってもよい。イヤホン（101）は、携帯情報機器（102）または情報提供機器（104）との接続のための無線接続機能（204）を備えていることが望ましい。無線接続機能（204）はBluetooth（登録商標）またはBLE（Bluetooth Low-Energy）技術を使用してよい。代替の構成としてイヤホン（101）は携帯情報機器（102）と有線で接続されてもよい。イヤホン（101）は脈波を測定するための血流センサー（205）を備えていることが望ましい。血流センサーはイヤホン（101）の耳穴または耳朶等に圧着される部位に設けられている、あるいは、クリップ等で使用者の耳朶に圧着固定できることが望ましい。このようにすることで、ノイズに妨害されにくく正確な脈波の測定が可能となる。加えて、イヤホンは使用者の頭の向きを測定するためのジャイロセンサー（206）、並びに、地磁気センサー（コンパス）（207）、および、使用者の動きを測定するための加速度センサー（208）を備えていることが望ましい。これらのセンサーはイヤホン（101）本体内に固定されていることが望ましい。このようにすることで、イヤホンの使用者の頭の位置と方向を正確に測定することが可能となる。代替の構成として、眼鏡や帽子等、使用者の頭の向きとの位置関係が固定的である物に上記センサーを設け、あるいは、クリップ等で固定し、有線または無線接続により、イヤホン（101）、携帯情報機器（102）、または、情報提供機器（104）にセンサー情報を提供できるようにしてもよい。また、イヤホン（101）は、イヤホン（101）が使用者に着用されているかどうかを検知するための近接センサー（209）を備えていてよい。さらに、脳波センサー、GPS等の他のタイプのセンサーを備えていてもよい。
【００１６】
図３に本願発明に係るイヤホン（101）の実施例と共に使用される携帯情報機器（102）の例の機能構成を示す。携帯情報機器はイヤホンに音楽などの音によるコンテンツや電話の通話を提供する、または、地図情報によるナビゲーションサービスを提供する等のためのアプリケーションプログラム（301）を稼働する。アプリケーションプログラム（301）は、使用者のマイクロフォン（202）による音声入力、コントロールボタン（203）の操作、サーバ（103）からの指令、または、プログラム内部のロジックにより、再生するコンテンツを切り替えることができる。また、アプリケーションプログラム（301）は、イヤホン（101）のセンサー情報により把握したイヤホン使用者の頭の位置と音声等による指令に基づいて、コンテンツの再生方法を調整したり、ナビゲーションサービスにおける位置を調整したりする等の機能を提供する。また、携帯情報機器（301）は、イヤホン（101）のセンサー情報を無線または有線経由で得るためのセンサー情報取得機能（302）を備える。さらに、イヤホン（101）に音声を伝えるためのイヤホン通信機能（303）、および、サーバ（103）との間で、（典型的にはインターネットを介して）情報をやり取りするためのサーバ通信機能（304）を備える。
【００１７】
図４に本願発明に係るイヤホンの実施例と共に使用されるサーバ（103）の機能構成の例を示す。サーバ（103）は典型的にはクラウド上で管理される。サーバは、イヤホン（101）のセンサー情報の分析を行ない、イヤホン使用者の現在の状況に最も合致するコンテンツを提供する（あるいは、そのようなコンテンツの提供を携帯情報機器に命じる）等の機能を提供するサーバプログラム（401）を稼働する。加えて、イヤホン使用者の過去のセンサー情報と再生されたコンテンツを対応付けてデータベース（402）上に保存し、分析に使用することが望ましい。また、他のイヤホン使用者のセンサー情報の履歴を維持し、分析に利用してもよい。また、サーバ（103）は、携帯情報機器（102）からセンサー情報等を受信し、音声コンテンツそのもの、または、特定コンテンツの再生指令を送信するための携帯情報機器通信機能（403）を備える。
【００１８】
上記に示したイヤホン（101）、携帯情報端末（102）、および、サーバ（103）間の機能分散形態は、今日の技術水準に合わせて最適化されたものであり、将来的にはより多くの機能をイヤホン（101）側に集約してもよい。たとえば、上記で携帯情報端末（102）上で実現されると例示された機能をすべてイヤホン（101）上で実現し、イヤホン（101）とサーバ（103）が直接やり取りする構成としてもよい。同様に、イヤホン搭載のセンサーを除くより多くの機能をサーバ（103）側に集約してもよい。また、上記ではイヤホン（101）上に設けるとしたセンサー類のすべてまたは一部を使用者が着用する他のウェアラブル端末に設け、携帯情報端末（102）で、センサー情報を統合する構成としてもよい。
【００１９】
以降では、本願発明の第一の実施例について説明する。本実施例はイヤホン（101）に内蔵された血流センサー（205）を活用する点に特徴がある。今日使用される血流センサーは心拍数だけではなく、脈波の波形をより詳細に測定することが可能であり、脈波の波形に基づいて使用者の心理的状態を推定することが技術的に可能である。スマートウォッチや時計型形状のフィットネス向けウェアラブル機器には、血流センサーを備えているものもあるが、本実施例では、イヤホン（101）に血流センサー（205）を設けることでノイズに強い測定が可能である点に優位性がある（イヤホンは本来的に耳穴または耳朶に密着させて使用するものであるため）。また、音声コンテンツの再生時にはいずれにせよイヤホンが必要となるため、血流センサーのデータを利用した音声コンテンツの調整において、別の機器を使用する必要がない点でも本実施例は優位性を有する。
【００２０】
図５に音声コンテンツ（典型的には音楽）と使用者の脈波の相関を分析する方法の概要を示す。一定間隔で、再生されるコンテンツとその時点での使用者の脈波情報を対応付けて保存する。脈波情報は特徴点を抽出した上で保存することが望ましい。再生されるコンテンツの楽曲の識別子を保存・分析の対象としてもよいし、音の波形の特徴点を抽出して保存・分析の対象としてもよい。こうすることで、たとえば、特定の楽曲（あるいは特定の特徴を持った楽曲）を流した時に使用者が特定の心理状態になること等の相関を分析することができる。このデータの保存と相関分析処理は携帯情報機器（102）上で行なってもよいが、大量データの分析能力、使用者が別の携帯情報機器（102）を使用した場合のデータ流用、使用者以外の者のデータも活用した横断的分析の実現という点からサーバ（103）上にデータを集約した上で行なうことが望ましい。
【００２１】
図６にサーバ（103）上のデータベース（402）上等に保存される使用者の心理状態と楽曲の識別子（曲ID）の相関データの保存形式を示す。たとえば、特定の楽曲を聴いたときに使用者が落ち着いたときには、使用者が落ち着きたいという希望をイヤホン（101）のマイクロフォン（202）を介した音声入力または携帯情報機器の操作により指示すると、使用者の心理を落ち着かせることが分析により判明している楽曲（または、それと類似の楽曲）を再生するようにすることができる。
【００２２】
コンテンツ再生中の使用者の心理的状態を血流センサー（205）で把握して、再生されるコンテンツの選択、および、再生音量・音質を調整するようにしてもよい。たとえば、特定の楽曲を流した時に、使用者の精神が集中状態になることがこの履歴情報より明らかな場合には、使用者が落ち着きたい音楽を要求した時にその楽曲を自動的に再生、または、再生を推奨するようにしてもよい。
【００２３】
加えて、イヤホン（101）に脳波センサーを設け、脳波の特徴量と心理状態の相関を分析して保存し、脳波の波形に応じて最適な楽曲を自動的に再生、または、再生を推奨するようにしてもよい。
【００２４】
また、他のセンサー情報を活用して、たとえば、使用者の心拍数が高く、人が走る速度で移動している時には、特定の楽曲が流されている可能性が高いとすると、その楽曲は使用者がランニングをしている時のお気に入りの楽曲であると推定することができる。いったんそのような学習を行なえば、次回以降、同じような心拍数と速度の状態の時に使用者がランニングをしているものと推定し、その楽曲を自動的に再生、あるいは、使用者に対して推奨することが可能である。あるいは、使用者がランニングを行なうことを携帯情報端末（102）の操作等により指示した時に、自動的にランニングでその利用者がよく再生する楽曲を自動的に再生、または、再生を推奨するようにしてもよい。
【００２５】
他の例としては、心拍数が一定であり、時速数10キロメートル以上で移動している時には、電車で移動していると判定し、音楽ではなく、音声によるニュース情報を提供してもよい。どのような状況でどのようなコンテンツを提供するかは使用者によってカスタマイズ可能になっていることが望ましい。使用者の脈波と移動速度に加えて、時刻、曜日、天気、気温、加速度センサーで得た振動等をコンテンツ選択のアルゴリズムの入力としてもよい。分析においては、従来型の統計的手法による相関分析に加えて、ニューラルネットによる機械学習を使用してもよい。
【００２６】
特定の使用者の履歴に基づいたコンテンツの選択に加えて、他の使用者の情報を含めてサーバで統合することにより、アフィニティ分析等の統計的な分析を行なってもよい。たとえば、多くの人がランニング中に聴いていることが多いコンテンツを別の使用者のランニング中に推奨してもよい。また、使用者SNS上で友人になっているユーザーがランニング中に聴いていることが多いコンテンツをランニング中に推奨してもよい。ユーザーの嗜好情報をデータベース化してサーバ上で管理し、自分と好みが似ているユーザーに推奨されたコンテンツが自分にも推奨されるようにしてもよい。
【００２７】
コンテンツの選択に加えて、コンテンツの再生音量や音質を自動的に調整してもよい。たとえば、脈拍と移動速度のからイヤホン使用者がランニングをしていると推定された時には再生音量を高めるようにし、電車内にいると推定された場合には、音漏れを防ぐために高音をカットするようにしてもよい。
【００２８】
なお、上記の第一の実施例においては、血流センサー（205）をスマートウォッチまたはスマートグラス等の別のデバイスに設けてもよい。
【００２９】
図7に本願発明に係るイヤホンの第二の実施例を示す。本願発明の実施例に係るイヤホン（101）はジャイロセンサー（206）と地磁気センサー（207）を備えるため、使用者の頭の向きを把握することが可能であり、使用者の頭の向きに応じたコンテンツを再生する、または、コンテンツの再生方法を調整することができる。たとえば、美術館の音声ガイドにおいて、使用者が顔を向けている絵画に関する音声コンテンツを大音量で再生し、顔を向けていない海外の音声コンテンツを再生しない、あるいは、小音量で再生することが可能である。小音量で再生することで、使用者に対して今直接見ていない絵画に対しても注意を惹きつけられるという効果がある。たとえば、使用者の右側にある絵画に関する音声情報は右耳側を大きく再生することにより、使用者にとって目的とする作品に自然に注意を振り向けるようにすることができる。この実施例では、施設に設置済の情報提供装置（104）からイヤホン（101）に対して直接音声コンテンツを提供してもよい。これは一例であり、何らかの対象物に関する音声コンテンツを提供する際に、本願発明に係るイヤホンは使用者の位置と頭の方向を把握することで、あたかもその対象物の場所から音声が発生しているかのようなイメージで音声コンテンツを提供することができ、使用者にとって自然な使用感を提供できる。今日のスマートフォンの多くはジャイロセンサーと地磁気センサーを備えているが、スマートフォンの向きが使用者の頭の向きと一致するとは限らないため、本願発明に係るイヤホンはスマートフォンの向きを気にすることなく音声コンテンツの調整が行なえる点で優位性を有する。
【００３０】
図8に本願発明に係るイヤホン（101）の第三の実施例を示す。同じく美術館における例として、使用者の情報提供機器（104）からの距離を把握することで、絵画との距離に応じて、情報提供機器（104）で再生される音声コンテンツを切替えることができる例である。たとえば、使用者と絵画の距離が離れている時には「あちらの絵画」、使用者と絵画の距離が近い時には「こちらの絵画」と内容を切替えることでより自然なコミュニケーションを提供できる。たとえば、イヤホン（101）と情報提供機器（104）の間でBLEベースの通信技術が使用されていれば、両者の間の距離を大まかに知ることが技術的に可能である。美術館において、音声ガイドとして、事前に情報提供機器（104）との接続設定が行なわれているイヤホン（101）を貸与するようなケース（ユーザー所有のスマートホンを使用しないケース）ではこの実施例が特に有効である。
【００３１】
図9に本願発明に係るイヤホン（101）の第四の実施例を示す。この実施例では、携帯情報機器（102）のアプリケーションプログラム（301）がナビゲーション情報を提供する。ナビゲーションは音声により行なうことが望ましい。スマートホン等にGPSを備え、現在位置を把握して、ナビゲーション情報を画面表示すること、および、音声による道案内を行なうことは周知技術であるが、屋内等のGPS電場が弱い場所では十分な精度が出せないという問題がある。事前に保存された地図情報に基づいて現在位置情報を補正する場合でも、道や通路が入り組んでいる場合には、別の道に補正されてしまうこともある。本実施例に係るイヤホンでは、このような場合に、使用者が外界の様子を音声で伝えることにより、GPSの位置情報を適切に補正し、正確な位置を把握できるようにすることができる。スマートホンを取り出して、指による補正操作を行なう場合と比較して、余分な手順が不要である点、および、利用者の頭の方向がセンサーにより把握されているため正確な補正が可能である点に本願発明の優位性がある。
【００３２】
図９の例において、ナビゲーションアプリケーション使用者は実際には細街路B上にいるにもかかわらず、GPSの誤差によりナビゲーションアプリケーションは使用者が細街路C上にいるものと誤認識している。ここで、使用者がマイクロフォン（202）を通じて、音声により「右前方に牛丼店」と伝えると、ナビゲーションアプリケーションは音声認識によりその内容を把握し、地図情報と照らし合わせて、使用者の実際の位置に補正を行なうことができる。この場合において、イヤホン（101）は使用者の頭に固定されているため、地磁気センサー（207）により使用者の頭の方向が正確にわかることから、使用者が細街路B上であって、かつ、細街路Dとの交差点近くにいることをナビゲーションアプリケーションが正確に検知できる。
【００３３】
加えて、目の前の施設との相対関係でナビゲーションを行なうことも可能である。たとえば、「目の前にコンビニがあるが映画館はどこ？」という使用者の問いかけに対して、ナビゲーションアプリケーションが「右前方500m先です」と使用者の位置から相対的に答えるといったことが可能となる。この場合においても、地磁気センサー（207）により使用者の頭の方向が正確にわかることから、使用者に対して正確な方向を提供できる。さらに、右前方という方向を指し示す際に、第二の実施例のように、立体音響を用いて右側から案内音を鳴らすことにより、説明されている方向をよりわかりやすく表現することができる。スマートホンをカバン等に入れて音声のみで道案内を行なっている場合には、本実施例が特に有効である。
【００３４】
図１０に本願発明に係るイヤホン（101）の第五の実施例におけるアプリケーション・プログラム（301）の通知機能に係るフローチャートを示す。「ヒアラブル」の環境では、携帯情報機器（102）が発する様々な通知（たとえば、メール受信等の様々なアプリケーション・プログラム（301）からのリアルタイム情報）を画面に表示するだけでなく音声で伝えることが望ましい。この場合において、使用者が音声による通知を聞いたことをアプリケーション・プログラム（301）が確認できてから、その通知を消去することが望ましい。そうしないと重要な通知が伝えられないままになってしまう可能性があるからである。音声による通知が使用者により聞かれたことが確認できない場合には、一定期間経過後に、再度当該音声による通知、または、画面表示などの他の手段による通知を行なうことが望ましい。音声による通知が使用者に聞かれたどうかは、近接センサー（209）によって、イヤホン（101）が使用者により着用されていたこと、かつ、携帯情報機器（102）の音量調整がゼロになっていないことを条件に判断することができる。音声による通知を確実に行なったことを確認できる本実施例により、使用者が画面を見る頻度を減らし、ヒアラブルならでは使い心地を享受できるようになるという顕著な効果が提供される。
【図１】
2018093503.tif 000003
【図２】
2018093503.tif 000004
【図３】
2018093503.tif 000005
【図４】
2018093503.tif 000006
【図５】
2018093503.tif 000007
【図６】
2018093503.tif 000008
【図７】
2018093503.tif 000009
【図８】
2018093503.tif 000010
【図９】
2018093503.tif 000011
【図１０】
2018093503.tif 000012