(57)【要約】  被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、を備える、情報処理装置が提供される。
2020129197.tif 000002
【特許請求の範囲】
【請求項１】
被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
を備える、情報処理装置。
【請求項２】
前記第１音響情報は、前記被検者の鼓膜の振動に関する情報を含む、
請求項１に記載の情報処理装置。
【請求項３】
前記心拍情報取得部は、前記検査音が発せられてから前記反響音が取得されるまでの反響時間に基づいて前記心拍情報を取得する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記心拍情報取得部は、前記反響時間又は前記反響時間から算出された距離の時間変化に基づいて、前記心拍情報を取得する、
請求項３に記載の情報処理装置。
【請求項５】
前記検査音の波形は、振幅、周波数及び位相の少なくとも１つが変調された変調部を含み、
前記心拍情報取得部は、前記検査音及び前記反響音に含まれる変調部の時間差に基づいて前記反響時間を取得する、
請求項３又は４に記載の情報処理装置。
【請求項６】
前記検査音は、周波数が時間に応じて変化するチャープ波であり、
前記心拍情報取得部は、前記検査音及び前記反響音の相関演算の結果に基づいて前記反響時間を取得する、
請求項３又は４に記載の情報処理装置。
【請求項７】
前記検査音は、可聴域よりも高い周波数を有する超音波である、
請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記検査音の周波数よりも低い周波数の信号の情報を含む第２音響情報を取得する第２音響情報取得部を更に備え、
前記心拍情報取得部は、前記第１音響情報及び前記第２音響情報に基づいて前記心拍情報を取得する、
請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記第２音響情報は、前記被検者の前記外耳道以外の箇所の振動に関する情報を含む、
請求項８に記載の情報処理装置。
【請求項１０】
前記心拍情報取得部は、前記第１音響情報及び前記第２音響情報の相関演算の結果に基づいて前記心拍情報を取得する、
請求項８又は９に記載の情報処理装置。
【請求項１１】
装着型機器であって、
被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
を備える、装着型機器。
【請求項１２】
被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
を備える、情報処理方法。
【請求項１３】
コンピュータに、
被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、装着型機器、情報処理方法及び記憶媒体に関する。
【背景技術】
【０００２】
特許文献１には、動脈音又は心音を検知することにより脈拍数を算出する脈拍計測装置が開示されている。当該脈拍計測装置の体導音センサの装着位置の例として、手首、頸部及び胸部が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−８７３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の脈拍計測装置のような音響を用いた脈拍計測手法は、雑音の影響を受けやすいという特徴がある。そのため、雑音による精度劣化が問題となる場合があり、用途によっては更なる高精度化の要求がある。【０００５】
本発明は、高精度に心拍測定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、を備える、情報処理装置が提供される。【０００７】
本発明の他の一観点によれば、装着型機器であって、被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、を備える、装着型機器が提供される。【０００８】
本発明の他の一観点によれば、被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、を備える、情報処理方法が提供される。【０００９】
本発明の他の一観点によれば、コンピュータに、被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、を実行させるためのプログラムが記憶された記憶媒体が提供される。
【発明の効果】
【００１０】
本発明によれば、高精度に心拍測定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る情報処理システムの全体構成を示す模式図である。
【図２】第１実施形態に係るイヤホンのハードウェア構成を示すブロック図である。
【図３】第１実施形態に係る情報通信装置のハードウェア構成を示すブロック図である。
【図４】第１実施形態に係るイヤホン制御装置の機能ブロック図である。
【図５】第１実施形態に係るイヤホン制御装置により行われる心拍情報取得処理を示すフローチャートである。
【図６】検査信号の一例を示すグラフである。
【図７】検査信号の一例を示すグラフである。
【図８】検査信号の一例を示すグラフである。
【図９】検査信号の一例を示すグラフである。
【図１０】検査音と反響音の関係を示すグラフである。
【図１１】検査音がチャープ波である場合の検査音と反響音の相互相関関数の例を示すグラフである。
【図１２】第２実施形態に係るイヤホンのハードウェア構成を示すブロック図である。
【図１３】第２実施形態に係るイヤホン制御装置の機能ブロック図である。
【図１４】第２実施形態に係るイヤホン制御装置により行われる心拍情報取得処理を示すフローチャートである。
【図１５】第３実施形態に係る情報処理装置の機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
【００１３】
［第１実施形態］
本実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムは、イヤホン等の装着型機器を装着しているユーザ（被検者）の心拍に関する心拍信号を取得するためのシステムである。
【００１４】
図１は、本実施形態に係る情報処理システムの全体構成を示す模式図である。情報処理システムは、互いに無線通信接続され得る情報通信装置１とイヤホン２とを備える。
【００１５】
イヤホン２は、イヤホン制御装置２０、スピーカ２６及びマイクロホン２７を備える。イヤホン２は、ユーザ３の耳に装着可能な音響機器であり、典型的にはワイヤレスイヤホン、ワイヤレスヘッドセット等である。スピーカ２６は、装着時にユーザ３の外耳道に向けて音波を発する音波発生部として機能するものであり、イヤホン２の装着面側に配されている。マイクロホン２７も装着時にユーザ３の外耳道等で反響した音波を受けることができるようにイヤホン２の装着面側に配されている。イヤホン制御装置２０は、スピーカ２６及びマイクロホン２７の制御及び情報通信装置１との通信を行う。
【００１６】
なお、本明細書において、音波、音声等の「音」は、周波数又は音圧レベルが可聴範囲外である非可聴音を含むものとする。
【００１７】
情報通信装置１は、例えば、コンピュータであり、イヤホン２の動作の制御、イヤホン２から発せられる音波の生成用の音声データの送信、イヤホン２が受けた音波から得られた音声データの受信等を行う。具体例としては、ユーザ３がイヤホン２を用いて音楽鑑賞を行う場合には、情報通信装置１は、音楽の圧縮データをイヤホン２に送信する。また、イヤホン２がイベント会場、病院等における業務指令用の電話装置である場合には、情報通信装置１は業務指示の音声データをイヤホン２に送信する。この場合、更に、ユーザ３の発話の音声データをイヤホン２から情報通信装置１に送信してもよい。また、情報通信装置１又はイヤホン２は、イヤホン２が受けた音波を用いた耳音響認証の機能を備えていてもよい。また、情報通信装置１又はイヤホン２は、イヤホン２が受けた音波を用いた装着判定の機能を備えていてもよい。
【００１８】
なお、この全体構成は一例であり、例えば、情報通信装置１とイヤホン２が有線接続されていてもよい。また、情報通信装置１とイヤホン２が一体の装置として構成されていてもよく、情報処理システム内に更に別の装置が含まれていてもよい。
【００１９】
図２は、イヤホン制御装置２０のハードウェア構成例を示すブロック図である。イヤホン制御装置２０は、ＣＰＵ（Central  Processing  Unit）２０１、ＲＡＭ（Random  Access  Memory）２０２、ＲＯＭ（Read  Only  Memory）２０３及びフラッシュメモリ２０４を備える。また、イヤホン制御装置２０は、スピーカＩ／Ｆ（Interface）２０５、マイクロホンＩ／Ｆ２０６、通信Ｉ／Ｆ２０７及びバッテリ２０８を備える。なお、イヤホン制御装置２０の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
【００２０】
ＣＰＵ２０１は、ＲＯＭ２０３、フラッシュメモリ２０４等に記憶されたプログラムに従って所定の演算を行うとともに、イヤホン制御装置２０の各部を制御する機能をも有するプロセッサである。ＲＡＭ２０２は、揮発性記憶媒体から構成され、ＣＰＵ２０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ２０３は、不揮発性記憶媒体から構成され、イヤホン制御装置２０の動作に用いられるプログラム等の必要な情報を記憶する。フラッシュメモリ２０４は、不揮発性記憶媒体から構成され、データの一時記憶、イヤホン制御装置２０の動作用プログラムの記憶等を行う記憶装置である。
【００２１】
通信Ｉ／Ｆ２０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）等の規格に基づく通信インターフェースであり、情報通信装置１との通信を行うためのモジュールである。
【００２２】
スピーカＩ／Ｆ２０５は、スピーカ２６を駆動するためのインターフェースである。スピーカＩ／Ｆ２０５は、デジタルアナログ変換回路、増幅器等を含む。スピーカＩ／Ｆ２０５は、音声データをアナログ信号に変換し、スピーカ２６に供給する。これによりスピーカ２６は、音声データに基づく音波を発する。
【００２３】
マイクロホンＩ／Ｆ２０６は、マイクロホン２７から信号を取得するためのインターフェースである。マイクロホンＩ／Ｆ２０６は、アナログデジタル変換回路、増幅器等を含む。マイクロホンＩ／Ｆ２０６は、マイクロホン２７が受け取った音波により生じたアナログ信号をデジタル信号に変換する。これにより、イヤホン制御装置２０は、受け取った音波に基づく音声データを取得する。
【００２４】
バッテリ２０８は、例えば二次電池であり、イヤホン２の動作に必要な電力を供給する。これにより、イヤホン２は、外部の電源に有線接続することなく、ワイヤレスで動作することができる。
【００２５】
なお、図２に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。例えば、イヤホン２はユーザ３による操作を受け付けることができるようにボタン等の入力装置を更に備えていてもよく、ユーザ３に情報を提供するためのディスプレイ、表示灯等の表示装置を更に備えていてもよい。このように図２に示されているハードウェア構成は適宜変更可能である。
【００２６】
図３は、情報通信装置１のハードウェア構成例を示すブロック図である。情報通信装置１は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３及びＨＤＤ（Hard  Disk  Drive）１０４を備える。また、情報通信装置１は、通信Ｉ／Ｆ１０５、入力装置１０６及び出力装置１０７を備える。なお、情報通信装置１の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
【００２７】
図３では、情報通信装置１を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、入力装置１０６及び出力装置１０７は、ＣＰＵ１０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
【００２８】
ＣＰＵ１０１は、ＲＯＭ１０３、ＨＤＤ１０４等に記憶されたプログラムに従って所定の演算を行うとともに、情報通信装置１の各部を制御する機能をも有するプロセッサである。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、情報通信装置１の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１０４は、不揮発性記憶媒体から構成され、イヤホン２と送受信するデータの一時記憶、情報通信装置１の動作用プログラムの記憶等を行う記憶装置である。
【００２９】
通信Ｉ／Ｆ１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）等の規格に基づく通信インターフェースであり、イヤホン２等の他の装置との通信を行うためのモジュールである。
【００３０】
入力装置１０６は、キーボード、ポインティングデバイス等であって、ユーザ３が情報通信装置１を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。
【００３１】
出力装置１０７は、例えば表示装置である。表示装置は、液晶ディスプレイ、ＯＬＥＤ（Organic  Light  Emitting  Diode）ディスプレイ等であって、情報の表示、操作入力用のＧＵＩ（Graphical  User  Interface）等の表示に用いられる。入力装置１０６及び出力装置１０７は、タッチパネルとして一体に形成されていてもよい。
【００３２】
なお、図３に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１０４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。このように図３に示されているハードウェア構成は適宜変更可能である。
【００３３】
図４は、本実施形態に係るイヤホン制御装置２０の機能ブロック図である。イヤホン制御装置２０は、検査信号生成部２１１、第１音響情報取得部２１２、心拍情報取得部２１３及び記憶部２１４を有する。
【００３４】
ＣＰＵ２０１は、ＲＯＭ２０３、フラッシュメモリ２０４等に記憶されたプログラムをＲＡＭ２０２にロードして実行する。これにより、ＣＰＵ２０１は、検査信号生成部２１１、第１音響情報取得部２１２及び心拍情報取得部２１３の機能を実現する。また、ＣＰＵ２０１は、当該プログラムに基づいてフラッシュメモリ２０４を制御することにより記憶部２１４の機能を実現する。これらの各部で行われる具体的な処理については後述する。
【００３５】
なお、図４の機能ブロックの各機能の一部又は全部は、イヤホン制御装置２０ではなく情報通信装置１に設けられていてもよい。すなわち、上述の各機能は、イヤホン制御装置２０によって実現されてもよく、情報通信装置１によって実現されてもよく、情報通信装置１とイヤホン制御装置２０とが協働することにより実現されてもよい。情報通信装置１及びイヤホン制御装置２０は、より一般的に情報処理装置と呼ばれることもある。
【００３６】
しかしながら、本実施形態の心拍情報取得処理は、イヤホン２内に設けられたイヤホン制御装置２０で行われることが望ましい。この場合、心拍情報取得処理における情報通信装置１とイヤホン２との通信を不要にすることができ、イヤホン２の消費電力を低減することができる。イヤホン２は、装着型機器であるため、小型であることが要求される。そのため、バッテリ２０８の大きさには限界があり、放電容量の大きいものを用いることが難しい。このような事情により、イヤホン２内で心拍情報取得処理を完結させることによる消費電力低減が有効である。以下の説明では、特記されている場合を除き、図４の機能ブロックの各機能はイヤホン２内に設けられているものとする。
【００３７】
図５は、本実施形態に係るイヤホン制御装置２０により行われる心拍情報取得処理を示すフローチャートである。図５を参照して、イヤホン制御装置２０の動作を説明する。
【００３８】
図５の心拍情報取得処理は、例えば、イヤホン２の電源がオンであるときに所定の時間が経過するごとに実行される。あるいは、図５の心拍情報取得処理は、ユーザ３がイヤホン２を操作することにより使用を開始したときに実行されてもよい。また、図５の心拍情報取得処理の実行タイミングは、情報通信装置１からの指示に基づくものであってもよい。
【００３９】
ステップＳ１０１において、検査信号生成部２１１は、検査信号を生成する。イヤホン制御装置２０は、スピーカＩ／Ｆ２０５を介してスピーカ２６に検査信号を送信する。これにより、スピーカ２６は、ユーザ３の外耳道に向けて心拍情報を取得するための検査音を発する。検査音は、ユーザ３の外耳道の奥に存在する鼓膜により反射され、その反響音がマイクロホン２７により受け取られる。なお、この検査音は、超音波であることが望ましく、これにより検査音が聞こえることによる不快感が軽減される。超音波の具体的な周波数としては、例えば、可聴域よりも十分に高い４０ｋＨｚが選択され得る。
【００４０】
ステップＳ１０２において、第１音響情報取得部２１２は、マイクロホン２７が受け取った反響音に基づく音響情報を取得する。この音響情報は、前記検査音の反響音に関する情報を含む第１音響情報として記憶部２１４に記憶される。なお、第１音響情報取得部２１２は、第１音響情報の取得にあたって、フーリエ変換、相関演算、ノイズ除去、レベル補正等の信号処理を適宜行ってもよい。
【００４１】
ステップＳ１０３からステップＳ１０５において、心拍情報取得部２１３は、第１音響情報に基づいて、ユーザ３の心拍に関する心拍情報を取得する。この処理について、図５に沿って説明するが、ステップＳ１０３からステップＳ１０５の各処理は一例であり、他の方法により心拍情報を取得してもよく、一部の処理が省略されていてもよい。
【００４２】
ステップＳ１０３において、心拍情報取得部２１３は、検査信号と第１音響情報を参照して、スピーカ２６から発せられた検査音と、マイクロホン２７が受け取った反響音の時間差である反響時間を取得する。反響時間は、記憶部２１４に記憶される。
【００４３】
ステップＳ１０４において、心拍情報取得部２１３は、反響時間を距離に換算する。この換算は、距離をＬ、反響時間をＴ、空気中の音速をＶとしたとき、Ｌ＝ＶＴ（式１）により算出される。例えば、反響時間Ｔが１６０μｓ、空気中の音速Ｖが３４０ｍ／ｓである場合には、これらを式１に代入することにより、距離Ｌは５４．４ｍｍと算出される。この距離Ｌは、イヤホン２から鼓膜までの距離の２倍、すなわち、外耳道の長さの２倍に相当する。
【００４４】
ステップＳ１０５において、心拍情報取得部２１３は、距離Ｌの時間変化に基づいて心拍情報を取得する。心拍により血流量が周期的に変動すると、鼓膜も血流量の変化に同期して振動する。したがって、心拍情報取得部２１３により取得されるイヤホン２と鼓膜との距離Ｌも心拍に同期した周期で変化する。そのため、心拍情報取得部２１３は、距離Ｌの時間変化から心拍に関する心拍情報を取得することができる。この心拍情報は、例えば、心拍の波形であってもよく、一定時間内の心拍数であってもよく、心拍のピークの間隔であってもよい。
【００４５】
検査信号生成部２１１により生成される検査信号の具体例について説明する。検査用音波の生成に用いられる信号の例としては、振幅、周波数及び位相の少なくとも１つが変調された変調部を含む変調信号、又は周波数が時間に応じて変化するチャープ信号が用いられ得る。
【００４６】
図６は、パルス振幅変調（ＰＡＭ：Pulse  Amplitude  Modulation）による検査信号の一例を示すグラフである。図６の縦軸は強度を示しており、横軸は時間を示している。図６に示されるように、検査信号は、振幅が変調された変調部を有する波形をなしている。
【００４７】
図７は、パルス位相変調（ＰＰＭ：Pulse  Phase  Modulation）による検査信号の一例を示すグラフである。図７に示されるように、検査信号は、位相が変調された変調部を有する波形をなしている。
【００４８】
図８は、パルス周波数変調（ＰＦＭ：Pulse  Frequency  Modulation）による検査信号の一例を示すグラフである。図８中のｆａとｆｂが付された箇所は異なる周波数となっている。すなわち、図８に示されるように、検査信号は、周波数が変調された変調部を有する波形をなしている。
【００４９】
図９は、検査信号がチャープ信号である場合の一例を示すグラフである。図９に示されるように、検査信号は、周波数が時間に応じて変化するチャープ波の波形をなしている。
【００５０】
反響時間Ｔの取得方法について具体例を挙げて説明する。図１０は、検査音がパルス位相変調波である場合の反響音の特性の一例を示すグラフである。図１０の上段には検査音の波形が示されており、図１０の下段には反響音の波形が示されている。図１０に示されるように、検査音の変調部と反響音の変調部は、反響時間Ｔだけ時間軸方向にずれている。したがって、ステップＳ１０３の処理では、心拍情報取得部２１３は、検査音の変調部と反響音の変調部を基準として時間差を検出することにより、反響時間Ｔを取得することができる。なお、パルス振幅変調又はパルス位相変調を用いる場合も同様である。
【００５１】
反響時間Ｔの取得方法について別の例を説明する。図１１は、検査音がチャープ波である場合の検査音と反響音の相互相関関数の一例を示すグラフである。検査音がチャープ波である場合には、検査音と反響音の相互相関関数を算出することでピークを強調するパルス圧縮と呼ばれる手法を適用することができる。本手法では、図１１に示されるように、検査音と反響音の時間差に相当する位置に大きな振幅のパルスが現れる。したがって、反響時間Ｔを取得することができるとともに、信号のＳ／Ｎ比（Signal-to-Noise  ratio）を向上させることができる。このように、チャープ波を検査音として用い、検査音と反響音の相関演算の結果を用いて反響時間を取得する例では雑音をより効果的に除去することができる。
【００５２】
本実施形態によれば、ユーザ３の外耳道に向けて検査音を発し、検査音の反響音に基づいて、被検者の心拍情報を取得することができる。これにより、ユーザ３の外耳道内の脈拍を直接取得することができるため、雑音の影響を軽減することができる。したがって、高精度に心拍測定を行うことができる情報処理装置を提供することができる。
【００５３】
この心拍情報は、例えば、ユーザ３の健康管理に用いられ得る。イヤホン２に心拍情報を取得する機能を実装することにより、ユーザ３は、例えば、運動時にイヤホン２を装着することで、心拍数をモニタリングして、運動強度を記録することができる。また、ユーザ３は、安静時にイヤホン２を装着して心拍の変動をモニタリングすることで病気予兆を早期に検知することができる。
【００５４】
［第２実施形態］
本実施形態の情報処理システムは、イヤホン２が更に第２音響情報を取得して心拍情報の取得を行う点が第１実施形態と相違する。以下では主として第１実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
【００５５】
図１２は、本実施形態に係るイヤホン２及びイヤホン制御装置２０のハードウェア構成例を示すブロック図である。本実施形態において、イヤホン２は、振動センサ２８を更に備える。振動センサ２８は、ユーザ３の耳の近くの血管の脈拍に由来する振動を検出するように配されている。
【００５６】
また、イヤホン制御装置２０は、振動センサＩ／Ｆ２０９を更に備える。振動センサＩ／Ｆ２０９は、振動センサ２８から信号を取得するためのインターフェースである。振動センサＩ／Ｆ２０９は、アナログデジタル変換回路、増幅器等を含む。マイクロホンＩ／Ｆ２０６は、振動センサ２８が受け取った振動により生じたアナログ信号をデジタル信号に変換する。これにより、イヤホン制御装置２０は、受け取った振動に基づく振動データを取得する。
【００５７】
図１３は、本実施形態に係るイヤホン制御装置２０の機能ブロック図である。イヤホン制御装置２０は、第２音響情報取得部２１５を更に備える。ＣＰＵ２０１は、ＲＯＭ２０３、フラッシュメモリ２０４等に記憶されたプログラムをＲＡＭ２０２にロードして実行することにより、第２音響情報取得部２１５の機能を実現する。なお、この機能は情報通信装置１に設けられていてもよい。
【００５８】
図１４は、本実施形態に係るイヤホン制御装置２０により行われる心拍情報取得処理を示すフローチャートである。図１４を参照して、イヤホン制御装置２０の動作を説明する。本実施形態の心拍情報取得処理において、ステップＳ１０１からステップＳ１０４までの処理は第１実施形態と同様であるため説明を省略する。
【００５９】
ステップＳ１０６において、第２音響情報取得部２１５は、振動センサ２８が受け取った振動に基づく音響情報を取得する。この音響情報は、第１音響情報とは異なる第２音響情報として記憶部２１４に記憶される。なお、第２音響情報取得部２１５は、第２音響情報の取得にあたって、フーリエ変換、相関演算、ノイズ除去、レベル補正等の信号処理を適宜行ってもよい。なお、ステップＳ１０６の処理は、ステップＳ１０１からステップＳ１０４の処理よりも前に行われてもよく、ステップＳ１０１からステップＳ１０４の処理と並行して行われてもよい。
【００６０】
ここで、第１音響情報は、超音波である検査音の周波数の信号の情報を含むのに対し、第２音響情報は、心拍に由来する振動の周波数の信号の情報を含む。すなわち、第２音響情報は、検査音の周波数よりも低い周波数の信号の情報を含む。これにより、異なる周波数の音響に基づいて取得された２種類の信号を取得することができる。
【００６１】
ステップＳ１０７において、心拍情報取得部２１３は、第１音響情報である距離Ｌの時間変化と、第２音響情報である振動データの時間変化とに基づいて心拍情報を取得する。この取得において、心拍情報取得部２１３は、第１音響情報と距離Ｌの時間変化と振動データの時間変化との相互相関関数を演算することにより、両者の信号に含まれる心拍の時間変化の情報の抽出を行う。
【００６２】
２種類の信号を用いることにより、ユーザ３の体内等で発生する雑音、外部からの雑音の影響がキャンセルされ、両者の信号に共通に含まれる心拍の周波数成分が強調される。したがって、より高精度に心拍測定を行うことができる情報処理装置を提供することができる。
【００６３】
なお、本実施形態において、第２音響情報を取得する手段は振動センサ２８に限定されるものではなく、例えば、レーザー光を体表に照射して血管を流れる血流の量を観察する光検出型の脈拍センサを用いたものであってもよい。また、第２音響情報を取得する手段はイヤホン２に内蔵されているものに限定されるものではなく、例えば、撓骨動脈等の腕の血管から脈拍を検出できるように、スマートウォッチ等のリストバンドに振動センサ２８が設けられていてもよい。
【００６４】
上述の実施形態において説明したシステムは以下の第３実施形態のようにも構成することができる。
【００６５】
［第３実施形態］
図１５は、第３実施形態に係る情報処理装置４０の機能ブロック図である。情報処理装置４０は、検査信号生成部４１１、第１音響情報取得部４１２及び心拍情報取得部４１３を備える。検査信号生成部４１１は、被検者の外耳道に向けて検査音を発するための検査信号を生成する。第１音響情報取得部４１２は、検査音の反響音に関する情報を含む第１音響情報を取得する。心拍情報取得部４１３は、第１音響情報に基づいて、被検者の心拍に関する心拍情報を取得する。
【００６６】
本実施形態によれば、高精度に心拍測定を行うことができる情報処理装置４０が提供される。
【００６７】
［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
【００６８】
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）等の回路であってもよい。
【００６９】
該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating  System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【００７０】
上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software  as  a  Service）の形態でユーザに対して提供することもできる。
【００７１】
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７２】
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７３】
（付記１）
被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
を備える、情報処理装置。
【００７４】
（付記２）
前記第１音響情報は、前記被検者の鼓膜の振動に関する情報を含む、
付記１に記載の情報処理装置。
【００７５】
（付記３）
前記心拍情報取得部は、前記検査音が発せられてから前記反響音が取得されるまでの反響時間に基づいて前記心拍情報を取得する、
付記１又は２に記載の情報処理装置。
【００７６】
（付記４）
前記心拍情報取得部は、前記反響時間又は前記反響時間から算出された距離の時間変化に基づいて、前記心拍情報を取得する、
付記３に記載の情報処理装置。
【００７７】
（付記５）
前記検査音の波形は、振幅、周波数及び位相の少なくとも１つが変調された変調部を含み、
前記心拍情報取得部は、前記検査音及び前記反響音に含まれる変調部の時間差に基づいて前記反響時間を取得する、
付記３又は４に記載の情報処理装置。
【００７８】
（付記６）
前記検査音は、周波数が時間に応じて変化するチャープ波であり、
前記心拍情報取得部は、前記検査音及び前記反響音の相関演算の結果に基づいて前記反響時間を取得する、
付記３又は４に記載の情報処理装置。
【００７９】
（付記７）
前記検査音は、可聴域よりも高い周波数を有する超音波である、
付記１乃至６のいずれか１項に記載の情報処理装置。
【００８０】
（付記８）
前記検査音の周波数よりも低い周波数の信号の情報を含む第２音響情報を取得する第２音響情報取得部を更に備え、
前記心拍情報取得部は、前記第１音響情報及び前記第２音響情報に基づいて前記心拍情報を取得する、
付記１乃至７のいずれか１項に記載の情報処理装置。
【００８１】
（付記９）
前記第２音響情報は、前記被検者の前記外耳道以外の箇所の振動に関する情報を含む、
付記８に記載の情報処理装置。
【００８２】
（付記１０）
前記心拍情報取得部は、前記第１音響情報及び前記第２音響情報の相関演算の結果に基づいて前記心拍情報を取得する、
付記８又は９に記載の情報処理装置。
【００８３】
（付記１１）
装着型機器であって、
被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
を備える、装着型機器。
【００８４】
（付記１２）
被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
を備える、情報処理方法。
【００８５】
（付記１３）
コンピュータに、
被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
を実行させるためのプログラムが記憶された記憶媒体。
【符号の説明】
【００８６】
１                情報通信装置
２                イヤホン
３                ユーザ
２０              イヤホン制御装置
２６              スピーカ
２７              マイクロホン
４０              情報処理装置
１０１、２０１    ＣＰＵ
１０２、２０２    ＲＡＭ
１０３、２０３    ＲＯＭ
１０４            ＨＤＤ
１０５、２０７    通信Ｉ／Ｆ
１０６            入力装置
１０７            出力装置
２０４            フラッシュメモリ
２０５            スピーカＩ／Ｆ
２０６            マイクロホンＩ／Ｆ
２０８            バッテリ
２１１、４１１    検査信号生成部
２１２、４１２    第１音響情報取得部
２１３、４１３    心拍情報取得部
２１４            記憶部
２１５            第２音響情報取得部
【図１】
2020129197.tif 000003
【図２】
2020129197.tif 000004
【図３】
2020129197.tif 000005
【図４】
2020129197.tif 000006
【図５】
2020129197.tif 000007
【図６】
2020129197.tif 000008
【図７】
2020129197.tif 000009
【図８】
2020129197.tif 000010
【図９】
2020129197.tif 000011
【図１０】
2020129197.tif 000012
【図１１】
2020129197.tif 000013
【図１２】
2020129197.tif 000014
【図１３】
2020129197.tif 000015
【図１４】
2020129197.tif 000016
【図１５】
2020129197.tif 000017
【手続補正書】
【提出日】令和3年3月10日(2021.3.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
前記検査音の反響音に関する情報を含む第１音響情報を取得する第１音響情報取得部と、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
を備える、情報処理装置。
【請求項２】
前記第１音響情報は、前記被検者の鼓膜の振動に関する情報を含む、
請求項１に記載の情報処理装置。
【請求項３】
前記心拍情報取得部は、前記検査音が発せられてから前記反響音が取得されるまでの反響時間に基づいて前記心拍情報を取得する、
請求項１又は２に記載の情報処理装置。
【請求項４】
前記心拍情報取得部は、前記反響時間又は前記反響時間から算出された距離の時間変化に基づいて、前記心拍情報を取得する、
請求項３に記載の情報処理装置。
【請求項５】
前記検査音の波形は、振幅、周波数及び位相の少なくとも１つが変調された変調部を含み、
前記心拍情報取得部は、前記検査音及び前記反響音に含まれる変調部の時間差に基づいて前記反響時間を取得する、
請求項３又は４に記載の情報処理装置。
【請求項６】
前記検査音は、周波数が時間に応じて変化するチャープ波であり、
前記心拍情報取得部は、前記検査音及び前記反響音の相関演算の結果に基づいて前記反響時間を取得する、
請求項３又は４に記載の情報処理装置。
【請求項７】
前記検査音は、可聴域よりも高い周波数を有する超音波である、
請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記検査音の周波数よりも低い周波数の信号の情報を含む第２音響情報を取得する第２音響情報取得部を更に備え、
前記心拍情報取得部は、前記第１音響情報及び前記第２音響情報に基づいて前記心拍情報を取得する、
請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
を備える、情報処理方法。
【請求項１０】
コンピュータに、
被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
前記検査音の反響音に関する情報を含む第１音響情報を取得するステップと、
前記第１音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
を実行させるためのプログラム。
【国際調査報告】
2020129197.tif 000018
2020129197.tif 000019
2020129197.tif 000020
2020129197.tif 000021