(57)【要約】【課題】センサから出力される信号に基づいて機器を操作することができる信号処理装置を提供する。【解決手段】信号処理装置は、外耳道内の空気と外部の空気との換気を抑制する耳栓部によって換気が抑制された外耳道内の気圧変化を検出する検出部によって検出された外耳道内の気圧変化と、予め記憶されている気圧変化のパターンとを比較することにより気圧変化がいずれのパターンに適合するかを判定する気圧変化判定部と、気圧変化判定部が判定するパターンに応じた処理を実行する処理実行部とを備える。【選択図】図１
2018098761.tif 000002
【特許請求の範囲】
【請求項１】
外耳道内の空気と外部の空気との換気を抑制する耳栓部によって換気が抑制された外耳道内の気圧変化を検出する検出部によって検出された外耳道内の気圧変化と、予め記憶されている気圧変化のパターンとを比較することにより前記気圧変化がいずれのパターンに適合するかを判定する気圧変化判定部と、
前記気圧変化判定部が判定する前記パターンに応じた処理を実行する処理実行部と
を備える信号処理装置。
【請求項２】
前記耳栓部による換気の抑制の程度が、前記パターンの経過時間に応じて決められる
請求項１に記載の信号処理装置。
【請求項３】
前記パターンは、前記気圧変化の特徴量の値の範囲の類型を示し、
前記特徴量には、気圧の時間的変化を示す量が含まれる
請求項１又は請求項２に記載の信号処理装置。
【請求項４】
前記パターンは、下顎の運動を示し、
前記処理実行部は、前記パターンに基づいて下顎の運動を判定する
請求項１から請求項３のいずれか一項に記載の信号処理装置。
【請求項５】
前記パターンの表れる回数は、咀嚼回数を示し、
前記処理実行部は、咀嚼回数を前記パターンが表れる回数に基づいて計数する
請求項１から請求項３のいずれか一項に記載の信号処理装置。
【請求項６】
前記パターンは、咀嚼の強度を表し、
前記処理実行部は、前記パターンに基づいて咀嚼の強度を判定する
請求項１から請求項３のいずれか一項に記載の信号処理装置。
【請求項７】
前記パターンは、発声する音の種類を表し、
前記処理実行部は、前記パターンに基づいて前記発声する音の種類を判定する
請求項１から請求項３のいずれか一項に記載の信号処理装置。
【請求項８】
前記パターンは、所定の時間間隔毎に現れ、
前記処理実行部は、前記パターンに基づいて心拍を判定する
請求項１から請求項３のいずれか一項に記載の信号処理装置。
【請求項９】
前記処理実行部は、前記パターンに基づいて個人を識別する
請求項１から請求項３のいずれか一項に記載の信号処理装置。
【請求項１０】
前記パターンを機械学習する機械学習部を更に備え、
前記気圧変化判定部は、
前記機械学習部によって機械学習された結果に基づいて前記パターンを判定し、
前記処理実行部は、
前記気圧変化判定部が判定した結果に応じた処理を実行する
請求項１から請求項９のいずれか一項に記載の信号処理装置。
【請求項１１】
前記気圧変化判定部は、
前記検出部が検出した左右両耳についての外耳道内の気圧変化のパターンを判定する
請求項１から請求項１０のいずれか一項に記載の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に関する。
【背景技術】
【０００２】
従来、外耳道に挿入し、外耳道の気圧によって咀嚼回数を数えるセンサが知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３１８８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
手や視線を向けずに機器を操作したい場合がある。この場合には、手や視線以外の体の動きを検出し、検出した動きに応じて機器を操作させればよい。しかし、従来のセンサは、外耳道の気圧の変化をセンサの筐体の変形によって検出する。筐体の変形を検出するため、センサは大型である。大型のセンサでは、日常的に使用することが困難であった。
日常的に使用するためには、センサを小型化すればよい。しかしながら、従来、センサを小型化できなかったため、そのセンサから出力される信号を、どのようにして処理すればよいかもわからなかった。
本発明の課題は、センサから出力される信号に基づいて機器を操作することができる信号処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一態様は、外耳道内の空気と外部の空気との換気を抑制する耳栓部によって換気が抑制された外耳道内の気圧変化を検出する検出部によって検出された外耳道内の気圧変化と、予め記憶されている気圧変化のパターンとを比較することにより前記気圧変化がいずれのパターンに適合するかを判定する気圧変化判定部と、前記気圧変化判定部が判定する前記パターンに応じた処理を実行する処理実行部とを備える信号処理装置である。
【０００６】
また、本発明の他の態様は、前記耳栓部による換気の抑制の程度が、前記パターンの経過時間に応じて決められる信号処理装置である。
【０００７】
また、本発明の他の態様は、前記パターンは、前記気圧変化の特徴量の値の範囲の類型を示し、前記特徴量には、気圧の時間的変化を示す量が含まれる信号処理装置である。
【０００８】
また、本発明の他の態様は、前記パターンは、下顎の運動を示し、前記処理実行部は、前記パターンに基づいて下顎の運動を判定する信号処理装置である。
【０００９】
また、本発明の他の態様は、前記パターンの表れる回数は、咀嚼回数を示し、前記処理実行部は、咀嚼回数を前記パターンが表れる回数に基づいて計数する信号処理装置である。
【００１０】
また、本発明の他の態様は、前記パターンは咀嚼の強度を表し、前記処理実行部は、前記パターンに基づいて咀嚼の強度を判定する信号処理装置である。
【００１１】
また、本発明の他の態様は、前記パターンは、発声する音の種類を表し、前記処理実行部は、前記パターンに基づいて前記発声する音の種類を判定する信号処理装置である。
【００１２】
また、本発明の他の態様は、前記パターンは、所定の時間間隔毎に現れ、前記処理実行部は、前記パターンに基づいて心拍を判定する信号処理装置である。
【００１３】
また、本発明の他の態様は、前記処理実行部は、前記パターンに基づいて個人を識別する信号処理装置である。
【００１４】
また、本発明の他の態様は、前記パターンを機械学習する機械学習部を更に備え、前記気圧変化判定部は、前記機械学習部によって機械学習された結果に基づいて前記パターンを判定し、前記処理実行部は、前記気圧変化判定部が判定した結果に応じた処理を実行する信号処理装置である。
【００１５】
また、本発明の他の態様は、前記気圧変化判定部は、前記検出部が検出した左右両耳についての外耳道内の気圧変化のパターンを判定する信号処理装置である。
【発明の効果】
【００１６】
本発明によれば、センサから出力される信号に基づいて機器を操作することができる信号処理装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態にかかる信号処理システムの構成の一例を示す図である。
【図２】耳栓部と、外耳道とが形成する空間の一例を示す図である。
【図３】下顎の運動により変化する空間の一例を示す図である。
【図４】下顎が開口運動した場合に測定される空間の気圧の変化の一例を示す図である。
【図５】空間の気圧の変化の一例を示す図である。
【図６】信号処理システムの機能構成の一例を示す図である。
【図７】信号処理装置の動作の一例を示す流れ図である。
【図８】第２の実施形態に係る信号処理装置の機能構成の一例を示す図である。
【図９】機械学習に用いる学習パターンの特徴量の一例を示す図である。
【図１０】運動ごとのユーザの識別精度の一例を示す図である。
【発明を実施するための形態】
【００１８】
［第１の実施形態］
以下、実施形態の信号処理装置を、図面を参照して説明する。
【００１９】
［第１の実施形態に係る信号処理システムの構成の一例］
以下、第１の実施形態の信号処理システムについて、図１を参照して説明する。
図１は、第１の実施形態にかかる信号処理システム１の構成の一例を示す図である。
信号処理システム１は、耳栓部１０と、信号処理装置２０とを備える。本実施形態においては、信号処理装置２０が携帯型の音楽再生装置である場合について説明する。
信号処理装置２０は音楽再生機能を備える。信号処理装置２０は、耳栓部１０によって検出される外耳道内の気圧の変化に基づいて、音楽再生機能を制御する。具体的には、信号処理装置２０は、耳孔に装着された耳栓部１０から検出される外耳道の気圧の変化に基づいて、音楽の再生、停止及び再生曲目の変更などの処理を実行する。信号処理装置２０は、表示部２４を備える。表示部２４は、信号処理装置２０が処理する信号の処理結果などを表示する。
【００２０】
耳栓部１０は検出部の一例である。耳栓部１０は、気圧測定部１１を備える。耳栓部１０は、この一例では、外耳道に装着されるイヤホンである。信号処理装置２０が再生する音楽は、このイヤホンが備える不図示のスピーカーから出力される。
気圧測定部１１は、外耳道内の気圧を測定する。ここで、外耳道内の気圧について、図２を参照して説明する。
【００２１】
図２は、耳栓部１０と、外耳道とが形成する空間の一例を示す図である。
空間ＥＳとは、耳栓部１０と、鼓膜ＴＹまでの外耳道とが形成する空間である。気圧測定部１１は、空間ＥＳの気圧を測定する。空間ＥＳは、体の運動によって形状が変化する。例えば、空間ＥＳは、図３に示すように、開口している場合と、閉口している場合とで空間ＥＳの形状が変化する。
【００２２】
［空間ＥＳについて］
図３は、下顎の運動により変化する空間ＥＳの一例を示す図である。閉口している場合の空間ＥＳ１と、開口している場合の空間ＥＳ２とは、形状が異なる。
空間ＥＳの形状が変化すると、空間ＥＳの容積が変化する。ここで、耳栓部１０によって、外耳道内が閉鎖空間になっている。したがって、空間ＥＳの容積が変化すると、空間ＥＳの気圧が変化する。また、耳栓部１０は、外耳道内と外部とを完全に遮断しておらず、圧力が高まった外耳道内の空気は、所定時間経過後に外部にぬける。その結果、外耳道内の圧力は、所定時間経過後に大気圧に一致する。つまり、耳栓部１０は、外耳道内の空気と外部の空気との換気を抑制する。耳栓部１０による換気の抑制の程度は、パターンのこの所定時間の経過時間に応じて決められる。
【００２３】
気圧測定部１１は、空間ＥＳの気圧を、外耳道内の気圧として測定する。気圧測定部１１は、所定の時間間隔を空けて空間ＥＳの気圧を測定する。この一例では、気圧測定部１１は、０．０６２５秒に一度、空間ＥＳの気圧を測定する。言い換えると、気圧測定部１１は１秒間に１６回、空間ＥＳの気圧を測定する。
【００２４】
ここで、図４を参照して、気圧測定部１１が測定する空間ＥＳの気圧の変化について説明する。
図４は、下顎が開口運動した場合に測定される空間ＥＳの気圧の変化の一例を示す図である。開口運動は、口を閉じた状態から、口を開けた状態に、下顎を動かす運動である。
図４に示すフレーム番号とは、気圧測定部１１が測定した空間ＥＳの気圧を時系列に並べた順番である。フレーム番号１が示す気圧は、フレーム番号１６が示す気圧よりも前に測定された気圧である。
図４に示す一例では、下顎が開口運動した場合の気圧の変化を示す。この場合、フレーム９からフレーム１１までの２フレームの間、空間ＥＳの気圧は、上昇する。また、空間ＥＳの気圧は、フレーム１１からフレーム１４までの３フレームの間、下降する。空間ＥＳの気圧は、下降した結果、大気圧に一致する。
【００２５】
次に、図５を参照して、空間ＥＳの形状の変化による気圧の変化について説明する。
図５は、空間ＥＳの気圧の変化の一例を示す図である。
図５は、”口を開ける”、”口を閉じる”、”下顎を右に動かす”、”下顎を左に動かす”、”静止する”、”喋る”及び、”口を開けて閉じる”運動に応じて、変化する空間ＥＳの気圧の一例である。この空間ＥＳの気圧の変化は、空間ＥＳの気圧の変化の特徴量の値に応じてパターン化される。つまり、パターンとは、空間ＥＳの気圧の変化の特徴量の値の範囲の類型である。ここで、特徴量には、加速度や標準偏差などがある。口の運動に応じて、圧力の変化速度が速い場合と、圧力の変化速度が遅い場合とがある。この場合、加速度についての値の範囲には、加速度が大きい類型と小さい類型とがある。つまり、空間ＥＳの気圧の変化の特徴量の値の範囲は、口の運動に応じて類型化される。
加速度とは、各フレームごとに算出される直前のフレームとの差分である。標準偏差とは、空間ＥＳの圧力の時間分布の標準偏差である。
【００２６】
［信号処理システム１の機能構成について］
次に、図６を参照して、信号処理システム１の機能構成の一例について説明する。
図６は、信号処理システム１の機能構成の一例を示す図である。
【００２７】
信号処理システム１は、耳栓部１０と信号処理装置２０とを備える。
耳栓部１０は、気圧測定部１１と、測定気圧情報出力部１２とを備える。
気圧測定部１１は、空間ＥＳの気圧を測定する。気圧測定部１１は、測定した空間ＥＳの気圧を測定気圧情報出力部１２に対して供給する。
測定気圧情報出力部１２は、気圧測定部１１から空間ＥＳの気圧を取得する。測定気圧情報出力部１２は、取得した空間ＥＳの気圧を、信号処理装置２０に対して出力する。
【００２８】
信号処理装置２０は、測定気圧情報取得部２１と、演算部２２と、オーディオ信号処理部２３と、上述した表示部２４とを備える。
測定気圧情報取得部２１は、測定気圧情報出力部１２から、空間ＥＳの気圧を取得する。測定気圧情報取得部２１は、取得した気圧を演算部２２に対して供給する。
【００２９】
演算部２２は、測定気圧情報処理部２０１と、記憶部２０４と、気圧変化判定部２０２と、処理実行部２０３とを備える。
【００３０】
測定気圧情報処理部２０１は、取得した空間ＥＳの気圧を、取得した時系列と対応付けた状態にして記憶する。具体的には、測定気圧情報処理部２０１は、測定気圧情報取得部２１から空間ＥＳの気圧を取得する。測定気圧情報処理部２０１は、取得した空間ＥＳの気圧を、最新の気圧として記憶する。測定気圧情報処理部２０１は、最新の気圧と、その最新の気圧よりも前に取得された複数の気圧とを対応付けた情報を、気圧変化判定部２０２に対して出力する。以下の説明では、最新の気圧と、その最新の気圧よりも前に取得された複数の気圧とを対応付けた情報を、測定パターンとも記載する。
【００３１】
記憶部２０４には、運動に応じたパターンが記憶される。以下の説明では、運動に応じたパターンを、基準パターンとも記載する。この基準パターンは、予め作成される。
【００３２】
気圧変化判定部２０２は、外耳道内の気圧変化と、予め記憶されている気圧変化のパターンとを比較することにより、外耳道内の気圧変化がいずれのパターンに適合するかを判定する。気圧変化判定部２０２は、記憶部２０４から基準パターンを取得する。気圧変化判定部２０２は、測定気圧情報処理部２０１から測定パターンを取得する。気圧変化判定部２０２は、測定パターンの特徴量と、基準パターンの特徴量とを比較する。気圧変化判定部２０２は、測定パターンの特徴量と、基準パターンの特徴量とを比較することにより、測定パターンと類似する基準パターンを判定する。この一例では、気圧変化判定部２０２は、分類器である。この分類器は、特徴量を機械学習した結果として作成される。機械学習には、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ法を用いた。
気圧変化判定部２０２は判定した結果を、フィルタを通してから判定する。具体的には、気圧変化判定部２０２は、判定した類似する基準パターンと対応付けられた運動の種類を記憶する。気圧変化判定部２０２は、記憶した複数の運動の種類のうちから、直近の運動の種類の判定頻度が最も高いものを、測定パターンと対応する運動の種類とする。気圧変化判定部２０２は、判定した運動の種類を示す情報を、処理実行部２０３に対して供給する。
【００３３】
処理実行部２０３には、予め運動の種類と、音楽再生機能を制御する制御信号とが対応付けられて記憶される。制御信号とは、例えば、音楽の再生を開始する信号や、再生する音楽の音量を制御する信号などである。
処理実行部２０３は、気圧変化判定部２０２から運動の種類を示す情報を取得する。処理実行部２０３は、気圧変化判定部２０２から取得した運動の種類を示す情報と予め対応付けられた制御信号を、オーディオ信号処理部２３に対して出力する。処理実行部２０３は、例えば、開口運動と、音楽の再生を開始する制御信号とが対応付けられて記憶される場合について説明する。気圧変化判定部２０２は、測定パターンが開口運動のパターンであると判定する。気圧変化判定部２０２は、処理実行部２０３に、開口運動を示す情報を出力する。処理実行部２０３は、開口運動と対応付けられた制御信号を選択する。処理実行部２０３は、選択した音楽の再生を介する制御信号を、オーディオ信号処理部２３に対して出力する。
【００３４】
また、処理実行部２０３は、制御信号を画像情報に変換し、表示部２４に対して出力する。画像情報とは、例えば、制御信号が音楽再生信号の場合には、再生を示す三角形の図形や、再生している曲名、再生時間などの情報である。
【００３５】
オーディオ信号処理部２３は、処理実行部２０３から制御信号を取得する。オーディオ信号処理部２３は、処理実行部２０３から取得した制御信号に基づいて、音楽再生機能を制御する。オーディオ信号処理部２３は、再生した音楽を、耳栓部１０が備える不図示のスピーカーから出力する。
【００３６】
表示部２４は、処理実行部２０３から画像情報を取得する。表示部２４は、処理実行部２０３から取得した画像情報を表示する。
【００３７】
［信号処理装置２０の動作の概要］
次に、図７を参照して、信号処理装置２０の動作の概要について説明する。
図７は、信号処理装置２０の動作手順の一例を示す流れ図である。なお、ここに示す動作手順は、一例であって、動作手順の省略や動作手順の追加が行われてもよい。
【００３８】
測定気圧情報取得部２１は、測定気圧情報出力部１２から、外耳道の気圧として空間ＥＳの気圧を取得する（ステップＳ１００）。測定気圧情報取得部２１は、測定気圧情報処理部２０１に対して、測定気圧情報出力部１２から取得した空間ＥＳの気圧を供給する。
測定気圧情報処理部２０１は、測定気圧情報取得部２１から空間ＥＳの気圧を取得する。測定気圧情報処理部２０１は、測定気圧情報取得部２１から取得した空間ＥＳの気圧を、取得した時系列と対応付けた状態にして記憶する（ステップＳ１１０）。測定気圧情報処理部２０１は、測定パターンを生成する。具体的には、信号処理装置２０は、第１フレームから第１６フレームまでの空間ＥＳの気圧の測定値を時系列に並べた測定パターンを生成する（ステップＳ１２０）。測定パターンの第１６フレームは、直近に取得した空間ＥＳの気圧の値である。測定気圧情報処理部２０１は、生成した測定パターンを、気圧変化判定部２０２に対して供給する。
気圧変化判定部２０２は、測定気圧情報処理部２０１から測定パターンを取得する。気圧変化判定部２０２は、測定気圧情報処理部２０１から取得した測定パターンに基づいて、特徴量を算出する。
【００３９】
［特徴量について］
ここで、気圧変化判定部２０２がパターンの判定に用いる、特徴量について説明する。
特徴量には、気圧の時間的変化を示す量が含まれる。具体的には、特徴量には、上述した加速度や、標準偏差の他に、最大最小値幅、初期気圧と最新気圧との差分、最大気圧との差分、最小気圧との差分などがある。
最大最小値幅とは、パターンに含まれる気圧の最大値と、気圧の最小値との差分である。
初期気圧と最新気圧との差分とは、パターンに含まれる時系列において、最初の気圧と最後の気圧との差分である。この一例では、第１フレームの気圧と、第１６フレームの気圧との差分である。
最大気圧との差分とは、パターンに含まれる気圧の最大値と、第１フレームとの差分である。
最小気圧との差分とは、パターンに含まれる気圧の最小値と、第１フレームとの差分である。
【００４０】
図７に戻り、気圧変化判定部２０２は、算出した測定パターンの特徴量を、分類器にかける。気圧変化判定部２０２は、測定パターンの特徴量を分類器にかけることにより、運動の種類を分類する。気圧変化判定部２０２は、分類器により分類された運動の種類を記憶する（ステップＳ１４０）。気圧変化判定部２０２は、記憶した運動の種類の、直近５回の分類結果のうちから、最も判定回数が多い運動の種類を、測定パターンに応じた運動の種類として判定する（ステップＳ１５０）。気圧変化判定部２０２は、判定した運動の種類を示す情報を、処理実行部２０３に対して供給する。
【００４１】
処理実行部２０３は、気圧変化判定部２０２から運動の種類を示す情報を取得する。処理実行部２０３は、気圧変化判定部２０２から取得した運動の種類を示す情報と対応付けられた制御信号をオーディオ信号処理部２３に対して供給する。オーディオ信号処理部２３は、処理実行部２０３から制御信号を取得する。オーディオ信号処理部２３は、取得した制御信号に応じた処理を実行する。つまり、オーディオ信号処理部２３は、気圧変化判定部２０２が判定した運動の種類に応じた処理を実行する（ステップＳ１６０）。
【００４２】
［第１の実施形態のまとめ］
以上説明したように、信号処理システム１は、耳栓部１０と信号処理装置２０とを備える。耳栓部１０は、外耳道内の空気と外部の空気との換気が抑制された空間ＥＳを構成する。気圧測定部１１は、空間ＥＳの気圧を測定する。測定気圧情報出力部１２は、気圧測定部１１が測定した空間ＥＳの気圧を信号処理装置２０に対して供給する。信号処理装置２０は、測定気圧情報取得部２１と、演算部２２と、オーディオ信号処理部２３とを備える。測定気圧情報取得部２１は、測定気圧情報出力部１２から、空間ＥＳの気圧を取得する。演算部２２は、測定気圧情報処理部２０１と、気圧変化判定部２０２と、処理実行部２０３とを備える。測定気圧情報処理部２０１は、測定気圧情報取得部２１から取得した空間ＥＳの気圧を記憶する。測定気圧情報処理部２０１は、記憶した複数の空間ＥＳの気圧から、測定パターンを生成する。言い換えると、測定気圧情報処理部２０１は、外耳道内の気圧変化のパターンを生成する。気圧変化判定部２０２は、測定パターンから気圧変化の特徴量を算出する。気圧変化判定部２０２は、算出した気圧変化の特徴量を分類器にかけて当該特徴量の算出に用いた測定パターンと対応する運動の種類を判定する。処理実行部２０３は、運動の種類と対応する制御信号をオーディオ信号処理部２３に対して供給する。オーディオ信号処理部２３は、制御信号に基づいて音楽再生の制御を行う。これにより、信号処理装置２０は、耳栓部１０から出力される信号に基づいて機器を操作することができる。
【００４３】
なお、上述した説明では、信号処理装置２０は音楽再生機能を制御する場合について説明したが、制御するものはこれに限られない。信号処理装置２０は、音楽再生機能以外の機能を制御してもよい。また、信号処理装置２０は、他の装置を制御する信号を出力してもよい。
【００４４】
例えば、耳栓部１０及び信号処理装置２０は、ヘッドマウントディスプレイなどの入力装置として使用することができる。従来、ヘッドマウントディスプレイなどの装置では、ユーザに操作されるボタンなどの入力部を備えることがある。このような入力部は、ユーザの操作によって振動が発生し、視界が揺さぶられる場合がある。また、ヘッドマウントディスプレイなどの装置が、ユーザの視界を覆う没入型のデバイスである場合には、ユーザは入力部を視認することができない。また、このような没入型のデバイスを使用する場合には、イヤホンなどの外耳道を覆う装置を用いることがある。耳栓部１０及び信号処理装置２０は、ユーザが手元を確認できない状況であっても、下顎の動きなどで操作信号を生成することができるため、没入型のデバイスと組み合わせることも好適である。
【００４５】
なお、上述した説明では耳栓部１０は、イヤホンの場合について説明したが、これに限られない。耳栓部１０は、外耳道内の空気と外部の空気との換気を抑制することができる形状であればよく、イヤホンなど音を出力する機能が無くてもよい。
【００４６】
なお、上述した気圧測定部１１から空間ＥＳの気圧を取得する時間間隔は、０．０６２５秒に限られない。この時間間隔は、運動を識別できる程度の時間間隔であればよい。０．０６２５秒よりも短い時間間隔で測定する場合には、信号処理装置２０の運動の判別の精度を高めることができる。この場合には、パターンと比較するフレーム数を適宜変更すればよい。
【００４７】
なお、上述した説明では、気圧変化判定部２０２は、下顎の運動の種類を判定する場合について説明したが、これに限られない。気圧変化判定部２０２は、空間ＥＳを変形させる動きを判定することができる。具体的には、空間ＥＳは、表情筋による運動や、首を動作させる運動、耳周辺の肌を持ち上げる運動、耳周辺の肌を押下する運動などによっても変形する。この場合には、記憶部２０４に、運動の種類ごとに対応付けられた基準パターンが準備されていればよい。これにより、信号処理装置２０は、顔を動かす運動のモニターなどに利用することができる。
【００４８】
また、空間ＥＳを変形させる動きには、痙攣などによる不随意運動なども含まれる。この場合には、記憶部２０４に、安静にした場合のパターンを示す安静時パターンが記憶される。気圧変化判定部２０２は、測定パターンと、安静時パターンとが異なるパターンが観察された場合に、不随意運動が発生したと判定すればよい。なお、記憶部２０４には、痙攣などの不随意運動特有のパターンが記憶されてもよく、気圧変化判定部２０２は、不随意運動特有のパターンと、測定パターンとを比較することによって、不随意運動を判定してもよい。これにより、信号処理装置２０は、痙攣などの不随意運動を判定することができるため、例えば、癲癇発作の監視機器などに利用することができる。
【００４９】
なお、上述した説明では基準パターンが記憶部２０４に記憶される場合について記載したが、これに限られない。この場合には、信号処理装置２０は不図示の通信部を備える。通信部は、外部の装置と通信することで基準パターンを取得する。
【００５０】
なお、上述した説明では、気圧変化判定部２０２は、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ法により作成された分類器の場合について説明したが、これに限られない。気圧変化判定部２０２は、他の機械学習アルゴリズムによって生成された分類器であってもよい。また、気圧変化判定部２０２は、機械学習アルゴリズムによらずに生成されたパターン判定器であってもよい。この場合には、気圧変化判定部２０２は、特徴量同士の相関を算出すればよい。
【００５１】
例えば、気圧変化判定部２０２は、動的時間伸縮法（Ｄｙｎａｍｉｃ  Ｔｉｍｅ  Ｗａｒｐｉｎｇ；ＤＴＷ）によって作成された分類器であってもよい。以下の説明では、動的時間伸縮法のことを、単にＤＴＷ法とも記載する。ＤＴＷ法とは、測定パターンと基準パターンとの類似の程度を示す類似度を算出する方法である。この場合には、気圧変化判定部２０２は、ＤＴＷ法によって算出された類似度に基づいて、測定パターンを分類する。この測定パターンの分類には、例えば、ｋ近傍法（ｋ−ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ａｌｇｏｒｉｔｈｍ）などを用いる。
【００５２】
ここで、ＤＴＷ法は、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ法とは異なり、異なるパターン同士を直接比較することができる。このため、気圧変化判定部２０２は、ＤＴＷ法を用いることにより、測定パターンの特徴量を用いずに、測定パターンと基準パターンとを比較することができる。なお、気圧変化判定部２０２に、このＤＴＷ法を実現する場合には、ソフトウェアによって実現するよりも、ハードウェアによって実現することにより、より短い時間で測定パターンと基準パターンとを比較することができる。具体的には、気圧変化判定部２０２は、このＤＴＷ法をＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅ  Ａｒｒａｙ）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。
【００５３】
なお、気圧変化判定部２０２は、上述した特徴量以外の特徴量と組み合わせて気圧変化を判定してもよい。また、気圧変化判定部２０２は、上述した特徴量のうち、全ての特徴量を気圧変化の判定に用いなくてもよい。
【００５４】
なお、上述した説明では、気圧変化判定部２０２は、１つの空間ＥＳの気圧変化パターンに基づいて、運動の種類を判定する場合について説明したが、これに限られない。気圧変化判定部２０２は、複数の空間ＥＳの気圧変化パターンに基づいて運動の種類を判定してもよい。この場合には、記憶部２０４には、左右両耳の気圧変化パターンが対応付けられた状態で、運動の種類ごとに記憶される。気圧変化判定部２０２は、複数の気圧測定部１１が検出した左右両耳についての外耳道内の気圧変化のパターンを判定する。具体的には、気圧変化判定部２０２は、左右両耳の空間ＥＳのパターンから、それぞれ特徴量を算出する。気圧変化判定部２０２は、左右両耳の空間ＥＳのパターンから算出したそれぞれの特徴量を分類器にかけることにより、気圧変化のパターンを判定する。
【００５５】
また、気圧変化判定部２０２は、左右両耳の空間ＥＳの気圧変化パターン同士から算出される特徴量を判定に用いることができる。この左右両耳の空間ＥＳの気圧変化パターン同士から算出される特徴量の一例として振幅スペクトルがある。振幅スペクトルは、左耳の空間ＥＳの気圧変化パターンと、右耳の空間ＥＳの気圧変化パターンとの差分をフーリエ変換することにより得られる。
【００５６】
気圧変化判定部２０２は、左右両耳の空間ＥＳの気圧変化パターンを判定に用いることにより、１つの空間ＥＳの気圧変化パターンのみの場合よりも、正確に運動の種類を判定することができる。
【００５７】
また、記憶部２０４に、咀嚼に応じたパターンが記憶される場合には、信号処理装置２０は、咀嚼運動を判定することができる。この場合には、気圧変化判定部２０２は、測定パターンを咀嚼運動であると判別し、処理実行部２０３は咀嚼運動のパターンが表れる回数を計数する。処理実行部２０３は、計数した咀嚼運動の回数を示す画像を生成し、表示部２４に表示させる。これにより、信号処理装置２０は、耳栓部１０を装着したヒトの咀嚼回数を計数することができる。
【００５８】
また、記憶部２０４に記憶される咀嚼に応じたパターンと、現在の咀嚼運動によって測定された測定パターンとが異なる場合には、この咀嚼運動を異常な顎の動きであると判定することにより、異常な下顎の動きを検出することができる。これは、下顎が外耳道の近くに位置しているため、異常な顎の動きによって外耳道の圧力変化が表れやすいためである。この異常な下顎の動きを検出することにより、顎関節症などを早期に発見することができる。
【００５９】
また、記憶部２０４に、咀嚼の強度に応じたパターンが記憶される場合には、信号処理装置２０は、測定パターンに基づいて咀嚼の強度を判定することができる。この場合には、処理実行部２０３は、気圧変化判定部２０２判定した咀嚼の強度を示す画像を生成し、表示部２４に表示させる。これにより、信号処理装置２０は、耳栓部１０を装着したヒトの咀嚼の強さを判定することができ、ヒトが食べている物の堅さを判定することができる。
【００６０】
また、記憶部２０４には、発声する音の種類ごとのパターンが記憶される場合には、気圧変化判定部２０２が判定する測定パターンに基づいて発声する音の種類に応じた運動を判定する。処理実行部２０３は、気圧変化判定部２０２が判定する発生する音の種類に応じた運動と対応付けられた音の種類を判定する。これにより、信号処理装置２０は、発声を伴わない口の動きから、発声する音の種類を判定することができ、発声が出来ないヒトに対して、擬似的な音声入力の手段を提供することができる。また、気圧変化判定部２０２は、発声する音の組み合わせを判定してもよい。音の組み合わせとは、例えば、単語などの音の連なりである。この場合には、気圧変化判定部２０２は、複数の測定パターンと、単語のパターンとを比較すればよい。
【００６１】
また、記憶部２０４には、所定の時間間隔毎に現れる心拍による空間ＥＳの気圧変化パターンが記憶される場合には、処理実行部２０３は、パターンに基づいて心拍を判定する。心拍によって、空間ＥＳの気圧は変化する。処理実行部２０３は、所定の時間、心拍を示すパターンの回数を計数することにより心拍を測定する。これにより、信号処理装置２０は、心拍を測定することができる。信号処理装置２０は、心拍を測定することができるため、例えば、トレーニング中の心拍を測定する心拍モニターや、心臓病などの患者の心拍モニターなどに利用することができる。
【００６２】
［第２の実施形態］
次に、図８を参照して、信号処理装置が機械学習部を備える構成について説明する。なお、第１の実施形態と同一の構成及び動作については、同一の符号を付してその説明を省略する。
図８は、第２の実施形態に係る信号処理装置２０ａの機能構成の一例を示す図である。
【００６３】
信号処理装置２０ａは、演算部２２ａを備える。演算部２２ａは、測定気圧情報処理部２０１ａと、機械学習部２０５ａとを備える。
測定気圧情報処理部２０１ａは、機械学習部２０５ａに学習パターンを供給する。機械学習部２０５ａは、学習パターンに基づいて、基準パターンを生成する。学習パターンとは、基準パターンの算出に用いる、運動ごとの空間ＥＳの気圧の変化のパターンである。
学習パターンは、耳栓部１０を耳孔に装着したユーザに対して、指定の運動を行わせることで生成される。測定気圧情報処理部２０１ａは、ユーザが行った運動により測定される測定パターンに基づいて、学習パターンを生成する。測定気圧情報処理部２０１ａは、１６個のフレームの測定パターンのうち、特徴的な気圧の値が算出されたフレームを第９フレームに配置した学習パターンを生成する。特徴的な気圧の値とは、所定の閾値を超えた値である。
測定気圧情報処理部２０１ａは、式（１）によって算出される値が所定の閾値を超えたか否かに基づいて、学習パターンを生成する。
【００６４】
【数１】
2018098761.tif 000003
【００６５】
式（１）に含まれるＦ（ｉ，ｊ）は、気圧変化の傾きを微分する式であることを示す。ここで、式（１）に含まれるｉは、微分する傾きの開始フレーム番号を示す。式（１）に含まれるｊは、微分する傾きの終了フレーム番号を示す。測定気圧情報処理部２０１ａは、測定パターンが、式（２）から式（４）までの式により、学習パターンであるか否かを判定する。
【００６６】
【数２】
2018098761.tif 000004
【００６７】
式（２）は、閾値ａと、第９フレームから第１２フレームまでの傾きを微分した値とを外積した値が、第４フレームから第９フレームまでの傾きを微分した値よりも小さく、また、−ａよりも小さい値よりも小さい測定パターンが、学習パターンであることを示す。ここで、閾値ａは０．１である。なお、閾値ａは、０．１に限られず、適宜変更してもよい。
【００６８】
【数３】
2018098761.tif 000005
【００６９】
式（３）は、−ａと、第９フレームから第１２フレームまでの傾きを微分した値とを外積した値が、第４フレームから第９フレームまでの傾きを微分した値よりも大きく、ａよりも大きい測定パターンが、学習パターンであることを示す。
【００７０】
【数４】
2018098761.tif 000006
【００７１】
式（４）は、測定パターンに含まれる最大の圧力値と、測定パターンに含まれる最小の圧力値との差が、閾値の２倍よりも大きい測定パターンは、学習パターンであることを示す。式（４）は、１つの測定パターンに、大気圧よりも空間ＥＳの気圧が増加し、大気圧よりも空間ＥＳの気圧が減少する測定パターンが、学習パターンか否かを判別するための式である。
【００７２】
測定気圧情報処理部２０１ａは、上述した式（２）から式（４）までのいずれかを満たす測定パターンを学習パターンとする。測定気圧情報処理部２０１ａは、学習パターンと、この学習パターンと対応する運動の種類とを対応付けて、機械学習部２０５ａに対して供給する。
【００７３】
機械学習部２０５ａは、測定気圧情報処理部２０１ａから取得した学習パターンに基づいて、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ法により機械学習する。機械学習部２０５ａは、機械学習した結果得られる基準パターンと、運動の種類とを対応付けて記憶部２０４に記憶させる。
ここで、図９を参照して、機械学習に用いる学習パターンの特徴量について説明する。
図９は、機械学習に用いる学習パターンの特徴量の一例を示す図である。
図９に示す特徴量は、パターンの判定に同じくらい影響を及ぼしていることがわかる。
【００７４】
以上説明したように、信号処理装置２０ａは、測定気圧情報処理部２０１ａと、機械学習部２０５ａとを備える。測定気圧情報処理部２０１ａは、機械学習に用いる学習パターンを生成する。機械学習部２０５ａは、測定気圧情報処理部２０１ａが生成した学習パターンに基づいて機械学習する。信号処理装置２０ａは、ユーザごとに基準パターンを生成することができる。
気圧変化判定部２０２は、機械学習部２０５ａによって機械学習された結果である基準パターンに基づいて測定パターンを判別する。処理実行部２０３は、気圧変化判定部２０２が判別する判別結果に応じた処理を実行する。これにより、信号処理装置２０ａは、精度よく運動を判定することができる。
【００７５】
［第３の実施形態］
［ユーザの識別について］
ここまでは、ユーザごとの外耳道の気圧変化のパターンに基づいて、ユーザの運動を判定する信号処理装置の構成について説明した。次に、外耳道の気圧変化のパターンに基づいて、ユーザを識別する信号処理装置２０ｃの構成について説明する。
【００７６】
本実施形態の記憶部２０４には、基準パターンと、この基準パターンを測定したユーザを示す情報とが対応付けられた状態で記憶される。ここで、本実施形態の基準パターンには、１１種類の気圧変化のパターンが含まれる。具体的には、基準パターンには、”口を開ける”、”口を閉じる”、”下顎を左に動かす”、”下顎を右に動かす”、”口を閉じたままにする”、”顔を左に向ける”、”顔を右に向ける”、”顔を上に向ける”、”顔を下に向ける”、”頭を左に傾ける”及び、”頭を右に傾ける”運動に応じて変化する空間ＥＳの気圧変化のパターンが含まれる。
処理実行部２０３は、外耳道の気圧変化のパターンに基づいて個人を識別する。具体的には、気圧変化判定部２０２は、測定パターンと、気圧変化のパターンとを比較する。気圧変化判定部２０２は、測定パターンと近似する特徴を持つ基準パターンと対応付けられたユーザを示す情報を、処理実行部２０３に対して供給する。処理実行部２０３は、気圧変化判定部２０２からユーザ示す情報を取得する。処理実行部２０３は、気圧変化判定部２０２から取得したユーザを示す情報に基づいて、個人を識別する。例えば、処理実行部２０３は、気圧変化判定部２０２から取得したユーザを示す情報が”ユーザ１”を示す場合には、耳栓部１０を装着したユーザが”ユーザ１”であると識別する。
【００７７】
［ユーザの認証について］
また、処理実行部２０３は、予め記憶部２０４などに耳栓部１０を使用するユーザ情報が記憶される場合には、ユーザの認証を行ってもよい。この場合には、処理実行部２０３は、記憶部２０４に予め記憶されたユーザ情報と、気圧変化判定部２０２から取得したユーザを示す情報とが、同じユーザを示すか否かを判定することにより、ユーザの認証を行ってもよい。
【００７８】
ここで、図１０を参照して運動ごとの識別精度の一例について説明する。
図１０は、運動ごとのユーザの識別精度の一例を示す図である。図１０は、測定パターンと、基準パターンとを比較して、この測定パターンを測定したユーザと、基準パターンと対応付けられたユーザを示す情報とが、一致した割合を示す。
気圧変化判定部２０２は、平均して”９０．６”（％）の割合で、測定パターンから正しくユーザを識別できることがわかる。
【００７９】
上述した１１種類の運動の他人受入率（Ｆａｌｓｅ  Ａｃｃｅｐｔａｎｃｅ  Ｒａｔｅ；ＦＡＲ）の平均は”０．８４”（％）である。他人受入率とは、気圧変化判定部２０２がユーザの識別を誤り、基準パターンを測定したユーザ以外のユーザを、基準パターンを測定したユーザとして受け入れた割合である。
本人拒否率（Ｆａｌｓｅ  Ｒｅｊｅｃｔｉｏｎ  Ｒａｔｅ；ＦＲＲ）は、”９．４”（％）である。本人拒否率とは、気圧変化判定部２０２がユーザの識別を誤り、基準パターンを測定したユーザ本人を拒否した割合である。
等価エラー率（Ｅｑｕａｌ  Ｅｒｒｏｒ  Ｒａｔｅ；ＥＥＲ）は、”４．８”（％）である。
【００８０】
［一般認証について］
また、処理実行部２０３は、耳栓部１０を装着しているユーザを特定する一般認証を行ってもよい。この場合には、記憶部２０４に、複数のユーザから測定された基準パターンと、これらの基準パターンを測定したユーザを示す情報とがそれぞれ対応付けられて記憶される。気圧変化判定部２０２は、測定パターンと、処理実行部２０３に記憶された基準パターンとを比較する。気圧変化判定部２０２は、測定パターンと近似する基準パターンと対応付けられたユーザを、耳栓部１０を装着しているユーザであると特定する。
【００８１】
［第３の実施形態のまとめ］
以上説明したように、信号処理装置２０ｃは、予めユーザを示す情報と対応付けられた基準情報と、測定パターンとを比較することにより、耳栓部１０を装着したユーザを識別することができる。
【００８２】
外耳道の気圧変化のパターンには、ユーザごとに個人差がある。言い換えると、外耳道の気圧変化のパターンには、ユーザごとに特徴が異なる。
あるユーザ１の外耳道の気圧変化のパターン同士は近似した気圧変化のパターンを示す。しかし、このユーザ１の外耳道の気圧変化のパターンと、異なるユーザ２の外耳道の気圧変化のパターンとは、互いに異なる気圧変化のパターンを示す。
具体的には、ユーザ２によって測定された測定パターンと、予め測定されたユーザ１の外耳道の気圧変化のパターンを示す基準パターンとを比較すると、外耳道の気圧変化のパターンには差がある。これは、ユーザ１によって測定された基準パターンと、ユーザ２によって測定された測定パターンとは、特徴が異なるためである。
つまり、ユーザ１によって測定された測定パターンと、予め測定されたユーザ１の外耳道の気圧変化のパターンを示す基準パターンとを比較することにより、ユーザ１を識別することができる。
【００８３】
なお、上述した説明では、記憶部２０４には、１１種類の運動に応じた基準パターンと、この基準パターンを測定したユーザを示す情報とが対応付けられた状態で記憶される場合について説明したが、これに限られない。１１種類の運動に応じた基準パターンのうちの少なくとも１つの基準パターンと、ユーザを示す情報とが対応付けられていればよい。
【００８４】
また、気圧変化判定部２０２が判定する基準パターンは、上述した１１種類の運動に応じた基準パターンに限られない。１１種類の運動とは異なる運動によって生じた外耳道の気圧変化のパターンを基準パターンとしてもよい。また、上述した１１種類の運動を組み合わせた運動によって生じる外耳道の気圧変化のパターンを基準パターンとしてもよい。組み合わせた運動とは、例えば、”口を開ける”運動と、”頭を右に傾ける”運動とを組み合わせた運動である。
【００８５】
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
【００８６】
なお、以上に説明した信号処理システム１、信号処理システム１ａにおける任意の構成部の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体（記憶媒体）に記録（記憶）し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、オペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）あるいは周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。
【００８７】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）あるいは電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００８８】
１，１ａ…信号処理、１０…耳栓部、１１…気圧測定部、１２…測定気圧情報出力部、２０，２０ａ…信号処理装置、２１…測定気圧情報取得部、２２…演算部、２３…オーディオ信号処理部、２４…表示部、２０１，２０１ａ…測定気圧情報処理部、２０２…気圧変化判定部、２０３…処理実行部、２０４…記憶部、２０５ａ…機械学習部
【図１】
2018098761.tif 000007
【図２】
2018098761.tif 000008
【図３】
2018098761.tif 000009
【図４】
2018098761.tif 000010
【図５】
2018098761.tif 000011
【図６】
2018098761.tif 000012
【図７】
2018098761.tif 000013
【図８】
2018098761.tif 000014
【図９】
2018098761.tif 000015
【図１０】
2018098761.tif 000016