(57)【要約】  聞こえ評価のための聴覚事象関連電位計測システムにおいて、覚醒度の変化に由来する聴覚事象関連電位の変動を抑制し、高精度に聴覚事象関連電位を計測する技術を提供する。  聴覚事象関連電位計測システムは、ユーザに映像を呈示する映像出力部と、ユーザの脳波信号を計測する生体信号計測部と、ユーザに映像が呈示されている期間中に聴覚刺激が呈示されるよう、聴覚刺激の呈示タイミングをスケジューリングする聴覚刺激スケジュール部と、スケジューリングされた呈示タイミングでユーザに聴覚刺激を呈示する聴覚刺激出力部と、脳波信号から、聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得する脳波処理部とを備えている。出力された映像の輝度変化量が所定の閾値を超えた場合には、所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、聴覚刺激が呈示されない。
2013057931.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに映像を呈示する映像出力部と、
前記ユーザの脳波信号を計測する生体信号計測部と、
前記ユーザに前記映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングする聴覚刺激スケジュール部と、
スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、
前記脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得する脳波処理部と
を備え、
出力された前記映像の輝度変化量が所定の閾値を超えた場合には、前記聴覚刺激スケジュール部は、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする、聴覚事象関連電位計測システム。
【請求項２】
前記脳波処理部が取得した事象関連電位を加算平均する算出部をさらに備え、
前記聴覚刺激出力部は、第１の聴覚刺激、および第１の聴覚刺激の次に呈示される第２の聴覚刺激を含む複数の聴覚刺激を呈示し、
前記算出部は、前記第２の聴覚刺激が第１の聴覚刺激から所定以上の時間間隔を開けて呈示された場合に、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激によって誘発される事象関連電位を加算平均する、請求項１に記載の聴覚事象関連電位計測システム。
【請求項３】
前記聴覚刺激出力部は、周波数が相違する前記第１の聴覚刺激および前記第２の聴覚刺激を呈示する、請求項２に記載の聴覚事象関連電位計測システム。
【請求項４】
前記算出部は、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激によって誘発される事象関連電位を加算平均する、請求項２に記載の聴覚事象関連電位計測システム。
【請求項５】
前記聴覚刺激スケジュール部は、前記輝度変化量が所定の閾値を越えた時刻の後５０ｍｓ以上２００ｍｓ以下の範囲を前記第２の時間範囲として、前記聴覚刺激の呈示タイミングをスケジューリングする、請求項１に記載の聴覚事象関連電位計測システム。
【請求項６】
前記ユーザに呈示する映像のコンテンツを保持し、保持した前記コンテンツの再生処理を行う映像再生処理部をさらに備え、
前記映像出力部は、前記ユーザに、再生処理された前記コンテンツの映像を呈示する、請求項１に記載の聴覚事象関連電位計測システム。
【請求項７】
前記映像のコンテンツは、音声の情報を含まない、請求項６に記載の聴覚事象関連電位計測システム。
【請求項８】
前記映像のコンテンツに音声の情報が含まれている場合には、前記映像出力部は前記音声の出力を禁止する、請求項６に記載の聴覚事象関連電位計測システム。
【請求項９】
前記映像再生処理部は複数種類の映像のコンテンツを保持しており、
前記映像再生処理部は、前記複数種類の映像のコンテンツのうちから前記ユーザが選択した映像のコンテンツの再生処理を行う、請求項６に記載の聴覚事象関連電位計測システム。
【請求項１０】
前記算出部は、前記第２の聴覚刺激が第１の聴覚刺激から２秒以上の間隔で呈示された場合に、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激によって誘発される事象関連電位を加算平均する、請求項４に記載の聴覚事象関連電位計測システム。
【請求項１１】
前記算出部は、前記第２の聴覚刺激が第１の聴覚刺激から６秒以上の間隔で呈示された場合に、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激に対する事象関連電位を加算平均する、前記請求項１に記載の聴覚事象関連電位計測システム。
【請求項１２】
前記聴覚刺激を前記ユーザの左右の耳のいずれかに呈示するか、および前記聴覚刺激の周波数および音圧を決定し、決定した特性を有する聴覚刺激を生成する聴覚刺激生成部をさらに備えた、請求項１に記載の聴覚事象関連電位計測システム。
【請求項１３】
ユーザに映像を呈示するステップと、
前記ユーザの脳波信号を計測するステップと、
前記ユーザに前記映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングするステップと、
スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示するステップと、
前記脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得するステップと
を包含し、
出力された前記映像の輝度変化量が所定の閾値を超えた場合には、スケジューリングする前記ステップは、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする、聴覚事象関連電位計測方法。
【請求項１４】
聴覚事象関連電位計測システムの聴覚事象関連電位計測装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記コンピュータに対し、
ユーザに映像を呈示するステップと、
前記ユーザの脳波信号を取得するステップと、
前記ユーザに前記映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングするステップと、
スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示するステップと、
前記脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得するステップと
を実行させ、
出力された前記映像の輝度変化量が所定の閾値を超えた場合には、スケジューリングする前記ステップは、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする、コンピュータプログラム。
【請求項１５】
映像出力部から前記ユーザに映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングする聴覚刺激スケジュール部と、
スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、
生体信号計測部によって計測された、前記ユーザの脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得する脳波処理部と
を備え、
出力された前記映像の輝度変化量が所定の閾値を超えた場合には、前記聴覚刺激スケジュール部は、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする、聴覚事象関連電位計測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、聴覚刺激に対する聴覚事象関連電位を高精度に測定するための技術に関する。より具体的には、本願は、映像を呈示しながら聴覚刺激を呈示し、ユーザの覚醒度の変動や映像の影響を受けずに、聴覚事象関連電位を計測する方法に関する。
【背景技術】
【０００２】
近年、補聴器の小型化・高性能化に伴い、補聴器を利用するユーザが増加している。補聴器は、ユーザごとの聴力低下の状態に合わせて、聴力が低下している周波数帯の音声信号を、聴力低下の度合いに合わせて増幅する。これにより、ユーザが音を聞き取りやすくする。【０００３】
聴力低下の状態はユーザごとに異なるため、補聴器の利用を開始する前には、ユーザごとの聞こえを正しく評価する必要がある。そして、その評価結果に基づいて、周波数ごとの音の増幅量を決定する「フィッティング」を行う。【０００４】
一般的に、ユーザごとの聞こえは、ユーザの主観報告に基づいて評価される。しかし、主観報告による評価は、言語表現やパーソナリティによって結果がばらつくという問題と、主観報告のできない乳児では評価ができないという問題がある。そこで主観報告によらず、聞こえを客観的に評価する手法の開発が進んでいる。【０００５】
脳波は、知覚・認知等のユーザ状態を測定するための有効なツールである。脳波は、大脳皮質の神経活動を反映しており、頭皮上２点間の電位変化を記録して得られる。ユーザの頭皮上に電極を装着して脳波を記録しながら、ユーザに対して聴覚刺激を呈示すると、聴覚刺激を起点に特徴的な脳波が惹起される。この脳波は聴覚事象関連電位と呼ばれる。聴覚事象関連電位は、ユーザの聞こえを客観的に評価可能な指標である。聴覚事象関連電位は、聴覚刺激によって誘発される外因性成分（聴覚誘発電位）と、聴覚刺激を受けたことによる内因性成分を含む。【０００６】
非特許文献１は、ユーザの主観的なうるささの指標であるラウドネスと、純音聴覚刺激に対するＮ１成分の振幅および潜時との関係を特定し、Ｎ１成分の振幅および潜時から、聞こえ評価のうちラウドネスを推定できる可能性を示唆している。なお、「Ｎ１成分」とは、聴覚刺激呈示を起点に約１００ｍｓにおいて惹起される陰性の感覚誘発電位である。Ｎ１成分は、大脳皮質の神経活動を反映しているため、脳幹反応（ＡＢＲ）と比較して、主観との相関が高いと考えられている。これは、Ｎ１成分の振幅および潜時から、聞こえ評価のうちラウドネスを推定できる可能性を示している。【０００７】
また、非特許文献２は、Ｎ１成分の馴化を用いた不快閾値推定技術を開示している。「不快閾値」（ｕｎｃｏｍｆｏｒｔａｂｌｅ  ｌｅｖｅｌ：本明細書では「ＵＣＬ」とも記述する。）とは、うるさすぎて長時間聞き続けることのできない最小の音圧である。音が大きすぎて無視できないときには、Ｎ１成分の馴化が生じないことを利用している。【０００８】
聴覚事象関連電位は背景脳波と比較して信号対雑音比（Ｓ／Ｎ）が低いため、刺激を繰り返し呈示し、加算平均を行うことにより、混入するノイズの影響を低減する必要がある。そのため、繰り返し回数をＮとしたとき、刺激間間隔のＮ倍の時間を要する。たとえば、非特許文献２では、刺激間間隔１秒で８００回の繰り返しを実施しているため、聴覚刺激の種類ごとに、８００秒（十数分）の時間がかかる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Ｈｏｐｐｅ，Ｕ．他、「Ｌｏｕｄｎｅｓｓ  ｐｅｒｃｅｐｔｉｏｎ  ａｎｄ  ｌａｔｅ  ａｕｄｉｔｏｒｙ  ｅｖｏｋｅｄ  ｐｏｔｅｎｔｉａｌｓ  ｉｎ  ａｄｕｌｔ  ｃｏｃｈｌｅａｒ  ｉｍｐｌａｎｔ  ｕｓｅｒｓ」、２００１年
【非特許文献２】Ｍａｒｉａｍ，Ｍ．他、「Ｃｏｍｐａｒｉｎｇ  ｔｈｅ  ｈａｂｉｔｕａｔｉｏｎ  ｏｆ  ｌａｔｅ  ａｕｄｉｔｏｒｙ  ｅｖｏｋｅｄ  ｐｏｔｅｎｔｉａｌｓ  ｔｏ  ｌｏｕｄ  ａｎｄ  ｓｏｆｔ  ｓｏｕｎｄ」、２００９年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した従来の技術では、脳波計測をより早く行い、さらにより正確な聞こえ評価を行うことが求められていた。【００１１】
本願の、限定的ではない例示的なある実施形態は、聞こえ評価のための聴覚事象関連電位計測システムにおいて、覚醒度の変化に由来する聴覚事象関連電位の変動を抑制し、高精度に聴覚事象関連電位を計測する技術を提供する。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の一態様は、ユーザに映像を呈示する映像出力部と、前記ユーザの脳波信号を計測する生体信号計測部と、前記ユーザに前記映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングする聴覚刺激スケジュール部と、スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、前記脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得する脳波処理部とを備え、出力された前記映像の輝度変化量が所定の閾値を超えた場合には、前記聴覚刺激スケジュール部は、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする、聴覚事象関連電位計測システムを含む。【００１３】
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【００１４】
本発明の一態様にかかる聴覚事象関連電位計測システムによれば、ユーザの覚醒度の変化および、映像を見ていることに起因するノイズの混入による、聴覚事象関連電位の変動を低減し、精度の高い聴覚事象関連電位の計測が実現できる。
【図面の簡単な説明】
【００１５】
【図１】聴覚刺激のみの聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。
【図２】映像を並列呈示する聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。
【図３】輝度変化タイミングと、輝度変化に対する視覚誘発電位が聴覚事象関連電位に及ぼす影響の概念図である。
【図４】実施形態１による聴覚事象関連電位計測システム１の構成および利用環境を示す図である。
【図５】実施形態１による聴覚事象関連電位計測装置１０のハードウェア構成を示す図である。
【図６】実施形態１による聴覚事象関連電位計測システム１の機能ブロックの構成を示す図である。
【図７】聴覚刺激スケジュール部６５が受ける輝度変化タイミングと、聴覚刺激スケジュール部６５による聴覚刺激スケジュール変更の例を示す図である。
【図８】聴覚刺激スケジュール変更の概念を示す図である。
【図９】聴覚事象関連電位算出部１００に保持するデータの例を示す図である。
【図１０】聴覚事象関連電位計測システム１において行われる処理の手順を示すフローチャートである。
【図１１】実施形態２による聴覚事象関連電位計測システム２の機能ブロックの構成を示す図である。
【図１２】聴覚事象関連電位計測システム２において行われる処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１６】
上述した非特許文献１および非特許文献２のような従来の手法では、単調な聴覚刺激が長時間にわたって呈示される。そのため、しばしばユーザが覚醒度を維持できないことがあった。佐藤他、監修、「誘発電位の基礎と臨床」、ｐ１２９、創造出版、１９９０年（第１版）に記載されているように、現時点では、聴覚事象関連電位は覚醒度によって波形そのものが大幅に変化すると考えられている。そのため、従来の手法によってＮ１成分の振幅や潜時を用いて聞こえ評価したとしても、その評価が正しくない可能性があった。
【００１７】
以下、添付の図面を参照しながら、本開示による聴覚事象関連電位計測システムの実施形態を説明する。
【００１８】
まず、本明細書における用語の定義を説明する。
【００１９】
「事象関連電位（ｅｖｅｎｔ−ｒｅｌａｔｅｄ  ｐｏｔｅｎｔｉａｌ：ＥＲＰ）」とは、脳波（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：ＥＥＧ）の一種であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。
【００２０】
「聴覚事象関連電位」とは、聴覚刺激に対して惹起される事象関連電位である。たとえば、聴覚刺激を起点に約５０ｍｓにおいて惹起される陽性の電位であるＰ１成分、聴覚刺激呈示を起点に約１００ｍｓにおいて惹起される陰性の電位であるＮ１成分や、聴覚刺激呈示を起点に約２００ｍｓにおいて惹起される陽性の電位であるＰ２成分が該当する。
【００２１】
「聴覚刺激を呈示する」とは、純音を出力すること、たとえば純音をヘッドフォンの片耳側から出力することをいう。
【００２２】
「純音」とは、周期振動を繰り返す楽音のうち、単一の周波数成分しか持たない正弦波で表される音である。純音を呈示するためのヘッドフォンの種類は任意である。ただし、ヘッドフォンは指定した音圧の純音を正確に出力できればよい。これにより、不快音圧を正しく測定することが可能となる。
【００２３】
本開示による聴覚事象関連電位計測システムは、聴覚刺激以外に映像という視覚刺激を呈示することによりユーザの覚醒度の変化を低減する。そして覚醒度変化の影響の少ない聴覚事象関連電位を計測する。また、呈示する映像の輝度変化のタイミングに応じて、聴覚事象関連電位計測のための聴覚刺激の呈示タイミングを制御し、映像呈示によって惹起されるノイズの影響を低減する。
【００２４】
本発明の一態様の概要は以下のとおりである。
【００２５】
本発明の一態様である聴覚事象関連電位計測システムは、ユーザに映像を呈示する映像出力部と、前記ユーザの脳波信号を計測する生体信号計測部と、前記ユーザに前記映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングする聴覚刺激スケジュール部と、スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、前記脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得する脳波処理部とを備える。出力された前記映像の輝度変化量が所定の閾値を超えた場合には、前記聴覚刺激スケジュール部は、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする。
【００２６】
ある実施形態において、聴覚事象関連電位計測システムは、前記脳波処理部が取得した事象関連電位を加算平均する算出部をさらに備える。前記聴覚刺激出力部は、第１の聴覚刺激、および第１の聴覚刺激の次に呈示される第２の聴覚刺激を含む複数の聴覚刺激を呈示し、前記算出部は、前記第２の聴覚刺激が第１の聴覚刺激から所定以上の時間間隔を開けて呈示された場合に、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激によって誘発される事象関連電位を加算平均する。
【００２７】
ある実施形態において、前記聴覚刺激出力部は、周波数が相違する前記第１の聴覚刺激および前記第２の聴覚刺激を呈示する。
【００２８】
ある実施形態において、前記算出部は、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激によって誘発される事象関連電位を加算平均する。
【００２９】
ある実施形態において、前記聴覚刺激スケジュール部は、前記輝度変化量が所定の閾値を越えた時刻の後５０ｍｓ以上２００ｍｓ以下の範囲を前記第２の時間範囲として、前記聴覚刺激の呈示タイミングをスケジューリングする。
【００３０】
ある実施形態において、聴覚事象関連電位計測システムは、前記ユーザに呈示する映像のコンテンツを保持し、保持した前記コンテンツの再生処理を行う映像再生処理部をさらに備える。前記映像出力部は、前記ユーザに、再生処理された前記コンテンツの映像を呈示する。
【００３１】
ある実施形態において、前記映像のコンテンツは、音声の情報を含まない。
【００３２】
ある実施形態において、前記映像のコンテンツに音声の情報が含まれている場合には、前記映像出力部は前記音声の出力を禁止する。
【００３３】
ある実施形態において、前記映像再生処理部は複数種類の映像のコンテンツを保持しており、前記映像再生処理部は、前記複数種類の映像のコンテンツのうちから前記ユーザが選択した映像のコンテンツの再生処理を行う。
【００３４】
ある実施形態において、前記算出部は、前記第２の聴覚刺激が第１の聴覚刺激から２秒以上の間隔で呈示された場合に、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激によって誘発される事象関連電位を加算平均する。
【００３５】
ある実施形態において、前記算出部は、前記第２の聴覚刺激が第１の聴覚刺激から６秒以上の間隔で呈示された場合に、前記複数の聴覚刺激のうち前記第２の聴覚刺激を除いた聴覚刺激に対する事象関連電位を加算平均する。
【００３６】
ある実施形態において、聴覚事象関連電位計測システムは、前記聴覚刺激を前記ユーザの左右の耳のいずれかに呈示するか、および前記聴覚刺激の周波数および音圧を決定し、決定した特性を有する聴覚刺激を生成する聴覚刺激生成部をさらに備えている。
【００３７】
本発明の一態様である方法は、ユーザに映像を呈示するステップと、前記ユーザの脳波信号を計測するステップと、前記ユーザに前記映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングするステップと、スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示するステップと、前記脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得するステップとを包含する。出力された前記映像の輝度変化量が所定の閾値を超えた場合には、スケジューリングする前記ステップは、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする。
【００３８】
本発明の一態様であるコンピュータプログラムは、聴覚事象関連電位計測システムの聴覚事象関連電位計測装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、ユーザに映像を呈示するステップと、前記ユーザの脳波信号を取得するステップと、前記ユーザに前記映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングするステップと、スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示するステップと、前記脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得するステップとを実行させる。出力された前記映像の輝度変化量が所定の閾値を超えた場合には、スケジューリングする前記ステップは、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする。
【００３９】
本発明の他の一態様である聴覚事象関連電位計測システムは、映像出力部から前記ユーザに映像が呈示されている期間中に聴覚刺激が呈示されるよう、前記聴覚刺激の呈示タイミングをスケジューリングする聴覚刺激スケジュール部と、スケジューリングされた前記呈示タイミングで前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、生体信号計測部によって計測された、前記ユーザの脳波信号から、前記聴覚刺激が呈示された時刻を起点として定められる第１の時間範囲の事象関連電位を取得する脳波処理部とを備える。出力された前記映像の輝度変化量が所定の閾値を超えた場合には、前記聴覚刺激スケジュール部は、前記所定の閾値を超えた時刻を起点として定められる第２の時間範囲の間、前記聴覚刺激が呈示されないよう、前記聴覚刺激の呈示タイミングをスケジューリングする。
【００４０】
本開示にかかる聴覚事象関連電位計測装置／システムによれば、聴覚事象関連電位の計測時に、聴覚刺激以外に適切と考えられるサイズで映像を呈示することで、ユーザの覚醒度の変化に由来する聴覚事象関連電位の変動を低減し、精度の高い聴覚事象関連電位の計測が実現できる。特に、一般的にＵＣＬと評価される音圧よりも低い音圧の聴覚刺激に対する聴覚事象関連電位の計測に効果的であり、これにより、ユーザの聞こえ評価の精度が向上し、たとえばユーザの不満の少ない補聴器の調整が実現できるようになる。
【００４１】
以下では、まず、本開示をなすに至った経緯および知見を説明する。その後、実施形態として聴覚事象関連電位計測システムを概説し、聴覚事象関連電位計測装置の構成およびその動作を詳述する。
【００４２】
（本開示の経緯）
上述のように、単調な聴覚刺激を繰り返す聴覚事象関電位計測では、ユーザが覚醒度を維持できない場合がある。それによって、覚醒度変動に伴う聴覚事象関連電位の波形変化が生じてしまう。
【００４３】
それに対して、本願発明者らは、ユーザの覚醒度変動を抑制するために、聴覚刺激とは異なるモダリティの視覚刺激（映像）を、聴覚事象関連電位計測中に呈示する方法に着目した。つまり本願発明者らは、聴覚刺激および視覚刺激（映像）を同時に呈示しながら、聴覚刺激によって誘発される聴覚事象関連電位を計測する方法に着目した。覚醒度を抑制可能な映像としては、たとえば映画やＴＶ番組のドラマやスポーツ中継などが挙げられる。しかしながら、それらの映像を呈示すると、映像によって惹起される脳波がノイズとして混入する。そこで、その影響を低減するための工夫が必要になる。本願発明者らは、映像中のシーン切替り等による大きな輝度変化のタイミングを避けて、聴覚刺激を呈示した。これにより、映像に起因するノイズ成分の影響を低減し、輝度変化によるノイズの影響を受けない、より高精度な聴覚事象関連電位計測を実現することを実現した。なお、映像によって惹起される脳波として、映像の内容認知に関連した高次な脳活動によるものも考えられるが、個人差が大きく、呈示した映像から惹起される成分が予測できないため、本開示では対象にしない。
【００４４】
図１（ａ）は、従来の聴覚事象関連電位計測の実験パラダイムを示す。横軸は時間で、縦線は聴覚刺激のタイミングを模式的に示している。加算平均によって背景脳波等のノイズを低減するために、聴覚刺激が繰り返し呈示される。たとえば、聴覚刺激の持続時間が１００ｍｓ、刺激間間隔の平均値が１秒で、繰り返し回数を３０回とすると、一つの周波数、一つの音圧、片耳の聴覚事象関連電位計測に約３０秒程度の時間を要する。
【００４５】
そのため、たとえばユーザの聞こえ評価を行うために、５つの周波数、５つの音圧、両耳において聴覚事象関連電位を計測する場合、単純計算で約２５分（３０×５×５×２秒）程度かかる。ユーザは合計約２５分間、単調な聴覚刺激を聞き続ける必要があり、覚醒度を維持することが難しい。図１（ｂ）は、聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。横軸は時間で、縦軸は覚醒度である。図１（ｂ）によれば、聴覚事象関連電位の計測開始から時間が経過するにつれて、覚醒度が低下する様子が仮想的に示されている。
【００４６】
図２（ａ）は、映像を並列呈示する聴覚事象関連電位計測パラダイムを示す。本願発明者らは図２（ａ）に示す聴覚事象関連電位計測の方法に着目した。聴覚事象関連電位計測中のユーザの覚醒度低下を抑制するために、映像を呈示しながら、聴覚刺激を呈示する。図２（ｂ）は、図１（ｂ）と同様に聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。映像の呈示によって、ユーザの覚醒度低下が抑制され、覚醒度が比較的高い状態で維持されると考えられる。
【００４７】
図２（ｂ）に示した覚醒度は仮想的なグラフであるが、実際に、本願発明者らが、５人の参加者に対して映像呈示あり／なしの条件で約１０分程度の聴覚事象関連電位計測を実施し、計測後に覚醒度に関するアンケートを行ったところ、すべての参加者が映像呈示ありの場合で覚醒度が高かったと回答した。このことから少なくとも、映像呈示によって聴覚事象関連電位計測中のユーザの覚醒度低下が低減されるといえる。
【００４８】
しかしながら、映像の呈示に関連して、聴覚事象関連電位計測のノイズとなる特徴的な脳波が混入する。そのため、単純に聴覚刺激と同時に映像を呈示するだけでは、高精度な聴覚事象関連電位を計測することは困難であると考えられる。
【００４９】
そこで、本願発明者らは、映像によって惹起される脳波のうち、少なくとも映像の物理的な変化に対して惹起される視覚誘発電位（ｖｉｓｕａｌ  ｅｖｏｋｅｄ  ｐｏｔｅｎｔｉａｌ：ＶＥＰ）の影響を低減する方法を考案した。具体的には、本願発明者らは、あらかじめ映像を分析して取得した輝度変化のタイミングを保持し、輝度変化のタイミングを起点に所定の時間範囲内において聴覚刺激を呈示しないよう、聴覚刺激の呈示タイミングを制御する方法を考案した。これにより、視覚誘発電位の影響を低減しつつ、聴覚事象関連電位を計測することが可能となる。以下、詳細に説明する。
【００５０】
まず、視覚誘発電位とは、閃光（全体の輝度が変化）やパターン刺激（輝度の分布が変化）によって誘発される一過性の脳波電位である。閃光あるいはパターン刺激のどちらであっても、刺激呈示後約７０ｍｓ前後に陰性、約１００ｍｓ前後で陽性、約１３０ｍｓで陰性の脳波が誘発される。視覚刺激の輝度や大きさによって潜時・振幅が変化するが、個人差の影響が比較的少ない。宮田、監修、「新整理心理学」、１巻、ｐ１１５（第３版）によると、左右マストイド連結を基準とした場合、頭頂部から後頭部優位であるが、聴覚事象関連電位の優勢部位である中心部においても惹起される。
【００５１】
たとえば映画やＴＶ番組のドラマ、スポーツ中継の映像中には、シーンの切替り等の画面全体の輝度や輝度の分布が大きく変化するタイミングが存在する。その輝度変化タイミングに対応して、聴覚事象関連電位計測のノイズとなる視覚誘発電位が惹起される。
【００５２】
図３は、映像の輝度変化タイミングと、輝度変化によって惹起される視覚誘発電位が聴覚誘発電位の計測におよぼす影響の度合いとを模式的に示している。一連の映像内には、所定の閾値以上の輝度変化が起こる輝度変化タイミングがいくつも存在する。その輝度変化タイミングを起点に、視覚誘発電位が惹起される。それが、輝度変化を起点に約１００ｍｓ前後をピークにノイズとして混入する。視覚誘発電位の影響は、輝度変化タイミング後約２００ｍｓ前後まで持続する。したがって、そのような視覚誘発電位の影響が十分低い状況下で、聴覚刺激を呈示し、聴覚事象関連電位を計測すればよいと考えられる。
【００５３】
なお、本明細書でいう「輝度変化」には、映像の全体的な輝度が変化すること、および輝度分布が変化すること（平均輝度が変化しない場合を含む）の両方または一方が含まれる。そして輝度が変化したタイミングを「輝度変化タイミング」と呼ぶ。
【００５４】
上述のように、本願発明者らは、あらかじめ映像を分析して取得した輝度変化のタイミングを保持し、輝度変化のタイミングを起点に所定の時間範囲内において聴覚刺激を呈示しないよう、聴覚刺激の呈示タイミングを制御する方法を考案した。「所定の時間範囲」とは、たとえば輝度変化タイミングの前１００ｍｓから、輝度変化タイミングの後２００ｍｓの範囲である。これにより、視覚誘発電位の影響を低減することができる。
【００５５】
聴覚刺激の呈示タイミングを制御すると、映像の輝度変化の発生頻度によっては聴覚刺激の刺激間間隔が数秒程度あいてしまうことがある。本願発明者らは、そのような刺激間間隔に着目し、さらに考察を進めた。その結果、単に、映像の輝度変化タイミングに応じて聴覚刺激の呈示タイミングを制御するよりも、さらに高精度な聴覚事象関連電位計測が実現できることを見出した。具体的には、本願発明者らは、聴覚刺激の刺激間間隔が所定値以上あいた場合には、所定値以上あいた後最初に呈示される聴覚刺激を聴覚事象関連電位算出のための加算平均から除外することとした。
【００５６】
その理由は、従来の文献（Ｎａａｔａｎｅｎ，Ｒ、「Ａｔｔｅｎｔｉｏｎ  ａｎｄ  ｂｒａｉｎ  ｆｕｎｃｔｉｏｎ」、ｐ１２６、１９９２年）に記載されているように、刺激間間隔が数秒以上あいた場合には、感覚刺激に依存しない振幅の大きな成分が、聴覚刺激呈示後約１００ｍｓに惹起されてしまいノイズとして聴覚事象関連電位に混入すると考えられるからである。
【００５７】
従来、事象関連電位の計測時の試行において、ノイズを含んだ事象関連電位は除外された。具体的には、測定した電位データに基づいて、たとえば振幅の最大値が±８０μＶを超えた場合のように、明らかにノイズが混入した事象関連電位のみが除外された。従来行われた試行では、本開示の映像呈示のような、測定対象以外の情報呈示はしない場合が多く、その測定対象以外の情報呈示の内容に基づいて、事象関連電位が除外されることはなかった。なお、聴覚事象関連電位と視覚誘発電位とは、周波数が互いに近いため、周波数フィルタリングによって視覚誘発電位の影響を低減することは現時点では困難である。
【００５８】
以下、本開示にかかる例示的な実施形態として、聴覚事象関連電位計測システムを説明する。
【００５９】
（実施形態１）
＜聴覚事象関連電位計測システムの概説＞
本実施形態による聴覚事象関連電位計測システムは、聴覚事象関連電位計測中に映像を呈示し、あらかじめ保持している映像の輝度変化タイミングに応じて、輝度変化のタイミングを起点に所定の時間範囲内において聴覚刺激を呈示しないよう、聴覚刺激の呈示タイミングを制御する。これにより、ユーザの覚醒度変動が少なくかつ映像によって誘発される視覚誘発電位の影響影響をできるだけ低減した、高精度な聴覚事象関連電位計測を実現する。また、聴覚刺激の刺激間間隔が所定値以上あいた場合には、所定値以上あいた後最初に呈示された聴覚刺激を聴覚事象関連電位算出の加算平均から除外する。これにより、最初に呈示された聴覚刺激によって誘発される脳波に混入するノイズ成分の影響を低減でき、より高精度な聴覚事象関連電位計測を実現できる。
【００６０】
本実施形態においては、探査電極を中心部（Ｃｚ）に設け、基準電極を右マストイドに設けて、探査電極と基準電極の電位差である脳波を計測している。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定位置に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って事象関連電位の特徴を抽出し、聴覚事象関連電位の測定を行うことが可能である。そのような改変例は、本開示の範疇である。
【００６１】
＜利用環境＞
図４は、聴覚事象関連電位計測システム１の構成および利用環境を示す。この聴覚事象関連電位計測システム１（以下、「計測システム１」と記述する。）は、後述する実施形態１のシステム構成（図６）に対応させて例示している。
【００６２】
計測システム１は、ユーザ５の聴覚事象関連電位を高精度に計測するためのシステムである。ユーザ５の脳波信号は、ユーザが頭部に装着した生体信号計測部５０によって取得され、無線または有線で聴覚事象関連電位計測装置１０（以下「計測装置１０」と記述する。）に送られる。
【００６３】
聴覚刺激出力部６１と映像出力部７１は、計測装置１０から無線または有線で、それぞれ聴覚刺激と映像の情報を受け、ユーザ５にそれぞれ聴覚刺激と映像を呈示する。図４に示す計測システム１は、生体信号計測部５０および聴覚刺激出力部６１を同じ筐体内に備える。しかしこれは一例である。生体信号計測部５０および聴覚刺激出力部６１はそれぞれ別の筐体に設けられてもよい。
【００６４】
生体信号計測部５０は、ユーザの生体信号を計測する計測器である。本開示においては、生体信号計測部５０の一例は脳波計である。生体信号計測部５０は、少なくとも２つの電極Ａおよび電極Ｂと接続されている。たとえば、電極Ａはユーザ５のマストイドに貼り付けられ、電極Ｂはユーザ５の頭皮上の中心部（いわゆるＣｚ）に貼り付けられている。生体信号計測部５０は、電極Ａと電極Ｂとの電位差に対応するユーザ５の脳波を計測し、脳波信号を出力する。
【００６５】
聴覚刺激出力部６１は、たとえばユーザ５に聴覚刺激を出力するヘッドフォン、スピーカである。
【００６６】
映像出力部７１は、たとえばユーザ５に映像を呈示するモニタである。
【００６７】
計測装置１０は、たとえば映画やＴＶ番組の映像をユーザ５に呈示しながら、聴覚刺激を呈示し、聴覚事象関連電位を計測する。具体的には、あらかじめ保持している映像の輝度変化タイミングに応じて、輝度変化のタイミングを起点に所定の時間範囲内において聴覚刺激を呈示しないよう聴覚刺激の呈示タイミングを制御する。そして聴覚刺激の刺激間間隔が所定値以上あいた場合には、所定値以上あいた後最初に呈示された聴覚刺激を聴覚事象関連電位算出の加算平均から除外する。
【００６８】
＜ハードウェア構成＞
図５は、本実施形態による計測装置１０のハードウェア構成を示す。計測装置１０は、ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２と、グラフィックコントローラ３３を備えている。ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２、グラフィックコントローラ３３とは、互いにバス３４で接続されており、相互にデータの授受が可能である。
【００６９】
ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。計測装置１０は、このコンピュータプログラム３５にしたがって、聴覚刺激の生成、映像の再生、映像の輝度変化の検出、聴覚刺激の呈示タイミングの制御、除外試行の判定等の、計測システム１の全体を制御する処理を行う。この処理は後に詳述する。
【００７０】
オーディオコントローラ３２は、ＣＰＵ３０の命令に従って、それぞれ、呈示すべき聴覚刺激を指定されたタイミングで、指定された音圧および持続時間で聴覚刺激出力部６１を介して出力する。
【００７１】
グラフィックコントローラ３３は、ＣＰＵ３０の命令に従って、映像出力部７１を介して映像を出力する。
【００７２】
なお、計測装置１０は、１つの半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。そのようなＤＳＰは、１つの集積回路で上述のＣＰＵ３０、メモリ３１、オーディオコントローラ３２、グラフィックコントローラ３３の機能を全て実現することが可能である。
【００７３】
上述のコンピュータプログラム３５は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図５に示すハードウェアを備えた機器（たとえばＰＣ）は、当該コンピュータプログラム３５を読み込むことにより、本実施形態による計測装置１０として機能し得る。
【００７４】
＜計測システム１の構成＞
図６は、本実施形態による計測システム１の機能ブロックの構成を示す。計測システム１は、生体信号計測部５０と、聴覚刺激出力部６１と、映像出力部７１と、計測装置１０とを有している。計測システム１の各構成要素は、有線又は無線で接続されている。ユーザ５のブロックは説明の便宜のために示されている。
【００７５】
計測装置１０は、脳波処理部５５と、聴覚刺激生成部６０と、聴覚刺激スケジュール部６５と、映像再生処理部７０と、除外試行決定部８０と、聴覚事象関連電位算出部１００とを備えている。
【００７６】
なお、計測システム１は、少なくとも聴覚刺激生成部６０と、脳波処理部５５と、聴覚刺激スケジュール部６５とを有していれば良い。たとえば、図６に示される計測システム１には存在しているが、聴覚刺激生成部６０、脳波処理部５５、および聴覚刺激スケジュール部６５のみを有する計測システムに存在していない構成要素は、計測システムの外部の構成要素として存在していればよい。聴覚刺激生成部６０、脳波処理部５５、および聴覚刺激スケジュール部６５の各々は、図６に示されるような接続関係に基づいて、他の構成要素と情報を送受信することが可能である。それにより、本実施形態の動作を実現することができる。
【００７７】
聴覚刺激生成部６０による聴覚刺激の生成機能や、映像再生処理部７０の映像再生機能は他の機器によって実現されればよい。また、除外試行決定部８０は、聴覚事象関連電位の計測をさらに高精度に行うために設けられればよいが、必須ではない。また聴覚事象関連電位算出部１００は、除外試行決定部８０が存在しない場合で、かつ事象関連電位の加算平均を行う必要がない場合には、必須ではない。
【００７８】
計測装置１０の各機能ブロックは、それぞれ、図５に関連して説明したプログラムが実行されることによって、ＣＰＵ３０、メモリ３１、オーディオコントローラ３２、グラフィックコントローラ３３によって全体としてその時々で実現される機能に対応している。
【００７９】
以下、計測システム１の各構成要素を説明する。
【００８０】
＜映像再生処理部７０＞
映像再生処理部７０は、たとえば図示されないハードディスクラドイブ内に、ユーザに呈示される映像（コンテンツ）のデータを予め保持している。映像再生処理部７０は、その映像のコンテンツを再生する。映像のコンテンツとは、少なくとも一部が異なる複数の画像が、時系列で連続している情報である。たとえば映画やＴＶ映像のドラマやスポーツ中継とする。ユーザ５の覚醒度の変動を抑制するために、ユーザ５の興味度合いに合わせてユーザ５がコンテンツを選択できるようにしてもよい。
【００８１】
なお、本実施形態においては、映像のコンテンツは音声の情報を含まないとする。映像コンテンツ自体に音声情報が含まれていてもよいが、その場合には、映像再生処理部７０が音声をスピーカから出力しないように制御すること等によって、映像のコンテンツに含まれる音声情報の出力を禁止すればよい。
【００８２】
さらに、映像再生処理部７０は、あらかじめ保持した映像の輝度変化タイミングを、聴覚刺激スケジュール部６５に送る。なお、聴覚刺激スケジュール部は、「聴覚刺激タイミング決定部」とも表記することがある。
【００８３】
図７は輝度変化タイミングの例を示す。図７（ａ）に示したように、映像再生開始を０ｍｓとして、ミリ秒単位で記述された輝度変化タイミングのリストを用いてもよい。
【００８４】
なお、輝度変化タイミングは、映像再生処理部７０において映像を分析して検出してもよい。その場合、映像出力部７１を介して映像をユーザ５に呈示するよりも少なくとも２００ｍｓ以上前に映像を分析し、輝度変化タイミングを検出しておく必要がある。
【００８５】
輝度変化タイミングの検出方法として、たとえば画素ごとにフレームごとの輝度の差分を算出し、その差分の積分値があらかじめ設定した所定の閾値よりも大きいかどうかを判定し、大きい場合のタイミングを記録してもよい。つまり、映像コンテンツを構成する複数の画像において、連続する複数の画像に含まれる画素毎に比較して、所定以上の輝度変化がある場合に、輝度変化あると判定する。１つの画素毎に輝度変化を比較しても良いし、複数の画素毎に輝度変化を比較しても良い。これにより、映像再生処理部７０は、映像と輝度変化タイミングとを対応付けたデータを作成できる。
【００８６】
＜映像出力部７１＞
映像出力部７１は、映像再生処理部７０と有線または無線でつながり、映像再生処理部７０で再生処理された映像を出力する。映像出力部７１は、聴覚事象関連電位を計測している期間中は、できる限り長い時間映像を出力する。これにより、ユーザ５の覚醒度を維持することができる。
【００８７】
＜聴覚刺激スケジュール部６５＞
聴覚刺激スケジュール部６５は、映像再生処理部７０から受けた輝度変化タイミングを参照し、聴覚刺激を出力する時刻を決定する。聴覚刺激の出力する時刻を「スケジュール」とも表記する。
【００８８】
聴覚刺激スケジュール部６５は、聴覚刺激生成部６０および除外試行決定部８０に聴覚刺激のスケジュールを送る。聴覚刺激のスケジュールは、映像再生処理部７０が映像を再生しはじめた時刻を０ｍｓとして起算される。
【００８９】
聴覚刺激スケジュール部６５は、まず、任意に設定された聴覚刺激間間隔に基づき、初期スケジュールを決定する。図７（ｂ）の初期スケジュールの列は、たとえば刺激間間隔を３００±５０ｍｓとした場合のスケジュール値を示す。そして、映像再生処理部７０から図７（ａ）のような輝度変化タイミングを受けたとする。その場合に、聴覚刺激スケジュール部６５は、たとえば輝度変化タイミングを起点に所定の時間範囲内においては聴覚刺激を呈示しないよう、聴覚刺激のスケジュールを変更する。聴覚刺激間の間隔は、取得する事象関連電位に依存して変更することができる。輝度変化のタイミングから所定以上の間隔を空けて聴覚刺激を呈示しなければ、取得した事象関連電位が輝度変化により発生した信号か、聴覚刺激に対して発生した信号かを判別することできない可能性がある。
【００９０】
所定の時間範囲とは、たとえば輝度変化前１００ｍｓから、輝度変化後２００ｍｓまでの区間である。輝度変化前１００ｍｓから０ｍｓまでを含めている理由は、以下のとおりである。仮に、輝度変化前１００ｍｓに聴覚刺激が呈示されていたとする。すると、その聴覚刺激により、約２００ｍｓ後、すなわち輝度変化後１００ｍｓに聴覚事象関連電位が誘発される。一方、輝度変化時（０ｍｓ）の視覚刺激により、約１００ｍｓ後に視覚事象関連電位が誘発される。つまり、輝度変化後１００ｍｓに、聴覚事象関連電位および視覚事象関連電位が重なることになる。そのため、輝度変化前１００ｍｓの時点以降は聴覚刺激を呈示しないこととした。
【００９１】
聴覚刺激のスケジュール変更は、図７（ｂ）のＣａｓｅ１として示したように、たとえば初期スケジュールが、輝度変化タイミングを起点に所定の時間範囲に入っていた場合に、その聴覚刺激を間引いてもよい。また、図７（ｂ）のＣａｓｅ２として示したように、初期スケジュールが、輝度変化タイミングを起点に所定の時間範囲に入っていた場合に、所定の時間範囲が過ぎるまでは聴覚刺激呈示を待ち、その待ち時間分だけそれ以降の刺激も初期スケジュールから遅らせてもよい。
【００９２】
Ｃａｓｅ１では、輝度変化タイミングから次の聴覚刺激が呈示されるまでの間隔がランダムになるので、輝度変化特有の成分の影響をより受けにくい。他方Ｃａｓｅ２では、輝度変化タイミングから所定の時間範囲が経過した直後に次の聴覚刺激を呈示するため、Ｃａｓｅ１に比べて評価時間が短い。
【００９３】
図８は、上述の２種類のスケジュール変更方法の模式図である。Ｃａｓｅ１のスケジュール変更方法によれば、初期スケジュールにおいて、輝度変化タイミングを起点に所定の時間範囲に入っていた聴覚刺激が間引かれる。またＣａｓｅ２のスケジュール変更方法によれば、所定の時間範囲が過ぎるまでスケジュールを延長し、以降の聴覚刺激も延長した時間分だけずらされる。
【００９４】
＜聴覚刺激生成部６０＞
聴覚刺激生成部６０は、聴覚刺激スケジュール部６５から、聴覚刺激の呈示タイミングに関するスケジュール情報を取得し、そのタイミングにおいてユーザに呈示する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ５の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。呈示する聴覚刺激の左右耳および周波数、音圧を決定する。
【００９５】
たとえば次の制約に基づいてランダムに決定してもよい。
・直前の聴覚刺激と同じ周波数、同じ音圧の聴覚刺激は選択しない。
・左右耳はランダムな順序で選択することが好ましい。ただし、左右どちらか一方の耳への聴覚刺激の呈示を４回以上連続させないことが好ましい。
【００９６】
こうすることで、同一耳、周波数の聴覚刺激の連続呈示による脳波の慣れ（ｈａｂｉｔｕａｔｉｏｎ）の影響が低減され、高精度な聴覚事象関連電位計測を実現できる。
【００９７】
そして、聴覚刺激生成部６０は、決定した聴覚刺激を音声信号として生成し、聴覚刺激スケジュール部６５から受けた聴覚刺激の呈示タイミングに則って、聴覚刺激出力部６１に送る。聴覚刺激は、たとえばたとえば立ち上がり、立下り３ｍｓのトーンバースト音としてもよい。聴覚刺激の持続時間は、聴覚事象関連電位が安定して惹起されるよう、たとえば２５ｍｓ以上に設定する。また、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送ったタイミングで、脳波処理部５５にトリガを出力する。このトリガは、脳波処理部５５において聴覚刺激に対する事象関連電位を切り出す際に利用される。加えて、聴覚刺激生成部６０は、聴覚刺激の情報を聴覚事象関連電位算出部１００に送る。
【００９８】
＜聴覚刺激出力部６１＞
聴覚刺激出力部６１は、聴覚刺激生成部６０と有線または無線で接続されている。聴覚刺激出力部６１は、聴覚刺激生成部６０で生成された聴覚刺激データを再生し、ユーザ５に呈示する。
【００９９】
＜生体信号計測部５０＞
生体信号計測部５０は、ユーザ５の生体信号を計測する。生体信号計測部５０は、ユーザ５に装着されている基準電極と探査電極との電位差に対応する、ユーザ５の生体信号を計測する。本実施形態において、ユーザ５の生体信号は、脳波である。
【０１００】
生体信号計測部５０は、脳波データに対して適切な遮断周波数の周波数フィルタリングを行ってもよい。そして生体信号計測部５０は、その脳波データを脳波処理部５５に送る。周波数フィルタとしてバンドパスフィルタを用いる場合は、たとえば５Ｈｚから１５Ｈｚまでを通過させるように遮断周波数を設定してもよい。ユーザ５はあらかじめ脳波計を装着しているものとする。脳波計測用の探査電極はたとえば中心部のＣｚに装着される。
【０１０１】
＜脳波処理部５５＞
脳波処理部５５は、生体信号計測部５０から受けた脳波データから、聴覚刺激生成部６０から受けたトリガを起点に、所定区間（たとえば聴覚刺激呈示前１００ｍｓから聴覚刺激呈示後４００ｍｓの区間）の事象関連電位を切り出す。
【０１０２】
切り出す区間は、対象とする聴覚事象関連電位の成分を含む区間であればよい。例えば、聴覚刺激の時刻から５０ｍｓ以上１５０ｍｓ以下の区間に現れる陰性成分（Ｎ１成分）を例に考える。切り出す区間は、上述のように、聴覚刺激呈示前１００ｍｓから聴覚刺激呈示後４００ｍｓの区間でも良いし、聴覚刺激の時刻から５０ｍｓ以上１５０ｍｓ以下の区間でも良い。脳波処理部５５は、切り出された事象関連電位を聴覚事象関連電位算出部１００に送る。
【０１０３】
なお、切り出された事象関連電位とは、計測された脳波信号の所定区間から現に抽出された脳波データのみを意味しない。現に抽出されていなくても、必要な電位が抽出可能な状態になっている脳波データも含まれる。たとえば、脳波信号と、その脳波信号の当該所定区間を特定する区間情報とが存在していれば、必要な事象関連電位がいつでも抽出可能である。脳波処理部５５は、これらを取得すれば、「切り出された事象関連電位」を取得することができると言える。
【０１０４】
脳波処理部５５は、取得した事象関連電位を聴覚事象関連電位算出部１００に送る。
【０１０５】
＜除外試行決定部８０＞
除外試行決定部８０は、聴覚刺激スケジュール部６５から、聴覚刺激のスケジュールの情報を受け取る。除外試行決定部８０は、刺激間間隔が所定値以上の時間である場合に、その後最初に呈示された聴覚刺激を除外試行として決定する。
【０１０６】
所定値は、固定値としてもよいし、あらかじめ設定する聴覚刺激の刺激間間隔によって決めても良い。固定値とする場合には、文献（Ｎａａｔａｎｅｎ，Ｒ、「Ａｔｔｅｎｔｉｏｎ  ａｎｄ  ｂｒａｉｎ  ｆｕｎｃｔｉｏｎ」、ｐ１２６、１９９２年）において紹介されているように、感覚入力の種類によらずに惹起されるノイズ成分が発生する２秒と設定してもよいし、ノイズ成分が感覚刺激に関連した事象関連電位の振幅よりも大きくなる６秒に設定してもよい。また、刺激間間隔の最大値（刺激間間隔が３００±５０ｍｓの場合には３５０ｍｓ）の２以上の定数倍に設定してもよい。そして、除外試行決定部８０は、除外試行の情報を聴覚事象関連電位算出部１００に送る。除外試行の情報は、除外すべき聴覚刺激を特定できるよう、除外試行フラグが立てられた情報である。
【０１０７】
＜聴覚事象関連電位算出部１００＞
聴覚事象関連電位算出部１００は、聴覚刺激生成部６０から受けた聴覚刺激の情報と、除外試行決定部８０から受けた除外試行の情報に基づいて、脳波処理部５５から受けた事象関連電位のうち除外試行フラグの立っていない試行の事象関連電位を加算平均する。
【０１０８】
なお、本願明細書では、同じ周波数である等の同じ特徴を有する複数の聴覚刺激に対する事象関連電位の加算平均を計算することを想定している。よって、ここでの加算平均は、呈示された全ての聴覚刺激に対する事象関連電位を加算平均すること以外の方法を含む。「同じ周波数」とは、聴覚刺激の周波数が一致していること、または人間が聞き分けることができない程度に聴覚刺激の周波数が異なっている場合も含む。許容される変化幅は、例えば、５Ｈｚである。よって、異なる周波数とは、人間が聞き分けられる程度に周波数が異なることを意味する。
【０１０９】
図９は、聴覚事象関連電位算出部１００が、聴覚刺激生成部６０と除外試行決定部８０および脳波処理部５５から受ける情報の例を示す。試行番号ごとに、聴覚刺激の情報と除外試行フラグおよび事象関連電位の対応付けを行う。そして、たとえば左右耳ごと、周波数ごと、音圧ごとに除外試行フラグが立っていない試行の事象関連電位を加算平均する。
【０１１０】
図９中の「試行番号」は、聴覚事象関連電位の計測を開始してから呈示された聴覚刺激の通し番号である。聴覚刺激の情報のうち「左右」は、聴覚刺激を呈示した左右耳の識別番号である。たとえば右耳を１、左耳を２としてもよい。「周波数」は、聴覚刺激の周波数で単位はＨｚである。「音圧」は、聴覚刺激の音圧で単位はｄＢＨＬである。「除外試行フラグ」は、除外試行決定部８０で決定された除外試行のフラグである。たとえば、除外試行であると決定した場合に１を、除外試行でないと決定した試行を０としてもよい。「事象関連電位」は、脳波処理部５５において切り出したユーザ５の事象関連電位である。図９中では、模式的に波形を示しているが、事象関連電位のデータをたとえばサンプリングポイント数×計測チャンネル数の配列として受ける。
【０１１１】
なお、上述のように除外試行決定部８０は必須ではなく、省略することもできる。その場合には、聴覚事象関連電位算出部１００は、聴覚刺激出力部６１から聴覚刺激が出力された時刻を取得する。脳波処理部５５が取得した複数の聴覚刺激に対する事象関連電位のうち、直前の聴覚刺激との時間間隔が所定の時間以上の聴覚刺激の事象関連電位を除いた、事象関連電位を加算平均する。
【０１１２】
＜計測システム１の処理フロー＞
次に、図１０を参照しながら図６の計測システム１において行われる処理手順を説明する。図１０は、計測システム１において行われる処理の手順を示すフローチャートである。
【０１１３】
ステップＳ１０１において、生体信号計測部５０は、生体信号としてユーザ５の脳波を計測する。そして、脳波データに対して適切な遮断周波数の周波数フィルタリングを行い、連続脳波データを脳波処理部に送る。
【０１１４】
ステップＳ１０２において、映像再生処理部７０は、映像再生処理部７０内にあらかじめ保持した映像コンテンツの輝度変化タイミングを、聴覚刺激スケジュール部６５に送る。
【０１１５】
ステップＳ１０３において、聴覚刺激スケジュール部６５は、映像再生処理部７０から受けた輝度変化タイミングと、あらかじめ設定された聴覚刺激間間隔に基づき聴覚刺激のスケジューリングを行う。そして、聴覚刺激生成部６０および除外試行決定部８０に聴覚刺激のスケジュールを送る。
【０１１６】
聴覚刺激のスケジューリングは以下の手順で行う。まず、あらかじめ設定された聴覚刺激間間隔に基づき、初期スケジュールを決定する。つぎに、映像再生処理部７０から受けた輝度変化タイミングを起点に所定の時間範囲内においては聴覚刺激を呈示しないよう、聴覚刺激のスケジュールを変更する。スケジュールの変更方法は、たとえば初期スケジュールが、輝度変化タイミングを起点に所定の時間範囲に入っていた場合に、その聴覚刺激を間引いてもよい（図７（ｂ）のｃａｓｅ  １）。または、たとえば、初期スケジュールが、輝度変化タイミングを起点に所定の時間範囲に入っていた場合に、所定の時間範囲が過ぎるまでは聴覚刺激呈示を待ち、その待ち時間分だけそれ以降の刺激も初期スケジュールから遅らせてもよい（図７（ｂ）のｃａｓｅ  ２）。
【０１１７】
ステップＳ１０４において、聴覚刺激生成部６０は、聴覚刺激スケジュール部６５から受けた刺激呈示のタイミングにおいて出力する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ５の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。呈示する聴覚刺激の左右耳および周波数、音圧を決定する。そして、聴覚刺激生成部６０は、決定した聴覚刺激を生成し、聴覚刺激のスケジュールに則って聴覚刺激出力部６１に送る。また、聴覚刺激生成部６０は、聴覚刺激出力部６１に聴覚刺激の情報を送ったタイミングで、脳波処理部５５にトリガを出力する。加えて、聴覚刺激生成部６０は、聴覚刺激の情報を聴覚事象関連電位算出部１００に送る。
【０１１８】
ステップＳ１０５において、聴覚刺激出力部６１は、聴覚刺激生成部６０で生成された聴覚刺激データを再生し、ユーザ５に呈示する。
【０１１９】
ステップＳ１０６において、脳波処理部５５は、生体信号計測部５０から受けた脳波データから、聴覚刺激生成部６０から受けたトリガを起点に、所定区間（たとえば聴覚刺激呈示前１００ｍｓから聴覚刺激呈示後４００ｍｓの区間）の事象関連電位を切り出す。そして、その事象関連電位を聴覚事象関連電位算出部１００に送る。
【０１２０】
ステップＳ１０７は、ステップＳ１０４からステップＳ１０６の聴覚刺激呈示および事象関連電位抽出をあらかじめ設定した所定の回数だけ実施したかによる分岐である。たとえば、左右それぞれの耳について、５つの周波数のそれぞれ３つの音圧に対して、３０回の繰り返し回数とした場合、所定回数とは９００回（２×５×３×３０）である。ステップＳ１０８でＹｅｓの場合にはステップＳ１１０へ進み、Ｎｏの場合にはステップＳ１０５へ戻って聴覚刺激の呈示および事象関連電位の抽出を繰り返す。
【０１２１】
ステップＳ１０８において、映像再生処理部７０は、映像再生処理部７０内にあらかじめ保持した映像コンテンツを再生し、映像出力部７１を介してユーザ５に呈示する。映像コンテンツとは、たとえば映画やＴＶ映像のドラマやスポーツ中継とする。ユーザ５の覚醒度の変動を抑制するために、ユーザ５の興味度合いに合わせてユーザ５がコンテンツを選択できるようにしてもよい。なお、本実施形態では、映像コンテンツは、音を含まないように呈示されるとする。
【０１２２】
ステップＳ１０９において、聴覚事象関連電位算出部１００は、聴覚刺激生成部６０から受けた聴覚刺激の情報と、聴覚刺激スケジュール部６５から受けた聴覚刺激呈示のスケジュールの情報と、除外試行決定部８０から受けた除外試行の情報に基づいて、脳波処理部５５から受けた事象関連電位のうち除外試行フラグの立っていない試行の事象関連電位を加算平均する。
【０１２３】
なお、本開示において、ステップＳ１０９は必須ではない。映像の呈示を含む、ステップＳ１０１からＳ１０８までの処理により、ユーザ５は比較的覚醒度が高い状態で聴覚刺激を受けており、かつ視覚刺激の影響が抑えられた状態で、聴覚刺激によって誘発された聴覚事象関連電位の精度が高いと言えるからである。ステップＳ１０９の処理は、さらに精度を高めるために設けられていることに留意されたい。
【０１２４】
本実施形態の計測システム１によれば、聴覚事象関連電位計測中に映像を呈示し、映像の輝度変化タイミングを起点に所定の時間範囲以外のタイミングにおいて聴覚刺激を呈示し、かつ、聴覚刺激の刺激間間隔が所定値以上あいば場合には、所定値以上あいた最初の聴覚刺激を加算平均から除外する。それにより、ユーザの覚醒度変動が少なくかつ映像によって誘発される視覚誘発電位の影響を受けない高精度な聴覚事象関連電位計測が実現できる。これにより、ユーザの聞こえ評価の精度が向上し、たとえばユーザの不満の少ない補聴器の調整が実現できるようになる。
【０１２５】
なお、本実施形態においては、聴覚事象関連電位計測の結果の蓄積をしていないが、結果蓄積用のデータベースを新たに設け、結果を蓄積してもよい。
【０１２６】
（実施形態２）
実施形態１による計測システム１では、聴覚刺激と並列に呈示した映像の輝度変化タイミングに応じて、輝度変化タイミングを起点とした所定の時間範囲において聴覚刺激を呈示しないように聴覚刺激呈示タイミングをスケジューリングした。さらに、聴覚刺激の刺激間間隔が所定値以上あいた場合には、所定値以上あいた後最初に呈示される聴覚刺激を加算平均から除外して、感覚入力によらず惹起されるノイズ成分を除外した。それらによって、ユーザの覚醒度低下を抑制しつつ高精度な聴覚事象関連電位の計測が可能になった。
【０１２７】
本実施形態では、聴覚刺激の刺激間間隔が所定値以上あいた場合に、聴覚事象関連電位計測対象とは異なる周波数の聴覚刺激（本実施形態では「捨て聴覚刺激」と呼ぶ。）を呈示する。捨て聴覚刺激を呈示することにより、聴覚刺激の刺激間間隔が所定値以上となった場合に惹起される感覚入力によらないノイズ成分が、計測対象の聴覚事象関連電位に混入しないようにする。
【０１２８】
図１１は、実施形態による聴覚事象関連電位計測システム２（以下「計測システム２」と記述する。）の機能ブロックの構成を示す。計測システム２は、生体信号計測部５０と、聴覚刺激出力部６１と、映像出力部７１と、聴覚事象関連電位計測装置２０とを有している。図６と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、聴覚事象関連電位計測装置２０のハードウェア構成は、図５に示すとおりである。実施形態１で説明したプログラム３５と異なる処理を規定するプログラムが実行されることにより、図１１に示す本実施形態による聴覚事象関連電位計測装置２０が実現される。
【０１２９】
本実施形態による聴覚事象関連電位計測装置２０が、実施形態１による計測装置１０と相違する点は、捨て刺激生成部６２を新たに設けた点と、除外試行決定部８０を削除した点および、実施形態１にかかる聴覚刺激スケジュール部６５とは異なる機能を有する聴覚刺激スケジュール部６７を設けた点である。聴覚刺激スケジュール部６７は、聴覚刺激の刺激間間隔が所定値以上あいた場合に、捨て刺激生成部６２から捨て聴覚刺激を呈示するように処理を切り替える。
【０１３０】
以下、捨て刺激生成部６２、および聴覚刺激スケジュール部６７を説明する。
【０１３１】
捨て刺激生成部６２は、聴覚事象関連電位の計測対象とは異なる周波数の聴覚刺激を生成し、生成した聴覚刺激を「捨て刺激」として、聴覚刺激出力部６１を介してユーザ５に呈示する。たとえば、聴覚事象関連電位の計測対象の周波数が、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚであった場合には、２５０Ｈｚや８０００Ｈｚのような、計測対象の周波数範囲とは異なる周波数の聴覚刺激を生成する。この聴覚刺激の音圧は、聴覚事象関連電位の計測対象の音圧の範囲内に設定してもよい。計測対象の周波数範囲とは異なる周波数の聴覚刺激を捨て刺激とすることで、慣れによる計測対象の聴覚刺激に対する反応への影響を排除できる。なお、捨て刺激によって誘発される事象関連電位を計測する必要はないため、捨て刺激生成部６２から脳波処理部５５に対してトリガを出力する必要はない。
【０１３２】
聴覚刺激スケジュール部６７は、聴覚刺激スケジュール部６５と同様に、映像再生処理部７０から受けた輝度変化タイミングを参照し、聴覚刺激のスケジューリングを行う。聴覚刺激のスケジューリングは、図８のＣａｓｅ２のように行う。そして、聴覚刺激の刺激間間隔が所定値よりも大きい場合には捨て刺激生成部６２に、刺激間間隔が所定値以下の場合には聴覚刺激生成部６０にそれぞれ聴覚刺激のスケジュールを送る。所定値は、固定値としてもよいし、あらかじめ設定する聴覚刺激の刺激間間隔によって決めても良い。固定値とする場合には、上述の文献（Ｎａａｔａｎｅｎ，Ｒ、「Ａｔｔｅｎｔｉｏｎ  ａｎｄ  ｂｒａｉｎ  ｆｕｎｃｔｉｏｎ」、ｐ１２６、１９９２年）において言及されている「２秒」としてもよい。「２秒」とは、感覚入力の種類によらずに惹起されるノイズ成分が発生する秒数を表す。または、当該文献において言及されている「６秒」としてもよい。「６秒」とは、ノイズ成分が感覚刺激に関連した事象関連電位の振幅よりも大きくなる秒数を表す。また、刺激間間隔の最大値（刺激間間隔が３００±５０ｍｓの場合には３５０ｍｓ）の２以上の定数倍に設定してもよい。
【０１３３】
なお、捨て刺激と、その直後に呈示される聴覚刺激との関係は、たとえば上述した所定値よりも短いが、初期スケジュールの隣接する２つの聴覚刺激の平均間隔よりも長くすればよい。
【０１３４】
次に、図１２のフローチャートを参照しながら、計測システム２において行われる全体的な処理の手順を説明する。
【０１３５】
図１２は、本実施形態による計測システム２の処理手順を示す。図１２では、計測システム１の処理（図１０）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
【０１３６】
本実施形態による計測システム２の処理が、実施形態１による計測システム１の処理と相違する点は、ステップＳ２０１からＳ２０３である。それ以外のステップについては、図１０に関連して既に説明しているため、説明を省略する。
【０１３７】
ステップＳ２０１は、聴覚刺激スケジュール部６７で、ステップＳ１０３においてスケジューリングされた聴覚刺激の刺激間間隔が、所定値よりも大きいかどうかによる分岐である。所定値よりも大きい場合にはステップＳ２０２へ、小さい場合はステップＳ１０４にそれぞれ進む。
【０１３８】
ステップＳ２０２おいて、捨て刺激生成部６２は、聴覚事象関連電位の計測対象とは異なる周波数の捨て刺激を生成する。たとえば、聴覚事象関連電位の計測対象の周波数が、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚであった場合には、２５０Ｈｚや８０００Ｈｚのように計測対象の周波数範囲とは異なる周波数の聴覚刺激を捨て刺激として生成する。聴覚刺激の音圧は、聴覚事象関連電位の計測対象の音圧の範囲内に設定してもよい。
【０１３９】
ステップＳ２０３において、聴覚刺激出力部６１は、捨て刺激生成部６２で生成された聴覚刺激をユーザ５に呈示する。
【０１４０】
本実施形態の計測システム２によれば、聴覚事象関連電位計測中に映像を呈示し、映像の輝度変化タイミングを起点に所定の時間範囲以外のタイミングにおいて聴覚刺激を呈示し、かつ、聴覚刺激の刺激間間隔が所定値以上あいた場合には、捨て刺激を呈示して感覚入力に依存しないノイズ成分の影響を排除する。それにより、ユーザの覚醒度変動が少なくかつ映像によって誘発される視覚誘発電位の影響を受けない高精度な聴覚事象関連電位計測が実現できる。
【産業上の利用可能性】
【０１４１】
本開示の聴覚事象関連電位計測装置および聴覚事象関連電位計測システムによれば、聴覚刺激と並列に呈示した映像の輝度変化タイミングに応じて、輝度変化タイミングを起点に所定の時間範囲において聴覚刺激を呈示しないように聴覚刺激呈示タイミングをスケジューリングし、さらに、聴覚刺激の刺激間間隔が所定値以上あいた場合には、所定値以上あいた後最初に呈示される聴覚刺激を加算平均から除外して、感覚入力によらず惹起されるノイズ成分を除外する。それらによって、ユーザの覚醒度低下を抑制しつつ高精度な聴覚事象関連電位の計測が実現される。高精度な聴覚事象関連電位の計測結果は、ユーザの客観的な聞こえ評価において利用可能である。
【符号の説明】
【０１４２】
１、２    聴覚事象関連電位計測システム（計測システム）
５    ユーザ
１０、２０  聴覚事象関連電位計測装置（計測装置）
５０  生体信号計測部
５５  脳波処理部
６０  聴覚刺激生成部
６１  聴覚刺激出力部
６２  捨て刺激生成部
６５、６７  聴覚刺激スケジュール部
７０  映像再生処理部
７１  映像出力部
８０  除外試行決定部
１００  聴覚事象関連電位算出部
【図１】
2013057931.tif 000003
【図２】
2013057931.tif 000004
【図３】
2013057931.tif 000005
【図４】
2013057931.tif 000006
【図５】
2013057931.tif 000007
【図６】
2013057931.tif 000008
【図７】
2013057931.tif 000009
【図８】
2013057931.tif 000010
【図９】
2013057931.tif 000011
【図１０】
2013057931.tif 000012
【図１１】
2013057931.tif 000013
【図１２】
2013057931.tif 000014
【国際調査報告】
2013057931.tif 000015
2013057931.tif 000016
2013057931.tif 000017