(57)【要約】判定部（２００）は、生体信号検出部（１０１）で計測されたユーザ（５０）の脳波の事象関連電位の中から、特定事象関連電位の有無を判定する。判定基準記憶部（２０３）は、特定事象関連電位の発生回数に応じた複数の判定基準を記憶している。ユーザ状態判定部（２０１）は、判定結果記憶部（２０）を参照して特定事象関連電位の発生回数を得て、この発生回数から、判定基準記憶部（２０３）内のいずれかの判定基準を選択し、判定を行う。【特許請求の範囲】
【請求項１】
ユーザの要求を受ける入力部と、
前記入力部によって受けた前記要求に対し、応答内容を決定する機器動作制御部と、
前記機器動作制御部によって決定された応答内容を前記ユーザに提示する提示部と、
前記ユーザの生体信号として脳波の事象関連電位を計測する生体信号検出部と、
前記提示部が前記応答内容を提示したタイミングを起点として、前記生体信号検出部で計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定する判定部とを備え、
前記判定部は、
判定結果の履歴を記憶する判定結果記憶部と、
特定事象関連電位の発生回数に応じて、特定事象関連電位の有無を判定するための複数の判定基準を、記憶する判定基準記憶部と、
前記判定結果記憶部を参照して、特定事象関連電位の発生回数を得て、この発生回数から、前記判定基準記憶部内のいずれかの判定基準を選択し、選択した判定基準を用いて、特定事象関連電位の有無を判定するユーザ状態判定部とを備えたことを特徴とするサービス提供装置。
【請求項２】
請求項１において、
前記判定基準記憶部は、さらに、特定事象関連電位の発生が連続した場合のための連続用判定基準を少なくとも１つ記憶しており、
前記ユーザ状態判定部は、前記判定結果記憶部を参照して、前回の判定において特定事象関連電位が有ると判定していた場合、前記判定基準記憶部内の前記連続用判定基準のうちのいずれか１つを選択して、選択した連続用判定基準を用いて特定事象関連電位の有無を判定する
ことを特徴とするサービス提供装置。
【請求項３】
請求項１において、
前記所定の時間は、４５０ｍｓ以上８００ｍｓ以下である
ことを特徴とするサービス提供装置。
【請求項４】
請求項３において、
前記所定の時間は、６００ｍｓ前後または７５０ｍｓ前後である
ことを特徴とするサービス提供装置。
【請求項５】
請求項１において、
前記判定基準は、予め測定された事象関連電位の結果に基づいて作成されたテンプレートである
ことを特徴とするサービス提供装置。
【請求項６】
請求項１において、
前記機器動作制御部は、前記特定事象関連電位の有無に応じて、応答内容を再度決定する、または応答内容をキャンセルする
ことを特徴とするサービス提供装置。
【請求項７】
ユーザの要求を受けるステップＡと、
前記要求に対し、応答内容を決定するステップＢと、
決定された前記応答内容を前記ユーザに提示するステップＣと、
前記ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、
前記応答内容を提示したタイミングを起点として、計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含み、
前記ステップＥは、
判定結果の履歴を参照して、特定事象関連電位の発生回数を得るサブステップと、
前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、特定事象関連電位の有無を判定するサブステップとを含む
ことを特徴とするサービス提供方法。
【請求項８】
ユーザの要求を受けるステップＡと、
前記要求に対し、応答内容を決定するステップＢと、
決定された前記応答内容を前記ユーザに提示するステップＣと、
前記応答内容を提示したタイミングを起点として、計測された前記ユーザの脳波の事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとをコンピュータに実行させるためのプログラムであって、
前記ステップＥは、
判定結果の履歴を参照して、特定事象関連電位の発生回数を得るサブステップと
、
前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、前記特定事象関連電位の有無を判定するサブステップとを含む
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、脳波の事象関連電位を計測して、その中に特定の事象関連電位が存するか否かを判断して適切なサービスを提供するサービス提供装置、サービス提供方法およびプログラムに関するものである。
【背景技術】
【０００２】  事象関連電位を用いて事象（試行）ごとのユーザ状態を推定し、機器へ応用する場合には事象関連電位に基づくユーザ状態の推定精度が問題となる。非特許文献１に記載のように、事象関連電位の振幅は背景脳波に比べて１０分の１程度と小さいため、単純に電位波形を閾値処理するような手法で識別を行うことは通常難しい。【０００３】  従来、事象関連電位に基づいてユーザ状態を推定し、機器インタフェースに応用する技術としては特許文献１がある。特許文献１では、機器動作に対するユーザの予期と、実際の機器動作に差異があった場合のユーザ状態を期待はずれと定義し、事象関連電位に現れる期待はずれ信号成分を指標に、ユーザの期待はずれ状態の検出を実現している。その際事象関連電位の特長を生かして、即座（６００ｍｓ程度）にユーザの期待はずれ状態を検出して、インタラクティブなサービス変更を実現される。特許文献１では、２０試行程度の期待はずれ状況の加算平均波形をテンプレートとして相関係数を計算し、マハラノビス距離を計算するという判別分析によって期待はずれを検出している。【０００４】  また従来、脳波信号に混入するノイズを低減するための技術として、特許文献２、特許文献３がある。特許文献２では、周波数解析、ウェーブレット、テンプレート、共分散などの手法で閾値を決定する方法で、また、特許文献３では、帯域フィルタを用いる方法で、混入するノイズの低減を実現して、脳波信号から所望の成分を抽出している。
【特許文献１】ＷＯ２００５／００１６７７号公報
【特許文献２】特開平８−２５７４９９号公報
【特許文献３】特開平８−１１７１１９号公報
【非特許文献１】加我他、「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に−」、篠原出版新社、１９９５
【非特許文献２】誘発電位計測指針案（１９９７年改訂）
【発明の開示】
【発明が解決しようとする課題】
【０００５】  特許文献１の期待はずれ信号は、ユーザの予期と実際の結果との差異である期待はずれを反映した内因性の成分である。そのため、試行を複数回行うと試行ごとのユーザの予期に応じて計測される期待はずれ信号成分が変化する可能性がある。実際に本願発明者らは、後述のような期待はずれ信号取得の実験を実施した結果、事象関連電位に現れる期待はずれ信号成分の振幅や潜時は期待はずれ状況の数回の繰り返しによって急激に変化することを、新たに発見した。【０００６】  期待はずれ信号成分の機器への応用を考えると、例えば使い方が分からない機器を操作する場合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習でユーザの不得意な領域の問題が多く出題された場合などにおいて、期待はずれ状況が複数回発生すると考えられる。前述のように期待はずれが複数回発生するような状況においては、期待はずれ信号成分が変化するため、特許文献１のように単一のテンプレートを用いた期待はずれ判定では、期待はずれの判定精度が低下する可能性がある。また、計測される信号成分が変化する状況においては、特許文献２、特許文献３のようなノイズ低減手法によって所望の信号成分を高精度に抽出することは困難である。【０００７】  このような問題に鑑み、本発明では複数回の事象関連電位計測において、事象関連電位に現れる期待はずれ信号成分が変化する状況においても、期待はずれ判定を高精度で実行可能にすることを目的とする。
【課題を解決するための手段】
【０００８】  前記の課題を解決するために、本発明のサービス提供装置は、ユーザの要求を受ける入力部と、前記入力部によって受けた前記要求に対し、応答内容を決定する機器動作制御部と、前記機器動作制御部によって決定された応答内容を前記ユーザに提示する提示部と、前記ユーザの生体信号として脳波の事象関連電位を計測する生体信号検出部と、前記提示部が前記応答内容を提示したタイミングを起点として、前記生体信号検出部で計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定する判定部とを備え、前記判定部は、判定結果の履歴を記憶する判定結果記憶部と、特定事象関連電位の発生回数に応じて、特定事象関連電位の有無を判定するための複数の判定基準を、記憶する判定基準記憶部と、前記判定結果記憶部を参照して、特定事象関連電位の発生回数を得て、この発生回数から、前記判定基準記憶部内のいずれかの判定基準を選択し、選択した判定基準を用いて、特定事象関連電位の有無を判定するユーザ状態判定部とを備えた構成とした。【０００９】  本発明によると、特定事象関連電位の発生回数に応じた複数の判定基準が判定基準記憶部に記憶されており、ユーザの要求から特定関連電位の有無の判定までの一連の作業が複数回行われる場合において、特定事象関連電位の発生回数に応じた判定基準を用いて、特定事象関連電位の有無が判定されるので、ユーザ状態の推定精度の向上が実現できる。【００１０】  ある好適な実施形態において、前記判定基準記憶部は、さらに、特定事象関連電位の発生が連続した場合のための連続用判定基準を少なくとも１つ記憶しており、前記ユーザ状態判定部は、前記判定結果記憶部を参照して、前回の判定において特定事象関連電位が有ると判定していた場合、前記判定基準記憶部内の前記連続用判定基準のうちのいずれか１つを選択して、選択した連続用判定基準を用いて特定事象関連電位の有無を判定する。【００１１】  前記所定の時間は、４５０ｍｓ以上８００ｍｓ以下であることが好ましい。【００１２】  前記所定の時間は、６００ｍｓ前後または７５０ｍｓ前後であることが好ましい。【００１３】  前記判定基準は、予め測定された事象関連電位の結果に基づいて作成されたテンプレートであることが好ましい。【００１４】  ある好適な実施形態において、前記機器動作制御部は、前記特定事象関連電位の有無に応じて、応答内容を再度決定する、または応答内容をキャンセルする。【００１５】  また、本発明のサービス提供方法は、ユーザの要求を受けるステップＡと、前記要求に対し、応答内容を決定するステップＢと、決定された前記応答内容を前記ユーザに提示するステップＣと、前記ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、前記応答内容を提示したタイミングを起点として、計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含み、前記ステップＥは、判定結果の履歴を参照して特定事象関連電位の発生回数を得るサブステップと、前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、前記特定事象関連電位の有無を判��するサブステップとを含む構成を有している。【００１６】  本発明のプログラムは、ユーザの要求を受けるステップＡと、前記要求に対し、応答内容を決定するステップＢと、決定された前記応答内容を前記ユーザに提示するステップＣと、前記応答内容を提示したタイミングを起点として、計測された前記ユーザの脳波の事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとをコンピュータに実行させるためのプログラムであって、前記ステップＥは、判定結果の履歴を参照して特定事象関連電位の発生回数を得るサブステップと、前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、前記特定事象関連電位の有無を判定するサブステップとを含んでいる。
【発明の効果】
【００１７】  本発明によると、判定結果の履歴を参照して得た特定事象関連電位の発生回数に応じて、判定基準が決定される。これにより、複数回の試行中において、特定事象関連電位の発生回数に応じた判定が可能となるため、識別精度が向上し、ユーザ状態の判定精度が向上する。
【図面の簡単な説明】
【００１８】
【図１】図１は、実施の形態２に係る理解度判定装置の構成図である。
【図２】図２は、判定結果ＤＢ２０２の保存履歴の具体例を示すテーブルである。
【図３】図３は、ユーザ状態判定部２０１に記憶するテンプレートの１具体例である。
【図４】図４は、ユーザ状態判定部２０１に記憶するテンプレートの別の具体例である。
【図５】図５は、ユーザ状態判定部２０１に記憶するテンプレートの他の具体例である。
【図６】図６は、ユーザ状態判定方法の例を示すフローチャートである。
【図７】図７は、問題ＤＢ３０３に記憶された問題などの情報の具体例である。
【図８】図８は、結果蓄積ＤＢ３０４に蓄積されたユーザの理解状況の具体例である。
【図９】図９は、図１のあてずっぽう／勘違い判定部における判定ロジックを示すテーブルである。
【図１０】図１０は、図１の理解度判定装置の動作を示すフローチャートである。
【図１１】図１１は、解答結果として蓄積される重み付け係数の例である。
【図１２】図１２は、実施の形態３に係るサービス提供装置の構成図である。
【図１３】図１３は、実施の形態１に係るサービス提供装置の構成図である。
【図１４】図１４（ａ）は本願発明者らが行った実験の手順の概要図であり、図１４（ｂ）は実験の一試行分の手順を示すフローチャートである。
【図１５】図１５は、４人の被験者の実験における事象関連電位データの総加算平均波形を示すグラフである。
【図１６】図１６は、判定基準切り替えのためのテンプレート作成手順を示すフローチャートである。
【図１７】図１７は、発生回数に応じて期待はずれ信号が変化することを示すグラフである。
【図１８】図１８は、期待はずれ信号検出のために判定基準を変更した本発明の信号処理を示すフローチャートである。
【図１９】図１９（ａ）は処理の違いと識別率の関係を示す表であり、図１９（ｂ）は処理の違いによる識別率の変化を示すグラフである。
【図２０】図２０は、単一のテンプレートを用いた判定処理のフローチャートである。
【図２１】図２１は、連続条件での期待はずれ信号の加算平均波形を示すグラフである。
【図２２】図２２は、連続条件での判定基準切り替え手順を示すフローチャートである。
【符号の説明】
【００１９】１      サービス提供装置
１０    入力部
１１    出力部（提示部）
２０    判定結果記憶部
１００  理解度判定装置（サービス提供装置）
１０１  生体信号検出部
１０２  提示部
１０３  入力部
２００  判定部
２０１  ユーザ状態判定部
２０２  判定結果ＤＢ（判定結果記憶部）
３００  機器動作制御部
３０１  正誤判別部
３０２  あてずっぽう／勘違い判定部
３０３  問題ＤＢ
３０４  結果蓄積ＤＢ
３０５  問題選択部
５００  サービス提供装置
５０１  応答内容決定部
【発明を実施するための最良の形態】
【００２０】  以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の図面においては、説明の簡潔化のため、実質的に同一の機能を有する構成要素を同一の参照符号で示す。【００２１】  まず、本発明に至った経緯について説明する。本願発明者らは、後述の期待はずれ信号（特定事象関連電位）取得の実験を行い、事象関連電位に現れる期待はずれ信号成分の振幅や潜時が期待はずれ状況の数回の繰り返しによって変化することを、新たに発見した。例えば使い方が分からない機器を操作する場合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習において、ユーザの不得意な領域の問題が多く出題された場合においては期待はずれ状況が複数回発生すると考えられる。このような状況において特許文献１のような単一の判定基準による期待はずれ判定を行った場合、識別率が低下する可能性がある。そこで、本願発明者らは、期待はずれ状況が複数回生じるような場合に、ユーザの状態遷移に応じて判定基準を切り替えることで高精度な期待はずれ判定を行うことを考えた。【００２２】  次に、本願発明者らが行った期待はずれ信号を取得するための実験について説明した後に、実際に期待はずれ状況の繰り返しによって期待はずれ信号が変化すること、およびユーザの状態遷移に応じた期待はずれ判定の切り替えによって識別率が向上することを示す。【００２３】  （期待はずれ信号取得の実験）
図１４（ａ）は実験手順の概要を示す図である。この実験は、被験者に指示を与え（手順Ａ）、その指示を受けて被験者が必要な行為を思い浮かべて機器を操作し（手順Ｂ）、その操作結果としての動作を被験者に提示する（手順Ｃ）、という手順からなっている。【００２４】  まず、実験者から、被験者に対して、「画面に「Ｌ」または「Ｒ」の文字が表示されるので、Ｌの文字に対してはマウスの左クリック、Ｒの文字に対しては右クリックを押して欲しい」と説明する。そして、「Ｌ」「Ｒ」を５０％の確率でランダムに選択して、画面に表示する（手順Ａ）。被験者は、表示された文字を見て、教示されたルールに従って、右または左のクリックを行う（手順Ｂ）。そして、その操作に対して、正しくクリックがなされたか否かを、「○」「×」で画面に表示する（手順Ｃ）。すなわち、マウスがユーザの要求（左クリック、右クリック）を受ける入力部であり、画面が応答内容（「○」、「×」）を提示する提示部である。【００２５】  ただし、この実験では、クリックが正しくなされたとしても（ほぼ１００％正しくなされるはずである）、２０％の確率で「×」を表示するものとする。その結果、実験を通して、正しい行動にも関わらず「×」が表示される期待はずれ試行が２０回程度繰り返されることになる。実験では、複数の被験者について、まず練習として常に「○」が表示される試行を３０試行行った後に、図１４（ｂ）に示す手順による試行を１００試行行った。【００２６】  図１４（ｂ）は１試行分の手順を示すフローチャートである。まず、画面に「Ｌ」または「Ｒ」の文字を５０％の確率で選択して表示し（Ｓ１１０１）、被験者はその表示を見てどちらのボタンをクリックするかを決定して、マウスを操作する（Ｓ１１０２）。被験者の操作を受けて、正しく操作されたか否かに基づいて「○」「×」を表示する。このとき、「○」を表示すべき場合でも、２０％の確率で「×」を表示する（Ｓ１１０３）。「○」「×」が表示されたタイミングを起点として、被験者の脳波における事象関連電位を測定し（Ｓ１１０４）、その測定された事象関連電位を処理して、期待はずれ信号を識別する（Ｓ１１０５）。【００２７】  図１５は実験結果で、４人の被験者の実験データを総加算平均した波形を示すグラフである。図１５のグラフは、脳波計で測定された電位波形を「○」「×」の提示を起点にしてそれぞれ２０回程度ずつ、４人の被験者で合計８２回加算したものであり、横軸は刺激提示（「○」「×」が表示されたとき）からの時間で単位はｍｓ、縦軸は電位で単位はμＶである。破線は「期待はずれ」すなわち正しくクリックしたにもかかわらず「×」が表示されたときの波形（期待はずれあり）、実線は通常時すなわち正しくクリックして「○」が表示されたときの波形（期待はずれなし）である。図１５から、「期待はずれ」のときは、刺激提示から約６００ｍｓ前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、この事象関連電位（特定事象関連電位）を計測することによって、ユーザの「期待はずれ状態」を検出することができる、と予想される。ｔ検定を行った結果、期待はずれのある／なしによって潜時４５０−８００ｍｓ付近で有意差が認められた（ｐ＜０．０５）。この有意差が認められた時刻を図１５中に示す。なお、電極は、国際１０−２０法に従い、１）Ｐｚ：正中頭頂、２）３）Ａ１，Ａ２：両耳朶、４）ボディーアース（Ｚ）：鼻根部の４箇所に貼り付けた。サンプリング周波数は１０００Ｈｚ、帯域通過フィルタは０．０３−１００Ｈｚとした。【００２８】  この実験で明らかになったように、被験者の予期どおりに「○」「×」が表示されたか否かによって、脳波計で計測される事象関連電位には、明確な差がある。したがって、この事象関連電位は、ユーザ状態の判定において、「期待はずれ信号」として用いることができる。【００２９】  （期待はずれ信号の変化）
前述の期待はずれ信号取得の実験においては、正しく行為を選択したにもかかわらず「×」が表示される期待はずれ状況が２０回程度繰り返される。そのため、途中から被験者は期待はずれ状況が発生することに気づき、正しい行為に対して常に「○」が表示されるという予期から、正しい行為にもかかわらず「×」が表示される場合もある、のように予期状態が変化している可能性がある。【００３０】  そこで、期待はずれ状況の繰り返しに伴う期待はずれ信号の変化を調べるために、図１６に示したフローチャートのような処理を行った。【００３１】  Ｓ１３０１は、応答内容（「○」、「×」）を出力したタイミシグ（応答提示時）を起点として、脳波の電位変化のサンプリングを行うステップである。サンプリング周波数としては例えば、２００Ｈｚ、５００Ｈｚ、１０００Ｈｚなどがある。【００３２】  Ｓ１３０２はＳ１３０１でサンプリングした電位変化波形からノイズを除去するステップである。ここでは、信号に混入する低周波成分と高周波成分をカットするために例えば０．０３−３０Ｈｚの帯域通過フィルタに通したり、瞬きや眼球運動による影響を低減するために、８０μＶ以上の振幅を持つ波形を識別対象から除去したりする。【００３３】  Ｓ１３０３は前述の期待はずれ取得実験において行為（左右のマウスクリック）は正しかったにもかかわらず「×」が提示されたかどうか、つまり期待はずれの試行であったかどうかを判定する（特定事象関連電位の有無を判定する）ステップである。正しい行為で「×」が提示された場合はＳ１３０４に、「○」が提示された場合はＥｎｄにそれぞれ進む。【００３４】  Ｓ１３０４は期待はずれ状況の繰り返しに伴って、期待はずれ信号が変化するかどうかを調べるために、期待はずれ試行の繰り返し回数ｎに応じてどの段階の期待はずれ信号として加算平均するかを切り替えるステップである。Ｓ１３０５からＳ１３０８はそれぞれ段階１（初期）、段階２、段階３、段階４（後期）として、期待はずれ信号を加算平均するステップである。なお、ここではＳ１３０４において１人について期待はずれが１〜４回目は段階１、５〜８回目は段階２，９〜１２回目は段階３、１３回目以上は段階４としている。Ｓ１３０９は期待はずれの試行回数をインクリメントするステップである。【００３５】  このようなＳ１３０１からＳ１３０９までのステップを４人の被験者のデータで行うことで、それぞれの段階で同程度の繰り返し回数の期待はずれ状況を１６回加算平均できる。今回は、段階ごとの加算回数を確保しながら波形の時系列変化を調べるために、被験者の人数、実施した実験の繰り返し回数などを考慮して４試行ごとで４つの段階に分類した。【００３６】  図１７に、期待はずれの段階ごとに加算平均して得られた期待はずれ信号成分の時系列変化を示す。図１７中の（ａ）は段階ごとの期待はずれ信号の加算平均波形で横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。期待はずれ信号の振幅、潜時はそれぞれの段階ごとに異なっているが、段階間を比較すると波形変化の傾向は似ている。これによって、各段階１６回程度の加算平均ではあるがノイズ成分の影響は低減されていると考えられる。図１７（ｂ）は期待はずれ信号の振幅（��００ｍｓ前後に現れている特定事象関連電位としての最大振幅）の時系列変化をそれぞれの段階ごとにプロットした図で、縦軸は電位で単位はμＶである。段階１の期待はずれ信号の振幅が大きく、期待はずれの繰り返し回数が増えると振幅が減少していることが分かる。（ｃ）は期待はずれ信号の潜時の変化をそれぞれの段階ごとにプロットしたで縦軸は時間で単位はｍｓである。段階１の期待はずれ信号に比べて、繰り返し回数が増えると潜時が短縮していることが分かる。このように、複数回の試行を行う中で期待はずれ信号が２０回程度現れる事象であっても特定事象関連電位の振幅、潜時が大きく変化することが明らかになった。【００３７】  非特許文献２のＰ１３Ｌ２０−２３から読み取れるように、提示された音程や画像の違いなどを判断するという一般的なオドボール刺激を用いた場合には、２０回程度の繰り返し試行においては事象関連電位の成分は変化しないとされている。さらに視覚刺激を用いたオドボール課題において４０回程度の繰り返し試行においても振幅は大きく変化しないことも報告されている（Ｊ．Ｃｏｈｅｎ，Ｊ．Ｐｏｌｉｃｈ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ  ２５，１９９７，ｐ２４９−２５５（Ｆｉｇ．２））。したがって、この変化は期待はずれ信号成分のように高次な内因性の脳活動に特有なものであると考えられる。【００３８】  （期待はずれ信号の検出）
期待はずれ信号成分は、期待はずれ状況の２０回程度の繰り返しであっても、その繰り返しの間にその成分が急激に変化する。例えば使い方が分からない機器を操作する場合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習でユーザの不得意な領域の問題が多く出題された場合などにおいて、期待はずれ状況が複数回発生すると考えられる。このような状況において、特許文献１のように単一のテンプレート（判定基準となる波形図）を用いた期待はずれ判定では、期待はずれの判定精度が低下する可能性がある。そこで、期待はずれ状況の繰り返し回数に応じて判定基準を切り替えて期待はずれの識別率を向上させる判定手法について以下に説明する。【００３９】  図１８は、判定基準を切り替えて期待はずれ信号を検出する具体的な方法の例のフローチャートである（処理ａ）。あらかじめ、図１６に示したような方法で、４人の被験者の期待はずれ状況の信号を期待はずれ試行の繰り返し回数に応じて、例えば段階１、段階２、段階３、段階４のように、繰り返し回数に応じて４つの段階に分けて加算平均した４つの標準波形（期待はずれありのテンプレート１から４）と、期待はずれでない通常時の信号を加算平均した標準波形（期待はずれなしのテンプレートと表記）とを作成しておき、期待はずれ状況の繰り返し回数に応じて期待はずれありのテンプレート１から４を切り替えて用いるものとする。【００４０】  以下、処理ａの各ステップについて順に説明する。【００４１】  まず、応答内容を出力したタイミング（応答提示時）を起点として、脳波の事象関連電位変化のサンプリングを行う（Ｓ１５０１）。サンプリング周波数としては例えば、２００Ｈｚ、５００Ｈｚ、１０００Ｈｚなどがある。【００４２】  次に、サンプリングした電位変化の波形からノイズを除去する（Ｓ１５０２）。ここでは、信号に混入する低周波・高周波成分をカットするために例えば０．０３−３０Ｈｚの帯域通過フィルタに通したり、瞬きや眼球運動による影響を低減するために、８０μＶ以上の振幅を持つ波形を識別対象から除去したりする。【００４３】  次に、ノイズを除去した脳波の電位変化から、「期待はずれ信号」の検出に関係する領域の波形を切り出す（Ｓ１５０３）。前述した実験結果から、「期待はずれ信号」は刺激提示後６００ｍｓ前後の部分あたりに検出されることが分かっている。また、応答提示後比較的早い領域の波形は、聴覚刺激や視覚刺激に反応して現れるものであり、期待はずれの有無とは関係ないと考えられるので、その部分は除去するのが好ましい。そこで、例えば、応答提示後２００ｍｓから８００ｍｓの領域を切り出すものとする。【００４４】  もちろん、この切り出す範囲はこれに限られるものではなく、例えば、前述の実験結果でｔ検定によって有意差が認められた４５０ｍｓ−８００ｍｓとしてもよいし、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどと設定してもよい。あるいは、下限を設定せずに、応答提示後から１ｓ程度の範囲を切り出してもよい。【００４５】  次に、期待はずれ試行の繰り返し回数に応じて、どの段階のテンプレートとの比較を行うかを切り替える（Ｓ１５０４）。すなわち、これまで行わ��てきた試行において、後述のように期待はずれの信号（特定事象関連電位）が計測された回数をカウントしておいて、その回数を基にどのテンプレートを用いるかを決める。期待はずれ試行の繰り返し回数ｎが例えば１のとき、段階１の期待はずれありのテンプレート、および期待はずれなしのテンプレートを選び、それぞれと計測された波形とを比較してその相関係数を計算する（Ｓ１５０５）。この相関計算によって、信号波形がそれぞれのテンプレートとどの程度相関があるかが計算される。期待はずれ状況の繰り返し回数によって判定基準を切り替えるこのステップが特許文献１との相違点である。【００４６】  そして、信号波形と段階１の期待はずれありのテンプレート、期待はずれなしのテンプレートとの距離計算を行う（Ｓ１５０６）。距離計算には、例えばマハラノビス距離が用いられる。このマハラノビス距離は、データの分散・共分散を考慮に入れたグループの重心からの距離を示す（式１）。式１中のＤ１２は期待はずれなしのグループとのマハラノビス距離の２乗、ｘ１（期待はずれなしのテンプレートとの相関係数）、ｘ２（期待はずれありのテンプレートとの相関係数）、ｘ１（１）（期待はずれなしのグループの期待はずれなしのテンプレートとの相関係数の平均値）、Ｘ２（１）（期待はずれなしのグループの期待はずれありのグループとの相関係数の平均値）、ｓ（期待はずれなしのグループの分散共分散行列）である。同様にして、Ｄ２２（期待はずれありのグループとのマハラノビス距離の２乗）を求める。
【数１】
2007013241.tif 000002
【００４７】  このように期待はずれあり／なし、それぞれのグループとのマハラノビス距離を計算し、信号波形が期待はずれありと期待はずれなしのどちらに近いかを判別する（Ｓ２００４）。マハラノビス距離を用いた判別は、単純に相関の大小によって判別するよりも、識別能力が高いことが知られている。【００４８】  このマハラノビス距離を用いて、信号波形が期待はずれありと期待はずれなしのどちらに近いかを判別する（Ｓ１５０７）。マハラノビス距離を用いた判別は、単純に相関の大小によって判別するよりも、識別能力が高いことが知られている。【００４９】  計測した信号波形を期待はずれありに近いと識別したときは（Ｓ１５０７でＹｅｓ）、期待はずれ信号が検出された、すなわち、ユーザは期待はずれと思っている状態である、と判定し（Ｓ１５１７）、期待はずれ試行の繰り返し回数ｎをインクリメントする（Ｓ１５１９）。一方、信号波形は期待はずれなしに近いと識別したときは（Ｓ１５１８）、期待はずれ信号は検出されなかった、すなわち、ユーザは期待どおりの応答が得られたと思っている、と判定する。【００５０】  期待はずれ試行の繰り返し回数ｎが２以上の場合も同様に、それぞれの段階の期待はずれありのテンプレート１から４と期待はずれなしのテンプレートとの比較を行い、マハラノビス距離を計算して識別を行う（Ｓ１５０８−Ｓ１５１６）。ｎが４以下の時は段階１のテンプレートを用い、ｎが５以上８以下の時は段階２のテンプレートを用い、ｎが９以上１２以下の時は段階３のテンプレートを用い、ｎが１３以上の時は段階４のテンプレートを用いる。【００５１】  図１９に処理ａを用いた場合の期待はずれ信号の識別率を示す。なお、比較のために、期待はずれ状況の繰り返し回数に関係なく、図１５に示した期待はずれありと期待はずれなしの総加算平均波形をそれぞれのテンプレートとして識別する処理方法を処理ｂと定義し、処理ｂを用いた場合の識別率も合わせて示す。処理ｂの処理方法については図２０に示したが、図１８と同じ処理を行うステップについては同一の符号を用い説明を省略する。図１８に示されている処理ａとの相違点は、期待はずれ試行の繰り返し回数が増加していっても判定基準を変更せず単一のテンプレートを用いる点である。図１９（ａ）の表は期待はずれの繰り返し試行の段階に応じて判定基準を変更した場合と、判定基準を変更しなかった場合の識別率をまとめたものである。処理ａでは処理ｂに比べて、段階１（初期）、段階４（後期）の識別率がそれぞれ１１％、６％向上していることが分かる。処理ｂでは、テンプレートを作成し、相関係数を計算し、相関係数空間のマハラノビス距離を計算し、ようやく１５％の識別率の向上を実現している。このことから、期待はずれ状況に応じて判定基準を切り替える本発明によって向上した段階１、段階４の識別率向上の幅は有意であり、期待はずれ状況が複数回発生する場合においてこの判定方法は有用であると考えられる。【００５２】  上記の例では期待はずれ状況の繰り返しを４段階に分けたが、これに限定されるものではない。【００５３】  なお、期待はずれ状況の発生回数（段階）に応じたテンプレートを作成する場合は、期待はずれ信号の振幅が急激に���少する又は潜時が急激に短縮する期待はずれ状況の繰り返し回数部分を選ぶ必要がある。すなわち、期待はずれ状況が２０回程度繰り返される部分は、期待はずれ信号の振幅が急激に減少する又は潜時が急激に短縮するので、２０回までの繰り返し部分を複数段階に分けてテンプレートを作成することが好ましい。【００５４】  また、テンプレートの利用に代えて、またはテンプレートの利用とともに、他の手法（判定基準）を用いてもかまわない。例えば、期待はずれ信号成分の振幅の最大値に基づき判定を行う場合には、段階ごとの振幅の最大値の減少率を段階１の振幅の最大値に掛け合わせて算出した値に基づき期待はずれ信号の有無の判定を行うことも可能である。【００５５】  （連続刺激による事象関連電位の変化）
ここまで、一連の機器操作の中で期待はずれ状況が複数回発生する場合には、期待はずれ信号成分が変化することについて述べてきた。これとは別に、本願発明者らは期待はずれ状況が連続した場合（連続条件）にも、期待はずれ信号成分に変化が現れることを新たに発見した。期待はずれ状況が連続しない場合を単発条件として、図２１に単発条件６８回と、連続条件１２回の期待はずれ信号を加算平均した波形を、それぞれ太実線、粗い破線で示す。また、期待はずれなし状況についても連続条件７６回、単発条件６４回を加算平均した波形をそれぞれ細実線、細かい破線で示す。図２１の横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。期待はずれなしでは、単発条件、連続条件に差がないが、期待はずれありでは単発条件に比べて連続条件では期待はずれ信号の振幅が減少していることが分かる。このことから、期待はずれ状況が連続する場合にも期待はずれ信号成分が変化するため、図２２に示すように期待はずれ状況が連続しているか否かによって判定基準を切り替えることで識別率が向上すると考えられる。【００５６】  図２２は、連続条件において判定を切り替えて期待はずれ信号を検出する具体的な方法の例のフローチャートである（処理ｃ）。期待はずれ状況の繰り返し回数に応じて判定基準を切り換える処理ａを図１８に示したが、図１８と同じ処理を行うステップについては同一の符号を用い説明を省略する。図１８との相違点は、連続条件において判定基準を変更する点である。以下、順に説明する。【００５７】  まず、直前の試行が期待はずれであったか否かに応じて、どちらのテンプレートとの比較を行うかを切り替える（Ｓ２００１）。直前の試行が期待はずれであった場合、例えば連続条件で作成した期待はずれありのテンプレート、期待はずれなしのテンプレートそれぞれとの相関係数を計算する（Ｓ２００２）。この相関計算によって、信号波形がそれぞれのテンプレートとどの程度相関があるかが計算される。【００５８】  そして、信号波形と連続条件の期待はずれありのテンプレート、期待はずれなしのテンプレートとの距離計算を行う（Ｓ２００３）。距離計算には、例えばマハラノビス距離が用いられる。このマハラノビス距離は、データの分散・共分散を考慮に入れたグループの重心からの距離を示す。【００５９】  直前の試行が期待はずれでなかった単発条件の場合も同様に、単発条件の期待はずれありのテンプレート、期待はずれなしのテンプレートとの比較を行い、マハラノビス距離を計算して識別を行う（Ｓ２００５−Ｓ２００７）。【００６０】  このように、期待はずれ状況が連続した場合に現れる期待はずれ信号成分の変化に対応して、連続条件において判定を変更することで連続条件においても識別率が向上すると考えられる。【００６１】  これまでに説明した期待はずれの判定方法を基に以下、本発明の実施形態について説明する。【００６２】  上述のように、期待はずれ信号取得の実験データにおいて、処理ａ（期待はずれの繰り返し試行の段階に応じて判定を変更）で識別をした結果、処理ｂに比較して段階１、段階４の期待はずれ信号の識別率が明らかに向上した。このことから、本方式は、例えば使い方が分からない機器を操作する��合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習でユーザの不得意な領域の問題が多く出題された場合など、期待はずれが複数回発生する状況において有用である。また、本方式によって識別率が向上した段階１、段階４の期待はずれは、それぞれ初めて生じた期待はずれな機器動作、何度も繰り返し生じる期待はずれな機器動作に対応し、以下で説明するような機器に期待はずれ信号を応用する場合には重要な期待はずれ判定であると考えられる。また、連続条件の期待はずれ判定についても同様である。【００６３】  （実施の形態１）
図１３は、実施の形態１に係るサービス提供装置１の構成図である。図１３において、生体信号検出部１０１はユーザ５０の脳波を計測する。入力部１０よりユーザの要求を受け、機器動作制御部３００は応答内容を決定して、出力部（提示部）１１が応答内容を提示する。判定部２００において、ユーザ状態判定部２０１は、出力部１１が応答内容を提示した時刻を起点として、生体信号検出部１０１で検出した脳波の事象関連電位の中から、起点から所定の時間後の特定事象関連電位（期待はずれ信号）の有無を、判定結果記憶部２０に保存された判定結果に基づき、判定する。【００６４】  判定結果記憶部２０は、ユーザ状態判定部２０１で判定された期待はずれの有無の履歴を保存する。この履歴には、過去の特定事象関連電位の発生回数が含まれる。ユーザ状態判定部２０１は、判定結果記憶部２０を参照して、過去の特定事象関連電位の発生回数を得ることができる。また、判定基準記憶部２０３は、特定事象関連電位の有無を判定するための判定基準として、例えば事象関連電位の波形データをテンプレートとして記憶している。ここでは、判定基準記憶部２０３は、特定事象関連電位の発生回数に応じて、複数個のテンプレートを記憶しているものとする。ユーザ状態判定部２０１は、判定結果記憶部２０を参照して得た特定事象関連電位の発生回数から、判定基準記憶部２０３内のいずれかのテンプレートを選択し、選択されたテンプレートを用いて、特定事象関連電位の有無を判定する。【００６５】  なお、サービス提供装置１のうち生体信号検出部１０１以外は一般的なパーソナルコンピュータによって構成することができる。【００６６】  このような構成により特定事象関連電位（期待はずれ信号）の有無を的確に判定する。【００６７】  すなわち、本実施形態では、ユーザの要求を受けるステップＡと、この要求に対し、応答内容を決定するステップＢと、決定された応答内容をユーザに提示するステップＣと、ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、応答内容を提示したタイミングを起点として、計測された事象関連電位の中から、起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含むサービス提供方法が、実現される。そして、ステップＥは、判定結果の履歴を参照して特定事象関連電位の発生回数を得るサブステップと、この発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された判定基準を用いて、特定事象関連電位の有無を判定するサブステップとを含む。このサービス提供方法は、ステップＤを除いて、コンピュータによってプログラムを実行することによって、実現可能である。【００６８】  （実施の形態２）
実施の形態２は、図１３に示したサービス提供装置１の機器動作制御部３００を具体化したもので、機器動作制御部３００において、回答を入力すると正誤評価を自動的にフィードバックする学習システムを実現した理解度判定装置（サービス提供装置の一種）に関する。【００６９】  ユーザの理解度は、正誤評価のフィードバックを起点に計測した事象関連電位に基づき期待はずれ判定を行い、回答の正誤評価と期待はずれ信号の有無から「あてずっぽう」による正解を検出することでより詳細に判定できる。期待はずれ信号を用いた理解度判定装置は、特に選択式の問題等において、従来では見逃されていた「あてずっぽう」による正解を検出し、ユーザの理解が不十分であると判定できるので、例えば、復習問題を提示することによって、学習効率を向上させることができる。このような学習システムを用いた学習では、ユーザは提示される問題に順に回答し、正誤評価のフィードバックを順に受ける。ユーザの不得意な領域の問題が多く出題される場合には、正誤評価のフィードバックに対して、「不正解だと思っていたのに正解だった」というような期待はずれ状況が複数回生じることが想定される。そのため、期待はずれ信号を精度良く識別するために、期待はずれ状況の繰り返し回数に応じて判定基準を切り替える。【００７０】  図１は本実施形態に係る理解度判定装置１００の構成図である。図１において、生体信号検出部１０１は、問題に回答するユーザ５０の脳波を計測する。提示部１０２は、ユーザ５０に問題やユーザ５０の回答の正誤判定結果等のうち適切なものを選択して提示する。入力部１０３は、ユーザ５０の要求（ここでは回答等）を受ける。ユーザ状態判定部２０１は、ユーザ５０の回答の正誤が提示部１０２に提示された時刻を起点として、生体信号検出部１０１で検出した脳波の事象関連電位が期待はずれ信号（特定事象関連電位）かどうかを判定する。【００７１】  判定部２００は、ユーザ５０の回答の正誤が提示部１０２に提示された時刻を起点に、生体信号検出部１０１で検出した脳波の事象関連電位からユーザ状態を判定する。【００７２】  ユーザ状態判定部２０１は、判定結果記憶部としての判定結果ＤＢ２０２に保存された期待はずれの有無の履歴（期待はずれの発生回数）に応じて、ユーザ５０の回答の正誤が提示部１０２に提示された時刻を起点に、生体信号検出部１０１で検出した脳波の事象関連電位が期待はずれ信号かどうかを判定する。【００７３】  判定結果ＤＢ２０２は、ユーザ状態判定部２０１で判定された期待はずれの有無の履歴を保存する。図２に判定結果ＤＢ２０２に保存する履歴の具体例を示す。図２のように、判定結果ＤＢ２０２には例えば操作の時刻、操作内容、期待はずれの有無（有りの場合が１，無しの場合が０）、期待はずれの繰り返し回数（発生回数）ｎを保存する。期待はずれの繰り返し回数ｎは、理解度判定装置１００の使用状況に合わせて０に初期化するとよい。初期化のタイミングとして、例えば、理解度判定装置１００への入力が１時間中断した場合や、理解度判定装置１００の電源を切った場合、学習問題の分野を変更した場合などとすればよい。判定結果ＤＢ２０２に保存した期待はずれの有無の履歴は、ユーザ５０��連続して問題の解答を行う場合に、次回のユーザ状態判定で使用する。【００７４】  期待はずれの有無の履歴に応じたユーザ状態判定方法として、例えば、判定部２００に期待はずれの繰り返し回数に応じて作成した複数のテンプレート（事象関連電位の波形図）などの判定基準を保存しておき、どのテンプレートと比較するかを、判定結果ＤＢ２０２の期待はずれの繰り返し回数ｎに基づき決定する。すなわち、判定部２００は判定基準であるテンプレートを記憶している判定基準記憶部２０３を含んでいる。【００７５】  判定基準記憶部２０３に保存しておくテンプレートの具体的な数値例（波形図として表される点の位置座標の集合）を図３に示す。図３に示した期待はずれありの４つのテンプレートは、前記の期待はずれ信号取得の実験を予め行い、図１６のような手順で期待はずれ状況の繰り返し回数に応じて、例えば刺激提示後２００ｍｓから８００ｍｓまでの電位サンプルごとを加算平均したものである。また、期待はずれの繰り返し回数に応じたテンプレート切り替えのルール（例えば図１８に示す処理ａ）を予め設定し、ユーザ状態判定部２０１に記憶しておく。【００７６】  ユーザ状態判定部２０１は、判定結果ＤＢ２０２を参照して期待はずれ状況の繰り返し回数ｎを得る。そして、テンプレート切り替えのルールに従ってテンプレートを選択し、選択したテンプレートと今回の電位変化との相関係数を計算する。具体的には例えば、期待はずれ状況の繰り返し回数ｎが１のとき、期待はずれありのテンプレート１と、期待はずれなしのテンプレートとを選択し、それぞれのテンプレートと今回の電位変化との相関係数を式２を用いて計算する。式２中のｒは相関係数、ｎはテンプレートのサンプリング数、ｘは検出された事象関連電位でｘｉは相関係数を計算する区間のｉ番目の電位サンプル、ｙはテンプレートのデータでｙｉはテンプレートのｉ番目のデータ、ａｖｅ（ｘ）、ａｖｅ（ｙ）はそれぞれｘ、ｙの平均値である。
【数２】
2007013241.tif 000003
【００７７】  また例えば、期待はずれ状況の繰り返し回数ｎが５になると、期待はずれありのテンプレートをテンプレート１からテンプレート２に切り替え、テンプレート２と期待はずれなしのテンプレートとを選択し、それぞれと今回の電位変化との相関係数を計算する。なお、識別には上記式１のようにして、相関係数の計算結果から算出したマハラノビス距離を用いてもよい。いずれの場合においても、テンプレートは期待はずれなしのテンプレートと、期待はずれありのテンプレート（テンプレート１から４のうちのいずれか）との２つのテンプレートを選択して判定基準として用いる。【００７８】  このように、期待はずれ状況の繰り返し回数ｎによってテンプレートを切り替えて判定を行うことが、本実施形態と特許文献１との相違点である。このように、ユーザ状態の遷移に応じてテンプレートを切り替えることで、期待はずれ信号の識別率が向上する。【００７９】  また、判定基準記憶部２０３に、期待はずれありの別のテンプレートとして、図４に示したような、期待はずれありで検出された信号を総加算平均したテンプレートであるテンプレート連続を、保存しておいてもよい。そしてユーザ状態判定部２０１は、判定結果ＤＢ２０２に保存される期待はずれの履歴において、直前の試行が期待はずれであった場合、すなわち、前回の判定において特定事象関連電位が有ると判定していた場合、テンプレート連続に切り替えて相関係数を計算してもよい。このテンプレート連続は、特定事象関連電位の発生が連続した場合のための連続用判定基準に相当する。テンプレート連続を選択して判定を行う試行を図２中に※印で示した。このような判定方法も特許文献１には記載されていない。【００８０】  また、判定基準記憶部２０３に、図５に示したように、期待はずれのテンプレートとして、図３に示したテンプレート１〜４に加えて、図４に示したテンプレート連続を保存しておいてもよい。この場合、ユーザ状態判定部２０１は図６のフローチャートで示した手順で判定を行う。図６は、図２２で示した連続する期待はずれ検出のフローにおいて、直前の試行で期待はずれが検出されなかった場合（Ｓ２００１でＮｏ）に、単一テンプレートを用いる処理Ｓ２００５〜Ｓ２００７に代えて、図１８のＳ１５０４〜Ｓ１５１６で示した期待はずれの回数に応じてテンプレートを切り替える処理を用いたものである。各ステップは、図１８、図２２に示したステップと同一の手順であるため、同一の符号を付し、説明は省略する。【００８１】  また、図６に示したフローチャートの代わりに、図１８に示したフローチャートを基にして、まずこれまでの期待はずれの発生回数を基にして４つの段階のいずれかを選び、各段階において、直前の試行で期待はずれ信号を検出したか否かを判断するようにしてもよい。そして、直前の試行で期待はずれ信号を検出した場合は、判定基準としてテンプレート連続を選択してマハラビノス距離を計算し、直前の試行が期待はずれではなかった場合は、各段階のテンプレートを選択してマハラビノス距離を計算する、という判定を行ってもよい。この場合、テンプレート連続は１種類であってもよいし、各段階毎に異なるものであってもよい。【００８２】  機器動作制御部３００は、入力部１０３からユーザ５０の回答を受け、正誤判定を行い、ユーザ状態判定部２０１から受けた期待はずれの有無と正誤判定の結果に基づき、理解度判定を行う。正誤判別部３０１は、入力部１０３によって受けたユーザ５０の回答が、提示部１０２から提示した問題に対して正解か否かを判別する。あてずっぽう／勘違い判定部３０２は、正誤判別部３０１およびユーザ状態判定部２０１の出力を受け、ユーザ回答の正誤および期待はずれ信号の有無を基にして、提示した問題に対するユーザ５０の理解度を判定する。問題ＤＢ３０３は、問題、正解、問題の重要度など問題に関するデータを記憶しており、正誤判別部３０１に問題の正解のデータを提供する。図７に問題ＤＢ３０３の具体例を示す。結果蓄積ＤＢ３０４は、あてずっぽう／勘違い判定部３０２によって判定されたユーザ５０の個々の問題に対する理解度を記憶する。図８に結果蓄積ＤＢ３０４に記憶された内容の具体例を示す。問題選択部３０５は、問題ＤＢ３０３および結果蓄積ＤＢ３０４を参照して次に出す問題を選択決定するところである。問題ＤＢ３０３および問題選択部３０５によって、問題決定部が構成されている。【００８３】  図１の理解度判定装置１００の構成のうち、生体信号検出部１０１以外の構成要素は、一般的なパーソナルコンピュータによって構成可能である。また、生体信号検出部１０１、提示部１０２および入力部１０３以外の構成要素は、ネットワーク上に構成することも可能である。【００８４】  生体信号検出部１０１は脳波計を有し、生体信号として、脳波における事象関連電位を計測する。ユーザ５０はあらかじめ、脳波計を装着している。最適な電極の設置位置は、実験等によって決定すればよい。測定されたユーザ５０の脳波は、コンピュータで処理できるようにサンプリングされ、判定部２００に送られる。【００８５】  提示部１０２はディスプレイやスピーカー等によって構成され、入力部１０３はキーボードやマウス、音声入力装置等によって構成される。【００８６】  判定部２００は、保存している複数のテンプレート等の判定基準の中から、ユーザ状態判定部２０１によって決定されたテンプレートを用いて、回答の正誤提示後、所定の時間範囲においてユーザ５０の脳波から期待はずれ信号有無を検出する。ユーザ状態判定部２０１は、判定結果ＤＢ２０２に保存された期待はずれの有無の履歴（発生回数）に応じて、ユーザ５０の回答が正しいか誤っているかが提示部１０２に提示された時刻を起点に、生体信号検出部１０１で検出した脳波の事象関連電位が期待はずれ信号（特定事象関連電位）かどうかを判定する。なお、保存している複数の判定基準は、例えば前記期待はずれ信号取得の実験をあらかじめ行い図１６のような手順で作成したものであってもよい。前述のように、期待はずれ状況の数回の繰り返しによって期待はずれ信号成分は変化するが、このような方法での判定によって、識別率が向上する。【００８７】  なお、期待はずれ信号の検出は、マハラノビス距離を計算したり相関係数を計算するなど、上述した実験における方法と同様に行えばよい。テンプレートは例えば、正誤提示から約６００ｍｓ前後の部分を所定の時間範囲として設定し、検出を��えばよい。６００ｍｓ前後の部分として、例えば２００ｍｓから８００ｍｓ、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどとしてもよいし、ｔ検定で有意差が認められる４５０ｍｓ以上８００ｍｓ以下としてもよい。あるいは、下限を設定せずに、提示後から１ｓ程度の範囲としてもよい。【００８８】  あてずっぽう／勘違い判定部３０２は、正誤判別部３０１から受けた回答の正誤結果と、ユーザ状態判定部２０１から受けた期待はずれ信号の有無に基づき、提示した問題に対するユーザ５０の理解度を判定する。図９はあてずっぽう／勘違い判定部３０２における判定ロジックを示すテーブルである。図９に示すテーブルに従って、ユーザ５０が、提示された問題を理解しているか否かが判定される。【００８９】  すなわち、図９に示すように、あてずっぽう／勘違い判定部３０２は、ユーザ回答が正しい場合において、期待はずれ信号が有るときは、ユーザ５０は「あてずっぽう」で回答したと判定する一方、期待はずれ信号が無いときは、ユーザ５０は問題を理解していると判定する。また、ユーザ回答が誤っている場合において、期待はずれ信号が有るときは、ユーザ５０は回答を「勘違い」していたと判定する一方、期待はずれ信号が無いときは、ユーザは問題を理解していないと判定する。これにより、同じ正解でも「あてずっぽう」による正解か否かを判別することができ、また、不正解のときも「勘違い」による不正解か否かを判別することができる。【００９０】  以上のように構成された本実施形態に係る理解度判定装置の動作について、図１０のフローチャートを用いて説明する。【００９１】  まずステップＳ３０１において、問題ＤＢ３０３に格納された問題の中から次に出す問題を問題選択部３０５が選択し、選択された問題を提示部１０２によって提示する。ここでの問題選択は、例えば図８に示すように、問題ＤＢ３０３に記憶された各問題に関する重要度等の情報（図７参照）や、結果蓄積ＤＢ３０４に記憶されたユーザの理解度から、ユーザの理解が足りない重要問題について重点的に行うようにしてもよい。これにより、理解不十分であった重要問題に対して復習問題を提示することできる。【００９２】  次に、ユーザ５０は、ステップＳ３０１で提示された問題に対し、回答する。この回答は入力部１０３によって理解度判定装置１００に入力される（Ｓ３０２）。正誤判別部３０１は、入力部１０３によって受けた回答と問題ＤＢ３０３に記憶している問題の正解とを比較し、ユーザ回答の正誤を判定する（Ｓ３０３）。回答が正しいときは（Ｓ３０３でｙｅｓ）ステップＳ３０４を選択して進み、間違っているときは（Ｓ３０３でｎｏ）ステップＳ３０６を選択して進む。【００９３】  回答が正しいときは、Ｓ３０４において、正解であることを提示部１０２によってユーザ５０に提示する。例えば提示部１０２がディスプレイの場合、「○」などを表示する。この提示のタイミングは、期待はずれ信号検出の際のトリガーとなる。そしてユーザ状態判定部２０１が、生体信号検出部１０１によって計測された生体信号から、期待はずれ信号の有無を検出する（Ｓ３０５）。このときに、ユーザの期待はずれの繰り返し回数や、期待はずれの連続条件かどうかに��づき判定基準を切り替える。【００９４】  ステップＳ３０８では、あてずっぽう／勘違い判定部３０２が、正解は「あてずっぽう」によるものと判定する。正解であることを提示したにもかかわらず、期待はずれ信号が出現したのであるから、ユーザ５０は不正解を期待していたと考えられる。すなわち、ユーザ５０はその問題を理解していないが「あてずっぽう」で回答し、たまたま正解したと判定する。一方、ステップＳ３０９では、ユーザ５０はこの問題を理解していると判定する。正解であることを提示して期待はずれ信号が出現しなかったのであるから、ユーザ５０は正解を期待していたと考えられる。すなわち、ユーザ５０は、正解して当然だと思っていたのである。【００９５】  これに対して、回答が正しくないときは、ステップＳ３０６において、不正解であることを提示部１０２によってユーザ５０に提示する。例えば提示部１０２がディスプレイの場合、「×」などを表示する。この提示のタイミングもまた、期待はずれ信号検出の際のトリガーとなる。そしてユーザ状態判定部２０１が、生体信号検出部１０１によって計測された生体信号から、期待はずれ信号の有無を検出する（Ｓ３０７）。このときに、ユーザの期待はずれの繰り返し回数に基づき、図６のような手順で判定基準を切り替える。図６中の各ステップは、図１８、図２２に示したステップと同一の手順であるため、同一の符号を付し、説明は省略する。期待はずれ信号が出現したときは（Ｓ３０７でｙｅｓ）ステップＳ３１０に進み、出現しなかったときは（Ｓ３０７でｎｏ）ステップＳ３１１に進む。【００９６】  ステップＳ３１０では、あてずっぽう／勘違い判定部２０６は、不正解は「勘違い」によるものと判定する。不正解であることを提示したときに期待はずれ信号が出現したのであるから、ユーザ５０は正解を期待していたと考えられる。すなわち、ユーザ５０は自信を持って回答したがその回答が「勘違い」であったと判定する。一方、ステップＳ３１１では、ユーザ５０はこの問題を理解していないと判定する。不正解であることを提示して期待はずれ信号が出現しなかったのであるから、ユーザ５０は不正解を期待していたと考えられる。すなわち、ユーザ５０は間違えたと思っていたのである。【００９７】  そして、ステップＳ３０８〜Ｓ３１１における判定結果は、結果蓄積ＤＢ３０４に蓄積される（Ｓ３１２）。判定結果の蓄積方法としては、例えば、問題ごとに、判定結果すなわち「あてずっぽう」「理解」「勘違い」「不理解」を示すラベルを保存する。また、図１１に示すような理解度に応じた重み付け係数を保存してもよい。図１１の例では、ユーザ５０の理解が不十分（「あてずっぽう」「勘違い」「不理解」）のとき、復習のために同様の問題が再び選択される確率が大きくなるような重み付け係数を設定している。【００９８】  そしてステップＳ３１３において、正誤判別部３０１が、先に提示した問題の正解を問題ＤＢ３０３から読み出し、提示部１０２によって表示する。【００９９】  その後、ユーザ５０は、学習を続けるか否かを選択する（Ｓ３１４）。学習を続ける旨が入力部１０３に入力されたとき、ステップＳ３０１に戻り、次の問題を選択し提示する。【０１００】  以上の���うな期待はずれ信号と回答の正誤に基づく理解度判定装置を用いることで、従来、「正解」「不正解」という２種類の状態しか把握できなかった回答結果について、「あてずっぽう」「理解している」「勘違い」「理解していない」という４種類の状態で認識することが可能となる。これにより、従来は「理解している」と判定され、見過ごされていた「あてずっぽう」による正解に対しても、理解不十分と判定して復習問題を提示する、などの適切な措置がとれるので、学習効率が向上することが想定される。【０１０１】  しかしながら、上述のようにユーザの状態遷移に応じて期待はずれの判定基準を切り替えない場合には、段階１（初期）、段階４の期待はずれ、連続条件の期待はずれの検出率が低くなるため、「あてずっぽう」であっても「理解」と、また「勘違い」であっても「不理解」と誤判定してしまう可能性が高くなる。事象関連電位を用いて「あてずっぽう」と「理解」、「勘違い」と「不理解」を分けて、「理解」の問題に対して復習問題の提示頻度を下げることで、学習効率の向上を実現する理解度判定装置において、特に段階１（初期）の期待はずれの検出は重要である。【０１０２】  前記処理ａのようにユーザの状態遷移に応じた判定の切り替えによって、段階１（初期）の期待はずれ信号の識別精度を向上させることで、理解度判定装置を用いた学習効率の向上が実現される。【０１０３】  （実施の形態３）
本発明の実施の形態３は、特許文献１に記載の、期待はずれ信号が検出された場合にサービス提供内容を変更し、ユーザの要求に即したサービス提供をする家庭用ロボットや情報端末、家電機器などのサービス提供装置に関する。このようなユーザに適応するサービス提供装置にユーザが対応するためには相応の適応の期間が必要である。この期間において、サービス提供装置はユーザに何度もサービスの提供を行うので、その間に期待はずれ信号が複数回発生することが想定される。よりよいユーザ適応を行うためには、特に段階４（後期）の期待はずれ信号を精度良く識別する必要があるので、期待はずれ状況の繰り返し回数に応じて判定基準を切り替える上述の判定方法を適用する。【０１０４】  図１２は本実施形態に係るサービス提供装置５００の構成図である。図１と共通の構成要素には図１と同一の符号を付し、説明は省略する。図１との相違点は、機器動作制御部３００を、期待はずれ信号の有無によって応答内容を決定する応答内容決定部５０１という名前にしたことである。【０１０５】  ユーザの要求に対して機器のサービスがユーザの期待通りでなかった場合に、サービスを変更するサービス提供装置５００においては、よりよい適応のために特に段階４（後期）の期待はずれ成分の検出が重要となる。段階４（後期）は、機器が提供するサービスとユーザの要求が異なるような期待はずれ状況が繰り返されることをユーザ側が学習してしまった段階に相当する。このときに、段階４（後期）の期待はずれを検出できなければ、機器のサービスはそれ以上変更されないため、ユーザ要求に即したサービスを提供できなくなる。また、ユーザ適応もそれ以上は進まない。【０１０６】  前記処理ａのように、期待はずれが複数回繰り返されて提供されるサービスに対するユーザの対応の状態が遷移していく場合に、このユーザの状態遷移に応じた判定基準の切り替えによって、段階４（後期）の期待はずれ信号の識別精度を向上させることで、ユーザ要求により即したサービスの提供が可能となる。【０１０７】  （その他の実施の形態）
以上の実施の形態は本発明の例示であって、本発明はこれらの例に限定されない。例えば、携帯電話などの情報端末やＤＶＤレコーダーなどの家電製品の機種変更をした直後には、それらの情報端末や家電製品を何度も操作をしているうちに複数回の期待はずれの状態が生じることは経験上よく知られている。ユーザは前の機種の携帯電話のボタンの配置やＤＶＤレコーダーのリモコンのボタンの配置などに慣れており、機種変更した直後は新しい機種のボタン配置等になじめず、機種変更前のボタン等を押してしまう場合が非常に多い。このような複数回の期待はずれ信号（特定事象関連電位）が出る場合における特定事象関連電位の有無の判定に本発明を適用することによって、確実に特定事象関連電位の有無を判定できる。機器使用時に期待はずれ状況が複数回発生するような場合の期待はずれ判定に、期待はずれの有無の履歴に基づいて期待はずれ判定を行う本発明は適用可能である。【０１０８】  また、ＰＣあるいはＤＶＤなどの家電製品において、操作時にヘルプが自動表示される場合もそのヘルプが本当に必要な場合は期待通りの表示であることになるが、不必要なタイミングでヘルプ表示されると期待はずれとユーザは感じるので、このようなヘルプの自動表示の場合にも、上記の実施形態の期待はずれ判定方法は適用できる。
【産業上の利用可能性】
【０１０９】  本発明に係るサービス提供装置は、期待はずれが繰り返し発生する状況や、期待はずれが連続して発生する状況であっても精度良く期待はずれ信号を検出できるため、例えば、期待はずれが繰り返し発生することが想定される学習支援システムや、ヘルプの自動表示や情報推薦などのサービス提供装置などに有用である。
【図１】
2007013241.tif 000004
【図２】
2007013241.tif 000005
【図３】
2007013241.tif 000006
【図４】
2007013241.tif 000007
【図５】
2007013241.tif 000008
【図６】
2007013241.tif 000009
【図７】
2007013241.tif 000010
【図８】
2007013241.tif 000011
【図９】
2007013241.tif 000012
【図１０】
2007013241.tif 000013
【図１１】
2007013241.tif 000014
【図１２】
2007013241.tif 000015
【図１３】
2007013241.tif 000016
【図１４】
2007013241.tif 000017
【図１５】
2007013241.tif 000018
【図１６】
2007013241.tif 000019
【図１７】
2007013241.tif 000020
【図１８】
2007013241.tif 000021
【図１９】
2007013241.tif 000022
【図２０】
2007013241.tif 000023
【図２１】
2007013241.tif 000024
【図２２】
2007013241.tif 000025
【手続補正書】
【提出日】平成18年11月28日(2006.11.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの要求を受ける入力部と、
前記入力部によって受けた前記要求に対し、応答内容を決定する機器動作制御部と、
前記機器動作制御部によって決定された応答内容を前記ユーザに提示する提示部と、
前記ユーザの生体信号として脳波の事象関連電位を計測する生体信号検出部と、
前記提示部が前記応答内容を提示したタイミングを起点として、前記生体信号検出部で計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定する判定部とを備え、
前記判定部は、
判定結果の履歴を記憶する判定結果記憶部と、
特定事象関連電位の発生回数に応じて、特定事象関連電位の有無を判定するための複数の判定基準を、記憶する判定基準記憶部と、
前記判定結果記憶部を参照して、特定事象関連電位の発生回数を得て、この発生回数から、前記判定基準記憶部内のいずれかの判定基準を選択し、選択した判定基準を用いて、特定事象関連電位の有無を判定するユーザ状態判定部とを備えた
ことを特徴とするサービス提供装置。
【請求項２】
請求項１において、
前記判定基準記憶部は、さらに、特定事象関連電位の発生が連続した場合のための連続用判定基準を少なくとも１つ記憶しており、
前記ユーザ状態判定部は、前記判定結果記憶部を参照して、前回の判定において特定事象関連電位が有ると判定していた場合、前記判定基準記憶部内の前記連続用判定基準のうちのいずれか１つを選択して、選択した連続用判定基準を用いて特定事象関連電位の有無を判定する
ことを特徴とするサービス提供装置。
【請求項３】
請求項１において、
前記所定の時間は、４５０ｍｓ以上８００ｍｓ以下である
ことを特徴とするサービス提供装置。
【請求項４】
請求項３において、
前記所定の時間は、６００ｍｓ前後または７５０ｍｓ前後である
ことを特徴とするサービス提供装置。
【請求項５】
請求項１において、
前記判定基準は、予め測定された事象関連電位の結果に基づいて作成されたテンプレートである
ことを特徴とするサービス提供装置。
【請求項６】
請求項１において、
前記機器動作制御部は、前記特定事象関連電位の有無に応じて、応答内容を再度決定する、または応答内容をキャンセルする
ことを特徴とするサービス提供装置。
【請求項７】
ユーザの要求を受けるステップＡと、
前記要求に対し、応答内容を決定するステップＢと、
決定された前記応答内容を前記ユーザに提示するステップＣと、
前記ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、
前記応答内容を提示したタイミングを起点として、計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含み、
前記ステップＥは、
判定結果の履歴を参照して、特定事象関連電位の発生回数を得るサブステップと、
前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、特定事象関連電位の有無を判定するサブステップとを含む
ことを特徴とするサービス提供方法。
【請求項８】
ユーザの要求を受けるステップＡと、
前記要求に対し、応答内容を決定するステップＢと、
決定された前記応答内容を前記ユーザに提示するステップＣと、
前記応答内容を提示したタイミングを起点として、計測された前記ユーザの脳波の事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとをコンピュータに実行させるためのプログラムであって、
前記ステップＥは、
判定結果の履歴を参照して、特定事象関連電位の発生回数を得るサブステップと、
前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、前記特定事象関連電位の有無を判定するサブステップとを含む
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳波の事象関連電位を計測して、その中に特定の事象関連電位が存するか否かを判断して適切なサービスを提供するサービス提供装置、サービス提供方法およびプログラムに関するものである。
【背景技術】
【０００２】
事象関連電位を用いて事象（試行）ごとのユーザ状態を推定し、機器へ応用する場合には事象関連電位に基づくユーザ状態の推定精度が問題となる。非特許文献１に記載のように、事象関連電位の振幅は背景脳波に比べて１０分の１程度と小さいため、単純に電位波形を閾値処理するような手法で識別を行うことは通常難しい。
【０００３】
従来、事象関連電位に基づいてユーザ状態を推定し、機器インタフェースに応用する技術としては特許文献１がある。特許文献１では、機器動作に対するユーザの予期と、実際の機器動作に差異があった場合のユーザ状態を期待はずれと定義し、事象関連電位に現れる期待はずれ信号成分を指標に、ユーザの期待はずれ状態の検出を実現している。その際事象関連電位の特長を生かして、即座（６００ｍｓ程度）にユーザの期待はずれ状態を検出して、インタラクティブなサービス変更を実現される。特許文献１では、２０試行程度の期待はずれ状況の加算平均波形をテンプレートとして相関係数を計算し、マハラノビス距離を計算するという判別分析によって期待はずれを検出している。
【０００４】
また従来、脳波信号に混入するノイズを低減するための技術として、特許文献２、特許文献３がある。特許文献２では、周波数解析、ウェーブレット、テンプレート、共分散などの手法で閾値を決定する方法で、また、特許文献３では、帯域フィルタを用いる方法で、混入するノイズの低減を実現して、脳波信号から所望の成分を抽出している。
【特許文献１】ＷＯ２００５／００１６７７号公報
【特許文献２】特開平８−２５７４９９号公報
【特許文献３】特開平８−１１７１１９号公報
【非特許文献１】加我他、「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に−」、篠原出版新社、１９９５
【非特許文献２】誘発電位計測指針案（１９９７年改訂）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１の期待はずれ信号は、ユーザの予期と実際の結果との差異である期待はずれを反映した内因性の成分である。そのため、試行を複数回行うと試行ごとのユーザの予期に応じて計測される期待はずれ信号成分が変化する可能性がある。実際に本願発明者らは、後述のような期待はずれ信号取得の実験を実施した結果、事象関連電位に現れる期待はずれ信号成分の振幅や潜時は期待はずれ状況の数回の繰り返しによって急激に変化することを、新たに発見した。
【０００６】
期待はずれ信号成分の機器への応用を考えると、例えば使い方が分からない機器を操作する場合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習でユーザの不得意な領域の問題が多く出題された場合などにおいて、期待はずれ状況が複数回発生すると考えられる。前述のように期待はずれが複数回発生するような状況においては、期待はずれ信号成分が変化するため、特許文献１のように単一のテンプレートを用いた期待はずれ判定では、期待はずれの判定精度が低下する可能性がある。また、計測される信号成分が変化する状況においては、特許文献２、特許文献３のようなノイズ低減手法によって所望の信号成分を高精度に抽出することは困難である。
【０００７】
このような問題に鑑み、本発明では複数回の事象関連電位計測において、事象関連電位に現れる期待はずれ信号成分が変化する状況においても、期待はずれ判定を高精度で実行可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
前記の課題を解決するために、本発明のサービス提供装置は、ユーザの要求を受ける入力部と、前記入力部によって受けた前記要求に対し、応答内容を決定する機器動作制御部と、前記機器動作制御部によって決定された応答内容を前記ユーザに提示する提示部と、前記ユーザの生体信号として脳波の事象関連電位を計測する生体信号検出部と、前記提示部が前記応答内容を提示したタイミングを起点として、前記生体信号検出部で計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定する判定部とを備え、前記判定部は、判定結果の履歴を記憶する判定結果記憶部と、特定事象関連電位の発生回数に応じて、特定事象関連電位の有無を判定するための複数の判定基準を、記憶する判定基準記憶部と、前記判定結果記憶部を参照して、特定事象関連電位の発生回数を得て、この発生回数から、前記判定基準記憶部内のいずれかの判定基準を選択し、選択した判定基準を用いて、特定事象関連電位の有無を判定するユーザ状態判定部とを備えた構成とした。
【０００９】
本発明によると、特定事象関連電位の発生回数に応じた複数の判定基準が判定基準記憶部に記憶されており、ユーザの要求から特定関連電位の有無の判定までの一連の作業が複数回行われる場合において、特定事象関連電位の発生回数に応じた判定基準を用いて、特定事象関連電位の有無が判定されるので、ユーザ状態の推定精度の向上が実現できる。
【００１０】
ある好適な実施形態において、前記判定基準記憶部は、さらに、特定事象関連電位の発生が連続した場合のための連続用判定基準を少なくとも１つ記憶しており、前記ユーザ状態判定部は、前記判定結果記憶部を参照して、前回の判定において特定事象関連電位が有ると判定していた場合、前記判定基準記憶部内の前記連続用判定基準のうちのいずれか１つを選択して、選択した連続用判定基準を用いて特定事象関連電位の有無を判定する。
【００１１】
前記所定の時間は、４５０ｍｓ以上８００ｍｓ以下であることが好ましい。
【００１２】
前記所定の時間は、６００ｍｓ前後または７５０ｍｓ前後であることが好ましい。
【００１３】
前記判定基準は、予め測定された事象関連電位の結果に基づいて作成されたテンプレートであることが好ましい。
【００１４】
ある好適な実施形態において、前記機器動作制御部は、前記特定事象関連電位の有無に応じて、応答内容を再度決定する、または応答内容をキャンセルする。
【００１５】
また、本発明のサービス提供方法は、ユーザの要求を受けるステップＡと、前記要求に対し、応答内容を決定するステップＢと、決定された前記応答内容を前記ユーザに提示するステップＣと、前記ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、前記応答内容を提示したタイミングを起点として、計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含み、前記ステップＥは、判定結果の履歴を参照して特定事象関連電位の発生回数を得るサブステップと、前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、前記特定事象関連電位の有無を判定するサブステップとを含む構成を有している。
【００１６】
本発明のプログラムは、ユーザの要求を受けるステップＡと、前記要求に対し、応答内容を決定するステップＢと、決定された前記応答内容を前記ユーザに提示するステップＣと、前記応答内容を提示したタイミングを起点として、計測された前記ユーザの脳波の事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとをコンピュータに実行させるためのプログラムであって、前記ステップＥは、判定結果の履歴を参照して特定事象関連電位の発生回数を得るサブステップと、前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、前記特定事象関連電位の有無を判定するサブステップとを含んでいる。
【発明の効果】
【００１７】
本発明によると、判定結果の履歴を参照して得た特定事象関連電位の発生回数に応じて、判定基準が決定される。これにより、複数回の試行中において、特定事象関連電位の発生回数に応じた判定が可能となるため、識別精度が向上し、ユーザ状態の判定精度が向上する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の図面においては、説明の簡潔化のため、実質的に同一の機能を有する構成要素を同一の参照符号で示す。
【００１９】
まず、本発明に至った経緯について説明する。本願発明者らは、後述の期待はずれ信号（特定事象関連電位）取得の実験を行い、事象関連電位に現れる期待はずれ信号成分の振幅や潜時が期待はずれ状況の数回の繰り返しによって変化することを、新たに発見した。例えば使い方が分からない機器を操作する場合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習において、ユーザの不得意な領域の問題が多く出題された場合においては期待はずれ状況が複数回発生すると考えられる。このような状況において特許文献１のような単一の判定基準による期待はずれ判定を行った場合、識別率が低下する可能性がある。そこで、本願発明者らは、期待はずれ状況が複数回生じるような場合に、ユーザの状態遷移に応じて判定基準を切り替えることで高精度な期待はずれ判定を行うことを考えた。
【００２０】
次に、本願発明者らが行った期待はずれ信号を取得するための実験について説明した後に、実際に期待はずれ状況の繰り返しによって期待はずれ信号が変化すること、およびユーザの状態遷移に応じた期待はずれ判定の切り替えによって識別率が向上することを示す。
【００２１】
（期待はずれ信号取得の実験）
図１４（ａ）は実験手順の概要を示す図である。この実験は、被験者に指示を与え（手順Ａ）、その指示を受けて被験者が必要な行為を思い浮かべて機器を操作し（手順Ｂ）、その操作結果としての動作を被験者に提示する（手順Ｃ）、という手順からなっている。
【００２２】
まず、実験者から、被験者に対して、「画面に「Ｌ」または「Ｒ」の文字が表示されるので、Ｌの文字に対してはマウスの左クリック、Ｒの文字に対しては右クリックを押して欲しい」と説明する。そして、「Ｌ」「Ｒ」を５０％の確率でランダムに選択して、画面に表示する（手順Ａ）。被験者は、表示された文字を見て、教示されたルールに従って、右または左のクリックを行う（手順Ｂ）。そして、その操作に対して、正しくクリックがなされたか否かを、「○」「×」で画面に表示する（手順Ｃ）。すなわち、マウスがユーザの要求（左クリック、右クリック）を受ける入力部であり、画面が応答内容（「○」、「×」）を提示する提示部である。
【００２３】
ただし、この実験では、クリックが正しくなされたとしても（ほぼ１００％正しくなされるはずである）、２０％の確率で「×」を表示するものとする。その結果、実験を通して、正しい行動にも関わらず「×」が表示される期待はずれ試行が２０回程度繰り返されることになる。実験では、複数の被験者について、まず練習として常に「○」が表示される試行を３０試行行った後に、図１４（ｂ）に示す手順による試行を１００試行行った。
【００２４】
図１４（ｂ）は１試行分の手順を示すフローチャートである。まず、画面に「Ｌ」または「Ｒ」の文字を５０％の確率で選択して表示し（Ｓ１１０１）、被験者はその表示を見てどちらのボタンをクリックするかを決定して、マウスを操作する（Ｓ１１０２）。被験者の操作を受けて、正しく操作されたか否かに基づいて「○」「×」を表示する。このとき、「○」を表示すべき場合でも、２０％の確率で「×」を表示する（Ｓ１１０３）。「○」「×」が表示されたタイミングを起点として、被験者の脳波における事象関連電位を測定し（Ｓ１１０４）、その測定された事象関連電位を処理して、期待はずれ信号を識別する（Ｓ１１０５）。
【００２５】
図１５は実験結果で、４人の被験者の実験データを総加算平均した波形を示すグラフである。図１５のグラフは、脳波計で測定された電位波形を「○」「×」の提示を起点にしてそれぞれ２０回程度ずつ、４人の被験者で合計８２回加算したものであり、横軸は刺激提示（「○」「×」が表示されたとき）からの時間で単位はｍｓ、縦軸は電位で単位はμＶである。破線は「期待はずれ」すなわち正しくクリックしたにもかかわらず「×」が表示されたときの波形（期待はずれあり）、実線は通常時すなわち正しくクリックして「○」が表示されたときの波形（期待はずれなし）である。図１５から、「期待はずれ」のときは、刺激提示から約６００ｍｓ前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、この事象関連電位（特定事象関連電位）を計測することによって、ユーザの「期待はずれ状態」を検出することができる、と予想される。ｔ検定を行った結果、期待はずれのある／なしによって潜時４５０−８００ｍｓ付近で有意差が認められた（ｐ＜０．０５）。この有意差が認められた時刻を図１５中に示す。なお、電極は、国際１０−２０法に従い、１）Ｐｚ：正中頭頂、２）３）Ａ１，Ａ２：両耳朶、４）ボディーアース（Ｚ）：鼻根部の４箇所に貼り付けた。サンプリング周波数は１０００Ｈｚ、帯域通過フィルタは０．０３−１００Ｈｚとした。
【００２６】
この実験で明らかになったように、被験者の予期どおりに「○」「×」が表示されたか否かによって、脳波計で計測される事象関連電位には、明確な差がある。したがって、この事象関連電位は、ユーザ状態の判定において、「期待はずれ信号」として用いることができる。
【００２７】
（期待はずれ信号の変化）
前述の期待はずれ信号取得の実験においては、正しく行為を選択したにもかかわらず「×」が表示される期待はずれ状況が２０回程度繰り返される。そのため、途中から被験者は期待はずれ状況が発生することに気づき、正しい行為に対して常に「○」が表示されるという予期から、正しい行為にもかかわらず「×」が表示される場合もある、のように予期状態が変化している可能性がある。
【００２８】
そこで、期待はずれ状況の繰り返しに伴う期待はずれ信号の変化を調べるために、図１６に示したフローチャートのような処理を行った。
【００２９】
Ｓ１３０１は、応答内容（「○」、「×」）を出力したタイミング（応答提示時）を起点として、脳波の電位変化のサンプリングを行うステップである。サンプリング周波数としては例えば、２００Ｈｚ、５００Ｈｚ、１０００Ｈｚなどがある。
【００３０】
Ｓ１３０２はＳ１３０１でサンプリングした電位変化波形からノイズを除去するステップである。ここでは、信号に混入する低周波成分と高周波成分をカットするために例えば０．０３−３０Ｈｚの帯域通過フィルタに通したり、瞬きや眼球運動による影響を低減するために、８０μＶ以上の振幅を持つ波形を識別対象から除去したりする。
【００３１】
Ｓ１３０３は前述の期待はずれ取得実験において行為（左右のマウスクリック）は正しかったにもかかわらず「×」が提示されたかどうか、つまり期待はずれの試行であったかどうかを判定する（特定事象関連電位の有無を判定する）ステップである。正しい行為で「×」が提示された場合はＳ１３０４に、「○」が提示された場合はＥｎｄにそれぞれ進む。
【００３２】
Ｓ１３０４は期待はずれ状況の繰り返しに伴って、期待はずれ信号が変化するかどうかを調べるために、期待はずれ試行の繰り返し回数ｎに応じてどの段階の期待はずれ信号として加算平均するかを切り替えるステップである。Ｓ１３０５からＳ１３０８はそれぞれ段階１（初期）、段階２、段階３、段階４（後期）として、期待はずれ信号を加算平均するステップである。なお、ここではＳ１３０４において１人について期待はずれが１〜４回目は段階１、５〜８回目は段階２，９〜１２回目は段階３、１３回目以上は段階４としている。Ｓ１３０９は期待はずれの試行回数をインクリメントするステップである。
【００３３】
このようなＳ１３０１からＳ１３０９までのステップを４人の被験者のデータで行うことで、それぞれの段階で同程度の繰り返し回数の期待はずれ状況を１６回加算平均できる。今回は、段階ごとの加算回数を確保しながら波形の時系列変化を調べるために、被験者の人数、実施した実験の繰り返し回数などを考慮して４試行ごとで４つの段階に分類した。
【００３４】
図１７に、期待はずれの段階ごとに加算平均して得られた期待はずれ信号成分の時系列変化を示す。図１７中の（ａ）は段階ごとの期待はずれ信号の加算平均波形で横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。期待はずれ信号の振幅、潜時はそれぞれの段階ごとに異なっているが、段階間を比較すると波形変化の傾向は似ている。これによって、各段階１６回程度の加算平均ではあるがノイズ成分の影響は低減されていると考えられる。図１７（ｂ）は期待はずれ信号の振幅（６００ｍｓ前後に現れている特定事象関連電位としての最大振幅）の時系列変化をそれぞれの段階ごとにプロットした図で、縦軸は電位で単位はμＶである。段階１の期待はずれ信号の振幅が大きく、期待はずれの繰り返し回数が増えると振幅が減少していることが分かる。（ｃ）は期待はずれ信号の潜時の変化をそれぞれの段階ごとにプロットしたで縦軸は時間で単位はｍｓである。段階１の期待はずれ信号に比べて、繰り返し回数が増えると潜時が短縮していることが分かる。このように、複数回の試行を行う中で期待はずれ信号が２０回程度現れる事象であっても特定事象関連電位の振幅、潜時が大きく変化することが明らかになった。
【００３５】
非特許文献２のＰ１３Ｌ２０−２３から読み取れるように、提示された音程や画像の違いなどを判断するという一般的なオドボール刺激を用いた場合には、２０回程度の繰り返し試行においては事象関連電位の成分は変化しないとされている。さらに視覚刺激を用いたオドボール課題において４０回程度の繰り返し試行においても振幅は大きく変化しないことも報告されている（Ｊ．Ｃｏｈｅｎ，Ｊ．Ｐｏｌｉｃｈ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｙ  ２５，  １９９７，  ｐ２４９−２５５（Ｆｉｇ．２））。したがって、この変化は期待はずれ信号成分のように高次な内因性の脳活動に特有なものであると考えられる。
【００３６】
（期待はずれ信号の検出）
期待はずれ信号成分は、期待はずれ状況の２０回程度の繰り返しであっても、その繰り返しの間にその成分が急激に変化する。例えば使い方が分からない機器を操作する場合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習でユーザの不得意な領域の問題が多く出題された場合などにおいて、期待はずれ状況が複数回発生すると考えられる。このような状況において、特許文献１のように単一のテンプレート（判定基準となる波形図）を用いた期待はずれ判定では、期待はずれの判定精度が低下する可能性がある。そこで、期待はずれ状況の繰り返し回数に応じて判定基準を切り替えて期待はずれの識別率を向上させる判定手法について以下に説明する。
【００３７】
図１８は、判定基準を切り替えて期待はずれ信号を検出する具体的な方法の例のフローチャートである（処理ａ）。あらかじめ、図１６に示したような方法で、４人の被験者の期待はずれ状況の信号を期待はずれ試行の繰り返し回数に応じて、例えば段階１、段階２、段階３、段階４のように、繰り返し回数に応じて４つの段階に分けて加算平均した４つの標準波形（期待はずれありのテンプレート１から４）と、期待はずれでない通常時の信号を加算平均した標準波形（期待はずれなしのテンプレートと表記）とを作成しておき、期待はずれ状況の繰り返し回数に応じて期待はずれありのテンプレート１から４を切り替えて用いるものとする。
【００３８】
以下、処理ａの各ステップについて順に説明する。
【００３９】
まず、応答内容を出力したタイミング（応答提示時）を起点として、脳波の事象関連電位変化のサンプリングを行う（Ｓ１５０１）。サンプリング周波数としては例えば、２００Ｈｚ、５００Ｈｚ、１０００Ｈｚなどがある。
【００４０】
次に、サンプリングした電位変化の波形からノイズを除去する（Ｓ１５０２）。ここでは、信号に混入する低周波・高周波成分をカットするために例えば０．０３−３０Ｈｚの帯域通過フィルタに通したり、瞬きや眼球運動による影響を低減するために、８０μＶ以上の振幅を持つ波形を識別対象から除去したりする。
【００４１】
次に、ノイズを除去した脳波の電位変化から、「期待はずれ信号」の検出に関係する領域の波形を切り出す（Ｓ１５０３）。前述した実験結果から、「期待はずれ信号」は刺激提示後６００ｍｓ前後の部分あたりに検出されることが分かっている。また、応答提示後比較的早い領域の波形は、聴覚刺激や視覚刺激に反応して現れるものであり、期待はずれの有無とは関係ないと考えられるので、その部分は除去するのが好ましい。そこで、例えば、応答提示後２００ｍｓから８００ｍｓの領域を切り出すものとする。
【００４２】
もちろん、この切り出す範囲はこれに限られるものではなく、例えば、前述の実験結果でｔ検定によって有意差が認められた４５０ｍｓ−８００ｍｓとしてもよいし、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどと設定してもよい。あるいは、下限を設定せずに、応答提示後から１ｓ程度の範囲を切り出してもよい。
【００４３】
次に、期待はずれ試行の繰り返し回数に応じて、どの段階のテンプレートとの比較を行うかを切り替える（Ｓ１５０４）。すなわち、これまで行われてきた試行において、後述のように期待はずれの信号（特定事象関連電位）が計測された回数をカウントしておいて、その回数を基にどのテンプレートを用いるかを決める。期待はずれ試行の繰り返し回数ｎが例えば１のとき、段階１の期待はずれありのテンプレート、および期待はずれなしのテンプレートを選び、それぞれと計測された波形とを比較してその相関係数を計算する（Ｓ１５０５）。この相関計算によって、信号波形がそれぞれのテンプレートとどの程度相関があるかが計算される。期待はずれ状況の繰り返し回数によって判定基準を切り替えるこのステップが特許文献１との相違点である。
【００４４】
そして、信号波形と段階１の期待はずれありのテンプレート、期待はずれなしのテンプレートとの距離計算を行う（Ｓ１５０６）。距離計算には、例えばマハラノビス距離が用いられる。このマハラノビス距離は、データの分散・共分散を考慮に入れたグループの重心からの距離を示す（式１）。式１中のＤ１２は期待はずれなしのグループとのマハラノビス距離の２乗、ｘ１（期待はずれなしのテンプレートとの相関係数）、ｘ２（期待はずれありのテンプレートとの相関係数）、ｘ１（１）（期待はずれなしのグループの期待はずれなしのテンプレートとの相関係数の平均値）、ｘ２（１）（期待はずれなしのグループの期待はずれありのグループとの相関係数の平均値）、ｓ（期待はずれなしのグループの分散共分散行列）である。同様にして、Ｄ２２（期待はずれありのグループとのマハラノビス距離の２乗）を求める。
【数１】
2007013241.tif 000026
【００４５】
このように期待はずれあり／なし、それぞれのグループとのマハラノビス距離を計算し、信号波形が期待はずれありと期待はずれなしのどちらに近いかを判別する（Ｓ２００４）。マハラノビス距離を用いた判別は、単純に相関の大小によって判別するよりも、識別能力が高いことが知られている。
【００４６】
このマハラノビス距離を用いて、信号波形が期待はずれありと期待はずれなしのどちらに近いかを判別する（Ｓ１５０７）。マハラノビス距離を用いた判別は、単純に相関の大小によって判別するよりも、識別能力が高いことが知られている。
【００４７】
計測した信号波形を期待はずれありに近いと識別したときは（Ｓ１５０７でＹｅｓ）、期待はずれ信号が検出された、すなわち、ユーザは期待はずれと思っている状態である、と判定し（Ｓ１５１７）、期待はずれ試行の繰り返し回数ｎをインクリメントする（Ｓ１５１９）。一方、信号波形は期待はずれなしに近いと識別したときは（Ｓ１５１８）、期待はずれ信号は検出されなかった、すなわち、ユーザは期待どおりの応答が得られたと思っている、と判定する。
【００４８】
期待はずれ試行の繰り返し回数ｎが２以上の場合も同様に、それぞれの段階の期待はずれありのテンプレート１から４と期待はずれなしのテンプレートとの比較を行い、マハラノビス距離を計算して識別を行う（Ｓ１５０８−Ｓ１５１６）。ｎが４以下の時は段階１のテンプレートを用い、ｎが５以上８以下の時は段階２のテンプレートを用い、ｎが９以上１２以下の時は段階３のテンプレートを用い、ｎが１３以上の時は段階４のテンプレートを用いる。
【００４９】
図１９に処理ａを用いた場合の期待はずれ信号の識別率を示す。なお、比較のために、期待はずれ状況の繰り返し回数に関係なく、図１５に示した期待はずれありと期待はずれなしの総加算平均波形をそれぞれのテンプレートとして識別する処理方法を処理ｂと定義し、処理ｂを用いた場合の識別率も合わせて示す。処理ｂの処理方法については図２０に示したが、図１８と同じ処理を行うステップについては同一の符号を用い説明を省略する。図１８に示されている処理ａとの相違点は、期待はずれ試行の繰り返し回数が増加していっても判定基準を変更せず単一のテンプレートを用いる点である。図１９（ａ）の表は期待はずれの繰り返し試行の段階に応じて判定基準を変更した場合と、判定基準を変更しなかった場合の識別率をまとめたものである。処理ａでは処理ｂに比べて、段階１（初期）、段階４（後期）の識別率がそれぞれ１１％、６％向上していることが分かる。処理ｂでは、テンプレートを作成し、相関係数を計算し、相関係数空間のマハラノビス距離を計算し、ようやく１５％の識別率の向上を実現している。このことから、期待はずれ状況に応じて判定基準を切り替える本発明によって向上した段階１、段階４の識別率向上の幅は有意であり、期待はずれ状況が複数回発生する場合においてこの判定方法は有用であると考えられる。
【００５０】
上記の例では期待はずれ状況の繰り返しを４段階に分けたが、これに限定されるものではない。
【００５１】
なお、期待はずれ状況の発生回数（段階）に応じたテンプレートを作成する場合は、期待はずれ信号の振幅が急激に減少する又は潜時が急激に短縮する期待はずれ状況の繰り返し回数部分を選ぶ必要がある。すなわち、期待はずれ状況が２０回程度繰り返される部分は、期待はずれ信号の振幅が急激に減少する又は潜時が急激に短縮するので、２０回までの繰り返し部分を複数段階に分けてテンプレートを作成することが好ましい。
【００５２】
また、テンプレートの利用に代えて、またはテンプレートの利用とともに、他の手法（判定基準）を用いてもかまわない。例えば、期待はずれ信号成分の振幅の最大値に基づき判定を行う場合には、段階ごとの振幅の最大値の減少率を段階１の振幅の最大値に掛け合わせて算出した値に基づき期待はずれ信号の有無の判定を行うことも可能である。
【００５３】
（連続刺激による事象関連電位の変化）
ここまで、一連の機器操作の中で期待はずれ状況が複数回発生する場合には、期待はずれ信号成分が変化することについて述べてきた。これとは別に、本願発明者らは期待はずれ状況が連続した場合（連続条件）にも、期待はずれ信号成分に変化が現れることを新たに発見した。期待はずれ状況が連続しない場合を単発条件として、図２１に単発条件６８回と、連続条件１２回の期待はずれ信号を加算平均した波形を、それぞれ太実線、粗い破線で示す。また、期待はずれなし状況についても連続条件７６回、単発条件６４回を加算平均した波形をそれぞれ細実線、細かい破線で示す。図２１の横軸は時間で単位はｍｓ、縦軸は電位で単位はμＶである。期待はずれなしでは、単発条件、連続条件に差がないが、期待はずれありでは単発条件に比べて連続条件では期待はずれ信号の振幅が減少していることが分かる。このことから、期待はずれ状況が連続する場合にも期待はずれ信号成分が変化するため、図２２に示すように期待はずれ状況が連続しているか否かによって判定基準を切り替えることで識別率が向上すると考えられる。
【００５４】
図２２は、連続条件において判定を切り替えて期待はずれ信号を検出する具体的な方法の例のフローチャートである（処理ｃ）。期待はずれ状況の繰り返し回数に応じて判定基準を切り換える処理ａを図１８に示したが、図１８と同じ処理を行うステップについては同一の符号を用い説明を省略する。図１８との相違点は、連続条件において判定基準を変更する点である。以下、順に説明する。
【００５５】
まず、直前の試行が期待はずれであったか否かに応じて、どちらのテンプレートとの比較を行うかを切り替える（Ｓ２００１）。直前の試行が期待はずれであった場合、例えば連続条件で作成した期待はずれありのテンプレート、期待はずれなしのテンプレートそれぞれとの相関係数を計算する（Ｓ２００２）。この相関計算によって、信号波形がそれぞれのテンプレートとどの程度相関があるかが計算される。
【００５６】
そして、信号波形と連続条件の期待はずれありのテンプレート、期待はずれなしのテンプレートとの距離計算を行う（Ｓ２００３）。距離計算には、例えばマハラノビス距離が用いられる。このマハラノビス距離は、データの分散・共分散を考慮に入れたグループの重心からの距離を示す。
【００５７】
直前の試行が期待はずれでなかった単発条件の場合も同様に、単発条件の期待はずれありのテンプレート、期待はずれなしのテンプレートとの比較を行い、マハラノビス距離を計算して識別を行う（Ｓ２００５−Ｓ２００７）。
【００５８】
このように、期待はずれ状況が連続した場合に現れる期待はずれ信号成分の変化に対応して、連続条件において判定を変更することで連続条件においても識別率が向上すると考えられる。
【００５９】
これまでに説明した期待はずれの判定方法を基に以下、本発明の実施形態について説明する。
【００６０】
上述のように、期待はずれ信号取得の実験データにおいて、処理ａ（期待はずれの繰り返し試行の段階に応じて判定を変更）で識別をした結果、処理ｂに比較して段階１、段階４の期待はずれ信号の識別率が明らかに向上した。このことから、本方式は、例えば使い方が分からない機器を操作する場合や、回答を入力すると正誤評価が自動的にフィードバックされるような学習システムでの学習でユーザの不得意な領域の問題が多く出題された場合など、期待はずれが複数回発生する状況において有用である。また、本方式によって識別率が向上した段階１、段階４の期待はずれは、それぞれ初めて生じた期待はずれな機器動作、何度も繰り返し生じる期待はずれな機器動作に対応し、以下で説明するような機器に期待はずれ信号を応用する場合には重要な期待はずれ判定であると考えられる。また、連続条件の期待はずれ判定についても同様である。
【００６１】
（実施の形態１）
図１３は、実施の形態１に係るサービス提供装置１の構成図である。図１３において、生体信号検出部１０１はユーザ５０の脳波を計測する。入力部１０よりユーザの要求を受け、機器動作制御部３００は応答内容を決定して、出力部（提示部）１１が応答内容を提示する。判定部２００において、ユーザ状態判定部２０１は、出力部１１が応答内容を提示した時刻を起点として、生体信号検出部１０１で検出した脳波の事象関連電位の中から、起点から所定の時間後の特定事象関連電位（期待はずれ信号）の有無を、判定結果記憶部２０に保存された判定結果に基づき、判定する。
【００６２】
判定結果記憶部２０は、ユーザ状態判定部２０１で判定された期待はずれの有無の履歴を保存する。この履歴には、過去の特定事象関連電位の発生回数が含まれる。ユーザ状態判定部２０１は、判定結果記憶部２０を参照して、過去の特定事象関連電位の発生回数を得ることができる。また、判定基準記憶部２０３は、特定事象関連電位の有無を判定するための判定基準として、例えば事象関連電位の波形データをテンプレートとして記憶している。ここでは、判定基準記憶部２０３は、特定事象関連電位の発生回数に応じて、複数個のテンプレートを記憶しているものとする。ユーザ状態判定部２０１は、判定結果記憶部２０を参照して得た特定事象関連電位の発生回数から、判定基準記憶部２０３内のいずれかのテンプレートを選択し、選択されたテンプレートを用いて、特定事象関連電位の有無を判定する。
【００６３】
なお、サービス提供装置１のうち生体信号検出部１０１以外は一般的なパーソナルコンピュータによって構成することができる。
【００６４】
このような構成により特定事象関連電位（期待はずれ信号）の有無を的確に判定する。
【００６５】
すなわち、本実施形態では、ユーザの要求を受けるステップＡと、この要求に対し、応答内容を決定するステップＢと、決定された応答内容をユーザに提示するステップＣと、ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、応答内容を提示したタイミングを起点として、計測された事象関連電位の中から、起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含むサービス提供方法が、実現される。そして、ステップＥは、判定結果の履歴を参照して特定事象関連電位の発生回数を得るサブステップと、この発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された判定基準を用いて、特定事象関連電位の有無を判定するサブステップとを含む。このサービス提供方法は、ステップＤを除いて、コンピュータによってプログラムを実行することによって、実現可能である。
【００６６】
（実施の形態２）
実施の形態２は、図１３に示したサービス提供装置１の機器動作制御部３００を具体化したもので、機器動作制御部３００において、回答を入力すると正誤評価を自動的にフィードバックする学習システムを実現した理解度判定装置（サービス提供装置の一種）に関する。
【００６７】
ユーザの理解度は、正誤評価のフィードバックを起点に計測した事象関連電位に基づき期待はずれ判定を行い、回答の正誤評価と期待はずれ信号の有無から「あてずっぽう」による正解を検出することでより詳細に判定できる。期待はずれ信号を用いた理解度判定装置は、特に選択式の問題等において、従来では見逃されていた「あてずっぽう」による正解を検出し、ユーザの理解が不十分であると判定できるので、例えば、復習問題を提示することによって、学習効率を向上させることができる。このような学習システムを用いた学習では、ユーザは提示される問題に順に回答し、正誤評価のフィードバックを順に受ける。ユーザの不得意な領域の問題が多く出題される場合には、正誤評価のフィードバックに対して、「不正解だと思っていたのに正解だった」というような期待はずれ状況が複数回生じることが想定される。そのため、期待はずれ信号を精度良く識別するために、期待はずれ状況の繰り返し回数に応じて判定基準を切り替える。
【００６８】
図１は本実施形態に係る理解度判定装置１００の構成図である。図１において、生体信号検出部１０１は、問題に回答するユーザ５０の脳波を計測する。提示部１０２は、ユーザ５０に問題やユーザ５０の回答の正誤判定結果等のうち適切なものを選択して提示する。入力部１０３は、ユーザ５０の要求（ここでは回答等）を受ける。ユーザ状態判定部２０１は、ユーザ５０の回答の正誤が提示部１０２に提示された時刻を起点として、生体信号検出部１０１で検出した脳波の事象関連電位が期待はずれ信号（特定事象関連電位）かどうかを判定する。
【００６９】
判定部２００は、ユーザ５０の回答の正誤が提示部１０２に提示された時刻を起点に、生体信号検出部１０１で検出した脳波の事象関連電位からユーザ状態を判定する。
【００７０】
ユーザ状態判定部２０１は、判定結果記憶部としての判定結果ＤＢ２０２に保存された期待はずれの有無の履歴（期待はずれの発生回数）に応じて、ユーザ５０の回答の正誤が提示部１０２に提示された時刻を起点に、生体信号検出部１０１で検出した脳波の事象関連電位が期待はずれ信号かどうかを判定する。
【００７１】
判定結果ＤＢ２０２は、ユーザ状態判定部２０１で判定された期待はずれの有無の履歴を保存する。図２に判定結果ＤＢ２０２に保存する履歴の具体例を示す。図２のように、判定結果ＤＢ２０２には例えば操作の時刻、操作内容、期待はずれの有無（有りの場合が１，無しの場合が０）、期待はずれの繰り返し回数（発生回数）ｎを保存する。期待はずれの繰り返し回数ｎは、理解度判定装置１００の使用状況に合わせて０に初期化するとよい。初期化のタイミングとして、例えば、理解度判定装置１００への入力が１時間中断した場合や、理解度判定装置１００の電源を切った場合、学習問題の分野を変更した場合などとすればよい。判定結果ＤＢ２０２に保存した期待はずれの有無の履歴は、ユーザ５０が連続して問題の解答を行う場合に、次回のユーザ状態判定で使用する。
【００７２】
期待はずれの有無の履歴に応じたユーザ状態判定方法として、例えば、判定部２００に期待はずれの繰り返し回数に応じて作成した複数のテンプレート（事象関連電位の波形図）などの判定基準を保存しておき、どのテンプレートと比較するかを、判定結果ＤＢ２０２の期待はずれの繰り返し回数ｎに基づき決定する。すなわち、判定部２００は判定基準であるテンプレートを記憶している判定基準記憶部２０３を含んでいる。
【００７３】
判定基準記憶部２０３に保存しておくテンプレートの具体的な数値例（波形図として表される点の位置座標の集合）を図３に示す。図３に示した期待はずれありの４つのテンプレートは、前記の期待はずれ信号取得の実験を予め行い、図１６のような手順で期待はずれ状況の繰り返し回数に応じて、例えば刺激提示後２００ｍｓから８００ｍｓまでの電位サンプルごとを加算平均したものである。また、期待はずれの繰り返し回数に応じたテンプレート切り替えのルール（例えば図１８に示す処理ａ）を予め設定し、ユーザ状態判定部２０１に記憶しておく。
【００７４】
ユーザ状態判定部２０１は、判定結果ＤＢ２０２を参照して期待はずれ状況の繰り返し回数ｎを得る。そして、テンプレート切り替えのルールに従ってテンプレートを選択し、選択したテンプレートと今回の電位変化との相関係数を計算する。具体的には例えば、期待はずれ状況の繰り返し回数ｎが１のとき、期待はずれありのテンプレート１と、期待はずれなしのテンプレートとを選択し、それぞれのテンプレートと今回の電位変化との相関係数を式２を用いて計算する。式２中のｒは相関係数、ｎはテンプレートのサンプリング数、ｘは検出された事象関連電位でｘｉは相関係数を計算する区間のｉ番目の電位サンプル、ｙはテンプレートのデータでｙｉはテンプレートのｉ番目のデータ、ａｖｅ（ｘ）、ａｖｅ（ｙ）はそれぞれｘ、ｙの平均値である。
【数２】
2007013241.tif 000027
【００７５】
また例えば、期待はずれ状況の繰り返し回数ｎが５になると、期待はずれありのテンプレートをテンプレート１からテンプレート２に切り替え、テンプレート２と期待はずれなしのテンプレートとを選択し、それぞれと今回の電位変化との相関係数を計算する。なお、識別には上記式１のようにして、相関係数の計算結果から算出したマハラノビス距離を用いてもよい。いずれの場合においても、テンプレートは期待はずれなしのテンプレートと、期待はずれありのテンプレート（テンプレート１から４のうちのいずれか）との２つのテンプレートを選択して判定基準として用いる。
【００７６】
このように、期待はずれ状況の繰り返し回数ｎによってテンプレートを切り替えて判定を行うことが、本実施形態と特許文献１との相違点である。このように、ユーザ状態の遷移に応じてテンプレートを切り替えることで、期待はずれ信号の識別率が向上する。
【００７７】
また、判定基準記憶部２０３に、期待はずれありの別のテンプレートとして、図４に示したような、期待はずれありで検出された信号を総加算平均したテンプレートであるテンプレート連続を、保存しておいてもよい。そしてユーザ状態判定部２０１は、判定結果ＤＢ２０２に保存される期待はずれの履歴において、直前の試行が期待はずれであった場合、すなわち、前回の判定において特定事象関連電位が有ると判定していた場合、テンプレート連続に切り替えて相関係数を計算してもよい。このテンプレート連続は、特定事象関連電位の発生が連続した場合のための連続用判定基準に相当する。テンプレート連続を選択して判定を行う試行を図２中に※印で示した。このような判定方法も特許文献１には記載されていない。
【００７８】
また、判定基準記憶部２０３に、図５に示したように、期待はずれのテンプレートとして、図３に示したテンプレート１〜４に加えて、図４に示したテンプレート連続を保存しておいてもよい。この場合、ユーザ状態判定部２０１は図６のフローチャートで示した手順で判定を行う。図６は、図２２で示した連続する期待はずれ検出のフローにおいて、直前の試行で期待はずれが検出されなかった場合（Ｓ２００１でＮｏ）に、単一テンプレートを用いる処理Ｓ２００５〜Ｓ２００７に代えて、図１８のＳ１５０４〜Ｓ１５１６で示した期待はずれの回数に応じてテンプレートを切り替える処理を用いたものである。各ステップは、図１８、図２２に示したステップと同一の手順であるため、同一の符号を付し、説明は省略する。
【００７９】
また、図６に示したフローチャートの代わりに、図１８に示したフローチャートを基にして、まずこれまでの期待はずれの発生回数を基にして４つの段階のいずれかを選び、各段階において、直前の試行で期待はずれ信号を検出したか否かを判断するようにしてもよい。そして、直前の試行で期待はずれ信号を検出した場合は、判定基準としてテンプレート連続を選択してマハラビノス距離を計算し、直前の試行が期待はずれではなかった場合は、各段階のテンプレートを選択してマハラビノス距離を計算する、という判定を行ってもよい。この場合、テンプレート連続は１種類であってもよいし、各段階毎に異なるものであってもよい。
【００８０】
機器動作制御部３００は、入力部１０３からユーザ５０の回答を受け、正誤判定を行い、ユーザ状態判定部２０１から受けた期待はずれの有無と正誤判定の結果に基づき、理解度判定を行う。正誤判別部３０１は、入力部１０３によって受けたユーザ５０の回答が、提示部１０２から提示した問題に対して正解か否かを判別する。あてずっぽう／勘違い判定部３０２は、正誤判別部３０１およびユーザ状態判定部２０１の出力を受け、ユーザ回答の正誤および期待はずれ信号の有無を基にして、提示した問題に対するユーザ５０の理解度を判定する。問題ＤＢ３０３は、問題、正解、問題の重要度など問題に関するデータを記憶しており、正誤判別部３０１に問題の正解のデータを提供する。図７に問題ＤＢ３０３の具体例を示す。結果蓄積ＤＢ３０４は、あてずっぽう／勘違い判定部３０２によって判定されたユーザ５０の個々の問題に対する理解度を記憶する。図８に結果蓄積ＤＢ３０４に記憶された内容の具体例を示す。問題選択部３０５は、問題ＤＢ３０３および結果蓄積ＤＢ３０４を参照して次に出す問題を選択決定するところである。問題ＤＢ３０３および問題選択部３０５によって、問題決定部が構成されている。
【００８１】
図１の理解度判定装置１００の構成のうち、生体信号検出部１０１以外の構成要素は、一般的なパーソナルコンピュータによって構成可能である。また、生体信号検出部１０１、提示部１０２および入力部１０３以外の構成要素は、ネットワーク上に構成することも可能である。
【００８２】
生体信号検出部１０１は脳波計を有し、生体信号として、脳波における事象関連電位を計測する。ユーザ５０はあらかじめ、脳波計を装着している。最適な電極の設置位置は、実験等によって決定すればよい。測定されたユーザ５０の脳波は、コンピュータで処理できるようにサンプリングされ、判定部２００に送られる。
【００８３】
提示部１０２はディスプレイやスピーカー等によって構成され、入力部１０３はキーボードやマウス、音声入力装置等によって構成される。
【００８４】
判定部２００は、保存している複数のテンプレート等の判定基準の中から、ユーザ状態判定部２０１によって決定されたテンプレートを用いて、回答の正誤提示後、所定の時間範囲においてユーザ５０の脳波から期待はずれ信号有無を検出する。ユーザ状態判定部２０１は、判定結果ＤＢ２０２に保存された期待はずれの有無の履歴（発生回数）に応じて、ユーザ５０の回答が正しいか誤っているかが提示部１０２に提示された時刻を起点に、生体信号検出部１０１で検出した脳波の事象関連電位が期待はずれ信号（特定事象関連電位）かどうかを判定する。なお、保存している複数の判定基準は、例えば前記期待はずれ信号取得の実験をあらかじめ行い図１６のような手順で作成したものであってもよい。前述のように、期待はずれ状況の数回の繰り返しによって期待はずれ信号成分は変化するが、このような方法での判定によって、識別率が向上する。
【００８５】
なお、期待はずれ信号の検出は、マハラノビス距離を計算したり相関係数を計算するなど、上述した実験における方法と同様に行えばよい。テンプレートは例えば、正誤提示から約６００ｍｓ前後の部分を所定の時間範囲として設定し、検出を行えばよい。６００ｍｓ前後の部分として、例えば２００ｍｓから８００ｍｓ、５００ｍｓから７００ｍｓ、３００ｍｓから９００ｍｓなどとしてもよいし、ｔ検定で有意差が認められる４５０ｍｓ以上８００ｍｓ以下としてもよい。あるいは、下限を設定せずに、提示後から１ｓ程度の範囲としてもよい。
【００８６】
あてずっぽう／勘違い判定部３０２は、正誤判別部３０１から受けた回答の正誤結果と、ユーザ状態判定部２０１から受けた期待はずれ信号の有無に基づき、提示した問題に対するユーザ５０の理解度を判定する。図９はあてずっぽう／勘違い判定部３０２における判定ロジックを示すテーブルである。図９に示すテーブルに従って、ユーザ５０が、提示された問題を理解しているか否かが判定される。
【００８７】
すなわち、図９に示すように、あてずっぽう／勘違い判定部３０２は、ユーザ回答が正しい場合において、期待はずれ信号が有るときは、ユーザ５０は「あてずっぽう」で回答したと判定する一方、期待はずれ信号が無いときは、ユーザ５０は問題を理解していると判定する。また、ユーザ回答が誤っている場合において、期待はずれ信号が有るときは、ユーザ５０は回答を「勘違い」していたと判定する一方、期待はずれ信号が無いときは、ユーザは問題を理解していないと判定する。これにより、同じ正解でも「あてずっぽう」による正解か否かを判別することができ、また、不正解のときも「勘違い」による不正解か否かを判別することができる。
【００８８】
以上のように構成された本実施形態に係る理解度判定装置の動作について、図１０のフローチャートを用いて説明する。
【００８９】
まずステップＳ３０１において、問題ＤＢ３０３に格納された問題の中から次に出す問題を問題選択部３０５が選択し、選択された問題を提示部１０２によって提示する。ここでの問題選択は、例えば図８に示すように、問題ＤＢ３０３に記憶された各問題に関する重要度等の情報（図７参照）や、結果蓄積ＤＢ３０４に記憶されたユーザの理解度から、ユーザの理解が足りない重要問題について重点的に行うようにしてもよい。これにより、理解不十分であった重要問題に対して復習問題を提示することできる。
【００９０】
次に、ユーザ５０は、ステップＳ３０１で提示された問題に対し、回答する。この回答は入力部１０３によって理解度判定装置１００に入力される（Ｓ３０２）。正誤判別部３０１は、入力部１０３によって受けた回答と問題ＤＢ３０３に記憶している問題の正解とを比較し、ユーザ回答の正誤を判定する（Ｓ３０３）。回答が正しいときは（Ｓ３０３でｙｅｓ）ステップＳ３０４を選択して進み、間違っているときは（Ｓ３０３でｎｏ）ステップＳ３０６を選択して進む。
【００９１】
回答が正しいときは、Ｓ３０４において、正解であることを提示部１０２によってユーザ５０に提示する。例えば提示部１０２がディスプレイの場合、「○」などを表示する。この提示のタイミングは、期待はずれ信号検出の際のトリガーとなる。そしてユーザ状態判定部２０１が、生体信号検出部１０１によって計測された生体信号から、期待はずれ信号の有無を検出する（Ｓ３０５）。このときに、ユーザの期待はずれの繰り返し回数や、期待はずれの連続条件かどうかに基づき判定基準を切り替える。
【００９２】
ステップＳ３０８では、あてずっぽう／勘違い判定部３０２が、正解は「あてずっぽう」によるものと判定する。正解であることを提示したにもかかわらず、期待はずれ信号が出現したのであるから、ユーザ５０は不正解を期待していたと考えられる。すなわち、ユーザ５０はその問題を理解していないが「あてずっぽう」で回答し、たまたま正解したと判定する。一方、ステップＳ３０９では、ユーザ５０はこの問題を理解していると判定する。正解であることを提示して期待はずれ信号が出現しなかったのであるから、ユーザ５０は正解を期待していたと考えられる。すなわち、ユーザ５０は、正解して当然だと思っていたのである。
【００９３】
これに対して、回答が正しくないときは、ステップＳ３０６において、不正解であることを提示部１０２によってユーザ５０に提示する。例えば提示部１０２がディスプレイの場合、「×」などを表示する。この提示のタイミングもまた、期待はずれ信号検出の際のトリガーとなる。そしてユーザ状態判定部２０１が、生体信号検出部１０１によって計測された生体信号から、期待はずれ信号の有無を検出する（Ｓ３０７）。このときに、ユーザの期待はずれの繰り返し回数に基づき、図６のような手順で判定基準を切り替える。図６中の各ステップは、図１８、図２２に示したステップと同一の手順であるため、同一の符号を付し、説明は省略する。期待はずれ信号が出現したときは（Ｓ３０７でｙｅｓ）ステップＳ３１０に進み、出現しなかったときは（Ｓ３０７でｎｏ）ステップＳ３１１に進む。
【００９４】
ステップＳ３１０では、あてずっぽう／勘違い判定部２０６は、不正解は「勘違い」によるものと判定する。不正解であることを提示したときに期待はずれ信号が出現したのであるから、ユーザ５０は正解を期待していたと考えられる。すなわち、ユーザ５０は自信を持って回答したがその回答が「勘違い」であったと判定する。一方、ステップＳ３１１では、ユーザ５０はこの問題を理解していないと判定する。不正解であることを提示して期待はずれ信号が出現しなかったのであるから、ユーザ５０は不正解を期待していたと考えられる。すなわち、ユーザ５０は間違えたと思っていたのである。
【００９５】
そして、ステップＳ３０８〜Ｓ３１１における判定結果は、結果蓄積ＤＢ３０４に蓄積される（Ｓ３１２）。判定結果の蓄積方法としては、例えば、問題ごとに、判定結果すなわち「あてずっぽう」「理解」「勘違い」「不理解」を示すラベルを保存する。また、図１１に示すような理解度に応じた重み付け係数を保存してもよい。図１１の例では、ユーザ５０の理解が不十分（「あてずっぽう」「勘違い」「不理解」）のとき、復習のために同様の問題が再び選択される確率が大きくなるような重み付け係数を設定している。
【００９６】
そしてステップＳ３１３において、正誤判別部３０１が、先に提示した問題の正解を問題ＤＢ３０３から読み出し、提示部１０２によって表示する。
【００９７】
その後、ユーザ５０は、学習を続けるか否かを選択する（Ｓ３１４）。学習を続ける旨が入力部１０３に入力されたとき、ステップＳ３０１に戻り、次の問題を選択し提示する。
【００９８】
以上のような期待はずれ信号と回答の正誤に基づく理解度判定装置を用いることで、従来、「正解」「不正解」という２種類の状態しか把握できなかった回答結果について、「あてずっぽう」「理解している」「勘違い」「理解していない」という４種類の状態で認識することが可能となる。これにより、従来は「理解している」と判定され、見過ごされていた「あてずっぽう」による正解に対しても、理解不十分と判定して復習問題を提示する、などの適切な措置がとれるので、学習効率が向上することが想定される。
【００９９】
しかしながら、上述のようにユーザの状態遷移に応じて期待はずれの判定基準を切り替えない場合には、段階１（初期）、段階４の期待はずれ、連続条件の期待はずれの検出率が低くなるため、「あてずっぽう」であっても「理解」と、また「勘違い」であっても「不理解」と誤判定してしまう可能性が高くなる。事象関連電位を用いて「あてずっぽう」と「理解」、「勘違い」と「不理解」を分けて、「理解」の問題に対して復習問題の提示頻度を下げることで、学習効率の向上を実現する理解度判定装置において、特に段階１（初期）の期待はずれの検出は重要である。
【０１００】
前記処理ａのようにユーザの状態遷移に応じた判定の切り替えによって、段階１（初期）の期待はずれ信号の識別精度を向上させることで、理解度判定装置を用いた学習効率の向上が実現される。
【０１０１】
（実施の形態３）
本発明の実施の形態３は、特許文献１に記載の、期待はずれ信号が検出された場合にサービス提供内容を変更し、ユーザの要求に即したサービス提供をする家庭用ロボットや情報端末、家電機器などのサービス提供装置に関する。このようなユーザに適応するサービス提供装置にユーザが対応するためには相応の適応の期間が必要である。この期間において、サービス提供装置はユーザに何度もサービスの提供を行うので、その間に期待はずれ信号が複数回発生することが想定される。よりよいユーザ適応を行うためには、特に段階４（後期）の期待はずれ信号を精度良く識別する必要があるので、期待はずれ状況の繰り返し回数に応じて判定基準を切り替える上述の判定方法を適用する。
【０１０２】
図１２は本実施形態に係るサービス提供装置５００の構成図である。図１と共通の構成要素には図１と同一の符号を付し、説明は省略する。図１との相違点は、機器動作制御部３００を、期待はずれ信号の有無によって応答内容を決定する応答内容決定部５０１という名前にしたことである。
【０１０３】
ユーザの要求に対して機器のサービスがユーザの期待通りでなかった場合に、サービスを変更するサービス提供装置５００においては、よりよい適応のために特に段階４（後期）の期待はずれ成分の検出が重要となる。段階４（後期）は、機器が提供するサービスとユーザの要求が異なるような期待はずれ状況が繰り返されることをユーザ側が学習してしまった段階に相当する。このときに、段階４（後期）の期待はずれを検出できなければ、機器のサービスはそれ以上変更されないため、ユーザ要求に即したサービスを提供できなくなる。また、ユーザ適応もそれ以上は進まない。
【０１０４】
前記処理ａのように、期待はずれが複数回繰り返されて提供されるサービスに対するユーザの対応の状態が遷移していく場合に、このユーザの状態遷移に応じた判定基準の切り替えによって、段階４（後期）の期待はずれ信号の識別精度を向上させることで、ユーザ要求により即したサービスの提供が可能となる。
【０１０５】
（その他の実施の形態）
以上の実施の形態は本発明の例示であって、本発明はこれらの例に限定されない。例えば、携帯電話などの情報端末やＤＶＤレコーダーなどの家電製品の機種変更をした直後には、それらの情報端末や家電製品を何度も操作をしているうちに複数回の期待はずれの状態が生じることは経験上よく知られている。ユーザは前の機種の携帯電話のボタンの配置やＤＶＤレコーダーのリモコンのボタンの配置などに慣れており、機種変更した直後は新しい機種のボタン配置等になじめず、機種変更前のボタン等を押してしまう場合が非常に多い。このような複数回の期待はずれ信号（特定事象関連電位）が出る場合における特定事象関連電位の有無の判定に本発明を適用することによって、確実に特定事象関連電位の有無を判定できる。機器使用時に期待はずれ状況が複数回発生するような場合の期待はずれ判定に、期待はずれの有無の履歴に基づいて期待はずれ判定を行う本発明は適用可能である。
【０１０６】
また、ＰＣあるいはＤＶＤなどの家電製品において、操作時にヘルプが自動表示される場合もそのヘルプが本当に必要な場合は期待通りの表示であることになるが、不必要なタイミングでヘルプ表示されると期待はずれとユーザは感じるので、このようなヘルプの自動表示の場合にも、上記の実施形態の期待はずれ判定方法は適用できる。
【産業上の利用可能性】
【０１０７】
本発明に係るサービス提供装置は、期待はずれが繰り返し発生する状況や、期待はずれが連続して発生する状況であっても精度良く期待はずれ信号を検出できるため、例えば、期待はずれが繰り返し発生することが想定される学習支援システムや、ヘルプの自動表示や情報推薦などのサービス提供装置などに有用である。
【図面の簡単な説明】
【０１０８】
【図１】実施の形態２に係る理解度判定装置の構成図である。
【図２】判定結果ＤＢ２０２の保存履歴の具体例を示すテーブルである。
【図３】ユーザ状態判定部２０１に記憶するテンプレートの１具体例である。
【図４】ユーザ状態判定部２０１に記憶するテンプレートの別の具体例である。
【図５】ユーザ状態判定部２０１に記憶するテンプレートの他の具体例である。
【図６】ユーザ状態判定方法の例を示すフローチャートである。
【図７】問題ＤＢ３０３に記憶された問題などの情報の具体例である。
【図８】結果蓄積ＤＢ３０４に蓄積されたユーザの理解状況の具体例である。
【図９】図１のあてずっぽう／勘違い判定部における判定ロジックを示すテーブルである。
【図１０】図１の理解度判定装置の動作を示すフローチャートである。
【図１１】解答結果として蓄積される重み付け係数の例である。
【図１２】実施の形態３に係るサービス提供装置の構成図である。
【図１３】実施の形態１に係るサービス提供装置の構成図である。
【図１４】（ａ）は本願発明者らが行った実験の手順の概要図であり、（ｂ）は実験の一試行分の手順を示すフローチャートである。
【図１５】４人の被験者の実験における事象関連電位データの総加算平均波形を示すグラフである。
【図１６】判定基準切り替えのためのテンプレート作成手順を示すフローチャートである。
【図１７】発生回数に応じて期待はずれ信号が変化することを示すグラフである。
【図１８】期待はずれ信号検出のために判定基準を変更した本発明の信号処理を示すフローチャートである。
【図１９】（ａ）は処理の違いと識別率の関係を示す表であり、（ｂ）は処理の違いによる識別率の変化を示すグラフである。
【図２０】単一のテンプレートを用いた判定処理のフローチャートである。
【図２１】連続条件での期待はずれ信号の加算平均波形を示すグラフである。
【図２２】連続条件での判定基準切り替え手順を示すフローチャートである。
【符号の説明】
【０１０９】
１      サービス提供装置
１０    入力部
１１    出力部（提示部）
２０    判定結果記憶部
１００  理解度判定装置（サービス提供装置）
１０１  生体信号検出部
１０２  提示部
１０３  入力部
２００  判定部
２０１  ユーザ状態判定部
２０２  判定結果ＤＢ（判定結果記憶部）
３００  機器動作制御部
３０１  正誤判別部
３０２  あてずっぽう／勘違い判定部
３０３  問題ＤＢ
３０４  結果蓄積ＤＢ
３０５  問題選択部
５００  サービス提供装置
５０１  応答内容決定部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007013241.tif 000028
【図２】
2007013241.tif 000029
【図３】
2007013241.tif 000030
【図４】
2007013241.tif 000031
【図５】
2007013241.tif 000032
【図６】
2007013241.tif 000033
【図７】
2007013241.tif 000034
【図８】
2007013241.tif 000035
【図９】
2007013241.tif 000036
【図１０】
2007013241.tif 000037
【図１１】
2007013241.tif 000038
【図１２】
2007013241.tif 000039
【図１３】
2007013241.tif 000040
【図１４】
2007013241.tif 000041
【図１５】
2007013241.tif 000042
【図１６】
2007013241.tif 000043
【図１７】
2007013241.tif 000044
【図１８】
2007013241.tif 000045
【図１９】
2007013241.tif 000046
【図２０】
2007013241.tif 000047
【図２１】
2007013241.tif 000048
【図２２】
2007013241.tif 000049
【手続補正書】
【提出日】平成18年11月29日(2006.11.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの要求を受ける入力部と、
前記入力部によって受けた前記要求に対し、応答内容を決定する機器動作制御部と、
前記機器動作制御部によって決定された応答内容を前記ユーザに提示する提示部と、
前記ユーザの生体信号として脳波の事象関連電位を計測する生体信号検出部と、
前記提示部が前記応答内容を提示したタイミングを起点として、前記生体信号検出部で計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定する判定部とを備え、
前記判定部は、
判定結果の履歴を記憶する判定結果記憶部と、
特定事象関連電位の発生回数に応じて、特定事象関連電位の有無を判定するための複数の判定基準を、記憶する判定基準記憶部と、
前記判定結果記憶部を参照して、特定事象関連電位の発生回数を得て、この発生回数から、前記判定基準記憶部内のいずれかの判定基準を選択し、選択した判定基準を用いて、特定事象関連電位の有無を判定するユーザ状態判定部とを備え、
前記判定基準記憶部は、さらに、特定事象関連電位の発生が連続した場合のための連続用判定基準を少なくとも１つ記憶しており、
前記ユーザ状態判定部は、前記判定結果記憶部を参照して、前回の判定において特定事象関連電位が有ると判定していた場合、前記判定基準記憶部内の前記連続用判定基準のうちのいずれか１つを選択して、選択した連続用判定基準を用いて特定事象関連電位の有無を判定する
ことを特徴とするサービス提供装置。
【請求項２】
請求項１において、
前記所定の時間は、４５０ｍｓ以上８００ｍｓ以下である
ことを特徴とするサービス提供装置。
【請求項３】
請求項２において、
前記所定の時間は、６００ｍｓ前後または７５０ｍｓ前後である
ことを特徴とするサービス提供装置。
【請求項４】
請求項１において、
前記判定基準は、予め測定された事象関連電位の結果に基づいて作成されたテンプレートである
ことを特徴とするサービス提供装置。
【請求項５】
請求項１において、
前記機器動作制御部は、前記特定事象関連電位の有無に応じて、応答内容を再度決定する、または応答内容をキャンセルする
ことを特徴とするサービス提供装置。
【請求項６】
ユーザの要求を受けるステップＡと、
前記要求に対し、応答内容を決定するステップＢと、
決定された前記応答内容を前記ユーザに提示するステップＣと、
前記ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、
前記応答内容を提示したタイミングを起点として、計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含み、
前記ステップＥは、
判定結果の履歴を参照して、特定事象関連電位の発生回数を得るサブステップＥ１と、
前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、特定事象関連電位の有無を判定するサブステップＥ２とを含み、
前記サブステップＥ２において、前回の判定において特定事象関連電位が有ると判定していた場合、特定事象関連電位の発生が連続した場合のための連続用判定基準を用いて、特定事象関連電位の有無を判定する
ことを特徴とするサービス提供方法。
【請求項７】
ユーザの要求を受けるステップＡと、
前記要求に対し、応答内容を決定するステップＢと、
決定された前記応答内容を前記ユーザに提示するステップＣと、
前記応答内容を提示したタイミングを起点として、計測された前記ユーザの脳波の事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとをコンピュータに実行させるためのプログラムであって、
前記ステップＥは、
判定結果の履歴を参照して、特定事象関連電位の発生回数を得るサブステップＥ１と、
前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、特定事象関連電位の有無を判定するサブステップＥ２とを含み、
前記サブステップＥ２において、前回の判定において特定事象関連電位が有ると判定していた場合、特定事象関連電位の発生が連続した場合のための連続用判定基準を用いて、特定事象関連電位の有無を判定する
ことを特徴とするプログラム。
【手続補正書】
【提出日】平成18年11月30日(2006.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
ユーザの要求を受ける入力部と、
前記入力部によって受けた前記要求に対し、応答内容を決定する機器動作制御部と、
前記機器動作制御部によって決定された応答内容を前記ユーザに提示する提示部と、
前記ユーザの生体信号として脳波の事象関連電位を計測する生体信号検出部と、
前記提示部が前記応答内容を提示したタイミングを起点として、前記生体信号検出部で計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定する判定部とを備え、この判定結果を用いて、前記ユーザへのサービス提供を行うものであり、
前記判定部は、
判定結果の履歴を記憶する判定結果記憶部と、
特定事象関連電位の発生回数に応じて、特定事象関連電位の有無を判定するための複数の判定基準を、記憶する判定基準記憶部と、
前記判定結果記憶部を参照して、特定事象関連電位の発生回数を得て、この発生回数から、前記判定基準記憶部内のいずれかの判定基準を選択し、選択した判定基準を用いて、特定事象関連電位の有無を判定するユーザ状態判定部とを備え、
前記判定基準記憶部は、さらに、特定事象関連電位の発生が連続した場合のための連続用判定基準を少なくとも１つ記憶しており、
前記ユーザ状態判定部は、前記判定結果記憶部を参照して、前回の判定において特定事象関連電位が有ると判定していた場合、前記判定基準記憶部内の前記連続用判定基準のうちのいずれか１つを選択して、選択した連続用判定基準を用いて特定事象関連電位の有無を判定する
ことを特徴とするサービス提供装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】
ユーザの要求を受けるステップＡと、
前記要求に対し、応答内容を決定するステップＢと、
決定された前記応答内容を前記ユーザに提示するステップＣと、
前記ユーザの生体信号として脳波の事象関連電位を計測するステップＤと、
前記応答内容を提示したタイミングを起点として、計測された前記事象関連電位の中から、前記起点から所定の時間後の特定事象関連電位の有無を判定するステップＥとを含み、この判定結果を用いて、前記ユーザへのサービス提供を行うものであり、
前記ステップＥは、
判定結果の履歴を参照して、特定事象関連電位の発生回数を得るサブステップＥ１と、
前記発生回数に応じた、特定事象関連電位の有無を判定する判定基準を決定し、決定された該判定基準を用いて、特定事象関連電位の有無を判定するサブステップＥ２とを含み、
前記サブステップＥ２において、前回の判定において特定事象関連電位が有ると判定していた場合、特定事象関連電位の発生が連続した場合のための連続用判定基準を用いて、特定事象関連電位の有無を判定する
ことを特徴とするサービス提供方法。
【国際調査報告】
2007013241.tif 000050
2007013241.tif 000051
2007013241.tif 000052
2007013241.tif 000053