(57)【要約】【課題】  各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定できるようにする。【解決手段】  サーバ装置Ｓｖは、ユーザｕ1，…，ｕn毎に、イベントＥiに対する生体情報を分割し、複数の区間の生体情報から各々の特徴量ｆn1，ｆn2，…，ｆnmを含む第１特徴ベクトルＣ1i，…，Ｃniを導出する。サーバ装置Ｓｖは、第１特徴ベクトルＣ1i，…，Ｃniを２つずつ組み合わせることにより、第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する。サーバ装置Ｓｖは、第１特徴ベクトルＣ1i，…，Ｃniと、相関値及び演算値とを含む第２特徴ベクトルＦiを導出し、第２特徴ベクトルＦiと教師データＤＢ５４の記憶内容とに基づいて、イベントＥiにおける覚醒度を推定する。【選択図】図１
2015228970.tif 000002
【特許請求の範囲】
【請求項１】
イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、前記イベントにおける覚醒度を推定する覚醒度推定装置であって、
前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割する分割手段と、
前記ユーザ毎に、前記複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する第１導出手段と、
前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する算出手段と、
前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出する第２導出手段と、
予め特徴量及び覚醒度を互いに関連付けて記憶した記憶手段と、
前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する推定手段と
を備えたことを特徴とする覚醒度推定装置。
【請求項２】
請求項１に記載の覚醒度推定装置において、
前記推定手段は、
前記第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する抽出部と、
前記抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、前記演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える置換部と、
前記置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、前記複数の区間の全体の特徴量を算出する算出部と、
前記全体の特徴量と前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する推定部と
を備えたことを特徴とする覚醒度推定装置。
【請求項３】
請求項１記載の覚醒度推定装置において、
前記イベントの識別情報を含むイベント情報を記憶するイベント情報記憶手段と、
前記推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、前記イベント情報記憶手段内のイベント情報を出力する出力手段と
を更に備えたことを特徴とする覚醒度推定装置。
【請求項４】
予め特徴量及び覚醒度を互いに関連付けて記憶した記憶手段、分割手段、第１導出手段、算出手段、第２導出手段及び推定手段を備え、イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、前記イベントにおける覚醒度を推定する覚醒度推定装置が実行する覚醒度推定方法であって、
前記分割手段が、前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割する工程と、
前記第１導出手段が、前記ユーザ毎に、前記複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する工程と、
前記算出手段が、前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の特徴量同士の演算値とを算出する工程と、
前記第２導出手段が、前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の特徴量同士の演算値とを含む第２特徴ベクトルを導出する工程と、
前記推定手段が、前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する推定工程と
を備えたことを特徴とする覚醒度推定方法。
【請求項５】
請求項１乃至請求項３のいずれか１項に記載の覚醒度推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、覚醒度推定装置、覚醒度推定方法及びプログラムに関する。
【背景技術】
【０００２】
我々は、複数人で体験を共有し、共通のイベントや刺激から同じ感情を生じることがある。感情の一要素である覚醒度は興奮状態を表しており、記憶の残りやすさと強い相関があることが知られている。このため、複数人の覚醒度が高くなった時点では、多数の人の記憶に残りやすい特別なイベントが生じたと推定することができる。この種のイベントを推定する技術は、例えば、特別なイベントを振り返り、共有するサービス等に拡張可能となっている。
【０００３】
一方、一人のユーザの生体情報を用いて覚醒度を推定する研究は盛んに行われている（例えば、非特許文献１参照）。推定される覚醒度の精度は実験環境などに応じて異なり、各ユーザの覚醒度を個別に集計して得られた精度は８０％前後である。このような覚醒度の精度は、生体情報のノイズに影響される。生体情報のノイズの要因としては、例えば、イベントとは無関係の体動や思考、体調や個人差などが挙げられる。
【０００４】
ここで、覚醒度を推定する方法（以下、覚醒度推定方法という）について図８及び図９を用いて述べる。この覚醒度推定方法においては、例えばｎ人のユーザｕ1，ｕ2，…，ｕnの生体情報をｎ個の生体情報取得部１０1，１０2，…，１０nが取得して覚醒度推定部２０内のｎ個の特徴量算出部２１1，２１2，…，２１nに個別に送出する。各々の特徴量算出部２１1，２１2，…，２１nは、ユーザｕ1，ｕ2，…，ｕnの生体情報をイベントＥ1，Ｅ2，Ｅ3，…毎に区分する。
【０００５】
次に、各々の特徴量算出部２１1，２１2，…，２１nは、イベントＥ1におけるユーザｕ1，ｕ2，…，ｕnの生体情報から各々の特徴量Ｄ11，Ｄ21，…，Ｄn1を算出し、当該特徴量Ｄ11，Ｄ21，…，Ｄn1をｎ個の覚醒度分類部２２1，２２2，…，２２nに個別に送出する。なお、特徴量の記号「Ｄ11」，「Ｄ21」，…，「Ｄn1」は、左側の添字「1」，「2」，…，「n」によりユーザｕ1，ｕ2，…，ｕnを識別し、右側の添字「1」によりイベントＥ1を識別する。
【０００６】
各々の覚醒度分類部２２1，２２2，…，２２nは、生体情報の特徴量Ｄ11，Ｄ21，…，Ｄn1を受けると、予め作成された教師データＤＢ２３1，２３2，…，２３nを参照する。教師データＤＢ２３1，２３2，…，２３nは、予め覚醒度（例、高・中・低）及び生体情報の特徴量を互いに関連付けて記憶した記憶部である。教師データＤＢ２３1，２３2，…，２３nの作成方法としては、一般的には、意図的に覚醒度を誘導する環境を作り、覚醒度の主観評価を正解として取得し、その時の生体情報の特徴量を算出しておく方式が知られている。
【０００７】
また、各々の覚醒度分類部２２1，２２2，…，２２nは、教師データＤＢ２３1，２３2，…，２３nに基づいて、各々の特徴量Ｄ11，Ｄ21，…，Ｄn1を各々の覚醒度Ａ11，Ａ21，…，Ａn1に分類する。しかる後、各々の覚醒度分類部２２1，２２2，…，２２nは、各々の覚醒度Ａ11，Ａ21，…，Ａn1を一致度算出部２４に送出する。
【０００８】
一致度算出部２４は、各々の覚醒度Ａ11，Ａ21，…，Ａn1を受けると、イベントＥ1における覚醒度の一致度を算出し、最も高い一致度をもつ覚醒度を当該イベントＥ1における覚醒度と推定する。
【０００９】
覚醒度の一致度は、分類された覚醒度の個数「ｎ」のうち、互いに一致する覚醒度の個数の割合を％で表した値である。例えば、１０人のユーザの生体情報から得られた１０個の覚醒度Ａ11，Ａ21，…，Ａ101のうち、互いに一致して「高」を示す覚醒度が８個あったとき、覚醒度の一致度が８０％と算出され、覚醒度が「高」と推定される。
【００１０】
以下同様に、イベントＥ2，Ｅ3，…においても、覚醒度の一致度が推定され、覚醒度「中」，「中」，…が推定される。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】L.Constantine, and H.Hajj. “A Survey of Ground-truth in Emotion Data Annotation” PERCOM Workshops, 2012.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、以上のような覚醒度推定方法は、本発明者の検討によれば、生体情報のノイズに由来した覚醒度を一致度の算出に用いてしまうことから、高い一致度をもつ覚醒度を推定する精度を低下させる可能性がある。
【００１３】
例えば図９に示すように、イベントＥ3においては、ユーザｕ1の生体情報の波形と、ユーザｕ2の生体情報の波形とが大きく相違する。このようなイベントＥ3における波形の相違は、イベントＥ1，Ｅ2における時間遅れ（位相差）や個人差（振幅等の差）に由来する波形の相違とは異なり、生体情報のノイズに由来する可能性がある。これにもかかわらず、覚醒度Ａ13，Ａ23は、互いに一致する覚醒度として一致度の算出に用いられてしまう。
【００１４】
このように、従来の覚醒度推定方法は、生体情報のノイズに由来した覚醒度を一致度の算出に用いてしまうことから、高い一致度をもつ覚醒度を推定する精度を低下させる可能性がある。
【００１５】
この発明は上記事情に着目してなされたもので、その目的とするところは、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定し得る覚醒度推定装置、覚醒度推定方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するためにこの発明の一つの観点は、以下のような構成要素を備えている。すなわち、イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、前記イベントにおける覚醒度を推定する覚醒度推定装置であって、分割手段、第１導出手段、算出手段、第２導出手段、記憶手段及び推定手段を備えている。
【００１７】
前記分割手段は、前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割する。
【００１８】
前記第１導出手段は、前記ユーザ毎に、前記複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する。
【００１９】
前記算出手段は、前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する。
【００２０】
前記第２導出手段は、前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出する。
【００２１】
前記記憶手段は、予め特徴量及び覚醒度を互いに関連付けて記憶している。
【００２２】
前記推定手段は、前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。
【００２３】
また、この発明の一つの観点は以下のような態様を備えることを特徴とする。  
第１の態様は、前記推定手段が、抽出部、置換部、算出部及び推定部を備えている。
【００２４】
前記抽出部は、前記第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する。
【００２５】
前記置換部は、前記抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、前記演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。
【００２６】
前記算出部は、前記置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、前記複数の区間の全体の特徴量を算出する。
【００２７】
前記推定部は、前記全体の特徴量と前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。
【００２８】
第２の態様は、前記覚醒度推定装置が、イベント情報記憶手段及び出力手段を更に備えている。
【００２９】
前記イベント情報記憶手段は、前記イベントの識別情報を含むイベント情報を記憶する。
【００３０】
前記出力手段は、前記推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、前記イベント情報記憶手段内のイベント情報を出力する。
【００３１】
したがって、この発明の一つの観点によれば、前記ユーザ毎に、前記イベントに対する生体情報を複数の区間の生体情報に分割し、前記複数の区間の生体情報から各々の特徴量を含む第１特徴ベクトルを導出し、前記ユーザ毎に導出した前記第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る前記第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する。また、前記ユーザ毎に導出した前記第１特徴ベクトルと、前記算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出し、前記第２特徴ベクトルと前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。
【００３２】
このため、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定することができる。
【００３３】
また、第１の態様によれば、前記第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出し、前記抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、前記演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。また、前記置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、前記複数の区間の全体の特徴量を算出し、前記全体の特徴量と前記記憶手段の記憶内容とに基づいて、前記イベントにおける覚醒度を推定する。このため、生体情報内のノイズが最も少ない２つの第１特徴ベクトルを抽出できると共に、ノイズが生じた区間の特徴量からノイズのない特徴量に置換できるので、前述した一つの観点の効果を容易且つ確実に得ることができる。
【００３４】
また、第２の態様によれば、前記推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、前記イベント情報記憶手段内のイベント情報を出力する。このため、複数ユーザが高い覚醒状態を示すときのイベント情報を、特別なイベントを振り返り、共有するサービス等に活用することが可能である。
【発明の効果】
【００３５】
すなわちこの発明によれば、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定し得る覚醒度推定装置、覚醒度推定方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態に係る覚醒度推定装置が適用されたサーバ装置を備えたシステムの構成を示す模式図である。
【図２】同実施形態における同システムの構成を示す模式図である。
【図３】同実施形態における同システムの変形例を示す模式図である。
【図４】同実施形態における特徴量の一例を示す模式図である。
【図５】同実施形態における第１特徴ベクトルを説明するための模式図である。
【図６】同実施形態におけるノイズの除去を説明するための模式図である。
【図７】同実施形態における動作を説明するためのフローチャートである。
【図８】従来の覚醒度推定方法を説明するための機能ブロックの模式図である。
【図９】従来の覚醒度推定方法を説明するための模式図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照してこの発明に係わる実施形態を説明する。
【００３８】
図１及び図２は本発明の一実施形態に係る覚醒度推定装置が適用されたサーバ装置を備えたシステムの構成を示す模式図であり、図３は同システムの変形構成を示す模式図である。このシステムは、互いに通信可能なイベント記録装置３０、生体情報取得部４０1〜４０n及びサーバ装置Ｓｖを備えている。サーバ装置Ｓｖは、例えば、イベントを体験中の各々のユーザから取得された各々の生体情報に基づいて、当該イベントにおける覚醒度を推定する覚醒度推定装置としてコンピュータを機能させるためのプログラムを用いて実施してもよい。すなわち、サーバ装置Ｓｖは、センサ又はメモリ等のハードウェア資源に協働する機能ブロックの機能をプログラムにより実現してもよい。
【００３９】
ここで、イベント記録装置３０は、例えば、屋内又は屋外といった実空間上の環境に設置され、イベント時の映像や音声、イベントの対象物のＩＤや名前などを示すイベント情報をイベント情報記憶部６０に記録する。また、イベント記録装置３０は、イベントの識別情報を生体情報取得部４０1〜４０nに送出する。
【００４０】
イベントは、任意の空間の大きさや、時間の長さによって、開始、終了タイミングが与えられてよいとする。また、展示物などのように各閲覧対象物を１イベントとしてもよいとする。また、イベント情報は、イベントの識別情報を含んでもよい。イベントの識別情報は、区間ＩＤ、時刻又は位置などのように複数の情報の組み合わせとしてもよく、イベントコード又はイベント名などのように単一の情報としてもよい。イベント記録装置３０は、環境に設置される場合に限らず、図３に示すように、生体情報取得部４０1と共に、ユーザ端末３１に実装されてもよい。
【００４１】
生体情報取得部４０1〜４０nは、ｎ人のユーザｕ1〜ｕnが個別に携帯可能な端末、あるいは、環境に埋め込まれたセンサ等に実装され、イベントを体験中の各々のユーザｕ1〜ｕnから各々の生体情報を取得する。例えば、生体情報取得部４０1〜４０nは、各イベントＥiにおいて、ユーザごとに、心拍や皮膚電気活動や体温などの生体情報を取得する。また例えば、生体情報取得部４０1〜４０nは、イベント記録装置３０から各イベントの識別情報（Ｅi）を受けると共に、ユーザから取得した生体情報に各イベントの識別情報を付与し、当該イベントの識別情報が付与された生体情報をサーバ装置Ｓｖに送信する。「識別情報」は「ＩＤ」と読み替えてもよい。
【００４２】
サーバ装置Ｓｖは、覚醒度推定部５０、イベント情報記憶部６０及び送信部７０を備えている。
【００４３】
覚醒度推定部５０は、特徴量算出部５１1〜５１n、相関値算出部５２、特徴量統合部５３、教師データＤＢ５４及び覚醒度分類部５５を備えている。「ＤＢ」は、「データベース」の略語であり、例えば「記憶部」又は「格納部」等に読み替えてもよい。
【００４４】
特徴量算出部５１1〜５１nは、以下の各機能(f51-1)〜(f51-2)を備えている。
【００４５】
(f51-1)  ユーザ毎に、イベントに対する生体情報を複数の区間の生体情報に分割する分割機能。ここで、「区間」は、「分割区間」、「期間」又は「分割期間」等と読み替えてもよい。分割機能は、イベントを体験中のユーザから取得した生体情報を任意の時間幅で分割する機能である。
【００４６】
(f51-2)  ユーザ毎に、当該複数の区間の生体情報から各々の特徴量を算出し、当該各々の特徴量を含む第１特徴ベクトルを導出する第１導出機能。
【００４７】
例えば、イベントＥiにおけるユーザｕnの生体情報をｍ分割したときの第１特徴ベクトルＣniは、ｍ分割により得られたｍ個の生体情報から算出されたｍ個の特徴量ｆn1，ｆn2，…，ｆnmを用いて、次のように表される。  
Ｃni＝｛ｆn1，ｆn2，…，ｆnm｝  
ここで、特徴量としては、例えば図４に示すように、心拍数や心拍変動値、Ｒ−Ｒ分散値、呼吸数、呼吸周期、ＧＳＲ（galvanic skin response：電気性皮膚反射）のピーク数、ＧＳＲの振幅平均値、体温平均値、筋電の振幅平均値、などが適宜、使用可能となっている。また、第１特徴ベクトルには、生体情報に付与されたイベントの識別情報を付与してもよい。
【００４８】
このような特徴量算出部５１1〜５１nは、分割手段及び第１導出手段を構成している。
【００４９】
相関値算出部５２は、例えば、ユーザ毎に導出した第１特徴ベクトルを２つずつ組み合わせることにより、当該組み合わせに係る第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する算出機能を備える。
【００５０】
例えば、相関値算出部５２は、イベントＥiの第１特徴ベクトルＣ1i，Ｃ2i，…Ｃniから、２つの第１特徴ベクトルからなる組（ペア）をつくり、各ペアの相関値ＣＯＲikを算出する。ｎはユーザの人数を表し、ｋは２組の組み合わせ数nＣ2である。
【００５１】
各ペアの相関値ＣＯＲは、例えば、一般的な相関係数として算出可能となっている。一般的な相関係数としては、例えば、ピアソンの積率相関係数（http://aoki2.si.gunma-u.ac.jp/lecture/Soukan/pearson.html）等が使用可能となっている。各ペアの相関値（例、ＣＯＲi1）は、例えば図５に一例を示すように、２つの第１特徴ベクトル（例、Ｃ1i，Ｃ2i）を変数として算出される。
【００５２】
また、相関値算出部５２は、相関値以外にも、Ｃ1i−Ｃ2i，Ｃ1i×Ｃ2iなどの演算によって、第１特徴ベクトルの相互の関係性を数値で表す演算値を算出してもよい。本実施形態は、当該演算値を算出する場合を例に挙げて説明している。
【００５３】
また、第１特徴ベクトルの間の差分値Ｃ(n-1)i−Ｃniは、次のように算出される。
【００５４】
Ｃ(n-1)i−Ｃni＝｛ｆ(n-1)1−ｆn1，ｆ(n-1)2−ｆn2，…，ｆ(n-1)m−ｆnm｝
このような相関値算出部５２は、算出手段を構成している。
【００５５】
特徴量統合部５３は、例えば、ユーザ毎に導出した第１特徴ベクトルと、当該算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルを導出する第２導出機能を備えている。「特徴量統合部」は、「特徴ベクトル統合部」又は「特徴ベクトル導出部」等と読み替えてもよい。また、「第１特徴ベクトル」及び「第２特徴ベクトル」の名称は互いに区別がつけばよいので、例えば、「第１特徴ベクトル」を「特徴ベクトル」等に、「第２特徴ベクトル」を「統合特徴ベクトル」等に、それぞれ読み替えてもよい。
【００５６】
特徴量統合部５３は、例えば２人のユーザｕ1，ｕ2の場合、イベントＥiにおけるユーザｕ1，ｕ2毎に導出した第１特徴ベクトルＣ1i，Ｃ2iと、当該算出した相関値ＣＯＲi1及び区間毎の各々の特徴量同士の演算値Ｃ1i−Ｃ2i，Ｃ1i×Ｃ2i，…とを入力としたとき、次に示すように、これらを一つの第２特徴ベクトルＦiに統合する。
【００５７】
Ｆi＝｛Ｃ1i，Ｃ2i，ＣＯＲi1，Ｃ1i−Ｃ2i，Ｃ1i×Ｃ2i，…｝
なお、ユーザがｎ人のユーザｕ1，ｕ2，…，ｕnの場合、第２特徴ベクトルＦiは、例えば、次に示すように表される。
【００５８】
Ｆi＝｛Ｃ1i，Ｃ2i，…，Ｃni，ＣＯＲi1，ＣＯＲi2，…，ＣＯＲik，Ｃ1i＊Ｃ2i，Ｃ1i＊Ｃ3i，…，Ｃ1i＊Ｃni，…，Ｃ2i＊Ｃ3i，Ｃ2i＊Ｃ4i，…，Ｃ2i＊Ｃni，…，Ｃ(n-1)i＊Ｃni｝
ここで、＊は演算子を表し、いずれの演算（例、−、×）を用いてもよい。また、１組の第１特徴ベクトル（例、Ｃ1i，Ｃ2i）から算出する演算値（Ｃ1i＊Ｃ2i）は、１個（例、Ｃ1i−Ｃ2i）に限らず、演算子＊の種類に応じて複数個（例、Ｃ1i−Ｃ2i，Ｃ1i×Ｃ2i，…）としてもよい。
【００５９】
このような特徴量統合部５３は、第２導出手段を構成している。
【００６０】
教師データＤＢ（記憶手段）５４は、予め特徴量及び覚醒度を互いに関連付けて記憶した記憶部であり、例えば記憶内容｛特徴量，覚醒度｝が教師データとして覚醒度分類部５５に参照される。覚醒度としては、例えば「高、中、低」などのように、段階的な値を用いている。教師データＤＢ５４の作成方法は、例えば、意図的に覚醒度を誘導する環境をつくり、覚醒度の主観評価を正解として取得し、その際の生体情報を計測して特徴量を算出し、特徴量及び覚醒度を互いに関連付けて登録すればよい。
【００６１】
覚醒度分類部（推定手段）５５は、例えば、第２特徴ベクトルと教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する推定機能を備えている。この推定には、ＳＶＭ（Support Vector Machine）や決定木などの分類器を用いてもよい。
【００６２】
また、覚醒度分類部５５は、当該推定した覚醒度と、第２特徴ベクトル内の第１特徴ベクトルに付与されているイベントの識別情報とを送信部７０に送出する機能を備えてもよい。あるいは、覚醒度分類部５５は、当該推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報を送信部７０に送出する機能を備えてもよい。
【００６３】
また、推定機能は、例えば、以下の各機能(f55-1)〜(f55-4)を備えてもよい。
【００６４】
(f55-1)  第２特徴ベクトル内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する機能。
【００６５】
(f55-2)  当該抽出した組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える機能。
【００６６】
例えば、演算子＊が差分演算（−）の場合、演算値（差分値）Ｃ(n-1)i−Ｃniは、次のように表される。
【００６７】
Ｃ(n-1)i−Ｃni＝｛ｆ(n-1)1−ｆn1，ｆ(n-1)2−ｆn2，…，ｆ(n-1)m−ｆnm｝
また例えば、図６に示す場合、第１特徴ベクトルの間の演算値Ｃ1i−Ｃ2iは、次のように表される。なお、各々の特徴量は、例えばピーク数とする。
Ｃ1i−Ｃ2i＝｛ｆ11−ｆ21，ｆ12−ｆ22，ｆ13−ｆ23，ｆ14−ｆ24｝
＝｛２−２，２−１，３−１，１−１｝
＝｛０，１，２，０｝
また例えば、基準範囲を１以下としたとき、演算値｛０，１，２，０｝が基準範囲“１以下”から外れた区間の特徴量ｆ13を、当該２つの第１特徴ベクトルＣ1i，Ｃ2iに含まれる当該区間の各々の特徴量ｆ13，ｆ23のうち、小さい方の特徴量ｆ23に置き換える。
【００６８】
なお、演算値が基準範囲から外れた区間の特徴量ｆ13は、ノイズである可能性が高いため、前述した置き換え等により、除去する必要がある。
【００６９】
(f55-3)  当該置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、複数の区間の全体の特徴量を算出する機能。
【００７０】
(f55-4)  当該全体の特徴量と教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する機能。  
このような推定機能は、抽出部、置換部、算出部及び推定部を構成している。
【００７１】
イベント情報記憶部（イベント情報記憶手段）６０は、イベント記録装置３０から書き込まれたイベント情報を記憶する。イベント情報は、イベントの識別情報を含んでいる。
【００７２】
送信部７０は、覚醒度分類部５５から覚醒度とイベントの識別情報とを受けると、当該推定された覚醒度が所定の高い覚醒状態を示すとき、当該イベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する出力機能を備えていてもよい。この場合、送信部７０は、出力手段を構成している。
【００７３】
あるいは、送信部７０は、覚醒度分類部５５からイベントの識別情報を受けると、当該イベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する出力機能を備えていてもよい。この場合、覚醒度分類部５５及び送信部７０は、出力手段を構成している。
【００７４】
イベント情報の出力先は、例えば、所定のユーザ又はサービス提供者としてもよい。
【００７５】
なお、振り返り共有等のサービスを用いず、覚醒度を推定するだけであれば、イベント情報記憶部６０及び送信部７０は必須ではなく、省略可能である。
【００７６】
次に、以上のように構成されたシステムの動作について図７のフローチャートを参照しながら説明する。
【００７７】
いま、各々のユーザｕ1，…，ｕnは、イベントＥiを体験中とする。
【００７８】
生体情報取得部４０1，…，４０nは、イベントＥiを体験中の各々のユーザｕ1，…，ｕnから各々の生体情報を取得する。また、生体情報取得部４０1，…，４０nは、イベント記録装置３０から各イベントの識別情報（Ｅi）を受けると共に、ユーザｕ1，…，ｕnから取得した生体情報に各イベントの識別情報を付与し、当該イベントの識別情報が付与された生体情報をサーバ装置Ｓｖに送信する。
【００７９】
サーバ装置Ｓｖにおいては、特徴量算出部５１1，…，５１nが、ユーザｕ1，…，ｕn毎に、イベントＥiに対する生体情報を複数の区間の生体情報に分割する（ＳＴ１０）。
【００８０】
また、特徴量算出部５１1，…，５１nは、ユーザｕ1，…，ｕn毎に、当該複数の区間の生体情報から各々の特徴量ｆn1，ｆn2，…，ｆnmを算出し、当該各々の特徴量を含む第１特徴ベクトルＣ1i，…，Ｃniを導出する（ＳＴ２０）。
【００８１】
相関値算出部５２は、第１特徴ベクトルＣ1i，…，Ｃniを２つずつ組み合わせることにより、当該組み合わせに係る第１特徴ベクトルの間の相関値ＣＯＲi1，ＣＯＲi2，…，ＣＯＲikと、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値Ｃ1i＊Ｃ2i，Ｃ1i＊Ｃ3i，…，Ｃ1i＊Ｃni，…，Ｃ2i＊Ｃ3i，Ｃ2i＊Ｃ4i，…，Ｃ2i＊Ｃni，…，Ｃ(n-1)i＊Ｃniとを算出する（ＳＴ３０）。
【００８２】
特徴量統合部５３は、第１特徴ベクトルＣ1i，…，Ｃniと、当該算出した相関値及び区間毎の各々の特徴量同士の演算値とを含む第２特徴ベクトルＦiを次式のように導出する（ＳＴ４０）。
【００８３】
Ｆi＝｛Ｃ1i，Ｃ2i，…，Ｃni，ＣＯＲi1，ＣＯＲi2，…，ＣＯＲik，Ｃ1i＊Ｃ2i，Ｃ1i＊Ｃ3i，…，Ｃ1i＊Ｃni，…，Ｃ2i＊Ｃ3i，Ｃ2i＊Ｃ4i，…，Ｃ2i＊Ｃni，…，Ｃ(n-1)i＊Ｃni｝
覚醒度分類部５５は、第２特徴ベクトルＦiと教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する（ＳＴ５０）。
【００８４】
ステップＳＴ５０では、例えば、第２特徴ベクトルＦi内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出する。
【００８５】
また、当該抽出された組み合わせ内のいずれかの第１特徴ベクトルに含まれる各々の特徴量のうち、演算値が基準範囲から外れた区間の特徴量を、当該組み合わせ内の２つの第１特徴ベクトルに含まれる当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。
【００８６】
また、当該置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて、複数の区間の全体の特徴量を算出する。例えば、各々の特徴量を合計することにより、全体の特徴量を算出する。
【００８７】
また、当該全体の特徴量と教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する。例えば、このようにして、ステップＳＴ５０が実行される。
【００８８】
しかる後、覚醒度分類部５５は、当該推定した覚醒度と、第２特徴ベクトル内の第１特徴ベクトルに付与されているイベントの識別情報とを送信部７０に送出する。
【００８９】
送信部７０は、覚醒度分類部５５から覚醒度とイベントの識別情報とを受けると、当該推定された覚醒度が所定の高い覚醒状態を示すとき、当該イベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する（ＳＴ６０）。
【００９０】
以下、他のイベントＥ(i+1)，…についても同様に、ステップＳＴ１０〜ＳＴ６０の処理が実行される。
【００９１】
上述したように本実施形態によれば、ユーザｕ1，…，ｕn毎に、イベントＥiに対する生体情報を分割し、複数の区間の生体情報から各々の特徴量ｆn1，ｆn2，…，ｆnmを含む第１特徴ベクトルＣ1i，…，Ｃniを導出し、第１特徴ベクトルＣ1i，…，Ｃniを２つずつ組み合わせることにより、第１特徴ベクトルの間の相関値と、当該第１特徴ベクトルの間の区間毎の各々の特徴量同士の演算値とを算出する。また、第１特徴ベクトルＣ1i，…，Ｃniと、相関値及び演算値とを含む第２特徴ベクトルＦiを導出し、第２特徴ベクトルＦiと教師データＤＢ５４の記憶内容とに基づいて、イベントＥiにおける覚醒度を推定する。
【００９２】
このため、各ユーザの生体情報を用いて、イベントにおける覚醒度を精度良く推定することができる。
【００９３】
また、ステップＳＴ５０において、第２特徴ベクトルＦi内の各々の相関値の中で最も高い相関値の算出に用いられた２つの第１特徴ベクトルの組み合わせを抽出し、当該組み合わせに対する相関値及び演算値に基づいて、基準範囲から外れた区間の特徴量を、当該区間の各々の特徴量のうち、小さい方の特徴量に置き換える。また、置き換えた後の第１特徴ベクトルに含まれる各々の特徴量に基づいて全体の特徴量を算出し、全体の特徴量と教師データＤＢ５４の記憶内容とに基づいて、イベントにおける覚醒度を推定する。このため、生体情報内のノイズが最も少ない２つの第１特徴ベクトルを抽出できると共に、ノイズが生じた区間の特徴量からノイズのない特徴量に置換できるので、前述した効果を容易且つ確実に得ることができる。
【００９４】
また、推定された覚醒度が所定の高い覚醒状態を示すとき、当該覚醒度が推定されたイベントの識別情報に基づいて、イベント情報記憶部６０内のイベント情報を出力する。このため、複数ユーザが高い覚醒状態を示すときのイベント情報を、特別なイベントを振り返り、共有するサービス等に活用することが可能である。
【００９５】
次に、以上の効果を補足的に説明する。
【００９６】
例えば、イベントの対象をスポーツ観戦とした場合、観戦するユーザ１人ずつを見ると、イベントに関係のない動きや対話等がノイズになり、イベントに対する真の覚醒状態が埋もれてしまう。一方、１人ずつにノイズが含まれていた場合でも、複数人が同時に覚醒した時点では、ゴールシーンなど重要なイベントである確率が高い可能性がある。
【００９７】
本実施形態では、ｎ人のデータから個別に特徴量を算出するのに加えて、複数ユーザの同時覚醒又はノイズという情報を相関値として与えている。
【００９８】
例えば、図５に示すユーザｕ1の生体情報の場合、従来ではノイズ部分の特徴量ｆ13が覚醒度「高」と推定されてしまう。一方、本実施形態では、例えば、低い相関（ノイズの可能性が高い）という情報を演算値（例、差分値）として与えることが可能となる。
【００９９】
換言すると、従来技術では、各ユーザの覚醒度を求めて複数ユーザの覚醒度との一致性から覚醒度を推定すると、各自の覚醒度にはノイズが生じることが一般的であるため、推定精度が低くなってしまう。
【０１００】
これに対し、本実施形態では、複数ユーザの生体情報について、イベント内での時間的変化の相関を用いて、ノイズ部分を除去することにより、単一ユーザごとにイベントの覚醒度を推定するよりも高精度な推定を可能としている。
【０１０１】
また、各イベントにおける、各ユーザの生体情報を任意の時間幅で分割しているので、生体情報由来の時間遅れに対応したユーザ間の相関を算出することも可能である。
【０１０２】
なお、この発明は上記実施形態に限定されるものではない。例えば図３に示したように、イベント記録装置３０をユーザ端末３１が備えてもよい。
【０１０３】
その他、第２特徴ベクトルＦiから覚醒度を推定するステップＳＴ５０の処理等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【０１０４】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【０１０５】
１０1〜１０n，４０1〜４０n…生体情報取得部、２０，５０…覚醒度推定部、２１1〜２１n，５１1〜５１n…特徴量算出部、２２1〜２２n，５５…覚醒度分類部、２３1〜２３n，５４…教師データＤＢ、２４…一致度算出部、３０…イベント記録装置、３１…ユーザ端末、６０…イベント情報記憶部、７０…送信部、Ｓv…サーバ装置、ｕ1〜ｕn…ユーザ。
【図１】
2015228970.tif 000003
【図２】
2015228970.tif 000004
【図３】
2015228970.tif 000005
【図４】
2015228970.tif 000006
【図５】
2015228970.tif 000007
【図６】
2015228970.tif 000008
【図７】
2015228970.tif 000009
【図８】
2015228970.tif 000010
【図９】
2015228970.tif 000011