(57)【要約】      （修正有）【課題】視点追跡装置および生理計測によって取得される生理指標を分析者が分析しやすいように出力する装置を提供する。【解決手段】分析支援装置の制御部は、所定のサンプリング間隔ごとに算出される被験者の感情状態の指標Ｄ８０から、時系列のグラフデータを作成しＳ４１、視点座標データＤ２０をシーン映像Ｄ５０に１フレームずつ対応付けてＳ４２、時間差Ｄ４０に基づいて時系列を同期させ、Ｓ４１で作成される感情状態の指標Ｄ８０のグラフとＳ４２で作成される視点座標が対応付けられたシーン映像とを、同一画面の表示部に表示するＳ４３。【選択図】図５
2015188649.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを閲覧している被験者に対する少なくとも一つ以上の生理計測から得られる少なくとも一つ以上の生理指標および視点追跡装置による計測結果の分析を支援する分析支援装置であって、
前記少なくとも一つ以上の生理計測から得られる前記被験者の少なくとも一つ以上の生理指標と、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像またはスナップショット画像と、前記少なくとも一つ以上の生理計測のそれぞれの生理指標の計測開始時刻および前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、
前記少なくとも一つ以上の生理指標に基づいて前記被験者の感情状態の指標をそれぞれ算出する感情状態算出手段と、
前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像または前記スナップショット画像に対応付ける対応付け手段と、
前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像または前記スナップショット画像と、前記それぞれ算出された感情状態の指標とを同一画面に表示する表示手段と、を具備することを特徴とする分析支援装置。
【請求項２】
前記それぞれの生理指標のデータには前記少なくとも一つ以上の生理計測による計測開始時刻、前記視点座標データには前記視点追跡装置による計測開始時刻が含まれており、
前記それぞれの生理指標のデータおよび前記視点座標データに基づいて前記時間差を算出し、前記時間差を前記記憶手段に記憶する時間差算出手段、を更に具備することを特徴とする請求項１に記載の分析支援装置。
【請求項３】
前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、
前記表示手段は、前記視点座標の位置を示す視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら少なくとも一つ以上の前記感情状態の指標の変動を時系列のグラフとして描画することを特徴とする請求項１又は請求項２に記載の分析支援装置。
【請求項４】
前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を少なくとも一つ以上の前記感情状態の指標に応じて決定し、
前記表示手段は、前記装飾度合に応じて装飾された前記視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら少なくとも一つ以上の前記感情状態の指標の変動を時系列のグラフとして描画することを特徴とする請求項１又は請求項２に記載の分析支援装置。
【請求項５】
前記対応付け手段は、前記視点座標を前記スナップショット画像の座標系に座標変換して単一の前記スナップショット画像に対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を少なくとも一つ以上の前記感情状態の指標に応じて決定するとともに、前記視点座標ごとに閲覧時間を算出して前記視点マークの面積度合を前記閲覧時間に応じて決定し、
前記表示手段は、前記視点座標ごとに、前記装飾度合に応じて装飾された前記面積度合の面積を有する前記視点マークを重畳して前記スナップショット画像を表示することを特徴とする請求項１又は請求項２に記載の分析支援装置。
【請求項６】
コンピュータを、コンテンツを閲覧している被験者に対する少なくとも一つ以上の生理計測および視点追跡装置による計測結果の分析を支援する分析支援装置として機能させるためのプログラムであって、
前記少なくとも一つ以上の生理計測によって計測される前記被験者の少なくとも一つ以上の生理指標と、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像またはスナップショット画像と、前記少なくとも一つ以上の生理計測による計測開始時刻および前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、
前記少なくとも一つ以上の生理指標に基づいて前記被験者の感情状態の指標をそれぞれ算出する感情状態算出手段と、
前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像または前記スナップショット画像に対応付ける対応付け手段と、
前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像または前記スナップショット画像と、前記感情状態の指標とを同一画面に表示する表示手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体情報を取得して得られる複数の生理指標から感性・感情状態を分析するとともに、それらの指標や分析結果である感情状態の指標と視点追跡装置による視線の計測結果とを同時に表示する分析支援装置に関するものである。
【背景技術】
【０００２】
従来から、市販の商品やこれから市場に投入する商品等の製品に対して、ユーザが使い易いか、視覚的な印象は良好かなどといった事項を数値化して評価することが行われている。また、テレビコマーシャルや紙媒体の広告チラシのような広告物についても、ユーザの目に留まるか、購買意欲が向上したかなどといった事項を数値化して評価することが行われている。これらはいわゆる市場調査と言われることがあるが、この評価方法として代表的なものとして、アンケートなどの自己申告や聞き取り調査を行って得られたデータを解析する方法が知られている。
【０００３】
しかしながら、アンケート等による自己申告による方法では、質問内容の偏りによって回答が誘導されたり、ユーザの潜在的な固定観念や立場などにより無意識のうちに回答を作り込んでしまうといったことが行われ、正確な情報を得ることが困難である。この、回答の作り込みは、特に聞き取り調査などの対面調査において顕著であり、ユーザの正直な感覚を調査結果に反映することが難しいという問題があった。
【０００４】
これに対し、ユーザの生体情報を取得する方法、例えば、ある広告を見たときのユーザの視点や心理状態、ストレス等のデータを取得して解析する方法が知られている。このユーザの生体情報は、アンケートや聞き取り調査などによる方法に比べ、リアルタイムにデータ取得が可能で、ユーザの回答の作り込みが入らず、回答が恣意的に選択されることもないため正確な情報を獲得し易いという特徴がある。
【０００５】
これらの取得されるユーザの生体情報の種類や取得方法、取得目的について、様々な方法が公知となっている。尚、ここで取り扱う生体情報は、視線、脳波および自律神経・呼吸系の生理指標（心拍数、心拍変動、血圧、心拍出量、血液容積脈、呼吸数、一回換気量、皮膚コンダクタンス反応、皮膚電位反応、核心温度、皮膚温など）である。
【０００６】
特許文献１では、ユーザである被験者に脳波計およびマーカーレスのアイトラッキング機能を備えた視点追跡装置を装着させ、コンテンツに係るシーン映像またはスナップショット画像を閲覧させて、視点追跡装置によって計測される前記被験者の視点座標データと脳活動に伴って発生する脳波データとの両方の計測結果を対応付けて、分析し易いように同一画面に表示する分析支援装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１８００７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように脳波のような生理計測から得られる一つの生理指標と、視線との両方の計測結果を同時に表示して分析することは公知である。しかしながら視線とともに脳波や自律神経・呼吸系の生理指標を計測し、さらにそれらの指標から得られる感性・感情状態の分析を行った感情状態の指標のデータと視線とを同時に表示し、分析し易いように出力する仕組みは今迄になかった。
【０００９】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、視点追跡装置による計測結果と少なくとも一つ以上の任意の生理指標および／またはそれらの指標から得られる感情状態の指標の両方の計測結果を分析し易いように出力することが可能な分析支援装置を提供することである。
【課題を解決するための手段】
【００１０】
前述した目的を達成するための第１の発明は、コンテンツを閲覧している被験者に対する少なくとも一つ以上の生理計測から得られる少なくとも一つ以上の生理指標および視点追跡装置による計測結果の分析を支援する分析支援装置であって、前記少なくとも一つ以上の生理計測から得られる前記被験者の少なくとも一つ以上の生理指標と、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像またはスナップショット画像と、前記少なくとも一つ以上の生理計測のそれぞれの生理指標の計測開始時刻および前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、前記少なくとも一つ以上の生理指標に基づいて前記被験者の感情状態の指標をそれぞれ算出する感情状態算出手段と、前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像または前記スナップショット画像に対応付ける対応付け手段と、前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像または前記スナップショット画像と、前記それぞれ算出された感情状態の指標とを同一画面に表示する表示手段と、を具備することを特徴とする分析支援装置である。第１の発明によって、少なくとも一つ以上の生理計測および視点追跡装置による両方の計測結果を分析し易いように出力することができる。
【００１１】
第１の発明における前記それぞれの生理指標のデータには前記少なくとも一つ以上の生理計測による計測開始時刻、前記視点座標データには前記視点追跡装置による計測開始時刻が含まれており、前記それぞれの生理指標のデータおよび前記視点座標データに基づいて前記時間差を算出し、前記時間差を前記記憶手段に記憶する時間差算出手段、を更に具備することが望ましい。これによって、それぞれの生理指標のデータと視点座標データとの時間差を自動的に算出することができ、ひいては、分析者の負荷が軽減される。ここで感情状態の指標とは、コンテンツを閲覧している被験者の意識（無意識）の働きを、少なくとも一つ以上の生理計測によって取得されるそれぞれの生理指標のデータに基づいて所定の尺度により数量化したデータである。
【００１２】
例えば、第１の発明における前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、前記表示手段は、前記視点座標の位置を示す視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら少なくとも一つ以上の前記感情状態の指標の変動を時系列のグラフとして描画する。これによって、テレビコマーシャルなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の少なくとも一つ以上の感情状態の指標および視点の変動を同時に視認することができる。例えば、分析者は、少なくとも一つ以上の感情状態の指標が特徴的な変化をしたとき、被験者が動的コンテンツのどの場面の、どの位置を視聴しているのかを容易に視認することができる。
【００１３】
また、例えば、第１の発明における前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を少なくとも一つ以上の前記感情状態の指標に応じて決定し、前記表示手段は、前記装飾度合に応じて装飾された前記視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら少なくとも一つ以上の前記感情状態の指標の変動を時系列のグラフとして描画する。これによって、テレビコマーシャルなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の感情状態の指標および視点の変動を同時に視認することができる。特に、視点マークが感情状態の指標に応じて装飾されて表示されるので、分析者は、感情状態の指標の変動を動的コンテンツ上で視認することができる。
【００１４】
また、例えば、第１の発明における前記対応付け手段は、前記視点座標を前記スナップショット画像の座標系に座標変換して単一の前記スナップショット画像に対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を少なくとも一つ以上の前記感情状態の指標に応じて決定するとともに、前記視点座標ごとに閲覧時間を算出して前記視点マークの面積度合を前記閲覧時間に応じて決定し、前記表示手段は、前記視点座標ごとに、前記装飾度合に応じて装飾された前記面積度合の面積を有する前記視点マークを重畳して前記スナップショット画像を表示する。これによって、紙媒体の広告チラシなどの静的コンテンツの場合において、分析者は、被験者の感情状態の指標および視点の変動を同時に視認することができる。例えば、分析者は、被験者が静的コンテンツのどの位置をどのぐらいの時間どのような感情状態で視聴しているのかを容易に視認することができる。
【００１５】
第２の発明は、コンピュータを、コンテンツを閲覧している被験者に対する少なくとも一つ以上の生理計測および視点追跡装置による計測結果の分析を支援する分析支援装置として機能させるためのプログラムであって、前記少なくとも一つ以上の生理計測によって計測される前記被験者の少なくとも一つ以上の生理指標と、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像またはスナップショット画像と、前記少なくとも一つ以上の生理計測による計測開始時刻および前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、前記少なくとも一つ以上の生理指標に基づいて前記被験者の感情状態の指標をそれぞれ算出する感情状態算出手段と、前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像または前記スナップショット画像に対応付ける対応付け手段と、前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像または前記スナップショット画像と、前記感情状態の指標とを同一画面に表示する表示手段として機能させるためのプログラムである。第２の発明のプログラムを汎用のコンピュータにインストールすることによって、少なくとも一つ以上の生理計測および視点追跡装置による両方の計測結果を分析し易いように出力することが可能な分析支援装置を得ることができる。
【発明の効果】
【００１６】
本発明により、少なくとも一つ以上の生理計測および視点追跡装置による両方の計測結果を分析し易いように出力することが可能な分析支援装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態の構成装置の概要図
【図２】眼鏡タイプの視点追跡装置を被験者に装着した例
【図３】分析支援装置１０に記憶されるデータの一例
【図４】本実施形態の構成装置における処理の流れを示すフローチャート
【図５】第１実施形態における分析支援装置１０の処理を示すフローチャート
【図６】一つ以上の感情状態の指標８０の曲線データの例
【図７】ある感情状態の指標８０を表示する場合の表示方法の一例
【図８】「Ｒｕｓｓｅｌの円環式」とよばれる感情状態を表すグラフ
【図９】「城の三次元感情状態」とよばれる感情状態を表すためのグラフ
【図１０】一つ以上の感情状態の指標８０をレーダーチャートとして表した例
【図１１】第１実施形態における計測結果表示画面２００の例
【図１２】第２実施形態における分析支援装置１０の処理を示すフローチャート
【図１３】第２実施形態における計測結果表示画面２００の例
【図１４】静止画を表示した場合における分析支援装置１０の処理を示すフローチャート
【発明を実施するための形態】
【００１８】
以下図面に基づいて、本発明の実施形態を詳細に説明する。また、感情状態の指標とは、コンテンツを閲覧している被験者の意識（無意識）の働きを、少なくとも一つ以上の生理計測によって取得される少なくとも一つ以上の生理指標に基づいて所定の尺度により数量化したデータである（詳細は後述する）。
【００１９】
図１〜図８を参照しながら、全ての実施形態に共通する内容について説明する。
【００２０】
図１は、本実施形態の構成装置の概要図である。図１に示すように、本実施形態の構成装置は、分析支援装置１０、視点追跡装置２０、および様々な生理指標測定装置を含む。ここでは生理指標測定装置の典型的な例として、脳波計３０、心拍計４０、皮膚電位計５０、脈波・コロトコフ音測定装置６０などを挙げている。これらの生理指標測定装置は、コンテンツを閲覧している被験者の視点座標データおよび少なくとも一つ以上の生理指標を計測し、分析者がこれらの計測結果を用いて分析することを支援する。
【００２１】
図１に示す例では、分析支援装置１０および生理指標測定装置は、有線ケーブルを介してデータの送受信を行う。ただし、分析支援装置１０および生理指標測定装置が無線通信機能を備えている場合は無線波を介して測定した生理指標の送受信を行っても良い。
【００２２】
図１に示す例では、分析支援装置１０および視点追跡装置２０は、記憶媒体２７を介してデータの送受信を行う。記憶媒体２７の一例としては、例えば、ＳＤメモリカードに代表される記憶カードや、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）に代表される記憶ディスクや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリなどに代表される端子付補助記憶装置などがある。分析支援装置１０およびそれぞれの生理指標測定装置が有線ケーブルのＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｉｎｔｅｒｆａｃｅ）を備えている場合、分析支援装置１０およびそれぞれの生理指標測定装置は、有線ケーブルを介してデータの送受信を行っても良い。分析支援装置１０およびそれぞれの生理指標測定装置が無線通信装置を備えている場合、分析支援装置１０およびそれぞれの生理指標測定装置は、無線波を介してデータの送受信を行っても良い。
【００２３】
分析支援装置１０は、コンテンツを閲覧している被験者に対するそれぞれの生理指標測定装置および視点追跡装置２０による計測結果の分析を支援する。分析支援装置１０はコンピュータである。コンピュータの一例としては、デスクトップ型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、スマートフォン、タブレット型端末、携帯電話端末、ゲーム端末などがある。以下では、分析支援装置１０は、デスクトップ型ＰＣやノート型ＰＣなどの汎用コンピュータとして説明する。
【００２４】
分析支援装置１０は、制御部１１、記憶部１２、表示部１３、入力部１４、Ｉ／Ｏ１５などを備える。
【００２５】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｓｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ   Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などから構成される。ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体などに格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、各装置を駆動制御し、分析支援装置１０が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、分析支援装置１０のブートプログラムやＢＩＯＳなどのプログラム、データなどを恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記憶媒体などからロードしたプログラム、データなどを一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２６】
記憶部１２は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）などが格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を分析支援装置１０に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２７】
表示部１３は、液晶パネルなどのディスプレイ装置、ディスプレイ装置と連携して分析支援装置１０のビデオ機能を実現するための論理回路など（ビデオアダプタなど）を有する。入力部１４は、データの入力を行い、例えば、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力部１４を介して、分析支援装置１０に対して、操作指示、動作指示、データ入力などを行うことができる。尚、表示部１３および入力部１４は、タッチパネルディスプレイのように、一体となっていても良い。
【００２８】
Ｉ／Ｏ１５は、分析支援装置１０に周辺機器（例えば、それぞれの生理指標測定装置、記憶媒体２７などの外部記憶装置、プリンタ（不図示）、ネットワーク機器（不図示））を接続するためのポートや送受信機である。分析支援装置１０は、Ｉ／Ｏ１５を介して周辺機器とのデータの送受信を行う。Ｉ／Ｏ１５の一例としては、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ−２３２Ｃなどのポートや、記憶媒体２７を読み書きするためのドライブ装置や、無線ＬＡＮ機器や、Ｂｌｕｅｔｏｏｔｈ（登録商標）送受信機などがある。周辺機器との接続形態は、有線、無線を問わない。
【００２９】
視点追跡装置２０は、本体２１およびレコーダ２２をから構成されるのが一般的である。本体２１およびレコーダ２２は、一体でも良いし、別体でも良い。
【００３０】
本体２１は、シーンカメラ２３、視点追跡センサ２４、マーカーセンサ２５などを含む。マーカーセンサ２５は必須ではない。マーカーセンサ２５を用いる場合、複数個のマーカー（不図示）も必要である。マーカーは、例えば、赤外線マーカーであり、分析対象とするエリアを定義するために設置される。
【００３１】
シーンカメラ２３は、被験者が見ているコンテンツや風景を撮像する。本実施の形態では、シーンカメラ２３は、後述するシーン映像やスナップショット画像を撮像するカメラである。
【００３２】
視点追跡センサ２４は、被験者の視点を追跡するためのセンサである。視点追跡センサ２４は、例えば、赤外線の光源と受信部を備えており、赤外線角膜反射検知の原理によって、被験者の視点を追跡する。赤外線角膜反射検知の原理は公知であるため、説明を省略する。
【００３３】
マーカーセンサ２５は、マーカーと通信を行い、分析エリアを検知する。マーカーを用いて分析エリアを検知する必要があるコンテンツは、例えば、雑誌広告やチラシなどの紙媒体などである。
【００３４】
レコーダ２２は、制御部２６および記憶媒体２７などを含む。記憶媒体２７は前述の通りである。制御部２６は、シーンカメラ２３によって撮像されるシーン映像やスナップショット画像、視点追跡センサ２４によって追跡される被験者の視点座標データ、マーカーセンサ２５によって検知される分析エリアデータなどを記憶媒体２７に記憶する。
【００３５】
視点追跡装置２０の一例としては、例えば、トビー・テクノロジー社の「Ｔｏｂｉｉグラス アイトラッカー」に代表される眼鏡タイプや、トビー・テクノロジー社の「Ｔｏｂｉｉ  ＴＸ３００アイトラッカー」に代表されるディスプレイタイプなどがある。
【００３６】
図２に眼鏡タイプの視点追跡装置を被験者に装着した例を挙げる。眼鏡タイプの視点追跡装置２０の本体２１にシーンカメラ２３が備えられている。視点追跡センサ２４は、眼鏡タイプの視点追跡装置の内側にあるため外からは見えない。
【００３７】
テレビコマーシャルやウェブサイトのように、コンテンツをディスプレイに出力できる場合、被験者は、眼鏡タイプを用いても良いし、ディスプレイタイプを用いても良い。被験者の移動を前提とする場合や、紙媒体などの物体を視聴する場合、被験者は、眼鏡タイプを用いる。？
【００３８】
図１に戻り、生理指標測定装置の一つである脳波計３０は、ヘッドバンド３１、電極３２、変換器３３、増幅器３４などを備える。脳波計３０は、被験者の頭部、詳細には国際１０−２０法におけるＦｐ１に当たる箇所（左前部前頭葉）に、ヘッドバンド３１によって固定された電極３２が当接する構造となっている。Ｆｐ１は、一般に感情や情動に関する反応を計測できることが知られている。変換器３３は、電極３２から出力されるアナログ信号をデジタル信号に変換する。増幅器３４は、変換器３３から出力されるデジタル信号を増幅し、分析支援装置１０のＩ／Ｏ１５に出力する。分析支援装置１０は、記憶手段を用いて記憶部１２に該データを記憶する。Ａ／Ｄ変換におけるサンプリング周波数は例えば１０２４Ｈｚでよく、他の生理指標測定装置のサンプリング周波数と同じ値でも異なっていてもかまわない。
【００３９】
脳波計３０の詳細については、例えば、特開２０１０−１３１３２８号公報や特開２０１１−４５５４１号公報に記載されている。それぞれの生理指標測定装置の一例としては、例えば、株式会社脳力開発研究所の「ａｌｐｈａｔｅｃ−ＩＶ」、「Ｂｒａｉｎ  Ｂｕｉｌｄｅｒ  Ｕｎｉｔ」などの簡易脳波計が挙げられる。簡易脳波計による脳波は、例えば、電気的に不活性な耳朶に一方の電極３２を装着し、電気的に活性な頭皮に他方の電極３２を装着し、二極間の電位差の変動を導出する単極誘導法によって計測される。
【００４０】
生理指標測定装置の一つである心拍計４０は、手首に巻きつけて計測できる腕時計型のものと据え置き型のものがあるが、本例では据え置き型の装置を想定している。心拍計４０は、電極４１、変換器４２、増幅器４３などを備える。心拍計４０は、被験者の手首や頸部など心拍音をとらえやすい部位に電極４１が当接するようにする。変換器４２は、電極４１から出力されるアナログ信号をデジタル信号に変換する。増幅器４３は、変換器４２から出力されるデジタル信号を増幅し、分析支援装置１０のＩ／Ｏ１５に出力する。分析支援装置１０は、記憶手段を用いて記憶部１２に該データを記憶する。Ａ／Ｄ変換におけるサンプリング周波数は任意である。
【００４１】
生理指標測定装置の一つである皮膚電位計５０は、通常は３つの電極を備えており、前腕の内側に基準電極を中央に、残りの２つの電極（正極と負極）を基準電極を挟むように貼り付けて、電位差を取るものである。皮膚電位計５０は、電極５１、変換器５２、増幅器５３などを備える。変換器５２は、電極５１から出力されるアナログ信号をデジタル信号に変換する。増幅器５３は、変換器５２から出力されるデジタル信号を増幅し、分析支援装置１０のＩ／Ｏ１５に出力する。分析支援装置１０は、記憶手段を用いて記憶部１２に該データを記憶する。Ａ／Ｄ変換におけるサンプリング周波数は任意である。
【００４２】
生理指標測定装置の一つである脈波・コロトコフ音測定装置６０は一般的には血圧測定器として知られる装置と同様な装置である。通常は１つのカフ（腕帯）が備えられており（左腕用と右腕用の２つのカフが備えられている場合もある）、上腕のひじ関節寄りにカフを巻きつけて脈波とコロトコフ音を測定するものである。脈波・コロトコフ音測定装置６０は、カフ６１、変換器６２、増幅器６３などを備える。変換器６２は、カフ６１に内蔵されたマイクロホンから出力されるアナログ信号をデジタル信号に変換する。増幅器６３は、変換器６２から出力されるデジタル信号を増幅し、分析支援装置１０のＩ／Ｏ１５に出力する。分析支援装置１０は、記憶手段を用いて記憶部１２に該データを記憶する。Ａ／Ｄ変換におけるサンプリング周波数は任意である。
【００４３】
次に、いくつかの生理指標から得られる感情状態の指標について述べる。ここで、感情状態の指標の例として以下のようなものが挙げられる。「興味度／集中度」（対象物閲覧時の興味・関心や集中の度合い）、「ストレス／リラックス状態」（対象物閲覧時のストレス／リラックス状態）、「快／不快」（対象物閲覧時の快／不快状態）、「覚醒度」（対象物閲覧時の覚醒度）、「基本感情」（対象物閲覧時の喜怒哀楽などの基本的な感情状態）、「自律神経活性度」（生理指標から自律神経指標（ＬＦ（Ｌｏｗ  Ｆｒｅｑｕｅｎｃｙ）、ＨＦ（Ｈｉ  Ｆｒｅｑｕｅｎｃｙ）等）を算出し、自律神経活性度を算出）など。また、「生理指標値」そのものの値も分析指標と同様に扱われても構わない。
【００４４】
上述の、感情状態の指標の算定方法に関してはいずれも公知のものである。例えば、先に挙げた特許文献１では、ユーザである被験者の脳波を測定し、その脳波データの周波数解析を行って、パワースペクトルのデータから、周波数ごとの平均を算出し、興味がないと仮定したデータの平均と、フィルタ算出に使う各被験者のデータとの差分を算出することにより、被験者の「興味度」を算出する方法が開示されている。これによると、脳波計３０の生理指標を利用して「興味度」に係る分析指標を得ることができる。
【００４５】
また、特開２００９−６６０１７号公報および特開２０１２−５０７１１号公報には、ユーザである被験者の心拍に伴う波動である脈波を、測定に伴う負担（ストレス）を軽減することにより精度を高めて測定し、そのデータについてカオス解析を行って被験者の心理状態やストレス等を解析するストレス評価装置およびストレス評価システムが開示されている。これによると、算定されたストレス評価値によって、被験者の心身の状態「ストレス度」を精度良く診断することができる。
【００４６】
同様に、特開平９−７０３９９号公報には、ユーザである被験者の心拍（脈拍）信号を利用して、リラックス度を簡便に且つ精度よく判定することができるリラックス度判定装置が開示されている。これは予め定めた所定心拍数を打つのにかかった所定心拍数拍動所要時間の増加率を順次算出するもので、増加率の値と判定基準値との比較で「リラックス度」といった感情状態の指標を判定することができる。これらについては、心拍計４０や脈波・コロトコフ音測定装置６０などにより得られる生理指標を利用することによって「ストレス度」「リラックス度」に係る分析指標を得ることができる。
【００４７】
また、特開２００６−１４９４７０号公報には、指尖容積脈波の測定器などの末梢循環の状態を観察する装置を用いてユーザである被験者の脈波、心拍などの生体信号を採取して筋疲労信号と入眠予兆信号のピーク値が含まれる周波数成分を抽出し、被験者が快／不快を感じているかどうかを評価する装置が開示されている。同様に、特開２０００−１１６６１４号公報には、皮膚温度と、皮膚インピーダンスと、脈拍とから活性化度と眠くなりそうな状態を判定し、被験者が快適と感じているかどうか判定する快適性評価装置が開示されている。これらについては、心拍計４０や皮膚電位計５０、脈波・コロトコフ音測定装置６０などにより得られる生理指標を利用することによって「快／不快」に係る分析指標を得ることができる。
【００４８】
また、再公表ＷＯ２０１０／１４０２７３号公報では、ユーザである被験者に接触している電極に対して電圧を印加し、被験者の心拍信号を各電極の電位差から取得して、心拍信号から算出した心拍間隔に対して周波数解析を行い、覚醒度を判定する覚醒度判定装置が開示されている。これによると、被験者が眠気を感じていて、眠らないように抗っている状態であっても適正に覚醒度を判定することができる。これについて、皮膚電位計５０や脈波・コロトコフ音測定装置６０などにより得られる生理指標を利用することによって「覚醒度」に係る分析指標を得ることができる。
【００４９】
また、特開２００２−１１２９６９号公報では、ユーザである被験者に血圧、皮膚温度および皮膚抵抗などの生体信号を検出するセンサ（ピエゾセンサ等の圧力感知センサ、電極と熱電対および電極と連結する比較器などを使用）を取り付けて、被験者の喜怒哀楽などの基本的な感情を認識する装置と方法が開示されている。これについて、皮膚電位計５０や脈波・コロトコフ音測定装置６０などにより得られる生理指標を利用することによって「基本感情」に係る分析指標を得ることができる。
【００５０】
さらに、心拍数の変動を計測して、計測データを用いて周波数成分のパワースペクトル解析を行い、交感神経と副交感神経の活動の活性度を求めるアルゴリズムが公開されている。インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｔａｋｅ−ｃｌｉｎｉｃ．ｃｏｍ／ｐｓｍ／ｈｒｖ／ｈｒｖ＿ａｕｔｏｎｏｍｉｃ２．ｈｔｍ＞、［ＯＮＬＩＮＥ］［平成２６年３月１２日検索］。これによれば、心拍計４０や脈波・コロトコフ音測定装置６０などにより得られる生理指標を利用することによって「自律神経活性度」に係る分析指標を得ることができる。
【００５１】
以上、いくつかの生理指標から得られる感情状態の指標を求める方法を例示したが、これらは分析支援装置の感情状態算出手段として作動する。尚、これらの感情状態の指標を求めるにあたって、ここに呈示した生理指標測定装置を使用するように制限するものではなく、より良い測定装置の組み合わせが存在していても、それは本実施形態に含まれる。
【００５２】
図３は、分析支援装置１０に記憶されるデータの一例である。分析支援装置１０の記憶部１２に記憶されるデータは、視点座標データＤ２０、生理指標測定データＤ３０、各生理指標測定装置における計測開始時刻および視点計測開始時刻の時間差Ｄ４０（以下、「生理指標測定装置の時間差Ｄ４２」と表記する。）、シーン映像Ｄ５０、スナップショット画像Ｄ６０などである。？？
【００５３】
視点座標データＤ２０は、ヘッダ部と本体部を有する。本体部は繰り返しがあるデータである。ヘッダ部には、少なくとも視点計測開始時刻Ｄ２１が含まれる。視点計測開始時刻Ｄ２１は、視点追跡装置２０による計測を開始した時刻である。本体部には、少なくとも計測経過時間Ｄ２２、視点ｘ座標Ｄ２３および視点ｙ座標Ｄ２４が含まれる。計測経過時間Ｄ２２は、視点計測開始時刻Ｄ２１からの経過時間である。視点ｘ座標Ｄ２３および視点ｙ座標Ｄ２４は、それぞれ、視点追跡センサ２４によって計測される、シーン映像Ｄ５０またはスナップショット画像Ｄ６０の座標系における被験者の視点位置を示すｘ座標およびｙ座標である。視点ｘ座標Ｄ２３および視点ｙ座標Ｄ２４は、視点追跡センサ２４のサンプリング間隔（例えば、３０フレーム／秒）で記憶される。？
【００５４】
生理指標測定データＤ３０は、ヘッダ部と本体部を有する。本体部は繰り返しがあるデータである。ヘッダ部には、少なくとも生理指標測定装置識別子（ＩＤ）Ｄ３１と計測開始時刻Ｄ３２が含まれる。計測開始時刻Ｄ３２は、それぞれの生理指標測定装置による計測を開始した時刻である。本体部には、少なくとも計測経過時間Ｄ３３および測定値（データ）Ｄ３４が含まれる。測定値（データ）は複数存在してもよい（図２ではＤ３４からＤ３９）、計測経過時間Ｄ３３は計測開始時刻Ｄ３２からの経過時間である。測定値（データ）Ｄ３４からＤ３９は、それぞれの生理指標測定装から分析支援装置１０にされたデジタル信号である。後述するように、測定値（データ）Ｄ３４からＤ３９は、所定の時間間隔（例えば、１秒間）で感情状態の指標に変換されるので、生理指標測定データＤ３０の本体部は、この所定の時間間隔ごとに纏められたデータ構造でも良い。？？
【００５５】
時間差Ｄ４２は、それぞれの生理指標測定装置が計測を開始した時刻と、視点追跡装置２０が計測を開始した時刻との差である。時間差Ｄ４２の計測方法は２通りある。？
【００５６】
第１の方法では、被験者または分析者が、それぞれの生理指標測定装置が計測を開始した時点と、視点追跡装置２０が計測を開始した時点とを、それぞれ目視によって確認し、その相対時刻の時間差Ｄ４２を分析支援装置１０に入力する。例えば、被験者または分析者は、それぞれの生理指標測定装置と視点追跡装置２０のいずれかを先にスタートさせておいて、後にスタートさせた装置の０秒目が、先にスタートさせた装置の何秒目に当たるかを、分析支援装置１０に入力する。第１の方法では、前述した生理指標測定データＤ３０の計測開始時刻Ｄ３２および視点座標データＤ２０の視点計測開始時刻Ｄ２１は、不要である。従って、被験者または分析者は、それぞれの生理指標測定装置の時計と視点追跡装置２０の時計を合わせる必要がない。？
【００５７】
第２の方法では、分析支援装置１０の制御部１１が、それぞれの生理指標測定データＤ３０の計測開始時刻Ｄ３２および視点座標データＤ２０の視点計測開始時刻Ｄ２１に基づいてそれぞれの生理指標測定装置の時間差Ｄ４２を算出する時間差算出手段を備える。例えば、ある生理指標測定装置における生理指標測定データＤ３０の計測開始時刻Ｄ３２から視点座標データＤ２０の視点計測開始時刻Ｄ２１を引いた値を当該生理指標測定装置の時間差Ｄ４２とする。時間差Ｄ４２が正の場合、視点計測開始時刻Ｄ２１が当該生理指標測定装置の計測開始時刻Ｄ３２よりも時間差Ｄ４２だけ早いことを意味する。時間差Ｄ４２が負の場合、当該生理指標測定装置の計測開始時刻Ｄ３２が視点計測開始時刻Ｄ２１よりも時間差Ｄ４２だけ早いことを意味する。第２の方法では、分析支援装置１０によって生理指標測定データＤ３０と視点座標データＤ２０との時間差Ｄ４２を自動的に算出することができるので、分析者の負荷が軽減される。但し、被験者または分析者は、それぞれの生理指標測定装置の時計と視点追跡装置２０の時計を合わせる必要がある。尚、生理指標測定装置識別子（ＩＤ）Ｄ３１は生理指標測定データＤ３０が発生する度に、？また、生理指標測定装置識別子（ＩＤ）Ｄ４１は当該生理指標測定装置の時間差Ｄ４２を計算する度に設定するようにすればよい。
【００５８】
シーン映像Ｄ５０は、シーンカメラ２３によって撮像される動画像ファイル（例えば、ａｖｉファイル）である。シーン映像Ｄ５０は、視点追跡センサ２４のサンプリング間隔（例えば、３０フレーム／秒）と同程度のサンプリング間隔で記憶される。第１実施形態および第２実施形態の場合、シーン映像Ｄ５０が必須である。？
【００５９】
スナップショット画像Ｄ６０は、シーンカメラ２３によって撮像される静止画像ファイル（例えば、ｊｐｅｇファイル）である。スナップショット画像Ｄ６０は、コンテンツ全体が撮像範囲に含まれる単一の画像ファイルである。？
【００６０】
図４は、本実施形態の構成装置における処理の流れを示すフローチャートである。尚、図４では時間差Ｄ４２の計測処理が不図示であるが、前述した第１の計測方法または第２の計測方法によって時間差Ｄ４２の計測がなされて、時間差Ｄ４２が分析支援装置１０の記憶部１２に記憶されるものとする。？
【００６１】
それぞれの生理指標測定装置は、分析支援装置１０からの計測開始や計測終了の指示に基づいて、被験者の生理指標を測定する（Ｓ３１）。そして、それぞれの生理指標測定装置は、所定のサンプリング間隔ごとに、測定値のＡＤ変換を行い（Ｓ３２）、増幅し（Ｓ３３）、増幅結果を分析支援装置１０に生理指標測定データＤ３０として送信する（Ｓ３４）。？
【００６２】
視点追跡装置２０の本体２１は、分析者または被験者からの計測開始や計測終了の指示に基づいて、被験者の視点を計測する（Ｓ２１）。そして、視点追跡装置２０のレコーダ２２は、所定のサンプリング間隔ごとに、視点座標データＤ２０を記憶媒体２７に記憶する（Ｓ２２）。？
【００６３】
分析支援装置１０の制御部１１は、それぞれの生理指標測定装置から生理指標測定データＤ３０を受信し、生理指標測定データＤ３０を記憶部１２に記憶する（Ｓ１１）。そして、制御部１１は、分析者によって指定された、または予め定められた感情状態の指標を算出すべく、関連する生理指標測定データＤ３０を集積する。具体的には、ある感情状態の指標を算定するために必要な生理指標測定装置識別子を持ち、なおかつ時系列的に同一計測時刻となる生理指標測定データＤ３０を集積する（Ｓ１２）、算定に必要な生理指標測定データＤ３０が揃ったら、前記指定された、または予め定められた感情状態の指標の算出を行う、尚、先に述べたように算定方法に関してはいずれも公知のものを利用するものとする。感情状態の指標が算出されたら被験者やコンテンツの情報を付加してＲＡＭまたは記憶部１２に記憶する（Ｓ１３）。
【００６４】
分析支援装置１０の制御部１１は、記憶媒体２７からデータを入力し、視点座標データＤ２０、および、シーン映像Ｄ５０またはスナップショット画像Ｄ６０を記憶手段を用いて記憶部１２に記憶する（Ｓ１４）。次に、制御部１１は、視点座標データＤ２０に基づいて、被験者の視点座標をシーン映像Ｄ５０またはスナップショット画像Ｄ６０に対応付ける（Ｓ１５）。さらに、制御部１１は、時間差Ｄ４２に基づいて時系列を同期して、被験者の視点座標が対応付けられるシーン映像Ｄ５０またはスナップショット画像Ｄ６０と一つ以上の感情状態の指標とを、表示部１３の同一画面に表示する（Ｓ１６）。制御部１１は、表示部１３に表示するだけでなく、プリンタに出力したり、他のコンピュータに送信したりしても良い。表示処理は、各実施形態において詳細に説明する。？
【００６５】
＜第１実施形態＞
図５から図１１を参照しながら、第１実施形態について説明する。？
【００６６】
図５は、第１実施形態における分析支援装置１０の処理を示すフローチャートである。図５に示すように、分析支援装置１０の制御部１１は、所定のサンプリング間隔（例えば、１秒間）ごとに算出される一つ以上の感情状態の指標８０から、時系列のグラフデータを生成する（Ｓ４１）。
【００６７】
制御部１１は、視点座標データＤ２０をシーン映像Ｄ５０に１フレームずつ対応付ける（Ｓ４２）。視点座標データＤ２０およびシーン映像Ｄ５０のサンプリング間隔が同一であれば、制御部１１は、時系列順に１対１で対応付ける。視点座標データＤ２０およびシーン映像Ｄ５０のサンプリング間隔が異なる場合、制御部１１は、適切な補間処理または間引き処理を行った後、時系列順に１対１で対応付ける。？
【００６８】
制御部１１は、時間差Ｄ４２に基づいて時系列を同期して、Ｓ４１において生成される一つ以上の感情状態の指標８０の曲線データと、Ｓ５２において視点座標が対応付けられるシーン映像Ｄ５０とを、同一画面の表示部１３に表示する（Ｓ４３）。尚、「同一画面」とは、表示領域（ウィンドウ）が同一である必要はなく、分析者が一つ以上の感情状態の指標８０の曲線データとシーン映像Ｄ５０とを同時に視認できる表示態様であれば、表示領域（ウィンドウ）が別であっても良い。？
【００６９】
図６は、このようにして作成された一つ以上の感情状態の指標８０の曲線データの例である。ｙ軸が感情状態の指標の大小（強弱）を示しており、x軸は時間軸である。
【００７０】
図７は、ある感情状態の指標８０を表示する場合の表示方法の一例である。図７に示す例では、感情状態の指標がアナログ的な目盛付の円盤上の指針によって示される例である。目盛と指針を複数にすることによって複数の感情状態の指標８０を表示するようにしてもよい。
【００７１】
図８は、ある感情状態の指標８０を表示する場合の表示方法の一例である。図８に示す例では、「Ｒｕｓｓｅｌの円環式」とよばれる感情状態を表すために好適なグラフである。このグラフで示される感情状態指標１８１の座標は、「快／不快」の感情状態の指標と「覚醒度」の感情状態の指標から２次元的に示される。
【００７２】
図９は、「城の三次元感情状態」とよばれる別の感情状態を表すためのグラフである。図９に示す例では、感情状態指標１９１の座標は、「快／不快」の感情状態の指標と「覚醒度」の感情状態の指標、および、「興味度／集中度」の感情状態の指標から３次元的に示される。ここで示される感情状態指標１９１の座標がわかりやすいようにｘ−ｙ平面上にも感情状態指標１９１の位置を投射する（１９２）とともに、ｚ軸上にも感情状態指標１９１の位置を投射する（１９３）。？
【００７３】
図１０は、一つ以上の感情状態の指標８０をレーダーチャートとして表した例である。図１０に示す例では、５つの感情状態の指標８０がレーダーチャート上に示されている。ここで、このチャートに示される指標は、分析された感情状態の指標に限らず、生理指標値そのものでも構わない。図６および図７で表示される指標についても同様である。？
【００７４】
図１１に示す計測結果表示画面２００は、一つ以上の感情状態の指標８０の曲線データ、上述したグラフ、および、レーダーチャートとシーン映像Ｄ５０とを時系列を同期させて同時に視認できるように表示した表示手段の例である。このように同時に表示できる態様であれば、それぞれの表示領域（ウィンドウ）が別であっても良い。感情状態の指標曲線表示領域２１０、シーン映像表示領域２２０、感情状態の指標グラフ表示領域２３０、および計測情報表示領域２４０を含む。感情状態の指標曲線表示領域２１０は、一つ以上の感情状態の指標の曲線データを表示するための領域である。シーン映像表示領域２２０は、シーン映像Ｄ５０を表示するための領域であり、その時点の視点マーク２２１が表示されている。感情状態の指標グラフ表示領域２３０にはこの例では感情状態の指標のレーダーチャートが表示されており、計測情報表示領域２４０は、それぞれの生理指標測定装置および視点追跡装置２０による計測結果の各種情報を表示するための領域である。ここで、先に述べたように、感情状態の指標曲線表示領域２１０および感情状態の指標グラフ表示領域２３０に示される？指標は、分析された感情状態の指標に限らず、生理指標値そのものであっても構わない。
【００７５】
このように、複数の生理指標を同時に表示することで、指標間の相関や起伏の量的、時間的関係性などを視覚的に確認し、分析に供することができる。また、複数の生理指標から感情状態を推定し、それを表示することによって生理指標のみからは得られない複雑な情報を、視覚的に確認し、分析に供することができる。また、これらを活用することで、ユーザの心理状態、その程度、またはその変化の傾向などについて、アンケートによる質問内容の偏りなどの影響を受けない情報として取得し、分析することが可能となる。
【００７６】
分析支援装置１０は、感情状態の指標曲線表示領域２１０に対して、横軸が時間、縦軸が感情状態の指標値の変化を示すグラフを表示する。ここで実線２１２にて示す感情状態の指標は、Ｓ４１において生成されるある一つの感情状態の指標の曲線データである。また、白線２１３にて示す感情状態の指標は、Ｓ４１において生成されるもう一つの感情状態の指標の曲線データである。タイムライン２１１は、シーン映像表示領域２２０に再生されるシーン映像Ｄ５０の再生位置を示す。シーン映像Ｄ５０が連続再生中であれば、タイムライン２１１は、シーン映像Ｄ５０の再生位置に追従して、左から右にスライドしていく。？
【００７７】
分析支援装置１０は、シーン映像表示領域２２０に対して、例えば、汎用の動画再生モジュールを埋め込む。シーン映像表示領域２２０は、再生、一時停止、早送り、巻き戻し、ミュート（消音）、ボリューム調整などのボタンを有する。視点マーク２２１は、Ｓ４２において対応付けられる視点座標データＤ２０の位置を示す。？
【００７８】
図１１に示すように、第１実施形態では、分析支援装置１０の制御部１１は、被験者の視点座標をシーン映像Ｄ５０に１フレームずつ対応付ける。そして、制御部１１は、視点座標の位置を示す視点マーク２２１を重畳しながらシーン映像Ｄ５０を表示部１３に再生するとともに、シーン映像Ｄ５０の再生位置を示すタイムライン２１１を重畳しながら感情状態の指標の変動を時系列のグラフとして表示部１３に描画する。？
【００７９】
第１実施形態によれば、テレビコマーシャルなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の感情状態の指標および視点の変動を同時に視認することができる。例えば、分析者は、感情状態の指標がピークのとき、被験者が動的コンテンツのどの場面の、どの位置を視聴しているのかを容易に視認することができる。？
【００８０】
＜第２実施形態＞ 図１２および図１３を参照しながら、第２実施形態について説明する。第２実施形態では、第１実施形態の要素と同一の要素には同一の番号を付し、重複説明を省略する。？
【００８１】
図１２は、第２実施形態における分析支援装置１０の処理を示すフローチャートである。図１２に示すように、分析支援装置１０の制御部１１は、所定のサンプリング間隔（例えば、１秒間）ごとに算出される一つ以上の感情状態の指標８０から、時系列のグラフデータを生成する（Ｓ５１）。？
【００８２】
制御部１１は、視点座標データＤ２０をシーン映像Ｄ５０に１フレームずつ対応付ける（Ｓ５２）。更に、制御部１１は、マッピングした視点座標を一つ以上の感情状態の指標８０に応じて装飾する（Ｓ５３）。装飾態様としては、一つ以上の感情状態の指標８０に応じて、視点マークの形状、模様、色彩を変更したり、他のマークを付加したりすることが考えられる。？
【００８３】
制御部１１は、時間差Ｄ４０に基づいて時系列を同期して、Ｓ５１において生成される一つ以上の感情状態の指標８０の曲線データと、Ｓ５３において装飾された視点マークが重畳されるシーン映像Ｄ５０とを、同一画面の表示部１３に表示する（Ｓ５４）。？
【００８４】
図１３は、第２実施形態における表示例である。図１３に示す例では、図１１に示す例と同様、コンテンツは、被験者が移動することを前提とする動的コンテンツである。？
【００８５】
図１３に示す計測結果表示画面２００ｂは、感情状態の指標曲線表示領域２１０、シーン映像表示領域２２０、感情状態の指標グラフ表示領域２３０、および計測情報表示領域２４０、装飾度合２５０を含む。装飾度合２５０は、Ｓ５３における装飾の度合を示す。？
【００８６】
分析支援装置１０は、シーン映像表示領域２２０において、装飾された視点マーク２２１ｂをシーン映像Ｄ５０に重畳する。図１３に示す例では、装飾度合２５０は、視点マークの模様の差異によって表現されている。つまり、視点マーク２２１ｂは、感情状態の指標８０に応じて模様が変更される。尚、特許図面の制約の為、色彩を変更する例が図示できないが、例えば、サーモグラフィのように、感情状態の指標８０が高い方から順に、「赤色」、「橙色」、「黄色」、「黄緑色」、「緑色」といった色彩の変更を行うと、直観的に理解し易い。？
【００８７】
図１３に示すように、第２実施形態では、分析支援装置１０の制御部１１は、被験者の視点座標をシーン映像Ｄ５０に１フレームずつ対応付け、更に、視点座標の位置を示す視点マーク２２１ｂの装飾度合を感情状態の指標に応じて決定する。そして、制御部１１は、装飾度合に応じて装飾された視点マーク２２１ｂを重畳しながらシーン映像Ｄ５０を再生するとともに、シーン映像Ｄ５０の再生位置を示すタイムライン２１１を重畳しながら感情状態の指標の変動を時系列のグラフとして表示部１３に描画する。？
【００８８】
第２実施形態によれば、テレビコマーシャルなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の感情状態の指標および視点の変動を同時に視認することができる。特に、視点マーク２２１ｂが感情状態の指標に応じて装飾されて表示されるので、分析者は、感情状態の指標の変動を動的コンテンツ上で視認することができる。？
【００８９】
また、第１実施形態および第２実施形態における、シーン映像Ｄ５０のような動画像ではなく、スナップショット画像Ｄ６０を用いて、紙媒体の広告チラシのような静止画を表示することによっても、被験者の視点の変動および感情状態の指標を同時に視認することができる。
【００９０】
図１４は、静止画を表示したときの、被験者の視点の変動および感情状態の指標を同時に視認する場合における分析支援装置１０の処理を示すフローチャートである。図１４に示すように、分析支援装置１０の制御部１１は、視点座標データＤ２０の座標を、スナップショット画像Ｄ６０の座標系に対応付ける（Ｓ６１）。制御部１１は、時間差Ｄ４０に基づいて時系列を同期して、視点座標ごとの閲覧時間を算出してその時間に応じて面積度合を変化させた視点マークが重畳されたスナップショット画像Ｄ６０を表示部１３に表示する（Ｓ６２）。
【００９１】
さらに、該被験者視点を示す前記視点マークは第２実施形態で説明したように、感情状態の指標８０に応じて装飾されたものであってもよい。このようにして、分析者は、第１実施形態と同様に、スナップショット画像Ｄ６０を用いて、紙媒体の広告チラシのような静止画を表示しながら被験者の視点の変動、注視時間および感情状態の指標を同時に視認することができる。
【００９２】
以上、添付図面を参照しながら、本発明に係る分析支援装置などの好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。？
【符号の説明】
【００９３】
１０  ……  分析支援装置
２０  ……  視点追跡装置
３０  ……  生理指標測定装置（脳波計）
４０  ……  生理指標測定装置（心拍計）
５０  ……  生理指標測定装置（皮膚電位計）
６０  ……  生理指標測定装置（脈波・コロトコフ音測定計）
Ｄ２０……  視点座標データ
Ｄ３０……  生理指標測定データ
Ｄ４０……  生理指標測定開始時刻および視点計測開始時刻の時間差
Ｄ５０……  シーン映像
Ｄ６０……  スナップショット画像
【図１】
2015188649.tif 000003
【図２】
2015188649.tif 000004
【図３】
2015188649.tif 000005
【図４】
2015188649.tif 000006
【図５】
2015188649.tif 000007
【図６】
2015188649.tif 000008
【図７】
2015188649.tif 000009
【図８】
2015188649.tif 000010
【図９】
2015188649.tif 000011
【図１０】
2015188649.tif 000012
【図１１】
2015188649.tif 000013
【図１２】
2015188649.tif 000014
【図１３】
2015188649.tif 000015
【図１４】
2015188649.tif 000016