(57)【要約】      （修正有）【課題】脳波計及び視点追跡装置による両方の計測結果を分析し易いように出力する。【解決手段】分析支援装置の制御部は、所定のサンプリング間隔ごとに算出される興味度８０から、時系列のグラフデータを生成し（Ｓ５１）、視点座標データ５５をシーン映像６２に１フレームずつ対応付けて（Ｓ５２）、時間差６１に基づいて時系列を同期して、Ｓ５１において生成される興味度８０の曲線データと、Ｓ５２において視点座標が対応付けられるシーン映像とを、同一画面の表示部に表示する（Ｓ５３）。【選択図】図９
2013180076.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを閲覧している被験者に対する脳波計及び視点追跡装置による計測結果の分析を支援する分析支援装置であって、
前記脳波計によって計測される前記被験者の脳波データと、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像又はスナップショット画像と、前記脳波計による計測開始時刻及び前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、
前記脳波データに基づいて前記被験者の潜在意識度を算出する潜在意識度算出手段と、
前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像又は前記スナップショット画像に対応付ける対応付け手段と、
前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像又は前記スナップショット画像と、前記潜在意識度とを同一画面に表示する表示手段と、
を具備することを特徴とする分析支援装置。
【請求項２】
前記脳波データには前記脳波計による計測開始時刻、前記視点座標データには前記視点追跡装置による計測開始時刻が含まれており、
前記脳波データ及び前記視点座標データに基づいて前記時間差を算出し、前記時間差を前記記憶手段に記憶する時間差算出手段、
を更に具備することを特徴とする請求項１に記載の分析支援装置。
【請求項３】
前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、
前記表示手段は、前記視点座標の位置を示す視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら前記潜在意識度の変動を時系列のグラフとして描画する
ことを特徴とする請求項１又は請求項２に記載の分析支援装置。
【請求項４】
前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を前記潜在意識度に応じて決定し、
前記表示手段は、前記装飾度合に応じて装飾された前記視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら前記潜在意識度の変動を時系列のグラフとして描画する
ことを特徴とする請求項１又は請求項２に記載の分析支援装置。
【請求項５】
前記対応付け手段は、前記視点座標を前記スナップショット画像の座標系に座標変換して単一の前記スナップショット画像に対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を前記潜在意識度に応じて決定するとともに、前記視点座標ごとに閲覧時間を算出して前記視点マークの面積度合を前記閲覧時間に応じて決定し、
前記表示手段は、前記視点座標ごとに、前記装飾度合に応じて装飾された前記面積度合の面積を有する前記視点マークを重畳して前記スナップショット画像を表示する
ことを特徴とする請求項１又は請求項２に記載の分析支援装置。
【請求項６】
コンピュータを、コンテンツを閲覧している被験者に対する脳波計及び視点追跡装置による計測結果の分析を支援する分析支援装置として機能させるためのプログラムであって、
前記脳波計によって計測される前記被験者の脳波データと、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像又はスナップショット画像と、前記脳波計による計測開始時刻及び前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、
前記脳波データに基づいて前記被験者の潜在意識度を算出する潜在意識度算出手段と、
前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像又は前記スナップショット画像に対応付ける対応付け手段と、
前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像又は前記スナップショット画像と、前記潜在意識度とを同一画面に表示する表示手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、市場調査のために、脳波計及び視点追跡装置による計測結果の分析を支援する分析支援装置などに関するものである。
【背景技術】
【０００２】
従来から、脳波計や視点追跡装置を単独で用いて、ＴＶＣＭや雑誌広告などの効果測定（市場調査の一例）が行われている。特許文献１には脳波計を単独で用いる例、特許文献２には視点追跡装置を単独で用いる例が開示されている。
【０００３】
特許文献１では、回答者（本発明の「対象者」に相当）の脳活動のモニタ結果に応じて、アンケートなどの質問に対する回答を解析することにより、回答者の正直な回答が得られる回答獲得装置が開示されている。特許文献１では、回答者Ａは、脳活動に伴って発生する電場を計測する第１センサ２と脳血流の状態を検出する第２センサ３とを有するブレインハット１を頭部に被る。解析装置１１は、回答者Ａの脳活動を表す情報（第１センサ２で得られた脳内電場を示す信号と第２センサ３で得られた脳血流の状態を示す信号）に基づいて、アンケートの質問に対する回答者Ａの回答を解析する。
【０００４】
特許文献２では、消費者が、パンフレットなどの紙媒体を手に取り、商品を認知するまでの行動などを分析するための注視点計測装置などが開示されている。特許文献２では、マーカーレスのアイトラッキング装置２（視点追跡装置）を用いている。特許文献２に開示されている注視点計測装置１は、対象物体５の端が湾曲したり、対象物体５の内部に凹凸が生じたりして、対象物体５が変形しても、注視点７の位置を正確に自動計測することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３０５３３４号公報
【特許文献２】特開２０１１−１９４１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、分析者は、脳波計と視点追跡装置の計測結果から、それぞれ異なる観点で分析することできる。従って、脳波計及び視点追跡装置による両方の計測結果を分析することは、有意義である。しかしながら、現状では、脳波計や視点追跡装置を単独で用いており、脳波計及び視点追跡装置による両方の計測結果を分析し易いように出力する仕組みがない。
【０００７】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、脳波計及び視点追跡装置による両方の計測結果を分析し易いように出力することが可能な分析支援装置などを提供することである。
【課題を解決するための手段】
【０００８】
前述した目的を達成するための第１の発明は、コンテンツを閲覧している被験者に対する脳波計及び視点追跡装置による計測結果の分析を支援する分析支援装置であって、前記脳波計によって計測される前記被験者の脳波データと、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像又はスナップショット画像と、前記脳波計による計測開始時刻及び前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、前記脳波データに基づいて前記被験者の潜在意識度を算出する潜在意識度算出手段と、前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像又は前記スナップショット画像に対応付ける対応付け手段と、前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像又は前記スナップショット画像と、前記潜在意識度とを同一画面に表示する表示手段と、を具備することを特徴とする分析支援装置である。第１の発明によって、脳波計及び視点追跡装置による両方の計測結果を分析し易いように出力することができる。
【０００９】
第１の発明における前記脳波データには前記脳波計による計測開始時刻、前記視点座標データには前記視点追跡装置による計測開始時刻が含まれており、前記脳波データ及び前記視点座標データに基づいて前記時間差を算出し、前記時間差を前記記憶手段に記憶する時間差算出手段、を更に具備することが望ましい。これによって、脳波データと視点座標データとの時間差を自動的に算出することができる。ひいては、分析者の負荷が軽減される。ここで潜在意識度とは、コンテンツを閲覧している被験者の意識(無意識)の働きを、脳波計によって取得される脳波データに基づいてある一定の尺度により数量化したデータである。
【００１０】
例えば、第１の発明における前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、前記表示手段は、前記視点座標の位置を示す視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら前記潜在意識度の変動を時系列のグラフとして描画する。これによって、ＴＶＣＭなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の潜在意識度及び視点の変動を同時に視認することができる。例えば、分析者は、潜在意識度がピークのとき、被験者が動的コンテンツのどの場面の、どの位置を視聴しているのかを容易に視認することができる。
【００１１】
また、例えば、第１の発明における前記対応付け手段は、前記視点座標を前記シーン映像に１フレームずつ対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を前記潜在意識度に応じて決定し、前記表示手段は、前記装飾度合に応じて装飾された前記視点マークを重畳しながら前記シーン映像を再生するとともに、前記シーン映像の再生位置を示すタイムラインを重畳しながら前記潜在意識度の変動を時系列のグラフとして描画する。これによって、ＴＶＣＭなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の潜在意識度及び視点の変動を同時に視認することができる。特に、視点マークが潜在意識度に応じて装飾されて表示されるので、分析者は、潜在意識度の変動を動的コンテンツ上で視認することができる。
【００１２】
また、例えば、第１の発明における前記対応付け手段は、前記視点座標を前記スナップショット画像の座標系に座標変換して単一の前記スナップショット画像に対応付け、更に、前記視点座標の位置を示す視点マークの装飾度合を前記潜在意識度に応じて決定するとともに、前記視点座標ごとに閲覧時間を算出して前記視点マークの面積度合を前記閲覧時間に応じて決定し、前記表示手段は、前記視点座標ごとに、前記装飾度合に応じて装飾された前記面積度合の面積を有する前記視点マークを重畳して前記スナップショット画像を表示する。これによって、雑誌広告やチラシなどの静的コンテンツの場合において、分析者は、被験者の潜在意識度及び視点の変動を同時に視認することができる。例えば、分析者は、被験者が静的コンテンツのどの位置をどのぐらいの時間どのくらいの潜在意識度で視聴しているのかを容易に視認することができる。
【００１３】
第２の発明は、コンピュータを、コンテンツを閲覧している被験者に対する脳波計及び視点追跡装置による計測結果の分析を支援する分析支援装置として機能させるためのプログラムであって、前記脳波計によって計測される前記被験者の脳波データと、前記視点追跡装置によって計測される前記被験者の視点座標データと、前記視点追跡装置によって撮像される前記コンテンツに係るシーン映像又はスナップショット画像と、前記脳波計による計測開始時刻及び前記視点追跡装置による計測開始時刻の時間差とを記憶する記憶手段と、前記脳波データに基づいて前記被験者の潜在意識度を算出する潜在意識度算出手段と、前記視点座標データに基づいて前記被験者の視点座標を前記シーン映像又は前記スナップショット画像に対応付ける対応付け手段と、前記時間差に基づいて時系列を同期して、前記被験者の視点座標が対応付けられる前記シーン映像又は前記スナップショット画像と、前記潜在意識度とを同一画面に表示する表示手段として機能させるためのプログラムである。第２の発明のプログラムを汎用のコンピュータにインストールすることによって、脳波計及び視点追跡装置による両方の計測結果を分析し易いように出力することが可能な分析支援装置を得ることができる。
【発明の効果】
【００１４】
本発明により、脳波計及び視点追跡装置による両方の計測結果を分析し易いように出力することが可能な分析支援装置などを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】市場調査システム１の概要図
【図２】分析支援装置２に記憶されるデータの一例
【図３】市場調査システム１全体の処理を示すフローチャート
【図４】フィルタ算出処理の一例を示すフローチャート
【図５】Ｓ４１を説明する図
【図６】Ｓ４２を説明する図
【図７】Ｓ４３を説明する図
【図８】Ｓ４４を説明する図
【図９】第１実施形態における分析支援装置２の処理を示すフローチャート
【図１０】第１実施形態における表示例
【図１１】第２実施形態における分析支援装置２の処理を示すフローチャート
【図１２】第２実施形態における表示例
【図１３】第３実施形態における分析支援装置２の処理を示すフローチャート
【図１４】第３実施形態における表示例
【発明を実施するための形態】
【００１６】
以下図面に基づいて、本発明の実施形態を詳細に説明する。最初に、用語の定義について説明する。
【００１７】
市場調査とは、商品やサービスを提供する企業や、商品やサービスの広告を制作する企業などが、市場における消費者の消費行動を調査することである。ここで、本発明の実施形態では、対象とする商品やサービスの内容は問わない。以下では、商品やサービス内容、商品の包装、及び商品やサービスの広告などを総称して、「コンテンツ」と表記する。
【００１８】
コンテンツの一例としては、ＴＶＣＭなどの動画像、雑誌広告やチラシなどの紙媒体又は電子媒体、商品棚や本棚などの什器を含む商品配置、などが挙げられる。商品配置の場合、被験者の移動を前提としている。動画像などで、動きがあるコンテンツは、「動的コンテンツ」と表記する。紙媒体や電子媒体などで、動きがないコンテンツは、「静的コンテンツ」と表記する。後述する第１実施形態及び第２実施形態は動的コンテンツと静的コンテンツ、第３実施形態は静的コンテンツを対象としている。
【００１９】
潜在意識度とは、コンテンツを閲覧している被験者の意識(無意識)の働きを、脳波計によって取得される脳波データに基づいてある一定の尺度により数量化したデータである。潜在意識度は、例えば、被験者の潜在的な興味関心の度合を示す興味度や、被験者の潜在的な理解の度合を示す理解度などを示すものと考えられる場合がある。また、潜在意識度は、これらの例に限定されず、市場調査の内容に応じて捉え方は様々である。後述する第１実施形態、第２実施形態及び第３実施形態では、興味度と捉えている。
【００２０】
図１〜図８を参照しながら、全ての実施形態に共通する内容について説明する。
【００２１】
図１は、市場調査システム１の概要図である。図１に示すように、市場調査システム１は、分析支援装置２、脳波計３、及び視点追跡装置４などを含む。市場調査システム１は、コンテンツを閲覧している被験者の脳波データ及び視点座標データを計測し、分析者が計測結果を分析することを支援する。
【００２２】
図１に示す例では、分析支援装置２及び脳波計３は、有線ケーブルを介してデータの送受信を行う。分析支援装置２及び脳波計３が無線通信装置を備えている場合、分析支援装置２及び脳波計３は、無線波を介してデータの送受信を行っても良い。
【００２３】
図１に示す例では、分析支援装置２及び視点追跡装置４は、記憶媒体４７を介してデータの送受信を行う。記憶媒体４７の一例としては、例えば、ＳＤメモリカードに代表される記憶カードや、ＣＤ−Ｒ（Compact Disk−Recordable）に代表される記憶ディスクや、ＵＳＢ（Universal Serial Bus）メモリなどに代表される端子付補助記憶装置などがある。分析支援装置２及び脳波計３が有線ケーブルのＩ／Ｏ（Input／Output interface）を備えている場合、分析支援装置２及び脳波計３は、有線ケーブルを介してデータの送受信を行っても良い。分析支援装置２及び脳波計３が無線通信装置を備えている場合、分析支援装置２及び脳波計３は、無線波を介してデータの送受信を行っても良い。
【００２４】
分析支援装置２は、コンテンツを閲覧している被験者に対する脳波計３及び視点追跡装置４による計測結果の分析を支援する。分析支援装置２は、コンピュータである。コンピュータの一例としては、デスクトップ型ＰＣ（Personal Computer）、ノート型ＰＣ、スマートフォン、タブレット型端末、携帯電話端末、ゲーム端末などがある。以下では、分析支援装置２は、デスクトップ型ＰＣやノート型ＰＣなどの汎用コンピュータとして説明する。
【００２５】
分析支援装置２は、制御部２１、記憶部２２、表示部２３、入力部２４、Ｉ／Ｏ２５などを備える。
【００２６】
制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記憶媒体などに格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、各装置を駆動制御し、分析支援装置２が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、分析支援装置２のブートプログラムやＢＩＯＳなどのプログラム、データなどを恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ、記憶媒体などからロードしたプログラム、データなどを一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。
【００２７】
記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御部２１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）などが格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を分析支援装置２に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００２８】
表示部２３は、液晶パネルなどのディスプレイ装置、ディスプレイ装置と連携して分析支援装置２のビデオ機能を実現するための論理回路など（ビデオアダプタなど）を有する。入力部２４は、データの入力を行い、例えば、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力部２４を介して、分析支援装置２に対して、操作指示、動作指示、データ入力などを行うことができる。尚、表示部２３及び入力部２４は、タッチパネルディスプレイのように、一体となっていても良い。
【００２９】
Ｉ／Ｏ２５は、分析支援装置２に周辺機器（例えば、脳波計３、記憶媒体４７などの外部記憶装置、プリンタ（不図示）、ネットワーク機器（不図示））を接続するためのポートや送受信機である。分析支援装置２は、Ｉ／Ｏ２５を介して周辺機器とのデータの送受信を行う。Ｉ／Ｏ２５の一例としては、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ−２３２Ｃなどのポートや、記憶媒体４７を読み書きするためのドライブ装置や、無線ＬＡＮ機器や、Ｂｌｕｅｔｏｏｔｈ（登録商標）送受信機などがある。周辺機器との接続形態は、有線、無線を問わない。
【００３０】
脳波計３は、ヘッドバンド３１、電極３２、変換器３３、増幅器３４などを備える。脳波計３は、被験者の頭部、詳細には国際１０−２０法におけるＦｐ１に当たる箇所（左前部前頭葉）に、ヘッドバンド３１によって固定された電極３２が当接する構造となっている。Ｆｐ１は、一般に感情や情動に関する反応を計測できることが知られている。変換器３３は、電極３２から出力されるアナログ信号をデジタル信号に変換する。増幅器３４は、変換器３３から出力されるデジタル信号を増幅し、分析支援装置２のＩ／Ｏ２５に出力する。Ａ／Ｄ変換におけるサンプリング周波数は例えば１０２４Ｈｚである。
【００３１】
脳波計３の詳細については、例えば、特開２０１０−１３１３２８号公報や特開２０１１−４５５４１号公報に記載されている。脳波計３の一例としては、例えば、株式会社脳力開発研究所の「alphatec-IV」、「Brain Builder Unit」などの簡易脳波計が挙げられる。簡易脳波計による脳波は、例えば、電気的に不活性な耳朶に一方の電極３２を装着し、電気的に活性な頭皮に他方の電極３２を装着し、二極間の電位差の変動を導出する単極誘導法によって計測される。
【００３２】
視点追跡装置４は、本体４１及びレコーダ４２を含む。本体４１及びレコーダ４２は、一体でも良いし、別体でも良い。
【００３３】
本体４１は、シーンカメラ４３、視点追跡センサ４４、マーカーセンサ４５などを含む。マーカーセンサ４５は必須ではない。マーカーセンサ４５を用いる場合、複数個のマーカー（不図示）も必要である。マーカーは、例えば、赤外線マーカーであり、分析対象とするエリアを定義するために設置される。
【００３４】
シーンカメラ４３は、被験者が見ているコンテンツや風景を撮像する。本実施の形態では、シーンカメラ４３は、後述するシーン映像やスナップショット画像を撮像するカメラである。
【００３５】
視点追跡センサ４４は、被験者の視点を追跡するためのセンサである。視点追跡センサ４４は、例えば、赤外線の光源と受信部を備えており、赤外線角膜反射検知の原理によって、被験者の視点を追跡する。赤外線角膜反射検知の原理は公知であるため、説明を省略する。
【００３６】
マーカーセンサ４５は、マーカーと通信を行い、分析エリアを検知する。マーカーを用いて分析エリアを検知する必要があるコンテンツは、例えば、雑誌広告やチラシなどの紙媒体（第３実施形態を参照）などである。但し、コンテンツが紙媒体の場合であっても、特開２０１１−１９４１０５号公報に開示されているように、マーカーを使用しない手法もある。
【００３７】
レコーダ４２は、制御部４６及び記憶媒体４７などを含む。記憶媒体４７は前述の通りである。制御部４６は、シーンカメラ４３によって撮像されるシーン映像やスナップショット画像、視点追跡センサ４４によって追跡される被験者の視点座標データ、マーカーセンサ４５によって検知される分析エリアデータなどを記憶媒体４７に記憶する。
【００３８】
視点追跡装置４の一例としては、例えば、トビー・テクノロジー社の「Tobiiグラス  アイトラッカー」に代表される眼鏡タイプや、トビー・テクノロジー社の「Tobii TX300  アイトラッカー」に代表されるディスプレイタイプなどがある。ＴＶＣＭやウェブサイトのように、コンテンツをディスプレイに出力できる場合、被験者は、眼鏡タイプを用いても良いし、ディスプレイタイプを用いても良い。被験者の移動を前提とする場合（第１実施形態及び第２実施形態を参照）や、紙媒体などの物体を視聴する場合、被験者は、眼鏡タイプ（第３実施形態を参照）を用いる。
【００３９】
図２は、分析支援装置２に記憶されるデータの一例である。分析支援装置２の記憶部２２に記憶されるデータは、脳波データ５０、視点座標データ５５、脳波計測開始時刻及び視点計測開始時刻の時間差６１（以下、「時間差６１」と表記する。）、シーン映像６２、スナップショット画像６３などである。
【００４０】
脳波データ５０は、ヘッダ部と本体部を有する。本体部は繰り返しがあるデータである。ヘッダ部には、少なくとも脳波計測開始時刻５１が含まれる。脳波計測開始時刻５１は、脳波計３による計測を開始した時刻である。本体部には、少なくとも計測経過時間５２及び脳波５３が含まれる。計測経過時間５２は、脳波計測開始時刻５１からの経過時間である。脳波５３は、変換器３３及び増幅器３４によってＡ／Ｄ変換されたデジタル信号である。後述するように、脳波５３は、所定の時間間隔（例えば、１秒間）で潜在意識度に変換されるので、脳波データ５０の本体部は、この所定の時間間隔ごとに纏められたデータ構造でも良い。
【００４１】
視点座標データ５５は、ヘッダ部と本体部を有する。本体部は繰り返しがあるデータである。ヘッダ部には、少なくとも視点計測開始時刻５６が含まれる。視点計測開始時刻５６は、視点追跡装置４による計測を開始した時刻である。本体部には、少なくとも計測経過時間５７、視点ｘ座標５８及び視点ｙ座標５９が含まれる。計測経過時間５７は、視点計測開始時刻５６からの経過時間である。視点ｘ座標５８及び視点ｙ座標５９は、それぞれ、視点追跡センサ４４によって計測される、シーン映像６２又はスナップショット画像６３の座標系における被験者の視点位置を示すｘ座標及びｙ座標である。視点ｘ座標５８及び視点ｙ座標５９は、視点追跡センサ４４のサンプリング間隔（例えば、３０フレーム／秒）で記憶される。
【００４２】
時間差６１は、脳波計３が計測を開始した時刻と、視点追跡装置４が計測を開始した時刻との差である。時間差６１の計測方法は２通りある。
【００４３】
第１の方法では、被験者又は分析者が、脳波計３が計測を開始した時点と、視点追跡装置４が計測を開始した時点とを、それぞれ目視によって確認し、その相対時刻の時間差６１を分析支援装置２に入力する。例えば、被験者又は分析者は、脳波計３と視点追跡装置４のいずれかを先にスタートさせておいて、後にスタートさせた装置の０秒目が、先にスタートさせた装置の何秒目に当たるかを、分析支援装置２に入力する。第１の方法では、前述した脳波データ５０の脳波計測開始時刻５１及び視点座標データ５５の視点計測開始時刻５６は、不要である。従って、被験者又は分析者は、脳波計３の時計と視点追跡装置４の時計を合わせる必要がない。
【００４４】
第２の方法では、分析支援装置２の制御部２１が、脳波データ５０の脳波計測開始時刻５１及び視点座標データ５５の視点計測開始時刻５６に基づいて時間差６１を算出する。例えば、脳波データ５０の脳波計測開始時刻５１から視点座標データ５５の視点計測開始時刻５６を引いた値を時間差６１とする。時間差６１が正の場合、脳波計測開始時刻５１が視点計測開始時刻５６よりも時間差６１だけ早いことを意味する。時間差６１が負の場合、視点計測開始時刻５６が脳波計測開始時刻５１よりも時間差６１だけ早いことを意味する。第２の方法では、分析支援装置２によって脳波データ５０と視点座標データ５５との時間差６１を自動的に算出することができるので、分析者の負荷が軽減される。但し、被験者又は分析者は、脳波計３の時計と視点追跡装置４の時計を合わせる必要がある。
【００４５】
シーン映像６２は、シーンカメラ４３によって撮像される動画像ファイル（例えば、aviファイル）である。シーン映像６２は、視点追跡センサ４４のサンプリング間隔（例えば、３０フレーム／秒）と同程度のサンプリング間隔で記憶される。第１実施形態及び第２実施形態の場合、シーン映像６２が必須である。
【００４６】
スナップショット画像６３は、シーンカメラ４３によって撮像される静止画像ファイル（例えば、jpegファイル）である。スナップショット画像６３は、コンテンツ全体が撮像範囲に含まれる単一の画像ファイルである。第３実施形態の場合、スナップショット画像６３が必須である。
【００４７】
図３は、市場調査システム１全体の処理を示すフローチャートである。尚、図３では時間差６１の計測処理が不図示であるが、前述した第１の計測方法又は第２の計測方法によって時間差６１の計測がなされて、時間差６１が分析支援装置２の記憶部２２に記憶されるものとする。また、図３に示す計測処理を行う前に、図４に例示するフィルタ算出処理を予め行い、潜在意識度の算出処理に用いるフィルタを求めておくことが前提である。
【００４８】
脳波計３は、分析支援装置２からの計測開始や計測終了の指示に基づいて、被験者の脳波を計測する（Ｓ１１）。そして、脳波計３は、所定のサンプリング間隔ごとに、変換器３３がＡＤ変換を行い（Ｓ１２）、増幅器３４が増幅し（Ｓ１３）、増幅結果を分析支援装置２に脳波データ５０として送信する（Ｓ１４）。
【００４９】
視点追跡装置４の本体４１は、分析者又は被験者からの計測開始や計測終了の指示に基づいて、被験者の視点を計測する（Ｓ２１）。そして、視点追跡装置４のレコーダ４２は、所定のサンプリング間隔ごとに、視点座標データ５５を記憶媒体４７に記憶する（Ｓ２２）。
【００５０】
分析支援装置２の制御部２１は、脳波計３から脳波データ５０を受信し、脳波データ５０を記憶部２２に記憶する（Ｓ３１）。そして、制御部２１は、脳波データ５０について高速フーリエ変換による周波数解析を行い（Ｓ３２）、因子分析によって、被験者のコンテンツに対する潜在意識度の算出を行い、潜在意識度に被験者やコンテンツの情報を付加してＲＡＭ又は記憶部２２に記憶する（Ｓ３３）。Ｓ４４の高速フーリエ変換は、例えば、窓長１秒、窓の時間シフト幅１秒で行う。Ｓ４５の潜在意識度算出処理については、図４〜図８を参照しながら後述する。
【００５１】
分析支援装置２の制御部２１は、記憶媒体４７からデータを入力し、視点座標データ５５、及び、シーン映像６２又はスナップショット画像６３を記憶部２２に記憶する（Ｓ３４）。次に、制御部２１は、視点座標データ５５に基づいて、被験者の視点座標をシーン映像６２又はスナップショット画像６３に対応付ける（Ｓ３５）。そして、分析支援装置２の制御部２１は、時間差６１に基づいて時系列を同期して、被験者の視点座標が対応付けられるシーン映像６２又はスナップショット画像６３と潜在意識度とを、表示部２３の同一画面に表示する（Ｓ３６）。制御部２１は、表示部２３に表示するだけでなく、プリンタに出力したり、他のコンピュータに送信したりしても良い。表示処理は、各実施形態において詳細に説明する。
【００５２】
図４は、フィルタ算出処理の一例を示すフローチャートである。尚、図３と図４では、同一の被験者を対象とする処理ではない。図４に例示する処理は、図３に示す計測処理の前処理である。以下では、潜在意識度を、特に「興味度」と捉える。
【００５３】
図４に示すように、分析支援装置２の制御部２１は、興味がないと仮定したデータの各周波数の平均を算出する（Ｓ４１）。興味がないと仮定したデータとは、例えば、不特定多数の被験者が映像や音楽などを視聴せずに計測された脳波データ５０、或いは興味がないと明らかにわかっている映像や音楽などを視聴したときに計測された脳波データ５０である。不特定多数の被験者は、任意に選択すれば良い。
【００５４】
図５は、Ｓ４１を説明する図である。図５の表７０ａには、複数の被験者Ａ、Ｂ、・・・について図３のＳ１１〜Ｓ１４及びＳ３１と同様の方法で処理された脳波データ５０が例示されている。また、図５の表７０ｂには、図３のＳ３２と同様の方法で、表７０ａに示す脳波データの周波数解析を行った結果の例として、１秒ごとに１秒〜６０秒、１Ｈｚごとに１Ｈｚ〜２４Ｈｚのパワースペクトルが示されている。制御部２１は、これらのパワースペクトルのデータから、周波数ごとの平均を算出する。表７０ｂでは、１Ｈｚの平均が「０．０」、２Ｈｚの平均が「３．２」、・・・、２４Ｈｚの平均が「１．２」である。
【００５５】
図４の説明に戻る。制御部２１は、興味がないと仮定したデータの平均と、フィルタ算出に使う各被験者のデータとの差分を算出する（Ｓ４２）。フィルタ算出に使う各被験者のデータも、図３のＳ１１〜Ｓ１４及びＳ３１、Ｓ３２と同様の方法で周波数解析を行ったパワースペクトルのデータである。
【００５６】
図６は、Ｓ４２を説明する図である。図６の表７１は、Ｓ４１において算出された興味がないと仮定したパワースペクトルのデータの周波数ごとの平均を示している。表７２は、ある被験者（＝被験者Ａ）について、１秒ごとに１秒〜６０秒、１Ｈｚごとに１Ｈｚ〜２４Ｈｚのパワースペクトルのデータを示している。制御部２１は、時間及び周波数ごとに、表７１のデータと表７２のデータとの差分を算出する。表７３は、時間及び周波数ごとに、差分結果を示している。表７３では、１Ｈｚの１秒目が「０．０」、１Ｈｚの２秒目が「０．０」、・・・、１Ｈｚの６０秒目が「０．０」、２Ｈｚの１秒目が「０．２」、２Ｈｚの２秒目が「０．８」、・・・、２Ｈｚの６０秒目が「０．８」、・・・、２４Ｈｚの１秒目が「１．８」、２４Ｈｚの２秒目が「０．２」、・・・、２４Ｈｚの６０秒目が「０．８」である。
【００５７】
図４の説明に戻る。制御部２１は、Ｓ４２において算出された差分データの相関行列、固有値を算出し、初期因子数を決定する（Ｓ４３）。初期因子数は、Ｓ４４において実行される因子分析に必要である。
【００５８】
図７は、Ｓ４３を説明する図である。図７の表７４は、Ｓ４２において算出された差分データを示している。制御部２１は、表７４の列ベクトル同士の相関行列を算出する。表７４では、１Ｈｚの列ベクトルが（０．０，０．０，・・・，０．０）ｔ、２Ｈｚの列ベクトルが（０．２，０．８，・・・，０．８）ｔ、・・・、６０Ｈｚの列ベクトルが（１．８，０．２，・・・，０．８）ｔである。
【００５９】
図７の表７５は、表７４の列ベクトル同士の相関行列を示している。表７５では、行列成分（１，１）が「１」、行列成分（１，２）が「０．８１」、・・・、行列成分（１，２４）が「０．１２」、行列成分（２，１）が「０．８１」、行列成分（２，２）が「１」、・・・、行列成分（２，２４）が「０．２０」、・・・、行列成分（２４，１）が「０．１２」、行列成分（２，２）が「０．２０」、・・・、行列成分（２４，２４）が「１」である。次に、制御部２１は、表７５の相関行列に対する固有値を算出する。
【００６０】
図７の表７６は、表７５の相関行列に対する固有値を示している。表７６では、１Ｈｚの固有値が「１３．５０」、２Ｈｚの固有値が「２．１６０」、・・・、２４Ｈｚの固有値が「０．００８」である。次に、制御部２１は、表７６の固有値をグラフにプロットする（スクリープロット）。
【００６１】
図７のグラフ７７は、表７６の固有値の折れ線グラフを示している。例えば、ユーザは、グラフ７７から、傾きがなだらかになっている箇所を判断し、初期因子数を決定する。グラフ７７では、周波数が３Ｈｚと４Ｈｚの間（点線７８）の傾きがなだらかになっていることから、初期因子数を「３」と決定する。また、例えば、制御部２１が、周波数の小さい方から、折れ線グラフの傾きと予め定めた閾値とを比較していき、閾値以下になったら、傾きがなだらかになっていると判定し、初期因子数を決定しても良い。
【００６２】
図４の説明に戻る。制御部２１は、初期因子数から１ずつ因子数を増やしていき、累積寄与率が所定の割合になるまで、因子分析を実行する（Ｓ４４）。所定の割合については、任意に決定して良いが、例えば、０．８である。
【００６３】
図８は、Ｓ４４を説明する図である。図８の表７９は、因子分析の結果を示している。表７９は、オープンソースの統計解析ソフトである「Ｒ」による算出結果である。因子負荷量は、観測変数に対して共通因子がどれくらいの強さで影響を与えているかを示している。共通性は、観測変数ごとの因子負荷量の２乗和である。共通性の値が高ければ、その観測変数が共通因子によって良く説明されていることになる。
【００６４】
表７９は、例示目的の為、第２因子までの因子負荷量や累積寄与率を示している。因子数が「３」であれば、第３因子の因子負荷量や累積寄与率も算出されることになる。そして、第３因子の累積寄与率が所定の割合を超えていなければ、制御部２１は、因子数を「４」にして因子分析を再度実行する。尚、Ｓ４３及びＳ４４の処理の詳細については、特開２０１０−１３１３２８号公報や特開２０１１−４５５４１号公報にも記載されている。
【００６５】
図４の説明に戻る。制御部２１は、周波数ごとに、寄与率を考慮した因子負荷量を重みとしたフィルタを算出する（Ｓ４５）。Ｎ人の被験者から求めたフィルタの算出式は、次式の通りである。
【００６６】
【数１】
2013180076.tif 000003
【００６７】
ここで、ｚ：周波数、ｉ：被験者数、ｊ：因子数、Ｈ（ｚ）：周波数ｚのフィルタ（重み）、Ｆｉｊ（ｚ）：周波数ｚ、被験者ｉ、第ｊ因子の因子負荷量、Ｐｉｊ：被験者ｉ、第ｊ因子の寄与率、である。
【００６８】
制御部２１は、このように算出されたフィルタを用いて、図３のＳ４５において、興味度を算出する。興味度の算出式は、次式の通りである。
【００６９】
【数２】
2013180076.tif 000004
【００７０】
ここで、ｚ：周波数、ｔ：時刻、Ｒ（ｔ）：ｔ秒における興味度、Ｂ（ｚ、ｔ）：ｔ秒における脳波の周波数ｚの振幅、Ｈ（ｚ）：周波数ｚのフィルタ、である。
【００７１】
このように、制御部２１は、脳波計３によって計測される脳波データ５０に基づき、被験者の潜在意識度（興味度）を算出する。後述する第１実施形態〜第３実施形態のように、市場調査システム１は、被験者の潜在意識度（興味度）と、視点追跡装置４による視点追跡結果との両方を、分析者が分析し易いように出力する。
【００７２】
＜第１実施形態＞
図９及び図１０を参照しながら、第１実施形態について説明する。
【００７３】
図９は、第１実施形態における分析支援装置２の処理を示すフローチャートである。図９に示すように、分析支援装置２の制御部２１は、所定のサンプリング間隔（例えば、１秒間）ごとに算出される興味度８０から、時系列のグラフデータを生成する（Ｓ５１）。
【００７４】
制御部２１は、視点座標データ５５をシーン映像６２に１フレームずつ対応付ける（Ｓ５２）。視点座標データ５５及びシーン映像６２のサンプリング間隔が同一であれば、制御部２１は、時系列順に１対１で対応付ける。視点座標データ５５及びシーン映像６２のサンプリング間隔が異なる場合、制御部２１は、適切な補間処理又は間引き処理を行った後、時系列順に１対１で対応付ける。
【００７５】
制御部２１は、時間差６１に基づいて時系列を同期して、Ｓ５１において生成される興味度８０の曲線データと、Ｓ５２において視点座標が対応付けられるシーン映像６２とを、同一画面の表示部２３に表示する（Ｓ５３）。尚、「同一画面」とは、表示領域（ウィンドウ）が同一である必要はなく、分析者が興味度８０の曲線データとシーン映像６２とを同時に視認できる表示態様であれば、表示領域（ウィンドウ）が別であっても良い。
【００７６】
図１０は、第１実施形態における表示例である。図１０に示す例では、コンテンツは、被験者が移動することを前提とする動的コンテンツである。この例では、棚に複数種類のパンフレットが置かれており、例えば、被験者がどのパンフレットに興味を示すかを調査する。
【００７７】
図１０に示す計測結果表示画面８１ａは、興味度曲線表示領域８２、シーン映像表示領域８３及び計測情報表示領域８４を含む。興味度曲線表示領域８２は、興味度８０の曲線データを表示するための領域である。シーン映像表示領域８３は、シーン映像６２を表示するための領域である。計測情報表示領域８４は、脳波計３及び視点追跡装置４による計測結果の各種情報を表示するための領域である。
【００７８】
分析支援装置２は、興味度曲線表示領域８２に対して、横軸が時間、縦軸が興味度（％）或いは興味度変化のグラフを表示する。実線にて示す興味度（％）は、Ｓ５１において生成される興味度８０の曲線データである。点線にて示す興味度変化は、興味度の変化量（微分値に相当）である。図１０に示す例では、興味度変化は、１秒前の興味度との差を示している。タイムライン８５は、シーン映像表示領域８３に再生されるシーン映像６２の再生位置を示す。シーン映像６２が連続再生中であれば、タイムライン８５は、シーン映像６２の再生位置に追従して、左から右にスライドしていく。
【００７９】
分析支援装置２は、シーン映像表示領域８３に対して、例えば、汎用の動画再生モジュールを埋め込む。シーン映像表示領域８３は、再生、一時停止、早送り、巻き戻し、ミュート（消音）、ボリューム調整などのボタンを有する。視点マーク８６ａは、Ｓ５２において対応付けられる視点座標データ５５の位置を示す。図１０では、２つの視点マーク８６ａが存在する。これは、視点座標データ５５の位置が切り替わる様子を示している。視点座標データ５５の位置が変化しないときは、視点マーク８６ａは１つである。
【００８０】
分析支援装置２は、計測情報表示領域８４に対して、例えば、興味度（％）及び興味度変化の表示／非表示設定（Change Chart Visible）、興味度８０及び興味度変化の統計値（Information）、シーン映像６２の再生時間（movie length）、脳波のシフト時間（EEG data shift）などを表示する。脳波のシフト時間（EEG data shift）は、時間差６１に相当する。
【００８１】
図１０に示すように、第１実施形態では、分析支援装置２の制御部２１は、被験者の視点座標をシーン映像６２に１フレームずつ対応付ける。そして、制御部２１は、視点座標の位置を示す視点マーク８６ａを重畳しながらシーン映像６２を表示部２３に再生するとともに、シーン映像６２の再生位置を示すタイムライン８５を重畳しながら潜在意識度の変動を時系列のグラフとして表示部２３に描画する。
【００８２】
第１実施形態によれば、ＴＶＣＭなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の潜在意識度及び視点の変動を同時に視認することができる。例えば、分析者は、潜在意識度がピークのとき、被験者が動的コンテンツのどの場面の、どの位置を視聴しているのかを容易に視認することができる。
【００８３】
＜第２実施形態＞
図１１及び図１２を参照しながら、第２実施形態について説明する。第２実施形態では、第１実施形態の要素と同一の要素には同一の番号を付し、重複説明を省略する。
【００８４】
図１１は、第２実施形態における分析支援装置２の処理を示すフローチャートである。図１１に示すように、分析支援装置２の制御部２１は、所定のサンプリング間隔（例えば、１秒間）ごとに算出される興味度８０から、時系列のグラフデータを生成する（Ｓ６１）。
【００８５】
制御部２１は、視点座標データ５５をシーン映像６２に１フレームずつ対応付ける（Ｓ６２）。更に、制御部２１は、マッピングした視点座標を興味度８０に応じて装飾する（Ｓ６３）。装飾態様としては、興味度８０に応じて、視点マークの形状、模様、色彩を変更したり、他のマークを付加したりすることが考えられる。
【００８６】
制御部２１は、時間差６１に基づいて時系列を同期して、Ｓ６１において生成される興味度８０の曲線データと、Ｓ６３において装飾された視点マークが重畳されるシーン映像６２とを、同一画面の表示部２３に表示する（Ｓ６４）。
【００８７】
図１２は、第２実施形態における表示例である。図１２に示す例では、図１０に示す例と同様、コンテンツは、被験者が移動することを前提とする動的コンテンツである。
【００８８】
図１２に示す計測結果表示画面８１ｂは、興味度曲線表示領域８２、シーン映像表示領域８３及び計測情報表示領域８４、装飾度合８７を含む。装飾度合８７は、Ｓ６３における装飾の度合を示す。
【００８９】
分析支援装置２は、シーン映像表示領域８３において、装飾された視点マーク８６ｂをシーン映像６２に重畳する。図１２に示す例では、装飾度合８７は、視点マークの模様の差異によって表現されている。つまり、視点マーク８６ｂは、興味度８０に応じて模様が変更される。尚、特許図面の制約の為、色彩を変更する例が図示できないが、例えば、サーモグラフィのように、興味度８０が高い方から順に、「赤色」、「橙色」、「黄色」、「黄緑色」、「緑色」といった色彩の変更を行うと、直観的に理解し易い。
【００９０】
図１２に示すように、第２実施形態では、分析支援装置２の制御部２１は、被験者の視点座標をシーン映像６２に１フレームずつ対応付け、更に、視点座標の位置を示す視点マーク８６ｂの装飾度合を潜在意識度に応じて決定する。そして、制御部２１は、装飾度合に応じて装飾された視点マーク８６ｂを重畳しながらシーン映像６２を再生するとともに、シーン映像６２の再生位置を示すタイムライン８５を重畳しながら潜在意識度の変動を時系列のグラフとして表示部２３に描画する。
【００９１】
第２実施形態によれば、ＴＶＣＭなどの動画像や被験者が移動するなどの動的コンテンツの場合において、分析者は、被験者の潜在意識度及び視点の変動を同時に視認することができる。特に、視点マーク８６ｂが潜在意識度に応じて装飾されて表示されるので、分析者は、潜在意識度の変動を動的コンテンツ上で視認することができる。
【００９２】
＜第３実施形態＞
図１３及び図１４を参照しながら、第３実施形態について説明する。第３実施形態では、第１実施形態又は第２実施形態の要素と同一の要素には同一の番号を付し、重複説明を省略する。
【００９３】
図１３は、第３実施形態における分析支援装置２の処理を示すフローチャートである。図１３に示すように、分析支援装置２の制御部２１は、視点座標データ５５の座標を、スナップショット画像６３の座標系に変換する（Ｓ７１）。制御部２１は、マーカーを使用する場合、例えば、トビー・テクノロジー社の「Tobii Studio ソフトウェア」によって実現される機能を利用して、座標変換を行う。また、制御部２１は、マーカーを使用しない場合、例えば、特開２０１１−１９４１０５号公報に開示されている技術を利用して、座標変換を行う。両者とも公知の技術であるため、詳細な説明は省略する。尚、スナップショット画像６３の座標系における被験者の視点位置を示すｘ座標及びｙ座標を用いる場合、Ｓ７１における座標変換は不要である。
【００９４】
制御部２１は、スナップショット画像６３の座標系に変換された視点座標をスナップショット画像６３に対応付ける（Ｓ７２）。つまり、単一のスナップショット画像６３に対して、複数の視点座標が対応付けられる。
【００９５】
制御部２１は、時間差６１に基づいて時系列を同期して、興味度８０に応じて視点座標を示す視点マークを装飾し、装飾された視点マークが重畳されたスナップショット画像６３を表示部２３に表示する（Ｓ７３）。装飾態様は、第２実施形態と同様である。
【００９６】
図１４は、第３実施形態における表示例である。図１４に示す例では、コンテンツは、紙媒体の静的コンテンツである。この例では、家電製品のチラシであり、例えば、被験者がチラシのどの位置に興味を示すかを調査する。
【００９７】
図１４に示す計測結果表示画面８１ｃは、スナップショット画像６３、装飾度合８７、複数の視点マーク８６ｃを含む。分析支援装置２の制御部２１は、視点マーク８６ｃを装飾する際、更に、視点座標ごとに閲覧時間を算出し、閲覧時間に応じて視点マーク８６ｃの面積度合を決定する。図１４では、５つの視点マーク８６ｃが、それぞれ異なる装飾及び面積でスナップショット画像６３に重畳されている。
【００９８】
図１４に示すように、第３実施形態では、分析支援装置２の制御部２１は、被験者の視点座標をスナップショット画像６３の座標系に座標変換して単一のスナップショット画像６３に対応付け、更に、視点座標の位置を示す視点マーク８６ｃの装飾度合を潜在意識度に応じて決定するとともに、視点座標ごとに閲覧時間を算出して視点マーク８６ｃの面積度合を閲覧時間に応じて決定する。そして、制御部２１は、視点座標ごとに、装飾度合に応じて装飾された面積度合の面積を有する視点マーク８６ｃを重畳してスナップショット画像６３を表示部２３に表示する。
【００９９】
第３実施形態によれば、雑誌広告やチラシなどの静的コンテンツの場合において、分析者は、被験者の潜在意識度及び視点の変動を同時に視認することができる。例えば、分析者は、被験者が静的コンテンツのどの位置をどのぐらいの時間視聴しているのかを容易に視認することができる。
【０１００】
以上、添付図面を参照しながら、本発明に係る分析支援装置などの好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０１】
１………市場調査システム
２………分析支援装置
３………脳波計
４………視点追跡装置
５０………脳波データ
５５………視点座標データ
６１………脳波計測開始時刻及び視点計測開始時刻の時間差
６２………シーン映像
６３………スナップショット画像
８０………興味度
【図１】
2013180076.tif 000005
【図２】
2013180076.tif 000006
【図３】
2013180076.tif 000007
【図４】
2013180076.tif 000008
【図５】
2013180076.tif 000009
【図６】
2013180076.tif 000010
【図７】
2013180076.tif 000011
【図８】
2013180076.tif 000012
【図９】
2013180076.tif 000013
【図１０】
2013180076.tif 000014
【図１１】
2013180076.tif 000015
【図１２】
2013180076.tif 000016
【図１３】
2013180076.tif 000017
【図１４】
2013180076.tif 000018