(57)【特許請求の範囲】
【請求項１】
眼球追跡器データを分析するシステムであって、
ユーザが注視する位置および時間をモニタリングして、ユーザが注視する前記位置および時間に関する眼球追跡器データを記憶する眼球追跡器と、
表示ページをモニタリングして、前記表示ページの内容をメモリに記憶し、表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングしてイベントログに記憶するログ記録ツールと、
前記眼球追跡器データを受け取り、前記眼球追跡器データを処理して前記ユーザの関心を示す固定データとし、イベントデータのイベントを再現することによって、メモリとイベントログのイベントデータとから前記表示ページを復元するマッピングツールと、
を備え、
前記マッピングツールは、前記固定データを前記復元ページにマップし、その結果、ユーザの注視が固定された関心のある要素およびその位置が識別され、前記識別された関心のある要素および前記その位置が記憶されることを特徴とする眼球追跡器データを分析するシステム。
【請求項２】
ダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析する方法であって、
前記ユーザが注視する位置および時間をモニタリングして、前記位置および時間を眼球追跡器データとして記憶するステップと、
前記眼球追跡器データを処理して、前記ユーザの関心を示す固定データとするステップと、
前記表示ページの内容をモニタリングして、前記表示ページの内容をメモリに記憶するステップと、
表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングするステップと、
表示ページに変化を生じさせるイベントおよび対応する時間データをイベントログに記憶するステップと、
イベントデータのイベントを再現することによって、メモリとイベントログのイベントデータとから前記表示ページを復元するステップと、
前記固定データを前記復元ページにマッピングし、それによって、前記ユーザの注視が固定された関心のある要素およびその位置を識別するステップと、
前記識別された関心のある要素および前記その位置を関心のある要素データベースに記憶するステップと、
を含むことを特徴とする方法。
【請求項３】
ダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析するためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体であって、
前記ユーザが注視する位置および時間をモニタリングして、前記ユーザが注視する前記位置および時間に関する眼球追跡器データを眼球追跡器データファイルに記憶する手順と、
前記表示ページをモニタリングして、前記表示ページの内容をメモリに記憶する手順と、
表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングする手順と、
表示ページに変化を生じさせるイベントおよび対応する時間データをイベントログに記憶する手順と、
前記眼球追跡器データを前記眼球追跡器データファイルから受け取る手順と、
前記眼球追跡器データを処理して前記ユーザの関心を示す固定データとする手順と、
イベントデータのイベントを再現することによって、メモリとイベントログのイベントデータとから前記表示ページを復元する手順と、
前記固定データを前記復元ページにマップし、それによって、前記ユーザの注視が固定された関心のある要素およびその位置を識別し、前記識別された関心のある要素および前記その位置を関心のある要素データベースに記憶する手順と、
を実行させることを特徴とする情報記憶媒体。
【請求項４】
オブジェクトモデルインタフェースを有するブラウザによってダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析するシステムであって、
前記ユーザが注視する位置および時間をモニタリングして、前記ユーザが注視する前記位置および時間に関する眼球追跡器データを眼球追跡データファイルに記憶する眼球追跡器と、
前記表示ページをモニタリングして、前記表示ページの内容をメモリに記憶し、表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングしてイベントログに記憶するログ記録ツールと、
前記眼球追跡器データを前記眼球追跡器データファイルから受け取り、前記眼球追跡器データを処理して前記ユーザの関心を示す固定データとし、イベントデータのイベントを再現することによって、メモリとイベントログのイベントデータとから前記表示ページを復元し、前記固定データを前記復元ページにマップするマッピングツールと、
を備え、
前記マッピングツールは、前記ブラウザの前記オブジェクトモデルインタフェースにアクセスし、前記復元ページの要素を識別して、前記復元ページの前記識別された要素を要素データベースに記憶することを特徴とするシステム。
【請求項５】
オブジェクトモデルインタフェースを有するブラウザによってダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析する方法であって、
前記ユーザが注視する位置および時間をモニタリングして、前記位置および時間を眼球追跡器データとして記憶するステップと、
前記眼球追跡器データを処理して、前記ユーザの関心を示す固定データとするステップと、
前記表示ページの内容をモニタリングして、前記表示ページの内容をメモリに記憶するステップと、
表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングするステップと、
表示ページに変化を生じさせるイベントおよび対応する時間データをイベントログに記憶するステップと、
イベントデータのイベントを再現することによって、メモリとイベントログのイベントデータとから前記表示ページを復元するステップと、
前記固定データを前記復元ページにマッピングするステップと、
前記ブラウザの前記オブジェクトモデルインタフェースにアクセスして前記復元ページの要素を識別するステップと、
前記復元ページの前記識別された要素を要素データベースに記憶するステップと、
を含むことを特徴とする方法。
【請求項６】
オブジェクトモデルインタフェースを有するブラウザによってダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析するためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体であって、
前記ユーザが注視する位置および時間をモニタリングし、前記ユーザが注視する前記位置および時間に関する眼球追跡器データを眼球追跡器データファイルに記憶する手順と、
前記眼球追跡器データを処理して前記ユーザの関心を示す固定データとする手順と、
前記表示ページをモニタリングして、前記表示ページの内容をメモリに記憶する手順と、
表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングする手順と、
表示ページに変化を生じさせるイベントおよび対応する時間データをイベントログに記憶する手順と、
イベントデータのイベントを再現することによって、メモリとイベントログのイベントデータとから前記表示ページを復元し、前記固定データを前記復元ページにマップする手順と、
前記ブラウザの前記オブジェクトモデルインタフェースにアクセスし、前記復元ページの要素を識別する手順と、
前記復元ページの前記識別された要素を要素データベースに記憶する手順と、
を実行させることを特徴とする情報記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、広くは、眼球追跡の分野に関し、より詳しくは、ダイナミックハイパーメディアページを見るユーザから収集される眼球追跡器データを分析するシステムおよび方法およびコンピュータ読み取り可能な情報記憶媒体に関する。
【０００２】
【従来の技術】
種々の分野において、心理学者および他の研究者は、眼球追跡装置（または眼球追跡器）を用いて、ヒトの視覚の注意の集中点の推論する方法として、眼球固定、眼球運動、および瞳孔散大を記録してきた。この推論は、一般に、「心−眼球仮説」と呼ばれる。この点に関して、眼球固定、眼球運動、および瞳孔散大に関しては、Ｒａｇｌａｎｄによる米国特許第５，４７１，５４２号、Ｃｏｒｎｓｗｅｅｔらによる米国特許第５，４１０，３７６号、およびＣｌｅｖｅｌａｎｄらによる米特特許第５，２３１，６７４号に開示されている。１つの出願によれば、これらの形式のシステムは、テレビジョン観察者からデータを収集して眼球の運動をモニタリングするために用いられてきた。Ｂｏｒａｈらによる米国特許第４，７８９，２３５号によって、人々がテレビジョンコマーシャルを見る時間の分布の記述を生成する方法およびシステムが開示されている。この参考文献には、眼球追跡を用いて種々のテレビジョン情景の独特の可視領域における個人の関心を測定するシステムが記述されている。
【０００３】
眼球追跡器における基本問題は、眼球追跡データ（その眼球の「関心のある点」）をハイパーメディアページの要素上にマッピングし、その結果、ユーザが眼球を固定／集中した要素（「関心のある要素」）を識別することに関する。関心のある点を関心のある要素にマッピングすることは、本明細書においては、「要素に対する点のマッピング」と呼ぶ。このマッピングには、眼球追跡技術をハイパーメディアに適用することは相当に困難であるという問題がある。一般に、眼球追跡器は、物理空間の部分のオーバーレイである座標システムによって、ユーザの眼球注視をモニタリングして記録する。たとえば、ある眼球追跡器は、コンピュータの表示画面に対応する空間部分を識別する（ｘ、ｙ）座標のセットを記録することができる。画面上に表示される情報要素が固定されると、次に、分析プログラムによって、記録された眼球注視データと表示される要素との関係が容易に決定できる。
【０００４】
【発明が解決しようとする課題】
しかし、ハイパーメディアの特性そのものが、ユーザの表示画面上において非常に頻繁に変化し、その結果、現在の眼球追跡技術の適用が非常に限定される。通常、ユーザは、ユーザが実行する行動において必ず制約される。たとえば、スクロールバーの使用は、その使用によって要素の位置が即刻に変化され、その結果、記録された座標が不正確となるので、許容されない。他の場合は、研究者は、ユーザのビデオ記録から得られる眼球追跡データの手作業による単調で退屈な分析を行って、眼球追跡器座標と、表示された内容、または数秒ごとに手作業によって変更しなければならない表示要素の位置を記述するテンプレートとの関係を推論しなければならない。その結果、ハイパーメディア、たとえばＷＷＷに関する眼球追跡研究は、時間投資を必要とし、これはハイパーメディア専門家によって負担が重すぎる。
【０００５】
この手作業分析は、情景ごと（または画面ごと）のデータファイルを提供することによって、または分析者が表示内容の領域に対応する空間領域を形成してラベル付することを可能とするツールを提供することによって、容易にすることができる。前述したＢｏｒａｈの特許によれば、眼球追跡を用いて、種々のテレビジョン情景の特定の視覚領域に関する個人の関心を測定する。注視点データは、情景ごとのデータファイルと比較され、各選択された情景に関する、観察者の観察時間の平均分布を示す第３のデータファイルが生成される。しかし、Ｂｏｒａｈの発明によれば、情景データファイルは手作業によって生成しなければならず、その結果、非常に多量の手作業が必要とされ、その領域の意味内容に対するアクセスはない。同様に、定められた内容領域のテンプレートは、各表示状態、たとえば、ユーザが見るＷＷＷページの１つ１つのすべてのビューに対して特定することが可能であり、その結果、より進んだ優先データ処理が可能となる。しかし、情景変化の数が増加すると、その結果、分析のために必要とされるテンプレートの数も増大する。ウェブブラウザの場合、新しいテンプレートは各ページに対して必要とされ、実際に、各ページに対するスクロールバーの各可能性のある位置に対して必要とされる。したがって、このような解決策は、実際的ではなくまたは経済的でもない。
【０００６】
最近、Ｅｄｗａｒｄｓによる米国特許第６，１０６，１１９号によって、保管される表示画像に関係付けられる眼球追跡データの高レベルの解釈を提示する方法が提案された。Ｅｄｗａｒｄｓの特許によって、眼球追跡データを記憶し、所定の条件、たとえば時間間隔、追跡順序、スクローリング検出、または他の活動に基づいて、表示シナリオを関係付ける方法が開示されている。Ｅｄｗａｒｄｓ特許には、眼球追跡データの高レベル解釈への変換およびこれらの解釈に対する評価記号の割当が開示されている。次に、記憶表示シナリオは、評価記号と共に表示される。したがって、Ｅｄｗａｒｄｓの発明によって、眼球追跡データを画面ショットにスーパーインポーズする方法が開示され、画面ショットを捕獲する時機を決定する技術が教示される。その上、Ｅｄｗａｒｄｓの発明によって、ハイパーメディア、たとえばウェブページに対する適用性が処理され、スクローリングによって惹起される問題は、ユーザによるスクローリングの前後にスクロールイベントを検出し画面ショットを実行することによって処理される。
【０００７】
しかし、Ｅｄｗａｒｄｓの特許により開示された発明によっては、公知の従来技術の眼球追跡方法に対して限定された利益しか提供されないことが明らかになった。前述したように、Ｅｄｗａｒｄｓの方法によって提供される出力は、画面ショット上にスーパーインポーズされる解釈された眼球追跡データであり、次に、人間である分析者は、その上にスーパーインポーズされる眼球追跡データを有する画面ショットを観察して分析することによって、要素に対する点のマッピングを実行して、どの要素が眼球追跡データの下にあるかを識別しなければならない。したがって、人による相当な量の作業が関心のある要素情報を得るために必要とされる。その上、Ｅｄｗａｒｄｓ特許によって教示されるように、画面ショットは図形表現のみであり、得られたデータに関する追加処理は実施することができない。たとえば、Ｅｄｗａｒｄｓの教示によれば、人である分析者は、特定の要素、画像、リンク、テキスト、または定様式テキスト、などに対するユーザの眼球運動を測定する必要がある。Ｅｄｗａｒｄｓは、眼球追跡データの分析中における要素の識別を支援することができるテンプレートの使用を開示していない。しかし、人による相当な量の作業が、このようなテンプレートの生成に消費されねばならず、新しいテンプレートは表示されるあらゆる画面に対して必要とされ、このため、提案される解決策は、表示される画面が絶えず変化するハイパーメディアコンテキストにおいては実行不可能となる。
【０００８】
前述した文献を含めて、本明細書に引用されるすべての文書は、本願に引用して援用する。
【０００９】
【課題を解決するための手段】
本発明によって、ダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析する改善されたシステムおよび方法が提供される。さらに、本発明によれば、人である分析者の対話および活動は最小限度とされ、要素に対する点のマッピングは事実上自動化される。
【００１０】
オブジェクトモデルインタフェースを有するブラウザによってダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析するシステムおよび情報記憶媒体は、眼球追跡器、ログ記録ツール、およびマッピングツールを備える。眼球追跡器は、ユーザが注視する位置および時間をモニタリングして、ユーザが注視する位置および時間に関する眼球追跡器データを眼球追跡器データファイルに記憶する。ログ記録ツールは、表示ページをモニタリングして、表示ページの内容をメモリに記憶する。マッピングツールは、眼球追跡器データファイルから眼球追跡器データを受け取り、眼球追跡器データを処理してユーザの関心を示す固定データとし、メモリから表示ページを復元する。マッピングツールによって、固定データも復元ページにマッピングされ、その結果、ユーザの注視が固定された関心のある要素およびその位置を識別して、識別された関心のある要素およびその位置を、関心のある要素データベースに記憶する。固定データは、ユーザの注視が固定されるようになる固定点に関する情報、境界ボックス内に含まれる固定点に最も近い領域に関する情報、または所定のアルゴリズムによって互いに関連付けされる固定点のクラスタ間の遷移に関する情報、の少なくとも１つである。マッピングツールは、ブラウザのオブジェクトモデルインタフェースにアクセスして、復元ページの要素を識別し、復元ページの識別された要素を要素データベースに記憶することもできる。ログ記録ツールは、表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングしてイベントログに記憶することもできるし、復元ページ上においてイベントデータのイベントを再現することによって、メモリとイベントログのイベントデータとから表示ページを復元することもできる。マッピングツールは、固定データとイベントログのイベントデータとを時間同期させることもできるし、眼球追跡器データファイルに記憶される眼球追跡器データの座標システムを、ダイナミックハイパーメディアページの表示の観察に用いられる画面座標システムに対して校正することができる。ログ記録ツールおよびマッピングツールは、情報記憶媒体に記憶されるソフトウェアプログラムとすることができる。
【００１１】
他の実施形態によれば、オブジェクトモデルインタフェースを有するブラウザによってダイナミックハイパーメディアページの表示を見るユーザから収集されるデータを分析する方法は、ユーザが注視する位置および時間をモニタリングするステップと、その位置および時間を眼球追跡器データとして記憶するステップと、眼球追跡器データを処理してユーザの関心を示す固定データとするステップと、表示ページの内容をモニタリングして表示ページの内容をメモリに記憶するステップと、メモリから表示ページを復元するステップと、固定データを復元ページ上にマッピングすることによってユーザの注視が固定される関心のある要素およびその位置を識別するステップと、識別された関心のある要素およびその位置を関心のある要素データベースに記憶するステップと、を含む。一実施形態によれば、この方法は、ブラウザのオブジェクトモデルインタフェースにアクセスして、復元ページの要素を識別し、復元ページの識別された要素を要素データベースに記憶するステップも含む。この方法は、表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングして、イベントデータとして記憶するステップを含むこともできる。表示ページは、イベントデータのイベントを復元ページに再現することによって、メモリおよびイベントデータから復元することができる。この方法は、固定データをイベントデータと時間同期させるステップと、眼球追跡器データの座標システムをダイナミックハイパーメディアページの表示の観察に用いられる画面座標システムに対して校正するステップと、を含むこともできる。
【００１２】
本発明のまた別の実施形態によれば、オブジェクトモデルインタフェースを有するブラウザによってダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析するシステムおよび情報記憶媒体は、眼球追跡器、ログ記録ツール、およびマッピングツールを備える。眼球追跡器は、ユーザが注視する位置および時間をモニタリングし、ユーザが注視する位置および時間に関する眼球追跡器のデータを眼球追跡器データファイルに記憶する。ログ記録ツールは、表示ページをモニタリングし、表示ページの内容をメモリに記憶する。マッピングツールは、眼球追跡器データファイルから眼球追跡器データを受け取り、眼球追跡器データを処理してユーザの関心を示す固定データとし、表示ページをメモリから復元する。また、マッピングツールは、固定データを復元ページ上にマッピングする。マッピングツールは、ブラウザのオブジェクトモデルインタフェースにアクセスして、復元ページの要素を識別し、復元ページの識別された要素を要素データファイルに記憶する。固定データは、ユーザの注視が固定されるようになった固定点に関する情報、境界ボックス内に含まれる固定点に最も近い領域に関する情報、または所定のアルゴリズムによって互いに関連付けされる固定点のクラスタ間の変換に関する情報、の少なくとも１つである。ログ記録ツールは、表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングして、イベントログに記憶することもできる。マッピングツールは、イベントデータのイベントを復元ページに再現することによって、表示ページをメモリとイベントログのイベントデータとから復元することができる。他の実施形態によれば、マッピングツールは、眼球追跡器データをイベントログのイベントデータと時間同期させることもできるし、眼球追跡器データファイルに記憶される眼球追跡器データの座標システムを、ダイナミックハイパーメディアページの表示を見るときに用いられる画面座標システムに対して校正することもできる。
【００１３】
本発明のまた別の実施形態によれば、オブジェクトモデルインタフェースを有するブラウザによってダイナミックハイパーメディアページの表示を見るユーザから収集されるデータを分析する方法は、ユーザが注視する位置および時間をモニタリングするステップと、その位置および時間を眼球追跡器データとして記憶するステップと、眼球追跡器データを処理してユーザの関心を示す固定データとするステップと、表示ページの内容をモニタリングして表示ページの内容をメモリに記憶するステップと、表示ページをメモリから復元するステップと、固定データを復元ページにマッピングするステップと、ブラウザのオブジェクトモデルインタフェースにアクセスして復元ページの要素を識別するステップと、復元ページの識別された要素を要素データベースに記憶するステップと、を含む。この方法は、表示ページに変化を生じさせるイベントおよびイベントの時間データをモニタリングしてイベントデータとして記憶するステップも含むことができる。表示ページは、イベントデータのイベントを復元ページに再現することによって、メモリおよびイベントデータから復元することができる。さらに、この方法は、固定データをイベントデータと時間同期させて、眼球追跡器データの座標システムをダイナミックハイパーメディアページの表示を見るときに用いられる画面座標システムに対して校正することもできる（陳述が従属クレイムに関連する場合、用語“ｍａｙ（ことができる）”を用いる。）。
【００１４】
【発明の実施の形態】
以下に述べる詳細説明から明らかになるように、本発明によって、ダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析する改善されたシステムおよび方法が提供される。記載の発明によれば、ユーザが注視した要素を識別するため、またはその要素の周辺の内容を識別するために用いることができる、要素に対する点のマッピングの事実上の自動化を可能とすることによって、人である分析者の対話および活動が最小限度とされる。本発明によって表示要素の内容が測定されるので、本発明によるシステムおよび方法を用いることによって、得られるデータに基づく徹底的なデータ分析が可能となることも明らかになる。
【００１５】
本出願人らは、ユーザの関心および行動がハイパーメディア、たとえばワールドワイドウェブ（“ＷＷＷ”、“ｗｅｂ”、または「インターネット」）のウェブページ（またはウェブサイト）の種々の態様によってどのように影響されるかを分析してよりよく理解するするため、よりよい技術および技法が必要とされることを認識した。このようなデータおよび情報が容易に得られる場合、ハイパーメディアの機能性は相当に改善され、よりよく設計される。たとえば、このようなデータおよび情報が容易に得られる場合は、これらを用いて以下のような質問に対して返答することができる。
【００１６】
−ユーザが、他の形式の要素に比較してある形式の要素に、最初に、または最も頻繁に注目するか？たとえば、ユーザは、他のテキストリンクより、最初にまたはより頻繁に画像マップを見るか？このことは、ユーザの特定の目標およびまたは特定のサイトによって変化するか？
−ある操作、たとえばウェブサイトにおける購入の代金支払いを実行しているユーザが、まごついた場合、“ヘルプ”リンクを参照するか？
−広告のある版または配置は、他よりも注目されるか？
ある人は、他の人よりも次善の行動に帰着することがより多いか？
−ウェブページ上においてリンク行の専有するスペース対「空白スペース」の最適比は幾つか？
−ユーザが所定のタスクに参加しているとき、ユーザは、どの単語を見るかまたは見ないか？単語のある配置は他よりも良いか？
【００１７】
このようなデータおよび情報の獲得を可能とするため、ページが頻繁に交換されスクローリングによってページの一部がユーザの視界から出入りしている場合においても、ウェブページのハイパーテキストの要素またはオブジェクトに対するユーザの関心を記録して分析する方法を開発する必要がある。その結果、ハイパーメディアの研究者、技術者、設計者、検査員、または市場売買人は、ユーザがどのようにハイパーメディアに注目したか、および対話中にユーザが実行した行動を記録する技術に関心を持つようになった。しかし、この目標を実現する効果的な解決策は得られなかった。主要な問題を以下に述べる。
【００１８】
図１は、本発明の一実施形態による、眼球追跡器データを分析するシステム２の概略を示す図である。図１に示すシステム２は、実施形態による概略形式を示す図であり、システム２の種々の要素は、汎用コンピュータまたは他の処理装置によって実行されるソフトウェアであることを、最初に注意されたい。このことは、コンピュータおよびソフトウェアの当業者には、以下の検討の故に明らかである。しかし、本発明は、ハードウェアまたはハードウェア／ソフトウェアによっても実行できることに注意されたい。分析される眼球追跡器データは、表示画面、たとえばブラウザ４によってワールドワイドウェブのウェブページなどのダイナミックハイパーメディアページを表示するモニタ（図示してない）を見るユーザから、ブラウジングセッション中に収集される。ブラウザ４は、たとえば、オブジェクトモデルインタフェース６たとえばマイクロソフトコンポーネントオブジェクトモデル（Ｍｉｃｒｏｓｏｆｔ’ｓ（登録商標）Ｃｏｍｐｏｍｅｍｔ  Ｏｂｊｅｃｔ  Ｍｏｄｅｌｅ）（ＣＯＭ）インタフェースを含むマイクロソフトインターネットエクスプローラ（Ｍｉｃｒｏｓｏｆｔ’ｓ（登録商標）Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））である。ＣＯＭインタフェースは、本発明に関連するので以下にさらに詳細に述べる。この点に関して、本明細書においては、本発明を、特に適切に適用できるワールドワイドウェブ（“ＷＷＷ”、“Ｗｅｂ”または「インターネット」）に適用する場合について、以下に述べる。しかし、本発明は、他のアプリケーションにも適用できることは理解されたい。その上、本発明の実施形態によれば、ブラウザ４としてマイクロソフトインターネットエクスプローラ（Ｍｉｃｒｏｓｏｆｔ’ｓ（登録商標）Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））を用い、オブジェクトモデルインタフェース６としてマイクロソフト（Ｍｉｃｒｏｓｏｆｔ’ｓ（登録商標））ＣＯＭインタフェースを用いるが、他の市販のまたは所有権のあるブラウザおよび／またはオブジェクトモデルインタフェースは、同様に、容易に用いることができる。
【００１９】
図から明らかなように、システム２は、眼球追跡器１２、ログ記録ツール１６、およびマッピングツール２２も備える。眼球追跡器１２は、ユーザが注視する位置および時間をモニタリングして眼球追跡器データを眼球追跡器データファイル１４に記憶する。眼球追跡器データによって、関心のある点情報、すなわちユーザがダイナミックハイパーメディアページ、たとえばウェブページの表示を表示画面上において見る場合のユーザの注視を示す情報が提供される。当然、前述したように、本発明は、ウェブページのデータの分析のみに用いられる必要はなく、他のアプリケーション、たとえば他のハイパーメディアアプリケーションに用いることもできる。眼球追跡器データファイル１４の眼球追跡器データは、任意の適切な方法、たとえば前述したおよび公知の装置および技術を用いて収集されるので、本明細書においては詳細に論議しない。
【００２０】
本発明のログ記録ツール１６は、ブラウザ４を介して表示画面に表示されるウェブページの内容をモニタリングしてメモリ１８に記憶または「ログに記録」する。ログ記録ツール１６は、ページの内容をモニタリングしてメモリ１８に記憶する機能を実行するソフトウェアプログラムまたはソフトウェアモジュールを内蔵するコンピュータとすることができる。この点に関して、ログ記録ツール１６は、それ自体、情報記録媒体、たとえば光ディスク、フレキシブルディスク、およびネットワークを介してアクセスできるコンピュータのハードドライブにダウンロードできるファイルも含めて、磁気メモリ、光メモリ、および固体メモリの任意のバリエーションをもって記憶することができる。メモリ１８は、磁気メモリ、光メモリ、および固体メモリの任意のバリエーションをもって、たとえばコンピュータのハードドライブを含めて、任意のデータ記憶装置またはその中の割り当てとすることができる。実施形態によれば、メモリ１８は、ログ記録ツール１６を実行するコンピュータのハードドライブ内の割り当てである。図示の実施形態によれば、ログ記録ルール１６は、表示ページに変化を生じさせるイベントおよびイベントの時間データもモニタリングしてイベントログ２０に記憶し、イベントログ２０は、ログ記録ツール１６を実行するコンピュータのハードドライブ内の割り当てによっても提供されるテキストファイルである。これらのイベントには、ページのスクローリング、リンクおよびページに表示される他の要素の起動、ならびに表示ページに変化を生じさせる他の任意の処理が含まれる。
【００２１】
図１に示すように、マッピングツール２２は、ブラウザ４の前述したオブジェクトモデルインタフェース６、眼球追跡器データファイル１４に記憶される眼球追跡器データ、メモリ１８およびイベントログ２０に記憶されるページにアクセスし、その結果、本明細書において前述した様式による要素に対する点のマッピングの事実上の自動化が可能となる。より詳しくは、マッピングツール２２は、眼球追跡器データファイル１４の眼球追跡器データを受け取り、固定マッピングを実行し、固定マッピングによって眼球追跡器データは処理されて固定データとなり、固定データを用いることによって、ユーザが関心を有する要素および／またはオブジェクト、すなわち関心のある要素の識別が可能となる。用語「固定データ」は、本明細書においては、広く、眼球追跡データの分析のどのレベルから導かれる情報も含めて、眼球追跡データから導かれる任意の情報を意味することに注意されたい。この点に関して、用語、固定データは、ユーザの注視が固定されるようになる（ユーザの関心を示す）実際の固定点に関する情報、境界ボックス内に含まれる固定点データに最も近い領域に関する情報、または本質的に、所定のアルゴリズムによって相互に関連される固定のクラスタ間の遷移に関する情報とすることができる。したがって、以下の詳細説明を検討する場合、本明細書においては、用語、固定データは、広く、眼球追跡データから導かれるどの情報も意味することに留意されたい。
【００２２】
マッピングツール２２によって、前述したように、眼球追跡データから導かれる固定データを有する固定データリスト３４が生成される。眼球追跡データを分析する必要がある場合、マッピングツール２２は、ウェブページを、観察セッション中にユーザが見たように正確に復元する。より詳しくは、これは、メモリ１８に記憶されるページをブラウザ４のキャッシュメモリにロードしてブラウザ４のオブジェクトメモリインタフェース６を介してイベントログ２０を実行することによって実現され、その結果、ユーザが見たことの正確な「再生」が提供される。当然、本発明のシステム２を用いる分析者は、復元ページの再生を制御できるように準備が備えられる。再度、ＷＷＷを通じてウェブページに直接にアクセスすることによって、再生が表示される場合、ウェブページが変化したとき不正確な再生が生じる場合があり、このような変化は、このようなダイナミックハイパーメディアページにおいて通常発生するものである。その上、ブラウザ４は、通常、アクセスされたウェブページを記憶するためキャッシュメモリを有する（割り振る）ので、このようなメモリは確保されず、容易に上書きされる。したがって、メモリ１８からウェブページを復元することによって、その結果、これらの因子のどれかによる不正確な再生の可能性は排除される。
【００２３】
また、マッピングツール２２は、ブラウザ４のオブジェクトモデルインタフェース６にアクセスすることによって、前述した様式により復元ページの要素を識別し、識別された要素およびそれに関連する特定の情報を要素データベース２４に記憶する。このことは、ブラウザ４のオブジェクトモデルインタフェース６にアクセスすることによって、容易に実現され、これによって、表示される各要素の内容情報が提供される。本明細書において「要素」と呼ばれるのは、ユーザの関心のある、アプリケーションレベルの意味オブジェクトであり、一般に、ブラウザ４によってディスプレイ上に表示されるＨＴＭＬ要素である。これらの意味オブジェクトには、テキスト、画像、ハイパーリンク、ボタン、入力ボックス、などが含まれる。ログ記録ツール１６と同様に、マッピングツール２２は、本明細書において前述した機能を実行する内蔵ソフトウェアプログラムまたはソフトウェアモジュールを備えるコンピュータとすることができる。ソフトウェアプログラムは、情報記憶媒体、たとえば光ディスク、フレキシブルディスクおよびネットを介してアクセスできるコンピュータのハードドライブにダウンロードできるファイルにさえも含めて、磁気メモリ、光メモリ、および固体メモリの任意のバリエーションをもって記憶することができる。
【００２４】
さらに、マッピングツール２２は、前述した固定データリスト３４から得られる固定データを復元された表示上にマッピングし、その結果、ユーザが、表示画面上のどこを注視したかが示される。マッピングされた固定に関する種々の情報、たとえばブラウジングセッション中のユーザが注視した各固定点に関する記録、または眼球追跡器データから導かれる任意の他の情報は、関心のある要素データベース２６に記憶される。固定点が固定データベースリスト３４内に含まれる実施形態によれば、マッピングされる固定に関する種々の情報には、固定の時刻および期間、ならびに関連する座標システムにおける固定の位置が含まれ、これらについては、以下にさらに詳細に述べる。したがって、本発明によって、以前は実現されなかった要素に対する点のマッピングが、事実上、自動化される。本発明は、関心のある要素データベース２６と、ツールたとえばデータベースプログラムを利用する前述した要素データベース２４とを関連づけることによって、分析者が、ユーザがどの要素に固定されたか（すなわち、実際の関心のある要素）を、従来技術のシステムおよび方法において要求されるように手作業によって表示画面を検討することなく、迅速に容易に正確に決定することを可能とするものである。その上、要素の内容および特性（たとえば、そのＨＴＭＬまたはＸＭＬタグ名、画面上におけるその境界ボックス、そのテキスト、そのビットマップ、およびそのＵＲＬ）が記録されるので、このデータを、さらに検索、分類、または他の場合は分析して、以前に提起された質問を処理する関連情報を得ることができる。
【００２５】
本発明は、ブラウザ４、たとえばオブジェクトモデルインタフェース、たとえばＣＯＭインタフェースを通じて記号形態として表示要素の特性を提供するマイクロソフトインターネットエクスプローラ（Ｍｉｃｒｏｓｏｆｔ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））を利用することも明らかである。本発明は、要素の意味内容にアクセスし、その結果、関心のある要素の事実上の自動決定を可能とし、さらに、データ分析を用いることによって所望の情報、たとえば単語の字形および内容を決定することを可能とするものである。
【００２６】
本発明によれば、関心のある要素を識別するために用いることができる要素に対する点のマッピングの事実上の自動化を可能とすることによって、人である分析者の対話および活動を最小限度とする眼球追跡器データの改善された分析システムおよび方法が提供される。本発明によって表示要素の内容が測定されるので、本発明によって、得られるデータに基づく徹底的なデータ分析も可能となる。しかし、ユーザがダイナミックハイパーメディアページの表示を見て眼球追跡器データを記録して分析し記録することを可能とするため比較的高レベルの計算リソースが必要とされるため、本発明の別の実施形態によれば、データの観察および／または収集が阻害されないように、表示を見るための独立型刺激コンピュータを、眼球追跡コンピュータとは別に備えることが構想される。任意に、独立型コンピュータまたはプロセッサを用いて、マッピングツールを実行することもできる。しかし、２基以上のコンピュータを用いて前述した本発明の実施形態を実施する場合、ユーザが注視する正確な時間および位置は１基のコンピュータによってモニタリングされ記録され、一方、ダイナミックハイパーページは別の１基のコンピュータによって表示され記録されるので、独特の問題が発生する。より詳しくは、眼球追跡器の座標システムと刺激コンピュータの表示とは、同じでない可能性が最も高い。その上、異なるコンピュータ間の時間情報も同じでない可能性が高く、その結果、表示ページの正確な復元は不可能である。
【００２７】
このような実施形態によれば、マッピングツール２２は、眼球追跡器データファイル１４に記憶される眼球追跡器データの座標システムを、ダイナミックハイパーメディアのページを見るため使用される表示画面の画面座標システムに対して校正する。この校正を用いることによって、別のコンピュータが用いられるという事実にも関わらず、マッピングツール２２によって、ユーザが注視する位置およびウェブページに表示される要素の位置を正確に位置決めすることが可能となる。さらに、マッピングツール２２は、別のコンピュータによって提供されるデータの時間を同期させ、その結果、表示の正確な復元が可能となる。
【００２８】
以上、コンピュータおよびコンピュータ科学の当業者が本発明を実施できるように、本発明を十分に詳しく一般的に述べた。しかし、別のコンピュータを用いて観察と眼球追跡とを実施する、本発明の実施形態の特徴を、以下にさらに詳しく述べる。明らかに、本発明に関する以下の記載によって、１基以上のコンピュータを用いるアプリケーションにおける要素に対する点のマッピングの実現に関する前述した問題に対する種々の解決策と共に本発明に関して、さらに詳細な説明が与えられる。
【００２９】
ブラウザおよびオブジェクトモデルインタフェース
図２は、ダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析する、２基以上のコンピュータを用いる別の実施形態のシステム１０２を示す図である。図から明らかなように、眼球追跡に関するウェブ調査は、ユーザがブラウザ１０４を介してダイナミックハイパーメディアページの表示を見るブラウジングセッションの間、ユーザをモニタリングして眼球追跡することによって実行される。刺激コンピュータ１５０を用いることによって、ユーザはＷＷＷ１０８にアクセスすることが可能となり、その結果、ユーザはウェブをブラウズすることができる。ユーザは、ブラウザ１０４、たとえばマイクロソフトインターネットエクスプローラ（Ｍｉｃｒｏｓｏｆｔ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））を介して刺激コンピュータ１５０のコンピュータディスプレイ上において、種々のウェブページを見る。技術上理解されるように、ブラウザ１０４によって、ユーザの行動、たとえば種々のウェブページのナビゲーションおよび／またはスクローリングに応じて、表示が変更される。ユーザの関心のアプリケーションレベル意味オブジェクトは、ブラウザが刺激コンピュータディスプレイ上に表示するＨＴＭＬまたはＸＭＬ要素、たとえば、テキスト、画像、ハイパーリンク、ボタン、入力ボックス、などである。
【００３０】
本発明の実施形態によるログ記録ツール１１６およびマッピングツール１２２は、ブラウザ１０４、たとえばオブジェクトモデルインタフェース１０６を有するマイクロソフトインターネットエクスプローラ（Ｍｉｃｒｏｓｏｆｔ（登録商標）’ｓ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））と共に用いられる。インターネットエクスプローラ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））は、マイクロソフトコンポーネントオブジェクトモデル（Ｍｉｃｒｏｓｏｆｔ（登録商標）’ｓ  Ｃｏｍｐｏｎｅｎｔ  Ｏｂｊｅｃｔ  Ｍｏｄｅｌ）（ＣＯＭ）技術によってソフトウェアの他の一部分に多量の機能を提供する。ＣＯＭ技術を用いることによって、独立したソフトウェアオブジェクト（すなわち、アプリケーションまたはサブアプリケーションウィジェット）がソフトウェアインタフェースを介して通信することが可能となる。この点に関して、本発明は、マイクロソフト（Ｍｉｃｒｏｓｏｆｔ（登録商標））のＣＯＭ技術を利用して具体化するように記述されるが、他のオブジェクトモデル、たとえばＣＯＲＢＡも、本発明において実際に用いることができることに注意されたい。
【００３１】
マイクロソフト（Ｍｉｃｒｏｓｏｆｔ（登録商標））のＣＯＭ技術は、ビジュアルベイシック（Ｖｉｓｕａｌ  Ｂａｓｉｃ）によって書き込まれるアプリケーションによって最も容易に活用され、一実施形態によれば、ログ記録ツール１１６およびマッピングツール１２２は、両者とも、ビジュアルベイシックによって書き込まれる。ブラウザ１０４のＣＯＭインタフェース１０６は、ＣＯＭを支持する任意のソフトウェアのＣＯＭインタフェースと同様に、方法、特性、およびイベントのリストを含む。方法は、ソフトウェアの他の一部分が、ブラウザ１０４に、たとえばウェブページに対するナビゲーション、ブラウザウィンドウのスクローリング、インターネットエクスプローラ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））ウィンドウにおけるクリック、インターネットエクスプローラ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））ウィンドウにおけるタイピング、およびウィンドウの移動を通知することができる機能である。特性は、インターネットエクスプローラ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））のデータ構成要素であり、その値は、ソフトウェアの他の一部分、たとえば現行の表示ウェブページのユニホームリソースロケータ（ＵＲＬ）、ウィンドウサイズおよび位置、およびインターネットエクスプローラ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））のウィンドウに関するウェブページ要素の位置によってセットまたはアクセスすることができる。インターネットエクスプローラ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））は、その実行中に、ある一定の出現に関するイベントを始動するので、イベントを用いることによって、他のソフトウェアによってブラウザをモニタリングすることが可能となる。ブラウザ１０４、たとえばインターネットエクスプローラ（Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））は、ブラウザがウェブページに対するナビゲーションを開始および終了するとき、ブラウザがウェブページのローディングを開始または終了するとき、ユーザがページ上においてスクロール、クリック、またはタイプするとき、およびユーザがブラウザウィンドウを移動またはサイズ変更するとき、イベントを始動する。本明細書において、以下にさらに詳細に述べるように、本発明は、これらの方法、特性、およびオブジェクトモデルインタフェース１０６（たとえば、マイクロソフト（Ｍｉｃｒｏｓｏｆｔ（登録商標））のＣＯＭ）のイベント成分を用いて、表示ページを復元し、ユーザの注視をマップし、表示される要素の記号表現を抽出し、その結果、関心のある要素の識別を、事実上、自動化することを可能とするものである。
【００３２】
眼球追跡器
ユーザの注視は、種々の計器、たとえば技術上公知である眼球追跡器１１２を用いてモニタリングして分析される。眼球追跡器１１２に関する通常の構成は、ユーザの眼の画像を専用眼球追跡器コンピュータに送る卓上型カメラを備え、この専用コンピュータは、ブラウジングセッション中にユーザが見る刺激コンピュータとは独立である。繰り返すと、これは、ユーザの注視データを分析して記録するため比較的高レベルの計算リソースが必要とされるためである。しかし、計算力および機能は、絶えず向上するので、最初に述べた実施形態に関して前述したように、同じコンピュータを用いることができる。眼球追跡器１１２は、ユーザの注視をモニタリングして分析し、少なくともユーザが注視する位置および時間（すなわち、関心のある点）を眼球追跡器データファイル１１４に、（１／６０）秒ごとに記憶する。次に、記憶される眼球追跡器データは、本発明に従って、分析することができる。
【００３３】
ログ記録ツール
前述したように、本発明のログ記録ツール１１６は、情報、たとえばブラウザ１０４によって、表示されるウェブページの内容をモニタリングして、メモリ１１８に記憶または「ログに記録」する。図から分かるように、本実施形態によれば、ログ記録ツール１１６は、眼球追跡器コンピュータ１５５とは別の刺激コンピュータ１５０によって実行される。ウェブページのようなダイナミックハイパーメディアページの絶えず変化する特性のため、これらのページを復元してそれから導かれる眼球追求データまたは固定データをマップすることが必要とされる場合、ブラウザ１０４によって表示される正確な形態による正確に同じウェブページの利用可能性は、保証できない。したがって、ブラウザ１０４によって表示されるウェブページの内容をメモリ１１８に実際に保管することによって、正確に同じウェブページのこの利用可能性は保証される。この実施形態によれば、ウェブページの内容のこのモニタリングおよび記憶は、ブラウザのローカルのディスクを基体とするキャッシュに記憶される内容を、内容が容易に上書きできない「安全な」ディレクトリ、たとえばログ記録ツール１１６のメモリ１１８にコピーすることによって、容易に実現される。
【００３４】
また、ログ記録ツール１１６は、表示されるウェブページに変化を生じさせるイベントおよびそのイベントの時間データをモニタリングしてイベントログ１２０に記憶する。イベントログ１２０は、標準データベースプログラムに容易にインポートできるフォーマットの形式であるテキストファイルである。本発明の一実施形態によれば、ログ記録ツール１１６は、各イベントについて、イベント名、イベント特有のパラメータ、およびイベントの時間を、４種の異なるフォーマットによって記録する。すなわち、全経過試用時間、最新のイベントからの時間、機械可読フォーマットによる時刻、および人間が理解できるフォーマットによる時刻である。本発明の実施形態によるイベントログ１２０の生成に用いられる各イベントに関するデータベーススキーマは、図３の表１：イベントログスキーマに示す。このように、ログ記録ツール１１６は、対応するイベントの発生時に、図３に示す所定のイベント名をイベントログ１２０に記憶する。前述したように、これらのイベントには、表示されている（ナビゲーションまたはダウンロードされているものを含めて）ウェブページを変更するイベント、表示されているページの一部（たとえばスクローリング）、または表示画面に対するブラウザ１０４ウィンドウの位置および／またはサイズ、ならびに以下にさらに詳細に述べる空間校正および時間同期に関連するイベントが含まれる。
【００３５】
前述に加えて、ログ記録ツール１１６は、眼球追跡器１１２自体の校正手順と共に作用する組込校正点機能も有する。空間校正手順中、ログ記録ツール１１６は、校正点を表示画面に描画し（この例においては対向する角に）、その結果、ユーザはこれらの校正点を注視し凝視することができる。次に、分析者は、本システム１０２を用いて、ユーザは描画された構成点を凝視していることを、眼球追跡器１１２に示す。次に、眼球追跡器１１２は、眼球追跡器座標システムによる、ログ記録ツール１１６に対する校正点の座標を、ログ記録ツール１１６に送る。この座標の送付は、シリアルポート接続１１７または他のデータ接続によって実現される。ログ記録ツール１１６は実際に校正点を描画するので、画面座標システムによる点の座標は既知である。ログ記録ツール１１６は、眼球追跡器座標システムによる校正点の座標を受け取ると、各校正点に対してイベント「眼球追跡器−校正」を、イベントログ１２０に書き込み、校正点の眼球追跡器座標および画面座標を示す。これによって、校正点が提供され、次にこの校正点を用いて、メモリ１１８内の表示ページを適切に復元し、眼球追跡器データまたはそれから導かれる固定データをマップすることができる。これらの態様については、以下にさらに詳細に述べる。
【００３６】
その上、ログ記録ツール１１６は、組込時間同期点機能も有し、この機能によって、数字のマーカが眼球追跡器データファイル１１４に付加され、メモリ１１８に記憶されるページと、イベントログ１２０と、眼球追跡器データファイル１１４のユーザの注視情報との間における時間同期が可能となる。より詳しくは、ログ記録ツール１１６は、数字のマーカ、たとえばあらゆる所定の期間（たとえば１秒または他の時間増分）の数字を、眼球追跡器１１２に送る。数字のマーカは、ログ記録ツール１１６によってマーカが送られる度に１だけ（または他の増分）増加され、眼球追跡器１１２によって、時間情報として眼球追跡器データファイル１１４に記録される。数字マーカの送付は、眼球追跡器−同期イベントとしてイベントログ１２０にも記録される。ログ記録ツール１１６から眼球追跡器１１２への数字マーカの伝送は、前述した空間校正に用いられるのと同じシリアルポート接続または他のデータ接続によって実現することができる。繰り返すが、この時間同期点機能を用いることによって、２基のコンピュータ間の時間同期が可能となり、その結果、表示ページの適切な復元および眼球追跡器データまたはそれらから導かれる固定データのマッピングを実現することができる。これらの態様については、以下にさらに詳細に述べる。
【００３７】
マッピングツール
前述したように、マッピングツール１１２は、図２に示すように、前述した、ブラウザ１０４のオブジェクトモデルインタフェース１０６、眼球追跡器データファイル１１４に記憶される眼球追跡データ、メモリ１１８に記憶される記憶ページ、およびログ記録ツール１１６によって提供されるイベントログ１２０にアクセスし、その結果、要素に対する点のマッピングが可能となる。マッピングツール１２２を実行するために必要とされるコンピュータリソースのため、本実施形態は、マッピングツール１２２を、独立のコンピュータ１６０によって実行する。当然、マッピングは眼球追跡器データおよびイベントデータの獲得後に、また表示ページの記憶後に行われるので、マッピングツール１２２は、たとえばログ記録ツール１１６と同じまたは眼球追跡器１１２とさえも同じコンピュータによっても実行できることに注意されたい。このほか、マッピングツール１２２は、サーバ／クライアントネットワークあるいは分散処理または並列処理によっても実行することができる。前述したように、観察セッションおよびデータ収集が完了すると、眼球追跡器データは分析されることになり、マッピングツール１２２は、固定分析を行い、次に、第１の実施形態について前述した様式によって、ウェブページを、観察セッション中にユーザが見た通りに正確に復元する。その上、前述したように、また、マッピングツール１２２は、ブラウザ１０４のオブジェクトモデルインタフェース１０６にアクセスすることによって、前述した様式によって記憶されるページの要素を識別して、識別した要素およびその要素に関連する特定の情報を要素データベース１２４に記憶する。繰り返すが、これは、表示される各要素に関する内容情報を提供するブラウザのオブジェクトモデルインタフェース１０６にアクセスすることによって容易に実現される。その上、マッピングツール１２２は、さらに、使用可能データを処理して、以下に述べるように、関心のある要素データベース１２６を形成する。最後に、マッピングツール１２２は、以下にさらに詳細に述べる、空間校正および時間同期も実行する。本発明に関するこれらのおよび他の考察は、本明細書において以下にさらに詳細に述べる。
【００３８】
固定点分析
前述したように、本明細書において、用語、固定データは、眼球追跡データの分析の任意のレベルから導かれる情報を含めて、広く、眼球追跡データから導かれる任意の情報を意味するものとして用いられる。本発明の実施形態によれば、眼球追跡データは、ユーザの注視が固定されるようになった固定点、または固定点の周辺領域のどちらかであり、固定点は、眼球追跡器１１２によって提供される関心のある点データから決定される必要がある。この点に関して、通常、ユーザの眼の注視がある一定の小さな領域内に、ある一定の最小限度の期間、とどまり、その結果、ユーザの注視が実際にユーザにとって関心のある要素に集中されたことが保証される場合に、固定が発生したと言われる。しかし、眼球固定を測定する基準は、眼球追跡の技術によって変わる場合があり、異なる基準が本発明の実施において用いられる場合があることを理解されたい。したがって、マッピングツール１２２が、眼球追跡器データファイル１１４に入力として記憶される眼球追跡器データを獲得後、マッピングツールは、固定分析を実行して固定データを提供し、固定データは、固定データリスト１３４に記憶され、後で用いられる。その上、眼球追跡データがより高レベル、たとえば前述した変換まで処理され、所定のアルゴリズムによって相互に関連する固定のクラスタに関する情報が得られる、本発明の他の実施形態においては、前述した固定点分析は、必ずしも必要でない場合があることに注意されたい。
【００３９】
空間校正
前述したように、マッピングツール１２２による固定分析によって、眼球追跡器データファイル１１４の眼球追跡データは、固定データリスト１３４の固定データに変換される。繰り返すが、固定データは、眼球追跡器データから導かれる任意の情報であり、固定点、固定点に最も近い領域、またはそれらの遷移に関する情報のどれかである。しかし、得られる固定データは、依然として、眼球追跡１１２自体の２次元座標システムによって表される。ユーザが実際に見ていた独立の刺激コンピュータディスプレイ上においてこれらのデータがどのように要素に関連したかを理解するため、本発明のマッピングツール１２２は空間校正を実行し、空間校正によって、固定データは眼球追跡器１１２の座標システムから表示画面の座標システムに変換される。
【００４０】
この空間校正は、前述したように、ログ記録ツール１１６によって、眼球追跡器１１２およびイベントログ１２０に提供される校正点を用いて実現される。マッピングツール１２２は、イベントログ１２０の分析に適するログファイルパーサ１３０と、眼球追跡器データファイル１１４を分析するためのデータパーサ１３２と、を備える。特に、マッピングツール１２２のログファイルパーサ１３０は、前述した眼球追跡器１１２校正中に、イベントログ１２０に記録された表示画面の対向する角にある校正点に対して２つの「眼球追跡器−校正」イベントを検出し、表示画面座標システムにおけるこれらの校正点の座標を提供する。同様に、データパーサ１３２は、眼球追跡器１１２校正中に、眼球追跡器データファイル１１４に記録された眼球追跡器１１２座標システムにおける２つの校正点に対する対応する座標を検出する。本実施形態によれば、ログファイルパーサ１３０およびデータパーサ１３２は、マッピングツール１２２内に含まれるソフトウェアモジュールであることに注意されたい。当然、これらのパーサはマッピングツール１２２とは別の独立のプログラムとすることもできることを理解すべきである。既知の識別されたこのような２つ（またはそれ以上）の校正点を用いて、マッピングツール１２２は、以下の座標システム変換式に従って、任意の点を、眼球追跡器１１２座標システムから表示画面座標システムによって表される点に変換することができる。
【００４１】
【数１】
0004063532.tif 000002
および
【数２】
0004063532.tif 000003
ここで、（ｘ1，ｙ1）は座標システム１（たとえば、この場合、眼球追跡器１１２の座標システム）における任意の点であり、（ＸA1，ＹA1）および（ＸB1，ＹB1）は座標システム１における独特な校正点であり、また（ＸA2，ＹA2）および（ＸB2，ＹB2）は座標システム２（たとえば、この場合、表示画面座標システム）における対応する校正点である。点（ｘ2，ｙ2）は、（ｘ1，ｙ1）の座標システム２への変換である。前記の変換式に関して、両座標システムは同じ様式によって方向を定めるべきであることに注意されたい。したがって、たとえば、眼球追跡器１１２座標システムおよび表示画面座標システムは、両者とも、原点から右方向および下方向に延在する正軸を有するべきである。さらに、他の変換技術および／または変換式を本発明と共に用いることができ、前述した特定の変換式は、単に、座標システムの変換を達成するための式として示したことにも注意されたい。したがって、マッピングツール１２２は、ログ記録ツール１１６によって提供される座標システムにおける校正点および変換式、たとえば前記の前述した式を効果的に用いて、それによって点を眼球追跡器１１２座標システムから表示画面座標システムに変換する。
【００４２】
時間同期
本発明の実施形態によれば、眼球追跡器１１２は、眼球追跡器１１２が作動される場合、またはそれ以外に記録の開始を命令される場合、眼球追跡器データ（すなわち、関心のある点）の出力を開始する。しかし、当業者は理解できるように、眼球追跡器１１２が眼球追跡器データの出力を開始する時は、ユーザによるブラウジングセッションの開始と、必ずしも一致しない。このことは、本実施形態において発生する場合があり、それは、眼球追跡器１１２は、ブラウジングセッションが行われる刺激コンピュータ上において実行されるログ記録ツール１１６とは異なるコンピュータによって実行されるためである。その上、このことは、眼球追跡器１１２とログ記録ツール１１６の使用の開始が同時でない環境下においても発生する場合がある。その結果、前述した固定分析から得られる固定データに関する時間情報は、眼球追跡器１１２の記録の開始に関連し、一方、イベントログ１２０のイベントの時間は、ブラウジングセッションの開始に関連する。固定データを復元ページに正確にマップするため、固定データは、ブラウジングセッションから得られるイベントログ１２０のイベントと時間が一致しなければならない。
【００４３】
固定データとブラウジングセッションとの時間同期は、眼球追跡データファイル１１４において、ブラウジングセッションから得られるある既知のイベントと時間が一致する時間同期点（すなわち、前述した数字マーカの時間に関する点）を用いることによって実現される。この点に関して、マッピングツール１２２は、ログファイルパーサ１３０を用いて、イベントログ１２０に記憶される「眼球追跡器−同期」イベントに関する数字マーカを検出し、またデータパーサ１３２を用いて、眼球追跡器データファイル１１４内の一致する数字マーカを検出する。「眼球追跡器−同期」イベントおよび一致する数字マーカを用いて、固定データとブラウジングセッションイベント時間の両者は同じクロックに整合される。このクロックを、本明細書においては、「シミュレーションクロック」と呼ぶ。シミュレーションクロックのゼロ点はブラウジングセッションの開始と一致し、その結果、ブラウジングセッションイベントから得られる時間データは、シミュレーションクロックと既に整合されている。固定データとシミュレーションクロックとの時間整合は、同期点を用いて得られる。ブラウジングセッションデータにおける同期点の時間を、眼球追跡データにおける同期点の時間から減算することによって、「同期基準点」を決定することができる。同期基準点は、眼球追跡の開始に関連する点であり、この開始点は、シミュレーションクロックにおけるゼロと一致し、したがって、ブラウジングセッションの開始と一致する。同期基準点の決定後、本実施形態のマッピングツール１２２は、各固定点に関する時間を、下記の変換式に従ってシミュレーションクロックによる時間に変換する。
【００４４】
【数３】
ｔsc＝ｔet−ｔ0
ここで、ｔscはシミュレーションクロックによる固定の時間であり、ｔetは眼球追跡器クロックによる固定の時間であり、またｔ0は眼球追跡の開始に関連する同期基準点の時間である。この様式によって、固定データは、ブラウジングセッションと時間同期され、その結果、各固定データは、シミュレーションクロックによる適切な時間において、表示され要素に対してマップされる。当然、本発明の他の実施形態によれば、所望の時間同期を実現する他の技術を同様に用いることができる。
【００４５】
状態復元
前述したように、本発明によるシステム１０２および方法によって、関心のある所定時間の間、表示ページが復元され、表示された要素、たとえばＨＴＭＬ要素およびそれらの要素が表示された表示画面上の場所が識別される。表示ページを適切に復元するため、本発明は、初期状態の開始から、関心を有した瞬間までに表示を変更した各イベントを「再現」し、次に、「再生」によって再表示することができる。これは、マッピングツール１２２によって、メモリ１１８に記憶されるページと、イベントログ１２０に記憶される、表示に影響を与えたイベントの記録と、を用いて実現される。この状態復元は、シミュレーションクロックの進行と共に連続して実際に進行することに注意されたい。マッピングツール１２２が復元ページの再生を開始する前に、マッピングツールは、メモリ１１８に記憶される記憶ページの内容を取り出し、それをブラウザ４のキャッシュに復元する。次に、マッピングツール１２２は、ブラウザ１０４のオブジェクトモデルインタフェース１０６、たとえばマイクロソフト（Ｍｉｃｒｏｓｏｆｔ（登録商標））ＣＯＭインタフェースにアクセスすることによって、ページの要素を識別し、以下に詳細に述べるように、識別された要素およびそれに関連する特定の情報を要素データベース１２４に記憶する。
【００４６】
したがって、再生中、ブラウザ１０４がこれらのページの１つにアクセスする場合、ブラウザ１０４は、同じでない場合がある、ＷＷＷから得られるバージョンの代わりに、ユーザが以前にブラウジングセッション中に見たものと同じキャッシュバージョンを備える。これらの初期ステップの後、分析者は、マッピングツール１２２を用いて、シミュレーションクロックの進行を開始して再生を始めることができる。この点に関して、分析者は本発明によるシステム１０２を用いて、シミュレーションクロックの制御によってまたは他の手段によって、復元ページの再生を制御することができる。この点に関して、シミュレーションクロックは、１ミリ秒がイベントログ１２０内の２つのイベント間、または２つの固定点間の時間差の下限であるので、ミリ秒の単位で作動する。
【００４７】
要素に対する固定のマッピング
前述したように、本明細書においては、用語、固定データは、広く、眼球追跡データの分析の任意のレベルから導かれる情報、たとえば実際の固定点、固定点に最も近い領域、またはそれらの遷移に関する情報を含めて、眼球追跡データから導かれる任意の情報を意味するように用いられる。次に、本発明に従って、固定データをマッピングすることによって、要素および／またはユーザの関心のあるオブジェクト、すなわち関心のある要素の識別を可能とすることができる。この固定データが得られ固定データリスト１３４に記憶され、どのようにして、時間および空間に関して、固定データを前述した様式によって表示画面上において見たものと照合するかが決定されると、マッピングツール１２２は、固定データリスト１３４から得られる固定データを、復元される表示上にマップし、その結果、表示画面上のどこに、ユーザの注視が集中したかに関する情報が提供される。一実施形態によれば、これは、オブジェクトモデルインタフェース１０６に、前述した様式によってアクセスして、以下により詳細に述べる要素情報を得るマッピングツール１２２によって実現され、オブジェクトモデルインタフェース１０６は、たとえばマイクロソフトインターネットエクスプローラ（Ｍｉｃｒｏｓｏｆｔ（登録商標）’ｓ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ（登録商標））に付属するＣＯＭインタフェースである。
【００４８】
復元および再生が分析者によって継続され、シミュレーションクロックが進むと、マッピングツール１２２は、イベントログ１２０内の次のイベントおよび固定データリスト１３４内の次の固定データを検査する。シミュレーションクロックの現在の時間が、イベントログ１２０に記憶されるイベントの経過時間に等しい場合、マッピングツールは、ブラウザに、オブジェクトモデルインタフェース１０６による方法および特性によってイベントを再現することを命令する。イベントログ１２０に記憶されるイベントに対応して、マッピングツール１２２は、適切な方法を指示する。したがって、スクロール−位置／活動−スクロール（ＳＣＲＯＬＬ−ＰＯＳＩＴＩＯＮ／ＡＣＴＩＶＥ−ＳＣＲＯＬＬ）イベント、ウィンドウ−位置／活動−移動（ＷＩＮＤＯＷ−ＰＯＳＩＴＩＯＮ／ＡＣＴＩＶＥ−ＭＯＶＥ）イベント、およびウィンドウ−サイズ／活動−リサイズ（ＷＩＮＤＯＷ−ＳＩＺＥ／ＡＣＴＩＶＥ−ＲＥＳＩＺＥ）イベントに関する方法が呼び出され、それぞれ、ブラウザウィンドウをスクロール、移動、またはサイズ変更する。ドキュメント−完了（ＤＯＣＵＭＥＮＴ−ＣＯＭＰＬＥＴＥ）イベントによって、マッピングツール１２２は、ブラウザ１０４を、ドキュメント−完了イベントに対するパラメータとして記憶されるＵＲＬまでナビゲートさせる方法を呼び出す。
【００４９】
シミュレーションクロックの現在の時間が、固定データの時間に等しい場合、マッピングツール１２２は、前述した座標変換式を用いて、固定データの座標を画面座標に変換する。次に、マッピングツール１２２は、校正点として、ブラウザ１０４のウィンドウの角（オブジェクトモデルインタフェース１０６特性によってアクセス可能）を用いる座標変換式を使用して、画面座標をブラウザ１０４ウィンドウ座標に変換する。固定データリスト１３４から得られる固定データのウィンドウ座標を用いて、マッピングツール１２２は、ウィンドウの特定の点／位置において現在表示されるウェブページ要素にポインタを戻す、オブジェクトモデルインタフェース１０６の方法の１つを呼び出す。マッピングツール１２２がウェブページ要素を指すこのポインタを有すると、マッピングツール１２２は、要素の特性、たとえばそのＨＴＭＬまたはＸＭＬタグ名、画面上のその境界ボックス、そのテキスト（テキスト要素の場合）、そのビットマップ（画像の場合）、およびそれが導くＵＲＬ（ハイパーリンクの場合）にアクセスすることができる。
【００５０】
したがって、この要素に対する固定のマッピングによって、固定データが、入力として画面座標に取り込まれ、固定データに対応して表示されるＨＴＭＬまたはＸＭＬ（存在する場合）の位置を出力し、その結果、関心のある要素が識別される。これらの出力は、本明細書において以下に述べるように、関心のある要素データベース１２６に記憶される。
【００５１】
データベース
マッピングツール１２２の１次出力は、データベースプログラム、たとえばマイクロソフトアクセス（Ｍｉｃｒｏｓｏｆｔ（登録商標）  Ａｃｃｅｓｓ）または他の市販のまたは所有者のあるデータベースプログラムにインポートすることができるデータベースである。本発明によれば、マッピングツール１２２は、２つのデータベースをテキストファイルの形式で出力する。特に、マッピングツール１２２は、ブラウジングセッション中に見られる各表示ページに関する各ＨＴＭＬ要素の記録を含む要素データベース１２４を出力する。その上、マッピングツール１２２は、ブラウジングセッション中に作成される各眼球固定に関する記録を含む関心のある要素データベース１２６も出力する。
【００５２】
本発明の一実施形態による要素データベース１２４および関心のある要素データベース１２６の部分出力を、それぞれ、図４および図５に示す。この場合、固定データは、ユーザの注視が集中された実際の固定点であった。図４に示すように、要素データベース１２４に含まれるデータ１２５のサンプルは、各要素に関する下記の情報を含む。
【００５３】
−ユーザＩＤ
−タスクＩＤ
−ＵＲＬ
−ローカルページ位置
−要素ＩＤ番号、所定のページの各要素に固有
−ＨＴＭＬタグ名
−要素テキスト
−要素境界ボックスの左上角の左座標、論理ページ座標システムによる
−要素境界ボックスの左上角の最上部座標、論理ページ座標システムによる
−要素境界ボックスの幅、画面画素単位
−要素境界ボックスの高さ、画面画素単位
【００５４】
同じ実施形態の関心のある要素データベース１２６に含まれるデータ１２７のサンプルは、図５に示すように、各要素に関する下記の情報を含む。
【００５５】
−ユーザＩＤ
−タスクＩＤ
−実験データおよび時間
−ＵＲＬ
−ローカルページ位置
−固定の開始時における経過実験時間、ミリ秒単位
−固定期間、ミリ秒単位
−要素データベースによる要素ＩＤ番号
−固定される単語、存在する場合
−水平座標、論理ページ座標システム
−垂直座標、論理ページ座標システム
−水平座標、画面座標システム
−垂直座標、画面座標システム
−水平座標、ウィンドウ座標システム
−垂直座標、ウィンドウ座標システム
−水平座標、眼球追跡器座標システム
−垂直座標、眼球追跡器座標システム
【００５６】
次に、要素データベース１２４に記憶され、ブラウジングセッションの間表示される要素と、関心のある要素データベース１２６において識別された関心のある要素とは、データベースプログラム、たとえばマイクロソフトアクセス（Ｍｉｃｒｏｓｏｆｔ（登録商標）  Ａｃｃｅｓｓ）あるいは他の市販のまたは所有者のあるデータベースプログラムを用いて、相関関係を明らかにすることができる。その結果、ユーザの注視が固定された要素が識別され、または他のユーザが関心を示した表示オブジェクトが識別され、出力される。この点に関して、関心のある要素データベース１２６に記憶される要素ＩＤ番号と、要素データベース１２４内の同じ要素ＩＤ番号を有する要素との相関関係を明らかにすることができ、その結果、前述した図４に示すように、識別された要素に関連する特定の情報が出力される。したがって、本発明によって、これまでは実現できなかった要素に対する点のマッピングが事実上自動化される。本発明は、ツール、たとえばデータベースプログラムを用いて、関心のある要素データベース１２６と前述した要素データベース１２４との相関関係を明らかにすることによって、分析者が、従来技術のシステムおよび方法において必要とされるように表示画面を手作業によって見ることなく、迅速に容易に正確に、ユーザがどの要素に注視を固定したか（すなわち実際の関心のある要素）を決定することを可能とするものである。
【００５７】
その上、要素の実際の内容は要素データベース１２４内に記憶されるので、その要素に関する詳細な特定の情報は、既知であり、データ分析のため、容易にアクセスすることができる。したがって、特定の要素が、画像、リンク、テキストまたは定様式テキスト、ボタン、入力ボックス、などのどれであるか、は既知であり、その要素を識別して、要素のこのような特性に基づいて、記憶または他の場合は分析することができる。ハイパーメディア要素の形式、内容、および位置に関する、ユーザの視覚の固定および行動を記録するアクセス可能なデータベースを提供することによって、本発明の図示の実施形態に従って眼球追跡データを分析するシステム１０２による、記録データの徹底的な分析が可能となり、その結果、以前に提起された疑問に対する価値ある情報および回答が提供される。たとえば、本発明によって、個別要素に向けられた平均注視時間を測定することができる。形式、たとえば「見出し」または「画像」に従って要素を分類することによって、異なる表示要素形式に向けられる時間量を測定することができる。さらに、ある一定の状態にあるユーザはある一定のリンクに注目したかを測定することができる。たとえば、ウェブ上における購入が上手くいかなかったユーザは、「ヘルプページ」に対するリンクを常に見るかを測定することができる。本発明を用いて、広告の観察および期間は、ページ上の配置の関数としてどのように変化するかを測定することもできる。同様な多数の分析が可能である。
【００５８】
前述から、本発明によって、ダイナミックハイパーメディアページの表示を見るユーザから収集される眼球追跡器データを分析する改善されたシステムおよび方法がどのようにして提供されるかは、当業者には明らかである。本発明によって、ユーザの関心のある要素を識別するために用いることができる、要素に対する点のマッピングの事実上の自動化を可能とすることにより、人である分析者の会話および活動が最小限度とされることも明らかである。本発明によって表示要素の内容が測定されるので、本発明のシステムおよび方法を用いることによって、得られるデータに基づく徹底的なデータ分析が可能となることも明らかである。
【図面の簡単な説明】
【図１】  本発明の一実施形態による、眼球追跡器データを分析するシステムの概略を示す図である。
【図２】  眼球追跡器データを分析する、２基以上のコンピュータを用いるシステムの別の実施形態を示す図である。
【図３】  イベントログスキーマを示す表であり、イベントログの生成に用いられる各イベントに関するデータベーススキーマを示す表である。
【図４】  本発明の一実施形態による要素データベースの部分出力を示す図である。
【図５】  本発明の一実施形態による関心のある要素データベースの部分出力を示す図である。
【符号の説明】
２，１０２  システム、４，１０４  ブラウザ、６，１０６  オブジェクトモデルインタフェース、８，１０８  ＷＷＷ、１２，１１２  眼球追跡器、１４，１１４  眼球追跡器データファイル、１６，１１６  ログ記録ツール、１８，１１８  メモリ、２０，１２０  イベントログ、２２，１２２  マッピングツール、２４，１２４  要素データベース、２６，１２６  関心のある要素データベース、３４，１３４  固定データリスト、１１７  シリアルポート接続、１３０  ログファイルパーサ、１３２  データパーサ、１５０  刺激コンピュータ、１５５  眼球追跡器コンピュータ、１６０  コンピュータ。
【図１】
0004063532.tif 000004
【図２】
0004063532.tif 000005
【図３】
0004063532.tif 000006
【図４】
0004063532.tif 000007
【図５】
0004063532.tif 000008