(57)【要約】コンピュータ化された会話的システムに関連した視覚的コンテキスト内の視覚的要素への指示を理解および／または解決することにおえる精度を改善することが記載される。本稿に記載される技法は、ジェスチャーおよび／または入力とともに凝視入力を利用して会話的システムにおける話された言語の理解を改善する。これは、視覚的コンテキスト内の視覚的要素に関する指示をシステムが解決する、あるいはユーザーの意図を解釈することができる精度を改善することによる。少なくとも一例では、本稿の技法は、凝視を追跡して凝視入力を生成し、発話入力を認識し、凝視特徴および語彙的特徴をユーザー入力から抽出することを記述する。少なくとも部分的には凝視特徴および語彙的特徴に基づいて、視覚的コンテキスト内の視覚的要素に向けられたユーザー発声が解決できる。
2017536600.tif 000002
【特許請求の範囲】
【請求項１】
会話的コンピューティング・システムの視覚的コンテキスト内の視覚的要素への指示を理解し、解決するためのコンピュータ実装される方法であって：
前記視覚的コンテキスト内の、ユーザー対話のために利用可能な前記視覚的要素を識別する段階と；
前記会話的コンピューティング・システムに結合された一つまたは複数の入力装置から、前記視覚的コンテキスト内の前記視覚的要素の一つまたは複数に関連付けられたユーザー入力を受領する段階であって、前記ユーザー入力は：
前記一つまたは複数の視覚的要素の特定の視覚的要素を指示する、発話入力から導出される発声；および
前記一つまたは複数の視覚的要素のうちの、前記特定の視覚的要素を含む少なくともいくつかに関連する凝視入力を含む、段階と；
少なくとも部分的には前記視覚的要素および前記ユーザー入力に基づいて語彙的特徴および凝視特徴を抽出する段階と；
少なくとも部分的には前記語彙的特徴および凝視特徴に基づいて前記特定の視覚的要素を決定する段階とを含む、
コンピュータ実装される方法。
【請求項２】
前記視覚的コンテキストは、自由形のウェブ・ブラウザーまたはアプリケーション・インターフェースである、請求項１記載のコンピュータ実装される方法。
【請求項３】
前記凝視入力が、少なくとも前記意図された視覚的要素に関連する視線入力または少なくとも前記意図された視覚的要素に関連する頭の姿勢入力を含み、前記ユーザーの頭の姿勢入力は視線入力の代理のはたらきをする、請求項１記載のコンピュータ実装される方法。
【請求項４】
前記特定の視覚的要素を決定するために前記視覚的要素の個々の視覚的要素に関連付けられた確率を計算する段階をさらに含み、前記確率は少なくとも部分的には前記語彙的特徴および前記凝視特徴に基づく、請求項１記載のコンピュータ実装される方法。
【請求項５】
凝視特徴を抽出することが：
前記凝視入力に関連する複数の固定点を識別し；
前記複数の固定点のうちの所定数をクラスター内にグループ化し；
前記凝視特徴を抽出するために前記クラスターの重心を特定の固定点として識別することを含む、
請求項１記載のコンピュータ実装される方法。
【請求項６】
前記特定の視覚的要素がアクションに関連付けられており、当該方法はさらに、少なくとも部分的には前記特定の視覚的要素を識別することに基づいて、前記意図された視覚的要素に関連付けられたアクションを前記視覚的コンテキストにおいて実行させることを含む、請求項１記載のコンピュータ実装される方法。
【請求項７】
実行されたときに請求項１ないし６のうちいずれか一項記載の方法を実行するようコンピュータを構成するコンピュータ実行可能命令を有するコンピュータ可読媒体。
【請求項８】
一つまたは複数のプロセッサとコンピュータ可読媒体とを有する装置であって、前記コンピュータ可読媒体は、前記一つまたは複数のプロセッサによって実行されたときに請求項１ないし６のうちいずれか一項記載の方法を実行するよう当該装置を構成するコンピュータ実行可能命令を有する、装置。
【請求項９】
視覚的コンテキスト内の視覚的要素への指示を理解し、解決するための会話的コンピューティング・システムであって：
音声入力装置と；
追跡装置と；
コンピュータ可読媒体と；
一つまたは複数のプロセッサと；
前記一つまたは複数のプロセッサによって実行可能な、前記コンピュータ可読媒体上の一つまたは複数のモジュールとを含む会話的コンピューティング・システムであって、前記一つまたは複数のモジュールは：
前記音声入力装置から受領される発話入力から文字起こしされたユーザー発声であって、前記発話入力は、視覚的コンテキストに関連するユーザー・インターフェース上に呈示された複数の視覚的要素のうちの特定の視覚的要素を指示するものである、ユーザー発声；および
前記追跡装置から受領される凝視入力であって、前記凝視入力は、前記視覚的コンテキストに関連する前記ユーザー・インターフェース上に呈示された前記複数の視覚的要素のうちの一つまたは複数に向けられたものである、凝視入力を
受領するよう構成された受領モジュールと；
少なくとも部分的には前記複数の視覚的要素、前記ユーザー発声および前記凝視入力に基づいて一組の特徴を抽出するよう構成された抽出モジュールと；
少なくとも部分的には前記一組の特徴に基づいて前記特定の視覚的要素を決定するよう構成された解析モジュールとを含む、
会話的コンピューティング・システム。
【請求項１０】
前記ユーザー・インターフェース上で前記複数の視覚的要素を表示するよう構成された表示モジュールをさらに有する、請求項９記載の会話的コンピューティング・システム。
【請求項１１】
前記抽出モジュールはさらに、少なくとも部分的には前記凝視入力および前記複数の視覚的要素に基づいてヒート・マップ特徴を抽出するよう構成されている、請求項９記載の会話的コンピューティング・システム。
【請求項１２】
前記一組の特徴は、少なくとも語彙的特徴および凝視特徴を含み、
語彙的特徴は、前記複数の視覚的要素の個々の視覚的要素に関連付けられたテキストと前記ユーザー発声との間の語彙的類似性を表わし、
凝視特徴は、所定の諸時点での、前記個々の視覚的要素に関連付けられたバウンディングボックスと前記凝視入力に関連する固定点との間の距離を表わす、
請求項９ないし１１のうちいずれか一項記載の会話的コンピューティング・システム。
【請求項１３】
前記解析モジュールがさらに、前記特定の視覚的要素を識別するために前記複数の視覚的要素の個々の視覚的要素に関連付けられた確率を計算するよう構成されており、前記確率は少なくとも部分的には前記語彙的特徴および前記凝視特徴に基づく、請求項１２記載の会話的コンピューティング・システム。
【請求項１４】
前記解析モジュールがさらに、少なくとも部分的には、前記複数の視覚的要素に関連付けられた計算された確率すべてのうちで最高の確率をもつ特定の要素に基づいて前記特定の視覚的要素を識別するよう構成されている、請求項１３記載の会話的コンピューティング・システム。
【請求項１５】
前記解析モジュールがさらに：
第一のプロセスにおいて前記語彙的特徴を分類し；
前記第一のプロセスとは異なる時間における第二のプロセスにおいて前記凝視特徴を分類し；
少なくとも部分的には前記語彙的特徴を分類することおよび前記凝視特徴を分類することに基づいて：
前記特定の視覚的要素を識別するために前記複数の視覚的要素の個々の視覚的要素に関連付けられた確率を計算し；
少なくとも部分的には該計算された確率に基づいて前記特定の視覚的要素を識別するよう構成されている、
請求項１３記載の会話的コンピューティング・システム。
【発明の詳細な説明】
【背景技術】
【０００１】
人は、互いに会話するとき、発話、ジェスチャー、顔／頭の姿勢および表情などといった種々のモダリティーからの情報を自然に組み合わせている。コンピュータ化した装置の普及とともに、人は、コンピュータ化した装置に付随するディスプレイと対話する機会が多くなっている。発話ダイアログ・システムまたは会話的システムは、人間のユーザーが、発話および／またはジェスチャーといったさまざまな伝達モードによって、コンピューティング・システムと伝達することを可能にする。現在の会話的システムは、会話的システムと対話しているユーザーの意図を、該さまざまな伝達モードに基づいて識別する。いくつかの例では、会話的システムは、ユーザーの発声と、画面上の項目および関連するテキストの語彙的な記述との間の類似性を計算することによってユーザー発声における指示表現を解決する。他の例では、どの画面上オブジェクトをユーザーが指していることがありうるかに関してユーザーの発声が不明瞭であるために、ユーザーの意図を理解するには画面上オブジェクト識別が必要となる。よって、現在の技法は、ユーザーが画面上でどのオブジェクトに言及しているのかを判別するために、発話およびジェスチャーのような複数モード入力を利用する。
【発明の概要】
【課題を解決するための手段】
【０００２】
会話的コンピューティング・システムに関連する視覚的コンテキストにおける視覚的要素への指示を理解し、解決するための技法が本稿で記述される。本稿の技法は、凝視を検出し、発話を認識し、ユーザー入力（たとえば凝視、発話など）から抽出される凝視特徴および語彙的特徴に少なくとも部分的に基づいて視覚的コンテキストにおける視覚的要素に関するユーザーの意図を解釈することを記述する。
【０００３】
少なくとも一例では、本稿に記載される技法は、ウェブ・ブラウザー、アプリケーション・インターフェースまたは他の何らかの会話的システムのような視覚的コンテキストにおけるユーザー対話のために利用可能な視覚的要素を識別することを含む。さらに、本稿に記載される技法は、前記視覚的コンテキストにおける前記視覚的要素のうちの一つまたは複数に関連するユーザー入力を受領することを含む。少なくとも一例では、前記ユーザー入力は、発話入力から導出され、意図されている特定の視覚的要素を指すユーザー発声と、視覚的要素の少なくともいくつかに関連するユーザー凝視入力とを含む。本稿に記載される技法はさらに、少なくとも部分的にはユーザー発声および視覚的要素に基づいて語彙的特徴を抽出するとともに、少なくとも部分的にはユーザー凝視入力および前記視覚的要素に基づいて凝視特徴を抽出することを含む。さらに、本稿に記載される技法は、前記語彙的特徴および凝視特徴に基づいてユーザー入力に関連する前記一つまたは複数の視覚的要素のうちの特定の視覚的要素を判別することを含む。いくつかの例では、前記特定の視覚的要素を判別することは、少なくとも部分的に、ヒート・マップ特徴にも基づいていてもよい。
【０００４】
この概要は、詳細な説明においてさらにのちに記載される概念のセレクションを簡略化された形で紹介するために与えられている。この概要は、特許請求される主題のキーとなる特徴や本質的な特徴を特定することを意図したものではなく、特許請求される主題の範囲を限定するために使われることも意図されていない。
【図面の簡単な説明】
【０００５】
詳細な説明は、付属の図面を参照して記述される。図面においては、参照符号の左端の数字（単数または複数）が、その参照符号が最初に現われる図を特定する。異なる図における同じ参照符号は、同様のまたは同一の項目を示す。
【図１】コンピュータ化された会話的システムに関連する視覚的コンテキストにおける視覚的要素に対する指示を解決するための例示的環境を示す図である。
【図２】コンピュータ化された会話的システムに関連する視覚的コンテキストにおける視覚的要素に対する指示を解決するために実装されることのできる多様な装置およびコンポーネントを含む例示的な動作環境を示す図である。
【図３】コンピュータ化された会話的システムに関連する視覚的コンテキストにおける視覚的要素に対する指示を解決するために実装されることのできる例示的な動作環境を示す図である。
【図４】コンピュータ化された会話的システムに関連する視覚的コンテキストにおける視覚的要素に対する指示を解決するための例示的プロセスを示す図である。
【図５】少なくとも部分的には語彙的特徴および凝視特徴に基づいて、ユーザー発声において指示されている特定の視覚的要素を判別するための例示的プロセスを示す図である。
【図６】コンピュータ化された会話的システムに関連する視覚的コンテキストにおける意図された視覚的要素をフィルタリングし、識別するためのプロセスを示す図である。
【発明を実施するための形態】
【０００６】
会話的コンピューティング・システムに関連する視覚的コンテキストにおける視覚的要素に対する指示を理解し、解決することにおける精度を改善するための技法が本稿で記載される。ディスプレイ上に情報を呈示するコンピューティング・システムの可用性および使用が増すとともに、ユーザーはますます、ディスプレイ上の視覚的要素を指して、該視覚的要素に関連するタスクを実行するようシステムに対して話しかける機会を求めるようになっている。ユーザー凝視を追跡し、ユーザー凝視に基づく凝視入力をジェスチャーおよび／または発話入力とともに利用することは、システムが視覚的コンテキスト内の視覚的要素への指示を理解し、解決できる精度を改善することによって、会話的システムにおける話された言語の理解を改善できる。
【０００７】
本稿に記載される技法は、凝視入力を発話入力と組み合わせて、ディスプレイ上のまたは別の視覚的コンテキストにおいて呈示されている、ユーザーが言及している視覚的要素をより正確に特定する。少なくとも一例では、本稿に記載される技法は、凝視を検出し、発話を認識し、少なくとも部分的には凝視および／または発話入力に関連する特徴に基づいて視覚的コンテキスト内の視覚的要素に関してユーザーの意図を解釈する。発話入力を凝視入力で補足する複数モード伝達は、ユーザー発声の意図されたターゲットである視覚的要素を特定することにおける誤り率を低減する。すなわち、ユーザーが何を見ているかおよび／または何に焦点を当てているかを知ることで、ユーザー発声における指示表現が解決できる精度を改善することにより、発話言語理解を改善できる。発話および凝視入力を組み合わせることは、ユーザーが会話的コンピューティング・システムと対話しているときにユーザーが何を意味するかおよび／または何に言及しているかを見きわめるためのプロセスを合理化できる。
【実施例】
【０００８】
下記に記載される環境はほんの一例であり、下記に記載されるシステムの用途をどの一つの特定の動作環境に限定することも意図されていない。特許請求される主題の精神および範囲から外れることなく他の環境が使用されることができる。本稿に記載される処理のさまざまな型が、スタンドアローン・コンピューティング・システム、ネットワーク環境（たとえばローカル・エリア・ネットワークまたは広域ネットワーク）、ピアツーピア・ネットワーク環境、分散コンピューティング（たとえばクラウド・コンピューティング）環境などを含むがそれに限られないいくつもの環境において実装されることができる。
【０００９】
図１は、視覚的コンテキスト内の視覚的要素に対する指示を解決するための例示的環境１００を示している。実施形態１００は、一つまたは複数のユーザー装置１０４を介して視覚的コンテキストと対話する一または複数のユーザー１０２を含む。視覚的コンテキストは、ユーザーに対して情報を呈示し、呈示された情報において何をユーザーが見るかに基づいてアクションおよび／または選択に向けられたユーザー入力を受領するよう構成されている任意の環境を含むことができる。視覚的コンテキストはウェブ・ブラウザー、会話的対話システム、人間ロボットおよび／または他の人間／機械対話システムなどを含むことができる。少なくとも一例では、ウェブ・ブラウザーは、ユーザーが任意のウェブ・ページを閲覧できるようにするウェブ・ブラウザー（たとえばインターネット・エクスプローラー（登録商標）、クローム（登録商標）、サファリ（登録商標）など）といった自由形ウェブ・ブラウザーであることができる。会話的対話システムは、ユーザー・インターフェースを介してユーザー１０２に対して映画、レストラン、時間などを表わす視覚的要素を提示することができるアプリケーションであることができる。
【００１０】
前記一つまたは複数のユーザー装置１０４は、たとえば、デスクトップ・コンピュータ、ラップトップ・コンピュータ、スマートフォン、ビデオゲーム・コンソール、テレビジョンまたは図２に関して後述するユーザー装置１０４の任意のものを含むことができる。前記一つまたは複数のユーザー装置１０４は、追跡コンポーネント１０６および少なくともいくつかの例ではディスプレイ１０８と通信することができる。少なくとも一例では、追跡コンポーネント１０６および／またはディスプレイ１０８は前記一つまたは複数のユーザー装置１０４に統合されることができる。他の例では、追跡コンポーネント１０６および／またはディスプレイ１０８は、前記一つまたは複数のユーザー装置１０４に接続された別個の装置であることができる。図１では、ディスプレイ１０８はユーザー装置１０４に統合され、追跡コンポーネント１０６はユーザー装置１０４とは独立である。追跡コンポーネント１０６は、視線、頭の姿勢、身体の動きなどを追跡するために使用できる任意のセンサー、カメラ、装置、システムなどを含むことができる。たとえば、追跡コンポーネント１０６は、Tobii  Rex視線追跡システム、Sentry視線追跡システム、マイクロソフト・キネクト（登録商標）技術などを含むことができる。
【００１１】
少なくとも一例では、ディスプレイ１０８はユーザー・インターフェースを表わすことができ、ユーザー・インターフェースは、上記のようなウェブ・ブラウザーまたは会話的対話システムのような視覚的コンテキストにおいてユーザー１０２に対して一つまたは複数の視覚的要素を呈示することができる。視覚的要素は、ブラウズ、検索、フィルタリングなどといった、会話的コンピューティング・システムによって実行されることのできるタスクおよび／またはアクションに関連付けられたテキスト、オブジェクトおよび／または項目を含むことができる。いくつかの例では、視覚的コンテキストは、さまざまな形のハイパーリンク、ボタン、テキストボックスなどを含むウェブ・ブラウザーを含むことができる。ハイパーリンク、ボタン、テキストボックスなどはそれぞれ、異なる視覚的要素を表わすことができる。他の例では、視覚的コンテキストは、アプリケーション・インターフェースのような会話的対話システムを含むことができ、映画、書籍、画像、レストランなどといった、システムに記憶されている一組の項目を呈示することができる。映画、書籍、画像、レストランなどを表わすテキストおよび／または画像はそれぞれ、異なる視覚的要素を表わすことができる。他の例では、視覚的コンテキストは人間ロボットおよび／または他の人間／機械対話システムを含むことができる。そのような例では、ディスプレイ１０８がシステムの一部として含まれることはできず、視覚的要素は物理的な書籍、ビデオ、画像などを含むことができる。視覚的要素は動的および／または状況的であることができ、視覚的コンテキストや、視覚的要素とのユーザー対話１０２に依存して変化することができる。
【００１２】
上記のように、前記一つまたは複数のユーザー装置１０４は、コンピュータ化された会話的システムの視覚的コンテキストに関連していることができる。前記一または複数のユーザー１０２は、凝視、発話、ジェスチャー、発話韻律（prosody）、顔の表情などといったさまざまな伝達モードを介して視覚的コンテキストと対話できる。ユーザー入力は、発話入力１１０、凝視入力１１２、ジェスチャー入力などの一つまたは複数を含むことができる。いくつかの例では、少なくとも二人のユーザー１０２が視覚的コンテキストと対話することができる。発話入力１１０を検出および／または受領するために前記一つまたは複数のユーザー装置１０４に付随することのできるマイクロフォンおよびコンポーネントが、第一のユーザーによって話されたユーザー発話入力１１０と第二のユーザーによって話された発話入力１１０の差を検出できる。発話入力１１０の間の差を検出することは、前記一つまたは複数のユーザー装置が第一のユーザーの凝視入力１１２を第一のユーザーの発話入力１１０とマッチさせ、第一のユーザーの諸入力を第二のユーザーの凝視入力および第二のユーザーの発話入力１１０から区別することを可能にすることができる。
【００１３】
ユーザー発声（user  utterance）は、発話入力（speech  input）１１０から文字起こしされた入力を含むことができる。いくつかの例では、ユーザー発声は、視覚的コンテキストにおける一つまたは複数の視覚的要素への指示を含むことができる。ユーザー発声において言及される前記一つまたは複数の視覚的要素は、ユーザー１０２が対話するまたは対応するアクションもしくはタスクを実行するよう指令することを意図する視覚的要素を表わすことができる。ユーザー１０２は、ユーザー発声を構成することのできる語彙、文法および／または意図の選択に対する制約なしに、視覚的コンテキストと対話できる。いくつかの例では、ユーザー発声は、文字起こしの誤りおよび／または誤りを引き起こすことのできる特定の発話パターンに基づく誤りを含むことがある。
【００１４】
ユーザー発声は、会話的システムに、視覚的コンテキストにおいて呈示されている視覚的要素に関連付けられたタスクを実行するよう指令するコマンドを含むことができる。ユーザー発声は、スクロールする、ディスプレイ上のリンクをたどる、書式の空白に記入するなどの要求といったユーザー・アクションまたはユーザー選択を実行するためのコマンドを含むことができる。いくつかの例では、言及は、視覚的コンテキストにおいてユーザーに対して呈示されるどの視覚的要素とも独立した一般的な要求を含むことができる。たとえば、ユーザー１０２はコンピュータ化された会話的システムに、「近くの映画を見せてくれ」または「靴屋に連れて行ってくれ」と頼むことができる。他の例では、言及は、視覚的コンテキストにおいてユーザー１０２に呈示されている視覚的要素を指示するコマンドを含むことができる。たとえば、ユーザー１０２は、米国ワシントン州シアトル（SEA）から米国ハワイ州マウイ（OGG）まで飛行機で行くための複数の出発便オプションを見ていることができる。ユーザー１０２は、図１において発話入力１１０で示されているように「このフライトを私のカートに加える」という言葉を話すことができる。上記のように、発話入力１１０からユーザー発声が文字起こしされることができる。
【００１５】
ユーザー発声「このフライトを私のカートに加える」は曖昧であることがあり、コンピュータ化された会話的システムはユーザー１０２に呈示されている複数のフライトのうちのどのフライトにユーザー１０２が言及しているのかがわからないことがありうる。コンピュータ化された会話的システムは、ユーザー１０２がユーザー発声をする前、間または少し後にユーザー１０２がどのフライトを見ているかを考えることによって、ユーザー発声において言及されているフライトをより容易に特定することができる。
【００１６】
少なくとも一例では、ユーザー発声は、上記のような誤りを含むことができる。いくつかの例では、ユーザー発声は、発話入力１１０からの誤った文字起こしを含むことがある。ユーザー１０２は「このフライトを私のカートに加える」という単語を話したことがありえ、文字起こしされたユーザー発声は「このファイトを私のカートに加える」という単語を含むことがありうる。他の例では、ユーザー発声は、文字起こしの誤りを引き起こす特定の発話パターンを反映することがある。ユーザー１０２は「orange」〔オレンジ〕という単語を発音することが困難であることがあり、米国カリフォルニア州オレンジ郡へのフライトを購入したいことがありうる。ユーザーは「オレンジ郡へのフライトを私のカートに加える」という言葉を話したいことがありうるが、ユーザー１０２が「orange」を「onge」と誤発音するためにユーザー発声が誤りを含むことがある。しかしながら、文字起こし誤りおよび文字起こし誤りを引き起こす発話パターンのどちらの例でも、コンピュータ化された会話的システムは、誤りをもつユーザー発声を解決するために凝視入力１１２を利用することができる。すなわち、ユーザーがユーザー発声をする前、間またはその少し後にユーザー１０２がどのフライトを見ているかおよび／またはどのフライトに視線を固定しているかを見きわめることによって、コンピュータ化された会話的システムはどのフライトをユーザー１０２が購入したがっているかを特定できる。
【００１７】
凝視は、発話入力１１０の間にユーザーの目が向いている方向を表わすことができる。追跡コンポーネント１０６は、ユーザーの凝視を追跡して凝視入力１１２を生成することができる。凝視入力（gaze  input）１１２は、視線入力（eye  gaze  input）、頭の姿勢入力（head  pose  input）および／または鼻の向き入力（noise  pointing  input）を含むことができる。頭の姿勢入力は、発話入力１１０の間にユーザーの頭が取る配位を含むことができる。鼻の向き入力は、発話入力１１０の間にユーザーの頭が向く方向を含むことができる。頭の姿勢入力および鼻の向き入力はそれぞれ、視線入力の代理のはたらきができる。これらの代替的および／または追加的な顔の配向特性（たとえば頭の姿勢および／または鼻の向き）は、追跡コンポーネント１０６のレンジに依存して使用されることができる。少なくとも一例では、追跡コンポーネント１０６は、ユーザー１０２から所定の距離内であることができ、よって追跡コンポーネント１０６は凝視入力１１２のためにユーザー１０２の視線を追跡することができる。代替例では、追跡コンポーネントは、ユーザー１０２の顔から所定の距離よりも向こうにあることがあり、結果として、追跡コンポーネント１０６は、頭の姿勢または鼻の向きをユーザー１０２の凝視の代理として追跡することができる。
【００１８】
追跡コンポーネント１０６は、ユーザー１０２についての凝視入力１１２を生成するために、ユーザー１０２の眼の動きを追跡することができる。少なくとも部分的には発話入力１１０から導出されるユーザー発声および凝視入力１１２に基づいて、コンピュータ化された会話的システムは、発話入力１１０においてユーザー１０２がどの視覚的要素と対話することを意図していたかを識別できる。発話入力１１０と凝視入力１１２との組み合わせを利用することにより、コンピュータ化された会話的システムが、発話入力１１０において指示されている意図された視覚的要素を特定できる精度が改善できる。
【００１９】
図２は、視覚的コンテキスト内の視覚的要素への指示を解決するために実装されることのできる多様な装置およびコンポーネントを含む例示的動作環境２００を示している。少なくとも一例では、本稿に記載される技法は、（たとえばサーバー、クラウドなどによって）リモートに実行されることができる。いくつかの例では、本稿に記載される技法は、下記で述べるコンピューティング装置上でローカルに実行されることができる。より具体的には、例示的動作環境２００は、サービス・プロバイダー２０２、一つまたは複数のネットワーク２０４、一または複数のユーザー１０２および図１に記載されるような前記一または複数のユーザー１０２に関連する一つまたは複数のユーザー装置１０４を含むことができる。
【００２０】
図のように、サービス・プロバイダー２０２は、一つまたは複数のサーバーおよび他の機械２０６および／または前記一つまたは複数のユーザー装置１０４を含むことができ、そのどれも一つまたは複数の処理ユニット２０８およびコンピュータ可読媒体２１０を含むことができる。さまざまな例において、サービス・プロバイダー２０２は、コンピュータ化された会話的システムに関連する視覚的コンテキストにおける視覚的要素への指示を解決することにおいて誤り率を低減することができる。
【００２１】
いくつかの例では、ネットワーク２０４は、インターネットのような当技術分野で既知の任意の型のネットワークでありうる。さらに、前記一つまたは複数のユーザー装置１０４は、グローバルまたはローカルな有線または無線の接続（たとえばローカル・エリア・ネットワーク（LAN）、イントラネットなど）などにより任意の仕方でネットワーク２０４に通信上結合することができる。ネットワーク２０４は、サーバーおよび他の機械２０６および／または前記一または複数のユーザー１０２に関連付けられた前記一つまたは複数のユーザー装置１０４の間の通信を容易にすることができる。
【００２２】
いくつかの例では、前記一または複数のユーザー１０２は対応するユーザー装置１０４と対話して、前記一つまたは複数のユーザー装置１０４に関連付けられたさまざまな機能を実行することができる。前記一つまたは複数のユーザー装置１０４は一つまたは複数の処理ユニット２０８、コンピュータ可読媒体２１０、追跡コンポーネント１０６およびディスプレイ１０８を含むことができる。
【００２３】
前記一つまたは複数のユーザー装置１０４は、さまざまな多様な装置型を表わすことができ、いかなる特定の型の装置にも限定されない。ユーザー装置１０４の例は、静的なコンピュータ、モバイル・コンピュータ、組み込みコンピュータまたはそれらの組み合わせを含むことができるが、それに限定されない。例示的な静的なコンピュータは、デスクトップ・コンピュータ、ワークステーション、パーソナル・コンピュータ、シンクライアント、端末、ゲーム・コンソール、パーソナル・ビデオ・レコーダー（PVR）、セットトップボックスなどを含むことができる。例示的なモバイル・コンピュータはラップトップ・コンピュータ、タブレット・コンピュータ、ウェアラブル・コンピュータ、植え込み型コンピューティング装置、遠隔通信装置、自動車コンピュータ、携帯情報端末（PDA）、ポータブル・ゲーム装置、メディアプレーヤー、カメラなどを含むことができる。例示的な組み込みコンピュータは、ネットワーク対応テレビジョン、コンピューティング装置に含めるための統合されたコンポーネント、アプライアンス、マイクロコントローラ、デジタル信号プロセッサまたは他の任意の種類の処理装置などを含むことができる。
【００２４】
サービス・プロバイダー２０２は、オンライン通信プラットフォームを含む通信プラットフォームからの特徴の集合を利用できる任意のエンティティ、サーバー（単数または複数）、プラットフォームなどであることができる。さらに、図のように、サービス・プロバイダー２０２は一つまたは複数のサーバーおよび／または他の機械２０６を含むことができる。これらは一つまたは複数の処理装置２０８およびメモリのようなコンピュータ可読媒体２１０を含むことができる。前記一つまたは複数のサーバーおよび／または他の機械２０６は、下記で述べるような装置を含むことができる。
【００２５】
装置が前記一つまたは複数のサーバーおよび／または他の機械２０６に含まれることのできる例示的なサポート・シナリオは、資源を共有するため、負荷を均衡化するため、パフォーマンスを増すため、フェイルオーバー・サポートもしくは冗長性を提供するためまたは他の目的のためにクラスターまたは他のグループ化された構成で動作する一つまたは複数のコンピューティング装置を含むことができる。前記一つまたは複数のサーバーおよび／または他の機械２０６に含まれる装置は、装置の多様なカテゴリーまたはクラスに属することができる。たとえば、伝統的なサーバー型装置、デスクトップ・コンピュータ型装置、モバイル装置、特殊目的型装置、組み込み型装置および／またはウェアラブル型装置。このように、デスクトップ・コンピュータとして図示されているが、装置はさまざまな多様な装置型を含むことができ、特定の型の装置に限定されない。前記一つまたは複数のサーバーおよび／または他の機械２０６に含まれる装置は、デスクトップ・コンピュータ、サーバー・コンピュータ、ウェブ・サーバー・コンピュータ、パーソナル・コンピュータ、モバイル・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、ウェアラブル・コンピュータ、植え込み型コンピューティング装置、遠隔通信装置、自動車コンピュータ、ネットワーク対応テレビジョン、シンクライアント、端末、携帯情報端末（PDA）、ゲーム・コンソール、ゲーム機、ワークステーション、メディアプレーヤー、パーソナル・ビデオ・レコーダー（PVR）、セットトップボックス、カメラ、コンピューティング装置に含めるための統合されたコンポーネント、アプライアンスまたは他の任意の種類の処理装置を表わすことができるが、それに限定されない。
【００２６】
前記一つまたは複数のサーバーおよび／または他の機械２０６に含まれることのできる装置は、バスなどを介してコンピュータ可読媒体２１０に動作可能に接続された一つまたは複数の処理ユニット２０８を有する任意の型のコンピューティング装置を含むことができる。バスはいくつかの事例では、システム・バス、データ・バス、アドレス・バス、PCIバス、ミニPCIバスおよび任意の多様なローカル、周辺および／または独立バスのうちの一つまたは複数を含むことができる。コンピュータ可読媒体２１０に記憶されている実行可能命令はたとえば、表示モジュール２１２、受領モジュール２１４、抽出モジュール２１６、解析モジュール２１８および処理ユニット２０８によってロード可能かつ実行可能である他のモジュール、プログラムまたはアプリケーションを含むことができる。代替的または追加的に、本稿に記載される機能は、少なくとも部分的には、アクセラレーターのような一つまたは複数のハードウェア論理コンポーネントによって実行されることができる。たとえば、限定なしに、使用できるハードウェア論理コンポーネントの例示的な型は、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、特定用途向け標準プロダクト（ASSP）、システムオンチップ・システム（SOS）、複雑プログラム可能型論理デバイス（CPLD）などを含む。たとえば、アクセラレーターは、FPGAファブリックに埋め込まれたCPUコースを含むZYLEXまたはALTERAからの一つのようなハイブリッド・デバイスを表わすことができる。
【００２７】
前記一つまたは複数のサーバーおよび／または他の機械２０６に含まれることのできる装置は、さらに、装置が他の装置、たとえばユーザー入力周辺装置（たとえばキーボード、マウス、ペン、ゲーム・コントローラ、音声入力装置、タッチ入力装置、ジェスチャー入力装置、視線および／または身体追跡装置など）および／または出力周辺装置（たとえばディスプレイ、プリンター、オーディオ・スピーカー、触覚出力など）と通信できるようにするために前記バスに結合された一つまたは複数の入出力（I/O）インターフェースを含むことができる。前記一つまたは複数の入出力（I/O）インターフェースは、ユーザー装置１０４が追跡コンポーネント１０６および／またはディスプレイ１０８と通信できるようにすることができる。前記一つまたは複数のサーバーおよび／または他の機械２０６に含まれることのできる装置は、コンピューティング装置と他のネットワーク接続された装置、たとえば前記一つまたは複数のユーザー装置１０４との間の通信を可能にするために前記バスに結合された一つまたは複数のネットワーク・インターフェースをも含むことができる。そのようなネットワーク・インターフェースは、一つまたは複数のネットワーク・インターフェース・コントローラ（NIC）またはネットワークを通じて通信を送受信するための他の型のトランシーバ装置を含むことができる。簡単のため、いくつかのコンポーネントは図示した装置からは省略されている。
【００２８】
ユーザー装置１０４はさらに、ユーザー装置１０４が他の装置、たとえばユーザー入力周辺装置（たとえばキーボード、マウス、ペン、ゲーム・コントローラ、音声入力装置、タッチ入力装置、ジェスチャー入力装置、視線および／または身体追跡装置など）および／または出力周辺装置（たとえばディスプレイ、プリンター、オーディオ・スピーカー、触覚出力など）と通信できるようにするために前記バスに結合された一つまたは複数の入出力（I/O）インターフェースを含むことができる。前記一つまたは複数の入出力（I/O）インターフェースは、ユーザー装置１０４が追跡コンポーネント１０６および／またはディスプレイ１０８と通信できるようにすることができる。
【００２９】
処理ユニット２０８はたとえば、中央処理ユニット（CPU）型の処理ユニット、GPU型の処理ユニット、フィールドプログラマブルゲートアレイ（FPGA）、別のクラスのデジタル信号プロセッサ（DSP）またはいくつかの事例ではCPUによって駆動できる他のハードウェア論理コンポーネントを表わすことができる。たとえば、限定なしに、使用できるハードウェア論理コンポーネントの例示的な型は、特定用途向け集積回路（ASIC）、特定用途向け標準プロダクト（ASSP）、システムオンチップ・システム（SOS）、複雑プログラム可能型論理デバイス（CPLD）などを含む。さまざまな例において、処理ユニット２０８は、前記一つまたは複数のユーザー装置１０４に上記のような、以下の開示においてさらに詳細に説明される多様な機能を実行させるために一つまたは複数のモジュールおよび／またはプロセスを実行することができる。さらに、処理ユニット２０８のそれぞれは、その独自のローカル・メモリを所有することができ、そのメモリもプログラム・モジュール、プログラム・データおよび／または一つまたは複数のオペレーティング・システムを記憶することができる。
【００３０】
少なくとも一例では、前記一つまたは複数のユーザー装置１０４におけるコンピュータ可読媒体２１０は、ユーザー装置１０４とユーザー１０２との間の対話を容易にするコンポーネントを含むことができる。たとえば、コンピュータ可読媒体２１０は、少なくとも、表示モジュール２１２、受領モジュール２１４、抽出モジュール２１６および解析モジュール２１８を含むことができる。これらのモジュールは、少なくとも一つの処理ユニット２０８を介して、コンピュータ化された会話的システムに関連する視覚的コンテキストにおける視覚的要素への指示を解決することにおける誤り率を低減するよう装置を構成するためのコンピュータ可読命令、さまざまなデータ構造などとして実装できる。
【００３１】
少なくとも一例では、表示モジュール２１２は、ディスプレイ１０８と通信し、ディスプレイ１０８上に視覚的要素（たとえばテキスト、オブジェクト、項目など）を呈示させるよう構成されることができる。上記のように、ディスプレイ１０８はユーザー・インターフェースを表わすことができ、表示モジュール２１２は、ウェブ・ブラウザーまたは会話的対話システムに付随するユーザー・インターフェースにおいてユーザー１０２に対して一つまたは複数の視覚的要素を呈示するためにディスプレイと通信することができる。視覚的要素は、会話的コンピューティング・システムによって実行されることのできる、ブラウズ、検索、フィルタリングなどといったタスクおよび／またはアクションと関連付けられたテキスト、オブジェクトおよび／または項目を含むことができる。表示モジュール２１２は、上記のように、視覚的要素に関連付けられたタスクおよび／またはアクションを実行するよう会話的コンピューティング・システムに指令するユーザー対話を受領するために、ディスプレイ１０８を介してユーザー１０２に対して視覚的要素を呈示することができる。
【００３２】
少なくとも一例では、受領モジュール２１４は、後述するような発話入力１１０、ジェスチャー、凝視入力１１２、身体位置決めなどといった前記一または複数のユーザー１０２からの入力を受領するよう構成されることができる。受領モジュール２１４は、抽出モジュール２１６による処理のために発話入力１１０をユーザー発声に文字起こしするよう構成されることもできる。抽出モジュール２１６は、少なくとも部分的には前記ユーザー入力および視覚的コンテキスト内の視覚的要素に基づいて特徴を抽出するよう構成されることができる。たとえば、抽出モジュール２１６は、語彙的類似性特徴、音韻マッチ特徴、凝視特徴および／またはヒート・マップ特徴を抽出することができる。抽出モジュール２１６および特徴に関するさらなる詳細は後述する。解析モジュール２１８は、後述するように、少なくとも部分的には抽出された特徴に基づいて視覚的コンテキスト内の視覚的要素への指示を解決するよう構成されることができる。
【００３３】
ユーザー装置１０４およびまたはサーバーおよび／または他の機械２０６の正確な構成および型に依存して、コンピュータ可読媒体２１０はコンピュータ記憶媒体および／または通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータといった情報の記憶のための、任意の方法または技術で実装された、揮発性メモリ、不揮発性メモリおよび／または他の持続的および／または補助コンピュータ記憶媒体、リムーバブルおよび非リムーバブル・コンピュータ記憶媒体を含むことができる。コンピュータ・メモリはコンピュータ記憶媒体の例である。よって、コンピュータ記憶媒体は、装置に含まれる有体および／または物理的な形の媒体および／または装置の一部であるか装置の外部であるハードウェア・コンポーネントを含み、ランダム・アクセス・メモリ（RAM）、静的ランダム・アクセス・メモリ（SRAM）、動的ランダム・アクセス・メモリ（DRAM）、相変化メモリ（PRAM）、読み出し専用メモリ（ROM）、消去可能なプログラム可能型読み出し専用メモリ（EPROM）、電気的に消去可能なプログラム可能型読み出し専用メモリ（EEPROM）、フラッシュメモリ、コンパクトディスク読み出し専用メモリ（CD-ROM）、デジタル多用途ディスク（DVD）、光カードまたは他の光学式記憶媒体、小型ハードドライブ、メモリカード、磁気カセット、磁気テープ、磁気ディスク記憶、磁気カードまたは他の磁気記憶デバイスまたは媒体、半導体メモリ・デバイス、記憶アレイ、ネットワーク・アッタチト・ストレージ、記憶領域ネットワーク、ホストされたコンピュータ記憶または他の任意の記憶メモリ、記憶デバイスおよび／または記憶媒体であって、コンピューティング装置によるアクセスのために情報を記憶し、維持するものを含む。
【００３４】
対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の伝送媒体のような変調されたデータ信号において具現することができる。本稿での定義では、コンピュータ記憶媒体は通信媒体を含まない。
【００３５】
図３は、視覚的コンテキスト内の視覚的要素への指示を解決するために実装されることのできる例示的動作環境３００を示している。少なくとも一例では、動作環境３００は、自由形のウェブ・ブラウズ視覚的コンテキスト、アプリケーション・インターフェースなどにおいて、ユーザーが航空券を買う、レストランを見つける、オンラインで買い物をする、などといった一般的なタスクを実行できるようにすることができる。後述するように、例示的動作環境３００は、コンピュータ化された会話的システムに関連する視覚的コンテキストにおいて視覚的要素を特定するために話された言語の理解が使用されることのできる精度を改善するために、受領モジュール２１４、抽出モジュール２１６および解析モジュール２１８を利用する。表示モジュール２１２は図３には示されていない。
【００３６】
上記のように、受領モジュール２１４は、話された発話入力３０２（たとえば発話入力１１０）、ジェスチャー、凝視入力３０４（たとえば凝視入力１１２）、身体位置決めなどといった前記一または複数のユーザー１０２からの入力を受領するよう構成されることができる。受領モジュール２１４は、発話入力３０２を受領するよう構成されているユーザー装置１０４に付随するマイクロフォンまたは他の何らかの装置を介して発話入力３０２を受領することができる。少なくとも一例では、発話入力３０２は、ユーザー装置１０４のディスプレイ１０８上の視覚的要素への指示を含むことができる。指示は、ウェブ・ページ上の項目を明示的に特定する（たとえば直接言及する）ことができ、あるいは指示はウェブ・ページ上の項目を黙示的に特定する（たとえば間接的に言及する）ことができる。たとえば、発話入力３０２は、リンク、項目、映画などのフルまたは部分的なテキストを発話入力３０２において含めることによって、リンク、項目、映画などに直接言及することができる。他の例では、発話入力３０２は、「赤い靴を見せてください」、「あれを買いたい」または「いちばん上のフライトがよさそうだ」といった暗黙的な指示を含むことができる。発話入力３０２は、発話入力を構成することのできる語彙、文法および／または意図の選択に対する制約を受けないことができる。受領モジュール２１４は、発話入力３０２を文字起こしすることによってユーザー発話を生成するよう構成されることができる。ユーザー発話は、処理のために抽出モジュール２１６に送られることができる。
【００３７】
加えて、受領モジュール２１４は追跡コンポーネント１０６を介して凝視入力（gaze  input）３０４を受領することができる。少なくとも一例では、追跡コンポーネント１０６はユーザー１０２の視線の固定（eye  gaze  fixations）を追跡する。いくつかの例では、追跡コンポーネント１０６は、上記のように、凝視固定の代理として、ユーザー１０２の頭の姿勢および／またはユーザーの鼻が向く方向を追跡することができる。追跡コンポーネント１０６は凝視入力３０４を受領モジュール２１４に提供することができる。
【００３８】
受領モジュール２１４は、抽出モジュール２１６に入力データ３０６を出力することができる。入力データ３０６は、ユーザー発声に文字起こしされる発話入力３０２、凝視入力３０４および／または他の形のユーザー１０２入力を含むことができる。抽出モジュール２１６は、少なくとも部分的には入力データ３０６に基づいて特徴を抽出するよう構成されることができる。抽出モジュール２１６は、語彙的特徴、凝視特徴、ヒート・マップ特徴などを抽出することができる。
【００３９】
抽出モジュール２１６は一つまたは複数の語彙的特徴を抽出することができる。語彙的類似性は、単語および関連する意味を使って二つ以上の単語集合内の単語間の類似性を決定するプロセスを記述する。語彙的特徴は、視覚的コンテキスト内の一つまたは複数の視覚的要素に関連付けられたテキストを構成する単語と発話入力３０２内の単語との間の語彙的類似性を決定することができる。抽出モジュール２１６は、語彙的特徴を計算するために自動発話認識（ASR:  automatic  speech  recognition）モデルおよび／または一般的な言語モデルを利用することができる。抽出モジュール２１６は、視覚的項目の視覚的コンテキストに依存してさまざまなモデルおよび／または技法を利用することができる。たとえば、視覚的コンテキストがウェブ・ブラウザーを含む場合、抽出モジュール２１６は、ディスプレイ１０８上で視覚的要素に関連付けられたリンクをパースするためのパーサーを利用することができる。
【００４０】
語彙的特徴の限定しない例は、視覚的コンテキスト内の前記一つまたは複数の視覚的要素に関連付けられたテキストと発話入力３０２との用語ベクトルの間の余弦類似性（cosine  similarity）および／または視覚的コンテキスト内の前記一つまたは複数の視覚的要素に関連付けられたテキストが発話入力３０２に含まれていたかどうかを示す二値特徴およびもしそうであれば視覚的コンテキスト内の前記一つまたは複数の視覚的要素に関連付けられたテキストの長さを含む。語彙的特徴は句、語および／または文字レベルで計算できる。
【００４１】
抽出モジュール２１６は、一つまたは複数の凝視特徴をも抽出することができる。凝視特徴は、さまざまな時点における、視覚的要素と凝視入力３０４の固定点との間の距離を表わすことができる。凝視特徴は、時間ベースの凝視特徴および／または距離ベースの凝視特徴であることができる。距離ベースおよび時間ベースの凝視特徴は一緒に使用されることができる。
【００４２】
凝視特徴を決定するために、抽出モジュール２１６は、（たとえばウェブ・ブラウザーの視覚的コンテキスト内の）リンクおよび／または（たとえば会話的システムの視覚的コンテキスト内の）項目に関連付けられたテキストおよび／またはピクチャーを同定し、該テキストおよび／または画像のまわりの距離または関連付けられたエリアを計算することができる。該テキストおよび／または画像に関連付けられた計算された距離またはエリアは、バウンディングボックスを表わすことができ、凝視特徴抽出のために使用できる。凝視特徴は、バウンディングボックスのサイズおよび／またはユーザー１０２の凝視がどのくらい頻繁に該バウンディングボックス上またはその近くに固定されるかを表わす頻度を考慮することができる。
【００４３】
抽出モジュール２１６は、ユーザー１０２の凝視が視覚的コンテキスト内のどこに置かれるかを表わす固定点（fixation  points）を識別することができる。抽出モジュール２１６は、凝視入力データ３０６から個々の固定点を識別するためのモデルを利用することができる。少なくとも一例では、抽出モジュール２１６は、速度閾値識別アルゴリズム、隠れマルコフ・モデル固定識別アルゴリズム、分散閾値識別アルゴリズム、最小スパン木識別アルゴリズム、関心エリア識別アルゴリズムおよび／または凝視入力データ３０６から固定点を識別するための速度ベース、分散ベースおよび／またはエリア・ベースのアルゴリズムといったモデルを利用することができる。固定点はクラスターにグループ化されることができ、それらのクラスターが個々の凝視位置を識別するために使用されることができる。クラスターは、所定の距離以内（たとえば40ピクセル未満、など）に位置する二つ以上の個別の固定点によって定義されることができる。固定点のクラスターの重心が、後述する凝視特徴を抽出するために使用されることができる。
【００４４】
凝視特徴は、上記のように、さまざまな時点における、バウンディングボックスと固定点の一つまたは複数のクラスターの重心固定点との間の距離を表わすことができる。凝視特徴の限定しない例は：発話入力３０２の始まりにおける重心固定点からバウンディングボックスまでの距離；
・発話入力３０２の終わりにおける重心固定点からバウンディングボックスまでの距離；
・発話入力３０２の始まりから発話入力３０２の終わりまでの間の時間における重心固定点からバウンディングボックスまでの距離；
・発話入力３０２が始まる前の所定の時間窓（たとえば1秒、2秒など）における重心固定点からバウンディングボックスまでの距離；
・発話入力３０２が始まる前の所定の諸時間区間（たとえば1秒、2秒、3秒など）において、バウンディングボックスが重心固定点から所定の半径（たとえば1cm、3cmなど）以内であったかどうか；
・発話入力３０２が受領された時点において、バウンディングボックスが重心固定点から所定の半径（たとえば1cm、3cmなど）以内であったかどうか；
・バウンディングボックスのサイズ；
・発話入力３０２の間にどのくらいの頻度でユーザー１０２がバウンディングボックスを見たか；
・発話入力３０２の間にユーザー１０２がバウンディングボックスを見た全時間長さ；
・発話入力３０２の間にどのくらいの頻度でバウンディングボックスが重心固定点から所定の半径（たとえば1cm、3cmなど）以内にあったか；および／または
・発話入力３０２の間にバウンディングボックスが重心固定点から所定の半径（たとえば1cm、3cmなど）以内にあった全時間長さ、
のうちの一つまたは複数を含むことができる。
【００４５】
抽出モジュール２１６は一つまたは複数のヒート・マップ特徴を抽出することもできる。ヒート・マップ（heat  map）は、視覚的コンテキスト内でユーザー１０２が何を見ていることがありうるかの確率モデルを表わすことができる。ヒート・マップは、凝視入力１１２（たとえば視線、頭の姿勢など）から計算されることができる。少なくとも一例では、抽出モジュール２１６は、ユーザー１０２が視覚的コンテキスト内で呈示されている何らかの特定の視覚的要素を見た確率をモデル化するために、個々の固定点での二次元ガウス・モデルを利用することができる。個々の固定点は、上記のように、凝視入力１１２（たとえば視線、頭の姿勢など）から決定できる。いくつかの例では、ガウス・モデルは所定の長さの半径を使うことができる。ガウス・モデルは、凝視固定が時間とともにどのように変化するかをモデル化し、ユーザー１０２が視覚的コンテキストにおいて特定の視覚的要素を見る可能性を示すために使われる確率を決定することができる。少なくとも一例では、視線入力１１２に基づいて決定されたヒート・マップは、頭の姿勢または鼻の向きの凝視入力１１２に基づいて決定されたヒート・マップよりも、ユーザー１０２が何を見ているかをよりよく表わすことができる。
【００４６】
抽出モジュール２１６は、ヒート・マップ特徴を抽出するためにヒート・マップを利用してもよい。ヒート・マップ特徴は、固定点と視覚的コンテキスト内の視覚的要素とをつなぐ一つまたは複数の特徴を含むことができる。上記のように、抽出モジュール２１６は、視覚的コンテキストに関連付けられたディスプレイ１０８上に呈示されていることのできる各視覚的要素（たとえばテキスト、ピクチャーなど）のまわりの距離または関連付けられた面積を計算することができる。該視覚的要素に関連付けられた計算された距離または面積は、バウンディングボックスを表わすことができ、ヒート・マップ特徴抽出のために使用できる。少なくとも一例では、ヒート・マップ特徴は少なくとも部分的には、バウンディングボックス内のエリアに関連付けられたヒート・マップ確率に基づくことができる。バウンディングボックス内のエリアに関連付けられたヒート・マップ確率は、ユーザー１０２がディスプレイ１０８上のバウンダリーボックスに対応する視覚的要素を見た確からしさを計算するために使用されてもよい。いくつかの例では、ヒート・マップ特徴は、所定の時間の窓にわたって凝視固定を捕捉する一つまたは複数の特徴を含んでいてもよい。
【００４７】
抽出モジュール２１６は、少なくとも部分的には発話入力３０２、凝視入力３０４および視覚的コンテキスト内の視覚的要素に基づいて特徴３０８の集合を出力することができる。特徴３０８の集合は、語彙的特徴、視線特徴および／またはヒート・マップ特徴を含むことができる。
【００４８】
解析モジュール２１８は、少なくとも部分的には前記抽出された特徴に基づいて視覚的コンテキスト内の視覚的要素への指示を解決するよう構成されることができる。少なくとも一例では、解析モジュール２１８は、個々の視覚的要素に関連付けられた確率を計算し、少なくとも部分的には前記計算された確率に基づいてどの視覚的要素が発話入力３０２の主題であったかを判別するために、分類システムを利用することができる。いくつかの例では、解析モジュール２１８は、少なくとも部分的には最高の確率をもつ視覚的要素を識別することに基づいて、発話入力の主題であった視覚的要素を識別することができる。他の例では、解析モジュール２１８は、視覚的コンテキスト内で、所定の閾値より上の計算された確率をもつ視覚的要素を識別するために分類システムを利用することができる。解析モジュール２１８は、所定の閾値より上の計算された確率をもつそれら視覚的要素の一つとして、発話入力３０２の主題であった視覚的要素を識別することができる。
【００４９】
いくつかの例では、解析モジュール２１８は、視覚的要素を分類することにおいて二つ以上の特徴（たとえば語彙的特徴、凝視特徴、ヒート・マップ特徴など）の組み合わせを考慮することができる。少なくとも一例では、解析モジュール２１８は、ある特定の視覚的要素が発話入力３０２の意図された主題であったかどうかを、少なくとも部分的には抽出モジュール２１６によって抽出された特徴３０８の集合に基づいて判定するよう構成された分類器を利用することができる。少なくとも一例では、分類器はicsiboost分類器、アダブースト（AdaBoost）分類器、スリーピング・エキスパート（sleeping-experts）分類器、単純ベイズ（Na¨ive-Bayes）分類器、ロッキオ（Rocchio）分類器、RIPPER分類器などを含むことができる。いくつかの例では、分類器は二項分類器を表わすことができる。解析モジュール２１８は、特定の視覚的要素が発話入力３０２の主題であった確からしさの指標を表わす、意図された指示の確率（たとえば、P(itemが指示された｜item,f_lexical,f_gaze)、ここでf_lexicalは語彙的特徴を指し、f_gazeは凝視特徴を指す）を出力することができる。視覚的コンテキスト内の視覚的要素への指示を解決するために解析モジュール２１８によって他の分類器が使われることができる。
【００５０】
少なくとも一例では、解析モジュール２１８は、図３に示されるように、分類器を介して処理のために一組の特徴３０８を受領することができる。いくつかの例では、一組の特徴は、少なくとも部分的には語彙的特徴に基づく、ある特定の視覚的要素が発話入力３０２において指示された視覚的要素である確率と、少なくとも部分的には凝視特徴に基づく、ある特定の視覚的要素が該視覚的要素である確率とを含んでいてもよい。分類器は、二つの確率をかけ合わせて、ある特定の視覚的要素がユーザー１０２が視覚的コンテキストにおいて対話することを意図していた特定の視覚的要素であったかどうかを判定するために使用できる新たな確率を計算することができる。他の例では、解析モジュール２１８は各特徴（たとえば語彙的特徴、凝視特徴、ヒート・マップ特徴）を別個に分類し、次いで分類の出力を組み合わせて、視覚的コンテキストにおける視覚的要素への指示を解決することができる。あるいはまた、解析モジュール２１８は、ユーザー発声１１０から抽出された語彙的特徴の集合に第一の分類器を適用し、ユーザー発声が漠然としているおよび／または曖昧である場合に、凝視入力１１２から抽出された凝視特徴の集合に第二の分類器を適用することができる。
【００５１】
解析モジュール２１８は、最高の諸確率をもつ一つまたは複数の視覚的要素および／または所定の閾値より上であると判定された諸確率をもつ一つまたは複数の視覚的要素を識別するためにフィルタリング・モジュールを含むことができる。いくつかの例では、解析モジュール２１８は、追加的または代替的に、少なくとも部分的には解析モジュール２１８によって決定された確率に基づいて、視覚的要素をランク付けするためのランク付けモジュールを含むことができる。解析モジュール２１８は、視覚的コンテキストにおける視覚的要素への指示を解決するためにランク付けモジュールの結果を利用することができる。いくつかの例では、最高の確率をもつ視覚的要素は視覚的要素のリストの最上位にランク付けされることができ、解析モジュール２１８は最上位にランクされた視覚的要素がユーザー発声の意図されたターゲットであると判定することができる。
【００５２】
図４は、コンピュータ化された会話的システムに関連する視覚的コンテキストにおいて前記一つまたは複数の視覚的要素のうちの意図された視覚的要素を判別するための例示的プロセス４００を示している。
【００５３】
ブロック４０２は、視覚的コンテキストにおいてユーザー対話を受領するために利用可能な視覚的要素を識別することを示している。上記のように、視覚的コンテキストは、ウェブ・ブラウザー、会話的対話システムまたは視覚的要素を表示するための他の何らかの視覚的コンテキストを含むことができる。個々の視覚的要素は、コンピュータ化された会話的システムによって実行されることのできるアクションおよび／またはタスクに関連付けられることができる。抽出モジュール２１６は、視覚的要素を同定することができ、上記のように、視覚的要素のまわりの距離および／またはエリア（たとえばバウンディングボックス）を決定することができる。
【００５４】
ブロック４０４は、視覚的コンテキスト内の視覚的要素のうちの一つまたは複数に関連付けられたユーザー入力を受領することを示している。受領モジュール２１４は、ユーザー発声に文字起こしされることのできる発話入力３０２、凝視入力３０４（たとえば視線、頭の姿勢など）、ジェスチャー入力などといったユーザー入力を受領することができる。少なくとも一例では、発話入力３０２は、視覚的コンテキストにおける前記一つまたは複数の視覚的要素のうちの特定の視覚的要素を指示することができる。上記のように、発話入力３０２は明示的に特定の視覚的要素を指すことおよび／または黙示的に特定の視覚的要素を指すことができる。発話入力３０２は、発話入力３０２を構成することのできる語彙、文法および／または意図の選択に対する制約がなくてもよい。発話入力３０２に加えて、受領モジュール２１４は凝視入力３０４を受領することができる。少なくとも一例では、凝視入力３０４は、ユーザー１０２がコンピュータ化されたコンピューティング・システムと対話する間に、ユーザー凝視、頭の姿勢などを追跡する追跡コンポーネント１０６によって収集されることができる。
【００５５】
ブロック４０６は、少なくとも部分的には視覚的要素およびユーザー入力に基づいて、語彙的特徴および凝視特徴を抽出することを示している。抽出モジュール２１６は、上記のように、語彙的特徴、凝視特徴およびヒート・マップ特徴を抽出することができる。凝視特徴の抽出は、所定の諸時点における、個々の視覚的要素について決定された定義されたエリア（たとえばバウンディングボックス）と凝視入力３０４に関連する固定点（たとえば重心固定点および／または任意の固定点）との間の距離を計算することを含むことができる。語彙的特徴の抽出は、上記のように、視覚的コンテキスト内の前記視覚的要素のうちの個々の視覚的要素に関連付けられたテキストと発話入力３０２との間の語彙的類似性を計算することを含むことができる。ヒート・マップ特徴の抽出は、凝視入力３０４固定とディスプレイ１０８に呈示された視覚的要素とをつなぐ一つまたは複数の特徴を抽出することを含むことができる。
【００５６】
ブロック４０８は、ユーザー入力に関連付けられた前記一つまたは複数の視覚的要素のうちの特定の視覚的要素を決定することを示している。解析モジュール２１８は、少なくとも部分的には語彙的特徴および凝視特徴に基づいて、発話入力３０２の意図された主題であった視覚的要素を決定することができる。意図された視覚的要素の決定は、上記のように、二項分類器を介して視覚的要素を分類することを含むことができる。解析モジュール２１８は、視覚的要素と関連付けられた確率を計算するために該分類器を利用することができる。上記のように、解析モジュール２１８はさらに、少なくとも部分的には前記計算された確率に基づいて視覚的要素をフィルタリングおよび／またはランク付けすることができる。解析モジュール２１８は、少なくとも部分的には前記計算された確率に基づいて、前記特定の視覚的要素を決定することができる。少なくともいくつかの例では、前記特定の視覚的要素は、アクションおよび／またはタスクに関連付けられることができ、少なくとも部分的には前記特定の視覚的要素を識別することに基づいて、解析モジュール２１８は前記特定の視覚的要素に関連付けられたアクションおよび／またはタスクを視覚的コンテキストにおいて実行させることができる。
【００５７】
図５は、少なくとも部分的には語彙的特徴および凝視特徴に基づいて、ユーザー発声において指示されている特定の視覚的要素を決定するための例示的プロセス５００を示している。
【００５８】
ブロック５０２は、視覚的コンテキストにおいてユーザー対話を受領するための視覚的要素を識別することを示している。上記のように、視覚的コンテキストは、ウェブ・ブラウザー、アプリケーション・インターフェースまたは視覚的要素を表示するための他の何らかの視覚的コンテキストを含むことができる。抽出モジュール２１６は、視覚的コンテキスト内の視覚的要素を同定することができ、上記のように、視覚的要素のまわりの距離および／またはエリア（たとえばバウンディングボックス）を決定することができる。
【００５９】
ブロック５０４は、視覚的コンテキスト内の前記一つまたは複数の視覚的要素のうちの第一の視覚的要素を指示するユーザー発声を受領することを示している。受領モジュール２１４は、発話入力３０２のようなユーザー入力を受領することができ、発話入力３０２を抽出モジュール２１６による処理のためにユーザー発声に文字起こししてもよい。少なくとも一例では、ユーザー発声は、視覚的コンテキストにおける前記一つまたは複数の視覚的要素のうちのある特定の視覚的要素を指示することができる。上記のように、ユーザー発声は、明示的に特定の視覚的要素を指すことおよび／または黙示的に特定の視覚的要素を指すことができる。ユーザー発声は、ユーザー発声を構成することのできる語彙、文法および／または意図の選択に対する制約がなくてもよい。
【００６０】
ブロック５０６は、視覚的コンテキストにおける前記一つまたは複数の視覚的要素のうちの少なくとも第二の視覚的要素に関連する凝視入力３０４を受領することを示している。受領モジュール２１４は、凝視入力３０４（たとえば視線、頭の姿勢など）のようなユーザー入力を受領することができる。少なくとも一例では、凝視入力３０４は、上記のように、追跡コンポーネント１０６によって収集されることができる。
【００６１】
ブロック５０８は、少なくとも部分的には、ユーザー発声および視覚的要素に基づいて、語彙的特徴を抽出することを示している。抽出モジュール２１６が語彙的特徴を抽出することができる。凝視特徴の抽出は、上記のように、視覚的コンテキスト内の視覚的要素のうちの個々の視覚的要素に関連付けられたテキストとユーザー発声との間の語彙的類似性を計算することを含むことができる。
【００６２】
ブロック５１０は、少なくとも部分的には凝視入力３０４および視覚的要素に基づいて、凝視特徴を抽出することができる。抽出モジュール２１６が、凝視特徴を抽出することができる。上記のように、凝視特徴の抽出は、所定の諸時点における、個々の視覚的要素に関連付けられたバウンディングボックスと凝視入力３０４に関連付けられた固定点との間の距離を計算することを含むことができる。
【００６３】
ブロック５１２は、ユーザー発声において指示されている前記視覚的要素のうちの特定の視覚的要素を決定することを示している。上記のように、該決定は、少なくとも部分的には語彙的特徴および凝視特徴に基づくことができる。いくつかの例では、該決定は、語彙的特徴および凝視特徴に加えてヒート・マップ特徴に基づくことができる。解析モジュール２１８は、視覚的特徴に関連付けられた確率を計算するために前記分類器を利用することができる。上記のように、解析モジュール２１８はさらに、少なくとも部分的には前記計算された確率に基づいて視覚的要素をフィルタリングおよび／またはランク付けすることができる。解析モジュール２１８は、少なくとも部分的には前記計算された確率に基づいて、意図された視覚的要素を決定することができる。少なくともいくつかの例では、意図された視覚的要素は、アクションおよび／またはタスクに関連付けられていることができ、少なくとも部分的には前記意図された視覚的要素を識別することに基づいて、解析モジュール２１８は前記意図された視覚的要素に関連付けられたアクションおよび／またはタスクを、コンピュータ化された会話的システムに実行させることができる。
【００６４】
図６は、視覚的コンテキスト内の特定の視覚的要素をフィルタリングおよび識別するためのプロセス６００を示している。
【００６５】
ブロック６０２は、少なくとも部分的には前記計算された確率に基づいて、視覚的要素をフィルタリングすることを示している。上記のように、解析モジュール２１８は、特定の視覚的要素がユーザー発声１１０の主題であることができるかどうかを、少なくとも部分的には抽出モジュール２１６によって抽出された一組の特徴３０８に基づいて判定するよう構成された分類器を利用することができる。解析モジュール２１８は、上記のように、意図された指示の確率（たとえば、P(itemが指示された｜item,f_lexical,f_gaze)、ここでf_lexicalは語彙的特徴を指し、f_gazeは凝視特徴を指す）を出力することができる。解析モジュール２１８は、少なくとも部分的には確率に基づいて視覚的要素をフィルタリングするフィルタリング・モジュールを含むことができる。いくつかの例では、解析モジュール２１８は、追加的または代替的に、少なくとも部分的には解析モジュール２１８によって決定された確率に基づいて視覚的要素をランク付けするためのランク付けモジュールを含むことができる。
【００６６】
ブロック６０４は、少なくとも部分的には、所定の閾値より上の確率をもつ前記一組の視覚的要素のうちの個々の視覚的要素に基づいて、一組の視覚的要素を識別することを示している。少なくとも一例では、解析モジュール２１８は、上記のように、所定の閾値より上であると判定された確率をもつ一組の視覚的要素を同定することができる。
【００６７】
ブロック６０６は、前記一組の視覚的要素から前記特定の視覚的要素を識別することを示している。解析モジュール２１８は、所定の閾値より上であると判定された確率をもつ前記一組の視覚的要素から、前記特定の視覚的要素を同定することができる。いくつかの例では、前記特定の視覚的要素は、最高の確率または所定の閾値より上の確率をもつ視覚的要素であることができる。
【００６８】
〔項目Ａ〕コンピュータ実装される方法であって：  視覚的コンテキスト内の、ユーザー対話のために利用可能な視覚的要素を識別する段階と；  前記視覚的コンテキスト内の前記視覚的要素の一つまたは複数に関連付けられたユーザー入力を受領する段階であって、前記ユーザー入力は：  前記一つまたは複数の視覚的要素の特定の視覚的要素を指示する、発話入力から導出される発声；および  前記一つまたは複数の視覚的要素のうちの、前記特定の視覚的要素を含む少なくともいくつかに関連する凝視入力を含む、段階と；  少なくとも部分的には前記視覚的要素および前記ユーザー入力に基づいて語彙的特徴および凝視特徴を抽出する段階と；  少なくとも部分的には前記語彙的特徴および凝視特徴に基づいて前記特定の視覚的要素を決定する段階とを含む、コンピュータ実装される方法。
【００６９】
〔項目Ｂ〕前記視覚的コンテキストは、自由形のウェブ・ブラウザーまたはアプリケーション・インターフェースである、項目Ａ記載のコンピュータ実装される方法。
【００７０】
〔項目Ｃ〕前記凝視入力が、少なくとも前記意図された視覚的要素に関連する視線入力または少なくとも前記意図された視覚的要素に関連する頭の姿勢入力を含み、前記ユーザーの頭の姿勢入力は視線入力の代理のはたらきをする、項目ＡまたはＢ記載のコンピュータ実装される方法。
【００７１】
〔項目Ｄ〕前記特定の視覚的要素を決定するために前記視覚的要素の個々の視覚的要素に関連付けられた確率を計算する段階をさらに含み、前記確率は少なくとも部分的には前記語彙的特徴および前記凝視特徴に基づく、項目ＡないしＣのうちいずれか一項記載のコンピュータ実装される方法。
【００７２】
〔項目Ｅ〕少なくとも部分的には、計算された確率に基づいて、前記個々の視覚的要素をフィルタリングする段階と；  視覚的要素の集合を識別する段階であって、該識別は、視覚的要素の前記集合における個々の視覚的要素が所定の閾値より上の確率をもつことに少なくとも部分的には基づく、段階と；  視覚的要素の前記集合から前記特定の視覚的要素を識別する段階とをさらに含む、項目ＡないしＤのうちいずれか一項記載のコンピュータ実装される方法。
【００７３】
〔項目Ｆ〕凝視特徴を抽出することが：  前記凝視入力に関連する複数の固定点を識別し；  前記複数の固定点のうちの所定数をクラスター内にグループ化し；  前記凝視特徴を抽出するために前記クラスターの重心を特定の固定点として識別することを含む、項目ＡないしＥのうちいずれか一項記載のコンピュータ実装される方法。
【００７４】
〔項目Ｇ〕凝視特徴を抽出することが：  前記発話入力の開始時刻および終了時刻を計算し；  少なくとも部分的には：特定の固定点と前記視覚的要素のうちの個々の視覚的要素に関連するエリアとの間の距離；前記発話入力の開始時刻；および前記発話入力の終了時刻に基づいて前記凝視特徴を抽出することを含む、項目ＡないしＦのうちいずれか一項記載のコンピュータ実装される方法。
【００７５】
〔項目Ｈ〕前記特定の視覚的要素がアクションに関連付けられており、当該方法はさらに、少なくとも部分的には前記特定の視覚的要素を識別することに基づいて、前記意図された視覚的要素に関連付けられたアクションを前記視覚的コンテキストにおいて実行させることを含む、項目ＡないしＧのうちいずれか一項記載のコンピュータ実装される方法。
【００７６】
〔項目Ｉ〕プロセッサによって実行されたときに項目ＡないしＨのうちいずれか一項記載の方法を実行するようコンピュータを構成する命令をエンコードされた一つまたは複数のコンピュータ可読媒体。
【００７７】
〔項目Ｊ〕一つまたは複数のプロセッサと一つまたは複数のコンピュータ可読媒体とを有する装置であって、前記コンピュータ可読媒体は、前記一つまたは複数のプロセッサによって実行されたときに項目ＡないしＨのうちいずれか一項記載のコンピュータ実装される方法を実行するようコンピュータを構成する命令がエンコードされている、装置。
【００７８】
〔項目Ｋ〕視覚的コンテキスト内の、ユーザー対話のために利用可能な視覚的要素を識別する手段と；  前記視覚的コンテキスト内の前記視覚的要素の一つまたは複数に関連付けられたユーザー入力を受領する手段であって、前記ユーザー入力は：  前記一つまたは複数の視覚的要素の特定の視覚的要素を指示する、発話入力から導出される発声；および  前記一つまたは複数の視覚的要素のうちの、前記特定の視覚的要素を含む少なくともいくつかに関連する凝視入力を含む、手段と；  少なくとも部分的には前記視覚的要素および前記ユーザー入力に基づいて語彙的特徴および凝視特徴を抽出する手段と；  少なくとも部分的には前記語彙的特徴および凝視特徴に基づいて前記特定の視覚的要素を決定する手段とを有する、システム。
【００７９】
〔項目Ｌ〕前記視覚的コンテキストは、自由形のウェブ・ブラウザーまたはアプリケーション・インターフェースである、項目Ｋ記載のシステム。
【００８０】
〔項目Ｍ〕前記凝視入力が、少なくとも前記意図された視覚的要素に関連する視線入力または少なくとも前記意図された視覚的要素に関連する頭の姿勢入力を含み、前記ユーザーの頭の姿勢入力は視線入力の代理のはたらきをする、項目ＫまたはＬ記載のシステム。
【００８１】
〔項目Ｎ〕前記特定の視覚的要素を決定するために前記視覚的要素の個々の視覚的要素に関連付けられた確率を計算する手段をさらに有しており、前記確率は少なくとも部分的には前記語彙的特徴および前記凝視特徴に基づく、項目ＫないしＭのうちいずれか一項記載のシステム。
【００８２】
〔項目Ｏ〕少なくとも部分的には、計算された確率に基づいて、前記個々の視覚的要素をフィルタリングする手段と；  視覚的要素の集合を識別する手段であって、該識別は、視覚的要素の前記集合における個々の視覚的要素が所定の閾値より上の確率をもつことに少なくとも部分的には基づく、手段と；  視覚的要素の前記集合から前記特定の視覚的要素を識別する手段とをさらに有する、項目ＫないしＮのうちいずれか一項記載のシステム。
【００８３】
〔項目Ｐ〕凝視特徴を抽出することが：  前記凝視入力に関連する複数の固定点を識別し；  前記複数の固定点のうちの所定数をクラスター内にグループ化し；  前記凝視特徴を抽出するために前記クラスターの重心を特定の固定点として識別することを含む、項目ＫないしＯのうちいずれか一項記載のシステム。
【００８４】
〔項目Ｑ〕凝視特徴を抽出することが：  前記発話入力の開始時刻および終了時刻を計算し；  少なくとも部分的には：特定の固定点と前記視覚的要素のうちの個々の視覚的要素に関連するエリアとの間の距離；前記発話入力の開始時刻；および前記発話入力の終了時刻に基づいて前記凝視特徴を抽出することを含む、項目ＫないしＰのうちいずれか一項記載のシステム。
【００８５】
〔項目Ｒ〕前記特定の視覚的要素がアクションに関連付けられており、当該方法はさらに、少なくとも部分的には前記特定の視覚的要素を識別することに基づいて、前記意図された視覚的要素に関連付けられたアクションを前記視覚的コンテキストにおいて実行させることを含む、項目ＫないしＱのうちいずれか一項記載のシステム。
【００８６】
〔項目Ｓ〕命令をエンコードされた一つまたは複数のコンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたときに：  視覚的コンテキスト内の、ユーザー対話を受領するための視覚的要素を識別する段階と；  前記視覚的コンテキスト内の前記視覚的要素のうちの第一の視覚的要素を指示する発話入力から文字起こしされたユーザー発声を受領する段階と；  前記視覚的コンテキスト内の前記視覚的要素のうちの少なくとも第二の視覚的要素に関連する凝視入力を受領する段階と；  少なくとも部分的には前記ユーザー発声および前記視覚的要素に基づいて語彙的特徴を抽出する段階と；  少なくとも部分的には前記凝視入力および前記視覚的要素に基づいて凝視特徴を抽出する段階と；  少なくとも部分的には前記語彙的特徴および凝視特徴に基づいて前記第一の視覚的要素を決定する段階とを含む動作を実行するようコンピュータを構成するものである、一つまたは複数のコンピュータ可読媒体。
【００８７】
〔項目Ｔ〕前記動作がさらに、少なくとも部分的には前記凝視入力および前記視覚的要素に基づいてヒート・マップ特徴を抽出する段階を含む、項目Ｓ記載の一つまたは複数のコンピュータ可読媒体。
【００８８】
〔項目Ｕ〕前記動作がさらに、前記視覚的要素の個々の視覚的要素についてバウンディングボックスを決定することを含み、前記バウンディングボックスは前記個々の視覚的要素に関連付けられたエリアを含む、請求項ＳまたはＴ記載の一つまたは複数のコンピュータ可読媒体。
【００８９】
〔項目Ｖ〕凝視特徴を抽出することは、所定の諸時点での、個々の視覚的要素についてのバウンディングボックスと前記凝視入力に関連する固定点との間の距離を計算することを含み、前記バウンディングボックスは前記個々の視覚的要素に関連付けられたエリアを含む、項目ＳないしＵのうちいずれか一項記載の一つまたは複数のコンピュータ可読媒体。
【００９０】
〔項目Ｗ〕語彙的特徴を抽出することは、前記視覚的要素の個々の視覚的要素に関連付けられたテキストと前記ユーザー発声との間の語彙的類似性を計算することを含む、項目ＳないしＶのうちいずれか一項記載の一つまたは複数のコンピュータ可読媒体。
【００９１】
〔項目Ｘ〕前記特定の視覚的要素を決定することが、少なくとも部分的には前記語彙的特徴および凝視特徴の少なくとも一方に二項分類器を適用することに基づいて、前記視覚的要素を分類することを含む、項目ＳないしＷのうちいずれか一項記載の一つまたは複数のコンピュータ可読媒体。
【００９２】
〔項目Ｙ〕一つまたは複数のプロセッサと、項目ＳないしＸのうちいずれか一項記載の一つまたは複数のコンピュータ可読媒体とを有する装置。
【００９３】
〔項目Ｚ〕コンピュータ可読媒体と；  一つまたは複数のプロセッサと；  前記一つまたは複数のプロセッサによって実行可能な、前記コンピュータ可読媒体上の一つまたは複数のモジュールとを有するシステムであって、前記一つまたは複数のモジュールは：  視覚的コンテキストに関連するユーザー・インターフェース上に呈示された複数の視覚的要素のうちの特定の視覚的要素を指示する発話入力から文字起こしされたユーザー発声；および  前記視覚的コンテキストに関連する前記ユーザー・インターフェース上に呈示された前記複数の視覚的要素のうちの一つまたは複数に向けられた凝視入力を受領するよう構成された受領モジュールと；  少なくとも部分的には前記複数の視覚的要素、前記ユーザー発声および前記凝視入力に基づいて一組の特徴を抽出するよう構成された抽出モジュールと；  少なくとも部分的には前記一組の特徴に基づいて前記特定の視覚的要素を識別するよう構成された解析モジュールとを含む、
システム。
【００９４】
〔項目ＡＡ〕前記ユーザー・インターフェース上で前記複数の視覚的要素を表示するよう構成された表示モジュールをさらに有する、項目Ｚ記載のシステム。
【００９５】
〔項目ＡＢ〕前記一組の特徴は、少なくとも語彙的特徴および凝視特徴を含み、  語彙的特徴は、前記複数の視覚的要素の個々の視覚的要素に関連付けられたテキストと前記ユーザー発声との間の語彙的類似性を表わし、  凝視特徴は、所定の諸時点での、前記個々の視覚的要素に関連付けられたバウンディングボックスと前記凝視入力に関連する固定点との間の距離を表わす、項目ＺないしＡＡのうちいずれか一項記載のシステム。
【００９６】
〔項目ＡＣ〕前記抽出モジュールはさらに、少なくとも部分的には前記凝視入力および前記複数の視覚的要素に基づいてヒート・マップ特徴を抽出するよう構成されている、項目ＺないしＡＢのうちいずれか一項記載のシステム。
【００９７】
〔項目ＡＤ〕前記解析モジュールがさらに、前記特定の視覚的要素を識別するために前記複数の視覚的要素の個々の視覚的要素に関連付けられた確率を計算するよう構成されており、前記確率は少なくとも部分的には語彙的特徴および凝視特徴に基づく、項目ＺないしＡＣのうちいずれか一項記載のステム。
【００９８】
〔項目ＡＥ〕前記解析モジュールがさらに、少なくとも部分的には、前記複数の視覚的要素に関連付けられた計算された確率すべてのうちで最高の確率をもつ特定の要素に基づいて前記特定の視覚的要素を識別するよう構成されている、項目ＡＤ記載のシステム。
【００９９】
〔項目ＡＦ〕前記解析モジュールがさらに：  第一のプロセスにおいて前記語彙的特徴を分類し；  前記第一のプロセスとは異なる時間における第二のプロセスにおいて前記凝視特徴を分類し；  少なくとも部分的には前記語彙的特徴を分類することおよび前記凝視特徴を分類することに基づいて：  前記特定の視覚的要素を識別するために前記複数の視覚的要素の個々の視覚的要素に関連付けられた確率を計算し；  少なくとも部分的には該計算された確率に基づいて前記特定の視覚的要素を識別するよう構成されている、項目ＡＤ記載のシステム。
【図１】
2017536600.tif 000003
【図２】
2017536600.tif 000004
【図３】
2017536600.tif 000005
【図４】
2017536600.tif 000006
【図５】
2017536600.tif 000007
【図６】
2017536600.tif 000008
【国際調査報告】
2017536600.tif 000009
2017536600.tif 000010
2017536600.tif 000011