(57)【要約】  言語モデルバックオフシステムは、選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために１つ以上の言語モデルを利用するユーザインタフェースと共に用いることができる。ユーザ入力解釈モジュールが、ユーザ入力を受信し、ユーザ入力を解釈することで、１つ以上のユーザインタフェース入力コンポーネントから選択がなされているかどうかを判定する。選択がなされていない場合、ユーザ入力解釈モジュールは、ユーザインタフェース入力コンポーネントのナビゲーションを制約するために利用される１つ以上の言語モデルをバックオフするための条件が、満たされているかどうかを判定する。条件が満たされている場合、言語モデルバックオフモジュールが、１つ以上の言語モデルをバックオフする。
2010532062.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの、前に受信されたユーザインタフェース入力コンポーネントに基づいて、文字セットを表す選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために、１つ以上の言語モデルを利用するユーザインタフェースと共に用いられる言語モデルバックオフシステムであって、
ユーザ入力を受信し、前記ユーザ入力を解釈することで、１つ以上のユーザインタフェース入力コンポーネントから選択がなされているかどうかを判定するユーザ入力解釈モジュールを備え、
前記ユーザ入力解釈モジュールは、選択がなされていない場合、ユーザインタフェース入力コンポーネントのナビゲーションを制約するために利用される前記１つ以上の言語モデルのうち少なくとも１つを、代替言語モデルに変更するための条件が満たされているかどうかを判定し、
前記代替言語モデルは、変更対象の１つ以上の言語モデルによって定義されたユーザインタフェースコンポーネントのセットとは異なる選択可能なユーザインタフェースコンポーネントのセットを定義し、
前記言語モデルバックオフシステムは、さらに、
前記条件が満たされている場合に、前記１つ以上の言語モデルのうち少なくとも１つを、前記代替言語モデルに変更する言語モデルバックオフモジュールを備える
言語モデルバックオフシステム。
【請求項２】
さらに、選択可能なユーザインタフェースコンポーネントと、選択不可能なユーザインタフェースコンポーネントとを、前記１つ以上の利用されている言語モデルに従って視覚的に区別する焦点インジケータを用いて、前記ユーザインタフェース入力コンポーネントを表示するユーザインタフェースを備える
請求項１記載の言語モデルバックオフシステム。
【請求項３】
さらに、前のユーザインタフェース入力コンポーネントの選択に基づいて、前記選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために前記１つ以上の言語モデルを利用するナビゲーション制約モジュールを備える
請求項２記載の言語モデルバックオフシステム。
【請求項４】
前記ナビゲーション制約モジュールは、前記１つ以上の言語モデルを利用することで決定される、次に選択される前記コンポーネントの確率に基づいて、前記コンポーネントのサイズを制御することによって、前記ユーザインタフェース入力コンポーネントのナビゲーションを制約する
請求項３記載の言語モデルバックオフシステム。
【請求項５】
前記ナビゲーション制約モジュールは、前記１つ以上の言語モデルを利用することで決定される、次に選択される前記コンポーネントの確率に基づいて、前記コンポーネントへのポインタの引き寄せを制御することによって、前記ユーザインタフェース入力コンポーネントのナビゲーションを制約する
請求項３記載の言語モデルバックオフシステム。
【請求項６】
言語モデルバックオフモジュールは、複数の言語モデルを使用して計算される確率の重みを調整することによって、前記１つ以上の言語モデルのうち少なくとも１つを、前記代替言語モデルに変更する
請求項１記載の言語モデルバックオフシステム。
【請求項７】
前記言語モデルバックオフモジュールは、より制約の強い言語モデルを利用して計算される確率に、より少ない重みを与える一方で、あまり制約の強くない言語モデルを利用して計算される確率に、より多くの重みを与えることを保証するように前記重みを調整する
請求項６記載の言語モデルバックオフシステム。
【請求項８】
前記ユーザ入力解釈モジュールは、前の選択からの時間に基づいて、前記条件が満たされているかどうかを判定する
請求項１記載の言語モデルバックオフシステム。
【請求項９】
前記ユーザ入力解釈モジュールは、前記ユーザインタフェースの入力装置とユーザとの検出された相互作用の特徴セットを考慮に入れた確率論的モデルを利用することによって、前記条件が満たされているかどうかを判定する
請求項１記載の言語モデルバックオフシステム。
【請求項１０】
前記ユーザ入力解釈モジュールは、少なくとも、以下のセンサ入力
（ａ）指位置
（ｂ）クリックイベント
（ｃ）加速度微分値
（ｄ）保持積分値
（ｅ）２点指位置およびそれらの複数の微分値
（ｆ）２点クリックイベント
（ｇ）２点指圧力値
（ｈ）入力装置加速度およびその積分値
または、
（ｉ）保持センサ出力およびそれらの微分値
の１つを含む特徴セットを利用する
請求項９記載の言語モデルバックオフシステム。
【請求項１１】
少なくとも１つの、前に受信されたユーザインタフェース入力コンポーネントに基づいて、文字セットを表す選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために、１つ以上の言語モデルを利用するユーザインタフェースと共に用いられる言語モデルバックオフ方法であって、
ユーザ入力を受信し、１つ以上のユーザインタフェース入力コンポーネントから選択がなされているかどうかを判定するために前記ユーザ入力を解釈し、
選択がなされていない場合、ユーザインタフェース入力コンポーネントのナビゲーションを制約するために利用される前記１つ以上の言語モデルのうち少なくとも１つを、代替言語モデルに変更するための条件が満たされているかどうかを判定し、
前記代替言語モデルは、前記変更対象の１つ以上の言語モデルによって定義されたユーザインタフェースコンポーネントのセットとは異なる選択可能なユーザインタフェースコンポーネントのセットを定義し、
前記言語モデルバックオフ方法は、さらに、
前記条件が満たされている場合に、前記１つ以上の言語モデルのうち少なくとも１つを、代替言語モデルに変更する
言語モデルバックオフ方法。
【請求項１２】
さらに、選択可能なユーザインタフェースコンポーネントと、選択不可能なユーザインタフェースコンポーネントとを、前記１つ以上の利用されている言語モデルに従って視覚的に区別する焦点インジケータを用いて、前記ユーザインタフェース入力コンポーネントを表示する
請求項１１記載の言語モデルバックオフ方法。
【請求項１３】
さらに、
前の選択に基づいて、前記選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために前記１つ以上の言語モデルを利用する
請求項１２記載の言語モデルバックオフ方法。
【請求項１４】
さらに、前記１つ以上の言語モデルを利用することで決定される、次に選択される前記コンポーネントの確率に基づいて、前記コンポーネントのサイズを制御することによって、前記ユーザインタフェース入力コンポーネントのナビゲーションを制約する
請求項１３記載の言語モデルバックオフ方法。
【請求項１５】
さらに、前記１つ以上の言語モデルを利用することで決定される、次に選択される前記コンポーネントの確率に基づいて、前記コンポーネントへのポインタの引き寄せを制御することによって、前記ユーザインタフェース入力コンポーネントのナビゲーションを制約する
請求項１３記載の言語モデルバックオフ方法。
【請求項１６】
さらに、複数の言語モデルを使用して計算される確率の重みを調整することによって、前記１つ以上の言語モデルのうち少なくとも１つを、前記代替言語モデルに変更する
請求項１１記載の言語モデルバックオフ方法。
【請求項１７】
さらに、より制約の強い言語モデルを利用して計算される確率に、より少ない重みを与える一方で、あまり制約の強くない言語モデルを利用して計算される確率に、より多くの重みを与えることを保証するように前記重みを調整する
請求項１６記載の言語モデルバックオフ方法。
【請求項１８】
さらに、前の選択からの時間に基づいて、前記条件が満たされているかどうかを判定する
請求項１１記載の言語モデルバックオフ方法。
【請求項１９】
さらに、前記ユーザインタフェースの入力装置とユーザとの検出された相互作用の特徴セットを考慮に入れた確率論的モデルを利用することによって、前記条件が満たされているかどうかを判定する
請求項１１記載の言語モデルバックオフ方法。
【請求項２０】
さらに、少なくとも、以下のセンサ入力
（ａ）指位置
（ｂ）クリックイベント
（ｃ）加速度微分値
（ｄ）保持積分値
（ｅ）２点指位置およびそれらの複数の微分値
（ｆ）２点クリックイベント
（ｇ）２点指圧力値
（ｈ）入力装置加速度およびその積分値
または、
（ｉ）保持センサ出力およびそれらの微分値
の１つを含む特徴セットを利用する
請求項１９記載の言語モデルバック方法。
【請求項２１】
前に受信されたユーザインタフェース入力コンポーネントに基づいて、文字セットを表す選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために、１つ以上の言語モデルを利用するユーザインタフェースと共に用いられる言語モデルバックオフシステムであって、
選択可能なユーザインタフェースコンポーネントと、選択不可能なユーザインタフェースコンポーネントとを、前記１つ以上の利用されている言語モデルに従って視覚的に区別する焦点インジケータを用いて、前記ユーザインタフェース入力コンポーネントを表示するユーザインタフェースと、
前のユーザインタフェース入力コンポーネントの選択に基づいて、前記選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために前記１つ以上の言語モデルを利用するナビゲーション制約モジュールと、
ユーザ入力を受信し、選択が前記１つ以上のユーザインタフェース入力コンポーネントでなされるかどうかを判定するために前記ユーザ入力を解釈するユーザ入力解釈モジュールとを備え、
前記ユーザ入力解釈モジュールは、選択がなされていない場合、前記１つ以上の言語モデルのうち少なくとも１つを、代替言語モデルに変更するための条件が満たされているどうかを判定し、
前記代替言語モデルは、（ａ）前の選択からの時間と、（ｂ）前記ユーザインタフェースの入力装置とユーザとの検出された相互作用の特徴セットを考慮に入れた確率論的モデルとに基づいて、前記変更対象の１つ以上の言語モデルによって定義されたユーザインタフェースコンポーネントのセットよりも大きい選択可能なユーザインタフェースコンポーネントのセットを定義し、
前記言語モデルバックオフシステムは、さらに、
前記条件が満たされている場合に、より制約の強い言語モデルを利用して計算される確率に、より少ない重みを与える一方で、あまり制約の強くない言語モデルを利用して計算される確率に、より多くの重みを与えることを保証するように、複数の言語モデルを使用して計算される確率の重みを調整することによって、前記１つ以上の言語モデルのうち少なくとも１つを、前記代替言語モデルに変更する言語モデルバックオフモジュールを備える
言語モデルバックオフシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、ユーザインタフェースに関し、特に、ユーザによる選択のナビゲーションおよび実行を支援するために言語制約を利用するユーザインタフェースに関する。
【背景技術】
【０００２】
この項目の記載は、単に、本開示に関連した背景情報を提供するものであり、従来技術を構成しない場合がある。
【０００３】
ユーザインタフェースは、接触検知コントローラまたは他のポインタデバイスと、オンスクリーンインタフェースとに依存することができる。この種のインタフェースは、ユーザがユーザインタフェースを通してナビゲーションを行い、より簡単により早く選択できるよう支援するために言語制約を利用することができる。この種のインタフェースはまた、ユーザをよりよく誘導するようにビジュアルフィードバックを増やすために言語制約を利用することができる。
【０００４】
本願明細書において、言語とは、（例えば、スクリーン上のようなスペースに配置された）種々のＵＩ要素に関連する可能性があり、かつ何らかの固有の制約（例えば、Ｎ−ｇｒａｍｓ制約）を有する記号の集合を意味する。適用例として、接触検知リモートコントローラによって操作するオンスクリーンキーボードが挙げられる。この種の適用例は、サービスとの相互作用にインタフェースナビゲーションおよびテキスト入力を必要とする、次世代のインターネット対応ＴＶを実現する重要な技術となり得る。米国特許第６７６５５５７号明細書には、双方向テレビ等の家庭用娯楽機器を制御するためのタッチパッドを使用することで利便性を高める技術が記載されている。米国特許第６７６５５５７号明細書には、タッチパッドを用いてキー入力を行うことなどが例として記載されている。これらの例では、ユーザ入力を補助するために上述したような言語制約を用いることが着想されるであろう。しかしながら、言語制約を用いると、実際に入力したい文字をキー入力により入力することができない場合が起こる。
【発明の概要】
【０００５】
言語モデルバックオフシステムは、選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために１つ以上の言語モデルを利用するユーザインタフェースと共に用いることができる。ユーザ入力解釈モジュールが、ユーザ入力を受信し、ユーザ入力を解釈することで、１つ以上のユーザインタフェース入力コンポーネントから選択がなされているかどうかを判定する。選択がなされていない場合、ユーザ入力解釈モジュールは、ユーザインタフェース入力コンポーネントのナビゲーションを制約するために利用される１つ以上の言語モデルをバックオフするための条件が満たされているかどうかを判定する。条件が満たされている場合、言語モデルバックオフモジュールが、１つ以上の言語モデルをバックオフする。
【０００６】
適用可能な他の分野は、本願明細書において提供される説明から明らかになる。説明および具体例は説明の目的のみを意図しており、本開示の範囲を限定することを意図しないと理解すべきである。
【０００７】
［関連出願の記述］
本出願は、２００７年６月２８日に出願された米国特許出願第６０／９４６８３０号、および２００７年１０月２４日に出願された米国特許出願第１１／９７７３３１号の利益を請求する。上記出願の開示を、本願明細書に引用して援用する。
【図面の簡単な説明】
【０００８】
本願明細書において記載されている図面は、説明の目的のみに用いられ、いかなる形であれ本開示の範囲を限定することを意図するものではない。
【図１】図１は、選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために１つ以上の言語モデルを利用するユーザインタフェースと共に用いられる言語モデルバックオフシステムを示すブロック図である。
【図２】図２は、相互作用領域が１つであるオンスクリーンキーボードを示す図である。
【図３】図３は、時間特徴のみに基づくビジュアルバックオフを示すグラフ図である。
【図４】図４は、選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために１つ以上の言語モデルを利用するユーザインタフェースと共に用いられる言語モデルバックオフ方法を示すフロー線図である。
【発明を実施するための形態】
【０００９】
以下の説明は、本質的に、単なる例示であり、本開示、適用例または用途を限定することを意図するものではない。
【００１０】
本開示は、接触検知コントローラによって制御される、使い易いオンスクリーン専用のユーザインタフェースを通して、有益かつ直観的なフィードバックを提供するという課題への解決法に関する。基本的な考えは、いかなる時も、起こりえる動作は一定の種類に限られ、各動作ごとに選択される可能性が異なるということである。この種の機構は、本願明細書において「言語」と称され、この機構は、例えば、ポインタデバイスを用いて選択を行う際に、ユーザをよりよく誘導するために利用される。同時に、元の言語で示されることができない新しい選択を、ユーザができるようにすることが望ましい。この能力を提供するためには、ユーザが完全に自由な選択を必要とするときに、言語制約を緩める必要がある。この緩和は、自動的に（すなわち、ユーザが明示的に要求することなく）実行されることが望ましい。この能力を提供するために、いくつかの実施形態において、ポインタの軌跡、ポインタの移動の速度、およびクリック間の遅延を、特徴ベクトルとして用いることができる。この場合、これらの特徴ベクトルは、確率論的に言語モデルに関連付けられていてもよい。追加的または代替的な実施形態においては、必要なときに、「ビジュアルバックオフ」（すなわち、視覚的、かつ時間依存の方法で表され、ユーザによる言語外の選択を可能にする言語モデルの緩和バージョン）を導入することができる。
【００１１】
図１を参照すると、言語モデルバックオフシステムは、選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために１つ以上の言語モデル１０２を利用するユーザインタフェース１００と共に用いることができる。ナビゲーション制約モジュール１０４は、ユーザによってなされた前の選択１０８に従って、例えば焦点シフトのようなユーザナビゲーションを制約するために１つ以上の言語モデル１０２を利用する。ユーザ入力解釈モジュール１１０は、ユーザ選択を認識し、また、他のユーザ入力および条件を評価することで、１つ以上の言語モデル１０２をバックオフするための条件が満たされているかどうかを判定する。条件が満たされている場合、言語モデルバックオフモジュール１１２がバックオフを実行し、ナビゲーション制約モジュール１０４は、ユーザインタフェース１００によってユーザにより多くの選択を示すために、バックオフされた言語モデル１０２を適用する。
【００１２】
次に図２を見ると、実施形態によっては、ユーザインタフェース１００がオンスクリーンキーボードを表示できるものがあり、この場合のユーザの目的は、例えば英単語または電子メールアドレス（またはウェブサイトアドレスなど）などのテキストを書くことである。したがってこの場合、言語は、英語と、電子メールおよびインターネットアドレスに関する言語とである。しかしながら、言語モデルバックオフシステムが、特定の目的を達成するために一連の動作が調整される必要のある、いかなるオンスクリーンユーザインタフェース１００にも適用できることは、容易に理解されるはずである。
【００１３】
言語モデルバックオフシステムの実施形態の中には、以下の形式の言語モデル１０２を１つ以上有することができるものがある。
Ｎ−ｗｏｒｄｓ：  ｐ｛ｗ（ｋ）／ｗ（ｋ−ｌ），．．，ｗ（ｋ−Ｎ）｝
Ｎ−ｃｈａｒｓ：  ｐ｛ｃ（ｋ）／ｃ（ｋ−ｌ），．．，ｃ（ｋ−Ｎ）｝
ここで、ｗ（・）は、（この場合）英語の単語であり、ｃ（・）は、文字である。
【００１４】
実施形態によっては、より厳しく制約された混合モデルを、次に画面に入力される文字を予測するために用いることができる。
混合モデル：ｐ｛ｃ（ｋ）／ｃ（ｋ−１），．．，ｃ（ｋ−Ｎ），ｗ（ｊ−１），．．，            ｗ（ｊ−Ｍ）｝
前のＮ個の文字および前のＭ個の単語を知ることで、この混合モデルは、次の文字の確率を提供する。
【００１５】
以下に示すように、ナビゲーション制約モジュール１０４は、１つ以上の言語モデル１０２を利用することで決定される、次に選択されるコンポーネントの確率に基づいて、コンポーネントのサイズまたはコンポーネントへのポインタの引き寄せを制御することによって、ユーザインタフェース入力コンポーネントのナビゲーションを制約する。ナビゲーション制約モジュール１０４の具体的な動作は、以下の通りである  次の文字に対する確率は、様々な方法でユーザによるナビゲーションを制約し、かつビジュアルフィードバックを提供するために利用できる。キーボードを用いたテキスト入力の場合、例えば、次の文字となるキー文字の確率に基づいて、キーボードのキーのサイズを制御できる。このように、キーのサイズは、バックオフプロセスの間、拡大および縮小することができる。代替的または追加的に、文字の確率のチェーフィング値に基づいてキーを強調して表示することができる。代替的または追加的に、いかなる時も、カーソルの近くにある最高の確率を示す様々なキーによって、ポインタを引き寄せることができる。実施形態によっては、この種の引き寄せは、ｒｅｍｏｔｅ（ｘ，ｙ）をゆがめることによって、すなわち、画面上のコンポーネントの（言語制約からの）確率フィールドに基づいてｓｃｒｅｅｎ（ｘ，ｙ）をゆがめることによって実行できる。このプロセスにより、より低い確率のｓｃｒｅｅｎ（ｘ，ｙ）の領域と比較してより高い確率のｓｃｒｅｅｎ（ｘ，ｙ）の領域からアトラクタを作ることができる。コンポーネントの確率は、時間の経過および／または後述するような他の認識可能な現象に応じて、選択イベントの間で複数回変更することができるので、それにしたがって確率フィールドを変更することができる。よって、ポインタに関する個々のコンポーネントおよび／またはコンポーネント群のひきつける力もまた、変更できる。これらのビジュアル制約技術を、２つ以上を組み合わせて利用することができると想定される。
【００１６】
Ｎ−ｗｏｒｄｓおよび／またはＮ−ｃｈａｒｓモデルと比較して、混合モデルは、非常に制約されたものになり得る。例えば、「ｐｒｏｂａｂｉｌｉｔｙ」という単語の場合、「ｐｒ」と綴った後に、モデルは、英語の形態学的な制約のために６つの母音のみに非ゼロ確率を与える。したがって、次の文字として非ゼロ確率を有する文字のみが使用できるようにユーザインタフェース１００を制約すると、ユーザは、当該言語に存在しない新しい単語（例えば、外国語の名前や略語）を入力することが出来なくなる。言語モデルバックオフシステムは、この種の課題に対処する。
【００１７】
以下に示すように、言語モデルバックオフモジュール１１２は、複数の言語モデル１０２を使用して計算される確率の重みを調整することによって、１つ以上の言語モデル１０２をバックオフする。言語モデルバックオフモジュール１１２の具体的な動作は、以下の通りである。次に図３を見ると、いくつかの実施形態における混合モデルのバックオフは、混合モデルとＮ−ｃｈａｒｓモデルとの間の補間とみなすことができる。
Ｐ＿ｂｋ｛ｃ（ｋ）／ｃ（ｋ−１），．．，ｃ（ｋ−Ｎ）｝＝α＊
ｐ｛ｃ（ｋ）／ｃ（ｋ−１），．．，ｃ（ｋ−Ｎ）｝＋（１−α）＊
ｐ｛ｃ（ｋ）／ｃ（ｋ−１），．．，ｃ（ｋ−Ｎ），ｗ（ｊ−１），．．，ｗ（ｊ‐Ｍ）｝
ここで、αは、［０−１］の変数である。この場合のバックオフの概念は、ポインタの移動から決定されるようなユーザ動作に、αを結び付けることである。高水準な考えによると、（制約されたモードの）混合モデルの現在の制約によってなされた選択にユーザが好印象を持たなければ、ユーザは選択を行わず、ユーザのポインタは、現在の制約が許可しない、ある領域をさまようことになる。例えば、ユーザが略語「ｐｒｂ」の入力を望む場合、混合モデルは「ｐｒ」の後に［ａｏｉｕｅｙ］の選択のみを可能にし、そのとき、ポインタは「ｂ」周辺をさまようが、選択はなされない（クリックされない）であろう。ここで、上記のように、ユーザ入力解釈モジュール１１０は、ポインタがさまよっている時間など、前の選択１０８からの時間に基づいて、バックオフするための条件が満たされているかどうかを判定する。文字「ｂ」の入力を可能にするために、システムは、０から１にバックオフ定数αを増加させることによって言語モデル制約を緩め始めることができる。つまり、言語モデルバックオフモジュール１１２は、より制約の強い言語モデル１０２を利用して計算される確率に、より少ない重みを与える一方で、あまり制約の強くない言語モデル１０２を利用して計算される確率に、より多くの重みを与えることを保証するように重みを調整する。こうすることによって、より制約の強い混合モデルはより少ない重みを与えられ、あまり制約の強くないＮ−ｃｈａｒｓモデルはより多くの重みを与えられる。その結果、ユーザが最終的に文字「ｂ」を選択することが可能になるまで、ユーザに対しより多くの選択を示すことができる。
【００１８】
バックオフは、言語モデル１０２がいくつであろうと、どんな種類であろうと、その補間に用いる重みを調整すれば成し得るということは、容易に理解されるはずである。例えば、さらに制約を緩めるために、Ｎ次の言語モデル自身を、Ｎ−１次、Ｎ−２次、…１次の言語モデルまで、バックオフすることができる。このように、実施形態によっては、制約レベルをさらに緩める必要がある場合、３−ｃｈａｒ言語モデルを、さらに２−ｃｈａｒ言語モデルおよび１−ｃｈａｒ言語モデルにバックオフすることができる。
Ｐ＿ｂａｋ｛ｃ（ｋ）／ｃ（ｋ−１），ｃ（ｋ−２）｝＝β＊ｐ｛ｃ（ｋ）／ｃ（ｋ−１），ｃ（ｋ−２）｝＋γ＊ｐ｛ｃ（ｋ）／ｃ（ｋ−１）｝＋θ＊ｐ｛ｃ（ｋ）｝
ここで、係数β、γ、θの合計は１である。これらの想定の下で、ユーザとの相互作用の間に実施される制約のレベルを変えるために、たとえば、時間に関して、係数もまた変動する必要がある。
【００１９】
バックオフはまた、最後の選択からの時間に加えて、ユーザインタフェース１００の入力装置を用いたユーザとの相互作用に依存することもできる。つまり、ユーザ入力解釈モジュール１１０は、ユーザインタフェースの入力装置とユーザとの検出された相互作用の特徴セットを考慮に入れた確率論的モデルを利用することによって、条件が満たされているかどうかを判定する。例えば、ユーザが積極的にユーザインタフェース１００と相互作用していない場合、または、次の選択をしようという試みに一貫性がない形でユーザインタフェースと相互作用している場合、バックオフは起こらなくてもよい。また、バックオフが起こる率は、ユーザがユーザインタフェースとどのように相互作用しているかに依存することができる。この能力を達成するために、いくつかの実施形態において、ユーザ意図予測のためのセンサモデルを利用することができる。
【００２０】
ビジュアルバックオフの基本的形式において、クリック間の時間が重要な役割を占めることができる。しかしながら、より一般的なバックオフの形式では、制約緩和のために遅延が用いられるだけでなく、ユーザのリモートコントローラ操作により提供される全ての特徴を考慮に入れた、より一般的な確率モデルが想定できる。たとえば、加速度計および保持センサを備えるタッチパッドリモートコントローラの場合、以下の特徴セットは、任意の時間ｔに対する特徴ベクトルｖ（ｔ）にまとめることができる。（ａ）２点指位置：（ｘ１，ｙ１）、（ｘ２，ｙ２）、および、それらの（複数の）微分値（ｘ１，ｙ１）’、（ｘ２，ｙ２）’、（ｘ１，ｙ１）”、（ｘ２，ｙ２）”など、（ｂ）２点クリックイベント：ｃｌ１、ｃｌ２、（ｃ）２点指圧力値：ｐ１、ｐ２、（ｄ）装置加速度：（ａｘ，ａｙ，ａｚ）、およびその積分（ｖｘ，ｖｙ，ｖｚ）、（ｘ，ｙ，ｚ）および、（ｅ）保持センサ出力：（ｈ１，．．．ｈｎ）、および、その微分値。センサ入力の追加的または代替的なタイプが特徴セットで利用できると予想される。包括的であるとはいえないが、センサ入力タイプの限定的でない例のいくつかは、以下の通りである。（ａ）指位置、（ｂ）クリックイベント、（ｃ）加速度微分値、（ｄ）保持積分値、（ｅ）２点指位置およびそれらの複数の微分値、（ｆ）２点クリックイベント、（ｇ）２点指圧力値、（ｈ）入力装置加速度およびその積分、または（ｉ）保持センサ出力およびそれらの微分値。
【００２１】
次の文字入力ｃ（ｔ）を探しているキーボード作業の状況において、ユーザ意図を検出するために以下のモデルを使用することができる。
ｃ（ｔ）＝ａｒｇｍａｘ  ｏｎ  ｃ  ｏｆ  Ｐ（ｃ／Ｖ，Ｃ）．．．ここで、Ｖは全ての前のベクトルｖ（０）．．．ｖ（ｔ）であり、Ｃ＝｛ｃ（０），．．．ｃ（ｔ）｝である。
本願明細書において、ユーザ意図とは、以下のユーザインタフェース要素のうち何れをユーザが次に選択しようとするかを意味する。
【００２２】
生成的モデルＭを用いることで、条件付のいくつかの独立仮定の下で、最尤解を導出することができる。
ｃ（ｔ）＝ａｒｇｍａｘ  ｏｎ  ｃ  ｏｆ  Ｐ（ｖ（ｔ）／ｃ，Ｃ，Ｍ）＊Ｐ（ｃ／Ｖ，Ｃ，Ｍ）＝ａｒｇｍａｘ  ｏｎ  ｃ  ｏｆ  Ｐ（ｖ（ｔ）／ｃ，Ｍ）＊ｐ（ｃ／Ｃ）
この公式は、センサモデルＰ（ｖ（ｔ）／ｃ，Ｍ）と言語モデルｐ（ｃ／Ｃ）との間の因数分解を示す。言語が単語構造を有する場合に備えて、前の表現に後退できるように、単語によってさらに言語モデルを条件付けることができる。
【００２３】
この枠組みの下で、ユーザ意図の最尤解は、訓練データセットを基に推定されたセンサモデルおよび言語モデル１０２の制約の下で、ビタビ復号によって効率的に解くことができる。また、固定のバックオフの重みを算出し、観察からの最尤に基づいて正しい経路をビタビ復号に選択させることで、バックオフ言語モデルを、最尤方法で、この枠組みにおいて直接的に積分することができる。代替的または追加的に、センサモデルおよび言語モデル１０２の双方をユーザ操作パターンに合わせることで、時間とともに精度を向上させられるように（製品と共に出荷される）最初のモデルを改良するために、統計モデリングにおいて用いられる標準的な適応技術を適用することができる。
【００２４】
最後に図４を参照すると、言語モデルバックオフ方法は、ステップ４００において選択可能なユーザインタフェース入力コンポーネントのナビゲーションを制約するために１つ以上の言語モデル１０２を利用するユーザインタフェース１００と共に用いることができる。選択可能なユーザインタフェース入力コンポーネントは、このように、ステップ４０２において、例えばポインタ、ハイライトなどの焦点インジケータを用いて、ユーザに表示できる。つまり、ユーザインタフェース１００は、焦点インジケータを用いてユーザインタフェース入力コンポーネントを表示する  制約は、コンポーネントのサイズを制御するために次の選択の確率を用いることで、かつ／または選択される確率がより高いコンポーネントにポインタを引き寄せることで、適用できる。この方法により、ユーザナビゲーションを、選択される確率が閾値より上であるそれらのコンポーネントに制限することができる。
【００２５】
ステップ４０４でユーザ入力が受け取られると、決定ステップ４０６において、入力タイプを解釈することで、少なくとも選択がなされたかどうかを判定する。つまり、ユーザ入力解釈モジュール１１０は、ユーザ入力を受け取り、入力タイプを解釈することで、選択がなされたかどうかを判定する。そうでない場合には、上述の通りに、決定ステップ４０８において、非選択入力を解釈することで、１つ以上の言語モデル１０２をバックオフするための条件が満たされたかどうかを判定する。つまり、ユーザ入力解釈モジュール１１０は、１つ以上の言語モデル１０２をバックオフするための条件が満たされたかどうかを判定する。条件が満たされている場合、１つ以上の言語モデル１０２がステップ４１０でバックオフされる。つまり、言語モデルバックオフモジュール１１２は、１つ以上の言語モデル１０２をバックオフする。例えば、２つ以上の言語モデル１０２に適用される重みは、より制約の弱いモデルに与えられる重みを増加させ、かつ、より制約の強いモデルに与えられる重みを減少させるように、ステップ４１０で調整することができる。ナビゲーションコマンド、例えば、ポインタ移動コマンドは、その後、バックオフされた言語モデル１０２を用いて、ステップ４００で処理される。
【００２６】
決定ステップ４０６において選択がなされている場合は、ステップ４１２において、現在焦点を有しているユーザインタフェース入力コンポーネントが選択される。その後、バックオフされた言語モデルは、ステップ４１４で完全に制約されるようにリセットすることができる。つまり、ナビゲーション制約モジュール１０４が、ユーザインタフェース入力コンポーネントのナビゲーションを制約し、その後、バックオフされた言語モデル１０２をリセットする。その後、処理は、ユーザによる次の選択を解釈するためにステップ４００に戻る。
【００２７】
先行した説明から、本願明細書において記載されているシステムおよび方法が多くの効果を得ることは、容易に理解されるはずである。例えば、それらは、センサデータと「言語」制約とに基づいてユーザ意図を検出する、一貫した枠組みを提供する。また、それらは、この種の枠組みの範囲内でユーザ意図を検出する、効率的かつ最適な最尤アルゴリズムを提供する。その上、それらは、制約の緩和に関する課題の解決法を提供する。つまり、この制約は、検索時間（ユーザが選択にかかる時間）の面で最適であり、言語に元々は含まれない新しい「単語」を、ユーザが支障なく入力できるように十分に緩和されている。さらに、それらは、ユーザが素早く、かつ最小の認識負荷で選択を行えるように上手く誘導する方法で、ビジュアル形式でシステムの状態をユーザに報告する統合的解決法を提供する。
【図１】
2010532062.tif 000003
【図２】
2010532062.tif 000004
【図３】
2010532062.tif 000005
【図４】
2010532062.tif 000006
【国際調査報告】
2010532062.tif 000007