(57)【要約】  存在感知ディスプレイコンポーネントにおける表示のために編集領域と、複数のキーおよび翻訳領域を含むグラフィカルキーボードとを含むグラフィカルユーザインターフェースを出力するモバイルコンピューティングデバイスについて記載する。デバイスは、入力によって選択された複数のキーからの1つまたは複数のキーを判断し、1つまたは複数のキーに基づいて、1つまたは複数の候補単語をソース言語から判断し、編集領域内に1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を表示のために出力する。デバイスは、少なくとも1つの候補単語からソース言語とは異なるターゲット言語に関連付けられた特定の単語の翻訳を判断し、翻訳領域内での表示のために特定の単語の翻訳の指示を出力する。
2019519010.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングデバイスによって、グラフィカルキーボードおよび編集領域を含むグラフィカルユーザインターフェースを表示のために出力するステップであって、前記グラフィカルキーボードは複数のキーおよび翻訳領域を備える、ステップと、
前記コンピューティングデバイスによって、前記複数のキーからの1つまたは複数のキーの選択に基づいて、ソース言語から1つまたは複数の候補単語を判断するステップと、
前記コンピューティングデバイスによって、前記編集領域内での表示のために前記1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を出力するステップと、
前記コンピューティングデバイスによって、前記少なくとも1つの候補単語から特定の単語の翻訳を判断するステップであって、前記特定の単語の前記翻訳は、前記ソース言語とは異なるターゲット言語に関連付けられる、ステップと、
前記コンピューティングデバイスによって、前記グラフィカルキーボードの翻訳領域内での表示のために前記特定の単語の前記翻訳の指示を出力するステップと
を含む、方法。
【請求項２】
前記グラフィカルキーボードは、アプリケーショングラフィカルユーザインターフェースの一部として表示のために出力され、前記アプリケーショングラフィカルユーザインターフェースは編集領域を含み、前記方法は、前記翻訳の選択の指示を受信したことに応答して、前記コンピューティングデバイスによって、前記編集領域内での表示のために前記翻訳の前記指示を出力するステップをさらに含む、請求項1に記載の方法。
【請求項３】
前記翻訳の前記選択の前記指示を受信するのに先立って、前記コンピューティングデバイスによって、前記編集領域内での表示のために前記特定の単語の指示を前記ソース言語で出力するステップをさらに含み、
前記翻訳の前記指示を前記編集領域内に出力するステップは、前記編集領域内の前記少なくとも1つの候補単語の前記指示を前記翻訳の前記指示で置き換えるステップを含む、
請求項2に記載の方法。
【請求項４】
前記翻訳の前記選択の前記指示を受信するのに先立って、
少なくとも1つの候補単語の前記指示は、前記編集領域内に第1の表示フォーマットで表示され、
他の単語の指示は、前記編集領域内に第2の表示フォーマットで表示され、前記第2の表示フォーマットは前記第1の表示フォーマットとは異なる、
請求項3に記載の方法。
【請求項５】
前記翻訳領域は、前記ターゲット言語を選択するための選択可能要素を含み、前記方法は、
前記コンピューティングデバイスによって、前記ターゲット言語を選択するための前記選択可能要素の選択に基づいて、前記ターゲット言語を第1の言語から前記第1の言語および前記ソース言語とは異なる第2の言語に変更するステップと、
前記コンピューティングデバイスによって、前記少なくとも1つの候補単語の前記翻訳を前記第1の言語から前記第2の言語に更新するステップと
をさらに含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記コンピューティングデバイスによって、前記コンピューティングデバイスの現在のロケーションに基づいて、前記ターゲット言語を判断するステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記コンピューティングデバイスによって、受信されたメッセージの推論される言語に基づいて、前記ターゲット言語を判断するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記コンピューティングデバイスによって、先行翻訳において使用された以前のターゲット言語に基づいて、前記ターゲット言語を判断するステップをさらに含む、請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記コンピューティングデバイスによって、1つまたは複数のキーの前記選択に基づいて、翻訳を実施するためのユーザコマンドを判断するステップをさらに含み、前記翻訳の前記指示は、翻訳を実施するための前記ユーザコマンドを判断したことに応答して、前記翻訳領域内での表示のために出力される、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記少なくとも1つの候補単語からの前記特定の単語の前記翻訳は、前記1つまたは複数の候補単語が前記ターゲット言語ではなく前記ソース言語に関連付けられていると判断したことに応答して判断される、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記少なくとも1つの候補単語からの前記特定の単語の前記翻訳は、前記ソース言語が第1のソース言語から第2のソース言語に変わったと判断したことに応答して判断され、前記第1のソース言語は前記ターゲット言語である、請求項1から10のいずれか一項に記載の方法。
【請求項１２】
存在感知ディスプレイコンポーネントと、
少なくとも1つのプロセッサと、
命令を記憶するメモリとを備えるモバイルデバイスであって、前記命令は、実行されると、前記少なくとも1つのプロセッサに、
前記存在感知ディスプレイコンポーネントにおける表示のためにグラフィカルキーボードおよび編集領域を含むグラフィカルユーザインターフェースを出力することであって、前記グラフィカルキーボードは複数のキーおよび翻訳領域を備える、出力することと、
前記存在感知ディスプレイコンポーネントにおいて検出された入力の指示を受信することと、
前記入力によって選択された前記複数のキーからの1つまたは複数のキーを判断することと、
前記1つまたは複数のキーに基づいて、ソース言語から1つまたは複数の候補単語を判断することと、
前記存在感知ディスプレイコンポーネントにおける、および前記編集領域内での表示のために前記1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を出力することと、
前記少なくとも1つの候補単語から特定の単語の翻訳を判断することであって、前記特定の単語の前記翻訳は、前記ソース言語とは異なるターゲット言語に関連付けられる、判断することと、
前記存在感知ディスプレイコンポーネントにおける、および前記翻訳領域内での表示のために前記特定の単語の前記翻訳の指示を出力することと
を行わせる、モバイルデバイス。
【請求項１３】
前記命令は、実行されると前記少なくとも1つのプロセッサに、前記翻訳の選択の指示を受信したことに応答して、前記存在感知ディスプレイコンポーネントにおける、および前記編集領域内での表示のために前記翻訳の前記指示をさらに出力させる、請求項12に記載のモバイルデバイス。
【請求項１４】
前記命令は、実行されると前記少なくとも1つのプロセッサに、
前記翻訳の前記選択の前記指示を受信するのに先立って、前記存在感知ディスプレイコンポーネントにおける、および前記編集領域内での表示のために前記特定の単語の指示を前記ソース言語でさらに出力させ、
前記翻訳の前記指示は、少なくとも、前記編集領域内の前記少なくとも1つの候補単語の前記指示を前記翻訳の前記指示で置き換えることによって、前記編集領域内での表示のために出力される、
請求項13に記載のモバイルデバイス。
【請求項１５】
請求項1から11のいずれか一項に記載の方法をコンピュータに実施させるための命令を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キーボードによる自動翻訳に関する。
【背景技術】
【０００２】
いくつかのアプリケーションを同時に実行することができるにもかかわらず、いくつかのモバイルコンピューティングデバイスは、一度に単一のアプリケーションのグラフィカルユーザインターフェース(GUI)しか提示することができない。複数のアプリケーションと一斉に対話するためにモバイルコンピューティングデバイスのユーザは、特定のタスクを完了するための異なるアプリケーションGUIの間を切り替えるためにいくつかの入力を与えなければならない場合がある。たとえば、モバイルコンピューティングデバイスのユーザが、グラフィカルキーボードを使用してメッセージ通信アプリケーションGUI内からメッセージをタイプ入力しており、単語を翻訳する必要がある場合、ユーザは、翻訳アプリケーションGUIに切り替え、翻訳アプリケーションに単語を翻訳させ、翻訳をメモリクリップボードにコピーし、メッセージ通信アプリケーションGUIに再度切り替え、翻訳をクリップボードからメッセージの中にペーストするためにいくつかの入力を与える必要がある場合がある。翻訳を実施するためにいくつかのコンピューティングデバイスによって求められるいくつかの入力を与えることは、冗長であり、繰返しが多く、時間を消費する場合がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
一例では、本方法は、コンピューティングデバイスによって、グラフィカルキーボードおよび編集領域を含むグラフィカルユーザインターフェースを表示のために出力するステップであって、グラフィカルキーボードは複数のキーおよび翻訳領域を備える、ステップと、コンピューティングデバイスによって、複数のキーからの1つまたは複数のキーの選択に基づいて、ソース言語から1つまたは複数の候補単語を判断するステップと、コンピューティングデバイスによって、編集領域内での表示のために1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を出力するステップとを含む。本方法は、コンピューティングデバイスによって、少なくとも1つの候補単語から特定の単語の翻訳を判断するステップであって、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられる、ステップと、コンピューティングデバイスによって、グラフィカルキーボードの翻訳領域内での表示のために特定の単語の翻訳の指示を出力するステップとをさらに含む。
【０００４】
別の例では、モバイルコンピューティングデバイスは、存在感知ディスプレイコンポーネントと、少なくとも1つのプロセッサと、メモリとを含む。メモリは命令を記憶し、命令は、実行されると、少なくとも1つのプロセッサに存在感知ディスプレイコンポーネントにおける表示のためにグラフィカルキーボードおよび編集領域を含むグラフィカルユーザインターフェースを出力させ、グラフィカルキーボードは複数のキーおよび翻訳領域を備える。命令は、実行されると、少なくとも1つのプロセッサにさらに、存在感知ディスプレイコンポーネントにおいて検出された入力の指示を受信することと、入力によって選択された複数のキーから1つまたは複数のキーを判断することと、1つまたは複数のキーに基づいて、ソース言語から1つまたは複数の候補単語を判断することと、存在感知ディスプレイコンポーネントにおける、および編集領域内での表示のために1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を出力することと、少なくとも1つの候補単語から特定の単語の翻訳を判断することであって、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられる、判断することと、存在感知ディスプレイコンポーネントにおける、および翻訳領域内での表示のために特定の単語の翻訳の指示を出力することとを行わせる。
【０００５】
別の例では、命令で符号化されたコンピュータ可読記憶媒体であって、命令は、コンピューティングデバイスの少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに編集領域およびグラフィカルキーボードを含むグラフィカルユーザインターフェースを表示のために出力することであって、グラフィカルキーボードは複数のキーおよび翻訳領域を備える、出力することと、複数のキーからの1つまたは複数のキーの選択の指示を受信する間、領域内での表示のために選択から推論される1つまたは複数の候補単語を出力することであって、1つまたは複数の候補単語はソース言語に関連付けられる、出力することとを行わせる。命令は、実行されると、少なくとも1つのプロセッサにさらに1つまたは複数の候補単語から特定の単語の翻訳を判断することであって、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられる、判断することと、翻訳領域内での表示のために翻訳の指示を出力することとを行わせる。
【０００６】
1つまたは複数の例の詳細が、添付の図面および以下の説明に記載されている。本開示の他の特徴、目的、および利点は、説明および図面からならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１Ａ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示す概念図である。
【図１Ｂ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示す概念図である。
【図１Ｃ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示す概念図である。
【図２】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示すブロック図である。
【図３】本開示の1つまたは複数の技法による、リモートデバイスにおける表示のためにグラフィカルコンテンツを出力する例示的コンピューティングデバイスを示すブロック図である。
【図４Ａ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｂ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｃ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｄ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｅ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｆ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｇ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｈ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図４Ｉ】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。
【図５】本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成されるコンピューティングデバイスの例示的動作を示すフローチャートである。
【発明を実施するための形態】
【０００８】
概して、本開示は、コンピューティングデバイスが、グラフィカルキーボードで入力される単語のリアルタイム翻訳を実施し、グラフィカルキーボード内で翻訳を表示することを可能にするための技法を対象とする。たとえば、コンピューティングデバイスが、グラフィカルユーザインターフェース(GUI)のグラフィカルキーボードにおいて入力を検出すると、コンピューティングデバイスは、ユーザが、入力から判断された単語を第2の言語に翻訳することを望んでもよいと推論することができる。ユーザに対していかなる追加入力も求めることなく、コンピューティングデバイスは、ユーザが翻訳することを望んでもよい第2の言語を自動的に判断し、単語を第1の言語から第1の言語とは異なる第2の言語に自動的に翻訳してもよい。デバイスは、翻訳のグラフィカル指示をグラフィカルキーボード内での表示のために出力することができる。いくつかの例では、翻訳のグラフィカル指示に関連付けられた入力を検出したことに応答して、コンピューティングデバイスは、第1の言語で入力された元の単語を第2の言語での単語の翻訳で置き換えてもよい。
【０００９】
自動的な第2の言語の検出および統合型翻訳をグラフィカルキーボードに提供することによって、ユーザがタイプ入力しているとき、ユーザに非ネイティブ言語でテキストを入れるために異なるアプリケーションGUIの間を切り替えるよう求めるよりもむしろ、ユーザは、グラフィカルキーボード内で単語の選択可能な翻訳を自動的に取得することができる。このようにして、本開示の技法は、多言語テキスト記入を実施するのに求められるユーザ入力の数を削減することができ、それによりユーザエクスペリエンスを単純化することができ、コンピューティングデバイスの電力消費を削減することができる。
【００１０】
本開示を通して、コンピューティングデバイスが、コンピューティングデバイスのユーザから情報を分析するための許可を受信した場合のみ、コンピューティングデバイスおよび/またはコンピューティングシステムが、コンピューティングデバイスと、コンピューティングデバイスのユーザとに関連付けられた情報(たとえば、コンテキスト、ロケーション、速度、検索クエリなど)を分析する例が記載される。たとえば、以下で論じる状況では、コンピューティングデバイスまたはコンピューティングシステムが、ユーザに関連付けられた情報を収集することができるかまたは利用することができる前に、ユーザには、コンピューティングデバイスおよび/もしくはコンピューティングシステムのプログラムもしくは特徴が、ユーザ情報(たとえば、ユーザの現在ロケーション、現在速度などについての情報)を収集し、利用することができるかどうかを制御するためのまたはデバイスおよび/もしくはシステムが、ユーザに関連のあってもよいコンテンツを受信することができるかどうか、および/もしくはどのようにして受信してもよいかを規定するための入力を与える機会が与えられてもよい。さらに、特定のデータが、コンピューティングデバイスおよび/またはコンピューティングシステムによって記憶され、または使用される前に、個人の識別が可能な情報が削除されるように1つまたは複数のやり方で扱われてもよい。たとえば、ユーザについての個人を識別できる情報を判断することができないようにユーザのアイデンティティが扱われてもよく、またはユーザの地理的ロケーションが、ユーザの特定のロケーションを判断することができないようにロケーション情報が取得されるように(たとえば、市、郵便番号、または州レベルに)一般化されてもよい。したがって、ユーザは、情報がどのようにユーザについて収集され、コンピューティングデバイスおよびコンピューティングシステムによって使用されるかに対する制御を有することができる。
【００１１】
図1A〜図1Cは、本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイス110を示す概念図である。コンピューティングデバイス110は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、コンピュータ化ウォッチ、コンピュータ化アイウェア、コンピュータ化グローブ、または任意の他のタイプのポータブルコンピューティングデバイスなどのモバイルデバイスを表してもよい。コンピューティングデバイス110の追加の例はまた、デスクトップコンピュータ、テレビジョン、携帯情報端末(PDA)、ポータブルゲーム用システム、メディアプレーヤ、eブックリーダ、モバイルテレビジョンプラットフォーム、自動車ナビゲーションおよびエンターテインメントシステム、車両(たとえば、自動車、航空機、もしくは他の車両)コックピットディスプレイ、またはグラフィカルキーボードを表示のために出力することができる任意の他のタイプの装着型および非装着型、モバイルもしくは非モバイルコンピューティングデバイスを含む。
【００１２】
コンピューティングデバイス110は、存在感知ディスプレイ(PSD)112、ユーザインターフェース(UI)モジュール120およびキーボードモジュール122を含む。モジュール120および122は、ソフトウェア、ハードウェア、ファームウェア、またはコンピューティングデバイス110において常駐および/もしくは実行するハードウェア、ソフトウェア、およびファームウェアの混合物を使用して記述される動作を実施してもよい。コンピューティングデバイス110の1つまたは複数のプロセッサは、モジュール120および122の動作を実施するようにコンピューティングデバイス110のメモリまたは他の非一時的記憶媒体に記憶されている命令を実行することができる。コンピューティングデバイス110は、モジュール120および122を基底ハードウェア上で実行する仮想マシンとして実行してもよい。モジュール120および122は、オペレーティングシステムまたはコンピューティングプラットフォームの1つまたは複数のサービスとして実行してもよい。モジュール120および122は、コンピューティングプラットフォームのアプリケーションレイヤにおいて、1つまたは複数の実行可能プログラムとして実行してもよい。
【００１３】
コンピューティングデバイス110のPSD112は、コンピューティングデバイス110用のそれぞれの入力および/または出力デバイスとして機能してもよい。PSD112は、様々な技術を使用して実装されてもよい。たとえば、PSD112は、抵抗性タッチスクリーン、表面音響波タッチスクリーン、容量性タッチスクリーン、投影静電容量タッチスクリーン、圧力感知スクリーン、音響パルス認識タッチスクリーン、または別の存在感知ディスプレイ技術などの存在感知入力スクリーンを使用する入力デバイスとして機能してもよい。PSD112はまた、液晶ディスプレイ(LCD)、ドットマトリックスディスプレイ、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、eインク、またはコンピューティングデバイス110のユーザに可視情報を出力することが可能な同様のモノクロームもしくはカラーディスプレイなど、任意の1つまたは複数のディスプレイデバイスを使用する出力(たとえば、ディスプレイ)デバイスとして機能してもよい。
【００１４】
PSD112は、それぞれのコンピューティングデバイス110のユーザからの入力(たとえば、タッチおよび非タッチ入力)を検出することができる。PSD112は、ユーザからの1つまたは複数のジェスチャ(たとえば、ユーザが、PSD112の1つまたは複数のロケーションの所またはその近くを指またはスタイラスペンでタッチし、ポイントし、かつ/またはスワイプすること)を検出することによって入力の指示を検出することができる。PSD112は、ユーザインターフェース(たとえば、ユーザインターフェース114A〜114C)の形でユーザに情報を出力することができ、ユーザインターフェースは、コンピューティングデバイス110によって提供される機能性に関連付けられてもよい。そのようなユーザインターフェースは、コンピューティングプラットフォーム、オペレーティングシステム、アプリケーション、ならびに/またはコンピューティングデバイス110において実行するか、もしくはそこからアクセス可能なサービス(たとえば、電子メッセージアプリケーション、チャットアプリケーション、インターネットブラウザアプリケーション、モバイルもしくはデスクトップオペレーティングシステム、ソーシャルメディアアプリケーション、電子ゲーム、および他のタイプのアプリケーション)に関連付けられてもよい。たとえば、PSD112は、ユーザインターフェース114A〜114C(まとめて「ユーザインターフェース114」と呼ばれる)を提示することができ、これらは、図1A〜図1Cに示すようにコンピューティングデバイス110において実行するチャットアプリケーションのグラフィカルユーザインターフェースであるとともに、PSD112の様々なロケーションにおいて表示される様々なグラフィカル要素を含む。
【００１５】
図1A〜図1Cに示すようにユーザインターフェース114は、チャットユーザインターフェースであるが、ユーザインターフェース114は、統合型翻訳特徴をもつグラフィカルキーボードを含む任意のグラフィカルユーザインターフェースであってもよい。ユーザインターフェース114は、出力領域116A、グラフィカルキーボード116B、および編集領域116Cを含む。コンピューティングデバイス110のユーザは、出力領域116A内に表示される電子メッセージの内容を形成するテキストキャラクタを編集領域116C内で生じるようにグラフィカルキーボード116Bにおいて入力を与えることができる。出力領域116A内に表示されるメッセージは、コンピューティングデバイス110のユーザと、異なるコンピューティングデバイスのユーザとの間のチャット会話を形成する。
【００１６】
UIモジュール120は、PSD112およびコンピューティングデバイス110の他のコンポーネントとのユーザ対話を管理する。言い換えると、UIモジュール120は、PSD112によって検出されたユーザ入力に基づく判断を行い、ユーザ入力に応答してPSD112において出力を生成するためのコンピューティングデバイス110の様々なコンポーネントの間の媒介として作用してもよい。UIモジュール120は、PSD112にユーザインターフェース(たとえば、ユーザインターフェース114)を出力させるための命令をアプリケーション、サービス、プラットフォーム、またはコンピューティングデバイス110の他のモジュールから受信してもよい。UIモジュール120は、PSD112において提示されるユーザインターフェースをユーザが閲覧しそれと対話するとき、コンピューティングデバイス110によって受信された入力を管理し、ユーザ入力を処理しているコンピューティングデバイス110のアプリケーション、サービス、プラットフォーム、または他のモジュールから追加命令を受信したことに応答してユーザインターフェースを更新することができる。
【００１７】
キーボードモジュール122は、統合型翻訳特徴を有するグラフィカルキーボードをコンピューティングデバイス110に提供するコンピューティングデバイス110において実行するか、またはデバイス110にとってアクセス可能なアプリケーション、サービス、またはコンポーネントを表す。キーボードモジュール122は、キーボードモジュール122が従来のグラフィカルキーボードと同様に機能するテキスト記入モード、またはキーボードモジュール122が様々な統合型翻訳機能を実施する翻訳モードでの動作を切り替えることができる。
【００１８】
いくつかの例では、キーボードモジュール122は、コンピューティングデバイス110において実行するスタンドアロンアプリケーション、サービス、またはモジュールであってもよく、他の例では、キーボードモジュール122は、それらの下位コンポーネントであってもよい。たとえば、キーボードモジュール122は、コンピューティングデバイス110において実行するチャットまたはメッセージングアプリケーションに統合されてもよく、他の例では、キーボードモジュール122は、アプリケーションまたはオペレーティングプラットフォームがグラフィカルキーボード入力機能性を求めるときはいつでもコンピューティングデバイス110のアプリケーションまたはオペレーティングプラットフォームによって呼び出されるスタンドアロンアプリケーションまたはサブルーチンであってもよい。いくつかの例では、コンピューティングデバイス110は、サービスプロバイダのアプリケーションリポジトリなどのアプリケーション配布プラットフォームから(たとえば、インターネットを介して)キーボードモジュール122をダウンロードし、インストールすることができる。他の例では、キーボードモジュール122は、コンピューティングデバイス110の製造中にプリロードされてもよい。
【００１９】
テキスト記入モードで動作するとき、コンピューティングデバイス110のキーボードモジュール122は、テキスト記入に使用される従来のグラフィカルキーボード動作を実施してもよく、たとえばグラフィカルキーボードレイアウトをPSD112における表示のために生成し、PSD112における検出された入力をグラフィカルキーの選択にマップし、選択されたキーに基づいてキャラクタを判断し、または選択されたキーから判断されたキャラクタに基づいて、単語および/もしくはフレーズを予測もしくはオートコレクトする。
【００２０】
グラフィカルキーボード116Bは、グラフィカルキー118Aとして表示されるグラフィカル要素を含む。キーボードモジュール122は、ユーザインターフェース114内でのグラフィカルキーボード116Bのレイアウトを指定する情報をUIモジュール120に対して出力することができる。たとえば、情報は、グラフィカルキー118Aのロケーション、サイズ、色、および他の特性を指定する命令を含んでもよい。キーボードモジュール122から受信された情報に基づいて、UIモジュール120は、PSD112にグラフィカルキーボード116Bをユーザインターフェース114の一部として表示させてもよい。
【００２１】
グラフィカルキー118Aの各キーは、キー内に表示されるそれぞれのキャラクタ(たとえば、文字、数、句読点、または他のキャラクタ)に関連付けられてもよい。コンピューティングデバイス110のユーザは、編集領域116Cにコンテンツ(たとえば、キャラクタ、検索結果など)を入力するために(たとえば、出力領域116A内で送信され、表示されるメッセージを組み立てるため、またはコンピューティングデバイス110がグラフィカルキーボード116B内から実行する検索クエリを入力するために)グラフィカルキー118Aのうちの1つまたは複数が表示されるPSD112のロケーションにおいて入力を与えることができる。キーボードモジュール122は、グラフィカルキーの各々のロケーションに関連するPSD112によって検出された入力に関連付けられたロケーションを示す情報をUIモジュール120から受信してもよい。空間および/または言語モデルを使用して、キーボードモジュール122は、入力をキーおよびキャラクタ、単語、および/またはフレーズの選択に翻訳してもよい。
【００２２】
たとえば、PSD112がグラフィカルキー118Aを提示するPSD112のロケーションにおいて、または近くでコンピューティングデバイス110のユーザがユーザ入力を与えると、PSD112はユーザ入力を検出してもよい。UIモジュール120は、PSD112からPSD112によって検出されたユーザ入力の指示を受信し、キーボードモジュール122にユーザ入力についての情報を出力してもよい。ユーザ入力についての情報は、PSD112によって検出された1つまたは複数のタッチイベントの指示(たとえば、入力についてのロケーションおよび他の情報)を含んでもよい。
【００２３】
UIモジュール120から受信された情報に基づいて、キーボードモジュール122は、PSD112における検出された入力をグラフィカルキー118Aの選択にマップし、選択されたキー118Aに基づいてキャラクタを判断し、選択されたキー118Aに関連付けられたキャラクタに基づいて判断された単語および/またはフレーズを予測またはオートコレクトしてもよい。たとえば、キーボードモジュール122は、キー118Aのロケーションおよび入力についての情報に基づいて、選択される最も見込みのある1つまたは複数のキー118Aを判断することができる空間モデルを含んでもよい。選択される最も見込みのある1つまたは複数のキー118Aを判断したことに応答して、キーボードモジュール122は、1つまたは複数のキャラクタ、単語、および/またはフレーズを判断してもよい。たとえば、PSD112におけるユーザ入力から選択される1つまたは複数のキー118Aの各々は、個々のキャラクタまたはキーボード動作を表してもよい。キーボードモジュール122は、1つまたは複数の選択されたキー118Aに基づいて選択されるキャラクタのシーケンスを判断することができる。いくつかの例では、キーボードモジュール122は、キー118Aの選択に基づいてユーザが入力しようとしている最も見込みのある1つまたは複数の候補文字、形態素、単語、および/またはフレーズを判断するためにキャラクタのシーケンスに言語モデルを適用してもよい。
【００２４】
キーボードモジュール122は、キャラクタならびに/または候補単語およびフレーズのシーケンスをUIモジュール120に送信してもよく、UIモジュール120は、PSD112に編集領域116C内のテキストとして1つまたは複数のキー118Aの選択から判断されたキャラクタおよび/または候補単語を提示させることができる。いくつかの例では、テキスト記入動作を実施するための従来のキーボードとして機能するとき、および(たとえば、ユーザが、編集領域116C内でテキストを入れるためにグラフィカルキーボード116Bにおいてタイプ入力しているときに)グラフィカルキー118Aにおいてユーザ入力を受信したことに応答して、キーボードモジュール122は、UIモジュール120に候補単語および/またはフレーズを1つもしくは複数の選択可能なスペル修正および/または選択可能な単語もしくはフレーズ提案として提案領域118B内に表示させることができる。
【００２５】
テキスト記入に使用される従来のグラフィカルキーボード動作を実施するのに加え、コンピューティングデバイス110のキーボードモジュール122はまた、統合型翻訳能力を提供する。つまり、コンピューティングデバイス110のユーザにグラフィカルキーボード116Bを提供するユーザインターフェース114Aから離れて(たとえば、コンピューティングデバイス110において実行するか、またはそこからアクセス可能な異なるアプリケーションまたはサービスへ)ナビゲートするよう求めるよりもむしろ、キーボードモジュール122は、キーボードモジュール122が翻訳動作を実行し、グラフィカルキーボード116Bを使用して入力される単語の翻訳をグラフィカルキーボード116Bが表示されるPSD112の同じ領域内に提示してもよい翻訳モードで動作することができる。本明細書において記載するように領域118Bは、キーボードモジュール122が従来のテキスト記入モードで動作しているときは「提案領域」118Bと呼ばれてもよく、キーボードモジュール122が翻訳モードで動作しているときは「翻訳領域」118Bと呼ばれてもよい。
【００２６】
上述したようにキーボードモジュール122は、コンピューティングデバイス110において実行するスタンドアロンアプリケーション、サービス、もしくはモジュールとしてまたはそれらの単一の統合された下位コンポーネントとして実行してもよい。したがって、キーボードモジュール122が、コンピューティングデバイス110において実行するチャットまたはメッセージングアプリケーションの一部を形成する場合、キーボードモジュール122は、チャットまたはメッセージングアプリケーションにテキスト記入能力ならびに翻訳能力を提供することができる。同様に、キーボードモジュール122が、アプリケーションまたはオペレーティングプラットフォームがグラフィカルキーボード入力機能性を求めるときはいつでもコンピューティングデバイス110のアプリケーションまたはオペレーティングプラットフォームによって呼び出されるスタンドアロンアプリケーションまたはサブルーチンである場合、キーボードモジュール122は、呼出側アプリケーションまたはオペレーティングプラットフォームにテキスト記入能力ならびに翻訳能力を提供することができる。
【００２７】
キーボードモジュール122は、翻訳モードでさらに動作することができる。いくつかの例では、翻訳モードで動作しているとき、キーボードモジュール122は、グラフィカルキーボード116Bに翻訳要素118Cを含ませてもよい。翻訳要素118Cは、グラフィカルキーボード116Bの様々な翻訳特徴のうちの1つまたは複数を呼び出すためのグラフィカルキーボード116Bの選択可能要素を表す。たとえば、翻訳要素118Cを選択することによって(たとえば、検索要素118Cが表示されるPSD112のロケーションにおいて、またはその領域内でタップするか、またはジェスチャ入力することによって)、ユーザは、コンピューティングデバイス110にグラフィカルキー118Aにおける入力からキーボードモジュール122が判断した単語を翻訳し始めさせるか、またはユーザにコンピューティングデバイス110において実行するか、またはそこからアクセス可能な別個のアプリケーション、サービス、もしくは他の特徴へナビゲートするよう求めないキーボードモジュール122によって提供される他の様々な統合型翻訳特徴を実施させることができる。
【００２８】
たとえば、UIモジュール120は、コンピューティングデバイス110のユーザが選択可能要素118Cを選択した可能性があることを示す情報をキーボードモジュール122に出力することができる。要素118Cが選択されたと判断したことに応答して、キーボードモジュール122は、翻訳モードでの動作に遷移してもよい。翻訳モードで動作している間、キーボードモジュール122は、従来の単一言語テキスト記入に主に起因する他の動作に加え、またはそれとは反対に翻訳機能を実行するようにグラフィカルキーボード116Bを再構成してもよい。
【００２９】
たとえば、キーボードモジュール122は、選択可能要素として翻訳のグラフィカル指示を表示するように構成される翻訳領域として動作するように提案領域118Bを再構成してもよい。翻訳のグラフィカル指示は、キーボードモジュール122が元々、ソース言語に関連付けられた言語モデル、辞書(lexicon)、またはディクショナリー(dictionary)から導出したソース言語の単語のターゲット言語翻訳であってもよい。たとえば、ソース言語が英語であり、ターゲット言語が繁体字中国語である場合、提案領域118B内で英語スペリングまたは単語提案を与えるよりもむしろ、または与えるのに加え、コンピューティングデバイス110は、提案領域118B内に中国語での等価な提案されるスペリングまたは単語提案を含めてもよい。
【００３０】
動作中、ユーザは、友人に関連付けられたデバイスとテキストメッセージを交換するためにコンピューティングデバイス110に依拠してもよい。ユーザはネイティブの英語話者である場合があり、友人は、主に繁体字中国語を話す場合がある。時折、ユーザは、繁体字中国語を話すことによって、友人に好印象を与えようとする場合がある。キーボードモジュール122は、徐々にコンピューティングデバイス110および他のコンピューティングデバイスによって交換されるメッセージの内容からユーザによって使用される1次言語またはメッセージの「ソース言語」が通常、英語であり(たとえば、ユーザは通常、英語メッセージをタイプ入力し、受信する)、時々、ユーザによって使用される2次言語または「ターゲット言語」が繁体字中国語である(たとえば、ときには、ユーザが、繁体字中国語で書かれたメッセージを送信し、または受信する場合がある)と学習することができる。
【００３１】
図1Aに示すようにコンピューティングデバイス110は、友人に関連付けられたデバイスから繁体字中国語で"where do you want to meet?"と述べるメッセージを受信する場合がある。コンピューティングデバイス110は、友人に関連付けられたデバイスから受信されたメッセージ付きのメッセージ吹き出しを含むユーザインターフェース114Aを表示のために出力してもよい。
【００３２】
PSD112において表示されたメッセージを閲覧した後、コンピューティングデバイス110のユーザは、たとえばキー118Aが表示されるPSD112のロケーションにおいて、またはその近くでジェスチャ入力することによって返信メッセージを組み立てるためのキー118Aを選択するための入力を与えてもよい。コンピューティングデバイス110は、1つまたは複数のキー118Aの選択に基づいて、ソース言語から1つまたは複数の候補単語を判断することができる。たとえば、コンピューティングデバイスのユーザがキー118Aにおいて入力を与えると、キーボードモジュール122は、UIモジュール120から入力の指示を受信し、入力からキー118Aの選択を判断することができる。英語に関連付けられた空間および/または言語モデルを使用して、キーボードモジュール122は、選択に基づいてユーザが、単語"Forbidden City"と入力した見込みがあると判断してもよい。
【００３３】
コンピューティングデバイス110は、編集領域116C内での表示のためにテキストキャラクタ"Forbidden City"をコンピューティングデバイス110がユーザ入力から導出した候補単語の指示として出力してもよい。たとえば、キーボードモジュール122は、UIモジュール120に編集領域116C内にテキスト"Forbidden City"を提示させる情報をUIモジュール120に送信してもよい。
【００３４】
コンピューティングデバイス110は、ソース言語とは異なるターゲット言語に関連付けられた候補単語の翻訳を判断することができる。たとえば、友人に好印象を与えるためにユーザは、キーボードモジュール122に単語"Forbidden City"の翻訳を与えさせるための入力を選択可能要素118Cにおいて与えてもよい。UIモジュール120から選択可能要素118Cに関連付けられたPSD112のロケーションにおいて入力の指示を受信したことに応答して、キーボードモジュール122は、翻訳モードでの動作に遷移し、グラフィカルキー118Aの選択から判断された単語を翻訳してもよい。たとえば、繁体字中国語言語モデル(たとえば、ディクショナリー、または他のより洗練されたモデル)を使用して、キーボードモジュール122は、英単語またはフレーズ"Forbidden City"」の翻訳を繁体字中国語の「紫禁城」であると判断することができる。
【００３５】
コンピューティングデバイス110は、翻訳領域118B内での表示のために特定の単語の翻訳の指示を出力してもよい。たとえば、キーボードモジュール122は、UIモジュール120に繁体字中国語キャラクタ「紫禁城」をテキストとして翻訳領域118B内に表示させる情報をUIモジュール120に出力することができる。
【００３６】
翻訳領域118B内に翻訳を表示した後、コンピューティングデバイス110のユーザが編集領域116C内で後続入力用に翻訳を選択すると、コンピューティングデバイス110はユーザ入力119Aを登録してもよい。たとえば、キーボードモジュール122は、翻訳領域118Bが表示されるPSD112のロケーションにおいて入力119A(たとえば、タップジェスチャ)が検出されたことを示す情報をUIモジュール120から受信し、それに応答して、UIモジュール120にテキスト"Forbidden City"をテキスト「紫禁城」で置き換えさせるための情報(たとえば、命令)をUIモジュール120に送信してもよい。
【００３７】
図1Bに示すように編集領域116C中の候補単語を候補単語の翻訳で置き換えた後、コンピューティングデバイス110は、キー118Aの"SEND"キーにおける入力119B(たとえば、タップジェスチャ)を検出してもよい。たとえば、UIモジュール120は、PSD112がユーザインターフェース114Bのグラフィカルキーボード116Bの"SEND"キーを提示するロケーションにおいて、またはその近くでPSD112が入力119Bを検出したと判断してもよい。
【００３８】
図1Cに示すようにコンピューティングデバイス110は、編集領域116Cの内容を友人に関連付けられたデバイスへのメッセージとして出力することができ、メッセージを出力領域116A内に表示してもよい。たとえば、UIモジュール120は、ユーザインターフェース114Cに関連付けられた情報をチャットアプリケーションに送信してもよく、チャットアプリケーションは、編集領域116Cの内容を電子メッセージフォーマットにパッケージングし、コンピューティングデバイス110に友人に関連付けられたデバイスへ電子メッセージを送信させることができる。電子メッセージを送信する間、チャットアプリケーションは、UIモジュール120に出力領域116Aにおいて電子メッセージのグラフィカル指示を提示させることができる。
【００３９】
グラフィカルキーボードに統合型翻訳特徴を提供することによって、例示的コンピューティングデバイスのユーザは、ユーザがタイプ入力しているとき、ユーザに非ネイティブ言語でテキストを入れるために異なるアプリケーションGUIの間を切り替えるよう求めるよりもむしろ、グラフィカルキーボード内で単語の選択可能な翻訳を自動的に取得することができる。たとえば、グラフィカルキーボードに統合型翻訳特徴を提供することによって、例示的コンピューティングデバイスは、複数のGUIの間を切り替え、かつ/または単語の翻訳をメッセージに挿入するためのコピーおよびペースト動作を実施するためにユーザがいくつかの入力を与える必要をなくすことができる。このようにして、本開示の技法は、ユーザ入力の数を削減し、したがってユーザが多言語テキスト記入を実施してもよい速度を増大することができ、そうすることによってユーザエクスペリエンスを単純化することができ、コンピューティングデバイスの電力消費を削減することができる。
【００４０】
図2は、本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスとしてのコンピューティングデバイス210を示すブロック図である。図2のコンピューティングデバイス210は、図1A〜図1Cのコンピューティングデバイス110の例として以下で説明される。図2は、コンピューティングデバイス210の1つの特定の例を示しているにすぎず、コンピューティングデバイス210の多くの他の例が、他の事例において使用されてもよく、例示的コンピューティングデバイス210に含まれるコンポーネントのサブセットを含んでよく、または図2に示されない追加コンポーネントを含んでよい。
【００４１】
図2の例に示すようにコンピューティングデバイス210は、PSD212、1つまたは複数のプロセッサ240、1つまたは複数の通信ユニット242、1つまたは複数の入力コンポーネント244、1つまたは複数の出力コンポーネント246、および1つまたは複数の記憶コンポーネント248を含む。存在感知ディスプレイ212は、ディスプレイコンポーネント202および存在感知入力コンポーネント204を含む。コンピューティングデバイス210の記憶コンポーネント248は、UIモジュール220、キーボードモジュール222、1つまたは複数のアプリケーションモジュール224、および1つまたは複数の辞書データストア232を含む。キーボードモジュール222は、空間モデル("SM")モジュール226、言語モデル("LM")モジュール228、および翻訳モジュール230を含んでもよい。通信チャネル250は、コンポーネント212、240、242、244、246、248、226、228、および230の各々をコンポーネント間通信のために(物理的に、通信可能に、および/または動作可能に)相互接続してもよい。いくつかの例では、通信チャネル250は、システムバス、ネットワーク接続、プロセス間通信データ構造、またはデータを通信するための任意の他の方法も含んでもよい。
【００４２】
コンピューティングデバイス210の1つまたは複数の通信ユニット242は、1つまたは複数のネットワーク上でネットワーク信号を送信および/または受信することによって、1つまたは複数のワイヤードおよび/またはワイヤレスネットワークを介して、外部デバイスと通信してもよい。通信ユニット242の例はまた、ネットワークインターフェースカード(たとえば、イーサネット(登録商標)カードなど)、光学トランシーバ、無線周波数トランシーバ、GPS受信機、または情報を送信し、かつ/もしくは受信することができる任意の他のタイプのデバイスを含む。通信ユニット242の他の例は、短波無線機、セルラーデータ無線機、ワイヤレスネットワーク無線機、ならびにユニバーサルシリアルバス(USB)コントローラを含んでもよい。
【００４３】
コンピューティングデバイス210の1つまたは複数の入力コンポーネント244は入力を受信してもよい。入力の例は、触覚、オーディオ、およびビデオ入力である。コンピューティングデバイス210の入力コンポーネント242はまた、一例では、存在感知入力デバイス(たとえば、タッチ感知スクリーン、PSD)、マウス、キーボード、ボイス応答システム、ビデオカメラ、マイクロフォンまたは人間もしくはマシンから入力を検出するための任意の他のタイプのデバイスを含む。いくつかの例では、入力コンポーネント242は、1つまたは複数のセンサコンポーネント、1つまたは複数のロケーションセンサ(GPSコンポーネント、Wi-Fiコンポーネント、セルラーコンポーネント)、1つまたは複数の温度センサ、1つまたは複数の動きセンサ(たとえば、加速度計、ジャイロ)、1つまたは複数の圧力センサ(たとえば、気圧計)、1つまたは複数の環境光センサ、および1つまたは複数の他のセンサ(たとえば、マイクロフォン、カメラ、赤外線近接センサ、湿度計など)を含んでもよい。他のセンサは、いくつか他の非限定的例を挙げると、心拍センサ、磁力計、グルコースセンサ、湿度計センサ、嗅覚センサ、コンパスセンサ、ステップカウンタセンサを含んでもよい。
【００４４】
コンピューティングデバイス110の1つまたは複数の出力コンポーネント246は出力を生成してもよい。出力の例は、触覚、オーディオ、およびビデオ出力である。コンピューティングデバイス210の出力コンポーネント246はまた、一例では、PSD、サウンドカード、ビデオグラフィクスアダプタカード、スピーカー、陰極線管(CRT)モニタ、液晶ディスプレイ(LCD)、または人間もしくはマシンに出力を生成するための任意の他のタイプのデバイスを含む。
【００４５】
コンピューティングデバイス210のPSD212は、コンピューティングデバイス110のPSD112と同様であってもよく、ディスプレイコンポーネント202および存在感知入力コンポーネント204を含む。ディスプレイコンポーネント202は、PSD212によって情報が表示されるスクリーンであってもよく、存在感知入力コンポーネント204は、ディスプレイコンポーネント202の所および/または近くでオブジェクトを検出してもよい。一例示的範囲として存在感知入力コンポーネント204は、ディスプレイコンポーネント202の2インチ以下の範囲内にある指またはスタイラスなどのオブジェクトを検出する場合がある。存在感知入力コンポーネント204は、オブジェクトが検出されたディスプレイコンポーネント202のロケーション(たとえば、[x,y]座標)を判断することができる。別の例示的範囲では、存在感知入力コンポーネント204は、ディスプレイコンポーネント202から6インチ以下のオブジェクトを検出する場合があり、他の範囲も可能である。存在感知入力コンポーネント204は、ユーザの指によって選択されたディスプレイコンポーネント202のロケーションを容量性、誘導性、および/または光学認識技法を使用して判断することができる。いくつかの例では、存在感知入力コンポーネント204はまた、ディスプレイコンポーネント202に関して記載されるように触覚、オーディオ、またはビデオ刺激を使用してユーザに出力を与える。図2の例では、PSD212は、ユーザインターフェース(図1A〜図1Cのグラフィカルユーザインターフェース114など)を提示してもよい。
【００４６】
コンピューティングデバイス210の内部コンポーネントとして示されるが、PSD212はまた、入力および出力を送信および/または受信するためにコンピューティングデバイス210とデータ経路を共有する外部コンポーネントを表す場合がある。たとえば、一例では、PSD212は、コンピューティングデバイス210の外部パッケージング内に配置されかつそれに物理的に接続されるコンピューティングデバイス210の内蔵型コンポーネント(たとえば、モバイルフォンにおけるスクリーン)を表す。別の例では、PSD212は、コンピューティングデバイス210のパッケージングまたはハウジングの外側に配置されかつ物理的に隔てられたコンピューティングデバイス210の外部コンポーネント(たとえば、コンピューティングデバイス210とワイヤードおよび/またはワイヤレスデータ経路を共有するモニタ、プロジェクタなど)を表す。
【００４７】
コンピューティングデバイス210のPSD212は、2次元および/または3次元ジェスチャをコンピューティングデバイス210のユーザからの入力として検出する場合がある。たとえば、PSD212のセンサが、PSD212のセンサの閾距離内でのユーザの動き(たとえば、手、腕、ペン、スタイラスなどを動かすこと)を検出してもよい。PSD212は、動きの2または3次元ベクトル表現を判断し、ベクトル表現を複数の次元を有するジェスチャ入力(たとえば、手の振り、つまむこと(pinch)、たたくこと(clap)、ペンストロークなど)に相関させることができる。言い換えると、PSD212は、PSD212が表示のために情報を出力するスクリーンまたは表面の所またはその近くでジェスチャするようユーザに求めることなく、多次元ジェスチャを検出することができる。そうではなく、PSD212は、PSD212が表示のために情報を出力するスクリーンまたは表面の近くに配置されている場合も、そうでない場合もあるセンサの所またはその近くで実施される多次元ジェスチャを検出することができる。
【００４８】
1つまたは複数のプロセッサ240は、機能性を実装し、かつ/またはコンピューティングデバイス210に関連付けられた命令を実行してもよい。プロセッサ240の例はまた、アプリケーションプロセッサ、ディスプレイコントローラ、補助プロセッサ、1つまたは複数のセンサハブ、およびプロセッサ、処理ユニット、または処理デバイスとして機能するように構成される任意の他のハードウェアを含む。モジュール220、222、224、226、228、および230は、プロセッサ240によって、コンピューティングデバイス210の様々なアクション、動作、または機能を実施するように動作可能であってもよい。たとえば、コンピューティングデバイス210のプロセッサ240は、プロセッサ240にモジュール220、222、224、226、228、および230の動作を実施させる記憶コンポーネント248によって記憶された命令を取り出し、実行することができる。命令は、プロセッサ240によって実行されると、コンピューティングデバイス210に記憶コンポーネント248内に情報を記憶させることができる。
【００４９】
コンピューティングデバイス210内の1つまたは複数の記憶コンポーネント248は、コンピューティングデバイス210の動作中に処理用の情報を記憶することができる(たとえば、コンピューティングデバイス210は、コンピューティングデバイス210における実行中にモジュール220、222、224、226、228、および230によってアクセスされるデータを記憶することができる)。たとえば、1つまたは複数の記憶コンポーネント248は、キーボードモジュール222がグラフィカルキーボードにおける入力に基づいて候補単語および候補単語の翻訳を判断するのに使用する言語的情報を辞書データストア232において記憶してもよい。
【００５０】
いくつかの例では、記憶コンポーネント248は一時メモリであり、これは記憶コンポーネント248の主目的が長期記憶ではないことを意味する。コンピューティングデバイス210上の記憶コンポーネント248は、揮発性メモリとして情報の短期記憶用に構成され、したがって電源オフされた場合は、記憶された内容を保持しなくてもよい。揮発性メモリの例は、ランダムアクセスメモリ(RAM)、動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)、および当該分野において知られている他の形の揮発性メモリを含む。
【００５１】
記憶コンポーネント248はまた、いくつかの例では、1つまたは複数のコンピュータ可読記憶媒体を含む。記憶コンポーネント248は、いくつかの例では、1つまたは複数の非一時的コンピュータ可読記憶媒体を含む。記憶コンポーネント248は、揮発性メモリによって通常記憶されるよりも大量の情報を記憶するように構成されてもよい。記憶コンポーネント248はさらに、不揮発性メモリ空間として情報の長期記憶用に構成され、電源オン/オフ周期後に情報を保持することができる。不揮発性メモリの例は、磁気ハードディスク、光ディスク、フロッピーディスク、フラッシュメモリ、または電気的プログラム可能メモリ(EPROM)もしくは電気的消去可能およびプログラム可能(EEPROM)メモリの形を含む。記憶コンポーネント248は、モジュール220、222、224、226、228、および230に関連付けられたプログラム命令および/または情報(たとえば、データ)を記憶することができる。記憶コンポーネント248は、モジュール220、222、224、226、228、および230に関連付けられたデータまたは他の情報を記憶するように構成されるメモリを含んでもよい。
【００５２】
UIモジュール220は、図1A〜図1Cのコンピューティングデバイス110のUIモジュール120のあらゆる機能性を含むことができ、ユーザからの入力を扱うためのコンピューティングデバイス210が存在感知ディスプレイ212において提供するユーザインターフェース(たとえば、ユーザインターフェース114)を管理するためのUIモジュール120と同様の動作を実施することができる。たとえば、コンピューティングデバイス210のUIモジュール220は、キーボードモジュール222にキーボードレイアウト(たとえば、英語QWERTYキーボードなど)を照会することができる。UIモジュール220は、キーボードレイアウトについての要求を通信チャネル250を介してキーボードモジュール222に送信することができる。キーボードモジュール222は、要求を受信し、キーボードレイアウトに関連付けられたデータでUIモジュール220に返してもよい。UIモジュール220は、通信チャネル250を介してキーボードレイアウトデータを受信し、そのデータをユーザインターフェースを生成するのに使用してもよい。UIモジュール220は、PSD212にPSD212においてユーザインターフェースを提示させるために通信チャネル250を介して表示コマンドおよびデータを送信することができる。
【００５３】
いくつかの例では、UIモジュール220は、PSD212において検出された1つまたは複数のユーザ入力の指示を受信することができ、ユーザ入力についての情報をキーボードモジュール222に出力することができる。たとえば、PSD212は、ユーザ入力を検出し、ユーザ入力についてのデータをUIモジュール220に送信してもよい。UIモジュール220は、検出された入力に基づいて、1つまたは複数のタッチイベントを生成することができる。タッチイベントは、ユーザ入力のロケーション成分(たとえば、[x,y]座標)、時間成分(たとえば、いつユーザ入力が受信されたか)、力成分(たとえば、ユーザ入力によって加えられる圧力の量)、またはユーザ入力についての他のデータ(たとえば、速度、加速度、方向、密度など)など、ユーザ入力を特徴づける情報を含んでもよい。
【００５４】
ユーザ入力から生成されたタッチイベントのロケーション情報に基づいて、UIモジュール220は、検出されたユーザ入力がグラフィカルキーボードに関連付けられると判断してもよい。UIモジュール220は、1つまたは複数のタッチイベントの指示をさらなる翻訳のためにキーボードモジュール222に送信してもよい。キーボードモジュール222は、UIモジュール220から受信されたタッチイベントに基づいて、検出されたユーザ入力が、グラフィカルキーボードの1つまたは複数のキーの初期選択を表すと判断してもよい。
【００５５】
アプリケーションモジュール224は、統合型検索特徴を有するグラフィカルキーボードに依拠してもよい、コンピューティングデバイス210において実行するとともにそこからアクセス可能な様々な個々のアプリケーションおよびサービスすべてを表す。コンピューティングデバイス210のユーザは、コンピューティングデバイス210に機能を実施させるために1つまたは複数のアプリケーションモジュール224に関連付けられたグラフィカルユーザインターフェースと対話することができる。アプリケーションモジュール224の多数の例が存在し、フィットネスアプリケーション、カレンダアプリケーション、パーソナルアシスタントもしくは予測エンジン、検索アプリケーション、地図もしくはナビゲーションアプリケーション、輸送サービスアプリケーション(たとえば、バスもしくは電車追跡アプリケーション)、ソーシャルメディアアプリケーション、ゲームアプリケーション、eメールアプリケーション、チャットもしくはメッセージングアプリケーション、インターネットブラウザアプリケーション、またはコンピューティングデバイス210において実行することができるあらゆる他のアプリケーションを含んでもよい。
【００５６】
キーボードモジュール222は、図1A〜図1Cのコンピューティングデバイス110のキーボードモジュール122のあらゆる機能性を含むことができ、統合型検索特徴を有するグラフィカルキーボードを提供するためのキーボードモジュール122と同様の動作を実施することができる。キーボードモジュール222は、SMモジュール226、LMモジュール228、および検索モジュール230などの様々なサブモジュールを含むことができ、これらはキーボードモジュール222の機能性を実施することができる。
【００５７】
SMモジュール226は、1つまたは複数のタッチイベントを入力として受信し、1つまたは複数のタッチイベントを表す見込みがある1つのキャラクタまたはキャラクタのシーケンスを1つまたは複数のキャラクタがタッチイベントを定義する見込みがどれだけあるか、またはどの程度の正確さで定義するかを示す確実性の程度または空間モデルスコアとともに出力してもよい。言い換えると、SMモジュール226は、キーボードの1つまたは複数のキーの選択としてタッチイベントを推論することができ、1つまたは複数のキーの選択に基づいて、1つのキャラクタまたはキャラクタのシーケンスを出力することができる。
【００５８】
キーボードモジュール222がテキスト記入モードまたは翻訳モードで動作するとき、LMモジュール228は、1つのキャラクタまたはキャラクタのシーケンスを入力として受信し、所与の言語コンテキスト(たとえば、書き言葉での文)向けの入力としてLMモジュール228が受信するキャラクタのシーケンスのための起こり得る置き換えであるものとして辞書(lexicon)(たとえば、ディクショナリー)からLMモジュール228が識別する1つまたは複数の候補キャラクタ、単語、またはフレーズを出力してもよい。キーボードモジュール222は、UIモジュール220に候補単語のうちの1つまたは複数をユーザインターフェース114の提案領域118Bにおいて提示させてもよい。
【００５９】
辞書データストア232は、従来のテキスト記入ならびに翻訳動作を実施するためにキーボードモジュール222によって使用される様々な可能なソースおよびターゲット言語の複数の辞書(たとえば、ディクショナリー)を含んでもよい。データストア232において記憶された各辞書は、書き言葉語彙内の単語のリスト(たとえば、ディクショナリー)を含んでもよい。たとえば、辞書は、単語(たとえば、標準ディクショナリー中の単語および/またはユーザもしくはコンピューティングデバイス210によってディクショナリーに追加される単語)のデータベースを含んでもよい。LMモジュール228は、キャラクタ列のキャラクタのいくつかの部分またはすべてを含む1つまたは複数の文字、単語、および/またはフレーズを識別するために辞書データストア232の辞書中でキャラクタ列のルックアップを実施することができる。
【００６０】
たとえば、LMモジュール228は、入力された1つのキャラクタまたはキャラクタのシーケンスと同じキャラクタのうちの少なくともいくつかを含むコンピューティングデバイス210の辞書に置かれた1つまたは複数の候補単語に言語モデル確率または類似係数(たとえば、Jaccard類似係数)を割り当てることができる。1つまたは複数の候補単語の各々に割り当てられた言語モデル確率は、候補単語が通常、LMモジュール228によって分析されるキャラクタの現在シーケンスを受信したのに先立って、および/または続いて存在感知入力コンポーネント204によって検出されたテキスト入力から生成された単語のシーケンス(たとえば、文)に続いて、先立って、および/またはその中に位置決めされていることがわかる確実性の程度または見込みの程度を示す。1つまたは複数の候補単語を判断したことに応答して、LMモジュール228は、最も高い類似係数を有する1つまたは複数の候補単語を辞書データストア260Aから出力してもよい。
【００６１】
キーボードモジュール222の翻訳モジュール230は、統合型翻訳機能をキーボードモジュール222に代わって実施することができる。つまり、(コンピューティングデバイス210のユーザが候補単語を翻訳することを望んでもよいとキーボードモジュール222が判断したことに応答して自動的に、または明示的ユーザ入力がコンピューティングデバイス210に翻訳し始めるよう命じたことに応答して手動でのいずれかで)呼び出されると、翻訳モジュール230は、キーボードモジュール222に翻訳モジュール230がキーボードモジュール222にグラフィカルキーボード116Bを介して入力される単語の翻訳をそこから表示させることができる翻訳領域118Bとして機能するように提案領域118Bを再構成させることができる。
【００６２】
たとえば、翻訳モジュール230は、入力としてグラフィカルキーボード116Bにおけるユーザ入力に応答して空間モデル226および言語モデル228によって判断された1つまたは複数の候補単語を示すテキスト情報を受信してもよい。翻訳モジュール230は、テキスト情報によって示される1つまたは複数の候補単語のソース言語からターゲット言語への翻訳を判断するのに、翻訳モデル、ルックアップテーブル、および他の翻訳システムを使用することができる。別の言い方をすると、翻訳モジュール230は、候補単語をそれらのソース言語からソース言語とは異なるターゲット言語へ翻訳することができる。
【００６３】
翻訳モジュール230によって使用される翻訳モデル、ルックアップテーブル、および他の翻訳システムは、キーボードモジュール222の中に統合されてもよい。言い換えると、いくつかの例では、翻訳モジュール230は、リモートコンピューティングデバイス(たとえば、クラウドサービス)を介してアクセス可能なモデルまたは翻訳システムに依拠してもよいが、翻訳モジュール230はまた、翻訳を実施するためのリモートデバイスおよび/またはサービスに依拠せずにオンデバイス翻訳を実施することができる。コンピューティングデバイス210にとってローカルに(たとえば、記憶デバイス248において)記憶されているモデル、ルックアップテーブル、および他の翻訳システムに依拠することによって、翻訳モジュール230は、ユーザがキーボード116Bにおいてタップするかまたはジェスチャ入力すると、PSD212においてより素早く、いくつかの例では、外見的にはリアルタイムで翻訳を実施し、グラフィカル翻訳を提示することができる。
【００６４】
翻訳モジュール230は、入力として受信された候補単語のうちの1つまたは複数を特定の言語に関連付けられていると少なくとも識別することによって、ソース言語および/またはターゲット言語を自動的に識別することができる。複数の異なる言語にわたって1つまたは複数の候補単語が使用されるケースでは、翻訳モジュール230は、グラフィカルキーボード116Bにおいてテキストを組み立てるとき、ソース言語をコンピューティングデバイス210のユーザによって通常使用されるか、または選択された言語であると判断してもよい。翻訳モジュール230は、グラフィカルキーボード116Bにおいて組み立てられているテキストの翻訳を要求するとき、ターゲット言語をコンピューティングデバイス210のユーザによって通常使用されるか、または選択された言語であると自動的に識別してもよい。いくつかの例では、翻訳モジュール230は、ソース言語および/またはターゲット言語をグラフィカルキーボード116Bのキーボードレイアウトに関連付けられた言語であると判断してもよい。また、いくつかの例では、翻訳モジュール230は、翻訳モジュール230が最後に呼び出されたときに使用された最後のソースおよび/またはターゲット言語を使用することをデフォルト選択してもよい。言い換えると、翻訳モジュール230は、先行翻訳において使用された以前のターゲット言語に基づいて、ターゲット言語を判断してもよい。
【００６５】
いくつかの例では、翻訳モジュール230は、(たとえば、コンピューティングデバイス210のオプションメニューからの)ユーザ選択可能な設定に基づいて、またはユーザインターフェース114の選択可能要素118Cにおける入力からソースおよび/またはターゲット言語を判断してもよい。たとえば、翻訳モジュール230は、翻訳用のソース言語および/またはターゲット言語を選択するためのユーザ選択可能な特徴となるように選択可能要素118Cを構成することができる。いくつかの例では、翻訳モジュール230は、選択可能要素118Cの選択に基づいて、ターゲット言語を第1のターゲット言語から第1のターゲット言語およびソース言語とは異なる第2のターゲット言語に変更してもよい。また、いくつかの例では、翻訳モジュール230は、選択可能要素118Cの選択に基づいてソース言語を第1のソース言語から第1のソース言語およびターゲット言語とは異なる第2のソース言語に変更してもよい。翻訳モジュール230は、上述した技法の組合せを使用して、ターゲットおよびソース言語を判断することができる。
【００６６】
いずれのケースでも、翻訳モジュール230は、ターゲットおよび/またはソース言語の変更に応答して、キー118Aの選択に基づいて判断された先行翻訳を更新することができる。たとえば、翻訳モジュール230は、選択可能要素118Cの選択に応答してターゲット言語を変更した後、候補単語の翻訳を第1のターゲット言語から第2のターゲット言語に更新してもよい。
【００６７】
キーボードモジュール222は、1つまたは複数の規則および/またはマシンラーニング技法において構築されたモデルに依拠して、ユーザが、ロケーション情報、メッセージの送付者および/もしくは受信者についての情報、または他のコンテキスト情報に基づいて候補単語を翻訳することを望んでもよいと判断してもよい。本開示を通して、コンピューティングデバイスが、コンピューティングデバイスのユーザから情報を分析するための許可を受信した場合のみ、コンピューティングデバイスおよび/またはコンピューティングシステムが、コンピューティングデバイスと、コンピューティングデバイスのユーザとに関連付けられた情報(たとえば、コンテキスト、ロケーション、速度、検索クエリなど)を分析する例が記載される。たとえば、以下で論じる状況では、コンピューティングデバイスまたはコンピューティングシステムが、ユーザに関連付けられた情報を収集することができるかまたは利用することができる前に、ユーザには、コンピューティングデバイスおよび/もしくはコンピューティングシステムのプログラムもしくは特徴が、ユーザ情報(たとえば、ユーザの現在ロケーション、現在速度などについての情報)を収集し、利用することができるかどうかを制御するためのまたはデバイスおよび/もしくはシステムが、ユーザに関連のあってもよいコンテンツを受信することができるかどうか、および/もしくはどのようにして受信してもよいかを規定するための入力を与える機会が与えられてもよい。さらに、特定のデータが、コンピューティングデバイスおよび/またはコンピューティングシステムによって記憶されまたは使用される前に、個人的に識別可能な情報が削除されるように1つまたは複数のやり方で扱われてもよい。たとえば、ユーザについての個人を識別できる情報を判断することができないようにユーザのアイデンティティが扱われてもよく、またはユーザの地理的ロケーションが、ユーザの特定のロケーションを判断することができないようにロケーション情報が取得されるように(たとえば、市、郵便番号、または州レベルに)一般化されてもよい。したがって、ユーザは、情報がどのようにユーザについて収集され、かつコンピューティングデバイスおよびコンピューティングシステムによって使用されるかに対する制御を有することができる。
【００６８】
ターゲット/ソース言語を自動的に翻訳し、かつ選択する例として、キーボードモジュール222は、入力コンポーネント244のセンサまたは通信ユニット242の無線受信機(たとえば、GPSセンサもしくは受信機)からロケーション情報を受信し、ロケーション情報からコンピューティングデバイス210の現在のロケーションを推論することができる。キーボードモジュール222は、単語の様々な領域において使用される見込みが最もある言語を判断するためのロケーションをモデルに入力し、現在のロケーションにおいて話されている見込みが最もある言語の指示をモデルから受信してもよい。ユーザがグラフィカルキーボード116Cにおいてテキストを入れたときに、現在のロケーションが、コンピューティングデバイス210のユーザによって通常使用される言語に関連付けられていない地理的領域にあるとキーボードモジュール222が判断したことに応答して、キーボードモジュール222は、翻訳モジュール230を自動的に呼び出してもよい。キーボードモジュール222は、コンピューティングデバイス210の現在のロケーションに基づいてターゲット言語を判断し、翻訳モジュール230に現在のロケーションに関連付けられたターゲット言語での翻訳を翻訳領域118Bにおいて自動的に表示させてもよい。
【００６９】
翻訳モジュール230を自動的に呼び出し、使用するべきターゲット言語を判断することによって、キーボードモジュール222は、ユーザがグラフィカルキーボード116Bにおいて入力を与える間、PSD212に入力から推論される翻訳を現在のロケーションに関連付けられた言語で提示させることができる。たとえば、コンピューティングデバイス210のユーザがデンマーク国に旅行し、コンピューティングデバイス210のユーザが通常英語を使用してコンピューティングデバイス210と対話する場合、キーボードモジュール222は、翻訳モジュール230にキーボードモジュール222がグラフィカルキーボード116Bにおけるユーザ入力に基づいて判断した英単語のデンマーク語翻訳を翻訳領域118Bにおいて自動的に提示させることができる。
【００７０】
キーボードモジュール222は、アプリケーションモジュール224からメッセージ情報を受信し、メッセージ情報からユーザが候補単語を翻訳することを望んでもよいかどうか、およびどの特定のターゲット言語で翻訳することを望むかを推論することができる。たとえば、キーボードモジュール222がグラフィカルキーボード機能性をチャットアプリケーション(たとえば、アプリケーションモジュール224のうちの1つ)に提供している場合、キーボードモジュール222は、チャットアプリケーションによって受信されたメッセージおよびチャットアプリケーションを使用して送信されるメッセージについての情報を取得してもよい。メッセージ情報は、メッセージからのテキストおよび/またはメッセージについてのメタデータ(たとえば、ロケーション、時間、受信者もしくは送付者ロケーション、受信者もしくは送付者アドレスなど)を含んでもよい。ユーザが、受信されたメッセージに対して返信している場合、キーボードモジュール222は、受信されたメッセージ内のテキストの言語を推論することによって、使用するべきターゲット言語を判断するためのモデルまたは1つもしくは複数の規則に依拠してもよい。言い換えると、キーボードモジュール222は、テキストのいくつかの部分をモデルに入力し、テキストに関連付けられる見込みが最もあるであろうターゲット言語を判断することができる。同様に、キーボードモジュールは、受信されたメッセージの送付者のアドレスまたはロケーションおよびコンピューティングデバイス210によって送信され、受信されるメッセージに関連付けられた他の情報に関連付けられた言語を推論することによって、使用するべきターゲット言語を判断することができる。
【００７１】
図3は、本開示の1つまたは複数の技法による、リモートデバイスにおける表示のためにグラフィカルコンテンツを出力する例示的コンピューティングデバイスを示すブロック図である。グラフィカルコンテンツは概して、ほんのいくつか例を挙げると、テキスト、画像、動画像のグループなど、表示のために出力されてもよい任意の視覚情報も含んでもよい。図3に示す例は、コンピューティングデバイス310、PSD312、通信ユニット342、プロジェクタ380、プロジェクタスクリーン382、モバイルデバイス386、および視覚ディスプレイコンポーネント390を含む。いくつかの例では、PSD312は、図1〜図2に記載された存在感知ディスプレイであってもよい。図1および図2における例のためにスタンドアロンコンピューティングデバイス110として示されるが、コンピューティングデバイス310などのコンピューティングデバイスは概して、ソフトウェア命令を実行するためのプロセッサまたは他の適切なコンピューティング環境を含むとともに、たとえば存在感知ディスプレイを含む必要がない任意のコンポーネントまたはシステムであってもよい。
【００７２】
図3の例に示すようにコンピューティングデバイス310は、図2のプロセッサ240に関して記載された機能性を含むプロセッサであってもよい。そのような例では、コンピューティングデバイス310は、通信チャネル362AによってPSD312に動作可能に結合されてもよく、通信チャネル362Aは、システムバスまたは他の適切な接続であってもよい。コンピューティングデバイス310はまた、通信チャネル362Bによって、さらに以下で説明される通信ユニット342に動作可能に結合されてもよく、通信チャネル362Bはまた、システムバスまたは他の適切な接続であってもよい。図3では例として別々に示されるが、コンピューティングデバイス310は、1つまたは複数の通信チャネルのうちの任意の数のものによって、PSD312および通信ユニット342に動作可能に結合されてもよい。
【００７３】
以前、図1〜図2のコンピューティングデバイス110によって示されたような他の例では、コンピューティングデバイスは、モバイルフォン(スマートフォンを含む)、ラップトップコンピュータなどのようなポータブルまたはモバイルデバイスを指してもよい。いくつかの例では、コンピューティングデバイスは、デスクトップコンピュータ、タブレットコンピュータ、スマートテレビジョンプラットフォーム、カメラ、携帯情報端末(PDA)、サーバ、またはメインフレームであってもよい。
【００７４】
PSD312は、ディスプレイコンポーネント302および存在感知入力コンポーネント304を含んでもよい。ディスプレイコンポーネント302は、たとえばコンピューティングデバイス310からデータを受信し、グラフィカルコンテンツを表示することができる。いくつかの例では、存在感知入力コンポーネント304は、容量性、誘導性、および/または光学認識技法を使用して、PSD312における1つまたは複数のユーザ入力(たとえば、連続ジェスチャ、マルチタッチジェスチャ、シングルタッチジェスチャ)を判断し、そのようなユーザ入力の指示を、通信チャネル362Aを使用してコンピューティングデバイス310に送信することができる。いくつかの例では、ユーザが、ディスプレイコンポーネント302によって表示されるグラフィカル要素の上方に入力ユニットを位置決めすると、存在感知入力コンポーネント304のロケーションが、グラフィカル要素が表示されるディスプレイコンポーネント302のロケーションに対応するように存在感知入力コンポーネント304は、ディスプレイコンポーネント302の上に物理的に位置決めされてもよい。
【００７５】
図3に示すように、コンピューティングデバイス310はまた通信ユニット342を含み、かつ/またはそれと動作可能に結合されてもよい。通信ユニット342は、図2において記載された通信ユニット242の機能性を含んでもよい。通信ユニット342の例は、ネットワークインターフェースカード、イーサネット(登録商標)カード、光学トランシーバ、無線周波数トランシーバ、または情報を送信し、受信することができる任意の他のタイプのデバイスも含んでもよい。そのような通信ユニットの他の例は、Bluetooth(登録商標)、3G、およびWiFi無線機、ユニバーサルシリアルバス(USB)インターフェースなどを含んでもよい。コンピューティングデバイス310はまた、簡潔および例示のために図3には示さない1つまたは複数の他のデバイス(たとえば、入力デバイス、出力コンポーネント、メモリ、記憶デバイス)を含み、かつ/またはそれと動作可能に結合されてもよい。
【００７６】
図3はまた、プロジェクタ380およびプロジェクタスクリーン382を示す。投影デバイスの他のそのような例はまた、電子ホワイトボード、ホログラフィックディスプレイコンポーネント、およびグラフィカルコンテンツを表示するための任意の他の適切なデバイスを含んでもよい。プロジェクタ380およびプロジェクタスクリーン382は、それぞれのデバイスがコンピューティングデバイス310と通信することを可能にする1つまたは複数の通信ユニットを含んでもよい。いくつかの例では、1つまたは複数の通信ユニットは、プロジェクタ380とプロジェクタスクリーン382との間の通信を可能にしてもよい。プロジェクタ380は、グラフィカルコンテンツを含むデータをコンピューティングデバイス310から受信してもよい。プロジェクタ380は、データを受信したことに応答して、グラフィカルコンテンツをプロジェクタスクリーン382上に投影してもよい。いくつかの例では、プロジェクタ380は、光学認識または他の適切な技法を使用して、プロジェクタスクリーンにおける1つまたは複数のユーザ入力(たとえば、連続ジェスチャ、マルチタッチジェスチャ、シングルタッチジェスチャ)を判断し、そのようなユーザ入力の指示を1つまたは複数の通信ユニットを使用して、コンピューティングデバイス310に送信することができる。そのような例では、プロジェクタスクリーン382は不必要な場合があり、プロジェクタ380は、任意の適切な媒体上でグラフィカルコンテンツを投影し、光学認識または他のそのような適切な技法を使用して1つまたは複数のユーザ入力を検出してもよい。
【００７７】
プロジェクタスクリーン382は、いくつかの例では、存在感知ディスプレイ384を含んでもよい。存在感知ディスプレイ384は、本開示に記載される存在感知ディスプレイ112および/または312の機能性のサブセットまたは機能性すべてを含んでもよい。いくつかの例では、存在感知ディスプレイ384は追加機能性を含んでもよい。プロジェクタスクリーン382(たとえば、電子ホワイトボード)は、コンピューティングデバイス310からデータを受信し、グラフィカルコンテンツを表示することができる。いくつかの例では、存在感知ディスプレイ384は、容量性、誘導性、および/または光学認識技法を使用して、プロジェクタスクリーン382における1つまたは複数のユーザ入力(たとえば、連続ジェスチャ、マルチタッチジェスチャ、シングルタッチジェスチャ)を判断し、そのようなユーザ入力の指示を1つまたは複数の通信ユニットを使用してコンピューティングデバイス310に送信することができる。
【００７８】
図3はまた、モバイルデバイス386および視覚ディスプレイコンポーネント390を示す。モバイルデバイス386および視覚ディスプレイコンポーネント390は、各々、計算および接続性能力を含むことができる。モバイルデバイス386の例は、eリーダデバイス、コンバーチブルノートブックデバイス、ハイブリッドスレートデバイスなどを含んでもよい。視覚ディスプレイコンポーネント390の例は、テレビジョン、コンピュータモニタなどのような他のデバイスを含んでもよい。いくつかの例では、視覚ディスプレイコンポーネント390は、(たとえば、自動車、航空機、または何らかの他の車両中の)車両コックピットディスプレイまたはナビゲーションディスプレイであってもよい。いくつかの例では、視覚ディスプレイコンポーネント390は、コンピューティングデバイス310から分離した、ホームオートメーションディスプレイまたは何らかの他のタイプのディスプレイであってもよい。
【００７９】
図3に示すように、モバイルデバイス386は存在感知ディスプレイ388を含んでもよい。視覚ディスプレイコンポーネント390は、存在感知ディスプレイ392を含んでもよい。存在感知ディスプレイ388、392は、本開示に記載される、存在感知ディスプレイ112、212および/または312の機能性のサブセットまたは機能性すべてを含んでもよい。いくつかの例では、存在感知ディスプレイ388、392は追加機能性を含んでもよい。いずれのケースでも、存在感知ディスプレイ392は、たとえばコンピューティングデバイス310からデータを受信し、グラフィカルコンテンツを表示することができる。いくつかの例では、存在感知ディスプレイ392は、容量性、誘導性、および/または光学認識技法を使用して、プロジェクタスクリーンにおける1つまたは複数のユーザ入力(たとえば、連続ジェスチャ、マルチタッチジェスチャ、シングルタッチジェスチャ)を判断し、そのようなユーザ入力の指示を1つまたは複数の通信ユニットを使用してコンピューティングデバイス310に送信することができる。
【００８０】
上述したようにいくつかの例では、コンピューティングデバイス310は、システムバスまたは他の適切な通信チャネルによってコンピューティングデバイス310に結合されるPSD312における表示のためにグラフィカルコンテンツを出力することができる。コンピューティングデバイス310は、プロジェクタ380、プロジェクタスクリーン382、モバイルデバイス386、および視覚ディスプレイコンポーネント390など、1つまたは複数のリモートデバイスにおける表示のためにグラフィカルコンテンツを出力することもできる。たとえば、コンピューティングデバイス310は、本開示の技法に従ってグラフィカルコンテンツを生成および/または修正するために1つまたは複数の命令を実行することができる。コンピューティングデバイス310は、グラフィカルコンテンツを含むデータを通信ユニット342などのコンピューティングデバイス310の通信ユニットに出力することができる。通信ユニット342は、プロジェクタ380、プロジェクタスクリーン382、モバイルデバイス386、および/または視覚ディスプレイコンポーネント390など、リモートデバイスのうちの1つまたは複数にデータを送信してもよい。このようにして、コンピューティングデバイス310は、リモートデバイスのうちの1つまたは複数における表示のためにグラフィカルコンテンツを出力してもよい。いくつかの例では、リモートデバイスのうちの1つまたは複数が、それぞれのリモートデバイスに含まれ、かつ/またはそれらに動作可能に結合される存在感知ディスプレイにおいてグラフィカルコンテンツを出力してもよい。
【００８１】
いくつかの例では、コンピューティングデバイス310は、コンピューティングデバイス310に動作可能に結合されるPSD312においてグラフィカルコンテンツを出力しない場合がある。他の例では、コンピューティングデバイス310は、通信チャネル362Aによってコンピューティングデバイス310に結合されるPSD312と、1つまたは複数のリモートデバイスの両方における表示のためにグラフィカルコンテンツを出力することができる。そのような例では、グラフィカルコンテンツは、各それぞれのデバイスにおいてほぼ同時に表示されてもよい。たとえば、グラフィカルコンテンツを含むデータをリモートデバイスに送信するための通信待ち時間によって、ある程度の遅延がもたらされる場合がある。いくつかの例では、コンピューティングデバイス310によって生成され、かつPSD312における表示のために出力されたグラフィカルコンテンツは、1つまたは複数のリモートデバイスにおける表示のために出力されるグラフィカルコンテンツ表示とは異なってもよい。
【００８２】
コンピューティングデバイス310は、任意の適切な通信技法を使用して、データを送信し、受信することができる。たとえば、コンピューティングデバイス310は、ネットワークリンク373Aを使用して外部ネットワーク374に動作可能に結合されてもよい。図3に示すリモートデバイスの各々は、それぞれのネットワークリンク373B、373C、または373Dのうちの1つによって外部ネットワーク374に動作可能に結合されてもよい。外部ネットワーク374は動作可能に相互結合され、それにより図3に示すコンピューティングデバイス310とリモートデバイスとの間での情報の交換をできるようにするネットワークハブ、ネットワークスイッチ、ネットワークルータなどを含んでもよい。いくつかの例では、ネットワークリンク373A〜373Dは、イーサネット(登録商標)、ATMまたは他のネットワーク接続であってもよい。そのような接続は、ワイヤレスおよび/またはワイヤード接続であってもよい。
【００８３】
いくつかの例では、コンピューティングデバイス310は、直接デバイス通信378を使用して、図3に含まれるリモートデバイスのうちの1つまたは複数に動作可能に結合されてもよい。直接デバイス通信378は、コンピューティングデバイス310が、ワイヤードまたはワイヤレス通信を使用してリモートデバイスとデータを直接送信し、受信するための通信を含んでもよい。つまり、直接デバイス通信378のいくつかの例では、コンピューティングデバイス310によって送信されるデータは、リモートデバイスにおいて受信される前に1つまたは複数の追加デバイスによって転送されない可能性があり、およびその反対も可能である。直接デバイス通信378の例は、Bluetooth(登録商標)、近距離通信、ユニバーサルシリアルバス、WiFi、赤外線などを含んでもよい。図3に示すリモートデバイスのうちの1つまたは複数は、通信リンク376A〜376Dによってコンピューティングデバイス310と動作可能に結合されてもよい。いくつかの例では、通信リンク376A〜376Dは、Bluetooth(登録商標)、近距離通信、ユニバーサルシリアルバス、赤外線などを使用する接続であってもよい。そのような接続は、ワイヤレスおよび/またはワイヤード接続であってもよい。
【００８４】
本開示の技法によると、コンピューティングデバイス310は、外部ネットワーク374を使用して視覚ディスプレイコンポーネント390に動作可能に結合されてもよい。コンピューティングデバイス310は、PSD312における表示のために編集領域およびグラフィカルキーボードを含むグラフィカルユーザインターフェースを出力することができ、グラフィカルキーボードは複数のキーおよび翻訳領域を含む。たとえば、コンピューティングデバイス310は、グラフィカルユーザインターフェースの表現を含むデータを通信ユニット342に送信してもよい。通信ユニット342は、外部ネットワーク374を使用してグラフィカルユーザインターフェースの表現を含むデータを視覚ディスプレイコンポーネント390に送信することができる。視覚ディスプレイコンポーネント390は、外部ネットワーク374を使用してデータを受信したことに応答して、PSD312にグラフィカルユーザインターフェースを出力させることができる。グラフィカルユーザインターフェースのキーボードの1つまたは複数のキーを選択するためのユーザ入力をPSD312において受信したことに応答して、視覚ディスプレイコンポーネント390は、外部ネットワーク374を使用して1つまたは複数のキーの選択の指示をコンピューティングデバイス310に送信してもよい。通信ユニット342は、1つまたは複数のキーの選択の指示を受信し、かつ1つまたは複数のキーの選択の指示をコンピューティングデバイス310に送信してもよい。
【００８５】
1つまたは複数のキーの選択の指示を受信する間、コンピューティングデバイス310は、グラフィカルユーザインターフェースの編集領域内での表示のために選択から推論される1つまたは複数の候補単語を出力することであって、1つまたは複数の候補単語はソース言語に関連付けられている、出力することと、1つまたは複数の候補単語から特定の単語の翻訳を判断することであって、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられている、判断することと、グラフィカルキーボードの翻訳領域内での表示のために翻訳の指示を出力することとが可能である。たとえば、コンピューティングデバイス310は、編集領域内の1つまたは複数の候補単語と、グラフィカルキーボードの翻訳領域内の翻訳とを含む、グラフィカルユーザインターフェースの更新された表現を送信することができる。通信ユニット342は、更新されたグラフィカルユーザインターフェースの表現を受信することができ、更新された表現を視覚ディスプレイコンポーネント390に送信することができ、それにより視覚ディスプレイコンポーネント390は、PSD312にグラフィカルキーボードの翻訳領域内に表示される翻訳を含む更新されたグラフィカルユーザインターフェースを出力させることができる。
【００８６】
図4A〜図4Iは、本開示の1つまたは複数の態様による、統合型翻訳特徴を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。図4A〜図4Iはそれぞれ、例示的グラフィカルユーザインターフェース414A〜414I(まとめて、ユーザインターフェース414)を示す。ただし、グラフィカルユーザインターフェース414の多くの他の例が、他の事例において使用されてもよい。グラフィカルユーザインターフェース414の各々はそれぞれ、図1および図2のコンピューティングデバイス110または210によって表示されるグラフィカルユーザインターフェースに対応してもよい。ユーザインターフェース414の各々は、グラフィカルキーボード416Bおよび編集領域416Cを含む。グラフィカルキーボード416Bは、ユーザインターフェース414の各々において、提案/翻訳領域418Bおよびグラフィカルキー418Aを含む。図4A〜図4Iについて、コンピューティングデバイス110のコンテキストにおいて以下で説明する。
【００８７】
図4A〜図4Dの例では、ユーザインターフェース414A〜Dは、コンピューティングデバイス110のユーザがグラフィカルキーボード416Bにおいて入力を与えている間、コンピューティングデバイス110が、いくつかの例において、どのようにして翻訳のグラフィカル指示を表示のために出力させるかを示す。たとえば、図4Aに示すようにユーザは、様々なキー418Aのロケーションにおいて、またはその近くでタップ入力を与える場合がある。キー418Aにおけるタップ入力に応答して、コンピューティングデバイス110は、提案/翻訳領域418B内でソース言語(たとえば、英語)での入力から判断された1つまたは複数の候補単語(たとえば、Jackfruits、Jackfruit、Jackなど)を自動的に表示し、また提案/翻訳領域418B内で最も見込みがある候補単語(Jackfruit)の翻訳をターゲット言語(たとえば、中国語)で表示することができる。コンピューティングデバイス110は、編集領域416C内で最も見込みがある候補単語(Jackfruit)をソース言語でさらに表示することができる。
【００８８】
次に図4Cに示すようにコンピューティングデバイス110のユーザは、コンピューティングデバイス110に提案/翻訳領域418B内で入力から判断された1つまたは複数の追加候補単語(たとえば、Indian、India、Indicなど)をソース言語で自動的に表示させる入力をキー418Aにおいて与え続け、また提案/翻訳領域418B内でユーザがタイプ入力し始めてから判断された最も見込みがある候補単語(Jackfruit in India)の翻訳をターゲット言語で表示してもよい。コンピューティングデバイス110は、編集領域416C内で最も見込みがある候補単語をソース言語でさらに表示することができる。
【００８９】
次に図4Dに示すようにコンピューティングデバイス110のユーザは、提案/翻訳領域418B内に表示された翻訳のグラフィカル指示をユーザが選択したと判断してもよく、ユーザが翻訳を選択したと判断したことに応答して、コンピューティングデバイス110は、編集領域416C内の少なくとも1つの候補単語の指示を翻訳の指示で置き換えてもよい。たとえば図4Dに示すように中国語フレーズ「菠蘿蜜印度」が、英語フレーズ"Jackfruit in India"と置き換わっている。
【００９０】
いくつかの例では、翻訳の選択の指示を受信するのに先立って、コンピューティングデバイス110は、少なくとも1つの候補単語の指示を編集領域416C内に第1の表示フォーマットで表示してもよく、他の単語の指示は、編集領域416C内に第2の表示フォーマットで表示されてもよい。言い換えると、コンピューティングデバイス110は、提案/翻訳領域418B内で翻訳および表示された候補単語またはフレーズを編集領域416C内で(たとえば、色付け、下線などで)強調表示してもよい。
【００９１】
いくつかの例では、翻訳の選択の指示を受信するのに先立って、コンピューティングデバイス110は、少なくとも1つの候補単語の指示を編集領域416C内に第1の表示フォーマットで表示してもよく、翻訳の指示を編集領域416C内に第2の表示フォーマットで表示してもよい。言い換えると、コンピューティングデバイス110は、提案/翻訳領域418B内で翻訳および表示された候補単語またはフレーズを編集領域416C内で(たとえば、色付け、下線などで)強調表示し、翻訳が候補単語またはフレーズと置き換わると、強調表示を取り除いてもよい。
【００９２】
図4E〜図4Hの例では、ユーザインターフェース414E〜414Hは、編集領域416C内で候補単語と置き換わった翻訳をユーザが選択した後、コンピューティングデバイス110が、いくつかの例において、どのようにして確認ウィンドウを表示するかを示す。たとえば、図4A〜図4Bに示したようにユーザは、様々なキー418Aのロケーションにおいて、またはその近くでタップ入力を与える場合がある。キー418Aにおけるタップ入力に応答して、コンピューティングデバイス110は、提案/翻訳領域418B内で入力から判断された1つまたは複数の候補単語(たとえば、Forbidden city)をソース言語(たとえば、英語)で自動的に表示することができる。
【００９３】
図4Gに示すようにコンピューティングデバイス110のユーザがグラフィカルキーボード416Bのリターンキーを選択したことを検出すると、コンピューティングデバイス110は、編集領域416C中で入力から判断された1つまたは複数の候補単語の翻訳を入力してもよい。図4Hに示すように編集領域416C内でコンピューティングデバイス110のユーザが翻訳のグラフィカル指示を選択したことを検出すると、コンピューティングデバイス110は、代替翻訳を与えるポップアップを表示することができ、ユーザは、代替翻訳から現在の翻訳と置き換えるものを選択することができる。
【００９４】
いくつかの例では、コンピューティングデバイス110は、1つまたは複数のキー418Aの選択に基づいて、翻訳を実施するためのユーザコマンドを判断することができ、翻訳を実施するためのユーザコマンドを判断したことに応答して、翻訳の指示を翻訳領域418B内での表示のために出力することができる。たとえば、図4Iに示すようにユーザは、コンピューティングデバイス110がフレーズ"Translate Hello to Chinese"として認識したグラフィカルキーボード416Bの様々なキー418Aを選択している。コンピューティングデバイス110が、フレーズが翻訳を実施するためのコマンドであると判断したことに応答して、コンピューティングデバイス110は、提案/翻訳領域418B内で英単語"Hello"の中国語翻訳のグラフィカル指示を表示する。いくつかの例では、コンピューティングデバイス110は、候補単語が散在した翻訳の指示を表示することができる。たとえば、図4Iにさらに示すようにコンピューティングデバイス110は、ユーザが次に入力したいと思う見込みが最もある候補単語であるとコンピューティングデバイス110が判断する候補単語"I"と"You"との間に、単語"Hello"の翻訳を表示してもよい。
【００９５】
図5は、本開示の1つまたは複数の態様による、統合型検索特徴を伴うグラフィカルキーボードを提示するように構成されるコンピューティングデバイスの例示的動作を示すフローチャートである。図5の動作は、図1のコンピューティングデバイス110または図2のコンピューティングデバイス210などのコンピューティングデバイスの1つまたは複数のプロセッサによって実施されてもよい。説明のためにのみ、図5を図1A〜図1Cのコンピューティングデバイス110のコンテキストにおいて以下で説明する。
【００９６】
動作中、コンピューティングデバイス110は、編集領域と、複数のキーおよび翻訳領域を含むグラフィカルキーボードとを含むグラフィカルユーザインターフェースを表示のために出力してもよい(500)。たとえば、コンピューティングデバイス110は、PSD112にグラフィカルキーボード116Bおよび編集領域116Cを含むユーザインターフェース114Aを提示させることができる。グラフィカルキーボード116Bは、キー118Aおよび翻訳領域118Bを含んでもよい。
【００９７】
コンピューティングデバイス110は、複数のキーからの1つまたは複数のキーの選択に基づいて、ソース言語から1つまたは複数の候補単語を判断してもよい(510)。たとえば、ユーザは、キー118Aが表示されるPSD112のロケーションにおいて、またはその近くでタップおよび/またはジェスチャ入力を与えることができる。キーボードモジュール122の言語および/または空間モデルは、UIモジュール120およびPSD112から受信されたタッチイベントに基づいて、PSD112における入力に基づいてユーザが入れている可能性がある中国語辞書の中の1つまたは複数の単語を判断することができる。
【００９８】
コンピューティングデバイス110は、編集領域内での表示のために1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を出力してもよい(520)。たとえば、キーボードモジュール122は、タッチイベントに基づいて、選択されているスコアまたは見込みが最も高い候補単語を判断し、UIモジュール120に中国語キャラクタで書かれた単語をPSD112において編集領域116C内に提示させることができる。
【００９９】
コンピューティングデバイス110は、少なくとも1つの候補単語から特定の単語の翻訳を判断することができ、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられている(530)。たとえば、コンピューティングデバイス110が、中国ではなくオーストラリアに位置すると判断したことに応答して、キーボードモジュール122は、キーボードモジュール122の翻訳特徴を自動的に呼び出し、編集領域116C内に表示される候補単語を英語キャラクタに翻訳することができる。
【０１００】
コンピューティングデバイス110は、グラフィカルキーボードの翻訳領域内での表示のために特定の単語の翻訳の指示を出力してもよい(540)。たとえば、候補単語を翻訳した後、キーボードモジュール122は、UIモジュール120に候補単語の英語翻訳をPSD112において、かつ翻訳領域118B内に提示させてもよい。
【０１０１】
コンピューティングデバイス110は、翻訳の選択の指示を受信してもよい(550)。たとえば、コンピューティングデバイス110のユーザは、候補単語の英語翻訳が表示される、PSD112のロケーションにおいてまたはその近くで、タップするかまたはジェスチャ入力する場合がある。
【０１０２】
コンピューティングデバイス110は、編集領域内での表示のために翻訳の指示を出力してもよい(560)。たとえば候補単語の英語翻訳のグラフィカル指示において入力の指示を受信したことに応答して、キーボードモジュール122は、UIモジュール120に編集領域116C内の候補単語の中国語キャラクタを候補単語の英語キャラクタで置き換えさせてもよい。
【０１０３】
いくつかの例では、コンピューティングデバイス110は、1つまたは複数の候補単語が、ターゲット言語ではなくソース言語に関連付けられていると判断したことに応答して、少なくとも1つの候補単語から特定の単語の翻訳を判断してもよい。別の言い方をすると、いくつかの例では、コンピューティングデバイス110は、ソース言語が第1のソース言語から第2のソース言語に変わったと判断したことに応答して、少なくとも1つの候補単語から特定の単語の翻訳を判断することができ、第1のソース言語はターゲット言語である。
【０１０４】
たとえば、コンピューティングデバイス110のユーザは、英語であってもよい非ネイティブ言語で1つまたは複数の単語を入力するためにグラフィカルキーボード116Bにおいて入力を与える場合がある。ユーザが、特定の単語を英語でどのようにしてタイプ入力するかを知らないが、その特定の単語をスペイン語でどのようにしてタイプ入力するかを知っている場合、ユーザは、その単語をスペイン語で入力するためにグラフィカルキーボード116Bにおいて入力を与えてもよい。コンピューティングデバイス110は、ユーザが、英単語のタイプ入力からスペイン語の単語のタイプ入力に切り替えたことを自動的に認識し、ユーザは、スペイン語の単語を英語に翻訳したいと思っている見込みがあると判断することができる。コンピューティングデバイス110は、スペイン語の単語を英語に自動的に翻訳し、英語翻訳を提案領域118Bおよび/または編集領域116C内での表示のために出力することができる。
【０１０５】
以下の番号付けされた項は、本開示の1つまたは複数の態様を例示することができる。
【０１０６】
項1。コンピューティングデバイスによって、グラフィカルキーボードおよび編集領域を含むグラフィカルユーザインターフェースを表示のために出力するステップであって、グラフィカルキーボードは複数のキーおよび翻訳領域を備える、ステップと、コンピューティングデバイスによって、複数のキーからの1つまたは複数のキーの選択に基づいて、ソース言語から1つまたは複数の候補単語を判断するステップと、コンピューティングデバイスによって、編集領域内での表示のために1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を出力するステップと、コンピューティングデバイスによって、少なくとも1つの候補単語から特定の単語の翻訳を判断するステップであって、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられる、ステップと、コンピューティングデバイスによって、グラフィカルキーボードの翻訳領域内での表示のために特定の単語の翻訳の指示を出力するステップとを含む、方法。
【０１０７】
項2。グラフィカルキーボードは、アプリケーショングラフィカルユーザインターフェースの一部として表示のために出力され、アプリケーショングラフィカルユーザインターフェースは編集領域を含み、本方法は、翻訳の選択の指示を受信したことに応答して、コンピューティングデバイスによって、編集領域内での表示のために翻訳の指示を出力するステップをさらに含む、項1に記載の方法。
【０１０８】
項3。翻訳の選択の指示を受信するのに先立って、コンピューティングデバイスによって、編集領域内での表示のために特定の単語の指示をソース言語で出力するステップをさらに含み、翻訳の指示を編集領域内に出力するステップは、編集領域内の少なくとも1つの候補単語の指示を翻訳の指示で置き換えるステップを含む、項2に記載の方法。
【０１０９】
項4。翻訳の選択の指示を受信するのに先立って、少なくとも1つの候補単語の指示は、編集領域内に第1の表示フォーマットで表示され、他の単語の指示は、編集領域内に第2の表示フォーマットで表示され、第2の表示フォーマットは第1の表示フォーマットとは異なる、項3に記載の方法。
【０１１０】
項5。翻訳領域は、ターゲット言語を選択するための選択可能要素を含み、本方法は、コンピューティングデバイスによって、ターゲット言語を選択するための選択可能要素の選択に基づいて、ターゲット言語を第1の言語から第1の言語およびソース言語とは異なる第2の言語に変更するステップと、コンピューティングデバイスによって、少なくとも1つの候補単語の翻訳を第1の言語から第2の言語に更新するステップとをさらに含む、項1から4のいずれかに記載の方法。
【０１１１】
項6。コンピューティングデバイスによって、コンピューティングデバイスの現在のロケーションに基づいて、ターゲット言語を判断するステップをさらに含む、項1から5のいずれかに記載の方法。
【０１１２】
項7。コンピューティングデバイスによって、受信されたメッセージの推論される言語に基づいて、ターゲット言語を判断するステップをさらに含む、項1から6のいずれかに記載の方法。
【０１１３】
項8。コンピューティングデバイスによって、先行翻訳において使用された以前のターゲット言語に基づいて、ターゲット言語を判断するステップをさらに含む、項1から7のいずれかに記載の方法。
【０１１４】
項9。コンピューティングデバイスによって、1つまたは複数のキーの選択に基づいて、翻訳を実施するためのユーザコマンドを判断するステップをさらに含み、翻訳の指示は、翻訳を実施するためのユーザコマンドを判断したことに応答して、翻訳領域内での表示のために出力される、項1から8のいずれかに記載の方法。
【０１１５】
項10。少なくとも1つの候補単語からの特定の単語の翻訳は、1つまたは複数の候補単語が、ターゲット言語ではなくソース言語に関連付けられていると判断したことに応答して判断される、項1から9のいずれかに記載の方法。
【０１１６】
項11。少なくとも1つの候補単語からの特定の単語の翻訳は、ソース言語が第1のソース言語から第2のソース言語に変わったと判断したことに応答して判断され、第1のソース言語はターゲット言語である、項1から10のいずれかに記載の方法。
【０１１７】
項12。存在感知ディスプレイコンポーネントと、少なくとも1つのプロセッサと、命令を記憶するメモリとを備えるモバイルデバイスであって、命令は、実行されると、少なくとも1つのプロセッサに存在感知ディスプレイコンポーネントにおける表示のためにグラフィカルキーボードおよび編集領域を含むグラフィカルユーザインターフェースを出力することであって、グラフィカルキーボードは複数のキーおよび翻訳領域を備える、出力することと、存在感知ディスプレイコンポーネントにおいて検出された入力の指示を受信することと、入力によって選択された、複数のキーからの1つまたは複数のキーを判断することと、1つまたは複数のキーに基づいて、ソース言語から1つまたは複数の候補単語を判断することと、存在感知ディスプレイコンポーネントにおける、および編集領域内での表示のために1つまたは複数の候補単語からの少なくとも1つの候補単語の指示を出力することと、少なくとも1つの候補単語から特定の単語の翻訳を判断することであって、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられる、判断することと、存在感知ディスプレイコンポーネントにおける、および翻訳領域内での表示のために特定の単語の翻訳の指示を出力することとを行わせる、モバイルデバイス。
【０１１８】
項13。命令は、実行されると、少なくとも1つのプロセッサにさらに、翻訳の選択の指示を受信したことに応答して、存在感知ディスプレイコンポーネントにおける、および編集領域内での表示のために翻訳の指示を出力させる、項12に記載のモバイルデバイス。
【０１１９】
項14。命令は、実行されると、少なくとも1つのプロセッサにさらに、翻訳の選択の指示を受信するのに先立って、存在感知ディスプレイコンポーネントにおける、および編集領域内での表示のために特定の単語の指示をソース言語で出力させ、翻訳の指示は、少なくとも、編集領域内の少なくとも1つの候補単語の指示を翻訳の指示で置き換えることによって、編集領域内での表示のために出力される、項13に記載のモバイルデバイス。
【０１２０】
項15。命令は、実行されると、少なくとも1つのプロセッサにさらに、コンピューティングデバイスの現在のロケーションに基づいて、ターゲット言語を判断させる、項12から14のいずれかに記載のモバイルデバイス。
【０１２１】
項16。命令は、実行されると、少なくとも1つのプロセッサにさらに、受信されたメッセージの推論される言語に基づいて、ターゲット言語を判断させる、項12から14のいずれかに記載のモバイルデバイス。
【０１２２】
項17。命令は、実行されると、少なくとも1つのプロセッサにさらに、先行翻訳において使用された以前のターゲット言語に基づいて、ターゲット言語を判断させる、項12から14のいずれかに記載のモバイルデバイス。
【０１２３】
項18。命令は、実行されると、少なくとも1つのプロセッサにさらに、1つまたは複数のキーの選択に基づいて、翻訳を実施するためのユーザコマンドを判断させ、翻訳の指示は、翻訳を実施するためのユーザコマンドを判断したことに応答して、翻訳領域内での表示のために出力される、項12から14のいずれかに記載のモバイルデバイス。
【０１２４】
項19。命令を備えるコンピュータ可読記憶媒体であって、命令は、実行されると、コンピューティングデバイスの少なくとも1つのプロセッサに編集領域およびグラフィカルキーボードを含むグラフィカルユーザインターフェースを表示のために出力することであって、グラフィカルキーボードは複数のキーおよび翻訳領域を備える、出力することと、複数のキーからの1つまたは複数のキーの選択の指示を受信する間、領域内での表示のために選択から推論される1つまたは複数の候補単語を出力することであって、1つまたは複数の候補単語はソース言語に関連付けられる、出力することと、1つまたは複数の候補単語から特定の単語の翻訳を判断することであって、特定の単語の翻訳は、ソース言語とは異なるターゲット言語に関連付けられる、判断することと、翻訳領域内での表示のために翻訳の指示を出力することとを行わせる、コンピュータ可読記憶媒体。
【０１２５】
項20。翻訳は第1の翻訳であり、コンピュータ可読記憶媒体は追加命令を備え、追加命令は、実行されると、コンピューティングデバイスの少なくとも1つのプロセッサに第1の翻訳の選択の指示を受信したことに応答して、1つまたは複数の候補単語からの特定の単語の1つまたは複数の第2の翻訳を表示のために出力させ、1つまたは複数の第2の翻訳からの特定の第2の翻訳の選択の指示を受信したことに応答して、編集領域内で第1の翻訳の指示を特定の第2の翻訳の指示で置き換えさせる、項19に記載のコンピュータ可読記憶媒体。
【０１２６】
項21。項1から11に記載の方法のいずれかを実施するための手段を備えるシステム。
【０１２７】
項22。項1から11に記載の方法のいずれかを実施するための手段を備えるコンピューティングデバイス。
【０１２８】
項23。命令を備えるコンピュータ可読記憶媒体であって、命令は、実行されると、コンピューティングデバイスの少なくとも1つのプロセッサに項1から11に記載の方法のいずれかを実施させる、コンピュータ可読記憶媒体。
【０１２９】
1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアに実装される場合、機能は、1つもしくは複数の命令もしくはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行することができる。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、またはたとえば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでもよい。このようにコンピュータ可読媒体は、一般に(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応してもよい。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされてもよい任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【０１３０】
限定ではなく例としてそのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用されてもよいとともにコンピュータによってアクセスされてもよい任意の他の媒体を備えることができる。また、任意の接続が、適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびBlu-ray(登録商標)ディスク(disc)を含み、ここでディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
【０１３１】
命令は、1つもしくは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積論理回路機構もしくは個別論理回路機構などの1つまたは複数のプロセッサによって実行されてもよい。したがって、使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な他の構造のいずれかを指すことがある。加えて、いくつかの態様では、説明された機能性は、専用のハードウェアモジュールおよび/またはソフトウェアモジュール内で提供されてもよい。また、技法は、1つまたは複数の回路または論理要素で完全に実装されてもよい。
【０１３２】
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装されてもよい。開示された技法を実施するように構成されるデバイスの機能的側面を強調するために様々なコンポーネント、モジュール、またはユニットが本開示に記載されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明された1つまたは複数のプロセッサを含んでハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられてもよい。
【０１３３】
様々な例が説明されてきた。これらおよび他の例は以下の特許請求の範囲に入る。
【符号の説明】
【０１３４】
110  コンピューティングデバイス
112  存在感知ディスプレイ(PSD)
114  ユーザインターフェース
116A  出力領域
116B  グラフィカルキーボード
116C  編集領域
118A  グラフィカルキー、キー
118B  提案領域、領域、翻訳領域
118C  選択可能要素、要素、翻訳要素、検索要素
120  ユーザインターフェース(UI)モジュール、モジュール
122  キーボードモジュール、モジュール
202  ディスプレイコンポーネント
204  存在感知入力コンポーネント
210  コンピューティングデバイス
212  PSD、コンポーネント
220  UIモジュール、モジュール
222  キーボードモジュール、モジュール
224  アプリケーションモジュール、モジュール
226  空間モデル(「SM」)モジュール、モジュール
228  言語モデル(「LM」)モジュール、モジュール
230  翻訳モジュール、モジュール
232  辞書データストア、データストア
240  プロセッサ、コンポーネント
242  通信ユニット、コンポーネント
244  入力コンポーネント、コンポーネント
246  出力コンポーネント、コンポーネント
248  記憶コンポーネント、コンポーネント
260A  辞書データストア
302  ディスプレイコンポーネント
304  存在感知入力コンポーネント
310  コンピューティングデバイス
312  PSD
342  通信ユニット
362A  通信チャネル
362B  通信チャネル
373A  ネットワークリンク
373B  ネットワークリンク
373C  ネットワークリンク
373D  ネットワークリンク
374  外部ネットワーク
376A  通信リンク
376B  通信リンク
376C  通信リンク
376D  通信リンク
378  直接デバイス通信
380  プロジェクタ
382  プロジェクタスクリーン
384  存在感知ディスプレイ
386  モバイルデバイス
388  存在感知ディスプレイ
390  視覚ディスプレイコンポーネント
392  存在感知ディスプレイ
414  ユーザインターフェース
416B  グラフィカルキーボード
416C  編集領域
418A  グラフィカルキー、キー
418B  提案/翻訳領域
【図１Ａ】
2019519010.tif 000003
【図１Ｂ】
2019519010.tif 000004
【図１Ｃ】
2019519010.tif 000005
【図２】
2019519010.tif 000006
【図３】
2019519010.tif 000007
【図４Ａ】
2019519010.tif 000008
【図４Ｂ】
2019519010.tif 000009
【図４Ｃ】
2019519010.tif 000010
【図４Ｄ】
2019519010.tif 000011
【図４Ｅ】
2019519010.tif 000012
【図４Ｆ】
2019519010.tif 000013
【図４Ｇ】
2019519010.tif 000014
【図４Ｈ】
2019519010.tif 000015
【図４Ｉ】
2019519010.tif 000016
【図５】
2019519010.tif 000017
【国際調査報告】
2019519010.tif 000018
2019519010.tif 000019