(57)【要約】  コンピューティングデバイスは、ユーザからボイスコマンド入力を受け取る。このデバイスは、このボイスコマンド入力に基づいて言語処理結果を得る。この結果は、インテントと、引数のセットとを含む。このデバイスは、様々な異なるタイプの文脈情報も得る。インテント、引数、および文脈情報に基づいてアクションが識別され、デバイスは、次いで、ユーザが作動するとそのアクションを実行することができるユーザ選択可能入力機構を表示することによって、このアクションを提示する。デバイスは、アクションを自動的に実行することもできる。
2018502358.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングシステムであって、
発語を受信し、前記発語を言語処理システムに送信し、前記発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受信するユーザインタフェース機構と、
前記コンピューティングシステムの現在のコンテキストを識別するコンテキスト識別システムと、
前記現在のコンテキストおよび前記言語処理結果中の前記インテントに基づいてアクションを識別するアクション識別子と、
前記現在のコンテキストおよび前記言語処理結果中の前記引数のセットに基づいて複数の異なる情報ソースを検索して、前記アクションが実行される対象であるコンテンツを識別するクロスソース検索構成要素と、
前記識別したコンテンツに対して前記アクションを行うように被制御システムを制御するアクション構成要素と
を含む、コンピューティングシステム。
【請求項２】
前記発語が、前記コンテンツを暗示的に識別し、前記クロスソース検索構成要素が、前記引数を検索用語として使用して、前記複数の異なる情報ソースを検索して、それぞれ異なるコンテンツ項目を識別する複数の異なる検索結果を識別する、請求項１に記載のコンピューティングシステム。
【請求項３】
前記異なる検索結果のそれぞれについて関連性測度を生成して所与の検索結果を得る関連性生成器
をさらに含む、請求項１に記載のコンピューティングシステム。
【請求項４】
前記関連性生成器が、前記引数および現在のコンテキストを使用して、前記現在のコンテキストおよび前記引数に基づいて、普通なら曖昧な検索結果を曖昧性除去して前記所与の検索結果を得る、
請求項３に記載のコンピューティングシステム。
【請求項５】
前記言語処理システムが、
前記コンピューティングシステム上に配置された、スピーチ認識システムおよび自然言語理解システムを含む第１の言語処理システムをさらに含み、前記スピーチ認識システムが、前記発語のテキスト表現を生成し、前記自然言語理解システムが、第１の言語処理結果中の前記インテントおよび引数を識別し、さらに前記現在のコンテキストに基づいて普通なら曖昧な引数を曖昧性除去する、
請求項３に記載のコンピューティングシステム。
【請求項６】
前記ユーザインタフェース機構が、さらに前記コンピューティングシステムから遠隔の第２の言語処理システムに前記発語を送信し、前記第２の言語処理システムが、第２の言語処理結果を生成し、前記コンピューティングシステムが、前記第１の言語処理結果と前記第２の言語処理結果を組み合わせて、最終的な言語処理結果を得る、請求項５に記載のコンピューティングシステム。
【請求項７】
前記コンテキスト識別システムが、
前記ユーザの個人識別を識別する個人識別検出器と、
前記コンピューティングシステムの所与の近傍内の他の人または物を識別する近接度検出器と、
前記コンピューティングシステム上で開いているアプリケーションを識別する、開いているアプリケーション検出器と
を含む、請求項３に記載のコンピューティングシステム。
【請求項８】
前記コンテキスト識別システムが、
前記コンピューティングシステムが配置されている特定のデバイスを識別するデバイス検出器
を含む、請求項３に記載のコンピューティングシステム。
【請求項９】
前記コンテキスト識別システムが、
前記ユーザのカレンダ上の特定の時間および項目を識別するカレンダ検出器
を含む、請求項３に記載のコンピューティングシステム。
【請求項１０】
前記特定のデバイスがモバイルデバイスを含む、請求項８に記載のコンピューティングシステム。
【請求項１１】
前記コンテキスト識別システムが、
前記コンピューティングシステムが配置される前記特定のデバイスの位置を識別する位置検出器
を含む、請求項８に記載のコンピューティングシステム。
【請求項１２】
前記アクション識別子が、前記アクションを、送信する、開く、会議をスケジューリングする、作成する、添付する、電子メールをする、リマインダをセットする、共有する、提示する、起動する、および表示する、のうちの１つとして識別する、請求項３に記載のコンピューティングシステム。
【請求項１３】
発語を受信するステップと、
前記発語を言語処理システムに伝送するステップと、
前記発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受信するステップと、
コンピューティングシステムのコンテキストを検出するステップと、
前記コンテキストおよび前記言語処理結果中の前記インテントを解析して、行うべきアクションを識別するステップと、
前記コンテキストおよび前記言語処理結果中の前記引数のセットに基づいて複数の異なる情報ソースを検索して、前記アクションが実行される対象であるコンテンツを識別するステップと、
前記識別したコンテンツに対して前記アクションを実行するように被制御システムを自動的に制御するステップと
を含む、コンピュータ実装方法。
【請求項１４】
発語を受信し、前記発語を言語処理システムに送信し、前記発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受信するユーザインタフェース機構と、
コンピューティングシステムのコンテキストを識別するコンテキスト識別システムと、
前記現在のコンテキストおよび前記言語処理結果中の前記インテントに基づいてアクションを識別するアクション識別子と、
前記コンテキストおよび前記言語処理結果中の前記引数のセットに基づいて複数の異なる情報ソースを検索して、前記アクションが実行される対象であるコンテンツを識別するクロスソース検索構成要素と、
前記識別したコンテンツに対して前記アクションを行うように被制御システムを制御するアクション構成要素と
を含む、モバイルデバイス。
【請求項１５】
前記発語が、前記コンテンツを暗示的に識別し、前記クロスソース検索構成要素が、前記引数を検索用語として使用して、前記複数の異なる情報ソースを検索して、それぞれ異なるコンテンツ項目を識別する複数の異なる検索結果を識別するモバイルデバイスであって、
前記異なる検索結果のそれぞれについて関連性測度を生成して所与の検索結果を得、前記引数および現在のコンテキストを使用して、前記コンテキストおよび前記引数に基づいて、普通なら曖昧な検索結果を曖昧性除去して前記所与の検索結果を得る関連性生成器
をさらに含む、請求項１４に記載のモバイルデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  コンピュータシステムは、広く使用されている。一部のこのようなコンピュータシステムは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、大型スクリーンを有するスマートフォン（例えばファブレット）、ならびに様々なその他のモバイルデバイスおよびその他のコンピューティングデバイスを含むデバイスに展開されている。
【０００２】
[0002]  ユーザが複数の異なるコンピューティングデバイスを操作することは、珍しいことではない。例えば、ユーザは、職場にデスクトップコンピュータを持ち、自宅に別のコンピュータ（ラップトップコンピュータなど）を持っていることもある。ユーザは、ユーザが仕事用および私用の両方に使用するモバイルデバイス（スマートフォンなど）を有することもある。ユーザは、仕事および私的な作業の両方に使用する他のデバイスを有することもある。
【０００３】
[0003]  加えて、ユーザが関連するコンテンツを生成して格納する場所は、多数の異なる場所がある。例えば、ユーザは、あるデバイスにローカルなコンテンツを（スマートフォン上、ラップトップコンピュータ上、デスクトップコンピュータ上などで）生成して格納することがある。クライアント／サーバ環境では、ユーザは、サーバ上で情報を生成して格納する。ユーザは、複数の異なるサーバがある環境で操作することもあり、ユーザは、それらのサーバのうちのいずれかまたは全てで情報を生成して格納することもある。同様に、ユーザは、クラウド型ストレージまたはその他のクラウド型サービスなど、１つまたは複数のクラウド型サービスを使用することもある。その場合、ユーザはクラウド上にコンテンツを生成して格納することもある。
【０００４】
[0004]  関連するコンテンツの場所を特定するために、ユーザは、多くの異なるファイルを閲覧して、場所を特定したい特定の文書またはファイルの場所を特定することがよくある。同様に、ユーザが会議に出席していて、その会議に出ている他の人と文書を共有したいと思う場合には、通常は、ユーザが自分でその文書の場所を特定し、会議に出ている様々な個人全員を特定し、それらの個人全員の電子メールエイリアスを特定し、上記の情報全てを備えた電子メールメッセージを作成した後に、文書を添付して、それをそれらの個人に送信する必要がある。
【０００５】
[0005]  このようなコンテンツの場所を特定してそれと対話する現行のプロセスは、煩雑であり、時間もかかる。加えて、特にスマートフォンなど比較的スクリーンの小さなデバイスでは、こうしたプロセスではエラーを生じやすい可能性がある。
【０００６】
[0006]  以上の議論は、単に概略的な背景情報として与えたものであり、特許請求の範囲に記載された主題の範囲を決定する助けとして使用されるように意図されたものではない。
【発明の概要】
【課題を解決するための手段】
【０００７】
[0007]  コンピューティングデバイスは、ユーザからボイスコマンド入力を受け取る。このデバイスは、ボイスコマンド入力に基づく言語処理結果を得る。この結果は、インテントおよび引数のセットを含む。このデバイスは、様々な異なるタイプの文脈情報も取得する。インテント、引数、および文脈情報に基づいてアクションが識別され、デバイスは、次いで、そのアクションを実行するためにユーザが作動することができるユーザ選択可能入力機構を表示することによって、このアクションを示唆する。デバイスは、このアクションを自動的に実行することもできる。
【０００８】
[0008]  この発明の概要は、以下の発明を実施するための形態でさらに説明する概念の選択を単純化した形態で紹介するために与えたものである。この発明の概要は、特許請求する主題の重要な特徴または不可欠な特徴を特定するためのものではなく、また、特許請求する主題の範囲を決定する助けとして使用されるように意図されたものでもない。特許請求する主題は、背景技術に記した任意または全ての欠点を解消する実装態様に限定されるわけではない。
【図面の簡単な説明】
【０００９】
【図１Ａ】[0009]コンテキストベースコマンドアーキテクチャの一例を示すブロック図である（本明細書では図１Ａおよび図１Ｂをまとめて図１と呼ぶ）。
【図１Ｂ】[0009]コンテキストベースコマンドアーキテクチャの一例を示すブロック図である（本明細書では図１Ａおよび図１Ｂをまとめて図１と呼ぶ）。
【図２】[0010]スピーチ処理結果の一例を示すブロック図である。
【図３Ａ】[0011]コンテキスト情報に基づいて関連するコンテンツを特定する際の図１に示すアーキテクチャの動作の一例を示す流れ図である（本明細書では、図３Ａおよび図３Ｂをまとめて図３と呼ぶ）。
【図３Ｂ】[0011]コンテキスト情報に基づいて関連するコンテンツを特定する際の図１に示すアーキテクチャの動作の一例を示す流れ図である（本明細書では、図３Ａおよび図３Ｂをまとめて図３と呼ぶ）。
【図３Ｃ】[0012]ユーザインタフェース表示の例を示す図である。
【図３Ｄ】[0012]ユーザインタフェース表示の例を示す図である。
【図３Ｅ】[0012]ユーザインタフェース表示の例を示す図である。
【図３Ｆ】[0012]ユーザインタフェース表示の例を示す図である。
【図３Ｇ】[0012]ユーザインタフェース表示の例を示す図である。
【図３Ｈ】[0012]ユーザインタフェース表示の例を示す図である。
【図４】[0013]スピーチ入力信号に対してスピーチ処理を実行する際の図１に示すアーキテクチャの動作の一例を示す流れ図である。
【図４Ａ】[0014]ユーザインタフェース表示の例を示す図である。
【図４Ｂ】[0014]ユーザインタフェース表示の例を示す図である。
【図４Ｃ】[0014]ユーザインタフェース表示の例を示す図である。
【図４Ｄ】[0014]ユーザインタフェース表示の例を示す図である。
【図４Ｅ】[0014]ユーザインタフェース表示の例を示す図である。
【図４Ｆ】[0014]ユーザインタフェース表示の例を示す図である。
【図４Ｇ】[0014]ユーザインタフェース表示の例を示す図である。
【図４Ｈ】[0014]ユーザインタフェース表示の例を示す図である。
【図５】[0015]既に開かれている文書内でコマンド入力を処理する際の図１に示すアーキテクチャの動作の一例を示す流れ図である。
【図５Ａ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｂ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｃ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｄ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｅ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｆ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｇ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｈ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｉ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｊ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｋ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｌ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｍ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｎ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｏ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｐ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｑ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｒ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｓ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｔ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｕ】[0016]ユーザインタフェース表示の例を示す図である。
【図５Ｖ】[0016]ユーザインタフェース表示の例を示す図である。
【図６Ａ】[0017]クイックスタートプロセスを実行する際の図１に示すアーキテクチャの動作の一例を示す流れ図である（本明細書では、図６Ａおよび図６Ｂをまとめて図６と呼ぶ）。
【図６Ｂ】[0017]クイックスタートプロセスを実行する際の図１に示すアーキテクチャの動作の一例を示す流れ図である（本明細書では、図６Ａおよび図６Ｂをまとめて図６と呼ぶ）。
【図６Ｃ】[0018]ユーザインタフェース表示の例を示す図である。
【図６Ｄ】[0018]ユーザインタフェース表示の例を示す図である。
【図６Ｅ】[0018]ユーザインタフェース表示の例を示す図である。
【図６Ｆ】[0018]ユーザインタフェース表示の例を示す図である。
【図６Ｇ】[0018]ユーザインタフェース表示の例を示す図である。
【図６Ｈ】[0018]ユーザインタフェース表示の例を示す図である。
【図７】[0019]遠隔サーバ環境中の図１に示すアーキテクチャのいくつかの部分を示す一例のブロック図である。
【図８】[0020]クライアント／サーバ環境中の図１に示すアーキテクチャのいくつかの部分を示すブロック図である。
【図９】[0021]クラウドコンピューティングアーキテクチャに配置された、図１に示すアーキテクチャのいくつかの部分の一例を示すブロック図である。
【図１０】[0022]モバイルデバイスの例を示す図である。
【図１１】[0022]モバイルデバイスの例を示す図である。
【図１２】[0022]モバイルデバイスの例を示す図である。
【図１３】[0023]以上の図面の様々なアーキテクチャで使用することができるコンピュータシステムの一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
[0024]  図１Ａおよび図１Ｂ（本明細書では、まとめて図１と呼ぶ）は、コンテキストベースコマンドアーキテクチャ１００の一例を示すブロック図である。アーキテクチャ１００は、例示的に、言語処理システム１０４および例示的に複数の異なる情報ソース１０８〜１１０を含むソースセット１０６と対話するコンテキストベースアクションシステム１０２を含む。情報ソース１０８〜１１０は、それら自体が、最も最近使用された文書、電子メールメッセージ、連絡先または名簿、スケジュール情報（カレンダ情報など）、共同システムまたは提示システムの文書またはその他の情報、デバイス情報、位置情報、およびその他の幅広い様々な情報のストアなどの情報ソースであってもよい。
【００１１】
[0025]  図１に示す項目は、全てが単一のデバイス上に位置していてもよいし、あるいは様々な異なるデバイスまたは位置の間に分散していてもよいことは分かるであろう。このことのいくつかの異なる例については、以下で図７〜図９を参照して説明する。図１に示す例では、コンテキストベースアクションシステム１０２は、例示的に、ユーザ１１２によって入力されたコマンドを受け取り、様々な異なる文脈情報に鑑みてそれらを解釈する。コンテキストベースアクションシステム１０２は、次いで、ユーザ１１２と対話するためのユーザインタフェース機構１１４などの表示を生成することができる。ユーザ１１２は、例示的に、ユーザインタフェース機構１１４と対話して、システム１０２を制御および操作する。１つの例では、機構１１４は、ユーザインタフェース表示機構、ボイス入力、ボタン、キーパッドなどによって作動されるボイス機構、またはその他の幅広い様々な機構を含み得る。
【００１２】
[0026]  図１に示す例では、システム１０２は、例示的に、ソース１０８〜１１０の情報を検索する検索システム１１６、ユーザが既に文書の内部にいるときにアクションを生成するアクション生成器１１８、ユーザが文書と対話していないときにアクションを生成するアクション生成器１２０、コンテキスト識別システム１２２、被制御システム１２４、その他の様々なセンサ１２６、プロセッサ１２８、ユーザインタフェース構成要素１３０。ユーザメトリックストア１３２、ユーザメトリック構成要素１３４を含んでいるが、その他の項目１３６を含むこともできる。
【００１３】
[0027]  図１に示すアーキテクチャ１００の例では、言語処理システム１０４は、例示的に、スピーチ認識システム１３８と、自然言語理解システム１４０とを含む。もちろん、これらのシステム１３８、１４０のうちの一方がコンテキストベースアクションシステム１０４の一部である場合も、その両方がコンテキストベースアクションシステム１０４の一部である場合も考えられ、両者が別々に示してあるのは、単なる例示である。
【００１４】
[0028]  スピーチ認識システム１３８は、スピーチ入力（ユーザ１１２がマイクロホンに向かって話したのに応答してマイクロホンが生成することがある発語１４２）を受け取り、その発語１４２の文脈的表現を生成する、幅広い様々な異なるタイプのスピーチ認識システムのいずれであってもよい。例えば、システム１３８は、隠れマルコフプロセスで音響モデルおよび言語モデルを使用して動作することができる。システム１３８は、ニューラルネットワーク型認識、またはその他のタイプの認識を使用して動作することもできる。
【００１５】
[0029]  自然言語理解システム１４０は、例示的に、発語１４２のテキスト表示を受け取り、その解釈を生成する。１つの例では、システム１４０は、発語１４２中で識別される特定の単語に基づいて活動化される規則を有する複数の異なる文法１４３〜１４４を含む。自然言語理解システム１４０は、発語１４２内のインテントおよび様々な引数を識別することによって、解釈を生成する。インテントは、ユーザ１１２が望むコマンド、あるいはユーザ１１２が実行しようとしている別のタイプのアクションまたはタスクとすることができる。引数は、アクションが行われることになる特定のコンテンツを識別することができる記述子情報を含む。言語処理システム１０４は、例示的に、発語１４２から識別されたテキスト表現、インテント、および引数を、言語処理結果１４６として戻す。この結果については、以下で図２を参照してさらに詳細に説明する。
【００１６】
[0030]  アーキテクチャ１００の全体的な動作についてより詳細に説明する前に、アーキテクチャ１００内の項目のいくつかと、それらに対応する動作とについて、最初に簡単に説明する。検索システム１１６は、例示的に、複数の異なるソース特有検索構成要素１４８〜１５０を含む。１つの例では、各構成要素１４８〜１５０は、特定の運情報ソース１０８〜１１０を検索するように構成される。例えば、情報ソース１０８がワードプロセシング文書のソースである場合には、検索構成要素１４８は、ソース１０８中のワードプロセシング文書を検索するように構成することができる。情報ソース１１０が電子メールメッセージおよび受信側などを含む電子メールシステムである場合には、検索構成要素１５０は、電子メールシステムを含む情報ソース１１０を検索するように構成することができる。ソース１０８〜１１０がカレンダまたは連絡先ディレクトリである場合には、対応する検索構成要素１４８〜１５０を使用することができる。
【００１７】
[0031]  別の例では、クロスソースコンテキストベース検索構成要素１５２は、それ自体で、または制御構成要素１４８〜１５０によって、（システム１０４から戻される結果中のインテントおよび引数に基づいて）関連するコンテンツについて検索される複数の異なる情報ソース１０８〜１１０を識別することができ、これらのソース１０８〜１１０を検索して（またはそれらを検索するように対応する構成要素１４８〜１５０を制御して）、クロスソース検索結果のセットを生成することができる。関連性生成器１５４は、例示的に、幅広い様々な異なる文脈情報を取得し、検索システム１１６から戻されるコンテンツ項目のそれぞれについて関連性スコアを生成する。関連性スコアを使用して、とりわけ、コンテンツ（またはそのコンテンツへのリンク）のランク付きリストを生成することができる。検索システム１１６は、その他の項目１５６を含むこともできる。
【００１８】
[0032]  コンテキスト識別システム１２２は、例示的に、それぞれ異なるタイプの文脈情報を検出する複数の異なるコンテキスト検出器を含む。例えば、位置検出器１５８は、例示的に、コンテキストベースアクションシステム１０２を含む（ユーザに使用されている）デバイスの現在位置を示す出力を生成する位置決めシステム（GPSセンサまたはその他の位置識別システムなど）とすることができる。デバイス検出器１６０は、例えばそのデバイスがモバイルデバイス、デスクトップコンピュータであるのか、またはそれ以外のデバイスであるのかどうかなど、デバイス検出器が設けられている（またはユーザ１１２が使用している）デバイスについての文脈情報を取得する。近接度検出器１６２は、他の個人、ユーザの仕事場の位置、ユーザの家の位置など他の項目に対するデバイス（例えばユーザ１１２が持ち運んでいるデバイス）の近接度を検出する。個人識別検出器１６４は、例示的に、ユーザ１１２の個人識別を検出する（ユーザがこのタイプの検出を選択するなどして同意していることを前提とする）。カレンダ検出器１６５は、現在時刻、週、月、会計期間、年などを検出することができる。カレンダ検出器１６５は、例示的に、ユーザのカレンダ上の過去の項目、現在の項目、または将来の項目を識別することもできる。これは、例えば、ユーザが会議に出席したとき、その会議の出席者、その会議で提示された文書などを含むことができる。この情報は、関連性生成器１５４に提供することもできるし、あるいは別個に生成することもできる。開いているアプリケーション検出器１６６は、ユーザ１１２が使用しているデバイスまたはユーザが使用するその他のデバイス上でどんなアプリケーションが現在開かれているか（または最近開かれたか）などの情報を検出する。コンテキスト識別システム１２２は、幅広い様々なその他のコンテキスト情報も検出する幅広い様々なその他の検出器１６８を含むことができる。
【００１９】
[0033]  アクション生成器１２０は、例示的に、コンテキスト情報とインテントおよび引数とに基づいて、行うべきアクションを識別するアクション識別器１６９を含む。アクション生成器１２０は、結果１４６中にユーザ１１２によって表されるコンテキスト情報、インテントおよび引数に基づいて、それ自体によって、または被制御システム１２４を使用してアクションを実行することができる構成要素のセットも含む。例えば、発語１４２は、「私が今出席している会議の出席者に現在の仕様を送信する」というものであることがある。その場合には、発語１４２中に表されるインテントは、「現在の仕様」を識別するステップ、それを電子メールに添付する（または文書にリンクを添付するなどして含める）ステップ、その電子メールをユーザ１１２が出席している「現在の会議」の出席者にアドレス指定するステップ、場合によっては受信者のアクセス制御権または許可を調節するステップ、およびその後にその電子メールを出席者に送信するステップなど、いくつかのステップを含むことになる。したがって、アクション生成器１２０は、被制御システム１２４中の電子メールシステム１７２を制御することができる電子メール構成要素１７０などの項目を含む。共有構成要素１７４は、例示的に、非制御システム１２４中の様々な共有システム１７６上でコンテンツを共有するアクションを実行することができる。例えば、共有構成要素１７４がコンテンツ項目を別のユーザのソーシャルネットワークサイトまたはワークネットワークサイトにポストする、そのコンテンツ項目を共同サイト上のワークグループと共有する、またはそのコンテンツ項目をブログなどにポストすることもある。アクション生成器１２０は、非制御システム１２４中のリマインダシステム１８０を制御するリマインダ構成要素１７８などの項目も含むことができる。例えば、発語１４２が、ユーザ１１２が特定の状況下でリマインダを送信したいと思っていることを示すこともある。その場合には、インテントは、リマインダを送信することとなり、引数は、リマインダが送信される特定の状況を識別することになる。リマインダ構成要素１７８は、したがって、これを決定し、リマインダシステム１８０を使用してアクションを実行して、所望のリマインダを送信する。起動／表示構成要素１８２は、結果１４６で受け取ったインテントに基づいて、提示システム１８４または幅広い様々なその他のアプリケーションを、それが所望のアプリケーションを起動して、１つまたは複数の所望の表示を生成することができるように制御することができる。生成器１２０内の様々な構成要素は、カレンダシステム１８８なども制御することができる。例えば、アクション生成器１２０内の項目は、カレンダシステム１８８上で、ユーザ１１２の約束を挿入する、または会議の他の招待者に会議の要求を送信することもできる。加えて、会議の出席者を知りたい場合（ユーザ１１２が会議の全ての出席者に電子メールを送信したい場合など）には、アクション生成器１２０内の項目がカレンダシステム１８８と対話して、その所与の会議の出席者または招待者を識別する、または他の情報（所与の会議で提示されるプレゼンテーションなど）を識別し���、アクションを実行する際にその情報を使用することもできる。もちろん、アクション生成器１２０は、幅広い様々なその他の被制御システム１９２を制御して所望のアクションを実行する幅広い様々なその他の構成要素１９０を含むことができる。
【００２０】
[0034]  アクション生成器１１８は、例示的に、既に開かれている文書内のコンテキストを検出し、コンテキスト情報および様々なユーザ入力に基づいてアクションを実行する、またはアクションを提案することができる構成要素および検出器のセットを含む。例えば、コンテキスト検出器１９２は、開いている文書のコンテキストを検出することができる。文書がワードプロセシング文書である場合には、コンテキスト検出器１９２は、現在表示されている特定のページを検出することができる。コンテキスト検出器１９２は、文書中の様々な節、文書の様々な著者または注解者、文書の様々な改訂日、文書のフォーマット化、アクセス制御許可など、幅広い様々なその他のメタデータを検出することもできる。選択構成要素１９４は、ユーザが開いている文書中の様々な項目を選択したいと思っていることを示すユーザ１１２による対話を制御する。ナビゲーション構成要素１９６は、文書とのナビゲーション対話を制御する。コマンド識別子構成要素１９８は、ユーザに対して表示される対応するユーザ入力機構を有するコマンドのサブセットを識別して、ユーザがそのコマンドのサブセットのうちの任意のものを迅速に実行することができるようにする。連続会話構成要素２００は、例示的に、既に識別されている以前のコマンドのコンテキスト内で、様々な結果１４６、またはユーザ１１２からのその他の入力を処理する。クイックスタート構成要素２０２は、文書のスタートアップまたは初期オーサリング中に文書を表示しているアプリケーションを制御する。もちろん、アクション生成器１１８は、幅広い様々なその他のアクションを実行するために使用することができる幅広い様々なその他の項目２０４も含むことができる。
【００２１】
[0035]  図２は、言語処理システム１０４によって生成される処理結果１４６の一例を示すブロック図である。結果１４６は、例示的に、発語１４２中に見られるインテントを識別するインテント識別子２０６を含むことが分かる。また、結果１４６は、発語１４２中で認識された引数２０８〜２１０のセットも含む。加えて、結果１４６は、スピーチ認識システム１３８によって発語１４２から生成されるテキスト表現２１２を含むことができる。結果１４６は、もちろん、その他の項目２１４も含むことができる。
【００２２】
[0036]  図３Ａおよび図３Ｂ（本明細書ではまとめて図３と呼ぶ）は、ソース１０６のコンテンツ項目を識別し、それらをユーザ１１２に対して表示する際のシステム１０２（および関連性生成器１５４）の動作の一例を示す図である。コンテンツの関連性は、ユーザがシステム１０２を始めて開く、もしくは起動するとき、またはユーザがシステム１０２が表示されている文書の関連性をリフレッシュすることを要求するときなど任意の所望の時点で決定することもできるし、あるいは、例えばコンテキスト情報の変化などに基づいて自動的に決定することもできる。したがって、システム１０２は、最初に、どの関連するコンテンツをユーザに対して表面化させるかを決めるときであることを決定する。これは、ブロック２１６に示してある。関連するコンテンツを識別するときである場合には、関連性生成器１５４は、関連性計算で使用することができる任意のユーザの好みまたはプロフィル情報にアクセスすることができる。これは、ブロック２１８に示してある。例えば、ユーザが、特定のコンテンツを、先に、またはその他の形で示すことを好むこともある。また、関連性生成器１５４は、コンテキスト識別システム１２２にアクセスし、ユーザコンテキストを識別する。これは、ブロック２２０に示してある。例えば、個人識別検出器１６４は、ログイン情報２２２に基づいてユーザ１１２の個人識別を提供することができる（この場合も、ユーザがこのことに同意していることを前提とする）。位置検出器１５８およびデバイス検出器１６０を使用して、ユーザ１１２が家庭２２４にいるか、または職場２２６にいるか、あるいはその他の場所にいるか、およびユーザがどの１つまたは複数のデバイスを使用しているかを決定することができる。例えば、ユーザがジムに行くたびに、ワークアウトログにアクセスするということもある。その文書は２４時間以内にアクセスされていない可能性もあるが、システムは、ユーザがジムに物理的に存在することを感知し、これを関連性計算に使用する。
【００２３】
[0037]  その他のユーザコンテキスト情報２２８（使用パターンなど）も、識別することができる。例えば、納税時期が近いこともある。ユーザの以前の確定申告書は、したがって、新近性またはその他の情報に基づくだけでは、関連があるものとして表面化しない可能性がある。しかし、このシステムは、毎年この時期になるとユーザが古い確定申告書にアクセスするというパターンを認識する。このパターンを、関連性計算に使用することができる。これは単なる一例である。
【００２４】
[0038]  関連性生成器１５４は、ユーザが最近対話したコンテンツ項目も識別することができる。これは、ブロック２３０に示してある。例えば、情報ソース１０６のうちの１つが、最も最近に使用された文書またはコンテンツ項目のリストであるということもある。関連性生成器１５４は、したがって、このソースの項目を識別することができる。関連性生成器１５４は、ブロック２３２に示すように、上位ｎ個（またはしきい値数）のコンテンツ項目を識別することができる。関連性生成器１５４は、ブロック２３４に示すように、新近性の順序でコンテンツ項目を識別することができる。関連性生成器１５４は、ブロック２３６に示すようにユーザが最も頻繁にアクセスしたコンテンツ項目を識別する、またはブロック２３８に示すようにユーザと関連のある他の個人が最も頻繁にアクセスしたコンテンツ項目を識別することができる。例えば、文書は、誰が文書にアクセスしたか、および文書がいつアクセスされたかを規定するメタデータを有することができる。ユーザが職場から情報にアクセスしており、ユーザが１つまたは複数の作業グループに属している場合、あるいはユーザが１つまたは複数のチームに入っている、または監督者を有する場合には、その情報は、全て様々な情報ソース１０８〜１１０から取得することができる。関連性生成器１５４は、次いで、それらの他のユーザによって様々な最も最近にアクセスされた（または最も頻繁にアクセスされた）文書も識別することができる。これは単なる一例であり、最も最近に対話があったコンテンツ項目は、他の方法で識別することもでき、これは、ブロック２４０に示してある。
【００２５】
[0039]  関連性生成器１５４は、対話のタイプも識別することができる。これは、ブロック２４２に示してある。例えば、いくつかのタイプの対話が、他のタイプよりも重要であると考えられることもある。したがって、生成器１５４は、対話がコンテンツ項目を編集する（２４４）ものであったか、コンテンツ項目を単純に開く（２４６）ものであったか、コンテンツ項目にコメントする（２４８）ものであったか、コンテンツ項目を共有する（２５０）ものであったかを識別する、あるいは対話が別のタイプの対話２５２であるかどうかを識別することができる。
【００２６】
[0040]  生成器１５４は、ユーザ１１２またはその他のユーザによる様々なタイプの対話の頻度も識別することもできる。これは、ブロック２５４に示してある。
【００２７】
[0041]  加えて、生成器１５４は、対話がカレンダ項目に関連してどのようなものであったかを識別することができる。これは、ブロック２５６に示してある。例えば、ユーザが所与の定例会議ではいつも特定のコンテンツ項目にアクセスし、その会議がまた開かれようとしている場合には、関連性生成器１５４は、この時点では、その特定のコンテンツ項目が特に関連があると決定することができる。したがって、生成器１５４は、会議前に（２５８）、会議中に（２６０）、会議後に（２６２）、様々な期限に関連して（特定のタイプの期限の直前など）（２６４）、ユーザの空き時間に（２６６）、または他のカレンダ項目に関連して（２６８）、コンテンツ項目との対話があったかどうかを決定することができる。
【００２８】
[0042]  生成器１５４は、ブロック２７０に示すように、ユーザ１１２に関連する様々な人々を識別することもできる。例えば、識別システム１２２は、ユーザ１１２が頻繁にメッセージを送る様々な個人を識別することができる。これは、ブロック２７２に示してある。識別システム１２２は、ブロック２７４に示すように、ユーザ１１２が頻繁に会議をする様々な個人を識別することができる。識別システム１２２は、組織関係チャート上でユーザ１１２と密接な関係がある個人を識別することができる。これは、ブロック２７６に示してある。識別システム１２２は、ブロック２７８に示すように、ユーザ１１２と物理的に非常に近接している他のユーザを識別することができる。識別システム１２２は、ブロック２８０に示すように、ユーザ１１２と個人的な関係がある様々な人々（ソース１０６中のソーシャルネットワークサイトの人など）を識別することができる。識別システム１２２は、ブロック２８２に示すように、ユーザ１１２が共著者であった個人を識別することができる。識別システム１２２は、ユーザがその一員である様々な作業グループ、社会的グループ、またはその他のグループ２８４を識別することができ、また、識別システム１２２は、その他の人々を他の方法で識別することもでき、これは、ブロック２８６に示してある。
【００２９】
[0043]  生成器１５４は、デバイス検出器１６０を使用して、ユーザ１１２が現在使用している特定のデバイスを識別することができる。これは、ブロック２８８に示してある。例えば、生成器１５４は、ユーザが電話２９０を使用しているか、タブレット２９２を使用しているか、ラップトップコンピュータ２９４を使用しているか、デスクトップコンピュータ２９６を使用しているか、または別のタイプのデバイス２９８を使用しているかを決定することができる。生成器１５４は、デバイス使用のパターンを決定または検出することもできる。例えば、仕事の文書は、ユーザが通常はデスクトップコンピュータで仕事の文書にアクセスするので、デスクトップコンピュータとの関連性が高い可能性が高い。大抵の場合電話上で使用されることから、電話とのより関連性が高い他の文書（燃費計算スプレッドシートなど）があることもある。
【００３０】
[0044]  様々なコンテンツ項目の関連性を評価する際に、生成器１５４は、様々な検索構成要素１４８〜１５２を使用して、それらのコンテンツ項目が記憶されているコンテンツ記憶位置を識別することができる。これは、ブロック３００に示してある。例えば、コンテンツ項目は、ブロック３０２に示すように、ローカルなデータストアにローカルに記憶することができる。コンテンツ項目は、ブロック３０４に示すように、サーバに記憶する、またはその他の方法で遠隔に記憶することもできる。コンテンツ項目は、特定のクラウドサービス３０６、またはその他の位置３０８に記憶することもできる。
【００３１】
[0045]  生成器１５４は、他のセンサ１２６を使用して、他のセンサ入力３１０を識別することもできる。例えば、他のセンサ１２６が加速度計を含む場合には、生成器１５４は、ユーザ１１２が現在動いているかどうかを決定することができる。これは、ブロック３１２に示してある。生成器１５４は、ブロック３１４に示すようにユーザ１１２が位置している場所の天候を決定することもでき、あるいは、幅広い様々なその他のセンサ入力３１６を含むこともできる。
【００３２】
[0046]  関連性生成器１５４は、次いで、取得されている全ての情報に基づいて、識別されている様々なコンテンツ項目の関連性を計算する。これは、ブロック３１８に示してある。例えば、コンテンツ項目に関して取得された各文脈情報項目またはその他の情報には、値を割り当てることができる。関連性計算は、単純にこれらの値を全て集成するだけであることもある。これは、ブロック３２０に示してある。
【００３３】
[0047]  様々な情報項目が、他の情報より重要度が高い、または低いと考えられることもある。したがって、これらの情報項目は、ブロック３２２に示すように、それらの重要度に基づいて重み付けすることができる。重み付けは、コンテキスト情報に基づいて動的に変化することもある。例えば、ユーザが職場にいる場合には、１つの方法で重みを設定することができる。ユーザが家庭にいる場合には、異なる方法で重みを設定することができる。これは、単なる一例である。取得された関連性および文脈情報に基づいて実行することができる計算には、幅広い様々なその他のタイプの計算もある。これは、ブロック３２４に示してある。
【００３４】
[0048]  関連性生成器１５４は、次いで、関連するコンテンツのランク付きリストを生成することができる。これは、ブロック３２６に示してある。コンテンツの異なるタイプのそれぞれについて、複数の異なるタイプのリストがあることもある。これは、ブロック３２８に示してある。例えば、特定のタイプのコンテンツが、提示システム（スライド提示システムなど）の「提示」であることもある。したがって、（様々な文脈情報があるものとして）ユーザと最も関連性の高いスライド提示を、関連性の順序でランク付けし、表示の一部分でユーザに対して表面化することができる。ただし、他のタイプのコンテンツが、電子メールメッセージまたはスプレッドシート文書を含むこともある。これらのコンテンツ項目は、それぞれの関連性に基づいてランク付けすることができ、メールメッセージのランク付きリストおよびスプレッドシートのランク付きリストは、それぞれ、ユーザインタフェース表示の別個にスクロール可能な別の部分でユーザに対して表面化させることができる。これらは、単なる例であり、関連するコンテンツのランク付きリストは、他の方法で生成することもでき、これは、ブロック３３０に示してある。
【００３５】
[0049]  生成器１５４は、次いで、ユーザインタフェース構成要素１３０を使用して、関連するコンテンツを表面化させる。これは、ブロック３３２に示してある。例えば、生成器１５４は、ブロック３３４に示すように、上位Ｎ個のコンテンツ項目を表面化させることができる。生成器１５４は、コンテンツのタイプに基づいて、関連するコンテンツを表面化させ、それをディスプレイデバイス上で分割することができる。これは、ブロック３３６に示してある。生成器１５４は、ブロック３３８に示すようにコンテンツ自体を表示することもできるし、あるいはブロック３４０に示すようにコンテンツへのリンク（例えばハイパーリンク）を表示することもできる。生成器１５４は、要約構成要素を利用して、関連するコンテンツの要約を生成し、それらの要約を表示することもできる。これは、ブロック３４２に示してある。生成器１５４は、関連するコンテンツを他の方法で表面化させることもでき、これは、ブロック３４４に示してある。
【００３６】
[0050]  システム１０２は、次いで、コンテンツ項目とのユーザ対話を受け取ることができる。これは、ブロック３４６に示してある。システム１０２は、次いで、ユーザ対話に基づいてアクションを実行する。これは、ブロック３４８に示してあり、ユーザ対話のいくつかの例について、以下でさらに詳細に述べる。
【００３７】
[0051]  しかしながら、最初に、ユーザインタフェース表示のいくつかの例について述べる。図３Ｃおよび図３Ｄは、電話３５０（またはその他のモバイルデバイス）およびタブレットコンピュータ３５２（またはラップトップコンピュータ）上でユーザインタフェース表示がどのように見える可能性があるかを示す例である。各表示は、例示的に、関連があると考えられるコンテンツまたはコンテンツへのリンクのいずれかを表示するコンテンツ表示部分３５４および３５６をそれぞれ含むことが分かる。
【００３８】
[0052]  これらの表示は、作動すると表示されたコンテンツをフィルタリングすることができるユーザ選択可能フィルタ機構のセットを有するフィルタ部分３５８および３６０も含む。例えば、現在表示されているコンテンツは、「関連がある」ものとしてフィルタリングされる。ただし、ユーザは、「最近」ユーザ入力機構３６２を作動して、どの程度最近にそれがアクセスされたかに基づいて、表示されるコンテンツをフィルタリングすることもできる。ユーザは、「頻繁」ユーザ入力機構３６４を作動して、どの程度頻繁にそれとの対話が行われるかに基づいて、表示されるコンテンツをフィルタリングすることもできる。ユーザは、「好み」ユーザ入力機構３６６を作動して、ユーザが何を好みと考えたかに基づいて、表示されるコンテンツをフィルタリングすることもでき、ユーザは、「更新」ユーザ入力機構３６８を作動して、関連するコンテンツを更新することもできる。
【００３９】
[0053]  図３Ｅおよび図３Ｆは、図３Ｃおよび図３Ｄと同様であるが、ユーザが「更新」ユーザ入力機構３６８を作動している点が異なる。図３Ｇおよび図３Ｈは、関連性生成器１５４が、ユーザが関連性生成器１５４に様々なコンテンツ項目の関連性を再計算または更新させたいと思っていることを示す入力を受け取っていることを示す。これは、例えば、ユーザが位置を切り換えた、または現在異なる会議（ユーザが最後に関連性を計算させたときとは異なる会議）に出ている、などであることがある。図３Ｇおよび図３Ｈは、ユーザが物理的な位置を変えたために、表示されている関連のあるコンテンツが変化したことを示している。
【００４０】
[0054]  例えば、一例では、関連性生成器１５４は、位置検出器１５８を使用して、ユーザ１１２が現在は家庭ではなく職場にいることを検出している。したがって、様々なコンテンツ項目の関連性は、仕事関係コンテンツの方が個人または家庭関係コンテンツよりも現在は関連性が高く、リストの上の方に表示されるように、変化している。
【００４１】
[0055]  図４は、システム１０２でユーザ１１２が受け取ったスピーチ入力（または発語１４２）を処理する際のアーキテクチャ１００の動作の一例を示す流れ図である。本議論では、ユーザのデバイスが現在関連のあるコンテンツ（図３Ａ〜図３Ｈに関連して上記に示したものなど）を表示しているものと仮定している。
【００４２】
[0056]  ユーザは、次いで、例示的に、ユーザがボイスコマンドを提供しようとしていることを示す作動入力を提供する。あるいは、デバイスは、常にリッスンしており、特定のボイスコマンドによって活動化されることもある。一例として、ユーザは、タッチセンスディスプレイスクリーンにタッチする、またはその他の方法でシステムのスピーチ認識機能を起動することができる。システム１０２は、次いで、例示的に、自然言語ユーザボイス入力（または発語１４２）を受け取る。これは、図４ではブロック３８０に示してある。例えば、これは、ユーザのデバイスのマイクロホンで、またはその他の手段によって、受け取ることができる。システム１０２は、次いで、言語処理システム１０４に発語１４２を提供する。システム１０４、またはシステム１０４の部分１３８および１４０は、例えば、ユーザのデバイスにローカルに位置していてもよいし、サーバに位置していてもよいし、クラウドに位置していてもよいし、複数の異なる場所に位置していてもよいことに留意されたい。例えば、ユーザのデバイスが、比較的小さく単純なスピーチ認識システムおよび自然言語理解システムを有しており、簡単な発語はローカルで処理されるようになっていることもある。クラウドまたはサーバは、比較的大きく包括的なスピーチ認識システムおよび自然言語処理システムを有して、複雑な発語はクラウドに送信されるようになっていてもよい。別の例では、発語は、両方の場所で処理することができ、最高の信頼度スコアを有する結果を使用することもできる。これは、ブロック３８４に示してある。
【００４３】
[0057]  スピーチ認識システム１３８は、ブロック３８２に示すように、発語のテキスト表現を生成する。テキスト表現が生成されると、自然言語理解システム１４０が、テキスト表現に基づいて、発語１４２中のインテント３８６を識別する。自然言語理解システム１４０は、テキスト表現から、引数３８８も識別する。自然言語理解システム１４０は、他の情報を識別することもでき、これは、ブロック３９０に示してある。
【００４４】
[0058]  インテントは、例示的に、ユーザが実行したいと思うアクションに対応する。例えば、ユーザは、「この文書をジョーと共有する」などの文言を発語することがある。その場合には、自然言語理解システム１４０は、「共有する」という単語を、ユーザがシステムに実行することを望んでいるアクションまたはコマンドとして識別することになる。一例として、「共有する」という単語は、様々な文法１４３〜１４４の１つまたは複数の規則を活動化することができる。これらの規則は、他の規則を活動化することができ、そのそれぞれが、その規則が発効する前に一致すべき引数のセットを有する。テキスト表現が所与の規則と一致するときには、その規則のインテントおよびその規則の様々な引数が、結果１４６の一部として、テキスト表現とともに出力される。
【００４５】
[0059]  ユーザインタフェース構成要素１３０は、次いで、ブロック３９２に示すように、テキスト表現をユーザに対して表示する。アクション生成器１２０のアクション識別器１６９は、インテントに基づいて行うべきアクションを識別し、また、コンテキスト情報および引数に基づいてこれを行うこともできる。これは、ブロック３９４に示してある。例えば、アクション識別器１６９は、規則１４３〜１４４のセットにもアクセスすることができる。規則は、例示的に、インテントを所与のアクションまたはアクションのセットにマッピングする。これは、ブロック３９６に示してある。
【００４６】
[0060]  規則は、複数の異なるコマンドまたはアクションを必要とするタスクを完遂するために、階層構造または依存性構造でネストにする、または配列することができる。あるいは、規則は、他の方法で互いに参照する、または対話することができる。これは、ブロック３９８に示してある。例えば、会議の出席者のグループに文書を送信するには、複数の異なるアクションが必要である。第１に、文書を特定することが必要である。また、出席者のグループを特定することも必要である。次いで、それらの出席者を受信者とした電子メールを生成する必要がある。次いで、特定した文書を電子メールに添付し、その電子メールを送信する必要がある。これらのアクションまたはコマンドは全て、発語中に表現されるインテントに基づいて、アクティブな規則のシーケンスによって識別することができる。これらのアクションは、他の方法で識別することもでき、これは、ブロック４００に示してある。
【００４７】
[0061]  検索システム１１６は、次いで、引数およびコンテキスト情報に基づいて、これらのアクションを実行する対象であるコンテンツ項目を識別する。これは、ブロック４０２に示してある。例えば、インテントが添付物付きの電子メールを送信することである場合には、引数は、例示的に、電子メールの添付物および電子メールの受信者を識別することになる。引数は、添付物および出席者を明示的に識別することもできるし、あるいは暗示的にこれを行うこともできる（添付物が「私が今朝修正した仕様」として識別される場合、または受信者が「この会議の出席者」として識別される場合など）。その場合には、検索システム１１６は、例示的に、様々な情報ソース１０６を検索して、送信すべき添付物ならびに電子メールの受信者を識別する。検索システム１１６は、様々な情報ソース１０６を検索するときに、例示的に、最も関連性の高い検索結果（最も可能性が高い受信者、最も可能性が高い添付物など）を識別することになる。これを行う際に、検索システム１１６は、関連性生成器を使用して、各識別した項目の関連性スコアを生成することができる、あるいは、他の方法で、関連性を生成する、または最も可能性の高い受信者および添付物を推定することもできる。関連性を考慮することは、ブロック４０４に示してある。アクションが実行される対象であるコンテンツ項目は、他の方法４０６で識別することもできる。
【００４８】
[0062]  アクション生成器１２０は、行うべきアクションを識別し、検索システム１１６を使用してアクションを実行する必要があるコンテンツ項目を識別したら、例示的に、ブロック４０８に示すように、アクション生成器１２０の構成要素のうちの１つを使用してアクションを実行する。アクション生成器１２０は、電子メールシステムで電子メールに文書を添付し、電子メールを送信し、それと同時にグループまたはソーシャルネットワークサイトとこの文書を共有するなど、被制御システム１２４のうちの１つで１つまたは複数のアクションを実行することによって、これを行うことができる。複数のアクションを実行することは、ブロック４１０に示してある。これらのアクションは、他の方法で実行することもでき、これは、ブロック４１２に示してある。
【００４９】
[0063]  図４Ａ〜図４Ｈは、ボイス入力に基づいてコマンドを実行する際に生成することができるユーザインタフェース表示の様々な例を示す図である。例えば、図４Ａおよび図４Ｂは、ユーザインタフェース表示がそれぞれ電話３５０およびタブレットコンピュータ３５２上でどのようになる可能性があるかを示す例である。図示の例では、ユーザは、「先週ロブヤングに送ったＣｏｎｔｏｓｏセールスデッキを見つけて下さい。先週自宅から更新したと思います」というボイス入力を提供している。これを行う際に、ユーザは、最初に、例示的に、ユーザ入力機構（機構４１４など）を作動して、システム１０２に対して、ユーザが発語を行おうとしていることを示す。発語は、取り込まれて言語処理システム１０４に送られ、ここでスピーチ認識システム１３８がそのテキスト表現を生成する。テキスト表現は、ブロック４１６または４１８など、対応するユーザインタフェース表示上に表示される。
【００５０】
[0064]  図４Ｃおよび図４Ｄは、図４Ａおよび図４Ｂと同様であるが、検索システム１１６が、ユーザの発語に関連するいくつかの異なる関連コンテンツ項目を識別していることが分かる点が異なる。これを行うために、アクション生成器１２０は、最初に、発語中のインテントが文書を「見つける」であることを示す指示を受け取る。次いで、アクション生成器１２０は、検索システム１１６を使用して、ユーザの問い合わせに関連する文書を特定する。これを行う際に、アクション生成器１２０は、「Ｃｏｎｔｏｓｏセールスデッキ」、「先週」、「ロブヤング」、および「自宅」などの引数を使用して、関連する文書を識別する。図４Ｃおよび図４Ｄに示す表示は、表示されるコンテンツ項目がユーザの問い合わせに応答して発見されたものを示している。これらは、例示的に、関連性生成器１５４によって決定されるようなユーザの問い合わせとの関連性の順序で、またはその他の方法のいずれかで表示される。表示構成要素１８２は、次いで、電話３５０および／またはタブレット３５２上（ユーザが使用している方）にユーザインタフェース表示を生成し、関連するコンテンツが表示される。
【００５１】
[0065]  図４Ｅおよび図４Ｆは、図４Ｃおよび図４Ｄと同様であるが、ユーザが現在文書を共有するために「共有」ユーザ入力機構４２０を作動していることを示している点が異なる。これは、例えば、タッチセンススクリーン上のユーザ入力機構に触れることによって行うことができる。共有構成要素１７４は、次いで、検索システム１１６を使用して、その文書がどの人またはグループと共有されるべきかに関する勧告を識別する。これは、上述のようにユーザのコンテキスト情報、文書、他のユーザ、または他のコンテキスト情報に基づいて行うことができる。共有構成要素１７４は、次いで、ユーザインタフェース構成要素１３０を使用して、共有勧告をユーザに対して表示する。これは、図４Ｇ〜図４Ｈに示してある。
【００５２】
[0066]  図４Ｇおよび図４Ｈに示す例では、共有勧告４２２が、選択のためにユーザに対して表示されている。図示の例では、共有勧告は、解析された様々な人々に対するユーザ１１２の近接度、およびその他の文脈情報に基づいて識別されたものである。これは、単なる一例である。共有勧告４２２が正確である場合には、ユーザは、単純に送信ユーザ入力機構４２４を作動し、選択されたコンテンツ項目が共有勧告中で識別された人々と共有される。
【００５３】
[0067]  ここまでに述べた発語中の「インテント」のいくつかは、任意の所与の文書のコンテキストの外側で行われるコマンドまたはアクションを表す。例えば、コマンドは、開く、ダウンロードする、印刷する、共有する、作成する、送信する、約束をスケジューリングする、削除する、ポストする、発見する、などを含み得る。これらのアクションは、複数の異なるデータソース（例えばワードプロセシング文書、提示、電子メールなど）にわたって、かつ異なるデバイスにわたって（例えば、「昨日ニコルから受け取った文書をデスクトップで開け」というコマンドが、モバイルデバイス上でユーザによって入力されることもあるが、その文書をユーザのデスクトップ上で開くことができる）、文書またはその他のオブジェクトに対して実行することができる。
【００５４】
[0068]  また、ユーザが文書を開いているときには、システム１０２が文書に対してアクションを実行することができることにも留意されたい。例えば、システムは、文書内でアクション（ナビゲーションアクション、フォーマッティングアクション、選択アクションなど）を実行することができる。図５は、これを行う際のシステム１０２の動作を示す流れ図である。最初に、ユーザが文書を開いているものと仮定する。これは、ブロック４４０に示してある。文書は、例えば、ワードプロセシング文書４４２、スプレッドシート４４４、提示文書（スライド提示など）４４６、電子メールメッセージ４４８、画像４５０、または別の文書４５２とすることができる。
【００５５】
[0069]  コンテキスト検出器１９２は、例示的に、文書のコンテキストを検出する。これは、ブロック４５４に示してある。例えば、コンテキスト検出器１９２は、文書がスクロールされる先のページ、文書のフォーマッティング、または幅広い様々なその他の文脈情報を検出することができる。
【００５６】
[0070]  アクション生成器１１８は、次いで、ユーザメトリック構成要素１３４にアクセスして、ユーザ１１２に対応するユーザ学習メトリックを識別する。これは、ブロック４５６に示してある。例として、ユーザメトリック構成要素１３４は、例示的に、ユーザ１１２が、現在使用している特定のアプリケーションの使用において、現在使用している特定のデバイスの使用において、コンテキストベースアクションシステム１０２の使用において、またはその他の項目の使用において、どの程度上達しているか、または経験があるかを示すユーザメトリックを生成することができる。一例として、ユーザメトリック構成要素は、ユーザが所与のアプリケーションでフォーマッティング機能を何度使用したかを記録することができる。ユーザメトリック構成要素は、どのタイプの機能をユーザが使用したか、どの程度頻繁にユーザがシステム１０４を使用したか、または幅広い様々なその他のことを記録することができる。これは、ユーザの経験を示すメトリックとして機能することができる（あるいは、この情報に基づいてメトリックを計算することができる）。ユーザが所与のアプリケーションまたはシステム１０２を使用する経験を積むにつれて、システムは、それほど多くのヘルププロンプトをユーザのために生成する必要がなくなることもある。ただし、ユーザが新規のユーザである場合には、システムは、より多くのヘルププロンプトを生成する、またはそれらを寄り頻繁に表示しようとすることもある。いずれの場合も、生成器１１８は、ユーザが文書と対話する上でどの程度の経験があるか、または精通しているかを示す指示として、現在のユーザ１１２のユーザ学習メトリックにアクセスする。
【００５７】
[0071]  コマンド識別子構成要素１９８は、次いで、コンテキストおよびユーザ学習メトリックに基づいて、コンテキストに特有なコマンドのサブセットおよび表示頻度を識別する。これは、ブロック４５８に示してある。例えば、ユーザが、単に文書を見ているだけということもある。その場合には、コマンド識別子構成要素１９８は、ユーザが第１のサブセットのコマンドまたはアクションのうちの１つを実行したいと思う可能性があると予測することがある。別の例では、ユーザは、文書中のある単語、語句、段落、オブジェクトまたは画像を選択している可能性がある。その場合には、コマンド識別子構成要素１９８は、例示的に、ユーザが異なるサブセットのコマンドのうちのいずれかを実行することを望む可能性があると予測する。
【００５８】
[0072]  コマンドのサブセットを識別する際に、構成要素１９８は、コマンド予測規則のセット、またはユーザが使用したいと思う可能性がある様々なコマンドを予測するコマンド予測構成要素にアクセスすることができる。いずれの場合も、構成要素１９８は、アプリケーションのコンテキスト、ユーザのコンテキスト、およびユーザの経験レベル（学習メトリックによって表される）に基づいて、ユーザが行いたいと思う可能性があるコマンドのサブセットを識別する。構成要素１９８は、ユーザに特有の使用状況または好みのデータを考慮することもできる。これは、ブロック４６０に示してある。構成要素１９８は、メトリック、コンテキストデータなどの変化に基づいて、識別したコマンドのサブセットを修正することになる。これは、ブロック４６２に示してある。コマンドのサブセットは、ブロック４６４に示すように、他の方法で識別することもできる。
【００５９】
[0073]  コマンド識別子構成要素１９８は、次いで、ユーザインタフェース構成要素１３０を使用して、識別したコマンドのサブセットのための機構を表示する。これらの機構は、ユーザ学習メトリックに基づく頻度で表示される。ユーザは、次いで、この表示機構と対話して、コマンドのサブセットを実行することができる。識別したコマンドのサブセットをユーザ対話のために表示することは、ブロック４６６に示してある。例を挙げると有用である可能性がある。
【００６０】
[0074]  図５Ａ〜図５Ｄは、ユーザインタフェース表示およびコマンド表示機構の様々な例を示す図である。図５Ａでは、例えば、ユーザが単に表示４６８で文書を見ているだけであることが分かる。したがって、コマンド識別子構成要素１９８は、ユーザが単に文書を見ているだけであることから、ユーザが実行したいと思う可能性がある第１のセットのコマンドを識別する。コマンドのサブセットの一例は、とりわけ、「進む」コマンド、「発見する」コマンド、フォーマッティング「テーマ」コマンドを含む。コマンド識別子構成要素１９８は、次いで、表示要素４７０のセットを生成し、識別したコマンドのサブセットのそれぞれに１つの表示要素が対応している。表示要素４７０は、例示的に、ユーザが（それらをタップすることなどによって）作動して対応するアクションまたはコマンドを実行することができる、ユーザ作動可能表示要素である。したがって、例えば、ユーザが「進む」表示要素を作動した場合には、ナビゲート構成要素１９６が、ユーザをその文書の識別された部分にナビゲートすることになる。ユーザが「テーマ」表示要素を作動した場合には、アクション生成器１１８が、ユーザが様々なテーマに応じて文書をフォーマッティングすることを可能にするフォーマッティングユーザエクスペリエンスを通してユーザをナビゲートする。これらは、単なる例である。
【００６１】
[0075]  図５Ｂは、ユーザが「レッドモンド、ワシントン」という言葉を選択していることを示している。したがって、コマンド識別子構成要素１９８は、第２のサブセットのコマンドを識別しており、これらのコマンドに対応する表示要素４７２のセットを表示している。ユーザは単語のセットを選択しているので、コマンド識別子構成要素１９８は、ユーザが（図５Ａに示すように）いかなる単語も選択していないときとは異なるコマンドを実行したいと思っている可能性が高いと予測している。したがって、表示要素４７２は、表示要素４７０とは異なるコマンドに対応する。
【００６２】
[0076]  図５Ｃでは、ユーザが現在段落全体を選択していることが分かる。したがって、コマンド識別子構成要素１９８は、ユーザがさらに別のサブセットのコマンドのうちのいずれかを実行したいと思う可能性があると予測している。構成要素１９８は、したがって、これらのコマンドに対応する別のセットの表示要素４７４を表示している。
【００６３】
[0077]  図５Ｄは、ユーザが現在文書中の画像を選択していることを示している。この事実に基づき、コマンド識別子構成要素１９８は、ユーザがさらに異なるサブセットのコマンドのうちの１つを実行する可能性が高いと予測し、それらのコマンドに対応する異なるセットの表示要素４７６を表示している。ユーザは、表示要素のうちの１つと対話することができ、アクション生成器１１８は、例示的に、その構成要素のうちの１つを使用して、対応するアクションまたはコマンドを実行する。これは、図５ではブロック４７８および４８０に示してある。
【００６４】
[0078]  ユーザがこれを行うときに、ユーザは次いで、さらなる対話入力を提供することができる。その場合には、一例では、アクション生成器１１８の連続会話構成要素２００が、以前のコマンドのコンテキストの後続の入力を解釈する。これは、ブロック４８２に示してある。もちろん、コマンドは、ボイスコマンド４８４、またはその他のコマンド４８６とすることができる。図５Ｅ〜図５Ｋは、システムが以前のコマンドに鑑みてどのようにコマンドを解釈するかを示す一例である。
【００６５】
[0079]  図５Ｅでは、ユーザが表示されている文書中の全てのテキストを選択していることが分かる。次いで、ユーザは、ユーザ入力機構４８４を作動して、ユーザがボイス入力を提供しようとしていることを示す。次いで、ユーザは、「行間隔を広くする」という入力を口頭で述べる。図５Ｆは、この発語のテキスト表現が４８８に表示されている様子を示している。これに応答して、言語処理システム１０４は、インテントを行間隔を変化させるものとして識別し、そのインテントを結果１４６とともに連続会話構成要素２００に提供する。コマンド識別子構成要素１９８は、これをコンテキスト情報として使用して、行間隔を変化させることに関係するコマンドのサブセットを識別し、それらのコマンドに対応する表示要素４８６のセットを表示する。
【００６６】
[0080]  ユーザは、表示要素４８６をタップして、ユーザが行間隔をより広くしたいと思っていることを示す。アクション生成器１１８は、次いで、図５Ｇに示すように行間隔を広くする。ユーザは、次いで、「もっと」という別のボイス入力を提供する。これは、システム１０４に提供され、そこで、この単語が結果１４６として戻される。構成要素２００は、行間隔を増大させる以前の命令に基づいて、これが行間間隔をさらに増大させる継続した命令であることを識別する。したがって、構成要素２００は、行間隔をさらに増大させるようにアクション生成器１１８を制御する。これは、図５Ｈに示してある。図５Ｉは、コマンド識別子構成要素１９８が、行間隔と関係がある２つの表示要素４９０を維持することを示している。これは、ユーザが依然として行間隔を修正しようと試みていると解釈されているからである。したがって、図５Ｊに示すように、ユーザは、それらのユーザ入力機構のうちの１つを単純にタップすればよく、アクション生成器１１８は、図５Ｋに示すようにユーザが手作業で行間隔を所与のレベルに設定できるようにする別のユーザエクスペリエンスを通してユーザをナビゲートすることによって対応するアクションを実行する。
【００６７】
[0081]  図５に戻ると、ユーザは、ブロック４９２に示すように、さらなる対話を提供することができる。その場合には、処理は、ブロック４５４に戻り、文書のコンテキストが再度検出される、ユーザ学習メトリックがアクセスされる、などが行われる。
【００６８】
[0082]  ブロック４７８で、ユーザが、コマンド識別子構成要素１９８によって表示される表示要素（図５Ａの４７０など）のうちの１つを作動しないこともある。その場合には、システムは、ユーザが文書内で任意のその他の対話入力を提供するかどうかを検出する。これは、ブロック４９４に示してある。提供しない場合には、識別したコマンドに対応する表示要素が、最終的に表示から除去される（例えば、特定の長さの時間の後でそれらが消える）。これは、ブロック４９６に示してある。例えば、図５Ａに示すようにユーザが単純に文書を見ているだけで、表示要素４７０のいずれも作動しない場合には、所定の期間の後で、それらが除去される。所定の期間は、この特定のユーザのユーザ学習メトリックに基づいて変動する可能性がある。例えば、ユーザがそのシステムのかなり経験を積んだユーザである場合には、ユーザが既に表示要素の使い方を知っているので、システムは、表示要素をそれほど長く表示する必要は内と決定することになる。しかし、ユーザが比較的経験の乏しいユーザまたは新規のユーザである場合には、それより長い期間表示要素を表示して、ユーザがそれらを検討する、それらを試す、様々なオプションを考えるなどを行うことができるようにすることができる。加えて、一例では、ユーザは、いつでもコマンドのセット全体にアクセスすることができることに留意されたい。例えば、ユーザは、コマンドメニューにナビゲートして、コマンドのフルセットを隠す、または埋め込むが、アクセス不能にはならないようにすることによってこれを行うことができる。
【００６９】
[0083]  ユーザが別のタイプの対話（表示要素のうちの１つを作動する以外）を実行する場合には、アクション生成器１１８は、任意の対応するアクションを実行することができる。これは、ブロック４９８に示してある。次いで、処理は再度ブロック４５４に戻る。これを行う際に、ユーザ対話は、ユーザが使用する可能性が高いコマンドを予測し、対応する表示要素を表示する際にコマンド識別子構成要素１９８が考慮する文書のコンテキストの一部となる。図５Ｌ〜図５Ｏは、この一例を示す図である。
【００７０】
[0084]  図５Ｌは、図５Ａと同様であるが、ユーザがここでは表示されている文書をスクロールするタッチジェスチャを提供していることが分かる点が異なる。このユーザ対話をコンテキスト情報と仮定すると、コマンド識別子構成要素１９８は、ユーザが文書中の特定の場所を発見しようとする可能性が高いと予測する。したがって、コマンド識別子構成要素１９８は、ユーザがこれを行うことができるようにするコマンドに対応する表示要素５０１のセットを表示する。例えば、表示要素のうちの１つは、「ページに進む」表示要素である。ユーザがこれを作動すると、図５Ｎに示すように、アクション生成器１１８は、ユーザが望むスクロール先の文書の特定のページを選択することを可能にするメニュー５０３を表示する。ナビゲーション構成要素１９６は次にユーザを文書のその部分にナビゲートする。この場合も、これは単なる一例であり、ユーザが使用したいと思う可能性が高いコマンドを予測するためにコンテキスト情報として構成要素１９８が使用することができるユーザアクションまたは対話は、その他にも幅広い様々なユーザアクションまたは対話がある。
【００７１】
[0085]  図５Ｐ〜図５Ｖは、ユーザが文書内の様々な項目を選択しているユーザ対話の一例を示す図である。比較的小さなスクリーンのデバイス上で項目を選択することは、非常に煩雑になる可能性がある。ユーザは、間違った項目を故意でなく選択してしまう、または１つの項目しか意図していないのに複数の項目を故意でなく選択してしまうことがよくある。加えて、ユーザは、長い文書をスクロールして、同じタイプの様々な項目を選択しなければならないこともよくある。図５Ｐは、ユーザが写真を有する文書を単に見ていることを示している。ユーザは、ユーザがボイスコマンドを提供しようとしていることをシステムに対して示すユーザ入力機構５３５を作動する。図５Ｑは、ユーザが「全ての私の写真をフォーマッティングしたい」というボイスコマンドを提供したことを示している。図５Ｒは、システムが、現在この入力のテキスト表現を表示していることを示している。図５Ｓは、選択構成要素１９４が、インテントがユーザが開いている文書中の全ての写真を選択し、それらをフォーマッティングしたいと思っているというものであることを示す結果１４６を受け取っていることを示している。したがって、選択構成要素１９４は、表示されている文書中の全ての写真を自動的に突き止め、選択する。コマンド識別子構成要素１９８も、写真をフォーマッティングに関係があるコマンドのサブセットを識別し、それらに対応する表示要素を表示する。図５Ｓは、ユーザがこれらの表示要素のうちの１つをタップしていることを示している。同じことが、図５Ｔにも示してある。図５Ｕは、ユーザが選択した写真の代用となる異なる写真を選択していることを示しており、図５Ｖは、新たに選択された写真が挿入されていることを示している。
【００７２】
[0086]  図６Ａおよび図６Ｂ（本明細書ではまとめて図６と呼ぶ）は、ユーザが迅速に文書をオーサリングし始めることを可能にする際のクイックスタート構成要素２０２の動作の一例を示す流れ図である。一部のユーザは、フォーマッティングの設定の仕方に確信がないなどの理由で、文書のオーサリングを開始するのに苦労すると考えられる。したがって、構成要素２０２は、ユーザがこれを行うのを支援する。構成要素２０２は、最初に、新たな文書を開くユーザ入力を受け取る。これは、ブロック５０５に示してある。この場合も、文書は、ワードプロセシング文書５０７、スプレッドシート文書５０９、提示文書５１１、または幅広い様々なその他の文書５１３とすることができる。
【００７３】
[0087]  アクション生成器１２０は、起動／表示構成要素１８２を使用して、関連するアプリケーションを起動し、文書のためのブランク描画面を表示する。これは、ブロック５１５に示してある。アクション生成器１１８は、次いで、以前の文書と同様のフォーマッティングを要求するユーザ入力を受け取る。これは、ブロック５１７に示してある。この場合も、これは、ボイスコマンド５１９、または別の自然言語コマンド５２１とすることができる。システムは、次いで、この入力に対して自然言語理解を実行して、文書を識別し、そのフォーマッティングを識別し、そのフォーマッティングを現在の文書に適用する。
【００７４】
[0088]  入力に対して自然言語理解を実行することは、ブロック５１９に示してある。一例では、クイックスタート構成要素２０２は、複数の異なる関連のある文書を表示し、ユーザがフォーマッティングを識別して新たな文書に適用する元となる特定の文書を選択できるようにする。ユーザが複数のオプションを有することになるかどうかを決定することは、ブロック５２１に示してある。この決定は、ユーザの好みに基づいて、管理設定に基づいて、またはその他の方法で、行うことができる。
【００７５】
[0089]  複数の異なるオプションがユーザに提示されない場合には、ユーザの自然言語入力中でユーザによって識別される文書が取り出され、そのフォーマット設定が識別される。これは、ブロック５２３に示してある。処理は、次いで、ブロック５２５までスキップし、ここで、識別されたフォーマッティングが表示されている新たな文書に適用される。
【００７６】
[0090]  しかし、ブロック５２１で、複数の異なるオプションが提供される場合（または自然言語処理結果が曖昧で、複数の文書が識別された場合）には、システムは、ブロック５２７に示すように、以前の文書およびその他の同様の文書を識別する。これらの文書は、それらが最近の文書５２９である、それらが同様の文書タイプ５３１である可能性がある、またはそれらが他の点５３３で同様である可能性があるという理由で、同様であるとすることができる。
【００７７】
[0091]  識別された文書のそれぞれについて、クイックスタート構成要素２０２は、対応する表示要素を生成して表示する。表示要素は、例示的に、その文書を識別し、その文書の何らかのコンテンツを表示して、ユーザがその元になった文書に適用されたフォーマッティングについてある程度感触をつかむことができるようにする。識別された文書に対応する選択可能な表示要素を生成して表示することは、ブロック５３５に示してある。
【００７８】
[0092]  構成要素２０２は、次いで、ブロック５３７に示すように、それらの表示要素のうちの１つのユーザ選択を受け取る。構成要素２０２は、ブロック５３９に示すように、対応する文書のフォーマッティングを識別する。これは、ブロック５４１に示すように対応する文書を構文解析することによって、ブロック５４３に示すように文書に対応するフォーマッティングメタデータにアクセスすることによって、またはその他の方法５４５で、行うことができる。次いで、ブロック５２５で、識別したフォーマッティングを、表示されている新たな文書に適用する。
【００７９】
[0093]  クイックスタート構成要素２０２は、ユーザが作動するとユーザが適用されている特定のフォーマッティングを見ることができるようにすることができるユーザ入力機構を表示することもできる。これが行われると、構成要素２０２は、新たな表示されている文書上でフォーマッティング情報を明らかにして、ユーザがその文書がどのようにフォーマッティングされているかを見ることができるようにする。これは、ブロック５２７に示してある。システムは、次いで、さらに別のフォーマッティング入力、オーサリング入力、またはその他の入力など、その他のユーザ入力の処理に進む。これは、ブロック５２９に示してある。
【００８０】
[0094]  図６Ｃ〜図６Ｈは、これの様々な例を示す図である。図６Ｃでは、ユーザが文書を開いており、対応するアプリケーションがブランク描画面に表示されていることが分かる。ユーザは、次いで、ユーザ入力機構を作動して、ユーザがボイスコマンドを提供することができるようにする。図６Ｄでは、ユーザは、「これを最後の学期末レポートと同じように設定する」というボイスコマンドを提供している。言語処理システム１０４は、この発語のテキスト表現および自然言語理解を生成する。インテントは、ユーザの最後の学期末レポートを発見し、そのレポートからフォーマッティングを抽出し、それを新たに開いた文書に適用することである。
【００８１】
[0095]  図６Ｅは、アクション生成器１１８が検索システム１１６を使用して、ユーザの問い合わせに対応する複数の関連する文書を識別していることを示している。アクション生成器１１８は、関連する文書のそれぞれに対応する表示要素（サムネイルまたはその他の表示要素など）を表示する。図６Ｅは、ユーザがこれらのうちの１つを選択していることを示している。図６Ｆは、ユーザがそのフォーマッティングを新たに開かれた文書に適用するユーザ入力を提供していることを示している。図６Ｇは、ユーザが作動すると文書の異なる部分のフォーマッティングを見ることができるユーザ入力機構５３１を示している。ユーザがユーザ入力機構５３１を作動すると、フォーマッティング情報が表示される。図６Ｈは、複数の異なる部分を、それぞれのフォーマット情報とともに別個に表示することができることを示している。
【００８２】
[0096]  図７〜図９は、図１に示すアーキテクチャ１００の構成要素または項目を異なる場所に位置付けることができることを示す様々な例である。図７は、様々な異なる項目が、ネットワーク６０３を介して検索システム１１６を実装する検索サービスに接続されたモバイルデバイス６０１上に位置付けられることを示している。ネットワーク６０３は、ローカルエリアネットワーク、広域ネットワーク、セルラネットワーク、近距離場通信ネットワーク、または幅広い様々なその他のネットワークとすることができる。
【００８３】
[0097]  図８は、これらの項目が、コンテキストベースアクションシステム１０２が言語処理システム１０４とともにサーバ６０４上に展開されたクライアント／サーバアーキテクチャに配置されることを示す図である。ユーザ１１２は、ユーザ１１２の対話のためにユーザインタフェース機構１１４を生成するクライアントデバイス６０６を介して、サーバ６０４上のシステム１０２にアクセスする。
【００８４】
[0098]  本議論では、プロセッサおよびサーバに言及した。１実施形態では、プロセッサおよびサーバは、別個には示していない関連するメモリおよびタイミング回路を有するコンピュータプロセッサを含む。プロセッサおよびサーバは、それらが属し、それによって活動化されるシステムまたはデバイスの機能部分であり、それらのシステム内のその他の構成要素または項目の機能を容易にする。
【００８５】
[0099]  また、いくつかのユーザインタフェース表示についても論じた。これらのユーザインタフェース表示は、幅広い様々な異なる形態をとることができ、幅広い様々な異なるユーザ作動可能入力機構をその上に配置することができる。例えば、ユーザ作動可能入力機構は、テキストボックス、チェックボックス、アイコン、リンク、ドロップダウンメニュー、検索ボックスなどとすることができる。ユーザ作動可能入力機構は、幅広い様々な異なる方法で作動することもできる。例えば、ユーザ作動可能入力機構は、ポイントアンドクリックデバイス（トラックボールまたはマウスなど）を使用して作動することができる。ユーザ作動可能入力機構は、ハードウェアボタン、スイッチ、ジョイスティックまたはキーボード、親指スイッチまたは親指パッドなどを使用して作動することができる。ユーザ作動可能入力機構は、仮想キーボードまたはその他の仮想アクチュエータを使用して作動することもできる。加えて、ユーザ作動可能入力機構が表示されるスクリーンがタッチセンススクリーンである場合には、ユーザ作動可能入力機構は、タッチジェスチャを使用して作動することもできる。また、ユーザ作動可能入力機構を表示するデバイスがスピーチ認識構成要素を有する場合には、ユーザ作動可能入力機構は、スピーチコマンドを使用して作動することもできる。
【００８６】
[0100]  いくつかのデータストアについても論じた。それらのデータストアは、それぞれ複数のデータストアに分解することができることは分かるであろう。全てがそれらにアクセスするシステムにローカルであってもよいし、全てが遠隔であってもよいし、あるいは一部がローカルで、一部が遠隔であってもよい。本明細書では、これらの構成が全て企図されている。
【００８７】
[0101]  また、図面は、それぞれのブロックに帰する機能を有するいくつかのブロックを示す。これより少ないブロックを使用し、これより少ない構成要素によってその機能が実行されるようにすることもできることは分かるであろう。また、これより多くのブロックを使用して、これより多くの構成要素の間で機能を分散させることもできる。
【００８８】
[0102]  図９は、図１に示すアーキテクチャ１００のブロック図であるが、その要素がクラウドコンピューティングアーキテクチャ５００内に配置される点が異なる。クラウドコンピューティングは、サービスを送達するシステムの物理的位置または構成をエンドユーザが知る必要のない計算、ソフトウェア、データアクセス、および記憶サービスを提供する。様々な実施形態で、クラウドコンピューティングは、適当なプロトコルを使用して、インターネットなどの広域ネットワークを介してサービスを送達する。例えば、クラウドコンピューティングプロバイダは、広域ネットワークを介してアプリケーションを送達し、それらには、ウェブブラウザまたは任意のその他のコンピューティング構成要素を介してアクセスすることができる。アーキテクチャ１００のソフトウェアまたは構成要素、ならびに対応するデータは、遠隔位置のサーバに記憶することができる。クラウドコンピューティング環境のコンピューティングリソースは、遠隔のデータセンタ位置に集約してもよいし、分散させてもよい。クラウドコンピューティングインフラストラクチャは、ユーザからは単一のアクセスポイントであるように見えるが、共有データセンタを介してサービスを送達することができる。したがって、本明細書に記載する構成要素および機能は、クラウドコンピューティングアーキテクチャを使用して遠隔位置のサービスプロバイダから提供することができる。別法として、それらは、従来のサーバから提供することもできるし、あるいはクライアントデバイスに直接、またはその他の方法でインストールすることもできる。
【００８９】
[0103]  本明細書は、パブリッククラウドコンピューティングおよびプライベートクラウドコンピューティングの両方を含むように意図されている。クラウドコンピューティング（パブリックおよびプライベートの両方）は、実質的にシームレスなリソースのプーリングを提供し、ならびにその基礎となるハードウェアインフラストラクチャの管理および構成の必要性を低減させる。
【００９０】
[0104]  パブリッククラウドは、ベンダによって管理され、通常は同じインフラストラクチャを使用して複数の消費者をサポートする。また、パブリッククラウドは、プライベートクラウドとは対照的に、ハードウェアを管理することからエンドユーザを解放することができる。プライベートクラウドは、組織自体によって管理することができるが、そのインフラストラクチャは、通常は、他の組織と共有されない。組織は、依然として、設置および修理など、ある程度まではハードウェアを維持する。
【００９１】
[0105]  図９に示す例では、いくつかの項目は、図１に示すものと同様であり、それらには、同様の番号が付されている。図９は、具体的には、図１の様々な項目をクラウド５０２（パブリック、プライベート、または一部がパブリックで一部がプライベートという組合せにすることができる）に位置付けることができることを示している。したがって、ユーザ１１２は、ユーザデバイス５０４を使用して、クラウド５０２を介してこれらの項目にアクセスする。
【００９２】
[0106]  図９は、クラウドアーキテクチャの別の実施形態も示している。図９は、アーキテクチャ１００の一部の要素をクラウド５０２内に配置し、他の要素は配置しないということができることも企図されていることを示している。例として、データストア１３２およびソース１０６は、クラウド５０２の外側に配置し、クラウド５０２を介してアクセスすることができる。別の例では、システム１０２または検索システム１１６またはその他の部分が、クラウド５０２の外側にあってもよい。それらは、どこに位置するかに関のいずれかわらず、デバイス５０４がネットワーク（広域ネットワークまたはローカルエリアネットワーク）を介して直接アクセスすることもできるし、遠隔サイトでサービスをホストとしてもよいし、あるいはクラウドを介してサービスとして提供する、またはクラウドに常駐する接続サービスによってアクセスすることもできる。本明細書では、これらのアーキテクチャが全て企図されている。
【００９３】
[0107]  アーキテクチャ１００またはその一部分を、幅広い様々な異なるデバイス上に配置することができることも分かるであろう。これらのデバイスのいくつかは、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、またはパームトップコンピュータ、携帯電話、スマートフォン、マルチメディアプレイヤ、携帯情報端末などその他のモバイルデバイスを含む。
【００９４】
[0108]  図１０は、本システム（またはその一部）を展開することができる、ユーザまたはクライアントの手持ち型デバイス１６として使用することができる手持ち型またはモバイルコンピューティングデバイスの１つの例示的な実施形態を示す簡略ブロック図である。図１１〜図１２は、手持ち型またはモバイルデバイスの例である。
【００９５】
[0109]  図１０は、アーキテクチャ１００の構成要素を実行する、またはアーキテクチャ１００と対話する、あるいはその両方である、クライアントデバイス１６の構成要素の概略的なブロック図を提供する。図１の全ての要素がデバイス１６に示されているわけではないが、それらは、デバイス１６の図示の構成要素内に配置する、またはそれらに追加することもできるものと企図されている。デバイス１６では、手持ち型デバイスが他のコンピューティングデバイスと通信することを可能にし、いくつかの例では走査などによって自動的に情報を受け取るチャネルを提供する、通信リンク１３が設けられている。通信リンク１３の例は、赤外線ポート、シリアル／ＵＳＢポート、イーサネット（登録商標）ポートなどのケーブルネットワークポート、ならびにネットワークへのセルラアクセスを提供するために使用されるワイヤレスサービスである汎用パケット無線サービス（GPRS）、ＬＴＥ、ＨＳＰＡ、ＨＳＰＡ＋ならびにその他の３Ｇおよび４Ｇ無線プロトコル、１Ｘｒｔｔ、およびショートメッセージサービス、ならびにネットワークへのローカルワイヤレス接続を提供するＷｉ−ｆｉプロトコルおよびＢｌｕｅｔｏｏｔｈ（登録商標）プロトコルを含む１つまたは複数の通信プロトコルを介した通信を可能にするワイヤレスネットワークポートを含む。
【００９６】
[0110]  他の例では、アプリケーションまたはシステムは、ＳＤカードインタフェース１５に接続される取外し可能セキュアデジタル（SD）カードで受け取られる。ＳＤカードインタフェース１５および通信リンク１３は、メモリ２１および入出力（I/O）構成要素２３、ならびにクロック２５および位置特定システム２７にも接続されたバス１９に沿ってプロセッサ１７（プロセッサ１２８またはその他の図１のプロセッサを具現化することもできる）と通信する。
【００９７】
[0111]  Ｉ／Ｏ構成要素２３は、１実施形態では、入力動作および出力動作を容易にするために設けられる。デバイス１６の様々な実施形態のＩ／Ｏ構成要素２３は、ボタン、タッチセンサ、マルチタッチセンサ、光学またはビデオセンサ、ボイスセンサ、タッチスクリーン、近接度センサ、マイクロホン、傾きセンサ、ならびに重力スイッチとディスプレイデバイス、スピーカおよび／またはプリンタポートなどの出力構成要素などの入力構成要素を含み得る。その他のＩ／Ｏ構成要素２３を使用することもできる。
【００９８】
[0112]  クロック２５は、例示的に、日時を出力する実時間クロック構成要素を含む。クロック２５は、例示的に、タイミング機能をプロセッサ１７に提供することもできる。
【００９９】
[0113]  位置特定システム２７は、例示的に、デバイス１６の現在の地理学的位置を出力する構成要素を含む。これは、例えば、全地球測位システム（GPS）受信機、ＬＯＲＡＮシステム、推測航法システム、セルラ三角測量システム、またはその他の測位システムを含み得る。位置特定システム２７は、例えば、所望のマップ、ナビゲーションルート、およびその他の地理学的機能を生成するマッピングソフトウェアまたはナビゲーションソフトウェアも含み得る。
【０１００】
[0114]  メモリ２１は、オペレーティングシステム２９、ネットワーク設定３１、アプリケーション３３、アプリケーション構成設定３５、データストア３７、通信ドライバ３９、および通信構成設定４１を記憶する。メモリ２１は、全てのタイプの有形の揮発性および不揮発性コンピュータ可読メモリデバイスを含み得る。メモリ２１は、また、コンピュータ記憶媒体（後述）も含み得る。メモリ２１は、プロセッサ１７によって実行されたときに、そのプロセッサに、それらの命令に従ってコンピュータ実装ステップまたは機能を実行させるコンピュータ可読命令を記憶する。アプリケーション１５４またはデータストア１５６中の項目は、例えば、メモリ２１中に常駐することができる。同様に、デバイス１６は、様々なビジネスアプリケーションを実行することができる、あるいはテナント１０４の一部または全ての具現化することができる、クライアントビジネスシステム２４を有することができる。プロセッサ１７を、他の構成要素によって活動化して、それらの機能を容易にすることもできる。
【０１０１】
[0115]  ネットワーク設定３１の例は、プロキシ情報、インターネット接続情報、およびマッピングなどのことを含む。アプリケーション構成設定３５は、アプリケーションを特定の企業またはユーザに合わせて調整する設定を含む。通信構成設定４１は、他のコンピュータと通信するためのパラメータを提供し、ＧＰＲＳパラメータ、ＳＭＳパラメータ、接続ユーザ名およびパスワードなどの項目を含む。
【０１０２】
[0116]  アプリケーション３３は、デバイス１６に以前から記憶されているアプリケーション、または使用中にインストールされるアプリケーションとすることができるが、これらは、オペレーティングシステム２９一部であってもよいし、デバイス１６の外部でホスティングされてもよい。
【０１０３】
[0117]  図１１は、デバイス１６がタブレットコンピュータ６００である一例を示す図である。図６には、ユーザインタフェースディスプレイスクリーン６０２を備えたコンピュータ６００が示してある。スクリーン６０２は、タッチスクリーンであってもよいし（したがってユーザの指によるタッチジェスチャを使用してアプリケーションと対話することができる）、あるいはペンまたはスタイラスから入力を受け取るペン作動型インタフェースであってもよい。スクリーン６０２は、オンスクリーン仮想キーボードを使用することもできる。もちろん、スクリーン６０２は、例えばワイヤレスリンクまたはＵＳＢポートなど適当な取付け機構を介してキーボードまたはその他のユーザ入力デバイスに取り付けることもできる。コンピュータ６００は、例示的に、ボイス入力も受け取ることができる。
【０１０４】
[0118]  デバイス１６の追加の例を使用することもできる。デバイス１６は、フィーチャーフォン、スマートフォン、または移動電話とすることができる。電話は、電話番号をダイヤルするためのキーパッドのセットと、アプリケーション画像、アイコン、ウェブページ、写真およびビデオなどの画像を表示することができるディスプレイと、ディスプレイに示される項目を選択するための制御ボタンとを含む。電話は、汎用パケット無線サービス（GPRS）および１Ｘｒｔｔ、ならびにショートメッセージサービス（SMS）信号などの携帯電話信号を受信するためのアンテナを含むことができる。いくつかの例では、電話は、ＳＤカードを受け入れるセキュアデジタル（SD）カードスロットも含む。
【０１０５】
[0119]  モバイルデバイスは、携帯情報端末またはマルチメディアプレイヤまたはタブレットコンピューティングデバイスなど（以下、PDAと呼ぶ）とすることもできる。ＰＤＡは、スタイラス（またはユーザの指などその他のポインタ）がスクリーン上に位置決めされたときにそのスタイラスの位置を感知する誘導型スクリーンを含むことができる。これにより、ユーザは、スクリーン上の項目の選択、強調表示、および移動を行い、ならびに図形および文字を書くことができる。ＰＤＡは、ユーザがディスプレイに触れることなく、ディスプレイ上に表示されたメニューオプションまたはその他の表示オプションをスクロールすることを可能にし、またユーザがアプリケーションを切り換える、またはユーザ入力機能を選択することを可能にする、いくつかのユーザ入力キーまたはボタンも含むことができる。ＰＤＡは、他のコンピュータとのワイヤレス通信を可能にする内部アンテナおよび赤外線送受信機、ならびに他のコンピューティングデバイスとのハードウェア接続を可能にする接続ポートを含むことができる。このようなハードウェア接続は、通常は、シリアルまたはＵＳＢポートを介して他のコンピュータに接続するクレードルを介して行われる。したがって、これらの接続は、非ネットワーク接続である。
【０１０６】
[0120]  図１２は、電話がスマートフォン７１であることも示している。スマートフォン７１は、アイコン、またはタイル、またはその他のユーザ入力機構７５を表示するタッチセンスディスプレイ７３を有する。ユーザは、機構７５を使用して、アプリケーションを実行する、電話を掛ける、データ転送動作を実行するなどを行うことができる。一般に、スマートフォン７１は、モバイルオペレーティングシステム上に構築され、フィーチャーフォンより高度なコンピューティング機能および接続性を提供する。
【０１０７】
[0121]  その他の形態のデバイス１６も可能であることに留意されたい。
【０１０８】
[0122]  図１３は、アーキテクチャ１００またはその一部（例えば）を展開することができるコンピューティング環境の１実施形態である。図１３を参照すると、いくつかの実施形態を実装する例示的なシステムは、コンピュータ８１０の形態をした汎用コンピューティングデバイスを含む。コンピュータ８１０の構成要素は、これらに限定されるわけではないが、処理ユニット８２０（プロセッサ１２８あるいはデバイス５０４またはその他のデバイス中のプロセッサを含むことができる）、システムメモリ８３０、およびシステムメモリなどの様々なシステム構成要素を処理ユニット８２０に結合するシステムバス８２１を含む。システムバス８２１は、様々なバスアーキテクチャのうちのいずれかを使用するメモリバスまたはメモリ制御装置、周辺バス、およびローカルバスを含むいくつかのタイプのバス構造のうちのいずれかとすることができる。限定ではなく例示として、このようなアーキテクチャは、業界標準アーキテクチャ（ISA）バス、マイクロチャネルアーキテクチャ（MCA）バス、拡張ＩＳＡ（EISA）バス、ビデオエレクトロニクススタンダーズアソシエーション（VESA）ローカルバス、メザニンバスとも呼ばれる周辺機器相互接続（PCI）バスを含む。図１に関して説明したメモリおよびプログラムは、図１３の対応する部分に展開することができる。
【０１０９】
[0123]  コンピュータ８１０は、通常は、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ８１０がアクセスすることができる任意の利用可能な媒体とすることができ、揮発性媒体および不揮発性媒体の両方、ならびに取外し可能媒体および取外し不能媒体の両方を含む。限定ではなく例示として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含み得る。コンピュータ記憶媒体は、変調データ信号または搬送波とは異なり、かつこれらを含まない。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータなどの情報を記憶するための任意の方法または技術で実装される、揮発性媒体および不揮発性媒体の両方、ならびに取外し可能媒体および取外し不能媒体の両方を含むハードウェア記憶媒体を含む。コンピュータ記憶媒体は、これらに限定されるわけではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル汎用ディスク（DVD）またはその他の光学ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶デバイス、あるいは所望の情報を記憶するために使用することができる、コンピュータ８１０がアクセスすることができるその他の任意の媒体を含む。通信媒体は、通常は、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータをトランスポート機構で具現化し、任意の情報送達媒体を含む。「変調データ信号」という用語は、その特徴のうちの１つまたは複数が、信号中の情報を符号化するように設定または変更されている信号を意味する。限定ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および音響、ＲＦ、赤外線、およびその他のワイヤレス媒体などのワイヤレス媒体を含む。上記のもののうちのいずれかの組合せも、コンピュータ可読媒体の範囲に含まれるものとする。
【０１１０】
[0124]  システムメモリ８３０は、読取り専用メモリ（ROM）８３１およびランダムアクセスメモリ（RAM）８３２などの揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含む。始動中などのコンピュータ８１０内の要素間での情報の転送を助ける基本ルーチンを含む基本入出力システム８３３（BIOS）は、通常はＲＯＭ８３１に記憶される。ＲＡＭ８３２は、通常は、処理ユニット８２０が直ちにアクセス可能である、かつ／または処理ユニット８２０によって現在操作されているデータおよび／またはプログラムモジュールを含む。限定ではなく例として、図１３は、オペレーティングシステム８３４、アプリケーションプログラム８３５、その他のプログラムモジュール８３６、およびプログラムデータ８３７を示している。
【０１１１】
[0125]  コンピュータ８１０は、その他の取外し可能／取外し不能な揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。例としてのみ、図１３は、取外し不能な不揮発性磁気媒体の読取りまたは書込みを行うハードディスクドライブ８４１、およびＣＤ−ＲＯＭまたはその他の光学媒体などの取外し不能な不揮発性光ディスク８５６の読取りまたは書込みを行う光学ディスクドライブ８５５を示している。例示的な動作環境内で使用することができるその他の取外し可能／取外し不能な揮発性／不揮発性コンピュータ記憶媒体は、これらに限定されるわけではないが、磁気テープカセット、フラッシュメモリカード、デジタル汎用ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどを含む。ハードディスクドライブ８４１は、通常は、インタフェース８４０などの取外し不能メモリインタフェースを介してシステムバス８２１に接続され、光学ディスクドライブ８５５は、通常は、インタフェース８５０などの取外し可能メモリインタフェースによってシステムバス８２１に接続される。
【０１１２】
[0126]  別法として、またはこれに加えて、本明細書に記載する機能は、少なくとも部分的には、１つまたは複数のハードウェア論理構成要素によって実行することができる。例えば、これに限定されるわけではないが、使用することができる例示的なタイプのハードウェア論理構成要素は、フィールドプログラマブルゲートアレイ（FPGA）、特定プログラム向け集積回路（ASIC）、特定プログラム用標準品（ASSP）、システムオンチップシステム（SOC）、複合プログラム可能論理デバイス（CPLD）などを含む。
【０１１３】
[0127]  図１３に示して上記で論じたドライブおよびそれらに関連するコンピュータ記憶媒体は、コンピュータ８１０のコンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶を実現する。図１３では、例えば、ハードディスクドライブ８４１は、オペレーティングシステム８４４、アプリケーションプログラム８４５、その他のプログラムモジュール８４６、およびプログラムデータ８４７を記憶するものとして示してある。これらの構成要素は、オペレーティングシステム８３４、アプリケーションプログラム８３５、その他のプログラムモジュール８３６、およびプログラムデータ８３７と同じであってもよいし、異なっていてもよいことに留意されたい。オペレーティングシステム８４４、アプリケーションプログラム８４５、その他のプログラムモジュール８４６、およびプログラムデータ８４７は、ここでは、少なくともそれらが異なるコピーであることを示すために異なる番号が付されている。
【０１１４】
[0128]  ユーザは、キーボード８６２、マイクロホン８６３、およびマウス、トラックボール、またはタッチパッドなどのポインティングデバイス８６１などの入力デバイスを介してコンピュータ８１０にコマンドおよび情報を入力することができる。その他の入力デバイス（図示せず）は、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどを含み得る。上記その他の入力デバイスは、システムバスに結合されたユーザ入力インタフェース８６０を介して処理ユニット８２０に接続されることが多いが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（USB）など、その他のインタフェースおよびバス構造によって接続することもできる。視覚ディスプレイ８９１またはその他のタイプのディスプレイデバイスも、ビデオインタフェース８９０などのインタフェースを介してシステムバス８２１に接続される。モニタに加えて、コンピュータは、出力周辺インタフェース８９５を介して接続することができるスピーカ８９７およびプリンタ８９６などその他の周辺出力デバイスも含むことができる。
【０１１５】
[0129]  コンピュータ８１０は、遠隔コンピュータ８８０などの１つまたは複数の遠隔コンピュータとの論理接続を使用してネットワーク型環境で動作する。遠隔コンピュータ８８０は、パーソナルコンピュータ、手持ち型デバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、またはその他の一般的なネットワークノードとすることができ、通常は、コンピュータ８１０に関連して上述した要素のうちの多数または全てを含む。図１３に示す論理接続は、ローカルエリアネットワーク（LAN）８７１および広域ネットワーク（WAN）８７３を含むが、他のネットワークを含むこともできる。このようなネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットでは一般的なものである。
【０１１６】
[0130]  ＬＡＮネットワーキング環境で使用されるときには、コンピュータ８１０は、ネットワークインタフェースまたはアダプタ８７０を介してＬＡＮ８７１に接続される。ＷＡＮネットワーキング環境で使用されるときには、コンピュータ８１０は、通常は、モデム８７２、またはインターネットなどのＷＡＮ８７３を介して通信を確立するためのその他の手段を含む。モデム８７２は、内部であっても外部であってもよく、ユーザ入力インタフェース８６０、またはその他の適当な機構を介してシステムバス８２１に接続することができる。ネットワーク型環境では、コンピュータ８１０に関連して述べたプログラムモジュール、またはその一部分は、遠隔メモリ記憶デバイスに記憶することができる。限定ではなく例として、図１３は、遠隔アプリケーションプログラム８８５を、遠隔コンピュータ８８０上に常駐するものとして示している。図示のネットワーク接続は例示であり、コンピュータ間で通信リンクを確立するその他の手段を使用することもできることは理解されるであろう。
【０１１７】
[0131]  本明細書に記載する様々な実施形態は、様々な形で組み合わせることができることに留意されたい。すなわち、１つまたは複数の実施形態の一部を、１つまたは複数の他の実施形態の一部と組み合わせることができる。本明細書では、その全てが企図されている。
【０１１８】
[0132]  例１は、コンピューティングシステムであって、
[0133]  発語を受け取り、発語を言語処理システムに送信し、発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受け取るユーザインタフェース機構と、
[0134]  コンピューティングシステムの現在のコンテキストを識別するコンテキスト識別システムと、
[0135]  現在のコンテキストおよび言語処理結果中のインテントに基づいてアクションを識別するアクション識別子と、
[0136]  現在のコンテキストおよび言語処理結果中の引数のセットに基づいて複数の異なる情報ソースを検索して、アクションが実行される対象であるコンテンツを識別するクロスソース検索構成要素とを含む、コンピューティングシステムである。
【０１１９】
[0137]  例２は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、
[0138]  識別したコンテンツに対してアクションを行うように被制御システムを制御するアクション構成要素をさらに含む、コンピューティングシステムである。
【０１２０】
[0139]  例３は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、発語が、コンテンツを暗示的に識別し、クロスソース検索構成要素が、引数を検索用語として使用して、複数の異なる情報ソースを検索して、それぞれ異なるコンテンツ項目を識別する複数の異なる検索結果を識別する、コンピューティングシステムである。
【０１２１】
[0140]  例４は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、
[0141]  異なる検索結果のそれぞれについて関連性測度を生成して所与の検索結果を得る関連性生成器をさらに含む、コンピューティングシステムである。
【０１２２】
[0142]  例５は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、関連性生成器が、引数および現在のコンテキストを使用して、現在のコンテキストおよび引数に基づいて、普通なら曖昧な検索結果を曖昧性除去して所与の検索結果を得る、コンピューティングシステムである。
【０１２３】
[0143]  例６は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、
[0144]  コンピューティングシステム上に配置された、スピーチ認識システムおよび自然言語理解システムを含む第１の言語処理システムをさらに含み、スピーチ認識システムが、発語のテキスト表現を生成し、自然言語理解システムが、第１の言語処理結果中のインテントおよび引数を識別し、さらに現在のコンテキストに基づいて普通なら曖昧な引数を曖昧性除去する、コンピューティングシステムである。
【０１２４】
[0145]  例７は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、ユーザインタフェース機構が、さらにこのコンピューティングシステムから遠隔の第２の言語処理システムに発語を送信し、第２の言語処理システムが、第２の言語処理結果を生成し、このコンピューティングシステムが、第１の言語処理結果と第２の言語処理結果を組み合わせて、最終的な言語処理結果を得る、コンピューティングシステムである。
【０１２５】
[0146]  例８は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、コンテキスト識別システムが、
[0147]  ユーザの個人識別を識別する個人識別検出器を含む、コンピューティングシステムである。
【０１２６】
[0148]  例９は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、コンテキスト識別システムが、
[0149]  コンピューティングシステムの所与の近傍内の他の人または物を識別する近接度検出器を含む、コンピューティングシステムである。
【０１２７】
[0150]  例１０は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、コンテキスト識別システムが、
[0151]  コンピューティングシステム上で開いているアプリケーションを識別する、開いているアプリケーション検出器を含む、コンピューティングシステムである。
【０１２８】
[0152]  例１１は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、コンテキスト識別システムが、
[0153]  コンピューティングシステムが配置されている特定のデバイスを識別するデバイス検出器を含む、コンピューティングシステムである。
【０１２９】
[0154]  例１２は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、コンテキスト識別システムが、
[0155]  ユーザのカレンダ上の特定の時間および項目を識別するカレンダ検出器を含む、コンピューティングシステムである。
【０１３０】
[0156]  例１３は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、特定のデバイスがモバイルデバイスを含む、コンピューティングシステムである。
【０１３１】
[0157]  例１４は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、コンテキスト識別システムが、
[0158]  コンピューティングシステムが配置される特定のデバイスの位置を識別する位置検出器を含む、コンピューティングシステムである。
【０１３２】
[0159]  例１５は、上記の例のうちのいずれかまたは全てのコンピューティングシステムであって、アクション識別子が、アクションを、送信する、開く、会議をスケジューリングする、作成する、添付する、電子メールをする、リマインダをセットする、共有する、提示する、起動する、および表示する、のうちの１つとして識別する、コンピューティングシステムである。
【０１３３】
[0160]  例１６は、コンピュータ実装方法であって、
[0161]  発語を受け取るステップと、
[0162]  発語を言語処理システムに伝送するステップと、
[0163]  発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受け取るステップと、
[0164]  コンピューティングシステムのコンテキストを検出するステップと、
[0165]  コンテキストおよび言語処理結果中のインテントを解析して、行うべきアクションを識別するステップと、
[0166]  コンテキストおよび言語処理結果中の引数のセットに基づいて複数の異なる情報ソースを検索して、アクションが実行される対象であるコンテンツを識別するステップと、
[0167]  識別したコンテンツに対してアクションを実行するように被制御システムを自動的に制御するステップとを含む、コンピュータ実施方法である。
【０１３４】
[0168]  例１７は、上記の例のうちのいずれかまたは全てのコンピュータ実装方法であって、
[0169]  異なる検索結果のそれぞれに対応する関連性測度を生成するステップと、
[0170]  対応する関連性測度に基づいて異なる検索結果をランク付けするステップとをさらに含む、コンピュータ実施方法である。
【０１３５】
[0171]  例１８は、上記の例のうちのいずれかまたは全てのコンピュータ実装方法であって、
[0172]  引数およびコンテキストを使用して、現在のコンテキストおよび引数に基づいて普通なら曖昧な検索結果を曖昧性除去して所与の検索結果を得るステップをさらに含む、コンピュータ実施方法である。
【０１３６】
[0173]  例１９は、モバイルデバイスであり、
[0174]  発語を受け取り、発語を言語処理システムに送信し、発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受け取るユーザインタフェース機構と、
[0175]  コンピューティングシステムのコンテキストを識別するコンテキスト識別システムと、
[0176]  現在のコンテキストおよび言語処理結果中のインテントに基づいてアクションを識別するアクション識別子と、
[0177]  コンテキストおよび言語処理結果中の引数のセットに基づいて複数の異なる情報ソースを検索して、アクションが実行される対象であるコンテンツを識別するクロスソース検索構成要素と、
[0178]  識別したコンテンツに対してアクションを行うように被制御システムを制御するアクション構成要素とを含む、モバイルデバイスである。
【０１３７】
[0179]  例２０は、上記の例のうちのいずれかまたは全てのモバイルデバイスであって、発語が、コンテンツを暗示的に識別し、クロスソース検索構成要素が、引数を検索用語として使用して、複数の異なる情報ソースを検索して、それぞれ異なるコンテンツ項目を識別する複数の異なる検索結果を識別するモバイルデバイスであり、
[0180]  異なる検索結果のそれぞれについて関連性測度を生成して所与の検索結果を得、引数および現在のコンテキストを使用して、コンテキストおよび引数に基づいて、普通なら曖昧な検索結果を曖昧性除去して所与の検索結果を得る関連性生成器をさらに含む、モバイルデバイスである。
【０１３８】
[0181]  主題について、構造的特徴および／または方法論的作用に言語特有の表現で説明したが、添付の特許請求の範囲で定義される主題は、必ずしも上述の特定の特徴または作用に限定されるわけではないことは理解されるべきである。限定的なものではなく、上述の特定の特徴および作用は、特許請求の範囲を実装する例示的な形態として開示されたものである。
【図１Ａ】
2018502358.tif 000003
【図１Ｂ】
2018502358.tif 000004
【図２】
2018502358.tif 000005
【図３Ａ】
2018502358.tif 000006
【図３Ｂ】
2018502358.tif 000007
【図３Ｃ】
2018502358.tif 000008
【図３Ｄ】
2018502358.tif 000009
【図３Ｅ】
2018502358.tif 000010
【図３Ｆ】
2018502358.tif 000011
【図３Ｇ】
2018502358.tif 000012
【図３Ｈ】
2018502358.tif 000013
【図４】
2018502358.tif 000014
【図４Ａ】
2018502358.tif 000015
【図４Ｂ】
2018502358.tif 000016
【図４Ｃ】
2018502358.tif 000017
【図４Ｄ】
2018502358.tif 000018
【図４Ｅ】
2018502358.tif 000019
【図４Ｆ】
2018502358.tif 000020
【図４Ｇ】
2018502358.tif 000021
【図４Ｈ】
2018502358.tif 000022
【図５】
2018502358.tif 000023
【図５Ａ】
2018502358.tif 000024
【図５Ｂ】
2018502358.tif 000025
【図５Ｃ】
2018502358.tif 000026
【図５Ｄ】
2018502358.tif 000027
【図５Ｅ】
2018502358.tif 000028
【図５Ｆ】
2018502358.tif 000029
【図５Ｇ】
2018502358.tif 000030
【図５Ｈ】
2018502358.tif 000031
【図５Ｉ】
2018502358.tif 000032
【図５Ｊ】
2018502358.tif 000033
【図５Ｋ】
2018502358.tif 000034
【図５Ｌ】
2018502358.tif 000035
【図５Ｍ】
2018502358.tif 000036
【図５Ｎ】
2018502358.tif 000037
【図５Ｏ】
2018502358.tif 000038
【図５Ｐ】
2018502358.tif 000039
【図５Ｑ】
2018502358.tif 000040
【図５Ｒ】
2018502358.tif 000041
【図５Ｓ】
2018502358.tif 000042
【図５Ｔ】
2018502358.tif 000043
【図５Ｕ】
2018502358.tif 000044
【図５Ｖ】
2018502358.tif 000045
【図６Ａ】
2018502358.tif 000046
【図６Ｂ】
2018502358.tif 000047
【図６Ｃ】
2018502358.tif 000048
【図６Ｄ】
2018502358.tif 000049
【図６Ｅ】
2018502358.tif 000050
【図６Ｆ】
2018502358.tif 000051
【図６Ｇ】
2018502358.tif 000052
【図６Ｈ】
2018502358.tif 000053
【図７】
2018502358.tif 000054
【図８】
2018502358.tif 000055
【図９】
2018502358.tif 000056
【図１０】
2018502358.tif 000057
【図１１】
2018502358.tif 000058
【図１２】
2018502358.tif 000059
【図１３】
2018502358.tif 000060
【手続補正書】
【提出日】平成28年9月28日(2016.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピューティングシステムであって、
発語を受信し、前記発語を言語処理システムに送信し、前記発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受信するユーザインタフェース機構と、
前記コンピューティングシステムの現在のコンテキストを識別するコンテキスト識別システムと、
前記現在のコンテキストおよび前記言語処理結果中の前記インテントに基づいてアクションを識別するアクション識別子と、
前記現在のコンテキストおよび前記言語処理結果中の前記引数のセットに基づいて複数の異なる情報ソースを検索して、前記アクションが実行される対象であるコンテンツを識別するクロスソース検索構成要素と、
前記識別したコンテンツに対して前記アクションを行うように被制御システムを制御するアクション構成要素と
を含み、
前記異なる検索結果のそれぞれについて関連性測度を生成して所与の検索結果を得る関連性生成器
をさらに含み、
前記言語処理システムが、
前記コンピューティングシステム上に配置された、スピーチ認識システムおよび自然言語理解システムを含む第１の言語処理システムをさらに含み、前記スピーチ認識システムが、前記発語のテキスト表現を生成し、前記自然言語理解システムが、第１の言語処理結果中の前記インテントおよび引数を識別し、さらに前記現在のコンテキストに基づいて普通なら曖昧な引数を曖昧性除去し、
前記ユーザインタフェース機構が、さらに前記コンピューティングシステムから遠隔の第２の言語処理システムに前記発語を送信し、前記第２の言語処理システムが、第２の言語処理結果を生成し、前記コンピューティングシステムが、前記第１の言語処理結果と前記第２の言語処理結果を組み合わせて、前記言語処理結果を得る、
コンピューティングシステム。
【請求項２】
前記発語が、前記コンテンツを暗示的に識別し、前記クロスソース検索構成要素が、前記引数を検索用語として使用して、前記複数の異なる情報ソースを検索して、それぞれ異なるコンテンツ項目を識別する複数の異なる検索結果を識別する、請求項１に記載のコンピューティングシステム。
【請求項３】
前記関連性生成器が、前記引数および現在のコンテキストを使用して、前記現在のコンテキストおよび前記引数に基づいて、普通なら曖昧な検索結果を曖昧性除去して前記所与の検索結果を得る、
請求項１に記載のコンピューティングシステム。
【請求項４】
前記コンテキスト識別システムが、
前記ユーザの個人識別を識別する個人識別検出器と、
前記コンピューティングシステムの所与の近傍内の他の人または物を識別する近接度検出器と、
前記コンピューティングシステム上で開いているアプリケーションを識別する、開いているアプリケーション検出器と
を含む、請求項１に記載のコンピューティングシステム。
【請求項５】
前記コンテキスト識別システムが、
前記コンピューティングシステムが配置されている特定のデバイスを識別するデバイス検出器
を含む、請求項１に記載のコンピューティングシステム。
【請求項６】
前記コンテキスト識別システムが、
前記ユーザのカレンダ上の特定の時間および項目を識別するカレンダ検出器
を含む、請求項１に記載のコンピューティングシステム。
【請求項７】
前記特定のデバイスがモバイルデバイスを含む、請求項５に記載のコンピューティングシステム。
【請求項８】
前記コンテキスト識別システムが、
前記コンピューティングシステムが配置される前記特定のデバイスの位置を識別する位置検出器
を含む、請求項５に記載のコンピューティングシステム。
【請求項９】
前記アクション識別子が、前記アクションを、送信する、開く、会議をスケジューリングする、作成する、添付する、電子メールをする、リマインダをセットする、共有する、提示する、起動する、および表示する、のうちの１つとして識別する、請求項１に記載のコンピューティングシステム。
【請求項１０】
発語を受信するステップと、
前記発語を言語処理システムに伝送するステップと、
前記発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受信するステップと、
コンピューティングシステムのコンテキストを検出するステップと、
前記コンテキストおよび前記言語処理結果中の前記インテントを解析して、行うべきアクションを識別するステップと、
前記コンテキストおよび前記言語処理結果中の前記引数のセットに基づいて複数の異なる情報ソースを検索して、前記アクションが実行される対象であるコンテンツを識別するステップと、
前記識別したコンテンツに対して前記アクションを実行するように被制御システムを自動的に制御するステップとを含み、
前記異なる検索結果のそれぞれについて関連性測度を生成して、所与の検索結果を得るステップと、
前記発語のテキスト表現を生成し、第１の言語処理結果中の前記インテントおよび引数を識別し、前記現在のコンテキストに基づいて普通なら曖昧な引数をさらに曖昧性除去するステップと、
第２の言語処理結果を生成し、前記第１の言語処理結果と前記第２の言語処理結果とを結合して前記言語処理結果を得るステップとをさらに含む、コンピュータ実装方法。
【請求項１１】
発語を受信し、前記発語を言語処理システムに送信し、前記発語中で認識されるインテントおよび引数のセットを示す言語処理結果を受信するユーザインタフェース機構と、
コンピューティングシステムのコンテキストを識別するコンテキスト識別システムと、
前記現在のコンテキストおよび前記言語処理結果中の前記インテントに基づいてアクションを識別するアクション識別子と、
前記コンテキストおよび前記言語処理結果中の前記引数のセットに基づいて複数の異なる情報ソースを検索して、前記アクションが実行される対象であるコンテンツを識別するクロスソース検索構成要素と、
前記識別したコンテンツに対して前記アクションを行うように被制御システムを制御するアクション構成要素とを含み、
前記異なる検索結果のそれぞれについて関連性測度を生成して所与の検索結果を得る関連性生成器をさらに含み、
前記言語処理システムが、
前記コンピューティングシステム上に配置された、スピーチ認識システムおよび自然言語理解システムを含む第１の言語処理システムをさらに含み、前記スピーチ認識システムが、前記発語のテキスト表現を生成し、前記自然言語理解システムが、第１の言語処理結果中の前記インテントおよび引数を識別し、さらに前記現在のコンテキストに基づいて普通なら曖昧な引数を曖昧性除去し、
前記ユーザインタフェース機構が、さらに前記コンピューティングシステムから遠隔の第２の言語処理システムに前記発語を送信し、前記第２の言語処理システムが、第２の言語処理結果を生成し、前記コンピューティングシステムが、前記第１の言語処理結果と前記第２の言語処理結果を組み合わせて、言語処理結果を得る、モバイルデバイス。
【請求項１２】
前記発語が、前記コンテンツを暗示的に識別し、前記クロスソース検索構成要素が、前記引数を検索用語として使用して、前記複数の異なる情報ソースを検索して、それぞれ異なるコンテンツ項目を識別する複数の異なる検索結果を識別し、
前記関連性生成器が、前記引数および現在のコンテキストを使用して、前記コンテキストおよび前記引数に基づいて、普通なら曖昧な検索結果を曖昧性除去して前記所与の検索結果を得る、請求項１１に記載のモバイルデバイス。
【国際調査報告】
2018502358.tif 000061
2018502358.tif 000062