(57)【特許請求の範囲】
【請求項１】
電子デバイスであって、
不特定の対象に関する情報を求める口頭要求を受け取るためのマイクロフォンと、
前記不特定の対象に関する増補情報を受け取るためのセンサと、
前記口頭要求からの情報を前記増補情報と結合して結合フォーマット情報要求にするための結合ロジックと、
前記結合フォーマット情報要求に対する回答を取り出すための情報取出しロジックと
を備え、
前記センサがカメラである電子デバイス。
【請求項２】
電子デバイスであって、
不特定の対象に関する情報を求める口頭要求を受け取るためのマイクロフォンと、
前記不特定の対象に関する増補情報を受け取るためのセンサと、
前記口頭要求からの情報を前記増補情報と結合して結合フォーマット情報要求にするための結合ロジックと、
前記結合フォーマット情報要求に対する回答を取り出すための情報取出しロジックと
を備え、
前記センサが、ビデオ画像を取り込むカメラであり、前記不特定の対象が、前記ビデオ画像中に現れない対象であり、前記電子デバイスが、
前記カメラによって取り込まれた前記ビデオ画像から、前記ビデオ画像を記述するメタデータを取り出すメタデータ取出しロジックと、
前記メタデータからの情報を相関させて、前記不特定の対象に関する情報を識別し、前記結合フォーマット情報要求に対する回答を生成する相関ロジックと
にアクセスする電子デバイス。
【請求項３】
前記結合フォーマット情報要求を情報サーバに送信するための送信機をさらに備える、請求項１または２に記載の電子デバイス。
【請求項４】
情報要求を増補する方法であって、
情報サーバによって、対象に関する情報を求める要求を受け取ることであって、情報を求める前記要求が電子デバイスからのものであり、情報を求める前記要求が第１のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記対象に関する増補情報を受け取ることであって、前記増補情報が前記電子デバイスによって生成され、前記増補情報が前記第１のフォーマットとは異なる第２のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記増補情報に基づいて、情報を求める前記要求に対する応答を生成することと
を含み、
前記第１のフォーマットが音声認識のためのものであり、前記第２のフォーマットが、前記電子デバイス上のカメラによって生成されるビデオ・ファイルのためのものである方法。
【請求項５】
情報要求を増補する方法であって、
情報サーバによって、対象に関する情報を求める要求を受け取ることであって、情報を求める前記要求が電子デバイスからのものであり、情報を求める前記要求が第１のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記対象に関する増補情報を受け取ることであって、前記増補情報が前記電子デバイスによって生成され、前記増補情報が前記第１のフォーマットとは異なる第２のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記増補情報に基づいて、情報を求める前記要求に対する応答を生成することと
を含み、
前記第１のフォーマットが音声認識のためのものであり、前記第２のフォーマットが、前記電子デバイス上のマイクロフォンによって生成されるオーディオ・ファイルのためのものである方法。
【請求項６】
情報要求を増補する方法であって、
情報サーバによって、対象に関する情報を求める要求を受け取ることであって、情報を求める前記要求が電子デバイスからのものであり、情報を求める前記要求が第１のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記対象に関する増補情報を受け取ることであって、前記増補情報が前記電子デバイスによって生成され、前記増補情報が前記第１のフォーマットとは異なる第２のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記増補情報に基づいて、情報を求める前記要求に対する応答を生成することと
を含み、
前記第１のフォーマットが音声認識のためのものであり、前記第２のフォーマットが写真のためのものであり、前記対象が前記写真中で示され、
前記情報サーバによって、前記写真中で示される前記対象に関する、前記写真中の埋め込み情報を取り出すことであって、前記埋め込み情報が、前記写真中で示される前記対象を記述する、前記取り出すことと、
前記情報サーバによって、前記埋め込み情報に基づいて前記写真中の前記対象に関する追加情報を突き止めることと
をさらに含む方法。
【請求項７】
情報要求を増補する方法であって、
情報サーバによって、対象に関する情報を求める要求を受け取ることであって、情報を求める前記要求が電子デバイスからのものであり、情報を求める前記要求が第１のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記対象に関する増補情報を受け取ることであって、前記増補情報が前記電子デバイスによって生成され、前記増補情報が前記第１のフォーマットとは異なる第２のフォーマットのものである、前記受け取ることと、
前記情報サーバによって、前記増補情報に基づいて、情報を求める前記要求に対する応答を生成することと
を含み、
前記第１のフォーマットが音声認識のためのものであり、前記第２のフォーマットが写真のためのものであり、前記対象が前記写真中で示されず、
前記情報サーバによって、前記写真中の埋め込み情報を利用して、前記写真中で示されない前記対象に関する追加情報を取り出すことをさらに含む方法。
【請求項８】
情報を求める前記要求が特定ユーザによって生成され、
情報を求める前記要求を、前記特定ユーザについてのユーザ・プロファイルに関連付けることと、
前記ユーザ・プロファイルに基づいて、情報を求める前記要求に対する前記応答を適合させることと
をさらに含む、請求項４から７のいずれか１項に記載の方法。
【請求項９】
前記情報サーバによって、ユーザの身体ジェスチャを受け取ることと、
前記情報サーバによって、前記身体ジェスチャを前記対象に関する追加の増補情報として利用することと
をさらに含む、請求項４から８のいずれか１項に記載の方法。
【請求項１０】
情報要求を増補するためのコンピュータ・プログラムであって、前記プログラムが、方法を実施するためにプロセッサによって読取り可能かつ実行可能であり、前記方法が、
対象に関する情報を求める要求を受け取ることであって、情報を求める前記要求が電子デバイスからのものであり、情報を求める前記要求が第１のフォーマットのものである、前記受け取ることと、
前記対象に関する増補情報を受け取ることであって、前記増補情報が前記電子デバイスによって生成され、前記増補情報が前記第１のフォーマットとは異なる第２のフォーマットのものである、前記受け取ることと、
前記増補情報に基づいて、情報を求める前記要求に対する応答を生成することと
を含み、
前記第１のフォーマットが音声認識のためのものであり、前記第２のフォーマットがビデオ・ファイルのためのものである、コンピュータ・プログラム。
【請求項１１】
情報要求を増補するためのコンピュータ・プログラムであって、前記プログラムが、方法を実施するためにプロセッサによって読取り可能かつ実行可能であり、前記方法が、
対象に関する情報を求める要求を受け取ることであって、情報を求める前記要求が電子デバイスからのものであり、情報を求める前記要求が第１のフォーマットのものである、前記受け取ることと、
前記対象に関する増補情報を受け取ることであって、前記増補情報が前記電子デバイスによって生成され、前記増補情報が前記第１のフォーマットとは異なる第２のフォーマットのものである、前記受け取ることと、
前記増補情報に基づいて、情報を求める前記要求に対する応答を生成することと
を含み、
前記第１のフォーマットが音声認識のためのものであり、前記第２のフォーマットが写真のためのものであり、前記対象が前記写真中で示され、前記方法がさらに、
前記写真中で示される前記対象に関する、前記写真中の埋め込み情報を取り出すことであって、前記埋め込み情報が、前記写真中で示される前記対象を記述する、前記取り出すことと、
前記埋め込み情報に基づいて前記写真中の前記対象に関する追加情報を突き止めることと
を含むコンピュータ・プログラム。
【請求項１２】
情報要求を増補するためのコンピュータ・プログラムであって、前記プログラムが、方法を実施するためにプロセッサによって読取り可能かつ実行可能であり、前記方法が、
対象に関する情報を求める要求を受け取ることであって、情報を求める前記要求が電子デバイスからのものであり、情報を求める前記要求が第１のフォーマットのものである、前記受け取ることと、
前記対象に関する増補情報を受け取ることであって、前記増補情報が前記電子デバイスによって生成され、前記増補情報が前記第１のフォーマットとは異なる第２のフォーマットのものである、前記受け取ることと、
前記増補情報に基づいて、情報を求める前記要求に対する応答を生成することと
を含み、
前記第１のフォーマットが音声認識のためのものであり、前記第２のフォーマットが写真のためのものであり、前記対象が前記写真中で示されず、前記方法がさらに、
前記写真中の埋め込み情報を利用して、前記写真中で示されない前記対象に関する追加情報を取り出すことを含むコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報取出しの分野に関し、具体的には、ユーザによる照会に基づく情報取出しの分野に関する。さらにより具体的には、本開示は、ユーザによって生成された照会の解釈の分野に関する。
【背景技術】
【０００２】
今日の多くのモバイル・デバイスは、ユーザから口頭質問を受け取り、次いで音声（speech）合成を使用して回答で応答する能力を有する。
【０００３】
例えば、米国特許出願公開第２０１２／００１６６７８号は、ユーザからの具体的な質問に回答するために自然言語ダイアログを使用してユーザとかかわるインテリジェント自動化アシスタント（intelligent automated assistant）について述べている。しかし、そのようなシステムはユーザからの音声入力に限定され、この結果、モバイル・デバイスによる誤った応答が生じる可能性がある。例えば、ユーザが質問するが、質問がシステムによって間違って解釈されるか、またはシステムが単に質問をまったく理解しないかのいずれかとなることがある。これにより、ユーザは、追加のボイス（voice）・コマンドや説明などでフォローアップすることが必要とされる。
【０００４】
他のデバイスは、非言語（すなわち非音声）入力に関して情報を提供するが、ユーザが非言語入力に関して質問を生成し発することは可能にしない。
【０００５】
例えば、米国特許出願公開第２０１２／０１２４４６１号は、画像上に重ねられるコンテキスト情報でストリート・レベル画像に注釈を付けるための技法について述べている。同様に、米国特許出願公開第２０１３／０３４６０６８号は、ユーザによって提供されるいくつかの用語でディジタル写真（photograph）にタグ付けするシステムについて述べている。しかし、このタイプの技術は、ユーザが有するであろう具体的な質問にかかわらず、事前定義済みの情報で画像を自動ポピュレートすることに限定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２０１２／００１６６７８号
【特許文献２】米国特許出願公開第２０１２／０１２４４６１号
【特許文献３】米国特許出願公開第２０１３／０３４６０６８号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、単独でも組合せでも、従来技術は、ユーザが質問し、次いで質問を明確にする非言語入力を使用してこの質問を増補することを可能にするシステムを提供することができない。すなわち、従来技術は、視覚的画像や香り（scent）や音（sound）などの非言語入力に関してユーザによって生成された質問をユーザがデバイスに提示することを可能にするシステムを提供しない。本発明は、長年感じられてきたこの必要性に対する１つまたは複数の解決法を提供する。
【課題を解決するための手段】
【０００８】
本開示の一実施形態では、電子デバイスは、不特定の対象（object）に関する情報を求める口頭要求を受け取るためのマイクロフォンを備える。センサが、不特定の対象に関する増補情報を受け取る。結合ロジックが、口頭要求からの情報を増補情報と結合して、結合フォーマット情報要求にする。次いで、情報取出しロジックが、結合フォーマット情報要求に対する回答を取り出す。
【０００９】
本開示の一実施形態では、電子デバイス中のセンサは、ユーザによって発せられた質問の対象を「嗅ぐ」ことができる化学センサである。
【００１０】
本開示の一実施形態では、電子デバイス中のセンサは、ビデオ画像を取り込むカメラであり、不特定の対象は、ビデオ画像中に現れない対象である。電子デバイスは、メタデータ取出しロジックにアクセスして、カメラによって取り込まれたビデオ画像から、ビデオ画像を記述するメタデータを取り出す。相関ロジックが、メタデータからの情報を相関させて、不特定の対象に関する情報を識別し、結合フォーマット情報要求に対する回答を生成する。
【００１１】
本開示の一実施形態では、情報要求を増補する方法は、情報サーバによって、対象に関する情報を求める要求を受け取ることを含む。情報を求める要求は、電子デバイスからのものであり、第１のフォーマットのものである。情報サーバは、対象に関する増補情報を受け取る。増補情報は、電子デバイスによって生成されるものであり、第１のフォーマットとは異なる第２のフォーマットのものである。情報サーバは、増補情報に基づいて、情報を求める要求に対する応答を生成する。
【００１２】
本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは写真のためのものである。情報が要求される対象は、写真中で示される。情報サーバは、写真中で示される対象に関する、写真中の埋め込み情報を取り出す。情報サーバは、埋め込み情報に基づいて、写真中の対象に関する追加情報を突き止める。
【００１３】
本開示の一実施形態では、情報を求める要求は、特定ユーザによって生成される。この方法はさらに、情報を求める要求を、特定ユーザについてのユーザ・プロファイルに関連付けることと、ユーザ・プロファイルに基づいて、情報を求める要求に対する応答を適合させることとを含む。
【００１４】
本開示の一実施形態では、情報サーバは、ユーザの身体ジェスチャを受け取り、身体ジェスチャを、対象に関する増補情報として利用する。
【００１５】
本開示の一実施形態では、コンピュータ・プログラム製品は、情報要求を増補する。コンピュータ・プログラム製品は、プログラム・コードが組み入れられたコンピュータ可読ストレージ媒体を含み、コンピュータ可読ストレージ媒体は、一時的な信号自体ではなく、プログラム・コードは、方法を実施するためにプロセッサによって読取り可能かつ実行可能である。この方法は、対象に関する情報を求める要求を受け取ることであって、情報を求める要求が電子デバイスからのものであり、情報を求める要求が第１のフォーマットのものである、受け取ることと、対象に関する増補情報を受け取ることであって、増補情報が電子デバイスによって生成されるものであり、増補情報が、第１のフォーマットとは異なる第２のフォーマットのものである、受け取ることと、増補情報に基づいて、情報を求める要求に対する応答を生成することと、を含む。
【発明の効果】
【００１６】
このように、ここに開示されるシステムは、情報要求の効率および精度を改善するという点で、従来技術に勝る技術的利点を提供する。より具体的には、本開示の教示がなければ、ほとんどとは言わないまでも多くの口頭質問は、無意味であろうし、したがってインテリジェント・アシスタント・デバイスによって回答不可能であろう。
【００１７】
次に、添付の図面を参照しながら、本発明の実施形態について単なる例として述べる。
【図面の簡単な説明】
【００１８】
【図１】本開示の一実施形態によるクラウド・コンピューティング・ノードを描いた図である。
【図２】本開示の一実施形態によるクラウド・コンピューティング環境を描いた図である。
【図３】本開示の一実施形態による抽象化モデル・レイヤを描いた図である。
【図４】本発明が利用され得る例示的なシステムを示す図である。
【図５】ユーザによって生成された、電子デバイスからの情報要求に応答するために、１つまたは複数のプロセッサまたは他のハードウェア・デバイスによって実施される１つまたは複数の動作の高レベルのフローチャートである。
【発明を実施するための形態】
【００１９】
本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはそれらの組合せとすることができる。コンピュータ・プログラム製品は、本開示の態様をプロセッサに遂行させるためのコンピュータ可読プログラム命令を有する１つまたは複数のコンピュータ可読ストレージ媒体を含むことができる。
【００２０】
コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用される命令を保持および記憶できる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光学ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または上記の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラム可能な読取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、ディジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、機械的にエンコードされたデバイス（命令が記録された、パンチカード、または溝の中の隆起構造）、および上記の任意の適切な組合せを含む。本明細書におけるコンピュータ可読ストレージ媒体は、電波もしくは他の自由伝搬する電磁波、導波管もしくは他の伝送媒体を介して伝搬する電磁波（例えば、光ファイバ・ケーブルの中を通る光パルス）、またはワイヤを介して伝送される電気信号など、一時的な信号自体であると解釈されるべきではない。
【００２１】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされてよく、あるいは、ネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくはワイヤレス・ネットワーク、またはそれらの組合せ）を介して外部コンピュータまたは外部ストレージ・デバイスにダウンロードされてよい。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの組合せを含むことができる。各コンピューティング／処理デバイス中の、ネットワーク・アダプタ・カードまたはネットワーク・インタフェースが、コンピュータ可読プログラム命令をネットワークから受け取り、これらのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に記憶されるように転送する。
【００２２】
本開示の動作を遂行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データであってよく、または、Ｓｍａｌｌｔａｌｋ（Ｒ）やＣ＋＋などのオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語や類似のプログラミング言語などの従来の手続き型プログラミング言語を含めた、１つもしくは複数のプログラミング言語の任意の組合せで書かれたソース・コードとオブジェクト・コードとのいずれかであってよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行されるか、スタンドアロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータ上で実行されるか、部分的にユーザのコンピュータ上で実行され部分的にリモート・コンピュータ上で実行されるか、または完全にリモート・コンピュータもしくはサーバ上で実行される場合がある。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含めた任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または、接続は、外部コンピュータに対して（例えば、インターネット・サービス・プロバイダを使用してインターネット経由で）行われてもよい。いくつかの実施形態では、プログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）、を例えば含む電子回路が、本開示の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人化することによって、コンピュータ可読プログラム命令を実行することができる。
【００２３】
本明細書では、本開示の態様が、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品の、フローチャート説明またはブロック図あるいはその両方に関して記述される。フローチャート説明またはブロック図あるいはその両方の各ブロック、および、フローチャート説明またはブロック図あるいはその両方の中のブロックの組合せを、コンピュータ可読プログラム命令によって実装できることは理解されるであろう。
【００２４】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック中で指定される機能／行為を実装する手段をもたらすように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読ストレージ媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック中で指定される機能／行為の態様を実装する命令を含む製造品を構成するように、コンピュータ可読ストレージ媒体に記憶され、コンピュータ、プログラム可能データ処理装置、または他のデバイス、あるいはそれらの組合せに、特定の方式で機能するよう指示することができるものであってもよい。
【００２５】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロック中で指定される機能／行為を実装するように、コンピュータ実装プロセスを作り出すべく、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実施させるものであってもよい。
【００２６】
図中のフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装形態の、アーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の中の各ブロックは、モジュール、セグメント、または命令の一部を表すことができ、これは、指定される論理機能を実装するための１つまたは複数の実行可能命令を含む。いくつかの代替実装形態では、ブロック中で示される機能は、図中で示される順序とは異なる順序で生じる場合がある。例えば、関連する機能に応じて、連続して示される２つのブロックが実際にはほぼ同時に実行される場合もあり、またはこれらのブロックが逆の順序で実行されることもある。また、ブロック図またはフローチャート説明あるいはその両方の各ブロック、および、ブロック図またはフローチャート説明あるいはその両方の中のブロックの組合せは、指定される機能もしくは行為を実施するかまたは専用ハードウェアとコンピュータ命令との組合せを遂行する、専用ハードウェアベースのシステムによって実装できることにも留意されるであろう。
【００２７】
１つまたは複数の実施形態では、本発明をクラウド・コンピューティング環境で実装できることを理解されたい。
【００２８】
クラウド・コンピューティングは、最小限の管理労力で、またはサービスのプロバイダとの最小限の対話で迅速にプロビジョニングでき解放できる構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、バーチャル・マシン、およびサービス）の共有プールへの便利なオンデマンドのネットワーク・アクセスを可能にするための、サービス送達のモデルである。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含むことができる。
【００２９】
特徴は次のとおりである。
オンデマンド・セルフサービス：クラウド消費者は、必要に応じて、サービスのプロバイダとの人的な対話を必要とすることなく自動的に、サーバ時間やネットワーク・ストレージなどのコンピューティング能力を単方向にプロビジョニングすることができる。
幅広いネットワーク・アクセス：能力はネットワークを介して利用可能であり、能力はまた、異種シン・クライアント・プラットフォームまたはシック・クライアント・プラットフォーム（例えば、モバイル・フォン、ラップトップ、およびＰＤＡ）による使用を促進する標準的なメカニズムを介してアクセスされる。
リソース・プーリング：プロバイダのコンピューティング・リソースは、マルチテナント・モデルを使用する複数の消費者に役立つようにプールされ、異なる複数の物理リソースおよび仮想リソースが、需要に従って動的に割当ておよび再割当てされる。消費者は一般に、提供されるリソースの正確な場所に関して制御も知識も有しないが、より高い抽象化レベル（例えば、国、州、またはデータセンタ）で場所を指定することはできる場合があるという点で、ある意味での場所独立性がある。
迅速な弾力性：能力を迅速かつ弾力的に、場合によっては自動的にプロビジョニングして素早くスケールアウトし、迅速に解放して素早くスケールインすることができる。消費者にとっては、プロビジョニングのために利用可能な能力はしばしば無限に見え、いつでもどのような量でも購入することができる。
測定されるサービス：クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブ・ユーザ・アカウント）に適した何らかの抽象化レベルで計測能力を活用することによって、リソース使用を自動的に制御および最適化する。リソース使用は、監視、制御、および報告することができ、これにより、利用されるサービスのプロバイダと消費者の両方にとってのトランスペアレンシがもたらされる。
【００３０】
サービス・モデルは次のとおりである。
ソフトウェア・アズ・ア・サービス（ＳａａＳ）：消費者に提供される能力は、クラウド・インフラストラクチャ上で実行されている、プロバイダのアプリケーションを使用することである。アプリケーションへのアクセスは、ウェブ・ブラウザなどのシン・クライアント・インタフェースを介して様々なクライアント・デバイスから可能である（例えば、ウェブベースの電子メール）。消費者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、さらには個々のアプリケーション能力をも含めた、基礎をなすクラウド・インフラストラクチャを管理することも制御することもしないが、限られたユーザ特有アプリケーション構成設定については例外である可能性がある。
プラットフォーム・アズ・ア・サービス（ＰａａＳ）：消費者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、消費者によって作成または取得されたアプリケーションを、クラウド・インフラストラクチャ上に展開することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含めた、基礎をなすクラウド・インフラストラクチャを管理することも制御することもしないが、展開されたアプリケーションに対する制御、およびおそらくはアプリケーション・ホスティング環境構成に対する制御を有する。
インフラストラクチャ・アズ・ア・サービス（ＩａａＳ）：消費者に提供される能力は、処理、ストレージ、ネットワーク、および他の基本的なコンピューティング・リソースをプロビジョニングすることであり、この場合、消費者は、オペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアを展開および実行することができる。消費者は、基礎をなすクラウド・インフラストラクチャを管理することも制御することもしないが、オペレーティング・システム、ストレージ、展開されたアプリケーションに対する制御、およびおそらくは、精選されたネットワーキング・コンポーネント（例えばホスト・ファイアウォール）の限られた制御を有する。
【００３１】
展開モデルは次のとおりである。
プライベート・クラウド：クラウド・インフラストラクチャは、組織のためにのみ運用される。クラウド・インフラストラクチャは、この組織またはサード・パーティによって管理されてよく、構内または構外に存在してよい。
コミュニティ・クラウド：クラウド・インフラストラクチャは、いくつかの組織によって共有され、共有の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス考慮事項）を有する特定のコミュニティをサポートする。クラウド・インフラストラクチャは、これらの組織またはサード・パーティによって管理されてよく、構内または構外に存在してよい。
パブリック・クラウド：クラウド・インフラストラクチャは、一般大衆または大規模な業界団体が利用できるようにされ、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：クラウド・インフラストラクチャは、２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合物である。これらのクラウドは、独自のエンティティのままであるが、データおよびアプリケーションの可搬性を可能にする標準化された技術またはプロプラエタリ技術によって１つにまとめられる（例えば、クラウド間の負荷平衡のためのクラウド・バースティング）。
【００３２】
クラウド・コンピューティング環境はサービス指向であり、ステートレス性、低結合、モジュール性、およびセマンティックな相互運用性に焦点が合わされる。クラウド・コンピューティングの中心には、相互接続されたノードのネットワークを構成するインフラストラクチャがある。
【００３３】
次に図１を参照すると、クラウド・コンピューティング・ノードの例の概略図が示されている。クラウド・コンピューティング・ノード１０は、適切なクラウド・コンピューティング・ノードの一例に過ぎず、本明細書に記載の本発明の実施形態の使用または機能の範囲についてどのような限定も示唆するものとしない。ともかく、クラウド・コンピューティング・ノード１０は、前述の機能のいずれかと共に実装されること、または前述の機能のいずれかを実施すること、あるいはその両方が可能である。
【００３４】
クラウド・コンピューティング・ノード１０中には、コンピュータ・システム／サーバ１２があり、コンピュータ・システム／サーバ１２は、他の多くの汎用または専用のコンピューティング・システム環境または構成でも動作する。コンピュータ・システム／サーバ１２と共に使用するのに適する可能性のある周知のコンピューティング・システム、環境、または構成、あるいはそれらの組合せの例としては、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルド・デバイスまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサベースのシステム、セット・トップ・ボックス、プログラム可能な消費者電子機器、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および、これらのシステムまたはデバイスのいずれかを含む分散クラウド・コンピューティング環境、などが挙げられるが、これらに限定されない。
【００３５】
コンピュータ・システム／サーバ１２は、プログラム・モジュールなど、コンピュータ・システムによって実行されるコンピュータ・システム実行可能命令の一般的なコンテキストで記述することができる。一般に、プログラム・モジュールは、特定のタスクを実施するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含む場合がある。コンピュータ・システム／サーバ１２は、分散クラウド・コンピューティング環境で実践されてよく、その場合、タスクは、通信ネットワークを介してリンクされたリモート処理デバイスによって実施される。分散クラウド・コンピューティング環境では、プログラム・モジュールは、メモリ・ストレージ・デバイスを含めたローカルとリモートの両方のコンピュータ・システム・ストレージ媒体中に位置する場合がある。
【００３６】
図１に示されるように、クラウド・コンピューティング・ノード１０中のコンピュータ・システム／サーバ１２は、汎用コンピューティング・デバイスの形で示されている。コンピュータ・システム／サーバ１２のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット１６と、システム・メモリ２８と、システム・メモリ２８を含めた様々なシステム・コンポーネントをプロセッサ１６に結合するバス１８と、を含むことができるが、これらに限定されない。
【００３７】
バス１８は、様々なバス・アーキテクチャのいずれかを使用する、メモリ・バスまたはメモリ・コントローラ、周辺バス、アクセラレーテッド・グラフィックス・ポート、およびプロセッサまたはローカル・バスを含めた、いくつかのタイプのバス構造のいずれかの１つまたは複数を表す。限定ではなく例として、このようなアーキテクチャは、ＩＳＡ（Industry Standard Architecture）バス、ＭＣＡ（MicroChannel Architecture）バス、ＥＩＳＡ（Enhanced ISA）バス、ＶＥＳＡ（Video Electronics Standards Association）ローカル・バス、およびＰＣＩ（Peripheral Component Interconnects）バスを含む。
【００３８】
コンピュータ・システム／サーバ１２は通常、様々なコンピュータ・システム可読媒体を備える。このような媒体は、コンピュータ・システム／サーバ１２からアクセス可能な任意の利用可能な媒体とすることができ、揮発性と不揮発性の媒体、取外し可能と取外し不能の媒体の両方を含む。
【００３９】
システム・メモリ２８は、ランダム・アクセス・メモリ（ＲＡＭ）３０またはキャッシュ・メモリ３２あるいはその両方など、揮発性メモリの形のコンピュータ・システム可読媒体を含むことができる。コンピュータ・システム／サーバ１２はさらに、他の取外し可能／取外し不能、揮発性／不揮発性コンピュータ・システム・ストレージ媒体を備えることもできる。例に過ぎないが、取外し不能な不揮発性の磁気媒体（図示せず。典型的には「ハード・ドライブ」と呼ばれる）に対して読取りおよび書込みするために、ストレージ・システム３４が設けられてよい。図示されていないが、取外し可能な不揮発性の磁気ディスク（例えば「フロッピー（Ｒ）・ディスク」）に対して読取りおよび書込みするための磁気ディスク・ドライブと、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、または他の光学媒体など、取外し可能な不揮発性の光学ディスクに対して読取りまたは書込みするため光学ディスク・ドライブとが設けられてよい。このような事例では、各ドライブは、１つまたは複数のデータ媒体インタフェースによってバス１８に接続されてよい。後でさらに図示および記述されるように、メモリ２８は、本発明の実施形態の機能を遂行するように構成された１組の（例えば少なくとも１つの）プログラム・モジュールを有する少なくとも１つのプログラム製品を含むことができる。
【００４０】
１組の（少なくとも１つの）プログラム・モジュール４２を有するプログラム／ユーティリティ４０が、限定ではなく例としてメモリ２８に記憶されてよく、また、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データも記憶されてよい。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはこれらの何らかの組合せはそれぞれ、ネットワーキング環境の一実装形態を含むことができる。プログラム・モジュール４２は一般に、本明細書に記載の本発明の実施形態の、機能または方法あるいはその両方を遂行する。
【００４１】
コンピュータ・システム／サーバ１２はまた、１つまたは複数の外部デバイス１４と通信することができる。外部デバイス１４は、キーボード、ポインティング・デバイス、ディスプレイ２４等、ユーザがコンピュータ・システム／サーバ１２と対話できるようにする１つもしくは複数のデバイス、または、コンピュータ・システム／サーバ１２が１つもしくは複数の他のコンピューティング・デバイスと通信できるようにする任意のデバイス（例えば、ネットワーク・カード、モデムなど）、あるいはそれらの組合せ、などである。このような通信は、入出力（Ｉ／Ｏ）インタフェース２２を介して行うことができる。さらに、コンピュータ・システム／サーバ１２は、ネットワーク・アダプタ２０を介して、ローカル・エリア・ネットワーク（ＬＡＮ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ）、または公衆ネットワーク（例えばインターネット）、あるいはそれらの組合せなど、１つまたは複数のネットワークと通信することができる。図示のように、ネットワーク・アダプタ２０は、バス１８を介して、コンピュータ・システム／サーバ１２の他のコンポーネントと通信する。図示されていないが、他のハードウェア・コンポーネントまたはソフトウェア・コンポーネントあるいはその両方が、コンピュータ・システム／サーバ１２と共に使用されてもよいことを理解されたい。例としては、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイバル・ストレージ・システムなどが挙げられるが、これらに限定されない。
【００４２】
本開示の１つまたは複数の実施形態では、外部デバイス１４は、図１に示されるコンピュータ・システム／サーバ１２のアーキテクチャを利用する。同様に、コンピュータ・システム／サーバ１２のアーキテクチャは、図４に示される電子デバイス４０２または情報クラウド・サーバ４０４あるいはその両方において実装されてよい。
【００４３】
次に図２を参照すると、例証的なクラウド・コンピューティング環境５０が描かれている。図示のように、クラウド・コンピューティング環境５０は、１つまたは複数のクラウド・コンピューティング・ノード１０を含み、クラウド消費者によって使用されるローカル・コンピューティング・デバイス、例えば、パーソナル・ディジタル・アシスタント（ＰＤＡ）もしくはセルラー電話機５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車コンピュータ・システム５４Ｎ、あるいはそれらの組合せなどが、クラウド・コンピューティング・ノード１０と通信することができる。ノード１０は、相互に通信することができる。これらは、前述のようなプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、もしくはハイブリッド・クラウド、またはこれらの組合せなど、１つまたは複数のネットワーク中で、物理的または仮想的にグループ化されてよい（図示せず）。これにより、クラウド・コンピューティング環境５０は、クラウド消費者がリソースをローカル・コンピューティング・デバイス上で維持する必要のないサービスとして、インフラストラクチャ、プラットフォーム、またはソフトウェア、あるいはそれらの組合せを申し出ることができる。図２に示されるコンピューティング・デバイス５４Ａ〜Ｎのタイプは例証に過ぎないものとし、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、任意のタイプのネットワークまたはネットワーク対応可能接続あるいはその両方を介して（例えばウェブ・ブラウザを使用して）、任意のタイプのコンピュータ化デバイスと通信できることを理解されたい。
【００４４】
次に図３を参照すると、クラウド・コンピューティング環境５０（図２）によって提供される１組の機能的抽象化レイヤが示されている。図３に示されるコンポーネント、レイヤ、および機能は例証に過ぎないものとし、本発明の実施形態はこれらに限定されないことを、あらかじめ理解されたい。図示のように、以下のレイヤおよび対応する機能が提供される。
【００４５】
ハードウェアおよびソフトウェア・レイヤ６０は、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例としては、メインフレーム、一例ではＩＢＭ（Ｒ）ｚＳｅｒｉｅｓ（Ｒ）システム、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャベースのサーバ、一例ではＩＢＭ  ｐＳｅｒｉｅｓ（Ｒ）システム、ＩＢＭ  ｘＳｅｒｉｅｓ（Ｒ）システム、ＩＢＭ  ＢｌａｄｅＣｅｎｔｅｒ（Ｒ）システム、ストレージ・デバイス、ネットワークおよびネットワーキング・コンポーネント、が挙げられる。ソフトウェア・コンポーネントの例は、ネットワーク・アプリケーション・サーバ・ソフトウェア、一例ではＩＢＭ  ＷｅｂＳｐｈｅｒｅ（Ｒ）アプリケーション・サーバ・ソフトウェア、およびデータベース・ソフトウェア、一例ではＩＢＭ  ＤＢ２（Ｒ）データベース・ソフトウェア、を含む。（ＩＢＭ、ｚＳｅｒｉｅｓ、ｐＳｅｒｉｅｓ、ｘＳｅｒｉｅｓ、ＢｌａｄｅＣｅｎｔｅｒ、ＷｅｂＳｐｈｅｒｅ、およびＤＢ２は、世界中の多くの管轄区において登録されたインターナショナル・ビジネス・マシーンズ・コーポレーション（International Business Machines Corporation）の商標である）
【００４６】
仮想化レイヤ６２は、仮想エンティティの以下の例がそこから提供され得る抽象化レイヤを提供する。すなわち、仮想サーバ、仮想ストレージ、仮想プライベート・ネットワークを含む仮想ネットワーク、仮想アプリケーションおよびオペレーティング・システム、ならびに仮想クライアント、が提供され得る。
【００４７】
一例では、管理レイヤ６４は、以下に述べる機能を提供することができる。リソース・プロビジョニングは、クラウド・コンピューティング環境内でタスクを実施するのに利用されるコンピューティング・リソースおよび他のリソースの動的な調達を提供する。計測および価格設定は、クラウド・コンピューティング環境内でリソースが利用されるのに伴うコスト追跡と、これらのリソースの消費に対する課金または送り状送付とを提供する。一例では、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含む場合がある。セキュリティは、クラウド消費者およびタスクに対する識別検証、ならびに、データおよび他のリソースのための保護を提供する。ユーザ・ポータルは、クラウド・コンピューティング環境へのアクセスを消費者およびシステム管理者に提供する。サービス・レベル管理は、必要とされるサービス・レベルが満たされるように、クラウド・コンピューティング・リソース割振りおよび管理を提供する。サービス・レベル・アグリーメント（ＳＬＡ）プランニングおよび履行は、ＳＬＡに従って、将来必要とされることが予期されるクラウド・コンピューティング・リソースの事前構成および調達を提供する。
【００４８】
ワークロード・レイヤ６６は、クラウド・コンピューティング環境を利用できる対象となる機能の例を提供する。このレイヤから提供できるワークロードおよび機能の例としては、マッピングおよびナビゲーション、ソフトウェア開発およびライフサイクル管理、仮想教室教育の配信、データ分析処理、トランザクション処理、ならびに、本明細書に記載のような、かつワークロード・レイヤ６６中に見られる「情報照会処理」によって表されるような、電子デバイスからの情報照会を扱うこと、が挙げられる。
【００４９】
次に図４を参照すると、例示的なシステム４００は、従来技術に見られない、かつ本発明が利用され得る、様々な新しく新規な技術的特徴の、技術的特性または相互運用性あるいはその両方を描いている。より具体的には、図４に描かれた要素であって、図５に描かれる動作に関してさらに記述される要素は、ユーザによって生成された情報照会の性質および範囲を照会ロジックが明確かつ効率的に識別することができないという問題を解決する。本開示は、照会の主題（subject）の性質を明確にする増補センサ（視覚的、音、化学的など）の使用を通して、この問題を解決する。
【００５０】
スマート・フォン、パーソナル・ディジタル・アシスタント、タブレット・コンピュータなどの電子デバイス４０２が、ネットワーク４０６を介して情報クラウド・サーバ４０４と通信することができる。ネットワーク４０６は、有線（例えばインターネット）、ワイヤレス（例えばＷｉ−Ｆｉシステム）、または両方の組合せ、あるいはそれらの組合せであってよい。
【００５１】
電子デバイス４０２はユーザ・インタフェース４０８を備え、ユーザ・インタフェース４０８は、「質問する」ボタン４１０において示されるように、「質問する」ようユーザに促すことができる。「質問する」ボタン４１０は、ユーザが「質問する」ボタン４１０（これは機械的ボタンであるか、またはユーザ・インタフェース４０８のタッチセンシティブ・エリアであってよい）を押したときに強調表示されてよく、したがって、音声ロジック４１４がマイクロフォン４１２を介してユーザの質問を受け取ることが可能にされたことを示す。音声ロジック４１４は、ユーザの質問を、ディジタル化されたフォーマットに変換する。このフォーマットは、プロセッサ４１６によってローカルに処理されるか、または情報クラウド・サーバ４０４によってリモートに処理されるか、あるいはその両方で処理されてよい。
【００５２】
ユーザの質問をよりよく理解するために、追加情報が、「増補情報」としてプロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方に提供される。この増補情報は、写真、ビデオ、音、化学シグネチャ（signature）、文書への参照、グラフィック・ファイルへの参照などの形であってよい。
【００５３】
本開示の一実施形態では、ユーザの質問（すなわち情報を求める口頭要求）は、最初は不特定の対象に関するものである。例えば、質問が「これはどんな種類の花ですか？」である場合がある。言語質問のみを使用する場合、システムは、ユーザがどの「花」について尋ねているのかを「知る」ことができず、したがって、質問の中の「花」は不特定である（すなわち「不特定の対象」である）。本発明の１つまたは複数の実施形態によれば、電子デバイス４０２上のセンサが、不特定の対象に関する増補情報を提供する。
【００５４】
本開示の一実施形態では、この増補情報を提供するのに使用されるセンサは、カメラ４２０であり、カメラ４２０は、写真（すなわち静止写真）またはビデオ（すなわち動画の視覚的記録）あるいはその両方を作成する。カメラ４２０は、ユーザがカメラ・セレクタ・ボタン４１８を押すことによって選択され、カメラ・セレクタ・ボタン４１８は、電子デバイス４０２上のカメラ４２０を起動する。カメラ４２０で花の写真／ビデオを撮影した後には、システムは今や、照会に関する増補情報を有する。すなわち、ユーザが「これはどんな種類の花ですか？」と尋ねたとき、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方は、結合ロジック（例えば、プロセッサ４１６の一部）を使用して、口頭質問（「これはどんな種類の花ですか？」）からの情報を、花の写真によって提供される増補情報と結合して、結合フォーマット情報要求を作成する。この情報結合を使用して、情報取出しロジック（例えばプロセッサ４１６）が今や、結合フォーマット情報要求に対する回答を取り出すことができる（例えばストレージ・デバイス４３０から）。このように、口頭／言語質問と、写真／ビデオからの視覚情報との両方が、データ照会ロジック（例えば、図３のワークロード６６中で示される「情報照会処理」の一部）に提供される。これにより、データ照会ロジックは、質問を「聞く」ことと、質問の主題を「見る」ことの両方ができる。
【００５５】
本開示の一実施形態では、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方は、画像認識ソフトウェアを使用して、写真中の対象（例えば「花」）を識別する。すなわち、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方は、花の形状、色、花弁数などを含めた、花のディジタル表現を生成し、このディジタル表現を花々に関するディジタル情報のデータベースと比較して、花をバラとして識別する。この情報（すなわち花タイプが「バラ」である）は、質問（「これはどんな種類の花ですか？」）と結合されて、結合フォーマット情報要求が作成される。この例では、システムは単に、増補情報からの回答「この花はバラです」を返す。
【００５６】
本開示の一実施形態では、結合フォーマット情報要求により、データ照会ロジックは、関連データベースを調べることができる。例えば、引き続き、ユーザからの照会が「これはどんな種類の花ですか？」であり、カメラ４２０からの写真によって作成された増補情報によりこの花が「バラ」であることが明らかにされると仮定する。データ照会ロジックはこの場合、これらのキーワード（すなわち「バラ」、「花」）を使用して、バラがどこで育つか、繁茂するために何を必要とするか（水、養分、日光など）、そのラテン語の二名法による名称などを含めた、「バラ」に関する他のデータベースを調べることができる。次いで、音声ロジック４１４は、調べられたデータベースからの追加情報を提供する申し出を、ユーザに対してプロンプトすることができる。一実施形態では、この申し出は、図４のストレージ・デバイス４３０中で見られるものなどのデータベース（図示せず）に記憶された、ユーザのプロファイルに基づく。例えば、ユーザが庭師であるという記録をストレージ・デバイス４３０が含む場合は、園芸に関する提言が申し出られてよく、ユーザが植物学の学生であるという記録をストレージ・デバイス４３０が含む場合は、ラテン語の二名法による名称が申し出られてよい。同様に、ユーザが化学者である（ユーザの記憶済みプロファイルにより）場合は、このタイプのバラからどの香料が作られるかに関する記述が申し出られてよい。
【００５７】
本開示の一実施形態では、データ照会ロジック（例えば、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方）は、ユーザ自身に関する情報を提供することができる。例えば、電子デバイス４０２のユーザに関する、このユーザが膝の手術を受けたことを示すエントリを、ストレージ・デバイス４３０が含むと仮定する。さらに、ユーザが、自分の膝のピクチャ（picture）をカメラ４２０で撮影し、次いで質問「私の膝は大丈夫ですか？」を発すると仮定する。プロセッサ４１６はこの場合、膝の現在のピクチャを、膝の以前のピクチャ（ストレージ・デバイス４３０中のこのユーザについてのプロファイルに記憶されている）と比較することになる。膝が、ユーザが前に膝を負傷した時の直後と同じように見える場合は、データ照会ロジックは、回答「あなたの膝は再び負傷したように思われます」を返すことができる。しかし、膝の視覚的画像が、負傷していないユーザの膝（または他の患者の膝）の他の写真と比較したときに「正常」と思われる場合は、データ照会ロジックは、回答「あなたの膝は良いように見えます」を返すことになる。
【００５８】
同様に、ユーザが、この特定ユーザにとっての食べ物の選択肢に関してデータ照会ロジックに尋ねる場合がある。例えば、電子デバイス４０２のユーザが、低塩食餌療法を行っており、フード・ビュッフェの前に立っていると仮定する。ユーザは、フード・ビュッフェの写真をカメラ４２０で撮影し、質問「どれを食べるべきですか？」と共にこの写真をデータ照会ロジックに送ることができる。データ照会ロジックは、視覚認識ロジックを使用して種々のタイプの食べ物を識別し、識別されたタイプの食べ物に関する栄養成分データのデータベースに照会し、写真から塩分の低い特定の食べ物を選択するようユーザに指示する応答を返すことになる。
【００５９】
カメラ・セレクタ・ボタン４１８をクリックすると画像の取込みが可能になるが、本発明の一実施形態では、カメラ・セレクタ・ボタン４１８を動作させると、ユーザの言語質問と共に、データのライブ・ストリームがデータ照会ロジックに送られるようにすることができる。同様に、カメラ４２０は、一実施形態では常にアクティブであってもよく、それにより、ユーザはカメラ・セレクタ・ボタン４１８を動作させる必要すらない。
【００６０】
したがって、前述のように、本開示の１つまたは複数の実施形態は、電子デバイス４０２に関連するデータ照会ロジックが質問を「聞く」（ユーザが「質問する」ボタン４１０をクリックすることによって）ことを可能にするだけでなく、ユーザが何について尋ねているかを「見る」ことも可能にする。前述の実施形態は写真を使用するものとして提示されたが、同じプロセスがビデオ・ストリームに対して利用されてもよい。
【００６１】
本開示の一実施形態では、電子デバイス４０２は、質問を「聞く」（ユーザが「質問する」ボタン４１０をクリックすることによって）ことができるだけでなく、ユーザがマイクロフォン・セレクタ・ボタン４２２を押すことによって、ユーザが何について尋ねているかを「聞く」こともでき、マイクロフォン・セレクタ・ボタン４２２は、電子デバイス４０２上のマイクロフォン４１２を起動する。例えば、ユーザが、質問「あれはどんなタイプの鳥ですか？」を言語で発したと仮定する。言語質問のみを使用する場合、システムは、ユーザがどのような「鳥」について尋ねているかを「知る」ことができない。しかし、電子デバイス４０２上のマイクロフォン４１２（オーディオ／聴覚センサ）が、不特定の対象（「鳥」）に関する増補を、その鳴き声に従って提供する。本開示の一実施形態では、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方は、音パターン認識ソフトウェアを使用して、音キャプチャ中で聞こえた「鳥」を「マキバドリ」として識別する。すなわち、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方は、鳥の鳴き声のピッチ、パターン、音色などを含めた、鳥の鳴き声のディジタル表現を生成し、この音シグネチャを、鳥の鳴き声に関するディジタル情報のデータベースと比較して、鳥をマキバドリとして識別する。この情報（すなわち鳥タイプが「マキバドリ」である）は、質問（「あれはどんなタイプの鳥ですか？」と結合されて、回答「この鳥はマキバドリです」が返される。このように、口頭／言語質問と、録音／音キャプチャからの増補情報との両方が、データ照会ロジック（例えば、図３のワークロード６６中で示される「情報照会処理」の一部）に提供される。これにより、データ照会ロジックは、質問を「聞く」ことと、質問の主題を「聞く」ことの両方ができる。一例では、システムは単に、録音の中で見つかった増補情報からの回答「この鳥はマキバドリです」を返す。
【００６２】
本開示の一実施形態では、結合フォーマット情報要求により、データ照会ロジックは、照会されている対象からデータ照会ロジックが何を「聞いた」かに基づいて関連データベースを調べることができる。例えば、引き続き、ユーザからの照会が「これはどんなタイプの鳥ですか？」であり、マイクロフォン４１２からの録音によって作成された増補情報によりこの鳥がマキバドリであることが明らかにされると仮定する。データ照会ロジックはこの場合、マキバドリがどこに生息するか、猟鳥かどうか、そのラテン語の二名法による名称などを含めた、「マキバドリ」に関する他のデータベースを追跡することができる。次いで、音声ロジック４１４は、このような追加情報を提供する申し出をユーザに対してプロンプトすることができる。一実施形態では、この申し出は、ユーザのプロファイルに基づく。例えば、ユーザが猟師であるという記録をストレージ・デバイス４３０が含む場合は、データ照会ロジックは、マキバドリが猟鳥でない（したがって射るべきでない）ことを猟師に対して申し出る（または自動的に明らかにする）ことができる。同様に、ユーザが野鳥観察者（鳥類学者）であるという記録をストレージ・デバイス４３０が含む場合は、ラテン語の二名法による名称がデータ照会ロジックによってユーザに対して申し出られてよい。
【００６３】
本開示の一実施形態では、対象がその画像または音あるいはその両方によって識別されると、提案されるアクションがユーザに提示されてよい。例えば、電子デバイス４０２のユーザが、モータのオーディオ／視覚的記録をとり、質問「このモータは適正に稼働していますか？」を発したと仮定する。画像認識ソフトウェアが、記録のビデオ成分からモータのタイプを識別することになる。音パターン認識が、記録のオーディオ成分を、このモータについての正常音または異常音あるいはその両方のディジタル・データベースと比較することによって、モータに異常があればそれを識別することになる。すなわち、記録のオーディオ部分からのディジタル化された音パターンを使用して、モータに問題があればそれが識別され、これは、ディジタル化された音パターンをこのモータについての既知の音シグネチャ（正常および異常）と比較することによって行われる。次いで、システムは、識別された問題に対する解決法のデータベースにアクセスし、これらの解決法をユーザに提示することができる。例えば、このモータについての音シグネチャが、主軸受が機能しなくなっていることを示唆する場合は、システムは、主軸受を交換するための手順、必要とされる主軸受にどの部品番号が関連するか、作業にどれくらいの時間がかかるか（したがって、モータを使用するシステムがどれくらいの時間にわたり動作休止になるか）の推定、などを申し出ることができる。
【００６４】
本開示の一実施形態では、電子デバイス４０２は、質問を「聞く」（ユーザが「質問する」ボタン４１０をクリックすることによって）ことができるだけでなく、ユーザが化学センサ・セレクタ・ボタン４２４を押すことによって、ユーザが何について尋ねているかを「嗅ぐ」こともでき、化学センサ・セレクタ・ボタン４２４は、電子デバイス４０２上の化学センサ４２６を起動する。例えば、ユーザが、食べ物屋の手押し車の隣に立っており、質問「これはどんなタイプの食べ物ですか？」を発すると仮定する。言語質問のみを使用する場合、システムは、ユーザがどのような「食べ物」について尋ねているかを「知る」ことができない。しかし、電子デバイス４０２上の化学センサ４２６が、不特定の対象に関する増補を、その芳香（aroma）に従って提供する。本開示の一実施形態では、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方は、化学パターン認識ソフトウェアを使用して、化学センサ・キャプチャによって受け取られた「におい（smell）」を「ホットドッグ」として識別する。すなわち、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方は、牛肉、塩、いくつかの香辛料などの化学シグネチャを検出できる化学センサ４２６内の１つまたは複数のセンサによって生成されたホットドッグの芳香を記述するディジタル・ファイルを生成し、この化学シグネチャを、食べ物に関するディジタル情報のデータベースと比較して、食べ物をホットドッグとして識別する。この情報（すなわち食べ物タイプが「ホットドッグ」である）は、質問（「これはどんなタイプの食べ物ですか？」）と結合されて、回答「この食べ物はホットドッグです」が返される。このように、口頭／言語質問と、化学シグネチャからの増補情報との両方が、データ照会ロジック（例えば、図３のワークロード６６中で示される「情報照会処理」の一部）に提供される。これにより、データ照会ロジックは、質問を「聞く」ことと、質問の主題を「嗅ぐ」ことの両方ができる。この例では、システムは単に、化学シグネチャ中で見つかった増補情報からの回答「この食べ物はホットドッグです」を返す。追加の実施形態では、次いで、この情報がユーザのプロファイルなどに基づいて使用されて、そもそもこのユーザがホットドッグを食べるべきかどうか（ユーザの医療履歴に基づいて）、この店によって売られているどのホットドッグが最高評価か、より高評価のホットドッグ屋が近くにあるか、などについて提案が提供されてよい。
【００６５】
本開示の一実施形態では、また図４に示されるように、電子デバイス４０２は送受信機４３４を備え、送受信機４３４は、ワイヤレスにまたは配線を介してのいずれかで電子メッセージを送受信することができる。送受信機４３４は、結合フォーマット情報要求（上で論じられた）を情報サーバに送信することができる。
【００６６】
本開示の一実施形態では、情報サーバは、プロセッサ４１６など、電子デバイス４０２上のローカル・デバイスである。したがって、どのような照会も、電子デバイス４０２によってローカルに扱われる。
【００６７】
本開示の一実施形態では、情報サーバは、情報クラウド・サーバ４０４などのリモート・デバイスであり、情報クラウド・サーバ４０４は、複数の電子デバイスからの情報要求を扱うことができる。
【００６８】
本開示の一実施形態では、情報サーバは、ローカル・デバイス（例えばプロセッサ４１６）とリモート・デバイス（例えば情報クラウド・サーバ４０４）との組合せである。
【００６９】
本開示の１つまたは複数の実施形態では、電子デバイス４０２は、図示の全地球測位システム（ＧＰＳ）４３２など、測位システムを備える。ＧＰＳ４３２は、一連の地球同期衛星を利用して、任意の時点における電子デバイス４０２の位置をマークする。他の測位ロジック（図示せず）は、三角測量システム（部屋内の送信機からの信号を使用してデバイスを測位する）、ドップラーシフト・システム（信号が既知の場所の測位送信機／受信機から電子デバイス４０２まで行って測位送信機／受信機に戻ってくるのにかかる時間を使用する）などの形であってよい。したがって、質問が発せられた時、または増補情報（例えば、写真、録音、化学的示度など）が生成された時、あるいはその両方の時の、電子デバイス４０２のリアルタイムの場所に関するメタデータが、ＧＰＳ４３２によって作成される。
【００７０】
本発明の一実施形態では、データ照会ロジック（例えば、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方）は、見ること／嗅ぐこと／その他がなされており照会されている対象に関する質問に答えるのに十分な情報が、ローカルに記憶されていない場合がある。このシナリオでは、データ照会ロジックは、ウェブサイトやデータベースなどの情報リソースへのアクセスを提供するシステムなど、情報リソース・サーバ４３６にアクセスすることができる。このような情報リソースは、特定の情報にアクセスするために、ウェブ・クローラ、検索エンジン、データベース検索ロジックなどを使用して選択的にアクセスされる／取り出される。例えば、ユーザが「この花からどんな香料が作られますか？」と尋ね、データ照会ロジックが、質問と当該の花の写真との両方を受け取り、花がバラであると決定したと仮定する。データ照会ロジックはこの場合、情報リソース・サーバ４３６によって提供される情報リソースをクロール／照会して、どの香料（製品名や製造業者などを含めて）がその調合においてバラ・エッセンスを使用するかを識別することになる。
【００７１】
次に図５を参照すると、ユーザによって生成された、電子デバイスからの情報要求に、情報要求の増補を介して応答するために、１つまたは複数のプロセッサまたは他のハードウェア・デバイスによって実施される、１つまたは複数の動作の高レベルのフローチャートが提示されている。
【００７２】
イニシエータ・ブロック５０２の後、情報サーバが、対象に関する情報を求める要求を受け取る（ブロック５０４）。図４に記載のように、情報サーバは、ローカル（例えばプロセッサ４１６）、リモート（例えば情報クラウド・サーバ４０４）またはこれらの組合せ、あるいはその両方であってよい。情報を求める要求は、電子デバイス（例えば、図４の電子デバイス４０２）からのものである。情報を求める要求は、図４の音声ロジック４１４による音声変換／ディジタル化において使用されるフォーマットなど、第１のフォーマットのものである。例えば、情報を求める要求は、特定の主題／対象に関する質問を電子デバイス４０２に「尋ねる」ユーザからのものであってよい。しかし、ユーザが何について尋ねているかは、情報サーバにとって最初は明確でない。
【００７３】
したがって、ブロック５０６で、情報サーバは、対象に関する増補情報を受け取る。この増補情報は、電子デバイスによって生成されるものであり、第１のフォーマットとは異なる第２のフォーマットのものである。例えば、第１のフォーマットは、ユーザの口頭質問をディジタル化されたフォーマットに変換するために音声ディジタイザによって使用されるフォーマットであってよい。第２のフォーマットは、写真、ビデオ・ファイル、化学シグネチャ、テキスト文書、グラフィック・ファイルなどによって使用されるフォーマットであってよい。
【００７４】
ブロック５０８に記載のように、次いで情報サーバは、増補情報に基づいて、情報を求める要求に対する応答を生成することができる。すなわち、前述のように、「花」や「モータ」や「膝」などの主題は今や、添付の写真／録音／化学シグネチャ／その他によって、よりよい具体性をもって記述され、したがって、情報サーバが照会に対してよりよく応答することが可能になる。
【００７５】
したがって、本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは、電子デバイス上のカメラによって生成されるビデオ・ファイルのためのものである。
【００７６】
したがって、本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは、電子デバイス上のマイクロフォンによって生成されるオーディオ・ファイルのためのものである。
【００７７】
したがって、本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは、電子デバイス上の化学センサによって生成される化学シグネチャのためのものである。
【００７８】
本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは、電子デバイスから受け取られるテキスト文書のためのものである。例えば、ユーザが図４の文書セレクタ・ボタン４２８を押したと仮定する。これにより、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方はテキスト文書を取り出すが、このテキスト文書は、前に記憶された（例えばストレージ・デバイス４３０に）ものであるか、またはユーザ・インタフェース４０８上でユーザが描く（例えば、ＡＳＣＩＩ文字に変換される自由形式テキストを受け取ることに充てられた、画面のタッチ・センシティブ部分上で、ユーザの指先を使用して）ことによって現在作成されているものであるかのいずれかである。次いで、ユーザは、「このテキスト文書は何に関するものですか？」、「この文書は顧客に送るのに適切ですか？」などの質問を発することができる。同様に、照会は、「このテキスト文書はどういう意味ですか？」であってもよい。次いで、データ照会ロジックは、このような質問に答えるために、選択されたテキスト文書中のテキスト（または選択されたテキスト文書からのメタタグ）を、文書を記述するデータベースと比較することができる。
【００７９】
本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは、電子デバイスに記憶されたグラフ文書のためのものである。例えば、ユーザが図４の文書セレクタ・ボタン４２８を押したと仮定する。これにより、プロセッサ４１６または情報クラウド・サーバ４０４あるいはその両方はグラフィックス・ファイルを取り出すが、このグラフィックス・ファイルは、前に記憶された（例えばストレージ・デバイス４３０に）ものであるか、またはユーザ・インタフェース４０８上でユーザが描く（例えば、ＡＳＣＩＩ文字に変換される自由形式テキストを受け取ることに充てられた、画面のタッチ・センシティブ部分上で、ユーザの指先を使用して）ことによって現在作成されているものであるかのいずれかである。次いで、ユーザは、「この図は何を表していますか？」、「このグラフは現在の売上高について何を伝えますか？」などの質問を発することができる。次いで、データ照会ロジックは、このような質問に答えるために、他のグラフ／図を記述するデータベースを用いて、図／グラフ（メタタグを含む）から情報を抽出することができる。
【００８０】
本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは写真のためのものであり、尋ねられている対象は写真中で示される。この実施形態では、情報サーバは、写真中で示される対象に関する埋め込み情報を写真から取り出し、この埋め込み情報は、写真中で示される対象を記述する。次いで情報サーバは、埋め込み情報に基づいて写真中の対象に関する追加情報を突き止め、したがって、追加情報は埋め込み情報に勝る。すなわち、前述のように、メタタグなど、写真中の埋め込み情報を使用して、写真中で示される対象に関する追加情報が取り出されてよい。例えば、写真が、図４に示されるカメラ４２０によって撮影され、ＧＰＳ４３２または類似の測位ロジックが、写真が撮影された時刻、日付、および場所を示すメタタグを、写真上に配置したと仮定する。さらに、写真がユーザおよび友人の「セルフィー」であり、質問（直ちにまたは後の日時に出された）が「ピクチャの右側にいる私の友人の誕生日はいつですか？」であると仮定する。写真からのメタデータ（例えば、友人を識別するタグ）を、情報（例えば、ユーザがアクセス許可されているソーシャル・メディア・ウェブサイトからの）のデータベースと相関させることによって、次いで、友人の誕生日がデータ照会ロジック（例えば、図３のワークロード６６中で示される「情報照会処理」）によって導出されてよい。
【００８１】
本開示の一実施形態では、第１のフォーマットは音声認識のためのものであり、第２のフォーマットは写真のためのものであり、尋ねられている対象は写真中で示されない。この実施形態では、情報サーバは、写真中の埋め込み情報を利用して、写真中で示されない対象に関する追加情報を取り出し、この追加情報は埋め込み情報に勝る。例えば、写真が、図４に示されるカメラ４２０によって撮影され、ＧＰＳ４３２または類似の測位ロジックが、写真が撮影された時刻、日付、および場所を示すメタタグを、写真上に配置したと仮定する。さらに、写真が、音楽フェスティバルにおけるユーザおよび友人の「セルフィー」であり、質問（直ちにまたは後の日時に出された）が「このピクチャが撮影された時にどんなバンドが演奏していましたか？」であるが、尋ねられているバンドが写真中にないと仮定する。写真からのメタデータを、任意の特定の時刻のバンドのスケジュール（さらにはプレイリストからの曲）と相関させることによって、写真の時刻におけるバンドの名前（または演奏されていた曲、あるいはその両方）がデータ照会ロジック（例えば、図３のワークロード６６中で示される「情報照会処理」）によって導出されてよい。
【００８２】
本開示の一実施形態では、情報を求める要求は特定ユーザによって生成され、この方法はさらに、情報を求める要求を特定ユーザについてのユーザ・プロファイルに関連付けることと、ユーザ・プロファイルに基づいて、情報を求める要求に対する応答を適合させることとを含む。例えば、前述のように、鳥に関する情報は、ユーザが猟師である場合と鳥類学者である場合とで違ってくる。
【００８３】
本開示の一実施形態では、情報サーバは、ユーザの身体ジェスチャを受け取り、次いで、身体ジェスチャを、対象に関する追加の増補情報として使用する。例えば、電子デバイス４０２のユーザが一群の車のビデオまたは写真あるいはその両方を撮影していると仮定する。ユーザは、ビデオ／写真の中の特定の車の型およびモデル（または、トラック上のレースカーの場合は、特定のレースカーのドライバ）に関心があることがある。ユーザは、ユーザの質問「あれはどんな種類の車ですか？」または「あのレースカーのドライバは誰ですか？」の主題がどの車であるかを指定するために、指差しや、親指と人差し指で作った円など、ハンド・ジェスチャを写真／ビデオ内に含めて、どの車に関心があるかを指定することができる。
【００８４】
本明細書に記載のように、１つまたは複数の実施形態では、本開示は、ユーザが、ボイス認識ソフトウェアを用いた検索を要求すると共に非ボイス入力の使用を介して検索要求に関するより多くの詳細を提供することを可能にする。本開示は、ボイス認識能力を有するインテリジェント自動化アシスタントが、検索要求の性質をよりよく理解するために、ドローイング、写真、音、化学シグネチャなどを分析することを可能にする。本明細書に記載のように、ユーザはリアルタイムで、モバイル・デバイス（例えばスマート・フォン）を対象に向けて、対象の特性（例えば、視覚的、音調的、香りなど）に関するより多くのことを発見することができる。このように、本開示は、これまで利用不可能であった、または当業者に知られている、あるいはその両方である、従来技術に勝る技術的改善を提示する。
【００８５】
本明細書で使用される用語は、特定の実施形態を記述するためのものに過ぎず、本発明を限定するものとはしない。本明細書において、単数形「a」、「an」、および「the」は、コンテキストが明確にそうでないと示さない限り、複数形も含むものとする。さらに、用語「含む、備える」（「comprises」または「comprising」あるいはその両方）」が本明細書で使用されるとき、これらは、記載された特徴、整数、ステップ、動作、要素、またはコンポーネント、あるいはそれらの組合せの存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、またはこれらのグループ、あるいはそれらの組合せの存在または追加を排除しないことも、理解されるであろう。
【００８６】
以下の特許請求の範囲におけるすべてのミーンズまたはステップ・プラス・ファンクション要素の、対応する構造、材料、行為、および均等物は、具体的に請求される他の特許請求要素との組合せで機能を実施するための任意の構造、材料、または行為を含むものとする。本開示の様々な実施形態についての記述は、例証および記述の目的で提示したものであり、網羅的なもの、または開示される形の本発明に限定されるものとはしない。本開示の範囲を逸脱することなく、多くの変更および変形が当業者には明らかであろう。実施形態は、本開示の原理および実際の応用を最もうまく説明するために、かつ、企図される特定の使用に適するような様々な変更を伴う様々な実施形態の場合の本発明を他の当業者が理解できるようにするために、選ばれ記述されたものである。
【００８７】
本開示に記載の任意の方法は、ＶＨＤＬ（ＶＨＳＩＣハードウェア記述言語）プログラムおよびＶＨＤＬチップの使用を介して実装されてよい。ＶＨＤＬは、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、および他の類似の電子デバイスのための、例示的な設計入力言語である。したがって、本明細書に記載の任意のソフトウェア実装方法は、ハードウェアベースのＶＨＤＬプログラムによってエミュレートされてよく、次いでこのＶＨＤＬプログラムは、ＦＰＧＡなどのＶＨＤＬチップに適用される。
【００８８】
このように、本出願の本開示の実施形態について、詳細に、かつその例証的な実施形態を参照しながら述べたが、添付の特許請求の範囲において定義される本開示の範囲を逸脱することなく、変更および変形が可能であることは明らかであろう。
【図１】
0006655081.tif 000002
【図２】
0006655081.tif 000003
【図３】
0006655081.tif 000004
【図４】
0006655081.tif 000005
【図５】
0006655081.tif 000006