(57)【特許請求の範囲】
【請求項１】
システムは、
１つ以上のプロセッサーと、コンピューター実行可能な指示を格納する1つ以上のコンピューター読取可能なメディアと、を含み、前記１つ以上のプロセッサーによって指示が実行される時、コンピューター実行可能な指示を格納する１つ以上のコンピューター読取可能なメディアは前記１つ以上のプロセッサーに行動を実行させ、
行動は、
第一ユーザから、前記第一ユーザの装置と第二ユーザの装置間で確立された第一音声通信中に、バーチャルアシスタントを呼び出す第一要求を、前記第一音声通信中に受信することと、
前記第一要求の少なくとも一部に基づいて、前記バーチャルアシスタントを呼び出すことと、
前記第一ユーザの前記装置と関連付けられた識別情報を受信することと、
前記第一ユーザの前記装置に、パスワードの第二要求を伝送することと、
前記第一ユーザの前記装置から、前記パスワードの表現を含む第二音声通信を受信することと、
前記第二音声通信が前記第二ユーザの前記装置に伝送されることを防ぐことと、
前記パスワードの前記表現が前記第一ユーザの識別と関連付けられていると判定することと、
前記第一ユーザの前記装置と前記第二ユーザの前記装置間で交換される第三音声通信を受信することと、
前記第一ユーザと前記第二ユーザ間の前記第三音声通信の音声を表わす音声信号において音声認識を実行し、前記音声認識の前記実行が前記第一ユーザまたは前記第二ユーザの少なくとも１人からの音声指示を識別するためである、実行することと、
前記音声認識の前記実行に応じて、前記第一ユーザと前記第二ユーザ間の前記第三音声通信の前記音声から前記音声指示を識別することと、
前記音声指示の識別に応じて、前記音声指示の少なくとも一部に対応するタスクを実行することと、
前記第三音声通信中に前記第一ユーザの前記装置または前記第二ユーザの前記装置のうち少なくとも１つに向けて、前記第一ユーザの前記装置または前記第二ユーザの前記装置のうち少なくとも１つにおいて実行される前記タスクの前記実行に関連した可聴出力を生じさせるよう構成された音声信号の出力を供給することと、を含む、システム。
【請求項２】
前記第一要求は、所定の発言を言う前記第一ユーザを含み、前記行動はさらに、前記所定の発言を識別する前に、前記第一ユーザと前記第二ユーザ間の前記第一音声通信の音声を表わす前記音声信号において、音声認識を実行することなく前記所定の発言のために前記第一音声通信の前記音声を表わす前記音声信号を監視することを含む、請求項１に記載のシステム。
【請求項３】
前記音声指示は、情報の第三要求を含み、
前記タスクの前記実行は、前記情報を探すことを含み、前記出力音声信号の前記供給は、前記バーチャルアシスタントに前記情報を前記第一ユーザ及び前記第二ユーザに伝えさせることを含む、請求項１に記載のシステム。
【請求項４】
前記第一音声通信は、前記第一ユーザの前記装置を前記第二ユーザの前記装置と前記バーチャルアシスタントに関連する前記システムに接続する電話会議を含む、請求項１に記載のシステム。
【請求項５】
前記バーチャルアシスタントに関連する前記システムは、前記第一ユーザと前記第二ユーザ間の前記第一音声通信を確立する電話通信サービスを含む、請求項１に記載のシステム。
【請求項６】
第一ユーザの装置と第二ユーザの装置間の第一音声通信中に、バーチャルアシスタントを呼び出す第一要求を受信することと、
前記第一要求を前記受信することの少なくとも一部に応じて、前記バーチャルアシスタントを呼び出すことと、
前記第一ユーザの前記装置と関連付けられた識別情報を受信することと、
前記第一ユーザの前記装置に、パスワードの第二要求を伝送することと、
前記第一ユーザの前記装置から、前記パスワードの表現を含む第二音声通信を受信することと、
前記第二音声通信が前記第二ユーザの前記装置に伝送されることを防ぐことと、
前記パスワードの前記表現が前記第一ユーザの識別と関連付けられていると判定することと、
前記第一ユーザの前記装置と前記第二ユーザの前記装置間で交換される第三音声通信を受信することと、
前記第三音声通信の音声を表わす音声信号において音声認識を実行することと、
前記音声認識の前記実行に応じて、前記第一ユーザまたは前記第二ユーザのうち少なくとも１人からの音声指示を識別することと、
前記第一ユーザの前記装置または前記第二ユーザの前記装置のうち少なくとも１つに、前記第三音声通信中に可聴コンテンツを出力するための出力音声信号を前記バーチャルアシスタントによって供給することと、を含む方法。
【請求項７】
前記第一要求は、所定の発言を言う前記第一ユーザまたは前記第二ユーザを含み、さらに、
前記第一音声通信の音声を表す音声信号から前記所定の発言を識別することと、
前記所定の発言の前記識別の少なくとも一部に基づいて前記第一音声通信の前記音声を表す前記音声信号において音声認識を実行することと、を含む、請求項６に記載の方法。
【請求項８】
前記バーチャルアシスタントを呼び出すための前記第一要求の前記受信は、前記第一ユーザの前記装置または前記第二ユーザの前記装置からの着信表示を受信すること、または、
前記第一ユーザまたは前記第二ユーザがそれぞれの装置の物理ボタンまたはソフトボタンを作動したことの表示を受信すること、のうち少なくとも１つを含む、請求項６記載の方法。
【請求項９】
前記第一ユーザの前記装置と前記第二ユーザの前記装置間における前記第一音声通信の確立の一部として、前記第一ユーザの前記装置と前記第二ユーザの前記装置間の前記第一音声通信に、前記バーチャルアシスタントをホストする装置を参加させることをさらに含む、請求項６に記載の方法。
【請求項１０】
前記第一ユーザの前記装置と前記第二ユーザの前記装置間の前記第一音声通信を確立した後で、前記第一ユーザまたは前記第二ユーザからの前記バーチャルアシスタントを前記第一音声通信に参加させるという前記第一要求を受信することと、
前記第一ユーザまたは前記第二ユーザからの前記バーチャルアシスタントを前記第一音声通信に参加させるという前記第一要求の前記受信の少なくとも一部に応じて、前記バーチャルアシスタントを参加させることと、をさらに含む、請求項６に記載の方法。
【請求項１１】
前記音声指示を供給するユーザを識別することをさらに含み、出力である前記可聴コンテンツは、前記ユーザの前記識別の少なくとも一部に基づく、請求項６に記載の方法。
【請求項１２】
前記ユーザの前記識別は、前記第一音声通信を開始した装置に関連する電話番号を示す自動番号識別（ＡＮＩ)、または前記第一音声通信を確立するための第三要求を受信する装置に関連する電話番号を示す被呼者番号（ＣＰＮ)のうちの少なくとも１つを参照することと、
関連ユーザに前記ＡＮＩまたは前記ＣＰＮのうち少なくとも１つをマッピングすることと、を含む、請求項１１に記載の方法。
【請求項１３】
前記ユーザの前記識別は、周波数、振幅、音程、または、前記第一ユーザまたは前記第二ユーザの音声の他の音声特性のうち少なくとも１つと、１つ以上の事前に格納された音声特徴とを比較することを含む、請求項１１に記載の方法。
【請求項１４】
前記音声指示を供給する前記ユーザが前記バーチャルアシスタントで認証をするよう要求することをさらに含む、請求項１１に記載の方法。
【請求項１５】
前記バーチャルアシスタントは、前記第一ユーザの前記装置か、前記第二ユーザの前記装置か、または前記第一ユーザの前記装置及び前記第二ユーザの前記装置の両方から遠隔利用可能なコンピューティング装置のうち少なくとも一部に属している、請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願の相互参照〕
本出願は、２０１３年９月２５日に出願された、米国特許出願Ｎｏ．１４／０３７０７７、「通話中のバーチャルアシスタント」の優先権を主張するものであり、引用によりその全体を本明細書に包含する。
【背景技術】
【０００２】
互いに離れたユーザが、一連の異なる装置において通信できる音声通信システム。携帯電話のようないくつかの装置は、ネットワークを介してエンドユーザの装置へ音声データを送信する。ウェブカメラを備えたラップトップコンピューターまたはタブレットのような他の装置は、エンドユーザの装置へ音声データと映像データの両方を送信する。ユーザが音声のみを用いた通信をするか、または音声及び映像を用いた通信をするかどうかにかかわらず、これらの音声通信システムは、膨大なユーザの人口においてつながりを強める。
【図面の簡単な説明】
【０００３】
詳細な説明は添付の図を参照して示される。図では、参照番号の最も左の数字が、参照番号が最初に登場する図と同じ数字になっている。異なる図において同じ参照番号を使用している場合、要素または機能が類似しているかまたは同一であることを示している。
【図１】図１は、第一ユーザが第二ユーザの装置と音声通信を確立するために装置を用いる様子を含む、実例的コンピューティングアーキテクチャを示す。アーキテクチャはさらにバーチャルアシスタントモジュールを含み、バーチャルアシスタントモジュールは、第一ユーザまたは第二ユーザによって呼び出され、それに応じて呼び出したユーザからの音声指示を識別し、それに応じて対応するタスクを実行するように構成されたバーチャルアシスタントを実装する。
【図２Ａ】図２Ａは、図1の第一ユーザが第二ユーザに電話をかけ、同時に第一ユーザの装置に実装されたアプリケーションが自動的にバーチャルアシスタントを実装した1つ以上のコンピューティング装置に関連した電話番号に電話をかける、一連の実施例を説明する。
【図２Ｂ】図２Ｂは、図１の第一ユーザが第二ユーザに電話をかけ、その後バーチャルアシスタントで会談する一連の実施例を説明する。
【図３】図３は、図１の第一ユーザがバーチャルアシスタントを呼び出す一連の実施例及びバーチャルアシスタントがユーザを識別し認証する１つの実施例を説明する。
【図４】図４は、バーチャルアシスタントモジュールが実行され得る過程の実施例のフロー図を描写する。
【発明を実施するための形態】
【０００４】
本開示は、ユーザ間の音声通信においてユーザを補助するバーチャルアシスタントを供給するための技術を幾分か示す。例えば、装置を操作する第一ユーザは、第二ユーザの装置と共に、といったように1つ以上の追加ユーザのそれぞれの装置と音声通信を確立してもよい。例えば、第一ユーザは、第二ユーザの装置に電話をかけるかまたは他の音声通信を行うために装置を利用してもよい。この通信は、公衆交換電話網（ＰＳＴＮ）、セルラーネットワーク、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）ネットワーク等を介して開始されてもよい。
【０００５】
音声通信の確立後に、または本通信の確立の一環として、技術は他のコンピューティング装置を音声通信へ参加させてもよく、すなわちユーザのうち1人または両方がタスクを実行するために、バーチャルアシスタントをホストするコンピューティング装置である。例えば、ユーザは音声通信中に特定地域の気温予報を尋ねたり、会議の日程決めや映画チケットの購入などといったことをバーチャルアシスタントに依頼してもよい。音声通信の音声を表わす音声信号から音声指示を識別した後、音声通信を介するか、または帯域外通信を介して、バーチャルアシスタントは音声指示に関連する情報を得て、ユーザに情報を出力する。例えば、ユーザがバーチャルアシスタントに現在の気温を尋ねた場合、バーチャルアシスタントをホストするコンピューティング装置は、音声指示を識別する自動音声認識を使用して、その後情報（すなわち、ユーザの居場所における現在気温）を得て、テキスト音声変換を使用して現在の気温を通話に参加する形でユーザに出力する。さらに、または代替として、バーチャルアシスタントをホストするコンピューティング装置は、テキストメッセージ、電子メール、または他のタイプのプッシュ通知サービスまたはプロトコルといった他のチャネルを介して、この情報をユーザに供給してもよい。
【０００６】
バーチャルアシスタントが音声通信に参加した後、音声通信上のユーザのうち1人または両方は、各自がバーチャルアシスタントの支援を望む時に、バーチャルアシスタントを呼び出してもよい。ユーザは様々な方法でアシスタントを呼び出してもよい。例えば、ユーザが所定の発言（例えば言葉、表現、音声、またはそれらの組み合わせ）を話すことで、その発言がバーチャルアシスタントをホストするコンピューティング装置によって識別される時、音声指示識別の目的で、コンピューティング装置に音声通信の音声を表わす音声信号において音声認識を実行開始させる。例えば、バーチャルアシスタントが音声通信において参加してはいるが、呼び出しはされていない場合、バーチャルアシスタントは、所定の発言のために音声通信の音声を表わす音声信号を単純に監視しているが、音声を表わす音声信号上で音声認識をさらに実行するわけではない。キーワード一致（または定められた言葉または表現と、しきい値よりも大きい所定の発言との共通点）の識別で、バーチャルアシスタントは後続の音声指示を識別するために、音声通信の音声を表わす音声信号上で音声認識実行を開始する。
【０００７】
一方で、他の例では、通話中のユーザが1つ以上の他の方法でバーチャルアシスタントを呼び出してもよい。例えば、ユーザは、ユーザの装置上の所定のソフトボタンまたは物理ボタン（例えば装置のキーパッドにおけるシャープ（＃）記号）を選択することや、装置を所定の方法（装置の加速度計またはジャイロスコープによって決定されるような）で動かすことなどによってアシスタントを呼び出してもよい。さらに他の例では、バーチャルアシスタントは、ユーザのうち1人または両方の現在位置に基づく特定のユーザへの通話の位置などといった1つ以上の他の要因に応じて呼び出されてもよい。
【０００８】
いずれにしても、バーチャルアシスタントが呼び出された後は、バーチャルアシスタントは音声指示を識別するために音声認識実行を開始し、指示を与えるユーザの識別を試みることができる。バーチャルアシスタントは、様々な方法でこのユーザを識別してもよい。例えば、バーチャルアシスタントは、通信ネットワーク（例えばＰＳＴＮ、セルラーネットワークなど）が提供する情報を利用してもよい。この情報は、音声通信を開始した装置に関連した電話番号を示す自動番号識別(ＡＮＩ)、または電話を受けた装置に関連した電話番号を示す被呼者番号(ＣＰＮ)を含んでもよい。バーチャルアシスタントは、これらの電話番号のいずれか、または両方を検索してもよく、ユーザにこれらの番号をマップしてもよい。その後、バーチャルアシスタントは、ユーザが要求したタスクの実行において、この識別を使用してもよい。例えば、ユーザが「外の気温は何度か」を尋ねた場合、バーチャルアシスタントはユーザの現在地及びその位置における現在気温を測定する目的で、ユーザに関連するユーザプロフィールを参照してもよい。他の実施例では、ユーザが「我々（通話上の人々）の会議を予定に入れてほしい」と依頼した場合、バーチャルアシスタントはそういった会議に適切な時間と場所を決定するために、通話上の人々に関連する予定表を参照してもよい。
【０００９】
通信ネットワークが提供する情報を使用することに加えて、または代替的に、バーチャルアシスタントは開始ユーザを識別する音声認識技術を使用してもよい。例えば、ユーザは最初に声紋または特徴をバーチャルアシスタントに「登録」することによって、この声紋が会話の特性に基づきユーザを識別するために続けて使用できる。例えば、バーチャルアシスタントは、呼び出しユーザを識別するために、呼び出しユーザの会話特性と、1つ以上の格納された音声特徴の対応する特性とを比較してもよい。ユーザの「音声特徴」を定義するこれらの会話特性は、音程、口調、周波数、振幅、文法、またはあらゆる他の音声特性を含んでもよい。
【００１０】
さらなる他の実施例では、バーチャルアシスタントは、ユーザとの対話に参加することで、ユーザを同定してもよい。例えば、バーチャルアシスタントは、パスワードと共にユーザの名前を言ったり、秘密の質問に応えるなどといったことを要求してもよい。いくつかの例では、バーチャルアシスタントは、電話通信サービス上に属していてもよいか、または電話通信サービスと情報をやりとりしてもよく、それによってバーチャルアシスタントは、呼び出しユーザがパスワードを言っている間、非呼び出しユーザの通話レッグを双方向ミュートにすることができる。もちろん、バーチャルアシスタントは、ユーザを識別し、認証するために、帯域外チャネルにいる呼び出しユーザとも同様に連動してもよい。例えば、呼び出しユーザが自身の名前をいうことで、バーチャルアシスタントはユーザに関連する電話番号や電子メールアドレス等を識別してもよく、その番号やアドレスに関する情報を送ってもよく、ユーザの身元確認を尋ねる。バーチャルアシスタントで認証することで、バーチャルアシスタントはユーザの要求する動作を実行してもよい。
【００１１】
音声指示を識別し、要求を出すユーザを同定（及び／または通話の他方にいるユーザを同定）した後で、それに応じてバーチャルアシスタントは実行する行動を決定し、行動は、通話中のユーザにいくつかの可聴コンテンツを出力するのに有効な出力音声信号供給することを含むことができる。例えば、出力はユーザへの現在気温の報告と、予定された会議の表示と、ユーザの決済情報を用いて依頼日に呼び出しユーザが依頼した映画チケット購入の確認等を含んでもよい。さらに、行動を実行した後で、バーチャルアシスタントは、「アクティブ」モードから「スタンバイ」モードへと戻り、通話上で呼び出し待機状態となる。バーチャルアシスタントは、所定の発言のために音声を表わす音声信号を監視してもよく、認証した時、アシスタントを呼び出すが、音声通信の音声を表わす音声信号上で音声認証を実行しない。
【００１２】
本明細書で用いられるように、バーチャルアシスタントはソフトウェアの1つ以上の組み合わせ、またはユーザ間の電話通信中の1人以上のユーザと情報のやり取りをするよう構成されたファームウェアを備える。いくつかの例では、バーチャルアシスタントは音声通信におけるユーザ間の音声を音声認識実行のための機能及び／または対応する行動の実行のための機能を備える。さらに、または代替的に、バーチャルアシスタントはユーザのうち1人かまたは両方（または音声通信に2人以上が参加している場合はそれ以上のユーザ）に情報を送信してもよい。この情報は、音声通信の一部として出力されてもよく、及び／または帯域外チャネル（例えば電子メール、テキストメッセージ等）において出力されてもよい。いくつかの例では、バーチャルアシスタントはこの情報を可聴（例えば音声通信中に人の声で）、テキスト形（例えば電子メールまたはテキストメッセージ）、またはあらゆる他の方法で出力する。
【００１３】
この装置及び技術は、様々な異なるアーキテクチャ及びコンテキストに実装されてもよい。非限定的で例示的な実装は以下に記述される。
【００１４】
図１は、ネットワーク１０６を通じて、第一ユーザ１０２（１）が第二ユーザ１０２（２）の装置１０４（２）と音声通信を確立するために装置１０４（１）を用いる様子を含む、実例的コンピューティングアーキテクチャ１００を示す。装置１０４（１）及び１０４（２）は、携帯電話、スマートフォン、タブレットコンピューティング装置、デスクトップコンピューター、ゲーム機、またはこれらの装置にそういった通信を確立させるアプリケーションを実行する他のあらゆるタイプの装置、といった、互いに音声通信を維持できるあらゆるコンピューティング装置を含んでもよい。本明細書で用いられる「音声通信」は、ユーザ装置間で送信される音声におけるあらゆるタイプの通信を含み、音声のみの通信、音声／映像の通信、などを含む。一方でネットワーク１０６は、ユーザ装置間に音声データを供給するために、有線または無線ネットワークのいずれか１つまたはその組み合わせを含んでもよい。例えば、ネットワーク１０６はＰＳＴＮ、ＶｏＩＰネットワークなどを含んでもよい。
【００１５】
図示されるように、アーキテクチャ１００はさらに、バーチャルアシスタントモジュール１１０をホストする遠隔コンピューティングリソース１０８を1つ以上含んでもよく、バーチャルアシスタントモジュール１１０は第一ユーザ１０２（１）または第二ユーザ１０２（２）によって起動されるよう構成されたバーチャルアシスタントを実装する。音声通信中にバーチャルアシスタントを呼び出すこれらのユーザのうちの１人に応じて、バーチャルアシスタントモジュール１１０は、呼び出しユーザからの音声指示を識別し、それに応じて対応するタスクを実行してもよい。
【００１６】
図示されるように、遠隔コンピューティングリソース１０８は、1つ以上のサーバー１１２（１）、１１２（２）、．．．１１２（Ｐ)として実装されてもよく、いくつかの例では、インターネットなどのネットワークを介して維持されアクセス可能であるプロセッサー、記憶装置、ソフトウェア、データアクセス、などのコンピューティングインフラストラクチャーとして実装される、一部のネットワークアクセス可能なコンピューティングプラットフォームの形体をしていてもよい。遠隔コンピューティングリソース１０８は、エンドユーザに物理的位置の知識及びサービス実行のシステム構成の知識を要求しない。これらの遠隔コンピューティングリソース１０８に関する慣用句は、「オンデマンドコンピューティング」、「サービスとしてのソフトウェア（ＳａａＳ)」、「プラットフォームコンピューティング」、「ネットワークアクセス可能なプラットフォーム」、「データセンター」などを含む。いくつかの実装では、遠隔コンピューティングリソース１０８は、ユーザ装置間で音声通信（例えば通話）を確立するための機能を持ち、音声通信で補助をするためのバーチャルアシスタントをホストする電話通信サービスの全てまたは一部の形体をしていてもよい。
【００１７】
サーバー１１２（１）〜（Ｐ)は、バーチャルアシスタントモジュール１１０を格納するプロセッサー１１４及びメモリ１１６を含んでもよい。図示されるように、バーチャルアシスタントモジュール１１０は、参加モジュール１１８、起動モジュール１２０、音声認識エンジン１２２、話者識別（ＩＤ)モジュール１２４、応答モジュール１２６、を格納するかまたはアクセスできる。参加モジュール１１８は、バーチャルアシスタント機能（すなわちモジュール１１０の構成要素）を実施例ユーザ装置１０４（１）と１０４（２）間の音声通信に参加させる機能を持つ。図１に説明されるように、ユーザ装置１０４（１）と１０４（２）の両方は、特定の電話番号または装置が連絡可能なエンドポイント識別子に関連していてもよい。さらに、図１は、コンピューティングリソース１０８が、電話番号（ここでは「８００−２３４−７８９４」）にさらに関連し得るバーチャルアシスタントモジュール１１０をホストする様子を説明する。このように、この番号に電話をして、バーチャルアシスタントモジュール１１０をホストするコンピューティングリソースで会話する装置において、参加モジュール１１８は、バーチャルアシスタントモジュール１１０を音声通信に参加させてもよい。もちろん、図１でコンピューティングリソース１０８及び電話番号に関連するそれぞれのクライアント装置１０４が説明される一方で、これらの装置は、ユニフォームリソース識別子（ＵＲＬｓ)、ＶｏＩＰエンドポイント識別子、セッションイニシエーションプロトコル（ＳＩＰ)識別子、などといった他のエンドポイント識別子の配列に関連し、かつ連絡可能であってもよい。
【００１８】
図示された実施例では、ユーザ１０２（１）が装置１０４（２）に関連する番号に電話をかけるために装置１０４（１）を使用する時、装置１０４（１）上で動作するアプリケーションは、モジュール１１０に参加するために自動的にバーチャルアシスタントモジュール１１０に関連する番号に電話をかけてもよい。例えば、図１は、この番号に自動的に電話をかけるためにバーチャルアシスタントモジュール１１０を含み得る装置１０４（１）を説明する。他の実施例では、一方で、音声通信に参加者を追加し、コンピューティングリソース１０８に関連する番号に電話をかけることで、ユーザ１０２（１）及び／またはユーザ１０２（２）は手動でコンピューティングリソース１０８に参加してもよい。どちらの例においても、バーチャルアシスタントモジュール１１０は着信表示を受信してもよく、通話に参加するために着信に「応答」してもよい。
【００１９】
バーチャルアシスタントモジュール１１０が通話に参加した後で、起動モジュール１２０は、音声認識エンジン１２２といったモジュール１１０の他のコンポーネントを起動するためにトリガーを監視してもよい。例えば、起動モジュール１２０は、ユーザのうち１人または両方が話した所定の発言を識別するために探していてもよく、この所定の発言を識別することにおいて、音声認識エンジン１２２を起動してもよい。他の実施例では、起動モジュール１２０は、バーチャルアシスタントモジュール１１０のコンポーネントを起動するために、ユーザからのテキストメッセージまたは他の通信を待っていてもよい。
【００２０】
これらのコンポーネントを起動するために要求を受信した後で、起動モジュールは音声認識エンジン１２２を起動してもよい。音声認識エンジン１２２は、ユーザ１０２（１）及び１０２（２）が話した発言といった、ユーザ装置１０４（１）及び１０４（２）のマイクロフォンで捕えた音声に基づき生成された音声信号上で音声認識を実行する。話者識別モジュール１２４は一方で、音声ネットワーク（例えばＡＮＩ、ＣＰＮ等）、音声認識、ユーザとの対話、ユーザとの帯域外通信、などによって供給される情報を介して、音声指示を出すユーザの同定を識別してもよい。
【００２１】
応答モジュール１２６は一方で、音声通信の音声を表わす音声信号からの異なる音声指示を認識することに応じて特定の行動を実行してもよい。これは装置１０４（１）及び１０４（２）のうち１つかまたは両方に音声を出力することを含んでもよい。 
【００２２】
さらに図１は、装置１０４（１）及び１０４（２）から遠隔利用可能なコンピューティング装置（例えばコンピューティングリソース１０８）に属するバーチャルアシスタントモジュール１１０を説明し、他の例では、バーチャルアシスタントモジュール１１０のコンポーネントはユーザ装置１０４（１）及び１０４（２）のうち１つかまたは両方に、1つ以上の他の存在上に、または複数の他の位置にわたって属してもよい。 
【００２３】
音声認識が発生する場所にかかわらず、バーチャルアシスタントモジュール１１０はユーザ１０２（１）及び１０２（２）からの音声入力を受信してもよく、音声認識エンジン１２２はユーザの操作要求または指示を解析するために音声認識を実行してもよい。要求は、データベース問合せ、娯楽（例えばゲーム、音楽の検索及び再生、映画または他のコンテンツ等）の要求及び消費、個人管理（例えばスケジュール調整、メモ取り等）、オンラインショッピング、金融取引、などといった重要なあらゆるタイプの操作のためであってよい。
【００２４】
実施例を供給するために、図１は、バーチャルアシスタントモジュール１１０が参加する音声通信に関与するユーザ１０２（１）及び１０２（２）を説明する。１２８（１）では、ユーザ１０２（２）が以下の様に発言する「明日、そちらに伺うことを楽しみにしております。気温は何度になりそうでしょうか？」と、ユーザ１０２（１）は１２８（２）にて以下の様に発言する「わかりません。バーチャルアシスタント、明日の気温は何度になりそうですか？」。本実施例では、「バーチャルアシスタント」という所定の表現を識別することに応じて、起動モジュール１２０が１２８（２）からの音声指示を識別する音声認識エンジン１２２を起動する。話者識別モジュール１２４は、上記に記載のあらゆる技術を用いてユーザ１０２（１）を識別する。応答モジュール１２６はその後、気温を調べる地理的位置（すなわちユーザ１０２（１）の位置）を判断するためにこの識別を利用し、その位置の翌日の天気予報を確認し、そして１２８（３）で、両方の装置へ以下の通り出力する。「シアトルの明日の最高気温は７２度です。」
【００２５】
図２Ａは、ユーザ１０２（２）に電話をかけるユーザ１０２（１）の一連の実施例及び、ユーザ１０２（１）の装置１０４（１）上のアプリケーションが電話番号またはバーチャルアシスタントを実装するコンピューティングリソース１０８に関連する他のエンドポイント識別子に自動的に電話をかける様子を説明する。「１」では、ユーザはユーザ１０２（２）の装置１０４（２）に関連する電話番号に電話をかける。「２」では、アプリケーション（例えばバーチャルアシスタントモジュール１１０）は、装置１０４（２）（４４４−５５５−１２４５）に関連する電話番号とバーチャルアシスタントモジュール１１０（８００−２３４−７８９４）に関連する電話番号の両方に自動的に電話をかける。「３」では、ユーザ１０２（２）は着信に応じ、ユーザ１０２（２）とバーチャルアシスタントの両方が通話に参加する。バーチャルアシスタントは上記に記述されるように、呼び出し待機状態で通話上に残っており、図３の参照と共に以下に説明される。
【００２６】
図２Ｂは、バーチャルアシスタントモジュールを音声通信に参加させるユーザ１０２（１）の一連の他の実施例を説明する。「１」では、ユーザ１０２（１）は装置１０４（２）に関連する電話番号に電話をかける。「２」では、ユーザ１０２（２）は着信に応じ、装置１０４（１）と装置１０４（２）間の音声通信が確立する。「３」では、関連番号に電話をかけることで、ユーザ１０２（１）（またはユーザ１０２（２））はバーチャルアシスタントモジュール１１０において会議に参加する。「４」では、バーチャルアシスタントは着信に応じ、音声通信による会議に参加することで多方向電話会議を作り出す。いくつかの例では、バーチャルアシスタントは、通話に参加することに対応して自動的に呼び出されてもよく（図２Ａまたは２Ｂの実施形態を用いて参加が発生するかどうかにかかわらず）、一方で他の例では、バーチャルアシスタントは、参加してもよいが呼び出しはされていない。さらに、図示された実施例がバーチャルアシスタントと共に記述された２つの携帯装置を記述する一方で、いくつかの例では任意の数のユーザ装置が音声通信に参加してもよい。
【００２７】
図３は、バーチャルアシスタントを呼び出すユーザ１０２（１）の一連の実施例及びユーザ１０２（１）を識別し認証するバーチャルアシスタントの１つの実施例を説明する。「１」では、ユーザ１０２（１）は既に音声通信に参加しているバーチャルアシスタントを呼び出す。この呼び出しとは、ユーザ１０２（１）が所定の発言を言うこと、装置１０４（１）上の所定のソフトボタンまたは物理ボタンを選択すること、などを含んでもよい。後者の例では、バーチャルアシスタントはユーザのうちの１人がボタンを選択したという表示を受信する。「２」では、バーチャルアシスタントは、ユーザ１０２（１）にユーザのパスコードを供給するよう指示し、ユーザ１０２（１）に通話上の他のユーザ（ユーザ１０２（２））がパスコード交換していないことをさらに知らせることができる。「３」では、バーチャルアシスタントは、バーチャルアシスタントとユーザ１０２（１）間のパスコード交換がユーザ１０２（２）に聞こえないように、ユーザ１０２（２）に対応する通話のレッグにおいて双方向ミュートを実行する。「４」では、ユーザ１０２（２）は実際にミュートになっており、パスコード交換は聞こえない。最後に「５」では、ユーザ１０２（１）はパスコードを供給し（例えば可聴の）、正答がバーチャルアシスタントを呼び出す場合、アシスタントにユーザ１０２（２）に対応する通話のレッグにおいてミュートを解除させ、音声指示を識別し音声指示に対応する目的のために、アシスタントに音声通信からの音声を表わす音声信号において音声認識を実行開始させる。
【００２８】
図４は、バーチャルアシスタントモジュール１１０が実行される過程４００の実施例のフロー図を描写する。本明細書に記述される各過程は、論理的フローグラフとして説明され、一連の動作を表わす各動作は、ハードウェア、ソフトウェア、またはそれらの組み合わせに実装されてもよい。ソフトウェアにおいて、１つ以上のコンピューター読取可能なメディアに格納されたコンピューター実行可能な指示を表わす動作は、１つ以上のプロセッサーによって実行される時、話された動作を実行する。一般に、コンピューター実行可能な指示は、特定の機能または実装された特定の抽象データ型を実行する、ルーティン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。
【００２９】
コンピューター読取可能なメディアは、ハードドライブ、フロッピーディスク、光学ディスク、ＣＤ-ＲＯＭ、ＤＶＤ、リードオンリーメモリー（ＲＯＭ）、ランダムアクセスメモリー（ＲＡＭ)、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、磁気または光学カード、固体メモリー装置、または電子指示を格納するために好適な他のタイプの記憶媒体を含む、持続性のコンピューター読取可能なメディアを含んでもよい。さらに、いくつかの実施形態では、コンピューター読取可能なメディアは、一過性のコンピューター読取可能な信号（圧縮または非圧縮形体）を含んでもよい。コンピューター読取可能な信号の実施例は、キャリアを用いて調整されるか、されないかにかかわらず、コンピュータープログラムをホストするかまたは実行するコンピューターシステムがアクセスするように構成された信号に限定されるものではなく、インターネットまたは他のネットワークを通じてダウンロードされた信号を含む。最後に、記述された動作の順番は、限定として解釈されることを意図しておらず、記述された動作のいくつでもあらゆる順番及び／または過程の実行と平行して、組み合わされてもよい。
【００３０】
過程４００は、４０２において、第一ユーザの装置と第二ユーザの装置間に確立された音声通信に、バーチャルアシスタントを参加させることを含む。４０４では、バーチャルアシスタントは音声通信の音声内から所定の発言を識別してもよく、それに応じて、４０６にて自身を参加させてもよく、これにより音声通信の音声内で後続の音声指示を識別するために自身を待機させる。
【００３１】
４０８では、バーチャルアシスタントが呼び出されたならば、バーチャルアシスタントは音声通信の音声を表わす音声信号において音声認識を実行開始してもよい。４１０では、アシスタントは音声を表わす音声信号から音声指示を識別してもよい。それに応じて、バーチャルアシスタントは、４１２で音声指示に関連するタスクを実行し、４１４でユーザ装置の両方に可聴コンテンツを効果的に出力する音声信号を供給してもよい。例えば、バーチャルアシスタントは気温を識別して気温を出力し、アイテムを購入して購入した表示を出力し、約束を予定決めして会合の時間、日にち、場所を出力する、といったことを行ってもよい。
【００３２】
主題が構造的特性に特有の言語で記述されてきたが、付随の特許請求の範囲に定義されている主題は、記述された特定の機能に限定される必要はないことは理解されるべきである。むしろ、特定の機能は特許請求の範囲を実行する実例的形状として開示されている。
【００３３】
条項
１．システムは、
１つ以上のプロセッサーと、
コンピューター実行可能な指示を格納する1つ以上のコンピューター読取可能なメデ  ィアと、を含み、前記１つ以上のプロセッサーによって指示が実行される時、コンピューター実行可能な指示を格納する１つ以上のコンピューター読取可能なメディアは前記１つ以上のプロセッサーに行動を実行させ、
行動は、
第一ユーザから、前記第一ユーザの装置と第二ユーザの装置間で確立された音声通信中に、バーチャルアシスタントを参加させる要求を、前記バーチャルアシスタントが前記第一ユーザと前記第二ユーザ間の前記音声通信の音声を表わす音声信号において音声認識を実行し、前記音声認識の前記実行が前記第一ユーザまたは前記第二ユーザの少なくとも１人からの音声指示を識別するためである前記音声通信中に、受信することと、
受信した前記要求に応じて、音声指示の少なくとも一部を識別するために、前記第一ユーザと前記第二ユーザ間の前記音声通信を表わす前記音声信号において音声認識を実行することと、
前記音声認識の前記実行に応じて、前記第一ユーザと前記第二ユーザ間の前記音声通信の前記音声から音声指示を識別することと、
前記音声指示の識別に応じて、前記音声指示の少なくとも一部に対応するタスクを実行することと、
前記音声通信中に前記第一ユーザの前記装置または前記第二ユーザの前記装置のうち少なくとも１つに向けて、前記ユーザの前記装置または前記第二ユーザの前記装置のうち少なくとも１つにおいて実行される前記タスクの前記実行に関連した可聴出力を生じさせるよう構成された音声信号出力を供給することと、を含む。
【００３４】
２．前記要求は、所定の発言を言う前記第一ユーザを含み、前記行動はさらに、前記所定の発言を識別する前に、前記第一及び第二ユーザ間の前記音声通信の前記音声を表わす前記音声信号において、音声認識を実行することなく前記所定の発言のために前記音声を表わす前記音声信号を監視することを含む、条項１に記載のシステム。
【００３５】
３．前記音声指示は、情報の要求を含み、
前記タスクの前記実行は、前記要求された情報を探すことを含み、
前記出力音声信号の前記供給は、前記バーチャルアシスタントに前記要求された情報を前記第一ユーザ及び前記第二ユーザに伝えさせるよう構成された出力音声信号を供給することを含む、条項１に記載のシステム。
【００３６】
４．前記音声通信は、前記第一ユーザの前記装置を前記第二ユーザの前記装置と前記バーチャルアシスタントに関連する前記システムに接続する電話会議を含む、条項１に記載のシステム。
【００３７】
５．前記バーチャルアシスタントに関連する前記システムは、前記第一及び第二ユーザ間の前記音声通信を確立する電話通信サービスを含む、条項１に記載のシステム。
【００３８】
６．第一ユーザの装置と第二ユーザの装置間の音声通信中に、バーチャルアシスタントを呼び出す要求を受信することと、
前記受信の少なくとも一部に応じて、前記音声通信の音声を表わす音声信号において音声認識を実行することと、
前記音声認識の前記実行に応じて、前記第一ユーザまたは前記第二ユーザのうち少なくとも１人からの音声指示を識別することと、
前記第一ユーザの前記装置または前記第二ユーザの前記装置のうち少なくとも１つに、前記音声通信中に可聴コンテンツを出力するための出力音声を前記バーチャルアシスタントによって供給することと、を含む方法。
【００３９】
７．前記要求は、所定の発言を言う前記第一ユーザまたは前記第二ユーザを含み、さらに前記音声通信の前記音声を表す前記音声信号から前記所定の発言を識別することと、前記所定の発言の前記識別の少なくとも一部に応じて発生する前記音声認識の前記実行と、を含む、条項６に記載の方法。
【００４０】
８．前記バーチャルアシスタントを呼び出すための前記要求の前記受信は、
前記第一ユーザの前記装置または前記第二ユーザの前記装置からの着信表示を受信すること、または、
前記第一ユーザまたは前記第二ユーザがそれぞれの装置の物理ボタンまたはソフトボタンを作動したことの表示を受信すること、のうち少なくとも１つを含む、条項６記載の方法。
【００４１】
９．前記行動はさらに、前記第一ユーザの前記装置と前記第二ユーザの前記装置間における前記音声通信の確立の一部として、前記第一ユーザの前記装置と前記第二ユーザの前記装置間の前記音声通信に、前記バーチャルアシスタントをホストする装置を参加させることを含む、条項６に記載の方法。
【００４２】
１０．前記行動はさらに、前記第一ユーザの前記装置と前記第二ユーザの前記装置間における前記音声通信の確立の一部として、前記第一ユーザの前記装置と前記第二ユーザの前記装置間の前記音声通信に、前記バーチャルアシスタントをホストする装置を参加させることを含み、前記バーチャルアシスタントは、前記要求の前記受信までは参加していない条項６に記載の方法。
【００４３】
１１．前記行動はさらに、前記第一ユーザの前記装置と前記第二ユーザの前記装置間の前記音声通信を確立した後で、前記第一ユーザまたは前記第二ユーザからの    前記バーチャルアシスタントを前記音声通信に参加させるという要求を受信することと、
前記第一ユーザまたは前記第二ユーザからの前記バーチャルアシスタントを前記音声通信に参加させるという前記要求の前記受信に応じて、前記バーチャルアシスタント及び少なくとも一部を参加させることと、を含む、条項６に記載の方法。
【００４４】
１２．前記バーチャルアシスタントを前記音声通信に参加させる前記要求は、前記第一ユーザまたは前記第二ユーザが、前記バーチャルアシスタントに関連した電話番号に電話をかけることを含む、条項１１に記載の方法。
【００４５】
１３．前記行動は、前記音声指示を供給するユーザを識別することをさらに含み、出力である前記可聴コンテンツは、前記ユーザの前記識別の少なくとも一部に基づく、条項６に記載の方法。
【００４６】
１４．前記ユーザの前記識別は、前記音声通信を開始した装置に関連する電話番号を示す自動番号識別（ＡＮＩ)、または前記音声通信を確立するための要求を受信する装置に関連する電話番号を示す被呼者番号（ＣＰＮ)のうちの少なくとも１つを参照することと、
関連ユーザに前記ＡＮＩまたは前記ＣＰＮのうち少なくとも１つをマッピングすることと、を含む、条項１３に記載の方法。 
【００４７】
１５．前記ユーザの前記識別は、周波数、振幅、音程、または、前記第一ユーザまたは前記第二ユーザの音声の他の音声特性のうち少なくとも１つと、１つ以上の事前に格納された音声特徴とを比較することを含む、条項１３に記載の方法。
【００４８】
１６．前記音声指示を供給する前記ユーザが前記バーチャルアシスタントで認証をするよう要求することをさらに含む、条項１３に記載の方法。
【００４９】
１７．前記ユーザが前記バーチャルアシスタントで認証をする前記要求は、
前記音声通信以外の通信チャネルを介して前記ユーザと通信すること、または
前記音声通信を介して前記ユーザと通信すること、のうち少なくとも１つを含み、
前記音声指示を供給した前記ユーザと前記音声通信を介して前記バーチャルアシスタントが通信する間に、前記音声指示を供給しなかった前記ユーザの前記装置においては、前記バーチャルアシスタントが前記音声通信をミュートにしている、条項１６に記載の方法。
【００５０】
１８．前記バーチャルアシスタントは、前記第一ユーザの前記装置か、前記第二ユーザの前記装置か、または前記第一ユーザの前記装置及び前記第二ユーザの前記装置の両方から遠隔利用可能なコンピューティング装置のうち少なくとも一部に属している、条項６に記載の方法。
【００５１】
１９．コンピューター実行可能な指示を格納する１つ以上のコンピューター読取可能なメディアは、その指示を１つ以上のプロセッサーによって実行される時、１つ以上のプロセッサーに行動を実行させ、
行動は、 
２つのユーザ装置間の音声通信に、前記２つのユーザ装置から遠隔利用可能なコンピューティング装置を参加させることと、
前記コンピューティング装置を呼び出す前記２つのユーザ装置のうちの１つのユーザにおいて、前記音声通信の音声を表わす音声信号上で前記コンピューティング装置によって音声認識を実行することと、
前記音声を表わす前記音声信号において前記音声認識の実行に応じて、前記２つの装置のうちの1つのユーザからの音声指示を識別することと、を含む。
【００５２】
２０．前記行動はさらに、前記音声指示の前記識別の少なくとも一部に応じて前記音声指示に対応するタスクを実行することを含む、条項１９に記載の1つ以上のコンピューター読取可能なメディア。
【００５３】
２１．前記行動はさらに、前記音声通信上の出力可聴コンテンツと前記音声指示の前記識別に少なくとも部分的に応じるかまたは前記音声指示に対応するタスクの実行に少なくとも部分的に応じる前記２つのユーザ装置のうちの少なくとも１つに有効な出力音声信号を供給することを含む、条項１９に記載の1つ以上のコンピューター読取可能なメディア。
【００５４】
２２．前記２つのユーザ装置の他方に前記音声通信を認識する前記２つのユーザ装置のうち１つにおいて、前記参加が自動的に発生する、条項１９に記載の1つ以上のコンピューター読取可能なメディア。
【００５５】
２３．前記２つのユーザ装置が前記音声通信を確立した後で、前記コンピューティング装置に関連する電話番号を用いて電話会議を開始する前記２つのユーザ装置の内の１つにおいて前記参加が発生する、条項１９に記載の1つ以上のコンピューター読取可能なメディア。
【００５６】
２４．前記音声通信は、公衆交換電話網（ＰＳＴＮ)、セルラーネットワーク、ボイスオーバーインターネットプロトコル（ＶｏＩＰ)ネットワーク上の通信を含む、条項１９に記載の1つ以上のコンピューター読取可能なメディア。
【図１】
0006318255.tif 000002
【図２Ａ】
0006318255.tif 000003
【図２Ｂ】
0006318255.tif 000004
【図３】
0006318255.tif 000005
【図４】
0006318255.tif 000006