(57)【要約】【解決手段】応答を再生することと同期して、デジタルアシスタンス（４０）のクエリへの応答（４０６）から導出されたビゼーム（３０８）を使用して、アバタの口唇（３０６）がアニメ化される。【選択図】図１
2021505943.tif 000002
【特許請求の範囲】
【請求項１】
一時的信号でなく、命令を含む少なくとも１つのコンピュータメモリを備え、前記命令は、
人から発声を受信し、
前記発声に基づいてデータ構造にアクセスして、前記発声への応答を取り出し、
前記応答を表示し、
前記応答に少なくとも部分的に基づいて、一連のビゼームを生成し、
前記応答を表示することと同期して、ディスプレイ上に提示されたアバタの口唇をアニメ化する、
よう少なくとも１つのプロセッサによって実行可能である、デバイス。
【請求項２】
前記応答は、聞こえるように表示される、請求項１に記載のデバイス。
【請求項３】
前記応答を再生する少なくとも１つのスピーカを備えている、請求項２に記載のデバイス。
【請求項４】
前記アバタを提示する少なくとも１つのディスプレイを備えている、請求項１に記載のデバイス。
【請求項５】
前記発声は、少なくともウェイクアップワード及びスキル名を含み、前記命令は、
前記スキル名に応答して、クラウドベースのサービスにアクセスして、前記応答を返し、
前記応答を再生することと同期して、前記アバタの前記口唇をアニメ化する、
よう実行可能である、請求項１に記載のデバイス。
【請求項６】
前記発声は、所望のスキル応答を含み、前記命令は、
データ構造に前記所望のスキル応答を送信して、そこから前記所望のスキル応答の修正を受信し、
前記所望のスキル応答の前記修正を再生する、
よう実行可能である、請求項１に記載のデバイス。
【請求項７】
前記所望のスキル応答は、第１の言語にあり、前記所望のスキル応答の前記修正は、前記第１の言語とは異なる第２の言語にある、請求項６に記載のデバイス。
【請求項８】
前記少なくとも１つのプロセッサを備えている、請求項１に記載のデバイス。
【請求項９】
コンピュータにより実行されるデジタルアシスタンス（ＤＡ）であって、
少なくとも１つのマイクロフォンと、
前記少なくとも１つのマイクロフォンから入力を受信するように構成された少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサの制御の下、音声を再生するように構成された少なくとも１つのスピーカと、
前記少なくとも１つのプロセッサの制御の下、要求された画像を提示するように構成された少なくとも１つのディスプレイと、を備え、
前記少なくとも１つのプロセッサは、
少なくとも１人の人からの前記少なくとも１つのマイクロフォンへの少なくとも１つの発声を受信し、少なくとも１つのデータソースにアクセスして、前記少なくとも１つの発声への応答をそこから取り出すチャットボットモジュールを実行し、前記少なくとも１つのスピーカ上で前記応答を再生し、
前記少なくとも１つのスピーカ上で前記応答を再生することと同期して、前記少なくとも１つのディスプレイ上で提示されたアバタの口唇をアニメ化する、
よう実行可能な命令により構成されている、ＤＡ。
【請求項１０】
前記命令は、
前記応答に少なくとも部分的に基づいて、一連のビゼームを生成し、
前記応答を表示することと同期して、前記アバタの前記口唇をアニメ化する、
よう実行可能である、請求項９に記載のＤＡ。
【請求項１１】
前記少なくとも１つの発声は、少なくともウェイクアップワード及びスキル名を含み、前記命令は、
前記スキル名に応答して、クラウドベースのサービスにアクセスして、前記応答を返し、
前記応答を再生することと同期して、前記アバタの前記口唇をアニメ化する、
よう実行可能である、請求項９に記載のＤＡ。
【請求項１２】
前記少なくとも１つの発声は、所望のスキル応答を含み、前記命令は、
データ構造に前記所望のスキル応答を送信して、そこから前記所望のスキル応答の修正を受信し、
前記所望のスキル応答の前記修正を再生する、
よう実行可能である、請求項１１に記載のＤＡ。
【請求項１３】
前記所望のスキル応答は、第１の言語にあり、前記所望のスキル応答の前記修正は、前記第１の言語とは異なる第２の言語にある、請求項１２に記載のＤＡ。
【請求項１４】
デジタルアシスタンスを使用して、クエリを受信することと、
前記デジタルアシスタンスを使用して、前記クエリへの応答を取り出すことと、
前記デジタルアシスタンスを使用して、スピーカ上で前記応答を再生することと、
前記デジタルアシスタンスを使用して、前記応答から少なくとも１つのビゼームを導出することと、
前記デジタルアシスタンスを使用して、前記スピーカ上で前記応答を再生することと同期して、前記少なくとも１つのビゼームを使用してアバタをアニメ化することと、
を備えた、方法。
【請求項１５】
前記クエリは、少なくともウェイクアップワード及びスキル名を含み、前記方法は、
前記スキル名に応答して、クラウドベースのサービスにアクセスして、前記応答を返すことと、
前記応答を再生することと同期して、前記アバタの口唇をアニメ化することと、
を備えている、請求項１４に記載の方法。
【請求項１６】
前記クエリは、所望のスキル応答を含み、前記方法は、
データ構造に前記所望のスキル応答を送信して、そこから前記所望のスキル応答の修正を受信することと、
前記所望のスキル応答の前記修正を再生することと、
を備えている、請求項１５に記載の方法。
【請求項１７】
前記所望のスキル応答は、第１の言語にあり、前記所望のスキル応答の前記修正は、前記第１の言語とは異なる第２の言語にある、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は概して、ソーシャルＶＲアプリケーションのための３Ｄ顔アニメーションを生成することに関する。
【背景技術】
【０００２】
Ａｐｐｌｅ  Ｓｉｒｉ（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｔａｎａ（登録商標）、Ｇｏｏｇｌｅ  Ａｓｓｉｓｔａｎｔ（商標）、Ａｍａｚｏｎ  Ａｌｅｘａ（商標）、及びＬｉｎｅ  Ｃｏｒｐｏｒａｔｉｏｎ  Ｃｌｏｖａ（商標）は、人から発話されたクエリに聞こえるように応答して、クエリに対する回答を返す「チャットボット」をインスタンス化したデジタルアシスタンスの例である。本明細書で使用される用語「チャットボットまたはボット」は、人間の代わりに対話通信を行うプログラム（または、それを含むシステム全体）を指す。対話は、人からの発声（クエリなど）及びチャットボットから発声への応答の組み合わせであることがある。
【発明の概要】
【０００３】
本明細書で理解されるように、現在のデジタルアシスタンスは、チャットボットキャラクターのグラフィックをそれが発話するように視覚的に表示し、クエリへの発話された回答と共同してその口唇を動かすことによって増強されてもよい。
【０００４】
したがって、デバイスは、一時的信号でなく、そして命令を含む少なくとも１つのコンピュータメモリを含み、命令は、人から発声を受信し、発声に基づいてデータ構造にアクセスして、発声への応答を取り出すよう少なくとも１つのプロセッサによって実行可能である。命令は、応答を表示するよう実行可能である。命令は更に、応答に少なくとも部分的に基づいて、一連のビゼームを生成し、応答を表示することと同期して、ディスプレイ上に提示されたアバタの口唇をアニメ化するよう実行可能である。
【０００５】
実施例では、応答は、聞こえるように表示される。この目的のため、デバイスは、応答を再生する少なくとも１つのスピーカを含むことができる。デバイスは更に、アバタを提示する少なくとも１つのディスプレイを含んでもよい。
【０００６】
いくつかの実施例では、発声は、少なくともウェイクアップワード及びスキル名を含み、命令は、スキル名に応答して、クラウドベースのサービスにアクセスして、応答を返すよう実行可能である。命令は更に、応答を再生することと同期して、アバタの口唇をアニメ化するよう実行可能である。更なる詳細な実施形態では、発声は、所望のスキル応答を含むことができ、命令は、データ構造に所望のスキル応答を送信して、そこから所望のスキル応答の修正を受信するよう実行可能であってもよい。所望のスキル応答の修正は、例えば、スピーカ上で再生される。特定の実施例では、所望のスキル応答は、第１の言語にあり、所望のスキル応答の修正は、第１の言語とは異なる第２の言語にある。
【０００７】
別の態様では、コンピュータにより実行されるデジタルアシスタンス（ＤＡ）は、少なくとも１つのマイクロフォンと、少なくとも１つのマイクロフォンから入力を受信するように構成された少なくとも１つのプロセッサと、少なくとも１つのプロセッサの制御の下、音声を再生するように構成された少なくとも１つのスピーカと、を含む。ＤＡは更に、少なくとも１つのプロセッサの制御の下、要求された画像を提示するように構成された少なくとも１つのディスプレイを含む。プロセッサは、少なくとも１人の人からのマイクロフォンへの少なくとも１つの発声を受信し、少なくとも１つのデータソースにアクセスして、発声への応答をそこから取り出すチャットボットモジュールを実行し、スピーカ上で応答を再生するよう実行可能な命令により構成されている。命令は、スピーカ上で応答を再生することと同期して、ディスプレイ上で提示されたアバタの口唇をアニメ化するよう実行可能である。
【０００８】
別の態様では、方法は、デジタルアシスタンスを使用して、クエリを受信することと、クエリへの応答を取り出すことと、スピーカ上で応答を再生することと、を含む。方法はまた、デジタルアシスタンスを使用して、応答から少なくとも１つのビゼームを導出することと、スピーカ上で応答を再生することと同期して、ビゼームを使用してアバタをアニメ化することと、を含む。
【０００９】
本出願の詳細は、その構造及び動作の両方について、同一の参照符号が同一の部分を指す添付図面を参照して最良に理解することができる。
【図面の簡単な説明】
【００１０】
【図１】本原理に従った実施例を含む実施例のシステムのブロック図である。
【図１Ａ】車両（運転者無し車両など）の実施形態の概略図である。
【図１Ｂ】モバイル通信デバイス（携帯電話など）電話の実施形態の概略図である。
【図２】実施例のデジタルアシスタンス環境のブロック図である。
【図３】音声に基づくソリューションシステム構成の概略図である。
【図４】図３に関連する実施例のロジックのフローチャートである。
【図５】カスタムスキルシステム構成の概略図である。
【図６】図５に関連する実施例のロジックのフローチャートである。
【発明を実施するための形態】
【００１１】
本開示は概して、限定されないが、分散コンピュータゲームネットワーク、ビデオブロードキャスティング、コンテンツ配信ネットワーク、仮想マシン、及び機械学習アプリケーションなどの家電（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。インスタントチャットボットの多くの実施形態が想定され、運転者無し車両及び携帯電話を含むいくつかは、本明細書で説明され、示されることに留意されよう。
【００１２】
本明細書におけるシステムは、ネットワークを通じて接続されたサーバコンポーネント及びクライアントコンポーネントを含んでもよく、その結果、クライアントコンポーネントとサーバコンポーネントとの間でデータを交換することができる。クライアントコンポーネントは、Ｓｏｎｙ  ＰｌａｙＳｔａｔｉｏｎ（登録商標）などのゲームコンソール、関連するマザーボード、ポータブルテレビ（例えば、スマートテレビ、インターネット対応電話）、ラップトップ及びタブレットコンピュータなどのポータブルコンピュータ、並びにスマートフォン及び以下で考察される追加の実施例を含む他のモバイルデバイスを含む、１つ以上のコンピューティングデバイスを含んでもよい。それらのクライアントデバイスは、様々な動作環境により動作してもよい。例えば、クライアントコンピュータのいくつかは、例として、ＯｒｂｉｓもしくはＬｉｎｕｘ（登録商標）オペレーティングシステム、ＭｉｃｒｏｓｏｆｔのオペレーティングシステムもしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ，Ｉｎｃ．もしくはＧｏｏｇｌｅによって製造されたオペレーティングシステムを採用してもよい。それらの動作環境は、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅもしくはＭｏｚｉｌｌａによって作成されたブラウザなどの１つ以上のブラウジングプログラム、または以下で考察されるインターネットサーバによってホストされたウェブサイトにアクセスすることができる他のブラウザプログラムを実行するために使用されてもよい。また、１つ以上のコンピュータゲームプログラムを実行するために、本原理に従った動作環境が使用されてもよい。
【００１３】
サーバ及び／またはゲートウェイは、インターネットなどのネットワークを通じてデータを受信及び送信するようサーバを構成する命令を実行する１つ以上のプロセッサを含んでもよい。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続されてもよい。サーバまたはコントローラは、Ｓｏｎｙ  ＰｌａｙＳｔａｔｉｏｎ（登録商標）などのゲームコンソール及び／またはその１つ以上のマザーボード、パーソナルコンピュータなどによってインスタンス化されてもよい。
【００１４】
情報は、クライアントとサーバとの間でネットワークを通じて交換されてもよい。この目的のため、及びセキュリティのため、サーバ及び／またはクライアントは、ファイアウォール、負荷分散器、一時的記憶装置、及びプロキシ、並びに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含むことができる。１つ以上のサーバは、ネットワークメンバにオンラインソーシャルウェブサイトなどのセキュアコミュニティを提供する方法を実装する装置を形成してもよい。
【００１５】
本明細書で使用されるように、命令は、システムにおいて情報を処理するためのコンピュータにより実行されるステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアにおいて実装されてもよく、システムのコンポーネントによって引き受けられるいずれかのタイプのプログラムされたステップを含むことができる。
【００１６】
プロセッサは、アドレスライン、データライン、及び制御ラインなどの様々なライン、並びにレジスタ及びシフトレジスタによってロジックを実行することができるいずれかの従来の汎用シングルチップまたはマルチチッププロセッサであってもよい。
【００１７】
本明細書でフローチャート及びユーザインタフェースによって説明されるソフトウェアモジュールは、様々なサブルーチン、プロシージャなどを含むことができる。開示を限定することなく、特定のモジュールによって実行されると述べられるロジックは、他のソフトウェアモジュールに再分配されてもよく、及び／または単一のモジュールに共に組み合わされてもよく、及び／または共有可能ライブラリにおいて利用可能にされてもよい。
【００１８】
本明細書で説明される本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装されてもよく、よって、例示的なコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能性の観点から示される。
【００１９】
更に上記示唆されたものについて、以下で説明される論理ブロック、モジュール、及び回路は、本明細書で説明される機能を実行するよう設計された、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ）などの他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタロジック、個別ハードウェアコンポーネント、またはいずれかのそれらの組み合わせにより実装または実行されてもよい。プロセッサは、コンピューティングデバイスのコントローラもしくは状態機械、または組み合わせによって実装されてもよい。
【００２０】
以下で説明される機能及び方法は、ソフトウェアにおいて実装されるとき、限定されないが、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋などの適切な言語において記述されてもよく、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）などの他の光ディスク記憶装置、磁気ディスク記憶装置または着脱可能サムドライブを含む他の磁気記憶装置などのコンピュータ可読記憶媒体に記憶されてもよく、またはそれらを通じて伝送されてもよい。接続は、コンピュータ可読媒体を確立することができる。そのような接続は、例として、ファイバオプティック、同軸ワイヤ、デジタル加入者線（ＤＳＬ）、及びツイストペアワイヤを含む有線ケーブルを含むことができる。そのような接続は、赤外線及び無線機を含む無線通信接続を含んでもよい。
【００２１】
一実施形態に含まれるコンポーネントは、他の実施形態では、いずれかの適切な組み合わせで使用されてもよい。例えば、本明細書で説明され、及び／または図面で表される様々なコンポーネントのいずれかは、組み合わされてもよく、交換されてもよく、または他の実施形態から排除されてもよい。
【００２２】
「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを共に、Ａ及びＣを共に、Ｂ及びＣを共に、及び／またはＡ、Ｂ、及びＣを共に有するなどのシステムを含む。
【００２３】
ここで、特に図１を参照して、上記言及され、本原理に従って以下で更に説明される実施例のデバイスのうちの１つ以上を含むことができる、実施例のシステム１０が示される。システム１０に含まれる実施例のデバイスの１つ目は、限定されないが、テレビチューナ（同等に、テレビを制御するセットトップボックス）を有するインターネット対応テレビなどの音声ビデオデバイス（ＡＶＤ）１２などの家電（ＣＥ）デバイスである。しかしながら、ＡＶＤ１２は代わりに、器具または日用品、例えば、コンピュータ制御インターネット対応冷蔵庫、洗濯機、または乾燥機であってもよい。また、ＡＶＤ１２は代わりに、コンピュータ制御インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、例えば、コンピュータ制御インターネット対応時計、コンピュータ制御インターネット対応ブレスレットなどのウェアラブルコンピュータ制御デバイス、他のコンピュータ制御インターネット対応デバイス、コンピュータ制御インターネット対応ミュージックプレイヤ、コンピュータ制御インターネット対応ヘッドフォン、皮膚移植デバイスなどのコンピュータ制御インターネット対応移植デバイスなどであってもよい。それにも関わらず、ＡＶＤ１２は、本原理を引き受けるように構成される（例えば、本原理を引き受けるよう他のＣＥデバイスと通信し、本明細書で説明されるロジックを実行し、本明細書で説明されるいずれかの他の機能及び／または動作を実行する）ことが理解される。
【００２４】
したがって、そのような原理を引き受けるために、ＡＶＤ１２は、図１に示されるコンポーネントのいくつかまたは全てによって確立されてもよい。例えば、ＡＶＤ１２は、１つ以上のディスプレイ１４を含むことができ、１つ以上のディスプレイ１４は、高解像度もしくは超解像度の「４Ｋ」またはそれよりも高いフラットスクリーンによって実装されてもよく、ディスプレイ上でのタッチを介してユーザ入力信号を受信するためのタッチ対応であってもよい。ＡＶＤ１２は、本原理に従って音声を出力するための１つ以上のスピーカ１６、及び、例えば、ＡＶＤ１２を制御するようＡＶＤ１２に可聴コマンドを入力するための、例えば、音声受信機／マイクロフォンなどの少なくとも１つの追加の入力デバイス１８を含んでもよい。実施例のＡＶＤ１２はまた、１つ以上のプロセッサ２４の制御の下、インターネット、ＷＡＮ、ＬＡＮなどの少なくとも１つのネットワーク２２を通じた通信のための１つ以上のネットワークインタフェース２０を含んでもよい。よって、インタフェース２０は、限定することなく、Ｗｉ−Ｆｉ送受信機であってもよく、Ｗｉ−Ｆｉ送受信機は、限定されないが、メッシュネットワーク送受信機などの無線コンピュータネットワークインタフェースの例である。プロセッサ２４は、例えば、ディスプレイ１４をそこで画像を提示するよう制御し、そこから入力を受信するなど、本明細書で説明されるＡＶＤ１２の他の要素を含む、本原理を引き受けるようＡＶＤ１２を制御することが理解される。更に、ネットワークインタフェース２０は、例えば、有線もしくは無線モデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上記言及されたようなＷｉ−Ｆｉ送受信機などの他の適切なインタフェースであってもよいことに留意されよう。
【００２５】
上述したことに加え、ＡＶＤ１２はまた、例えば、別のＣＥデバイスに物理的に接続する（例えば、有線接続を使用して）高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通じてＡＶＤ１２からユーザに音声を提示するためにＡＶＤ１２にヘッドフォンを接続するヘッドフォンポートなどの１つ以上の入力ポート２６を含んでもよい。例えば、入力ポート２６は、音声ビデオコンテンツのケーブルまたはサテライトソース２６ａに有線を介してまたは無線で接続されてもよい。よって、ソース２６ａは、例えば、別個のもしくは統合されたセットトップボックス、またはサテライト受信機であってもよい。または、ソース２６ａは、以下で更に説明されるチャネル割り当ての目的でユーザによって好みと見なされることができるコンテンツを含むゲームコンソールまたはディスクプレイヤであってもよい。ソース２６ａは、ゲームコンソールとして実装されるとき、ＣＥデバイス４４に関連して以下で説明されるコンポーネントのいくつかまたは全てを含んでもよい。
【００２６】
ＡＶＤ１２は更に、一時的信号でない、ディスクベースの記憶装置またはソリッドステート記憶装置などの１つ以上のコンピュータメモリ２８を含んでもよく、これらは、いくつかのケースではスタンドアロンデバイスとしてＡＶＤのシャーシ内で具体化され、またはＡＶプログラムを再生するために、ＡＶＤのシャーシの内部もしくは外部のいずれかでパーソナルビデオレコーディングデバイス（ＰＶＲ）もしくはビデオディスクプレイヤとして具体化され、または着脱可能メモリ媒体として具体化される。また、いくつかの実施形態では、ＡＶＤ１２は、限定されないが、携帯電話受信機、ＧＰＳ受信機、及び／または、例えば、少なくとも１つのサテライトもしくは携帯電話タワーから地理的位置情報を受信し、プロセッサ２４に情報を提供し、及び／またはＡＶＤ１２が配置された高度をプロセッサ２４と共に判定するように構成された高度計３０などの位置またはロケーション受信機を含むことができる。しかしながら、本原理に従って、例えば、全ての３つの次元においてＡＶＤ１２のロケーションを判定するために、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が使用されてもよいことが理解される。
【００２７】
ＡＶＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤ１２は、１つ以上のカメラ３２を含んでもよく、１つ以上のカメラ３２は、例えば、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／またはＡＶＤ１２に統合され、本原理に従ってピクチャ／画像及び／またはビデオを収集するようプロセッサ２４によって制御可能であるカメラであってもよい。また、ＡＶＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近接場通信（ＮＦＣ）技術のそれぞれを使用した他のデバイスとの通信のためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機３４及び他のＮＦＣ要素３６であってもよい。実施例のＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってもよい。
【００２８】
更にまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータなどの動きセンサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するための）など）を含んでもよい。ＡＶＤ１２は、プロセッサ２４に入力を提供するオーバジエアテレビブロードキャストを受信するためのＯＴＨテレビブロードキャストポート３８を含んでもよい。上述したことに加え、ＡＶＤ１２は、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイスなどのＩＲ送信機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２も含んでもよいことに留意されよう。ＡＶＤ１２に電力を供給するためのバッテリ（図示せず）が設けられてもよい。
【００２９】
更に図１を参照して、ＡＶＤ１２に加えて、システム１０は、１つ以上の他のＣＥデバイスタイプを含んでもよい。一実施例では、以下に説明されるサーバを通じて送信されたコマンドを介してディスプレイを制御するために第１のＣＥデバイス４４が使用されてもよく、第２のＣＥデバイス４６は、第１のＣＥデバイス４４と同様のコンポーネントを含んでもよく、よって、詳細には説明されない。示される実施例では、２つのＣＥデバイス４４、４６のみが示されるが、より少ないまたはより多くのデバイスが使用されてもよいことが理解される。上記示唆されたように、ＣＥデバイス４４／４６及び／またはソース２６ａは、ゲームコンソールによって実装されてもよい。または、ＣＥデバイス４４／４６のうちの１つ以上は、商標Ｇｏｏｇｌｅ  Ｃｈｒｏｍｅｃａｓｔ（商標）、Ｒｏｋｕ（登録商標）の下で販売されたデバイスによって実装されてもよい。ＣＥデバイスは、その例が以下で更に詳細に示され、説明されるデジタルアシスタンスによって確立されてもよい。
【００３０】
示される実施例では、本原理を例示するために、全ての３つのデバイス１２、４４、４６は、例えば、家庭内のエンターテインメントネットワークのメンバであること、または家などの位置において少なくとも相互に近接して存在していることが推定される。しかしながら、本原理について、他に明示的に主張されない限り、破線４８によって例示されるように、特定の位置に限定されない。
【００３１】
実施例の非限定的な第１のＣＥデバイス４４は、上記言及されたデバイス、例えば、デジタルアシスタンス、ポータブル無線ラップトップコンピュータまたはノートブックコンピュータまたはゲームコントローラ（「コンソール」とも称される）のうちのいずれか１つによって確立されてもよく、したがって、以下で説明されるコンポーネントのうちの１つ以上を有してもよい。限定なしに第２のＣＥデバイス４６は、Ｂｌｙ−ｒａｙプレイヤなどのビデオディスクプレイヤ及びゲームコンソールなどによって確立されてもよい。第１のＣＥデバイス４４は、例えば、ＡＶＤ１２にＡＶ再生及び一時停止コマンドを発行するためのリモート制御（ＲＣ）であってもよく、または、それは、有線もしくは無線リンクを介して第２のＣＥデバイス４６によって実装されたゲームコンソールと通信し、ＡＶＤ１２、パーソナルコンピュータ、無線電話などの上でのビデオゲームの提示を制御するタブレットコンピュータ、ゲームコントローラなどの更に洗練されたデバイスであってもよい。
【００３２】
したがって、第１のＣＥデバイス４４は、ディスプレイ上のタッチを介してユーザ入力信号を受信するためのタッチ対応であってもよい１つ以上のディスプレイ５０を含んでもよい。第１のＣＥデバイス４４は、本原理に従って音声を出力するための１つ以上のスピーカ５２、及び、例えば、デバイス４４を制御する可聴コマンドを第１のＣＥデバイス４４に入力するための、例えば、音声受信機／マイクロフォンなどの少なくとも１つの追加の入力デバイス５４を含んでもよい。実施例の第１のＣＥデバイス４４はまた、１つ以上のＣＥデバイスプロセッサ５８の制御の下、ネットワーク２２を通じた通信のための１つ以上のネットワークインタフェース５６を含んでもよい。よって、インタフェース５６は、限定することなく、メッシュネットワークインタフェースを含む、無線コンピュータネットワークインタフェースの例であるＷｉ−Ｆｉ送受信機であってもよい。プロセッサ５８は、例えば、ディスプレイ５０をそこで画像を提示するよう制御すること、及びそこから入力を受信することなど、本明細書で説明される第１のＣＥデバイス４４の他の要素を含む、本原理を引き受けるよう第１のＣＥデバイス４４を制御することが理解される。更に、ネットワークインタフェース５６は、例えば、有線もしくは無線モデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上記言及されたようなＷｉ−Ｆｉ送受信機などの他の適切なインタフェースであってもよいことに留意されよう。
【００３３】
上述したことに加えて、第１のＣＥデバイス４４はまた、例えば、別のＣＥデバイスに物理的に接続する（例えば、有線接続を使用して）ＨＤＭＩ（登録商標）ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通じて第１のＣＥデバイス４４からユーザに音声を提示するために第１のＣＥデバイス４４にヘッドフォンを接続するヘッドフォンポートなどの１つ以上の入力ポート６０を含んでもよい。第１のＣＥデバイス４４は更に、ディスクベースの記憶装置またはソリッドステート記憶装置などの１つ以上の有形コンピュータ可読記憶媒体６２を含んでもよい。また、いくつかの実施形態では、第１のＣＥデバイス４４は、限定されないが、携帯電話及び／またはＧＰＳ受信機及び／または、例えば、三角測量を使用して、少なくとも１つのサテライト及び／または携帯電話タワーから地理的位置情報を受信し、ＣＥデバイスプロセッサ５８に情報を提供し、及び／または第１のＣＥデバイス４４が配置された高度をＣＥデバイスプロセッサ５８と共に判定するように構成された高度計６４などの位置またはロケーション受信機を含むことができる。しかしながら、本原理に従って、例えば、全ての３つの次元において第１のＣＥデバイス４４のロケーションを判定するために、携帯電話及び／またはＧＰＳ受信機及び／または高度計以外の別の適切な位置受信機が使用されてもよいことが理解される。
【００３４】
第１のＣＥデバイス４４の説明を続けると、いくつかの実施形態では、第１のＣＥデバイス４４は、１つ以上のカメラ６６を含んでもよく、１つ以上のカメラ６６は、例えば、サーマルイメージングカメラ、ウェブカメラなどのデジタルカメラ、及び／または第１のＣＥデバイス４４に統合され、本原理に従ってピクチャ／画像及び／またはビデオを収集するようＣＥデバイスプロセッサ５８によって制御可能であるカメラであってもよい。また、第１のＣＥデバイス４４に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近接場通信（ＮＦＣ）技術のそれぞれを使用した他のデバイスとの通信のためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機６８及び他のＮＦＣ要素７０であってもよい。実施例のＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってもよい。
【００３５】
更にまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する１つ以上の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータなどの動きセンサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するための）など）を含んでもよい。第１のＣＥデバイス４４はなお、例えば、１つ以上の気候センサ７４（例えば、バロメータ、湿度センサ、風力センサ、光センサ、温度センサなど）及び／またはＣＥデバイスプロセッサ５８に入力を提供する１つ以上の生体センサ７６などの他のセンサを含んでもよい。上述したことに加えて、いくつかの実施形態では、第１のＣＥデバイス４４は、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイスなどのＩＲ送信機及び／またはＩＲ受信機及び／またはＩＲ送受信機７８も含んでもよいことに留意されよう。第１のＣＥデバイス４４に電力を供給するためのバッテリ（図示せず）が設けられてもよい。ＣＥデバイス４４は、上記説明された通信モード及び関連するコンポーネントのいずれかを通じてＡＶＤ１２と通信してもよい。
【００３６】
第２のＣＥデバイス４６は、ＣＥデバイス４４に対して示されたコンポーネントのいくつかまたは全てを含んでもよい。いずれか１つまたは両方のＣＥデバイスは、１つ以上のバッテリによって電力供給されてもよい。
【００３７】
ここで、上記言及された少なくとも１つのサーバ８０を参照して、それは、少なくとも１つのサーバプロセッサ８２、ディスクベースの記憶装置またはソリッドステート記憶装置などの１つ以上の有形コンピュータ可読記憶媒体８４を含む。実装態様では、媒体８４は、１つ以上のソリッドステート記憶ドライブ（ＳＳＤ）を含む。サーバはまた、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を促進することができる少なくとも１つのネットワークインタフェース８６を含む。ネットワークインタフェース８６は、例えば、有線もしくは無線モデムもしくはルータ、Ｗｉ−Ｆｉ送受信機、または、例えば、無線テレフォニ送受信機などの他の適切なインタフェースであってもよいことに留意されよう。ネットワークインタフェース８６は、サーバプロセッサ８２を通過することなく、いわゆる「ファブリック」などのネットワークに媒体８４を直接接続するリモートダイレクトメモリアクセス（ＲＤＭＡ）インタフェースであってもよい。ネットワークは、イーサネット（登録商標）ネットワーク及び／またはファイバチャネルネットワーク及び／またはインフィニバンドネットワークを含んでもよい。典型的には、サーバ８０は、物理サーバ「スタック」に配列することができる「ブレード」と称される複数のコンピュータにおいて複数のプロセッサを含む。
【００３８】
したがって、いくつかの実施形態では、サーバ８０は、インターネットサーバまたは「サーバファーム」全体であってもよく、システム１０のデバイスがこの実施例の実施形態では、例えば、ネットワークゲーミングアプリケーション、デジタルアシスタンスアプリケーションなどのためにサーバ８０を介して「クラウド」環境にアクセスすることができるように、「クラウド」機能を含んでもよく、「クラウド」機能を実行してもよい。または、サーバ８０は、図１に示された他のデバイスと同一の部屋またはその近くで１つ以上のゲームコンソールまたは他のコンピュータによって実装されてもよい。
【００３９】
本明細書における方法は、当業者によって認識されるように、プロセッサ、適切に構成された特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、またはいずれかの他の便利な方式によって実行されるソフトウェア命令として実装されてもよい。採用される場合、ソフトウェア命令は、ＣＤ  ＲＯＭまたはフラッシュドライブなどの非一時的デバイスにおいて具体化されてもよい。代わりに、ソフトウェアコード命令は、無線機もしくは光信号などの一時的配列において、またはインターネットを通じたダウンロードを介して具体化されてもよい。
【００４０】
図１Ａは、システム１００が運転者無し車両などの車両１０２を含む特定の非限定的な実施例を示し、システム１００では、本原理と一貫したチャットボットアプリケーションがサーバ８０などのクラウドから１つ以上のコンピュータメモリ１０４にダウンロードされており、１つ以上のコンピュータメモリ１０４は、本明細書で説明されるコンピュータ記憶装置のいずれかによって実装されてもよい。チャットボットアプリケーションは、フラットパネルディスプレイなどのビジュアルディスプレイ１０８、ブザーなどの触覚信号ジェネレータ１１０または触覚信号を生成する他のデバイス、及び１つ以上の音声スピーカ１１２を含む１つ以上の出力デバイス上で、以下で更に開示される情報を出力するよう１つ以上のプロセッサ１０６によって実行されてもよい。プロセッサ１０６は、マイクロフォン、カメラ、生体センサなどの１つ以上のセンサ１１４から入力を受信してもよい。プロセッサ１０６は、１つ以上の有線、または更に典型的には、限定されないが、Ｗｉ−Ｆｉなどの無線ネットワークインタフェース１１６を使用して、インターネットなどのネットワークと通信してもよい。
【００４１】
図１Ｂは、システム１００Ａが携帯電話などのモバイル通信デバイス（ＭＣＤ）１０２Ａを含む別の特定の非限定的な実施例を示し、システム１００Ａでは、本原理と一貫したチャットボットアプリケーションがサーバ８０などのクラウドから１つ以上のコンピュータメモリ１０４Ａにダウンロードされており、１つ以上のコンピュータメモリ１０４Ａは、本明細書で説明されるコンピュータ記憶装置のいずれかによって実装されてもよい。チャットボットアプリケーションは、フラットパネルディスプレイなどのビジュアルディスプレイ１０８Ａ、ブザーなどの触覚信号ジェネレータ１１０Ａまたは触覚信号を生成する他のデバイス、及び１つ以上の音声スピーカ１１２Ａを含む１つ以上の出力デバイス上で、以下で更に開示される情報を出力するよう１つ以上のプロセッサ１０６Ａによって実行されてもよい。プロセッサ１０６Ａは、マイクロフォン、カメラ、生体センサなどの１つ以上のセンサ１１４Ａから入力を受信してもよい。プロセッサ１０６Ａは、１つ以上の有線、または更に典型的には、限定されないが、Ｗｉ−Ｆｉなどの無線ネットワークインタフェース１１６Ａを使用して、インターネットなどのネットワークと通信してもよい。ＭＣＤは、限定されないが、符号分割多重アクセス（ＣＤＭＡ）送受信機、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ（登録商標））送受信機などの１つ以上の無線テレフォニ送受信機１１８Ａも含んでもよい。
【００４２】
図２は、Ｗｉ−Ｆｉなどのネットワークインタフェース２０２、または他の適切な有線もしくは無線インタフェースを介して、それと情報を交換するためにインターネット２０４とそこから１つ以上のサーバ８０と通信するデジタルアシスタンス２００によって実装されたＣＥデバイス４４の実施例の適用を例示する。人２０６は、デジタルアシスタンス２００のマイクロフォン２０８に発話することができ、人の声は、コンピュータメモリまたはディスクベースの記憶装置もしくはソリッドステート記憶装置などの記憶装置２１２上の命令にアクセスするプロセッサ２１０による発話認識を使用して分析のためにデジタル化される。デジタルアシスタンスは、人２０６からのクエリに、サーバ８０及び／または記憶装置２１２上のデータにアクセスし、１つ以上のスピーカ２１４上で再生され、及び／または１つ以上のビジュアルディスプレイ２１６上で提示される可聴信号にクエリ結果を変換することによって応答する。
【００４３】
ここで、図３を参照して、アニメ化されたアバタ３００は、非実在名３０２によりこの中のディスプレイのいずれかの上で提示されてもよい。３０４において示されるように、アバタ３００の画像を提示することに従って、発話が本明細書で開示されるスピーカのいずれかの上で再生されてもよい。発話を再生することと同期して、アバタ３００の口唇３０６は、人が発話３０４のワードをはっきりと発音する際に生成するビゼーム３０８を模倣するよう動かされる。
【００４４】
ビゼーム３０８は、プロセッサに口唇３０６の構成を確立させるグラフィック命令であり、この目的のために、マイクロフォンを有する及び／またはデジタル音声トラックを記憶もしくはストリーミングするデジタルアシスタンス（例えば、図２に示されたデジタルアシスタンス２００）などのチャットボットソース３１２から音声入力を受信する口唇同期モジュール３１０から生じてもよい。口唇同期モジュール３１０への音声入力は、ヒューマンスピーカ３１６によってデジタルアシスタンス３１２に発話されてデジタルアシスタンス３１２によって処理された、及び／または処理のためにクラウドサーバ３１８（クラウドサーバ３１８は、人が発した発話３１４への応答を返す）に送信された、クエリなどの発話３１４に対する応答であってもよい。
【００４５】
一実施形態では、デジタルアシスタンス３１２は、口唇同期モジュール３１０を実行してもよく、口唇同期モジュール３１０は、参照によって本明細書に組み込まれる、本出願人の米国特許第８，７４３，１２５号において考察された技術によって実装されてもよい。ＬｉｐＳｙｎｃアプリケーションは、１５の別個のビゼームターゲットを出力する、Ｏｃｕｌｕｓ  ＯＶＲＬｉｐＳｙｎｃ  ｆｏｒ  Ｕｎｉｔｙシステムによって実施例の実施形態において実装されてもよい。実施例の実施形態では、「ｎｎ」（閉じた口唇）にマッピングされる他のビゼームと共に、アバタ３００の口唇３０６のアニメ化されたモーフィングにおいて応答における母音を表すビゼームのみが使用されてもよい。他の実装態様では、口唇をアニメ化するために子音を表すビゼームが使用されてもよい。
【００４６】
図４は、デジタルアシスタンスのプロセッサ（例えば、プロセッサ２１０）によって実装することができる実施例のロジックを例示する。ブロック４００において開始して、チャットボットの名前３０２などのウェイクアップワードは、ヒューマンユーザ３１６からの後続のクエリと共に受信されてもよい。クエリは、デジタルアシスタンスにその存在を警告するウェイクアップワードに応答して、ブロック４０２においてデータベースへの入力アーギュメントとして使用され、ブロック４０６において応答を取り出す。データベースは、デジタルアシスタンスにローカルであってもよく、それは、クラウドサーバ３１８のデータベースであってもよい。
【００４７】
応答は、音声ストリームとして口唇同期モジュール３１０に入力され、口唇同期モジュール３１０は、ブロック４０８においてビゼームを生成するよう実行する。ビゼームは、図２におけるスピーカ２１４などのスピーカ上で応答を再生することと同期して、図３におけるアバタ３００の口唇３０６をアニメ化するために使用される。
【００４８】
図５は、人間３１６からのクエリに応答して、デジタルアシスタンス３１２のスピーカ上でクエリ応答を再生することと同期してアバタ３００の口唇３０６が移動する、図３の実施例と同様の実施例を例示し、図５では、カスタムスキルがシステムによって実装される相違がある。実施例のカスタムスキルは、通常は日本語能力を有さないデジタルアシスタンスによって日本語を発話する能力であってもよい。
【００４９】
図５の実施例において概略的に示されるように、チャットボットの名前３０２などウェイクアップワード５００は、次に来るクエリが発話しようとしていることをデジタルアシスタンスに警告するために最初に受信される。次いで、ローンチワード５０２は、カスタムスキル処理を開始するよう人間によって発話され、それに続いて、スキル名５０４が、呼び出されることが求められる特定のカスタムスキルを開始する。次いで、人間は、カスタムスキルの所望の出力５０６を発話する。示される実施例では、人間は、英単語「ｈｅｌｌｏ」の日本語翻訳を聞くことを望む。
【００５０】
カスタムスキル処理ローンチワード、呼び出されることが求められる特定のカスタムスキル（この実施例では、英語−日本語翻訳）、及びその所望の出力（日本語で「こんにちは」）を受信すると、デジタルアシスタンスは、スキルエンジン５０８に特定のスキルに対する呼び出し及び所望の結果を送信してもよく、スキルエンジン５０８は、クラウドサーバによって実装されてもよい。スキルエンジン５０８は、クラウドベースのコード実行サービス５１０にアクセスしてもよく、クラウドベースのコード実行サービス５１０は次いで、カスタムスキルの処理によって修正された所望の結果を取り出し、それをスキルエンジン５０８に返すよう、所望の結果５０６を使用してクラウドベースの単純な記憶サービス５１２にアクセスすることができる。
【００５１】
示される実施例では、コード実行サービス５１０は、所望の結果を英語で受信し、記憶サービス５１２への入力アーギュメントとして英語を入力し、記憶サービス５１２は、この入力を、求められるカスタムスキル出力、このケースでは、日本語の「こんにちは」の音声ファイルと（例えば、テーブルルックアップまたは他のマッチングアルゴリズムを使用して）一致させる。音声ファイルは、アバタ３００の口唇３０６をアニメ化する付随するビゼームと同期して、スピーカ上でのその再生のためにデジタルアシスタンス３１２に返される。
【００５２】
図５の実施例では、デジタルアシスタンス３１２は、双方向通信経路５１４を使用して、記憶サービス５１２と直接通信してもよく、また、異なる双方向通信経路５１６を使用して、スキルエンジン５０８を通じてコード実行サービス５１０と通信してもよいことに留意されよう。
【００５３】
よって、ウェイクアップワード（「ＣＢ」など）とそれに続いて、ローンチワード（「ａｓｋ」など）、そして、カスタムスキルの名前（このケースでは「Ｍａｒｉｅ」）が使用されるとき、カスタマイズを実行するクラウド上でのコード実行サービス（サービスに前にアップロードされていることがあるような）が、カスタマイズに同意してカスタマイズされた、単純な記憶サービスデータベースにアクセスすることによって応答を返すことを除き、クエリは、図３にあるようなクラウドサーバに送信されてもよい。示される実施例では、単純な記憶サービスは、カスタマイズされた言語、例えば、日本語で予め記録された音声ファイルを記憶してもよい。応答は、テキスト及び／または音声を介してもよく、応答は、アバタの口唇をアニメ化するために使用されるビゼームを生成するために上記のように使用される。
【００５４】
図６は、図５と一貫した実施例のロジックのフローチャートである。最初に、スキルローンチワード５０２〜５０６に応答するためのカスタムコード及び関連する音声ファイルは、ブロック６００において、クラウド、例えば、コード実行サービス５１０及び記憶サービス５１２にアップロードされる。次いで、ブロック６０２において、正確なウェイクアップワード５００を受信したことに応答して、デジタルアシスタンスは、アスクワード５０２とそれに続いてスキル名５０４及び所望の出力５０６を聞いて、図５に示されたカスタマイズ機構を呼び出す。有効な用語５０２〜５０６を受信すると、要求は、図６のブロック６０４において、図５におけるクラウドサービスに送信される。応答（現行の実施例では、音声ファイル）は、ブロック６０６において受信される。音声ファイルは、ブロック６０８において、音声ファイルからのビゼームを生成し、アバタの口唇を動かすためにビゼームを使用することと同期して、スピーカ上で再生される。
【００５５】
いくつかの実施例の実施形態を参照して本原理が説明されてきたが、それらは、限定することを意図しておらず、本明細書で特許請求される主題を実装するために様々な代替的な配置が使用されてもよいことが認識される。
【図１】
2021505943.tif 000003
【図１Ａ】
2021505943.tif 000004
【図１Ｂ】
2021505943.tif 000005
【図２】
2021505943.tif 000006
【図３】
2021505943.tif 000007
【図４】
2021505943.tif 000008
【図５】
2021505943.tif 000009
【図６】
2021505943.tif 000010
【国際調査報告】
2021505943.tif 000011