(57)【要約】  方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、時間パラメータに従って環境内の１人又はそれよりも多くの個人を撮影する命令を受信する段階と、時間パラメータに従って１人又はそれよりも多くの個人を撮影して１つ又はそれよりも多くの写真をもたらす段階とを含む。【選択図】      図６
2016522465.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、
第１のパラメータに従って前記環境内の１人又はそれよりも多くの個人を撮影する命令を受信する段階と、
前記第１のパラメータに従って前記１人又はそれよりも多くの個人を撮影して写真及びビデオのうちの少なくとも一方をもたらす段階と、
を含むことを特徴とする方法。
【請求項２】
前記第１のパラメータは、時間パラメータであることを特徴とする請求項１に記載の方法。
【請求項３】
前記時間パラメータは、予め決められた量の時間、写真が撮影される速度、開始時間、及び終了時間からなる群から選択されることを特徴とする請求項２に記載の方法。
【請求項４】
前記１人又はそれよりも多くの個人を撮影する段階は、撮影される該１人又はそれよりも多くの個人の各々を識別するために少なくとも１つの感覚入力を利用する段階を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記少なくとも１つの感覚入力は、聴覚入力、視覚入力、タッチ入力、及び遠隔デバイス入力からなる群から選択されることを特徴とする請求項４に記載の方法。
【請求項６】
前記１人又はそれよりも多くの個人を撮影する段階は、撮影される該１人又はそれよりも多くの個人の各々を識別するために音の位置と顔面検出又は顔面認識とのうちの少なくとも一方を利用する段階を含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１のパラメータは、前記ロボットデバイスをして写真又はビデオを撮影する個人を検索させ、写真又はビデオを撮影する該ターゲット個人を選択させ、かつ写真又はビデオを取り込みながら動きを通じて該ターゲットを追跡させることを特徴とする請求項１に記載の方法。
【請求項８】
写真及びビデオのうちの少なくとも一方をクラウドにアップロードする段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項９】
写真及びビデオのうちの前記少なくとも一方に対する削除、編集、及びトリミングからなる群から選択されるアクションをユーザが実行することを可能にする段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項１０】
写真及びビデオのうちの前記少なくとも一方をソーシャルメディアウェブサイトにアップロードする段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項１１】
写真及びビデオのうちの少なくとも一方をソーシャルメディアウェブサイトに又は別のデバイスに電子メールするか又は他にデジタルで送信する段階、又は別のデバイスから画像又はビデオを受信する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項１２】
撮影される個人の感情的状態を観察する段階と、
前記観察された感情的状態に応答して、前記個人の好ましい感情的状態を誘発する待ち行列を発する段階と、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項１３】
前記個人の前記好ましい感情的状態は、笑顔であることを特徴とする請求項１２に記載の方法。
【請求項１４】
前記待ち行列は、クラウドから受信したデータから少なくとも部分的に導出されることを特徴とする請求項１２に記載の方法。
【請求項１５】
ユーザから第２のパラメータを受信する段階と、
前記第２のパラメータに従って前記１人又はそれよりも多くの個人を撮影する段階と、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項１６】
前記第２のパラメータは、前記１人又はそれよりも多くの個人の各々の少なくとも１つの写真又はビデオを撮る要求であることを特徴とする請求項１５に記載の方法。
【請求項１７】
前記画像の構成を改良するために撮影される前記個人への要求をブロードキャストする段階、又は該個人から入力を受信する段階を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
前記要求は、前記１人又はそれよりも多くの個人のうちの少なくとも１人に静止のままに留まるように指図することを特徴とする請求項１７に記載の方法。
【請求項１９】
前記１人又はそれよりも多くの個人のうちの少なくとも１人の識別子に対する要求をブロードキャストする段階と、
前記１人又はそれよりも多くの個人のうちの前記少なくとも１人から識別子を受信する段階と、
前記受信した識別子を前記１人又はそれよりも多くの個人のうちの前記少なくとも１人の写真及びビデオのうちの少なくとも一方に関連付ける段階と、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項２０】
前記命令は、前記ユーザから受信されることを特徴とする請求項１に記載の方法。
【請求項２１】
ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスの一部を形成するコンピュータ可読媒体上に存在するコンピュータプログラム製品であって、
前記コンピュータ可読媒体は、プロセッサによって実行された時に、
ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、
第１のパラメータに従って前記環境内の１人又はそれよりも多くの個人を撮影する命令を受信する段階と、
前記第１のパラメータに従って前記１人又はそれよりも多くの個人を撮影して写真及びビデオのうちの少なくとも一方をもたらす段階と、
を含む作動を前記プロセッサに実行させる複数の命令を格納する、
ことを特徴とするコンピュータプログラム製品。
【請求項２２】
前記第１のパラメータは、時間パラメータであることを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項２３】
前記時間パラメータは、予め決められた量の時間、写真が撮られる速度、開始時間、及び終了時間からなる群から選択されることを特徴とする請求項２２に記載のコンピュータプログラム。
【請求項２４】
前記１人又はそれよりも多くの個人を撮影する段階は、撮影される該１人又はそれよりも多くの個人の各々を識別するために少なくとも１つの感覚入力を利用する段階を含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項２５】
前記少なくとも１つの感覚入力は、聴覚入力、視覚入力、タッチ入力、及び遠隔デバイス入力からなる群から選択されることを特徴とする請求項２４に記載のコンピュータプログラム。
【請求項２６】
前記１人又はそれよりも多くの個人を撮影する段階は、撮影される該１人又はそれよりも多くの個人の各々を識別するために音の位置及び顔面認識のうちの少なくとも一方を利用する段階を含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項２７】
写真及びビデオのうちの前記少なくとも一方をクラウドにアップロードする段階を更に含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項２８】
写真及びビデオのうちの前記少なくとも一方に対する削除、編集、及びトリミングからなる群から選択されるアクションをユーザが実行することを可能にする段階を更に含むことを特徴とする請求項２５に記載のコンピュータプログラム。
【請求項２９】
写真及びビデオのうちの前記少なくとも一方をソーシャルメディアウェブサイトにアップロードする段階を更に含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項３０】
写真及びビデオのうちの前記少なくとも一方をソーシャルメディアウェブサイトに電子メールする段階を更に含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項３１】
撮影される個人の感情的状態を観察する段階と、
前記観察された感情的状態に応答して、前記個人の好ましい感情的状態を誘発する待ち行列を発する段階と、
を更に含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項３２】
前記個人の前記好ましい感情的状態は、笑顔であることを特徴とする請求項３１に記載のコンピュータプログラム。
【請求項３３】
前記待ち行列は、クラウドから受信したデータから少なくとも部分的に導出されることを特徴とする請求項３１に記載のコンピュータプログラム。
【請求項３４】
ユーザから第２のパラメータを受信する段階と、
前記第２のパラメータに従って前記１人又はそれよりも多くの個人を撮影する段階と、
を更に含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項３５】
前記第２のパラメータは、前記１人又はそれよりも多くの個人の各々の少なくとも１つの写真を撮る要求であることを特徴とする請求項３４に記載のコンピュータプログラム。
【請求項３６】
前記１人又はそれよりも多くの個人のうちの少なくとも１人に静止に留まる要求をブロードキャストする段階を更に含むことを特徴とする請求項３４に記載のコンピュータプログラム。
【請求項３７】
前記１人又はそれよりも多くの個人のうちの少なくとも１人の識別子に対する要求をブロードキャストする段階と、
前記１人又はそれよりも多くの個人のうちの前記少なくとも１人から識別子を受信する段階と、
前記受信した識別子を前記１人又はそれよりも多くの個人のうちの前記少なくとも１人の写真及びビデオのうちの少なくとも一方に関連付ける段階と、
を更に含むことを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項３８】
前記命令は、前記ユーザから受信されることを特徴とする請求項２１に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願への相互参照〕
この出願は、これによりその全体が引用によって組み込まれる２０１３年３月１５日出願の米国特許仮出願番号第６１／７８８，７３２号の利益を主張するものである。
【０００２】
本出願は、一般的に永続性コンパニオンデバイスに関する。特に、本出願は、デバイスとの感情的な関与及び／又はアプリケーション、コンテンツ、サービス、又はコンパニオンデバイスのユーザのコンパニオンデバイスとの対話に関する長期的データ収集に関連付けられた感情的な関与を提供するために、個人の環境に継続して存在してコンパニオンデバイスのユーザと対話するようになったコンパニオンデバイスを提供するための装置及び方法に関する。
【背景技術】
【０００３】
スマートフォン及びタブレットコンピュータのようなデバイスは、ネットワーキング機能、高精細ビデオ、タッチインタフェース、及びアプリケーションのような益々増大する機能を有するが、そのようなデバイスは、デバイスとの対話から交友の利益又は強化された感情的体験を提供するような人間のユーザに関与するそれらの機能が制限されている。交友を提供するための改良されたデバイス及び関連の方法及びシステムに対する必要性が存在する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願第２００９／００５５０１９  Ａ１号明細書
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の開示は、デバイスとの感情的な関与及び／又はアプリケーション、コンテンツ、サービス、又はコンパニオンデバイスのユーザのコンパニオンデバイスとの対話に関する長期的データ収集に関連付けられた感情的な関与を提供するために、個人の環境に継続して存在してコンパニオンデバイスのユーザと対話するようになったコンパニオンデバイスを提供するための方法及びシステムに関する。デバイスは、関連のハードウエア、ソフトウエア、及び他の構成要素と対話して本明細書で更に説明するような広範囲なアプリケーションのための豊富な対話を提供するシステムの一部とすることができる。
【０００６】
例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、時間パラメータに従って環境内の１人又はそれよりも多くの個人を撮影する命令を受信する段階と、時間パラメータに従って１人又はそれよりも多くの個人の写真を撮影して１つ又はそれよりも多くの写真をもたらす段階とを含む。
【０００７】
例示的かつ非制限的実施形態により、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスの一部を形成するコンピュータ可読媒体上に存在するコンピュータプログラム製品において、複数の命令が格納されたコンピュータ可読媒体は、プロセッサによって実行された時に、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、時間パラメータに従って環境内の１人又はそれよりも多くの個人を撮影する命令を受信する段階と、時間パラメータに従って１人又はそれよりも多くの個人の写真撮影をして１つ又はそれよりも多くの写真をもたらす段階とを含む作動をプロセッサに実行させる。
【０００８】
例示的かつ非制限的実施形態により、方法は、ユーザの環境の存続するようになったテレプレゼンスデバイスを与える段階と、期間にわたるデバイスとユーザの間の対話を表すデータを含むデバイスからの長期的データを収集する段階とを含む。
【０００９】
別の例示的かつ非制限的実施形態により、方法は、個人の環境に連続的に存続してコンパニオンデバイスの遠隔ユーザの制御に応答して個人と対話するようになった遠隔通信対応遠隔制御ロボットデバイスを与える段階と、環境内の個人の少なくとも１人とコンパニオンデバイスの遠隔ユーザとのコンパニオンデバイスを用いた対話に関するデータを収集するための長期的データ収集設備を与える段階とを含む。
【００１０】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続してユーザと対話するように適応されてアニメートユーザインタフェースを含むテレプレゼンスデバイスを与える段階と、デバイスを利用してユーザインタフェースを通じてユーザからのデータを収集する段階とを含む。
【００１１】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続し、かつユーザとのアニメート対話を模擬するユーザインタフェースを通じてユーザと対話するようになった遠隔通信対応ロボットデバイスを与える段階と、デバイスを手持ち携帯可能であるように適応させてユーザの環境を通してユーザがデバイスを移動することを補助する段階と、安定化設備を用いてユーザの環境内の非平坦面上にデバイスを安定的に位置決めするようにデバイスを適応させる段階とを含む。
【００１２】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境の存続するようになったテレプレゼンスデバイスを与える段階と、デバイスとユーザ間の対話を表すデータを含むデバイスからの長期的データを収集する段階と、収集したデータに少なくとも一部基づいて対話の質を高めるための機械学習設備を与える段階とを含む。
【００１３】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、デバイスとユーザ間の対話を表すデータを含むデバイスからの長期的データを収集する段階と、デバイスとユーザ間の対話の成功の尺度を決定し、かつ機械学習設備の適用に基づいて対話を適応させる段階と、成功の尺度に対する影響を反復的に決定する段階と、期間にわたって対話を改善する段階とを含む。
【００１４】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階を含み、デバイスは、ユーザの環境に典型的な少なくとも１つの非平坦面を含む複数の面に安定的に位置決めされるようになっており、デバイスは、ユーザの環境を通して手持ち携帯可能であるように適応される。
【００１５】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階を含み、デバイスは、ユーザの環境の社会的手掛かりを絶えず知覚するようになっており、デバイスは、手持ち携帯可能であるように適応される。
【００１６】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続し、かつユーザとの社会的でアニメート様の対話を提供するユーザインタフェースを通じてユーザと対話するようになった遠隔通信対応ロボットデバイスを与える段階と、デバイスを手持ち携帯可能であるように適応させてユーザの環境を通してユーザがデバイスを移動することを補助する段階と、ユーザの環境内の非平坦面上にデバイスが安定的に位置決めされることを可能にするように安定化設備を用いてデバイスを適応させる段階と、ユーザの環境から社会的手掛かりデータを収集するためのロボットデバイスの社会的データ収集モジュールを与える段階とを含む。
【００１７】
そのような実施形態により、社会的データ収集モジュールは、ユーザの社会的動作を示すセンサデータ、ユーザの社会的顔面表情を示すセンサデータ、ユーザの社会的発話を示す音声認識データ、ユーザの環境内の他の個人のプレゼンスを示す動きデータ、ロボットデバイス上のユーザによる社会的タッチの使用を示すタッチデータ、及びユーザの環境から遠隔の個人からの社会的通信を示す通信データからなる群から選択されるデータを選択する。
【００１８】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザからの複数の言語信号及び非言語信号をデバイスで受信する段階と、複数の受信言語信号及び非言語信号に応答してデバイスの挙動を適応させる段階とを含む。
【００１９】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザからの複数の言語信号及び非言語信号をデバイスで受信する段階と、複数の受信言語信号及び非言語信号に応答してデバイスの挙動を適応させる段階とを含み、適応は、適応のライブラリに基づいており、適応は、ユーザとのデバイスのラポールを改善する可能性が高いとしてユーザからの言語及び非言語信号によって示された対話のタイプを決定することに基づいてライブラリから選択され、適応は、機械学習設備にラポールの尺度を給送し、かつ機械学習設備の制御下でユーザとのデバイスの対話を適応させることによって改善される。
【００２０】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、デバイスを通じて個別のデバイスペルソナをユーザに表現する段階とを含む。
【００２１】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスロボットデバイスを与える段階と、ロボットデバイスにペルソナを提供するようになった個別のロボットデバイス機能を各モジュールが有効にするロボットデバイスの複数のペルソナモジュールを有効にする段階と、ユーザの少なくとも１つの特質を決定する段階と、決定した特質に基づいてロボットデバイスのペルソナを選択する段階及び適応させる段階のうちの少なくとも一方とを含み、ペルソナモジュールは、ロボットデバイスの発話のボリューム、ロボットデバイスの発話のパターン、ロボットデバイスによって使用される社会的表現のライブラリ、ロボットデバイスによって使用される動作のライブラリ、ロボットデバイスのアニメーションの外見、ロボットデバイスによって使用されるコンテンツのライブラリ、及びユーザの環境内の社会的手掛かりに対するロボットデバイスの応答性のうちの少なくとも１つを制御する。
【００２２】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、育成する要求を含む１つ又はそれよりも多くの社会的手掛かりをデバイスから送信する段階と、１つ又はそれよりも多くの社会的手掛かりに応答して、１つ又はそれよりも多くの育成応答をユーザから受信する段階とを含む。
【００２３】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、ユーザによるデバイス育成挙動を各手掛かりが勧める１つ又はそれよりも多くの手掛かりをデバイスから送信する段階とを含む。
【００２４】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、デバイスのユーザ、デバイスのユーザのコンパニオンデバイスとの対話、及びデバイスのユーザの環境のうちの少なくとも１つに関する情報を収集するための感知設備及びデータ収集設備のうちの少なくとも一方を与える段階と、収集した情報に基づいてユーザの必要性状態を予想する段階とを含む。
【００２５】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、デバイスのユーザ、デバイスのユーザのコンパニオンデバイスとの対話、及びデバイスのユーザの環境のうちの少なくとも１つに関する情報を収集するための感知設備及びデータ収集設備のうちの少なくとも一方を与える段階と、収集した情報を分析してユーザの必要性状態を予想して決定する段階と、決定された必要性状態に対処するようにロボットデバイスの挙動を適応させる段階とを含む。
【００２６】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザの必要性のエリアを識別する段階と、テキストベースメッセージの送信及びソーシャルメディアサイトへの接続のうちの少なくとも一方を通じて必要性のエリア内の家族及び友達のうちの少なくとも一方の接続をユーザに与える段階とを含む。
【００２７】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、ユーザの必要性のエリアを識別する段階と、家族及び友達のうちの少なくとも一方の接続をユーザに与える段階と、必要性のエリアをソーシャルネットワーキング環境内の少なくとも一方の家族又は友達に通信する段階とを含み、通信は、ロボットデバイスの遠隔通信機能を通じてユーザと対話する勧誘を含む。
【００２８】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになったテレプレゼンスデバイスを与える段階と、ユーザの必要性の感情を識別する段階と、少なくとも１つのトリガを実行して感情的必要性に関連付けられたアンカーをトリガする段階とを含む。
【００２９】
別の例示的かつ非制限的実施形態により、方法は、ユーザの環境に存続するようになった遠隔通信対応ロボットデバイスを与える段階と、データ収集設備及びセンサのうちの少なくとも一方を使用してユーザの感情的状態を示すデータを収集する段階と、収集したデータを分析して感情的状態に基づいてユーザの感情的必要性を識別する段階と、識別した感情的必要性に関連付けられたロボットデバイスのアンカー挙動をトリガする段階とを含む。
【００３０】
図は必ずしも縮尺通りに描かれておらず、同じ数字は、いくつかの図面を通じて実質的に類似の構成要素を表すことができる。異なる添え字を有する同じ数字は、実質的に類似の構成要素の異なる事例を表すことができる。図は、一般的に制限ではなく一例として本文書に説明するある一定の実施形態の詳細説明を示している。
【図面の簡単な説明】
【００３１】
【図１】例示的かつ非制限的実施形態によるＰＣＤの多くの図を示す図である。
【図２】例示的かつ非制限的実施形態によるＰＣＤのソフトウエアアーキテクチャを示す図である。
【図３】例示的かつ非制限的実施形態による精神社会的対話モジュール（ＰＳＩＭ）のアーキテクチャを示す図である。
【図４】例示的かつ非制限的実施形態によるＰＣＤによる挨拶対話の単純化されたバージョンを示すタスクネットワークを示す図である。
【図５】例示的かつ非制限的実施形態によるＰＣＤのハードウエアアーキテクチャを示す図である。
【図６】例示的かつ非制限的実施形態によるＰＣＤの機械的アーキテクチャを示す図である。
【図７】例示的かつ非制限的実施形態による電話応対及びメッセージングサービスを提供する方法を示す流れ図である。
【図８】例示的かつ非制限的実施形態によるＰＣＤによって物語を中継する方法を示す流れ図である。
【図９】例示的かつ非制限的実施形態によるＰＣＤの使用によるユーザの感情的状態を示す及び／又は左右する方法を示す流れ図である。
【図１０】例示的かつ非制限的実施形態によるＰＣＤによる物語演技又はアニメーション機能を有効にする方法を示す流れ図である。
【図１１】例示的かつ非制限的実施形態による経歴を生成及び符号化する方法を示す流れ図である。
【図１２】例示的かつ非制限的実施形態による対話データにアクセスしてそれを使用してユーザの必要性に対処する方法を示す流れ図である。
【図１３】例示的かつ非制限的実施形態によるユーザ入力に基づいてＰＣＤの挙動を調節する方法を示す流れ図である。
【発明を実施するための形態】
【００３２】
例示的かつ非制限的実施形態により、個人／ユーザの環境に連続的に存続してコンパニオンデバイスのユーザと対話するための永続性コンパニオンデバイス（ＰＣＤ）を提供して説明する。以下に詳しく説明するように、ＰＣＤは、動き、グラフィック、音、光、臭いで表現することができる個別のペルソナを有する永続的社会的プレゼンスを提供する。ＰＣＤの各実施形態に付随する「デジタル魂」の概念を以下に詳しく説明する。本明細書で使用する「デジタル魂」は、ＰＣＤによるアクションを決定及び実行するための入力として機能するデジタルフォーマットで格納することができる複数の属性を指す。本明細書で使用する「環境」は、ＰＣＤのセンサによるユーザの観察を可能にするのに十分ユーザに近い範囲のユーザの物理的な環境を指す。
【００３３】
このデジタル魂は、ユーザがＰＣＤの対話／インタフェースに付随する社会感情的／個人間感覚を通じて社会的対話及びラポール構築活動に関わるように作動する。以下に詳しく説明するように、ＰＣＤ１００は、そのユーザのために様々な機能を実行することができる。以下に詳しく説明する例示的かつ非制限的実施形態により、ＰＣＤは、（１）人々／ユーザ間のより意味のある参加型の物理的に組み込まれた社会的状況の対話を促進及びサポートすることができ、（２）以下に限定されるものではないが、有用な情報をユーザに与える段階と、写真家として挙動するような特定のサービスのスケジューリング、リマインディング、提供を補助する段階とを含む個人的なサービスを提供するアシスタント又は何かとしてＰＣＤが作動する実用的なタスクの成果に従事して家族物語及び知識（特別なレシピなど）などを家族が生成／保存／共有することを補助することができ、及び（３）ユーザを楽しませ（例えば、物語、ゲーム、音楽などのメディア又はコンテンツ）、かつ同伴及び親交を提供することができる。
【００３４】
例示的かつ非制限的実施形態により、以下に制限されないが以下を含む複数の作動のモードを通じてＰＣＤの様々な機能を達成することができる。
ｉ．擬人化されたインタフェースを通じて、改善した交友関係を提供するように時間と共に適応させることができる特徴を含む様々な性格の特質を任意的に表現する作動。
ｉｉ．表現豊かな温かい人間らしいインタフェースを通じて情報、並びに感情を伝えることができる作動。以下に説明するように、そのようなインタフェースは、顔面表情（アニメーション又は動きのいずれかによる）、身体の動き、グラフィック、音、発話、色、光、臭いなどを含むいくつかの手掛かりを通じて感情、情緒、及び性格を表現することができる。
ｉｉｉ．複数のソース（センサ、データ、他のデバイスからの情報、インターネット、ＧＰＳ、その他）にわたる前後関連の長期的な情報の収集を通じて、ユーザに適合するようにＰＣＤを益々調整し、適応させ、更に調節する作動。
ｉｖ．ユーザの必要性／要求に最良適合するように適応自己構成／自己治癒を通じた作動。
ｖ．特定の状況及びそのユーザの社会的及び感情的な特異性の考慮を通じた作動。
【００３５】
図１を参照すると、例示的かつ非制限的実施形態によるＰＣＤ１００のいくつかの図が示されている。図示のように、ＰＣＤ１００は、例えば、容量性センサ１０２を含む複数の例示的な入力／センサデバイスを組み込んでいる。１つ又はそれよりも多くの容量性センサ１０２は、以下に限定されるものではないが、ストローク、ハグ、又はタッチなどを含む物理的な社会的対話を感知することができ、ユーザインタフェースとして任意的に機能することができる。ＰＣＤ１００は、ユーザから入力を受信し、並びにユーザへのＰＣＤ１００によるデータの出力のためのグラフィックディスプレイとして機能するように構成されたデバイスとしてタッチスクリーン１０４を更に組み込むことができる。ＰＣＤ１００は、以下に限定されるものではないが、静止画像及び映像を含む視覚的性質の入力を受信するための１つ又はそれよりも多くのカメラ１０６を更に組み込むことができる。ＰＣＤ１００は、ユーザから入力を受信するために１つ又はそれよりも多くのジョイスティック１０８を更に組み込むことができる。ＰＣＤ１００は、音声データを発するか又は他に出力するための１つ又はそれよりも多くのスピーカ１１０を更に組み込むことができる。ＰＣＤ１００は、１つ又はそれよりも多くのマイクロフォン１１２を更に組み込むことができる。
【００３６】
ＰＣＤソフトウエアアーキテクチャ
【００３７】
図２を参照すると、例示的かつ非制限的実施形態によるソフトウエアアーキテクチャ２００を描写するブロック図が示されている。このソフトウエアアーキテクチャ２００は、個人工知能、機械学習、及びロボットの実施形態を通じて、並びに広範囲のアプリケーションにわたって接続されたデバイスを通じて、人々に関わる場合がある感情的に共鳴し易いペルソナとして生きる体験をＰＣＤ１００が提供することを可能にする関連のソフトウエア及びハードウエアシステムのような技術に適応させることができる。
【００３８】
例示的かつ非制限的実施形態により、ＰＣＤ１００に関連付けられた知性は、１つ又はそれよりも多くのカテゴリに分割することができ、個人間のソーシャルコードを機械に符号化することができる。一部の実施形態において、これらの１つ又はそれよりも多くのカテゴリは、ＰＣＤの認知−感情アーキテクチャの基礎とすることができる。１つ又はそれよりも多くのカテゴリは、以下に限定されるものではないが、精神社会的認知、精神社会的学習、精神社会的対話、及び精神社会的表現などを含むことができる。知性の精神社会的認知カテゴリは、個人間の社会的手掛かりの統合機械認知（視覚、聴覚、タッチなど）を含み、ＰＣＤ１００の自然な社会的インタフェース及び遠視野対話をサポートすることができる。精神社会的学習カテゴリは、ＰＣＤ１００が、直接対話を通じて及びＰＣＤ１００及びデバイスエコシステムによって取り込まれたマルチモードデータからのデータ分析を通じて人々のアイデンティティ、活動パターン、プリファレンス、及び関心に関して学習することができるアルゴリズムを含むことができる。ＰＣＤは、近距離又は遠距離通信範囲に入った人々の音声サンプルを記録し、音声識別システムを使用して検出された人々のアイデンティティ及び個人データを取得することができる。ＰＣＤは、ＢＬＥ対応デバイスのディスカバリーチャネルでブロードキャストされたＵＵＩＤを検出し、デバイスユーザに関連付けられた個人データを復号することができる。ＰＣＤは、取得したアイデンティティ及び個人データを使用してＦａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒ、又はＬｉｎｋｅｄＩｎなどのようなソーシャルネットワーキングサイトから追加の個人情報を収集することができる。ＰＣＤは、人々の構築された個人プロファイルのディスプレイと共に近距離又は遠距離通信範囲で検出された人々のプレゼンス及びアイデンティティを公開することができる。
【００３９】
精神社会的対話カテゴリは、タスク及び活動をサポートし、同時に人との信頼及び感情的な絆を構築するラポール構築スキルのような積極的決定処理を全ての言語及び多様式挙動を通じてＰＣＤ１００が実行することを可能にすることができる。知性の精神社会的表現カテゴリは、ＰＣＤ１００がそのマルチモード出力を結集して「生き返らせ」、コンテンツを活性化し、発話、動き、グラフィック、音、及び照明を結集させて感情的に適応したペルソナとして人々に関与することを可能にすることができる。アーキテクチャ２００は、マルチモード機械知覚技術、発話認識、表現的発話合成に対応するモジュール、並びに費用対効果を利用するハードウエアモジュール（すなわち、移動デバイスに共通の構成要素）を含むことができる。図１に示すように、ＰＣＤ１００内に１つ又はそれよりも多くのソフトウエアサブシステムを提供し、これらの１つ又はそれよりも多くのサブシステムを以下に詳しく説明する。
【００４０】
心理社会的知覚
【００４１】
ＰＣＤ１００の心理社会的知覚は、音声入力を処理するために使用することができる聴覚知覚、及びユーザの位置を認めて、ユーザの感情を捉え、ユーザのアイデンティティ及び動作を認識して、ユーザとの対話を維持するために使用することができる視覚空間知覚を含むことができる。ＰＣＤ１００の聴覚知覚は、マイクロフォンのアレイ２０２、２０４のような１つ又はそれよりも多くの信号処理技術及び自動発話認識モジュール２０６を使用して実施することができる。聴覚知覚は、固有の感知設備を備えた移動コンピュータエコシステムに対して生成される構成要素及び技術を利用して対話型ソーシャルロボットの要件を処理することによって実施することができる。ＰＣＤ１００は、マイクロフォンアレイ２０２を使用して発話を通じたマルチモード遠距離対話及び信号処理モジュール２０４ａを使用したノイズ相殺技術、並びに自動発話認識モジュール２０６及び聴覚場面分析によって補助する第三者解決法をサポートするためのハードウエア及びソフトウエアを含むことができる。
【００４２】
ＰＣＤ１００は、ノイズの多い環境で人が話していることを聞き理解するように適応するように構成することができる。これを実行するために、自動発話認識機（ＡＳＲ）モジュール２０６に通す前に信号処理モジュール２０４ａに音声信号を通すことができる。音声信号が処理され、発話を静的及び動的背景ノイズ、エコー、モータから分離して、ＡＳＲの成功率を上げるために他の人が話していることも分離する。
【００４３】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、空間構成において少なくとも４つのＭＥＭＳマイクロフォンのアレイを使用するように構成することができる。音声到着時刻に基づくアルゴリズム（本明細書ではビーム形成アルゴリズムと呼ぶ）を利用して音声を特定の方向に分離することができる。全ての６つのマイクロフォン信号、方向ベクトル、及びマイクロフォンの配置を使用して、ビーム形成アルゴリズムは、特定の空間ソースから来た音声を分離することができる。ビーム形成アルゴリズムは、同時に複数のビームを可能にすることによって複数の音源に関する情報を提供することができる。これに加えて、発話−非発話検出アルゴリズムは、発話源を識別して、スピーカの空間的局所性を提供することができる。一部の実施形態において、方向、並びに方向を変える及び向けるためのモータ機能を選択するために、ビーム形成情報をＰＣＤ１００の視覚及び認識システムに統合することができる。例えば、３Ｄセンサを使用して、３Ｄ空間における個人の頭の位置を検出することができ、それに応じて、方向をビーム形成アルゴリズムに通信して、ＡＳＲモジュール２０６に沿って通過する前に感知された位置から来る音を分離することができる。
【００４４】
作動中に、ＰＣＤ１００は、話す又はノイズを作ることのいずれかによって音を生成することができる。信号処理モジュール２０４ａは、これらの音がマイクロフォンアレイ２０２を通って戻り、ＡＤＲモジュール２０６に入らないように構成することができる。スピーカのノイズを取り除くために、信号処理モジュール２０４ａは、マイクロフォンによって受信される信号からスピーカに送られる信号を取り去ることができるアルゴリズムを利用することができる。高調成分の多いモータノイズを低減するために、機械的方法及び信号処理技術を実施するようにＰＣＤ１００を構成することができる。
【００４５】
一部の実施形態において、ＰＣＤ１００は、モータの異なるポートをモニタしてモータのこれらの部分から発生するノイズに対処することができる。一例において、ＰＣＤ１００は、ブンブンいう音で電機子のベアリングによって発生する場合がある高周波数を吸収することができるエラストマー材料内にモータに設置するように構成することができる。モータは、ブラシを含む場合があり、モータが高速で回転される時だけ知覚される風を切る音を発する場合がある。従って、ＰＣＤ１００は、風を切る音を防ぐために比較的低速でアニメーション及び動きを示すことができる。これに加えて、ＰＣＤ１００は、風を切る音に対してモータの速度を下げることにより、低ギア率を実施するように構成することができる。典型的には、低品質ＰＷＭドライブは、ホビイストのサーボに見出されるような高ピッチのヒューという音を生成する場合がある。モータノイズのこの部分を排除するために、ＰＣＤ１００は、良質のＰＷＭドライブによって構成することができる。一般的に、モータのギアは、モータノイズの大部分を占める低ピッチの粉砕音を引き起こす場合がある。最終的なギアドライブは、動力伝達における大きいトルクを担持する場合があり、従って、多くのノイズの源である。このノイズの元を最小にするために最終的なギアドライブを摩擦ドライブで置換するようにＰＣＤ１００を構成することができる。これに加えて、モータによって生成されるノイズを低減するために信号処理技術を利用するようにＰＣＤ１００を構成することができる。一部の実施形態において、マイクロフォンを各モータの隣に設置して、それによって主マイクロフォンアレイ２０２の信号からノイズ信号を取り去ることができる。
【００４６】
ＰＣＤ１００の音声パイプラインの出力は、ノイズが除去された音声源をＡＳＲモジュール２０６に送ることができ、ＡＳＲモジュール２０６は、発話を文字に、及び可能であれば例えばＡＳＲのｎベスト出力又は単語ラティスを使用して意味のある信頼レベルで充実された代替の競合単語仮定に変換することができる。次に、発話（単語）の文字表現を解析して、ユーザの意図及びユーザが提供する情報を「理解」して最終的には記号表示（構文）に変換することができる。ＡＳＲモジュール２０６は、通常のボリューム及び一般的な個人間の通信距離に対応する距離のユーザからの発話を理解することができる。一例において、周囲のノイズ及び発話の質を含む多数の環境的属性に応答して、距離を５−６フィートに近づけるか又はそれよりも大きくすることができる。一例において、発話認識範囲は、一般的な１２フィート×１５フィートの部屋のエリアを覆わなくてはならない。ＡＳＲモジュール２０６に給送される信号は、マイクロフォンアレイビーム形成アルゴリズムの結果になり、スピーカの周りの約±３０度の音響角度から発生することができる。比較的狭い音響角度は、低下した発話認識精度の主原因である背景の周囲ノイズ及び反響の一部を能動的に低減することができる。音声信号が低すぎるシナリオでは、例えば、マイクロフォンから遠すぎる話者又はあまりにもゆっくり話す話者に起因して、ＰＣＤ１００は、話者により近づくように（例えば、３Ｄセンサによって決定される話者の距離を利用することができる場合）、又はよりも大きい声で話すように、又はこの両方を積極的に話者に要求することができる。一部の実施形態において、ＰＣＤ１００は、文法及び統計的言語モデル（ＳＬＭ）によって大きい語彙認識をサポートすることができるリアルタイムの組み込み式ＡＳＲ解決法を利用するように構成することができる。音響ＡＳＲモジュールは、発話認識率を改善するために音響リグからのデータを使用して訓練／調節することができる。
【００４７】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ＡＳＲモジュール２０６とＰＣＤ１００の対話システムの間に挟み込むことができる自然言語処理層を含むように構成することができる。自然言語処理層は、ＡＳＲによって生成されたテキストを取り上げ、このテキストに意味を割り当てることができる自然言語理解（ＮＬＵ）モジュールを含むことができる。一部の実施形態において、ＮＬＵモジュールは、増補バッカス・ナウア形式（ＢＮＦ）記法、Ｊａｖａ（登録商標）音声文法形式（ＪＳＧＦ）、又は音声認識文法形式（ＳＲＧＦ）のような形式に適応するように構成することができ、上述の組み込み式音声認識器によってサポートすることができる。より多くのユーザ発話が収集されるので、ＰＣＤ１００は、従来の文法を漸次的に統計的文法に変換することができ、高度な音声認識及び理解性能を提供することができ、自動データ駆動適応を可能にする。
【００４８】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、各対話タスクのためのマルチモードダイアログシステムユーザインタフェース設計原理を使用して構造化された対話の流れを（ＰＣＤ１００の頭脳に導入されたタスクネットワーク表現に基づいて）設計するように構成することができる。対話の流れは、マルチモード入力（例えば、音声及びタッチ）を連続して（例えば、一度に１つの入力）又は同時に（例えば、入力を受信した順序で独立して処理される）受信して、マルチモード出力（例えば、音声プロンプト、ＰＣＤの動き、ディスプレイアイコン及びテキスト）を生成するように設計することができる。一例として及び制限としてではなく、ＰＣＤ１００は、イエス／ノーの質問を訊ねることができ、ＰＣＤ１００の眼を１つ又はそれよりも多くのタッチセンサによって選択されるイエス／ノーアイコンを備えた疑問符の形に変えることができる。一部の実施形態において、ＰＣＤ１００は、意図を表すことができる自然言語対話（例えば、おい！写真を撮ろうよ！）を処理するように適応させることができる。一部の実施形態において、対話は、「誘導ダイアログ」方式で続けることができる。例えば、写真を撮影する意図が識別された後に、ＰＣＤ１００は、聞いたことを確認するため又は追加の情報を尋ねる（例えば、あなたは私にあなたを撮影して欲しいの？）ために誘導質問をすることができる。
【００４９】
視覚的−空間的知覚
【００５０】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ＲＧＢカメラ２１２、奥行きカメラ２１４、及び他のセンサのような１つ又はそれよりも多くの視覚的−空間的知覚センサを利用して２Ｄ画像、３Ｄ画像を受信し、又は動き又は色を感知することができる。ＰＣＤ１００は、周囲の環境でユーザの感情知覚を達成するように構成することができる。例えば、ＰＣＤ１００は、各個人の表現された感情的状態を検出することができる。ＰＣＤ１００は、視覚的−空間的知覚サブシステムを含み、ユーザ及び環境の瞬間毎の物理的な状態を追跡することができる。このサブシステムは、ユーザの現在の状態の推定値をローカル知覚スペース（ＬＰＳ）２０８と呼ぶ動的に更新され共有されるデータ構造として他の内部ソフトウエアモジュールに提供することができる。ＬＰＳは、ＰＣＤ１００の現在の位置で中心になる単一３Ｄ座標系における複数の知覚入力ストリームを結合することによって構築することができ、センサを個人の動きを考慮に入れることができる力学的変換を使用して３Ｄに登録することができる。一部の実施形態において、ＬＰＳ２０８は、情報の複数の「レベル」を維持するように設計することができ、各々が、詳細の高レベルに進行して、処理及びキー感覚入力を要求することができる。ＬＰＳ２０８レベルは以下を含むことができる。
【００５１】
個人検出−このレベルは、近くの周囲に存在する個人を検出することができる。例えば、ＰＣＤ１００は、センサを使用して近くの個人の数を計算することができる。一部の実施形態において、システムにおける視覚動き待ち行列を利用して、ＰＣＤ２００を向けることができる。焦電赤外線（ＰＩＲ）感知及び単純なマイクロフォン出力を統合して、マイクロコントローラでウェークアップを実施することができ、それによって本発明のシステムを低電力「スリープ」状態にすることができるが、依然として部屋に入る人に反応することができる。これが視覚動き手掛かり及び色セグメンテーションモデルに結合して、個人のプレゼンスを検出することができる。検出はＬＰＳ２０８に統合することができる。
【００５２】
個人追跡：ＰＣＤ１００は、３Ｄで人を配置するように構成することができ、従って、映像、奥行き、動き、音、色、特徴及び活動的な動きのような個人の軌道をセンサを使用して決定することができる。例えば、視覚動き検出と３Ｄ個人検出の組合せを使用して、ユーザを（特にユーザの頭／顔）を配置することができる。またＬＰＳ２０８は、オクルージョン及び同時に存在する人に対処するために時間モデル及び他の入力を含むように適応させることができる。動き及び３Ｄ手掛かりに加えて、本発明のシステムは、画像からオンラインでカラーセグメンテーションモデル（ナイーブベイズ）を（可動領域及び３Ｄから）学習して、適応的にユーザの顔と手を背景から分離して複数の入力の結果をＬＰＳ２０８の空間及び時間フィルタリングに結合し、本発明のシステムのための堅牢な人位置検出を提供することができる。
【００５３】
個人識別：ＰＣＤ１００は、視覚センサ、聴覚センサ、又は人ＩＤのタッチ入力を使用して、公知の及び未知の人を識別することができる。一例において、１つ又はそれよりも多くのオープンソースＯｐｅｎＣＶライブラリを顔識別モジュールに使用することができる。これに加えて、個人追跡情報及び動き検出を結合して、顔検出の候補である画像領域の制限されたセットを識別することができる。
【００５４】
姿勢／動作追跡：ＰＣＤ１００は、視覚分類（例えば、顔、身体の姿勢、骨格追跡など）、又はタッチマッピングを使用して各個人の姿勢又は姿勢を識別することができる。一部の実施形態において、３Ｄデータセットを使用して、この特徴とＰＣＤ１００のセンサモードを合体することができる。一例において、視覚及び３Ｄ視覚特徴追跡に基づくカスタム動作認識を加速させるためにオープンソース動作認識ツールキットを導入することができる。
【００５５】
注意フォーカス：ＰＣＤ１００は、フォーカスエリアを決定するように構成することができ、それによってＰＣＤ１００は決定されたフォーカスエリアを指す又は見ることができる。様々なセンサを注意フォーカスのための位置／方向のセットに組み合わせることができる。例えば、個人の推定位置はＬＰＳ２０８で注意フォーカス位置のセットを生成することができる。これらは、定められた位置に対する注意ドライブの信頼性を備えた個人の推定に対する最大可能性位置とすることができる。焦点及び方向のセットは、信頼性によって格付けされ、他のモジュールによって使用されるＬＰＳ２０８データの全体的な要約が生成される。ＰＣＤ１００は、これらの焦点及び方向を使用して視線目標を選択し、ユーザに直接対処してシームレスに複数のユーザ間で「視線を反転する」ことができる。更に、これは、ＰＣＤ１００ロボットが低信頼位置を見て近くのユーザのプレゼンスを確認することを可能にする。
【００５６】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、システムにおける活動推定を含むように構成することができ、又は音声入力、並びに音声の韻律からの感情的状態の推定による追跡及び識別のための多くのセンサ様式を組み込むことができる。ＬＰＳ２０８は、処理された入力特徴に対して格子ベースの粒子フィルタモデルを使用して複数の入力からのデータを組み合わせることができる。粒子フィルタは、ＰＣＤの部分における更に別の感知及び作動によって解決すべき十分な不確実性が存在する時に、ユーザの物理的な状態の堅牢なオンライン推定、並びに複数の仮説ケースに対する表現の支援を提供することができる。粒子フィルタリング技術は、ジョイント分配の明示的なクローズフォームモデルを要求することなく、物理的に測定可能なユーザ状況の単一確率的モデルに、関連の属性及び感知入力の混合を自然に結合させることができる。また、格子ベースの粒子フィルタは、単一座標系における３Ｄ（ステレオ）及び２Ｄ（視覚）感知の入力を配合し、スペースがあらゆる予め決められた時間に単に１つの対象によって占められるという制約の施行を補助することができる。
【００５７】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ヒューリスティック提案分布及びヒューリスティック移行モデルを含むように構成することができ、ＰＣＤ１００が直接見ることができない時にも時間と共にモデルユーザ状況の捕捉を補助することができる。これは、ＰＣＤ１００による言語及び非言語手掛かりを使用したマルチパーティ会話のナチュラルターンテーキングを可能にすることができ、粒子フィルタリングフレームワーク内に容易に合わせることができる。この結果、原則に基づく様式で人間中心のヒューリスティックと堅牢な統計的推定を組み合わせることができる。ＬＰＳ２０８は、繰り返される対話から以前の確率分布を学習することができ、個人が、廊下、ドアから、及びカウンタ付近から現れる場合があるスペースの「ホットスポット」に適応して、この空間的情報を使用してユーザに最も関連のある位置を自動的に標的にすることができる。低レベル画像及び信号処理コードをカスタマイズすることができ、ＯｐｅｎＣＶ、統合映像ツールキット（ＩＶＴ）、一般的な数字処理及びプロセッサ固有の最適化ライブラリのためのＥｉｇｅｎのような品質オープンソースツールに基づくことができる。
【００５８】
例示的かつ非制限的実施形態により、喜び、怒り、軽蔑、嫌悪感、恐怖、悲しみ、混乱、欲求不満、及び驚きのような感情の様々なレベルをビデオストリームから認識するようにＰＣＤ１００を構成することができる。一部の実施形態において、ＰＣＤ１００は、頭の位置、性別、年齢、及び誰かが眼鏡を付けている、顔ひげなどがあるか否かを決定するように構成することができる。
【００５９】
例示的かつ非制限的実施形態により、音声入力システムがユーザに向けられる。一部の実施形態において、例えば、ロボットの動き、力学、及び注意方向の推定される３Ｄフォーカスに応答して、リアルタイムで音声ビーム形成機能の方向を更新するようにＰＣＤ１００を構成することができる。これは、関連のある活動的な音声入力がある場合にＰＣＤ１００が選択的に特定の「セクター」を聞くことを可能にすることができる。これは、フル３Ｄ人感知及び注意のフォーカスとの統合によってＡＳＲ及びＮＬＵ機能の信頼性を上げることができる。
【００６０】
空間的確率学習
【００６１】
例示的かつ非制限的実施形態により、空間的確率学習技術を利用して、ユーザがユーザのプレゼンスを入力した時にＰＣＤ１００がより円滑に関与することを補助することができる。時間と共に、ＰＣＤ１００は、ユーザの到着及びジョイントプレゼンスのシーケンスを思い出して定められた部屋のこれらの統計値を蓄積することができる。これは、入室したユーザとの契約規則を予想する機能をＰＣＤ１００に与えることができ、それによってＰＣＤ１００に、定められた期間にセクターの向きを変えさせて部屋の占有者を推測させることができる。例えば、この特徴は、ＰＣＤ１００に限定予想を使用する機能を提供して、ＰＣＤ１００が部屋に入ってくる人を完全に識別することができる前に「おい、ビリーはあなた？」のような対話をサポートすることができる。ＰＣＤ１００は、一日の同じ時間に誰かを見る可能性の高い空間的方向に向くことができる。
【００６２】
心理社会的対話
【００６３】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、完全に自立した人工的なキャラクターとすることができる。ＰＣＤ１００は感情を有することができ、独自の目標を（ユーザ入力に基づいて）選択することができ、クローズループのリアルタイム制御システムを実行して独自の目標を達成し、ユーザを幸せかつ健康に保つことができる。心理社会的対話モジュール（ＰＳＩＭ）は、クローズループの区分化された時間制御システムの上位層であり、センサの出力を処理して出力及び表現のための作動を選択することができる。様々な支援処理がＣＰＵで同時に進行することができ、感覚入力を非同期的に決定モジュールに配信することができる。「チェックマーク」は、決定サイクルであり、ＰＣＤ１００の蓄積されたセンサ情報、現在の短期メモリ／知識及びタスク駆動の意図的状態を結合して、新しい作動及び表現を選択することができる。
【００６４】
図３Ａは、例示的かつ非制限的実施形態によるＰＳＩＭ３００のアーキテクチャを示している。ＰＳＩＭ３００の中核は、他の要素の作動をまとめるエグゼクティブ３０２である。エグゼクティブ３０２は、ＰＣＤ１００の頭脳の定期的な更新を実行する役割をする。ＰＳＩＭ３００の各「チェックマーク」は、新しい指令を以下の様式で心理社会的表現モジュールに出すことに向けて動く処理段階のセットを含むことができる。
【００６５】
内部更新：
ａ．感情の更新
ｂ．目標選択
【００６６】
入力処理：
ａ．心理社会的知覚３０４からの非同期入力がサンプリングされ決定モジュールのブラックボード３０６に更新される。
ｂ．入力は、個人の位置、顔ＩＤサンプル、及び様々なユーザからの解析されたＮＬＵ発話のような情報を含むことができる。
ｃ．ブラックボード３０６として更新する必要がある新しい情報だけがキャッシュのように作動させることができる。
ｄ．これに加えて、現在のタスクに関連する情報を取り込む必要がある。
【００６７】
問合せ処理：
ａ．いずれの知識問合せ作動からの結果も、心理社会的知識ベース３０８からブラックボード３０６にサンプリングされる。
ｂ．これは、現在の決定で使用する問合せ作動の保留処理の結果を収集することができる。
【００６８】
タスクネットワーク３１０：考える／更新する
ａ．エグゼクティブ３０２は、タスクネットワーク３１０の「考える」作動を実行することができ、あらゆる必要な作動及び決定が各レベルで行われる。タスクネットワーク３１０のアクティブノードのセットをこの処理中に更新することができる。
ｂ．タスクネットワーク３１０は、ロボット対話のための階層式コントローラとして作用する状態機械ベースの論理の柔軟性のある形式である。
【００６９】
出力処理：
ａ．特定のブラックボード３０６フレームにロードされた出力は、心理社会的表現モジュール３１２に転送される。
【００７０】
例示的かつ非制限的実施形態により、エグゼクティブ３０２は、タスクネットワーク３１０におけるタスクの非同期ディスパッチの重要なサービスを提供することができる。ネットワーク３１０におけるあらゆるタスクが、あらゆるコンピュータ集中作動を実行するための非同期ディスパッチを要求することによって同時背景スレッドに計算を延期することができる。この特徴は、決定サイクルを「阻止する」又はＰＣＤ１００の決定処理の応答性を変えることなく、膨大な計算及び作動としてのゆっくりとした又は遮るようなネットワークＩ／Ｏのような事柄をタスクネットワーク３１０がまとめることを可能にすることができる。一部の実施形態において、エグゼクティブ３０２は、タスクネットワーク３１０の新しいセクションを生成するプランニング作動をディスパッチすることができ、これらは、製品の知性の成長としてプランニング機能を通じて作動を拡張するために実行ツリーに動的に添付される。タスクネットワーク３１０は、同時階層式有限状態機械（ＣＨＦＳＭ）の形式として想定することができる。しかし、挙動ツリー設計として使用される方法は、個人間の設計者及びソフトウエアエンジニアがコンテンツパイプライン内で対話型の体験を作り上げるために共に働くことを可能にすることに大きい成功を収めた。タスクネットワーク設計は、従来のプログラミング言語におけるタスクの清浄で効率的な実施及び合成を可能にすることができる。
【００７１】
図４は、ＰＣＤ１００による挨拶対話の単純化バージョンを示すタスクネットワークを示している。タスクネットワーク３１０のアーキテクチャは、様々な表現、動き、感知作動及び発話をエンジン内に統合することを可能にして、それによってＰＣＤ１００の対話力学における完全な制御を設計者に与える。図示のように、ネットワークの小さい部分が作動中のあらゆる時間に能動的である。視覚タスクネットワーク表現を使用して、コンテンツ生成の一部として技術的及び設計オーディエンスの両方に通信することができる。この例では、ＰＣＤ１００のＰＩＲセンサがエリアに入ってきた人を検出している。ＰＣＤ１００は、ＰＣＤ１００が誰かに挨拶する必要があるという事実に気付き、「ユーザに挨拶」シーケンスを開始する。この「ユーザに挨拶」シーケンスは、動き手掛かりで追跡を初期化して、次に、「ハロー」と話し掛けることができ、これと同時に近づいてくるユーザの追跡を更新する。ＰＣＤ１００は、映像入力の更新を続けて、ユーザの顔ＩＤを取り込むことができる。このシナリオでは、ＩＤによってＪａｎｅであることが分かり、それによってＰＣＤ１００はシーケンスの次の部分に進み、ＰＣＤ１００が発話を形成して、ジェーンがどうしているかにチェックインすることができ、応答することができるようにＡＳＲ／ＮＬＵ処理ウィンドウを開く。ジェーンが何か言った状態で、知識問合せを使用して、「良い」又は「悪い」に発話を分類することができ、ＰＣＤ１００は、ジェーンに対する適切な身体の及び会話の反応を形成して、ＰＣＤ１００の挨拶を完了することができる。ネットワークは、知性がどのように働くかの概念を伝えることができる。
【００７２】
心理社会的表現
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ＰＣＤ１００の社交的な性質を補完することができるエンジンを含むように構成することができる。例えば、このエンジンは、発話出力を修正するためのタグ付けシステムを含むことができる。このエンジンは、ＰＣＤ１００の音声品質の制御を可能にすることができる。一例において、ＰＣＤ１００の音声を制御するために音声アーティストによって記録を実行することができる。このエンジンは、組み込み式デバイスのための高品質圧縮音声ファイル及び簡単な価格設定モデルのような特徴を含むことができる。ＰＣＤ１００は、身体の関節の回転のアニメーション、グラフィック、形、質感、及び色を提供するためのアニメーションエンジン、ＬＥＤ照明、又は気分カラー、タイミング、及びＰＣＤ１００のいずれかの他の表現態様を含むことができる。これらのアニメーションは、音声手掛かり、発話、臭いのような他の表現出力を伴うことができる。次に、アニメーションエンジンは、異なる速度、移行、及び曲線間でそのアニメーションの全て又は一部を演じることができ、これをリアルタイムで手続きアニメーションに配合する。このエンジンは、異なるＰＣＤモデル、形状、及び自由度に柔軟に適応することができる。
【００７３】
動的ターゲティング
【００７４】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、３Ｄ空間のポイントに手順通りにＰＣＤ１００を向けることができるアルゴリズムを利用するように構成することができる。ＰＣＤ１００の眼は、単一ポイントに固定されているように見えるが、ＰＣＤ１００の本体は、別のアニメーションを再生することができ、又は眼が先導して本体が特定の方向に向くようによることができる。一部の実施形態において、ＰＣＤのルックアット目標を計算するためのクローズ形式の幾何学的ソルバを使用することができる。次に、このターゲット姿勢は、加速制約、加算的配合／階層化、及び模擬ＶＯＲ（前庭動眼反射）のサポートを含むことができるマルチターゲット配合システムに給送される。
【００７５】
シミュレーション
【００７６】
例示的かつ非制限的実施形態により、アニメーションエンジンは、アニメーションと手順アニメーションを仮想的に再生して配合することができるシミュレータを含むことができる。シミュレータは、顔検出のような感覚入力を模擬することができる。一部の実施形態において、ロボットの質量、モータの電力、及びロボットの現在のドローリミットを考慮に入れてアニメーションを実質的にして試験するバーチャルモデルへの物理的シミュレーションを構築することができる。
【００７７】
眼
【００７８】
例示的かつ非制限的実施形態により、個人のグラフィック描写、例えば、ＰＣＤ１００の眼は、関節を使用して作ることができ、眼を変形させたり眼自体を異なる物体にすることができる。眼のグラフィックエンジンは、カスタムアニメーションファイルを使用して、虹彩を異なる形に変形させ、瞬きさせ、色を変え、及び質感を変えて、全ての範囲の表現を可能にすることができる。
【００７９】
グラフィック
【００８０】
ＰＣＤ  ＡＰＩは、２Ｄシーングラフ様式インタフェースにおけるグラフィック、写真、アニメーション、ビデオ、及びテキストの表示をサポートすることができる。
【００８１】
プラットフォーム及びエコシステム
【００８２】
ＰＣＤ１００は、高度に統合された高性能組み込み式Ｌｉｎｕｘ（登録商標）システムに基づいて、移動デバイス「コンパニオン」アプリケーションのエコシステム、クラウドベースのバックエンド、及び購入可能なコンテンツ及び機能を備えたオンラインストアに結合されたプラットフォームである。
【００８３】
ＰＣＤ  ＳＤＫ
【００８４】
ＰＣＤ  ＳＤＫは、第三者の開発者が低学習曲線で機能を追加することができるオープン及び柔軟性プラットフォームを提供するためにＪａｖａｓｃｒｉｐｔ（登録商標）及び最新ウェブ開発コミュニティのオープン言語を利用することができる。ＰＣＤ  ＳＤＫによって生成された全てのＰＣＤアプリケーション、コンテンツ及びサービスは、ＰＣＤアプリケーションストアからダウンロードして利用することができる。ＴＴＳ、知覚認識、ＮＬＵ、アニメーションなどを含むＰＣＤの機能の全ては、ＰＣＤ  ＡＰＩを通じて利用可能になる。このＡＰＩは、ノードＪＳ、Ｖ８の上位に構築されるＪａｖａｓｃｒｉｐｔ（登録商標）プラットフォーム、クロムのオープンソースＪａｖａｓｃｒｉｐｔ（登録商標）エンジンを使用する。ノードＪＳは、高速で効率的なイベント駆動モデルを使用して、ロボットプログラミングに移行する。ノードＪＳは、独創的に大量の機能を備えており、アドオンとして容易に拡張可能である。ＰＣＤのＡＰＩは、ノードＪＳのアドオンになる。アドオンが容易に取り除けるか又は修正されるので、開発者がＰＣＤと対話することができる方法を制御することができる。例えば、開発者は、アウトバウンドソケットを生成することができるが、アウトバウンド接続の数を制限することができる。
【００８５】
クラウドアーキテクチャ
【００８６】
例示的かつ非制限的実施形態により、高度なクラウドベースのバックエンドプラットフォームを使用して、ＰＣＤの知性をサポートすることができ、フレッシュコンテンツを検索して人々がその家族とホットにすることができる。家庭内のＰＣＤデバイスは、Ｗｉ−Ｆｉを通じてクラウドのＰＣＤサーバに接続することができ、ＰＣＤクラウドサーバへのアクセスは、安全性が高く暗号化されたウェブ通信プロトコルに頼る。様々なアプリケーションをｉＯＳ、Ａｎｄｒｏｉｄ及びＨＴＭＬ５に対して開発することができ、多忙のＰＣＤユーザ、介護者及び家族メンバーをサポートすることができる。これらの移動及びウェブアプリケーションにより、ＰＣＤ１００は、常にあなたと共にいることができ、多数のデバイスで、あなたのプリファレンス、必要性、及び関心をより良くサポートする方法を学習しながら支援を提供することができる。図２を参照すると、ＰＣＤ１００は、ＰＣＤ１００を家族に固有にすることができるデータの全てをクラウドにミラーするように構成することができ、それによってユーザは、将来のＰＣＤロボット公開に容易にアップグレードしてユーザが設定したペルソナ及び関係を保存することができる。例えば、ＰＣＤのサーバは、クラウドストレージ２１４にデータを収集して、ＰＣＤロボット及び他の接続されたデバイスからメトリックを計算して、機械学習アルゴリズムがユーザモデル２１６を改善しＰＣＤペルソナモデル２１８を適応させることができるように構成することができる。クラウドストレージ２１４の収集されたデータを使用して、ユーザの共感を呼ぶＰＣＤ特徴を分析して、製品の提供を継続して改良するためにＰＣＤエコシステムにわたる使用パターンを理解することができる。
【００８７】
例示的かつ非制限的実施形態により、クラウドベースのバックエンドプラットフォームは、多数のＰＣＳ間で共有されるように意図されたデータの格納及び分散に使用されるデータベースシステムを収容することができる。クラウドベースバックエンドプラットフォームは、サービスアプリケーションをホストして、人々の識別におけるＰＣＤ（例えば、音声ＩＤアプリケーション）及びソーシャルネットワークとの相互作用を通じて個人マルチモードデータの収集をサポートすることができる。
【００８８】
クラウドベースのサーバ
【００８９】
例示的かつ非制限的実施形態により、１つ又はそれよりも多くのＰＣＤ１００は、圧縮ＪＳＯＮを使用したＲＥＳＴフルベースのウェブサービスを使用してクラウドベースサーババックエンドと通信するように構成することができる。
【００９０】
セキュリティ
【００９１】
例示的かつ非制限的実施形態により、ＯＡＵＴＨ認証モデルと共にゼロ構成ネットワークプロトコルを使用して、アイデンティティを認証することができる。Ａｐａｃｈｅ  ｓｈｉｒｏは、追加のセキュリティプロトコルアラウンドロール及び許可を提供することができる。全ての細心の注意を払うべきデータはＳＳＬを通じて送られる。サーバ側では、コンテンツトークンを取得するためにＯＡＵＴＨを利用した厳密なファイヤウォール構成を使用するデータを保護することができる。これに加えて、クラウドベースのサーバへの全ての呼出しは、有効なコンテンツトークンを有することが望ましい。
【００９２】
コンテンツ配信
【００９３】
例示的かつ非制限的実施形態により、サーバＡＰＩは、定められたＰＣＤデバイスで使用された最後のコンテンツを取得するためにウェブサービス呼出しを含む。このウェブサービスは、保留中のメッセージ全てのリスト、警報、更新されたリスト（例えば、ショッピング、リマインダー、チェックインなど）、及び簡潔でコンパクトなジョブマニフェストにおける他のコンテンツを戻すハイレベル呼出しを提供することができる。次に、ＰＣＤロボットは、その現在のアジェンダに日和見的に基づくそのマニフェストに表された保留中のデータを検索することができる。一部の実施形態において、ＰＣＤの信頼はクラウドにあり、リスト、リマインダー、チェックイン及び他のアプリケーション状態のマスター記録がＰＣＤサーバに格納されることを意味する。ロボットが最新のコンテンツへのアクセスを有するようにするために、ＡＰＩは、頻繁に呼び出されてコンテンツが日和見的に（しかし、タイムリーな方法で）収集される。
【００９４】
ワークフロー管理
【００９５】
例示的かつ非制限的実施形態により、クラウドにオフロードされリアルタイムでは結果を戻さない機能を使用することができる。これは、上述のアジェンダベースのメッセージ待ち行列の概念に密接に結び付けることができる。これに加えて、ＲＥＳＴフルウェブサービスＡＰＩ及びアプリケーションサーバへのディスパッチジョブを通じてサービスに対する要求を可能にすることができるサーバアーキテクチャを伴うことができる。Ａｍａｚｏｎシンプルワークフロー（ＳＷＦ）又は類似のワークフローを使用して、従来のメッセージ待ち行列システムと共にそのようなシステムを実施することができる。
【００９６】
更新
【００９７】
例示的かつ非制限的実施形態により、更新を要求することができるコンテンツは、オペレーティングシステムカーネル、ファームウエア、ハードウエアドライバ、Ｖ８エンジン又はＰＣＤ１００のコンパニオンアプリケーションを含むことができる。これらのコンテンツの更新は、ウェブサービスを通じて利用することができ、ウェブサービスは、利用可能な更新のタイプに関する情報を戻し、特定の項目の要求を可能にする。ＰＣＤがユーザ活動を阻害しないために日和見的になる必要が頻繁にあるので、ロボットは、適用することができる場合は更新を要求することができる。更新を定期的にプルするためにＰＣＤロボットに頼るのではなく、あるタイプの更新の利用可能度をロボットにプッシュすることができる。
【００９８】
ロギング／メトリック
例示的かつ非制限的実施形態により、ＰＣＤ１００はログ情報をサーバに送信することができる。サーバは、このデータを適切な容器（ＳＱＬ又はＮｏＳＱＬ）に格納することができる。データを分析するためにＨａｄｏｏｐ（ＡｍａｚｏｎＭａｐＲｅｄｕｃｅ）及びＳｐｌｕｎｋのようなツールを使用することができる。メトリックは、問合せ可能にすることができ、それによって人々がどのようにＰＣＤ１００と対話して使用するかについて報告を実行することができる。これらの分析の結果を使用して、ＰＣＤがどのように学習、対話、及び挙動するかのパラメータ、及び将来の更新に望ましい場合がある特徴を調節することができる。
【００９９】
機械学習
【０１００】
例示的かつ非制限的実施形態により、様々な訓練システム及びフィードバックループを開発して、ＰＣＤロボット及びクラウドベースのシステムが継続して改良されるようにすることができる。ＰＣＤロボットは、機械学習アルゴリズムを訓練するために使用することができる情報を収集することができる。機械学習のある量をロボット自体で発生させることができ、しかし、クラウド内ではデータを多くのソースから集約して分類子を訓練することができる。クラウドベースのサーバは、ある一定の量のデータを人間のコーダーに送り、正確に聞き取られた、見られた、又は理解された確率の低いコンテンツの曖昧さを排除することによってグラウンドトゥルースを決定することを可能にする。新しい分類子が生成された状態で、新しい分類子を上述の更新システムを通じて送り出すことができる。分類子／予想子の機械学習及び訓練は、監督された、監督されていない、又は強化された学習方法とより複雑なグラウンドトゥルースの人間コーディングとの両方に跨がることができる。訓練信号は、ＰＣＤロボットが、音声、タッチプロンプト、笑った顔、動作のようなユーザによって生成されるタスク又は明示的なフィードバックを達成したという知識を含むことができる。顔及び音声データを含むことができるカメラからの画像を蓄積して使用し、クラウドにおけるそれぞれのシステムの質を改善することができる。
【０１０１】
テレプレゼンスサポート
【０１０２】
例示的かつ非制限的実施形態により、ビデオチャットオプションを含むテレプレゼンス機能を使用することができる。ユーザの安全を保証するためにビデオチャット周りのセキュリティモデルが有効にされる。これに加えて、ビデオチャット機能の許可されていない使用からエンドユーザを保護するために、ロール、許可及びセキュリティインフラストラクチャーを利用するウェブアプリケーション及び移動デバイスアプリケーションを使用することができる。
【０１０３】
ソフトウエアインフラストラクチャー
【０１０４】
ＰＣＤのソフトウエアシステムのハイレベルの機能は、清浄で堅牢な信頼できる開発環境を本出願個人のハイレベルソフトウエアシステムに提供するために、キーライブラリ、ボードサポート、ドライバ及び他の従属関係によってカスタマイズされる堅牢で有能な組み込み式Ｌｉｎｕｘ（登録商標）プラットフォームに構築される。トップレベルの機能的モジュールが、本発明者の組み込み式Ｌｉｎｕｘ（登録商標）システムにおける処理として実施される。ＰＣＤのモジュールインフラストラクチャーは、Ｊａｖａｓｃｒｉｐｔ（登録商標）でのコンテンツ、対話及び挙動の柔軟性スクリプトをサポートしながら言語ライブラリに基づいてＣ＋＋及びＣにおけるタクシング作動をコンピュータでサポートすることを具体的に目標にしている。Ｃ＋＋モジュール及びライブラリとして詰められたキー拡張及びサポートによってＶ８ＪａｖａＳｃｒｉｐｔ（登録商標）エンジン及び成功したノードＪＳプラットフォームに構築される。
【０１０５】
ハードウエアシステムアーキテクチャ
【０１０６】
図５Ａは、ＰＣＤ１００の１つ又はそれよりも多くの機能の知覚性、モータ、接続性、電力、及びコンピュータの必要性をサポートするように設計されるＰＣＤ１００のハードウエアアーキテクチャを示している。一部の実施形態において、ＰＣＤ１００の１つ又はそれよりも多くのハードウエア要素は、ハイエンドタブレット及び他の移動デバイスで使用することができるコアハードウエアの特殊化及び適応である。しかし、形状、動き及びセンサの物理的な実施及び構成は、ＰＣＤ１００に固有である。ＰＣＤ１００の全体的な物理的構造は、本明細書では３リングゼータタイプと呼ぶことができる。ＰＣＤ１００の物理的な構造のそのようなタイプは、ＰＣＤ１００に、清浄で制御可能な魅力的な作動のラインを提供することができる。一部の実施形態において、注意及び感情を伝えるためにキャラクターアニメータを使用することができる原理から構造を導出することができる。ＰＣＤ１００の物理的な構造は、３つのリングの体積、動きの範囲及び必要なセンサ配置に基づいて機械的及び電気的アーキテクチャの境界を定義することができる。
【０１０７】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、動きに対する３つの軸、１つ又はそれよりも多くのステレオビジョンカメラ５０４、マイクロフォンアレイ５０６、タッチセンサ式機能５０８及びＬＣＤディスプレイ５１０のようなディスプレイを含むように構成することができる。動きに対する３つの軸は、感情的な表現及び自然な方法でセンサを向けユーザに付き添う機能をサポートすることができる。ステレオビジョンカメラ５０４は、ビデオ入力、カメラスナップなどを提供するためのユーザの３Ｄ位置及び追跡をサポートするように構成することができる。マイクロフォンアレイ５０６は、ビーム形成音声入力をサポートしてＡＳＲ性能を最大にすることができる。タッチセンサ式機能５０８は、ＰＣＤ１００を友達のようにし、又はユーザインタフェースの形式のようにする代替の対話を可能にすることができる。ＬＣＤディスプレイ５１０は、感情的な表現、並びに動的情報表示をサポートすることができる。周囲ＬＥＤ照明を含むことができる。
【０１０８】
例示的かつ非制限的実施形態により、ハードウエアアーキテクチャ５００を組み込み式制御及びロボットスペースからのＣＯＴＳプロセッサに基づいて移動デバイス及びタブレットスペースからのハイエンドアプリケーションプロセッサに結合することができる電子アーキテクチャを含むように構成することができる。組み込み式コントローラは、動き制御及び低レベルセンサ集約を担うことができ、ソフトウエアスタックの大多数がアプリケーションプロセッサで実行される。製品の電気ボードは、Ｖ１設計では機能毎に分離され、これは、ロボットの物理的な構造に一致するようなモジュール方式を提供することができ、１つのボードにおける設計変更が大きい設計更新に広まる必要性を軽減することができる。一部の実施形態において、電気アーキテクチャは、ハードウエア同期をサポートすることができる２つのモバイル産業ベースの低解像度ＭＩＰＩカメラモジュールを統合することができるカメラインタフェースボードを含むことができ、それによって取り込んだ画像をステレオシステムに対して時間で登録することができる。ステレオカメラは、連続モードでビデオをストリーミングするように設計される。これに加えて、カメラインタフェースボードは、高解像度写真及びビデオ会議のビデオ品質を撮影するための単一ＲＧＢアプリケーションカメラをサポートすることができる。ＲＧＢアプリケーションカメラは、特定の写真撮影、画像スナップ及びビデオアプリケーションに使用されるように設計することができる。
【０１０９】
例示的かつ非制限的実施形態により、ハードウエアアーキテクチャは、マイクロフォンアレイ５０６を運ぶことができるマイクロフォンインタフェースボード、音声処理及びコーデックサポート５１４を含むことができ、音声のデジタルストリームを主アプリケーションプロセッサ５１６に送信することができる。本発明者のコーデック５１４からの音声出力は、音声分離のために本体の別のセクションにあるスピーカ５１８として経路指定することができる。
【０１１０】
例示的かつ非制限的実施形態により、ハードウエアアーキテクチャは、本体の中央セクションに統合することができる本体制御ボード５２０を含むことができ、ＰＣＤ１００のためのモータ制御、低レベル本体感知、電力管理及びシステムウェークアップ機能を提供する。例示的に及び制限としてではなく、本体制御ボード５２０は、産業規格Ｃｏｒｔｅｘ−Ｍ４Ｆマイクロコントローラプラットフォームの周りに構築することができる。これに加えて、アーキテクチャ５００は、コアシステムオンチップ（ＳｏＣ）プロセッサを提供してロボットシステムの残りを互いに結びつけることができるアプリケーションプロセッサボードを含むことができる。一部の実施形態において、ボードは、システムオンモジュール（ＳｏＭ）を使用して、早期にプロトタイプを開発する時間及び費用を最小限にすることができる。一部の実施形態において、アプリケーションプロセッサボードは、コスト低減及び製作を単純化するためにＳｏＣプロセッサを含むことができる。アプリケーションプロセッサボードのキーインタフェースは、ＭＩＰＩカメラ、ディスプレイ、無線通信及び高性能音声をサポートするためのインタフェースを含むことができる。
【０１１１】
例示的かつ非制限的実施形態により、ハードウエアアーキテクチャ５００は、ＰＣＤ１００の電力要件に対応することができる電力管理ボード５２２を含むように構成することができる。電力管理ボード５２２は、電力調節器、バッテリ充電器及びバッテリを含むことができる。電力調節器は、入力電力を調節するように構成することができ、それによってハードウエアアーキテクチャ５００の１つ又はそれよりも多くの要素又はボードは調節された電源を受け入れることができる。バッテリ充電器は、長時間ＰＣＤ１００を作動させることができるようにバッテリを充電するように構成することができる。一部の実施形態において、ＰＣＤ１００は、充電ドック／ベース／クレードルを有することができ、ベースに置かれた時はＰＣＤ１００が内部バッテリを充電することができるように壁のプラグ及びブラインドメイト充電コネクタを組み込んでいる。
【０１１２】
機械的アーキテクチャ
【０１１３】
例示的かつ非制限的実施形態により、ＰＣＤ１００の様々な特徴が、単一デバイスの形式でユーザに提供される。図６Ａは、使い易い方法でユーザに様々な特徴を提供するために望ましいソフトウエア及びハードウエアアーキテクチャを含むように構成することができるＰＣＤ１００の例示的な設計を示している。ＰＣＤ１００の機械的アーキテクチャは、静かな優美さと表現力のために最適化され、材料の費用効率を上げることに着目する。いくつかの十分に成長した市場から最適な要素を注意深く選択してこれをＰＣＤ１００のための固有の組合せに一緒に有してくることにより、固有のデバイスが製造される。図６Ａに示すように、機械的アーキテクチャは、ＰＣＤ１００内の例示的な位置のマイクロフォンボード、主ボード、バッテリボード、本体制御ボード、カメラボードのような様々なボードの配置を示している。これに加えて、１つ又はそれよりも多くの通気口が、ＰＣＤ１００の設計に提供され、冷却効果を与えるための適切な空気の流れを可能にする。
【０１１４】
以下に説明する様々な例示的かつ非制限的実施形態により、ＰＣＤは、プロセッサと通信する複数のセンサを利用してデータを感知する。以下に説明するように、これらのセンサは、プロセッサがタスクを実行するために一連のプログラマブルアルゴリズムを通じて作動する感覚入力の全ての方式を取得するように働く。これらのタスクの達成において、ＰＣＤ１００は、ＰＣＤ１００の一部を形成するローカルメモリに格納されたデータを使用して、サーバのようなリモートに又は有線又は無線モード通信などを通じてクラウドに格納されたデータにアクセスする。同様に、ＰＣＤ１００は、タッチスクリーン、スピーカ、触覚要素のような様々な出力デバイスを使用して、社会的対話に従事しているユーザに情報を出力する。データの作動及び相互作動性、センサ、プロセッサ、及びコンパニオンデバイスに関する通信のモードを詳述する追加の制限ではない開示は、内容が本明細書に引用によって組み込まれる公開米国特許出願第２００９／００５５０１９  Ａ１号明細書に見出だすことができる。
【０１１５】
本明細書に説明する実施形態は、特にＰＣＤ１００とユーザ間の社会的対話を達成するためにそのようなコンパニオンデバイスを適用することができる特徴及び機能の新しいかつ非自明の実施形態を示している。当業者に公知のように、センサデータ及び技術の様々な形式を物理的環境からの社会的手掛かりを認め検出するために使用することができることを理解しなければならない。そのような技術は、以下に限定されるものではないが、音声及び発話認識、視線移動追跡、個人間の姿勢、位置、動きの視覚的検出などを含む。そのような技術に関して説明しているが、本発明の開示は、本明細書に説明する特徴及び実施形態を達成するためにＰＣＤ１００によってデータを取得、処理、及び出力するいずれかの及び全ての方法を網羅するために広義に引用される。
【０１１６】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、移動電話、ＰＤＡ、腕時計などのような移動コンピュータデバイスなどで実行された時に、バーチャルなプレゼンスとして純粋に物理的実施形態で表すことができ、又は物理的／仮想的ロボットの混合モードとして表すことができる。一部の実施形態において、混合モード、物理的、又は仮想的ＰＣＤを駆動するためのソース情報を全て同じ実施形態のように取得することができる。例えば、ＧＵＩインタフェースを通じて入力されデータベースに格納されるソース情報は、機械的ＰＣＤ、並びに仮想ＰＣＤの一部を形成するディスプレイのアニメーション構成要素を駆動することができる。一部の実施形態において、ソース情報は、ＡＩシステムからの出力、リアルタイム感知からの出力、ソースアニメーションソフトウエアモデル、力学的情報モデルなどを含む様々なソースを含む。一部の実施形態において、純粋に仮想のキャラクター（ソース）の挙動に関する単一ソースからデータをプッシュすることができ、次に、物理的ＰＣＤのための物理的、並びに仮想的モードを出力することができる。この方式で、ＰＣＤの実施形態は、純粋に物理的なものから完全に仮想的なもの、両方のいくつかを伴う混合モードに跨がることができる。ＰＣＤ１００は、クラウドに格納することができるコアペルソナを有してコアペルソナとして表現され、ユーザが物理的デバイスによって実行していることを想起させ永続させることができ、それによって仮想ペルソナが、物理的デバイスによって引き起こっていることを思い出して反応することができ、逆の場合も同じである。人は、必要に応じて一方から他方に移る、二重の体験を有するなどのようなクラウドを通じた物理的及び仮想的インスタンスを管理することができる。
【０１１７】
図示のように、ＰＣＤ１００は、一般的に円形リングによって分離される３つの個別の本体セグメントを含む一般的に３部から構成される設計を取り入れる。内部モータなど（図示せず）を通じてリングの周りで各本体セグメントを回転させることにより、ＰＣＤ１００は、その形状を変えて様々な形状因子を達成し、並びにセンサ１０２、１０４、１０６、１０８，１１２によってユーザ及び他の対象を追跡するように構成される。様々な実施形態において、以下に限定されるものではないが、タッチスクリーン１０４の形状、表現本体の動き、特定の表現音及び格納術、話した時の特定の韻律の質及び声の質、デジタルインタフェースの仕様、ＰＣＤ１００の「顔」、フルスペクトルＬＥＤ照明要素などを含むＰＣＤ１００の属性を静的に又は動的に構成することができる。
【０１１８】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、マルチモードユーザインタフェースを利用するように構成することができ、多くの入力及び出力が同時に能動的であるものとすることができる。そのようなタイプの同時インタフェースは、堅牢なユーザ体験を提供することができる。一部の実施形態において、ユーザインタフェース入力又は出力の１つ又はそれよりも多くは、ＰＣＤ１００の比較的小さい最適作動をもたらす環境に応答して妥協することができる。様々なモードを同時に作動することで、ユーザ体験及びデバイスとの対話のフェイルセーフを助け、通信が失われないように保証することができる。
【０１１９】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ＰＣＤ１００のユーザに豊富な体験を提供するために１つ又はそれよりも多くの入力を処理するように構成することができる。ＰＣＤ１００は、ユーザの発話を認識するように構成することができる。例えば、ＰＣＤ１００は、発話から「ウェークアップワード」及び／又は他の機構を識別して、「偽陽性」介入を低減する。一部の実施形態において、ＰＣＤ１００は、ＮｘＭフィートの近距離範囲における発話を認識するように構成することができ、Ｎ及びＭは、発話の音質及びＰＣＤの検出感度によって決定することができる。他の実施形態において、ＰＣＤ１００は、１２フィート×１５フィートの部屋の大きさの範囲を少なくとも覆うＮフィートを超える遠距離範囲の発話を認識するように構成することができる。一部の実施形態において、ＰＣＤ１００は、話された言語よりも音を識別するように構成することができる。ＰＣＤは、ＰＣＤが認識して作動させることができる音から構成される音署名データベースを利用することができる。ＰＣＤは、直接又はクラウドベースの通信を通じて他のＰＣＤデバイスとこのデータベースの内容を共有することができる。例示的に及び制限としてではなく、話された言語以外の音は、ガラスの割れる音、ドアベル、電話の呼び出し音、個人が落下する音、サイレン、銃声、可聴アラームなどに対応する音を含むことができる。ＰＣＤ１００は、ＰＣＤ１００の既存の分類子に一致しない音のソースを識別するようにユーザに求めることによって新しい音を「学習」するように構成することができる。デバイスは、複数の言語に対応することができる。一部の実施形態において、ＰＣＤ１００は、ウェークアップワードで近距離範囲の外側のユーザに対応するように構成することができる。デバイスの視野に入るようにユーザに要求することができる。
【０１２０】
一部の実施形態において、ＰＣＤ１００は、発話入力がいずれかの理由で損なわれた時に使用することができるタッチセンサ式エリアをその面に有することができる。これらのタッチ入力を使用して、ＰＣＤ１００は、イエス／ノーの質問を尋ねるか又はスクリーンにオプションを表示することができ、スクリーン上のユーザのタッチをユーザからの入力と見なすことができる。一部の実施形態において、ＰＣＤ１００は、特に２人又はそれよりも多くのユーザが視界内にいる時に、視覚及び動きを使用して、１個人のユーザを別のユーザと区別することができる。ＰＣＤ１００は、近距離範囲内で、全体の骨格及び動き、並びに一部の共通動作を解釈することができる。これらの動作は、デバイス制御ではなく社会的対話に向けられる。一部の実施形態において、ＰＣＤ１００は、写真及び動画を撮影するためにカメラを含むように構成することができる。一部の実施形態において、ユーザがカメラの定められた範囲にいる時に写真及び動画を撮影するようにカメラを構成することができる。これに加えて、ＰＣＤ１００は、ビデオ会議（ポップイン）サポートするように構成することができる。また、カメラが写真モードにある時に「赤目」を排除するモードを含むようにＰＣＤ１００を構成することができる。
【０１２１】
一部の実施形態において、持ち上げられている、運ばれている、落下しているか否かを決定するようにＰＣＤ１００を構成することができる。これに加えて、磁気探知機を実施するようにＰＣＤ１００を構成することができる。一部の実施形態において、ＰＣＤ１００は、周囲の照明レベルを決定することができる。これに加えて、ＰＣＤ１００は、周囲の照明レベルに基づいて、ディスプレイ及びアクセント照明輝度レベルを適切なレベルに調節することができる。一部の実施形態において、ＰＣＤ１００は、デバイスの位置を見積もるためにＧＰＳを使用する機能を有することができる。ＰＣＤ１００は、住居内の比較上の位置を決定することができる。一部の実施形態において、ＰＣＤ１００は、１つ又はそれよりも多くの受動ＩＲ動き検出センサ（ＰＩＲ）を含み全体の又は遠距離動き検出をサポートするように構成することができる。一部の実施形態において、ＰＣＤ１００は、少なく１つのサーミスタを含み環境の周囲温度を示すことができる。
【０１２２】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、知的で自然な声でユーザに「ワンボイス」英語を話し掛けるように構成することができる。ＰＣＤ１００は、話される声のトーンを変えてアニメ化されたデバイスの感情的状態（ＰＣＤ１００が悲しい時は悲しい音）を模倣するように構成することができる。一部の実施形態において、ＰＣＤ１００は、発話、高忠実度音楽及び音効を再生することができる少なくとも１つのスピーカを含むように構成することができる。一部の実施形態において、ＰＣＤ１００は、複数のスピーカ、一方は発話のために、一方は音楽のためのもの、及び／又は特別な可聴信号及びアラームのための追加のスピーカを有することができる。発話専用スピーカは、ユーザに向けて配置することができ、音声周波数反応に合わせることができる。音楽専用スピーカは、フル周波数反応に合わせることができる。ＰＣＤ１００は、トゥルーカラー、フルフレームレートディスプレイを有するように構成することができる。一部の実施形態において、表示されたアクティブ画像を少なくとも直径４−１／２のラウンド（マスク）にすることができる。一部の実施形態において、ＰＣＤ１００は、最小３度の動きの自由度を有することができ、環境の３６０度センサカバー範囲及び人間のような姿勢及び動きの範囲（表現に富む作動線）を可能にする。ＰＣＤ１００は、音、発話、アクセント照明、及びディスプレイグラフィックに物理的アニメーションを同期させるように構成することができる。この同期は、個人間の知覚にシームレスであるように十分近づけることができる。一部の実施形態において、ＰＣＤ１００は、周囲の通知及び社会的対話の両方のためのアクセント照明を使用することができる指定されたエリアを有することができる。デバイスの形式に応答して、ＰＣＤ１００のカメラが写真又は動画取り込みモードである時に、アクセント照明は被写体を照らすことを補助することができる。一部の実施形態において、ＰＣＤ１００は、カメラが写真取り込みモードにある時に被写体を自動的に照らすカメラフラッシュを有することができる。また、アクセント照明が対象の照明を達成するために良い場合もある。これに加えて、ＰＣＤ１００は、カメラが写真取り込みモードにある時に「赤目」を排除するモードを有することができる。
【０１２３】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ユーザを識別及び追跡することができる。一部の実施形態において、ＰＣＤ１００は、個人が近距離範囲に入った時に通知することができる。例えば、近距離範囲を１０フィートとすることができる。別の実施形態において、ＰＣＤ１００は、個人が遠距離範囲に入った時に通知することができる。例えば、変距離範囲を１０フィートとすることができる。一部の実施形態において、ＰＣＤ１００は、ビデオ（顔面認識）、奥行きカメラ（骨格特徴適合）、及び音（声ＩＤ）の組合せにより、最大５個人の異なるユーザを識別することができる。一部の実施形態において、「学習」ルーチンがＰＣＤ１００によって使用され、ＰＣＤ１００が認識することができるユーザを学習する。一部の実施形態において、ＰＣＤ１００は、ビデオ、奥行きカメラ、及び聴覚情景分析の組合せにより、近距離範囲の全３６０度のユーザを配置し及び追跡することができる。一部の実施形態において、ＰＣＤ１００は、１０フィートの遠距離範囲の全３６０度のユーザを配置し及び追跡することができる。一部の実施形態において、ＰＣＤ１００は、ユーザが近距離範囲にいる場合は必ず異なるユーザのそれ自体に対する位置の内部マップを維持することができる。一部の実施形態において、ＰＣＤ１００は、ＰＣＤ１００からユーザが更に離れた時に機能レベルが低下する場合がある。一部の実施形態において、ＰＣＤ１００のフル機能をＰＣＤ１００の近距離範囲のユーザに利用可能にすることができる。一部の実施形態において、ＰＣＤ１００は、ユーザの気分及び反応を追跡するように構成することができる。一部の実施形態において、ＰＣＤ１００は、ビデオ分析、骨格追跡、発話韻律、ユーザ語彙、及び言語の疑問（すなわち、デバイスが「元気？」と尋ね反応を解釈する）の組合せにより、ユーザ又はユーザの群の気分を決定することができる。
【０１２４】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、感情的な内容をアニメーションに配合するために人間のソーシャルコードによってプログラムすることができる。特に、ユーザ表現の知覚された感情的内容に基づいて、完全に自律的な方式で出力の感情的な内容を適切に調節するためにプログラム知性をＰＣＤ１００に適用すべきである。ＰＣＤ１００は、発話、照明、動き、及び音効の組合せにより、感知されるユーザの気分の改善を試みるようにプログラムすることができる。ＰＣＤソーシャルコードは、ユーザとのラポールを構築する機能を提供することができ、すなわち、ミラー挙動、頭部姿勢の模倣などである。
【０１２５】
例示的かつ非制限的実施形態により、スポーツニュース及びゲーム、天気レポート、ニュース切り抜き、現在のイベントに関する情報などを含む積極的にカスタマイズされたインターネットコンテンツを学習されたユーザプリファレンスに基づく社会的介入方法でユーザに配信し、及び／又はユーザの潜在的な関心を広げる方法として情報及びデータを共有するためのその固有のプリファレンスを開発するようにＰＣＤ１００をプログラムすることができる。
【０１２６】
コンテンツのタイプ及び各個々のユーザが認識していることを各個々のユーザに伝える方法の両方を作り変える機能によってＰＣＤデバイスをプログラムすることができる。
【０１２７】
ユーザプリファレンス及びユーザ反応に基づいて時間と共に個々のユーザへのコンテンツのカスタマイズ化／配信を改良及び最適化する及び配信されたインターネットコンテンツの習性を処理する機能によってＰＣＤデバイスをプログラムすることができる。
【０１２８】
ユーザとの社会的ダイアログに介入して配信された情報がユーザによって理解されたことを確認するようにＰＣＤをプログラムすることができる。
【０１２９】
例示的かつ非制限的実施形態により、ユーザの活動を管理及びモニタするようにＰＣＤ１００を構成することができる。一部の実施形態において、サービスと共に通信デバイス１２２は、ユーザの要求で、ユーザが買い物に出発した状態でユーザに伝えることができる「やること」リスト、食料品、又は他のリストを生成及び格納することができる。一部の実施形態において、ＰＣＤ１００は、リストをユーザに（サービスを通じて）プッシュしてテキスト（ＳＭＳ）メッセージとして移動電話にプッシュすることができ、又は要求時に本発明者のモバイル又はウェブアプリケーションのいずれかのユーザによってプルすることができる。一部の実施形態において、ユーザは、ＰＣＤ１００で音声を通じて、又はサービスを通じたモバイル又はウェブアプリケーションを通じてそのような要求を実行することができる。ＰＣＤ１００は、ユーザと対話してリストを管理することができる（すなわち、購入された／行われた／もう必要ない項目を取り除く、ユーザ履歴などに基づいて追加のリスト項目の提案を実行する）。ＰＣＤ１００は、周囲の会話におけるキーフレーズを聞いて理解する（すなわち、デバイスが「コーヒーを切らしている」を聞いて食料品リストにコーヒーを追加したいか否かをユーザに尋ねる）ことにより、必要性を推測してリストに追加することができる。
【０１３０】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、正しい時間にユーザが生成したリマインダー又はメッセージを提供するように構成することができる。ＰＣＤ１００は、正しい時間にリマインダーを配信するための条件を設定するために使用することができる。一部の実施形態において、リマインダーに対する条件は、「あなたが明日の朝私を初めて見た時」、又は「私の娘が次に、ここに来た時」、又は「あなたが来週の火曜日の午後に初めて私を見た時」のようなリアルタイムの条件を含むことができる。条件セットが満足された状態で、ＰＣＤ１００は、ユーザの注意を引き（「ルックアット」、並びにボディーランゲージ／表現の観点から）適切な声及びキャラクターでリマインダーを配信することができる。一部の実施形態において、ＰＣＤ１００は、リマインダーの気分的な内容を分析して、この情報を使用してそのリマインダーのアニメーション／照明／配信を左右することができる。他の実施形態において、ＰＣＤ１００は、指摘された作動をユーザが実行したか否かをＰＣＤ１００がユーザに尋ねることによってＰＣＤ１００がリマインダーを配信した後にユーザを追跡することができる。
【０１３１】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ユーザが与えることができる要求でユーザの不在をモニタすることができる。例えば、ユーザは、離れる時間及び理由（例えば、「私は今散歩に行こうとする」）、及びユーザが望ましい／要求された時間フレーム内に戻ったことをＰＣＤ１００が保証することができるように活動の予想持続時間を通知することができる。ユーザが指定されたウィンドウ内に戻っていない場合に、ＰＣＤ１００は、この不測の事態に対してユーザによって指定された通りに緊急コンタクトを通知することができる。ＰＣＤ１００は、テキストメッセージを通じて及び／又はモバイルアプリケーションを通じて緊急コンタクトを通知することができる。ＰＣＤ１００は、ユーザが戻った時に活動におけるプレゼンス及びフォローアップを認識することができる（すなわち、活動がどうであったか、又は活動に関する他の質問を尋ねる）。そのようなタイプの対話は、ＰＣＤ１００とユーザ間の社会的対話を可能にすることができ、学習データベースのためのユーザに関する情報の収集を可能にすることができる。ＰＣＤ１００は、チェックアウト／チェックイン時間及び現在のユーザステータスをこの目的のためのユーザによって識別されている家族／友達に表示することができる。これは、モバイルアプリケーションを通じて達成することができる。ＰＣＤ１００は、より深い活動モニタリング／パターンニング／レポーティングを実行することができる。
【０１３２】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、１つ又はそれよりも多くのデータ接続を通じて外部ネットワークに接続するように構成することができる。一部の実施形態において、ＰＣＤ１００は、ＷｉＦｉデータ接続のような堅牢な高帯域幅無線データ接続へのアクセスを有することができる。一部の実施形態において、ＰＣＤ１００は、２．４ＧＨＺ及び５ＧＨｚ帯域の両方における２ｘ２の２ストリームＭＩＭＯ構成による８０２．１１ｎＷｉＦｉ仕様を実施することができる。一部の実施形態において、ＰＣＤ１００は、他のＢｌｕｅｔｏｏｔｈ（登録商標）デバイス（医療センサ、オーディオスピーカなど）に接続することができる。一部の実施形態において、ＰＣＤ１００はＢｌｕｅｔｏｏｔｈ（登録商標）４．０ＬＥ（ＢＬＥ）仕様を実施することができる。ＢＬＥ対応ＰＣＤ１００デバイスは、マルチモードユーザデータを含み他のＢＬＥ対応ＰＣＤ１００デバイスと共有するためにそのＵＵＩＤをカスタマイズするように構成することができる。一部の実施形態において、ＰＣＤ１００は、３Ｇ／４Ｇ／ＬＴＥ又は他のセルラーネットワークへの接続性を有することができる。
【０１３３】
例示的かつ非制限的実施形態により、多数のＰＣＤ１００デバイスは、アドホックネットワーキング技術を使用してメッシュネットワーク構成で構成することができ、クラウドベースのサービスを必要とすることなく直接データ共有及び通信を可能にする。代わりに、複数のＰＣＤ１００デバイス間で共有されるデータは、クラウドベースのデータベース／データセンターにアップロード及び格納することができ、多数のＰＣＤ１００デバイスにブロードキャストするために処理及び準備することができる。クラウドベースのデータサービスは、メッシュネットワーク構成に結合することができ、多数の場所における多数のＰＣＤ１００デバイスのためのローカル及び中央データストレージの両方、共有、及び分散を提供することができる。
【０１３４】
例示的かつ非制限的実施形態により、コンパニオンアプリケーションは、ＰＣＤ１００に接続するように構成することができる。一部の実施形態において、コンパニオンアプリケーションは、以下のプラットフォーム、すなわち、ｉＯＳ、Ａｎｄｒｏｉｄ、及びウェブで利用することができる。コンパニオンアプリケーションは、特徴又は機能にアクセスするために３より多い対話を必要としない直感的で使い易いユーザインタフェース（ＵＩ）を含むことができる。コンパニオンアプリケーションは、ＰＣＤ１００の仮想の対応物へのアクセスをユーザに提供することができ、それによってユーザは、この仮想の対応物にアクセスして本物のＰＣＤ１００と対話することができる。
【０１３５】
一部の実施形態において、ユーザは、お買い物リスト、ＰＣＤ１００の活動ログのような情報にコンパニオンアプリケーションを通じてアクセス可能である。コンパニオンアプリケーションは、ユーザにＰＣＤ１００のローカルのユーザ活動の長期的な報告を示すことができる。一部の実施形態において、コンパニオンアプリケーションは、ユーザをビデオ及び音声を通じてＰＣＤ１００に接続することができる。これに加えて、コンパニオンアプリケーションは、ある条件（例えば、ローカルユーザが予想より遅れてチェックインし、騒がしい騒音がある及びローカルユーザが反応しないなど）をユーザに非同期に警告することができる。
【０１３６】
一部の実施形態において、１群のデバイスにわたる接続性又は制御を可能にするための管理／配備アプリケーションをウェブプラットフォームで利用することができる。管理アプリケーションのＵＩは、詳細な報告、設定、配備、及び／又はサポート機能への迅速なアクセスを必要とすることがある病院／介護の管理者又は購入者に対応することができる。また、家族が、管理アプリケーションを使用してＰＣＤ１００デバイスの管理されたセットを通じて格納された情報にアクセス可能である。管理アプリケーションは、ある条件（例えば、ローカルユーザが予想よりも遅れてチェックインし、騒がしい騒音があった、及びローカルユーザが反応しないなど）を管理者に非同期に警告することができる。これに加えて、管理アプリケーションは、その管理するデバイスの部分集合又は全てにわたってメッセージ及びリマインダーをブロードキャストすることができる。
【０１３７】
例示的かつ非制限的実施形態により、サポートコンソールは、ＰＣＤ１００のスタッフが１つ又はそれよりも多くのデバイスをモニタ／サポート／診断／配備することを可能にすることができる。サポートコンソールは、ウェブプラットフォームで利用することができる。一部の実施形態において、サポートコンソールは、固有の製造番号、所有者、機関配備セット、ファームウエア及びアプリケーションバージョン番号、又は登録されている例外によって識別することができる全ての配備されたＰＣＤデバイスのリストビューをサポートすることができる。一部の実施形態において、サポートコンソールは、製造番号、所有者、機関配備セット、ファームウエア及びアプリケーションバージョン番号、又は登録された例外を含むタグを備えた対話型問合せをサポートすることができる。更に、サポートコンソールは、デバイス診断の実施及び報告をサポートすることができる。
【０１３８】
例示的かつ非制限的実施形態により、サポートコンソールは、新しいファームウエア及びソフトウエアバージョン（プッシュモデル）の配備を補助することができる。またサポートコンソールは、より新しいＮＬＵ、新しいアプリケーションのような配備を補助することができる。サポートコンソールは、顧客サポートシナリオ、サービスの計画されたダウン時間のような事柄を伝えるための部分集合又は全ての配備デバイスへのメッセージのブロードキャストなどをサポートすることができる。一部の実施形態において、サポートコンソールは、ＰＣＤ１００との対話に費やされた時間、アプリケーション／サービスにわたる時間的な機能停止、音声及びビデオ知覚アルゴリズムに対する集約されたヒット／ミス尺度、ログされた作動（データマイニングをサポートするための）、ログされた例外、警報閾値（例えば、サポートコンソールがあなたに叫ばなければならない例外レベル）などを（限定されるわけではないが）含む様々なオンデバイス尺度へのアクセスをサポートしなければならない。
【０１３９】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、テレビ会議に関与することができる。一部の実施形態において、テレビ会議は、いくつかのフレーズ、音などによって開始されるようなＰＣＤ１００の本体又はタッチスクリーン１０４のタッチによるか又は音声トリガを通じてのいずれかで単純なＵＩを通じて実行を開始することができる。一実施形態において、テレビ会議を開始するためにＰＣＤ１００の２つのタッチしか必要ない。一部の実施形態において、呼出しを呼出しスケジューリング／プロンプティング機能の出力として開始することができる。開始された状態で、ＰＣＤ１００は、マイクロフォン１１２及びスピーカ１１０を使用した電話として機能し、ＷｉＦｉ接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）、電話接続又はこれらのある組合せを使用してユーザから音声データを受信及び出力して、電話機能を実行することができる。
【０１４０】
呼出しは、いずれかの標準的な音声呼出しとすることができ、又はビデオ構成要素を収容することができる。そのような対話の間、ＰＣＤ１００は、会話のＰＣＤ１００端のカメラマンとして機能することができる。一部の実施形態において、ＰＣＤ１００をＰＣＤ１０００の周りの部屋を占める家族のような複数のユーザのいるテーブル又は他の社会的集合ポイントの中央に配置することができ、複数のユーザ全てが、呼出し中に立ち上がり、移動し、活動することができる。呼出し中に、ＰＣＤ１００は、望ましい場所にカメラ１０６を向けることができる。一実施形態において、ＰＣＤ１００は、音定位及び顔の追跡を利用して、カメラ１０６をスピーカ／ユーザに向けておくことができる。他の実施形態において、ＰＣＤ１００は、部屋内の人／ユーザによって示すことができる（例えば、「ＰＣＤ、ルビーを見なさい。」）。他の実施形態において、遠くの人が、デバイスを通じて追跡する目標を指定することができ、ＰＣＤ１００は、その目標を自律的に見て追跡する。いずれのシナリオでも、カメラ１０６が入力として受け入れたものが、例えば、スマートフォン、ラップトップ、又はビデオを表示することができる他のデバイスを使用する場合に遠くの参加者に示される。
【０１４１】
デバイスは、複数の言語で理解及び応答することができる。そのような対話の間、ＰＣＤ１００は、音声入力を受信し、プロセッサを通じて入力を翻訳し、及び翻訳した出力を出力することにより、米国の通訳者の例のように、リンクの他の端の人に対する「通訳者」として機能することができる。ＴＶ、ｉＰａｄのようなスクリーンがＰＣＤ１００のある部屋で利用可能である場合に、ＰＣＤ１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉＦｉなどを通じて音声を送信することができ、利用することができる場合に、遠隔参加者のビデオをこのＴＶスクリーンに表示することができる。他に利用することができるスクリーンがない場合に、ＰＣＤ１００は遠隔参加者からの音声を中継することができるが、遠隔ビデオは利用できない。そのような場合に、ＰＣＤ１００は、遠隔参加者の言語を単に中継するだけである。一部の実施形態において、ＰＣＤ１００をアニメーション化することができ、例えば、遠隔参加者が決定された時間休止している場合に瞬きする及び下を向くなどにより、又は遠隔参加者が非常に興奮していることをＰＣＤ１００が感知した場合は小さいダンス又は「シミー」を実行することなどにより、ユーザに反応することができる。
【０１４２】
別の実施形態において、ＰＣＤ１００は、リンクの遠隔端の個人のアバターとすることができる。例えば、タッチスクリーン１０４に表示された眼又は他のエリアは、遠隔参加者の顔の表示バージョン（他の実施形態内では、漫画、画像ベース又はビデオストリームのいずれか）に変形させることができる。表示されたものは格納できＰＣＤ１００にアクセス可能である。他の実施形態において、ＰＣＤ１００は、遠隔ユーザに関連付けられ遠隔ユーザを説明するデータを検索して、アバター体験を拡張するために遠隔ユーザの動き／言語ではない手掛かりを模倣することができる。
【０１４３】
一部の実施形態において、呼出し中に、遠隔又は近くの参加者のいずれかが、参加者の静止画像、ビデオ及び音声クリップの格納と、ＰＣＤ１００カメラビュー、又は説明（例えば、「ＰＣＤ、この番号を覚えて」）に合図を送ることができる。これらのタグ付けされた項目は、適切にメタタグを付けられ、ＰＣＤクラウドに格納される。
【０１４４】
他の実施形態により、ＰＣＤ１００は、要求時に遠隔対話の刺激を助けることができる。例えば、ユーザは、ＰＣＤ１００にゲームを提案するように求めることができ、以下に詳しく説明する接続されたゲームモードを開始し、両方の参加者が同意するまでゲームを提案する。別の例では、ユーザは、話す話題をＰＣＤ１００に尋ねることができる。それに応じて、ＰＣＤ１００は、会話の参加者の共通の興味を標的にする「ＰＣＤイン・ザ・ノウ」データベースにアクセス可能であるか、又は話すことを提案するためにイベントの参加者のＰＣＤカレンダーを探すことができる（例えば、「おばあちゃん、おばあちゃんが先日友達と食べたランチについてルビーに話して。」）。
【０１４５】
スケジューリングアシスタント
【０１４６】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、カレンダー利用可能度、特別な日、及び／又はリンクの他端のプレゼンスの知識（例えば、「あなたのママは今家にいて、彼女の誕生日だけど、ママに電話したい？」）に基づいて呼出しを提案することができる。ユーザは、提案を受け入れることができ、この場合に、ＰＣＤ呼出しアプリケーションが、ＰＣＤ１００と遠隔参加者のＰＣＤ１００、電話、スマートデバイス、又はスカイプアカウントの間で起動される。ユーザは、後で電話するようにスケジュールすることをＰＣＤ１００に求めることによって提案を受け入れることができ、この場合に、スケジューリングアプリケーションはこれをユーザのカレンダーに追加する。
【０１４７】
電話応対及びメッセージング
【０１４８】
例示的かつ非制限的実施形態により、電話応対及びメッセージング機能をＰＣＤ１００によって実施することができる。この特徴は、ＰＣＤ１００に配置された音声又はビデオ電話にも適用され、ＰＣＤ１００は、他のセルラー接続デバイスに対して電話管理サービスを実行しない。図７に関し、例示的かつ非制限的実施形態の流れ図７００が示されている。図示のように、段階７０２で、電話呼出しがＰＣＤ１００に行われた時に、ＰＣＤ１００は、発呼者を部屋内の人に通知することができる。誰も部屋にいない時に、ＰＣＤ１００は、ユーザのカレンダーを検査することができ、ユーザが家にいないことが示された場合に、ＰＣＤ１００は、段階７０４で呼出しをＰＣＤ１００に関連付けられたボイスメールに直接送信することができる。逆に、ユーザが家にいることを示す場合に、ＰＣＤ１００は、段階７０６で、大きい音（ベル、リング、叫び声？）を使用して家内の個人の注意を引く。
【０１４９】
ＰＣＤ１００がそのユーザの注意を引いた状態で、段階７０８で、ＰＣＤ１００は、発呼者を通知し、ユーザが電話を取りたいか否かを尋ねることができる。段階７１０で、ユーザは、単純なタッチインタフェースで、又は理想的には自然言語インタフェースで応答することができる。答えがイエスである場合に、段階７１２で、ＰＣＤ１００は、同期オンデマンドマルチモードメッセージング機能に説明するように電話を接続する。答えがノーである場合に、段階７１４で、呼出しはＰＣＤ１００ボイスメールに送信される。
【０１５０】
発呼者がボイスメールに向けられた場合に、ＰＣＤ１００は、挨拶をしてメッセージを残すように求めることができる。一部の実施形態において、音声又は音声／ビデオ（発呼者がスカイプ又は均等物を使用する場合）メッセージは、後の日付の再生のために記録することができる。
【０１５１】
ユーザが戻り、ＰＣＤ１００が部屋に再度ユーザを検出した状態で、ＰＣＤ１００は、段階７１６で、ユーザにメッセージを通知することができ（「あなたにメッセージがあります」という言語で、又は言語ではなく照明を備えたポンポンで、その他）、聞きたいか否かをユーザに尋ねることができる。イエスである場合に、ＰＣＤ１００は、音声の再生又は上述のようにＴＶ／タブレット／その他で音声／ビデオメッセージの再生のいずれかを実行することができる。
【０１５２】
ユーザは後のためにメッセージをセーブするというオプションを有することができる。ユーザは、ＰＣＤ１００が予め決められた時間後に再度尋ねる場合に、指定された時間、又はただ「後で」のいずれかに再度尋ねるようにＰＣＤ１００に伝えることができる。
【０１５３】
発呼者がＰＣＤ１００に対して未知である場合に、ＰＣＤ１００は、呼出しをボイスメールに向けて、Ｘ番号からの識別されていない呼出しを受けたことをユーザに通知して、記録された場合はメッセージを再生することができる。次に、ユーザは、ＰＣＤ１００に命令して接続／ボイスメールからの番号が前に進むことを効率的に阻止することができる。ＰＣＤ１００は、ユーザが同期させて又は非同期のいずれかで呼出しを戻したいか否かを尋ねることができる。ユーザが受け入れた場合に、ＰＣＤ１００は、ユーザ要求を完了させるために適切なメッセージングモードを起動する。一部の実施形態において、ＰＣＤ１００は、家庭内の他のセルラー又は地上通信線デバイスのための呼出し管理機能を提供することができる。更に他の実施形態において、ＰＣＤ１００は、呼出しに応対して、発呼者にメッセージを残すように会話で示すことができ、従って、個人のアシスタントの役割をする。
【０１５４】
接続された物語読み聞かせ
【０１５５】
例示的かつ非制限的実施形態により、ＰＣＤ１００は接続された物語読み聞かせアプリケーションを組み込んで、遠隔参加者がＰＣＤ１００を有する部屋のローカル参加者にＰＣＤ１００を「通じて」物語を読むことを可能にすることができる。朗読者は、物語を拾いこれを読む処理を通じて仮想ＰＣＤ１００によって案内されるシンプルウェブ又はＡｎｄｒｏｉｄアプリケーションベースのインタフェースを通じて対話することができる。朗読者は、仮想ＰＣＤ１００によって示されたように物語の単語を読むことができる。一部の実施形態において、朗読者の音声が、物理的ＰＣＤ１００によって聞く人に再生され、朗読者がこれを実行するための固有の機能を持たない場合は信じられないほど説得力のある方法でキャラクターの「音声を演じる」ことができるように朗読者の音声に事前設定フィルタが適用される。サウンドトラック及び効果を再生に挿入することができる。朗読者のインタフェースは、聞く個人の「ＰＣＤのアイビュー」ビデオフィードを表示することができ、ＰＣＤ１００は、その「カメラマン」機能を使用して、ビデオに聞く人を引きつけておくことができる。
【０１５６】
物理的ＰＣＤ１００は、適切な時間に短いアニメーションで物語に反応することができ（恐怖の震えなど）、上述のＰＣＤ１００の眼は、物語要素のサポートで異なる形状に変形させることができる。この機能は、ＰＣＤ呼出し機能の内側にラップすることができ、それによって朗読者及び聞く人は、それに関する会話などで物語を解釈することができる。アプリケーションは、朗読者が物語の読み聞かせを中止していることを理解して、朗読者及び聞く人がフィルタ処理せずに会話することができるように機能を停止することができる。代わりに、話者は、物語を事前に記録して、以下に説明する物語リレーアプリケーションを使用して後で再生されるようにスケジュールすることができる。
【０１５７】
ホットライン
【０１５８】
例示的かつ非制限的実施形態により、ユーザは、ＰＣＤ１００を利用して、「プッシュ・ツー・トーク」又は「ウォーキー・トーキー」様式のインタフェースを通じて「イン・ネットワーク」メンバと通信することができる。この特徴は、皮膚又はＰＣＤ１００のスクリーンアイコンにおけるシングルタッチを通じて、又は単純な音声指令「ＰＣＤ１００、ママに伝えて」を通じてアクセス可能である。一部の実施形態において、この特徴は、ＰＣＤ対ＰＣＤ会話だけに制限され、両方のＰＣＤ１００がリンクの端でユーザのプレゼンスを検出した場合にのみ使用することができる。
【０１５９】
物語中継
【０１６０】
図８を参照すると、例示的かつ非制限的実施形態の流れ図８００が示されている。図示のように、段階８０２で、ユーザ／物語語り手は、ＰＣＤ１００が後で再生することができるようにあらゆる時間の物語を記録することができる。物語は、いくつかの方法で記録することができる。
【０１６１】
ＰＣＤ１００により：物語語り手は、再生のために記録するＰＣＤ１００にその物語を話す。
【０１６２】
仮想ＰＣＤ１００ウェブインタフェース又はＡｎｄｒｏｉｄアプリケーションにより：ユーザは、仮想ＰＣＤ１００によってその物語をウェブキャムに話すように案内される。ユーザは、これらのタイプの物語において豊富なアニメーション／音効／背景音楽を取り入れる機会も有する。
【０１６３】
物語が記録された状態で、ＰＣＤ１００は、段階８０４で、語り手によって設定されたスケジューリングプリファレンスに従って物語を再生することができる。聞く人は、スケジュールされた時間に物語を聞くオプションを与えられ、物語を受け入れる、拒否し、又は再スケジュールすることができる。
【０１６４】
実施形態において、物語語り中に、ＰＣＤ１００は、定められた速度で聴く個人の静止写真を撮影することができる。物語が完了した状態で、ＰＣＤ１００は、聞く人が物語語り手にメッセージを返送したいか否かを段階８０６で聴く人に尋ねることができる。ユーザが受け入れた場合に、段階８０８で、ＰＣＤ１００は、「非同期マルチモードメッセージング」機能に入り、１つを有する場合は語り手の物理的ＰＣＤ１００に、又は仮想ＰＣＤ１００ウェブリンクを通じてのいずれかでメッセージを蓄積して送信することができる。聞く人は、リターンメッセージで物語を聞いている聞く人自身の写真を組み込む機会を有することができる。
【０１６５】
写真／メモリメーカ
【０１６６】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、写真／メモリメーカ機能を組み込むことができ、それによってＰＣＤ１００は、イベントに対して写真家の役割を引き継ぐことができる。これには２つのモードがある。
【０１６７】
ＰＣＤスナップモード
【０１６８】
このモードでは、写真に入りたいユーザが一緒に立って「ＰＣＤ、私たちを撮影して」ということができる。ＰＣＤ１００は応答して、次に、言語の手掛かりを使用して、「後に下がって」、「左に動いて」のような手掛かりを使用して１個人の人／複数の人をカメラ画像の中心にもってくる。人が適切に位置した時に、ＰＣＤ１００は人にじっとしておくように伝え、次に、フレーズの並べ替えを使用して笑顔を引き出す（「チーズ」など）。ＰＣＤ１００は顔面表情認識を使用して、個人が笑っていない及び笑顔を引き出そうとするか否かを伝えることができる。画像内の全てのユーザが笑っている時に、ＰＣＤ１００は、必要に応じて自動フォーカス及びフラッシュを使用していくつかの写真を撮影することができる。
【０１６９】
イベント写真家モード
【０１７０】
このモードでは、ユーザが、ＰＣＤ１００に命令して、特定の時間に始まる（又は望ましい場合は「今」）の予め決められた時間量のイベントの写真を撮影することができる。ＰＣＤ１００は、音位置及び顔面認識の組合せを使用して、部屋を見回しユーザ定義の速度で部屋内の個人のスナップ写真を撮影することができる。生成された全ての写真は、ＰＣＤ１００メモリにローカルに格納することができる。
【０１７１】
写真が生成された状態で、ＰＣＤ１００は、写真がＰＣＤ１００クラウドにアップロードされたことをユーザに通知することができる。この時点で、ＰＣＤ１００アプリケーション又はウェブインタフェースを通じて写真にアクセスすることができ、仮想ＰＣＤ１００が、写真の削除、編集、トリミングのような処理をユーザに指導することができる。次に、写真はユーザに電子メールで送られるか又はフェースブックなどに掲示されている。このアプリケーションのこの「アウト・オブ・ザ・ボックス」バージョンでは、写真は、例えば、以下に説明する「リビングレガシー」アプリケーションの一部として１か月無料で提供されるファイリング／メタタギングを備えた永久ストレージを有するＰＣＤ１００クラウドに予め決められた時間だけ保持することができる。
【０１７２】
すなわち、本明細書に説明するように、ＰＣＤ１００は、個人間及び社会的機会の強化を補助するように作動させることができる。一実施形態において、アプリケーション又は「ａｐｐ」は、社会的活動を達成するためにＰＣＤ１００の１つ又はそれよりも多くのインタフェース構成要素にアクセスして作動するように構成することができ、又はそのためにＰＣＤ１００にインストールすることができる。例えば、ＰＣＤ１００は、工場でインストールされたアプリケーションを含むことができ、実行された時に、１つ又はそれよりも多くのパラメータを受信するためにユーザと対話するように作動して、相応にＰＣＤ１００が１つ又はそれよりも多くを撮影する及び格納することに進む。例えば、ユーザは、「このパーティにいる全ての個人の写真を少なくとも１枚撮ってください」とＰＣＤ１００に言うことができる。それに応じて、ＰＣＤ１００は、アクセス可能なゲストリストからパーティゲストのリストを整理して、各ゲストの写真撮影に進むことができる。一実施形態において、ＰＣＤ１００は、個人が本人確認のためにそばを通った時に個人を静止させて尋ねることができ、インスタンスを記録し、個人を撮影することができる。別の実施形態において、ＰＣＤ１００は、ゲストと対話して、写真を撮るためにゲストの集合の前にＰＣＤ１００を設定するようにゲストに求めることができる。パーティの持続時間のような期間にわたって、ＰＣＤ１００は、社会的イベントを文書に記録する段階を含む社会的目標／活動の実施におけるユーザの望みに従ってパーティゲストの１つ又はそれよりも多くの写真を取得する。
【０１７３】
他の例示的実施形態により、ＰＣＤ１００は、社会的手掛かりを読取り、反応することができる。例えば、ＰＣＤ１００は、ユーザを観察して別の人により優しく話す必要があることを示すことができる。それに応じて、ＰＣＤ１００は、言語のコミュニケーションを出力する音量を下げることができる。同様に、ＰＣＤ１００は、ハグされた又は叩かれた時に満足度を示す音を発することができる。他の実施形態において、ＰＣＤ１００は、社会的手掛かりを発するか又は他に出力することができる。例えば、ＰＣＤ１００は、ユーザが約束に遅れて走っていることを感知して、ユーザの出発の速度を急がせるために外見的に神経質な状態で前後に揺れることができる。
【０１７４】
対話型カレンダー
【０１７５】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、仕事以外のユーザと家族のための事を取り込むようにカレンダーシステムを構成することができる。ＰＣＤ１００は、そのユーザが許可を与えた場合に他のＰＣＤ１００のユーザとカレンダーを共有し統合することができ、それによってあらゆる家庭内のＰＣＤ１００を有する拡張された家族全てが、全員のための単一統一されたカレンダーを有することができる。
【０１７６】
ＰＣＤ１００のカレンダーの項目は、適切な情報、最初は、約束している家族メンバの名前、家族メンバが約束／イベントをどう感じているか、及び日付又は曜日に固有の情報（休日など）などによってメタタグすることができる。入力することができるイベントのタイプは、以下に限定されるものではないが、ウェークアップ時間、食事時間、約束、リマインダー、電話呼出し、家事／庭仕事などを含む。全てのイベントを適切な時間に設定する必要がないことに注意されたく、すなわち、イベントは、例えば、「あなたが明日の朝私を最初に見た時に傘を荷物に入れることを覚えておいて」のような感覚入力で決定されるイベントをスケジュールすることができる。
【０１７７】
ＰＣＤ１００のカレンダーへの項目のエントリは、いくつかの方法で達成することができる。一実施形態は、Ａｎｄｒｏｉｄアプリケーション又はウェブインタフェースを利用して、仮想ＰＣＤ１００がユーザを処理に案内する。この時点で、感情又は他のインタフェースを使用して、ユーザが約束／イベントに関してどう感じているかをＰＣＤ１００に伝えることができる。このモードでのカレンダーのグラフィカル描写は、Ｏｕｔｌｏｏｋに類似とすることができ、ユーザが他のネットワークメンバのイベント／約束を見ることを可能にする。ＰＣＤ１００カレンダーは、Ｏｕｔｌｏｏｋがこれに関して実行することに類似の約束の衝突解消のための特徴を有することができる。
【０１７８】
一部の実施形態において、ユーザは、自然言語インタフェースを通じてカレンダーに項目を追加することができる（「ＰＣＤ、私は火曜日の午後１時に歯医者の予約があるので、３０分速く私に教えて」、又は「ＰＣＤ、夕食は今夜５時３０分よ」）。ユーザの感情は、ユーザによって伝えられない場合に、ＰＣＤ１００によって後で尋ねることができ（例えば、「その約束どう思う？」）、適切な感情的なメタタギングを可能にする。
【０１７９】
イベントリマインダーが作動された状態で、ＰＣＤ１００は、２つの方法のうちの１つでリマインダーを伝えることができる。リマインダーを設定されているユーザがＰＣＤ１００の環境に存在する場合に、ＰＣＤ１００は、言語のリマインダー、アニメーション、顔面表情などが揃ったリマインダーを直接に人に伝える。顔面表情の感情的な内容は、顔文字又はユーザの言語の入力などを通じてイベントのメタタギングから得ることができる。ユーザの挙動は、公知の関連から取得することができる（例えば、ユーザは引き起こる時にいつも眠たいか又は食事の時間にはいつもお腹が空いている）。異なるイベントに関連する適切な表現は、コンテンツを定期的に生成することによってリフレッシュすることができ、繰返しでなく楽しませるように維持することができる。
【０１８０】
リマインダーが発生しているユーザがＰＣＤ１００を物理的に見ていない場合に、ＰＣＤ１００はこれに対して呼び出すことができる。そのような例でユーザがこれに応答しない場合に、ＰＣＤ１００は、その電話でリマインダーを送信することができる。
【０１８１】
リストマネージャ
【０１８２】
例示的かつ非制限的実施形態により、リストマネージャ機能を備えたＰＣＤ１００を構成することができる。この機能により、ＰＣＤ１００は、ユーザの要求で、ユーザが買い物に出たらユーザに送信することができる「やるべきことリスト」又は買い物リストを生成することができる。この機能は、単純なタッチインタフェースを通じて、又は理想的には自然言語インタフェースを通じてユーザによって起動することができる。ユーザは、作られるリストのタイプを指定することができる（例えば、「食料品」、「洋服」、「やるべきこと」、又は特定のタイプの店又は店名）。ＰＣＤ１００は、リストに最初に載せるものを尋ねることができ、ユーザは、言語を通じて応答してＰＣＤ１００に品物をリストに追加させることができる。いずれの後の時間にも、ユーザは、ＰＣＤ１００にリストへの他の項目の追加を求めることができる。
【０１８３】
一部の実施形態により、ＰＣＤ１００は、毎日の会話を構文解析して項目をリストに追加しなければならないと決定することができる。例えば、部屋内の誰かが「ミルクが切れている」と言った場合に、ＰＣＤ１００は、自動的にミルクを食料品リストに追加することができる。
【０１８４】
ＰＣＤ１００がリストを維持している店にユーザが出発する時に、ユーザは、ＰＣＤ１００にユーザに適切なリストを送信するように要求することができ、それによってユーザが店で買い物している時にリストがユーザに利用可能になる。これに加えて、ユーザがＰＣＤ１００から離れているが店の近くにいる場合に、ユーザは、Ａｎｄｒｏｉｄ又はウェブアプリケーションを通じてリストが送信されるように要求することができる。
【０１８５】
この返信に応答して（すなわち、ユーザがリストの送信を要求した後にＰＣＤ１００がそのユーザを見た時）、ＰＣＤ１００は、買い物がどうであったか／ユーザがリストにあったもの全てを見出したか否かを尋ねることができる。「イエス」である場合に、ＰＣＤ１００は、リストをクリアにして他の項目が追加されることを待つ。「ノー」の場合に、ＰＣＤ１００は、購入されなかったものに関して尋ね、リストから全ての他の項目をクリアにする。
【０１８６】
やるべきことリストの場合に、ユーザは、ＰＣＤ１００に「私はＸをした」と伝えることができ、その項目を格納されたリストから取り除くことができる。
【０１８７】
ユーザは、誰かほかの個人のＰＣＤ生成リストをユーザに送信するように要求することができる（適切な許可の保留）。例えば、大人が高齢の親にＰＣＤ１００を与えている場合に、その大人は、ＰＣＤ１００に親のＰＣＤ１００によって生成された買い物リストを送信するように要求することができ、それによって大人は自分の買い物をしながら親の食料品を買うことができ、又は大人は、訪問前に必要な道具を全て持って行くためにママの「やるべきこと」リストをＰＣＤ１００に尋ねることができる。
【０１８８】
内情に通じているＰＣＤ
【０１８９】
例示的かつ非制限的実施形態により、「内情に通じている」機能を備えたＰＣＤ１００を構成することができる。この機能により、ＰＣＤ１００は、ユーザが関心を有する最新のニュース、天気、スポーツなどを提供し続けることができる。この機能は、単純なタッチインタフェース、又は理想的には、自然言語指令を使用して要求時にアクセス可能な（例えば、「ＰＣＤ１００、私に昨夜からの野球のスコアを教えて」）。
【０１９０】
ユーザは、１日のある時間に「情報セッション」を設定する機能を有することができる。これは、ウェブ又はモバイルアプリケーションインタフェースを通じて実行することができる。この機能を使用して、ＰＣＤ１００を１日のある時間にある情報を中継するようにスケジュールすることができる。例えば、ユーザは、ユーザが起きた後にニュースを提供するようにユーザのＰＣＤ１００をプログラムすることができる。ユーザが「イエス」と言った場合に、ＰＣＤ１００は、ユーザがユーザの「朝の状況説明」で要求していた情報を配信することができる。これは、あるチームスコア／ニュース、天気、主要各紙からの見出しのレビューなどを含むことができる。ＰＣＤ１００はこれらの項目の概要から開始することができ、いずれのポイントでもユーザは特定の項目に関してより多くを知りたいと要求することができ、ＰＣＤ１００は、完全なニュース項目を読む。
【０１９１】
ニュース項目は、「ＰＣＤ化」することができる。特に、ＰＣＤ１００は、ＰＣＤ１００が読んでいるニュースへのコメント及び反応を提供することができる。そのような反応は、ＡＩ生成の結果として状況的に関連付けられたあるものとすることができる。
【０１９２】
気分、活動、環境モニタ
【０１９３】
例示的かつ非制限的実施形態により、ＰＣＤ１００のアプリケーションの形式で、気分、活動、及び環境モニタ機能を備えたＰＣＤ１００を構成することができる。このアプリケーションは、高齢の親などのためにＰＣＤ１００を既に購入している人が購入することができる。購入時に、ウェブインタフェース又はＡｎｄｒｏｉｄアプリケーションインタフェースを使用して、モニタリング設定及びステータスにアクセス可能である。仮想ＰＣＤ１００は、この処理をユーザに手引きすることができる。モニタすることができる事柄のいくつかの例は、（１）ＰＣＤ１００がある部屋／家の周囲温度、（２）活動（１時間／１日当たりの歩いた個人の数、個人を見ていない時間など）、（３）部屋内の個人の気分−センサからのフィードバックに基づく選択の有限セットの１つとして表される（顔面表情、笑いの頻度、ある言語／句の使用頻度など）を含み、（４）ＰＣＤ１００は、治療が行われているか否かを尋ねる、又は行われている治療をきちんと見ることのいずれかを通じて、薬物投与の順守をモニタすることができる。
【０１９４】
設定することができるモニタのステータスは、アプリケーション又はウェブインタフェースを通じて検査することができ、又は警報レベルを超えた（例えば、家の中が寒すぎる、閾値時間量に誰も歩かなかった）場合に、テキストがＰＣＤ１００によってモニタリングユーザに送信される。これに加えて、ＰＣＤ１００は、アプリケーション又はウェブインタフェースを通じてモニタリングユーザによって設定されたある条件が満足された場合にユーザに自動的に想起させることができ、例えば、寒すぎる場合はブルブル震えて熱を上げるように要求する。
【０１９５】
気分リング
【０１９６】
例示的かつ非制限的実施形態により、気分リング機能を備えたＰＣＤ１００を構成することができる。気分リング機能は、ＰＣＤ１００のセンサを使用して、ユーザの気分／感情的状態のインジケータ及び影響ファクタとして働かせることができる。この機能は、ユーザの感情的状態のリアルタイムのログを維持することができる。このインジケータは、表情認識、体温、眼の動き、活動レベル及びタイプ、発話韻律、キーワードの使用、及びどう感じているかをユーザに尋ねるＰＣＤ１００のような単純な技術の配合に基づくことができる。ＰＣＤ１００は、ユーザ照合技術（質問など）を試みユーザの対話を訂正して、経時的なユーザのより良い感情的モデルを作る。これは、ＰＣＤ１００クラウドからのデータを学習する「クラウドソーシング」を伴うことができる（他のユーザからの検証されたセンサデータ＜→感情状態マッピング）。図９を参照すると、例示的かつ非制限的実施形態の流れ図９００が示されている。段階９０２で、ＰＣＤ１００は、ユーザの身体／顔／発話の詳細を解釈してユーザの感情的状態を決定する。時間と共に、ＰＣＤ１００は、ユーザの身体／顔／発話の詳細を正確に解釈して感情的状態を決定することができる。
【０１９７】
ＰＣＤ１００がユーザの感情的状態を決定した状態で、ＰＣＤ１００は段階９０４でこれを他者に報告する。これは、いくつかの方法で実行することができる。（例えば、病院の設定で）同一場所に位置する介護者に対して、ＰＣＤ１００は、照明／顔のグラフィック／姿勢の組合せを使用して、ＰＣＤ１００を有する個人の気分を示すことができ、それによって介護者は、介護されている人が悲しい／幸せである／怒っている／その他であることを一目で理解して、それに応答して介入する（又は介入しない）ことができる。
【０１９８】
同一場所に位置していない介護者（例えば、一人で生活している高齢の親の世話をする大人）に対して、ＰＣＤ１００は、示すデータの項目及びその時間をカスタマイズすることができるモバイル／ウェブアプリケーションを通じてこの感情的状態データを提供することができる。
【０１９９】
このユーザの気分の理解が設定された状態で、ＰＣＤ１００は、段階９０６でその気分の転換を試み実行する。これは、自律的に勧めることができ、ＰＣＤ１００は、お話し／冗談を言う過程、同情、ゲームプレイ、感情的なミラーリングなどを通じて、ユーザの感情的状態に肯定的な変化をもたらそうとする。代わりに、１次ユーザが負の感情的状態にあることをＰＣＤ１００によって警告された介護者は、ＰＣＤ１００に命令して、ＰＣＤ１００が知ることができるある事柄を言う／試みる／行わせることができ、この特定の状況下で負の感情を緩和する。
【０２００】
常夜灯
【０２０１】
例示的かつ非制限的実施形態により、常夜灯の機能を備えたＰＣＤ１００を構成することができる。この機能により、ユーザが真夜中に起きた場合にＰＣＤ１００はアニメーションの常夜灯として作動させることができる。正しい条件が満たされた（例えば、時間が真夜中である、周囲の光が非常に暗い、長時間、静止及び沈黙又は睡眠中の騒音がある、及び次に突然の動き又は会話がある）場合に、ＰＣＤ１００は、静かに覚醒させ、落ち着かせるような色でポンポンを照らして、ユーザがＯＫであるか否かを尋ねることができる。一部の実施形態において、ＰＣＤ１００は、落ち着かせることができる活動又はアプリケーションを提案して、ユーザが眠りに戻ることを補助することができる。
【０２０２】
可愛さの不規則な行為
【０２０３】
例示的かつ非制限的実施形態により、可愛さ特徴の不規則な行為を備えたＰＣＤ１００を構成することができる。この特徴により、ＰＣＤ１００は、楽しいこと又は思考を誘発するように設計された方式で１日を通した様々な時間に事柄／質問を言うように作動させることができる。一実施形態において、この機能は、ＰＣＤ１００との自由形式の自然言語会話を伴わないが、思考／会話の素材として、面白い、可愛い、おかしいのような事柄を言うＰＣＤ１００の機能を伴う。
【０２０４】
一部の実施形態において、ＰＣＤ１００は、時間から時間に生成、維持、及びリフレッシュされる、話、フレーズ、ジョークのようなＰＣＤ１００の内部又は外部のいずれかに位置するデータベースにアクセス可能である。データは、例えば、天気、スポーツ、ニュースのようなＲＳＳフィード、他のＰＣＤ１００からのクラウドソーシング、及びユーザプロファイルから発生することができる。これらのビットにメタタギングする及びメタタグを個々のＰＣＤ１００ユーザプリファレンスと比較する処理を通じて、適切な事実又は話を全ての個々のＰＣＤ１００に送信することができる。
【０２０５】
ＰＣＤ１００が可愛さの不規則な行為を配信すると決定した時に、ＰＣＤ１００は、クラウドに接続して、ユーザＩＤなどを与え、データリポジトリからビットを要求することができる。上述のように、サーバは、事実と、ユーザプリファレンス、曜日／日付／時間、ユーザの家のエリアの天気などを一致させて、そのユーザに配信するベストビットを決定する。
【０２０６】
一部の実施形態において、この特徴は、質問が応対の認識を容易にするのに十分に具体的である場合は単純な質問の形式を取るように機能することができ、そのような質問への応対を使用して、そのユーザのプロファイルの構築を助け、従って、正しい時間にユーザのＰＣＤ１００に適合したビットが配信されることを保証する。他の実施形態において、ユーザは、単純なタッチインタフェースを通じて又は自然言語インタフェースを通じて可愛さの行為を具体的に要求することができる。一部の実施形態において、この特徴は、この特定のユーザに当該のビットをアルゴリズムが提供することを可能にするために「好き／嫌い」ユーザフィードバック要請を利用することができる。
【０２０７】
ＤＪ  ＰＣＤ
【０２０８】
例示的かつ非制限的実施形態により、ＤＪ特徴を備えたＰＣＤ１００を構成することができる。この特徴により、ＰＣＤ１００は、ＰＣＤ１００からの音楽再生、ダンス、及び提案を特徴付けるように作動させることができる。この特徴は、いくつかのモードで作動させることができる。そのようなモード又は機能にアクセスして、単純なタッチインタフェースを通じて（開始から望ましい作動まで僅か２ビート）、又は他の実施形態において、自然言語インタフェースを通じて制御することができる。音楽はローカルに格納するか又は外部ソースから受信することができる。
【０２０９】
ＰＣＤ１００がこの特徴を使用して曲を再生する時に、ＰＣＤ１００は、ビート追跡を使用して、曲にダンスアニメーション、照明／カラーショー、顔面表情などを付けることができる。ＰＣＤ１００の曲の選択は、以下のような選択されるモードに応答して変えることができる。
【０２１０】
ジュークボックスモード
【０２１１】
このモードでは、ＰＣＤ１００は、ユーザが選択した特定の曲、アーティスト、又はアルバムを再生することができる。
【０２１２】
気分ボックスモード
【０２１３】
このモードでは、ユーザがある気分の曲を要求する。ＰＣＤ１００は、気分メタタグを使用して曲を選択することができる。ユーザは、Ｐａｎｄｏｒａに類似の曲のフィードバックを与えることができ、ＰＣＤ１００が将来の選択のために重み付けを作り変えることを可能にする。
【０２１４】
周囲音楽モード
【０２１５】
ユーザがこのモードを選択した状態で、ＰＣＤ１００は、ウェブからの情報（日付、曜日、時間帯、カレンダーイベント、外部の天気など）、並びにセンサ１０２、１０４、１０６、１０８、１１２からの情報（例えば、部屋内の個人の数／活動レベル、騒音レベルなど）を使用して、部屋の背景の雰囲気を作るために、再生する曲及び再生するボリュームを選択することができる。ユーザは、音量を制御するか又は曲を省略する機能を有することができる。これに加えて、ユーザは、周囲の音楽モードを離れることなく、いずれの時間にも特定の曲を要求することができる。要求された曲は再生することができ、ユーザ選択（ボリューム変更に関する）を将来の選択重み付けに使用することができる。
【０２１６】
ＰＣＤ好き
【０２１７】
一部の実施形態ではユーザがこのモードに直接にアクセス可能であるが（「どの音楽が好き、ＰＣＤ？」）、ＰＣＤ１００は、時には１つ又はそれよりも多くの選択を曲のストリームに差し挟むことができ、又はジュークボックス又は気分ボックスモードの開始時に選択の再生を試みることができる（周囲音楽モードでは、ＰＣＤ１００はこれを行わなくてもよい）。ＰＣＤの音楽選択は、作者により、又は例えば、他のＰＣＤからのクラウドソーシング曲選択によって生成されるＰＣＤ１００株式会社からの定期的に更新されるリストに基づくことができる。ＰＣＤ１００「好き」は、ユーザのネットワークにおける特定のＰＣＤ１００からの特定の曲をプルすることができる−例えば、ＰＣＤ１００は、「あなたの娘がいつでもこの曲を要求している！」と告げることができ、次に、娘の好きな曲を再生することができる。
【０２１８】
ダンシングＰＣＤ
【０２１９】
例示的かつ非制限的実施形態により、いずれかのモードで曲を再生した後に、ＰＣＤ１００は、どうであったかを尋ねることができる（及びユーザの応対に応答して幸せ又は悲しく適切に対応することができる）、又はユーザにユーザがどのくらい確実に踊ったか得点を与えることができる。ＰＣＤ１００は、ユーザのダンスの写真を取り込んで、ユーザのＰＣＤプロファイル、ソーシャルメディアサイト、又は電子メールに提供してアップロードすることができる。機能の様々なモードは、以下を含む。
【０２２０】
あなたをコピー
【０２２１】
このモードでは、ＰＣＤ１００が再生する曲を選択し、次に、音位置／顔／骨格追跡を使用してＶＩＳ／ＲＧＢＤカメラの視野におけるユーザを捉える。ユーザが音楽に合わせてダンスする場合に、ＰＣＤ１００は、ユーザのダンスの真似を試みることができる。ユーザが音楽についていけない場合に、音楽を遅くするか又は早くすることができる。曲の最後に、ＰＣＤ１００は、ユーザの動きの複製がどうであったかを尋ねるか又はユーザが確実に調子に合わせたかの得点をユーザに与えることができる。ＰＣＤ１００は、踊っているユーザの写真を取り込み、ユーザのＰＣＤプロファイル、ソーシャルメディアサイトにアップロードし、又はユーザに電子メールで送ることができる。
【０２２２】
ＰＣＤをコピー
このモードでは、ＰＣＤ１００がダンスして、ユーザがダンスを真似ようにと試みる。ユーザがグッジョブを実行していない場合に音楽の再生が依存する。一部の実施形態において、個別の画面が、模倣するためにユーザとＰＣＤ１００の両方に人間のダンサーを表示する。ユーザとＰＣＤ１００の両方は一緒にダンスして、次に、ＰＣＤ１００が自らとユーザの両方に格付ける。
【０２２３】
一緒にダンス
【０２２４】
このモードでは、ユーザが、ラジオ、ｉＰｏｄ、歌、ハミング、その他から音楽を再生し、ＰＣＤ１００が、それに合わせてダンスを試み、最後に上手く踊れたかを尋ねる。
【０２２５】
物語演技／動画化
【０２２６】
例示的かつ非制限的実施形態により、物語演技／動画化機能を備えたＰＣＤ１００を構成することができる。この機能により、ＰＣＤ１００は、ユーザがＰＣＤ１００との対話型演技のための脚本を購入することができるように作動させることができる。図１０に関し、例示的かつ非制限的実施形態の流れ図１０００が示されている。段階１００２で、脚本を完全に購入することができユーザのＰＣＤクラウドプロファイルに格納することができ、又は脚本をＮｅｔｆｌｉｘ様式でレンタルすることができる。
【０２２７】
脚本／シーンの購入は、例えば、Ａｎｄｒｏｉｄアプリケーション又はウェブインタフェースを通じて実行することができ、仮想ＰＣＤ１００が、ユーザを購入及びインストール処理に案内することができる。一部の実施形態において、段階１００４で、ユーザは、演じたい脚本／シーンを選択することができる。この選択、並びにこれを使用する場合の機能の制御は、単純なタッチインタフェース（ＰＣＤ１００の眼又は本体のいずれか）を通じて、又は自然言語インタフェースを通じて達成することができる。ユーザが脚本を選択した状態で、ＰＣＤ１００は、ユーザがリハーサル又は本番を希望しているか否かを段階１００６で尋ねることができ、そのモードに入ることを示す。
【０２２８】
選択されたモードにかかわらず、段階１００８で、ＰＣＤ１００は、ユーザが脚本でなりたいキャラクターをユーザに尋ねることによって開始することができる。この第１時間後に、ＰＣＤ１００は、脚本が再度選択された場合にその選択を確認して、ユーザイエスずれの時間にも変更することができる。
【０２２９】
リハーサルモード
【０２３０】
ユーザがリハーサルモードに入った状態で、ＰＣＤ１００は、段階１０１０でユーザを脚本に慣れさせるために脚本の実行を提供することができる。ユーザが既に慣れている場合はこれを省略することができる。ユーザが脚本を実行するようにＰＣＤ１００に求めた場合に、ＰＣＤ１００は、段階１０１２でユーザが一読する場合にユーザの役の行を反転表示することができる。
【０２３１】
この一読に続いて、ＰＣＤ１００は、段階１０１４でユーザに行を教えることを開始することができる。各行に対して、ＰＣＤ１００は、プロンプト及び行を通知し、次に、ユーザが行を復唱している間にタッチスクリーン１０４にワードを表示することができる。ＰＣＤ１００は、発話認識を使用してユーザが正しいか否かを決定することができ、ユーザが正しく行を繰り返すまで続ける。次に、ＰＣＤ１００は、ユーザにプロンプトを提供して、ユーザに行を繰り返させることができ、ユーザがプロンプトに対応して行を繰り返すことができるまで再度試みる。次に、ＰＣＤ１００は、次の行に移ることができる。
【０２３２】
ユーザが全ての行を学習した状態で、段階１０１６で、ＰＣＤ１００は、全てのプロンプトを一読して、必要に応じてユーザに応答して適正な行を検査してユーザに示す。
【０２３３】
プロンプトが最初に、行を示唆するような形を真似る眼をしたグラフィカルの形式を取ることができることに注意されたい。これは、プロンプトの第１の試みとすることができ、ユーザが行を思い出すことができない場合に、ＰＣＤ１００は言語のプロンプトに進むことができる。
【０２３４】
演技モード
ユーザが演じたいキャラクターの行の全てを暗記した状態で、ユーザは、段階１０１８で演技モードに入ることができる。このモードでは、ＰＣＤ１００は、脚本の全演技を実行し、ユーザにユーザの行を言わせるために停止してユーザがつまずく又は忘れた場合に促す。ＰＣＤ１００は、この演技中に、ユーザが話している行の間も、フル音効、背景音楽、アニメーション及び照明効果を使用する。一部の実施形態において、脚本が演技された後に、ＰＣＤ１００は、脚本の漫画／アニメバージョンを生成することができ、行の間にユーザの音声が含まれ、ユーザが演じるキャラクターの口に同期される（可能である場合）。この漫画は、ＰＣＤクラウドに格納することができ、ソーシャルメディアサイトに掲示され、又は共有／メモリメーキングのためにユーザに電子メールされる。一部の実施形態において、ＰＣＤ１００は、複数の参加者が各々それに固有のキャラクターを演じる脚本を演じるように構成することができ、参加者は、リモートにいることができる（例えば、テレフローの他端）。
【０２３５】
ダンシングＰＣＤ−共有
例示的かつ非制限的実施形態により、ＰＣＤ１００は、上述のダンシングＰＣＤアプリケーションの追加の特徴を利用するように構成することができる。この特徴の実施形態において、ユーザは、ＰＣＤ１００のためのカスタムダンスを生成することができる。これは、モバイル又はウェブアプリケーションを通じて生成され、ユーザが曲を拾いＰＣＤ１００と共に合わせるダンスの動きを選択して音楽と共に実行することを可能にする。ユーザは、ＰＣＤ１０にダンスの動きを拾わせることができ、それによってダンスは、ＰＣＤ１００と共同で生成される。一部の実施形態において、照明／音効（例えば、ＰＣＤが「下げろ！」という）を追加することができ、ダンスに同期させることができる。他の実施形態において、ＰＣＤ１００ダンスを他のＰＣＤ１００に送信することができ、仮想ＰＣＤ１００によって演じる友達に表示してオンラインでセーブすることができる。ユーザは、他のＰＣＤ１００ユーザによって生成された他のＰＣＤ１００ダンスを脚本することができる。
【０２３６】
セレブ生成コンテンツ
【０２３７】
例示的かつ非制限的実施形態により、この特徴は、ユーザがそのＰＣＤ１００にセレブ生成コンテンツをダウンロード又はストリーミングすることを可能にする。コンテンツは、ウェブインタフェース又はＡｎｄｒｏｉｄアプリケーションを通じて選択され、仮想ＰＣＤ１００が、ユーザをコンテンツ購入の処理に案内することができる。コンテンツは、以下のいずれかにすることができる。
【０２３８】
事前記録済み
【０２３９】
これは、映画、ミステリーサイエンスシアター３０００タイプジョークのような監督／俳優のコメントを含むことができる。全てのコンテンツの手掛かりをフィルムに出すことができる。音声透かしを使用して、ＰＣＤ１００のコンテンツの配信を視聴される媒体に同期させることができる。
【０２４０】
ライブストリーミング
【０２４１】
このモードでは、ＰＣＤ１００は、中央位置のセレブ／評論家によってリアルタイムで生成されるコンテンツをストリーミングすることができる。コンテンツ生成者は、ＰＣＤ１００をリアルタイムに「パペット」する機能を有し、アニメーション／照明／カラー効果を達成して話し言語を完成させることができる。そのような例では、コンテンツ生成者がユーザと同時にイベントを理論的に見てリアルタイムにコメントを実行するので、音声透かしが必要ない。これは、大統領のスピーチ、選挙のブロードキャスト、その他における政治的な評論家が提供するコメント、又はスポーツイベントにコメントを提供するユーザのお気に入りのアスリートを含むことができる。
【０２４２】
例示的かつ非制限的実施形態により、永続的コンパニオンデバイス（ＰＣＤ）１００は、継続して又は実質的に継続して個人又は複数の個人の環境内に存続するように適応される。一実施形態において、個人とは、個人を識別する様々なパラメータデータがＰＣＤによって得られるか又はＰＣＤに利用可能になる個人の特定のインスタンスである。以下に詳しく説明するように、個人のＩＤに加えて、ＰＣＤ１００は、挙動のパターン（スケジュール、ルーチン、習慣、その他）、プリファレンス、態度、目標、タスクなどを認識することができる。
【０２４３】
識別パラメータデータを使用して、例えば、音声認識、顔面認識、及び上述のセンサ１０２、１０４、１０６、１０８、１１２の１つ又はそれよりも多くを利用する類似のものを使用して個人のプレゼンスを識別することができる。パラメータデータは、ＰＣＤ１００のメモリ内のようにローカルに格納するか、又はＰＣＤ１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＷｉＦｉなどを通じて有線又は無線通信をするサーバにリモートに格納することができる。そのようなパラメータデータは、マニュアルでＰＣＤ１００又はサーバに入力することができ、又は時間と共に又は初期化処理の一部としてＰＣＤ１００によって取得することができる。
【０２４４】
例えば、初期化されていないＰＣＤ１００をユーザの環境に持ってきた時に、ユーザは、初期化手順を実行することができ、それによってＰＣＤ１００は、ユーザの声、顔の特徴など（及び他の関連の顔情報）の例を取得するように作動／対話される。以下に詳しく説明する家族ハブ実施形態において、ユーザのソーシャルネットワークを形成しているユーザが拡張家族を含む場合は、家族ハブが複数存在することができる。このデータは、ＰＣＤ１００に格納することができ、同様に、例えば、サーバなどに外部格納のためにＰＣＤ１００によって通信することができる。ユーザ名、ユーザの誕生日、ユーザの眼の色、ユーザの髪の色、ユーザの体重のような他のユーザ識別データをサーバの又はＰＣＤ１００の一部を形成するグラフィカルユーザインタフェース、発話インタフェースなどを通じてマニュアルで入力することができる。パラメータデータの一部がＰＣＤ１００に入力されるか又は他にそれによって得られた状態で、ＰＣＤ１００は、更に他のパラメータデータを取得するように作動させることができる。例えば、ＰＣＤ１００に定められたテキストを復唱することなどによってサンプル音声署名を与える段階とを含む初期化の実行に応答して、ＰＣＤ１００は、話しているユーザを識別して顔識別に必要な顔の特徴データを取得するように自律的に作動させることができる。ＰＣＤ１００がユーザの環境内に永続的なプレゼンスを維持するので、ＰＣＤ１００はユーザの様々なパラメータデータを取得するように時間と共に作動させることができる。
【０２４５】
一部の実施形態において、初期化中に、ＰＣＤ１００は、ＩＤを超える人に関する関連の情報を取得するように作動する。上述のように、ＰＣＤ１００は、背景情報、個人口動態情報、好み、コンタクト情報（電子メール、携帯電話、その他）、関心、プリファレンス、及び個性などを取得するように作動させることができる。そのような例では、ＰＣＤ１００は、「顔見知りの」対話の間のようなテキストベース／ＧＵＩ／発話入力情報を取得するように作動させることができる。これに加えて、ＰＣＤ１００は、ＰＣＤ１００間で共有でき同時にＰＣＤ１００に直接入力することができる家族ハブのコンタクト情報及び個別化されたパラメータ情報（例えば、高齢の親、子供など）を取得するように作動させることができる。以下に詳しく説明する様々な実施形態において、ＰＣＤ１００は、拡張された家族との家族接続を促進するように作動する。以下に更に説明するように、制限されないが、個人のスケジュール、イベント、気分などを含む毎日の情報は、ＰＣＤ１００が、どのように対話し、推薦し、ユーザに、活動、情報などを提供するかに対して重要な関連を提供することができる。
【０２４６】
例示的かつ非制限的実施形態により、ＰＣＤ１００によって得られた状況的かつ長期的データは、ユーザの関心、プリファレンス、使用ケースに次第に適合するように、その機能及び特徴を構成する適応システムを容易にする。例えば、ユーザが音楽を好むことをＰＣＤ１００が学習した場合に、ＰＣＤ１００は、クラウドから自動的に「音楽属性」をダウンロードして、好きな音楽を見出し、その種類の音楽を再生し、更に音楽推薦を通知することができる。
【０２４７】
従って、ＰＣＤ１００は、ユーザの人生に関して学習する。ＰＣＤ１００は、現実世界でユーザを感知することができ、ＰＣＤ１００に接続されている他のデバイス、技術、システム、パーソナルコンピュータデバイス、パーソナル電子デバイスのエコロジーからデータを収集することができる。この長期的データの収集から、ＰＣＤ１００は、個人、及びユーザに関して学習することができ提供することができる機能に良く適応及び一致するように構成することができる活動のパターンに関して学習する。重要なことは、ＰＣＤ１００が、あなたのソーシャル／家族パターン、あなたの人生（あなたの拡張された家族）で重要な人に関して学習し、あなたの感情／気分に関して学習して追跡し、重要な挙動パターン（あなたが特定の事柄を実行する傾向がある時）に関して学習し、あなたのプリファレンス、好みなどを学習し、あなたが知りたいこと、あなたを楽しませることなどを学習する。
【０２４８】
以下に詳しく説明するように、ＰＣＤ１００は、ＰＣＤ１００のユーザとＰＣＤ１００の対話に関するデータを収集するための長期的データ収集設備を提供するためにユーザと対話するように構成される。
【０２４９】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、視覚、聴覚、及び触覚センサ１０２、１０４、１０６、１０８、１１２を伴う対話を通じたユーザとの永続的対話の１つ又はそれよりも多くの属性を含む長期的データを取得するように構成される。各インスタンスでは、ユーザからの視覚、聴覚及び触覚の知覚をＰＣＤ１００によって感知又は他に取得し、並びにＰＣＤ１００によってユーザに伝えることができる。例えば、ＰＣＤ１００は、カメラセンサ１０６を組み込んで、ユーザの活動、感情的状態及び病状に関するデータを含むユーザからの視覚情報を取得することができる。同様に、ＰＣＤ１００は、音声センサ１１２を組み込んで、発話認識から得られるデータ、ストレスレベル、並びにユーザによって利用された娯楽媒体のアイデンティティのような関連情報に関するデータを含むユーザからの音声情報を取得することができる。ＰＣＤ１００は、ユーザの接触、又は制限されないがＰＣＤ１００を可愛がる及びハグすることを含むＰＣＤ１００とのユーザの物理的接触のかかわりに関するデータを含むユーザからの触覚情報を取得することができる。他の実施形態において、ユーザは、タッチを使用してＰＣＤ１００のタッチスクリーンインタフェースをナビゲートすることができる。他の実施形態において、ＰＣＤ１００又はユーザの位置をユーザが電話をかけ入力として使用している携帯電話などを通じて決定することができ、位置関連に関連する情報を与えサービスを提供することができる。
【０２５０】
上述のように、視覚、聴覚、及び触覚知覚は、ＰＣＤ１００によってユーザに伝えることができる。例えば、音声出力デバイスを使用して、音、アラーム、音楽、及び音声指示などを出力し、ユーザとの会話をすることができる。同様に、グラフィカル要素を利用して、テキスト及び画像をユーザに伝え、並びにＰＣＤ１００とユーザ間の通信対話の一部を含むグラフィカルデータを伝えるように作動させることができる。ＰＣＤ１００は周囲光及び他の手掛かり（そのＬＥＤポンポン）を使用することができる。触覚デバイス１０２を使用して、ＰＣＤ１００に感情的状態及び様々な他のデータを例えば、振動を通じて伝えることができ、デバイスのインタフェース／コンテンツをナビゲートすることができる。デバイスは、ユーザの状況、気分などに適合する様々な臭いを出すことができる。
【０２５１】
ＰＣＤ１００に接続された異なるデバイスを通じて情報を収集することができる。これは、第三者システム（医療、ホームセキュリティ、データ、その他）、移動デバイスデータ（音楽脚本リスト、写真、検索履歴、カレンダー、コンタクトリスト、ビデオ、その他）、デスクトップコンピュータデータ（特にＰＣＤ１００ポータルを通じて入力されたもの）から発生することができる。
【０２５２】
上述のセンサに加えて、ＰＣＤ１００とユーザ間の対話に関わっているデータ及び情報は、様々なデータソースから取得してこれに格納し、かつ出力することができる。例示的かつ非制限的実施形態において、ＰＣＤ１００とユーザ間の対話データをクラウドデータ又は他の接続性のモード（Ｂｌｕｅｔｏｏｔｈ（登録商標）など）を通じて格納及び送信することができる。一実施形態において、ユーザのクラウド格納データへのアクセスがＰＣＤ１００によって実行することができ、ＰＣＤ１００との対話を可能にする。例えば、ＰＣＤ１００は、インターネットを検索してアプリケーション／サービスを使用し、又はクラウドストレージからのユーザのスケジュールのようなデータにアクセスする及びそこから得られた情報を使用してクラウドから対話を起動することができる。一例として、ＰＣＤ１００は、ユーザが近くのレストランで午前９時に友達と朝食の約束をしていることをメモすることができる。ユーザが約束の５分前に家にいることにＰＣＤ１００が気付いた場合に、ＰＣＤ１００は、音声デバイス１１０を通じて話し掛けることによってユーザと対話して、ユーザが出発すべきではないか尋ねることができる。例示的実施形態において、ＰＣＤ１００は、現在のＧＰＳ座標及びレストランの座標に基づいて移動時間の計算を自律的に実行することによってこの特徴を達成することができる。本方法で、ＰＣＤ１００は、アクセスされたオンライン又はクラウドデータに１つ又はそれよりも多くのアルゴリズムを適用して、ＰＣＤ１００とユーザ間のラポール構築対話をもたらす作動を起動することができる。人は、テキストの送信、リアルタイム音声視覚接続の設定、他のアプリケーション／サービス（Ｆａｃｅｂｏｏｋ、Ｔｗｉｔｔｅｒなど）を通じた接続のようなソーシャルネットワーキングのリアルタイム又は非同期方法を通じてＰＣＤ１００と通信することができる。他の例は、以下に限定されるものではないが、対話を起動するために使用することができるｉｔｕｎｅ及びＮｅｔｆｌｉｘデータを含むクラウドに格納されたユーザの娯楽及び媒体ファイルへのＰＣＤ１００によるアクセスを含む。
【０２５３】
類似の方法で、他の例示的実施形態により、対話データをサーバ又はパーソナルコンピュータ又は移動デバイスのようなユーザの環境の近く又はユーザの環境に格納することができ、ユーザによってアクセス可能にすることができる。ＰＣＤ１００は、同様にクラウドにデータを格納することができる。他の実施形態において、対話データをＰＣＤ１００の外部のセンサを通じて取得することができる。
【０２５４】
例示的かつ非制限的実施形態により、活動ログ及びデバイス使用ログを生成することができ、ＰＣＤ１００に、サーバ又はクラウドなどに格納することができ、対話を容易にするために利用することができる。活動ログは、対話型方式で、ユーザにより、ＰＣＤ１００により、又はユーザ及びＰＣＤ１００の両方によって介入された活動を記録する情報を格納することができる。例えば、活動ログは、チェスのゲームを作動しているＰＣＤ１００及びユーザのインスタンスを記録することができる。これに加えて、ユーザの喜びのレベルを推測することができるそのような対戦の間のユーザの感情的状態に関する情報を格納することができる。このデータを使用して、ＰＣＤ１００は、ユーザがどのくらいの頻度でチェスをしたいか、ＰＣＤ１００とユーザが最後にチェスをしてからどのくらいの時間が経っているか、チェス対戦などにユーザが関わりたいと思う可能性のような事柄を決定することができる。類似の方法で、ユーザがＰＣＤ１００との対話を好む時間、頻度及び方法を示すデバイス使用ログを格納して維持することができる。明らかなように、活動ログとデバイス使用ログの両方を使用して、ＰＣＤ１００とユーザ間の対話の頻度及び質の両方を改善することができる。
【０２５５】
例示的かつ非制限的実施形態により、マニュアルエントリを通じて対話データを取得することができる。そのようなデータは、ＰＣＤ１００の一部を形成する入力デバイス１０２、１０４、１０６、１０８、１１２を通じてＰＣＤ１００に直接、又はサーバ、ＰＤＡ、パーソナルコンピュータのようなコンピュータデバイスにユーザによって入力することができ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉＦｉ／クラウドなどを通じてＰＣＤ１００に送信又は他に通信することができる。他の実施形態において、対話データをＰＣＤ１００とユーザ間のダイアログを通じてＰＣＤ１００によって取得することができる。例えば、ＰＣＤ１００は、対話データとして格納された結果と共に、サーバ又はクラウドにおいてＰＣＤ１００で作動する発話認識ソフトウエアを通じてテキストに変換されるユーザの応対と共に一連の質問を含むユーザとのダイアログを実行することができる。ＧＵＩ又はタッチベースの対話に対しても同様である。
【０２５６】
例示的かつ非制限的実施形態により、対話データは、臭覚データを識別するように構成されたセンサ１０２、１０４、１０６、１０８、１１２を通じて生成することができる。同様に、ＰＣＤ１００は、臭覚の臭いを発するように構成することができる。更に他の実施形態において、ＧＰＳ及び他の位置決定装置をＰＣＤ１００に組み込んで、対話を拡張することができる。例えば、子供のユーザは、家族旅行又は休日にそのＰＣＤ１００を持って行くことができる。旅行する間、ＰＣＤ１００は、その地理的位置を決定し、インターネットにアクセスし、近くの目印を決定し、目印を説明することによって時間及び場所に関する子供との対話を実行することができる。
【０２５７】
このようにして議論のための話題を確認することに加えて、一部の実施形態において、そのような対話の結果をその時間又は後の時間に遠隔ストレージに送信することができ、そこに事前に定義されたセキュリティ設定に従って複数のユーザから得られた対話データが蓄積される。この方式で、好ましい対話のモードの集中化データベースを位置のようなユーザの属性及びＰＣＤ１００取得のデータの統計プロファイルに基づいて開発することができる。例えば、前の例では、ＰＣＤ１００は、航空宇宙博物館の近くで博物館の反対側のナショナルモールにいるとしてその位置を決定することができる。集中化データベースにアクセスしてユーザの年齢及び位置を提供することにより、ユーザの年齢プロファイルに一致する他の子供達が恐竜に興味を示す傾向があると決定することができる。この結果、ＰＣＤ１００は、博物館にユーザを案内すると同時に恐竜の話を始める。
【０２５８】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ユーザの様々な心理社会的及び物理的属性及びパラメータに少なくとも一部基づいて、ユーザとの対話の態様を変えることができる。一部の実施形態において、ＰＣＤ１００は、視線追跡を利用してユーザの視線の方向を決定することができる。そのような情報を使用して、例えば、ユーザの関心を決定又は回避性の測定をすることができる。同様に、ユーザの心拍及び呼吸数を取得することができる。更に他の実施形態において、ユーザの皮膚の色を視覚センサデータから決定してこれを利用してユーザの身体的又は感情的状態を確かめることができる。センサ１０２、１０４、１０６、１０８、１１２を通じて確かめることができるユーザの他の挙動的属性は、以下に限定されるものではないが、声の韻律及び言語の選択を含む。他の例示的実施形態において、ＰＣＤ１００は、対話のために引き金として引き続き使用することができるウェービング又はポインティングのようなユーザの身体的動作を確かめ解釈することができる。同様に、ユーザの姿勢をＰＣＤ１００によって評価及び分析して、ユーザが立っている、前かがみになっている、もたれかかっているか否かをなどを決定することができる。
【０２５９】
様々な例示的かつ非制限的実施形態により、ＰＣＤ１００とユーザ間の対話は、ユーザの決定された感情的又は心理的状態又は属性に少なくとも一部基づくことができる。例えば、ＰＣＤ１００は、ユーザが瞬きする率、ユーザが笑っているか又はくちびるを噛んでいるか否かをユーザが発した笑いの存在などを決定及び記録し、ユーザが、例えば、神経質である、幸せである、心配している、楽しんでいるか否かをなどを確定することができる。同様に、ＰＣＤ１００は、ユーザが比較的動きがなく他に静かな環境で沈黙している場合に空間のポイントに固定されているユーザの視線を観察して、ユーザが思考又は混乱の状態にあると決定することができる。更に他の実施形態において、ＰＣＤ１００は、心の同意又は意見の相違の指示としてうなずく又は頭を振るなどのユーザ動作を解釈することができる。
【０２６０】
例示的かつ非制限的実施形態により、ユーザがそれを通じて対話するインタフェースの一般的な属性を擬人化された又は人間以外をベースとしたＰＣＤ１００を提供するように構成及び／又は調節することができる。一実施形態において、ＰＣＤ１００は、個人間以外の動物の特徴を表示するように構成される。そうすることにより、ＰＣＤ１００とユーザの間の対話は、特定の動物に対するユーザによる既存の感情的な傾倒を真似る及び／又は増幅することによって拡張することができる。例えば、ＰＣＤ１００は、興奮した状態を伝えるように働く時は吠えることによって犬の真似をすることができる。ＰＣＤ１００は、ユーザ対話に応答して振ることができる尻尾のような付属物を取り付けることができる。同様に、ＰＣＤ１００は、雌猫の「ミュー」という鳴き声に似た音を出力することができる。ＰＣＤ１００インタフェースのリアルタイムの発現に加えて、そのようなインタフェース属性を時間と共に変化させて、ユーザとＰＣＤ１００の動物のキャラクターの老化処理を調節することによって対話を更に拡張することができる。例えば、犬に基づくＰＣＤ１００のキャラクターは、最初に得られた時は子犬の作動を真似て、その挙動及び対話を徐々に成長させて、ユーザとＰＣＤキャラクターの関係が発展しているという感覚をユーザ側に与えることができる。
【０２６１】
上述のように、動物又は架空の生き物に基づくＰＣＤの特徴に加えて、ＰＣＤ１００は、個人間をモデル化かつ擬人化されたインタフェースを提供するように構成することができる。そのような人間、又は「ペルソナ」は、事前に構成されるユーザ定義可能なもの又は２つのものの何らかの組合せとすることができる。これは、物まねを含むことができ、ＰＣＤ１００は、セレブ、メディアのパーソナリティ又はキャラクター（例えば、Ｌａｒｒｙ  Ｂｉｒｄ、Ｊｏｎ  Ｓｔｅｗａｒｔ、ダウントンアビーの登場人物など）の癖及び特徴を有することができる。ＰＣＤ１００のペルソナ又は「デジタル魂」は、ＰＣＤ１００に存在することに加えて、ＰＣＤ１００の外部に格納（例えば、クラウドに）することができ、従って、他のＰＣＤ１００にダウンロード及びインストールすることができる。これらの他のＰＣＤは、グラフィカル（例えば、それに似たものがユーザのモバイルデバイスに表示される）又は別の物理的ＰＣＤ１００（例えば、新しいモデル）にすることができる。
【０２６２】
ＰＣＤ１００のペルソナは、合成又は技術的な性質のものにすることができる。この結果、ＰＣＤ１００は、擬人化技術として機能し、デバイスＰＣＤ１００は、個人、動物、公知のキャラクターのような既に存在している誰かを真似ようにとするのではなく、その固有のペルソナを有するように見える。一部の実施形態において、そのユーザに適合するように時間と共に適応及び修正することができる所有者のペルソナをＰＣＤ１００に対して生成することができる。例えば、ユーザのＰＣＤ１００の韻律は、親しみ及び愛情を構築する技術のようなそのユーザ固有の韻律に更に近づくようにミラーリングするように時間と共に適応させることができる。ＰＣＤ１００は、その図形的な外形を変えて、ユーザが買ったあらゆる美容又は仮想アーチファクトに加えてそのユーザの好み及びプリファレンスに適応してＰＣＤ１００を擬人化又はカスタマイズすることができる。
【０２６３】
例示的実施形態において、ＰＣＤ１００のデジタル魂は、ＰＣＤ１００のインタフェースの特徴及び属性、並びにユーザとＰＣＤ１００の間の対話の性質を左右する属性を定義する。このデジタル魂は、ユーザとの対話を実行するためにＰＣＤ１００によって利用される対話データ及び情報から二股に分かれ、デジタル魂は、特定のユーザとの対話に応答して時間と共に変えることができる。例えば、ユーザを分けるために、その固有のＰＣＤ１００を有する各々は、例えば、アルバート・アインシュタインのような公知の歴史的人物に基づく同一のデジタル魂をインストールすることができる。２つの個別のＰＣＤ１００にインストールした瞬間から、各ＰＣＤ１００は、ＰＣＤ１００によって生成されＰＣＤ１００にアクセス可能なユーザ固有の対話データに応答して異なる方法で対話する。デジタル魂は、異なる物理的形式（例えば、ロボット形式）又はデジタル形式（例えば、グラフィカルアバター）からのいくつかの形式で組み込むことができる。
【０２６４】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、収集されたデータに基づいて対話の質を改善するための機械学習設備を提供する。機械学習を実行するために利用されるアルゴリズムは、ＰＣＤ１００と通信するコンピュータプラットフォーム上のＰＣＤで実行することができる。例示的実施形態において、ＰＣＤ１００は、コーチング及びトレーニングを提供するためユーザと対話するために関連性条件付けを利用することができる。関連性又は「オペラント」条件付けは、挙動を増加させるための補強の使用に着目する。この処理を通じて、関連性は、挙動とその挙動に対する結果の間に形成される。例えば、ＰＣＤ１００は、ユーザが迅速に起きて、じっと動かないままでいるのとは対照的にベッドから飛び起きた時に幸せの音を発することができる。時間の経過と共に、ユーザがＰＣＤ１００の明らかな幸せな状態をそのような作動に関連付けるので、ＰＣＤ１００とユーザの間のこの対話は、より迅速に引き起こるようにユーザを促進するように働く。別の例では、ＰＣＤ１００は、ユーザが運動していることが観察された時に、励ます音又は言語を発することができる。そのような場合に、ＰＣＤ１００は、ユーザによって望ましい作動に対する永続的で積極的な補強を提供するように働く。
【０２６５】
様々な例示的実施形態により、ＰＣＤ１００は、以下に限定されるものではないが、時間パターンモデリング及び認識、ユーザプリファレンスモデリング、特徴分類、タスク／ポリシーモデリング、及び補強学習を含む機械学習を実行する時に当業技術で公知の複数の分析のタイプの１つを利用することができる。
【０２６６】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ユーザとの対話に合った対話のモードを識別するための視覚、音声、力学、又は「ＶＡＫ」モデルを利用することができる。ＰＣＤ１００は、ユーザの支配的な学習様式を決定するように作動させることができる。例えば、ユーザが主として視覚的方法で情報を処理していることをＰＣＤ１００が決定した場合に、ＰＣＤ１００は、ユーザに情報を伝えるためにＰＣＤ１００の一部を形成しているグラフィックディスプレイ１０４上のような図表又は図を利用することができる。同様に、ＰＣＤ１００は、質問及び他の指示をユーザに出して聴覚環境でユーザがきびきびと動くことを補助するように作動させることができる。
【０２６７】
同様に、ユーザが主として聴覚方法で情報を処理しているとＰＣＤ１００が決定した場合に、ＰＣＤ１００は、やって来るものの短い説明で新しい対話を開始することができ、引き起こったことの要約で終えることができる。最後に、ユーザが主として力学的方法で情報を処理しているとＰＣＤ１００が決定した場合に、ＰＣＤ１００は、動き及びタッチを伴う力学的及び触覚対話を通じてユーザと対話するように作動させることができる。例えば、ユーザを起こして朝に活動させるために、ＰＣＤ１００は、ＰＣＤ１００がユーザからのハグを要求する活動で作動することができる。他の実施形態において、社会的対話の要素を強調して補強するために、ＰＣＤ１００は、対話に関連付けられた臭いを発することができる。
【０２６８】
家中でＰＣＤ１００を移動する機能は、ＰＣＤ１００としての重要な態様である。作動において、ＰＣＤ１００は、遠隔の人に物理的に組み込まれた物理的社会的表現方法を与えるように作動し、個人がスクリーンの前で止まる及び集まる必要なく人が「生活の流れのなかに留まる」ことができることを伝える（最新ビデオ会議）。この結果、ＰＣＤ１００は、ユーザが家にいる誰かを訪問したとしても、さりげない対話のサポートを提供する。ユーザは、皿を洗うことのような他の活動を実行することができ、ＰＣＤ１００が部屋の周りのユーザを追跡することができるので会話を続けることができる。上述の例示的実施形態において、ＰＣＤ１００はセンサを有するように設計され、出力が部屋全体に運ばれる。主な技術的態様は、以下を含む。
【０２６９】
ユーザは、ＰＣＤ１００のカメラビューを制御することができ、ターゲット物体にカメラを据えるために逆運動学を追跡して実行することによってこれを自動化することを助けることができる。
【０２７０】
ＰＣＤ１００は、アイコンタクトのような重要な非言語手掛かりを保護する方法でスクリーンにあなたの表現（ビデオストリーム、グラフィックなど）を表示することができる。
【０２７１】
ＰＣＤ１００は、個人が表現豊かな身体的プレゼンスを有することができるように、遠隔の個人の頭の姿勢、身体の姿勢を真似ることができる。ＰＣＤ１００は、ラポールを作り上げるために姿勢のミラーリング及び同調性のような状況にあった固有の表現豊かな身体の動きを生成することができる。
【０２７２】
ＰＣＤ１００は、面白いアニメーション及びサウンドをトリガすることができる。ユーザは、あなたとして又は面白いキャラクターとしてのいずれかで正確にあなた自身を伝えようとすることができる。これは、おばあちゃんが自分の孫に離れた所からお話を読むことができて物語セッションの間に異なるキャラクターを受け持つ場合の接続されたお話の読み聞かせに正に有用である。
【０２７３】
ＰＣＤ１００は、話している人を追跡して、その視線／あなたのカメラビューをスピーカに自動的に移行させることができる（ＰＣＤ１００をマニュアルで制御しなければならない場合の認知負荷を低減する）。
【０２７４】
ＰＣＤ１００は、スライド式自律インタフェースを有することができ、それによって遠隔ユーザは、ＰＣＤ１００の直接制御を多かれ少なかれ実行することができ、自律を使用して補足することができる。
【０２７５】
ＰＣＤ１００は、ユーザに広い視野を提供することができる（あなたがその前に留まる必要があるので他のデバイスが提供／仮定するトンネルビジョンよりも良い）。
【０２７６】
全てのこれらのことを実行すること及び家中の異なる場所にＰＣＤ１００を設置することができることにより、遠隔の人は、通信できるだけでなく、活動に参加することができると感じる。寝る前にお話を共有し、遊戯室にいて孫と遊び、離れた所から感謝祭の夕食に参加し、あなたの娘が家族の食事を作ることをあなたが助ける時に調理台に座ることなどができる。これは、あなたが現実の物理的社会的プレゼンスを他の場所に有するように感じるようにハンズフリー作動をサポートする。
【０２７７】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ユーザが生きて働いている環境に典型的な様々な面の近くに安定させて又は均衡を取って位置決めされるように構成又は適応させることができる。例えば、ＰＣＤ１００のほぼ平面の面は、滑らかな面でＰＣＤ１００が滑らないように作動する摩擦パッドから少なくとも一部製作することができ、又はこれを組み込むことができる。他の実施形態において、ＰＣＤ１００は、平らでない面にＰＣＤ１００を配置するためにマニュアル又は自動のいずれかで配備することができる部分的に取外し可能な又は伸縮式の付属物を利用することができる。他の実施形態において、デバイスは、環境で動き回れるか又は物体を操作することを可能にするハードウエア付属品を有することができる。外面又は物体に表示することができるようにレーザポインタ又はプロジェクタを配備することができる。そのような例では、ＰＣＤ１００は、付属物の先端上又はその近くに摩擦パッドを組み込んで滑らないようにすることができる。更に他の実施形態において、ＰＣＤ１００は、面に一時的に付着させるためにＰＣＤ１００の１つ又は複数の外面上に１つ又はそれよりも多くの吸い込みカップを組み込むことができる。更に他の実施形態において、ＰＣＤ１００は、ＰＣＤ１００を定位置に固定させる及び／又はＰＣＤ１００をぶら下げるためのフック及びループなどを組み込むことができる。
【０２７８】
他の例示的実施形態において、ＰＣＤ１００は、手で持ち運べるように適応される。特に、ＰＣＤ１００は、１０ｋｇより軽い重量になり、４，０００ｃｍ3を超えない体積を占めるように構成される。ＰＣＤ１００は、ＰＣＤ１００を持ち運ぶのに使用する取り付け式又は取外し可能なストラップ又はハンドルを含むことができる。
【０２７９】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、社会的手掛かりのプレゼンス又は発生を永続的に知るか又は計算を通じて決定することができ、かつ社会的に存在するように構成される。同様に、ＰＣＤ１００は、完全な停止の期間を避けるように作動させることができる。一部の実施形態において、ＰＣＤ１００は、定期的に低電力状態又は「スリープ状態」に入り、電力を節約することができる。そのようなスリープ状態の間は、ＰＣＤ１００は、入力の低減されたセットを処理して、ＰＣＤ１００の近くに入ってきた人又はユーザ、個人間の声のような社会的手掛かりのプレゼンスをＰＣＤ１００に警告するように作動させることができる。ＰＣＤ１００が、ＰＣＤ１００が対話することができる個人又はユーザのプレゼンスを検出した時に、ＰＣＤ１００は、完全な警報モードに移行することができ、ＰＣＤ１００の感覚入力の多く又は全てが、関連データを受信及び処理するために利用される。
【０２８０】
社会的手掛かりを永続的に知覚する機能は、ＰＣＤ１００をマニュアルで電力オフ又は電力オンにする必要性を低減する。オン及びオフにする機能は、機械デバイスに関連付けられた属性であり、完全に電力ダウンモードになることを防ぐためのＰＣＤ１００の機能は、ＰＣＤ１００が生きているコンパニオンであるという認識を強めるように働く。一部の実施形態において、ＰＣＤ１００は、いびきを真似た白色ノイズ又は音を発することによってスリープ状態にあることを補足することができる。そのような場合に、ユーザがＰＣＤ１００にぶつかった時に、ＰＣＤ１００は、ユーザのプレゼンスを感知し、例えば、ユーザにあくびのような目覚めを示す騒音であいさつすることによって完全な警報又は電力アップモードへの移行に進む。そのような作動は、ＰＣＤ１００とユーザ間の対話を開始するための待ち行列として作用する。
【０２８１】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ユーザからの言語及び非言語信号及び手掛かりをモニタ、追跡、及び特徴付けるように適応される。そのような手掛かりの例は、以下に限定されるものではないが、動作、視線の方向、単語の選択、言語の韻律、身体の姿勢、顔面表情、感情的な手掛かり、タッチなどを含む。全てのそのような手掛かりは、センサデバイス１０２、１０４、１０６、１０８、１１２を通じてＰＣＤ１００によって取り込むことができる。ＰＣＤ１００は、取り込まれた手掛かりを効率的に真似るか又はミラーするように適応してその挙動を調節するように構成することができる。これを実行することにより、ＰＣＤ１００は、ユーザの特徴及び心理的な状態を反映しているように見えることによってＰＣＤ１００とユーザ間のラポールを高める。そのようなミラーリングは、ＰＣＤ１００による特徴の長期予想のためのＰＣＤ１００の個性又はデジタル魂に組み込むことができ、又は一時的とすることができ、例えば、特定の社会的対話を収容する時間を通じて拡張することができる。
【０２８２】
例えば、ユーザが定期的に特定のフレーズを使用していることをＰＣＤ１００が検出した場合に、ＰＣＤ１００は、このフレーズを将来ユーザと対話する時にＰＣＤ１００によって永続的に使用するための対話データのコーパスに追加することができる。同様に、ＰＣＤ１００は、リアルタイムで又は実質的にリアルタイムで一時的な言語及び非言語動作を真似ることができる。例えば、ＰＣＤ１００が、興奮を示す増加したワード速度に結合されたユーザの声の周波数の上昇を検出した場合に、ＰＣＤ１００は、増加したワード速度によって標準的な周波数よりも高い周波数でユーザとの言語の対話を始めることができる。
【０２８３】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、以下に限定されるものではないが、身体の形態のファクタ、物理的動き、グラフィック、及び音を含むＰＣＤ１００の一部を形成する様々な物理的顕現を通じて個別のペルソナ又はデジタル魂を投影することができる。一実施形態において、ＰＣＤ１００は、表現に富む機械を利用することができる。例えば、ＰＣＤ１００は、音声信号の出力を通じて話した時に起動することができる可動式顎状付属物を組み込むことができる。そのような付属物は、必要に応じて笑顔又はしかめっ面を真似るのに十分な数の自由度を与えることができる。同様に、ＰＣＤ１００は、視覚的露出の程度を変更することができる１つ又はそれよりも多くの「眼のような」付属品を付けて構成することができる。この結果、ＰＣＤ１００は、びっくり、驚き、興味などに応答して「眼を見開いた」表現を表示することができる。
【０２８４】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、例えば、スクリーンモードと全体モードの間で移行するために空間におけるその姿勢又は位置を検出することができる。例えば、ＰＣＤ１００がグラフィカル情報を表示するためのスクリーン１０４を組み込んだ場合に、ＰＣＤ１００は、ユーザがスクリーンをユーザの顔まで持ち上げてユーザがディスプレイを見ることができる位置に持って行った時に、どのような状態からでも情報を出力するモードに移行することができる。
【０２８５】
別の実施形態により、ＰＣＤ１００の一部を形成する１つ又はそれよりも多くの圧力センサは、ユーザが社会的方法でＰＣＤ１００にタッチした時間を検出することができる。例えば、ＰＣＤ１００は、１つよりも多い圧力センサが体験しているパターンから、ユーザがＰＣＤ１００を投げている、撫ぜている、又は叩いていると決定することができる。社会的タッチの異なる検出されたモードは、ＰＣＤ１００への引き金として作用し、ユーザとのソーシャル対話を補強又は禁じる対話型挙動を示すことができる。
【０２８６】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ＰＣＤ１００の外観と雰囲気を拡張するための付属品を取り付けることができる。そのような付属品は、以下に限定されるものではないが、皮膚、衣装、内部及び外部の光の両方、及びマスクなどを含む。
【０２８７】
上述のように、ＰＣＤ１００のペルソナ又はデジタル魂は、ＰＣＤ１００の物理的顕現から分岐することができる。ＰＣＤ１００のペルソナを含む属性は、以下に限定されるものではないが、サーバ及びパーソナルコンピュータデバイスを含む１つ又はそれよりも多くの他のコンピュータデバイスにＢｌｕｅｔｏｏｔｈ（登録商標）又はＷｉＦｉなどを通じて転送及び通信することができるデジタルデータとして格納することができる。そのような関連では、パーソナルコンピュータデバイスを一連のプログラマブル段階を実行するためにプロセッサ及び格納されたメモリを利用するいずれかのデバイスとすることができる。一部の実施形態において、ＰＣＤ１００のデジタル魂を腕時計又は移動電話のような消費者アクセサリに転送することができる。そのような例では、ＰＣＤ１００のペルソナは、効率的に及び一時的に別のデバイスに転送することができる。一部の実施形態において、転送されている間、ＰＣＤ１００の転送インスタンスが、ユーザの環境の感知、社会的対話への介入、更に対話データの検索及び出力を続けることができる。そのような対話データは、後の時間にＰＣＤ１００に転送することができ、又はＰＣＤ１００による後の検索のためにサーバにアップロードすることができる。
【０２８８】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、社会的手掛かりに応答して調節する視覚パターンを示すことができる。例えば、ディスプレイ１０４は、興奮した時は赤の光を静かな時は青の光を発することができる。同様に、ディスプレイ１０４は、ユーザがタスクの完了に成功した時などに歓喜を伝えるために紙吹雪が飛んでいるアニメを表示することができる。一部の実施形態において、ディスプレイの質感及びアニメーションをユーザ選択可能にすることができ、又はＰＣＤ１００に直接又はＰＣＤ１００と通信するサーバ又は外部デバイスのいずれかにプログラムすることができる。更に他の実施形態において、ＰＣＤ１００は、一連の呼び出し音及び警笛を発して、模擬の感情を表現することができる。一部の実施形態において、呼び出し音及び警笛は、ユーザの発話及び他の口語の言語から得られるパターンでパターン化することができる。一部の例では、呼び出し音、警笛及び他の聴覚出力が、ＰＣＤ１００に固有の聴覚署名として作用することができる。一部の実施形態において、同じ聴覚署名の変形を模擬の家族を形成する「関連の」ＰＣＤ１００の群のような複数のＰＣＤ１００に利用して、関係性の程度を示すことができる。
【０２８９】
一部の実施形態において、ＰＣＤ１００は、感情を伝えるための表現のモード間のアニモーフィック移行に関わることができる。例えば、ＰＣＤ１００は、不規則又は疑似不規則パターン又は他のグラフィックから人間の感情を表示する方法として笑っているか又はしかめている口のディスプレイに移行するようにディスプレイ１０４を作動させることができる。
【０２９０】
他の例示的実施形態において、ＰＣＤ１００は、臭いか又はフェロモンを発して感情的状態を表現することができる。
【０２９１】
更に別の例示的実施形態により、ユーザとの対話の基礎にすることができるＰＣＤ１００にアクセス可能なデータの形式で経歴を提供することができる。そのようなデータは、ＰＣＤ１００の前の履歴の一部を形成する現実と虚構の両方の過去のイベントに言及する１つ又はそれよりも多くの物語を含むことができる。例えば、ＰＣＤ１００に、ＰＣＤ１００の人生における過去の出来事を告げる発話生成を通じてユーザに伝えることができる物語を提供することができる。そのような物語は、対話データによってトリガすることができるユーザによる必要に応じて出力することができる。例えば、ＰＣＤ１００は、今日がユーザの誕生日であるということをユーザデータから見出すことができる。それに応じて、ＰＣＤ１００を開始して、ＰＣＤ１００の過去の誕生日に関連付けられた物語をユーザと共有することができる。経歴を含むデータは、ユーザによる要求で又はＰＣＤ１００によって自律的に中央で格納してＰＣＤ１００にダウンロードすることができる。
【０２９２】
経歴は、ＰＣＤ１００の製造業者によって生成及び格納することができ、必要に応じてユーザに利用可能にすることができる。図１１を参照すると、例示的かつ非制限的実施形態の流れ図１１００が示されている。一例では、段階１１０２で、製造業者は、スポーツ、特に野球及びボストンレッドソックスに関心があるユーザに関連付けられた犬をモデル化したＰＣＤ１００のための経歴に対する要求を入力として受信することができる。それに応じて、製造業者又は第三者経歴プロバイダは、段階１１０４でベースの経歴を生成することができる。一例において、物語は、レッドソックスに関連付けられた詳細を追加された野球を扱う特定の物語によって増補された比較的一般的なドッグ物語を含むことができる。
【０２９３】
一部の実施形態において、段階１１０６で、ＰＣＤ１００による更に別のリアルタイムのカスタマイズ化を可能にする変数によって経歴を符号化することができる。例えば、経歴は、「Ｍｅ  ａｎｄ  ｍｙ  ｂｒｏｔｈｅｒｓ  ａｎｄ  ｓｉｓｔｅｒｓ＜ｆｏｒ  ｉ＝＝１  ｔｏ  ｍａｘ_ｓｉｂｌｉｎｇｓ，ｉｎｓｅｒｔ  ｓｉｂｌｉｎｇ_ｎａｍｅ［ｉ］＞  ｗｅｒｅ  ｒａｉｓｅｄ  ｉｎ．．．」のような疑似コードで符号化することができる。従って、ＰＣＤ１００によって読み取られた時に、物語は、ＰＣＤ１００に関連付けられるように構成された他のＰＣＤ１００の名前を含むものとして読み取ることができる。
【０２９４】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ＰＣＤ１００の共同いたわり機能を管理するための実行可能なモジュール又はプログラムを提供することができ、それによってユーザは、コンパニオンデバイスをケアするように促される。例えば、共同いたわりモジュールは、幼児に関連付けられた音、グラフィック、臭いなどを伴う挙動を通じてユーザとの対話を開始することによって赤ちゃんのケアをするためのユーザの生来の衝動を掻き立てるように作動することができる。ＰＣＤ１００とユーザの間のラポールは、共同いたわりモジュールが、悲しみ、孤独、及び／又は抑うつのような負の感情を表現するように作動し、同時に負の感情を軽減するためにユーザからのアクションを求める時に更に推奨される。従って、ユーザは、ＰＣＤ１００を励ますためにＰＣＤ１００と対話するように促される。
【０２９５】
例示的かつ非制限的実施形態により、ＰＣＤ１００は、ユーザ属性を示す対話データ、ＰＣＤ１００のユーザとＰＣＤ１００との対話、及びＰＣＤ１００のユーザの環境にアクセスするように構成されたモジュールを含むことができる。図１２００を参照すると、例示的かつ非制限的実施形態の流れ図が示されている。段階１２０２で、対話データがアクセスされる。段階１２０４で、対話データを中央データ収集設備に格納することができる。検索及び格納された状態で、段階１２０６で、対話データを利用してユーザの必要性状態を予想することができる。必要性状態が識別された状態で、段階１２０８で、これを利用して作動を実行するためのスケジュールに頼ることなくユーザの必要性に積極的に対処することができる。一部の実施形態において、ユーザの容貌、姿勢などが、必要性状態を識別するための基礎を形成することができる。一部の例では、必要性状態の識別は、対話データの一部を含むようなスケジュールデータによって補足することができる。例えば、スケジュールは、一包の抗生物質を摂取するのに必要なユーザの時間が経過したことを示すことができる。ＰＣＤ１００は、顔の分析及び音声変調分析から得られたデータから部分的にユーザの必要性状態を確かめることができる。
【０２９６】
例示的かつ非制限的実施形態により、ＰＣＤ１００をメッセンジャーとして使用して、１個人の人から別の人にメッセージを中継することができる。メッセージは、以下に限定されるものではないが、送信者の声の音声記録、キャラクターでメッセージを中継するＰＣＤ１００、メッセージ及び曲を拡張するのに使用されるダンス／アニメーション／音声クリップを含む。
【０２９７】
メッセージは、様々な方法で生成することができる。一実施形態において、ＰＣＤ１００は、スマートデバイスのアプリケーションとして実施される。送信者はアプリケーションを開くことができ、メッセージ及び関連する音、スケジューリングなどを選択する。アプリケーションにおけるＰＣＤ１００の仮想インスタンスは、ユーザに処理を案内することができる。別の実施形態において、ＰＣＤ１００との直接対話を通じて、送信者／ユーザが、単純なタッチインタフェース又は自然言語インタフェースを通じてＰＣＤ１００に命令して、ある将来の時間に何かを別の人に通知することができる。例えば、ユーザは、「ＰＣＤ、私の妻が今朝キッチンに来た時に、彼女にＸの曲を再生して「私が彼女を愛している」ことを彼女に伝えて。」ということができる。送信者は、ＰＣＤ１００に送信者の声を記録させることができ、メッセージの一部として使用することができる。他の実施形態において、メッセージを配信する送信者のＰＣＤ１００の代わりに、メッセージを別の場所の異なるＰＣＤ１００によって配信することができる。更に別の実施形態において、ユーザ／送信者が、例えば、特定のＰＣＤ１００ハッシュタグにメッセージをツイートすることができ、ＰＣＤ１００は、そのメッセージをユーザ／受信者に話す。感情は、メッセージに挿入することができ、ＰＣＤ１００によって演じられる古くさいアニメーション／音スクリプトを示す。一部の例示的な顔文字は以下の通りである。
【０２９８】
（表１）
2016522465.tif 000003
表１：感情の定義
【０２９９】
これに加えて、メッセージは、後で特定の日付及び時間又はある状況のセット（例えば、「あなたが火曜日に人Ｘを始めて見た時」、又は「人Ｙが水曜日に起きた時に、このメッセージを与えて」）に送信されるようにスケジュールすることができる。
【０３００】
他の実施形態において、ＰＣＤ１００を使用して、ＰＣＤを持っていないユーザのためのメッセージを生成することができる。そのようなメッセージはウェブリンクの形式で生成することができ、受信者が１つを有する場合に物理的ＰＣＤ１００が生成するようなメッセージを配信するための仮想ＰＣＤ１００を組み込むことができる。
【０３０１】
従って、明らかなように、ＰＣＤ１００は、友達及びユーザの家族のような個人からメッセージを受信するように構成することができ、メッセージは、メッセージに指定された感情に関連するアクションをトリガする。例えば、個人は、ユーザに関連付けられたＰＣＤ１００にメッセージを送信することができ、その中に、メッセージの送信者がＰＣＤ１００を通じて伝えたい感情又は社会的アクションを表す顔文字が組み込まれる。例えば、送信者が「あなたに会いたい」と読むメッセージをＰＣＤ１００に送信された場合に、ＰＣＤ１００は、メッセージの受信に応答して、音声シンセサイザを通じて「あなたに会いたい」と読む「ロバートからの着信メッセージ」を出力して、同時にキスの音を出す、ディスプレイにキスマークを表示するか又は類似のアクションをすることができる。従って、メッセージ送信者は、メッセージに注釈を付けて、ＰＣＤ１００がそれによってユーザと対話することができる表現様式を利用することができる。
【０３０２】
本明細書に説明する方法及びシステムは、プロセッサ上のコンピュータソフトウエア、プログラムコード、及び／又は命令を実行する機械を通じて部分的に又は全てを配備することができる。プロセッサは、サーバ、クライアント、ネットワークインフラストラクチャー、移動コンピュータプラットフォーム、固定コンピュータプラットフォーム、又は他のコンピュータプラットフォームの一部とすることができる。プロセッサは、プログラム命令、コード、バイナリ命令などを実行することができるあらゆる種類のコンピュータ又は処理デバイスとすることができる。プロセッサは、信号プロセッサ、デジタルプロセッサ、組み込み式プロセッサ、マイクロプロセッサ又はコプロセッサのようなあらゆる変形（演算コプロセッサ、グラフィックコプロセッサ、通信コプロセッサなど）及び格納しているプログラムコード又はプログラム命令の実行を直接又は間接的に容易にすることができる同種のものとすることができ、又はこれらを含むことができる。これに加えて、プロセッサは、複数のプログラム、スレッド、及びコードの実行を可能にすることができる。スレッドを同時に実行して、プロセッサの性能を拡張して、アプリケーションの同時作動を容易にすることができる。実施により、本明細書に説明する方法、プログラムコード、及びプログラム命令などは、１つ又はそれよりも多くのスレッドに実施することができる。スレッドは、それに関連付けられた優先度を割り当てることができる他のスレッドを生み出すことができ、プロセッサは、優先度又はプログラムコードで提供された命令に基づくいずれかの他の順序に基づいてこれらのスレッドを実行することができる。プロセッサは、本明細書及び他で説明するように、方法、コード、命令、及びプログラムを格納するメモリを含むことができる。プロセッサは、本明細書及び他で説明するように、方法、コード、及び命令を格納することができるストレージ媒体にインタフェースを通じてアクセス可能である。コンピュータ又は処理デバイスによって実行することができる方法、プログラム、コード、プログラム命令、又は他のタイプの命令を格納するためのプロセッサに関連付けられたストレージ媒体は、以下に限定されるものではないが、ＣＤ−ＲＯＭ、ＤＶＤ、メモリ、ハードディスク、フラッシュドライブ、ＲＡＭ、ＲＯＭ、キャッシュのような１つ又はそれよりも多くを含むことができる。
【０３０３】
プロセッサは、マルチプロセッサの速度及び性能を拡張することができる１つ又はそれよりも多くのコアを含むことができる。一部の実施形態において、プロセッサは、デュアルコアプロセッサ、クアドコアプロセッサ、他のチップレベルプロセッサ、及び２つ又はそれよりも多くの独立コア（ダイと呼ぶ）を結合した同種のものとすることができる。
【０３０４】
本明細書に説明する方法及びシステムは、サーバ、クライアント、ファイヤウォール、ゲートウェイ、ハブ、ルータ、又は他のそのようなコンピュータ及び／又はネットワーキングハードウエアでコンピュータソフトウエアを実行する機械を通じて部分的に又は全てを配備することができる。ソフトウエアプログラムは、ファイルサーバ、プリントサーバ、ドメインサーバ、インターネットサーバ、イントラネットサーバ、及び２次サーバ、ホストサーバ、分散サーバのような他の変形を含むことができるサーバに関連付けることができる。サーバは、メモリ、プロセッサ、コンピュータ可読媒体、ストレージ媒体、ポート（物理的及び仮想的）、通信デバイス、及び有線又は無線媒体を通じて他のサーバ、クライアント、機械、及びデバイスにアクセス可能なインタフェースのうちの１つ又はそれよりも多くを含むことができる。本明細書及び他で説明する方法、プログラム、又はコードは、サーバによって実行することができる。これに加えて、本出願で説明した方法の実行に必要な他のデバイスは、サーバに関連付けられたインフラストラクチャーの一部として考えることができる。
【０３０５】
サーバは、以下に限定されるものではないが、クライアント、他のサーバ、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバなどを含む他のデバイスへのインタフェースを提供することができる。これに加えて、この結合及び／又は接続は、ネットワーク全体におけるプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部又は全てのネットワーキングは、範囲から逸脱することなく１つ又はそれよりも多くの場所でのプログラム又は方法の並行処理を容易にすることができる。これに加えて、インタフェースを通じてサーバに付属するデバイスのいずれも、方法、プログラム、コード、及び／又は命令を格納することができる少なくとも１つのストレージ媒体を含むことができる。中央リポジトリは、異なるデバイスで実行されるプログラム命令を提供することができる。この実施では、遠隔リポジトリは、プログラムコード、命令、及びプログラムのためのストレージ媒体として作用することができる。
【０３０６】
ソフトウエアプログラムは、ファイルクライアント、プリントクライアント、ドメインクライアント、インターネットクライント、イントラネットクライアント、及び２次クライアント、ホストクライアント、分散クライアントのような他の変形を含むことができるクライアントに関連付けることができる。クライアントは、メモリ、プロセッサ、コンピュータ可読媒体、ストレージ媒体、ポート（物理的及び仮想的）、通信デバイス、及び有線又は無線媒体を通じて他のクライアント、サーバ、機械、及びデバイスにアクセス可能なインタフェースのうちの１つ又はそれよりも多くを含むことができる。ここで及び他で説明する方法、プログラム、又はコードは、クライアントによって実行することができる。これに加えて、本出願で説明する方法の実行に必要な他のデバイスは、クライアントに関連付けられたインフラストラクチャーの一部として考えることができる。
【０３０７】
クライアントは、以下に限定されるものではないが、サーバ、他のクライアント、プリンタ、データベースサーバ、プリントサーバ、ファイルサーバ、通信サーバ、分散サーバなどを含む他のデバイスへのインタフェースを提供することができる。これに加えて、この結合及び／又は接続は、ネットワーク全体におけるプログラムの遠隔実行を容易にすることができる。これらのデバイスの一部又は全てのネットワーキングは、本発明の範囲から逸脱することなく１つ又はそれよりも多くの場所でのプログラム又は方法の並行処理を容易にすることができる。これに加えて、インタフェースを通じてクライアントに付属するデバイスのいずれも、方法、プログラム、アプリケーション、コード、及び／又は命令を格納することができる少なくとも１つのストレージ媒体を含むことができる。中央リポジトリは、異なるデバイスで実行されるプログラム命令を提供することができる。この実施では、遠隔リポジトリは、プログラムコード、命令、及びプログラムのためのストレージ媒体として作用することができる。
【０３０８】
本明細書に説明する方法及びシステムは、ネットワークインフラストラクチャーを通じて一部又は全体を配備することができる。ネットワークインフラストラクチャーは、コンピュータデバイス、サーバ、ルータ、ハブ、ファイヤウォール、クライアント、パーソナルコンピュータ、通信デバイス、経路指定デバイス及び他の能動及び受動デバイス、モジュール及び／又は当業技術で公知の構成要素のような要素を含むことができる。ネットワークインフラストラクチャーに関連付けられるコンピュータ及び／又は非コンピュータデバイスは、他の構成要素とは別に、フラッシュメモリ、バッファ、スタック、ＲＡＭ、ＲＯＭのようなストレージ媒体を含むことができる。ここで及び他で説明する処理、方法、プログラムコード、命令は、ネットワークインフラストラクチャー要素の１つ又はそれよりも多くによって実行することができる。
【０３０９】
ここで及び他で説明する方法、プログラムコード、及び命令は、複数のセルを有するセルラーネットワーク上で実行することができる。セルラーネットワークは、周波数分割多元接続（ＦＤＭＡ）ネットワーク又は符号分割多元接続（ＣＤＭＡ）ネットワークのうちのいずれかとすることができる。セルラーネットワークは、移動デバイス、セルサイト、基地局、リピータ、アンテナ、タワーなどを含むことができる。セルネットワークは、ＧＳＭ（登録商標）、ＧＰＲＳ、３Ｇ、ＥＶＤＯ、メッシュ、又は他のネットワークタイプとすることができる。
【０３１０】
ここで及び他で説明する方法、プログラムコード、及び命令は、移動デバイスで又は移動デバイスを通じて実行することができる。移動デバイスは、ナビゲーションデバイス、携帯電話、移動電話、移動携帯情報端末、ラップトップ、パームトップ、ネットブック、ポケットベル、電子書籍読取装置、音楽プレーヤなどを含むことができる。これらのデバイスは、他の構成要素とは別に、フラッシュメモリ、バッファ、ＲＡＭ、ＲＯＭ、及び１つ又はそれよりも多くのコンピュータデバイスのようなストレージ媒体を含むことができる。移動デバイスに関連付けられたコンピュータデバイスは、格納しているプログラムコード、方法、及び命令を実行することができる。代わりに、移動デバイスは、他のデバイスと協働して命令を実行するように構成することができる。移動デバイスは、サーバに接続されプログラムコードを実行するように構成された基地局と通信することができる。移動デバイスは、ピアツーピアネットワーク、メッシュネットワーク、又は他の通信ネットワーク上で通信することができる。プログラムコードは、サーバに関連付けられたストレージ媒体に格納することができ、サーバ内に組み込まれたコンピュータデバイスによって実行することができる。基地局は、コンピュータデバイス及びストレージ媒体を含むことができる。ストレージデバイスは、基地局に関連付けられたコンピュータデバイスによって実行されるプログラムコード及び命令を格納することができる。
【０３１１】
コンピュータソフトウエア、プログラムコード、及び／又は命令は、コンピュータ構成要素、デバイス、及び何らかの時間間隔にわたって計算するのに使用されるデジタルデータを保存する記録媒体を含むことができる機械可読媒体、不規則アクセスメモリ（ＲＡＭ）として公知の半導体ストレージ、光学ディスク、ハードディスクのような磁気ストレージの形式、テープ、ドラム、カード及び他のタイプのような一般的により永続的な格納のための大容量ストレージ、プロセッサレジスタ、キャッシュメモリ、揮発性メモリ、不揮発性メモリ、ＣＤ、ＤＶＤのような光学ストレージ、フラッシュメモリ（ＵＳＢスティック又はキーなど）、フロップーディスク、磁気テープ、紙テープ、パンチカード、独立型ＲＡＭディスク、Ｚｉｐドライブ、取外し可能大容量ストレージ、オフラインのような取外し可能媒体、動的メモリ、静的メモリ、読取／書込ストレージ、可変ストレージ、読取専用、不規則アクセス、シーケンシャルアクセス、位置アドレス可能、ファイルアドレス可能、コンテンツアドレス可能、ネットワーク付属ストレージ、格納エリアネットワーク、バーコード、及び磁気インクなどのような他のコンピュータメモリを含むことができる機械可読媒体上に格納され、及び／又はそこでアクセスすることができる。
【０３１２】
本明細書に説明する方法及びシステムは、１つの状態から別の状態に物理的及び／又は無形項目を変換することができる。本明細書に説明する方法及びシステムは、１つの状態から別の状態に物理的及び／又は無形項目を表すデータを変換することができる。
【０３１３】
流れ図及び図を通じたブロック図に含まれる本明細書に説明及び図示の要素は、要素間の論理的境界を含む。しかし、ソフトウエア又はハードウエアエンジニアリングの慣例により、図示の要素及びその機能は、モノリシックソフトウエア構造として、独立型ソフトウエアモジュールとして、又は外部ルーチン、コード、サービスのような又はこれらのいずれかの組合せを利用するモジュールとして、格納したプログラム命令を実行することができるプロセッサを有するコンピュータ実行可能媒体を通じて機械で実行することができ、全てのそのような実施を本発明の開示の範囲内とすることができる。そのような機械の例は、以下に限定されるものではないが、携帯情報端末、ラップトップ、パーソナルコンピュータ、移動電話、他の手持ち式コンピュータデバイス、医療機器、有線又は無線通信デバイス、変換器、チップ、計算機、衛星、タブレットＰＣ，電子書籍、ガジェット、電子デバイス、個人工知能を有するデバイス、コンピュータデバイス、ネットワーキング機器、サーバ、ルータなどを含むことができる。また、流れ図及びブロック図に示す要素又はいずれの他の論理的構成要素も、プログラム命令を実行することができる機械に実施することができる。従って、上述の図面及び説明は、開示するシステムの機能的な態様を示しており、明示的に説明されないか又は他に関連から明らかでない限り、これらの機能的な態様を実施するためのソフトウエアの特定の構成を推測する必要はない。同様に、上記に識別かつ説明した様々な段階は、変更することができ、本明細書に開示する技術の特定の用途に段階の順序を適応させることができることを認めることができる。全てのそのような変形及び変更は、本発明の開示の範囲に入るものとする。従って、特定の用途によって要求されないか又は明示的に説明されないか又は他に関連から明らかでない限り、様々な段階の順序の図示及び／又は説明は、これらの段階のための特定の順序の実行を必要とすると理解すべきではない。
【０３１４】
上述の方法及び／又は処理、及びその段階は、特定の用途に適するハードウエア、ソフトウエア、又はハードウエアとソフトウエアの組合せに実施することができる。ハードウエアは、汎用コンピュータ及び／又は専用コンピュータデバイス又は特定のコンピュータデバイス又は特定のコンピュータデバイスの特定の態様又は構成要素を含むことができる。処理は、内部及び／又は外部メモリを備えた１つ又はそれよりも多くのマイクロプロセッサ、マイクロコントローラ、組み込み式マイクロコントローラ、プログラマブルデジタル信号プロセッサ、又は他のプログラマブルデバイスで実行することができる。これに加えて又はこれに代えて、処理は、特定用途向け集積回路、プログラマブルゲートアレイ、プログラマブルアレイ論理、又は電子信号を処理するように構成することができるいずれかの他のデバイス又はデバイスの組合せに実施することができる。処理の１つ又はそれよりも多くは、機械可読媒体で実行することができるコンピュータ実行可能コードとして実行することができることを更に認めることができる。
【０３１５】
コンピュータ実行可能コードは、Ｃのような構造化プログラミング言語、Ｃ＋＋のようなオブジェクト指向プログラミング言語、又は上述のデバイスの１つ、並びにプロセッサの異機種の組合せ、プロセッサアーキテクチャ、又は異なるハードウエア及びソフトウエアの組合せ、又はプログラム命令を実行することができるいずれかの他の機械で実行するために格納、コンパイル又は解釈することができるいずれかの他の高レベル又は低レベルプログラミング言語（アセンブリ言語、ハードウエア記述言語、及びデータベースプログラミング言語及び技術を含む）を使用して生成することができる。
【０３１６】
すなわち、１つの態様において、上述の各方法及びその組合せは、コンピュータ実行可能コードに実施することができ、１つ又はそれよりも多くのコンピュータデバイス上で実行された時にその段階を実行する。別の態様において、本方法は、その段階を実行するシステムに実施することができ、いくつかの方法でデバイス全体に分散させることができ、又は機能の全てを専用独立型デバイス又は他のハードウエアに統合することができる。別の態様において、上述の処理に関連付けられた段階を実行するための手段は、上述のハードウエア及び／又はソフトウエアのいずれかを含むことができる。全てのそのような置換及び組合せは、本発明の開示の範囲に入るものとする。
【０３１７】
本明細書に説明する方法及びシステムは、図示かつ詳しく説明したある一定の好ましい実施形態に関して開示したものであり、その様々な変更及び改良は、当業者に容易に明らかになると考えられる。従って、本明細書に説明した方法及びシステムの精神及び範囲は、上述の例によって制限されないが、法律によって許される最も広い意味で理解されるものとする。
【０３１８】
図１３に関して、例示的かつ非制限的実施形態の流れ図及びその方法１３００が示されている。本方法は、段階１３０２で永続的コンパニオンデバイス（ＰＣＤ）を与える段階を含む。本方法は、段階１３０４で、動作、視線の向き、単語の選択、言語の韻律、身体の姿勢、顔面表情、感情的な手掛かり、及びタッチからなる群から選択されるユーザからの言語の及び非言語信号の少なくとも１つを入力する段階を更に含む。本方法は、段階１３０６で、言語及び非言語信号の少なくとも１つをミラーリングするためにＰＣＤ１００の挙動を調節する段階を更に含む。
【０３１９】
本明細書で参照した全ての文書は、これにより引用によって組み込まれる。
【符号の説明】
【０３２０】
ＬＣＤ  液晶ディスプレイ
【図１】
2016522465.tif 000004
【図７】
2016522465.tif 000005
【図８】
2016522465.tif 000006
【図９】
2016522465.tif 000007
【図１０】
2016522465.tif 000008
【図１１】
2016522465.tif 000009
【図１２】
2016522465.tif 000010
【図１３】
2016522465.tif 000011
【図２】
2016522465.tif 000012
【図３】
2016522465.tif 000013
【図４】
2016522465.tif 000014
【図５】
2016522465.tif 000015
【図６】
2016522465.tif 000016
【国際調査報告】
2016522465.tif 000017
2016522465.tif 000018