(57)【要約】常時聴取可能なコンピューティンデバイスのファミリーが開示される。コンピューティンデバイスの各々は、ユーザ入力のための電子センサ及びゲートキーピングデバイスを備え、ゲートキーピングデバイスは、可能になった時に、通信モジュールが外部のデバイスにデータを転送することを妨げる。デバイスは、ユーザ入力が第１ウエイクアップ句を含むことを特定し、該特定に応答して、句に引き続くユーザ入力の表現を伝送し；句に引き続いて捉えたユーザ入力のストリームを伝送するために、常時聴取モードを起動し；第２ウエイクアップ句が先立たない場合には、句に引き続いて受信したユーザ入力の伝送を妨げるために、常時聴取モードを動作停止にし；又は、ゲートキーピングモジュールがデバイスの外にデータを伝送することを妨げることを可能にする。デバイス以外の受領者へ向けられたユーザ入力を取り扱うための、又はデバイスのネットワークへのアクセスを制御するための方法を開示する。
2021503148.tif 000002
【特許請求の範囲】
【請求項１】
常時聴取可能なコンピューティングデバイスであって：
発話又はジェスチャを含む入力をユーザから受信するように構成された第１電子センサと；
遠隔サーバからデータを受信すると共に遠隔サーバへデータを送信するように構成された通信モジュールと；
プロセッサによって実行されたゲートキーピングモジュールであって、ゲートキーピング機能が無効にされている期間に、前記第１電子センサからのデータに基づく前記通信モジュールによって受信された全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサからの排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、排他的出力リードを介して前記第１電子センサ以外のコンポーネントに送信される、ゲートキーピングモジュールと；
命令を格納する非一時的メモリと；
を備え、
該命令は、プロセッサによって実行されたときに、プロセッサに：
前記第１電子センサによって受信された入力が第１入力コンテンツを含むことを特定させ；及び
前記入力が前記第１入力コンテンツを含むことを特定することに応答して、以下のうちの少なくとも１つを自動的に実行させる：
前記第１入力コンテンツに引き続くユーザ入力の表現を送信する；
前記第１入力コンテンツに引き続いて獲得されたユーザ入力ストリームを送信するために、常時受信モードを起動する；
前記第１入力コンテンツに引き続いて受信したユーザ入力の送信を、第２入力コンテンツが先行しない限り、妨げるために前記常時受信モードを無効にする；又は
前記常時聴取可能なコンピューティングデバイスの外部への全てのデータ送信を防止するために、前記ゲートキーピングモジュールを有効する、
コンピューティングデバイス。
【請求項２】
常時聴取可能なコンピューティングデバイスであって、
ビデオデータを記録するように構成された第１電子センサと；
遠隔サーバからデータを受信すると共にデータを送信するように構成された通信モジュールと；
プロセッサによって実施されたゲートキーピングモジュールであって、ゲートキーピング機能が無効にされている期間に、前記第１電子センサからのデータに基づく前記通信モジュールによって受信された全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサからの排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、排他的出力リードを介して前記第１電子センサ以外のコンポーネントに送信された、ゲートキーピングモジュールと；
命令を格納する非一時的メモリと；
を備え、
該命令は、プロセッサによって実行されたときに、プロセッサに：
前記第１電子センサによって記録された前記ビデオデータが第１入力コンテンツを含むことを特定させ、
前記ビデオデータが前記第１入力コンテンツを含むことを特定することに応答して、人間のユーザによる受け取りのメッセージを自動的に生成させると共に送信させる、
コンピューティングデバイス。
【請求項３】
前記第１電子センサは、１又は複数の電力入力リード、及び前記ゲートキーピングモジュールへの１又は複数のデータ出力リードを含み、前記第１電子センサは、前記常時聴取可能なコンピューティングデバイスの他のコンポーネントからの入力リード又は出力リードを含まない、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項４】
前記ゲートキーピングモジュールは、１又は複数の電力入力リードを備える、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項５】
２又はより多くのゲートキーピングモジュールを更に備え、前記２又はより多くのゲートキーピングモジュールのうちの第１ゲートキーピングモジュールは、前記２又はより多くのゲートキーピングモジュールのうちの第２ゲートキーピングモジュールによって有効にされる又は無効にされる、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項６】
第２電子センサを更に備え、前記ゲートキーピングモジュールは、前記第１電子センサが第１ウエイクアップ入力コンテンツを受信することに応答して、前記第２電子センサを起動し、前記第１ウエイクアップ入力コンテンツと異なる第２ウエイクアップ入力コンテンツを含みいずれかの電子センサによって受信された入力に応答して、プロセッサがデータを送信する、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項７】
前記ゲートキーピングモジュールは、電源が前記通信モジュールに電力を供給することを妨げることによって前記通信モジュールが前記常時聴取可能なコンピューティングデバイスの外部にデータを送信することを防止するように構成される、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項８】
前記常時受信モードは、以下のうちの少なくとも１つを含む応答を特定するために前記送信されたデータを、前記遠隔サーバによって、分析することを備え：
特定された潜在的なユーザ願望を作動させる；
応答を可能にするために、前記ユーザからの追加情報を要請する；
前記ユーザからの識別できないデータをアーカイブする；及び
応答する情報を前記ユーザに提供する、
請求項１に記載のコンピューティングデバイス。
【請求項９】
人間のユーザによる受け取りのための前記メッセージは、前記遠隔サーバが、送信されたデータを、以下の少なくとも１つを含む応答を特定するために分析することによって、部分的に、特定される：
特定された潜在的なユーザ願望を作動させる；
応答を可能にするために、前記ユーザからの追加情報を要請する；及び
応答する情報を前記ユーザに提供する、
請求項２に記載のコンピューティングデバイス。
【請求項１０】
前記非一時的メモリは、命令を格納しており、前記命令は、プロセッサによって実行されるときに、前記プロセッサに、更に、
第１インターバル時間に、前記通信モジュールがデータを受信することを有効にさせる；
前記第１インターバル時間より短い第２インターバル時間に、前記通信モジュールが全ての到達するワイヤレスデータを受信することを無効にさせる；及び
前記通信モジュールが、到達するワイヤレスデータを受信することを再び有効にさせる、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項１１】
２又はより多くの電子センサを含み、前記２又はより多くの電子センサは、マイクロフォン及びカメラの両方を含む、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項１２】
前記非一時的メモリは、更に命令を格納しており、前記命令は、プロセッサによって実行されるときに、前記プロセッサに、
人間の聴覚の範囲外の周波数範囲においてメッセージが再生されていることを特定させる；及び、
前記メッセージが再生されていることを人間のユーザに警告させる、
請求項１又は請求項２に記載のコンピューティングデバイス。
【請求項１３】
常時聴取の支援応答を提供するためのコンピュータにより実施される方法であって、
第１電子センサを介して、人間のユーザによる１又は複数の発話又はジェスチャを含む第１ユーザ入力を受信するステップと；
受信したユーザ入力に基づくデータを、プロセッサによって実施されたゲートキーピングモジュールを介して通信モジュールへ移すステップであって、ゲートキーピング機能が無効化されている期間に、前記第１電子センサからのデータに基づく前記通信モジュールによって受信された全てのデータが前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効化されている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサから排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、前記第１電子センサ以外のコンポーネントへ排他的出力リードを介して送信される、ステップと；
前記ユーザ入力が第１ウエイクアップ句を含むことを特定するステップと；
前記ユーザ入力が第１ウエイクアップ句を含むことを特定することに応答して、少なくとも以下の１つを自動的に実行するステップと；を備え、
前記第１ウエイクアップ句に引き続くユーザ入力の表現を送信する；
前記第１ウエイクアップ句に引き続いて取得されたユーザ入力のストリームを送信するために、常時受信モードを起動する；
第２ウエイクアップ句が先行しない限り、前記第１ウエイクアップ句に引き続き受信されたユーザ入力の送信を防止するために、前記常時受信モードを無効にする；又は
前記通信モジュールによるデータの全ての送信を妨げるために、前記ゲートキーピングモジュールを有効にする、
方法。
【請求項１４】
常時聴取の支援応答を提供するためのコンピュータにより実施される方法であって：
第１電子センサを介して、ビデオデータを記録するステップと；
前記記録されたビデオデータに基づくデータを、プロセッサによって実施されたゲートキーピングモジュールを介して通信モジュールに移すステップであって、ゲートキーピング機能が無効にされている期間に、前記記録されたビデオデータに基づく前記通信モジュールによって受信された全てのデータは、前記ゲートキーピングモジュールを通して移動し、前記ゲートキーピング機能が有効にされている期間に、前記記録されたビデオデータに基づく全てのデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールから出力された全てのデータは、排他的出力リードを介して前記第１電子センサ以外のコンポーネントに送信される、ステップと；
前記第１電子センサによって記録されたビデオデータが第１入力コンテンツを含むことを特定するステップと、
前記第１電子センサによって記録されたビデオデータが前記第１入力コンテンツを含むことを特定することに応答して、自動的に、人間のユーザによる受信のためのメッセージを生成すると共に送信するステップと、を備える
方法。
【請求項１５】
ユーザ入力は、複数のユーザからの発話、ジェスチャ、又は表現を含む、
請求項１３又は請求項１４に記載の方法。
【請求項１６】
前記第１ウエイクアップ句に引き続いて取得されたユーザ入力をユーザに送信した後に、以下のうちの１つ：ウェブページの一部；ファクト；計算；マーケティング支援；サブジェクト関連の時間適用可能な広告；音楽；第三者からのリアルタイム通信を含むデータストリーム；又は、動作が実行されたという通知を、ユーザに表示するステップを更に備える、
請求項１３に記載の方法。
【請求項１７】
前記デバイスは、会話状態を追跡すると共に、ユーザの要望を満たすために、より適切な情報を特定する１又は複数の明解なクエリを用いてユーザに促す、請求項１３又は請求項１４に記載の方法。
【請求項１８】
前記ユーザに関連付けられた遠隔データ格納を更新することを黙って引き起こすステップを更に備える、
請求項１３又は請求項１４に記載の方法。
【請求項１９】
前記ゲートキーピングモジュールは、デジタルパーソナルアシスタントシステムに組み込まれ、前記デジタルパーソナルアシスタントシステムの電子センサは、ウエイクアップ発話又はジェスチャが前記ゲートキーピングモジュールによって処理されるまで、無効にされ、前記ウエイクアップ句は、前記デジタルパーソナルアシスタントシステムを起動させるために使用されるように事前構成された第２ウエイクアップ句から区別される、
請求項１３又は請求項１４に記載の方法。
【請求項２０】
前記デジタルパーソナルアシスタントシステムは、ユーザ入力を受信するように構成される電子センサへの電力を切断することを介して無効にされる、
請求項１９に記載の方法。
【請求項２１】
前記デジタルパーソナルアシスタントシステムは、前記ゲートキーピングモジュールが前記デジタルパーソナルアシスタントシステムへのデータの伝送を妨げることを介して無効にされる、
請求項１９に記載の方法。
【請求項２２】
前記第１電子センサは、１又は複数の電力入力リード、及び前記ゲートキーピングモジュールへの１又は複数のデータ出力リードを含み、前記第１電子センサは、前記常時聴取可能なコンピューティングデバイスの他のコンポーネントからの入力リード又は該コンポーネントへの出力リードを含まない、
請求項１３又は請求項１４に記載の方法。
【請求項２３】
前記第１電子センサが第１ウエイクアップ入力を受信することに応答して、前記ゲートキーピングモジュールを介して第２電子センサを起動するステップと、
前記第１ウエイクアップ入力とは別の第２のウエイクアップ入力を含み前記第２電子センサによって受信された入力に応答して、データを送信するステップと、
を更に備える
請求項１３又は請求項１４に記載の方法。
【請求項２４】
前記ゲートキーピングモジュールは、電源が前記通信モジュールに電力を供給することを防止することによって、前記通信モジュールが前記常時聴取可能なコンピューティングデバイスの外部にデータを送信することを妨げるように構成されている、
請求項１３又は請求項１４に記載の方法。
【請求項２５】
人間のユーザによる受信のための前記メッセージは、前記遠隔サーバが、少なくとも以下の１つを含む応答を特定するために、送信されたデータを解析することによって、部分的に、特定される：
特定された潜在的なユーザ願望を作動させること；
前記ユーザからの追加情報を要請すること；又は
前記ユーザに応答情報を提供すること、
請求項１４に記載の方法。
【請求項２６】
前記通信モジュールがデータを受信することを、第１インターバル時間に、有効化するステップと；
前記第１インターバル時間より短い第２インターバル時間に、前記通信モジュールが全ての到達するワイヤレスデータを受信することを無効にするステップと； 
前記通信モジュールが、到達するワイヤレスデータを受信することを再び有効にするステップと、
を更に備える
請求項１３又は請求項１４に記載の方法。
【請求項２７】
ビデオデータとオーディオデータとの両方が記録される、
請求項１３又は請求項１４に記載の方法。
【請求項２８】
人間の聴覚の範囲外の周波数範囲においてメッセージが再生されていることを特定するステップと、
該メッセージが再生されていることを人間のユーザに警告するステップと、を更に備える
請求項１３又は請求項１４に記載の方法。
【請求項２９】
通信モジュールを有するコンピューティングデバイスのための常時聴取可能なデカップルされたアクセサリであって、
発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；
前記コンピューティングデバイスへのデータ接続と；
プロセッサによって実施されるゲートキーピングモジュールであって、ゲートキーピング機能が無効にされている期間に、前記通信モジュールによって受信され前記第１電子センサからのデータに基づくデータは前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサから排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、排他的出力リードを介して前記第１電子センサ以外のコンポーネントに送信される、ゲートキーピングモジュールと；
命令を格納する非一時的メモリであって、該命令は、プロセッサによって実行されたときに、プロセッサに：
前記第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させる；及び
前記第１電子センサによって記録されたユーザ入力が前記第１入力コンテンツを含むことを特定することに応答して、メッセージを自動的に生成すると共に前記コンピューティングデバイスに送信させる、
アクセサリ。
【請求項３０】
前記第１電子センサは、１又は複数の電力入力リードと、前記ゲートキーピングモジュールへの１又は複数のデータ出力リードとを含み、前記第１電子センサは、前記コンピューティングデバイスの他のコンポーネントからの入力リード、及び前記アクセサリの他のコンポーネントへの出力リードを含まない、
請求項２９に記載のアクセサリ。
【請求項３１】
前記ゲートキーピングモジュールは、１又は複数の電源入力リードを含む、
請求項２９に記載のアクセサリ。
【請求項３２】
前記コンピューティングデバイスへの前記メッセージは、前記コンピューティングデバイスの機能を無効化する、又は再有効化する命令を含む、
請求項２９に記載のアクセサリ。
【請求項３３】
前記コンピューティングデバイスへの前記データ接続は、ケーブルを含む、
請求項２９に記載のアクセサリ。
【請求項３４】
前記ケーブルは、前記コンピューティングデバイスの３．５ｍｍジャックに入るように構成される、
請求項３３に記載のアクセサリ。
【請求項３５】
前記ケーブルは、前記コンピューティングデバイスのＵＳＢ（ユニバーサルシリアルバス）ポートに入るように構成される、
請求項３３に記載のアクセサリ。
【請求項３６】
前記ケーブルは、前記コンピューティングデバイスのＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポートに入るように構成されている、
請求項３３に記載のアクセサリ。
【請求項３７】
前記メッセージは、前記コンピューティングデバイスのオペレーティングシステムによって提供されるＡＰＩ（アプリケーションプログラミングインタフェース）に従って書式設定（フォーマット）される、
請求項３２に記載のアクセサリ。
【請求項３８】
前記メッセージは、前記コンピューティングデバイスによって実行されるアプリケーションによって提供されるＡＰＩに従って書式設定される、
請求項３２に記載のアクセサリ。
【請求項３９】
常時聴取可能なデカップルされたアクセサリを用いて、通信モジュールを有するコンピューティングデバイスを制御するための方法であって；
前記アクセサリの第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定するステップと；
前記ユーザ入力が前記第１入力コンテンツを含むことを特定することに応答して、メッセージを自動的に生成すると共に前記コンピューティングデバイスに送信するステップと、
を備え、
前記アクセサリは、
前記コンピューティングデバイスへのデータ接続と；
プロセッサによって実施されるゲートキーピングモジュールと；を備え、前記ゲートキーピングモジュールが無効化されている期間に、前記第１電子センサからのデータに基づく前記通信モジュールによって受信された全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピングモジュールが有効化されている期間に、前記第１電子センサからのデータに基づくデータは、前記ゲートキーピングモジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサからの排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、前記第１電子センサ以外のコンポーネントへ排他的出力リードを介して送信される、
方法。
【請求項４０】
前記第１電子センサは、１又は複数の電力入力リードと、前記ゲートキーピングモジュールへの１又は複数のデータ出力リードとを含み、
前記第１電子センサは、前記アクセサリの他のコンポーネント若しくは前記コンピューティングデバイスの他のコンポーネントからの入力リード、又は前記アクセサリの他のコンポーネント若しくは前記コンピューティングデバイスの他のコンポーネントへの出力リードを含まない、
請求項３９に記載の方法。
【請求項４１】
前記ゲートキーピングモジュールは、１又は複数の電力入力リードを含む、
請求項３９に記載の方法。
【請求項４２】
前記コンピューティングデバイスへの前記メッセージは、前記コンピューティングデバイスの機能を無効化する又は再有効化する命令を含む、
請求項３９に記載の方法。
【請求項４３】
前記コンピューティングデバイスへの前記データ接続は、ケーブルを含む、
請求項３９に記載の方法。
【請求項４４】
前記ケーブルは、前記コンピューティングデバイスの３．５ｍｍジャックに入るように構成される、
請求項４３に記載の方法。
【請求項４５】
前記ケーブルは、前記コンピューティングデバイスのＵＳＢ（ユニバーサルシリアルバス）ポートに入るように構成される、
請求項４３に記載の方法。
【請求項４６】
前記ケーブルは、前記コンピューティングデバイスのＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポートに入るように構成される、
請求項４３に記載の方法。
【請求項４７】
前記メッセージは、前記コンピューティングデバイスのオペレーティングシステムによって提供されるＡＰＩ（アプリケーションプログラミングインタフェース）に従って書式設定される、
請求項４２に記載の方法。
【請求項４８】
前記メッセージは、前記コンピューティングデバイスによって実行されるアプリケーションに従って提供されるＡＰＩに従って書式設定される、
請求項４２に記載の方法。
【請求項４９】
通信モジュールを有するコンピューティングデバイスとの物理的な関与のために構成された常時聴取可能なデカップルされたキャップであって：
発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；
プロセッサによって実施されたゲートキーピングモジュールであって、ゲートキーピング機能が無効にされている期間に、前記第１電子センサからのデータに基づく前記通信モジュールによって受信された全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサからの排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、前記第１電子センサ以外のコンポーネントへ排他的出力リードを介して送信される、ゲートキーピングモジュールと；
を備え、
前記キャップは、前記コンピューティングデバイスの機能に干渉し、
非一時的メモリは、プロセッサによって実行されると、前記プロセッサに：
前記第１電子センサによって記録されたユーザ入力が、第１入力コンテンツを含むことを特定させ；及び
前記コンピューティングデバイスの機能との干渉の性質を変化させる、
キャップ。
【請求項５０】
通信モジュールを有するコンピューティングデバイスとの物理的な関与のために構成された常時聴取可能なデカップルされたキャップであって：
発話又はジェスチャを含むユーザ入力を記録するために構成された第１電子センサと；
プロセッサによって実施されるゲートキーピングモジュールであって、ゲートキーピング機能が無効にされている期間に、前記通信モジュールによって受信され前記第１電子センサからのデータに基づく全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサからの排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、前記第１電子センサ以外のコンポーネントへの排他的出力リードを介して送信される、ゲートキーピングモジュールと；
を備え、
前記キャップは、前記コンピューティングデバイスの機能に干渉し、
非一時的メモリは、プロセッサによって実行されるとき、前記プロセッサに：
前記第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定し、
前記コンピューティングデバイスの機能との干渉が無かったら前記コンピューティングデバイスがデータを検索したであろう第１サーバと異なる第２サーバから、前記ユーザ入力への応答を検索する、
キャップ。
【請求項５１】
前記キャップは、前記コンピューティングデバイスの周囲に実質的に防音バリアを生成することによって干渉する、
請求項４９又は請求項５０に記載のキャップ。
【請求項５２】
前記キャップは、前記コンピューティングデバイスによって把握可能な音波に干渉するために音響キャンセル音を生成することによって干渉する、
請求項４９又は請求項５０に記載のキャップ。
【請求項５３】
前記キャップは、第１音量における第１音を作成することによって干渉し、前記第１音量は、前記コンピューティングデバイスが、前記第１音量より小さい第２音量における第２音を把握することを妨げる、
請求項４９又は請求項５０に記載のキャップ。
【請求項５４】
前記キャップは、前記コンピューティングデバイスによって把握されたホワイトノイズを生成することによって干渉する、
請求項４９又は請求項５０に記載のキャップ。
【請求項５５】
前記キャップは、光波に不透明であることによって干渉し、そうでなければ、該光波は、前記コンピューティングデバイスによって把握されるであろう、
請求項４９又は請求項５０に記載のキャップ。
【請求項５６】
前記キャップは、前記コンピューティングデバイスによる把握のために、受信したユーザ入力データのサブセットを再生成する、
請求項４９又は請求項５０に記載のキャップ。
【請求項５７】
前記キャップは、前記コンピューティングデバイスの実質的な表面を覆うスリーブである、
請求項４９又は請求項５０に記載のキャップ。
【請求項５８】
前記キャップは、前記コンピューティングデバイスを十分に囲む容器である、
請求項４９又は請求項５０に記載のキャップ。
【請求項５９】
前記キャップは、前記コンピューティングデバイスに電力を供給することを可能にするために前記コンピューティングデバイスに結合され（ｃｏｕｐｌｅｄ）、前記キャップは、前記コンピューティングデバイスへの電力を与えないことによって干渉する、
請求項４９又は請求項５０に記載のキャップ。
【請求項６０】
物理的な関与のために構成された常時聴取可能なデカップルされたキャップを介して、通信モジュールを有するコンピューティングデバイスにおいて情報セキュリティを提供する方法であって：
前記キャップの第１電子センサによって記録されると共に発話又はジェスチャを含むユーザ入力が第１入力コンテンツを含むことを特定するステップと；
前記コンピューティングデバイスの機能への前記キャップによる干渉の性質を変化させるステップと；を備え、
前記キャップは、プロセッサによって実施されるゲートキーピングモジュールを含み、ゲートキーピング機能が無効にされている期間に、前記第１電子センサからのデータに基づく前記通信モジュールによって受信された全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサから排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、前記第１電子センサ以外のコンポーネントへ排他的出力リードを介して送信される、
方法。
【請求項６１】
物理的な関与のために構成された常時聴取可能なデカップルされたキャップを介して、通信モジュールを有するコンピューティングデバイスにおいて情報セキュリティを提供する方法であって：
前記キャップの第１電子センサによって記録されると共に発話又はジェスチャを含むユーザ入力が第１入力コンテンツを含むことを特定するステップと；
前記コンピューティングデバイスの機能への干渉が無かったら前記コンピューティングデバイスがデータを検索したであろう第１サーバとは異なる第２サーバから、前記ユーザ入力に対する応答を検索するステップと；
を備え、
前記キャップは、プロセッサによって実施されるゲートキーピングモジュールを含み、ゲートキーピング機能が無効にされている期間に、前記通信モジュールによって受信され前記第１電子センサからのデータに基づく全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサから排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、前記第１電子センサ以外のコンポーネントへ排他的出力リードを介して送信される、
方法。
【請求項６２】
前記キャップは、前記コンピューティングデバイスの周囲に実質的に防音バリアを生成することによって干渉する、
請求項６０又は請求項６１に記載の方法。
【請求項６３】
前記キャップは、前記コンピューティングデバイスによって把握可能な音波に干渉する音響キャンセル音を生成することによって干渉する、
請求項６０又は請求項６１に記載の方法。
【請求項６４】
前記キャップは、第１音量で第１音を生成することによって干渉し、該第１音量は、前記コンピューティングデバイスが前記第１音量より小さい第２音量で第２音を把握することを妨げる、
請求項６０又は請求項６１に記載の方法。
【請求項６５】
前記キャップは、前記コンピューティングデバイスによって把握されるホワイトノイズを生成することによって干渉する、
請求項６０又は請求項６１に記載の方法。
【請求項６６】
前記キャップは、光波に不透明であることによって干渉し、そうでなければ、該光波は、前記コンピューティングデバイスによって把握されるであろう、
請求項６０又は請求項６１に記載の方法。
【請求項６７】
前記コンピューティングデバイスによる把握ために前記第１電子センサによって受信されたユーザ入力データのサブセットを再生成するステップを更に備える、
請求項６０又は請求項６１に記載の方法。
【請求項６８】
前記キャップは、前記コンピューティングデバイスの実質的な表面を覆うスリーブである、
請求項６０又は請求項６１に記載の方法。
【請求項６９】
前記キャップは、前記コンピューティングデバイスを十分に囲む容器である、
請求項６０又は請求項６１に記載の方法。
【請求項７０】
前記キャップは、前記コンピューティングデバイスに電力を供給することを可能にするために前記コンピューティングデバイスに結合され、前記キャップは、前記コンピューティングデバイスへ電力を与えないことによって更に干渉する、
請求項６０又は請求項６１に記載の方法。
【請求項７１】
常時聴取可能な第１コンピューティングデバイスであって、該第１コンピューティングデバイスは、同一のコンピューティングネットワーク内にあると共に通信モジュールを有する第２コンピューティングデバイスからデカップルされており、前記第１コンピューティングデバイスは：
発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；
プロセッサによって実施されるゲートキーピングモジュールであって、ゲートキーピング機能が無効にされている期間に、前記通信モジュールによって受信されると共に前記第１電子センサからのデータに基づく全てのデータは、前記通信モジュールを介して通過し、前記ゲートキーピング機能が有効にされている期間に、前記第１電子センサからのデータに基づくデータは、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサから排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、排他的出力リードを介して前記第１電子センサ以外のコンポーネントに送信される、ゲートキーピングモジュールと；
命令を格納する非一時的メモリであって、該命令は、前記プロセッサによって実行されるときに、前記プロセッサに：
前記第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させる；及び、
前記第２コンピューティングデバイスから前記第２データ源に電子通信を送信することを前記第１コンピューティングデバイスが妨げることながなければ、前記第２コンピューティングデバイスがデータを検索したであろう第２サーバと異なる第１サーバから、前記ユーザ入力への応答を検索させる、非一時的メモリと；
を備える、
第１コンピューティングデバイス。
【請求項７２】
前記コンピューティングデバイスが無線ルータである、
請求項７１に記載の第１コンピューティングデバイス。
【請求項７３】
前記コンピューティングデバイスが無線ホットスポットを提供する、
請求項７１に記載の第１コンピューティングデバイス。
【請求項７４】
前記コンピューティングデバイスがネットワークファイアウォールである、
請求項７１に記載の第１コンピューティングデバイス。
【請求項７５】
前記第２コンピューティングデバイスから前記第２サーバへの一意のネットワーク経路が、前記第１コンピューティングデバイスを通過する、
請求項７１に記載の第１コンピューティングデバイス。
【請求項７６】
前記第１サーバからの応答は、前記第１コンピューティングデバイスのユーザに向けて対象とされた１又は複数の広告を含む、
請求項７１に記載の第１コンピューティングデバイス。
【請求項７７】
前記第１コンピューティングデバイスは、現在の時刻に基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に転送するように構成される、
請求項７１に記載の第１コンピューティングデバイス。
【請求項７８】
前記第１コンピューティングデバイスは、有限の時間ウィンドウの期間に、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、
請求項７１に記載の第１コンピューティングデバイス。
【請求項７９】
前記第１コンピューティングデバイスは、前記第１コンピューティングデバイスによって把握されたユーザ入力のトピックに基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、
請求項７１に記載の第１コンピューティングデバイス。
【請求項８０】
前記第１コンピューティングデバイスは、ユーザ入力の意図された受信者であった前記第２サーバにおけるアプリケーションに基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成されている、
請求項７１に記載の第１コンピューティングデバイス。
【請求項８１】
前記第１コンピューティングデバイスは、ユーザ入力を提供するユーザのアイデンティティに基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、
請求項７１に記載の第１コンピューティングデバイス。
【請求項８２】
通信モジュールを有する第２コンピューティングデバイスにおいて、前記第２コンピューティングデバイスからデカップルされた常時聴取可能な第１コンピューティングデバイスを介して及び同一のコンピューティングネットワーク内において、情報セキュリティを提供する方法であって、該方法は：
前記第１コンピューティングデバイスの第１電子センサによって記録されると共に発話又はジェスチャを含むユーザ入力が第１入力コンテンツを含むことを特定するステップと；
第１サーバからユーザ入力に対する応答を検索するステップであって、前記第１サーバは、第２サーバと異なり、電子通信が前記第２コンピューティングデバイスから前記第２データ源に送信されることを前記第１コンピューティングデバイスが妨げることがなければ、前記第２コンピューティングデバイスがデータを前記第２サーバから検索したであろう、ステップと、
を備え、
前記第１コンピューティングデバイスは、プロセッサによって実現された、ゲートキーピングモジュールを含み、ゲートキーピング機能が無効化されている期間に、前記第１電子センサからのデータに基づく前記通信モジュールによって受信された全てのデータは、前記ゲートキーピングモジュールを通過し、前記ゲートキーピング機能が有効化されている期間に、前記第１電子センサからのデータに基づくデータが、前記通信モジュールを通過せず、前記ゲートキーピングモジュールに入力された全てのデータは、前記第１電子センサから排他的入力リードを介して受信され、前記ゲートキーピングモジュールから出力された全てのデータは、前記第１電子センサ以外のコンポーネントへ排他的出力リードを介して送信される、
方法。
【請求項８３】
前記コンピューティングデバイスが無線ホットスポットを提供する、
請求項８２に記載の方法。
【請求項８４】
前記第２コンピューティングデバイスから前記第２サーバへの唯一のネットワークパスが、前記第１コンピューティングデバイスを通過する、
請求項８２に記載の方法。
【請求項８５】
前記第１サーバからの前記応答は、前記第１コンピューティングデバイスのユーザへ向けて対象とされた１又は複数の広告を含む、
請求項８２に記載の方法。
【請求項８６】
前記第１コンピューティングデバイスは、現在の時刻に基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、
請求項８２に記載の方法。
【請求項８７】
前記第１コンピューティングデバイスは、有限の時間ウィンドウの期間に、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、
請求項８２に記載の方法。
【請求項８８】
前記第１コンピューティングデバイスは、前記第１コンピューティングデバイスによって把握されたユーザ入力のトピックに基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、請求項８２に記載の方法。
【請求項８９】
前記第１コンピューティングデバイスは、ユーザ入力の意図された受信者であった前記第２サーバにおけるアプリケーションに基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、
請求項８２に記載の方法。
【請求項９０】
前記第１コンピューティングデバイスは、ユーザ入力を提供するユーザのアイデンティティに基づき、前記第２コンピューティングデバイスから前記第１サーバに通信を選択的に迂回させるように構成される、
請求項８２に記載の方法。
【請求項９１】
コンピューティングデバイスであって、
電子センサと、
ゲートキーピングモジュールと、
命令を記憶する非一時的メモリと、
を備え、
前記命令は、プロセッサによって実行されると、前記電子センサによって把握されたユーザ入力を介して常時聴取モードにわたってユーザ制御を可能にし、該常時聴取モードは、前記ゲートキーピングモジュールによって実行される、
コンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、聞き取れる発話又は目で見えるジェスチャの入力を含むユーザ入力のセキュリティ及びプライバシーのための方法及びシステム、及び常時聴取の媒体を介して該ユーザ入力への支援応答を実行することに関する。
【背景技術】
【０００２】
現在、多くのデバイス又はソフトウェアソリューションは、Ａｍａｚｏｎ  Ｅｃｈｏ（Ｒマーク、白丸内にアルファベットのＲ）（ａ．ｋ．ａ．ＡｌｅｘａＴＭ）、Ｇｏｏｇｌｅ  ＨｏｍｅＴＭ  Ａｐｐｌｅ  ＨｏｍｅＰｏｄＴＭ、Ａｐｐｌｅ（Ｒマーク）デバイス上のＳｉｒｉ（Ｒマーク）を含み、「常時聴取（Ａｌｗａｙｓ  Ｌｉｓｔｅｎｉｎｇ）」として消費者に販売されている。しかしながら、これらのデバイスは、それぞれの「ウエイクアップ（起床：ｗａｋｅ  ｕｐ）」語を常に聴取するように構成されており、そのワードを受けると、デバイスは、ある期間（例えば、ウエイクアップ語に引き続く単一の完全なコマンド、ストリング、又はクエリ（問い合わせ）、休止で終わる）追加の発話を記録し続ける。これらのウエイクアップ語は、当座の進行中の音声データが捕捉され処理されるように、これらのデバイスにコマンド又はクエリが向けられたときをデバイスが知るようにし；また、ユーザによって発話された音声データのプライバシーを保護すると共にセキュリティを守るために、クラウドに送られ又は記録される他の発話データがどんな形でも多少なりとも無い、ことを意図している。
【０００３】
現行の「常時聴取」デバイスは、「ウエイクアップ語を常に聞く」と名付けられているであろうが、実際には、受信した発話（音声）及びコマンドに対する応答を「常に」分析しまた特定するというよりは、大部分の発話に応えて、活動していない又は休止状態にある。
【０００４】
さらに、これらのデバイスは、単一のコマンドに従うこと又は単一のクエリに応答することによって、応答するだけである：該デバイスは、現在のシステム及び「聴取（リスニング）」方法の制限のため、一連のコマンド又はクエリに応じることができず、又は一連のコマンド又はクエリに直感的に従うことができない。
【０００５】
データを保護するための現在の市場で入手可能なソリューションは、デバイスの表面にある物理的なボタンを使用して、マイクロフォンにわたる完全な制御を、またこれらの装置がとにかく聞くことができるかどうかを、ユーザに提供する。マイクロフォンの有効化及び無効化を確実にするために手動ボタンを必要とすることは、消費者が音声のみの制御を期待する場合には不便であり、満足のいく解決策ではない。デバイスメーカは、主にユーザの安心のために、手動ボタンを申し出ている。
【０００６】
いくつかのシステムは、ソフトウェア手段によって「常時聴取」状態を制御しており、これは、外部のデジタル侵入者がマイクロフォンから可聴のデータ又は発話のデータをハッキングし又は盗み取るという危険に常にある。
【０００７】
消費者は、これらのデバイス及びセキュリティプロトコルがプライバシーを完全に保護すると信じる可能性は低く、特に「常時聴取」機能上で提供される直接的な音声制御がない場合である。
【０００８】
「ウエイクアップ」語及びセキュリティソフトウェアプロトコルを使用する現在の方法は、絶えず、開発し、維持し、改善するために時間及び労力を集中的に消費しており、一方で、ユーザが望むときにデバイスをミュートするというセキュリティを保証することを、引きつづき、達成しそこなっている。
【０００９】
現在の技術的な焦点のほとんどは、聞き取れる発話を検出する「ハウツーもの」及び機構を改善すること、精度を改善すること、また「より速い応答」を提供することに関して強調されてきており、ここで、後者の重点は、以下の点に置かれている：何百万人ものユーザが有するであろう所望の支援又はクエリ、及びコマンド、その個々がかなりの確率でユニークであって、これらの膨大で潜在的な多様さを仮定すると、極めて限定される過去の行動を事前に分析すること；並びに、クエリに応答するためにルール及びプログラムを事前に定義すること。
【００１０】
デバイスメーカ及び他の広告主は、ユーザの必要及び受容力に基づき、最も主題関連性を持つ状態で、最も望ましい支援を最も相応しいタイミングで提供することを調和させることを競い、また利用者に負担無し及び無停止であるとしてユーザによって認知されている。
【発明の概要】
【００１１】
常時聴取可能なコンピューティングデバイスが開示され、該デバイスは、発話又はジェスチャを含むユーザからの入力を受けるように構成された第１受信機と、遠隔サーバ、ゲートキーピングモジュール、及び非一時的メモリからデータを受け又は該遠隔サーバ、ゲートキーピングモジュール、及び非一時的メモリにデータを送るように構成された通信モジュールとを備える。ゲートキーピングモジュールは、以下のように、プロセッサによって実施される；ゲートキーピング機能が無効にされている期間に、第１受信機からのデータに基づき通信モジュールによって受け取られた全データが、ゲートキーピングモジュールを通過するように；ゲートキーピング機能が有効にされている期間に、第１受信機からのデータに基づくデータが、通信モジュールを通過しないように；ゲートキーピングモジュールに入力された全データが、第１受信機からの排他的入力リード（ｌｅａｄ）を介して受け取られるように；及び、ゲートキーピングモジュールから出力された全データが、第１受信機以外のコンポーネントへの排他的出力リードを介して送くられるように。非一時的メモリは、命令を格納し、該命令は、プロセッサによって実行されるとき、プロセッサに、以下のことを行わせる：第１受信機によって受け取られた該入力が第１ウエイクアップ句を含むことを特定させる；及び、入力が第１ウエイクアップ句を含むことを特定することに応答して、自動的に以下の少なくとも一つを実行させる：第１ウエイクアップ句に引き続くユーザ入力の表現を送信すること；第１ウエイクアップ句に引き続いて捕獲（キャプチャ）されたユーザ入力のストリームを送信するために常時聴取モードを起動すること；第１ウエイクアップ句に引き続いて受け取られたユーザ入力の送信を防止するために、第２ウエイクアップ句が同様に先行しない場合に常時聴取モードを解除すること；又は、ゲートキーピングモジュールが該常時聴取コンピューティングデバイスの外部へのデータの送信の全てを妨げることを有効にすること。
【００１２】
常時聴取支援の応答を提供するためのコンピュータにより実施される方法が開示される。この方法は、受信機を介して、１又は複数の発話又はジェスチャを含むユーザ入力を受信し；プロセッサによって実施されたゲートキーピングモジュールを介して通信モジュールへ、受信したユーザ入力に基づくデータを通過させ；ユーザ入力が第１ウエイクアップ句を含むことを特定し；及び、少なくとも以下のうちの１つを自動的に実行することを含む：ユーザ入力が第１ウエイクアップ句を含むことを特定し；ユーザ入力が第１ウエイクアップ句を含むことを特定することに応答して、第１ウエイクアップ句に引き続くユーザ入力の表現を自動的に送信し；第１ウエイクアップ句に引き続いて捕獲（キャプチャ）されたユーザ入力のストリームを送信するために、常時聴取モードを起動し；第１ウエイクアップ句に引き続いて受信されたユーザ入力の送信を防止するために、第２ウエイクアップ句が同様に続かない場合に、常時聴取モードを動作停止にし；又は、ゲートキーピングモジュールが、通信モジュールによるデータの全ての送信を防止することを可能にする。ゲートキーピング機能が無効になっている期間に、受信機からのデータに基づき通信モジュールによって受信された全データは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、受信機からのデータに基づくデータは、通信モジュールを通過しない。ゲートキーピングモジュールに入力された全データは、受信機から排他的な入力リードを介して受信され、ゲートキーピングモジュールから出力された全データは、受信機以外のコンポーネントへの排他的な出力リードを介して送信される。
【００１３】
常時聴取可能なコンピューティングデバイスが開示されており、該コンピューティングデバイスは：ビデオデータを記録するように構成された第１電子センサと；遠隔サーバへデータを送り出すと共に遠隔サーバからデータを受け取るように構成された通信モジュールと；ゲートキーピングモジュールと；非一時的メモリと；を備える。ゲートキーピングモジュールは、プロセッサによって実施される。ゲートキーピング機能が無効にされている期間に、第１受信機からのデータに基づき通信モジュールによって受け取られた全てのデータがゲートキーピングモジュールを通過し、ゲートキーピング機能が有効にされている期間に、第１受信機からのデータに基づき通信モジュールによって受け取られたデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全てのデータは、第１受信機からの排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全てのデータは、第１受信機以外のコンポーネントに排他的出力リードを介して送り出される。非一時的メモリは、命令を格納し、該命令は、プロセッサによって実行されるとき、プロセッサに、第１電子センサによって記録されたビデオデータが第１入力コンテンツを含むことを特定させ；及び、ビデオデータが第１入力コンテンツを含むことを特定することに応答して、人間のユーザによる受信のためのメッセージを自動的に生成させ、また該メッセージを送信させる。
【００１４】
常時聴取の支援応答を提供するコンピュータにより実施される方法が開示されており、該方法は：第１電子センサを介して、ビデオデータを記録し；プロセッサによって実施されたゲートキーピングモジュールを介して、記録されたビデオデータに基づくデータを通信モジュールに渡し；第１電子センサによって記録されたビデオデータが第１入力コンテンツを含むことを特定することに応答して、人間のユーザによる受け取りのためのメッセージを自動的に生成すると共に送信する；ことを含む。ゲートキーピング機能が無効になっている期間に、記録された映像データに基づき、通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、記録された映像データに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全てのデータは、電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。
【００１５】
通信モジュールを有するコンピューティングデバイスのための常時聴取可能なデカップルされたアクセサリであって、該アクセサリは、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；コンピューティングデバイスへのデータ接続と；プロセッサによって実装されたゲートキーピングモジュールと；非一時的なメモリと；を備える。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。非一時的メモリは、命令を格納しており、該命令は、プロセッサによって実行されるとき、プロセッサに：第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させ；ユーザ入力が第１入力コンテンツを含むことを特定することに応答して、メッセージを自動的に生成させると共にコンピューティングデバイスに送り出させる。
【００１６】
通信モジュールを有するコンピューティングデバイスを、常時聴取可能なデカップルされたアクセサリを用いて制御するための方法が開示されており、この方法は、該アクセサリの第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定する；及び、ユーザ入力が第１入力コンテンツを含むことを特定することに応答して、メッセージを自動的に生成すると共にコンピューティングデバイスに送る、ことを含む。アクセサリは、プロセッサへのデータ接続と、プロセッサによって実現されたゲートキーピングモジュールとを備え、アクセサリは、ゲートキーピング機能が無効化されている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効化されている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサからの排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。
【００１７】
通信モジュールを有するコンピューティングデバイスとの物理的な関与のために構成された常時聴取可能なデカップルされたキャップが開示されており、該キャップは、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサ、プロセッサによって実装されたゲートキーピングモジュール、及び非一時的なメモリを含む。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントに排他的出力リードを介して送り出される。キャップは、コンピューティングデバイスの機能を妨害し、非一時的メモリは、命令を格納しており、該命令は、プロセッサによって実行されると、プロセッサに、第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させ、またコンピューティングデバイスの機能との干渉の性質を変更させる。
【００１８】
物理的な関与のために構成された常時聴取可能なデカップルされたキャップを介して、通信モジュールを有するコンピューティングデバイスにおいて情報セキュリティを提供する方法が開示されている。該方法は、発話又はジェスチャを含むと共にキャップの第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定するステップと、コンピューティングデバイスの機能を用いてキャップによる干渉の性質を変更するステップと、を含む。該キャップは、プロセッサによって実施されるゲートキーピングモジュールを含み、ゲートキーピング機能が無効にされている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効にされている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、及び、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへの排他的出力リードを介して送り出される。
【００１９】
通信モジュールを有するコンピューティングデバイスとの物理的な関与のために構成された常時聴取可能なデカップルされたキャップが開示されており、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；非一時的なメモリと；プロセッサによって実施されたゲートキーピングモジュールと；を備える。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサからの排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。キャップは、コンピューティングデバイスの機能を妨害し、非一時的メモリは、命令を格納しており、該命令は、プロセッサによって実行されると、プロセッサに：第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定させ；及び、コンピューティングデバイスの機能に干渉することが無かったらコンピューティングデバイスがデータを検索したであろう第１サーバとは異なる第２サーバからユーザ入力に対する応答を検索させる。
【００２０】
物理的な関与のために構成された常時聴取可能なデカップルされたキャップを介して、通信モジュールを有するコンピューティングデバイスにおいて情報セキュリティを提供する方法が提供され、該方法は、発話又はジェスチャを含むと共にキャップの第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを特定し；コンピューティングデバイスの機能と干渉するが無かったらコンピューティングデバイスがデータを検索したであろう第１サーバと異なる第２サーバから入力されたユーザ入力に対する応答を検索する；ことを含む。キャップは、プロセッサによって実施されるゲートキーピングモジュールを含み、ゲートキーピング機能が無効にされている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、通信モジュールを通過し、ゲートキーピング機能が有効にされている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。
【００２１】
常時聴取可能な第１コンピューティングデバイスが開示されており、該第１コンピューティングデバイスは、通信モジュールを有する第２コンピューティングデバイスから、また同じコンピューティングネットワーク内において、デカップルされており、常時聴取可能な第１コンピューティングデバイスは、発話又はジェスチャを含むユーザ入力を記録するように構成された第１電子センサと；プロセッサによって実施されたゲートキーピングモジュールと；命令を記憶する非一時的メモリとを備え。該命令は、プロセッサによって実行されるとき、プロセッサに：第１電子センサによって記録されたユーザ入力が第１入力コンテンツを含むことを決定させ；及び、第２コンピューティングデバイスから第２データ源に電子的な通信が送出されることを第１コンピューティングデバイスが防止することが無ければ第２コンピューティングデバイスがデータを検索したであろう第２サーバと異なる第１サーバからのユーザ入力に対する応答を検索させる。ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全データは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送出される。
【００２２】
常時聴取可能な第１コンピューティングデバイスを介して、通信モジュールを有する第２コンピューティングデバイスにおける情報セキュリティを提供するための方法が開示され、該第１コンピューティングデバイスは、同一の計算ネットワークにおいてまた第２コンピューティングデバイスからデカップルされている。該方法は、第１コンピューティングデバイスの第１電子センサによって記録されると共に発話又はジェスチャを含むユーザ入力が、第１入力コンテンツを含むことを特定する；及び、第１コンピューティングデバイスが、第２コンピューティングデバイスから第２データ源に電子通信が送信されることを妨げることが無ければ第２コンピューティングデバイスがデータを検索したであろう第２サーバと異なる第１サーバから入力されたユーザ入力に対する応答を検索する；ことを含む。第１コンピューティングデバイスは、プロセッサによって実施されるゲートキーピングモジュールを備え、ゲートキーピング機能が無効になっている期間に、第１電子センサからのデータに基づき通信モジュールによって受け取られた全てのデータは、ゲートキーピングモジュールを通過し、ゲートキーピング機能が有効になっている期間に、第１電子センサからのデータに基づくデータは、通信モジュールを通過せず、ゲートキーピングモジュールに入力された全データは、第１電子センサから排他的入力リードを介して受け取られ、ゲートキーピングモジュールから出力された全データは、第１電子センサ以外のコンポーネントへ排他的出力リードを介して送り出される。
【００２３】
コンピューティングデバイスは、本明細書に開示され、電子センサと、ゲートキーピングモジュールと、非一時的メモリとを備え、該非一時的メモリは、命令を記憶し、該命令は、プロセッサによって実行されるとき、電子センサによって把握されたユーザ入力を介して、常時聴取モードにわたるユーザ制御を可能にしており、該ユーザ制御は、ゲートキーピングモジュールによって強化される。
【図面の簡単な説明】
【００２４】
【図１】図１は、従来技術におけるソフトウェア制御であって、Ａｐｐｌｅ（Ｒマーク）  ｉＰｈｏｎｅ（登録商標）上のウエイクアップ語「Ｈｅｙ  Ｓｉｒｉ」に対する「常時聴取」ための機能をミュートするためのソフトウェア制御を示す；
【００２５】
【図２】図２は、従来技術のソフトウェア制御であって、Ａｎｄｒｏｉｄ（登録商標）ＯＳデバイス上のウエイクアップ語「ＯＫ  Ｇｏｏｇｌｅ」に対する「常時聴取」のための機能をミュートするためのソフトウェア制御を示す；
【００２６】
【図３】図３は、従来技術におけるソフトウェア制御であって。Ｗｉｎｄｏｗｓ（登録商標）１０  ＯＳ上のマイクロフォンをミュートする目的のためのソフトウェア制御を示す；
【００２７】
【図４】図４は、第三者ソフトウェアの従来技術であって、ディクテーションを開始するためにソフトウェアに命令するウエイクアップ語を設定するための第三者ソフトウェアの機能を示す；
【００２８】
【図５】図５は、簡略化された形で、従来技術の携帯情報端末内のコンポーネントの従来の関係を示す；
【００２９】
【図６】図６は、「常時聴取」可能な電子デバイスの実施例を簡略化された形で示す；
【００３０】
【図７】図７は、「常時聴取」可能な電子デバイスの代替の実施例を簡略化された形で示す；
【００３１】
【図８】図８は、「常時聴取」可能な電子デバイスの代替の実施例を簡略化された形で示す；
【００３２】
【図９】図９は、明確な第２ウエイクアップ語を処理する例示的な手法のフローチャートを示す；
【００３３】
【図１０】図１０は、常時聴取デバイスの追加の特徴のためのプログラムロジックの代替のフローチャートを示す；
【００３４】
【図１１】図１１は、セキュアで常時に聴取する機能を提供するために、既存の聴取デバイスに取り付けられることができるデカップルされたゲートキーピングのアクセサリ（装備品）を示す；
【００３５】
【図１２Ａ】図１２Ａは、セキュアな常時聴取機能を提供するに際して支援するための、デカップルされた防音（サウンドプルーフィング）の又はその他の点では絶縁の障壁を示す；
【図１２Ｂ】図１２Ｂは、セキュアな常時聴取機能を提供するに際して支援するための、デカップルされた防音又はその他の点では絶縁の障壁を示す；
【図１２Ｃ】図１２Ｃは、セキュアな常時聴取機能を提供するに際して支援するための、デカップルされた防音又はその他の点では絶縁の障壁を示す；及び
【００３６】
【図１３】図１３は、ユーザの生成されたネットワークトラフィックの一部を代替の目的地に選択的に迂回しながら、セキュアで常時聴取な機能を提供するためのデカップルされた(分断された、切り離された、減結合された)ネットワークデバイスを含むシステムを示す。
【発明を実施するための形態】
【００３７】
ここに開示されるものは、改良された技術的方法、デバイス、及びシステムであって、改良された技術的方法、デバイス、及びシステムには、ユーザのスピーチ又は動作（これらに限定されないが、単語、トーン、コマンドジェスチャ、手話における対話、顔の表情、動きのパターン、又はこれらの任意の組み合わせを含む）が電子デバイスによって記録されるときにわたってユーザが制御を行う一方で、セキュリティプログラミングの必要性を最小限にし又は排除し、電子デバイス並びに可聴な発話及び／又はビデオデータ（画像データ）への制御されたアクセスのシステムを組織的に生成し、またユーザ及び支援配信サービスプロバイダの両方に、受信し、解析し、解読し、アクセスし、又はユーザにリアルタイムの関連支援を提供するためにデータにアクセスするチャネルを提供する。
【００３８】
本開示は、保護するソフトウェアに対する依存無しに、聴取の媒体及びデバイス（例えば、Ａｍａｚｏｎ  Ｅｃｈｏ（Ｒマーク）、モバイルデバイス、コンピューティングデバイス、ウェブカメラ、セキュリティカメラシステムなど）において常時聴取モードを制御する可聴な発話又はジェスチャベースの動作を使用する手段をユーザに提供することに向けて本明細書にさらに記載されるように、受信したデータを保護する方法、又は現在の技術に対する実質的な改良を提供しており、従って、媒体が常に会話を聴取することを許容することを選択するユーザへの受け入れを改善し、解読されるべき及び処理されるべきこれらの直接的な又は間接的な発話、動作／ジェスチャ、及び／又はコマンド／クエリをほぼリアルタイムで供給し、また向き付けの無い及び勝手に送ってくる支援、又はフル常時聴取モードの活動中に「ウエイクアップ」語を必要としない支援を提供する。ジェスチャは、（ただし、限定されるものではないが）カスタムジェスチャー又は言語ベースのジェスチャー（例えば、アメリカ手話）を包含する。
【００３９】
本明細書に開示された可聴データを保護するための改善された方法、装置及びシステムは、デバイスの外部のソース（源）から電気信号を受信する能力を有しない（ただし、電気信号及びデータを送信する能力を残す）マイクロフォン又はカメラ（ここで「受信機」として参照される）を含み、また、（データを受信する能力を有する一方で）外部電気信号を受信する能力を有しない１又は複数の独立したプロセッサであることができ、又は双方向プロセッサに組み込まれたゲートキーピングモジュールであることがよく、ここで、ゲートキーピングモジュールは、ゲートキーピングモジュールが外部電気信号を受信する能力を有することがない（電気信号を送信し、また受信機からデータを受信する能力を残す）場合に存在する。ここでは、ゲートキーピングモジュール又は独立したプロセッサ（外部電気信号を受信する能力を有しない）は、電子デバイスの真の「常時聴取」を有効に又は無効にするに先だって、ユーザの音声コマンドを前処理するローカライズされたプリプロセッサとして動作できる。ボイスコマンドを介して真の常時聴取をスイッチオンにし又はスイッチオフにするためのハッキング不能なローカライズされた制御が提供される。このプリプロセッサ又は前処理（又はゲートキーピング）の機能は、可聴データをワイヤレス通信モジュールに直接に中継する能力を有することができ、又はエンドツーエンド暗号化といった他の処理機能を実行した後に、そのときの暗号化された可聴データをワイヤレス通信モジュールに中継することができ、該モジュールは、その後に、リモートコンピュータ（例えば、クラウドサーバ又はコンピューティングプラットフォーム）に接続することができる。要するに、プリプロセッサ／ゲートキーピングモジュールは、受信機から一次プロセッサ又はワイヤレス通信コンポーネントに受信したデータを供給する一方向通信のハッキングできない「バルブ」として機能する。
【００４０】
本明細書に記載された方法は、外部電気信号を受信する能力を有さないプロセッサ上において前処理機能、又はローカライズされたプリプロセッサを利用して、「常時聴取」機能及びローカルユーザへの制御を区分けし（ｉｓｏｌａｔｅ）、ゲートキーピングモジュールの制御が、文字通り外部データアクセス無しであり、したがってハッキングの影響を受けない。
【００４１】
図１〜図４は、デジタル携帯情報端末デバイスの聴取及び応答を制御するための従来技術における様々なソフトウェア制御を示す。例えば、図１のインターフェース１０は、デバイスとの物理的な相互作用無しウエイクアップ語「Ｈｅｙ  Ｓｉｒｉ」が聴取を始動させることを可能にするためのトグル１１を示している。同様に、図２は、「ＯＫ  Ｇｏｏｇｌｅ」という語が聴取を始動することを可能にするＡｎｄｒｏｉｄ（登録商標）インターフェース２０を表示する。図３は、システムへのマイクロフォン入力を無効にするためのボタン３１を有するＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムにおけるインターフェース３０を表示する。最後に、図４は、タブ４１において、特定のウエイクアップ句４２を設定して記録すること及び動作を始動すると共に一般的にディクテーションを制御するための第三者のソフトウェア「Ｄｒａｇｏｎ（Ｒマーク）  Ｄｉｃｔａｔｉｏｎ」におけるインターフェース４０を表示する。
【００４２】
図５は、簡略化した形で、従来技術のパーソナル・デジタル・アシスタント内のコンポーネントの従来の関係を示す。ユーザは、ボタン１００を押して、マイクロフォン１０１を物理的に無効にすることができ（ミュートする、又は消音する）「常にウエイクアップの視聴に注意を向ける」ことから離れる。通常の動作条件下（消音されていない）では、マイクロフォン１０１は、検出するために受動的にウエイクアップ語に耳を向け、検出されると、プロセッサ及び／又はワイヤレスＩ／Ｏコンポーネント１０３に送られる先行のウエイクアップ語に引きつづき、発話ストリング、クエリ又はコマンドを記録する。一旦、ストリングがプロセッサ又はワイヤレスＩ／Ｏコンポーネント１０３によって受信されると、特異ストリングは、ほとんどの場合、クラウドサーバ１０４に送信され、又はプロセッサが、例えば、「ｔｕｒｎ  ｏｆｆ＜ｎａｍｅ  ｏｆ＞ｌｉｇｈｔ」といった事前に一組のプログラムされた実行可能な命令を記憶している場合には、ローカルに処理される。その後、プロセッサ／常時聴取デバイスは、先行のウエイクアップ語の受動的な聴取に戻る。ストリングが、ローカルで処理されるのではなく送信される場合、クラウドサーバ１０４は、ストリング、クエリ、又はコマンドを処理し、第１プロセッサへ／ワイヤレスＩ／Ｏコンポーネント１０３を介して応答を返す。次に、該応答は、実際にコマンドに適合するように処理され、又はスピーカ１０５を通して可聴な応答を再生するように処理される。
【００４３】
図６は、単純化された形で、真に「常時聴取」可能な電子デバイスの実施例を示す。それらのセンサがマイクロフォン、カメラ、又は環境に関する情報を捕捉する能力を有する他の電子デバイスであっても、デバイスは、「常に受信するもの」、「常に視聴するもの」、「常に記録するもの」、「常に送信するもの」、及び／又はセンサからの入力を検知し及び記録する他の任意の方法として、代替的に、他の実施例において説明されることができるであろう。
【００４４】
マイクロフォン（又はカメラ、又は他の受信機）２００は、ユーザからの潜在的な指示を常に聞こうとする（又は可聴音の入力以外の感覚フィードを録音又は監視する）ように構成されてもよく、限定されるものではないが、常時聴取モードの動作をさせること、常時聴取モードの動作を停止させること、基礎となるディジタルパーソナルアシスタントシステムを特徴付けるものを動作させ若しくは停止させること、又は言葉によるクエリに応答するといったディジタルパーソナルアシスタントサービスを提供することを含む。記録された可聴な、映像の、又は他のデータは、受信機２００からプリプロセッサ及び／又はゲートキーピングモジュール２０１に送信されてもよい。
【００４５】
いくつかの実施例では、デバイスは、２又はより多くの別個の受信機を含むことができる。第１受信機２００は、該デバイスに電力供給されている限り電源オンであると共に、ユーザ入力を監視してもよく、しかし、デバイスの通信モジュール２０２にデータリードを持たない場合があり、したがって、第１受信機２００が遠隔サーバ又は他の外部デバイスとの通信を行うことが防止されることがある。第１受信機からのデータ出力は、限られた言語処理能力を持つプロセッサ及び／又はゲートキーピングモジュール２０１にのみ送られてもよい。第２受信機２０６は、通常は、ゲートキーピングモジュール２０１によって許可された場合のみ電力が回復される又はデータ送信機能が回復される状態において、電力供給されていなくてもよく、又はデータ送信から切り離されることができる。
【００４６】
ゲートキーピングモジュール２０１は、電子デバイスのクリティカルパス、コンポーネント又は機能において、入ってくる（インバウンド）データ（限定されるものではないが、許可された又は及び許可されていない電気信号を含む）又は出て行く（アウトバウンド）データ（可聴の、映像の、発話の、ジェスチャの、又は他のデータ）の手段を制御し又は制限することができる。或いは、ゲートキーピングモジュール２０１は、電源２０５（例えば、バッテリ又はＡ／Ｃ電源への接続であり得る）からデバイスの特定のコンポーネントへの電力供給を許可し又は拒否することができ、デバイスの特定のコンポーネントは、（限定されるものではないが）は、マイクロフォン、プロセッサ、及び／又は通信モジュール（例えば、Ｗｉ−Ｆｉ、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）、携帯電話接続など）を包含する。いくつかの実施例では、様々なコンポーネントが、常時、電源２０５へ直接に接続され（図中の実線によって示される）、一方で、他は、直接に接続されてもよく、又はゲートキーピングモジュール２０１を介して接続される（図中の破線によって示される）、のいずれでもよい。
【００４７】
ゲートキーピングモジュール２０１は、集積回路、マザーボード上のチップ、又は他の任意の形態のハードウェアソリューションとして実施されることができる。或いは、ゲートキーピングモジュール２０１は、（限定されるものではないが）ＥＰＲＯＭ（メモリチップ上の設計された／指定されたエリアにＵＶ光を当てることによって局所的に及び物理的に消去されることのみ可能であると共に、ほんのわずかでも再プログラムされることができないメモリ）といった非一時的なメモリに格納されるセキュリティプログラミング又はプロトコルの実施例をとることができる。以下のことを理解すべできある：当業者は、本明細書に記載されるようなゲートキーピング法を、任意の数の代替のハードウエア及び／又はソフトウェアの実施例において適用することができる。
【００４８】
プログラミング／プロトコルは、プリセットされたサイズ又は期間に、又は最新のアクティビティに基づき、受信したインバウンド電気信号を制限する機能を有するようにして（例えば、ウェブページをロードするためにサーバにリクエストを送信すると、ある期間、又はウェブページがロードされるまで、電子デバイスがデータを受信することを許可してもよく、しかし、プリセットされた期間内に最近のデータリクエストがない場合、ＥＰＲＯＭ内のゲートキーピングモジュールは、電子デバイスが無線受信機を介して追加データを受信すべきことを防止してもよい）、電子デバイスがハッキングされることを妨げるようにしてもよい。
【００４９】
或いは、ゲートキーピングモジュールは、継続的に送信するためのユーザからのローカル入力許可をゲートキーピングモジュールのプロセッサが持たない場合、「ワイヤレス送信機上における継続的な音声（ａｕｄｉｏ）送信を遮断（又は制限）する」ように設定されてもよい。
【００５０】
ゲートキーピングモジュールは、時間インターバル（例えば、ピコ秒から秒、秒から分）中にインバウンドデータのマイクロバーストを可能にするように設定して、データの予期される流れが該デバイスによってダウンロードされることを可能にし、プッシュ通知のチェックを可能にし、及びユーザデータを処理するように構成されたサーバによる応答の受信を可能にしており、しかし、ゲートキーピングモジュールは、権限のないアクセスを得る若しくはセキュリティ抜け穴を「ハッキング」する、悪意のあるデータをアップロードする、又はサービス妨害攻撃を実行するために必要な継続的な接続を困難に又は不可能にする、時間インターバル（期間）の長さ、又はインターバル間の不能化された通信の期間の長さは、ランダムに又は固定のインターバル（例えば、２０ミリ秒毎に１ミリ秒間の、又は１秒ごとにランダムに選択されたミリ秒の期間の、通信を無効にするといったもの）で選択されることができ、また、時間インターバルの長さは、比率（例えば、インバウンドデータが長さで５倍に許可され、長さで２０倍に許可され、又はインバウンドデータが不能にされるという時間インターバルに比較されたその他の任意の乗数といったものに許可される）比率として関連づけられることもある。
【００５１】
ゲートキーピングモジュールは、物理的な有線接続の手段、又は（限定されるものではないが）ブルートゥース（登録商標）、ＮＦＣなどといったより制限された範囲のワイヤレス手段；局所的にのみ、機能それ自体への到達する（インカミング）データの接続を可能にするように設計されてもよい。該機能は、以下のものによって安全に（セキュアに）されることができる：修正デバイス上において必要とされるパスワード、デジタル指紋（クッキー又はトークンといったもの）のうちの１又は複数のもの；又は、機能のソフトウェアの修正を可能にする前にユーザ個人の電子デバイス（例えば、スマートフォン又は他のモバイルデバイス上のアプリ）によるユーザの身元の物理的な識別又は検証を必要とするソフトウェア。この方法、つまり、ゲートキーピングモジュールをある程度のプログラミング又は再プログラミングすることを可能にする方法は、有益なセキュリティプロトコル及びアップデートを可能にし、必ずしも「侵入防止」のためではなく、「通過」関連のセキュリティ及びカスタマイズのためにも可能である。例えば、ゲートキーピングモジュールは、最初の製造者によって指定され及びハードコードされたもの以外の別のクラウドコンピューティングプラットフォームに接続するようにプログラムされてもよい（例えば、ＡｌｅｘａＴＭ／Ｅｃｈｏ（Ｒマーク）は、音声が送信されることを許可する新しいＩＰアドレスを識別することによって、Ｍｉｃｒｏｓｏｆｔ（Ｒマーク）プラットフォームに接続されるように再構成されてもよい）。
【００５２】
ゲートキーピングは、（限定されるものではないが）スマートフォン「アプリ」といった所定のソフトウェアによって定期的にプログラムされ及び／又は更新されてもよい。いくつかの実施例では、デバイスは、可聴の発話又はジェスチャのデータをクラウド内のサーバープロセッサに中継するためにＶＰＮ（仮想私設網）を使用して、再プログラムされるようにしてもよい。或いは、デバイスは、負荷バランシング又はトラフィックバランシングの考慮事項に基づき、一組の可能なＩＰアドレス中から選択するようにプログラムされてもよい。セキュリティ機能が、可聴データ又はジェスチャデータがアップロードされるとき通過する悪意のあるコード及び／又は暗号化という２点の検証を持つように追加されることができる。
【００５３】
或いは、ゲートキーピングモジュール又はプロセッサは、受信データをローカルプリプロセッサに転送するようにプログラムされてもよい。例えば、受信した発話又はジェスチャデータは、遠隔サーバへの代わりに、該デバイスと同じ無線ネットワーク上のローカルサーバ２０７に、又はスマートフォンアプリに、転送されることができよう。このようにして、情報のプライバシー及びセキュリティが、確保されて、またより大きなインターネットへのワイヤレスネットワークの接続が失われる場合でも、ある程度の容量での動作を可能にする可能性がある。
【００５４】
別の実施例では、デジタルパーソナルアシスタントは、複数のプロセッサを備えてもよく、該プロセッサでは、無線通信コンポーネントが、外部に発信源を持つインバウンドデータを受信すると共に該インバウンド信号を第１プロセッサのみに送信するために制限されており、また、第１プロセッサは、無線コンポーネントに信号を送信することができず、ディスプレイ又はスピーカに信号を送信することができるだけである。さらに、無線通信コンポーネントは、遠隔コンピューティングデバイスに送信するために、第２プロセッサからのアウトバウンド（受けた入力）データ（１又は複数の受信機から受信された）を受信することのみに制限されてもよく、したがって、デジタル侵入者が受信者をオーバーライドすることができない状態にする。
【００５５】
発話及びジェスチャのデータの純粋に局所的な処理を行うと、セキュリティ及びプライバシーに関連付けられた安全なアプリケーションが可能になる可能性がある。例えば、ホームセキュリティシステムが、発話、ジェスチャ、顔認識、又は処理を必要とする他のビデオ又はオーディオ入力によって制御される場合、ローカル処理が、遠隔処理より好まれる可能性があり、遠隔処理は、遠隔のハッカーがホームセキュリティを不能にすることを許容することがゼロではない。プライベートの安全な「ウォーキートーキー」又はその他の通信機能が、追加されることができて、ローカルネットワークから離れて動作すると共に、ローカルネットワーク上の複数のデバイス間の通信を可能にする。
【００５６】
ある実施例では、プリプロセッサ２０１は、デフォルト設定により受信機によって受信された全てのオーディオ又はビデオのデータの連続的な送信を可能にすると共に、特定のユーザ入力に応答するデータ送信に関する制限を実施するのみのようにプログラムされてもよい。
【００５７】
プリプロセッサ及びその機能の別の実施例では、プリプロセッサ２０１は、局所化された自然言語処理（ＮＬＰ）プログラミングを含むことができ、該プログラミングは、非一時的メモリに組み込まれており、該自然言語処理には、ユーザによって受信された入力の連続ストリングを、個々に最も理解しやすいサブストリングに事前構文解析することが課される。
【００５８】
例えば、ユーザは、休止無しに、一連のコマンドを作ることを好むかもしれず、常時聴取デバイス及び／又はそのクラウドコンピューティングユニットは、「Ｐａｎｄｏｒａ（Ｒマーク）上においてクラシック音楽を再生し、ボリュームを４に設定し、一時間で演奏を停止し、ベッドルームライトを消し、午前７時にアラームをセットする」といった複雑な一連のコマンドを解読することができないかもしれない。しかし、事前解析ＮＬＰから成るプリプロセッサ２０１を利用すると、クラウドコンピューティングユニットへ送信する前に、文字列を解析すること、及び５つの個別のコマンドへ変換することを可能にするかもしれない：
「Ｐａｎｄｏｒａ（Ｒマーク）でクラシック音楽を再生する」
「音量を４に設定する」
「１時間で再生を停止する」
「ベッドルームのライトをオフにする」、及び
「午前７時にアラームを設定する。」
【００５９】
これに応答して、クラウドコンピューティングサーバ２０３は、その元の機能に対する基準として、順に、及び／又は連続的に、それぞれに応答することができる：
「Ｐａｎｄｏｒａ（Ｒマーク）上クラシック音楽を再生する」
（設定における変更を無音で顕在化し、つまり、Ａｍａｚｏｎ（Ｒマーク）  ＡｌｅｘａＴＭは、音量変更時の聞き取りできるフィードバックを提供しない。）
「私は、１時間で再生を停止するであろう」
（設定における変更を顕在化する）「Ｏｋａｙ．」
「午前７時にアラーム設定する」
【００６０】
ストリングの事前構文解析は、遠隔クラウドコンピューティングユニット２０３において、同様に達成されることができ、又は実際のＮＬＰ又はＡＳＲ（自動音声認識）に導入される前に事前構文解析が達成される他の任意の構成において、達成されることができる。
【００６１】
別の実施例では、ゲートキーピングモジュール及び／又はその関連付けられたハードウエアは、「常時聴取」電子デバイスとは別個のデバイスにおいて、独立していてもよい。
【００６２】
ゲートキーピングモジュール２０１は、ユーザからの入力をローカルに処理するために自然言語処理（ＮＬＰ）を含むことができる。
【００６３】
図６においては、矢印は、電子デバイス内のデータ送信（無線及び有線の両方）の方向的な流れを描く。図示されるように、プリプロセッサ及び／又はゲートキーピングモジュール２０１は、単一方向、アウトバウンドに制限される。ゲートキーピング機能２０１は、ゲートキーピングモジュールが単一方向のアウトバウンド伝送のみに制限される限り、単一方向プロセッサ（つまり、受信機からの入力のみを有すると共に下流のプロセッサへの出力のみを有するデバイス又はコンポーネント）、又は双方向プロセッサのいずれかに組み込まれてもよい。単一方向機能は、データの入力／出力のポートそれら自体によって強制されない場合、例えば、読み出し専用メモリに格納されると共にゲートキーピングモジュール２０１におけるプロセッサによって実行されるソフトウェアによって実現されてもよい。
【００６４】
図示された実施例では、プリプロセッサ及び／又はゲートキーピングモジュール２０１は、受信機２００によって受信された発話、又は他の映像若しくは音声のデータを中継し及び保護しており、中継及び保護は、一次プロセッサ及び／又は無線の入力／出力の通信コンポーネント２０２に送信する前に行われ、一次プロセッサ及び／又は無線入力／出力の通信コンポーネント２０２は、該発話のデータをクラウド又は他の遠隔サーバ２０３に送信する。
【００６５】
一次プロセッサ２０２は、発話データを暗号化してもよく、又はそうでなければ、送信前にデータ伝送チャネルのセキュリティを確保してもよい。或いは、暗号化は、プリプロセッサレベル２０１で、又はその両方で、マルチレイヤ暗号化特徴のために行われてもよい。
【００６６】
システム／コンポーネント／方法は、以下に限定されるものではないが、携帯電話、タブレット、ラップトップ、コンピュータ、スマートウォッチ、テレビ、照明、メディアプレーヤー（例えば、ＤＶＤプレーヤー、Ｂｌｕｅ−Ｒａｙプレーヤー、ｉＰｏｄ（登録商標）など）、ホームセキュリティシステム、スマートホームデバイス（スマートサーモスタット、スマート冷蔵庫、スマートロック／ドアベルなど）といった種々のタイプの電子デバイスに統合されてもよい。当業者の個人は、この発明を、ユーザ、デバイスメーカ、コンテンツ（及び／又は広告）、配信プロバイダ、又はこれらの組み合わせに付加価値を提供する実施例を統合するいくつかの他のシナリオ、応用、及び方法に適用できるであろう。
【００６７】
いくつかの実施例では、外部データ入力無しの集積化されたゲートキーピングモジュールは、ユーザが機密であることを見出すと共に安全で非公開に保つことを望む可能性がある映像又は他のタイプのデータフィードを保護できる。
【００６８】
いくつかの実施例において、デバイスが、１又は複数の発光ダイオード（ＬＥＤ）を含んでもよく、発光ダイオードの点灯した／点灯してない状態、色、又は点滅のパターンは、常時聴覚モードがオン又はオフであるかどうかをユーザが視覚的に確認することを可能にする。他の視覚的又は聴覚的な効果は、常時聴覚状態を示すために使用されてもよく、例示として、デバイスの画面又はディスプレイ上のシンボル、アイコン、又は点滅アイコン、常時聴覚モードに従事していることをユーザに思い出させる時々のビープ音若しくは予め録音された音、又は録音が生じていることをユーザの感覚入力を介してユーザに警告又は注意を促す他の方法を含む。
【００６９】
ユーザに対するデバイス出力のためのスピーカが好ましい一方で、一部の実施例では、デバイスは、出力のためのスピーカを含んでいなくてもよく、該出力は、その代わりに、照明、振動、ビデオスクリーン、又は他の視覚インジケータのうちの１又は複数によって提供されてもよい。或いは、デバイスは、完全に無音であること、及び視覚的な外観に変化無しであることの両方であってもよく、ユーザへのフィードバック無しで、バックグラウンドでデータの送信及び更新を排他的に実行する。
【００７０】
いくつかの実施では、デバイスは、マイクロフォン又はカメラに加えて、１又は複数のセンサを組み込むことができ、該センサは、（限定されるものではないが）振動センサ（セイスモグラフといったもの）、全地球測位システム（ＧＰＳ）、向きを決定するための加速度計又はジャイロスコープ、温度計、湿度センサなどを含む。追加のセンサは、例えば、落下したユーザの振動、生活エリア内の安全でない温度、又は他の緊急状況を検出するといったこと、発話又はジェスチャがなくても、潜在的なユーザ意図を特定するために使用されてもよい。
【００７１】
「常時聴取」モード、その機能がユーザによって有効にされる時及び場所、デバイス及び／又はそのオフサイト機能（例えば、クラウドコンピューティング、ロジック、自然言語処理、又は人工知能）は、有用なデータを聴取し／受信し／記録し、有用なデータを処理し、有用なデータを記録し、並びに応答し及び／又は支援の詳細を提供するために、適切な時間を確認することができる。例えば、ユーザが「常時聴取する」ことを選択した場合、デバイスは、オーディオ入力に基づくいくつかの有用なサービスを提供することができる：
・ユーザが（別のユーザが物理的に存在する状態で、又は電話を介して）口頭で予約を行うとすると、デバイスは、ユーザに関連付けられたソフトウェアカレンダーに予約を追加できる。
・ユーザが映画を見ながら第２ユーザに「その俳優は誰か？」を問い合わせるとすると、デバイスは、視聴されている映画及びそのシーンを特定することを試みることができ、映画に関する情報のデータリポジトリをチェックすることができ、俳優の識別アイデンティティの最良な推測／推定と一緒に応答することができる。
・ユーザが第２ユーザ又は世帯メンバーに話しかけて、これから起きる出来事又は割り当てられたタスクを彼らに「思い出させる」とすると、デバイスは、該出来事又はタスクに関するリマインダを彼らのデジタル又はクラウドのノートに追加することによって、又はその第２ユーザの携帯電話のための警告を追加することによって、適切に応答することができる。
・あるユーザが、どこに行くか、又はディナーに何を食べるか、について別のユーザ又は家庭メンバーと会話すると、そのデバイスは、広告のためにお金を既に支払った、広告宣伝を行う、などの近くのレストランの提案と一緒に応答することができる。
・ユーザが、提案されたレストランがどのくらい離れているか、を尋ねると、デバイスは、ユーザの位置を（デバイス内のＧＰＳユニット、ユーザのプロフィールからのアドレス、又は携帯電話の基地局の三角形分割といった別の推定手段を介して）特定し、ユーザからレストランまでの近似距離と一緒に応答することができる。
・ユーザが、レストランが遠すぎる（デバイス又は別のユーザに）と言うとすると、デバイスは、ユーザがそこに留まりたい時間又は距離のパラメータがあるかどうかを問い合わせることがある。
・ユーザが、最後の時の会話又は距離の会話が終了した後の一定期間、話し合いを行い及び休止すると、デバイスは、ユーザの話し合いから受信した又は特定された任意の提供されたパラメータ又はパラメータ内において代替提案を行うことができる。
・ユーザが、ユーザが欲する食料の種類の後に、ある期間、話し合いを行い及び休止すると、デバイスは、ユーザの話し合い又は指示のパラメータ内において提案を行うことができる。
・ユーザが、彼／彼女／彼ら彼女らが見たい映画の後に、ある期間、話し合いを行い及び休止すると、デバイスは、ショウタイム、場所、距離、又はそれらの組み合わせに関する情報を提供することができる。
・ユーザが、環境条件を不快であると対話的に説明すると、デバイスは、１又は複数のサーモスタット、冷却システム、ヒーティングシステム、ファン、又はその他の外部環境制御デバイスにつながることができ、設定をより望ましいレベルに変更するために、電子コマンドを装置に送信することができる。同様に、ユーザが「ここは明るすぎる」と言ったとすると、デバイスは、モーター駆動カーテンに信号を送信して、閉じ若しくはわずかに閉じ、又は調光スイッチに信号を送信してライトを低い設定に調光することがあるであろう。
・ユーザが疾患の兆候を説明すると、デバイスは、処置方法を示唆し、将来の医療予約中における診察のためのユーザの医療記録を自動的に更新し、及び／又は対話し、直ちに医療機関を受診することを推奨することができる。
・ユーザは、ユーザのセキュリティを強化するために、特定の「安全」及び「緊急送信ヘルプ」コードの語句又はジェスチャを認識するようにシステム及び／又はデバイスを事前にプログラムすることができる。例えば、「青の象」のようなコードワードは、武装警備システムを備えた住宅に入る時に、「全て安全」ワード／フレーズとして使用されてもよい（そして、ボイスＩＤで検証されてもよい）。或いは、ユーザは、「強制されたユーザの送信ヘルプ！」を示すために、特定のフレーズ又はジェスチャを構成してもよい。侵入者が、引き続き、セキュリティシステムを非アクティブ化するようにユーザを強制した場合、フレーズを発声すると、セキュリティシステムが、当局に警告している期間に、偽の武装解除状態に入る可能性がある。第３フレーズ又はジェスチャは、逃れる又は隠れることをユーザが試みている期間に、直ちにセキュリティシステムを始動させるために「パニック」コマンドとして使用されてもよい。
【００７２】
オーディオ処理機能は、さらに、潜在的な疑似入力又は悪意のある入力をユーザに警告するように構成されてもよい。例えば、ユーザが、Ｗｅｂを介してストリーミング、又はラジオの再生を聴いている場合であって、該再生が、通常の人間の聴覚範囲（約２０Ｈｚ〜４０ｋＨｚ）より上又は下の周波数の隠しメッセージを含む場合である。デバイスは、マイクロフォンによって記録された音声信号に作用するというよりは、不可聴なコマンドを発行する試みをデバイスが把握していることを、代わりに、聴覚的に又は他の方法でユーザに警告するように構成され、また、よりセキュアなモードに入るように提案することができ、該モードは、１又は複数のコマンドタイプを無効にする、該デバイスへの音声信号入力を一時的に無効にする、又は音声信号を生成しているどんなデバイスによっても音声信号出力を一時的に無効にする。同様に、システムは、世帯内のメンバーのうちの何人かの声を認識するように訓練されることができ、またシステムは、以下を特定することができ：受信された口頭コマンドが、現在再生中のオーディオエンターテインメントにおいて記録された声から来る；又は、世帯のうちのビジターから来る、のいずれかであることであって、該ビジターは、デバイスにコマンドを発行することを許可されていない。システムは、デバイスの通常ユーザ又は権限のあるユーザから発信されたものとして確認されることができない入力に作用することを拒否することがあり、又は確認を求めることがある。
【００７３】
同様に、カメラを備えるシステムは、専らビデオデータに基づき、又はオーディオ及びビデオデータの組合せに基づき、いくつかの有用な機能を提供することができる。
・ユーザが話すことができないか又は話すことを望まない場合（例えば、ユーザが、聴覚障害者である、無言である、食べている、騒々しい環境にあり騒音に負けないように叫びたくない、など）、ユーザは、デバイスとのカスタム又は言語ベースのジェスチャ通信を介して、そのまま、パーソナルアシスタントデバイスの安全性及び有用性を楽しむことができる。システムは、マクロ表現（手を振る、１又は複数の立てた指の組、アメリカ手話、又は他の手話における従来のコミュニケーションなど）だけでなく、マイクロ表現（笑顔、渋面、あえぎ、結んだ唇、広がった鼻孔、眉の動き、まぶたの動き、舌の動き、頬の動き、など）を認識するように構成されてもよい。マイクロ表現及びマクロ表現は、ユーザのあいそうな気分又は意図を特定するために、発話の量又は内容に関する判明した情報と組み合わされることができる。気分及び意図のこれらの特定から収集された情報は、ユーザプロフィール（例えば、あるチームが勝利するとユーザが歓声を上げる場合に該スポーツチームを好むことを覚え、又はユーザが食べた後に顔をしかめる場合に該ユーザがその食べ物を好まないことを覚える、など）を更新するために使用されることができる。
・このシステムは、オーディオデータが利用できない、又は分かりにくいときでさえも、追加的に、「口を読み取る」、又はビデオデータの処理を通じてマイクロ表現又はマクロ表現によって表された他のユーザの意図を読み取るように、訓練されることができる。話し言葉を、クエリ又はコマンドに変換することができ、またシステムが、話し言葉に、ビデオデータだけの解析を介して、又は利用可能なオーディオデータを話し手の唇を読み取るためにビデオデータで補完することによって、作用することができる。
・ユーザが床に落ち、及び／又は苦痛を叫び若しくは不快感を発することであれば、システムは、ユーザの健康状態に関して問い合わせ、家族又は友人といった第三者に連絡し、ユーザに医療支援を指示するために緊急サービスに連絡することがある。ユーザが、落下又は傷害の後に応答的でない場合、システムは（システムの設定内において事前にユーザによって許可されている場合）、ユーザの状態を確認するために、追加のビデオフィードをオーバーライド（上書き）すると共に該フィードをアクセスすることができ、ビデオフィードを第三者又は緊急サービスに転送することができる。システムは、立った位置から単に落ち、又はベッドから外に落ちることの代わりに、階段を落ちたり脚立から落ちたりするといった落下の特性に基づき、即座に状況を上記レベルの処理事項にすることができる。また、システムは、負傷の可能性又は重大度を特定するために、ビデオデータを使用して、出血、骨折の可能性、又は他の負傷の兆候を検出することができる。
・システムは、カメラの使用を介してロケーションにおけるいくつかの物体の位置のモデルを構築し（又は複数のカメラを介して正確な位置を三角測量し）、その情報を使用してユーザを支援することができる。例えば、ユーザが夜間に歩き回っている場合、システムは、通常、その場所にない物体がユーザの通路（パス）にあることを特定して、「置き間違えられたイスに偶然に出会おうとしている！」を聞こえるように警告して、ユーザが足の指先をぶつけること、又は暗闇においてつまずくこと、を避けるのを手助けする。同様に、システムは、ユーザの位置を自身で追跡するかもしれず、ユーザがいつもとは異なる経路を歩いること、及び壁又は家具と衝突する可能性があることをユーザに警告する。
・システムはまた、装飾品、電子機器、絵画、家具といった１又は複数の物体がモデルにおいて典型的な場所にないと特定することによって、盗難が発生した可能性があるという警告を生成できる可能性がある。潜在的な盗難の特定は、顔認識と、身近でない顔が存在した後に物体が消失したという特定とに基づいてもよく、又は、他の物体がまだ移動していなくても、住んでいる家族が不在のときにおける身近でない顔の存在に基づき積極的に生成されてもよい。
・システムは、物体認識を使用して、危険な又は望ましくない状況が発生していることを特定してもよい。例えば、子供は、ナイフ、銃器、他の鋭利な若しくは爆発的な物体、窒息の危険性、高価で壊れやすい物体、又は子供が利用（アクセス）するべきではない他の物体、を保持していることを特定することができる。応答においては、アラートが生成され、子供の親又は他の介護者に送信される場合がある。その他の望ましくない又は安全でない状況、例えばドラッグ・パラフェナリアを所有する十代の若者、自動車の鍵を保持しながらアルコールの影響の下にありそうであることを示す動きの成人、といった状況の自動検出によれば、状況に対処できる適切な受け手へのアラートが生成される場合がある。
・システムは、進行中のユーザアクションの最終的な意図を特定しており、また該アクションのタイプに関して特異であると判定された時間長が該アクションにおいて経過している場合、ヘルプに連絡するように申し出ることができる。例えば、バスルーム内において又はシンクの下において道具を用いて作業していると特定された人には、１時間が経過した後に、連絡先情報と一緒に現地の配管工に連絡を促すことがある。リビングルーム又はベッドルームにおいて、ハンマー、レンチ、ドライバー、又はその他の手工具を保持している人には、所定の時間が経過した後に、連絡先情報と一緒に現地の便利屋又は大工に入力を促すことができる。自動車に乗り降りすることなく一定期間自動車に近接している人には、連絡先情報をと一緒に、整備士、牽引サービス、又は他の自動車サービス会社に連絡を促すことができる。
・システムは、進行中のプロセスにヘルプを提供することもある。例えば、キッチン内の人の活動は、該活動が、あるレシピで調理するときに追跡されることがあり、その結果、該活動が、一定期間、休止すると、該活動は、レシピを使用しているクックブック又はＷｅｂサイトを調べることなく、レシピの次のステップを用いて聞こえるように自動的に指示される。レシピの現在のステップは、ユーザの行動のビデオ認識を、ユーザが以前に参照したクックブックのページの特定又はユーザの検索履歴と相互参照することによって特定されることができる。別の実施例では、クラスの教師又は複数の子の親は、特定のタスク又は工作プロジェクトに取りかかるように、生徒／子のグループに指示することができる。システムは、各人の現在の行動を追跡することができ、また該人が、混乱、フラストレーションを表明し、又はシステムに入力され又は事前に構成される可能性のある活動の説明に整合しない行動に取りかかっている場合に、ヘルプを差し挟むこと、又は教師／親に通知することに準備ができている。
・システムは、リマインダを生成し、ショッピングリストの更新し、オンラインショッピングカートへのアイテムを追加するために、観察されたユーザアクションを使用することができる。例えば、ユーザがシリアルをボウルに注いて、その後にミルクを見つけることに失敗し、驚き、悲しさ、又は嫌悪感を表現する場合に、ミルクが自動的にショッピングリストに追加されることができ、或いは、ユーザが食料品店にいるときに自動リマインダが生成されてユーザのモバイルデバイスに送信されることができ、或いはメッセージが、現在のところ外出中であると共にその帰りにミルクを買う可能性のある家人の別のメンバーに送信される。以下のような類似の特定がなされる可能性がある；（家人が電球を見つけられなとユーザが言うことを小耳に挟むというビデオ特定に応答して）家人が電球を購入する必要があるかもしれない；おむつ若しくはその他のベビー用品、又は家庭によって定期的に購入されまた消耗される可能性のあるその他の任意の物品を購入する必要があるかもしれない。
【００７４】
ユーザには、デバイス又はシステムによって受信されたビデオデータが第三者に提供される可能性のある方法にわたって細かく制御が与えられることができる。例えば、ゲートキーピングモジュールは、外部伝送を可能にする前に、常に、身体全体若しくは顔、又は顔以外の身体の一部、又は何らかの露出した肌をぼかすように構成してもよい。手、足、及び／又は顔といった身体の特定の部分は、伝送のために保存され又は区分けされてもよく、この結果、他の背景情報が伝送されない。部屋、家具、ビデオ画面、文書、又は他の物体といった背景情報は、デバイスの外部に送信される任意のビデオにおいて、具体的には、除外される、又は含まれることができる。
【００７５】
ビデオコンテンツの継続的な伝送を制御する実施例は、産業／商業シナリオ、例えば盗難が発生する、又は安全／責任が懸念される場合において有用である可能性がある。常時聴取又は視聴システムを実装するウエアハウスでは、データフィード（オーディオ、ビデオ、又はその両方）は、作業者を助け、安全を強化し、又は安全でない行動を検出し、押し込み強盗、万引き、又は盗難への職権又は売店を警告する最良の応答、例えばディスプレイを介して視覚的なフィードバックを又はスピーカを介してオーディオのフィードバックを提供するといったデータに対する最良の応答のために、系統立て、検索し、計算し、アクセスし、評価し、又はこれらの組み合わせ動作を行うように、連続的に処理され、解読され、及び／又は分析されことができる。加えて、システムは、訓練目的のために、情報に関する受信データを保存することができる。
【００７６】
或いは、違反を監視する際に使用される受信データは、違法駐車、又は駐車メータ用の制限時間の超過、等といった移動しない違反を特定するために更に使用されてもよい。
【００７７】
システム及び方法による応答は、受動又は能動である場合がある。例えば、受動的な応答は、立ち聞き会話に応答して、ユーザカレンダーに予定を作成することがあるだろうし；能動的な応答は、どこにディナーのために行く又はデリバリーを注文するという立ち聞き会話に対してレストランの提案を提供することであろう。
【００７８】
いくつかの実施例は、例えば、視覚的なハウツー、広告、プロモーション、クーポン、又はデバイスのユーザに興味を持たせる又は知らせるように予想されたビデオコンテンツといったビデオオンデマンド又は支援配信を提供するための１又は複数のディスプレイを含むことができる。
【００７９】
いくつかの実施例では、会話で現れるユーザに関する他のデータ、例えば、ユーザの好みの色、話題に関する好む又は好まない意見、又は会話、ディベート、又は議論に現れる他のコメントといったものは、クエリではなく又は支援が提供されてもよい要求として、プロセッサによって認識されてもよい。しかしながら、情報は、例えば、オンラインでアイテムの購入の要求、ユーザの好みの色におけるアイテムの購入、又はユーザによる以前のコメントに基づく視聴のためのテレビ番組又は本の提案に応答して、将来のより良い支援を見越すために、データベースにアーカイブされ得る。システムは、いくつかの実施例では、ユーザの年齢、性別、世帯の人員構成、所有された製品、及びユーザの好みに関連する他の情報のうちの１又は複数を学習し、又は格納することができる。家庭内の利用者達に関するデータは、データの侵害、又はその他のデータ格納への不正なアクセスの場合に、利用者の身元確認を妨げると共にプライバシーを遵守するために匿名化されることがある。
【００８０】
常時聴取デバイスを通じてユーザから収集された可聴なデータ、及び支援の対応は、世帯のみに限定されない場合がある。例えば、産業的な又は商業的な用途においては、常時聴取デバイスを介して収集された可聴なデータは、解釈され、また分析されることができる。ある従業員が別の従業員に「ある品目が在庫にあるか？」と尋ねた場合、システムは、会話に差し挟み、「はい、ニュージャージー倉庫に１２３台、ニューヨーク倉庫に２３４台が利用可能である」又は「ありません、７月７日には出荷予定がある」と聞こえるように応答することがある。モデルを構築すると共に、特定のデバイスの場所において保持された会話のコンテキストを学習することによって、通常の質問に対する応答を正確に提供することができる。
【００８１】
図７は、簡略化した形で、「常時聴取」デバイスの別の実施例を示す。
【００８２】
いくつかの実施例では、プリプロセッサ及び／又はゲートキーピングモジュール３０１は、プリプロセッサ及び／又はゲートキーピングモジュール３０１が、単一方向のアウトバウンド伝送の能力のみを有するように制限されている限り、一次プロセッサ３０６及びワイヤレスＩ／Ｏ通信モジュール３０２と一緒に統合されることができる。この実施例では、一次プロセッサ無線送受信機３０２は、発話データをクラウド又は他の遠隔サーバデバイス３０３に送信し、また１又複数のスピーカ３０４を介して可聴のフィードバックの形で中継されることができる応答を順に受信する。電源３０５からの電力は、いくつかの実施例では、そのまま、集積ゲートキーピングモジュール／プロセッサ／通信モジュールを介してマイクロフォン３００に移ることができ、一方、他の実施例では、マイクロフォン３００は、切断できない直接の電力リンクを有することができる。
【００８３】
図８は、簡略化された形で、「常時聴取」可能な電子デバイスの代替の実施例を示す。
【００８４】
ある実施例では、第１プリプロセッサ及び／又はゲートキーピングモジュール４０１、並びに第２プリプロセッサ及び／又はゲートキーピングモジュール４０２、各々は、それの独自のウエイクアップ句を受動的に「常時聴取」していることができる。例えば、プリプロセッサ及び／又はゲートキーピングモジュール４０１は、ウエイクアップ句を「Ａｌｅｘ」という語にしてもらうことができ、一方で、一次プロセッサのウエイクアップ語は「ＡｌｅｘａＴＭ」（Ａｍａｚｏｎ  Ｅｃｈｏ（Ｒマーク）の場合は通常）であってもよい。
【００８５】
他の実施例では、ウエイクアップ句は、特定の単語、特定の一連の単語、手のジェスチャ、顔のジェスチャ、身体の動き、口調、ひげ、音のパターン、動きのパターン、タップ（ｔａｐ）のパターン、又は上記の任意の組合せであってもよい。ウエイクアップ句は、デバイスに予め構成されることができ、又はユーザの好みに対して設定されてもよい。
【００８６】
一例では、ユーザが「Ａｌｅｘ」と言い、その後に「常時聴取を許す」といった単一ストリングが続く場合、システムは、発話データの連続的な聴取と送信とを可能にすることによって応答することができる。同様に、「Ａｌｅｘ」とその後に「聴取をやめて」を続けると、発話データの聴取及び送信の続行を止めることができる。
【００８７】
「聴取をやめる」コマンドを満たすと、システムは受動モードに戻ることができる。プリプロセッサ及び／又はゲートキーピングモジュールは、また、統合されることができ、又は第２プロセッサ又は一次プロセッサと独立して保たれることができる。さらに、無線I／O又は送信機／受信機は、プロセッサと統合されることができ、又はプロセッサと独立して保持されてもよい。
【００８８】
いくつかの実施例では、第１ゲートキーピングモジュール４０１は、第２ゲートキーピングモジュール４０２にわたって制御することができ、又は第２ゲートキーピングモジュール４０２と通信することができる。例えば、ゲートキーピングモジュール４０１は、十分に信頼されていない既存のシステムに追加される場合、ユーザは、既存のシステムがそもそも聞くことができるかどうかを制御すると共に、既存のシステムが記録されたデータを中央サーバに報告することを妨げるために、第１ウエイクアップ句を使用することができる。
【００８９】
図９は、区別できる第２ウエイクアップ語を処理する方法の改良の例示的なフローチャートを示す。
【００９０】
例えば、Ａｍａｚｏｎ  Ｅｃｈｏ（Ｒマーク）の場合、「Ａｌｅｘ」といった第２ウエイクアップ語が、デフォルトの「ＡｌｅｘａＴＭ」に追加して使用され得る。聴取中（ステップ９００）、デフォルトの第１ウエイクアップ語が使用される場合（ステップ９０１）、標準のデバイス動作が続行される。
【００９１】
受信したウエイクアップ語の後に位置する次の可聴フレーズは、受信され（ステップ９０３）、またユーザによる言語入力又はジェスチャの各々への最良の直接的又は間接的な応答を遠隔サーバにより特定するために、及び自然言語処理（ＮＬＰ）のために（ステップ９０５）、クラウド又は他の遠隔サーバに送信される（ステップ９０４）。適切な応答が、情報、発話、音楽などであれば、それはデバイスのスピーカを介して出力され；適切な応答が動作（例えば、ファイルのダウンロード、他のデバイスのＡＰＩとの通信など）であれば、その動作が実行される（ステップ９０６）。デバイスは、その後に、最初のウエイクアップ語又はジェスチャを再び聴取し続け（ステップ９００）、追加の言葉による入力を処理し、また引き続く支援をユーザに提供する。
【００９２】
代わりに、第２ウエイクアップ語が受信された場合（ステップ９０２）には、「常時聴取」モードが手配される（ステップ９０７）。常時聴取サイクル（ステップ９０８〜９１１）は、これまでの一連のステップ（ユーザ入力を受信し、クラウドへ送信し、最良の応答を特定し、応答を発効させ）を反映しており、しかし、ウエイクアップ語、語句、又はジェスチャを、休止状態で、待機することに戻る替わり、一定のサイクルに、さらには一定の一連の複数の同時サイクルにある（すなわち、第２ユーザ入力を受信し、サーバが第１入力に基づき応答する前であっても、第２ユーザ入力を送信する）。複数の非同期一連のステップ（ステップ９０８〜９１１）は、同時に処理する状態であってもよく、また応答は、把握されているユーザニーズに基づきリアルタイムで優先順位付けされてもよい。例えば、あるユーザが「最も近いメキシコのレストランがどこにあるかしら。実は・・・私は、代わりに、中国料理を欲しいと思う」と言ったとして、システムは、メキシコのレストランの場所を特定するために要求の処理を開始した可能性があり、しかし該特定を為す前に、第２のステートメントを受け取った。第２ステートメントの受信に応答して、中国料理のレストランのクエリが処理され、メキシコのレストランの代わりに出力されることがある。
【００９３】
応答は、以下の任意の１又は複数に基づき優先順位を付けることができる：緊急性（例えば、重要性又は危険性を示すために用いられる口調、音量、語彙）、緊急又は安全の懸念事項、内容及び主題の関連性、ユーザの現在の意図又は関心の特定、ユーザがもはや支援を必要としないということを特定すること、（デバイスの所有者に、又は子供を超える成人に最初に応答するなど）ある組のユーザにおいてユーザをランク付けすること、又は主題の関連性、又は広告の最大の入札者。したがって、「常時聴取」モードが、第２ウエイクアップ語の受信によって手配された後に、システムは、会話における受動的若しくは能動的な参加者となり、情報を問い合わせ若しくは提供するために差し挟み、又は立ち聞きしたことに応答してカレンダ若しくは他のデータ格納を受動的に更新する。
【００９４】
図１０は、常時聴取デバイスの追加の特徴のためのプログラムロジックの代替フローチャートを示す。
【００９５】
図９にあるように、システムは入力に耳を傾け（ステップ１０００）；第１ウエイクアップ句が使用される場合、通常の単一クエリプロセスに従うことができ（ステップ９０３〜９０６）；第２ウエイクアップ句が使用される場合、常時聴取モードを手配するコマンドと併せて、入力に対する継続的な応答を持つ常時聴取モードを起動することができる（ステップ９０８〜９１１）。この機能は、ユーザが、以下を単に為すことによって偶発的に常時聴取を起動することを防止することができる：ユーザの意図を確認することなく単に第２ウエイクアップ句を言うこと；並びに。背景においてうっかりデバイスに聴取させ及び／又は行動を実行させること。
【００９６】
加えて、常時聴取モードは、常時聴取モードを終わらせるために、ユーザの命令を常に聴取しており（ステップ１００５）、その場合、システムは、単一クエリのサイクル若しくは複数のクエリ、常時聴取のサイクルのいずれかに入るために、システムの通常の機能に戻ることができる（ステップ１０００）。
【００９７】
いくつかの実施例では、システムは、システム機能の１又は複数の部分を無効にする追加のコマンドに傾聴してもよい（ステップ１００２）。伴われる機能は、デバイスのマイクロフォン又は他の受信機を無効にすること、ゲートキーピングモジュールを無効にすること（ゲートキーピングモジュールを介してデータ又は電力を妨害されずに転送できるようにすること）、複数のプロセッサのうちの１つのプロセッサを無効にすること、又はクラウド又はローカルデバイスと通信するための通信モジュールを無効にすること、を含み得る。システムは、次いで、無効化された機能を再び有効にするためにコマンドを求めて聴くことができ（ステップ１００３）、これを受信した場合（ステップ１００４）、システムを以前の機能に戻す。
【００９８】
無効化機能／有効化機能のサイクル（ステップ１００２〜１００４）は、代わりに、単一のクエリサイクル（ステップ９０３から９０４）又は複数クエリ常時聴取モード（ステップ９０８から９０９）のいずれかの流れに含めることができる。
【００９９】
例えば、常時聴取モードにある期間に、コマンドを、マルチ受信機デバイスによって使用された１のマイクロフォン又は他の受信機をターンオフするために発行することができ、一方、例えば、ユーザが、基本的なデジタルパーソナルアシスタントが第１受信機からデータを受信することを信用しないものであって、しかしデジタルパーソナルアシスタントに追加されると共に第２受信機からの入力によって制御されるゲートキーピングモジュールを信用する場合は、別のマイクロフォン又は受信機の機能を残すことができる。
【０１００】
上述の実施例とは対照的に、ユーザに支援応答を提供する同一デバイスに、ゲートキーピングモジュール又はチップを統合し、また、上述の機能（ステップ１００２〜１００４）は、同一システムのサブシステム及び他の受信機の入力及び出力を制御するマルチ受信機システム内の１のマイクロフォン又は他の受信機ための手段を提供することに関する機能は、デカップルされたデバイス内に実装されていてもよく、該デカップルされたデバイスは、常時聴取システムのデバイスのソフトウェア又はハードウエアを直接的に修正すること無しに、該デカップルされたデバイスの追加の前にシステムに存在しない追加の機能を提供するために、既存の常時聴取システム内に導入されることができる。
【０１０１】
図１１は、セキュアな常時聴取機能を提供するために既存の聴取デバイス１１５０に取り付けられることができるデカップルされたゲートキーピングアクセサリを示す。
【０１０２】
既存の聴取デバイス１１５０は、例えば、電話機のオペレーティングシステムに組み込まれたマイクロフォン及び支援音声検索を有する携帯電話であってもよく、又は、ＡｍａｚｏｎのＥｃｈｏ又はＧｏｏｇｌｅのホームデバイスといった、商業的に入手可能で予め設定されたデジタルアシスタントであってもよい。
【０１０３】
アクセサリ１１００は、既存のデバイス１１５０の外部ポートに差し込むように構成されており、例えば、既に説明されたマイクロフォン２００及びゲートキーピングモジュール２０１と、外部ポートに適合するように構成された入出力結合リンク１１０５とを含んでもよい。
【０１０４】
好ましい実施例では、入出力結合リンク１１０５は、デバイス１１５０の３．５ｍｍジャック（伝統的な「ヘッドフォン」ジャック）に差し込むために適切なケーブルであってもよい。他の実施例では、入出力結合リンク１１０５は、ケーブルであってもよく、該ケーブルは、別の接続プロトコル又はケーブル終端タイプを使用しており、（限定されるものではないが）ＵＳＢ（ユニバーサルシリアルバス、タイプＡ、Ｂ、Ｃ、「ミニ」又は「マイクロ」）、ＨＤＭＩ（登録商標）（高品位マルチメディアインターフェース）、ＶＧＡ、ＤＶＩ（デジタルビジュアルインターフェース）、Ｆｉｒｅｗｉｒｅ（登録商標）、又はデータバス、物理ケーブル接続タイプ、及び／若しくはデータの送受信のための関連するプロトコルの他の形式といったものである。さらに他の実施例では、入出力結合リンク１１０５は、無線送信機を含み、また無線で接続を確立してもよく、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、ＮＦＣ（近距離無線通信）、又は他の接続を介するものである。アクセサリ１１００は、アクセサリが複数の異なるタイプの既存の聴取デバイス１１５０と一緒に機能することを可能にするために、複数の入出力結合リンク１１０５を備えてもよい。同様に、アクセサリは、新しい入出力結合リンク１１０５の取り外し及び挿入が、まだ発明されていない外部ポートタイプ又は通信プロトコルを介して、新しく開発された既存の聴取デバイス１１５０と一緒に動作することを可能にし、しかし、そのためには、接続が、一端に新しい外部リンクタイプ及び他端に慣れ親しんだ外部リンクタイプのアクセサリ１１００を持つケーブル、又は無線送信機へのソフトウェア更新のいずれかによって、確立される。
【０１０５】
既存のデバイス１１５０は、１又は複数のシステムＡＰＩｓを有することができ、該システムＡＰＩｓは、電子通信が、デバイス１１５０の聴取機能を直接的に無効にする（例えば、携帯情報端末アプリケーション自体へのコマンドを発行して、実行を休止し、終了し、又は聴取を一時的に若しくは再有効化等のためにコマンドが発行されるまで停止する、等）、又はデバイス１１５０の聴取機能を間接的に無効にする（例えば、オペレーティングシステムレベルで、デバイス１１５０のマイクロフォン又は他の受信機をターンオフにする、又はアプリ許可はマイクロフォンにアクセスすることを無効にする、等）ことを可能にする。同様に、システムＡＰＩｓは、システム又はアプリケーション機能の再有効化を可能にしてもよく、又は、デバイス１１５０の聴取機能の動作のための構成データ又は他のルールが修正されることを可能にしてもよい。
【０１０６】
マイクロフォン２００によって把握され聴取を停止するユーザコマンドに応答して、ゲートキーピングモジュール２０１は、デバイス１１５０のオペレーティングシステムによって又はデバイス１１５０のソフトウェアによって受信するために、ＡＰＩコマンドが入出力結合リンク１１０５を介して送信されることを生じさせ、デバイス１１５０は、携帯情報端末機能を提供しており、ＡＰＩに従う処理が、デバイス１１５０による更なる聴取を終了する（又は不可能にする）。結果的に、セキュリティは、アクセサリ１１００によって補強され、聴取を再び有効にするＡＰＩコマンドは、デバイス１１５０自体のリスニングソフトウェアによっては送信されず、アクセサリ１１００によってのみであり、アクセサリ１１００は、リンク１１０５によってリンクされたままであり、またユーザがアクセサリ１１００と相互作用すると共にデバイス１１５０の機能の再有効化を直接的又は暗黙的に要求する場合にのみ、アクセサリ１１００は、再有効化するＡＰＩコマンドを送信する。
【０１０７】
ユーザは、デバイス１１５０を疑うことができ、秘密の点でそれ自身を再有効化にすることを拒絶する、又はデバイス１１５０にＡＰＩコールを送信するデバイス又は他のエージェントによってハッキング不可能なＡＰＩを有する。これに従って、デバイス１１５０に信頼を置かないデカップルされたデバイスの使用が、以下に説明されるように、好ましい場合がある。
【０１０８】
図１２Ａ、図１２Ｂ、及び図１２Ｃは、確実な常時聴取機能を提供するのを補助するために、デカップルされた防音キャップ又は他の方法の絶縁障壁を描く。
【０１０９】
キャップ１２００（これは、アクセサリ１１００と同様に、少なくとも、受信機２００及びゲートキーピングモジュール２０１を含む）は、キャップ１２００がデバイス１１５０の第２受信機１２５０を覆い隠す又は干渉するように、独立して常時聴取デバイス１１５０に付けられてもよい。
【０１１０】
一実施例（図１２Ａに示される）では、キャップ１２００は、第２受信機１２５０のみを覆い隠す又は阻止するために必要とされるように、デバイス１１５０の外面の最小部分を覆うようにしてもよく、デバイスの残りの部分に影響を与えることない。例えば、図示のように、携帯電話１１５０のカメラ１２５０は、携帯電話１１５０の他の機能を著しく妨げることなくキャップ１２００によって覆われてもよい。別の実施例（図１２Ｂに描かれる）では、キャップ１２００は、デバイス１１５０の実質的な部分を囲むスリーブ又はカバーであってもよく、一方で、デバイス１１５０の少なくとも一部の面は、露出されたままであってもよい。例えば、図１２Ｂに表示されるように、スリーブ１２００は、携帯電話１１５０の上部全体を覆って収まる。第３実施例（図１２Ｃに描かれる）では、キャップ１２００は、デバイス１１５０を完全に囲むコンテナであってもよい。
【０１１１】
好ましい実施例では、キャップ１２００は、デバイス１１５０の受信機１２５０が、少なくとも１形態のユーザ入力を受信することを完全に絶縁する。この絶縁は、マイクロフォンの周りに防音バリアを、或いは、カメラ又は他の光学センサを覆う不透明なバリアを、信号の伝送を防ぐために無線受信機を覆うファラデイケージ、等を生成する形式をとることができる。防音は、無制限の例示として、以下の形式を取ることができる：防音材を用いて直接に阻止する；音響キャンセル（到達する音を破壊的に干渉する波形を生成する）を介して；又は大きなノイズ、ホワイトノイズ、その他のランダム、若しくは疑似ランダムノイズを介して到達する音に干渉させることを不完全に介して。
【０１１２】
キャップ１２００の受信機２００は、ブロックされた受信機１２５０と同じタイプであることができ、例えば、マイクロフォンへの音を阻止しながら１又は複数の無方向性マイクロフォンを含む、又はカメラ若しくは光センサによって受信されることから光を阻止する一方でカメラを含む。代替的に、受信機２００は、異なるタイプであってもよく、キャップ１２００は、マイクロフォン２００及びゲートキーピングモジュール２０１を介してユーザの言葉による制御を可能にしながら、カメラを同時に阻止するために使用され、或いは、カメラ２００及びゲートキーピングモジュール２０１を介してユーザのジェスチャ制御を可能にしながら、マイクロフォンを阻止するために使用される。
【０１１３】
キャップ１２００は、受信機１２５０によって認識から阻止された入力に対応すると共にキャップ１２００内に置かれる出力システムを有することができる。これ故に、出力システムは、受信機２００によって受信された音、ビデオ、又は他のデータを、キャップ２００内の受信機１２５０に、選択的に再送するために使用されてもよい。
【０１１４】
例えば、キャップ１２００は、以下の３つの動作モードを有することができる：受信機１２５０がデータを受信しないことを可能にする（キャップによって達成されるデフォルト状態）；受信機１２５０が全てのデータを受信することを可能にする（例えば、マイクロフォン２００を用いてオーディオデータを受信し、次にキャップ内のスピーカを介して受信データを再生成することによって）；又はデバイス１１５０によって使用されるものとは別のウエイクアップ語／句／ジェスチャ／入力が先行する場合にのみ、受信機１２５０にデータを渡す。第２ウエイクアップ入力が提供される場合、データは、ある期間（例えば、次のユーザコマンドがデバイス１１５０によって実行されてしまうまで、１分が経過してしまうまで、他の所定の時間が経過してしまうまで、等）或いは、別の基準（例えば、ある特定の話題について論じている言葉による入力のみを通過させ、特定の話者による言葉による入力のみを通過させ、人が話していないときにはオーディオデータのみを通過させ、等）に基づき、ユーザがどのデータデバイス１１５０にアクセスできるかに対してより高度に制御することを可能にする。
【０１１５】
キャップ１２００は、また、デバイス１１５０の電源コードが差し込まれる電源ソケットを有してもよく、又は、電力を供給するためにデバイス１１５０に差し込むキャップ独自の内部ケーブル（例えば、ＵＳＢケーブル）を有してもよい。これに従えば、ゲートキーピングモジュール２０１は、デバイスの電源供給を停止し又は再供給するために、これら又は他の手段（限定されるものではないが、電源を切断すること、電源ボタン又はスイッチを作動させること、又はデバイスのＡＰＩに関与すること、を含む）を使用することができる。
【０１１６】
キャップ１２００のゲートキーピングモジュール２０１は、独立のＮＬＰプロセッサ又は他のプロセッサを有してもよく、該ＮＬＰプロセッサ又は他のプロセッサは、解析及び情報提供のために（例えば、家中のスマート機器を制御するために、又はリマインダを検索し及び格納するために）遠隔サーバ２０３に送信する必要なしに、ユーザ入力に支援の応答を提供する能力を有する。ゲートキーピングモジュール２０１は、また、分析のために、入力として表されたユーザ意図の充足のために、又は格納されたデータを更新するために、遠隔サーバ２０３とは異なるサーバコンピューティングデバイスに送信するように構成されてもよい。例えば、デバイス１１５０が特定のプライベートベンダーによって操作されたサーバに送信するようにプログラムされている場合、キャップ１２００は、ユーザ入力データの一部又は全てのプライバシーを保護するために、代替ベンダーによって操作されたサーバ又はユーザ自身によって操作されるサーバに入力をリダイレクトする（出力先を変更する）ために使用されてもよい。
【０１１７】
キャップ１２００は、リンク１１０５を含むアクセサリ１１００の機能の全て又は一部を備えてもよく、それにより、デバイス１１５０の受信機を阻止する又は提供するだけでなく、データを直接にデバイス１１５０に送信することもできる。これに従って、キャップ１２００は、リンク１１０５を介して受信した情報を次に回すために、又はリンク１１０５を介して広告を再生するために、デバイス１１５０のスピーカ若しくはスクリーン、又はデバイス１１５０に関連付けられたもの（例えば、遠隔スピーカ、又はデバイス１１５０がコンテンツをキャスティングしているスクリーン）を使用することができ、それにより、キャップ１２００は、それ自体のスピーカ又はスクリーンを必要としないようにできる。キャップ１２００は、また、広告又は他のコンテンツを遠隔サーバから検索して表示するために使用されてもよく、（単独で、又はデバイス１１５０を介して）、それらの広告を、デバイス１１５０によって提供された広告に加えて又はその代わりに、再生する。
【０１１８】
図１３は、ユーザの発生されたネットワークトラフィックの一部を代替の宛先に選択的に迂回しながら、セキュアで常時聴取な機能を提供するためのデカップルされたネットワークデバイスを含むシステムを示す。
【０１１９】
常時聴取デバイス１１５０は、リモートクラウドベースのサーバ２０３にのみネットワークパスを介して接続するように構成されることができ、ネットワークパスは、必然的に／排他的に、特定のアクセスポイント１３００を通過しており、該特定のアクセスポイントは、例示として、無線ルータ、テザリングを持つホットスポットを提供するモバイルコンピューティングデバイス、無線信号リピータ、セットトップボックス、デスクトップコンピュータ又は他のコンピューティングデバイス、ネットワークファイアウォール、ネットワークスイッチャ／マルチプレクサ／デマルチプレクサ、或いはケーブルモデム、電話モデム、又はサテライト若しくは他のモデムといったものである。
【０１２０】
アクセスポイント１３００は、デバイス１１５０のユーザによって受信された１又は複数のコマンド、又はユーザによって受信された入力データを解釈するための規程に基づき、以下のいずれかを行うことができる：常時聴取デバイス１１５０によって送信されたデータの一部又は全部の通路が外部ネットワーク及び遠隔デバイス２０３に到達することを妨げる；或いは、デバイス１１５０によって送信されたデータのサブセットを遠隔デバイス２０３へ、の代わりに、別個のサーバ１３５０へリダイレクトする（出力先を変更する）。
【０１２１】
例えば、ユーザは、ゲートキーピングモジュール２０１を含む携帯電話１３００によって提供されたホットスポットを介してのみインターネットに接続するようにデバイス１１５０を構成してもよい。次に、ユーザは、モバイルアプリをダウンロードしてインストールすることができ、該モバイルアプリは、ゲートキーピングモジュール２０１を使用して、デバイス１１５０の機能を無効にし又は再び有効にする音声コマンドをユーザが自分の電話に与えることを可能にし、このデバイス１１５０は、データがゲートキーピングモジュール２０１を通過すること無しに、外部ネットワークからデータを送受信できない。
【０１２２】
アクセスポイント１３００は、広告サーバ１３５０に連絡を取ることができて、コンテキスト、ユーザターゲット、又は他の広告を検索すると共にそれらをデバイス１１５０のユーザに提供する。代替的に、アクセスポイント１３００は、遠隔サーバ２０３又は別のサーバからデバイス１１５０に配信されたであろうと共にデバイス１１５０によって表示されたであろう広告を傍受すると共に、削除し又は置換してもよい。アクセスポイント１３００は、また、初期設定のベンダーの代わりに、テキスト検索といったサービスのための別のベンダーを選択するために使用されてもよい。
【０１２３】
アクセスポイント１３００は、デバイス１１５０によるユーザ入力データの伝送にわたって時間ベースの制御を実施するために使用されてもよい。例えば、アクセスポイント１３００は、毎晩の特定の時刻から毎朝の特定の時刻まで、パーティのようなソーシャルイベントの持続期間に、ユーザが特定の活動に従事している若しくは特定のコンテンツを消費している期間に、又はユーザが聴取を停止するためにコマンドを発行した後の事前定義又はユーザ定義の期間に、ユーザ入力データの伝送を防止するように使用されることができる。
【０１２４】
アクセスポイント１３００は、また、特定のユーザ入力データのフィルタ処理を実施するために使用されてもよい。例えば、アクセスポイント１３００は、意図的なユーザコマンドを含まない全てのデータ、意図的なユーザコマンドを含む全てのデータ、特定のユーザからの入力を表す全てのデータ、特定のユーザ以外の人からの入力を表す全てのデータ、特定のトピックに関する全てのデータ、特定のトピックに関係のない全てのデータ、特定のアプリケーション（カレンダーアプリ、ウェブブラウザ、テキストメッセージングアプリ、等）によって処理された全てのデータ、等をフィルタ処理するために使用されてもよい。
【０１２５】
アクセスポイント１３００の特徴は、また、キャップ１２００及び／又はアクセサリ１１００（例えば、コンピューティングデバイスのセンサを覆い隠しながら、コンピューティングデバイスからのネットワークトラフィックを選択的又は完全にリダイレクトし／置き換えるキャップ、又はコンピューティングデバイスからのネットワークトラフィックを選択的又は完全にリダイレクト／置き換えるプラグインアクセサリ）に組み込まれることができる。
【０１２６】
上述のデカップルされたデバイスの結果として、ユーザは、デバイス１１５０によって把握されたユーザ動作及びデータへアクセスする誰かにわたって、及びデバイス１１５０のメーカー又は該デバイス上で実行されているソフトウェアのプログラマを信頼する必要なしに、追加の制御を提供することができる。
【０１２７】
本発明の様々な実施例の説明は、例示の目的のために提示されており、しかし、該説明が開示の実施例を限定すること及び網羅することは、意図されていない。多くの修正及び変形は、記載された実施例の範囲及び意図から離れることなく、当業者に明らかであろう。ここで使用される用語は、実施例の原理、市場に見られる技術よりも実用的な応用、又は技術的改善を最も良く説明するために、又は当業者の他の者が本明細書に開示された実施例を理解できるようにするために選択された。
【０１２８】
本発明は、いかなる技術的詳細レベルの統合において、システム、方法、及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるための、コンピュータにより読み取り可能なプログラム命令を有するコンピュータにより読み取り可能な記憶媒体（つまり、媒体）を含み得る。
【０１２９】
コンピュータにより読み出し可能な記憶媒体は、命令実行デバイスによって使用される命令を保持すると共に記憶することができる有形デバイスであってもよい。コンピュータにより読み出し可能な記憶媒体は、限定されるものではないが、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁気記憶デバイス、半導体記憶装置、又は前述の任意の適切な組み合わせであってもよい。コンピュータにより読み出し可能な記憶媒体の、より具体的な例の非網羅的なリストは、以下のものである：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、ディジタルバーサタイルディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、記録された命令を有する溝内における盛り上がり構造、又はパンチカード、といった機械的に符号化されたデバイス装置、及び上記の任意の適切な組み合わせを含む。本明細書において使用されるような、コンピュータにより読み取り可能な記憶媒体は、正確な意味では、電波若しくは他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を介して伝搬する電磁波、又はワイヤを介して伝送される電気信号といった一時的な信号であると解釈されるべきではない。
【０１３０】
本明細書に説明されたコンピュータにより読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から、それぞれのコンピューティング／プロセッシングデバイスに、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して、ダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／プロセッシングデバイス内のネットワークアダプタカード又はネットワークインタフェースは、コンピュータにより読み出し可能なプログラム命令をネットワークから受け取って、それぞれの演算／処理装置内のコンピュータにより読み取り可能な記憶媒体に記憶するために、コンピュータ可読プログラム命令を転送する。
【０１３１】
本発明の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、又は１若しくは複数のプログラミング言語の任意の組み合わせで書かれたソースコード若しくはオブジェクトコードのいずれかであることができ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋といったオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は類似のプログラミング言語といった手続き型プログラミング言語を含む。コンピュータにより読み出し可能なプログラム命令は、全体的にはユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして部分的にはユーザのコンピュータ上で、部分的にはユーザのコンピュータ上及び部分的にはリモートコンピュータ上で、又は全体的にはリモートコンピュータ若しくはサーバ上で、実行されることができる。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又はこの接続は、例えば、インターネットサービスプロバイダを用いてインターネットを介して）外部コンピュータに為されてもよい。いくつかの実施例では、本発明の態様を実行するために、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ、又はプログラマブル論理アレイを含む電子回路は、コンピュータにより可読なプログラム命令の状態情報を利用して電子回路をパーソナライズすることによって、コンピュータにより可読なプログラム命令を実行することができる。
【０１３２】
本発明の態様は、本発明の実施例に従う、方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャートの例示及び／又はブロック図を参照して本明細書に記載される。以下のことが理解されるであろう：フローチャートの例示及び／又はブロック図の各ブロック、並びにフローチャートの例示及び／又はブロック図におけるブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令によって実施されること。
【０１３３】
コンピュータにより可読なこれらのプログラム命令は、汎用コンピュータ、特定目的のコンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行された命令が、フローチャート及び／又はブロック図のブロック又は複数のブロックにおいて指定された機能／動作を実現する手段を作成するように、マシンを生成できる。これらのコンピュータにより可読なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、該記憶媒体は、コンピュータ、プログラム可能なデータ処理装置、及び／又は他の装置を指示して特定の方法において機能させることができ、そのようにして、内部に記憶された命令を有するコンピュータ読み取り可能な記憶媒体は、フローチャート及び／又はブロック図の一若しくは複数のブロックに指定された機能／アクトの態様を実施する命令を含む製造物を含む。
【０１３４】
コンピュータにより可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードされて、コンピュータ、他のプログラマブル装置又は他の装置に一連の動作ステップを実行させて、コンピュータ、他のプログラマブルデバイス、又は他のデバイス上で動作する命令が、フローチャート及び／又はブロック図の一若しくは複数のブロックに指定された機能／アクトを実施するように、コンピュータに実装されたプロセスを生成するようにしてもよい。
【０１３５】
図中のフローチャート及びブロック図は、本発明の様々な実施例によるシステム、方法、及びコンピュータプログラム製品の可能な実施例のアーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント、又は命令の一部を表すことができ、モジュール、セグメント、又は命令の一部は、指定された論理機能を実装するための１又は複数の実行可能命令を含む。一部の代替実施では、ブロックに言及された機能は、図面に言及された順序から外れる場合がある。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行されてもよく、又は、該ブロックは、関与する機能に応じて、時には、逆の順序で実行されてもよい。また、以下の事項に留意する：ブロック図及び／又はフローチャート例示の各ブロック、及びブロック図及び／又はフローチャート例示のブロックの組み合わせは、特定の目的のハードウェアベースのシステムによって実現されることができ、該システムは、特定の機能又はアクトを実行する、又は特定の目的のハードウエア及びコンピュータ命令の組み合わせを実行する。
【符号の説明】
【０１３６】
ＡＳＲ  自動音声認識
ＮＬＰ  自然言語処理
１０、２０、３０、４０  インターフェース
１１  トグル
３１、１００  ボタン
４１  タブ
４２  ウエイクアップ句
１０１、２００、３００  マイクロフォン
１０３  コンポーネント
１０４  クラウドサーバ
１０５  スピーカ
２００、２０６、１２５０  受信機
２００、１２００  キャップ
２００、１２５０  カメラ
２０１  ゲートキーピング機能
２０１  プリプロセッサ
２０１、３０１、４０１、４０２  ゲートキーピングモジュール
２０２  一次プロセッサ
２０２  通信コンポーネント
２０２、３０２  通信モジュール
２０３  サーバ
２０３  クラウドコンピューティングサーバ
２０３  遠隔クラウドコンピューティングユニット
２０３  遠隔サーバ
２０３  遠隔デバイス
２０５、３０５  電源
２０７  ローカルサーバ
３０２  一次プロセッサ無線送受信機
３０３  遠隔サーバデバイス
３０４  スピーカ
３０６  一次プロセッサ
１１００  アクセサリ
１１０５  入出力結合リンク
１１０５  リンク
１１５０、１３００  携帯電話
１１５０  常時聴取デバイス
１２００  スリーブ
１３００  アクセスポイント
１３５０  広告サーバ
【図１】
2021503148.tif 000003
【図２】
2021503148.tif 000004
【図３】
2021503148.tif 000005
【図４】
2021503148.tif 000006
【図５】
2021503148.tif 000007
【図６】
2021503148.tif 000008
【図７】
2021503148.tif 000009
【図８】
2021503148.tif 000010
【図９】
2021503148.tif 000011
【図１０】
2021503148.tif 000012
【図１１】
2021503148.tif 000013
【図１２Ａ】
2021503148.tif 000014
【図１２Ｂ】
2021503148.tif 000015
【図１２Ｃ】
2021503148.tif 000016
【図１３】
2021503148.tif 000017
【国際調査報告】
2021503148.tif 000018
2021503148.tif 000019