(57)【特許請求の範囲】
【請求項１】
少なくとも１つのセンサからトレーニングデータを受信する受信機であって、前記トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むデータのサンプルを含む、受信機と、
入力データを受信する入力インターフェースと、
前記受信機及びメモリに結合されたハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記メモリに記憶されたプライバシーモジュール、補助モジュール、複数の関数及び前記トレーニングデータを実行することが可能であり、前記ハードウェアプロセッサは、
前記プライバシーモジュールを、前記トレーニングデータを用いて初期化することであって、前記プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによって前記トレーニングデータを変換して、変換されたデータにするように構成される、初期化することと、
目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成することであって、前記目的関数は、反復ごとに、前記変換されたデータ内の前記有用属性の歪みと、前記機密属性と前記変換されたデータとの間の相互情報量との組み合わせによって計算され、前記変換されたデータを所与とした前記機密属性の事後分布を近似するパラメトリック確率分布のパラメータが前記補助モジュールによって出力され、前記相互情報量は、パラメトリック近似を最適化して条件付き尤度を最大化することによって推定されるようになっている、生成することと、
前記ハードウェアプロセッサと通信する前記入力インターフェースを経由して前記入力データを受信することと、
前記入力データに、前記トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成することと、
を行うように構成される、ハードウェアプロセッサと、
通信チャネルを介して前記アプリケーション固有の変換されたデータを送信する送信機と、
を備える、通信システム。
【請求項２】
前記プライバシーモジュールは、前記トレーニングデータを変換して、変換されたデータにし、前記変換されたデータは、前記パラメトリック確率分布に従ってランダムにサンプリングすることによって生成される、請求項１に記載の通信システム。
【請求項３】
前記トレーニングデータは、時系列データ、発話データ、スマートホームデータ、ファクトリーオートメーションデータ、医療データを含む、請求項１に記載の通信システム。
【請求項４】
前記プライバシーモジュールは、観測されたデータにニューラルネットワークを適用することによって前記パラメトリック確率分布の前記パラメータを求め、前記ニューラルネットワークの出力がパラメータであるようになっている、請求項１に記載の通信システム。
【請求項５】
前記記憶されたプライバシーモジュールは、所定の機密属性、有用属性及び観測可能データを有する履歴トレーニングデータを用いて事前トレーニングされる、請求項１に記載の通信システム。
【請求項６】
前記変換されたデータ内の前記有用属性の歪みは、トレーニングデータと、前記観測可能データにプライバシーメカニズムを適用することによって生成された対応する変換されたデータとのバッチにわたる、ユーザにより指定された歪み関数の経験的平均によって求められる、請求項１に記載の通信システム。
【請求項７】
前記補助モジュールは、勾配降下アルゴリズムによって最適化されて、前記変換されたデータを所与とした前記機密属性の条件付き対数尤度が最大化される、請求項１に記載の通信システム。
【請求項８】
前記機密属性と前記変換されたデータとの間の前記相互情報量は、トレーニングデータのバッチにわたる、機密データの条件付き尤度の対数の経験的平均によって推定され、前記機密データの条件付き尤度の前記対数は、前記補助モジュールからのものであるようになっている、請求項７に記載の通信システム。
【請求項９】
前記プライバシーモジュール及び前記補助モジュールは、ニューラルネットワークを含むパラメトリック関数として実現され、前記目的関数の勾配が前記プライバシーモジュール及び前記補助モジュールの前記パラメータに対して計算されるようになっているとともに、前記プライバシーモジュール及び前記補助モジュールが勾配降下アルゴリズムを介して最適化されるようになっている、請求項１に記載の通信システム。
【請求項１０】
前記プライバシーモジュールは、ランダムシード雑音である追加の入力を更に含み、前記プライバシーモジュールが観測されたデータのランダム化関数として変換されたデータを生成するようになっている、請求項１に記載の通信システム。
【請求項１１】
前記反復は、前記トレーニングされたプライバシーモジュールを得るために、終了条件が満たされるまで継続する、請求項１に記載の通信システム。
【請求項１２】
前記目的関数は、
【数１】
0006921314.tif 000004
を含み、ここで、ｍは、トレーニングサンプルの数であり、ｉは、前記トレーニングサンプルにインデックスを付けるものであり、ｘｉは、機密属性のサンプルであり、ｙｉは、有用属性のサンプルであり、ｚｉは、変換されたデータのサンプルであり、Ｑ（ｘｉ｜ｚｉ）は、前記変換されたデータのサンプルｚｉを所与とした機密属性のサンプルｘｉの条件付き尤度であり、λは、プライバシー／ユーティリティトレードオフを制御するバランスパラメータであり、ｄ（ｙｉ，ｚｉ）は、前記変換されたデータのサンプルｚｉ内の前記有用属性のサンプルｙｉの歪みである、請求項１に記載の通信システム。
【請求項１３】
プライバシー／ユーティリティトレードオフを制御するバランスパラメータλの値を受理する入力インターフェース、
を更に備える、請求項１２に記載の通信システム。
【請求項１４】
前記目的関数は、
【数２】
0006921314.tif 000005
を含み、ここで、ｍは、トレーニングサンプルの数であり、ｉは、前記トレーニングサンプルにインデックスを付けるものであり、ｘｉは、機密属性のサンプルであり、ｙｉは、有用属性のサンプルであり、ｚｉは、変換されたデータのサンプルであり、Ｑ（ｘｉ｜ｚｉ）は、前記変換されたデータのサンプルｚｉを所与とした機密属性のサンプルｘｉの条件付き尤度であり、δは、歪み閾値であり、λは、歪み閾値を超えることに対するペナルティ付与を制御するペナルティパラメータであり、ｄ（ｙｉ，ｚｉ）は、前記変換されたデータのサンプルｚｉ内の前記有用属性のサンプルｙｉの歪みである、請求項１に記載の通信システム。
【請求項１５】
歪み閾値δを受理する入力インターフェースを更に備え、プライバシーメカニズムが、前記変換されたデータ内の前記有用属性の歪みを、前記歪み閾値以下に制限するように最適化されるようになっている、請求項１４に記載の通信システム。
【請求項１６】
少なくとも１つのセンサからトレーニングデータを受信する受信機であって、前記トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むデータのサンプルを含む、受信機と、
入力データを受信する入力インターフェースと、
前記受信機及びメモリに結合されたハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記メモリに記憶されたプライバシーモジュール、補助モジュール、複数の関数及び前記トレーニングデータを実行することが可能であり、オフライン状態において、前記ハードウェアプロセッサは、
前記プライバシーモジュールを、前記トレーニングデータを用いて初期化することであって、前記プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによって前記トレーニングデータを変換して、変換されたデータにするように構成され、前記変換されたデータは、前記パラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっている、初期化することと、
目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成することであって、前記目的関数は、反復ごとに、前記変換されたデータ内の前記有用属性の歪みと、前記機密属性と前記変換されたデータとの間の相互情報量との組み合わせによって計算され、前記変換されたデータを所与とした前記機密属性の事後分布を近似するパラメトリック確率分布のパラメータが前記補助モジュールによって出力され、前記相互情報量は、パラメトリック近似を最適化して条件付き尤度を最大化することによって推定されるようになっており、前記反復は、前記トレーニングされたプライバシーモジュールを得るために、終了条件が満たされるまで継続するようになっている、生成することと、
オンライン状態において前記ハードウェアプロセッサと通信する前記入力インターフェースを経由して前記入力データを受信することと、
前記入力データに、前記トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成することと、
を行うように構成される、ハードウェアプロセッサと、
通信チャネルを介して前記アプリケーション固有の変換されたデータを送信する送信機と、
を備える、通信システム。
【請求項１７】
前記機密属性及び前記有用属性は、未知の同時確率分布に従って関係付けられる、請求項１６に記載のシステム。
【請求項１８】
観測されたデータは、前記機密属性の値及び前記有用属性の値を所与とした未知の条件付き分布によって管理される、請求項１６に記載のシステム。
【請求項１９】
前記プライバシーモジュール及び前記補助モジュールは、勾配降下アルゴリズムの反復最適化を介して交互に更新される、請求項１６に記載のシステム。
【請求項２０】
変換されたデータの解析上の有用性が保たれながら、前記変換されたデータのプライバシーが保護されるように、プライバシーモジュールを適用してデータを変換する方法であって、
少なくとも１つのセンサから受信機を経由してトレーニングデータを受信することであって、前記トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むトレーニングデータサンプルを含む、受信することと、
プライバシーモジュール、補助モジュール、複数の関数及び前記トレーニングデータをメモリに記憶することであって、前記プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによって前記トレーニングデータを変換して、変換されたデータにするように構成され、前記変換されたデータは、前記パラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっており、前記メモリは、前記受信機と通信する、記憶することと、
前記受信機及び前記メモリに結合されたハードウェアプロセッサを使用することであって、前記ハードウェアプロセッサは、前記記憶されたプライバシーモジュール及び前記記憶された複数の関数を実行することが可能であるとともに、前記ハードウェアプロセッサは、
前記記憶されたプライバシーモジュールを、前記トレーニングデータを用いて初期化することであって、前記プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによって前記トレーニングデータを変換して、変換されたデータにするように構成され、前記変換されたデータは、前記パラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっている、初期化することと、
目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成することであって、前記目的関数は、反復ごとに、前記変換されたデータ内の前記有用属性の歪みと、前記機密属性と前記変換されたデータとの間の相互情報量との組み合わせによって計算され、前記変換されたデータを所与とした前記機密属性の事後分布を近似するパラメトリック確率分布のパラメータが前記補助モジュールによって出力され、前記相互情報量は、パラメトリック近似を最適化して条件付き尤度を最大化することによって推定されるようになっており、前記反復は、前記トレーニングされたプライバシーモジュールを得るために、終了条件が満たされるまで継続するようになっている、生成することと、
オンライン状態において前記ハードウェアプロセッサと通信する入力インターフェースを経由して入力データを受信することと、
前記入力データに、前記トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成することと、
を行うように構成される、使用することと、
送信機を経由して、通信チャネルを介して前記アプリケーション固有の変換されたデータを送信することと、
を含む、方法。
【請求項２１】
前記プライバシーモジュール及び前記補助モジュールの前記最適化は、
前記トレーニングデータから、前記機密属性のサンプル、前記有用属性のサンプル、及び前記観測可能データのサンプルの対応するタプルを含むトレーニングデータサンプルを取得するトレーニングステップと、
前記観測可能データの前記サンプルを、前記プライバシーモジュールを用いて処理して、前記変換されたデータのサンプルを生成するトレーニングステップと、
前記変換されたデータのサンプルを、前記補助モジュールを用いて処理して、前記変換されたデータの前記サンプルを所与とした前記機密属性の前記サンプルの条件付き尤度を生成するトレーニングステップと、
前記機密属性のサンプル、前記有用属性のサンプル、前記変換されたデータのサンプル、及び前記変換されたデータの前記サンプルを所与とした前記機密属性の前記サンプルの前記尤度の値を用いて前記目的関数を計算するトレーニングステップと、
前記プライバシーモジュールを更新して、前記目的関数を減少させるトレーニングステップと、
前記補助モジュールを更新して、前記変換されたデータの前記サンプルを所与とした前記機密属性の前記サンプルの前記尤度を増加させるトレーニングステップと、
終了条件が満たされるまで、前記トレーニングステップを繰り返すトレーニングステップと、
を用いて実行される、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、集約データストリームからユーザ機密情報の部分を除去する方法及びシステムに関し、より詳細には、集約されたデータの解析上の有用性を保ちながら、第三者に送信する前のユーザにより集約されたデータのプライバシーを保護することに関する。
【背景技術】
【０００２】
多数の消費者にとって、ユーザデータの収集は、プライバシーに関する懸念を引き起こさせるものである。なぜならば、このようなデータは、ユーザが機密であると考え、プライベートにしておくことを望む場合がある情報に特に関連付けられるためである。消費者にとっての問題は、消費者サービスプロバイダが、個人的行動様式及びライフスタイル（例えば、家電の使用、食事及び睡眠のパターン、居住パターン（occupancy patterns：占有パターン）、家事活動（household activity）パターン）、健康ステータス、世帯構成、移動パターン等を含む、消費者のプライベート情報へのアクセスを有することである。消費者サービスプロバイダによるデータの収集は、ユーザの同意を伴うことなく、又は場合によっては、ユーザがオプトアウトする（opt-out）ことを可能にすることなく、行われる可能性がある。ユーザのデータを収集する消費者サービスプロバイダは、このデータの存在をユーザが知ることなく、及び／又は、ユーザが、ユーザが個人のプライバシーに関して収集されたデータの範囲を知ることなく、第三者が利用できるようにする可能性がある。典型的には、消費者は、データを収集する消費者サービスプロバイダは信頼するが、消費者サービスプロバイダが消費者について収集したデータを共有する可能性がある第三者を信頼しない。
【０００３】
具体的には、消費者／ユーザのプライバシーデータを保護するというこの問題は、サービスプロバイダ及び第三者による、消費者の個人データへのアクセスを制御することになる。これは特に、消費者にとってプライベートであるとみなされる個人情報をリリースすることを制御することになる。
【０００４】
消費者の個人データを保護するいくつかの従来の解決策の１つは、消費者のデータを第三者にリリースすることに先行して、消費者のプライバシーデータを変更することである。このような方法は、通常、データ匿名化方法（data anonymization methods）と称され、消費者のプライバシーデータを解析する上での有用性を保ちながら、消費者のデータを保護することを目標としている。
【０００５】
いくつかの方法は、上述の検知問題に対処するために、モデルベース手法を用いる。プライバシー保存データのリリース問題は、保存されている機密データ、リリースされている有用データ、並びに機密データ及び有用データを示す観測データに関するモデルを用いて数学的にモデル化される。しかし、これらのモデルは、設計するのが困難であるとともに、種々の手法が、その解決策の用途を限定することになる簡略化を用いている。例えば、特許文献１において開示されている方法は、観測値Ｗが単に有用データＹである特殊な事例に対してのみ適用されている。さらに、この方法は、データ／観測値モデルが既知であることが必要であり、高次元及び／又は連続アルファベットの場合に計算できるようにはなっていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２０１５／０２３５０５１号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、基礎となるデータのモデルの使用を最小化又は回避することができるデータ匿名化方法が必要とされている。
【課題を解決するための手段】
【０００８】
本開示の実施形態によれば、集約データストリームからユーザ機密情報の部分を除去し、集約されたデータの解析上の有用性を保ちながら、第三者に送信する前のユーザにより集約されたデータのプライバシーを保護するシステム及び方法が提供される。
【０００９】
プライバシー保存データのリリース問題は、（ユーティリティ、すなわち、解析上の有用性を保つために）有用データの歪みを最小化すること、及び（プライバシーを保存するために）機密情報の漏洩を最小化することという２つの競合する目的の間のトレードオフ問題として考えることができる。いくつかの実施形態の態様は、プライバシーとユーティリティとの間の理論的最適トレードオフを得るために、プライバシー／ユーティリティのトレードオフ問題を解決するシステム及び方法を開示するものとすることができる。
【００１０】
いくつかの実施形態は、プライバシー／ユーティリティトレードオフ問題を、例えば第三者にリリースされているデータにおけるプライバシー／ユーティリティのトレードオフを示す目的関数の最小化として定式化することができるという認識に基づいている。いくつかの実施形態では、データについての観測値、例えば測定値は、データのプライバシー及びユーティリティの双方を保存するように変換される。そのために、リリースされたデータを、本明細書においては、変換されたデータ又はリリースされたデータと称する。
【００１１】
例えば、目的関数は、有用データの歪みと変換されたデータ内の機密データの存在との組み合わせを含むことができる。例えば、有用データの歪みは、有用データ及び変換されたデータの期待歪み関数によって測定することができる。期待歪み関数は、異なるアプリケーションの場合に変動する可能性がある。例えば、機密データの存在は、変換されたデータ及び機密データの相互情報量として測定することができる。
【００１２】
いくつかの実施形態は、プライバシー目的とユーティリティ目的との間の理論的最適トレードオフを達成するためには、ランダム化されたリリースデータが本質的に必要であるという認識に基づいている。それゆえ、変換されたデータを生成するシステムは、理論的最適トレードオフを達成するためにランダム化されるべきである。従来の決定論的なシステム、及び限定的にのみランダム化を利用する他の従来のシステムは、全般的に、理論的最適トレードオフの全てを達成することが不可能である。
【００１３】
いくつかの実施形態は、データ及び観測値モデルが未知である場合、利用可能なトレーニングサンプルから機密データ、有用データ及び観測されたデータの確率分布を推定し、その後、それらの確率分布に対して目的関数を最適化することが可能であるという理解に基づいている。一方で、連続及び／又は高次元アルファベットにわたる確率分布の正確な推定は、困難である可能性がある。既知の（又は相応に正確である）データ及び観測モデルを用いてさえも、この最適化手法は、連続及び／又は高次元アルファベットにわたる複雑な分布の場合、非実用的となる可能性がある。
【００１４】
そのために、いくつかの実施形態は、データ／観測値モデルが未知である状況の場合のプライバシー／ユーティリティのトレードオフ問題に対処する。例えば、いくつかの実施形態は、パラメトリック関数、例えばニューラルネットワークをトレーニングして、到来する入力データを変換し、変換されたデータ内のプライバシーとユーティリティとの間の理論的最適トレードオフを得る。
【００１５】
いくつかの実施形態は、データモデルの知識が利用可能でない場合の最適化目的関数を使用するにあたって、相互情報量は、推定するのが困難であるという理解に基づいている。一方で、いくつかの実施形態は、相互情報量を推定することは、主ニューラルネットワークと同時にトレーニングされるが、異なる、すなわち、競合的な目的関数を有する追加のニューラルネットワークを用いて達成することができるという認識に基づいている。例えば、主ニューラルネットワークが目的関数を最小化するようにトレーニングされる一方で、その追加のネットワークは、目的関数を最大化するようにトレーニングされる。このような追加のネットワークは、主ニューラルネットワークとの比較におけるその敵対的な目標のため、本明細書においては、敵対的ニューラルネットワーク（adversarial neural network）と称する。
【００１６】
いくつかの実施形態は、プライバシー／ユーティリティのトレードオフ問題に対処するために入力データを変換するパラメトリック関数は、機密データ及び変換されたデータの相互情報量のためのコンポーネントと、変換されたデータ内の有用情報の歪みのためのコンポーネントとを含む目的関数を最小化するようにトレーニングすることができる一方で、別の敵対的パラメトリック関数は、機密データ及び変換されたデータの相互情報量を推定する目的関数の少なくとも１つのコンポーネントを最大化するようにトレーニングすることができるという理解に基づいている。これらのパラメトリック関数の同時のトレーニング、評価及び更新は、目的関数のコンポーネントの所望のバランシングを提供することができる。
【００１７】
いくつかの実施形態は、変換されたデータ内のプライバシーとユーティリティとの間の理論的最適トレードオフを達成するために、パラメトリック関数の最適化は、敵対的トレーニングを用いて実行される必要があり、これは、変分ベイズ法として解釈することができるという理解に基づいている。例えば、１つの実施形態は、少なくとも以下の改変を追加する。第１に、主パラメトリック関数は、分布のパラメトリックファミリーによって規定されたランダム化された変数（randomized variable）を生成するようにトレーニングされる。このようにして、パラメトリック関数は、入力データを変換して、入力データの値を条件とした確率分布に従って選択される変換されたデータにするように構成される。第２に、敵対的パラメトリック関数によって最大化されることになる目的関数のコンポーネントは、相互情報量コンポーネントとなるように選択され、敵対的パラメトリック関数は、変換されたデータが予め与えられた機密データの条件付き尤度（conditional likelihood）を最大化するようにトレーニングされる。
【００１８】
ランダム化パラメトリック関数を実現する以下の２つの代替的な実施形態がある。
１．パラメトリック分布：パラメトリック関数の出力は、分布の選ばれたパラメトリックファミリー内の条件付き分布ＰＺ｜Ｗを指定するパラメータのセットである。この実施形態では、条件付き分布ＰＺ｜Ｗは、観測値Ｗの関数として直接利用可能であり、この場合、この観測値からランダムにサンプリングされ、リリースされたデータＺが生成される。パラメトリック関数を指定するパラメータは、Ｗの関数として、条件付き分布ＰＺ｜Ｗを指定するパラメータを生成するパラメトリック関数を制御するパラメータであることに留意されたい。
２．シード雑音ランダム化：観測値Ｗの関数として出力をランダム化するパラメトリック関数への追加の入力として、ランダムシード雑音が用いられる。この実施形態では、パラメトリック関数の出力は、ランダム化されたリリースされたデータＺである。条件付き分布ＰＺ｜Ｗは、直接利用可能ではなく、その代わりに、パラメトリック関数のこの実施形態におけるランダム化挙動として実現される。
【００１９】
いくつかの実施形態は、解析評価の潜在的な追跡不可能性及びモデル知識の必要性を回避しながら、最適化問題における相互情報量項Ｉ（Ｘ；Ｚ）が効率的に近似されることができるという理解に基づいている。相互情報量がＩ（Ｘ；Ｚ）＝Ｈ（Ｘ）−Ｈ（Ｘ｜Ｚ）であるとともにＨ（Ｘ）がメカニズムに対して一定であるので、Ｉ（Ｘ；Ｚ）は、最適化目的関数において負の条件付きエントロピー−Ｈ（Ｘ｜Ｚ）に置き換えることができる。さらに、−Ｈ（Ｘ｜Ｚ）＝ｍａｘＱＥ［ｌｏｇＱ（Ｘ｜Ｚ）］である。ここで、最大化は、原理的に、Ｚを所与としたＸについて全ての条件付き分布Ｑにわたるものである。理論的には、最大値は、メカニズム（分布ＰＺ｜Ｗ）並びにデータ及び観測モデル（分布ＰＸ，Ｙ及びＰＷ｜Ｘ，Ｙ）に対する真の事後分布ＰＸ｜Ｚに等しいＱによって得られる。実際には、真の事後分布ＰＸ｜Ｚを求めること又は全ての条件付き分布Ｑにわたって最適化することは追跡不可能である場合があるので、最大化は、分布のパラメトリックファミリーにわたって近似される場合があり、この結果、最適化により−Ｈ（Ｘ｜Ｚ）に対する下限が与えられる。敵対的ネットワークは、入力としてリリースされたデータＺを取り込み、リリースされたデータＺを所与とした機密データＸについての条件付き分布を生成することによって、条件付き分布Ｑのこのパラメトリック近似を提供する。敵対的ネットワークの最適化は、リリースされたデータサンプルを所与とした機密データサンプルの条件付き尤度を最大化するようにこのパラメトリック近似を最適化することを伴う。
【００２０】
いくつかの実施形態は、機密データとリリースされたデータとの間の相互情報量（プライバシー）、及び、有用データとリリースされたデータとの間の期待歪み（ユーティリティ）を考慮する最適化を用いて、観測されたデータから変換されたデータへのマッピングを展開することによって、データのユーティリティを維持しながらプライバシーを保存する。具体的には、トレーニングデータは、３つのコンポーネント、すなわち、観測されたデータ、有用データ及び機密データを含むことができる。これらの実施形態は、特定の特性を有する特定のマッピング関数を可能にし、この結果、驚くべきことに、システムを用いるユーザに独自のプライバシー態様がもたらされる。
【００２１】
本開示の一実施形態によれば、少なくとも１つのセンサからトレーニングデータを受信する受信機を備える通信システムを開示する。トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むデータのサンプルを含む。通信システムは、入力データを受信する入力インターフェースを備える。通信システムは、受信機及びメモリに結合され、メモリに記憶されたプライバシーモジュール、補助モジュール、複数の関数及びトレーニングデータを実行することが可能である、ハードウェアプロセッサを備える。ハードウェアプロセッサは、プライバシーモジュールを、トレーニングデータを用いて初期化するように構成される。プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによってトレーニングデータを変換して、変換されたデータにするように構成される。ハードウェアプロセッサは、目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成するように構成される。目的関数は、反復ごとに、変換されたデータ内の有用属性の歪みと、機密属性と変換されたデータとの間の相互情報量との組み合わせによって計算される。相互情報量は、変換されたデータを所与とした機密属性の条件付き尤度を最大化する補助モジュールによって推定されるようになっている。ハードウェアプロセッサは、ハードウェアプロセッサと通信する入力インターフェースを経由して入力データを受信するように構成される。ハードウェアプロセッサは、入力データに、トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成するように構成される。通信システムは、通信チャネルを介してアプリケーション固有の変換されたデータを送信する送信機を備える。
【００２２】
本開示の別の実施形態によれば、少なくとも１つのセンサからトレーニングデータを受信する受信機を備える通信システムを開示する。トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むデータのサンプルを含む。通信システムは、入力データを受信する入力インターフェースを備える。受信機及びメモリに結合されたハードウェアプロセッサは、オフライン状態において、メモリに記憶されたプライバシーモジュール、補助モジュール、複数の関数及びトレーニングデータを実行することが可能である。ハードウェアプロセッサは、プライバシーモジュールを、トレーニングデータを用いて初期化するように構成される。プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによってトレーニングデータを変換して、変換されたデータにするように構成される。変換されたデータは、パラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっている。ハードウェアプロセッサは、目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成するように構成される。目的関数は、反復ごとに、変換されたデータ内の有用属性の歪みと、機密属性と変換されたデータとの間の相互情報量との組み合わせによって計算される。相互情報量は、変換されたデータを所与とした機密属性の条件付き尤度を最大化する補助モジュールによって推定されるようになっている。反復は、トレーニングされたプライバシーモジュールを得るために、終了条件が満たされるまで継続する。ハードウェアプロセッサは、オンライン状態においてハードウェアプロセッサと通信する入力インターフェースを経由して入力データを受信するように構成される。ハードウェアプロセッサは、入力データに、トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成するように構成される。通信システムは、通信チャネルを介してアプリケーション固有の変換されたデータを送信する送信機を備える。
【００２３】
本開示の別の実施形態によれば、変換されたデータの解析上の有用性が保たれながら、変換されたデータのプライバシーが保護されるように、プライバシーモジュールを適用してデータを変換する方法を開示する。この方法は、少なくとも１つのセンサから受信機を経由してトレーニングデータを受信することを含む。トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むトレーニングデータサンプルを含む。この方法は、プライバシーモジュール、補助モジュール、複数の関数及びトレーニングデータをメモリに記憶することを含む。プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによってトレーニングデータを変換して、変換されたデータにするように構成される。変換されたデータは、パラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっている。メモリは、受信機と通信する。この方法は、受信機及びメモリに結合され、記憶されたプライバシーモジュール及び記憶された複数の関数を実行することが可能であるハードウェアプロセッサを使用することを含む。ハードウェアプロセッサは、記憶されたプライバシーモジュールを、トレーニングデータを用いて初期化するように構成される。プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによってトレーニングデータを変換して、変換されたデータにするように構成される。変換されたデータは、パラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっている。前記ハードウェアプロセッサは、目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成することを行うように構成される。目的関数は、反復ごとに、変換されたデータ内の有用属性の歪みと、機密属性と変換されたデータとの間の相互情報量との組み合わせによって計算される。相互情報量は、変換されたデータを所与とした機密属性の条件付き尤度を最大化する補助モジュールによって推定されるようになっている。反復は、トレーニングされたプライバシーモジュールを得るために、終了条件が満たされるまで継続するようになっている。ハードウェアプロセッサは、オンライン状態においてハードウェアプロセッサと通信する入力インターフェースを経由して入力データを受信することを行うように構成される。ハードウェアプロセッサは、入力データに、トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成することを行うように構成される。この方法は、送信機を経由して、通信チャネルを介してアプリケーション固有の変換されたデータを送信することを含む。
【００２４】
更なる特徴及び利点は、以下の詳細な説明を添付図面とともに取り入れると、この詳細な説明からより容易に明らかになる。
【００２５】
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【００２６】
【図１Ａ】本開示の実施形態による、変換されたデータの解析上の有用性が保たれながら、変換されたデータのプライバシーが保護されるように、プライバシーモジュールを適用してデータを変換する方法のブロック図である。
【図１Ｂ】本開示のいくつかの実施形態による、通信システムのために用いられるいくつかのコンポーネントを更に備える、図１Ａの通信システムを示すブロック図である。
【図１Ｃ】本開示のいくつかの実施形態による、オフラインステージステップ１３０を示すとともに、オンラインステージステップ１３５も示す、図１Ａの通信システムを示すブロック図である。
【図１Ｄ】本開示のいくつかの実施形態による、図１Ｃのオフラインステージを示すブロック図である。
【図１Ｅ】本開示のいくつかの実施形態による、図１Ｃのオンラインステージを示すブロック図である。
【図２Ａ】本開示のいくつかの実施形態による、プライバシーモジュールを最適化する手順を示すブロック図である。
【図２Ｂ】本開示のいくつかの実施形態による、プライバシーモジュールを最適化する手順における更なる詳細を示すブロック図である。
【図３Ａ】本開示のいくつかの実施形態による、トレーニングサンプルのセットにプライバシーモジュール及び補助モジュールを適用し、最適化目的関数を計算する手順を示すブロック図である。
【図３Ｂ】本開示のいくつかの実施形態による、目的関数の計算の一部として、補助モジュールを適用して機密データ尤度を生成する詳細な手順を示すブロック図である。
【図４】本開示のいくつかの実施形態による、ガウス分布から導き出された多変量の連続データを伴う一例において、説明されるシステムが理論的最適性能への近似を達成することを示す例示の結果を示すグラフである。
【図５】本開示の実施形態による、図１Ａの方法を実施することができる、代替のコンピュータ又はプロセッサを用いた構成を示すブロック図である。
【発明を実施するための形態】
【００２７】
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。
【００２８】
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
【００２９】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【００３０】
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。
【００３１】
概説
本開示の実施形態は、集約データストリームからユーザ機密情報の部分を除去し、集約されたデータの解析上の有用性を保ちながら、第三者に送信する前のユーザにより集約されたデータのプライバシー保護に関するシステム及び方法を提供する。
【００３２】
プライバシー保存データのリリース問題は、（ユーティリティ、すなわち、解析上の有用性を保つために）有用属性の歪みを最小化すること、及び（プライバシーを保存するために）機密属性の漏洩を最小化することという２つの競合する目的の間のトレードオフ問題として考えることができる。機密属性の漏洩は、リリースされたデータ、すなわち、変換されたデータ内の機密属性の相互情報量によって測定される。
【００３３】
本開示の少なくとも１つの認識は、最適又は準最適なプライバシー／ユーティリティトレードオフを実行するデータリリースメカニズムを生成するために、例えば第三者にリリースされているデータにおけるプライバシー／ユーティリティトレードオフを示す目的関数の最小化が必要とされている、というものである。データについての観測値、例えば測定値は、データのプライバシー及びユーティリティの双方を保存するように変換される。そのために、リリースされたデータ、すなわち変換されたデータを、本明細書においては、変換されたデータ又はリリースされたデータと称する。例えば、目的関数は、有用データの歪みとリリースされたデータ内の機密データの存在との組み合わせを含むことができる。有用データの歪みは、有用データ及びリリースされたデータの期待歪み関数によって測定することができる。期待歪み関数は、異なるアプリケーションの場合に変動する可能性がある。例えば、離散的な、カテゴリー別の（categorical）データの場合、誤差確率を、いくつかのアプリケーションについての適切な歪み尺度とすることができる。別の例として、連続データを伴ういくつかのアプリケーションの場合、期待平均二乗誤差を適切な歪み尺度とすることができる。更に別の例として、多変量データを伴ういくつかのアプリケーションの場合、機密データの存在は、変換されたデータ及び機密データの相互情報量として逆向きに測定することができる。
【００３４】
いくつかの実施形態は、プライバシー目的とユーティリティ目的との間の理論的最適トレードオフを達成することには、ランダム化されたリリースデータが本質的に必要とされるという認識に基づいている。それゆえ、変換されたデータを生成するシステムは、理論的最適トレードオフを達成するためにランダム化されるべきである。従来の決定論的なシステム、及び限定的にのみランダム化を利用する他の従来のシステムは、全般的に、理論的最適トレードオフの全てを達成することが不可能である。
【００３５】
いくつかの実施形態は、データ／観測値モデルが未知である状況の場合のプライバシー／ユーティリティトレードオフ問題に対処する。例えば、いくつかの実施形態は、パラメトリック関数、例えばニューラルネットワークをトレーニングして、到来する入力データを変換し、変換されたデータ内のプライバシーとユーティリティとの間の理論的最適トレードオフを得る。
【００３６】
いくつかの実施形態は、相互情報量は、モデル分布に依存する統計的尺度であるため、データモデルの知識が利用可能でない場合の最適化目的関数における使用について、推定するのが困難であるという理解に基づいている。一方で、いくつかの実施形態は、相互情報量を推定することは、主ニューラルネットワークと同時にトレーニングされるが、異なる、すなわち、競合的な目的関数を有する追加のニューラルネットワークを用いて達成することができるという認識に基づいている。例えば、主ニューラルネットワークが目的関数を最小化するようにトレーニングされる一方で、その追加のネットワークは、目的関数を最大化するようにトレーニングされる。このような追加のネットワークは、主ニューラルネットワークとの比較におけるその敵対的な目標に起因して、本明細書において、敵対的ニューラルネットワークと称される。この「敵対的ニューラルネットワーク」は、本明細書の他の部分で言及される補助関数と同じである。本発明者らは、この敵対的ニューラルネットワークを、通常では推定するのが困難である（以下を参照されたい）、相互情報量の近似を可能にするために用いる（以下を参照されたい）。先行技術も、プライバシーフレームワークにおいて敵対的ニューラルネットワークを用いているものの、いずれの先行技術も、離散的、連続的、及び／又は多変量である場合がある一般的な機密データ変数のための相互情報量の近似に対処していない（すなわち、先行技術は、バイナリ又は離散機密データのみに限定されており、ほとんどの手法は、相互情報量プライバシーの対処を試みようとさえしていなかった）。
【００３７】
上記は、非限定的な例によって、従来の手法を克服する、本開示に関連するいくつかの特徴を開示し、本開示のいくつかの態様は、（１）データ／観測値モデルが既知であるか又は仮定されることを必要とすることなく、（２）相互情報量を測定することによってプライバシーに対処し、（３）最適なプライバシー／ユーティリティトレードオフに取り組むことができるランダム化メカニズムを最適化し、（４）本開示は、離散的、連続的、及び／又は多変量であり得る一般的な機密データ変数をハンドリングすることが可能である（すなわち、詳細には、バイナリ又は離散機密データのみに限定されず、これは、従来の手法と対照的である）、という態様を含む。
【００３８】
いくつかの実施形態は、プライバシー／ユーティリティのトレードオフ問題に対処するために入力データを変換するパラメトリック関数は、機密データ及び変換されたデータの相互情報量のためのコンポーネントと、変換されたデータ内の有用情報の歪みのためのコンポーネントとを含む目的関数を最小化するようにトレーニングすることができる一方で、別の敵対的パラメトリック関数は、目的関数の少なくとも１つのコンポーネントを最大化するようにトレーニングすることができるという理解に基づいている。これらのパラメトリック関数の同時のトレーニング、評価及び更新は、目的関数のコンポーネントの所望のバランシングを提供することができる。
【００３９】
いくつかの実施形態は、変換されたデータ内のプライバシーとユーティリティとの間の理論的最適トレードオフを達成するために、パラメトリック関数の最適化は、敵対的トレーニングを用いて実行される必要があり、これは、変分ベイズ法として解釈することができるという理解に基づいている。例えば、１つの実施形態は、少なくとも以下の改変を追加する。第１に、主パラメトリック関数は、分布のパラメトリックファミリーによって規定されたランダム化された変数を生成するようにトレーニングされる。このようにして、パラメトリック関数は、入力データを変換して、入力データの値を条件とした確率分布に従って選択される変換されたデータにするように構成される。第２に、敵対的パラメトリック関数によって最大化されることになる目的関数のコンポーネントは、相互情報量コンポーネントとなるように選択され、敵対的パラメトリック関数は、変換されたデータを所与とした機密データの条件付き尤度を最大化するようにトレーニングされる。
【００４０】
ランダム化パラメトリック関数、すなわちプライバシーモジュールを実現する以下の少なくとも２つの代替的な実施形態がある。
１．パラメトリック分布：パラメトリック関数の出力は、分布の選ばれたパラメトリックファミリー内の条件付き分布ＰＺ｜Ｗを指定するパラメータのセットである。この実施形態では、条件付き分布ＰＺ｜Ｗは、観測値Ｗの関数として直接利用可能であり、この場合、この観測値からランダムにサンプリングされ、リリースされたデータＺが生成される。パラメトリック関数を指定するパラメータは、Ｗの関数として、条件付き分布ＰＺ｜Ｗを指定するパラメータを生成するパラメトリック関数を制御するパラメータであることに留意されたい。
２．シード雑音ランダム化：観測値Ｗの関数として出力をランダム化するパラメトリック関数への追加の入力として、ランダムシード雑音が用いられる。この実施形態では、パラメトリック関数の出力は、ランダム化されたリリースされたデータＺである。条件付き分布ＰＺ｜Ｗは、直接利用可能ではなく、その代わりに、パラメトリック関数、すなわちプライバシーモジュールのこの実施形態におけるランダム化挙動として実現される。
【００４１】
いくつかの実施形態は、解析評価の潜在的な追跡不可能性及びモデル知識の必要性を回避しながら、最適化問題における相互情報量項Ｉ（Ｘ；Ｚ）が効率的に近似されることをできるという理解に基づいている。相互情報量がＩ（Ｘ；Ｚ）＝Ｈ（Ｘ）−Ｈ（Ｘ｜Ｚ）であるとともにＨ（Ｘ）がメカニズムに対して一定であるので、Ｉ（Ｘ；Ｚ）は、最適化目的関数において負の条件付きエントロピー−Ｈ（Ｘ｜Ｚ）に置き換えることができる。さらに、−Ｈ（Ｘ｜Ｚ）＝ｍａｘＱＥ［ｌｏｇＱ（Ｘ｜Ｚ）］であり、ここで、最大化は、原理的に、Ｚを所与としたＸについて全ての条件付き分布Ｑにわたるものである。理論的には、最大値は、メカニズム（分布ＰＺ｜Ｗ）並びにデータ及び観測モデル（分布ＰＸ，Ｙ及びＰＷ｜Ｘ，Ｙ）に対する真の事後分布ＰＸ｜Ｚに等しいＱによって得られる。実際には、真の事後分布ＰＸ｜Ｚを求めること又は全ての条件付き分布Ｑにわたって最適化することは追跡不可能である場合があるので、最大化は、分布のパラメトリックファミリーにわたって近似される場合があり、この結果、最適化により−Ｈ（Ｘ｜Ｚ）に対する下限が与えられる。敵対的ネットワークは、入力としてリリースされたデータＺを取り込み、リリースされたデータＺを所与とした機密データＸについての条件付き分布を生成することによって、条件付き分布Ｑのこのパラメトリック近似を提供する。敵対的ネットワークの最適化は、リリースされたデータサンプルを所与とした機密データサンプルの条件付き尤度を最大化するようにこのパラメトリック近似を最適化することを伴う。
【００４２】
本開示の一実施形態は、少なくとも１つのセンサからトレーニングデータを受信する受信機を備える通信システムを含む。トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むデータのサンプルを含む。通信システムは、入力データを受信する入力インターフェースを備える。通信システムは、受信機及びメモリに結合され、メモリに記憶されたプライバシーモジュール、補助モジュール、複数の関数及びトレーニングデータを実行することが可能である、ハードウェアプロセッサを備える。ハードウェアプロセッサは、プライバシーモジュールを、トレーニングデータを用いて初期化するように構成される。プライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによってトレーニングデータを変換して、変換されたデータにするように構成される。ハードウェアプロセッサは、目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成する。目的関数は、反復ごとに、変換されたデータ内の有用属性の歪みと、機密属性と変換されたデータとの間の相互情報量との組み合わせによって計算される。相互情報量は、変換されたデータを所与とした機密属性の条件付き尤度を最大化する補助モジュールによって推定されるようになっている。ハードウェアプロセッサと通信する入力インターフェースを経由して入力データを受信するように構成される。ハードウェアプロセッサは、入力データに、トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成するように構成される。通信システムは、通信チャネルを介してアプリケーション固有の変換されたデータを送信する送信機を備える。
【００４３】
図１Ａは、本開示の実施形態による、変換されたデータの解析上の有用性が保たれながら、変換されたデータのプライバシーが保護されるように、プライバシーモジュールを適用してデータを変換する方法のブロック図である。
【００４４】
具体的には、ステップ１１０は、少なくとも１つのセンサから受信機を経由してトレーニングデータを受信することを示しており、トレーニングデータは、所定の機密属性、有用属性及び観測可能データを含むトレーニングデータサンプルを含む。所定の機密属性は、観測可能データに関連付けるとともに、ユーザ及び／又はアプリケーションによって個人的に機密なものとして判定することができるデータ、属性、及び／又は特色とすることができる。有用属性は、観測可能データに関連付けるとともに、ユーザ及び／又はアプリケーションによって共有又は公開されることが有用なものとして判定することができるデータ、属性、及び／又は特色とすることができる。観測可能データは、所定の機密属性及び有用属性、又は所定の機密属性かつ有用属性の部分的、完全、及び／又は潜在的に雑音を有するデータ測定値を含むことができる。
【００４５】
トレーニングデータは、時系列データ、スマートホームデータ、発話データ、ファクトリーオートメーションデータ、医療データを含む。トレーニングデータは、システムを較正するのに用いられる初期トレーニングフェーズとして、特定のクライアント、ユーザ又は法人から供給される可能性もあるし、類似の統計的特性（例えば、入力データに類似の統計的特性）を有する他のソースから得られる可能性もあることが考えられる。
【００４６】
いくつかの時系列データの一例は、少なくとも１つのセンサと通信する少なくとも１つのスマートメーターデバイスからのスマートメーターデータ、温度データ又は他のセンサデータのうちの１つ又は組み合わせを含むことができる。収集された時系列データは、消費者サービスプロバイダからの特定の消費者サービスに関する、クライアント又はユーザからのものとすることができる。例えば、消費者サービスプロバイダのタイプは、個人宅／法人向けのエネルギー／電力プロバイダ及び電話／通信プロバイダを含むことができる。
【００４７】
消費者サービスプロバイダの他のタイプは、健康関連プロバイダ、すなわち、健康モニタリングデバイス、又は、自宅、オフィス、自動車、ハンドヘルドデバイス等内にセンサを提供するモニタリングサービスプロバイダのタイプを含むことができる。消費者サービスプロバイダのユーザ又はクライアントは、個人及び法人のうちの一方又は組み合わせとすることができる。さらに、時系列データは、ユーザによる少なくとも１つの電力コンシューマーの使用量を含むことができ、少なくとも１つの電力コンシューマーは、構造体、構造体の一部、電子デバイス、電力消費デバイス又はこれらの何らかの組み合わせを含む。さらに、集約データの複数のデータセグメントは、少なくとも１つの電力コンシューマーを有するユーザによる継続中及び／又は将来の電力消費イベントを指すことができる。集約データの可能性は、ユーザから由来することができ、計測デバイスの消費者側に配置された計測デバイスを用いて収集されたユーザエネルギーデータであることに留意されたい。
【００４８】
発話データの一例は、マイクロフォンによって記録された声音測定値からなる観測されたデータを含むことができる。この観測されたデータに関連付けられた有用属性は、発話された単語のテキストトランスクリプトからなり、これは、種々の声音制御アプリケーション又は声音入力アプリケーションに有用であり得る。機密属性は、場合によってはユーザの選好に依存して、声音記録のオーディオから推測することができる種々の個人的特色、例えば、性別、年齢、人種（ethnicity）／アクセント、ムード（mood）、ロケーション／他の周辺環境等を含むことができる。
【００４９】
ファクトリーオートメーションの一例は、種々のファクトリーセンサ測定値を含む観測されたデータを含むことができる。有用属性は、センサ測定値の解析から推測することができ、それゆえ、工場診断／報告アプリケーションに有用なものとすることができる機械動作条件を含むことができる。機密属性は、同様にセンサ測定値から推測することができる独自の（proprietary）知識／プロセス情報を含むことができる。
【００５０】
医療データの一例は、患者既往歴（症状、診断、処置、評価、結果等）を含む観測されたデータを含むことができ、この場合、有用属性は、医学研究アプリケーションに有用であり得る統計的傾向／解析を含み、機密属性は、特定の患者に直接結び付けられる任意の特定の医療情報を含むことができる。
【００５１】
ステップ１１５は、プライバシーモジュール、補助モジュール、複数の関数及びトレーニングデータをメモリに記憶することを含む。アプリケーションに応じて１つ以上のメモリデバイスが存在する場合があることが想定される。記憶されたプライバシーモジュールは、パラメトリック確率分布のパラメータを求めることによってトレーニングデータを変換して、変換されたデータにするように構成され、変換されたデータは、パラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっており、これにより、プライバシーモジュールによって実行される確率的マッピングが規定される。記憶されたプライバシーモジュールは、所定の機密属性、有用属性及び観測可能データを有する履歴トレーニングデータを用いて事前トレーニングすることができる。履歴トレーニングデータは、入力データに統計的に類似したデータを含むことができ、すなわち、トレーニングデータセットから学習されたモデルは、上記で記載されたように、入力データから学習されたモデルを統計的に表すものとすることができる。記憶されたプライバシーモジュールを事前トレーニングする態様は、アプリケーションに関連性があるが、依然としてユーザ固有データを用いて後にトレーニングすることによって更に調整することができる初期プライバシーモジュールを生成することとして理解される。
【００５２】
さらに、プライバシーモジュールは、観測されたデータにニューラルネットワークを適用することによってパラメトリック確率分布のパラメータを求めることができ、ニューラルネットワークの出力がパラメータであるようになっている。パラメータは、平均、分散、及び／又は、特定のパラメトリック確率分布を記述する種々の統計的パラメータとすることができる。
【００５３】
さらに、プライバシーモジュールは、ランダムシード雑音である追加の入力も含むことができ、プライバシーモジュールが観測されたデータのランダム化関数として変換されたデータを生成するようになっている。
【００５４】
記憶された補助モジュールは、変換されたデータを入力として取り込み、変換されたデータを所与とした機密属性の事後分布を近似するパラメトリック確率分布のパラメータを出力するように構成される。具体的には、補助モジュールは、勾配降下アルゴリズムによって最適化されて、変換されたデータを所与とした機密属性の条件付き対数尤度が最大化され得る。
【００５５】
さらに、プライバシーモジュール及び補助モジュールは、ニューラルネットワークを含むパラメトリック関数として実現することができ、目的関数の勾配がプライバシーモジュール及び補助モジュールのパラメータに対して計算されるようになっているとともに、プライバシーモジュール及び補助モジュールが勾配降下アルゴリズムを介して最適化されるようになっている。
【００５６】
ステップ１２０は、記憶されたモジュール及び複数の関数を実行するためにハードウェアプロセッサを使用することを含む。ハードウェアプロセッサは、受信機及びメモリに結合され、他のデバイス、例えば、データを測定するセンサ、データを受信する受信機、及びデータを送信する送信機と通信することができる。特定のアプリケーションの要件に応じて２つ以上のハードウェアプロセッサを用いることができることが想定される。
【００５７】
ステップ１２５は、記憶されたプライバシーモジュールを、トレーニングデータを用いて初期化することを含む。記憶されたプライバシーモジュールは、最初にランダムに初期化することもできるし、事前トレーニングされたプライバシーモジュールが利用可能である場合にはこの事前トレーニングされたプライバシーモジュールとして初期化することもできる。
【００５８】
ステップ１２５は、目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成することを含み、反復ごとに、目的関数は、変換されたデータ内の有用属性の歪みと、機密属性と変換されたデータとの間の相互情報量との組み合わせによって計算され、相互情報量は、変換されたデータを所与とした機密属性の条件付き尤度を最大化する補助モジュールによって推定されるようになっており、反復は、トレーニングされたプライバシーモジュールを得るために、終了条件が満たされるまで継続する。目的関数は、
【数１】
0006921314.tif 000002
によって与えることができ、ここで、ｍは、トレーニングサンプルの数であり、ｉは、トレーニングサンプルにインデックスを付けるものであり、ｘｉは、機密属性のサンプルであり、ｙｉは、有用属性のサンプルであり、ｚｉは、変換されたデータのサンプルであり、Ｑ（ｘｉ｜ｚｉ）は、変換されたデータのサンプルｚｉを所与とした機密属性のサンプルｘｉの条件付き尤度であり、λは、プライバシー／ユーティリティトレードオフを制御するバランスパラメータであり、ｄ（ｙｉ，ｚｉ）は、変換されたデータのサンプルｚｉ内の有用属性のサンプルｙｉの歪みである。代替的に、特定の歪み閾値δを目標とするために、目的関数は、
【数２】
0006921314.tif 000003
によって与えることができ、ここで、ｍは、トレーニングサンプルの数であり、ｉは、トレーニングサンプルにインデックスを付けるものであり、ｘｉは、機密属性のサンプルであり、ｙｉは、有用属性のサンプルであり、ｚｉは、変換されたデータのサンプルであり、Ｑ（ｘｉ｜ｚｉ）は、変換されたデータのサンプルｚｉを所与とした機密属性のサンプルｘｉの条件付き尤度であり、δは、歪み閾値であり、λは、歪み閾値を超えることに対するペナルティ付与を制御するペナルティパラメータであり、ｄ（ｙｉ，ｚｉ）は、変換されたデータのサンプルｚｉ内の有用属性のサンプルｙｉの歪みである。
【００５９】
変換されたデータ内の有用属性の歪みは、トレーニングデータと、観測可能データにプライバシーメカニズムを適用することによって生成された対応する変換されたデータとのバッチにわたる、アプリケーション及び／又はユーザにより指定された歪み関数の経験的平均によって求められる。
【００６０】
機密属性と変換されたデータとの間の相互情報量は、トレーニングデータのバッチにわたる、機密データの条件付き尤度の対数の経験的平均によって推定され、機密データの条件付き尤度の対数は、補助モジュールからのものであるようになっている。
【００６１】
ステップ１３０は、オンライン状態において、入力データを受信し、この入力データに、トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成することを含み、変換されたデータは、プライバシーモジュールによって求められたパラメトリック確率分布に従ってランダムにサンプリングすることによって生成されるようになっている。入力データは、観測されたデータを含むことができる。オンライン状態の態様は、入力データに、トレーニングされたプライバシーモジュールを適用して、変換されたデータを生成するというものであり、この変換されたデータは、機密情報のプライバシーの保存も行いつつ、解析上のユーティリティを提供するために別の当事者にリリースすることができる。
【００６２】
ステップ１３５は、特定のアプリケーションによって指定されるものとして、アプリケーション固有の変換されたデータを、通信チャネルを介して別の当事者に送信することを含む。
【００６３】
図１Ｂは、本開示のいくつかの実施形態による、通信システムのために用いられるいくつかのコンポーネントを更に備える、図１Ａの通信システムを示すブロック図である。通信システム１００は、受信機１１９と通信するセンサデバイス１１２から、ワイヤレスに又は有線で受信することができるトレーニングデータ１１４を含む。トレーニングデータ１１４は、コンピュータ可読メモリ又はメモリ１２３に記憶することができる。トレーニングデータ１１４は、複数のモジュール及び複数の関数とともにメモリ１２３に記憶される。さらに、コンピュータ１２４のハードウェアプロセッサ１２２を、通信システム１００のステップを処理するのに用いることができる。オンラインステージにおいて、ハードウェアプロセッサ１２２は、センサ１１６又はセンサ群から、入力インターフェース１１８を経由して入力データ１１７を受信する。ハードウェアプロセッサ１２２が、トレーニングされたプライバシーモジュールを入力データ１１７に適用すると、アプリケーション固有の変換されたデータが生成され、送信機１２１を経由して通信チャネルを通じて送信される。
【００６４】
図１Ｃは、目的関数を反復して最適化することによって、トレーニングされたプライバシーモジュールを生成することに関するオフラインステージステップ１３０を示す、図１Ａの通信システムを示すブロック図である。オフラインステージは、アプリケーション／ユーザ固有のデータについてのプライバシー／ユーティリティトレードオフに対して最適化された、トレーニングされたプライバシーモジュールの生成を含む。
【００６５】
図１Ｃは、入力データを受信し、この入力データに、トレーニングされたプライバシーモジュールを適用して、アプリケーション固有の変換されたデータを生成することに関するオンラインステージステップ１３５も示している。オンライン状態の態様は、入力データに、トレーニングされたプライバシーモジュールを適用して、変換されたデータを生成するというものであり、この変換されたデータは、機密情報のプライバシーの保存も行いつつ、解析上のユーティリティを提供するために別の当事者にリリースすることができる。
【００６６】
図１Ｄは、本開示のいくつかの実施形態による、図１Ｃのオフラインステージを示すブロック図である。オフラインステージは、アプリケーション／ユーザ固有のデータについてのプライバシー／ユーティリティトレードオフに対して最適化された、トレーニングされたプライバシーモジュールの生成を含む。
【００６７】
図１Ｅは、本開示のいくつかの実施形態による、図１Ｃのオンラインステージを示すブロック図である。オンライン状態の態様は、入力データに、トレーニングされたプライバシーモジュールを適用して、変換されたデータを生成するというものであり、この変換されたデータは、機密情報のプライバシーの保存も行いつつ、解析上のユーティリティを提供するために別の当事者にリリースすることができる。
【００６８】
例えば、クライアントからの収集されたエネルギーデータを考慮することは、クライアント及び／又はプロバイダ（複数の場合もある）の利益のための解析を含むことができる。特定の解析の関心対象は、特定のエネルギー消費デバイス（複数の場合もある）（例えば、家庭内の電化製品（複数の場合もある））の使用パターンを求めることとすることができ、これは、クライアント及び／又はプロバイダに有益な情報、例えば、クライアントによって受け取られ、及び／又はプロバイダによって行われる他のサービスを潜在的に補助する情報（例えば、予防保全／モニタリングサービスを補助する電化製品操作情報、又はマーケティング情報を提供する情報）を提供することができる。一方で、事前に求められていない、後の全般解析タスクを可能にするために、エネルギー消費データの正確な表現をプロバイダ（複数の場合もある）にリリースすることが望ましい場合もある。
【００６９】
発話データの一例は、マイクロフォンによって記録された声音測定値からなる観測されたデータを含むことができる。この観測されたデータに関連付けられた有用属性は、発話された単語のテキストトランスクリプトからなり、これは、種々の声音制御アプリケーション又は声音入力アプリケーションに有用であり得る。機密属性は、場合によってはユーザの選好に依存して、声音記録のオーディオから推測することができる種々の個人的特色、例えば、性別、年齢、人種／アクセント、ムード、ロケーション／他の周辺環境等を含むことができる。
【００７０】
ファクトリーオートメーションの一例は、種々のファクトリーセンサ測定値を含む観測されたデータを含むことができる。有用属性は、センサ測定値の解析から推測することができ、それゆえ、工場診断／報告アプリケーションに有用なものとすることができる機械動作条件を含むことができる。機密属性は、同様にセンサ測定値から推測することができる独自の知識／プロセス情報を含むことができる。
【００７１】
医療データの一例は、患者既往歴（症状、診断、処置、評価、結果等）を含む観測されたデータを含むことができ、この場合、有用属性は、医学研究アプリケーションに有用であり得る統計的傾向／解析を含み、機密属性は、特定の患者に直接結び付けられる任意の特定の医療情報を含むことができる。
【００７２】
図２Ａは、本開示のいくつかの実施形態による、プライバシーモジュールを最適化する手順を示すブロック図である。この手順は、トレーニングデータサンプルのバッチを準備すること（２０１）から開始される。次に、プライバシーモジュール及び補助モジュールは、バッチに適用され（２０２）、これに続いて、最適化目的関数２０３を計算することと、プライバシーモジュールを更新して、目的関数を最小化するとともに、補助モジュールを更新して、目的関数を最大化すること（２０４）とが行われる。この手順は、収束又は反復の最大数に達するまで繰り返される（２０５）。
【００７３】
図２Ｂは、本開示のいくつかの実施形態による、プライバシーモジュールを最適化する手順における更なる詳細を示すブロック図である。この手順は、トレーニングデータサンプルのバッチを準備すること（２０１）から開始される。プライバシーモジュールは、観測されたデータサンプルに適用されて（２１１）、変換されたデータサンプル２１２が生成される。補助モジュールは、変換されたデータサンプル２１２に適用される（２１３）。次に、最適化目的関数２１４が計算され（２０３）、これに続いて、プライバシーモジュールを更新して、目的関数を最小化するとともに、補助モジュールを更新して、目的関数を最大化すること（２０４）が行われる。この手順は、収束又は反復の最大数に達するまで繰り返される（２０５）。
【００７４】
図３Ａは、本開示のいくつかの実施形態による、トレーニングサンプルのセットにプライバシーモジュール及び補助モジュールを適用し、最適化目的関数を計算する手順を示すブロック図である。この手順は、特に、トレーニングサンプル３０１のセットにプライバシーモジュール３１０及び補助モジュール３２０を適用し、最適化目的関数計算３３０を実行することで、最適化目的関数３３１をもたらす手順である。トレーニングデータサンプル３０１の各セットは、観測されたデータサンプル３０２と、有用属性サンプル３０３と、機密属性サンプル３０４とからなる。プライバシーモジュール３１０は、観測されたデータサンプル３０２に適用されて、変換されたデータサンプル３１１が生成され、この変換されたデータサンプルに補助モジュール３２０が適用されて、機密サンプル分布パラメータ３２１が生成される。最適化目的関数は、有用属性サンプル３０３、機密属性サンプル３０４、変換されたデータサンプル３１１、及び機密サンプル分布パラメータ３２１から計算される（３３０）。
【００７５】
図３Ｂは、本開示のいくつかの実施形態による、目的関数の計算の一部として、補助モジュールを適用して機密データ尤度を生成する詳細な手順を示すブロック図である。この手順は、特に、目的関数の計算の一部として、補助モジュール３２０を適用して機密属性サンプル尤度３２６を生成する手順である。補助モジュール３２０は、変換されたデータサンプル３１１に適用されて、分布パラメータ３２１が生成される。分布パラメータ３２１は、パラメトリック分布関数３２５において機密属性サンプル３０４とともに用いられて、機密属性サンプルの尤度３２６が計算される。
【００７６】
図４は、本開示のいくつかの実施形態による、ガウス分布から導き出された多変量の連続データを伴う一例において、説明されるシステムが理論的最適性能への近似を達成することを示す例示の結果を示すグラフである。図４のグラフは、データ分布の知識を所与として解析的に導き出された理論的最適性能４０１と、これに対して、分布の知識を用いない、説明されるシステムの評価された性能４０２とを示している。ｘ軸は、期待平均二乗誤差歪み４１０であり、ｙ軸は、変換されたデータにおける機密属性の相互情報量によって定量化された推定されるプライバシー漏洩４１１である。
【００７７】
図５は、本開示の実施形態による、図１Ａの方法を実施することができる、代替のコンピュータ又はプロセッサを用いた構成を示すブロック図である。コンピュータ５１１は、プロセッサ５４０と、コンピュータ可読メモリ５１２と、記憶装置５５８と、ディスプレイ５５２及びキーボード５５１とのユーザインターフェース５４９とを備え、これらは、バス５５６を通じて接続されている。例えば、プロセッサ５４０及びコンピュータ可読メモリ５１２と通信するユーザインターフェース５４９は、ユーザによるユーザインターフェース５４９の表面、キーボード５５１の表面からの入力を受信すると、信号データ例を入手し、コンピュータ可読メモリ５１２内に記憶する。
【００７８】
コンピュータ５１１は、電力源５５４を備えることができ、用途に応じて、電力源５５４は、任意選択でコンピュータ５１１の外部に配置されてもよい。バス５５６を通じて、ディスプレイデバイス５４８に接続するように構成されたユーザ入力インターフェース５５７をリンクすることができ、ディスプレイデバイス５４８は、とりわけ、コンピュータモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。プリンタインターフェース５５９も、バス５５６を通じて接続することができ、印刷デバイス５３２に接続するように構成することができる。印刷デバイス５３２は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、感熱式プリンタ、ＵＶプリンタ、又は昇華型プリンタを含むことができる。ネットワークインターフェースコントローラー（ＮＩＣ）５３４は、バス５５６を通じてネットワーク５３６に接続するように構成され、とりわけ、時系列データ又は他のデータは、コンピュータ５１１の外部の第三者ディスプレイデバイス、第三者撮像デバイス、及び／又は第三者印刷デバイス上にレンダリングすることができる。コンピュータ５１１は、全地球測位システム（ＧＰＳ）５０１を備えることができる。さらに、外部センサ５０４を、マシン（複数の場合もある）５０２及び外部メモリ５０６に結合することができる。入力／出力デバイス（複数の場合もある）５４１、他のコンピュータ５４２及び外部検知デバイス５４４を、コンピュータ５１１に結合することができる。
【００７９】
図５を更に参照すると、とりわけ、信号データ又は他のデータは、ネットワーク５３６の通信チャネルを介して送信することができ、及び／又は、記憶及び／又は更なる処理のために記憶システム５５８内に記憶することができる。信号データは、最初に外部メモリに記憶して、後に、処理するためにプロセッサによって取得することもできるし、後の時点で処理するために、この信号データをプロセッサのメモリに記憶することもできることが想定される。プロセッサメモリは、プロセッサ、又はシステム／方法を実行するコンピュータによって実行可能である、記憶された実行可能プログラムを含む。
【００８０】
さらに、信号データ又は他のデータは、受信機５４６（又は外部受信機５３８）から無線又は配線接続で受信することもできるし、送信機５４７（又は外部送信機５３９）を介して無線又は配線接続で送信することもでき、受信機５４６及び送信機５４７は、ともにバス５５６を通じて接続されている。コンピュータ５１１は、入力インターフェース５０８を介して外部検知デバイス５４４及び外部入力／出力デバイス５４１に接続することができる。例えば、外部検知デバイス５４４は、エレベーター／搬送マシンの収集された信号データの前中後（before-during-after）のデータを集めるセンサを含むことができる。例えば、環境条件、すなわち、温度。コンピュータ５１１は、他の外部コンピュータ５４２に接続することができる。出力インターフェース５０９を用いて、プロセッサ５４０からの処理されたデータを出力することができる。プロセッサ５４０及び非一時的コンピュータ可読記憶媒体５１２と通信するユーザインターフェース５４９は、ユーザによるユーザインターフェース５４９の表面５５２からの入力を受信すると、領域データを取得し、非一時的コンピュータ可読記憶媒体５１２に記憶することに留意されたい。
【００８１】
また、本明細書において略述された様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのうちの任意の１つを用いる１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語及び／又はプログラミングツール若しくはスクリプティングツールのうちの任意のものを用いて記述することができ、実行可能機械語コード、又はフレームワーク若しくは仮想機械上で実行される中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、様々な実施形態において所望に応じて組み合わせることもできるし、分散させることもできる。
【００８２】
また、本開示の実施形態は、方法として具現化することができ、この方法の一例が提供されている。この方法の一部として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものと異なる順序で動作が実行される実施形態を構築することができ、この順序は、いくつかの動作が例示の実施形態では順次的な動作として示されていても、それらの動作を同時に実行することを含むことができる。さらに、請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１Ａ】
0006921314.tif 000006
【図１Ｂ】
0006921314.tif 000007
【図１Ｃ】
0006921314.tif 000008
【図１Ｄ】
0006921314.tif 000009
【図１Ｅ】
0006921314.tif 000010
【図２Ａ】
0006921314.tif 000011
【図２Ｂ】
0006921314.tif 000012
【図３Ａ】
0006921314.tif 000013
【図３Ｂ】
0006921314.tif 000014
【図４】
0006921314.tif 000015
【図５】
0006921314.tif 000016