(57)【要約】合成的に匿名化されたデータを生成する方法及びシステムを開示する。該方法は、匿名化されるべき第１のデータを提供するステップと、データ特徴を備えるデータ埋め込みを提供するステップであって、データ特徴は対応するデータの表現を可能とし、データは第１のデータを代表する、ステップと、識別可能特徴を備える識別子埋め込みを提供するステップであって、識別可能特徴はデータ及び第１のデータの識別を可能とする、ステップと、タスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、タスク特有特徴は所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、合成的に匿名化されたデータを生成するステップであって、生成するステップは、対応する第１のサンプルが識別子埋め込み内のデータ及び第１のデータの投影から離れて発生することを保証するデータ埋め込みからの第１のサンプルと、対応する第２のサンプルがタスク特有特徴の近くにて発生することを保証するタスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、生成するステップは、第１のサンプル及び第２のサンプルを生成的プロセス内にて更に混合する、ステップとを含む。
2021530792.tif 000002
【特許請求の範囲】
【請求項１】
所与のタスクについて合成的に匿名化されたデータを生成する方法であって、該方法は、
匿名化されるべき第１のデータを提供するステップと、
データ特徴を備えるデータ埋め込みを提供するステップであって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、ステップと、
識別可能特徴を備える識別子埋め込みを提供するステップであって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、ステップと、
タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、
前記所与のタスクについて合成的に匿名化されたデータを生成するステップであって、前記生成するステップは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成するステップは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する、ステップと、
前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するステップと、を含む、方法。
【請求項２】
請求項１に記載の方法において、前記所与のタスクについて合成的に匿名化されたデータを生成するステップは、前記合成的に匿名化されたデータが、所定のメトリックに関して匿名化されるべき前記第１のデータと非類似であることを確認することを含み、
前記確認が成功した場合に、前記生成済みの合成的に匿名化されたデータが前記所与のタスクについて提供される、方法。
【請求項３】
請求項１から２のいずれか１つに記載の方法において、前記第１のデータは患者データを含む、方法。
【請求項４】
請求項１から３のいずれか１つに記載の方法において、前記タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップは、
前記所与のタスクの指示を取得することと、
前記所与のタスクとの関連性を有するクラスの指示を取得することと、
前記所与のタスクについて前記データの解きほぐしを行うために適したモデルを取得することと、
前記取得されたモデルと、前記所与のタスクとの関連性を有する前記クラスの指示と、前記所与のタスクの指示と、前記データとを用いて前記タスク特有埋め込みを生成することと、を含む、方法。
【請求項５】
請求項１から４のいずれか１つに記載の方法において、識別可能特徴を備える前記識別子埋め込みを提供するステップは、
前記識別可能特徴を識別するために用いられるデータを取得することと、
前記データ内の前記識別可能特徴を識別するために適したモデルを取得することと、
識別可能エンティティの指示を取得することと、
前記識別可能特徴を識別するために適した前記モデルと、前記識別可能エンティティの指示と、前記識別可能特徴を識別するために用いられる前記データとを用いて前記識別子埋め込みを生成することと、を含む、方法。
【請求項６】
請求項５に記載の方法において、前記データは前記識別可能特徴を識別するために用いられるデータを含む、方法。
【請求項７】
請求項５に記載の方法において、前記データ内の前記識別可能特徴を識別するために適したモデルは、シングルショットマルチボックス検出器（ＳＳＤ、Single Shot MultiBox Detector）モデルを含む、方法。
【請求項８】
請求項４に記載の方法において、前記所与のタスクについて前記データの解きほぐしを行うために適した前記モデルは、訓練に関して教師付き、半教師付き、又は教師なしとされる敵対的学習混合モデル（ＡＭＭ、AdversariallyLearned Mixture Model）のうち１つを含む、方法。
【請求項９】
請求項４に記載の方法において、前記識別可能エンティティの指示は、クラス数及び前記データの少なくとも１つに対応するクラスの指示のうち１つを含む、方法。
【請求項１０】
請求項５に記載の方法において、前記識別可能エンティティの指示は、少なくとも１つの対応する識別可能エンティティを定める少なくとも１つのボックスを含む、方法。
【請求項１１】
実行されると、所与のタスクについて合成的に匿名化されたデータを生成する方法をコンピュータに実行させるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、匿名化されるべき第１のデータを提供するステップと、データ特徴を備えるデータ埋め込みを提供するステップであって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、ステップと、識別可能特徴を備える識別子埋め込みを提供するステップであって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、ステップと、タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、前記所与のタスクについて合成的に匿名化されたデータを生成するステップであって、前記生成するステップは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成するステップは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する、ステップと、前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するステップと、を含む、非一時的コンピュータ可読記憶媒体。
【請求項１２】
コンピュータであって、
中央演算装置と、
表示装置と、
通信ユニットと、
所与のタスクについて合成的に匿名化されたデータを生成するためのアプリケーションを備えるメモリユニットと、を備えるコンピュータであって、前記アプリケーションは、
匿名化されるべき第１のデータを提供するための命令と、
データ特徴を備えるデータ埋め込みを提供するための命令であって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、命令と、
識別可能特徴を備える識別子埋め込みを提供するための命令であって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、命令と、
タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するための命令であって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、命令と、
前記所与のタスクについて合成的に匿名化されたデータを生成するための命令であって、前記生成することは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成することは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成することを伴う、命令と、
前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するための命令と、を含む、コンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理に関する。より正確には、本発明は、所与のタスクについて合成的に匿名化されたデータを生成する方法及びシステムに関する。
【背景技術】
【０００２】
匿名化データを提供できる能力については、様々な理由からして大きな関心が寄せられる。
【０００３】
近年、機密情報又はデータ所有者の正体を保護する統計学的手法の一環としてＡＩ系手法が導入されており、これによって個人及び団体のプライバシー保護を担保しようとされている。
【０００４】
具体的には、臨床研究からの個人レベルデータを共有することは依然高難度である。現状では、多くの場合、データ共有前に、科学者は正式な協力関係を確立して広範なデータ利用合意を締結することが必要とされる。これらの要請は、緊密度の最も高い類いの共同研究を除いて、研究者間のデータ共有を遅延又は妨げさえするのであり、重大な問題点である。
【０００５】
近年の新たな取り組みとしては、データ共有に関連する文化的困難の克服に挑戦する試みが始まっている。近年では、個人についての機密情報を含む多くのデータセットが、データマイニング研究を促進させる目的でパブリックドメインに開放されている。データベースは、頻繁に、ユーザの正体を明かす識別子（例えば、名前や識別番号等）を単に伏せるだけで匿名化されている。
【０００６】
訓練データを増強させるため（非特許文献１）又は被験者データを共有するためのデータ匿名化手順において、幾つかの異なる手順（非特許文献２〜５）は大いに有益であるも、これらは次の２つの要請を充足しない：（１）生成されたデータが識別可能でないことの保証（背景攻撃（匿名化データがどんなタスクに適していたかを事後的に知っていた場合の攻撃を含む。）への耐性）；及び（２）生成されたデータが後続タスクについて関連性を有していることの保証（タスク特有バリエーションの適切な要因の解きほぐし）。
【０００７】
上述の問題点の少なくとも１つを克服する方法及びシステムが必要とされている。
【０００８】
本発明の特徴は、後述する本発明の開示事項、図面、及び明細書を参照することによって明らかになるであろう。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Synthetic data augmentation using GAN for improved liver lesion classification http://www.eng.biu.ac.il/goldbej/files/2018/01/ISBI_2018_Maayan.pdf
【非特許文献２】https://arxiv.org/pdf/1802.09386.pdf
【非特許文献３】https://arxiv.org/pdf/1803.11556.pdf
【非特許文献４】https://www.biorxiv.org/content/biorxiv/early/2017/07/05/159756.full.pdf
【非特許文献５】https://openreview.net/forum?id=rJv4XWZA-
【発明の概要】
【００１０】
広範な観点によれば、所与のタスクについて合成的に匿名化されたデータを生成する方法を開示し、該方法は、匿名化されるべき第１のデータを提供するステップと、データ特徴を備えるデータ埋め込みを提供するステップであって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、ステップと、識別可能特徴を備える識別子埋め込みを提供するステップであって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、ステップと、タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、前記所与のタスクについて合成的に匿名化されたデータを生成するステップであって、前記生成するステップは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成するステップは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する、ステップと、前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するステップとを含む。
【００１１】
実施形態によれば、前記所与のタスクについて合成的に匿名化されたデータを生成するステップは、前記合成的に匿名化されたデータが、所定のメトリックに関して匿名化されるべき前記第１のデータと非類似であることを確認することを含み、前記確認が成功した場合に、前記生成済みの合成的に匿名化されたデータが前記所与のタスクについて提供される。
【００１２】
実施形態によれば、第１のデータは患者データを含む。
【００１３】
実施形態によれば、前記タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップは、前記所与のタスクの指示を取得することと、前記所与のタスクとの関連性を有するクラスの指示を取得することと、前記所与のタスクについて前記データの解きほぐしを行うために適したモデルを取得することと、前記取得されたモデルと、前記所与のタスクとの関連性を有する前記クラスの指示と、前記所与のタスクの指示と、前記データとを用いて前記タスク特有埋め込みを生成することとを含む。
【００１４】
実施形態によれば、識別可能特徴を備える前記識別子埋め込みを提供するステップは、前記識別可能特徴を識別するために用いられるデータを取得することと、前記データ内の前記識別可能特徴を識別するために適したモデルを取得することと、識別可能エンティティの指示を取得することと、前記識別可能特徴を識別するために適した前記モデルと、前記識別可能エンティティの指示と、前記識別可能特徴を識別するために用いられる前記データとを用いて前記識別子埋め込みを生成することとを含む。
【００１５】
実施形態によれば、前記データは前記識別可能特徴を識別するために用いられるデータを含む。
【００１６】
実施形態によれば、前記データ内の前記識別可能特徴を識別するために適したモデルは、シングルショットマルチボックス検出器（ＳＳＤ、Single Shot MultiBox Detector）モデルを含む。
【００１７】
実施形態によれば、前記所与のタスクについて前記データの解きほぐしを行うために適した前記モデルは、訓練に関して教師付き、半教師付き、又は教師なしとされる敵対的学習混合モデル（ＡＭＭ、Adversarially Learned Mixture Model）のうち１つを含む。
【００１８】
実施形態によれば、前記識別可能エンティティの指示は、クラス数及び前記データの少なくとも１つに対応するクラスの指示のうち１つを含む。
【００１９】
実施形態によれば、前記識別可能エンティティの指示は、少なくとも１つの対応する識別可能エンティティを定める少なくとも１つのボックスを含む。
【００２０】
広範な観点によれば、実行されると、所与のタスクについて合成的に匿名化されたデータを生成する方法をコンピュータに実行させるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体を開示し、該方法は、匿名化されるべき第１のデータを提供するステップと、データ特徴を備えるデータ埋め込みを提供するステップであって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、ステップと、識別可能特徴を備える識別子埋め込みを提供するステップであって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、ステップと、タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、前記所与のタスクについて合成的に匿名化されたデータを生成するステップであって、前記生成するステップは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成するステップは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する、ステップと、前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するステップと、を含む。
【００２１】
別の広範な観点によればコンピュータを開示し、該コンピュータは、中央演算装置と、表示装置と、通信ユニットと、所与のタスクについて合成的に匿名化されたデータを生成するためのアプリケーションを備えるメモリユニットと、を備えており、前記アプリケーションは、匿名化されるべき第１のデータを提供するための命令と、データ特徴を備えるデータ埋め込みを提供するための命令であって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、命令と、識別可能特徴を備える識別子埋め込みを提供するための命令であって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、命令と、タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するための命令であって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、命令と、前記所与のタスクについて合成的に匿名化されたデータを生成するための命令であって、前記生成することは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成することは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成することを伴う、命令と、前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するための命令と、を含む。
【００２２】
本発明の目的には、データ内の識別可能特徴の定義済みセットについての修正に基づいて匿名化がなされるように設計からして保証してデータの再識別を妨げる方法及びシステムを提供する、ということが含まれる。
【００２３】
本発明の別の目的には、合成的匿名化データが所与のタスクについて匿名化データの処理に適した表現を伝達するように設計からして保証する方法及びシステムを提供する、ということが含まれる。
【００２４】
本願にて開示された方法は、様々な理由からして多大な利点を有する。
【００２５】
実際には、開示された方法の第１の利点としては、匿名化データが所与のタスクに関する更なる研究に耐え得る関連性を有し且つ匿名化データが元データの全般的「ルックアンドフィール」を表すものとしつつ、匿名化処理の設計内にてプライバシーを担保できることを挙げることができる。
【００２６】
開示された方法の第２の利点としては、（全患者若しくはその亜母集団（sub-population）を表していたり、タスク若しくはそのサブクラス（sub-class）を大域的に表している）匿名化データの具体的特徴について患者プライバシー及び統制を担保しつつ、患者データをオープンイノベーション環境下にて共有することを可能とすることを挙げることができる。
【００２７】
開示された方法の第３の利点としては、データのどんな切り口がそのようなプライバシーリスクを招来せしめ得るかについて先験的に知らずにしてデータを匿名化する手法を提供できることを挙げることができ、故にそのようなリスクが進化していくにつれて本願開示の方法は、データプライバシー分野における更なる研究開発に適応して且つその利益を享受し得る。
【図面の簡単な説明】
【００２８】
本発明の理解を容易にするために、本発明の実施形態については添付の図面を参照して例示的に示す。
【００２９】
【図１】所与のタスクについて合成的に匿名化されたデータを生成する方法の実施形態を示すフローチャートであり、方法はタスク特有特徴（task-specific feature）を備えるタスク特有埋め込み（task-specific embedding）を提供するステップを含み、方法は識別可能特徴（identifiable feature）を備える識別子埋め込み（identifier embedding）を提供するステップをさらに含む。
【図２】識別可能特徴を備える識別子埋め込みを提供するための実施形態を示すフローチャートである。
【図３】タスク特有特徴を備えるタスク特有埋め込みを提供するための実施形態を示すフローチャートである。
【図４】所与のタスクについて合成的に匿名化されたデータを生成するシステムの実施形態を示す概略図である。
【図５】所与のタスクについて合成的に匿名化されたデータを生成する方法の実施形態にて用いられ得る敵対的学習混合モデル（ＡＭＭ、AdversariallyLearned Mixture Model）の実施形態を示す概略図である。
【００３０】
本発明の更なる詳細及びその長所は、後述の詳細な説明から明らかになるであろう。
【発明を実施するための形態】
【００３１】
後述の実施形態についての説明では、本発明を実施できる例についての例示として、添付の図面への言及がなされる。
【００３２】
用語
「発明」等の用語は、明示的に別段の定めがなされていない限り、「本願にて開示されている１つ以上の発明」を意味する。
【００３３】
「（不定冠詞付きの）態様」、「（不定冠詞付きの）実施形態」、「実施形態」、「実施形態（複数形）」、「（定冠詞付きの）実施形態」、「（定冠詞付きの）実施形態（複数形）」、「１つ以上の実施形態」、「幾つかの実施形態」、「特定の実施形態」、「１つの実施形態」、「別の実施形態」等の用語は、明示的に別段の定めがなされていない限り、「開示された発明の１つ以上（但し、全てではない）の実施形態」を意味する。
【００３４】
実施形態について説明するに際して「別の実施形態」又は「別の態様」への言及は、明示的に別段の定めがなされていない限り、被言及実施形態が別の実施形態（例えば、被言及実施形態に先行して説明された実施形態）と相互排他的であることを示唆するわけではない。
【００３５】
明示的に別段の定めがなされていない限り、「含む」、「備える」、及びそれらのバリエーションの用語は、「〜を含むがこれらには限定はされない」ということを意味する。
【００３６】
「（不定冠詞）a」、「（不定冠詞）an」、及び「（定冠詞）the」の用語は、明示的に別段の定めがなされていない限り、「１つ以上の〜」ということを意味する。
【００３７】
「複数の」との用語は、明示的に別段の定めがなされていない限り、「２つ以上の」を意味する。
【００３８】
「本願における」との語は、明示的に別段の定めがなされていない限り、「参照によって取り込まれ得る任意のものを含めた本願における」ということを意味する。
【００３９】
「whereby」との語は、先行して且つ明示的に記載されたものの意図された結果、目的又は帰結のみを表す節又は他の言葉の組に先行してのみ使用される。したがって、請求項中に「whereby」との語が使用されている場合、「whereby」との語が修飾する節又は他の言葉は、請求項の具体的な更なる限定を確立するものではなく、また、請求項の意味又は範囲を別途限定するものでもない。
【００４０】
「e.g. (exempli gratia)」等の語は、「例えば」を意味し、したがって、それが説明する用語又は句を限定するものではない。
【００４１】
「i.e. (id est)」等の語は、「即ち」を意味し、したがって、それが説明する用語又は句を限定する。
【００４２】
「解きほぐし（disentanglement）」等の用語は、モデルが表そうとする現実世界には、独立に変更できる変動要因もあればそのように変更できない要因（或いは、実際的には全く変更されない要因）もあることを意味する。このことについての簡単な例を挙げる：人間の画像をモデリングしている場合、ある人の服はその人の身長とは独立しているが、その人の左脚の長さはその人の右脚の長さに強く異存している、ということ。解きほぐされた特徴の目的を最も分かり易く捉えるためには、潜在的なｚコードの各次元をこれらの根本にあるバリエーションのたった１つの独立要因のエンコードのために使用したい、という願望を想起されたい。上記の例を用いるに、解きほぐされた表現では、ある人の身長及び服がｚコードの別個の次元として表されることになる。
【００４３】
「埋め込み（embedding）」等の用語は、高次元ベクトルを変換して納めること（次元削減）ができる比較的低次元な空間を意味する。埋め込みを用いれば、言葉や画像の特性を表すスパースベクトル等の大規模入力に対して機械学習を行うことがより容易となる。理想的に、埋め込みは、意味論的に類似する入力を埋め込み空間内にて近づけて配置することによって（文脈類似性）、入力のセマンティクスの幾らかを捉えることができる。埋め込みは、学習してからモデル間で再利用されることができるということに留意されたい。埋め込みの目的は任意の入力オブジェクト（例えば、言葉や画像）を実数のベクトルへと写すことであり、そして深層学習等のアルゴリズムがこれを受け取って処理して、知見を構成することができる。これらのベクトル内の個々の次元は通常は固有の意味を有していない。その代わり、ベクトル間の位置及び距離の総合的パターンが機械学習によって利用される。
【００４４】
「特徴」等の用語は、機械学習及びパターン認識においては、観測されている事象の個々の測定可能な性質又は特性を意味する。「特徴」の概念は、線形回帰等の統計学的手法にて用いられる説明変数に関連している。特徴ベクトルとは、何らかのオブジェクトを表す数値的特徴についてのｎ次元ベクトルである。これらのベクトルと関連付けられているベクトル空間は、多くの場合、特徴空間と称される。機械学習においては、特徴学習又は表現学習は、生データからの特徴検出又は分類のために必要な表現をシステムが自動的に発見することを可能とする手法の集合である。これによって手動特徴エンジニアリングが代替され、また、機械が特徴を学習し且つそれらを用いて具体的なタスクをこなすことを可能とする。データから特徴を抽出することを学ばせるには、分類器又はニューラルネットワークを訓練しておくことを要する。ニューラルネットワークによって学習される特徴は、他の要因にも左右され得るも、訓練時に用いられたコスト関数に依存する。コスト関数は、解くべきタスクを定義する。分類する能力を得るために、訓練ポイントにわたっての分類誤差を最小化するようにネットワークは訓練される。埋め込みは、データから抽出された特徴をエンコードする。特徴学習を行うために多階層ニューラルネットワークを用いることができる。なぜならば、それらは隠れ層におけるそれらの入力の表現を学習するからであり、その後これは出力層における分類又は回帰のために用いられる。深層ニューラルネットワークは入力データの特徴埋め込みを学習し、これによって広範なコンピュータ視覚タスクについて最新鋭の性能を実現する。
【００４５】
「生成的」等の用語は、教師なし学習を用いて任意の種類のデータ分布を学習する手法を意味するのであり、僅か数年で計り知れない成功を収めた。いずれの生成的モデルも訓練セットの真正なるデータ分布を学習することを目指しており、それによって幾らかのバリエーションを伴って新たなデータポイントを生成する。もっとも、黙示的又は明示的にデータの正確な分布を知ることは常に可能な訳ではないため、真正なるデータ分布に可能な限り類似した分布をモデリングしようとすることになる。最も一般的に用いられ且つ効率的なアプローチを２つ挙げるならば、変分オートエンコーダ（ＶＡＥ、Variational AutoEncoder）及び生成的敵対的ネットワーク（ＧＡＮ、Generative Adversarial Network）を挙げることができる。ＶＡＥはデータ対数尤度の下限を最大化することを目指し、また、ＧＡＮは生成器（generator）と判別器（discriminator）との間での均衡を達成することを目指している。
【００４６】
サンプリング−サンプリングを伴う生成的モデリングは最も困難な作業と看做し得るのであり、訓練中に使用されたデータに似たデータを生成する能力を暗に要するのであり、それらが理想的には同一の未知の真正な分布をに準拠すべきであるという観点が要される。ｘ〜ｐ（ｘ）とされる未知の分布ｐからデータｘが生成される場合、十分にｐに似ている効率的にサンプリングできる分布ｑについて知ることによってｐを近似することができる。この作業は確率的モデリング及び確率密度推定と密接に関連しているが、重きは良質なサンプルを効率的に生成する能力に置かれており、所定ポイントについて確率密度の正確な数値推定を得ることには重きはさほど置かれていない。「生成的」との間に直接的な関連がある。なぜならば、サンプリングによって合成的データポイントを生成できるからである。
【００４７】
発明の名称も要約も、本願開示の発明の範囲をどんな態様であれ限定するものとしては解されてはならない。本願の発明の名称及び本願において提供されているセクションの見出しは便宜上のものにすぎず、開示範囲をどんな態様であれ限定するものとしては解されてはならない。
【００４８】
数多くの実施形態が本願において記載されており、これらは単に例示目的で提示されているだけである記載された実施形態は、どんな意味合いにおいても限定的なものとしては意図されていない。開示の発明は、本願開示から容易に分かるように数多くの実施形態に広範に適用可能である。当業者ならば、開示の発明は、構造的及び論理的な変更等の種々の変更及び改変を伴って実施できると理解できよう。開示の発明の特定の要素は、１つ以上の特定の実施形態及び／又は図面を参照して説明され得るが、これらの要素は、明示的に別段の定めがなされていない限り、参照を伴って説明がされている１つ以上の特定の実施形態又は図面での用例に限定されないものと理解されたい。
【００４９】
これらの事項を全て念頭に置いて述べるに、本発明は、所与のタスクについて合成的に匿名化されたデータを生成する方法及びシステムに関する。
【００５０】
方法は、様々な実施形態で用いられ得ることに留意されたい。例えば、医療分野においては、方法は、合成的に匿名化された患者データを生成するために用いられ得る。
【００５１】
所与のタスクは様々なタイプのものたり得ることに留意されたい。
【００５２】
実際、なされるべき所与のタスクは、データを用い得る任意のタスクとして定義される。
【００５３】
例えば、医療分野においては、なされるべき所与のタスクは、ある実施形態では、患者の処置に対しての結果を決定するために用いられ得る。ある実施形態では、なされるべき所与のタスクは、診断を提供するためのものたり得る。別の実施形態では、なされるべき所与のタスクは次どれかたり得る：異常の検出及び位置決め（例えば、画像内や心電図（ＥＫＧ）等の１次元に伸びる情報等）、様々な入力情報からの精密医薬予測（例えば、画像、臨床レポート、電子カルテ（ＥＨＲ、electronic health record）患者履歴等）、治療戦略の臨床的決定支援、薬剤副作用予測、再発及び転移予測、再入院率、術後外科合併症、支援型手術及び支援型ロボット手術、予防的健康予測（例えば、アルツハイマー病、パーキンソン病、心臓事象、又は抑鬱症の予測）。
【００５４】
さらに後述するように、開示の方法及びシステムは多くの理由故に多大な利点を有していることを理解できよう。
【００５５】
図１を参照するに、所与のタスクについて合成的に匿名化されたデータを生成する方法の実施形態がそこに示されている。
【００５６】
データは、識別され得る任意のタイプのデータたり得ることに留意されたい。
【００５７】
例えば、実施形態に即すれば、データは患者データを含む。当業者ならば、患者データは、それが所与の患者に関連付けられている故に識別可能なものであることを理解できよう。
【００５８】
別の実施形態では、データは、患者画像データ（例えば、ＣＴスキャン、ＭＲＩ、超音波、ＰＥＴ、Ｘ線等）、臨床レポート、やラボ及び調剤レポートのどれかである。
【００５９】
タスクはデータを用いてなされる処理であってデータに関連する下流側事項を更に予測するためになされるか、又はデータを分類するためになされる、ということに留意されたい。一般に、タスクは次のどれかを指し得る：回帰、分類、クラスタリング、多変量クエリ、密度推定、次元削減、並びに、試験及びマッチング。
【００６０】
所与のタスクについて合成的に匿名化されたデータを生成する本願開示の方法は、様々な実施形態に準じて実施され得ることに留意されたい。
【００６１】
図４に転じるに、所与のタスクについて合成的に匿名化されたデータを生成する本願開示の方法を実施するためのシステムについての実施形態がそこに示されている。この実施形態では、システムはコンピュータ４００を備える。コンピュータ４００は、任意のタイプのコンピュータたり得ることに留意されたい。
【００６２】
１つの実施形態では、コンピュータ４００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットＰＣ、サーバ、スマートフォン等からなる群から選択される。上述からして、コンピュータ４００は、より広範に述べれば、プロセッサと称されることにも留意されたい。
【００６３】
図４に示す実施形態では、コンピュータ４００は、マイクロプロセッサとも称される中央演算装置（ＣＰＵ）４０２と、入出力（Ｉ／Ｏ）装置４０４と、表示装置４０６と、通信ユニット４０８と、データバス４１０と、メモリユニット４１２とを備える。
【００６４】
中央演算装置４０２は、コンピュータ命令を処理するために用いられる。当業者ならば、中央演算装置４０２については様々な実施形態を提供できると理解できよう。
【００６５】
１つの実施形態では、中央演算装置４０２は、2.5 GHzで稼働するIntel（登録商標）社製のCore i5 3210のＣＰＵを備える。
【００６６】
入出力装置４０４は、コンピュータ４００内外へとデータを入出力するために用いられる。
【００６７】
表示装置４０６は、ユーザにデータを表示するために用いられる。当業者ならば、様々なタイプの表示装置４０６を用い得ることを理解できよう。 The skilled addressee will appreciate that various types of display device 406 may be used.
【００６８】
１つの実施形態では、表示装置４０６は、標準的な液晶ディスプレイ（ＬＣＤ、liquid crystal display）型モニタである。
【００６９】
通信ユニット４０８は、コンピュータ４００とデータを共有するために用いられる。
【００７０】
通信ユニット４０８は、例えば、キーボード及びマウスをコンピュータ４００に接続するためのユニバーサルシリアルバス（ＵＳＢ）ポートを備え得る。
【００７１】
通信ユニット４０８は、コンピュータ４００と不図示のリモート処理ユニットとの接続を実現するための例えばIEE 802.3ポート等のデータネットワーク通信ポートをさらに備え得る。
【００７２】
当業者ならば、通信ユニット４０８については様々な代替的実施形態を提供できると理解できよう。
【００７３】
メモリユニット４１２は、コンピュータ実行可能命令を格納するために用いられる。
【００７４】
メモリユニット４１２は、システム制御プログラム（例えば、ＢＩＯＳ、オペレーティングシステムモジュール、アプリケーション等）を格納するための高速ランダムアクセスメモリ（ＲＡＭ）及び読み出し専用メモリ（ＲＯＭ）等のシステムメモリを備え得る。
【００７５】
１つの実施形態では、メモリユニット４１２は、オペレーティングシステムモジュール４１４を備えることに留意されたい。
【００７６】
オペレーティングシステムモジュール４１４は、様々なタイプのものたり得ることに留意されたい。
【００７７】
１つの実施形態では、オペレーティングシステムモジュール４１４はアップル（登録商標）社製OS X Yosemiteとされる。別の実施形態では、オペレーティングシステムモジュール４１４はLinux（登録商標）Ubuntu（登録商標）18.04とされる。
【００７８】
メモリユニット４１２は、合成的に匿名化されたデータを生成するためのアプリケーション４１６をさらに備える。
【００７９】
メモリユニット４１２は、合成的に匿名化されたデータを生成するためのアプリケーション４１６によって用いられるモデルをさらに備える。
【００８０】
メモリユニット４１２は、合成的に匿名化されたデータを生成するためのアプリケーション４１６によって用いられるデータをさらに備える。
【００８１】
図１に戻るに、処理ステップ１００によれば、匿名化すべき第１のデータが提供される。
【００８２】
匿名化すべき第１のデータは、様々な実施形態に従って提供され得るということに留意されたい。ある実施形態によれば、匿名化すべき第１のデータはコンピュータ４００のメモリユニット４１２から取得される。
【００８３】
別の実施形態によれば、匿名化すべき第１のデータはコンピュータ４００と対話しているユーザによって提供される。
【００８４】
また別の実施形態によれば、匿名化すべき第１のデータはコンピュータ４００と動作可能に結合されたリモート処理ユニットから取得される。様々な実施形態によれば、リモート処理ユニットは、コンピュータ４００と一緒に動作可能に結合されていることができるということに留意されたい。１つの実施形態では、リモート処理ユニットは、ＬＡＮ、都市規模ネットワーク（ＭＡＮ、Metropolitan Area Network）、及び広域ネットワーク（ＷＡＮ、Wide Area Network）の少なくとも１つを含む群から選択されたデータネットワークを介して、コンピュータ４００と動作可能に結合されている。１つの実施形態では、データネットワークはインターネットを含む。
【００８５】
上述のように、１つの実施形態では、匿名化すべき第１のデータは患者データを含むということに留意されたい。
【００８６】
処理ステップ１０１によれば、データ特徴を備えるデータ埋め込みを提供する。データ特徴は対応するデータの表現を可能とし、また、データは第１のデータを代表するものであるということに留意されたい。
【００８７】
１つの実施形態では、データ埋め込みは、表現学習タスクに関してディープな生成的モデルをデータ自体に対して訓練することによって取得している（例えば、“RepresentationLearning: A Review and New Perspectives - arXiv:1206.5538”、“Variational Lossy Autoencoder. arXiv:1611.02731”、“Neural Discrete Representation Learning - arXiv:1711.00937”、“Privacy-preserving Generative Deep Neural Networks Support Clinical Data Sharing - bioarxkiv:159756”を参照。）。
【００８８】
また、データ埋め込みは、様々な実施形態に従って提供され得るということに留意されたい。ある実施形態によれば、データ埋め込みはコンピュータ４００のメモリユニット４１２から取得される。
【００８９】
別の実施形態によれば、データ埋め込みはコンピュータ４００と対話しているユーザによって提供される。
【００９０】
また別の実施形態によれば、データ埋め込みはコンピュータ４００と動作可能に結合されたリモート処理ユニットから取得される。
【００９１】
図１を参照し続けて、処理ステップ１０２によれば、識別可能特徴を備える識別子埋め込みを提供する。識別可能特徴はデータ及び第１のデータの識別を可能とするということに留意されたい。
【００９２】
当業者ならば、識別可能特徴を備える識別子埋め込みは、様々な実施形態に従って提供され得るということを理解できよう。
【００９３】
図２を参照すると、当該図には、識別可能特徴を備える識別子埋め込みを提供するための実施形態が示されている。
【００９４】
処理ステップ２００によれば、識別可能特徴を識別するために用いられるデータが取得される。
【００９５】
特徴を識別するために用いられるデータは様々なタイプのものたり得ることに留意されたい。１つの実施形態では、識別可能特徴を識別するために用いられるデータは、提供された第１のデータの少なくとも１つの部分を含む。
【００９６】
別の実施形態によれば、識別可能特徴を識別するために用いられるデータは、処理ステップ１００に従って提供された第１のデータとは異なるデータたり得る。
【００９７】
識別可能特徴を識別するために用いられるデータは、様々な実施形態に従って提供され得るということにも留意されたい。
【００９８】
ある実施形態によれば、識別可能特徴を識別するために用いられるデータは、コンピュータ４００のメモリユニット４１２から取得される。
【００９９】
別の実施形態によれば、識別可能特徴を識別するために用いられるデータは、コンピュータ４００と対話しているユーザによって提供される。
【０１００】
また別の実施形態によれば、識別可能特徴を識別するために用いられるデータは、上述のように、コンピュータ４００と動作可能に結合されたリモート処理ユニットから取得される。
【０１０１】
処理ステップ２０２によれば、識別可能特徴を識別するために適したモデルが取得される。
【０１０２】
１つの実施形態では、識別可能特徴を識別するために適したモデルは、当業者に知られているシングルショットマルチボックス検出器（ＳＳＤ、Single Shot MultiBox Detector）モデルである。当業者ならば、識別可能特徴を識別するために適したモデルに関しては、様々な代替的実施形態を提供できると理解できよう。例を挙げるに、そして別の実施形態によれば、識別可能特徴を識別するために適したモデルは当業者に知られているＹＯＬＯ（You Only Look Once）モデルとされる。
【０１０３】
識別可能特徴を識別するために適したモデルは、様々な実施形態に従って提供され得るということにも留意されたい。
【０１０４】
ある実施形態によれば、識別可能特徴を識別するために適したモデルは、コンピュータ４００のメモリユニット４１２から取得される。
【０１０５】
別の実施形態によれば、識別可能特徴を識別するために適したモデルは、コンピュータ４００と対話しているユーザによって提供される。
【０１０６】
また別の実施形態によれば、識別可能特徴を識別するために適したモデルは、上述のように、コンピュータ４００と動作可能に結合されたリモート処理ユニットから取得される。
【０１０７】
図２を参照し続けて、処理ステップ２０４によれば、識別可能エンティティの指示が提供される。
【０１０８】
識別可能エンティティの指示は、撮像データ内の形態学的パターン、（スペクトログラムであるにせよ）スペクトルデータ内の音響パターン、１次元データにおけるトレンドパターン等のデータを識別するために用いられ得る要素を指し示すことを理解できよう。
【０１０９】
例を挙げるに、そして患者データの場合について述べるに、識別可能エンティティとは、患者を識別するために用いられ得る要素を指し示す。
【０１１０】
撮像された患者データの文脈においては臓器を用いて患者データを識別し得るのであり、識別可能エンティティについてのそのような指示は次のものの弱い兆候たり得る：撮像患者データレベルでの臓器の存在、一部の撮像患者データ上の臓器境界ボックス、一部の撮像患者データ上の臓器セグメンテーション。患者を識別するために用いられ得る他の追加的要素としては、 例えば頭部ＣＴの場合に直接的又は間接的に取得した顔面の形態計測情報、動画からの歩様、患者の既往歴及び特定の事象の時系列、先天的異常又は外科処置関連の患者特有の形態計測情報等を挙げることができる。
【０１１１】
識別可能エンティティの指示は、様々な実施形態に従って提供され得るということにも留意されたい。
【０１１２】
ある実施形態によれば、識別可能エンティティの指示はコンピュータ４００のメモリユニット４１２から取得される。
【０１１３】
別の実施形態によれば、識別可能エンティティの指示はコンピュータ４００と対話しているユーザによって提供される。
【０１１４】
また別の実施形態によれば、識別可能エンティティの指示は、上述のように、コンピュータ４００と動作可能に結合されたリモート処理ユニットから取得される。
【０１１５】
図２を参照し続けて、処理ステップ２０６によれば、識別子埋め込みが生成される。
【０１１６】
識別子埋め込みは、識別可能特徴を識別するために適したモデルと、識別可能エンティティの指示と、識別可能特徴を識別するために用いられるデータとを用いて、生成されるということに留意されたい。
【０１１７】
１つの実施形態では、識別子埋め込みはコンピュータ４００を用いて生成される。
【０１１８】
図１へと戻るに、処理ステップ１０４によれば、タスク特有特徴を備えるタスク特有埋め込みが生成される。
【０１１９】
タスク特有特徴を備えるタスク特有埋め込みは、様々な実施形態に従って生成され得るということに留意されたい。
【０１２０】
図３を参照すると、当該図には、タスク特有特徴を備えるタスク特有埋め込みを生成するための実施形態が示されている。
【０１２１】
処理ステップ３００によれば、所与のタスクについての指示が取得される。
【０１２２】
上述のように、所与のタスクについての指示は様々なタイプたり得ることに留意されたい。
【０１２３】
所与のタスクについての指示は、様々な実施形態に従って提供され得るということにも留意されたい。
【０１２４】
ある実施形態によれば、所与のタスクについての指示はコンピュータ５００のメモリユニット５１２から取得される。
【０１２５】
別の実施形態によれば、所与のタスクについての指示はコンピュータ５００と対話しているユーザによって提供される。
【０１２６】
また別の実施形態によれば、所与のタスクについての指示は、上述のように、コンピュータ５００と動作可能に結合されたリモート処理ユニットから取得される。
【０１２７】
図３を参照し続けて、処理ステップ３０２によれば、所与のタスクとの関連性を有するクラスについての指示が提供される。
【０１２８】
当業者ならば、所与のタスクとの関連性を有するクラスについての指示は、少なくとも２値（例えば、応答性／非応答性や悪性／良性）又はマルチクラス（例えば、疾患進行、進行なし、疑似進行）である、ということを理解できよう。
【０１２９】
所与のタスクとの関連性を有するクラスについての指示は、様々な実施形態に従って提供され得るということにも留意されたい。
【０１３０】
ある実施形態によれば、所与のタスクとの関連性を有するクラスについての指示はコンピュータ４００のメモリユニット４１２から取得される。
【０１３１】
別の実施形態によれば、所与のタスクとの関連性を有するクラスについての指示はコンピュータ４００と対話しているユーザによって提供される。
【０１３２】
また別の実施形態によれば、所与のタスクとの関連性を有するクラスについての指示は、上述のように、コンピュータ４００と動作可能に結合されたリモート処理ユニットから取得される。
【０１３３】
図３を参照し続けて、処理ステップ３０４によれば、第１のデータの解きほぐしを行うために適したモデルが提供される。
【０１３４】
ある実施形態では、第１のデータの解きほぐしを行うために適したモデルは、本願にて開示されている敵対的学習混合モデル（ＡＭＭ、AdversariallyLearned Mixture Model）である。
【０１３５】
データの解きほぐしを行うために適したモデルに関しては、代替的な実施形態を提供できるということに留意されたい。実際、複雑なデータ分布をモデリングできる任意のモデルを用いることができると考えられている。近年においては、計算困難な確立を近似することを要さない、複雑なデータ分布をモデリングするための強力な枠組みとして、生成的敵対的ネットワーク（ＧＡＮ、Generative Adversarial Network）が注目されていることに留意されたい。上述のように、そして好適実施形態では、ＡＭＭが用いられるのであり、連続的及びカトゴリカル潜在変数の両者を推論する生成的モデルを用いることによってデータに関しての教師付き又は半教師付きのクラスタリングをなすのであり、連続的及びカトゴリカル潜在変数間の依存関係を明示的にモデリングし且つ潜在空間内のカテゴリ間不連続性を除去する単一の敵対的オブジェクティブを用いている。
【０１３６】
第１のデータの解きほぐしを行うために適したモデルは、様々な実施形態に従って提供され得るということに留意されたい。
【０１３７】
ある実施形態によれば、第１のデータの解きほぐしを行うために適したモデルは、コンピュータ４００のメモリユニット４１２から取得される。
【０１３８】
別の実施形態によれば、第１のデータの解きほぐしを行うために適したモデルは、コンピュータ４００と対話しているユーザによって提供される。
【０１３９】
また別の実施形態によれば、第１のデータの解きほぐしを行うために適したモデルは、上述のように、コンピュータ４００と動作可能に結合されたリモート処理ユニットから取得される。
【０１４０】
図３を参照し続けて、処理ステップ３０６によれば、タスク特有埋め込みが生成される。
【０１４１】
タスク特有埋め込みは次のどれかを指し得るということに留意されたい：回帰、分類、クラスタリング、多変量クエリ、密度推定、次元削減、並びに、試験及びマッチング。
【０１４２】
より正確には、タスク特有埋め込みは、取得されたモデルと、所与のタスクとの関連性を有するクラスの指示と、所与のタスクの指示と、データとを用いて生成される。別の実施形態では、タスク特有埋め込みは、取得されたモデルと、所与のタスクとの関連性を有するクラスの指示と、所与のタスクの指示と、第１のデータとを用いて生成される。
【０１４３】
好適な実施形態では、タスク埋め込みのそのような生成は、上述のＡＭＭを用いてなされ得る。別の実施形態では、“Learning Disentangled Representations with Semi-supervised Deep Generative Models - arXiv:1706.00400 [stat.ML]”に従った生成的モデルを用い得る。
【０１４４】
図１に戻るに、処理ステップ１０６によれば、所与のタスクについて合成的に匿名化されたデータが生成される。
【０１４５】
生成するステップは、対応する第１のサンプルが識別子埋め込み内のデータ及び第１のデータの投影から離れて発生することを保証するデータ埋め込みからの第１のサンプルと、対応する第２のサンプルがタスク特有特徴の近くにて発生することを保証するタスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、生成するステップは、第１のサンプル及び第２のサンプルを生成的プロセス内にて更に混合する、ということに留意されたい。生成するステップは、第１のサンプル及び第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する。
【０１４６】
ある実施形態では、対応する第１のサンプルが識別子埋め込み内のデータ及び第１のデータの投影から離れて発生することを保証するデータ埋め込みからの第１のサンプル取得は、例えば“Deep Learning for Sampling from Arbitrary Probability Distributions - arXiv:1801.04211”等に詳述されている棄却サンプリング手法を用いてなされる。
【０１４７】
別の実施形態では、サンプリング処理はマルコフ連鎖モンテカルロ（ＭＣＭＣ、Markov Chain Monte Carlo）サンプリング処理を用いてなされ、その詳細は例えば“Improving Sampling from Generative Autoencoders with Markov Chains - OpenReview ryXZmzNeg - Antonia Creswell, Kai Arulkumaran, Anil Anthony Bharath - 2016/10/30 (更新:2017/01/12) ICLR 2017 会議提出物”に示されている。このことを受け、生成的モデルが事前分布ではなく潜在分布からマッピングをなすように学習するが故に、ＭＣＭＣサンプリング処理を用いて生成的モデルから引き出されるサンプルの品質を向上させることができ、学習された潜在分布が事前分布から離れている場合が特にそうである。
【０１４８】
さらなる実施形態では、サンプリング処理は並行チェックポイント学習（Parallel Checkpointing Learners）手法を含んでおり、それによってサンプルが識別可能埋め込み内の投影された先験的な既知データから離れて発生していても生成的モデルが敵対的サンプルに対してはロバスト性を有していることが担保され、これは未探索領域から取られている蓋然性が高い故に無関係性リスクが潜在的には高いサンプルを棄却することによってなされ、これについては例えば“Towards Safe Deep Learning: Unsupervised Defense Against Generic Adversarial Attacks - OpenReview HyI6s40a-”で詳述されている。
【０１４９】
ある実施形態では、異なる埋め込みから発生したサンプルを混合することは次の文献にて開示されているようになされる：“Conditional Generative Adversarial Nets - arXiv:1411.1784”、“Generative Adversarial Text to Image Synthesis - arXiv:1605.05396”、“PixelBrush: Art Generation from Text with GANs - Jiale Zhi Stanford University”、“RenderGAN: Generating Realistic Labelled Data - arXiv:1611.01331”。
【０１５０】
図１を参照し続けて、処理ステップ１０８によれば、生成済みの合成的に匿名化されたデータが所定のメトリックに関して匿名化されるべき第１のデータと非類似であるかを知るための確認がなされる。処理ステップ１０８は随意的であることに留意されたい。
【０１５１】
所定のメトリックは、当業者に知られている様々なタイプのものたり得ることに留意されたい。
【０１５２】
実際、１つの実施形態では、生成済みの合成的に匿名化されたデータが所定のメトリックに関して匿名化されるべき第１のデータと非類似であるかについての確認は、伝統的な画像類似性測定（“Mitchell H.B. (2010) Image Similarity Measures. In: Image Fusion. Springer, Berlin, Heidelberg”に詳述。）に続いてなされるか、差分プライバシー（“Privacy-Preserving Generative Deep Neural Networks Support Clinical Data Sharing - bioarxkiv:159756”、“L. Sweeney, k-anonymity: A Model for Protecting Privacy, Int. J. Uncertainty, Fuzziness (2002)”に詳述。）に続いてなされる。
【０１５３】
確認することは生成ステップ１０６後になされると開示されているも、当業者ならば、別の実施形態では、 処理ステップ１０８に即してなされる確認することは、処理ステップ１０６内にて開示されている生成処理ステップ内に統合され得るということが分かるであろう（Generating Differentially Private Datasets Using GANs - OpenReview rJv4XWZA-, ICLR 2018に詳述。）。そのような実施形態では、図１に開示されている確認ステップは随意的なステップである。そのような実施形態では、所与のタスクについて合成的に匿名化されたデータを生成するステップは、合成的に匿名化されたデータが所定のメトリックに関して匿名化されるべき第１のデータと非類似であることを確認することを含む。
【０１５４】
処理ステップ１１０によれば、所与のタスクについての生成済みの合成的に匿名化されたデータが提供される。確認が成功した場合、所与のタスクについての生成済みの合成的に匿名化されたデータが提供されるということに留意されたい。
【０１５５】
生成済みの合成的に匿名化されたデータは、様々な実施形態に従って提供され得るということに留意されたい。
【０１５６】
ある実施形態によれば、生成済みの合成的に匿名化されたデータはコンピュータ４００のメモリユニット４１２に格納される。
【０１５７】
また別の実施形態によれば、生成済みの合成的に匿名化されたデータはコンピュータ４００と動作可能に結合されたリモート処理ユニットに提供される。
【０１５８】
別の代替的実施形態では、生成済みの合成的に匿名化されたデータはコンピュータ４００と対話しているユーザに表示される。
【０１５９】
図４を参照し続けて、合成的に匿名化されたデータを生成するためのアプリケーション４１６は、匿名化すべき第１のデータを提供するための命令を含むことに留意されたい。
【０１６０】
合成的に匿名化されたデータを生成するためのアプリケーション４１６は、データ特徴を備えるデータ埋め込みを提供するための命令であって、データ特徴は対応するデータの表現を可能とし、データは第１のデータを代表する、命令をさらに含む。
【０１６１】
合成的に匿名化されたデータを生成するためのアプリケーション４１６は、識別可能特徴を備える識別子埋め込みを提供するための命令をさらに含む。識別可能特徴は第１のデータの識別を可能とするということに留意されたい。
【０１６２】
合成的に匿名化されたデータを生成するためのアプリケーション４１６は、タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するための命令をさらに含む。タスク特有特徴は、所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とすることに留意されたい。
【０１６３】
所与のタスクについて合成的に匿名化されたデータを生成するためのアプリケーションは、所与のタスクについて合成的に匿名化されたデータを生成するための命令であって、生成することは、対応する第１のサンプルが投影された識別可能埋め込み内のデータ及び第１のデータから離れて発生することを保証するデータ埋め込みからの第１のサンプルと、対応する第２のサンプルがタスク特有特徴の近くにて発生することを保証するタスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、生成することは、第１のサンプル及び第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成することを伴う、命令をさらに含む。
【０１６４】
所与のタスクについて合成的に匿名化されたデータを生成するためのアプリケーションは、合成的に匿名化されたデータが所定のメトリックに関して匿名化されるべき第１のデータと非類似であることを確認するための命令をさらに含む。
【０１６５】
所与のタスクについて合成的に匿名化されたデータを生成するためのアプリケーションは、確認が成功した場合に生成済みの合成的に匿名化されたデータを所与のタスクについて提供するための命令をさらに含む。
【０１６６】
実行されるとコンピュータに所与のタスクについて合成的に匿名化されたデータを生成する方法を実行させるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体を開示し、該方法は、匿名化されるべき第１のデータを提供するステップと、データ特徴を備えるデータ埋め込みを提供するステップであって、データ特徴は対応するデータの表現を可能とし、データは第１のデータを代表する、ステップと、識別可能特徴を備える識別子埋め込みを提供するステップであって、識別可能特徴はデータの識別を可能とする、ステップと、タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、タスク特有特徴は所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、所与のタスクについて合成的に匿名化されたデータを生成するステップであって、生成するステップは、対応する第１のサンプルが投影された識別可能埋め込み内のデータ及び第１のデータの投影から離れて発生することを保証するデータ埋め込みからの第１のサンプルと、対応する第２のサンプルがタスク特有特徴の近くにて発生することを保証するタスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、生成するステップは、第１のサンプル及び第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する、ステップと、合成的に匿名化されたデータが所定のメトリックに関して匿名化されるべき第１のデータと非類似であることを確認し、また、確認が成功した場合に生成済みの合成的に匿名化されたデータを所与のタスクについて提供するステップとを含む。
【０１６７】
本願にて開示された方法は様々な理由からして多大な利点を有することが理解できよう。
【０１６８】
実際には、開示された方法の第１の利点としては、匿名化データが所与のタスクに関する更なる研究に耐え得る関連性を有し且つ匿名化データが元データの全般的「ルックアンドフィール」を表すものとしつつ、匿名化処理の設計内にてプライバシーを担保できることを挙げることができる。
【０１６９】
開示された方法の第２の利点としては、（全患者若しくはその亜母集団（sub-population）を表していたり、タスク若しくはそのサブクラス（sub-class）を大域的に表している）匿名化データの具体的特徴について患者プライバシー及び統制を担保しつつ、患者データをオープンイノベーション環境下にて共有することを可能とすることを挙げることができる。
【０１７０】
開示された方法の第３の利点としては、データのどんな切り口がそのようなプライバシーリスクを招来せしめ得るかについて先験的に知らずにしてデータを匿名化する手法を提供できることを挙げることができ、故にそのようなリスクが進化していくにつれて本願開示の方法は、データプライバシー分野における更なる研究開発に適応して且つその利益を享受し得る。
【０１７１】
敵対的学習混合モデル（ＡＭＭ、AdversariallyLearned Mixture Model）
敵対的学習混合モデル（ＡＭＭ、Adversarially Learned Mixture Model）については本願にて後述されていることに留意されたい。先述のように、このモデルは本願にて開示される方法内において有利に用いられ得る。
【０１７２】
2021530792.tif 000003
【０１７３】
2021530792.tif 000004
【０１７４】
ＡＬＩの条件付き変種はDumoulinら(2016)によって検討されており、観測済みのクラス条件変数ｙが導入されている。マッチングされるべき各分布についての結合因数分解は次の通りである：
【数１】
2021530792.tif 000005
【０１７５】
q(x,y)のサンプルはデータから引き出され、p(z)のサンプルはｚについての連続事前分布から引き出され、p(y)のサンプルはｙについてのカテゴリ事前分布から引き出され、両者は辛うじて独立であるということに留意されたい。q(z|y,x)及びp(x|y,z)からのサンプルは、訓練中に最適化されるニューラルネットワークから引き出されることに留意されたい。
【０１７６】
以下においては、q(x,y,z)及びp(x,y,z)についてグラフィカルなモデルが提示されており、これらは条件付きＡＬＩから構築されている。条件付きＡＬＩがカテゴリ変数の完全観測を要求する場合、提示されたモデルは、観測されていない及び部分的に観測されたカテゴリ変数の両方を考慮に入れている。
【０１７７】
敵対的学習混合モデル（ＡＭＭ）
本願にて開示されまた図５で例示されたＡＭＭは、ディープな教師なしデータクラスタリング用の敵対的生成的モデルであることを理解できよう。
【０１７８】
条件付きＡＬＩと同様に、カテゴリ変数を導入してラベルをモデルする。
【０１７９】
もっとも、教師なし設定においては、カテゴリ変数ｙの推定を可能とするために推論分布について異なる因数分解が必要とされる、即ち：
【数２】
2021530792.tif 000006
【０１８０】
q(x)のサンプルは訓練データから引き出され、また、q(y|x),q(z|x,y)又はq(z|x), q(y|x,z)からのサンプルはニューラルネットワークによって生成される。承知のように再パラメータ化技法は離散変数には直接適用できないのであり、カテゴリサンプルを近似するためには幾つかの方法論が提唱されている（Jang et al. “Categorical reparametrization with Gumbel-softmax”. arXiv preprint arXiv:1611.01144, 2016; Maddison et al. “The concrete Distribution: A Continuous Relaxation of Discrete Random Variables.” International Conference on learning representations, 2017を参照。）この実施形態では、Kendall & Galに従うのであり、次式を計算することによってq(y|x)からサンプルが取られる（“What uncertainties do we need in Bayesian deep learning for computer vision? Advances in Neural Information Processing Systems 30, pp. 5580-5590 (2017)を参照）：
【数３】
2021530792.tif 000007
【０１８１】
そして次式を計算することによってq(z|x,y)からサンプリングすることができる：
【数４】
2021530792.tif 000008
【０１８２】
類似のサンプリング戦略を用いて式７内のq(y|x,z)からサンプリングすることができる。
【０１８３】
2021530792.tif 000009
【０１８４】
敵対的値関数（adversarial value function）
Dumoulin et al. (2016)を踏襲するのであり、判別器Ｄと生成器との間での教師なしゲームを記述する値関数は次のように定義される：
【数５】
2021530792.tif 000010
【０１８５】
合計で４つの生成器があることが分かるであろう：２つがエンコーダGy(x)及びGz(x,Gy(x))のためであり、これらはデータサンプルを潜在空間へと写し；２つがデコーダGz(y)及びGx(y,Gz(y))のためであり、これらはサンプルを事前分布から入力空間へと写す。Gz(y)は学習された関数とされるか、又は既知の事前分布によって指定されることができる。最適化手順についての詳細な説明は後述する。
【表１】
2021530792.tif 000011
【０１８６】
半教師付き敵対的学習混合モデル
半教師付き敵対的学習混合モデル（ＳＡＭＭ、Semi-Supervised Adversarially Learned Mixture Model）は、データについて教師付き又は半教師付きのクラスタリング及び分類をなすための敵対的生成的モデルである。ＳＡＭＭを訓練する目的には、同時分布（joint distribution）のペアをマッチングする２つの敵対的ゲームが伴う。教師付きゲームでは推論分布（４）を合成分布（１１）へとマッチングするのであり、次の値関数によって記述される：
【数６】
2021530792.tif 000012
【０１８７】
項：
項１．  所与のタスクについて合成的に匿名化されたデータを生成する方法であって、該方法は、
匿名化されるべき第１のデータを提供するステップと、
データ特徴を備えるデータ埋め込みを提供するステップであって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、ステップと、
識別可能特徴を備える識別子埋め込みを提供するステップであって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、ステップと、
タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、
前記所与のタスクについて合成的に匿名化されたデータを生成するステップであって、前記生成するステップは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成するステップは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する、ステップと、
前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するステップと、を含む、方法。
【０１８８】
項２．  項１に記載の方法において、前記所与のタスクについて合成的に匿名化されたデータを生成するステップは、前記合成的に匿名化されたデータが、所定のメトリックに関して匿名化されるべき前記第１のデータと非類似であることを確認することを含み、前記確認が成功した場合に、前記生成済みの合成的に匿名化されたデータが前記所与のタスクについて提供される、方法。
【０１８９】
項３．  項１から２のいずれか１つに記載の方法において、前記第１のデータは患者データを含む、方法。
【０１９０】
項４．  項１から３のいずれか１つに記載の方法において、前記タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップは、
前記所与のタスクの指示を取得することと、
前記所与のタスクとの関連性を有するクラスの指示を取得することと、
前記所与のタスクについて前記データの解きほぐしを行うために適したモデルを取得することと、
前記取得されたモデルと、前記所与のタスクとの関連性を有する前記クラスの指示と、前記所与のタスクの指示と、前記データとを用いて前記タスク特有埋め込みを生成することと、を含む、方法。
【０１９１】
項５．  項１から４のいずれか１つに記載の方法において、識別可能特徴を備える前記識別子埋め込みを提供するステップは、
前記識別可能特徴を識別するために用いられるデータを取得することと、
前記データ内の前記識別可能特徴を識別するために適したモデルを取得することと、
識別可能エンティティの指示を取得することと、
前記識別可能特徴を識別するために適した前記モデルと、前記識別可能エンティティの指示と、前記識別可能特徴を識別するために用いられる前記データとを用いて前記識別子埋め込みを生成することと、を含む、方法。
【０１９２】
項６．  項５に記載の方法において、前記データは前記識別可能特徴を識別するために用いられるデータを含む、方法。
【０１９３】
項７．  項５に記載の方法において、前記データ内の前記識別可能特徴を識別するために適したモデルは、シングルショットマルチボックス検出器（ＳＳＤ、Single Shot MultiBox Detector）モデルを含む、方法。
【０１９４】
項８．  項４に記載の方法において、前記所与のタスクについて前記データの解きほぐしを行うために適した前記モデルは、訓練に関して教師付き、半教師付き、又は教師なしとされる敵対的学習混合モデル（ＡＭＭ、AdversariallyLearned Mixture Model）のうち１つを含む、方法。
【０１９５】
項９．  項４に記載の方法において、前記識別可能エンティティの指示は、クラス数及び前記データの少なくとも１つに対応するクラスの指示のうち１つを含む、方法。
【０１９６】
項１０．  項５に記載の方法において、前記識別可能エンティティの指示は、少なくとも１つの対応する識別可能エンティティを定める少なくとも１つのボックスを含む、方法。
【０１９７】
項１１．  実行されると、所与のタスクについて合成的に匿名化されたデータを生成する方法をコンピュータに実行させるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、匿名化されるべき第１のデータを提供するステップと、データ特徴を備えるデータ埋め込みを提供するステップであって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、ステップと、識別可能特徴を備える識別子埋め込みを提供するステップであって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、ステップと、タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するステップであって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、ステップと、前記所与のタスクについて合成的に匿名化されたデータを生成するステップであって、前記生成するステップは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成するステップは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成する、ステップと、前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するステップと、を含む、非一時的コンピュータ可読記憶媒体。
【０１９８】
項１２．  コンピュータであって、
中央演算装置と、
表示装置と、
通信ユニットと、
所与のタスクについて合成的に匿名化されたデータを生成するためのアプリケーションを備えるメモリユニットと、を備えるコンピュータであって、前記アプリケーションは、
匿名化されるべき第１のデータを提供するための命令と、
データ特徴を備えるデータ埋め込みを提供するための命令であって、前記データ特徴は対応するデータの表現を可能とし、前記データは前記第１のデータを代表する、命令と、
識別可能特徴を備える識別子埋め込みを提供するための命令であって、前記識別可能特徴は前記データ及び前記第１のデータの識別を可能とする、命令と、
タスクに適したタスク特有特徴を備えるタスク特有埋め込みを提供するための命令であって、前記タスク特有特徴は前記所与のタスクについて関連性を有する異なるクラスの解きほぐしを可能とする、命令と、
前記所与のタスクについて合成的に匿名化されたデータを生成するための命令であって、前記生成することは、対応する第１のサンプルが前記識別子埋め込み内の前記データ及び前記第１のデータの投影から離れて発生することを保証する前記データ埋め込みからの第１のサンプルと、対応する第２のサンプルが前記タスク特有特徴の近くにて発生することを保証する前記タスク特有埋め込みからの第２のサンプルとを備えるサンプルを用いる生成的プロセスを含み、また、前記生成することは、前記第１のサンプル及び前記第２のサンプルを生成的プロセス内にて更に混合して生成済みの合成的に匿名化されたデータを作成することを伴う、命令と、
前記生成済みの合成的に匿名化されたデータを前記所与のタスクについて提供するための命令と、を含む、コンピュータ。
【０１９９】
上述の説明は現在発明者によって考察される具体的な好適実施形態に関するものであるも、広範な観点からの本発明は本願にて説明した要素と機能的に等価なものをも含むということに留意されたい。
【図１】
2021530792.tif 000013
【図２】
2021530792.tif 000014
【図３】
2021530792.tif 000015
【図４】
2021530792.tif 000016
【図５】
2021530792.tif 000017
【国際調査報告】
2021530792.tif 000018
2021530792.tif 000019
2021530792.tif 000020