(57)【要約】【課題】エッジデバイスおよび／またはクラウドの計算能力を活用する。【解決手段】ヘルスケア適用のための連合ラーニングモデルを有する、方法およびシステムが開示される。連合ラーニング用のシステムは、エンドユーザの複数のエッジデバイスと、１つまたは複数の連合ラーナー更新リポジトリと、１つまたは複数のクラウドと、を備える。各エッジデバイスは、連合ラーナー更新リポジトリにテンソルを送るように構成された、連合ラーナーモデルを備える。クラウドは、連合ラーナー更新リポジトリにテンソルを送るように構成された、連合ラーナーモデルを備える。連合ラーナー更新リポジトリは、モデル更新を、エッジデバイスおよびクラウドに送るように構成された、バックエンド構成を備える。【選択図】図１
2020149656.tif 000002
【特許請求の範囲】
【請求項１】
エンドユーザデータを収集して記憶し、前記エンドユーザデータに基づいて取得したテンソル、前記エンドユーザの条件及びメタデータのうち少なくとも１つの情報を送信する、通信ネットワークに接続された、エンドユーザの複数のエッジデバイスと、
パブリックドメインで利用可能なデータに基づいたテンソル、条件及びメタデータのうち少なくとも１つの情報を送信する、通信ネットワークに接続された、クラウドと、
前記エッジデバイスから前記エンドユーザデータに基づいた情報を受信し、受信した情報に基づいてモデル更新を実行し、前記モデル更新を前記エッジデバイスに送信する、リポジトリと、
を備える、連合ラーニングモデルシステム。
【請求項２】
前記エッジデバイスは、前記エンドユーザデータに基づいて取得したテンソル、前記エンドユーザの条件及びメタデータのうち少なくとも１つの情報を送信する、連合ラーナーを備える、請求項１に記載の連合ラーニングモデルシステム。
【請求項３】
前記連合ラーナーは、複数の前記エッジデバイスにおけるテンソルをアンサンブルすることによりモデルを構築又は更新する、請求項２に記載の連合ラーニングモデルシステム。
【請求項４】
前記クラウドは、パブリックドメインで利用可能なデータに基づいたテンソル、条件及びメタデータのうち少なくとも１つの情報を送信する、前記連合ラーナーを備える、請求項２又は請求項３に記載の連合ラーニングモデルシステム。
【請求項５】
前記連合ラーナーは、収集したデータから前記モデル更新を実行する処理、前記モデル更新後の処理、前記リポジトリとの前記モデル更新の共有処理、前記リポジトリからの前記更新モデルの任意ダウンロード処理、及び、前記モデル更新と同様の評価メトリックの共有によるモデル評価処理、のうち少なくとも１つを実行する、請求項２から請求項４のいずれかに記載の連合ラーニングモデルシステム。
【請求項６】
前記エッジデバイスは、複数の前記エッジデバイス間において互いに通信し、協働して計算モデルの構築及び更新を実行する、請求項１から請求項５のいずれかに記載の連合ラーニングモデルシステム。
【請求項７】
前記エッジデバイスは、横方向のテンソルアンサンブルモデルを構築し、更新して前記モデル更新を実行する、請求項６に記載の連合ラーニングモデルシステム。
【請求項８】
前記エッジデバイスは、１対１においてテンソルハンドシェイクしてモデルを構築し、多対１においてテンソルエコノミーモデルを構築し、又は、多対多において自律的に前記テンソルアンサンブルモデルを構築する、請求項７に記載の連合ラーニングモデルシステム。
【請求項９】
前記リポジトリは、前記エッジデバイス及び前記クラウドのうち少なくとも１つから受信した情報に基づいて、前記モデル更新を許可又は拒絶する、請求項１から請求項８のいずれかに記載の連合ラーニングモデルシステム。
【請求項１０】
前記リポジトリは、前記エッジデバイス及び前記クラウドのうち少なくとも１つから受信した前記モデル更新が許可された場合に、前記エンドユーザにおける更新を総計し、前記エッジデバイスのうち、総計された前記モデル更新が利用できる前記エッジデバイスに、前記モデル更新を再配布する、請求項９に記載の連合ラーニングモデルシステム。
【請求項１１】
前記エンドユーザデータに基づいたテンソルは、前記エンドユーザの個人データに基づいて計算された個人モデルである、請求項１から請求項１０のいずれかに記載の連合ラーニングモデルシステム。
【請求項１２】
前記エンドユーザデータは、前記エンドユーザの医療関係データである、請求項１から請求項１１のいずれかに記載の連合ラーニングモデルシステム。
【請求項１３】
前記モデル更新は、臨床試験に関する情報であり、
前記テンソルは、前記エンドユーザデータに基づいて臨床試験に関する推論を実行する、請求項１２に記載の連合ラーニングモデルシステム。
【請求項１４】
前記テンソルは、前記エンドユーザの健康状態に関する推定結果を表し、複数の前記エンドユーザの健康状態を比較する、請求項１２に記載の連合ラーニングモデルシステム。
【請求項１５】
複数のエッジデバイスが、エンドユーザデータを収集して記憶し、前記エンドユーザデータに基づいて取得したテンソル、前記エンドユーザの条件及びメタデータのうち少なくとも１つの情報を送信するステップと、
１又は複数のクラウドが、パブリックドメインで利用可能なデータに基づいたテンソル、条件及びメタデータのうち少なくとも１つの情報を送信するステップと、
１又は複数のリポジトリが、前記エッジデバイスから前記エンドユーザデータに基づいた情報を受信し、受信した情報に基づいてモデル更新を実行し、前記モデル更新を前記エッジデバイスに送信するステップと、
を備える、連合ラーニングモデルシステムの制御方法。
【請求項１６】
コンピュータに、
エンドユーザデータを収集して記憶し、前記エンドユーザデータに基づいて取得したテンソル、前記エンドユーザの条件及びメタデータのうち少なくとも１つの情報を送信する手段、
１又は複数のクラウドが、パブリックドメインで利用可能なデータに基づいたテンソル、条件及びメタデータのうち少なくとも１つの情報を送信する手段、
１又は複数のリポジトリが、前記エッジデバイスから前記エンドユーザデータに基づいた情報を受信し、受信した情報に基づいてモデル更新を実行し、前記モデル更新を前記エッジデバイスに送信する手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示されるシステムおよび方法は、機械学習の分野にある。より具体的には、エッジデバイスおよび／またはクラウドの計算能力を活用した連合機械学習の分野にある。
【背景技術】
【０００２】
従来のソフトウェア（１．０）は、宣言型入力を使用し、決定的論理木に従うが、機械学習（２．０）は、ノイズの多い入力を扱い、確率を使用する。認識論の始まり以来、２つの理論、トップダウン（プラトン理論）とボトムアップ（アリストテレス理論）があった。トップダウンのディープラーニングは、データからではなく理論から始まる。ベイジアンロジックは、生成モデルと確率理論を組み合わせて、データが与えられた場合に特定の答えが正しいという可能性が、どれだけ高いかを計算する。ボトムアップディープラーニングは、理論ではなくデータから始まる。これは、関連性を決定し、パターン認識のための基礎を築くために、大量のデータ（「正しい」データと「誤った」データの両方）にラベル付けすることからなる。教師なしで学習し、全くラベルなしでデータ内のパターンを検出し、クラスタを識別することもできる（因子分析）。
【０００３】
２０１３年から２０１６年にかけての、機械学習技術への関心の新たな時代の後に、２０１６年から２０１９年に及ぶディープラーニング技術の時代が続いた。２０１９年は、我々を、インテリジェントおよび／またはニューロモルフィックコンピューティング、連合ラーニング技術の、次の深いダイブへと導く。
【０００４】
機械学習では、人間は、入力および所望の出力を入力する。その後、出力は、アルゴリズムによって作られたアルゴリズムから来る。生成されたアルゴリズムは、直接プログラムされる必要はないが、アルゴリズムが生成される意味論は、プログラムされている。このようにして、人間は、より低い複雑さの規則で、複雑な振る舞いをコード化する。アルゴリズムをプログラムする必要はないが、これらのニューロンネットワークは、なおも人間によって訓練される必要がある。入力データを、構造化されたやり方で提示する必要がある。従って、データの収集、クリーニング、およびラベル付けには、多くの人間の補助による労力が必要である。モデルを正しい方向に操作することによって、モデルを評価するための努力も必要である。しかし、このように定式化された機械学習の美しさは、それ自体にも、再帰的に適用されることが、認められている。
【０００５】
ディープラーニングは、通常の機械学習とは異なり、データの多層ネットワークを処理することによって、自身を訓練し、人間の介在をほとんど必要としない。ディープラーニングマシンは、自身の間違いから学習する。しかし、正しいフォーマットでデータを収集し、十分な記憶装置および計算力を有する中央計算ノードに、データを送る際に、なおも、膨大な量のフロントエンドの人手を必要とするという課題が、なお残っている。また、技術を超えた社会的レベルでは、近年、データセキュリティ、データ所有権、プライバシー保護、ならびにデータの適切な認証および使用に対する、社会の注目の高まりと共に、計算のためにプライバシーデータをクラウドに転送することへの、新たな懸念が出ている。
【０００６】
連合ラーニングクラウドの一部は、アプリケーションプログラムを使用する、エンドユーザの群集に置き換えられ、アプリケーションプログラムによって、エンドユーザは、データを収集し、これらのアプリケーションプログラムが実行される、デバイスに保存されたデータを、訓練、計算、および評価する。データが保存され計算された場所から、データが離れることはない。デバイスは、「派生的洞察」、技術的にはテンソルの束を、コンピューティングクラウドに送ることによって、データを全体的に連合し、コンピューティングクラウドでは、これらの派生的洞察が平均される。次に、デバイスは、コンピューティングクラウドから、これらのデバイスのローカル予測を改善することができる、更新された行列を受け取る。改善された局所的予測は、再び、更新として、派生的洞察を改善する。連合ラーニングによれば、モデルを更新するために、その生データの全体にわたって送るという負担を負う必要の代わりに、エッジ上のデバイスは、潜在的に匿名化された更新を、モデルに送ることができる。その結果、連合ラーニングは、データがこれらのデバイスを離れることがなく、暗号化された、摂動勾配があるデータを離れることないため、プライバシーの問題を大幅に軽減する。連合ラーニングは、エンドユーザが、デバイスで作成された更新を共有するために、オプトインまたはオプトアウトできるようになるため、所有権の懸念をさらに大幅に軽減する。システム全体に、全体的な単一障害点がなく、ハッカーが何百万もの電話を１つずつハッキングすることができないため、連合ラーニングは、セキュリティ上の問題をさらに大幅に減少させる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示では、連合ラーニング用のシステムおよび方法について述べる。
【課題を解決するための手段】
【０００８】
基本的には、簡潔なアルゴリズムは、機械および内部機構において、ますます複雑な技術で、到着するプロセスのモデルがいつ呼び出されるかに基づく。第１に、コスト関数、例えば、最小化したい問題を、ネットワークがどれだけうまく解決するか、が定義される。第２に、ネットワークは、上記コスト関数でどのように動くかを見るために、一度実行される。第３に、接続の値が調整され、ネットワークは再度実行される。第４に、これら２つの結果の差は、ネットワークが２つの試験の間で動いた、方向または傾斜である。このプロセスは、勾配と呼ばれる。第５に、勾配が下りである場合、接続は、下り方向で変更され、勾配が上りである場合、接続は、反対方向に変更される。ステップ３から５は、どの方向にも改善がなくなるまで、繰り返される。これは、下り勾配を有するシステムは最適化され、その限界、いわゆる局所最小に到着したことを意味する。局所最小から出るためには、値は、確率勾配降下法を用いて、ランダムに変更される。最終的に、正しい勾配のために計算領域を何度もマイニングした後、さらに深い、あるいはグローバルな最小値に到達する。
【０００９】
エッジデバイスおよびクラウドの計算能力を活用した、連合ラーニング用のシステムが、概略的に提供される。システムは、エンドユーザの複数のエッジデバイスと、１つまたは複数の連合ラーナー更新リポジトリと、１つまたは複数のクラウドと、を備える。各エッジデバイスは、連合ラーナー更新リポジトリにテンソルを送るように構成された、連合ラーナーモデルを備える。クラウドは、連合ラーナー更新リポジトリにテンソルを送るように構成された、連合ラーナーモデルを備える。連合ラーナー更新リポジトリは、モデル更新を、エッジデバイスおよびクラウドに送るように構成された、バックエンド構成を備える。
【００１０】
エッジデバイスおよびクラウドの計算能力を利用した連合ラーニングの方法が、概略的に提供される。方法は、連合ラーニングモデルを有する複数のエッジデバイスおよび／またはクラウドにより、テンソルを送出するステップと、連合ラーニングモデルを有する複数のエッジデバイスから、連合ラーニング更新リポジトリにより、テンソルを受信するステップと、連合ラーニング更新リポジトリから、モデル更新を送出するステップと、連合ラーニングモデルを有する、複数のエッジデバイスおよび／またはクラウドから、モデル更新を受信するステップと、を含む。
【００１１】
複数の連合ラーナーを備えた連合ラーニングシステムが、概略的に提供され、各連合ラーナーは、エッジデバイス環境向けに構築された、エンドユーザ側ライブラリとなるように、構成されている。エッジデバイスに収集されたデータからの、このような連合ラーナー更新モデル計算、モデル後処理および、中央の連合ラーナー更新リポジトリとのモデル共有、更新モデルのダウンロード、およびモデル更新のものと類似する、評価メトリックスの共有によるモデル評価である。
【００１２】
連合ラーナー更新リポジトリ、すなわちＦｌｅａ  Ｃｉｒｃｕｓが、概略的に提供され、高い可用性を必要とする、Ｆｌｅａエンドユーザから送られた、モデル更新および評価を収集し、これらの更新を行うために必要な動作と共に、エンドユーザ側更新から更新することができるモデルを整理し、エンドユーザにより送られた条件およびメタデータに基づき、各エンドユーザから提案された更新を、許可または拒絶し、許容されるエンドユーザ更新を、各モデルに対する単一更新に総計し、更新されたモデルを、可用性がある場合にエンドユーザ側に再配布し、モデル評価の集合を、更新で用いられたものと類似する許容性条件に基づき報告すること、に責任を持つ、連合ラーニングバックエンド構成を備える。
【００１３】
この要約は、本発明の、概略的な概念を、効率的に提示するために提供されるものであり、特許請求の範囲を限定するものと解釈されるべきではない。
【００１４】
実施形態の理解を容易にする目的で、添付の図面および説明は、その実施形態、その様々な構造、構成、動作方法、ならびに理解および認識され得る多くの利点を示す。一般的な方法に従い、図面の様々な特徴は、一定の縮尺で描かれていない。反対に、様々な特徴の寸法は、説明および明確さの目的のために拡大または縮小されている。
【図面の簡単な説明】
【００１５】
【図１】本開示の実施形態と一致する、機械学習ワークフローの例示的なコアテンプレートを示すフロー図。
【図２】本開示の実施形態と一致する、複数のエッジデバイスおよび中央コンピューティングクラウドを有する、例示的な連合ラーニングモデルを示す図。
【図３Ａ】本開示の実施形態と一致する、分散型臨床試験用の一対多テンソルを備える、連合ラーナーシステムの、例示的な使用事例を示す図。
【図３Ｂ】本開示の実施形態と一致する、分散型臨床試験のためのＦｌｅａを備える、連合ラーナーシステムの例示的な使用事例を示す図。
【図４】本開示の実施形態と一致する、例示的な連合ラーナーサーカスを示す図。
【図５】本開示の実施形態と一致する、連合ラーナーシステムのテンソルグローバル化の例示的な使用事例を示す図。
【図６Ａ】本開示の実施形態と一致する、データ試験の適用のための連合ラーナーおよび連合ラーナーサーカスを備える、線形訓練試験ならびに適応型および連続学習分散型試験における、連合ラーニングシステムの例示的な使用事例を示す図。
【図６Ｂ】本開示の実施形態と一致する、データ試験の適用のための連合ラーナーおよび連合ラーナーサーカスを備える、線形訓練試験ならびに適応型および連続学習分散型試験における、連合ラーニングシステムの例示的な使用事例を示す図。
【図７】本開示の実施形態と一致する、試験のためのシミュレートされた対照群を備える、連合ラーナーシステムの例示的な使用事例を示す図
【発明を実施するための形態】
【００１６】
本態様の、多くの代替実施形態が、適切かつ考え得るものであり、これらの詳細な実施形態に記載されているように含み、また、本明細書に明示的に示されまたは記載されていない可能性もあるが、明らかな変形例として、または、他の利用可能な情報と組み合わせて、この開示の全体を再調査することに基づき当業者によって明らかに考えられた、代替物を含む。例えば、１つまたは複数の実施形態に関して、図示および説明された特徴は、その特定の組み合わせで明示的に図示および説明されていなくても、別の実施形態と組み合わせて含まれてもよいと考えられる。
【００１７】
効率化のために、参照番号は、図面間で反復される場合があり、他の様々な実施形態の間で、同様の特徴を表すことを意図しているが、これらの特徴は、そのように指定された範囲で、またはそうでなければ当業者に明らかな場合に、各図において実施形態間で明確に示される違いなどの、実施形態間の特定の違いを組み込んでもよい。
【００１８】
ここで、図１を参照すると、この図は、本開示の実施形態と一致する、機械学習ワークフローの例示的なコアテンプレートを示すフロー図である。
【００１９】
いくつかの実施形態において、機械学習ワークフローのコアテンプレートは、４つのステップを含む。ステップ１は、生データを取得するように構成された、データ収集である。ステップ２は、データを正しいフォーマットで準備するように構成された、データ再フォーマットである。ステップ３は、学習アルゴリズムを選択および適用するように構成された、モデリングである。ステップ４は、予測を行うように構成された、予測解析である。これらの予測は、将来のイベントに影響を及ぼす変数である。これらは、テンソルと呼ばれる、多次元行列で表される。
【００２０】
多次元行列、またはテンソルは、それ自身を機械学習技術に対して適応可能にする特定の特徴を有する。コンピュータ上で線形代数演算を行うのは、非常に効率的である。線形化または微分は、線形代数問題として、最適化問題を組み立てることを可能にする。他方の側で、ビッグデータは、テンソルなしでは実行困難な規模に達することが、認識されている。加えて、例えばＴｅｎｓｏｒＬａｂ、Ｍａｔｌａｂパッケージ、Ｇｏｏｇｌｅ  ＴｅｎｓｏｒＦｌｏｗなど、多くのソフトウェアツールが市場に登場し、テンソル計算を容易にしている。加えて、ハードウェアは、ソフトウェアに追従している。例えば、ＮＶＤＩＡ  ＧＰＵ、Ｇｏｏｇｌｅ  ＴＰＵ、Ａｐｐｌｅ  Ａ１１、Ａｍａｚｏｎ  Ｉｎｆｅｒｅｎｔｉａ、ＧｒａｖｉｔｏｎおよびＥｃｈｏ-ｃｈｉｐ、Ｆａｃｅｂｏｏｋ  Ｇｌｏｗ、および、テンソル計算ソフトウェアでテンソルを計算するために特別に作られた、特定用途向け集積回路（ＡＳＩＣ）を製造している様々なテクノロジー企業で、エンジニアのグループがＴｅｎｓｏｒ−ａｃｃｅｌｅｒａｔｏｒチップに取り組んでいる。
【００２１】
ここで、図２を参照すると、この図は、本開示の実施形態と一致する、複数のエッジデバイスおよび中央コンピューティングクラウドを有する、例示的な連合ラーニングモデルを示す図である。
【００２２】
いくつかの実施形態において、システムは、エンドユーザの複数のエッジデバイスと、クラウドと、連合ラーナー更新リポジトリと、を備える。複数のエッジデバイスは、通信ネットワークに電気的に接続され、それぞれ、エンドユーザデータを記憶するように構成されたメモリと、テンソルを送るように構成された連合ラーナーと、を備え、このようなテンソルは、メモリに記憶されたエンドユーザデータに基づき計算される。クラウドは、通信ネットワークに電気的に接続されており、テンソルを送るように構成された連合ラーナーを備え、このようなテンソルは、パブリックドメインで利用可能なデータに基づき計算される。連合ラーナー更新リポジトリは、エッジデバイスおよびクラウドから、テンソルを受信し、エッジデバイスおよびクラウドに、モデル更新を送出するように構成されている。
【００２３】
連合ラーナー（Ｆｌｅａ）は、エッジデバイス環境で収集されたデータからのモデル更新計算、モデル更新後処理および摂動（例えば、プライバシー目的の暗号化およびノイズの導入）、中央のＦｌｅａ更新リポジトリ（すなわちＦｌｅａ  Ｃｉｒｃｕｓ）とのモデル更新の共有、更新されたモデルの任意のダウンロード、およびモデル更新と同様の評価メトリックの共有によるモデル評価、すなわち、Ｆｌｅａ-ｉＯＳ（ｉＰｈｏｎｅ（登録商標）用）、Ｆｌｅａ-Ａｎｄｒｏｉｄ（Ａｎｄｒｏｉｄ携帯用）、Ｆｌｅａ-ｋｕｂｅｒｎｅｔｅｓ（クラウドクライアント用）などを行うためのエッジデバイス環境用に構築された、エンドユーザ側ライブラリとして構成される。
【００２４】
Ｆｌｅａエンドユーザは、（潜在的には、１つまたは複数のｆｌｅａサーカスバックエンドとのタンデムで）互いに通信および協同して、多くのやり方で計算のモデルを構築および更新することができる。これらの構成は、医療リサーチ使用事例の状況で、説明される。
【００２５】
いくつかの実施形態において、Ｆｌｅａエンドユーザは、互いに通信および協同して、横方向テンソルアンサンブルの計算のモデルを、一対一のやり方で構築および更新する。エンドユーザは、また、エンドユーザ自身の試験を、横方向に整理し、勾配を送る中央クラウドリポジトリを選択し、分散されたやり方で、平均勾配を再び得ることもできる。ここでは、社会遺伝学である。
【００２６】
本開示のさらに他の実施形態において、テンソルは、分散型臨床試験用の、一対一のテンソルによる、テンソルハンドシェイク（ｔｅｎｓｏｒｉａｌ  ｈａｎｄｓｈａｋｅ）を機能させるように構成されている。エンドユーザは、また、エンドユーザの試験を、横方向に整理して、中央クラウドディレクトリを選択して、勾配を送り、分散型のやり方で、平均勾配を再び得ることもできる。
【００２７】
いくつかの実施形態において、Ｆｌｅａエンドユーザは、互いに通信および協同して、多対一のやり方で、テンソルエコノミーでの計算のモデルを構築および更新する。分散型臨床試験用のテンソルである。各エンドユーザは、同時に複数の試験を実施するために、複数のスポンサーに呼び出されることができ、同じ基礎データを使用して、新しいテンソルを作成することができる。
【００２８】
本開示のさらに他の実施形態において、分散型臨床試験用の多対一テンソルがある。各エンドユーザは、同じ期間で複数の試験を実施するために、複数のスポンサーに呼び出されることがある。
【００２９】
いくつかの実施形態において、Ｆｌｅａエンドユーザは、互いに通信および協同して、多対多のやり方で、自律的なテンソルアンサンブルにおける計算のモデルを、構築および更新する。アルゴリズムが自身を書き始めるとすぐに、デバイスは、人間の介入なしに互いの間で情報収集を始める。これらは、まさにコロニーで共に働く、アリやミツバチを含む多くの昆虫種のように振る舞い、それらの協調的な振る舞いは、グループ全体の生存を決定する。このグループは、単一の有機体のように機能し、コロニー内の各個体は、体内の細胞のように振る舞い、「超個体」になる。連合ディープラーニングは、巨大な、複雑かつ適応性の社会的力および野心的使命を有する、大きくて賢いものを作製するために、蟻、生物、および蜂のような、これらの小さなプレイヤーのみを必要とする。
【００３０】
本開示のいくつかの他の実施形態において、分散型臨床試験用の多くの多対多テンソルがある。アルゴリズムが自身を書き始めるとすぐに、デバイスは、人間の介入なしに互いの間で情報を集め始めるように構成されている。安価なマイクロコンピュータユニット（ＭＣＵ）を、ほどなく、メイン、ドッキング、またはバッテリ交換なしに、どこでも展開することができる。ＭＣＵは、コロニー内で共に働く、蟻および蜂を含む多くの昆虫種のように振る舞うよう構成することができる。ＭＣＵのグループの協同的な振る舞いは、グループ全体の生存を決定する。グループは、単一の有機体のように機能し、コロニー内の各個体が、体内の細胞のように振る舞い、「超個体」になる。連合ディープラーニングアルゴリズムは、巨大な、複雑かつ適応性の社会的力および野心的使命を有する、大きくて賢いものを作製するために、蟻、生物、および蜂のような、これらの小さなプレイヤーのみを必要とする。
【００３１】
いくつかの実施形態では、Ｆｌｅａエンドユーザは、互いに通信および協同して、一対多のやり方で、垂直テンソルアンサンブルにおける計算モデルを、構築および更新する。連合ラーニングでは、グローバルプロトコルが、１つの中央機関から多くの参加者に送られ、参加者は、エッジデバイスに情報を収集し、情報にラベルを付し、情報をローカルで計算し、その後、参加者は、テンソルを、スポンサーの中央クラウドに送る。これらは、すべてのテンソルを総計し、次いで、更新かつ平均されたテンソルを、各参加者に報告する。
【００３２】
ここで、図３Ａを参照し、この図は、本開示の実施形態と一致する、分散型臨床試験用の一対多テンソルを適用可能な、従来の臨床試験の例示的な使用事例を示す図である。
【００３３】
いくつかの実施形態において、テンソルアンサンブルは、垂直テンソルアンサンブルと呼ばれる、一対多構造において垂直である。ほとんどの臨床試験が、集中化されており、臨床試験は、プロトコルを集中的に作成し、多くのエンドユーザが、身体検査および臨床検査に行くことができる、いくつかのサイトを使用する１つのスポンサーからなる。この手順は、時間がかかり、かつ費用がかかり、主に受託研究機関（ＣＲＯ：Ｃｏｎｔｒａｃｔ  Ｒｅｓｅａｒｃｈ  Ｏｒｇａｎｉｚａｔｉｏｎｓ）に外部委託されている。連合ラーニングでは、グローバルプロトコルが、１つの中央機関から多くのエンドユーザに送られ、エンドユーザは、エッジデバイス、例えばスマートフォンに情報を収集し、情報にラベルを付し、情報をローカルで計算し、その後、結果テンソルは、スポンサーの中央クラウドに送られる。中央機関は、すべてのテンソルを総計し、次いで、更新かつ平均されたテンソルを、エンドユーザのそれぞれに報告する。この一対多のテンソルは、分散型臨床試験を実施するように構成されている。
【００３４】
ここで図３Ｂを参照すると、この図は、本開示の実施形態と一致する、Ｆｌｅａを備える、分散型臨床試験のための１対多テンソルを実行する際の、連合ラーナーシステムの例示的な使用事例を示す図である。
【００３５】
いくつかの実施形態において、デジタル臨床試験、すなわちデータ試験のスポンサーは、エンドユーザのデバイスにインストールされた、アプリケーションプログラムを介して、エンドユーザに対してデータ試験を直接アナウンスする。アプリケーションプログラムを有する、各エンドユーザーデバイスは、インストールされた連合ラーナーとなるように構成されている。デバイスの連合ラーナーは、中央の連合ラーナーサーカスと、データに関するテンソルを共有するように構成されている。中央の連合ラーナーサーカスは、各エンドユーザのデータではなく、グローバルモデルのみを、スポンサーに対して共有するように構成されている。
【００３６】
いくつかの実施形態において、データ試験のスポンサーは、試験を、エンドユーザに直接アナウンスする。エンドユーザは、データ試験に参加する多くの特定サイトから、自由に選択できる。これらの特定サイトのそれぞれは、連合ラーナーサーカスを保持するＣＲＯに接続されるように構成されている。同様に、デバイスの連合ラーナーは、ＣＲＯ連合ラーナーサーカスと、データに関するテンソルを共有するように構成されている。ＣＲＯに集中化された連合ラーナーサーカスは、各エンドユーザのデータではなく、グローバルモデルのみを、スポンサーに対して共有するように構成されている。
【００３７】
これらの実施形態の両方とも、治験審査委員会（ＩＲＢ：Ｉｎｓｔｉｔｕｔｉｏｎａｌ  Ｒｅｖｉｅｗ  Ｂｏａｒｄ）が関わる、従来の臨床試験手順と比較して、臨床試験の効率を劇的に改善する。エンドユーザは、参加している臨床試験の遥かに優れた柔軟性を享受する。一対多の試験は、製薬会社のデータ管理の観点から、ＣＲＯの必要性を低下させる。エンドユーザは、データを共有するのではなく、訓練されたモデルの重みだけを共有する。エンドユーザは、選択され割り当てられたサイトに制限されるのではなく、選択した好みのサイトに移動する選択肢を有する。これはまた、データ品質の問題を招くことなく、より多くの仮想試験が可能であることを意味する。集中型連合ラーナーサーカスまたは認可された連合ラーナーサーカスを有するＣＲＯのいずれかの、連合ラーナーサーカス仲介者が、重みのグローバル平均を行うことができる。製薬会社などのスポンサーは、重みのグローバル平均を行わず、よって、スポンサーによるどのようなバイアスの疑いも除かれる。監査は、重みとアルゴリズムに対して行われ、よって、データ品質のチェックにおける人間のバイアスは、ほとんどなくなる。
【００３８】
ここで、図４を参照すると、この図は、本開示の実施形態と一致する、例示的な連合ラーナーサーカスを示す図である。
【００３９】
Ｆｌｅａは、エンドユーザが所有する、様々なエッジデバイスに埋め込まれるように構成されている。このようなエッジデバイスは、インターネットまたは類似のウェブに接続可能な、任意の電子デバイスとすることができるが、これに限定されない。例えば、携帯電話、スマートウオッチ、自動車または住宅のセンサモジュール、またはクラウドサーバ等である。
【００４０】
Ｆｌｅａ  Ｃｉｒｃｕｓは、高い可用性を必要とする、Ｆｌｅａエンドユーザから送られた、モデル更新および評価を収集し、これらの更新を行うために必要な動作と共に、エンドユーザ側更新から更新することができるモデルを整理し、エンドユーザの提出（例えば、エンドユーザの信用度スコア）の履歴などの条件、およびエンドユーザから送られたメタデータに基づき、各エンドユーザから提案された更新を、許可または拒絶し、許容されるエンドユーザ更新を、各モデルに対する単一更新に総計し、更新されたモデルを、可用性がある場合にエンドユーザ側に再配布し、モデル評価の集合を、更新で用いられたものと類似する許容性条件に基づき報告すること、ならびに、テンソルハンドシェイク、すなわち、連合ラーナーエンドユーザと連合ラーナーサーカスとの間、または連合ラーナーエンドユーザ自身の集団内の情報交換を制御するプロトコルを行うこと、に責任を持つ、連合ラーニングバックエンドとして設計されている。
【００４１】
ここで図５を参照すると、この図は、本開示の実施形態と一致する、連合ラーナーシステムのテンソルグローバル化の例示的な使用事例を示す図である。
【００４２】
いくつかの実施形態において、バイオテクノロジー企業は、パーキンソン病向けに訓練された連合ラーナーモデルを有する。従来、ほとんどの臨床試験は、集中化されている。試験は、プロトコルを集中的に生成し、かつ、多くの参加者が試験およびテストを受けることができるいくつかのサイトを使用する、１つのスポンサーからなる。この手順は、時間がかかり、かつ費用がかかり、主に受託研究機関（ＣＲＯ）に外部委託されている。
【００４３】
しかし、今では、テンソルを操作する我々の技術は発展しているため、任意となりつつある代替案がある。フラットの代わりの臨床試験の分散型構造を、ｎ次元のマニホールドに湾曲させることができる。これは、また、モデルの性質も変える。モデル自体は、単純にテンソルアンサンブルであり、エッジ計算ユニットが、より強力になると、エッジ上の各計算ユニットは、それ自体のモデルを収容することができる。ユニット間で、データ導出されたテンソルだけでなく、モデルアンサンブルも、自由に交換することができる。
【００４４】
Ｆｌｅａ  Ｃｉｒｃｕｓは、少なくとも、連合ラーナーモデルと、多次元行列とが設けられるように、構成されている。モデルから出てくるテンソルは、バイオテクノロジーモデルのテンソルにより平均化される。バイオテクノロジー企業は、グローバルモデルを再び得る。
【００４５】
いくつかの他の実施形態において、連合ラーナーシステムの緊急テンソルモデルによる例示的な使用事例を、説明している。テクノロジー企業は、機能のためにアプリケーションを定期的に使用する、数百万人のメンバーにより使用されているアプリケーションプログラムを有するが、この操作は、データトレール内での、メンバーの興味を明らかにする、デジタルトレースを残す。例えば、誰かがレストランを探す場合がある。この例では、テクノロジー企業は、より良くユーザに奉仕するために、その予測モデルの質を改善する必要がある。テクノロジー企業は、この入力を、Ｆｌｅａ  Ｃｉｒｃｕｓに与え、同期か非同期かで、テンソルを再び得る。これを行うにあたり、エンドユーザの生データは使用されず、エンドユーザのプライバシーは、侵害されない。テクノロジー企業は、母集団全体の興味のグローバルモデルと、特定の予測行動を対象とすることを可能にする、異なる挙動セグメントにおけるより詳細なモデルと、のみを得る。企業は、また、所望の場合は、グローバルテンソルまたは正確なセンサのいずれかを、共有することもできる。データは移送されず、移送されるのは、推論である。
【００４６】
ここで、図６Ａおよび図６Ｂを参照すると、これらの図は、本開示の実施形態と一致する、データ試験の適用のための連合ラーナーおよび連合ラーナーサーカスを備える、線形訓練試験ならびに適応型および連続学習分散型試験における、連合ラーニングシステムの例示的な使用事例を示す図である。
【００４７】
連合ラーナーおよび連合ラーナーサーカスによれば、臨床試験は、サイト訪問を必要としない。サイト訪問に際し、ＣＲＯは、試験がひとたび完了すると、サイト、困難なデータ収集プロセス（著しく時間のかかる）、および／または最終的にデータを分析することから、データを受け取り、これを行うには、膨大な時間とお金がかかる。モデルエラーを修正することは、特に試験の一部が再評価されるべき場合、極めて高価である。連合ラーナーでは、試験はリアルタイムであり、これは特に、試験の終了点が、予測モデルまたは分析として既に構築されているためである。管理者は、水面下で、データ訓練および頻度を制御することができ、ＣＲＯでは、適応性があるのは、人間ではなくアルゴリズムである。試験は、より合理化され、平行化されている。試験の速度は、著しく改善されるが、これは、速度が著しく低下することを意味することもある。フィードバックループは、より高速であり、スポンサーまたはＣＲＯは、早くから試験が正しく動作しているかの、より良いアイディアを得る。
【００４８】
サイトが試験によっても選択されているという条件で、エンドユーザは、自分で選んだサイトを用いることができる。エンドユーザの電話内のデータは、試験の終了点に関係するモデルの訓練に用いられる。分析とモデルは、試験後の完成品ではないが、連合ラーナーと、生きたリアルタイムの関係にあるため、これは、試験の管理者がバイアス、交絡などの問題に、素早く適応できることを意味する。これは、試験を急速に加速させる。エンドユーザは、仮想またはオンサイトとすることができる。加えて、試験では、訓練のためのより多くの次元を提供可能なツールを用いて、実世界データを使用することができる。
【００４９】
ここで、図７を参照すると、この図は、本開示の実施形態と一致する、データ試験の適用のための、シミュレートされた対照群を備える、連合ラーナーシステムの例示的な使用事例を示す図である。
【００５０】
開示された連合ラーナーシステムの、いくつかの実施形態において、合成対照群は、存在する母集団全体の、大規模の収集データを介して、動作するように構成されている。同じ母集団を用いて、類似する母集団のための生成モデルを、訓練することができる。これらの生成モデルは、そのシミュレートされた特性に基づき、母集団のユーティリティに、何十倍もの増加を起こすことができる。
【００５１】
対照または標準治療群に割り当てられている、試験のために募集された患者からデータを収集する代わりに、合成対照群は、日常治療中に生成された健康データなどの情報源から、以前に収集された実世界データを用いたこれらの比較器をモデリングし、これは、電子健康記録、管理請求データ、フィットネストラッカーまたは在宅医療機器からの患者生成データ、疾病登録、過去の臨床試験データなどを含む。これは、クラウドに勾配を送るエッジデバイスを有する連合ラーニングモデルを介して、行うことができる。
【００５２】
合成対照群は、製薬産業および用途に、明らかな利益をもたらす。合成対照群は、対照エンドユーザを登録することを、減らすか、または無くすことができ、効率、効能、および一貫性を改善する。対照エンドユーザを登録する必要性を、減らすか、または無くすことにより、合成対照群は、効率を高め、遅延を減らし、試験費用を低下させ、市場への救命療法を加速することができる。この種のハイブリッド試験設計は、スポンサーに対して、実世界データ要素を規制的試験に導入する、より低リスクのやり方を提示し、かつ、開発の決行か中止かの決定を通知することによる、遅い段階での失敗のリスクも減らすことができる。プラセボ的な恐怖は、患者が臨床試験への不参加を選択する、最大の理由のうちの１つである。この懸念は、個人的な予後が低劣な場合、または現在の標準治療が、限られた効果を有する場合に増大される。標準対照群の代わりに、合成対照群を用いることは、全ての患者が活発な治療を受け、治療割り当てに関する懸念を無くすことを確実にする。合成対照群は、重要な患者の懸念に対処し、かつ、募集への重要な障壁も取り除く。また、シミュレートされた対照群を使用することで、試験の完全性を損ない得る患者の治療、進捗、および副作用の詳細を掲載する疾病支援社会団体に、患者が頼る場合に、盲検解除のリスクを除去することもできる。
【００５３】
いくつかの実施形態において、テンソル双子のために、連合ラーナーシステムを利用することができる。テンソル双子は、最近傍分析として知られるＡＩのサブタイプを用いた、データポイントの最大比率のアルゴリズムマッチングから導出される、最近傍患者を表す。最近傍隣人は、模写を近似するためのＡＩ分析を用いて識別され、模写は、患者の特性に従う正確なコピーに可能な限り近く、最良の治療、結果、さらには予防の通知を助ける、別の人間である。
【００５４】
我々は、治療や病状の結果の他に、人口統計学、生物学的オミックス、生理学、解剖学、および環境に関して、各個人を包括的に特徴付ける情報を用いることができる。
【００５５】
摂動部分空間法（ＰＳＭ）は、通常はロジスティック回帰から得られる、観察された予測子に基づき、グループメンバーシップ、例えば治療または対照グループの予測確率を用いて、反事実グループを作成する。傾向スコアは、また、マッチング用に、または共変量として、単独で、または他のマッチング変数または共変量と一緒に使用することもできる。連合ラーニングでは、連合ラーナーを持つメンバーがデータを送ることができるため、すべてのコーホートを、非常に複雑な方法で適応性になるように構成できる。この場合、これは、メンバーが正規性を再定義し、インシリコで患者として行動を開始し、精密医療の確率論的フォワードモデルを準備するという点まで、メンバーとコーホートとの間の関係を連続的に希薄にする。
【００５６】
開示のいくつかの実施形態において、連合ラーナーシステムは、ファジーなテンソル群集を用いてもよい。かつて、データの収集のみに責任を持っていたデバイスは、下流計算を実行するように構成されるべきである。このような構成は、様々なシナリオに当てはまる。例えば、心拍モニタ、自動血圧ポンプ、天気マイクロステーション等である。計算容量および速度は、劇的に増加した。このようなデバイス間のより高帯域の接続性（例えば、５Ｇによる）の出現により、古風なバッチランナーが、更新されたデータプロセッサを生成し、各デバイスに個別に送り返す、中央位置にデータを送るために、これらのデバイスを必要とする古いパラダイムは、時代遅れとなっている。心拍数モニタが、自身のデータ処理アルゴリズムを更新できるときに、システム全体のオーバーヘッドを招くことは、もはや意味をなさない。そのような心拍数監視システムは、アクセス血圧ポンプおよび気象マイクロステーションのみを必要とする。心拍数モニタの場合と同様に、システム自体によって、システム独自のデータ処理アルゴリズムを更新する能力は、数秒で生死の差が出る可能性がある、ミッションクリティカルな機能に、特に当てはまる。この追加の計算容量および帯域幅を利用するために、各デバイスは、デバイスのネットワークメッシュ内に配置され、かつ、メッシュ内のその近隣の各々から導出できる情報の種類を、デバイスに対して説明する存在論（例えば、プロトコル駆動型）を備えた、デバイス自身の適応性データ処理モジュールと共に配置されるべきである。メッシュ内の各デバイスは、その近隣に対してデバイスの原形のいずれかを、デバイス自体に対してデータ派生更新を、利用可能にするように構成されている。まとめると、それぞれがインテリジェントデータ処理モジュールおよび存在論プロトコルを有する、相互接続されたデバイスのアンサンブルは、ファジィテンソル群集を形成する。このファジィテンソル群集では、集中型モデル構築ワークフローで可能なことに対して、待ち時間やオーバーヘッドに関しては、最適ではないかもしれないが、緊急性の振る舞いは、最小限の機能的同等性で構成されている。５Ｇとモノのインターネット技術により力を与えられて、各デバイスを、物理的かどうかにかかわらず接続し、垂直世界のライブモデルを作成することができる、数百万もの他のスマートデータキャプチャデバイスに、データをストリーミングすることができる。数百万ものグラフィックス処理装置からの豊富な情報は、他のオブジェクトやそのカーボン、シリコンまたはニューロンユーザに、フィードバックすることができる。受動収集は、収益化され、サービスとして並行して存在する次元を生み出すことができる、バーチャルリアリティ（ＶＲ）のサービス産業になることができる。
【００５７】
本開示のいくつかの実施形態では、連合ラーナーモデルを、臨床データおよび基準の連合ラーニングおよび敵対的迅速検査に、適用することができる。データに近いデバイスで行うデータ訓練は、プライバシー管理が不要になる。訓練されたモデルは、基本的に、いつ症状が起こるかを予測しようとし、ユーザが検証することを可能にする。この敵対的生成モデル（ＧＡＮ）は、臨床試験、データ、異常検出を検証するためにリアルワールドエビデンス（ＲＷＥ）で支持された患者シミュレーションを生成するために使用することができる。製薬会社は、これらのモデルを、新しい収入としてライセンス交付することを、可能とすることができる。エンドユーザのシミュレートされたデータは、エンドユーザの遺伝子、エクスポソーム、ファーマコームおよび他のオミックスデータに基づいて予測される（すなわち、確率論的リスク計算機で推論される）。ひとたび、これらのモデルが構築されると、製薬会社は、他のデータ試験でそのモデルを使用して、地上作業分析を行うこともできる。
【００５８】
臨床試験は、消費者ヘルスケア携帯デバイス、例えば、アップルウオッチにより、携帯することもでき、まもなく起こり得る症状を参加者が有すると、ＧＡＮが判断した場合、参加者は、確認または否定を行うことができる。モデルは、次いで、エンドユーザのデバイスで訓練され、モデルだけがサーバーに返送される。その後、モデルは、他の患者でテストされ、何度も検証される。この症状モデルを用いて、類似の薬物に関する既存の臨床試験をシミュレートすることができる。モデルが、研究結果を再現することができれば、次いで、これらのモデルは、これらの種類の薬を中心に、ダッシュボードで使用することができる。
【００５９】
本開示のいくつかの実施形態において、連合ラーニングモデルは、臨床試験の参加者の自動的な資格認定に適用して、高価な人による検証プロセスを無くすことができる。
【００６０】
本開示のいくつかの実施形態において、連合ラーニングモデルは、分散化患者登録に適用することができる。このような登録は、端にあって断片化しているが、権限を持つ人員、すなわちエンドユーザによる“質問”コマンドによって、互いに集めることができる。
【００６１】
本開示のいくつかの実施形態において、連合ラーニングモデルを適用して、どのような個人データも共有することなく、１人のエンドユーザの健康状態を、他の人と比較する、ピアツーピアのヘルスデータ比較器を構成することができる。
【００６２】
本開示のいくつかの実施形態において、連合ラーニングモデルを適用して、第２の意見を配布することができる。１人のエンドユーザが、どのようなデータも公開せずに、個人モデルを新たな医師または市民科学者と共有できるようにすることができる。実データではなく、テンソルが比較される。
【００６３】
本開示のいくつかの実施形態において、連合ラーニングモデルを、モデル異常検出を介して、健康異常検出に適用することができる。テンソルは、母集団に境界外部の異常があることを示すように、構成することができる。いくつかの問題が特定されると、それは医師に上げることができる。
【００６４】
本開示のいくつかの実施形態において、連合ラーニングモデルを、健康指紋に適用することができる。エンドユーザデータに構築されたモデルは、エンドユーザの固有署名とすることができる。モデルは、エンドユーザの健康状態の変化に合わせて、発展する。モデルは、時間内の識別子として用いることができる。
【図１】
2020149656.tif 000003
【図２】
2020149656.tif 000004
【図３Ａ】
2020149656.tif 000005
【図３Ｂ】
2020149656.tif 000006
【図４】
2020149656.tif 000007
【図５】
2020149656.tif 000008
【図６Ａ】
2020149656.tif 000009
【図６Ｂ】
2020149656.tif 000010
【図７】
2020149656.tif 000011