(57)【要約】  畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のための方法が提示される。方法は、第１および第２の撮像モダリティから少なくとも第１および第２の入力画像データセットを得ることを含む。さらに、方法は、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮおよび第２の教師なし学習ＣＮＮをそれぞれ第１および第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行することであって、圧縮表現は、共通の特徴プリミティブおよび対応するマッピング関数を含むことと、共通の特徴プリミティブおよび対応するマッピング関数を特徴プリミティブリポジトリに格納することとを含む。【選択図】図２
2021507327.tif 000002
【特許請求の範囲】
【請求項１】
畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のための方法（２００、３００、４００）であって、
第１の撮像モダリティから第１の入力画像データセット（２２０、３１６）を、および第２の撮像モダリティから第２の入力画像データセット（２２２、３１８）を少なくとも得ること（２０２）と、
前記第１の入力画像データセット（２２０、３１６）に関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮ（１１６）を、および前記第２の入力画像データセット（２２２、３１８）に関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮ（１１６）を共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること（３０８）、ならびに第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０、３１６）で、および第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２、３１８）で共同で訓練して前記入力画像データセット（２２０、２２２、３１６、３１８）の圧縮表現を学習すること（２１４）の少なくとも１つを実行することであって、前記圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むことと、
少なくとも前記１つまたは複数の共通の特徴プリミティブおよび前記対応するマッピング関数を特徴プリミティブリポジトリ（１１８）に格納すること（２１８、３１２）と
を含む、方法（２００、３００、４００）。
【請求項２】
少なくとも１つの目に見えない入力画像データセット（４０４）を得ることと、
前記少なくとも１つの目に見えない入力画像データセット（４０４）に対応する少なくとも１つの学習パラメータおよび少なくとも１つの学習成果（４０８、４２０）を得ること（４０２）と、
前記特徴プリミティブリポジトリ（１１８）を介して、前記少なくとも１つの学習パラメータおよび前記少なくとも１つの学習成果（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよび対応するマッピング関数を得ること（４１２）と、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数に基づいて前記少なくとも１つの目に見えない入力画像データセット（４０４）を学習するためのＣＮＮを構成すること（４１４）と、
少なくとも前記目に見えない入力画像データセット（４０４）の訓練サブセットで前記構成されたＣＮＮを最適化すること（４１６）と、
前記最適化されたＣＮＮを介して前記少なくとも１つの目に見えない入力画像データセット（４０４）を処理して前記少なくとも１つの学習成果（４０８、４２０）を得ること（４１８）と
をさらに含む、請求項１に記載の方法（２００、３００、４００）。
【請求項３】
前記第１の教師あり学習ＣＮＮ（１１６）および前記第２の教師あり学習ＣＮＮ（１１６）を共同で訓練して前記１つまたは複数の共通の特徴プリミティブおよび前記対応するマッピング関数を生成すること（３０８）は、前記第１の教師あり学習ＣＮＮ（１１６）を前記第１の入力画像データセット（２２０、３１６）で、および前記第２の教師あり学習ＣＮＮ（１１６）を前記第２の入力画像データセット（２２２、３１８）で共同で訓練し、前記第１の入力画像データセット（２２０、３１６）および前記第２の入力画像データセット（２２２、３１８）を特徴付ける少なくとも前記１つまたは複数の共通の特徴プリミティブ、ならびに前記第１の教師あり学習ＣＮＮ（１１６）および前記第２の教師あり学習ＣＮＮ（１１６）の前記対応するマッピング関数を得ることを含む、請求項１に記載の方法（２００、３００、４００）。
【請求項４】
前記第２の撮像モダリティに対応する前記第２の入力画像データセット（２２２、３１８）を追加のデータで増強すること（２０８）をさらに含み、前記追加のデータは、強度マッピング関数を介して前記第１の撮像モダリティに対応する前記第１の入力画像データセット（２２０、３１６）を処理することによって得られる、請求項１に記載の方法（２００、３００、４００）。
【請求項５】
前記強度マッピング関数を介して前記第１の撮像モダリティに対応する前記第１の入力画像データセット（２２０、３１６）を処理することは、
前記強度マッピング関数の回帰フレームワークを介して、１つまたは複数の対象に対応する第１の撮像モダリティおよび第２の撮像モダリティからのマルチモダリティ取得を実行することと、
前記強度マッピング関数の前記回帰フレームワークを介して、前記第１の撮像モダリティから前記第２の撮像モダリティへのパッチレベルマッピングを学習し、前記第１の撮像モダリティの強度を前記第２の撮像モダリティにマップすることと
を含む、請求項４に記載の方法（２００、３００、４００）。
【請求項６】
畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のためのインタラクティブ表現学習転送ユニット（１０４）であって、
第１の撮像モダリティから第１の入力画像データセット（２２０、３１６）を、および第２の撮像モダリティから第２の入力画像データセット（２２２、３１８）を少なくとも得て、
前記第１の入力画像データセット（２２０、３１６）に関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮ（１１６）を、および前記第２の入力画像データセット（２２２、３１８）に関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮ（１１６）を共同で訓練して１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０、３１６）で、および第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２、３１８）で共同で訓練して前記入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、前記圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含む
ように構成されたインタラクティブ学習ネットワークコンフィギュレータ（１１２）と、
前記少なくとも１つまたは複数の共通の特徴プリミティブおよび前記対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリ（１１８）と
を備える、インタラクティブ表現学習転送ユニット（１０４）。
【請求項７】
前記インタラクティブ学習ネットワークコンフィギュレータ（１１２）は、
少なくとも１つの目に見えない入力画像データセット（４０４）を得て、
前記少なくとも１つの目に見えない入力画像データセット（４０４）に対応する少なくとも１つの学習パラメータおよび少なくとも１つの学習成果（４０８、４２０）を得て、
前記特徴プリミティブリポジトリ（１１８）を介して、前記少なくとも１つの学習パラメータおよび前記少なくとも１つの学習成果（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよび対応するマッピング関数を得て、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数に基づいて前記少なくとも１つの目に見えない入力画像データセット（４０４）を学習するためのＣＮＮを構成し、
少なくとも前記目に見えない入力画像データセット（４０４）の訓練サブセットで前記構成されたＣＮＮを最適化し、
前記最適化されたＣＮＮを介して前記少なくとも１つの目に見えない入力画像データセット（４０４）を処理して前記少なくとも１つの学習成果（４０８、４２０）を得る
ようにさらに構成される、請求項６に記載のインタラクティブ表現学習転送ユニット（１０４）。
【請求項８】
前記インタラクティブ学習ネットワークコンフィギュレータ（１１２）は、前記第１の教師あり学習ＣＮＮ（１１６）を前記第１の入力画像データセット（２２０、３１６）で、および前記第２の教師あり学習ＣＮＮ（１１６）を前記第２の入力画像データセット（２２２、３１８）で共同で訓練し、前記第１の入力画像データセット（２２０、３１６）および前記第２の入力画像データセット（２２２、３１８）を特徴付ける少なくとも前記１つまたは複数の共通の特徴プリミティブ、ならびに前記第１の教師あり学習ＣＮＮ（１１６）および前記第２の教師あり学習ＣＮＮ（１１６）の前記対応するマッピング関数を得るようにさらに構成される、請求項６に記載のインタラクティブ表現学習転送ユニット（１０４）。
【請求項９】
前記インタラクティブ学習ネットワークコンフィギュレータ（１１２）は、前記第２の撮像モダリティに対応する前記第２の入力画像データセット（２２２、３１８）を追加のデータで増強するようにさらに構成され、前記追加のデータは、強度マッピング関数を介して前記第１の撮像モダリティに対応する前記第１の入力画像データセット（２２０、３１６）を処理することによって得られる、請求項６に記載のインタラクティブ表現学習転送ユニット（１０４）。
【請求項１０】
前記強度マッピング関数は、
１つまたは複数の対象に対応する第１の撮像モダリティおよび第２の撮像モダリティからのマルチモダリティ取得を実行し、
前記第１の撮像モダリティから前記第２の撮像モダリティへのパッチレベルマッピングを学習し、前記第１の撮像モダリティの強度を前記第２の撮像モダリティにマップする
ように構成された回帰フレームワークを含む、請求項９に記載のインタラクティブ表現学習転送ユニット（１０４）。
【請求項１１】
プロセッサユニット（１０８）と、
前記プロセッサユニット（１０８）に動作可能に結合されたメモリユニット（１１０）と、
前記プロセッサユニット（１０８）に動作可能に結合され、
第１の撮像モダリティから第１の入力画像データセット（２２０、３１６）を、および第２の撮像モダリティから第２の入力画像データセット（２２２、３１８）を少なくとも得て、
前記第１の入力画像データセット（２２０、３１６）に関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮ（１１６）を、および前記第２の入力画像データセット（２２２、３１８）に関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮ（１１６）を共同で訓練して１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮ（１１４）を前記第１の入力画像データセット（２２０、３１６）で、および第２の教師なし学習ＣＮＮ（１１４）を前記第２の入力画像データセット（２２２、３１８）で共同で訓練して前記入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、前記圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含む
ように構成されたインタラクティブ学習ネットワークコンフィギュレータ（１１２）、および
前記少なくとも１つまたは複数の共通の特徴プリミティブおよび前記対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリ（１１８）
を備えるインタラクティブ表現学習転送ユニット（１０４）と
を備える、マルチモダリティ転送学習システム（１００）。
【請求項１２】
前記インタラクティブ学習ネットワークコンフィギュレータ（１１２）は、
少なくとも１つの目に見えない入力画像データセット（４０４）を得て、
前記少なくとも１つの目に見えない入力画像データセット（４０４）に対応する少なくとも１つの学習パラメータおよび少なくとも１つの学習成果（４０８、４２０）を得て、
前記特徴プリミティブリポジトリ（１１８）を介して、前記少なくとも１つの学習パラメータおよび前記少なくとも１つの学習成果（４０８、４２０）に対応する少なくとも１つの特徴プリミティブおよび対応するマッピング関数を得て、
前記少なくとも１つの特徴プリミティブおよび前記少なくとも１つのマッピング関数に基づいて前記少なくとも１つの目に見えない入力画像データセット（４０４）を学習するためのＣＮＮを構成し、
少なくとも前記目に見えない入力画像データセット（４０４）の訓練サブセットで前記構成されたＣＮＮを最適化し、
前記最適化されたＣＮＮを介して前記少なくとも１つの目に見えない入力画像データセット（４０４）を処理して前記少なくとも１つの学習成果（４０８、４２０）を得る
ようにさらに構成される、請求項１１に記載のマルチモダリティ転送学習システム（１００）。
【請求項１３】
前記インタラクティブ学習ネットワークコンフィギュレータ（１１２）は、
前記第１の教師あり学習ＣＮＮ（１１６）を前記第１の入力画像データセット（２２０、３１６）で、および前記第２の教師あり学習ＣＮＮ（１１６）を前記第２の入力画像データセット（２２２、３１８）で共同で訓練し、前記第１の入力画像データセット（２２０、３１６）および前記第２の入力画像データセット（２２２、３１８）を特徴付ける少なくとも前記１つまたは複数の共通の特徴プリミティブ、ならびに前記第１の教師あり学習ＣＮＮ（１１６）および前記第２の教師あり学習ＣＮＮ（１１６）の前記対応するマッピング関数を得る
ようにさらに構成される、請求項１１に記載のマルチモダリティ転送学習システム（１００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書の実施形態は、一般に、学習ネットワークで使用するための様々な撮像モダリティから得られた様々な解剖学的構造の医療画像データの転送可能な表現学習を生成するためのシステムおよび方法に関する。具体的には、システムおよび方法は、第１および／または第２の撮像モダリティの物理学および解剖学的構造の生物学に基づいて特徴プリミティブのセットとして医療画像データの表現学習を決定し、他の撮像モダリティからの医療画像データの分類およびセグメンテーションなどの問題を学習するための新しい畳み込みネットワークを構成することを目的とする。
【背景技術】
【０００２】
理解されるように、機械学習は、「明示的にプログラムされることなく学習する能力をコンピュータに与える」コンピュータサイエンスのサブフィールドである。機械学習は、データから学習し、データを予測することができるアルゴリズムの研究および構成を探索する。機械学習では、特徴学習または表現学習は、生データ入力を機械学習タスクで効果的に利用することができる表現に変換する一連の手法である。表現学習は、分類などの機械学習タスクが、数学的にも計算的にも処理に便利な入力を必要とすることが多いという事実によって動機付けられる。しかし、画像、ビデオ、およびセンサ測定などの実際のデータは通常、複雑かつ冗長であり、非常に変動しやすい。したがって、生データから有用な特徴または表現を識別することが望ましい。現在、手動による特徴識別方法は、高価な人間の労力を必要とし、専門家の知識に依存している。また、手動で生成された表現は通例、一般化には向いておらず、したがって効率的な表現学習手法の設計を動機付けし、特徴または表現学習を自動化および一般化する。
【０００３】
さらに、機械学習では、畳み込みニューラルネットワーク（ＣＮＮまたはＣｏｎｖＮｅｔ）または深層畳み込みニューラルネットワークは、フィードフォワード人工ニューラルネットワークの一種であり、そのニューロン間の接続パターンは、動物の視覚皮質の組織に触発されている。畳み込みニューラルネットワーク（ＣＮＮ）は、生物学的に触発された多層パーセプトロンの変形であり、最小限の前処理で視覚皮質の挙動をエミュレートするように設計されている。多層パーセプトロンネットワーク（ＭＬＰ）は、入力データのセットを適切な出力のセットにマップするフィードフォワード人工ニューラルネットワークモデルであることに留意されたい。ＭＬＰは、有向グラフのノードの複数の層を含み、各層は次の層に完全に接続されている。現在の展開では、ＣＮＮは、画像およびビデオ認識、レコメンダシステム、ならびに自然言語処理において幅広い用途を有する。ＣＮＮはまた、重み共有アーキテクチャおよび並進不変特性に基づくシフト不変または空間不変人工ニューラルネットワーク（ＳＩＡＮＮ）としても知られている。
【０００４】
深層ＣＮＮアーキテクチャでは、畳み込み層がコアビルディングブロックであることに留意されたい。畳み込み層に関連付けられたパラメータは、学習可能なフィルタまたはカーネルのセットを含む。フォワードパスの間、各フィルタは、入力ボリュームの幅および高さにわたって畳み込まれ、フィルタの項目と入力との間の点乗積を計算し、そのフィルタの二次元（２Ｄ）活性化マップをもたらす。したがって、ネットワークは、ネットワークが入力における所与の空間位置で特定のタイプの特徴を検出したときに活性化されるフィルタを学習する。深層ＣＮＮアーキテクチャは、典型的には、深層学習する問題専用に構築される。深層学習は、人間のような知覚や意思決定を伴う多くのタスクで効果的であることが知られている。深層学習の典型的な用途は、手書き認識、画像認識、および音声認識である。深層学習手法は、訓練データおよびそのデータに対応する成果を使用することによってネットワークモデルを構成する。ネットワークモデルが構成されると、モデルは成果を決定するための新しいデータで使用することができる。さらに、特定の成果について一度学習された深層学習ネットワークは、関連する成果のために有利に再利用され得ることが理解されよう。
【０００５】
さらに、ＣＮＮは、入力データセットがラベル付けされている教師あり学習に、ならびに入力データセットがラベル付けされていない教師なし学習に使用することができる。ラベル付けされた入力データセットは、データセットの要素がラベルによって表される分類スキームに事前に関連付けられているデータセットである。したがって、ＣＮＮは、データセットのラベル付けされたサブセットで訓練され、別のサブセットでテストされて正確な分類結果を検証し得る。
【０００６】
深層ＣＮＮアーキテクチャは、層が階層的に接続された多層型である。各層の入力から出力へのマッピングおよびフィルタの数が増えると、多層深層ＣＮＮは、その動作のために構成する必要のある膨大な数のパラメータをもたらす可能性がある。そのようなＣＮＮの訓練データが不足している場合、学習する問題は、未決定である。この状況では、事前学習したＣＮＮモデルから特定のパラメータを転送することが有利である。転送学習は、層のサブセットで事前学習したパラメータを凍結することによって最適化されるパラメータの数を減らし、残りの層を調整するための適切な初期化を提供する。医療画像の問題のドメインでは、転送学習を使用して分類および識別の様々な問題のためにＣＮＮを事前構成することは、データが不足している状況、複数の撮像モダリティおよび解剖学的構造による異種データタイプの課題、ならびに他の臨床課題の改善に有利である。
【発明の概要】
【０００７】
本明細書の一態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のための方法が提示される。方法は、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得ることを含む。さらに、方法は、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行することであって、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むことを含む。加えて、方法は、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を特徴プリミティブリポジトリに格納することを含む。
【０００８】
本明細書の別の態様によれば、畳み込みニューラルネットワーク（ＣＮＮ）へのインタラクティブ表現学習転送のためのインタラクティブ表現学習転送（ＩＲＬＴ）ユニットが提示される。ＩＲＬＴユニットは、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得て、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むように構成されたインタラクティブ学習ネットワークコンフィギュレータを含む。さらに、ＩＲＬＴユニットは、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリを含む。
【０００９】
本明細書のさらに別の態様によれば、マルチモダリティ転送学習システムが提示される。マルチモダリティ転送学習システムは、プロセッサユニットと、プロセッサユニットに通信可能かつ動作可能に結合されたメモリユニットとを含む。さらに、マルチモダリティ転送学習システムは、プロセッサユニットに動作可能に結合され、第１の撮像モダリティから第１の入力画像データセットを、および第２の撮像モダリティから第２の入力画像データセットを少なくとも得て、第１の入力画像データセットに関連付けられたラベルに基づいて第１の教師あり学習ＣＮＮを、および第２の入力画像データセットに関連付けられたラベルに基づいて第２の教師あり学習ＣＮＮを共同で訓練して１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成すること、ならびに第１の教師なし学習ＣＮＮを第１の入力画像データセットで、および第２の教師なし学習ＣＮＮを第２の入力画像データセットで共同で訓練して入力画像データセットの圧縮表現を学習することの少なくとも１つを実行し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含むように構成されたインタラクティブ学習ネットワークコンフィギュレータを含むインタラクティブ表現学習転送（ＩＲＬＴ）ユニットを含む。加えて、ＩＲＬＴユニットは、少なくとも１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を格納するように構成された特徴プリミティブリポジトリを含む。
【００１０】
本明細書の実施形態のこれらおよび他の特徴および態様は、以下の詳細な説明を添付の図面を参照して検討することでさらによく理解されると考えられ、添付の図面において、類似の符号は、図面の全体を通して類似の部分を表している。
【図面の簡単な説明】
【００１１】
【図１】本明細書の態様による、特徴オントロジーの深層学習によるインタラクティブ表現学習転送のための例示的なシステムの概略図である。
【図２】本明細書の態様による、ラベル付けされていない画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を示すフローチャートである。
【図３】本明細書の態様による、ラベル付けされた画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を示すフローチャートである。
【図４】本明細書の態様による、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて目に見えないデータセットを学習するための方法を示すフローチャートである。
【図５】本明細書の態様による、インタラクティブ学習ネットワークコンフィギュレータの一実施形態の概略図である。
【発明を実施するための形態】
【００１２】
以下で詳細に説明するように、特徴オントロジーの深層学習によるインタラクティブ表現学習転送のための例示的なシステムおよび方法の様々な実施形態が提示される。これらの実施形態の簡潔な説明を提供しようと努力しても、実際の実施態様のすべての特徴を本明細書に記載することができるというわけではない。エンジニアリングまたは設計プロジェクトなどの実際の実施態様の開発においては、開発者の特定の目的を達成するために、例えばシステム関連および事業関連の制約条件への対応など実施態様に特有の決定を数多くしなければならないことを理解されたい。
【００１３】
本明細書の様々な実施形態の要素を説明するとき、「１つの（ａ、ａｎ）」、「この（ｔｈｅ）」、および「前記（ｓａｉｄ）」という冠詞は、それらの要素が１つまたは複数存在することを意味することを意図している。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語は、包括的であることを意図し、列挙された要素以外にもさらなる要素が存在してもよいことを意味する。さらに、「構築する」および「構成する」という用語ならびにそれらの変形は、数学的決定または数学的構成の計算を意味することを意図している。「任意のドメイン上に描かれたデータ」または「任意のドメイン上のデータ」という用語は、ドメイン、例えば、ソーシャルメディアデータ、センサデータ、企業データなどに対応するデータを意味することを意図している。
【００１４】
本明細書で使用される「転送学習」または「帰納的転送」という用語は、ある問題から異なる関連する問題を解決しながら得られた知識または学習を適用することに焦点を当てた機械学習のアプローチを意味することを意図している。この知識または学習は、典型的には伝達関数、マッピング関数、グラフ、行列、および他のプリミティブの組み合わせおよび変形によって、様々な方法で特徴付けおよび／または表現することができる。また、本明細書で使用される「転送学習プリミティブ」という用語は、上述の機械学習問題を解決することによって得られる知識または学習の特徴付けおよび／または表現を意味することを意図している。
【００１５】
さらに、本明細書で使用される「特徴プリミティブ」という用語は、入力データセットの態様の特徴付け、典型的には、解剖学的構造の画像に対応する関心領域（ＲＯＩ）の外観、形状ジオメトリ、または形態を意味することを意図しており、画像は、超音波撮像システム、コンピュータ断層撮影（ＣＴ）撮像システム、陽電子放射断層撮影−ＣＴ（ＰＥＴ−ＣＴ）撮像システム、磁気共鳴（ＭＲ）撮像システムなどの撮像モダリティから得ることができる。また、解剖学的構造は、限定はしないが、肺、肝臓、腎臓、胃、心臓、脳などの人体の内部器官を含んでもよい。
【００１６】
本明細書の態様による、特徴オントロジーの深層学習によるインタラクティブ表現学習転送のための例示的なシステム１００が図１に示されている。現在考えられている図１の構成では、システム１００は、マルチモダリティ転送学習（ＭＴＬ）サブシステム１０２を含む。ＭＴＬサブシステム１０２は、インタラクティブ表現学習転送（ＩＲＬＴ）ユニット１０４と、プロセッサユニット１０８と、メモリユニット１１０と、ユーザインターフェース１０６とを含む。プロセッサユニット１０８は、メモリユニット１１０に通信可能に結合される。ユーザインターフェース１０６は、ＩＲＬＴユニット１０４に動作可能に結合される。また、ＩＲＬＴユニット１０４は、プロセッサユニット１０８およびメモリユニット１１０に動作可能に結合される。システム１００および／またはＭＴＬサブシステム１０２は、ディスプレイユニット１３４を含み得る。ＭＴＬサブシステム１０２は、他の構成要素またはハードウェアを含むことができ、図１に示す構成要素に限定されないことに留意されたい。
【００１７】
ユーザインターフェース１０６は、入力画像１２８の特性に対応するユーザ入力１３０を受信するように構成される。ユーザ入力１３０は、限定はしないが、撮像モダリティ、入力画像１２８によって一般に表される解剖学的構造、入力画像１２８に対応するＲＯＩの外観などの入力画像１２８の態様または特性を含み得る。
【００１８】
特定の実施形態では、ＩＲＬＴユニット１０４は、１つまたは複数のプロセッサユニット１０８を介して実行可能であり、メモリユニット１１０に格納されるソフトウェアシステムまたはコンピュータ命令として実装されてもよい。他の実施形態では、ＩＲＬＴユニット１０４は、例えば、ＦＰＧＡ、カスタムチップ、集積回路（ＩＣ）、特定用途向けＩＣ（ＡＳＩＣ）などを介してハードウェアシステムとして実装されてもよい。
【００１９】
図１に示されるように、ＩＲＬＴユニット１０４は、インタラクティブ学習ネットワークコンフィギュレータ（ＩＬＮＣ）１１２と、教師なし学習用に構成された１つまたは複数のＣＮＮ（教師なし学習ＣＮＮ）１１４と、教師あり学習用に構成された１つまたは複数のＣＮＮ（教師あり学習ＣＮＮ）１１６と、特徴プリミティブリポジトリ１１８とを含み得る。ＩＬＮＣ１１２は、教師なし学習ＣＮＮ１１４、教師あり学習ＣＮＮ１１６、および特徴プリミティブリポジトリ１１８に動作可能に結合される。一実施形態では、ＩＮＬＣ１１２は、ユーザが１つまたは複数の教師あり学習ＣＮＮ１１６または教師なし学習ＣＮＮ１１４を構成することを可能にするように構成されたグラフィカルユーザインターフェースサブシステムであり得る。
【００２０】
特徴プリミティブリポジトリ１１８は、入力画像１２８のＲＯＩに対応する１つまたは複数の特徴プリミティブおよび１つまたは複数の対応するマッピング関数を格納するように構成される。本明細書で使用される「マッピング関数」という用語は、ＣＮＮの出力がＲＯＩの態様に基づいて入力画像１２８のＲＯＩを特徴付ける特徴プリミティブになるようにＲＯＩを圧縮表現にマップする伝達関数またはＣＮＮフィルタを表すことを意図している。一例では、ＲＯＩの態様は、形状ジオメトリ、外観、形態などを含み得る。したがって、特徴プリミティブリポジトリ１１８は、１つまたは複数のマッピング関数を格納するように構成される。これらのマッピング関数は、対応する特徴プリミティブと併せて、ＣＮＮを事前構成して新しい訓練セットを学習するために使用することができる。したがって、特徴プリミティブリポジトリ１１８は、他のＣＮＮから得られた転送学習である特徴プリミティブおよびマッピング関数を格納し、新しいＣＮＮを事前構成して目に見えないデータセットを学習するように構成される。図１に示すように、特徴プリミティブリポジトリ１１８が格納するように構成される特徴プリミティブのいくつかの非限定的な例は、画像１２８のＲＯＩに対応する外観１２０、画像１２８のＲＯＩに対応する形状ジオメトリ１２４、および画像１２８に対応する解剖学的構造１２６を特徴付ける特徴プリミティブを含む。
【００２１】
現在考えられている図１の構成では、ＩＬＮＣ１１２は、入力画像１２８に対応するＲＯＩの１つまたは複数の態様をインタラクティブに特徴付けるための様々なツールおよびオプションをユーザに提示するように構成される。ＩＬＮＣ１１２の例示的な実施形態が図５に示されており、ＩＬＮＣ１１２の作業は、図４および図５を参照してより詳細に説明される。
【００２２】
システム１００は、特徴プリミティブおよびマッピング関数のポートフォリオを特徴プリミティブリポジトリ１１８に格納される１つまたは複数の解剖学的構造および撮像モダリティにわたって開発するように構成される。その後、システム１００は、ＩＬＮＣ１１２をユーザに提供し、ユーザが目に見えない画像データセットの１つまたは複数のＲＯＩに対応するモダリティ、解剖学的構造、形状ジオメトリ、形態などの選択に基づいて新しい目に見えない画像データセットを学習するためにＣＮＮを事前構成することを可能にする。例として、ＣＮＮの１つの学習成果は、画像データセットを分類する分類スキームであり得る。学習成果の他の非限定的な例は、ピクセルレベルのセグメンテーション、回帰などを含んでもよい。システム１００の作業は、図２〜図５を参照してより詳細に説明される。
【００２３】
加えて、システム１００および／またはＭＴＬサブシステム１０２は、特徴プリミティブ、マッピング関数、画像データセットなどの１つまたは複数をディスプレイユニット１３４上で視覚化するように構成され得る。
【００２４】
次に図２を参照すると、本明細書の態様による、ラベル付けされていない画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を概して表すフローチャート２００が提示される。方法２００は、図１の構成要素を参照して説明される。
【００２５】
フローチャート２００は、ラベル付けされていない画像データから特徴プリミティブのセットを構築し、特徴プリミティブリポジトリ１１８などの特徴プリミティブリポジトリを増強するための方法の主要なステップを示すことに留意されたい。いくつかの実施形態では、図２の方法２００の様々なステップ、より具体的には、ステップ２０２〜２０８は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ２１０は、メモリユニット１１０および１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。また、ステップ２１４〜２１６は、メモリユニット１１０および１つまたは複数の教師なし学習ＣＮＮ１１４と併せてプロセッサユニット１０８によって実行され得る。
【００２６】
方法２００は、ステップ２０２で開始し、第１の撮像モダリティおよび第２の撮像モダリティに対応する少なくとも第１の入力画像データセット２２０および第２の入力画像データセット２２２が得られる。一実施形態では、第１および第２の入力画像データセット２２０、２２２は、肝臓、肺、腎臓、心臓、脳、胃などの人体の解剖学的構造に対応し得る。また、第１および第２の撮像モダリティは、超音波撮像システム、ＭＲ撮像システム、ＣＴ撮像システム、ＰＥＴ−ＣＴ撮像システム、またはそれらの組み合わせを含み得る。
【００２７】
ステップ２０４において、入力画像データセット２２０、２２２がラベル付けされているかどうかを決定するためにチェックが実施される。前述のように、入力画像データセットを参照するラベルは、形状ジオメトリ、外観、形態など、入力画像の態様を特徴付ける分類スキームまたはスコアを概して表すものとすることができる。ステップ２０４において、入力画像データセットがラベル付けされていると決定される場合、制御はステップ２１０に移り、第１のＣＮＮおよび第２のＣＮＮは、入力画像データセット２２０、２２２の教師あり学習用に構成される。ステップ２１０は、図３を参照してより詳細に説明される。ステップ２１０に続いて、方法２００は、ステップ２１２によって示されるように終了する。
【００２８】
再びステップ２０４を参照すると、入力画像データセットがラベル付けされていないと決定される場合、制御はステップ２０６に移り、第２のチェックが実施され、第１の入力画像データセット２２０および第２の入力画像データセット２２２が１つまたは複数のＣＮＮを適切に訓練するのに十分なデータを含むかどうかを決定する。ステップ２０６において、第１および第２の入力画像データセット２２０、２２２が十分なデータを含むと決定される場合、制御はステップ２１４に移る。しかし、ステップ２０６において、第１および第２の入力画像データセット２２０、２２２が十分なデータを有さないと決定されると、制御はステップ２０８に移る。
【００２９】
一例では、ステップ２０８において、第１の入力画像データセット２２０が十分なデータを含み、第２の入力画像データセット２２２が十分なデータを含まないと決定され得る。したがって、この例では、ステップ２０８において、第２の撮像モダリティに対応する第２の入力画像データセット２２２は、追加のデータで増強される。第２の入力画像データセット２２２を増強するための追加のデータは、強度マッピング関数を介して第１の撮像モダリティに対応する第１の入力画像データセット２２０を処理することによって得ることができる。強度マッピング関数の１つの非限定的な例は、１つまたは複数の対象、例えば、ＣＴおよびＭＲに対応する第１の撮像モダリティおよび第２の撮像モダリティの使用を介してマルチモダリティ取得を行い、深層学習、手作りの強度特徴、またはそれらの組み合わせを使用して、第１のモダリティから第２のモダリティへのパッチレベルマッピングを学習し、第１のモダリティの強度を第２のモダリティにマップする回帰フレームワークを含むことができる。その後、制御はステップ２１４に移る。
【００３０】
ステップ２１４において、第１の教師なし学習ＣＮＮおよび第２の教師なし学習ＣＮＮは、第１の入力画像データセット２２０および第２の入力画像データセット２２２で共同で訓練されて入力画像データセット２２０、２２２の圧縮表現を学習し、圧縮表現は、１つまたは複数の共通の特徴プリミティブおよび対応するマッピング関数を含む。
【００３１】
１つまたは複数の特徴プリミティブは、第１の入力画像データセット２２０の画像の態様を特徴付ける。マッピング関数は、入力画像データセットを対応する特徴プリミティブにマップすることに留意されたい。一実施形態では、マッピング関数は、式（１）に従って定義することができる。
【００３２】
【数１】
2021507327.tif 000003
式（１）において、ｈＣＴは、画像ＰＣＴの関心領域がマッピング関数ｆおよび重み
【００３３】
【数２】
2021507327.tif 000004
を使用してマップされるときに得られる特徴プリミティブのセットである。この例では、画像ＰＣＴは、ＣＴ撮像システムの使用を介して得られた画像に対応する。
【００３４】
ステップ２１４の結果として、第１の撮像モダリティおよび第２の撮像モダリティに対応する１つまたは複数のマッピング関数が生成されることに留意されたい。これらのマッピング関数は、第１および第２の入力画像データセット２２０、２２２を同じ特徴プリミティブにマップすることに留意されたい。一実施形態では、第２のマッピング関数は、式（２）に従って定義することができる。
【００３５】
【数３】
2021507327.tif 000005
式（２）において、ｈＭＲは、画像ＰＭＲの関心領域がマッピング関数ｆおよび重み
【００３６】
【数４】
2021507327.tif 000006
を使用してマップされるときに得られる特徴プリミティブのセットである。この例では、画像ＰＭＲは、ＭＲ撮像システムを使用して得られる。
【００３７】
さらに、ステップ２１８において、少なくとも１つまたは複数の特徴プリミティブおよび対応するマッピング関数は、特徴プリミティブリポジトリ１１８に格納される。次に、制御はステップ２１２に移り、方法２００を終了する。
【００３８】
次に図３を参照すると、本明細書の態様による、ラベル付けされた画像データから特徴プリミティブのセットを構築して特徴プリミティブリポジトリを増強するための方法を概して表すフローチャート３００が提示される。より具体的には、方法３００は、より詳細に図２のステップ２１０を説明する。また、方法３００は、図１の構成要素を参照して説明される。
【００３９】
フローチャート３００は、ラベル付けされた画像データから特徴プリミティブのセットを構築し、特徴プリミティブリポジトリを増強するための方法の主要なステップを示すことに留意されたい。いくつかの実施形態では、図３の方法３００の様々なステップ、より具体的には、ステップ３０２〜３０８は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ３１０〜３１４は、メモリユニット１１０および１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。
【００４０】
方法３００は、ステップ３０２で開始し、少なくとも第１の撮像モダリティおよび第２の撮像モダリティに対応する少なくとも第１の入力画像データセット３１６および第２の入力画像データセット３１８が得られる。一実施形態では、第１および第２の入力画像データセット３１６、３１８は、人体の解剖学的構造、例えば、肝臓、肺、腎臓、心臓、脳、胃などに対応し得る。また、第１および第２の撮像モダリティは、超音波撮像システム、ＭＲ撮像システム、ＣＴ撮像システム、ＰＥＴ−ＣＴ撮像システム、またはそれらの組み合わせを含み得る。１つまたは複数の教師ありＣＮＮの学習成果は、第１および第２の入力画像データセット３１６、３１８における画像の分類であり得ることに留意されたい。
【００４１】
ステップ３０４において、チェックが実施され、第１の入力画像データセット３１６および第２の入力画像データセット３１８が１つまたは複数のＣＮＮを適切に訓練するのに十分なデータを含むかどうかを決定する。ステップ３０４において、第１および第２の入力画像データセット３１６、３１８が十分なデータを含むと決定される場合、制御はステップ３０８に移る。しかし、ステップ３０４において、第１および第２の入力画像データセット３１６、３１８が十分なデータを有さないと決定されると、制御はステップ３０６に移る。一例では、ステップ３０６において、第１の入力画像データセット３１６が十分なデータを含み、第２の入力画像データセット３１８が十分なデータを含まないと決定され得る。したがって、この例では、ステップ３０６において、第２のモダリティに対応する第２の入力画像データセット３１８は、追加のデータで増強される。追加のデータは、強度マッピング関数を介して第１の撮像モダリティに対応する第１の入力画像データセット３１６を処理することによって得られることに留意されたい。前述のように、強度マッピング関数の１つの非限定的な例は、１つまたは複数の対象、例えば、ＣＴおよびＭＲに対応する第１の撮像モダリティおよび第２の撮像モダリティの使用を介してマルチモダリティ取得を行い、深層学習、手作りの強度特徴、またはそれらの組み合わせを使用して、第１のモダリティから第２のモダリティへのパッチレベルマッピングを学習し、第１のモダリティの強度を第２のモダリティにマップする回帰フレームワークを含むことができる。その後、制御はステップ３０８に移る。
【００４２】
さらに、ステップ３０８において、第１の教師あり学習ＣＮＮおよび第２の教師あり学習ＣＮＮは、第１の入力画像データセット３１６に関連付けられたラベルおよび第２の入力画像データセット３１８に関連付けられたラベルに基づいて共同で訓練され、１つまたは複数の特徴プリミティブおよび対応するマッピング関数を生成する。
【００４３】
一実施形態では、学習成果は、第１の入力画像データセット３１６の画像の態様および第２の入力画像データセット３１８の画像の態様ならびに対応するマッピング関数を特徴付ける１つまたは複数の特徴プリミティブを含むことができ、マッピング関数は、対応する第１の入力画像データセット３１６および第２の入力画像データセット３１８を１つまたは複数の特徴プリミティブにマップする。したがって、特徴プリミティブは、第１の入力画像データセット３１６および第２の入力画像データセット３１８を取得するために使用される撮像モダリティから独立している。次にステップ３１２を参照すると、１つまたは複数の特徴プリミティブおよび対応するマッピング関数は、特徴プリミティブリポジトリに格納される。
【００４４】
上述の方法２００および３００は、複数のモダリティにわたる複数の解剖学的構造に対して生成された画像に対応する特徴プリミティブおよびマッピング関数のポートフォリオの作成を可能にする。特徴プリミティブおよびマッピング関数は、特徴プリミティブリポジトリ１１８に格納される。また、特徴プリミティブおよびマッピング関数のこのポートフォリオは、入力画像データセットを用いたＣＮＮの訓練で得られた学習を特徴付ける。さらに、学習を転送して新しいＣＮＮを事前構成し、異なる目に見えないデータセットの学習成果を得ることができる。
【００４５】
前述を念頭に置いて、図４は、本明細書の態様による、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて目に見えないデータセットを学習するための方法を図示するフローチャート４００を示す。方法４００は、図１、図２および図３を参照して説明される。フローチャート４００は、ＣＮＮをマッピング関数で事前構成して特徴プリミティブの選択に基づいて目に見えないデータセットを学習するための方法４００の主要なステップを示すことに留意されたい。いくつかの実施形態では、図４の方法４００の様々なステップ、より具体的には、ステップ４０２〜４０６は、メモリユニット１１０およびＩＲＬＴユニット１０４のＩＬＮＣ１１２と併せてプロセッサユニット１０８によって実行され得る。さらに、ステップ４０８〜４１０は、メモリユニット１１０および１つまたは複数の教師あり学習ＣＮＮ１１６と併せてプロセッサユニット１０８によって実行されてもよい。
【００４６】
方法４００は、ステップ４０２で開始し、少なくとも１つの入力画像データセット４０４を得ることができる。少なくとも１つの入力画像データセット４０４は、目に見えない入力画像データセットを表す。加えて、入力画像データセット４０４に対応する少なくとも１つの学習パラメータ４０６および学習成果４０８を得ることができる。特定の実施形態では、入力画像データセット４０４、学習パラメータ４０６、および学習成果４０８は、ユーザ入力４１０として得られてもよい。一実施形態では、学習パラメータ４０６は、撮像モダリティ、画像解剖学的構造、またはそれらの組み合わせを含むことができる。また、学習成果４０８は、分類スキーム、回帰スキーム、またはセグメンテーションのようなピクセルレベルの出力を含み得る。
【００４７】
ステップ４１２において、学習パラメータ４０６および学習成果４０８に対応する少なくとも１つの特徴プリミティブおよび対応するマッピング関数が特徴プリミティブリポジトリ１１８から得られる。その後、ＣＮＮは、ステップ４１４によって示されるように、少なくとも１つの特徴プリミティブおよび少なくとも１つのマッピング関数を使用して入力画像データセット４０４を学習するように構成される。特定の実施形態では、ＣＮＮの構成は、特徴プリミティブリポジトリ１１８から得られた１つまたは複数のフィルタをマッピング関数に設定することを伴う場合がある。ステップ４１４の処理の結果として、事前構成されたＣＮＮが生成される。さらに、ステップ４１６において、事前構成されたＣＮＮは、少なくとも入力画像データセット４０４の訓練サブセットで最適化される。
【００４８】
一実施形態では、第１の撮像モダリティに対応するラベル付けされたデータを使用する教師あり学習用の訓練された畳み込みオートエンコーダ（ＣＡＥ）は、式（３）に従って、いくつかのパラメータで入力画像データセット４０４に適合される。
【００４９】
【数５】
2021507327.tif 000007
式（３）において、ｗは、第１の撮像モダリティに対応する画像Ｐ１の関心領域がマッピング関数ｆおよび重み
【００５０】
【数６】
2021507327.tif 000008
を使用してマップされるときに得られる特徴プリミティブのセットであり、αは、ＣＡＥパラメータの疎なセットである。このようにして、フィルタの数を減らすことができる。ＣＡＥパラメータαは、少なくとも入力画像データセット４０４の訓練サブセットでさらに最適化され得る。このようにして、第２の撮像モダリティに対応する教師あり学習の問題について、学習用のフレームワークは、以下の定式化に従って定義され得る。
【００５１】
【数７】
2021507327.tif 000009
定式化（４）では、式（３）で得られたマッピング関数ｆは、第２の撮像モダリティに対応する画像の関心領域に対応するマッピング関数
【００５２】
【数８】
2021507327.tif 000010
に適用される。その後、ステップ４１８において、入力画像データセット４０４は、最適化されたＣＮＮを介して処理され、要求された学習成果４０８に対応する学習成果４２０を得る。
【００５３】
方法４００で実施されるワークフローは、図５を参照してより詳細に説明される。図５は、本明細書の態様による、図１のインタラクティブ表現学習転送ユニット１０４のインタラクティブ学習ネットワークコンフィギュレータ１１２の一実施形態の概略図５００である。図５に示されるように、ブロック図５００は、図１に示すＩＬＮＣ１１２を概して表す。参照番号５０２〜５０８は、それぞれ撮像モダリティ、解剖学的構造、外観、および形状ジオメトリに対応する特徴プリミティブの視覚化を概して表す。視覚化５０２〜５０８のデータは、図１の特徴プリミティブリポジトリ１１８から得ることができる。
【００５４】
図５では、ＩＬＮＣ５００は、インタラクティブなメニューの選択をユーザに提供する。特に、ＩＬＮＣ５００を使用して、ユーザは、ＣＮＮによって学習される目に見えない画像データセットの１つまたは複数の態様を選択することができる。参照番号５１０〜５１６は、目に見えない画像データセットの特徴付けを支援するためにユーザにとって利用可能であり得るインタラクティブなメニューオプションを概して表す。例として、参照番号５１０は、目に見えない画像データセットの撮像モダリティに関係し得る。ブロック５１０のメニューオプションは、ＣＴ、ＭＲ、ＰＥＴ、超音波などを含み得る。同様に、参照番号５１２〜５１６は、目に見えない画像データセットのそれぞれ外観、形状ジオメトリ、および解剖学的構造に関係するメニューオプションを示し得る。
【００５５】
インタラクティブなメニューからユーザによって行われた選択により、メニュー選択に対応する特徴プリミティブおよびマッピング関数によるＣＮＮの事前構成が可能になる。参照番号５１８は、事前構成されたＣＮＮの視覚化を概して表す。特定の実施形態では、参照番号５１８は、図１のＩＲＬＴユニット１０４の１つまたは複数の教師あり学習ＣＮＮ１１６に対応し得る。加えて、ユーザは、ブロック５０２〜５０８の特徴プリミティブをグラフィカルに閲覧、視覚化、および組み合わせて、事前構成されたＣＮＮ５１８を作成することができる。
【００５６】
上述の特徴オントロジーの深層学習によるインタラクティブ表現学習転送のためのシステムおよび方法は、学習した特徴プリミティブおよびマッピング関数のポートフォリオを組み合わせてＣＮＮを構成し、新しい医療画像分析の問題を解決することができる転送学習パラダイムを提供する。有利には、ＣＮＮは、画像の外観および形態を学習するように訓練され得る。例として、腫瘍は、斑点、円柱、円形、明るい／暗いまたは縞模様などに分類され得る。全体として、ネットワークは、解剖学的構造、モダリティ、外観、および形態（形状ジオメトリ）の様々な組み合わせに対して訓練され、事前学習した特徴を今ある新しい問題に即座に転送するように構成された豊富なポートフォリオを生成することができる。
【００５７】
任意の実施形態に従って、上述したすべてのそのような物体または利点が必ずしも達成することができるわけではないことを理解されたい。したがって、例えば、当業者には明らかなように、本明細書に記載のシステムおよび手法は、本明細書で教示または示唆されるように他の目的または利点を必ずしも達成することなく、本明細書で教示される１つの利点または１群の利点を達成または改善する態様で具現化または実施されてもよい。
【００５８】
本技術は限られた数の実施形態のみに関連して詳細に説明されているが、本明細書がそのような開示された実施形態に限定されないことは容易に理解されるべきである。むしろ、本技術は、これまでに説明されていないが特許請求の範囲の精神および範囲に相応する、任意の数の変形、代替、置換または同等の構成を組み込むように修正することができる。加えて、本技術の様々な実施形態が説明されているが、本明細書の態様は、説明した実施形態のいくつかのみを含んでもよいことを理解されたい。したがって、本明細書は、前述の説明によって限定されるべきではなく、添付の特許請求の範囲によってのみ限定される。
【符号の説明】
【００５９】
１００  システム
１０２  マルチモダリティ転送学習（ＭＴＬ）サブシステム
１０４  インタラクティブ表現学習転送（ＩＲＬＴ）ユニット
１０６  ユーザインターフェース
１０８  プロセッサユニット
１１０  メモリユニット
１１２  インタラクティブ学習ネットワークコンフィギュレータ（ＩＬＮＣ）
１１４  教師なし学習畳み込みニューラルネットワーク（ＣＮＮ）
１１６  教師あり学習ＣＮＮ
１１８  特徴プリミティブリポジトリ
１２０  外観
１２４  形状ジオメトリ
１２６  解剖学的構造
１２８  入力画像
１３０  ユーザ入力
１３４  ディスプレイユニット
２００  フローチャート、方法
２０２  ステップ
２０４  ステップ
２０６  ステップ
２０８  ステップ
２１０  ステップ
２１２  ステップ
２１４  ステップ
２１６  ステップ
２１８  ステップ
２２０  第１の入力画像データセット
２２２  第２の入力画像データセット
３００  フローチャート、方法
３０２  ステップ
３０４  ステップ
３０６  ステップ
３０８  ステップ
３１０  ステップ
３１２  ステップ
３１４  ステップ
３１６  第１の入力画像データセット
３１８  第２の入力画像データセット
４００  フローチャート、方法
４０２  ステップ
４０４  入力画像データセット
４０６  学習パラメータ
４０８  学習成果
４１０  ユーザ入力
４１２  ステップ
４１４  ステップ
４１６  ステップ
４１８  ステップ
４２０  学習成果
５００  概略図、ブロック図、ＩＬＮＣ
５０２  視覚化、ブロック
５０４  視覚化、ブロック
５０６  視覚化、ブロック
５０８  視覚化、ブロック
５１０  ブロック
５１２  ブロック
５１４  ブロック
５１６  ブロック
５１８  事前構成されたＣＮＮ
【図１】
2021507327.tif 000011
【図２】
2021507327.tif 000012
【図３】
2021507327.tif 000013
【図４】
2021507327.tif 000014
【図５】
2021507327.tif 000015
【国際調査報告】
2021507327.tif 000016
2021507327.tif 000017