(57)【要約】行われるべき処理タスクに従って結合特徴マップを生成する装置を開示し、該装置は１つより多くのモダリティを受信しまた１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成する特徴マップ生成装置を含み、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成され、少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置も含まれ；結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らすものである。【選択図】図１
2019512829.tif 000002
【特許請求の範囲】
【請求項１】
タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置であって、該ベクトル生成用装置は、
結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、
第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、
特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを備える、ベクトル生成用装置。
【請求項２】
請求項１に記載の結合特徴マップ生成装置において、前記初期訓練は擬似カリキュラム学習スキームに従って行われ、全モダリティが提示された少数回の反復後にはモダリティがランダムにドロップされる、結合特徴マップ生成装置。
【請求項３】
請求項１に記載の結合特徴マップ生成装置において、前記１つより多くの対応する変換の各々は、少なくとも複数レベルの非線形演算で構成される機械学習モデルを含む、結合特徴マップ生成装置。
【請求項４】
請求項１に記載の結合特徴マップ生成装置において、前記１つより多くの対応する変換の各々は、１つより多くの畳み込みニューラルネットワークのレイヤとそれに続く完全接続レイヤとで構成されている、結合特徴マップ生成装置。
【請求項５】
請求項１に記載の結合特徴マップ生成装置において、生成された前記１つより多くの対応する特徴マップの各々は多項式、放射基底関数、及びシグモイドカーネルの１つを用いて表される、結合特徴マップ生成装置。
【請求項６】
請求項１に記載の結合特徴マップ生成装置において、行われるべき前記処理タスクは、画像セグメンテーション、画像分類、画像検出、画素毎の分類及び画像内における斑点の検出からなる群から選択された画像処理タスクを含む、結合特徴マップ生成装置。
【請求項７】
請求項１に記載のタスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置において、前記第２の特徴マップ生成装置の前記少なくとも１つの対応する変換の各々は、非線形演算及び線形演算の少なくとも１つについてのレベルを少なくとも１つ含む機械学習モデルを含む、ベクトル生成用装置。
【請求項８】
実行されるとタスクを処理する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、
タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、
結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、
第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、
特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、
訓練データを用いて、前記結合特徴マップ生成装置と前記第２の特徴マップ生成装置とを訓練するステップと、
前記ベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、
少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【請求項９】
実行されるとタスクを行う方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、
タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成する訓練済みのベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、
結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、
第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、
特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、
前記訓練済みのベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、
少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【請求項１０】
処理装置であって、
中央処理装置と、
表示装置と、
前記処理装置を各々がユーザに携帯される複数の携帯型処理装置に動作可能に接続する通信ポートと、
タスクを処理するアプリケーションを含む記憶装置であって、該アプリケーションは、
タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップに関する命令であって、該ベクトル生成用装置は、 結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、 第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、 特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップに関する命令と、
訓練データを用いて、前記結合特徴マップ生成装置と前記第２の特徴マップ生成装置とを訓練するステップに関する命令と、
前記ベクトル生成用装置に少なくとも１つのモダリティを提供するステップに関する命令と、
少なくとも１つの数値を伴う対応するベクトルを取得するステップに関する命令とを含む、処理装置。
【請求項１１】
複数のモダリティを処理する方法であって、前記処理は少なくとも１つのモダリティの欠如に関してロバスト性を有しており、該方法は、
複数のモダリティを受信するステップと、
それぞれの変換を用いて前記複数のモダリティのうちの各モダリティを処理して少なくとも１つの対応する数値を含むそれぞれの特徴マップを生成するステップであって、前記それぞれの変換は相互独立的に働くのであり、前記それぞれの変換は少なくとも複数レベルの非線形演算で構成される機械学習モデルを含む、ステップと、
取得された前記数値を少なくとも１つの結合演算を用いて処理して取得された前記数値についての少なくとも１つの結合表現を生成するステップであって、前記少なくとも１つの結合演算は、生成された前記１つより多くの特徴マップの各々の各対応する数値を 取得された前記数値の前記少なくとも１つの結合表現内の数値に迄減らす計算を含む、ステップと、
取得された前記数値についての前記少なくとも１つの結合表現を、前記複数のモダリティについての前記処理を行うための非線形演算及び線形演算の少なくとも１つについてのレベルを少なくとも１つ含む機械学習モデルを用いて処理するステップとを含む、方法。
【請求項１２】
行われるべき処理タスクに従って結合特徴マップを生成する結合特徴マップ生成装置であって、該結合特徴マップ生成装置は、
１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成する特徴マップ生成装置であって、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成される、特徴マップ生成装置と、
少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置であって、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合装置とを含む、結合特徴マップ生成装置。
【請求項１３】
請求項１に記載の結合特徴マップ生成装置において、前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを結合することは、１つより多くの結合演算に従って行われ、各結合演算は相互独立である、結合特徴マップ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理に関する。より正確には、本発明は情報不足に対しての堅牢性を有するタスク処理用の方法及びシステムに関する。
【０００２】
関連出願への相互参照
本願は、２０１６年３月１７日に出願された米国仮特許出願第６２／３０９，６８２号の優先権を主張するのであり、その対象は参照によって取り込まれる。
【背景技術】
【０００３】
医療画像分析においては、画像セグメンテーション等の画像処理は重要なタスクであり、臨床診療において病変の重症度を視覚化及び定量化するに際しては根本的な役割を果たす。多モダリティイメージングでは、相補的情報を提供して特定の組織、構造物及び病変の判別を目指す。もっとも、手動での領域分割は長期を要し、骨の折れる作業であり、人によって一定ではない。最近の数十年においては、医療画像セグメンテーションを自動化するための幾つものセグメンテーション手法が開発されてきた。
【０００４】
これらの方法は、マルチアトラス法及びモデルベースド法という２つの分類上の区分に分けることができる。
【０００５】
マルチアトラス系手法では、領域分割の対象とされている客体とエキスパートラベルが付されている画像たるマルチアトラスとの間のオンライン強度における類似性を推定する。これらのマルチアトラス系手法は、非線形レジストレーションを用いる構造区分に関する局面（非特許文献１１）において卓越した結果をもたらしており；また、非ローカルな手法と組み合わされた際には拡散しおりかつスパースな病変の領域分割化に関しても効果的であり（即ち、多発性硬化症（ＭＳ）の病変部（非特許文献７））、また、より複雑な多ラベル病変（即ち、膠芽細胞腫（非特許文献４））の場合についてもそうである。マルチアトラス系手法は、画像強度及び空間的類似性に依拠しており、これらはアトラスによって完全に記述することは難しい場合があり、画像前処理に大きく依存している。
【０００６】
対照的に、モデルベースド法は、通常はオフラインで訓練されて画像強度特徴についての判別モデルを特定する。これらの特徴は、ユーザによって予め定義されるか（例えば、ランダム決定フォレスト（ＲＤＦ、random decision forest）内で決定される場合（非特許文献５））、又は、自動的に抽出されて画像から直接にヒエラルキカルに学習されることができる（非特許文献２）。
【０００７】
典型的、両戦略は、多モーダル画像に関しての特定のセットについて最適化されており、通常はこれらのモダリティが利用可能となっていることを要する。臨床環境下では、画像取得及び患者アーチファクト等の困難により、全てのモダリティに関して十分に活用することは困難であり、故に所定の場面において１つ以上のモダリティが欠損している場合がよくある。この課題は新しいものではなく、不足データ分析との主題は統計学の側面から膨大な文献数を生じさせている（例えば、非特許文献２３）。医療イメージングにおいては幾つかの手法が提唱されており、幾つかの手法では、不足しているモダリティに関して特定のモデルを再訓練すること、又は、それらを合成することを要する（非特許文献９）。合成を用いると、不足モダリティの情報を単純分類器（例えば、ＲＤＦ）のコンテキストで追加することによって、多モーダル分類を改善することができる（非特許文献２１）。部分的な特徴について、完全な特徴セットをもって訓練した分類器を用いて模倣する手法も提唱されている（非特許文献１０）。
【０００８】
典型的な畳み込みニューラルネットワーク（ＣＮＮ、convolutional neural network）アーキテクチャは、多平面画像を入力として受け付けて、一連の畳み込みレイヤ（その後には、ＲｅＬＵ（・）≡ｍａｘ（０，・）等の非線形なものもあり得る。）と交互に設けられた随意的なプーリングレイヤのシーケンスを通して処理することによって、画素毎の又は画像毎の出力をもたらす（非特許文献６）。このようなネットワークでは、どの入力平面も所定のインスタンス内に存在するものとみなされる。なぜならば、一番最初の畳み込みレイヤが全ての平面からの入力値をミキシングするのであり、任意の不足している平面が計算内にバイアスであってネットワークが対処できるようにされていないバイアスを導入してしまうからである。
【０００９】
したがって、上述の欠点の少なくとも１つ以上を解決する方法及びシステムをもたらす必要がある。
【００１０】
本発明の特徴は後述の開示内容、図面、及び説明を検討することによって明らかとなる。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Bengio, Y., Louradour, J., Collobert, R., Weston, J.: Curriculum learning. In: Proceedings of the 26th annual international conference on machine learning. pp. 41- 48. ACM (2009)
【非特許文献２】Brosch, T., Yoo, Y., Tang, L.Y.W., Li, D.K.B., Traboulsee, A., Tam, R.: Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III, chap. Deep Convolutional Encoder Networks for Multiple Sclerosis Lesion Segmentation, pp. 3-11. Springer International Publishing, Cham (2015)
【非特許文献３】Chollet, F.: keras. https://github.com/fchollet/keras (2015)
【非特許文献４】Cordier, N., Delingette, H., Ayache, N.: A patch-based approach for the segmentation of pathologies: Application to glioma labelling. IEEE Transactions on Medical Imaging PP(99), 1-1 (2016)
【非特許文献５】Geremia, E., Menze, B.H., Ayache, N.: Spatially adaptive random forests pp. 1344- 1347 (2013)
【非特許文献６】Goodfellow, I., Bengio, Y., Courville, A.: Deep learning (2016), http://goodfeli.github.io/dlbook/, book in preparation for MIT Press
【非特許文献７】Guizard, N., Coupe, P., Fonov, V.S., Manjon, J.V., Arnold, D.L., Collins, D.L.:  Rotation-invariant multi-contrast non-local means for ms lesion segmentation. NeuroImage: Clinical 8, 376-389 (2015)
【非特許文献８】Havaei, M., Davy, A., Warde-Farley, D., Biard, A., Courville, A., Bengio, Y., Pal, C., Jodoin, P.M., Larochelle, H.: Brain tumor segmentation with deep neural networks. arXiv preprint arXiv:1505.03540 (2015)
【非特許文献９】Hofmann, M., Steinke, F., Scheel, V., Charpiat, G., Farquhar, J., Aschoff, P., Brady, M., Scholkopf, B., Pichler, B.J.: MRI-based attenuation correction for PET/MRI: a novel approach combining pattern recognition and atlas registration. Journal of Nuclear Medicine 49(11), 1875-1883 (2008)
【非特許文献１０】Hor, S., Moradi, M.: Scandent tree: A random forest learning method for incomplete multimodal datasets. In: Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015, pp. 694-701. Springer (2015)
【非特許文献１１】Iglesias, J.E., Sabuncu, M.R.: Multi-atlas segmentation of biomedical images: A survey. Medical image analysis 24(1), 205-219 (2015)
【非特許文献１２】Long, J., Shelhamer, E., Darrell, T.: Fully convolutional networks for semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 3431-3440 (2015)
【非特許文献１３】Menze, B., Jakab, A., Bauer, S., Kalpathy-Cramer, J., Farahani, K., Kirby, J.e.a.: The multimodal brain tumor image segmentation benchmark (brats). Medical Imaging, IEEE Transactions on 34(10), 1993-2024 (Oct 2015)
【非特許文献１４】Mikolov, T., Sutskever, I., Chen, K., Corrado, G.S., Dean, J.: Distributed representations of words and phrases and their compositionality. In: Advances in neural information processing systems. pp. 3111-3119 (2013)
【非特許文献１５】Sled, J.G., Zijdenbos, A.P., Evans, A.C.: A nonparametric method for automatic correction of intensity nonuniformity in mri data. Medical Imaging, IEEE Trans- actions on 17(1), 87-97 (1998)
【非特許文献１６】Souplet, J., Lebrun, C., Ayache, N., Malandain, G.: An automatic segmentation of T2-FLAIR multiple sclerosis lesions (07 2008)
【非特許文献１７】Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., Salakhutdinov, R.: Dropout: A simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research 15(1), 1929-1958 (2014)
【非特許文献１８】Styner, M., Lee, J., Chin, B., Chin, M., Commowick, O., Tran, H., Markovic-Plese, S., Jewells, V., Warfield, S.: 3d segmentation in the clinic: A grand challenge ii: Ms lesion segmentation. MIDAS Journal 2008, 1-6 (2008)
【非特許文献１９】Sutskever, I., Martens, J., Dahl, G., Hinton, G.: On the importance of initialization and momentum in deep learning. In: Proceedings of the 30th international conference on machine learning (ICML-13). pp. 1139-1147 (2013)
【非特許文献２０】Sutskever, I., Vinyals, O., Le, Q.V.: Sequence to sequence learning with neural networks. In: Advances in neural information processing systems. pp. 3104-3112 (2014)
【非特許文献２１】Tulder, G., Bruijne, M.: Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part I, chap. Why Does Synthesized Data Improve Multi-sequence Classification?, pp. 531-538. Springer International Publishing, Cham (2015)
【非特許文献２２】Tustison, N.J., Shrinidhi, K., Wintermark, M., Durst, C.R., Kandel, B.M., Gee, J.C., Grossman, M.C., Avants, B.B.: Optimal symmetric multimodal templates and concatenated random forests for supervised brain tumor segmentation (simplified) with antsr. Neuroinformatics 13(2), 209-225 (2015)
【非特許文献２３】Van Buuren, S.: Flexible imputation of missing data. CRC press (2012)
【非特許文献２４】Vincent, P., Larochelle, H., Bengio, Y., Manzagol, P.A.: Extracting and composing robust features with denoising autoencoders. In: Proceedings of the 25th international conference on Machine learning. pp. 1096-1103. ACM (2008)
【非特許文献２５】Xu, K., Ba, J., Kiros, R., Cho, K., Courville, A., Salakhudinov, R., Zemel, R., Ben- gio, Y.: Show, attend and tell: Neural image caption generation with visual attention. In: Blei, D., Bach, F. (eds.) Proceedings of the 32nd International Conference on Machine Learning (ICML-15). pp. 2048-2057. JMLR Workshop and Conference Proceedings (2015), http://jmlr.org/proceedings/papers/v37/xuc15.pdf
【非特許文献２６】Zhao, L., Wu, W., Corso, J.J.: Medical Image Computing and Computer-Assisted Intervention - MICCAI 2013:  16th International Conference, Nagoya, Japan, September 22-26, 2013, Proceedings, Part III, chap. Semi-automatic Brain Tumor Segmentation by Constrained MRFs Using Structural Trajectories, pp. 567-575. Springer Berlin Heidelberg, Berlin, Heidelberg (2013), http://dx.doi.org/10.1007/978-3-642-40760-4_71
【発明の概要】
【発明が解決しようとする課題】
【００１２】
広範な態様によれば、次のベクトル生成用装置が開示されている。即ち、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置であって、該ベクトル生成用装置は、結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成され、結合装置は少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされ、少なくとも１つの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、特徴マップ処理装置であって、該特徴マップ処理装置は生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを備える、ベクトル生成用装置。
【００１３】
実施形態によれば、初期訓練は擬似カリキュラム学習スキームに従って行われ、全モダリティが提示された少数回の反復後にはモダリティがランダムにドロップされる。
【００１４】
実施形態によれば、１つより多くの対応する変換の各々は、少なくとも複数レベルの非線形演算で構成される機械学習モデルを含む。
【００１５】
実施形態によれば、１つより多くの対応する変換の各々は、１つより多くの畳み込みニューラルネットワークのレイヤとそれに続く完全接続レイヤとで構成されている。
【００１６】
実施形態によれば、生成された１つより多くの対応する特徴マップの各々は多項式、放射基底関数、及びシグモイドカーネルの１つを用いて表される。
【００１７】
実施形態によれば、行われるべき処理タスクは、画像セグメンテーション、画像分類、画像検出、画素毎の分類及び画像内における斑点の検出からなる群から選択された画像処理タスクを含む。
【００１８】
実施形態によれば、第２の特徴マップ生成装置の少なくとも１つの対応する変換の各々は、非線形演算及び線形演算の少なくとも１つについてのレベルを少なくとも１つ含む機械学習モデルを含む。
【００１９】
広範な態様によれば、次の非一時的コンピュータ可読記憶媒体が開示されている。即ち、実行されるとタスクを処理する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成され、結合装置は少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされ、少なくとも１つの対応する変換は行われるべきタスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、特徴マップ処理装置であって、該特徴マップ処理装置は生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、訓練データを用いて、結合特徴マップ生成装置と第２の特徴マップ生成装置とを訓練するステップと、ベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【００２０】
広範な態様によれば、次の非一時的コンピュータ可読記憶媒体が開示されている。即ち、実行されるとタスクを行う方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成する訓練済みのベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成され、結合装置は少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされ、少なくとも１つの対応する変換は行われるべきタスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、特徴マップ処理装置であって、該特徴マップ処理装置は生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、訓練済みのベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【００２１】
広範な態様によれば、次の処理装置が開示されている。即ち、処理装置であって、中央処理装置と、表示装置と、処理装置を各々がユーザに携帯される複数の携帯型処理装置に動作可能に接続する通信ポートと、タスクを処理するアプリケーションを含む記憶装置であって、該アプリケーションは、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップに関する命令であって、該ベクトル生成用装置は、 結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成され、結合装置は少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、 第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされ、少なくとも１つの対応する変換は行われるべきタスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、 特徴マップ処理装置であって、該特徴マップ処理装置は生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップに関する命令と、訓練データを用いて、結合特徴マップ生成装置と第２の特徴マップ生成装置とを訓練するステップに関する命令と、ベクトル生成用装置に少なくとも１つのモダリティを提供するステップに関する命令と、少なくとも１つの数値を伴う対応するベクトルを取得するステップに関する命令とを含む、処理装置。
【００２２】
広範な態様によれば、次の複数のモダリティを処理する方法が開示されている。即ち、複数のモダリティを処理する方法であって、処理は少なくとも１つのモダリティの欠如に関してロバスト性を有しており、該方法は、複数のモダリティを受信するステップと、それぞれの変換を用いて複数のモダリティのうちの各モダリティを処理して少なくとも１つの対応する数値を含むそれぞれの特徴マップを生成するステップであって、それぞれの変換は相互独立的に働くのであり、それぞれの変換は少なくとも複数レベルの非線形演算で構成される機械学習モデルを含む、ステップと、取得された数値を少なくとも１つの結合演算を用いて処理して取得された数値についての少なくとも１つの結合表現を生成するステップであって、少なくとも１つの結合演算は、生成された１つより多くの特徴マップの各々の各対応する数値を 取得された数値の少なくとも１つの結合表現内の数値に迄減らす計算を含む、ステップと、取得された数値についての少なくとも１つの結合表現を、複数のモダリティについての処理を行うための非線形演算及び線形演算の少なくとも１つについてのレベルを少なくとも１つ含む機械学習モデルを用いて処理するステップとを含む、方法。
【００２３】
広範な態様によれば、次の結合特徴マップ生成装置が開示されている。即ち、行われるべき処理タスクに従って結合特徴マップを生成する結合特徴マップ生成装置であって、該結合特徴マップ生成装置は、１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成する特徴マップ生成装置であって、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成される、特徴マップ生成装置と、少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置であって、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合装置とを含む、結合特徴マップ生成装置。
【００２４】
１つの実施形態によれば、特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを結合することは、１つより多くの結合演算に従って行われ、各結合演算は相互独立である
【００２５】
広範な態様によれば、次のセグメンテーションユニットが開示されている。即ち、該セグメンテーションユニットは画像についてのセグメンテーションマスクを生成するものであり、該セグメンテーションユニットは、カーネルのレイヤを少なくとも１つ備える第１のカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを１つより多く含み、各セットは画像についての特定のモダリティを受信しまた複数の対応する特徴マップを生成するものである、第１のカーネル群と；結合装置であって、訓練すべき複数の畳み込みのうちの訓練すべき畳み込みカーネルの各々について 訓練すべき複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の訓練すべき畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供する、結合装置と；カーネルのレイヤを少なくとも１つ備える第２のカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを含み、訓練すべき複数の畳み込みカーネルについての各セットは結合装置によって生成された対応する結合特徴マップを受信しまた複数の特徴マップを生成するようにされる、第２のカーネル群と；特徴マップ処理装置であって、畳み込みカーネルについての第２の群から複数の生成された特徴マップを受信しまた複数の生成された特徴マップを処理して画像についてのセグメンテーションマスクを提供する、特徴マップ処理装置とを備える、セグメンテーションユニット。
【００２６】
別の広範な態様によれば、次の非一時的コンピュータ可読記憶媒体が開示されている。即ち、実行されると画像をセグメント化する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、画像についてのセグメンテーションマスクを生成するセグメンテーションユニットを提供するステップであって、該セグメンテーションユニットは、畳み込みカーネルのレイヤを少なくとも１つ備える第１の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを１つより多く含み、各セットは画像についての特定のモダリティを受信しまた複数の対応する特徴マップを生成するものである、第１のカーネル群と、 結合装置であって、訓練すべき複数の畳み込みのうちの訓練すべき畳み込みカーネルの各々について 訓練すべき複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の訓練すべき畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供する、結合装置と、 畳み込みカーネルのレイヤを少なくとも１つ備える第２の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを含み、訓練すべき複数の畳み込みカーネルについての各セットは結合装置によって生成された対応する結合特徴マップを受信しまた複数の特徴マップを生成するようにされる、第２のカーネル群と、 特徴マップ処理装置であって、畳み込みカーネルについての第２の群から複数の生成された特徴マップを受信しまた複数の生成された特徴マップを処理して画像についてのセグメンテーションマスクを提供する、特徴マップ処理装置とを備える、ステップと、訓練データを用いて各畳み込みカーネルを訓練するステップと、セグメント化すべき画像についての少なくとも１つのモダリティをセグメンテーションに提供するステップと、画像についての対応するセグメンテーションマスクを提供するステップとを含む、非一時的コンピュータ可読記憶媒体。
【００２７】
別の広範な態様によれば、次の非一時的コンピュータ可読記憶媒体が開示されている。即ち、実行されると画像をセグメント化する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、画像についてのセグメンテーションマスクを生成する訓練済みのセグメンテーションユニットを提供するステップであって、該セグメンテーションユニットは、畳み込みカーネルのレイヤを少なくとも１つ備える第１の畳み込みカーネル群であって、各レイヤは複数の畳み込みカーネルについてのセットを１つより多く含み、各セットは画像についての特定のモダリティを受信しまた複数の対応する特徴マップを生成するものである、第１のカーネル群と、 結合装置であって、複数の畳み込みのうちの畳み込みカーネルの各々について 複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供する、結合装置と、 畳み込みカーネルのレイヤを少なくとも１つ備える第２の畳み込みカーネル群であって、各レイヤは複数の畳み込みカーネルについてのセットを含み、複数の畳み込みカーネルについての各セットは結合装置によって生成された対応する結合特徴マップを受信しまた複数の特徴マップを生成するようにされる、第２のカーネル群と、 特徴マップ処理装置であって、畳み込みカーネルについての第２の群から複数の生成された特徴マップを受信しまた複数の生成された特徴マップを処理して画像についてのセグメンテーションマスクを提供する、特徴マップ処理装置とを備える、ステップと、セグメント化すべき画像についての少なくとも１つのモダリティをセグメンテーションに提供するステップと、画像についての対応するセグメンテーションマスクを提供するステップとを含む、非一時的コンピュータ可読記憶媒体。
【００２８】
別の広範な態様によれば、次の処理装置が開示されている。即ち、処理装置であって、中央処理装置と、表示装置と、処理装置を各々がユーザに携帯される複数の携帯型処理装置に動作可能に接続する通信ポートと、画像についてのセグメンテーションを行うアプリケーションを含む記憶装置であって、該アプリケーションは、画像についてのセグメンテーションマスクを生成するセグメンテーションユニットを提供するステップに関する命令であって、該セグメンテーションユニットは、畳み込みカーネルのレイヤを少なくとも１つ備える第１の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを１つより多く含み、各セットは画像についての特定のモダリティを受信しまた複数の対応する特徴マップを生成するものである、第１のカーネル群と、結合装置であって、訓練すべき複数の畳み込みのうちの訓練すべき畳み込みカーネルの各々について 訓練すべき複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の訓練すべき畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供する、結合装置と、畳み込みカーネルのレイヤを少なくとも１つ備える第２の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを含み、訓練すべき複数の畳み込みカーネルについての各セットは結合装置によって生成された対応する結合特徴マップを受信しまた複数の特徴マップを生成するようにされる、第２のカーネル群と、特徴マップ処理装置であって、畳み込みカーネルについての第２の群から複数の生成された特徴マップを受信しまた複数の生成された特徴マップを処理して画像についてのセグメンテーションマスクを提供する、特徴マップ処理装置とを含む、セグメンテーションユニットを提供するステップに関する命令と、訓練データを用いてセグメンテーションユニットの各畳み込みカーネルを訓練するステップに関する命令と、セグメント化すべき画像についての少なくとも１つのモダリティをセグメンテーションに提供するステップに関する命令と、画像についての対応するセグメンテーションマスクを提供するステップに関する命令とを含む、処理装置。
【００２９】
本願開示の複数モダリティ処理用の方法の利点としては、該方法が、入力として提供された利用可能モダリティに関しての任意の組み合わせ論的サブセットとの関係で、組み合わせ論的な個数のインピュテーションモデルを学習することを要さずにして、堅牢性を有しているということが挙げられる。
【００３０】
本願開示の複数モダリティ処理用の方法のさらなる利点としては、該方法が、不足するモダリティの任意のサブセットとの関係で堅牢性を有しているということが挙げられる。
【００３１】
本願開示の複数モダリティ処理用の方法のさらなる利点としては、該方法が、インスタンス毎に異なっている場合がある複数のモダリティを有効利用するということが挙げられる。
【００３２】
本願開示の複数モダリティ処理用の方法のさらなる利点としては、該方法が、全インスタンスに存在していることを絶対的に必須とする「最小公倍数的」なモダリティの存在を必要としないということが挙げられる。
【図面の簡単な説明】
【００３３】
発明の理解が容易となるようにするために、添付の図面を伴って本発明の実施形態について例示的に示す。
本発明のさらなる詳細及びそれらの利点は、後述の詳細な説明から明らかとなる。
【００３４】
【図１】画像をセグメント化する方法についての実施形態を示す流れ図であって、該実施形態はタスク処理用の方法に関するのであり、該タスク処理は画像セグメンテーションを含む、流れ図。
【図２】画像をセグメント化する方法において使用されるセグメンテーションユニットについての第１の実施形態を示すブロック図であって、該セグメンテーションユニットはタスク処理に用いられるべき少なくとも１つの数値を含むベクトルを生成するためのユニットについての実施形態であり、該タスク処理は画像セグメンテーションを含む、ブロック図。
【図３】画像をセグメント化する方法において使用されるセグメンテーションユニットについての第２の実施形態を示すブロック図である。
【図４】タスク処理用の方法を実施するために用いられ得る処理装置の実施形態を示す概略図であって、該タスク処理は画像のセグメント化を含む、概略図。
【発明を実施するための形態】
【００３５】
実施形態についての以下の説明においては、添付の図面への言及は事例に関しての例示としてされているのであり、これらは本発明を実施し得る態様を示している。
【００３６】
用語
「発明」等の語は、「本願にて開示される１つ以上の発明」を意味するが、明示的に別段の定めがされている場合はこの限りでない。
【００３７】
「態様」、不定冠詞を伴う「実施形態」、無冠詞の「実施形態」、無冠詞複数形の「実施形態」、定冠詞を伴う「実施形態」、定冠詞を伴う複数形の「実施形態」、「１つ以上の実施形態」、「幾つかの実施形態」、「特定の実施形態」、「或る実施形態」、「別の実施形態」等の語は、「本願開示の発明の１つ以上（但し、全部ではない）」を意味するが、明示的に別段の定めがされている場合はこの限りでない。
【００３８】
実施形態について説明するに際して「別の実施形態」や「別の態様」に言及しても、被言及側の実施形態が別の実施形態（例えば、被参照側実施形態の前に説明された実施形態）と相互排反的であることを暗示するわけではないが、明示的に別段の定めがされている場合はこの限りでない。
【００３９】
「含む」、「備える」、及びこれらのバリエーションは「含むがこれらには限られない」とのことを意味するが、明示的に別段の定めがされている場合はこの限りでない。
【００４０】
「不定冠詞たるa」、「不定冠詞たるan」及び「定冠詞たるthe」との語は、「１つ以上」を意味するが、明示的に別段の定めがされている場合はこの限りでない。
【００４１】
「複数」との語は「２つ以上」を意味するが、明示的に別段の定めがされている場合はこの限りでない。
【００４２】
「ここで」との語は「本願において、そして参照によって取り込まれる任意のものを含む」とのことを意味するが、明示的に別段の定めがされている場合はこの限りでない。
【００４３】
「これによって」との語は、明示的に先述されたものについての意図された結果、目的又は帰結のみを表す節又は他の単語群を先行するようにしてのみ用いられる。したがって、「これによって」との語が請求項にて用いられる場合においては、「これによって」が修飾する節又は他の語群は、請求項についての更なる具体的限定を確立せず、また、請求項の意義若しくは範囲を他の態様で限定はしない。
【００４４】
「exempli gratis」等の語は「例えば」を意味するのであり、説明される語又はフレーズを限定はしない。例えば、「コンピュータはインターネット上にデータ（e.g.，命令やデータ構造）を送る」とのセンテンスにおいては、「e.g.」との語は「命令」というものがコンピュータによってインターネット上に送られ得る「データ」の例であることを説明し、また、「データ構造」というものがコンピュータによってインターネット上に送られ得る「データ」の例であることをも説明する。もっとも、「命令」も「データ構造」も「データ」の例に過ぎず、「データ構造」や「データ」以外のものも「データ」たり得る。
【００４５】
「id est」等の語は「即ち」を意味するのであり、説明される語又はフレーズを限定する。
【００４６】
「多モーダルデータセット」等の語は、各インスタンスについて異なるモダリティ（或いはタイプ）を有するデータによって構成されているデータセットを意味する。例えば、医療イメージングにおいては、多モーダルデータセットは、各患者インスタンスについて同時的な異なるイメージングモダリティを有しており、モダリティとしてはコンピュータ断層撮影法（ＣＴ）、超音波、又は様々な種類の磁気共鳴（ＭＲ）画像等が挙げられる。
【００４７】
「処理タスク」の語は、所定のデータセットに対して訓練済み機械学習モデルを適用することを意味し、ここで機械学習タスクは、所定のデータセットについて該当性を有するモダリティセットに関しての訓練時に、学習アルゴリズムに供される学習「信号」或いは「フィードバック」の性質に依存する。ヘルスケア分野での「処理タスク」に関する非限定的な例としては次のものが挙げられる：画像セグメンテーション、画像分類、画素毎の分類、画像内における斑点の検出、画像内の斑点の分類、患者の階層化、生体内分布に関するレディオミク（radiomic）表現型の識別、標的に関しての占有率、薬力学効果、腫瘍の不均一性、及び複数のモダリティからの治療反応予測。
【００４８】
「モダリティ」の語は、行われるべきタスクに関して関連性を有する物体又は現象について直接的又は間接的に情報を取得するために用いられる様々なタイプの機器又はプローブのうちの任意のものを意味する。ヘルスケア分野での「モダリティ」に関する非限定的な例としては次のものが挙げられる：放射線イメージング、超音波イメージング、磁気共鳴イメージング、遺伝子検査、病理学検査、及びバイオセンサ。
【００４９】
「特徴マップ」の語は、位相的に配列された数値ベクトルに関数を適用して位相を維持する対応出力たる数値に関するベクトルを取得することに関しての結果を意味する。「特徴マップ」に関する非限定的な例としては次のものが挙げられる：入力に係る特徴を隠蔽ユニットへとマッピングする畳み込みニューラルネットワークのレイヤを用いて畳み込みニューラルネットワークの次のレイヤに供給すべき新たな特徴を形成することに関しての結果。
【００５０】
「訓練」の語は、学習すべきモダリティセットを機械学習アルゴリズムに提供する機械学習モデルを訓練する手順を意味するのであり、モダリティセットは標的属性を含んでおり、機械学習モデルは入力データ属性を標的又はタスク属性へとマッピングするモダリティセット内のパターンを発見するものである。「訓練」により、これらのパターンを捕捉する機械学習モデルが出力される。「訓練」に関する非限定的な例としては次のものが挙げられる：特に非凸訓練基準のコンテキストに関しての、監視下訓練、非監視訓練及びカリキュラム訓練。
【００５１】
「結合演算」の語は、数値に関しての演算であってゼロ個以上のオペランドから出力値をもたらす演算を意味する。「結合演算」に関する非限定的な例としては次のものが挙げられる：算術演算及び整数論演算。
【００５２】
発明の名称及び要約のいずれも、何らの観点からも、開示された発明の範囲を限定するために用いられてはならない。本願の発明の名称及び明細書中の項目名は利便性のためだけに付されているのであり、何らの観点からも開示内容を限定するものとして用いられてはならない。
【００５３】
本願においては様々な実施形態が説明されており、例示的目的のみのために提示されている。説明された実施形態は何らの意味合いにおいても限定的なものではなく、またそのような意図すらないことに留意されたい。開示内容から明らかなように、開示されている発明は様々な実施形態に適用可能である。当業者であれば、開示されている発明には構造的な変更や論理的な変更等の様々な変更や改変を加えた上で実施することができることに気付くであろう。開示されている発明の特定の特徴は１つ以上の特定の実施形態及び／又は図面との関係で説明されている場合があり得るが、そのような特徴はそれらの説明に際して参照される特定の実施形態や図面における用例に限定されないことに留意されたい。もっとも、明示的に別段の定めがされている場合はこの限りでない。
【００５４】
図１を参照するに、画像をセグメント化する方法についての実施形態が同図に示されている。
【００５５】
行われるべき処理タスクについての１つの実施形態としては、画像についてのセグメント化が想定されるということを、当業者は理解するであろう。代替的な実施形態では、画像処理タスクは、画像分類、画像検出、画素毎の分類及び画像内における斑点の検出のどれかとされる。代替的な実施形態では、行われるべき処理タスクは、複数のモダリティから導かれる治療反応予測を含む。
【００５６】
処理ステップ１０２によれば、セグメンテーションユニットが提供されている。
【００５７】
セグメンテーションユニットは、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成する装置についての実施形態であることに留意されたいのであり、タスク処理は画像セグメンテーションを伴う。
【００５８】
本願開示のセグメンテーションユニットは、モダリティについての部分集合を有している画像（即ち、不完全な多モーダルデータセットを有している画像）をセグメント化するために用いられるものである。
【００５９】
１つの実施形態では、画像は医療画像である。
【００６０】
当業者であれば、画像については様々な代替的実施形態を想定できることが分かるであろう。
【００６１】
より正確には、そして後述するように、本願開示のセグメンテーションユニットはディープラーニング枠組みを用いて任意のモダリティサブセットを有する画像についてセグメント化を行うという目的を達する。
【００６２】
後述のように、各モダリティは、最初は、自らの畳み込みパイプラインにて他のあらゆるモダリティとは独立に処理される。少なくとも１つの独立段階を経て、あらゆる利用可能なモダリティからの特徴マップがマージされるのであり、これは平均や分散等のマップ毎の統計項目を計算することによってなされるのであり、これらの項目の期待値は提供される項数（即ち、モダリティ数）に依存はしない。マージの後、平均及び分散マップは連結されて、畳み込み段階についての最終セットに送り込まれて、ネットワーク出力が取得される。
【００６３】
したがって、本願開示の方法では、各モダリティが平均及び分散に独立項を貢献するのであり、これは従来のありきたりな（vanilla的な）畳み込みニューラルネットワークアーキテクチャ（ＣＮＮ）とは対照されるべきであり、欠けているモダリティが計算を狂わせない。即ち、平均及び分散の項がより広い標準誤差を伴って推定されるようになるに過ぎない。
【００６４】
図２に転じるに、画像についてのセグメンテーションマスクを生成するためのセグメンテーションユニット１９９についての第１の実施形態が同図に示されている。
【００６５】
第１の畳み込みカーネル群２００は、特徴マップ生成装置についての実施形態であるということに留意されたい。特徴マップ生成装置は、以下の処理のために用いられる：１つより多くのモダリティを受信する処理、及び、相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成する処理。１つより多くの対応する特徴マップの生成は、所定の対応する変換を所定の対応するモダリティに対して適用することによって行われるということに留意されたい。１つより多くの対応する変換は、行われるべき処理タスクに従って行われた初期訓練に続いて生成されるということにもさらに留意されたい。以下において更に説明されるように、初期訓練は擬似カリキュラム学習スキームに従って行われ、全モダリティが提示された少数回の反復後にはモダリティがランダムにドロップされる。
【００６６】
より正確には、そして図２を引き続き参照するに、セグメンテーションユニット１９９は第１の畳み込みカーネル群２００を含む。
【００６７】
第１の畳み込みカーネル群は、少なくとも１レイヤ分の畳み込みカーネル２０６を含む。
【００６８】
畳み込みカーネルの各レイヤは、複数の訓練すべき畳み込みカーネルについての１つより多くのセットを含むということに留意されたい。
【００６９】
より正確には、複数の訓練すべき畳み込みカーネルについての各セットは、画像の特定のモダリティを受信するため、及び、複数の対応する特徴マップを生成するためのものである。
【００７０】
図２の実施形態では、第１の畳み込みカーネル群２００は、畳み込みカーネルについての第１のレイヤ２０６を含む。
【００７１】
畳み込みカーネルについての第１のレイヤ２０６は、畳み込みカーネルについての第１のセット２１６を含む。
【００７２】
図２を引き続き参照するに、畳み込みカーネルについての第１のセット２１６は、畳み込みカーネル２１８、畳み込みカーネル２２０，．．．及び畳み込みカーネル２２２を含む。
【００７３】
畳み込みカーネル２１８、畳み込みカーネル２２０及び畳み込みカーネル２２２の各々は、画像についての所定のモダリティ２１０を受信するということに留意されたい。
【００７４】
対応する複数の特徴マップが生成される。より正確には、特徴マップ２２４は畳み込みカーネル２１８によって画像の所定モダリティ２１０を処理した畳み込みの結果であり、特徴マップ２２６は畳み込みカーネル２２０によって画像の所定モダリティ２１０を処理した畳み込みの結果であり、特徴マップ２２８は畳み込みカーネル２２２によって画像の所定モダリティ２１０を処理した畳み込みの結果である。
【００７５】
同様に、特徴マップ２３６は畳み込みカーネル２３０によって画像の所定モダリティ２１２を処理した畳み込みの結果であり、また、特徴マップ２３８は畳み込みカーネル２３２によって画像の所定モダリティ２１２を処理した畳み込みの結果であり、また、特徴マップ２４０は畳み込みカーネル２３４によって画像の所定モダリティ２１２を処理した畳み込みの結果である。
【００７６】
したがって、画像の第２のモダリティは、畳み込みカーネル２３０，２３２，２３４の各々と個別に畳み込まれる。
【００７７】
同様に、特徴マップ２４８は畳み込みカーネル２４２によって画像の所定モダリティ２１４を処理した畳み込みの結果であり、また、特徴マップ２５０は畳み込みカーネル２４４によって画像の所定モダリティ２１４を処理した畳み込みの結果であり、また、特徴マップ２５２は畳み込みカーネル２４６によって画像の所定モダリティ２１４を処理した畳み込みの結果である。
【００７８】
したがって、画像の第３のモダリティは、畳み込みカーネル２４２，２４４，２４６の各々と個別に畳み込まれる。
【００７９】
ここで当業者が気付くべきであることは、画像についての３つのモダリティを扱っている実施形態が開示されているものの、２以上の任意の個数のモダリティを用いることができる、ということである。
【００８０】
１つの実施形態では画像についての３つのモダリティが利用可能となっているものの、入力としては１つ以上の任意の個数のモダリティをを用いることができるということにも留意されたい。
【００８１】
例えば、１つの実施形態では、モダリティ２１０のみが利用可能である。代替的な実施形態では、モダリティ２１４及び２１０等のみが利用可能とされていたりする。
【００８２】
図２を引き続き参照するに、セグメンテーションユニット１９９は、結合装置２０２をさらに含む。
【００８３】
結合装置２０２は、少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置についての実施形態であるということに留意されたい。さらに、結合装置は行われるべき処理タスクに従って動作しており、結合演算は特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、ということにも留意されたい。
【００８４】
１つの実施形態では、特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを結合することは、１つより多くの結合演算に従って行われる、ということにも留意されたい。１つより多くの結合演算が用いられる１つの実施形態では、各結合演算は相互独立であるということにも留意されたい。
【００８５】
より正確には、そして図２の実施形態に即すれば、結合装置２０２は、訓練すべき複数の畳み込みのうちの訓練すべき畳み込みカーネルの各々について 訓練すべき複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の訓練すべき畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供するために用いられる。
【００８６】
より正確には、結合装置２０２内では、特徴マップ２６０が、特徴マップ２２４、特徴マップ２３６、及び特徴マップ２４８の結合の結果として生成される。
【００８７】
結合装置２０２内では、特徴マップ２６２が、特徴マップ２２６、特徴マップ２３８、及び特徴マップ２５０の結合の結果として生成される。
【００８８】
結合装置２０２内では、特徴マップ２６４が、特徴マップ２２８、特徴マップ２４０、及び特徴マップ２５２の結合の結果として生成される。
【００８９】
特徴マップの結合は、様々な実施形態に即してなされることができるということに留意されたい。
【００９０】
例えば、結合は次のものからなる群から選択されることができる：平均の算出、分散の算出、歪度や尖度等のより高次な統計値、分位統計値、及び、無秩序な空集合でない数値のセットを１つの数値迄に減らす任意の計算。実際には、そして上述したように、結合は次のような結合演算によってなされる：即ち、特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす結合演算。
【００９１】
当業者であれば、結合の目的は抽象化レイヤを作成することにあるということが分かるであろう。
【００９２】
図２に不図示の１つの実施形態では、２つの明確に分かれている結合がなされる。なされている第１の結合は平均の計算であり、なされている第２の結合は分散の計算である。それぞれの明確に分けることができる結合は、対応する特徴マップを生成する役割を担っている。
【００９３】
図２を引き続き参照するに、セグメンテーションユニット１９９は第２の畳み込みカーネル群２０４をさらに含む。
【００９４】
第２の畳み込みカーネル群２０４は少なくとも１レイヤ分の畳み込みカーネルを含む。
【００９５】
第２の畳み込みカーネル群は、第２の特徴マップ生成装置の実施形態であるということに留意されたい。第２の特徴マップ生成装置は、結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するために用いられる。また、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされるということにも留意されたい。また、少なくとも１つの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成されるということにも留意されたい。
【００９６】
より正確には、そして図２に開示された実施形態によれば、畳み込みカーネルの各レイヤは、訓練すべき複数の畳み込みカーネルを含む。訓練すべき各畳み込みカーネルは、結合装置によって生成された対応する結合特徴マップを受信しまた画像についてのセグメンテーションマスクを生成するために使用される。
【００９７】
より正確には、そして図２に示した実施形態によれば、第２の畳み込みカーネル群は、畳み込みカーネル２０８についての単一のレイヤを含む。
【００９８】
畳み込みカーネルについてのレイヤ２０８は、畳み込みカーネル２６６、畳み込みカーネル２６８，．．．及び畳み込みカーネル２７０を含む。
【００９９】
特徴マップを所定のカーネルと畳み込んで新たな特徴マップを生成できるということに留意されたい。
【０１００】
例えば、特徴マップ２６０は、畳み込みカーネル２６６と畳み込まれて特徴マップ２７２が生成される。
【０１０１】
同様に、特徴マップ２６２は、畳み込みカーネル２６８と畳み込まれて特徴マップ２７４が生成される。
【０１０２】
特徴マップ２６４は、畳み込みカーネル２７０と畳み込まれて特徴マップ２７６が生成される。
【０１０３】
セグメンテーションユニット１９９は、図２に不図示の特徴マップ処理装置をさらに含むということに留意されたい。
【０１０４】
特徴マップ処理装置は、生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供するために用いられる。
【０１０５】
図２に開示された実施形態によれば、少なくとも１つの数値を伴う既生成ベクトルは、画像についてのセグメンテーションマスクを含む。
【０１０６】
より正確には、そして図２に示した実施形態によれば、特徴マップ処理装置は、特徴マップ２７２、特徴マップ２７４、及び特徴マップ２７６を受信し、また、対応するセグメンテーションマスクを生成する。
【０１０７】
セグメンテーションマスクは、諸特徴マップにわたっての「softmax」計算によって生成されるということに留意されたい。
【０１０８】
当業者であれば、様々な代替的実施形態を提供できるということに気付くであろう。
【０１０９】
図３に転じるに、同図には画像についてのセグメンテーションマスクを生成するためのセグメンテーションユニット２９９についての第２の実施形態が示されている。
【０１１０】
この実施形態では、セグメンテーションユニット２９９は、第１の畳み込みカーネル群３００、結合装置３０２、第２の畳み込みカーネル群３０４、及び特徴マップ処理装置（図３においては不図示）を含む。
【０１１１】
第１の畳み込みカーネル群３００は、不図示の２レイヤ分の畳み込みカーネルを含んでおり、それぞれが複数の特徴マップについてのセットを１つより多く生成する。特徴マップについての第１のセット３０６及び特徴マップについての第２のセット３０８が図３に開示されている。
【０１１２】
2019512829.tif 000003
【０１１３】
特徴マップについての第１のセット３０６は、画像についての第１のモダリティ３２０、画像についての第２のモダリティ３２２、画像についての第ｎのモダリティ３２４の各々についてのそれぞれの複数の畳み込みカーネルとの畳み込みによって生成された特徴マップを含む。この実施形態では、複数の畳み込みカーネルの各々は、４８のカーネルを有しそれぞれはサイズが（５，５）である。
【０１１４】
特徴マップについての第２のセット３０８は、特徴マップの各セットと対応する畳み込みカーネルのセットとの畳み込みによって生成された特徴マップを含む。上記において概要を示したように、各畳み込み演算に続いてＲｅＬＵ演算が行われて特徴マップがもたらされる。
【０１１５】
これは結合装置を除いて全てに通ずる。この例では、下記に開示される最大プーリング（max-pooling）演算はＲｅＬＵに従う。より正確には、そしてこの実施形態では、複数の畳み込みカーネルの各々は、４８の畳み込みカーネルを含み、各々はサイズが（５，５）でありプーリングが（２，２）ストライド１である。ＲｅＬＵ演算の後に即座に最大プーリング演算が各特徴マップに適用されることに留意されたい。この演算はプーリングウインドウが２×２であり１つの実施形態ではストライドは１とされる。即ち、特徴マップ内の全ての２×２領域は探訪されるのであり、各領域内の最大値が取られるのであり、それ故に「最大プーリング」との名称が与えられており、２×２領域毎に１つの値をもたらす。ストライドが「１」ということは水平方向及び垂直方向において独立に１画素ずつ動くということであり、入力されるのと同じだけの画素が出力にあるということになる。追加的には、正しい個数の画素が取得されることを保証するために、各特徴マップのエッジにおいては、ゼロ詰めがなされている。このような最大プーリングの目的は、畳み込みカーネルによって特定された特徴の位置に関して幾らかのロバスト性を持ち込むためである。
【０１１６】
結合装置３０２は、第１の複数の特徴マップ３１０と第２の複数の特徴マップ３１２とを含む。
【０１１７】
第１の複数の特徴マップ３１０は対応する特徴マップの相加平均に対応し、第２の複数の特徴マップ３１２は複数の着信する特徴マップについての分散を含む。
【０１１８】
より正確には、モダリティ融合がここで計算されるのであり、各マップｌについて個別に、Ｃ（２）で利用可能なモダリティにおける第１及び第２のモーメントに関して計算がなされる。
【数１】
2019512829.tif 000004
【０１１９】
第２のカーネル群３０４は、畳み込みカーネルについてのレイヤを少なくとも１つ含む。
【０１２０】
図３に示す実施形態においては、複数の畳み込みカーネルについて２つのレイヤが提供されている。
【０１２１】
複数の畳み込みカーネルについての第１のレイヤが、第１の複数の特徴マップの生成のために用いられる。
【０１２２】
複数の畳み込みカーネルの第１のレイヤは、１６のカーネルを有しサイズは（５，５）とされる。当業者であれば、畳み込みカーネルの個数及び各畳み込みカーネルのサイズに関して様々な代替的な実施形態をもたらすことができるということに気付くであろう。
【０１２３】
複数の畳み込みカーネルの第２のレイヤは、第２の複数の特徴マップ３１６を生成するために使われる。
【０１２４】
第２のカーネル群３０４の最後のレイヤ、即ち当該実施形態においては複数の畳み込みカーネルのうちの複数のものの第２のレイヤは、クラス数に等しい個数のカーネルを含んでいる、ということに留意されたい。クラス数は、もたらしたいと望むセグメントのタイプを表すものであるということに留意されたい。単純な場面においては、２つのクラス、例えば「腫瘍」及び「非腫瘍」、が設けられている。より複雑な場面においては、画像のテクスチャ特性に依存する腫瘍サブタイプを観念できるのであり、これらは追加のクラスに対応することになろう。この実施形態においては、畳み込みカーネルについての第２のレイヤの各畳み込みカーネルのサイズは（２１，２１）であることに留意されたい。当業者であれば、畳み込みカーネルのサイズに関しては様々な代替的実施形態を提供することができるということに気付くであろう。
【０１２５】
より正確には、そして図３に開示の実施形態においては、第２のカーネル群３０４はマージされたモダリティを結合して最終モデル出力をもたらす。
【０１２６】
2019512829.tif 000005
【０１２７】
１つの実施形態では、画素毎の後部クラス確率は、Ｃ（４）特徴マップにわたってsoftmax関数を適用することによって与えられるのであり、特徴マップ処理装置内の画素毎で最もあり得そうな後部クラスを取ることによって完全なセグメンテーションを得る。
【０１２８】
処理ステップ１０４によれば、セグメンテーションユニットは訓練されたものである。
【０１２９】
セグメンテーションユニットは、様々な実施形態に従って訓練され得るということに留意されたい。
【０１３０】
１つの実施形態では、セグメンテーションユニットは誤差逆伝搬アルゴリズムを用いて訓練される。
【０１３１】
当業者に知られているように、セグメンテーションユニットを訓練するためには幾つものアルゴリズムを用いることができる。
【０１３２】
１つの実施形態では、難しい状況の学習をなす前に、訓練は最も易しい状況から開始される。
【０１３３】
例えば、訓練は擬似カリキュラム学習スキームに従って行われ、全モダリティがセグメンテーションユニットに提示された少数回の反復後にはモダリティがランダムにドロップされるのであり、ゼロ個又は１個だけのモダリティの欠落で済む確率がより高まることが保証される。
【０１３４】
典型的には、数百から数万のインスタンスを用いてセグメンテーションユニットを訓練することができる。
【０１３５】
図１を引き続き参照するに、そして処理ステップ１０６によれば、セグメンテーションユニットが使用される。様々な実施形態に即するようにセグメンテーションユニットを使用することができるということに留意されたい。
【０１３６】
実際においては、セグメンテーションユニットは、画像についての少なくとも１つのモダリティに関するセットを用いることによって、使用することができる。
【０１３７】
画像についての少なくとも１つのモダリティに関するセットは、様々な実施形態に従って提供することができるということに留意されたい。
【０１３８】
そして、図４を参照するに、画像４００をセグメント化する処理装置についての実施形態が同図に示されている。
【０１３９】
画像４００をセグメント化する処理装置は、タスクを処理する処理装置についての実施形態であることに留意されたいのであり、当該タスクの処理は画像のセグメント化を伴う。
【０１４０】
画像４００をセグメント化する処理装置は、中央処理装置４０２、表示装置４０４、入力装置４１０、通信ポート４０６、データバス４０８、記憶装置４１２、及びグラフィクス処理装置（ＧＰＵ）４２２を備える。
【０１４１】
中央処理装置４０２、表示装置４０４、入力装置４１０、通信ポート４０６、記憶装置４１２、及びグラフィクス処理装置４２２は、データバス４０８を用いて相互接続されている。
【０１４２】
中央処理装置４０２は、コンピュータ命令を処理するために用いられる。当業者にとっては、中央処理装置について様々な実施形態があり得るということが明らかである。
【０１４３】
１つの実施形態では、中央処理装置４０２は、インテル（登録商標）製の３．４ＧＨｚで稼働中のＣＰＵたるCore i7 CPUである。
【０１４４】
１つの実施形態では、グラフィクス処理装置４２２は、Ｎｖｉｄｉａ（登録商標）製のTitan x GPUである。
【０１４５】
表示装置４０４は、データをユーザに対して表示するために用いられる。当業者であれば、様々なタイプの表示装置４０４を用いることができることが分かろう。
【０１４６】
１つの実施形態では、表示装置４０４は標準的な液晶ディスプレイ（ＬＣＤ）モニタである。
【０１４７】
通信ポート４０６は、画像セグメント化用処理装置４００とデータを共有するために用いられる。
【０１４８】
通信ポート４０６は、例えば、キーボード及びマウスを画像セグメント化用処理装置４００に接続するためのユニバーサルシリアルバス（ＵＳＢ）ポートを備えることができる。
【０１４９】
通信ポート４０６は、データネットワーク通信ポートをさらに備えることができ、例えば、画像セグメント化用処理装置４００と別の処理装置とをデータネットワークを介して接続可能とするためのIEEE 802.3ポートが挙げられる。
【０１５０】
当業者であれば、通信ポート４０６については様々な代替的実施形態が可能であることが分かるであろう。
【０１５１】
１つの実施形態では、通信ポート４０６は、イーサネット（登録商標）ポート及びマウスポート（例えば、Logitech（登録商標））を含む。
【０１５２】
記憶装置４１２は、コンピュータ実行可能命令を格納するために用いられる。
【０１５３】
１つの実施形態では、記憶装置４１２は、基本入出力システム（ＢＩＯＳ）を含んでおり、ＢＩＯＳ４１４とも称される。
【０１５４】
記憶装置４１２は、オペレーティングシステム４１６をさらに含む。
【０１５５】
当業者であれば、オペレーティングシステム４１６は様々なタイプのものとすることができることが分かるであろう。
【０１５６】
１つの実施形態では、オペレーティングシステム４１６は、Linux Ubuntu ＯＳバージョン１５．１０以降であることができる。
【０１５７】
記憶装置４１２は、画像４１８をセグメント化するためのアプリケーションをさらに含む。画像４１８をセグメント化するためのアプリケーションはタスク処理用アプリケーションについての実施形態であり、タスク処理は画像のセグメント化を含むことに留意されたい。
【０１５８】
記憶装置４１２は、訓練用データ４２０をさらに含む。
【０１５９】
訓練用データ４２０は、画像４１８をセグメント化するためのアプリケーション内で実装されたセグメンテーションユニットを訓練するために用いられることに留意されたい。
【０１６０】
代替的実施形態では、記憶装置４１２は訓練用データ４２０を含まない。既にセグメンテーションユニットが完全に訓練されていた場合がこの場合にあたることに留意されたい。
【０１６１】
画像４１８をセグメント化するためのアプリケーションは、画像についてのセグメンテーションマスクを生成するセグメンテーションユニットを提供する命令を含み、該セグメンテーションユニットは：畳み込みカーネルのレイヤを少なくとも１つ備える第１の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを１つより多く含み、各セットは画像についての特定のモダリティを受信しまた複数の対応する特徴マップを生成するものである、第１のカーネル群と；結合装置であって、訓練すべき複数の畳み込みのうちの訓練すべき畳み込みカーネルの各々について 訓練すべき複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の訓練すべき畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供する、結合装置と；畳み込みカーネルのレイヤを少なくとも１つ備える第２の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを含み、訓練すべき複数の畳み込みカーネルについての各セットは結合装置によって生成された対応する結合特徴マップを受信しまた画像についてのセグメンテーションマスクを生成するようにされる、第２のカーネル群とを備える。
【０１６２】
セグメンテーションユニットが完全に訓練されていない場合、画像４１８をセグメント化するためのアプリケーションは、訓練データを用いてセグメンテーションユニットの各畳み込みカーネルを訓練するための命令を含む。
【０１６３】
画像４１８をセグメント化するためのアプリケーションは、セグメント化すべき画像の少なくとも１つのモダリティをセグメンテーションユニットに提供するための命令をさらに含む。
【０１６４】
画像４１８をセグメント化するためのアプリケーションは、セグメント化すべき画像についての対応するセグメンテーションマスクを提供するための命令をさらに含む。
【０１６５】
画像４１８をセグメント化するアプリケーションは、タスクを処理するアプリケーションについての実施形態であることに留意されたい。タスクを処理するアプリケーションは次の命令を含む：即ち、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、特徴マップ生成装置であって、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成される、特徴マップ生成装置と、少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置であって、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合装置と、第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされ、少なくとも１つの対応する変換は行われるべきタスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、特徴マップ処理装置であって、該特徴マップ処理装置は生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップに関する命令。タスクを処理するアプリケーションは次の命令をさらに含む：即ち、訓練データを用いて、結合特徴マップ生成装置と第２の特徴マップ生成装置とを訓練するステップに関する命令。タスクを処理するアプリケーションは次の命令をさらに含む：即ち、ベクトル生成用装置に少なくとも１つのモダリティを提供するステップに関する命令、及び、少なくとも１つの数値を伴う対応するベクトルを取得するステップに関する命令。
【０１６６】
次の非一時的コンピュータ可読記憶媒体が開示されていることにも留意されたい。即ち、実行されると画像をセグメント化する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、画像についてのセグメンテーションマスクを生成する訓練済みのセグメンテーションユニットを提供するステップであって、該セグメンテーションユニットは、畳み込みカーネルのレイヤを少なくとも１つ備える第１の畳み込みカーネル群であって、各レイヤは複数の畳み込みカーネルについてのセットを１つより多く含み、各セットは画像についての特定のモダリティを受信しまた複数の対応する特徴マップを生成するものである、第１のカーネル群と、 結合装置であって、複数の畳み込みのうちの畳み込みカーネルの各々について 複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供する、結合装置と、 畳み込みカーネルのレイヤを少なくとも１つ備える第２の畳み込みカーネル群であって、各レイヤは複数の畳み込みカーネルについてのセットを含み、複数の畳み込みカーネルについての各セットは結合装置によって生成された対応する結合特徴マップを受信しまた画像についてのセグメンテーションマスクを生成するようにされる、第２のカーネル群とを備える、ステップと、セグメント化すべき画像についての少なくとも１つのモダリティをセグメンテーションに提供するステップと、画像についての対応するセグメンテーションマスクを提供するステップとを含む、非一時的コンピュータ可読記憶媒体。
【０１６７】
次の非一時的コンピュータ可読記憶媒体が開示されていることにも留意されたい。即ち、実行されるとタスクを処理する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、特徴マップ生成装置を備える結合特徴マップ生成装置を含み、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成され、ベクトル生成用装置はさらに、少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置であって、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、 第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされ、少なくとも１つの対応する変換は行われるべきタスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、 特徴マップ処理装置であって、該特徴マップ処理装置は生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、訓練データを用いて結合特徴マップ生成装置と第２の特徴マップ生成装置とを訓練するステップ命令と、ベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【０１６８】
次の非一時的コンピュータ可読記憶媒体が開示されていることにも留意されたい。即ち、実行されると画像をセグメント化する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、画像についてのセグメンテーションマスクを生成するセグメンテーションユニットを提供するステップであって、該セグメンテーションユニットは、畳み込みカーネルのレイヤを少なくとも１つ備える第１の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを１つより多く含み、各セットは画像についての特定のモダリティを受信しまた複数の対応する特徴マップを生成するものである、第１のカーネル群と、結合装置であって、訓練すべき複数の畳み込みのうちの訓練すべき畳み込みカーネルの各々について 訓練すべき複数の畳み込みカーネルについての１つより多くのセットのうちのセット各々内の所定の訓練すべき畳み込みカーネルによって生成された各特徴マップを結合して それによって複数の対応する結合特徴マップを提供する、結合装置と、畳み込みカーネルのレイヤを少なくとも１つ備える第２の畳み込みカーネル群であって、各レイヤは訓練すべき複数の畳み込みカーネルについてのセットを含み、訓練すべき複数の畳み込みカーネルについての各セットは結合装置によって生成された対応する結合特徴マップを受信しまた画像についてのセグメンテーションマスクを生成するようにされる、第２のカーネル群とを含む、提供するステップと、訓練データを用いて各畳み込みカーネルを訓練するステップと、セグメント化すべき画像についての少なくとも１つのモダリティをセグメンテーションに提供するステップと、画像についての対応するセグメンテーションマスクを提供するステップとを含む、非一時的コンピュータ可読記憶媒体。
【０１６９】
次の非一時的コンピュータ可読記憶媒体が開示されていることにも留意されたい。即ち、実行されるとタスクを行う方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成する訓練済みのベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、特徴マップ生成装置を備える結合特徴マップ生成装置を含み、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、１つより多くの対応する変換は行われるべき処理タスクに従って行われた初期訓練に続いて生成され、ベクトル生成用装置はさらに、少なくとも１つの結合演算に従って特徴マップ生成装置によって生成された対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置であって、結合装置は行われるべき処理タスクに従って動作しており、結合演算は 特徴マップ生成装置によって生成された１つより多くの特徴マップの各々の各対応する数値を 少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、 第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は結合特徴マップ生成装置から少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、少なくとも１つの最終特徴マップの生成は 結合特徴マップ生成装置から受信された少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 少なくとも１つの対応する変換の各々を適用することによってなされ、少なくとも１つの対応する変換は行われるべきタスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、 特徴マップ処理装置であって、該特徴マップ処理装置は生成された少なくとも１つの最終特徴マップを第２の特徴マップ生成装置から受信しまた生成された少なくとも１つの最終特徴マップを処理してタスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、訓練済みのベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【０１７０】
本願開示のセグメンテーションユニットは、画像の各モダリティについて、画像から抽象化レイヤ空間への埋め込みを学習する、ということに留意されたい。この潜在的空間においては、第１次及び第２次モーメントを計算する等の算術的演算は良好に定義されており、推定時において異なるモダリティにわたって得ることができる。当該高次レベル特徴空間についてさらなる処理をなしてセグメンテーションを推定することができる。
【０１７１】
複数のモダリティを処理する方法も開示されている。該方法では、処理は少なくとも１つのモダリティの欠如に対してロバスト性を有している。方法は、複数のモダリティを受信することを含む。方法は、以下のステップをさらに含む：即ち、それぞれの変換を用いて複数のモダリティのうちの各モダリティを処理して少なくとも１つの対応する数値を含むそれぞれの特徴マップを生成するステップであって、それぞれの変換は相互独立的に働き、それぞれの変換は少なくとも複数レベルの非線形演算で構成される機械学習モデルを含む。方法は、少なくとも１つの結合演算を用いて取得された数値を処理して取得された数値についての少なくとも１つの結合表現を生成するステップをさらに含むのであり、少なくとも１つの結合演算は 生成された１つより多い特徴マップの各々の各対応する数値を 取得された数値についての少なくとも１つの結合表現内の数値に迄減らす計算を含む。最後に述べるに、方法は、取得された数値についての少なくとも１つの結合表現を、複数のモダリティについての処理を行うための非線形演算及び線形演算の少なくとも１つについてのレベルを少なくとも１つ含む機械学習モデルを用いて処理するステップを含む。
【０１７２】
本願開示のタスク処理用方法の利点としては、該方法が、入力として提供された利用可能モダリティに関しての任意の組み合わせ論的サブセットとの関係で、組み合わせ論的な個数のインピュテーションモデルを学習することを要さずにして、堅牢性を有しているということが挙げられる。
【０１７３】
上述の説明は発明者によって現在検討されている具体的な好適実施形態に関連しているが、広義の意味合いにおいては、本発明は説明された要素についての機能的等価物をも含むものであると解されるべきである。
【０１７４】
＜項１＞  タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置であって、該ベクトル生成用装置は、
結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、
第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、
特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを備える、ベクトル生成用装置。
【０１７５】
＜項２＞  項１に記載の結合特徴マップ生成装置において、前記初期訓練は擬似カリキュラム学習スキームに従って行われ、全モダリティが提示された少数回の反復後にはモダリティがランダムにドロップされる、結合特徴マップ生成装置。
【０１７６】
＜項３＞  項１に記載の結合特徴マップ生成装置において、前記１つより多くの対応する変換の各々は、少なくとも複数レベルの非線形演算で構成される機械学習モデルを含む、結合特徴マップ生成装置。
【０１７７】
＜項４＞  項１に記載の結合特徴マップ生成装置において、前記１つより多くの対応する変換の各々は、１つより多くの畳み込みニューラルネットワークのレイヤとそれに続く完全接続レイヤとで構成されている、結合特徴マップ生成装置。
【０１７８】
＜項５＞  項１に記載の結合特徴マップ生成装置において、生成された前記１つより多くの対応する特徴マップの各々は多項式、放射基底関数、及びシグモイドカーネルの１つを用いて表される、結合特徴マップ生成装置。
【０１７９】
＜項６＞  項１に記載の結合特徴マップ生成装置において、行われるべき前記処理タスクは、画像セグメンテーション、画像分類、画像検出、画素毎の分類及び画像内における斑点の検出からなる群から選択された画像処理タスクを含む、結合特徴マップ生成装置。
【０１８０】
＜項７＞  項１に記載のタスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置において、前記第２の特徴マップ生成装置の前記少なくとも１つの対応する変換の各々は、非線形演算及び線形演算の少なくとも１つについてのレベルを少なくとも１つ含む機械学習モデルを含む、ベクトル生成用装置。
【０１８１】
＜項８＞  実行されるとタスクを処理する方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、
タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、
結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、
第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、
特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、
訓練データを用いて、前記結合特徴マップ生成装置と前記第２の特徴マップ生成装置とを訓練するステップと、
前記ベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、
少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【０１８２】
＜項９＞  実行されるとタスクを行う方法を処理装置に行わせるコンピュータ実行可能命令を格納する非一時的コンピュータ可読記憶媒体であって、該方法は、
タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成する訓練済みのベクトル生成用装置を提供するステップであって、該ベクトル生成用装置は、
結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、
第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、
特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップと、
前記訓練済みのベクトル生成用装置に少なくとも１つのモダリティを提供するステップと、
少なくとも１つの数値を伴う対応するベクトルを取得するステップとを含む、非一時的コンピュータ可読記憶媒体。
【０１８３】
＜項１０＞  処理装置であって、
中央処理装置と、
表示装置と、
前記処理装置を各々がユーザに携帯される複数の携帯型処理装置に動作可能に接続する通信ポートと、
タスクを処理するアプリケーションを含む記憶装置であって、該アプリケーションは、
タスク処理のために使用される少なくとも１つの数値を伴うベクトルを生成するベクトル生成用装置を提供するステップに関する命令であって、該ベクトル生成用装置は、 結合特徴マップ生成装置であって、該結合特徴マップ生成装置は特徴マップ生成装置と結合装置とを備え、該特徴マップ生成装置は１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成するものであり、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成され、前記結合装置は少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供するものであり、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合特徴マップ生成装置と、 第２の特徴マップ生成装置であって、該第２の特徴マップ生成装置は前記結合特徴マップ生成装置から前記少なくとも１つの対応する結合特徴マップを受信しまた少なくとも１つの対応する変換を用いて少なくとも１つの最終特徴マップを生成するものであり、前記少なくとも１つの最終特徴マップの生成は 前記結合特徴マップ生成装置から受信された前記少なくとも１つの対応する特徴マップのうちの少なくとも１つに対して 前記少なくとも１つの対応する変換の各々を適用することによってなされ、前記少なくとも１つの対応する変換は行われるべき前記タスクに従って行われた初期訓練に続いて生成される、第２の特徴マップ生成装置と、 特徴マップ処理装置であって、該特徴マップ処理装置は生成された前記少なくとも１つの最終特徴マップを前記第２の特徴マップ生成装置から受信しまた生成された前記少なくとも１つの最終特徴マップを処理して前記タスクを処理するために用いられるべき少なくとも１つの数値を伴う既生成ベクトルを提供する、特徴マップ処理装置とを含む、ステップに関する命令と、
訓練データを用いて、前記結合特徴マップ生成装置と前記第２の特徴マップ生成装置とを訓練するステップに関する命令と、
前記ベクトル生成用装置に少なくとも１つのモダリティを提供するステップに関する命令と、
少なくとも１つの数値を伴う対応するベクトルを取得するステップに関する命令とを含む、処理装置。
【０１８４】
＜項１１＞  複数のモダリティを処理する方法であって、前記処理は少なくとも１つのモダリティの欠如に関してロバスト性を有しており、該方法は、
複数のモダリティを受信するステップと、
それぞれの変換を用いて前記複数のモダリティのうちの各モダリティを処理して少なくとも１つの対応する数値を含むそれぞれの特徴マップを生成するステップであって、前記それぞれの変換は相互独立的に働くのであり、前記それぞれの変換は少なくとも複数レベルの非線形演算で構成される機械学習モデルを含む、ステップと、
取得された前記数値を少なくとも１つの結合演算を用いて処理して取得された前記数値についての少なくとも１つの結合表現を生成するステップであって、前記少なくとも１つの結合演算は、生成された前記１つより多くの特徴マップの各々の各対応する数値を 取得された前記数値の前記少なくとも１つの結合表現内の数値に迄減らす計算を含む、ステップと、
取得された前記数値についての前記少なくとも１つの結合表現を、前記複数のモダリティについての前記処理を行うための非線形演算及び線形演算の少なくとも１つについてのレベルを少なくとも１つ含む機械学習モデルを用いて処理するステップとを含む、方法。
【０１８５】
＜項１２＞  行われるべき処理タスクに従って結合特徴マップを生成する結合特徴マップ生成装置であって、該結合特徴マップ生成装置は、
１つより多くのモダリティを受信しまた相互独立的に働く１つより多くの対応する変換を用いて１つより多くの対応する特徴マップを生成する特徴マップ生成装置であって、前記１つより多くの対応する各特徴マップの生成は所定の対応する変換を所定の対応するモダリティに対して適用することによって行われ、前記１つより多くの対応する変換は行われるべき前記処理タスクに従って行われた初期訓練に続いて生成される、特徴マップ生成装置と、
少なくとも１つの結合演算に従って前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを選択及び結合しまた少なくとも１つの対応する結合特徴マップを提供する結合装置であって、前記結合装置は行われるべき前記処理タスクに従って動作しており、前記結合演算は 前記特徴マップ生成装置によって生成された前記１つより多くの特徴マップの各々の各対応する数値を 前記少なくとも１つの対応する結合特徴マップ内の１つの数値に迄減らす、結合装置とを含む、結合特徴マップ生成装置。
【０１８６】
＜項１３＞  項１に記載の結合特徴マップ生成装置において、前記特徴マップ生成装置によって生成された前記対応する１つより多くの特徴マップを結合することは、１つより多くの結合演算に従って行われ、各結合演算は相互独立である、結合特徴マップ生成装置。
【図１】
2019512829.tif 000006
【図２】
2019512829.tif 000007
【図３】
2019512829.tif 000008
【図４】
2019512829.tif 000009
【国際調査報告】
2019512829.tif 000010
2019512829.tif 000011
2019512829.tif 000012