(57)【要約】【課題】  ニューラルネットワーク分類及びその訓練を提供すること。【解決手段】  ニューラルネットワーク分類は、複数の第１のニューラルネットワークの各々に複数のサンプルを含む訓練データセットを入力することと、複数の第１のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの１つを入力することに応答して、対応する第１のニューラルネットワークから出力される、複数の出力値セットを取得することと、第２のニューラルネットワークに複数の出力値セットを入力することと、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第２のニューラルネットワークを訓練することと、によって行うことができる。【選択図】      図４
2020522794.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、
前記複数の第１のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、前記複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、前記訓練データセットの前記サンプルのうちの１つを入力することに応答して対応する第１のニューラルネットワークから出力される、複数の出力値セットを取得することと、
第２のニューラルネットワークに前記複数の出力値セットを入力することと、
対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、前記第２のニューラルネットワークを訓練することと、
を含む、ニューラルネットワークのための方法。
【請求項２】
前記複数の第１のニューラルネットワークをカスケード畳み込みニューラルネットワーク（ＣＮＮ）から導出することをさらに含む、請求項１に記載の方法。
【請求項３】
前記複数の第１のニューラルネットワークの各第１のニューラルネットワークを訓練することをさらに含む、前記請求項のいずれかに記載の方法。
【請求項４】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することが、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第１のニューラルネットワークを訓練することを含む、請求項３に記載の方法。
【請求項５】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することが、多段ＣＮＮを多分割交差検証することを含む、請求項３に記載の方法。
【請求項６】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することが、前記複数のサンプルの中の各サンプルを入力することを含む、請求項３に記載の方法。
【請求項７】
各サンプルは、複数の態様を含み、各態様は、前記複数の第１のニューラルネットワークのうちの１つに対応し、前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することは、前記複数の態様の中の対応する態様を入力することを含む、請求項３から請求項６のいずれか一項に記載の方法。
【請求項８】
前記サンプルは、３Ｄ画像であり、各態様は、前記３Ｄ画像内の平面の画像である、請求項７に記載の方法。
【請求項９】
前記サンプルは、生物であり、各態様は、前記生物の診断情報である、請求項７に記載の方法。
【請求項１０】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークは、第１のネットワーク構造を有する、前記請求項のいずれか一項に記載の方法。
【請求項１１】
前記複数の第１のニューラルネットワークの中の少なくとも１つの第１のニューラルネットワークは、第１のネットワーク構造を有し、前記複数の第１のニューラルネットワークの中の少なくとも１つの第１のニューラルネットワークは、第２のネットワーク構造を有する、前記請求項のいずれか一項に記載の方法。
【請求項１２】
前記第２のニューラルネットワークを、前記第２のニューラルネットワークの訓練の結果である第２の重み値セットとして記録することをさらに含む、前記請求項のいずれか一項に記載の方法。
【請求項１３】
コンピュータ可読媒体内に、各第１のニューラルネットワークを第１の重み値セットとして格納することにより前記複数の第１のニューラルネットワークを格納するとともに、前記第２の重み値セットとして前記第２のニューラルネットワークを格納することをさらに含む、請求項１２に記載の方法。
【請求項１４】
対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、複数の第２のニューラルネットワークを訓練することであって、各第２のニューラルネットワークには、対応する複数の第１のニューラルネットワークからの出力値セットが入力される、複数の第２のニューラルネットワークを訓練することと、
前記複数の第２のニューラルネットワークからの前記サンプルに対応する出力を入力することに応答して各サンプルに対応する期待結果を出力するように、第３のニューラルネットワークを訓練することと、
をさらに含む、前記請求項のいずれか一項に記載の方法。
【請求項１５】
複数の第１のニューラルネットワークの各々にサンプルを入力することと、
前記複数の第１のニューラルネットワークから出力値セットを取得することであって、前記出力値セットは、前記サンプルに対応する複数の出力値を含み、各出力値は、前記サンプルを入力することに応答して対応する第１のニューラルネットワークから出力される、出力値セットを取得することと、
第２のニューラルネットワークに前記出力値セットを入力することと、
前記出力値セットを入力することに応答して前記サンプルに対応する結果を取得することと、
をさらに含む、前記請求項のいずれか一項に記載の方法。
【請求項１６】
複数の第１のニューラルネットワークの各々にサンプルを入力することと、
前記複数の第１のニューラルネットワークから出力値セットを取得することであって、前記出力値セットは、前記サンプルに対応する複数の出力値を含み、各出力値は、前記サンプルを入力することに応答して対応する第１のニューラルネットワークから出力される、出力値セットを取得することと、
第２のニューラルネットワークに前記出力値セットを入力することと、
前記出力値セットを入力することに応答して、前記サンプルに対応する結果を取得することと、
前記結果を出力することと、
を含む、方法。
【請求項１７】
請求項１から請求項１６のいずれか一項に記載の方法を行うために処理回路によって実行される命令を格納する、前記処理回路によって可読のコンピュータ可読媒体を含む、
ニューラルネットワークのためのコンピュータプログラム製品。
【請求項１８】
コンピュータ可読媒体に格納され、デジタルコンピュータの内部メモリにロード可能なコンピュータプログラムであって、前記プログラムがコンピュータ上で実行されるとき請求項１から請求項１６のいずれか一項に記載の方法を行うためのソフトウェアコード部分を含む、コンピュータプログラム。
【請求項１９】
プロセッサと、
具体化されたプログラム命令を有する１つ又は複数のコンピュータ可読ストレージ媒体と、
を含むシステムであって、前記プログラム命令は、プロセッサによって実行可能であり、
複数の第１のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、
前記複数の第１のニューラルネットワークから複数の出力値セットを入力することであって、各出力値セットは、前記複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、前記訓練データセットの前記サンプルのうちの１つを入力することに応答して対応する第１のニューラルネットワークから出力される、複数の出力値セットを入力することと、
第２のニューラルネットワークに前記複数の出力値セットを入力することと、
対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、前記第２のニューラルネットワークを訓練することと、
を含む動作を前記プロセッサに実行させる、
システム。
【請求項２０】
前記動作は、
前記複数の第１のニューラルネットワークをカスケード畳み込みニューラルネットワーク（ＣＮＮ）から導出することをさらに含む、
請求項１９に記載のシステム。
【請求項２１】
前記動作は、
前記複数の第１のニューラルネットワークの各第１のニューラルネットワークを訓練することをさらに含む、
請求項１９又は請求項２０に記載のシステム。
【請求項２２】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することが、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第１のニューラルネットワークを訓練することを含む、請求項２１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワーク分類及びその訓練に関する。より詳細には、本発明は、分類のための複数の第１のニューラルネットワークからの出力の合成物（ｃｏｍｐｏｓｉｔｉｏｎ）に基づくニューラルネットワークの訓練に関する。
【背景技術】
【０００２】
肺がんは、世界的に見ても、がんによる死者の死亡率の中で高い割合を占めている。肺がん死亡率を低減するための最も有望な戦略の１つは、早期発見である。近年、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）機器の性能の向上に伴い、ますます多数の断層撮影画像が（例えばスライス１ｍｍ間隔で）撮像されるようになってきており、その結果、放射線科医が結節（腫瘍）を識別する能力が向上している。しかしながら、人間が、１スキャン当たりおよそ３００〜５００スライスになることもある多数の画像を十分に読影する能力には限りがある。コンピュータ支援診断（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムは、ＣＴスキャンの時間効率的な読影という喫緊の課題にとって有望であるが、これらのシステムは、偽陽性を生じることがあり、これが問題となり得る。いくつかの現行の方法は、ＣＴスキャン画像内の肺結節の選択的分類器を伴うカスケード・ニューラルネットワークを使用する。
【０００３】
そのような現行の方法の１つは、アンサンブル学習として知られている。アンサンブル学習において、第１のステップは、モデルとして知られる多数のニューラルネットワークを作成し、次いで生成されたモデルを、投票（ｖｏｔｉｎｇ）又は平均といった技術によって集約することを伴う。あるモデルが、かなりの誤り率を生じるが性能がランダムではない場合、そのモデルを弱と同定することができる。ブースティングは、同じデータセットで各モデルを訓練することによって、アンサンブルをインクリメンタルに構築するが、この場合、インスタンスの重みは、最後の予測の誤りに応じて調節される。より単純な学習器の組合せを用いて予測を向上させることができる。異なる入力領域を異なる学習器でカバーすることができる。
【０００４】
このような現行の別の方法は、マルチビュー畳み込みネットワークの使用を伴う。例えば、コンピュータ断層撮影を通じて生成された３Ｄボリュームから、異なる平面の多数の２Ｄ画像を抽出することができる。畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＣＮＮ）の各々は、特定のビューから抽出された２Ｄ画像のうちの１つをストリーム処理する。ＣＮＮのすべての出力が融合され、結節確率が計算される。
【０００５】
選択的分類器を伴うカスケード・ニューラルネットワークを用いるこれらの現行の方法は、ＣＴスキャン画像における肺結節検出の偽陽性を減らすことができる。しかしながら、モデルを用いた性能向上の余地がある。したがって、当該分野において上記課題に対処する必要性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ニューラルネットワーク分類及びその訓練をする方法、コンピュータ可読媒体、コンピュータプログラム、及びシステムを提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、複数の第１のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、複数の第１のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの１つを入力することに応答して対応する第１のニューラルネットワークから出力される、複数の出力値セットを取得することと、第２のニューラルネットワークに複数の出力値セットを入力することと、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第２のニューラルネットワークを訓練することと、を含む方法が提供される。第１の態様によれば、この方法は、適用可能な状況における偽陽性の低減を向上させることができる。第１の態様はまた、この方法を実装するためのプログラム、このプログラムを実行するプロセッサ、及びこの方法を行う装置を含むこともできる。
【０００８】
本発明の第２の態様によれば、第１の態様の方法であって、複数の第１のニューラルネットワークをカスケード畳み込みニューラルネットワーク（ＣＮＮ）から導出することをさらに含む方法が提供される。第２の態様によれば、この方法は、分類器をカスケード接続すること、そして、そうすることで最終段ニューラルネットワークを先行段の判別結果に基づいて訓練することによって、判別能力を向上させることができる。
【０００９】
本発明の第３の態様によれば、第１の態様の方法であって、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、多段ＣＮＮの多分割交差検証を通じて、複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することを含む方法が提供される。第３の態様によれば、複数の第１のニューラルネットワークは、期待結果を正しく出力する、より均衡のとれた能力を有することができる。
【００１０】
本発明の第４の態様によれば、第１の態様の方法であって、各サンプルは、複数の態様を含み、各態様は、複数の第１のニューラルネットワークのうちの１つに対応し、複数の第１のニューラルネットワークの中の各第１のニューラルネットワークは、複数の態様の中の対応する態様を入力することによって訓練される方法が提供される。第４の態様によれば、各第１のニューラルネットワークは、結果に影響を及ぼし得るそれぞれの態様の微妙さに対して敏感になることができ、適用可能な状況における偽陽性の低減を向上させる。
【００１１】
本発明の第５の態様によれば、第１の態様の方法であって、第２のニューラルネットワークを、第２のニューラルネットワークの訓練の結果である第２の重み値セットとして記録することをさらに含む方法が提供される。第５の態様によれば、結果として得られるニューラルネットワークの合成物を、既に訓練された、分類のための使用準備ができた形態で配布することができる。第５の態様はまた、各第１のニューラルネットワークを第１の重み値セットとして格納して複数の第１のニューラルネットワークを格納するとともに、第２のニューラルネットワークを第２の重み値セットとして格納する、コンピュータ可読媒体を含む、コンピュータプログラム製品を含むこともできる。
【００１２】
本発明の第６の実施形態によれば、第１の態様の方法であって、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、複数の第２のニューラルネットワークを訓練することであって、各第２のニューラルネットワークには、対応する複数の第１のニューラルネットワークからの出力値セットが入力される、複数の第２のニューラルネットワークを訓練することと、複数の第２のニューラルネットワークからのサンプルに対応する出力を入力することに応答して各サンプルに対応する期待結果を出力するように、第３のニューラルネットワークを訓練することと、をさらに含む方法が提供される。第６の態様によれば、合成物の付加的な層が、適用可能な状況における偽陽性の低減を向上させることができる。
【００１３】
本発明の第７の態様によれば、複数の第１のニューラルネットワークの各々にサンプルを入力することと、複数の第１のニューラルネットワークから出力値セットを取得することであって、出力値セットは、サンプルに対応する複数の出力値を含み、各出力値は、サンプルを入力することに応答して対応する第１のニューラルネットワークから出力される、出力値セットを取得することと、第２のニューラルネットワークに出力値セットを入力することと、出力値セットを入力することに応答してサンプルに対応する結果を取得することと、結果を出力することと、を含む方法が提供される。第７の態様によれば、訓練された第１及び第２のニューラルネットワークを用いて、サンプルが結節を含んでいるか否かといった分類のような、未知結果を判断することができる。
【００１４】
１つの態様から見て、本発明は、複数の第１のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、複数の第１のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの１つを入力することに応答して対応する第１のニューラルネットワークから出力される、複数の出力値セットを取得することと、第２のニューラルネットワークに複数の出力値セットを入力することと、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第２のニューラルネットワークを訓練することと、を含む、ニューラルネットワークのための方法を提供する。
【００１５】
さらなる態様から見て、本発明は、複数の第１のニューラルネットワークの各々にサンプルを入力することと、複数の第１のニューラルネットワークから出力値セットを取得することであって、出力値セットは、サンプルに対応する複数の出力値を含み、各出力値は、サンプルを入力することに応答して対応する第１のニューラルネットワークから出力される、出力値セットを取得することと、第２のニューラルネットワークに出力値セットを入力することと、出力値セットを入力することに応答してサンプルに対応する結果を取得することと、結果を出力することと、を含む方法を提供する。
【００１６】
さらなる態様から見て、本発明は、本発明のステップを行うための方法を行うために処理回路によって実行される命令を格納する、処理回路によって可読のコンピュータ可読媒体を含む、ニューラルネットワークのためのコンピュータプログラム製品を提供する。
【００１７】
さらなる態様から見て、本発明は、コンピュータ可読媒体に格納され、デジタルコンピュータの内部メモリにロード可能なコンピュータプログラムであって、プログラムがコンピュータ上で実行されるとき本発明のステップを行うためのソフトウェアコード部分を含む、コンピュータプログラムを提供する。
【００１８】
さらなる態様から見て、本発明は、プロセッサと、具体化されたプログラム命令を有する１つ又は複数のコンピュータ可読ストレージ媒体と、を含むシステムであって、プログラム命令は、プロセッサによって実行可能であり、複数の第１のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、複数の第１のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの１つを入力することに応答して対応する第１のニューラルネットワークから出力される、複数の出力値セットを取得することと、第２のニューラルネットワークに複数の出力値セットを入力することと、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第２のニューラルネットワークを訓練することと、を含む動作をプロセッサに行わせる、システムを提供する。
【００１９】
発明の概要の節は、必ずしも本発明の実施形態のすべての必要な特徴を記載しているわけではない。本発明は、上記特徴のサブコンビネーションであってもよい。
【００２０】
ここで本発明の実施形態を、添付の図面を参照して、例示のみの目的で説明する。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための装置を示す。
【図２】本発明の実施形態による、第１のニューラルネットワーク及び第２のニューラルネットワークの合成物を示す。
【図３】本発明の実施形態による、第１のニューラルネットワーク及び第２のニューラルネットワークの合成物を示す。
【図４】本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための動作フローを示す。
【図５】本発明の実施形態による、複数の第１のニューラルネットワークを訓練するための動作フローを示す。
【図６】本発明の実施形態による、第２のニューラルネットワークを訓練するための動作フローを示す。
【図７】本発明の実施形態による、サンプルのニューラルネットワーク分類のための動作フローを示す。
【図８】本発明の実施形態による、クラウドサービス利用のために構成された、コンピュータの例示的なハードウェア構成を示す。
【発明を実施するための形態】
【００２２】
以下、本発明の例示的な実施形態を説明する。例示的な実施形態は、特許請求の範囲による本発明を制限するものではなく、実施形態において説明される特徴の組み合わせは、本発明にとって必ずしも必須ではない。
【００２３】
本発明の実施形態は、血管又は肋骨のような明らかに結節でないものをフィルタ除去するための選択的分類器として機能するＣＮＮを含むカスケード・ニューラルネットワーク、次いで結節である確率を計算するための均衡データセット（ｂａｌａｎｃｅｄ  ｄａｔａ  ｓｅｔ）で訓練されたＣＮＮを含むことができる。
【００２４】
いくつかの実施形態において、Ｓ１−Ｓｎを含むカスケードＣＮＮは、結節でないものをフィルタ除去するための選択的分類器として機能することができる。さらなるカスケードＣＮＮであるＳｎ＋１は、結節確率を取得することができる。そのため、Ｎ分割交差検証を通じてｎ＊Ｎ個のモデルを導出することができる。例えば、５段カスケードＣＮＮ（Ｓ１−Ｓ５）から１０分割交差検証により５０個のモデルを導出することができる。導出されたモデルに、結節候補画像、又は３Ｄ画像ボリュームから抽出した画像を入力することにより、長さがｎ＊Ｎに等しい結節確率ベクトルを得ることができる。導出されたモデルから得られた結節確率ベクトルを用いることによって、別のニューラルネットワークモデルを訓練することができる。このニューラルネットワークモデルは、導出されたモデルから生成される結節確率のパターンを学習することによって、より優れた性能を提供することができる。
【００２５】
図１は、本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための装置１００を示す。装置１００は、オンプレミス・アプリケーションを実行し、これを用いるクライアントコンピュータをホストする、サーバコンピュータ又はメインフレームコンピュータのようなホスト・コンピュータとすることができる。装置１００は、２つ以上のコンピュータを含むコンピュータシステムとすることができる。あるいは、装置１００は、装置１００のユーザのためのアプリケーションを実行するパーソナルコンピュータとすることができる。
【００２６】
装置１００は、導出セクション１０２、入力セクション１０３、取得セクション１０５、訓練セクション１０６、及び出力セクション１０８を含むことができる。装置１００は、コンピュータ可読媒体１０９、第２のニューラルネットワーク１１０、及び複数の第１のニューラルネットワーク１１２と通信することができる。装置１００は、プロセッサによって実行可能であってプロセッサに種々のセクションの動作を実行させるプログラム命令をまとめて格納する１つ又は複数のコンピュータ可読ストレージ媒体を含む、コンピュータプログラム製品とすることもできる。装置１００は、代替的に、アナログ又はデジタルのプログラム可能回路、又はそれらの組合せとすることもできる。装置１００は、通信を介して相互作用する、物理的に分離したストレージ又は回路で構成することもできる。
【００２７】
複数の第１のニューラルネットワーク１１２の各第１のニューラルネットワーク１１３は、未処理サンプル、又は他の任意の入力の分類の確率を出力するように構成された、ニューラルネットワークとすることができる。第２のニューラルネットワーク１１０は、出力された分類の確率の合成物に基づいて、分類の確率のような入力の分類に関連した値を出力するように構成された、ニューラルネットワークとすることができる。これらのニューラルネットワークは、ローカルに格納することもでき又は遠隔に格納することもできる。第１のニューラルネットワーク１１２及び第２のニューラルネットワーク１１０は、フィードフォワード・ニューラルネットワーク、回帰ニューラルネットワーク、モジュラー・ニューラルネットワーク、動的ニューラルネットワーク、カスケード・ニューラルネットワークなどを任意の組合せで含むがそれらに限定されない、任意の型式のニューラルネットワークとすることができる。いくつかの実施形態において、第１のニューラルネットワーク１１２及び第２のニューラルネットワーク１１０は、装置１００において実行されるソフトウェアプログラムによって実現することができ、他の実施形態においては、第１のニューラルネットワーク１１２及び第２のニューラルネットワーク１１０は、物理的なニューラルネットワーク等として実現される、装置１００と通信する１つ又は複数のコンピュータによって実現することができる。
【００２８】
導出セクション１０２は、第１のニューラルネットワーク１１３のような、未処理サンプルの分類の確率を出力するように構成されたニューラルネットワークを導出することができる。いくつかの実施形態において、導出セクション１０２は、カスケード畳み込みニューラルネットワーク（ＣＮＮ）から複数の第１のニューラルネットワーク１１２を導出するように構成することができる。他の実施形態において、導出セクション１０２は、初期の第１のニューラルネットワークのハイパーパラメータを調節してアンサンブルを作成することによって、複数の第１のニューラルネットワーク１１２を導出するように構成することができる。このような調節は、ランダムであってもよく、又は、訓練中の結果のような結果に基づいて決定されてもよい。
【００２９】
入力セクション１０３は、サンプル、確率、又は他のデータ形態を、第１のニューラルネットワーク１１３及び第２のニューラルネットワーク１１０のようなニューラルネットワークに入力することができる。いくつかの実施形態において、入力セクション１０３は、複数のサンプルを含む訓練データセットを複数の第１のニューラルネットワーク１１２の各々に入力するように構成することができ、また、複数の出力値セットを第２のニューラルネットワーク１１０に入力するように構成することができる。入力セクション１０３は、メモリ、コンピュータ、サーバ等と通信することができ、そこからサンプル、確率、及び他のデータ形態を受け取る。サンプルの例は、３Ｄ画像ボリューム、２Ｄ画像、診断の収集物等を含むことができる。入力セクション１０３は、取得セクション１０５から確率を受け取ることができる。
【００３０】
取得セクション１０５は、第１のニューラルネットワーク１１３及び第２のニューラルネットワーク１１０のようなニューラルネットワークから出力を取得することができる。いくつかの実施形態において、取得セクション１０５は、複数の第１のニューラルネットワーク１１２から複数の出力値セットを取得するように構成することができ、各出力値セットは、複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの１つを入力することに応答して、対応する第１のニューラルネットワークから出力される。取得セクション１０５は、複数の第１のニューラルネットワーク１１２からの出力値を入力セクション１０３に送ることができるので、出力値は、出力値セットとして第２のニューラルネットワーク１１０に入力されることができる。
【００３１】
訓練セクション１０６は、第１のニューラルネットワーク１１３及び第２のニューラルネットワーク１１０のようなニューラルネットワークを訓練することができる。いくつかの実施形態において、訓練セクション１０６は、複数の第１のニューラルネットワークの各第１のニューラルネットワークを訓練するように構成することができる。このような訓練は、ニューラルネットワークが期待結果を正しく出力する能力を向上させるための、パラメータの調節を含むことができる。いくつかの実施形態において、訓練セクション１０６は、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第２のニューラルネットワークを訓練するように構成することができる。これら及び他の実施形態において、訓練セクション１０６は、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第１のニューラルネットワークを訓練するように、さらに構成することができる。訓練セクション１０６による訓練は、ハイパーパラメータの調節、又は、訓練のプロセス内でのニューラルネットワークの導出を含む、他のより複雑な訓練形態を含むことができる。いくつかの実施形態において、訓練セクション１０６は、多段ＣＮＮを多分割交差検証するように、さらに構成される。訓練セクション１０６は、訓練中、導出セクション１０２と協働して動作することができる。
【００３２】
出力セクション１０８は、取得セクション１０５によって取得された確率及び結果を出力することができ、又はニューラルネットワークを重み値セットとして記録することができる。いくつかの実施形態において、出力セクション１０８は、第２のニューラルネットワークを、第２のニューラルネットワークの訓練の結果である第２の重み値セットとして記録するように構成することができる。他の実施形態において、出力セクション１０８は、第２のニューラルネットワークの結果を出力するように構成することができる。
【００３３】
コンピュータ可読媒体１０９は、装置１００又は個別のセクションが使用するためのデータを格納することができる。いくつかの実施形態において、コンピュータ可読媒体１０９は、複数の第１のニューラルネットワーク及び第２のニューラルネットワークを格納することができ、各第１のニューラルネットワークは、第１の重み値セットとして格納され、第２のニューラルネットワークは、第２の重み値セットとして格納される。他の実施形態において、コンピュータ可読媒体１０９は、サンプル、出力値、結果、及び装置１００にとって有用な他の任意のデータを格納することができる。コンピュータ可読媒体１０９は、例えばネットワークを介したサーバを通じて、装置１００のセクションと直接的又は間接的に通信することができる。
【００３４】
図２は、本発明の実施形態による、第１のニューラルネットワーク及び第２のニューラルネットワークの合成物を示す。この合成物は、少なくとも第１のニューラルネットワーク２１３Ａ、２１３Ｂ、２１３Ｃ、及び２１３Ｄを含む複数の第１のニューラルネットワーク２１２と、第２のニューラルネットワーク２１０とを含む。具体的には、図２は、サンプル２１５が複数の第１のニューラルネットワーク２１３に入力され、第１のニューラルネットワーク２１３の出力２１８が、第２のニューラルネットワーク２１０に入力され、第２のニューラルネットワーク２１０の出力がそこから取得されるときの、データの流れを示す。
【００３５】
この実施形態において、各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）は、同じ入力、すなわちサンプル２１５を受けことができる。これら及び他の実施形態において、複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することは、複数のサンプルの中の各サンプルを入力することを含む。
【００３６】
各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）の入力ノードの数は、サンプル２１５からのデータの量に一致するように構成することができるので、この実施形態において複数の第１のニューラルネットワーク２１２間で一様である。いくつかの実施形態において、複数の第１のニューラルネットワーク２１２の中の各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）は、第１のネットワーク構造を有することができる。他の実施形態において、複数の第１のニューラルネットワーク２１２の中の少なくとも１つの第１のニューラルネットワークは、第１のネットワーク構造を有することができ、複数の第１のニューラルネットワーク２１２の中の少なくとも１つの第１のニューラルネットワークは、第２のネットワーク構造を有することができる。各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）の出力ノードの数は、１つ、例えばサンプルが特定の分類に入る単一の確率についての出力ノードとすることができる。
【００３７】
第２のニューラルネットワーク２１０の入力ノードの数は、複数のニューラルネットワーク２１２の中の第１のニューラルネットワークの数と一致させることができる。このようにして、各出力（２１９Ａ−２１９Ｄ）を、第２のニューラルネットワーク２１０の一意のノードに入力することができる。多くの実施形態において、第２のニューラルネットワーク２１０の入力ノードは、同じ第１のニューラルネットワークからの出力を一貫して受ける。このようにして、第２のニューラルネットワーク２１０は、結果に影響を及ぼし得る、各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）の習慣（ｈａｂｉｔ）を学習することができ、適用可能な状況における偽陽性の低減を向上させる。第２のニューラルネットワークは、２つの出力ノードを有することができ、例えば、１つの出力ノードは、サンプルが特定の分類に入る確率のための出力ノードであり、別の出力ノードは、サンプルが特定の分類に入らない確率のための出力ノードであり、特定の分類に入らない確率は、通常、１から上記１つの出力ノードの確率を引いたものである。
【００３８】
図３は、本発明の実施形態による、第１のニューラルネットワーク及び第２のニューラルネットワークの合成物を示す。この合成物は、少なくとも第１のニューラルネットワーク２１３Ａ、２１３Ｂ、２１３Ｃ、及び２１３Ｄを含む複数の第１のニューラルネットワーク２１２と、第２のニューラルネットワーク２１０とを含む。具体的には、図３は、サンプル２１５が複数の第１のニューラルネットワーク２１３に入力され、第１のニューラルネットワーク２１３の出力２１８が、第２のニューラルネットワーク２１０に入力され、第２のニューラルネットワーク２１０の出力がそこから取得されるときの、データの流れを示す。
【００３９】
サンプル２１５は、態様２１６Ａ、態様２１６Ｂ、態様２１６Ｃ、及び態様２１６Ｄのような、サンプル２１５から抽出されるか又はそれ以外の方法で取得することができる多数の態様を含むことができる。いくつかの実施形態において、サンプル２１５は、複数の態様を含むことができ、各態様は、複数の第１のニューラルネットワーク２１２のうちの１つに対応する。これら及び他の実施形態において、複数の第１のニューラルネットワーク２１２の中の各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）を訓練することは、複数の態様（２１６Ａ−２１６Ｄ）の中の対応する態様を入力することを含むことができる。例えば、態様２１６Ａは、第１のニューラルネットワーク２１３Ａに入力される。いくつかの実施形態において、サンプルは、３Ｄ画像とすることができ、各態様は、３Ｄ画像内の平面の画像である。これら及び他の実施形態において、各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）は、３Ｄ画像ボリュームからの特定の平面の画像のような特定の型式の態様を受け取るように構成され又は訓練されることができる。このようにして、各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）は、結果に影響を及ぼし得るそれぞれの態様の微妙さに対して敏感になることができ、適用可能な状況における偽陽性の低減を向上させる。他の実施形態において、サンプルは、生物とすることができ、各態様は、その生物の診断情報である。
【００４０】
各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）の入力ノードの数は、各態様（２１６Ａ−２１６Ｄ）からのデータの量に一致するように構成することができる。この量は、複数の第１のニューラルネットワーク２１２間で一様とすることができ、これは各態様が３Ｄ画像内の平面の画像である場合の実施形態において適切であり得る。しかしながら、この量は、複数の第１のニューラルネットワーク２１２間で異なっていてもよく、これは各態様が生物の診断情報である場合に適切であり得る。より広く言うと、いくつかの実施形態において、複数の第１のニューラルネットワーク２１２の中の各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）は、より広く言えば第１のネットワーク構造を有することができる。他の実施形態において、複数の第１のニューラルネットワーク２１２の中の少なくとも１つの第１のニューラルネットワークは、第１のネットワーク構造を有することができ、複数の第１のニューラルネットワーク２１２の中の少なくとも１つの第１のニューラルネットワークは、第２のネットワーク構造を有することができる。各第１のニューラルネットワーク（２１３Ａ−２１３Ｄ）の出力ノードの数は、１つ、例えばサンプルが特定の分類に入る単一の確率についての出力ノードとすることができる。
【００４１】
図４は、本発明の実施形態による、ニューラルネットワーク分類及びその訓練のための動作フローを示す。この動作フローは、複数の第１のニューラルネットワーク２１２と第２のニューラルネットワーク２１０との合成物の場合のような、ニューラルネットワーク分類及びその訓練の方法を提供することができる。動作は、装置１００のような装置によって行うことができる。
【００４２】
Ｓ３２０において、導出セクション１０２のような導出セクションは、カスケード・ネットワークから、複数の第１のニューラルネットワーク２１２のような複数の第１のニューラルネットワークを導出することができる。いくつかの実施形態において、これは、カスケード畳み込みニューラルネットワーク（ＣＮＮ）から複数の第１のニューラルネットワークを導出することを含むことができる。例えば、導出セクションは、１０個の５段カスケード・ニューラルネットワークで開始することができる。この例において、導出セクションは、次いで５０個の第１のニューラルネットワークを生じることができる。
【００４３】
Ｓ３３０において、訓練セクション１０６のような訓練セクションは、複数の第１のニューラルネットワークの各第１のニューラルネットワークを訓練することができる。いくつかの実施形態において、これは、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第１のニューラルネットワークを訓練することを含むことができる。第１のニューラルネットワークがカスケードＣＮＮから導出される実施形態において、複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することは、多段ＣＮＮを多分割交差検証することを含むことができる。このような実施形態において、カスケードＣＮＮの各段で確率ベクトルの形式の出力を取得することができ、ここで、分類器をカスケード接続すること、そして、そうすることで第ｎ段の判別結果に基づいて第（ｎ＋１）段のニューラルネットワークを訓練することによって判別能力を向上させると同時に、ニューラルネットワークを用いて第１のニューラルネットワーク、又はカスケード分類器を作成又は導出することができる。いくつかの実施形態において、訓練セクションは、導出プロセスの一部として第１のニューラルネットワークを訓練し、ここで１０個のニューラルネットワークの各々が、異なる訓練データのセットで訓練される。
【００４４】
Ｓ３４０において、訓練セクションは、第２のニューラルネットワークを訓練する。いくつかの実施形態において、訓練セクションは、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第２のニューラルネットワークを訓練することができる。
【００４５】
Ｓ３５０において、出力セクション１０８のような出力セクションは、第２のニューラルネットワークを第２の重み値セットとして記録することができる。いくつかの実施形態において、第２の重み値セットは、第２のニューラルネットワークの訓練（Ｓ３４０）の結果とすることができる。これら及び他の実施形態において、第１のニューラルネットワークもまた、第１の重み値セットとして記録することができる。例えば、第１及び第２の重み値セットを、コンピュータ可読媒体に記録することができる。コンピュータ可読媒体は、次いで、結節が存在するか否かに基づく３Ｄ画像ボリュームの分類のような分類について訓練されたニューラルネットワークから利益を受けることができる者に配布されてもよい。いくつかの実施形態において、出力セクションは、第１及び第２のニューラルネットワークの構造に関する情報を記録することもできる。
【００４６】
代替的な実施形態において、動作フローは、複数の第２のニューラルネットワークを訓練することを伴う場合もある。このような実施形態において、各第２のニューラルネットワークは、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように訓練されることができ、各第２のニューラルネットワークには、対応する複数の第１のニューラルネットワークからの出力値セットが入力される。このような実施形態において、複数の第１のニューラルネットワークは、各第２のニューラルネットワークに対して一意であってもよく、又は同じであってもよい。同様に、複数の第１のニューラルネットワークは、サンプルの一意の態様、サンプルの同じ態様、又はサンプルの態様の異なる組み合わせを受け取ることができる。このような実施形態は、複数の第２のニューラルネットワークからのサンプルに対応する出力を入力することに応答して各サンプルに対応する期待結果を出力するように、第３のニューラルネットワークを訓練することを伴うこともできる。このような合成物の付加的な層は、適用可能な状況における偽陽性の低減を向上させることができる。
【００４７】
図５は、本発明の実施形態による、複数の第１のニューラルネットワークを訓練するための動作フローを示す。この動作フローは、複数の第１のニューラルネットワーク２１２のような分類のためのニューラルネットワークを訓練する方法を提供することができる。動作は、装置１００のような装置によって行うことができる。
【００４８】
Ｓ４３１において、入力セクション１０３のような入力セクションは、サンプル２１５のような訓練サンプルを、第１のニューラルネットワーク２１３Ａのような第１のニューラルネットワークに入力することができる。訓練の目的で、サンプルは、期待結果である既知結果に関連付けられている。いくつかの実施形態において、態様２１６Ａのようなサンプルの態様が、第１のニューラルネットワークに入力される。
【００４９】
Ｓ４３２において、取得セクション１０５のような取得セクションは、第１のニューラルネットワークから出力値を取得することができる。例えば、取得セクションは、ひとたびサンプルが第１のニューラルネットワークによって処理されると、第１のニューラルネットワークの出力ノードを読み出すことができる。
【００５０】
Ｓ４３４において、訓練セクション１０６のような訓練セクションは、第１のニューラルネットワークのパラメータを更新することができる。いくつかの実施形態において、複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することは、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第１のニューラルネットワークを訓練することを含む。換言すれば、パラメータを更新して、第１のニューラルネットワークが期待結果を正しく出力する能力を向上させることができる。
【００５１】
Ｓ４３５において、訓練セクションは、停止条件、例えば最後のサンプルに達したこと、許容可能な能力に達したこと等に適合したかどうか判断する。停止条件に適合していない場合、フローはＳ４３６に進み、入力セクションは、次のサンプルを準備し及び／又は獲得する。停止条件に適合した場合、フローはＳ４３８に進む。
【００５２】
Ｓ４３８において、訓練セクションは、最後の第１のニューラルネットワークが訓練されたかどうか判断する。訓練すべき第１のニューラルネットワークがまだある場合、フローはＳ４３９に進み、入力セクションは、第１のニューラルネットワーク２１３Ｂのような次の第１のニューラルネットワークに入力される第１の訓練サンプルを準備し又は獲得する。最後の第１のニューラルネットワークが訓練された場合、フローは終了する。
【００５３】
図６は、本発明の実施形態による、第２のニューラルネットワークを訓練するための動作フローを示す。この動作フローは、第２のニューラルネットワーク２１０のような分類のためのニューラルネットワークを訓練する方法を提供することができる。動作は、装置１００のような装置によって行うことができる。このプロセスは第２のニューラルネットワークを訓練するために用いることができるが、第１のニューラルネットワークのみがテストされる。
【００５４】
Ｓ５４１において、入力セクション１０３のような入力セクションは、サンプル２１５のような訓練サンプルを、複数の第１のニューラルネットワーク２１２のような複数の第１のニューラルネットワークに入力することができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、入力セクションは、複数のサンプルを含む訓練データセットを、複数の第１のニューラルネットワークの各々に入力することになる。
【００５５】
Ｓ５４２において、取得セクション１０５のような取得セクションは、複数の第１のニューラルネットワークから出力値を取得することができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、入力セクションは、複数の出力値セットを複数の第１のニューラルネットワークから取得することになり、各出力値セットは、複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、訓練データセットのサンプルのうちの１つを入力することに応答して、対応する第１のニューラルネットワークから出力される。動作Ｓ５４１及びＳ５４２は、第１のニューラルネットワークをテストする目的のためのものとすることができる。そのため、第１のニューラルネットワークのパラメータは、図６の動作フロー中に更新されなくてもよい。
【００５６】
Ｓ５４４において、入力セクションは、出力値セットを第２のニューラルネットワークに入力することができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、入力セクションは、複数の出力値セットを第２のニューラルネットワークに入力することになる。
【００５７】
Ｓ５４５において、取得セクションは、第２のニューラルネットワークから結果を得ることができる。例えば、取得セクションは、ひとたびサンプルが第１のニューラルネットワークによって処理されると、第１のニューラルネットワークの出力ノードを読み出すことができる。このフローは、訓練データセットのすべてのサンプルにわたって繰り返されるので、取得セクションは、第２のニューラルネットワークからの結果のすべてを取得することになる。
【００５８】
Ｓ５４６において、訓練セクション１０６のような訓練セクションは、第２のニューラルネットワークのパラメータを更新することができる。いくつかの実施形態において、第２のニューラルネットワークを訓練することは、対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、第２のニューラルネットワークを訓練することを含む。換言すれば、パラメータを更新して、第２のニューラルネットワークが期待結果を正しく出力する能力を向上させることができる。
【００５９】
Ｓ５４８において、訓練セクションは、停止条件、例えば最後のサンプルに達したこと、許容可能な能力に達したこと等に適合したかどうか判断する。停止条件に適合していない場合、フローはＳ５４９に進み、入力セクションは、次のサンプルを準備し及び／又は獲得する。停止条件に適合した場合、フローは停止する。
【００６０】
図７は、本発明の実施形態による、サンプル２１５のようなサンプルのニューラルネットワーク分類のための動作フローを示す。この動作フローは、第２のニューラルネットワーク２１０のような分類のためのニューラルネットワークを訓練する方法を提供することができる。図７の動作フローは、未知結果を有するサンプルの分類のために用いることができる。そのため、図７の動作フローは、ニューラルネットワークの訓練がすでに完了している場合に有効であり得る。動作は、装置１００のような装置によって行うことができる。
【００６１】
Ｓ６４１において、入力セクション１０３のような入力セクションは、サンプル２１５のような訓練サンプルを、複数のニューラルネットワーク２１２のような複数の第１のニューラルネットワークに入力することができる。例えば、サンプルは、がんを有することが疑われる患者の３Ｄ画像ボリュームとすることができる。
【００６２】
Ｓ６４２において、取得セクション１０５のような取得セクションは、複数の第１のニューラルネットワークから出力値セット２１８のような出力値セットを取得することができ、出力値セットは、サンプルに対応する複数の出力値を含み、出力値２１９Ａのような各出力値は、サンプルを入力することに応答して、ニューラルネットワーク２１３Ａのような対応する第１のニューラルネットワークから出力される。例えば、取得セクションは、複数の第１のニューラルネットワークの各々から、サンプル中に結節が存在するかどうかの確率、又はその態様を取得することができる。
【００６３】
Ｓ６４４において、入力セクションは、出力値セットを第２のニューラルネットワークに入力することができる。例えば、入力セクションは、複数の第１のニューラルネットワークによって出力される各確率を、合成物、又はベクトルとして入力することができる。いくつかの実施形態において、対応する第１のニューラルネットワークに関して、合成物又はベクトルの次数（ｏｒｄｅｒ）は、第２のニューラルネットワークが訓練された次数と同じである。そのようにして、第２のニューラルネットワークが学習したあらゆる第１のニューラルネットワークに関するあらゆる行動的習慣が、有効に利用される。
【００６４】
Ｓ６４５において、取得セクションは、出力値セットを入力することに応答して、サンプルに対応する結果を取得することができる。例えば、取得セクションは、ひとたび出力値セットが第１のニューラルネットワークによって処理されると、第２のニューラルネットワークの出力ノードを読み出すことができる。第２のニューラルネットワークの出力もまた、サンプルが結節を有するかどうかの確率である。この確率は、第１のニューラルネットワークの確率のすべてに取って代わることが意図され、最終確率として成立し、第１のニューラルネットワークの確率の中の別のファクタとなることは意図されない。
【００６５】
Ｓ６５２において、出力セクション１０８のような出力セクションは、結果を出力することができる。例えば、サンプルが、疑わしい結節の３Ｄ画像ボリュームである場合、結果は、疑わしい結節が実際の結節である確率とすることができる。出力セクションは、第１のニューラルネットワークのいずれの確率も出力せずに、第２のニューラルネットワークから出力された確率のみを出力することができる。出力セクションは、さらに、第１のニューラルネットワークから出力された確率を却下、棄却等することができる。
【００６６】
少なくとも上述の実施形態は、分類の際の偽陽性の低減を向上させることができる。同じ訓練及びテストサンプルを用いるマルチビュー畳み込みネットワークと比較すると、上述の実施形態は、マルチビュー畳み込みネットワークよりもずっと低い誤り率で実行された。より詳細には、上述の実施形態の誤り率は１．３％であったのに対し、マルチビュー畳み込みネットワークの誤り率は９．４％であった。
【００６７】
図８は、本発明の実施形態による、上述の動作を行うように構成されたコンピュータの例示的なハードウェア構成を示す。コンピュータ７００にインストールされたプログラムは、本発明の実施形態の装置又はその１つ若しくは複数のセクション（モジュール、コンポーネント、要素など）としてコンピュータ７００を機能させる、若しくはそれらに関連付けられた動作をコンピュータ７００に行わせる、及び／又は本発明の実施形態のプロセス若しくはそのステップをコンピュータ７００に行わせることができる。このようなプログラムは、ＣＰＵ７００−１２によって実行することができ、フローチャートのブロックの一部又は全部及びその中に記載されたブロック図に関連付けられた特定の動作をコンピュータ７００に行わせる。
【００６８】
本実施形態によるコンピュータ７００は、ＣＰＵ７００−１２、ＲＡＭ７００−１４，グラフィック・コントローラ７００−１６、及びディスプレイ・デバイス７００−１８を含み、これらはホスト・コントローラ７００−１０によって相互に接続される。コンピュータ７００はまた、通信インタフェース７００−２２、ハードディスク・ドライブ７００−２４、ＤＶＤ−ＲＯＭドライブ７００−２６、及びＩＣカードドライブのような入力／出力ユニットを含み、これらは入力／出力コントローラ７００−２０を介してホスト・コントローラ７００−１０に接続される。コンピュータはまた、ＲＯＭ７００−３０及びキーボード７００−４２のようなレガシー入力／出力ユニットを含み、これらは入力／出力チップ７００−４０を通じて入力／出力コントローラ７００−２０に接続される。
【００６９】
ＣＰＵ７００−１２は、ＲＯＭ７００−３０及びＲＡＭ７００−１４に格納されたプログラムに従って動作し、これにより各ユニットを制御する。グラフィック・コントローラ７００−１６は、ＲＡＭ７００−１４内又はそれ自体の中に設けられたフレームバッファ等の上でＣＰＵ７００−１２によって生成された画像データを取得し、この画像データをディスプレイ・デバイス７００−１８に表示させる。
【００７０】
通信インタフェース７００−２２は、ネットワーク７００−５０を介して他の電子装置と通信する。ハードディスク・ドライブ７００−２４は、コンピュータ７００内のＣＰＵ７００−１２によって使用されるプログラム及びデータを格納する。ＤＶＤ−ＲＯＭドライブ７００−２６は、プログラム又はデータをＤＶＤ−ＲＯＭ７００−０１から読み出し、ＲＡＭ７００−１４を介してハードディスク・ドライブ７００−２４にプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み出し、及び／又はプログラム及びデータをＩＣカードに書き込む。
【００７１】
ＲＯＭ７００−３０は、起動時にコンピュータ７００によって実行されるブートプログラム等、及び／又はコンピュータ７００のハードウェアに依存するプログラムを格納する。入力／出力チップ７００−４０は、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、種々の入力／出力ユニットを入力／出力コントローラ７００−２０に接続することもできる。
【００７２】
プログラムは、ＤＶＤ−ＲＯＭ７００−０１又はＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み出され、同じくコンピュータ可読媒体の例であるハードディスク・ドライブ７００−２４、ＲＡＭ７００−１４、又はＲＯＭ７００−３０にインストールされ、ＣＰＵ７００−１２によって実行される。これらのプログラムに記述された情報処理は、コンピュータ７００に読み込まれ、プログラムと上記の種々のハードウェアリソースとの間の協働をもたらす。コンピュータ７００の使用法に従って動作又は情報の処理を実現することによって、装置又は方法を構築することができる。
【００７３】
例えば、コンピュータ７００と外部デバイスとの間で通信が行われる場合、ＣＰＵ７００−１２は、ＲＡＭ７００−１４にロードされた通信プログラムを実行して、通信プログラムに記述された処理に基づいて、通信インタフェース７００−２２に通信処理を指令することができる。ＣＰＵ７００−１２の制御下にある通信インタフェース７００−２２は、ＲＡＭ７００−１４、ハードディスク・ドライブ７００−２４、ＤＶＤ−ＲＯＭ７００−０１、又はＩＣカードのような記録媒体内に設けられた送信バッファリング領域に格納された送信データを読み出し、読み出された送信データをネットワーク７００−５０に送信し、又はネットワーク７００−５０から受信した受信データを、記録媒体内に設けられた受信バッファリング領域等に書き込む。
【００７４】
さらに、ＣＰＵ７００−１２は、ハードディスク・ドライブ７００−２４、ＤＶＤ−ＲＯＭドライブ７００−２６（ＤＶＤ−ＲＯＭ７００−０１）、ＩＣカードなどのような外部記録媒体に格納されているファイル又はデータベースのすべて又は必要部分をＲＡＭ７００−１４に読み込ませることができ、ＲＡＭ７００−１４上のデータに対して種々の型式の処理を行うことができる。ＣＰＵ７００−１２は、次いで、処理されたデータを外部記録媒体に戻して書き込むことができる。
【００７５】
種々の型式のプログラム、データ、テーブル、及びデータベースのような種々の型式の情報を記録媒体に格納して、情報処理を受けさせることができる。ＣＰＵ７００−１２は、ＲＡＭ７００−１４から読み出したデータに対して、本開示全体を通じて説明されるように及びプログラムの命令シーケンスによって指定されるように、種々の型式の動作、情報の処理、条件判断、条件付き分岐、無条件分岐、情報の検索／置換などを含む種々の型式の処理を行うことができ、結果をＲＡＭ７００−１４に戻して書き込む。さらに、ＣＰＵ７００−１２は、記録媒体内のファイル、データなどの中の情報を検索することができる。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体に格納されている場合、ＣＰＵ７００−１２は、その第１の属性の属性値が指定されている条件に合致するエントリを複数のエントリの中から検索することができ、エントリ内に格納された第２の属性の属性値を読み出し、それにより所定条件を満たす第１の属性に関連付けられた第２の属性の属性値が得られる。
【００７６】
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ７００上にある又はその近くにあるコンピュータ可読媒体内に格納することができる。さらに、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に設けられたハードディスク又はＲＡＭをコンピュータ可読媒体として用いることができ、これによりネットワークを介してプログラムがコンピュータ７００に提供される。
【００７７】
本発明は、システム、方法、及び／又はコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する１つ又は複数のコンピュータ可読ストレージ媒体を含むことができる。
【００７８】
コンピュータ可読ストレージ媒体は、命令実行デバイスによる使用のために命令を保持及び格納することができる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁気ストレージデバイス、半導体ストレージデバイス、又は上記のものの任意の適切な組合せとすることができるがこれらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、記録された命令を有するパンチカード若しくは溝内に隆起した構造等の機械式コード化デバイス、及び上記のものの任意の適切な組合せを含む。コンピュータ可読ストレージ媒体は、本明細書で用いられる場合、無線波若しくは他の自由に伝搬する電磁波、導波路若しくは他の伝送媒体を通って伝搬する電磁波（例えば光ファイバケーブルを通る光パルス）、又は電線を通って伝送される電気信号のような一時的な信号自体と解釈すべきではない。
【００７９】
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスにダウンロードすることも、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク及び／又は無線ネットワークを経由して、外部コンピュータ若しくは外部ストレージデバイスにダウンロードすることもできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体にストレージのために転送する。
【００８０】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、若しくはＣ＋＋などのオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語若しくは類似のプログラミング言語のような従来の手続き型プログラミング言語を含む１つ若しくは複数のプログラミング言語の任意の組合せで記述されたソースコード若しくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。後者のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続が行われる場合もある（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えばプログラム可能論理回路、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することにより、コンピュータ可読プログラム命令を実行することができる。
【００８１】
本発明の態様は、本明細書において、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図のブロックの組合せは、コンピュータ可読プログラム命令によって実装することができることが理解されるであろう。
【００８２】
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を作り出すようにすることができる。これらのコンピュータプログラム命令を、コンピュータ、プログラム可能データ処理装置、及び／又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読ストレージ媒体内に格納し、それにより、その中に格納された命令を有するコンピュータ可読媒体が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む製品を含むようにすることもできる。
【００８３】
コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置又は他のデバイス上で行わせてコンピュータ実装のプロセスを生成し、それにより、コンピュータ、他のプログラム可能装置又は他のデバイス上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実装するようにすることもできる。
【００８４】
図面内のフローチャート及びブロック図は、本開示の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図中に記された順序とは異なる順序で行われることがある。例えば、連続して示された２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。
ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図中のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェア・ベースのシステムによって実装することもでき、又は専用ハードウェアとコンピュータ命令との組合せを実行することもできることにも留意されたい。
【００８５】
本発明の実施形態を説明したが、本発明の技術的範囲は上述の実施形態に限定されない。本発明の上述の実施形態に、種々の変更又は改良を加え得ることが当業者には明らかである。また、そうした変更又は改良を加えた実施形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【００８６】
特許請求の範囲、実施形態、又は図に示される装置、システム、プログラム、及び方法により実施される各プロセスの動作、手順、ステップ、及び段階は、順番が、「に先立って（ｐｒｉｏｒ  ｔｏ）」、「より前に（ｂｅｆｏｒｅ）」等により示されない限り、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実施することができる。特許請求の範囲、実施形態、又は図において、プロセス・フローが、「最初に（ｆｉｒｓｔ）」又は「次に（ｎｅｘｔ）」のような語句を用いて説明されたとしても、これは必ずしも、プロセスをこの順序で実施しなければならないことを意味するものではない。
【符号の説明】
【００８７】
１００：装置
１１０、２１０：第２のニューラルネットワーク
１１２、２１２：複数の第１のニューラルネットワーク
１１３、２１３：第１のニューラルネットワーク
２１５：サンプル
２１６：態様
２１８：出力
２１９：各出力
７００：コンピュータ
【図１】
2020522794.tif 000003
【図２】
2020522794.tif 000004
【図３】
2020522794.tif 000005
【図４】
2020522794.tif 000006
【図５】
2020522794.tif 000007
【図６】
2020522794.tif 000008
【図７】
2020522794.tif 000009
【図８】
2020522794.tif 000010
【手続補正書】
【提出日】令和2年6月9日(2020.6.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
プロセッサが、
複数の第１のニューラルネットワークの各々に、複数のサンプルを含む訓練データセットを入力することと、
前記複数の第１のニューラルネットワークから複数の出力値セットを取得することであって、各出力値セットは、前記複数のサンプルのうちの１つに対応する複数の出力値を含み、各出力値は、前記訓練データセットの前記サンプルのうちの１つを入力することに応答して対応する第１のニューラルネットワークから出力される、複数の出力値セットを取得することと、
第２のニューラルネットワークに前記複数の出力値セットを入力することと、
対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、前記第２のニューラルネットワークを訓練することと、
を実行する、ニューラルネットワークのための方法。
【請求項２】
前記複数の第１のニューラルネットワークをカスケード畳み込みニューラルネットワーク（ＣＮＮ）から導出することをさらに含む、請求項１に記載の方法。
【請求項３】
前記複数の第１のニューラルネットワークの各第１のニューラルネットワークを訓練することをさらに含む、請求項１又は請求項２に記載の方法。
【請求項４】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することが、対応するサンプルを入力することに応答して各サンプルに対応する期待結果を出力するように、各第１のニューラルネットワークを訓練することを含む、請求項３に記載の方法。
【請求項５】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することが、多段ＣＮＮを多分割交差検証することを含む、請求項３に記載の方法。
【請求項６】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することが、前記複数のサンプルの中の各サンプルを入力することを含む、請求項３に記載の方法。
【請求項７】
各サンプルは、複数の態様を含み、各態様は、前記複数の第１のニューラルネットワークのうちの１つに対応し、前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークを訓練することは、前記複数の態様の中の対応する態様を入力することを含む、請求項３から請求項６のいずれか一項に記載の方法。
【請求項８】
前記サンプルは、３Ｄ画像であり、各態様は、前記３Ｄ画像内の平面の画像である、請求項７に記載の方法。
【請求項９】
前記サンプルは、生物であり、各態様は、前記生物の診断情報である、請求項７に記載の方法。
【請求項１０】
前記複数の第１のニューラルネットワークの中の各第１のニューラルネットワークは、第１のネットワーク構造を有する、請求項１から請求項９のいずれか一項に記載の方法。
【請求項１１】
前記複数の第１のニューラルネットワークの中の少なくとも１つの第１のニューラルネットワークは、第１のネットワーク構造を有し、前記複数の第１のニューラルネットワークの中の少なくとも１つの第１のニューラルネットワークは、第２のネットワーク構造を有する、請求項１から請求項１０のいずれか一項に記載の方法。
【請求項１２】
前記第２のニューラルネットワークを、前記第２のニューラルネットワークの訓練の結果である第２の重み値セットとして記録することをさらに含む、請求項１から請求項１１のいずれか一項に記載の方法。
【請求項１３】
コンピュータ可読媒体内に、各第１のニューラルネットワークを第１の重み値セットとして格納することにより前記複数の第１のニューラルネットワークを格納するとともに、前記第２の重み値セットとして前記第２のニューラルネットワークを格納することをさらに含む、請求項１２に記載の方法。
【請求項１４】
対応する出力値セットを入力することに応答して各サンプルに対応する期待結果を出力するように、複数の第２のニューラルネットワークを訓練することであって、各第２のニューラルネットワークには、対応する複数の第１のニューラルネットワークからの出力値セットが入力される、複数の第２のニューラルネットワークを訓練することと、
前記複数の第２のニューラルネットワークからの前記サンプルに対応する出力を入力することに応答して各サンプルに対応する期待結果を出力するように、第３のニューラルネットワークを訓練することと、
をさらに含む、請求項１から請求項１３のいずれか一項に記載の方法。
【請求項１５】
複数の第１のニューラルネットワークの各々にサンプルを入力することと、
前記複数の第１のニューラルネットワークから出力値セットを取得することであって、前記出力値セットは、前記サンプルに対応する複数の出力値を含み、各出力値は、前記サンプルを入力することに応答して対応する第１のニューラルネットワークから出力される、出力値セットを取得することと、
第２のニューラルネットワークに前記出力値セットを入力することと、
前記出力値セットを入力することに応答して前記サンプルに対応する結果を取得することと、
をさらに含む、請求項１から請求項１４のいずれか一項に記載の方法。
【請求項１６】
プロセッサが、
複数の第１のニューラルネットワークの各々にサンプルを入力することと、
前記複数の第１のニューラルネットワークから出力値セットを取得することであって、前記出力値セットは、前記サンプルに対応する複数の出力値を含み、各出力値は、前記サンプルを入力することに応答して対応する第１のニューラルネットワークから出力される、出力値セットを取得することと、
第２のニューラルネットワークに前記出力値セットを入力することと、
前記出力値セットを入力することに応答して、前記サンプルに対応する結果を取得することと、
前記結果を出力することと、
を実行する、方法。
【請求項１７】
請求項１から請求項１６のいずれか一項に記載の方法を行うために前記プロセッサによって実行される命令を格納する、前記プロセッサによって可読のコンピュータ可読媒体。
【請求項１８】
請求項１から請求項１６のいずれか一項に記載の方法における各ステップをプロセッサに実行させるためのコンピュータプログラム。
【請求項１９】
プロセッサと、
具体化されたプログラム命令を有する１つ又は複数のコンピュータ可読ストレージ媒体と、
を含むシステムであって、前記プログラム命令は、請求項１から請求項１６のいずれか一項に記載の方法における各ステップを前記プロセッサに実行させる、
システム。
【国際調査報告】
2020522794.tif 000011
2020522794.tif 000012