(57)【要約】  ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションの方法、コンピューター可読記録媒体、及びシステムが開示される。前記方法は、画像から画像データを抽出する工程、前記抽出した画像データに一以上のセマンティックセグメンテーションを実行する工程、それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入する工程、及び前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成する工程を含む。
2019533866.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションの方法であって、
画像から画像データを抽出する工程、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行する工程、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入する工程、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成する工程を含む、方法。
【請求項２】
前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てる工程を含む、請求項１に記載の方法。
【請求項３】
不正確に分類されたフィードバックの少なくとも一部に手動で注釈をつける工程を含む、請求項１に記載の方法。
【請求項４】
前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じである、請求項１に記載の方法。
【請求項５】
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１に記載の方法。
【請求項６】
畳み込み、有効化、バッチ正規化、及びダウンサンプリングからなる演算を実行するようになっている訓練可能符号器ブロック、又は、逆畳み込み、有効化、バッチ正規化、及びアップサンプリングからなる演算を実行するようになっている訓練可能復号器ブロックを用いて前記一以上のセマンティックセグメンテーションを行う、請求項１に記載の方法。
【請求項７】
前記一以上の分類器は、前記訓練可能符号器ブロック用の訓練不可能フィードバックブロック、又は前記訓練可能復号器ブロック用の訓練不可能フィードバックブロックを用いて導入され、前記符号器ブロック用の前記訓練不可能フィードバックブロックは、畳み込み及びダウンサンプリングからなる演算を実行するようになっており、前記訓練可能復号器ブロック用の前記訓練不可能フィードバックブロックは、逆畳み込み及びアップサンプリングからなる演算を実行するようになっている、請求項６に記載の方法。
【請求項８】
前記一以上の分類器を結合演算により導入する工程を含む、請求項１に記載の方法。
【請求項９】
前記一以上の分類器は、前記画像内の２つ以上の対象のクラスに関する、請求項１に記載の方法。
【請求項１０】
前記画像内の前記一以上の対象のクラスに確率を割り当てる工程は
前記画像内の一以上の対象のクラスを強調する工程、及び／又は
前記画像内の一以上の対象のクラスの強調を解除する工程を含む、請求項１に記載の方法。
【請求項１１】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのためのコンピューター可読プログラムコードを格納した非一時的コンピューター可読記録媒体であって、前記コンピューター可読プログラムコードは、
画像から画像データを抽出すること、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含む処理を実行するようになっている、コンピューター可読記録媒体。
【請求項１２】
前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てることを含む、請求項１１に記載のコンピューター可読記録媒体。
【請求項１３】
前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じであり、及び／又は
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１１に記載のコンピューター可読記録媒体。
【請求項１４】
畳み込み、有効化、バッチ正規化、及びダウンサンプリングからなる演算を実行するようになっている訓練可能符号器ブロック、又は、逆畳み込み、有効化、バッチ正規化、及びアップサンプリングからなる演算を実行するようになっている訓練可能復号器ブロックを用いて前記一以上のセマンティックセグメンテーションを行い、
前記一以上の分類器は、前記訓練可能符号器ブロック用の訓練不可能フィードバックブロック、又は前記訓練可能復号器ブロック用の訓練不可能フィードバックブロックを用いて導入され、前記符号器ブロック用の前記訓練不可能フィードバックブロックは、畳み込み及びダウンサンプリングからなる演算を実行するようになっており、前記訓練可能復号器ブロック用の前記訓練不可能フィードバックブロックは、逆畳み込み及びアップサンプリングからなる演算を実行するようになっている、請求項１１に記載のコンピューター可読記録媒体。
【請求項１５】
前記一以上の分類器を結合演算により導入することを含む、請求項１１に記載のコンピューター可読記録媒体。
【請求項１６】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのシステムであって、
プロセッサー、及び
メモリーを含み、
前記メモリーは、実行されると前記システムに、
画像から画像データを抽出すること、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを行わせる命令を格納する、システム。
【請求項１７】
前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てることを含む、請求項１６に記載のシステム。
【請求項１８】
前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じであり、及び／又は
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１６に記載のシステム。
【請求項１９】
畳み込み、有効化、バッチ正規化、及びダウンサンプリングからなる演算を実行するようになっている訓練可能符号器ブロック、又は、逆畳み込み、有効化、バッチ正規化、及びアップサンプリングからなる演算を実行するようになっている訓練可能復号器ブロックを用いて前記一以上のセマンティックセグメンテーションを行い、
前記一以上の分類器は、前記訓練可能符号器ブロック用の訓練不可能フィードバックブロック、又は前記訓練可能復号器ブロック用の訓練不可能フィードバックブロックを用いて導入され、前記符号器ブロック用の前記訓練不可能フィードバックブロックは、畳み込み及びダウンサンプリングからなる演算を実行するようになっており、前記訓練可能復号器ブロック用の前記訓練不可能フィードバックブロックは、逆畳み込み及びアップサンプリングからなる演算を実行するようになっている、請求項１６に記載のシステム。
【請求項２０】
前記一以上の分類器を結合演算により導入することを含む、請求項１６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１６年１０月３１日に出願された米国特許仮出願第６２／４１５，４１８号に対する優先権を主張し、その内容全体が参照により本明細書に組み込まれる。
【０００２】
本開示は、制御フィードバックを用いる画像セグメンテーションの方法及びシステムに関し、より詳細には、制御フィードバックを用いる画像セグメンテーションのためのニューラルネットワークに基づく方法及びシステムに関する。この制御フィードバックにより、不均衡クラス情報を伴う画像セグメンテーションが可能になり、ニューラルネットワークで重みを適切に初期化することも可能になる。
【背景技術】
【０００３】
例えば医療画像中の対象を検出、細分化し、かつ分類することが疾病の発見と診断に重要である場合がある。畳み込みニューラルネットワーク（ＣＮＮ）を含む深層ニューラルネットワーク（ＮＮｓ）及び他の種類の多層ニューラルネットワークが、特徴学習、分類、及び検出を向上させる既存の方法である。
【０００４】
ピクセルごとの分類、つまりセマンティックセグメンテーションは、所属するクラスの分類を各ピクセルに割り当てる処理である。例えば、セグメンテーションがなされた画像は、ある画像中の、例えば人に対応する全ピクセルで同じ分類を持つ。しかし、現在の畳み込みニューラルネットワークに関する１つの問題は、ニューラルネットワークが重みの初期化を必要とすることである。しかも、重みは無作為に初期化できるが、重みが収束するには長い時間がかかることがある。
【０００５】
例えば、畳み込みニューラルネットワークの最終段階（損失演算）でのクラス不均衡情報を考慮する方法が提案されているが、この方法でもニューラルネットワークが収束するのに長い時間を必要とする。また、領域移動情報（domain transfer knowledge）により畳み込み層の重みを大きくするという研究もある。しかし、これらの方法は予め訓練したニューラルネットワークの出力に依存しており、一般にエッジ情報を増加させやすい。
【発明の概要】
【課題を解決するための手段】
【０００６】
例示的な実施形態では、エッジ及び領域全体の重みを大きくすることができるシステム及び方法を開示する。さらに、開示された方法は、制御された性質を持っており、このモデルは特定のクラスの重みを大きくすることができる。これは領域移動情報のような技術では可能ではなく、例えば、領域変換に基づくモデルを経て検出されるエッジは、画像全体に対するものである。このようなシステムは、どのエッジがどの対象に属するかを分類することができない場合があるので、特定のクラスに適用することは困難となる。
【０００７】
例えば、正確な細胞体抽出は、癌細胞のさらなる病理学的分析のために細胞特性を定量化するのに大きく資することができる。実際的状況では、例えば細胞画像データは、多くの場合、次のような問題を有する。すなわち、組織の種類、ブロックの切断、染色処理、設備と病院及び細胞画像が異なることから生じる多種多様な外観は、時間をかけて段階的に収集され、収集されたデータは通常不均衡である。例えばある種の細胞画像は、他種の細胞画像よりも数が多い。
【０００８】
本開示では、ニューラルネットワークが大きい重み（又は確率）を初期化してより早期に収束できるようにニューラルネットワーク内でフィードバックを早期に提供し、それにより訓練時間を低減し、例えば細胞体の抽出又は特定のための学習を向上させることができる方法を開示する。
【０００９】
上述の問題を考慮すれば、フィードバックによりニューラルネットワークの重みを制御するシステム及び方法があることが望ましい。例示的な実施形態によれば、この方法及びシステムは、重要な重みを強調し、あまり重要でない重みの強調を解除する（あるいは強調しない）。処理中に重み（又は確率）をより早期に強調することでニューラルネットワークの重みを適切に初期化する一助となり、これによりニューラルネットワークがより早期に収束し、ニューラルネットワークの学習を向上させるのに資することができる。
【００１０】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションの方法が開示される。この方法は、画像から画像データを抽出する工程、抽出した画像データに一以上のセマンティックセグメンテーションを実行する工程、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入する工程、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成する工程を含む。
【００１１】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのためのコンピューター可読プログラムコードを格納した非一時的コンピューター可読記録媒体が開示される。このコンピューター可読プログラムコードは、画像から画像データを抽出すること、抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含む処理を実行するようになっている。
【００１２】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのシステムが開示される。このシステムは、プロセッサー、及びメモリーを含み、メモリーは、実行されるとシステムに画像から画像データを抽出すること、抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを行わせる命令を格納する。
【００１３】
当然のことであるが、上述の一般的な説明と以下の詳細な説明は例示と説明を目的としており、特許請求する本発明のさらなる説明を提供することを意図している。
【図面の簡単な説明】
【００１４】
本発明をさらに理解できるように添付の図面を提供する。これらの図面は、本明細書に組み込まれてその一部を構成する。図面は本発明の実施形態を図示し、本明細書とともに本発明の原理を説明する一助となる。
【００１５】
【図１】例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。
【００１６】
【図２】例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの別の図である。
【００１７】
【図３】フィードバックとして細胞領域を用いる例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。
【００１８】
【図４】フィードバックとして細胞境界を用いる例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。
【００１９】
【図５】フィードバックを用いる試験段階中の例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。
【００２０】
【図６】フィードバックとして複数の画像クラス領域を用いる例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムの図である。
【発明を実施するための形態】
【００２１】
本発明の好ましい実施形態を示す添付の図面を参照して本実施形態を詳細に説明する。可能な場合には、図面及び本明細書で同一の符号を用いて同一の部品に言及する。
【００２２】
例示的な実施形態では、畳み込みニューラルネットワークに特定の複数のニューロンが重要であると指示（又は伝達）し、これらのニューロンに対応する重みを強調する方法及びシステムを開示する。例えば、例示的な実施形態によれば、この方法及びシステムによりニューラルネットワークは、回路網の重みを強調し、重みの強調を解除し、あるいは重みを保持することができる。ニューラルネットワークが収束するために、重みの初期化は非常に重要な手順である場合があり、重み初期化のためのいくつかの方法が提案されている。異なる層の重みが初期化されると、ニューラルネットワークにデータが数回送信され、その結果、ニューラルネットワークは収束することができる。しかし、通常はニューラルネットワークが収束するには長い時間がかかる。
【００２３】
例示的な実施形態では、フィードバックによりニューラルネットワークにこれらのニューロンが重要であると指示する（又は伝達する）ことで、対応するニューロンの重みを強調する方法及びシステムを開示する。さらに、開示された方法は、制御された性質を持っており、このモデルは特定のクラスの重みを大きくすることができる。これは、例えば領域移動情報のような技術では不可能である。
【００２４】
周期的学習では、ニューラルネットワークは今のところ段階的に訓練することができる。この場合、最初は簡単なデータを用いてモデルを訓練した後、難解なデータを用いて微調整する。この種の学習に加えて、開示の方法では、同じデータ（容易に学習できるデータ）又は異なるデータ（学習するのが難しいデータ）について、システム又は方法により周期的にニューラルネットワークを学習させることができる。例えば、最初の２つのエポック（訓練可能符号器及び／又は訓練可能復号器）をフィードバックを用いて学習させ、次の例えば５つのエポック（訓練可能符号器及び／又は訓練可能復号器）をニューラルネットワークが収束するまでフィードバックを用いずに学習させてもよい。これにより、モデルが極小値を比較的早期に見つけることができるように学習を支援することができる。
【００２５】
例示的な実施形態によれば、制御された性質であるため、開示のシステム及び方法を半指導付き学習又は指導無し学習に用いてもよい。例示的な実施形態によれば、予測段階で、方法及びシステムは、例えば現在のモデルを周期的に向上させるために、フィードバックを行うマスクとして以前の結果を用いてもよい。
【００２６】
例えば、細胞画像は不均衡クラス画像であり、前景（例えば細胞）と比較して背景の情報は一般に多い（又はより広範に広がっている）。例示的な実施形態によれば、例えば開示の方法で細胞の重みを強調する一方、例えば背景の重みの強調を解除してもよい。
【００２７】
図１は、フィードバックを用いない例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム１００を示す。図１に示すように、符号器・復号器システム１００は、入力画像１１０、複数の訓練可能符号器ブロック１２０、１２２、１２４、複数の訓練可能復号器ブロック１３０、１３２、１３４、及びセグメンテーションマスク１４０を含む。例示的な実施形態によれば、複数の符号器ブロック１２０、１２２、及び１２４、又は非線形処理層は、例えば畳み込み、有効化、バッチ正規化、及びダウンサンプリングなどの演算からなるものとすることができる。対応する複数の復号器ブロック１３０、１３２、及び１３４は、例えば逆畳み込み、有効化、バッチ正規化、及びアップサンプリングなどの演算からなるものとすることができる。
【００２８】
例示的な実施形態によれば、複数の訓練可能符号器ブロック１２０、１２２、１２４、及び複数の訓練可能復号器ブロック１３０、１３２、１３４は、コンピューターシステム又は処理部１５０の下位にあってもよい。コンピューターシステム又は処理部１５０は、ソフトウェアプログラム及びデータを格納するプロセッサー又は中央処理装置（ＣＰＵ）と一以上のメモリーを含んでもよい。プロセッサー又はＣＰＵは、コンピュータープログラムの命令を実行する。コンピュータープログラムは、コンピューターシステム又は処理部１５０の機能の少なくとも一部を操作及び／又は制御する。コンピューターシステム又は処理部１５０は、入力部、表示部又はグラフィック・ユーザー・インターフェース（ＧＵＩ）、及びネットワーク通信手段（又はネットワーク）に接続されているネットワークインターフェース（Ｉ／Ｆ）も含んでもよい。コンピューターシステム又は処理部１５０は、コンピューターハードウェアを管理し、様々なソフトウェアプログラムを効率的に実行するために共通のサービスを提供するオペレーティングシステム（ＯＳ）も含んでもよい。例えば、実施形態によっては、さらなるあるいはより少ないコンピューターシステム若しくは処理部１５０、サービス、及び／又はネットワークを含んでもよく、装置内又は遠隔の他の装置（図示せず）で様々な機能を実行してもよい。さらに、様々な実体を統合して単一の演算システム又は処理部１５０にしてもよく、あるいは追加の演算装置又はシステム１５０全体に分散してもよい。
【００２９】
図２は、例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム２００を示す。図２に示すように、システム２００は、入力画像１１０、複数の訓練可能符号器ブロック１２０、１２２、１２４、複数の訓練可能復号器ブロック１３０、１３２、１３４、セグメンテーションマスク１４０、符号器２２０、２２２、２２４用の複数の訓練不可能フィードバックブロック、復号器２３０、２３２、２３４用の複数の訓練不可能フィードバックブロック、複数の重み関数２４０、２４１、２４２、２４３、２４４、２４５（つまり（α＊ａ，α＊ｂ）の間で重みに境界をつける）、及び複数の結合演算２５０、２５１、２５２、２５３、２５４、２５５を含んでもよい。例示的な実施形態によれば、複数の訓練不可能符号器ブロック２２０、２２２、及び２２４は、例えば畳み込み及びダウンサンプリングなどの演算からなるものとすることができる。対応する複数の訓練不可能復号器ブロック２３０、２３２、及び２３４は、例えば逆畳み込み及びアップサンプリングなどの演算からなるものとすることができる。
【００３０】
例示的な実施形態によれば、システム２００はフィードバック制御部２６０も含む。フィードバック制御部２６０は、画像１１０内の一以上のクラスのそれぞれに重みを割り当てることで一以上のクラスのそれぞれの重みを変更又は調整するようになっていてもよい。例示的な実施形態によれば、複数のピクセルのそれぞれが特定のピクセルのクラスに属する場合に、複数の重み関数２４０、２４１、２４２、２４３、２４４、及び２４５は、入力画像１１０の複数のピクセルのそれぞれに確率を割り当ててもよい。例えば、細胞の検出時に、細胞領域又は細胞領域間の境界を含み得る前景の分類重みは、背景や、例えば染色の分類重みよりも大きくなることがある。さらに、フィードバック制御部２６０は、各分類重みが等しくなり、又は例えば１などの設定値に設定されるように、「オン」又は「オフ」とされ得る。
【００３１】
例示的な実施形態によれば、フィードバック制御部２６０は、図１に示すようにコンピューターシステム又は処理部１５０の下位にあってもよく、あるいは別のコンピューターシステム又は処理装置２７０の下位にあってもよい。例えば、別のコンピューターシステム又は処理装置２７０は、プロセッサー又は中央処理装置（ＣＰＵ）、及びソフトウェアプログラムとデータを格納する一以上のメモリーを含んでもよい。プロセッサー又はＣＰＵは、コンピューターシステム又は処理部１５０の機能の少なくとも一部を操作及び／又は制御するコンピュータープログラムの命令を実行する。コンピューターシステム又は処理装置２７０は、入力部、データ入力のための表示部又はグラフィック・ユーザー・インターフェース（ＧＵＩ）、及びネットワーク通信手段（又はネットワーク）に接続されているネットワークインターフェース（Ｉ／Ｆ）も含んでもよい。コンピューターシステム又は処理装置２７０は、コンピューターハードウェアを管理し、様々なソフトウェアプログラムを効率的に実行するために共通のサービスを提供するオペレーティングシステム（ＯＳ）も含んでもよい。例えば、実施形態によっては、さらなるあるいはより少ないコンピューターシステム若しくは処理部１５０、２７０、及び／又はネットワークを含んでもよく、装置内又は遠隔の他の装置（図示せず）で様々な機能を実行してもよい。さらに、様々な実体を統合して単一の演算システム又は処理部１５０、２７０にしてもよく、あるいは追加の演算装置又はシステム１５０、２７０全体に分散してもよい。例示的な実施形態によれば、例えば表示部又はＧＵＩを用いて画像１１０をシステム又は処理部１５０、２７０に入力してセグメンテーションマスク１４０を視覚化し、あるいはフィードバックマップによりクラスに関する情報を入力することができる。
【００３２】
例示的な実施形態によれば、セマンティックセグメンテーションのシステム及び方法は、Ｓ＝｛（Ｘｎ；Ｙｎ），ｎ＝１…Ｎ｝で表される入力訓練データ集合を持つ訓練段階を含むことができる。式中、標本
【数１】
2019533866.tif 000003
は元の入力画像を表し、
【数２】
2019533866.tif 000004
は画像Ｘｎの対応するグラウンドトゥルースラベルを表す。下付文字ｎは、標記を簡略にするために以降では削除されている。例示的な実施形態によれば、Ｗｅ及びＷｄは、符号器と復号器の層パラメーターをそれぞれ示す。
【００３３】
例示的な実施形態では、特定の（又は背景を除くすべての）クラスの重みを強調し、他のクラスの重みの強調を解除する（又は初期化したのと同じままである）ようにすることができるニューラルネットワークを開示する。例えば、例示的な実施形態によれば、背景など他の情報に対して重要なクラス情報を強調するためにクラス選択の重みγをクラスごとに導入することができる。次に、フィードバックマップを
【数３】
2019533866.tif 000005
として生成する。式中、Ｃはクラスの数を表す。例示的な実施形態によれば、次にフィードバックマップをフィードバックネットワークに送信して重みｗｅ及びｗｄを生成する。フィードバック層の重みは
【数４】
2019533866.tif 000006
として表される。例示的な実施形態では、ｗの値は１を超えてもよいが、ｗの値が１を超えると、この値によりニューラルネットワークが極小値に収束しない場合がある。例示的な実施形態によれば、フィードバックネットワーク層の重みを以下のように更新することができる。
【数５】
2019533866.tif 000007
式中、
【数６】
2019533866.tif 000008
は、フィードバックネットワークの符号器及び復号器をそれぞれ表す。
【００３４】
例示的な実施形態によれば、符号器及び復号器の重み強調関数又は結合演算は次式で規定することができる。
【数７】
2019533866.tif 000009
【数８】
2019533866.tif 000010
式中、＊は任意の要素ごとの演算（加算、乗算、減算など）であってもよく、α及びβはそれぞれ符号化段階及び復号化段階のスケーリングパラメーターである。
【００３５】
例示的な実施形態によれば、本明細書に開示するフィードバックネットワーク２２０、２２２、２２４、２３０、２３２、及び２３４の複数の重み関数２４０、２４１、２４２、２４３、２４４、及び２４５のそれぞれは、フィードバックネットワーク２２０、２２２、２２４、２３０、２３２、及び２３４のそれぞれと同じあってもよく、あるいは本明細書に開示する複数の重み関数２４０、２４１、２４２、２４３、２４４、及び２４５のうちの１つ以上は異なっていてもよい。例えば図２に示すように、最初の２つのフィードバックネットワーク（又はエポック）２２０及び２２２は、フィードバックを用いて学習する一方、次の例えば４つのフィードバックネットワーク（又はエポック）２２４、２３０、２３２、及び２３４は、ニューラルネットワークが収束するまでフィードバックを用いずに学習してもよい。これによりモデルが極小値をより早期に見つけることができるように学習を支援することができる。
【００３６】
例示的な実施形態によれば、画像対画像の訓練中に、例えば訓練画像Ｘ及びグラウンドトゥルースラベル画像Ｙ中のすべてのピクセルに対して例えば損失関数を演算することができる。例えば、所与の画像Ｘの試験段階中には、例えば次式のようにセグメンテーション予測が得られる。
【数９】
2019533866.tif 000011
【００３７】
例示的な実施形態では、いくつかの対象クラスは異なっていてもよい。例えば、細胞画像内で背景ピクセルは境界ピクセル及び細胞ピクセルと比べてより広範に広がっていることがある。したがって、開示のシステム及び方法では、異なるクラス、例えば細胞境界又は細胞領域の重みを背景ピクセルに対して強調することができる。
【００３８】
図３は、フィードバックとして用いられる細胞領域３１０を含む例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム３００を示す。図３に示すように、例えばこのシステム３００は、フィードバック制御部２６０を用いて、例えばそれぞれ細胞領域及び非細胞領域を表すことができる前景ピクセル及び背景ピクセルの各々に確率を割り当てることで、例えば癌細胞の分析から、入力画像１１０の細胞領域（又は細胞領域マスク）３１０を強調するようになっていてもよい。
【００３９】
図４は、フィードバックとして用いられる細胞境界４１０を含む例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システムを示す。図４に示すように、例えばこのシステム４００は、フィードバック制御部２６０を用いて、例えば細胞境界及び非細胞境界又は非細胞領域を表すことができる前景ピクセル及び背景ピクセルの各々に確率を割り当てることで、例えば癌細胞の分析から、入力画像１１０の細胞境界（又は細胞境界マスク）４１０を強調するようになっていてもよい。
【００４０】
図５は、例えばフィードバックを用いる試験段階中の例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム５００を示す。例えば、画像に手動で注釈をつけるのは困難で時間がかかることがある。例示的な実施形態によれば、医療データに関するニューラルネットワークの訓練に利用可能なデータは、一般画像ほどには大きくない（一般に、医療画像のデータ集合は二〜三千の画像を含むが、一般画像のデータ集合は数千の画像を含むことがある）。したがって、良好なセグメンテーション結果を生成することは困難な場合がある。
【００４１】
例示的な実施形態によれば、開示された方法のフィードバック特性により、方法及びシステム５００では、試験（又は訓練）時間の間であってもニューラルネットワークは学習することができる。例えば、開示の方法は、ユーザーが不正確な分類を破棄し、又は分類を訂正した後、ユーザー入力５２０により重みを微調整するためにニューラルネットワークに出力を提供するという柔軟性を与えることができる。ユーザー入力５２０は、画像１１０を処理するコンピューターシステム又は処理部１５０及び２７０による入力であってもよく、あるいはユーザー入力５２０を遠隔のコンピューターシステム又は処理装置５３０で行ってもよい。例示的な実施形態によれば、遠隔のコンピューターシステム又は処理装置５３０は通信ネットワーク経由でコンピューターシステム又は処理部１５０と通信してもよい。
【００４２】
図６は、フィードバックとしての複数の画像クラス領域を含む例示的な実施形態によるセマンティックセグメンテーションのための符号器・復号器システム６００を示す。図６に示すように、開示のシステム及び方法を、例えば人々、車両、原動機付き自転車、木などを含むか示す一般画像６４０にも用いることができる。図６では、例えば本明細書に開示するシステム及び方法が、人及び／又は原動機付き自転車を木や道路などの他のすべてのクラスの代わりに強調するのに用いることができるように、入力画像６１０は複数のクラスを含んでもよい。例示的な実施形態によれば、例えば図６に示すように、フィードバック経路は人及び／又は原動機付き自転車を前景クラスとして扱い、人及び／又は原動機付き自転車からマスク６１０を生成することができる。
【００４３】
例示的な実施形態では、ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのためにコンピューター可読プログラムコードを格納した非一時的コンピューター可読記録媒体を開示する。処理を実行するようになっているコンピューター可読プログラムコードは、画像から画像データを抽出すること、抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含む。
【００４４】
非一時的コンピューター可読媒体は、磁気記録媒体、磁気光学記録媒体、又は将来開発される任意の他の記録媒体であってもよく、これらのすべてが同じように本発明に適用可能と考えられる。一次的複製物及び二次的複製物などを含むそのような媒体の複製物は上記媒体の均等物とみなされることに疑いの余地はない。さらに、本発明の実施形態がソフトウェア及びハードウェアの組み合わせであったとしても、本発明の原理から全く逸脱するものではない。本発明は、そのソフトウェア部分を予め記録媒体に書き込み、動作中に必要に応じて読み出すように実装してもよい。
【００４５】
当業者には本発明の範囲又は趣旨を逸脱することなく本発明の構造に様々な変更や改変を行うことができることが明らかである。以上から、本発明の変更例及び変形例が以下の特許請求の範囲及びその均等物にあたる限り、本発明は変更例及び変形例を包含することを意図する。
【図１】
2019533866.tif 000012
【図２】
2019533866.tif 000013
【図３】
2019533866.tif 000014
【図４】
2019533866.tif 000015
【図５】
2019533866.tif 000016
【図６】
2019533866.tif 000017
【手続補正書】
【提出日】令和1年7月2日(2019.7.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションの方法であって、
画像から画像データを抽出する工程、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行する工程、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入する工程、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成する工程を含む、方法。
【請求項２】
前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てる工程を含む、請求項１に記載の方法。
【請求項３】
不正確に分類されたフィードバックの少なくとも一部に手動で注釈をつける工程を含む、請求項１又は２に記載の方法。
【請求項４】
前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じである、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
畳み込み、有効化、バッチ正規化、及びダウンサンプリングからなる演算を実行するようになっている訓練可能符号器ブロック、又は、逆畳み込み、有効化、バッチ正規化、及びアップサンプリングからなる演算を実行するようになっている訓練可能復号器ブロックを用いて前記一以上のセマンティックセグメンテーションを行う、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記一以上の分類器は、前記訓練可能符号器ブロック用の訓練不可能フィードバックブロック、又は前記訓練可能復号器ブロック用の訓練不可能フィードバックブロックを用いて導入され、前記符号器ブロック用の前記訓練不可能フィードバックブロックは、畳み込み及びダウンサンプリングからなる演算を実行するようになっており、前記訓練可能復号器ブロック用の前記訓練不可能フィードバックブロックは、逆畳み込み及びアップサンプリングからなる演算を実行するようになっている、請求項６に記載の方法。
【請求項８】
前記一以上の分類器を結合演算により導入する工程を含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記一以上の分類器は、前記画像内の２つ以上の対象のクラスに関する、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記画像内の前記一以上の対象のクラスに確率を割り当てる工程は
前記画像内の一以上の対象のクラスを強調する工程、及び／又は
前記画像内の一以上の対象のクラスの強調を解除する工程を含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
コンピューターに、ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのための処理を実行させるプログラムであって、
前記処理は、
画像から画像データを抽出すること、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含むプログラム。
【請求項１２】
前記処理は、前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てることを含む、請求項１１に記載のプログラム。
【請求項１３】
前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じであり、及び／又は
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１１又は１２に記載のプログラム。
【請求項１４】
前記処理は、畳み込み、有効化、バッチ正規化、及びダウンサンプリングからなる演算を実行するようになっている訓練可能符号器ブロック、又は、逆畳み込み、有効化、バッチ正規化、及びアップサンプリングからなる演算を実行するようになっている訓練可能復号器ブロックを用いて前記一以上のセマンティックセグメンテーションを行うことを含み、
前記一以上の分類器は、前記訓練可能符号器ブロック用の訓練不可能フィードバックブロック、又は前記訓練可能復号器ブロック用の訓練不可能フィードバックブロックを用いて導入され、前記符号器ブロック用の前記訓練不可能フィードバックブロックは、畳み込み及びダウンサンプリングからなる演算を実行するようになっており、前記訓練可能復号器ブロック用の前記訓練不可能フィードバックブロックは、逆畳み込み及びアップサンプリングからなる演算を実行するようになっている、請求項１１〜１３のいずれか一項に記載のプログラム。
【請求項１５】
前記処理は、前記一以上の分類器を結合演算により導入することを含む、請求項１１〜１４のいずれか一項に記載のプログラム。
【請求項１６】
ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのシステムであって、
プロセッサー、及び
メモリーを含み、
前記メモリーは、実行されると前記システムに、
画像から画像データを抽出すること、
前記抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、
それぞれが前記画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、前記一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び
前記一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを行わせる命令を格納する、システム。
【請求項１７】
前記一以上の分類器を前記一以上のセマンティックセグメンテーションのそれぞれにフィードバックとして割り当てることを含む、請求項１６に記載のシステム。
【請求項１８】
前記一以上の分類器は、前記一以上のセマンティックセグメンテーションのそれぞれに対して同じであり、及び／又は
前記一以上の分類器のうちの少なくとも１つは、前記一以上のセマンティックセグメンテーションのうちの少なくとも１つで異なる、請求項１６又は１７に記載のシステム。
【請求項１９】
畳み込み、有効化、バッチ正規化、及びダウンサンプリングからなる演算を実行するようになっている訓練可能符号器ブロック、又は、逆畳み込み、有効化、バッチ正規化、及びアップサンプリングからなる演算を実行するようになっている訓練可能復号器ブロックを用いて前記一以上のセマンティックセグメンテーションを行い、
前記一以上の分類器は、前記訓練可能符号器ブロック用の訓練不可能フィードバックブロック、又は前記訓練可能復号器ブロック用の訓練不可能フィードバックブロックを用いて導入され、前記符号器ブロック用の前記訓練不可能フィードバックブロックは、畳み込み及びダウンサンプリングからなる演算を実行するようになっており、前記訓練可能復号器ブロック用の前記訓練不可能フィードバックブロックは、逆畳み込み及びアップサンプリングからなる演算を実行するようになっている、請求項１６〜１８のいずれか一項に記載のシステム。
【請求項２０】
前記一以上の分類器を結合演算により導入することを含む、請求項１６〜１９のいずれか一項に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
コンピューターに、ニューラルネットワーク内で制御フィードバックを用いる画像セグメンテーションのための処理を実行させるプログラムが開示される。このプログラムは、コンピューターに、画像から画像データを抽出すること、抽出した画像データに一以上のセマンティックセグメンテーションを実行すること、それぞれが画像内の一以上の対象のクラスに確率を割り当てる一以上の分類器を、一以上のセマンティックセグメンテーションのそれぞれに導入すること、及び一以上のセマンティックセグメンテーションからセグメンテーションマスクを生成することを含む処理を実行させるようになっている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
例示的な実施形態によれば、フィードバック制御部２６０は、図２に示すようにコンピューターシステム又は処理部１５０の下位にあってもよく、あるいは別のコンピューターシステム又は処理装置２７０の下位にあってもよい。例えば、別のコンピューターシステム又は処理装置２７０は、プロセッサー又は中央処理装置（ＣＰＵ）、及びソフトウェアプログラムとデータを格納する一以上のメモリーを含んでもよい。プロセッサー又はＣＰＵは、コンピューターシステム又は処理部１５０の機能の少なくとも一部を操作及び／又は制御するコンピュータープログラムの命令を実行する。コンピューターシステム又は処理装置２７０は、入力部、データ入力のための表示部又はグラフィック・ユーザー・インターフェース（ＧＵＩ）、及びネットワーク通信手段（又はネットワーク）に接続されているネットワークインターフェース（Ｉ／Ｆ）も含んでもよい。コンピューターシステム又は処理装置２７０は、コンピューターハードウェアを管理し、様々なソフトウェアプログラムを効率的に実行するために共通のサービスを提供するオペレーティングシステム（ＯＳ）も含んでもよい。例えば、実施形態によっては、さらなるあるいはより少ないコンピューターシステム若しくは処理部１５０、２７０、及び／又はネットワークを含んでもよく、装置内又は遠隔の他の装置（図示せず）で様々な機能を実行してもよい。さらに、様々な実体を統合して単一の演算システム又は処理部１５０、２７０にしてもよく、あるいは追加の演算装置又は処理部１５０、２７０全体に分散してもよい。例示的な実施形態によれば、例えば表示部又はＧＵＩを用いて画像１１０をシステム又は処理部１５０、２７０に入力してセグメンテーションマスク１４０を視覚化し、あるいはフィードバックマップによりクラスに関する情報を入力することができる。
【国際調査報告】
2019533866.tif 000018