【手続補正書】
【提出日】令和2年6月23日(2020.6.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセグメンテーションする方法であって、
前記解剖学的対象物及びその周囲組織を含む画像をプロセッサに提供するステップと、
前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出するための、１または複数の畳み込み型ニューラルネットワークを含むパラメータ空間ディープラーニングネットワークを開発し、訓練するステップと、
別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップと、
前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、
ラベル付けされた前記画像をユーザに対して表示するステップと、を含むことを特徴とする方法。
【請求項２】
前記画像が正規化画像であり、
前記正規化画像は、サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために前処理されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記画像が、ビデオストリーム中のフレームから提供され、
前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項１に記載の方法。
【請求項４】
前記解剖学的対象物の自動的な検出と、前記解剖学的対象物の自動的な位置特定及びセグメンテーションとが、中央演算装置（ＣＰＵ）ベースのコンピュータ、タブレット、またはモバイルデバイスを使用して、単一のステップで同時に実施されることを特徴とする、請求項１に記載の方法。
【請求項５】
前記解剖学的対象物の自動的な位置特定及びセグメンテーションが、前記解剖学的対象物の形状を楕円形として推定するステップを含み、
前記１または複数の畳み込み型ニューラルネットワーク、前記別の畳み込み型ニューラルネットワーク、またはその両方が、８ビット整数または１ビット２進数の重みを使用することを特徴とする、請求項１に記載の方法。
【請求項６】
前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、グランドトゥルースデータを使用して訓練するステップをさらに含み、
前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出する前記ディープラーニングネットワークを開発し、訓練する前記ステップが、
複数の患者から、前記解剖学的対象物及びその周囲組織の画像データセットをスキャンし、収集するステップと、
前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付けるステップと、
前記画像データセット及び前記グランドトゥルースデータを、訓練データセット及び妥当性確認データセットに分割するステップと、
前記訓練データセットを使用して前記ディープラーニングネットワークを訓練するステップと、を含むことを特徴とする、請求項１に記載の方法。
【請求項７】
サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために、前記画像データセットを前処理することによって前記画像データセットを正規化するステップをさらに含むことを特徴とする、請求項６に記載の方法。
【請求項８】
前記画像データセットが、複数の画像化システムから収集されることを特徴とする、請求項６に記載の方法。
【請求項９】
前記画像データセットが、少なくとも１つのビデオストリームから収集されたフレームを含み、
前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項６に記載の方法。
【請求項１０】
前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付ける前記ステップが、
フレーム間ピクセル動きのオプティカルフロー計算を実施するステップと、
前記少なくとも１つのビデオストリームにわたって前記フレーム間ピクセル動きをグループにクラスタリングするために教師なし学習を実施するステップと、
所定の範囲のフレームにわたって識別及びラベル付けするために、ピクセル動きの前記グループを前記ユーザに提供するステップと、を含むことを特徴とする、請求項９に記載の方法。
【請求項１１】
前記訓練データセットを使用して前記ディープラーニングネットワークを訓練する前記ステップが、
前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差を最小化するためにコスト関数を最適化するステップをさらに含み、
前記誤差を最小化するために前記コスト関数を最適化する前記ステップが、
前記グランドトゥルースデータの一部を反復処理し、前記ディープラーニングネットワークの前記出力と前記グランドトゥルースデータとの間の前記誤差に基づいて前記ディープラーニングネットワークの１以上のパラメータを調整する確率的勾配降下（ＳＧＤ）アルゴリズムを使用するステップをさらに含むことを特徴とする、請求項６に記載の方法。
【請求項１２】
前記コスト関数の最適化後に、前記ディープラーニングネットワークをリアルタイムで使用して妥当性確認データの予測を自動的に提供し、前記予測を前記グランドトゥルースデータと比較するステップを含むことを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記グランドトゥルースデータを作成するために、ユーザ入力に基づいて前記画像データセットに注釈を付ける前記ステップが、
前記各画像データセット中の前記解剖学的対象物及びその周囲組織を手動で識別し、注釈を付けるステップをさらに含むことを特徴とする、請求項６に記載の方法。
【請求項１４】
前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
セマンティックセグメンテーションによって前記解剖学的対象物及びその周囲組織をセグメンテーションするステップをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項１５】
前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、オフラインで最初に訓練するステップと、
前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、オンラインで継続的に訓練するステップと、をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項１６】
前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けする前記ステップが、
前記画像中の少なくとも１つの前記解剖学的対象物及びその周囲組織の輪郭を描くこと及び陰影を付けることの少なくとも一方、または、前記少なくとも１つの前記解剖学的対象物及びその周囲組織の各々の上に記述的ラベルを重畳することを含み、
前記別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
前記画像から前記解剖学的対象物の周囲の関心領域を抽出するステップを含み、
前記解剖学的対象物及びその周囲組織を含む前記画像は、前記プロセッサに提供される前に、自動的にクロッピングされることを特徴とする、請求項１に記載の方法。
【請求項１７】
画像化システムであって、
少なくとも１つのプロセッサと、
ユーザディスプレイと、を備え、
前記少なくとも１つのプロセッサが、
少なくとも１つの解剖学的対象物及びその周囲組織を含む画像を受け取るステップと、
前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出するための、１または複数の畳み込み型ニューラルネットワークを含むパラメータ空間ディープラーニングネットワークを開発し、訓練するステップと、
別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションするステップと、
前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、を含む１以上のステップを実施するように構成されており、
前記ユーザディスプレイが、ラベル付けされた前記画像をユーザに対して表示するように構成されていることを特徴とする、画像化システム。
【請求項１８】
当該画像化システムが、超音波画像化システム、コンピュータ断層撮影（ＣＴ）スキャナ、または磁気共鳴画像化（ＭＲ）スキャナを含み、
前記画像が正規化画像であり、
前記正規化画像は、サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために前処理されることを特徴とする、請求項１７に記載の画像化システム。
【請求項１９】
前記画像が、ビデオストリーム中のフレームから提供され、
前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項１７に記載の画像化システム。
【請求項２０】
前記解剖学的対象物の自動的な検出と、前記解剖学的対象物の自動的な位置特定及びセグメンテーションとが、中央演算装置（ＣＰＵ）ベースのコンピュータ、タブレット、またはモバイルデバイスを使用して、単一のステップで同時に実施されることを特徴とする、請求項１７に記載の画像化システム。
【請求項２１】
前記解剖学的対象物の自動的な位置特定及びセグメンテーションが、前記解剖学的対象物の形状を楕円形として推定するステップを含み、
前記１または複数の畳み込み型ニューラルネットワーク、前記別の畳み込み型ニューラルネットワーク、またはその両方が、８ビット整数または１ビット２進数の重みを使用することを特徴とする、請求項１７に記載の画像化システム。
【請求項２２】
前記別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
前記画像から前記解剖学的対象物の周囲の関心領域を抽出するステップを含み、
当該システムが、前記少なくとも１つの解剖学的対象物及びその周囲組織を含む画像を前記少なくとも１つのプロセッサに提供する前に、該画像を自動的にクロッピングするように構成されていることを特徴とする、請求項１７に記載の画像化システム。
【請求項２３】
画像化システムにより生成された画像のパラメータ空間内の少なくとも１つの解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションする方法であって、
前記解剖学的対象物及びその周囲組織を含む画像をプロセッサに提供するステップと、
前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出するためのパラメータ空間ディープラーニングネットワークを開発し、訓練するステップと、
１または複数のディープラーニングアルゴリズムを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセマンティックセグメンテーションするステップと、
前記画像中の前記解剖学的対象物及びその周囲組織を自動的にラベル付けするステップと、
ラベル付けされた前記画像をユーザに対して表示するステップと、を含むことを特徴とする方法。
【請求項２４】
前記画像が、正規化画像であり、
前記正規化画像は、サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために前処理されることを特徴とする、請求項２３に記載の方法。
【請求項２５】
前記画像は、ビデオストリーム中のフレームから提供され、
前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項２３に記載の方法。
【請求項２６】
前記解剖学的対象物の自動的な検出と、前記解剖学的対象物の自動的な位置特定及びセグメンテーションとが、中央演算装置（ＣＰＵ）ベースのコンピュータ、タブレット、またはモバイルデバイスを使用して、単一のステップで同時に実施され、
前記１または複数の畳み込み型ニューラルネットワーク、前記別の畳み込み型ニューラルネットワーク、またはその両方が、８ビット整数または１ビット２進数の重みを使用することを特徴とする、請求項２３に記載の方法。
【請求項２７】
前記解剖学的対象物の自動的な位置特定及びセグメンテーションが、前記解剖学的対象物の形状を楕円形として推定するステップを含むことを特徴とする、請求項２３に記載の方法。
【請求項２８】
前記解剖学的対象物及びその周囲組織を含む前記画像の前記パラメータ空間を自動的に検出するための前記ディープラーニングネットワークを、グランドトゥルースデータを使用して訓練するステップをさらに含み、
前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に検出する前記ディープラーニングネットワークを開発し、訓練する前記ステップが、
複数の患者から、前記解剖学的対象物及びその周囲組織の画像データセットをスキャンし、収集するステップと、
前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付けるステップと、
前記画像データセット及び前記グランドトゥルースデータを、訓練データセット及び妥当性確認データセットに分割するステップと、
前記訓練データセットを使用して前記ディープラーニングネットワークを訓練するステップと、を含むことを特徴とする、請求項２３に記載の方法。
【請求項２９】
サイズ、強度、コントラスト、テクスチャ、またはそれらの任意の組み合わせを調節するために、前記画像データセットを前処理することによって前記画像データセットを正規化するステップをさらに含み、
前記画像データセットが、複数の画像化システムから収集され、
前記画像データセットは、少なくとも１つのビデオストリームから収集されたフレームを含み、
前記フレームは、ローカルまたはクラウドサービスに格納されることを特徴とする、請求項２８に記載の方法。
【請求項３０】
前記グランドトゥルースデータを生成するために、ユーザ入力に基づいて前記画像データセットに注釈を付ける前記ステップが、
フレーム間ピクセル動きのオプティカルフロー計算を実施するステップと、
前記少なくとも１つのビデオストリームにわたって前記フレーム間ピクセル動きをグループにクラスタリングするために教師なし学習を実施するステップと、
所定の範囲のフレームにわたって識別及びラベル付けするために、ピクセル動きの前記グループを前記ユーザに提供するステップと、を含み、
前記訓練データセットを使用して前記ディープラーニングネットワークを訓練する前記ステップが、前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差を最小化するためにコスト関数を最適化するステップをさらに含むことを特徴とする、請求項２８に記載の方法。
【請求項３１】
前記別の畳み込み型ニューラルネットワークを用いて、前記画像の前記パラメータ空間内の前記解剖学的対象物及びその周囲組織を自動的に位置特定及びセグメンテーションする前記ステップが、
前記画像から前記解剖学的対象物の周囲の関心領域を抽出するステップを含み、
前記解剖学的対象物及びその周囲組織を含む前記画像は、前記プロセッサに提供される前に、自動的にクロッピングされることを特徴とする、請求項２３に記載の方法。