(57)【要約】  対象となる個体の解剖学的画像に含まれる視覚的オブジェクトの指示を識別するためのコンピュータ実装された方法が提供される。方法は、対象となる個体の身体部分の解剖学的画像を提供するステップと、解剖学的画像をニューラルネットワーク（ＮＮ）の分類コンポーネントとセグメント化コンポーネントとに入力するステップと、ＮＮの分類コンポーネントにサイズ特徴量を入力するステップであって、サイズ特徴量は、解剖学的画像において識別されるセグメント化された視覚的オブジェクトのそれぞれのサイズの指示を備え、サイズ特徴量は、解剖学的画像の各ピクセル要素についてセグメント化コンポーネントによって出力されたセグメント化データに従って計算される、入力するステップと、ＮＮの分類コンポーネントによって、解剖学的画像における視覚的オブジェクトの指示を計算するステップと、を備える。
2021533451.tif 000002
【特許請求の範囲】
【請求項１】
対象となる個体の少なくとも１つの解剖学的画像における少なくとも１つの視覚的オブジェクトの指示を識別するためのコンピュータ実装方法であって、
対象となる個体の身体部分の少なくとも１つの解剖学的画像を提供するステップと、
前記少なくとも１つの解剖学的画像を、ニューラルネットワーク（ＮＮ）の分類コンポーネントおよび前記ＮＮのセグメント化コンポーネントに入力するステップと、
サイズ特徴量を前記ＮＮの前記分類コンポーネントに供給するステップであって、前記サイズ特徴量は、前記少なくとも１つの解剖学的画像において識別される少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示を備え、前記サイズ特徴量は、前記少なくとも１つの解剖学的画像の各ピクセル要素について前記セグメント化コンポーネントによって出力されたセグメント化データに従って計算される、供給するステップと
前記ＮＮの前記分類コンポーネントによって、前記少なくとも１つの解剖学的画像における少なくとも１つの視覚的オブジェクトの指示を計算するステップと、
を備える方法。
【請求項２】
同一の少なくとも１つの解剖学的画像が、前記セグメント化コンポーネントおよび前記分類コンポーネントに同時に入力される、請求項１に記載の方法。
【請求項３】
前記分類コンポーネントおよび前記セグメント化コンポーネントが、前記少なくとも１つの解剖学的画像を入力として受け取る共通のエンコーダコンポーネントを共有する、請求項１に記載の方法。
【請求項４】
前記分類コンポーネントの全結合層が、前記セグメント化コンポーネントによって出力されたサイズ特徴量および前記共通のエンコーダコンポーネントの出力を受け取り、前記全結合層が、前記少なくとも１つの解剖学的画像における前記少なくとも１つの視覚的オブジェクトの指示を計算する、請求項３に記載の方法。
【請求項５】
前記セグメント化コンポーネントは、前記共通のエンコーダコンポーネントの出力を受け取るデコーダコンポーネントをさらに含む、請求項３に記載の方法。
【請求項６】
前記共通のエンコーダコンポーネントは、特徴を抽出するための収縮経路として実装され、前記デコーダコンポーネントは、前記エンコーダコンポーネントによって抽出された特徴に基づいて定位するための拡張経路として実装され、前記エンコーダコンポーネントの各ステージによって出力された特徴は、スキップ接続によって前記デコーダコンポーネントの対応するステージへの入力として供給される、請求項５に記載の方法。
【請求項７】
前記サイズ特徴量は、前記セグメント化コンポーネントによって出力された複数のピクセル要素ごとのセグメント化確率のそれぞれを、各ピクセル要素に関連付けられた体積に乗算して複数の部分体積を計算し、前記複数の部分体積を合計することによって計算され、前記セグメント化確率は、それぞれ前記少なくとも１つの視覚的オブジェクトを指示する各ピクセル要素のそれぞれの確率を指示する、請求項１に記載の方法。
【請求項８】
前記視覚的オブジェクトは、血管外の血液、頭蓋内出血、人工インプラント、骨外の異常石灰化、異常な非血液流体、肺および／または消化器系の外部の空気、および腫瘍からなる群から選択される、請求項１に記載の方法。
【請求項９】
前記少なくとも１つの解剖学的画像は、ＣＴ装置によって得られた複数の連続した平行スライスを備える、請求項１に記載の方法。
【請求項１０】
前記ＮＮに入力された前記少なくとも１つの解剖学的画像は、前記少なくとも１つの解剖学的画像を撮像したそれぞれの解剖学的画像撮像装置によって出力された完全な解像度を含む、請求項１に記載の方法。
【請求項１１】
前記少なくとも１つの解剖学的画像上に、前記ＮＮの前記セグメント化コンポーネントによって出力された、識別された前記少なくとも１つの視覚的オブジェクトのセグメント化の指示をマーキングするステップをさらに含む、請求項１に記載の方法。
【請求項１２】
対象となる個体の少なくとも１つの解剖学的画像における少なくとも１つの視覚的オブジェクトの指示を識別するためのニューラルネットワーク（ＮＮ）をトレーニングする方法であって、
複数のサンプル個体のそれぞれについての少なくとも１つの解剖学的画像を備えるトレーニングデータセットを提供するステップであって、前記少なくとも１つの解剖学的画像は、視覚的オブジェクトを示すピクセル要素ごとのアノテーションにそれぞれ関連付けられている、提供するステップと
セグメント化コンポーネントおよび分類コンポーネントの両方に供給される同一のトレーニングデータセットに従って、前記セグメント化コンポーネントによるセグメント化と、前記セグメント化コンポーネントの出力に基づいて計算され、分類コンポーネントに供給されるサイズ特徴量に従った前記分類コンポーネントによる分類と、を実行するために、エンドツーエンドでＮＮをトレーニングするステップであって、前記サイズ特徴量は、前記セグメント化コンポーネントによって出力されたそれぞれのトレーニング画像の少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示に従って計算される、トレーニングするステップと、
を備える方法。
【請求項１３】
前記エンドツーエンドのトレーニングは、分類損失成分とセグメント化損失成分とを備える複合損失関数に従って実行される、請求項１２の方法。
【請求項１４】
前記分類損失成分は、分類出力と正解の分類との間の分析に従って計算される二値クロスエントロピー損失関数を備え、前記セグメント化損失成分は、ピクセル要素ごとのセグメント化出力と正解のセグメント化との間の分析に従って計算される補助的な二値クロスエントロピー関数に従って計算される、請求項１３に記載の方法。
【請求項１５】
エンドツーエンドのトレーニングを行う前に、前記ＮＮをトレーニングするステップは、前記トレーニングデータセットに従って前記ＮＮの前記セグメント化コンポーネントのみをトレーニングするステップと、前記ＮＮの計算された重み付けを凍結するステップと、を備える、請求項１２に記載の方法。
【請求項１６】
エンドツーエンドのトレーニングを実行する前および前記セグメント化コンポーネントのみをトレーニングした後に、少なくとも１つのトレーニング解剖学的画像内の少なくとも１つの視覚的オブジェクトを指示する分類を計算するために前記分類コンポーネントの全結合層をトレーニングするステップをさらに備え、前記分類コンポーネントの前記全結合層は、前記セグメント化コンポーネントの出力に従って計算されたサイズ特徴量と、前記セグメント化コンポーネントおよび前記分類コンポーネントの両方に共通のエンコーダコンポーネントの出力と、の両方を受け取る、請求項１５に記載の方法。
【請求項１７】
対象となる個体の少なくとも１つの解剖学的画像における少なくとも１つの視覚的オブジェクトの指示を識別するためのシステムであって、
少なくとも１つのハードウェアプロセッサが実行するためのコードを格納した非一時的メモリであって、前記コードは、
対象となる個体の身体部分の少なくとも１つの解剖学的画像を受け取るためのコードと、
前記少なくとも１つの解剖学的画像をニューラルネットワーク（ＮＮ）の分類コンポーネントおよび前記ＮＮのセグメント化コンポーネントに入力するためのコードと、
前記ＮＮの分類コンポーネントにサイズ特徴量を供給するためのコードであって、前記サイズ特徴量は、前記少なくとも１つの解剖学的画像において識別される少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示を含み、前記サイズ特徴量は、前記少なくとも１つの解剖学的画像の各ピクセル要素について前記セグメント化コンポーネントによって出力されたセグメント化データに従って計算される、供給するためのコードと、
前記ＮＮの前記分類コンポーネントによって、前記少なくとも１つの解剖学的画像における少なくとも１つの視覚的オブジェクトの指示を計算するためのコードと、
を備える、システム。
【請求項１８】
ターゲット個体の少なくとも１つの解剖学的画像における少なくとも１つの視覚的オブジェクトの指示を識別するためのＮＮをトレーニングするためのコードであって、
複数のサンプル個体のそれぞれについての少なくとも１つの解剖学的画像を備えるトレーニングデータセットにアクセスするためのコードであって、前記少なくとも１つの解剖学的画像は、視覚的オブジェクトを指示するピクセル要素ごとのアノテーションにそれぞれ関連付けられている、アクセスするためのコードと、
前記セグメント化コンポーネントと前記分類コンポーネントの両方に供給される同一のトレーニングデータセットに従って、前記セグメント化コンポーネントによるセグメント化と、前記セグメント化コンポーネントの出力に基づいて計算され、前記分類コンポーネントに供給されるサイズ特徴量に従う前記分類コンポーネントによる分類と、を実行するために、エンドツーエンドでＮＮをトレーニングするためのコードであって、前記サイズ特徴量は、前記セグメント化コンポーネントによって出力されたそれぞれのトレーニング画像のそれぞれの少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示に従って計算される、ＮＮをトレーニングするためのコードと、
を含むコードをさらに備える、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本出願は、２０１８年７月２９日に出願された米国仮特許出願第６２／７１１，５３５号からの優先権の利益を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
【０００２】
［本発明の分野と背景］
本発明は、そのいくつかの実施形態において、医用画像処理に関するものであり、より具体的には、医用画像内の視覚的オブジェクトを自動検出するためのシステムおよび方法に関するものであるが、これに限定されるものではない。
【０００３】
臨床病理を示す視覚的オブジェクトは、画像検査において見出される。画像検査は、視覚的オブジェクトを探すことを目的として実施されてもよいし、および／または視覚的オブジェクトは付随的な所見であってもよい。例えば、頭蓋内出血（ＩＣＨ）は、大きな外傷から、そうでなければ健康な成人の突然の動脈瘤破裂に至るまで、様々な臨床状況で見られる重要な所見である。最適な治療結果を得るためには、早期かつ正確な発見が不可欠である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｋａｍａｌ  Ｊｎａｗａｌｉ，  Ｍｏｈａｍｍａｄ  Ｒ  Ａｒｂａｂｓｈｉｒａｎｉ，  Ｎａｖａｌｇｕｎｄ  Ｒａｏ，  ａｎｄ  Ａｌｐｅｎ  Ａ  Ｐａｔｅｌ．  Ｄｅｅｐ  ３ｄ  ｃｏｎｖｏｌｕｔｉｏｎ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ｆｏｒ  ｃｔ  ｂｒａｉｎ  ｈｅｍｏｒｒｈａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ．  Ｉｎ  Ｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ  ２０１８：  Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ  Ｄｉａｇｎｏｓｉｓ，  ｖｏｌｕｍｅ  １０５７５，  ｐａｇｅ  １０５７５１Ｃ．  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｏｐｔｉｃｓ  ａｎｄ  Ｐｈｏｔｏｎｉｃｓ，  ２０１８．
【非特許文献２】Ｓｈｕｉｗａｎｇ  Ｊｉ，  Ｗｅｉ  Ｘｕ，  Ｍｉｎｇ  Ｙａｎｇ，  ａｎｄ  Ｋａｉ  Ｙｕ．  ３ｄ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｈｕｍａｎ  ａｃｔｉｏｎ  ｒｅｃｏｇｎｉｔｉｏｎ．  ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｐａｔｔｅｒｎ  ａｎａｌｙｓｉｓ  ａｎｄ  ｍａｃｈｉｎｅ  ｉｎｔｅｌｌｉｇｅｎｃｅ，  ３５（１）：２２１−２３１，  ２０１３．
【非特許文献３】Ｓａｓａｎｋ  Ｃｈｉｌａｍｋｕｒｔｈｙ，  Ｒｏｈｉｔ  Ｇｈｏｓｈ，  Ｓｗｅｔｈａ  Ｔａｎａｍａｌａ，  Ｍｕｓｔａｆａ  Ｂｉｖｉｊｉ，  Ｎｏｒｂｅｒｔ  Ｇ  Ｃａｍｐｅａｕ，  Ｖａｓａｎｔｈａ  Ｋｕｍａｒ  Ｖｅｎｕｇｏｐａｌ，  Ｖｉｄｕｒ  Ｍａｈａｊａｎ，  Ｐｏｏｊａ  Ｒａｏ，  ａｎｄ  Ｐｒａｓｈａｎｔ  Ｗａｒｉｅｒ．  Ｄｅｖｅｌｏｐｍｅｎｔ  ａｎｄ  ｖａｌｉｄａｔｉｏｎ  ｏｆ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｃｒｉｔｉｃａｌ  ｆｉｎｄｉｎｇｓ  ｉｎ  ｈｅａｄ  Ｃｔ  ｓｃａｎｓ．  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１８０３．０５８５４，  ２０１８
【非特許文献４】Ｍｏｎｉｋａ  Ｇｒｅｗａｌ，  Ｍｕｋｔａｂｈ  Ｍａｙａｎｋ  Ｓｒｉｖａｓｔａｖａ，  Ｐｕｌｋｉｔ  Ｋｕｍａｒ，  ａｎｄ  Ｓｒｉｋｒｉｓｈｎａ  Ｖａｒａｄａｒａｊａｎ．  Ｒａｄｎｅｔ：  Ｒａｄｉｏｌｏｇｉｓｔ  ｌｅｖｅｌ  ａｃｃｕｒａｃｙ  ｕｓｉｎｇ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｆｏｒ  ｈｅｍｏｒｒｈａｇｅ  ｄｅｔｅｃｔｉｏｎ  ｉｎ  ｃｔ  ｓｃａｎｓ．  Ｉｎ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｉｎｇ  （ＩＳＢＩ  ２０１８），  ２０１８  ＩＥＥＥ  １５ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ，  ｐａｇｅｓ  ２８１−２８４．  ＩＥＥＥ，  ２０１８
【非特許文献５】Ｏｌａｆ  Ｒｏｎｎｅｂｅｒｇｅｒ，  Ｐｈｉｌｉｐｐ  Ｆｉｓｃｈｅｒ，  ａｎｄ  Ｔｈｏｍａｓ  Ｂｒｏｘ．  Ｕ−ｎｅｔ：  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｂｉｏｍｅｄｉｃａｌ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ．  Ｉｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  ｉｍａｇｅ  ｃｏｍｐｕｔｉｎｇ  ａｎｄ  ｃｏｍｐｕｔｅｒ−ａｓｓｉｓｔｅｄ  ｉｎｔｅｒｖｅｎｔｉｏｎ，  ｐａｇｅｓ  ２３４−２４１．  Ｓｐｒｉｎｇｅｒ，  ２０１５
【発明の概要】
【課題を解決するための手段】
【０００５】
第１の態様によれば、対象となる個体の少なくとも１つの解剖学的画像内の少なくとも１つの視覚的オブジェクトの指示を識別するためのコンピュータ実装された方法は、対象となる個体の身体部分の少なくとも１つの解剖学的画像を提供するステップと、少なくとも１つの解剖学的画像をニューラルネットワーク（ＮＮ）の分類コンポーネントおよびＮＮのセグメント化コンポーネントに入力するステップと、ＮＮの分類コンポーネントにサイズ特徴量を供給するステップであって、サイズ特徴量は、少なくとも１つの解剖学的画像内で識別された各少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示を備え、サイズ特徴量は、少なくとも１つの解剖学的画像の各ピクセル要素についてセグメント化コンポーネントによって出力されたセグメント化データに従って計算される、供給するステップと、前記少なくとも１つの解剖学的画像内の少なくとも１つの視覚的オブジェクトの指示を前記ＮＮの分類コンポーネントによって計算するステップと、を備える。
【０００６】
第２の態様によれば、対象となる個体の少なくとも１つの解剖学的画像内の少なくとも１つの視覚的オブジェクトの指示を識別するためにＮＮをトレーニングする方法は、複数のサンプルの個体のそれぞれについての少なくとも１つの解剖学的画像を備えるトレーニングデータセットを提供するステップであって、少なくとも１つの解剖学的画像は、それぞれ、視覚的オブジェクトを示すピクセル要素ごとのアノテーションに関連付けられている、提供するステップと、ＮＮをエンドツーエンドでトレーニングするステップであって、セグメント化コンポーネントによるセグメント化と、セグメント化コンポーネントおよび分類コンポーネントに供給される同一のトレーニングデータセットに従って、セグメント化コンポーネントの出力に基づき計算され分類コンポーネントに供給されるサイズ特徴量に従った、分類コンポーネントによる分類と、を実行し、サイズ特徴量は、セグメント化コンポーネントによって出力されたそれぞれのトレーニング画像の少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示に従って計算される、トレーニングするステップと、を備える。
【０００７】
第３の態様によれば、対象となる個体の少なくとも１つの解剖学的画像内の少なくとも１つの視覚的オブジェクトの指示を識別するためのシステムは、少なくとも１つのハードウェアプロセッサによって実行されるコードを格納した非一時的なメモリを備え、コードは、対象となる個体の身体部分の少なくとも１つの解剖学的画像を受け取るためのコードと、少なくとも１つの解剖学的画像をニューラルネットワーク（ＮＮ）の分類コンポーネントおよびＮＮのセグメント化コンポーネントに入力するためのコードと、ＮＮの分類コンポーネントにサイズ特徴量を供給するためのコードであって、サイズ特徴量は、少なくとも１つの解剖学的画像内で識別される少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示を備え、サイズ特徴量は、前記少なくとも１つの解剖学的画像の各ピクセル要素について前記セグメント化コンポーネントによって出力されたセグメント化データに従って計算される、供給するためのコードと、ＮＮの分類コンポーネントによって、少なくとも１つの解剖学的画像内の少なくとも１つの視覚的オブジェクトの指示を計算するためのコードと、を備える。
【０００８】
本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくともいくつかは、１つ以上の解剖学的画像の自動分類の精度を向上させるという技術的な問題に対処しており、ここで、分類は１つ以上の解剖学的画像内に見られる１つ以上の視覚的オブジェクトを指示する。自動分類による精度の向上は、例えば、放射線科医によるより高い優先度の閲覧のために、取得された画像検査にフラグを立てることができ、これにより、潜在的に危険な医学的状態の診断および／または治療に要する時間を減少させることができる。別の例では、自動分類による精度の向上は、他の臨床的適応症のために取得された画像検査における付随所見として、臨床的に重要な視覚的オブジェクトを識別することができる。このような付随所見は、例えば、画像検査に導いた臨床的適応症に焦点を当てている場合に、読影医によって見落とされる可能性がある。
【０００９】
本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくとも一部は、少なくとも１つの視覚的オブジェクトを含む解剖学的画像の自動分類の技術分野を改良する。改良は、少なくとも、セグメント化コンポーネントおよび分類コンポーネントを含むＮＮのエンドツーエンドのトレーニングに基づいて行われ、ここで、セグメント化コンポーネントによって出力されたセグメント化された視覚的オブジェクトの推定サイズ（例えば、体積）が、サイズ特徴量として分類コンポーネントに供給される。視覚的オブジェクトのセグメント化は、ピクセルごとに実行される。同一の学習データセットを用いてＮＮのセグメント化コンポーネントおよび分類コンポーネントの両方をエンドツーエンドで学習することで、２つの別々の分類器を学習し、セグメント化分類器が単純に分類分類器にフィードするような、分類器をカスケード配置する場合と比較して、相乗効果を生み出すことができる。例えば、本明細書に記載のＮＮによって得られる解剖学的画像の分類の精度は、他の方法によって得られる分類の精度よりも統計的に有意に高い。
【００１０】
第１、第２、および第３の態様のさらなる実施形態では、同じ少なくとも１つの解剖学的画像が、セグメント化コンポーネントおよび分類コンポーネントに同時に入力される。
【００１１】
第１、第２、および第３の態様のさらなる実施形態では、分類コンポーネントおよびセグメント化コンポーネントは、少なくとも１つの解剖学的画像を入力として受け取る共通のエンコーダコンポーネントを共有する。
【００１２】
第１、第２、および第３の態様のさらなる実施形態では、分類コンポーネントの全結合層は、セグメント化コンポーネントによって出力されたサイズ特徴量と共通のエンコーダコンポーネントの出力とを受け取り、全結合層は、少なくとも１つの解剖学的画像内の少なくとも１つの視覚的オブジェクトの指示を計算する。
【００１３】
第１、第２、および第３の態様のさらなる実施形態では、セグメント化コンポーネントは、共通のエンコーダコンポーネントの出力を受け取るデコーダコンポーネントをさらに含む。
【００１４】
第１、第２、および第３の態様のさらなる実施形態において、共通のエンコーダコンポーネントは、特徴を抽出するための収縮経路（ｃｏｎｔｒａｃｔｉｎｇ  ｐａｔｈ）として実装され、デコーダコンポーネントは、エンコーダコンポーネントによって抽出された特徴に基づいて定位するための拡張経路（ｅｘｐａｎｄｉｎｇ  ｐａｔｈ）として実装され、ここで、エンコーダコンポーネントの各ステージによって出力された特徴は、スキップ接続によってデコーダコンポーネントの対応するステージへの入力として供給される。
【００１５】
第１、第２、および第３の態様のさらなる実施形態では、サイズ特徴量は、セグメント化コンポーネントによって出力された確率のピクセル要素ごとのセグメント化確率のそれぞれを、各ピクセル要素に関連付けられた体積に乗算して複数の部分体積を計算し、複数の部分体積を合計することによって計算され、ここで、各セグメント化確率は、少なくとも１つの視覚的オブジェクトを示すピクセル要素のそれぞれの確率を指示する。
【００１６】
第１、第２、および第３の態様のさらなる実施形態において、視覚的オブジェクトは、血管外の血液、頭蓋内出血、人工インプラント、骨外の異常石灰化、異常非血液流体、肺および／または消化器系の外部の空気、および腫瘍からなる群から選択される。
【００１７】
第１、第２、および第３の態様のさらなる実施形態では、少なくとも１つの解剖学的画像は、ＣＴ装置によって得られた複数の連続した平行スライスを備える。
【００１８】
第１、第２、および第３の態様のさらなる実施形態では、ＮＮに入力される少なくとも１つの解剖学的画像は、少なくとも１つの解剖学的画像を撮影したそれぞれの解剖学的画像撮影装置によって出力される完全な解像度を含む。
【００１９】
第１および第３の態様のさらなる実施形態では、方法および／またはシステムは、少なくとも１つの解剖学的画像上に、ＮＮのセグメント化コンポーネントによって出力された、識別された少なくとも１つの視覚的オブジェクトのセグメント化の指示をマーキングするためのコードをさらに備える。
【００２０】
第１、第２、および第３の態様のさらなる実施形態では、エンドツーエンドトレーニングは、分類損失成分とセグメント化損失成分とを備える複合損失関数によって実行される。
【００２１】
第１、第２、および第３の態様のさらなる実施形態では、分類損失成分は、分類出力と正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）分類との間の分析によって計算される二値クロスエントロピー損失関数を備え、セグメント化損失成分は、ピクセル要素ごとのセグメント化出力と正解セグメント化との間の分析によって計算される補助的な二値クロスエントロピー関数によって計算される。
【００２２】
第１、第２、および第３の態様のさらなる実施形態では、エンドツーエンドのトレーニングを実行する前に、ＮＮをトレーニングするステップは、トレーニングデータセットによってＮＮのセグメント化コンポーネントのみをトレーニングするステップと、ＮＮの計算された重み付けを凍結するステップと、をさらに備える。
【００２３】
第１、第２、および第３の態様のさらなる実施形態では、エンドツーエンドのトレーニングを実行する前およびセグメント化コンポーネントのみをトレーニングした後に、方法は、少なくとも１つのトレーニング解剖学的画像内の少なくとも１つの視覚的オブジェクトを指示する分類を計算するために、分類コンポーネントの全結合層をトレーニングするステップをさらに備え、分類コンポーネントの全結合層は、セグメント化コンポーネントの出力に従って計算されたサイズ特徴量と、セグメント化コンポーネントおよび分類コンポーネントの両方に共通のエンコーダコンポーネントの出力と、を両方受け取る。
【００２４】
第１および第３の態様のさらなる実施形態では、方法および／またはシステムは、対象となる個体の少なくとも１つの解剖学的画像における少なくとも１つの視覚的オブジェクトの指示を識別するためのＮＮをトレーニングするためのコードを備え、コードは、複数のサンプル個体のそれぞれについての少なくとも１つの解剖学的画像を備えるトレーニングデータセットにアクセスするためのコードであって、少なくとも１つの解剖学的画像は、視覚的オブジェクトを示すピクセル要素ごとのアノテーションにそれぞれ関連付けられている、アクセスするためのコードと、セグメント化コンポーネントによるセグメント化と、セグメント化コンポーネントの出力に基づいて計算され、分類コンポーネントに供給されるサイズ特徴量に従う分類コンポーネントによる分類と、を実行するために、セグメント化コンポーネントと分類コンポーネントとの両方に供給される同一のトレーニングデータセットに従ってエンドツーエンドでＮＮをトレーニングするためのコードと、を備える。ここで、サイズ特徴量は、セグメント化コンポーネントによって出力されたそれぞれのトレーニング画像の少なくとも１つのセグメント化された視覚的オブジェクトのそれぞれのサイズの指示に従って計算される。
【００２５】
別段の定義がない限り、本明細書で使用されるすべての技術用語および／または科学用語は、本発明が適用される当技術分野の通常の当業者が一般的に理解するのと同じ意味を有する。本明細書に記載されたものと類似または同等の方法および材料が、本発明の実施形態の実施または試験において使用され得るが、例示的な方法および／または材料が以下に記載されている。矛盾する場合は、定義を含む特許明細書が支配する。さらに、材料、方法、および例示は例示的なものに過ぎず、必ずしも限定的であることを意図するものではない。
【図面の簡単な説明】
【００２６】
本発明のいくつかの実施形態を、例示のためだけに、添付の図面を参照して本明細書に記載する。ここで、図面の詳細な特定の参照を伴って示される詳細は、例示のためのものであり、本発明の実施形態の例示的な議論のためのものであることが強調される。この点で、図面と一緒に取られた説明は、本発明の実施形態がどのように実施され得るかを、当業者に明らかにする。
【００２７】
【図１】図１は、本発明のいくつかの実施形態に従う、トレーニング済みのニューラルネットワークによって対象となる個体の１つ以上の解剖学的画像における視覚的オブジェクトを自動検出するための方法のフローチャートである。
【図２】図２は、本発明のいくつかの実施形態に従う、対象となる個体の１つ以上の解剖学的画像における視覚的オブジェクトを自動検出するためのシステムのコンポーネントのブロック図である。
【図３】図３は、本発明のいくつかの実施形態に従う、対象となる個体の１つ以上の解剖学的画像における視覚的オブジェクトを自動検出するためのニューラルネットワークをトレーニングするための方法のフローチャートである。
【図４】図４は、本発明のいくつかの実施形態に従う、１つ以上の解剖学的画像の視覚的オブジェクトを識別するためのＮＮの例示的なアーキテクチャのブロック図である。
【図５】図５は、本発明のいくつかの実施形態に従う、ニューラルネットワークによる分類のための解剖学的画像の例を描いた模式図である。
【図６】図６は、本発明のいくつかの実施形態に従う、それぞれの実質性出血を描いた脳ＣＴスライスのシーケンスと、ＩＣＨがないがＩＣＨと間違われる可能性のあるアーチファクトとして現れる脳ＣＴスライスの別のシーケンスである。
【図７】図７は、本発明のいくつかの実施形態に従う、トレーニング済みのニューラルネットワークによって高い確率のＩＣＨが計算された、それぞれの系列の脳ＣＴスライスの一例である。
【図８】図８は、本発明のいくつかの実施形態に従う、ＩＣＨと誤って識別される可能性のあるアーチファクトを含む脳ＣＴスライスの一例である。
【図９】図９は、本発明のいくつかの実施形態に従う、トレーニング済みのニューラルネットワークによって計算されたＩＣＨのセグメント化のそれぞれの指示を含む脳ＣＴスライスの例である。
【発明を実施するための形態】
【００２８】
本発明は、そのいくつかの実施形態において、医用画像処理に関するものであり、より具体的には、医用画像内の視覚的オブジェクトを自動検出するためのシステムおよび方法に関するものであるが、これに限定されるものではない。
【００２９】
本明細書で使用されるように、用語「ピクセル要素」は、解剖学的画像の単位を指し、任意選択で、解剖学的画像を保存するおよび／またはディスプレイ上に解剖学的画像を提示するといった、解剖学的画像を表現するために使用される最小の単位を指す。ピクセル要素は、例えば、個々のピクセル（すなわち、スクリーン上に提示される各ピクセルを定義する解剖学的画像のデータ）、個々のボクセル（すなわち、３次元画像データのための）、ピクセルのグループ（例えば、解像度のダウングレード中）、および／またはボクセルのグループのことを指すこともある。
【００３０】
本明細書で使用されるように、視覚的オブジェクトという用語は、撮像された解剖学的画像内に提示された場合に、対象となる個体内に物理的に位置する有形のオブジェクトの表現を指す。視覚的オブジェクトは、対象となる個体内に通常存在しない異常なオブジェクト、および／または臨床的に重要なオブジェクトであってもよい。例示的な視覚的オブジェクトには、血管外の血液（例えば、頭蓋内出血（ＩＣＨ））、人工インプラント、異常な石灰化（例えば、大動脈などの骨の外側）、異常な非血液流体（例えば、肺水腫）、空気（例えば、組織内および肺および／または消化器系の外側）、腫瘍（例えば、良性、または悪性）が含まれる。視覚的オブジェクトは、解剖学的オブジェクトの特徴に基づいてなされた標識および／または診断ではなく、実際の物理的オブジェクトを示すものであることに留意されたい。視覚的オブジェクトは、解剖学的画像の特定のピクセル要素を視覚的オブジェクトに関連するものとして分類し、任意選択で解剖学的画像の他のピクセル要素を視覚的オブジェクトに関連しないものとして分類することにより、セグメント化することが可能である。
【００３１】
本発明のいくつかの実施形態の態様は、対象となる個体の解剖学的画像における視覚的オブジェクトの表示を識別するための、例えば、頭部ＣＴスライスのシーケンスにおけるＩＣＨの表示を識別するための、システム、装置、方法、および／またはコード命令（すなわち、データストレージデバイスによって記憶され、１つまたは複数のハードウェアプロセッサによって実行可能）である。受け取った解剖学的画像は、任意選択で同時にニューラルネットワーク（ＮＮ）の分類コンポーネントとセグメント化コンポーネントに入力される。サイズ特徴量がＮＮの分類コンポーネントに入力される。サイズ特徴量は、解剖学的画像で識別された各セグメント化された視覚的オブジェクトのそれぞれのサイズを指示するものである。サイズ特徴量は、入力された解剖学的画像のピクセル要素ごとに、セグメント化コンポーネントによって出力されたセグメント化データに従って計算される。ＮＮの分類コンポーネントは、解剖学的画像で識別された視覚的オブジェクトを指示する分類カテゴリを計算する。
【００３２】
サイズ特徴量として分類コンポーネントに供給される出力されたセグメント化された視覚的オブジェクトのサイズは、セグメント化情報を暗黙的に教師データ（ｓｕｐｅｒｖｉｓｉｏｎ  ｄａｔａ）として使用するのとは対照的に、分類を支援するために明示的なセグメント化情報を提供することに留意されたい。
【００３３】
任意選択で、セグメント化は、ピクセル要素ごとに計算され、それぞれのピクセル要素が視覚的オブジェクトを指示することを示すそれぞれのセグメント化確率を計算することにより、ピクセル要素ごとに計算される。
【００３４】
任意選択で、セグメント化された視覚的オブジェクトのサイズは、セグメント化コンポーネントによって出力されたピクセル要素ごとのセグメント化確率のそれぞれに、各ピクセル要素に関連付けられたサイズ（例えば、体積）を乗算して、部分体積のセットを生成し、部分体積を合計することによって計算される。
【００３５】
本発明のいくつかの実施形態の態様は、対象となる個体の解剖学的画像における視覚的オブジェクトの指示を識別するための、例えば、頭部ＣＴスライスのシーケンスにおけるＩＣＨの指示を識別するための、ＮＮをトレーニングするためのシステム、装置、方法、および／またはコード命令（すなわち、データストレージデバイスに格納され、１つまたは複数のハードウェアプロセッサによって実行可能）に関するものである。ＮＮは、複数のサンプル個体のそれぞれについての解剖学的画像を含むトレーニングデータセットに従ってトレーニングされる。各解剖学的画像には、視覚的オブジェクトを示すピクセル要素ごとのアノテーションが含まれる。例えば、放射線科医が、頭部ＣＴスキャンの各スライドの各ＩＣＨインスタンスの周囲の境界線を手動でマークする。境界線内のピクセルは、ＩＣＨを示すものとしてタグ付けされる。境界線の外側のピクセルは、ＩＣＨを示さないものとしてタグ付けされる。ＮＮは、エンドツーエンドでトレーニングされ、セグメント化コンポーネントによるセグメント化を実行し、セグメント化コンポーネントの出力に基づいて計算されたサイズ特徴量に従って分類コンポーネントによる分類を実行し、分類コンポーネントに供給される。ＮＮは、任意選択で同時に、ＮＮのセグメント化コンポーネントと分類コンポーネントの両方に供給される同一のトレーニングデータセットに従ってトレーニングされる。
【００３６】
任意選択で、エンドツーエンドのトレーニングは、分類損失成分とセグメント化損失成分を備える複合損失関数に従って実行される。
【００３７】
任意選択で、エンドツーエンドのトレーニングに先立って、ＮＮのセグメント化コンポーネントのみがトレーニングデータセットに従ってトレーニングされる。セグメント化コンポーネントのトレーニングから計算された重み付けは凍結される。セグメント化コンポーネントのみをトレーニングした後、分類コンポーネントの全結合層がトレーニングされ、解剖学的画像で識別された視覚的オブジェクトを示す分類カテゴリ、例えば、視覚的オブジェクトが存在するか否かを出力する二値分類器が出力される。分類コンポーネントの全結合層は、セグメント化コンポーネントによって出力されたセグメント化データに基づいて計算されたサイズ特徴量と、分類コンポーネントとセグメント化コンポーネントの両方に共通のエンコーダコンポーネントの出力の両方を入力として受け取る。その後、ＮＮは最終的なトレーニングステップで、エンドツーエンドでトレーニングされる。
【００３８】
本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくともいくつかは、解剖学的画像の自動分類の精度を向上させるという技術的な問題に対処しており、ここで、分類は解剖学的画像内に見出される１つ以上の視覚的オブジェクトを指示する。自動分類による精度の向上により、例えば、放射線科医によるより高い優先度の閲覧のために取得された画像研究にフラグを立てることができ、これにより、潜在的に危険な医学的状態の診断および／または治療に要する時間を減少させることができる。別の例では、自動分類による精度の向上により、他の臨床的適応症のために取得された画像検査における付随所見として、臨床的に重要な視覚的オブジェクトを識別することができる。このような付随所見は、例えば、画像検査に導いた臨床的適応症に焦点を当てている場合に、読影医によって見落とされる可能性がある。
【００３９】
本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくとも一部は、少なくとも１つの視覚的オブジェクトを含む解剖学的画像の自動分類の技術分野を改善する。改善は、少なくとも、セグメント化コンポーネントおよび分類コンポーネントを含むＮＮのエンドツーエンドのトレーニングに基づいて行われ、ここで、セグメント化コンポーネントによって出力されたセグメント化された視覚的オブジェクトの推定サイズ（例えば、体積）が、サイズ特徴量として分類コンポーネントに供給される。視覚的オブジェクトのセグメント化は、ピクセルごとに実行される。同じ学習データセットを用いてＮＮのセグメント化コンポーネントと分類コンポーネントの両方をエンドツーエンドで学習することで、２つの別々の分類器を学習し、セグメント化分類器が単純に分類器にフィードするように分類器をカスケード配置する場合と比較して、相乗効果を生み出すことができる。例えば、本明細書に記載のＮＮによって得られる解剖学的画像の分類の精度は、他の方法によって得られる分類の精度よりも統計的に有意に高い。
【００４０】
本明細書に記載のシステム、方法、装置、および／またはコード命令の少なくともいくつかは、対象となる個体の少なくとも頭部、例えば頭部ＣＴスライスのセットを含む１つ以上の解剖学的画像において、ＩＣＨを自動的に識別するという技術的な問題に対処するものである。頭蓋内出血は、頭部ＣＴ撮像などの標準的な頭部撮像において重要な所見である。出血を止めるために手術を行うのに十分な時間を確保するなど、最適な患者転帰を達成するためには、早期かつ正確な検出が不可欠である。小さな出血を見逃すと、大きな血溜まりに発展し、臨床的に患者に影響を与える可能性がある。例えば、臨床的に重要な少量の出血であっても、その大きさが小さいために検出が困難であること、被験者間での脳の解剖学的な違い、他の解剖学的構造と血液との鑑別が困難であること、段階の異なる血液の見え方が異なること（例えば、新鮮な赤血と凝固血）などの理由により、頭部画像検査でのＩＣＨの自動検出は困難な技術的問題である。
【００４１】
本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくとも一部は、ＩＣＨの検出のために対象となる個体の少なくとも頭部を含む解剖学的画像の自動分析を実行することにより、視覚的オブジェクトを識別するための解剖学的画像の自動分析の技術分野を改善する。人工知能（ＡＩ）が脳画像（例えば、ＣＴ脳スキャン）の最初の読み取りを容易にすることにより、出血、特に認識されない可能性のある微妙な出血を自動検出し、および／またはそのような時間的に敏感なＩＣＨ所見を有する画像検査に早期に注意を払うためのトリアージサービスを提供することにより、付加価値を提供することができる。
【００４２】
本明細書に記載される少なくともいくつかのシステム、方法、装置、および／またはコード命令は、視覚的オブジェクトを識別するために解剖学的画像を分析する医療分野を改善する。標準的な方法を使用して、ユーザ（例えば、放射線科医）が手動で解剖学的画像を検査して視覚的オブジェクトを識別する。ＣＴスキャンのような多くのケースでは、多数のスライスが生成されることに留意されたい。このような手動分析は、解剖学的画像を見ている個々の放射線科医に基づく主観的なものである。
【００４３】
同じ解剖学的画像を見ている２人の異なる放射線科医は、視覚的な対象物に関して異なる意見を提供することがあり、それは互いに矛盾することさえある。本明細書に記載された少なくともいくつかのシステム、方法、装置、および／またはコード命令による解剖学的画像の自動分析は、既存の手動プロセスをコンピュータに単純にコード化することに基づいているわけではない。むしろ、本明細書に記載された少なくともいくつかのシステム、方法、装置、および／またはコード命令は、主観的な方法を、本明細書に記載されたトレーニング済みのニューラルネットワークコードに基づいた客観的で再現性のある方法に変える。発明者らは、手動プロセスには以前には存在せず、手動プロセスには対応するものがない新規なステップ、すなわち、ニューラルネットワークコードのトレーニング、および／または視覚的オブジェクトを含むことを指示して解剖学的画像を自動的に分類するためのトレーニング済みのニューラルネットワークコードの実行を開発した。少なくとも本明細書に記載されたトレーニング済みのニューラルネットワークコードは、標準的な手動プロセスを使用しては得られない、客観的で再現性のある視覚的オブジェクト識別結果を提供する。
【００４４】
本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくとも一部は、他のシステムおよび／または方法によって解決されない技術的な問題に対する技術的な解決策を提供し、および／または他のシステムおよび／または方法と比較して、自動化されたＩＣＨ検出の技術の改善を提供する。
【００４５】
例えば、非特許文献１は、一連の画像に基づいてＩＣＨ診断を行うことに関連する。非常に大量のデータを利用する可能性は、入力スキャンサイズの高次元性のために、比較的貧弱な教師の犠牲を払っている。引用文献に記載されているように、４万件の検査データセットが組み立てられ、固定入力サイズに前処理された。このデータは、非特許文献２によって記述された３次元畳み込み分類パイプラインのトレーニングに使用される。単一モデルの報告されたＡＵＣの結果は０．８６であり、他の研究で報告された他の結果よりも有意に低い。さらに、記載されたパイプラインは、同定された出血の局在化を提供しない。これに対して、本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくともいくつかは、はるかに小さいトレーニングデータセットを利用し、他の研究よりも比較的高い分類精度を得ることができ（発明者によって実施された実験の結果については、以下の実施例の節を参照のこと）、および／またはいくつかの実施形態では、分類結果に加えて、識別された出血の位置を指示する局在化（すなわち、セグメント化）データを提供することができる。
【００４６】
別の例では、非特許文献３は、スライスに基づくＩＣＨ診断に関するものである。少なくともいくつかの実施形態では、分類とセグメント化を同時に実行する単一のアーキテクチャに関連する本明細書に記載のＮＮと比較して、記載のアプローチは、分類とセグメント化タスクのデカップリングに基づいている。２つの逐次ネットワークに基づくパイプラインは、少なくともいくつかの実施形態では分類とセグメント化の両方を同時に実行する単一のアーキテクチャに関連する本明細書に記載のＮＮと比較して遅い。さらに、非特許文献３は、分類に関して０．９４１９のＡＵＣを報告している。非特許文献３の結果は、本明細書に記載のＮＮをトレーニングするために使用される研究の数と比較して、彼らの分類器をトレーニングするために使用される少なくとも１０倍以上のタグ付けされた検査をもって得られたものである。さらに、本明細書に記載のＮＮは、非特許文献３の分類器よりも高いＡＵＣを達成する（発明者によって実行された実験のさらなる詳細については、以下の実施例の節を参照のこと）。
【００４７】
さらに別の例では、非特許文献４は、スライスに基づくＩＣＨ診断に関連する。記載されたアプローチは、系列内の全スライスに対する面倒なアノテーションのために、長いタグ付け作業を必要とする。非特許文献３に記載されているように、著者らはトレーニングのために放射線科医によってスライスごとにタグ付けされた６千系列の大規模なデータセットを利用している。所見を特定するために、著者らは、系列のセグメント化を行うための（非特許文献５に記載された）ＵＮｅｔアーキテクチャをトレーニングするためにピクセル単位のタグ付けに投資した。非特許文献４に記載されているように、著者らは、ピクセルごとの情報を活用するために補助的なセグメント化損失を使用し、ＬＳＴＭを使用して３次元容量の決定を集約した。これに対して、本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくともいくつかは、比較的小さなトレーニングデータセットを使用してセグメント化および分類のためのニューラルネットワークをトレーニングし、正確なセグメント化および分類のためのニューラルネットワークをトレーニングするために必要な手動タグ付けの量を大幅に削減する。本明細書に記載のニューラルネットワークの少なくともいくつかの実施形態は、例えば、ＡＵＣに従って測定されるように、分類性能の点で、ＲａｄＮｅｔベースの分類器を上回る。性能の増加は、本明細書に記載されているように、セグメント化コンポーネントの結果に明示的に依存する分類コンポーネント（すなわち、セグメント化コンポーネントの出力に従って計算されたサイズ特徴量を分類コンポーネントに供給すること）によるものである。
【００４８】
本明細書に記載されたシステム、方法、装置、および／またはコード命令の少なくとも一部は、解剖学的画像における視覚的オブジェクトの分類のためのニューラルネットワークをトレーニングするコンピューティングデバイスの性能を向上させる。いくつかの実施形態では、性能の改善は、例えば、（例えば、精度、偽陽性、および／または偽陰性の点で）同様の分類を得るために著しく多くの数のタグ付けされた画像を必要とする他の方法と比較して、著しく少ない数のタグ付けされたトレーニング画像を使用することによって得られる。性能の改善は、例えば、相対的に減少した処理時間、（例えば、より少ない数のタグ付きトレーニング画像を格納する）相対的に減少したストレージ要件、および／または相対的に減少した処理ハードウェア（例えば、プロセッサ）の使用率を含むことができる。
【００４９】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、以下の説明および／または図面および／または実施例に示された構成要素および／または方法の詳細な構成および／または配置に必ずしも限定されるものではないことが理解されるであろう。本発明は、他の実施形態が可能であり、または様々な方法で実施または実施されることが可能である。
【００５０】
本発明は、システム、方法、および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ読み取り可能なプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含んでもよい。
【００５１】
コンピュータ可読記憶媒体は、命令実行装置が使用するための命令を保持して格納することができる有形の装置であってもよい。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または前記の任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、および前記の任意の適切な組み合わせが含まれるが、これらに限定されない。本明細書で使用されるようなコンピュータ読み取り可能な記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を介して伝播する電磁波、または電線を介して伝送される電気信号のような、それ自体が一過性の信号であると解釈されるべきではない。
【００５２】
本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク、および／または無線ネットワークを介して、外部コンピュータまたは外部記憶装置に、それぞれのコンピューティング／処理装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバを備えてもよい。各コンピューティング／処理装置内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、コンピュータ読み取り可能なプログラム命令を、各コンピューティング／処理装置内のコンピュータ読み取り可能な記憶媒体に格納するために転送する。
【００５３】
本発明の操作を実行するためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔｏｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードであってもよい。
【００５４】
コンピュータ読み取り可能なプログラム命令は、ユーザのコンピュータ上で全体的に実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、スタンドアロンのソフトウェアパッケージとして実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、リモートコンピュータ上で部分的に実行されてもよいし、リモートコンピュータまたはサーバ上で全体的に実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部コンピュータに行われてもよい。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、電子回路をパーソナライズするために、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、コンピュータ読み取り可能なプログラム命令を実行してもよい。
【００５５】
本発明の態様は、本発明の実施形態に従った方法、装置（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して本明細書に記載されている。フローチャート図示および／またはブロック図の各ブロック、ならびにフローチャート図示および／またはブロック図のブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令によって実施され得ることが理解されるであろう。
【００５６】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為を実施するための手段を作成するように、機械を製造するための汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてもよい。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、および／または他の装置を特定の仕方で機能させるように指示することができるコンピュータ可読記憶媒体に記憶されていてもよく、記憶された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為の態様を実装する命令を含む製品を含む。
【００５７】
また、コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラム可能なデータ処理装置、または他の装置に一連の動作ステップを実行させて、コンピュータ、他のプログラム可能な装置、または他の装置上で実行される命令が、フローチャートおよび／またはブロック図の１つ以上のブロックで指定された機能／行為を実装するような、コンピュータ実装された工程を生成するために、コンピュータ、他のプログラム可能な装置、または他の装置にロードされてもよい。
【００５８】
図面のフローチャートおよびブロック図は、本発明の様々な実施形態に従ったシステム、方法、およびコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能、および動作を例示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表してもよく、これは、指定された論理機能を実装するための１つ以上の実行可能な命令を備える。いくつかの代替的な実施形態では、ブロックに記載されている機能は、図面に記載されている順序から外れて発生してもよい。例えば、連続して示される２つのブロックは、実際には、実質的に同時実行されてもよく、あるいは、ブロックは、関与する機能に応じて、時には逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図示の各ブロック、ならびにブロック図および／またはフローチャート図示のブロックの組み合わせは、所定の機能または行為を実行するか、または特殊目的ハードウェアとコンピュータ命令の組み合わせを実行する特殊目的ハードウェアベースのシステムによって実装され得ることにも留意されたい。
【００５９】
ここで図１を参照する。図１は、本発明のいくつかの実施形態に従う、トレーニング済みのニューラルネットワークによって対象となる個体の１つ以上の解剖学的画像内の視覚的オブジェクトを自動検出するための方法のフローチャートである。本発明のいくつかの実施形態に従う、対象となる個体の１つ以上の解剖学的画像における視覚的オブジェクトの自動検出のためのシステム２００のコンポーネントのブロック図である図２も参照されたい。本発明のいくつかの実施形態に従う、対象となる個体の１つ以上の解剖学的画像における視覚的オブジェクトの自動検出のためのニューラルネットワークをトレーニングするための方法のフローチャートである図３も参照されたい。システム２００は、任意選択で、メモリ２０６に格納されたコード命令を実行するコンピューティングデバイス２０４のハードウェアプロセッサ２０２によって、図１および／または図３を参照して説明された方法の行為を実施してもよい。
【００６０】
コンピューティングデバイス２０４は、例えば、クライアント端末、サーバ、仮想サーバ、放射線科ワークステーション、仮想マシン、コンピューティングクラウド、モバイルデバイス、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、眼鏡コンピュータ、およびウォッチコンピュータとして実装されてもよい。コンピューティング２０４は、識別された視覚的オブジェクトの表示および／またはコンピュータが追加した検出を放射線科医に提示するための放射線科ワークステーションおよび／または他の装置にアドオンされることがある高度な視覚化ワークステーションを含んでいてもよい。
【００６１】
コンピューティングデバイス２０４は、図１および／または図３を参照して説明した１つ以上の行為を実行するローカルに格納されたソフトウェアを含んでもよく、および／または、ネットワーク２１０を介して１つ以上のクライアント端末２０８（例えば、遠隔に配置された放射線学ワークステーション、遠隔画像アーカイブ通信システム（ＰＡＣＳ）サーバ、遠隔電子カルテ（ＥＭＲ）サーバ）にサービス（例えば、図１および／または図３を参照して説明した１つ以上の行為）、例えば、クライアント端末２０８にサービスとしてのソフトウェア（ＳａａＳ）を提供する、クライアント端末２０８にローカルダウンロード用のアプリケーションを、Ｗｅｂブラウザおよび／または医用画像閲覧アプリケーションのアドオンとして提供する、および／またはＷｅｂブラウザを介するようなクライアント端末２０８へのリモートアクセスセッションを使用して機能を提供する、１つ以上のサーバ（例えば、ネットワークサーバ、ウェブサーバ、コンピューティングクラウド、仮想サーバ）として機能してもよい。
【００６２】
ニューラルネットワークのトレーニング、および視覚的オブジェクトを識別するためのトレーニング済みのニューラルネットワークの解剖学的画像への適用は、同じコンピューティングデバイス２０４によって、および／または異なるコンピューティングデバイス２０４によって実施されてもよく、例えば、１つのコンピューティングデバイス２０４がニューラルネットワークをトレーニングし、トレーニング済みのニューラルネットワークをサーバデバイス２０４に送信することができることに留意されたい。
【００６３】
コンピューティングデバイス２０４は、解剖学的イメージングデバイス２１２によって撮影された２次元画像、および／または（任意選択で、平行平面での３次元イメージングデータから抽出され、例えば、３次元コンピュータ断層撮影（ＣＴ）スキャンから抽出される）２次元スライスを受け取る。例示的な解剖学的イメージングデバイス２１２は、超音波装置（例えば、２次元、３次元、４次元）、Ｘ線装置、磁気共鳴イメージング（ＭＲＩ）デバイス、および／またはＣＴ装置を含む。イメージングデバイス２１２によって撮像された解剖学的画像は、画像リポジトリ２１４、例えば、ストレージサーバ、コンピューティングクラウド、仮想メモリ、ハードディスクに保存されてもよい。トレーニング画像２１６は、本明細書に記載されているように、撮像された解剖学的画像に基づいて作成されてもよい。
【００６４】
トレーニング画像２１６は、本明細書に記載されているように、ニューラルネットワークをトレーニングするために使用される。トレーニング画像２１６は、ネットワーク２１０を介してコンピューティングデバイス２０４によってアクセス可能なサーバ２１８によって、例えば、公知のトレーニングデータセット、および／または本明細書で説明するように、ニューラルネットワークをトレーニングするために作成されたカスタマイズされたトレーニングデータセットが格納されていてもよいことに留意されたい。
【００６５】
イメージングデバイス２１２によって撮像された解剖学的画像は、対象となる患者の身体部分内の解剖学的特徴および／または解剖学的構造を描写する。
【００６６】
コンピューティングデバイス２０４は、例えば、有線接続（例えば、物理ポート）、無線接続（例えば、アンテナ）、ローカルバス、データストレージデバイス接続用ポート、ネットワークインタフェースカード、他の物理インタフェース実装、および／または仮想インタフェース（例えば、ソフトウェアインタフェース、仮想プライベートネットワーク（ＶＰＮ）接続、アプリケーションプログラミングインタフェース（ＡＰＩ）、ソフトウェア開発キット（ＳＤＫ））などの１つ以上のイメージングインタフェース２２０を使用して、トレーニング画像２１６および／または解剖学的画像をイメージングデバイス２１２および／または画像リポジトリ２１４から受け取ってもよい。
【００６７】
ハードウェアプロセッサ２０２は、例えば、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、および特定用途向け集積回路（ＡＳＩＣ）として実装されてもよい。プロセッサ２０２は、並列処理のために、クラスタとして、および／または１つ以上のマルチコア処理ユニットとして配置されてもよい（同種のまたは異種混合の）１つ以上のプロセッサを含んでもよい。
【００６８】
メモリ２０６（本明細書ではプログラムストア、および／またはデータストレージデバイスとも呼ばれる）は、ハードウェアプロセッサ２０２によって実行されるためのコード命令を格納する、例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、および／またはストレージデバイス、例えば、不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、リムーバブルストレージ、および光学媒体（例えば、ＤＶＤ、ＣＤ−ＲＯＭ）である。メモリ２０６は、トレーニング済みのニューラルネットワーク２２２Ａを実装するためのコード命令を格納する。メモリ２０６は、図１を参照して説明した方法の１つ以上の行為および／または特徴を実行する画像処理コード２０６Ａ、および／または図３を参照して説明した方法の１つ以上の行為を実行するトレーニングコード２０６Ｂを格納する。
【００６９】
コンピューティングデバイス２０４は、データ、例えば、（本明細書に記載されるように）トレーニング済みのニューラルネットワーク２２２Ａ、および／またはトレーニング画像２１６、を格納するためのデータストレージデバイス２２２を含む。データストレージデバイス２２２は、例えば、メモリ、ローカルハードドライブ、リムーバブルストレージデバイス、光ディスク、ストレージデバイス、および／またはリモートサーバおよび／または（例えば、ネットワーク２１０を介してアクセスされる）コンピューティングクラウドとして実装されてもよい。トレーニング済みのニューラルネットワーク２２２Ａ、および／またはトレーニング画像２１６は、プロセッサ２０２によって実行されるために実行部分がメモリ２０６にロードされた状態で、データストレージデバイス２２２に格納されてもよいことに留意されたい。
【００７０】
コンピューティングデバイス２０４は、ネットワーク２１０に接続するためのデータインタフェース２２４、任意選択でネットワークインタフェース、例えば、ネットワークインタフェースカード、無線ネットワークに接続するための無線インタフェース、ネットワーク接続のためのケーブルに接続するための物理インタフェース、ソフトウェアで実装された仮想インタフェース、ネットワーク接続のより高位のレイヤを提供するネットワーク通信ソフトウェア、および／または他の実装のうちの１つ以上を含んでもよい。コンピューティングデバイス２０４は、例えば、更新されたトレーニング画像２１６をダウンロードするため、および／または画像処理コード２０６Ａ、トレーニングコード２０６Ｂ、および／またはトレーニング済みのニューラルネットワーク２２２Ａの更新されたバージョンをダウンロードするために、ネットワーク２１０を使用して１つ以上のリモートサーバ２１８にアクセスしてもよい。
【００７１】
コンピューティングデバイス２０４は、ネットワーク２１０（または別の通信チャネル、例えば、直接リンク（例えば、ケーブル、無線）および／または間接リンク（例えば、サーバなどの中間コンピューティングデバイスを介して、および／またはストレージデバイスを介して）を使用して、
＊  例えば、コンピューティングデバイス２０４が、遠隔で得られた解剖学的画像を解析するために、遠隔の放射線学的端末に画像解析サービス（例えば、ＳａａａＳ）を提供するサーバとして機能する場合、クライアント端末２０８、
＊  例えば、ＰＡＣＳと関連して実装され、例えば、放射線科医院の画像処理装置によって撮像された、解析のための大量の解剖学的画像を保存してもよい、サーバ２１８、
＊  トレーニング画像２１６および／またはイメージングデバイス２１２によって出力された解剖学的画像を格納する解剖学的画像リポジトリ２１４、
の１つ以上と通信してもよい。
【００７２】
イメージングインタフェース２２０およびデータインタフェース２２４は、２つの独立したインタフェース（例えば、２つのネットワークポート）として存在してもよく、共通の物理インタフェース上の２つの仮想インタフェース（例えば、共通のネットワークポート上の仮想ネットワーク）として存在してもよく、および／または単一のインタフェース（例えば、ネットワークインタフェース）に統合されていてもよいことに留意されたい。
【００７３】
コンピューティングデバイス２０４は、ユーザがデータ（例えば、患者データ）を入力し、および／または識別された視覚的オブジェクトの指示を閲覧するように設計された機構を含むユーザインタフェース２２６を含むか、またはユーザインタフェース２２６と通信している。例示的なユーザインタフェース２２６は、例えば、タッチスクリーン、ディスプレイ、キーボード、マウス、およびスピーカおよびマイクを使用する音声起動型ソフトウェアのうちの１つまたは複数を含む。
【００７４】
図１に戻って、１０２で、ニューラルネットワークが提供され、および／またはトレーニングされる。
【００７５】
複数のニューラルネットワークがトレーニングされてもよい。各ニューラルネットワークは、対象となる個体の特定の身体部分を含む解剖学的画像の特定のセットを処理するようにトレーニングされてもよい。例えば、ニューラルネットワークは、解剖学的画像モダリティ、例えば、Ｘ線、超音波、ＣＴ、ＭＲＩなどに従ってトレーニングされてもよい。別の例では、ニューラルネットワークは、画像の次元、例えば、２次元画像、３次元画像に従ってトレーニングされてもよい。別の例では、ニューラルネットワークは、連続したスライドの数、例えば、（例えば、任意の画像モダリティからの）単一の画像、または（例えば、ＣＴおよび／またはＭＲＩスキャンの）複数の、例えば、２、３、４、５、７、または他の数のスライドに従ってトレーニングされてもよい。別の例では、ニューラルネットワークは、身体部分、例えば、頭部、胸部、腹部、および四肢に従ってトレーニングされてもよい。別の例では、ニューラルネットワークは、造影剤の投与または造影剤の投与の欠如に従ってトレーニングされてもよく、例えば、造影剤を投与した頭部ＣＴと、造影剤を投与していない頭部ＣＴとに従ってトレーニングされてもよい。さらに別の別の例では、ニューラルネットワークは、取得された画像に対して実行された追加の処理特徴に従って、例えば、ＣＴ骨窓を適用すること、および／または骨強化再構成を適用してトレーニングされてもよい。さらなる別の例では、ニューラルネットワークは、視覚的オブジェクトのタイプに従ってトレーニングされてもよい。
【００７６】
ニューラルネットワークは、複数の利用可能なニューラルネットワークから選択されてもよい。選択は、ユーザによって手動で実行されてもよい（例えば、ユーザインタフェースを介して、例えば、利用可能なニューラルネットワークのメニューおよび／またはアイコンを表示する）。選択は、画像化モダリティに従って画像タイプを決定するコード、および／または造影剤の投与または造影剤の欠如を判定するコード、および／または画像上で実行される追加処理を決定するコード、および／またはスキャンされた身体部分に従って、および／または臨床的適応症に従って、自動的に実行されてもよい。自動解析は、例えば、画像自体の解析、および／または画像のメタデータの解析に基づいてもよく、および／または（例えば、ＰＡＣＳサーバ、ＤＩＣＯＭデータ、および／または電子カルテから得られた）画像の系列に関連付けられたデータに従ってもよい。
【００７７】
ニューラルネットワークは、セグメント化コンポーネントと分類コンポーネントを含む。セグメント化コンポーネントによって計算された解剖学的画像のセグメント化された視覚的オブジェクトのサイズは、サイズ特徴量として分類コンポーネントに供給される。ニューラルネットワークは、分類コンポーネントによる分類およびセグメント化コンポーネントによるセグメント化の両方を実行するために、セグメント化コンポーネントによって出力されたセグメント化データに基づいて計算されたサイズ特徴量を分類コンポーネントに、任意選択で、分類コンポーネントおよびセグメント化コンポーネントによって共有されるエンコーダの出力とサイズ特徴量との両方を受け取る分類コンポーネントの全結合層に、供給することに基づいて、エンドツーエンドでトレーニングされる。エンドツーエンドのトレーニングは、セグメント化コンポーネントと分類コンポーネントの両方に供給される同一のトレーニングデータセットに従う。トレーニングデータセットは、複数のサンプル個体のそれぞれについての解剖学的画像を含み、解剖学的画像に現れる視覚的オブジェクトは、ピクセル要素ごとに定義されたアノテーションに従ってセグメント化される。
【００７８】
ニューラルネットワークをトレーニングする例示的な方法を、図３を参照して説明する。
【００７９】
ここで、本発明のいくつかの実施形態に従う、１つ以上の解剖学的画像の視覚的オブジェクトを識別するためのＮＮ  ４０２の例示的なアーキテクチャのブロック図である図４を参照されたい。ＮＮ  ４０２は、分類コンポーネント４０４およびセグメント化コンポーネント４０６を含む。分類コンポーネント４０４およびセグメント化コンポーネント４０６は、共通のエンコーダコンポーネント４０８を共有する。分類コンポーネント４０４は、エンコーダコンポーネント４０８と全結合層４１８を含む。共通エンコーダコンポーネント４０８は、１つ以上の解剖学的画像４１４を入力として受け取る。例示的な実施形態では、入力された解剖学的画像４１４は、（例えば、頭部ＣＴなどのＣＴスキャンの）連続する５つの平行なスライスを含み、それぞれが、任意選択で、例えば、５１２×５１２のような均一なサイズを有する。
【００８０】
セグメント化コンポーネント４０６は、共通エンコーダコンポーネント４０８の出力を受け取るデコーダコンポーネント４１０をさらに含む。
【００８１】
共通エンコーダコンポーネント４０８は、特徴量を抽出するための縮小パスとして実装されてもよい。共通エンコーダコンポーネント４０８は、複数段のフィルタ層４２６を含んでもよい。例示的な実施形態では、３つのフィルタ層４２６Ａ−Ｃが使用される。第１のフィルタ層４２６Ａは、２つの３×３の畳み込み層６４＠２５６×２５６を含む。第２のフィルタ層４２６Ｂは、１２８＠１２８×１２８の２つの３×３畳み込み層を含む。第３のフィルタ層４２６Ｃは、２５６＠６４×６４の２つの３×３畳み込み層を含む。デコーダコンポーネント４１０は、エンコーダコンポーネント４０８によって抽出された特徴量に基づく定位のための拡大パスとして実装されてもよい。デコーダコンポーネント４１０は、複数段のフィルタ層４２８を含んでもよい。例示的な実施形態では、２つのアップサンプリングフィルタ層４２８Ａ−Ｂが使用される。第１のアップサンプリングフィルタ層４２８Ａは、１２８＠１２８×１２８の単一の３×３畳み込み層を含む。第２のアップサンプリングフィルタ層４２８Ｂは、６４＠２５６×２５６の単一の３×３畳み込み層を含む。エンコーダコンポーネント４０８の各ステージの出力は、スキップ接続４１２を介してデコーダコンポーネント４１０の対応するステージに入力として供給されてもよい。例えば、フィルタ４２６Ａの出力がアップサンプリングフィルタ層４２８Ａに供給され、フィルタ４２６Ｂの出力がアップサンプリングフィルタ層４２８Ｂに供給される。
【００８２】
デコーダコンポーネント４１０は、解剖学的画像４１４において識別される視覚的オブジェクトのセグメント化を指示するセグメント化データ４１６を出力する。セグメント化データ４１６は、ピクセル要素ごとのセグメント化を含み、任意選択で、本明細書に記載されているように、それぞれのピクセル要素が視覚的オブジェクトを示す確率を示す、ピクセル要素ごとに計算されたセグメント化確率を含む。セグメント化された視覚的オブジェクトのサイズ（例えば、体積）４３０は、本明細書に記載されるように、各ピクセル要素について、対応するセグメント化確率を、ピクセル要素のサイズ（例えば、体積）に乗算して複数のサブサイズ（例えば、部分体積）を計算し、サブサイズを合計サイズ（例えば、合計体積）、例えば、立方ミリメートル単位での血液（例えば、ＩＣＨ）に合計することによって計算される。
【００８３】
サイズ４３０は、サイズ特徴量４２２として、分類コンポーネント４０４の全結合層４１８に供給される。全結合層４１８、任意選択で、ＮＮ  ４０２の最後の層および／または分類コンポーネント４０４の最後の層は、共通のエンコーダコンポーネント４０８の出力、任意選択でフィルタ４２６Ｃの出力、およびサイズ特徴量４２２を受け取る。エンコーダコンポーネント４０８のフィルタ層４２６Ｃは、特徴量に応じたプーリングおよび平坦化を実行してもよい。全結合層４１８は、分類カテゴリ結果４２０、例えば、識別された視覚的オブジェクトを示す分類カテゴリ、または識別されない視覚的オブジェクトを示す分類カテゴリを計算する。全結合層４１８は、最終的な分類結果を出力するＦＣ  ２層が続くＣｏｎｃａｔ層２５７として実装されてもよい。
【００８４】
ここで、図１に戻って、１０４において、対象となる個体の１つ以上の解剖学的画像が提供される。
【００８５】
任意選択で、複数の連続した、任意選択で平行な、スライスのシーケンスが提供される。複数のスライスは、重複していてもよい。複数のスライスは、３次元イメージングモダリティ、例えばＣＴ、ＭＲＩ、および３次元超音波によって取得された３次元体積を表してもよい。あるいは、単一画像が提供される。単一画像は、２次元イメージングモダリティ、例えば、Ｘ線装置、超音波スキャナ、またはＣＴスキャナなどの３次元イメージングモダリティによって取得された単一画像、または単一スライスであってもよい。
【００８６】
任意選択で、解剖学的画像は、解剖学的画像を撮像したそれぞれの解剖学的画像撮影装置によって出力される完全な解像度を含む。解剖学的画像は、定義された入力サイズ要件に従ってＮＮに入力するための解像度および／またはサイズを縮小することを必ずしも要さない。小さな視覚的オブジェクトは、そのような完全な解像度の解剖学的画像において識別されてもよく、例えば、そのような小さな視覚的オブジェクトは、サイズおよび／または解像度が低減された解剖学的画像においては、目に見えない、および／または正確に検出することができない。
【００８７】
画像は、例えば、ＰＡＣＳサーバ、ＥＭＲサーバ、解剖学的イメージングデバイス、および／またはストレージデバイス（例えば、携帯型ストレージ媒体、ストレージサーバ）から取得されてもよい。例えば、解剖学的画像は、撮像モダリティによって撮像された後、および／または一旦画像が格納されると、自動的に解析に送られる。
【００８８】
ここで、本発明のいくつかの実施形態に従う、ニューラルネットワークによる分類のための解剖学的画像の一例を描いた模式図である図５を参照されたい。画像５０２Ａ−Ｃは、異なるパラメータを使用してＣＴ装置によって取得されたそれぞれの頭部ＣＴスライスを含む。スライス５０２Ａは、対象となる個体に投与された造影剤を用いて得られた頭部ＣＴ系列からのものである。スライス５０２Ｂは、画像が骨強化再構成を伴って処理される頭部ＣＴ系列からのものである。スライス５０２Ｃは、ターゲット個体に投与された造影剤なしで得られた頭部ＣＴ（すなわち、非造影頭部ＣＴ）系列からのものである。
【００８９】
１０６で、解剖学的画像がＮＮに入力される。
【００９０】
同じ解剖学的画像は、ＮＮの分類コンポーネントとＮＮのセグメント化コンポーネントに入力される。任意選択で、同一の解剖学的画像がセグメント化コンポーネントと分類コンポーネントの両方に同時に入力される。
【００９１】
１０８では、解剖学的画像の視覚的オブジェクトのセグメント化のサイズの指示が、セグメント化コンポーネントによって計算された視覚的オブジェクトのピクセル要素ごとのセグメント化に従って計算され、サイズ特徴量として分類コンポーネントに供給される。
【００９２】
サイズは、解剖学的画像がボクセルおよび／または他の３次元画像データを含むような場合の体積であってもよいし、解剖学的画像がピクセルおよび／または他の２次元画像データを含むような場合の面積であってもよい。
【００９３】
前記セグメント化コンポーネントによって出力される視覚的オブジェクトのセグメント化は、前記解剖学的画像のピクセル要素ごとに提供される。解剖学的画像の各ピクセル要素には、それぞれのピクセル要素が視覚的オブジェクトと関連しているかどうかを指示する値が割り当てられる。ピクセル要素には、視覚的オブジェクトと関連していないことを指示する値が割り当てられてもよい。各ピクセル要素に割り当てられた値は、それぞれのピクセル要素が視覚的オブジェクトと関連していることの計算された確率を指示するセグメント化確率であってもよい。
【００９４】
任意選択で、セグメント化された視覚的オブジェクトのサイズは、複数のサブサイズを計算するために、セグメント化確率のそれぞれに各ピクセル要素に関連付けられたサイズを乗算することによって計算される。例えば、各ピクセル要素がボクセルを表す場合、サブサイズは部分体積である。各ピクセル要素がピクセルを表す場合、サブサイズは部分面積である。サブサイズは、任意選択で解剖学的画像のそれぞれに亘って合計される。複数の連続した（例えば、平行な）スライスがＮＮに供給される場合、合計サイズは、すべてのスライスの部分体積に従って計算され、視覚的オブジェクトの合計体積の推定値が得られる。
【００９５】
異なる画像記憶システムおよび／または異なるディスプレイの異なるピクセル要素は、実世界の異なる物理的サイズに相関していてもよい。各ピクセル要素に関連付けられたサイズは、計算されたサイズを、例えば、平方ミリメートル、および／または立方ミリメートルの単位で、実際の実世界のサイズに標準化する。
【００９６】
１１０では、少なくとも１つの解剖学的画像内の視覚的オブジェクトの指示が計算される。指示は、少なくとも分類コンポーネントによって出力された解剖学的画像における視覚的オブジェクトを指示する分類カテゴリを含む。指示は、セグメント化コンポーネントによって出力されたセグメント化を含むことができる。分類カテゴリは、例えば、解剖学的画像内の視覚的オブジェクトの有無を示す二値カテゴリ、および／または解剖学的画像において見出された視覚的オブジェクトのタイプを指示するマルチカテゴリ分類であってもよい。セグメント化は、ピクセル要素ごとのセグメント化確率を含んでもよく、これは、閾値に従って評価されてもよく、閾値を超える確率値はセグメント化に含まれ、閾値を下回る値はセグメント化から除外される。
【００９７】
視覚的オブジェクトの表示は、セグメント化コンポーネントと分類コンポーネントの両方からの入力を受け取るＮＮの最後の全結合層によって計算される。
【００９８】
任意選択で、全結合層は、識別された視覚的オブジェクトを示す分類カテゴリを計算する。全結合層は、分類コンポーネントの最終コンポーネントであってもよく、セグメント化コンポーネントの最終コンポーネントでなくてもよい。全結合層は、セグメント化コンポーネントによって出力されたピクセルごとのセグメント化データに従って計算されたサイズ特徴量と、分類コンポーネントとセグメント化コンポーネントの両方で共有されるエンコーダコンポーネントの出力を入力として受け取る。
【００９９】
１１２において、視覚的オブジェクトの指示が提供される。少なくとも分類カテゴリが提供される。
【０１００】
分類の指示は、視覚的オブジェクトの分類カテゴリ、例えば、存在、不存在、および／または視覚的オブジェクト物のタイプを指示するテキストおよび／またはコードとして提供されてもよい。
【０１０１】
セグメント化の指示は、セグメント化されていると識別されたピクセル要素に対応する解剖学的画像上のマーキングを含んでもよい。例えば、セグメント化されたピクセル要素を取り囲む境界線は、任意選択で異なる色を使用してマーキングされてもよい。別の例では、選択されたピクセル要素は、画像の残りの部分に対して固有の色、例えば、黄色、赤、緑、青、または他の色で色分けされる。別の例では、セグメント化の局在性の指示が出力され、例えば、セグメント化されたピクセルの１つ以上の座標が出力される。
【０１０２】
ここで、本発明のいくつかの実施形態に従う、それぞれの実質性出血６０４Ａ−Ｄを描いた脳ＣＴスライス６０２のシーケンス、および本発明のいくつかの実施形態に従って、ＩＣＨを伴わないがＩＣＨと間違われる可能性のあるアーチファクトとして現れる脳ＣＴスライス６０６の別のシーケンスを示す、図６を参照されたい。図６に図示された画像は、本明細書に記載された、ＩＣＨのピクセル要素ごとの分類に基づくニューラルネットワークによって得られたＩＣＨの自動検出に対する改善を示している。サイズ特徴量として分類コンポーネントに供給される、セグメント化コンポーネントによって実行されるピクセルごとの分類に従って計算されたサイズ特徴量の使用は、脳内の位置などのコンテキストを考慮に入れ、出血６０４ａ〜ｄとスライス６０６のアーチファクトとを区別する精度を向上させる。
【０１０３】
ここで、本発明のいくつかの実施形態に従う、トレーニング済みのニューラルネットワークによってＩＣＨの高い確率が計算された、それぞれの系列の脳ＣＴスライス７０２の一例を示す図７を参照されたい。脳ＣＴ系列は、「実施例」の節で以下にさらに詳細に説明するように、発明者らによって実施された実験の検証セットの一部として分析された。画像中に見えるＩＣＨのいくつかの例は、それぞれのコールアウト７０４Ａ−Ｊでマークされている。
【０１０４】
ここで、本発明のいくつかの実施形態に従う、不正確にＩＣＨとして識別され得るアーチファクトを含む脳ＣＴスライス８０２の一例である図８を参照されたい。本明細書に記載されているように、アーチファクトがピクセルごとにセグメント化され、アーチファクトを指示する対応するタグでアノテーションされているトレーニング画像を含めることによって、そのようなアーチファクトをＩＣＨと誤って識別することが低減され得る。ＩＣＨとして誤って識別されることを減少させるか、または回避するためにピクセルごとにセグメント化され得る例示的なアーチファクトには、髄膜腫および石灰化が含まれる。「実施例」の節に記載された実験では、ＩＣＨの高い確率が誤って計算されたが、このような誤った計算は、本明細書に記載されているように、類似のアーチファクトのピクセル要素ごとにセグメント化した画像をトレーニングデータセットに含めることによって解決可能である。ＩＣＨとして誤って分類されることを避けるために、ピクセルごとにセグメント化されてもよいアーチファクトのいくつかの例は、それぞれのコールアウト番号８０４Ａ−Ｆでマークされている。
【０１０５】
ここで、本発明のいくつかの実施形態に従う、トレーニング済みのニューラルネットワークによって計算されたＩＣＨ９０４Ａ−Ｄのセグメント化のそれぞれの指示を含む脳ＣＴスライス９０２の一例である図９を参照されたい。
【０１０６】
図３に戻って、３０２において、解剖学的画像のセットが、複数のサンプル個体のそれぞれについて提供される。それぞれの画像撮像セッションを表す解剖学的画像の各セットは、それぞれのサンプル個体の身体部分の１つ以上の画像を含む。解剖学的画像の各セットは、単一の画像を含んでもよいし、スライスの連続したシーケンスとして配置された複数の画像を含んでもよい。画像データは、２次元（例えば、ピクセル）および／または３次元（例えば、ボクセル）および／または３次元から抽出された２次元（例えば、ボリュームのスライス）で表されてもよい。
【０１０７】
解剖学的画像は、必ずしも視覚的所見を含むとは限らず、例えば、解剖学的画像のセットの中には、視覚的所見を含まないものもある。視覚的所見を含む他の解剖学的画像は、例えば、単一の視覚的所見、同じ種類の複数の視覚的所見（例えば、頭部ＣＴの同じスライスの異なる位置に現れる複数のＩＣＨ）、および／またはそれぞれ異なる種類の複数の視覚的所見（例えば、頭部ＣＴの同じスライスの異なる位置に現れる１つまたは複数のＩＣＨおよび１つまたは複数の腫瘍）を含むことができる。
【０１０８】
３０４において、各解剖学的画像内で識別される視覚的オブジェクトがセグメント化される。セグメント化は、ピクセル要素ごと（例えば、ピクセルごと、ボクセルごと）に実行されるが、それぞれの視覚的オブジェクトに関連付けられたすべてのピクセル要素をセグメント化されるものとして指定する。視覚的オブジェクトに関連付けられていない他のピクセル要素は、視覚的オブジェクトに関連付けられていないものとして指定されることによってセグメント化されてもよい。
【０１０９】
セグメント化は、例えば、トレーニングを受けた放射線科医によって、手動で実行されてもよい。例えば、グラフィカルユーザインタフェース（ＧＵＩ）を使用して、視覚的オブジェクトの周囲に境界線を描くこと、および／または視覚的オブジェクトに影を付すこと、および／または視覚的オブジェクトに関連付けられたピクセル要素を選択する他の方法である。
【０１１０】
セグメント化処理は、セグメント化された視覚的オブジェクトの種類、例えば、ＩＣＨ、腫瘍、石灰化、人工インプラントなどを指示するタグを各セグメント化された視覚的オブジェクトに割り当てることを含んでもよい。このようなタグは、ニューラルネットワークが複数の異なるタイプの視覚的オブジェクトを認識するようにトレーニングされている場合に割り当てられてもよい。
【０１１１】
セグメント化データは、例えば、ピクセル要素データ、オーバーレイされた画像、メタデータ、ベクトル、配列、または他の適切なデータ構造として格納されてもよい。例えば、セグメント化データは、解剖学的画像上の画像マスクおよび／または画像オーバーレイとして格納されてもよく、ここで、画像マスクおよび／または画像オーバーレイ内に位置する解剖学的画像のピクセル要素はセグメント化され、画像マスクおよび／または画像オーバーレイの外側に位置するピクセル要素は非セグメント化される。画像オーバーレイおよび／または画像マスクは、例えば、セグメント化された視覚的オブジェクトの境界を定義する境界線（すなわち、境界線内のピクセル要素はセグメント化され、境界線外のピクセル要素は非セグメント化される）、または中実領域（すなわち、中実領域に対応するピクセル要素はセグメント化され、中実領域に対応しないピクセル要素は非セグメント化される）を含んでもよい。別の例では、ピクセル要素の数に対応するサイズを有する２次元配列は、２次元配列のそれぞれのセルに対応するそれぞれのピクセル要素がセグメント化されているか否かを示す二進値、例えば、１またはＴＲＵＥ＝セグメント化されており、０またはＦＡＬＳＥ＝セグメント化されていない、を格納する。別の例では、２次元配列のセルは、セグメント化された視覚的オブジェクトのタイプを格納することができる。
【０１１２】
セグメント化データは、分類データも表す。セグメント化データを有する解剖学的画像は、任意選択で、セグメント化データに従って視覚的オブジェクトのタイプに従った、解剖学的画像内の視覚的所見の存在を指示する分類を有する。このように、セグメント化データから抽出された分類データは、ＮＮの分類コンポーネントをトレーニングするために使用される。
【０１１３】
分類データは、セグメント化データから自動的に導出されてもよい。例えば、コードは、１つ以上のセグメント化された視覚的所見を有する解剖学的画像に分類タグを割り当ててもよい。分類タグには、解剖学的画像における視覚的所見のタイプが含まれていてもよく、これはセグメント化データから抽出されてもよい。代替的または追加で、分類データは、例えば、ユーザが解剖学的画像に手動でタグ、例えば、視覚的所見の有無および／または視覚的所見のタイプを指示するタグを割り当てることによって手動で作成される。
【０１１４】
３０６では、１つまたは複数のニューラルネットワークをトレーニングするための１つまたは複数のトレーニングデータセットが作成される。各トレーニングデータセットは、解剖学的画像のセットと、分類データを含む関連するセグメント化されたデータとを含む。
【０１１５】
トレーニングデータセットは、関連する解剖学的画像を含めることにより、ターゲットニューラルネットワークに従って作成される。例えば、ＩＣＨを検出する分類器をトレーニングするために、セグメント化されたＩＣＨの視覚的オブジェクトを含む頭部ＣＴスキャンを選択してトレーニングデータセットを作成する。
【０１１６】
３０８において、１つ以上のＮＮが、作成されたトレーニングデータセットに従ってトレーニングされる。
【０１１７】
各ＮＮは、解剖学的画像における視覚的オブジェクトを識別するためにトレーニングされる。識別は、解剖学的画像が視覚的オブジェクトを含むかどうかの分類、および／または、任意選択で視覚的オブジェクトを含まないかどうかの分類を含んでもよい。代替的または追加で、識別は、解剖学的画像で識別された視覚的オブジェクトのセグメント化を含んでもよい。
【０１１８】
各ＮＮはセグメント化コンポーネントと分類コンポーネントを含む。セグメント化コンポーネントと分類コンポーネントの両方は、同一のトレーニングデータセットに従ってトレーニングされ、任意選択で、セグメント化コンポーネントと分類コンポーネントの両方に同一のトレーニングデータセットを同時に供給することによってトレーニングされる。
【０１１９】
分類コンポーネントによる分類とセグメント化コンポーネントによるセグメント化の両方を実行するようにニューラルネットワークをトレーニングすることによって、セグメント化コンポーネントが出力したセグメント化データに基づいて計算され、分類コンポーネントの全結合層に供給されるサイズ特徴量に従って、トレーニングは、エンドツーエンドで実行される。同一のトレーニングデータセットは、セグメント化コンポーネントと分類コンポーネントの両方に入力される。トレーニングは、サイズ特徴量として分類コンポーネントに供給された、セグメント化コンポーネントが出力した各セグメント化された視覚的オブジェクトのサイズの指示に基づいて行われる。
【０１２０】
任意選択で、エンドツーエンドのトレーニングは、分類損失成分とセグメント化損失成分とを備える複合損失関数に従って実行される。分類損失成分は、二値クロスエントロピー損失関数を含んでもよい。二値クロスエントロピー損失関数は、ＮＮの分類コンポーネントの分類出力と、手動セグメント化に従った正解の分類との間の分析に従って計算される。セグメント化損失成分は、補助的な二値クロスエントロピー関数に従って計算されてもよい。補助二値クロスエントロピー関数は、ＮＮのセグメント化コンポーネントのピクセル要素ごとのセグメント化出力と、手動セグメント化に従った正解のセグメント化との間の分析に従って計算されてもよい。
【０１２１】
例示的な複合損失関数は、数学的には次のように表される。
【０１２２】
【数１】
2021533451.tif 000003
ここで、Ｌは複合損失関数を表す。
Ｌｃｌａｓｓｉｆｉｃａｔｉｏｎは、分類損失成分を表する。
Ｌｓｅｇｍｅｎｔａｔｉｏｎは、セグメント化損失成分を示す。
λは、分類とセグメント化損失成分に割り当てられた割合の重み付けを示す。
【０１２３】
【数２】
2021533451.tif 000004
ここで、ｙｉは、正解ラベルを表す。
【数３】
2021533451.tif 000005
は、ｉ番目のサンプルの予測値を表す。
【０１２４】
【数４】
2021533451.tif 000006
ここで、ｈは、入力画像の高さを表す。
ｗは、入力画像の幅を表す。
ｙｉｊｋは、ｉ番目のサンプルの空間位置ｊ，ｋにおけるピクセル要素を表す。
【０１２５】
【数５】
2021533451.tif 000007
ＣＥは二値クロスエントロピー関数を表す。
【０１２６】
任意選択で、第１のトレーニングステップとして、エンドツーエンドのトレーニングを実行する前に、トレーニングデータセットに従って、ＮＮのセグメント化コンポーネントのみがトレーニングされる。ＮＮの計算された重み付けは凍結される。
【０１２７】
任意選択で、第２のトレーニングステップとして、第１のトレーニングステップの後、エンドツーエンドトレーニングに先立って、ＮＮの分類コンポーネントの最後の全結合層が、分類のためにトレーニングされる。完全接続層は、セグメント化層のコンポーネントではない。全結合層は、例えば、入力された解剖学的画像において識別された視覚的オブジェクトを指示する、入力された解剖学的画像において識別された１つ以上の視覚的オブジェクトを指示するＴＲＵＥ、または、任意選択で解剖学的画像において識別された視覚的オブジェクトがないことを指示するＦＡＬＳＥのカテゴリへの、分類カテゴリを計算する。分類コンポーネントの最後の全結合層は、セグメント化コンポーネントと分類コンポーネントの両方に共通のサイズ特徴量とエンコーダコンポーネントの出力の両方を受け取る。
【０１２８】
３１０では、トレーニング済みのＮＮが提供される。トレーニング済みのＮＮは、コンピューティングデバイスによってローカルに格納されてもよく、および／または、トレーニングが別のデバイスによって実行されるときにコンピューティングデバイスに転送されてもよい。
【０１２９】
本明細書および添付の特許請求の範囲に記載されているように、本発明の様々な実施形態および態様は、以下の実施例において計算された支援を見いだすことができる。
【０１３０】
［実施例］
ここで、ニューラルネットワークをトレーニングし、トレーニング済みのニューラルネットワークによって視覚的オブジェクトを検出することの以下の例を参照されたい。これらの例は、上記の説明と共に、非限定的な仕方で本明細書に記載されたシステム、方法、装置、および／またはコード命令のいくつかの実施形態を例示している。
【０１３１】
発明者らは、図１−３を参照して論じた特徴および／またはシステムコンポーネントに基づいて、本明細書に記載されたシステムおよび／または方法および／または装置および／またはコード命令に従って計算評価を行った。
【０１３２】
計算評価は、頭部ＣＴスキャンにおけるＩＣＨの指示を識別するようにＮＮをトレーニングするために行われた。
【０１３３】
トレーニングデータセットの作成とトレーニング済みのニューラルネットワークの検証のために、ＩＣＨ陽性の放射線検査報告を伴う１７０件の非造影ＣＴ脳検査のデータセットを、少なくとも１名の専門の放射線科医がレビューし、記載されているＩＣＨを確認し、手動でセグメント化した。また、１０２件のＣＴを含むＩＣＨ陰性のデータセットを組み立てた。ＣＴ検査は複数の病院から取得した。テストは、濃縮されたデータセット（６７％がＩＣＨ陽性）と無作為にサンプリングされたデータセット（１６％が陽性）を含む、合計１，４２６件の専門家による検証済みの検査を含む２つのデータセットに対して実施された。（実験ともいわれる）記載された計算評価に使用されたデータセットは、以下の［表１］にまとめられている。ここで、各セル内の値は、系列の数を指示する。
【０１３４】
【表１】
2021533451.tif 000008
【０１３５】
ニューラルネットワークを、図３を参照して説明したようにトレーニングした。トレーニングは、λ＝０、λ＝１、λ＝０に関して、Ａｄａｍおよび学習率１ｅ−４を使用して実行した。
【０１３６】
分類に対するアルゴリズムの性能は、濃縮テストセットで０．９４９３、ランダム分布テストセットで０．９５６６のＡＵＣを達成した。手動による偽陽性のレビューでは、石灰化した血管腫、ジストロフィー性実質石灰化、基底性神経節石灰化を異常に誤分類する傾向が見られた。この結果から、ＩＣＨ表示の異なるサブカテゴリは、アルゴリズムによる検出に関し難易度が異なることが示唆された。特に、髄膜腫のような高密度の解剖学的特徴のためにトレーニングデータを強化する場合、さらなるトレーニングを行うことにより性能が大幅に向上する可能性が高い。このようなさらなるトレーニングは、偽陽性として識別された視覚的オブジェクトをピクセルごとにセグメント化することで実施することができる。
【０１３７】
別の実験において、発明者らは、本明細書に記載されたＮＮの性能を、一般的に入手可能な標準的なニューラルネットワーク分類器であるＲｅｓＮｅｔ５０に基づいてトレーニング済みのベースラインのニューラルネットワーク分類器と比較した。本明細書に記載されたＮＮに従った検証セットに対して得られたＡＵＣは０．９６０２であり、これはＲｅｓＮｅｔ５０に従った検証セットに対して得られたＡＵＣの０．９１６よりも高かった。
【０１３８】
実験結果は、本明細書に記載されたＮＮを含む本明細書に記載されたシステム、方法、装置、および／またはコード命令に基づく非造影ＣＴ脳の自動分析が、比較的小さなトレーニングデータセットに基づいて良好な結果を達成することを示している。さらに、実験結果は、本明細書に記載されたＮＮが、ベースライン標準ニューラルネットワーク分類器と比較して、解剖学的画像における視覚的オブジェクトの分類の精度の向上を達成することを示唆する。
【０１３９】
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であることを意図したものではなく、開示された実施形態に限定されるものではない。多くの修正および変形は、記載された実施形態の範囲および精神から逸脱することなく、当技術分野の通常の当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出された技術に対する実用的な適用または技術的な改良を最もよく説明するため、または当技術分野の他の当業者が本明細書に開示された実施形態を理解できるようにするために選択されたものである。
【０１４０】
本出願から開始する特許の存続期間中に、多くの関連する解剖学的画像が開発されることが予想され、解剖学的画像という用語の範囲は、先験的にそのようなすべての新技術を含むことが意図されている。
【０１４１】
本明細書で使用されるように、用語「約」は±１０％を指す。
【０１４２】
用語「備える」、「備えている」、「含む」、「含んでいる」、「有する」、およびそれらの活用語は、「含んでいるが、それに限定されない」を意味する。この用語は、「からなる」および「本質的にからなる」という用語を包含する。
【０１４３】
「本質的に…からなる」という表現は、組成物または方法が追加の成分および／またはステップを含み得ることを意味するが、追加の成分および／またはステップが、特許請求の範囲に記載された組成物または方法の基本的かつ新規な特性を実質的に変更させない場合にのみ、その追加の成分および／またはステップを含むことを意味する。
【０１４４】
本明細書で使用されるように、単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明確に指示しない限り、複数の参照を含む。例えば、用語「化合物」または「少なくとも１つの化合物」は、それらの混合物を含む複数の化合物を含むことができる。
【０１４５】
本明細書では、「例示的」という言葉は、「一例、事例、または例示として提供する」という意味で使用される。「例示的」として記載されたいかなる実施形態も、他の実施形態よりも好ましいまたは有利であると解釈される必要はなく、および／または他の実施形態からの特徴の組み込みを排除するものと解釈される必要はない。
【０１４６】
「任意選択で」という言葉は、本明細書では、「いくつかの実施形態では提供され、他の実施形態では提供されない」という意味で使用される。本発明の任意の特定の実施形態は、そのような特徴が矛盾しない限り、複数の「任意選択の」特徴を含んでもよい。
【０１４７】
本出願を通して、本発明の様々な実施形態が範囲形式で示されてもよい。範囲形式での記述は、単に利便性と簡潔さのためのものであり、本発明の範囲に対する柔軟性のない制限として解釈されるべきではないことが理解されるべきである。したがって、範囲の記述は、その範囲内の個々の数値だけでなく、可能なすべての部分範囲を具体的に開示したものとみなされるべきである。例えば、１から６までのような範囲の記述は、１から３まで、１から４まで、１から５まで、２から４まで、２から６まで、３から６までなどのような部分範囲と、その範囲内の個々の数値、例えば、１、２、３、４、５、６などが具体的に開示されていると考えるべきである。これは範囲の広さに関係なく適用される。
【０１４８】
本明細書で数値範囲が示されている場合はいつでも、それは示された範囲内で引用された任意の数値（小数または整数）を含むことを意味している。本明細書では、第１の指示番号および第２の指示番号「に亘る／の間の範囲」、および第１の指示番号から第２の指示番号まで「に亘る／の範囲」という表現が互換的に使用されており、第１および第２の指示番号、ならびにその間のすべての小数および整数を含むことを意味している。
【０１４９】
明快さのために、別個の実施形態の文脈で説明されている本発明の特定の特徴は、単一の実施形態において組み合わせて提供されてもよいことが理解される。逆に、簡潔さのために、単一の実施形態の文脈で説明されている本発明の様々な特徴は、別個に、または任意の適切なサブコンビネーションで、または本発明の他の説明された実施形態において適切なように提供されてもよい。様々な実施形態の文脈で説明された特定の特徴は、実施形態がそれらの要素なしでは動作しない場合を除き、それらの実施形態の本質的な特徴とはみなされない。
【０１５０】
本発明は、その特定の実施形態と関連して説明されてきたが、多くの代替例、修正例および変形例が、当業者には明らかであろう。したがって、本発明は、添付の特許請求の範囲の主旨および広い範囲に該当するすべてのそのような代替例、修正例および変形例を包含することが意図されている。
【０１５１】
本明細書に記載されたすべての刊行物、特許、および特許出願は、個々の刊行物、特許、または特許出願が参照により本明細書に組み込まれることを具体的かつ個別に示された場合と同様の範囲で、その全体が参照により本明細書に組み込まれる。さらに、本出願における参照の引用または特定は、そのような参照が本発明の先行技術として利用可能であることを自認するものと解釈されてはならない。節の見出しが使用されている範囲では、それらは必ずしも限定的であると解釈されるべきではない。
【０１５２】
また、本申請の優先権書類は、その全体が参照によりここに組み込まれる。
【図１】
2021533451.tif 000009
【図２】
2021533451.tif 000010
【図３】
2021533451.tif 000011
【図４】
2021533451.tif 000012
【図５】
2021533451.tif 000013
【図６】
2021533451.tif 000014
【図７】
2021533451.tif 000015
【図８】
2021533451.tif 000016
【図９】
2021533451.tif 000017
【国際調査報告】
2021533451.tif 000018
2021533451.tif 000019