(57)【要約】本発明は、IHC組織サンプル（100）を解析するための画像解析方法に関する。本方法は、- デジタル画像（106.1〜106-4;106.5〜106.7）の1つまたは複数のセット（112;113）の各々について、空間DBMS（316）の空間データベース（318）にセットIDを格納する工程（702）であって、各デジタル画像セットのデジタル画像が、IHC組織サンプルの同じ層（102）または隣接する層（102;110;108）を示す、工程（702）;- デジタル画像の各々について、複数の空間データオブジェクトを空間データベースにセットIDと関連付けて格納する工程（704）であって、各空間データオブジェクトが点、線、多角形、またはそれらの組み合わせであり、かつ組織サンプルの生物医学的特徴を表す、工程（704）;- 空間DBMSによって、前記1つまたは複数のセットに含まれるデジタル画像の空間データオブジェクトをカバーする少なくとも1つの空間インデックスを作成する工程（706）;- 前記1つまたは複数のデジタル画像セットのうちの1つを選択する工程（708）;- 空間DBMSによって、選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために前記少なくとも1つの空間インデックスに対して空間データベース操作を適用する工程（710）;- 前記相対位置を、前記2つ以上のデジタル画像の空間データオブジェクトによって表される組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための入力として提供する工程（712）を含む。2019514115.tif 000003
2019514115.tif 000002
【特許請求の範囲】
【請求項１】
―  デジタル画像（106.1〜106-4;106.5〜106.7）の1つまたは複数のセット（112;113）の各々について、空間DBMS（316）の空間データベース（318）にセットIDを格納する工程（702）であって、各デジタル画像セットの前記デジタル画像が、IHC組織サンプル（100）の同じ層（102）または隣接する層（102;110;108）を示す、工程（702）と、
―  前記デジタル画像の各々について、複数の空間データオブジェクトを前記空間データベースに前記セットIDと関連付けて格納する工程（704）であって、各空間データオブジェクトが点、線、多角形、またはそれらの組み合わせであり、かつ前記組織サンプルの生物医学的特徴を表す、工程（704）と、
―  前記空間DBMSによって、前記1つまたは複数のセットに含まれる前記デジタル画像の前記空間データオブジェクトをカバーする少なくとも1つの空間インデックスを作成する工程（706）と、
―  前記1つまたは複数のデジタル画像セットのうちの1つを選択する工程（708）と、
―  前記空間DBMSによって、前記選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために前記少なくとも1つの空間インデックスに対して空間データベース操作を適用する工程（710）と、
―  前記相対位置を、前記2つ以上のデジタル画像の前記空間データオブジェクトによって表される前記組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための入力として提供する工程（712）と
を含む、IHC組織サンプル（100）を解析するための画像解析方法。
【請求項２】
前記空間データオブジェクトの各々が、前記空間データベースの表のそれぞれの行にデータレコードとして格納される、請求項1記載の画像解析方法。
【請求項３】
前記空間インデックスが、
―  R木インデックス、
―  R+木インデックス、
―  R*木インデックス、
―  ヒルベルトR木インデックス、
―  四分木インデックス、
―  グリッド空間インデックス、
―  Zオーダインデックス、
―  UB木インデックス、
―  X木インデックス、
―  Kd木インデックス、
―  m木インデックス、
―  バイナリ空間分割（BSP木）インデックス
を含む群より選択される、前記請求項のいずれか一項記載の画像解析方法。
【請求項４】
前記解析された2つ以上のデータオブジェクトによって表される前記組織サンプルの前記生物医学的特徴が、生物医学的特徴の少なくとも2つの異なるタイプに属する、前記請求項のいずれか一項記載の画像解析方法。
【請求項５】
前記少なくとも2つのタイプが、特定の細胞型、特定の細胞小器官型、特定のクラスター型の細胞クラスター、複数の細胞にまたがる特定の解剖学的構造物、特定の組織型、腫瘍組織を含む群より選択される、請求項4記載の画像解析方法。
【請求項６】
―  前記1つもしくは複数のセットの前記デジタル画像の一部もしくは全部における生物学的特徴のうちの1つもしくは複数を自動的に同定する工程であって、前記同定が、特定のタイプの生物学的特徴を表す前記デジタル画像の画素領域を自動的に分類するためのブロブ抽出およびブロブ分類操作を自動的に行うことを含む、工程、ならびに/または
―  前記空間DBMS（316）によって、前記1つもしくは複数のセットの前記デジタル画像の一部もしくは全部における前記生物学的特徴のうちの1つもしくは複数のさらなる生物学的特徴を受け取る工程であって、前記受け取られるさらなる生物学的特徴が、特定のタイプの生物学的特徴を表しているとして手動で分類された前記デジタル画像の画素領域である、工程、
―  前記自動的に同定されたおよび/もしくは手動で分類された生物医学的特徴から空間データオブジェクトを自動的に抽出し、前記抽出された空間データオブジェクトについて空間データオブジェクトを格納する前記工程を行う工程
をさらに含む、前記請求項のいずれか一項記載の画像解析方法。
【請求項７】
―  前記1つまたは複数のデジタル画像セットの各々の前記デジタル画像の各々について、それぞれの空間インデックスを作成するかまたは前記少なくとも1つの空間インデックスのパーティションを作成する工程
をさらに含む、前記請求項のいずれか一項記載の画像解析方法。
【請求項８】
―  前記1つまたは複数のデジタル画像セットの各々の前記少なくとも2つの異なる生物医学的特徴のタイプの各々について、それぞれの空間インデックスまたは前記少なくとも1つの空間インデックスのパーティションを作成する工程
をさらに含む、請求項4〜7のいずれか一項記載の画像解析方法。
【請求項９】
前記空間データオブジェクトの相対位置の前記解析を行う前に前処理操作を行う工程をさらに含み、前記前処理が、
―  前記空間DBMSによって、前記デジタル画像の前記空間データオブジェクトのエリアサイズ、幾何中心および/または最小外接矩形（minimum bounding rectangle）を自動的に事前計算すること、ならびに
―  前記事前計算されたエリアサイズ、幾何中心および/または最小外接矩形を、前記生物医学的特徴の距離および/または相対位置を決定するために使用すること
を含む、前記請求項のいずれか一項記載の画像解析方法。
【請求項１０】
―  画像解析アプリケーションプログラムによって、前記デジタル画像セットの各々を生成する工程であって、IHC組織サンプルの同じ層または隣接する層を示す複数のデジタル画像を共通の座標系内に位置合わせするための画像位置合わせ操作を行うことを含む、工程
をさらに含む、前記請求項のいずれか一項記載の画像解析方法。
【請求項１１】
前記デジタル画像セットのうちの少なくとも1つの前記生成が、
―  IHC組織サンプルの同じ層を示す複数のデジタル画像を生成するためのスペクトルアンミキシング操作を行うことであって、前記少なくとも1つのセットの前記デジタル画像の各々が異なる色に対応する、こと
を含む、請求項10記載の画像解析方法。
【請求項１２】
複数のデジタル画像セットのセットIDおよび前記複数のデジタル画像セットから導出された空間データオブジェクトが前記空間データベースに格納され、
―  前記デジタル画像セットのうちの1つもしくは複数の第1のデジタル画像セットが、治療前の腫瘍生検サンプルのデジタル画像をそれぞれ含み、かつ
―  前記デジタル画像セットのうちの1つもしくは複数の第2のデジタル画像セットが、治療中の腫瘍生検サンプルのデジタル画像をそれぞれ含み、かつ/または
―  前記デジタル画像セットのうちの1つもしくは複数の第3のデジタル画像セットが、治療後の腫瘍生検サンプルのデジタル画像をそれぞれ含む、
前記請求項のいずれか一項記載の画像解析方法。
【請求項１３】
複数のデジタル画像セットのセットIDおよび前記複数のデジタル画像セットから導出された空間データオブジェクトが前記空間データベースに格納され、
前記デジタル画像セットのうちの第4のデジタル画像セットが、特定の状態を有する人の第1のコホートの組織サンプルのデジタル画像を含み、前記デジタル画像セットのうちの第5のデジタル画像セットが、特定の状態を有さない人の第2のコホートの組織サンプルのデジタル画像を含み、
前記方法が、
―  前記第4のデジタル画像セットおよび前記第5のデジタル画像セットを選択し、前記空間DBMSによって、前記第4のデジタル画像セットおよび第5のデジタル画像セットの各々に対して前記解析を行う工程、
―  前記第4のデジタル画像セット内の前記デジタル画像の2つ以上の異なる生物学的特徴を表す空間データオブジェクトの相対位置の第1の統計的平均値を計算する工程、
―  前記第5のデジタル画像セット内の前記デジタル画像の前記2つ以上の異なる生物学的特徴を表す空間データオブジェクトの相対位置の第2の統計的平均値を計算する工程、ならびに
―  前記第1の人コホートと前記第2の人コホートとの間の統計的有意差を同定するために前記第1の統計的平均値と前記第2の統計的平均値を自動的に比較する工程
を含む、前記請求項のいずれか一項記載の画像解析方法。
【請求項１４】
前記空間データオブジェクトの相対位置を解析するための前記空間データベース操作が、
―  前記選択されたセット内の前記デジタル画像のうちの1つのデジタル画像の第1の領域が同じセットの別のデジタル画像の第2の領域に完全に含まれているかどうか判定すること、
―  前記選択されたセット内の前記デジタル画像のうちの1つのデジタル画像の第1の領域が同じセットの別のデジタル画像の第2の領域とオーバーラップしているかどうか判定すること、
―  前記選択されたセット内の前記デジタル画像のうちの1つのデジタル画像における第1のタイプの生物学的特徴を表す空間データオブジェクトの、同じセットの前記デジタル画像のうちの別のデジタル画像における別のタイプの生物学的特徴を表す空間データオブジェクトに対する空間距離を決定すること、
―  前記選択されたセット内の前記デジタル画像のうちの1つのデジタル画像における第1のタイプの生物学的特徴を表す空間データオブジェクトの、同じセットの前記デジタル画像のうちの別のデジタル画像における別のタイプの生物学的特徴を表す空間データオブジェクトの位置に対する相対位置のパターンを決定すること
を含む群より選択される、前記請求項のいずれか一項記載の画像解析方法。
【請求項１５】
―  前記空間DBMSによって、前記デジタル画像セットのうちの1つまたは複数の前記デジタル画像のうちの1つまたは複数の空間データオブジェクトの密度を計算する工程、および
―  前記空間DBMSによってまたは画像解析アプリケーションプログラムによって前記空間データオブジェクトを複数の既定の生物医学的特徴クラスのうちの1つに自動的に分類するために前記計算された密度を解析する工程
をさらに含む、前記請求項のいずれか一項記載の画像解析方法。
【請求項１６】
空間データベース（318）を備えた空間DBMS（316）を含み、かつプロセッサ（328）を含む画像解析システムであって、前記プロセッサが、
―  デジタル画像（106.1〜106-4;106.5〜106.7）の1つまたは複数のセット（112;113）の各々について、空間DBMS（316）の空間データベース（318）にセットIDを格納すること（702）であって、各デジタル画像セットの前記デジタル画像が、IHC組織サンプルの同じ層（102）または隣接する層（102;110;108）を示す、こと、
―  前記デジタル画像の各々について、複数の空間データオブジェクトを前記空間データベースに前記セットIDと関連付けて格納すること（704）であって、各空間データオブジェクトが点、線、多角形、またはそれらの組み合わせであり、かつ前記組織サンプルの生物医学的特徴を表す、こと、
―  前記1つまたは複数のセットに含まれる前記デジタル画像の前記空間データオブジェクトをカバーする少なくとも1つの空間インデックスを作成するための前記空間DBMSの第1のプログラムルーチンを実行すること（706）、
―  前記1つまたは複数のデジタル画像セットのうちの1つの選択を受け取ること（708）、
―  前記選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために前記少なくとも1つの空間インデックスに対して空間データベース操作を適用するため、ならびに前記相対位置を、前記2つ以上のデジタル画像の前記空間データオブジェクトによって表される前記組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための入力として提供する（712）ための、前記空間DBMSの第2のプログラムルーチンを実行すること（710）
のために構成されている、画像解析システム。
【請求項１７】
―  空間データベースであって、
○  各デジタル画像セットのデジタル画像がIHC組織サンプルの同じ層（102）または隣接する層（102;110;108）を示す、デジタル画像（106.1〜106-4;106.5〜106.7）の1つまたは複数のセット（112;113）の少なくともセットIDと、
○  各空間データオブジェクトが点、線、多角形、またはそれらの組み合わせでありかつ前記組織サンプルの生物医学的特徴を表す、前記デジタル画像の各々についての複数の空間データオブジェクトと
を含む空間データベースと、
―  前記1つまたは複数のセットに含まれる前記デジタル画像の前記空間データオブジェクトをカバーする少なくとも1つの空間インデックスを作成するための第1のプログラムルーチンと、
―  前記1つまたは複数のデジタル画像セットのうちの選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために前記少なくとも1つの空間インデックスに対して空間データベース操作を適用するため、ならびに前記相対位置を、前記2つ以上のデジタル画像の前記空間データオブジェクトによって表される前記組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための入力として提供するための、第2のプログラムルーチンと
を含む、空間データベース管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、IHC組織サンプルの画像を解析するための画像解析システムに関する。
【背景技術】
【０００２】
背景および関連技術
組織サンプルの多数のデジタル画像を生成することおよび/またはバーチャルスライド（whole slide）の高分解能画像を生成することを目的とした病理における複数のデジタルイメージングソリューションが存在する。診断、教育、および研究の目的で、多数のデジタル画像、特に高分解能のバーチャルスライド画像を処理することは非常に複雑な場合があり、大量の計算リソース、特にCPUおよびメモリを消費しうる。コンピュータ処理能力、データ転送速度、およびクラウドストレージソリューションの向上により、病理のより広範な目的のためにデジタル画像を使用できるようになったが、多数のデジタル画像、特にバーチャルスライド画像の処理および解析は、依然として、妥当なコストで最先端の画像処理技術を用いて十分に解決することができないことの多い技術的課題である。
【０００３】
本発明は、改善された画像解析システムおよび対応する画像解析方法を提供することを目的とする。
【発明の概要】
【０００４】
本発明は、それぞれの独立請求項において特許請求される、IHC組織サンプルを解析するための画像解析システム、対応する画像解析方法およびデータベース管理システムを提供する。本発明の実施形態は、従属請求項に記載されている。本発明の実施形態は、互いに排他的でない限り、互いに自由に組み合わせることができる。
【０００５】
一態様において、本発明は、IHC組織サンプルを解析するための画像解析方法に関する。本方法は、
―  1つまたは複数のデジタル画像セットの各々について、空間DBMSの空間データベースにセットIDを格納する工程であって、各デジタル画像セットのデジタル画像が、IHC組織サンプルの同じ層または隣接する層を示す、工程と、
―  デジタル画像の各々について、複数の空間データオブジェクトを空間データベースにセットIDと関連付けて格納する工程であって、各空間データオブジェクトが点、線、多角形、またはそれらの組み合わせであり、かつ組織サンプルの生物医学的特徴を表す、工程と、
―  空間DBMSによって、前記1つまたは複数のセットに含まれるデジタル画像の空間データオブジェクトをカバーする少なくとも1つの空間インデックスを作成する工程と、
―  前記1つまたは複数のデジタル画像セットのうちの1つを選択する工程と、
―  空間DBMSによって、選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために前記少なくとも1つの空間インデックスに対して空間データベース操作を適用する工程と、
―  前記相対位置を、前記2つ以上のデジタル画像の空間データオブジェクトによって表される組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための入力として提供する工程と
を含む。
【０００６】
組織サンプルの1つまたは複数の画像の空間データレコードのための少なくとも1つの空間インデックスを生成することは、現在、バーチャルスライド画像を含む多数のデジタルIHC画像内の複数の生物医学的特徴の空間情報を高効率的に解析することが可能でありうるために有利でありうる。
【０００７】
生物医学的特徴の相対位置の解析を行うためのアプリケーションプログラムを使用する代わりに、ジオデータ、すなわち完全に異なる種類のデータを処理するために当初設計された、最適化された空間データベース操作が使用される。よって、画像内の異なる生物医学的特徴の相対位置を決定するためのアプリケーションプログラムとの間のデータ通信を回避することができる。さらに、ユーザ定義のアプリケーションプログラムルーチンの代わりに、生物医学的特徴を表す空間データオブジェクトに対する空間データベース操作を使用することにより、多数の空間データオブジェクトを迅速に処理するように適合された速度最適化ルーチンを使用することができ、それによって、CPUおよびメモリの消費がさらに削減される。
【０００８】
実施形態によれば、空間データオブジェクトの各々は、空間データベースの表のそれぞれの行にデータレコードとして格納される。
【０００９】
デジタル画像は、別個のデータベースに格納されてもよく、そこから抽出されてセットIDを介して空間データベースに格納された空間データオブジェクトに接続されてもよい。他の実施形態によれば、デジタル画像は空間データベースに格納されてもよい。
【００１０】
実施形態に応じて、空間インデックスは、
R木インデックス（R木において、空間データオブジェクトは最小外接矩形（minimum bounding rectangle - MBR）を使用してグループ化される）、R+木インデックス、R*木インデックス、ヒルベルトR木インデックス、四分木インデックス、グリッド空間インデックス、Zオーダインデックス、UB木インデックス、X木インデックス、Kd木インデックス、m木インデックス、（m木は、任意の距離を使用して比較される複雑なオブジェクトに対する類似性問合せの効率的な解決に使用することができる）、バイナリ空間分割（BSP木）インデックス
を含む群より選択される。
【００１１】
実施形態によれば、解析される2つ以上のデータオブジェクトによって表される組織サンプルの生物医学的特徴は、生物医学的特徴の少なくとも2つの異なるタイプに属する。例えば、それら少なくとも2つのタイプは、任意の組み合わせで、特定の細胞型、特定の細胞小器官型、特定のクラスター型の細胞クラスター、複数の細胞にまたがる特定の解剖学的構造物、特定の組織型、腫瘍組織を含む群より選択される。例えば、腫瘍組織の免疫細胞浸潤の程度を判断するために、または腫瘍組織が正常な非腫瘍組織に浸潤している程度を判断するために、腫瘍細胞と非腫瘍細胞またはリンパ球細胞の相対距離および空間分布を決定することもできる。あるいは、特定のバイオマーカ、例えば細胞内の膜タンパク質、上皮タンパク質、サイトゾルタンパク質、または核タンパク質の存在および空間分布を、細胞型を分類するために、例えば、細胞型を、バイオマーカ陽性細胞またはバイオマーカ陰性細胞として、腫瘍細胞または非腫瘍細胞として、特定の細胞型、例えば制御性T細胞または別の型のT細胞として、肝臓細胞、血管細胞、肺細胞またはアポトーシス細胞などとして分類するために決定することもできる。生物医学的特徴の相対位置の検出、例えば特定のバイオマーカの相対位置の検出は、組織領域、腫瘍領域、細胞クラスターおよびその境界、血管、神経細胞などの解剖学的構造物を同定するために使用されうる。
【００１２】
これが有利となりうるのは、生物医学的特徴の相対位置および分布により、（例えば、腫瘍タイプおよび/もしくは腫瘍ステージの）診断もしくは診断の示唆を自動的もしくは半自動的に計算し、かつ/または適切な治療法の提案を計算することが可能になりうるからである。また前記情報は、例えば、細胞または細胞小器官を分類し、任意選択で異なる生物医学的クラスの特徴を異なる方法で強調表示し、サンプルのデジタル画像のうちの1つにそれらの強調表示を重ね合わせるために、相対位置情報を入力として使用して分類操作を実行するのに使用されてもよい。
【００１３】
実施形態によれば、アプリケーションプログラム、例えば、画像解析アプリケーションプログラムは、1つまたは複数のセットのデジタル画像の一部または全部における生物学的特徴のうちの1つまたは複数を自動的に同定する。この同定は、例えば、特定のタイプの生物学的特徴を表すデジタル画像の画素領域を自動的に分類するためのブロブ抽出およびブロブ分類操作を自動的に行うことを含む。例えば、画素ブロブは、画像セグメント化、閾値処理（thresholding）、または他の画像解析技術など、様々な異なる方法によって同定されうる。画素ブロブは、腫瘍細胞または非腫瘍細胞またはアポトーシス細胞などとして分類されうる。同様に、エッジ検出アルゴリズム、分類器、機械学習および/または統計的画像解析操作が、デジタル画像における核、細胞境界などを同定するために行われうる。例えば、画像解析アプリケーションプログラムは、デジタル画像にアクセスして読み取り、ブロブ同定を行い、同定された生物医学的特徴を空間データベースに格納することができる。いくつかの実施形態では、空間DBMSもまた、デジタル画像内のいくつかの生物医学的特徴を検出し、一方、画像解析アプリケーションプログラムは、生物医学的特徴のうちの他の生物医学的特徴を検出し格納する。
【００１４】
加えて、または代替として、空間DBMSは、1つまたは複数のセットのデジタル画像の一部または全部における生物学的特徴のうちの1つまたは複数のさらなる生物学的特徴を受け取る。受け取られたさらなる生物学的特徴は、特定のタイプの生物学的特徴を表しているとして手動で分類されたデジタル画像の画素領域である。例えば、病理医が、特定の画素ブロブを腫瘍細胞であるとして手動で分類し、別の画素ブロブをアポトーシス細胞であるとして手動で分類してもよい。前記の注釈付けされた画素領域の位置情報は、さらなる生物医学的特徴として空間DBMSに提供され、空間DBMSに格納される。
【００１５】
実施形態によれば、空間DBMSまたは画像解析アプリケーションプログラムは、自動的に同定されたおよび/または手動で分類された生物医学的特徴から空間データオブジェクトを自動的に抽出する。例えば、DBMSまたはアプリケーションプログラムは、生物医学的特徴に対応するブロブおよび領域の画素強度または他の画像属性を解析してもよく、それらを多角形、線および/または点として表してもよい。例えば、血管壁の輪郭、細胞のクラスター、もしくは組織領域などの複雑な解剖学的構造物が、多角形として表されてもよく、個々の細胞もしくは核が、多角形もしくは点として表されてもよく、かつ/または細胞膜もしくは組織境界が線として表されてもよい。次いで、前記の抽出された空間データオブジェクトは、格納工程において空間データベースに格納される。典型的には、抽出された空間データオブジェクトは、それらのオブジェクトが導出されたデジタル画像と関連付けて格納される。
【００１６】
多角形、線または点の抽出は、アプリケーションプログラムによって行われうる。これには、典型的にアプリケーションプログラムはより柔軟であり、空間データオブジェクトを抽出するための多種多様なアルゴリズムが実装されうるという利点がありうる。よって、回答されるべき生物医学的質問に応じて、同じデジタル画像から異なる空間データオブジェクトが抽出されうる。例えば、特定のタイプの腫瘍細胞を表す特定のブロブは、（例えば、サイズが関連しており、サイズが後で推定される場合には）多角形によって表されてもよいし、または2D座標系内の点として表されてもよい。
【００１７】
実施形態によれば、本方法は、1つまたは複数のデジタル画像セットの各々のデジタル画像の各々について、それぞれの空間インデックス、または少なくとも1つの空間インデックスのそれぞれのパーティションを作成する工程を含む。特定のデジタル画像のために作成された空間インデックスまたはインデックスパーティションは、前記デジタル画像から導出された、前記デジタル画像に含まれる空間データオブジェクトをカバーする。
【００１８】
これにより、複数のデジタル画像に対してデータベース操作を行うためにメモリにロードされるデータ量が減少しうる。
【００１９】
別の実施形態によれば、本方法は、デジタル画像セットの各々について、それぞれの空間インデックス、または少なくとも1つの空間インデックスのそれぞれのパーティションを作成する工程を含む。特定のデジタル画像セットのために作成された空間インデックスまたはインデックスパーティションは、前記セットのすべてのデジタル画像から導出された、前記セットのすべてのデジタル画像に含まれる空間データオブジェクトをカバーする。
【００２０】
セットベースのパーティションを作成することには、各セットが生物学的に関連したデータのセットを表すという利点がある。セットベースのインデックスまたはパーティションを定義することにより、同じ組織サンプルまたは組織サンプルの同じ領域に関連する生物医学的特徴の空間関係を同定するための空間データ操作によって処理される候補である空間データオブジェクトをメモリに選択的にロードすることが可能になりうる。
【００２１】
加えて、または代替として、本方法は、1つまたは複数のデジタル画像セットの各々の少なくとも2つの異なる生物医学的特徴のタイプの各々について、それぞれの空間インデックス、または少なくとも1つの空間インデックスのそれぞれのパーティションを作成する工程を含む。特定の生物医学的特徴および特定の画像セットのために作成された空間インデックスまたはインデックスパーティションは、前記タイプの生物医学的特徴を表す前記特定のセットのすべてのデジタル画像におけるすべての空間データオブジェクトをカバーする。
【００２２】
例えば、第1のデジタル画像は、細胞が腫瘍細胞であることを示しうる特定のバイオマーカを発現する細胞をそれぞれ表す複数の多角形を含んでいてもよい。同じ選択された画像セットの第2のデジタル画像は、免疫細胞を表していてもよい。
【００２３】
腫瘍細胞を表す多角形を、免疫細胞を表す多角形とは異なる空間インデックスでまたは少なくとも1つの空間インデックスの異なるパーティションで表すことによって、空間演算を行うためにメモリにロードされる（インデックスまたはインデックスパーティションのサイズに対応する）データオブジェクトの数が低減されうるため、空間データベース操作が加速されうる。例えば、インデックスは、特定の画像セットの腫瘍細胞を表す空間オブジェクトの第1のパーティション、前記特定の画像セット内の免疫細胞を表す空間オブジェクトの第2のパーティション、血管細胞を表す空間オブジェクトの第3のパーティション、・・・、およびアポトーシス細胞を表す空間オブジェクトの第nのパーティションを含んでいてよい。
【００２４】
腫瘍細胞と免疫細胞の相対位置が評価される必要がある場合、アポトーシス細胞に対応するパーティションがメモリにロードされなくてもよい場合もある。腫瘍細胞とアポトーシス細胞の相対位置が評価される必要がある場合、免疫細胞に対応するパーティションがメモリにロードされなくてもよい場合もある。
【００２５】
本発明の実施形態による追加のパーティションおよび/またはインデックスを作成することは、メモリ消費および/またはCPU消費が削減されうるため有利でありうる。すなわち、特定の画像または画像セットの空間データオブジェクトの空間インデックスを作成することにより、組織サンプルの2つ以上の異なる生物医学的特徴の空間的近接度の評価に関連する多くのデータベース問合せについて、インデックスサイズ（インデックスが小さいほど、メモリにロードされるデータ量も小さい）と、インデックスカバレッジ（インデックスが小さいほど、要求を処理できるように複数のインデックスを管理してそれらにアクセスするための処理コストが高くなる）とに関して非常に良好な妥協点が提供されることが認められている。加えて、特徴ベースのまたは特徴および画像セットベースの空間インデックスまたはパーティションが、いくつかのタイプのデータベース問合せのメモリ消費をさらに削減するのに使用されうる。
【００２６】
実施形態によれば、画像ベースのおよび特徴タイプベースのインデックス作成またはインデックス分割が組み合わされうる。例えば、第1の画像がn個の異なるタイプの生物医学的特徴を含み、第2の画像がm個の異なるタイプの生物医学的特徴を含む場合、n+m個の空間インデックスまたはn+m個の空間インデックスパーティションが作成される。
【００２７】
事実上、複数の異なる生物学的質問または医学的質問およびユースケースシナリオに使用されうる、IHC画像の画像特徴の相対位置を解析するための高度に柔軟で省メモリの方法が提供されうる。
【００２８】
実施形態によれば、本方法は、空間データオブジェクトの相対位置の解析を行う前に前処理操作を行う工程を含む。前処理は、空間DBMSがデジタル画像の空間データオブジェクトのエリアサイズ、幾何中心および/または最小外接矩形（「mbr」）を自動的に事前計算することを含む。事前計算されたエリアサイズ、幾何中心および/または最小外接矩形は、空間データベースに、または別の形態の不揮発性データ記憶装置に格納されうる。空間DBMSおよび/または画像解析アプリケーションプログラムは、事前計算されたエリアサイズ、幾何中心および/または最小外接矩形を、生物医学的特徴の距離および/または相対位置を決定するための入力として使用する。
【００２９】
これが有利となりうるのは、特に、1画像あたり数万個または数十万個もの空間データオブジェクトに対して行われる場合、エリアサイズ、幾何中心および/またはmbrの計算は計算量が多いタスクだからである。上述した特徴を事前計算し格納することにより、得られた情報は、異なる生物医学的質問に対して、例えば、非腫瘍組織と腫瘍組織のサイズの比較、後で細胞分類操作を行うための細胞のサイズの決定、後で画像データに適用される分類器に入力特徴を提供するための組織領域の幾何中心の決定などのために、複数回再使用されうる。事前計算は、空間DBMSによって提供される空間データベース操作を使用して少なくとも部分的にまたは完全に行われうる。
【００３０】
例えば、「Oracle（登録商標） Spatialコンポーネント」を含むOracle Databaseが空間DBMSとして使用されてもよい。このタイプのDBMSは、ネイティブタイプの地理および位置データを管理するための空間データベースルーチンを含む。このタイプのDBMSは、空間データオブジェクトを格納するのに使用することができる「SDO_GEOM」データ型をサポートし、SDO_GOEMデータ型を処理することができる複数の空間データベース操作をサポートする。例えば、SDO_GEOM.SDO_AREA操作は、2次元多角形の面積を計算する。SDO_GEOM.SDO_MBRは、空間データオブジェクトの最小外接矩形、または空間データオブジェクトの集団の最小外接矩形を返す。SDO_GEOM.SDO_CENTROID操作は、多角形の重心を返す。
【００３１】
いくつかの実施形態によれば、選択されたデジタル画像セットの各デジタル画像は、組織サンプルの複数の隣接する層のそれぞれの層から得られる。例えば、異なる層は、例えば、第1のバイオマーカを選択的に同定するための第1の蛍光染色剤付きの第1の抗体を使用し、対応する第2のバイオマーカを選択的に染色するための第2の蛍光染色剤付きの少なくとも1つの第2の抗体を使用することによって、異なるバイオマーカを同定するために異なる方法で染色されうる。各層は隣接しているので、第1の染色剤および第2の染色剤の蛍光信号は同じ組織層から得られないが、第1のバイオマーカと第2のバイオマーカの相対位置は、第1の染色剤と第2の染色剤の強度信号を比較することによって同定することができると確実に想定することができる。よって、この実施形態では、画像セットの各デジタル画像は、それぞれの組織層に対応し、それぞれのバイオマーカおよび染色剤に対応しうる。また前記画像の1つまたは複数は、組織スライドの組織領域対ガラス領域を同定するのに使用される、ヘマトキシリンおよび/またはエオシンなどの一般的な染色剤にも対応しうる。
【００３２】
実施形態によれば、画像解析アプリケーションプログラムは、デジタル画像セットの各々を生成する。この生成は、IHC組織サンプルの同じ層または隣接する層を示す複数のデジタル画像を共通の座標系内に位置合わせするための画像位置合わせ操作を行うことを含む。
【００３３】
例えば、画像解析プログラムは、IHC組織サンプルの同じ層を示す複数のデジタル画像を生成するためのスペクトルアンミキシング操作を行ってもよい。少なくとも1つのセットのデジタル画像の各々は、異なる色に対応する。よって、スペクトルアンミキシング（カラーデコンボリューションともいう）を適用することによって、組織サンプルの特定の層を示す単一のマルチチャネル画像から前記特定の層のデジタル画像のセットを生成することが可能である。例えば、本開示にその全体が組み込まれる国際特許出願WO 2015/124772には、群疎性モデリングを使用した画像アンミキシングのためのシステムが記載されている。前記国際特許出願に記載されているカラーデコンボリューションの手法は、本発明の実施形態によって、その画像が同じ組織サンプル層（の異なるスペクトル成分）を示すデジタル画像の1つまたは複数のセット113を生成するために使用される。
【００３４】
実施形態によれば、複数のデジタル画像セットのセットIDおよび対応する空間データオブジェクトが空間データベースに格納される。
【００３５】
デジタル画像セットのうちの1つまたは複数の第1のデジタル画像セットは、治療前の腫瘍生検サンプルのデジタル画像をそれぞれ含む。
【００３６】
デジタル画像セットのうちの1つまたは複数の第2のデジタル画像セットは、治療中の腫瘍生検サンプルのデジタル画像をそれぞれ含む。
【００３７】
加えて、または代替として、デジタル画像セットのうちの1つまたは複数の第3のデジタル画像セットは、治療後の腫瘍生検サンプルのデジタル画像をそれぞれ含む。
【００３８】
本方法は、第1、第2および第3のデジタル画像セットの各々について2つ以上の異なる生物学的特徴を表す空間データオブジェクトの相対位置を決定する工程を含みうる。次いで、任意選択で、DBMSまたは画像解析アプリケーションプログラムは、治療済みの患者対現在治療されている患者または以前に治療された患者の差異を決定するために、第1、第2および/または第3の画像セットについて計算された生物医学的特徴の相対位置を比較してもよい。例えば、相対位置を比較するための統計的検定が行われうる。これが有利でありうるのは、多数の患者に対してであっても迅速に実施することができる、複数の未治療の患者、現在治療されている患者および以前に治療された患者における2つ以上の生物医学的特徴の相対位置の比較が可能になるからである。
【００３９】
実施形態によれば、少なくとも、複数のデジタル画像セットのセットIDおよび空間データオブジェクトが、空間データベースに格納される。デジタル画像セットのうちの第4のデジタル画像セットは、特定の状態を有する人の第1のコホートの組織サンプルのデジタル画像を含む。デジタル画像セットのうちの第5のデジタル画像セットは、特定の状態を有さない人の第2のコホートの組織サンプルのデジタル画像を含む。空間DBMSは、第4のデジタル画像セットおよび第5のデジタル画像セットを選択し、第4のデジタル画像セットおよび第5のデジタル画像セットの各々に対して解析を行う。解析結果は格納される。次いで、空間DBMSまたは画像解析アプリケーションプログラムは、第4のデジタル画像セット内のデジタル画像の2つ以上の異なる生物学的特徴を表す空間データオブジェクトの相対位置の第1の統計的平均値を計算する。加えて、空間DBMSまたは画像解析アプリケーションプログラムは、第5のデジタル画像セット内のデジタル画像の前記2つ以上の異なる生物学的特徴を表す空間データオブジェクトの相対位置の第2の統計的平均値を計算する。次いで、空間DBMSまたは画像解析アプリケーションプログラムは、第1の人コホートと第2の人コホートとの間の統計的有意差を同定するために第1の統計的平均値と第2の統計的平均値を自動的に比較する。本明細書中で使用される「コホート」とは、同様の生活史、年齢、健康状態、教育、食習慣などを有し、かつ/または同様の健康状態を有する、例えば、ある状態を有するまたは有さない人の集団である。
【００４０】
さらなる有益な態様では、例えば、治療された患者対未治療の患者のサンプルにおいて、または異なるコホートの組織サンプルにおいて、生物医学的特徴の空間関係を比較するための空間データベース操作を使用すると、標準化された信頼できる診断結果または教育的結果を生成することが可能である。これは、手動による画像解析技術では不可能であった。というのも、例えば、異なる病理医による、またはたとえ同じ病理医によるものであっても異なる日における特徴の距離の手動評価は、複数の組織サンプルについて取得された画像データの包括的で正確な比較を妨げるおそれがあるからである。
【００４１】
実施形態によれば、空間データオブジェクトの相対位置を解析するための空間データベース操作は、
―  選択されたセット内のデジタル画像のうちの1つのデジタル画像の第1の領域が同じセットの別のデジタル画像の第2の領域に完全に含まれているかどうか判定すること、
―  選択されたセット内のデジタル画像のうちの1つのデジタル画像の第1の領域が同じセットの別のデジタル画像の第2の領域とオーバーラップしているかどうか判定すること、
―  選択されたセット内のデジタル画像のうちの1つのデジタル画像における第1のタイプの生物学的特徴を表す空間データオブジェクトの、同じセットのデジタル画像のうちの別のデジタル画像における別のタイプの生物学的特徴を表す空間データオブジェクトに対する空間距離を決定すること、例えば、2つの空間オブジェクト間の距離を計算するためにOracle Spatial操作SDO_GEOM.SDO_DISTANCEが使用されうる、
―  選択されたセット内のデジタル画像のうちの1つのデジタル画像における第1のタイプの生物学的特徴を表す空間データオブジェクトの、同じセットのデジタル画像のうちの別のデジタル画像における別のタイプの生物学的特徴を表す空間データオブジェクトの位置に対する相対位置のパターンを決定すること
を含む群より選択される。
【００４２】
本発明の実施形態は、複数の人が1つまたは複数のデジタル画像を提供する可能性があり、大量のデータを迅速に解析する必要があるような、大規模なコホート研究の状況において特に有利でありうる。
【００４３】
実施形態によれば、空間DBMSは、デジタル画像セットのうちの1つまたは複数のデジタル画像のうちの1つまたは複数の空間データオブジェクトの密度を計算する。空間DBMSは、優先的に、密度計算を迅速に行うための組み込み空間演算を使用する。次いで、DBMSまたは画像解析プログラムは、空間データオブジェクトを、例えば特定の細胞型または組織型に、細胞傷害性T細胞対制御性T細胞のような特定のT細胞サブクラスになど、複数の既定の生物医学的特徴クラスのうちの1つに自動的に分類するために、計算された密度を解析する。
【００４４】
さらなる態様では、本発明は、不揮発性コンピュータ可読記憶媒体に関する。本記憶媒体は、プロセッサによって実行されるとプロセッサに前述の請求項のいずれか一項記載の方法を行わせるコンピュータ可読命令を含む。
【００４５】
さらなる態様では、本発明は、空間データベースを備えた空間DBMSを含みかつプロセッサを含む画像解析システムに関する。プロセッサは、
―  1つまたは複数のデジタル画像セットの各々について、空間DBMSの空間データベースにセットIDを格納することであって、各デジタル画像セットのデジタル画像は、IHC組織サンプルの同じ層または隣接する層を示す、こと、
―  デジタル画像の各々について、複数の空間データオブジェクトを空間データベースにセットIDと関連付けて格納することであって、各空間データオブジェクトが点、線、多角形、またはそれらの組み合わせであり、かつ組織サンプルの生物医学的特徴を表す、こと、
―  前記1つまたは複数のセットに含まれるデジタル画像の空間データオブジェクトをカバーする少なくとも1つの空間インデックスを作成するための空間DBMSの第1のプログラムルーチンを実行すること、
―  前記1つまたは複数のデジタル画像セットのうちの1つの選択を受け取ること、
―  選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために前記少なくとも1つの空間インデックスに対して空間データベース操作を適用するため、ならびに前記相対位置を、前記2つ以上のデジタル画像の空間データオブジェクトによって表される組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための入力として提供するための、空間DBMSの第2のプログラムルーチンを実行すること
のために構成される。
【００４６】
さらなる態様では、本発明は、
―  空間データベースであって、
○  各デジタル画像セットのデジタル画像がIHC組織サンプルの同じ層または隣接する層を示す、1つまたは複数のデジタル画像セットの少なくともセットIDと、
○  各空間データオブジェクトが点、線、多角形、またはそれらの組み合わせでありかつ組織サンプルの生物医学的特徴を表す、デジタル画像の各々についての複数の空間データオブジェクトと
を含む空間データベースと、
―  前記1つまたは複数のセットに含まれるデジタル画像の空間データオブジェクトをカバーする少なくとも1つの空間インデックスを作成するための第1のプログラムルーチンと、
―  前記1つまたは複数のデジタル画像セットのうちの選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために前記少なくとも1つの空間インデックスに対して空間データベース操作を適用するため、ならびに前記相対位置を、前記2つ以上のデジタル画像の空間データオブジェクトによって表される組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための入力として提供するための、第2のプログラムルーチンと
を含む空間データベース管理システムに関する。
【００４７】
本明細書で使用される「空間データベース管理システム」または「空間DBMS」とは、空間データベースの定義、作成、問合せ、更新および管理を可能にするように設計されたソフトウェアアプリケーションである。
【００４８】
本明細書で使用される「空間データベース」または「ジオデータベース」とは、幾何空間で定義されたオブジェクトを表すデータを格納および問合せするように最適化されたデータベースである。空間データベースは、点、線、および多角形などの単純な幾何オブジェクト、ならびに任意選択で、3Dオブジェクト、トポロジカルカバレッジ、および/または線形ネットワークなどのより複雑な構造を表すことを可能にする。典型的なデータベースは、様々な数値型および文字型のデータを管理するように設計されるが、空間データベースは、空間データオブジェクトを効率的に処理するための追加機能を備える。
【００４９】
空間データオブジェクトは、「空間プリミティブ」または「単純幾何オブジェクト」とも呼ばれうる。「幾何」という用語は、個々の空間データオブジェクトおよび空間データオブジェクトの集団を指すのに使用されうる。
【００５０】
本明細書で使用される「空間データベース操作」とは、1つまたは複数の空間データオブジェクトの空間情報を解析するように構成されたデータベースルーチンである。空間データベース操作は、通常、複数の空間データオブジェクトのために作成された空間インデックスを使用することによって空間データオブジェクトを効率的に処理するように速度最適化される。例えば、空間データベースは、空間的測定（例えば、線の長さ、多角形の面積、空間データオブジェクト間の距離を計算すること）、空間関数（既存の空間データオブジェクトを、例えばそれらの周囲に最小外接矩形を設けること、空間データオブジェクトを交差させること、空間データオブジェクトをマージすることによって、新しい空間データオブジェクトを作成するために変更すること）、空間述語（例えば、多角形が重なり合っているかどうか、または多角形が別の空間データオブジェクトから最大距離以内にあるかどうかを検査するために空間データオブジェクト間の空間関係に関する真偽問合せを行うこと）などの空間データベース操作のうちの1つまたは複数をサポートしうる。
【００５１】
本明細書で使用される「空間インデックス」とは、空間問合せを最適化するために空間データベースによって使用されるデータ構造である。空間インデックスのタイプは、通常、空間問合せ（2つの点がどのくらいの距離離れているか、または点が関心対象の空間領域内に入っているかどうか、2つの多角形が互いに素の領域を指定しているか、交差する領域を指定しているか、重なり合う領域を指定しているか、それとも接触する領域を指定しているかなど）を従来のインデックスよりも効率的に処理する。
【００５２】
本明細書で使用される「組織サンプル」とは、例えば生検由来の組織片であるか、または生物、例えばヒトもしくは他の哺乳類から採取された血液細胞を含む細胞セットである。例えば、組織サンプルまたはそのスライスは、免疫組織化学（IHC）染色プロトコルを使用して染色されてもよい。
【００５３】
本明細書で理解される「デジタル画像」という用語は、光センサもしくは光センサアレイなどによって生物組織サンプルから取得された生画像データ、または前処理された画像データを含む。特に、画像データは、画素マトリックスを含んでいてよく、かつ/またはスペクトルアンミキシング（カラーデコンボリューション）操作から得られた画素マトリックスであってもよい。
【００５４】
本明細書で使用される「バイオマーカ」とは、組織サンプルの特性（例えば、特定の細胞型、例えば免疫細胞（の存在））、特に医学的状態を示す組織特性である。バイオマーカは、組織サンプル中の特定の分子、例えばタンパク質の存在によって同定可能でありうる。
【００５５】
本明細書で使用される「生物医学的特徴」とは、組織サンプルのデジタル画像を自動的に解析し、かつ/または手動で注釈付けすることによって得られる組織サンプルの生物医学的特性である。例えば、デジタル画像は、特定のバイオマーカ、分子または細胞構造の存在および量を示す画素強度情報を含みうる。前記情報は、セグメント化、ブロブ検出もしくは分類アルゴリズムによって入力として使用されてもよいし、または画像の各画素に生物医学的属性を割り当てるために人間によって評価されてもよい。前記属性または特性は、画素のセットが細胞を表す（かつスライドガラスの背景ではない）ことまたは画素のセットが特定の細胞小器官もしくは特定の細胞型を表すことを示す、クラスラベルであることができる。
【００５６】
本明細書で使用される「セットID」とは、データベース内のデジタル画像セットを一意に識別する識別子である。
【００５７】
以下で、本発明の実施形態を、単なる例として図面を参照してより詳細に説明する。
【図面の簡単な説明】
【００５８】
【図１】同じ組織サンプル層のデジタル画像のセットの作成を示す。
【図２】組織サンプルの隣接する層を示すデジタル画像のセットの作成を示す。
【図３】空間DBMSを含む分散システムを示す。
【図４】デジタル画像セットの個々の画像を示す。
【図５】画像セットの複数のデジタル画像に対して空間データベース操作を行うための複数の生物医学的ユースケースシナリオを示す。
【図６】本発明の一実施形態による方法のフローチャートである。
【発明を実施するための形態】
【００５９】
詳細な説明
図1に、組織サンプル100の同じ層102のデジタル画像106.1〜106.4のセット112の作成を示す。例えば、多くの癌のタイプ、例えば結腸直腸癌の診断の一部として、1つまたは複数の生検サンプルが採取される。生検サンプルは、1つまたは複数の薄い組織層102にスライスされる。層102は、特定のバイオマーカ、細胞および/または細胞小器官を選択的に染色する1つまたは複数の染色剤で染色されてよく、腫瘍を分類し、予後および/または治療法の提案を提供することを可能としうる有意義な生物医学的特徴を捕捉するために1つの層102からマルチスペクトル画像104が撮影される。マルチスペクトル画像は、複数の異なる染色剤、例えば蛍光染色剤のスペクトル情報を含み得、かつ/または層102を含むバーチャルスライドをカバーしうる。よって、得られるマルチスペクトル画像は多くの場合非常に大きい。スペクトルアンミキシング手順を適用することにより、複数のデジタル画像106-1〜106.4が作成される。セット112内の各画像は、それぞれの染色剤によって選択的に生成される強度信号に対応し、よって、特定の生物医学的特徴、例えば、特定のバイオマーカの存在および分布に対応しうる。各画像106.1〜106.4は、生物医学的特徴、例えば、腫瘍細胞、免疫細胞などを自動的に同定するための、および同定された生物医学的特徴を空間データオブジェクト、例えば、多角形、点、または線として表すための様々な技術を使用した画像解析プログラムによって処理および解析されうる。画像解析プログラムは、空間データオブジェクトを空間データベースに格納する。例えば、自動化された生物医学的特徴の検出は、ブロブ同定、エッジ検出、セグメント化、閾値処理、局所輝度順序パターンの抽出、および他の技術を含んでいてよい。サポートベクトルマシン、ニューラルネットワーク、またはランダムフォレストなどの様々な手法および分類器が、様々なタイプの生物医学的特徴に対して、かつ/または各画像から生物医学的特徴を表す空間データオブジェクトを抽出するために、適用されてよい。要約すると、セット112内の画像は、同じ単一組織スライド層102の様々な生物医学的特徴に関する情報を含む。
【００６０】
図2に、組織サンプルの隣接する層102、108、110を示すデジタル画像106.5〜106.7のセット113の作成を示す。生検サンプルは、2つ以上の薄い組織層102、108、110にスライスされる。各組織層は、特定のバイオマーカ、細胞および/または細胞小器官を選択的に染色するために異なる染色プロトコルで染色され、それぞれのスライド上に移されうる。層のうちの1つを含む組織スライドの各々から、例えば、蛍光顕微鏡、明視野顕微鏡、スライド走査装置などによって、それぞれの画像、典型的にはモノクロ画像106.5〜106.7が撮影される。画像セット113の各画像は、腫瘍を分類し、予後および/または治療法の提案を提供することを可能としうる有意義な生物医学的特徴を捕捉する。図1に示す例については、画像はバーチャルスライド画像であってよく、よって往々にして非常に大きくなりうる。セット113内の各画像は、それぞれの層についてのそれぞれの染色剤によって選択的に生成される強度信号に対応し、よって、特定の生物医学的特徴、例えば、特定のバイオマーカの存在および分布に対応しうる。各画像106.5〜106.7は、図1についてすでに述べたような様々な技術を使用して、画像解析プログラムおよび/または空間DBMSのルーチンによって処理および解析されうる。要約すると、セット113内の画像は、組織サンプルの異なる隣接する層にそれぞれ対応し、異なる生物医学的特徴に関する情報をそれぞれ含む。
【００６１】
図3に、空間DBMS 316を含む分散システムを示す。空間DBMSは、プロセッサ328と主メモリと不揮発性記憶媒体とを含むデータベースサーバ314上でホストされ、1つまたは複数の空間データベース318を含む。データベースサーバは、クラウドベースのデータベースシステムとして実施されうる。
【００６２】
任意選択で、システムは、画像処理システム306、例えば、標準コンピュータシステム、ユーザコンピュータ、またはアプリケーションサーバコンピュータシステム上でホストされる画像解析プログラム308をさらに含んでいてもよい。画像解析アプリケーションプログラム308は、例えば、核、細胞、背景領域、組織境界、および細胞などの生物医学的特徴を自動的に同定し、前記生物医学的特徴を分類する、例えば腫瘍細胞と非腫瘍細胞とに分類するための、特徴検出および分類モジュール310を含んでいてよい。加えて、画像解析アプリケーション308は、実施形態によれば、生物医学的特徴を表す空間オブジェクトを検出するためのさらなるモジュール312を含む。このモジュールは、生物医学的特徴および/または前記特徴が導出されたデジタル画像を、空間データオブジェクト、例えば、前記生物医学的特徴を表す点、線および多角形を同定するための入力として使用することができる。例えば、（その強度信号が特定のデジタル画像において示される染色剤によって選択的に同定可能な）特定のタイプの細胞の輪郭が、多角形として表されうる。次いで生成された空間データオブジェクトは、空間データベースに格納される。それぞれの画像から導出された空間データオブジェクトは、空間データベース318に格納され、後で速度最適化空間データベース操作によって生物医学的特徴の空間分布および関係を決定するのに使用される。
【００６３】
画像処理システム306、例えばサーバまたは標準コンピュータは、ネットワーク320、例えばインターネットまたはイントラネットを介してデータベースサーバ314に接続することができる。
【００６４】
いくつかの実施形態によれば、本システムは、ネットワーク320を介して、ディスプレイを含む1つまたは複数のクライアントコンピュータシステム322に接続される。クライアントコンピュータは、ユーザ、例えば病理医または免疫学者に割り当てられたコンピュータであることができる。コンピュータ322は、デスクトップコンピュータ、ノートブック、タブレットコンピュータ、またはバッテリ式のモバイル通信デバイス、例えばスマートフォンであることができる。ユーザは、クライアントアプリケーションプログラムを介して空間データベースに、生物学的関連画像のセット内のそれぞれのデジタル画像において同定された2つ以上の生物医学的特徴の距離および/または相対空間位置を、優先的にリアルタイムモードで決定することを求める要求を送信しうる。この解析の結果326は、クライアントデバイスのディスプレイ324上でユーザに対して表示される。
【００６５】
加えて、本システムは、染色された組織サンプル302の1つまたは複数の層の1つまたは複数の画像を撮影または走査するように構成されたイメージング装置304、例えばスライドスキャナまたは顕微鏡を含むか、あるいはこれに動作可能に結合されることができる。（組織）イメージング装置304は、例えば、組織サンプルの明視野照明を実施し、組織サンプルの明視野照明中に組織サンプルの画像を表す複数の画素の取り込みを実施しうる明視野照明モジュールを含んでいてもよい。加えて、または代替として、（組織）イメージング装置304は、CCDカメラ、例えば、RGB CCDカメラおよび複数のカラーチャネルを有するCCDカメラからなる群より選択されるCCDカメラを含んでいてもよい。（組織）イメージング装置は、イメージング、すなわち、組織サンプルの画像を表す複数の画素の取り込みを、RGB CCDカメラおよびCCDカメラからなる群より選択されるCCDカメラによって実施しうる。例えば、CCDカメラは、赤、緑および青の各チャネルの、または赤、緑、青およびUVの各チャネルの画素を取り込んでもよい。CCDカメラは、入射光を取り込みのための様々な（カラー）チャネルに分割するためのビームスプリッタを含んでいてもよい。
【００６６】
イメージング装置304は、生成されたデジタル画像を空間データベースに直接格納してもよいし、または特徴および空間データオブジェクトの抽出を行うためならびに画像および得られた空間データオブジェクトを空間データベース318に格納するために、画像を画像処理システム308に転送してもよい。実施形態によれば、1つまたは複数の画像セットは、RGB画像および/またはCYMK画像、および/またはマルチチャネルカラー画像（2つ以上の（カラー）チャネルを含む画像）から得られた単色画像を含みうる。よって、いくつかの画像の各画素は、複数のカラーチャネルのいずれかについての色情報、例えば、RGB画像の赤、緑および青のチャネルの各々についての色情報を含みうる。色情報は、後で画像解析手順においてデジタル画像から抽出される空間データオブジェクトのx-y座標と関連付けて空間データベースに格納されうる。
【００６７】
空間データベースは、1つまたは複数の画像セットに含まれるすべての画像の空間データオブジェクトをカバーする少なくとも1つの空間インデックスを含む。いくつかの実施形態では、1画像セットごとまたは1画像ごとに1つの空間インデックス（またはパーティション）が作成される。いくつかのさらなる実施形態では、生物医学的特徴ごとに1つの空間インデックス（またはパーティション）が作成され、さらに別の実施形態によれば、生物医学的特徴と画像の組み合わせごとまたは生物医学的特徴と個別画像の組み合わせごとに空間インデックス（またはパーティション）が作成される。いくつかの実施形態では、パーティションは、パフォーマンスを高めるために異なる物理表領域に格納される。空間DBMSは、インデックスが確実に最新の状態に保たれるように、新しい空間データオブジェクトがデータベースに格納されるたびに1つまたは複数の空間インデックスを更新する。
【００６８】
実施形態によれば、空間データオブジェクトの空間インデックスに対して動作する空間データ操作は、データベース問合せおよびデータベース結合を行う2工程問合せモデルを実施する。2つの工程は、1次フィルタ操作および2次フィルタ操作を含む。
【００６９】
1次フィルタ操作では、近似幾何境界を満たすすべての候補空間データオブジェクトの（迅速な）選択が識別される。前記識別は、特定の空間データオブジェクトまたはその一部が近似幾何境界内に適合するかどうかを判断するための、空間インデックスを使用した幾何演算からなる。例えば、空間データオブジェクトのうちの1つまたは複数の最小外接矩形または最小包囲楕円が、近似幾何境界として計算されてもよい。前記近似幾何境界は、空間インデックス、例えば、R木または線形四分木を構築するのに使用される。
【００７０】
2次フィルタ操作では、空間DBMSは、1次フィルタ操作によって課された幾何要件を満たす候補空間データオブジェクトのみを比較する。2次フィルタは、正確な結果を返すために、1次フィルタからの結果セットに対して正確な計算を適用する。2次フィルタは、通常、より多くの計算量を必要とするが、正確な計算は、もはやすべての空間データレコードに対してではなく、限られた量に対してのみ適用される。よって、1次フィルタは、候補データオブジェクトのセットを提供するために空間インデックスに対してのみ実行されるが、2次フィルタは、空間データオブジェクトの正確な幾何学的位置および境界に基づいて空間オブジェクト間の正確な空間関係を決定するために使用される。
【００７１】
実施形態によれば、空間データベース操作の少なくとも一部は、1次フィルタ操作だけを含み、2次フィルタ操作を含まない。
【００７２】
それぞれの特定のバイオマーカまたは他の分子を特異的に染色するために、複数の染色剤が抗体または他の分子に結合されうる。組織サンプルの1つまたは複数のスライスを染色するための染色プロトコルで使用される各染色剤の色は、各染色剤の色がバイオマーカまたは他のタイプの分子に対応しうるように、独特であってよい。
【００７３】
例えば、抗体結合染色剤は、腫瘍細胞のサイトケラチン、制御性T細胞の核、普遍的な核、B細胞の膜、普遍的なT細胞の膜、および細胞傷害性T細胞からなる群より選択される少なくとも1つの組織特徴への親和性を有していてもよい。
【００７４】
図6は、図3に示すシステムによって実施されうる本発明の一実施形態による、IHC組織サンプル100を解析するための画像解析方法のフローチャートである。例えば、サンプル100は、大腸癌生検サンプルであることができる。デジタル画像106.1〜106-4;106.5-106.7の1つまたは複数のセット112、113が、画像アプリケーションプログラムによって、生物医学的特徴および生物医学的特徴を表す空間データオブジェクトを抽出するために使用される。各デジタル画像セットのデジタル画像は、IHC組織サンプルの同じ層102または隣接する層102、110、108を示す。例えば、画像解析アプリケーション308は、イメージング装置304から画像を受け取り、任意選択でスペクトルアンミキシング操作を行い、受け取ったまたは生成したデジタル画像を画像管理データベースに格納しうる。加えて、画像解析アプリケーションは、単独で、または空間DBMSと相互運用して、いくつかの画像解析工程、例えば、個々の画像における生物医学的特徴を抽出するため、ならびにそれらの生物医学的特徴を、本明細書では「空間データオブジェクト」と呼ばれる点、線および/または多角形として表すためのセグメント化またはブロブ同定を行ってもよい。各空間データオブジェクトは、x座標値とy座標値とを有する少なくとも1つの点を含む。線および多角形は、エッジを介して互いに接続された複数のx-y値の対を含む。多角形は、形状を「閉じる」ための直線から作られた2次元形状である（すべての線はつながっている）。
【００７５】
第1の工程702で、画像セットの識別子（「セットID」）が、セットIDと関連付けられたデータレコードを画像管理データベースに格納された元の画像とリンクさせるために、空間DBMS 316の空間データベース318に格納される。工程704で、デジタル画像の各々について、空間データオブジェクトが空間データベースに格納される。格納する工程702および704は、例えば、画像解析アプリケーションプログラムによってトリガされてもよく、それぞれの組織サンプルについて得られた複数の画像セットに対して繰り返し行われてもよい。
【００７６】
工程706で、空間DBMSは、デジタル画像セットの各々について、前記セットに含まれるデジタル画像の空間データオブジェクトをカバーする1つの空間インデックスを作成する。工程708で、デジタル画像セットのうちの1つまたは複数が選択される。例えば、ユーザがインターフェースを介して選択を行ってもよいし、または空間DBMSが空間特徴解析に使用されるべきすべての画像セットを自動的に選択してもよい。工程710で、空間DBMSは、前記選択されたデジタル画像セットのために作成された空間インデックスに対して空間データベース操作を適用する。例えば、INTERSECT問合せもしくはIS-CONTAINED-IN問合せが空間インデックスに対して処理されてもよく、かつ/または空間データオブジェクトのセットによって表される生物医学的特徴の密度が、選択されたデジタル画像セットの2つ以上のデジタル画像の空間データオブジェクトの相対位置を決定するために、かつ/もしくは特徴密度情報を得るために計算されてもよい。工程712で、空間DBMSは、計算された相対位置を、2つ以上のデジタル画像の空間データオブジェクトによって表される組織サンプルの生物医学的特徴の距離および/または相対位置を決定するための適切な画像解析ルーチンの入力として提供する。例えば、工程714で生成された結果は、画像解析アプリケーションプログラム308または統計アプリケーションプログラムからアクセス可能な空間データベースの表に格納されてもよい。あるいは、空間DBMSは、距離および/または相対位置の決定を行うための適切なプログラムルーチン、例えば、いくつかのストアドプロシージャを含んでいてもよい。
【００７７】
図4に、デジタル画像セット112の個々の画像をより詳細に示す。画像106.1に、ヘマトキシリンおよびエオシン（H＆E）で染色された複数の細胞400を示す。核は、細胞のサイトゾル部分よりも濃い色を有する。画像106.2に、特定のタイプの免疫細胞に特異的に結合する染色剤に対応する3つのドットを示す。よって、ドット402は、3つの免疫細胞が組織領域400に浸潤したことを表す。画像106.3に、腫瘍マーカに特異的に結合する染色剤の信号によって生じた複数の黒いドット404を示す。よって、例えば、ドット検出、セグメント化、閾値処理、および分類器の適用のための画像解析を行うことによって、個々の組織から1つまたは複数の生物医学的特徴を抽出することが可能でありうる。
【００７８】
下の点線の囲みは、デジタル画像を表すものではなく、複数のデジタル画像に含まれる情報を組み合わせることにより、関連する生物学的特徴およびそれらの相対的空間位置を導出することができることを示している。
【００７９】
例えば、画像は、組織領域400の右半分（黒いドット404を含む細胞）が腫瘍細胞であり、組織領域の左半分が非腫瘍細胞からなることを示している。さらに、3つの免疫細胞402は腫瘍領域に侵入していないと推測することができる。空間DBMSは、例えば、最小外接矩形を計算し、そのような矩形の幾何中心または空間データオブジェクトを構成する多角形の幾何中心を計算し、距離、例えば2つの異なる生物医学的特徴の2つの幾何中心の距離を決定するための空間データベース操作を含む。例えば、免疫細胞402の幾何中心406と腫瘍細胞404の幾何中心408との間の距離を、100,000以上の空間オブジェクトに対しておよび（例えば、大規模なコホート研究における）何百何千もの画像セットに対して、非常に迅速に、しばしばリアルタイムにさえも、迅速に決定することができる。これは、生物医学的特徴のいくつかの空間特性、例えば、組織領域、細胞クラスター、細胞などのサイズまたは幾何中心を事前に計算し、導出空間情報、例えば、異なるタイプの個々の細胞間の距離または異なる細胞型のセットの幾何平均値間の距離を計算するために、速度最適化空間データベース操作を使用することによって達成されうる。免疫細胞の幾何中心406と腫瘍細胞の幾何中心408との間の距離は、図4に矢印で示されている。しかし、2つの生物医学的特徴（免疫細胞と腫瘍細胞）の相対位置を計算するこの方法は単なる一例にすぎない。生物医学的質問に応じて、他のタイプの生物医学的特徴、他の距離尺度、および他のタイプの空間データベース操作が使用されてもよい。
【００８０】
図5に、画像セットの複数のデジタル画像に対して空間データベース操作を行うための複数の生物医学的ユースケースシナリオを示す。図5aに、複数の細胞を有するサンプルスライスを含む組織スライド600を示す。領域602はガラスに対応し、左側の部分602は後で非腫瘍細胞として同定され、細胞の右側の部分606は後で腫瘍細胞として同定される。各細胞は、複数の多角形として表されてもよく、第1の多角形は、サイトゾル領域608を取り囲む細胞膜612を表すことができ、よって、細胞の輪郭を表す。第2の多角形は、細胞核610を表しうる。細胞膜および核は、H＆E染色画像に対して、または細胞および核の境界に関する十分な情報を含む任意の他のタイプのデジタル画像に対して画像解析方法を適用することによって自動的に同定されたものであってもよい。
【００８１】
図5bに示す一例によれば、一般的な細胞検出の手法は、細胞境界をそれぞれ表す複数の第1の多角形614によって画定されるエリアを、核ブロブをそれぞれ表す複数の第2の多角形616によって画定されるエリアと比較しうる。各第1の多角形が完全な第2の多角形を含むかどうかを迅速に判断するために、空間データベース操作「is completely contained in」が行われうる。この操作は、2つの生物医学的特徴の相対位置情報を含むオーバーレイ204.1として図示された結果を自動的に生成するために行われうる。品質基準により、真の核がそれぞれ細胞に含まれることおよび細胞がそれぞれ正確に1つの核を含まなければならないことが必要とされうるため、前記結果は、細胞を表す第1の多角形としてまたは核を表す第2の多角形として誤って分類されたアーチファクトを除去するために使用することができる。よって、画像解析で使用される特徴抽出操作の質を高めるためにデータベース操作が使用されうる。
【００８２】
図5cに示す別の例によれば、細胞境界をそれぞれ表す複数の第1の多角形614によって画定されるエリアは、細胞が特定のタイプの腫瘍細胞であることを示すバイオマーカをそれぞれ表す複数の第2の多角形618によって画定されるエリアと比較される。第2の多角形618を含む腫瘍細胞としてすべての第1の多角形を選択するための空間データベース操作が、組織内のすべての腫瘍細胞を迅速に同定するために行われうる。この操作は、2つの生物医学的特徴の相対位置情報を含むオーバーレイ204.2として図示された結果を自動的に生成するために行われうる。前記結果は、組織中の腫瘍細胞の存在および位置を迅速に同定するために使用することができる。
【００８３】
図5dに示す別の例によれば、3つ以上の生物医学的特徴の位置情報を比較することが可能である。生物医学的特徴614および616の位置は、図5bについて述べたように解析および比較されうる。生物医学的特徴614および618の位置は、図5cについて述べたように解析および比較されうる。生物医学的特徴614、620および618の位置は、図4について述べたように解析および比較されてよく、ここで、3つの多角形620を、例えば免疫細胞とすることができ、多角形618を、その存在により細胞が腫瘍細胞であることが示されるバイオマーカとすることができる。さらに、本発明の実施形態では、事前に計算された最小外接矩形、多角形エリア、および/または多角形もしくは多角形集団の幾何中心を、追加的な相対空間情報、例えば、異なるタイプの細胞のサイズ差、別の組織の細胞による組織の浸潤の程度などを計算するのに使用しうる。前記操作は、空間データオブジェクトのために作成された空間インデックスを、例えば、ある空間オブジェクトが別の空間オブジェクトに完全にまたは部分的に含まれるかどうか、2つのデータオブジェクト間に交わりが存在するか否かを迅速に判断するためなどに利用することができる空間データベース操作によって行われる。
【００８４】
加えて、異なる時点（治療前、治療中もしくは治療後）における同じ患者のデータを比較する、または異なる患者コホートもしくは健常者コホートのデータを比較する、密度情報などの絶対的な幾何情報および2つの生物医学的特徴の距離などの相対的な幾何情報に関する統計的評価を、空間DBMSによって、または画像解析アプリケーションプログラムもしくは統計アプリケーションプログラムによって行うこともできる。
【図１】
2019514115.tif 000004
【図２】
2019514115.tif 000005
【図３】
2019514115.tif 000006
【図４】
2019514115.tif 000007
【図５】
2019514115.tif 000008
【図６】
2019514115.tif 000009
【国際調査報告】
2019514115.tif 000010
2019514115.tif 000011
2019514115.tif 000012