(57)【特許請求の範囲】
【請求項１】
生物学、組織学及び病理学における使用のための画像処理装置であって、
第１のイメージング処理から複数の画像フレームを受信し、第２のイメージング処理から、第１の基準テンプレートとして機能する第１の画像を受信する入力ポートと、
第１のモードと第２のモードとの間で切替え可能な画像マッチャーであって、前記画像マッチャーが前記第１のモードで動作する場合に、前記第１のイメージング処理からの前記複数の画像フレームのうちの画像フレームを、前記第１の基準テンプレートに対してマッチさせることを試み、前記画像フレームの中から、第１の閾値によって前記第１の基準テンプレートにマッチする前記複数の画像フレームのうちの画像フレームとして決定された第１のマッチング画像フレームが見つかると、又は、前記画像フレームのうちの現在の画像フレームに対応するユーザによって発行された切替え信号が受信されると、前記画像マッチャーが前記第２のモードに切替わり、次いでそれぞれ前記第１のマッチング画像フレーム又は前記現在の画像フレームを、前記第１の基準テンプレートの代わりの前記第２のモードにおける第２の基準テンプレートとして使用して、前記複数の画像フレームのうちの後続の画像フレームを前記第２の基準テンプレートに対してマッチさせることを試みる、前記画像マッチャーと、
前記複数の画像フレームのうちの前記後続の画像フレームの中から見つけられ、第２の閾値によって前記第２の基準テンプレートにマッチする前記後続の画像フレームからの画像として決定された更なるマッチング画像フレームを出力する出力ポートと、
を含む、画像処理装置。
【請求項２】
前記第１のモード及び前記第２のモードにおいて試みられるマッチングは、前記第１の基準テンプレート又は前記第２の基準テンプレートにおいて規定される画像特徴を、それぞれ前記画像フレーム及び前記後続の画像フレームにおける画像部に対してマッチさせることを試みることに基づいている、請求項１に記載の画像処理装置。
【請求項３】
前記出力することは、前記画像特徴の輪郭を描く対応するグラフィカルオーバーレイを有する前記更なるマッチング画像フレームの前記画像部を、ディスプレイユニット上で表示することを含む、請求項２に記載の画像処理装置。
【請求項４】
前記出力することは、ディスプレイユニット上で前記更なるマッチング画像フレームを表示し、前記第１のマッチング画像フレームは表示しないことを含む、請求項２に記載の画像処理装置。
【請求項５】
前記第２の基準テンプレートは、前記第１のイメージング処理において使用される第１のイメージングモダリティのイメージング設定が変更されるまで、１つ以上の更なるマッチング試みに対して維持され、前記画像マッチャーは、前記変更に応えて、別のマッチング画像フレームを第３の基準テンプレートとして使用して、前記複数の画像フレームのうちの追加の後続の画像フレームを、前記第２の基準テンプレートの代わりの前記第３の基準テンプレートに対してマッチさせることを試み、前記出力ポートが、前記第３の基準テンプレートにマッチするものとして決定した更なるマッチング画像フレームを出力する、請求項１に記載の画像処理装置。
【請求項６】
前記第１のイメージング処理は、第１のイメージングモダリティを使用することを含み、前記第１のイメージングモダリティは、顕微鏡カメラシステムである、請求項１に記載の画像処理装置。
【請求項７】
前記第２のイメージング処理は、第２のイメージングモダリティを使用することを含み、前記第２のイメージングモダリティは、病理学的スライドスキャナである、請求項１に記載の画像処理装置。
【請求項８】
前記複数の画像フレームは、１つ以上の組織学的セクションから取得される、請求項１に記載の画像処理装置。
【請求項９】
前記第１の画像は、スライドとカバーガラスとの間に保持される組織学的セクションから取得され、前記複数の画像フレームは、カバーガラスのない異なる組織学的セクションから取得される、請求項８に記載の画像処理装置。
【請求項１０】
前記組織学的セクション及び前記異なる組織学的セクションは、同じ試料から採取される、請求項９に記載の画像処理装置。
【請求項１１】
前記更なるマッチング画像フレームの座標が、分子診断装置に供給され、前記第１のマッチング画像フレームの関心領域に対応する材料が前記異なる組織学的セクションから取り除かれる、請求項９に記載の画像処理装置。
【請求項１２】
前記複数の画像フレームは、手動で又は自動的に供給される、請求項１１に記載の画像処理装置。
【請求項１３】
生物学、組織学及び病理学のうちの少なくとも１つにおける使用のための画像処理方法であって、
第１のイメージング処理から画像フレームのストリームを受信するステップと、
第１のモードにおいて、前記画像フレームのストリームにおける画像フレームを、第２のイメージング処理からの第１の基準テンプレートとして機能する第１の画像に対してマッチさせることを試みて、前記画像フレームのストリームにおける前記画像フレームの中からマッチング画像フレームを見つけるステップと、
前記マッチング画像フレームが見つかると、又は、前記画像フレームのストリームにおける現在の画像フレームに対応する切替え信号が受信されると、第２のモードに切替わるステップと、
前記第２のモードにおいて、それぞれ前記マッチング画像フレーム又は前記現在の画像フレームを、前記第１の基準テンプレートの代わりの第２の基準テンプレートとして使用し、前記画像フレームのストリームにおける更なる画像フレームを前記第２の基準テンプレートに対してマッチさせることを試みて、前記画像フレームのストリームにおける前記更なる画像フレームの中から更なるマッチング画像フレームを見つけるステップと、
前記更なるマッチング画像フレームが見つかると、前記更なるマッチング画像フレームを出力するステップと、
を含む、画像処理方法。
【請求項１４】
生物学、組織学及び病理学のうちの少なくとも１つにおける画像処理を提供するための、処理ユニットのコンピュータによって実行可能なコンピュータプログラムを記憶した非一時的コンピュータ可読媒体であって、
第１のイメージング処理から画像フレームのストリームを受信するステップと、
第１のモードにおいて、前記画像フレームのストリームにおける画像フレームを、第２のイメージング処理から提供され、第１の基準テンプレートとして機能する第１の画像に対してマッチさせることを試みるステップと、
前記画像フレームのストリームにおける前記画像フレームの中からマッチング画像フレームが見つかると、又は、前記画像フレームのストリームにおける現在の画像フレームに対応する切替え信号が受信されると、第２のモードに切替えるステップと、
前記第２のモードにおいて、それぞれ前記マッチング画像フレーム又は前記現在の画像フレームを、前記第１の基準テンプレートの代わりの第２の基準テンプレートとして使用して、前記画像フレームのストリームにおける後続の画像フレームをマッチさせることを試みるステップと、
前記画像フレームのストリームにおける前記後続の画像フレームの中から更なるマッチング画像フレームが見つかると、前記更なるマッチング画像フレームを出力するステップと、を前記処理ユニットのコンピュータに実行させるためのコンピュータプログラムを記憶した、
非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、コンピュータプログラム要素及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
病理学において、組織の正常タイプ及び腫瘍タイプへの分類は、時に困難であり、細胞の微細構造及びその形態の詳細な解析が必要となる。
【０００３】
従来のがん診断では、生検サンプルの（組織）病理学的画像が病理学者によって視覚的に解析される。この次に、分子法（例えばポリメラーゼ連鎖反応（ＰＣＲ）又はシークエンシング）が使用されて、（腫瘍）組織の生物学的特性が特定される。分子解析の結果は、選択された組織領域の正確な組成に非常に依存するので、関心領域（ＲＯＩ）の正確な解剖が必要である。現在、ＲＯＩは、しばしば、外科用メスを使用して手動で解剖されるが、これは、（非常に）不正確である。「デジタル病理学」は、ＲＯＩ組織の検索に使用できる画像解析アルゴリズムを使用する方法を追求している。しかし、既存のアルゴリズムは、時に、低速、又は、ロバスト性に欠けることが分かっている。
【０００４】
国際特許公開公報ＷＯ２０１０／１２５４９５Ａ２では、関心領域を含む第１のスライスの第１のデジタル画像を生成し、第２のスライスの第２のデジタル画像を生成し、第１のデジタル画像における関心領域に基づいて、第２のデジタル画像における関心領域を決定することが開示されている。ここでは、第１のデジタル画像は、基準テンプレートの役割を果たしている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、画像をマッチさせる代替装置又は関連の方法が必要である。
【課題を解決するための手段】
【０００６】
本発明の目的は、独立請求項の主題によって達成され、更なる実施形態は、従属請求項に組み込まれている。なお、以下に説明される本発明の態様は、装置、画像処理方法、コンピュータプログラム要素及びコンピュータ可読媒体に等しく適用される。
【０００７】
本発明の第１の態様によれば、生物学、組織学及び病理学における使用のための画像処理装置が提供される。当該画像処理装置は、
第１のイメージングモダリティから画像フレームのストリームを受信する入力ポートと、
２つのモード間で切替え可能な画像マッチャーであって、第２のイメージングモダリティからの画像フレームを、当該マッチャーが第１のモードで動作する場合に、第１の基準（画像）テンプレートとして機能する第１の画像に対してマッチさせることを試み、第１のモードにおいて、フレームのストリームにおけるフレームから第１のマッチングフレームが見つかると、又は、ユーザによって発行された切替え信号が受信されると、今度は、第１のマッチングフレーム又は現在のフレームを、第１の基準テンプレートの代わりの第２の基準（画像）テンプレートとして使用して、フレームのストリームにおける（画像フレーム）を第２の基準テンプレートに対してマッチさせることを試みる第２のモードに切替わるように動作する、当該画像マッチャーと、
画像マッチャーによって更なるマッチングフレームが見つけられると、当該更なるマッチングフレームを出力する出力ポートとを含む。
【０００８】
つまり、本明細書において提案される画像プロセッサは、その独自の画像特徴を有する第１の基準画像が、当該基準画像の特徴からの特徴を有するフレームにマッチさせる必要のある「クロスマッチング」タスクにおける計算努力を減少させるのに役立つ。一実施形態では、一方で第１の基準画像と、他方でストリームにおけるフレームとは、時に、著しく異なる画像情報を符号化するので、これらは、時に、表示された場合に、互いから特に著しく異なる視覚的外観を有する。この差は、基準画像及びフレームが異なるイメージングモダリティによって取得されたこと、並びに／又は、基準画像及びフレームが異なる物体及び／若しくは基準画像及びフレームが物体から取得される前に染色等といった異なる処理が施されている物体の画像情報を符号化していることによってもたらされる。
【０００９】
このような異なる画像特性によりうまく対処するために、本明細書において提案される装置は、第１の基準テンプレートを、第１の基準テンプレートとフレームとのマッチが検出されると、当該マッチングフレームから計算されるテンプレートと交換するように動作する。この交換によって、提案される画像プロセッサは、非常に反応早く、特にストリームにおける次のマッチを見つけることができる。このテンプレート交換によって、それがなければ複雑で計算コストが高いマッチング問題が単純化される。一般に、フレームの２つの後続のインストリームマッチ間の時間は、「ストリーム外」の基準画像を「ストリーム内」、即ち、フレームへとマッチさせるのにかかる時間よりも少ないと考えられる。このスピードアップは、第１のマッチ後、マッチャーは、より類似する画像、即ち、同じ物体から取得されたストリームのフレームを互いにマッチングさせることによりもたらされる。更に、より類似する画像をマッチングさせるマッチング処理のロバスト性及び信頼度が増加する。
【００１０】
一実施形態では、画像処理装置は、物体の認識に使用される。物体は、時間における第１の瞬間において、第１の組織学的サンプルにおいて解析され、時間における後の瞬間において、第２の異なる組織学的サンプルにおいて解析されるべきである。一実施形態では、サンプルは、ガラスカバー（「カバースリップ」）を有する顕微鏡スライド上に置かれる第１の組織サンプルにおいて解析されるがん組織片（ＯＩ）であり、第２の組織サンプルから切断（抽出、分離）される同じ組織片が、同じパラフィンブロックから抽出され、顕微鏡スライド上に置かれるが、カバースリップはない。両方のスライドがイメージングされる。例えばカバースリップ付きスライドは、病理学的スキャナ等を使用してイメージングされ、もう１つの「カバースリップのない」スライドは、（一実施形態では、電子）顕微鏡下に置かれ、フレームを生成するように画像が捕捉される。この組織学的手順は、（スライドから撮られた）画像／フレーム間にある程度の非類似性をもたらし、この非類似性は、大抵の標準画像マッチングストラテジの前提に反していると考えられる。例えばカバーガラスの存在（又は不在）が、球面収差及び屈折減少によって異なる光路をもたらす。
【００１１】
したがって、この例示的な組織学的コンテキストでは、マッチャーは、まず、各フレームにおける検出された特徴のカバースリップを有するスライドの基準画像から導出される第１のテンプレートとの比較によって、第１のＯＩをマッチングさせることを試みるように動作する。次に、第２の計算されたテンプレートが、ＯＩに最初にマッチしたフレームから導出される。それ以降、マッチャーは、後続のフレームにおける検出された特徴の当該（新しい）第２のテンプレートとの比較によって、各新しいＯＩをマッチングさせることを試みるように動作する。これは、第２のサンプルにおけるＯＩを認識するために使用されるテンプレート又は「モデル」が、同じサンプルにおけるＯＩに基づいて導出／構築されるので、計算時間が削減される。したがって、サンプルのセクションを、２つの異なるスライド（カバースリップを有するスライド及びカバースリップを有さないスライド）に置く手順によってもたらされる、例えば外観における差に起因する幾つか又は大部分のマッチング問題が解決される。結果として、マッチング処理の性能は、計算の複雑さが減少されることによって、ロバスト性、精度及びスループット時間の点において、向上する。
【００１２】
一実施形態では、現在のテンプレートのフレームベースのテンプレートへの切替え、つまり、交換は、自動的に起こるが、本明細書では、手動による実施形態も考えられる。
【００１３】
切替えが自動的に起こる実施形態において、マッチャーは、フレームの画像特徴を、マスタ画像テンプレートに対して評価するように動作し、測定基準を使用して、特定の画像部における２つの画像間の対応レベルを測定するスコアを計算する。当該スコアは、所定の又はユーザによって規定可能な閾値と比較される。スコアが当該閾値を超える場合、フレームは、基準画像にマッチすると見なされる。スコアが当該閾値を下回るままの場合、フレームは、基準画像にマッチしないと見なされる。切替えが起きた後に、フレームを互いにマッチさせる場合にも同じ測定基準／スコア方法が採用される。
【００１４】
手動切替えを有する実施形態では、ユーザは、適切な入力手段（キーボード又はマウスといったポインタツール等）を介して、切替え信号を発行する。自動切替えを有する上記実施形態と組み合わせて使用される場合、切替えを引き起こすユーザ信号を出すオプションは、事実上、ユーザに、「オーバーライド機能」を与えることになり、ユーザは、現在のフレームが、新しいテンプレートのベースとなるように「宣言」することで、現在のフレームにおける画像特徴の測定基準評価より「勝る（trump）」ことができる。「現在のフレーム」とは、本コンテキストでは、マッチャーが現在マッチングさせることを試みているストリームにおける１フレームを指すか、及び／又は、モニタ若しくは（コンピュータ）スクリーンといったディスプレイユニット上に現在表示されている画像フレームである。
【００１５】
一実施形態によれば、マッチ動作は、テンプレートによって規定される第１又は第２の基準における画像特徴を、各画像フレームにおける画像部に対してマッチさせることを試みることに基づいている。一実施形態では、第１の基準画像のテンプレートは、自動的に又は人間である医療専門家によって先に注釈が付けられた又は特定された画像特徴から導出又は計算される。基準画像では、（テンプレートによって表現される）画像特徴は、例えば組織サンプルにおけるがん部である関心領域（ＲＯＩ）の画像情報を捉えたものである。したがって、「マッチ」は、本明細書において使用される場合は、フレームにおける画像部が、当該注釈が付けられたＲＯＩの「カウンターパートＲＯＩ」を形成することを示すものと解釈される。つまり、フレームにおけるカウンターパートＲＯＩは、第１の基準画像のＲＯＩにおいて捕捉されるがん部の当該フレームにおける表現である。一実施形態では、マッチング動作は、スケール不変特徴変換（ＳＩＦＴ）に基づいている。
【００１６】
一実施形態によれば、出力することは、対応する画像部の輪郭を描く対応するグラフィカルオーバーレイを有する更なる又は後続のマッチング画像フレームの画像部を、ディスプレイユニット上で表示することを含む。一実施形態では、オーバーレイは、対応するマッチングフレームにおける対応する画像部の背景とは異なる色又は色相で表示される。これは、エルゴノミクスを向上させる。更に、上記された交換によって、提案される画像処理装置の反応性が増加されるため、グラフィカルオーバーレイは、画像ストリームのフレームレートで実質的にリアルタイムで供給される。
【００１７】
一実施形態によれば、出力することは、更なる画像フレームを、ディスプレイユニット上で表示することを含み、第１のマッチングフレームは表示されないが、更なるマッチングフレーム又はストリームからの任意の後続のマッチ（つまり、マッチングフレーム）のみが、ディスプレイユニット上に（好適には連続的に）表示される。これは、ユーザのフォーカスは、最初の「エントリ」マッチよりも優れたマッチを形成する可能性のあるインストリームマッチに向けられるので、エルゴノミクスを向上させる。代替実施形態では、又は、ユーザがそのように要求する場合には、第１のマッチングフレームも、ディスプレイユニット上に表示される。
【００１８】
一実施形態によれば、第２の基準テンプレートは、第１のイメージングモダリティのイメージング設定が変更されるまで、任意の（又は１つ以上の）更なるマッチに対して維持される。マッチャーは、当該変更に応えて、再び切替わり、マッチャーによって現在の第２の基準テンプレートにマッチすることが分かったストリームにおける第２の更なるフレームを、第３の基準テンプレートとして使用するように動作する。つまり、イメージング設定の変更が起きた後、将来のインストリームマッチング試みには、先の（第２の基準）テンプレートの代わりに、第３の基準テンプレートが使用される。例えば一実施形態では、イメージャは、顕微鏡デバイスであり、設定は、焦点距離又は焦点面によって規定される。焦点距離を変更すること又は焦点面を変更することも、イメージング設定の変更の前後において取得されたフレームに、視覚的外観における差を導入する。視覚的外観におけるこの変化は、ここでも、現在のテンプレートをアップデートされたテンプレート（つまり、第３の基準テンプレート）に切り替え、交換することによって、説明することができ、これにより、「非フレーム」の第１の基準画像から、画像ストリームからのフレームから導出されたテンプレート（第２の基準テンプレート）に交換することによって、先に行われたように、マッチングタスクをより容易にする。
【００１９】
一実施形態によれば、更なる又は後続のマッチングフレームの画像座標が、分子診断（ＭＤｘ）装置に供給され、更なる又は後続のマッチングフレームにおいて記録される関心領域に対応する材料が第２のセクションから取り除かれる。つまり、カウンターパートＲＯＩ（つまり、第１の画像において記録されたＲＯＩに対応する（フレームにおいて記録される）ＲＯＩ）の画像座標が、解剖動作を制御するために使用される。
【００２０】
一実施形態によれば、ストリームは、手動で又は自動的に供給される。手動ストリーム供給の１つの実施形態は、ユーザが、スライドを顕微鏡下で「パン」し、画像ストリームを生成する場合である。「自動」ストリーム供給の実施形態では、顕微鏡に、自動スキャナ機能が具備される。顕微鏡の（第２のスライドが載せられる）ステージにはモーターが取り付けられ、当該ステージが、フレームが取得される間にスキャンパターンに動き回ることにより、画像ストリーム（「ライブフィード」）が１秒あたり約１５フレーム以上で生成される。
【００２１】
本明細書において、提案される装置は、デジタル病理学又はデジタル分子病理学を参照して説明されるが、本明細書では、他の使用法も同様に考えられる。また、当然ながら、基準画像及びフレームは、必ずしも病理学的スライドである必要はなく、イメージングモダリティも、必ずしも顕微鏡カメラシステム及び病理学的スライドスキャナである必要はない。場合によってはより低い分解能を有するが、依然として、手元におけるイメージングタスクに適切である他のカメラ又はスキャナシステムも、本明細書では考えられる。例えば別の実施形態では、基準画像は、血管造影画像であり、フレームのストリームは、一連の蛍光透視画像である。更に別の非医用実施形態では、基準画像は、デジタルカメラで取得され、フレームは、ビデオカメラによって記録される。この場合、提案される装置は、動画フレームのストリームにおいて、撮影された物体を見つけることを可能にする。
【００２２】
定義
「フレームのストリーム」、「画像ストリーム」又は「（ライブ）フィード」は、本明細書において、同じ意味で使用され、画像（「フレーム」と呼ばれる）の時系列に関連する。「ストリームの受信」は、必ずしも、ストリームのすべてのフレームが同時に受信されることを意味せず、フレームは、連続的に受信されてもよい。また、当然ながら、ストリームにおける各フレームが、必ずしも、本明細書において提案される画像プロセッサによって受信及び／又は処理される必要はない。例えば幾つかのフレームは、何かの理由で、落とされてもよい。
【図面の簡単な説明】
【００２３】
本発明の例示的な実施形態は、次の図面を参照して、以下に説明される。
【００２４】
【図１】図１は、画像処理装置を示す。
【図２】図２は、画像処理方法のフローチャートを示す。
【発明を実施するための形態】
【００２５】
図１を参照するに、コンピュータ支援される分子診断解剖（ＭＤｘ）のための装置ＭＤＳの略ブロック図が示される。この装置は、組織のデジタル画像に対して動作する。ＭＤｘでは、サンプルから（がん組織といった）関心組織を特定し、分離することが目的である。通常、分離された関心組織の純度に対する要求は高い。図１は、これがどのように行われるのかを示す。
【００２６】
最初の手順において、組織のサンプル試料ＢＩＯが、ホルマリンで処理され、パラフィンに埋め込まれる。この手順（ＦＦＰＥとも呼ばれる）によって、分子構造が保存され、組織試料が固められる。マイクロトーム等といった組織学的カッタＫＮＦを使用して、上記のように処理された組織の２つ以上のセクションＳＣ１、ＳＣ２が採取される。セクションのうちの１つ、例えばＳＣ１（「マスタセクション」）は、次に、ヘマトキシリン及びエオシン（Ｈ＆Ｅ）を使用して着色される。着色された又は染色された組織は、次に、標準的なガラススライドとカバークリップ（支持ガラススライドよりも薄いガラス片）との間に取り付けられ、顕微鏡的マスタスライドＳＬＣが形成される。マスタスライドは、顕微鏡ＭＣを使用して、組織の形態及び染色パターンについて解析され、組織のがん部に対応する関心領域（ＲＯＩ）が特定され、その後、注釈が付けられる。Ｈ＆Ｅ染色によって、核とその周りの細胞質との間に優れたコントラストがある。また、処理済み組織の上にカバースリップを付与することによって、組織形態及び細胞構造における細部のより優れた可視化が可能となる。マスタスライドは、本明細書において使用される場合は、医学的又は法的な理由から、将来のための保管を目的としている。ここでも、カバースリップは、「光学的な」細部を保存するのに役立ち、セクションの劣化を防ぐ（又は少なくとも遅らせる）。換言すれば、また、上記から明らかであるように、マスタ組織ＳＣ１は、がん組織を、実際に、つまり、物理的に分離するのに利用可能ではない。ここで、第２のセクションＳＣ２が役立つ。
【００２７】
第２のセクションＳＣ２は、第１のマスタセクションＳＣ１と同様に準備されるが、第２のセクションＳＣ２は、通常、ヘマトキシリンのみで染色され、別個の異なるガラススライド上に取り付けられるが、今回は、カバースリップはなしで、追加的であるが、今回は、「開放」されているスライドＳＬが形成される。第２のセクションＳＣ２の形態は、第１のセクションＳＣ１の形態と非常におおまかにのみマッチしていると考えられる。
【００２８】
ＭＤｘにおけるここでの最も重要なタスクは、第２のスライドにおいて、マスタスライドの通り、先に注釈が付けられた関心領域の「再発見」を行うことである。しかし、上記された手順から分かるように、デジタルスライドは、視覚的外観において著しく異なる可能性が高い。第一に、２つのスライスは、同じ組織試料から採取されているが、がん組織の異なる部分を依然として含む。第二に、生検サンプルＢＩＯから２つのセクションＳＣ１、ＳＣ２を切断するためのスライス又はカット動作は、セクションを対応するスライド上に置く際に、組織セクションの異なる量の伸張部分、圧縮部分、更には「折り重なった」部分をもたらす。第三に、２つのセクションは、異なって着色されている。また、カバースリップの衝突も、スライドをイメージングする際の光路を異なるように変える傾向があるので、２つのセクションにおけるがん細胞の想定される構造上の類似性が更に損なわれる。
【００２９】
したがって、本明細書では、時に、様々な画像において著しく異なる視覚的外観を有する画像において、対応する画像構造を再発見又は再特定するこのタスクにおいて、ユーザを支援するデジタル画像処理装置が提案される。
【００３０】
より具体的には、デジタル画像処理装置は、その入力部ＩＮにおいて、ｉ）マスタスライドＳＬＣと、ｉｉ）第２のスライドＳＬの様々なビュー（「フレーム」）のライブフィードのデジタルバージョンを取り込む画像プロセッサＩＰ（その動作は、以下により詳細に説明される）を含む。画像プロセッサＩＰは、次に、マッチャーＭを介して、それらに作用して、出力部ＯＵＴにおいて、マスタスライドＳＬＣにおいて注釈が付けられた通りのＲＯＩに対応する「カウンターパート画像情報」を符号化する「ベストマッチ」フレームＦｍを生成する。次に、以下により詳細に説明されるように、フレームＦｍは、基準画像ＲＦ１におけるＲＯＩに対応する組織を分離するために使用される。一実施形態によれば、マスタスライドＳＬＣのデジタルバージョンは、デジタルスライドスキャナＰＳＣを動作させることによって形成される。スライドスキャナＰＳＣは、マスタスライドＳＬＣのデジタル画像ＲＦ１（「第１の基準画像」）を出力する。
【００３１】
第２のスライドＳＬは、顕微鏡を動作させることによって検査され、その光学的出力は、デジタル変換段ＣＶに結合され、光学的情報が、１つ以上のデジタル画像又は「フレーム」に変換される。顕微鏡は、自動スキャニングプロトコルに従うことによって自動的に動作させられるか、又は、ユーザによって手動で動作させられ、基本的に、（例えば顕微鏡の焦点面若しくは距離を変更することによって、及び／又は、レンズを変更することによって）「パニング」動作及び／又は拡大動作によって、スライドＳＬをスキャンして、デジタル画像の個々の連続フレームＦ１〜Ｆ３のライブフィードＬＦ又はストリームが生成される。即ち、各フレームは、一般に、スライドＳＬの様々な部分を示すか、又は、同じ部分を異なる拡大レベルで示す。フレームは、生成される最中に、モニタといったディスプレイユニットＤＵ上で観察可能である。次に、画像ストリームＬＦからベストマッチフレームＦｍを見つけるために画像プロセッサＩＰが動作する方法を、以下により詳細に説明する。
【００３２】
動作
本明細書において提案される画像プロセッサＩＰは、一実施形態において、画像物体認識に基づいた画像位置合わせアルゴリズムを実施する。
【００３３】
最初に、マスタスライドの第１の基準画像ＲＦ１がスキャンされて、当該基準画像ＲＦ１における認識用の画像特徴が計算される。認識用の画像特徴の例として、ＳＩＦＴ特徴、ハリス（Harris）コーナー特徴、エッジ／輪郭特徴、勾配ヒストグラム（ＨＯＧ）特徴、又は、（正規化された）グレイレベル特徴が挙げられる。基準画像特徴は、特徴の「モデル」又はテンプレートとして、例えばコンピュータユニットのＲＡＭであるメモリ若しくはコンピュータユニットのハードドライブに記憶されるか、又は、将来の参照のために、ディスク若しくは他の外部媒体上に外部的に記憶される。
【００３４】
次に、画像プロセッサは、顕微鏡的ライブフィードＬＦを読み込み、フレームが入力部ＩＮにおいて受信される時に、フィードの各フレームＦｉの画像特徴を計算する。各フレームＦｉは、第２のスライスＳＣ２の特徴を示す顕微鏡ＭＣの現在の視野のキャプチャである。
【００３５】
次に、画像プロセッサＩＰは、マスタ画像の計算された特徴（つまり、テンプレート）を、各フレームＦｉについて計算された特徴に対してマッチさせることを試みる。マッチは、マスタテンプレートと、フィード又はストリームＬＦの各フレームにおける特徴との対応のレベル又は度合いを測定する測定基準に基づいている。
【００３６】
一実施形態では、テンプレート‐フレームマッチングを実現するようにマッチャーＭによって使用される画像マッチングアルゴリズムは、D. Loweによって「Distinctive Image Features from Scale-Invariant Keypoints」（International Journal of Computer Vision、６０、２、９１〜１１０頁、２００４年）に説明されるようなスケール不変特徴変換ＳＩＦＴに基づいている。しかし、当然ながら、本明細書では、他の画像マッチング又は物体認識に基づいた画像位置合わせアルゴリズムも同様に、それらの利点と共に使用される。例えば、本明細書において使用される好適なアルゴリズムの別の例は、一実施形態では、D. Mueller他によって「Real-time deformable registration of multi-modal whole slides for digital pathology」（Computerized Medical Imaging and Graphics、第３５巻、２０１１年、５４２〜５５６頁）において提供される。
【００３７】
これらのアルゴリズムの何れにおいても、測定基準は、対応の度合いを定量化する手段であり、通常は、特徴対応のマッチング品質と、テンプレートにおける特徴位置の下にある形状と一致する特徴対応の総数とに基づいている。例えばＳＩＦＴでは、テンプレートは、（コンボリューション、帯域通過フィルタ、低域通過フィルタ等といった）一連のフィルタを通された後の各画像の（画素強度に関して取られる）勾配挙動又はスケーリング挙動を集約する特徴ベクトルによって規定される。２つの画像の特徴ベクトル間のユークリッド距離又は他の距離尺度が、（適切な正規化の後の）「スコア」を規定する。このスコアが、例えば０．８未満である場合、マッチはない。当該スコアが、少なくとも０．８である場合、マッチがある。本明細書において使用されるマッチング目的の「テンプレート」の別の形式は、１つの画像を別の画像に変換するパラメータ化変換の適切なファミリーを規定することである。この場合、パラメータは、手元における２つの画像に対してフィットされ、費用関数によって評価されてスコアが規定される。例えば費用が低いほど、スコアは高くなる。しかし、ＳＩＦＴといった既存のアルゴリズムは、一般に、画像間に比較的高いレベルの対応を想定する。例えば幾何変形は、通常、向き及びスケールにおける変化だけに限定されると想定され、おそらく、ＳＩＦＴにおけるように、透視変換における非常に小さい変化を可能にする。これらの制約の基になっている論理的根拠は、ＳＩＦＴ及び同様のアルゴリズムは、同様の「視覚的外観」に基づいているため、外観の変化が限られている場合、又は、適切なモデル仮定によって説明される場合には、最もよく機能するという点にある。しかし、これらの仮定は、通常、フレームとマスタ画像との間の有用な特徴対応の数が、かなり低い本病理学的コンテキストでは成立しない。これは、異なる着色処理（一方で、Ｈ＆Ｅ、他方で、Ｈのみ）及び／又はマスタ画像におけるカバースリップの存在による光路の変更等によって引き起こされる。
【００３８】
マスタ画像とフレームとで、視覚的外観が異質であるというこの問題に対処するために、本明細書では、画像プロセッサＩＰを、多重モード、つまり、少なくとも２つのモードで動作させることが提案される。第１の「フィード外」モードでは、マッチャーＭは、上記されたように、マスタ画像ＲＦ１から計算されたテンプレートを、顕微鏡的画像フィードのフレームに対してマッチさせることを試みる。しかし、測定基準評価が、必要な水準にあるマッチがあることを示すと、「インサイドフィード」モードへの「切替え」が生じる。この「インサイドフィード」モードにあるときは、マスタスライドによる最初のテンプレートは破棄され、現在の、見つかったばかりのマッチしたフレームにおける計算された画像特徴が選択される。このフレームは、後続のフレームがそれに対してマッチされる新しいテンプレートになる。つまり、最初のエキストラストリームマッチングは、イントラストリームマッチングに変化する。還元すれば、フレームを、「ストリームの外で」、つまり、（フレームのうちの１つではない）初期のマスタ画像に対してマッチさせることを試みる「クロス」マッチング動作が、ストリーム又はフィード内のフレームをマッチさせようとするマッチング動作に転換する。更に換言すれば、先のマスタ画像対フレームマッチングにおいて、求めている関心領域（マスタ画像において画定されている）が、現在のフレームＦｉによる視野内に完全に又は部分的に存在していることが（対応測定基準の評価によって）分かると、マッチャーＭは、現在の「検索ストラテジ」を破棄し、今度の検索ストラテジは、顕微鏡的ライブフィードからの、マスタ画像のテンプレートにマッチすることが分かった現在のフレームから再計算された新しいテンプレートに基づく。この瞬間以降、画像プロセッサＩＰによって、新しいフレームに基づいたテンプレートが、顕微鏡的画像フィードにおける関心領域の検出に使用される。
【００３９】
マッチャーＭは、今度は、第２の「インフィード」モードで動作する。つまり、マッチャーＭは、今度は、受信した各フレームについて、新しいテンプレートに対する対応レベルの測定基準を評価することによって、フィードにおけるフレームに対してマッチさせることを試みる。測定基準評価が、新しいテンプレートと、フィードからの更なるフレームとの間の対応が、特定の所定閾値を超えることを明らかにすると、今度は、「イントラマッチ」が見つけられ、この新しいマッチが、求めているベストマッチフレームＦｍのインスタンスと見なされる。マッチャーＭは、次に、グラフィカルレンダリングバックエンドに、ベストマッチフレーム上にオーバーレイされるグラフィカルオーバーレイＯＬといったグラフィカルインジケータを生成するように指示する。グラフィカルオーバーレイＯＬは、所定閾値を超える対応レベルを戻したカウンターパート関心領域を示す。当該ベストマッチフレームＦｍは、表示のためにレンダリングされ、ディスプレイユニットＤＵ上で表示される。このようにして、オーバーレイＯＬは、ベストマッチフレームＦｍによって示されるように、現在の視野に対する位置合わせ問題が解決されたことをユーザに視覚的に通知する手段として機能する。つまり、Ｆｍがマッチングフレームであるという事実は、マスタ画像におけるＲＯＩ位置に対応するフレームＦｍにおける位置、即ち、カウンターパートＲＯＩが特定されたと解釈される。したがって、基準画像ＲＦ１においてマークされたＲＯＩとのマッチが、（現在のマッチングフレームＦｍによる）視野について見つかると、これは、現在のフレームの視野において見られる画像が、基準画像ＲＦ１のターゲット位置に対応することを意味する。この場合、（両方の画像における）カウンターパートＲＯＩの境界の位置又は「コース」は、同じ（又はほぼ同じ）と想定され、視野内のカウンターパートＲＯＩにおいて、フレームＦｍ上にグラフィカルオーバーレイＯＬをオーバーレイすることによって、マッチングフレームにおけるカウンターパートＲＯＩの境界の位置／コースを可視化することができる。
【００４０】
インフィードフレームマッチが見つかったことをユーザに通知するために、フレームの境界部分の色の変化又は同様の視覚効果といった他の形式の視覚通知を使用することもできる。本明細書では、視覚通知に代えて又は視覚通知と組み合わせて、音声通知も考えられる。マッチャーＭのイベントハンドラは、入力ポートにおいて、フィードから新しいフレームが受信されたかどうかを確認し、受信されている場合は、上記された先の計算が繰り返され、今度は、現在のテンプレートの後続のフレームに対する対応レベルを評価する。本明細書では、最初に見つかった基準フレームテンプレートは、更なるインフィードマッチングのための基準テンプレートのままであることが考えられる。しかし、この主題における変形例も考えられる。例えば手元において新しく見つけられたフレームが、ターゲットＲＯＩと更に優れたオーバーラップを有する（つまり、より優れてマッチングする）場合、更なる転換が生じ、現在保持されているフレームテンプレートが破棄され、新しいフレームテンプレートが選択される。この２回目の転換は、一実施形態では、ユーザによって、又は、顕微鏡的画像フィードを供給する顕微鏡ＭＣのイメージング設定の自動変更後に、トリガされる。例えば一実施形態では、ユーザ、又は、スキャニングプロトコルが、倍率を変更する（つまり、焦点面若しくは距離を変更する、又は、レンズを切り替える等）と、顕微鏡の回路内のコントローラインターフェースによって、対応するシステムコールが発行され、マッチャーＭに転送される。対応するイベントハンドラが、焦点面変更イベントをインターセプトし、これにより、マッチャーＭは、現在のテンプレートに対する次のマッチングフレームが見つかると、現在のフレームテンプレートを新しいテンプレートに置き換えるように動作する。
【００４１】
上記から分かるように、マッチャーの第１の基準画像に対するストリーム外マッチングから、ストリームのフレーム「内」マッチングへの上記された転換機能によって、物体認識問題は、かなり簡単に解決できるようになる。これは、新しいフレームに基づいたテンプレート（つまり、１回目の切替え後に見つけられたテンプレート）は、顕微鏡によって提供されるターゲットＲＯＩに、視覚的外観において、より類似しているからである。第２のスライドＳＬのフレームに基づいておらず、基準画像ＲＦ１（したがって、第１のスライドＳＬＣの画像）に基づいている最初のテンプレートは、顕微鏡によって取得されるデータからの顕微鏡的フィードによって捕捉されるフレームにおける画像データに対し、様々な差を示す。このような差は、様々な方向、スケール、形状、照明、染色及び画像形成における差による全般的な外観によって引き起こされる。転換によって、マスタ画像とライブフィードにおけるフレームとのこれらの差が回避されることによって、マッチング処理は、より容易となる。結果として、計算上の複雑さが減少されるので、マッチング処理の性能は、ロバスト性、精度及びスループット時間に関して向上する。特に、ユーザエキスペリエンスは、向上されたロバスト性及びより高いスループットによる恩恵を大きく受ける。本明細書において提案されるアルゴリズムの計算の複雑さが低いことにより、あまり高度ではない（例えば低価格又はモバイルの）コンピュータプラットフォームを使用しても、リアルタイム動作が可能となる。
【００４２】
上記から理解されるように、切替え、特に、マスタ画像からフレームベースのテンプレートへの１回目の切替えを開始させる信号は、マッチングアルゴリズムの実行によって生成される信号を使用することによって生成される。特に、切替え信号は、一方で、フレームとマスタテンプレートとの間の対応レベルに関連付けられるか、又は、顕微鏡システムのイメージング設定の変更に応じて生じる転換の場合は、フレーム間の対応レベルに関連付けられる。換言すれば、これらの実施形態では、テンプレート交換は、自動的に生じる。つまり、ユーザの決定が果たす役割はない。しかし、他の実施形態では、ユーザに、現在のテンプレートの新しいアップデートされたテンプレートへの交換が生じるべきかどうかを決定する信号がユーザによって発行される「オーバーライド」機能が提供される。この実施形態では、マッチャーＭは、ポインタツールＰＴイベント（マウスクリック等）又はタッチスクリーンイベントといったユーザ発行信号を聴く、適切に設定されたイベントハンドラを有する。これらの実施形態では、ユーザは、（例えばスクリーンＤＵに表示されている）現在のフレームが求めているカウンターパート関心領域の表現を含むことにより、現在保持されているテンプレートの代わりにテンプレートのベースとして使用されるべきであると考えると、クリックする、タッチする、又は、信号を発行することが考えられる。この場合、マッチャーは、対応レベルの計算を一時中断するが、現在ユーザが選択しているフレームの画像特徴は計算し、これらの画像特徴を、将来のマッチング動作のテンプレートとして使用する。一実施形態では、マッチャーは、依然として、対応レベルの計算を完了し、数値を表示するか、又は、色コーディング等によって、現在の対応レベルを示して、現在見ている画像特徴をテンプレートとして採用することを望むかどうかに関する決定のための根拠を、ユーザに提供するように構成される。ユーザは、今度は、選択を考え直すためのマウスクリック等によるオプションを有することになり、その場合、現在見られているフレームは、依然として、新しいテンプレートのベースにはされておらず、現在保持されているテンプレートが保たれる。そうでなければ、ユーザは、「承諾」信号を発行し、現在の画像に基づいたテンプレートが採用されて、後続のマッチングの試みに使用される。
【００４３】
本明細書において更に、マスタ画像に基づいたテンプレートをフレームに基づいたテンプレートに交換することによって計算上の複雑さが減少されることにより、フレームレートが増加され、また、画像認識のロバスト性及び精度も増加されることは理解されよう。テンプレート交換の効果は、一般に、最初にマスタ画像をフレームにマッチさせるのにかかる時間と、交換されたフレームテンプレートをフィードにおけるフレームにマッチさせるのにかかる時間とでは、認識時間が減少することである。
【００４４】
マッチされたＲＯＩに基づいて、画像（つまり、マスタ画像ＲＦ１とそのマッチングフレーム）は、位置合わせされ（つまり、共通の座標系において整列され）、ベストマッチフレームＦｍにおけるカウンターパートＲＯＩの画像座標が決定される。このように決定されたＲＯＩの画像座標は、顕微鏡ディセクタＭＤの動作を制御し、がん組織ＣＣを分離するために使用される。当該座標は、ランセット又は他の掻爬器具によるＣＣの手動除去にも使用される。
【００４５】
次に、図２におけるフローチャートを参照する。上記された画像マッチングアルゴリズムの基本的なステップがまとめられている。
【００４６】
ステップＳ２０５において、例えば顕微鏡的フィードＦＬの１つ以上のフレームＦｉが受信される。
【００４７】
ステップＳ２１０において、第１の基準画像から導出されたテンプレートに対する現在のフレームにおける画像特徴のマッチングが試みられる。
【００４８】
ステップＳ２１５において、マッチがあるかどうかが決定され、マッチがある場合には、ステップＳ２２０において、第１のモードから第２のマッチモード動作への切替えが行われる。
【００４９】
ステップＳ２２０における切替えは、現在のテンプレートを、マッチングフレームの画像特徴から計算される新しいテンプレートと交換することを含む。一実施形態では、マッチがあるかどうかに関する決定は、フレームにおける画像特徴から計算されるスコアによって測定され、所定閾値に対して比較される対応度に基づいている。現在のフレームにおける画像特徴が、閾値を超えるスコアを戻した場合に、マッチが生じたと見なされる。そうでなければ、現在のフレームは、基準画像テンプレートにマッチしていないと見なされる。
【００５０】
ワークフローは、次に、ステップＳ２２５に進み、新しいテンプレートを、フィードの後続のフレームに対して、それらのフレームが到来するにつれて、マッチングさせることが試みられる。
【００５１】
ステップＳ２３０において、新しいテンプレートに対する更なるマッチが検出されると、ステップＳ２３５において、新しいマッチングするフレームが出力される。一実施形態では、出力することは、新しいマッチングするフレームを表示することを含む。一実施形態では、表示することは、所定閾値を超えるスコアを戻したマッチングフレームにおける当該部分を指定するグラフィカル記号をオーバーレイすることを含む。
【００５２】
ワークフローは、次に、ステップＳ２２５に戻り、入来するストリームにおける更なるマッチを見つける試みをする。
【００５３】
一実施形態では、ステップＳ２２０における切替えは、ユーザによって発行された切替え信号ＳＷＳによってトリガされてもよい。即ち、この場合における切替えは、現在のフレームの画像特徴が十分に高いスコアを戻すことによって引き起こされるのではない。つまり、この場合、スコアは無視され、ユーザによって発行された信号ＳＷＳが、Ｓ２２０における切替えを強制する。一実施形態では、更なる交換が生じるが、現在保持されているフレームベースのテンプレートから（次のマッチングフレームから導出される）異なる同様のフレームベースのテンプレートへのこの交換は、フレームストリームを供給するイメージャのイメージング設定における変更に応じて生じる。イメージング設定が変更されたという信号が受信されると、フレームテンプレートからフレームテンプレートへの交換が、現在保持されているテンプレートにマッチする更なるフレームが見つかるとすぐに行われる。
【００５４】
一実施形態では、本明細書において提案さる画像プロセッサは、一般的なコンピュータプラットフォームといったワークステーション上でソフトウェアルーティンとして実行されることが考えられる。しかし、他の実施形態では、画像プロセッサは、専用ＦＰＧＡ又は配線で接続されたスタンドアロンチップとして構成されてもよい。画像プロセッサの構成要素は、Ｍａｔｌａｂ（登録商標）又はＶｉｓｕａｌ  Ｓｔｕｉｄｏ（登録商標）といった適切な科学コンピュータプラットフォームにおいてプログラムされてもよい。例えばＭａｔｌａｂ（登録商標）スイートは、「画像処理ツールボックス」を特徴とする。
【００５５】
本発明の別の例示的な実施形態では、適切なシステム上で、上記実施形態のうちの１つによる方法の方法ステップを実行するように適応されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
【００５６】
したがって、コンピュータプログラム要素は、本発明の一実施形態の一部であってもよいコンピュータユニットに記憶されてよい。このコンピュータユニットは、上記方法のステップを行う又は実行を誘導する。更に、このコンピュータユニットは、上記装置の構成要素を動作させる。コンピュータユニットは、自動的に動作する、及び／又は、ユーザの命令を実行するように適応される。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされる。したがって、データプロセッサは、本発明の方法を実行するように装備されている。
【００５７】
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。
【００５８】
更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすのに必要なすべてのステップを提供可能である。
【００５９】
本発明の更なる例示的な実施形態によれば、ＣＤ−ＲＯＭといったコンピュータ可読媒体が提示され、コンピュータ可読媒体には、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は、先のセクションに説明されている。
【００６０】
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶される及び／又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。
【００６１】
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワーク上に提示され、当該ネットワークからデータプロセッサのワーキングメモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの１つによる方法を行うように構成されている。
【００６２】
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、システムタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び以下の説明から、特に明記されない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。
【００６３】
本発明は、図面及び上記説明において詳細に例示され、説明されたが、当該例示及び説明は、例示的に見なされるべきであり、限定的に見なされるべきではない。本発明は、開示される実施形態に限定されない。開示された実施形態の他の変形態様は、図面、開示内容及び従属請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。
【００６４】
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「ａ」又は「ａｎ」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。
【図１】
0006445000.tif 000002
【図２】
0006445000.tif 000003