(57)【要約】  開示されている実施形態は、明視野撮像モードおよび蛍光撮像モードで得られる画像データを組み合わせることによって染色組織試料の合成画像を作成するシステムに関する。明視野撮像モードで動作する間、システムは、染色組織試料に広帯域光を照射し、明視野組織学的画像を含む画像データをマルチスペクトル撮像システムを使用して集める。蛍光撮像モードで動作する間、システムは、染色組織試料に１つ以上の帯域の励起光を照射し、得られる蛍光発光に関連する画像データをマルチスペクトル撮像システムを使用して集める。次に、システムは、明視野撮像モードおよび／または蛍光撮像モードの間に集めた画像データを処理する。最後に、システムは、明視野撮像モードおよび蛍光撮像モードの間に集めた画像データを組み合わせて合成画像を作成する。
2021529951.tif 000002
【特許請求の範囲】
【請求項１】
明視野撮像モードおよび蛍光撮像モードで得られる画像データを組み合わせることによる染色組織試料の合成画像の作成方法であって、
明視野撮像モードで動作する間、前記染色組織試料に広帯域光を照射し、明視野組織学的画像を含む画像データをマルチスペクトル撮像システムを使用して集める工程と、
蛍光撮像モードで動作する間、前記染色組織試料に１つ以上の帯域の励起光を照射し、得られる蛍光発光に関連する画像データを前記マルチスペクトル撮像システムを使用して集める工程と、
前記明視野撮像モードおよび／または蛍光撮像モードの間に集めた画像データを処理する工程と、
前記明視野撮像モードおよび蛍光撮像モードの間に集めた画像データを組み合わせて前記合成画像を作成する工程とを含む、方法。
【請求項２】
前記画像データを処理する工程は、前記画像データ中において対象の構造巨大分子関連組織成分を背景要素から抽出することを伴う、請求項１に記載の方法。
【請求項３】
前記対象の構造巨大分子関連組織成分は、
コラーゲン、
基底膜、
エラスチン、
アミロイド、
リポフスチン、および
メラニンのうちの１種以上を含む、請求項２に記載の方法。
【請求項４】
前記画像データを処理する工程は、前記画像データに対して成分非特異的画像処理動作を実行して画質を改善することを伴う、請求項１に記載の方法。
【請求項５】
前記画像データに対する成分非特異的画像処理動作の実行は、以下の動作：
スペクトルの分離、
スペクトルのセグメント化、
色類似度マッピング、および
機械学習に基づく画像処理技術
のうちの１つ以上を実行することを伴う、請求項１に記載の方法。
【請求項６】
前記画像データを処理する工程は、前記蛍光画像データから対象種マップを生成することを伴い、
前記画像データを組み合わせる工程は、前記対象種マップを前記明視野組織学的画像に重ねて前記合成画像を生成することを伴い、前記合成画像は、対象の分子の存在、外観、および／または存在量を強調する、請求項１に記載の方法。
【請求項７】
前記画像データを処理する工程は、前記蛍光画像データに対して画像処理動作を実行して画質を改善することを伴い、
前記画像データを組み合わせる工程は、前記処理された蛍光画像データと前記明視野組織学的画像とを組み合わせて前記合成画像を生成することを伴い、前記合成画像は前記明視野組織学的画像のみよりも多くの情報を提供する、請求項１に記載の方法。
【請求項８】
前記画像処理動作は、以下の動作：
色反転、
ヒストグラム操作、
自動ホワイトバランス、
エッジ検出、
鮮明化、
付影処理、および
ブレンド
のうちの１つ以上を含む、請求項７に記載の方法。
【請求項９】
前記染色組織試料は、
ヘマトキシリンおよびエオシン、
過ヨウ素酸シッフ染色、
エラスチカ・ワンギーソン染色、
レチクリン染色、
ヨウ化プロピジウム、
蛍光染色、
脂質染色、
ヘマトキシリン対比染色を用いる発色性免疫染色、
ヘマトキシリン対比染色を用いる蛍光性免疫染色、
４’，６−ジアミジノ−２−フェニルインドール（ＤＡＰＩ）対比染色、
ヌクレアファストレッド対比染色、ならびに
ファストグリーン対比染色
のうちの１つ以上を使用して染色される、請求項１に記載の方法。
【請求項１０】
前記マルチスペクトル撮像システムは、マルチスペクトルカメラを含む、請求項１に記載の方法。
【請求項１１】
前記マルチスペクトル撮像システムは、複数のカメラを含む、請求項１に記載の方法。
【請求項１２】
前記複数のカメラは、グレースケールカメラおよび／またはカラーカメラを含む、請求項１１に記載の方法。
【請求項１３】
前記明視野撮像モードにおいて染色組織試料に広帯域光を照射する工程は、
白色ＬＥＤまたはその他の広帯域光源を使用して前記広帯域光を生成すること、および
前記広帯域光をディフューザまたはその他の機構に通して前記組織試料への照射を提供することを伴う、請求項１に記載の方法。
【請求項１４】
前記染色組織試料に広帯域光を照射する代わりに、前記方法は、前記染色組織試料を異なる色の光に順次曝露することを伴う、請求項１に記載の方法。
【請求項１５】
前記蛍光撮像モードの間に染色組織試料に照射する工程は、
１つ以上のＬＥＤまたはその他の光源を使用して前記励起光を生成することと、
任意に、前記励起光を励起スペクトルフィルタに通すことと、
任意に、平行光学系を使用して前記励起光を平行にすることと、
前記染色組織試料に照射する前に、ダイクロイックミラーを使用して前記励起光を対物レンズに通すこととを伴う、請求項１に記載の方法。
【請求項１６】
前記蛍光撮像モードの間、前記方法は、
対物レンズに通すことなく前記染色組織試料に照射するために前記染色組織試料の方へと斜めに向けた励起光を用いて、蛍光画像を生成する工程と、
前記励起光が前記染色組織試料に遭遇する前に、任意に、前記励起光を励起フィルタに通す工程と、
得られる蛍光発光シグナルが前記マルチスペクトル撮像システム内においてセンサに遭遇する前に、前記蛍光発光シグナルを前記対物レンズおよび発光フィルタに通す工程とを含む、請求項１に記載の方法。
【請求項１７】
前記蛍光撮像モードの間、前記励起光は、約３００ｎｍ〜８００ｎｍのスペクトル範囲に入るよう構成される、請求項１に記載の方法。
【請求項１８】
前記励起光は、発光源と、任意に、ショートパスフィルタ、バンドパスフィルタ、またはマルチバンドパスフィルタ、ならびに／または適合するダイクロイックミラーおよび発光フィルタとを組み合わせて用いて生成される、請求項１７に記載の方法。
【請求項１９】
前記画像データを含む画像は、複数の励起帯を使用して順次集められる、請求項１７に記載の方法。
【請求項２０】
前記蛍光撮像モードの間、１つ以上の狭帯域光源からの前記励起光は、適合するノッチダイクロイックミラーおよび発光フィルタを通して前記染色組織試料に向けられ、
対応する励起波長よりも短い波長および／またはこれよりも長い波長を有するスペクトル帯の発光光が集められる、請求項１に記載の方法。
【請求項２１】
前記染色組織試料は、ｘｙステージ上に保持された組織学用スライド上に載せられ、
前記明視野撮像モードおよび蛍光撮像モードの間、前記方法はさらに、
前記ｘｙステージを使用して前記スライドを異なる（ｘ，ｙ）位置に動かし、前記マルチスペクトル撮像システムを使用して前記異なる（ｘ，ｙ）位置の各々における前記組織試料の画像を取り込む工程と、
スティッチングソフトウェアおよび／またはアライメントソフトウェアを使用して、前記異なる（ｘ，ｙ）位置において取り込まれた画像から、前記組織試料の全体について前記組織試料の画像を構成する工程とを含む、請求項１に記載の方法。
【請求項２２】
前記方法はさらに、前記合成画像を機械学習に基づく分析ツールにフィードして、診断、定量化、臨床成果との相関付けを容易にする工程を含む、請求項１に記載の方法。
【請求項２３】
前記方法によって作成される対象の成分の画像は、存在量、向き、線維形態、テクスチャ、および干渉性のうちの１つ以上に基づいて定量される、請求項１に記載の方法。
【請求項２４】
前記蛍光撮像モードの間、前記方法は、広帯域画像シグナルをバンドパスフィルタリングに供することなく、ロングパスフィルタリングを使用して前記広帯域画像シグナルを集める、請求項１に記載の方法。
【請求項２５】
前記方法はさらに、前記合成画像、前記明視野組織学的画像、前記蛍光画像、および抽出された対象の成分の画像のうちの２つ以上の間でのトグルを容易にする表示システムによって、前記合成画像を表示する工程を含む、請求項１に記載の方法。
【請求項２６】
明視野撮像モードおよび蛍光撮像モードで得られる画像データを組み合わせることによって染色組織試料の合成画像を作成するシステムであって、
前記染色組織試料に広帯域光を照射し、明視野組織学的画像を含む画像データをマルチスペクトル撮像システムを使用して集める、明視野撮像機構と、
前記染色組織試料に１つ以上の帯域の励起光を照射し、得られる蛍光発光に関連する画像データを前記マルチスペクトル撮像システムを使用して集める、蛍光撮像機構と、
前記明視野撮像モードおよび／または蛍光撮像モードの間に集めた画像データを処理する処理機構と、
前記明視野撮像モードおよび蛍光撮像モードの間に集めた画像データを組み合わせて前記合成画像を作成する組み合わせ機構とを備える、システム。
【請求項２７】
前記画像データを処理する間、前記処理機構は、前記画像データ中において対象の構造巨大分子関連組織成分を背景要素から抽出する、請求項２６に記載のシステム。
【請求項２８】
前記対象の構造巨大分子関連組織成分は、
コラーゲン、
基底膜、
エラスチン、
アミロイド、
リポフスチン、および
メラニンのうちの１種以上を含む、請求項２７に記載のシステム。
【請求項２９】
前記画像データを処理する工程は、前記画像データに対して成分非特異的画像処理動作を実行して画質を改善することを伴う、請求項２６に記載のシステム。
【請求項３０】
前記画像データに対する成分非特異的画像処理動作の実行は、以下の動作：
スペクトルの分離、
スペクトルのセグメント化、
色類似度マッピング、および
機械学習に基づく画像処理技術
のうちの１つ以上を実行することを伴う、請求項２６に記載のシステム。
【請求項３１】
前記染色組織試料は、
ヘマトキシリンおよびエオシン、
過ヨウ素酸シッフ染色、
エラスチカ・ワンギーソン染色、
レチクリン染色、
ヨウ化プロピジウム、
蛍光染色、
脂質染色、
ヘマトキシリン対比染色を用いる発色性免疫染色、
ヘマトキシリン対比染色を用いる蛍光性免疫染色、
４’，６−ジアミジノ−２−フェニルインドール（ＤＡＰＩ）対比染色、
ヌクレアファストレッド対比染色、ならびに
ファストグリーン対比染色
のうちの１つ以上を使用して染色される、請求項２６に記載のシステム。
【請求項３２】
前記蛍光撮像モードの間、前記励起光は、約３００ｎｍ〜８００ｎｍのスペクトル範囲に入るよう構成される、請求項２６に記載のシステム。
【請求項３３】
前記染色組織試料は、ｘｙステージ上に保持された組織学用スライド上に載せられ、
前記明視野撮像モードおよび蛍光撮像モードの間、前記システムは、
前記ｘｙステージを使用して前記スライドを異なる（ｘ，ｙ）位置に動かし、前記マルチスペクトル撮像システムを使用して前記異なる（ｘ，ｙ）位置の各々における前記組織試料の画像を取り込み、
スティッチングソフトウェアおよび／またはアライメントソフトウェアを使用して、前記異なる（ｘ，ｙ）位置において取り込まれた画像から、前記組織試料の全体について前記組織試料の画像を構成する、請求項２６に記載のシステム。
【請求項３４】
前記システムはさらに、前記合成画像を分析して診断、定量化、臨床成果との相関付けを容易にする、機械学習に基づく分析ツールを備える、請求項２６に記載のシステム。
【請求項３５】
前記システムはさらに、前記合成画像を表示する表示システムを備え、前記表示システムは、前記合成画像、前記明視野組織学的画像、前記蛍光画像、および抽出された対象の成分の画像のうちの１つ以上の間でのトグルを容易にする、請求項２６に記載のシステム。
【請求項３６】
蛍光撮像によって得られるデータから染色組織試料の画像を作成する方法であって、
前記染色組織試料に１つ以上の帯域の励起光を照射する工程と、
得られる蛍光発光に関連する画像データをマルチスペクトル撮像システムを使用して集める工程と、
前記画像データ中において対象の構造巨大分子関連組織成分を背景要素から抽出することによって前記画像データを処理する工程とを含む、方法。
【請求項３７】
前記対象の構造巨大分子関連組織成分は、
コラーゲン、
基底膜、
エラスチン、
アミロイド、
リポフスチン、および
メラニン
のうちの１種以上を含む、請求項３６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本願は、米国特許法第１１９条に準拠して、本出願と同じ発明者らによる米国仮出願第６２／６９１，０９５号（発明の名称「追加の染色または複雑な光学系を用いないＨ＆Ｅスライド上でのコラーゲンおよびその他の組織構造成分の空間分布の検出」、２０１８年６月２８日付で提出）に基づく優先権を主張するものであり、この仮出願の内容を引用により本明細書に援用する。
【背景技術】
【０００２】
背景
分野
開示されている実施形態は、概して、組織試料の画像を作成する技術に関する。より具体的には、開示されている実施形態は、明視野撮像モードおよび蛍光撮像モードで得られる画像データを組み合わせることによって染色組織試料の合成画像を作成する技術に関し、当該合成画像は、コラーゲンからなる成分などの構造巨大分子関連組織成分をより良好に可視化するために使用できる。
【０００３】
関連技術
コラーゲンは細胞外マトリックスの主成分であり、腫瘍微小環境において、腫瘍細胞の挙動を調節し、細胞の接着、増殖、および遊走に重要な役割を果たしていることが明らかになっている。特に原発性乳腺腫瘍の近傍におけるコラーゲン線維の種類、存在量、および並びが、腫瘍の進行および伝播に関与する重要な間質的特徴であることが明らかになってきている。たとえば、がん転移における最初の段階において、腫瘍細胞が遊走して細胞外マトリックスを通過し、リンパ系または血管系に入る。特に、乳がん、卵巣がん、膵臓がん、および脳がんを含む非常に多くの固形腫瘍において、コラーゲン密度の高い領域が、侵襲性腫瘍細胞表現型と同じ位置にある。一方、腫瘍の周縁部にまばらに並んでいるコラーゲン線維が侵襲性の疾患と相互に関係していることも報告されている。さらに、コラーゲンは、肝臓および腎臓の線維症、ならびに炎症性腸障害を含むその他の多くの疾患プロセスにも関与している。
【０００４】
結合繊維の組織局在性および定量的表現についての推定を行なうためには、組織学的検体におけるコラーゲンの分布を検出できれば有利である。コラーゲン線維の分布および量は、組織切片に対していくつかの形態学的技術を用いることによって評価できる。これらのうち、組織化学によって、組織中の総コラーゲン含有量およびコラーゲンサブタイプの含有量を検出する従来の手順がもたらされている。しかしながら、広く使用されている慣習的なトリクローム染色ではコラーゲン含有量が実際よりも少なく検出されることが分かっている。これよりも優れた、ピクロシリウスレッド染色に基づく検出技術が、ほとんどの型のコラーゲンに対して特異的であるために広く使用されており、よって、この技術が、肝臓、肺、腎臓、および胃腸管などの臓器において線維症を定量的に推定する目的で広く使用されている。しかしながら、この技術は、臨床組織学では通例的には使用されておらず、また、さらなるスライドおよび染色工程を伴うためにコスト増およびワークフロー複雑化を生じ、検体が非常に小さい場合には問題が生じ得る。
【０００５】
光学技術に基づく別のアプローチとして、コラーゲンを強調できる第二高調波発生（ＳＨＧ）または偏光などの様々な現象を使用するものがある。しかしながら、ＳＨＧは高価なアプローチであり、多光子レーザおよび共焦点走査光学系が必要となり、Ｉ型、ＩＩ型、およびＩＩＩ型コラーゲンなどの非中心対称性分子に特異的であり、さらに、向き依存性が非常に高い。また、強くて検出可能なＳＨＧシグナルを生成するためには、光の偏光の向きとコラーゲン線維の向きとがいくらか一致していることが必要となり、この技術ではＩＶ型コラーゲンを強調することができない。
【０００６】
よって、組織試料中におけるコラーゲンなどの巨大分子を強調できる、簡便、高感度、低コスト、かつ非破壊的な技術が必要とされている。
【発明の概要】
【０００７】
概要
開示されている実施形態は、明視野撮像モードおよび蛍光撮像モードで得られる画像データを組み合わせることによって染色組織試料の合成画像を作成するシステムに関する。明視野撮像モードで動作する間、システムは、染色組織試料に広帯域光を照射し、明視野組織学的画像を含む画像データをマルチスペクトル撮像システムを使用して集める。蛍光撮像モードで動作する間、システムは、染色組織試料に１つ以上の帯域の励起光を照射し、得られる蛍光発光に関連する画像データをマルチスペクトル撮像システムを使用して集める。次に、システムは、明視野撮像モードおよび／または蛍光撮像モードの間に集めた画像データを処理する。最後に、システムは、明視野撮像モードおよび蛍光撮像モードの間に集めた画像データを組み合わせて合成画像を作成する。
【０００８】
いくつかの実施形態において、画像データを処理する間、システムは、画像データ中において対象の構造巨大分子関連組織成分を背景要素から抽出する。
【０００９】
いくつかの実施形態において、対象の構造巨大分子関連組織成分は、コラーゲン、基底膜、エラスチン、アミロイド、リポフスチン、およびメラニンのうちの１種以上を含む。
【００１０】
いくつかの実施形態において、画像データを処理する間、システムは、画像データに対して成分非特異的画像処理動作を実行して画質を改善する。
【００１１】
いくつかの実施形態において、成分非特異的画像処理動作を実行する間、システムは、以下の動作のうちの１つ以上を実行する：スペクトルの分離、スペクトルのセグメント化、色類似度マッピング、および機械学習に基づく画像処理技術。
【００１２】
いくつかの実施形態において、画像データを処理する間、システムは、蛍光画像データから対象種マップを生成する。次に、画像データを組み合わせる間、システムは、対象種マップを明視野組織学的画像に重ねて合成画像を生成し、合成画像は、対象の分子の存在、外観、および／または存在量を強調する。
【００１３】
いくつかの実施形態において、画像データを処理する間、システムは、蛍光画像データに対して画像処理動作を実行して画質を改善する。次に、画像データを組み合わせる間、システムは、処理された蛍光画像データと明視野組織学的画像とを組み合わせて合成画像を生成し、合成画像は明視野組織学的画像のみよりも多くの情報を提供する。
【００１４】
いくつかの実施形態において、画像処理動作は、以下の動作のうちの１つ以上を含む：色反転、ヒストグラム操作、自動ホワイトバランス、エッジ検出、鮮明化、付影処理、およびブレンド。
【００１５】
いくつかの実施形態において、染色組織試料は、ヘマトキシリンおよびエオシン（Ｈ＆Ｅ）、過ヨウ素酸シッフ染色、エラスチカ・ワンギーソン染色（Verhoeff-Van Gieson stain）、レチクリン染色、ヨウ化プロピジウム、蛍光染色、脂質染色、ヘマトキシリン対比染色を用いる発色性免疫染色、ヘマトキシリン対比染色を用いる蛍光性免疫染色、４’，６−ジアミジノ−２−フェニルインドール（ＤＡＰＩ）対比染色、ヌクレアファストレッド（nuclear fast red）対比染色、ならびにファストグリーン対比染色のうちの１つ以上を使用して染色される。
【００１６】
いくつかの実施形態において、マルチスペクトル撮像システムは、マルチスペクトルカメラを含む。
【００１７】
いくつかの実施形態において、マルチスペクトル撮像システムは、複数のカメラを含む。
【００１８】
いくつかの実施形態において、複数のカメラは、グレースケールカメラおよび／またはカラーカメラを含む。
【００１９】
いくつかの実施形態において、明視野撮像モードにおいて染色組織試料に広帯域光を照射する間、システムは、白色ＬＥＤまたはその他の広帯域光源を使用して広帯域光を生成し、広帯域光をディフューザまたはその他の機構に通して組織試料への照射を提供する。
【００２０】
いくつかの実施形態において、蛍光撮像モードの間に染色組織試料に照射する間、システムは、１つ以上のＬＥＤまたはその他の光源を使用して励起光を生成する。次に、システムは、任意に、励起光を励起スペクトルフィルタに通し、任意に、平行光学系を使用して励起光を平行にする。最後に、システムは、染色組織試料に照射する前にダイクロイックビームスプリッタを使用して励起光を対物レンズに通す。
【００２１】
いくつかの実施形態において、蛍光撮像モードの間、システムは、対物レンズに通すことなく染色組織試料に照射するために染色組織試料の方へと斜めに向けた励起光を用いて、蛍光画像を生成する。次に、システムは、励起光が染色組織試料に遭遇する前に、任意に、励起光を励起フィルタに通す。最後に、システムは、得られる蛍光発光シグナルがマルチスペクトル撮像システム内においてセンサに遭遇する前に、蛍光発光シグナルを対物レンズおよび発光フィルタに通す。
【００２２】
いくつかの実施形態において、蛍光撮像モードの間、励起光は、約３００ｎｍ〜８００ｎｍのスペクトル範囲に入るよう構成される。
【００２３】
いくつかの実施形態において、システムは、発光源と、任意に、ショートパスフィルタ、バンドパスフィルタ、またはマルチバンドパスフィルタ、ならびに／または適合するダイクロイックミラーおよび発光フィルタとを組み合わせて用いて、励起光を生成する。
【００２４】
いくつかの実施形態において、画像データを含む画像は、複数の励起帯を使用して順次集められる。
【００２５】
いくつかの実施形態において、蛍光撮像モードの間、１つ以上の狭帯域光源からの励起光は、適合するノッチダイクロイックミラーおよび発光フィルタを通して染色組織試料に向けられる。次に、システムは、対応する励起波長よりも短い波長および／またはこれよりも長い波長を有するスペクトル帯の発光光を集める。
【００２６】
いくつかの実施形態において、染色組織試料は、ｘｙステージ上に保持された組織学用スライド上に載せられる。明視野撮像モードおよび蛍光撮像モードの間、システムは、ｘｙステージを使用してスライドを異なる（ｘ，ｙ）位置に動かし、マルチスペクトル撮像システムを使用して異なる（ｘ，ｙ）位置の各々における組織試料の画像を取り込む。次に、画像を処理する間、システムは、スティッチングソフトウェアおよび／またはアライメントソフトウェアを使用して、異なる（ｘ，ｙ）位置において取り込まれた画像から、組織試料の全体について組織試料の画像を構成する。
【００２７】
いくつかの実施形態において、システムは、合成画像を機械学習に基づく分析ツールにフィードして、診断、定量化、臨床成果との相関付けを容易にする。
【００２８】
いくつかの実施形態において、システムは、存在量、向き、繊維形態、テクスチャ、および干渉性のうちの１つ以上に基づき、対象の成分の画像について定量化を行なう。
【００２９】
いくつかの実施形態において、蛍光撮像モードの間、システムは、広帯域画像シグナルをバンドパスフィルタリングに供することなく、ロングパスフィルタリングを使用して広帯域画像シグナルを集める。
【００３０】
いくつかの実施形態において、システムは、合成画像、明視野組織学的画像、蛍光画像、および抽出された対象の成分の画像のうちの２つ以上の間でのトグルを容易にする表示システムによって、合成画像を表示する。
【００３１】
図面の簡単な説明
本特許または出願ファイルは、少なくとも１つのカラー図面を含む。カラー図面を伴う本特許または特許出願公報のコピーは、請求および必要な料金の支払に応じて庁から提供される。
【図面の簡単な説明】
【００３２】
【図１Ａ】開示されている実施形態に従う蛍光撮像モードと明視野撮像モードとを組み合わせたデュアルモード撮像システムを示す。
【図１Ｂ】図１Ｂ−１〜図１Ｂ−６は、開示されている実施形態に従うＨ＆Ｅ染色したＦＦＰＥスライドから取り込んだヒトの腎臓組織、乳房組織、および肝臓組織の画像を示す。
【図２】図２Ａ〜図２Ｊは、開示されている実施形態に従うヒト腎臓組織の様々なマルチスペクトルおよび分析画像を示す。
【図３】図３Ａ〜図３Ｊは、開示されている実施形態に従うヒトの乳房組織、子宮頚部組織、および膵臓組織の様々な画像を示す。
【図４】図４Ａ〜図４Ｆは、開示されている実施形態に従う、ヒトの腎臓および肝臓についてのセグメント化後の明視野画像および抽出したコラーゲンの画像、ならびに組織試料のＳＨＧ画像を示す。
【図５】図５Ａ〜図５Ｃは、開示されている実施形態に従うヒト肝臓組織における中心静脈のＨ＆Ｅ画像、仮想のトリクローム画像、および実際のトリクローム画像を示す。
【図６】開示されている実施形態に従う組織試料のＨ＆Ｅ画像、ＩＨＣ画像、仮想および実際のトリクローム画像を示す。
【図７】開示されている実施形態に従う明視野撮像モードおよび蛍光撮像モードで得られる画像データを組み合わせることによって染色組織試料の合成画像を作成するプロセスを示すフローチャートを示す。
【発明を実施するための形態】
【００３３】
詳細な説明
以下の説明は、当業者が本実施形態を実現かつ使用できるようにするために示されるものであり、特定の応用例およびそれに必要とされる条件というコンテクストにおいて提供されるものである。開示されている実施形態の様々な変形が、当業者には速やかに明らかとなるであろう。また、本明細書において定義されている一般原理は、本実施形態の精神および範囲から逸脱することなく、他の実施形態および応用例にも適用され得る。よって、本実施形態は、示されている実施形態に限定されるものではなく、本明細書中に開示されている原理および特徴と矛盾しない最も広い範囲に一致することが意図されている。
【００３４】
この詳細な説明において記載されているデータ構造およびコードは、典型的には、コンピュータシステムにより使用するためのコードおよび／またはデータを格納できる任意のデバイスまたは媒体であってよいコンピュータ読取可能な記憶媒体に格納される。こうしたコンピュータ読取可能な記憶媒体は、揮発性メモリ；不揮発性メモリ；ディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスクまたはデジタルビデオディスク）などの磁気および光学記憶デバイス；または、コンピュータ読取可能な媒体を格納できる、現在知られているもしくは今後開発されるその他の媒体を含むが、これらに限定されない。
【００３５】
この詳細な説明において記載されている方法およびプロセスはコードおよび／またはデータとして具現化できるものであり、これらは上述されるコンピュータ読取可能な記憶媒体に格納できる。コンピュータ読取可能な記憶媒体に格納されたコードおよび／またはデータをコンピュータシステムが読み取って実行したときに、このコンピュータシステムは、コンピュータ読取可能な記憶媒体中においてデータ構造およびコードとして具現化されかつ格納されている当該方法およびプロセスを実行する。さらに、以下に記載される方法およびプロセスは、ハードウェアモジュール中に入っていてもよい。たとえば、こうしたハードウェアモジュールは、特定用途向けの集積回路（ＡＳＩＣ）チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および現在知られているまたは今後開発されるその他のプログラム可能な論理デバイスを含み得るが、これらに限定されない。ハードウェアモジュールは、起動されると、当該ハードウェアモジュール中に入っている方法およびプロセスを実行する。詳細な説明中に記載されている方法およびプロセスはコードおよび／またはデータとして具現化でき、これらは上述されるコンピュータ読取可能な記憶媒体に格納できる。
【００３６】
ディスカッション
ヘマトキシリン＆エオシン（Ｈ＆Ｅ）染色したスライドは、臨床および研究目的で組織中の病理組織学的変化の特徴づけを行なうための伝統的な手段である。Ｈ＆Ｅ染色したスライドにおいてエオシンが強い蛍光を発することが、早くも１９６９に注目されている（Goldstein, D., The fluorescence of elastic fibres stained with eosin and excited by visible light.  The Histochemical Journal, 1969. 1(3): pp. 187-198を参照）。それ以降、様々な報告において、Ｈ＆Ｅ染色したスライドの蛍光撮像により得られるさらなる情報（腎臓組織における免疫グロブリンの可視化、脾臓凍結切片における中隔の可視化、および共焦点顕微鏡法による動脈中のエラスチンの評価を含む）が明らかにされてきた。Ｈ＆Ｅ染色したスライドは、臨床および研究において使用する場合にほぼ例外なく調製されるため、これを使用することは特に有利であり、また、通常は、特殊染色または免疫組織化学的染色も行なわれる。蛍光寿命イメージングは、通例のＨ＆Ｅスライドを蛍光モードで撮像して異なる巨大分子の間にコントラストを生じさせる目的で使用されている技術である。この技術は、異なる組織成分をそれらの異なる寿命値に基づいて同定および強調できることが示されている。しかしながら、この技術は高価かつ複雑であり、画像を生成するために通常はパルスレーザおよび共焦点顕微鏡一式が必要となる。別のアプローチでは、明視野でのスライドのマルチスペクトル画像を使用して、Ｈ＆Ｅスライドの異なる成分を同定してコラーゲンを抽出する。
【００３７】
本明細書中に開示されている新しい撮像技術は、これまで価値を認められていなかった（以前には有益性が示されていなかった）Ｈ＆Ｅ蛍光シグナルにおける色の差異を十分に利用するものである。この新しい撮像技術は「デュアルモード発光透過顕微鏡法」（DUal mode Emission Transmission Microscopy: DUET）とよばれるものであり、複雑な光学系を要することなく、また、既に調製したＨ＆Ｅスライドに対してさらなる組織化学染色または免疫組織化学的染色を行なうこともなく、蛍光モードおよび明視野モードにおける色のコントラストに基づいてコラーゲンまたはその他の巨大分子の分布および存在量を強調するものである。
【００３８】
この新しい技術は、明視野撮像モードと蛍光撮像モードとを組み合わせた新しいデュアルモード撮像システムで実施されるものであり、また、スペクトルフェーザに基づくアプローチまたはその他の数学的方法を用いて蛍光画像からコラーゲン分布を抽出するものである。この新しい技術は臨床の場に移行できる可能性が非常に大きい、というのは、この技術によれば、従来のＨ＆Ｅ染色スライドを使用したコラーゲンおよびその他の成分の迅速かつ低コストでの撮像が容易となるためである。また、ＤＵＥＴは、短い所要時間で凍結切片を調製するためにも有利に使用できる。凍結切片は、典型的には、手術中、または組織学に基づく情報が直ちに必要とされるその他の状況（例えば移植臓器候補を評価する際など）で用いられる。通例は、凍結切片に対して特殊染色を使用することはない、というのは、実施に時間がかかり得るためである。ＤＵＥＴを用いることにより、病理医は、Ｈ＆Ｅまたはその他の適切な色素で染色した凍結切片を迅速に評価でき、かつ、従来の組織化学によるコラーゲン、基底膜、およびその他の特殊染色で得られる情報と同様のさらなる情報を、従来の凍結切片分析と同じ時間枠内で得ることができる。
【００３９】
この新しい撮像技術がさらに説明される前に、まず、この技術を動かすための例示的なデュアルモード撮像システムが説明される。
【００４０】
デュアルモード撮像システム
図１Ａは、開示されている実施形態に従う明視野撮像モードと蛍光撮像モードとを組み合わせたデュアルモード撮像システム１００を示す。撮像設定はデュアルモードスキャナを含み、これは、落射蛍光モードでは照射源１２０（たとえば、４０５ｎｍのＵＶ  ＬＥＤ）を使用し、明視野撮像モードでは広帯域スペクトルの白色ＬＥＤ１０２を使用する。蛍光撮像のための照射光は、平行光学系１２２および広帯域ダイクロイックビームスプリッタ１１２を通って試料へと誘導され、次いで、ニコン対物レンズ１０×ＮＡ＝０．４５などの対物レンズ１１０の使用により、スライド１０６上の組織試料に集束される。スライド１０６はＸＹＺステージ１０８に固定されており、ｘ方向およびｙ方向の移動範囲が５０ｍｍおよび２５ｍｍであり、集束させる目的でｚ方向の移動範囲が制限されている。スライド１０６上の組織試料からの蛍光発光は、逆方向に進んで対物レンズ１００およびダイクロイックビームスプリッタ１１２を通り、次いで、チューブレンズ１１４（任意）および発光フィルタ１１６を通って撮像機構１１８に入る。
【００４１】
明視野撮像モードにおいて、スライド１０６は広帯域白色ＬＥＤ１０２（４５００Ｋ）によって下から照射され、これにより、可視スペクトル全体にわたる適度に均一な照射が生成される。広帯域白色ＬＥＤ１０２からの光は、ディフューザ１０４を通ってスライド１０６上の試料を照射し、これにより明視野撮像が容易となる。また、当該設定は、蛍光モードでの撮像の間にスライドからの直接散乱および反射を除外するためにロングパスフィルタ４２０ＬＰを含んでもよい。明視野撮像モードにおいて、撮像機構１１８は、２００ｍｍのチューブレンズ（Thorlab ILT 200）を使用する科学グレードのカラーカメラ（Ximea 9MP）を備える。
【００４２】
蛍光撮像モードにおいては、撮像機構１１８は、カラーカメラの代わりに、マルチスペクトル式の、調整可能な、フィルタに基づくカメラ（Nuance（商標）、Perkin Elmer）を備え、これにより、複数の画像を４２０ｎｍ〜７２０ｎｍ（典型的には１０〜２０ｎｍ間隔）で取り込む。
【００４３】
データ分析およびソフトウェア
画像取得に関する動作、光源の切り換え、ステージの動き、および集束化は、ソフトウェアによって制御される。また、画像は、以前にマルチスペクトル画像データの分離またはセグメント化を目的として開発されたスペクトルフェーザ技術を使用して分析される（Multispectral analysis tools can increase utility of RGB color images in histology. Fereidouni F., Griffin C., Todd A., Levenson R., J Opt. 2018 Apr; 20(4). pii: 044007. doi: 10.1088/2040-8986/aab0e8（電子公開２０１８年３月１５日）を参照）。こうしたプロセスによれば、明視野画像において、抽出したコラーゲン（またはその他の成分）の像を強調することが可能となり、Ｒ、Ｇ、およびＢパラメータを変化させて所望のオーバーレイ色相を作成できる。
【００４４】
ＤＵＥＴ技術
ＤＵＥＴ技術は、Ｈ＆Ｅ染色したスライドの蛍光画像を別の目的で取り込んでいるときに偶然に開発された。カラーカメラのみを使用して取り込んだ場合であっても、得られる画像には、バルク組織の蛍光から分離してコラーゲンシグナルを抽出するために使用できるスペクトル情報が含まれることが明らかになった。また、ほぼ同時に、明視野においてＨ＆Ｅ外観の高品質カラーデジタル画像（すなわち、一般的な組織病理学的な様子）を取り込むこともできた。図１Ｂ−１〜図１Ｂ−６は、その例を示す。明視野画像は図１Ｂ−１、図１Ｂ−３、および図１Ｂ−５であり、蛍光画像は図１Ｂ−２、図１Ｂ−４、および図１Ｂ−６である。これらの図を作成するために、ヒトの腎臓組織、乳房組織、および肝臓組織の画像を、Ｈ＆Ｅ染色したＦＦＰＥスライドから、明視野撮像モードおよび蛍光撮像モードの両方にて取り込んだ。図１Ｂ−１および図１Ｂ−２中に黄色および青色の矢印で示される通り、細管の周囲の基底膜は、蛍光画像中の方が強いコントラストで明瞭に現れている。注目すべきことに、明視野画像では血管および糸球体の周囲にコラーゲン関連構造を同定することができないが、蛍光画像では観察できる。もうひとつ注目すべきことに、図１Ｂ−３および図１Ｂ−４の乳房組織画像について、コラーゲンと細胞質とのコントラストは、明視野画像中よりも蛍光画像中の方が強い。同じことが図１Ｂ−５および図１Ｂ−６の肝臓組織画像にもあてはまり、この場合には、中心静脈周辺のコラーゲン分布を明視野画像中で認めることはほぼ不可能である。蛍光画像をさらに詳細に調べると、当該画像中には核からの発光シグナルがほとんどないことが分かる。これは、ヘマトキシリンが蛍光色素ではないことによる。
【００４５】
図２Ａ〜図２Ｊは、開示されている実施形態に従うヒト腎臓組織の様々なマルチスペクトル画像を示す。これらのマルチスペクトル画像は、蛍光撮像モード、明視野撮像モードの間に得られる画像を含み、（連続切片の）同様の領域からのトリクローム画像と比較される。当該画像は、４２０ｎｍ〜７２０ｎｍ（１５ｎｍ間隔）で得た。スペクトルフェーザに基づくアプローチによって積層画像を分析し、複数の成分を同定した。これらの周囲を対象領域とすることによりこれらの特徴について逆変換を行なった後、コラーゲン、基底膜、赤血球、細胞質、および自己蛍光の存在と相関関係にある具体的な特性を同定できる。図２Ａは明視野画像を示し、図２Ｂは蛍光画像からの混合されていないバルクコラーゲン分布を示し、図２Ｃは基底膜分布の画像を示し、図２Ｄはマルチスペクトル蛍光画像から作成したフェーザプロットを示す。明視野画像中でこれらの像を強調して、仮想のトリクローム画像およびＰＡＳ画像（それぞれ図２Ｇおよび図２Ｈ）を作成する。図２Ｇおよび図２Ｈの画像は、トリクロームおよびＰＡＳで染色した連続切片スライドの対応画像（それぞれ図２Ｅおよび図２Ｆ）との比較に値する。また、コラーゲン、基底膜、および細胞質のスペクトルを抽出し、図２Ｄに示す。注目すべきことに、コラーゲン、基底膜、および細胞質の蛍光スペクトルを示す図２Ｊのグラフに示されるように、これらの成分のスペクトルには非常に小さなシフトがある。図２Ｉは、カラーカメラで取り込んだ厳密に同じ領域からのフェーザプロットを示す。同じ解像度を得るため、かつ光子を節約するために、これらのピクセルを区間化した（ピクセルサイズが類似しないが）。このフェーザプロットが示すように、細胞質およびコラーゲンは容易に分離できるが、標準的なＲＢＧセンサで得られる画像を用いて基底膜シグナルをセグメント化することはほぼ不可能である。
【００４６】
カラーカメラ単独
図３Ａ〜図３Ｊは、開示されている実施形態に従うＤＵＥＴを用いて生成したヒトの乳房組織、子宮頚部組織、および膵臓組織の様々な画像を示す。より具体的には、図３Ａおよび図３Ｂは明視野画像を示し、図３Ｃおよび図３Ｄは同じ領域からの蛍光画像を示す。対応するフェーザプロットが図３Ｅおよび図３Ｆに示され、これらは２つの主な分布を強調している。注目すべきことに、フェーザプロットの左葉の周囲に定めた対象領域を用いてフェーザプロットから逆変換を行なうことにより、図３Ｇおよび図３Ｈに示されるコラーゲンのみの分布がセグメント化される。図３Ｉおよび図３Ｊは、トリクローム染色を模倣した組み合わせ画像を示す。
【００４７】
ヒトの腎臓組織および肝臓組織のＨ＆ＥスライドをＳＨＧ顕微鏡システムを使用して撮像して、コラーゲンシグナルを集めた。ヒト腎臓組織について、図４Ａは明視野画像を示し、図４Ｃは蛍光画像から抽出したコラーゲン分布の画像を示す。注目すべきことに、図４Ｃの抽出したコラーゲン画像を図４Ａの明視野画像に重ねて仮想のトリクローム画像を生成でき、これが、同じ領域からの連続切片の染色トリクローム画像との比較に値する。図４Ｅは、厳密に同じ領域からＳＨＧ設定を使用して抽出したコラーゲン画像を示す。注目すべきことに、蛍光画像から抽出したコラーゲン分布とＳＨＧ設定により生成した画像とを比較すると、糸球体内部のシグナル以外は同様の分布を示す。また、糸球体内部の主要な構成要素はＩＶ型コラーゲンである。この型のコラーゲンは複屈折性ではない。したがって、フェムト秒パルス照射下ではＳＨＧシグナルを全く生成しない。図４Ｂ、図４Ｄ、および図４Ｆは、ヒト肝臓組織についての同様の実験の結果を示す。この場合、ＤＵＥＴシグナルとＳＨＧシグナルとの一致がより多く観察される。興味深いことに、図４ＤのＳＨＧ画像において観察される非常に微細な構造が、図４ＦのＤＵＥＴ画像（黄色矢印で示される）において良好に現れている。
【００４８】
トリクロームを超えている
図５Ａ〜図５Ｃは、開示されている実施形態に従うヒト肝臓組織における中心静脈のＨ＆Ｅ画像、仮想のトリクローム画像、および実際のトリクローム画像を示す。より具体的には、図５ＡはＨ＆Ｅ画像を示し、図５Ｂは仮想のトリクローム画像を示し、図５Ｃは対応する連続切片の実際のトリクローム画像を示す。注目すべきことに、真のコラーゲンの領域（すなわち、血管の周囲）においては仮想のトリクローム画像と実際のトリクローム画像とが非常に良く一致するが、図５Ｂおよび図５Ｃ中で黄色および緑色の矢印で示されるように、仮想のトリクローム画像は実際のトリクローム染色で見られる神経および細動脈筋壁の偽陽性染色を適切に回避している。
【００４９】
別の興味深い例が、ヒト腎臓のＨ＆Ｅ染色およびトリクローム染色の画像を示す図６中に示される。注目すべきことに、Ｈ＆Ｅスライドの薄ピンク色および暗ピンク色の領域と、トリクローム画像中の薄青色および暗青色の領域が、それぞれヒアリンおよび顆粒という２つの種に対応しており、これらは、仮想のトリクローム画像中でオレンジ色および緑色のオーバーレイで示されるとおり分離されている。糸球体におけるフィブリン血栓が、仮想および実際のトリクローム画像の両方で確認できる。
【００５０】
合成画像作成プロセス
図７は、開示されている実施形態に従う明視野撮像モードおよび蛍光撮像モードで得られる画像データを組み合わせることによって染色組織試料の合成画像を作成するプロセスを示すフローチャートを示す。動作中、明視野撮像モードで動作する間、システムは、染色組織試料に広帯域光を照射し、明視野組織学的画像を含む画像データをマルチスペクトル撮像システムを使用して集める（工程７０２）。一方、蛍光撮像モードで動作する間、システムは、染色組織試料に１つ以上の帯域の励起光を照射し、得られる蛍光発光に関連する画像データをマルチスペクトル撮像システムを使用して集める（工程７０４）。次に、システムは、明視野撮像モードおよび／または蛍光撮像モードの間に集めた画像データを処理する（工程７０６）。次いで、システムは、明視野撮像モードおよび蛍光撮像モードの間に集めた画像データを組み合わせて合成画像を作成する（工程７０８）。最後に、システムは、合成画像、明視野組織学的画像、蛍光画像、および抽出された対象の成分の画像の間でのトグルを容易にする表示システムによって、合成画像を表示する（工程７１０）。
【００５１】
開示されている実施形態の様々な変形が当業者には速やかに明らかとなるであろう。本明細書中において定義されている一般原理は、本発明の精神および範囲から逸脱することなく他の実施形態および応用例にも適用し得る。よって、本発明は、示されている実施形態に限定されるものではなく、本明細書中に開示されている原理および特徴と矛盾しない最も広い範囲に一致することが意図されている。
【００５２】
実施形態についての上述される説明は、例証および説明目的のみにおいて提示されるものである。網羅的であることも、この説明を開示されている形態に限定することも意図されていない。よって、多くの変形および変更が、当技術分野において熟練した実務担当者には明らかとなるであろう。さらに、上述される開示内容は、この説明を限定することを意図するものではない。この説明の範囲は付属の請求項によって定義される。
【図１Ａ】
2021529951.tif 000003
【図１Ｂ】
2021529951.tif 000004
【図２】
2021529951.tif 000005
【図３】
2021529951.tif 000006
【図４Ａ】
2021529951.tif 000007
【図４Ｂ】
2021529951.tif 000008
【図４Ｃ】
2021529951.tif 000009
【図４Ｄ】
2021529951.tif 000010
【図４Ｅ】
2021529951.tif 000011
【図４Ｆ】
2021529951.tif 000012
【図５Ａ】
2021529951.tif 000013
【図５Ｂ】
2021529951.tif 000014
【図５Ｃ】
2021529951.tif 000015
【図６】
2021529951.tif 000016
【図７】
2021529951.tif 000017
【国際調査報告】
2021529951.tif 000018