(57)【要約】  胸部サーモグラフィ画像において特定された悪性腫瘍性組織のホルモン受容体状態を分類するシステム及び方法を開示する。本方法による一実施形態は、以下のものを含む。まず、悪性腫瘍領域を有する患者の両胸部のサーモグラフィ画像を受信し、当該画像を分析して前記胸部の境界輪郭を定める。そして、胸部領域は昇温領域に分割される。第１確率質量関数Ｑの関数ｆ（Ｑ）は、第１分割領域内の画素温度に基づいて決定される。第２確率質量関数Ｐの関数ｆ（Ｐ）は、第２分割領域内の画素温度に基づいて決定される。２つの関数ｆ（Ｑ）とｆ（Ｐ）間の距離尺度が算出され、前記距離尺度に基づいて悪性組織がホルモン受容体陽性又は陰性に分類するようにトレーニングされた分類装置に供給される。
2019526304.tif 000002
【特許請求の範囲】
【請求項１】
胸部サーモグラフィ画像において特定された悪性腫瘍性組織のホルモン受容体状態を分類する方法であって、
悪性腫瘍領域を有する患者の両胸部のサーモグラフィ画像を受信するステップと、
胸部領域を昇温領域とその他領域とに分割するステップと、
前記昇温領域を分析し、前記悪性腫瘍性組織をホルモン受容体陽性とホルモン受容性陰性とに分類するステップと、を含む方法。
【請求項２】
前記昇温領域を分析するステップは、分割領域の温度分布の比較を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記分析を胸部領域全体で行い、
前記分析するステップは、２つの胸部の特徴の共起性の抽出と比較を含むことを特徴とする請求項２に記載の方法。
【請求項４】
第１分割領域は、悪性腫瘍性組織領域に対応する昇温領域であり、
第２分割領域は、同胸部の非昇温領域であり、
前記第１分割領域は、前記第１分割領域内の画素の温度値に基づく確率質量関数Ｐにより示され、
前記第２分割領域は、前記第２分割領域内の画素の温度値に基づく確率質量関数Ｑにより示され、
前記２つの関数ＰとＱの間の距離尺度が判定され、
前記距離尺度は、前記ホルモン受容体クラスを陽性又は陰性に分類するために分類装置システムに提供されることを特徴とする請求項３に記載の方法。
【請求項５】
前記第１分割領域は、悪性腫瘍性組織領域に対応する昇温領域であり、
前記第２分割領域は、同胸部の非昇温領域であり、
前記第１確率質量関数の関数は、悪性腫瘍性胸部の対側胸部の第３昇温領域の平均温度を差し引いた後の正規化であり、
前記第２確率質量関数の関数は、悪性腫瘍性胸部の対側胸部の第４非昇温領域の平均温度を差し引いた後の正規化であることを特徴とする請求項４に記載の方法。
【請求項６】
前記第１分割領域は、悪性腫瘍性組織領域に対応する昇温領域であり、
前記第２分割領域は、対側胸部の昇温領域であり、
ｆ（Ｑ）＝ｉＱ（ｉ）であり、
ｆ（Ｐ）＝ΣｉｉＰ（ｉ）＝μＰであり、
距離関数は、Σｉ||ｉ−μＰ||２Ｑ（ｉ）で与えられるｆ（Ｑ）及びｆ（Ｐ）間の平均二乗距離であることを特徴とする請求項４に記載の方法。
【請求項７】
前記第１分割領域は、悪性腫瘍性組織を有する同胸部に対応する非昇温領域であり、
前記第２分割領域は、対側胸部の昇温領域であり、
ｆ（Ｑ）＝ｉＱ（ｉ）であり、
ｆ（Ｐ）＝ΣｉｉＰ（ｉ）＝μＰであり、
距離関数は、Σｉ||ｉ−μＰ||２Ｑ（ｉ）で与えられるｆ（Ｑ）及びｆ（Ｐ）間の平均二乗距離であることを特徴とする請求項４に記載の方法。
【請求項８】
Ｑは、前記分割領域を構成する画素の対応ヒストグラムを正規化することにより得られることを特徴とする請求項４に記載の方法。
【請求項９】
前記距離関数は、ジェンセン・シャノン擬距離、カルバック・ライブラ擬距離、相互情報、２つの確率質量関数間で定められた標準距離関数のいずれかであることを特徴とする請求項４に記載の方法。
【請求項１０】
患者の対側胸部のサーモグラフィ画像を受信するステップと、
前記サーモグラフィ画像を分析し、周辺組織に対し温度が上昇した画素区画で構成されるホットスポットを前記対側胸部において特定するステップと、
μ１が前記対側胸部で特定された前記ホットスポットの平均温度であり、はμ２が前記対側胸部の周辺組織の平均温度であり、Ｑが悪性腫瘍性組織に関連するホットスポットのＰＭＦであり、Ｐが悪性腫瘍を有する胸部の正常領域のＰＭＦである場合において、Ｐ−μ１とＱ−μ２の間の第２距離尺度を判定するステップと、
前記第２距離尺度を分類装置システムに提供するステップと、を更に含む請求項１に記載の方法。
【請求項１１】
前記分類装置システムは、サポートベクトルマシン、ニューラルネットワーク、ベイジアンネットワーク、ロジスティック回帰、ナイーブベイズ、ランダムフォレスト、決定木及びブースト決定木、Ｋ近傍法、制限付きボルツマンマシン、並びに、これらの組み合わせからなるハイブリッド方式のいずれかを含むことを特徴とする請求項１に記載の方法。
【請求項１２】
左胸部又は右胸部で特定された２以上の前記ホットスポットに応じて、比較目的で前記ホットスポットの１つを選択するステップを更に含む請求項１に記載の方法。
【請求項１３】
分類されたホットスポットを用いて前記分類装置システムをトレーニングするためのトレーニングセットを更新するステップを更に含む請求項１に記載の方法。
【請求項１４】
記憶装置、表示装置及びネットワーク上の遠隔装置のいずれかに前記分類を伝達するステップを更に含む請求項１に記載の方法。
【請求項１５】
胸部サーモグラフィ画像において特定された悪性腫瘍性組織のホルモン受容体状態を分類するシステムであって、
ホットスポットをホルモン受容体陽性（ＨＲ＋）とホルモン受容性陰性（ＨＲ−）のいずれか１つに分類するようにトレーニングされた分類装置システムを含む記憶装置と、
前記記憶装置と通信するプロセッサであって、機械可読プログラム指令を読み出して実行するプロセッサとを備え、
前記機械可読プログラム指令は、前記プロセッサにより実行されることにより、前記プロセッサが、
悪性腫瘍領域を有する患者の両胸部のサーモグラフィ画像を受信し、
前記画像を分析して前記画像において前記胸部の境界輪郭を定め、
前記胸部領域を昇温領域とその他領域とに分割し、
悪性腫瘍性組織をホルモン受容体陽性とホルモン受容性陰性とに分類するために前記昇温領域を分析すること、
を可能にするシステム。
【請求項１６】
前記昇温領域分析は、前記分割領域の温度分布の比較ステップを含むことを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記分析を胸部領域全体で行い、
前記分析は、２つの胸部の特徴の共起性を抽出及び比較するステップを含むことを特徴とする請求項１６に記載のシステム。
【請求項１８】
第１分割領域は、悪性腫瘍性組織領域に対応する昇温領域であり、
第２分割領域は、同胸部の非昇温領域であり、
前記第１分割領域は、前記第１分割領域内の画素の温度値に基づく確率質量関数Ｐにより示され、
前記第２分割領域は、前記第２分割領域内の画素の温度値に基づく確率質量関数Ｑにより示され、
前記２つの関数ＰとＱの間の距離尺度が判定され、
前記距離尺度は、前記ホルモン受容体クラスを陽性又は陰性に分類するために前記分類装置システムに提供されることを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記第１分割領域は、悪性腫瘍性組織領域に対応する昇温領域であり、
前記第２分割領域は、同胸部の非昇温領域であり、
前記第１確率質量関数の関数は、悪性腫瘍性胸部の対側胸部の第３昇温領域の平均温度を差し引いた後の正規化であり、
前記第２確率質量関数の関数は、悪性腫瘍性胸部の対側胸部の第４非昇温領域の平均温度を差し引いた後の正規化であることを特徴とする請求項１８に記載のシステム。
【請求項２０】
前記第１分割領域は、悪性腫瘍性組織領域に対応する昇温領域であり、
前記第２分割領域は、対側胸部の昇温領域であり、
ｆ（Ｑ）＝ｉＱ（ｉ）であり、
ｆ（Ｐ）＝ΣｉｉＰ（ｉ）＝μＰであり、
距離関数は、Σｉ||ｉ−μＰ||２Ｑ（ｉ）で与えられるｆ（Ｑ）及びｆ（Ｐ）間の平均二乗距離であることを特徴とする請求項１８に記載のシステム。
【請求項２１】
前記第１分割領域は、悪性腫瘍性組織を有する同胸部に対応する非昇温領域であり、
前記第２分割領域は、対側胸部の昇温領域であり、
ｆ（Ｑ）＝ｉＱ（ｉ）であり、
ｆ（Ｐ）＝ΣｉｉＰ（ｉ）＝μＰであり、
距離関数は、Σｉ||ｉ−μＰ||２Ｑ（ｉ）で与えられるｆ（Ｑ）及びｆ（Ｐ）間の平均二乗距離であることを特徴とする請求項１８に記載のシステム。
【請求項２２】
Ｑは、前記分割領域を構成する画素の対応ヒストグラムを正規化することにより得られることを特徴とする請求項１８に記載のシステム。
【請求項２３】
前記距離関数は、ジェンセン・シャノン擬距離、カルバック・ライブラ擬距離、相互情報、２つの確率質量関数間で定められた標準距離関数のいずれかであることを特徴とする請求項１８に記載のシステム。
【請求項２４】
患者の対側胸部のサーモグラフィ画像を受信するステップと、
前記サーモグラフィ画像を分析し、周辺組織に対し温度が上昇した画素区画で構成されるホットスポットを前記対側胸部において特定するステップと、
μ１が前記対側胸部で特定された前記ホットスポットの平均温度であり、μ２が前記対側胸部の周辺組織の平均温度であり、Ｑが悪性腫瘍性組織に関連するホットスポットのＰＭＦであり、Ｐが悪性腫瘍を有する胸部の正常領域のＰＭＦである場合において、Ｐ−μ１とＱ−μ２の間の第２距離尺度を判定するステップと、
前記第２距離尺度を前記分類装置システムに提供するステップと、を更に含む請求項１５に記載のシステム。
【請求項２５】
前記分類装置システムは、サポートベクトルマシン、ニューラルネットワーク、ベイジアンネットワーク、ロジスティック回帰、ナイーブベイズ、ランダムフォレスト、決定木及びブースト決定木、Ｋ近傍法、制限付きボルツマンマシン、並びに、これらの組み合わせからなるハイブリッド方式のいずれかを含むことを特徴とする請求項１５に記載のシステム。
【請求項２６】
左胸部又は右胸部で特定された２以上の前記ホットスポットに応じて、比較目的で前記ホットスポットの１つを選択することを更に含む請求項１５に記載のシステム。
【請求項２７】
分類されたホットスポットを使用して前記分類装置システムをトレーニングするためのトレーニングセットを更新することを更に含む請求項１５に記載のシステム。
【請求項２８】
記憶装置、表示装置及びネットワーク上の遠隔装置のいずれかに前記分類を伝達することを更に含む請求項１５に記載のシステム。
【請求項２９】
胸部サーモグラフィ画像において特定された悪性腫瘍性組織のホルモン受容体状態を分類する方法であって、
悪性腫瘍領域を有する患者の両胸部のサーモグラフィ画像を受信するステップと、
前記画像を分析し、前記画像において前記胸部の境界輪郭を定めるステップと、
悪性胸部の画素温度から対側胸部の平均温度を差し引くステップと、
前記温度をＬビンに量子化した後、温度マップからランレングスマトリックスを算出するステップと、
前記ランレングスマトリックスからテクスチャむら特性を算出するステップと、
分類装置を使用して、前記むら特性が高い場合は前記悪性腫瘍性組織をホルモン受容体陰性と分類し、そうではない場合はホルモン受容体陽性と分類するステップと、を含む方法。
【請求項３０】
前記温度マップからの追加エネルギー特性とその他テクスチャ特徴量を前記分類装置への追加入力として使用し、前記悪性腫瘍性組織がホルモン受容体陽性又は陰性のいずれであるかを判定することを特徴とする請求項２９に記載の方法。
【請求項３１】
胸部サーモグラフィ画像において特定された悪性腫瘍性組織のホルモン受容体状態を分類する方法であって、
悪性腫瘍領域を有する患者の両胸部のサーモグラフィ画像を受信するステップと、
前記画像を分析し、前記画像において前記胸部の境界輪郭を定めるステップと、
胸部領域を昇温領域とその他領域とに分割するステップと、
悪性腫瘍性胸部の前記昇温領域の面積と対側胸部の昇温領域の面積との比率又はその逆の比率を求めるステップと、
前記比率に基づく分類装置を使用し、前記悪性腫瘍領域がホルモン受容体陽性又は陰性のいずれであるかを判定するステップと、を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離尺度に基づき胸部サーモグラフィ画像で特定された悪性腫瘍性組織のホルモン受容体状態を分類するシステムおよび方法に関する。
【背景技術】
【０００２】
乳癌は女性の癌の中でも発生率が高い癌の１つである。治療計画および生存率や治療結果の予測で検討される乳癌の臨床／病理特徴も多岐にわたる。サーモグラフィは癌細胞の代謝の増加による悪性腫瘍の温度上昇を検出する。悪性腫瘍のホルモン受容体状態は治療計画および生存予測において役割を担うことが知られている。ホルモン受容体とは全身の特定組織内やその表面上の蛋白質である。鍵が錠に入るように適切なホルモンが細胞の受容体に付着すると、信号が細胞に伝達され、細胞が実行する特定の活性がオン／オフとなる。ホルモン受容体は胸部細胞に存在する受容体の一種である。どのホルモン受容体が患者の胸部サーモグラフィ画像内の所与のホットスポットに関連するのかに関する知識は、治療計画や死亡リスク推定に役立ち得る。本発明はこの取り組みに関する。
【発明の概要】
【０００３】
胸部サーモグラフィ画像で特定された悪性腫瘍性組織のホルモン受容体状態の分類システムおよび方法を開示する。本方法の一実施形態は次のとおりである。まず、悪性腫瘍領域を有する患者の両胸部のサーモグラフィ画像を受信し、画像を分析して画像の胸部境界輪郭を定める。次に、胸部領域を昇温領域とその他領域とに分割する。第１分割領域内の画素の温度値に基づき第１確率質量関数Ｑの関数ｆ（Ｑ）を判定する。第２分割領域内の画素の温度値に基づき第２確率質量関数Ｐの関数ｆ（Ｐ）を判定する。２つの関数ｆ（Ｑ）とｆ（Ｐ）の間の距離尺度を判定する。悪性腫瘍性組織をホルモン受容体陽性とホルモン受容性陰性とに分類するようにトレーニングされた分類装置システムに距離尺度を提供する。
【０００４】
本書に開示の別の実施形態では、腫瘍性組織を有する患者の胸部サーモグラフィ画像を、その患者の対側胸部のサーモグラフィ画像とともに受信する。対側胸部のサーモグラフィ画像を分析し、ホットスポットを特定する。周辺組織の画素の温度に対し温度が上昇した画素区画としてホットスポットを定める。対側胸部の画像で特定されたホットスポットに応じて距離尺度が抽出される。距離尺度は、腫瘍性組織の各（ｘ，ｙ）画素位置の温度Ｔ（ｘ，ｙ）間の平均二乗誤差と、対側胸部で特定されたホットスポットを含む画素の平均温度μとの合計を含む。距離尺度は、距離尺度に基づき悪性腫瘍性組織をホルモン受容体陽性とホルモン受容性陰性とに分類するようにトレーニングされた分類装置システムに提供される。
【０００５】
上記方法の特徴や効果は以下の詳細な説明及び添付図面から容易に明らかになる。
【図面の簡単な説明】
【０００６】
本書に開示する被験者事項の上記及びその他の特徴や効果は、以下の詳細な説明と添付図面とを併せて明らかにされる。
【０００７】
図１は女性患者と共に、患者の正面で左右に半円軌道に沿ってカメラを動かす摺動可能で軸回転可能なロボットアームに搭載されたサーマルカメラの一例を示す。
【０００８】
図２は胸部領域の斜位像の熱画像２００を示す。
【０００９】
図３はホットスポット３０１を含む左胸部の熱画像３００を示す。 
【００１０】
図４はホットスポット４０１を含む右胸部の熱画像４００を示す。
【００１１】
図５は熱画像の胸部境界を定める多角形を示す。
【００１２】
図６は胸部サーモグラフィ画像で特定された悪性腫瘍性組織のホルモン受容体状態を分類する本方法の一実施形態を示すフローチャートである。
【００１３】
図７は、相対的熱度を含む距離尺度に基づき胸部サーモグラフィ画像で特定された腫瘍性組織のホルモン受容体状態を分類する本方法の一実施形態を示すフローチャートである。
【００１４】
図８は、図６のフローチャートについて記載した実施形態に従い乳癌検診用サーモグラフィ画像を処理する画像処理システムの一例の機能ブロック図を示す。
【００１５】
図９は、図６のフローチャートと図７の機能ブロック図について本書に開示説明した方法による個々の特性の精度を示す表である。
【発明を実施するための形態】
【００１６】
胸部サーモグラフィ画像で特定された悪性腫瘍性組織のホルモン受容体状態の分類システムおよび方法を開示する。
＜非限定的定義＞
【００１７】
「患者」は男性又は女性を示す。性別代名詞は、添付の請求範囲を厳密に女性に限定すると見なされない。また、本開示の全体を通して「被験者」、「人」、「患者」という用語をほぼ同じ意味で使用するものの、癌検診を受ける患者は人間以外、例えば霊長目の動物でもよいと認識しなければならない。このため、こうした用語を使用することで添付の請求範囲を人間に限定するものではない。
【００１８】
「サーマルカメラ」はスチルカメラ又はビデオカメラのいずれかを意味し、そのレンズは、場面の物体の赤外線エネルギーを、画素単位で赤外線エネルギーを電気信号に変換する専用センサの配列に合わせ、所望の波長帯域の画像において物体の温度に対応する色値の画素配列を含む熱画像を出力する。図１は摺動可能で軸回転可能なロボットアーム１０２に搭載されたサーマルカメラ１０１を示し、ロボットアーム１０２は右側面図１０４、正面図１０５、左面図１０６、その中間の様々な斜視角度でサーモグラフィ画像を取り込めるように患者の正面で半円軌道１０３に沿って左右にカメラを移動させることができる。サーマルカメラは単帯域赤外線カメラ、熱領域の多帯域赤外線カメラ、熱領域のハイパースペクトル赤外線カメラでもよい。サーマルカメラの解像度は実際には画素サイズである。画素が少ない場合、より多くの画素が熱画像に含まれ、結果として生じる画像の解像度が高くなり、空間鮮明度が良くなる。サーマルカメラの温度設定はダイナミックレンジが比較的大きいが、カメラの温度範囲を人の身体表面温度の前後を中心に比較的小さくし、画素色変化の見地から小さな温度変更を増幅させ、温度変化の尺度を向上させることが好ましい。サーマルカメラは各種流通で容易に入手できる。一実施形態においてサーマルカメラは、例えばサーマルカメラのレンズの焦点調整、サーマルカメラの解像度変更、サーマルカメラのズームレベルの変更等のサーマルカメラの各種側面の手動又自動制御を可能にするワークステーションと有線又は無線通信するように配置される。
【００１９】
「サーモグラフィ画像」又は単に「熱画像」は複数の画素を含み、各画素は関連する対応温度値を有する。熱画像では温度値の高い画素が第１色で表示され、温度値の低い画素が第２色で表示される。低温度値と高温度値の間の温度値の画素は、第１色と第２色の間の色の階調で表示される。図２は胸部の斜位像の熱画像２００を示す。熱画像を白黒で示しているが、熱画像はカラー画像であると認識しなければならない。図３はホットスポット３０１が特定された胸部の熱画像３００を示す。熱画像はサーマルイメージング装置のメモリ又は記憶装置から読み出し可能、あるいは、ネットワーク上の遠隔装置から取得可能である。熱画像をＣＤ−ＲＯＭ又はＤＶＤ等の媒体から読み出してもよい。処理用の熱画像が入手可能なウェブベースのシステムから熱画像をダウンロードしてもよい。幅広く出回っている手のひらサイズ携帯装置用アプリケーション等を使用して熱画像を読み出し、ユーザの携帯電話、あるいはｉＰａｄやタブレット等のその他手のひらサイズ計算装置で処理することもできる。「画像」という用語の使用は「ビデオ」も意味するものとする。この熱画像は純粋に、熱画像の各画素の色で示される測定温度値機能として抽出される実数値二次元マトリックス（放射測定画像としても知られる）として記憶し読み出すこともできる。
【００２０】
患者の癌検診用「熱画像を受信する」は幅広く解釈されるものとし、ビデオ画像フレームの検索、取込、取得又は入手等を含む。ネットワーク上で遠隔装置から、あるいは、ＣＤ−ＲＯＭやＤＶＤ等の媒体から画像を受信し、あるいは、読み出すことができる。本書に開示する方法に従いビデオを処理できるようにするウェブベースのシステム又はアプリケーションから画像をダウンロードしてもよい。手のひらサイズの携帯装置用アプリケーション等から画像を受信し、携帯電話又はｉＰａｄやタブレットＰＣ等のその他手のひらサイズの計算装置で処理することもできる。画像又はビデオを取り込むための撮像装置のメモリ又は記憶装置から画像を直接受信可能である。対側胸部の熱画像を分析することで胸部にホットスポットが存在するかどうかを判定する。
【００２１】
「ホットスポット」は周辺組織の画素の温度と比べて温度が上昇した画素区画を示す。図４はホットスポット４０１が特定される対側胸部の熱画像４００を示す。熱画像でホットスポットを手動又は自動で特定してもよい。例えば熱画像の等温線の温度により、あるいは使用者が選択することで熱画像のホットスポットを特定することができる。画素の所定区画の温度は、当該区画の画素の平均温度、当該区画の画素の中間温度、当該区画の画素の最高温度、当該区画内の画素の温度値の正規化ヒストグラムを基準とすることができる。サーモグラフィ画像のホットスポットを分析することでホルモン受容体状態を判定する。
【００２２】
「胸部境界」とは胸部細胞を取り囲むサーモグラフィ画像の領域を意味する。図５は熱画像の胸部境界を定める多角形を示す。例えばArun Koushik Parthasarathy他による「Automatic Segmentation Of Breast Tissue In A Thermographic Image」という名称の米国特許出願番号１５／０５５，１４０に開示された方法を使用して、胸部サーモグラフィ画像の胸部境界を自動的に特定し分割することができる。当該方法は乳癌検診ソフトウェアツールで使用する分割方法の一実施形態を教示しており、患者の胸部サーモグラフィ画像を分析することで、患者の体の外形の輪郭と患者のわきの下と乳房下溝の等温線に基づき胸部周囲のＮ点が特定される。点を接続してＮが５以上ある側面の多角形を形成し、これが画像の胸部境界輪郭を定める。各点は多角形の頂点である。使用者は所望通りに、あるいは必要に応じて頂点を移動又は調節することで、多角形の形状を選択的に操作できる。タッチスクリーンディスプレイ等の表示画面に表示された画像において、使用者が例えばマウス、ペンポインタを使用して胸部周囲に境界線を引くことで、サーモグラフィ画像の胸部境界を手動で特定することができる。
【００２３】
「ホルモン」とは、身体内の１つ又は複数の分化細胞又は細胞群により血流に分泌される化学物質である。ホルモンは消化、代謝、成長、再生、気分等の身体機能を調整する。ホルモンは血流で他のホルモンと相互に作用することが知られている。例えば、ホルモンエストロゲンはホルモンプロゲステロンと相互に作用し、妊娠時に胸部小葉腺胞の成熟を媒介することで母乳生成が始まる。「受容体」と呼ばれる分化細胞構造と相互作用するホルモンは、鍵と錠のように作用する。組織の受容体（錠）はホルモン（鍵）を受け入れる。鍵が錠を活性化させ、これにより錠は１つ又は複数の細胞機能を媒介する。
【００２４】
「ホルモン受容体（ＨＲ）」はエストロゲン受容体（ＥＲ）、プロゲステロン受容体（ＰＲ）、ヒト表皮受容体２（ＨＥＲ２）、腫瘍組織増殖蛋白質マーカーＫｉ６７、又はこれらの混合物を含むものとする。ＥＲ状態の重要度が高いＥＲ／ＰＲ／ＨＥＲ２のサブタイプは多種多様である。ＥＲ＋（陽性）の腫瘍はＥＲ−（陰性）の腫瘍より死亡率が低い。ＰＲ状態は通常ＥＲ状態ほど重要ではない。ＰＲ＋の腫瘍を有する患者は、ＰＲ−の腫瘍を有する患者よりも死亡率が低い。研究によるとＥＲ−／ＰＲ−の腫瘍はＥＲ＋／ＰＲ＋の腫瘍よりも攻撃的である。ＥＲ＋／ＰＲ＋／ＨＥＲ２−状態の腫瘍を有する患者は、ＥＲ−／ＰＲ−／ＨＥＲ２−状態の腫瘍を有する患者よりも死亡リスクが低い。Ｋｉ−６７状態は腫瘍細胞増殖率の有用な指標である。
＜特徴抽出＞
【００２５】
サーモグラフィ画像における患者の胸部領域の熱画像は、領域温度に基づき異常領域と正常領域に分割される。異常領域は胸部領域の疑わしい領域に該当し、関心領域（ＲＯＩ）において領域温度が最も高い。本方法ではセグメンテーションアルゴリズムを活用して胸部サーモグラフィ画像の異常領域を分割する。分割実施の一実施形態は、Arun Koushik Parthasarathy他による「Automatic Segmentation Of Breast Tissue In A Thermographic Image」という名称の共有で同時係属中の米国特許出願番号１５／０５５，１４０（２０１６年２月２６日出願）に開示されている。分割された領域は、次の判定ルールを使用した式（４）と（５）により定まる複数の特徴により組み合わされる。
【数１】
2019526304.tif 000003
Ｔmaxは全視界の全体最大温度を示し、Ｍｏｄｅ（ＲＯＩ）は全視界によるヒストグラムのモードを示し、分類精度と種々特徴に基づきパラメータρ、τ及び判定融合ルールが選択される。このように検出された異常領域から次の特徴を抽出する。
【００２６】
「確率質量関数（ＰＭＦ）」は確率測度であり、これにより確率変数の可能値の確率が付与され、離散型確率分布が定められる。このような関数は、領域が離散するスカラ確率変数又は多変量確率変数のいずれかに存在することが知られている。ＰＭＦは確率変数の可能値の確率を付与する。離散型確率変数のＰＭＦは確率分布とも呼ばれる。このため、離散型確率変数の確率分布の判定が求められる場合、そのＰＭＦを判定する。この教示に従い、２つの確率質量関数間の距離が判定される。
【００２７】
「距離尺度」は２つの確率質量関数間の距離を示す。一実施形態において距離尺度は次の式を含む。
【数２】
2019526304.tif 000004
Ｑは第１確率質量関数であり、Ｐは第２確率質量関数であり、距離尺度はＰとＱが収束すると低減し、ＰとＱが離散すると増加し、確率測度Ｍは次の式を含む。
【数３】
2019526304.tif 000005
【００２８】
式（３）の距離尺度は分類装置システムに提供又は伝達され、判定距離尺度の少なくとも一部に基づきホットスポットがホルモン受容体陽性（ＨＲ＋）又はホルモン受容体陰性（ＨＲ−）に分類される。
【００２９】
別の実施形態において、対側胸部の境界を定めるために、患者の対側胸部の第２サーモグラフィ画像が受信され、分析される。別の確率質量関数Ｑ２＝Ｑ−μ１が判定され、ここでμ１は対側胸部で特定されたホットスポットの画素の平均温度である。別の確率質量関数Ｐ２＝Ｐ−μ２が判定され、ここでμ２は対側胸部で特定されたホットスポットの外側で、しかしながら対側胸部の境界内の画素の平均温度である。その後、第２距離尺度ＤＭ（Ｐ２||Ｑ２）が判定され、分類装置システムに提供され、第２距離尺度の少なくとも一部に基づき画像のホットスポットがホルモン受容体陽性（ＨＲ＋）とホルモン受容性陰性（ＨＲ−）のうち１つに分類される。
【００３０】
「相対的熱さ」は一実施形態において次の式により付与される距離尺度である。
【数４】
2019526304.tif 000006
Ｔ（ｘ，ｙ）は画像の位置（ｘ，ｙ）における悪性側異常領域の画素温度値を示し、μは対側の異常領域画素の平均温度を示し、｜Ａ｜は腫瘍性組織の全画素の濃度を示す。
【００３１】
「分類装置システム」又は単に「分類装置」は少なくともプロセッサとメモリを含み、プロセッサはメモリから機械可読プログラム指令を読み出し、こうした指令を実行することでプロセッサが胸部の熱画像の組織をＨＲ＋又はＨＲ−に分類する。分類装置は機械学習技術で理解されるサポートベクトルマシン（ＳＶＭ）、ニューラルネットワーク、ベイジアンネットワーク、ロジスティック回帰、ナイーブベイズ、ランダムフォレスト、決定木ならびにブースト決定木、Ｋ近傍法、制限付きボルツマンマシン（ＲＢＭ）、これらの組み合わせからなるハイブリッド方式を含む様々な形態のいずれであってもよい。より詳細な説明については、「Foundations of Machine Learning」、MIT Press（２０１２）、ISBN−１３：９７８−０２６２０１８２５８、「Design and Analysis of Learning Classifier Systems: A Probabilistic Approach」、Springer（２００８）、ISBN−１３：９７８−３５４０７９８６５１等の多彩なテキストを参照されたい。分類装置は様々な実施形態においてトレーニングセットを使用したトレーニングであり、これは患者の診療記録や過去のデータを含む。トレーニングセットに基づき分類装置が閾値を設定する。一旦トレーニングされるとその後は分類装置が分類のために閾値を活用する。必要に応じて使用者が閾値を調整又は操作し、誤った陽性及び／又は誤った陰性を最小化することができる。分類装置をトレーニングするためのトレーニングセットに新データセット又は追加パラメータを加えると、これに伴い分類装置により使用される閾値又は決定境界が変わることになる。距離尺度を使用してホットスポットを分類するために分類装置システムはトレーニングされる。
【００３２】
本書で使用される「受信」、「分析」、「伝達」、「実行」、「判定」、「選択」、「提供」、「トレーニング」等のステップは、具体的内容に係る、又は具体的目的のための各種技術ならびに数学演算のいずれかの応用を含むものと認識しなければならない。こうしたステップは、機械可読プログラム指令を実行するマイクロプロセッサにより意図する機能が効果的に実施できるように円滑化又は実施される。
＜一実施形態のフローチャート＞
【００３３】
図６のフローチャートを参照すると、胸部サーモグラフィ画像で特定された悪性腫瘍性組織のホルモン受容体状態を分類する本方法の一実施形態が示される。フロー処理はステップ６００で始まり直ちにステップ６０２に進む。
【００３４】
ステップ６０２で悪性腫瘍領域を有する患者の両胸部のサーモグラフィ画像を受信する。
【００３５】
ステップ６０４は画像を分析し、画像の胸部境界輪郭を定める。
【００３６】
ステップ６０６で胸部領域を昇温領域とその他領域とに分割する。
【００３７】
ステップ６０８で第１分割領域内の画素の温度値に基づき第１確率質量関数Ｑの関数ｆ（Ｑ）を判定する。
【００３８】
ステップ６１０で第２分割領域内の画素の温度値に基づき第２確率質量関数Ｐの関数ｆ（Ｐ）を判定する。
【００３９】
ステップ６１２で２つの関数ｆ（Ｐ）とｆ（Ｑ）の間の距離尺度を判定する。
【００４０】
ステップ６１４で距離尺度を、悪性腫瘍性組織をホルモン受容体陽性とホルモン受容性陰性とに分類するようにトレーニングされた分類装置システムに提供する。本実施形態ではその後のステップはない。患者の健康、状況、状態、病歴を鑑みて医療従事者が必要又は望ましいと見なす場合、分類に応じて医療従事者がその他ステップを始めてもよいと認識しなければならない。このような追加ステップは必然的に患者次第であるため、特定のステップを行うべきか否かについてのディスカッションは添付の請求の範囲を超えるため、本書では省略する。別の実施形態では分類に応じ警告が発せられる。警告の形態としては、表示装置に表示されるメッセージや、例えばナースステーションで作動する音であってもよい。警告は色光又は点滅光の形態でもよく、これにより警告状態が存在するという可視表示を提供する。警告はテキスト、Ｅメール、音声、電話の呼び出し、及び／又はビデオメッセージであってもよい。警告にはホットスポットの画像、及び／又は対称性測定結果や暫定値等の処理側面等を含めてもよい。有線又は無線ネットワーク上で１つ又は複数の遠隔装置に警告を伝達してもよい。医療従事者の手のひらサイズ無線携帯装置に警告を直接送信してもよい。
＜第２実施形態のフローチャート＞
【００４１】
次に図７のフローチャートを参照すると、相対的熱度を含む距離尺度に基づき、胸部サーモグラフィ画像で特定された腫瘍性組織のホルモン受容体状態を分類する本方法の一実施形態が示される。フロー処理はステップ７００で始まり直ちにステップ７０２に進む。
【００４２】
ステップ７０２で腫瘍性組織を有する患者の胸部サーモグラフィ画像、及び同患者の対側胸部のサーモグラフィ画像を受信する。腫瘍性組織のある胸部サーモグラフィ画像の一例を図３に示す。サーモグラフィ画像は両胸部の１つの画像、又は左胸部と右胸部それぞれの別々の画像であってもよい。
【００４３】
ステップ７０４で対側胸部の画像を分析し、ホットスポットを特定する。ホットスポットとは、周辺組織の画素の温度に対し温度が上昇した画素区画である。対側胸部のホットスポットの一例を図４に示す。
【００４４】
ステップ７０６で対側胸部の画像にホットスポットが存在するかどうかを判定する。存在しない場合、本実施形態では更なる処理は停止する。
【００４５】
ステップ７０８で腫瘍性組織の各（ｘ，ｙ）画素位置での温度Ｔ（ｘ，ｙ）間の温度差と、対側胸部で特定されたホットスポットの画素の平均温度μとの合計を含む距離尺度を抽出する。本実施形態の距離尺度は、式（５）について説明したような相対的熱度を含む。
【００４６】
ステップ７１０で距離尺度を、腫瘍性組織をホルモン受容体陽性（ＨＲ＋）とホルモン受容性陰性（ＨＲ−）とに分類するようにトレーニングされた分類装置システムに提供する。本実施形態では更なる処理は停止する。患者の健康、状況、状態、病歴を鑑みて医療従事者が必要又は望ましいと見なす場合、分類に応じて医療従事者がその他ステップを始めてもよいと認識しなければならない。このような追加ステップは必然的に患者次第であるため、特定のステップを行うべきか否かについてのディスカッションは添付の請求の範囲を超えるため、本書では省略する。別の実施形態では分類に応じ警告が発せられる。警告の形態としては、表示装置に表示されるメッセージや、例えばナースステーションで作動する音であってもよい。警告は色光又は点滅光の形態でもよく、これにより警告状態が存在するという可視表示を提供する。警告はテキスト、Ｅメール、音声、電話の呼び出し、及び／又はビデオメッセージであってもよい。警告にはホットスポットの画像、及び／又は対称性測定結果や暫定値等の処理側面等を含めてもよい。有線又は無線ネットワーク上で警告を１つ又は複数の遠隔装置に伝達してもよい。医療従事者の手のひらサイズ無線携帯装置に警告を直接送信してもよい。
【００４７】
本書に示すフローチャートは例示であると理解しなければならない。フローチャートに示す１つ又は複数の動作を異なる順番で行ってもよい。別の動作を追加、修正、改良、統合してもよい。こうした変更は添付の請求範囲内に含まれるものとする。フローチャートの全て又は一部を、機械可読／実施可能プログラム指示と併せて一部又は全て実施してもよい。
＜画像処理システムのブロック図＞
【００４８】
次に図８を参照すると、図６の実施形態のフローチャートについて説明した実施形態に従い、乳癌検診用サーモグラフィ画像を処理する画像処理システムの一例の機能ブロック図が示される。
【００４９】
患者の熱画像、ホットスポット、各種受容体状態、病歴等の記録を含むトレーニングセット（まとめて８０１）を、記憶装置を含むデータベース８０２から検索する。データベースは外部装置として示されるが、例えばハードディスクに搭載されるワークステーション８１１の内部にデータベースがあってもよい。トレーニングセットは分類装置システム８００に提供される。図示した実施形態の分類装置システムはトレーニングセット８０１を処理する学習モジュール８０３を含み、分類装置システムが適切な閾値を判定し、胸部熱画像の所与のホットスポットのホルモン受容体状態を分類できるようにする。必要に応じ、又は所望通りに学習モジュール８０３が更にトレーニングセットを取り除くように構成し、所定の許容基準を満たすデータで分類装置をトレーニングし、少なくとも精度について誤った陽性及び／又は誤った陰性を最小化するようにしてもよい。トレーニングが完了すると、学習モジュール８０３はプロセッサ８０８に信号を送り、本書に開示の方法に従い乳癌検診受信患者の合計ｎ枚の胸部熱画像を受信するが（まとめて８０５）、ここでｎは１以上である。受信した熱画像８０５をイメージング装置１０１で取得し、図２、図３、図４のようなサーモグラフィ画像が示されると認識しなければならない。サーモグラフィ画像は有線又は無線経路（不図示）を介して分類装置システム８００に直接伝達される。分類装置システム８００の機能の一部又は全てをイメージング装置１０１に統合されてよい。
【００５０】
プロセッサ８０８はメモリ８０９から機械可読プログラム指令を読み出し、サーモグラフィ画像を分析し、画像の胸部境界輪郭を定め、胸部領域を昇温領域とその他領域に分割し、第１分割領域内の画素の温度値に基づき第１確率質量関数Ｑの関数ｆ（Ｑ）を判定し、第２分割領域内の画素の温度値に基づき第２確率質量関数Ｐの関数ｆ（Ｐ）を判定し、２つの関数ｆ（Ｐ）とｆ（Ｑ）間の距離を判定する。プロセッサは判定距離を分類モジュール８０４に伝達し、分類モジュール８０４は判定距離に基づき画像のホットスポットのホルモン受容体状態を分類する処理を行う。別の実施形態においてプロセッサは距離尺度を含む距離尺度を抽出し、トレーニングされた分類装置に距離尺度を伝達するように構成され、分類装置は判定距離尺度に基づき腫瘍性組織をホルモン受容体陽性（ＨＲ＋）とホルモン受容性陰性（ＨＲ−）とに分類することを進める。
【００５１】
ワークステーション８１１と通信するように配置されたシステム８００が示される。ワークステーションのコンピュータケースは各種構成要素を収容し、これにはプロセッサとメモリを備えたマザーボード、ネットワークカード、ビデオカード、フロッピーディスク、光学ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ等の機械可読媒体８１２やその他ソフトウェアを読み書き可能なハードドライブ、コンピュータワークステーションの機能を実行するのに必要なハードウェアが含まれる。ワークステーションは更に、情報、画像、分類、ビデオ、測定データ、算出された対称性尺度、医療情報、結果、暫定値等を表示するＣＲＴ、ＬＣＤ、タッチスクリーン装置等の表示装置８１３を含む。使用者はそのような情報のいずれかを検視し、そこに表示されるメニューオプションから選択を行うことができる。キーボード８１４やマウス８１５が使用者の入力を実施する。本書の教示に従い処理に必要な情報を入力、選択、修正、受け付けるために、ワークステーション８１１は英数字の値、メニュー、スクロールバー、ダイヤル、摺動可能バー、プルダウン選択肢、選択可能ボタン等を表示するよう構成された操作システムやその他専用ソフトウェアを備えると認識しなければならない。
【００５２】
ワークステーションは更に、引き出された熱画像、ホットスポット、分類を表示可能とされる。分類モジュール８０４がその機能を実施するのとリアルタイムでワークステーションは暫定値、境界条件等を更に表示できる。実装によっては、使用者又は専門家が必要に応じ、又は所望通りにワークステーション８１１のユーザーインターフェースを使用してパラメータを設定し、トレーニングセットの値を検視／調整／削除し、分類装置システムの各種様態を調整してもよい。こうした選択や入力のいずれかを記憶装置８１２に記憶／回収してもよい。記憶装置からデフォルト設定を読み出すことができる。ワークステーションの使用者はトレーニングセット８０１を含む記録データのいずれかを検視又は操作することもできる。トレーニングセットをワークステーション８１１内部の記憶装置に記憶してもよい。デスクトップコンピュータとして示されるワークステーション８１１はラップトップ、メインフレーム、ＡＳＩＣ等の専用コンピュータ、回路等でもよい。図８のワークステーションの実施形態は例示であり、当該技術で周知のその他機能を含めてもよい。
【００５３】
ワークステーションの構成要素のいずれかを、分類装置システム８００又は当該システムと通信するいずれかの装置と通信するように配置してもよい。意図する機能を行うために必要に応じて分類装置システムのモジュールのいずれかを記憶装置８０２及び／又はコンピュータ可読媒体８１２と通信するように配置することができ、データ、変数、記録、パラメータ、機能及び／又は機械可読／実行可能プログラム指示を記憶／読出してもよい。分類装置システム８００の各モジュールをネットワーク８１７上で１つ又は複数の遠隔装置と通信するように配置してもよい。システム８００のモジュール又は処理装置のいずれかが行う機能の一部又は全ては、ワークステーションが全て又は一部を実行することができると認識しなければならない。図示した実施形態は例示であり、添付の請求の範囲を厳密にその構成に限定するものとみなしてはならない。各種モジュールが、意図した機能を実行するように設計されたソフトウェア及び／又はハードウェアを交互に含んでもよい１つ又は複数の構成要素を指定してもよい。
＜実行結果＞
【００５４】
地域病院の協力を経て生検で乳癌と確認された２７才〜７６才の５６人の匿名扱い被験者データセットを取得した。空間解像度が３２０×２４０画素のＦＬＩＲ  Ｅ６０カメラを用いて最初の被験者２０人のサーモグラフィ画像を取り込んだ。画像解像度が６４０×４８０画素の高解像度ＦＬＩＲ  Ｔ６５０Ｓｃカメラを用いて残りの被験者のサーモグラフィ画像を取り込んだ。獲得プロトコルとして、右側面像から左側面像へと向きを変えるよう被験者に依頼することを含んだ。各被験者のデータはマンモグラフィ、ソノマンモグラフィ、生検報告、腫瘍のＥＲ／ＰＲ状態値を含んだ。可能な場合は、大半の患者にＨＥＲ２及びＫｉ６７状態が存在した。このデータから被験者３２人がＨＲ＋悪性腫瘍であり、残りはＨＲ−腫瘍であった。
取得したビデオから正面図、右斜視図、左斜視図、右側面図、左側面図に対応する５つのフレームを手動で選択した。これら５つの図で手動切り取りを行い、ＲＯＩを選択した。固定図では腫瘍を見ることができない場合があるため、複数の図を検討することで腫瘍検出が改善される。これらの複数の図からＲＯＩ領域に関して最大の異常領域に関する図が最良図と考えられた。温度変化の他に、両側面の異常領域も特徴と考えた。悪性側面に対する対側側面の異常領域の割合を使用されることができる。この値はＨＲ−腫瘍の場合はゼロで、ＨＲ＋腫瘍の場合は高くなる傾向がある。
【００５５】
全ＲＯＩから特徴量を抽出するために、ここでテクスチャ特徴量も使用することができる。ＲＯＩの原型温度マップを使用する代わりに、修正温度マップが使用される。悪性側面ＲＯＩから対側側面の平均温度を差し引いて形成したサーマルマップがテクスチャ特徴量を判定するのに使用される。温度をＩビンに量子化した後、サーマルマップからランレングスマトリックス（ＲＬＭ）を算出する。「Thermography based breast cancer detection using texture features and support vector machine」、Acharya, U.R.、Ng, E.、Tan, J.H.、Sree, S.V.、Journal of medical systems 36(3)、1503-1510(2012)で言及されているように、ＲＬＭから濃淡むらとエネルギー特徴量が算出される。腫瘍の焦点温度が多くなると、ＨＲ−腫瘍のむら特徴は高くなる。
【００５６】
対側側面図と共に最良図を用いて異常領域及び全ＲＯＩから特徴量を算出した。トレーニングセット及びテスティングセットはそれぞれ無作為に選択した被験者２６人と３０人のサブセットと、その内部で分割されたそれぞれＨＲ＋腫瘍１４人とＨＲ−腫瘍１２人ならびにＨＲ＋腫瘍１８人とＨＲ−腫瘍１２人から構成される。ρ＝０．２、τ＝３°ＣならびにＡＮＤ判定ルールにより異常領域が位置を決めされ、分類精度を最適化した。使用したＰＭＦのビン幅は０．５°Ｃであり、ＲＬＭ算出時の温度ビンのステップサイズは０．２５°Ｃであった。
【００５７】
取得された特徴量を使用して２クラスのランダムフォレストアンサンブル分類装置をトレーニングした。ランダムフォレスト（ＲＦ）は無作為にトレーニングサブセットと特徴サブセットを選択して決定木をトレーニングし、このような決定木の複数から決定を組み合わせて分類精度を改善する。全ての決定木のモードを最終分類決定として取り込む。１００の決定木のＲＦを用い、２０回の反復で最大精度とする。図９の表は、本書に開示の方法により個々の特徴で得た精度を示す。ＲＬＭと濃淡共起行列から得た異なるテクスチャ特徴量で試験を行ったが、ＲＬＭの濃淡むらはその他濃淡むらよりも精度がよいことが判明した。領域基準特徴とテクスチャ特徴量とを組み合わせた最適セットを用いることで、ＨＲ＋腫瘍分類とＨＲ−腫瘍分類のそれぞれで８２％と７９％の精度を得た。要約すると、本書に開示の方法は約８０％の精度でサーモグラフィにより腫瘍をＨＲ＋又はＨＲ−の一方に分類し、その他イメージングモダリティよりもサーモグラフィに利点があると表示した。分類は乳癌患者の推定予後と治療計画に有用である。
＜各種実施形態＞
【００５８】
本書の教示内容は、該当する当業者が何らかの周知あるいは後に開発したシステム、構造、装置、及び／又はソフトウェアを用いて、不要な実験をすることなく、本書に示す機能的説明と関連技術の一般知識から、ハードウェア又はソフトウェアにおいて実施可能である。本書に記載の方法の１つ又は複数の側面が製品に組み入れられるものとし、製品を出荷、販売、リースしてもよく、あるいは別々に単体で、あるいは製品一式又はサービスの一部として提供してもよい。上記及びその他構成や機能、又はその代案は別のシステムやアプリケーションに組み合わされることが望ましいものと認識しなければならない。現時点では予想外又は想定外の代案、修正、変更、又は改善が明らかになることもあり、及び／又は当業者が後に行ってもよく、それも以下の請求項に含まれるものとする。本書で引用した刊行物の教示は全て引用により本書に組み入れられる。
【図１】
2019526304.tif 000007
【図２】
2019526304.tif 000008
【図３】
2019526304.tif 000009
【図４】
2019526304.tif 000010
【図５】
2019526304.tif 000011
【図６】
2019526304.tif 000012
【図７】
2019526304.tif 000013
【図８】
2019526304.tif 000014
【図９】
2019526304.tif 000015
【国際調査報告】
2019526304.tif 000016