(57)【要約】【課題】色素で色がついているような物体の分光特性をスペクトル計測あるいはスペクトルを画像として撮影した場合のスペクトル空間での解析方法を提供する。【解決手段】  スペクトル空間から色素量空間では表せない残差スペクトル空間を抽出し、残差スペクトル空間で解析する。また、色素量空間と残差スペクトルを合わせて解析してもよい。【選択図】図２
2008215820.tif 000002
【特許請求の範囲】
【請求項１】
色素で彩色されている対象物の特徴をスペクトルを用いて解析して分類する方法であって、該方法は、
波長方向に特徴をもつ前記対象物を被写体として、波長方向にＭチャネル（Ｍは２以上の自然数）を持つマルチスペクトル画像をマルチスペクトル撮像システムで撮影するステップＡ１と、
前記ステップＡ１で撮影して得られた前記対象物のｋ（ｋ＝１，２，・・・，Ｍ）チャネル目のマルチスペクトル画像の位置
2008215820.tif 000058
における画素信号（Ｍ次元ベクトル）から分光透過率
2008215820.tif 000059
を推定するステップＡ２と、
前記ステップＡ２で推定された前記分光透過率
2008215820.tif 000060
から各チャネルの分光吸光度
2008215820.tif 000061
を求めるステップＡ３と、
前記対象物中の色素ｉ（ｉ＝１，２，…，ｎ）の色素量ａｉを推定するステップＡ４と、
前記推定された色素量
2008215820.tif 000062
と前記色素ｉの分光吸収係数
2008215820.tif 000063
とから、ランバート・ベール法則を用いて位置
2008215820.tif 000064
における分光吸光度
2008215820.tif 000065
を推定するステップＡ５と、
前記各チャネルの分光吸光度
2008215820.tif 000066
を要素に持つ位置
2008215820.tif 000067
における分光吸光度
2008215820.tif 000068
から前記分光吸光度
2008215820.tif 000069
を減じて残差スペクトル
2008215820.tif 000070
を求めるステップＡ６と、
前記推定された色素量
2008215820.tif 000071
が所定の条件式によって特定される範囲に含まれる領域を、前記残差スペクトル
2008215820.tif 000072
によって分類するステップＡ７とを具備することを特徴とする方法。
【請求項２】
さらに、前記推定された色素量
2008215820.tif 000073
が所定の条件式によって特定される範囲に含まれる前記領域以外の領域については、前記分光吸光度
2008215820.tif 000074
によって分類するステップＡ８を具備することを特徴とする請求項１に記載の方法。
【請求項３】
前記分類された各領域に対して所定の表示色を割り当て、該割り当てた色を用いて前記分類結果をモニタ表示又はプリンタ出力するステップＡ９をさらに具備したことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記分光透過率
2008215820.tif 000075
の推定にWiener推定法を用いたことを特徴とする請求項１乃至３のいずれかに記載の方法。
【請求項５】
前記色素量ａｉの推定は、重回帰分析を利用した最小二乗法を用いて行うことを特徴とする請求項１乃至４のいずれかに記載の方法。
【請求項６】
前記対象物は生体組織であり、前記色素は染色色素又は生体内色素である請求項１乃至５のいずれかに記載の方法。
【請求項７】
前記染色色素は、ヘマトキシリン色素及びエオジン色素である請求項６に記載の方法。
【請求項８】
前記生体内色素はヘモグロビンである請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色素で彩色されている物体（対象物）の特徴をスペクトルを用いて解析して分類する方法に関する。
【背景技術】
【０００２】
生体の薄切り切片を染色して作成された病理標本や生体皮膚等から計測されるスペクトルデータを解析することで、生体を構成する組織要素への分類や、生体内色素の含有量を推定する方法がある。
病理標本に関して言えば、染色した生体組織の分光特性をRGB空間において解析する方法（下記特許文献１参照）、色素量空間で解析する方法（下記特許文献２参照）、スペクトル空間において解析する方法（下記特許文献３参照）がある。
RGB空間における解析では、RGB信号値が撮影装置のシステム特性に依存するため、生体の持つ分光特性を反映した特徴量を抽出することが難しい。
また、色素量空間における解析では、染色色素の配合が異なっている組織要素に対しては分類可能であるが、染色色素の配合に差が無いような組織要素に対しては分類することが困難である。RGB空間や色素量空間における解析とスペクトル空間における解析とを比較すると、スペクトル空間では生体の分光特性自体を解析することになるため、組織要素を分類する特徴空間として適していると考えられる。
しかし、スペクトル空間はRGB空間や色素量空間と比較して多次元空間(Ｎ次元＞３次元)であるため、多数の組織要素へ分類することが難しいという問題がある。
一方、生体の分光特性を画像として取得できるマルチスペクトル画像システムが開発されており、このシステムを利用して病理標本のマルチスペクトル画像を取得することは可能であるが、画像容量の巨大さが問題点として挙げられている。また、病理標本のマルチスペクトル画像から得られた組織要素の分光透過率は、病理標本の染色状態に依存して変動するため、染色状態が異なる標本に対して安定して組織分類を行うことが難しいという問題もある。
【特許文献１】特開平11-295150号公報
【特許文献２】特開2005-331394号公報
【特許文献３】特表2001-523334号公報
【非特許文献１】三井正法、村上百合、小尾高史、山口雅浩、大山永昭、窪田泰夫、福田弘之、菅野好史:「マルチスペクトル画像を用いた皮膚病変部の強調と定量化」,メディカル  イメージング  テクノロジー,２３巻、２号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
スペクトル空間は多次元（Ｎ次元＞３次元）の情報を使用するため、解析する際には情報量を落として解析する方法が取られている。主成分分析などはその代表例であるが、色素により彩色された物体のスペクトルを解析することを目的とした特徴量空間とはいえない。色素によって色がついている物体に対する解析方法として、色素の吸収特性で表せられる空間(色素量空間)で解析する方法が取られているが、モデル化誤差や計測誤差により、色素の吸収特性で表せない分光特性に対する情報は欠落している。モデル化誤差には物体を特徴付ける散乱特性等が含まれており、色素の吸収特性で表される空間のみの解析では、物体の特徴量が除かれてしまい、物体のわずかなスペクトル変化を捉えることが難しくなるという問題がある。
また、使用するスペクトルデータの情報量が膨大になるため、解析を考慮した圧縮方法を考慮する必要もある。
【０００４】
本発明は上述のような事情に鑑み為されたものであり、本発明の目的は、マルチスペクトル画像から得られた分光情報を、色素の特徴と色素以外の特徴とに分けて解析することにより、染色状態に依存せずに安定した組織分類を行うことを可能にするとともに、大幅なデータ圧縮を可能とすることにある。
【課題を解決するための手段】
【０００５】
本発明は、色素で彩色されている対象物の特徴をスペクトルを用いて解析して分類する方法に関し、本発明の上記目的は、波長方向に特徴をもつ前記対象物を被写体として、波長方向にＭチャネル（Ｍは２以上の自然数）を持つマルチスペクトル画像をマルチスペクトル撮像システムで撮影するステップＡ１と、前記ステップＡ１で撮影して得られた前記対象物のｋ（ｋ＝１，２，・・・，Ｍ）チャネル目のマルチスペクトル画像の位置
2008215820.tif 000003
における画素信号（Ｍ次元ベクトル）から分光透過率
2008215820.tif 000004
を推定するステップＡ２と、前記ステップＡ２で推定された前記分光透過率
2008215820.tif 000005
から各チャネルの分光吸光度
2008215820.tif 000006
を求めるステップＡ３と、前記対象物中の色素ｉ（i＝1，2，…，n）の色素量ａｉを推定するステップＡ４と、前記推定された色素量
2008215820.tif 000007
と前記色素ｉの分光吸収係数
2008215820.tif 000008
とから、ランバート・ベール法則を用いて位置
2008215820.tif 000009
における分光吸光度
2008215820.tif 000010
を推定するステップＡ５と、前記各チャネルの分光吸光度
2008215820.tif 000011
を要素に持つ位置
2008215820.tif 000012
における分光吸光度
2008215820.tif 000013
から前記分光吸光度
2008215820.tif 000014
を減じて残差スペクトル
2008215820.tif 000015
を求めるステップＡ６と、前記推定された色素量
2008215820.tif 000016
が所定の条件式によって特定される範囲に含まれる領域を、前記残差スペクトル
2008215820.tif 000017
によって分類するステップＡ７とを具備することによって達成される。
【０００６】
さらに、前記推定された色素量
2008215820.tif 000018
が所定の条件式によって特定される範囲に含まれる前記領域以外の領域については、前記分光吸光度
2008215820.tif 000019
によって分類するステップＡ８を具備することによって、さらに効果的に達成される。
これにより、上記残差スペクトル空間における分類と、色素量空間における分類とを組み合わせることが可能となり、より適切な分類が出来る。
【発明の効果】
【０００７】
本発明に係るスペクトルを用いた解析方法によれば、残差スペクトル空間を解析することにより、ランバート・ベール則などでモデル化できない物体の分光特性を解析することができる。
また、残差スペクトル空間と色素量空間を分けて解析することで、それぞれの空間で解析した結果を出力することが可能になり、またそれらの解析結果を組み合わせた結果を出力することが可能となる。
さらには、色が複数の色素で構成される場合は、色素のスペクトルが複雑であっても、色素の分光吸収係数を持っていればデータ量の大幅な圧縮に繋がるという効果もある。
例えば、波長次元数が６０次元のマルチスペクトル画像があり、色素の次元数（種類）が３次元である場合は圧縮率を５％にすることができる。
このような色素の種類に応じた次元数に圧縮することはしばしば行われるが、そうすると色素で表現できない成分が失われてしまうが、残差スペクトル空間を主成分分析などの手段により低次元で表現（例えば３次元）すると、色素の次元数（３）と残差スペクトルの次元数（３）の合計（６次元）により、色素で表現できない成分も含めて圧縮（１０％）することができる。
【発明を実施するための最良の形態】
【０００８】
残差スペクトルは生体の分光特性をモデル化する場合に、モデル化誤差や計測誤差によるスペクトルを表し、物体の吸収特性をモデル化したランバート・ベール則では生体の散乱や吸収特性が含まれていると考えられ、物体の吸収と散乱特性をモデル化した修正ランバート・ベール則においては深さの違いが残差スペクトルに含まれると考えられる。
本発明では、残差スペクトルには生体組織固有の情報が残されていると考え、この残差スペクトルを解析することで、生体組織要素の分類や組織構造の把握に利用する。
【０００９】
本発明は、マルチスペクトル画像から得られる病理標本の分光吸光度と、複数の染色色素の分光吸収係数からランバート・ベール則に基づいて色素量を画像として推定する。
そして、求めた色素量と色素の分光吸収係数からランバート・ベール則を用いて推定される分光吸光度と、撮影された画像から求めた分光吸光度との差分を取ったものを残差スペクトルと定義する。残差スペクトルは組織要素間での色素の結合状態による吸収係数の違いや組織自体の吸収や散乱を表すと考えられることから、組織分類を行う際に染色状態に依存しない特徴量として利用できる可能性がある。
実施例では、１６バンドで撮影したＨＥ染色標本の画像を対象とした。核、細胞質、赤血球などは色素量で容易に区別できるので、色素量での分類が困難な膠原線維、筋線維、内膜に対して残差スペクトルを用いて分類した。残差スペクトル空間上での分類にはフィッシャーの線形識別を用いた。後述の図６はHE染色標本に対して適用した結果である。図８から分かるように連続切片のＭＴ染色標本と分類画像を比較した結果、ＭＴ染色標本によって染め分けられた領域に対応しており、残差スペクトルを用いた組織分類の有効性を確認できた。
【実施例１】
【００１０】
本発明を実施するための好適な実施例について説明する。解析対象物としては、生体組織のＨＥ染色標本を用いた。
【００１１】
まず、解析処理の大きな流れを図１に示す。大きく分けると二つのケースがある。すなわち、ケース１は、残差スペクトルによる解析のみを出力する場合であり、色素量空間での解析が困難な領域のみについて解析結果を出力するようなケースである。色素量空間での解析結果が出ている領域をマスキングすることによって、残差スペクトル空間での解析を必要とする領域を絞り込むことができる。
また、ケース２は、色素量空間における解析結果と、残差スペクトル空間での解析結果を組み合わせて一つの結果画像を出力するものであり、本実施例ではケース２の場合を実施した。
【００１２】
図２は上記ケース２の流れをさらに詳細に示した図である。この図２に示す手順に従って各ステップにおける処理を詳細に説明する。
［ステップ１］
まず、生体組織のＨＥ染色標本のマルチスペクトル画像を、図３に示すマルチスペクトル撮像システムを用いて撮影して取得する。図３のシステムは公知のものであり、例えば上記特許文献２に記載の多バンド画像の撮像装置が利用可能である。
【００１３】
次に、取得したマルチスペクトル画像から分光透過率を推定する。ここでは、対象の信号値を白の信号値で割って求める場合を示す。
Ｍバンドのマルチスペクトル画像において、画像中の位置
2008215820.tif 000020
におけるkバンド目のマルチスペクトル画像信号値を
2008215820.tif 000021
と表すとき、病理標本を撮影したマルチスペクトル画像信号値を
2008215820.tif 000022
病理標本を置かないで白色を撮影した場合の画像信号値を
2008215820.tif 000023
とすると、画像中の位置
2008215820.tif 000024
における推定分光透過率
2008215820.tif 000025
は数１式により求めることができる。
【数１】
2008215820.tif 000026
また、Ｍバンドの推定分光透過率は各バンドの分光透過率を要素に持つＭ次元ベクトル
2008215820.tif 000027
として表せる。
【００１４】
本実施例では分光透過率を推定するのに、病理標本のマルチスペクトル画像信号値を白色のマルチスペクトル画像信号値で割ったものを使用したが、正確な分光透過率を推定する方法としてWiener推定法によって求めても良い。
すなわち、位置
2008215820.tif 000028
における波長次元数Ｌの分光透過率をＬ次元ベクトル
2008215820.tif 000029
で与えるとき，推定分光透過率
2008215820.tif 000030
はWiener推定法によって
2008215820.tif 000031
から求められる。
【数２】
2008215820.tif 000032
ここで、
2008215820.tif 000033
はＬ×ＭのWiener推定行列を表す。
2008215820.tif 000034
の作成には分光透過率の相関行列を用意する必要があるが、実用上は染色の種類ごとに同一の相関行列を用いても問題ないと考えられる。実施例では、予め該当する染色方法により作成された標本の分光透過率を多数測定して求めている。
【００１５】
［ステップ２］
次に、画像中の位置
2008215820.tif 000035
における分光吸光度を推定する。すなわち、分光吸光度を
2008215820.tif 000036
と表すとき、数１で求めた各バンドの推定分光透過率
2008215820.tif 000037
から各バンドの分光吸光度
2008215820.tif 000038
へは常用対数の負を取ることで求められる（数３式）。
【数３】
2008215820.tif 000039
また、推定分光透過率と同様に分光吸光度をＭ次元ベクトル
2008215820.tif 000040
として表す。
【００１６】
［ステップ３］
次に、ＨＥ染色標本中の色素量の定量方法の概要を説明する。以下では，ｎ種類の色素がＨＥ染色標本に含まれるときに，ｉ(=1,2,・・・,n)色素の分光吸収係数を
2008215820.tif 000041
で表すと、ランバート・ベール則が成り立つときに染色標本中の位置
2008215820.tif 000042
における分光吸光度
2008215820.tif 000043
は色素量と分光吸収係数により以下の数４のように表すことができる。
【数４】
2008215820.tif 000044
ここで、
2008215820.tif 000045
は位置
2008215820.tif 000046
におけるi色素の色素量を示す。しかし、病理標本中の生体を構成する組織要素は散乱特性を持っているためランバート・ベール則では表せないモデル化誤差や計測の誤差が生じるため、それらの誤差を残差スペクトル
2008215820.tif 000047
として表すと、分光吸光度
2008215820.tif 000048
は数４式と残差スペクトルを用いて次のように表せる。
【数５】
2008215820.tif 000049
本実施例では病理標本中の色素量
2008215820.tif 000050
を求めるために、重回帰分析を利用して残差成分を小さくする最小二乗推定法を用いることにより色素量
2008215820.tif 000051
を推定した。
【数６】
2008215820.tif 000052
数６式により推定した色素量
2008215820.tif 000053
を用いて残差スペクトルは以下のように求められる。
【数７】
2008215820.tif 000054
実施例では、ヘマトキシリン(Ｈ)色素、エオジン(Ｅ)色素、赤血球(Ｒ)の色素が染色標本に含まれているため、数５式は以下のように表せる。
【数８】
2008215820.tif 000055
【００１７】
［ステップ４］
＜色素量空間での組織分類＞
マルチスペクトル画像から推定した各組織要素におけるヘマトキシリン・エオジン・赤血球の色素量空間における分布を図４に示す。二つの色素量平面において、各組織要素の色素量分布が異なるため、下の表１に示す境界を設定して、各組織要素へ分類した。残りの部分は線維領域となる。
図４（Ａ）は組織分類のためのＨＥ色素量平面における境界を示し、図４（Ｂ）はＲＨ色素量平面における境界を示している。
【表１】
2008215820.tif 000056
ここで、線維領域に存在する膠原線維、筋線維、内膜においては色素量分布が重なっており、このままでは分類することができないため、三つの組織要素（膠原線維、筋線維、内膜）を一つの組織要素として抽出した。図５はＨＥ色素量平面における線維領域の分布を表した図である。この図を見れば分かるように各組織要素の色素量分布が近いため、明確な分類ができない。図６はＨＥ染色された生体組織標本の色素量による組織分類結果を示す画像である。これによると、中央部の緑色で示される線維領域が三つの組織要素（膠原線維、筋線維、内膜）に分類できていないことが分かる。
なお、図６においては色素量の違いによって細胞核に分類された領域を青色、細胞質に分類された領域をピンク色、血清に分類された領域を水色、空白に分類された領域を白色、赤血球に分類された領域を赤色、線維領域に分類された領域を黄緑色に割り当てている。
【００１８】
［ステップ５］
＜残差スペクトル空間での組織分類＞
色素量空間では明確に分類できなかった線維領域を残差スペクトル空間で膠原線維、内膜、筋線維（３クラス）へ分類する。３クラスに分類するために２クラスに対する線形識別関数を組み合わせる方法を利用した。
線形識別関数はフィッシャーの線形識別法より、(1)膠原線維と内膜を識別する軸、(2)膠原線維と筋線維を識別する軸、(3)筋線維と内膜を識別する軸を求めた。図７はそれを図示したものである。
それぞれの識別軸上に２クラスを分類するための閾値を設定することで、多次元空間において２クラスを分類することが可能になる。これら３つの識別軸を用いて分類した結果を下の表２のように組み合わせる事により、残差スペクトル空間でそれぞれの組織要素へ分類した。今回はリジェクト領域は膠原線維に割り当てた。
【表２】
2008215820.tif 000057
図８は、残差スペクトルによる組織分類結果を示すものであり、右側のＭＴ染色標本と比較すれば分かるように、ＭＴ染色標本によって染め分けられた領域に対応しており、残差スペクトルを用いた組織分類の有効性を確認できた。
なお、図８では内膜に分類された領域を黄色、筋線維に分類された領域を茶色、膠原線維に分類された領域を黄緑色に割り当てている。
【００１９】
［ステップ６］
＜色素量空間と残差スペクトル空間での組織分類結果の統合＞
上記ステップ４及びステップ５で求めた組織分類結果を統合することで適切な組織分類を行う事ができる。
すなわち、色素量空間での分類結果画像のうちの線維領域に関する部分を、残差スペクトル空間で行った組織分類結果画像で置換える(画像合成する)ものである。
図９は色素量空間での組織分類結果と残差スペクトル空間での組織分類結果の統合の概念を示す図であり、左側の色素量空間における分類結果の画像の中に中央部分（線維領域）を、右側の残差スペクトル空間における線維領域の分類結果（図の中央部分）で置き換えるところを示すものである。図１０は本発明に係る方法による統合した組織分類結果を示した図であり、細胞核に分類された領域を青色、細胞質に分類された領域をピンク色、血清に分類された領域を水色、空白に分類された領域を白色、赤血球に分類された領域を赤色、膠原線維に分類された領域を黄緑色、内膜に分類された領域を黄色、筋線維に分類された領域を茶色に割り当てたものである。
これを見れば分かるように、色素量空間での分類と残差スペクトル空間での分類とを統合させることにより、ＭＴ染色標本での組織構造にほぼ対応していることが分かる。
【００２０】
上記各ステップにおける処理は、図３に示されたコンピュータに格納された所定のプログラムによって実行される。
【産業上の利用可能性】
【００２１】
以上の通り、本発明に係る方法を主として染色された生体組織の病理標本の分類に適用する場合について説明したが、本発明に係る方法は、色素で色がついている対象物のスペクトルに対して適用可能であり、病理標本（染色色素：代表例ヘマトキシリン色素、エオジン色素）や生体皮膚（生体内色素：ヘモグロビン、メラニン）のほか、カラー印刷されたもの、絵画の分析、リモートセンシング分野（衛星画像）にも適用可能である。
また、上記非特許文献１において、正常皮膚の主成分ベクトルによって求めた差分スペクトルを、色素の吸収スペクトルによって求めた残差スペクトルで置き換えることによって色強調を行う方法にも応用が可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る方法の解析手順の大きな流れを示す図である。
【図２】実施例における手順を示す図である。
【図３】マルチスペクトル撮像システムの一例を示す図である。
【図４】マルチスペクトル画像から推定した各組織要素におけるヘマトキシリン・エオジン・赤血球の色素量空間における分布を示す図である。
【図５】ＨＥ色素量平面における線維領域の分布を示す図である。
【図６】色素量による組織分類結果を示す図である。
【図７】線形識別法を用いた組織分類の概念を表す図である。
【図８】残差スペクトルによる組織分類結果を示す図である。
【図９】色素量空間での組織分類結果と残差スペクトル空間での組織分類結果の統合の概念を示す図である。
【図１０】本発明に係る方法による統合した組織分類結果を示した図である。
【図１】
2008215820.tif 000076
【図２】
2008215820.tif 000077
【図３】
2008215820.tif 000078
【図４】
2008215820.tif 000079
【図５】
2008215820.tif 000080
【図６】
2008215820.tif 000081
【図７】
2008215820.tif 000082
【図８】
2008215820.tif 000083
【図９】
2008215820.tif 000084
【図１０】
2008215820.tif 000085