(57)【要約】  画像処理装置は、複数の画素で構成される対象画像について、前記複数の画素のうち所定の画素での複数の色に関連する成分の相対関係を算出する相対関係算出部と、前記相対関係算出部が算出する前記相対関係と、前記複数の色に関連する成分の相対関係に対して設定される基準とに基づいて、前記対象画像の状態を判定する状態判定部とを備える。
2020070877.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素で構成される対象画像について、前記複数の画素のうち所定の画素での複数の色に関連する成分の相対関係を算出する相対関係算出部と、
前記相対関係算出部が算出する前記相対関係と、前記複数の色に関連する成分の相対関係に対して設定される基準とに基づいて、前記対象画像の状態を判定する状態判定部と、
を備える画像処理装置。
【請求項２】
前記相対関係とは、前記複数の色に関連する成分の比率である
請求項１に記載の画像処理装置。
【請求項３】
前記相対関係算出部は、
前記複数の色に関連する成分の相対関係を表すｎ個の変数を、n-1次元で前記相対関係を表すことで前記相対関係を算出する
請求項１又は２に記載の画像処理装置。
【請求項４】
前記nは３である、請求項３に記載の画像処理装置。
【請求項５】
前記n-1次元は超平面である、請求項３又は４に記載の画像処理装置。
【請求項６】
前記相対関係算出部は、
前記複数の色に関連する成分をそれぞれ座標軸にする座標系における前記対象画像のそれぞれの画素の座標が、前記n-1次元に射影された写像の座標に基づいて、前記相対関係を算出する
請求項３〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記基準とは、前記n-1次元に作成され、曲線または直線で閉じられた領域であって、
前記状態判定部は、前記n-1次元に射影された前記写像の座標が、前記閉じ込められた領域にあるか否かに基づいて、前記対象画像の状態を判定する
請求項６に記載の画像処理装置。
【請求項８】
前記曲線または直線で閉じられた領域は多角形である、請求項７に記載の画像処理装置。
【請求項９】
前記対象画像の状態とは、前記対象画像に含まれる判定対象画像の状態であり、
前記多角形は、前記判定対象画像の種類の数に応じた数の頂点を有する、請求項８に記載の画像処理装置。
【請求項１０】
前記基準は前記対象画像とは異なる画像を用いて算出される、
請求項１〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記対象画像は、試料の第１位置で撮像された画像であり、前記異なる画像は、前記試料の前記第１位置とは異なる第２位置で撮像された画像である、請求項１０に記載の画像処理装置。
【請求項１２】
前記状態判定部は、前記対象画像に撮像された試料と、前記基準との違いを判定する、請求項１〜１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記状態判定部の判定結果に基づいて、前記状態判定部による前記判定対象画像の前記対象画像内の位置を算出する位置算出部
を更に備える請求項１〜１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記複数の色に関連する成分は、波長成分である、請求項１〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
請求項１〜１４のいずれか一項に記載の画像処理装置と、
画像を撮像して、撮像した画像を前記対象画像として前記画像処理装置に供給する撮像装置と、
を備える観察装置。
【請求項１６】
複数の画素で構成される対象画像について、前記複数の画素のうち所定の画素での複数の色に関連する成分の相対関係を算出することと、
算出される前記相対関係と、前記複数の色に関連する成分の相対関係に対して設定される基準とに基づいて、前記対象画像の状態を判定することと、
を有する画像処理方法。
【請求項１７】
画像処理装置が備えるコンピュータに、
複数の画素で構成される対象画像について、前記複数の画素のうち所定の画素での複数の色に関連する成分の相対関係を算出する相対関係算出ステップと、
前記相対関係算出ステップにおいて算出される前記相対関係と、前記複数の色に関連する成分の相対関係に対して設定される基準に基づいて、前記対象画像の状態を判定する状態判定ステップと、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、観察装置、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
生細胞の観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で試料を標識し、それを光学顕微鏡で観察する技術が知られている（特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願９４２７１３号明細書
【発明の概要】
【０００４】
本発明の第一の態様によれば、複数の画素で構成される対象画像について、複数の画素のうち所定の画素での複数の色に関連する成分の相対関係を算出する相対関係算出部と、相対関係算出部が算出する相対関係と、複数の色に関連する成分の相対関係に対して設定される基準とに基づいて、対象画像の状態を判定する状態判定部と、を備える画像処理装置が提供される。
本発明の第二の態様によれば、第一の態様の画像処理装置と、画像を撮像して、撮像した画像を対象画像として画像処理装置に供給する撮像装置と、を備える観察装置が提供される。
本発明の第三の態様によれば、複数の画素で構成される対象画像について、前記複数の画素のうち所定の画素での複数の色に関連する成分の相対関係を算出することと、算出される前記相対関係と、前記複数の色に関連する成分の相対関係に対して設定される基準とに基づいて、前記対象画像の状態を判定することと、を有する画像処理方法が提供される。
本発明の第四の態様によれば、画像処理装置が備えるコンピュータに、複数の画素で構成される対象画像について、複数の画素のうち所定の画素での複数の色に関連する成分の相対関係を算出する相対関係算出ステップと、相対関係算出ステップにおいて算出される相対関係と、複数の色に関連する成分の相対関係に対して設定される基準に基づいて、対象画像の状態を判定する状態判定ステップと、を実行させるための画像処理プログラムが提供される。
【図面の簡単な説明】
【０００５】
【図１】本実施形態の顕微鏡システム１の構成の一例を示す図である。
【図２】本実施形態の顕微鏡システム１によって生成される画像Ｐの一例を示す図である。
【図３】本実施形態の顕微鏡システム１によって生成される画像Ｐの他の一例を示す図である。
【図４】本実施形態の画像処理装置２０の機能構成の一例を示す図である。
【図５】本実施形態の画像処理装置２０の動作の一例を示す図である。
【図６】本実施形態の強度分布ＬＩＤの一例を示す図である。
【図７】画素値の射影演算の一例を示す図である。
【図８】射影結果の一例を示す図である。
【図９】健常な組織の画像Ｐ１についての射影結果の一例を示す図である。
【図１０】悪性腫瘍が生じた組織の画像Ｐ２についての射影結果の一例を示す図である。
【図１１】基準領域の形状が凸包である場合の一例を示す図である。
【図１２】基準領域の形状が最小面積包含多角形である場合の一例を示す図である。
【図１３】基準領域の形状が機械学習によって求められる形状である場合の一例を示す図である。
【図１４】健常な組織の画像の射影結果ＰＰ１に対して基準領域ＣＨがマッピングされた画像の一例を示す図である。
【図１５】悪性腫瘍が生じた組織の画像の射影結果ＰＰ２に対して基準領域ＣＨがマッピングされた画像の一例を示す図である。
【図１６】本実施形態のマップ画像生成部２０４によるマップ画像ＭＰ作成手順の一例を示す図である。
【発明を実施するための形態】
【０００６】
［実施形態］
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本実施形態の顕微鏡システム１の構成の一例を示す図である。顕微鏡システム１は、顕微鏡本体１００と、画像処理装置２０と、表示部３０と、操作部４０とを備える。操作部４０は、キーボードやマウスなどを備えており、顕微鏡本体１００及び画像処理装置２０に対するユーザの操作を検出する。表示部３０は、液晶ディスプレイなどを備えており、画像処理装置２０の制御に基づいて画像などの情報を表示する。
顕微鏡本体１００は、試料ＯＢＪを撮像する。本実施形態の顕微鏡本体１００は、いわゆる落射蛍光顕微鏡であり、試料ＯＢＪに励起光を照射し、試料ＯＢＪに含まれる蛍光物質が励起光によって励起されて放つ蛍光を撮像する。
なお、本実施形態においては、顕微鏡本体１００が落射蛍光顕微鏡である場合を一例にして説明するが、顕微鏡本体１００は試料ＯＢＪの色みを示す情報を取得できればよく、その構成はこの一例に限られない。例えば、微分干渉顕微鏡（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｉｎｔｅｒｆｅｒｅｎｃｅ  Ｃｏｎｔｒａｓｔ  ｍｉｃｒｏｓｃｏｐｅ；ＤＩＣ）や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡、二光子励起蛍光顕微鏡、ライトシート顕微鏡、ライトフィールド顕微鏡等の機能を有していてもよく、それらの機能を複数有する顕微鏡であっても構わない。また、試料ＯＢＪの色みを示す情報を取得方法は、顕微鏡を用いた試料ＯＢＪの倍率の大きい拡大像を用いなくてもよく、試料ＯＢＪの縮小像もしくは、拡大も縮小も行わない像を用いても構わない。以下、この顕微鏡本体１００の具体的な構成の一例について説明する。
【０００７】
［顕微鏡本体の構成］
顕微鏡本体１００は、光源１０と、折り返しミラー１１と、走査部１２と、対物レンズ１３と、ステージ１４と、フィルタ１５と、検出器１６とを備える。
【０００８】
ステージ１４には、観察対象である試料ＯＢＪが載置される。以下において必要がある場合には、ＸＹＺ直交座標系を用いて説明する。このＸＹＺ直交座標系のＸ軸及びＹ軸は試料ＯＢＪが載置されるステージ平面を示す軸であり、Ｚ軸はステージ平面に鉛直な軸である。
【０００９】
光源１０は、例えばレーザー装置、水銀ランプを備えており、励起光Ｌ１を発生させる。光源１０は、発生させた励起光Ｌ１を折り返しミラー１１に出射する。
なお、顕微鏡本体１００は、不図示の励起フィルタを備えていてもよい。励起フィルタは、光源１０から出射された光のうち、試料ＯＢＪの蛍光物質の励起波長の光を、励起光Ｌ１として選択的に透過させる。
折り返しミラー１１は、例えばダイクロイックミラーであり、励起光Ｌ１と、試料ＯＢＪが放つ蛍光Ｌ２とを分離する。折り返しミラー１１は、光源１０が出射する励起光Ｌ１を透過させる。
走査部１２は、折り返しミラー１１から入射する励起光Ｌ１を走査し、対物レンズ１３を介してステージ１４に出射する。走査部１２は、ステージ１４のステージ平面上をＸ軸方向及びＹ軸方向に励起光Ｌ１を走査する。
対物レンズ１３は、走査部１２から入射する励起光Ｌ１をステージ１４の方向に透過させるとともに、この励起光Ｌ１が照射された試料ＯＢＪが放つ蛍光Ｌ２を折り返しミラー１１の方向に透過させる。蛍光Ｌ２は、上述した折り返しミラー１１によって反射され、蛍光Ｌ３としてフィルタ１５に入射する。
【００１０】
フィルタ１５は、蛍光Ｌ３に含まれる様々な波長成分のうち、観察対象の波長成分を選択し、選択した波長成分を検出器１６に出射する。
検出器１６は、入射する光の強度を検出し、検出した強度を示す検出信号を出力する。この一例では、検出器１６は、走査部１２による走査と同期して、検出信号を出力する。具体的には、検出器１６は、走査部１２がステージ平面上の励起光Ｌ１の照射位置を変化させる毎に、この励起光Ｌ１によって生じた蛍光Ｌ３の強度を示す検出信号を出力する。
【００１１】
この一例では、フィルタ１５及び検出器１６は、蛍光Ｌ３を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三波長成分に分離して検出する。具体的には、フィルタ１５は、Ｒフィルタ１５−１と、Ｇフィルタ１５−２と、Ｂフィルタ１５−３とを備える。また、検出器１６は、Ｒ検出器１６−１と、Ｇ検出器１６−２と、Ｂ検出器１６−３とを備える。
Ｒフィルタ１５−１は、入射する蛍光Ｌ３のうち赤色の波長成分を選択的に反射させる。Ｒフィルタ１５−１によって反射された光は、Ｒ検出器１６−１に入射する。Ｒ検出器１６−１は、入射する光の強度、すなわち赤色の波長成分の強度を検出する。蛍光Ｌ３の緑色の波長成分、青色の波長成分についても、赤色の波長成分と同様にして、その強度が検出される。
なお、本実施形態では、波長成分の異なる光を検出するために、波長成分毎に、異なる検出器を用いていたが、一つの検出器であっても構わない。この場合には、試料ＯＢＪと検出器との間に設けられたフィルタを切り替え、異なる波長成分の光を検出しても構わない。また、この場合には、検出器を構成する複数の画素の各画素にＲＧＢの受光部を設け、得られる画像の所定画素のＲＧＢの検出結果としても構わない。
また、本実施形態では、可視領域の赤色の波長成分と緑色の波長成分と青色の波長成分を検出しているが、これに限られない。赤色、緑色、青色に変えて、光の波長毎に異なる波長を検出しても構わない。例えば、620 nm、570 nm,400 nmでも構わない。勿論、620 nm, 621 nm, 622 nmのようにnm単位で異なる波長の光を検出しても構わない。また、検出領域は可視領域に限られず、それ以外の領域の電磁波を検出できるようにしても構わない。例えば、赤外領域、紫外領域の電磁波を検出しても構わない。
【００１２】
［試料ＯＢＪの二次元画像（画像Ｐ）の生成］
画像処理装置２０は、走査部１２による走査の位置と、検出器１６によって検出された各波長成分の光の強度とに基づいて、ＸＹ平面上における蛍光Ｌ３の二次元画像を生成する。この一例において、検出器１６は、走査部１２による走査と同期して、検出信号を出力する。
具体的には、走査部１２は、励起光Ｌ１の照射位置（例えば、ステージ１４のステージ平面上のＸ座標及びＹ座標）を示す走査座標信号ＳＳを画像処理装置２０に出力する。
検出器１６は、走査部１２がステージ平面上の励起光Ｌ１の照射位置を変化させる毎に、この励起光Ｌ１によって生じた蛍光Ｌ３の強度を検出する。検出器１６は、赤（Ｒ）の波長成分を示す検出信号ＳＲ、緑（Ｇ）の波長成分を示す検出信号ＳＧ、青（Ｂ）の波長成分を示す検出信号ＳＢを、それぞれ画像処理装置２０に出力する。
画像処理装置２０は、走査部１２による走査の位置を示す走査座標信号ＳＳと、検出器１６が出力する検出信号ＳＲ、検出信号ＳＧ、及び検出信号ＳＢとに基づいて、ＸＹ平面上における蛍光Ｌ３の二次元画像を「画像Ｐ」として生成する。
【００１３】
［撮像される画像Ｐの一例］
ここでは、ヒトの大腸腺管領域の組織を試料ＯＢＪとして観察する場合を一例にして説明する。
図２及び図３は、本実施形態の顕微鏡システム１によって生成される画像Ｐの一例を示す図である。一例として、健常な大腸腺管領域の組織の画像（画像Ｐ１）を図２に示す。また、悪性腫瘍が生じている大腸腺管領域の組織の画像（画像Ｐ２）を図３に示す。
健常な大腸腺管領域の画像Ｐ１には、腺管の画像ＰＯＢＪ１、腺管膜の画像ＰＯＢＪ２、血液細胞の画像ＰＯＢＪ３が存在している。腺管及び腺管膜は、励起光が照射されると、それぞれ特有の波長成分を有する蛍光を発する。腺管の画像ＰＯＢＪ１は、円形又は楕円形の領域として撮像されている。腺管膜の画像ＰＯＢＪ２は、腺管の画像ＰＯＢＪ１の円周の領域として撮像されている。
大腸腺管領域に悪性腫瘍が生じている場合、画像Ｐ２に示すように、腺管らしき組織が円形又は楕円形から大きく変形している画像ＰＯＢＪ４が現れる。また、大腸腺管領域に悪性腫瘍が生じている場合、腺管膜を示す画像は認められず、各組織からは健常な場合とは波長成分が異なる蛍光が発せられる。
【００１４】
本実施形態の画像処理装置２０は、これら画像Ｐ１の試料ＯＢＪの状態と、画像Ｐ２の試料ＯＢＪの状態とを、互いに異なるものとして判定する。上述の一例では、画像処理装置２０は、画像Ｐ１が健常な大腸腺管領域を示す画像であり、画像Ｐ２は悪性腫瘍が生じている大腸腺管領域を示す画像であることを判定する。以下、この判定を行う画像処理装置２０の機能構成の一例について説明する。
【００１５】
［画像処理装置の機能構成の一例］
図４は、本実施形態の画像処理装置２０の機能構成の一例を示す図である。画像処理装置２０は、検出器１６が出力する各波長成分の検出信号に基づいて、試料ＯＢＪの状態を判定する。画像処理装置２０は、制御部２００と、記憶部２５０とを備える。
【００１６】
制御部２００は、例えばＣＰＵを備えており、信号処理部２０１と、基準領域マッピング部２０２と、判定部２０３と、マップ画像生成部２０４と、表示制御部２０５とをその機能部として備える。
記憶部２５０は、例えばハードディスクドライブや半導体記憶素子を備えており、強度分布記憶部２５１と、基準領域情報記憶部２５２と、画像記憶部２５３とを備える。
【００１７】
信号処理部２０１は、検出器１６が出力する検出信号を取得する。検出器１６は、上述したように、試料ＯＢＪが発する蛍光Ｌ３の各波長成分の強度を示す検出信号を出力する。上述したように、検出器１６は、赤（Ｒ）の波長成分を示す検出信号ＳＲ、緑（Ｇ）の波長成分を示す検出信号ＳＧ、青（Ｂ）の波長成分を示す検出信号ＳＢを出力する。信号処理部２０１は、取得した各検出信号に基づいて、試料ＯＢＪの検出信号の強度分布ＬＩＤを生成する。信号処理部２０１は、生成した強度分布ＬＩＤを強度分布記憶部２５１に記憶させる。
【００１８】
また、信号処理部２０１は、走査部１２による走査位置を示す走査座標信号ＳＳと、検出器１６が出力する検出信号ＳＲ、検出信号ＳＧ、及び検出信号ＳＢとに基づいて、ＸＹ平面上における蛍光Ｌ３の二次元画像である画像Ｐを生成する。信号処理部２０１は、生成した画像Ｐを、画像記憶部２５３に記憶させる。
【００１９】
基準領域マッピング部２０２は、信号処理部２０１が生成した強度分布ＬＩＤに対して、基準領域をマッピングする。基準領域は、強度分布ＬＩＤに示される検出信号の波長成分の比率の基準を示す。この基準領域を示す基準領域情報は、基準領域情報記憶部２５２に予め記憶されている。
【００２０】
強度分布ＬＩＤには、各画素についての波長成分の比率を示す情報の他に、各波長成分の強度（例えば、画素の「明るさ」）を示す情報が含まれている。基準領域マッピング部２０２は、強度分布ＬＩＤに含まれる各波長成分の強度を示す情報を捨象して、各画素についての波長成分の比率に対して基準領域をマッピングする。基準領域マッピング部２０２は、強度分布ＬＩＤに含まれる各波長成分の強度を示す情報を削除して、各画素についての波長成分の比率に対して基準領域をマッピングする。
【００２１】
一例として、基準領域マッピング部２０２は、強度分布ＬＩＤの単位ベクトルを法線とする平面に、各画素の画素値を、原点（強度分布成分が全て０となる点）を基準に射影することにより、強度分布ＬＩＤに含まれる各波長成分の強度を示す情報を捨象する。強度分布ＬＩＤに含まれる各波長成分の強度を示す情報の削除が行われる。例えば、強度分布ＬＩＤの座標軸が赤（Ｒ）・緑（Ｇ）・青（Ｂ）の各波長成分の強度を示す場合、各波長成分の強度がそれぞれ単位量であるベクトルＶ（１，１，１）が単位ベクトルである。この場合、基準領域マッピング部２０２は、このベクトルＶ（１，１，１）を法線とする平面に、各画素の画素値を射影、すなわち原点と各画素値の波長成分を通る直線と、この平面との交点が射影点となる操作を行う。この結果、強度分布ＬＩＤから各波長成分の強度の情報が捨象され、強度分布ＬＩＤは三次元から二次元に次元変換される。すなわち、強度分布ＬＩＤの座標軸がｎ個である場合には、各画素の画素値はｎ次元空間に配置される。すなわち、強度分布ＬＩＤの変数はｎ個となる。基準領域マッピング部２０２は、各画素の画素値をn−1次元空間に配置することが可能である。本実施形態では、ＲＧＢの３個の変数を、一つ次元を減らした２次元で、各波長成分の強度を評価した。本実施形態では、二次元に次元変換されるので、後述する基準領域との比較を２次元空間で評価することができる。したがって、２次元を表示する表示部で比較することが容易である。なお、後述する基準領域との比較を２次元空間とは異なる空間で評価しても構わない。例えば、３次元空間で評価しても構わない。この場合に、３次元を表示する表示部において、基準領域で囲まれた空間内に含まれない点のみを表示することで、基準領域と比較しても構わない。
また、基準領域マッピング部２０２は、n次元に配置される座標値が配置される、ｎ−１次元空間を超平面と呼んでも構わない。例えば、３次元に配置される座標値は、２次元の超平面に射影され、配置される。この場合、基準領域マッピング部２０２による射影は、強度分布ＬＩＤの単位ベクトルを法線とする超平面に対して行われる。  なお、本実施形態では、単位ベクトルを法線とする平面に、各画素の画素値を射影したが、これに限らず、単位ベクトルを法線とする平面以外の平面に、各画素の画素値を射影しても構わない。
【００２２】
なお、強度分布ＬＩＤの座標軸は３軸に限られず、２軸であっても、４軸以上であってもよい。強度分布ＬＩＤの座標軸が２軸である場合には、変数が２個となるので、一つ次元を減らした1次元で、各波長成分の比率を評価することができる。また、強度分布ＬＩＤの座標軸が４軸である場合には、変数が４個となるので、一つ次元を減らした３次元で、各波長成分の比率を評価することができる。そして、一つ次元を減らした次元に作成される基準領域内に含まれるか否かで、試料ＯＢＪの画像の状態を判定することができる。
【００２３】
判定部２０３は、検出信号の波長成分の比率が、基準領域マッピング部２０２がマッピングした基準領域内に含まれるか否かに基づいて、試料ＯＢＪの画像の状態を判定する。上述の一例の場合、判定部２０３は、基準領域マッピング部２０２が画素値を射影した平面上における、画素値の写像の座標に基づいて、試料ＯＢＪの状態を判定する。なお、判定部203は、基準領域内に含まれるか否かの判断基準は、適宜選択することが可能である。例えば、基準領域を95％縮小した領域を基準領域内と判断し、それ以外の領域を基準領域の外としても構わない。もちろん、基準領域をそのまま使用しても構わないし、基準領域を拡大した領域を基準領域内と判断しても構わない。
【００２４】
マップ画像生成部２０４は、判定部２０３の判定結果に基づいて、マップ画像ＭＰを生成する。このマップ画像ＭＰとは、画像Ｐに対して、判定部２０３の判定結果が重畳され画像である。
【００２５】
表示制御部２０５は、判定部２０３が判定した結果を表示部３０に表示させる。また、表示制御部２０５は、マップ画像生成部２０４が生成したマップ画像ＭＰを表示部３０に表示させる。
以下、上述した画像処理装置２０の具体的な動作手順の一例について図５を参照して説明する。
【００２６】
［画像処理装置の動作の一例］
図５は、本実施形態の画像処理装置２０の動作の一例を示す図である。
（ステップＳ１０）信号処理部２０１は、Ｒ検出器１６−１が出力する検出信号ＳＲ、Ｇ検出器１６−２が出力する検出信号ＳＧ、Ｂ検出器１６−３が出力する検出信号ＳＢ、及び走査部１２が出力する走査座標信号ＳＳをそれぞれ取得する。
【００２７】
（ステップＳ２０）信号処理部２０１は、検出器１６から取得した各検出信号に基づいて、画素の赤（Ｒ）・緑（Ｇ）・青（Ｂ）のそれぞれの値、すなわち画素ＰＸの画素値を算出する。信号処理部２０１は、算出した画素値をＲ軸・Ｇ軸・Ｂ軸の三次元直交座標空間にプロットすることにより、強度分布ＬＩＤを生成する。
【００２８】
図６は、本実施形態の強度分布ＬＩＤの一例を示す図である。この一例では、赤（Ｒ）軸・緑（Ｇ）軸・青（Ｂ）軸による三次元直交座標によって蛍光Ｌ３の強度が示される。以下の説明において、この３軸による三次元直交座標のことを「ＲＧＢ空間」とも記載する。
上述したように、検出器１６は、走査部１２が励起光Ｌ１を走査してステージ１４上に照射される位置を変更する毎に、検出信号を出力する。信号処理部２０１は、励起光Ｌ１の照射位置の変更回数に応じた数の検出信号を得る。信号処理部２０１は、取得したそれぞれの検出信号のＲＧＢ各波長成分の強度を、画素ＰＸの座標値としてＲＧＢ空間にプロットすることにより、強度分布ＬＩＤを生成する。信号処理部２０１は、生成した強度分布ＬＩＤを強度分布記憶部２５１に記憶させる。
この強度分布ＬＩＤには、試料ＯＢＪが撮像された画像の、それぞれの画素ＰＸについて、画素の色に関連する成分を示す複数の周波数成分の相対関係が示される。
【００２９】
（ステップＳ３０）基準領域マッピング部２０２は、強度分布記憶部２５１から強度分布ＬＩＤを取得する。基準領域マッピング部２０２は、取得した強度分布ＬＩＤについて、画素値の射影演算を行う。
【００３０】
図７は、画素値の射影演算の一例を示す図である。基準領域マッピング部２０２は、強度分布ＬＩＤの単位ベクトルＵＶを法線とする平面ＰＰに、強度分布ＬＩＤの各画素ＰＸの画素値をそれぞれ射影する。この平面ＰＰと単位ベクトルＵＶとの交点を、原点Ｏｐともいう。この一例において、単位ベクトルＵＶは、ＲＧＢ空間において、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の各成分が同じ比率となる座標の軌跡である。
【００３１】
図８は、射影結果の一例を示す図である。ＲＧＢ空間における画素ＰＸの座標が、平面ＰＰ上に射影される。この射影された画素ＰＸを「射影後の画素ＰＰＸ」ともいう。射影後の画素ＰＰＸの座標、すなわち写像の座標は、原点Ｏｐにおいて互いに直交するα軸とβ軸とによって示される。平面ＰＰを「αβ平面」とも記載する。射影結果の具体例を図９及び図１０に示す。
【００３２】
図９は、健常な組織の画像Ｐ１についての射影結果の一例を示す図である。この一例の場合、射影後の画素ＰＰＸは、領域ＡＲ１内に分布している。換言すれば、射影後の画素ＰＰＸが領域ＡＲ１の内部に分布している場合には、試料ＯＢＪの組織は健常な組織であるといえる。
【００３３】
図１０は、悪性腫瘍が生じた組織の画像Ｐ２についての射影結果の一例を示す図である。この一例の場合、射影後の画素ＰＰＸは、領域ＡＲ１内の他に領域ＡＲ２にも分布している。つまり、悪性腫瘍が生じた組織の画像Ｐ２の場合、射影後の画素ＰＰＸが分布する範囲が、図９に示す健常な組織の場合とは異なる。換言すれば、射影後の画素ＰＰＸが領域ＡＲ１の外部にも分布している場合には、試料ＯＢＪの組織は悪性腫瘍が生じている組織であるといえる。
【００３４】
つまり、画素ＰＰＸが、αβ平面上の基準領域の内部に分布するのか、基準領域の外部にも分布するのかを判定することにより、試料ＯＢＪの状態を判定することができる。以下、基準領域マッピング部２０２による基準領域のマッピングの手順、及び判定部２０３によるＯＢＪの状態の判定の手順について説明する。
【００３５】
（ステップＳ４０）図５に戻り、基準領域マッピング部２０２は、基準領域情報記憶部２５２から基準領域情報を取得する。基準領域の形状は、さまざまな演算によって求めることができる。この基準領域の形状の一例について、図１１から図１３を参照して説明する。
【００３６】
［基準領域の形状の一例］
（１）基準領域の形状が凸包演算によって求められる場合。
図１１は、基準領域の形状が凸包である場合の一例を示す図である。ここでいう凸包（Ｃｏｎｖｅｘ  Ｈｕｌｌ）とは、αβ平面上に分布する複数の画素ＰＸを含む最小の凸集合である。基準領域ＣＨの形状は、健常であると予め判定されている組織の画像についてのαβ平面への射影後の画素ＰＰＸに対して、既知の凸包演算を行うことによって求められる。求められた基準領域ＣＨの形状を示す基準領域情報は、基準領域情報記憶部２５２に記憶される。
【００３７】
（２）基準領域の形状が最小面積包含多角形演算によって求められる場合。
図１２は、基準領域の形状が最小面積包含多角形である場合の一例を示す図である。本実施形態では基準領域ＴＲの形状が、頂点の数が３である多角形、すなわち三角形である場合について説明する。基準領域ＴＲの形状は、健常であると予め判定されている組織の画像についてのαβ平面への射影後の画素ＰＰＸに対して、既知の最小面積包含三角形演算を行うことによって求められる。求められた基準領域ＴＲの形状を示す基準領域情報は、基準領域情報記憶部２５２に記憶される。
【００３８】
なお、最小面積包含多角形の頂点数は、試料ＯＢＪに含まれる組織のうち、画像処理装置２０による判定対象の組織の種類数に基づいて決められていてもよい。上述の一例の場合、画像処理装置２０は、図２に示す腺管の画像ＰＯＢＪ１、腺管膜の画像ＰＯＢＪ２、及び血液細胞の画像ＰＯＢＪ３を判定対象にする。この場合、判定対象の組織の種類数とは、腺管、腺管膜、及び血液細胞の３種類である。この一例の場合、最小面積包含多角形の頂点数は、試料ＯＢＪに含まれる判定対象の組織の種類数である「３」に基づいて「３」に決められる。つまり、この一例の場合には、基準領域は、最小面積包含三角形にされる。この一例では、ＰＯＢＪ１、ＰＯＢＪ２，ＰＯＢＪ３の判定対象に対して、設定されるＲＧＢ空間での座標位置が異なることから、頂点の数を３とすることができる。判定対象に対して、設定させる空間の座標位置が変わらない場合には、空間を設定する軸の元となる波長を変えても構わない。すなわち、本実施形態では、赤（Ｒ）軸・緑（Ｇ）軸・青（Ｂ）軸による三次元直交座標を用いたが、判定対象がその空間の座標位置が変わらない場合には、例えば、少なくとも一つの軸の取得する波長域を変えて、判定対象の空間座標位置を変えるようにしても構わない。  
なお、判定対象の組織の種類数を３としたが、３に限られない。例えば、判定対象の組織の種類数を４とする場合には、頂点の数が４となるために、基準領域は最小面積包含四角形となる。
【００３９】
（３）基準領域の形状が機械学習によって求められる場合
図１３は、基準領域の形状が機械学習によって求められる形状である場合の一例を示す図である。基準領域ＬＢの形状は、健常であると予め判定されている組織の画像についてのαβ平面への射影後の画素ＰＰＸに対して、ＳＶＭ（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）などを用いた既知の機械学習による境界推定によって求められる。求められた基準領域ＬＢの形状を示す基準領域情報は、基準領域情報記憶部２５２に記憶される。
【００４０】
これら基準領域の形状は、判定対象の組織について、同一検体の正常部位の組織の画像に対して、上述の（１）〜（３）などの演算を行うことにより求める。例えば、ある人の腺管、腺管膜、及び血液細胞を試料ＯＢＪにして、悪性腫瘍の発生の有無を判定する場合、同一人物の組織のうち、健常であると予め分かっている腺管、腺管膜、及び血液細胞が撮像された画像に対して上述の演算を行う。
この場合において、顕微鏡システム１による試料ＯＢＪの撮像条件と、基準領域の形状演算を行う場合の画像の撮像条件とは一致させておくことが好ましい。
【００４１】
（ステップＳ５０）図５に戻り、基準領域マッピング部２０２は、基準領域情報記憶部２５２から取得した基準領域情報に基づき、基準領域をαβ平面にマッピングする。以下の説明では、上述した様々な基準領域のうち、基準領域ＣＨをマッピングする場合について説明する。
【００４２】
基準領域マッピング部２０２は、基準領域ＣＨをαβ平面にマッピングする。基準領域マッピング部２０２が、図９に示した健常な組織の画像の射影結果ＰＰ１に対して基準領域ＣＨをマッピングした結果を図１４に示す。
図１４は、健常な組織の画像の射影結果ＰＰ１に対して基準領域ＣＨがマッピングされた画像の一例を示す図である。健常な組織の画像の場合、射影後の画素ＰＰＸは、基準領域マッピング部２０２がマッピングした基準領域ＣＨの内部に含まれる。
【００４３】
基準領域マッピング部２０２が、図１０に示した悪性腫瘍が生じた組織の画像の射影結果ＰＰ２に対して基準領域ＣＨをマッピングした結果を図１５に示す。
図１５は、悪性腫瘍が生じた組織の画像の射影結果ＰＰ２に対して基準領域ＣＨがマッピングされた画像の一例を示す図である。悪性腫瘍が生じた組織の画像の場合、射影後の画素ＰＰＸは、基準領域マッピング部２０２がマッピングした基準領域ＣＨの外部の領域ＡＲ２にも存在する。つまり、悪性腫瘍が生じた組織の画像の場合、射影後の画素ＰＰＸが基準領域ＣＨの外部にはみ出す。
【００４４】
（ステップＳ６０）図５に戻り、判定部２０３は、ステップＳ５０において基準領域ＣＨがマッピングされた画像に基づいて、射影後の画素ＰＰＸが基準領域ＣＨの内部に収まっているか否かを判定する。判定部２０３は、画素ＰＰＸの座標が基準領域ＣＨの内部に収まっていると判定した場合（ステップＳ６０；ＹＥＳ）には、処理をステップＳ８０に進める。判定部２０３は、画素ＰＰＸの座標が基準領域ＣＨの内部に収まっていないと判定した場合（ステップＳ６０；ＮＯ）には、処理をステップＳ７０に進める。
【００４５】
（ステップＳ７０）マップ画像生成部２０４は、判定部２０３の判定結果に基づいて、異常が生じていると推定される領域を示す画像を生成する。この異常が生じていると推定される領域を示す画像を「マップ画像ＭＰ」ともいう。上述の一例では、マップ画像生成部２０４は、悪性腫瘍が生じていると推定される領域を示すマップ画像ＭＰを生成する。
【００４６】
図１６は、本実施形態のマップ画像生成部２０４によるマップ画像ＭＰ作成手順の一例を示す図である。マップ画像生成部２０４は、画像記憶部２５３に記憶されている画像Ｐと、画像Ｐのαβ平面への射影結果とを対比して、基準領域ＣＨからのはみ出し量が多い画像Ｐ上の領域を「異常領域ＡＰ」として示したマップ画像ＭＰを生成する。
【００４７】
より具体的には、マップ画像生成部２０４は、画像記憶部２５３に記憶されている画像Ｐと、判定部２０３による判定結果ＪＲとを取得する。マップ画像生成部２０４は、画像Ｐに対して幅ＸＲ、高さＹＲの大きさを有する抽出窓ＲＯＩを適用し、ラスタスキャンを行う。マップ画像生成部２０４は、抽出窓ＲＯＩに含まれる画素ＰＸに対応するαβ平面上の画素ＰＰＸを特定する。マップ画像生成部２０４は、特定した画素ＰＰＸが、基準領域ＣＨからはみ出している場合、画素ＰＸが「異常を示す画素」であると判定する。マップ画像生成部２０４は、抽出窓ＲＯＩの内部の異常を示す画素の割合が所定の割合を超えた場合、この抽出窓ＲＯＩ内部の画像Ｐを、異常領域ＡＰであると判定する。マップ画像生成部２０４は、異常領域ＡＰを示す画像を、画像Ｐに重畳してマップ画像ＭＰを生成する。この場合、領域ＡＲ３に含まれている画素ＰＰＸが、異常領域ＡＰに対応する。
【００４８】
（ステップＳ８０）図５に戻り、表示制御部２０５は、判定部２０３の判定結果ＪＲを示す画像、又はマップ画像生成部２０４が生成したマップ画像ＭＰを、表示部３０に表示させて、一連の処理を終了する。
【００４９】
以上説明したように、本実施形態の画像処理装置２０は、信号処理部２０１と、基準領域マッピング部２０２とを備えている。信号処理部２０１は、画像Ｐのそれぞれの画素ＰＸについて、強度分布ＬＩＤを生成する。すなわち、信号処理部２０１は、画像Ｐのそれぞれの画素ＰＸについて、画素ＰＸの色に関連する成分を示す波長成分の相対関係を算出する。また、基準領域マッピング部２０２は、強度分布ＬＩＤと、基準領域情報とに基づいて、画像Ｐの状態を判定する。すなわち、基準領域マッピング部２０２は、画素ＰＸの色に関連する成分を示す波長成分の相対関係と相対関係の基準とに基づいて、画像Ｐの状態を判定する。
ここで、細胞などの生体組織の画像は、健常である場合と異常が生じている場合とにおいて画像の形状や色に関連する成分が互いに相違する場合がある。画像の状態を判定する場合に、画像の形状の相違点を解析するよりも、画像の色の相違点を解析したほうが精度よく判定することができる場合がある。このような場合において、本実施形態の画像処理装置２０は、画像の形状ではなく画像の色に着目して画像の状態を判定するため、画像の状態を精度よく判定することができる。したがって。画像の解析不良を抑制することができる。
また、色を示す波長成分の相対関係の基準と、画像から抽出される波長成分の相対関係とを比較することで、抽出される画像Ｐの状態を判定することができる。したがって、基準の画像と対象画像とを比較する場合に、例えば明るさ情報を用いずに、波長成分の相対関係を用い、基準の画像と対象画像とを比較するので、精度よく比較することができる場合がある。そのため、波長成分の相対関係に着目することができるので、基準の画像と対象画像とで明るさ情報が異なっていたとしても、基準の画像と対象画像とを精度よく比較することができる。
【００５０】
また、本実施形態の画像処理装置２０が備える基準領域マッピング部２０２は、画素ＰＸの波長成分の比率に基づいて、画像Ｐの状態を判定する。上述の一例では検出器１６は、Ｒ検出器１６−１、Ｇ検出器１６−２、Ｂ検出器１６−３によって３種類の波長成分を検出する。この一例の場合、強度分布ＬＩＤは、Ｒ軸・Ｇ軸・Ｂ軸の３軸を有する。すなわち、強度分布ＬＩＤは、検出器１６が検出する波長成分の数に対応する数の軸を有している。このため、検出器１６の検出信号が示す波長成分の強度どうしの比率は、そのまま画素ＰＸの波長成分の比率になる。この場合、画像処理装置２０は、検出器１６の検出信号に何らの演算を施さなくても、画素ＰＸの波長成分の比率を求めることができる。
したがって、本実施形態の画像処理装置２０によれば、画像Ｐの状態を判定するための演算量について、検出器１６の検出信号に何らかの演算を施す場合に比べて低減することができる。  
【００５１】
また、本実施形態の画像処理装置２０が備える基準領域マッピング部２０２は、画像Ｐに含まれる画素ＰＸの強度分布ＬＩＤを、平面ＰＰに射影する。判定部２０３は、この平面ＰＰに射影された画素ＰＰＸに基づいて、画像Ｐの状態の判定を行う。
上述したように、平面ＰＰとは、強度分布ＬＩＤのＲＧＢ空間における単位ベクトルＵＶを法線にする平面である。強度分布ＬＩＤのＲＧＢ空間における単位ベクトルＵＶは、ＲＧＢ空間における画素ＰＸの明るさを示す方向のベクトルである。このため、平面ＰＰには、画素ＰＸの明るさが捨象された画素ＰＰＸが写像として射影される。つまり、判定部２０３は、明るさが捨象された画素ＰＰＸに基づいて、画像Ｐの状態を判定する。明るさの情報を含む画素ＰＸの情報量よりも、明るさが捨象された画素ＰＰＸの情報量のほうが、情報量が少ない。このため、判定部２０３は、画像Ｐの状態判定のための演算量を、平面ＰＰに射影しない場合に比べて少なくすることができる。
【００５２】
また、本実施形態の画像処理装置２０の基準領域情報記憶部２５２に記憶される基準領域情報とは、判定対象の種類の数に応じた数の頂点を有する平面ＰＰ上の多角形である。上述の一例では、画像処理装置２０は、図２に示す腺管の画像ＰＯＢＪ１、腺管膜の画像ＰＯＢＪ２、及び血液細胞の画像ＰＯＢＪ３の３種類の組織を判定対象にする。判定対象の組織の種類が３種類であるため、この一例の場合には基準領域の形状は三角形である。判定対象の組織は、その色が互いに異なることがある。例えば、腺管の画像ＰＯＢＪ１の色と、腺管膜の画像ＰＯＢＪ２の色と、血液細胞の画像ＰＯＢＪ３の色とが、互いに異なる。この場合には、これら判定対象を含む画像Ｐの強度分布ＬＩＤは、ＲＧＢ空間内の３か所に局所群化しやすい。このＲＧＢ空間内の局所群の数に応じて基準領域の頂点数を定めると、基準領域の形状が判定対象の種類に応じた形状になるため、判定対象の画素ＰＰＸが基準領域の内部に存在するか否かによって画像Ｐの状態を判定する場合に、画像Ｐの状態を精度よく判定しやすい。つまり、画像処理装置２０によれば、画像Ｐの状態の判定精度を向上させることができる。
なお、上述の実施形態では、波長成分として、赤（R）の波長成分と、緑（G）の波長成分と、青（B）の波長成分とを用いRGB空間を用いていたが、これに限られない。例えば、C（シアン）、M（マゼンダ）、Y（イエロー）のCMYを用いても構わない。また、波長を直接用いなくても、間接的に用いても構わない。すなわち、波長に基づき導き出される値を用いても構わない。
なお、上述の実施形態においては、画像Pの状態を判定するために画像Pのそれぞれの画素PXについて、画素PXの色に関連する成分を示す情報として、波長成分を用いたが、色に関連する成分はこれに限られない。例えば、色に関連する成分として、彩度に対応する成分である彩度成分を用いても構わない。また、彩度成分と波長成分とを画像PXの色に関連する成分としても構わない。
【００５３】
また、本実施形態の画像処理装置２０は、マップ画像生成部２０４を備えている。このマップ画像生成部２０４は、異常と判定された画素ＰＸを示すマップ画像ＭＰを生成する。このマップ画像ＭＰとは、強度分布ＬＩＤに基づく判定結果を、ＸＹ平面上の二次元画像に変換した画像である。つまり、マップ画像生成部２０４によれば、人間には理解しにくい射影後の平面ＰＰに示された判定結果を、人間が理解しやすい表示形式であるＸＹ平面上の画像に変換することができる。
上述の実施形態では、撮像される画像Ｐの一例として、ヒトの大腸腺管領域の組織を例に挙げたが、これに限られない。
ヒトの大腸腺管領域の組織以外の生物組織でも構わないし、生物以外の試料でも構わない。例えば、工業用製品でも構わない。
この場合に、基準領域を工業用製品の良品で作成し、工業用製品の良否判定に本実施形態を適用しても構わない。
【００５４】
なお、本発明の実施形態における顕微鏡システム１又は画像処理装置２０の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
【００５５】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５７】
以上、添付図面を参照しながら本発明に係る好適な実施形態や変形例について説明したが、本発明は係る例に限定されないことは言うまでもない。上述した例において示した各構成部材の諸形状や組み合わせ等は一例であって、本発明の主旨から逸脱しない範囲において設計要求等に基づき種々変更可能である。前述の実施形態の各構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令が許容される限りにおいて、前述の各実施形態及び変形例で引用した顕微鏡などに関するすべての公開公報及び米国特許の開示を援用して本文の記載の一部とする。前述した実施形態に基づいて当業者等によりなされる他の実施形態及び運用技術等は、すべて本実施形態の範囲に含まれる。
【符号の説明】
【００５８】
１…顕微鏡システム、１０…光源、１１…折り返しミラー、１２…走査部、１３…対物レンズ、１４…ステージ、１５…フィルタ、１６…検出器、２０…画像処理装置、２００…制御部、２０１…信号処理部、２０２…基準領域マッピング部、２０３…判定部、２０４…マップ画像生成部、２０５…表示制御部、２５０…記憶部、２５１…強度分布記憶部、２５２…基準領域情報記憶部、２５３…画像記憶部、３０…表示部、４０…操作部、１００…顕微鏡本体、ＯＢＪ…試料、Ｐ…画像、ＭＰ…マップ画像、ＬＩＤ…強度分布、ＳＳ…走査座標信号、ＪＲ…判定結果、ＲＯＩ…抽出窓、ＣＨ…基準領域、ＡＰ…異常領域
【図１】
2020070877.tif 000003
【図２】
2020070877.tif 000004
【図３】
2020070877.tif 000005
【図４】
2020070877.tif 000006
【図５】
2020070877.tif 000007
【図６】
2020070877.tif 000008
【図７】
2020070877.tif 000009
【図８】
2020070877.tif 000010
【図９】
2020070877.tif 000011
【図１０】
2020070877.tif 000012
【図１１】
2020070877.tif 000013
【図１２】
2020070877.tif 000014
【図１３】
2020070877.tif 000015
【図１４】
2020070877.tif 000016
【図１５】
2020070877.tif 000017
【図１６】
2020070877.tif 000018
【国際調査報告】
2020070877.tif 000019
2020070877.tif 000020