(57)【要約】【課題】標本内の所定の標本構成要素の領域を適正に特定し、観察時の視認性を向上させること。【解決手段】本発明のある実施の形態の画像処理装置７０において、可視光画像取得制御部７７１は、顕微鏡１０の動作を制御し、ＨＥ染色が施され、細胞核と特異的に結合する蛍光色素によって染色（蛍光標識）が施された標本の可視光観察像を撮像して可視光画像を取得する。また、蛍光画像取得制御部７７２は、顕微鏡１０の動作を制御し、標本の蛍光観察像を撮像して蛍光画像を取得する。核領域特定部７４１は、蛍光画像をもとに、可視光画像中の核領域を特定する。異常核領域識別画像生成部７４９は、可視光画像をもとに、標本のＨＥ染色による染色状態を表し、かつ標本内の核領域に含まれる異常核領域を識別可能に表した異常核領域識別画像を生成する。【選択図】図１
2012122852.tif 000002
【特許請求の範囲】
【請求項１】
第１の染色と、所定の標本構成要素を染色し、前記第１の染色とは異なる観察方法で観察される第２の染色とが多重に施された標本の前記第１の染色による染色状態を撮像して第１の標本画像を取得する第１の画像取得手段と、
前記標本の前記第２の染色による染色状態を撮像して第２の標本画像を取得する第２の画像取得手段と、
前記第２の標本画像をもとに、前記第１の標本画像中の前記所定の標本構成要素の領域を特定する領域特定手段と、
前記第１の標本画像をもとに、前記標本の前記第１の染色による染色状態を表し、かつ前記標本内の前記所定の標本構成要素の少なくとも一部を識別可能に表した観察画像を生成する観察画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の標本画像の各画素の画素値をもとに、対応する前記標本上の位置を染色している前記第１の染色に用いた色素の色素量を推定する色素量推定手段を備え、
前記観察画像生成手段は、前記第１の標本画像の各画素における前記色素の色素量をもとに、前記標本の前記第１の染色による染色状態を表した標本染色画像を合成する染色画像合成手段を含み、前記標本染色画像中で前記所定の標本構成要素の領域の少なくとも一部の画素の画素値を所定の表示色で置き換えた画像を前記観察画像として生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の染色は、複数の色素を用いて行われ、
前記色素量推定手段は、前記複数の色素毎の色素量を推定し、
前記観察画像生成手段は、前記第１の標本画像の各画素における前記複数の色素のうちの所定の色素の色素量をもとに、前記標本の前記所定の色素のみの染色状態を表した標本単染色画像を合成する単染色画像合成手段を含み、前記標本単染色画像中で前記所定の標本構成要素の領域の少なくとも一部の画素の画素値を所定の表示色で置き換えた画像を前記観察画像として生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の標本画像の特徴値をもとに、前記第１の標本画像中の前記所定の標本構成要素の領域の中から識別対象箇所を検出する対象箇所検出手段を備え、
前記観察画像生成手段は、前記識別対象箇所を識別可能に表した観察画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１の標本画像の各画素の画素値をもとに、対応する前記標本上の位置を染色している前記第１の染色に用いた色素の色素量を推定する色素量推定手段を備え、
前記対象箇所検出手段は、前記第１の標本画像の各画素における前記色素の色素量を前記特徴値として用いて前記識別対象箇所を検出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記標本構成要素は、細胞を構成する所定の細胞構成要素であり、
前記対象箇所検出手段は、前記第１の標本画像中の前記所定の標本構成要素の領域の形態特徴量を算出する特徴量算出手段を含み、該形態特徴量を前記特徴値として用いて前記識別対象箇所を検出することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記第１の染色は、ヘマトキシリンおよびエオジンを色素として用いたヘマトキシリン−エオジン染色であり、
前記第１の標本画像の各画素の画素値をもとに、対応する前記標本上の位置を染色している前記ヘマトキシリンおよび前記エオジンの色素量を推定する色素量推定手段と、
前記第１の標本画像の各画素における前記ヘマトキシリンの色素量をもとに、前記標本の前記ヘマトキシリンのみの染色状態を表したヘマトキシリン単染色画像を合成する単染色画像合成手段と、
を備え、
前記対象箇所検出手段は、前記ヘマトキシリン単染色画像の色情報を前記特徴値として用いて前記識別対象箇所を検出することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記対象箇所検出手段は、前記ヘマトキシリン単染色画像の色情報をもとに色差を算出し、該算出した色差をもとに前記識別対象箇所を検出することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記対象箇所検出手段は、前記特徴値を予め設定される所定の基準特徴値と比較することで前記識別対象箇所を検出することを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
第１の染色と、所定の標本構成要素を染色し、前記第１の染色とは異なる観察方法で観察される第２の染色とが多重に施された標本の前記第１の染色による染色状態を撮像して第１の標本画像を取得する第１の画像取得工程と、
前記標本の前記第２の染色による染色状態を撮像して第２の標本画像を取得する第２の画像取得工程と、
前記第２の標本画像をもとに、前記第１の標本画像中の前記所定の標本構成要素の領域を特定する領域特定工程と、
前記第１の標本画像をもとに、前記標本の前記第１の染色による染色状態を表し、かつ前記標本内の前記所定の標本構成要素の少なくとも一部を識別可能に表した観察画像を生成する観察画像生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１１】
コンピュータに、
第１の染色と、所定の標本構成要素を染色し、前記第１の染色とは異なる観察方法で観察される第２の染色とが多重に施された標本の前記第１の染色による染色状態を撮像して第１の標本画像を取得する第１の画像取得ステップと、
前記標本の前記第２の染色による染色状態を撮像して第２の標本画像を取得する第２の画像取得ステップと、
前記第２の標本画像をもとに、前記第１の標本画像中の前記所定の標本構成要素の領域を特定する領域特定ステップと、
前記第１の標本画像をもとに、前記標本の前記第１の染色による染色状態を表し、かつ前記標本内の前記所定の標本構成要素の少なくとも一部を識別可能に表した観察画像を生成する観察画像生成ステップと、
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる染色が多重に施された標本の標本画像を処理する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
病理診断では、臓器摘出や針生検によって得た組織検体から標本を作製し、様々な所見を得るために光学顕微鏡を用いて拡大観察することが広く行われている。標本は、無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。染色手法としては種々のものが提案されているが、特に、病理標本に関しては、標本の形態を観察するための染色（形態観察染色）として、ヘマトキシリン（色素Ｈ）およびエオジン（色素Ｅ）の２つの色素を用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と呼ぶ。）が標準的に用いられている。
【０００３】
ここで、標本の観察は、観察者の目視によるものの他、この標本を例えばマルチバンド撮像して画面表示することによっても行われている。この場合には、撮像したマルチバンド画像の画素値から標本を染色している色素の色素量を推定し、推定した色素量をもとに画像の色を適宜補正した後、観察用のＲＧＢ画像を合成して画面表示する。
【０００４】
また、病理診断では、例えば細胞核や細胞膜、細胞質等の細胞構成要素、あるいはこの細胞構成要素上に発現している標的分子（抗原）といった標本を構成する所定の標本構成要素を確認するため、ＨＥ染色に加えて免疫染色や特殊染色等の別の染色を施す場合もある。
【０００５】
ここで、例えば、特許文献１には、複数の色素で多重染色された標本、例えば形態観察のためのＨＥ染色が施され、さらに可視光観察可能な免疫染色によって標的分子が染色された標本の標本画像を視認性良く表示するための技術が開示されている。この特許文献１では、標本を染色している複数の色素の中から表示対象色素を選択し、標本画像の各画素における表示対象色素の色素量をもとに、表示対象色素の色素量を表した表示画像を生成している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１３４１９５号公報
【特許文献２】特開２００８−５１６５４号公報
【特許文献３】特許第３４６９６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記した特許文献１の技術によれば、例えばＨＥ染色が施され、かつ可視光観察可能な免疫染色によって目的の標本構成要素が特異的に染色された標本の標本画像から、ＨＥ染色による染色状態を表した表示画像を生成したり、目的の標本構成要素を染色している色素の色素量を表した表示画像、すなわち、目的の標本構成要素の領域のみを表した表示画像を生成するといったことが可能となる。しかしながら、ＨＥ染色や免疫染色は標本に対して重ねて施されるため、実際には重畳する色素同士が影響してその染色状態を完全には分離できず、目的の標本構成要素の領域を正しく特定できない場合があった。また、複数の色素の色が重畳されて表示されてしまい、視認性が劣化する場合があった。
【０００８】
本発明は、上記した従来の問題点に鑑みて為されたものであり、標本内の所定の標本構成要素の領域を適正に特定し、観察時の視認性を向上させることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、第１の染色と、所定の標本構成要素を染色し、前記第１の染色とは異なる観察方法で観察される第２の染色とが多重に施された標本の前記第１の染色による染色状態を撮像して第１の標本画像を取得する第１の画像取得手段と、前記標本の前記第２の染色による染色状態を撮像して第２の標本画像を取得する第２の画像取得手段と、前記第２の標本画像をもとに、前記第１の標本画像中の前記所定の標本構成要素の領域を特定する領域特定手段と、前記第１の標本画像をもとに、前記標本の前記第１の染色による染色状態を表し、かつ前記標本内の前記所定の標本構成要素の少なくとも一部を識別可能に表した観察画像を生成する観察画像生成手段と、を備えることを特徴とする。
【００１０】
ここで、標本構成要素とは、細胞核、細胞膜、細胞質等の細胞構成要素、あるいはこの細胞構成要素上に発現している標的分子（抗原）といった標本を構成するものをいう。
【００１１】
また、本発明の別の態様にかかる画像処理方法は、第１の染色と、所定の標本構成要素を染色し、前記第１の染色とは異なる観察方法で観察される第２の染色とが多重に施された標本の前記第１の染色による染色状態を撮像して第１の標本画像を取得する第１の画像取得工程と、前記標本の前記第２の染色による染色状態を撮像して第２の標本画像を取得する第２の画像取得工程と、前記第２の標本画像をもとに、前記第１の標本画像中の前記所定の標本構成要素の領域を特定する領域特定工程と、前記第１の標本画像をもとに、前記標本の前記第１の染色による染色状態を表し、かつ前記標本内の前記所定の標本構成要素の少なくとも一部を識別可能に表した観察画像を生成する観察画像生成工程と、を含むことを特徴とする。
【００１２】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、第１の染色と、所定の標本構成要素を染色し、前記第１の染色とは異なる観察方法で観察される第２の染色とが多重に施された標本の前記第１の染色による染色状態を撮像して第１の標本画像を取得する第１の画像取得ステップと、前記標本の前記第２の染色による染色状態を撮像して第２の標本画像を取得する第２の画像取得ステップと、前記第２の標本画像をもとに、前記第１の標本画像中の前記所定の標本構成要素の領域を特定する領域特定ステップと、前記第１の標本画像をもとに、前記標本の前記第１の染色による染色状態を表し、かつ前記標本内の前記所定の標本構成要素の少なくとも一部を識別可能に表した観察画像を生成する観察画像生成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、標本の第１の染色による染色状態を撮像して第１の標本画像を取得するとともに、この第１の染色とは異なる観察方法で観察された標本の第２の染色による染色状態、すなわち、標本内の所定の標本構成要素を撮像して第２の標本画像を取得することができ、第２の標本画像をもとに、第１の標本画像中の所定の標本構成要素の領域を特定することができる。そして、標本の第１の染色による染色状態を表し、かつ標本内の所定の標本構成要素の少なくとも一部を識別可能に表した観察画像を生成することができる。したがって、標本内の所定の標本構成要素の領域を適正に特定し、観察時の視認性を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施の形態１における顕微鏡システムの全体構成例を示すブロック図である。
【図２】図２は、顕微鏡の概略構成を示す模式図である。
【図３】図３は、ＬＤＳ７５１／ＤＮＡの励起波長特性および蛍光波長特性を示す図である。
【図４】図４は、実施の形態１における第１のバンドパスフィルタの分光透過特性を示す図である。
【図５】図５は、実施の形態１における第１のダイクロイックミラーの分光透過特性を示す図である。
【図６】図６は、実施の形態１における第２のダイクロイックミラーの分光透過特性を示す図である。
【図７】図７は、実施の形態１の画像処理装置が行う処理手順を示すフローチャートである。
【図８】図８は、実施の形態１の画像処理装置が行う処理手順を説明する説明図である。
【図９】図９は、実施の形態２における顕微鏡システムの全体構成例を示すブロック図である。
【図１０】図１０は、インドシアニングリーンの励起波長特性および蛍光波長特性を示す図である。
【図１１】図１１は、実施の形態２における第１のバンドパスフィルタの分光透過特性を示す図である。
【図１２】図１２は、実施の形態２における第１のダイクロイックミラーの分光透過特性を示す図である。
【図１３】図１３は、実施の形態２における第２のダイクロイックミラーの分光透過特性を示す図である。
【図１４】図１４は、実施の形態２の画像処理装置が行う処理手順を示すフローチャートである。
【図１５】図１５は、実施の形態２の画像処理装置が行う処理手順を説明する説明図である。
【図１６】図１６は、実施の形態３における顕微鏡システムの全体構成例を示すブロック図である。
【図１７】図１７は、実施の形態３の画像処理装置が行う処理手順を示すフローチャートである。
【図１８】図１８は、実施の形態４における顕微鏡システムの全体構成例を示すブロック図である。
【図１９】図１９は、実施の形態４の画像処理装置が行う処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照し、本発明を実施するための形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１６】
（実施の形態１）
図１は、実施の形態１における顕微鏡システム１の全体構成例を示すブロック図である。図１に示すように、顕微鏡システム１は、顕微鏡１０と、例えばワークステーションやパソコン等の汎用コンピュータを用いて実現される画像処理装置７０とがデータの送受可能に接続されて構成される。
【００１７】
図２は、顕微鏡１０の概略構成を示す模式図である。この顕微鏡１０は、観察対象の標本Ｓの可視光観察および蛍光観察を行うものである。実施の形態１では、例えば、第１の染色としてＨＥ染色が施され、かつ、第２の染色として、標本構成要素の一例である細胞核と特異的に結合する蛍光色素を用いた染色（蛍光標識）が施された生体組織標本を観察対象の標本Ｓとし、顕微鏡１０によって標本Ｓの可視光観察および蛍光観察を行う。より具体的には、標本Ｓは、色素Ｈによって細胞核が青紫色に染色され、色素Ｅによって細胞質や結合組織が薄赤色に染色された生体組織標本である。加えて、この生体組織標本に、近赤外蛍光色素の一例である例えばＬＤＳ７５１／ＤＮＡ（インビトロジェン社製）によって細胞核に蛍光標識が施されたものである。
【００１８】
図３は、ＬＤＳ７５１／ＤＮＡの励起波長特性および蛍光波長特性を示す図であり、励起波長特性の変化曲線Ｌ１１を一点鎖線で示し、蛍光波長特性の変化曲線Ｌ１３を二点鎖線で示している。図３に示すように、ＬＤＳ７５１／ＤＮＡは、励起波長が５５０ｎｍ付近であり、蛍光波長が７１０ｎｍ付近である。したがって、５５０ｎｍ付近の光（励起光）を照射すると、７１０ｎｍ付近の光（蛍光）を発する。
【００１９】
この標本Ｓの可視光観察および蛍光観察を行う顕微鏡１０は、図２に示すように、標本Ｓが載置されるステージ２と、このステージ２上に載置された標本Ｓの裏面側から透過照明光を照射するための透過照明光学系３と、ステージ２上に載置された標本Ｓの表面側から落射照明光を照射するための落射照明光学系４と、標本Ｓの観察像を肉眼で観察するための肉眼観察系５と、標本Ｓの観察像を撮像して画面表示することで観察するための撮像観察系６とを備える。
【００２０】
この顕微鏡１０は、観察対象の標本Ｓの種類や観察の用途等に応じて透過照明光学系３または落射照明光学系４を選択的に用いることで、透過照明光学系３を用いた透過照明による標本Ｓの観察と、落射照明光学系４を用いた落射照明による標本Ｓの観察とを行うことができる。なお、以下では、透過照明光学系３を用いて標本Ｓの可視光観察を行い、落射照明光学系４を用いて標本Ｓの蛍光観察を行うこととして説明する。
【００２１】
ステージ２は、不図示の駆動機構によって観察光軸（肉眼観察系５を構成する対物レンズ５１の光軸）に垂直な面内（ＸＹ平面内）および観察光軸の方向（Ｚ軸方向）に移動自在に構成され、これによって観察する標本Ｓ上の領域が調整されるとともに、標本Ｓが観察光軸に沿って焦準移動されて焦点合わせ（ピント合わせ）される。
【００２２】
透過照明光学系３は、第１のランプ３１と、第１のコレクタレンズ３２と、第１のバンドパスフィルタ３３と、全反射ミラー３４と、コンデンサレンズ３５とを含む。
【００２３】
第１のランプ３１は、例えば、ハロゲンランプ等で実現され、可視域から近赤外域に亘る波長範囲の光を透過照明光として射出する。なお、実施の形態１では、透過照明光学系３を用いて標本Ｓを透過照明することで標本Ｓの可視光観察を行うため、第１のランプ３１は、可視域の光の少なくとも一部を含む光を透過照明光として射出するものであればよい。第１のコレクタレンズ３２は、第１のランプ３１からの透過照明光を集光する。
【００２４】
第１のバンドパスフィルタ３３は、標本Ｓに照射する透過照明光の波長域を所定の波長域に制限するためのものであり、第１のコレクタレンズ３２で集光された透過照明光のうちの所定の波長域の光を透過する。図４は、実施の形態１における第１のバンドパスフィルタ３３の分光透過特性を示す図である。実施の形態１では、第１のバンドパスフィルタ３３は、図４に示すように、可視域の光およびＬＤＳ７５１／ＤＮＡの励起波長（５５０ｎｍ付近）の光（励起光）を含む４００ｎｍ〜７００ｎｍの波長範囲の光を透過し、この波長範囲外の光を遮断する特性を有する。
【００２５】
全反射ミラー３４は、第１のバンドパスフィルタ３３を透過した所定の波長域の透過照明光を標本Ｓの裏面側から照射するように反射させる。この全反射ミラー３４後段のコンデンサレンズ３５を透過した透過照明光は、ステージ２上の標本Ｓの裏面側に照射され、観察光として対物レンズ５１に入射する。
【００２６】
落射照明光学系４は、第２のランプ４１と、第２のコレクタレンズ４２と、第２のバンドパスフィルタ４３と、第１のダイクロイックミラー４４とを含む。
【００２７】
第２のランプ４１は、第１のランプ３１と同様の構成で実現できる。ただし、実施の形態１では、落射照明光学系４を用いて標本Ｓを落射照明することで標本Ｓの蛍光観察を行うため、第２のランプ４１は、標本Ｓを標識している近赤外蛍光色素の励起波長、実施の形態１では、ＬＤＳ７５１／ＤＮＡの励起波長（５５０ｎｍ付近）の少なくとも一部を含む光を落射照明光として射出するものであればよい。第２のコレクタレンズ４２は、第２のランプ４１からの落射照明光を集光する。第２のバンドパスフィルタ４３は、標本Ｓに照射する照射照明光の波長域を所定の波長域に制限するためのものであり、第２のコレクタレンズ４２で集光された落射照明光のうちの所定の波長域の光を透過する。この第２のバンドパスフィルタ４３は、例えば図４に示した第１のバンドパスフィルタ３３と同様の特性を有する。
【００２８】
第１のダイクロイックミラー４４は、第２のバンドパスフィルタ４３を透過した所定の波長域の落射照明光を標本Ｓの表面側から照射するように反射させるとともに、対物レンズ５１を経た観察光を透過する。図５は、実施の形態１における第１のダイクロイックミラー４４の分光透過特性を示す図である。実施の形態１では、第１のダイクロイックミラー４４は、図５に示すように、７００ｎｍより短波長側の波長範囲の光の約５０％を透過する一方、約５０％を反射する特性を有する。さらに、第１のダイクロイックミラー４４は、７００ｎｍより長波長側の波長範囲の光を透過する特性、すなわち、ＬＤＳ７５１／ＤＮＡの蛍光波長（７１０ｎｍ付近）の光（蛍光）を透過する特性を有する。
【００２９】
第１のダイクロイックミラー４４で反射された落射照明光は、対物レンズ５１を経て標本Ｓの表面側に照射される。なお、上記したように、実施の形態１では、落射照明光学系４を用いて標本Ｓの蛍光観察を行うが、この蛍光観察時には、ＬＤＳ７５１／ＤＮＡの励起波長の光（励起光）が標本Ｓの表面側に照射される。このようにして標本Ｓに励起光を照射すると、標本Ｓ内のＬＤＳ７５１／ＤＮＡが励起されて蛍光を発し、このＬＤＳ７５１／ＤＮＡが発した蛍光が観察光として対物レンズ５１に入射する。
【００３０】
肉眼観察系５は、対物レンズ５１と、光路変換ミラー５２と、プリズム５３と、標本Ｓの観察像を目視によって観察するために観察者の眼があてられる接眼レンズ５４とを含む。
【００３１】
光路変換ミラー５２は、観察光軸上に挿抜自在に設けられ、観察光の光路を肉眼観察系５または撮像観察系６に切り換える。具体的には、この光路変換ミラー５２を観察光軸上に挿入または抜去することによって、第１のダイクロイックミラー４４を透過した観察光を第２のダイクロイックミラー６１側に透過させる全透過状態と、第１のダイクロイックミラー４４を透過した観察光を接眼レンズ５４側に反射させる全反射状態とが切り換えられるようになっている。
【００３２】
光路変換ミラー５２が観察光軸上に挿入されており全反射状態の場合、プリズム５３は、光路変換ミラー５２で反射された観察光を所定方向に反射させて接眼レンズ５４に導く。接眼レンズ５４に導入された観察光（標本Ｓの可視光観察像／標本Ｓの蛍光観察像）は、観察者によって目視観察される。
【００３３】
一方、光路変換ミラー５２が観察光軸上から抜去されており全透過状態となっている場合には、第１のダイクロイックミラー４４を透過した観察光（標本Ｓの可視光観察像／標本Ｓの蛍光観察像）は、プリズム５３を経て撮像観察系６の第２のダイクロイックミラー６１に入射する。
【００３４】
撮像観察系６は、第２のダイクロイックミラー６１と、励起光カットフィルタ６２と、イメージインテンシファイア（Ｉ．Ｉ．）６３と、蛍光画像撮像部６４と、可視光画像撮像部６５とを含む。
【００３５】
第２のダイクロイックミラー６１は、プリズム５３を透過した観察光のうち、ＬＤＳ７５１／ＤＮＡの蛍光波長の少なくとも一部を含む波長域の光である蛍光（赤外光）成分を反射するとともに、可視光の少なくとも一部を含む波長域の光である可視光成分を透過して空間的に分離する。図６は、実施の形態１における第２のダイクロイックミラー６１の分光透過特性を示す図である。実施の形態１では、第２のダイクロイックミラー６１は、図６に示すように、可視光域の光（可視光成分）を含む７００ｎｍより短波長側の波長範囲の光を透過する一方、ＬＤＳ７５１／ＤＮＡの蛍光成分を含む７００ｎｍより長波長側の波長範囲の光を反射する特性を有する。この第２のダイクロイックミラー６１で反射された蛍光成分は、励起光カットフィルタ６２に入射する。一方、第２のダイクロイックミラー６１を透過した可視光成分は、必要な光学系を経て可視光画像撮像部６５の撮像面に結像される。
【００３６】
励起光カットフィルタ６２は、励起光成分を遮断して蛍光成分のみを透過する分光透過特性、実施の形態１では、ＬＤＳ７５１／ＤＮＡの励起光成分を遮断し、ＬＤＳ７５１／ＤＮＡの蛍光成分を透過する分光透過特性を有する。励起光カットフィルタ６２に入射した蛍光成分は、この励起光カットフィルタ６２によって励起光成分が除去されてイメージインテンシファイア６３に入射する。
【００３７】
イメージインテンシファイア６３は、例えば３５０ｎｍ〜９１０ｎｍ付近の波長に対して感度を有し、励起光カットフィルタ６２を通過した観察光は、このイメージインテンシファイア６３によって増幅されて蛍光画像撮像部６４の撮像面に結像される。
【００３８】
蛍光画像撮像部６４は、ＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラで構成され、第２のダイクロイックミラー６１で反射された蛍光成分（標本Ｓの蛍光観察像）を撮像して電気信号に変換する。この蛍光画像撮像部６４によって得られる画像データの各画素の画素値は、標本Ｓ上の各点（標本点）における蛍光強度に相当する。ここで、標本点とは、カメラを構成する撮像素子の各画素位置に対応する標本Ｓ上の各位置のことである。得られた標本Ｓの第２の標本画像としての蛍光画像の画像データは、画像処理装置７０に出力される。
【００３９】
一方、可視光画像撮像部６５は、例えば特許文献３に開示されている撮像方式を適用し、透過させる光の波長帯域（バンド）が異なる所定枚数（例えば１６枚）のバンドパスフィルタを切り換えながら標本Ｓの可視光観察像を面順次方式でマルチバンド撮像するマルチバンドカメラで構成される。１６枚のバンドパスフィルタを用いる場合、可視光画像は、１６バンドのマルチバンド画像として得られる。この可視光画像撮像部６５は、例えば、前述の所定枚数のバンドパスフィルタをフィルタホイールに装着し、フィルタホイールを回転させることで各バンドパスフィルタを観察光軸上に択一的に挿入するフィルタユニットや、ＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラで構成され、第２のダイクロイックミラー６１を透過した可視光成分（標本Ｓの可視光観察像）をマルチバンド撮像して電気信号に変換する。この可視光画像撮像部６５によって得られる画像データの各画素の画素値は、各バンドパスフィルタそれぞれのバンドにおける可視光の強度に相当し、各標本点についてバンド毎の画素値（分光データ）が得られる。得られた標本Ｓの第１の標本画像としての可視光画像の画像データは、画像処理装置７０に出力される。
【００４０】
一方、画像処理装置７０は、入力部７１と、表示部７２と、記録部７３と、画像処理部７４と、装置各部を制御する制御部７７とを備える。
【００４１】
入力部７１は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部７７に出力する。表示部７２は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部７７から入力される表示信号をもとに各種画面を表示する。
【００４２】
記録部７３は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものである。この記録部７３には、顕微鏡システム１を動作させ、この顕微鏡システム１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予め記録され、あるいは処理の都度一時的に記録される。この記録部７３には、顕微鏡１０から入力される可視光画像の画像データや蛍光画像の画像データ、画像処理部７４によって生成される観察画像としての異常核領域識別画像の画像データ等が記録される。また、記録部７３には、実施の形態１の処理を実現して可視光画像および蛍光画像および異常核領域識別画像を生成するための画像処理プログラム７３１が記録される。
【００４３】
画像処理部７４は、領域特定手段としての核領域特定部７４１と、分光特性推定部７４３と、色素量推定手段としての色素量推定部７４５と、対象箇所検出手段としての異常核領域検出部７４７と、観察画像生成手段としての異常核領域識別画像生成部７４９と、異常マーク付加部７５３とを含む。核領域特定部７４１は、蛍光画像を構成する各画素の画素値（蛍光強度）をもとに、蛍光画像中の細胞核の領域（核領域）を抽出することで可視光画像中の核領域を特定する。分光特性推定部７４３は、可視光画像を構成する画素毎に、対応する標本Ｓ上の各標本点における分光透過率を推定する。色素量推定部７４５は、分光特性推定部７４３が可視光画像の画素毎に推定した分光透過率をもとに、標本Ｓの色素量を推定する。異常核領域検出部７４７は、核領域特定部７４１が特定した核領域の画素について色素量推定部７４５が推定した色素量をもとに、核領域の中から識別対象箇所の一例である異常な細胞核の領域（異常核領域）を検出する。異常核領域識別画像生成部７４９は、標本ＳのＨＥ染色による染色状態（色素Ｈおよび色素Ｅの染色状態）を表し、かつ、異常核領域を識別表示した画像（異常核領域識別画像）を生成する。この異常核領域識別画像生成部７４９は、染色画像合成手段としてのＨＥ染色画像合成部７５１を含む。ＨＥ染色画像合成部７５１は、標本ＳのＨＥ染色による染色状態を表した標本染色画像としてのＨＥ染色画像を合成する。異常マーク付加部７５３は、異常核領域識別画像中の異常核領域近傍に該当する細胞核が異常であることを示す異常マークを付加して表示部７２に表示する処理を行う。
【００４４】
制御部７７は、入力部７１から入力される入力信号、記録部７３に記録されるプログラムやデータ等をもとに顕微鏡１０を構成する各部への指示やデータの転送等を行い、あるいは画像処理装置７０を構成する各部への指示やデータの転送等を行って、顕微鏡システム１全体の動作を統括的に制御する。この制御部７７は、第１の画像取得手段としての可視光画像取得制御部７７１と、第２の画像取得手段としての蛍光画像取得制御部７７２とを含む。可視光画像取得制御部７７１は、顕微鏡１０の動作を制御して標本Ｓの可視光画像を取得する。蛍光画像取得制御部７７２は、顕微鏡１０の動作を制御して標本Ｓの蛍光画像を取得する。
【００４５】
図７は、実施の形態１の画像処理装置７０が行う処理手順を示すフローチャートである。また、図７は、この画像処理装置７０が行う処理手順を説明する説明図である。ここで説明する処理は、記録部７３に記録された画像処理プログラム７３１に従って画像処理装置７０の各部が動作することによって実現される。
【００４６】
図７に示すように、先ず、可視光画像取得制御部７７１が、第１の画像取得工程および第１の画像取得ステップとして、顕微鏡１０の動作を制御して標本Ｓの可視光観察像をマルチバンド撮像し、標本Ｓの可視光画像を取得する（ステップａ１）。取得した可視光画像の画像データは、記録部７３に記録される。また、蛍光画像取得制御部７７２が、第２の画像取得工程および第２の画像取得ステップとして、顕微鏡１０の動作を制御して標本Ｓの蛍光観察像を撮像し、標本Ｓの蛍光画像を取得する（ステップａ３）。取得した蛍光画像の画像データは、記録部７３に記録される。なお、ステップａ１およびステップａ３では、同じ標本Ｓの範囲（対物レンズ５１の視野範囲）を撮像することで、各画素に対応する標本Ｓ上の標本点が一致した標本Ｓの可視光画像および蛍光画像を取得する。
【００４７】
この結果、例えば図８（ａ）に示す可視光画像が取得され、図８（ｂ）に示す蛍光画像が取得される。図８（ａ）に示す可視光画像および図８（ｂ）に示す蛍光画像は、４つの細胞核を含む標本Ｓを撮像したものである。ここで、上記したように、実施の形態１で観察対象とする標本Ｓは、色素Ｈによって細胞核が青紫色に染色され、色素Ｅによって細胞質や結合組織が薄赤色に染色され、ＬＤＳ７５１／ＤＮＡによって細胞核に蛍光標識が施されたものである。したがって、可視光観察では、標本ＳのＨＥ染色による染色状態が撮像され、可視光画像には、図８（ａ）に示すように、ＨＥ染色された標本Ｓ内の細胞核Ｃ２１〜Ｃ２４（細胞核Ｃ２１〜Ｃ２４の色素Ｈによる染色状態）が映る。一方、蛍光観察では、標本ＳのＬＤＳ７５１／ＤＮＡによる染色状態、すなわち、ＬＤＳ７５１／ＤＮＡが発した蛍光のみが撮像されるため、蛍光画像は、図８（ｂ）に示すように、標本Ｓ内の細胞核Ｃ２１〜Ｃ２４の境界が鮮明な画像として得られる。
【００４８】
以上のようにして可視光画像と蛍光画像とを取得したならば、画像処理部７４の核領域特定部７４１が、領域特定工程および領域特定ステップとして、先ず、ステップａ３で取得した蛍光画像から核領域を抽出する（ステップａ５）。具体的には、核領域特定部７４１は、蛍光画像の各画素の画素値（蛍光強度）を例えば閾値処理し、その蛍光強度が予め設定される所定の閾値以上の画素を核領域の画素として抽出する。そして、核領域特定部７４１は、蛍光画像中で核領域として抽出した画素と同じ可視光画像中の画素を、可視光画像中の核領域の画素として特定する（ステップａ７）。このとき、核領域特定部７４１は、可視光画像中の核領域の画素を連結成分毎に区切り、区切った画素群毎に固有のラベルを付すことで、各画素群のそれぞれを１つの細胞核の領域として特定する。
【００４９】
続いて、分光特性推定部７４３が、可視光画像の各画素の画素値をもとに、対応する標本Ｓ上の各標本点における波長毎（バンド毎）の分光透過率を推定（算出）する（ステップａ９）。マルチバンド画像から分光透過率を推定する手法としては、例えば、公知のウィナー（Wiener）推定を用いることができる。そして、色素量推定部７４５が、ステップａ９で推定した各画素の分光透過率をもとに、標本Ｓの色素量を推定（算出）する（ステップａ１１）。上記したように、可視光観察では、標本ＳのＨＥ染色による染色状態が撮像されるため、推定対象の色素は、色素Ｈおよび色素Ｅの２つとなる。なお、色素Ｈおよび色素Ｅ以外の染色成分についても適宜推定対象に含めて色素量の推定を行うこととしてよい。具体的には、赤血球を染色したエオジンまたは染色されていない赤血球の色等を推定対象に含めてもよい。この色素量の推定は、例えば特許文献２に記載の公知技術を適用することで実現できる。
【００５０】
ここで、色素量の推定について簡単に説明する。一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ(λ)との間に、次式（１）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。また、式（１）の左辺は分光透過率ｔ（λ）を意味している。
【数１】
2012122852.tif 000003
【００５１】
例えば、標本が色素１，色素２，・・・，色素ｎのｎ種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（２）が成立する。ｋ1（λ），ｋ2（λ），・・・，ｋn（λ）は、それぞれ色素１，色素２，・・・，色素ｎに対応するｋ（λ）を表し、例えば、標本を染色している各色素の色素スペクトルである。またｄ1，ｄ2，・・・，ｄnは、マルチバンド画像の各画素に対応する標本Ｓ上の標本点における色素１，色素２，・・・，色素ｎの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄ1，ｄ2，・・・，ｄnはそれぞれ色素１，色素２，・・・，色素ｎの色素量を表しているといえる。なお、ｋ1（λ），ｋ2（λ），・・・，ｋn（λ）は、色素１，色素２，・・・，色素ｎの各色素を用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【数２】
2012122852.tif 000004
【００５２】
式（２）の両辺の対数を取ると、次式（３）となる。
【数３】
2012122852.tif 000005
【００５３】
ステップａ９で可視光画像の画素毎に推定した分光透過率の波長λに対応する要素をｔ＾（ｘ，λ）とし、これを式（３）に代入すると、次式（４）を得る。なお、ｔ＾は、ｔの上に推定値を表すハット「＾」が付いていることを示す。
【数４】
2012122852.tif 000006
【００５４】
式（４）において未知変数はｄ1，ｄ2，・・・，ｄnのｎ個であるから、少なくともｎ個の異なる波長λについて式（４）を連立させれば、これらを解くことができる。より精度を高めるために、ｎ個以上の異なる波長λに対して式（４）を連立させ、重回帰分析を行ってもよい。
【００５５】
以上が、色素量算出の簡単な手順であるが、実施の形態１で推定対象とする色素は色素Ｈおよび色素Ｅであり、ｎ＝２となる。色素量推定部７４５は、ステップａ９で推定した各画素の分光透過率をもとに、対応する各標本点に固定された色素Ｈおよび色素Ｅの色素量をそれぞれ推定する。
【００５６】
続いて、異常核領域検出部７４７が、ステップａ７で特定した核領域を構成する画素についてステップａ１１で推定した色素Ｈの色素量をもとに、個々の細胞核の正常／異常を判定して、異常核領域を検出する（ステップａ１３）。例えば、予め正常な細胞核を含む標本を用意し、ＨＥ染色を施して可視光画像を取得する。そして、ステップａ９〜ステップａ１１と同様の手順で色素量を推定することで正常な細胞核に固定される色素Ｈの色素量を取得し、基準特徴値である基準Ｈ色素量として記録部７３に記録しておく。そして、ステップａ１３では、ステップａ７で特定した核領域の画素の色素Ｈの色素量を特徴値として用い、この色素Ｈの色素量と基準Ｈ色素量とを比較する。例えば、個々の核領域を構成する画素の色素Ｈの色素量からその平均値や最大値、最小値といった値を算出し、基準Ｈ色素量との比較を行う。そして、算出した値が基準Ｈ色素量に満たない細胞核を異常と判定する。基準Ｈ色素量以上であれば、その細胞核を正常と判定する。なお、基準Ｈ色素量は、正常な細胞核に固定される色素Ｈの色素量に限らず、異常な細胞核に固定される色素Ｈの色素量であってもよい。
【００５７】
続いて、観察画像生成工程および観察画像生成ステップとして、先ず、異常核領域識別画像生成部７４９のＨＥ染色画像合成部７５１が、ステップａ１１で画素毎に推定した色素量をもとに各画素の画素値（ＲＧＢ値）を算出することで、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像を合成する（ステップａ１５）。ここで、色素量を画素値（ＲＧＢ値）に変換する処理は、例えば特許文献２に記載の公知技術を適用して実現できる。
【００５８】
簡単に処理手順を説明すると先ず、ステップａ１１で推定した色素量ｄ1，ｄ2，・・・，ｄnに補正係数α1，α2，・・・，αnをそれぞれ乗じて上記した式（２）に代入し、次式（５）を得る。そして、補正係数αnに所定の値を与えることで色素量を適宜修正し、修正後の色素量から合成分光透過率ｔ*（ｘ，λ）を算出する。ここで、補正係数αnの値を調整することで、各標本点における色素量を仮想的に修正することができ、染色状態のばらつきを補正することが可能となる。標本は、通常臨床検査技師によって作製される。このため、臨床検査技師の経験等の個人差が影響し、標本の染色状態を均一に保つのは難しい。また、標本自体の個体差や標本作製時の室温といった周囲の環境等によっても染色状態がばらつく場合がある。補正係数αnを調整すれば、染色状態のばらつきを所望の染色状態に補正することができる。色素量の修正が不要であれば、補正係数αnを１とすればよいが、この場合は、合成分光透過率ｔ*（ｘ，λ）を算出せずにステップａ９で算出した分光透過率を用いればよい。
【数５】
2012122852.tif 000007
【００５９】
撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（６）の関係が成り立つ。λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂは、バンドを識別する通し番号であり、例えばバンド数が１６バンドの場合、１≦ｂ≦１６を満たす整数値である。
【数６】
2012122852.tif 000008
【００６０】
したがって、式（５）を上記した式（６）に代入し、次式（７）に従って画素値を求めることによって、各画素の画素値ｇ*（ｘ，ｂ）を求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算してよい。
【数７】
2012122852.tif 000009
【００６１】
そして、以上のようにしてＨＥ染色画像を合成したならば、異常核領域識別画像生成部７４９が、ステップａ１３で検出した異常核領域を、合成したＨＥ染色画像中で識別表示した異常核領域識別画像を生成する（ステップａ１７）。具体的には、異常核領域識別画像生成部７４９は、ＨＥ染色画像中の異常核領域を構成する画素の画素値を所定の表示色（例えば緑色）で置き換えることで、ＨＥ染色画像において異常核領域を識別表示した異常核領域識別画像を生成する。例えば、図８（ａ）の可視光画像に映る細胞核Ｃ２１〜Ｃ２４のうち、細胞核Ｃ２２が異常と判定されたとする。この場合には、図８（ｃ）に示すように、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像において、異常核領域である細胞核Ｃ２２の領域の表示色が置き換えられた異常核領域識別画像が生成される。
【００６２】
なお、異常核領域の表示色は、予め固定的に設定しておく構成としてもよいし、ユーザによる表示色の選択操作を受け付けて決定するようにしてもよい。また、異常核領域の識別表示の態様は、例示したものに限定されるものではなく、例えば、異常核領域を点滅表示させる等、他の核領域と識別可能な表示態様であればどのようなものであってもよい。
【００６３】
そして、図７に示すように、異常マーク付加部７５３が、生成した異常核領域識別画像中の異常核領域の近傍に異常マークを付加して表示部７２に表示する処理を行う（ステップａ１９）。例えば、図８（ｄ）の例では、細胞核Ｃ２２の領域近傍にこの細胞核Ｃ２２の領域を囲う異常マークＭ２が付加されており、異常核領域識別画像は、この状態で表示部７２に表示され、ユーザに提示される。
【００６４】
なお、異常マークは例示したものに限定されるものではない。例えば、異常核領域の近傍に、その核領域が異常であることを示す所定の記号を異常マークとして付加する構成としてもよい。あるいは、異常核領域の近傍に、その核領域が異常であることをテキストの表示によって示した異常マークを付加する構成としてもよい。
【００６５】
また、ステップａ１９では、異常核領域識別画像を表示部７２に表示処理することとしたが、ユーザ操作に従って、ＨＥ染色画像と異常核領域識別画像とを切り換えて表示部７２に表示処理し、あるいはＨＥ染色画像と異常核領域識別画像とを並べて表示部７２に表示処理するといったことも可能である。これによれば、異常核領域の観察と、ＨＥ染色による染色状態の観察（形態観察）とを切り換えながら、あるいは同時に行うといったことも可能となる。
【００６６】
以上説明したように、実施の形態１によれば、ＨＥ染色が施され、かつ、細胞核と特異的に結合する蛍光色素を用いて染色（蛍光標識）された標本Ｓの蛍光観察画像と可視光画像とを取得し、蛍光画像の画素値（蛍光強度）をもとに蛍光画像中の細胞核の領域（核領域）を抽出することで可視光画像中の核領域を特定することができる。上記したように、蛍光画像は、標本Ｓ内の細胞核の境界が鮮明な画像として得られるため、この蛍光画像から核領域を抽出することで、可視光画像中の細胞核の領域を適正に特定することができる。
【００６７】
また、標本Ｓを蛍光観察することで、標本ＳのＬＤＳ７５１／ＤＮＡによる染色状態、すなわち、ＬＤＳ７５１／ＤＮＡが発した蛍光のみを撮像して蛍光画像として取得する一方、標本Ｓを可視光観察することで取得した可視光画像からＨＥ染色による染色状態を表したＨＥ染色画像を合成できるので、細胞核の領域を特定するための染色がＨＥ染色による染色状態に影響を与えることがない。したがって、ＨＥ染色による染色状態を損なうことなく核領域を特定することができる。
【００６８】
また、個々の細胞核の正常／異常は、可視光画像中の各領域の画素値から推定される色素量を用いて判定することができる。すなわち、可視光画像の各画素の画素値（バンド毎の分光データ）をもとに、標本Ｓの色素量を推定し、核領域を構成する画素の色素Ｈの色素量と予め取得しておいた正常な細胞核に固定される色素Ｈの色素量（基準Ｈ色素量）とを比較することで、該当する細胞核の正常／異常を適正に判定することができる。ここで、ＨＥ染色では、色素Ｈによって細胞核が染色されるが、このＨＥ染色では、従来から、例えばがん細胞の細胞核等の異常な細胞核に固定される色素Ｈの色素量（濃度）が、正常な細胞核に固定される色素Ｈの色素量（濃度）と比べて少ない（異常な細胞核は、正常な細胞核に比べて薄く染まる）ことが知られている。実施の形態１によれば、可視光画像中の核領域を適正に特定することができるので、特定した核領域の中から異常核領域を精度良く検出することができる。
【００６９】
そして、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像を合成し、このＨＥ染色画像中の異常核領域を所定の表示色で識別表示した異常核領域識別画像を生成して表示部７２に表示することができる。したがって、ＨＥ染色画像中で異常核領域を視認性良く表して医師等のユーザに提示することができるので、ユーザにとっては、観察の際、異常核領域を他の核領域と容易に識別することができ、診断精度が向上する。また、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像によって、標本ＳのＨＥ染色による染色状態の観察（形態観察）も視認性良く行える。
【００７０】
なお、実施の形態１では、細胞核の正常／異常を判定する際に用いる基準Ｈ色素量を予め取得して記録部７３に記録しておくこととした。ここで、標本の染色状態は、実際に使用する染色液の種類（染色液の製造メーカー）や、使用する染色液の組み合わせ、染色時間、染色場所（医療施設）等の染色時の環境といった染色工程に関する属性によって変動する場合があり、染色状態によって基準Ｈ色素量も変動する場合がある。そこで、異なる染色状態での基準Ｈ色素量を予め取得し、データベースとして記録部７３に記録しておくようにしてもよい。そして、実際に観察対象とする標本Ｓの染色状態に応じた基準Ｈ色素量をデータベースから読み出して取得し、細胞核の正常／異常の判定に用いるようにしてもよい。あるいは、この染色状態毎の基準Ｈ色素量のデータベースを備えた外部装置に通信接続し、この外部装置のデータベースから判定に用いる基準Ｈ色素量を取得するようにしてもよい。
【００７１】
また、実施の形態１では、蛍光色素としてＬＤＳ７５１／ＤＮＡを例示したが、例示した蛍光色素は一例であって、その種類はこれに限定されるものではない。すなわち、ＬＤＳ７５１／ＤＮＡに換えて、細胞核と特異的に結合する別の蛍光色素を用いることとしてもよい。この場合には、顕微鏡１０を構成する第１のバンドパスフィルタ３３、第１のダイクロイックミラー４４、および第２のダイクロイックミラー６１として、使用する蛍光色素の励起波長特性および蛍光波長特性に応じた分光透過特性のものを用いればよい。
【００７２】
また、上記した実施の形態では、可視光画像の各画素の画素値をもとに分光透過率を推定し、推定した各画素の分光透過率をもとに、標本Ｓの色素量を推定（算出）することとした。これに対し、図７のステップａ７で核領域と特定した可視光画像中の各画素に対し、核領域以外の画素と比べて重みを高く設定し、色素量の値を、設定した重みによって重み付けされた値（重み付きの色素量）として算出するようにしてもよい。
【００７３】
（実施の形態２）
図９は、実施の形態２における顕微鏡システム１ａの全体構成例を示すブロック図である。なお、図９において、実施の形態１と同様の構成には、同一の符号を付する。図９に示すように、顕微鏡システム１ａは、顕微鏡１０ａと、画像処理装置７０ａとがデータの送受可能に接続されて構成される。
【００７４】
ここで、実施の形態２の顕微鏡１０ａが観察対象とする標本Ｓは、第１の染色としてＨＥ染色を施した生体組織標本に、さらに、第２の染色として、免疫染色を施して所望の標的分子（抗原）に対する抗体を作用させ、かつ作用させた抗体と特異的に結合する蛍光色素を用いてこの抗体を染色（蛍光標識）したものである。例えば、ＨＥ染色した生体組織標本にアクチン抗体を作用させ、このアクチン抗体と特異的に結合するインドシアニングリーンによってアクチン抗体に蛍光標識を施したものである。実施の形態２では、標本Ｓ内のアクチン抗体の結合箇所が標本構成要素に相当し、この標本構成要素の全域を識別対象箇所とする。
【００７５】
図１０は、インドシアニングリーンの励起波長特性および蛍光波長特性を示す図であり、励起波長特性の変化曲線を一点鎖線で示し、蛍光波長特性の変化曲線を二点鎖線で示している。図１０に示すように、インドシアニングリーンは、励起波長が７７０ｎｍ付近であり、蛍光波長が８１０ｎｍ付近である。したがって、７７０ｎｍ付近の光（励起光）を照射すると、８１０ｎｍ付近の光（蛍光）を発する。
【００７６】
この標本Ｓの可視光観察および蛍光観察を行う顕微鏡１０ａは、図２に示して説明した実施の形態１の顕微鏡１０と略同様の構成で実現できるが、第１のバンドパスフィルタ３３、第１のダイクロイックミラー４４、および第２のダイクロイックミラー６１の分光透過特性が実施の形態１と異なる。
【００７７】
図１１は、実施の形態２における第１のバンドパスフィルタ３３の分光透過特性を示す図である。実施の形態２では、第１のバンドパスフィルタ３３は、図１１に示すように、可視域の光およびインドシアニングリーンの励起波長（７７０ｎｍ付近）の光（励起光）を含む４００ｎｍ付近〜８００ｎｍの波長範囲の光を透過し、この波長範囲外の光を遮断する特性を有する。
【００７８】
図１２は、実施の形態２における第１のダイクロイックミラー４４の分光透過特性を示す図である。実施の形態２では、第１のダイクロイックミラー４４は、図１２に示すように、７００ｎｍより短波長側の波長範囲（可視光域）の光の約５０％を透過する一方、約５０％を反射する特性を有する。また、第１のダイクロイックミラー４４は、インドシアニングリーンの励起波長（７７０ｎｍ付近）の光（励起光）を含む７００ｎｍ〜８００ｎｍの波長範囲の光を反射する特性を有する。さらに、第１のダイクロイックミラー４４は、８００ｎｍより長波長側の波長範囲の光を透過する特性、すなわち、インドシアニングリーンの蛍光波長（８１０ｎｍ付近）の光（蛍光）を透過する特性を有する。
【００７９】
図１３は、実施の形態２における第２のダイクロイックミラー６１の分光透過特性を示す図である。実施の形態２では、第２のダイクロイックミラー６１は、図１３に示すように、可視光域の光（可視光成分）を含む８００ｎｍより短波長側の波長範囲の光を透過する一方、インドシアニングリーンの蛍光成分を含む８００ｎｍより長波長側の波長範囲の光を反射する特性を有する。
【００８０】
また、図９に示すように、画像処理装置７０ａは、入力部７１と、表示部７２と、記録部７３ａと、画像処理部７４ａと、装置各部を制御する制御部７７とを備える。
【００８１】
記録部７３ａには、実施の形態２の処理を実現して可視光画像および蛍光画像から抗体結合領域識別画像を生成するための画像処理プログラム７３１ａが記録される。
【００８２】
画像処理部７４ａは、領域特定手段としての抗体結合領域特定部７５５ａと、分光特性推定部７４３と、色素量推定手段としての色素量推定部７４５と、観察画像生成手段としての抗体結合領域識別画像生成部７５７ａとを含む。抗体結合領域特定部７５５ａは、蛍光画像を構成する各画素の画素値（蛍光強度）をもとに、蛍光画像中の抗体結合領域を抽出することで可視光画像中の抗体結合領域を特定する。抗体結合領域識別画像生成部７５７ａは、観察画像として、標本ＳのＨＥ染色による染色状態を表し、かつ、抗体結合領域を識別表示した画像（抗体結合領域識別画像）を生成する。この抗体結合領域識別画像生成部７５７ａは、染色画像合成手段としてのＨＥ染色画像合成部７５１と、単染色画像合成手段としてのＨ単染色画像合成部７５９ａとを含む。Ｈ単染色画像合成部７５９ａは、標本Ｓの色素Ｈのみの染色状態を表した標本単染色画像としてのＨ単染色画像を合成する。
【００８３】
図１４は、実施の形態２の画像処理装置７０ａが行う処理手順を示すフローチャートである。また、図１４は、この画像処理装置７０ａが行う処理手順を説明する説明図である。ここで説明する処理は、記録部７３ａに記録された画像処理プログラム７３１ａに従って画像処理装置７０ａの各部が動作することによって実現される。
【００８４】
図１４に示すように、先ず、可視光画像取得制御部７７１が、第１の画像取得工程および第１の画像取得ステップとして、実施の形態１と同様に、顕微鏡１０ａの動作を制御して標本Ｓの可視光観察像をマルチバンド撮像し、標本Ｓの可視光画像を取得する（ステップｂ１）。また、蛍光画像取得制御部７７２が、第２の画像取得工程および第２の画像取得ステップとして、実施の形態１と同様に、顕微鏡１０ａの動作を制御して標本Ｓの蛍光観察像を撮像し、標本Ｓの蛍光画像を取得する（ステップｂ３）。
【００８５】
この結果、例えば図１５（ａ）に示す可視光画像が取得され、図１５（ｂ）に示す蛍光画像が取得される。ここで、上記したように、実施の形態２で観察対象とする標本Ｓは、ＨＥ染色した生体組織標本にアクチン抗体を作用させ、インドシアニングリーンによってアクチン抗体に蛍光標識を施したものである。したがって、可視光画像は、実施の形態１と同様に、標本ＳのＨＥ染色による染色状態を表した画像として得られる（図１５（ａ））。一方、蛍光観察では、標本Ｓのインドシアニングリーンによる染色状態、すなわち、インドシアニングリーンが発した蛍光のみが撮像されるため、蛍光画像は、図１５（ｂ）に示すように、標本Ｓ内のアクチン抗体が結合した領域（抗体結合領域）Ｅ３のみを表した画像として得られる。
【００８６】
以上のようにして可視光画像と蛍光画像とを取得したならば、画像処理部７４ａの抗体結合領域特定部７５５ａが、領域特定工程および領域特定ステップとして、先ず、ステップｂ３で取得した蛍光画像から抗体結合領域を抽出する（ステップｂ５）。具体的には、抗体結合領域特定部７５５ａは、蛍光画像の各画素の画素値（蛍光強度）を例えば閾値処理し、その蛍光強度が予め設定される所定の閾値以上の画素を抗体結合領域の画素として抽出する。そして、抗体結合領域特定部７５５ａは、蛍光画像中で抗体結合領域として抽出した画素と同じ可視光画像中の画素を、可視光画像中の抗体結合領域の画素として特定する（ステップｂ７）。
【００８７】
続いて、実施の形態１と同様の要領で、分光特性推定部７４３が、可視光画像の各画素の画素値をもとに対応する標本Ｓ上の各標本点における波長毎（バンド毎）の分光透過率を推定（算出）する（ステップｂ９）。そして、色素量推定部７４５が、ステップｂ９で推定した各画素の分光透過率をもとに、標本Ｓの色素量を推定（算出）する（ステップｂ１１）。
【００８８】
続いて、観察画像生成工程および観察画像生成ステップとして、先ず、抗体結合領域識別画像生成部７５７ａのＨＥ染色画像合成部７５１が、実施の形態１と同様に、ステップｂ１１で画素毎に推定した色素量をもとに各画素の画素値（ＲＧＢ値）を算出することで、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像を合成する（ステップｂ１３）。
【００８９】
続いて、Ｈ単染色画像合成部７５９ａが、ステップｂ１１で画素毎に推定した色素Ｈの色素量をもとに各画素の画素値（ＲＧＢ値）を算出することで、標本Ｓの色素Ｈのみの染色状態を表したＨ単染色画像を合成する（ステップｂ１５）。例えば、上記した式（５）において色素Ｈに乗じる補正係数αnを１とし、色素Ｅに乗じる補正係数αnを０とすることで色素Ｈの色素量のみを対象とした分光透過率ｔ*（ｘ，λ）を算出し、式（７）に従って画素値ｇ*（ｘ，ｂ）を求めればよい。このようにして、ステップｂ１５では、色素Ｈの色素量を表した画像、すなわち、標本Ｓの色素Ｈのみの染色状態を表した画像をＨ単染色画像として合成する。
【００９０】
そして、抗体結合領域識別画像生成部７５７ａが、ステップｂ７で特定した抗体結合領域を、合成したＨＥ染色画像およびＨ染色画像中で識別表示した抗体結合領域識別画像を生成する（ステップｂ１７）。具体的には、抗体結合領域識別画像生成部７５７ａは、ＨＥ染色画像中の抗体結合領域を構成する画素の画素値を所定の表示色で置き換えることで、ＨＥ染色画像において抗体結合領域を識別表示した抗体結合領域識別画像（抗体識別ＨＥ染色画像）を生成する。例えば、図１５（ｃ）に示すように、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像において、抗体結合領域Ｅ３の表示色が置き換えられた抗体結合領域識別画像が生成される。また、同様にして、抗体結合領域識別画像生成部７５７ａは、Ｈ単染色画像中の抗体結合領域を構成する画素の画素値を所定の表示色で置き換えることで、Ｈ単染色画像において抗体結合領域を識別表示した抗体結合領域識別画像（抗体識別Ｈ単染色画像）を生成する。
【００９１】
そして、抗体結合領域識別画像生成部７５７ａは、ステップｂ１７で生成した抗体結合領域識別画像、詳細には、抗体識別ＨＥ染色画像および抗体識別Ｈ単染色画像を表示部７２に表示する処理を行う（ステップｂ１９）。例えば、抗体結合領域識別画像生成部７５７ａは、ユーザ操作に従い、抗体識別ＨＥ染色画像と抗体識別Ｈ単染色画像とを切り換えて表示部７２に表示処理する。なお、このとき、ＨＥ染色画像やＨ単染色画像についても、ユーザ操作に従って表示部７２に適宜切り換えて表示するようにしてもよい。また、この抗体識別ＨＥ染色画像および抗体識別Ｈ単染色画像の表示の態様は特に限定されるものではなく、抗体識別ＨＥ染色画像と抗体識別Ｈ単染色画像とを並べて表示部７２に表示処理するようにしてもよいし、さらに、ＨＥ染色画像やＨ単染色画像を並べて表示するようにしてもよい。このようにすれば、抗体結合領域の観察と、ＨＥ染色による染色状態の観察（形態観察）とを切り換えながら、あるいは同時に行うこともできる。すなわち、抗体識別ＨＥ染色画像や抗体識別Ｈ単染色画像によって抗体結合領域を観察しつつ、ＨＥ染色画像によってＨＥ染色による染色状態の観察（形態観察）を行うといったことが可能となる。
【００９２】
以上説明したように、実施の形態２によれば、ＨＥ染色を施した生体組織標本にさらに免疫染色を施し、所望の標的分子（抗原）に対して作用させた抗体を染色（蛍光標識）した標本Ｓの蛍光観察画像と可視光画像とを取得し、蛍光画像の画素値（蛍光強度）をもとに蛍光画像中の抗体結合領域を抽出することで可視光画像中の抗体結合領域を特定することができる。上記したように、蛍光画像は、抗体結合領域のみを表した画像として得られるため、この蛍光画像から抗体結合領域を抽出することで、可視光画像中の抗体結合領域、すなわち、標的分子（抗原）の発現領域を精度良く特定することができる。
【００９３】
また、標本Ｓを蛍光観察することで、標本Ｓのインドシアニングリーンによる染色状態、すなわち、インドシアニングリーンが発した蛍光のみを撮像して蛍光画像として取得する一方、標本Ｓを可視光観察することで取得した可視光画像からＨＥ染色による染色状態を表したＨＥ染色画像を合成できるので、抗体結合領域を特定するための染色がＨＥ染色による染色状態に影響を与えることがない。したがって、ＨＥ染色による染色状態を損なうことなく抗体結合領域を特定することができる。
【００９４】
また、可視光画像の各画素の画素値（バンド毎の分光データ）をもとに、標本Ｓの色素量を推定することができる。そして、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像を合成し、このＨＥ染色画像中の抗体結合領域を所定の表示色で識別表示した抗体結合領域識別画像（抗体識別ＨＥ染色画像）を生成して表示部７２に表示することができる。また、標本Ｓの色素Ｈのみの染色状態を表したＨ単染色画像を合成し、このＨ単染色画像中の抗体結合領域を所定の表示色で識別表示した抗体結合領域識別画像（抗体識別Ｈ単染色画像）を生成して表示部７２に表示することができる。したがって、ＨＥ染色画像中またはＨ単染色画像中で抗体結合領域を視認性良く表して医師等のユーザに提示することができるので、診断精度の向上が図れる。また、標本ＳのＨＥ染色による染色状態を表したＨＥ染色画像によって、標本ＳのＨＥ染色による染色状態の観察（形態観察）も視認性良く行える。
【００９５】
なお、実施の形態２では、ＨＥ染色した生体組織標本にアクチン抗体を作用させ、このアクチン抗体と特異的に結合するインドシアニングリーンによってアクチン抗体に蛍光標識を施した標本Ｓを例示した。これに対し、ＨＥ染色した生体組織標本に複数の抗体を作用させ、各々の抗体に適当な蛍光標識を施した標本を観察対象とする場合にも同様に適用できる。また、この場合には、顕微鏡システム１ａを構成する顕微鏡１０ａにおいて、蛍光画像撮像部６４をマルチバンドカメラで構成してもよい。そして、標本Ｓの蛍光観察像をマルチバンド撮像し、蛍光画像をマルチバンド画像として取得することとしてもよい。例えば、ＨＥ染色した生体組織標本に対し、細胞核の外周近傍のみに存在するタンパク質と特異的に結合する抗体と、赤血球のみに存在するタンパク質と特異的に結合する抗体とを作用させた上で、これら各抗体に対してそれぞれ蛍光波長の異なる蛍光色素を用いて蛍光標識を施した標本を用意する。例えば、一方の蛍光色素の蛍光波長が８００ｎｍ〜９００ｎｍであり、他方の蛍光色素の蛍光波長が９００ｎｍ〜１０００ｎｍであったとする。一方、顕微鏡１０ａの蛍光画像撮像部６４を、透過させる光の波長帯域が８００ｎｍ〜９００ｎｍの波長帯域内のバンドパスフィルタと、９００ｎｍ〜１０００ｎｍの波長帯域内のバンドパスフィルタの少なくとも２枚のバンドパスフィルタを備えた２バンド以上のマルチバンドカメラで構成する。これによれば、これらバンドパスフィルタを切り換えながら標本の蛍光画像をマルチバンド撮像することで、それぞれの蛍光を阻害することなく、各蛍光色素による染色状態をそれぞれ個別に表した蛍光画像を簡単に取得することができる。
【００９６】
また、実施の形態２では、蛍光色素としてインドシアニングリーンを例示したが、例示した蛍光色素は一例であって、その種類はこれに限定されるものではない。すなわち、所望の抗体、すなわち、観察したい目的の標的分子（抗原）に作用する抗体と特異的に結合する蛍光色素を適宜選択して用いることとしてよい。
【００９７】
また、実施の形態２は、細胞核や線維、血管といった細胞構成要素と特異的に結合する蛍光色素を用い、所望の細胞構成要素に蛍光標識を施した標本を観察対象とする場合にも同様に適用できる。これによれば、標本中の所望の細胞構成要素をあたかも特殊染色したかのように強調表示した画像（デジタルステイン画像）を生成することができ、このデジタルステイン画像と、ＨＥ染色による染色状態の観察（形態観察）とを切り換えながら、あるいは同時に行うといったことも可能となる。
【００９８】
（実施の形態３）
図１６は、実施の形態３における顕微鏡システム１ｂの全体構成例を示すブロック図である。なお、図１６において、実施の形態１と同様の構成には、同一の符号を付する。図１６に示すように、顕微鏡システム１ｂは、顕微鏡１０と、画像処理装置７０ｂとがデータの送受可能に接続されて構成される。
【００９９】
ここで、実施の形態３では、実施の形態１と同様に、例えば、第１の染色としてＨＥ染色が施され、かつ、第２の染色として細胞核と特異的に結合する蛍光色素であるＬＤＳ７５１／ＤＮＡを用いた染色（蛍光標識）された生体組織標本を観察対象の標本Ｓとする。
【０１００】
実施の形態３では、画像処理装置７０ｂは、入力部７１と、表示部７２と、記録部７３ｂと、画像処理部７４ｂと、装置各部を制御する制御部７７とを備える。
【０１０１】
記録部７３ｂには、実施の形態３の処理を実現して可視光画像および蛍光画像から異常核領域識別画像を生成するための画像処理プログラム７３１ｂが記録される。
【０１０２】
画像処理部７４ｂは、領域特定手段としての核領域特定部７４１と、分光特性推定部７４３と、色素量推定手段としての色素量推定部７４５と、対象箇所検出手段としての異常核領域検出部７４７ｂと、観察画像生成手段としての異常核領域識別画像生成部７４９と、異常マーク付加部７５３とを含む。異常核領域検出部７４７ｂは、核領域特定部７４１が特定した核領域の画素について、色素量推定部７４５が推定した色素量をもとに異常核領域を検出する。この異常核領域検出部７４７ｂは、色分布作成部７６１ｂを含む。色分布作成部７６１ｂは、単染色画像合成手段としてヘマトキシリン単染色画像であるＨ単染色画像を合成し、このＨ単染色画像の色分布を作成する。
【０１０３】
図１７は、実施の形態３の画像処理装置７０ｂが行う処理手順を示すフローチャートである。なお、実施の形態１と同様の処理工程については、同一の符号を付する。ここで説明する処理は、記録部７３ｂに記録された画像処理プログラム７３１ｂに従って画像処理装置７０ｂの各部が動作することによって実現される。
【０１０４】
図１７に示すように、実施の形態３では、ステップａ１１の後、異常核領域検出部７４７ｂの色分布作成部７６１ｂが、ステップａ１１で画素毎に推定した色素Ｈの色素量をもとに各画素の画素値（ＲＧＢ値）を算出することで、標本Ｓの色素Ｈのみの染色状態を表したＨ単染色画像を合成する（ステップｃ１２）。ここでの処理は、実施の形態２で説明した図１４のステップｂ１５と同様の処理で実現できる。
【０１０５】
続いて、色分布作成部７６１ｂは、ステップｃ１２で合成したＨ単染色画像の色分布を作成する（ステップｃ１３）。例えば、色分布作成部７６１ｂは、Ｈ単染色画像の各画素のＲ値，Ｇ値，Ｂ値（色情報）からＬ*ａ*ｂ*値を算出し、Ｈ単染色画像のＣＩＥ１９７６（Ｌ*ａ*ｂ*）空間での色分布を作成する。
【０１０６】
そして、異常核領域検出部７４７ｂが、ステップｃ１３で作成した色分布をもとに、ステップａ７で特定した個々の核領域の正常／異常を判定して異常核領域を検出する（ステップｃ１４）。例えば、予め正常な細胞核を含む標本を用意し、ＨＥ染色を施して可視光画像を取得する。そして、ステップａ７〜ステップｃ１３と同様の手順で色分布を作成することで、この色分布の中心と正常な細胞核の領域との色差を基準特徴値である基準色差として算出しておく。そして、ステップｃ１４では、異常核領域検出部７４７ｂは、先ず、ステップａ７で特定した個々の核領域について、ステップｃ１３で作成した色分布の中心との色差をそれぞれ算出する。そして、異常核領域検出部７４７ｂは、算出した色差を特徴値として用い、この色差と基準色差と比較して例えば双方の差が所定の閾値以上である細胞核を異常、閾値に満たない場合を正常と判定する。以上のようにして異常核領域を検出したならば、ステップａ１５に移行する。
【０１０７】
以上説明したように、実施の形態３によれば、実施の形態１と同様の効果を奏することができるとともに、Ｈ単染色画像を合成して色分布を作成し、その中心との色差によって該当する細胞核の正常／異常を判定することができる。したがって、標本ＳにＨＥ染色するのに用いた染色液の種類（染色液の製造メーカー）等の違いに影響されることなく異常核領域を精度良く検出することができ、異常核領域の検出精度の向上が図れる。
【０１０８】
なお、実施の形態３では、Ｈ単染色画像のＣＩＥ１９７６（Ｌ*ａ*ｂ*）空間での色分布を作成することとしたが、作成する色空間は、ＣＩＥ１９７６（Ｌ*ａ*ｂ*）空間での色分布に限らず、適宜別の表色系による色空間を作成して細胞核の正常／異常の判定を行うこととしてよい。
【０１０９】
例えば、図１７のステップｃ１３において、Ｈ単染色画像の各画素の画素値をもとに、マンセル表色系に基づく色空間での色分布を作成することとしてもよい。この場合には、予め正常な細胞核を含む標本を用意し、ＨＥ染色を施して可視光画像を取得する。そして、ステップａ７〜ステップｃ１２と同様の手順でＨ単染色画像を合成し、マンセル表色系を用いて色分布を作成することで、この色分布の中心と正常な細胞核の領域との色相差，明度差，彩度差を基準特徴値である基準色相差，基準明度差，基準彩度差として算出しておく。そして、ステップｃ１４では、ステップａ７で特定した個々の核領域について、ステップｃ１３においてマンセル表色系を用いて作成した色分布の中心との色相差，明度差，彩度差をそれぞれ算出する。そして、算出した色相差，明度差，彩度差を基準色相差，基準明度差，基準彩度差と比較し、例えば双方の差が所定の閾値以上である細胞核を異常、閾値に満たない場合を正常と判定する。
【０１１０】
あるいは、図１７のステップｃ１３において、Ｈ単染色画像の各画素の画素値をもとに、ＣＩＥ−ＸＹＺ表色系に基づく色空間での色分布を作成することとしてもよい。この場合には、予め正常な細胞核を含む標本を用意し、ＨＥ染色を施して可視光画像を取得する。そして、ステップａ７〜ステップｃ１２と同様の手順でＨ単染色画像を合成し、ＣＩＥ−ＸＹＺ表色系を用いて色分布を作成することで、この色分布の中心と正常な細胞核の領域との色度差を基準特徴値である基準色度差として算出しておく。そして、ステップｃ１４では、ステップａ７で特定した個々の核領域について、ステップｃ１３においてＣＩＥ−ＸＹＺ表色系を用いて作成した色分布の中心との色度差をそれぞれ算出する。そして、算出した色度差を基準色度差と比較し、例えば双方の差が所定の閾値以上である細胞核を異常、閾値に満たない場合を正常と判定する。
【０１１１】
また、実施の形態３では、色分布を作成することで算出した核領域の色差と基準色差とを比較し、細胞核の正常／異常を判定することとしたが、異常核領域の色差を学習して学習データとして記録部７３ｂに記録しておくようにしてもよい。そして、この学習データを用いて細胞核の正常／異常を判定するようにしてもよい。マンセル表色系を用いて色分布を作成し、色相差，明度差，彩度差を比較する場合や、ＣＩＥ−ＸＹＺ表色系を用いて色分布を作成し、色度差を比較する場合も同様である。これによれば、個々の標本Ｓの個体差による影響を低減して異常核領域を精度良く検出することができ、異常核領域の検出精度の向上が図れる。
【０１１２】
（実施の形態４）
図１８は、実施の形態４における顕微鏡システム１ｃの全体構成例を示すブロック図である。なお、図１８において、実施の形態１と同様の構成には、同一の符号を付する。図１８に示すように、顕微鏡システム１ｃは、顕微鏡１０と、画像処理装置７０ｃとがデータの送受可能に接続されて構成される。
【０１１３】
ここで、実施の形態４では、実施の形態１と同様に、例えば、第１の染色としてＨＥ染色が施され、かつ、第２の染色として細胞核と特異的に結合する蛍光色素であるＬＤＳ７５１／ＤＮＡを用いた染色（蛍光標識）された生体組織標本を観察対象の標本Ｓとする。
【０１１４】
実施の形態４では、画像処理装置７０ｃは、入力部７１と、表示部７２と、記録部７３ｃと、画像処理部７４ｃと、装置各部を制御する制御部７７とを備える。
【０１１５】
記録部７３ｃには、実施の形態４の処理を実現して可視光画像および蛍光画像から異常核領域識別画像を生成するための画像処理プログラム７３１ｃが記録される。
【０１１６】
画像処理部７４ｃは、領域特定手段としての核領域特定部７４１と、分光特性推定部７４３と、色素量推定手段としての色素量推定部７４５と、対象箇所検出手段としての異常核領域検出部７４７ｃと、観察画像生成手段としての異常核領域識別画像生成部７４９と、異常マーク付加部７５３とを含む。異常核領域検出部７４７ｃは、核領域特定部７４１が特定した核領域の画素について、色素量推定部７４５が推定した色素量をもとに異常核領域を検出する。この異常核領域検出部７４７ｃは、特徴量算出手段としての形態特徴量算出部７６３ｃを含む。形態特徴量算出部７６３ｃは、核領域特定部７４１が特定した核領域の輪郭をもとにその形態的な特徴を表す特徴値としての形態特徴量を算出する。
【０１１７】
図１９は、実施の形態４の画像処理装置７０ｃが行う処理手順を示すフローチャートである。なお、実施の形態１と同様の処理工程については、同一の符号を付する。ここで説明する処理は、記録部７３ｃに記録された画像処理プログラム７３１ｃに従って画像処理装置７０ｃの各部が動作することによって実現される。
【０１１８】
図１９に示すように、実施の形態４では、ステップａ１１の後、異常核領域検出部７４７ｃの形態特徴量算出部７６３ｃが、ステップａ７で特定した個々の核領域の形態特徴量を算出する（ステップｄ１２）。ここでは、形態特徴量算出部７６３ｃは、形態特徴量の一例として、例えば、大きさ（面積）と円形度とを算出する。ここで、円形度は、例えば、次式（８）に従って算出する。ここで、次式（８）によって算出される値は、その核領域の輪郭形状が真円のときに最大値（＝１）となり、輪郭形状が複雑になるほど小さな値として得られる。
円形度＝４π×面積／周囲長  ・・・（８）
【０１１９】
続いて、異常核領域検出部７４７ｃが、ステップｄ１２で算出した形態特徴量をもとに、ステップａ７で特定した個々の核領域の正常／異常を判定して異常核領域を検出する（ステップｄ１３）。例えば、予め正常な細胞核の大きさや円形度を基準特徴値である基準形態特徴量として取得しておく。そして、ステップｄ１３では、異常核領域検出部７４７ｃは、先ず、ステップｄ１２で算出した大きさや円形度を基準形態特徴量と比較し、例えば双方の差が所定の閾値以上である細胞核を異常、閾値に満たない場合を正常と判定する。なお、大きさおよび円形度のいずれか一方を用いて正常／異常の判定を行うこととしてもよいし、両方を用いて正常／異常を判定するようにしてもよい。両方を用いる場合には、いずれか一方で異常と判定された核領域を異常核領域として検出してもよいし、両方の判定結果が異常のものを異常核領域としてもよい。また、この場合に、いずれか一方で異常と判定された核領域と、両方で異常と判定された核領域とを異なる表示色で表して異常核領域識別画像を生成するようにしてもよい。また、大きさを用いた判定の結果異常と判定された核領域と、円形度を用いた判定の結果異常と判定された核領域とを異なる表示色で表して異常核領域識別画像を生成するようにしてもよい。また、形態特徴量は、例示した大きさや円形度に限定されるものではなく、他の値を適宜算出し、算出した値をもとに細胞核の異常／正常の判定を行うようにしてもよい。以上のようにして異常核領域を検出したならば、ステップａ１５に移行する。
【０１２０】
以上説明したように、実施の形態４によれば、実施の形態１と同様の効果を奏することができるとともに、特定した核領域の形態特徴量を算出し、この形態特徴量をもとに該当する細胞核の正常／異常を判定することができる。したがって、例えば形態が崩れたような異常な核領域を精度良く検出することができ、異常核領域の検出精度の向上が図れる。
【０１２１】
なお、実施の形態４では、核領域の大きさや円形度等の形態特徴量を基準形態特徴量と比較することで細胞核の正常／異常を判定することとしたが、異常核領域の形態特徴量を学習して学習データとして記録部７３ｃに記録しておくようにしてもよい。そして、この学習データを用いて細胞核の正常／異常を判定するようにしてもよい。これによれば、個々の標本Ｓの個体差による影響を低減して異常核領域を精度良く検出することができ、異常核領域の検出精度の向上が図れる。
【０１２２】
また、可視光画像を組織分類することで核領域の形態情報を取得し、この核領域の形態情報をもとに個々の細胞核の正常／異常を判定するようにしてもよい。組織分類の手法は、特に限定されるものではなく、可視光画像の形態情報をもとに可視光画像内を細胞核や細胞膜、細胞質等の細胞構成要素毎の領域に分類（組織分類）することとしてもよいし、公知のクラスタリングの手法を用いて可視光画像の各画素を細胞構成要素毎の領域に分類（組織分類）することとしてもよい。
【０１２３】
また、上記した各実施の形態や各変形例では、ＨＥ染色された標本を観察とした場合について説明したが、標本の形態を観察するための形態観察染色の手法は、ＨＥ染色以外にも知られている。本発明は、このＨＥ染色以外の染色法で染色された標本に対してさらに蛍光標識を施す場合にも同様に適用が可能である。
【０１２４】
また、本発明は、上記した各実施の形態やその変形例そのままに限定されるものではなく、各実施の形態や各変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や各変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【０１２５】
例えば、実施の形態１と実施の形態２とを組み合わせ、ＨＥ染色が施された標本に対し、所望の細胞構成要素と特異的に結合する蛍光色素によって染色（蛍光標識）を施すとともに、加えて観察したい目的の標的分子（抗原）に対する抗体を作用させ、かつ作用させた抗体と特異的に結合する蛍光色素を用いてこの抗体を染色（蛍光標識）したものを観察対象とする場合にも同様に適用できる。あるいは、ＨＥ染色に加え、異なる細胞構成要素を別個の蛍光色素によって染色（蛍光染色）する場合や、異なる標的分子（抗原）に対する抗体を別個に作用させ、かつそれらの抗体を別個の蛍光色素によって染色（蛍光染色）する場合にも同様に適用できる。すなわち、蛍光色素の蛍光波長が異なれば、各々の染色状態を別個に撮像して個別にその領域を特定することができるので、それぞれの領域を適正に特定することができる。また、この場合には、個別に特定した細胞構成要素の領域や抗体結合領域を異なる表示色で色分けして識別表示するようにしてもよい。
【０１２６】
また、実施の形態３と実施の形態４とを組み合わせ、色分布を作成することで細胞核の正常／異常の判定を行うとともに、形態特徴量を算出することで細胞核の正常／異常の判定を行うようにしてもよい。そして、色分布をもとに行った判定の結果抽出された異常核領域と、形態特徴量をもとに行った判定の結果抽出された異常核領域とを色分けして識別表示するようにしてもよい。
【０１２７】
具体的には、色分布を用いて行った判定および形態特徴量を用いて行った判定のうちの一方で異常と判定された核領域と、両方で異常と判定された核領域とを異なる表示色で識別表示するようにしてもよい。例えば、前者である核領域を構成する画素の画素値を赤色で置き換え、後者である核領域を構成する画素の画素値を黄色で置き換えることによって両者を識別表示するようにしてもよい。なお、異常核領域の色差や形態特徴量を学習データとして記録しておく場合も同様に、それぞれの学習データを用いて細胞核の正常／異常を判定し、いずれの学習データを用いた判定で異常と判定されたかによって該当する核領域を異なる表示色で色分けして識別表示するようにしてもよい。
【産業上の利用可能性】
【０１２８】
以上のように、本発明の画像処理装置、画像処理方法および画像処理プログラムは、標本内の所定の標本構成要素の領域を適正に特定し、観察時の視認性を向上させるのに適している。
【符号の説明】
【０１２９】
１，１ａ，１ｂ，１ｃ      顕微鏡システム
１０，１０ａ      顕微鏡
３３      第１のバンドパスフィルタ
４４      第１のダイクロイックミラー
６１      第２のダイクロイックミラー
６４      蛍光画像撮像部
６５      可視光画像撮像部
７０，７０ａ，７０ｂ，７０ｃ      画像処理装置
７１      入力部
７２      表示部
７３，７３ａ，７３ｂ，７３ｃ      記録部
７３１，７３１ａ，７３１ｂ，７３１ｃ      画像処理プログラム
７４，７４ａ，７４ｂ，７４ｃ      画像処理部
７４１      核領域特定部
７４３      分光特性推定部
７４５      色素量推定部
７４７，７４７ｂ，７４７ｃ      異常核領域検出部
７６１ｂ      色分布作成部
７６３ｃ      形態特徴量算出部
７４９      異常核領域識別画像生成部
７５１      ＨＥ染色画像合成部
７５３      異常マーク付加部
７５５ａ      抗体結合領域特定部
７５７ａ      抗体結合領域識別画像生成部
７５９ａ      Ｈ単染色画像合成部
７７      制御部
７７１      可視光画像取得制御部
７７２      蛍光画像取得制御部
Ｓ      標本
【図１】
2012122852.tif 000010
【図２】
2012122852.tif 000011
【図３】
2012122852.tif 000012
【図４】
2012122852.tif 000013
【図５】
2012122852.tif 000014
【図６】
2012122852.tif 000015
【図７】
2012122852.tif 000016
【図８】
2012122852.tif 000017
【図９】
2012122852.tif 000018
【図１０】
2012122852.tif 000019
【図１１】
2012122852.tif 000020
【図１２】
2012122852.tif 000021
【図１３】
2012122852.tif 000022
【図１４】
2012122852.tif 000023
【図１５】
2012122852.tif 000024
【図１６】
2012122852.tif 000025
【図１７】
2012122852.tif 000026
【図１８】
2012122852.tif 000027
【図１９】
2012122852.tif 000028