(57)【要約】【課題】輝点の染色に用いられた染色剤を判別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること【解決手段】本開示の画像処理装置は、画像取得部と、輝点検出部と、判別部とを具備する。画像取得部は、第１の蛍光色を有する第１の蛍光染色剤と第２の蛍光色を有する第２の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。輝点検出部は、蛍光画像の画素値に基づいて輝点を検出する。判別部は、輝点の複数の焦点深度における画素値の変化から、輝点が第１の蛍光染色剤によって染色されたものか第２の蛍光染色剤によって染色されたものかを判別する。【選択図】図１２
2012173087.tif 000002
【特許請求の範囲】
【請求項１】
第１の蛍光色を有する第１の蛍光染色剤と第２の蛍光色を有する第２の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する画像取得部と、
前記蛍光画像の画素値に基づいて輝点を検出する輝点検出部と、
前記輝点の前記複数の焦点深度における画素値の変化から、前記輝点が前記第１の蛍光染色剤によって染色されたものか前記第２の蛍光染色剤によって染色されたものかを判別する判別部と
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第１の蛍光染色剤の画素値の範囲として規定される第１の画素値範囲と、前記第２の蛍光色染色剤の画素値の範囲として規定される第２の画素値範囲とを記憶する記憶部と、
前記輝点を、前記第１の画素値範囲に含まれる画素値を有する第１の輝点と、前記第２の画素値範囲に含まれる画素値を有する第２の輝点と、前記第１の画素値範囲及び前記第２の画素値範囲に含まれない画素値を有する第３の輝点とに分別する分別部と
をさらに具備する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記判別部は、前記第１の輝点の画素値の焦点深度による変化量である第１の画素値変化量と、前記第２の輝点の画素値の焦点深度による変化量である第２の画素値変化量と、前記第３の輝点の画素値の焦点深度による変化量である第３の画素値変化量とをそれぞれ算出し、前記第３の画素値変化量が前記第１の画素値変化量に近い場合には前記第３の輝点は前記第１の蛍光染色剤によって染色されたものと判別し、前記第３の画素値変化量が前記第２の画素値変化量に近い場合には前記第３の輝点は前記第２の蛍光染色剤によって染色されたものと判別する
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記蛍光画像は、前記観察対象物を異なる焦点深度でそれぞれ撮像した複数の蛍光画像である
画像処理装置。
【請求項５】
請求項３に記載の画像処理装置であって、
前記蛍光画像は、前記観察対象物を焦点深度を変更しつつ露光を継続して撮像した蛍光画像である
画像処理装置。
【請求項６】
画像取得部が、第１の蛍光色を有する第１の蛍光染色剤と第２の蛍光色を有する第２の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得し、
輝点検出部が、前記蛍光画像の画素値に基づいて輝点を検出し、
判別部が、前記輝点の前記複数の焦点深度における画素値の変化から、前記輝点が前記第１の蛍光染色剤によって染色されたものか前記第２の蛍光染色剤によって染色されたものかを判別する
画像処理方法。
【請求項７】
第１の蛍光色を有する第１の蛍光染色剤と第２の蛍光色を有する第２の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する画像取得部と、
前記蛍光画像の画素値に基づいて輝点を検出する輝点検出部と、
前記輝点の前記複数の焦点深度における画素値の変化から、前記輝点が前記第１の蛍光染色剤によって染色されたものか前記第２の蛍光染色剤によって染色されたものかを判別する判別部と
として機能する画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、蛍光染色における輝点の染色剤判別に用いられる画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
病理診断等の分野において、生物組織の観察に用いられる手法として蛍光染色法がある。蛍光染色法は、予めサンプルに染色剤による染色を施し、それに励起光を照射して励起された染色剤から放射される蛍光を蛍光顕微鏡を用いて観察する方法である。適切な染色剤を選択することにより、染色剤が化学的特異性を有する特定の組織（例えば細胞内小器官等）を観察することが可能である。染色剤は一種類が用いられる場合もあるが、化学的特異性及び蛍光色が異なる複数種の染色剤を用いることで複数の組織を異なる蛍光色で観察することが可能となる。
【０００３】
蛍光顕微鏡によって取得された画像（以下、蛍光画像とする）の分析として、蛍光画像に含まれる「輝点」と呼ばれる点状の領域をカウントする方法がよく行われる。輝点は、特定の染色剤によって染色された領域であり、例えば、ひとつの細胞に含まれる輝点の数が幾つ未満であれば正常な細胞であり、幾つ以上であれば異常な細胞であるというような判断に用いることができる。このため、検出された輝点がいずれの染色剤によって染色されたものであるかは正確に特定される必要がある。
【０００４】
例えば、特許文献１に記載の「微生物計量装置」は、サンプルから放射される蛍光を分光する分光フィルタを備え、モノクロイメージャを用いて所定の色毎に蛍光画像を取得するものである。蛍光画像に含まれる輝点は分光フィルタの透過波長に限定されるため、複数の染色剤を用いた場合であっても色毎に輝点を計数することが可能とされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２７７６号公報（段落[００４３]、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の装置では、上述のように、ひとつのサンプルに対して透過波長の異なる分光フィルタの毎に複数回の露光が必要であり、計数処理に時間を要する。また、同一の焦点面への複数回の露光により、サンプルが退色してしまうおそれもある。さらに、蛍光画像の視覚的な観察には、各蛍光色の輝点が同一画像に表されるカラー画像のほうがモノクロ画像より好適であり、カラーイメージャを用いた輝点の色の特定手段が望まれている。
【０００７】
以上のような事情に鑑み、本開示の目的は、輝点の染色に用いられた染色剤を判別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本開示の一形態に係る画像処理装置は、画像取得部と、輝点検出部と、判別部とを具備する。
上記画像取得部は、第１の蛍光色を有する第１の蛍光染色剤と第２の蛍光色を有する第２の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。
上記輝点検出部は、上記蛍光画像の画素値に基づいて輝点を検出する。
上記判別部は、上記輝点の上記複数の焦点深度における画素値の変化から、上記輝点が上記第１の蛍光染色剤によって染色されたものか上記第２の蛍光染色剤によって染色されたものかを判別する。
【０００９】
画像取得部によって取得された蛍光画像は、各画素毎に画素値（ＲＧＢ値）を有し、輝点検出部はこの画素値を用いて輝点を検出することが可能である。検出された輝点を染色している染色剤は、輝点の画素値と予め登録されている染色剤の画素値を比較することによって特定することができる。しかしながら、輝点として検出された領域（以下、輝点領域）の画素値は、輝点自体の画素値に観察対象物の画素値がバックグラウンドとして重畳された画素値となる。このため、輝点を染色している染色剤を特定するためには、輝点領域の画素値から観察対象物の画素値を除いた輝点自体の画素値を求める必要がある。ここで、輝点は観察対象物に比べて厚さ（焦点深度方向の大きさ）が小さいことが一般的である。したがって、観察対象物が複数の焦点深度で撮像された蛍光画像において、焦点深度が合っている輝点はピントが合った像として現れ、焦点深度が合っていない輝点はピントが合っていない像として現れる。このため、ある輝点について異なる焦点深度間で比較すると、輝点に由来する画素値は変化する。これに対し、輝点のバックグラウンドである観察対象物は輝点より厚さが大きいため、異なる焦点深度間であっても画素値は変化しない（あるいは小さい）。したがって、異なる焦点深度の蛍光画像における輝点の画素値の変化量はバックグラウンドを除いた輝点自体の画素値であると判断することができ、輝点自体の画素値と染色剤の予め登録されている画素値のを比較することじよって、染色剤を特定することが可能となる。
【００１０】
上記画像処理装置は、上記第１の蛍光染色剤の画素値の範囲として規定される第１の画素値範囲と、上記第２の蛍光色染色剤の画素値の範囲として規定される第２の画素値範囲とを記憶する記憶部と、上記輝点を、上記第１の画素値範囲に含まれる画素値を有する第１の輝点と、上記第２の画素値範囲に含まれる画素値を有する第２の輝点と、上記第１の画素値範囲及び上記第２の画素値範囲に含まれない画素値を有する第３の輝点とに分別する分別部とをさらに具備してもよい。
【００１１】
分別部が、蛍光染色剤の画素値範囲に基づいて輝点を第１の輝点、第２の輝点及び第３の輝点に分別することにより、判別部が判別する必要がある輝点は第３の輝点のみとなり、判別処理の高速化が可能となる。
【００１２】
上記判別部は、上記第１の輝点の画素値の焦点深度による変化量である第１の画素値変化量と、上記第２の輝点の画素値の焦点深度による変化量である第２の画素値変化量と、上記第３の輝点の画素値の焦点深度による変化量である第３の画素値変化量とをそれぞれ算出し、上記第３の画素値変化量が上記第１の画素値変化量に近い場合には上記第３の輝点は上記第１の蛍光染色剤によって染色されたものと判別し、上記第３の画素値変化量が上記第２の画素値変化量に近い場合には上記第３の輝点は上記第２の蛍光染色剤によって染色されたものと判別してもよい。
【００１３】
判別部が、分別部によっては染色剤が特定されていない第３の輝点について、画素値変化量を第１の輝点及び第２の輝点と比較することにより、染色剤を判別することが可能となる。
【００１４】
上記蛍光画像は、上記観察対象物を異なる焦点深度でそれぞれ撮像した複数の蛍光画像であってもよい。
【００１５】
観察対象物を異なる焦点深度でそれぞれ撮像した複数の蛍光画像には、画像毎に異なる焦点深度で撮像された第３の輝点の像が現れており、画像間で第３の画素値変化量を算出することが可能である。
【００１６】
上記蛍光画像は、上記観察対象物を焦点深度を変更しつつ露光を継続して撮像した蛍光画像であってもよい。
【００１７】
観察対象物を焦点深度を変更しつつ露光を継続して撮像した蛍光画像には、各焦点深度いおける第３の輝点の像が重畳的に現れており、当該画像において画素値を抽出する位置により第３の画素値変化量を算出することが可能である。
【００１８】
上述の課題を解決するため、本開示の一形態に係る画像処理方法は、画像取得部が、第１の蛍光色を有する第１の蛍光染色剤と第２の蛍光色を有する第２の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。
輝点検出部が、上記蛍光画像の画素値に基づいて輝点を検出する。
判別部が、上記輝点の上記複数の焦点深度における画素値の変化から、上記輝点が上記第１の蛍光染色剤によって染色されたものか上記第２の蛍光染色剤によって染色されたものかを判別する。
【００１９】
上述の課題を解決するため、本開示の一形態に係る画像処理プログラムは、画像取得部と、輝点検出部と、判別部とを具備する。
上記画像取得部は、第１の蛍光色を有する第１の蛍光染色剤と第２の蛍光色を有する第２の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。
上記輝点検出部は、上記蛍光画像の画素値に基づいて輝点を検出する。
上記判別部は、上記輝点の上記複数の焦点深度における画素値の変化から、上記輝点が上記第１の蛍光染色剤によって染色されたものか上記第２の蛍光染色剤によって染色されたものかを判別する。
【発明の効果】
【００２０】
以上のように本開示によれば、輝点の染色に用いられた染色剤を判別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することが可能である。
【図面の簡単な説明】
【００２１】
【図１】本開示の第１の実施形態に係る画像処理システムを示す模式図である。
【図２】同画像処理システムの観察対象物である試料を示す模式図である。
【図３】同画像処理システムの撮像素子によって撮像される蛍光画像を示す図である。
【図４】同画像処理システムが判別対象とする染色剤による発光スペクトルの一例を示す図である。
【図５】同画像処理システムのエミッションフィルタ１２の透過スペクトルの一例を示す図である。
【図６】同画像処理システムの撮像素子の各カラーフィルタの透過波長を示す図である。
【図７】同画像処理システムのエミッションフィルタによるスペクトルの変化を示す図である。
【図８】同画像処理システムのカラーフィルタによるスペクトルの変化を示す図である
【図９】同画像処理システムによって撮像された各染色剤の蛍光色についての画素値の例を示す表である。
【図１０】同画像処理システムの画像処理装置の構成を示すブロック図である。
【図１１】同画像処理システムの画像処理装置の機能的構成を示すブロック図である。
【図１２】同画像処理システムの画像処理装置の動作を示すフローチャートである。
【図１３】同画像処理システムの輝点検出部が検出した輝点を示す模式図である。
【図１４】同画像処理システムの分別部が分別した輝点を示す模式図である。
【図１５】同画像処理システムの判別部による染色剤を判別する方法を概念的に示す図である。
【図１６】同画像処理システムの判別部が用いる蛍光画像毎の輝点の画素値の例を示す表である。
【図１７】同画像処理システムのエミッションフィルタとしてカラーフィルタ又は単色フィルタを用いて撮像された試料の蛍光画像である。
【図１８】各染色剤の蛍光色についてのカラーバランス補正後の画素値の例を示す表である。
【図１９】本開示の第２の実施形態に係る同画像処理システムによって撮像される露光画像を説明するための図である。
【発明を実施するための形態】
【００２２】
（第１の実施形態）
第１の実施形態について説明する。
【００２３】
［画像処理システムの構成］
図１は、第１の実施形態に係る画像処理システム１を示す模式図である。同図に示すように、本実施形態における画像処理システム１は、顕微鏡（蛍光顕微鏡）１０と、当該顕微鏡１０に接続された画像処理装置２０とを有する。
【００２４】
[顕微鏡の構成]
顕微鏡１０は、ステージ１１、光学系１２、明視野撮影用照明灯１３、光源１４及び撮像素子３０を有する。
【００２５】
ステージ１１は、例えば組織切片、細胞、染色体等の生体高分子等の試料Ｓを載置可能な載置面を有し、当該載置面に対してその平行方向（Ｘ−Ｙ平面方向）及び垂直方向（Ｚ軸方向）へ移動可能とされている。
【００２６】
図２は、上記ステージ１１に載置される試料Ｓをステージ１１の側面方向から示した図である。
【００２７】
同図に示すように、試料Ｓは、Ｚ方向に例えば約４〜８μｍの厚さを有し、スライドガラスＳＧ及びカバーガラスＣＧに挟まれて所定の固定手法により固定されている。試料Ｓは、複数種の染色剤によって染色されている。染色剤は、同一の光源から照射される励起光によって、異なる蛍光を発する複数の染色剤から選択することができる。染色剤はその化学的特異性により、細胞内小器官等の特定の組織に結合するため、例えば試料Ｓを各染色材に浸漬して洗浄することにより特定の組織を染色することが可能である。図４は、各染色剤による発光スペクトルの一例である。
【００２８】
図２に示すように、試料Ｓは、特定の蛍光染色剤、例えばＤＡＰＩ（4',6-diamidino-2-phenylindole）によって染色される細胞核等の組織Ｒ１と、別の蛍光染色剤、例えばＳｐＡｑｕａ（青色系）によって染色される染色体等の組織Ｒ２と、さらに別の蛍光染色剤、例えばＳｐＧｒｅｅｎ（緑色系）によって染色される染色体等の組織Ｒ３を含むものとする。組織Ｒ２と組織Ｒ３は組織Ｒ１に比べて十分小さいものとする。
【００２９】
図１に戻り、光学系１２は、ステージ１１の上方に設けられ、対物レンズ１２Ａ、結像レンズ１２Ｂ、ダイクロイックミラー１２Ｃ、エミッションフィルタ１２Ｄ及び励起フィルタ１２Ｅを有する。光源１４は、例えば水銀ランプ等の電球やＬＥＤ（Light Emitting Diode）等である。
【００３０】
対物レンズ１２Ａ及び結像レンズ１２Ｂは、試料Ｓの像を所定の倍率に拡大し、当該拡大像を撮像素子３０の撮像面に結像させる。
【００３１】
試料Sの蛍光観察画像を得る場合は、光源１４により照明を行う。励起フィルタ１２Ｅは、光源１４から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１２Ａへ導く。対物レンズ１２Ａは、当該励起光を試料Ｓへ集光する。
【００３２】
試料Ｓに励起光が照射されると、試料Ｓの各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１２Ａを介してダイクロイックミラー１２Ｃを透過し、エミッションフィルタ１２Ｄを介して結像レンズ１２Ｂへ到達する。
【００３３】
エミッションフィルタ１２Ｄは、上記対物レンズ１２Ａによって拡大された、発色光以外の光（外光）を吸収する。図５は、エミッションフィルタ１２Ｄの透過スペクトルの一例である。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１２Ｂにより拡大され、撮像素子３０上に結像される。
【００３４】
また顕微鏡１０において試料Sの明視野観察画像を得る場合は、明視野撮影用照明灯１３により照明を行う。明視野撮影用照明灯１３は、ステージ１１の下方に設けられ、ステージ１１に設けられた開口（図示せず）を介して、上記載置面に載置された試料Ｓへ照明光を照射する。
【００３５】
撮像素子３０としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等が用いられる。なお、撮像素子３０は、ＲＧＢ(Red、Green、Blue)各色カラーフィルターが設けられたＲＧＢ各色を検出する光電変換素子を有し、入射光をカラー画像として出力するカラーイメージャである。図６は、撮像素子３０の各カラーフィルタの透過波長を示す。
【００３６】
試料Ｓから放出され、撮像素子３０によって撮像される蛍光のスペクトルの変化について説明する。ここでは、例として図４に示すＤＡＰＩによる蛍光について説明する。図７は、エミッションフィルタ１２Ｄによるスペクトルの変化を示す図である。図７（ａ）に示すように、試料Ｓから放出されたＤＡＰＩの蛍光は、図７（ｂ）に示す透過波長を有するエミッションフィルタ１２Ｄを透過する。この際、エミッションフィルタ１２Ｄの透過波長領域以外の波長領域は透過を遮られるため、エミッションフィルタ１２Ｄの透過光のスペクトルは図７（ｃ）に示すようになる。
【００３７】
次に、エミッションフィルタ１２Ｄの透過光は、撮像素子３０のＲＧＢの各カラーフィルタを透過する。図８は、カラーフィルタによるスペクトルの変化を示す図である。図８（ａ）に示すエミッションフィルタ１２Ｄの透過光は、図８（ｂ）、図８（ｃ）及び図８（ｄ）に示す透過波長をそれぞれ有する各色のカラーフィルタを透過する。これにより、各色のカラーフィルタの透過光のスペクトルは図８（ｅ）、図８（ｆ）及び図８（ｇ）に示すようになる。即ち、試料Ｓから放出されたＤＡＰＩの蛍光は、図８（ｅ）、図８（ｆ）及び図８（ｇ）に示すスペクトルとしてＲＧＢ各色に対応する光電変換素子に入射し、「蛍光画像」として撮像される。図９は、このようにして撮像された、各染色剤の蛍光色についての画素値（ＲＧＢ値；ＲＧＢ各成分の輝度値）の例である。
【００３８】
［蛍光画像について］
撮像素子３０によって撮像される蛍光画像の例について説明する。図３は、撮像素子３０によって撮像される蛍光画像を示す図である。同図に示すようにこの画像には、組織Ｒ１、組織Ｒ２及び組織Ｒ３が示されている。
【００３９】
ここで、本実施形態では、画像処理システム１は「Ｚスタック画像」を取得するものとする。Ｚスタック画像とは、焦点深度をＺ方向に移動させながら撮像された複数の画像であり、平面（Ｘ−Ｙ平面）位置を基準として順次表示されることにより仮想的な試料Ｓの３次元バーチャルスライドを表すことが可能である。焦点深度は光学系１２もしくはステージ１２のＺ方向の変位により調整される。図３に示す蛍光画像は、Ｚスタック画像のうちの１枚とすることができる。なお、本実施形態の画像処理システム１は必ずしもＺスタック画像を撮像するためものでなくても、異なる焦点深度で試料Ｓを撮像することが可能なものであればよい。
【００４０】
［画像処理装置の構成］
図１０は、画像処理装置２０の構成を示したブロック図である。
画像処理装置２０は、例えばＰＣ（Personal Computer）により構成され、撮像素子３
０により生成された試料Ｓの像を、例えばＪＰＥＧ（Joint Photographic Experts G
roup）等の任意の形式のデジタル画像データとして保存する。
【００４１】
同図に示すように画像処理装置２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、操作入力部２４、インターフェイス部２５、表示部２６及び記憶部２７を有し、これら各ブロックがバス２８を介して接続されている。
【００４２】
ＲＯＭ２２は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。ＲＡＭ２３は、ＣＰＵ２１の作業用領域として用いられ、ＯＳ（Operating System）、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００４３】
記憶部２７は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部２７には、ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部２７には、撮像素子３０から取り込まれた蛍光画像データや、蛍光画像データを画像処理する画像処理アプリケーションも記憶される。
【００４４】
インターフェイス部２５は、当該画像処理装置２０を、上記顕微鏡１０のステージ１１、光源１４及び撮像素子３０とそれぞれ接続し、所定の通信規格により顕微鏡１０との間で信号をやり取りする。
【００４５】
ＣＰＵ２１は、ＲＯＭ２２や記憶部２７に格納された複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、当該展開されたプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。
【００４６】
操作入力部２４は、例えばマウス等のポインティングデバイス、キーボード、タッチパ
ネル、その他の操作装置である。
【００４７】
表示部２６は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ
、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等である。当該表示
部２６は、画像処理装置２０に内蔵されていてもよいし、画像処理装置２０に外部接続さ
れていてもよい。
【００４８】
［画像処理装置の機能的構成］
図１１は画像処理装置２０の機能的構成を示すブロック図である。画像処理装置２０は上述のようなハードウェア構成により図１１に示す機能的構成を実現する。以下、この画像処理装置２０の機能的構成について説明する。
【００４９】
画像処理装置２０は、画像取得部１０１、輝点検出部１０２、分別部１０３、判定部１０４、計数部１０５を有する。これらの構成はこの順に接続されている。各構成の説明は後述する画像処理装置の動作において併せて説明する。
【００５０】
［画像処理装置の動作］
画像処理装置２０の動作について説明する。図１２は、画像処理装置２０の動作を示すフローチャートである。同図には、画像処理装置２０の動作が各ステップ（Ｓｔ）毎に示されている。
【００５１】
画像取得部１０１は、蛍光画像（本実施形態ではＺスタック画像）を取得する（Ｓｔ１）。画像取得部１０１は、撮像素子３０から直接蛍光画像を取得してもよく、予め撮像され、記憶部２７に保存されている蛍光画像を読み出してもよい。
【００５２】
次に輝点検出部１０２は、蛍光画像から輝点を検出する（Ｓｔ２）。図１３は、輝点検出部１０２が検出した輝点Ｐｘを示す模式図である。輝点検出部１０２は、各蛍光画像において、周囲と画素値が異なる点状の領域を輝点として検出することができる。また、輝点検出部１０２は、画素値が閾値を超えたら輝点と判断することができる。また、輝点検出部１０２は、既存の輝点検出アルゴリズムを用いて輝点を検出してもよい。
【００５３】
次に分別部１０３は、輝点検出ステップ（Ｓｔ２）において検出した各輝点Ｐｘについて、いずれの染色剤によって染色された輝点であるかの分別を行う（Ｓｔ３）。図１４は、分別部１０３が分別した輝点を示す図である。分別部１０３は、各輝点の画素値と、記憶部２７に予め記憶されている染色剤毎の取り得る画素値とを比較する。分別部１０３は、輝点の画素値が特定の染色剤の画素値範囲に含まれれば、その輝点は当該染色剤によって染色された輝点であると判断する。
【００５４】
例えば分別部１０３は、図１４に示すように、染色剤ＳｐＡｑｕａの画素値範囲に含まれる輝点を輝点Ｐ１とし、染色剤ＳｐＧｒｅｅｎの画素値範囲に含まれる輝点を輝点Ｐ２とする。また、いずれの染色剤の画素値範囲にも含まれない輝点Ｐｘは特定不能として分別する。
【００５５】
例えば、図１４に例示した蛍光画像では、輝点Ｐｘはバックグラウンドである組織Ｒ１の像と重畳している。このような輝点は、その画素値に組織Ｒ１の画素値が加算されるため、輝点自体の画素値とは異なる画素値として撮像素子３０に撮像される。このため、予め染色剤ＳｐＡｑｕａ又は染色剤ＳｐＧｒｅｅｎの蛍光色として記憶部２７に記憶されている画素値範囲から外れ、この時点では特定不能と判断される。
【００５６】
次に、判別部１０４は、輝点分別ステップ（Ｓｔ３）において特定不能とされた輝点Ｐｘについて、複数の焦点深度における画素値の変化から、ＳｐＡｑｕａによって染色された輝点であるか、ＳｐＧｒｅｅｎによって染色された輝点であるかを判別する（Ｓｔ４）。図１５は、異なる焦点深度における画素値の変化から染色剤を判別する方法を概念的に示す図である。
【００５７】
図１５（ａ）は、仮想的な試料Ｔを示す図である。同図は一様な蛍光色を有する試料Ｔ中に、それとは異なる蛍光色で発光する輝点Ｑが存在する状態を示す。同図は、試料Ｔを断面（ステージ側面）方向からみた図であり、試料Ｔの厚みは輝点Ｑの厚みに比べて十分大きいものとする。焦点深度が試料の厚み方向に沿って可変される場合を想定する。
【００５８】
図１５（ａ）に線Ｆ１として示すように焦点深度が輝点Ｑに一致する場合、蛍光画像の画素値分布は図１５（ｂ）に示すようになる。図１５（ｂ）及び図１５（ｃ）は輝点Ｑ近傍の座標を横軸に、蛍光画像の画素値分布を縦軸にとったものである。図１５（ｂ）に示すように、試料Ｔの画素値分布ＣＴと輝点Ｑの画素値分布ＣＱが重畳されている。
【００５９】
次に、図１５（ａ）に線Ｆ２として示すように焦点深度が輝点Ｑから離れている場合、撮像素子の画素値分布は図１５（ｃ）に示すようになる。焦点が輝点Ｑに合っていない場合、輝点Ｑはピントが合っていない状態であるので、輝点Ｑの画素値分布は図１５（ｂ）に比べて減衰する。一方、試料Ｔには焦点が合っているので、試料Ｔの画素値分布ＣＴは変化しない。
【００６０】
このように、輝点Ｑの画素値分布は焦点深度によって変化するのに対し、試料Ｔの画素値分布は変化しない。したがって、焦点深度を変更した場合に変化する画素値が、輝点Ｑの画素値であると判断することが可能である。
【００６１】
本実施形態に係る判別部１０４は、この焦点深度による画素値の変化に基づいて輝点Ｐｘの色を判別するものである。具体的には、判別部１０４は輝点Ｐｘの、Ｚスタック画像における複数の蛍光画像間の画素値の変化、即ち焦点深度による画素値の変化を計算する。
【００６２】
図１６は、蛍光画像毎の輝点の画素値の例を示す表である。図１６に示す表のうち、「画像番号」は、焦点深度をずらしながら連続的に撮像されたＺスタック画像の番号であり、例えば「６２」は６２番目に撮像された画像を示す。隣接する番号の画像との間で焦点深度は０．２μｍずつ異なっている。ここでは画像番号が小さい方が焦点深度が浅いものとするが、その逆でもよい。焦点深度の変更幅は０．２μｍに限られず、試料の大きさ等に応じて適宜変更される。
【００６３】
図１６において「画素値」は、輝点分別ステップ（Ｓｔ３）において分別した輝点Ｐ１、輝点Ｐ２及び輝点Ｐｘの各画像における画素値である。図１６に示す表では、輝点Ｐ１及び輝点Ｐ２は画像番号６２〜７４において画素値が示され、輝点Ｐｘは画像番号６５〜７８において画素値が示されている。これは輝点Ｐ１及び輝点Ｐ２と輝点Ｐｘの試料Ｓにおける深度が異なるためであり、画素値が示されていない画像番号の画像では、その輝点に焦点が合わず、輝点として検出されなかったことを示す。
【００６４】
各輝点の「Ｅ１」はその輝点が検出可能な最も浅い焦点深度の画像における画素値を示し、「Ｅ２」はその輝点が検出可能な最も深い焦点深度の画像における画素値を示す。各輝点の「Ｐｅａｋ」は和が最大となる画素値を示し、このときの画像番号が当該輝点の焦点が最も合っている画像の番号である。「画素値変化量」はＲ値、Ｇ値、Ｂ値それぞの変化量であり、画素値変化量ｖは下記の式（１）によって算出される値である。
【００６５】
ｖ＝｜（Ｐｅａｋ）−（Ｅ１）｜＋｜（Ｐｅａｋ）−（Ｅ２）｜          （１）
【００６６】
このようにして算出された輝点Ｐｘの画素値変化量と、輝点Ｐ１及び輝点Ｐ２の画素値変化量とを比較して、輝点Ｐｘはより近い画素値変化量を有する輝点と同一の染色剤によって染色されたものであると判別することが可能である。これは例えば、判別したい染色剤の色に応じて、Ｒ値、Ｇ値、Ｂ値のいずれか２色の変化量の比を比較することによってすることができる。本実施形態では、輝点Ｐｘが染色剤ＳｐＡｑｕａ（青色系）及び染色剤ＳｐＧｒｅｅｎ（緑色系）のいずれによって染色されたものかを判別すればよいので、各輝点のＧ値変化量／Ｂ値変化量の値を比較すればよい。
【００６７】
例えば図１６に示した例では、各基点の画素値変化量が、輝点Ｐ１：（５１（Ｒ）、６８（Ｇ）、７６（Ｂ））、輝点Ｐ２：（３０（Ｒ）、６６（Ｇ）、３７（Ｂ））、輝点Ｐｘ：（６３（Ｒ）、６９（Ｇ）、４０（Ｂ））である。このため、各輝点のＧ値変化量／Ｂ値変化量はＰ１：０．８９、Ｐ２：１．７８、Ｐｘ：１．７３となる。輝点ＰｘのＧ値変化量／Ｂ値変化量は輝点Ｐ１より輝点Ｐ２のＧ値変化量／Ｂ値変化量に近いので、輝点Ｐｘは輝点Ｐ２と同一の染色剤、即ちＳｐＧｒｅｅｎによって染色されたものと判別することができる。
【００６８】
以上のようにして、輝点Ｐｘがいずれの染色剤によって染色されたものであるかが判別される。判別部１０４は、輝点分別ステップ（Ｓｔ３）において特定不能とされた全ての輝点Ｐｘについて染色剤が判別されるまで、上記処理を繰り返す。このようにして画像処理装置２０は、試料Ｓに含まれる全ての輝点Ｐｘについて染色剤を特定する。
【００６９】
染色剤判別ステップ（Ｓｔ４）における輝点色の判別の有効性について説明する。上述した顕微鏡１０のエミッションフィルタ１２ＤはＲＧＢのそれぞれに透過領域を有する（図５参照）ものであるが、比較としてＲＧＢいずれかの単色の透過領域を有するエミッションフィルタを用いる。
【００７０】
図１７は、エミッションフィルタとしてカラーフィルタ又は単色フィルタを用いて撮像された試料Ｓの蛍光画像である。図１７（ａ）はカラーフィルタ、図１７（ｂ）は緑色の単色フィルタ、図１７（ｃ）は赤色の単色フィルタである。図１７（ｂ）に示す蛍光画像から、矢印で示すような他の染色剤による影響が小さい輝点を選択しその画素値を取得する。次にその色相値からＧ値／Ｂ値比を算出する。
【００７１】
例えば、図１７（ｂ）に示す３点の色相値とそのＧ値／Ｂ値比はそれぞれ（５８，１８２，１０１）について１．８０、（４２，１７９，８７）について２．０６、（５０，１６４，８８）について１．８６であったとする。これらのＧ値／Ｂ値比を平均すると１．９１である。一方、染色剤（ＳｐＧｒｅｅｎ）の蛍光スペクトル、緑色の単色フィルタの透過領域及び撮像素子３０のＲＧＢカラーフィルタの透過領域から算出したＧ値／Ｂ値比は４．４０である。つまり、Ｂ値は２．１２（＝４．０４／１．９１）倍強く現像されている。
【００７２】
また、図１７（ｃ）に示す３点の画素値とそのＧ値／Ｒ値比はそれぞれ（２２６、４１、０）について０．１８１、（１７７、２６、０）について０．１４６、（１２６、１８、１）について０．１４３であったとする。これらのＧ値／Ｒ値比を平均すると０．１５５である。一方、染色剤（ＳｐＲｅｄ）の蛍光スペクトル、赤色の単色フィルタの透過領域及び撮像素子３０のＲＧＢカラーフィルタの透過領域から算出したＧ値／Ｒ値比は０．１５２である。つまりＲ値は０．９８（＝０．１５２／０．１５５）倍強く現像されている。
【００７３】
以上から、図９に示した各染色剤の蛍光色の画素値に対して、Ｂ値について２．１２倍し、Ｒ値について０．９８倍すると、図１８に示すカラーバランス補正後の画素値が得られる。図１８において、ＳｐＡｑｕａの場合Ｇ値／Ｂ値比は０．８９（＝５４．２２／６０．８４）でありＳｐＧｒｅｅｎの場合のＧ値／Ｂ値比は１．８５（＝８６．７２／４６．７５）である。染色剤判別ステップ（Ｓｔ４）において算出した、焦点深度の変動に伴なうＧ値変化量／Ｂ値変化量は、輝点Ｐ１が０．８９（＝６８／７６）、輝点Ｐ２が１．７８（＝６６／３７）、輝点Ｐｘが１．７３（＝６９／４０）である。輝点Ｐ１のＧ値変化量／Ｂ値変化量はＳｐＡｑｕａのＧ値／Ｂ値比と一致し、輝点Ｐ２と輝点ＰｘのＧ値変化量／Ｂ値変化量はＳｐＧｒｅｅｎのＧ値／Ｂ値比に近い。このため、輝点ＰｘはＳｐＧｒｅｅｎによって染色されていると判断することができ、焦点深度を変動することにより変化する色が染色剤の色であることを確認することができる。
【００７４】
次に画像処理装置２０は、染色剤が特定された輝点について計数処理を施す（Ｓｔ５）。画像処理システム１は、ＳｐＡｑｕａによって染色された輝点の数とＳｐＧｒｅｅｎによって染色された輝点の数を計数して出力する。これにより、例えば特定の染色剤によって染色された輝点の数が一定数以上である場合には「陽性」であるとして警告メッセージを表示する、あるいはより高倍率での撮像を実行する等の処理が可能となる。
【００７５】
以上のように、本実施形態では、焦点深度の違いによる輝点の色の変化から、当該輝点の染色に用いられた染色剤を特定することが可能である。これにより、特定の染色剤によって染色される輝点、即ち、当該染色剤に化学的特異性を有する組織の存在を自動的に検知することが可能となる。
【００７６】
（第２の実施形態）
第２の実施形態について説明する。第１の実施形態と同様の構成については説明を省略する。第２の実施形態では、第１の実施形態に記載した画像処理システム１を用いることができる。
【００７７】
［露光画像について］
本実施形態に係る画像処理システム１は、Ｚスタック画像に替え、染色剤判別用の「露光画像」を取得する。露光画像は、光学系１２の焦点深度を固定した状態でステージ１１を移動させながら、所定時間にわたって撮像素子３０の露光（受光）を継続させて撮像させた画像である。
【００７８】
ステージ１１の移動は、平行方向（Ｘ−Ｙ平面方向）及び垂直方向（Ｚ軸方向）を共に含む移動とする。例えば、ステージ１１を、ステージ１１上の一点が円を描くように移動させつつＺ軸方向に移動させるものとすることができる。ステージ１１をこのように移動させながら、所定時間にわたって撮像素子３０を露光させることにより、輝点の露光画像を撮像することが可能となる。
【００７９】
図１９は露光画像を説明するための図である。
図１９（ａ）は、ステージ１１を垂直方向にのみ移動させて撮像した場合の輝点Ｖ１及び輝点Ｖ２を示す図である。ステージ１１の移動の間、撮像素子３０の露光は継続されている。同図に示すように、輝点Ｖ１及び輝点Ｖ２は、蛍光の大きい（濃色）中央部と蛍光の小さい（薄色）周縁部を有する。中央部は光学系１２の焦点深度が輝点に一致しているときの輝点の像であり、周縁部は光学系１２の焦点深度が輝点に一致していないときの輝点の像である。ステージ１１は平行方向には移動していないため、これらの像は重畳して撮像されている。
【００８０】
図１９（ｂ）はステージ１１を垂直方向及び平行方向に移動させて撮像した場合に輝点Ｐ１及び輝点Ｐ２を示す図である。ステージ１１の移動の間、撮像素子３０の露光は継続されている。同図はステージ１１を円周状に移動させた場合の露光画像であるが、ステージ１１の移動方向はこれに限られず、例えば直線状であってもよい。同図に示すように、露光画像では、輝点Ｖ１及び輝点Ｖ２の軌跡が示されている。
【００８１】
輝点Ｖ１及び輝点Ｖ２の軌跡は、円弧状であり、薄色で太い一方の端部から、濃色で細い中央部まで次第に細くなり、再び薄色で太い他方端部まで次第に太くなる形状を有する。端部は光学系１２の焦点深度が輝点に一致していないときの輝点の像であり、中央部は光学系１２の焦点深度が輝点に一致しているときの輝点の像である。輝点Ｖ１の軌跡と輝点Ｖ２の軌跡の円弧が異なる方向を向いているのは、試料における輝点Ｖ１及び輝点Ｖ２の高さ（Ｚ軸方向）が異なるためである。
【００８２】
本実施形態では、光学系１２の焦点深度の違いによる輝点の色を認識するすることが可能な、図１９（ｂ）に示す露光画像を利用して、染色剤の判定を行う。
【００８３】
［画像処理システムの動作］
画像処理システム１の動作について説明する。第２の実施形態に係る画像処理システム１の動作は、第１の実施形態に係る第１の画像処理システム１の動作と、染色剤判別ステップ（Ｓｔ４）を除き同一である。したがって以下では、染色剤判別ステップ（Ｓｔ４）についてのみ説明する。
【００８４】
第１の実施形態と同様に、輝点分別ステップ（Ｓｔ３）において、染色剤ＳｐＡｑｕａによって染色された輝点Ｐ１、染色剤ＳｐＧｒｅｅｎによって染色された輝点Ｐ２及びいずれの染色剤によって染色されたか特定されていない輝点Ｐｘに分別されている。
【００８５】
判別部１０４は、輝点Ｐｘについて、複数の焦点深度における画素値の変化から、輝点Ｐｘが染色剤ＳｐＡｑｕａによって染色された輝点であるか、染色剤ＳｐＧｒｅｅｎによって染色された輝点であるかを判別する（Ｓｔ４）。
【００８６】
具体的には、判別部１０４は露光画像における輝点Ｐｘの軌跡の、端部と中央部の画素値を抽出する。ここで、上述のように輝点Ｐｘの軌跡は、焦点深度による輝点Ｐｘの像の変化を示しているため、端部の画素値と中央部の画素値の差は、焦点深度による画素値変化量を示している。このため、第１の実施形態と同様に、輝点Ｐｘの画素値変化量と、輝点Ｐ１及び輝点Ｐ２の画素値変化量とを比較して、輝点Ｐｘはより近い画素値変化量を有する輝点と同一の染色剤によって染色されたものであると判別することが可能である。
【００８７】
このようにして、輝点Ｐｘがいずれの染色剤によって染色されたものであるかが判別される。判別部１０４は、輝点分別ステップ（Ｓｔ３）において特定不能とされた全ての輝点Ｐｘについて染色剤が判別されるまで、上記処理を繰り返す。このようにして画像処理装置２０は、試料Ｓに含まれる全ての輝点について染色剤を特定する。
【００８８】
以上のように、本実施形態においても、焦点深度の違いによる輝点の色の変化から、当該輝点の染色に用いられた染色剤を特定することが可能である。これにより、特定の染色剤によって染色される輝点、即ち、当該染色剤に化学的特異性を有する組織の存在を自動的に検知することが可能となる。
【００８９】
（第３の実施形態）
第３の実施形態について説明する。第１の実施形態と同様の構成については説明を省略する。第３の実施形態では、第１の実施形態に記載した画像処理システム１を用いることができる。
【００９０】
［画像処理システムの動作］
画像処理システム１の動作について説明する。第３の実施形態に係る画像処理システム１の動作は、第１の実施形態に係る第１の画像処理システム１の動作と、染色剤判別ステップ（Ｓｔ４）を除き同一である。したがって以下では、染色剤判別ステップ（Ｓｔ４）についてのみ説明する。
【００９１】
第１の実施形態と同様に、輝点分別ステップ（Ｓｔ３）において、染色剤ＳｐＡｑｕａによって染色された輝点Ｐ１、染色剤ＳｐＧｒｅｅｎによって染色された輝点Ｐ２及びいずれの染色剤によって染色されたか特定されていない輝点Ｐｘに分別されている。
【００９２】
判別部１０４は、輝点Ｐｘについて、染色剤ＳｐＡｑｕａによって染色された輝点であるか、染色剤ＳｐＧｒｅｅｎによって染色された輝点であるかを判別する（Ｓｔ４）。
【００９３】
具体的には、判別部１０４は、Ｚスタック画像のうち、最も輝点Ｐｘの画素値が大きい画像の輝点Ｐｘの画素値を抽出する。例えば、図１６に示す例では、輝点ＰｘのＲＧＢ値が最大となる画像７３番では、Ｒ：９４、Ｇ：１７８、Ｂ：１９４となる。
【００９４】
ここで、輝点Ｐｘの画素値は以下の式（２）、式（３）及び式（４）によって記述することができる。
【００９５】
Ｒ＝ＸＲＲ１＋ＹＲＰｘ        （２）
Ｇ＝ＸＧＲ１＋ＹＧＰｘ        （３）
Ｂ＝ＸＢＲ１＋ＹＢＰｘ        （４）
【００９６】
式（２）、式（３）及び式（４）において、Ｒ、Ｇ、Ｂはそれぞれ輝点の画素値であり輝点Ｐｘの画素値が最大となる場合、（Ｒ，Ｇ，Ｂ）＝（９４，１７８，１９４）である。ＲＲ１、ＧＲ１、ＢＲ１はそれぞれ組織Ｒ１の染色に用いられた染色剤の画素値であり、組織Ｒ１の染色に用いられた染色剤がＤＡＰＩであるとすると（ＰＲ１，ＧＲ１，ＢＲ１）＝（７．１８，３３．３３，５０．７６）である。
【００９７】
ここで、輝点Ｐｘの染色剤がＳｐＧｒｅｅｎであると仮定すると、（ＲＰｘ，ＧＰｘ，ＢＰｘ）＝（２５．８６，８６．７２，２２．０５）である。式（２）及び式（３）から（Ｘ，Ｙ）＝（−１５．５６，８．０３）、式（３）及び式（４）から（Ｘ，Ｙ）＝（１．１０，１．６３）となる。
【００９８】
一方、輝点Ｐｘの染色剤がＳｐＡｑｕａであると仮定すると、（ＲＰｘ，ＧＰｘ，ＢＰｘ）＝（８．５８，５４．２２，２８．７０）である。式（２）及び式（３）から（Ｘ，Ｙ）＝（３５．５０，−１８．５４）、式（３）及び式（４）から（Ｘ，Ｙ）＝（−０．０８，３，３３）となる。
【００９９】
輝点Ｐｘの染色剤がＳｐＡｑｕａであると仮定した場合の（Ｘ，Ｙ）＝（３５．５０，−１８．５４）と輝点Ｐｘの染色剤がＳｐＧｒｅｅｎであると仮定した場合の（Ｘ，Ｙ）＝（−１５．５６，８．０３）とを比較する。本来Ｘ及びＹは正の数値であることから、（Ｘ，Ｙ）＝（−１５．５６，８．０３）のほうが現実的な数値に近い。つまり、輝点Ｐｘの染色剤はＳｐＧｒｅｅｎであると判別することができる。
【０１００】
このようにして、輝点Ｐｘがいずれの染色剤によって染色されたものであるかが判別される。判別部１０４は、輝点分別ステップ（Ｓｔ３）において特定不能とされた全ての輝点Ｐｘについて染色剤が判別されるまで、上記処理を繰り返す。このようにして画像処理装置２０は、試料Ｓに含まれる全ての輝点について染色剤を特定する。
【０１０１】
以上のように、本実施形態においても輝点の染色に用いられた染色剤を特定することが可能である。これにより、特定の染色剤によって染色される輝点、即ち、当該染色剤に化学的特異性を有する組織の存在を自動的に検知することが可能となる。
【０１０２】
本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。
【符号の説明】
【０１０３】
２０…画像処理装置
１０１…画像取得部
１０２…輝点検出部
１０３…分別部
１０４…判別部
【図１】
2012173087.tif 000003
【図４】
2012173087.tif 000004
【図５】
2012173087.tif 000005
【図６】
2012173087.tif 000006
【図７】
2012173087.tif 000007
【図８】
2012173087.tif 000008
【図９】
2012173087.tif 000009
【図１０】
2012173087.tif 000010
【図１１】
2012173087.tif 000011
【図１２】
2012173087.tif 000012
【図１５】
2012173087.tif 000013
【図１６】
2012173087.tif 000014
【図１８】
2012173087.tif 000015
【図２】
2012173087.tif 000016
【図３】
2012173087.tif 000017
【図１３】
2012173087.tif 000018
【図１４】
2012173087.tif 000019
【図１７】
2012173087.tif 000020
【図１９】
2012173087.tif 000021