(57)【要約】【課題】細胞分裂を正確に検出できること。【解決手段】画像処理装置１は、複数の観測時点で撮像された一連の観測画像の中から生細胞に対応する各細胞領域を認識する認識処理部２ｂと、各細胞領域の細胞特徴量を計測する特徴量計測処理部２ｃと、処理対象時点に撮像された細胞領域と処理対象時点よりも前に撮像された細胞領域とに同一性があるか否かの判別を行い、同一性があると判別した細胞領域同士を対応付ける追跡処理部２ｄと、処理対象とした対象細胞領域とこの対象細胞領域の周囲に位置する周囲細胞領域との相対位置関係を示す相対位置情報を計測するとともに、少なくともこの相対位置情報に基づき、対象細胞領域が示す生細胞に細胞分裂が発生したか否かの判断を行い、細胞分裂が発生したと判断した対象細胞領域を検出する分裂検出処理部２ｅと、を備える。【選択図】       図１
2007327843.tif 000002
【特許請求の範囲】
【請求項１】
複数の時点で撮像され、経時的に生細胞が記録された一連の観測画像を処理する画像処理装置において、
前記一連の観測画像の中から前記生細胞に対応する各細胞画像領域を認識する細胞認識手段と、
前記各細胞画像領域の特徴を示す細胞特徴量を計測する特徴量計測手段と、
前記細胞特徴量をもとに、前記細胞画像領域のうち処理対象時点に撮像された追跡対象領域と該処理対象時点よりも時系列で前の時点に撮像された前記細胞画像領域とに同一性があるか否かの判別を行い、同一性があると判別した前記追跡対象領域にその同一性を示す追跡指標を付与する細胞追跡手段と、
前記追跡指標が付与された細胞画像領域を処理対象とし、この処理対象とした対象細胞領域と該対象細胞領域の周囲に位置する周囲細胞領域との相対位置関係を示す相対位置情報を計測するとともに、少なくとも該相対位置情報に基づいて、前記対象細胞領域が示す前記生細胞に細胞分裂が発生したか否かの判断を行い、細胞分裂が発生したと判断した前記対象細胞領域を検出する細胞分裂検出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記細胞追跡手段は、前記同一性がないと判別した前記追跡対象領域に対して、新規に発現したことを示す新規追跡指標を付与し、
前記細胞分裂検出手段は、前記周囲細胞領域として、前記新規追跡指標が付与された前記細胞画像領域を選択し、前記相対位置情報を計測することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記細胞分裂検出手段は、前記相対位置情報と、前記対象細胞領域の前記細胞特徴量と、前記細胞画像領域のうち該対象細胞領域に対する同一性を示す前記追跡指標が付与された同一細胞領域の前記細胞特徴量とに基づいて、前記細胞分裂が発生したか否かの判断を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記細胞分裂検出手段は、前記時点間における前記細胞特徴量の変化傾向を、前記細胞分裂が発生したか否かの判断に用いることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記細胞分裂検出手段は、少なくとも前記相対位置情報に基づく一連の判断条件をもとに、前記細胞分裂が発生したか否かの判断を行い、前記対象細胞領域が前記一連の判断条件のうち所定順位の判断条件を満足した場合に細胞分裂が発生したと判断することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記細胞分裂検出手段は、前記一連の判断条件のうち前記対象細胞領域が満足した判断条件の順位を判別し、この判別した順位に応じて、該対象細胞領域に細胞分裂が発生した可能性の程度を示す分裂レベル指標を付与することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記分裂レベル指標を表示手段に表示させる制御を行うレベル表示制御手段と、
前記表示手段に表示された前記分裂レベル指標を修正する修正指示情報を取得する修正指示取得手段と、
前記修正指示情報をもとに、前記分裂レベル指標を修正する分裂レベル修正手段と、
を備えたことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記細胞特徴量は、前記細胞画像領域の位置特徴量を含むことを特徴とする請求項３〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記細胞特徴量は、前記細胞画像領域の位置特徴量と、前記細胞画像領域の輝度総和、輝度平均、面積、円形度またはこれら各特徴量の変化量のうちの少なくとも１つとを含むことを特徴とする請求項３〜７のいずれか一つに記載の画像処理装置。
【請求項１０】
前記細胞分裂検出手段は、前記相対位置情報として前記対象細胞領域と前記周囲細胞領域との間の距離を計測することを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
【請求項１１】
前記生細胞の系譜を生成する系譜生成手段を備え、
前記細胞分裂検出手段は、細胞分裂が発生したと判断した前記対象細胞領域が示す前記生細胞と対になる娘細胞を示す娘細胞領域を、前記相対位置情報と、前記対象細胞領域の前記細胞特徴量と、前記同一細胞領域の前記細胞特徴量とに基づいて検出し、
前記系譜生成手段は、前記細胞分裂検出手段の検出結果をもとに、前記細胞分裂が発生したと判断された前記細胞領域が示す前記生細胞の系譜を生成することを特徴とする請求項３〜１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記系譜生成手段が生成した前記系譜を樹形図状にして表示手段に表示させる制御を行う系譜表示制御手段を備えたことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記観測画像と、前記細胞画像領域を示す細胞画像と、前記追跡指標と、前記新規追跡指標と、前記細胞特徴量と、前記分裂レベル指標と、前記系譜とのうち、少なくとも１つを表示手段に表示させる制御を行う表示制御手段を備えたことを特徴とする請求項１〜１２のいずれか一つに記載の画像処理装置。
【請求項１４】
複数の時点で撮像され、経時的に生細胞が記録された一連の観測画像を処理する画像処理装置に、前記一連の観測画像を処理させる画像処理プログラムにおいて、
前記画像処理装置に、
前記一連の観測画像の中から前記生細胞に対応する各細胞画像領域を認識する細胞認識手順と、
前記各細胞画像領域の特徴を示す細胞特徴量を計測する特徴量計測手順と、
前記細胞特徴量をもとに、前記細胞画像領域のうち処理対象時点に撮像された追跡対象領域と該処理対象時点よりも時系列で前の時点に撮像された前記細胞画像領域とに同一性があるか否かの判別を行い、同一性があると判別した前記追跡対象領域にその同一性を示す追跡指標を付与する細胞追跡手順と、
前記追跡指標が付与された細胞画像領域を処理対象とし、この処理対象とした対象細胞領域と該対象細胞領域の周囲に位置する周囲細胞領域との相対位置関係を示す相対位置情報を計測するとともに、少なくとも該相対位置情報に基づいて、前記対象細胞領域が示す前記生細胞に細胞分裂が発生したか否かの判断を行い、細胞分裂が発生したと判断した前記対象細胞領域を検出する細胞分裂検出手順と、
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞が記録された観測画像を処理する画像処理装置に関し、特に、複数の時点で撮像され、経時的に生細胞が記録された一連の観測画像を処理する画像処理装置に関するものである。
【背景技術】
【０００２】
細胞は、ＤＮＡの複製によって遺伝情報を倍加させ、これを細胞分裂によって２つの娘細胞に分配し、一定の遺伝情報を維持しつつ増殖を続ける。栄養が豊富で増殖するのに適切な条件（増殖因子）が整うと、細胞周期を進め、ＤＮＡが放射線や紫外線の照射によって傷つけられる（ＤＮＡ損傷）とその進行を停止する。このように細胞周期の進行は通常、ＤＮＡ損傷や増殖因子の有無などの要因によって厳密に制御されている。この正常な制御は生命にとって根源的な役割を果たしていると考えられており、この正常な制御から逸脱して引き起こされる細胞周期の破綻が、ガン化の過程に深く関与しているといわれている。
【０００３】
近年、このような細胞周期の研究の重要性が高まり、ガンの機構解明と医薬品開発のために、細胞周期の進行、制御機構、阻害方法の研究が進められてきている。特に、発癌機構の解明や創薬の標的を特定するためには、細胞周期における細胞状態の把握が重要であり、中でも細胞が分裂し増殖する現象を捉えることが重要であって、細胞分裂の発生を正確に検出することが求められている。これに対して従来、様々な手法が考案されている（例えば特許文献１〜３参照）。
【０００４】
特許文献１には、細胞が記録された画像（以下、細胞画像と呼ぶ。）を用いて増殖状態を評価する手法が開示されている。この手法は、画像処理によって個々の細胞の大きさを求め、求めた大きさの平均値を、増殖の程度を表す指標とするもので、細胞の増殖状態を統計的に評価することができる。
【０００５】
特許文献２には、細胞画像を用いて細胞分裂の状態を評価する手法が開示されている。この手法は、画像処理によって細胞の特徴量、特に面積や周囲長などの形態特徴量と、その形態特徴量に基づいて予め作成したモデルとを比較する事で、細胞か否かを判定し、細胞の数を求めるものである。細胞分裂により細胞数は増加するといえるため、その細胞数を監視する事で細胞分裂を検出することができる。また、形態特徴量と位置の傾向を公知の傾向と比較することによって分裂を検出することもできる。
【０００６】
特許文献３に記載の手法は、画像処理によって細胞のパラメータの計算を行い、この細胞のパラメータを経時的に取得することで、細胞分裂を検出するようにしている。
【０００７】
【特許文献１】特開平７−７５５５４号公報
【特許文献２】特表２００１−５００７４４号公報
【特許文献３】米国特許出願公開第２００４／０１２８０７７号明細書
【非特許文献１】Vincent & Soille , "Watersheds in Digital Spaces : An Efficient Algorithm Based on Immersion Simulations", IEEE TRANS ACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 1991, Vol.13, NO.6
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載された手法では、細胞の大きさの平均値を評価基準としているため、統計的な細胞分裂の頻度を取得するに留まっている。この手法では、実際に分裂した細胞、分裂した時刻、細胞同士の親子関係や系譜等の情報を統計量から読み取る事ができない。
【０００９】
また、特許文献２に記載された手法では、細胞数の増加により分裂を検出する場合は、実際に分裂した細胞を認識することができない。また、分裂により発現した娘細胞が細胞画像中に記録されていない場合には、細胞数の増加を認識することができず、分裂そのものを検出することができない。さらに、形態特徴量と位置の傾向を公知の傾向と比較する場合、撮像時刻に分裂を捉えている必要があるばかりでなく、形態特徴量自体が撮像状態や細胞同士の位置関係などに影響を受けやすいため、形態特徴量のみを用いて細胞分裂を正確に検出することは困難である。
【００１０】
また、特許文献３では、細胞のパラメータ変化により細胞分裂を検出すると記載されているものの、その具体的な手法については開示されていない。
【００１１】
本発明は、上記に鑑みてなされたものであって、細胞分裂を正確に検出することができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、請求項１にかかる画像処理装置は、複数の時点で撮像され、経時的に生細胞が記録された一連の観測画像を処理する画像処理装置において、前記一連の観測画像の中から前記生細胞に対応する各細胞画像領域を認識する細胞認識手段と、前記各細胞画像領域の特徴を示す細胞特徴量を計測する特徴量計測手段と、前記細胞特徴量をもとに、前記細胞画像領域のうち処理対象時点に撮像された追跡対象領域と該処理対象時点よりも時系列で前の時点に撮像された前記細胞画像領域とに同一性があるか否かの判別を行い、同一性があると判別した前記追跡対象領域にその同一性を示す追跡指標を付与する細胞追跡手段と、前記追跡指標が付与された細胞画像領域を処理対象とし、この処理対象とした対象細胞領域と該対象細胞領域の周囲に位置する周囲細胞領域との相対位置関係を示す相対位置情報を計測するとともに、少なくとも該相対位置情報に基づいて、前記対象細胞領域が示す前記生細胞に細胞分裂が発生したか否かの判断を行い、細胞分裂が発生したと判断した前記対象細胞領域を検出する細胞分裂検出手段と、を備えたことを特徴とする。
【００１３】
また、請求項２にかかる画像処理装置は、上記の発明において、前記細胞追跡手段は、前記同一性がないと判別した前記追跡対象領域に対して、新規に発現したことを示す新規追跡指標を付与し、前記細胞分裂検出手段は、前記周囲細胞領域として、前記新規追跡指標が付与された前記細胞画像領域を選択し、前記相対位置情報を計測することを特徴とする。
【００１４】
また、請求項３にかかる画像処理装置は、上記の発明において、前記細胞分裂検出手段は、前記相対位置情報と、前記対象細胞領域の前記細胞特徴量と、前記細胞画像領域のうち該対象細胞領域に対する同一性を示す前記追跡指標が付与された同一細胞領域の前記細胞特徴量とに基づいて、前記細胞分裂が発生したか否かの判断を行うことを特徴とする。
【００１５】
また、請求項４にかかる画像処理装置は、上記の発明において、前記細胞分裂検出手段は、前記時点間における前記細胞特徴量の変化傾向を、前記細胞分裂が発生したか否かの判断に用いることを特徴とする。
【００１６】
また、請求項５にかかる画像処理装置は、上記の発明において、前記細胞分裂検出手段は、少なくとも前記相対位置情報に基づく一連の判断条件をもとに、前記細胞分裂が発生したか否かの判断を行い、前記対象細胞領域が前記一連の判断条件のうち所定順位の判断条件を満足した場合に細胞分裂が発生したと判断することを特徴とする。
【００１７】
また、請求項６にかかる画像処理装置は、上記の発明において、前記細胞分裂検出手段は、前記一連の判断条件のうち前記対象細胞領域が満足した判断条件の順位を判別し、この判別した順位に応じて、該対象細胞領域に細胞分裂が発生した可能性の程度を示す分裂レベル指標を付与することを特徴とする。
【００１８】
また、請求項７にかかる画像処理装置は、上記の発明において、前記分裂レベル指標を表示手段に表示させる制御を行うレベル表示制御手段と、前記表示手段に表示された前記分裂レベル指標を修正する修正指示情報を取得する修正指示取得手段と、前記修正指示情報をもとに、前記分裂レベル指標を修正する分裂レベル修正手段と、を備えたことを特徴とする。
【００１９】
また、請求項８にかかる画像処理装置は、上記の発明において、前記細胞特徴量は、前記細胞画像領域の位置特徴量を含むことを特徴とする。
【００２０】
また、請求項９にかかる画像処理装置は、上記の発明において、前記細胞特徴量は、前記細胞画像領域の位置特徴量と、前記細胞画像領域の輝度総和、輝度平均、面積、円形度またはこれら各特徴量の変化量のうちの少なくとも１つとを含むことを特徴とする。
【００２１】
また、請求項１０にかかる画像処理装置は、上記の発明において、前記細胞分裂検出手段は、前記相対位置情報として前記対象細胞領域と前記周囲細胞領域との間の距離を計測することを特徴とする。
【００２２】
また、請求項１１にかかる画像処理装置は、上記の発明において、前記生細胞の系譜を生成する系譜生成手段を備え、前記細胞分裂検出手段は、細胞分裂が発生したと判断した前記対象細胞領域が示す前記生細胞と対になる娘細胞を示す娘細胞領域を、前記相対位置情報と、前記対象細胞領域の前記細胞特徴量と、前記同一細胞領域の前記細胞特徴量とに基づいて検出し、前記系譜生成手段は、前記細胞分裂検出手段の検出結果をもとに、前記細胞分裂が発生したと判断された前記細胞領域が示す前記生細胞の系譜を生成することを特徴とする。
【００２３】
また、請求項１２にかかる画像処理装置は、上記の発明において、前記系譜生成手段が生成した前記系譜を樹形図状にして表示手段に表示させる制御を行う系譜表示制御手段を備えたことを特徴とする。
【００２４】
また、請求項１３にかかる画像処理装置は、上記の発明において、前記観測画像と、前記細胞画像領域を示す細胞画像と、前記追跡指標と、前記新規追跡指標と、前記細胞特徴量と、前記分裂レベル指標と、前記系譜とのうち、少なくとも１つを表示手段に表示させる制御を行う表示制御手段を備えたことを特徴とする。
【００２５】
また、請求項１４にかかる画像処理プログラムは、複数の時点で撮像され、経時的に生細胞が記録された一連の観測画像を処理する画像処理装置に、前記一連の観測画像を処理させる画像処理プログラムにおいて、前記画像処理装置に、前記一連の観測画像の中から前記生細胞に対応する各細胞画像領域を認識する細胞認識手順と、前記各細胞画像領域の特徴を示す細胞特徴量を計測する特徴量計測手順と、前記細胞特徴量をもとに、前記細胞画像領域のうち処理対象時点に撮像された追跡対象領域と該処理対象時点よりも時系列で前の時点に撮像された前記細胞画像領域とに同一性があるか否かの判別を行い、同一性があると判別した前記追跡対象領域にその同一性を示す追跡指標を付与する細胞追跡手順と、前記追跡指標が付与された細胞画像領域を処理対象とし、この処理対象とした対象細胞領域と該対象細胞領域の周囲に位置する周囲細胞領域との相対位置関係を示す相対位置情報を計測するとともに、少なくとも該相対位置情報に基づいて、前記対象細胞領域が示す前記生細胞に細胞分裂が発生したか否かの判断を行い、細胞分裂が発生したと判断した前記対象細胞領域を検出する細胞分裂検出手順と、を実行させることを特徴とする。
【発明の効果】
【００２６】
本発明にかかる画像処理装置および画像処理プログラムによれば、細胞分裂を正確に検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、添付図面を参照して、本発明にかかる画像処理装置および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００２８】
（実施の形態１）
まず、本発明の実施の形態１にかかる画像処理装置について説明する。図１は、本実施の形態１にかかる画像処理装置１の要部構成を示すブロック図である。この図に示すように、画像処理装置１は、入力された画像を処理する画像処理部２と、各種情報の表示、入力および記憶をそれぞれ行う表示部３、入力部４および記憶部５と、画像処理装置１が行う処理および動作を制御する制御部６と、を備える。画像処理部２、表示部３、入力部４および記憶部５は、制御部６に電気的に接続され、制御部６によって制御される。
【００２９】
画像処理部２は、前処理部２ａ、認識処理部２ｂ、特徴量計測処理部２ｃ、追跡処理部２ｄ、分裂検出処理部２ｅおよび系譜生成処理部２ｆを備える。画像処理部２は、画像処理装置１に入力された画像として、複数の観測時点で撮像され、経時的に生細胞が記録された一連の観測画像を処理する。この一連の観測画像は、例えば蛍光タンパクを導入した生細胞を経時的に記録した蛍光画像であって、図２に示すように、暗い背景の中に観測対象である複数の生細胞が示される。この図に示す生細胞は、例えば観測時点ｔp〜ｔp+1（ｐは整数）の期間に移動、膨張、収縮、変形、分裂等の状態変化を起こしている。なお、画像処理部２は、生細胞を位相差観察して取得した位相差画像等を観測画像として処理することもできる。
【００３０】
前処理部２ａは、各観測画像に対し、エッジを保持したままノイズを除去する平滑化処理、エッジ強調のための鮮鋭化処理等を前処理として行う。認識処理部２ｂは、前処理部２ａが前処理を行った一連の観測画像の中から、各生細胞に対応する細胞画像領域としての細胞領域を認識する細胞認識処理を行う。認識処理部２ｂは、認識した各細胞領域に対し、細胞領域を個々に識別するための識別指標である認識ラベルを付与する。特徴量計測処理部２ｃは、認識処理部２ｂが認識した各細胞領域の特徴を示す細胞特徴量を計測する特徴量計測処理を行う。
【００３１】
追跡処理部２ｄは、特徴量計測処理部２ｃが計測した細胞特徴量をもとに、各観測時点間の細胞領域を対応付ける細胞追跡処理を行う。具体的には、追跡処理部２ｄは、細胞特徴量をもとに、処理対象の観測時点に撮像された細胞領域である追跡対象領域と、その観測時点よりも時系列で前の観測時点に撮像された細胞領域とに同一性があるか否かの判別を行い、同一性があると判別した追跡対象領域に対し、その同一性を示す追跡指標としての追跡ラベルを付与する。また、同一性がないと判別した追跡対象領域に対し、新たに発現したことを示す新規追跡指標として新規の追跡ラベルを付与する。追跡処理部２ｄは、かかる同一性判別処理を、一連の観測時点を順次処理対象として行うことで、すべての細胞領域に追跡ラベルを付与することができる。
【００３２】
分裂検出処理部２ｅは、認識処理部２ｂが認識した細胞領域のうち、その細胞領域が示す生細胞に細胞分裂が発生したと判断される細胞領域を検出する細胞分裂検出処理を行う。具体的には、分裂検出処理部２ｅは、追跡ラベルが付与された細胞領域を処理対象とし、この処理対象とした対象細胞領域と、対象細胞領域の周囲に位置する周囲細胞領域との相対位置関係を示す相対位置情報を計測する。そして、少なくともこの相対位置情報に基づいて、対象細胞領域が示す生細胞に細胞分裂が発生したか否かの判断を行い、細胞分裂が発生したと判断した対象細胞領域を検出する。分裂検出処理部２ｅは、かかる処理を、追跡ラベルが付与されたすべての細胞領域について行う。
【００３３】
このとき、分裂検出処理部２ｅは、相対位置情報に加えて、対象細胞領域の細胞特徴量と、この対象細胞領域に対する同一性を示す追跡ラベルが付与された細胞領域である同一細胞領域の細胞特徴量とに基づいて、細胞分裂が発生したか否かの判断を行うことができる。さらに、分裂検出処理部２ｅは、対象細胞領域が撮像された時点よりも時系列で前の時点に撮像された同一細胞領域の細胞特徴量の変化傾向に基づいて、細胞分裂が発生したか否かの判断を行うこともできる。
【００３４】
ここで、分裂検出処理部２ｅは、細胞特徴量と相対位置情報とに基づく一連の判断条件をもとに、細胞分裂が発生したか否かの判断を行い、対象細胞領域がその一連の判断条件のうち所定順位の判断条件を満足した場合に細胞分裂が発生したと判断する。その際、分裂検出処理部２ｅは、一連の判断条件のうち各対象細胞領域が満足した判断条件の順位を判別し、この判別した順位に応じて対象細胞領域ごとに、細胞分裂が発生した可能性の程度を示す指標としての分裂ラベルを付与する。これによって、分裂検出処理部２ｅは、追跡ラベルが付与された各細胞領域を、分裂ラベルに応じた分裂レベル、つまり細胞分裂が発生した可能性の程度に応じた複数のレベルに分類することができる。
【００３５】
さらに、分裂検出処理部２ｅは、相対位置情報と、対象細胞領域の細胞特徴量と、同一細胞領域の細胞特徴量とに基づいて、細胞分裂が発生したと判断した対象細胞領域が示す生細胞と対になる娘細胞を示す娘細胞領域を検出する。ここで、細胞分裂が発生したと判断された対象細胞領域が示す生細胞は、細胞分裂によって発現した一方の娘細胞であり、その生細胞と対になる娘細胞とは、細胞分裂によって発現したもう一方の娘細胞である。分裂検出処理部２ｅは、この各々の娘細胞を示す細胞領域に、親細胞を示す細胞領域との対応関係、すなわち親子関係を示す指標として親子ラベルを付与する。
【００３６】
系譜生成処理部２ｆは、分裂検出処理部２ｅの検出結果をもとに、細胞分裂が発生したと判断された細胞領域が示す生細胞の系譜を生成する系譜生成処理を行う。ここで、系譜とは、細胞の親子関係が２世代以上に渡って世代順に関連付けられたものであって、２世代間の親子関係を示す情報が最小の系譜である。系譜生成処理部２ｆは、細胞分裂が発生した時点とする観測時点を示す系譜ラベルと、各娘細胞の追跡ラベルを示す娘細胞ラベルとを系譜情報とし、この系譜情報を、親細胞を示す細胞領域に付与する。
【００３７】
表示部３は、ＣＲＴ、液晶ディスプレイまたはプロジェクタ等を備え、観測画像、画像処理部２が処理した後の観測画像である処理画像、追跡ラベル、親子ラベルおよび分裂ラベル等の各種ラベル、細胞特徴量、分裂レベル、系譜など、各種情報を表示する。ここで、処理画像には、例えば認識処理部２ｂが認識し、追跡処理部２ｄが追跡ラベルを付与した各細胞領域を示す細胞画像がある。なお、表示部３は、プリンタ等を備え、これらの各種情報を印刷して表示することもできる。
【００３８】
入力部４は、ＵＳＢ，ＩＥＥＥ１３９４等の通信用インターフェース、各種スイッチ、入力キー、マウス、タッチパネル等を備え、各種情報の入力を行う。入力部４は、特に、観測画像入力部４ａおよび表示項目選択部４ｂを備える。観測画像入力部４ａは、例えば通信用インターフェースを介して外部装置から一連の観測画像の入力を行う。表示項目選択部４ｂは、観測画像、処理画像、各種ラベル、細胞特徴量、分裂レベル、系譜等の中から表示部３に表示する情報を選択する表示項目選択情報の入力を行う。観測者は、この表示項目選択部４ｂを介して表示項目選択情報を入力することで、表示部３に表示させる情報を任意に選択することができる。
【００３９】
なお、観測画像入力部４ａは、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の記憶媒体に対応するインターフェースを備え、かかる記憶媒体に記憶された観測画像の入力を行うようにすることもできる。また、観測画像入力部４ａは、ＣＣＤ等の撮像素子を用いて構成された撮像装置を備え、顕微鏡等を介して観測される生細胞の観測像を撮像し、一連の観測画像を取得することもできる。
【００４０】
記憶部５は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各処理の処理パラメータ、処理データ等を記憶するＲＡＭとを備える。記憶部５は、特に、一連の観測画像、処理画像、各細胞領域に対応付けられた各種情報、制御部６が実行する各種処理プログラム等を記憶する。なお、記憶部５は、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の記憶媒体を着脱可能な記憶部として備えてもよい。
【００４１】
制御部６は、記憶部５に記憶された各種処理プログラムを実行するＣＰＵ等を用いて構成され、画像処理装置１内で電気的に接続された各構成部位の処理および動作の制御を行う。制御部６は、特に、画像処理制御部６ａおよび画像表示制御部６ｂを備え、記憶部５に記憶された画像処理プログラムを実行し、この画像処理プログラムの各処理に対応する構成部位の制御を行う。具体的には、画像処理制御部６ａは、画像処理部２における画像処理を制御するとともに、画像処理部２に対する各種情報の入出力処理を制御する。また、画像表示制御部６ｂは、観測画像、処理画像、各種ラベル、細胞特徴量、分裂レベル、系譜等のうち、少なくとも１つを表示部３に表示させる制御を行う。
【００４２】
ここで、画像処理装置１が行う処理手順について説明する。図３は、制御部６が画像処理プログラムを実行することによって、画像処理装置１が一連の観測画像を処理する処理手順を示すフローチャートである。この図を参照して、はじめに処理手順の概要を説明する。
【００４３】
まず、前処理部２ａは、画像処理制御部６ａが記憶部５から読み出した一連の観測画像に対して前処理を行い（ステップＳ１０１）、認識処理部２ｂは、前処理後の一連の観測画像の中から個々の細胞領域を認識して認識ラベルを付与する細胞認識処理を行う（ステップＳ１０２）。つぎに、特徴量計測処理部２ｃは、各細胞領域の細胞特徴量を計測する特徴量計測処理を行い（ステップＳ１０３）、追跡処理部２ｄは、観測時点間の細胞領域の同一性を判別して追跡ラベルを付与する細胞追跡処理を行う（ステップＳ１０４）。
【００４４】
つづいて、分裂検出処理部２ｅは、細胞領域が示す生細胞に細胞分裂が発生したか否かの判断を行い、細胞分裂が発生したと判断した細胞領域を、一方の娘細胞を示す細胞領域として検出し、この検出した細胞領域に分裂ラベルを付与する細胞分裂検出処理を行う（ステップＳ１０５）。このステップＳ１０５では、分裂検出処理部２ｅは、もう一方の娘細胞を示す娘細胞領域をさらに検出するとともに、一方の娘細胞を示す細胞領域と、もう一方の娘細胞を示す娘細胞領域とに、それぞれ親子ラベルを付与する。
【００４５】
その後、系譜生成処理部２ｆは、細胞分裂を起こした親細胞としての生細胞に系譜情報を付与するとともに、その生細胞の系譜を生成する系譜生成処理を行い（ステップＳ１０６）、画像表示制御部６ｂは、表示項目選択情報をもとに、観測画像、処理画像、各種ラベル、細胞特徴量、分裂レベル、系譜等の各種情報を表示する結果表示処理を行い（ステップＳ１０７）、一連の処理を終了する。なお画像表示制御部６ｂは、例えば所定の処理終了の指示情報が入力されるまで、順次更新される表示項目選択情報に応じて、ステップＳ１０７を繰り返し行うこともできる。
【００４６】
つぎに、図３に示したステップＳ１０１〜Ｓ１０７について、より具体的に各処理内容を説明する。まず、ステップＳ１０１では、前処理部２ａは、一連の観測画像に対し、前処理として平滑化処理を行う。この平滑化処理では、前処理部２ａは、例えば図４−１〜図４−９に示すように、観測画像中の処理対象の画素である注目画素ＯＰを中心として近傍の５×５画素パターンＰＡを参照する。そして、この５×５画素パターンＰＡ内の所定の３×３画素パターン毎に算出される画素値の分散値および平均値に基づいて、注目画素ＯＰの平滑化画素値を設定する。
【００４７】
すなわち、前処理部２ａは、５×５画素パターンＰＡを、図４−１〜図４−９に例示する９種の３×３画素パターンＰＡ１〜ＰＡ９に分割し、分割した３×３画素パターンＰＡ１〜ＰＡ９毎に、斜線で示す複数の選択画素が有する画素値の分散値を算出する。その中で最も小さい分散値を示す３×３画素パターンを抽出し、抽出した３×３画素パターン内の選択画素が有する画素値の平均値を算出するとともに、この算出した平均値を注目画素ＯＰの平滑化画素値として設定する。前処理部２ａは、このような平滑化画素値の設定処理を、観測画像を構成する各画素に対して行うことで、観測画像全体を平滑化する。
【００４８】
なお、注目画素ＯＰに対応して参照する画素パターンは５×５画素に限定する必要はなく、その画素数を増減しても構わない。同様に、参照する画素パターン内で分割する画素パターンは３×３画素に限定する必要はなく、その画素数を増減してもよい。
【００４９】
また、前処理部２ａによる平滑化処理は、上述した方法に限定する必要はない。例えば、注目画素に対して所定範囲内の各近傍画素の画素値を参照し、中心部に重み付けした平均値を算出して、注目画素の平滑化画素値としてもよい。あるいは、ｋ最近隣平均化法を利用して平滑化画素値を設定してもよい。この他、選択平均法を利用して平滑化画素値を設定してもよく、メディアンフィルタ、バイラテラルフィルタ等の公知のフィルタを用いて平滑化することもできる。
【００５０】
さらに、ステップＳ１０１では、前処理部２ａは、平滑化処理後の観測画像に対し、エッジ強調のための鮮鋭化処理を行う。この鮮鋭化処理では、前処理部２ａは、注目画素とその近傍の画素とに対し、図５に示すような鮮鋭化フィルを用いた重み付けを行うとともに、重み付けした画素値の総和を求める。前処理部２ａは、この演算処理を、観測画像を構成する各画素に対して順次行うことで、観測画像全体を鮮鋭化する。このように前処理部２ａによって平滑化および鮮鋭化された観測画像である一連の処理画像は、画像処理制御部６ａによって認識処理部２ｂに出力されるとともに記憶部５に記録される。
【００５１】
つぎに、ステップＳ１０２の細胞認識処理について説明する。ステップＳ１０２では、認識処理部２ｂは、例えば分水嶺領域分割（例えば、非特許文献１参照）を利用して、前処理後の処理画像である前処理画像を個々の細胞領域ごとに分割する領域分割処理を行う。非特許文献１では、分水嶺領域分割は、画像を低輝度画素の集中する領域に分割するものであるが、一般に細胞は高輝度画素の集合として現れるため、ここでは輝度を反転して考え、高輝度領域の分割に適用する。
【００５２】
分水嶺領域分割によって分割した各領域は細胞領域の候補であるため、認識処理部２ｂは、輝度情報を用いてその分割結果の妥当性を検証する。すなわち、認識処理部２ｂは、分割された細胞領域の候補である候補領域ごとに輝度値が最大となる画素を求め、その輝度値が所定の閾値Ｖtminより小さい場合、その候補領域は細胞領域ではないものとし、所属する画素も含めて以降の処理の対象から除外する。
【００５３】
さらに、認識処理部２ｂは、残った候補領域について、所属する各画素の輝度を所定の閾値Ｖpminと比較し、この閾値より輝度が小さい画素を候補領域内から除外し、以降の処理には使用しない。認識処理部２ｂは、かかる検証の結果残った画素から構成される各候補領域を細胞領域とし、この各細胞領域に認識ラベルを付与する。認識処理部２ｂは、各前処理画像から同様に細胞領域を認識し、各細胞領域に認識ラベルを付与する。
【００５４】
このように認識処理部２ｂによって細胞領域が認識された処理画像である一連の細胞画像は、画像処理制御部６ａによって特徴量計測処理部２ｃに出力されるとともに記憶部５に記録される。その際、各細胞領域に付与された認識ラベルは、細胞領域の特徴を示す細胞特徴データとして細胞画像ごとに各細胞領域に対応付けられ、記憶部５に記録される。
【００５５】
つぎに、ステップＳ１０３の特徴量計測処理について説明する。ステップＳ１０３では、特徴量計測処理部２ｃは、各細胞領域の細胞特徴量として、細胞領域の面積、円形度、輝度総和、輝度平均、輝度の標準偏差、領域位置、重心位置、輪郭等を計測する。この他、周囲長、フィレ径、長さ、幅、最大輝度等を計測することもできる。特徴量計測処理部２ｃによって計測された細胞特徴量は、細胞領域ごとに細胞特徴データに付加される。細胞特徴量が付加されて更新された細胞特徴データは、画像処理制御部６ａによって記憶部５に更新記録される。また、更新された細胞特徴データと細胞画像とは、追跡処理部２ｄに出力される。
【００５６】
つぎに、ステップＳ１０４の細胞追跡処理について説明する。ステップＳ１０４では、追跡処理部２ｄは、観測時点が異なる細胞領域間の関連性を評価する評価値を算出し、この評価値をもとに、その細胞領域同士に同一性があるか否かの判別を行う。まず、追跡処理部２ｄは、例えば観測時点ｔ1，ｔ2の細胞領域Ｒt1,m，Ｒt2,nに対して、重心間の距離δd、面積の差δa、円形度の差δc、所定の重み付け係数ｋd，ｋa，ｋcを用い、次式（１）によって評価値Ｊを算出する。
Ｊ＝Ｊ（Ｒt1,m，Ｒt2,n）＝ｋd・δd＋ｋa・δa＋ｋc・δc  ・・・（１）
ここで、添字としての変数ｍ，ｎは整数であり、観測時点ｔ1，ｔ2の各細胞画像において認識された細胞領域数Ｍ，Ｎに対して１≦ｍ≦Ｍ，１≦ｎ≦Ｎの関係にある。
【００５７】
細胞領域Ｒt1,m，Ｒt2,nは、評価値Ｊが小さいほど関連性が高く、同一の細胞を示す細胞領域である可能性が高い。このため、追跡処理部２ｄは、変数ｍ，ｎの可能なすべての組み合わせについて評価値Ｊを算出し、次式（２）で定義されるように、観察時点ｔ2の細胞領域Ｒt2,n^との評価値Ｊが最小となる観測時点ｔ1の細胞領域Ｒt1,m^を決定する。
【数１】
2007327843.tif 000003
【００５８】
評価値Ｊが最小となる変数ｍが複数存在する場合、追跡処理部２ｄは、その複数の変数ｍに対応する細胞領域Ｒt1,mについて第２の評価値Ｊ2を算出し、この評価値Ｊ2が最小となる細胞領域の組み合わせを細胞領域Ｒt1,m^，Ｒt2,n^として求める。ここで、追跡処理部２ｄは、輝度総和の差δs、輝度平均の差δm、輝度の標準偏差の差δv、所定の重み付け係数ｋs，ｋm，ｋvを用い、次式（３）によって評価値Ｊ2を算出する。
Ｊ2＝Ｊ2（Ｒt1,m，Ｒt2,n）＝ｋs・δs＋ｋm・δm＋ｋv・δv  ・・・（３）
【００５９】
評価値Ｊ2が最小となる細胞領域の組み合わせが複数存在する場合、画像処理制御部６ａは、その組み合わせに対応する細胞領域の画像データと細胞特徴データとを表示部３に表示させるとともに、表示させた複数の組み合わせの中から選択された組み合わせを示す領域組合情報を入力部４から取得する。この領域組合情報は、例えば画像処理装置１の操作者によって入力部４から入力される。追跡処理部２ｄは、この領域組合情報が示す細胞領域の組み合わせを細胞領域Ｒt1,m^，Ｒt2,n^として求める。
【００６０】
つづいて、追跡処理部２ｄは、このようにして求めた細胞領域の組み合わせの誤りを最小限に抑えるための修正処理を行う。すなわち、観測時点ｔ1の細胞領域Ｒt1,m^と観察時点ｔ2の細胞領域Ｒt2,n^との組み合わせにおける評価値Ｊが、所定の閾値Ｖjmaxより大きい場合、その組み合わせは無効であるものとみなし、細胞領域Ｒt2,n^に対応する観測時点ｔ1の細胞領域は発見できなかったものとする。これは、例えば観測対象の生細胞に導入された蛍光タンパクが観測時点ｔ2ではじめて発現した場合などが当てはまる。
【００６１】
追跡処理部２ｄは、以上のようにして求めた観測時点ｔ1の細胞領域Ｒt1,m^と、観察時点ｔ2の細胞領域Ｒt2,n^とに同一性があるものと判別し、細胞領域Ｒt2,n^に対して細胞領域Ｒt1,m^との同一性を示す指標、つまり細胞領域Ｒt1,m^と同一の追跡ラベルΩiを付与する。ただし、追跡処理部２ｄは、例えばこの同一性判別処理が細胞追跡処理において最初に行った同一性判別処理である場合、細胞領域Ｒt1,m^に追跡ラベルが付与されていないため、細胞領域Ｒt1,m^と細胞領域Ｒt2,n^との両方に同一の追跡ラベルΩiを付与する。ここで、添字としての変数ｉは整数である。この変数ｉは、先頭の観測時点ｔ0から観測時点ｔ2までの細胞画像において追跡ラベルを付与した細胞領域の総数である追跡細胞総数Ｒcountに対して１≦ｉ≦Ｒcountの関係にある。
【００６２】
また、追跡処理部２ｄは、同一性判別処理の処理対象の観測時点に新しく発現した細胞領域に対しては、その直前の観測時点までのいずれの細胞領域にも付与していない新規の追跡ラベルを付与する。これによって、追跡細胞総数Ｒcountは、随時インクリメントされる。追跡処理部２ｄは、以上のような同一性判別処理を一連の観測時点に対して行うことで、すべての細胞領域に対して追跡ラベルを付与することができる。
【００６３】
このように追跡処理部２ｄによって付与された追跡ラベルは、細胞領域ごとに細胞特徴データに付加される。追跡ラベルが付加されて更新された細胞特徴データは、画像処理制御部６ａによって記憶部５に更新記録される。また、更新された細胞特徴データと細胞画像とは、分裂検出処理部２ｅに出力される。
【００６４】
つぎに、ステップＳ１０５の細胞分裂検出処理について説明する。ステップＳ１０５では、分裂検出処理部２ｅは、異なる観測時点に対応付けられた同一の追跡ラベルを持つ細胞特徴データのうち、輝度総和、輝度平均、面積および円形度と、これら細胞特徴量の変化量と、領域位置、重心位置および輪郭等の位置特徴量とを用いて、個々の細胞領域を「分裂レベルＬnum」に分類し、細胞分裂が発生したと判断される生細胞を示す細胞領域（以下、分裂細胞領域と呼ぶ。）を検出する。ここでは、添字とするレベル数numは、１≦num≦４を満足する整数とし、分裂検出処理部２ｅは、「分裂レベルＬ４」に振り分けられた細胞領域を分裂細胞領域として検出するものとして説明する。また、指標としての各分裂レベルは、細胞分裂により発現した娘細胞相当の生細胞を示す細胞領域に対して付与される。
【００６５】
図６は、細胞分裂検出処理の処理手順を示すフローチャートである。この図に示すように、細胞分裂検出処理は、７つの判断条件からなる一連の判断条件を用いて処理され、分裂検出処理部２ｅは、各判断条件が満たされるか否かによって、分裂細胞領域である可能性が高い細胞領域を段階的に絞り込んでいく。ここでは、分裂検出処理部２ｅは、輝度総和変化率条件、領域位置条件および円形度条件を満たす細胞領域を「分裂レベルＬ１」に振り分ける。また、「分裂レベルＬ１」に属する細胞領域のうち、変化量平均条件を満たす細胞領域を「分裂レベルＬ２」に振り分ける。さらに、「分裂レベルＬ２」に属する細胞領域のうち、新規領域発生条件および領域間最小距離条件を満たす細胞領域を「分裂レベルＬ３」に振り分ける。最後に、「分裂レベルＬ３」に属する細胞領域のうち、類似条件を満たす細胞領域を「分裂レベルＬ４」に振り分け、分裂細胞領域として検出する。
【００６６】
つづいて、図６を参照しながら、細胞分裂検出処理における各処理の詳細を説明する。まず、分裂検出処理部２ｅは、細胞分裂の前後で細胞領域の輝度総和の変化率が大きくなる特性に基づき、分裂細胞領域である可能性が高い細胞領域の選別を行う。すなわち、分裂検出処理部２ｅは、観測時点ｔp，ｔqにおいて追跡ラベルΩiをもつ細胞領域Ｒtp,Ωi，Ｒtq,Ωiの各々の輝度総和から輝度総和変化率ＶＲtq,Ωiを求める。ここで、添字としての変数ｐ，ｑは整数であり、ｐ＜ｑの関係にある。また、輝度総和変化率ＶＲtq,Ωiは、各細胞領域Ｒtp,Ωi，Ｒtq,Ωiの輝度総和Ｖtp,Ωi，Ｖtq,Ωiを用いて、次式（４）によって算出される。
ＶＲtq,Ωi＝Ｖtq,Ωi／Ｖtp,Ωi  ・・・（４）
【００６７】
細胞分裂では、分裂準備の最終段階でタンパクの生成が始まり、分裂時に２つの娘細胞に均等に分配される。例えば、図７は、観測時点ｔ4〜ｔ8において、追跡ラベルΩαを持つ細胞領域Ｒtk,Ωα（４≦ｋ≦８）を示す細胞画像である。図８は、細胞分裂前後の細胞領域Ｒtk,Ωα（１≦ｋ≦１０）の輝度総和を示すグラフである。図７および図８より、追跡ラベルΩαを持つ細胞領域は、観測時点ｔ6において、細胞領域Ｒt6,Ωα，Ｒt6,Ωβに分裂し、輝度総和が大きく減少したことが確認できる。なお、添字としての変数ｋは整数である。また、図７では、各細胞領域を識別するラベルを文字情報として細胞領域に付記している。
【００６８】
分裂検出処理部２ｅは、一連の観測時点の、追跡ラベルが付与されたすべての細胞領域を処理対象とし、この処理対象とした細胞領域である各対象細胞領域に対して順次、輝度総和変化率ＶＲtq,Ωiを算出するとともに、算出した輝度総和変化率ＶＲtq,Ωiが所定の輝度総和変化率範囲ＶＲange内にあるか否かを判断することで、輝度総和変化率条件が満たされるか否かの判断を行う。
【００６９】
このようにして、分裂検出処理部２ｅは、輝度総和変化率条件を満たす細胞領域を選別し（ステップＳ１１１）、輝度総和変化率ＶＲtq,Ωiが輝度総和変化率範囲ＶＲange内にある各細胞領域を、輝度総和変化率条件を満たす細胞領域とみなし、対象細胞領域として残す。一方、輝度総和変化率条件を満たさないと判断した細胞領域を対象細胞領域から除外する。ここで、輝度総和変化率範囲ＶＲangeは、個々の細胞領域の輝度総和が撮像条件や周囲細胞との位置関係の影響を受けやすいことを考慮して設定されるものであり、例えば０．４≦ＶＲange≦０．７とされる。
【００７０】
つぎに、分裂検出処理部２ｅは、輝度総和変化率条件を満たした各対象細胞領域について、その領域位置をもとに、分裂細胞領域である可能性が高い細胞領域をさらに絞り込む。すなわち、分裂検出処理部２ｅは、各対象細胞領域が細胞画像上で上下左右の端から縦方向に画素数Ｘ、横方向に画素数Ｙの周縁範囲内に存在するか否かを判断し、これによって領域位置条件を満たすか否かの判断を行う。ここで、画素数Ｘ，Ｙは、例えばＸ＝５、Ｙ＝５とされる。
【００７１】
このようにして、分裂検出処理部２ｅは、領域位置条件を満たす細胞領域を選別し（ステップＳ１１２）、周縁範囲内に存在しない細胞領域を、領域位置条件を満たす細胞領域とみなし、対象細胞領域として残す。一方、例えば図９に示す細胞領域Ｒtq,Ωoのように周縁範囲内に存在する細胞領域を、その領域の一部が写っていない可能性がある細胞領域として対象細胞領域から除外する。分裂検出処理部２ｅは、この除外した各細胞領域の細胞特徴データに、その原因を示す指標として原因ラベルを付加する。ステップＳ１１２では、領域位置条件が満たされなかったことを示す原因ラベルとして画像端情報ＩＭＥtq,Ωoを付加する。
【００７２】
つぎに、分裂検出処理部２ｅは、領域位置条件を満たした各対象細胞領域について、その円形度をもとに、分裂細胞領域である可能性が高い細胞領域をさらに絞り込む。生細胞は、細胞分裂が生じる前に収縮しながら球体に近づくため、その生細胞を示す細胞領域の円形度は大きくなる。分裂検出処理部２ｅは、この特性を利用して、細胞分裂が生じた可能性が高い細胞領域を選別する。
【００７３】
具体的には、分裂検出処理部２ｅは、観測時点ｔqにおいて追跡ラベルΩvを有する細胞領域Ｒtq、Ωvについて、観測時点ｔqよりも所定フレーム数ｃｆに対応する期間だけ前の観測時点ｔbから観測時点ｔqまでの各円形度Ｃirt(q-j),Ωv（ｊ＝１，２，…，ｃｆ）をもとに、次式（５）で示される最大円形度ＭaxＣirtq,Ωvを検出する。
ＭaxＣirtq,Ωv＝max（Ｃirt(q-j),Ωv） ・・・（５）
そして、分裂検出処理部２ｅは、検出した最大円形度ＭaxＣirtq,Ωvが所定の閾値ＣＴhより大きいか否かを判断し、これによって円形度条件を満たすか否かの判断を行う。ここで、フレーム数ｃｆおよび閾値ＣＴhは、例えばｃｆ＝５、ＣＴｈ＝０．７とされる。
【００７４】
このようにして、分裂検出処理部２ｅは、円形度条件を満たす細胞領域を選別し（ステップＳ１１３）、最大円形度ＭaxＣirtq,Ωvが閾値ＣＴhより大きい各細胞領域を、円形度条件を満たす細胞領域とみなし、対象細胞領域として残す。一方、円形度条件を満たさないと判断した細胞領域を対象細胞領域から除外する。分裂検出処理部２ｅは、この除外した各細胞領域の細胞特徴データに、円形度条件が満たされなかったことを示す原因ラベルとして円形度不足情報ＣirＥrrortq,Ωvを付加する。
【００７５】
ここで、観測時点ｔq，ｔbは、同じ追跡ラベルΩvをもつ細胞領域が存在する観測時点であればよい。つまり、撮像状態や周囲に存在する他の細胞領域との位置関係によって、連続していなくてもよい。この場合、フレーム数ｃｆは、追跡ラベルΩvをもつ細胞領域が存在するフレームを対象としてカウントしたフレーム数としてもよい。
【００７６】
分裂検出処理部２ｅは、上述したステップＳ１１１〜Ｓ１１３の結果、対象細胞領域として残した細胞領域を「分裂レベルＬ１」に振り分けるとともに、この各細胞領域の細胞特徴データに「分裂レベルＬ１」であることを示す指標として分裂ラベルＬ1を付加する（ステップＳ１１４）。また、この各細胞特徴データに、細胞分裂前の親細胞を示す親細胞領域としての細胞領域Ｒtp,Ωiと、細胞分裂後の娘細胞を示す娘細胞領域としての細胞領域Ｒtq,Ωiとの対応関係を示す指標である親子ラベルＧＴ(tp,Ωi),(tq,Ωi)を付加する。
【００７７】
ここで、認識ラベル、追跡ラベル、親子ラベル等の各種ラベルに対し、添字が複数付されている場合、左から第１添字、第２添字と呼ぶ。親子ラベルの第１添字(tp,Ωi)は、細胞分裂前に認識された観測時点ｔpと追跡ラベルΩiとを表し、第２添字(tq,Ωi)は、細胞分裂後に認識された観測時点ｔqと追跡ラベルΩiとを表したものであって、娘細胞領域に親細胞領域と同一の追跡ラベルが割り当てられたことを示している。また、追跡処理部２ｄによって分裂ラベル、親子ラベル、画像端情報または円形度不足情報が付加された各細胞特徴データは、画像処理制御部６ａによって記憶部５に出力され、更新記録される。
【００７８】
つぎに、分裂検出処理部２ｅは、「分裂レベルＬ１」に振り分けた各対象細胞領域について、所定の細胞特徴量の変化量平均をもとに、分裂細胞領域である可能性が高い細胞領域をさらに絞り込む。生細胞は、細胞分裂が生じる前に、輝度平均、面積および円形度について特徴的な変化傾向を示す。すなわち、輝度平均の変化は、蛍光タンパクの生成によって増加傾向を示し、面積の変化は、収縮によって減少傾向を示し、円形度の変化は、略球体への変形によって増加傾向を示す。分裂検出処理部２ｅは、これらの特性を利用して、分裂細胞領域である可能性が高い細胞領域を選別する。
【００７９】
そこでまず、分裂検出処理部２ｅは、観測時点ｔqにおいて追跡ラベルΩiを有する細胞領域Ｒtq、Ωiに対して、観測時点ｔqよりも所定フレーム数ｄｆに対応する期間だけ前の観測時点ｔcから観測時点ｔqまでについて、細胞領域が存在し、かつ経時的に並んでいる２フレームでの輝度平均ＶＡt(q-j),Ωi、面積Ｓt(q-j),Ωiおよび円形度Ｃirt(q-j),Ωiの変化量を求め、その平均値を算出する。輝度平均ＶＡt(q-j),Ωi、輝度平均の変化量平均Ａ_ＶＡtq,Ωi、面積の変化量平均Ａ_Ｓtq,Ωiおよび円形度の変化量平均Ａ_Ｃirtq,Ωiは、それぞれ次式（６）〜（９）を用いて算出される。ここで、変数ｊは整数であり、ｊ＝１，２，・・・，ｄｆである。
【数２】
2007327843.tif 000004
【００８０】
つづいて、分裂検出処理部２ｅは、算出した輝度平均の変化量平均Ａ_ＶＡtq,Ωi、面積の変化量平均Ａ_Ｓtq,Ωiおよび円形度の変化量平均Ａ_Ｃirtq,Ωiが、それぞれ次式（１０）〜（１２）に基づいて正負どちらであるかを判断することで、変化量平均条件が満たされるか否かの判断を行う。
Ａ_ＶＡtq,Ωi≧０                                            ・・・（１０）
Ａ_Ｓtq,Ωi≦０                                              ・・・（１１）
Ａ_Ｃirtq,Ωi≧０                                            ・・・（１２）
【００８１】
このようにして、分裂検出処理部２ｅは、変化量平均条件を満たす細胞領域を選別し（ステップＳ１１５）、式（１０）〜（１２）をすべて満足する細胞領域を、変化量平均条件を満たす細胞領域とみなし、対象細胞領域として残す。一方、変化量平均条件を満たさないと判断した細胞領域を対象細胞領域から除外する。また、分裂検出処理部２ｅは、対象細胞領域として残した細胞領域を「分裂レベルＬ２」に振り分けるとともに、その各細胞領域の細胞特徴データに「分裂レベルＬ２」であることを示す指標として分裂ラベルＬ2を付加する（ステップＳ１１６）。この分裂ラベルＬ2が付加された細胞特徴データは、画像処理制御部６ａによって記憶部５に出力され、更新記録される。
【００８２】
ところで、撮像時点と細胞分裂とのタイミングによっては、輝度総和、面積および円形度等の細胞特徴量が大きく変化する様子を観測画像に捉えられない場合がある。その場合、輝度総和、面積および円形度の変化はわずかとなる。このため、分裂検出処理部２ｅは、式（７）〜（９）で示される各変化量平均の「±０」付近の値に対して誤差範囲を設け、式（７）〜（９）によって算出した結果がこの誤差範囲内に入る場合、各変化量平均の値を「０」とする。
【００８３】
ここで、誤差範囲は、各細胞特徴量の平均に対する所定の割合Ｅrateによって決定する。輝度平均の平均Λ_ＶＡves、面積の平均Λ_ＳＡvesおよび円形度Λ_ＣＡvesの平均は、それぞれ次式（１３）〜（１５）によって算出される。
【数３】
2007327843.tif 000005
また、輝度平均の平均に対する誤差範囲ＥＶtq,Ωi、面積平均に対する誤差範囲ＥＳtq,Ωiおよび円形度平均に対する誤差範囲ＥＣtq,Ωiは、それぞれ次式（１６）〜（１８）によって算出される。割合Ｅrateは、例えばＥrate＝０．００５とされ、これによって誤差範囲は、各細胞特徴量の平均の０．５％に設定される。
ＥＶtq,Ωi＝（Λ_ＶＡves）×Ｅrate                            ・・・（１６）
ＥＳtq,Ωi＝（Λ_ＳＡves）×Ｅrate                            ・・・（１７）
ＥＣtq,Ωi＝（Λ_ＣＡves）×Ｅrate                            ・・・（１８）
【００８４】
分裂検出処理部２ｅは、式（７）〜（９）を用いて算出した輝度平均の変化量平均Ａ_ＶＡtq,Ωi、面積の変化量平均Ａ_Ｓtq,Ωiおよび円形度の変化量平均Ａ_Ｃirtq,Ωiに対し、それぞれ式（１３）〜（１５）および式（１６）〜（１８）を用い、次式（１９）〜（２１）に基づいて誤差判定を行って、観測時点ｔqにおける各変化量平均を最終的に求める。
if  ｜Ａ_ＶＡtq,Ωi｜＜ＥＶtq,Ωi  then  Ａ_ＶＡtq,Ωi＝０ ・・・（１９）
if  ｜Ａ_Ｓtq,Ωi｜＜ＥＳtq,Ωi  then  Ａ_Ｓtq,Ωi＝０  ・・・（２０）
if  ｜Ａ_Ｃirtq,Ωi｜＜ＥＣtq,Ωi  then  Ａ_Ｃirtq,Ωi＝０  ・・・（２１）
【００８５】
つぎに、分裂検出処理部２ｅは、「分裂レベルＬ２」に振り分けた各対象細胞領域について、対となる娘細胞領域が存在するか否かによって、分裂細胞領域である可能性が高い細胞領域をさらに絞り込む。ここで、分裂検出処理部２ｅは、細胞分裂が発生したとみられる観測時点に新しく発現した新規細胞領域があるか否かによって、対となる娘細胞の存在の有無を判断し、分裂細胞領域である可能性が高い細胞領域を選別する。
【００８６】
具体的には、分裂検出処理部２ｅは、「分裂レベルＬ２」に振り分けた細胞領域Ｒth,Ωφについて、追跡開始の観測時点ｔ0から観測時点ｔ(h-1)までの追跡細胞総数totalt0,t(h-1)と、観測時点ｔ0から観測時点ｔhまでの追跡細胞総数totalt0,thとを用い、観測時点ｔhで発現した新規細胞領域の数を示す新規領域数ＮewＲt(h-1),thが次式（２２）に示す条件を満たすか否かを判断し、これによって新規領域発生条件が満たされるか否かの判断を行う。なお、新規細胞領域に付与される新規の追跡ラベルΩnewについて、その添字としての変数newは、次式（２３）を満たすことになる。
ＮewＲt(h-1),th＝totalt0,th−totalt0,t(h-1)＞０  ・・・（２２）
（totalt0,t(h-1)＋１）≦new≦totalt0,th  ・・・（２３）
【００８７】
このようにして、分裂検出処理部２ｅは、新規領域発生条件を満たす細胞領域を選別し（ステップＳ１１７）、式（２２）を満たす各細胞領域を、新規領域発生条件を満たす細胞領域とみなし、対象細胞領域として残す。一方、新規領域発生条件を満たさないと判断した細胞領域を対象細胞領域から除外する。分裂検出処理部２ｅは、この除外した各細胞領域の細胞特徴データに、新規領域発生条件が満たされなかったことを示す原因ラベルとして新規領域無し情報ＮewＥrrorth,Ωφを付加する。新規領域無し情報ＮewＥrrorth,Ωφが付加された各細胞特徴データは、画像処理制御部６ａによって記憶部５に出力され、更新記録される。
【００８８】
なお、新規領域発生条件は過検出なく細胞分裂の可能性が高い細胞領域を検出するための判断条件である。一方で撮像状態や周囲細胞との位置関係により新規細胞領域が認識されない場合にも適応させるには、過検出の可能性が増えるが、この新規領域発生条件に基づく細胞領域の選別処理を省略してもよい。
【００８９】
つぎに、分裂検出処理部２ｅは、新規領域発生条件を満たした各対象細胞領域について、対象細胞領域と新規細胞領域との位置関係をもとに、分裂細胞領域である可能性が高い細胞領域をさらに絞り込む。ここでまず、分裂検出処理部２ｅは、観測時点ｔqにおける対象細胞領域であって追跡ラベルΩiをもつ細胞領域Ｒtq,Ωiに対し、細胞分裂直前に相当する観測時点ｔpにおいて同一の追跡ラベルΩiをもつ細胞領域Ｒtp,Ωiを楕円近似する。楕円近似の方法は、周知の方法を利用することが可能であり、ここでは主成分分析による近似方法を用いることとする。
【００９０】
細胞領域Ｒtp,Ωiの分散・共分散行列Ｍtp,Ωiは、細胞領域Ｒtp,Ωiの重心ｇtp,Ωiと画素ｐtp,Ωi,k（ｋ＝１，２，・・・，num）とを用い、次式（２４）によって演算される。ここで、重心ｇtp,Ωiと画素ｐtp,Ωi,kとは、それぞれ式（２５），（２６）によって表わされる。また、変数numは、細胞領域Ｒtp,Ωiを構成する画素数を示す整数である。なお、式（２４）に示した上付きの指標Ｔは、この指標を付した行列を転置行列に変換することを示す。
【数４】
2007327843.tif 000006
【００９１】
分裂検出処理部２ｅは、この行列Ｍtp,Ωiについて主成分分析を行い、次式（２７），（２８）によって第１主成分ｅtp,Ωiを求め、求めた第１主成分ｅtp,Ωiを細胞領域Ｒtq,Ωiの長軸Ｌatp,Ωiとする。
ｅtp,Ωi＝ａ11・cos2θ＋２cosθ・sinθ＋ａ22・sin2θ  ・・・（２７）
θ＝(１／２)・tan-1(２ａ12／(ａ11−ａ22))  ・・・（２８）
【００９２】
図１０は、観測時点ｔp，ｔqにおける細胞領域Ｒtp,Ωi，Ｒtq,Ωiの細胞画像を示ず図である。また、図１１−１〜図１１−３は、楕円近似する様子を示した図であり、図１１−１は細胞画像、図１１−２は細胞領域Ｒtp,Ωiを楕円近似した結果、図１１−３は細胞画像と楕円近似した結果とを重畳した様子をそれぞれ示している。なお、図１０および図１１−１〜図１１−３に示す画像では、細胞領域を識別するラベル、近似した楕円の長軸を示すラベル等を文字情報として付記している。
【００９３】
つづいて、分裂検出処理部２ｅは、観測時点ｔqで新たに発現した追跡ラベルΩnewをもつ新規細胞領域Ｒtq,Ωnewの輪郭を構成する各画素ＣontourＰtq,Ωnew,k（ｋ＝１，２，・・・τ）について、細胞領域Ｒtq,Ωiの重心ｇtq,Ωiとの距離Δkを算出し、その最小値を示す最小距離δtq,Ωi,Ωnewを求める。ここで、距離Δkは、式（３０），（３１）によって各々表される重心ｇtq,Ωiと画素ＣontourＰtq,Ωnew,kとを用いて、式（２９）により算出される。また、最小距離δtq,Ωi,Ωnewは、式（３２）に基づいて求められる。
【数５】
2007327843.tif 000007
δtq,Ωi,Ωnew＝min(Δk)   ・・・（３２）
図１２は、以上のように楕円近似して得られた細胞領域Ｒtp,Ωiの長軸Ｌatp,Ωiと、最小距離δtq,Ωi,Ωnewとを示している。
【００９４】
分裂検出処理部２ｅは、以上の演算結果をもとに、最小距離δtq,Ωi,Ωnewが細胞領域Ｒtp,Ωiの長軸Ｌatp,Ωi以下であるか否かを判断し、これによって領域間最小距離条件が満たされるか否かの判断を行う。このようにして、分裂検出処理部２ｅは、領域間最小距離条件を満たす細胞領域の選別を行い（ステップＳ１１８）、最小距離δtq,Ωi,Ωnewが長軸Ｌatp,Ωi以下である細胞領域Ｒtq,Ωiを、領域間最小距離条件を満たす細胞領域とみなし、対象細胞領域として残す。一方、領域間最小距離条件を満たさないと判断した細胞領域を対象細胞領域から除外する。
【００９５】
また、分裂検出処理部２ｅは、対象細胞領域として残した細胞領域Ｒtq,Ωiを「分裂レベルＬ３」に振り分けるとともに、その各細胞領域の細胞特徴データに「分裂レベルＬ３」であることを示す指標として分裂ラベルＬ3を付加する（ステップＳ１１９）。さらに、分裂検出処理部２ｅは、新規細胞領域Ｒtq,Ωnewの細胞特徴データに対し、細胞領域Ｒtq,Ωiが示す生細胞の親細胞から発生したもう一方の娘細胞を示す娘細胞領域であることを示す指標として親子ラベルＧＴ(tp,Ωi),(tq,Ωnew)を付加する。分裂ラベルＬ3または親子ラベルＧＴ(tp,Ωi),(tq,Ωnew)が付加された細胞特徴データは、画像処理制御部６ａによって記憶部５に出力され、更新記録される。
【００９６】
なお、対象細胞領域と新規細胞領域との位置関係は、最小距離と併せて対象細胞領域の長軸方向に基づいて判定を行ってもよい。細胞分裂直前の観測時点ｔpの細胞領域Ｒtp,Ωi'の長軸方向に新しく発現した新規細胞領域に対して、細胞領域Ｒtp,Ωi'との距離が最小となる細胞領域Ｒtq,Ωi"を検出し、この最小距離δtq,Ωi',Ωi"が所定閾値以下ならば、細胞領域Ｒtq,Ωi"を「分裂レベルＬ３」に振り分ける。また、細胞領域Ｒtq,Ωi"を、細胞領域Ｒtp,Ωi'が示す生細胞から発生したもう一方の娘細胞を示す娘細胞領域であるものとする。この他にも、細胞分裂直前に微小管が形成する２つの紡錘体を結ぶ方向に基づいて判定を行ってもよい。この場合、観測対象の生細胞は、あらかじめ微小管を識別できるように標識しておくとよい。
【００９７】
つぎに、分裂検出処理部２ｅは、「分裂レベルＬ３」に振り分けた各対象細胞領域について、対となる娘細胞を示す娘細胞領域としての新規細胞領域に対する類似度をもとに、分裂細胞領域である可能性が高い細胞領域をさらに絞り込む。具体的には、分裂検出処理部２ｅは、まず観測時点ｔqにおける細胞領域Ｒtq,Ωiの輝度平均ＶＡtq,Ωi、面積Ｓtq,Ωiおよび円形度Ｃirtq,Ωiと、新規細胞領域Ｒtq,Ωnewの輝度平均ＶＡtq,Ωnew、面積Ｓtq,Ωnewおよび円形度Ｃirtq,Ωnewとを用い、この各細胞特徴量の細胞領域間の比率を次式（３３）〜（３５）によって算出する。
rate_ＶＡtq,Ωi,Ωnew＝ＶＡtq,Ωnew／ＶＡtq,Ωi  ・・・（３３）
rate_Ｓtq,Ωi,Ωnew＝Ｓtq,Ωnew／Ｓtq,Ωi  ・・・（３４）
rate_Ｃirtq,Ωi,Ωnew＝Ｃirtq,Ωnew／Ｃirtq,Ωi  ・・・（３５）
【００９８】
つづいて、分裂検出処理部２ｅは、この演算結果をもとに、細胞領域Ｒtq,Ωiと新規細胞領域Ｒtq,Ωnewとの類似度Ｓimtq,Ωi,Ωnewを、各細胞特徴量の比率の平均値として次式（３６）によって算出する。
Ｓimtq,Ωi,Ωnew＝（rate_ＶＡtq,Ωi,Ωnew＋rate_Ｓtq,Ωi,Ωnew＋rate_Ｃirtq,Ωi,Ωnew）／３    ・・・（３６）
その後、分裂検出処理部２ｅは、類似度Ｓimtq,Ωi,Ωnewが所定閾値Ｓim_Ｔhの範囲内にあるか否かを判断し、これによって類似条件が満たされるか否かの判断を行う。ここで、所定閾値Ｓim_Ｔhは、例えば０．７≦Ｓim_Ｔh≦１．３とされる。
【００９９】
このようにして、分裂検出処理部２ｅは、類似条件を満たす細胞領域の選別を行い（ステップＳ１２０）、類似度Ｓimtq,Ωi,Ωnewが所定閾値Ｓim_Ｔhの範囲内にある細胞領域Ｒtq,Ωiを、類似条件を満たす細胞領域とみなし、対象細胞領域として残す。一方、類似条件を満たさないと判断した細胞領域を対象細胞領域から除外する。また、分裂検出処理部２ｅは、対象細胞領域として残した細胞領域Ｒtq,Ωiを「分裂レベルＬ４」に振り分けるとともに、その各細胞領域の細胞特徴データに「分裂レベルＬ４」であることを示す指標として分裂ラベルＬ4を付加する（ステップＳ１２１）。最終的に、分裂検出処理部２ｅは、この「分裂レベルＬ４」に振り分けた各細胞領域を分裂細胞領域として検出する。分裂ラベルＬ4が付加された細胞特徴データは、画像処理制御部６ａによって記憶部５に出力され、更新記録される。
【０１００】
以上のようにしてステップＳ１０５の細胞分裂検出処理を行うことで、画像処理装置１では、分裂細胞領域を特定して検出することができるとともに、細胞特徴データに記録された親子ラベルから、異なる観測時点で観測画像に記録された生細胞の親子関係を知ることができる。
【０１０１】
なお、分裂検出処理部２ｅは、図６に示した細胞分裂検出処理の処理手順において、対象細胞領域が示す生細胞の撮像状態等に応じ、一部の判断条件に対応する処理を省略することができる。例えば、観測画像中に写された細胞数が少なく、密集していない状態で、生細胞の形状が鮮明に映し出されているような場合には、変化量平均条件に基づく細胞領域の選別処理（ステップＳ１１５）を省略することができる。これによって、分裂検出処理部２ｅは、検出精度を落とすことなく細胞分裂検出処理を高速化することができる。
【０１０２】
また、分裂検出処理部２ｅは、対象細胞領域が示す生細胞の撮像状態等に応じて、分裂レベルのレベル数を増減させることができる。例えば、観測画像中に記録された生細胞が密集していない場合には、「分裂レベルＬnum」のレベル数numを１≦num≦３とし、「分裂レベルＬ３」に振り分けた細胞領域を分裂細胞領域として検出することができる。つまり、「分裂レベルＬ４」に振り分けるための類似条件に基づいた細胞領域の選別を行わず、領域間最小距離条件を最終判断条件として細胞分裂検出処理を行うことができる。
【０１０３】
つぎに、ステップＳ１０６の系譜生成処理について説明する。ステップＳ１０６では、系譜生成処理部２ｆは、各細胞領域の細胞特徴データに記録された親子ラベルを参照して生細胞の系譜を生成する。そこでまず、系譜生成処理部２ｆは、観測時点ｔqの「分裂レベルＬ４」に振り分けられた細胞領域Ｒtq,Ωiが親子ラベルＧＴ(tp,Ωi),(tq,Ωi)をもつ場合、親細胞の情報を示す第１添字(tp,Ωi)をもつ親子ラベルを、観測時点ｔpに属する細胞特徴データから検索する。
【０１０４】
そして、親子ラベルＧＴ(tp,Ωi),(tq,Ωnew)を検出した場合、系譜生成処理部２ｆは、娘細胞の情報を示す第２添字(tq,Ωnew)をもとに、もう一方の娘細胞を示す娘細胞領域として細胞領域Ｒtq,Ωnewを検出する。その後、系譜生成処理部２ｆは、この親細胞領域Ｒtp,Ωiと娘細胞領域Ｒtq,Ωi，Ｒtq,Ωnewとの親子関係を示す系譜情報を、親細胞領域Ｒtp,Ωiの細胞特徴データに付加する。系譜情報が付加された細胞特徴データは、画像処理制御部６ａによって記憶部５に出力され、更新記録される。
【０１０５】
ここで、系譜情報は、系譜ラベルＴree、第１娘細胞ラベルdaughter_1および第２娘細胞ラベルdaughter_2の３個ラベルを用いて構成される。系譜ラベルＴreeは、親細胞領域に対して「分裂レベルＬ４」の娘細胞領域が対応付けられている場合、細胞分裂が起こった時点とされる観測時点ｔqを値としてもち（Ｔree＝ｔq）、それ以外の場合には、「０」を値としてもつ（Ｔree＝０）。
【０１０６】
また、系譜ラベルＴreeが「０」でない場合、第１娘細胞ラベルdaughter_1および第２娘細胞ラベルdaughter_2は、それぞれ娘細胞領域の認識ラベルＲtq,Ωi，Ｒtq,Ωnewを値としてもつ（daughter_1＝Ｒtq,Ωi、daughter_2＝Ｒtq,Ωnew）。つまり、第１娘細胞ラベルdaughter_1は、親細胞領域の追跡ラベルを引き継いだ娘細胞領域の認識ラベルをもち、第２娘細胞ラベルdaughter_2は、新しく発現した娘細胞領域の認識ラベルをもつ。一方、系譜ラベルＴreeが「０」の場合、第１娘細胞ラベルdaughter_1および第２娘細胞ラベルdaughter_2も共に「０」とする。
【０１０７】
つぎに、ステップＳ１０７の結果表示処理について説明する。ステップＳ１０７では、画像表示制御部６ｂは、記憶部５に記憶された一連の観測時点の観測画像、処理画像、細胞特徴データ等から表示用データを生成する。表示用データは、細胞領域や追跡した結果などを確認するために必要な表示画像と、系譜情報と、細胞特徴データとによって構成される。画像表示制御部６ｂは、生成した表示用データを表示部３に出力して表示させる。
【０１０８】
図１３は、細胞領域を表示する表示画像としての細胞表示画像Ｉcellの一例を示す図である。この図に示すように、画像表示制御部６ｂは、細胞表示画像Ｉcellにおいて、例えば細胞領域ごとに表示パターンを異ならせて表示する。この他、表示輝度、輪郭線種等を異ならせて表示することもできる。また、図１４は、細胞表示画像Ｉcellの他の一例を示す図である。この図に示すように、画像表示制御部６ｂは、認識ラベルを文字情報として各細胞領域に対応付けて付記することもできる。
【０１０９】
これら以外にも、画像表示制御部６ｂは、例えば観測画像と処理画像とを重畳した重畳画像、複数の観測時点の細胞画像を時系列にしたがって重畳した重畳細胞画像等を表示させることができる。重畳画像における観測画像では、目視では認識できない細胞領域の明るさを調整して可視化することもできる。重畳細胞画像では、観測時点ごとに表示方法を異ならせることで、経時的な変化を視覚的に区別可能なように表示することもできる。
【０１１０】
一方、画像表示制御部６ｂは、細胞分裂が生じた生細胞の系譜を、例えば図１５に示すように、樹形図状に表示する。図１５は、系譜ラベルＴree＝ｔqである細胞領域Ｒtp,Ωiの系譜を示している。この図に示すように、画像表示制御部６ｂは、系譜のルートに親細胞領域Ｒtp,Ωiの認識ラベルを、端点に娘細胞領域Ｒtq,Ωi，Ｒtq,Ωnewの認識ラベルを示す。
【０１１１】
また、画像表示制御部６ｂは、細胞特徴データを一覧表示することができるほか、例えば、輝度総和および面積等の経時的に変化する細胞特徴量について、横軸に時間、縦軸に特徴量の大きさを示すチャートとして表示することができる。
【０１１２】
画像表示制御部６ｂは、このよう表示部３に表示させる表示用データを、表示項目選択情報に応じて生成する。表示項目選択情報は、表示項目選択部４ｂから入力されるごとに随時更新され、画像表示制御部６ｂは、かかる表示項目選択情報に応じて表示用データを適宜更新する。
【０１１３】
また、画像表示制御部６ｂは、例えばマウスを用いて入力部４から入力される観測者からの選択情報に応じて、表示画像中で確認したい細胞領域を強調表示し、それに対応する系譜情報または細胞特徴データの表やチャートのうち任意の表示用データを同期させて表示することができる。この場合、観測者等が表示画像中の細胞領域または系譜の端点やルート、細胞特徴データの表やチャートのうち少なくとも１つを選択した場合、選択された対象と共に、対応するほかの表示用データも強調表示することができる。また選択された少なくとも１つの表示用データに対応する細胞領域に関し、系譜上の親や子、祖先、子孫を併せて強調することにより、親子関係を一目で把握することができる。
【０１１４】
以上説明したように、本実施の形態１にかかる画像処理装置１では、複数の観測時点で撮像され、経時的に生細胞が記録された一連の観測画像に対し、個々の生細胞を示す細胞領域を認識し、同一の生細胞を示す細胞領域を一連の観測時点に渡って追跡することができるとともに、分裂細胞領域を正確に特定して検出することができる。また、観測画像、処理画像、細胞特徴データ、系譜等の細胞領域に関する種々の情報を、観測時点ごと、および生細胞ごとに識別可能に表示することができる。
【０１１５】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本実施の形態２では、上述した実施の形態１と同様に観測画像を処理した上で、さらに、複数の分裂レベルに分類した細胞領域の分類結果を観測者等の判断により修正できるようにしている。
【０１１６】
図１６は、本実施の形態２にかかる画像処理装置１１の構成を示すブロック図である。この図に示すように、画像処理装置１１は、画像処理装置１の構成をもとに、画像処理部２、入力部４および制御部６に替えて、画像処理部１２、入力部１４および制御部１６を備える。画像処理部１２は、画像処理部２の構成に加えて分類図生成処理部１２ｇおよび分裂レベル修正処理部１２ｈを備え、入力部１４は、入力部４の構成に加えて修正指示入力部１４ｃを備える。また、制御部１６は、制御部６と同様に画像処理制御部１６ａおよび画像表示制御部１６ｂを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【０１１７】
分類図生成処理部１２ｇは、分裂検出処理部２ｅの検出結果をもとに、「分裂レベルＬ１」〜「分裂レベルＬ４」に振り分けられた各細胞領域を、その分裂レベルごとに分類して示す分裂レベル分類図を生成する。分裂レベル分類図は、画像表示制御部１６ｂによって表示部３に出力され、表示される。
【０１１８】
分裂レベル修正処理部１２ｈは、修正指示入力部１４ｃから入力される分裂レベル修正指示情報をもとに、各細胞領域の細胞特徴データに記録された分裂ラベルＬ1〜Ｌ4を、細胞領域ごとに修正して更新する。分裂レベル修正指示情報は、例えば表示部３に表示された分裂レベル分類図等を参照した観測者等によって、修正指示入力部１４ｃから入力される。
【０１１９】
画像処理制御部１６ａは、画像処理制御部６ａと同様に、画像処理部１２が行う画像処理および画像処理部１２に対する各種情報の入出力処理の制御を行う。また、画像表示制御部１６ｂは、画像表示制御部６ｂと同様に、画像処理部１２が処理した各種情報を表示部３に表示させる制御を行う。
【０１２０】
ここで、画像処理装置１１が行う処理手順について説明する。図１７は、制御部１６が画像処理プログラムを実行することによって、画像処理装置１１が一連の観測画像を処理する処理手順を示すフローチャートである。この図に示すステップＳ２０１〜ステップＳ２０５は、図３に示したステップＳ１０１〜Ｓ１０５と同様に処理が行われる。
【０１２１】
その後、ステップＳ２０６の分類図生成処理では、分類図生成処理部１２ｇは、各細胞領域の細胞特徴データをもとに、分裂ラベルＬ1〜Ｌ4ごとに細胞領域の追跡ラベルを分類し、分裂レベル分類図Ｃmapを生成する。分裂レベル分類図Ｃmapは、例えば図１８に示すように、分裂検出処理部２ｅが振り分けた「分裂レベルＬnum」（１≦num≦４）ごとに、各細胞領域の追跡ラベルをグループ化し、グループ化した各追跡ラベルを文字情報として表示する。ここで、各「分裂レベルＬnum」ごとに分類されたグループを「クラス」と呼び、この各クラスを、分裂レベル名を冠したクラス名によって識別することとする。
【０１２２】
つづいて、ステップＳ２０７の分裂レベル修正処理では、まず画像表示制御部１６ｂは、分裂レベル分類図Ｃmapを表示部３に出力して表示させ、画像処理制御部１６ａは、修正指示入力部１４ｃから分裂レベル修正指示情報が入力されるまで待機する。この間、画像表示制御部１６ｂは、観測者等によって表示項目選択部４ｂから入力される表示項目選択情報に応じて表示用データを生成し、表示部３に表示させることができる。これによって、観測者等は、所望の細胞領域の表示画像、細胞特徴データおよび系譜情報等を表示部３に表示させ、確認することができる。その際、観測者等は、表示項目選択情報によって、細胞領域ごと、あるいは「分裂レベルＬnumクラス」（１≦num≦４）ごとに、所望する細胞領域を選択することができる。
【０１２３】
その後、修正指示入力部１４ｃから分裂レベル修正指示情報が入力された場合、分裂レベル修正処理部１２ｈは、その分裂レベル修正指示情報が示す修正内容に応じて、指定された細胞領域の細胞特徴データを修正して更新する。具体的には、例えば「分裂レベルＬ３クラス」に分類されている細胞領域Ｒtu,Ωξを「分裂レベルＬ４クラス」に移行させる旨の分裂レベル修正指示情報が入力された場合、分裂レベル修正処理部１２ｈは、細胞領域Ｒtu,Ωξの細胞特徴データに記録されている分裂ラベルＬ3を分裂ラベルＬ4に修正するとともに、細胞領域Ｒtu,Ωξに対応する親細胞領域Ｒtu',Ωξの細胞特徴データに親子ラベルＧＴ(tu',Ωξ),( tu,Ωξ)を付加する。ここで、親細胞領域Ｒtu',Ωξは、追跡ラベルΩξをもつ細胞領域のうち、細胞領域Ｒtu,Ωξより前の観測時点で観測時点ｔuに一番近い観測時点に存在していた細胞領域となる。なお、添字としての変数ｕ，ｕ’およびξは整数である。
【０１２４】
また、例えば「分裂レベルＬ４クラス」に分類されている細胞領域を「分裂レベルＬ３クラス」に移行させる旨の分裂修正指示情報が入力された場合には、分裂レベル修正処理部１２ｈは、その細胞領域の細胞特徴データに記録された分裂ラベルＬ4を分裂ラベルＬ3に修正するとともに、かかる修正が行われたことを示す原因ラベルを新たに付加する。
【０１２５】
なお、観測者等は、例えば入力部１４が備えるマウス等を用い、表示部３に表示された分裂レベル分類図Ｃmap上で、所望する細胞領域の追跡ラベルを異なるクラス上にドラッグ＆ドロップして移動させることによって、分裂修正指示情報を入力することができる。
【０１２６】
つづいて、ステップＳ２０８の系譜生成処理では、系譜生成処理部２ｆは、ステップＳ２０７によって修正された細胞特徴データに基づき、ステップＳ１０６と同様に系譜情報を生成する。さらに、ステップＳ２０９の結果表示処理では、画像表示制御部１６ｂは、ステップＳ１０７と同様に表示用データを生成して表示部３に表示させる。
【０１２７】
以上説明したように、本実施の形態２にかかる画像処理装置１１では、細胞分裂検出処理によって分類された各細胞領域の所属クラスを、分裂レベル修正指示情報に基づいて変更することができるとともに、その変更に応じて自動的に細胞特徴データを修正し、更新することができる。これにより、例えば観測者の判断を反映させて分裂細胞領域の検出を行うことが可能であり、より正確に分裂細胞領域を検出することができる。
【０１２８】
（実施の形態３）
つぎに、本発明の実施の形態３について説明する。上述した実施の形態１および２では、観測画像として蛍光画像、位相差画像等を処理するものとしていたが、本実施の形態３では、位相差画像およびそれに類似する画像に特化して処理を行うようにしている。
【０１２９】
図１９は、本実施の形態３にかかる画像処理装置２１の構成を示すブロック図である。この図に示すように、画像処理装置２１は、画像処理装置１１の構成をもとに、画像処理部１２に替えて、画像処理部２２を備える。画像処理部２２は、画像処理部２２の構成をもとに、認識処理部２ｂおよび分裂検出処理部２ｅに替えて、認識処理部２２ｂおよび分裂検出処理部２２ｅを備える。その他の構成は、実施の形態２と同じであり、同一構成部分には同一符号を付している。
【０１３０】
画像処理装置２１は、画像処理装置１１と同様に、図１７に示した処理手順にしたがって一連の観測画像を処理する。ただし、画像処理装置２１では、観測画像として位相差画像もしくはそれに類似する画像を処理するため、細胞認識処理（ステップＳ２０２）と細胞分裂検出処理（ステップＳ２０５）において、画像処理装置１１と異なる処理を行う。以下、この点について詳細に説明する。
【０１３１】
細胞認識処理では、認識処理部２２ｂは、観測画像中、生細胞の存在する領域の輝度値が背景とは異なる輝度値として観察されるため、所定の閾値をもとに細胞領域に該当する画素を抽出し、細胞領域を認識する。すなわち、まず認識処理部２２ｂは、観測画像内の各画素について代表的な背景の輝度値Ｖbackとの差を求め、その差が所定の閾値Ｔh_Ｖより大きな画素のみを抽出する。具体的には、観測画像中の画素Ｑの輝度値ＶQを用い、次式（３７）を満たす場合に画素Ｑを細胞領域に該当する画素として抽出する。
ＶQ−Ｖback＞Ｔh_Ｖ                                          ・・・（３７）
その後、認識処理部２２ｂは、抽出した画素について、周知のラベリング処理を行い、隣接する画素を統合することにより、細胞領域を認識する。
【０１３２】
細胞分裂検出処理では、分裂検出処理部２２ｅは、実施の形態１および２の細胞分裂検出処理手順をもとに、細胞領域の輝度情報に基づく判断処理を省略して、各細胞領域を「分裂レベルＬnum」（１≦num≦４）に振り分ける。図２０は、その細胞領域処理手順を示すフローチャートである。
【０１３３】
図２０に示すように、まず分裂検出処理部２２ｅは、図６に示したステップＳ２０１に相当する輝度総和変化率条件に基づいた細胞領域の選別処理を省略し、領域位置条件および円形度条件に基づいた細胞領域の選別処理によって、分裂細胞領域である可能性が高い細胞領域を「分裂レベルＬ１」に振り分ける。ここで、図２０に示すステップＳ３１２〜Ｓ３１４は、図６に示したステップＳ１１２〜１１４と同様に行われる。
【０１３４】
つづいて、ステップＳ３１５，Ｓ３１６では、分裂検出処理部２２ｅは、ステップＳ１１５，Ｓ１１６における処理をもとに、輝度平均、輝度平均の変化量平均、輝度平均の平均等、輝度情報を用いた判断処理を省略して変化量平均条件を満たす細胞領域を選別し、選別した各細胞領域を「分裂レベルＬ２」に振り分ける。
【０１３５】
その後、分裂検出処理部２２ｅは、ステップＳ３１７〜Ｓ３１９をステップＳ１１７〜Ｓ１１９と同様に処理し、新規領域発生条件および領域間最小距離条件を満たす細胞領域を「分裂レベルＬ３」に振り分ける。
【０１３６】
最後に、ステップＳ３２０，Ｓ３２１では、分裂検出処理部２２ｅは、ステップＳ１２０，Ｓ１２１における処理をもとに、輝度平均を省略して算出される類似度を用いて、類似条件を満たす細胞領域を選別し、選別した各細胞領域を「分裂レベルＬ４」に振り分けるとともに、分裂細胞領域として検出する。
【０１３７】
位相差画像は、コントラストが高い画像であって細胞形状の情報を正確に捉えることが可能な画像である。このため、分裂検出処理部２２ｅは、以上のように輝度情報を用いずに細胞分裂検出処理を行っても、正確に分裂細胞領域を検出することができる。また、輝度情報を用いた処理を省略することで、処理負荷を軽減して高速に細胞分裂検出処理を行うことができる。
【０１３８】
ここまで、本発明を実施する最良の形態を実施の形態１〜３として説明したが、本発明は、上述した実施の形態１〜３に限定されず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
【０１３９】
例えば、上述した実施の形態１〜３では、分裂検出処理部２ｅ，２２ｅは、細胞分裂検出処理において、判断条件ごとにすべての対象細胞領域を処理して選別し、分裂レベルに応じて段階的に対象細胞領域を絞り込むものとして説明したが、対象細胞領域ごとに一連の判断条件を処理し、各対象細胞領域を順次分裂レベルに振り分けることもできる。
【０１４０】
ところで、上述した実施の形態１〜３において画像処理装置１，１１，２１が処理するものとして説明した画素値は、観測画像の形態に応じて、輝度値、濃淡値、階調値または強度値等が適宜選択される。さらに、画像処理装置１，１１，２１が処理するものとして説明した輝度値は、観測画像の形態に応じて、濃淡値、階調値、強度値等に適宜置き換えて解釈することができる。
【０１４１】
また、上述した実施の形態１〜３において画像処理部２，１２，２２が付与するものとして説明した各種ラベルは、細胞領域ごとに固有のものであれば、番号、アルファベット、記号等を用いた任意の表記でよい。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】画像処理装置に入力される観測画像の一例を示す図である。
【図３】画像処理装置が行う処理手順を示すフローチャートである。
【図４−１】平滑化処理の処理手法を説明する図である。
【図４−２】平滑化処理の処理手法を説明する図である。
【図４−３】平滑化処理の処理手法を説明する図である。
【図４−４】平滑化処理の処理手法を説明する図である。
【図４−５】平滑化処理の処理手法を説明する図である。
【図４−６】平滑化処理の処理手法を説明する図である。
【図４−７】平滑化処理の処理手法を説明する図である。
【図４−８】平滑化処理の処理手法を説明する図である。
【図４−９】平滑化処理の処理手法を説明する図である。
【図５】鮮鋭化フィルタを示す図である。
【図６】細胞分裂検出処理の処理手順を示すフローチャートである。
【図７】細胞分裂が生じた細胞領域を示す細胞画像を例示する図である。
【図８】輝度総和の経時変化の一例を示すグラフである。
【図９】領域位置条件を説明する図である。
【図１０】細胞分裂が生じた細胞領域を示す細胞画像を例示する図である。
【図１１−１】細胞領域を楕円近似する処理を説明する図である。
【図１１−２】細胞領域を楕円近似する処理を説明する図である。
【図１１−３】細胞領域を楕円近似する処理を説明する図である。
【図１２】新規領域発生条件に基づく判断処理を説明する図である。
【図１３】細胞表示画像の一例を示す図である。
【図１４】細胞表示画像の一例を示す図である。
【図１５】系譜の一例を示す図である。
【図１６】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図１７】画像処理装置が行う処理手順を示すフローチャートである。
【図１８】分裂レベル分類図の一例を示す図である。
【図１９】本発明の実施の形態３にかかる画像処理装置の構成を示すブロック図である。を示す図である。
【図２０】細胞分裂検出処理の処理手順を示すフローチャートである。
【符号の説明】
【０１４３】
１，１１，２１    画像処理装置
２    画像処理部
２ａ    前処理部
２ｂ    認識処理部
２ｃ    特徴量計測処理部
２ｄ    追跡処理部
２ｅ    分裂検出処理部
２ｆ    系譜生成処理部
３    表示部
４    入力部
４ａ    観測画像入力部
４ｂ    表示項目選択部
５    記憶部
６，１６    制御部
６ａ，１６ａ    画像処理制御部
６ｂ，１６ｂ    画像表示制御部
１２    画像処理部
１２ｇ    分類図生成処理部
１２ｈ    分裂レベル修正処理部
１４    入力部
１４ｃ    修正指示入力部
２２    画像処理部
２２ｂ    認識処理部
２２ｅ    分裂検出処理部
【図１】
2007327843.tif 000008
【図２】
2007327843.tif 000009
【図３】
2007327843.tif 000010
【図４−１】
2007327843.tif 000011
【図４−２】
2007327843.tif 000012
【図４−３】
2007327843.tif 000013
【図４−４】
2007327843.tif 000014
【図４−５】
2007327843.tif 000015
【図４−６】
2007327843.tif 000016
【図４−７】
2007327843.tif 000017
【図４−８】
2007327843.tif 000018
【図４−９】
2007327843.tif 000019
【図５】
2007327843.tif 000020
【図６】
2007327843.tif 000021
【図７】
2007327843.tif 000022
【図８】
2007327843.tif 000023
【図９】
2007327843.tif 000024
【図１０】
2007327843.tif 000025
【図１１−１】
2007327843.tif 000026
【図１１−２】
2007327843.tif 000027
【図１１−３】
2007327843.tif 000028
【図１２】
2007327843.tif 000029
【図１３】
2007327843.tif 000030
【図１４】
2007327843.tif 000031
【図１５】
2007327843.tif 000032
【図１６】
2007327843.tif 000033
【図１７】
2007327843.tif 000034
【図１８】
2007327843.tif 000035
【図１９】
2007327843.tif 000036
【図２０】
2007327843.tif 000037