(57)【要約】【課題】細胞認識処理における判断の結果を有効に利用できること。【解決手段】画像処理装置１は、生細胞が記録された観測画像を処理して表示する画像処理装置であって、観測画像の中から生細胞に対応する画像領域である細胞領域を認識する細胞認識処理を行う細胞認識手段と、細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、所定の判定基準をもとに、細胞認識処理における細胞領域の認識の成否について判定を行う認識成否判定手段と、該判定の結果を示す認識成否情報を判定対象の細胞領域に対応付けて記憶する認識成否記憶手段と、細胞認識処理における細胞領域の認識の成否の程度を示す認識信頼度を算出する信頼度算出手段と、観測画像、細胞特徴量、細胞認識手段による認識結果、認識成否情報、認識信頼度等を表示する制御を行う表示制御手段と、を備える。【選択図】        図１
2006349533.tif 000002
【特許請求の範囲】
【請求項１】
生細胞が記録された観測画像を処理して表示する画像処理装置において、
前記観測画像の中から前記生細胞に対応する画像領域である細胞領域を認識する細胞認識処理を行う細胞認識手段と、
前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、
所定の判定基準をもとに、前記細胞認識処理における細胞領域の認識の成否について判定を行う認識成否判定手段と、
該判定の結果を示す認識成否情報を判定対象の細胞領域に対応付けて記憶する認識成否記憶手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記細胞認識手段は、前記観測画像の中から前記細胞領域を抽出する細胞抽出処理を行う細胞抽出手段を有し、
前記所定の判定基準は、前記細胞画像領域に対する所定の領域判定基準を含み、
前記認識成否判定手段は、前記所定の領域判定基準をもとに、前記細胞抽出処理における細胞領域の抽出の成否もしくは成否の程度の判定を行い、
前記認識成否記憶手段は、該判定の結果を示す前記認識成否情報としての抽出成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の領域判定基準は、あらかじめ定められた画像領域である細胞モデル領域に対する前記細胞領域の適合性であり、
前記抽出成否判定手段は、前記適合性をもとに前記細胞領域の抽出の成否もしくは成否の程度の判定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記観測画像は、異なる観測時点に撮像された複数の観測画像であり、
前記細胞認識手段は、
前記複数の観測画像内の各観測画像の中から前記細胞領域を抽出する細胞抽出手段と、
前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記細胞領域で示される生細胞に同一性があるか否かを判断し、同一性があると判断した細胞領域同士を対応付ける同一性判断処理を行う細胞追跡手段と、
を有し、
前記所定の判定基準は、前記同一性に対する所定の同一性判定基準を含み、
前記認識成否判定手段は、前記所定の同一性判定基準をもとに、前記同一性判断処理における同一性があるか否かの判断の成否もしくは成否の程度の判定を行い、
前記認識成否記憶手段は、該判定の結果を示す前記認識成否情報としての追跡成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記所定の同一性判定基準は、前記観測時点が異なる観測画像間の前記細胞特徴量の変動量を用いて演算される特徴量評価値と、前記細胞領域の状態変化を示す状態変化状況との少なくとも一方であり、
前記追跡成否判定手段は、前記特徴量評価値および前記状態変化状況の少なくとも一方をもとに、前記判断の成否もしくは成否の程度の判定を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記所定の同一性判定基準は、前記観測時点が異なる観測画像間の前記細胞特徴量の変動量を用いて演算される特徴量評価値であり、
前記追跡成否判定手段は、前記特徴量評価値とあらかじめ定められた閾値との大小関係に応じて前記判断の成否もしくは成否の程度の判定を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記観測画像と、前記細胞特徴量と、前記細胞認識手段による認識結果との少なくとも１つを前記認識成否情報とともに表示する制御を行う表示制御手段を備えたことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記特徴量算出手段は、前記細胞特徴量として各細胞領域の領域位置を算出し、
前記観測画像と、前記細胞認識手段による認識結果との少なくとも一方を、前記認識成否情報が所定の結果を示している細胞領域の前記領域位置とともに表示する制御を行う表示制御手段を備えたことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項９】
前記表示制御手段は、前記認識成否情報が所定の結果を示している細胞領域の前記領域位置を、該領域位置を囲む画像マークで表示する制御を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記認識成否判定手段による判定内容と、前記細胞特徴量との少なくとも一方をもとに、前記細胞認識処理における細胞領域の認識の成否の程度を示す認識信頼度を算出する信頼度算出手段を備えたことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項１１】
前記観測画像と、前記細胞特徴量と、前記細胞認識手段による認識結果との少なくとも１つを前記認識信頼度とともに表示する制御を行う表示制御手段を備えたことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記認識成否情報を前記認識信頼度とともに表示する制御を行う表示制御手段を備えたことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記信頼度算出手段は、算出した認識信頼度に応じて前記各細胞領域を１以上の細胞グループに分類し、
前記観測画像と、前記細胞特徴量と、前記細胞認識手段による認識結果との少なくとも１つを、前記信頼度算出手段による分類結果とともに表示する制御を行う表示制御手段を備えたことを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記信頼度算出手段は、算出した認識信頼度に応じて前記各細胞領域を１以上の細胞グループに分類し、
前記認識成否情報を前記信頼度算出手段による分類結果とともに表示する制御を行う表示制御手段を備えたことを特徴とする請求項１０に記載の画像処理装置。
【請求項１５】
前記信頼度算出手段は、算出した認識信頼度に応じて前記各細胞領域を１以上の細胞グループに分類し、
前記特徴量算出手段は、前記細胞特徴量として各細胞領域の領域位置を算出し、
前記観測画像と、前記細胞認識手段による認識結果との少なくとも一方を、所定の前記細胞グループに属する細胞領域の前記領域位置とともに表示する制御を行う表示制御手段を備えたことを特徴とする請求項１０に記載の画像処理装置。
【請求項１６】
前記表示制御手段は、所定の前記細胞グループに属する細胞領域の前記領域位置を、該領域位置を囲む画像マークで表示する制御を行うことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記細胞領域を選択する細胞選択情報を受け付ける選択情報入力手段を備え、
前記表示制御手段は、前記細胞選択情報によって選択された細胞領域を表示対象として選択的に表示する制御を行うことを特徴とする請求項７〜９または請求項１１〜１６のいずれか一つに記載の画像処理装置。
【請求項１８】
前記特徴量算出手段は、前記細胞特徴量として前記各細胞領域の輝度総和、面積、円形度、重心位置、輪郭長、輪郭位置の少なくとも１つを算出することを特徴とする請求項１〜１７のいずれか一つに記載の画像処理装置。
【請求項１９】
生細胞が記録された観測画像を処理して表示する画像処理装置に、前記観測画像を処理して表示させるための画像処理プログラムであって、
前記画像処理装置に、
前記観測画像の中から前記生細胞に対応する画像領域である細胞領域を認識する細胞認識処理を行う細胞認識手順と、
前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、
所定の判定基準をもとに、前記細胞認識処理における細胞領域の認識の成否について判定を行う認識成否判定手順と、
該判定の結果を示す認識成否情報を判定対象の細胞領域に対応付けて記憶する認識成否記憶手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項２０】
前記細胞認識手順は、前記観測画像の中から前記細胞領域を抽出する細胞抽出処理を行う細胞抽出手順を有し、
前記所定の判定基準は、前記細胞画像領域に対する所定の領域判定基準を含み、
前記認識成否判定手順は、前記所定の領域判定基準をもとに、前記細胞抽出処理における細胞領域の抽出の成否もしくは成否の程度の判定を行い、
前記認識成否記憶手順は、該判定の結果を示す前記認識成否情報としての抽出成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする請求項１９に記載の画像処理プログラム。
【請求項２１】
前記観測画像は、異なる観測時点に撮像された複数の観測画像であり、
前記細胞認識手順は、
前記複数の観測画像内の各観測画像の中から前記細胞領域を抽出する細胞抽出手順と、
前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記細胞領域で示される生細胞に同一性があるか否かを判断し、同一性があると判断した細胞領域同士を対応付ける同一性判断処理を行う細胞追跡手順と、
を有し、
前記所定の判定基準は、前記同一性に対する所定の同一性判定基準を含み、
前記認識成否判定手順は、前記所定の同一性判定基準をもとに、前記同一性判断処理における同一性があるか否かの判断の成否もしくは成否の程度の判定を行い、
前記認識成否記憶手順は、該判定の結果を示す前記認識成否情報としての追跡成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする請求項１９に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関し、特に、生細胞が記録された各観測画像を処理して表示する画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、顕微鏡等を利用して種々の細胞を標本とする観測が行われている。顕微鏡を用いた生細胞の経時的な観測では、通常、複数の時点で生細胞を撮像して得た各観測画像の中から目視作業と手作業とによって記録された生細胞を認識し、時系列に一連の観測画像間で各生細胞の画像を比較して、各生細胞の画像についての特徴量の経時変化を観測するようにしている。
【０００３】
このような従来の観測手法では、観測細胞数、観測頻度、観測範囲、観測時間等の増大にともなって観測者にかかる負荷が増大するなどの問題があった。これに対して、病理画像の中から、画像中のノイズや観測対象以外のエッジの影響を受けることなく、観測対象としての細胞核を自動的に認識する画像処理方法が提案されている（たとえば、特許文献１参照）。この画像処理方法では、細胞核を認識した後、認識した細胞核の輝度情報をもとに認識結果を評価するとともに、評価した認識結果を不適切と判定した場合、この認識結果に対応する細胞核の認識情報を削除することによって、細胞核の認識を正確に行うようにしている。
【０００４】
【特許文献１】特開２０００−３３１１４３号公報
【非特許文献１】Vincent & Soille , "Watersheds in Digital Spaces : An Efficient Algorithm Based on Immersion Simulations", IEEE TRANS ACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.13, NO.6, JUNE 1991
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の画像処理方法では、認識結果が不適切と判定された際、認識に関する情報が削除されてしまうため、不適切と判定された細胞核の観測を行えない場合が生じるという問題があった。また、削除された認識に関する情報を取得するために再び認識処理を繰り返すことによって、余計な時間と労力を要する場合が生じるという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、観測画像に含まれる生細胞の認識結果が不適切または好ましくない場合であっても、生細胞の認識に関する情報を有効に活用できる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、請求項１にかかる画像処理装置は、生細胞が記録された観測画像を処理して表示する画像処理装置において、前記観測画像の中から前記生細胞に対応する画像領域である細胞領域を認識する細胞認識処理を行う細胞認識手段と、前記細胞認識手段によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手段と、所定の判定基準をもとに、前記細胞認識処理における細胞領域の認識の成否について判定を行う認識成否判定手段と、該判定の結果を示す認識成否情報を判定対象の細胞領域に対応付けて記憶する認識成否記憶手段と、を備えたことを特徴とする。
【０００８】
また、請求項２にかかる画像処理装置は、上記の発明において、前記細胞認識手段は、前記観測画像の中から前記細胞領域を抽出する細胞抽出処理を行う細胞抽出手段を有し、前記所定の判定基準は、前記細胞画像領域に対する所定の領域判定基準を含み、前記認識成否判定手段は、前記所定の領域判定基準をもとに、前記細胞抽出処理における細胞領域の抽出の成否もしくは成否の程度の判定を行い、前記認識成否記憶手段は、該判定の結果を示す前記認識成否情報としての抽出成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする。
【０００９】
また、請求項３にかかる画像処理装置は、上記の発明において、前記所定の領域判定基準は、あらかじめ定められた画像領域である細胞モデル領域に対する前記細胞領域の適合性であり、前記抽出成否判定手段は、前記適合性をもとに前記細胞領域の抽出の成否もしくは成否の程度の判定を行うことを特徴とする。
【００１０】
また、請求項４にかかる画像処理装置は、上記の発明において、前記観測画像は、異なる観測時点に撮像された複数の観測画像であり、前記細胞認識手段は、前記複数の観測画像内の各観測画像の中から前記細胞領域を抽出する細胞抽出手段と、前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記細胞領域で示される生細胞に同一性があるか否かを判断し、同一性があると判断した細胞領域同士を対応付ける同一性判断処理を行う細胞追跡手段と、を有し、前記所定の判定基準は、前記同一性に対する所定の同一性判定基準を含み、前記認識成否判定手段は、前記所定の同一性判定基準をもとに、前記同一性判断処理における同一性があるか否かの判断の成否もしくは成否の程度の判定を行い、前記認識成否記憶手段は、該判定の結果を示す前記認識成否情報としての追跡成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする。
【００１１】
また、請求項５にかかる画像処理装置は、上記の発明において、前記所定の同一性判定基準は、前記観測時点が異なる観測画像間の前記細胞特徴量の変動量を用いて演算される特徴量評価値と、前記細胞領域の状態変化を示す状態変化状況との少なくとも一方であり、前記追跡成否判定手段は、前記特徴量評価値および前記状態変化状況の少なくとも一方をもとに、前記判断の成否もしくは成否の程度の判定を行うことを特徴とする。
【００１２】
また、請求項６にかかる画像処理装置は、上記の発明において、前記所定の同一性判定基準は、前記観測時点が異なる観測画像間の前記細胞特徴量の変動量を用いて演算される特徴量評価値であり、前記追跡成否判定手段は、前記特徴量評価値とあらかじめ定められた閾値との大小関係に応じて前記判断の成否もしくは成否の程度の判定を行うことを特徴とする。
【００１３】
また、請求項７にかかる画像処理装置は、上記の発明において、前記観測画像と、前記細胞特徴量と、前記細胞認識手段による認識結果との少なくとも１つを前記認識成否情報とともに表示する制御を行う表示制御手段を備えたことを特徴とする。
【００１４】
また、請求項８にかかる画像処理装置は、上記の発明において、前記特徴量算出手段は、前記細胞特徴量として各細胞領域の領域位置を算出し、前記観測画像と、前記細胞認識手段による認識結果との少なくとも一方を、前記認識成否情報が所定の結果を示している細胞領域の前記領域位置とともに表示する制御を行う表示制御手段を備えたことを特徴とする。
【００１５】
また、請求項９にかかる画像処理装置は、上記の発明において、前記表示制御手段は、前記認識成否情報が所定の結果を示している細胞領域の前記領域位置を、該領域位置を囲む画像マークで表示する制御を行うことを特徴とする。
【００１６】
また、請求項１０にかかる画像処理装置は、上記の発明において、前記認識成否判定手段による判定内容と、前記細胞特徴量との少なくとも一方をもとに、前記細胞認識処理における細胞領域の認識の成否の程度を示す認識信頼度を算出する信頼度算出手段を備えたことを特徴とする。
【００１７】
また、請求項１１にかかる画像処理装置は、上記の発明において、前記観測画像と、前記細胞特徴量と、前記細胞認識手段による認識結果との少なくとも１つを前記認識信頼度とともに表示する制御を行う表示制御手段を備えたことを特徴とする。
【００１８】
また、請求項１２にかかる画像処理装置は、上記の発明において、前記認識成否情報を前記認識信頼度とともに表示する制御を行う表示制御手段を備えたことを特徴とする。
【００１９】
また、請求項１３にかかる画像処理装置は、上記の発明において、前記信頼度算出手段は、算出した認識信頼度に応じて前記各細胞領域を１以上の細胞グループに分類し、前記観測画像と、前記細胞特徴量と、前記細胞認識手段による認識結果との少なくとも１つを、前記信頼度算出手段による分類結果とともに表示する制御を行う表示制御手段を備えたことを特徴とする。
【００２０】
また、請求項１４にかかる画像処理装置は、上記の発明において、前記信頼度算出手段は、算出した認識信頼度に応じて前記各細胞領域を１以上の細胞グループに分類し、前記認識成否情報を前記信頼度算出手段による分類結果とともに表示する制御を行う表示制御手段を備えたことを特徴とする。
【００２１】
また、請求項１５にかかる画像処理装置は、上記の発明において、前記信頼度算出手段は、算出した認識信頼度に応じて前記各細胞領域を１以上の細胞グループに分類し、前記特徴量算出手段は、前記細胞特徴量として各細胞領域の領域位置を算出し、前記観測画像と、前記細胞認識手段による認識結果との少なくとも一方を、所定の前記細胞グループに属する細胞領域の前記領域位置とともに表示する制御を行う表示制御手段を備えたことを特徴とする。
【００２２】
また、請求項１６にかかる画像処理装置は、上記の発明において、前記表示制御手段は、所定の前記細胞グループに属する細胞領域の前記領域位置を、該領域位置を囲む画像マークで表示する制御を行うことを特徴とする。
【００２３】
また、請求項１７にかかる画像処理装置は、上記の発明において、前記細胞領域を選択する細胞選択情報を受け付ける選択情報入力手段を備え、前記表示制御手段は、前記細胞選択情報によって選択された細胞領域を表示対象として選択的に表示する制御を行うことを特徴とする。
【００２４】
また、請求項１８にかかる画像処理装置は、上記の発明において、前記特徴量算出手段は、前記細胞特徴量として前記各細胞領域の輝度総和、面積、円形度、重心位置、輪郭長、輪郭位置の少なくとも１つを算出することを特徴とする。
【００２５】
また、請求項１９にかかる画像処理プログラムは、生細胞が記録された観測画像を処理して表示する画像処理装置に、前記観測画像を処理して表示させるための画像処理プログラムであって、前記画像処理装置に、前記観測画像の中から前記生細胞に対応する画像領域である細胞領域を認識する細胞認識処理を行う細胞認識手順と、前記細胞認識手順によって認識された各細胞領域の特徴を示す細胞特徴量を算出する特徴量算出手順と、所定の判定基準をもとに、前記細胞認識処理における細胞領域の認識の成否について判定を行う認識成否判定手順と、該判定の結果を示す認識成否情報を判定対象の細胞領域に対応付けて記憶する認識成否記憶手順と、を実行させることを特徴とする。
【００２６】
また、請求項２０にかかる画像処理プログラムは、上記の発明において、前記細胞認識手順は、前記観測画像の中から前記細胞領域を抽出する細胞抽出処理を行う細胞抽出手順を有し、前記所定の判定基準は、前記細胞画像領域に対する所定の領域判定基準を含み、前記認識成否判定手順は、前記所定の領域判定基準をもとに、前記細胞抽出処理における細胞領域の抽出の成否もしくは成否の程度の判定を行い、前記認識成否記憶手順は、該判定の結果を示す前記認識成否情報としての抽出成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする。
【００２７】
また、請求項２１にかかる画像処理プログラムは、上記の発明において、前記観測画像は、異なる観測時点に撮像された複数の観測画像であり、前記細胞認識手順は、前記複数の観測画像内の各観測画像の中から前記細胞領域を抽出する細胞抽出手順と、前記観測時点が異なる観測画像間の前記細胞特徴量の変化量を算出し、該算出した変化量をもとに、該観測時点が異なる各観測画像に含まれる前記細胞領域で示される生細胞に同一性があるか否かを判断し、同一性があると判断した細胞領域同士を対応付ける同一性判断処理を行う細胞追跡手順と、を有し、前記所定の判定基準は、前記同一性に対する所定の同一性判定基準を含み、前記認識成否判定手順は、前記所定の同一性判定基準をもとに、前記同一性判断処理における同一性があるか否かの判断の成否もしくは成否の程度の判定を行い、前記認識成否記憶手順は、該判定の結果を示す前記認識成否情報としての追跡成否情報を判定対象の細胞領域に対応付けて記憶することを特徴とする。
【発明の効果】
【００２８】
本発明にかかる画像処理装置および画像処理プログラムによれば、細胞認識処理における細胞領域の認識の成否についての判定結果を示す認識成否情報を記録しておくことで、細胞認識処理において行った判断の結果を後に活用することができる。これにより細胞認識処理における判断の結果を有効に利用することが可能な構成となっている。
【発明を実施するための最良の形態】
【００２９】
以下、添付図面を参照して、本発明にかかる画像処理装置の好適な実施の形態を詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００３０】
（実施の形態１）
まず、本発明の実施の形態１にかかる画像処理装置について説明する。図１は、この実施の形態１にかかる画像処理装置１の構成を示すブロック図である。図１に示すように、画像処理装置１は、入力された画像を処理する画像処理部２と、各種情報を表示する表示部３と、各種情報の入力を受け付ける入力部４と、各種情報を記憶する記憶部５と、画像処理装置１の各部の処理および動作を制御する制御部６と、を備える。画像処理部２、表示部３、入力部４および記憶部５は、制御部６に電気的に接続されている。
【００３１】
画像処理部２は、細胞抽出部２ａ、特徴量算出部２ｂ、抽出成否判定手段としての抽出結果判定部２ｃ、細胞追跡部２ｄ、追跡成否判定手段としての追跡結果判定部２ｅおよび信頼度算出手段としての信頼度算出部２ｆを備え、複数の観測時点で生細胞が撮像された一連の観測画像を処理する。画像処理部２が備える各部は、画像処理制御部６ａによって制御される。なお、本発明の認識成否判定手段には、抽出結果判定部２ｃ、追跡結果判定部２ｅおよび信頼度算出部２ｆが含まれる。
【００３２】
細胞抽出部２ａは、各観測画像の中から各生細胞に対応する画像領域である細胞領域を抽出する細胞抽出処理を行う。細胞抽出部２ａは、たとえば、分水嶺領域分割と呼ばれる画像処理手法（たとえば、非特許文献１参照）を利用して観測画像を分割し、細胞領域を抽出する。非特許文献１では、画像を低輝度画素の集中する領域に分割するようにしているが、一般に細胞は高輝度画素の集合として現れるため、細胞抽出部２ａでは、手法上、輝度を反転して処理し、高輝度領域の分割に適用するようにしている。なお、細胞抽出部２ａは、細胞領域の抽出を行う前に、取得した観測画像に対する前処理として輝度補正処理、平滑化処理等を行うようにするとよい。
【００３３】
また、細胞抽出部２ａは、抽出した各細胞領域に対して領域標識である固有の領域ラベルを付与するラベリングを行い、付与した領域ラベルを各細胞領域の領域情報としての細胞領域データとする。細胞抽出部２ａによって付与される領域ラベルは、固有のものであれば、番号、アルファベット、記号等を用いた任意の表記でよい。細胞領域データは、画像処理制御部６ａによって、観測時点および細胞領域に対応付けられ細胞領域データ記憶部５ｃに記録される。
【００３４】
さらに、細胞抽出部２ａは、抽出しラベリングした各細胞領域を表示する細胞認識画像として細胞抽出画像を生成する。このとき、細胞抽出部２ａは、抽出した各細胞領域の領域形状を表示した領域抽出画像、各細胞領域と領域ラベルとの対応を細胞領域のハッチング種類や表示色で区別して表示した領域ラベル画像等を細胞抽出画像として生成する。生成された細胞抽出画像は、画像処理制御部６ａによって、観測時点に対応付けられ処理画像記憶部５ｂに記録される。
【００３５】
特徴量算出部２ｂは、細胞抽出部２ａによって抽出された各細胞領域の特徴を示す細胞特徴量を算出する。具体的には、特徴量算出部２ｂは、細胞特徴量として、細胞領域の重心位置、輪郭位置、輪郭長、面積、円形度、輝度値の総和である輝度総和、細胞領域の位置を示す領域位置等を算出する。ここで、領域位置は重心位置や輪郭位置であってもよく、あるいは細胞領域内の所定の特徴点等の位置であってもよい。なお、このような細胞特徴量は、間接的に細胞領域内の生細胞の特徴量を示す。
【００３６】
また、特徴量算出部２ｂは、算出した細胞特徴量をグラフ化あるいは画像化して細胞特徴画像を生成する。このとき、特徴量算出部２ｂは、観測画像ごと、観測時点ごと、細胞領域ごと、あるいは細胞特徴量ごとに各種の細胞特徴量を観測し対比しやすいように、様々な表示形態で細胞特徴画像を生成する。生成された細胞特徴画像は、画像処理制御部６ａによって、表示形態に応じて処理画像記憶部５ｂに記録される。なお、特徴量算出部２ｂは、各種の細胞特徴画像を画像処理制御部６ａからの指示をもとに適宜生成するようにしてもよい。
【００３７】
抽出結果判定部２ｃは、細胞領域に対する所定の領域判定基準をもとに、領域抽出部２ａが行う細胞抽出処理における各細胞領域の抽出の成否を判定する。そして、抽出の成否を示す認識成否情報としての抽出成否情報を細胞抽出処理ごとに処理対象の細胞領域に対応付けて記録する。具体的には、抽出結果判定部２ｃは、抽出を失敗と判定した場合、この細胞抽出処理で抽出した細胞領域に抽出成否情報としての抽出失敗情報を対応付け、同様に、抽出を成功と判定した場合、抽出した細胞領域に抽出成功情報を対応付ける。抽出失敗情報および抽出成功情報は、画像処理制御部６ａによって、細胞領域データ記憶部５ｃ内の対応する細胞領域の細胞領域データに付加され記録される。
【００３８】
抽出結果判定部２ｃが参照する領域判定基準は、複数種類の成否判定項目により定められている。たとえば、抽出結果判定部２ｃは、細胞領域の特徴的な形状パターンである細胞モデルに対する適合性を成否判定項目として判定する。すなわち、予め定められた細胞モデルとの適合性を成否判定項目とする。抽出結果判定部２ｃは、細胞抽出部２ａによって抽出された細胞領域があらかじめ定められた複数の失敗細胞モデルのいずれか、または複数に適合する場合、この細胞領域を抽出した細胞抽出処理を失敗と判定する。同様に、抽出結果判定部２ｃは、あらかじめ定められた成功細胞モデルに適合する場合、細胞抽出処理を成功と判定するようにしてもよい。このように用いられる細胞モデルは、観測対象とする細胞に応じて様々に設定されるものである。たとえば成功細胞モデルは、細胞抽出部２ａで抽出された細胞領域が画像内で独立した閉領域として存在し、周囲に存在する細胞領域と比して平均的な面積を有する画像領域として定めることができる。失敗細胞モデルは、たとえば、後述の図６−１〜図６−３等がある。
【００３９】
また、抽出結果判定部２ｃは、たとえば、判定対象の細胞領域の細胞特徴量を用いて算出される所定の統計量あるいは評価量等を成否判定項目として、細胞抽出処理の成否を判定するようにしてもよく、このような数値的な成否判定項目と、細胞モデル等の画像的な成否判定項目とを併用して用いるようにしてもよい。
【００４０】
抽出結果判定部２ｃは、細胞抽出処理を失敗と判定した場合の判定理由（成否判定項目）である抽出失敗理由を抽出失敗情報とともに、抽出した細胞領域に対応付ける。抽出失敗理由が複数ある場合（複数の成否判定項目で失敗と判定された場合）、抽出結果判定部２ｃは、適用されたすべての抽出失敗理由と、この抽出失敗理由の項目数とを細胞領域に対応付ける。抽出失敗理由および項目数は、抽出失敗情報とともに細胞領域データに付加され記録される。
【００４１】
細胞追跡部２ｄは、異なる観測時点で抽出された生細胞の同一性判断処理を行う。すなわち、本実施の形態１では、細胞追跡部２ｄは、観測時点が異なる観測画像間の細胞特徴量の変化量を算出し、算出した変化量をもとに、この観測時点が異なる各観測画像から抽出された細胞領域で示される生細胞に同一性があるか否かを判断し、同一性があると判断した各生細胞の細胞領域を対応付けることで同一性判断処理を行う。このとき、細胞追跡部２ｄは、同一性があると判断した各生細胞の細胞領域に同一の追跡ラベルを付与し、付与した追跡ラベルを各細胞領域の追跡情報としての細胞追跡データとする。細胞追跡データは、画像処理制御部６ａによって、観測時点および細胞領域に対応付けられ細胞追跡データ記憶部５ｄに記録される。
【００４２】
なお、細胞追跡部２ｄが付与する追跡ラベルは、領域ラベルと同様に、固有のものであれば、番号、アルファベット、記号等を用いた任意の表記でよい。細胞追跡部２ｄは、各細胞領域に新たに追跡ラベルを付与するようにしてもよく、あるいは領域ラベルを参照し、同一性があると判断した各細胞領域のうち観測時点が前の細胞領域に付与された領域ラベルを、観測時点が後の細胞領域に追跡ラベルとして付与するようにしてもよい。
【００４３】
また、細胞追跡部２ｄは、たとえば、時系列で連続する２つの観測画像間で細胞領域の対応付けを行い、この処理を時系列で先頭の観測画像から順次、処理対象の観測画像を観測時点順に変更して繰り返すようにし、任意の観測画像間で細胞領域が対応付けられるようにする。これによって細胞追跡部２ｄは、各観測時点の個々の細胞領域を時系列に沿って追跡することができる。
【００４４】
さらに、細胞追跡部２ｄは、追跡ラベルを付与して対応付けた各細胞領域を表示する細胞認識画像として細胞追跡画像を生成する。このとき、細胞追跡部２ｄは、各細胞領域と追跡ラベルとの対応を細胞領域のハッチング種類や表示色で区別して表示した追跡ラベル画像等を細胞追跡画像として生成する。生成された細胞追跡画像は、画像処理制御部６ａによって、観測時点に対応付けられ処理画像データ記憶部５ｂに記録される。
【００４５】
追跡結果判定部２ｅは、上述の細胞追跡部２ｄで行う同一性判断処理における生細胞の同一性の判断の成否を、所定の同一性判定基準（後述）に従って判定する。生細胞の同一性の判断の成否を示す認識成否情報としての追跡成否情報を処理対象の細胞領域に対応付けて記録する。具体的には、追跡結果判定部２ｅは、同一性判断処理における生細胞の同一性の判断を失敗であると判定した場合、この同一性判断処理で同一と判断された各生細胞の細胞領域に追跡成否情報としての追跡失敗情報を対応付ける。同様に、成功であると判定した場合、追跡結果判定部２ｅは、各細胞領域に追跡成功情報を対応付ける。追跡失敗情報および追跡成功情報は、画像処理制御部６ａによって、細胞追跡データ記憶部５ｄ内の対応する細胞領域の細胞追跡データに付加され記録される。
【００４６】
なお、追跡結果判定部２ｅが参照する同一性判定基準は、複数種類の成否判定項目により定められている。たとえば、追跡結果判定部２ｅは、処理対象の観測画像間の細胞特徴量の変動量に基づいて定まる特徴量評価値を用いた複数の成否判定項目で判定する。すなわち、追跡結果判定部２ｅは、同一性があると判断した生細胞の細胞領域間の細胞特徴量の変動量から定まる特徴量評価値と所定の閾値との大小関係を比較して、同一性判断処理の成否を判定する。このような判定を複数種類の細胞特徴量（成否判定項目）について行う。
【００４７】
また、同一性判定基準の成否判定項目は、たとえば、観測時点間の細胞領域の状態変化を示す状態変化状況であってもよく、追跡結果判定部２ｅは、同一性があると判断された生細胞の細胞領域の状態変化状況が、周囲の細胞領域との関係の中で明らかに不適切な場合、この同一性を判断した同一性判断処理を失敗と判定する。ここで、細胞領域の状態変化とは、細胞領域内の生細胞の変形、分裂、結合、消滅等にともなう細胞領域の変化を意味する。なお、追跡結果判定部２ｅは、特徴量評価値等の定量的な成否判定項目と、状態変化状況等の定性的な成否判定項目とを併用して用いるようにしてもよい。
【００４８】
また、追跡結果判定部２ｅは、同一性判断処理における生細胞の同一性の判断を失敗と判定した場合の判定理由（成否判定項目）である追跡失敗理由を追跡失敗情報とともに細胞領域に対応付ける。追跡失敗理由が複数ある場合（複数の成否判定項目で失敗と判定された場合）、追跡結果判定部２ｅは、適用されたすべての追跡失敗理由と、この追跡失敗理由の項目数とを細胞領域に対応付ける。追跡失敗理由および追跡失敗理由の項目数は、追跡失敗情報とともに細胞追跡データに付加され記録される。
【００４９】
信頼度算出部２ｆは、細胞認識処理（細胞抽出処理や同一性判断処理）における細胞領域の認識（細胞領域の抽出や同一性の判断）の成否の程度を示す認識信頼度を、認識成否情報として算出する。信頼度算出部２ｆは、抽出結果判定部２ｃ，追跡結果判定部２ｅにおける判定内容や、細胞特徴量を用いて、認識信頼度を算出する。認識信頼度の具体的な算出方法の例は、後述する。信頼度算出部２ｆで算出した認識信頼度は、画像処理制御部６ａによって、それぞれ対応する細胞領域の細胞領域データ、または細胞追跡データに付加され記録される。
【００５０】
また、信頼度算出部２ｆは、算出した信頼度の値に応じて、各細胞領域を１つ以上の細胞グループに分類し、分類した細胞グループ名等の細胞グループ情報を各細胞領域に対応付ける。このとき、信頼度算出部２ｆは、各細胞領域を認識信頼度をもとに細胞グループに分類し、分類結果を細胞グループ情報として、各細胞領域に対応付けて記録する。細胞グループ情報は、認識成否情報として画像処理制御部６ａによって、対応する細胞領域の細胞領域データまたは細胞追跡データに付加され記録される。
【００５１】
さらに、信頼度算出部２ｆは、分類した細胞グループごとに各細胞領域を表示するグループ化画像を生成する。グループ化画像は、画像処理制御部６ａによって、観測時点に対応付けられ処理画像データ記憶部５ｂに記録される。
【００５２】
表示部３は、ＣＲＴ、液晶ディスプレイ等を備え、画像処理部２が観測画像を処理して生成した各種の処理画像を含む各種情報を表示する。特に、表示部３は、画像表示制御部６ｂからの指示をもとに、観測画像、細胞抽出画像、細胞特徴画像、細胞追跡画像およびグループ化画像の少なくとも１つの画像を認識成否情報（抽出成否情報、追跡成否情報、認識信頼度、細胞グループ情報）と対応付けて表示する。
【００５３】
入力部４は、ＵＳＢ，ＩＥＥＥ１３９４等の通信用インターフェース、各種スイッチ、入力キー、マウス、タッチパネル等を備え、画像処理装置１で処理する画像、各種処理情報等の入力を受け付ける。入力部４は、特に、観測画像入力部４ａおよび表示項目選択部４ｂを備える。観測画像入力部４ａは、通信用インターフェースを介して外部装置から観測画像の入力を受け付ける。表示項目選択部４ｂは、表示部３に表示する観測画像および各種処理画像の少なくとも１つを選択する表示項目選択情報の入力を受け付ける。観測者は、表示項目選択部４ｂを介して表示項目選択情報を入力することによって、表示させる画像、細胞特徴量等を任意に選択することができる。
【００５４】
なお、観測画像入力部４ａは、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の携帯型記憶媒体に対応するインターフェースを備え、この携帯型記憶媒体から観測画像の入力を受け付けるようにしてもよい。また、観測画像入力部４ａは、撮像レンズと、ＣＣＤ等の撮像素子と、Ａ／Ｄ変換器とを用いて実現される撮像装置を備え、この撮像装置によって生細胞を撮像して生成した観測画像を取得するようにしてもよい。
【００５５】
記憶部５は、各種処理プログラム等があらかじめ記憶されたＲＯＭと、各処理の処理パラメータ、処理データ等を記憶するＲＡＭとによって実現される。記憶部５は、特に、制御部６が実行するプログラムである、観測画像を処理して表示させるための画像処理プログラムを記憶する。また、記憶部５は、観測画像を記憶する観測画像記憶部５ａと、各種の処理画像を記憶する処理画像記憶部５ｂと、各細胞領域の細胞領域データを記憶する細胞領域データ記憶部５ｃと、各細胞領域の細胞追跡データを記憶する細胞追跡データ記憶部５ｄとを備える。なお、記憶部５は、フラッシュメモリ、ＣＤ、ＤＶＤ、ハードディスク等の携帯型記憶媒体を着脱可能な記憶部として備えるようにしてもよい。
【００５６】
制御部６は、記憶部５に記憶された各種処理プログラムを実行するＣＰＵ等によって実現される。制御部６は、特に、記憶部５に記憶された画像処理プログラムを実行し、この画像処理プログラムにおける各処理に対応する各構成部位を制御する。また、制御部６は、画像処理制御部６ａ、画像表示制御部６ｂおよび細胞データ統合部６ｃを備える。画像処理制御部６ａは、画像処理部２の各部が行う処理および動作を制御するとともに、画像処理部２に対する各種データおよびパラメータの入出力を制御する。
【００５７】
画像表示制御部６ｂは、観測画像記憶部５ａに記憶された観測画像と、処理画像記憶部５ｂに記憶された細胞抽出画像、細胞特徴画像、細胞追跡画像およびグループ化画像との中から表示項目選択情報によって選択された各画像を、同時、順次または所定の指示情報をもとに切換可能に表示させるとともに、抽出成否情報、抽出失敗理由、追跡成否情報、追跡失敗理由、認識信頼度、細胞グループ情報等と対応付けて表示部３に表示させる制御を行う。このとき、画像表示制御部６ｂは、たとえば、観測時点、抽出および追跡成否情報、細胞特徴量の変化量等に応じて、各画像中の表示輝度、表示色相等を異ならせて表示するとよい。また、対応する細胞領域の領域位置等を所定の画像マークによって標識するとよい。
【００５８】
細胞データ統合部６ｃは、細胞領域データ記憶部５ｃに記憶された細胞領域データと、細胞追跡データ記憶部５ｄに記憶された細胞追跡データとを互いに対応づけて統合する。このとき、細胞データ統合部６ｃは、既存の細胞領域データに細胞追跡データを付加し、統合領域データとして細胞領域データ記憶部５ｃに再記録する。なお、細胞データ統合部６ｃは、細胞領域データと細胞追跡データとの対応付けの情報のみ新たに記録するようにしてもよく、あるいは、統合した統合領域データを専用の記憶領域に記録するようにしてもよい。
【００５９】
ここで、画像処理装置１が行う処理手順について説明する。図２は、画像処理装置１に入力された一連の観測画像を示す模式図であり、図３は、制御部６が画像処理プログラムを実行することによって、画像処理装置１が、この入力された観測画像を処理し表示する処理手順を示すフローチャートである。
【００６０】
図２に示すように、入力された一連の観測画像は、暗い背景の中に観測対象である複数の生細胞を含む。各生細胞は、たとえば、観測時点ｔi〜ｔi+1の観測時点間で移動、膨張、収縮、変形、消滅等の状態変化を起こしている。この一連の観測画像は、観測画像記憶部５ａに記憶される。
【００６１】
まず図３に示した各ステップを簡単に説明する。細胞抽出部２ａは、各観測画像の中から各生細胞に対応する細胞領域を抽出し、ラベリングした後、細胞抽出画像を生成する細胞抽出処理を行う（ステップＳ１０１）。特徴量算出部２ｂは、抽出された各細胞領域に対応する細胞特徴量を算出し、細胞特徴画像を生成する特徴量算出処理を行う（ステップＳ１０３）。抽出結果判定部２ｃは、細胞抽出処理における細胞領域の抽出の成否を判定し、抽出成否情報、抽出失敗理由等を対応付ける抽出結果判定処理を行う（ステップＳ１０５）。
【００６２】
細胞追跡部２ｄは、観測時点が異なる観測画像間の各生細胞の同一性を判断し、同一性がある各生細胞の細胞領域を対応付け、細胞追跡画像を生成する細胞追跡処理を行う（ステップＳ１０７）。追跡結果判定部２ｅは、各生細胞の同一性を判断した同一性判断処理における同一性の判断の成否を判定し、追跡成否情報、追跡失敗理由等を対応付ける追跡結果判定処理を行う（ステップＳ１０９）。信頼度算出部２ｆは、認識信頼度を算出し、各細胞領域を細胞グループに分類するとともに、グループ化画像を生成する信頼度算出処理を行う（ステップＳ１１１）。
【００６３】
細胞データ統合部６ｃは、細胞領域データと細胞追跡データとを対応付けて統合領域データとするデータ統合処理を行う（ステップＳ１１３）。表示処理制御部６ｂは、表示項目選択情報によって観測画像および各種処理画像の中から選択された各画像を統合領域データと対応付けて表示する結果表示処理を行う（ステップＳ１１５）。以上のステップＳ１０１〜Ｓ１１５の後、画像処理装置１は、一連の処理を終了する。なお、画像処理装置１は、たとえば、所定の処理終了の指示情報を受け付けるまで、更新される表示項目選択情報に応じて、ステップＳ１１５の結果表示処理を繰り返すようにしてもよい。
【００６４】
つぎに、図３に示したステップＳ１０１の細胞抽出処理について説明する。図４は、細胞抽出処理の処理手順を示すフローチャートである。まず、画像処理制御部６ａは、観測画像記憶部５ａに記憶された一連の観測画像のうち時系列で先頭の画像を読み込む（ステップＳ１２１）。次いで、細胞抽出部２ａは、読み込まれた観測画像の前処理を行う（ステップＳ１２３）。このステップＳ１２３では、細胞抽出部２ａは、たとえば、観測画像に対して、ガウシアンフィルタ等による平滑化処理を行う。
【００６５】
つづいて、領域抽出部２ａは、分水嶺領域分割を用いて観測画像中の各細胞領域を抽出し（ステップＳ１２５）、抽出した各細胞領域に領域ラベルを付与するラベリングを行い（ステップＳ１２７）、領域抽出画像、領域ラベル画像等の細胞抽出画像を生成する（ステップＳ１２９）。その後、画像処理制御部６ａは、各細胞領域に付与された領域ラベルを細胞領域データとして細胞領域データ記憶部５ｃに記録するとともに、細胞抽出画像を処理画像データ記憶部５ｂに記録する（ステップＳ１３１）。
【００６６】
そして、画像処理制御部６ａは、一連のすべての観測画像を処理したか否かを判断し（ステップＳ１３３）、すべての観測画像を処理していない場合（ステップＳ１３３：Ｎｏ）、処理していない観測画像に対してステップＳ１２１からの処理を繰り返し、すべての観測画像を処理している場合（ステップＳ１３３：Ｙｅｓ）、ステップＳ１０１にリターンする。
【００６７】
図５は、図２に示した観測時点ｔi，ｔi+1の観測画像に対応して生成される領域ラベル画像を例示する図である。ステップＳ１２９では、領域抽出部２ａは、図５に示すように、ステップＳ１２５で抽出した各細胞領域のエッジを細胞領域の輪郭とし、この輪郭によって細胞領域を示すとともに、ステップＳ１２７で各細胞領域に付与した領域ラベル（Ｉａ１〜Ｉａ１３，Ｉｂ１〜Ｉｂ１５）を文字情報で示す領域ラベル画像を生成する。
【００６８】
つぎに、図３に示したステップＳ１０３の特徴量算出処理では、特徴量算出部２ｂは、細胞特徴量として、少なくとも細胞領域の重心位置、輪郭位置、輪郭長、面積、円形度、輝度総和および領域位置を算出する。このうち、細胞領域の円形度ｅは、細胞領域の輪郭長Ｌおよび面積Ｓを用いてｅ＝４πＳ／Ｌ2によって算出される。なお、この円形度ｅは、０＜ｅ＜１の関係を満足する。
【００６９】
つぎに、図３に示したステップＳ１０５の抽出結果判定処理について説明する。ステップＳ１０５では、抽出結果判定部２ｃは、ステップＳ１０１で抽出された各細胞領域について、あらかじめ定められる各種の細胞モデルに対する適合性を評価して抽出成否情報を対応付ける。細胞モデルは、たとえば、失敗細胞モデルの場合、図６−１〜図６−３に示すように定められる。図６−１は、１つの生細胞の内部に別の生細胞（以下、内部細胞と呼ぶ）が存在する場合の失敗細胞モデルを示し、図６−２は、生細胞の内部に穴が存在する場合の失敗細胞モデルを示し、図６−３は、複数の生細胞に囲まれた微小領域が存在する場合の失敗細胞モデルを示している。
【００７０】
図７は、図６−１に示した内部細胞が存在する失敗細胞モデルを成否判定項目として適合性を評価する場合に、抽出成否情報を対応付ける場合の抽出結果判定処理の処理手順を示すフローチャートである。ここで、内部細胞が存在する失敗細胞モデルとの適合性は、内部細胞自体の検出により行われる。図７に示すように、画像処理制御部６ａが、処理画像記憶部５ｂから細胞抽出画像を読み込み（ステップＳ１４１）、領域ラベルがついていない画素を検出し、背景領域を示す背景画素として背景ラベルを付加する（ステップＳ１４３）。ここで背景画素は必ず他の背景画素と隣接している。抽出結果判定部２ｃは、細胞領域データを参照し、抽出結果を判定する処理対象の細胞領域を細胞抽出画像から抽出する（ステップＳ１４５）。
【００７１】
つづいて、抽出結果判定部２ｃは、細胞抽出画像から抽出した細胞領域を構成する細胞画素を抽出し（ステップＳ１４７）、抽出した細胞画素に隣接する各隣接画素の領域ラベルを検出する（ステップＳ１４９）。そして、抽出結果判定部２ｃは、検出した隣接画素内に背景ラベルがあるか否かを判断し（ステップＳ１５１）、背景ラベルがない場合（ステップＳ１５１：Ｎｏ）、細胞領域内のすべての細胞画素を処理したか否かをさらに判断する（ステップＳ１５３）。
【００７２】
すべての細胞画素を処理していない場合（ステップＳ１５３：Ｎｏ）、抽出結果判定部２ｃは、処理していない細胞画素に対してステップＳ１４７からの処理を繰り返し、すべての細胞画素を処理している場合（ステップＳ１５３：Ｙｅｓ）、処理対象の細胞領域を内部細胞の領域と認定し、この細胞領域を観測画像から抽出した細胞抽出処理における細胞抽出を失敗と判定し（ステップＳ１５５）、処理対象の細胞領域に抽出失敗情報を対応付ける（ステップＳ１５７）。
【００７３】
さらに、抽出結果判定部２ｃは、処理対象の周囲の細胞領域を外部細胞の領域と認定し、この細胞領域を観測画像から抽出した細胞抽出処理における細胞抽出を失敗と判定する（ステップＳ１５９）。すなわち、ステップＳ１４９で検出した領域ラベルに対応する細胞領域を外部細胞の領域と認定し、この外部細胞を抽出した細胞抽出処理における当該外部細胞の抽出を失敗と判定する。そして、抽出結果判定部２ｃは、処理対象の周囲の細胞領域、すなわち外部細胞に抽出失敗情報を対応付ける（ステップＳ１６１）。
【００７４】
一方、ステップＳ１４９で、隣接画素内に背景ラベルがある場合（ステップＳ１５１：Ｙｅｓ）、抽出結果判定部２ｃは、細胞抽出を成功と判定し（ステップＳ１６３）、処理対象の細胞領域に抽出成功情報を対応付ける（ステップＳ１６５）。
【００７５】
ステップＳ１６１またはステップＳ１６５の後、画像処理制御部６ａは、細胞領域に対応付けられた抽出成否情報を細胞領域データに付加し、細胞領域データ記憶部５ｃに記録し（ステップＳ１６７）、ステップＳ１０５にリターンする。
【００７６】
このようにして、抽出結果判定部２ｃは、図６−１に示すように周囲がすべて領域ＡＲ２である領域ＡＲ１を内部細胞と認定する。このように内部細胞を検出した場合、領域ＡＲ２は外部細胞として、領域ＡＲ１，ＡＲ２ともに細胞抽出処理における細胞抽出を失敗と判定する。一方、内部細胞が検出されず、周囲がすべて背景領域ＡＲ３である場合、抽出結果判定部２ｃは、内部細胞が存在する細胞モデルに対する適合性の評価において、細胞抽出処理における細胞抽出を成功と判定する。
【００７７】
なお、画像処理制御部６ａは、１つの細胞抽出画像内で判定が必要な細胞領域が複数ある場合、細胞領域ごとにステップＳ１４５からの処理を繰り返すようにすればよい。また、画像処理制御部６ａは、複数の観測時点について判定が必要な場合、観測時点ごとにステップＳ１４１からの処理を繰り返すようにすればよい。さらに、内部細胞が存在する失敗細胞モデル（図６−１）以外の細胞モデル（たとえば図６−２，６−３）に対する適合性も評価する場合、画像処理制御部６ａは、細胞モデル（成否判定項目）ごとに抽出結果判定処理を繰り返すようにすればよい。すなわち、各成否判定項目に対して、処理対象となる細胞領域を構成する細胞画素の適合性を検証する処理を行う。
【００７８】
図６−２に示した穴が存在する失敗細胞モデルを成否判定項目として適合性を評価する場合には、抽出結果判定部２ｃは、細胞領域から細胞画素を検出し、検出した細胞画素に隣接する各隣接画素が領域ラベルまたは背景ラベルを持たない場合、この細胞画素に対応する領域ＡＲ４を穴領域と認定し、この細胞領域に抽出失敗情報を対応付ける。
【００７９】
図６−３に示すような微小領域ＡＲ５を成否判定項目とした場合には、抽出結果判定部２ｃは、微小領域ＡＲ５の面積に対して次のように判定評価量を算出して細胞抽出処理の成否を判定する。すなわち、抽出結果判定部２ｃは、まず観測時点ｔiの観測画像の中から抽出された細胞領域の面積ヒストグラムを作成する。この面積ヒストグラムの階級数Ｃtiは、抽出された細胞領域数Ｍtiを用い、ｓｔｒｕｇｅｓの法則によって次式（１）で算出される。
Ｃti＝１＋（logＭti／log２）                                ・・・（１）
また、抽出結果判定部２ｃは、最大面積Ｓtimax、最小面積Ｓtiminおよび階級数Ｃtiより、次式（２）によって階級幅Ｗtiを算出する。
Ｗti＝（Ｓtimax−Ｓtimin）／Ｃti                          ・・・（２）
さらに、抽出結果判定部２ｃは、面積ヒストグラムの最頻度階級に属する細胞領域数Ｘtiを用いて、平均面積Ｓtimeanを次式（３）によって算出する。
Ｓtimean＝（Ｓti,1＋Ｓti,2＋・・・＋Ｓti,Xti）／Ｘti    ・・・（３）
これより、抽出結果判定部２ｃは、平均面積Ｓtimeanと所定の閾値Ｔｈとの積Ｓtimean×Ｔｈを微小領域判定評価量とし、微小領域ＡＲ５の面積がこの微小領域判定評価量以下の場合、この微小領域ＡＲ５に対応する細胞領域に抽出失敗情報を対応付ける。
【００８０】
さらに、抽出結果判定部２ｃでは、上述の図６−１，図６−２，図６−３の失敗細胞モデルを成否判定項目とする他に、細胞特徴量を成否判定項目とすることができる。たとえば、細胞領域の面積が所定の閾値よりも小さい場合に、その細胞領域に対して抽出失敗情報を対応付け、閾値以上の場合に、その細胞領域に対して抽出成功情報を対応付けるという抽出結果判定処理を行う。複数種類の成否判定項目について抽出結果判定処理を行う場合には、抽出失敗情報や抽出成功情報を各成否判定項目に対して対応付け、細胞領域データとして記録する。
【００８１】
つぎに、図３に示したステップＳ１０７の細胞追跡処理では、細胞追跡部２ｄは、観測時点が異なる２つの観測画像に含まれる各細胞領域について評価値Ｊを算出し、算出した評価値Ｊの値に応じて、各細胞領域の生細胞の同一性を判断する。評価値Ｊは、観測時点ｔi，ｔi+1の各観測画像中で領域ラベルＲti,m，Rti+1,nが付与された各細胞領域に対して、重心間の距離δd、面積の差δa、円形度の差δc、所定の重み付け係数ｋd，ｋa，ｋcを用い、次式（４）で算出される。
Ｊ＝Ｊ（Ｒti,m，Rti+1,n）＝ｋdδd＋ｋaδa＋ｋcδc        ・・・（４）
ここで、変数ｍ，ｎは、観測時点ｔi，ｔi+1の各観測画像で抽出された細胞領域数Ｍ，Ｎに対して、１≦ｍ≦Ｍ，１≦ｎ≦Ｎの関係にある。
【００８２】
細胞追跡部２ｄは、変数ｍ，ｎの可能なすべての組み合わせについて評価値Ｊを算出し、算出した評価値Ｊが所定の閾値θ以下である場合、領域ラベルＲti,m，Rti+1,nが付与された各細胞領域の生細胞に同一性があると判断し、この細胞領域に同一の追跡ラベルを付与する。同様に、細胞追跡部２ｄは、観測時点ｔi，ｔi+1以外の各観測画像について評価値Ｊを算出し、算出した評価値Ｊが閾値θ以下となる各生細胞を同一の生細胞と判断し、細胞領域に固有の追跡ラベルを付与する。
【００８３】
また、細胞追跡部２ｄは、たとえば図８に示すように、追跡ラベルを付与して対応付けた各細胞領域を表示する追跡ラベル画像を生成する。図８は、図２に示した観測時点ｔi，ｔi+1の観測画像に対応して生成される追跡ラベル画像を示す図である。図８に示すように、細胞追跡部２ｄは、各細胞領域をその輪郭で示すとともに、各細胞領域に付与した追跡ラベル（Ｔ１〜Ｔ１６）を文字情報で示す追跡ラベル画像を生成する。
【００８４】
つぎに、図３に示したステップＳ１０９の追跡結果判定処理では、追跡結果判定部２ｅは、ステップＳ１０７で同一性が認められた各生細胞の細胞領域について、対応付けられた観測時点間の面積、円形度および輝度総和の少なくとも１つの変動量を算出し、算出した変動量をそのまま上述の特徴量評価値として、特徴量評価値があらかじめ定められた閾値以上の場合、この同一性の判断を失敗と判定し、各細胞領域に追跡失敗情報を対応付ける。また、追跡結果判定部２ｅは、対応付けられた観測時点間での状態変化状況が不適切な状況になっているか否かを判断し、明らかに不適切な場合、この同一性の判断を失敗と判定して追跡失敗情報を対応付ける。
【００８５】
図９−１および図９−２は、それぞれ観測時点ｔn〜ｔn+2および観測時点ｔm，ｔm+1の各観測時点間で同一性が認められた生細胞の細胞領域を示す模式図である。図９−１に示すように、追跡ラベルＴａ，Ｔｂが付与された各細胞領域は、観測時点ｔn〜ｔn+2で面積または円形度の変動量が閾値より大きく、追跡失敗情報が対応付けられる。また、図９−２に示すように、追跡ラベルＴｄが付与された細胞領域は、観測時点ｔm，ｔm+1間で消滅したと判断され、状態変化状況が明らかに不適切と考えられるため、追跡失敗情報が対応付けられる。さらに追跡ラベルＴｃが付与された細胞領域は、追跡ラベルＴｄの領域を吸収したと判断され、追跡失敗情報が対応付けられる。なお、図９−２に示す状態は、観測時点ｔmで個別に存在した追跡ラベルＴｃ，Ｔｄの各領域が、観測時点ｔm，ｔm+1間で重なるあるいは接するなどの移動を生じた場合に起こりえるものである。
【００８６】
このように、本実施形態１のステップＳ１０９における追跡結果判定処理では、観測時点間の細胞領域の面積の変動量が所定の閾値以上であるか、観測時点間の細胞領域の円形度の変動量が所定の閾値以上であるか、観測時点間の細胞領域の輝度総和の変動量が所定の閾値以上であるか、といった細胞特徴量に基づく判定や、細胞領域の状態変化に基づく判定を成否判定項目として判定を行っている。本実施形態１のようにステップＳ１０９における追跡結果判定処理で複数の成否判定項目を用いた判定を行う場合には、追跡失敗情報や追跡成功情報を各成否判定項目に対して対応付け、細胞追跡データとして記録する。
【００８７】
つぎに、図３に示したステップＳ１１１の信頼度算出処理では、信頼度算出部２ｆは、ステップＳ１０１で各細胞領域を抽出した細胞抽出処理と、ステップＳ１０７で各生細胞の同一性を判断した同一性判断処理に対して認識信頼度を算出する。認識信頼度Ｒは、細胞領域の抽出および同一性の判断の成否をそれぞれ抽出結果判定部２ｃおよび追跡結果判定部２ｄによって判定した際の成否判定項目の全項目数ＳＮall、認識が失敗であるとされた成否判定項目の項目数ＳＮj、輝度総和と所定の輝度総和変動閾値との差δb、面積と所定の面積変動閾値との差δs、円形度と所定の円形度閾値との差δeおよび所定の重み付け係数ｋb，ｋs，ｋeを用いて、次式（５）で算出される。
Ｒ＝（ＳＮall−ＳＮj）／ＳＮall＋ｋbδb＋ｋsδs＋ｋeδe  ・・・（５）
なお、認識信頼度Ｒは、式（５）の右辺の第１項または第２〜４項のいずれか一方を用いて算出するようにしてもよい。
【００８８】
また、信頼度算出部２ｆは、このように算出した認識信頼度の値に応じて、各細胞領域を細胞グループに分類する。具体的には、信頼度算出部２ｆは、分類する細胞グループ数Ｇおよび認識された細胞領域の総数ＡＣを用いて、認識信頼度Ｒgiが次式（６）の関係を満足する細胞領域を細胞グループｇi（ｉ＝１，２，・・・ＡＣ）に分類する。
１／Ｇ＋Ｒg(i-1)≦Ｒgi≦１／Ｇ＋Ｒgi                      ・・・（６）
【００８９】
つぎに、図３に示したステップＳ１１３でデータ統合処理を行った後、図３に示したステップＳ１１５の結果表示処理では、画像表示制御部６ｂは、たとえば図１０に示すように、領域ラベル「Ｉｄａ」を有する細胞領域の輝度総和を観測時点に対してグラフ化した細胞特徴画像を示すとともに、この細胞領域の統合領域データをテキストデータとして重ね合わせて表示する。このように観測時点に対してグラフ化した細胞特徴画像と統合領域データとを同時に表示することによって、画像表示制御部６ｂは、細胞特徴量の経時変化と細胞領域の抽出または追跡の成否状況とを観測者に容易に対比させ、観測させることができる。
【００９０】
なお、画像表示制御部６ｂは、図１０に示したような細胞特徴画像を複数の細胞領域について同時に表示してもよく、この場合、たとえば、観測者が注目する細胞領域の選択情報を入力部４から取得して、この選択情報に対応する統合領域データを優先的に表示するとよい。また、画像表示制御部６ｂは、輝度総和等の細胞特徴量に限らず、認識信頼度等を同様にグラフ化して表示するようにしてもよく、グラフ化した認識信頼度を統合領域データとともに表示するようにしてもよい。
【００９１】
さらに、画像表示制御部６ｂは、たとえば図１１に示すように、認識信頼度の低い細胞領域を示すグループ化画像と、この細胞領域を示す観測画像および領域抽出画像とを並べて表示する。このように観測画像、細胞抽出画像、グループ化画像等を並べて表示することによって、画像表示制御部６ｂは、細胞領域の各種の特徴を観測者に視覚的に容易に認識しやすい状態で観測させることができる。
【００９２】
また、画像表示制御部６ｂは、たとえば図１２−１に示すように、観測画像に重ねて抽出信頼度の低い細胞領域の位置を枠型の画像マークで明示するとともに、画像マークで囲まれた細胞領域の統合領域データをテキストデータとして重ね合わせて表示する。このように抽出信頼度が低い等、所定の特徴を有する細胞領域の領域位置を画像マークで明示することによって、画像表示制御部６ｂは、所定の特徴を有する細胞領域を観測者に容易に視認させることができるとともに、画像マークで明示した細胞領域の統合領域データを同時に表示することによって、注目する細胞領域の抽出および追跡に関する情報を容易に把握させることができる。
【００９３】
また、画像表示制御部６ｂは、図１２−２に示すように、図１２−１における観測画像の代わりに領域抽出画像や細胞追跡画像を表示することもできる。なお、画像表示制御部６ｂは、画像マークの表示色の色相、表示輝度等を、認識信頼度、細胞グループ、細胞認識処理の成否判定項目等に応じて異ならせるようにしてもよく、これによって注目する細胞領域の各種の特徴を観測者に一層容易に把握させることができる。
【００９４】
例えば、失敗の理由となった成否判定項目の種類に応じて表示色を異ならせる場合について、図１２−１および１２−２に例示する。図１２−１では、細胞領域の認識が失敗したと判断された要因が、細胞領域の面積が閾値に比べて小さいか否かという成否判定項目であるということを表示するために、細胞領域の位置を当該成否判定項目に応じた赤色の枠で当該細胞領域の位置を表示している。図１２−２では、細胞領域の認識が失敗したと判断された要因が、内部細胞が存在するか否かという成否判定項目（図６−１参照）であるということを表示するために、細胞領域の位置を当該成否判定項目に応じた青色の枠で当該細胞領域の位置を表示している。
【００９５】
また、画像表示制御部６ｂは、たとえば図１３に示すように、認識信頼度が低い細胞領域を除去して、認識信頼度が高い細胞領域のみを表示する。これによって、画像表示制御部６ｂは、信頼性の高い観測が行える細胞領域のみを観測者に観測させることができる。
【００９６】
さらに、画像表示制御部６ｂは、これらに限定されず、観測画像、細胞抽出画像、細胞特徴画像、細胞追跡画像、グループ化画像等、各種の画像を統合領域データとともに様々な組合せおよび表示形態で表示し、認識成否情報、認識信頼度等をもとに着目する細胞領域を観測者に容易に視認させ観測させることができる。
【００９７】
以上説明したように、この実施の形態１にかかる画像処理装置１では、細胞認識処理（細胞抽出処理や同一性判断処理）における細胞領域の認識の成否についての判定結果としての抽出成否情報や、抽出失敗理由や、追跡成否情報や、追跡失敗理由や、抽出信頼度や、追跡信頼度や、細胞グループ情報といった認識成否情報を記録しておくことで、細胞認識処理において行った判断の内容を後に活用することができる。これにより、細胞認識処理における判断の結果を有効に利用することが可能である。
【００９８】
なお、上述したステップＳ１１１の信頼度算出処理では、信頼度算出部２ｆは、ステップＳ１０１の細胞抽出処理と、ステップＳ１０７の同一性判断処理とに対して包括的な認識信頼度を算出するようにしたが、ステップＳ１０１の細胞抽出処理における細胞領域の抽出に対する信頼度を示す抽出信頼度と、ステップＳ１０７の同一性判断処理における同一性の判断に対する信頼度を示す追跡信頼度とを個別に算出することもできる。
【００９９】
すなわち、信頼度算出２ｆは、式（５）において、全項目数ＳＮallを細胞領域の抽出の成否を抽出結果判定部２ｃによって判定した際の成否判定項目の全項目数とし、項目数ＳＮjを抽出が失敗であるとされた成否判定項目の項目数として、抽出信頼度を算出することができる。同様に、信頼度算出２ｆは、式（５）において、全項目数ＳＮallを細胞領域の同一性の判断の成否を追跡結果判定部２ｄによって判定した際の成否判定項目の全項目数とし、項目数ＳＮjを同一性の判断が失敗であるとされた成否判定項目の項目数として、追跡信頼度を算出することができる。
【０１００】
また、信頼度算出部２ｆは、式（６）において、細胞グループ数Ｇを抽出細胞グループ数、総数ＡＣを抽出された細胞領域の総数として、認識信頼度Ｒgiに替えて抽出信頼度が式（６）の関係を満足する細胞領域を抽出細胞グループとして分類できる。同様に、信頼度算出部２ｆは、式（６）において、細胞グループ数Ｇを追跡細胞グループ数、総数ＡＣを同一性が判断された細胞領域の総数として、認識信頼度Ｒgiに替えて追跡信頼度が式（６）の関係を満足する細胞領域を追跡細胞グループとして分類できる。そして、信頼度算出部２ｆは、抽出細胞グループに対応して抽出グループ画像を生成し、追跡細胞グループに対応して追跡グループ化画像を生成できる。
【０１０１】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、観測画像および各種処理画像の中から表示項目選択情報によって選択された各画像を表示するようにしていたが、この実施の形態２では、さらに、選択された細胞領域を抽出して表示するようにしている。
【０１０２】
図１４は、本発明の実施の形態２にかかる画像処理装置１１の構成を示すブロック図である。図１４に示すように、画像処理装置１１は、画像処理装置１が備えた入力部４および制御部６に換えて、入力部１４および制御部１６を備える。入力部１４は、入力部４の構成に加えて表示細胞選択部１４ｃおよび修正データ入力部１４ｄを備える。制御部１６は、制御部６が備えた画像表示制御部６ｂおよび細胞データ統合部６ｃに換えて、画像表示制御部１６ｂおよび細胞データ統合部１６ｃを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【０１０３】
選択情報入力手段としての表示細胞選択部１４ｃは、観測画像に含まれる生細胞のうち少なくとも１つの生細胞に対応する細胞領域を選択する細胞選択情報の入力を受け付ける。画像表示制御部１６ｂは、表示項目選択情報によって選択された各画像の中から、たとえば図１５に示すように、さらに細胞選択情報によって選択された細胞領域を抽出して表示する制御を行う。なお、図１５は、図１３に示したグループ化画像の中から選択された細胞領域を抽出し表示した場合を示している。
【０１０４】
このように細胞領域を選択的に表示することによって、画像表示制御部１６ｂは、観測者が注目する生細胞に対応する細胞領域のみを表示し、観測者に一層容易かつ効率的に観測を行わせることができる。観測者は、表示細胞選択部１４ｃを介して細胞選択情報を入力することによって、観測画像および各種の処理画像の中から注目する生細胞の細胞領域を任意に選択し、表示させることができる。
【０１０５】
修正データ入力部１４ｄは、細胞選択情報によって選択された細胞領域に対応する統合領域データを修正するための修正データの入力を受け付ける。細胞データ統合部１６ｃは、入力された修正データをもとに、統合領域データを修正して更新する。観測者は、修正データ入力部１４ｄを介して修正データを入力することによって、注目する生細胞の統合領域データの一部もしくは全部を適宜修正することができる。
【０１０６】
なお、上述した実施の形態１および２では、観測画像入力部４ａから入力され観測画像記憶部５ａに記憶された一連の観測画像を処理するように示したが、観測画像入力部４ａから観測画像が入力されるごとに適宜処理を行うようにしてもよい。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図２】図１に示した画像処理装置に入力される観測画像を示す図である。
【図３】図１に示した画像処理装置が行う処理手順を示すフローチャートである。
【図４】図３に示した細胞抽出処理の処理手順を示すフローチャートである。
【図５】領域ラベル画像を示す図である。
【図６−１】内部細胞が存在する失敗細胞モデルを示す図である。
【図６−２】穴が存在する失敗細胞モデルを示す図である。
【図６−３】微小領域が存在する失敗細胞モデルを示す図である。
【図７】図３に示した抽出結果判定処理の処理手順を示すフローチャートである。
【図８】追跡ラベル画像を示す図である。
【図９−１】特徴量の変動量が大きく同一性判定処理が失敗と判定される場合を示す図である。
【図９−２】状態変化状況が不適切のため同一性判定処理が失敗と判定される場合を示す図である。
【図１０】細胞特徴量の経時変化をグラフ化した細胞特徴画像を示す図である。
【図１１】信頼度が低い細胞領域のグループ化画像、観測画像および領域抽出画像を示す図である。
【図１２−１】領域位置を示す画像マークを付した観測画像を示す図である。
【図１２−２】領域位置を示す画像マークを付した領域抽出画像を示す図である。
【図１３】信頼度が高い細胞領域のみ表示したグループ化画像を示す図である。
【図１４】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図１５】細胞選択情報によって選択された細胞領域を抽出したグループ化画像を示す図である。
【符号の説明】
【０１０８】
１，１１    画像処理装置
２    画像処理部
２ａ    細胞抽出部
２ｂ    特徴量算出部
２ｃ    抽出結果判定部
２ｄ    細胞追跡部
２ｅ    追跡結果判定部
２ｆ    信頼度算出部
３    表示部
４，１４    入力部
４ａ    観測画像入力部
４ｂ    表示項目選択部
５    記憶部
５ａ    観測画像記憶部
５ｂ    処理画像記憶部
５ｃ    細胞領域データ記憶部
５ｄ    細胞追跡データ記憶部
６    制御部
６ａ    画像処理制御部
６ｂ，１６ｂ    画像表示制御部
６ｃ，１６ｃ    細胞データ統合部
１４ｃ    表示細胞選択部
１４ｄ    修正データ入力部
【図１】
2006349533.tif 000003
【図２】
2006349533.tif 000004
【図３】
2006349533.tif 000005
【図４】
2006349533.tif 000006
【図５】
2006349533.tif 000007
【図６−１】
2006349533.tif 000008
【図６−２】
2006349533.tif 000009
【図６−３】
2006349533.tif 000010
【図７】
2006349533.tif 000011
【図８】
2006349533.tif 000012
【図９−１】
2006349533.tif 000013
【図９−２】
2006349533.tif 000014
【図１０】
2006349533.tif 000015
【図１１】
2006349533.tif 000016
【図１２−１】
2006349533.tif 000017
【図１２−２】
2006349533.tif 000018
【図１３】
2006349533.tif 000019
【図１４】
2006349533.tif 000020
【図１５】
2006349533.tif 000021