(57)【要約】【課題】画像内の対象領域を時系列に観測して正確に追跡対象を追跡できること。【解決手段】対象追跡装置１は、画像データを取得する画像取得部２ｃと、画像から対象領域を検出する領域検出部２ｄと、対象領域の特性を示す領域パラメータを算出するパラメータ算出部２ｅと、処理対象時点の対象領域と識別時点の対象領域との対応関係を示す識別子を処理対象時点の対象領域に付与する領域識別部２ｆと、識別子と領域パラメータとを対応づけて特性情報を生成するとともに、各時点の履歴情報を時系列に対応づけて履歴情報を生成する履歴生成部４ａと、判別時点から処理対象時点までの履歴情報の整合性を判別する整合性判別部４ｂと、整合性判別部４ｂによって整合性がないと判別された場合に履歴情報を修正する履歴修正部４ｃと、を備える。【選択図】        図１
2006209698.tif 000002
【特許請求の範囲】
【請求項１】
複数の時点で撮像された各画像内の撮像対象に対応する対象画像領域を時系列に観測して前記撮像対象を追跡する対象追跡装置において、
前記各画像の画像データを取得する画像取得手段と、
前記画像取得手段が取得した前記画像データをもとに、前記各画像の中から前記対象画像領域を検出する領域検出手段と、
前記画像データをもとに、前記領域検出手段によって検出された前記対象画像領域の特性を示す領域パラメータを算出するパラメータ算出手段と、
処理対象時点の対象画像領域の特性を示す領域パラメータおよび前記処理対象時点よりも前または後の時点である識別時点の対象画像領域の特性を示す領域パラメータをもとに、前記処理対象時点の対象画像領域と前記識別時点の対象画像領域との対応関係を示す識別子を前記処理対象時点の対象画像領域に付与する領域識別手段と、
前記複数の時点毎に、前記領域識別手段によって付与された識別子および該識別子に対応する領域パラメータを対応づけて特性情報を生成するとともに、生成した各時点の前記特性情報を時系列に対応づけて履歴情報を生成する履歴生成手段と、
前記処理対象時点よりも所定の複数時点前または後の時点である判別時点から前記処理対象時点までの各時点の前記特性情報をもとに、前記判別時点から前記処理対象時点までの前記履歴情報に整合性があるか否かを判別する整合性判別手段と、
前記整合性判別手段によって前記履歴情報に整合性がないと判別された場合、前記判別時点から前記処理対象時点までの前記履歴情報が整合するように該履歴情報を修正する履歴修正手段と、
を備えたことを特徴とする対象追跡装置。
【請求項２】
前記領域検出手段は、前記各画像の中から複数の前記対象画像領域を検出することを特徴とする請求項１に記載の対象追跡装置。
【請求項３】
前記領域検出手段は、あらかじめ設定した値と所定の対応関係にある前記画像データの画素値をもとに、前記各画像の中から前記対象画像領域を検出することを特徴とする請求項１または２に記載の対象追跡装置。
【請求項４】
前記パラメータ算出手段は、前記対象画像領域毎の特性を示す前記領域パラメータを算出することを特徴とする請求項１〜３のいずれか一つに記載の対象追跡装置。
【請求項５】
前記パラメータ算出手段は、前記対象画像領域の集合の特性を示す前記領域パラメータを算出することを特徴とする請求項１〜４のいずれか一つに記載の対象追跡装置。
【請求項６】
前記領域識別手段は、前記処理対象時点の前記領域パラメータと所定の対応関係にある領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする請求項１〜５のいずれか一つに記載の対象追跡装置。
【請求項７】
前記領域パラメータは、前記対象画像領域の前記画像内の位置を示し、
前記領域識別手段は、前記処理対象時点の前記領域パラメータが示す前記位置に最も近い位置を示す領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする請求項６に記載の対象追跡装置。
【請求項８】
前記領域パラメータは、前記対象画像領域の前記画像内の位置および面積を示し、
前記領域識別手段は、前記処理対象時点の前記領域パラメータが示す前記位置に所定範囲内で近接した位置を示すとともに前記面積に近い面積を示す領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする請求項６に記載の対象追跡装置。
【請求項９】
前記領域パラメータは、前記対象画像領域の前記画像内の範囲を示し、
前記領域識別手段は、前記処理対象時点の前記領域パラメータが示す前記範囲と最も広く共通した範囲を示す領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする請求項６に記載の対象追跡装置。
【請求項１０】
前記領域識別手段は、前記検索結果の領域パラメータとして前記処理対象時点の１つの領域パラメータに対応する前記識別時点の複数の領域パラメータを検出した場合、該複数の領域パラメータに対応する各対象画像領域との同一性を示す識別子を前記１つの領域パラメータに対応する対象画像領域に付与することを特徴とする請求項６〜９のいずれか一つに記載の対象追跡装置。
【請求項１１】
前記領域識別手段は、前記検索結果の領域パラメータとして前記処理対象時点の複数の領域パラメータに対応する前記識別時点の１つの領域パラメータを検出した場合、該１つの領域パラメータに対応する対象画像領域との同一性を示す識別子を前記複数の領域パラメータに対応する各対象画像領域に付与することを特徴とする請求項６〜９のいずれか一つに記載の対象追跡装置。
【請求項１２】
前記領域識別手段は、前記処理対象時点のすべての対象画像領域に識別子を付与した後、該付与した識別子のうちいずれの識別子にも同一性が示されない対象画像領域である未対応対象画像領域を前記識別時点の対象画像領域の中から検索し、
前記履歴生成手段は、前記領域識別手段によって前記未対応対象画像領域が検出された場合、同一性が示されない旨を示す未対応情報を検出された未対応対象画像領域に対応する特性情報に書き加えて特性情報を生成するとともに、生成した特性情報を前記処理対象時点の特性情報として前記履歴情報を生成することを特徴とする請求項６〜１１のいずれか一つに記載の対象追跡装置。
【請求項１３】
前記領域パラメータは、前記対象画像領域の前記画像内の領域数および位置を示し、
前記整合性判別手段は、前記判別時点から前記処理対象時点までの各時点の前記領域パラメータが示す前記領域数および位置をもとに、前記判別時点から前記処理対象時点までの前記履歴情報に整合性があるか否かを判別することを特徴とする請求項１〜１２のいずれか一つに記載の対象追跡装置。
【請求項１４】
前記整合性判別手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が同一の前記対象画像領域に対して複数の前記識別子を有する場合、前記判別時点から前記処理対象時点までの前記履歴情報に整合性がないと判別し、
前記履歴修正手段は、前記判別時点の特性情報であって前記複数の識別子が同一性を示す各特性情報を統合するとともに、統合した結果の特性情報を前記同一の対象画像領域に対応づけて前記履歴情報を修正することを特徴とする請求項１０に記載の対象追跡装置。
【請求項１５】
前記整合性判別手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が複数の前記対象画像領域に対して同一の前記対応関係を示す識別子を有する場合、前記判別時点から前記処理対象時点までの前記履歴情報に整合性がないと判別し、
前記履歴修正手段は、前記判別時点の特性情報であって前記同一の対応関係を示す識別子が同一性を示す特性情報を分割するとともに、分割した結果の各特性情報を前記複数の対象画像領域のそれぞれに対応づけて前記履歴情報を修正することを特徴とする請求項１１に記載の対象追跡装置。
【請求項１６】
前記整合性判別手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が前記未対応情報を書き込まれた共通の特性情報を有する場合、前記判別時点から前記処理対象時点までの前記履歴情報に整合性がないと判別し、
前記履歴修正手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が有する前記未対応情報を書き込まれた共通の特性情報を削除して前記履歴情報を修正することを特徴とする請求項１２に記載の対象追跡装置。
【請求項１７】
前記処理対象時点および前記識別時点の各領域パラメータをもとに、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたか否かを判断し、前記分裂が生じたと判断した場合、前記分裂後の各撮像対象に対応する対象画像領域の領域パラメータに前記分裂によって派生した旨を示す分裂情報を書き込む分裂判定手段をさらに備え、
前記領域識別手段は、前記分裂情報を書き込まれた領域パラメータに対応する前記処理対象時点の対象画像領域に、前記分裂によって派生した旨を示すとともに前記分裂前の撮像対象に対応する対象画像領域との親子関係を示す識別子を付与することを特徴とする請求項１〜１６のいずれか一つに記載の対象追跡装置。
【請求項１８】
前記領域パラメータは、前記対象画像領域の前記画像内の面積および前記対象画像領域に対応する画像データの画素値の総和を示し、
前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記２つの対象画像領域に対応する各領域パラメータが示す各面積があらかじめ設定した面積範囲に含まれるか否かを判断し、前記各面積が前記面積範囲に含まれると判断した場合、前記２つの対象画像領域に対応する各領域パラメータが示す各画素値の総和の合計から前記１つの対象画像領域に対応する領域パラメータが示す画素値の総和を差し引いた値の大きさが所定の大きさ以下であるか否かをさらに判断し、前記差し引いた値の大きさが前記所定の値以下であると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする請求項１７に記載の対象追跡装置。
【請求項１９】
前記領域パラメータは、前記対象画像領域の前記画像内の円形度および面積を示し、
前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記識別時点から所定の第１複数時点前の時点までの各時点に、前記１つの対象画像領域に対応する各領域パラメータが示す円形度が所定の円形度値を超える時点があるか否かを判断し、前記所定の円形度値を超える時点があると判断した場合、前記所定の円形度値を超える時点のうち時系列で最初の時点から所定の第２複数時点前の時点までの各時点の前記１つの対象画像領域に対応する各領域パラメータが示す円形度および面積が時系列でそれぞれ単調増加および単調減少しているか否かをさらに判断し、前記円形度および面積が時系列でそれぞれ単調増加および単調減少していると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする請求項１７に記載の対象追跡装置。
【請求項２０】
前記領域パラメータは、前記対象画像領域内の第１要素および第２要素に対応する面積を示し、
前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記１つの対象画像領域に対応する領域パラメータが示す前記第１要素に対応する面積と前記第２要素に対応する面積との面積比があらかじめ設定した面積比範囲に含まれるか否かを判断し、前記面積比が前記面積比範囲に含まれると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする請求項１７に記載の対象追跡装置。
【請求項２１】
前記領域パラメータは、前記対象画像領域内の特定要素に対応する領域の濃度分布を示し、
前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記１つの対象画像領域に対応する領域パラメータが示す前記濃度分布中の極大点を検出し、検出した極大点が２つであるか否かを判断し、前記検出した極大点が２つであると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする請求項１７に記載の対象追跡装置。
【請求項２２】
前記分裂情報を書き込まれた各時点の領域パラメータに対応する対象画像領域に付与された識別子であって、前記分裂によって派生した旨を示すとともに前記親子関係を示す識別子をもとに、各時点間の前記親子関係を時系列に関連づけた系譜情報を生成する系譜生成手段をさらに備えたことを特徴とする請求項１７に記載の対象追跡装置。
【請求項２３】
前記撮像対象は、生体組織の細胞であることを特徴とする請求項１〜２２のいずれか一つに記載の対象追跡装置。
【請求項２４】
前記撮像対象を間欠撮像して前記画像データを生成する撮像手段をさらに備え、
前記画像取得手段は、前記撮像手段によって生成された前記画像データを取得することを特徴とする請求項１〜２３のいずれか一つに記載の対象追跡装置。
【請求項２５】
請求項２４に記載の対象追跡装置を備えた顕微鏡システムであって、
前記撮像対象の像を拡大投影する結像光学系を備え、
前記対象追跡装置における前記撮像手段は、前記結像光学系によって該結像光学系の結像面に拡大投影された前記撮像対象の像を撮像して前記画像データを生成することを特徴とする顕微鏡システム。
【請求項２６】
複数の時点で撮像された各画像内の撮像対象に対応する対象画像領域を検出して前記撮像対象を時系列に追跡する対象追跡装置に、前記対象画像領域を検出して前記撮像対象を時系列に追跡させるための対象追跡プログラムであって、
前記対象追跡装置に、
前記各画像の画像データを取得する画像取得手順と、
前記画像取得手順で取得した前記画像データをもとに、前記各画像の中から前記対象画像領域を検出する領域検出手順と、
前記画像データをもとに、前記領域検出手順によって検出された前記対象画像領域の特性を示す領域パラメータを算出するパラメータ算出手順と、
処理対象時点の対象画像領域の特性を示す領域パラメータおよび前記処理対象時点よりも前または後の時点である識別時点の対象画像領域の特性を示す領域パラメータをもとに、前記処理対象時点の対象画像領域と前記識別時点の対象画像領域との対応関係を示す識別子を前記処理対象時点の対象画像領域に付与する領域識別手順と、
前記複数の時点毎に、前記領域識別手順によって付与された識別子および該識別子に対応する領域パラメータを対応づけて特性情報を生成するとともに、生成した各時点の前記特性情報を時系列に対応づけて履歴情報を生成する履歴生成手順と、
前記処理対象時点よりも所定の複数時点前または後の時点である判別時点から前記処理対象時点までの各時点の前記特性情報をもとに、前記判別時点から前記処理対象時点までの前記履歴情報に整合性があるか否かを判別する整合性判別手順と、
前記整合性判別手順によって前記履歴情報に整合性がないと判別された場合、前記判別時点から前記処理対象時点までの前記履歴情報が整合するように該履歴情報を修正する履歴修正手順と、
を実行させることを特徴とする対象追跡プログラム。
【請求項２７】
前記処理対象時点および前記識別時点の各領域パラメータをもとに、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたか否かを判断し、前記分裂が生じたと判断した場合、前記分裂後の各撮像対象に対応する対象画像領域の領域パラメータに前記分裂によって派生した旨を示す分裂情報を書き込む分裂判定手順をさらに実行させ、
前記領域識別手順は、前記分裂情報を書き込まれた領域パラメータに対応する前記処理対象時点の対象画像領域に、前記分裂によって派生した旨を示すとともに前記分裂前の撮像対象に対応する対象画像領域との親子関係を示す識別子を付与することを特徴とする請求項２６に記載の対象追跡プログラム。
【請求項２８】
前記分裂情報を書き込まれた各時点の領域パラメータに対応する対象画像領域に付与された識別子であって、前記分裂によって派生した旨を示すとともに前記親子関係を示す識別子をもとに、各時点間の前記親子関係を時系列に関連づけた系譜情報を生成する系譜生成手順をさらに実行させることを特徴とする請求項２７に記載の対象追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の撮像対象を観測するための対象追跡装置、顕微鏡システムおよび対象追跡プログラムに関し、特に複数の時点で撮像された各画像内の撮像対象に対応する画像領域を時系列的に観測して撮像対象を追跡する対象追跡装置、顕微鏡システムおよび対象追跡プログラムに関するものである。
【背景技術】
【０００２】
従来、顕微鏡等を利用して種々の生体試料を標本とした観測が行われている。顕微鏡を用いた生体試料の観測では、通常、目的に応じて観測対象を染色した試料がスライドガラス上に載置され、拡大光学系を介して目視で観測される。このような顕微鏡を用いた観測は、微生物、細胞等の培養時の動きや試薬を作用させたときの経時変化を計測し、統計的な特徴量や物理量を記録する目的で盛んに利用されている。
【０００３】
近年、顕微鏡のステージ上で細胞の培養を可能とする技術が開発されており、これによって試薬等を作用させた細胞の動きや経時変化が実時間で観測できるようになっている。ところが、従来の目視による観測手法では、観測対象数、観測頻度、観測範囲、観測時間等の増大にともなって観測者の負担が増大するなどの問題があり、十分な観測を行うことが困難であった。これに対して、試料の像をカメラ等で撮像し、撮像した画像内の観測対象を検出して観測対象の動きや経時変化を自動的に追跡する追跡装置および追跡システムの開発が行われている。
【０００４】
画像内の観測対象を検出して追跡する技術として、画像データから追跡対象である物体に対応する領域を検出し、検出した領域を時系列に観測して追跡を行う物体追跡装置が提案されている（たとえば、特許文献１参照）。この物体追跡装置では、検出した物体の領域の一部が欠落したり、１つの物体が分裂して複数の物体として検出されたり、複数の物体が見かけ上１つの物体として検出されたりする場合に対応するため、連続するフレーム間で物体数の変化を求めて物体の分裂や結合などの状態変化を検出し、検出した状態変化をもとに物体の状態を示す属性情報の履歴を修正するようにしている。
【０００５】
【特許文献１】特開平１１−３２３２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の物体追跡装置では、連続する２つのフレーム間の物体数の変化によって物体の状態変化を決定しているため、近接して３つ以上存在する物体の状態変化を正確に検出することができず、たとえば、生体組織の細胞を物体として追跡する場合、分裂や増殖によって細胞が密集状態になると正確な追跡が行えなくなるという問題があった。
【０００７】
ここで、従来の物体追跡装置によって追跡が行えなくなる場合を説明する。図１５は、時系列の時点ｔ1，ｔ2，ｔ3，ｔ4で検出された物体の領域を示す図である。また、図１６−１および図１６−２は、図１５に示す検出結果をもとに追跡が行われた結果の一例を示す状態遷移図である。図１６−１および図１６−２では、図中の「●」が図１５に示す各領域に対応した領域を示し、「●」間を結ぶ矢印が各時点で検出した領域の追跡結果としての対応関係を示す。
【０００８】
図１５に示すように、時点ｔ1で領域Ｏ11，Ｏ12，Ｏ13、時点ｔ2で領域Ｏ21，Ｏ22、時点ｔ3で領域Ｏ31，Ｏ32がそれぞれ検出され、これらの検出結果をもとに各時点間の各領域の対応関係が判断され、図１６−１に示すように、時点ｔ3の追跡結果が得られる。この時点ｔ3の追跡結果は、領域Ｏ11，Ｏ12が結合して領域Ｏ21に対応し、この領域Ｏ21が領域Ｏ31に対応するという遷移状態と、領域Ｏ13が領域Ｏ22，Ｏ32に順次対応するという遷移状態を示している。この場合、領域Ｏ21が領域Ｏ31へ領域数を変えずに対応していると判断されたことから、時点ｔ1から時点ｔ2の間に結合して領域Ｏ21に遷移したと判断されていた個別の領域Ｏ11，Ｏ12は、時点ｔ1で既に結合した１つの領域であったものと修正判断され、時点ｔ3の修正追跡結果に示すように、１つの領域Ｏ11Ｏ12であったと認識しなおされる。
【０００９】
さらに、時点ｔ4で領域Ｏ41，Ｏ42，Ｏ43が検出されると、領域Ｏ31が領域Ｏ41に対応し、領域Ｏ32が分裂して領域Ｏ42，Ｏ43に対応するという遷移状態を示す時点ｔ4の追跡結果が得られる。ここでは、領域Ｏ32が分裂して２つの領域に遷移したと判断されたことから、時点ｔ1〜ｔ3の各時点で１つの領域であると判断されていた領域Ｏ13，Ｏ22，Ｏ32は、各時点で既に２つの領域であったものと修正判断され、時点ｔ4の修正追跡結果に示すように領域Ｏ22が認識しなおされる。このようにして、時点ｔ1で検出された領域Ｏ11，Ｏ12，Ｏ13が追跡履歴上で異なる領域Ｏ11Ｏ12，Ｏ13として記録されることになり、領域の追跡が正しく行われないことになる。
【００１０】
一方、図１６−２は、時点ｔ2から時点ｔ3の間で別の対応関係が判断された場合の追跡結果を示している。図１６−２に示す時点ｔ3の追跡結果は、時点ｔ2から時点ｔ3の間で、領域Ｏ21が分裂して領域Ｏ31，Ｏ32に対応し、領域Ｏ22の対応領域が消滅するという遷移状態を示している。この場合、領域Ｏ21が分裂して２つの領域に遷移したと判断されたことから、時点ｔ2で１つの領域であると判断されていた領域Ｏ21は、既に２つの領域であったものと修正判断され、時点ｔ3の修正追跡結果に示すように領域Ｏ21が認識しなおされる。
【００１１】
また、図１６−２に示す時点ｔ4の追跡結果は、時点ｔ3から時点ｔ4の間で、領域Ｏ31が領域Ｏ41に対応し、領域Ｏ32が分裂して領域Ｏ42，Ｏ43に対応すると判断された遷移状態を示している。ここでは、領域Ｏ32が分裂して２つの領域に遷移したと判断されたことから、時点ｔ1〜ｔ3の各時点で１つの領域であると判断されていた領域Ｏ12，Ｏ32および領域Ｏ21の一方は、各時点で既に２つの領域であったものと修正判断され、時点ｔ4の修正追跡結果に示すように領域Ｏ12，Ｏ21，Ｏ32が認識しなおされる。この場合にも、時点ｔ1で検出された３つの領域Ｏ11，Ｏ12，Ｏ13が追跡履歴上で４つの領域として記録されることになり、領域の追跡が正しく行われないことになる。
【００１２】
さらに、従来の物体追跡装置によって追跡が行えなくなる別の一例を図１７に示す。図１７は、時系列の時点ｔ10，ｔ11，ｔ12で検出された物体の領域を示しており、時点ｔ10で検出された領域Ｏ101が時点ｔ11では検出されず、時点ｔ12で再び検出されたことを示している。この場合、従来の物体追跡装置では、領域が検出されなかった時点ｔ11で物体が消滅したと判断されるため、時点ｔ12で領域Ｏ101と同じ位置に領域Ｏ121が検出されても、領域Ｏ101と領域Ｏ121との対応関係が成立せず、結果として領域の追跡が正しく行われないことになる。
【００１３】
本発明は、上記に鑑みてなされたものであって、複数時点で撮像された各画像内の撮像対象を、より正確に追跡することができる対象追跡装置、顕微鏡システムおよび対象追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために、請求項１にかかる対象追跡装置は、複数の時点で撮像された各画像内の撮像対象に対応する対象画像領域を時系列に観測して前記撮像対象を追跡する対象追跡装置において、前記各画像の画像データを取得する画像取得手段と、前記画像取得手段が取得した前記画像データをもとに、前記各画像の中から前記対象画像領域を検出する領域検出手段と、前記画像データをもとに、前記領域検出手段によって検出された前記対象画像領域の特性を示す領域パラメータを算出するパラメータ算出手段と、処理対象時点の対象画像領域の特性を示す領域パラメータおよび前記処理対象時点よりも前または後の時点である識別時点の対象画像領域の特性を示す領域パラメータをもとに、前記処理対象時点の対象画像領域と前記識別時点の対象画像領域との対応関係を示す識別子を前記処理対象時点の対象画像領域に付与する領域識別手段と、前記複数の時点毎に、前記領域識別手段によって付与された識別子および該識別子に対応する領域パラメータを対応づけて特性情報を生成するとともに、生成した各時点の前記特性情報を時系列に対応づけて履歴情報を生成する履歴生成手段と、前記処理対象時点よりも所定の複数時点前または後の時点である判別時点から前記処理対象時点までの各時点の前記特性情報をもとに、前記判別時点から前記処理対象時点までの前記履歴情報に整合性があるか否かを判別する整合性判別手段と、前記整合性判別手段によって前記履歴情報に整合性がないと判別された場合、前記判別時点から前記処理対象時点までの前記履歴情報が整合するように該履歴情報を修正する履歴修正手段と、を備えたことを特徴とする。
【００１５】
また、請求項２にかかる対象追跡装置は、上記の発明において、前記領域検出手段は、前記各画像の中から複数の前記対象画像領域を検出することを特徴とする。
【００１６】
また、請求項３にかかる対象追跡装置は、上記の発明において、前記領域検出手段は、あらかじめ設定した値と所定の対応関係にある前記画像データの画素値をもとに、前記各画像の中から前記対象画像領域を検出することを特徴とする。
【００１７】
また、請求項４にかかる対象追跡装置は、上記の発明において、前記パラメータ算出手段は、前記対象画像領域毎の特性を示す前記領域パラメータを算出することを特徴とする。
【００１８】
また、請求項５にかかる対象追跡装置は、上記の発明において、前記パラメータ算出手段は、前記対象画像領域の集合の特性を示す前記領域パラメータを算出することを特徴とする。
【００１９】
また、請求項６にかかる対象追跡装置は、上記の発明において、前記領域識別手段は、前記処理対象時点の前記領域パラメータと所定の対応関係にある領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする。
【００２０】
また、請求項７にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域の前記画像内の位置を示し、前記領域識別手段は、前記処理対象時点の前記領域パラメータが示す前記位置に最も近い位置を示す領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする。
【００２１】
また、請求項８にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域の前記画像内の位置および面積を示し、前記領域識別手段は、前記処理対象時点の前記領域パラメータが示す前記位置に所定範囲内で近接した位置を示すとともに前記面積に近い面積を示す領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする。
【００２２】
また、請求項９にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域の前記画像内の範囲を示し、前記領域識別手段は、前記処理対象時点の前記領域パラメータが示す前記範囲と最も広く共通した範囲を示す領域パラメータを前記識別時点の前記領域パラメータの中から検索し、検索結果の領域パラメータに対応する対象画像領域との同一性を示す識別子を前記処理対象時点の対象画像領域に付与することを特徴とする。
【００２３】
また、請求項１０にかかる対象追跡装置は、上記の発明において、前記領域識別手段は、前記検索結果の領域パラメータとして前記処理対象時点の１つの領域パラメータに対応する前記識別時点の複数の領域パラメータを検出した場合、該複数の領域パラメータに対応する各対象画像領域との同一性を示す識別子を前記１つの領域パラメータに対応する対象画像領域に付与することを特徴とする。
【００２４】
また、請求項１１にかかる対象追跡装置は、上記の発明において、前記領域識別手段は、前記検索結果の領域パラメータとして前記処理対象時点の複数の領域パラメータに対応する前記識別時点の１つの領域パラメータを検出した場合、該１つの領域パラメータに対応する対象画像領域との同一性を示す識別子を前記複数の領域パラメータに対応する各対象画像領域に付与することを特徴とする。
【００２５】
また、請求項１２にかかる対象追跡装置は、上記の発明において、前記領域識別手段は、前記処理対象時点のすべての対象画像領域に識別子を付与した後、該付与した識別子のうちいずれの識別子にも同一性が示されない対象画像領域である未対応対象画像領域を前記識別時点の対象画像領域の中から検索し、前記履歴生成手段は、前記領域識別手段によって前記未対応対象画像領域が検出された場合、同一性が示されない旨を示す未対応情報を検出された未対応対象画像領域に対応する特性情報に書き加えて特性情報を生成するとともに、生成した特性情報を前記処理対象時点の特性情報として前記履歴情報を生成することを特徴とする。
【００２６】
また、請求項１３にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域の前記画像内の領域数および位置を示し、前記整合性判別手段は、前記判別時点から前記処理対象時点までの各時点の前記領域パラメータが示す前記領域数および位置をもとに、前記判別時点から前記処理対象時点までの前記履歴情報に整合性があるか否かを判別することを特徴とする。
【００２７】
また、請求項１４にかかる対象追跡装置は、上記の発明において、前記整合性判別手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が同一の前記対象画像領域に対して複数の前記識別子を有する場合、前記判別時点から前記処理対象時点までの前記履歴情報に整合性がないと判別し、前記履歴修正手段は、前記判別時点の特性情報であって前記複数の識別子が同一性を示す各特性情報を統合するとともに、統合した結果の特性情報を前記同一の対象画像領域に対応づけて前記履歴情報を修正することを特徴とする。
【００２８】
また、請求項１５にかかる対象追跡装置は、上記の発明において、前記整合性判別手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が複数の前記対象画像領域に対して同一の前記対応関係を示す識別子を有する場合、前記判別時点から前記処理対象時点までの前記履歴情報に整合性がないと判別し、前記履歴修正手段は、前記判別時点の特性情報であって前記同一の対応関係を示す識別子が同一性を示す特性情報を分割するとともに、分割した結果の各特性情報を前記複数の対象画像領域のそれぞれに対応づけて前記履歴情報を修正することを特徴とする。
【００２９】
また、請求項１６にかかる対象追跡装置は、上記の発明において、前記整合性判別手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が前記未対応情報を書き込まれた共通の特性情報を有する場合、前記判別時点から前記処理対象時点までの前記履歴情報に整合性がないと判別し、前記履歴修正手段は、前記判別時点から前記処理対象時点までのうち前記判別時点を除く各時点の前記特性情報が有する前記未対応情報を書き込まれた共通の特性情報を削除して前記履歴情報を修正することを特徴とする。
【００３０】
また、請求項１７にかかる対象追跡装置は、上記の発明において、前記処理対象時点および前記識別時点の各領域パラメータをもとに、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたか否かを判断し、前記分裂が生じたと判断した場合、前記分裂後の各撮像対象に対応する対象画像領域の領域パラメータに前記分裂によって派生した旨を示す分裂情報を書き込む分裂判定手段をさらに備え、前記領域識別手段は、前記分裂情報を書き込まれた領域パラメータに対応する前記処理対象時点の対象画像領域に、前記分裂によって派生した旨を示すとともに前記分裂前の撮像対象に対応する対象画像領域との親子関係を示す識別子を付与することを特徴とする。
【００３１】
また、請求項１８にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域の前記画像内の面積および前記対象画像領域に対応する画像データの画素値の総和を示し、前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記２つの対象画像領域に対応する各領域パラメータが示す各面積があらかじめ設定した面積範囲に含まれるか否かを判断し、前記各面積が前記面積範囲に含まれると判断した場合、前記２つの対象画像領域に対応する各領域パラメータが示す各画素値の総和の合計から前記１つの対象画像領域に対応する領域パラメータが示す画素値の総和を差し引いた値の大きさが所定の大きさ以下であるか否かをさらに判断し、前記差し引いた値の大きさが前記所定の値以下であると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする。
【００３２】
また、請求項１９にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域の前記画像内の円形度および面積を示し、前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記識別時点から所定の第１複数時点前の時点までの各時点に、前記１つの対象画像領域に対応する各領域パラメータが示す円形度が所定の円形度値を超える時点があるか否かを判断し、前記所定の円形度値を超える時点があると判断した場合、前記所定の円形度値を超える時点のうち時系列で最初の時点から所定の第２複数時点前の時点までの各時点の前記１つの対象画像領域に対応する各領域パラメータが示す円形度および面積が時系列でそれぞれ単調増加および単調減少しているか否かをさらに判断し、前記円形度および面積が時系列でそれぞれ単調増加および単調減少していると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする。
【００３３】
また、請求項２０にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域内の第１要素および第２要素に対応する面積を示し、前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記１つの対象画像領域に対応する領域パラメータが示す前記第１要素に対応する面積と前記第２要素に対応する面積との面積比があらかじめ設定した面積比範囲に含まれるか否かを判断し、前記面積比が前記面積比範囲に含まれると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする。
【００３４】
また、請求項２１にかかる対象追跡装置は、上記の発明において、前記領域パラメータは、前記対象画像領域内の特定要素に対応する領域の濃度分布を示し、前記分裂判定手段は、前記処理対象時点の処理対象とする２つの対象画像領域および前記識別時点の処理対象とする１つの対象画像領域について、前記１つの対象画像領域に対応する領域パラメータが示す前記濃度分布中の極大点を検出し、検出した極大点が２つであるか否かを判断し、前記検出した極大点が２つであると判断した場合、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたと判断し、前記２つの対象画像領域に対応する各領域パラメータに分裂情報を書き込むことを特徴とする。
【００３５】
また、請求項２２にかかる対象追跡装置は、上記の発明において、前記分裂情報を書き込まれた各時点の領域パラメータに対応する対象画像領域に付与された識別子であって、前記分裂によって派生した旨を示すとともに前記親子関係を示す識別子をもとに、各時点間の前記親子関係を時系列に関連づけた系譜情報を生成する系譜生成手段をさらに備えたことを特徴とする。
【００３６】
また、請求項２３にかかる対象追跡装置は、上記の発明において、前記撮像対象は、生体組織の細胞であることを特徴とする。
【００３７】
また、請求項２４にかかる対象追跡装置は、上記の発明において、前記撮像対象を間欠撮像して前記画像データを生成する撮像手段をさらに備え、前記画像取得手段は、前記撮像手段によって生成された前記画像データを取得することを特徴とする。
【００３８】
また、請求項２５にかかる顕微鏡システムは、請求項２４に記載の対象追跡装置を備えた顕微鏡システムであって、前記撮像対象の像を拡大投影する結像光学系を備え、前記対象追跡装置における前記撮像手段は、前記結像光学系によって該結像光学系の結像面に拡大投影された前記撮像対象の像を撮像して前記画像データを生成することを特徴とする。
【００３９】
また、請求項２６にかかる対象追跡プログラムは、複数の時点で撮像された各画像内の撮像対象に対応する対象画像領域を検出して前記撮像対象を時系列に追跡する対象追跡装置に、前記対象画像領域を検出して前記撮像対象を時系列に追跡させるための対象追跡プログラムであって、前記対象追跡装置に、前記各画像の画像データを取得する画像取得手順と、前記画像取得手順で取得した前記画像データをもとに、前記各画像の中から前記対象画像領域を検出する領域検出手順と、前記画像データをもとに、前記領域検出手順によって検出された前記対象画像領域の特性を示す領域パラメータを算出するパラメータ算出手順と、処理対象時点の対象画像領域の特性を示す領域パラメータおよび前記処理対象時点よりも前または後の時点である識別時点の対象画像領域の特性を示す領域パラメータをもとに、前記処理対象時点の対象画像領域と前記識別時点の対象画像領域との対応関係を示す識別子を前記処理対象時点の対象画像領域に付与する領域識別手順と、前記複数の時点毎に、前記領域識別手順によって付与された識別子および該識別子に対応する領域パラメータを対応づけて特性情報を生成するとともに、生成した各時点の前記特性情報を時系列に対応づけて履歴情報を生成する履歴生成手順と、前記処理対象時点よりも所定の複数時点前または後の時点である判別時点から前記処理対象時点までの各時点の前記特性情報をもとに、前記判別時点から前記処理対象時点までの前記履歴情報に整合性があるか否かを判別する整合性判別手順と、前記整合性判別手順によって前記履歴情報に整合性がないと判別された場合、前記判別時点から前記処理対象時点までの前記履歴情報が整合するように該履歴情報を修正する履歴修正手順と、を実行させることを特徴とする。
【００４０】
また、請求項２７にかかる対象追跡プログラムは、上記の発明において、前記処理対象時点および前記識別時点の各領域パラメータをもとに、前記処理対象時点と前記識別時点との間で前記撮像対象に分裂が生じたか否かを判断し、前記分裂が生じたと判断した場合、前記分裂後の各撮像対象に対応する対象画像領域の領域パラメータに前記分裂によって派生した旨を示す分裂情報を書き込む分裂判定手順をさらに実行させ、前記領域識別手順は、前記分裂情報を書き込まれた領域パラメータに対応する前記処理対象時点の対象画像領域に、前記分裂によって派生した旨を示すとともに前記分裂前の撮像対象に対応する対象画像領域との親子関係を示す識別子を付与することを特徴とする。
【００４１】
また、請求項２８にかかる対象追跡プログラムは、上記の発明において、前記分裂情報を書き込まれた各時点の領域パラメータに対応する対象画像領域に付与された識別子であって、前記分裂によって派生した旨を示すとともに前記親子関係を示す識別子をもとに、各時点間の前記親子関係を時系列に関連づけた系譜情報を生成する系譜生成手順をさらに実行させることを特徴とする。
【発明の効果】
【００４２】
本発明にかかる対象追跡装置、顕微鏡システムおよび対象追跡プログラムによれば、複数時点で撮像された各画像内の撮像対象を、より正確に追跡することができる。
【発明を実施するための最良の形態】
【００４３】
以下、添付図面を参照して、本発明にかかる対象追跡装置、顕微鏡システムおよび対象追跡プログラムの好適な実施の形態１を詳細に説明する。なお、この実施の形態１によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００４４】
（実施の形態１）
まず、本発明の実施の形態１にかかる対象追跡装置、顕微鏡システムおよび対象追跡プログラムについて説明する。図１は、この実施の形態１にかかる対象追跡装置および顕微鏡システムの構成を示すブロック図である。図１に示すように、この実施の形態１にかかる対象追跡装置１は、撮像部３が生成した画像データを解析し処理する画像処理部２と、対象ＯＢを撮像して画像データを生成する撮像部３と、対象追跡装置１の全体の処理および動作を制御する制御部４と、追跡結果等の各種情報を記憶する記憶部５と、各種情報の入力を受ける入力部６と、画像情報等の各種情報を表示する表示部７と、外部装置との間で各種情報の通信を行う通信部８と、を備える。画像処理部２、撮像部３、記憶部５、入力部６、表示部７および通信部８は、制御部４に電気的に接続され、制御部４は、これらの各構成部位を制御する。
【００４５】
また、撮像光学系ＯＰは、対象ＯＢからの光を集光し、対象ＯＢの像を結像面上に拡大投影する。この実施の形態１にかかる顕微鏡システムは、これら撮像光学系ＯＰ、対象追跡装置１および対象ＯＢを照明するための図示しない照明装置を備えている。
【００４６】
画像処理部２は、撮像部３から取得した画像データに対する種々の画像処理の制御を行う画像処理制御部２ａと、処理する画像データを一時的に記憶する画像バッファ２ｂと、撮像部３から対象ＯＢを撮像した画像の画像データを取得する画像取得部２ｃと、画像データをもとに、対象ＯＢを撮像した画像の中から追跡対象に対応する対象画像領域としての対象領域を検出する領域検出部２ｄと、画像データをもとに対象領域の特性を示す領域パラメータを算出するパラメータ算出部２ｅと、処理対象時点の対象領域と処理対象時点よりも前または後の時点である識別時点の対象領域との対応関係を示す識別子を処理対象時点の対象領域に付与する領域識別部２ｆと、を備える。領域検出部２ｄ、パラメータ算出部２ｅおよび領域識別部２ｆは、画像処理制御部２ａからの指示をもとに画像データを処理し、処理結果の画像データ、対象領域、領域パラメータ、識別子、各種処理パラメータ等を制御部４に適宜出力する。なお、画像処理制御部２ａは、取得した画像データに対するγ補正、Ｙ／Ｃ分離（輝度信号／色信号分離）、色変換等の各種画像処理制御を行うようにしてもよい。
【００４７】
画像取得部２ｃは、撮像部３によって画像が撮像されるごとに生成される画像データを取得して画像バッファ２ｂに逐次出力する。画像バッファ２ｂは、画像取得部２ｃに画像データが入力されるごとに記憶する画像データを書き換え、常に最新の画像データを保持する。なお、画像取得部２ｃは、取得した画像データを記憶部５に記録するようにしてもよい。
【００４８】
撮像部３は、ＣＣＤ、ＣＭＯＳ等の固体撮像素子とＡ／Ｄ変換器とを用いて実現される。撮像部３は、撮像光学系ＯＰが拡大投影した対象ＯＢの像を固体撮像素子によって検出してアナログ信号である電気信号に変換し、変換したアナログ信号をＡ／Ｄ変換器によってデジタル信号に変換し、変換したデジタル信号を対象ＯＢを撮像した画像の画像データとして画像処理部２に出力する。なお、撮像部３が生成する画像データは、モノクロ画像データ、カラー画像データ、色差信号データ等、対象ＯＢの像が識別できる画像データであれば任意のデータ形式でよい。
【００４９】
制御部４は、記憶部５が記憶した処理プログラムを実行するＣＰＵ等によって実現され、対象追跡装置１の各構成部位が行う各種処理および動作を制御する。特に、制御部４は、記憶部５が記憶した処理プログラムであって、対象ＯＢを撮像した画像の中から所望の追跡対象に対応する対象領域を時系列に検出して追跡対象の追跡を行うための対象追跡プログラムを実行し、このプログラムによる処理に対応する各構成部位を制御する。
【００５０】
また、制御部４は、履歴生成部４ａ、整合性判別部４ｂおよび履歴修正部４ｃを備える。履歴生成部４ａは、撮像部３が対象ＯＢを撮像した時点ごとに、領域識別部２ｆによって付与された識別子およびこの識別子に対応する領域パラメータを対応づけて特性情報を生成するとともに、生成した各時点の特性情報を時系列に対応づけて履歴情報を生成する。整合性判別部４ｂは、処理対象時点よりも所定の複数時点前または後の時点である判別時点から処理対象時点までの各時点の特性情報をもとに、判別時点から処理対象時点までの履歴情報に整合性があるか否かを判別する。履歴修正部４ｃは、整合性判別部４ｂによって履歴情報に整合性がないと判別された場合、判別時点から処理対象時点までの履歴情報が整合するように履歴情報を修正する。
【００５１】
なお、制御部４は、撮像光学系ＯＰおよび対象ＯＢを照明するための照明装置等をさらに制御するようにして、投影光学系ＯＰが対象ＯＢの像を拡大投影する際のフォーカス、ズーム、絞り等の各種設定を行うようにしてもよい。
【００５２】
記憶部５は、所定のＯＳを起動するプログラムや各種処理プログラムなどが予め記憶されたＲＯＭと、制御部４が制御する各種処理の処理パラメータや各構成部位に入出力される各種情報などを記憶するＲＡＭとを用いて実現される。特に、記憶部５は、制御部４が実行する対象追跡プログラムを記憶する。また、記憶部５は、履歴生成部４ａが生成し、履歴修正部４ｃが修正した履歴情報を保持する履歴保持部５ａを備える。これらの他、記憶部５は、撮像部３が撮像した画像データ、画像処理部２が処理した画像データ、識別子および領域パラメータ等を記憶する。
【００５３】
入力部６は、各種スイッチ、入力キー、タッチパネルなどによって実現され、制御部４が制御する各種処理および動作の指示情報の入力を外部から受け付け、制御部４に出力する。また、入力部６は、マイクロフォン等を備え、音声情報の入力を受け付けるようにしてもよい。
【００５４】
表示部７は、液晶ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ、ＬＥＤ表示素子等を用いた表示装置を備え、画像情報等の各種情報を表示する。特に、表示部７は、画像処理部２によって処理された画像データ、対象追跡結果として生成し修正された特性情報および履歴情報等に対応する画像情報および数値情報を表示する。また、表示部７は、制御部４が制御する各種処理および動作の開始や完了を報知する報知情報、各種処理および動作で発生したエラーを報知するエラー情報等を表示するようにしてもよく、スピーカー等をさらに備え、報知情報やエラー情報に関する報知音や警告音等の音声情報を出力するようにしてもよい。
【００５５】
通信部８は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、ＳＣＳＩ等の通信用インターフェース、あるいはＩｒＤＡ規格に準拠した赤外線通信インターフェース等を用いて実現され、外部装置との間で画像情報、数値情報、指示情報、音声情報等の各種情報通信を行う。
【００５６】
撮像光学系ＯＰおよび図示しない照明装置は、生物顕微鏡、工業顕微鏡、立体顕微鏡等の各種顕微鏡によって実現され、明視野観察、暗視野観察、蛍光観察、位相差観察、微分干渉観察、偏光観察、レーザ光観察、エバネッセント光観察等、各種観察手法に対応する。なお、撮像光学系ＯＰは、デジタルカメラやムービーカメラ等、デジタル画像を撮像可能な任意の装置で実現してもよい。
【００５７】
なお、この実施の形態１の顕微鏡システムで観測する対象ＯＢは、たとえば、生体組織の標本であって、対象追跡装置１で追跡する追跡対象は、この標本内の細胞である。追跡対象とする細胞は、蛍光色素等によって染色されている。この細胞の染色は、細胞全体を染色するようにしてもよく、細胞核、アクチン、細胞膜等の特定部位のみを染色するようにしてもよい。なお、細胞の染色は、細胞の観測を容易にするためのものであり、染色によって色素の作用した細胞の該当部位が明るく観測されるようになる。このような染色に用いる染色色素は、蛍光色素に限定されるものではなく、追跡対象の像のコントラストを一層鮮明にするものであって、コントラストの他に対象ＯＢの特性を変質させないものであれば任意の染色色素でよい。また、追跡対象は、同一種類である必要はなく、大きさや形状が異なる複数種類の対象が混在するようにしてもよい。さらに、追跡対象は、生体組織の細胞に限らず、一般的な物体であるならば人物、動物、生物、車などでもよい。
【００５８】
つぎに、対象追跡装置１が行う処理および動作について説明する。図２は、対象追跡装置１が行う処理手順を示すフローチャートである。図２に示すように、制御部４が対象追跡プログラムを実行することによって、撮像部３は、対象ＯＢを撮像し、撮像した画像の画像データを生成して画像処理部２に出力する（ステップＳ１０１）。そして、領域検出部２ｄは、画像データを構成する各画素値をもとに、撮像した画像の中から追跡対象に対応する対象領域を検出する領域検出処理を行い（ステップＳ１０３）、パラメータ算出部２ｅは、検出された各対象領域の特性を示す領域パラメータを算出する領域パラメータ算出処理を行い（ステップＳ１０５）、領域識別部２ｆは、処理対象時点および識別時点の各領域パラメータを参照して処理対象時点の各対象領域に識別子を付与する識別処理を行い（ステップＳ１０７）、すべての対象領域に識別子が付与されているか否かを判断し（ステップＳ１０９）、すべてに付与されていない場合（ステップＳ１０９：Ｎｏ）、識別処理を継続する。
【００５９】
処理対象時点のすべての対象領域に識別子が設定されている場合（ステップＳ１０９：Ｙｅｓ）、履歴生成部４ａは、画像処理部２から取得した各対象領域の識別子および領域パラメータを対応づけて特性情報を生成するとともに、各時点の特性情報を時系列に対応づけて履歴情報を生成する履歴情報生成処理を行い（ステップＳ１１１）、整合性判別部４ｂは、判別時点から処理対象時点までの履歴情報に整合性があるか否かを判断し（ステップＳ１１３）、整合性があると判断された場合（ステップＳ１１３：Ｙｅｓ）、制御部４は、表示部７に履歴情報等の各種処理結果を表示させ（ステップＳ１１５）、一連の処理を終了する。一方、整合性がないと判断された場合（ステップＳ１１３：Ｎｏ）、履歴修正部４ｃは、判別時点から処理対象時点までの履歴情報を修正する履歴修正処理を行い（ステップＳ１１７）、制御部４は、ステップＳ１１５を実行して一連の処理を終了する。
【００６０】
なお、画像処理制御部２ａは、画像処理部２で行う各処理ステップによって生成された情報を制御部４に適宜出力し、制御部４は、画像処理部２から取得した情報および制御部４で生成した情報を記憶部５に適宜記憶する。また、制御部４は、あらかじめ設定された処理回数、処理時間等に達するまで、または入力部６もしくは通信部８から処理終了もしくは処理中断等の指示情報が入力されるまで、図２に示した一連の処理手順を繰り返し行う。なお、制御部４は、あらかじめ撮像し保存した画像データをもとにステップＳ１０３以降の処理を行うようにしてもよく、この場合、たとえば、すべての画像データを処理するまでステップＳ１０３以降の処理を繰り返すようにすればよい。
【００６１】
ステップＳ１０３では、領域検出部２ｄは、画像データを構成する画素値の分布をもとに対象領域を検出する。たとえば、領域検出部２ｄは、画像データ中の各画素値とあらかじめ設定したしきい値とを比較して、画素値の方が大きい場合、対応する画素位置に「１」を設定し、画素値の方が小さい場合、対応する画素位置に「０」を設定して２値画像を生成し、「１」が設定された画素の集合を対象領域として検出する。
【００６２】
なお、比較に用いるしきい値は、固定の値でもよいが、画像データ全体の画素値の平均値や画素値の大きさの分布をもとに判別分析法によって設定するなど、適応的に設定した値としてもよい。また、各画素値としきい値との比較の結果に応じて各画素位置に設定する値は、「１」および「０」に限らず、各画素値がしきい値よりも大きいか否かが識別できる値であれば任意でよく、アルファベットや記号等を用いて符号化するようにしてもよい。さらに、領域検出部２ｄは、各画素値としきい値との差や比をもとに２値画像を生成するようにしてもよく、あるいは２値画像を生成する手法以外に、画像の輝度分布をもとに領域分割を行う分水嶺等の公知の領域分割手法を用いて対象領域を検出するようにしてもよい。
【００６３】
ステップＳ１０５では、パラメータ算出部２ｅは、領域検出部２ｄによって検出された対象領域に対し、対象領域の大きさに関する数値、形状に関する数値、位置に関する数値、輝度や色に関する数値、領域間の比率に関する数値、領域の個数に関する数値、領域の集合に関する数値等を領域パラメータとして算出する。また、パラメータ算出部２ｅは、このような２次元的な特性を示す数値に限らず、ラインプロファイル等の１次元的な特性や輝度分布等の３次元的な特性を示す数値を領域パラメータとして算出するようにしてもよい。なお、このような領域パラメータを参照することにより、個々の細胞の集まりや広がり、接触状態、細胞のコロニー等を認識することが可能になる。
【００６４】
ここで、領域の大きさに関する数値とは、面積、長さ、幅、最大直径、最小直径、平均直径、最大半径、最小半径、平均半径、周囲長、包絡周囲長、楕円周囲長、長軸長、短軸長、最大フェレ径、最小フェレ径、平均フェレ径、外接四角形面積比、凸周囲長等である。また、領域の形状に関する数値とは、縦横比、半径比、円形度、オイラー数、扁平度、フラクタル次元、枝数、端点数、ラフネス度等である。さらに、領域の位置に関する数値とは、位置重心、濃度重心、外接円四角形位置、傾き等である。また、領域の輝度や色に関する数値とは、最大濃度、最小濃度、平均濃度、輝度総和、分散、標準偏差、積分光学濃度、塊状度、不均質性、辺縁度等である。さらに、領域の個数に関する数値とは、領域数、穴の数等である。また、領域の集合に関する数値とは、領域クラス、最大領域間距離、最小領域間距離、平均領域間距離、相対距離、分散、走化性等である。
【００６５】
ステップＳ１０７では、領域識別部２ｆは、処理対象時点である現時点よりも１つ前の時点である識別時点で検出された各対象領域の特性情報を参照して、処理対象時点で検出された各対象領域に識別子を設定する。このとき、領域識別部２ｆは、あらかじめ設定された範囲の中で最も近くに位置する対象領域同士を対応づけて、同じ識別子を付与する。すなわち、領域識別部２ｆは、現時点で処理対象とする対象領域に対応した領域パラメータが示す位置を参照し、この位置に最も近い位置を示す領域パラメータを識別時点の各領域パラメータの中から検索し、検索結果の領域パラメータに対応する識別時点の対象領域に付与された識別子と同じ識別子を、処理対象とする対象領域に付与する。なお、同じ識別子とは、まったく同一の識別子に限定されるものではなく、要は、同一性を示す識別子であればよい。
【００６６】
図３は、処理対象時点および識別時点に検出された各対象領域の対応関係の一例を示す図である。図３では、処理対象時点を時点ｔk、識別時点を時点ｔk-1として示し、各時点の対象領域間の対応関係を矢印で示している。この例では、領域識別部２ｆは、時点ｔkの対象領域Ｏ6を処理対象とした場合、対象領域Ｏ6の位置を含む所定の範囲内にあって対象領域Ｏ6に最も近い位置にある時点ｔk-1の対象領域Ｏ1を検索し、対象領域Ｏ1と同じ識別子ＩＤ1を対象領域Ｏ6に付与する。
【００６７】
また、領域識別部２ｆは、時点ｔkの対象領域Ｏ7を処理対象とした場合、対象領域Ｏ7の位置に最も近い位置にある時点ｔk-1の対象領域Ｏ2，Ｏ3を検索し、この２つの対象領域Ｏ2，Ｏ3と同じ識別子ＩＤ2，ＩＤ3を共に対象領域Ｏ7に付与し、結果として、２つの識別子ＩＤ2，ＩＤ3を連結した識別子ＩＤ2ＩＤ3が対象領域Ｏ7に付与される。
【００６８】
さらに、領域識別部２ｆは、時点ｔkの対象領域Ｏ8，Ｏ9をそれぞれ処理対象とした場合、対象領域Ｏ8に対して対象領域Ｏ4を検索し、対象領域Ｏ4と同じ識別子ＩＤ4を対象領域Ｏ8に付与するとともに、対象領域Ｏ9に対しても対象領域Ｏ4を検索して識別子ＩＤ4を付与する。あるいは、領域識別部２ｆは、対象領域Ｏ8に識別子ＩＤ4が既に付与されているため、対象領域Ｏ9には識別子ＩＤ4との同一性を示す別の識別子を付与するものとして、たとえば識別子ＩＤ4’を付与するようにしてもよい。なお、同じ識別子ＩＤ4が２つの対象領域Ｏ8，Ｏ9に付与された場合、これらの対象領域の識別は、領域パラメータを参照して行うようにすればよい。
【００６９】
また、領域識別部２ｆは、時点ｔkの対象領域Ｏ10を処理対象とした場合、対象領域Ｏ10に対応する対象領域が時点ｔk-1の対象領域の中から検索されないため、どの時点の特性情報にも含まれない固有の識別子である識別子ＩＤ5を対象領域Ｏ10に付与する。
【００７０】
さらに、領域識別部２ｆは、時点ｔkのすべての対象領域に識別子を付与した後、時点ｔk-1の対象領域を検索し、時点ｔkのどの対象領域にも同一性が示されず対応関係が結ばれていない対象領域Ｏ5が検出された場合、この旨の情報を制御部４に出力する。この場合、履歴生成部４ａは、時点ｔkで同一性が示されていない旨を示す未対応情報を対象領域Ｏ5の領域パラメータに書き加えた新たな特性情報を生成し、時点ｔkの特性情報として時点ｔkの履歴情報に対応づける。これによって、この新たな特性情報は、対象領域Ｏ5に付与されていた識別子ＩＤ6を引き継ぐことになる。
【００７１】
なお、未対応情報として書き込む情報は、たとえば、パラメータ情報として有する領域番号を「０」に書き換えるようにするとよく、「０」以外にも、アルファベットや記号等用いて書き換えるようにしてもよい。また、図３では、識別子をＩＤ1〜ＩＤ6のようにアルファベットおよび数字を用いて示したが、この例に限定されず、他の記号等を用いて表記するようにしてもよい。
【００７２】
このように、ステップＳ１０７では、領域識別部２ｆは、処理対象時点のすべての対象領域に識別時点の対象領域との対応関係を示す識別子を付与することによって、これらの各時点間で対象領域に分裂、結合、消滅等が生じても正確に追跡を行うことができる。なお、ここでは、処理対象とする対象領域の位置にあらかじめ設定された範囲の中で最も近い位置にある識別時点の対象領域を検索するようにしたが、これに限らず、たとえば、処理対象とする対象領域の領域パラメータが示す位置から所定の範囲内の位置を示すとともに、この領域パラメータが示す面積と最も近い面積を示す識別時点の領域パラメータを検索し、この領域パラメータに対応する対象領域との同一性を示す識別子を処理対象とする対象領域に付与するようにしてもよい。
【００７３】
また、領域識別部２ｆは、領域パラメータが対象領域の占める範囲を示す場合、処理対象とする対象領域の領域パラメータが示す範囲と最も広く共通する範囲を示す識別時点の領域パラメータを検索し、この領域パラメータに対応する対象領域との同一性を示す識別子を処理対象とする対象領域に付与するようにしてもよい。
【００７４】
なお、ここでは、識別時点が処理対象時点よりも前の時点であるとしたが、この前後関係は識別処理を行う際の前後関係であって、たとえば、撮像部３が撮像した時点との関係においては、前後関係が逆転してもよい。すなわち、撮像部３の撮像と同期して識別処理を行う場合、識別時点は処理対象時点よりも前の時点に撮像した撮像時点に対応し、あらかじめ撮像し保存した画像データをもとに識別処理を行う場合、たとえば、最後に撮像された画像から順に撮像時点をさかのぼるように対象領域の追跡を行うと、識別時点は処理対象時点よりも後の時点に撮像した撮像時点に対応する。
【００７５】
一方、ステップＳ１１１では、履歴生成部４ａは、処理対象時点の対象領域ごとに領域パラメータと識別子とを対応づけて特性情報を生成するとともに、生成した処理対象時点の各特性情報を、履歴保持部が保持している処理対象時点よりも前の時点の履歴情報と時系列に対応づけ、新たに処理対象時点までの履歴情報を生成する。このようにして、履歴生成部４ａは、たとえば図４に示すように、横の項目を識別子情報、縦の項目を時点情報としたテーブルに特性情報を配列して履歴情報を生成する。図４に示す履歴情報では、たとえば、時点ｔkの識別子ＩＤn-1に対応する領域パラメータがＤａ１で示されており、他の領域パラメータＤａ２〜Ｄａ５についても同様の対応関係で配列されている。この場合、履歴生成部４ａは、処理対象時点の領域パラメータおよび識別子を取得するごとに、図４に示すテーブル下端もしくは上端に領域パラメータを追加するようにして、処理対象時点の履歴情報を生成する。
【００７６】
ステップＳ１１３では、整合性判別部４ｂは、履歴生成部４ａが生成した履歴情報のうち判別時点から処理対象時点までの履歴情報を参照して、その間の履歴情報に整合性があるか否かを判断する。このとき、整合性判別部４ｂは、参照した履歴情報のうち判別時点を除く他の各時点の特性情報について、同一の対象領域に共通する複数の識別子が付与されているか（条件１）、複数の対象領域に同一の識別子が付与されているか（条件２）、あるいは未対応情報が書き込まれた共通の特性情報があるか（条件３）によって、判別時点から処理対象時点までの履歴情報に整合性があるか否かを判断し、これらの条件１〜３のいずれかに該当する特性情報が記録されている場合、履歴情報に整合性がないものと判別する。そして、このステップＳ１１３で履歴情報に整合性がないと判別された場合、ステップＳ１１７では、履歴修正部４ｃによって、判別時点から処理対象時点までの履歴情報が修正される。
【００７７】
ここで、履歴修正部４ｃが行うステップＳ１１７の履歴修正処理について説明する。図５は、履歴修正処理の処理手順を示すフローチャートである。図５に示すように、履歴修正部４ｃは、条件１が満足されているか否か、すなわち１つの対象領域に複数の識別子が連続して付与されているか否かを判断し（ステップＳ１２１）、このように識別子が付与されている場合（ステップＳ１２１：Ｙｅｓ）、この複数の識別子に対応する各対象領域を統合して履歴情報を修正し（ステップＳ１２３）、ステップＳ１１７にリターンする。
【００７８】
条件１が満足されていない場合（ステップＳ１２１：Ｎｏ）、履歴修正部４ｃは、条件２が満足されているか否か、すなわち複数の対象領域に同一の識別子が連続して付与されているか否かを判断し（ステップＳ１２５）、このように識別子が付与されている場合（ステップＳ１２５：Ｙｅｓ）、この同一の識別子に対応する対象領域を分割して履歴情報を修正し（ステップＳ１２７）、ステップＳ１１７にリターンする。
【００７９】
条件２が満足されていない場合（ステップＳ１２５：Ｎｏ）、履歴修正部４ｃは、条件３が満足されているか否か、すなわち対応する領域がなく識別子だけが連続して割り当てられているか否かを判断し（ステップＳ１２９）、このように識別子が割り当てられている場合（ステップＳ１２９：Ｙｅｓ）、この識別子に対応する特性情報を削除して履歴情報を修正し（ステップＳ１３１）、ステップＳ１１７にリターンする。一方、条件３が満足されていない場合（ステップＳ１２９：Ｎｏ）、履歴修正部４ｃは、履歴情報を修正せずにステップＳ１１７にリターンする。
【００８０】
条件１が満足されている場合、ステップＳ１２３では、履歴修正部４ｃは、１つの対象領域に連続して付与されている共通する複数の各識別子に対応する判別時点の複数の対象領域が、実際には１つの領域であったものと修正判断することによって、この判別時点の複数の領域を統合し、この統合に応じて履歴情報を修正する。たとえば、図６−１に示すように、判別時点である時点ｔk-3よりも後の時点ｔk-2，ｔk-1，ｔkで、それぞれ対象領域Ｏk21，Ｏk31，Ｏk41が複数の識別子の付与を示す識別子ＩＤk1ＩＤk2を有した場合、履歴修正部４ｃは、時点ｔk-3の２つの対象領域Ｏk11、Ｏk12を識別子ＩＤk1である１つの対象領域Ｏk11に統合するとともに、各対象領域Ｏk21，Ｏk31，Ｏk41の識別子をＩＤk1に変更して履歴情報を修正する。
【００８１】
また、条件２が満足されている場合、ステップＳ１２７では、履歴修正部４ｃは、複数の対象領域に連続して付与されている同一の識別子に対応する判別時点の１つの対象領域が、実際には複数の領域であったものと修正判断することによって、この判別時点の複数の領域を分割し、この分割に応じて履歴情報を修正する。たとえば、図６−２に示すように、時点ｔk-2，ｔk-1，ｔkで、それぞれ対象領域Ｏk23，Ｏk33，Ｏk43が同一の識別子ＩＤk3を有するとともに、対象領域Ｏk24，Ｏk34，Ｏk44が識別子ＩＤk3との同一性を示す識別子ＩＤk3’を有した場合、履歴修正部４ｃは、時点ｔk-3の１つの対象領域Ｏk13を、識別子ＩＤk3である対象領域Ｏk13と識別子ＩＤk4である対象領域Ｏk14とに分割するとともに、対象領域Ｏk24，Ｏk34，Ｏk44の識別子をＩＤk4に変更して履歴情報を修正する。
【００８２】
さらに、条件３が満足されている場合、ステップＳ１３１では、履歴修正部４ｃは、対応する対象領域がないまま連続して割り当てられている識別子に対応する判別時点の対象領域が、実際には判別時点のあと消滅したものと修正判断することによって、この消滅に対応する特性情報を削除し、削除に応じて履歴情報を修正する。たとえば、図６−３に示すように、時点ｔk-2，ｔk-1，ｔkで、いずれも対応する対象領域がなく識別子ＩＤk5が割り当てられている場合、履歴修正部４ｃは、時点ｔk-3の対象領域Ｏk15が時点ｔk-2以降消滅したものとして、時点ｔk-2以降の識別子ＩＤk5に対応する特性情報を削除して履歴情報を修正する。
【００８３】
なお、ここでは、判別時点を処理対象時点よりも３つ前の時点として説明したが、これに限らず、２つ前の時点や４つ以上前の時点に設定してもよい。
【００８４】
一方、図２に示したステップＳ１１５では、表示部７は、履歴修正部４ｃが修正した履歴情報を画像情報や数値情報として表示する。このとき、表示部７は、画像処理部２で処理された画像データをもとに対象領域を表示するようにしてもよい。また、表示部７は、各対象領域を明るさ、色、ハッチング等によって区別できるように表示する、各対象領域の輪郭を実線、破線等の各種線によって表示する、各対象領域の重心位置を所定の印によって表示するなどによって各対象領域を識別しやすくするとよい。さらに、表示部７は、たとえば、各時点で同一性を示す識別子が付されている対象領域に対して、同一の色やハッチングを施して、各時点の各対象領域の形状等を区別できるように表示するとよい。また、表示部７は、数値情報を表示する際には、数値をグラフ化して表示するとよく、たとえば、各時点の領域パラメータを各時点に対してプロットしたり、棒グラフ化したりして表示するとよい。
【００８５】
また、表示部７は、画像情報および数値情報を同時に表示する、画像情報または数値情報の一方を表示する、画像情報および数値情報を交互に切り替えて表示するなどによって表示を行うようにしてもよい。さらに、表示部７は、たとえば、入力部６としてのマウス操作によって入力されるオペレータからの指示情報にしたがって、表示画像中の指定された対象領域を強調する、この指定された対象領域に関するすべての領域パラメータを数値情報として表示するなど、特別な表示処理を行うようにしてもよい。
【００８６】
以上説明したように、この実施の形態１にかかる対象追跡装置、顕微鏡システムおよび対象追跡プログラムによれば、領域識別部２ｆによって、処理対象時点および識別時点の各領域パラメータを参照して処理対象時点の各対象領域に識別子を付与し、履歴生成部４ａによって、処理対象時点の対象領域ごとに領域パラメータと識別子とを対応づけて特性情報を生成するとともに、生成した処理対象時点の各特性情報を時系列に対応づけて履歴情報を生成し、整合性判別部４ｂによって、判別時点から処理対象時点までの履歴情報を参照して、その間の履歴情報に整合性があるか否かを判断し、整合性がないと判断された場合、履歴修正部４ｃによって、判別時点から処理対象時点までの履歴情報を修正するようにしているため、生体組織の細胞等、分裂や増殖を行う物体を追跡対象とし、この追跡対象に対応する領域が分裂する、複数の領域が１つに結合する、または領域が一時的に消滅するなどの場合でも、正確に追跡対象の追跡を行うことができる。
【００８７】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、対象領域の各時点の特性情報を時系列に対応づけて履歴情報を生成するようにしていたが、この実施の形態２では、さらに、追跡対象とする細胞の細胞分裂によって生じる親子関係の情報を求め、履歴情報に対応する系譜情報を生成するようにしている。
【００８８】
図７は、本発明の実施の形態２にかかる対象追跡装置および顕微鏡システムの構成を示すブロック図である。図７に示すように、この実施の形態２にかかる対象追跡装置１１は、対象追跡装置１が備えた画像処理部２、制御部４および記憶部５のそれぞれに替えて、画像処理部１２、制御部１４および記憶部１５を備える。また、画像処理部１２は、画像処理部２をもとにさらに細胞分裂判定部１２ｇを備え、制御部１４は、制御部４をもとにさらに系譜生成部１４ｄを備え、記憶部１５は、記憶部５をもとにさらに系譜保持部１５ｂを備える。その他の構成は、実施の形態１と同じであり、同一構成部分には同一符号を付している。
【００８９】
細胞分裂判定部１２ｇは、処理対象時点および識別時点の各領域パラメータを参照し、この各時点間で追跡対象とする細胞に細胞分裂が生じたか否かを判断し、細胞分裂が生じたと判断した場合、分裂後の細胞に対応する各対象領域の領域パラメータに、細胞分裂によって派生した旨を示す細胞分裂情報を書き込む。
【００９０】
系譜生成部１４ｄは、細胞分裂情報にもとづいて領域識別部２ｆによって付与された識別子を参照し、複数時点にまたがる各細胞の世代間のつながりを時系列に関連づけた細胞分裂に関する系譜情報を生成する。なお、ここでは、細胞の親子関係が２世代以上つながった情報を系譜情報としており、２世代間の親子関係の情報が最小の系譜情報となる。系譜生成部１４によって生成された系譜情報は、系譜保持部１５ｂで保持される。
【００９１】
つぎに、対象追跡装置１１が行う処理および動作について説明する。図８は、対象追跡装置１１が行う処理手順を示すフローチャートである。図８に示すように、制御部１４が対象追跡プログラムを実行することによって、撮像部３、領域検出部２ｄおよびパラメータ算出部２ｅは、図２に示したステップＳ１０１〜Ｓ１０５と同様にステップＳ２０１〜Ｓ２０５を行い、細胞分裂判定部１２ｇは、処理対象時点および識別時点の各領域パラメータを参照して細胞分裂が生じたか否かを判断する細胞分裂判定処理を行い（ステップＳ２０７）、領域識別部２ｆおよび履歴生成部４ａは、ステップＳ１０７〜Ｓ１１１と同様にステップＳ２０９〜Ｓ２１３を行い、系譜生成部１４ｄは、細胞分裂が生じたことを示す各時点の識別子を時系列に対応づけて系譜情報生成する系譜情報生成処理を行い（ステップＳ２１５）、整合性判別部４ｂおよび履歴修正部４ｃは、ステップＳ１１３，Ｓ１１７と同様にステップＳ２１７，Ｓ２２１を行い、制御部１４は、表示部７に履歴情報、系譜情報等の各種処理結果を表示させ（ステップＳ２１９）、一連の処理を終了する。
【００９２】
なお、ステップＳ２０９の識別処理では、領域識別部２ｆは、ステップＳ１０７と同様に処理対象時点の各対象領域に識別子を付与するとともに、細胞分裂判定部１２ｇによって細胞分裂情報が書き込まれた領域パラメータに対しては、細胞分裂によって派生したことを示すとともに細胞分裂前の細胞に対応する対象領域との親子関係を示す識別子を付与する。たとえば、領域識別部２ｆは、図３に示した対象領域Ｏ8，Ｏ9の領域パラメータが細胞分裂情報を有する場合、識別子ＩＤ4をもった領域Ｏ4から細胞分裂によって派生した領域であることを示すため、領域Ｏ8，Ｏ9にそれぞれ識別子ＩＤ4,1，ＩＤ4,2を付与する。
【００９３】
ここで、「ＩＤA,B」と表記する識別子は、この識別子ＩＤA,Bをもった対象領域が識別子ＩＤAをもった領域から細胞分裂によって派生したことを示している。この識別子の表記形式を細胞分裂による以降の世代にも適用し、たとえば、識別子ＩＤA,Bをもった対象領域に対応する細胞が細胞分裂した場合、分裂後の世代の対象領域に識別子ＩＤA,B,Cを付与することによって、識別子ＩＤAをもった対象領域の細胞分裂に関する系譜が追跡できる。なお、ステップＳ２１５の系譜情報生成処理では、系譜生成部１４ｄは、この表記形式の識別子を参照し、各世代の親子関係を時系列に関連づけて、細胞分裂に関する系譜情報を生成する。
【００９４】
つぎに、細胞分裂判定部１２ｇが行うステップＳ２０７の細胞分裂判定処理について説明する。ここでは、細胞分裂判定部１２ｇが、図３に示した対象領域Ｏ4，Ｏ8，Ｏ9について、対象領域Ｏ8，Ｏ9が細胞分裂によって対象領域Ｏ4から派生した領域であるか否かを判定する場合の処理手順を例示する。
【００９５】
図９は、細胞分裂判定処理の第１の処理手順を示すフローチャートである。図９に示すフローチャートは、細胞分裂後の娘細胞の面積が通常の細胞の面積よりも小さく、かつ細胞分裂前後でそれぞれ対応する細胞の輝度の総和が概ね等しくなるという特性に基づいた細胞分裂判定処理手順を例示する。
【００９６】
図９に示すように、細胞分裂判定部１２ｇは、対象領域Ｏ8の面積が所定のしきい値ＶA1以上でありかつ所定のしきい値ＶA2以下であるか否かを判断し（ステップＳ２３１）、この面積がしきい値ＶA1以上でありかつしきい値ＶA2以下である場合（ステップＳ２３１：Ｙｅｓ）、対象領域Ｏ9の面積がしきい値ＶA1以上でありかつしきい値ＶA2以下であるか否かを判断し（ステップＳ２３３）、この面積がしきい値ＶA1以上でありかつしきい値ＶA2以下である場合（ステップＳ２３３：Ｙｅｓ）、対象領域Ｏ8に対応する画像データの画素値としての輝度の総和と対象領域Ｏ9に対応する画像データの画素値としての輝度の総和の合計から、対象領域Ｏ4に対応する画像データの画素値としての輝度の総和を差し引いた値の大きさが、所定のしきい値ＶD以下であるか否かを判断する（ステップＳ２３５）。この差し引いた値の大きさがしきい値ＶD以下である場合（ステップＳ２３５：Ｙｅｓ）、細胞分裂判定部１２ｇは、対象領域Ｏ8，Ｏ9が細胞分裂によって対象領域Ｏ4から派生した領域であると判定し、対象領域Ｏ8，Ｏ9の各領域パラメータに細胞分裂情報を追記し（ステップＳ２３７）、ステップＳ２０７にリターンする。
【００９７】
一方、ステップＳ２３１〜Ｓ２３５の各判断処理で判断条件が満足されない場合、細胞分裂判定部１２ｇは、対象領域Ｏ8，Ｏ9が細胞分裂によって派生した領域ではないものと判定し、ステップＳ２０７にリターンする。
【００９８】
なお、ステップＳ２３１，Ｓ２３３で判断基準とするしきい値ＶA1，ＶA2は、たとえば、対象領域の平均的な面積の０．５倍および０．９倍の値にそれぞれ設定するとよい。
【００９９】
また、図１０は、細胞分裂判定処理の第２の処理手順を示すフローチャートである。図１０に示すフローチャートは、細胞分裂直前の細胞が時間の経過と共に収縮しながら略球体の形状となった後、細胞分裂を行うという特性に基づいた細胞分裂判定処理手順を例示する。
【０１００】
図１０に示すように、細胞分裂判定部１２ｇは、識別時点からＮF1時点前の時点までに、対象領域Ｏ4の円形度が所定のしきい値Ｖcを超える時点があるか否かを判断し（ステップＳ２４１）、しきい値Ｖcを超える時点がある場合（ステップＳ２４１：Ｙｅｓ）、対象領域Ｏ4の円形度がしきい値Ｖcを超えた最初の時点からＮF2時点前の時点までの対象領域Ｏ4の円形度および面積の変化を回帰分析する（ステップＳ２４３）。そして、回帰分析した結果をもとに、細胞分裂判定部１２ｇは、対象領域Ｏ4の円形度が単調増加していたか否かを判断し（ステップＳ２４５）、単調増加していた場合（ステップＳ２４５：Ｙｅｓ）、さらに対象領域Ｏ4の面積が単調減少していたか否かを判断し（ステップＳ２４７）、単調減少していた場合（ステップＳ２４７：Ｙｅｓ）、対象領域Ｏ8，Ｏ9が細胞分裂によって対象領域Ｏ4から派生した領域であると判定し、対象領域Ｏ8，Ｏ9の各領域パラメータに細胞分裂情報を追記し（ステップＳ２４９）、ステップＳ２０７にリターンする。
【０１０１】
一方、ステップＳ２４１，Ｓ２４５，Ｓ２４７の各判断処理で判断条件が満足されない場合、細胞分裂判定部１２ｇは、対象領域Ｏ8，Ｏ9が細胞分裂によって派生した領域ではないものと判定し、ステップＳ２０７にリターンする。
【０１０２】
なお、ステップＳ２４３の回帰分析では、細胞分裂判定部１２ｇは、対象領域Ｏ4の円形度および面積について、各時間変化の推移を直線近似し、近似した直線の傾きをもとに円形度および面積の変化の傾向を求める。
【０１０３】
また、図１１は、細胞分裂判定処理の第３の処理手順を示すフローチャートである。図１１に示すフローチャートは、細胞分裂直前の細胞内では核膜が消失し、細胞核内の構成要素が細胞質全体に拡散するという特性に基づいた細胞分裂判定処理手順を例示する。
【０１０４】
図１１に示すように、細胞分裂判定部１２ｇは、対象領域Ｏ4の第１要素としての細胞核の面積Ｓｎと第２要素としての細胞質の面積Ｓｃとを求めるとともに、これらの面積比Ｓｎ／Ｓｃを算出し（ステップＳ２５１）、この面積比Ｓｎ／Ｓｃが所定のしきい値ＶR1以上でありかつ所定のしきい値ＶR2以下であるか否かを判断し（ステップＳ２５３）、面積比Ｓｎ／Ｓｃがしきい値ＶR1以上でありかつしきい値ＶR2以下である場合（ステップＳ２５３：Ｙｅｓ）、細胞分裂判定部１２ｇは、対象領域Ｏ8，Ｏ9が細胞分裂によって対象領域Ｏ4から派生した領域であると判定し、対象領域Ｏ8，Ｏ9の各領域パラメータに細胞分裂情報を追記し（ステップＳ２５５）、ステップＳ２０７にリターンする。一方、ステップＳ２５３の判断処理で判断条件が満足されない場合（ステップＳ２５３：Ｎｏ）、細胞分裂判定部１２ｇは、対象領域Ｏ8，Ｏ9が細胞分裂によって派生した領域ではないものと判定し、ステップＳ２０７にリターンする。ここで、しきい値ＶR1，ＶR2の大きさは、それぞれ「１」以下および「１」以上に設定するとよい。
【０１０５】
なお、図１１に示す細胞分裂処理手順によって細胞分裂の有無を判定する場合、細胞核の面積と細胞質の面積とを互いに独立に観測できるように、対象領域Ｏ４に対応する細胞内の細胞核および細胞質を個別に染色しておくとよい。
【０１０６】
また、図１２は、細胞分裂判定処理の第４の処理手順を示すフローチャートである。図１２に示すフローチャートは、細胞分裂直前の細胞内では微小管が２つの紡錘体を形成するとともに、この紡錘体の領域以外に存在しないという特性に基づいた細胞分裂判定処理手順を例示する。
【０１０７】
図１２に示すように、細胞分裂判定部１２ｇは、対象領域Ｏ4内に存在する特定要素としての微小管の濃度分布を２次元的もしくは３次元的に可視化した濃度分布マップを生成し（ステップＳ２６１）、生成した濃度分布マップにローパスフィルタ処理を施し（ステップＳ２６３）、フィルタ処理後の濃度分布マップから濃度の極大点を検出し（ステップＳ２６５）、検出された極大点が２つであるか否かを判断する（ステップＳ２６７）。極大点が２つである場合（ステップＳ２６７：Ｙｅｓ）、細胞分裂判定部１２ｇは、対象領域Ｏ8，Ｏ9が細胞分裂によって対象領域Ｏ4から派生した領域であると判定し、対象領域Ｏ8，Ｏ9の各領域パラメータに細胞分裂情報を追記し（ステップＳ２６９）、ステップＳ２０７にリターンする。一方、極大点が２つではない場合（ステップＳ２６７：Ｎｏ）、細胞分裂判定部１２ｇは、対象領域Ｏ8，Ｏ9が細胞分裂によって派生した領域ではないものと判定し、ステップＳ２０７にリターンする。
【０１０８】
なお、図１２に示す細胞分裂処理手順によって細胞分裂の有無を判定する場合、細胞内の微小管が観測可能なように、対象領域Ｏ４に対応する細胞内の微小管を他の部位と識別できるように染色しておくとよい。
【０１０９】
また、ステップＳ２０７では、細胞分裂判定部１２ｇは、細胞分裂判定処理の第１〜４のいずれの手順を用いて細胞分裂の有無を判定してもよく、あるいは第１〜４の手順のうち２つ以上の手順を組み合わせて判定するようにしてもよい。２つ以上の手順を組み合わせて判定する場合、単一の処理手順によって判定する場合に比べて、より高い精度で判定を行うことができるようになる。
【０１１０】
なお、細胞分裂判定処理の第１〜４の手順で用いる対象領域の各種特性値、すなわち領域の面積、輝度の総和、円形度、細胞核の面積、細胞質の面積、微小管の濃度等は、ステップＳ２０５の領域パラメータ算出処理によってあらかじめ算出しておくとよい。
【０１１１】
ここで、表示部７で表示する表示結果の一例を図１３に示す。図１３に示すように、表示部７が備える表示装置の画面７ａは、４つの表示領域７ａａ，７ａｂ，７ａｃ，７ａｄに区画され、表示領域７ａａ，７ａｂ，７ａｃのそれぞれには、処理対象時点である時点ｔｋを含めた３つの時点ｔｋ−２，ｔｋ−１，ｔｋの各対象領域を示す画像情報が表示される。表示領域７ａｄには、各時点の各対象領域の対応関係が樹形図形式で表示され、細胞分裂によって生じた細胞の系譜情報が同時に表示される。
【０１１２】
画面７ａ上では、各対象領域は、擬似的な色、輝度、線種、パターン等が付与され、ラベル画像として表示される。なお、ラベル画像の代わりに、対象領域を撮像し処理した実際の画像データを用いて画像表示を行うようにしてもよく、ラベル画像と実際の画像データによる画像とを切り替え可能に表示するようにしてもよい。また、たとえば、各時点で同一性を示す識別子が付されている対象領域に対して、同一の色やハッチングを施して、各時点の各領域の形状を区別できるように表示してもよい。
【０１１３】
また、入力部６としてマウス操作による外部からのオペレータの指示によって、各時点の対応する対象領域が強調して表示されるようにしてもよい。この場合、オペレータが各表示領域７ａａ，７ａｂ，７ａｃ，７ａｄ上のいずれかの対象領域を選択することによって、たとえば図１４に示すように、選択された対象領域と、この対象領域に系譜上で関連する対象領域とを同時に強調して表示するとよい。
【０１１４】
図１４は、オペレータからの指示によって、時点ｔｋ−１の対象領域ＡＲ２が選択され場合であり、選択された対象領域ＡＲ２とともに、前後の時点ｔｋ−２、ｔｋで対象領域ＡＲ２に対応する各対象領域ＡＲ１，ＡＲ３，ＡＲ４が強調して表示された場合を示している。このように強調した表示を行うことによって、系譜を視覚的に把握することなどが容易となる。
【０１１５】
以上説明したように、この実施の形態２にかかる対象追跡装置、顕微鏡システムおよび対象追跡プログラムによれば、細胞分裂判定部１２ｇによって、識別時点および処理対象時点間で追跡対象である細胞に細胞分裂が生じたか否かを判断し、細胞分裂が生じたと判断した場合、分裂後の細胞に対応する各対象領域の領域パラメータに、細胞分裂によって派生した旨を示す細胞分裂情報を書き込み、系譜生成部１４ｄによって、細胞分裂情報をもとに付与された識別子を参照し細胞分裂に関する系譜情報生成するようにしているため、正確に追跡対象の追跡を行うばかりでなく、複数時点にまたがる細胞の世代間のつながりを統合して把握することができる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の実施の形態１にかかる対象追跡装置および顕微鏡システムの構成を示すブロック図である。
【図２】図１に示した対象追跡装置が行う処理手順を示すフローチャートである。
【図３】処理対象時点および識別時点の対象領域の対応関係の一例を示す図である。
【図４】履歴情報の一例を示す図である。
【図５】履歴修正処理の処理手順を示すフローチャートである。
【図６−１】履歴修正処理の処理方法を説明する図である。
【図６−２】履歴修正処理の処理方法を説明する図である。
【図６−３】履歴修正処理の処理方法を説明する図である。
【図７】本発明の実施の形態２にかかる対象追跡装置および顕微鏡システムの構成を示すブロック図である。
【図８】図７に示した対象追跡装置が行う処理手順を示すフローチャートである。
【図９】細胞分裂判定処理の第１の処理手順を示すフローチャートである。
【図１０】細胞分裂判定処理の第２の処理手順を示すフローチャートである。
【図１１】細胞分裂判定処理の第３の処理手順を示すフローチャートである。
【図１２】細胞分裂判定処理の第４の処理手順を示すフローチャートである。
【図１３】図７に示した対象追跡装置の処理結果の表示例を示す図である。
【図１４】図７に示した対象追跡装置の処理結果の表示例を示す図である。
【図１５】従来の物体追跡装置による物体の検出結果の一例を示す図である。
【図１６−１】従来の物体追跡装置による物体の追跡結果の一例を示す図である。
【図１６−２】従来の物体追跡装置による物体の追跡結果の一例を示す図である。
【図１７】従来の物体追跡装置による物体の検出結果の一例を示す図である。
【符号の説明】
【０１１７】
１，１１    対象追跡装置
２，１２    画像処理部
２ａ    画像処理制御部
２ｂ    画像バッファ
２ｃ    画像取得部
２ｄ    領域検出部
２ｅ    パラメータ算出部
２ｆ    領域識別部
３    撮像部
４，１４    制御部
４ａ    履歴生成部
４ｂ    整合性判別部
４ｃ    履歴修正部
５，１５    記憶部
５ａ    履歴保持部
６    入力部
７    表示部
８    通信部
１２ｇ    細胞分裂判定部
１４ｄ    系譜生成部
１５ｂ    系譜保持部
ＯＢ    対象
ＯＰ    撮像光学系
【図１】
2006209698.tif 000003
【図２】
2006209698.tif 000004
【図３】
2006209698.tif 000005
【図４】
2006209698.tif 000006
【図５】
2006209698.tif 000007
【図６−１】
2006209698.tif 000008
【図６−２】
2006209698.tif 000009
【図６−３】
2006209698.tif 000010
【図７】
2006209698.tif 000011
【図８】
2006209698.tif 000012
【図９】
2006209698.tif 000013
【図１０】
2006209698.tif 000014
【図１１】
2006209698.tif 000015
【図１２】
2006209698.tif 000016
【図１３】
2006209698.tif 000017
【図１４】
2006209698.tif 000018
【図１５】
2006209698.tif 000019
【図１６−１】
2006209698.tif 000020
【図１６−２】
2006209698.tif 000021
【図１７】
2006209698.tif 000022