(57)【要約】【課題】細胞の移動方向を予測する移動予測モデルの確からしさを定量的に評価し得る手法を提供する。【解決手段】撮像装置により観察細胞が撮影された観察画像を取得し、観察細胞の特徴を移動予測モデルに適用して観察細胞の予測移動方向Ｖ1を算出するとともに、観察画像と所定時間経過後の第２観察画像とから観察細胞の実移動方向ＶRを算出し、算出された予測移動方向Ｖ1と実移動方向ＶRとの内積に基づく得点付けにより移動予測モデルの適用の確からしさの評価指標を導出する。【選択図】図１
2010022319.tif 000002
【特許請求の範囲】
【請求項１】
細胞の特徴を適用することにより、予め設定されたアルゴリズムに従って前記細胞の予測移動方向を算出する移動予測モデルについて確度を評価する評価手法であって、
撮像装置により観察細胞が撮影された観察画像を取得し、
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の特徴を、移動予測モデルに適用して前記観察細胞の予測移動方向を算出するとともに、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の実移動方向を算出し、
算出された前記予測移動方向と前記実移動方向とに基づいて前記移動予測モデルの適用の確度に関する評価指標を導出することを特徴とする細胞移動方向予測の評価手法。
【請求項２】
前記評価指標は前記予測移動方向のベクトルと前記実移動方向のベクトルとの内積に基づいて導出されることを特徴とする請求項１に記載の細胞移動方向予測の評価手法。
【請求項３】
前記輪郭が抽出された前記観察細胞の特徴を、複数の移動予測モデルに適用して移動予測モデルごとに前記観察細胞の予測移動方向を算出し、
前記移動予測モデルごとに算出された前記予測移動方向と前記実移動方向とに基づいて各移動予測モデルの適用の確度に関する評価指標を導出し、
導出された前記評価指標を対比して確度が最も高い前記移動予測モデルを選択することを特徴とする請求項１または２に記載の細胞移動方向予測の評価手法。
【請求項４】
前記観察細胞の特徴は形状特徴であり、
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項１〜３のいずれかに記載の細胞移動方向予測の評価手法
【請求項５】
前記観察細胞の特徴は形状特徴であり、
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項１〜３のいずれかに記載の細胞移動方向予測の評価手法。
【請求項６】
前記観察細胞の特徴は内部構造の偏りであり、
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１〜３のいずれかに記載の細胞移動方向予測の評価手法。
【請求項７】
細胞の特徴を適用することにより、予め設定されたアルゴリズムに従って前記細胞の予測移動方向を算出する移動予測モデルについて確度を導出する細胞観察画像の画像処理プログラムであって、
撮像装置により観察細胞が撮影された観察画像を取得するステップと、
取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の特徴を、移動予測モデルに適用して前記観察細胞の予測移動方向を算出するステップと、
前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の実移動方向を算出するステップと、
算出された前記予測移動方向と前記実移動方向とに基づいて前記移動予測モデルの適用の確度に関する評価指標を導出するステップと、
導出された前記評価指標を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項８】
前記評価指標は、前記予測移動方向のベクトルと前記実移動方向のベクトルとの内積に基づいて導出されることを特徴とする請求項７に記載の細胞観察画像の画像処理プログラム。
【請求項９】
前記画像処理プログラムに予め複数の移動予測モデルが設定されており、
前記観察細胞の予測移動方向を算出するステップは、前記複数の移動予測モデルに前記観察細胞の特徴を適用して各前記移動予測モデルごとに前記観察細胞の予測移動方向を算出し、
前記評価指標を導出するステップは、各前記移動予測モデルごとに算出された前記予測移動方向と前記実移動方向とに基づいて各移動予測モデルの適用の確度に関する評価指標を導出して、
前記評価指標を外部に出力するステップにおいて、各移動予測モデルの前記評価指標が出力されるように構成したことを特徴とする請求項７または８に記載の細胞観察画像の画像処理プログラム。
【請求項１０】
前記導出された前記評価指標を対比して前記複数の移動予測モデルのなかで適用の確度が最も高い移動予測モデルを自動選択するステップをさらに備え、
以降の画像処理が前記自動選択された移動予測モデルを用いて実行されるように構成したことを特徴とする請求項９に記載の細胞観察画像の画像処理プログラム。
【請求項１１】
外部操作に基づいて前記複数の移動予測モデルからいずれかの移動予測モデルを選択するステップと、
前記選択された移動予測モデルを含む前記複数の移動予測モデルについて前記評価指標を対比して、前記選択された移動予測モデルの適用の確度が前記複数の移動モデルの中で最高であるか否かを判断するステップとをさらに備え、
前記選択された前記移動予測モデルの適用の確度が最高でないと判断されたときに注意表示が出力されるように構成したことを特徴とする請求項９に記載の細胞観察画像の画像処理プログラム。
【請求項１２】
前記観察細胞の特徴は形状特徴であり、
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項７〜１１のいずれかに記載の細胞観察画像の画像処理プログラム。
【請求項１３】
前記観察細胞の特徴は形状特徴であり、
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項７〜１１のいずれかに記載の細胞観察画像の画像処理プログラム。
【請求項１４】
前記観察細胞の特徴は内部構造の偏りであり、
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項７〜１１のいずれかに記載の細胞観察画像の画像処理プログラム。
【請求項１５】
細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得し前記細胞の特徴に基づき予測移動方向を算出する移動予測モデルに適用して前記観察画像を解析する画像解析部と、前記画像解析部により解析された解析結果を出力する出力部とを備え、
前記画像解析部が、前記撮像装置から取得した観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の特徴を移動予測モデルに適用して前記観察細胞の予測移動方向を算出するとともに、前記観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像とから前記観察細胞の実移動方向を算出し、算出された前記予測移動方向と前記実移動方向とに基づいて前記移動予測モデルの適用の確度に関する評価指標を導出するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１６】
前記評価指標は、前記予測移動方向のベクトルと前記実移動方向のベクトルとの内積に基づいて導出されることを特徴とする請求項１５に記載の細胞観察の画像処理装置。
【請求項１７】
前記画像解析部に予め複数の移動予測モデルが設定記憶されており、
前記画像解析部は、前記複数の移動予測モデルに前記観察細胞の特徴を適用して各前記移動予測モデルごとに前記観察細胞の予測移動方向を算出し、各前記移動予測モデルごとに算出された前記予測移動方向と前記実移動方向とに基づいて各移動予測モデルの適用の確度に関する評価指標を導出して、前記出力部から各移動予測モデルの前記評価指標が出力されるように構成したことを特徴とする請求項１５または１６に記載の細胞観察の画像処理装置。
【請求項１８】
前記画像解析部は、前記導出された前記評価指標を対比して前記複数の移動予測モデルのなかで適用の確度が最も高い移動予測モデルを自動選択し、以降の画像処理が前記自動選択された移動予測モデルを用いて実行されるように構成したことを特徴とする請求項１７に記載の細胞観察画像の画像処理装置。
【請求項１９】
前記画像解析部は、外部操作により前記複数の移動予測モデルから選択された移動予測モデルを含む前記複数の移動予測モデルについて前記評価指標を対比し、前記選択された移動予測モデルの適用の確度が前記複数の移動モデルの中で最高であるか否かを判断し、前記選択された前記移動予測モデルの適用の確度が最高でないと判断されたときに前記出力部から注意表示が出力されるように構成したことを特徴とする請求項１７に記載の細胞観察の画像処理装置。
【請求項２０】
前記観察細胞の特徴は形状特徴であり、
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの重心位置と、前記観察細胞の輪郭形状の重心位置とのずれに関する特徴量であることを特徴とする請求項１５〜１９のいずれかに記載の細胞観察の画像処理装置。
【請求項２１】
前記観察細胞の特徴は形状特徴であり、
前記形状特徴は、前記観察細胞の輪郭を近似した細胞モデルの形状と、前記観察細胞の輪郭形状との差異に関する特徴量であることを特徴とする請求項１５〜１９のいずれかに記載の細胞観察の画像処理装置。
【請求項２２】
前記観察細胞の特徴は内部構造の偏りであり、
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１５〜１９のいずれかに記載の細胞観察の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞の時系列観察装置において細胞のトラッキングシステムに補助的に利用される画像処理手段に関するものである。
【背景技術】
【０００２】
移動体の移動予測として、移動体を撮影した画像を処理し解析することにより、その移動体が今後どのように移動するかを予測する画像処理技術が広く用いられており、過去の移動量に基づく時系列予測を利用した線形予測やカルマンフィルタなどの予測手法が知られている（例えば特許文献１を参照）。また、線形予測が困難な場合の予測手法として非線形予測が可能なパーティクルフィルタなども考案されている。
【特許文献１】特開２００７−３０３８８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の手法では、ランダムに近い動きを予測するには未だ予測精度が十分であるとはいえない。一方、細胞が移動する際に細胞の形状や内部構造を変化させることが知られている。本出願の発明者らは、細胞の移動について鋭意研究を進めた結果、細胞の形状や内部構造から動きに起因して変化する成分を抽出し、細胞に応じた移動予測モデルに適用することにより、移動方向の予測精度を向上させる手法を発明した。この発明では細胞の移動形態（足を延ばすタイプ、内部構造を移動させるタイプ等）に応じて、好適な複数の移動予測モデル（予測アルゴリズム）が規定されており、細胞の種別に応じた移動予測モデルを選択することにより、予測精度の高い移動予測が行われるようになっていた。
【０００４】
ところが、選択された移動予測モデルが、対象とする細胞の特性に適合しているか否かの確からしさを定量評価する指標がなかったため、指定した移動予測モデルと観察細胞の移動形態との不整合性提示や、モデル選定の自動化を行うことができないという課題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、移動予測モデルの確からしさを定量的に評価し得る手法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する第１の態様に従えば、細胞の特徴を適用することにより予め設定されたアルゴリズムに従って細胞の予測移動方向を算出する移動予測モデルについて、その確度（確からしさ）を評価する評価手法であって、撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の特徴を移動予測モデルに適用して観察細胞の予測移動方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の実移動方向を算出し、算出された予測移動方向と実移動方向とに基づいて移動予測モデルの適用の確度に関する評価指標を導出することを特徴とする細胞移動方向予測の評価手法が提供される。
【０００７】
上記第１の態様において、輪郭が抽出された観察細胞の特徴を、複数の移動予測モデルに適用して移動予測モデルごとに観察細胞の予測移動方向を算出し、移動予測モデルごとに算出された予測移動方向と実移動方向とに基づいて各移動予測モデルの適用の確度に関する評価指標を導出し、導出された評価指標を対比して確度が最も高い移動予測モデルを選択するように細胞移動方向予測の評価手法を構成することが好ましい。
【０００８】
本発明を例示する第２の態様に従えば、細胞の特徴を適用することにより、予め設定されたアルゴリズムに従って細胞の予測移動方向を算出する移動予測モデルについて確度（確からしさ）を導出する細胞観察画像の画像処理プログラムであって、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得した観察画像から観察細胞の輪郭を抽出するステップと、輪郭が抽出された観察細胞の特徴を、移動予測モデルに適用して観察細胞の予測移動方向を算出するステップと、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の実移動方向を算出するステップと、算出された予測移動方向と実移動方向とに基づいて移動予測モデルの適用の確度に関する評価指標を導出するステップと、導出された評価指標を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
【０００９】
上記第２の態様において、画像処理プログラムに予め複数の移動予測モデルが設定されており、観察細胞の予測移動方向を算出するステップは、複数の移動予測モデルに観察細胞の特徴を適用して各移動予測モデルごとに観察細胞の予測移動方向を算出し、評価指標を導出するステップは、各移動予測モデルごとに算出された予測移動方向と実移動方向とに基づいて各移動予測モデルの適用の確度に関する評価指標を導出して、評価指標を外部に出力するステップにおいて、各移動予測モデルの評価指標が出力されるように細胞観察画像の画像処理プログラムを構成することが好ましい。
【００１０】
また、複数の移動予測モデルが設定されている場合において、導出された評価指標を対比して複数の移動予測モデルのなかで適用の確度が最も高い移動予測モデルを自動選択するステップをさらに備え、以降の画像処理が自動選択された移動予測モデルを用いて実行されるように構成することが好ましい。あるいは、外部操作に基づいて複数の移動予測モデルからいずれかの移動予測モデルを選択するステップと、選択された移動予測モデルを含む複数の移動予測モデルについて評価指標を対比して、選択された移動予測モデルの適用の確度が複数の移動モデルの中で最高であるか否かを判断するステップとをさらに備え、選択された移動予測モデルの適用の確度が最高でないと判断されたときに注意表示が出力されるように構成することも好ましい。
【００１１】
本発明を例示する第３の態様に従えば、細胞を撮影する撮像装置と、撮像装置により観察細胞が撮影された観察画像を取得し細胞の特徴に基づき予測移動方向を算出する移動予測モデルに適用して観察画像を解析する画像解析部と、画像解析部により解析された解析結果を出力する出力部とを備え、画像解析部が、撮像装置から取得した観察画像から観察細胞の輪郭を抽出し、輪郭が抽出された観察細胞の特徴を移動予測モデルに適用して観察細胞の予測移動方向を算出するとともに、観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像とから観察細胞の実移動方向を算出し、算出された予測移動方向と実移動方向とに基づいて移動予測モデルの適用の確度（確からしさ）に関する評価指標を導出するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【００１２】
上記第３の態様において、画像解析部に予め複数の移動予測モデルが設定記憶されており、画像解析部は、複数の移動予測モデルに観察細胞の特徴を適用して各移動予測モデルごとに観察細胞の予測移動方向を算出し、各移動予測モデルごとに算出された予測移動方向と実移動方向とに基づいて各移動予測モデルの適用の確度に関する評価指標を導出して、出力部から各移動予測モデルの評価指標が出力されるように細胞観察の画像処理装置を構成することが好ましい。
【００１３】
また、画像解析部に複数の移動予測モデルが設定記憶されている場合において、画像解析部は、導出された評価指標を対比して複数の移動予測モデルのなかで適用の確度が最も高い移動予測モデルを自動選択し、以降の画像処理が自動選択された移動予測モデルを用いて実行されるように構成することが好ましい。あるいは、画像解析部は、外部操作により複数の移動予測モデルから選択された移動予測モデルを含む複数の移動予測モデルについて評価指標を対比し、選択された移動予測モデルの適用の確度が複数の移動モデルの中で最高であるか否かを判断し、選択された移動予測モデルの適用の確度が最高でないと判断されたときに出力部から注意表示が出力されるように構成することも好ましい。
【発明の効果】
【００１４】
上記のような細胞移動方向予測の評価手法、細胞観察画像の画像処理プログラム、及び細胞観察画像の画像処理装置によれば、移動予測モデルの確からしさを定量的に評価し得る手法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１６】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１７】
培養室２は、培養環境を形成する部屋でありサンプル投入後は密閉状態に保持される。培養室２に付随して、温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。ストッカー３は、前後及び上下方向にそれぞれ複数に仕切られた棚状に形成され各棚に固有の番地が設定されている。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料が液体培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。搬送ユニット４は、培養室２の内部に上下に移動可能に設けられたＺステージ４１、前後に移動可能に取り付けられたＹステージ４２、左右に移動可能に取り付けられたＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ちあげ支持する支持アーム４５が設けられている。
【００１８】
観察ユニット５は、試料台１５の下側から培養容器１０全体をバックライト照明する第１照明部５１、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第２照明部５２、及び試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。培養容器１０が載置される試料台１５には、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１９】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００２０】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成される。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００２１】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号を処理して全体観察画像や顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や、細胞の移動方向予測、細胞の運動状態の解析等を行う。なお、画像処理装置１００については、後に詳述する。
【００２２】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや制御データ等が設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３等、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１、観察ユニット５における第１〜第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、制御プログラムに従って上記各部を制御する。
【００２３】
操作盤７には、キーボードやスイッチ、光ディスクの読み書き装置などの入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラムの設定や条件選択、動作指令等を入力することにより、ＣＰＵ６１を介して培養観察システムＢＳの各部の作動が制御される。ＣＰＵ６１は、有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。ＲＡＭ６３には、培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が記録される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２４】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件値を読み込み、培養環境が環境条件値と一致するように温度調整装置２１、加湿器２２等の作動を制御する。また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいてＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察が培養容器１０内の細胞のミクロ観察である場合には、該当する培養容器１０を顕微観察系５５の光軸上に位置決めし、第２照明部５２または第３照明部５３の光源を点灯させて、顕微観察像を撮像装置５５ｃに撮影させる。
【００２５】
ＣＰＵ６１は、上記のような観察を、観察プログラムに基づく観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態においては、観察像の撮影間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、撮影日時等のインデックス・データとともにＲＡＭ６３の画像データ記憶領域に順次記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは後述する画像解析部による解析結果などが表示パネル７２に表示される。
【００２６】
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、観察対象の細胞（観察細胞）に対する移動予測モデルの適用の確度（確からしさ）に関する評価指標を表示する機能を有しており、細胞のトラッキングなどに利用される。以下、移動予測モデルの予測精度の定量評価と予測方法の最適化について、基本的な概念から説明する。
【００２７】
（最外輪郭の抽出）
まず、時刻ｔに撮影された画像(説明の便宜上、第１画像という)について、画像内に含まれる細胞Ｃの最外輪郭を抽出する。図４は、最外輪郭抽出処理の様子を示す模式図であり、撮像装置５５ｃ（５４ｃ）により撮影され取得された画像(ａ)に対し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。最外輪郭抽出処理には、例えば、分散フィルタを施したのち二値化させる手法や、動的輪郭方（SnakesやLevel Set法）などが挙げられる。
【００２８】
（移動予測モデルの適用）
次に、個々の細胞に着目し、移動予測モデルを適用して移動方向の予測を行う。移動予測モデルには、Ｉ．細胞の形状特徴に基づいて予測移動方向を算出する手法と、II．細胞の内部構造の偏りに基づいて予測移動方向を算出する手法とに大別される。なお、本明細書においては、移動予測を行う観察対象の細胞を「観察細胞」と表記する。
【００２９】
Ｉ．細胞の形状特徴に基づく移動予測は、最外輪郭が抽出された観察細胞に細胞の外形形状をモデル化した細胞モデルを適応させ、適応した細胞モデルを利用して観察細胞が移動すると予測される移動方向を導出する。この移動予測に含まれる具体的な手法として、 (１)観察細胞に適応した細胞モデルの形状特徴に基づく予測手法、(２)観察細胞に適応した細胞モデルの重心位置と観察細胞の重心位置のずれに基づく予測手法、(３)観察細胞に適応した細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく予測手法を例示する。
【００３０】
まず、観察細胞への細胞モデルの適応は、例えば、図５，図６及び図７に楕円形状の細胞モデルＭｃを適応した事例を示すように、前処理で抽出された観察細胞Ｃの最外輪郭に対して楕円モデルへの近似を行う。ここでいう楕円近似は、最小二乗法やモーメント計算による方法が例として挙げられる。または観察細胞Ｃの輪郭内部を埋めたものと最も相関の高い楕円モデルを推定してもよい。この細胞モデルＭｃを利用して細胞移動の予測方向を推定する。
【００３１】
(１)の細胞モデルの形状特徴に基づく予測手法は、細胞モデルＭｃの楕円の長軸方向（図５における矢印方向）を、観察細胞Ｃの予測される移動方向（予測移動方向）として導出する。すなわち、縦横比が一定以上の楕円形状に近似されるような細胞の場合、その細胞の移動方向は、一般的に長手方向、つまり近似した楕円の長軸方向である確率が高い。この予測手法は、このような細胞の形状特徴と移動方向との関係を利用して長軸方向の一方を予測移動方向と算出する。
【００３２】
(２)細胞モデルの重心位置と観察細胞の重心位置のずれに基づく予測手法は、図６に示すように、観察細胞Ｃに対して細胞モデルＭｃを適用するとともに、観察細胞Ｃの輪郭形状からその重心位置Ｇを図形処理して求め、細胞モデルＭｃの楕円中心Ｏと観察細胞Ｃの重心位置Ｇのずれから観察細胞の移動方向を導出する。これは、自身の形状を変化させて移動する細胞の場合、細胞の重心位置が移動方向（または逆方向）に偏る特徴を利用して移動方向を推定するものである。例えば、図６に示すように、観察細胞の重心Ｇが、楕円近似した細胞モデルＭｃの重心すなわち楕円中心Ｏから長軸の右側に偏っている場合、楕円中心Ｏから重心Ｇの偏心方向を予測移動方向として算出する。
【００３３】
(３)細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく予測手法は、楕円形状の細胞モデルＭｃに対して細胞輪郭が複雑な場合を考える。この場合、細胞モデルＭｃからはみ出した細胞輪郭の位置及び大きさから、突出量が最も大きい箇所から楕円中心に向かう方向（または逆方向）が観察細胞の移動する方向であると予測する。細胞が移動する際に接着面が残る特徴や、体の一部（足）を伸ばす特徴を利用したものである。例えば、図７に示すように、細胞モデルＭｃの中心からはみ出し最大部分の領域が求められ、はみ出し最大部分から楕円中心に向かう方向が予測移動方向と算出される。
【００３４】
II．細胞の内部構造の特徴に基づく移動予測は、最外輪郭が抽出された観察細胞の輪郭形状に対する内部構造の偏りを算出し、算出された内部構造の偏りに基づいて観察細胞が移動すると予測される移動方向を導出する。内部構造の偏りを検出する具体的な手法として、観察細胞の細胞密度に基づく手法を例示する。
【００３５】
細胞密度は、もっとも簡単な計測手法として、顕微観察画像における細胞輪郭内側の輝度値の分散で表現することができる。細胞は移動する際に内部を移動する方向へと組織を移動させる（またはその逆に移動させる）傾向がある。そこで、細胞輪郭内における細胞密度を輝度値の分散から求め、図８に示すように、細胞輪郭内において分散の小さい領域から分散の大きい領域に向かう方向を算出し、これを観察細胞Ｃの予測移動方向とする。
【００３６】
観察細胞の内部構造の偏りを捉える他の手法として、観察細胞のテクスチャ特徴に基づく手法があげられる。細胞内部には核や内部繊維などのテクスチャが存在し、移動に際してこれらの内部構造も移動し若しくは変化する。従って、細胞輪郭内部におけるテクスチャを分散フィルタなどにより求め、例えば細胞輪郭内における核の位置や内部繊維の延びる方向等から移動方向を予測することができる。
【００３７】
以上のようにして各移動予測モデルに細胞の特徴を適用して得られた予測移動方向をベクトル化し「予測移動方向」Ｖ1とする（Ｖ1はベクトル）。なお、細胞モデルＭｃの構成例として楕円形状を例示したが、観察対象となる細胞の形態的な特徴に応じて適宜な形状を用いることができ、例えば、三角形や矩形、星形、弓形などが例示される。
【００３８】
（細胞移動方向の検出）
次に、観察細胞Ｃの移動に対して十分微小な時間を隔てた時刻ｔ＋１，ｔ＋２，ｔ＋３・・・（またはｔ−１，ｔ−２，ｔ−３・・・）の細胞観察画像（第２観察画像）を取得し、時刻ｔの細胞と最近傍にあたる細胞同士を同じ細胞であるとして最近傍対応をとる。そして、対応づけられた各細胞について、時刻tの観察細胞Ｃの位置と各時刻における観察細胞の位置とから移動量および移動方向を算出し、算出された観察細胞の実際の移動方向を各時刻における観察細胞の「実移動方向」ＶRとする（ＶRはベクトル）。なお、各時刻における移動量及び移動方向から観察細胞Ｃの平均移動方向を算出し、これを観察細胞の細胞移動方向ＶRとしてもよい。
【００３９】
ここで、時刻ｔの細胞に対応する時刻ｔ＋１の細胞の検出には、時刻の刻み幅が観察細胞Ｃの移動に対して十分短く、細胞の変形も少ないことから、時刻ｔの観察細胞Ｃをテンプレートとし、その近傍における時刻ｔ＋１の画像に対して相関や差分などによりマッチングをとる（テンプレートマッチング）。これを時刻ｔ＋１の画像に対する時刻ｔ＋２の細胞の検出と繰り返し、短時間あたりの細胞の移動方向を決定する。
【００４０】
（移動モデルの確度に関する評価指標の導出）
次に、上記のようにして求めた観察細胞Ｃの予測移動方向Ｖ1と、実移動方向ＶRとの内積をとり、
【数１】
2010022319.tif 000003
を算出する。上式から明らかなように、θ1は予測移動方向Ｖ1と実移動方向ＶRのなす角度を表す。次いで、上記で算出されたcosθ1もしくはその絶対値の全細胞での平均値を次式に基づき算出する。
【数２】
2010022319.tif 000004
【００４１】
これらscoreの絶対値が１に近い程、予測移動方向と実移動方向との交差角が小さく（０またはπに近く）、当てはめた移動予測モデルの信頼度が高いこと（細胞の移動形態との合致度が高いこと）を表す。従って、上記算出式により求められるscoreは、移動予測モデルの適用の確からしさを表す評価指標となり、適用した移動予測モデルがどの程度確からしいかを定量的に判断することができる。
【００４２】
また、前述した各移動予測モデルについて上記scoreを算出して対比し、その絶対値が１に最も近い移動予測モデルを自動または手動で選択することにより、複数の移動予測モデルの中から最適な移動予測モデルを適用することができる。また、観察者が移動予測モデルを指定している場合には、予測手法の信頼度として当該移動予測モデルのscoreを表示し、あるいはこれと併せて他の移動予測モデルのscoreを対比表示して注意喚起し、他の移動予測モデルへの切り替えを促すことができる。
【００４３】
従って、上記のような細胞移動方向予測の評価手法によれば、選択された移動予測モデルや画像処理装置に設定されている複数の移動予測モデルについて、適用した場合の確からしさを定量的に評価することができ、この評価に基づいて最適な移動予測モデルを自動選択または手動選択して、以降の画像処理、例えば細胞のトラッキング等に利用することができる。
【００４４】
なお、評価指標としては、上記cosθiの平均値の他、cosθiの頻度分布をとり総事象数に対して一定事象数が入る幅（一定確率となる幅）や、図９に示すように、|cosθi|が一定値以上となる確率などが例示される。
【００４５】
（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図１及び図１０を併せて参照しながら説明する。ここで、図１は移動予測の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図１０は移動予測の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。
【００４６】
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により観察細胞Ｃが撮影された観察画像を取得して観察画像を解析する画像解析部１２０と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備え、画像解析部１２０により導出された移動予測モデルの確度や最適な移動予測モデルなどを、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４７】
画像解析部１２０は、はじめに時刻ｔの観察画像を取得し、観察細胞に対して最外輪郭抽出処理を行う（ステップＳ１）。次に、画像解析プログラムＧＰにおいて選択された移動予測モデルが、Ａ：細胞モデルの重心(楕円中心)と最外輪郭の重心の偏り（偏心）から移動方向を計算する予測手法、またはＢ：細胞モデルの輪郭形状と観察細胞の輪郭形状の差異（楕円モデルからの最大突出位置）から移動方向を計算する予測手法である場合には、最外輪郭に対する楕円モデルへの近似処理（楕円近似）を行う（不図示）。
【００４８】
次いで、移動予測モデルがＡ（最外輪郭偏心方向予測アルゴリズム）の場合には、最外輪郭が抽出された観察細胞の重心（図心）を算出するとともに、予測移動方向Ｖ1として(i)楕円中心から重心への方向と、その逆の(ii)重心から楕円中心への方向を算出する（ステップＳ１３）。また、移動予測モデルがＢ（楕円はみ出し方向予測アルゴリズム）の場合には、楕円から最も大きくはみ出した最外輪郭位置の検出を行うとともに、予測移動方向Ｖ1として(i)楕円から最も大きくはみ出した位置から楕円中心への方向Ｖ11と、その逆の(ii)楕円中心からはみ出し位置への方向Ｖ12を算出する（ステップＳ２３）。
【００４９】
一方、移動予測モデルがＣ：細胞輪郭内における細胞密度の分布から移動方向を計算する手法の場合には、輪郭内部の細胞構造に対して分散フィルタなどテクスチャの有無を検出する手法を適用する。そして輪郭内部についての細胞構造の有無を分散または密度という特徴量で表し、予測移動方向Ｖ1として(i)分散または密度の小さい方から大きい方への傾きとなる方向Ｖ11と、その逆の(ii)分散または密度の大きい方から小さい方への傾きとなる方向Ｖ12を算出する（ステップＳ３３）。
【００５０】
次に、観察細胞の移動に対して十分微小な時間を隔てた時刻ｔ＋１に撮影された観察画像を取得し（ステップＳ５１）、時刻ｔ＋１に撮影された観察画像と最近傍対応により対応づけて相関計算を行う（ステップＳ５２）。そして、対応づけられた観察細胞について、時刻ｔの観察細胞の位置と時刻ｔ＋１における観察細胞の位置とから移動方向および移動量を算出し、観察細胞の実移動方向ＶRを算出する（ステップＳ５３）。なお、前述したように複数の時刻（ｔ，ｔ＋１，ｔ＋２，ｔ＋３・・・）間の移動量及び移動方向から平均移動方向を算出し、これを実移動方向ＶRとしてもよく、既にＲＡＭ２３に記録されている微小時間前のｔ−１の観察画像を取得して実移動方向ＶRを算出するように構成してもよい。
【００５１】
そして、観察細胞の予測移動方向Ｖ1と、実移動方向ＶRとの内積をとって得点付け行い（ステップＳ１５，Ｓ２５，Ｓ３５）その算出結果を出力部１３０を介して表示パネル７２に表示させる（ステップＳ５）。scoreの算出に当たり、予測移動方向Ｖ1は、Ｖ11と１８０度反対のＶ12の二方向あるが、cosθ1が正となる方向を適正な予測移動方向と判断できる。これにより観察細胞が移動方向に足を延ばして移動する形態の細胞なのか、逆に接着面を引きずるように移動する形態の細胞なのか判別でき、以降の予測処理において探査範囲を半分に削減することができる。
【００５２】
また、ステップＳ５により表示パネルに表示される算出結果には、例えば、移動予測モデルが指定された場合において画像解析部１２０により導出された当該移動予測モデルのscoreや、Ａ，Ｂ，Ｃの３つの移動予測モデルを適用して算出した各移動予測モデルのscoreの対比表示、あるいは最適な移動予測モデルの表示や指定された移動予測モデルが最適なものではない旨を注意喚起する表示などが含まれる。また、Ａ，Ｂ，Ｃの３つの移動予測モデルを適用して算出したscoreの対比結果及び観察細胞の移動形態に基づいて、確からしさが最も高い移動予測モデルを自動選択するステップを設け、以降の画像処理が自動選択された移動予測モデルを用いて実行されるように構成することも可能である。
【００５３】
（ユーザーインターフェース）
次に、上記のような画像解析を培養観察システムＢＳにおいて実行する場合のユーザーインターフェースについて、図１１に示す表示パネル７２への移動予測インターフェースの表示画像構成例を参照しながら説明する。
【００５４】
このインターフェースでは、操作パネル７１において「細胞の移動予測」が選択され、実行されると、まず、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器１０のコード番号一覧表が表示され、観察対象の培養容器１０の選択が行われる。図１１では、操作パネル７１に設けられたカーソルによってコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
【００５５】
培養容器が選択されると、ＣＰＵ６１は、搬送ユニット４のＸ，Ｙ，Ｚ各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、顕微観察系５５による顕微観察像を撮像装置５５ｃにより撮影させ、その画像を「観察位置」枠７２２に表示させる。撮像装置５５ｃにより撮影された顕微観察像は、ＲＡＭ６３の画像データ記憶領域に記録される。次に、観察対象とする細胞（観察細胞）が含まれる観察画像を取得するため、観察画像の領域設定が行われる。図１１では、観察者が操作パネル７１に付帯して設けられたマウスを利用して中央右よりの網掛け領域を指定した状態を示す。これにより、観察者が指定した領域の画像が時刻ｔの観察画像として画像解析部１２０に取得される。
【００５６】
取得された観察画像は、画像解析部１２０により瞬時に細胞の最外輪郭抽出処理（セグメンテーション）が施され、表示パネル７２の「観察画像」枠７２３に、最外輪郭が抽出された細胞の画像が表示される。そこで、図１１に示すように、観察画像において、移動方向予測を行う観察細胞（注目細胞）を、マウス等を用いて指定する。
【００５７】
このとき、観察画像枠７２３の下側に「移動予測オプション」枠７２４が形成され、その枠内に「移動予測手法」枠７２５が形成されて、どの予測アルゴリズム（移動予測モデル）を適用して移動予測を行うか、移動予測手法の選択ボタンが表示される。図示する構成例では、既述したＡ：最外輪郭偏心方向による予測手法の選択ボタン７２５ａ、Ｂ：楕円はみ出し方向による予測手法の選択ボタン７２５ｂ、Ｃ：細胞組織密度方向による予測手法の選択ボタン７２５ｃが表示され、この３種類から予測手法を選択する。この選択に応じて、前述した画像解析プログラムＧＰにおけるＡ：最外輪郭偏心方向による予測アルゴリズムのフロー、Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー、Ｃ：細胞組織密度方向による予測アルゴリズムのフローのいずれかに分岐する。
【００５８】
また、「移動予測オプション」枠７２４の枠内に「細胞モデルの選択」枠７２６が形成され、観察細胞の移動形態を選択する選択ボタンが表示される。図示する構成例では、細胞が移動方向に足を延ばして移動する形態の「細胞輪郭（足）移動型」の選択ボタン７２６ｂと、接着面を引きずるように移動する形態の「細胞内部移動型」の選択ボタン７２６ａが表示される。細胞の移動特性が分かっている場合に、このどちらかを選択することにより、前述した二方向の計算（例えば、楕円中心から輪郭中心に向かう方向と逆方向）のうち一方を省略することができ、処理負担を低減して高速処理することができる。なお、細胞の移動特性については、あらかじめ細胞の名称と特性を登録したデータベースを構築しておき、このデータベース検索によって自動的に決定するといった項目も設けておく。
【００５９】
これらが選択されると、画像解析部１２０は、前述した画像解析プログラムＧＰに従って上記選択された予測移動モデルを適用して観察細胞の予測移動方向Ｖ1を算出し、算出された予測移動方向が「注目細胞のトラッキング」枠７２７に観察細胞の表示とともに予測移動方向としてベクトル表示される。また、観察画像に含まれる細胞全体に対して移動予測を行う場合には、「観察画像」枠７２３下側の「全細胞移動予測ベクトル表示」ボタンを選択することにより実行され、観察画像に各細胞の予測移動方向が重ねてベクトル表示される。
【００６０】
時刻ｔから所定時間が経過して時刻ｔ＋１になると、撮像装置５５ｃにより再び顕微観察像が撮影され、時刻ｔと同一設定領域の観察画像が画像解析部１２０に取得される。画像解析部１２０は、時刻ｔの観察画像と時刻ｔ＋１の観察画像とから、既述した手法により観察細胞の実移動方向ＶRを算出する。そして、予測移動方向Ｖ1と実移動方向ＶRとの内積計算を行ってscoreを算出し、「移動予測オプション」枠７２４に得点を表示する。この際、得点が低い場合や細胞の移動特性が異なる場合には、移動予測モデルや細胞の移動形態（細胞モデル）の変更を促すコマンドボックスが表示される。
【００６１】
また、このインターフェースでは、画像解析部１２０が観察細胞の移動予測を全自動で行うFull
Autoモードが設けられて、「移動予測オプション」枠内にFull Autoモードの選択スイッチ７２６ｃが選択可能に設けられている。このFull Autoモードが選択された場合には、前述した複数の移動予測モデル（Ａ，Ｂ，Ｃ）について予測移動方向Ｖ1と実移動方向ＶRとの内積計算が行われて移動予測モデルごとにscoreが算出され、これらのscoreが対比表示されるとともに、最も得点が高い移動予測モデル及び細胞モデルが自動選択される。
【００６２】
従って、このようなユーザーインターフェースによれば、指定した移動予測モデルを適用した場合の評価指標が表示されるため、そのモデル適用の確からしさを定量的に把握することができる。また得点が低い場合や細胞の移動特性が異なる場合に変更を促すコマンドボックスが表示される構成によれば、観察者が早期に指定したモデル選択等の誤りを是正することができる。さらに、複数の移動予測モデルの中から最適な移動予測モデルを算出し適用するような構成によれば、細胞の移動特性が未知の場合であっても、煩雑な選択操作を繰り返したり誤判断したりすることなく、適切な移動予測を行うことができる。
【００６３】
このように、以上説明した本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される細胞移動方向予測の評価手法及び画像処理装置１００によれば、移動予測モデルの確からしさを定量的に評価し的確に判断し得る手法を提供することができる。
【図面の簡単な説明】
【００６４】
【図１】画像処理プログラムの概要を示すフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。
【図５】観察細胞に適用した細胞モデルから移動方向を導出する移動予測手法の概念図である。
【図６】細胞モデルの重心と観察細胞の重心のずれから移動方向を導出する移動予測手法の概念図である。
【図７】細胞モデルからはみ出した観察細胞の位置から移動方向を導出する移動予測手法の概念図である。
【図８】観察細胞の密度分布から移動方向を導出する移動予測手法の概念図である。
【図９】評価指標に含まれる|cosθi|の分布を例示する説明図である。
【図１０】画像処理装置の概要構成を示すブロック図である。
【図１１】表示パネルに表示される移動予測インターフェースの構成例である。
【符号の説明】
【００６５】
ＢＳ  培養観察システム              ＧＰ  画像処理プログラム
Ｃ  観察細胞                        Ｍｃ  細胞モデル
Ｖ1  予測移動方向                    ＶR  実移動方向
５  観察ユニット                    ６  制御ユニット
５４  マクロ観察系                  ５４ｃ  撮像装置
５５  顕微観察系                    ５５ｃ  撮像装置
６１  ＣＰＵ                        ６２  ＲＯＭ
６３  ＲＡＭ                        １００  画像処理装置
１２０  画像解析部                  １３０  出力部
【図１】
2010022319.tif 000005
【図２】
2010022319.tif 000006
【図３】
2010022319.tif 000007
【図１０】
2010022319.tif 000008
【図４】
2010022319.tif 000009
【図５】
2010022319.tif 000010
【図６】
2010022319.tif 000011
【図７】
2010022319.tif 000012
【図８】
2010022319.tif 000013
【図９】
2010022319.tif 000014
【図１１】
2010022319.tif 000015