(57)【要約】【課題】多数の移動予測モデルを規定することなく探査範囲の縮小を可能とした画像処理手段を提供する。【解決手段】撮像装置により観察細胞が撮影された第１観察画像を取得し、観察細胞に移動予測モデルを適用して観察細胞の予測移動方向Ｖ1を算出するとともに、第１観察画像と所定時間へだてた第２観察画像とから観察細胞の実移動方向ＶRを算出する。そして、算出された予測移動方向Ｖ1と実移動方向ＶRとの内積に基づいて最適な移動予測モデルを自動選択するとともに、内積値に応じて移動予測モデルの予測移動方向を補正する。【選択図】図１
2010169823.tif 000002
【特許請求の範囲】
【請求項１】
観察画像に含まれる細胞に、モデル化された細胞の移動予測モデルを適用して予測移動方向を算出する細胞観察画像の画像処理方法であって、
撮像装置により撮影された第１観察画像から観察細胞を抽出し、抽出された前記観察細胞に前記移動予測モデルを適用して前記観察細胞の予測移動方向を算出し、
前記撮像装置により前記第１観察画像と所定時間を隔てて撮影された第２観察画像から前記観察細胞を抽出し、前記第１観察画像および前記第２観察画像における前記観察細胞の相対位置の変化に基づいて前記観察細胞の実移動方向を算出し、
前記予測移動方向のベクトルと前記実移動方向のベクトルとの内積に基づいて、前記移動予測モデルに規定された前記予測移動方向を補正するように構成したことを特徴とする細胞観察画像の画像処理方法。
【請求項２】
前記第１観察画像および前記第２観察画像に各々対応する複数組の前記観察細胞が含まれる場合に、
前記予測移動方向、前記実移動方向および前記内積は、前記観察細胞の各組ごとに算出され、前記移動予測モデルの前記予測移動方向の補正が前記各組の前記内積の頻度分布に基づいて行われるように構成したことを特徴とする請求項１に記載の細胞観察画像の画像処理方法。
【請求項３】
観察画像に含まれる細胞に、モデル化された細胞の移動予測モデルを適用して予測移動方向を算出する細胞観察画像の画像処理プログラムであって、
撮像装置により撮影された第１観察画像から観察細胞を抽出し、抽出された前記観察細胞に前記移動予測モデルを適用して前記観察細胞の予測移動方向を算出するステップと、
前記撮像装置により前記第１観察画像と所定時間を隔てて撮影された第２観察画像から前記観察細胞を抽出し、前記第１観察画像および前記第２観察画像における前記観察細胞の相対位置の変化に基づいて前記観察細胞の実移動方向を算出するステップと、
前記予測移動方向のベクトルと前記実移動方向のベクトルとの内積に基づいて、前記移動予測モデルに規定された前記予測移動方向を補正するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項４】
前記第１観察画像および前記第２観察画像に各々対応する複数組の前記観察細胞が含まれる場合に、
前記予測移動方向、前記実移動方向および前記内積は、前記観察細胞の各組ごとに算出され、前記移動予測モデルの前記予測移動方向の補正が前記各組の前記内積の頻度分布に基づいて行われるように構成したことを特徴とする請求項３に記載の細胞観察画像の画像処理プログラム。
【請求項５】
細胞を撮影する撮像装置により観察細胞が撮影された観察画像を取得し、予め設定されたモデル化された細胞の移動予測モデルを適用して前記観察画像を解析する画像解析部と、前記画像解析部により解析された解析結果に基づき前記移動予測モデルを補正するフィードバック制御部とを備え、
前記画像解析部が、前記撮像装置により撮影された第１観察画像から前記観察細胞を抽出し前記移動予測モデルを適用して前記観察細胞の予測移動方向を算出し、前記第１観察画像と所定時間を隔てて前記撮像装置により撮影された第２観察画像から前記観察細胞を抽出し前記第１観察画像および前記第２観察画像における前記観察細胞の相対位置の変化に基づいて前記観察細胞の実移動方向を算出し、
前記フィードバック制御部が、前記予測移動方向のベクトルと前記実移動方向のベクトルとの内積に基づいて、前記移動予測モデルに規定された前記予測移動方向を補正するように構成したことを特徴とする細胞観察画像の画像処理装置。
【請求項６】
前記第１観察画像および前記第２観察画像に各々対応する複数組の前記観察細胞が含まれる場合に、
前記画像解析部は、前記予測移動方向、前記実移動方向および前記内積を前記観察細胞の各組ごとに算出し、前記フィードバック制御部は、前記移動予測モデルの前記予測移動方向の補正を前記各組の前記内積の頻度分布に基づいて行うように構成したことを特徴とする請求項５に記載の細胞観察画像の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞の時系列観察装置において細胞のトラッキングシステムに補助的に利用される画像処理手段に関するものである。
【背景技術】
【０００２】
移動体の移動予測として、移動体を撮影した画像を処理し解析することにより、その移動体が今後どのように移動するかを予測する画像処理技術が広く用いられており、過去の移動量に基づく時系列予測を利用した線形予測やカルマンフィルタなどの予測手法が知られている（例えば特許文献１を参照）。また、線形予測が困難な場合の予測手法として非線形予測が可能なパーティクルフィルタなども考案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３０３８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような従来の手法では、ランダムに近い動きを予測するには未だ予測精度が十分であるとはいえない。本出願の発明者らは、細胞の移動について鋭意研究を進めた結果、細胞特有の形状や内部変化など動きに起因する成分をとりだし、移動方向の予測精度を向上させる手法を発明した。この発明では、細胞の形態学的特徴（形状、細胞内部構造等）や細胞内活動、アッセイ反応などをもとに、細胞の移動形態をモデル化した移動予測モデル（予測アルゴリズム）を規定し、観察対象の細胞に移動予測モデルを適用して予測移動方向を算出することにより、移動方向の予測精度が高められるようになっている。
【０００５】
しかしながら、これまでの移動予測モデルは、予測移動方向が、移動予測モデルごとにある一定方向に与えられており、観察細胞の移動形態が近似しても細胞腫によって実移動方向が予測移動方向に対して癖をもつような場合（例えば足を伸ばした方向と実移動方向にずれがあるような場合）には、個々の特性に応じた多数の移動予測モデルを規定するか、トラッキングに用いる探査領域を十分広く取る必要があるという課題があった。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、細胞トラキングの精度を向上させ、多数の移動予測モデルを規定することなく探査範囲の適正化を可能とした画像処理手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する第１の態様は、観察画像に含まれる細胞に、モデル化された細胞の移動予測モデルを適用して細胞の予測移動方向を算出する細胞観察画像の画像処理方法である。この細胞観察画像の画像処理方法は、撮像装置により撮影された第１観察画像から観察細胞を抽出し、抽出された観察細胞に移動予測モデルを適用して観察細胞の予測移動方向を算出し、撮像装置により第１観察画像と所定時間を隔てて撮影された第２観察画像から前記観察細胞を抽出し、第１観察画像および第２観察画像における観察細胞の相対位置の変化に基づいて当該観察細胞の実移動方向を算出し、予測移動方向のベクトルと実移動方向のベクトルとの内積に基づいて、移動予測モデルに規定された予測移動方向を補正するように構成される。
【０００８】
本発明を例示する第２の態様は、観察画像に含まれる細胞に、モデル化された細胞の移動予測モデルを適用して細胞の予測移動方向を算出する細胞観察画像の画像処理プログラムである。この細胞観察画像の画像処理プログラムは、撮像装置により撮影された第１観察画像から観察細胞を抽出し、抽出された観察細胞に移動予測モデルを適用して観察細胞の予測移動方向を算出するステップと、撮像装置により第１観察画像と所定時間を隔てて撮影された第２観察画像から前記観察細胞を抽出し、第１観察画像および第２観察画像における観察細胞の相対位置の変化に基づいて当該観察細胞の実移動方向を算出するステップと、予測移動方向のベクトルと実移動方向のベクトルとの内積に基づいて、移動予測モデルに規定された予測移動方向を補正するステップとを備えて構成される。
【０００９】
本発明を例示する第３の態様は、細胞を撮影する撮像装置により観察細胞が撮影された観察画像を取得し、予め設定されたモデル化された細胞の移動予測モデルを観察細胞に適用して観察画像を解析する画像解析部と、この画像解析部により解析された解析結果に基づき移動予測モデルを補正するフィードバック制御部とを備えた細胞観察画像の画像処理装置である。この細胞観察画像の画像処理装置においては、前記画像解析部が、撮像装置により撮影された第１観察画像から観察細胞を抽出し移動予測モデルを適用して観察細胞の予測移動方向を算出し、また第１観察画像と所定時間を隔てて撮像装置により撮影された第２観察画像から前記観察細胞を抽出して第１観察画像および第２観察画像における前記観察細胞の相対位置の変化に基づいて当該観察細胞の実移動方向を算出し、前記フィードバック制御部が、予測移動方向のベクトルと実移動方向のベクトルとの内積に基づいて、移動予測モデルに規定された予測移動方向を補正するように構成される。
【００１０】
以上の細胞観察画像の画像処理方法、画像処理プログラム、及び画像処理装置において、前記第１観察画像および前記第２観察画像に各々対応する複数組の観察細胞が含まれる場合に、前記予測移動方向、前記実移動方向および前記内積が観察細胞の各組ごとに算出され、前記移動予測モデルの予測移動方向の補正が各組の内積の頻度分布に基づいて行われるように構成することが好ましい。
【発明の効果】
【００１１】
このような細胞観察画像の画像処理方法、画像処理プログラム、及び画像処理装置によれば、移動予測モデルに規定された予測移動方向に偏りがあった場合に、予測移動方向と実移動方向との内積に基づいて予測移動方向が随時補正され更新される。このため、細胞トラキングの精度を向上させることができ、多数の移動予測モデルを規定することなく探査領域を縮小して処理速度の高速化を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理プログラムの概要を示すフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。
【図５】観察細胞に適用した細胞モデルから移動方向を導出する移動予測手法の概念図である。
【図６】細胞モデルの重心と観察細胞の重心のずれから移動方向を導出する移動予測手法の概念図である。
【図７】細胞モデルからはみ出した観察細胞の位置から移動方向を導出する移動予測手法の概念図である。
【図８】観察細胞の密度分布から移動方向を導出する移動予測手法の概念図である。
【図９】細胞探査範囲の補正例を例示する説明図である。
【図１０】画像処理装置の概要構成を示すブロック図である。
【図１１】表示パネルに表示される移動予測インターフェースの構成例である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を図２及び図３に示す。
【００１４】
培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２、複数の培養容器１０を収容保持するストッカー３、培養容器１０内の試料を観察する観察ユニット５、培養容器１０を搬送する搬送ユニット４、システムの作動を制御する制御ユニット６、及び画像表示装置を備えた操作盤７などから構成される。
【００１５】
培養室２は、培養環境を形成する部屋であり、この培養室２に付随して温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。ストッカー３は、前後及び上下に仕切られた棚状に形成され各棚に固有の番地が設定される。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料が液体培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。搬送ユニット４は、培養室２の内部に設けられて上下移動可能なＺステージ４１、前後移動可能なＹステージ４２、左右移動可能なＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ちあげ支持する支持アーム４５が設けられている。
【００１６】
観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系５の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２及び下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５には顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１７】
マクロ観察系５４は、観察光学系５４ａと、観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有して構成され、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）が取得される。顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有して構成される。対物レンズ及び中間変倍レンズは各々複数設けられ、レンズの組み合わせを変化させることにより任意の観察倍率に設定可能に構成される。顕微観察系５５では、第２照明部５２により照明された細胞の透過像、第３照明部５３により照明された細胞の反射像、第３照明部５３により照明された細胞の蛍光像など、培養容器１０内の細胞を顕微鏡観察した顕微観察像（ミクロ像）が取得される。
【００１８】
画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ、顕微観察系５５の撮像装置５５ｃにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像や顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、細胞の移動方向予測、細胞の運動状態の解析、タイムラプス画像の生成等を行う。なお、画像処理装置１００については、後に詳述する。
【００１９】
制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２０】
操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２１】
このように概要構成される培養観察システムＢＳは、操作盤７において設定された観察プログラムに従ってＣＰＵ６１が各部の作動を制御し、培養容器１０内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件に基づいて温度調整装置２１、加湿器２２等の作動を制御する。また、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいてＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察が細胞のミクロ観察である場合には、該当する培養容器１０を顕微観察系５５の光軸上に位置決めし、第２照明部５２または第３照明部５３の光源を点灯させて、顕微観察像を撮像装置５５ｃに撮影させる。
【００２２】
ＣＰＵ６１は、上記のような顕微観察像の撮影や全体観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。撮影された全体観察像や顕微観察像の画像データは、撮影日時等のインデックス・データとともにＲＡＭ６３の画像データ記憶領域に順次記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。
【００２３】
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、観察細胞の移動方向を予測する移動予測モデルについて、実際に観察細胞が移動した実移動方向に応じて予測移動方向を補正する機能を有しており、細胞のトラッキングなどに利用される。以下、移動予測モデルの補正手法について、基本的な概念から説明する。
【００２４】
（最外輪郭の抽出）
まず、ある時刻ｔに撮影された画像(第１画像という)について、画像内に含まれる細胞Ｃの最外輪郭を抽出する。図４は、最外輪郭抽出処理の様子を示す模式図であり、撮像装置５５ｃ（５４ｃ）により撮影され取得された画像(ａ)に対し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。最外輪郭抽出処理には、例えば、分散フィルタを施したのち二値化させる手法や、動的輪郭方（SnakesやLevel Set法）などがあげられる。
【００２５】
（移動予測モデルの適用）
次に、個々の細胞に着目し、移動予測モデルを適用して移動方向の予測を行う。移動予測モデルの適用による移動方向の予測手法として、Ｉ．細胞の形状特徴に基づいて予測移動方向を算出する手法と、II．細胞の内部構造の偏りに基づいて予測移動方向を算出する手法とを例示する。なお、本明細書においては、観察対象となる細胞を「観察細胞」と表記する。
【００２６】
Ｉ．細胞の形状特徴に基づく移動予測は、最外輪郭が抽出された観察細胞に細胞の外形形状をモデル化した細胞モデルを適応させ、適応した細胞モデルを利用して観察細胞が移動すると予測される移動方向、すなわち予測移動方向を導出する。この移動予測に含まれる具体的な手法として、(１)観察細胞に適応した細胞モデルの形状特徴に基づく予測手法、(２)観察細胞に適応した細胞モデルの重心位置と観察細胞の重心位置のずれに基づく予測手法、(３)観察細胞に適応した細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく予測手法を例示する。
【００２７】
まず、観察細胞への細胞モデルの適応は、例えば、図５，図６及び図７に楕円形状の細胞モデルＭｃを適応した事例を示すように、前処理で抽出された観察細胞Ｃの最外輪郭に対して楕円モデルへの近似を行う。ここでいう楕円近似は、最小二乗法やモーメント計算による方法が例としてあげられる。または観察細胞Ｃの輪郭内部を埋めたものと最も相関の高い楕円モデルを推定してもよい。この細胞モデルＭｃを利用して細胞移動の予測方向を推定する。
【００２８】
(１)の細胞モデルの形状特徴に基づく予測手法は、細胞モデルＭｃの楕円の長軸方向（図５における矢印方向）を、観察細胞Ｃの予測移動方向として導出する。すなわち、縦横比が一定以上の楕円形状に近似されるような細胞の場合、その細胞の移動方向は、一般的に長手方向、つまり近似した楕円の長軸方向である確率が高い。この予測手法は、このような細胞の形状特徴と移動方向との関係を利用して長軸方向の一方を予測移動方向と算出する。
【００２９】
(２)細胞モデルの重心位置と観察細胞の重心位置のずれに基づく予測手法は、図６に示すように、観察細胞Ｃに対して細胞モデルＭｃを適用するとともに、観察細胞Ｃの輪郭形状からその重心位置Ｇを求め、細胞モデルＭｃの楕円中心Ｏと観察細胞Ｃの重心位置Ｇのずれから観察細胞の移動方向を導出する。これは、自身の形状を変化させて移動する細胞の場合、細胞の重心位置が移動方向（または逆方向）に偏る特徴を利用して移動方向を推定するものである。例えば、図６に示すように、観察細胞の重心Ｇが、楕円近似した細胞モデルＭｃの重心すなわち楕円中心Ｏから右側に偏っている場合、楕円中心Ｏから重心Ｇの偏心方向に延びる長軸方向を予測移動方向として算出する。
【００３０】
(３)細胞モデルの輪郭形状と観察細胞の輪郭形状の差異に基づく予測手法は、楕円形状の細胞モデルＭｃに対して細胞輪郭が複雑な場合を考える。この場合、細胞モデルＭｃからはみ出した細胞輪郭の位置及び大きさから、突出量が最も大きい箇所を求め、このはみ出し最大部分から楕円中心に向かう方向（または逆方向）が観察細胞の移動する方向であると予測する。細胞が移動する際に接着面が残る特徴や、体の一部（足）を伸ばす特徴を利用したものである。例えば、図７に示すように、細胞モデルＭｃの中心からはみ出し最大部分の領域が求められ、はみ出し最大部分から楕円中心に向かう方向が予測移動方向と算出される。
【００３１】
II．細胞の内部構造の特徴に基づく移動予測は、最外輪郭が抽出された観察細胞の輪郭形状に対する内部構造の偏りを算出し、算出された内部構造の偏りに基づいて観察細胞が移動すると予測される移動方向を導出する。内部構造の偏りを検出する具体的な手法として、観察細胞の細胞密度に基づく手法を例示する。
【００３２】
細胞密度は、もっとも簡単な計測手法として、顕微観察画像における細胞輪郭内側の輝度値の分散で表現することができる。細胞は移動する際に内部を移動する方向へと組織を移動させる（またはその逆に移動させる）傾向がある。そこで、細胞輪郭内における細胞密度を輝度値の分散から求め、図８に示すように、細胞輪郭内において分散の小さい領域から分散の大きい領域に向かう方向を算出し、これを観察細胞Ｃの予測移動方向とする。
【００３３】
観察細胞の内部構造の偏りを捉える他の手法として、観察細胞のテクスチャ特徴に基づく手法があげられる。細胞内部には核や内部繊維などのテクスチャが存在し、移動に際してこれらの内部構造も移動し若しくは変化する。従って、細胞輪郭内部におけるテクスチャを分散フィルタなどにより求め、例えば細胞輪郭内における核の位置や内部繊維の延びる方向等から移動方向を予測することができる。
【００３４】
以上のようにして各移動予測モデルに細胞の特徴を適用して得られた予測移動方向をベクトル化し「予測移動方向」Ｖ1とする（ここで、Ｖi(i＝1)はベクトル）。なお、細胞モデルＭｃの構成例として楕円形状を例示したが、観察対象となる細胞の形態的な特徴に応じて適宜な形状を用いることができ、例えば、三角形や矩形、星形、弓形などが例示される。
【００３５】
（細胞移動方向の検出）
次に、時刻ｔに撮影された第１観察画像から、観察細胞Ｃの移動に対して十分微小な時間を隔てた時刻ｔ＋１（またはｔ−１）に撮影された第２観察画像を取得し、時刻ｔの細胞と最近傍にあたる細胞同士を同じ細胞であるとして最近傍対応をとる。そして、対応づけられた各細胞について、時刻tの観察細胞Ｃの位置と時刻ｔ＋１における観察細胞Ｃの位置とから移動量および移動方向を算出し、算出された観察細胞の実際の移動方向を時刻ｔ＋１における観察細胞の「実移動方向」ＶRとする（ＶRはベクトル）。この実移動方向の算出は、同様の微小時間を隔てたｔ＋２，ｔ＋３・・・（またはｔ−２，ｔ−３・・・）に順次行われる。なお、各時刻における移動量及び移動方向から観察細胞Ｃの平均移動方向を算出し、これを観察細胞の細胞移動方向ＶRとしてもよい。
【００３６】
ここで、時刻ｔの細胞に対応する時刻ｔ＋１の細胞の検出には、時刻の刻み幅が観察細胞Ｃの移動に対して十分短く、細胞の変形も少ないことから、時刻ｔの観察細胞Ｃをテンプレートとし、その近傍における時刻ｔ＋１の画像に対して相関や差分などによりマッチングをとる（テンプレートマッチング）。これを時刻ｔ＋１の画像に対する時刻ｔ＋２の細胞の検出と繰り返し、短時間あたりの細胞の移動方向を決定する。
【００３７】
（予測精度の定量評価と予測法の最適化）
次に、上記のようにして求めた観察細胞Ｃの予測移動方向Ｖ1と、実移動方向ＶRとの内積をとり、
【数１】
2010169823.tif 000003
を算出する。上式から明らかなように、θ1は予測移動方向Ｖ1と実移動方向ＶRのなす角度を表す。次いで、上記で算出されたcosθ1もしくはその絶対値の全細胞での平均値を次式に基づき算出する。
【数２】
2010169823.tif 000004
【００３８】
算出されたscoreの絶対値が１に近い程、予測移動方向Ｖiと実移動方向ＶRとの交差角が小さく（０またはπに近く）、当てはめた移動予測モデルの信頼度が高いこと（細胞の移動形態との合致度が高いこと）を表す。従って、上記算出式により求められるscoreは、移動予測モデルの適用の確からしさを表す評価指標となり、適用した移動予測モデルがどの程度確からしいかを定量的に判断することができる。
【００３９】
この予測移動方向Ｖiと、実移動方向ＶRとの内積による得点付け（score算出）を、前述した各移動予測モデルについて実行し対比する。そして、その絶対値が１に最も近い移動予測モデルを選択し、複数の移動予測モデルの中から最適な移動予測モデルを適用する。
【００４０】
（移動予測モデルの修正）
以上の細胞の移動方向予測手法によれば、画像処理装置に設定されている複数の移動予測モデルについて、各移動予測モデルの適用の確度（確からしさ）が定量的に評価され、この評価に基づいて最も確度が高い適切な移動予測モデルが選択される。そのため、画像処理において最適化された移動予測モデルを適用することができ、これにより移動方向の探査範囲を移動形態の特徴に応じた範囲に限定して処理負担を低減することができる。
【００４１】
但し、「移動予測モデル」は、細胞の移動形態を細胞の形態学的特徴（形状、細胞内部構造等）や細胞内活動、アッセイ反応などをもとにモデル化したものであり、移動予測モデルの適用により導出される「予測移動方向」は、ある一定の角度方向として導出される。そのため、同様の移動形態的特徴を有する細胞群に含まれる細胞であっても、予測移動方向から偏りを持った方向へ移動する細胞種も存在する。例えば、移動に際して移動方向に足を伸ばす移動形態的特徴を有する細胞群に含まれる細胞であり、適用される移動予測モデルの探索範囲内に移動する細胞であっても、実際の移動方向は、移動予測モデルの適用により導出される予測移動方向に対して、細胞腫に応じた偏角を有している。
【００４２】
このような細胞腫の偏角に対応し汎用性をもたせるには、移動予測モデルごとに、予測移動方向を中心とした探査範囲を十分広くとる必要がある。しかしながら、細胞トラッキングの処理速度は探査範囲に比例することに加え、探査範囲を広くすると当該探査範囲内に異なる細胞が入る確率（トラッキングを間違える確率）も大きくなるという問題が生じる。そこで、本発明の移動予測では、予測移動方向のベクトルＶiと、実移動方向のベクトルＶRとの内積に基づいて、移動予測モデルに規定された予測移動方向を補正する。
【００４３】
まず、観察対象が単一である場合、例えば、第１，第２観察画像に含まれる観察細胞が一つだけの場合や、第１，第２観察画像に含まれる多数の細胞の中から特定の細胞を選択して観察対象として捉えるような場合には、上述した計算式により算出したcosθ1の大きさに応じて予測移動方向を補正する。具体的には、時刻ｔ+１においてcosθ1を算出し、その大きさに応じて時刻t＋２への予測移動方向を補正する。
【００４４】
例えば、時刻ｔ+１において算出されたcosθ1の大きさが0.9未満であるときに、θ1に相当する角度分を予測移動方向に補正項として付加し、補正項を含めた移動予測モデルをこの細胞観察における更新移動予測モデルとして規定する。時刻t＋２では、更新移動予測モデルが適用され、補正された予測移動方向と実移動方向との内積計算が行われる。一方、時刻ｔ+１において算出されたcosθ1の大きさが0.9以上であるときには、移動予測モデルの更新を行わない。この場合、時刻t＋２では、時刻ｔ+１と同じ移動予測モデルが適用され、予測移動方向と実移動方向との内積計算が行われる。時刻t＋３以降についても同様であり、各時刻において算出されたcosθ1の大きさが0.9未満であるときに、θ1に相当する角度分を補正項に加えた移動予測モデルが更新移動予測モデルとして規定される。
【００４５】
第１，第２観察画像に多数の観察細胞が含まれるような場合には、最近傍対応により対応づけられた観察細胞ごとに、予測移動方向Ｖi、実移動方向ＶR及びcosθiを算出し、算出されたcosθiの頻度分布に基づいて予測移動方向の補正を行う。具体的には、時刻ｔ+１におけるcosθiの頻度分布から各cosθiをとる確率を算出し、算出された確立に応じてt＋２での予測移動方を補正する。
【００４６】
例えば、時刻ｔ+１において算出されたcosθiの頻度分布から確率が最大となるcosθxを算出し、このcosθxの大きさが0.9未満であるときに、θxに相当する角度分を予測移動方向に補正項として付加し、補正項を含めた移動予測モデルをこの細胞観察における更新移動予測モデルとして規定する。時刻t＋２では、更新移動予測モデルが適用され、補正された予測移動方向と各観察細胞の実移動方向との内積計算が行われる。時刻ｔ+１において算出されたcosθxの大きさが0.9以上であるときには、移動予測モデルの更新は行われず、時刻t＋２において時刻ｔ+１と同じ移動予測モデルを適用して、予測移動方向と各観察細胞の実移動方向との内積計算が行われる。時刻t＋３以降についても同様である。移動予測モデルの更新条件は、時刻ｔ+１において算出されたcosθiの頻度分布と、時刻ｔ+２において算出されたcosθiの頻度分布との相関をとり、相関値が0.9未満であるときに移動予測モデルの更新を行うように構成することも好適である。
【００４７】
また、時刻ｔ+１において算出されたcosθiの頻度分布に基づいて、t＋２での予測方向に対する探査範囲の修正を加える。例えば、時刻ｔ+１において算出されたcosθiの頻度分布が、確率が最大のcosθxを中心とした一定範囲に広がりを有するような場合には、その広がりに応じた角度+δθを補正項として付加し、補正項を含めた探査範囲をこの細胞観察における移動予測モデルの更新探査範囲として規定する。また、時刻ｔ+１において算出されたcosθiの頻度分布が、確率が最大となるcosθxのほかに、極大値をとるcosθyを単数または複数有するような場合には、その極大値をとる角度θy方向に探査範囲を広げる補正項を付加し、補正項を含めた探査範囲をこの細胞観察における移動予測モデルの更新探査範囲として規定する。このような細胞探査範囲の補正例を図９に示す。
【００４８】
以上説明したような細胞の移動予測手法によれば、移動予測モデルに規定された予測移動方向に対して観察細胞の移動方向に偏りがあった場合でも、観察細胞の実際の移動状況に応じて予測移動方向が随時補正され更新される。このため、細胞トラキングの精度を向上させることができ、多数の移動予測モデルを規定することなく探査領域を適正範囲に縮小して処理速度の高速化を実現することができる。
【００４９】
（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図１及び図１０を併せて参照しながら説明する。ここで、図１は移動予測の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図１０は移動予測の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。
【００５０】
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により観察細胞Ｃが撮影された観察画像を取得して観察画像を解析する画像解析部１２０と、画像解析部１２０により解析された解析結果に基づいて移動予測モデルを補正するフィードバック制御部１２５と、画像解析部１２０により解析された解析結果を出力する出力部１３０とを備え、画像解析部１２０により自動選択された移動予測モデルの種別やその確度、観察細胞の予測移動方向などが表示パネル７２等に出力され表示されるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００５１】
画像解析部１２０は、始めに時刻ｔの第１観察画像を取得する（ステップＳ１）。そして、移動予測モデルＡ、Ｂ，Ｃを適用した各移動予測の前提処理として、観察細胞に対して最外輪郭抽出処理を行う。また、移動予測モデルＡ、すなわち細胞モデルの重心と最外輪郭の重心の偏りから予測移動方向を算出する予測手法（最外輪郭偏心方向予測アルゴリズム）及び、移動予測モデルＢ、すなわち細胞モデルの輪郭形状と観察細胞の輪郭形状の差異から移動方向を計算する予測手法（楕円はみ出し方向予測アルゴリズム）について、最外輪郭に対する楕円モデルへの近似処理を行う。移動予測モデルＣ、すなわち細胞輪郭内における細胞密度の分布から移動方向を計算する予測手法（細胞組織密度方向予測アルゴリズム）については、輪郭内部の細胞構造に対して分散フィルタなどテクスチャの有無を検出する手法を適用し、輪郭内部についての細胞構造の有無を分散または密度の分布を算出する。
【００５２】
次いで、移動予測モデルＡの処理フローＦ１０において、観察細胞の重心を算出し、予測移動方向Ｖiとして、楕円中心から重心への方向とその逆方向を算出する（ステップＳ１３）。また、移動予測モデルＢの処理フローＦ２０において、楕円から最も大きくはみ出した最外輪郭位置を検出し、予測移動方向Ｖiとして、最外輪郭位置から楕円中心への方向とその逆方向を算出する（ステップＳ２３）。また、移動予測モデルＣの処理フローＦ３０において、予測移動方向Ｖiとして分散または密度の小さい方から大きい方への傾き方向とその逆方向を算出する（ステップＳ３３）。
【００５３】
次に、図１では移動予測モデルＡ、Ｂ，Ｃの処理フローの側方に記載するが、第１観察画像の撮影時刻ｔから観察細胞の移動に対して十分微小な時間を隔てた時刻ｔ＋１に撮影された第２観察画像を取得し（ステップＳ５１）、時刻ｔに撮影された第１観察画像と時刻ｔ+１に撮影された第２観察画像の観察細胞を最近傍対応により対応づけて相関計算を行う（ステップＳ５２）。そして、対応づけられた各観察細胞について、時刻ｔの観察細胞の位置と時刻ｔ＋１における観察細胞の位置とから移動方向および移動量を算出し、各観察細胞の実移動方向ＶRを算出する（ステップＳ５３）。なお、前述したように複数の時刻（ｔ＋１，ｔ＋２，ｔ＋３・・・）間の移動量及び移動方向から各観察細胞の平均移動方向を算出してこれを実移動方向ＶRとしてもよく、既にＲＡＭ２３に記録されている微小時間前（ｔ-１，ｔ-２，ｔ-３・・・）の観察画像を取得して実移動方向ＶRを算出するように構成してもよい。
【００５４】
そして、観察細胞の予測移動方向Ｖiと実移動方向ＶRとの内積をとって各移動予測モデルの得点付けを行い（ステップＳ１５，Ｓ２５，Ｓ３５）、各移動モデルについて算出されたscoreを対比して絶対値が最も１に近い移動予測モデルを選択し、選択された最適な移動予測モデルを出力部１３０から表示パネル７２に出力して表示させる（ステップＳ５）。scoreの算出に当たって、予測移動方向Ｖiは正逆二方向あるが、cosθiが正となる方向を適正な予測移動方向と判断できる。これにより観察細胞が移動方向に足を延ばして移動する形態の細胞なのか、逆に接着面を引きずるように移動する形態の細胞なのかを自動判別でき、以降の探査範囲を半分に削減することができる。
【００５５】
次に、選択された最適移動予測モデルについて、時刻ｔ及びｔ+１におけるcosθiの頻度分布が算出されて（ステップＳ６）、これらの頻度分布の相関計算が行われ相関値が0.9未満であるか否かが判断される（ステップＳ７）。そして、相関値が0.9未満であるときにフィードバック制御部１２５により予測移動方向の補正項、探査範囲の補正項が算出され、移動予測モデルの更新処理が実行される（ステップＳ８）。
【００５６】
（ユーザーインターフェース）
次に、上記のような画像解析を培養観察システムＢＳにおいて実行する場合のユーザーインターフェースについて、図１１に示す表示パネル７２への移動予測インターフェースの表示画像構成例を参照しながら説明する。
【００５７】
このインターフェースでは、操作パネル７１において「細胞の移動予測」が選択されると、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器１０のコード番号一覧表が表示され、培養容器１０の選択が行われる。図１１では、コード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
【００５８】
培養容器が選択されると、制御装置６は、搬送ユニット４のＸ，Ｙ，Ｚ各ステージを作動させてストッカー３から選択された培養容器１０を観察ユニット５に搬送する。そして、顕微観察系５５による顕微観察像を撮像装置５５ｃにより撮影させ、その画像を「観察位置」枠７２２に表示させる。次に、観察対象とする細胞（観察細胞）が含まれる観察画像を取得するため、観察画像の領域設定が行われる。図１１では、観察者がマウスを利用して中央右よりの網掛け領域を指定した状態を示す。これにより、観察者が指定した領域の画像が時刻ｔの第１観察画像として画像解析部１２０に取得される。
【００５９】
取得された第１観察画像は、画像解析部１２０により瞬時に細胞の最外輪郭抽出処理（セグメンテーション）が施され、表示パネル７２の「観察画像」枠７２３に、最外輪郭が抽出された細胞の画像が表示される。特定の細胞に注目してトラッキングを行う場合や、単一の細胞を観察細胞として移動予測を行うような場合に、観察者はマウス等により注目細胞を選択して指定することができる。
【００６０】
「観察画像」枠７２３の下側には「移動予測オプション」枠７２４が形成され、その枠内に「移動予測手法」枠７２５が形成される。この「移動予測手法」枠７２５は、移動予測モデルを手動選択して指定する場合に用いられ、枠内には、既述した移動予測モデルＡ（最外輪郭偏心方向による予測アルゴリズム）の選択ボタン７２５ａ、移動予測モデルＢ（楕円はみ出し方向による予測アルゴリズム）の選択ボタン７２５ｂ、移動予測モデルＣ（細胞組織密度方向による予測アルゴリズム）の選択ボタン７２５ｃが表示される。観察者はこの選択ボタンを利用して移動予測モデルを指定することができ、例えば、観察細胞の移動形態が予め把握されているような場合に、移動予測モデルを指定して移動予測を行うことにより、処理フロー（Ｆ１０，Ｆ２０，Ｆ３０）を特定して処理時間を短縮することができるようになっている。
【００６１】
また、「移動予測オプション」枠７２４の枠内に「細胞モデルの選択」枠７２６が形成され、観察細胞の移動形態を選択する選択ボタンが表示される。本構成例では、細胞が足を延ばして移動する形態の「細胞輪郭（足）移動型」の選択ボタン７２６ｂ、接着面を引きずるように移動する形態の「細胞内部移動型」の選択ボタン７２６ａが表示される。細胞の移動特性が分かっている場合に、この選択ボタンにより設定しておくことにより、上述した移動予測モデルの指定と同様に処理時間を短縮することができる。
【００６２】
「細胞モデルの選択」枠７２６には、画像解析部１２０が第１観察画像に含まれる細胞の移動予測を全自動で行う「Full Auto」モードの選択スイッチ７２６ｃが設けられている。「細胞モデルの選択」枠７２６においてFull Autoモードが選択され、操作パネル７１において移動予測開始の操作が行われると、画像解析部１２０は、前述した画像処理プログラムＧＰに従って画像処理を実行し、最適な移動予測モデルを自動選択する。
【００６３】
具体的には、第１観察画像を撮影した時刻ｔから観察プログラムにおいて指定された所定時間が経過した時刻ｔ＋１に、撮像装置５５ｃにより再び顕微観察像が撮影され、時刻ｔと同一設定領域の第２観察画像が画像解析部１２０に取得される。このとき「観察画像」枠７２３には、新たに取得された第２観察画像が表示される。画像解析部１２０は、時刻ｔの第１観察画像と時刻ｔ＋１の第２観察画像とから、既述した手法により観察画像内の観察細胞の実移動方向ＶRを算出する。そして、予測移動方向Ｖiと実移動方向ＶRとの内積計算を行ってscoreを算出し、各移動予測モデルのscoreを対比して絶対値が最も１に近い移動予測モデルを最適な移動予測モデルとして選択する。
【００６４】
自動選択された最適な移動予測モデルは、「移動予測手法」枠７２５の選択ボタン７２５ａ，７２５ｂ，７２５ｃに表示され、図１１においては、移動予測モデルＢが最適な移動予測モデルとして自動選択された状態を示す。選択された移動予測モデルのscoreは「観察画像」枠７２３の表示画面中に表示される。
【００６５】
画像解析部１２０では、時刻ｔ及び時刻ｔ+１におけるcosθiの頻度分布が算出されて頻度分布の相関計算が行われるとともに、相関値が0.9未満であるか否かが判断され、相関値が0.9未満であるときにはフィードバック制御部１２５により予測移動方向の補正が行われ、移動予測モデルの更新処理が実行される。画像解析部１２０は、このようにして更新された（あるいは更新されなかった）移動予測モデルを適用して時刻ｔ+２への移動予測を行い、算出された予測移動方向が「注目細胞のトラッキング」枠７２７に観察細胞の表示とともに予測移動方向としてベクトル表示される。観察画像に含まれる全細胞について移動予測を行う場合には、「観察画像」枠７２３下側の「全細胞移動予測ベクトル表示」ボタンを選択することにより実行され、観察画像に各細胞の予測移動方向が重ねてベクトル表示される。
【００６６】
このようなユーザーインターフェースによれば、複数の移動予測モデルの中から最適な移動予測モデルが自動選択されて適用されるため、細胞の移動特性が未知の場合であっても煩雑な選択操作を繰り返したり誤判断したりするようなことがなく、観察者の経験等に左右されずに的確な移動予測を行うことができる。さらに、移動予測モデルに規定された予測移動方向に対して観察細胞の実際の移動状況に応じて予測移動方向が随時補正され、補正された予測移動方向が画面に表示されるため、観察者が直観的に細胞の移動状況を把握することができ、かつ探査領域を適正範囲に縮小して処理速度の高速化を実現することができる。
【００６７】
なお、アプリケーション及びユーザーインターフェースの説明では、画像解析部１２０において算出された時刻ｔと時刻ｔ+１におけるcosθiの頻度分布の相関値に基づいて移動予測モデルの補正を実行する構成を説明したが、既述したように、cosθiの頻度分布から確率が最大となるcosθxに基づいて移動予測モデルの補正を実行し、あるいはcosθ1の大きさに基づいて移動予測モデルの補正を実行するように構成してもよい。探査範囲の補正についても同様である。
【００６８】
このように、以上説明した本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される細胞移動方向予測の評価手法及び画像処理装置１００によれば、細胞トラキングの精度を向上させ、多数の移動予測モデルを規定することなく探査範囲の縮小を可能とした画像処理手段を提供することができる。
【符号の説明】
【００６９】
ＢＳ  培養観察システム              ＧＰ  画像処理プログラム
Ｃ  観察細胞                        Ｍｃ  細胞モデル
５  観察ユニット                    ６  制御ユニット
５４  マクロ観察系                  ５４ｃ  撮像装置
５５  顕微観察系                    ５５ｃ  撮像装置
６１  ＣＰＵ                        ６２  ＲＯＭ
６３  ＲＡＭ                        １００  画像処理装置
１２０  画像解析部                  １２５  フィードバック制御部
【図１】
2010169823.tif 000005
【図２】
2010169823.tif 000006
【図３】
2010169823.tif 000007
【図１０】
2010169823.tif 000008
【図４】
2010169823.tif 000009
【図５】
2010169823.tif 000010
【図６】
2010169823.tif 000011
【図７】
2010169823.tif 000012
【図８】
2010169823.tif 000013
【図９】
2010169823.tif 000014
【図１１】
2010169823.tif 000015