(57)【要約】      （修正有）【課題】細胞の移動予測を簡明な構成で実現可能な手段を提供する。【解決手段】撮像装置により観察細胞が撮影された観察画像を取得し、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞に細胞の外形形状をモデル化した細胞モデルＭｃを適応させて、適応した前記細胞モデルＭｃを利用して観察細胞が移動すると予測される移動方向を導出する。【選択図】図１
2009229275.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により観察細胞が撮影された観察画像を取得し、
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させて、
適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法。
【請求項２】
前記移動方向の導出は、前記適応した前記細胞モデルの形状特徴に基づいて行われることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
【請求項３】
前記移動方向の導出は、前記適応した前記細胞モデルの重心位置と輪郭が抽出された前記観察細胞の重心位置のずれに基づいて行われることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
【請求項４】
前記移動方向の導出は、前記適応した前記細胞モデルの輪郭形状と前記観察細胞の輪郭形状のずれに基づいて行われることを特徴とする請求項１に記載の細胞観察画像の画像解析方法。
【請求項５】
撮像装置により観察細胞が撮影された観察画像を取得し、
取得した前記観察画像から前記観察細胞の輪郭を抽出し、
輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、
算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法。
【請求項６】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項５に記載の細胞観察画像の画像解析方法。
【請求項７】
前記内部構造の偏りが、前記観察細胞のテクスチャ特徴であることを特徴とする請求項５に記載の細胞観察画像の画像解析方法。
【請求項８】
撮像装置により観察細胞が撮影された観察画像を取得するステップと、
取得された前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させるステップと、
適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するステップと、
導出された前記観察細胞の移動方向を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項９】
前記移動方向の導出は、前記適応した前記細胞モデルの形状特徴に基づいて行われることを特徴とする請求項８に記載の細胞観察画像の画像処理プログラム。
【請求項１０】
前記移動方向の導出は、前記適応した前記細胞モデルの重心位置と輪郭が抽出された前記観察細胞の重心位置のずれに基づいて行われることを特徴とする請求項８に記載の細胞観察画像の画像処理プログラム。
【請求項１１】
前記移動方向の導出は、前記適応した前記細胞モデルの輪郭形状と前記観察細胞の輪郭形状のずれに基づいて行われることを特徴とする請求項８に記載の細胞観察画像の画像処理プログラム。
【請求項１２】
撮像装置により観察細胞が撮影された観察画像を取得するステップと、
取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、
輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出するステップと、
算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するステップと、
導出された前記観察細胞の移動方向を外部に出力するステップと
を備えてなることを特徴とする細胞観察画像の画像処理プログラム。
【請求項１３】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１２に記載の細胞観察画像の画像処理プログラム。
【請求項１４】
前記内部構造の偏りが、前記観察細胞のテクスチャ特徴であることを特徴とする請求項１２に記載の細胞観察画像の画像処理プログラム。
【請求項１５】
細胞を撮影する撮像装置と、
前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、
前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞に細胞の外形形状をモデル化した細胞モデルを適応させて、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項１６】
前記移動方向の導出は、前記適応した前記細胞モデルの形状特徴に基づいて行われることを特徴とする請求項１５に記載の細胞観察画像の画像処理装置。
【請求項１７】
前記移動方向の導出は、前記適応した前記細胞モデルの重心位置と輪郭が抽出された前記観察細胞の重心位置のずれに基づいて行われることを特徴とする請求項１５に記載の細胞観察画像の画像処理装置。
【請求項１８】
前記移動方向の導出は、前記適応した前記細胞モデルの輪郭形状と前記観察細胞の輪郭形状のずれに基づいて行われることを特徴とする請求項１５に記載の細胞観察画像の画像処理装置。
【請求項１９】
細胞を撮影する撮像装置と、
前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、
前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、
前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、算出された前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置。
【請求項２０】
前記内部構造の偏りが、前記観察細胞の細胞密度であることを特徴とする請求項１９に記載の細胞観察画像の画像処理装置。
【請求項２１】
前記内部構造の偏りが、前記観察細胞のテクスチャ特徴であることを特徴とする請求項１９に記載の細胞観察画像の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞の予測移動方向を導出する細胞観察の画像処理手段に関するものである。
【背景技術】
【０００２】
移動する物体（移動体）の移動予測手段として、移動体を撮影した画像を処理し解析することにより、その移動体が今後どのように移動するかを予測する画像処理技術が従来から広く用いられている。このような移動予測には、線形予測やカルマンフィルタなど過去の移動量に基づく時系列予測が利用されている（例えば特許文献１を参照）。
【特許文献１】特開２００７−３０３８８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、観察対象が細胞の場合、細胞の運動は急激な動きや静止などが頻繁におこり、線形な予測は困難な場合が多い。また、この線形予測が困難である場合の予測手法として非線形予測が可能なパーティクルフィルタなども考案されているが、ランダムに近い動きを予測するには未だその精度が十分であるとはいえない、という課題がある。
【０００４】
また、従来の移動予測は多数の時系列画像を画像処理して将来の移動方向を予測するため、画像処理装置の処理負担が重く、迅速な予測処理を行うためには画像処理装置が大型化、高額化するという課題があった。
【０００５】
本発明は、上記のような課題に鑑みてなされたものであり、細胞の移動予測を簡明な構成で実現可能な手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する第１の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させて、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法が提供される。
【０００７】
本発明を例示する第２の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得し、取得した前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出することを特徴とする細胞観察画像の画像解析方法が提供される。
【０００８】
本発明を例示する第３の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得された前記観察画像から前記観察細胞の輪郭を抽出するステップと、輪郭が抽出された前記観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させるステップと、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するステップと、導出された前記観察細胞の移動方向を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
【０００９】
本発明を例示する第４の態様に従えば、撮像装置により観察細胞が撮影された観察画像を取得するステップと、取得した前記観察画像から前記観察細胞の輪郭を抽出するステップと、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出するステップと、算出した前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するステップと、導出された前記観察細胞の移動方向を外部に出力するステップとを備えてなることを特徴とする細胞観察画像の画像処理プログラムが提供される。
【００１０】
本発明を例示する第５の態様に従えば、細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞に細胞の外形形状をモデル化した細胞モデルを適応させて、適応した前記細胞モデルを利用して前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【００１１】
本発明を例示する第６の態様に従えば、細胞を撮影する撮像装置と、前記撮像装置により観察細胞が撮影された観察画像を取得して前記観察細胞が移動すると予測される移動方向を導出する画像解析部と、前記画像解析部により導出された前記観察細胞の移動方向を外部に出力する出力部とを備え、前記画像解析部が、前記観察画像から前記観察細胞の輪郭を抽出し、輪郭が抽出された前記観察細胞の輪郭形状に対する内部構造の偏りを算出して、算出された前記内部構造の偏りに基づいて前記観察細胞が移動すると予測される移動方向を導出するように構成したことを特徴とする細胞観察の画像処理装置が提供される。
【発明の効果】
【００１２】
上記のような細胞観察画像の画像解析方法、画像処理プログラム、画像処理装置によれば、撮像装置により撮影された１枚の画像から細胞の移動方向を予測することができる。従って、細胞の移動予測を簡明な構成で実現可能な手段を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明の細胞観察の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１４】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１５】
培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１６】
ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１７】
培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。
【００１８】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００１９】
観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００２０】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。
【００２１】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００２２】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍〜８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００２３】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出、細胞の運動状態の解析等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。
【００２４】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
【００２５】
操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２６】
ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
【００２７】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００２８】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００２９】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００３０】
ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。なお、本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。
【００３１】
（細胞移動予測の手法）
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、タイムラプス画像の生成や細胞トラッキングなどの機能に加えて、細胞の移動方向を予測する機能を備えている。本明細書においては、細胞の移動予測を行う手法として、観察対象となる細胞（観察細胞）が撮影された画像から、観察細胞の形状特徴を抽出して移動予測を行う移動予測の手法と、観察細胞の内部構造の特徴を抽出して移動予測を行う移動予測の手法を提示する。以下、Ｉ：形状特徴に基づく移動予測、II：内部構造の特徴に基づく移動予測について、基本的な概念から説明する。
【００３２】
（前処理）
移動予測処理に先立って、細胞の最も外側の輪郭抽出を行う。図４は、この最外輪郭抽出処理の状況を例示する模式図であり、撮像装置５５ｃ（５４ｃ）によって取得された画像(ａ)を画像処理し、(ｂ)に示すように細胞の最も外側の輪郭を抽出する。この輪郭抽出処理には、たとえば輝度値による２値化、分散値による２値化、SnakesやLevel Set法などの動的輪郭法などを利用することができる。なお、本明細書においては、移動予測を行う観察対象の細胞を「観察細胞」と表記する。
【００３３】
（Ｉ：形状特徴に基づく移動予測）
細胞の形状特徴に基づく移動予測は、前処理により最外輪郭が抽出された観察細胞に、細胞の外形形状をモデル化した細胞モデルを適応させ、適応した細胞モデルを利用して観察細胞が移動すると予測される移動方向を導出する。この移動予測に含まれる具体的な予測手法として、移動方向の導出を、(１)観察細胞に適応した細胞モデルの形状特徴に基づいて行う予測手法、(２)観察細胞に適応した細胞モデルの重心位置と輪郭が抽出された観察細胞の重心位置のずれに基づいて行う予測手法、(３)観察細胞に適応した細胞モデルの輪郭形状と観察細胞の輪郭形状のずれに基づいて行う予測手法を提案する。
【００３４】
まず、観察細胞への細胞モデルの適応は、例えば、図５，図６及び図１に楕円形状の細胞モデルＭｃを適応した事例を示すように、前処理で抽出された観察細胞Ｃの最外輪郭に対して楕円モデルへの近似を行う。ここでいう楕円近似は、最小二乗法やモーメント計算による方法が例として挙げられる。または観察細胞Ｃの輪郭内部を埋めたものと最も相関の高い楕円モデルを推定してもよい。この細胞モデルＭｃを利用して細胞移動の予測方向を推定する。
【００３５】
(１)の細胞モデルの形状特徴に基づいて行う予測手法は、細胞モデルＭｃの楕円の長軸方向（図５における矢印方向）を、観察細胞Ｃの予測される移動方向（予測移動方向）として導出する。すなわち、縦横比が一定以上の楕円形状に近似されるような細胞の場合、その細胞の移動方向は、一般的に長手方向、つまり近似した楕円の長軸方向である確率が高い。この予測手法は、このような細胞の形状特徴と移動方向との関係を利用して移動方向を推定する。この場合には、観察細胞Ｃが楕円の長軸に沿った左右のどちら側に移動するかを直接的には導出できないが、細胞トラッキングの計算を行う際の角度範囲を大幅に低減でき、予備的な予測としても十分な情報であるといえる。
【００３６】
(２)細胞モデルの重心位置と観察細胞の重心位置のずれに基づいて行う予測手法は、図６に示すように、観察細胞Ｃに対して細胞モデルＭｃを適用するとともに、観察細胞Ｃの輪郭形状からその重心位置Ｇを図形処理して求め、細胞モデルＭｃの楕円中心Ｏと観察細胞Ｃの重心位置Ｇのずれから観察細胞の移動方向を導出する。これは、自身の形状を変化させて移動する細胞の場合、細胞の重心位置が移動方向（または逆方向）に偏る特徴を利用して移動方向を推定するものである。例えば、図６に示すように、観察細胞の重心Ｇが、楕円近似した細胞モデルＭｃの中心Ｏから右側に偏っている場合、この重心Ｇの偏り方向を予測移動方向として導出することができる。
【００３７】
(３)細胞モデルの輪郭形状と観察細胞の輪郭形状のずれに基づいて行う予測手法は、さらに複雑な場合として、図１に示すように、楕円形状の細胞モデルＭｃに対して細胞輪郭が複雑な場合を考える。この場合、細胞モデルＭｃからはみ出した細胞輪郭の位置及び大きさから、突出量が最も大きい箇所の存在する方位が観察細胞Ｃの移動する方向、または楕円中心Ｏを挟んだ反対側の方位が観察細胞Ｃの移動する方向であると予測する。いずれの場合も細胞が移動する際に体の一部（足）を伸ばす特徴や、細胞によっては移動の際に接着面が残る特徴を利用したものである。なお、どちらの方向に進むかは細胞の種類によって決まっている。
【００３８】
なお、細胞モデルＭｃの構成例として楕円形状を例示したが、観察対象となる細胞の形態的な特徴に応じて適宜な形状を用いることができ、例えば、三角形や矩形、星形、弓形などが例示される。
【００３９】
（II：内部構造の特徴に基づく移動予測）
細胞の内部構造の特徴に基づく移動予測は、前処理により最外輪郭が抽出された観察細胞の輪郭形状に対する内部構造の偏りを算出し、算出された内部構造の偏りに基づいて観察細胞が移動すると予測される移動方向を導出する。内部構造の偏りを検出する具体的な手法として、観察細胞の細胞密度に基づく手法、観察細胞のテクスチャ特徴に基づく手法を提案する。
【００４０】
観察細胞の内部構造の偏りを捉える手法として、まず、細胞内部の密度に基づく手法があげられる。細胞密度は顕微観察画像における細胞輪郭内側の輝度値の分散で表現することができる。そこで、細胞輪郭内における細胞密度を輝度値の分散から求め、図７に示すように、細胞密度の低い領域から高い領域への向きを算出して、その方向またはこれと逆方向を移動予測方向とする。この移動予測手法は、細胞が移動する際に、内部組織を移動する方向へと移動させ、またはその逆に移動させる傾向があることを利用して細胞移動の予測方向を推定する。なお、密度の変化方向と細胞の移動方向との関係は細胞の種類により定まる。
【００４１】
また、観察細胞の内部構造の偏りを捉える手法として、観察細胞のテクスチャ特徴に基づく手法があげられる。細胞内部には核や内部繊維などのテクスチャが存在し、移動に際してこれらの内部構造も移動し若しくは変化する。そこで、この移動予測手法では、細胞輪郭内部におけるテクスチャを分散フィルタなどにより求め、例えば細胞輪郭内における核の位置や内部繊維の延びる方向等から移動方向を予測する。
【００４２】
（実施例）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて、図８〜図１２の各図を併せて参照しながら説明する。ここで、図８は移動予測の画像処理を実行する画像処理装置１００の概要構成を示すブロック図、図９は移動予測の画像処理プログラムＧＰにおけるメインフローを示すフローチャート、図１０〜図１２はメインフローにおいて選択される予測アルゴリズムＡ，Ｂ，Ｃに対応したフローチャートである。
【００４３】
画像処理装置１００は、撮像装置５５ｃ（５４ｃ）により観察細胞Ｃが撮影された観察画像を取得して観察細胞が移動すると予測される移動方向を導出する画像解析部１２０と、画像解析部１２０により導出された観察細胞Ｃの移動方向を外部に出力する出力部１３０とを備え、画像解析部１２０により導出された予測移動方向を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４４】
そこで、画像解析部１２０は、画像解析プログラムＧＰのメインフローにおいてＡまたはＢのアルゴリズムが選択された場合に、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃに細胞の外形形状をモデル化した細胞モデルＭｃを適応させて、適応した細胞モデルＭｃを利用して観察細胞Ｃの予測移動方向を導出する（図４〜図６及び図１を併せて参照）。一方、画像解析プログラムＧＰのメインフローにおいてＣのアルゴリズムが選択された場合には、画像解析部１２０は、取得した観察画像から観察細胞Ｃの輪郭を抽出し、輪郭が抽出された観察細胞Ｃの輪郭形状に対する内部構造の偏りを算出して、算出された内部構造の偏りに基づいて観察細胞Ｃが移動すると予測される移動方向を導出する（図４，図７を併せて参照）。
【００４５】
上記のような画像解析部１２０による画像解析処理は、既に観察細胞Ｃを含む観察画像がＲＡＭ６３に保存されている画像データを読み出して実行可能であるほか、これから観察を始める細胞の画像を画像装置により取得して実行することも可能である。そこで、本実施例では、現時点の画像を取得して移動予測を行う場合について、図１３に示す表示パネル７２への移動予測インターフェースの表示画像構成例を参照しながら説明する。
【００４６】
このインターフェースでは、操作パネル７１において「細胞の移動予測」が選択され、実行されると、まず、表示パネル７２に「ディッシュ選択」枠７２１が表示されてストッカー３に格納された培養容器１０のコード番号一覧表が表示されて、観察対象の培養容器１０の選択が行われる。図１３では、操作パネル７１に設けられたカーソルによってコード番号Cell-0002の培養細胞ディッシュ（培養容器）が選択された状態を示す。
【００４７】
培養容器が選択されると、ＣＰＵ６１は、搬送ユニット４の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送する。そして、顕微観察系５５による顕微観察像を撮像装置５５ｃにより撮影させ、その画像を「観察位置」枠７２２に表示させる。
【００４８】
次に、観察対象とする細胞（観察細胞）が含まれる観察画像を取得するため、観察画像の領域設定が行われる。図１３では、観察者が操作パネル７１に付帯して設けられたマウスを利用して中央右よりの網掛け領域を指定した状態を示す。これにより、観察者が指定した領域の画像が観察画像として画像解析部１２０に取得される（ステップＳ１）。
【００４９】
取得された観察画像は、画像解析部１２０により瞬時に細胞の最外輪郭抽出処理（セグメンテーション）が施され（ステップＳ２）、表示パネル７２の「観察画像」枠７２３に、最外輪郭が抽出された細胞の画像が表示される。そこで、図１３に示すように、観察画像において、移動方向予測を行う観察細胞（注目細胞）をマウス等を用いて指定する（ステップＳ３）。なお、観察細胞の指定は、既にトラッキングなどで検出されている細胞としても良い。このとき、観察画像枠７２３の下側に「移動予測オプション」枠７２４が形成され、その枠内に「移動予測手法」枠７２５が形成されてどの予測アルゴリズムを適用して移動予測を行うか、移動予測手法の選択ボタン７２５ａ，７２５ｂ，７２５ｃが表示される。
【００５０】
図示する実施例では、予測アルゴリズムとして、
Ａ：最外輪郭偏心方向による予測・・・すなわち、Ｉ：形状特徴に基づく移動予測の(2)で図６を用いて説明した、細胞モデルＭｃの重心位置Ｏと観察細胞Ｃの重心位置Ｇのずれに基づいて移動方向を予測する手法。
Ｂ：楕円はみ出し方向による予測・・・すなわち、Ｉ：形状特徴に基づく移動予測の(３)で図１を用いて説明した、細胞モデルＭｃの輪郭形状と観察細胞Ｃの輪郭形状のずれに基づいて移動方向を予測する手法。
Ｃ：細胞組織密度方向による予測・・・すなわち、II：内部構造の特徴に基づく移動予測で図７を用いて説明した、観察細胞Ｃの内部構造の特徴に基づいて移動方向を予測する手法。
の３種類の中から予測手法を選択設定可能に構成しており、Ａ：最外輪郭偏心方向による予測手法の選択ボタン７２５ａ、Ｂ：楕円はみ出し方向による予測手法の選択ボタン７２５ｂ、Ｃ：細胞組織密度方向による予測手法の選択ボタン７２５ｃがメイン画面に表示されるように構成している。
【００５１】
ステップＳ４では、観察者が選択ボタン７２５ａ，７２５ｂ，７２５ｃのいずれかを選択することにより予測アルゴリズムＡ，Ｂ，Ｃの選択が行われ、この選択に応じて、ステップＳ５で、Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー、Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー、Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフローのいずれかに分岐する。
【００５２】
（Ｓ５Ａ：最外輪郭偏心方向による予測アルゴリズムのフロー）
最外輪郭偏心方向による予測アルゴリズムは、図１０に示すように、まず、ステップＳ１１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図６に点線で示したように、観察細胞Ｃに楕円形状の細胞モデルＭｃが適応される。次いで、ステップＳ１２において、細胞モデルＭｃの重心位置（楕円の場合には中心位置）Ｏと、観察細胞Ｃの輪郭形状における重心位置Ｇとがそれぞれ算出され、ステップＳ１３に進む。
【００５３】
ステップＳ１３では、「移動予測オプション」枠７２４に「細胞モデルの選択」枠７２６が形成され、この枠内に観察細胞Ｃの移動特性を選択する選択ボタンが表示される。ここでは、移動に際して重心位置を移動させる「細胞内部移動型」の選択ボタン７２６ａと、体の一部を伸長させる「細胞輪郭（足）移動型」の選択ボタン７２６ｂのどちらかを選択する。これらの選択ボタンに対応して、細胞の移動方向に重心を偏らせるタイプか逆のタイプか（７２６ａ）、足を伸ばすタイプか接着面が残るタイプか（７２６ｂ）、などを選択するサブ画面が表示され（不図示）、観察細胞Ｃの移動特性が指定される。
【００５４】
なお、細胞の移動特性について、あらかじめ細胞の名称（種別や識別番号等）と移動特性とを対応づけて登録したデータベースを構築しておき、データベース検索ボタン７２６ｃを選択して観察細胞の名称を入力することにより、データベースを検索して細胞の移動特性を自動的に決定する項目も設けておく。これにより、観察者の入力負担を軽減できるとともに、誤選択を防止して移動予測の予測精度を向上させることができる。
【００５５】
次いで、ステップＳ１４では、ステップＳ１３において選択された細胞の移動特性に応じて、移動方向の検出が実行される。例えば、ステップＳ１２において算出された細胞モデルＭｃの中心Ｏと観察細胞Ｃの重心Ｇとの位置関係が、図６に示したように、細胞モデルＭｃの中心Ｏの右側に観察細胞の重心Ｇが位置すると算出され、ステップＳ１３において選択された細胞の移動特性が、重心Ｇを移動方向に偏らせる特性である場合に、ステップＳ１４において、細胞モデルの楕円中心Ｏから観察細胞の重心Ｇに向かう方向が算出される。一方、ステップＳ１２において算出された細胞モデルＭｃの中心Ｏと観察細胞Ｃの重心Ｇとの位置関係が同様であっても、ステップＳ１３において選択された細胞の移動特性が、重心Ｇを移動方向と逆方向に偏らせる特性である場合には、ステップＳ１４において、観察細胞の重心Ｇから細胞モデルの楕円中心Ｏに向かう方向が算出される。そして、ステップＳ１４で算出された方向が、ステップＳ１５において観察細胞Ｃの移動予測方向と決定され、移動予測のメインフローに戻ってステップＳ６に進む。
【００５６】
ステップＳ６では、表示画面に「注目細胞のトラッキング」枠７２７が形成され、この枠内に、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、その観察細胞Ｃの予測移動方向が、ベクトル表示により表示される。また、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
【００５７】
（Ｓ５Ｂ：楕円はみ出し方向による予測アルゴリズムのフロー）
楕円はみ出し方向による予測アルゴリズムは、図１１に示すように、ステップＳ２１において、観察細胞の最外輪郭に対して細胞モデルＭｃの近似処理が実行され、例えば図１に点線で示したように、観察細胞Ｃに楕円形状の細胞モデルＭｃが適応される。次いで、ステップＳ２２において、細胞モデルＭｃからはみ出した観察細胞Ｃの位置と大きさが算出され、突出量が最大の方位が算出されて、ステップＳ２３に進む。
【００５８】
ステップＳ２３では、表示画面の「移動予測オプション」枠７２４に「細胞モデルの選択」枠７２６が形成され、観察細胞Ｃの移動特性を選択する選択ボタンが表示される。観察者は前述同様に「細胞内部移動型」の選択ボタン７２６ａと、「細胞輪郭（足）移動型」の選択ボタン７２６ｂから、観察細胞に応じてどちらかを選択する。また各選択ボタンに対応して表示されるサブ画面（不図示）から、細胞の移動方向に重心を偏らせるタイプか逆のタイプか（７２６ａ）、足を伸ばすタイプか接着面が残るタイプか（７２６ｂ）などを選択し、これにより観察細胞Ｃの移動特性が指定される。なお、前述同様に、細胞の移動特性についてデータベースを構築しておき、データベース検索ボタン７２６ｃを選択して観察細胞の名称を入力することにより、細胞の移動特性を自動的に決定する項目も設けておく。これにより、観察者の入力負担を軽減できるとともに、誤選択を防止して移動予測の予測精度を向上させることができる。
【００５９】
ステップＳ２４では、ステップＳ２３において選択された細胞の移動特性に応じて、移動方向の検出が実行される。例えば、ステップＳ２２において算出された細胞モデルＭｃに対する観察細胞Ｃのはみ出し最大部分が、図１に示したように、細胞モデルＭｃの左下方にあると算出され、ステップＳ２３において選択された細胞の移動特性が、移動に際して接着面が残る特性である場合に、ステップＳ２４において、はみ出し位置から楕円中心に向かう方向が算出される。一方、ステップＳ２２において算出された細胞モデルＭｃに対する観察細胞Ｃのはみ出し最大部分が同様の場合において、ステップＳ２３において選択された細胞の移動特性が、移動に際して移動方向に足を伸ばす特性である場合には、ステップＳ２４において、楕円中心からはみ出し位置に向かう方向が算出される。そして、ステップＳ２４で算出された方向が、ステップＳ２５において観察細胞Ｃの移動予測方向と決定され、移動予測のメインフローに戻ってステップＳ６に進む。
【００６０】
ステップＳ６では、表示画面に「注目細胞のトラッキング」枠７２７が形成され、この枠内に、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、その観察細胞の予測移動方向が、図示するようなベクトル表示により表示される。また、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
【００６１】
（Ｓ５Ｃ：細胞組織密度方向による予測アルゴリズムのフロー）
細胞組織密度方向による予測アルゴリズムは、図１２に示すように、まず、ステップＳ３２において、観察細胞輪郭内の輝度値の分散を算出することにより細胞内部の密度分布を算出する。これにより図７に示したように、輪郭形状が複雑な細胞であっても、細胞内部の構造特徴により細胞密度の低い領域〜高い領域の分布が算出され、ステップＳ３３に進む。
【００６２】
ステップＳ３３では、表示画面の「移動予測オプション」枠７２４に「細胞モデルの選択」枠７２６が形成され、観察細胞Ｃの移動特性を選択する選択ボタンが表示される。ここでは、移動に際して移動方向の密度が高くなる「高密度方向移動型」の選択ボタンと、移動方向の密度が低くなる「低密度方向移動型」の選択ボタン（いずれも不図示）のどちらかを選択する。なお、前述同様に、細胞の移動特性についてデータベースを構築しておき、データベース検索ボタン７２６ｃを選択して観察細胞の名称を入力することにより、細胞の移動特性を自動的に決定する項目を設けておくことにより、観察者の入力負担を軽減するとともに誤選択を防止して移動予測の予測精度を向上させることができる。
【００６３】
ステップＳ３４では、ステップＳ３３において選択された細胞の移動特性に応じて、移動方向の検出が実行される。例えば、ステップＳ３２において算出された細胞内部の密度分布が、図７に示したように、観察細胞Ｃの右上方について密度が高く左下方の密度が低いと算出され、ステップＳ３３において選択された細胞の移動特性が、密度の高い方向に移動する高密度方向移動型である場合に、ステップＳ３４において密度の低い領域から密度の高い領域に向かう方向が算出される。一方、同様の密度分布であるが、ステップＳ３３において選択された細胞の移動特性が、密度の低い方向に移動する低密度方向移動型である場合には、ステップＳ３４において密度の高い領域から密度の低い領域に向かう方向が算出される。そして、ステップＳ３４で算出された方向が、ステップＳ３５において観察細胞Ｃの移動予測方向と決定され、移動予測のメインフローに戻ってステップＳ６に進む。
【００６４】
ステップＳ６では、表示画面に「注目細胞のトラッキング」枠７２７が形成され、この枠内に、ステップＳ３において指定された観察細胞Ｃのクローズアップ表示と、その観察細胞Ｃの予測移動方向が、ベクトル表示により表示される。また、観察画像内に位置する全細胞について移動予測を実行する場合には、「観察画像」枠７２３の下側に形成された「全細胞移動予測ベクトル表示」の選択ボタンをオンに設定することによって、図示するように観察画像中の各細胞に移動ベクトルが重ねて表示される。
【００６５】
従って、観察対象の特徴に応じて好適な予測アルゴリズムを選択して適用することができ、いずれの予測アルゴリズムを適用した場合にも、観察者が「注目細胞のトラッキング」枠７２７を見ることにより、観察対象の細胞の移動方向を詳細に把握することができ、「観察画像」枠７２３に観察画像中の各細胞に移動ベクトルを重ねて表示させることにより観察領域全体の細胞の移動状態を把握することができる。
【００６６】
そして、以上説明したように、本発明の画像処理プログラムＧＰ、この画像処理プログラムが実行されることより構成される画像解析方法及び画像処理装置１００によれば、撮像装置により撮影され、記憶された多数の画像を読み出して画像処理することなく、現時点または既に記録されたわずか１枚の画像から細胞の移動方向を予測することができる。従って、細胞の移動予測を極めて簡明な構成で、高速に予測処理が可能な手段を提供することができる。
【図面の簡単な説明】
【００６７】
【図１】細胞モデルからはみ出した観察細胞の位置から移動方向を導出する移動予測手法の概念図である。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】細胞の輪郭抽出を行う輪郭抽出処理の状況を例示する模式図である。
【図５】観察細胞に適応した細胞モデルから移動方向を導出する移動予測手法の概念図である。
【図６】細胞モデルの重心と観察細胞の重心のずれから移動方向を導出する移動予測手法の概念図である。
【図７】観察細胞の密度分布から移動方向を導出する移動予測手法の概念図である。
【図８】画像処理装置の概要構成を示すブロック図である。
【図９】画像処理プログラムにおけるメインフローを示すフローチャートである。
【図１０】メインフローにおいて選択される予測アルゴリズムＡに対応したフローチャートである。
【図１１】メインフローにおいて選択される予測アルゴリズムＢに対応したフローチャートである。
【図１２】メインフローにおいて選択される予測アルゴリズムＣに対応したフローチャートである。
【図１３】画像処理プログラムを実行した場合に表示パネルに表示される細胞移動トラッキング・インターフェースの表示画像の構成例である。
【符号の説明】
【００６８】
ＢＳ  培養観察システム
ＧＰ  画像処理プログラム
Ｃ  観察細胞
５４  マクロ観察系                  ５４ｃ  撮像装置
５５  顕微観察系                    ５５ｃ  撮像装置
１００  画像処理装置                １２０  画像解析部
１３０  出力部
【図２】
2009229275.tif 000003
【図３】
2009229275.tif 000004
【図８】
2009229275.tif 000005
【図９】
2009229275.tif 000006
【図１０】
2009229275.tif 000007
【図１１】
2009229275.tif 000008
【図１２】
2009229275.tif 000009
【図１】
2009229275.tif 000010
【図４】
2009229275.tif 000011
【図５】
2009229275.tif 000012
【図６】
2009229275.tif 000013
【図７】
2009229275.tif 000014
【図１３】
2009229275.tif 000015