(57)【要約】  画像処理プログラムＡＰは、ステップＳ１で時系列画像を読み出し、ステップＳ２で各時刻の観察画像中の細胞の抽出、ラベリング、および細胞の対応付けが行われ、ステップＳ３で指定時刻ｔcに観察画像に含まれる細胞について成熟度の判定処理が行われる。ステップＳ４では成熟判定された細胞についてＩＤ付けが行われ、ステップＳ５において時系列画像を時間軸に沿って遡る方向または経時方向に、細胞トラッキングによるＩＤ承継が行われる。ステップＳ６では承継されたＩＤ情報に基づき各細胞の統合数の算出、分類が行われ、ステップＳ７において解析結果が出力される。
2011016189.tif 000002
【特許請求の範囲】
【請求項１】
所定時刻に撮影された第１画像から画像に含まれる細胞を抽出し、
前記所定時刻と所定時間を隔てて撮影された第２画像から画像に含まれる細胞を抽出し、
前記第１画像から抽出された細胞と前記第２画像から抽出された細胞との対応付けを行って、前記第１画像の複数の細胞が前記第２画像で一つになった場合には一体化した細胞に一体化前の細胞情報を付与し、前記第１画像の一つの細胞が前記第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与し、
時系列画像について前記第１画像及び前記第２画像を時間軸に沿って順次ずらしながら前記細胞の抽出及び対応付けを実行して、画像中に含まれる各細胞の前記細胞情報を順次承継させ、
任意時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報に基づいて細胞の分類を行うことを特徴とする細胞の分類手法。
【請求項２】
前記第１画像が撮影された前記所定時刻は時刻ｔ、前記第２画像が撮影された時刻は前記所定時刻から前記所定時間前の時刻ｔ−１で、前記細胞情報の承継は前記時系列画像の時間軸に沿って観察開始時期まで時間を遡る方向に実行され、
前記任意時刻に撮影された画像中の細胞について、観察開始時期まで遡って承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことを特徴とする請求項１に記載の細胞の分類手法。
【請求項３】
前記第１画像が撮影された前記所定時刻は時刻ｔ、前記第２画像が撮影された時刻は前記所定時刻から前記所定時間後の時刻ｔ＋１で、前記細胞情報の承継は前記時系列画像の時間軸に沿って観察開始時期から時間の経過方向に実行され、
前記任意時刻に撮影された観察画像に含まれる細胞について、当該時刻まで承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことを特徴とする請求項１に記載の細胞構成情報に基づく細胞塊の分類手法。
【請求項４】
コンピュータにより読み取り可能であり、撮像装置により細胞が撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、
前記撮像装置により所定時刻に撮影された第１画像を取得し、画像に含まれる細胞を抽出する第１のステップと、
前記撮像装置により前記所定時刻と所定時間を隔てて撮影された第２画像を取得し、画像に含まれる細胞を抽出する第２のステップと、
前記第１画像から抽出された細胞と前記第２画像から抽出された細胞との対応付けを行って、前記第１画像の複数の細胞が前記第２画像で一つになった場合には一体化した細胞に一体化前の細胞情報を付与し、前記第１画像の一つの細胞が前記第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与する第３のステップと、
前記第１〜第３のステップを時系列画像について時間軸に沿って順次ずらしながら実行し画像中に含まれる各細胞の前記細胞情報を順次承継させるステップと、
指定された時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報を出力するステップとを備えたことを特徴とする画像処理プログラム。
【請求項５】
前記承継された細胞情報に基づいて、前記指定された時刻に撮影された画像に含まれる細胞を分類するステップと、分類結果を出力するステップをさらに備えたことを特徴とする請求項４に記載の画像処理プログラム。
【請求項６】
前記第１画像が撮影された前記所定時刻は時刻ｔ、前記第２画像が撮影された時刻は前記所定時刻から前記所定時間前の時刻ｔ−１で、前記細胞情報を承継するステップは前記時系列画像の時間軸に沿って観察開始時期まで時間を遡る方向に実行され、
前記細胞を分類するステップは、前記指定された時刻に撮影された画像中の細胞について、前記観察開始時期まで遡って承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことを特徴とする請求項５に記載の画像処理プログラム。
【請求項７】
前記第１画像が撮影された前記所定時刻は時刻ｔ、前記第２画像が撮影された時刻は前記所定時刻から前記所定時間後の時刻ｔ＋１で、前記細胞情報を承継するステップは前記時系列画像の時間軸に沿って観察開始時期から時間の経過方向に実行され、
前記細胞を分類するステップは、前記指定された時刻に撮影された画像中の細胞について、当該指定時刻まで承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことを特徴とする請求項５に記載の画像処理プログラム。
【請求項８】
順次取得される前記第１画像及び前記第２画像から細胞の複層化に関する特徴量を算出し、算出された前記複層化に関する特徴量の時系列変化に基づいて前記指定時刻における画像中の各細胞の成熟度を判定する成熟度判定ステップを備え、
前記細胞の分類を行うステップは、前記成熟度判定ステップにおいて成熟したと判定された細胞について分類を行うことを特徴とする請求項５〜７のいずれか一項に記載の画像処理プログラム。
【請求項９】
前記複層化に関する特徴量は、前記時系列画像における第１画像と第２画像とについて、前時刻となる一方の画像の細胞塊の局所領域の輝度分布をテンプレートとし、後時刻となる他方の画像の細胞塊の対応位置を含む近傍部について輝度分布のブロックマッチングを行って算出された、最もマッチングの高い位置領域の近似度に基づく統計量であることを特徴とする請求項８に記載の画像処理プログラム。
【請求項１０】
前記複層化に関する特徴量は、前記細胞塊の輪郭付近の輝度値に基づく統計量であることを特徴とする請求項８に記載の画像処理プログラム。
【請求項１１】
前記複層化に関する特徴量は、前記細胞塊の輪郭形状に基づく統計量であることを特徴とする請求項８に記載の画像処理プログラム。
【請求項１２】
撮像装置により所定時間を隔てて細胞が撮影された時系列画像を取得して画像を解析する画像解析部と、前記画像解析部による解析結果を出力する出力部とを備えた画像処理装置であって、
前記画像解析部は、所定時刻に撮影された第１画像から画像に含まれる細胞を抽出し、前記所定時刻と所定時間を隔てて撮影された第２画像から画像に含まれる細胞を抽出し、前記第１画像から抽出された細胞と前記第２画像から抽出された細胞との対応付けを行って、前記第１画像の複数の細胞が前記第２画像で一つになった場合には一体化した細胞に一体化前の細胞情報を付与し、前記第１画像の一つの細胞が前記第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与し、時系列画像について前記第１画像及び前記第２画像を時間軸に沿って順次ずらしながら前記細胞の抽出及び対応付けを実行して、画像中に含まれる各細胞の前記細胞情報を順次承継させ、
前記出力部は、指定された時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報を出力するように構成したことを特徴とする画像処理装置。
【請求項１３】
前記画像解析部は、前記承継された細胞情報に基づいて、前記指定された時刻に撮影された画像に含まれる細胞を分類し、
前記出力部は、前記画像解析部による分類結果を出力することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第１画像が撮影された前記所定時刻は時刻ｔ、前記第２画像が撮影された時刻は前記所定時刻から前記所定時間前の時刻ｔ−１で、前記細胞情報の承継は前記時系列画像の時間軸に沿って観察開始時期まで時間を遡る方向に実行され、
前記細胞の分類は、前記指定された時刻に撮影された画像中の細胞について、前記観察開始時期まで遡って承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記第１画像が撮影された前記所定時刻は時刻ｔ、前記第２画像が撮影された時刻は前記所定時刻から前記所定時間後の時刻ｔ＋１で、前記細胞情報の承継は前記時系列画像の時間軸に沿って観察開始時期から時間の経過方向に実行され、
前記細胞の分類は、前記指定された時刻に撮影された画像中の細胞について、当該指定時刻まで承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記画像解析部は、順次取得される前記第１画像及び前記第２画像から細胞の複層化に関する特徴量を算出し、算出された前記複層化に関する特徴量の時系列変化に基づいて前記指定時刻における画像中の各細胞の成熟度を判定して、成熟したと判定された細胞について前記分類を行うことを特徴とする請求項１３〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記複層化に関する特徴量は、前記時系列画像における第１画像と第２画像とについて、前時刻となる一方の画像の細胞塊の局所領域の輝度分布をテンプレートとし、後時刻となる他方の画像の細胞塊の対応位置を含む近傍部について輝度分布のブロックマッチングを行って算出された、最もマッチングの高い位置領域の近似度に基づく統計量であることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記複層化に関する特徴量は、前記細胞塊の輪郭付近の輝度値に基づく統計量であることを特徴とする請求項１６に記載の画像処理装置。
【請求項１９】
前記複層化に関する特徴量は、前記細胞塊の輪郭形状に基づく統計量であることを特徴とする請求項１６に記載の画像処理装置。
【請求項２０】
細胞を培養する培養ステップと、
前記培養ステップにおいて培養される細胞を、請求項１２〜１９のいずれかに記載の画像処理装置を用いて観察し、培養により変化する前記細胞における細胞塊の分類を行う分類ステップと、
を備えることを特徴とする細胞塊の製造方法。
【請求項２１】
細胞を培養する培養ステップと、
前記培養ステップにおいて培養される細胞を撮像装置により撮影し、所定時刻に撮影された第１画像からこの画像に含まれる細胞を抽出する第１抽出ステップと、
前記所定時刻と所定時間を隔てて撮影された第２画像からこの画像に含まれる細胞を抽出する第２抽出ステップと、
前記第１画像から抽出された細胞と前記第２画像から抽出された細胞との対応付けを行って、前記第１画像の複数の細胞が前記第２画像で一体化して１つになった場合には一体化した細胞に一体化前の細胞情報を付与し、前記第１画像の１つの細胞が前記第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与する情報付与ステップと、
前記培養ステップにおいて培養される細胞を前記撮像装置により所定時間間隔をおいて撮影して時系列画像を得るとともに、各時系列画像を前記第１および第２画像として時間軸に沿って順次割り当てながら前記細胞の抽出および対応付けを実行して、画像中に含まれる各細胞の前記細胞情報を順次承継させる承継ステップと、
任意時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報に基づいて細胞塊の分類する分類ステップと、
を備えることを特徴とする細胞塊の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞観察で撮影された時系列画像から細胞の分類を行う細胞の分類手法に関するものである。
【背景技術】
【０００２】
動植物の生細胞は、薬品の効能評価や培養環境の評価に利用されており、テストサンプルとして多数の細胞が必要となる。そのため、生細胞を培養し増殖させる細胞培養が行われる。細胞培養では、培養中に死滅する細胞も含まれること、ＥＳ細胞やｉＰＳ細胞では複数かつある程度の塊で培養を開始しないと社会性を保てず増えないことなどから、一般的に、１つの培地に複数個の細胞を撒いて培養される。細胞を培養しながら観察する装置の代表例として培養顕微鏡が挙げられる。【０００３】
培養顕微鏡は、細胞培養に好適な環境を形成する培養装置と、培養容器内の細胞を顕微観察する顕微観察系とを備え、生きた細胞を培養しながら、細胞の分裂や統合、分化などの状況を観察できるように構成される（例えば特許文献１を参照）。細胞培養により育成された細胞（細胞塊）の選別は、観察者が一定時間ごとに顕微観察し、細胞の見えによる官能評価でコロニーを抽出していた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２９６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
薬品の効能評価や培養環境評価では、評価精度を高めるためテストサンプルの特性が揃っていること（均質性）が求められ、理想的には単一細胞を起源とする培養細胞を利用することが望ましい。しかしながら、従来の細胞培養では、観察者が顕微観察したときの細胞の見えによる官能評価で成熟した細胞の抽出が行われており、成熟した細胞の起源（例えば、何個の細胞が統合して形成されたものか）については、評価の対象となっていなかった。また、十分な頻度で長期間継続的に観察を行うことが難しく、観察者が認識不可能な観察間隙中にコロニー同士が統合してしまうことも多々生じていた。このため、成熟した細胞のサンプルを複数抽出できても、サンプルごとに薬効等に差異が生じた場合に、適正な評価を行うことが難しいという課題があった。【０００６】
本発明は、上記のような課題に鑑みてなされたものであり、細胞の構成に応じた選別・評価が可能な手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する第１の態様は、細胞の分類手法である。この分類手法は、所定時刻に撮影された第１画像から画像に含まれる細胞（形態上一体の細胞をいい、複数の細胞が統合して一体になった細胞塊を含む、以下同じ）を抽出し、前記所定時刻と所定時間を隔てて撮影された第２画像から画像に含まれる細胞を抽出し、第１画像から抽出された細胞と第２画像から抽出された細胞との対応付けを行って、第１画像の複数の細胞が第２画像で一つになった場合には一体化した細胞に一体化前の細胞情報を付与し、第１画像の一つの細胞が第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与し、時系列画像について第１画像及び第２画像を時間軸に沿って順次ずらしながら細胞の抽出及び対応付けを実行して、画像中に含まれる各細胞の細胞情報を順次承継させ、任意時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報に基づいて細胞の分類が行われる。【０００８】
本発明を例示する第２の態様は、コンピュータにより読み取り可能であり、撮像装置により細胞が撮影された画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムである。この画像処理プログラムは、撮像装置により所定時刻に撮影された第１画像を取得し、画像に含まれる細胞を抽出する第１のステップと、撮像装置により前記所定時刻と所定時間を隔てて撮影された第２画像を取得し、画像に含まれる細胞を抽出する第２のステップと、第１画像から抽出された細胞と第２画像から抽出された細胞との対応付けを行って、第１画像の複数の細胞が第２画像で一つになった場合には一体化した細胞に一体化前の細胞情報を付与し、第１画像の一つの細胞が第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与する第３のステップと、これら第１〜第３のステップを時系列画像について時間軸に沿って順次ずらしながら実行し画像中に含まれる各細胞の細胞情報を順次承継させるステップと、指定された時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報を出力するステップとを備えて構成される。なお、この画像処理プログラムは、前記承継された細胞情報に基づいて前記指定された時刻に撮影された画像に含まれる細胞を分類するステップと、分類結果を出力するステップとをさらに備えて構成されることが好ましい。【０００９】
本発明を例示する第３の態様は、撮像装置により所定時間を隔てて細胞が撮影された時系列画像を取得して画像を解析する画像解析部と、画像解析部による解析結果を出力する出力部とを備えた画像処理装置である。この画像処理装置において、画像解析部は、所定時刻に撮影された第１画像から画像に含まれる細胞を抽出し、前記所定時刻と所定時間を隔てて撮影された第２画像から画像に含まれる細胞を抽出し、第１画像から抽出された細胞と第２画像から抽出された細胞との対応付けを行って、第１画像の複数の細胞が第２画像で一つになった場合には一体化した細胞に一体化前の細胞情報を付与し、第１画像の一つの細胞が第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与し、時系列画像について第１画像及び第２画像を時間軸に沿って順次ずらしながら細胞の抽出及び対応付けを実行して、画像中に含まれる各細胞の細胞情報を順次承継させ、出力部は、指定された時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報を出力するように構成される。この画像処理装置において、画像解析部は、前記承継された細胞情報に基づいて前記指定された時刻に撮影された画像に含まれる細胞を分類し、出力部は、画像解析部による分類結果を出力するように構成することが好ましい。【００１０】
上記第１〜第３の態様を例示する本発明において、第１画像が撮影された前記所定時刻は時刻ｔ、第２画像が撮影された時刻は前記所定時刻から所定時間前の時刻ｔ−１で、細胞情報の承継は時系列画像の時間軸に沿って観察開始時期まで時間を遡る方向に実行され、前記任意時刻に撮影された画像中の細胞について、観察開始時期まで遡って承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことが好ましい。【００１１】
また、第１画像が撮影された前記所定時刻は時刻ｔ、第２画像が撮影された時刻は前記所定時刻から所定時間後の時刻ｔ＋１で、細胞情報の承継は時系列画像の時間軸に沿って観察開始時期から時間の経過方向に実行され、前記任意時刻に撮影された観察画像に含まれる細胞について、当該時刻まで承継された各細胞の細胞情報に基づいて、各細胞を構成する起源となった細胞数に応じた分類を行うことも好ましい。
【発明の効果】
【００１２】
本発明の細胞の分類方法、画像処理プログラム及び画像処理装置おいては、第１、第２画像を時間軸に沿って順次ずらしながら細胞の抽出及び対応付けが行われ、細胞の統合や分離が各細胞の細胞情報として順次承継され、承継された細胞情報に基づいて細胞の分類が行われる。従って、本発明によれば、培養細胞の構成が明らかとなり、細胞の選別・評価が可能な手段を提供することができる。【００１３】
なお、細胞情報の承継が時系列画像の時間軸に沿って観察開始時期まで時間を遡る方向に実行される手法によれば、トラッキングを開始する際の細胞数を低減できるため、演算処理の処理負担を低減して高速処理が可能である。一方、細胞情報の承継が時系列画像の時間軸に沿って観察開始時期から時間の経過方向に実行される手法によれば、細胞培養の観察中に、現時点での各細胞の起源細胞数等をリアルタイムで把握することができる。
【図面の簡単な説明】
【００１４】
【図１】成熟した細胞を自動識別して画像解析を行う画像処理プログラムＡＰ１を例示するフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】画像処理装置の概要構成を例示するブロック図である。
【図５】時系列画像を時間軸を遡る方向に解析する画像処理プログラムＧＰ１のフローチャートである。
【図６】撮像装置により撮影された時系列画像について、画像処理プログラムＧＰ１により実行される画像解析の様子を模式的に示す説明図である。
【図７】トラッキングによるＩＤ承継を、時系列画像を経時方向に解析する画像処理プログラムＧＰ２に適用した場合のフローチャートである。
【図８】撮像装置により撮影された時系列画像について、画像処理プログラムＧＰ２により実行される画像解析の様子を模式的に示す説明図である。
【図９】画像処理プログラムＧＰ１，ＧＰ２において複層化部位の検出処理を行う画像処理プログラムＳＰ１のフローチャートである。
【図１０】所定時間を隔てて撮影された細胞塊の第１画像(ａ)及び第２画像(ｂ)である。
【図１１】第１画像において設定される局所領域の構成例(ａ)と、第２画像において対応位置を含む近傍部についてブロックマッチングを実行する状況を説明するための説明図(ｂ)である。
【図１２】細胞塊に対する局所領域の大きさを例示する説明図(ａ)と、画像解析により算出された複層化度合いの分布を、黒〜白のグラデーションで視覚的に把握可能に表現したものである。
【図１３】複層化度合いの総和の時系列変化に基づいて細胞塊の成熟度を判定する画像処理プログラムＳＰ２のフローチャートである。
【図１４】複層化度合いの総和の時間的変化をグラフ化した説明図である。
【図１５】複層化部位の占有率の時系列変化に基づいて細胞塊の成熟度を判定する画像処理プログラムＳＰ３のフローチャートである。
【図１６】複層化部位の占有率の時間的な変化をグラフ化した説明図である。
【図１７】細胞塊の観察画像を模式的に示した説明図であり、(ａ)細胞培養の初期過程、(ｂ)複層化領域が全域に広がった成熟状態である。
【図１８】細胞塊の輪郭付近の輝度値総和等の時系列変化に基づいて細胞塊の成熟度を判定する画像処理プログラムＳＰ４のフローチャートである。
【図１９】細胞塊の輪郭付近の輝度値総和の時間的な変化をグラフ化した説明図である。
【図２０】細胞塊の輪郭形状の複雑度等の時系列変化に基づいて細胞塊の成熟度を判定する画像処理プログラムＳＰ５のフローチャートである。
【図２１】細胞塊の輪郭の複雑度の時間的な変化をグラフ化した説明図である。
【図２２】解析結果を表示するユーザーインターフェースの構成例である。
【図２３】細胞塊の製造方法を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について、面を参照しながら説明する。本発明の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を図２及び図３に示しており、まず培養観察システムＢＳの全体構成について概要説明する。
【００１６】
培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２、複数の培養容器１０を収容保持するストッカー３、培養容器１０内の試料を観察する観察ユニット５、培養容器１０を搬送する搬送ユニット４、システムの作動を制御する制御ユニット６、及び画像表示装置を備えた操作盤７などから構成される。
【００１７】
培養室２は、培養環境を形成する部屋であり、この培養室２に付随して温度調整装置２１、加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。ストッカー３は、前後及び上下に仕切られた棚状に形成され各棚に固有の番地が設定される。培養容器１０は、培養する細胞の種別や目的に応じて適宜選択され、例えばディッシュタイプの培養容器に細胞試料が培地とともに注入保持される。各培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。搬送ユニット４は、培養室２の内部に設けられて上下移動可能なＺステージ４１、前後移動可能なＹステージ４２、左右移動可能なＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ちあげ支持する支持アーム４５が設けられている。
【００１８】
観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系５５の光軸に沿って試料を上方から照明する第２照明部５２及び試料を下方から照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５には顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１９】
マクロ観察系５４は、観察光学系５４ａと、観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有して構成され、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）が取得される。顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有して構成される。対物レンズ及び中間変倍レンズは各々複数設けられており、レンズの組み合わせを変化させることにより任意の観察倍率に設定可能に構成される。顕微観察系５５では、第２照明部５２により照明された細胞の透過像、第３照明部５３により照明された細胞の反射像、第３照明部５３により照明された細胞の蛍光像など、培養容器１０内の細胞を顕微鏡観察した顕微観察像（ミクロ像）が取得される。
【００２０】
画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ、顕微観察系５５の撮像装置５５ｃにより撮影され、これらの撮像装置から入力された信号を処理して全体観察画像や顕微観察画像などの画像を生成する。また、画像処理装置１００は、これらの観察画像（画像データ）に画像解析を施し、タイムラプス画像の生成、細胞の運動状態の解析、細胞の成熟度の解析、細胞の構成解析などを行う。なお、画像処理装置１００については、後に詳述する。
【００２１】
制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、ハードディスクやＤＶＤ等の補助記憶装置を含み観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送ユニット４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２２】
操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や観察画像、解析結果等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間で制御信号や観察データの送受信が可能になっている。
【００２３】
このように概要構成される培養観察システムＢＳは、操作盤７において設定された観察プログラムに従ってＣＰＵ６１が各部の作動を制御し、培養容器１０内の試料の撮影を自動的に実行する。観察プログラムがスタートされると、ＣＰＵ６１はＲＡＭ６３に記憶された環境条件に基づいて温度調整装置２１、加湿器２２等の作動を制御し培養室２の環境を制御する。また、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいてＸ，Ｙ，Ｚステージ４３，４２，４１を作動させてストッカー３から観察対象の培養容器１０を試料台１５に搬送し、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察が細胞のミクロ観察である場合には、該当する培養容器１０を顕微観察系５５の光軸上に位置決めし、第２照明部５２または第３照明部５３の光源を点灯させて、顕微観察像を撮像装置５５ｃに撮影させる。
【００２４】
以上のように構成される培養観察システムＢＳにおいて、画像処理装置１００は、撮像装置（５４ｃ、５５ｃ）により所定時間を隔てて撮影された培養細胞の画像を取得し、取得した画像を解析して、培養された細胞の選別・評価に有用な情報（細胞の構成情報や分類情報）を出力する機能を有している。この機能は、ｉＰＳ細胞やＥＳ細胞等の研究に好適に利用される。
【００２５】
この機能は、時系列画像における細胞のトラッキングを利用して行われ、隣接する画像間で細胞の統合または分割が生じたときに、統合または分割前の細胞の情報（細胞情報）を、統合または分割後の細胞に付与し、時系列画像の時間軸に沿った経時方向または時間を遡る方向に順次ずらしながら実行して細胞情報の承継を行い、任意時刻の画像中の細胞について、承継された細胞情報を出力表示し、あるいは承継された細胞情報に基づいた分類結果を表示することにより実現される。
【００２６】
例えば、時刻ｔの観察画像（第１画像）において二つであった細胞ｃ１，ｃ２が、次時刻ｔ＋１の観察画像（第２画像）で一つになった場合には、一体化した細胞に一体化前の細胞情報ｃ１，ｃ２を付与し、これを時系列画像の時間軸に沿った経時方向に順次ずらしながら実行して細胞情報の承継を行い、例えば時刻ｔ＋ｘの観察画像中の細胞について、当該細胞が時刻ｔにおける３つの細胞ｃ１，ｃ２，ｃ５からなることを出力表示する。
【００２７】
ここで、時刻ｔを観察開始時であるｔ＝０とすることにより、時刻ｔ＋ｘの観察画像中の各細胞が、何個のどの起源細胞からなるのか、単一細胞からなるコロニーが存在するのか否か等を知ることができる。さらに時刻ｔ＋ｘを現時点（直近の観察時）として観察を継続することにより、上記知見をリアルタイムで得ることができ、成長する細胞塊の起源や構成を把握して細胞の評価・選別を的確に行うことができる。
【００２８】
また、例えば、時刻ｔの観察画像（第１画像）において一つであった細胞Ｃ１が、前時刻ｔ−１の観察画像（第２画像）で二つになった場合には、分離した二つの細胞個々に分離前の細胞情報Ｃ１1，Ｃ１2を付与し、これを時系列画像の時間軸に沿って時間を遡る方向に順次ずらしながら実行して細胞情報の承継を行い、例えば時刻ｔ−ｘの観察画像中に時刻ｔに一つの細胞Ｃ１となる細胞Ｃ１1，Ｃ１2，Ｃ１3があることを出力表示する。
【００２９】
このとき、時刻ｔ−ｘを観察開始時であるｔ＝０とすることにより、時刻ｔに成長した細胞塊となる細胞が、観察開始時において幾つのどの細胞からなるのか、単一細胞からなるコロニーを形成する細胞が存在したのか否かを知ることができ、時刻ｔを現時点（直近の観察時）とすることにより、培養中の細胞塊の起源や構成を把握して細胞の評価・選別を的確に行うことができる。
【００３０】
このような細胞情報に基づいた細胞の分類として、観察期間内の指定された時刻の観察画像に含まれる細胞塊について、例えば、細胞塊を構成する細胞の個数に応じて観察画像中の細胞塊を色分け表示し、あるいは、特定の起源細胞を含む細胞塊を色分け表示するなどの分類形態が例示される。また、後述する細胞塊の成熟度判定を組み合わせ、成熟したと判定される細胞塊についてのみ上記色分け表示を行い、あるいは、上記色分け表示と別に成熟判定された細胞塊を枠で囲んで表示するなどの分類形態が例示される。また、観察画像中に含まれる細胞塊について、構成細胞数で分類したヒストグラムとして出力表示することも、培養された細胞の全体像を把握するうえで有効である。
【００３１】
上記手法を用いた時系列画像の解析処理は、画像処理装置１００において実行される。画像処理装置１００の概要ブロック図を図４に示し、画像処理装置１００において実行される画像処理プログラムＧＰのうち、時系列画像を時間軸を遡る方向に解析する場合の画像処理プログラムＧＰ１のフローチャートを図５に示す。
【００３２】
画像処理装置１００は、ＲＯＭ６２に設定記憶された画像処理プログラムＧＰ（ＧＰ１，ＧＰ２）がＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。換言すれば、画像処理プログラムＧＰはハードウェア資源であるＣＰＵ６１（コンピュータ）を画像処理装置１００として機能させるためのソフトウェアである。
【００３３】
画像解析部１２０は、画像処理プログラムＧＰに基づき、撮像装置（説明ではミクロ系の撮像装置５５ｃとする）により撮影され、ＲＡＭ６３に記録された時系列の観察画像を以下のように画像処理する。
【００３４】
（Ｉ）時間軸を遡ったトラッキングによる発生起源細胞数の算出手法
操作パネル７１への操作入力等により画像処理プログラムＧＰ１がスタートされると、画像解析部１２０は、まずステップＳ１１において、ＲＡＭ６３に記憶された時系列画像から、観察者により指定された時刻ｔ＝ｔc（例えば直近の観察タイミング）に撮影された第１画像と、その前の時刻ｔ＝ｔc−１に撮影された第２画像を読み出して取得し、ステップＳ１２において各画像に含まれる細胞を抽出する。観察画像（画像データ）からの細胞の抽出には、SnakesやLevel Set等の動的輪郭法や分散フィルタが用いられる。
【００３５】
次のステップＳ１４では、第１画像において抽出された細胞に対してラベリング（ＩＤ付け）を行う。例えば、ＲＡＭ６３に記憶された時刻ｔ＝０，１，…，ｔc−１，ｔcの時系列画像を図６に模式的に示すように、時刻ｔ＝ｔcの第１画像に含まれる各細胞に、Ｃ１，Ｃ２，Ｃ３，…，Ｃ６のようにＩＤ（識別番号）を付与する。
【００３６】
次いで、ステップＳ１５では、第１画像と第２画像との間で、画像に含まれる細胞の対応をとり、トラッキングによる細胞情報の承継を行う。このとき、第１画像の複数の細胞が第２画像で一つになった場合には、一体化した細胞に一体化前の細胞情報を承継し、第１画像の一つの細胞が第２画像で複数に分離した場合には、分離した各細胞に分離前の細胞情報を承継する。
【００３７】
細胞情報の承継は、第１画像で細胞が存在する領域と、第２画像で細胞が存在する領域との重なりにより判断され、一部でも重なった細胞に第１画像の細胞情報が継承される。観察画像の撮影間隔は、一般的に、細胞の移動速度に対して十分小さく設定されており、トラッキングには、オプティカルフローを用いたトラッキング、カルマンフィルタなどの線形予測手法が用いられる。なお、観察間隔が十分でなく、第１画像と第２画像とで細胞領域の重なりがないような場合には、１フレーム前の細胞との距離と相関値によるトラッキングや、カルマンフィルタなどの線形予測、拡張カルマンフィルタやパーティクルフィルタなどの非線形移動予測手法を用いてトラッキングを行うことができる。
【００３８】
図６に示すように、時刻ｔ＝ｔcの第１画像の細胞Ｃ２が、時刻ｔ＝ｔc−１の第２画像で二つに分離した場合（経時的には二つの細胞が統合した場合）に、細胞情報として細胞Ｃ２のＩＤが承継され、各細胞にＣ２1，Ｃ２2のようなＩＤが付与される。同様に第１画像の細胞Ｃ５は第２画像で三つに分かれており、この場合、第２画像の各細胞に細胞情報として細胞Ｃ５のＩＤを承継するＣ５1，Ｃ５2，Ｃ５3のＩＤが付与される。
【００３９】
以降、上記ステップＳ１１〜Ｓ１５を時系列画像について、第１画像と第２画像とを時間軸に沿って遡る方向に順次ずらしながら実行し、画像中に含まれる各細胞の細胞情報を時刻ｔ＝０まで順次承継させる。すなわち、次の細胞情報承継処理は、時刻ｔ＝ｔc−１に取得された観察画像を第１画像、時刻ｔ＝ｔc−２に取得された観察画像を第２画像として細胞のトラッキングを行い、既に細胞情報を継承している時刻ｔc−１の細胞と領域が一部でも重なる時刻ｔc−２の細胞に細胞情報を継承する。
【００４０】
この細胞情報の承継処理を、第２画像が時刻ｔ＝０の観察画像となるまで繰り返し、時刻ｔ＝０における細胞情報を導出する。ステップＳ１６では、承継された細胞情報に基づいて、細胞を撒いた時刻ｔ＝０に同じ細胞情報を持つ細胞数をカウントして、時刻ｔcにおいて一体となる細胞の発生起源細胞と構成細胞数の算出、分類などが行われ、ステップＳ１７において解析結果が出力部１３０から表示パネル７２等に出力される。
【００４１】
図６には、承継された細胞情報を、各時刻の観察画像中の各細胞に付して表示した出力例と、承継された細胞情報を整理して、時刻ｔcに細胞Ｃ１〜Ｃ６を構成する発生起源細胞を分類表示した出力例（図中右上部の分類チャート）とを示す。
【００４２】
細胞情報を観察画像中の各細胞に付して表示する前者の出力例では、例えば時刻ｔcに細胞Ｃ５となる細胞Ｃ５1，Ｃ５21，Ｃ５22，Ｃ５3を同一の色彩、時刻ｔcに細胞Ｃ４となる細胞Ｃ４1，Ｃ４2を他の同一の色彩で表示するなど、時刻ｔcに細胞Ｃ１〜Ｃ６となる細胞群ごとに分類表示すれば、細胞構成の把握をより容易化することができる。また、後者の出力例については、細胞Ｃ１〜Ｃ６の発生起源細胞の分類表示を、時刻ｔcの観察画像とともに、その側方等に表示するように構成し、あるいは発生起源細胞の数（１個〜ｎ個）に応じて細胞Ｃ１〜Ｃ６を色分け表示するように構成してもよく、このような出力表示によれば、細胞構成の把握をさらに容易化することができる。
【００４３】
このような細胞情報の表示、細胞情報に基づいた発生起源細胞の分類表示等によって、観察者は、時刻ｔcに成熟した細胞塊となる細胞Ｃ１が単一細胞からなるコロニーであることや、時刻ｔcの観察画像では同様に成熟した細胞塊と見られる細胞Ｃ２，Ｃ４，Ｃ５が、それぞれ３個，２個，４個の発生起源細胞から構成されることなどを、明確に知得することができる。
【００４４】
なお、以上では、時刻ｔcの観察画像に含まれる全細胞についてトラッキングを行い、全細胞の細胞情報や細胞分類を出力する構成を例示したが、時刻ｔcの観察画像から解析対象を選択して処理を実行するように構成することもできる。例えば、観察画像全体から解析を実行する領域部分をマウス等により指定し、あるいは観察画像から成長した細胞（例えば図６における細胞Ｃ１，Ｃ２，Ｃ４，Ｃ５）をマウス等により選択して指定し、または後に詳述する細胞の成熟判定手法を利用して、成熟細胞を自動選択して解析処理を実行するように構成することもできる。これにより、解析を必要としない未成熟な細胞等を除外して処理負担を軽減し、所望の細胞について起源情報の解析を高速で実行することができる。
【００４５】
（II）時間軸を追ったトラッキングによる発生起源細胞数の算出手法
次に、観察初期から時間軸の経時方向にトラッキングを行う発生起源細胞数の算出手法について説明する。この手法の画像処理プログラムＧＰ２は、図５に示した画像処理プログラムＧＰ１のフローチャートと基本構成は同様であり、図５中の「時刻ｔcの入力画像」を「時刻ｔ＝０の入力画像」、「時刻ｔc−１の入力画像」を「時刻ｔ＝１の入力画像」、…、「時刻ｔ＝０の入力画像」を「時刻ｔcの入力画像」と置き換え、時間軸の経過方向にトラッキングすることにより実現される。
【００４６】
一方、図５においてステップＳ１５に相当するトラッキングによるＩＤ承継（細胞情報の承継）については、既述した画像処理プログラムＧＰ１と異なる構成を以下に例示しており、このＩＤ承継を画像処理プログラムＧＰ２に適用した場合の詳細フローチャートを図７に示す。この図において、画像処理プログラムＧＰ１と同様と処理の処理を行うステップに同じステップ番号を付して示す。
【００４７】
操作パネル７１への操作入力等により画像処理プログラムＧＰ２がスタートされると、画像解析部１２０は、まずステップＳ１１において、ＲＡＭ６３に記憶された時系列画像から、時刻ｔ＝０（観察者により初期時刻が指定された場合には当該観察タイミング）に撮影された第１画像と、その次の時刻ｔ＝１に撮影された第２画像を読み出して取得し、ステップＳ１２において各画像に含まれる細胞を抽出する。
【００４８】
次のステップＳ１４では、第１画像において抽出された細胞に対してラベリング（ＩＤ付け）を行う。例えば、ＲＡＭ６３に記憶された時刻ｔ＝０，１，…，ｔc−１，ｔcの時系列画像を図８に模式的に示すように、時刻ｔ＝０の第１画像に含まれる各細胞に、ｃ１，ｃ２，ｃ３，…，ｃ１２のようにＩＤを付与する。
【００４９】
次いで、ステップＳ１５において、第１画像と第２画像との間で、画像に含まれる細胞の対応をとり、トラッキングによる細胞情報（ＩＤ）の承継を行う。このトラッキングによるＩＤ承継は、図７に示すステップＳ１５１〜Ｓ１５５により実行される。
【００５０】
ステップＳ１５１では、トラッキング処理が行われ、第１画像で細胞が存在する領域と、第２画像で細胞が存在する領域とが一部でも重なった細胞が同一細胞として対応づけられる。既述したように、観察画像の撮影間隔は、細胞の移動速度に対して十分小さく設定されており、細胞領域の重複を見ることで細胞の対応付けを行うことができる。また、第１画像と第２画像とで細胞領域の重なりがないような場合には、１フレーム前の細胞との距離と相関値によるトラッキングや、カルマンフィルタなどの線形予測、拡張カルマンフィルタやパーティクルフィルタなどの非線形移動予測手法を用いてトラッキングを行うことができる。
【００５１】
ステップＳ１５２では、第１画像の二以上の細胞が、第２画像の一つの細胞に対応したか否かが判断され、第１画像の二以上の細胞が第２画像の一つの細胞に対応した（二以上の細胞が一体化した）と判断される場合にはステップＳ１５３に進み、それ以外の場合はステップＳ１５５ｂに進む。ステップＳ１５３では、第１画像の二以上のＩＤの対応数に応じた統合数のカウントアップが行われ、ステップＳ１５５ａで第１画像の細胞のどちらか一方のＩＤ、例えば最も若い（小さい）ＩＤを第２画像の細胞に付与して細胞情報を承継する。一方、ステップＳ１５２において細胞が統合されていないと判断された場合、すなわち、第１画像の細胞と第２画像の細胞とが１：１で対応するとき、あるいは第１画像の一つの細胞が第２画像で二つ以上の細胞に分離したときには、ステップＳ１５５ｂにおいて第１画像の細胞のＩＤがそのまま承継される。
【００５２】
例えば、図８に示すように、時刻ｔ＝０の第１画像の細胞ｃ２とｃ３が、時刻ｔ＝１の第２画像で一つの細胞に一体化した場合に、第２画像の一体化した細胞に、二つのＩＤ番号のうち若い番号のｃ２と、細胞の統合数ｓ＝２とが、細胞情報として承継される。同様に第１画像の細胞ｃ９とｃ１０が第２画像で一体化しており、この場合、第２画像の一体化した細胞に、ＩＤ番号ｃ９と細胞統合数ｓ＝２とが、細胞情報として承継される。
【００５３】
以降、上記ステップＳ１１〜Ｓ１５を時系列画像について、第１画像と第２画像とを時間軸に沿って経時方向に順次ずらしながら実行し、画像中に含まれる各細胞の細胞情報を指定時刻（例えば現在時刻において直近の観察タイミング）ｔ＝ｔcまで順次承継させる。すなわち、次の細胞情報承継処理は、時刻ｔ＝１に取得された観察画像を第１画像、時刻ｔ＝２に取得された観察画像を第２画像として細胞のトラッキングを行い、既に細胞情報を継承している時刻ｔ＝１の細胞と領域が一部でも重なる時刻ｔ＝２の細胞に細胞情報を継承する。
【００５４】
この細胞情報の承継処理を、第２画像が時刻ｔ＝ｔcの観察画像となるまで繰り返し、時刻ｔcにおける細胞情報を導出する。ステップＳ１６（図５を参照）では、承継された細胞情報に基づいて、時刻ｔcの観察画像中の細胞の発生起源細胞と、構成細胞数の算出、分類が行われ、ステップＳ１７において出力部から表示パネル７２等に出力される。
【００５５】
図８には、承継された細胞情報を、各時刻の観察画像中の各細胞に付して表示した出力例と、承継された細胞情報を整理して、時刻ｔcの観察画像中の細胞ｃ１，ｃ２，ｃ４，ｃ５，ｃ９，ｃ１２について発生起源の細胞数を分類表示した出力例（図中右下部の分類チャート）とを示す。細胞情報を観察画像中の各細胞に付して表示する出力例では、承継された細胞情報の統合数ｓ（ｓ＝１〜ｎ）、すなわち時刻ｔcの各細胞を形成する発生起源細胞の数に応じて細胞ｃ１，ｃ２，ｃ４，ｃ５，ｃ９，ｃ１２を色分け表示するように構成することにより、各細胞の構成をより容易に把握することができる。
【００５６】
そして、このような細胞情報の表示、細胞情報に基づいた発生起源細胞の分類表示等によって、観察者は、時刻ｔcに成熟した細胞塊となる細胞ｃ１が単一細胞からなるコロニーであることや、時刻ｔcの観察画像では同様に成熟した細胞塊と見られる細胞ｃ２，ｃ５，ｃ９が、それぞれ３個，２個，４個の発生起源細胞から構成されることなどを、明確に知得することができる。また、本手法によれば、時刻ｔcを直近の観察タイミングとして、観察画像が撮影されるごとに順次更新して解析を継続することにより、現時点で観察される細胞の発生起源や構成細胞数を把握でき、培養中の細胞の評価・選別をリアルタイムで的確に行うことができる。
【００５７】
以上では、時刻ｔ＝０の観察画像に含まれる全細胞についてトラッキングを行い、全細胞の細胞情報や細胞分類を出力する構成を例示したが、時刻ｔ＝０，１，２等初期の観察画像から解析対象を選択して処理を実行するように構成することもできる。例えば、観察画像全体から解析を実行する領域部分をマウス等により指定し、あるいは初期段階でほとんど成長の見られない細胞ｃ４，ｃ１２等を除外して他の細胞を選択指定し、または次述する細胞の成熟判定手法を利用して、成熟細胞を自動選択して解析処理を実行するように構成することもできる。これにより、解析を必要としない未成熟な細胞等を除外して処理負担を軽減し、所望の細胞について起源情報の解析を高速で実行することができる。
【００５８】
次に、以上説明した細胞情報の表示・発生起源細胞の分類表示について、指定時刻において十分成熟した細胞を自動選択して解析処理する場合に用いられる、細胞の成熟判定手法について説明する。なお、以下では細胞の成長状態を表現するため、細胞塊の文言を適宜用いるものとする。
【００５９】
培養細胞が培地内で平面的に広がる平面培養においては、ｉＰＳ細胞やＥＳ細胞などの細胞が社会性を有するような細胞塊に成長する過程で複層化が始まり、複層化が細胞塊全域に広がって成熟してゆく。そのため、時系列画像から各時刻または時刻間で細胞の複層化に関する特徴量（以下、複層化特徴量という）を順次算出し、この複層化特徴量の時間的な変化をとらえることにより、細胞の成熟度（成熟状態）を判断できる。
【００６０】
本明細書では、細胞の複層化に関する複層化特徴量として（１）観察画像間の局所領域のブロックマッチングによる近似度に基づく統計量、（２）細胞塊の輪郭付近の輝度値に基づく統計量、（３）細胞塊の輪郭形状に基づく統計量を提示する。
【００６１】
（１）画像間の局所領域のブロックマッチングによる近似度を利用する手法
この手法は、所定時間をおいて撮影された時系列画像における時刻ｔの観察画像（第１画像）と、次時刻ｔ＋１の観察画像（第２画像）とについて、第１画像における細胞の局所領域の輝度分布をテンプレートとし、第２画像の細胞の対応位置を含む近傍部について輝度分布のブロックマッチングを行って、最もマッチングの高い位置領域（領域内の輝度分布の変化が最も少ない位置領域）の近似度を当該位置領域の代表近似度とし、この代表近似度に基づく統計量を複層化特徴量とする。
【００６２】
これは、細胞が複層化していない単層領域の部位と複層化した部位の画像が、以下の特徴をもつことを利用する。一つの細胞が成長しまたは複数細胞が寄せ集まって水平方向に広がる単層の細胞塊は、隣接する時刻の画像間で、個々の細胞の移動や回転が起きることがあっても、細胞同士の境界を観察することができ、細胞内部の構造は保たれている。一方、細胞が複層化する場合には、細胞塊の内部において上下方向に分裂や移動が行われて泡立つように変化するため、画像の空間的な構造や明るさが大きく変化する。
【００６３】
このように、単層領域では細胞塊内部の変化が空間的な移動を主体とするため、２画像の対応位置を含む周辺でブロックマッチングを行ったときにマッチングの度合いが高くなるのに対し、複層化領域では、細胞内部での変化が空間的な移動だけでなく構造的な変化を伴うため、周辺探索を行ってもマッチングの度合いが低くなる。近似度の指標として相関値や差分値、乗算値等を利用することができ、例えば相関値を用いた場合には、単層領域において代表近似度が高く、複層化領域では代表近似度が低くなり、代表近似度の大きさにより複層化の状態を判断することができる。画像間における局所領域のブロックマッチングは画像処理装置１００において実行される。本手法の画像処理プログラムＧＰにおいて複層化部位の検出処理を行う部分ＳＰ１のフローチャートを図９に示す。
【００６４】
画像解析部１２０は、まずステップＳ３１において、ＲＡＭ６３に記憶された時系列画像から時刻ｔの第１画像（例えば、図１０(ａ)に示す観察画像）と、次時刻ｔ＋１の第２画像（例えば、図１０(ｂ)に示す観察画像）とを取得し、ステップＳ３２において、画像処理プログラムＧＰ１，ＧＰ２において説明したと同様の手法により、観察画像中に含まれる細胞の抽出、ラベリング、および第１画像の細胞と第２画像の細胞の対応付けが行われる。このとき、画像間での細胞の回転や移動による効果を小さくするため、各細胞の位置合わせを行う。位置合わせは、各細胞の重心位置や外接矩形の頂点位置などを基準として行われ、図形モーメントの相関が最大（差分が最小）となるように角度を揃えることにより回転の効果が抑制される。
【００６５】
次いで、ステップＳ３３において、第１画像の細胞について画像を形成する画素を中心とする局所領域Ａを設定する。「局所領域」Ａは、図１１(ａ)に白抜きの枠で囲んで示すように、細胞塊の大きさに比べて十分に小さく設定され、例えば、５×５〜１５×１５画素程度（起源細胞二〜三個程度の大きさ）に設定される。局所領域の位置は、例えば、抽出された細胞の輪郭端部を起点として自動設定されるように構成できる。
【００６６】
こうして設定された局所領域について、ステップＳ３４においてブロックマッチングが行われる。ブロックマッチングは、第１画像において図１１(ａ)のように設定された局所領域Ａの輝度分布を基準とし、図１１(ｂ)に示すように、第２画像における対応位置領域を含む周辺に対し局所領域Ａの輝度分布をスキャンして各位置での近似度を算出し、最もマッチングの高い位置を探索する。近似度の評価指標として、輝度分布の相関や差分、あるいは乗算などを用いることができ、相関を用いる場合には相関値が最も大きい（１に近い）位置、差分を用いる場合には差分値が最も小さい（０に近い）位置を探索する。そして、最もマッチングの高い位置の近似度を当該位置の代表近似度としてＲＡＭ６３に記録する。以降では近似度として相関値を用いた場合について説明を続ける。
【００６７】
局所領域が単層構造の場合には、時間経過による細胞塊の変化が細胞の移動を主体とするため、対応位置を含む周辺部でブロックマッチングを行うことによって代表近似度の相関値は大きな値（相関値が１に近い値）をとる。一方、局所領域が複層化された部位である場合には、時間経過による細胞塊の変化が空間的な構造の変形や輝度変動を伴うため、周辺探索を行っても代表近似度の相関値は小さな値（同上、０に近い値）となる。ステップＳ３４では、比較基準である第１画像の局所領域Ａを、画像内で所定画素（単位画素または複数画素）移動させながら逐次ブロックマッチングを行い、細胞塊全域について各部の代表近似度を算出する。このブロックマッチングにより得られた各部の代表近似度は、当該各部の複層化の状態を表し、代表近似度の分布は細胞塊全体の複層化の状況を表すものとなる。
【００６８】
ここで、相関値の大きさは、単層状態から複層化が進むにつれて値が小さくなり、複層化の程度を表すには扱いにくい。そこで、画像処理装置１００では、ステップＳ３５において代表近似度の相関値を反転させ、複層化が進むにつれて値が大きくなる（０→１に近づく）ように処理している。具体的には、近似度として相関値を用いる場合に１−相関値の処理、近似度として差分値を用いる場合には｜差分値｜の処理を行っている。本明細書においては、この処理により算出される代表近似度を「複層化度合い」と表記する。なお、相関値は計算上では−１〜＋１の値を取り得るが、負の値（−１〜０）は輝度が反転した場合であり、細胞形状では意味をもたないため、算出された相関値が負の値の場合は０と置き換え、１−相関値の処理を行っている。
【００６９】
図１２は、(ａ)に局所領域の大きさを点線で例示するとともに、(ｂ)にステップＳ３５により算出された複層化度合いの分布を、視覚的に判断容易に表現したものを示す。この(ｂ)図では、外形輪郭線Ｌで囲まれた細胞塊ＭＣの内部に、複層化度合いが低い部位を暗く、複層化度合いが高い部位を明るく、複層化度合いの大きさに応じた多段階のグラデーション表示として表現している。この図から明らかなように、観察画像に含まれる各細胞塊について、細胞塊のどの部位でどの程度複層化が進行しているかを、第２画像の各時刻において判断することができる。
【００７０】
画像処理プログラムＳＰ１は、ステップＳ３５において算出された複層化度合いを利用して、複層化された部位と複層化されていない部位とを判別する機能も備えている。すなわち、ステップＳ３６では、ステップＳ３５において算出された複層化度合いの値と、予め設定された所定の閾値とを対比し、複層化度合いの値が閾値以上である領域を複層化されていると判断する。ステップＳ３６の処理は、以降説明する画像処理プログラムの処理フローやオペレータからの表示要求等に応じて実行される。
【００７１】
このように算出される各時刻の細胞塊各部の複層化度合いを利用して、近似度に基づく統計量が算出され、その時系列変化により細胞塊の成熟度が判断される。近似度に基づく統計量として、（ｉ）複層化度合いの総和、（ii）複層化部位の占有率が挙げられる。
【００７２】
近似度に基づく統計量として（ｉ）複層化度合いの総和を用いる手法は、ステップＳ３５で算出された各時刻の細胞塊各部の複層化度合いを、細胞塊全体について総和して、細胞塊ごとに各時刻の複層化度合いの総和を求め、この複層化度合いの総和の時系列変化を導出することにより細胞塊の成熟状態（成熟度）を判断する。上述した複層化部位検出のプログラムＳＰ１を含み、複層化度合いの総和の時系列変化に基づいて細胞塊の成熟度を判定する画像処理プログラムＳＰ２のフローチャートを図１３に示す。
【００７３】
図示するフローチャートでは、ステップＡ１０に、既述した細胞塊の複層化部位検出のプログラムＳＰ１（Ｓ３１〜Ｓ３５）が含まれており、このステップＡ１０において、時刻ｔの第１画像と、時刻ｔ＋１の第２画像とから、局所領域のブロックマッチングにより時刻ｔ＋１における細胞塊各部の複層化度合いが算出される。例えば、時刻ｔ＝０の観察画像（第１画像）と、時刻ｔ＝１の観察画像（第２画像）とから時刻ｔ＝１における細胞塊各部の複層化度合いが算出され、以降同様に次時刻の観察画像との局所領域のブロックマッチングが順次行われて、時刻ｔ＝ｔc−１の観察画像（第１画像）と、時刻ｔ＝ｔcの観察画像（第２画像）とから時刻ｔcにおける細胞塊各部の複層化度合いが算出される。
【００７４】
ステップＡ２０では、ステップＡ１０で算出された各時刻の細胞塊各部の複層化度合い（図１２(ｂ)を参照）を細胞塊全体について総和して、細胞塊ごとに各時刻（時刻ｔ＝１，２，…，ｔc−１，ｔc…）の複層化度合いの総和が算出される。これにより、各時刻において各細胞塊がどの程度複層化しているかを把握することができる。
【００７５】
ステップＡ３０では、ステップＡ２０で算出された各時刻の複層化度合いの総和の値を時刻ｔ＝１，２，３，…，ｔc−１，ｔc…に沿って時系列に並べ、各細胞塊について複層化度合いの総和の時系列変化を導出する。図１４は、観察画像中のひとつの細胞塊に着目し、ステップＡ２０の時系列変化導出処理により算出された複層化度合いの総和の時間的な変化をグラフ化したものである。図中の横軸は時刻ｔ＝０からの経過時間、縦軸は複層化度合いの総和であり、総和の値を局所領域の分割数で除算し正規化した場合には０〜１の値となる。
【００７６】
細胞培養の初期過程では、細胞塊内部に細胞が二次元的に広がっているだけで、細胞個々の構造がはっきりしていることから、複層化度合いの総和は小さい値で推移する。細胞塊が成長して複層化が始まると、細胞の構造が三次元的に激しく変化して複雑化することから複層化度合いの総和の値が上がり始め、複層化領域の拡大とともに上昇する。複層化領域が細胞塊のほぼ全域まで広がると、総和値の上昇が鈍りほとんど上昇しなくなる。さらに時間が経過すると、今度は複層化された領域の細胞個々が非常に小さくなって細かい構造変化となっていくため、複層化度合いの総和は最大値を取った後に若干低下する傾向をもって推移する。
【００７７】
このため、ステップＡ３０の処理により導出される複層化度合いの総和の時系列変化情報（複層化度合い時系列情報という）から、各細胞塊の成熟状態を判断することができる。例えば、複層化度合い時系列情報において、複層化度合いの総和が上昇し始めたときに、当該細胞塊で複層化の成長が始まったと判断することができ、複層化度合いの総和が上昇しているときに成長中であると判断することができる。また、複層化度合いの総和が所定以上で最大値をとったとき、あるいはピークを越えて安定期または減少期に入ったときに、当該細胞塊が成熟したと判断することができる。
【００７８】
画像処理プログラムＳＰ２では、ステップＡ３０において導出された複層化度合いの時系列情報から、観察画像中の各細胞塊について、指定時刻ｔc（例えば直近の観察タイミング）までに複層化度合いの総和が最大値を持ったか否かをステップＡ４０で計算し、最大値を有していた場合に当該細胞塊は成熟した細胞塊であると判断する。一方、指定時刻ｔcまでに最大値を有していない場合には、当該細胞塊は未だ成熟していないと判断する。
【００７９】
そして、この画像処理プログラムＳＰ２による成熟判断に基づき、成熟したと判断された細胞塊について、既述した画像処理プログラムＧＰ１，ＧＰ２による細胞構成の解析処理が実行され、細胞情報の表示や発生起源細胞の表示が出力される。このように、予め成熟判定を行い、指定時刻において十分成熟した細胞を自動選択して解析処理する構成によれば、解析を必要としない未成熟な細胞等を除外して処理負担を軽減することができ、株分けや薬効試験等に用いられる十分に成熟した細胞についてのみ、起源情報の解析を高速で実行することができる。
【００８０】
近似度に基づく統計量として（ii）複層化部位の占有率を用いる手法は、ステップＳ３５において算出された細胞塊各部の複層化度合いの分布から、各時刻の各細胞塊における細胞塊全体（解析範囲が指定されている場合には指定領域）に対する複素化部位の占める比率、すなわち複層化部位の占有率を算出し、その時系列変化を導出することにより細胞塊の成熟状態（成熟度）を判断する。既述したブロックマッチングによる複層化部位検出のプログラムＳＰ１を含み、複層化部位の占有率の時系列変化に基づいて細胞塊の成熟度を判定する画像処理プログラムＳＰ３のフローチャートを図１５に示す。
【００８１】
図示するフローチャートでは、ステップＢ１０に、既述した細胞塊の複層化部位検出のプログラムＳＰ１（Ｓ３１〜Ｓ３６）が含まれており、このステップＢ１０において、時刻ｔの第１画像と、次時刻ｔ＋１の第２画像とから、局所領域のブロックマッチングにより時刻ｔ＋１における細胞塊各部の複層化度合いが算出され、算出された複層化度合いの大きさに応じて複層化された部位の検出が行われる。例えば、時刻ｔ＝０の観察画像（第１画像）と、時刻ｔ＝１の観察画像（第２画像）とから時刻ｔ＝１における細胞塊の複層化部位が検出され、以降同様に次時刻の観察画像とのブロックマッチングが順次行われて、時刻ｔ＝ｔc−１の観察画像（第１画像）と、時刻ｔ＝ｔcの観察画像とから時刻ｔcにおける細胞塊の複層化部位が検出される。
【００８２】
ステップＢ２０では、ステップＢ１０で検出された複層化部位について、各細胞塊に占める複層化部位の占有率（面積比率）が算出され、細胞塊ごとに各時刻（時刻ｔ＝１，２，…，ｔc−１，ｔc…）における複層化部位の占有率が算出される。これにより、各時刻において各細胞塊がどの程度複層化しているかを把握することができる。
【００８３】
ステップＢ３０では、ステップＢ２０で算出された各時刻の複層化部位の占有率の値を時刻ｔ＝１，２，３，…，ｔc−１，ｔc…に沿って時系列に並べ、各細胞塊について複層化部位占有率の時系列変化を導出する。図１６は、観察画像中のひとつの細胞塊に着目し、ステップＢ２０の時系列変化導出処理により算出された複層化部位占有率の時間的な変化をグラフ化したものである。図中の横軸は時刻ｔ＝０からの経過時間、縦軸は複層化部位の占有率であり０〜１００％の値となる。
【００８４】
細胞培養の初期過程では、複層化部位がほとんど存在しないため複層化部位の占有率は低い値で推移する。細胞塊が成長して複層化が始まると占有率は上がり始め、複層化領域の拡大とともに上昇する。複層化領域が細胞塊のほぼ全域まで広がると、占有率の上昇が鈍り高い占有率でほとんど上昇しなくなる。
【００８５】
このため、ステップＢ３０の処理により導出される複層化部位の占有率の時系列変化情報（複層化占有率時系列情報という）から、細胞塊の成熟状態を判断することができる。例えば、複層化占有率時系列情報において、複層化部位の占有率が上昇し始めたときに、当該細胞塊で複層化の成長が始まったと判断することができ、複層化部位の占有率が上昇しているときに成長中であると判断することができる。また、複層化部位の占有率が所定以上となったときに、当該細胞塊が成熟したと判断することができる。
【００８６】
画像処理プログラムＳＰ３では、ステップＢ３０において導出された複層化占有率時系列情報から、観察画像中の各細胞塊について、指定時刻ｔc（例えば直近の観察タイミング）における複層化部位の占有率と、成熟度の判定基準として予め設定された規定占有率とをステップＢ４０において対比し、複層化部位の占有率が規定占有率以上である場合に、当該細胞塊は成熟した細胞塊であると判断する。一方、指定時刻ｔcにおいて複層化部位の占有率が規定占有率未満である場合には、当該細胞塊は未だ成熟していないと判断する。規定占有率は観察対象の細胞の種別や特性、観察目的等に応じて適宜に設定されるが、ｉＰＳ細胞やＥＳ細胞等の場合には、一般的に７０〜９０％程度の範囲内で設定される。
【００８７】
そして、この画像処理プログラムＳＰ３による成熟判断に基づき、成熟したと判断された細胞塊について、既述した画像処理プログラムＧＰ１，ＧＰ２による細胞構成の解析処理が実行され、細胞情報の表示や発生起源細胞の表示が出力される。このように、予め成熟判定を行い、指定時刻において十分成熟した細胞を自動選択して解析処理する構成によれば、解析を必要としない未成熟な細胞等を除外して処理負担を軽減することができ、株分けや薬効試験等に用いられる十分に成熟した細胞についてのみ、起源情報の解析を高速で実行することができる。次に、複層化特徴量として「細胞塊の輪郭付近の輝度値に基づく統計量」を利用した成熟度判定手法について説明する。
【００８８】
（２）細胞塊の輪郭付近の輝度値に基づく統計量を利用する手法
細胞を平面培養したときの観察画像を図１７に模式的に示す。培養初期では、同図(ａ)に示すように、寄せ集まった細胞Ｃがシャーレ等の培地底面に接着して細胞塊が二次元的に広がっている。そのため、細胞塊ＭＣの輪郭付近にいわゆる「ハロ」はあまり生じない。一方、細胞塊が成長して複層化し三次元的に増殖するようになると、細胞塊の輪郭部に厚みが出てくるため、同図(ｂ)に示すように、細胞塊ＭＣの輪郭付近にハロＨが生じることになる。輪郭付近のハロは、観察光学系（５４ａ，５５ａ）が位相差顕微鏡の場合に、より明瞭に現れる。
【００８９】
本手法は、このように細胞塊が複層化して成熟するに伴い、輪郭付近にハロが生じて輝度値が変化する特性を利用する。輝度値に基づく統計量の例として、細胞塊の輪郭付近の輝度値を総和した輝度総和、細胞塊の総輪郭長に対する輪郭に沿った一定の輝度値以上の部分（ハロ）の長さの割合（ハロ長さ／総輪郭長）を提示する。本手法の画像処理プログラムＳＰ４のフローチャートを図１８に示す。
【００９０】
画像解析部１２０は、まずステップＣ１０において、ＲＡＭ６３に記憶された時刻ｔ＝０，１，２，…，ｔc−１，ｔcの時系列画像を読み出し、ステップＣ１５において、各時刻の観察画像に対して画像処理プログラムＧＰ１，ＧＰ２において説明したと同様の手法により、観察画像中に含まれる細胞の抽出、ラベリング、および各画像間での細胞の対応付けが行われる。
【００９１】
ステップＣ２０では、ステップＣ１５で抽出された各時刻の細胞塊の輪郭部に対し、上述した輝度値に基づく統計量を算出する。例えば、輝度値に基づく統計量が輪郭付近の輝度総和の場合には、各細胞塊の輪郭に沿った近接領域について細胞塊ごとに輝度値の総和を算出する。近接領域の大きさ、すなわちステップＣ１５で抽出された輪郭線に対する外周方向の枠の幅は、観察対象の細胞塊が複層化したときに当該観察系で観察されるハロの出現域に応じて適宜設定される。輝度値に基づく統計量が細胞塊の総輪郭長に対するハロの長さの割合である場合には、ステップＣ１５で抽出された細胞塊の輪郭線の総輪郭長に対する、細胞塊の近接領域で一定の輝度値以上である部分の輪郭線に沿った方向の長さの割合を算出する。
【００９２】
ステップＣ３０では、ステップＣ２０で算出された各時刻の輝度値に基づく統計量を、時刻ｔ＝０，１，２，…，ｔc−１，ｔcに沿って時系列に並べ、各細胞塊について輝度値に基づく統計量の時系列変化を導出する。図１９は、観察画像中のひとつの細胞塊について、ステップＣ２０の時系列変化導出処理により算出された付輪郭付近の輝度総和の時間的な変化をグラフ化して示したものである。図中の横軸は時刻ｔ＝０からの経過時間、縦軸は輪郭付近の輝度値の総和である。
【００９３】
図１７に模式的に示したように、細胞培養の初期過程(ａ)では、寄せ集まった細胞Ｃが培地底面に接着して二次元的に広がるため、個々の細胞Ｃや集合した細胞塊ＭＣの輪郭付近に殆どハロは現れず、輪郭付近の輝度総和は低い状態で変化する。細胞塊が成長して複層化が始まると、複層化により厚さが増大した部位に近い輪郭付近に明るいハロが現われて輝度総和が徐々に増加し始め、複層化領域の拡大とともに増大する。そして(ｂ)のように複層化領域が細胞塊ＭＣのほぼ全域まで広がると細胞塊全体が明るいハロＨに囲まれ、輪郭付近の輝度総和がほとんど増加しなくなる。輝度値に基づく統計量として細胞塊の総輪郭長に対するハロの長さの割合を用いた場合にも同様の時系列変化で推移する。
【００９４】
従って、ステップＣ３０の処理により導出される輝度値に基づく統計量の時系列変化情報（輝度統計量時系列情報という）から、各細胞塊の成熟状態を判断することができる。例えば、輝度統計量時系列情報において、輪郭付近の輝度総和が増加し始めたときに、当該細胞塊で複層化の成長が始まったと判断することができ、輝度総和が増大しているときに成長中であると判断することができる。そして、輝度総和の増加傾向が緩やかになり増加率が所定以下となったとき、あるいは輝度総和が規定の総和閾値以上となったときに、当該細胞塊が成熟したと判断することができる。
【００９５】
画像処理プログラムＳＰ４では、ステップＣ３０において導出された輝度統計量時系列情報から、観察画像中の各細胞塊について、指定時刻ｔc（例えば直近の観察タイミング）における輪郭付近の輝度総和と、成熟度の判定基準として予め設定された規定の総和閾値とをステップＣ４０において対比し、輪郭付近の輝度総和が規定の総和閾値以上である場合に当該細胞塊は成熟した細胞塊であると判断する。一方、指定時刻ｔcにおいて輪郭付近の輝度総和が規定の総和閾値未満である場合には、当該細胞塊は未だ成熟していないと判断する。輝度値に基づく統計量が、細胞塊の総輪郭長に対するハロ長さの割合の場合も同様であり、指定時刻ｔcにおける細胞塊の総輪郭長に対するハロ長さの割合と、成熟度の判定基準として予め設定されたハロの規定割合とを対比し、総輪郭長に対するハロ長さの割合が規定割合以上である場合に細胞塊が成熟したと判断する。
【００９６】
そして、画像処理プログラムＳＰ４による成熟判断に基づき、成熟したと判断された細胞塊について、既述した画像処理プログラムＧＰ１，ＧＰ２による細胞構成の解析処理が実行され、細胞情報の表示や発生起源細胞の表示が出力される。従って、本手法においても、指定時刻において十分成熟した細胞が自動選択されて発生起源細胞等が解析処理されるため、解析を必要としない未成熟な細胞等を除外して処理負担を軽減することができ、起源情報の解析を高速で実行することができる。次に、複層化特徴量として「細胞塊の輪郭形状に基づく統計量」を利用した成熟度判定手法について説明する。
【００９７】
（３）細胞塊の輪郭形状に基づく統計量を利用する手法
図１７(ａ)に示したように、細胞培養の初期過程では、細胞Ｃが寄せ集まって細胞塊ＭＣが形成されるため、二次元的に広がる細胞塊ＭＣの輪郭付近には細胞個々が存在しており、細胞塊の輪郭形状は多くの凹凸を含んだ複雑な形状となる。細胞塊の成長が進むと輪郭部の凹凸が徐々に吸収されて輪郭形状がなだらかになってゆき、複層化により細胞構造が三次元的に形成される頃には、図１７(ｂ)に示すように細胞塊ＭＣの輪郭形状が比較的丸くなってくる。
【００９８】
本手法は、このように、細胞塊が成熟してゆく過程で、細胞塊の輪郭形状が変化する特性を利用する。細胞塊の輪郭形状に基づく統計量の代表例として、細胞塊の輪郭の複雑度を提示する。細胞塊の輪郭の複雑度は、例えば、細胞塊の面積に対する周囲長の割合（周囲長／面積）で規定することができる。本手法の画像処理プログラムＧＰ５のフローチャートを図２０に示す。
【００９９】
画像解析部１２０は、ステップＤ１０において時刻ｔ＝０，１，２，…，ｔc−１，ｔcの時系列画像を読み出し、ステップＤ１５において、各時刻の観察画像に対して画像処理プログラムＧＰ１，ＧＰ２において説明したと同様の手法により、観察画像中に含まれる細胞の抽出、ラベリング、および各画像間での細胞の対応付けが行われる。
【０１００】
ステップＤ２０では、ステップＤ１５で抽出された各時刻の細胞塊の輪郭部に対し、上述した細胞塊の輪郭形状に基づく統計量を算出する。本実施例においては、細胞塊の輪郭の複雑度について、最外輪郭が抽出された細胞塊の面積に対する周囲長（総輪郭長）の割合を算出する。
【０１０１】
ステップＤ３０では、ステップＤ２０において算出された各時刻の輪郭形状に基づく統計量を時刻ｔ＝０，１，２，…，ｔc−１，ｔcに沿って時系列に並べ、各細胞塊について輪郭形状に基づく統計量の時系列変化を導出する。図２１は、観察画像中のひとつの細胞塊について、ステップＤ２０の時系列変化導出処理により算出された細胞塊輪郭の複雑度の時間的な変化をグラフ化したものである。図中の横軸は時刻ｔ＝０からの経過時間、縦軸は輪郭の複雑度である。
【０１０２】
図１７(ａ)，(ｂ)に示したように、細胞培養の初期過程では、細胞が寄せ集まって細胞塊が二次元的に広がり、細胞塊の輪郭は多くの凹凸を含んだ複雑な形状であるため、ステップＤ２０において算出される輪郭の複雑度は高い値で変動する。細胞塊の成長が進むと凹凸が徐々に吸収されて輪郭形状がなだらかになってゆき、輪郭の複雑度は時間の経過とともに低下する。さらに細胞塊内部で複層化が進むと、細胞塊の輪郭形状が楕円〜丸くなり、輪郭の複雑度は低い値でほとんど減少しなくなる。
【０１０３】
そのため、ステップＤ３０の処理により導出される細胞塊の輪郭形状に基づく統計量の時系列変化情報（輪郭形状統計量時系列情報という）から、各細胞塊の成熟状態を判断することができる。例えば、輪郭形状統計量時系列情報において、輪郭の複雑度が低下し始めたときに、当該細胞塊は複層化への移行期にあると判断することができ、輪郭の複雑度が低下しているときに複層化の成長中であると判断することができる。そして、輪郭の複雑度の低下傾向が緩やかになり低下率が所定以下となったとき、あるいは輪郭の複雑度が規定の複雑度以下となったときに、当該細胞塊が成熟したと判断することができる。
【０１０４】
図２０に示す画像処理プログラムＧＰ５では、ステップＤ３０において導出された輪郭形状統計量時系列情報から、観察画像中の各細胞塊について、指定時刻ｔc（例えば直近の観察タイミング）における輪郭の複雑度と、成熟度の判定基準として予め設定された規定の複雑度とをステップＤ４０において対比し、細胞塊の輪郭の複雑度が規定の複雑度以下である場合に、当該細胞塊は成熟した細胞塊であると判断する。一方、指定時刻ｔcにおいて細胞塊の輪郭の複雑度が規定の複雑度を超えている場合には、当該細胞塊は未だ成熟していないと判断する。
【０１０５】
そして、画像処理プログラムＳＰ５による成熟判断に基づき、成熟したと判断された細胞塊について、既述した画像処理プログラムＧＰ１，ＧＰ２による細胞構成の解析処理が実行され、細胞情報の表示や発生起源細胞の表示が出力される。従って、本手法においても、指定時刻において十分成熟した細胞が自動選択されて発生起源細胞等が解析処理されるため、解析を必要としない未成熟な細胞等を除外して処理負担を軽減することができ、起源情報の解析を高速で実行することができる。
【０１０６】
図１は、以上説明した画像処理プログラムＧＰ（ＧＰ１，ＧＰ２）と、画像処理プログラムＳＰ（ＳＰ１〜ＳＰ５）とを組み合わせて、指定時刻ｔcにおいて十分成熟した細胞を自動選択して発生起源細胞等の解析処理を行う自動解析プログラムＡＰの概要をフローチャートである。
【０１０７】
自動解析プログラムＡＰでは、まずステップＳ１において時刻ｔ＝０，１，２，…，ｔc−１，ｔc…の時系列画像を読み出して取得し、ステップＳ２において、各時刻の観察画像に対して既述した手法により観察画像中に含まれる細胞の抽出、ラベリング、および各画像間での細胞の対応付けが行われる。
【０１０８】
次いで、ステップＳ３では、画像処理プログラムＳＰ１〜ＳＰ５のいずれか、若しくはこれらの画像処理プログラムＳＰ１〜ＳＰ５を複数組み合わせて、指定時刻ｔc（例えば直近の観察タイミング）において観察画像に含まれる細胞塊について、各細胞塊が十分に成熟しているか否かの成熟度の判定処理が行われる。
【０１０９】
そして、ステップＳ４において、ステップＳ３の成熟度判定処理により成熟していると判定された細胞塊について、関連する細胞塊へのＩＤ付け（あるいは未成熟と判定された細胞塊を除く細胞塊へのＩＤ付け）が行われる。次いで、ステップＳ５において画像処理プログラムＧＰ１，ＧＰ２の少なくともいずれか、すなわち、時系列画像を時間軸に沿って遡る方向または経時方向のいずれか一方または両方向に、細胞トラッキングによるＩＤ承継（細胞情報の承継）が行われる。そして、ステップＳ６において細胞の発生起源細胞と構成細胞数の算出、分類等の解析が行われ、ステップＳ７において解析結果が表示パネル７２等に出力表示される。
【０１１０】
自動解析プログラムＡＰを実行し、解析結果を表示するアプリケーションのユーザーインターフェースの構成例を図２２に示す。この実施例の細胞塊分類インターフェースでは、表示パネル７２の画面に、培養室２内に収容された複数の培養容器１０から観察対象を選択するディッシュ選択フレーム８１、選択された培養容器の全体画像から特定の観察位置を指定するための観察位置表示フレーム８２、指定された観察位置について解析結果の画像を表示する観察画像表示フレーム８３、指定された観察位置（または全体画像）に含まれる細胞塊について発生起源細胞数に応じたヒストグラムを表示する派生数ヒストグラム表示フレーム８５などが設けられている。
【０１１１】
図示する実施例では、ディッシュ選択フレーム８１においてコード番号Cell-002の培養容器が選択され、観察位置表示フレーム８２においてマウス等により枠囲みした部位が指定された状態を示す。観察画像表示フレーム８３には、成熟細胞の判定処理により指定時刻ｔcに成熟したと判定された細胞塊について解析結果が表示され、図では細胞塊を構成する発生起源細胞数に応じてカラーの色分け表示を行った構成を例示する。この表示から、観察画像中の成熟した細胞塊について、単一細胞からなるコロニーが存在するか否かや、何個の発生起源細胞からなる細胞塊なのか等を、瞬時に且つ正確に把握することができる。なお、このフレームの下部に設けられた表示選択ボタンを切り換えることにより、例えば図８に示したような各細胞塊の統合数の表示や、図６に示した各細胞塊の発生起源細胞の表示などを行わせることができる。
【０１１２】
派生数ヒストグラム表示フレーム８５には、指定時刻ｔcに成熟したと判定された細胞塊について、横軸に細胞塊を構成する発生起源細胞の数（統合数）、縦軸に各統合数の細胞塊の個数をとったヒストグラムが表示される。このヒストグラム表示により、培養された細胞塊の全体像を把握することができ、例えば、資料細胞や培養条件等を評価するうえで有効な情報となる。
【０１１３】
以上説明したように、本発明の細胞の分類方法、画像処理プログラム及び画像処理装置おいては、撮像装置により撮影された時系列画像から、第１、第２画像を時間軸に沿って順次ずらしながら細胞の抽出及び対応付けが行われ、細胞の統合や分離が各細胞の細胞情報として順次承継され、承継された細胞情報に基づいて細胞の分類が行われる。従って、本発明によれば、すでに培養観察が一定時間経過し細胞の成長や統合により多くの細胞が成熟期にあるような場合でも、各細胞の起源や構成を正確に把握することができ、細胞の選別・評価を的確に行うことができる。
【０１１４】
なお、以上説明した実施形態では、培養観察システムＢＳにおいて撮像装置に撮影され、ＲＡＭ６３に記憶された時系列画像（画像データ）を読み出して、各細胞の構成を解析する構成を例示したが、他の観察システムにおいて撮影され磁気記憶媒体等に記録された時系列画像や、通信回線を介して転送されてくる時系列画像等を読み込んで細胞構成を解析するように構成してもよい。
【０１１５】
次に、本発明の実施形態に係る細胞塊の製造方法について、図２３を参照して説明する。この製造方法は、基本的には、細胞を培養する培養ステップ（Ｓ１１０）と、この培養ステップにおいて培養される細胞を、前述した画像処理装置を用いて観察し、培養により変化する細胞における細胞塊の分類を行う分類定ステップ（Ｓ１２０−Ｓ１９０）とを備える。
【０１１６】
より具体的には、細胞を培養する培養ステップ（Ｓ１１０）と、この培養ステップにおいて培養される細胞を、撮像装置により撮影し、培養により変化する細胞における細胞塊の時系列画像を取得する取得ステップ（Ｓ１２０）と、この取得ステップにおいて取得した時系列画像のうちの所定時刻に撮影された第１画像からこの画像に含まれる細胞を抽出する第１抽出ステップ（Ｓ１３０）と、この所定時刻と所定時間を隔てて撮影された第２画像からこの画像に含まれる細胞を抽出する第２抽出ステップ（Ｓ１４０）と、第１画像から抽出された細胞と第２画像から抽出された細胞との対応付けを行って、前記第１画像の複数の細胞が第２画像で一体化して１つになったか、もしくは第１画像の１つの細胞が第２画像で複数に分離したかを判断し（Ｓ１５０）、第１画像の複数の細胞が第２画像で一体化して１つになった場合には一体化した細胞に一体化前の細胞情報を付与するステップ（Ｓ１６０）と、第１画像の１つの細胞が第２画像で複数に分離した場合には分離した各細胞に分離前の細胞情報を付与するステップ（Ｓ１７０）とを備える。これらステップＳ１３０〜Ｓ１７０をステップＳ１２０で取得された各時系列画像について行って、各時系列画像を前記第１および第２画像として時間軸に沿って順次割り当てながら前記細胞の抽出および対応付けを実行して、画像中に含まれる各細胞の前記細胞情報を順次承継させる承継ステップ（Ｓ１８０）と、任意時刻に撮影された画像に含まれる細胞について、前記承継された細胞情報に基づいて細胞塊の分類する分類ステップ（Ｓ１９０）と、所定の基準に基づいて、細胞塊を選別する選別ステップ（Ｓ２００）と、選別した細胞塊を採取、保存する採取保存ステップ（Ｓ２１０）とを備えて、製造方法が構成される。なお、培養される細胞は、ヒト、ウシ、ウマ、ブタ、マウス等の動物由来の細胞であってもよいし、植物由来の細胞であってもよい。また、細胞塊の保存は凍結保存であってもよい。
【符号の説明】
【０１１７】
Ａ  局所領域
ＢＳ  培養観察システム
Ｃ  細胞
ＭＣ  細胞塊
ＧＰ１，ＧＰ２  画像処理プログラム
ＳＰ１〜ＳＰ５  画像処理プログラム（成熟度判断を行うサブプログラム）
５  観察ユニット                    ６  制御ユニット
５４  マクロ観察系                  ５４ｃ  撮像装置
５５  顕微観察系                    ５５ｃ  撮像装置
６１  ＣＰＵ（コンピュータ）        ６２  ＲＯＭ
６３  ＲＡＭ                        １００  画像処理装置
１２０  画像解析部                  １３０  出力部
【図１】
2011016189.tif 000003
【図２】
2011016189.tif 000004
【図３】
2011016189.tif 000005
【図４】
2011016189.tif 000006
【図５】
2011016189.tif 000007
【図６】
2011016189.tif 000008
【図７】
2011016189.tif 000009
【図８】
2011016189.tif 000010
【図９】
2011016189.tif 000011
【図１０】
2011016189.tif 000012
【図１１】
2011016189.tif 000013
【図１２】
2011016189.tif 000014
【図１３】
2011016189.tif 000015
【図１４】
2011016189.tif 000016
【図１５】
2011016189.tif 000017
【図１６】
2011016189.tif 000018
【図１７】
2011016189.tif 000019
【図１８】
2011016189.tif 000020
【図１９】
2011016189.tif 000021
【図２０】
2011016189.tif 000022
【図２１】
2011016189.tif 000023
【図２２】
2011016189.tif 000024
【図２３】
2011016189.tif 000025
【国際調査報告】
2011016189.tif 000026
2011016189.tif 000027
2011016189.tif 000028
2011016189.tif 000029