(57)【要約】本発明は、細胞を撮像した画像から背景分離画像と細胞輪郭画像を生成し、前記背景分離画像のノイズ成分を前記細胞輪郭画像で除去し、前記細胞輪郭画像のノイズ成分を前記背景分離画像により除去し、ノイズ成分を除去した背景分離画像と細胞輪郭画像を用いて個々の細胞領域を認識する細胞認識部と、前記認識の結果に基づいて、細胞の成長段階を判定する細胞成長段階判定部と、細胞の成長段階の前期では、細胞数と細胞位置に基づいて異常判定を行い、細胞の成長段階の後期では、細胞占有率に基づいて異常の有無を判定する異常判定部と、前記異常の有無判定において異常が認められた場合には、環境制御又はアラームを発する異常状態処理部と、細胞占有率に基づいて細胞培養装置による細胞の培養が完成したか否か判定し、及び／又は、前記細胞占有率に基づいて品質評価値を出力する完成判定部とを有する細胞画像処理装置を提案する。
2014203322.tif 000002
【特許請求の範囲】
【請求項１】
細胞培養装置において培養されている細胞を撮像した画像から背景分離画像と細胞輪郭画像を生成し、前記背景分離画像に含まれるノイズ成分を前記細胞輪郭画像で除去し、前記細胞輪郭画像に含まれるノイズ成分を前記背景分離画像により除去し、ノイズ成分を除去した背景分離画像と細胞輪郭画像を用いて個々の細胞領域を認識する細胞認識部と
前記認識の結果に基づいて、細胞の成長段階を判定する細胞成長段階判定部と、
細胞の成長段階の前期では、前記細胞認識部において算出された細胞数と細胞位置に基づいて異常の有無判定を行い、細胞の成長段階の後期では、前記細胞認識部において算出された細胞占有率に基づいて異常の有無を判定する異常判定部と、
前記異常判定において異常が認められた場合には、環境制御又はアラームを発する異常状態処理部と、
前記細胞占有率に基づいて前記細胞培養装置による細胞の培養が完成したか否か判定し、及び／又は、前記細胞占有率に基づいて品質評価値を出力する完成判定部と
を有する細胞画像処理装置。
【請求項２】
請求項１に記載の細胞画像処理装置において、
前記細胞認識部は、
前記細胞輪郭画像に含まれる輪郭成分のうち、前記背景分離画像の背景部分に位置する輪郭成分を除去することにより、前記ノイズ成分を除去した細胞輪郭画像を生成する
ことを特徴とする細胞画像処理装置。
【請求項３】
請求項１に記載の細胞画像処理装置において、
前記細胞認識部は、
前記背景分離画像における細胞内部分のうち、前記細胞輪郭画像の輪郭成分よりも外側に位置する細胞内部分を、背景領域と接触する部分から前記輪郭に接触するまで、又は、背景領域と接触する部分から前記輪郭の方向に所定量だけ除去することにより、前記ノイズ成分を除去した背景分離画像を生成する
ことを特徴とする細胞画像処理装置。
【請求項４】
請求項１に記載の細胞画像処理装置において、
前記細胞認識部は、
前記細胞輪郭画像に含まれる輪郭成分のうち、前記背景分離画像の背景とは接触していない輪郭と連結する成分を除去することにより、前記ノイズ成分を除去した細胞輪郭画像を生成する
ことを特徴とする細胞画像処理装置。
【請求項５】
請求項１に記載の細胞画像処理装置において、
前記細胞認識部は、
前記細胞輪郭画像に含まれる輪郭成分のうち、前記背景分離画像の背景部分に位置する輪郭成分を除去することにより、前記ノイズ成分を除去した細胞輪郭画像を生成し、
前記背景分離画像における細胞内部分のうち、前記ノイズ成分を除去した細胞輪郭画像の輪郭成分よりも外側に位置する細胞内部分を、背景領域と接触する部分から前記輪郭に接触するまで、又は、背景領域と接触する領域から前記輪郭の方向に所定量だけ除去することにより、前記ノイズ成分を除去した背景分離画像を生成し、
前記ノイズ成分を除去した細胞輪郭画像に含まれる輪郭成分のうち、前記ノイズ成分を除去した背景分離画像の背景領域とは接触していない輪郭の連結成分を除去することにより、ノイズ成分を更に除去した細胞輪郭画像を生成し、
前記ノイズ成分を除去した背景分離画像と前記ノイズ成分を更に除去した細胞輪郭画像を用いて個々の細胞領域を認識する
ことを特徴とする細胞画像処理装置。
【請求項６】
請求項１に記載の細胞画像処理装置において、
前記細胞成長段階判定部は、
算出された前記細胞占有率が予め定めた閾値以下の場合を成長段階の前期と判定し、それ以外の場合を成長段階の後期と判定する
ことを特徴とする細胞画像処理装置。
【請求項７】
請求項１に記載の細胞画像処理装置において、
前記異常判定部は、
予め同種の細胞について取得された正常時の細胞数を基準値として使用し、前記基準値に対して所定値以上の乖離が生じた場合に異常と判定する
ことを特徴とする細胞画像処理装置。
【請求項８】
細胞を撮像した画像を記憶するメモリと、
前記画像から背景分離画像と細胞輪郭画像を生成し、前記背景分離画像に含まれるノイズ成分を前記細胞輪郭画像で除去し、前記細胞輪郭画像に含まれるノイズ成分を前記背景分離画像により除去し、ノイズ成分を除去した背景分離画像と細胞輪郭画像を用いて個々の細胞領域を認識する細胞認識部と
を有することを特徴とする細胞画像認識装置。
【請求項９】
請求項８に記載の細胞画像認識装置において、
前記細胞認識部は、
前記細胞輪郭画像に含まれる輪郭成分のうち、前記背景分離画像の背景部分に位置する輪郭成分を除去することにより、前記ノイズ成分を除去した細胞輪郭画像を生成する
ことを特徴とする細胞画像認識装置。
【請求項１０】
請求項８に記載の細胞画像認識装置において、
前記細胞認識部は、
前記背景分離画像における細胞内部分のうち、前記細胞輪郭画像の輪郭成分よりも外側に位置する細胞内部分を、背景領域と接触する部分から前記輪郭に接触するまで、又は、背景領域と接触する部分から前記輪郭の方向に所定量だけ除去することにより、前記ノイズ成分を除去した背景分離画像を生成する
ことを特徴とする細胞画像認識装置。
【請求項１１】
請求項８に記載の細胞画像認識装置において、
前記細胞認識部は、
前記細胞輪郭画像に含まれる輪郭成分のうち、前記背景分離画像の背景とは接触していない輪郭と連結する成分を除去することにより、前記ノイズ成分を除去した細胞輪郭画像を生成する
ことを特徴とする細胞画像認識装置。
【請求項１２】
請求項８に記載の細胞画像認識装置において、
前記細胞認識部は、
前記細胞輪郭画像に含まれる輪郭成分のうち、前記背景分離画像の背景部分に位置する輪郭成分を除去することにより、前記ノイズ成分を除去した細胞輪郭画像を生成し、
前記背景分離画像における細胞内部分のうち、前記ノイズ成分を除去した細胞輪郭画像の輪郭成分よりも外側に位置する細胞内部分を、背景領域と接触する部分から前記輪郭に接触するまで、又は、背景領域と接触する領域から前記輪郭の方向に所定量だけ除去することにより、前記ノイズ成分を除去した背景分離画像を生成し、
前記ノイズ成分を除去した細胞輪郭画像に含まれる輪郭成分のうち、前記ノイズ成分を除去した背景分離画像の背景領域とは接触していない輪郭の連結成分を除去することにより、ノイズ成分を更に除去した細胞輪郭画像を生成し、
前記ノイズ成分を除去した背景分離画像と前記ノイズ成分を更に除去した細胞輪郭画像を用いて個々の細胞領域を認識する
ことを特徴とする細胞画像認識装置。
【請求項１３】
細胞を撮像した画像を記憶するメモリと、前記画像から個々の細胞領域を認識する細胞認識部とを有する細胞画像認識装置において実行される細胞画像認識方法において、
前記画像から背景分離画像と細胞輪郭画像を生成する処理と、
前記背景分離画像に含まれるノイズ成分を前記細胞輪郭画像で除去する処理と、
前記細胞輪郭画像に含まれるノイズ成分を前記背景分離画像により除去する処理と、
ノイズ成分を除去した背景分離画像と細胞輪郭画像を用いて個々の細胞領域を認識する処理と
を有することを特徴とする細胞画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞画像処理技術に関する。
【背景技術】
【０００２】
現在、細胞を生体外で培養し、組織や臓器へと高機能化する細胞培養技術がある。細胞培養技術により、生体現象の再現性が高く、操作性、経済性の高い試験用細胞を製作することができる。製薬などの産業分野では、試験用細胞の利用による、研究開発や臨床試験の早期化や効率化が期待されている。また、細胞培養技術は、体外で培養した細胞の移植による疾患の治療を目指す再生医療への応用が期待されている。細胞培養装置については、例えば特許文献１に記載がある。再生医療用の細胞や組織は、高度な洗浄性が要求される細胞処理施設において、熟練した技術者により製造される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１３０２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、このような製造形態は、製造コストが高く、技術者の熟練度への依存度が高く、生物学的な汚染リスクが高いという課題がある。例えば現在利用可能な細胞培養装置においては、細胞の成長状況を確認するために、定期的に技術者が細胞の状態をチェックし、問題があれば技術者が培養環境を調節するなどの作業が必要である。さらに、チェックすべき内容は細胞の成長段階に応じて異なる。例えば培養の初期や中期においては細胞が順調に増殖しているかどうか、後期においては増殖した細胞の品質のチェックが必要とされる。このため、成長段階に応じた制御が必要である。【０００５】
各成長段階に応じた細胞の状態のモニタリングを画像認識により代用することができれば、人手による定期的なチェック、技術者の熟練度への依存、生物学的な汚染リスクを低減できる。【０００６】
そこで、本発明は、細胞培養中の各段階で撮影された顕微鏡画像を画像処理することにより、細胞の成長状況を自動的にモニタリングできる技術を提案する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、「細胞培養装置において培養されている細胞を撮像した画像から背景分離画像と細胞輪郭画像を生成し、前記背景分離画像に含まれるノイズ成分を前記細胞輪郭画像で除去し、前記細胞輪郭画像に含まれるノイズ成分を前記背景分離画像により除去し、ノイズ成分を除去した背景分離画像と細胞輪郭画像を用いて個々の細胞領域を認識する細胞認識部と、前記認識の結果に基づいて、細胞の成長段階を判定する細胞成長段階判定部と、細胞の成長段階の前期では、細胞数と細胞位置に基づいて異常判定を行い、細胞の成長段階の後期では、細胞占有率に基づいて異常の有無を判定する異常判定部と、前記異常の有無判定において異常が認められた場合には、環境制御又はアラームを発する異常状態処理部と、細胞占有率に基づいて前記細胞培養装置による細胞の培養が完成したか否か判定し、及び／又は、前記細胞占有率に基づいて品質評価値を出力する完成判定部とを有する細胞画像処理装置」を特徴とする。
【発明の効果】
【０００８】
本発明によれば、細胞培養装置における細胞の成長状況を自動的かつ定量的にモニタリングすることができる。これにより、人手により細胞の成長状況を定期的にチェックする場合に比してコスト（人件費）、技術者の熟練度への依存、生物学的汚染リスクを低減する。前述した以外の課題、構成及び効果は、以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】実施例に係る細胞培養装置の主要な構成部分を示す図。
【図２】実施例に係る細胞培養装置の全体図。
【図３】実施例に係る細胞培養装置の正面図。
【図４】実施例に係る細胞培養装置の側面図。
【図５】培養時に実行される処理の流れを説明する図。
【図６】細胞画像処理の流れを説明する図。
【図７】顕微鏡画像（入力画像）の例を示す図。
【図８】細胞の模式図による細胞分離画像と細胞輪郭画像の生成処理を説明する図。
【図９】背景分離処理６０２の具体例を示すフローチャート。
【図１０】二値化処理により得られる背景分離画像の例を示す図。
【図１１】図１０に示す画像に背景孤立点除去処理を適用した後の背景分離画像の例を示す図。
【図１２】図１１に示す画像に細胞内穴埋め処理を適用した後の背景分離画像Ａの例を示す図。
【図１３】細胞輪郭画像Ａの例を示す図。
【図１４】入力画像のうち背景分離画像Ａの黒画素に対応する部分を黒画素化した図。
【図１５】入力画像のうち背景分離画像Ｂの黒画素に対応する部分を黒画素化した図。
【図１６】細胞輪郭画像Ｃの模式図を示す図。
【図１７】細胞輪郭画像Ｃの例を示す図。
【図１８】細胞セグメンテーション処理のイメージを説明する図。
【図１９】背景分離処理６０２の他の具体例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて、本発明の実施の形態を説明する。なお、本発明の実施態様は、後述する形態例に限定されるものではなく、その技術思想の範囲において、種々の変形が可能である。
【実施例１】
【００１１】
ここでは、本明細書で提案する画像処理機能（細胞画像処理機能）を搭載する細胞培養装置の実施例を、図表を参照しながら説明する。【００１２】
（装置構成）
図１に、本実施例に係る細胞培養装置１０１の主要な構成部分を示す。図１に示す細胞培養装置１０１は、入力装置１０２、表示装置１０３、イメージ取得装置１０４、通信装置１０５、演算装置（ＣＰＵ）１０６、外部記憶装置１０７、培養容器１０８、環境制御装置１０９を備えている。【００１３】
入力装置１０２は、コマンド等を入力するためのキーボード、マウス等である。入力装置１０２は、演算装置（ＣＰＵ）１０６で実行されるプログラムの制御や細胞培養装置１０１に接続された機器の制御のために実行されるコマンド等を入力するために使用される。表示装置１０３は、処理内容を適宜表示するディスプレイ等の装置である。イメージ取得装置１０４は、顕微鏡、カメラなどのイメージ取得用の装置である。イメージ取得装置１０４は、培養容器１０８内の細胞を顕微鏡で拡大した画像の取得に用いられる。取得された画像は、外部記憶装置等に記憶してもよい。通信装置１０５は、ＰＣ、サーバ等の外部機器との間でデータのやりとりを行うために用いる。通信装置１０５は、ユーザによる実行コマンドの外部機器からの取得、画像、テキストなどのデータの外部機器からの取得等の目的に用いられる。また、通信装置１０５は、細胞培養装置１０１における処理内容や画像を、外部機器に送信する等の目的にも用いられる。【００１４】
演算装置（ＣＰＵ）１０６は、細胞画像の認識処理などを実行する計算装置である。外部記憶装置１０７は、ＨＤＤ、メモリ等の記憶装置である。外部記憶装置１０７には、イメージ取得装置１０４で撮影した画像や処理途中の画像、処理結果などの各種データが保存される。外部記憶装置１０７には、演算装置（ＣＰＵ）１０６により実行される処理の途中で生成されるデータ等の一時的な記憶にも用いられる。なお、細胞培養装置１０１は、入力装置１０２、表示装置１０３、イメージ取得装置１０４、通信装置１０５を有しなくてもよい。例えば入力装置１０２を有しない場合、処理の開始は、通信装置１０５を用いて外部機器から指示するか、又は、時刻指定等により自動的に行う。表示装置１０３を有しない場合には、処理結果は通信装置１０５を用いて外部機器に送信するか、外部記憶装置１０７に記憶しておく。【００１５】
処理を実行するモジュールの出力と入力は、外部記憶装置１０７を介して行ってもよい。すなわち、第１のモジュールが、その処理結果を第２のモジュールに出力し、第２のモジュールが前記処理結果を入力として受け取る場合、実際には、第１のモジュールが処理結果を外部記憶装置１０７に出力して記憶し、当該第１のモジュールの出力結果を第２のモジュールは外部記憶装置１０７から取得してもよい。【００１６】
本実施例に係る細胞培養装置１０１には、培養容器中に細胞の種を播種し、細胞を増殖させて細胞シートを作製するための不図示の機構部や制御部も搭載されている。また、本実施例に係る細胞培養装置１０１には、細胞の成長状況を自動的かつ定量的にモニタリングできるように、後述する画像処理機能（細胞画像処理機能）が搭載されている。【００１７】
ここで、細胞培養装置１０１には、細胞の成長状況のチェックを定期的かつ自動的に実行し、チェックの結果に問題があれば、培養環境を自動的に調節するなどの対応動作を実現する必要がある。例えば細胞増殖が初期及び中期の場合、細胞培養装置１０１には、細胞が正常な成長曲線に沿って増殖しているか否かをチェックする機能が必要とされる。この場合、予め与えられた正常な成長曲線が判断基準として用いられる。また、細胞増殖が後期の場合、細胞培養装置１０１には、細胞シートの品質を維持するために、穴（シート内のうち細胞が無い部分）が小さいか否かをチェックする機能が必要とされる。【００１８】
このため、本実施例で提案する画像処理機能（細胞画像処理機能）として、細胞増幅の初期及び中期においては細胞の数をカウント（計数）し、後期においては細胞が無い部分を認識する機能を用意する。ただし、処理対象とする細胞画像に現れる細胞の形状は、楕円状、線状などの比較的単純な形状に限られず、複雑な形を有し、大きさが異なる細胞も扱う必要がある。また、細胞画像においては、細胞同士が接触している場合や細胞の内外を分ける輝度、色などの特徴が乏しい場合など、個々の細胞を正しく認識することが困難である場合も想定される。後述する画像処理機能（細胞画像処理機能）には、このように一般には認識が難しい細胞画像についても正確に個々の細胞を認識するための仕組みが用意されている。【００１９】
続いて、自動培養装置２１０を、図２〜図４を用いて説明する。自動培養装置２１０は、図１に示す細胞培養装置１０１の具体例の一つである。図２は自動培養装置２１０の全体図であり、図３は細胞培養装置の正面図であり、図４は細胞培養装置の側面図である。なお、図２〜図４では、互いに同一部分に同一の符号を付して表している。【００２０】
自動培養装置２１０の筐体の正面側には、細胞培養室扉２１１と中間室扉２１７が開閉可能に取り付けられている。細胞培養室扉２１１の奥には細胞培養室２１３が設けられ、中間室扉２１７の奥には中間室２１６が配置される。これらの扉には、それらが閉じられたときに内部を密閉するストッパや断熱機構が設けられている。細胞培養室扉２１１と中間室扉２１７が閉じることで、自動培養装置２１０の内部の密閉性や温度を保持することができる。【００２１】
中間室２１６の内部には、冷蔵庫２１４が配置されており、その正面側には冷蔵庫扉２１２が開閉可能に取り付けられている。冷蔵庫扉２１２にも、前述の扉と同様の機構が設けられている。自動培養装置２１０の下部には制御部２１５が配置されている。制御部２１５は他の区画から独立しており、細胞培養室２１３内の温度、湿度、二酸化炭素を遮断している。【００２２】
細胞培養室２１３には、培養容器２２０、培養容器を保持する培養容器ベース２２１、培養容器ベース２２１を回転駆動する回転機構２２２、ポンプ２２３、弁２２４、タンク２２５、駆動ベース２２７、顕微鏡２２８、ステージ２２９、コネクタボード２３０、コネクタ２３１、流路２４０、チューブ２４１、シリンジ２４３、シリンジポンプ２４４が配置される。このうち、培養容器２２０が培養容器１０８（図１）に対応し、顕微鏡２２８が撮像装置としてのイメージ取得装置１０４（図１）に対応する。【００２３】
冷蔵庫２１４には、培地ベース２３２が配置される。細胞培養室２１３と冷蔵庫２１４の間には、両空間をシールするシール２３３が配置される。なお、細胞培養室２１３と冷蔵庫２１４の壁には、シール２３３を設置するためのツメ部２３４が設けられている。【００２４】
この他、自動培養装置２１０には、温度、湿度等の調整に使用するファン（中間室用）２５０、フィルタ（中間室用）２５１、ファン（制御部用）２５２、吸気用フィルタ２５３、排気用フィルタ２５４が設けられる。図４では、中間室２１６における空気の流れを矢印２５５で示し、制御部２１５における空気の流れを矢印２５６で表している。【００２５】
ここで、ファン等の空調設備を制御する各種の環境制御装置の総称が、環境制御装置１０９（図１）に対応する。また、顕微鏡２２８は、演算装置１０６（図１）と外部記憶装置１０７（図１）を内蔵しても良い。演算装置１０６の処理結果を、通信装置１０５を通じて細胞培養装置１０１から外部の計算機に送信し、外部の計算機において処理結果を表示してもよい。また、顕微鏡２２８で撮像した画像を、通信装置１０５を通じて外部の計算機（演算装置１０６、外部記憶装置１０７、入力装置１０２、表示装置１０３を備える計算機）に送信し、外部の計算機において画像を処理してもよい。【００２６】
（培養時に実行される処理の流れ）
ここでは、図５を用い、自動培養装置２１０による培養処理の流れを説明する。本実施例に係る自動培養装置２１０は、定期的に培養中の細胞を撮影し、撮影された画像を画像の処理を通じ、細胞の位置を認識し、細胞の数を計数し、細胞の占有率を計算処する。また、自動培養装置２１０は、これらの処理結果に基づいて培養中の細胞の成長段階を判定し、成長段階に応じて報告内容を変更し、異常判定の方法を変更し、異常時にはアラームの出力と環境制御等を実行する。【００２７】
以下の処理は、演算装置１０６におけるプログラムの実行を通じて実現される。まず、自動培養装置２１０は、培養容器２２０に細胞の種を播く（５０１）。次に、自動培養装置２１０は、顕微鏡２２８により培養容器２２０中の細胞を拡大した画像を撮影し、演算装置１０６において画像中の細胞の位置を認識する（５０２）。また、演算装置１０６は、認識された細胞の個数の計数、細胞が占有する面積の計算、細胞が占有する比率（占有率）を計算する。この計算処理は、初回の実行時刻は予め設定されており、初回の実行時刻から一定時間後、又は、細胞の成長状況に応じて定期的に、処理（５０２）が開始されるようにプログラムされる。【００２８】
次に、演算装置１０６は、計算された細胞の個数、占有率、経過時間などに基づいて細胞の成長段階を判定する（５０３）。以下に、幾つかの判定基準例を説明する。例えば予め細胞種や播種密度が決まっている場合には、経過時間により成長段階を判定することができる。これらの情報が決まっていない場合には、細胞占有率が一定の閾値を超えたとき、成長段階の後期に入ったと判定してもよい。また、占有率や細胞個数を時間ごとに記録し、細胞個数の増加又は占有率の増加の割合が鈍ってくると（増加率が一定の閾値以下となると）、成長段階の後期に入ったと判断してもよい。それ以外の場合には、初期又は中期と判断する。【００２９】
因みに、成長段階の初期又は中期と判定された場合、細胞の個数が成長曲線通りに増加しているか否か、死滅している細胞の個数などが異常か否か等を判断基準として使用する。一方、成長段階の後期と判定された場合、細胞の非占有部分の大きさ、細胞の個数を判断基準として使用する。【００３０】
前述の判定において、成長段階の初期又は中期と判定された場合、演算装置１０６は、現時刻までに計数された細胞数、認識された細胞位置を判定履歴として記録する（５０４）。演算装置１０６は、現時刻までの細胞数、細胞位置の判定履歴を参照し、細胞の成長に異常があるか否かを判定する（５０６）。【００３１】
まず、個数を判断基準として使用する場合について説明する。この場合、演算装置１０６は、予め設定された正常な成長曲線（細胞個数）との差、成長曲線の形状の差などに基づいて評価し、差分が一定の閾値を超えた場合に異常と判定する。なお、成長曲線の形状の差に基づいて評価する場合、例えば正常な成長曲線の形状に近くなるように、現時刻以前の実際の成長曲線のスケールを変更し、正常な成長曲線に基づく同時刻の細胞数と実際の細胞数との差を求める方法がある。また、正常な成長曲線と実際の成長曲線の現時刻以前の細胞数の最小自乗誤差を求める方法も考えられる。【００３２】
次に、細胞位置を判断基準として用いる場合について説明する。演算装置１０６は、記録されている過去の個々の細胞位置の情報より、個々の細胞を追跡することができる。この場合、演算装置１０６は、動きが少ない細胞は死んでいると判断することができる。このような死滅細胞の個数も異常かどうかを判断するための判断基準となる。【００３３】
演算装置１０６は、以上のような正常な成長曲線との差、死滅細胞の個数等に基づいて、細胞の成長に異常があるか否かを判定する。【００３４】
成長段階の後期と判定された場合、演算装置１０６は、細胞非占有領域の大きさ、個数などを判定履歴として記録する（５０５）。演算装置１０６は、現時刻までの細胞非占有領域の大きさ、個数などに基づいて品質が異常か否かを判定する（５０６）。【００３５】
成長段階の後期では、細胞が無い部分（細胞非占有部分）が小さい方が、品質が良い。例えば演算装置１０６は、非占有領域の連結成分のうち一定以上の大きさの領域があるか、非占有率が一定の閾値以上であるか、非占有領域の連結成分の個数が一定以上か、過去の履歴を参照した場合に、時間が経過してもなかなか埋まらない非占有領域の連結成分があるか等に基づいて、細胞の成長に異常があるか否かを判定する。【００３６】
異常と判定された場合、演算装置１０６は、２つの動作を実行する。演算装置１０６は、動作の１つとして、温度、湿度などの培養環境を自動的に調整する制御動作（環境制御）を実行する（５０７）。制御動作の内容は、経験に基づいて予めプログラムしておく。また、演算装置１０６は、動作の１つとして、アラームの報知処理を実行する（５０８）。アラームの報知は、自動的な環境制御が不可能であると判断した場合など、人手による制御が必要と判定した場合に実行される。ここで、自動的な環境制御が不可能であると判断される場合には、例えば異常の程度が著しい場合、処理５０７の過去の制御結果の履歴から状況が改善できない場合などが想定される。アラームは、表示装置や通信装置などを通じて作業者に通知される。【００３７】
環境制御後又は異常と判定されなかった場合、演算装置１０６は、成長段階に応じて処理５０９及び５１０のいずれかに進む。成長段階が初期又は中期であった場合、演算装置１０６は、この段階で有用な情報である細胞数、死滅数、これまでの細胞の成長曲線などを出力する（５０９）。処理５０９の実行から一定時間が経過した後、演算装置１０６は、処理５０２に戻る。成長段階が後期であった場合、演算装置１０６は、この段階で有用な情報である占有率、品質評価値などを出力する（５１０）。ここでの品質評価値とは、非占有領域の連結成分の個数、非占有領域の連結成分のうち最大成分の大きさ、非占有率、個々の連結成分の非占有率の履歴などである。【００３８】
成長段階が後期の場合には、さらに、細胞の培養を終了してよいか否かを判定する（５１１）。すなわち、完了判定を実行する。演算装置１０６は、例えば品質評価値が一定の基準をクリアした場合、これ以上時間が経過しても品質が向上しないと判定された場合（過去の履歴を参照し、非占有領域が小さくなる割合が鈍ってきた場合など）に、培養が完成したと判定する。培養が完成したと判定された場合、演算装置１０６は、培養の完成を表示装置、通信装置などを通じて報知する（５１２）。一方、培養が完成していない場合、演算装置１０６は、完成判定の一定時間後に、処理５０２に戻る。【００３９】
（細胞画像認識処理）
図６を用い、本実施例に係る細胞画像処理の流れを説明する。この細胞画像処理は、演算装置１０６が処理５０２（図５）で実行する。演算装置１０６は、入力画像６０１として、培養装置内で撮影された培養細胞の顕微鏡画像を取得する。細胞画像処理では、この顕微鏡画像から個々の細胞の位置を認識し、細胞の個数を数える（計数）処理を実行する。【００４０】
ところで、演算装置１０６が、自動的に、顕微鏡画像から個々の細胞の位置を認識し、細胞の個数を数える（計数）には、次のような技術上の困難がある。まず、細胞培養装置で扱う細胞の形状が楕円形、線形などの比較的単純な形状に限られず、複雑な形状の細胞を扱う必要がある場合が想定されることである。形状が複雑な場合には、細胞の認識に、事前に想定したパタンマッチングの方法などの手法を使うことができない。また、扱う細胞の大きさも一定ではなく様々であり、複数の細胞が互いに重なり、接触している可能性もある。さらに、顕微鏡画像では、細胞内部と背景部分を分けるような色や輝度の特徴に乏しい場合があり、色や輝度を基準とした二値化処理などでは、細胞部分と背景部分を正確に分離できない場合がある。【００４１】
そこで、本実施例の細胞画像処理においては、前述のように細胞部分と背景部分の分離が難しい状況でも、背景分離画像と細胞輪郭抽出画像の生成精度が上がるように、背景分離処理と細胞輪郭抽出処理のお互いの利点を活かしつつ、相互に組み合わせる手法を採用する。【００４２】
例えば背景分離画像には、本来は細胞の外側の領域であるにもかかわらず、細胞の内部として認識された領域が含まれることがある。そこで、本実施例の細胞画像処理においては、細胞輪郭画像の輪郭よりも細胞からみて外側にある細胞内部の成分を除去することにより、背景分離画像のノイズ成分を除去する手法を採用する。【００４３】
また、細胞輪郭画像には、背景のノイズ成分や細胞の内部構造に起因するノイズ成分が含まれる。背景のノイズ成分は、背景分離画像の背景領域に位置する輪郭を除去することにより、細胞内部のノイズ成分は、背景分離画像の背景と非接触の連結成分を除去することにより、それぞれ細胞輪郭画像に含まれるノイズ成分を除去する手法を採用する。【００４４】
本実施例の細胞画像処理は、ノイズ成分が除去された背景分離画像中の細胞クラスタを、同じくノイズ成分が除去された細胞輪郭画像を用いて個々の細胞に分離し、個々の細胞の位置を認識すると共に細胞の個数を計数する。【００４５】
（入力画像６０１）
入力画像６０１は、自動培養装置２１０の培養容器２２０で培養されている細胞の顕微鏡画像である。図７に示す画像７０１は、入力画像６０１をグレースケールに変換した後に、さらに新聞印刷の形式に変換した画像を表している。実際の入力画像はカラーであり、照明の不均一による光のムラがある。また、細胞内部と細胞外部を分けるような明確な色の特徴は一般に乏しい。細胞の境界のうち、背景と細胞部分の境界部分では凸部に光が当たって輝度が高くなっているが、あくまでも境界の一部分であり、細胞の全体を囲んではいない。また、境界の輝度の強さは場所によっても異なる。さらに、細胞の形状は一般に複雑ありで、形状も細胞間で異なり、細胞間の接触があることも分かる。そのため、細胞の個数を精度良く計数するためには、細胞の占有率を計算するだけでは不十分である。【００４６】
後に明らかになるように、本実施例の細胞画像処理によれば、このような一般には画像処理に不利な条件下でも、細胞画像から個々の細胞の位置を正確に認識することができる。また、個々の細胞の位置を認識することができれば、個々の細胞の分裂状況や移動状況を追跡することができる。これにより、本実施例の細胞画像処理では、細胞の成長状況を自動的に判断するための付加的な情報を得ることができる。【００４７】
（背景分離処理６０２／背景分離画像６０３）
背景分離処理６０２は、入力画像６０１中の細胞内部領域と背景領域を分離し、「背景分離画像Ａ」６０３を生成する処理である。「背景分離画像Ａ」６０３は、細胞の内部領域が白画素で表現され、背景領域が黒画素で表現される画像である。背景分離処理６０２においては、細胞の内部領域と背景領域を何らかの方法で区別する必要があるが、細胞からの距離が近い背景部分も細胞内部として判別される可能性がある。そのような誤った判断が生じる要因には、撮像系に起因するもの、画像処理の処理方法に起因するものなど様々な要因が考えられる。【００４８】
「背景分離画像Ａ」の作成イメージを、図８を用いて模式的に説明する。ここでは、入力画像６０１における細胞が、模式図８０１のように楕円形状で表されているものとする。細胞の実際の形状は、模式図８０１に示すように単純ではないが、理解を容易にするために、細胞を楕円形状で表している。【００４９】
次に、背景分離処理６０２の具体例を、図９を用いて説明する。背景分離処理６０２においては、細胞内部の構造に起因する画像上の凹凸を抽出することにより、入力画像６０１を細胞の内部領域と外部領域に分離する。まず、演算装置１０６は、ＨＳＶ変換処理９０１において、入力画像６０１をＨＳＶ表現に変換する。画像の色の表現する場合、ＲＧＢ表現（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色で色を表現する方法）が一般的であるが、ここでは、ＨＳＶ表現（色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）で色を表現する方法）に変換する。【００５０】
次のグレー化処理９０２において、演算装置１０６は、明度を基準として画像をグレー画像に変換する。明度（Ｖ）は０．０から１．０までの値で与えられるが、この値を０から２５５までの２５６階調値に表現し直すことにより、グレー画像を生成する。例えば明度をｖとすると、２５５*ｖで計算される値の整数部を出力とする。なお、「*」は、乗算演算子である。前述のＨＳＶ変換処理９０１及びグレー化処理９０２により、入力画像６０１は、２５６階調のグレー画像に変換される。【００５１】
ただし、入力画像６０１がグレー画像の場合、これらの処理は不要である。また、明度ではなく光度を基準としたグレー化処理、明度と光度を重み付きで加えた値を基準としたグレー化処理など、他のグレー化処理手法を用いても良い。【００５２】
次の凹凸抽出処理９０３において、演算装置１０６は、細胞内部の構造に起因する凹凸部分を画像から抽出する。この処理には、画像の滑らかさを計算する方法を用いることができる。例えば「Ｓｏｂｅｌフィルタ」を用いることができる。「Ｓｏｂｅｌフィルタ」による計算は、以下のように行われる。【００５３】
f(i,j)をグレー画像の画素(i,j)における画素値とすると、「Ｓｏｂｅｌフィルタ」による横方向の勾配fx(i,j)と縦方向の勾配fy(i,j)は、以下のように計算される。【００５４】
［式１］
Fx（i,j）
＝｛f(i+1,j+1)+2f(i+1,j)+f(i+1,j-1)-f(i-1,j+1)-2f(i-1,j)-f(i-1,j-1)｝
［式２］
Fy(i,j)
＝｛f(i+1,j+1)+2f(i,j+1)+f(i-1,j+1)-f(i+1,j-1)-2f(i,j-1)-f(i-1,j-1)｝
ここで、画像の境界に位置する画素(i,j)においては、画像外の画素値fを0とおく。これより、画素(i,j)における滑らかさg(i,j)は、次式により計算できる。【００５５】
［式３］
g(i,j)＝fx(i,j)×fx(i,j)＋fy(i,j)×fy(i,j)
次の二値化処理９０４において、演算装置１０６は、g(i,j)の値が予め定めておいた閾値以上であれば白画素、それ以外であれば黒画素と判定する。これにより、図１０に示すような背景分離画像１００１が得られる。この段階の画像では、背景部分の局所的な画像の凹凸ノイズにより、明らかに背景領域であるのに白画素となっている部分がある。また、白画素が細胞外部の背景にいくらかはみ出して、背景であるのに白画素となっている領域が生じる場合がある。【００５６】
二値化処理後の画像イメージを、図８の模式図８０２に示す。模式図８０２では、細胞内部と判別された部分を白で表し、背景と判別された部分を黒で表し、斜線部分は細胞内部と判別されたが、実際は背景である部分を表している。斜線部分の白画素が細胞外部の背景にはみ出す要因は幾つかある。例えば撮像系の問題である。光の当たり具合や撮影時の解像度、擬色等により、実際の境界よりも数ピクセルほど凹凸が生じる場合がある。また例えば前式のように画像の滑らかさを計算する場合には、周囲の画素値も考慮しなければならないために、更に数ピクセルほど凹凸が生じる場合がある。【００５７】
背景孤立点除去処理９０５において、演算装置１０６は、白画素の連結成分を計算し、一定の大きさ以下のものを取り除く（黒画素化する）ことにより、背景ノイズを除去する。図１１に、背景分離画像１００１（図１０）から背景ノイズを除去した背景分離画像１１０１を示す。図１０と図１１を比較すれば分かるように、背景分離画像１１０１の背景からは孤立点が除去されている。ただし、背景分離画像１１０１には、明らかに細胞内部の領域であるのに、細胞内部の局所的に滑らかな部分の影響により、黒画素で表されている部分がある。図８の模式図８０２でも、細胞内部に残る黒画素を黒点で表している。【００５８】
細胞内穴埋め処理９０６において、演算装置１０６は、背景孤立点除去処理９０５の場合とは反対に、黒画素の連結成分を計算し、一定の大きさ以下の黒画素の塊を取り除く（白画素化する）ことにより、細胞内部の穴埋めを行う。この結果、図１２に示す背景分離画像１２０１が得られる。これが、図６における「背景分離画像Ａ」６０３である。【００５９】
以上説明した一連の処理（すなわち、背景分離処理６０２）により、入力画像６０１から「背景分離画像Ａ」６０３が得られる。ただし、「背景分離画像Ａ」には、前述したように、白画素が細胞外部の背景に幾らかはみ出し、背景であるのに白画素となっている領域が含まれている。図８の模式図８０３に、「背景分離画像Ａ」の画像イメージを示す。模式図８０３中の斜線部分が、背景であるのに白画素になっている領域を示している。【００６０】
（輪郭抽出処理６０４／輪郭抽出画像６０５）
細胞画像６０１においては、前述の通り、細胞の境界部分の凸部に照明が当たり、明度が高くなっていることが想定される。前述の入力画像７０１（図７）でも、細胞部分の境界では凸部に光が当たり、明度が高くなっている。輪郭抽出処理６０４では、この明度の高い部分を抽出するために、明度が大きく変化する画素を細胞の輪郭として抽出する。【００６１】
演算装置１０６は、例えばＨＳＶ変換処理９０１（図９）及びグレー化処理９０２（図９）と同様、明度を基準に入力画像６０１をグレー化し、さらにグレー画像にエッジ抽出手法の一つであるキャニーフィルタを適用する。【００６２】
図１３に、グレー画像にグレー画像にキャニーフィルタを適用して得られる細胞輪郭画像１３０１を示す。この画像が、図６の「細胞輪郭画像Ａ」６０５となる。エッジ部分（白画素）が輪郭部分である。この段階では、細胞の境界だけでなく、背景や細胞内部にも白画素がある。図８の模式図８０４が、「細胞輪郭画像Ａ」６０５のイメージである。【００６３】
（細胞外部輪郭除去処理６０６／細胞輪郭画像６０７）
細胞外部輪郭除去処理６０６では、「細胞輪郭画像Ａ」６０５に混入しているノイズ成分のうち細胞の背景部分に生じたノイズ成分を、「背景分離画像Ａ」６０３の背景領域でフィルタリングし、除去する。すなわち、「細胞輪郭画像Ａ」６０５に混入している背景部分の白画素を除去する（黒画素化する）。具体的には、演算装置１０６は、「背景分離画像Ａ」６０３の黒画素に対応する「細胞輪郭画像Ａ」６０５の白画素を黒画素化する。これにより、背景部分にある細胞輪郭のノイズを除去した「細胞輪郭画像Ｂ」６０７が生成される。「細胞輪郭画像Ｂ」６０７は、図１３に示す細胞輪郭画像１３０１のうち、図１２に示す背景分離画像１２０１の黒画素に対応する部分を黒画素化した画像となる。この画像イメージを模式的に表現すると、図８の模式図８０５となる。模式図８０４と比較すれば分かるように、背景部分に対応する白画素が除去されている。【００６４】
（細胞外成分除去処理６０８／背景分離画像６０９）
細胞外成分除去処理６０８では、「背景分離画像Ａ」６０３に混入している、本来は細胞の外部部分であるにもかかわらず細胞の内部領域と認識されたノイズ成分を除去する。具体的には、「背景分離画像Ａ」６０３において細胞の内部領域のうち、「細胞輪郭画像Ｂ」６０７の輪郭よりも外側の領域部分を細胞の外部領域とみなして除去する。換言すると、「背景分離画像Ａ」６０３に含まれる白画素のうち、本来は細胞の外側に位置する画素を、「細胞輪郭画像Ｂ」６０７の輪郭を用いて除去（黒画素化）する。【００６５】
ここで、演算装置１０６は、「背景分離画像Ａ」６０３の黒画素に隣接する白画素に対応する「細胞輪郭画像Ｂ」６０７の画素が白画素（輪郭）でない場合（すなわち黒画素の場合）、判断対象となった「背景分離画像Ａ」６０３の白画素を黒画素化する。この処理により、背景（黒画素）に隣接する白画素のうち輪郭ではない画素部分が黒画素化される。この処理を何度か実行することにより、「細胞輪郭画像Ｂ」６０７の輪郭よりも外側に位置する細胞外成分が除去される。【００６６】
ただし、図８の模式図８０５に示すように、「細胞輪郭画像Ｂ」６０７の輪郭は、細胞を包囲するように細胞の内部を全て囲っているわけではないので、この処理を繰り返しすぎると細胞内部も黒画素化される可能性がある。【００６７】
そこで、演算装置１０６では、平均的なはみ出し画素分に当たる回数だけ、前述の黒画素化処理を繰り返すように予め設定しておく。後述する細胞セグメンテーション処理６１２においては、小さい孤立成分は細胞とみなされないため、細胞の外部成分を完全に除去できなくとも、その部分が小さければよい。一方で、細胞外成分除去処理６０８により、細胞の内部が多少黒画素化されたとしても、最終的な出力結果に問題は生じない。【００６８】
また、これらの影響を軽減するために、まず、「細胞輪郭画像Ｂ」６０７の輪郭を太線化した後に、前述の黒画素化処理を実行しても良い。すなわち、「細胞輪郭画像Ａ」６０３の輪郭部（白画素）に接する黒画素を白画素化する、という処理を何度が繰り返してもよい。【００６９】
以上のように、背景部分から細胞の輪郭に当たるまでの部分を黒画素化することで、「背景分離画像Ａ」６０３に混入している白画素を黒画素化する。この処理の結果、「背景分離画像Ｂ」６０９が得られる。「背景分離画像Ｂ」６０９の画像イメージを図８の模式図８０６に示す。【００７０】
ここで、「背景分離画像Ａ」６０３と「背景分離画像Ｂ」６０９の違いを確認する。図１４には、入力画像６０１の画素のうち、「背景分離画像Ａ」６０３で黒画素（背景）に対応する部分を、黒画素化した画像である。図１５は、入力画像の画素のうち、「背景分離画像Ｂ」６０９で黒画素（背景）に対応する部分を黒画素化した画像である。いずれもカラー画像であるが、グレー化し、新聞印刷形式のドット図に変換している。図１４では、細胞外部に黒画素で無い部分が存在するのに対し、図１５では、それらの部分が除去されていることが分かる。【００７１】
（細胞内部輪郭除去処理６１０／細胞輪郭画像６１１）
細胞内部輪郭除去処理６１０では、「細胞輪郭画像Ｂ」６０７に混入しているノイズ成分のうち、細胞内部の領域に生じているノイズ成分を、「背景分離画像Ｂ」６０９の背景と接触していない連結領域を除去する。具体的には、「細胞輪郭画像Ｂ」６０７に含まれる白画素のうち細胞の境界以外の輪郭（すなわち、細胞の内部に存在する輪郭）を除去する。【００７２】
図１３の「細胞輪郭画像Ａ」６０５からも分かるように、細胞の境界以外（細胞の内部領域）にも白画素が存在する。ところで、「背景分離画像Ｂ」６０９の黒画素に接する輪郭は、境界であると考えられる。そこで、「細胞輪郭画像Ｂ」６０９の輪郭と連結している成分（白画素の連結成分）のうち、一部又は全部が黒画素と一定以上接している部分を除き、黒画素化する。【００７３】
なお、連結成分ではなく、「背景分離画像Ｂ」６０９の黒画素に接している白画素や当該画素に近接する白画素のみを残し、他の白画素を黒画素化するという処理を用いても良い。【００７４】
いずれにしても、細胞内部輪郭除去処理６１０の実行により、「細胞輪郭画像Ｃ」６１１が生成される。図１６に、「細胞輪郭画像Ｃ」６１１の生成イメージを模式的に示す。図中、模式図１６０１が、「細胞輪郭画像Ｃ」６１１のイメージである。また、図１７に、「細胞輪郭画像Ｃ」６１１に対応する細胞輪郭画像１７０１の画像イメージを示す。図１７と図１３を比較すれば、「細胞輪郭画像Ｃ」６１１では、「細胞輪郭画像Ａ」６０５に比べ、背景部と細胞内部の輪郭（白画素）が除去されていることが分かる。【００７５】
以上の処理により、「背景分離画像Ｂ」６０９を用いて細胞領域と背景領域が分離された「細胞輪郭画像Ｃ」６１１が得られる。また、「細胞輪郭画像Ｃ」６１１により、細胞の輪郭部部分の画像が得られる。【００７６】
（細胞セグメンテーション処理６１２）
前述の処理により、「背景分離画像Ｂ」６０９と「細胞輪郭画像Ｃ」６１１が得られると、演算装置１０６は、細胞セグメンテーション処理６１２を実行する。すなわち、「背景分離画像Ｂ」６０９により得られた細胞領域（細胞クラスタ）から個々の細胞領域を分割する又は分離する処理を実行する。この際、演算装置１０６は、個々の細胞領域の分割又は分離に、「細胞輪郭画像Ｃ」６１１の輪郭線を使用する。ここで、演算装置１０６は、輪郭によって囲われた細胞の内部領域を個々の細胞領域とみなす。【００７７】
ただし、画像処理によって抽出された細胞の輪郭は、前述したように、細胞の境界の一部で欠けている場合がある。このことは、図１６に示す「細胞輪郭画像Ｃ」６１１からも分かる。【００７８】
そこで、演算装置１０６は、輪郭の一部に欠けが存在するものとみなして、以下に示す処理を実行する。図１７に、細胞セグメンテーション処理６１２のイメージを示す。まず、演算装置１０６は、「細胞輪郭画像Ｃ」１８０２の輪郭の太線化し、輪郭太線化済み「細胞輪郭画像Ｃ」１８０３を生成する。【００７９】
次に、演算装置１０６は、「背景分離画像Ｂ」１８０１における白画素のうち、輪郭太線化済み「細胞輪郭画像Ｃ」１８０３の白画素に対応する画素部分を黒画素化した輪郭部黒画素化「背景分離画像Ｂ」１８０４を生成する。【００８０】
この後、演算装置１０６は、輪郭部黒画素化「背景分離画像Ｂ」１８０４から白画素の連結成分を取り出し、連結成分のうち予め定めておいた閾値以上の大きさを有する成分を１つの細胞として認識する。また、演算装置１０６は、個々の細胞の位置を、例えば連結成分の重心位置として算出する。また、演算装置１０６は、入力画像６０１に含まれる細胞の数、細胞が占有する面積、入力画像６０１に対して細胞が占有する比率なども成長段階に応じて計算する。細胞が占有する面積は、「背景分離画像Ｂ」６０９の白画素部分の面積や比率に基づいて計算できる。【００８１】
（出力処理６１３）
細胞セグメンテーション処理６１２の実行後、演算装置１０６は、細胞の位置に目印を付けた画像、入力画像６０１に含まれる細胞の個数、細胞が占有する面積、細胞占有率などを出力する。【００８２】
（細胞画像認識処理のまとめ）
前述の通り、本実施例に係る細胞画像認識処理においては、細胞セグメンテーション処理６１２の実行に先立って、背景分離画像と細胞輪郭画像のそれぞれに含まれるノイズ成分を他方の画像を用いて除去するため、背景の分離精度と細胞輪郭の抽出精度を向上させることができる。この結果、入力画像に含まれる細胞の位置の認識精度、細胞占有領域の認識精度を向上することができる。【００８３】
なお、本実施例では、細胞外部輪郭除去処理６０６の後、細胞外成分除去処理６０８を実行し、さらにその後、細胞内部輪郭除去処理６１０を実行しているが、その理由は以下による。まず、細胞内部輪郭除去処理６１０を実行するには、「背景分離画像Ａ」６０２の背景が細胞の境界と接している必要である。しかし、前述したように、「背景分離画像Ａ」６０２のうち細胞内部と認識されている部分には、本来は細胞の内部ではない領域部分（細胞外成分ノイズ）が含まれている。このように本来は細胞の内部ではない領域部分が含まれていると、細胞内部輪郭除去処理６１０が困難となるため、事前に細胞外成分除去処理６０８を実行している。【００８４】
また、細胞外成分除去処理６０８は、輪郭を頼りに「背景分離画像Ａ」６０２から細胞外成分を除去する処理であり、この場合には、細胞の内部に輪郭のノイズが含まれていても構わないが、細胞の外側に輪郭ノイズがあると問題となる。そこで、細胞外成分除去処理６０８の処理に先立って細胞外部輪郭除去処理６０６を実行し、細胞の外側の輪郭ノイズを除去している。【００８５】
（実施例１の効果）
以上説明したように、本実施例に係る自動培養装置２１０は、培養容器中の細胞を定期的に撮影し、取得された画像中から細胞の位置及び細胞占有領域を認識し、細胞の成長段階の判定、成長段階に応じた細胞成長の異常判定、品質評価などを自動的に実行する。これにより、本実施例に係る自動培養装置２１０は、細胞の成長状況等を定量的にモニタリングできる。この結果、人手により細胞の成長状況を定期的にチェックする場合に比して、コスト（人件費）、技術者の熟練度への依存度、生物学的汚染リスクをいずれも低減することができる。また、細胞の成長段階に応じた適切な環境制御及び情報提供を自動的に実行することができる。【００８６】
また、培養する細胞の実際の形状は、比較的単純な形状（例えば楕円状、線状など）に限らず複雑であり、細胞の大きさも様々であるが、本実施例に係る自動培養装置２１０が搭載する細胞画像認識処理を用いれば、複雑な形状の細胞や大きさの異なる細胞についても扱うことができる。また、前記細胞画像認識処理を用いれば、細胞同士の接触、細胞の内外を分ける輝度、色などの特徴に乏しい細胞の画像でも入力画像６０１として扱うことができる。これにより、従来の手法では扱えないような入力画像を用いても、細胞の成長状況をモニタリングでき、細胞の占有率、個数を精度良く定量的に算出することができる。また、動画像処理を用いれば、細胞の追跡も容易になり、細胞の成長状況をモニタリングするために有用な情報を取得することができる。
【実施例２】
【００８７】
本実施例では、実施例１の背景分離処理６０２（図９）とは異なる手順により「背景分離画像Ａ」６０３を生成する自動培養装置２１０について提案する。本実施例における自動分析装置２１０のその他の構成や処理内容は実施例１と同様である。【００８８】
本実施例で使用する背景分離処理６０２の処理を、図１９を用いて説明する。本実施例における背景分離処理６０２は、機械学習により細胞領域と背景領域を判別する方法であり、その処理フェーズは学習フェーズと識別フェーズに分離できる。【００８９】
まず、学習フェーズについて説明する。学習フェーズでは、まず、ラベル付き入力画像１９０１を集めたデータベースを作成する。このとき、演算装置１０６は、細胞画像の一部を切り取り、その画像中に細胞が映っているかどうか否かに基づいてラベル付けを行う。細胞画像は、予め定めておいた一定の大きさの矩形画像に加工しておくと便利である。なるべく大量の画像（例えば、数百以上）の画像とラベルの対を用意しておく。【００９０】
特徴抽出処理１９０２において、演算装置１０６は、一つの画像をベクトル値に変換する処理を行う。この処理には、例えばＨＯＧ特徴、ＳＩＦＴ特徴など、画像認識の分野で用いられる特徴抽出方法を用いることができる。もっとも単純な処理方法には、全画素値を並べたベクトルを画素特徴とする方法などもある。この場合、グレースケールであれば画素数次元のベクトルとなり、ＲＧＢであれば（画素数*３）次元のベクトルとなる。因みに、「*」は乗算演算子である。ベクトルの次元数をｎとする。【００９１】
識別学習処理１９０３において、演算装置１０６は、値として実数値を採り、ｎ次元ベクトルを引数とするパラメータ付きの関数ｆ（ｘ）を生成する。演算装置１０６は、例えば細胞が映っている画像から抽出されたベクトルｘに対する関数ｆ（ｘ）の値が正（＞０）となり、細胞が映っていない画像から抽出されたベクトルｘに対する関数ｆ（ｘ）の値が負（＜０）となるように、可能な限りパラメータを学習する。学習アルゴリズムには、ニューラルネットワークやＳＶＭ（Support Vector Machine）などを用いることができる。識別学習処理１９０３で生成した関数ｆ（ｘ）は、識別辞書１９０４に記憶される。【００９２】
次に、識別フェーズについて説明する。識別フェーズでは、入力画像６０１について特徴抽出処理１９０５が実行される。特徴抽出処理１９０５において、演算装置１０６は、入力画像６０１を、ラベル付き入力画像１９０１と同じ大きさの矩形に分割し、特徴抽出処理１９０２と同じ方法により、各矩形をベクトルに変換する。このとき、矩形同士は重なり合っていてもよい。識別処理１９０６では、特徴抽出処理１９０５で抽出したベクトルｘに対して関数ｆ（ｘ）の値を計算する。ｆ（ｘ）＞０であれば細胞領域と判定し、ｆ（ｘ）＜０であれば背景領域と判定する。入力画像６０１の各画素について、全ての矩形の中心位置との距離を比較し、距離が最も近い矩形の識別結果を、該当画素の識別結果とし、細胞領域と背景を判定する。以上の結果、細胞領域は白画素、背景領域は黒画素とした「背景分離画像Ａ」６０３を生成する。
【実施例３】
【００９３】
前述の実施例１及び実施例２においては、細胞培養装置１０１の内部に細胞画像処理機能も備えている場合を扱った。しかし、細胞培養装置１０１には画像を取得する機能のみを搭載し、細胞画像処理機能の一部又は全部は、細胞培養装置１０１の外部に接続されたパーソナルコンピュータなどに実装しても良い。また、細胞画像処理機能のみを独立したソフトウェアや画像処理装置としても良い。
【実施例４】
【００９４】
本発明は、上述した実施例の構成に限定されるものでなく、様々な変形例を含んでいる。前述の実施例では、「背景分離画像Ａ」６０３と「細胞輪郭画像Ｂ」６０７を用いて「背景分離画像Ｂ」６０９を生成する場合について説明したが、図６に示す手法とは異なる手法により「背景分離画像Ｂ」６０９を生成しても良い。例えば「背景分離画像Ａ」６０３と「細胞輪郭画像Ａ」６０５を用いて「背景分離画像Ｂ」６０９を生成しても良い。また例えば「細胞輪郭画像Ａ」６０５から背景ノイズ成分を除去した細胞輪郭画像と「背景分離画像Ａ」６０３を用いて「背景分離画像Ｂ」６０９を生成しても良い。【００９５】
また、前述の実施例では、入力画像６０１として細胞培養装置１０１において撮像された画像を用いているが、入力画像６０１は任意であり、例えば上述の実施例で説明した手法によりノイズ成分が除去された画像を用いても良い。【００９６】
上述の実施例は、本発明における一部の実施例を詳細に説明したものであり、必ずしも説明した全ての構成を備える必要は無い。また、ある実施例の一部を他の実施例の構成に置き換えることが可能であり、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成に他の構成を追加し、又は、各実施例の一部構成を他の構成で置換し、又は各実施例の一部構成を削除することも可能である。
【符号の説明】
【００９７】
１０１  細胞培養装置
１０２  入力装置
１０３  表示装置
１０４  イメージ取得装置
１０５  通信装置
１０６  演算装置（ＣＰＵ）
１０７  外部記憶装置
１０８  培養容器
１０９  環境制御装置
２１０  自動培養装置
２１１  細胞培養室扉
２１２  冷蔵庫扉
２１３  細胞培養室
２１４  冷蔵庫
２１５  制御部
２１６  中間室
２１７  中間室扉
２２０  培養容器
２２１  培養容器ベース
２２２  回転機構
２２３  ポンプ
２２４  弁
２２５  タンク
２２７  駆動ベース
２２８  顕微鏡
２２９  ステージ
２３０  コネクタボード
２３１  コネクタ
２３２  培地ベース
２３３  シール
２３４  ツメ
２４０  流路
２４１  チューブ
２４３  シリンジ
２４４  シリンジポンプ
２５０  ファン（中間室）
２５１  フィルタ（中間室）
２５２  ファン（制御部）
２５３  吸気用フィルタ
２５４  排気用フィルタ
【図１】
2014203322.tif 000003
【図２】
2014203322.tif 000004
【図３】
2014203322.tif 000005
【図４】
2014203322.tif 000006
【図５】
2014203322.tif 000007
【図６】
2014203322.tif 000008
【図７】
2014203322.tif 000009
【図８】
2014203322.tif 000010
【図９】
2014203322.tif 000011
【図１０】
2014203322.tif 000012
【図１１】
2014203322.tif 000013
【図１２】
2014203322.tif 000014
【図１３】
2014203322.tif 000015
【図１４】
2014203322.tif 000016
【図１５】
2014203322.tif 000017
【図１６】
2014203322.tif 000018
【図１７】
2014203322.tif 000019
【図１８】
2014203322.tif 000020
【図１９】
2014203322.tif 000021
【国際調査報告】
2014203322.tif 000022
2014203322.tif 000023
2014203322.tif 000024
2014203322.tif 000025