(57)【要約】細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができる細胞画像評価装置および細胞画像評価プログラムを提供する。細胞画像の各関心領域に含まれる細胞の状態を評価する評価器２１と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価結果と、第１の細胞画像と同じ撮影対象に染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２とを備え、予測器２２が、染色処理前の細胞の第３の細胞画像の評価結果のうちの特定の関心領域およびその特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測する。
2018105432.tif 000002
【特許請求の範囲】
【請求項１】
細胞を撮影した細胞画像の各関心領域について、該各関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の前記関心領域の周辺領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備え、
前記予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、前記特定の関心領域の細胞の染色状態を予測して出力する細胞画像評価装置。
【請求項２】
前記予測器が、前記細胞の染色状態の出力として、２以上の染色発色強度への遷移確率を出力する請求項１記載の細胞画像評価装置。
【請求項３】
前記予測器が、細胞が収容された容器内を撮影した前記第３の細胞画像の前記評価結果の入力を受け付け、前記容器内の複数の関心領域の細胞の染色状態をそれぞれ出力し、
前記各関心領域の細胞の染色状態を統合して、前記容器全体の細胞の染色状態を取得する統合部を備えた請求項１または２記載の細胞画像評価装置。
【請求項４】
前記予測器が、前記細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力し、
前記統合部が、前記各関心領域の２以上の染色発色強度の遷移確率を該染色発色強度毎に統合して、前記容器全体の細胞の染色状態を取得する請求項３記載の細胞画像評価装置。
【請求項５】
前記予測器が、前記細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力し、
前記統合部が、前記各関心領域の２以上の染色発色強度の遷移確率のうち、最も大きい遷移確率の染色発色強度を統合して、前記容器全体の細胞の染色状態を取得する請求項３記載の細胞画像評価装置。
【請求項６】
前記予測器が、少なくとも１つの培養条件の入力を受け付ける請求項１から５いずれか１項記載の細胞画像評価装置。
【請求項７】
前記評価器が、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
【請求項８】
前記評価器が、少なくとも核小体の密度を評価する請求項１から６いずれか１項記載の細胞画像評価装置。
【請求項９】
前記評価器が、少なくとも白すじの密度を評価する請求項１から６いずれか１項記載の細胞画像評価装置。
【請求項１０】
前記評価器が、少なくとも細胞が線維芽細胞であるか、またはフィーダー細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
【請求項１１】
前記評価器が、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
【請求項１２】
前記評価器が、少なくとも細胞であるか、または非細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
【請求項１３】
前記評価器が、少なくとも細胞が生細胞であるか、または死細胞であるかを評価する請求項１から６いずれか１項記載の細胞画像評価装置。
【請求項１４】
前記予測器から出力された細胞の染色状態の情報を取得し、該細胞の染色状態の情報に基づいて、前記細胞に対する操作内容を決定する操作内容決定部を備えた請求項１から１３いずれか１項記載の細胞画像評価装置。
【請求項１５】
前記細胞に対する操作内容が、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査である請求項１４記載の細胞画像評価装置。
【請求項１６】
コンピュータを、
細胞を撮影した細胞画像の各関心領域について、該各関心領域に含まれる細胞の状態を評価し、該評価結果を出力する評価器と、
染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の前記関心領域の周辺領域の前記評価器による評価結果と、前記第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における前記特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器として機能させ、
前記予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の前記評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、前記特定の関心領域の細胞の染色状態を予測して出力する細胞画像評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞画像を評価した結果に基づいて、細胞画像に含まれる細胞の染色状態を予測する細胞画像評価装置およびプログラムに関するものである。
【背景技術】
【０００２】
ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞などの多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明などにおいて応用が可能なものとして注目されている。【０００３】
一方、従来、ＥＳ細胞およびｉＰＳ細胞などの多能性幹細胞や分化誘導された細胞などを顕微鏡などで撮像し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。【０００４】
たとえば特許文献１においては、ＥＳ細胞とフィーダー細胞とが撮像された画像において、ＥＳ細胞が占める領域とフィーダー細胞が占める領域とを抽出し、ＥＳ細胞が占める領域に存在するフィーダー細胞の形態的特徴を示す特徴量を算出し、その特徴量と、ＥＳ細胞の状態との対応関係に基づいて、ファジーニューラルネットワークを用いてＥＳ細胞の状態を評価する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２２９４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、多能性幹細胞の未分化状態および分化状態を評価する方法として、アルカリホスファターゼなどの染色マーカを用いた染色処理がある。アルカリホスファターゼによれば、未分化細胞が染色され、分化細胞は染色されないので、これにより培養対象の細胞が、未分化状態を維持できているかなどを確認することができる。【０００７】
しかしながら、染色マーカを用いた染色処理は、破壊処理であるため、染色処理を一旦施した細胞は、その後、再び培養を継続することはできない。【０００８】
一方、培養された細胞が、未分化状態であるか、または分化状態であるかを評価する方法としては、染色処理以外に、上述したような細胞を撮影した細胞画像の特徴量を解析する方法がある。【０００９】
しかしながら、細胞画像の特徴量の解析によって未分化細胞であるか、または分化細胞であるかのみを評価しただけでは、必ずしも、その評価結果と染色処理の結果は一致しない。【００１０】
具体的には、細胞画像の特徴量の解析によって、細胞が未分化細胞であると評価されたとしても、その細胞の領域または周辺領域が積層状態である場合には、染色マーカが細胞内に染み込みにくくなり、染色されない場合がある。また、このような例に限らず、細胞画像の解析によって細胞が未分化細胞であると評価された場合でも、実際に染色処理を行った場合には、その周辺領域の細胞の状態によって染色されない場合があることが分かった。【００１１】
そして、染色処理を施した場合の染色状態を予測することは、細胞に対する操作を決定したり、その後の培養計画を立てたりする上で、非常に重要である。特許文献１においても、細胞を撮影した画像を用いて、細胞の染色状態を予測する方法は何も提案されていない。【００１２】
本発明は、上記の問題に鑑み、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる細胞画像評価装置および細胞画像評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の細胞画像評価装置は、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備え、予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。【００１４】
また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率を出力することができる。【００１５】
また、上記本発明の細胞画像評価装置において、予測器は、細胞が収容された容器内を撮影した第３の細胞画像の評価結果の入力を受け付け、容器内の複数の関心領域の細胞の染色状態をそれぞれ出力することができ、各関心領域の細胞の染色状態を統合して、容器全体の細胞の染色状態を取得する統合部をさらに備えることができる。【００１６】
また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の染色発色強度の遷移確率をその染色発色強度毎に統合して、容器全体の細胞の染色状態を取得することができる。【００１７】
また、上記本発明の細胞画像評価装置において、予測器は、細胞の染色状態の出力として、２以上の染色発色強度への遷移確率をそれぞれ出力することができ、統合部は、各関心領域の２以上の染色発色強度の遷移確率のうち、最も大きい遷移確率の染色発色強度を統合して、容器全体の細胞の染色状態を取得することができる。【００１８】
また、上記本発明の細胞画像評価装置において、予測器は、少なくとも１つの培養条件の入力を受け付けることができる。【００１９】
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が未分化状態であるか、または分化状態であるかを評価することができる。【００２０】
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも核小体の密度を評価することができる。【００２１】
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも白すじの密度を評価することができる。【００２２】
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が線維芽細胞であるか、またはフィーダー細胞であるかを評価することができる。【００２３】
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が多能性幹細胞であるか、またはフィーダー細胞であるかを評価することができる。【００２４】
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞であるか、または非細胞であるかを評価することができる。【００２５】
また、上記本発明の細胞画像評価装置において、評価器は、少なくとも細胞が生細胞であるか、または死細胞であるかを評価することができる。【００２６】
また、上記本発明の細胞画像評価装置においては、予測器から出力された細胞の染色状態の情報を取得し、その細胞の染色状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部を備えることができる。【００２７】
また、上記本発明の細胞画像評価装置において、細胞に対する操作内容は、継代、培地交換、培地の変更、薬剤添加、ピッキングまたは遺伝子検査であることが好ましい。【００２８】
本発明の細胞評価制御プログラムは、コンピュータを、細胞を撮影した細胞画像の各関心領域について、その各関心領域に含まれる細胞の状態を評価し、その評価結果を出力する評価器と、染色処理前の細胞を撮影した少なくとも１つの第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器として機能させ、予測器が、染色処理前の細胞を撮影した少なくとも１つの第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
【発明の効果】
【００２９】
本発明の細胞画像評価装置および細胞画像評価プログラムによれば、細胞画像の各関心領域について、その細胞の状態を評価した評価結果を出力する評価器と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器とを備える。【００３０】
そして、予測器が、染色処理前の細胞を撮影した第３の細胞画像の評価器による評価結果のうちの特定の関心領域の周辺領域の評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたので、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の細胞画像評価装置の一実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図
【図２】評価器を説明するための説明図
【図３】細胞の種々の状態を撮影した細胞画像の一例を示す図
【図４】予測器を説明するための説明図
【図５】予測器の機械学習の方法の一例を説明するためのフローチャート
【図６】予測器の機械学習の方法の一例を説明するための説明図
【図７】予測器の機械学習の方法の一例を説明するための説明図
【図８】予測器の機械学習の方法の一例を説明するための説明図
【図９】機械学習された予測器を用いて、細胞の染色状態を予測する方法を説明するためのフローチャート
【図１０】本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図
【図１１】各関心領域の各染色発光強度への遷移確率の一例を示す図
【図１２】ウェル内における細胞コロニー領域毎に、各染色発光強度への遷移確率を統合した例を示す図
【図１３】異なる時点において撮影された複数の第３の細胞画像の評価結果を予測器に入力して、１つの予測結果を得る例を示す図
【図１４】本発明の細胞画像評価装置のその他の実施形態を用いた細胞画像評価予測システムの概略構成を示すブロック図
【発明を実施するための形態】
【００３２】
以下、本発明の細胞画像評価装置および細胞画像評価プログラムの一実施形態を用いた細胞画像評価予測システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の細胞画像評価予測システムの概略構成を示すブロック図である。
【００３３】
本実施形態の細胞画像評価予測システムは、図１に示すように、顕微鏡装置１０と、細胞画像評価装置２０と、表示装置３０と、入力装置４０とを備えている。
【００３４】
顕微鏡装置１０は、培養容器内に収容された細胞を撮影し、細胞画像を出力するものである。本実施形態においては、具体的には、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの撮像素子を備えた位相差顕微鏡装置を用いる。撮像素子としては、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。培養容器内に収容された細胞の位相差像が撮像素子に結像され、撮像素子から細胞画像として位相差画像が出力される。なお、顕微鏡装置１０としては、位相差顕微鏡装置に限らず、微分干渉顕微鏡装置および明視野顕微鏡装置などのその他の顕微鏡装置を用いるようにしてもよい。
【００３５】
細胞画像としては、複数の細胞が凝集した細胞コロニーを撮影した画像でもよいし、複数の細胞が分散して分布した画像でもよい。また、本実施形態においては、撮影対象として、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、並びに幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞を撮影するものとする。
【００３６】
また、本実施形態においては、撮影対象の細胞は、複数のウェルを有するウェルプレートなどに収容される。そして、顕微鏡装置１０は、水平面内の直交するＸ方向およびＹ方向に移動するステージを備えており、そのステージ上にウェルプレートが設置される。ステージがＸ方向およびＹ方向に移動することによって、ウェルプレート内における各観察領域が走査され、観察領域毎の細胞画像が撮像される。観察領域毎の細胞画像は１枚の細胞画像として合成され、細胞画像評価装置２０に出力される。また、本実施形態においては、ウェルプレートを用いるようにしたが、細胞が収容される容器としてはこれに限らず、たとえばシャーレまたはディッシュなどその他の容器を用いるようにしてもよい。
【００３７】
細胞画像評価装置２０は、図１に示すように、評価器２１と、予測器２２と、制御部２３とを備えている。細胞画像評価装置２０は、中央処理装置、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものであり、ハードディスクに本発明の細胞画像評価プログラムの一実施形態がインストールされている。そして、この細胞画像評価プログラムが中央処理装置によって実行されることによって、図１に示す評価器２１、予測器２２および制御部２３が機能する。
【００３８】
評価器２１は、顕微鏡装置１０から出力された細胞画像を取得し、その取得した細胞画像に含まれる細胞の状態を評価するものである。具体的には、評価器２１は、図２に示すように、入力された細胞画像を複数の関心領域Ｒに分割し、その各関心領域Ｒの細胞画像に含まれる細胞の状態をそれぞれ評価して、各関心領域Ｒの評価結果を出力する。なお、図２において点線により示す矩形領域が関心領域Ｒである。また、本実施形態においては、顕微鏡装置１０の観察領域と上述した関心領域は同一の領域とするが、これに限らず、関心領域Ｒを観察領域よりも広く設定するようにしてもよいし、逆に、関心領域Ｒを観察領域よりも狭く設定するようにしてもよい。
【００３９】
本実施形態の評価器２１は、各関心領域Ｒの細胞画像に基づいて、細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかを評価する。さらに、評価器２１は、各関心領域Ｒの細胞画像が、細胞を含まない培地のみの画像であるか否かの評価と、細胞画像に含まれる白すじ（クラック）の密度の評価と、細胞画像に含まれる細胞が積層状態であるか否かの評価とを行う。そして、評価器２１は、各関心領域の評価結果として、「未分化細胞（未分化状態の細胞）の領域である」、「分化細胞（分化状態の細胞）の領域である」、「白すじが密に存在する領域である」、「細胞が積層状態の領域である」、および「培地領域である」のいずれかを出力する。なお、白すじ（クラック）とは、なお、細胞と背景間に発生する回折光による光のにじみ（ハロ）のことである。
【００４０】
図３Iは、培地の画像の一例を示したものであり、図３IIは、分化細胞の細胞画像の一例を示したものであり、図３IIIは、白すじの密度が高い細胞画像の一例を示したものであり、図３IVは、未分化細胞の細胞画像の一例を示したものであり、図３Vは、積層状態の細胞画像の一例を示すものである。
【００４１】
細胞画像に含まれる細胞が分化細胞であるか、または未分化細胞であるかの評価については、たとえば細胞画像から１つ１つの細胞単体を抽出し、その細胞単体の円形度を評価することによって評価できる。具体的には、未分化細胞は円形度が相対的に高くなるが、分化細胞は細長い形状となり、円形度が相対的に低くなる。したがって、細胞単体の円形度を算出することによって分化細胞であるか、または未分化細胞であるかを評価することができる。なお、細胞画像から細胞単体を抽出する方法としては、エッジ検出処理など公知な画像処理方法を用いることができる。
【００４２】
また、分化細胞であるか、または未分化細胞であるかを評価する方法としては、上述した細胞単体の円形度に基づく評価に限らず、その他にも細胞単体の単位面積当たりの数（密度）、核小体の単位面積当たりの数（密度）、および細胞単体の平均面積などを用いて評価するようにしてもよい。細胞単体の密度は、分化細胞よりも未分化細胞の方が高くなる傾向があり、核小体の密度も、同様に、分化細胞よりも未分化細胞の方が高くなる傾向がある。また、細胞単体の平均面積については、未分化細胞よりも分化細胞の方が大きくなる傾向がある。なお、上記の評価方法に限らず、その他の公知な評価方法を用いるようにしてもよい。
【００４３】
関心領域が、培地領域であるか否かの評価については、たとえば各関心領域の細胞画像から細胞単体を抽出し、その細胞単体の数が予め設定された閾値以下である場合には、培地領域であると評価するようにすればよい。
【００４４】
関心領域の細胞画像に含まれる白すじの密度の評価については、たとえば細胞画像に対して２値化処理を施し、その2値化処理後の画像から白画素が細長く連続して存在する白画素領域を抽出し、その面積の密度を算出するようにすればよい。そして、その算出した白画素領域の密度が、予め設定された閾値以上である場合に、白すじが密に存在する領域であると評価するようにすればよい。
【００４５】
細胞画像に含まれる細胞が積層状態であるか否かの評価については、細胞が積層状態である場合には、細胞の密集度が高くなり、細胞画像の輝度が高くなる。したがって、細胞画像の輝度分布を取得し、輝度の平均値が、予め設定された閾値よりも高い場合には、細胞が積層状態であると評価するようにすればよい。または、細胞画像の輝度分布の空間周波数を解析することによって細胞が積層状態であるか否かを評価するようにしてもよい。なお、細胞が積層状態であるか否かの評価方法についても、その他の公知な方法を用いることができる。
【００４６】
次に、予測器２２は、染色処理前の細胞を撮影した少なくとも１つの細胞画像の評価器２１による評価結果の入力を受け付け、その細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するものである。
【００４７】
ここで、染色処理とは、上述したように、多能性幹細胞が分化状態を維持しているか否か、または所望の細胞に分化誘導した場合に未分化細胞が含まれているか否かを確認することができる処理であり、たとえばアルカリホスファターゼなどの染色マーカが用いられる。アルカリホスファターゼによれば、未分化細胞が染色され、分化細胞は染色されない。
【００４８】
そして、染色処理を行った場合に、細胞が染色されるか否かについては、その細胞が未分化細胞であるか、または分化細胞であるかのみを評価しただけでは、必ずしも、その評価結果と染色処理の結果は一致しない。具体的には、たとえば所定の関心領域内の細胞が未分化細胞であると評価されたとしても、その関心領域もしくは関心領域の周辺領域が積層状態である場合には、染色マーカが細胞内に染み込みにくくなり、染色されない場合がある。また、このような例に限らず、関心領域内の細胞が未分化細胞であると評価された場合でも、実際に染色処理を行った場合には、関心領域の周辺領域の細胞の状態によって染色されない場合があることが分かった。
【００４９】
そこで、本実施形態の予測器２２は、上述したように細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力する。
【００５０】
具体的には、予測器２２は、図４に示すように、染色処理前の細胞を撮影した細胞画像の各関心領域Ｒの評価結果の入力を受け付ける。そして、予測器２２は、入力された細胞画像内の複数の関心領域Ｒのうちの特定の関心領域ＳＲと、特定の関心領域ＳＲの周辺の関心領域Ｒの評価結果に基づいて、特定の関心領域ＳＲに含まれる細胞の染色状態を予測して出力するものである。なお、図４においては、周辺の関心領域Ｒを斜線により示している。
【００５１】
予測器２２は、上述したように実際には染色処理が施されていない細胞について、染色処理が施された場合を想定してその染色状態を予測して出力するように、予め機械学習されたものである。具体的には、予測器２２は、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域およびその特定の関心領域の周辺領域の評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させたものである。以下、予測器２２の機械学習の方法の一例を、図５に示すフローチャートおよび図６〜図８を参照しながら説明する。
【００５２】
まず、染色処理前の細胞を撮影した第１の細胞画像と、染色処理後の第２の細胞画像を取得し（Ｓ１０）、第１の細胞画像を評価器２１に入力して、上述したような各関心領域Ｒの評価結果を取得する（Ｓ１２）。図６Iは、染色処理前の第１の細胞画像内における各関心領域Ｒの評価結果の一例を示す図である。図６Iにおいては、「培地領域である」
との評価結果を「１」、「分化細胞の領域である」との評価結果を「２」、「白すじが密に存在する領域である」との評価結果を「３」、「未分化細胞の領域である」との評価結果を「４」、および「細胞が積層状態の領域である」との評価結果を「５」として示している。
【００５３】
次に、染色処理後の第２の細胞画像の各関心領域Ｒの染色状態を取得する（Ｓ１４）。第２の細胞画像の染色状態については、たとえば第２の細胞画像の各関心領域Ｒの画像を評価し、染色強度によってクラス分けするようにすればよい。また、評価器２１において、第２の細胞画像の輝度情報に基づいて行うようにしてもよいし、本実施形態の細胞画像評価予測システムとは異なる装置において評価するようにしてもよい。または、ユーザが染色状態を評価し、入力装置４０を用いてその評価結果を設定入力するようにしてもよい。
【００５４】
図６IIは、第２の細胞画像の各関心領域Ｒの細胞の染色状態の一例を示す図である。図６IIにおいては、染色処理による染色発色強度を５段階で表しており、染色状態「１」は、発色なしを意味し、染色状態「５」は、染色発色強度が最も大きいことを意味している。
【００５５】
そして、図６Iに示す第１の細胞画像の評価結果と、図６IIに示す第２の細胞画像の染色状態との対応関係が取得され（Ｓ１６）、その対応関係が予測器２２によって機械学習される（Ｓ１８）。具体的には、たとえば図６Iに示す３×３の関心領域の領域ＥＲ１１と、その領域ＥＲ１１に対応する第２の細胞画像における領域ＥＲ１２とが特定される。そして、図７Iに示すように、領域ＥＲ１１の中心に位置する特定の関心領域ＳＲ１１およびその周辺の関心領域Ｒ１１の評価結果と、領域ＥＲ１２の中心に位置する特定の関心領域ＳＲ１２の染色状態とが対応付けられ、この対応関係が予測器２２によって機械学習される。より具体的には、図８に示すように、領域ＥＲ１１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ１２の特定の関心領域ＳＲ１２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
【００５６】
同様に、図６Iに示す３×３の関心領域の領域ＥＲ２１と、その領域ＥＲ２１に対応する第２の細胞画像における領域ＥＲ２２とが特定される。そして、図７IIに示すように、領域ＥＲ２１の中心に位置する特定の関心領域ＳＲ２１およびその周辺の関心領域Ｒ２１の評価結果と、領域ＥＲ２２の中心に位置する特定の関心領域ＳＲ２２の染色状態とが対応付けられ、この対応関係が予測器２２によって機械学習される。具体的には、図８に示すように、領域ＥＲ２１の各関心領域Ｒの評価結果を左上の評価結果から右下の評価結果に向けて順に配列した学習特徴量が求められ、この学習特徴量に対応する学習クラスとして、領域ＥＲ２２の特定の関心領域ＳＲ２２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
【００５７】
また、同様に、図６Iに示す３×３の関心領域の領域ＥＲ３１と、その領域ＥＲ３１に対応する第２の細胞画像における領域ＥＲ３２とが特定される。そして、図７IIIに示すように、領域ＥＲ３１の中心に位置する特定の関心領域ＳＲ３１およびその周辺の関心領域Ｒ３１の評価結果と、領域ＥＲ３２の中心に位置する特定の関心領域ＳＲ３２の評価結果とが対応付けられ、この対応関係が予測器２２によって機械学習される。そして、図８に示すように、領域ＥＲ３１の学習特徴量とその学習特徴量に対応する学習クラスとして、領域ＥＲ３２の特定の関心領域ＳＲ３２の染色状態が求められる。そして、図８に示す学習特徴量と学習クラスとの関係が、予測器２２によって機械学習される。
【００５８】
なお、ここでは、３つの領域の評価結果の対応関係を機械学習する場合について説明したが、３つの領域だけでなく、その他の多数の領域の評価結果と染色状態との対応関係が、予測器２２によって機械学習される。また、上記説明では、３×３の関心領域の評価結果と染色状態との対応関係を用いるようにしたが、３×３に限るものではない。たとえば、５×５の関心領域の評価結果と染色状態との対応関係を用いて機械学習するようにしてもよい。
【００５９】
なお、機械学習の手法としては、サポートベクタマシン（ＳＶＭ）、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、およびデノイジングスタックオートエンコーダ（ＤＳＡ）などを用いることができる。
【００６０】
また、予測器２２を機械学習させる際に用いる第１の細胞画像および第２の細胞画像は、必ずしも顕微鏡装置１０によって撮影されたものでなくてもよく、本実施形態の細胞画像評価予測システム以外の外部のサーバ装置になどに保存された細胞画像を用いるようにしてもよい。
【００６１】
図９は、上述したようにして機械学習された予測器を用いて、細胞の染色状態を予測する方法を説明するためのフローチャートである。
【００６２】
図９に示すように、まず、顕微鏡装置１０によって撮影された染色処理前の第３の細胞画像が評価器２１に入力される（Ｓ２０）。そして、評価器２１によって第３の細胞画像の各関心領域Ｒの細胞の状態が評価される（Ｓ２２）。
【００６３】
次いで、第３の細胞画像の各関心領域Ｒの評価結果が予測器２２に入力される。予測器２２は、図４に示すように、第３の細胞画像内における特定の関心領域ＳＲの評価結果とその周辺の関心領域Ｒの評価結果に基づいて、特定の関心領域ＳＲの細胞の染色状態を予測する（Ｓ２４）。
【００６４】
そして、本実施形態の予測器２２は、第３の細胞画像内の各関心領域Ｒを特定の関心領域ＳＲに設定して、第３の細胞画像全体について、上記と同様にして、細胞の染色状態を予測し、上述した学習クラスを染色状態とする染色マップを生成する（Ｓ２６）。
【００６５】
図１に戻り、制御部２３は、細胞画像評価装置２０全体を制御するものである。また、制御部２３は、予測器２２において生成された染色マップを表示装置３０に表示させるものである。本実施形態においては、ウェル毎の第３の細胞画像が評価器２１に入力され、その評価結果に基づいて、ウェル毎の染色マップが生成される。染色マップとしては、たとえば予測された染色発色強度の大きさに基づいて、それぞれ色分けされたカラーマップを生成して表示装置３０に表示するようにすればよい。
【００６６】
上記実施形態の細胞画像評価予測システムによれば、細胞画像を複数の領域に分割した各関心領域について、その細胞の状態を評価した評価結果を出力する評価器２１と、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２とを備える。
【００６７】
そして、予測器２２が、染色処理前の細胞を撮影した第３の細胞画像の評価器による評価結果の入力を受け付け、第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたので、細胞に染色処理を施した場合の染色状態を、染色処理を施すことなく把握することができ、たとえば継代および培地交換などの細胞に対する操作を適切なタイミングにより行うことができる。
【００６８】
また、機械学習によって得られた予測器２２によって染色状態を予測するようにしたので、多数の過去の染色状態の評価結果に基づく染色予測結果が得られ、単に現在の細胞画像について未分化または分化を判定し、判定結果に基づいて細胞の状態毎に色付けした色付け画像よりも、より信頼感のある結果を得ることができる。
【００６９】
なお、本実施形態においては、第１の細胞画像および第３の細胞画像の評価器２１による評価として、核小体の密度を含めるようにしてもよい。未分化細胞は、細胞が凝集してコロニーを形成するので核小体の密度が高く、分化細胞は、各細胞同士が離れて分布するため核小体の密度は低くなる。したがって、評価器２１による評価として核小体の密度を含めることによって、予測器２２の予測結果の精度を向上させることができる。
【００７０】
また、本実施形態においては、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２を設け、その予測器２２が、染色処理前の細胞を撮影した第３の細胞画像の評価器２１による評価結果の入力を受け付け、第３の細胞画像内における特定の関心領域および特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしたが、すなわち、特定の関心領域の評価とその周辺領域の評価結果とを用いて予測器２２の機械学習を行い、特定の関心領域の評価とその周辺領域の評価結果とを用いて特定の関心領域の細胞の染色状態を予測して出力するようにしたが、予測器２２の機械学習を行う際、染色処理前の細胞の評価結果として、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。また、予測器２２によって特定の関心領域の細胞の染色状態を予測して出力させる際、特定の関心領域の評価結果を用いることなく、特定の関心領域の周辺領域の評価結果のみを用いるようにしてもよい。
【００７１】
すなわち、染色処理前の細胞を撮影した第１の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果と、第１の細胞画像と同じ撮影対象に対して染色処理を行って撮影した第２の細胞画像内における特定の関心領域の細胞の染色状態との関係を予め機械学習させた予測器２２を設け、染色処理前の細胞を撮影した第３の細胞画像内における特定の関心領域の周辺領域の評価器２１による評価結果に基づいて、特定の関心領域の細胞の染色状態を予測して出力するようにしてもよい。
【００７２】
また、上記実施形態においては、予測器２２によって生成されたウェル毎の染色マップを表示装置３０に表示させるようにしたが、これに限らず、予測器２２から出力された各関心領域の予測結果を統合して、ウェル全体の細胞の染色状態を表す指標を算出し、表示装置３０に表示させるようにしてもよい。図１０は、上述したように各関心領域の予測結果を統合して、ウェル全体の細胞の染色状態を表す指標を取得する統合部２３ａを有する細胞画像評価予測システムの概略構成を示すブロック図である。
【００７３】
統合部２３ａは、たとえばウェル全体に対する各染色発色強度の領域の割合をそれぞれ算出し、その割合をウェル全体の細胞の染色状態を表す指標として染色マップとともに表示装置３０に表示させる。または、特定の染色発色強度、たとえば染色発色強度が「４」以上の領域のウェル全体に対する割合を算出し、染色マップとともに表示装置３０に表示させるようにしてもよい。
【００７４】
また、上記実施形態においては、染色状態を予測器２２から出力させるようにしたが、これに限らず、関心領域内に含まれる細胞の２以上の染色発色強度への遷移確率を予測器２２から出力させるようにしてもよい。具体的には、たとえば図１１に示すように、各関心領域Ｒについて各染色発色強度（図１１においては単に発光強度と示している）への遷移確率を出力するように予測器２２を構成してもよい。
【００７５】
そして、図１１に示すように、予測器２２から出力された各関心領域の２以上の遷移確率をマッピングして予測マップを生成し、表示装置３０に表示させるようにしてもよい。または、統合部２３ａが、各関心領域の２以上の遷移確率を統合して、ウェル全体の細胞の染色状態を取得するようにしてもよい。
【００７６】
統合部２３ａにおける各関心領域の２以上の遷移確率の統合方法としては、たとえば各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率を統合するようにしてもよい。具体的には、図１１に示すように、各関心領域Ｒについて、各染色発光強度への遷移確率を予測器２２が出力する場合には、各関心領域Ｒの２つの遷移確率のうちの大きい方の遷移確率の染色発光強度を、その関心領域Ｒの染色発光強度として取得する。たとえば所定の関心領域Ｒの染色発光強度「１」への遷移確率が８０％であり、染色発光強度「２」への遷移確率が２０％である場合には、その所定の関心領域Ｒの細胞の染色状態は、染色発光強度「１」であるとする。そして、ウェル内のその他の関心領域Ｒについても、同様にして、染色発光強度を特定する。そして、ウェル全体の関心領域Ｒの数に対する各染色発光強度の関心領域Ｒの数の比率をそれぞれ算出することによって、ウェル全体の細胞の染色状態を取得する。
【００７７】
または、上述したように各関心領域の２以上の遷移確率のうちの、最も大きい遷移確率を統合するのではなく、各関心領域の各遷移確率をウェル全体で統合するようにしてもよい。具体的には、ウェル内の各関心領域について、各染色発光強度の遷移確率を、染色発光強度毎にそれぞれ加算し、その加算した確率をウェル全体の関心領域の数で除算することによって、ウェル全体について、各染色発光強度への遷移確率を取得するようにしてもよい。
【００７８】
また、ウェル全体について各染色発光強度への遷移確率を統合するのではなく、細胞コロニー単位で各染色発光強度への遷移確率を統合するようにしてもよい。図１２は、ウェルＷ内における細胞コロニー領域ＣＲ毎に、その各染色発光強度（図１２では単に発光強度と示している）への遷移確率を統合した例を示したものである。図１２に示すような遷移確率マップを生成して表示装置３０に表示させるようにしてもよい。
【００７９】
また、上記実施形態においては、予測器２２に対して、１つの第３の細胞画像の評価結果を入力するようにしたが、これに限らず、複数の異なる時点において撮影された第３の細胞画像の評価結果を入力するようにしてもよい。図１３は、現時点において撮影された第３の細胞画像の評価結果と、１日前に撮影された第３の細胞画像の評価結果と、２日前に撮影された第３の細胞画像の評価結果とを予測器２２に入力して、１つの予測結果を得る例を示す図である。なお、この場合、予測器２２を機械学習させる際にも、複数の異なる時点において撮影された第１の細胞画像の評価結果が入力される。
【００８０】
また、上記実施形態においては、予測器２２に対して、第３の細胞画像の評価結果を入力するようにしたが、第３の細胞画像の評価結果に加えて、少なくとも１つの培養条件を入力するようにしてもよい。培養条件としては、培地の種類および量、培養における環境温度および湿度、並びに成長因子の有無などがある。なお、この場合、予測器２２を機械学習させる際にも、上述したような培養条件が予測器２２に入力される。培養条件については、たとえばユーザが入力装置４０を用いて設定入力すればよい。
【００８１】
また、上記実施形態においては、図１４に示すように、予測器２２から出力された細胞の染色状態の情報を取得し、その細胞の染色状態の情報に基づいて、細胞に対する操作内容を決定する操作内容決定部２３ｂを設けるようにしてもよい。具体的には、上述したようにウェル内の各染色発光強度の領域の割合を算出する場合には、操作内容決定部２３ｂが、各染色発光強度の割合に基づいて、継代、培地交換、培地変更、薬剤添加、およびピッキングなどの操作を決定するようにしてもよい。操作内容決定部２３ｂによって決定された操作内容は表示装置３０に表示され、ユーザに対してその操作を行うように促す。
【００８２】
このようにウェル単位で染色状態を取得することにより、ウェル毎に培養状態を把握でき、継代、培地交換、培地変更、およびピッキングなどの操作を効率的に行うことができる。また、コロニー単位で染色状態を取得した場合には、コロニー毎に培養状態を把握でき、継代、培地交換、培地変更、およびピッキングなどの操作を効率的に行うことができ、特に、コロニー単位でピッキングを行う場合に、コロニーの選択を効率よく行うことができる。
【００８３】
また、操作内容決定部２３ｂにおいて決定する操作内容としては、上述した例に限らず、遺伝子検査を行うように表示装置３０に表示させるようにしてもよい。具体的には、たとえば細胞の染色状態の情報に基づいて、細胞の品質を評価し、その品質が予め設定しておいた基準値を下回り、品質が悪い場合に、遺伝子検査を行うようユーザに促すようにしてもよい。また、細胞の染色状態の予測結果として、“不明”というクラスを設けておき、このクラスの出現数が多い場合に、遺伝子検査を行うよう促し、これにより細胞の染色状態を確定するようにしてもよい。
【００８４】
また、上記実施形態においては、評価器２１において未分化細胞であるか、または分化細胞であるかなどを評価するようにしたが、これに限られるものではない。たとえば評価器２１において、関心領域内の細胞が線維芽細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。線維芽細胞は、皮膚を構成する細胞の１つである。評価器２１によって線維芽細胞であるか、またはフィーダー細胞であるかを評価し、線維芽細胞の染色状態を予測器２２に機械学習することによって、線維芽細胞の染色状態を予測することができる。
【００８５】
また、評価器２１において、関心領域内の細胞が多能性幹細胞であるか、フィーダー細胞であるかを評価するようにしてもよい。多能性幹細胞としては、ｉＰＳ細胞およびＥＳ細胞がある。評価器２１によって多能性幹細胞であるか、またはフィーダー細胞であるかを評価し、多能性幹細胞の染色状態を予測器２２に機械学習することによって、多能性幹細胞の染色状態を予測することができる。
【００８６】
また、評価器２１において、関心領域が細胞の領域であるか、非細胞の領域であるかを評価するようにしてもよい。
【００８７】
また、評価器２１において、関心領域内の細胞が生細胞であるか、死細胞であるかを評価するようにしてもよい。なお、生細胞であるか、死細胞であるかを評価する方法としては、たとえば細胞に含まれる核小体を抽出し、核小体が存在する細胞を生細胞として評価し、核小体が存在しない細胞を死細胞として評価するようにすればよい。
【符号の説明】
【００８８】
１０   顕微鏡装置
２０   細胞画像評価装置
２１   評価器
２２   予測器
２３   制御部
２３ａ 統合部
２３ｂ 操作内容決定部
３０   表示装置
４０   入力装置
ＣＲ   細胞コロニー領域
ＥＲ１１       領域
ＥＲ１２       領域
ＥＲ２１       領域
ＥＲ２２       領域
ＥＲ３１       領域
ＥＲ３２       領域
Ｒ     関心領域
ＳＲ   特定の関心領域
Ｗ     ウェル
【図１】
2018105432.tif 000003
【図２】
2018105432.tif 000004
【図３】
2018105432.tif 000005
【図４】
2018105432.tif 000006
【図５】
2018105432.tif 000007
【図６】
2018105432.tif 000008
【図７】
2018105432.tif 000009
【図８】
2018105432.tif 000010
【図９】
2018105432.tif 000011
【図１０】
2018105432.tif 000012
【図１１】
2018105432.tif 000013
【図１２】
2018105432.tif 000014
【図１３】
2018105432.tif 000015
【図１４】
2018105432.tif 000016
【国際調査報告】
2018105432.tif 000017
2018105432.tif 000018
2018105432.tif 000019
2018105432.tif 000020