(57)【要約】  細胞のホログラム画像から演算によって位相像を形成し、該位相像について全層畳み込みニューラルネットワークを用いて画素毎にセグメンテーションを行い、未分化細胞領域、未分化逸脱細胞領域、異物領域などを識別する。学習時には、ミニバッチに含まれる学習画像が読み込まれると（Ｓ１３）、該画像はランダムに上下又は左右反転された（Ｓ１３）あと、ランダムな角度だけ回転される（Ｓ１４）。その回転によって回転前の画像の枠内で欠損した部分を回転後の画像の縁端を軸とする鏡像反転によって補填する（Ｓ１５）。そうして生成した学習画像を用いて全層畳み込みニューラルネットワークの学習を行う（Ｓ１６）。全てのミニバッチについて同じ処理を繰り返し、さらにミニバッチに割り当てられる学習データをシャッフルしながら所定の回数だけ学習を繰り返す。これにより、学習モデルの精度が向上する。また、回転不変である特徴を学習できるので、様々な形状である細胞コロニーを精度良く識別することができる。
2019171546.tif 000002
【特許請求の範囲】
【請求項１】
細胞の観察画像を解析することで細胞に関連するセグメンテーションを行う細胞画像解析方法であって、該セグメンテーションのための画像解析の手法として機械学習を用い、
a)入力された学習画像を任意の角度だけ回転させるとともに、その回転前の前記学習画像の枠内で回転によって画像が欠損した領域について、回転後の画像と連続的に繋がるような画像を補填することで新たな学習画像を生成する学習画像拡充ステップと、
b)前記入力された学習画像及び前記学習画像拡充ステップで生成された学習画像を含む複数の学習画像を用いた学習処理により機械学習のモデルを作成する学習モデル作成ステップと、
を有することを特徴とする細胞画像解析方法。
【請求項２】
請求項１に記載の細胞画像解析方法であって、
前記学習画像拡充ステップでは、回転後の画像の枠を軸とした該枠内の画像の鏡像反転により、回転によって画像が欠損した領域を補填する連続的に繋がるような画像を補填することを特徴とする細胞画像解析方法。
【請求項３】
請求項１に記載の細胞画像解析方法であって、
前記機械学習は畳み込みニューラルネットワークであることを特徴とする細胞画像解析方法。
【請求項４】
請求項２に記載の細胞画像解析方法であって、
前記畳み込みニューラルネットワークは全層畳み込みニューラルネットワークであることを特徴とする細胞画像解析方法。
【請求項５】
請求項３に記載の細胞画像解析方法であって、
前記全層畳み込みニューラルネットワークを用いて入力画像を画素単位でセグメンテーションすることを特徴とする細胞画像解析方法。
【請求項６】
請求項１に記載の細胞画像解析方法であって、
試料に含まれる細胞はヒトｉＰＳ細胞を含む多能性幹細胞であり、前記セグメンテーションは少なくとも、未分化細胞と、未分化逸脱細胞又は分化細胞とを識別することを特徴とする細胞画像解析方法。
【請求項７】
請求項５に記載の細胞画像解析方法であって、
前記セグメンテーションはさらに異物が存在する領域を識別することを特徴とする細胞画像解析方法。
【請求項８】
請求項１に記載の細胞画像解析方法であって、
前記細胞の観察画像はホログラムデータに基づく演算処理によって求まる位相像であることを特徴とする細胞画像解析方法。
【請求項９】
請求項１に記載の細胞画像解析方法であって、
細胞の観察画像について細胞に関連するセグメンテーションを行った結果に基づいて、細胞領域の面積、細胞の数、又は細胞の密度の少なくともいずれかを推定する細胞情報算出ステップを有することを特徴とする細胞画像解析方法。
【請求項１０】
請求項１に記載の細胞画像解析方法であって、
細胞の観察画像について細胞に関連するセグメンテーションを行った結果又はそのセグメンテーションに基づく細胞状態の判定結果を、該観察画像に重畳して表示部の表示画面上に表示する表示処理ステップを有することを特徴とする細胞画像解析方法。
【請求項１１】
細胞の観察画像を解析することで細胞に関連するセグメンテーションを行う細胞画像解析装置であって、
該セグメンテーションのための画像解析の手法として機械学習を用い、
a)入力された学習画像を任意の角度だけ回転させるとともに、その回転前の前記学習画像の枠内で回転によって画像が欠損した領域について、回転後の画像と連続的に繋がるような画像を補填することで新たな学習画像を生成する学習画像拡充処理部と、
b)前記入力された学習画像及び前記学習画像拡充処理部で生成された学習画像を含む複数の学習画像を用いた学習処理により機械学習のモデルを作成する学習モデル作成部と、
c)前記学習モデル作成部で作成された学習済みモデルを用いて、入力された目的の細胞観察画像についてのセグメンテーションを実行してラベル画像を出力する領域識別部と、
を備えることを特徴とする細胞画像解析装置。
【請求項１２】
ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される観察画像を機械学習を利用して解析することで前記観察画像のセグメンテーションを行う際に用いられる学習モデルを作成する学習モデル作成方法であって、
入力された学習画像を任意の角度だけ回転させるとともに、その回転前の前記学習画像の枠内で回転によって画像が欠損した領域について、回転後の画像と連続的に繋がるような画像を補填することで生成された学習画像、を含む複数の学習画像を用い、機械学習の学習を実行して学習モデルを作成することを特徴とする学習モデル作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細胞について得られた観察画像を解析処理する方法及び装置、並びに該解析のための学習モデル作成方法に関し、さらに詳しくは、多能性幹細胞（ＥＳ細胞やｉＰＳ細胞）を培養する過程等において細胞の状態を非侵襲で判定したり細胞の数等の細胞に関する情報を取得したりする際に好適な細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法に関する。
【背景技術】
【０００２】
再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。例えば、細胞コロニー内の細胞が未分化状態から逸脱すると、この場合、細胞コロニー内にある全ての細胞は分化する能力を有しているために、最終的にはコロニー内の細胞全てが未分化逸脱状態に遷移してしまう。そのため、観察者は培養している細胞中に未分化状態を逸脱した細胞（すでに分化した細胞や分化しそうな細胞、以下「未分化逸脱細胞」という）が発生していないかを日々確認し、未分化逸脱細胞を見つけた場合にはこれを迅速に除去する必要がある。【０００３】
多能性幹細胞が未分化状態を維持しているか否かの判定は、未分化マーカーによる染色を行うことで確実に行うことができる。しかしながら、染色を行った細胞は死滅するため、再生医療用の多能性幹細胞の判定には未分化マーカー染色を実施することができない。そこで、現在の再生医療用細胞培養の現場では、位相差顕微鏡を用いた細胞の形態的観察に基づいて、観察者が未分化細胞であるか否かを判定するようにしている。位相差顕微鏡を用いるのは、一般に細胞は透明であって通常の光学顕微鏡では観察しにくいためである。【０００４】
また、非特許文献１に開示されているように、最近では、ホログラフィ技術を用いて細胞の観察画像を取得する装置も実用化されている。この装置は、特許文献１〜４等に開示されているように、デジタルホログラフィック顕微鏡で得られたホログラムデータに対し位相回復や画像再構成等のデータ処理を行うことで、細胞が鮮明に観察し易い位相像（インライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）を用いていることから、以下「ＩＨＭ位相像」という）を作成するものである。デジタルホログラフィック顕微鏡では、ホログラムデータを取得したあとの演算処理の段階で任意の距離における位相情報を算出することができるため、撮影時にいちいち焦点合わせを行う必要がなく測定時間を短くすることができるという利点がある。【０００５】
しかしながら、位相差顕微画像やＩＨＭ位相画像において細胞が或る程度鮮明に観察可能であるとしても、観察者が目視で未分化細胞等を正確に判定するには熟練が必要である。また、人間の判断に基づくために判定にばらつきが生じることは避けられない。そのため、こうした従来の手法は多能性幹細胞を工業的に大量生産するのには適さない。【０００６】
上記課題に対し、細胞の観察画像を画像処理することで細胞の状態を評価する種々の技術が従来提案されている。
例えば特許文献５には、所定時間隔てて取得された複数の細胞観察画像からそれぞれ細胞内部構造のテクスチャ特徴量を算出し、その複数の細胞観察画像に対するテクスチャ特徴量の差分や相関値を計算してその時系列変化に基づいて細胞の活性度を判別する方法が記載されている。この方法では例えば、時間経過に伴うテクスチャ特徴量の差分値が減少傾向である場合に、その細胞の活性度は減少している等と判断することができる。【０００７】
また特許文献６には、細胞観察画像から取得した複数の指標値を用いてファジィニューラルネットワーク（ＦＮＮ）解析を実施し、増殖率などの細胞の品質を予測する方法が記載されている。該文献には、細胞観察画像に対する画像処理により求まるテクスチャ特徴量を指標値として利用することも記載されている。【０００８】
上述したような従来の細胞評価方法では、細胞の状態や品質の判定に予め決められた特徴量が利用されている。こうした判定に利用可能な特徴量には様々なものがあり、その中から予め適宜のものが選択されるわけであるが、観察対象である細胞種や培養条件などが異なると、細胞の状態等を判定するために最適な特徴量が変わる場合がある。そのため、常に高い精度で以て判定を行うには、観察対象である細胞種や培養条件などによって使用する特徴量を変更する必要があり、処理が非常に面倒である。また、それ以前とは異なる条件で培養した細胞についての判定を行う際には、その判定にどの特徴量が適切であるのかを検討する必要があり、細胞評価の効率が悪いという問題もある。【０００９】
また上記の従来の細胞評価方法では、フィーダー細胞や背景領域の偽像、或いはゴミなの異物を目的の細胞であると誤判定することも多く、上記のように処理が面倒であるわりには判定精度が高くなかった。さらにまた、計算時間の制約上、画像を複数の画素単位の小領域に分割してその小領域毎に判定を行う必要があり、そのために小領域の大きさに比べて格段に小さい微小な不良領域や異物を見逃すおそれがあった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際特許公開第２０１７／２０３７１８号パンフレット
【特許文献２】国際特許公開第２０１７／２０４０１３号パンフレット
【特許文献３】国際特許公開第２０１６／０８４４２０号パンフレット
【特許文献４】特開平１０−２６８７４０号公報
【特許文献５】特許第４９６８５９５号公報
【特許文献６】特許第５１８１３８５号公報
【非特許文献】
【００１１】
【非特許文献１】「細胞培養解析装置 CultureScanner CS-1」、［online］、株式会社島津製作所、［平成３０年２月１４日検索］、インターネット＜URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm＞
【非特許文献２】ジョナサン・ロング（Jonathan Long）、ほか２名、「フーリー・コンボリューショナル・ネットワークス・フォー・セマンティック・セグメンテーション（Fully Convolutional Networks for Semantic Segmentation）」、ザ・アイトリプルイー・カンファレンス・オン・コンピュータ・ビジョン・アンド・パターン・リコグニション（The IEEE Conference on Computer Vision and Pattern Recognition）、2015年、pp.3431-3440、（インターネット＜URL: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf＞）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明はこうした課題を解決するためになされたものであり、その主たる目的は、細胞について得られた観察画像に基づいて細胞の状態や品質などを判定する際に、その判定に使用する特徴量などを選択したり検討したりする必要がない細胞画像解析方法及び細胞画像解析装置、さらには該解析に用いられる学習モデル作成方法を提供することである。
【課題を解決するための手段】
【００１３】
近年、多層のニューラルネットワークを利用した機械学習の一手法であるディープラーニング等を用いた画像処理の技術の進展は著しい。画像認識などの処理には、多くの場合、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ ）が利用されている。畳み込みニューラルネットワークは、通常、複数のフィルタによる畳み込み処理によって画像の特徴を抽出する畳み込み層と、一定領域の応答を集約するプーリング処理によって局所的なデータの位置不変性を与えるプーリング層と、畳み込み層及びプーリング層により特徴部分が抽出された画像データを一つのノードに結合し、活性化関数によって変換された値（特徴変数）を出力する全結合層と、を有する。【００１４】
さらに、最近では、畳み込みニューラルネットワークを構成する全結合層を畳み込み層にする全層（又は完全）畳み込みニューラルネットワーク（Fully Convolutional Neural Network：ＦＣＮ ）が提案され（非特許文献２参照）、特にセマンティックセグメンテーションにおける応用が進んでいる。【００１５】
全層畳み込みニューラルネットワークなどの機械学習を用いることで、特定の特徴量などを予め決めることなく、入力画像に対し特徴的な領域を識別したラベル画像を出力することができる。そこで本発明者は、細胞の観察画像内で未分化細胞、未分化逸脱細胞などの領域を識別するために全層畳み込みニューラルネットワークを代表とする機械学習の手法を利用することに想到した。但し、機械学習の手法を利用して識別の精度を高めるには大量の学習データを用いた学習によりモデルを構築する必要があり、大量の学習データを用意するのに手間と時間が掛かる。そこで、本発明者は、細胞の観察画像のセグメンテーションに機械学習を単に利用するだけではなく、用意された学習データを適切に拡充してそのデータ量を増加させる手法を加えることで本発明を完成させるに至った。【００１６】
上記課題を解決するために成された本発明に係る細胞画像解析方法は、細胞の観察画像を解析することで細胞に関連するセグメンテーションを行う細胞画像解析方法であって、該セグメンテーションのための画像解析の手法として機械学習を用い、
a)入力された学習画像を任意の角度だけ回転させるとともに、その回転前の前記学習用画像の枠内で回転によって画像が欠損した領域について、回転後の画像と連続的に繋がるような画像を補填することで新たな学習画像を生成する学習画像拡充ステップと、
b)前記入力された学習画像及び前記学習画像拡充ステップで生成された学習画像を含む複数の学習画像を用いた学習処理により機械学習のモデルを作成する学習モデル作成ステップと、
を有することを特徴としている。【００１７】
また上記課題を解決するために成された本発明に係る細胞画像解析装置は上記細胞画像解析方法を実施するための装置であり、細胞の観察画像を解析することで細胞に関連するセグメンテーションを行う細胞画像解析装置であって、
該セグメンテーションのための画像解析の手法として機械学習を用い、
a)入力された学習画像を任意の角度だけ回転させるとともに、その回転前の前記学習画像の枠内で回転によって画像が欠損した領域について、回転後の画像と連続的に繋がるような画像を補填することで新たな学習画像を生成する学習画像拡充処理部と、
b)前記入力された学習画像及び前記学習画像拡充処理部で生成された学習画像を含む複数の学習画像を用いた学習処理により機械学習のモデルを作成する学習モデル作成部と、
c)前記学習モデル作成部で作成された学習済みモデルを用いて、入力された目的の細胞観察画像についてのセグメンテーションを実行してラベル画像を出力する領域識別部と、
を備えることを特徴としている。【００１８】
また上記課題を解決するために成された本発明に係る学習モデル作成方法は、上記細胞解析方法において用いられる学習済みのモデルを作成するために好適な方法であり、ホログラフィック顕微鏡で取得されたホログラムデータに基づいて作成される観察画像を機械学習を利用して解析することで前記観察画像のセグメンテーションを行う際に用いられる学習モデルを作成する学習モデル作成方法であって、
入力された学習画像を任意の角度だけ回転させるとともに、その回転前の前記学習画像の枠内で回転によって画像が欠損した領域について、回転後の画像と連続的に繋がるような画像を補填することで生成された学習画像、を含む複数の学習画像を用い、機械学習の学習を実行して学習モデルを作成することを特徴としている。【００１９】
本発明において画像解析に用いられる機械学習の手法は、学習結果に基づいて画像のセグメンテーションが可能であれば特にその方法を問わず、例えば、前述の全層畳み込みニューラルネットワークや畳み込みニューラルネットワークを含むディープラーニング（Deep Learning）のほか、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、アダブースト（AdaBoost）などが挙げられる。【００２０】
本発明では、機械学習のモデルを学習するための学習画像として、細胞の観察画像とその観察画像に対応する正解のラベル画像つまりは正確なセグメンテーションの結果を示す画像とが一組として入力される。学習画像拡充ステップでは、まず入力されたその学習画像を任意の角度だけ回転させる。このときの回転中心は画像の中心点でもよいし画像の中心点から外れた点でもよい。また、回転角度は任意に定めることができるからランダムでよい。その回転によって、回転前の学習画像の枠内には画像が存在しない欠損領域が生じる。そこで学習画像拡充ステップでは、その欠損領域を、回転後の画像と連続的に繋がるような画像で補填する。ここでいう「連続的に繋がる画像」とは、観察画像に現れる細胞や細胞コロニーの輪郭が途切れず、その内部の模様もその欠損領域と実際の画像との境界を挟んで類似したものとなるような画像である。【００２１】
そうして複数組の学習画像を多数回、任意の角度で以て回転させることで多数の学習画像を生成し、学習モデル作成ステップでは、そうした学習画像を用いた学習処理により機械学習のモデルを作成する。大量の学習画像を用いた学習を行うことでモデルの精度が高くなり、目的とする細胞観察画像に対するセグメンテーションの精度を向上させることができる。【００２２】
上記学習画像拡充ステップにおいて補填用の画像を作成する方法は特に問わないが、回転後の画像を利用して作成すると処理が簡単である。そこで本発明の一態様として、上記学習画像拡充ステップでは、回転後の画像の枠を軸とした該枠内の画像の鏡像反転により、回転によって画像が欠損した領域を補填する連続的に繋がるような画像を補填するとよい。鏡像反転を利用すれば、回転後の画像の枠を挟んだ両側の画像が確実に繋がるとともに、処理が非常に簡単である。【００２３】
また、上記態様によれば次のような利点もある。例えば人物や自動車等の特定のオブジェクトを機械学習により識別する場合には、その形状が重要な特徴の一つである。そうしたオブジェクトの画像に対して上述したような鏡像反転を用いると、オブジェクトの形状が不自然になるため学習画像としては適さないことが多い。それに対し、本発明における主たる観察の対象である細胞コロニーは個々の細胞が集まって形成されたものであるため、その形状はもともと多様である。そのため、細胞コロニーを適切に識別するには、形状自体を学習せずにそのほかの局所的な特徴などを学習させることが必要である。上述したように鏡像反転を用いると、同じ細胞コロニーの観察画像であっても回転時に欠損する領域が異なると、外形形状が多様である学習画像が生成される。それによって、形状が学習されにくくなり、回転によっても変化のない特徴（つまり回転不変である特徴）が学習され易くなる。それによって、細胞コロニーの識別精度の向上を図ることができる。即ち、本発明における学習画像の拡充の手法は、人物識別などのセグメンテーションのための機械学習には適用しにくいが、細胞観察におけるセグメンテーションのための機械学習に好適であるといえる。【００２４】
上述したように本発明における機械学習法として様々なものを利用することができるが、識別性能の点から、好ましくは、セマンティックセグメンテーションに頻用される畳み込みニューラルネットワーク、より好ましくは、全層畳み込みニューラルネットワークを用いるとよい。また、全層畳み込みニューラルネットワークを用いて入力画像を画素単位でセグメンテーションするものとするとよい。
なお、ここでいう、全層畳み込みニューラルネットワークは、非特許文献２で提案されている全層畳み込みニューラルネットワークの基本的なアルゴリズムのみならず、これから派生した又はこれを改良した種々の畳み込みニューラルネットワークの手法を含むものとする。【００２５】
また本発明において観察や評価の対象である細胞の種類等は特に問わないが、特に、ヒトｉＰＳ細胞を含む多能性幹細胞の観察や評価に好適である。この場合、前記セグメンテーションは少なくとも、未分化細胞と、未分化逸脱細胞又は分化細胞とを識別できるようにするとよい。【００２６】
これによれば、培養中の多能性幹細胞中に未分化逸脱細胞や分化細胞が発生していないかどうかを、非侵襲で迅速且つ正確に判定することができる。【００２７】
また、セグメンテーションはさらに異物が存在する領域を識別するようにしてもよい。これによれば、培養中に混入した塵埃などの微細な異物を的確に検出し、それを除去する等の対策を採ることができる。【００２８】
また本発明において、細胞の観察画像はホログラムデータに基づく演算処理によって求まる位相像や強度像などとすればよいが、一般的には、位相像は強度像などに比べて細胞の模様情報がより鮮明に現れているため、観察画像として位相像を用いることが好ましい。【００２９】
また本発明ではさらに、細胞の観察画像について細胞に関連するセグメンテーションを行った結果に基づいて、細胞領域の面積、細胞の数、又は細胞の密度の少なくともいずれかを推定する細胞情報算出ステップを有するものとするとよい。【００３０】
細胞の種類によっておおよその細胞の大きさは知られている。そこで、細胞情報算出ステップでは、セグメンテーションがなされたラベル画像に基づいて細胞領域の面積を算出し、その細胞領域の面積と細胞の大きさとから細胞数を算出する。これにより、例えば培養中の多能性幹細胞の数を迅速に推定することができる。【００３１】
また本発明ではさらに、細胞の観察画像について細胞に関連するセグメンテーションを行った結果又はそのセグメンテーションに基づく細胞状態の判定結果を、該観察画像に重畳して表示部の表示画面上に表示する表示処理ステップを有するものとすることができる。なお、セグメンテーション結果は識別された各領域をそれぞれ異なる色で表せばよい。【００３２】
これによれば、観察者は、細胞の外形や模様の情報とともに、例えば未分化細胞と未分化逸脱細胞との識別の結果等を一つの画像上で把握することができる。
【発明の効果】
【００３３】
本発明によれば、例えばｉＰＳ細胞やＥＳ細胞などの多能性幹細胞を培養する現場において、培養中の細胞が未分化状態を維持しているのか未分化逸脱状態であるのか、或いは、細胞コロニー中に未分化逸脱細胞が存在するか否か、さらには塵埃等の異物が混入していないか否か等を、非侵襲で迅速に、且つ高い精度で以て判定することができる。それにより、培養中の細胞の品質管理が容易になり、細胞培養における生産性の向上を図ることができる。また本発明によれば、用意される学習データの数が少ない場合であっても、入力された学習データに基づいてそれを増やすことで学習性能を上げることができる。それにより、大量の学習データを用意する手間や時間を節約することができる。また、本発明によれば、特に細胞コロニー等の識別性能を上げるのに有効な学習を行うことができ、その識別の精度向上を図ることができる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る細胞画像解析装置を用いた細胞解析装置の概略構成図。
【図２】本実施例の細胞解析装置における学習モデルを作成する際の学習処理の流れを示すフローチャート。
【図３】本実施例の細胞解析装置におけるセグメンテーション推定処理の流れを示すフローチャート。
【図４】本実施例の細胞解析装置で使用されている全層畳み込みニューラルネットワークの構造の概念図。
【図５】ＩＨＭ位相像の一例（未分化逸脱細胞コロニー）を示す図。
【図６】学習モデル作成時における学習画像の生成処理の説明図。
【図７】学習モデル作成時における学習画像の生成処理の実例を示す図。
【図８】未分化逸脱細胞コロニーについてのＩＨＭ位相像（ａ）、学習処理に用いる正解画像（ｂ）、及びセグメンテーション結果であるラベル画像（ｃ）を示す図。
【発明を実施するための形態】
【００３５】
以下、本発明に係る細胞画像解析方法及び細胞画像解析装置の一実施例について、添付図面を参照して説明する。
図１は、本発明に係る細胞画像解析方法を実施するための細胞画像解析装置を用いた細胞解析装置の概略構成図である。
【００３６】
本実施例の細胞解析装置１は、顕微観察部１０、制御・処理部２０、ユーザーインターフェイスである入力部３０及び表示部４０、さらには、モデル作成部５０、を備える。
顕微観察部１０はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、細胞コロニー（又は細胞単体）１４を含む培養プレート１３が配置される。
【００３７】
制御・処理部２０は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相情報算出部２３と、画像作成部２４と、細胞画像解析部２５と、を機能ブロックとして備える。また、細胞画像解析部２５は、学習済みモデル記憶部２５１と、領域推定演算部２５２と、細胞情報算出部２５３と、表示処理部２５４と、を下位の機能ブロックとして含む。
【００３８】
また、モデル作成部５０は、学習データ記憶部５１、学習データ割当て処理部５２、学習データ読込み部５３、学習画像生成処理部５４、学習実行部５５、及びモデル構築部５６を機能ブロックとして含む。このモデル作成部５０において作成される学習済みモデルが、制御・処理部２０における記憶部に格納されて学習済みモデル記憶部２５１として機能する。
【００３９】
通常、制御・処理部２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。
【００４０】
また、モデル作成部５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常のこのコンピュータは制御・処理部２０とは異なるコンピュータであるが、同じであってもよい。つまり、モデル作成部５０の機能を制御・処理部２０に持たせることもできる。
【００４１】
まず本実施例の細胞解析装置１において、細胞に関するセグメンテーションを実施する際に使用される観察画像であるＩＨＭ位相像を作成するまでの作業及び処理について述べる。
作業者が細胞コロニー１４を含む培養プレート１３を所定位置にセットして入力部３０で所定の操作を行うと、撮影制御部２１は顕微観察部１０を制御して以下のようにホログラムデータを取得する。
【００４２】
即ち、光源部１１は１０°程度の微小角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞コロニー１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞コロニー１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞コロニー１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞コロニー１４を透過しないので該コロニー１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞コロニー１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像が形成される。
【００４３】
なお、光源部１１及びイメージセンサ１２は図示しない移動機構によってＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。
【００４４】
上述したように顕微観察部１０で得られたホログラムデータは逐次、制御・処理部２０に送られ、ホログラムデータ記憶部２２に格納される。制御・処理部２０において、位相情報算出部２３はホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献３、４等に開示されている周知のアルゴリズムを用いればよい。なお、位相情報算出部２３はホログラムデータに基づいて位相情報のほかに、強度情報、擬似位相情報なども併せて算出し、画像作成部２４はこれら情報に基づく再生像、つまり強度像や擬似位相像を作成してもよい。
【００４５】
ｉＰＳ細胞における未分化逸脱細胞コロニーを対象とするＩＨＭ位相像の一例を図５に示す。典型的な未分化逸脱細胞の特徴は「薄く広がる」ことであることが知られており、図５でもこの特徴から、未分化細胞の領域と未分化逸脱細胞の領域とを視認することができる。或る程度の経験を有する作業者であれば、こうした画像を見て未分化細胞の領域と未分化逸脱細胞の領域とを識別することができるものの、大量のＩＨＭ位相像について一つずつ目視で識別を行うと、その作業はかなり負担である。また、より識別が難しい画像では、作業者によって識別結果が異なる場合もよくある。これに対し、本実施例の細胞解析装置１では、機械学習法の一つである全層畳み込みニューラルネットワークを用いてＩＨＭ位相像に対するセグメンテーションを行うことで未分化細胞領域と未分化逸脱細胞領域との識別を自動的に行うことができる。
【００４６】
図４は全層畳み込みニューラルネットワークの構造の概念図である。全層畳み込みニューラルネットワークの構造や処理の詳細は非特許文献２を始めとする多くの文献に詳しく説明されている。また、米国マスワークス（MathWorks）社が提供している「MATLAB」などの市販の或いはフリーのソフトウェアを利用した実装も可能である。そのため、ここでは概略的に説明する。
【００４７】
図４に示すように、全層畳み込みニューラルネットワークは、例えば畳み込み層とプーリング層との繰り返しが多層化された多層ネットワーク６０と、畳み込みニューラルネットワークにおける全結合層に相当する畳み込み層６１と、を含む。この場合、多層ネットワーク６０では、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。但し、多層ネットワーク６０は、プーリング層がなく畳み込み層のみで構成されていてもよい。また、最終段の畳み込み層６１では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込み及び逆畳み込みを行う。この全層畳み込みニューラルネットワークでは、ＩＨＭ位相像などの入力画像６３に対してセグメンテーションを行うことで、未分化細胞領域、未分化逸脱領域、細胞が存在しない背景領域などをそれぞれラベル付けしたラベル画像６４を出力することができる。
【００４８】
ここでは、細胞の培養中に混入する塵埃などのごく微小な異物を識別するために、入力されるＩＨＭ位相像の画素単位でのラベル化を行うように多層ネットワーク６０及び畳み込み層６１を設計する。即ち、出力画像であるラベル画像６４においてラベル付けされる一つの領域の最小単位はＩＨＭ位相像上の一つの画素である。そのため、例えばＩＨＭ位相像上で１画素程度の大きさの異物が観測された場合でも、ラベル画像６４においてその異物は一つの領域として検出され、どこに異物が存在するのかの情報を作業者に正確に提供することができる。
【００４９】
全層畳み込みニューラルネットワークにより上記のようなセグメンテーションを行うには、予め多数の学習用の画像データを用いて、多層ネットワーク６０に含まれる複数の畳み込み層や最終段の畳み込み層６１それぞれにおけるフィルタの係数（重み）を学習させ学習済みモデルを構築しておく必要がある。図２に示すフローチャートに従って、モデル作成部５０における学習処理を行う際の動作を説明する。ここでは一般的に機械学習でしばしば用いられている確率的勾配降下法を利用した学習を行う。この方法は、与えられた多数の学習データを予め定めたミニバッチ単位で区切りつつ学習を繰り返す方法であり、学習データがランダムにシャッフルされることにより、局所解にはまりにくくなるという利点がある。
【００５０】
モデル作成部５０の学習データ記憶部５１には、画像作成部２４で作成されたＩＨＭ位相像とそれに対応する正解画像とを一組とする学習データが予め多数格納される。正解画像とは、ＩＨＭ位相像を未分化細胞領域、未分化逸脱領域（分化細胞の領域を含む）、背景領域、及び異物領域に正確に区分した一種のラベル画像である。正解画像の作成例については後述する。また、説明の便宜上、一例として学習データの数は１００枚（ＩＨＭ位相像が１００枚）であるものとする。
【００５１】
モデル作成部５０においてデータ割当て処理部５２は、予め決められているバッチサイズに応じて、複数のミニバッチに割り当てる学習データをランダムに決定する（ステップＳ１）。ここでは、ミニバッチの数は５で、一つのミニバッチに割り当てられる学習データの数は２０であるとする。
【００５２】
学習データ読込み部５３はデータ割当て処理部５２で決められた割当てに従って、学習データ記憶部５１から一つのミニバッチに含まれる学習データを順番に読み込む（ステップＳ１２）。学習画像生成処理部５４は、読み込まれた学習画像（ＩＨＭ位相像及び正解画像）に対しランダムな確率で画像の上下反転又は左右反転を行う（ステップＳ１３）。なお、このステップＳ１３の処理は後述するステップＳ１５のあとに実行してもよい。
【００５３】
学習画像生成処理部５４はさらに、上下反転された若しくは左右反転された、又はそれら反転がなされない学習画像を、画像の読込み時にランダムに決められた角度θだけ回転させる（ステップＳ１４）。このときの回転操作の中心は画像の中心点でもよいし、或いは該中心点からずれた位置の点でもよい。図６（ｂ）は図６（ａ）に示した画像を角度θだけ左方向に回転させた例である。
【００５４】
学習画像生成処理部５４は画像を回転させたあと、図６（ｃ）に示すように、その回転によって回転前の画像の画像枠１００からはみ出した部分を除去する。また、その画像枠１００内で画像が欠損している領域１０２（１０２ａ）を、図６（ｄ）に示すように、回転後の画像の画像枠１０１を軸とする線対称な画像、つまりは鏡像反転させた画像で補填する（ステップＳ１５）。例えば図６（ｃ）中の画像欠損領域１０２ａは、図６（ｄ）中の画像枠１０１ａを軸として、画像枠１０１ａ内の画像を鏡像反転させた画像で補填される。これにより、図６（ｄ）に示すような、元の画像の画像枠１００に過不足無く収まる新たな画像が生成される。組となるＩＨＭ画像と正解画像とに対し同じような画像変換処理を実施することで、新たな学習画像を生成する。
【００５５】
学習実行部５５は、上述したように反転や回転などの処理を経て生成された一つのミニバッチに含まれる複数の学習データを用いて、全層畳み込みニューラルネットワークの学習を実行する（ステップＳ１６）。即ち、全層畳み込みニューラルネットワークによるセグメンテーションの結果が正解画像にできるだけ近くなるように、そのネットワークにおける複数の畳み込み層でのフィルタ係数を学習する。
【００５６】
そのあと、学習データ読込み部５３は全ての学習データが読み込まれたか否か、つまりは全てのミニバッチについての学習が終了したか否かを判定する（ステップＳ１７）。このステップＳ１７でＮｏと判定された場合には、ステップＳ１１で学習データの割当てが決められた複数のミニバッチの中で未だ学習が済んでいないものがあるから、ステップＳ１２に戻る。そして、学習データ読込み部５３は別の一つのミニバッチに含まれる学習データを読み込む。したがって、ステップＳ１２〜Ｓ１７の処理はミニバッチの数だけ、この例では５回繰り返される。
【００５７】
上記ステップＳ１７でＮｏと判定されると、データ割当て処理部５２は、ステップＳ１１１の処理を予め決められたエポック数だけ繰り返したか否かを判定する（ステップＳ１８）。このステップＳ１８でＮｏと判定された場合には、ステップＳ１８からＳ１１へと戻り、データ割当て処理部５２は再び複数のミニバッチに割り当てる学習データをランダムに決定する。したがって、各ミニバッチに割り当てられる学習データはシャッフルされることになる。エポック数は予め適宜に決められるが、通常、例えば１０００回など大きな値である。即ち、このエポック数だけステップＳ１１〜Ｓ１８の処理が繰り返され、その繰り返しの過程で学習が進められる。そして、ステップＳ１８でＹｅｓと判定されると、学習を終了し、モデル構築部５６はその学習結果に基づいて学習モデルを構築して保存する（ステップＳ１９）。
【００５８】
学習データの数は例えば１００枚であっても、エポック毎にランダムに決められた角度で画像は回転されるので、偶然に同じ角度が選択される場合を除けば、エポックの数だけ学習データが拡充されたことになる。つまり、エポック数が１０００であれば、学習データを１０万枚用意した場合とほぼ同じ学習効果が得られる。つまり、元の学習画像の数が少なくても、拡充された大量の学習画像に基づいた学習が可能である。
【００５９】
上述したような回転後の画像枠１０１を軸とした鏡像反転により補填された画像の特徴は、回転後の画像枠１０１を挟んだ両側の画像が必ず連続性を有する、つまりその画像枠１０１で以て細胞等の輪郭線が途切れず、また細胞内の模様もほぼ同じになることである。図７は、入力されたＩＨＭ位相像及び正解画像と、それらから新たに生成された学習画像である擬似ＩＨＭ位相像及び正解画像の一例である。
【００６０】
培養細胞における細胞コロニーは個々の細胞が集まって形成されたものであるため、その形状や大きさは多様である。これは換言すれば、細胞コロニーの領域を識別するという目的では、オブジェクトの形状や大きさを学習するのは適切ではないことを意味する。逆に、細胞コロニーの形状や大きさが多様である画像を学習させることで、形状や大きさとの異なる特徴量を学習することができる。また、上述したように細胞コロニーの形状は多様であるため、回転によって画像が欠落した領域を鏡像反転した画像で補填しても、例えば人物や特定のオブジェクト等の一般画像を鏡像反転したときのような不自然さは生じない。鏡像反転した画像で補填すると、画像枠１０１で細胞コロニーの輪郭線が途切れることはなく、細胞コロニー内部の模様なども画像枠１０１を挟んで同じになる。即ち、画像枠１０１を挟んで画像の連続性がほぼ保たれる。一方で、画像上で細胞コロニーの形状や大きさの多様性は増す。こうしたことから、上述したように拡充された学習画像を用いることで、画像を回転しても変化のない特徴（つまり回転不変である特徴）を効果的に学習することができるという効果もある。
【００６１】
上述したように、入力された学習データの数が少ない場合であっても学習データを大幅に拡充することができ、しかもその学習データは細胞コロニー等の識別に適したものである。そのため、こうした学習データに基づいて構築される学習モデルは高精度なセグメンテーションが可能なモデルとなる。
【００６２】
次に、図３に示すフローチャートに従って、細胞画像解析部２５で行われる、目的とするＩＨＭ位相像に対するセグメンテーション時の動作を説明する。
上述したように顕微観察部１０は試料（培養プレート１３中の細胞コロニー１４など）の撮影を実施し（ステップＳ２１）、位相情報算出部２３及び画像作成部２４は、それにより得られたホログラムデータに基づいて位相計算を実行してＩＨＭ位相像を形成する（ステップＳ２２）。そのあと、領域推定演算部２５２は入力画像としてＩＨＭ位相像を読み込み、学習済みモデル記憶部２５１に格納されている学習モデルを用いた全層畳み込みニューラルネットワークによる処理を実施し、入力画像に対応したラベル画像を出力する（ステップＳ２３）。
【００６３】
このラベル画像は、入力画像であるＩＨＭ位相像において、未分化細胞領域、未分化逸脱細胞領域、背景領域、異物領域などが画素単位で識別され、それら各領域がそれぞれ異なる表示色で区分けされた、つまりはセマンティックセグメンテーションされた画像である。上述したように、このときに使用される学習モデルは高い精度でセグメンテーションが可能なものであるので、観察対象である細胞についてのＩＨＭ位相像上の各領域を高い精度で且つ画素単位で以てセグメンテーションすることができる。
【００６４】
細胞情報算出部２５４は、取得されたラベル画像において未分化細胞領域、及び、未分化逸脱細胞領域の面積をそれぞれ算出する。この面積の算出時には顕微観察部１０で試料を撮影する際の倍率の情報を用いればよい。そして、予め与えられていた１個の細胞の平均的な大きさの情報に基づいて、未分化細胞領域及び未分化逸脱細胞領域の面積から各領域に存在する細胞の数や細胞の密度を推算する（ステップＳ２４）。
【００６５】
表示処理部２５４は、画像作成部２４で作成されたＩＨＭ位相像に上記ラベル画像を重畳した画像、つまりは未分化細胞領域などの各領域が画素単位で色分けされたＩＨＭ位相像を作成する。そして、この画像とステップＳ２５で求まった細胞面積、細胞数、細胞密度などの情報を表示部４０の画面上に表示する（ステップＳ２５）。
こうして、例えば、細胞コロニーの観察画像上で未分化細胞の領域と未分化逸脱細胞の領域とを容易に把握可能な画像を作業者に提供することができる。
【００６６】
次に、非特許文献１に記載の装置で実際に得られたＩＨＭ位相像について上述した画像解析を適用した実例について説明する。
学習処理の際に使用する正解画像は次の手順で作成した。
（１）目的とする細胞をアクチン（Actin）染色した細胞骨格染色画像を取得し、該画像上で細胞領域を画定する。この細胞領域には未分化細胞、未分化逸脱細胞、分化細胞を含む。
（２）目的とする細胞中の未分化マーカー（Oct-3/4）の発現を検出する染色法を用いて未分化マーカー染色画像を取得し、該画像上で未分化細胞領域を画定する。
（３）（１）で画定した細胞領域、及び、（２）で画定した未分化細胞領域を組み合わせることで、未分化細胞領域、未分化逸脱細胞領域、及び、背景領域が区分された正解画像を作成する。
【００６７】
ＩＨＭ位相像（又はこの位相像を加工した画像）とこれに対応する正解画像との組を多数用い、３クラス分類（背景、未分化逸脱、未分化）の全層畳み込みニューラルネットワークの学習モデルを作成した。作成された学習モデルを用いた全層畳み込みニューラルネットワークでセグメンテーションを実施した例を図８に示す。図８（ａ）は処理対象のＩＨＭ位相像であり、細胞コロニーは図５と同じものである。図８（ｂ）は図８（ａ）に示したＩＨＭ位相像に対する正解画像である。図８（ｃ）は全層畳み込みニューラルネットワークによるセグメンテーション結果を示す画像である。図８（ｂ）と図８（ｃ）を比べると、ほぼ正確に領域が識別されていることが分かる。
【００６８】
また、上記の全層畳み込みニューラルネットワークを用いて、フィーダーフリー（フィーダー細胞を使用しない培養方法）で培養したヒトｉＰＳ細胞のコロニーを撮影した１９２枚のＩＨＭ位相像について領域識別を試みたところ、交差検証による評価で感度、特異度ともに９０％以上の結果となった。これにより、この手法の有効性が確認できた。
【００６９】
なお、上記実施例では、セグメンテーションのための機械学習法として全層畳み込みニューラルネットワークを用いていたが、通常の畳み込みニューラルネットワークでもよいことは明らかである。また、ニューラルネットワークを用いた機械学習法に限らず、画像についてのセグメンテーションが可能な機械学習法であれば本発明を適用することが有効である。こうした機械学習法としては、例えばサポートベクターマシン、ランダムフォレスト、アダブーストなどがある。
【００７０】
また上記実施例では、主として細胞コロニーにおける未分化細胞と未分化逸脱細胞との識別、或いは混入した異物の検出などに本発明を適用していたが、細胞に関するそれ以外の識別や検出にも本発明を利用することができる。例えば、一つの細胞における核と細胞質との識別などにも本発明を適用可能であることは明らかである。
【００７１】
また上記実施例では、ホログラムデータを用いた演算処理により形成されるＩＨＭ位相像をセグメンテーション処理の対象としていたが、同じくホログラムデータを用いた演算処理により形成される強度像や擬似位相像をセグメンテーション処理の対象とすることもできる。また、細胞が十分に観察可能であれば、通常の光学顕微鏡画像でもよい。
【００７２】
また、図１に示した細胞解析装置１では、制御・処理部２０において全ての処理を実施しているが、一般に、ホログラムデータに基づく位相情報の計算やその計算結果の画像化には膨大な量の計算が必要である。そのため、一般的に使用されているパーソナルコンピュータでは計算に多大な時間が掛かり効率的な解析作業は難しい。そこで、顕微観察部１０に接続されたパーソナルコンピュータを端末装置とし、この端末装置と高性能なコンピュータであるサーバとがインターネットやイントラネット等の通信ネットワークを介して接続されたコンピュータシステムを利用するとよい。
【００７３】
また、上記実施例の細胞解析装置では、顕微観察部１０としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス（軸外し）型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。
【００７４】
また、上記実施例や上記の各種変形例も本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。
【符号の説明】
【００７５】
１…細胞解析装置
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１４…細胞コロニー
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…位相情報算出部
２４…画像作成部
２５…細胞画像解析部
２５１…学習済みモデル記憶部
２５２…領域推定演算部
２５３…細胞情報算出部
２５４…表示処理部
３０…入力部
４０…表示部
５０…モデル作成部
５１…学習データ記憶部
５２…学習データ割当て処理部
５３…学習データ読込み部
５４…学習画像生成処理部
５５…学習実行部
５６…モデル構築部
【図１】
2019171546.tif 000003
【図２】
2019171546.tif 000004
【図３】
2019171546.tif 000005
【図４】
2019171546.tif 000006
【図５】
2019171546.tif 000007
【図６】
2019171546.tif 000008
【図７】
2019171546.tif 000009
【図８】
2019171546.tif 000010
【国際調査報告】
2019171546.tif 000011
2019171546.tif 000012
2019171546.tif 000013
2019171546.tif 000014