(57)【要約】【課題】試験管や微細加工構造の中に存在する細胞数を迅速かつ正確に計数することを課題とする。【解決手段】顕微鏡画像に含まれる細胞数を計数する場合に、複数の学習用顕微鏡画像及び正解データを用いて深層学習を行った学習済みモデルを生成し、生成された学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像内に所在する細胞数を判定する。【選択図】図１
2019076063.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡画像に含まれる細胞数を計数する細胞数計数装置であって、
複数の学習用顕微鏡画像及び正解データを用いて深層学習を行った学習済みモデルと、
前記学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像内に所在する細胞数を判定する判定部と
を備えたことを特徴とする細胞数計数装置。
【請求項２】
前記学習済みモデルは、
所定の関数を用いて前記顕微鏡画像に含まれる細胞数に関する複数のパターンの推定確率を出力し、
前記判定部は、
前記学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値以上である場合に、該推定確率に対応するパターンの細胞数が前記顕微鏡画像に含まれる細胞数であると判定する
ことを特徴とする請求項１に記載の細胞数計数装置。
【請求項３】
前記所定の関数は、最大事後確率を求めるソフトマックス関数であることを特徴とする請求項２に記載の細胞数計数装置。
【請求項４】
前記判定部は、
前記学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値未満である場合に、判定不能を判定の結果とすることを特徴とする請求項２又は３に記載の細胞数計数装置。
【請求項５】
前記判定部は、
前記学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値未満である場合に、担当者の目視による細胞数の測定を要するものと判定することを特徴とする請求項２又は３に記載の細胞数計数装置。
【請求項６】
前記細胞数のパターンは、細胞数が０個、１個、２個、３個以上の４つのパターンであり、該４つのパターンごとの推定確率の合計値が１となることを特徴とする請求項２又は３に記載の細胞数計数装置。
【請求項７】
前記判定部により細胞数が１個であると判定された顕微鏡画像を特定する特定部をさらに備えたことを特徴とする請求項６に記載の細胞数計数装置。
【請求項８】
前記判定部の判定結果に基づいて、細胞数ごとに複数の顕微鏡画像を分類する分類処理部をさらに備えたことを特徴とする請求項１〜７のいずれか一つに記載の細胞数計数装置。
【請求項９】
前記判定部は、
深層学習処理部により深層学習された学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像に細胞が含まれるか否かを判定することを特徴とする請求項１に記載の細胞数計数装置。
【請求項１０】
前記顕微鏡画像は、
細胞液が収容された微細加工構造体を顕微鏡で撮像した顕微鏡画像であることを特徴とする請求項１〜９のいずれか一つに記載の細胞数計数装置。
【請求項１１】
前記顕微鏡画像は、
微細加工構造体像の除去、細胞の位置修正、ノイズ除去を含む前処理が行われていない前記顕微鏡画像であることを特徴とする請求項１０に記載の細胞数計数装置。
【請求項１２】
顕微鏡画像に含まれる細胞数を計数する細胞数計数装置を含む細胞数計数システムであって、
細胞液を収容する微細加工構造体を撮像して顕微鏡画像を出力する顕微鏡画像取得装置と、
複数の学習用顕微鏡画像及び正解データを用いて深層学習を行った学習済みモデルと、前記学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像内に所在する細胞数を判定する判定部とを有する細胞数計数装置と
を備えたことを特徴とする細胞数計数システム。
【請求項１３】
顕微鏡画像に含まれる細胞数を計数する細胞数計数装置における細胞数計数方法であって、
前記細胞数計数装置において、複数の学習用顕微鏡画像及び正解データを用いて深層学習を行って学習済みモデルを生成する生成工程と、
前記学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像内に所在する細胞数を判定する判定工程と
を含んだことを特徴とする細胞数計数方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、最大数個の細胞を収納するように加工された微細加工構造体中の細胞液が収容された構造体（以下、「微細加工構造体」と言う）を顕微鏡で撮像した顕微鏡画像の中に存在する細胞数を迅速かつ正確に計数することができる細胞数計数装置、細胞数計数システム及び細胞数計数方法に関する。
【背景技術】
【０００２】
従来、医学及び生物学等の様々な分野において、顕微鏡画像を用いて細胞数を計数する必要性が大きくなってきた。例えば、最近、単細胞研究や単細胞試験が広く行われるようになってきた。複数の細胞の混合である集団細胞を用いた研究では、個々の細胞の固有の性質を観察することができないためである。個々の細胞は体内で異なった性質を持ち、その混合物を用いた研究では詳細な細胞の機能を知ることが困難であることが多い。さらに、創薬における化合物の選択を行う場合に、「high-throughput screening (HTS)」と呼ばれる技術、「high-content screening (HCS)」と呼ばれる技術が用いられることが多いが、細胞を用いたスクリーニングでは、微細加工構造体の中に存在する細胞数を正確に計数し、タンパク質の分泌の有無を検出する必要がある。微細加工構造体にはナノリットルウェルやElectroactive microwell array device、 multitrap nanophysiometerなどの細胞トラップ構造などがあるが、どのような構造体であってもその中に最大数個の細胞を含む溶液を入れる構造であれば良い。
【０００３】
このため、訓練された技術者による目視により、微細加工構造体の中に存在する細胞数が計数されていた。ところが、技術者の目視により細胞数を計数していたのでは、細胞の入った構造体の数が増加した場合や実験数が増加した場合に、技術者の人的労力が過大になってしまう。このため、画像処理技術を用いて細胞数を計数する技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−８２９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に代表される従来技術によれば、細胞数を正確に計数しようとすると、各細胞の画像処理に時間を掛けねばならず、迅速かつ正確に細胞数を計数できないという問題がある。
【０００６】
本発明は、上述した従来技術による問題点を解決するためになされたものであって、微細加工構造体の中に存在する細胞数を迅速かつ正確に計数することができる細胞数計数装置、細胞数計数システム及び細胞数計数方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、本発明は、顕微鏡画像に含まれる細胞数を計数する細胞数計数装置であって、複数の学習用顕微鏡画像及び正解データを用いて深層学習を行った学習済みモデルと、前記学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像内に所在する細胞数を判定する判定部とを備えたことを特徴とする。
【０００８】
また、本発明は、上記発明において、前記学習済みモデルは、所定の関数を用いて前記顕微鏡画像に含まれる細胞数に関する複数のパターンの推定確率を出力し、前記判定部は、前記学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値以上である場合に、該推定確率に対応するパターンの細胞数が前記顕微鏡画像に含まれる細胞数であると判定することを特徴とする。
【０００９】
また、本発明は、上記発明において、前記所定の関数は、最大事後確率を求めるソフトマックス関数であることを特徴とする。
【００１０】
また、本発明は、上記発明において、前記判定部は、前記学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値未満である場合に、判定不能を判定の結果とすることを特徴とする。
【００１１】
また、本発明は、上記発明において、前記判定部は、前記学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値未満である場合に、担当者の目視による細胞数の測定を要するものと判定することを特徴とする。
【００１２】
また、本発明は、上記発明において、前記細胞数のパターンは、細胞数が０個、１個、２個、３個以上の４つのパターンであり、該４つのパターンごとの確率の合計値が１となることを特徴とする。
【００１３】
また、本発明は、上記発明において、前記判定部により細胞数が１個であると判定された顕微鏡画像を特定する特定部をさらに備えたことを特徴とする。
【００１４】
また、本発明は、上記発明において、前記判定部の判定結果に基づいて、細胞数ごとに複数の顕微鏡画像を分類する分類処理部をさらに備えたことを特徴とする。
【００１５】
また、本発明は、上記発明において、前記判定部は、深層学習処理部により深層学習された学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像に細胞が含まれるか否かを判定することを特徴とする。
【００１６】
また、本発明は、上記発明において、前記顕微鏡画像は、細胞液が収容された微細加工構造体を顕微鏡で撮像した顕微鏡画像であることを特徴とする。
【００１７】
また、本発明は、上記発明において、前記顕微鏡画像は、微細加工構造体像の除去、細胞の位置修正、ノイズ除去を含む前処理が行われていない前記顕微鏡画像であることを特徴とする。
【００１８】
また、本発明は、顕微鏡画像に含まれる細胞数を計数する細胞数計数装置を含む細胞数計数システムであって、細胞液を収容する微細加工構造体を撮像して顕微鏡画像を出力する顕微鏡画像取得装置と、複数の学習用顕微鏡画像及び正解データを用いて深層学習を行った学習済みモデルと、前記学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像内に所在する細胞数を判定する判定部とを有する細胞数計数装置とを備えたことを特徴とする。
【００１９】
また、本発明は、顕微鏡画像に含まれる細胞数を計数する細胞数計数装置における細胞数計数方法であって、前記細胞数計数装置において、複数の学習用顕微鏡画像及び正解データを用いて深層学習を行って学習済みモデルを生成する生成工程と、前記学習済みモデルに対して判定対象となる顕微鏡画像を入力して、該顕微鏡画像内に所在する細胞数を判定する判定工程とを含んだことを特徴とする。
【発明の効果】
【００２０】
本発明によれば、微細加工構造体の中に存在する細胞数を迅速かつ正確に計数することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本実施例に係る細胞数計数システムの概念を説明するための説明図である。
【図２】図２は、モデルの生成についての説明図である。
【図３】図３は、細胞数計数装置の機能構成を示す機能ブロック図である。
【図４】図４は、学習済モデルデータについての説明図である。
【図５】図５は、細胞数計数装置の処理手順を示すフローチャートである。
【図６】図６は、細胞数が１のウェルＩＤを抽出する処理手順を示すフローチャートである。
【図７】図７は、モデル生成装置の機能構成を示す機能ブロック図である。
【図８】図８は、深層学習処理部による学習の具体例についての説明図である。（その１）
【図９】図９は、深層学習処理部による学習の具体例についての説明図である。（その２）
【図１０】図１０は、深層学習処理部による学習の具体例についての説明図である。（その３）
【発明を実施するための形態】
【００２２】
以下、本発明に係る細胞数計数装置、細胞数計数システム及び細胞数計数方法の実施例を詳細に説明する。なお、以下に示す実施例では、畳み込み深層学習処理によりナノリットルウェルの中に存在する細胞数を計数する場合を中心に説明するが、本発明は細胞を含む細胞液が微細加工構造体に含まれる場合を対象とするものでありナノリットルウェルに限定しない。
【実施例】
【００２３】
まず、本実施例に係る細胞数計数システムの概念について説明する。図１は、本実施例に係る細胞数計数システムの概念を説明するための説明図である。図１に示すように、本実施例にかかる細胞数計数システムでは、ディスペンサ２０がウェルプレート１０の各ウェルに細胞液を注入し、顕微鏡画像取得装置３０がウェルプレート１０の各ウェルを顕微鏡で撮像し、撮像により得られた顕微鏡画像を判定対象画像データとして細胞数計数装置４０に出力する。
【００２４】
ウェルプレート１０の各ウェルは、ナノリットルの容量の窪み（ナノリットルウェル）であり、ディスペンサ２０は限界希釈された細胞液を各ウェルに注入する。このようにナノリットルの容量のウェルに限界希釈された細胞液を注入するのは、各ウェルに所在する細胞数を１個とするためであるが、細胞数が０個となるウェルや細胞数が２個以上となるウェルも生ずる。
【００２５】
そこで、細胞数計数装置４０は、顕微鏡画像取得装置３０が出力した判定対象画像データを用い、ウェル内の細胞数の判定を行う。細胞数計数装置４０は、畳み込み深層学習処理により予め生成された学習済モデルデータ４４ａを記憶している。細胞数計数装置４０の確率推定部４５ｃは、学習済モデルデータ４４ａに判定対象画像データを入力することで、ウェルに所在する細胞数に関する複数のパターンの推定確率を出力する。具体的には、確率推定部４５ｃは、細胞数が０個、１個、２個、３個以上の４つのパターンに対応する推定確率Ｐ０、Ｐ１、Ｐ２、Ｐ３を出力する。Ｐ０は、ウェルに所在する細胞数が０個である確率の推定値であり、Ｐ１は、ウェルに所在する細胞数が１個である確率の推定値であり、Ｐ２は、ウェルに所在する細胞数が２個である確率の推定値であり、Ｐ３は、ウェルに所在する細胞数が３個以上である確率の推定値である。また、Ｐ０〜Ｐ３は、
Ｐ０＋Ｐ１＋Ｐ２＋Ｐ３＝１
の関係を満たす。
【００２６】
細胞数計数装置４０の判定部４５ｄは、確率推定部４５ｃから出力された推定確率のうち、最大となる推定確率が所定の閾値以上である場合に、該推定確率に対応するパターンの細胞数がウェルに所在する細胞数であると判定し、判定結果を出力する。例えば、最大となる推定確率がＰ１であり、Ｐ１が閾値以上であるならば、判定結果として「細胞数＝１」を出力する。
【００２７】
このように、畳み込み深層学習により予め生成した学習済モデルデータ４４ａを用い、学習済モデルデータ４４ａに対して判定対象画像データを入力して、判定対象画像データに所在する細胞数を判定することで、ナノリットルウェルの中に存在する細胞数を迅速かつ正確に計数することができる。
【００２８】
なお、ウェル内の細胞は、染色や蛍光標識などの前処理を必要とせず、生きた細胞を用いることができる。また、判定対象画像データとして用いる顕微鏡画像は、枠（微細加工構造体像）の除去、細胞の位置修正、ノイズ除去を含む前処理が不要である。
【００２９】
図２は、モデルの生成についての説明図である。畳み込み深層学習によるモデルの生成は、細胞数計数装置４０が行っても良いが、別の装置がモデルを生成して細胞数計数装置４０に提供してもよい。モデルの生成は、高い処理能力が要求されるためである。図２では、モデル生成装置５０がモデルを生成して細胞数計数装置４０に送信する構成を示している。
【００３０】
モデル生成装置５０は、深層学習処理部５５ｂを有しており、複数の学習用画像データと複数の学習用正解データとを用いて、畳み込み深層学習を行ってモデルの生成を行う。学習用画像データは、例えば顕微鏡画像取得装置３０がウェルプレート１０を撮像することで生成してもよいし、他のデータベース等から取得してもよい。学習用正解データは、学習用画像データに対応する細胞数であり、例えば技術者が目視で学習用画像データにおける細胞数を計数し、学習用画像データに対応付けることで生成する。
【００３１】
深層学習処理部５５ｂが生成するモデルとしては、多層ニューラルネットワークの一種である畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）を用いる。深層学習処理部５５ｂは、学習用画像データが入力されたときに対応する学習用正解データを出力するようパラメータを調整することで畳み込み深層学習処理を行い、学習処理の結果を学習済モデルデータとして細胞数計数装置４０に出力することになる。
【００３２】
次に、細胞数計数装置４０の構成について説明する。図３は、細胞数計数装置４０の機能構成を示す機能ブロック図である。図３に示すように、細胞数計数装置４０は、表示部４１、操作部４２、通信部４３、記憶部４４及び制御部４５を有する。
【００３３】
表示部４１は、液晶パネルなどの表示デバイスで構成され、操作者に対する表示出力に用いられる。操作部４２は、キーボードやボタン等の操作デバイスで構成され、操作者からの操作の受付けに用いられる。また、タッチパネルディスプレイなどを用い、表示部４１と操作部４２とを一体に構成してもよい。通信部４３は、顕微鏡画像取得装置３０やモデル生成装置５０との通信を行う通信インタフェースである。
【００３４】
記憶部４４は、ハードディスク装置又は不揮発性メモリなどからなる記憶デバイスであり、学習済モデルデータ４４ａ、確率推定結果データ４４ｂ及び判定結果データ４４ｃ等を記憶する。
【００３５】
学習済モデルデータ４４ａは、モデル生成装置５０により生成されたモデルである。確率推定結果データ４４ｂは、判定対象画像データに所在する細胞数に関する確率の推定結果である。顕微鏡画像取得装置３０が１つのウェルプレートが有する複数のウェルについてそれぞれ撮像を行って複数の判定対象画像データを生成した場合には、ウェルを特定するウェルＩＤを判定対象画像データに対応付けておき、確率推定結果データ４４ｂもウェルＩＤごとに細胞数に関する確率の推定結果を示すことになる。判定結果データ４４ｃは、判定対象画像データに所在する細胞数の判定結果である。判定結果データ４４ｃもウェルＩＤごとに細胞数の判定結果を示すことができる。
【００３６】
制御部４５は、細胞数計数装置４０の全体制御を行う制御部であり、学習済モデル取得部４５ａ、画像データ取得部４５ｂ、確率推定部４５ｃ、判定部４５ｄ、特定部４５ｅ及び分類処理部４５ｆ等を有する。なお、実際には、学習済モデル取得部４５ａ、画像データ取得部４５ｂ、確率推定部４５ｃ、判定部４５ｄ、特定部４５ｅ及び分類処理部４５ｆに対応するプログラムをＣＰＵ上にロードして実行することで、学習済モデル取得部４５ａ、画像データ取得部４５ｂ、確率推定部４５ｃ、判定部４５ｄ、特定部４５ｅ及び分類処理部４５ｆの機能を発揮させることになる。
【００３７】
学習済モデル取得部４５ａは、モデル生成装置５０から受信した学習済モデルデータを学習済モデルデータ４４ａとして記憶部４４に格納する処理部である。画像データ取得部４５ｂは、顕微鏡画像取得装置３０から判定対象画像データを取得し、確率推定部４５ｃに出力する処理部である。
【００３８】
確率推定部４５ｃは、学習済モデルデータ４４ａに判定対象画像データを入力することで、ウェルに所在する細胞数に関する複数のパターンの推定確率を出力する処理部である。具体的には、確率推定部４５ｃは、細胞数が０個、１個、２個、３個以上の４つのパターンに対応する推定確率Ｐ０、Ｐ１、Ｐ２、Ｐ３を求め、判定対象画像データのウェルＩＤを対応付けて確率推定結果データ４４ｂとして記憶部４４に格納する。
【００３９】
判定部４５ｄは、確率推定部４５ｃから出力された推定確率を用い、ウェルに所在する細胞数を判定する処理部である。具体的には、判定部４５ｄは、確率推定部４５ｃから出力された推定確率のうち、最大となる推定確率を最大推定確率とし、最大推定確率が所定の閾値以上であるならば、最大推定確率に対応するパターンの細胞数を判定結果とする。また、判定部４５ｄは、最大推定確率が閾値未満であれば、判定不能を判定結果とする。例えば、最大推定確率がＰ１であり、Ｐ１が閾値以上であるならば「細胞数＝１」が判定結果となる。一方、最大推定確率がＰ１であり、Ｐ１が閾値未満であるならば「判定不能」が判定結果となる。
【００４０】
ここで、判定不能とは、判定された細胞数が曖昧なサンプルであることを意味する。また、閾値は最大推定確率のヒストグラムから、サンプル全体の中の細胞数が曖昧なサンプルの割合を一定以下に保つよう調整する。
【００４１】
判定部４５ｄは、判定結果をウェルＩＤに対応付け、判定結果データ４４ｃとして記憶部４４に格納する。ここで、判定部４５ｄは、最大推定確率が閾値未満である場合には「判定不能」を判定結果とするが、「判定不能」に替えて「担当者の目視による細胞数の測定を要する」を判定結果としてもよい。かかる判定結果を出力すれば、細胞数計数装置４０により細胞数の確定が行えなかった判定対象画像データについては担当の技術者が目視で細胞数を判定することができる。このように、細胞数計数装置４０による自動的な細胞数測定と技術者の目視による計数を組み合わせて用いれば、すべての顕微鏡画像を技術者が判定する場合より著しく短い時間で高精度な計数を実現可能である。
【００４２】
特定部４５ｅは、判定部４５ｄにより細胞数が１個であると判定された顕微鏡画像を特定する処理部である。具体的には、特定部４５ｅは、判定結果データ４４ｃを参照し、判定結果「細胞数＝１」が対応付けられたウェルＩＤを抽出する。このように、細胞数が１個であると判定された顕微鏡画像を特定すれば、ウェルプレート１０から１つの細胞のみが所在するウェルを選択し、スクリーニングなどに利用することが可能となる。
【００４３】
分類処理部４５ｆは、判定部４５ｄの判定結果に基づいて、細胞数ごとに複数の顕微鏡画像を分類する処理部である。具体的には、分類処理部４５ｆは、判定結果データ４４ｃを参照し、判定結果ごとにウェルＩＤを抽出し、抽出したウェルＩＤに対応する判定対象画像データを判定結果にとともに出力する。
【００４４】
次に、学習済モデルデータ４４ａについて説明する。図４は、学習済モデルデータ４４ａについての説明図である。学習済モデルデータ４４ａは、モデル生成装置５０によって生成された畳み込みニューラルネットワーク（ＣＮＮ）の構造とパラメータを規定することで、細胞数計数装置４０が用いるモデルを規定する。学習済モデルデータ４４ａにより規定されるＣＮＮは、入力層と出力層の他に、１８の中間層を有する。１８の中間層のうち、８つは畳み込み層であり、４つはプール層であり、４つは正規化層であり、２つは完全連結層である。
【００４５】
具体的には、ＣＮＮは、図４に示すように、入力層である画像データ入力層Ｌｉｎ、正規化層Ｌ１、プール層Ｌ２、畳み込み層Ｌ３、畳み込み層Ｌ４、プール層Ｌ５、正規化層Ｌ６、畳み込み層Ｌ７〜Ｌ９、プール層Ｌ１０、正規化層Ｌ１１、畳み込み層Ｌ１２〜Ｌ１４、プール層Ｌ１５、正規化層Ｌ１６、完全結合層Ｌ１７〜Ｌ１８、出力層であるソフトマックス関数層Ｌｏｕｔの順に積層された構造を有する。
【００４６】
入力層である画像データ入力層Ｌｉｎは、判定対象画像データや学習用画像データのサイズに対応する数のノードを有する。例えば、判定対象画像データや学習用画像データとして５１１×５１１画素の画像を用いる場合には、画像データ入力層Ｌｉｎは、２６１１２１個のノードを有し、各画素の画素値を対応するノードで受け付けることになる。
【００４７】
出力層であるソフトマックス関数層Ｌｏｕｔは、細胞数が０である事後確率、細胞数が１である事後確率、細胞数が２である事後確率、細胞数が３以上である事後確率の４つの事後確率を出力する。このため、出力層であるソフトマックス関数層Ｌｏｕｔは４つのノードを有する。
【００４８】
具体的には、ソフトマックス関数層Ｌｏｕｔは、次の関数によりノードｋの出力ｙkを算定する。なお、ノード数は４であるためＫ＝４、ｕkはノードｋに対応する中間値である。また、ｙ1＋ｙ2＋ｙ3＋ｙ4＝１である。
【数１】
2019076063.tif 000003
【００４９】
次に、細胞数計数装置４０の処理について説明する。図５は、細胞数計数装置４０の処理手順を示すフローチャートである。まず、画像データ取得部４５ｂが顕微鏡画像取得装置３０から判定対象画像データを取得すると、確率推定部４５ｃは、学習済モデルデータ４４ａに判定対象画像データを入力することで、細胞数が０個、１個、２個、３個以上の４つのパターンに対応する推定確率Ｐ０、Ｐ１、Ｐ２、Ｐ３を取得する（ステップＳ１０１）。
【００５０】
判定部４５ｄは、Ｐ０、Ｐ１、Ｐ２、Ｐ３の最大値を最大推定確率Ｐとし（ステップＳ１０２）、最大推定確率Ｐを閾値Ｔと比較する（ステップＳ１０３）。比較の結果、Ｐ≧Ｔであるならば（ステップＳ１０３；Ｙｅｓ）、判定部４５ｄは、最大推定確率Ｐに対応するパターンの細胞数を判定結果として決定する（ステップＳ１０４）。そして、決定した細胞数にウェルＩＤを対応付け、判定結果データ４４ｃとして記憶部４４に格納して（ステップＳ１０５）、処理を終了する。
【００５１】
一方、比較の結果、Ｐ＜Ｔであるならば（ステップＳ１０３；Ｎｏ）、判定部４５ｄは、「担当者の目視による細胞数の測定を要する」と判定し（ステップＳ１０６）、判定結果とウェルＩＤを対応付け、判定結果データ４４ｃとして記憶部４４に格納して（ステップＳ１０７）、処理を終了する。
【００５２】
なお、図５では、Ｐ＜Ｔである場合に「担当者の目視による細胞数の測定を要する」との判定結果を対応付ける場合を示したが「判定不能」との判定結果を対応付けてもよい。また、判定結果が「細胞数＝１」であるウェルＩＤを抽出する処理手順とすることもできる。
【００５３】
図６は、細胞数が１のウェルＩＤを抽出する処理手順を示すフローチャートである。図６に示した処理手順では、まず、画像データ取得部４５ｂが顕微鏡画像取得装置３０から判定対象画像データを取得すると、確率推定部４５ｃは、学習済モデルデータ４４ａに判定対象画像データを入力することで、細胞数が０個、１個、２個、３個以上の４つのパターンに対応する推定確率Ｐ０、Ｐ１、Ｐ２、Ｐ３を取得する（ステップＳ２０１）。
【００５４】
判定部４５ｄは、Ｐ０、Ｐ１、Ｐ２、Ｐ３の最大値を最大推定確率Ｐとし（ステップＳ２０２）、最大推定確率Ｐを閾値Ｔと比較する（ステップＳ２０３）。比較の結果、Ｐ≧Ｔであるならば（ステップＳ２０３；Ｙｅｓ）、判定部４５ｄは、最大推定確率Ｐに対応するパターンの細胞数を判定結果として決定する（ステップＳ２０４）。
【００５５】
ステップＳ２０４の後、特定部４５ｅは決定された細胞数が１であるか否かを判定し（ステップＳ２０５）、決定された細胞数が１であるならば（ステップＳ２０５；Ｙｅｓ）、ウェルＩＤを抽出対象として（ステップＳ２０６）、処理を終了する。
【００５６】
決定された細胞数が１でない場合（ステップＳ２０５；Ｎｏ）、もしくはＰ＜Ｔである場合（ステップＳ２０３；Ｎｏ）、特定部４５ｅは、ウェルＩＤを抽出対象から除外して（ステップＳ２０７）、処理を終了する。
【００５７】
次に、モデル生成装置５０の構成について説明する。図７は、モデル生成装置５０の機能構成を示す機能ブロック図である。図７に示すように、モデル生成装置５０は、表示部５１、操作部５２、通信部５３、記憶部５４及び制御部５５を有する。
【００５８】
表示部５１は、液晶パネルなどの表示デバイスで構成され、操作者に対する表示出力に用いられる。操作部５２は、キーボードやボタン等の操作デバイスで構成され、操作者からの操作の受付けに用いられる。また、タッチパネルディスプレイなどを用い、表示部５１と操作部５２とを一体に構成してもよい。通信部５３は、顕微鏡画像取得装置３０や細胞数計数装置４０との通信を行う通信インタフェースである。
【００５９】
記憶部５４は、ハードディスク装置又は不揮発性メモリなどからなる記憶デバイスであり、学習用画像データ５４ａ、学習用正解データ５４ｂ及び学習済モデルデータ５４ｃ等を記憶する。
【００６０】
学習用画像データ５４ａは、学習に用いるための複数の顕微鏡画像である。学習用正解データ５４ｂは、学習用画像データ５４ａに含まれる細胞数を示す正解データであり、複数の学習用正解データ５４ｂに対応する複数の正解データが用いられる。学習済モデルデータ５４ｃは、学習の結果として得られたモデルを特定するデータであり、畳み込みニューラルネットワーク（ＣＮＮ）の構造とパラメータを示す。
【００６１】
制御部５５は、モデル生成装置５０の全体制御を行う制御部であり、学習データ取得部５５ａ、深層学習処理部５５ｂ及び学習済モデル出力部５５ｃ等を有する。なお、実際には、学習データ取得部５５ａ、深層学習処理部５５ｂ及び学習済モデル出力部５５ｃに対応するプログラムをＣＰＵ上にロードして実行することで、学習データ取得部５５ａ、深層学習処理部５５ｂ及び学習済モデル出力部５５ｃの機能を発揮させることになる。
【００６２】
学習データ取得部５５ａは、学習用画像データ５４ａ及び学習用正解データ５４ｂを取得して記憶部５４に格納する処理部である。学習用画像データ５４ａは、顕微鏡画像取得装置３０から取得してもよいし、他のデータベース等から取得してもよい。学習用正解データ５４ｂは、学習用画像データ５４ａに対応付けて取得される。なお、学習用画像データ５４ａと対応する学習用正解データ５４ｂのセットを学習データという。
【００６３】
深層学習処理部５５ｂは、複数の学習用画像データ５４ａと複数の学習用正解データ５４ｂとを用いて、畳み込み深層学習を行ってモデルの生成を行う処理部である。具体的には、深層学習処理部５５ｂは、ソフトマックス回帰法を使用し、パラメータＷの最適化を行う。この回帰は、以下の尤度Ｌにより定まる交差エントロピー関数Ｅが最小化されるように、各反復においてパラメータを更新するバックプロパゲーション法に基づく勾配降下アルゴリズムを使用して実行すればよい。
【数２】
2019076063.tif 000004
【数３】
2019076063.tif 000005
【数４】
2019076063.tif 000006
ここで、Ｎは、学習用画像データ５４ａ及び学習用正解データ５４ｂの総数であり、ｎ＝１，２，・・・，Ｎである。そして、ｘnはｎ番目の学習用画像データ５４ａであり、ｄnはｎ番目の学習用正解データ５４ｂである。
【００６４】
深層学習処理部５５ｂは、最適化したパラメータＷとＣＮＮの構造を学習済モデルデータ５４ｃとして記憶部５４に格納する。
【００６５】
学習済モデル出力部５５ｃは、記憶部５４から学習済モデルデータ５４ｃを読み出して出力する処理部である。この出力は、例えば細胞数計数装置４０に対する送信により行われる。また、出力のタイミング及び出力先は任意に選択可能である。すなわち、記憶部５４に格納した学習済モデルデータ５４ｃは、任意の装置に任意のタイミングで提供することができる。
【００６６】
次に、深層学習処理部５５ｂによる学習の具体例について説明する。図８、図９及び図１０は、深層学習処理部５５ｂによる学習の具体例についての説明図である。まず、単細胞イメージングに適した細胞型としてII型リンパ系細胞（ＩＬＣ２ｓ）を用いた。２０ｍｌのヒト末梢血からＩＬＣ２を採取し、約７００個の細胞を３９８４個のウェルを有するウェルプレート１０に均一に分配した。また、各ウェルの顕微鏡画像として、１画素８ビット、５１１×５１１画素のグレースケール画像を用いた。
【００６７】
ＣＮＮの初期パラメータは、平均０および分散２／Ｎｉｎ（Ｎｉｎは、ネットワーク内の前の層のノードの数）を有する正規分布からサンプリングした。畳み込み層及び完全結合層の活性化関数として、rectified linear unit (ReLU)を使用した。また、学習率は０．０００１に設定した。さらに、学習時には完全結合層ごとに全ノードの30％を無作為にゼロに設定し、ドロップアウトを行うことにより過学習を防止した。また、パラメータの総数は４６８７６８であった。
【００６８】
図８に示すように、ウェルプレート１０が有する３９８４個のウェルをそれぞれ撮像した３９８４個のサンプルを全サンプルのサブセットとし、全３０サブセット（合計１１９５２０）の学習用データうち、トレーニング用に２４サブセットを用い、検証用に４サブセットを用い、テスト用に２サブセットを用いた。
【００６９】
ＣＮＮをトレーニングするために使用するミニバッチは１９９サンプルから構成し、１つのミニバッチは、正解の細胞数が０であるサンプルを７７個、正解の細胞数が１であるサンプルを２１個、正解の細胞数が２であるサンプルを１０個、正解の細胞数が３以上であるサンプルを１１個含むものとした。
【００７０】
そして、ＣＮＮのトレーニングのため、トレーニング用のサブセットから無作為にミニバッチをサンプリングした。なお、１つのミニバッチを使用したトレーニングプロセスを１反復（iteration）とする。
【００７１】
１回目のトレーニングは、最初の５つのサブセット（１９９２０サンプル）を使用して２００００反復回実行し、２回目のトレーニングは、次の５つのサブセットを使用して１００００反復回実行し、３回目の訓練は、次の５つのサブセットを用いて５０００反復回実行して行った。その後、２４のトレーニングサブセットのすべてから６つのサブセットをランダムに選択することによって、５０００反復回の連続的なトレーニングプロセスが実行された。
【００７２】
トレーニング後のＣＮＮは検証用のサブセットで検証し、過適合が観察される前にトレーニングを停止する早期停止を行った。１反復に要した時間は約２．７２秒であった。
【００７３】
図９は、トレーニングの結果を示している。図９（ａ）に示すように、トレーニング損失（トレーニングサンプルの損失関数の値）は急速に減少した。また、図９（ｂ）に示すように、トレーニング精度（トレーニングサンプルにおける正解率）は向上した。そして、図９（ｃ）に示すように、検証損失（検証サンプルの損失関数の値）は減少し、図９（ｄ）に示すように、検証精度（検証サンプルにおける正解率）は向上した。
【００７４】
テストに独立したデータを使用した場合、トレーニング後のＣＮＮを用いた予測の全体的な精度は９８．３％であった。１セットに対応する３９８４個の各ウェル内の細胞の数を技術者が目視により計数すると約４０分を要する。対照的に、トレーニング後のＣＮＮを用いれば、３０秒以内に計数結果が得られた。すなわち、本実施例のシステムは、技術者の目視を用いるよりも８０倍速いことが示された。
【００７５】
また、本実施例のシステムは、ウェルの形状が異なっても適用可能である。正方形のウェルのサンプルにより訓練されたＣＮＮを引き続き円形のウェルからの顕微鏡画像によりトレーニングした場合の結果を図１０に示す。図１０に示すように、トレーニング損失は急速に減少し（ｅ）、トレーニング精度は向上し（ｆ）、検証損失は減少し（ｇ）、検証精度は向上した（ｈ）。精度を評価するために独立したデータを使用した場合、トレーニング後のＣＮＮの全体的な精度（技術者の目視と結果が一致した割合）は97.1％であり、これらの結果は、トレーニング後のＣＮＮが高い汎用性を有し、ウェルの形状にかかわらず細胞数計測に適用できることを示している。
【００７６】
上述してきたように、本実施例では、複数の学習用顕微鏡画像及び正解データを用いて深層学習を行った学習済みモデルを示す学習済モデルデータ４４ａと、学習済みモデルに対して判定対象となる顕微鏡画像を入力して該顕微鏡画像内に所在する細胞数を判定する判定部４５ｄとを備えることにより、ナノリットルウェルの中に存在する細胞数を迅速かつ正確に計数することできる。
【００７７】
具体的には、学習済みモデルは、所定の関数を用いて顕微鏡画像に含まれる細胞数に関する複数のパターンの推定確率を出力し、判定部４５ｄは、学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値以上である場合に、該推定確率に対応するパターンの細胞数が顕微鏡画像に含まれる細胞数であると判定する。また、所定の関数としては、最大事後確率を求めるソフトマックス関数を用いることができる。
【００７８】
さらに、学習済みモデルから出力された細胞数に関する複数のパターンの推定確率のうち、最大となる推定確率が所定の閾値未満である場合に、担当者の目視による細胞数の測定を要するものと判定することにより、さらに正確な計数を行うことができる。
【００７９】
なお、細胞数のパターンとしては、細胞数が０個、１個、２個、３個以上の４つのパターンを用い、４つのパターンごとの推定確率の合計値は１とする。さらに、細胞数が１個であると判定された顕微鏡画像を特定する特定部４５ｅを備えることで、単一の細胞が所在するウェルを用いた処理が容易となる。また、判定結果に基づいて、細胞数ごとに複数の顕微鏡画像を分類することも可能である。
【００８０】
また、本実施例では、モデル生成装置５０の深層学習処理部５５ｂが深層学習により学習済みモデルを生成して細胞数計数装置４０に出力し、細胞数計数装置４０がモデル生成装置５０から取得した学習済みモデルを用いて判定を行うよう構成している。
【００８１】
また、顕微鏡画像としては、ナノリットルの容量の限界希釈化された細胞液が収容された窪みを顕微鏡で撮像した顕微鏡画像を用いている。この顕微鏡画像は、枠（微細加工構造体像）の除去、細胞の位置修正、ノイズ除去を含む前処理が行われていない顕微鏡画像である。
【００８２】
なお、上記実施例では、ウェルプレート１０を撮像して顕微鏡画像を取得し、学習と計数を行う場合を例に説明を行ったが、本発明はこれに限定されるものではない。例えば、データベースなどから取得した画像を用いて学習や計数を行うことも可能である。また、モデル生成装置５０と細胞数計数装置４０の双方の機能を有する装置として実施するなど、本実施例に示した構成及び動作は適宜変形して実施することができ、また、学習や計数に係る各種の手法も適宜変更して実施することが可能である。
【産業上の利用可能性】
【００８３】
以上のように、本発明に係る細胞数計数装置、細胞数計数システム及び細胞数計数方法は、試験管やナノリットルウェルの中に存在する細胞数を迅速かつ正確に計数する場合に有用である。
【符号の説明】
【００８４】
１０  ウェルプレート
２０  ディスペンサ
３０  顕微鏡画像取得装置
４０  細胞数計数装置
４１、５１  表示部
４２、５２  操作部
４３、５３  通信部
４４、５４  記憶部
４４ａ、５４ｃ  学習済モデルデータ
４４ｂ  確率推定結果データ
４４ｃ  判定結果データ
４５、５５  制御部
４５ａ  学習済モデル取得部
４５ｂ  画像データ取得部
４５ｃ  確率推定部
４５ｄ  判定部
４５ｅ  特定部
４５ｆ  分類処理部
５０  モデル生成装置
５４ａ  学習用画像データ
５４ｂ  学習用正解データ
５５ａ  学習データ取得部
５５ｂ  深層学習処理部
５５ｃ  学習済モデル出力部
【図１】
2019076063.tif 000007
【図２】
2019076063.tif 000008
【図３】
2019076063.tif 000009
【図４】
2019076063.tif 000010
【図５】
2019076063.tif 000011
【図６】
2019076063.tif 000012
【図７】
2019076063.tif 000013
【図８】
2019076063.tif 000014
【図９】
2019076063.tif 000015
【図１０】
2019076063.tif 000016