(57)【要約】【課題】マーカーを用いない画像からであっても画像に含まれる細胞の位置や個数の自動計測を可能とする。【解決手段】本発明に係る画像処理方法は、テスト画像を第１の学習モデルに入力し（ステップＳ１０２）、その出力画像を第２の学習モデルに入力し（ステップＳ１０４）、その出力画像を被検出部位の位置がその代表点によって示された結果画像として出力する（ステップＳ１０５）。ここに第１の学習モデルは、互いに同じ細胞を含んで撮像された画像であるマーカーが発現した第１画像とマーカーの発現がない第２画像とを対応付けた教師データを用いたディープラーニングにより構築されたものである。また第２の学習モデルは、マーカーが発現した第３画像と、第３画像に含まれる代表点の位置を表す情報とを対応付けた教師データを用いたディープラーニングにより構築されたものである。【選択図】図２
2019211468.tif 000002
【特許請求の範囲】
【請求項１】
細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理方法であって、
前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力し、
前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である、前記被検出部位に対応するマーカーが発現した第１画像と、前記マーカーの発現がない第２画像とを対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニングを実行することにより構築されたものであり、
前記第２の学習モデルは、細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、前記第３画像に含まれる前記代表点の位置を表す情報とを対応付けた教師データを用い、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである、画像処理方法。
【請求項２】
複数の前記第１画像のうち少なくとも一部が、複数の前記第３画像の少なくとも一部として用いられる請求項１に記載の画像処理方法。
【請求項３】
複数の前記第１画像と、複数の前記第３画像とが互いに異なる請求項１に記載の画像処理方法。
【請求項４】
前記第２画像を前記第１の学習モデルに入力したときの出力画像を前記第３画像とする請求項１に記載の画像処理方法。
【請求項５】
前記テスト画像および前記第２画像は明視野画像または位相差画像である請求項１ないし４のいずれかに記載の画像処理方法。
【請求項６】
前記第１画像は、蛍光ラベリングされた細胞を励起光照明下で撮像した蛍光画像である請求項１ないし５のいずれかに記載の画像処理方法。
【請求項７】
前記蛍光ラベリングは、生きている細胞と死んだ細胞とで異なる発現態様を示すものを含む請求項６に記載の画像処理方法。
【請求項８】
前記結果画像に基づき前記被検出部位の数を計数して出力する請求項１ないし７のいずれかに記載の画像処理方法。
【請求項９】
培養された細胞に評価対象となる薬剤が投与された試料を撮像した画像を取得する工程と、
取得された前記画像を前記テスト画像として、請求項８に記載の画像処理方法により、前記被検出部位としての生きている細胞の数を計数する工程と、
前記計数の結果に基づき、前記細胞の前記薬剤に対する感受性を判定する工程と
を備える薬剤感受性試験方法。
【請求項１０】
細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理装置であって、
前記テスト画像としての明視野画像または位相差画像を取得する画像取得部と、
前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力する画像処理部と
を備え、
前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である、前記被検出部位に対応するマーカーが発現した第１画像と、前記マーカーの発現がない第２画像とを対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニングを実行することにより構築されたものであり、
前記第２の学習モデルは、細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、前記第３画像に含まれる前記代表点の位置を表す情報とを対応付けた教師データを用い、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、細胞を撮像した画像に含まれる細胞のうち特定部位の位置を決定する画像処理方法およびこれを用いた薬剤感受性試験方法ならびに画像処理装置に関するものである。
【背景技術】
【０００２】
例えば創薬スクリーニングを目的とする実験では、薬剤を投与された試料における細胞の変化を観察することが広く行われている。従来の試験方法としてはＡＴＰ法、ＭＴＴ法などが知られているが、近年では試料を撮像した画像から細胞の個数、サイズ、形状等を自動的に計測することも行われる。このような実験では、特定の性質を有する部位（例えば細胞核）において選択的に発現するようなマーカーが細胞に導入され（この操作はラベリングとも称される）、画像におけるマーカーの発現箇所が、画像処理によって検出される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５２１０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようなマーカーの導入は観察対象である細胞を改変するものであるため、継続的な細胞の観察には必ずしも向いていない。また、マーカーを付与するための試薬やその導入作業が実験コストの上昇の原因となる。このことから、マーカーを用いずに画像から細胞を識別することが望まれる。
【０００５】
特に創薬スクリーニングのための実験においては、画像中に含まれる種々のオブジェクトのうちに生きている細胞がどれだけあるかを容易に把握することができるのが望ましい。しかしながら、マーカーを用いずに撮像された画像は、細胞の形状やテクスチャなどの観察には適しているが、細胞の位置や個数を自動的に計測するには必ずしも適したものとは言えない。このため、マーカーを用いない画像から細胞の位置や個数を自動的に計測する技術の確立が望まれている。
【０００６】
この発明は上記課題に鑑みなされたものであり、マーカーを用いない画像からであっても画像に含まれる細胞の位置や個数の自動計測を可能とする画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の一の態様は、細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理方法であって、上記目的を達成するため、前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力する。
【０００８】
また、この発明の他の態様は、細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理装置であって、上記目的を達成するため、前記テスト画像としての明視野画像または位相差画像を取得する画像取得部と、前記テスト画像を第１の学習モデルに入力し、前記第１の学習モデルの出力画像を第２の学習モデルに入力し、前記第２の学習モデルの出力画像を、前記被検出部位の位置がその代表点によって示された結果画像として出力する画像処理部とを備える。
【０００９】
これらの発明において、前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である、前記被検出部位に対応するマーカーが発現した第１画像と、前記マーカーの発現がない第２画像とを対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニング（深層学習）を実行することにより構築されたものである。また、前記第２の学習モデルは、細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、前記第３画像に含まれる前記代表点の位置を表す情報とを対応付けた教師データを用い、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである。
【００１０】
このように構成された発明では、マーカーが導入されていないテスト画像からでも、特定の特徴を有する被検出部位の位置を精度よく検出することが可能である。その理由は以下の通りである。
【００１１】
本発明において、第１の学習モデルは、被検出部位に対応するマーカーが発現した第１画像と、マーカーの発現がない第２画像とを対応付けた教師データを用いてディープラーニングが実行されることにより構築される学習モデルである。したがって、学習済みの第１の学習モデルでは、マーカーありの画像とマーカーなしの画像とが相互に対応づけられている。
【００１２】
このため、マーカーの発現のないテスト画像を第１の学習モデルに入力すれば、その出力としてテスト画像に対応するマーカー付きの画像が得られる。この画像は、テスト画像の撮像に用いられた試料にマーカーを導入し、それが発現する条件で撮像を行ったときに得られる画像に相当する。つまり第１の学習モデルは、マーカーなしのテスト画像から、もし同じ試料がマーカーを発現させた状態で撮像されれば得られるであろう擬似的なマーカー付き画像を生成する機能を有する。これにより、試料に実際にマーカーを導入しなくても、あたかもマーカーが発現したかのような画像を得ることができる。
【００１３】
一方、第２の学習モデルは、マーカーが発現した画像と、被検出部位の代表点の位置を表す情報とを対応付けた教師データを用いてディープラーニングが実行されることにより構築される学習モデルである。したがって、学習済みの第２の学習モデルでは、マーカーの発現した画像とその中に含まれる被検出部位の代表点の位置とが相互に対応づけられている。
【００１４】
このため、マーカーが発現した画像を第２の学習モデルに入力すると、その出力としては、入力画像中に存在する被検出部位の代表点の位置を示した画像が得られる。ここで入力画像として第１の学習モデルの出力画像を用いれば、当該画像における被検出部位の代表点の位置を特定した最終的な出力画像が得られる。第１の学習モデルの出力画像はマーカーなしのテスト画像から生成された擬似的なマーカー付き画像であるから、上記した一連の処理によって、マーカーなしのテスト画像における被検出部位の代表点の位置が特定されることになる。
【００１５】
教師付き機械学習により細胞の画像を分類することは以前から行われているが、それらの多くは人為的に選択された特徴量に基づく特徴量空間内でのクラスタリングによるものである。この場合、どのような特徴量を使用するかが分類精度に影響を与えるため、被検出部位やその他の部位が示す特徴に応じて特徴量を決定する必要がある。したがって、運用に当たっては特徴量を選択するための専門的知識が必要となり、また種々の細胞に対する汎用性は必ずしも高くない。
【００１６】
これに対し、ディープラーニングによる本発明では、事前の特徴量の選択が不要であり、教師データとなる画像サンプルを十分に用意することさえできれば、高精度な学習モデルを構築することが可能である。このため、画像に現れる特徴が異なる種々の細胞についても、同一の学習アルゴリズムでの対応が可能となる。
【００１７】
このように、本発明では被検出部位を代表する代表点の位置が高精度に特定されるため、マーカーなしのテスト画像であっても、当該画像中の被検出部位の位置やその個数等を自動的に計測することが可能となる。
【００１８】
また、この発明の他の態様は、培養された細胞に評価対象となる薬剤が投与された試料を撮像した画像を取得する工程と、取得された前記画像を前記テスト画像として、上記した画像処理方法により、前記被検出部位としての生きている細胞の数を計数する工程と、前記計数の結果に基づき、前記細胞の前記薬剤に対する感受性を判定する工程とを備える薬剤感受性試験方法である。
【００１９】
このように構成された発明では、テスト画像中の生きている細胞を被検出部位として上記した画像処理方法を実行することで、テスト画像において生きている細胞が存在する位置を精度よく特定することができる。この結果を用いれば、テスト画像中の生きている細胞を選択的に検出しその数を精度よく求めることができるので、生きている細胞の数に基づき当該細胞の薬剤に対する感受性を効果的に判定することが可能となる。
【発明の効果】
【００２０】
本発明によれば、事前のディープラーニングにより構築された学習モデルを使用することで、マーカーなしのテスト画像から当該画像中の被検出部位の代表点の位置を精度よく検出することが可能である。このため、被検出部位の位置や個数を自動計測するのに好適な結果画像を出力することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態である画像処理プロセスの概念を示す図である。
【図２】この画像処理プロセスを示すフローチャートである。
【図３】第１の学習モデルを構築する学習プロセスを示すフローチャートである。
【図４】本実施形態が採用する学習モデルの動作を示す模式図である。
【図５】第２の学習モデルを構築する学習プロセスを示すフローチャートである。
【図６】代表点の与え方を例示する図である。
【図７】本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。
【図８】本実施形態による細胞数の計測結果の例を示す図である。
【図９】本実施形態による細胞数の計測結果をＡＴＰアッセイ法と対比した図である。
【図１０】三重染色された試料の画像例を示す図である。
【図１１】三重染色された試料の画像例を示す図である。
【図１２】計数結果を比較する実験結果の一例を示す図である。
【図１３】本実施形態の画像処理方法を適用した薬剤感受性試験方法を示すフローチャートである。
【図１４】本発明の他の実施形態を示す図である。
【発明を実施するための形態】
【００２２】
図１は本発明の一実施形態である画像処理プロセスの概念を示す図である。また、図２はこの画像処理プロセスを示すフローチャートである。この画像処理プロセスの目的は、細胞を含んで撮像されたテスト画像Ｉｔから、特定の被検出部位（例えば細胞核）の位置を検出し、最終的には所定の条件を満たす細胞の個数を計測することである。より具体的には、対象となるテスト画像Ｉｔは、例えば光学顕微鏡撮像により得られる明視野画像や位相差画像である。また、被検出部位の検出結果はその代表点の位置を表した結果画像Ｉｏとして出力される。
【００２３】
具体的な処理プロセスの概要は以下の通りである。まず対象となるテスト画像Ｉｔが取得される（ステップＳ１０１）。テスト画像Ｉｔは新たに撮像を実行することによって取得されてもよく、また予め撮像され適宜の記憶手段に保存されている画像データを読み出すことにより取得されてもよい。
【００２４】
テスト画像Ｉｔは第１の学習モデル１０に入力される（ステップＳ１０２）。第１の学習モデル１０は、テスト画像Ｉｔに基づき作成した中間画像Ｉｍを出力する（ステップＳ１０３）。中間画像Ｉｍは、もしテスト画像Ｉｔと同一のサンプルがマーカーの発現する条件で撮像されていれば得られたであろう画像である。
【００２５】
つまり、第１の学習モデル１０は、マーカーなしのテスト画像Ｉｔから、疑似的なマーカーが付与された中間画像Ｉｍを作成する機能を有する。この意味において、第１の学習モデル１０は例えば「マーカー生成モデル」と呼ぶこともできる。マーカーなしの画像から疑似的なマーカー付き画像を高い精度で（つまり実際にマーカーが導入され撮像された画像との間で高い類似度が得られるように）作成することができれば、試料にマーカーを導入する必要がなくなる。このことは、観察対象である細胞に対し侵襲的な撮像を不要とするとともに、マーカー導入に伴うコストの低減にも寄与する。
【００２６】
マーカーを導入しない撮像においては、試料にマーカー導入のための処理を施す必要がない。このため、細胞に対し非侵襲で撮像を行うことが可能であり、細胞の経時的な変化を観察する目的にも適用することができる。また、マーカーとなる試薬およびそれを導入する処理が不要となるため、撮像を含む実験のコストを抑制することも可能である。また、マーカーの種類によっては、撮像が可能となるまでに例えば長いものでは数日といった時間を要するものもあるが、このような時間も省略することができる。このため、細胞の状態が短時間で大きく変化するような試料の観察にも適しており、例えば再生医療分野への応用にも好適である。
【００２７】
こうして撮像されるマーカーを伴わない画像、例えば細胞の明視野画像は、細胞の形状や内部構造の濃淡などが明瞭に現れるため目視観察に好適である。その一方、着目すべき特定の部位、例えば細胞核の画像内での位置や個数を定量的にかつ自動的に検出するという目的のためには、計測精度の点で依然としてマーカー付きの画像が有利である。したがって、マーカーなしの画像からマーカー付きの画像を生成することができれば、マーカーなしの画像からでも精度のよい定量的な計測が可能となる。
【００２８】
この目的のために、第１の学習モデル１０は、予め収集された教師データを用いたディープラーニングによって構築される。教師データは、マーカーが導入された細胞を含んで予め用意された試料の同一位置を該マーカーの発現を撮像した第１教師画像Ｉ１とマーカーが発現しない状態で撮像した第２教師画像Ｉ２とのセットを、多数収集したものである。
【００２９】
マーカーとしては例えば細胞の特定の部位において選択的に蛍光を発するものを用いることができ、この場合には励起光照明下で撮像される蛍光画像を第１教師画像Ｉ１、可視光照明下で撮像される明視野画像を第２教師画像Ｉ２とすることができる。このような第１教師画像Ｉ１と第２教師画像Ｉ２との間では、画像内で対応する位置同士を比較することで、試料中の同一オブジェクトをマーカー付きで撮像した場合とマーカーなしで撮像した場合との間での画像への現れ方を相互に関連付けることができる。
【００３０】
このような事例を多数収集して教師データとして用い機械学習を実行することで、例えばマーカーなしの画像に現れるオブジェクトが、マーカーの発現する状態で撮像された場合にどのような像として現れるかを類推することが可能となる。このことを利用して、マーカーなし画像から疑似的なマーカー付き画像を作成することが可能である。特に学習アルゴリズムとしてディープラーニングを用いたとき、画像を解析するための特徴量を人為的に与える必要がないので、用途に応じて適切に特徴量を選定するための専門的知識が不要であり、しかも特徴量の不適切な選択による誤判定の可能性を排除した最適な学習モデルを構築することが可能である。
【００３１】
ディープラーニングの原理や学習アルゴリズムについては種々の公知資料が既に存在しているため、ここでは詳しい説明を省略する。本実施形態において利用可能なディープラーニング手法は特定のアルゴリズムに限定されるものではない。なお本実施形態において特に好適に利用可能な、画像等の対データを入出力に用い対データ間の相関を学習させるディープラーニング手法としては、例えばConditional GANをベースにしたpix2pixとして知られた方法がある（参考文献：Phillip Isola et al., Image-to-Image Translation with Conditional Adversarial Networks. CVPR, 21-Nov. 2016、ＵＲＬ：https://arxiv.org/pdf/1611.07004v1.pdf）。
【００３２】
図３は第１の学習モデルを構築するための学習プロセスを示すフローチャートである。上記したように、第１の学習モデル１０は、同一試料の同一位置を撮像した明視野画像と蛍光画像とのセットを多数収集し（ステップＳ２０１）、これらを教師データとしてディープラーニングを実行することにより、第１の学習モデル１０を構築することができる（ステップＳ２０２）。教師画像（第１教師画像Ｉ１および第２教師画像Ｉ２）は、テスト画像Ｉｔにおいて着目される被検出部位を含む細胞と同種の細胞を撮像したものであることが望ましい。
【００３３】
図４は本実施形態が採用する学習モデルであるpix2pixアルゴリズムの動作を示す模式図である。図４に示すように、第１の学習モデル１０は、画像生成部１１と、識別部１２と、オプチマイザ１３とを備えている。画像生成部１１は、複数段の畳み込み層で画像特徴を捉えるエンコーダ１１ａと、同じ段数の逆畳み込み層でその特徴から逆演算を行い画像生成を行うデコーダ１１ｂとを有する。明視野画像である第２教師画像Ｉ２が入力画像として画像生成部１１に与えられる。識別部１２は、画像特徴から入力画像か生成画像かを識別する。蛍光画像である第１教師画像Ｉ１を識別部１２に入力して本物学習を行わせる一方、画像生成部１１から出力された生成画像Ｉｇを識別部１２に入力して偽物学習を行わせる。オプチマイザ１３は、画像生成部１１が出力した生成画像Ｉｇが本物（第１教師画像Ｉ１）に近づくように学習モデルの内部パラメータ調整を行う。これを繰り返すことで学習が進む。十分学習が進めば、未知の明視野画像（テスト画像Ｉｔ）からこれに対応する疑似的な蛍光画像（中間画像Ｉｍ）を生成する機能を有することとなる。
【００３４】
なお、ここでは細胞にマーカーを付す方法として蛍光ラベリングを用いているが、マーカーの態様はこれに限定されない。例えば適宜の染料によって特定の部位が選択的に染色される態様であってもよい。この場合、未染色の試料の画像と染色された試料の画像とのセットを教師データとしてディープラーニングを行うことで、新たに与えられる未染色画像から、当該試料が染色された場合に得られる画像を類推して作成することができる。
【００３５】
また、１つの試料に対し複数種のマーカーが導入されてもよい。例えば、生きている細胞の細胞質において緑色に発現するマーカーとしてカルセイン（Calcein）が、死んだ細胞の核において赤色に発現するマーカーとしてヨウ化プロピジウム（Propidium Iodide；ＰＩ）がそれぞれ知られており、これらを同一試料に導入することも広く行われている。このような例では、蛍光画像においてそれぞれのマーカーが異なる色で発現するため、例えばカラー画像であれば画像を色分解することにより、生きている細胞と死んだ細胞とを区別することが可能である。
【００３６】
本実施形態の画像処理にもこの手法を導入することが可能である。すなわち、これら２種類のマーカー導入した試料の蛍光画像と明視野画像とのセットを教師データとしてディープラーニングを実行することで、テスト画像となる明視野画像中のオブジェクトのうち生きている細胞に対応するものがカルセインに対応する緑色で、死んだ細胞の核に対応するものがＰＩに対応する赤色でそれぞれ示された中間画像が得られることになる。
【００３７】
なお、このように異なる発光色を有する複数種のマーカーを導入する場合、少なくともマーカー付き画像は色を区別して取り扱うことのできるものである必要がある。例えばフルカラー画像を撮像しＲＧＢ各色に色分解したデータを用いることができる。また、発光色に応じたバンドパスフィルタを介してモノクロ撮像された画像データを、当該発光色に対応する分版画像データとして扱うようにしてもよい。例えば高感度の冷却ＣＣＤカメラを用いてモノクロ撮像を行うようにすれば、高分解能で色再現も可能な画像データを取得することができる。
【００３８】
このように、マーカー付き画像とマーカーなし画像とのセットを教師データとしてディープラーニングを実行することで第１の学習モデル１０が構築される。こうして構築された第１の学習モデル１０は、マーカーなしの新たな明視野画像であるテスト画像Ｉｔに基づき、同じ試料にマーカーが導入された場合に得られる蛍光画像を類推して疑似的なマーカー付き画像を作成する。この画像が中間画像Ｉｍである。
【００３９】
図１に示される中間画像Ｉｍは、テスト画像Ｉｔに対応する疑似マーカー付き画像であり、テスト画像Ｉｔに含まれるオブジェクトのうち２種類のマーカーがそれぞれ発現するものが２種類の濃度で示されている。
【００４０】
図１および図２に戻って画像処理プロセスの説明を続ける。ここまでの処理により、マーカーを導入していない試料を撮像した画像から疑似マーカー付き画像を作成することができる。目的とする被検出部位に応じた適宜のマーカーを選択することで、画像内における被検出部位の有無やその位置を画像に表すことができる。例えばテスト画像Ｉｔと中間画像Ｉｍとを重畳して表示すれば、テスト画像Ｉｔに現れるオブジェクトのうちどれが被検出部位に対応するものであるかを簡単に視認することが可能となる。例えば画像中の細胞を目視観察するのに際して、各細胞の生死を明示することができる。マーカーに対応していない、つまり観察対象ではないオブジェクトはこの時点で画像から除外されており、後の処理には影響を与えない。
【００４１】
ところで、マーカー付き画像、特に励起光に応じてマーカーが発光する蛍光画像においては、その原理上、本来のオブジェクトの形状の情報が失われているケースが多い。このことから、第１の学習モデル１０が出力する疑似マーカー付き画像においても、細胞等の正確な形状や画像における広がり等に関する情報は得られないことがある。例えば試料において複数の細胞が互いに接触しまたは近接している場合、画像にはそれらが一体のものとして現れるケースがあり得る。このことは、細胞の位置や個数を定量的に検出する上での誤差要因となり得る。
【００４２】
そこで、この実施形態では、第１の学習モデル１０により作成された中間画像Ｉｍから被検出部位の位置を特定するために第２の学習モデル２０を用いる。図１に示すように、第２の学習モデル２０は、予め準備された第３教師画像Ｉ３と、該画像における被検出部位を代表する代表点の位置を示す位置情報画像Ｉｐとのセットを教師データとしてディープラーニングを実行することにより構築されたものである。
【００４３】
後述するように、このようにして構築される第２の学習モデル２０は、マーカー付き画像から、画像中の被検出部位を代表する代表点の位置を検出する機能を有する。この意味において、第２の学習モデル２０は「位置決定モデル」と呼ぶこともできる。具体的な処理プロセスにおいては、上記のようにしてテスト画像Ｉｔに対応する疑似的マーカー付き画像である中間画像Ｉｍが第１の学習モデル１０により生成され、該中間画像Ｉｍは第２の学習モデル２０に入力される（ステップＳ１０４）。
【００４４】
第２の学習モデル２０は、入力された中間画像Ｉｍから被検出部位の代表点の位置を示す画像を作成し、これを結果画像Ｉｏとして出力する（ステップＳ１０５）。例えば被検出部位を「生きている細胞」とし、その核の重心位置を代表点とすれば、結果画像Ｉｏは、テスト画像Ｉｔに含まれるオブジェクトのうち「生きている細胞の核の重心位置」を示した画像となる。結果についてはこのように画像として出力される必要は必ずしもなく、例えば検出された代表点の座標を表すデータとして出力されてもよい。被検出部位および代表点の定義についても上記に限定されず任意である。
【００４５】
こうして画像における被検出部位の代表点の位置を特定するデータが得られれば、そのデータから例えばその個数を自動的に計数すること（ステップＳ１０６）は容易である。計数結果が出力されユーザに提示されるようにすれば（ステップＳ１０７）、ユーザはテスト画像Ｉｔを用意するだけで、当該画像に含まれる被検出部位の計数結果を入手することができることになる。
【００４６】
図５は第２の学習モデルを構築するための学習プロセスを示すフローチャートである。予め、教師画像（図１に示す第３教師画像Ｉ３）となる複数の蛍光画像が収集される（ステップＳ３０１）。この場合の蛍光画像としては、
（１）第１教師画像Ｉ１として収集されたものと同じ蛍光画像
（２）第１教師画像Ｉ１とは別に撮像された蛍光画像
のいずれであってもよい。さらに、第１の学習モデル１０により作成される疑似マーカー付き画像が実際の蛍光画像と十分に高い類似性を示す場合には、
（３）第１の学習モデル１０が出力した疑似的な蛍光画像
を用いることも可能である。またそれらを合わせて教師画像としてもよい。
【００４７】
なお、ここでは教師画像を蛍光画像としているが、より広義には、第１の学習モデル１０が出力する疑似マーカー付き画像と同種の被検出部位について同種のマーカーが発現した画像であればよい。
【００４８】
収集された蛍光画像に含まれる被検出部位につき、その代表点の位置を特定するための情報（位置情報）が収集される（ステップＳ３０２）。例えば特定の種類の細胞や細胞中の構造体（例えば細胞核）などの被検出部位は、画像内で一定の広がりを有しており、その形状も個体差が大きい。このため、被検出部位の位置を簡素なデータで一意に表すことは困難である。そこで、その代表点を適宜に定め、その位置によって被検出部位の位置を表すこととする。
【００４９】
例えば被検出部位が細胞中の細胞核やミトコンドリアなど比較的小さな構造体である場合には、画像内での当該構造体の適宜の位置（例えば重心位置）を代表点とすることができる。また、個々の細胞が被検出部位とされる場合にも、その核の重心位置を代表点とすることができる。このようにすると、例えば近接する複数の細胞が蛍光画像内で一体になっていたとしても、核の位置を特定すれば複数の核を含むことから、それらは別個の細胞であることが示される。すなわち、蛍光画像では一体に見える複数の細胞を区別し個別に計数することができる。
【００５０】
これを可能とするために、収集された蛍光画像の各々に含まれる被検出部位について、その代表点の位置が設定される。例えば、典型例としての蛍光画像を画面に表示させ熟練者に代表点の位置を指定入力させることで代表点を設定してもよい。また、例えば細胞核のようにマーカーによって明示される比較的小さな構造体の中心または重心を画像処理によって求め、その位置を代表点の位置としてもよい。また、蛍光画像に含まれるオブジェクトを段階的に収縮させる公知の画像処理（エロージョン処理）を実行し、最終的に残る点を代表点としてもよい。このように広がりを有する領域から１つの代表点を選出する画像処理としては、例えば公知のMaxPooling処理を好適に適用可能である。
【００５１】
こうして収集された、蛍光画像とそれに含まれる被検出部位の代表点の位置情報とのセットが教師データとされる（ステップＳ３０３）。図１では、この位置情報が代表点の位置をマッピングした画像Ｉｐとして示されているが、これに限定されず、例えば代表点の位置座標を記述したテーブルとして位置情報が表されていてもよい。
【００５２】
作成された教師データに基づきディープラーニングを実行することにより、第２の学習モデル２０が構築される（ステップＳ３０４）。例えば蛍光画像である第３教師画像Ｉ３を入力に対応させ、代表点の位置を示す位置情報画像Ｉｐを出力に対応させて学習を行わせれば、被検出部位に対応するマーカーが発現した蛍光画像から被検出部位の位置を検出することが可能となる。
【００５３】
すなわち、上記のようにして構築される第２の学習モデル２０は、第１の学習モデル１０が出力する中間画像Ｉｍあるいは新たに取得された未知の蛍光画像が入力されると、当該画像における被検出部位を代表点の位置によって示した画像を出力する機能を獲得したことになる。この出力画像が結果画像Ｉｏとなる。なお、処理の目的としては被検出部位の位置が特定されれば足り、これを示した結果画像Ｉｏを作成することに代えて、あるいはこれに加えて、例えば検出された代表点の位置座標を表したテーブルまたはリストが作成される態様であってもよい。
【００５４】
図６は代表点の与え方を例示する図である。図６（ａ）に示すように、比較的単純な外形を有するオブジェクトＱ１については、例えば独立した１つの細胞（または細胞塊）に対応するものと考えることができるので、その内部に１つの代表点Ｐ１が設定されるようにすればよい。一方、図６（ｂ）に示すように、オブジェクトＱ２の外周形状が複雑である場合には、複数の細胞が部分的に接していると見なして、その形状に応じて複数の代表点Ｐ２，Ｐ３が設定されるようにすればよい。
【００５５】
このような細胞の連結に対しても、種々の事例を収集した教師データを用意し、ディープラーニングを行わせて第２の学習モデル２０を構築することで対応可能である。すなわち、未知の蛍光画像あるいは第１の学習モデル１０が出力する中間画像Ｉｍにおいて同様の形状のオブジェクトが現れたとき、それが単一の細胞であると誤認識されることなく、個々の細胞に対応してそれぞれの代表点が検出されることになる。
【００５６】
このように、第２の学習モデル２０は、本実施形態における第１の学習モデル１０から出力される中間画像Ｉｍから被検出部位の代表点の位置を特定するという目的だけでなく、より一般的に、蛍光画像から特定の部位の位置を検出するという目的にも適用可能なものである。例えば、蛍光発光するマーカーを導入した試料の蛍光画像に基づき、細胞等の特定の部位の位置や個数を自動的に計測するという用途に、第２の学習モデル２０を使用することができる。学習アルゴリズムは前述の第１の学習モデル１０と同様である。
【００５７】
前記したように、蛍光画像では細胞の形状が明瞭に現れない場合があり、このことが蛍光画像から細胞の位置や個数を自動的に計測することを困難にし、計測結果の精度向上が難しくなっているという問題がある。第２の学習モデル２０は、この問題の解消を図ることができるものである。
【００５８】
なお、後述するように細胞に影響を与えるような薬剤を作用させた試料を評価する場合の学習モデルについては、種々の薬剤濃度で作製された試料を撮像して得られた複数の画像を教師画像として構築されることが望ましい。薬剤の作用によって細胞の形態的特徴が変化し、その変化の大きさは薬剤濃度に依存する。このため、例えば薬剤濃度が低い試料の画像のみを教師画像として構築された学習モデルは、薬剤濃度の高い試料の画像に対しても有効であるとは限らない。その逆についても同様である。種々の薬剤濃度の試料の画像を混在させた画像群を教師画像とすることで、構築される学習モデルも種々の薬剤濃度の試料に対応することが可能なものとなる。
【００５９】
図７は本実施形態の画像処理を実行可能な装置構成の一例を示すブロック図である。この装置は、本発明に係る画像処理方法を実行可能な画像処理システムの一例である。画像処理システム１００は、画像処理装置１１０および撮像装置１２０を備えている。画像処理装置１１０は、本発明に係る画像処理装置の一実施形態であり、画像処理部１１２を内蔵するＣＰＵ（Central Processing Unit）１１１と、メモリ１１３と、インターフェース１１４と、表示部１１５とを備えている。
【００６０】
ＣＰＵ１１１は、メモリ１１３に予め記憶された所定の制御プログラムを実行することで、上記した画像処理プロセスおよびディープラーニングを実行する。該プロセスにおいて画像データに対する処理は画像処理部１１２により実行される。メモリ１１３はＣＰＵ１１１が実行する制御プログラムや処理により生成されるデータを記憶する。インターフェース１１４は外部装置とのデータ通信を司る。インターフェース１１４はまた、図示しない入力装置（例えばキーボード、マウス等）を介してユーザからの操作入力を受け付ける。表示部１１５は、プロセスの進行状況や結果を表示出力してユーザに報知する。
【００６１】
撮像装置１２０は、例えば撮像機能を備えた顕微鏡装置である。撮像装置１２０は、例えばウェルプレートで培養された細胞等の試料を撮像して画像データを生成し、画像処理装置１１０のインターフェース１１４に送信する。撮像装置１２０がテスト画像Ｉｔを撮像することを目的として設けられる場合、明視野撮像機能を有していればよい。一方、撮像装置１２０が第１教師画像Ｉ１および第２教師画像Ｉ２を収集する目的で設けられる場合、明視野撮像機能に加え蛍光撮像機能を有していればよい。１つの試料に対し明視野撮像と蛍光撮像とを同一視野で実行可能であることが望ましい。
【００６２】
なお、画像処理システムの構成は上記に限定されず、例えば画像処理装置１１０と撮像装置１２０とが一体的に構成されていてもよい。また、例えば過去に撮像された画像データのライブラリを（例えばインターフェース１１４を介して受信することで）利用することができる場合には、画像処理システム１００が撮像機能を有していなくてもよい。
【００６３】
以下、上記のように構成された画像処理プロセスの実施例について説明する。本願発明者は、本実施形態の画像処理プロセスの実効性を検証するために各種の評価実験を行い、画像から細胞の位置や個数を自動計測するのに、このプロセスが有効であることを示す結果を得た。その結果の一部を以下に示す。
【００６４】
図８は本実施形態による細胞数の計測結果の例を示す図である。本願発明者は、ヒーラ（ＨｅＬａ）細胞にそれぞれ細胞核を染色するマーカーであるＨｏｅｃｈｓｔ３３３４２（以下、「Ｈｏｅｃｈｓｔ」と略称する）およびＰＩを導入し、薬剤としてのプロテアソーム阻害剤（ＭＧ１３２）を種々の濃度で作用させた試料を用いて、生細胞数をカウントする実験を行った。ここで、Ｈｏｅｃｈｓｔは生死に関わらず細胞の核を蛍光画像において青色に発光させる一方、ＰＩは死んだ細胞の核を赤色に発光させる。このことから、青色（Ｂ）画像においてカウントされる細胞核の数（生細胞および死細胞の合計数）から、赤色（Ｒ）画像においてカウントされる細胞核の数（死細胞の数）を差し引くことで、生細胞の数を算出した。
【００６５】
図８において実線は、試料を明視野撮像した画像をテスト画像Ｉｔとして、第１の学習モデル１０および第２の学習モデル２０を用いて細胞核の位置を特定しその数を計数した結果の一例を示す。また破線は、同じ試料の同じ撮像範囲を蛍光撮像した画像を直接第２の学習モデル２０に入力して細胞核の位置を特定しその数を計数した結果の一例を示す。これからわかるように、各薬剤濃度において２つの結果はほぼ一致している。複数の試料について同様の比較を行ったが、いずれにおいても同じような結果が得られた。
【００６６】
このことから、第１の学習モデル１０に明視野画像（すなわちテスト画像Ｉｔ）を入力することで得られる出力画像である擬似マーカー付き画像（すなわち中間画像Ｉｍ）は、実際にマーカーを導入して撮像されたマーカー付き画像（蛍光画像）と高い類似性を有していることがわかる。
【００６７】
図９は本実施形態による細胞数の計測結果をＡＴＰアッセイ法と対比した図である。図９（ａ）は、図８と同様、種々の濃度の薬剤を作用させた試料を公知のＡＴＰアッセイ法により生細胞の量を評価した結果の一例を示している。一方、図９（ｂ）はＨｏｅｃｈｓｔおよびＰＩを導入した試料の生細胞の数を本実施形態により計数した結果の一例を示している。これらにおいて、実線は１つのウェルへの細胞播種数を５０００、破線は同２０００としたものである。なお、図９（ｂ）の結果は１つのウェルのうち一部領域を撮像した画像における計数結果であるため、その計数結果はウェル内の細胞の総数を示すものではない。
【００６８】
これらの結果から、薬剤の効果の指標として一般的に用いられる半数致死濃度（Median Lethal Concentration；ＬＣ５０）をそれぞれ求めると、いずれの方法でもほぼ同じ結果が得られた。複数の試料について同様の比較を行ったが、いずれにおいても同じような結果が得られた。このことから、本実施形態による細胞個数の計数結果が実態とよく一致しており、計数結果に基づく薬効の評価がＡＴＰアッセイ法と同等の結果を得られることが示される。また、ＨｅｐＧ２細胞についても同様の評価を行ったが、本実施形態の計数結果から求めたＬＣ５０値とＡＴＰアッセイ法で求めたＬＣ５０値とがよく一致することが確かめられた。
【００６９】
すなわち、本実施形態による細胞の位置検出およびそれに基づく細胞数の計数は、標準的な定量法として広く用いられるＡＴＰアッセイ法と同等の定量法として利用可能なものであると言える。ＡＴＰアッセイ法が細胞を溶解するなど細胞に対し侵襲的なものであるのに対し、本実施形態の方法は、マーカー等を用いない明視野画像から細胞の定量が可能であり非侵襲である点においてより有利である。
【００７０】
図１０および図１１は三重染色された試料の画像例を示す図である。このうち図１０は試料としてＨｅｐＧ２細胞を用いたときの画像例、図１１は試料としてＨｅＬａ細胞を用いたときの画像例である。以下、これらの画像を用いて、本実施形態の第１の学習モデル１０により生成される擬似的な蛍光画像（すなわち中間画像Ｉｍ）が真の蛍光画像と高い類似性を示すことを説明する。
【００７１】
各試料には蛍光マーカーとしてカルセイン、Ｈｏｅｃｈｓｔ、ＰＩの三種類が導入されている。この試料を撮像したカラー画像をＲＧＢ三原色に色分解したとき、カルセインによる蛍光は緑色（Ｇ）画像に、Ｈｏｅｃｈｓｔによる蛍光は赤色（Ｒ）画像に、ＰＩによる蛍光は青色（Ｂ）画像に、それぞれ現れる。三つの単色画像をマージしたフルカラー画像では、生きている細胞の細胞質が緑色で、その核が青色で示される。一方、ＨｏｅｃｈｓｔおよびＰＩの両方に染まる死細胞の核は、赤色と青色とが重なることで、カラー画像ではピンク色に近い色を示す。
【００７２】
試料を蛍光撮像して得られるフルカラー画像をＲＧＢ三原色に色分解し、予め色ごとに構築された第１の学習モデル１０に画像データを入力することで、ＲＧＢ各色の中間画像が得られる。それらの画像を合成（マージ）することで、フルカラーの擬似蛍光画像が得られる。このようにして得られた擬似蛍光画像と、同じ試料を蛍光撮像して得られた真の蛍光画像とを比較した。なお、このようなフルカラー疑似蛍光画像は、フルカラー画像を教師として構築された第１の学習モデル１０に画像データを入力することによっても得られる。
【００７３】
これらの図に示される画像を横方向の並びに沿って見たとき、左端の各画像は第１の学習モデル１０への入力画像となる明視野画像である。また、中央の画像は、左端の画像を第１の学習モデル１０に入力することで得られる生成画像、つまり中間画像Ｉｍである。また、右端の画像は、同じ試料を実際に蛍光撮像して得られた蛍光画像である。
【００７４】
本実施形態の画像処理プロセスにおいて使用される第１の学習モデル１０の理想的な動作は、左端の明視野画像が入力されたときに、右端のカラー画像と同じ画像を出力することである。この意味において右端のカラー画像は、第１の学習モデル１０が出力すべきターゲット画像であると言える。
【００７５】
これらの図において、上２段の画像は薬剤を投与されていない試料の例である。より具体的には、Ａ欄はディープラーニングにおける教師データとして用いられた画像の一例に対応しており、Ｂ欄は教師データには用いられなかった画像に対応している。また、Ｃ欄およびＤ欄は薬剤が投与された試料の例である。このうちＣ欄はディープラーニングにおける教師データとして用いられた画像の一例に対応しており、Ｄ欄は教師データには用いられなかった画像に対応している。
【００７６】
図１０、図１１のいずれにおいても、各欄において、入力画像を与えられた第１の学習モデル１０が学習の結果に基づき生成し出力した中央の生成画像（擬似蛍光画像）を、実際に試料を蛍光撮像して得られた画像である右端のターゲット画像と比較すると、細胞核の位置を示す発光点の位置やその大きさ、明るさ等が極めてよく一致している。このことは、教師データとして学習に用いられた入力画像のみならず、学習に使用されなかった、つまり第１の学習モデル１０にとって未知の入力画像においても同様である。
【００７７】
また、図では画像の色が表されていないが、生成画像とターゲット画像との間ではその色彩についてもよく一致している。具体的には、薬剤を添加していない試料に対応するＡ欄およびＢ欄の画像では、生きている細胞の核を示す青色の像および細胞質を示す緑色の像の配置が、生成画像とターゲット画像との間でよく一致している。また、薬剤が添加された試料に対応するＣ欄およびＤ欄の画像では、薬剤の作用により死滅した細胞が増加してくることに対応して、青色および緑色の像に加えてピンク色の像が含まれており、それらの配置も画像間でよく一致している。
【００７８】
これらのことから、本実施形態の画像処理プロセスにおいて中間画像Ｉｍとして出力される擬似蛍光画像は、実際の蛍光撮像により得られる蛍光画像の代替物として十分に利用可能なものであると言える。また、教師データに用いられた画像とそれを入力画像として得られた生成画像とをそれぞれ第２の学習モデル２０に入力して細胞核の個数を計数したところ、それらの計数結果もよく一致していた。
【００７９】
また、第２の学習モデル２０による出力も含めた本実施形態の画像処理プロセスの正確性については、以下のような実験結果によって示される。実験では、明視野画像を入力画像として本実施形態の画像処理プロセスを実行することで求められる細胞核の個数と、中間画像Ｉｍの代わりに実際の蛍光撮像により得られた蛍光画像を第２の学習モデル２０として与えることで求められる細胞核の個数とを比較した。
【００８０】
具体的には、ＨｅｐＧ２細胞にマーカーとしてのカルセインを導入した試料を準備し、その明視野画像および蛍光画像を撮像した。そして、第２の学習モデル２０に蛍光画像を入力として与えた場合の結果から、細胞核の数（すなわち細胞の数）を計数した。このときの細胞の個数を「正解画像由来個数」と称することとする。また、明視野画像を第１の学習モデル１０に入力して得られる中間画像Ｉｍを第２の学習モデル２０に入力として与え、その結果から細胞数を計数した。このときの細胞の個数を「生成画像由来個数」と称する。
【００８１】
図１２は実験結果の一例を示す図である。図に示されるように、正解画像由来個数と生成画像由来個数とは高い一致度を示しており、最小二乗法により直線近似すると、
ｙ＝１．０１９６ｘ−３．１５５４
となり、決定係数Ｒ2は０．９９４であった。このことから、本実施形態のマーカー生成モデル（第１の学習モデル１０）および位置決定モデル（第２の学習モデル２０）の組み合わせが、明視野画像から細胞の個数を計数するのに適していることが示される。
【００８２】
上記した本実施形態の画像処理方法は、例えば薬剤が細胞に及ぼす影響を調べる薬剤感受性試験方法に利用することが可能である。以下、上記した画像処理プロセスを含む薬剤感受性試験方法の一例について説明する。
【００８３】
図１３は本実施形態の画像処理方法を適用した薬剤感受性試験方法を示すフローチャートである。最初に、評価対象となる細胞が培養され（ステップＳ４０１）、所定濃度の薬剤が添加されることにより試料が作製される（ステップＳ４０２）。試料は、薬剤投与から一定時間が経過した時等、所定のタイミングで明視野撮像される（ステップＳ４０３）。
【００８４】
こうして得られた明視野撮像に対し、上記した画像処理が実行される。具体的には、撮像された明視野画像をテスト画像Ｉｔとし、生細胞を被検出部位として上記の画像処理プロセスが実行され（ステップＳ４０４）、生細胞の数がカウントされる（ステップＳ４０５）。計数結果から例えば上記したＬＣ５０値を求める等により薬剤の効果が判定され（ステップＳ４０６）、判定結果が例えば表示部１１５に出力される（ステップＳ４０７）。さらに観察を継続し定期的に評価を行う場合には（ステップＳ４０８）、ステップＳ４０３に戻り、試料の撮像と評価とが繰り返される。この実施形態では細胞を加工せず明視野撮像のみで評価を行うことができるので、このように継続的な評価が可能となる。
【００８５】
以上のように、この実施形態では、予め収集されたマーカー付き画像の一例としての蛍光画像とこれに対応するマーカーなし画像の一例としての明視野画像とのセットを教師データとするディープラーニングにより構築される第１の学習モデル１０と、蛍光画像と該蛍光画像における被検出部位の位置を示す情報とのセットを教師データとするディープラーニングにより構築される第２の学習モデル２０とが予め準備される。
【００８６】
テスト画像Ｉｔとしての明視野画像が第１の学習モデル１０に入力されると、第１の学習モデル１０は、学習結果に基づき、テスト画像Ｉｔに疑似的にマーカーが付された画像を出力する。つまり、第１の学習モデル１０は、マーカーなしの明視野画像からマーカーが発現した場合と同様の画像を作成することができる。このため、事前のマーカー導入を行う必要がなくなり、細胞に対し非侵襲でマーカー付き画像を得ることができる。したがって細胞を含む試料の経時的な観察も可能となる。また、マーカー導入のための作業や試薬が不要であるため、処理コストの低減を図ることができる。
【００８７】
第２の学習モデル２０は、マーカー付き画像とその中の被検出部位の位置との間の関係を学習しており、実際に撮像された、または第１の学習モデル１０が出力する疑似的なマーカー付きの画像から、予め選択された被検出部位の位置を特定し出力する。複数の細胞が互いに接している、あるいは画像内で深さ方向に重なることで見かけ上接しているように見える場合があり得るが、このような事例も含めて学習を行わせることにより、それらの細胞を分離して処理することが可能となる。したがって、第２の学習モデル２０の出力から、画像中における被検出部位の位置や数を正確に計測することができる。
【００８８】
結果として、上記実施形態では、未知の明視野画像であるテスト画像Ｉｔを第１の学習モデル１０に入力して処理させ、その結果を第２の学習モデル２０に入力して処理させることにより、明視野画像中の被検出部位の位置を精度よく特定することが可能である。そして、その検出結果は被検出部位の位置や数を自動的に計測する目的に好適なものとなっている。
【００８９】
以上説明したように、上記の実施形態においては、第１教師画像Ｉ１、第２教師画像Ｉ２および第３教師画像Ｉ３がそれぞれ本発明の「第１画像」、「第２画像」および「第３画像」に相当している。また、図７の画像処理装置１１０において、外部から画像データを受け取るインターフェース１１４が本発明の「画像取得部」として機能している。また、ＣＰＵ１１１、特に画像処理部１１２が本発明の「画像処理部」として機能している。
【００９０】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態においてテスト画像Ｉｔおよび第２教師画像Ｉ２は明視野画像である。しかしながら、これらは他の非侵襲撮像方法で得られる画像、例えば位相差画像であってもよい。また、上記実施形態において第１教師画像Ｉ１および第３教師画像Ｉ３は蛍光画像である。しかしながら、これらは他のマーカー付き画像、例えば可視光照明下で発色する染料によるラベリングが施された画像であってもよい。
【００９１】
また、上記実施形態の画像処理装置１１０は外部装置から与えられる画像データ、例えば撮像装置１２０での撮像により得られた画像データをインターフェース１１４を介して受信する構成である。しかしながら、前記したように、画像処理装置自体が撮像機能を有していてもよい。すなわち、画像処理システム１００の全体を本発明の「画像処理装置」と見ることもできる。この場合、撮像機能を実行する撮像装置１２０が本発明の「画像取得部」として機能することになる。また、過去に撮像された画像ライブラリが存在する場合には、これらから教師データを作成することも可能であり、この場合には教師画像を取得する目的での撮像機能は省くことが可能である。
【００９２】
また例えば、第１および第２の学習モデルを構築するための処理を実行する装置と、その結果を利用してテスト画像Ｉｔを処理する装置とが異なっていてもよい。例えば、ある画像処理装置においてディープラーニングを実行することで構築された第１の学習モデル１０および第２の学習モデル２０を他の画像処理装置に移植し、移植先の装置がテスト画像Ｉｔを処理するように構成されてもよい。学習モデルの構築を例えばスーパーコンピュータにより実行するようにすれば、大量のデータを用いて精度の高い学習モデルを構築することが可能となる。一方、構築された学習モデルを利用してテスト画像Ｉｔを処理する装置では、比較的簡単な演算のみで済むため高い演算能力を備える必要がなく、例えば以下に説明するように、装置に内蔵された比較的単純な演算装置で処理を実行することが可能になる。
【００９３】
図１４は本発明の他の実施形態を示す図である。より具体的には、図１４は本発明に係る画像処理装置の別実施形態である顕微鏡装置２００を示すブロック図である。この顕微鏡装置２００は、照明光源２１１、撮像光学系２１２および撮像素子２１３を含む顕微撮像ユニット２１０と、コントローラ２２０と、ビデオインターフェース（ＩＦ）２３０とを備えている。つまり、この実施形態は、ビデオ出力機能を有する顕微鏡装置である。顕微撮像ユニット２１０は、試料を明視野撮像または位相差撮像する機能を有していればよく、蛍光撮像機能を必要としない。
【００９４】
コントローラ２２０は装置各部を制御して撮像動作を実行させる制御主体としての機能を有している。また、コントローラ２２０は、撮像ユニット２１０により撮像された画像に適宜の画像処理を施してビデオインターフェース２３０へ出力する。この目的のために、コントローラ２２０には画像処理プロセッサ２２１が設けられている。
【００９５】
画像処理プロセッサ２２１は、上記した学習済みの第１の学習モデル１０および第２の学習モデル２０を固定されたまたは書き換え可能なデータとして専用ハードウェアに組み込みデバイス化したものである。例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＡ（Programmable Logic Array）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等により、画像処理プロセッサ２２１を構成することができる。画像処理プロセッサ２２１は、第１の学習モデル１０により生成される中間画像Ｉｍおよび第２の学習モデル２０により生成される出力画像Ｉｏに対応する画像データを出力する機能を有する。また各種の画像を重ね合わせて合成する機能をさらに有してもよい。
【００９６】
撮像ユニット２１０による撮像で得られた画像データ、あるいは当該画像データが画像処理プロセッサ２２１で処理された後の画像データはビデオインターフェース２３０を介して外部の表示装置３００に出力される。表示装置３００は、顕微鏡装置２００から与えられる画像データに対応する画像を表示出力する。この実施形態では、撮像ユニット２１０が本発明の「画像取得部」として機能し、画像処理プロセッサ２２１が本発明の「画像処理部」として機能することになる。表示装置３００への出力に代えて、あるいはこれに加えて、処理結果がインターフェース２３０を介して適宜の外部装置４００へ出力されてもよい。外部装置４００としては、処理結果を記憶する外部記憶装置や、処理結果を受け取ってさらなる画像処理や解析を実行するためのコンピュータ装置等を適用可能である。
【００９７】
このような構成によれば、撮像ユニット２１０により撮像された画像を画像処理プロセッサ２２１により逐次処理して表示装置３００に表示させることができる。ここで、画像処理プロセッサ２２１が出力する中間画像Ｉｍを表示装置３００に表示させるようにすれば、蛍光撮像機能を持たない顕微鏡装置２００を擬似的な蛍光顕微鏡として機能させることが可能になる。構築された学習モデルをこのようにデバイス化しておけば、例えば既存の顕微鏡装置にこれを組み込むことで全く新しい機能を付与することが可能になる。画像処理に特化された専用ハードウェアを用いることで、処理に要する時間を短縮することができる。例えば１つの画像に対する処理を０．１秒程度またはそれ以下で完了させることができれば、実質的にはリアルタイムでの画像処理ということができる。
【００９８】
特に、画像処理に要する時間と同程度の時間間隔で断続的に撮像を行うタイムラプス撮像を実行し、その都度画像処理を行って中間画像Ｉｍを表示装置３００に表示させるようにすれば、蛍光顕微鏡と同じように、試料を擬似的な蛍光画像によってほぼリアルタイムで観察することが可能になる。また、第２の学習モデル２０が出力する出力画像Ｉｏあるいはそれに基づく計数結果を表示装置３００に表示させるようにすれば、刻々と変化する試料の状態を定量的に把握することが可能になる。
【００９９】
例えば、細胞の活動において特定の時期のみに現れるような構造物、例えば細胞分裂の過程で一時的に現れる染色体を被検出部位として学習モデルを構築しておけば、細胞分裂の観察に好適な出力を得ることができる。すなわち、表示装置３００に中間画像Ｉｍを表示させるようにすれば、細胞の活動において当該被検出部位が出現したときに表示画像である擬似蛍光画像に特徴的なマーカーとして表されるため、当該部位の出現を直ちに把握することが可能となる。また、細胞周期の特別の時期のみ出現するような被検出部位の計数結果の変動から、細胞周期を定量的に追跡することも可能となる。
【０１００】
細胞の活動の各段階で一時的に出現する部位を選択的に染色するマーカーが利用可能であり、かつそのマーカーが発現した画像を教師画像として十分な数収集することが可能であれば、このような応用が可能となる。すなわち、そのようなマーカー付き画像とこれに対応する明視野あるいは位相差画像とを教師データとして学習モデルを構築し、マーカーなしの試料についての明視野画像あるいは位相差画像を学習モデルに入力することで、細胞の生死や細胞周期など、細胞の性状に関する種々の情報を取得することが可能になる。
【０１０１】
また例えば、未分化細胞と分化細胞とで異なる発現態様を示すマーカーを付した試料の画像を教師画像として学習モデルを構築すれば、マーカーを導入していない試料の画像から未分化状態の細胞と分化状態の細胞とを識別することが可能となる。そして、それらの数を個別に計数するなど、細胞の分化過程の観察に適した定量的な情報を取得することも可能となる。
【０１０２】
以上、具体的な実施形態を例示して説明してきたように、この発明において、例えば、複数の第１画像のうち少なくとも一部が、複数の第３画像の少なくとも一部として用いられてもよい。あるいは例えば、複数の第１画像と、複数の第３画像とが互いに異なっていてもよい。さらに例えば、第２画像を第１の学習モデルに入力したときの出力画像が第３画像とされてもよい。また、異なる方法で取得された第３画像が混在していてもよい。このように、第３画像としては種々の方法で取得される画像を使用可能であり、多くの事例を収集して学習の効果を高めるのに好適である。
【０１０３】
また例えば、テスト画像および第２画像は明視野画像または位相差画像であってもよい。テスト画像および第２画像としてはマーカーの発現のない画像を使用可能であり、したがってマーカーを導入されていない試料を撮像したものであってもよい。このような画像として明視野画像または位相差画像を用いれば、目視観察とも高い親和性を得ることができる。
【０１０４】
また例えば、第１画像は、蛍光ラベリングされた細胞を励起光照明下で撮像した蛍光画像であってもよい。蛍光ラベリング技術では、目的に応じ、細胞の特定の部位に選択的にマーカーを発現させるための手法が多く開発されている。このように確立された手法を適用することで、目的とする被検出部位を確実に検出することが可能となる。
【０１０５】
ここで、蛍光ラベリングは、生きている細胞と死んだ細胞とで異なる発現態様を示すものを含んでいてもよい。このような構成によれば、マーカーを導入することなく、画像から生きている細胞と死んだ細胞とを識別することが可能となる。
【０１０６】
また例えば、本発明に係る画像処理方法は、結果画像に基づき被検出部位の数を計数して出力する構成であってもよい。上記のように、本発明によれば被検出部位の代表点の位置を検出するので、例えば画像内で広がりを有する被検出部位が複数重なっていたとしてもそれらを個別に検出することが可能である。このことから、検出された代表点の数を計数することにより、被検出部位の数そのものを自動的に計数することが可能である。
【産業上の利用可能性】
【０１０７】
この発明は、細胞を含む画像中の特定部位の位置を非侵襲で特定することができるので、細胞を含む試料の経時的な観察に好適である。そのため、例えば細胞に対する薬剤の効果を調べる薬剤感受性試験およびそれに基づく例えば抗がん剤等の創薬スクリーニング等の用途に特に好適である。
【符号の説明】
【０１０８】
１０  第１の学習モデル
２０  第２の学習モデル
１００  画像処理システム
１１０  画像処理装置
１１１  ＣＰＵ
１１２  画像処理部
１１４  インターフェース（画像取得部）
１２０  撮像装置（画像取得部）
２００  顕微鏡装置（画像処理装置）
２１０  撮像ユニット（画像取得部）
２２１  画像処理プロセッサ（画像処理部）
Ｉ１  第１教師画像（第１画像）
Ｉ２  第２教師画像（第２画像）
Ｉ３  第３教師画像（第３画像）
Ｉｐ  位置情報画像
Ｉｍ  中間画像
Ｉｏ  結果画像
Ｉｔ  テスト画像
【図１】
2019211468.tif 000003
【図２】
2019211468.tif 000004
【図３】
2019211468.tif 000005
【図４】
2019211468.tif 000006
【図５】
2019211468.tif 000007
【図６】
2019211468.tif 000008
【図７】
2019211468.tif 000009
【図８】
2019211468.tif 000010
【図９】
2019211468.tif 000011
【図１０】
2019211468.tif 000012
【図１１】
2019211468.tif 000013
【図１２】
2019211468.tif 000014
【図１３】
2019211468.tif 000015
【図１４】
2019211468.tif 000016
【手続補正書】
【提出日】令和1年10月8日(2019.10.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理方法であって、
前記被検出部位に対応するマーカーの発現がない前記テスト画像を第１の学習モデルに入力して、前記テスト画像に対応し疑似的な前記マーカーが付された画像を中間画像として生成する工程と、
前記中間画像を第２の学習モデルに入力して、前記被検出部位の位置がその代表点によって示された画像を生成し結果画像として出力する工程と
を備え、
前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である、前記マーカーが発現した第１画像と、前記マーカーの発現がない第２画像とを対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニングを実行することにより構築されたものであり、
前記第２の学習モデルは、細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、前記第３画像に含まれる前記代表点の位置を表す情報とを対応付けた教師データを用い、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである、画像処理方法。
【請求項２】
複数の前記第１画像のうち少なくとも一部が、複数の前記第３画像の少なくとも一部として用いられる請求項１に記載の画像処理方法。
【請求項３】
複数の前記第１画像と、複数の前記第３画像とが互いに異なる請求項１に記載の画像処理方法。
【請求項４】
前記第２画像を前記第１の学習モデルに入力したときの出力画像を前記第３画像とする請求項１に記載の画像処理方法。
【請求項５】
前記テスト画像および前記第２画像は明視野画像または位相差画像である請求項１ないし４のいずれかに記載の画像処理方法。
【請求項６】
前記第１画像は、蛍光ラベリングされた細胞を励起光照明下で撮像した蛍光画像である請求項１ないし５のいずれかに記載の画像処理方法。
【請求項７】
前記蛍光ラベリングは、生きている細胞と死んだ細胞とで異なる発現態様を示すものを含む請求項６に記載の画像処理方法。
【請求項８】
前記結果画像に基づき前記被検出部位の数を計数して出力する請求項１ないし７のいずれかに記載の画像処理方法。
【請求項９】
培養された細胞に評価対象となる薬剤が投与された試料を撮像した画像を取得する工程と、
取得された前記画像を前記テスト画像として、請求項８に記載の画像処理方法により、前記被検出部位としての生きている細胞の数を計数する工程と、
前記計数の結果に基づき、前記細胞の前記薬剤に対する感受性を判定する工程と
を備える薬剤感受性試験方法。
【請求項１０】
細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理装置であって、
前記テスト画像として、前記被検出部位に対応するマーカーの発現がない明視野画像または位相差画像を取得する画像取得部と、
前記テスト画像を第１の学習モデルに入力して、前記テスト画像に対応し疑似的な前記マーカーが付された画像を中間画像として生成する画像処理と、前記中間画像を第２の学習モデルに入力して、前記被検出部位の位置がその代表点によって示された画像を結果画像として生成し出力する画像処理とを実行する画像処理部と
を備え、
前記第１の学習モデルは、互いに同じ細胞を含んで撮像された画像である、前記マーカーが発現した第１画像と、前記マーカーの発現がない第２画像とを対応付けた教師データを用い、前記第２画像を入力に対応させ前記第１画像を出力に対応させてディープラーニングを実行することにより構築されたものであり、
前記第２の学習モデルは、細胞を含んで撮像された画像であって前記マーカーが発現した第３画像と、前記第３画像に含まれる前記代表点の位置を表す情報とを対応付けた教師データを用い、前記第３画像を入力に対応させ前記代表点の位置を出力に対応させてディープラーニングを実行することにより構築されたものである、画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
この発明の一の態様は、細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理方法であって、上記目的を達成するため、前記被検出部位に対応するマーカーの発現がない前記テスト画像を第１の学習モデルに入力して、前記テスト画像に対応し疑似的な前記マーカーが付された画像を中間画像として生成する工程と、前記中間画像を第２の学習モデルに入力して、前記被検出部位の位置がその代表点によって示された画像を生成し結果画像として出力する工程とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、この発明の他の態様は、細胞を撮像したテスト画像から特定の被検出部位の位置を検出する画像処理装置であって、上記目的を達成するため、前記テスト画像として、前記被検出部位に対応するマーカーの発現がない明視野画像または位相差画像を取得する画像取得部と、前記テスト画像を第１の学習モデルに入力して、前記テスト画像に対応し疑似的な前記マーカーが付された画像を中間画像として生成する画像処理と、前記中間画像を第２の学習モデルに入力して、前記被検出部位の位置がその代表点によって示された画像を結果画像として生成し出力する画像処理とを実行する画像処理部とを備える。