(57)【要約】      （修正有）【課題】細胞の位相差顕微鏡画像や蛍光染色画像を用いて、一つ一つの細胞、菌等の微小検体を認識することができるコンピュータプログラム、検出装置、撮像装置、サーバ、画像データ、検出器、検出方法及び提供方法を提供する。【解決手段】コンピュータプログラムは、コンピュータに、第１方法によって得られた、学習用検体を含む第１画像に係る第１画像データを取得する処理と、学習用検体内の関心領域を識別可能にする、第１方法と異なる第２方法によって得られた、学習用検体の関心領域を含む第２画像に係る第２画像データを取得する処理と、第１画像データ及び第２画像データに基づいて学習データを生成する処理と、第１方法によって得られた、検体を含む第１画像に係る第１画像データに基づいて検出器が検体を検出できるように、生成した学習データに基づいて検出器を学習させる処理とを実行させる。【選択図】図１
2019091307.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、検体を検出させるためのコンピュータプログラムであって、
コンピュータに、
第１方法によって得られた、学習用検体を含む第１画像に係る第１画像データを取得する処理と、
前記学習用検体内の関心領域を識別可能にする、前記第１方法と異なる第２方法によって得られた、前記学習用検体の関心領域を含む第２画像に係る第２画像データを取得する処理と、
前記第１画像データ及び第２画像データに基づいて学習データを生成する処理と、
前記第１方法によって得られた、検体を含む第１画像に係る第１画像データに基づいて検出器が検体を検出できるように、生成した学習データに基づいて前記検出器を学習させる処理と
を実行させるコンピュータプログラム。
【請求項２】
コンピュータに、
前記第２画像から所定の画素数で構成される画素ブロックを複数特定する処理と、
特定した画素ブロックに対応する前記第１画像の画素ブロックに、前記特定した画素ブロックの画素の特徴量を関連付けて前記学習データを生成する処理と
を実行させる請求項１に記載のコンピュータプログラム。
【請求項３】
コンピュータに、
前記第１画像の画素ブロックに、前記特定した画素ブロック内の所定画素の画素値を関連付けて前記学習データを生成する処理を実行させる請求項２に記載のコンピュータプログラム。
【請求項４】
コンピュータに、
前記第２画像を二値化する処理と、
前記二値化する処理によって得られた画素の画素値である二値それぞれに対応し、所定の画素数で構成される画素ブロックを複数特定する処理と、
特定した画素ブロックに対応する前記第１画像の画素ブロックに、前記特定した画素ブロックの二値化された所定画素の画素値のいずれかを関連付けて前記学習データを生成する処理と
を実行させる請求項２に記載のコンピュータプログラム。
【請求項５】
コンピュータに、
前記検出器を学習させた結果に基づいて、検体の推定位置を表示する処理を実行させる請求項１から請求項４のいずれか一項に記載のコンピュータプログラム。
【請求項６】
コンピュータに、
前記第１方法によって得られた、検体を含む第１画像に係る第１画像データを取得する処理と、
前記第１画像から所定の画素数で構成される画素ブロックを複数特定する処理と、
特定した画素ブロックの各画素の画素値に基づいて入力データを生成する処理と、
生成した入力データが入力された前記検出器が出力する出力値に基づいて、前記第２方法に依拠することなく、前記第２方法によって得られる前記検体の関心領域を含む第２画像の、推定画像を生成する処理と
を実行させる請求項１から請求項５のいずれか一項に記載のコンピュータプログラム。
【請求項７】
コンピュータに、
前記第１画像と前記推定画像とを対比して表示する処理を実行させる請求項６に記載のコンピュータプログラム。
【請求項８】
コンピュータに、
前記第１方法によって時系列に得られた、検体を含む複数の第１画像それぞれから所定の画素数で構成される画素ブロックを複数特定する処理と、
前記複数の第１画像毎に、特定した画素ブロックの各画素の画素値に基づいて複数の組の入力データを生成する処理と、
前記複数の組の入力データが入力された前記検出器が出力する出力値に基づいて、検体の推定移動軌跡を表示する処理と
を実行させる請求項１から請求項７のいずれか一項に記載のコンピュータプログラム。
【請求項９】
コンピュータに、
細胞を含む位相差画像又は明視野画像の少なくとも一方に係る前記第１画像データを取得する処理と、
前記細胞の関心領域を含む染色画像に係る前記第２画像データを取得する処理と
を実行させる請求項１から請求項８のいずれか一項に記載のコンピュータプログラム。
【請求項１０】
コンピュータに、検体を検出させるためのコンピュータプログラムであって、
コンピュータに、
第１方法によって得られた、検体を含む第１画像に係る第１画像データを取得する処理と、
取得した第１画像データ及び学習済検出器に基づいて、前記検体内の関心領域を識別可能にする、前記第１方法と異なる第２方法に依拠することなく、前記第２方法によって得られる前記検体の関心領域を含む第２画像の、推定画像を生成する処理と
を実行させるコンピュータプログラム。
【請求項１１】
検体を検出する検出装置であって、
第１方法によって得られた、学習用検体を含む第１画像に係る第１画像データを取得する第１取得部と、
前記学習用検体内の関心領域を識別可能にする、前記第１方法と異なる第２方法によって得られた、前記学習用検体の関心領域を含む第２画像に係る第２画像データを取得する第２取得部と、
前記第１画像データ及び第２画像データに基づいて学習データを生成する学習データ生成部と、
前記第１方法によって得られた、検体を含む第１画像に係る第１画像データに基づいて検出器が検体を検出できるように、生成した学習データに基づいて前記検出器を学習させる学習処理部と
を備える検出装置。
【請求項１２】
前記第１方法によって得られた、検体を含む第１画像に係る第１画像データを取得する取得部と、
前記第１画像から所定の画素数で構成される画素ブロックを複数特定する特定部と、
該特定部で特定した画素ブロックの各画素の画素値に基づいて入力データを生成する入力データ生成部と、
該入力データ生成部で生成した入力データが入力された前記検出器が出力する出力値に基づいて、前記第２方法に依拠することなく、前記第２方法によって得られる前記検体の関心領域を含む第２画像の、推定画像を生成する画像生成部と
を備える請求項１１に記載の検出装置。
【請求項１３】
検体内の関心領域の種別毎に前記検出器を複数備える請求項１１又は請求項１２に記載の検出装置。
【請求項１４】
前記検出器は、
入力データを出力値に変換する複数のパラメータを有し、
前記学習処理部は、
前記検出器の前記複数のパラメータを更新して前記検出器を再学習可能にしている請求項１１から請求項１３のいずれか一項に記載の検出装置。
【請求項１５】
撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方を出力する第１出力部と、
撮像して得られた、細胞の関心領域を含む染色画像を出力する第２出力部と、
前記第１出力部が出力する、学習用細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データを取得する第１取得部と、
前記第２出力部が出力する、前記学習用細胞の関心領域を含む染色画像に係る第２画像データを取得する第２取得部と、
前記第１画像データ及び第２画像データに基づいて学習データを生成する学習データ生成部と、
前記第１出力部が出力する、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データに基づいて検出器が細胞を検出できるように、生成した学習データに基づいて前記検出器を学習させる学習処理部と
を備える撮像装置。
【請求項１６】
細胞を含む位相差画像又は明視野画像の少なくとも一方から所定の画素数で構成される画素ブロックを複数特定する特定部と、
該特定部で特定した画素ブロックの各画素の画素値に基づいて入力データを生成する入力データ生成部と、
該入力データ生成部で生成した入力データが入力された前記検出器が出力する出力値に基づいて、細胞を染色することなく、前記細胞の関心領域を含む染色画像の推定画像に係る推定画像データを生成する画像データ生成部と
を備える請求項１５に記載の撮像装置。
【請求項１７】
細胞を検出する検出器と、
細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを取得する取得部と、
該取得部で取得した画像データを前記検出器に入力し、前記細胞を染色することなく、前記細胞の関心領域を含む染色画像の推定画像に係る推定画像データを出力する出力部と
を備えるサーバ。
【請求項１８】
細胞が検出された画像データであって、
撮像して得られる細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを含む構造を有し、
前記推定画像は、
撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データに基づく入力データを、細胞を検出する検出器に入力して前記検出器が出力する出力値に基づいて生成され、
前記検出器は、
撮像して得られた、学習用細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データ、及び撮像して得られた、前記学習用細胞の関心領域を含む染色画像に係る第２画像データに基づいて生成された学習データによって学習されている画像データ。
【請求項１９】
細胞を検出する検出器であって、
撮像して得られた、学習用細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データ、及び撮像して得られた、前記学習用細胞の関心領域を含む染色画像に係る第２画像データに基づいて生成された学習データによって学習されている検出器。
【請求項２０】
前記染色画像から所定の画素数で構成される画素ブロックを複数特定し、
特定した画素ブロックに対応する前記位相差画像又は明視野画像の少なくとも一方の画素ブロックに、特定した画素ブロックの画素の特徴量を関連付けて生成された学習データによって学習されている請求項１９に記載の検出器。
【請求項２１】
撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを入力データとして受け付ける入力部と、
該入力部で受け付けた入力データに基づいて、前記細胞を染色することなく、撮像して得られる前記細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを出力する出力部と
を備える請求項１９又は請求項２０に記載の検出器。
【請求項２２】
細胞を検出する検出器による検出方法であって、
前記検出器は、
撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを入力データとして受け付け、
受け付けた入力データに基づいて、前記細胞を染色することなく、撮像して得られる前記細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを出力する検出方法。
【請求項２３】
所定環境下で培養された細胞の提供方法であって、
コンピュータに、
撮像して得られた、前記細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを取得する処理と、
取得した画像データに基づいて、前記細胞を染色することなく、撮像して得られる前記細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを出力する処理と
を実行させるコンピュータプログラムを配信し、
前記コンピュータプログラムが配信されたユーザからの要求を受け付けた場合、前記ユーザに所定環境下で培養された細胞を提供するための情報を生成する提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンピュータプログラム、検出装置、撮像装置、サーバ、画像データ、検出器、検出方法及び提供方法に関する。
【背景技術】
【０００２】
再生医療分野の産業化、研究の効率化のために細胞、菌等の微小検体の観察を自動化するための画像解析技術が強く望まれている。画像解析技術の中で、細胞を検出する技術は、最も基礎となるものであるが、顕微鏡画像の性質が一般的なカメラ画像と異なること、あるいは細胞は多数が密集して成長することなどから、様々な技術開発が行われている。
【０００３】
特許文献１には、位相差顕微鏡を用いて取得した細胞の位相差画像に対して二次微分フィルタを適用してエッジを抽出し、抽出したエッジが構成する円の面積が最大のものを浮遊細胞の形状として抽出する技術が開示されている。
【０００４】
また、特許文献２には、特定の菌に特異的に反応する化合物を用いて蛍光染色した微生物に励起光を照射し、発色した蛍光を解析することにより、特定の菌数を計量する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１２０１７号公報
【特許文献２】特開２００１−３４００７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１のような位相差画像では、そもそも細胞が無色透明であることが多いため細胞と背景との輝度差が小さく、また、多様な細胞の形状に合わせて適切なフィルタモデルの設計を行うことは実用上非常に困難である。このため、位相差画像では細胞が存在することは認識することができるものの、一つ一つの細胞を認識することが困難である。
【０００７】
また、特許文献２のように、細胞に蛍光染色を施して細部を観察する際、染色によって細胞が変質又は死滅し、細胞の本来の挙動を認識することができない。また、蛍光染色するための作業やコストが発生する。
【０００８】
本開示は、斯かる事情に鑑みてなされたものであり、一つ一つの細胞、菌等の微小検体を認識することができるコンピュータプログラム、検出装置、撮像装置、サーバ、画像データ、検出器、検出方法及び提供方法を明らかにする。
【課題を解決するための手段】
【０００９】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、コンピュータプログラムは、コンピュータに、検体を検出させるためのコンピュータプログラムであって、コンピュータに、第１方法によって得られた、学習用検体を含む第１画像に係る第１画像データを取得する処理と、前記学習用検体内の関心領域を識別可能にする、前記第１方法と異なる第２方法によって得られた、前記学習用検体の関心領域を含む第２画像に係る第２画像データを取得する処理と、前記第１画像データ及び第２画像データに基づいて学習データを生成する処理と、前記第１方法によって得られた、検体を含む第１画像に係る第１画像データに基づいて検出器が検体を検出できるように、生成した学習データに基づいて前記検出器を学習させる処理とを実行させる。
【発明の効果】
【００１０】
本開示によれば、一つ一つの細胞、菌等の微小検体を認識することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態の検出装置の構成の一例を示すブロック図である。
【図２】位相差画像及び核染色画像の一例を示す説明図である。
【図３】本実施の形態の検出モデル部の構成の第１例を模式的に示す説明図である。
【図４】本実施の形態の検出モデル部を学習させるための学習データの生成方法の第１例を示す説明図である。
【図５】本実施の形態の学習処理部による学習の第１例を示す説明図である。
【図６】本実施の形態の処理部の学習処理の手順の第１例を示すフローチャートである。
【図７】本実施の形態の入力データ生成部による入力データの生成方法の第１例を示す説明図である。
【図８】本実施の形態の検出モデル部による検出処理の第１例を示す説明図である。
【図９】本実施の形態の処理部による検出処理の手順の第１例を示すフローチャートである。
【図１０】本実施の形態の処理部により生成された推定核染色画像の一例を示す説明図である。
【図１１】位相差画像と推定核染色画像とを合成した合成画像の一例を示す説明図である。
【図１２】推定核染色画像と合成画像の他の例を示す説明図である。
【図１３】本実施の形態の検出モデル部の構成の第２例を模式的に示す説明図である。
【図１４】本実施の形態の検出モデル部を学習させるための学習データの生成方法の第２例を示す説明図である。
【図１５】本実施の形態の学習処理部による学習の第２例を示す説明図である。
【図１６】本実施の形態の処理部の学習処理の手順の第２例を示すフローチャートである。
【図１７】本実施の形態の検出モデル部による検出処理の第２例を示す説明図である。
【図１８】本実施の形態の処理部による検出処理の手順の第２例を示すフローチャートである。
【図１９】核染色画像を異なるしきい値で二値化して得られる二値化後の核染色画像の例を示す説明図である。
【図２０】本実施の形態の処理部による二値化処理の前処理の手順の一例を示すフローチャートである。
【図２１】本実施の形態の処理部による二値化処理の前処理での画像の例を示す説明図である。
【図２２】本実施の形態の検出装置の構成の他の例を示すブロック図である。
【図２３】本実施の形態の顕微鏡の構成の一例を示すブロック図である。
【図２４】本実施の形態の検出システムの構成の一例を示す模式図である。
【図２５】本実施の形態のマウスの表皮細胞の提供方法の一例を示す模式図である。
【図２６】本実施の形態のマウスの表皮細胞の提供方法の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の実施の形態を図面に基づいて説明する。図１は本実施の形態の検出装置５０の構成の一例を示すブロック図である。本実施の形態の検出装置は、検体を検出する装置である。検体は、後述の第２方法によりラベル付けすることにより識別可能な対象とするもの全てを含む。検体は、例えば、生体（動物）の様々な部位の細胞（例えば、マウスの表皮細胞など）、菌等の微小な識別対象を含むものである。第２方法は、検体の関心領域を識別可能にする方法である。第２方法により細胞核又は細胞膜を染色すると細胞核を識別可能とすることができ、その結果、細胞を検体として検出することができる。この場合、関心領域は、細胞核である。なお、第２方法には、細胞核を識別可能に強調するために、敢えて細胞質を染色することによって細胞核を際立たせる方法も含まれる。また、第２方法により生細胞の核だけを染色すると生細胞を識別可能にすることができ、その結果、生細胞を検体として検出することができる。この場合、関心領域は、生細胞である。また、検体は細胞又は菌のような生命体の一組織に限られるものではなく、特定の分子又はたんぱく質を含有するような個体粒子の集合体である紛体も対象として含めることができる。検体は、生細胞及び死細胞を区別しない場合、どちらか一方又は両方を区別する場合を含む。ほぼ全ての細胞には、細胞核（単に「核」ともいう）が存在し、細胞核は、真核生物の細胞を構成する細胞小器官の一つであり、核内には遺伝情報が保存されている。細胞の細胞膜で囲まれた部分である原形質のうち、細胞核以外の領域を細胞質という。本実施の形態の検出装置は、多数の細胞が密集した状態において、一つ一つの細胞を認識可能に検出するものであり、個々の細胞の細胞核を識別することにより、一つ一つの細胞の位置、及び細胞の数などを正確に検出することができる。なお、検体には、細菌、個体粒子、ゲル粒子などを含めることができる。以下、本明細書では、検体を細胞として説明する。
【００１３】
検出装置５０は、処理部５１、第１画像データ取得部５２、第２画像データ取得部５３、メモリ５４、出力部５５、表示部５６などを備える。処理部５１は、検出モデル部５１１、入力データ生成部５１２、推定画像生成部５１３、学習処理部５１４、学習データ生成部５１５などを備える。また、検出装置５０は、画像を表示することができる表示装置６０と接続することができる。なお、検出装置５０は、例えば、ユーザが使用するパーソナルコンピュータなどの情報処理装置、様々なサービスやデータなどを提供するサーバ、あるいは検体を観察する顕微鏡などに組み込むことができる。
【００１４】
第１画像データ取得部５２は、第１取得部及び取得部としての機能を有し、第１方法によって得られた、細胞（学習処理部５１４の学習用細胞、及び検出用の細胞の両方を含む）を含む第１画像に係る第１画像データを取得する。第１方法は、画像に対する個別の加工を施さないと細胞の関心領域（例えば、核など）を別個に明確に認識することが難しいような方法である。第１方法によって得られた第１画像とは、例えば、顕微鏡により得られる位相差画像及び明視野画像の少なくとも一方を含む。
【００１５】
位相差画像は、位相差顕微鏡によって得られる画像であり、光の回折及び干渉という二つの性質を利用し、明暗のコントラストにより無色透明な細胞を可視した画像である。細胞に光が入射すると光の位相変化が生じ（回折光）、一方、細胞の影響を受けていない光は位相変化が生じない（直接光）ので、両方の光の位相差によって、細胞の形状情報を明暗のコントラストとして得ることができる。
【００１６】
明視野画像は、透過電子顕微鏡によって得られる画像であり、多くの細胞を含む試料に対して入射した電子線のうち透過した電子線（透過波）のみによって結像した画像である。位相差画像及び明視野画像では、細胞に染色を行う必要がないので、細胞の分化など生きたままの姿を検出することができる。なお、本明細書では、第１方法によって得られた第１画像を位相差画像として説明する。
【００１７】
第２画像データ取得部５３は、第２取得部としての機能を有し、第１方法と異なる第２方法によって得られた、学習用細胞を含む第２画像に係る第２画像データを取得する。第２方法は、第１方法とは異なり、細胞の関心領域（例えば、核など）を別個に明確に認識することができるような方法である。別言すれば、細胞の関心領域は、第１方法によれば、画像に対する個別の加工を施さないと一つ一つを個別に識別することが難しく、一方、第２方法によれば、一つ一つを個別に識別することができるものということができる。なお、本明細書では、第２方法によって得られた第２画像を染色画像として説明する。
【００１８】
核染色画像は、蛍光顕微鏡によって得られる画像である。細胞に対して予め核染色（蛍光染色ともいう）を行い、核染色した細胞に励起光を照射し、核染色された細胞から発生する蛍光のうち、所要の波長の蛍光だけを透過するフィルタを用い、当該蛍光のみを取り出すことによって核染色画像を得ることができる。
【００１９】
メモリ５４は、画像メモリであり、第１画像データ取得部５２で取得した位相差画像の画像データ（第１画像データ）及び第２画像データ取得部５３で取得した核染色画像の画像データ（第２画像データ）を記憶する。
【００２０】
図２は位相差画像及び核染色画像の一例を示す説明図である。図２Ａは位相差画像であり、図２Ｂは核染色画像である。図２に示す位相差画像及び核染色画像は、同一の観察領域を同時刻に撮影したものである。位相差画像及び核染色画像の解像度は、８００×６００とすることができるが、これに限定されない。位相差画像では、細胞の存在、あるいは細胞の形状の概略を認識することができるが、１個の細胞であるのか、複数の細胞が纏まっているのかが正確に観察することができず、観察領域内の全ての細胞について、個々の細胞を識別可能に観察することが困難である。核染色画像では、細胞核の部分が背景に比べて高い輝度として表れ、細胞核の位置及び数を、位相差画像に比べて正確に観察することができる。なお、個々の細胞核が発する輝度は、均一ではなく細胞核によってばらつきがある。
【００２１】
処理部５１は、ハードウエア又はソフトウエア、あるいは両方の組み合わせにより構成することができる。
【００２２】
検出モデル部５１１は、検出器としての機能を有し、例えば、複数のプロセッサ（ＣＰＵ：Central Processing Unit）、複数のグラフィック処理ユニット（ＧＰＵ：Graphics Processing Unit）、あるいはＣＰＵ及びＧＰＵの組み合わせによって構成することができる。所要のプログラミング言語によって細胞を検出するための検出モデルが作成され、学習用データを用いて、作成した検出モデルによる検出精度が高くなるように検出モデルのパラメータ等の構成をチューニングすることにより、検出モデル部５１１の学習を行うことができる。
【００２３】
図３は本実施の形態の検出モデル部５１１の構成の第１例を模式的に示す説明図である。図３は、検出モデル部５１１をニューラルネットワークモデルで構成したものであるが、検出モデル部５１１の構成は、図３の例のような多層のニューラルネットワーク（深層学習）に限定されるものではなく、他の機械学習（例えば、ＳＶＭ：サポートベクターマシン、Random Forest:ランダムフォレスト）のアルゴリズムを用いることもできる。
【００２４】
図３に示すように、検出モデル部５１１は、入力層、出力層及び複数の中間層から構成されている。なお、図３では、便宜上、２つ中間層を図示しているが、中間層の層数は２つに限定されず、３つ以上であってもよい。入力層のノード数はＮ（ｘ１、ｘ２、…、ｘＮ）であり、出力層のノード数は１（ｙ１）である。
【００２５】
入力層、出力層及び中間層には、１つ又は複数のノード（ニューロン）が存在し、各層のノードは、前後の層に存在するノードと一方向に所望の重みで結合されている。入力層のノードの数Ｎと同数の成分を有するベクトルが、学習済の検出モデル部５１１の入力データとして与えられる。
【００２６】
入力層の各ノードに与えられたデータは、最初の中間層に入力として与えられると、重み及び活性化関数を用いて中間層の出力が算出され、算出された値が次の中間層に与えられ、以下同様にして出力層の出力が求められるまで次々と後の層（下層）に伝達される。なお、ノードを結合する重みのすべては、学習処理部５１４の学習アルゴリズムによって計算される。
【００２７】
出力層は、入力データ（ｘ１、ｘ２、…ｘＮ）に基づいて、一の画素の輝度値を出力する。画素の輝度範囲を０〜２５５とすると、出力値は、０〜２５５の任意の値（整数に限定されない）を取り得る。なお、輝度値０は黒（暗）であり、輝度値２５５は白（明）である。
【００２８】
次に、検出モデル部５１１の学習手順について説明する。
【００２９】
学習データ生成部５１５は、撮像して得られた、学習用細胞を含む位相差画像の画像データ、及び撮像して得られた、当該学習用細胞の関心領域を含む核染色画像の画像データに基づいて学習データを生成する。
【００３０】
図４は本実施の形態の検出モデル部５１１を学習させるための学習データの生成方法の第１例を示す説明図である。図４の学習データの生成方法は、図３に示す検出モデル部５１１の第１例に対応するものである。
【００３１】
図４Ａに示すように、学習データ生成部５１５は、観察領域を撮像した、学習用細胞の関心領域を含む核染色画像（例えば、解像度は８００×６００）の画像データをメモリ５４から取得する。
【００３２】
図４Ｂに示すように、学習データ生成部５１５は、核染色画像から所定の画素数で構成される画素ブロック（例えば、ｇ×ｇ、ｇ＝２８など）を複数特定する。図４Ｂの例では、便宜上、４つの画素ブロックＧ１、Ｇ２、Ｇ３、Ｇ４を示す。実際には、１枚の核染色画像から所要数の画素ブロックを特定することができる。所要数は、例えば、１枚の核染色画像の全画素数に等しい数でもよく、画像処理負荷を軽減すべく、全画素数よりも少ない数でもよい。画素ブロックの特定は、核染色画像上の位置をランダムに選ぶことができるが、細胞核を含む画素ブロックだけでなく、細胞核を含まない画素ブロックを特定することができる。細胞核を含まない画素ブロックも特定することにより、細胞核が存在しないのに誤って細胞核が存在する如く誤検出を防止して細胞の検出精度を高めることができる。また、細胞が正細胞であるか死細胞であるかの区別をしなくてもよい。画素ブロックＧ１、Ｇ３は細胞核（発色箇所）を含み、画素ブロックＧ２、Ｇ４は細胞核を含んでいない。また、画素ブロックＧ１、Ｇ２、Ｇ３、Ｇ４の特徴量（図４Ｂの例では、画素値の一つである輝度値）を、それぞれ１５９、８２、２５５、９０とする。ここで、画素ブロックの画素の特徴量は、例えば、画素ブロックの中心に存在する画素の画素値の一つである輝度値とすることができるが、これに限定されない。他にも、画素ブロック内の画素値の平均値、画素値の中央値等、画素ブロックを代表する代表値を含めることができる。すなわち、代表値も画素値の一つである。
【００３３】
学習データ生成部５１５は、観察領域を撮像した、学習用細胞を含む位相差画像（例えば、解像度は８００×６００）の画像データをメモリ５４から取得する。なお、位相差画像と核染色画像とは、学習用細胞が含まれる同一の観察領域を同一時刻に撮像したものである。
【００３４】
学習データ生成部５１５は、核染色画像上で特定した画素ブロックに対応する位相差画像の画素ブロックに、核染色画像上で特定した画素ブロックの画素の特徴量を関連付けて学習データを生成する。より具体的には、学習データ生成部５１５は、位相差画像の画素ブロックに、核染色画像上で特定した画素ブロック内の所定画素（図４の例では、中心画素）の画素値の一つである輝度値を関連付けて学習データを生成する。画素値を学習用データ（教師データ）として用いるので、例えば、特徴ベクトルなどを算出して教師データとして用いる場合に比べて、適切な特徴ベクトルの設計が不要であり、特徴ベクトルを算出する場合に比べて、画素値をそのまま用いることができるので、処理が簡単になるとともに精度の高い細胞検出を可能とする。
【００３５】
図４Ｃに示すように、学習データ生成部５１５は、核染色画像上の画素ブロックＧ１、Ｇ２、Ｇ３、Ｇ４に対応する位相差画像の領域Ｘ１、Ｘ２、Ｘ３、Ｘ４（切り出し画像）を切り出す。そして、領域Ｘ１〜Ｘ４に、画素ブロックＧ１〜Ｇ４の輝度値を教師ラベルとして関連付けている。領域Ｘ１〜Ｘ４は、それぞれｇ×ｇの画素で構成されるので、領域Ｘ１については、サンプルＸ１の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ１１、ｘ１２、…、ｘ１Ｎ）が生成され、教師ラベルは１５９となる。
【００３６】
領域Ｘ２については、サンプルＸ２の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ２１、ｘ２２、…、ｘ２Ｎ）が生成され、教師ラベルは８２となる。領域Ｘ３については、サンプルＸ３の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ３１、ｘ３２、…、ｘ３Ｎ）が生成され、教師ラベルは２５５となる。また、領域Ｘ４については、サンプルＸ４の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ４１、ｘ４２、…、ｘ４Ｎ）が生成され、教師ラベルは９０となる。
【００３７】
図５は本実施の形態の学習処理部５１４による学習の第１例を示す説明図である。学習処理部５１４は、学習データ生成部５１５が生成した学習データに基づいて検出モデル部５１１を学習させる。具体的には、学習処理部５１４は、サンプルＸ１の学習用入力データ（ｘ１１、ｘ１２、…、ｘ１Ｎ）を、入力層のそれぞれの入力ノードに入力し、出力層の出力ノードの出力値ｙ１が教師データである１５９に近づくように学習を行う。
【００３８】
また、学習処理部５１４は、サンプルＸ２の学習用入力データ（ｘ２１、ｘ２２、…、ｘ２Ｎ）を、入力層のそれぞれの入力ノードに入力し、出力層の出力ノードの出力値ｙ１が教師データである８２に近づくように学習を行う。また、学習処理部５１４は、サンプルＸ３の学習用入力データ（ｘ３１、ｘ３２、…、ｘ３Ｎ）を、入力層のそれぞれの入力ノードに入力し、出力層の出力ノードの出力値ｙ１が教師データである２５５に近づくように学習を行う。また、学習処理部５１４は、サンプルＸ４の学習用入力データ（ｘ４１、ｘ４２、…、ｘ４Ｎ）を、入力層のそれぞれの入力ノードに入力し、出力層の出力ノードの出力値ｙ１が教師データである９０に近づくように学習を行う。
【００３９】
図６は本実施の形態の処理部５１の学習処理の手順の第１例を示すフローチャートである。以下では、便宜上、処理の主体を処理部５１として説明する。処理部５１は、観察領域を撮像した、学習用細胞を含む位相差画像の画像データを取得し（Ｓ１１）、同一の観察領域を同時刻に撮像した、当該学習用細胞の関心領域を含む核染色画像の画像データを取得する（Ｓ１２）。
【００４０】
処理部５１は、核染色画像からランダムに画素ブロックを複数特定し（Ｓ１３）、特定した画素ブロックの中心画素の輝度値を記録する（Ｓ１４）。処理部５１は、位相差画像から画素ブロックに対応する位置の切り出し画像を抽出する（Ｓ１５）。
【００４１】
処理部５１は、抽出した切り出し画像の各画素の輝度値を学習用入力データとし、切り出し画像に対応する画素ブロックの中心画素の輝度値を教師ラベルとして学習データを生成する（Ｓ１６）。処理部５１は、生成した学習データに基づいて検出モデル部５１１を学習させる（Ｓ１７）。
【００４２】
処理部５１は、検出モデル部５１１の出力値の精度が許容範囲内であるか否かを判定し（Ｓ１８）、許容範囲内でない場合（Ｓ１８でＮＯ）、ステップＳ１１以降の処理を続ける。出力値の精度が許容範囲内である場合（Ｓ１８でＹＥＳ）、処理部５１は、処理を終了する。
【００４３】
学習データを生成する場合、位相差画像及び核染色画像は、１枚に限定されず、複数枚の位相差画像及び核染色画像を用いることができる。例えば、細胞の活動に応じた状態を学習させるため、所定の時間経過の都度、位相差画像及び核染色画像を撮像することができる。例えば、１５分経過の都度、位相差画像及び核染色画像を１枚撮像し、最終的に１０枚程度の位相差画像及び核染色画像を取得すればよい。
【００４４】
次に、学習済の検出モデル部５１１を用いて、細胞を検出する手順について説明する。
【００４５】
第１画像データ取得部５２は、検出用の細胞（学習用ではない）を含む位相差画像を取得し、取得した位相差画像をメモリ５４に記憶する。
【００４６】
入力データ生成部５１２は、メモリ５４から位相差画像を取得し、取得した位相差画像から所定の画素数で構成される画素ブロックを複数特定する。入力データ生成部５１２は、特定した画素ブロックの各画素の輝度値に基づいて入力データを生成する。
【００４７】
図７は本実施の形態の入力データ生成部５１２による入力データの生成方法の第１例を示す説明図である。位相差画像の解像度をｍ×ｎ（例えば、ｍ＝８００、ｎ＝６００など）とする。入力データ生成部５１２は、例えば、位相差画像の左上から水平方向に走査し、水平方向の走査が終了したら走査位置を垂直方向にずらすとともに再度左から右に向かって走査を繰り返し、最終的に右下まで走査して、位相差画像の全画素の画素数分の画素ブロック（g×ｇ、ｇ＝２８）を特定することにより、Ｍ個（Ｍ＝ｍ×ｎ）の切り出し画像Ａ１、Ａ２、…、ＡＭを切り出す。各切り出し画像は、Ｎ個（Ｎ＝ｇ×ｇ）の画素で構成される。これにより、入力データは、それぞれがＮ個の成分を有するＭ個のベクトルで構成される。なお、切り出し画像の数は、位相差画像の全画素数に限定されるものではなく、位相差画像のうちの特定の領域を走査したときの画素数でもよく、切り出す画像を走査方向に沿って間引きしてもよい。
【００４８】
図８は本実施の形態の検出モデル部５１１による検出処理の第１例を示す説明図である。入力層のそれぞれ入力ノードには、切り出し画像Ａ１についての入力データ（ａ１１、ａ１２、ａ１３、…ａ１Ｎ）が入力されると、出力層の出力ノードには出力値ｂ１が出力される。また、切り出し画像Ａ２についての入力データ（ａ２１、ａ２２、ａ２３、…ａ２Ｎ）が入力されると、出力層の出力ノードには出力値ｂ２が出力される。以下、同様にして、切り出し画像ＡＭについての入力データ（ａＭ１、ａＭ２、ａＭ３、…ａＭＮ）が入力されると、出力層の出力ノードには出力値ｂＭが出力される。
【００４９】
推定画像生成部５１３は、検出モデル部５１１の出力ノードから出力される出力値ｂ１、ｂ２、…、ｂＭに基づいて、核染色画像を撮像することなく、核染色画像の推定画像を生成する。図７に示すように、位相差画像の解像度をｍ×ｎとすると、推定画像生成部５１３は、Ｍ（＝ｍ×ｎ）個の出力値を、ｍ×ｎの各画素に対応させることにより、ｍ×ｎの推定核染色画像を生成する。
【００５０】
出力部５５は、検出モデル部５１１の出力ノードから出力される出力値ｂ１、ｂ２、…、ｂＭを外部の装置などに出力することができる。
【００５１】
図９は本実施の形態の処理部５１による検出処理の手順の第１例を示すフローチャートである。処理部５１は、検出対象の細胞を含む位相差画像の画像データを取得し（Ｓ３１）、取得した位相差画像を走査して切り出し画像を抽出する（Ｓ３２）。処理部５１は、抽出した切り出し画像の各画素の輝度値に基づいて、入力データを生成する（Ｓ３３）。
【００５２】
処理部５１は、生成した入力データを検出モデル部５１１の入力ノードに入力し（Ｓ３４）、切り出し画像毎に検出モデル部５１１が出力した出力値を推定核染色画像の各画素の輝度値とし（Ｓ３５）、推定核染色画像を生成する（Ｓ３６）。
【００５３】
処理部５１は、位相差画像と、推定核染色画像とを対比して表示し（Ｓ３７）、処理を終了する。
【００５４】
図１０は本実施の形態の処理部５１により生成された推定核染色画像の一例を示す説明図である。図１０Ａは、検出対象の細胞を含む位相差画像であり、図１０Ｂは、処理部５１により生成された核染色画像の推定画像（推定核染色画像）であり、図１０Ｃは、位相差画像に対応する核染色画像であり、位相差画像と同一の観察領域を同時刻に撮像したものである。図１０に示すように、本実施の形態によれば、細胞に核染色を行って核染色画像を取得することなく、位相差画像を取得するだけで、核染色画像の推定画像を精度良く得ることができる。
【００５５】
図１０に示す推定核染色画像に係る画像データは、細胞（細胞核）が検出された画像データであって、撮像して得られる細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを含む構造を有し、当該推定画像は、撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データに基づく入力データを、細胞を検出する検出モデル部５１１に入力して検出モデル部５１１が出力する出力値に基づいて生成され、検出モデル部５１１は、撮像して得られた、学習用細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データ、及び撮像して得られた、当該学習用細胞の関心領域を含む染色画像に係る第２画像データに基づいて生成された学習データによって学習されている。
【００５６】
図１１は位相差画像と推定核染色画像とを合成した合成画像の一例を示す説明図である。表示部５６は、推定画像生成部５１３が生成した推定核染色画像と、取得された位相差画像とを対比させて表示装置６０の表示画面に表示させることができる。位相差画像（図１１Ａ）と、推定核染色画像（図１１Ｂ）とを対比させるとは、図示しないが位相差画像と推定核染色画像とを並列させて表示するだけでなく、図１１Ｃに示すように、位相差画像の左上の位置及び右下の位置それぞれが、推定核染色画像の左上の位置及び右下の位置に一致するように、位相差画像と推定核染色画像とを重ねることや、推定核染色画像の情報を基に位相差画像を所定の操作で編集することを含む。これにより、位相差画像上で認識される細胞の位置が、推定核染色画像上で認識される細胞核の位置によって確定するので、核染色画像を取得することなく、一つ一つの細胞の位置、及び細胞の数を正確に認識しつつ、位相差画像を観察することが可能となる。特に、位相差画像だけでは、一つの細胞のように認識される場合に、実際には、例えば、二つの細胞が密着した状態であることを把握して観察できる。
【００５７】
本実施の形態によれば、核染色画像を実際に取得することなく、細胞核が鮮明に映る推定核染色画像を得ることができるので、画像解析に適した画像を得ることができる。また、核染色撮影のための作業やコストが不要となり、細胞への侵襲がなく、細胞の本来の挙動を観察することが可能となる。
【００５８】
本実施の形態によれば、核染色画像に基づいて教師データ（学習用データ）を自動的に生成するので、例えば、検出したい領域（細胞領域）のマスク画像（教師データ）を手動で作成する必要がなく、教師データの作成者の主観が入り込む余地がなく、ばらつき、あるいは主観によるブレのない学習データを生成することができる。
【００５９】
本実施の形態によれば、一度学習が完了すれば、細胞の核染色を行わずに核染色画像と同等の画像が得られるため、核染色による様々なリスク（例えば、細胞へのダメージ等）がなくなる。
【００６０】
本実施の形態によれば、核染色画像に基づく学習データによって学習した検出モデル部に、位相差画像の画像データを入力して細胞を検出するので、位相差画像のみを用いる場合に必要となる多様で適切なフィルタモデルの設計が不要となる。
【００６１】
本実施の形態によれば、光学系モデルに基づいて各画素が細胞か否かを推定する必要がないので、光学系モデルの多くの未知のパラメータを試行錯誤で決定する必要がない。
【００６２】
本実施の形態によれば、核染色画像から複数の画素ブロックを特定する場合、細胞核を含む画素ブロックだけでなく、細胞核を含まない画素ブロックも特定して、学習データを生成するので、細胞核が存在しないのに誤って細胞核が存在する如く誤検出を防止して細胞の検出精度を高めることができる。
【００６３】
図１２は推定核染色画像と合成画像の他の例を示す説明図である。なお、図１２では、便宜上、一つの細胞（細胞核）だけを図示している。第１画像データ取得部５２は、時系列に撮像した、検出対象の細胞を含む複数の位相差画像を取得する。例えば、１０分、２０分経過の都度、観察領域を撮像した１枚の位相差画像を取得することができる。入力データ生成部５１２は、複数の位相差画像それぞれから所定の画素数（例えば、ｇ×ｇ）で構成される切り出し画像を複数抽出（特定）する。入力データ生成部５１２は、複数の位相差画像毎に、複数の切り出し画像の各画素の輝度値に基づいて、複数の組の入力データを生成する。入力データの複数の組は、複数の位相差画像に対応する。
【００６４】
推定画像生成部５１３は、１枚の位相差画像に基づいて１枚の推定核染色画像を生成するので、複数の位相差画像に対して、位相差画像の枚数と同数の時系列の推定核染色画像を生成することができる。
【００６５】
表示部５６は、複数の組の入力データが入力された検出モデル部５１１が出力する出力値に基づいて、細胞（細胞核）の推定移動軌跡を表示することができる。すなわち、図１２Ａの推定核染色画像では、細胞核の過去の推定位置から現在（直近）の推定位置までを推定移動軌跡として表している。また、図１２Ｂの合成画像では、細胞及び該細胞内の細胞核の両方の過去の推定位置から現在（直近）の推定位置までを推定移動軌跡として表している。これにより、細胞の動的な挙動を正確に把握することができる。
【００６６】
上述の例では、検出装置５０は、一つの検出モデル部５１１を備える構成であったが、これに限定されるものではなく、複数の検出モデル部を備える構成でもよい。この場合、例えば、検出対象の細胞の関心領域の種別などに応じて、種別毎に検出モデルが異なる複数の検出モデル部を備えるようにすることができる。これにより、細胞の関心領域の種別に応じて最適な検出モデル部を用いることができ、細胞の検出精度をさらに高めることができる。
【００６７】
また、検出モデル部５１１は、再学習可能に構成することができる。学習処理部５１４は、検出モデル部５１１が有する複数のパラメータ（入力層と中間層との間の重み、中間層と出力層との間の重み、中間層間の重みなど）を更新して、検出モデル部５１１を再学習可能にすることができる。これにより、細胞の検出精度を維持することができる。
【００６８】
次に、検出モデル部５１１の他の構成について説明する。
【００６９】
図１３は本実施の形態の検出モデル部５１１の構成の第２例を模式的に示す説明図である。図３に例示した第１例との相違点は、出力層のノード数が２（ｙ１、ｙ２）となっている。入力層の入力ノードの数、中間層の構成は第１例と同様である。出力層は、入力データ（ｘ１、ｘ２、…ｘＮ）に基づいて、ノード０は、輝度値が０（黒）である確率を出力し、ノード１は、輝度値が２５５（白）である確率を出力する。出力値は、０〜１の任意の値（整数に限定されない）を取り得る。
【００７０】
図１４は本実施の形態の検出モデル部５１１を学習させるための学習データの生成方法の第２例を示す説明図である。図１４の学習データの生成方法は、図１３に示す検出モデル部５１１の第２例に対応するものである。
【００７１】
図１４Ａに示すように、学習データ生成部５１５は、観察領域を撮像した、学習用細胞の関心領域を含む核染色画像（例えば、解像度は８００×６００）の画像データをメモリ５４から取得する。
【００７２】
図１４Ｂに示すように、学習データ生成部５１５は、核染色画像に対して二値化処理を行って二値化画像を生成する。二値化することにより、例えば、発色位置を前景とすることができる。また、二値化することにより、細胞の関心領域と関心領域以外の領域との区別が明瞭になる。例えば、二値化することにより、細胞核に相当する箇所と、細胞核に相当しない箇所との区別が明瞭になり、検出モデル部５１１を学習させやすくすることができる。
【００７３】
図１４Ｃに示すように、学習データ生成部５１５は、核染色画像から所定の画素数で構成される画素ブロック（例えば、ｇ×ｇ、ｇ＝２８など）を複数特定する。図１４Ｃの例では、便宜上、４つの画素ブロックＧ６、Ｇ７、Ｇ８、Ｇ９を示す。実際には、１枚の核染色画像から所要数の画素ブロックを特定することができる。所要数は、例えば、１枚の核染色画像の全画素数に等しい数でもよく、画像処理負荷を軽減すべく、全画素数よりも少ない数でもよい。画素ブロックの特定は、核染色画像上の位置をランダムに選ぶことができるが、細胞核を含む画素ブロックだけでなく、細胞核を含まない画素ブロックを特定することができる。細胞核を含まない画素ブロックも特定することにより、細胞核が存在しないのに誤って細胞核が存在する如く誤検出を防止して細胞の検出精度を高めることができる。なお、細胞が正細胞であるか死細胞であるかの区別をしなくてもよい。画素ブロックＧ６、Ｇ８は細胞核（発色箇所）を含み、画素ブロックＧ７、Ｇ９は細胞核を含んでいない。また、画素ブロックＧ６、Ｇ７、Ｇ８、Ｇ９の特徴量を二値とし、それぞれ１、０、１、０とする。二値は画素の画素値である。二値は、例えば、画素ブロックの中心に存在する画素の二値とすることができるが、これに限定されない。
【００７４】
学習データ生成部５１５は、観察領域を撮像した、学習用細胞を含む位相差画像（例えば、解像度は８００×６００）の画像データをメモリ５４から取得する。なお、位相差画像と核染色画像とは、学習用細胞の同一の観察領域を同一時刻に撮像したものである。
【００７５】
学習データ生成部５１５は、核染色画像上で特定した画素ブロックに対応する位相差画像の画素ブロックに、核染色画像上で特定した画素ブロックの二値化された所定画素の画素値である二値（０又は１）を関連付けて学習データを生成する。より具体的には、学習データ生成部５１５は、位相差画像の画素ブロックに、核染色画像上で特定した画素ブロック内の中心画素の画素値である二値を関連付けて学習データを生成する。画素値である二値を学習用データ（教師データ）として用いるので、例えば、特徴ベクトルなどを算出して教師データとして用いる場合に比べて、適切な特徴ベクトルの設計が不要であり、特徴ベクトルを算出する場合に比べて、画素値をそのまま用いることができるので、処理が簡単になるとともに精度の高い細胞検出を可能とする。
【００７６】
図１４Ｄに示すように、学習データ生成部５１５は、核染色画像上の画素ブロックＧ６、Ｇ７、Ｇ８、Ｇ９に対応する位相差画像の領域Ｘ６、Ｘ７、Ｘ８、Ｘ９（切り出し画像）を切り出す。そして、領域Ｘ６〜Ｘ９に、画素ブロックＧ６〜Ｇ９の二値を教師ラベルとして関連付けている。領域Ｘ６〜Ｘ９は、それぞれｇ×ｇの画素で構成されるので、領域Ｘ６については、サンプルＸ１の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ６１、ｘ６２、…、ｘ６Ｎ）が生成され、教師ラベルは１となる。
【００７７】
領域Ｘ７については、サンプルＸ７の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ７１、ｘ７２、…、ｘ７Ｎ）が生成され、教師ラベルは０となる。領域Ｘ８については、サンプルＸ８の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ８１、ｘ８２、…、ｘ８Ｎ）が生成され、教師ラベルは１となる。また、領域Ｘ９については、サンプルＸ９の学習用入力データとして、Ｎ（＝ｇ×ｇ）個の成分を有するベクトル（ｘ９１、ｘ９２、…、ｘ９Ｎ）が生成され、教師ラベルは０となる。
【００７８】
図１５は本実施の形態の学習処理部５１４による学習の第２例を示す説明図である。学習処理部５１４は、学習データ生成部５１５が生成した学習データに基づいて検出モデル部５１１を学習させる。具体的には、学習処理部５１４は、教師ラベルが１のサンプルＸ６の学習用入力データ（ｘ６１、ｘ６２、…、ｘ６Ｎ）を、入力層のそれぞれの入力ノードに入力し、出力層の出力ノード１の出力値ｙ２が１に近づくよう、かつ出力ノード０の出力値ｙ１が０に近づくように学習を行う。
【００７９】
また、図示していないが、教師ラベルが０のサンプルＸ７の学習用入力データ（ｘ７１、ｘ７２、…、ｘ７Ｎ）を、入力層のそれぞれの入力ノードに入力し、出力層の出力ノード０の出力値ｙ１が１に近づくよう、かつ出力ノード１の出力値ｙ２が０に近づくように学習を行う。サンプルＸ８、Ｘ９の学習用入力データについても同様である。
【００８０】
すなわち、教師ラベル１の入力データを入力した場合には、ノード０が０に、かつノード１が１に近づくように学習を行い、教師ラベル０の入力データを入力した場合には、ノード０が１に、かつノード１が０に近づくように学習を行う。
【００８１】
図１６は本実施の形態の処理部５１の学習処理の手順の第２例を示すフローチャートである。以下では、便宜上、処理の主体を処理部５１として説明する。処理部５１は、観察領域を撮像した、学習用細胞を含む位相差画像の画像データを取得し（Ｓ５１）、同一の観察領域を同時刻に撮像した、当該学習用細胞の関心領域を含む核染色画像の画像データを取得する（Ｓ５２）。
【００８２】
処理部５１は、核染色画像を二値化し（Ｓ５３）、二値化した核染色画像からランダムに画素ブロックを複数特定し（Ｓ５４）、特定した画素ブロックの中心画素の二値を記録する（Ｓ５５）。処理部５１は、位相差画像から画素ブロックに対応する位置の切り出し画像を抽出する（Ｓ５６）。
【００８３】
処理部５１は、抽出した切り出し画像の各画素の輝度値を学習用入力データとし、切り出し画像に対応する画素ブロックの中心画素の二値を教師ラベルとして学習データを生成する（Ｓ５７）。処理部５１は、生成した学習データに基づいて検出モデル部５１１を学習させる（Ｓ５８）。
【００８４】
処理部５１は、検出モデル部５１１の出力値の精度が許容範囲内であるか否かを判定し（Ｓ５９）、許容範囲内でない場合（Ｓ５９でＮＯ）、ステップＳ５１以降の処理を続ける。出力値の精度が許容範囲内である場合（Ｓ５９でＹＥＳ）、処理部５１は、処理を終了する。
【００８５】
第２例における入力データの生成方法は、図７に例示した第１例と同様であり、位相差画像から、Ｍ個（Ｍ＝ｍ×ｎ）の切り出し画像Ａ１、Ａ２、…、ＡＭを切り出す。
【００８６】
図１７は本実施の形態の検出モデル部５１１による検出処理の第２例を示す説明図である。入力層のそれぞれ入力ノードには、切り出し画像Ａ１についての入力データ（ａ１１、ａ１２、ａ１３、…ａ１Ｎ）が入力されると、出力層の出力ノードには出力データＢ１が出力される。出力データＢ１は、出力ノード０の確率が０．４であり、出力ノード１の確率が０．１である。出力ノード０の確率が出力ノード１の確率以上である場合、出力値を０とする。また、出力ノード０の確率が出力ノード１の確率未満である場合、出力値を１とする。出力データＢ１については、出力ノード０の確率が出力ノード１の確率以上であるので、出力値ｂ１は０となる。
【００８７】
切り出し画像Ａ２についての入力データ（ａ２１、ａ２２、ａ２３、…ａ２Ｎ）が入力されると、出力層の出力ノードには出力データＢ２が出力される。出力データＢ２は、出力ノード０の確率が０．３であり、出力ノード１の確率が０．８である。出力データＢ２については、出力ノード０の確率が出力ノード１の確率未満であるので、出力値ｂ２は１となる。
【００８８】
以下、同様にして、切り出し画像ＡＭについての入力データ（ａＭ１、ａＭ２、ａＭ３、…ａＭＮ）が入力されると、出力層の出力ノードには出力データＢＭが出力される。出力データＢＭは、出力ノード０の確率が０．５であり、出力ノード１の確率が０．２である。出力データＢＭについては、出力ノード０の確率が出力ノード１の確率以上であるので、出力値ｂＭは０となる。
【００８９】
推定画像生成部５１３は、検出モデル部５１１の出力ノードから出力される出力値ｂ１、ｂ２、…、ｂＭに基づいて、核染色画像を撮像することなく、核染色画像の推定画像を生成する。図７に示すように、位相差画像の解像度をｍ×ｎとすると、推定画像生成部５１３は、Ｍ（＝ｍ×ｎ）個の出力値を、ｍ×ｎの各画素に対応させることにより、ｍ×ｎの推定核染色画像を生成する。
【００９０】
図１８は本実施の形態の処理部５１による検出処理の手順の第２例を示すフローチャートである。処理部５１は、検出対象の細胞を含む位相差画像の画像データを取得し（Ｓ７１）、取得した位相差画像を走査して切り出し画像を抽出する（Ｓ７２）。処理部５１は、抽出した切り出し画像の各画素の輝度値に基づいて、入力データを生成する（Ｓ７３）。
【００９１】
処理部５１は、生成した入力データを検出モデル部５１１の入力ノードに入力し（Ｓ７４）、切り出し画像毎に検出モデル部５１１が出力したノード０の値（確率）≧ノード１の値（確率）の場合、出力値を０（黒）とし、ノード０の値（確率）＜ノード１の値（確率）の場合、出力値を１（白）として、推定核染色画像の画素値（輝度値）を決定する（Ｓ７５）。
【００９２】
処理部５１は、推定核染色画像を生成し（Ｓ７６）、位相差画像と、推定核染色画像とを対比して表示し（Ｓ７７）、処理を終了する。
【００９３】
なお、本実施の形態の処理部５１、表示部５６は、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、記録媒体読取部などで構成することができる。記録媒体に記録されたコンピュータプログラムを記録媒体読取部で読み取ってＲＡＭに格納することができる。ＲＡＭに格納されたコンピュータプログラムをＣＰＵ、ＧＰＵで実行させることにより、処理部５１、表示部５６で行う処理を実行することができる。なお、ＣＰＵは、プロセッサ、プロセッサデバイス、プロセッシングユニットなどの総称とし、１又は複数で構成することができる。また、コンピュータプログラムは、記録媒体読取部で読み取る構成に代えて、インターネットなどのネットワークを介してダウンロードすることもできる。
【００９４】
前述の図１４、図１６等に示す第２例では、核染色画像に対して二値化処理を行う構成であったが、以下では、二値化処理の前に行う前処理について説明する。
【００９５】
図１９は核染色画像を異なるしきい値で二値化して得られる二値化後の核染色画像の例を示す説明図である。図１９Ａは、撮像して得られた核染色画像（二値化する前の元画像）を示す。細胞に対して核染色を行うと、細胞の関心領域（例えば、細胞核）は必ずしも同じ強度で発光しないので、図１９Ａに示すように、細胞毎の発色の違い、あるいは画像全体の明るさのムラが存在する。
【００９６】
図１９Ｂに示すように、しきい値：１４０で二値化すると、画像中の細胞ではない領域の輝度が比較的高い画素が、あたかも発色位置として前景となり、細胞でない箇所が誤って細胞として扱われることになる。
【００９７】
また、図１９Ｃに示すように、しきい値：１５０で二値化すると、画像中の細胞ではない領域が誤って細胞として扱われることは多少抑制することができるものの、弱い強度で発色している細胞核が除去され、細胞核を検出することができない場合が生じる。
【００９８】
また、図１９Ｄに示すように、しきい値：１６０で二値化すると、画像中の細胞ではない領域が誤って細胞として扱われることは防止することができるものの、若干強い強度で発色している細胞核であっても除去される場合が生じる。このように、どのようなしきい値を用いたとしても、全ての細胞核を正確に検出することができない場合がある。
【００９９】
図２０は本実施の形態の処理部５１による二値化処理の前処理の手順の一例を示すフローチャートである。なお、図２０に示す処理は、図１６に示したステップＳ５２とステップＳ５３との間に追加される処理を含む。
【０１００】
処理部５１は、核染色画像の画像データを取得する（Ｓ１０１）。処理部５１は、核染色画像の注目画素の周辺画素の輝度値が注目画素の輝度値よりも小さい画素の数を注目画素の値として中間画像を生成する（Ｓ１０２）。注目画素は、核染色画像の左上から水平方向に走査し、水平方向の走査が終了したら走査位置を垂直方向にずらすとともに再度左から右に向かって走査を繰り返し、最終的に右下まで走査する。注目画素の周辺画素は、例えば、注目画素を含む、２１×２１画素とすることができるが、周辺画素の数はこれに限定されない。
【０１０１】
生成された中間画像では、画素値が大きい画素は、核染色画像の注目画素の周囲の輝度が低いことを表し、画素値が小さい画素は、核染色画像の注目画素の周囲の輝度が高いことを表している。すなわち、中間画像の画素値が小さい画素は、輝度値の相対値が高い画素を含み、発光強度が周囲よりも相対的に高い細胞核に対応すると言える。
【０１０２】
処理部５１は、中間画像をフーリエ変換して周波数スペクトルを算出し（Ｓ１０３）、低域通過フィルタを用いて高周波成分を除去する（Ｓ１０４）。これにより、細かい模様の箇所、あるいは輝度値が急激に変化するエッジの箇所などを除去することができ、核染色画像において、細胞核での輝度値の変化と異なる変化を示す箇所を除去することができる。
【０１０３】
処理部５１は、逆フーリエ変換により前処理済の核染色画像を生成し（Ｓ１０５）、核染色画像を二値化し（Ｓ１０６）、処理を終了する。なお、ステップＳ１０５、Ｓ１０６で言及する核染色画像は、厳密には、核染色画像に対応する中間画像であるが、本明細書では、便宜上、核染色画像として説明する。
【０１０４】
図２１は本実施の形態の処理部５１による二値化処理の前処理での画像の例を示す説明図である。図２１Ａは、元画像である核染色画像を示す。図２１Ｂは、注目画素の周辺画素の範囲（例えば、２１×２１画素）内で注目画素よりも輝度値の低い画素数を注目画素の値とした中間画像を示す。図２１Ｃはフーリエ変換後の周波数スペクトルを示す。図２１Ｃでは、中心付近が低周波成分であり、中心から離れるに従って高周波成分となる。
【０１０５】
図２１Ｄは、低域通過フィルタによって高周波成分を除去した周波数スペクトルを示す。図２１Ｄの例では、中心付近の円形状以外が、高周波成分として除去されている。図２１Ｅは逆フーリエ変換後の中間画像を示す。図２１Ｆは二値化後の画像を示す。図２１Ａと図２１Ｆとを比較すると、図２１Ａにおいて、発光強度が異なる（輝度値が異なる）細胞核が前景として表れていることが分かる。
【０１０６】
上述のように、処理部５１は、第２画像を取得する。処理部５１は、取得した第２画像の注目画素の周辺画素（例えば、注目画素を含む２１×２１画素）の輝度値と注目画素の輝度値を比較し、注目画素よりも輝度値が小さい画素の画素数を算出し、算出した画素数を注目画素の画素値とすることにより中間画像を生成する。処理部５１は、中間画像をフーリエ変換し、フーリエ変換後の周波数スペクトルにおいて高周波成分を除去する。処理部５１は、高周波成分が除去された周波数スペクトルを逆フーリエ変換して中間画像（核染色画像）を生成する。処理部５１は、生成した中間画像を二値化する。
【０１０７】
なお、二値化画像を得る他の方法としては、学習データ生成部５１５は、例えば、細胞がいない明るさのムラのみの背景画像との背景差分法（背景画像を得る方法として、細胞がいない状態を撮影する、タイムラプス画像から時系列方向に中央値を取った画像を求める等が考えられる）、あるいは、適応的二値化処理などを用いて二値化画像を生成することができる。適応的二値化処理は、二値化するための閾値を固定せず、複数の画素で構成される領域ごとに局所的に閾値を設定する方法である。例えば、ある領域内の画素の画素値の平均値を当該領域の閾値として設定する。
【０１０８】
図２２は本実施の形態の検出装置５０の構成の他の例を示すブロック図である。図１に例示した構成との相違点は、図２２の例では、学習処理部５１４、学習データ生成部５１５、第２画像データ取得部５３を具備しない。すなわち、図２２に示す検出装置５０においては、検出モデル部５１１は、すでに学習済であり、さらなる学習を必要としない場合には、学習処理部５１４、学習データ生成部５１５、第２画像データ取得部５３は必須の構成ではない。なお、図２２に例示する検出装置５０において、他の箇所は図１の構成と同様であるので説明は省略する。
【０１０９】
図２３は本実施の形態の顕微鏡１００の構成の一例を示すブロック図である。以下では、本実施の形態の撮像装置の一例として、顕微鏡１００について説明する。顕微鏡１００は、図１又は図２２に例示した検出装置５０を備える。なお、検出装置５０は、顕微鏡１００に組み込まれる構成に限定されない。
【０１１０】
顕微鏡１００は、検出装置５０の他に、位相差画像を撮像する際に白色色を出射する白色光源１１、励起光によって蛍光を発生する核染色剤が付与された細胞Ｃが収容されたウェルプレート１０、対物レンズ１３、蛍光励起用光源１２、ウェルプレート１０の下方に配置された蛍光用ミラーユニット１４、撮像素子１５、撮像素子１５が出力するアナログ値をデジタル値に変換するＡＤコンバータ（Ａ／Ｄ）１６、ＣＰＵ２０、メモリ２３、ユーザが顕微鏡１００を操作するための操作部２２、ウェルプレート１０に対して蛍光励起用光源１２、対物レンズ１３、蛍光用ミラーユニット１４及び撮像素子１５などを水平方向に移動するための駆動制御部２１などを備える。
【０１１１】
位相差画像を撮像する場合、白色光源１１からの白色光は、ウェルプレート１０の上方から下方に向かって照射され、細胞Ｃを透過する光（回折光）と、細胞Ｃを透過しない光（直接光）との位相差によって、細胞の形状情報を明暗のコントラストとして撮像素子１５で得ることができる。なお、顕微鏡１００は、位相差画像に代えて、あるいは位相差画像とともに、明視野画像を撮像することもできる。
【０１１２】
核染色画像を撮像する場合、蛍光励起用光源１２から出射される励起光は、蛍光用ミラーユニット１４によりウェルプレート１０に向かって反射され、対物レンズ１３を介して細胞Ｃに入射する。入射した励起光によって、細胞Ｃから蛍光が発せられる。細胞Ｃから発せられた蛍光は、対物レンズ１３及び蛍光用ミラーユニット１４を透過して撮像素子１５に入射し、核染色画像を得ることができる。
【０１１３】
位相差画像の撮像と核染色画像の撮像との切り替えは、ＣＰＵ２０の制御の下、同一箇所（観察領域）を同時刻に行うことができる。また、操作部２２からの操作に応じて、例えば、撮影箇所、撮影タイミングを設定して自動で撮影することもできる。
【０１１４】
図２４は本実施の形態の検出システムの構成の一例を示す模式図である。検出システムは、例えば、顕微鏡１００、ユーザが使用する端末装置２００、アプリケーション又はデータベースなどを提供するサーバ３００などを備えることができる。端末装置２００には、画像を表示することができる表示装置６０が接続されている。なお、表示装置６０を端末装置２００に組み込むこともできる。図２４に示す検出システムにおいて、本実施の形態の検出装置５０は、顕微鏡１００、端末装置２００及びサーバ３００のいずれか一つに組み込むことができる。前述の図２３の例では、検出装置５０を顕微鏡１００に組み込んだ例を説明した。
【０１１５】
顕微鏡１００と端末装置２００とは、例えば、通信線を介して接続することができる。また、端末装置２００とサーバ３００とは、インターネットなどの通信ネットワーク１を介して接続することができる。
【０１１６】
サーバ３００に検出装置５０を組み込んだ場合、サーバ３００は、細胞を検出する検出モデル部５１１、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを取得する取得部、取得した画像データを検出モデル部５１１に入力し、細胞を染色することなく、細胞の関心領域を含む推定核染色画像に係る推定画像データを出力する出力部などを備える。
【０１１７】
上述の実施の形態では、第２方法によって得られた第２画像の例として、核染色画像について説明した。核染色画像は、細胞核の染色だけでなく、細胞内の小器官を認識できる画像も含まれる。また、第２画像としては、染色剤などを用いた核染色画像などの蛍光イメージングに限定されるものではなく、例えば、造影剤などを用いたＲＩ（放射性同位元素）イメージングによる手法で得られた画像も含まれる。
【０１１８】
次に、マウスの表皮細胞の提供方法について説明する。なお、提供する細胞として、以下では、マウスの表皮細胞について説明するが、提供する細胞は、マウスの表皮細胞に限定されるものではない。
【０１１９】
図２５は本実施の形態のマウスの表皮細胞の提供方法の一例を示す模式図である。図２５に示すように、通信ネットワークを介して、配信サーバ３１０、提供サーバ３２０、ユーザが使用する端末装置２０１、タブレット端末２０２などが接続されている。なお、タブレット端末２０２は、スマートフォンでもよい。
【０１２０】
配信サーバ３１０の送信部３１１は、本実施の形態のコンピュータプログラムを特定のユーザの端末装置２０１に配信する。端末装置２０１は、配信されたコンピュータプログラムをインストールすることができ、これによって、端末装置２０１は、本実施の形態の検出装置５０が組み込まれた構成となる。特定のユーザは、例えば、本実施の形態のコンピュータプログラムを用いて細胞の解析を行う企業、研究機関、医療機関などのユーザであり、予め登録されているユーザとすることができる。
【０１２１】
ユーザは、タブレット端末２０２から、提供サーバ３２０に対して、マウスの表皮細胞の提供を要求する。当該要求には、ユーザの認証のためのＩＤ、パスワードなどを含めることができる。
【０１２２】
提供サーバ３２０の受信部３２１は、ユーザからの要求を受信すると、認証部３２２は、ユーザが正規のユーザであるか否かの認証処理を行う。認証処理の結果、正規のユーザからの要求である場合、情報生成部３２３は、当該ユーザにマウスの表皮細胞を提供するための提供情報を生成する。マウスの表皮細胞を提供するための提供情報は、例えば、マウスの表皮細胞を輸送するための宛先情報などを含む。
【０１２３】
これにより、本実施の形態のコンピュータプログラムが配信された特定のユーザに対して、マウスの表皮細胞を間違いなく提供することができる。また、学習に使用した細胞と同じ培養環境で培養した細胞をコンピュータプログラムと一緒に提供することにより、当該コンピュータプログラムによる細胞の検出精度を担保することができる。
【０１２４】
なお、配信サーバ３１０と提供サーバ３２０とは、統合して一つのサーバ（例えば、提供サーバ３２０）で構成することもできる。
【０１２５】
図２６は本実施の形態のマウスの表皮細胞の提供方法の処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を提供サーバ３２０として説明する。提供サーバ３２０は、特定のユーザに本実施の形態のプログラム（コンピュータプログラム）を配信する（Ｓ９１）。提供サーバ３２０は、ユーザからマウスの表皮細胞の提供要求があるか否かを判定し（Ｓ９２）、要求がない場合（Ｓ９２でＮＯ）、ステップＳ９２の処理を続ける。
【０１２６】
要求があった場合（Ｓ９２でＹＥＳ）、提供サーバ３２０は、ユーザの認証処理を行い（Ｓ９３）、正規のユーザであるか否かを判定する（Ｓ９４）。正規のユーザである場合（Ｓ９４でＹＥＳ）、提供サーバ３２０は、当該ユーザにマウスの表皮細胞を提供するための提供情報を生成し（Ｓ９５）、処理を終了する。正規のユーザではない場合（Ｓ９４でＮＯ）、提供サーバ３２０は、処理を終了する。
【０１２７】
本実施の形態に係るコンピュータプログラムは、コンピュータに、検体を検出させるためのコンピュータプログラムであって、コンピュータに、第１方法によって得られた、学習用検体を含む第１画像に係る第１画像データを取得する処理と、前記学習用検体内の関心領域を識別可能にする、前記第１方法と異なる第２方法によって得られた、前記学習用検体の関心領域を含む第２画像に係る第２画像データを取得する処理と、前記第１画像データ及び第２画像データに基づいて学習データを生成する処理と、前記第１方法によって得られた、検体を含む第１画像に係る第１画像データに基づいて検出器が検体を検出できるように、生成した学習データに基づいて前記検出器を学習させる処理とを実行させる。
【０１２８】
本実施の形態に係るコンピュータプログラムは、コンピュータに、前記第２画像から所定の画素数で構成される画素ブロックを複数特定する処理と、特定した画素ブロックに対応する前記第１画像の画素ブロックに、前記特定した画素ブロックの画素の特徴量を関連付けて前記学習データを生成する処理とを実行させる。
【０１２９】
本実施の形態に係るコンピュータプログラムは、コンピュータに、前記第１画像の画素ブロックに、前記特定した画素ブロック内の所定画素の画素値を関連付けて前記学習データを生成する処理を実行させる。
【０１３０】
本実施の形態に係るコンピュータプログラムは、コンピュータに、前記第２画像を二値化する処理と、前記二値化する処理によって得られた画素の画素値である二値それぞれに対応し、所定の画素数で構成される画素ブロックを複数特定する処理と、特定した画素ブロックに対応する前記第１画像の画素ブロックに、前記特定した画素ブロックの二値化された所定画素の画素値のいずれかを関連付けて前記学習データを生成する処理とを実行させる。
【０１３１】
本実施の形態に係るコンピュータプログラムは、コンピュータに、前記検出器を学習させた結果に基づいて、検体の推定位置を表示する処理を実行させる。
【０１３２】
本実施の形態に係るコンピュータプログラムは、コンピュータに、前記第１方法によって得られた、検体を含む第１画像に係る第１画像データを取得する処理と、前記第１画像から所定の画素数で構成される画素ブロックを複数特定する処理と、特定した画素ブロックの各画素の画素値に基づいて入力データを生成する処理と、生成した入力データが入力された前記検出器が出力する出力値に基づいて、前記第２方法に依拠することなく、前記第２方法によって得られる前記検体の関心領域を含む第２画像の、推定画像を生成する処理とを実行させる。
【０１３３】
本実施の形態に係るコンピュータプログラムは、コンピュータに、前記第１画像と前記推定画像とを対比して表示する処理を実行させる。
【０１３４】
本実施の形態に係るコンピュータプログラムは、コンピュータに、前記第１方法によって時系列に得られた、検体を含む複数の第１画像それぞれから所定の画素数で構成される画素ブロックを複数特定する処理と、前記複数の第１画像毎に、特定した画素ブロックの各画素の画素値に基づいて複数の組の入力データを生成する処理と、前記複数の組の入力データが入力された前記検出器が出力する出力値に基づいて、検体の推定移動軌跡を表示する処理とを実行させる。
【０１３５】
本実施の形態に係るコンピュータプログラムは、コンピュータに、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る前記第１画像データを取得する処理と、前記細胞の関心領域を含む染色画像に係る前記第２画像データを取得する処理とを実行させる。
【０１３６】
本実施の形態に係るコンピュータプログラムは、コンピュータに、検体を検出させるためのコンピュータプログラムであって、コンピュータに、第１方法によって得られた、検体を含む第１画像に係る第１画像データを取得する処理と、取得した第１画像データ及び学習済検出器に基づいて、前記検体内の関心領域を識別可能にする、前記第１方法と異なる第２方法に依拠することなく、前記第２方法によって得られる前記検体の関心領域を含む第２画像の、推定画像を生成する処理とを実行させる。
【０１３７】
本実施の形態に係る検出装置は、検体を検出する検出装置であって、第１方法によって得られた、学習用検体を含む第１画像に係る第１画像データを取得する第１取得部と、前記学習用検体内の関心領域を識別可能にする、前記第１方法と異なる第２方法によって得られた、前記学習用検体の関心領域を含む第２画像に係る第２画像データを取得する第２取得部と、前記第１画像データ及び第２画像データに基づいて学習データを生成する学習データ生成部と、前記第１方法によって得られた、検体を含む第１画像に係る第１画像データに基づいて検出器が検体を検出できるように、生成した学習データに基づいて前記検出器を学習させる学習処理部とを備える。
【０１３８】
本実施の形態に係る検出装置は、前記第１方法によって得られた、検体を含む第１画像に係る第１画像データを取得する取得部と、前記第１画像から所定の画素数で構成される画素ブロックを複数特定する特定部と、該特定部で特定した画素ブロックの各画素の画素値に基づいて入力データを生成する入力データ生成部と、該入力データ生成部で生成した入力データが入力された前記検出器が出力する出力値に基づいて、前記第２方法に依拠することなく、前記第２方法によって得られる前記検体の関心領域を含む第２画像の、推定画像を生成する画像生成部とを備える。
【０１３９】
本実施の形態に係る検出装置は、検体の関心領域の種別毎に前記検出器を複数備える。
【０１４０】
本実施の形態に係る検出装置において、前記検出器は、入力データを出力値に変換する複数のパラメータを有し、前記学習処理部は、前記検出器の前記複数のパラメータを更新して前記検出器を再学習可能にしている。
【０１４１】
本実施の形態に係る撮像装置は、撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方を出力する第１出力部と、撮像して得られた、細胞の関心領域を含む染色画像を出力する第２出力部と、前記第１出力部が出力する、学習用細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データを取得する第１取得部と、前記第２出力部が出力する、前記学習用細胞の関心領域を含む染色画像に係る第２画像データを取得する第２取得部と、前記第１画像データ及び第２画像データに基づいて学習データを生成する学習データ生成部と、前記第１出力部が出力する、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データに基づいて検出器が細胞を検出できるように、生成した学習データに基づいて前記検出器を学習させる学習処理部とを備える。
【０１４２】
本実施の形態に係る撮像装置は、細胞を含む位相差画像又は明視野画像の少なくとも一方から所定の画素数で構成される画素ブロックを複数特定する特定部と、該特定部で特定した画素ブロックの各画素の画素値に基づいて入力データを生成する入力データ生成部と、該入力データ生成部で生成した入力データが入力された前記検出器が出力する出力値に基づいて、細胞を染色することなく、前記細胞の関心領域を含む染色画像の推定画像に係る推定画像データを生成する画像データ生成部とを備える。
【０１４３】
本実施の形態に係るサーバは、細胞を検出する検出器と、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを取得する取得部と、該取得部で取得した画像データを前記検出器に入力し、前記細胞を染色することなく、前記細胞の関心領域を含む染色画像の推定画像に係る推定画像データを出力する出力部とを備える。
【０１４４】
本実施の形態に係る画像データは、細胞が検出された画像データであって、撮像して得られる細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを含む構造を有し、前記推定画像は、撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データに基づく入力データを、細胞を検出する検出器に入力して前記検出器が出力する出力値に基づいて生成され、前記検出器は、撮像して得られた、学習用細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データ、及び撮像して得られた、前記学習用細胞の関心領域を含む染色画像に係る第２画像データに基づいて生成された学習データによって学習されている。
【０１４５】
本実施の形態に係る検出器は、細胞を検出する検出器であって、撮像して得られた、学習用細胞を含む位相差画像又は明視野画像の少なくとも一方に係る第１画像データ、及び撮像して得られた、前記学習用細胞の関心領域を含む染色画像に係る第２画像データに基づいて生成された学習データによって学習されている。
【０１４６】
本実施の形態に係る検出器は、前記染色画像から所定の画素数で構成される画素ブロックを複数特定し、特定した画素ブロックに対応する前記位相差画像又は明視野画像の少なくとも一方の画素ブロックに、特定した画素ブロックの画素の特徴量を関連付けて生成された学習データによって学習されている。
【０１４７】
本実施の形態に係る検出器は、撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを入力データとして受け付ける入力部と、該入力部で受け付けた入力データに基づいて、前記細胞を染色することなく、撮像して得られる前記細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを出力する出力部とを備える。
【０１４８】
本実施の形態に係る検出方法は、細胞を検出する検出器による検出方法であって、前記検出器は、撮像して得られた、細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを入力データとして受け付け、受け付けた入力データに基づいて、前記細胞を染色することなく、撮像して得られる前記細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを出力する。
【０１４９】
本実施の形態に係る提供方法は、所定環境下で培養された細胞の提供方法であって、コンピュータに、撮像して得られた、前記細胞を含む位相差画像又は明視野画像の少なくとも一方に係る画像データを取得する処理と、取得した画像データに基づいて、前記細胞を染色することなく、撮像して得られる前記細胞の関心領域を含む染色画像の、推定画像に係る推定画像データを出力する処理とを実行させるコンピュータプログラムを配信し、前記コンピュータプログラムが配信されたユーザからの要求を受け付けた場合、前記ユーザに所定環境下で培養された細胞を提供するための情報を生成する。
【符号の説明】
【０１５０】
５０  検出装置
５１  処理部
５１１  検出モデル部
５１２  入力データ生成部
５１３  推定画像生成部
５１４  学習処理部
５１５  学習データ生成部
５２  第１画像データ取得部
５３  第２画像データ取得部
５４  メモリ
５５  出力部
５６  表示部
６０  表示装置
１００  顕微鏡
２００、２０１  端末装置
３００  サーバ
３１０  配信サーバ
３２０  提供サーバ
【図１】
2019091307.tif 000003
【図２】
2019091307.tif 000004
【図３】
2019091307.tif 000005
【図４】
2019091307.tif 000006
【図５】
2019091307.tif 000007
【図６】
2019091307.tif 000008
【図７】
2019091307.tif 000009
【図８】
2019091307.tif 000010
【図９】
2019091307.tif 000011
【図１０】
2019091307.tif 000012
【図１１】
2019091307.tif 000013
【図１２】
2019091307.tif 000014
【図１３】
2019091307.tif 000015
【図１４】
2019091307.tif 000016
【図１５】
2019091307.tif 000017
【図１６】
2019091307.tif 000018
【図１７】
2019091307.tif 000019
【図１８】
2019091307.tif 000020
【図１９】
2019091307.tif 000021
【図２０】
2019091307.tif 000022
【図２１】
2019091307.tif 000023
【図２２】
2019091307.tif 000024
【図２３】
2019091307.tif 000025
【図２４】
2019091307.tif 000026
【図２５】
2019091307.tif 000027
【図２６】
2019091307.tif 000028