(57)【要約】判別器の学習装置、方法およびプログラム並びに判別器において、細胞等の観察対象の状態を判別する判別器を精度よく学習できるようにする。画像取得部（５０）が、同一の観察対象（Ｓ）についての、メニスカス（Ｍ）の影響が存在する第１の画像およびメニスカス（Ｍ）の影響が除去された第２の画像を取得する。次いで、教師データ生成部（５３）が、第２の画像に基づいて、判別器（５１）を学習するための教師データ（Ｔ０）を生成する。そして、学習部（５４）が、第１の画像および教師データ（Ｔ０）に基づいて判別器（５１）を学習する。
2019039035.tif 000002
【特許請求の範囲】
【請求項１】
表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、前記メニスカスの影響が存在する撮影画像に基づいて、前記観察対象の状態を判別する判別器の学習装置であって、
同一の前記観察対象についての、前記メニスカスの影響が存在する第１の画像および前記メニスカスの影響が除去された第２の画像を取得する画像取得部と、
前記第２の画像に基づいて、前記判別器を学習するための教師データを生成する教師データ生成部と、
前記第１の画像および前記教師データに基づいて、前記判別器を学習する学習部とを備えた判別器の学習装置。
【請求項２】
前記第２の画像が、前記液体を除去した前記観察対象を撮像することにより取得される請求項１に記載の判別器の学習装置。
【請求項３】
前記第２の画像が、前記液体で満たされかつ透明板により密閉された前記容器における前記観察対象を撮像することにより取得される請求項１に記載の判別器の学習装置。
【請求項４】
前記第２の画像が、前記メニスカスの影響を除去する光学素子を備えた撮影装置により前記観察対象を撮像することにより取得される請求項１に記載の判別器の学習装置。
【請求項５】
前記教師データ生成部は、前記第２の画像に対して前記観察対象の状態に応じたラベルを付与した画像、または前記第２の画像を、前記教師データとして生成する請求項１から４のいずれか１項に記載の判別器の学習装置。
【請求項６】
前記判別器は、前記撮影画像における判別対象となる画素の特徴量を入力とし、該判別対象となる画素についての前記観察対象の状態の判別結果を出力する請求項１から５のいずれか１項に記載の判別器の学習装置。
【請求項７】
前記撮影画像は、位相差顕微鏡により前記容器を撮像することにより取得されてなる請求項１から６のいずれか１項に記載の判別器の学習装置。
【請求項８】
前記学習部は、前記第１の画像における判別対象画素について前記判別器が出力した判別結果を前記教師データにおける前記判別対象画素に対応する画素と照合して、前記判別器を学習する請求項１から７のいずれか１項に記載の判別器の学習装置。
【請求項９】
請求項１から８のいずれか１項に記載の判別器の学習装置により学習がなされた判別器。
【請求項１０】
表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、前記メニスカスの影響が存在する撮影画像に基づいて、前記観察対象の状態を判別する判別器の学習方法であって、
同一の前記観察対象についての、前記メニスカスの影響が存在する第１の画像および前記メニスカスの影響が除去された第２の画像を取得し、
前記第２の画像に基づいて、前記判別器を学習するための教師データを生成し、
前記第１の画像および前記教師データに基づいて、前記判別器を学習する判別器の学習方法。
【請求項１１】
表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、前記メニスカスの影響が存在する撮影画像に基づいて、前記観察対象の状態を判別する手順をコンピュータに実行させる判別器の学習プログラムであって、
同一の前記観察対象についての、前記メニスカスの影響が存在する第１の画像および前記メニスカスの影響が除去された第２の画像を取得する手順と、
前記第２の画像に基づいて、前記判別器を学習するための教師データを生成する手順と、
前記第１の画像および前記教師データに基づいて、前記判別器を学習する手順とをコンピュータに実行させる判別器の学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、凹形状の液面を有する液体および観察対象が収容された容器の画像を用いて、観察対象の状態を判別する判別器の学習装置、方法およびプログラム、並びに観察対象の状態を判別する判別器に関する。
【背景技術】
【０００２】
ＥＳ（Embryonic Stem）細胞およびｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備え、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。【０００３】
従来、ＥＳ細胞およびｉＰＳ細胞等の多能性幹細胞、並びに分化誘導された細胞等を位相差顕微鏡等の顕微鏡により撮影し、撮影により取得された画像の特徴を捉えることで細胞の分化状態等を判定する方法が提案されている。【０００４】
例えば、特許文献１においては、細胞の状態を予め学習した判別器を用いて、撮影により取得された画像に含まれる細胞の状態を判別する手法が提案されている。このような判別器は、撮影により取得された画像における判別対象となる画素位置の特徴量が入力されると、判別対象となる画素位置の状態の判別結果を出力する。特許文献１においては、予め取得された細胞の状態が分かっている画像を教師データとして学習させることにより、判別器が生成される。【０００５】
一方、上述したように細胞を顕微鏡により撮影する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等が設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査し、観察領域毎の画像を撮影した後、その観察領域毎の画像を繋ぎ合わせる方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−１２８４３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、上述したウェルプレート等を用いて細胞を培養する際、ウェル内には細胞および培養液等の液体が収容されるが、その液体の表面にはメニスカスが形成されることが知られている。【０００８】
特に、位相差顕微鏡装置を用いて細胞の画像を撮影する場合には、撮影画像に対するメニスカスの影響が大きい。このようなメニスカスの影響により、メニスカスが形成されているメニスカス領域は、メニスカスが形成されていない非メニスカス領域の撮影画像と比較するとコントラストが低い画像となってしまう。したがって、メニスカス領域を含む撮影画像においては、個々の細胞の画像を高精度に抽出することができない。【０００９】
ここで、上述した細胞の状態を判別する判別器は、メニスカス領域を含む撮影画像から教師データを作成している。しかしながら、メニスカス領域を含む撮影画像からは、上述したように個々の細胞を高精度に抽出できない。したがって、このようなメニスカス領域を含む撮影画像から作成された教師データを用いても、判別器を精度よく学習することができず、その結果、判別器の判別精度も低下する。【００１０】
本発明は上記事情に鑑みなされ、細胞等の観察対象の状態を判別する判別器を精度よく学習できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明による判別器の学習装置は、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する判別器の学習装置であって、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する画像取得部と、
第２の画像に基づいて、判別器を学習するための教師データを生成する教師データ生成部と、
第１の画像および教師データに基づいて、判別器を学習する学習部とを備える。【００１２】
表面にメニスカスが形成された液体および観察対象が収容された容器を撮像する場合、容器に入射する光は、容器におけるメニスカスが形成されているメニスカス領域においては屈折し、メニスカスが形成されていない非メニスカス領域においては直進する。これにより、撮像により取得される画像においては、メニスカス領域は非メニスカス領域よりも輝度が高くなり、コントラストが低下する。とくに、位相差顕微鏡により容器を撮像する場合、非メニスカス領域を通過した光は位相板を通るため、振幅が弱められて位相がずらされ、観察対象による回折光と合成されて、高コントラストの画像となる。一方、メニスカス領域を通過した光は位相板を通らない可能性があるため、振幅および位相が変化せず、低コントラストかつ高輝度の画像となる。【００１３】
「メニスカスの影響が存在する画像」とは、画像中にメニスカス領域を通過した光により得られる低コントラストかつ高輝度の領域が含まれる画像を意味する。【００１４】
なお、本発明の一態様による判別器の学習装置においては、第２の画像が、液体を除去した観察対象を撮像することにより取得されてもよい。【００１５】
また、本発明の一態様による判別器の学習装置においては、第２の画像が、液体で満たされかつ透明板により密閉された容器における観察対象を撮像することにより取得されてもよい。【００１６】
また、本発明の一態様による判別器の学習装置においては、第２の画像が、メニスカスの影響を除去する光学素子を備えた撮影装置により観察対象を撮像することにより取得されてもよい。【００１７】
また、本発明の一態様による判別器の学習装置においては、教師データ生成部は、第２の画像に対して観察対象の状態に応じたラベルを付与した画像、または第２の画像を、教師データとして生成してもよい。【００１８】
また、本発明の一態様による判別器の学習装置においては、判別器は、撮影画像における判別対象となる画素の特徴量を入力とし、判別対象となる画素についての観察対象の状態の判別結果を出力してもよい。【００１９】
また、本発明の一態様による判別器の学習装置においては、撮影画像は、位相差顕微鏡により容器を撮像することにより取得されてもよい。【００２０】
学習部は、第１の画像における判別対象画素について判別器が出力した判別結果を教師データにおける判別対象画素に対応する画素と照合して、判別器を学習してもよい。【００２１】
本発明の一態様による判別器は、本発明による判別器の学習装置により学習がなされたものである。【００２２】
本発明による判別器の学習方法は、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する判別器の学習方法であって、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、
第２の画像に基づいて、判別器を学習するための教師データを生成し、
第１の画像および教師データに基づいて、判別器を学習する。【００２３】
本発明による判別器の学習プログラムは、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する手順をコンピュータに実行させる判別器の学習プログラムであって、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する手順と、
第２の画像に基づいて、判別器を学習するための教師データを生成する手順と、
第１の画像および教師データに基づいて、判別器を学習する手順とをコンピュータに実行させる。【００２４】
本発明による他の判別器の学習装置は、表面にメニスカスが形成された液体および観察対象が収容された容器を撮像することにより取得された、メニスカスの影響が存在する撮影画像に基づいて、観察対象の状態を判別する判別器の学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、
第２の画像に基づいて、判別器を学習するための教師データを生成し、
第１の画像および教師データに基づいて、判別器を学習する処理を実行する。
【発明の効果】
【００２５】
本発明によれば、同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像が取得され、第２の画像に基づいて、観察対象の状態を判別する判別器を学習するための教師データが生成される。そして、メニスカスの影響が存在する第１の画像および教師データに基づいて判別器が学習される。これにより、細胞等の観察対象の状態を判別する判別器を精度よく学習できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の判別器の学習装置を適用した画像評価システムの一実施形態の概略構成を示す図
【図２】ウェルプレートにおける各観察領域の走査軌跡を示す図
【図３】画像評価装置の構成を示す概略ブロック図
【図４】培養容器の側断面図および上面図を示す図
【図５】培養容器内の各観察領域の撮影画像をつなぎ合わせた画像の一例を示す図
【図６】培養容器から培養液を除去した状態を示す側断面図
【図７】培養容器を培養液で満たし、かつ透明板により密閉した状態を示す側断面図
【図８】メニスカスの影響を除去する光学素子を照明光照射部に設けた顕微鏡装置の概略構成を示す図
【図９】光路補正レンズによる光路の補正を説明するための図
【図１０】教師データの例を示す図
【図１１】本実施形態において行われる処理を示すフローチャート
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態について説明する。図１は本発明の実施形態による判別器の学習装置を適用した画像評価システムの概略構成を示す図である。第１の実施形態の画像評価システムは、図１に示すように、顕微鏡装置１、顕微鏡制御装置２、入力装置３、および表示装置４を備える。
【００２８】
本実施形態において、顕微鏡装置１は位相差顕微鏡であり、観察対象として、例えば培養された細胞の位相差画像を撮影画像として撮像する。具体的には、顕微鏡装置１は、図１に示すように、照明光照射部１０、結像光学系３０、ステージ６１、および撮像部４０を備える。本実施形態の顕微鏡装置１は、本開示の撮影装置の一例である。
【００２９】
ステージ６１上には、細胞等の観察対象Ｓおよび培養液Ｃが収容された培養容器６０が設置される。ステージ６１の中央には、矩形の開口が形成されている。この開口を形成する部材の上に培養容器６０が設置され、培養容器６０内の観察対象Ｓを透過した光および観察対象Ｓにより回折した光が開口を通過するように構成されている。
【００３０】
培養容器６０としては、例えば複数のウェル（本発明の容器に相当する）を有するウェルプレートが用いられるが、これに限らず、シャーレまたはディッシュ等を用いるようにしてもよい。また、培養容器６０に収容される観察対象Ｓとしては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。
【００３１】
ステージ６１上に設置された培養容器６０は、その底面が観察対象Ｓの設置面Ｐであり、設置面Ｐに観察対象Ｓが配置される。培養容器６０内には培養液Ｃが満たされており、この培養液Ｃの液面には、凹形状のメニスカスが形成される。なお、本実施形態においては、培養液中において培養される細胞を観察対象Ｓとしたが、観察対象Ｓとしてはこのような培養液中のものに限らず、水、ホルマリン、エタノール、およびメタノール等の液体中において固定された細胞を観察対象Ｓとしてもよい。この場合も、容器内のこれらの液体の液面にメニスカスが形成される。
【００３２】
照明光照射部１０は、ステージ６１上の培養容器６０内に収容された観察対象Ｓに対して、いわゆる位相差計測のための照明光を照射する。本実施形態では、照明光照射部１０は、位相差計測用の照明光としてリング状照明光を照射する。
【００３３】
具体的には、本実施形態の照明光照射部１０は、位相差計測用の白色光を出射する白色光源１１、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２、およびスリット板１２から出射されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Ｓに対して照射するコンデンサレンズ１３を備える。
【００３４】
スリット板１２には、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられており、白色光がスリットを通過することによってリング状照明光が形成される。コンデンサレンズ１３は、スリット板１２から出射されたリング状照明光を観察対象Ｓに向かって収束させる。
【００３５】
ステージ６１上に設置された培養容器６０内には、観察対象Ｓとして、培養された細胞群（細胞コロニー）が配置される。培養された細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。培養容器６０としては、シャーレおよび複数のウェルが配列されたウェルプレート等を用いることができる。なお、ウェルプレートを用いる場合、各ウェルが本発明の容器に対応する。なお、本実施形態においては、複数のウェルが配列されたウェルプレートを培養容器６０として用いる。
【００３６】
結像光学系３０は、培養容器６０内の観察対象Ｓの像を撮像部４０に結像する。結像光学系３０は、対物レンズ３１、位相板３２および結像レンズ３３を備える。
【００３７】
位相板３２には、リング状照明光の波長に対して透明な透明板に対して位相リングが形成されている。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。
【００３８】
位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成される。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれ、かつその明るさが弱められる。一方、観察対象Ｓによって回折された回折光は大部分が位相板３２の透明板の部分を通過し、その位相および明るさは変化しない。
【００３９】
結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮像部４０に結像する。
【００４０】
撮像部４０は、結像レンズ３３によって結像された観察対象Ｓの像を受光し、観察対象Ｓを撮像して位相差画像を観察画像として出力する撮像素子を備える。撮像素子としては、ＣＣＤ（charge-coupled device）イメージセンサ、およびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等を用いることができる。
【００４１】
ここで、ステージ６１は、不図示のステージ駆動部により駆動されて、水平面内において直交するＸ方向およびＹ方向に移動する。このステージ６１の移動によって、ウェルプレートの各ウェル内における各観察領域が走査され、観察領域毎の撮影画像が撮像部４０により取得される。観察領域毎の撮影画像は顕微鏡制御装置２に出力される。
【００４２】
図２は、６つのウェル７１を有するウェルプレート７０を用いた場合における、各観察領域の走査軌跡を実線７７により示した図である。図２に示すように、ウェルプレート７０内の各観察領域は、ステージ６１のＸ方向およびＹ方向の移動によって走査開始点７５から走査終了点７６までの実線７７に沿って走査される。
【００４３】
なお、本実施形態においては、ステージ６１を移動させることによってウェル内の観察領域毎の撮影画像を取得するようにしたが、これに限らず、結像光学系３０をステージ６１に対して移動させることによって観察領域毎の撮影画像を取得するようにしてもよい。または、ステージ６１と結像光学系３０の両方を移動させるようにしてもよい。
【００４４】
顕微鏡制御装置２は、ＣＰＵ（Central Processing Unit）、半導体メモリおよびハードディスク等を備えたコンピュータから構成される。そして、ハードディスクに本発明の判別器の学習プログラムを含む、システムを制御するプログラムがインストールされている。プログラムがＣＰＵにより実行されることにより、当該ＣＰＵが顕微鏡制御装置２の各部として機能する。顕微鏡制御装置２は、画像評価システムの全体を制御する。顕微鏡制御装置２は、図１に示すように、制御部２１および画像評価装置２２を備える。
【００４５】
制御部２１は、照明光照射部１０、ステージ６１を駆動するステージ駆動部（不図示）、結像光学系３０および撮像部４０の駆動を制御して観察対象Ｓの撮影画像を取得する。
【００４６】
画像評価装置２２は、撮影画像に含まれる観察対象Ｓの状態を評価する。図３は画像評価装置２２の構成を示す概略ブロック図である。図３に示すように、画像評価装置２２は、判別器５１および判別器５１の学習装置５２を備える。学習装置５２は、画像取得部５０、教師データ生成部５３および学習部５４を備える。
【００４７】
本実施形態において、画像評価装置２２は、観察領域毎の撮影画像を取得し、撮影画像に含まれる観察対象Ｓの状態を評価する。本実施形態においては、観察対象Ｓは細胞である。このため、観察対象Ｓの状態を評価するとは、例えば撮影画像に含まれる細胞が未分化細胞であるのか分化細胞であるのかを評価したり、分化細胞が分化した状態にあるか分化の途中の状態にあるかを評価したり、撮影画像に含まれる未分化細胞と分化細胞の割合を評価したり、細胞または細胞コロニーの成長度を評価したり、または抗がん剤によるがん細胞の縮小率を評価したりすることをいう。但し、細胞の状態の評価としては、これらに限らず、その他の評価でもよい。なお、本実施形態においては、画像評価装置２２は、細胞が分化細胞である場合に、細胞が分化した状態にあるか分化の途中の状態にあるかを評価するものとする。
【００４８】
画像取得部５０は、撮像部４０により撮像された観察対象Ｓの撮影画像を取得する。本実施形態においては、培養容器６０は複数のウェルが配列されたウェルプレートであるため、各ウェル内における各観察領域の撮影画像が取得される。
【００４９】
判別器５１は、撮影画像についての判別結果を出力する。本実施形態においては、画像評価装置２２は、細胞が分化した状態にあるか分化の途中の状態にあるかを評価する。このため、判別器５１は、撮影画像に含まれる細胞が、分化した状態にあるか、分化の途中の状態にあるかの判別結果を出力する。このような判別を行うために、判別器５１は、撮影画像における判別対象となる判別対象画素の特徴量を入力とし、判別対象画素の状態の判別結果を出力するように機械学習がなされる。なお、本実施形態においては、判別器５１は、撮影画像における判別対象画素を中心とする予め定められた領域内の画素値を特徴量として入力とし、判別対象画素が、分化した状態の細胞、分化途中の状態の細胞、および分化した状態でも分化途中の状態でもないとの３つの判別結果を出力する。
【００５０】
このために、判別器５１は、入力された特徴量に対して、分化した状態の細胞および分化途中の状態の細胞であることを表すスコアを出力し、出力した２つのスコアのそれぞれをあらかじめ定められたそれぞれに対応するしきい値と比較する。そして、分化した状態の細胞であることを表すスコアが、分化した状態の細胞であることを表すしきい値を超え、かつ分化途中の状態の細胞であることを表すスコアが分化途中の状態の細胞であることを表すしきい値を超えなければ、判別対象画素は分化した状態の細胞であるとの判別結果を出力する。一方、分化途中の状態の細胞であることを表すスコアが、分化途中の状態の細胞であることを表すしきい値を超え、かつ分化した状態の細胞であることを表すスコアが、分化した状態の細胞であることを表すしきい値を超えなければ、判別対象画素は分化途中の状態の細胞であるとの判別結果を出力する。なお、２つのスコアのいずれもそれぞれに対応するしきい値を超えない場合および２つのスコアのいずれもそれぞれに対応するしきい値を超えた場合は、分化した状態でも分化途中の状態でもないとの判別結果を出力する。
【００５１】
ここで、機械学習の手法としては、公知の手法を用いることができる。例えば、サポートベクタマシン（ＳＶＭ（Support Vector Machine））、ディープニューラルネットワーク（ＤＮＮ（Deep Neural Network））、および畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））等を用いることができる。
【００５２】
ここで、培養容器６０内には、観察対象Ｓおよび培養液Ｃが収容されるが、その培養液Ｃの液面には、メニスカスが形成される。図４は培養容器６０の側断面図および上面図である。図５は培養容器６０内の各観察領域の撮影画像をつなぎ合わせた画像の一例を示す図である。図５において矩形領域により分割された各領域６２が、各観察領域に相当する。図４に示すように、培養容器６０においては、培養液Ｃの液面にメニスカスＭが形成される。そして、培養容器６０の上方から入射する光は、メニスカス領域Ｒ１においては矢印Ａ１に示すように屈折し、非メニスカス領域Ｒ２においては矢印Ａ０に示すように直進する。その結果、図４および図５に示すように、非メニスカス領域Ｒ２の撮影画像はコントラストが高く、メニスカス領域Ｒ１の撮影画像は非メニスカス領域Ｒ２よりもコントラストが低くなる。したがって、メニスカス領域Ｒ１の撮影画像については、個々の細胞の画像が明確に表されていない。その結果、メニスカス領域Ｒ１の撮影画像においては、判別対象画素の判別の精度が低くなる。
【００５３】
本実施形態においては、学習装置５２において判別器５１を学習する際に、同一の観察対象Ｓについての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を用いる。
【００５４】
このため、画像取得部５０は、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得する。なお、第１の画像および第２の画像は、同一の観察対象Ｓについての画像である。ここで、第１の画像は、培養容器６０をそのまま撮影することにより取得すればよい。
【００５５】
一方、メニスカスＭは培養容器６０内の培養液Ｃの液面に形成される。図６は培養液Ｃを除去した培養容器６０の側面図である。図６に示すように、培養容器６０から培養液Ｃを除去すると、培養容器６０の上方から入射する光は、培養容器６０のいずれの位置においても矢印Ａ０およびＡ２に示すように直進する。したがって、第２の画像は、培養液Ｃを除去した培養容器６０における観察対象Ｓを撮影することにより取得される。このように取得された第２の画像においては、メニスカスＭの影響が除去されているため、培養容器６０上の位置に拘わらず高いコントラストを有する。
【００５６】
なお、図７に示すように、培養容器６０を培養液Ｃで満たし、かつ透明なガラスまたはプラスチック等の透明板６３により培養容器６０を密閉すると、培養容器６０の上方から入射する光は、培養容器６０のいずれの位置においても矢印Ａ０およびＡ３に示すように直進する。したがって、第２の画像は、培養液Ｃで満たされ、かつ透明板６３により密閉された培養容器６０における観察対象Ｓを撮影することにより取得してもよい。
【００５７】
また、照明光照射部１０に、メニスカスの影響を除去する光学素子を設けるようにしてもよい。図８はメニスカスの影響を除去する光学素子を用いた照射光照射部を有する顕微鏡装置１の構成を示す概略図である。図８に示すように、照明光照射部１０には、メニスカスの影響を除去する光学素子として、光路補正レンズ１４が設けられている。なお、光路補正レンズ１４は、照明光照射部１０において、照明光の光路上に退避可能に配置されている。
【００５８】
光路補正レンズ１４は、具体的には、観察対象Ｓ側に凸面１４ａを有し、その光軸から離れるほど屈折力が増大する正のメニスカスレンズである。なお、光路補正レンズ１４の観察対象Ｓ側の凸面１４ａおよび白色光源１１側の凹面１４ｂの少なくとも一方を、非球面に形成してもよい。このように、光路補正レンズ１４を設けることにより、図９に示すように、光路補正レンズ１４を通って、培養容器６０の上方から入射する光は、培養容器６０内のいずれの位置においても矢印Ａ０およびＡ４に示すように直進することとなる。したがって、照明光照射部１０に光路補正レンズ１４を設けて培養容器６０を撮影することにより、第２の画像を取得してもよい。
【００５９】
教師データ生成部５３は、第２の画像に基づいて、判別器５１を学習するための教師データを生成する。このために、教師データ生成部５３は、第２の画像を表示装置４に表示する。そして、操作者による入力装置３からの入力により、第２の画像の各画素位置における観察対象Ｓの状態に応じたラベルを付与して、教師データを生成する。図１０は教師データの例を示す図である。なお、図１０は培養容器６０の全体を示し、観察領域の区切りを破線で示している。図１０に示すように、教師データＴ０においては、観察対象Ｓが分化した状態にある領域が白、観察対象Ｓが分化の途中にある領域が斜線、観察対象Ｓが存在しない領域が黒にラベリングされている。このように、教師データＴ０においては、各画素において、観察対象Ｓが分化した状態にあるか、分化の途中の状態にあるかを認識できる。
【００６０】
学習部５４は、第１の画像および教師データＴ０に基づいて、判別器５１を学習する。ここで、第１の画像にはメニスカスＭの影響が存在し、メニスカス領域においては観察対象Ｓである細胞の状態は明確に表されていない。しかしながら、教師データＴ０と第１の画像を対応づければ、第１の画像の個々の画素位置における観察対象Ｓの状態を識別できる。
【００６１】
このため、学習部５４は、第１の画像における判別対象画素の特徴量を判別器５１に入力し、判別器５１が出力した判別結果を教師データＴ０における判別対象画素に対応する画素と照合する。判別結果が正解の場合は、学習部５４は、判別器５１に対して正解である旨の学習を行う。判別結果が不正解の場合、学習部５４は、判別結果を修正するように判別器５１の学習を行う。さらに、学習部５４は、複数の観察対象Ｓについての第１の画像および第２の画像を取得し、教師データＴ０を生成して判別器５１の学習を繰り返し行う。そして、学習部５４は、判別器５１の判別結果が予め定められた正解率を超えたか否かを判定し、この判定が肯定されると、判別器５１の学習を終了する。なお、複数の観察対象についての第１の画像および第２の画像を予め取得しておき、顕微鏡制御装置２のハードディスク(不図示)に保存しておくようにしてもよい。この場合、画像取得部５０は、ハードディスクから第１の画像および第２の画像を取得する。
【００６２】
このようにして学習がなされた判別器５１は、撮影画像における判別対象画素の特徴量が入力されると、判別対象画素の状態の判別結果を出力する。
【００６３】
図１に戻り、入力装置３は、キーボードまたはマウス等の入力デバイスを備えたものであり、ユーザによる設定入力を受け付ける。
【００６４】
表示装置４は、液晶ディスプレイ等の表示デバイスから構成され、撮像部４０において撮像された撮影画像および撮影画像の評価結果等を表示する。なお、表示装置４をタッチパネルによって構成することによって、入力装置３を兼用してもよい。
【００６５】
次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において行われる判別器５１の学習処理を示すフローチャートである。まず、画像取得部５０が、同一の観察対象Ｓについての、メニスカスＭの影響が存在する第１の画像およびメニスカスＭの影響が除去された第２の画像を取得する（ステップＳＴ１）。次いで、教師データ生成部５３が、第２の画像に基づいて、判別器５１を学習するための教師データＴ０を生成する（ステップＳＴ２）。そして、学習部５４が、第１の画像および教師データＴ０に基づいて判別器５１を学習し（ステップＳＴ３）、処理を終了する。
【００６６】
このように、本実施形態においては、同一の観察対象についての、メニスカスの影響が存在する第１の画像およびメニスカスの影響が除去された第２の画像を取得し、第２の画像に基づいて教師データＴ０を生成し、第１の画像および教師データＴ０に基づいて判別器５１を学習する。このため、メニスカスの影響が存在する第１の画像の個々の画素の特徴量を入力とした場合における判別器５１の出力が正解であるか否かを精度よく判定でき、判別器５１の学習を精度よく行うことができる。また、このように学習がなされた判別器５１を用いることにより、メニスカスの影響が存在する撮影画像であっても、撮影画像に含まれる観察対象Ｓの状態を精度よく判別することができる。
【００６７】
なお、上記実施形態においては、結像光学系３０によって結像された撮影画像を撮像部４０によって撮像するようにしたが、撮像部４０を設けることなく、結像光学系３０によって結像された観察対象Ｓの撮影画像をユーザが直接観察できるように観察光学系等を設けるようにしてもよい。
【００６８】
また、上記実施形態においては、本発明を位相差顕微鏡に適用したが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡等のその他の顕微鏡に適用することができる。
【００６９】
また、上記実施形態においては、教師データとして第２の画像に対して観察対象Ｓの状態に応じたラベルを付与した画像を用いているが、記第２の画像そのものを教師データとして用いてもよい。
【００７０】
上記実施形態によれば、第２の画像はメニスカスＭの影響が除去されているため、第２の画像においては、容器に含まれる観察対象Ｓの状態が明確に表されている。また、教師データＴ０は第２の画像に基づいて生成されているため、教師データＴ０においても、観察対象Ｓの状態が明確に表されている。一方、第１の画像はメニスカスＭの影響が存在するため、観察対象Ｓの状態が明確に表されていないが、第１の画像と教師データＴ０とを対応づければ、第１の画像の個々の画素位置における観察対象Ｓの状態を明確に識別できる。したがって、第１の画像および教師データＴ０に基づいて判別器５１を学習することにより、第１の画像の判別対象の画素位置の特徴量を入力とした場合における、判別器５１の判別結果が正解であるか否かを精度よく判定できる。よって、判別器５１の学習を精度よく行うことができる。また、このように学習がなされた判別器５１を用いることにより、撮影画像に含まれる観察対象Ｓの状態を精度よく判別することができる。
【符号の説明】
【００７１】
１      顕微鏡装置
２      顕微鏡制御装置
３      入力装置
４      表示装置
１０    照明光照射部
１１  白色光源
１２  スリット板
１３  コンデンサレンズ
１４  光路補正レンズ
１４ａ  凸面
１４ｂ   凹面
２１    制御部
２２    画像評価装置
３０    結像光学系
３１    対物レンズ
３２    位相板
３３    結像レンズ
４０    撮像部
５０    画像取得部
５１    判別器
５２    学習装置
５３    教師データ生成部
５４    学習部
６０    培養容器
６１    ステージ
６２    領域
６３    透明板
７０    ウェルプレート
７１    ウェル
７５    走査開始点
７６    走査終了点
７７    走査軌跡を示す実線
Ａ０，Ａ１，Ａ２，Ａ３，Ａ４    矢印
Ｃ    培養液
Ｍ    メニスカス
Ｐ    設置面
Ｒ１    メニスカス領域
Ｒ２    非メニスカス領域
Ｓ    観察対象
Ｔ０    教師データ
【図１】
2019039035.tif 000003
【図２】
2019039035.tif 000004
【図３】
2019039035.tif 000005
【図４】
2019039035.tif 000006
【図５】
2019039035.tif 000007
【図６】
2019039035.tif 000008
【図７】
2019039035.tif 000009
【図８】
2019039035.tif 000010
【図９】
2019039035.tif 000011
【図１０】
2019039035.tif 000012
【図１１】
2019039035.tif 000013
【国際調査報告】
2019039035.tif 000014
2019039035.tif 000015
2019039035.tif 000016
2019039035.tif 000017