(57)【要約】【課題】フォーカス位置評価装置、方法及びプログラム、並びに判別器において、フォーカス位置の評価の精度を向上させることができるようにする。【解決手段】フォーカス位置評価装置は、マーカ像検出部とフォーカス位置評価部を含む。マーカ像検出部は、球形で、かつ撮影光学系を透過する光を吸収する色に着色されたマーカを観察対象として撮影装置によって撮影することにより取得した撮影画像からマーカ像を検出する。フォーカス位置評価部は、マーカ像に基づいて、撮影光学系のフォーカス位置を評価する。【選択図】図５
2022001889.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系によって結像された観察対象を撮影する撮影装置におけるフォーカス位置評価装置であって、
球形で、かつ前記撮影光学系を透過する光を吸収する色に着色されたマーカを前記観察対象として前記撮影装置によって撮影することにより取得した撮影画像からマーカ像を検出するマーカ像検出部と、
前記マーカ像に基づいて、前記撮影光学系のフォーカス位置を評価するフォーカス位置評価部と、
を含むフォーカス位置評価装置。
【請求項２】
前記マーカは、光の吸収率が１０％以上である請求項１に記載のフォーカス位置評価装置。
【請求項３】
前記色は、黒色である請求項１又は２に記載のフォーカス位置評価装置。
【請求項４】
前記マーカは、前記撮影光学系の透過光の波長帯域を吸収する特性を有する顔料又は色材で着色されている請求項１から３の何れか１項に記載のフォーカス位置評価装置。
【請求項５】
前記マーカの直径が、０．５μｍ以上１０μｍ以下である請求項１から４の何れか１項に記載のフォーカス位置評価装置。
【請求項６】
前記マーカの直径が、１．０μｍ以上２．２μｍ以下である請求項５項に記載のフォーカス位置評価装置。
【請求項７】
前記マーカは、ポリスチレン樹脂、ガラス、及びシリカの何れかで形成されている請求項１から６の何れか１項に記載のフォーカス位置評価装置。
【請求項８】
前記撮影画像は、前記マーカを含み、前記観察対象が収容された容器を撮影装置により撮影することによって取得され、
前記フォーカス位置評価部により評価されたフォーカス位置に基づいて、前記容器内の前記観察対象の像を前記撮影装置に合焦させる制御を行う制御部とをさらに含む請求項１から７の何れか１項に記載のフォーカス位置評価装置。
【請求項９】
前記撮影画像は、前記観察対象が収容された前記容器内において観察領域を走査し、前記容器内の各観察領域の撮影を行うことにより取得され、
前記制御部は、前記各観察領域において、前記フォーカス位置に基づいて、前記容器内の前記観察対象の像を前記撮影装置に合焦させる制御を行う請求項８に記載のフォーカス位置評価装置。
【請求項１０】
撮影光学系によって結像された観察対象を撮影する撮影装置におけるフォーカス位置評価方法であって、
球形で、かつ前記撮影光学系を透過する光を吸収する色に着色されたマーカを前記観察対象として前記撮影装置によって撮影することにより取得した撮影画像からマーカ像を検出し、
前記マーカ像に基づいて、前記撮影光学系のフォーカス位置を評価するフォーカス位置評価方法。
【請求項１１】
撮影光学系によって結像された観察対象を撮影する撮影装置におけるフォーカス位置評価プログラムであって、
球形で、かつ前記撮影光学系を透過する光を吸収する色に着色されたマーカを前記観察対象として前記撮影装置によって撮影することにより取得した撮影画像からマーカ像を検出する手順と、
前記マーカ像に基づいて、前記撮影光学系のフォーカス位置を評価する手順と、
をコンピュータに実行させるフォーカス位置評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は、フォーカス位置評価装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ＥＳ（Embryonic Stem）細胞及びｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞や分化誘導された細胞等を顕微鏡等で撮影し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。そして、ＥＳ細胞及びｉＰＳ細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えており、再生医療、薬の開発、病気の解明などにおいて応用が可能な細胞として注目されている。細胞を顕微鏡で撮影する際には、高倍率な広視野画像を取得するため、例えばウェルプレート等の培養容器の範囲内を結像光学系によって走査し、観察位置毎の画像を撮影した後、その観察位置毎の画像を結合する、いわゆるタイリング撮影を行うことが提案されている。
【０００３】
しかしながら、培養容器として例えば複数のウェルを有するウェルプレートを使用する場合、各ウェルの底部の厚さは、製造上の誤差等に起因してウェル毎に異なる。そのため、ウェルプレート全体を結像光学系によって走査することによりタイリング撮影を行う場合には、観察対象を明瞭に撮影するために各観察位置についてフォーカス位置を調整するオートフォーカス制御を行なう必要がある。そこで、例えば特許文献１において、透過光に対して位相変化及び振幅変化の少なくとも一方を与えるマークを有する透光性部材により、撮影対象となる試料を固定し、試料の像とマークの像とが混在した撮像画像を取得し、この撮影画像について算出した評価値と、予め取得した試料の像を含まない基準画像について算出した評価値とに基づいて、フォーカス位置を評価する方法が提案されている。
【０００４】
また、特許文献２には、ウェルが流路内に多数形成されたマイクロアレイに対し、流路にビーズを含む試料を流して各ウェルにビーズを収容物として収容させる方法において、収容されたビーズを顕微鏡で観察することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２５４１０８号公報
【特許文献２】国際公開第２０１７／０４３５３０号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
顕微鏡を使用してフォーカス位置を評価する際に、例えばマークとして球形の透明なビーズを使用する場合、フォーカス位置としてビーズの中心位置を取得したいが、ビーズ像のフォーカス位置はビーズの中心位置からずれてしまう。これは、ビーズ自体がレンズとして機能してしまうことにより、ビーズの中心位置ではなく、ビーズの中心位置から離れた位置において光が結像されてしまうためである。このため、透明なビーズ像を使用して決定されたフォーカス位置において観察対象である細胞を観察すると、精度よくフォーカス位置を評価出来ず、細胞がボケてしまう場合があり、フォーカス位置の評価の精度を高くすることが望まれている。
【０００７】
本発明は上記事情に鑑みなされたものであり、フォーカス位置の評価の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本開示のフォーカス位置評価装置は、撮影光学系によって結像された観察対象を撮影する撮影装置におけるフォーカス位置評価装置であって、
球形で、かつ前記撮影光学系を透過する光を吸収する色に着色されたマーカを観察対象として撮影装置によって撮影することにより取得した撮影画像からマーカ像を検出するマーカ像検出部と、
マーカ像に基づいて、撮影光学系のフォーカス位置を評価するフォーカス位置評価部と、
を含む。
【０００９】
また、本開示のフォーカス位置評価装置においては、マーカは、光の吸収率が１０％以上であってもよい。
【００１０】
また、本開示のフォーカス位置評価装置においては、色は、黒色であってもよい。
【００１１】
また、本開示のフォーカス位置評価装置においては、マーカは、撮影光学系の透過光の波長帯域を吸収する特性を有する顔料又は色材で着色されていてもよい。
【００１２】
また、本開示のフォーカス位置評価装置においては、マーカの直径が、０．５μｍ以上１０μｍ以下であることが好ましく、１．０μｍ以上２．２μｍ以下であることがさらに好ましい。
【００１３】
また、本開示のフォーカス位置評価装置においては、マーカは、ポリスチレン樹脂、ガラス、及びシリカの何れかで形成されていてもよい。
【００１４】
また、本開示のフォーカス位置評価装置においては、撮影画像は、マーカを含み、観察対象が収容された容器を撮影装置により撮影することによって取得され、
フォーカス位置評価部により評価されたフォーカス位置に基づいて、容器内の観察対象の像を撮影装置に合焦させる制御を行う制御部とをさらに含んでいてもよい。
【００１５】
なお、本開示において「容器」とは、観察対象を収容することができればどのような形態を有するものであってもよい。例えば、シャーレ、ディッシュ、フラスコ又はウェルプレート等のように、底部及び底部に連続する壁部を有する形態を有するものを容器として用いることができる。また、板状の部材に微細な流路が形成されたマイクロ流路デバイス等を容器として用いることもできる。さらに、スライドガラスのように、板状の形態を有するものも容器として用いることができる。
【００１６】
また、本開示のフォーカス位置評価装置においては、撮影画像は、観察対象が収容された容器内において観察領域を走査し、容器内の各観察領域の撮影を行うことにより取得され、
制御部は、各観察領域において、フォーカス位置に基づいて、容器内の観察対象の像を撮影装置に合焦させる制御を行うことができる。
【００１７】
また、本開示のフォーカス位置制御方法は、撮影光学系によって結像された観察対象を撮影する撮影装置におけるフォーカス位置評価方法であって、
球形で、かつ撮影光学系を透過する光を吸収する色に着色されたマーカを観察対象として撮影装置によって撮影することにより取得した撮影画像からマーカ像を検出し、
マーカ像に基づいて、撮影光学系のフォーカス位置を評価する。
【００１８】
なお、本開示によるフォーカス位置評価方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１９】
本開示による他のフォーカス位置評価装置は、撮影光学系によって結像された観察対象を撮影する撮影装置におけるフォーカス位置評価装置であって、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
球形で、かつ撮影光学系を透過する光を吸収する色に着色されたマーカを観察対象として撮影装置によって撮影することにより取得した撮影画像からマーカ像を検出し、
マーカ像に基づいて、撮影光学系のフォーカス位置を評価する処理を実行する。
【発明の効果】
【００２０】
本開示の一実施形態によれば、フォーカス位置の評価の精度を向上させることができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態の実施形態のフォーカス位置評価装置を適用した顕微鏡撮影システムにおける顕微鏡装置の概略構成を示すブロック図
【図２】結像光学系の構成を示す模式図
【図３】ステージの構成を示す斜視図
【図４】焦点距離変更光学系の構成を示す模式図
【図５】本開示のフォーカス位置評価装置の第１の実施形態を用いた顕微鏡観察システムの概略構成を示すブロック図
【図６】顕微鏡装置による微細ビーズの観察を説明する図
【図７】判別器の学習に用いる教師用マーカ像を取得するためのマーカの撮影を説明するための図
【図８】教師用マーカ像の例を示す図
【図９】フォーカス位置の判別結果を示す図
【図１０】培養容器内における観察域の走査位置を示す図
【図１１】第１の実施形態において行われる処理を示すフローチャート
【図１２】第２の実施形態において行われる処理を示すフローチャート
【図１３】オートフォーカス制御を説明するための図
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態によるフォーカス位置評価装置、方法及びプログラムの一実施形態を適用した顕微鏡撮影システムについて、図面を参照しながら詳細に説明する。図１は、本発明の第１の実施形態によるフォーカス位置評価装置を適用した顕微鏡撮影システムにおける顕微鏡装置の概略構成を示すブロック図である。
【００２３】
顕微鏡装置１０は、観察対象である培養された細胞の位相差画像を撮影する。具体的には、顕微鏡装置１０は、図１に示すように、白色光を出射する白色光源１１、コンデンサレンズ１２、スリット板１３、結像光学系１４、動作部１５、及び撮影部１６を備える。また、顕微鏡装置１０は、焦点距離変更光学系７０を備える。なお、結像光学系１４は、本開示の撮影光学系に、顕微鏡装置１０は本開示の撮影装置にそれぞれ相当する。
【００２４】
動作部１５は、第１の動作部１５Ａ、第２の動作部１５Ｂ、第３の動作部１５Ｃ、第４の動作部１５Ｄ、第５の動作部１５Ｅ、第６の動作部１５Ｆ及び第７の動作部１５Ｇを備える。第１〜第７の動作部１５Ａ〜１５Ｇの動作は後述する。
【００２５】
スリット板１３は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状の照明光Ｌが形成される。
【００２６】
結像光学系１４は、培養容器５０の範囲内を分割した観察域毎の位相差像を撮影部１６に結像する。図２は、結像光学系１４の詳細な構成を示す図である。図２に示すように、結像光学系１４は、位相差レンズ１４ａ及び結像レンズ１４ｄを備える。また、位相差レンズ１４ａは、対物レンズ１４ｂ及び位相板１４ｃを備える。位相板１４ｃは、照明光Ｌの波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１３のスリットの大きさは、位相板１４ｃの位相リングと共役な関係にある。
【００２７】
位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相リングに入射された直接光は、位相リングを通過することによって位相が１／４波長ずれ、かつその明るさが弱められる。一方、観察対象によって回折された回折光は大部分が位相板１４ｃの透明板を通過し、その位相及び明るさは変化しない。
【００２８】
対物レンズ１４ｂを有する位相差レンズ１４ａは、図１に示す動作部１５の第５の動作部１５Ｅによって、対物レンズ１４ｂの光軸方向に移動される。本実施形態においては、対物レンズ１４ｂの光軸方向とＺ方向（鉛直方向）とは同じ方向である。対物レンズ１４ｂのＺ方向への移動によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
【００２９】
また、位相差レンズ１４ａの倍率を変更可能な構成としてもよい。具体的には、異なる倍率を有する位相差レンズ１４ａ又は結像光学系１４を交換可能に構成するようにしてもよい。位相差レンズ１４ａ又は結像光学系１４の交換は、自動的に行うようにしてもよいし、ユーザが手動で行うようにしてもよい。
【００３０】
また、対物レンズ１４ｂは、焦点距離を変更可能な液体レンズからなる。なお、焦点距離を変更可能であれば、液体レンズに限定されるものではなく、液晶レンズ及び形状変形レンズ等、任意のレンズを用いることができる。対物レンズ１４ｂは、図１に示す動作部１５における第６の動作部１５Ｆによって、印加される電圧が変更されて、焦点距離が変更される。これにより、結像光学系１４の焦点距離が変更される。対物レンズ１４ｂの焦点距離の変更によってもオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
【００３１】
結像レンズ１４ｄは、位相差レンズ１４ａを通過した位相差像が入射され、これを撮影部１６に結像する。本実施形態において、結像レンズ１４ｄは、焦点距離を変更可能な液体レンズからなる。なお、焦点距離を変更可能であれば、液体レンズに限定されるものではなく、液晶レンズ及び形状変形レンズ等、任意のレンズを用いることができる。結像レンズ１４ｄは、図１に示す動作部１５における第１の動作部１５Ａによって、印加する電圧が変更されて、焦点距離が変更される。これにより、結像光学系１４の焦点距離が変更される。結像レンズ１４ｄの焦点距離の変更によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
【００３２】
また、結像レンズ１４ｄは、図１に示す動作部１５における第２の動作部１５Ｂによって結像レンズ１４ｄの光軸方向に移動される。なお、本実施形態においては、結像レンズ１４ｄの光軸方向とＺ方向（鉛直方向）とは同じ方向である。結像レンズ１４ｄのＺ方向への移動によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
【００３３】
撮影部１６は、結像レンズ１４ｄによって結像された位相差画像を取得する。撮影部１６は、ＣＣＤ（Charge-Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を備える。撮像素子は、ＲＧＢ（Red Green Blue）のカラーフィルタが設けられた撮像素子を用いてもよいし、モノクロの撮像素子を用いるようにしてもよい。
【００３４】
また、撮影部１６は、図１に示す動作部１５における第３の動作部１５ＣによってＺ方向に移動される。なお、本実施形態においては、撮影部１６の撮像面に垂直な方向とＺ方向とは同じ方向である。撮影部１６のＺ方向への移動によってオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
【００３５】
スリット板１３と結像光学系１４との間には、ステージ５１が設けられている。ステージ５１上には、観察対象である細胞が収容される培養容器５０が設置される。
【００３６】
培養容器５０は本発明の容器に対応する。培養容器５０としては、シャーレ、ディッシュ、フラスコ又はウェルプレート等を用いることができる。また、これらの他、容器としては、スライドガラス又は微細な流路が加工されてなるマイクロ流路デバイス等を用いることができる。また、培養容器５０に収容される細胞としては、ｉＰＳ細胞及びＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋及び肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経及び臓器の細胞等がある。
【００３７】
ステージ５１は、後述する水平方向駆動部１７（図５参照）によって互いに直交するＸ方向及びＹ方向に移動するものである。Ｘ方向及びＹ方向は、Ｚ方向に直交する方向であり、水平面内において互いに直交する方向である。本実施形態においては、Ｘ方向を主走査方向とし、Ｙ方向を副走査方向とする。
【００３８】
図３は、ステージ５１の一例を示す図である。ステージ５１の中央には、矩形の開口５１ａが形成されている。この開口５１ａを形成する部材の上に培養容器５０が設置され、培養容器５０内の細胞の位相差画像が開口５１ａを通過するように構成されている。
【００３９】
また、ステージ５１は、第４の動作部１５ＤによってＺ方向に移動され、これにより、培養容器５０がＺ方向に移動される。第４の動作部１５Ｄは、例えば圧電素子等のアクチュエータを備える。本実施形態においては、ステージ５１における培養容器５０が設置される面に垂直な方向とＺ方向とは同じ方向である。ステージ５１のＺ方向への移動によってもオートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
【００４０】
第１の動作部１５Ａ及び第６の動作部１５Ｆは、例えば電圧可変回路を備えたものである。第１の動作部１５Ａは、後述するフォーカス位置評価装置３０から出力された制御信号に基づいて、結像レンズ１４ｄに印加する電圧を変更する。第６の動作部１５Ｆは、後述するフォーカス位置評価装置３０から出力された制御信号に基づいて、対物レンズ１４ｂに印加する電圧を変更する。
【００４１】
第２の動作部１５Ｂ、第３の動作部１５Ｃ、第４の動作部１５Ｄ及び第５の動作部１５Ｅは、例えば圧電素子等のアクチュエータを備えたものであり、後述するフォーカス位置評価装置３０から出力された制御信号に基づいて駆動する。なお、動作部１５は、位相差レンズ１４ａ及び結像レンズ１４ｄを通過した位相差像をそのまま通過させる構成となっている。また、第２の動作部１５Ｂ、第３の動作部１５Ｃ、第４の動作部１５Ｄ及び第５の動作部１５Ｅの構成は圧電素子に限らず、結像レンズ１４ｄ、撮影部１６、ステージ５１及び対物レンズ１４ｂ（位相差レンズ１４ａ）をＺ方向に移動可能なものであればよく、その他の公知な構成を用いることができる。
【００４２】
図４は焦点距離変更光学系の構成を示す概略図である。図４に示すように、焦点距離変更光学系７０は、円形の第１のウェッジプリズム７１及び円形の第２のウェッジプリズム７２を備える。第７の動作部１５Ｇは、第１のウェッジプリズム７１及び第２のウェッジプリズム７２を、互いに反対方向に同期させて移動させる。これにより、結像光学系１４の焦点位置が変更される。焦点位置が変更されることは、焦点距離が長くなったり短くなったりすることと同義である。このため、結像光学系１４の焦点位置が変更されることにより、結像光学系の１４の焦点距離が変更される。本実施形態においては、結像光学系１４の焦点距離を変更することは、第１の動作部１５Ａにより結像レンズ１４ｄの焦点距離を変更すること、及び第６の動作部１５Ｆにより対物レンズ１４ｂの焦点距離を変更することのみならず、第７の動作部１５Ｇにより結像光学系１４の焦点位置を変更することにより、結像光学系１４の焦点距離を変更することも含む。
【００４３】
第１及び第２のウェッジプリズム７１，７２は、光の入射面及び出射面となり得る２つの面が平行でない、すなわち一方の面に対して他方の面が傾斜しているプリズムである。なお、以降の説明においては、光軸に対して垂直に配置される面を直角面、光軸に対して傾斜して配置される面をウェッジ面と称する。ウェッジプリズム７１，７２は、直角面に垂直に入射した光を偏向させるプリズムである。第７の動作部１５Ｇは、例えば圧電素子等のアクチュエータを備え、後述するフォーカス位置評価装置３０から出力された制御信号に基づいて、第１のウェッジプリズム７１及び第２のウェッジプリズム７２を、直角面を平行に維持しつつ、互いに反対方向に同期させて移動させる。すなわち、第１のウェッジプリズム７１を図４における右方向に移動させる場合には、第２のウェッジプリズム７２を左方向に移動させる。逆に、第１のウェッジプリズム７１を図４における左方向に移動させる場合には、第２のウェッジプリズム７２を右方向に移動させる。このように、第１及び第２のウェッジプリズム７１，７２を移動させることにより、結像光学系１４から出射された光の光路長が変更され、これにより、結像光学系１４の焦点位置を変更して焦点距離を変更することができる。これにより、オートフォーカス制御が行われ、撮影部１６によって取得される位相差画像のコントラストが調整される。
【００４４】
次に、顕微鏡装置１０を制御する顕微鏡制御装置２０の構成について説明する。図５は、第１の実施形態の顕微鏡観察システムの構成を示すブロック図である。なお、顕微鏡装置１０については、顕微鏡制御装置２０の各部により制御される一部の構成のブロック図を示している。
【００４５】
顕微鏡制御装置２０は、顕微鏡装置１０全体を制御するものであり、第１の実施形態によるフォーカス位置評価装置３０、走査制御部２１及び表示制御部２２を備える。また、フォーカス位置評価装置３０は、マーカ像検出部３１、判別器３２、フォーカス位置評価部３３、動作制御部３４及び判別器３２の学習部３５を備える。なお、動作制御部３４が本開示の制御部に対応する。
【００４６】
顕微鏡制御装置２０は、中央処理装置としてのＣＰＵ（Central Processing Unit）、半導体メモリ及びハードディスクドライブ等を備えたコンピュータから構成されるものであり、ハードディスクドライブに本開示のフォーカス位置評価プログラムの一実施形態及び顕微鏡制御プログラムがインストールされている。そして、このフォーカス位置評価プログラム及び顕微鏡制御プログラムがＣＰＵによって実行されることによって、図５に示すマーカ像検出部３１、判別器３２、フォーカス位置評価部３３、動作制御部３４、学習部３５、走査制御部２１及び表示制御部２２が機能する。
【００４７】
なお、本実施形態においては、ＣＰＵがフォーカス位置評価プログラム及び顕微鏡制御プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、ＣＰＵの他、ＦＰＧＡ (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）を用いることができる。また、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
【００４８】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００４９】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）である。
【００５０】
ここで、本実施形態においては、オートフォーカス制御を行うためのフォーカス位置を評価するために、培養容器５０にはマーカが含まれる。本実施形態において、マーカは球形で、かつ結像光学系１４を透過する光を吸収する色に着色された微細ビーズとする。本実施形態の白色光源１１は、白色光を培養容器５０に照射するため、本実施形態の微細ビーズは、黒色に着色されている。ここで「白色光」は、様々な波長域の光が均一に混合した光を意味する。なお、例えば、白色光源１１のかわりに、白色光以外の波長域の光を照射する光源を使用する場合には、その波長域を吸収する色に着色された微細ビーズを使用する。また、微細ビーズは、一例として、直径が１．０μｍのポリスチレン樹脂製の球体からなる。このような微細ビーズを培養容器５０に投入して、マーカとして用いることができる。
【００５１】
図６は顕微鏡装置１０による微細ビーズの観察を説明する図である。図６に示すように、培養容器５０内に収容されたマーカＭとしての微細ビーズを観察する場合、培養容器５０の底部の上面すなわち観察対象設置面Ｐ１に設置された微細ビーズの中心位置に合焦させようとすると、微細ビーズが透明な場合には、微細ビーズ自体がレンズとして機能してしまうため、微細ビーズの中心位置ではなく、微細ビーズの中心位置からΔＺ離れた位置、例えば培養容器５０の底部の厚さｄが十分に厚い場合には、観察対象設置面Ｐ１と培養容器５０の底部の下面Ｐ２との間において光が結像されてしまう。
【００５２】
そのため、微細ビーズを使用して決定されたフォーカス位置において観察対象である細胞を観察すると、細胞がボケてしまう場合があり、フォーカス位置の評価の精度を高くすることが望まれている。
【００５３】
そこで本実施形態においては、微細ビーズを黒色で着色することにより、微細ビーズのレンズとしての機能を低減させ、実際に光が結像される位置と微細ビーズの中心位置との距離ΔＺの値をより小さくする。これにより、微細ビーズを使用して後述するようにしてフォーカス位置を評価する際の精度を向上させることができる。従って、微細ビーズを使用して決定したフォーカス位置において細胞を撮影する際に、画像上における細胞のボケを低減することができる。
【００５４】
なお、本実施形態においては、マーカとして上記微細ビーズを使用したが、本開示の技術は、これに限られず、微細ビーズ自体のレンズ機能を低減させることができればよい。微細ビーズは、例えば、光の吸収率を１０％以上とすることにより、上記レンズ機能を低減させることができる。また、微細ビーズは、結像光学系１４の光の波長帯域を吸収する特性を有する顔料又は色材で着色されていればよい。通常の生物用顕微鏡装置で使用される光の波長帯域は、一般的に可視域である３８０から７８０ｎｍが多い。また、分光感度域が広いカメラを使用する場合には、光の波長帯域は３００から１１００ｎｍで使用される。顔料としては、例えば、OPLAS（登録商標）COLORSのOPLAS BLACK 838を使用することができる。また、染料として、例えば、NUBIAN（登録商標）BLACKのNUBIAN（登録商標）6807-25及びNUBIAN（登録商標）6807-40、並びにNUBIAN（登録商標）7807-25及びNUBIAN（登録商標）7807-40を使用することができる。
【００５５】
また、微細ビーズはポリスチレン樹脂製に限られず、ガラス及びシリカの何れかで形成されていてもよい。また、微細ビーズの直径は、１μｍに限られず、０．５μｍ以上１０μｍ以下、より好ましくは１．０μｍ以上２．２μｍ以下であればよい。微細ビーズの直径が大きいほど、ビーズ像が大きくなるため、微細ビーズの直径は、顕微鏡装置１０において観察可能範囲において可能な限り小さいことが望ましい。
【００５６】
なお、本実施形態においては、マーカとして微細ビーズを使用するが本開示はこれに限られず、例えば磁気ビーズを使用してもよい。
【００５７】
一般的に、顕微鏡装置においてフォーカス位置を評価するために使用する微細ビーズとしては、蛍光ビーズ又はポリスチレン製のビーズが使用される。一方、細胞の分離、たんぱく質及び核酸の分離のために使用する微細ビーズには磁気ビーズが使用される。磁気ビーズは、用途として、主に、ビーズにたんぱく質を吸着し、強力な磁力装置でビーズごとたんぱく質を分離する際に使用される。磁気ビーズにおいては、磁気ビーズ同士の凝集を防止するために、ポリスチレンなどのポリマーに分散か、包埋された構造になっている。生物用として販売されている磁気ビーズは、ポリスチレン製の微細ビーズに比べて光を吸収するための素材としては高価であるため、使用しにくい。磁気ビーズは、含まれる磁性体粒子の塊の構造が、滑らかな円でなく、凸凹のある円のため、フォーカス位置を定量的に求める上で、画像認識する場合に、ノイズとなり、精度を劣化させる場合がある。このため、マーカとしては、磁気ビーズよりも上述した微細ビーズの方が好ましい。
【００５８】
なお、本実施形態においては、フォーカス位置の評価のために、位相差画像の取得に先立って、フォーカス位置を評価するための画像（以下撮影画像Ｇ０とする）が撮影部１６により取得される。
【００５９】
マーカ像検出部３１は、撮影部１６が取得した、フォーカス位置評価用の撮影画像Ｇ０からマーカ像を検出する。本実施形態においては、撮影画像Ｇ０は位相差画像であり、上述したマーカは、位相差画像において背景の画像と異なるコントラストにより表される。このため、マーカ像検出部３１は、しきい値処理を行うことにより、撮影画像Ｇ０からマーカ像を検出する。
【００６０】
判別器３２は、フォーカス位置をそれぞれ変えて撮影した複数の教師用マーカ像、すなわち、異なるフォーカス位置において各々撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、マーカ像の入力により入力されたマーカ像のフォーカス位置を判別する。
【００６１】
以下、判別器３２の学習について説明する。判別器３２の学習は学習部３５が行う。図７は判別器３２の学習に用いる教師用マーカ像を取得するためのマーカの撮影を説明するための図である。なお、図７においては、１つのマーカＭの撮影について説明する。図７に示すように、教師用マーカ像を取得するためには、複数のフォーカス位置において、マーカＭの撮影を行う。すなわち、まず、結像光学系１４を調整し、マーカＭの位置Ｐ０に合焦させるようにフォーカス制御を行い、マーカＭに合焦した画像を取得する。また、マーカＭの手前の位置Ｐ１及び位置Ｐ２に合焦させるようにフォーカス制御を行い、プラス方向にデフォーカスされた画像を取得する。また、マーカＭの後方の位置Ｐ３及び位置Ｐ４に合焦させるようにフォーカス制御を行い、マイナス方向にデフォーカスされた画像を取得する。なお、図７においては５つのフォーカス位置Ｐ０〜Ｐ４によりマーカＭの撮影を行っているが、これに限定されるものではなく、より多くのフォーカス位置又はより少ないフォーカス位置おいてマーカＭの撮影を行うようにしてもよい。
【００６２】
そして、学習部３５は、上述したように複数のフォーカス位置においてマーカＭを撮影することにより取得した画像からマーカを含む領域を抽出し、教師用マーカ像を生成する。図８は教師用マーカ像の例を示す図である。なお、図８においては、位置Ｐ０，Ｐ１，Ｐ２に合焦させることにより取得した画像から生成した教師用マーカ像Ｔ０，Ｔ１，Ｔ２を示す。なお、教師用マーカ像は、それぞれのフォーカス位置において多数(例えば１０００個)用意される。
【００６３】
また、学習部３５は、教師用マーカ像に対してデフォーカス量を対応づける。例えば、フォーカス位置Ｐ０において取得した教師用マーカ像にはフォーカス位置として０を対応づけ、フォーカス位置Ｐ１において取得した教師用マーカ像にはフォーカス位置として＋６μｍを対応づけ、フォーカス位置Ｐ２において取得した教師用マーカ像にはフォーカス位置として＋１２μｍを対応づける。また、フォーカス位置Ｐ３において取得した教師用マーカ像にはフォーカス位置として−６μｍを対応づけ、フォーカス位置Ｐ４において取得した教師用マーカ像にはフォーカス位置として−１２μｍを対応づける。
【００６４】
学習部３５は、教師用マーカ像を用いて、入力されたマーカ像のフォーカス位置を判別するように判別器３２を学習する。本実施形態においては、判別器３２は、判別対象となるマーカ像が入力されると、そのマーカ像のフォーカス位置を判別するものとする。具体的には、判別器３２は、判別対象となるマーカ像について、複数のフォーカス位置となる確率を算出し、そのうちの最も高い確率となったフォーカス位置を入力されたマーカ像のフォーカス位置と判別する。このため、学習部３５は、教師用マーカ像から、あらかじめ定められたサイズ（例えば３×３等）の領域内の特徴量を取得し、取得した特徴量を判別器３２に入力し、入力した教師用マーカ像に対応するフォーカス位置となる判別結果を出力するように、判別器３２の学習、すなわち機械学習を行う。
【００６５】
なお、判別器３２は、サポートベクタマシン（ＳＶＭ(Support Vector Machine)）、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、及びリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等により構成することができる。
【００６６】
また、教師用マーカ像の特徴量としては、教師用マーカ像に関する同時生起行列を用いてもよい。同時生起行列は、画像における画素の信号値の分布を示す行列であり、ある信号値を有する画素に隣接する画素が有する信号値の頻度を行列として表したものである。ここで、マーカ像のフォーカス位置が０の場合、すなわちマーカ像が合焦している場合、マーカ像のコントラストが高いため、高輝度（すなわち低濃度）の画素に隣接する画素は低輝度（すなわち高濃度）となる。このため、マーカ像のフォーカス位置が０の場合、高輝度の画素については信号値が高い画素が隣接する頻度が高くなる。一方、マーカ像がボケている場合、高輝度の画素に隣接する画素はそれほど低輝度とはならない。このため、マーカ像がぼけている場合、マーカ像のコントラストが低いため、高輝度の画素については類似する輝度となる信号値の画素が隣接する頻度が高くなる。このため、教師用マーカ像に関する同時生起行列は、マーカ像のボケの程度に応じて特徴的な行列となる。したがって、同時生起行列を特徴量として用いることにより、フォーカス位置を精度よく判別可能なように、判別器３２を学習することができる。
【００６７】
このように学習がなされた判別器３２により、撮影部１６が取得した撮影画像Ｇ０に含まれるマーカのフォーカス位置が判別される。図９はフォーカス位置の判別結果を示す図である。なお、図９に示す撮影画像Ｇ０においては、マーカとして細胞の核小体を用いており、図９においてはマーカ像を白丸により示す。判別器３２は、図９に示すように撮影画像Ｇ０に含まれる複数のマーカ像のそれぞれについてフォーカス位置を判別する。図９においては、説明のために各マーカ像の近傍に、各マーカ像に対するフォーカス位置を表す数値（μｍ）を示している。
【００６８】
フォーカス位置評価部３３は、１つの撮影画像Ｇ０について、判別器３２が判別した複数のマーカ像のフォーカス位置の統計値をその撮影画像Ｇ０のフォーカス位置であると評価してフォーカス位置に決定する。なお、統計値としては、複数のマーカ像のフォーカス位置の平均値、中央値及び最頻値等を用いることができる。例えば、統計値を最頻値とした場合、図９に示すようにフォーカス位置が判別された撮影画像Ｇ０については、フォーカス位置の統計値は７μｍに決定される。
【００６９】
動作制御部３４は、上述したようにフォーカス位置評価部３３が決定したフォーカス位置に基づいて、動作部１５を動作させてオートフォーカス制御を行う。具体的には、フォーカス位置に基づいて、第１の動作部１５Ａ〜第７の動作部１５Ｇのそれぞれに対して制御信号を出力する。これにより、第１の動作部１５Ａにより結像レンズ１４ｄの焦点距離が変更されて結像光学系１４の焦点距離が変更される。また、第２の動作部１５Ｂにより結像レンズ１４ｄが光軸方向に移動する。また、第３の動作部１５Ｃにより撮影部１６が光軸方向に移動する。また、第４の動作部１５Ｄによりステージ５１が光軸方向に移動する。また、第５の動作部１５Ｅにより対物レンズ１４ｂが光軸方向に移動する。第６の動作部１５Ｆにより対物レンズ１４ｂの焦点距離が変更されて結像光学系１４の焦点距離が変更される。さらに、第７の動作部１５Ｇにより結像光学系１４の焦点位置が変更されて、結像光学系１４の焦点距離が変更される。これらの７つの動作により、オートフォーカス制御が行われる。
【００７０】
走査制御部２１は、水平方向駆動部１７を駆動制御し、これによりステージ５１をＸ方向及びＹ方向に移動させて、培養容器５０をＸ方向及びＹ方向に移動させる。水平方向駆動部１７は、圧電素子等のアクチュエータから構成される。
【００７１】
以下、走査制御部２１によるステージ５１の移動制御及び動作制御部３４によるオートフォーカス制御について、詳細に説明する。
【００７２】
本実施形態においては、走査制御部２１による制御によってステージ５１をＸ方向及びＹ方向に移動させ、結像光学系１４の観察域を培養容器５０内において２次元状に移動して培養容器５０を走査し、各観察域を撮像して位相差画像を取得する。図１０は、培養容器５０内における観察域による走査位置を実線Ｊで示した図である。なお、本実施形態においては、培養容器５０として６つのウェルＷを有するウェルプレートを用いる。
【００７３】
図１０に示すように、結像光学系１４の観察域は、走査開始点Ｓから走査終了点Ｅまで実線Ｊに沿って移動する。すなわち、観察域Ｒは、Ｘ方向の正方向（図１０の右方向）に移動された後、Ｙ方向（図１０の下方向）に移動し、逆の負方向（図１０の左方向）に移動される。次いで、観察域Ｒは、再びＹ方向に移動し、再び正方向に移動される。このように、観察域ＲのＸ方向についての往復移動とＹ方向への移動を繰り返し行うことによって、培養容器５０は２次元状に走査される。
【００７４】
また、本実施形態においては、ステージ５１は各観察域Ｒにおいて一端静止する。この状態において、撮影部１６によりフォーカス位置評価用の撮影画像Ｇ０が取得され、フォーカス位置が決定され、フォーカス位置に基づいたオートフォーカス制御が行われ、その観察域Ｒが撮像されて位相差画像が取得される。位相差画像が取得されると、ステージ５１が移動し、次の観察域Ｒにおいてオートフォーカス制御が行われて位相差画像が取得される。この動作を繰り返すことにより、培養容器５０の全体を表す複数の位相差画像が取得され、複数の位相差画像を結合され合成位相差画像が生成される。
【００７５】
すなわち、動作制御部３４は、観察域Ｒにおいて決定されたフォーカス位置に基づいて、動作部１５を駆動制御することによってオートフォーカス制御を行う。具体的には、動作制御部３４には、フォーカス位置と、結像レンズ１４ｄの焦点距離を変更するための結像レンズ１４ｄへの印加電圧、結像レンズ１４ｄの光軸方向の移動量、撮影部１６の光軸方向の移動量、ステージ５１の光軸方向の移動量、対物レンズ１４ｂの光軸方向の移動量、対物レンズ１４ｂの焦点距離を変更するための対物レンズ１４ｂへの印加電圧、及び焦点距離変更光学系７０の移動量との関係が、予めテーブルとして記憶されている。このテーブルを第１のテーブルと称する。
【００７６】
動作制御部３４は、決定されたフォーカス位置に基づいて、第１のテーブルを参照して、結像レンズ１４ｄの焦点距離を変更するための結像レンズ１４ｄへの印加電圧、結像レンズ１４ｄの光軸方向の移動量、撮影部１６の光軸方向の移動量、ステージ５１の光軸方向の移動量、対物レンズ１４ｂの光軸方向の移動量、対物レンズ１４ｂの焦点距離を変更するための対物レンズ１４ｂへの印加電圧、及び焦点距離変更光学系７０の移動量をそれぞれ求める。なお、以降の説明においては、結像レンズ１４ｄの焦点距離を変更するための結像レンズ１４ｄへの印加電圧、結像レンズ１４ｄの光軸方向の移動量、撮影部１６の光軸方向の移動量、ステージ５１の光軸方向の移動量、対物レンズ１４ｂの光軸方向の移動量、対物レンズ１４ｂの焦点距離を変更するための対物レンズ１４ｂへの印加電圧、及び焦点距離変更光学系７０の移動量をフォーカス制御量と称する。
【００７７】
そして、動作制御部３４は、動作部１５を制御するために、フォーカス制御量に応じた制御信号を、第１の動作部１５Ａ〜第７の動作部１５Ｇに出力する。具体的には、動作制御部３４は、デフォーカス量に基づいて第１のテーブルを参照し、フォーカス制御量を取得し、第１の動作部１５Ａ〜第７の動作部１５Ｇに出力する。
【００７８】
動作部１５、すなわち第１の動作部１５Ａ〜第７の動作部１５Ｇは、入力された制御信号に基づいて駆動する。これにより、観察域Ｒのフォーカス位置に応じたフォーカス制御が行われる。
【００７９】
図５に戻り、表示制御部２２は、顕微鏡装置１０によって撮像された各観察域Ｒの位相差画像を結合することによって、１枚の合成位相差画像を生成し、その合成位相差画像を表示装置２３に表示させる。
【００８０】
表示装置２３は、上述したように表示制御部２２によって生成された合成位相差画像を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置２３をタッチパネルによって構成し、入力装置２４と兼用するようにしてもよい。
【００８１】
入力装置２４は、マウス及びキーボード等を備え、ユーザによる種々の設定入力を受け付けるものである。本実施形態の入力装置２４は、例えば位相差レンズ１４ａの倍率の変更指示及びステージ５１の移動速度の変更指示等の設定入力を受け付ける。
【００８２】
次に、第１の実施形態のフォーカス位置評価装置を適用した顕微鏡観察システムの動作について、図１１に示すフローチャートを参照しながら説明する。まず、観察対象である細胞が収容された培養容器５０が、ステージ５１上に設置される（ステップＳＴ１０）。次に、ステージ５１が移動して結像光学系１４の観察域Ｒが、図１０に示す走査開始点Ｓの位置に設定され、観察域Ｒによる走査が開始される（ステップＳＴ１２）。
【００８３】
ここで、本実施形態においては、上述したように各観察域Ｒについて、フォーカス位置評価用の撮影画像Ｇ０が取得され、マーカ像が検出され、フォーカス位置が評価され、フォーカス位置が決定され、フォーカス制御量が算出され、オートフォーカス制御が行われて位相差画像が取得される。これらの動作は、観察域Ｒを移動しながら行われ、ある位置の観察域Ｒについての撮影画像Ｇ０の取得、マーカ像の検出、フォーカス位置の判別、フォーカス位置の決定、フォーカス制御量の算出、オートフォーカス制御、及び位相差画像の取得が行われた後、次の観察域Ｒにおいて、撮影画像Ｇ０の取得、マーカ像の検出、フォーカス位置の判別、フォーカス位置の決定、フォーカス制御量の算出、オートフォーカス制御、及び位相差画像の取得が行われる。
【００８４】
このため、最初の観察域Ｒにおいて、フォーカス位置評価用の撮影画像Ｇ０が撮影部１６により取得され（ステップＳＴ１４）、マーカ像検出部３１が、撮影画像Ｇ０からマーカ像を検出する（ステップＳＴ１６）。次いで、判別器３２が撮影画像Ｇ０に含まれるマーカ像のフォーカス位置を判別し（ステップＳＴ１８）、フォーカス位置評価部３３が、その観察域Ｒにおけるフォーカス位置を決定する（ステップＳＴ２０）。そして、動作制御部３４が、決定されたフォーカス位置に基づいてフォーカス制御量を算出し（ステップＳＴ２２）、フォーカス制御量に基づいてオートフォーカス制御を行う（ステップＳＴ２４）。すなわち、動作制御部３４は、予め記憶された移動量に基づいて動作部１５を駆動制御し、結像レンズ１４ｄの焦点距離を変更し、結像レンズ１４ｄ、撮影部１６及び対物レンズ１４ｂをＺ方向に移動させる。そして、オートフォーカス制御後、撮影部１６が観察域Ｒを撮像して、その観察域Ｒの位相差画像を取得する（ステップＳＴ２６）。取得された位相差画像は、撮影部１６から表示制御部２２に出力されて記憶される。
【００８５】
そして、全ての走査が終了していない場合には（ステップＳＴ２８；ＮＯ）、観察域ＲがＸ方向又はＹ方向に移動し、すべての走査が終了するまで、上述した撮影画像Ｇ０の取得、マーカ像の検出、フォーカス位置の判別、フォーカス位置の決定、フォーカス制御量の算出、オートフォーカス制御及び位相差画像の取得が繰り返し行われる（ステップＳＴ１４〜ステップＳＴ２６）。そして、観察域Ｒが、図１０に示す走査終了点Ｅの位置に到達した時点において全ての走査が終了する（ステップＳＴ２８；ＹＥＳ）。
【００８６】
全ての走査が終了した後、表示制御部２２は、各観察域Ｒの位相差画像を結合して合成位相差画像を生成し（ステップＳＴ３０）、生成した合成位相差画像を表示装置２３に表示する（ステップＳＴ３２）。
【００８７】
このように、本実施形態においては、微細ビーズを黒色で着色することにより、微細ビーズのレンズとしての機能を低減させ、実際に光が結像される位置と微細ビーズの中心位置との距離ΔＺの値をより小さくする。これにより、微細ビーズを使用してフォーカス位置を評価する際の精度を向上させることができる。従って、微細ビーズを使用して決定したフォーカス位置において細胞を撮影する際に、画像上における細胞のボケを低減することができる。
【００８８】
また、本実施形態においては、フォーカス位置の評価対象であるマーカを含む、フォーカス位置評価用の撮影画像Ｇ０を取得し、撮影画像Ｇ０からマーカ像を検出し、異なるフォーカス位置により各々撮影された複数の教師用マーカ像に関する特徴量を用いて学習がなされ、入力されたマーカ像のフォーカス位置を判別する判別器３２によりフォーカス位置を判別するようにした。このため、少ない演算量により、高速にデフォーカス量を決定することができる。
【００８９】
また、撮影画像Ｇ０に含まれる複数のマーカ像のそれぞれについてのフォーカス位置を判別し、複数のフォーカス位置の統計値を撮影画像Ｇ０を取得した観察域Ｒのフォーカス位置に決定することにより、判別器３２による判別結果のばらつきを吸収して、精度よくフォーカス位置を決定することができる。
【００９０】
また、フォーカス位置に基づいて、培養容器５０内の観察対象の像を撮影部１６に合焦させることにより、フォーカス位置を高速に決定することができるため、オートフォーカス制御を高速に行うことができる。
【００９１】
なお、上記第１の実施形態においては、第１の実施形態によるフォーカス位置評価装置３０を顕微鏡撮影システムに適用し、観察域Ｒを移動させつつ、各観察域Ｒにおいて撮影画像Ｇ０の取得、マーカ像の検出、フォーカス位置の判別、フォーカス位置の決定、フォーカス制御量の算出、オートフォーカス制御、及び位相差画像の取得を行っているが、これに限定されるものではない。例えば、ある培養容器５０について、細胞を収容することなく、培養容器５０における各観察域Ｒにおいて、撮影画像Ｇ０の取得、マーカ像の検出、フォーカス位置の判別、フォーカス位置の決定、及びフォーカス制御量の算出を行うようにしてもよい。この場合、培養容器５０すべての観察域Ｒにおいてフォーカス位置が決定された後に、フォーカス位置を決定した培養容器５０と同一種類の培養容器５０に収容された細胞を観察対象として、位相差画像の取得が行われる。以下、これを第２の実施形態として説明する。
【００９２】
図１２は位相差画像の取得に先立って、デフォーカス量を決定する、第２の実施形態において行われる処理を示すフローチャートである。まず、マーカである微細ビーズが収容された培養容器５０がステージ５１上に設置される（ステップＳＴ４０）。次に、ステージ５１が移動して結像光学系１４の観察域Ｒが、図７に示す走査開始点Ｓの位置に設定され、観察域Ｒによる走査が開始される（ステップＳＴ４２）。
【００９３】
そして、最初の観察域Ｒにおいて、フォーカス位置評価用の撮影画像Ｇ０が撮影部１６により取得され（ステップＳＴ４４）、マーカ像検出部３１が、撮影画像Ｇ０からマーカ像を検出する（ステップＳＴ４６）。次いで、判別器３２が撮影画像Ｇ０に含まれるマーカ像のフォーカス位置を判別し（ステップＳＴ４８）、フォーカス位置評価部３３が、その観察域Ｒにおけるフォーカス位置を決定する（ステップＳＴ５０）。そして、動作制御部３４が、決定されたフォーカス位置に基づいてフォーカス制御量を算出し（ステップＳＴ５２）、フォーカス制御量を培養容器５０の検出位置のＸ−Ｙ座標上の位置と対応づけて記憶する（ステップＳＴ５４）。
【００９４】
そして、全ての走査が終了していない場合には（ステップＳＴ５６；ＮＯ）、観察域ＲがＸ方向又はＹ方向に移動し、すべての走査が終了するまで、上述した撮影画像Ｇ０の取得、マーカ像の検出、フォーカス位置の判別、フォーカス位置の決定、フォーカス制御量の算出、及びフォーカス制御量の記憶が繰り返し行われる（ステップＳＴ４４〜ステップＳＴ５４）。そして、観察域Ｒが、図１０に示す走査終了点Ｅの位置に到達した時点において全ての走査が終了する（ステップＳＴ５６；ＹＥＳ）。
【００９５】
なお、第２の実施形態において、位相差画像の取得時においては、フォーカス位置を決定する場合と同様に、培養容器５０の走査が行われ、各観察域Ｒにおいて位相差画像を取得する際に、その観察域Ｒに対応する培養容器５０のＸ−Ｙ座標と対応づけて記憶されたフォーカス制御量を用いて、動作制御部３４がオートフォーカス制御を行う。これにより、各観察域Ｒにおいてフォーカス制御を行いつつ、位相差画像の取得が行われる。この場合、フォーカス制御量を記憶するための培養容器５０の走査を事前に行う必要はあるが、同一種類の培養容器５０を使用する場合、位相差画像を取得する際に、各観察域Ｒにおいて一端ステージ５１を静止させて撮影画像Ｇ０の取得、マーカ像の検出、フォーカス位置の判別、フォーカス位置の決定、フォーカス制御量の算出、オートフォーカス制御、及び位相差画像の取得を行う必要がなくなる。これにより、培養容器５０上において観察域Ｒを連続して操作させることができるため、より高速に位相差画像を取得することができる。
【００９６】
なお、第２の実施形態においては、動作制御部３４は、各観察域Ｒでのフォーカス制御量を記憶しているが、決定したフォーカス位置を記憶するようにしてもよい。この場合、各観察域Ｒにおいて位相差画像を取得する際に、記憶されたフォーカス位置に基づいてフォーカス制御量が算出されて、観察域Ｒの撮影及び位相差画像の取得が行われる。
【００９７】
また、第２の実施形態において、ステップＳＴ５０にて決定されたフォーカス位置が、顕微鏡装置１０において設定不可能なフォーカス位置、すなわちフォーカス制御量が算出できない場合には、例えば表示装置２３にエラー表示を出すようにしてもよいし、図示しない報知部によってフォーカス制御量が算出できないことを報知するようにしてもよい。ここで、報知部は、本開示において、「報知部」は、メッセージ等を可視表示させるディスプレイ、音声が出力されることにより可聴表示させる音声再生装置、用紙等の記録媒体に記録して永久可視表示させるプリンタ、メールや電話等の通信手段及び表示灯等を意味し、上記ディスプレイ、上記音声再生装置、上記プリンタ、上記通信手段及び上記表示灯のうちの少なくとも２つ以上を組み合わせてもよい。
【００９８】
ところで、判別器３２の学習の際に使用する教師用マーカ像としては、プラス方向にデフォーカスされた画像及びマイナス方向にデフォーカスされた画像の双方を用いている。しかしながら、プラス方向にデフォーカスされた画像及びマイナス方向にデフォーカスされた画像が類似している場合、そのような教師用マーカ像を用いて学習を行った判別器３２を用いても、フォーカス位置がプラス側のフォーカス位置であるのかマイナス側のフォーカス位置であるのか判別することが困難となる場合がある。
【００９９】
しかしながら、本実施形態においては、フォーカス位置のプラス及びマイナスを誤って判別したとしても、オートフォーカス制御を高速に行うことができる。図１３はオートフォーカス制御を説明するための図である。なお、図１３においては、結像レンズ１４ｄをＺ方向に移動する場合のオートフォーカス制御を示す。図１３に示すように、結像レンズ１４ｄが位置Ｐ１０にあるときのフォーカス位置が＋αに決定されたとする。この場合、実際のフォーカス位置がプラス（すなわち観察対象よりも遠くに合焦している状態）であれば、結像レンズ１４ｄを観察対象から離れる方向、例えば位置Ｐ１１に移動させることにより、観察対象に合焦させることができる。しかしながら、実際には観察対象よりも近くに合焦した状態にあり、フォーカス位置が−αの場合、結像レンズ１４ｄを位置Ｐ１１に移動させると、よりフォーカスが合わなくなってしまう。
【０１００】
この場合、結像レンズ１４ｄを位置Ｐ１１に移動させた時点において、再度フォーカス位置評価用の撮影画像Ｇ０を取得し、フォーカス位置を決定するようにする。そして、決定したフォーカス位置が０でない場合には、フォーカス位置のプラス及びマイナスが間違っていることから、動作制御部３４は、結像レンズ１４ｄを観察対象に近づく方向、例えば位置Ｐ１１から位置Ｐ１２に移動させるようにフォーカス制御量を決定する。
【０１０１】
ここで、従来のように画像のコントラストを判断してオートフォーカス制御を行う場合、観察対象に合焦されるまで撮影画像Ｇ０の取得及びフォーカス制御量の決定を繰り返す必要がある。これに対して、本実施形態においては、フォーカス制御量のプラス及びマイナスの判別を誤ったとしても、フォーカス位置の決定の動作をもう一度行うのみで、正確なフォーカス制御量を決定することができる。したがって、本実施形態においては、フォーカス制御量のプラス及びマイナスの判別を誤ったとしても、オートフォーカス制御を高速に行うことができる。
【０１０２】
なお、プラス方向にデフォーカスされた画像及びマイナス方向にデフォーカスされた画像が類似している場合、プラス方向にデフォーカスされた画像及びマイナス方向にデフォーカスされた画像のいずれか一方のみを教師用マーカ像として使用して、判別器３２の学習を行うようにしてもよい。例えば、プラス方向にデフォーカスされた画像のみを教師用マーカ像として判別器３２の学習を行った場合、判別されるフォーカス位置はプラスの値となる。この場合、実際のフォーカス位置がマイナスの場合、上記図１３に示すように、フォーカス位置がプラスの場合のように結像レンズ１４ｄを位置Ｐ１１に移動させると、よりフォーカスが合わなくなってしまう。
【０１０３】
この場合、結像レンズ１４ｄを位置Ｐ１１に移動させた時点において、再度フォーカス位置評価用の撮影画像Ｇ０を取得し、フォーカス位置を決定するようにする。そして、決定したフォーカス位置が０でない場合には、フォーカス位置が実際にはマイナスであると判定し、動作制御部３４は、結像レンズ１４ｄを位置Ｐ１１からＰ１２に移動させるようにフォーカス制御量を決定する。これにより、フォーカス位置のプラス及びマイナスを間違えた場合と同様に、フォーカス位置の決定の動作をもう一度行うのみで、正確なフォーカス制御量を決定することができる。したがって、プラス方向にデフォーカスされた画像及びマイナス方向にデフォーカスされた画像のいずれか一方のみを教師用マーカ像として使用して、判別器３２の学習を行っても、オートフォーカス制御を高速に行うことができる。
【０１０４】
なお、上記各実施形態においては、判別器３２を学習するための教師用マーカ像として、フォーカス位置が既知のマーカ像を用いているが、これに限定されるものではない。例えば、フォーカス位置が不明であるマーカ像を教師用マーカ像として用いてもよい。この場合、フォーカス位置が不明であるマーカ像については、学習部３５は、フォーカス位置が不明であるとの判別を行うように、判別器３２の学習を行う。なお、フォーカス位置が不明であるマーカ像としては、判別器３２に入力した結果、フォーカス位置を誤って判別したマーカ像を用いることができる。このため、学習部３５はまず判別器３２に対して、フォーカス位置が不明である旨の判別を行わないように学習を行う。そして、ある程度学習が進んだ段階で、判別器３２によるフォーカス位置の判別を行った際に、フォーカス位置を誤って判別したマーカ像を、フォーカス位置が不明であるマーカ像に決定する。そして、改めてそのようなマーカ像を用いて、フォーカス位置が不明であるとの判別を行うように判別器３２の学習を行う。これにより、フォーカス位置が不明であるとの判別を行うことが可能な判別器３２を生成することができる。したがって、誤ったフォーカス位置の判別結果が取得される可能性を低減することができる。
【０１０５】
なお、上記各実施形態においては、動作部１５が第１〜第７の動作部１５Ａ〜１５Ｇによりオートフォーカス制御を行っているが、第１〜第７の動作部１５Ａ〜１５Ｇのうちのいずれか１つのみ又はこれらのうちの複数を用いてオートフォーカス制御を行うようにしてもよい。また、第１〜第７の動作部１５Ａ〜１５Ｇのうちのいずれか１つのみ又はこれらのうちの複数を備えるものとしてもよい。
【０１０６】
また、上記各実施形態においては、焦点距離変更光学系７０を、結像光学系１４と撮影部１６との間に配置しているが、結像光学系１４とステージ５１との間に配置してもよい。
【０１０７】
また、上記各実施形態においては、第４の動作部１５Ｄによりステージ５１を光軸方向に移動させることにより、培養容器５０を光軸方向に移動させている。しかしながら、ステージ５１を光軸方向に移動させることに代えて、培養容器５０を光軸方向に移動させる機構を設け、培養容器５０のみを光軸方向に移動させるようにしてもよい。
【０１０８】
また、上記各実施形態は、フォーカス位置評価部３３が、判別器３２によって判別されたフォーカス位置に基づいてフォーカス位置を評価及び決定したが、本開示の技術はこれに限られない。フォーカス位置評価装置は、判別器３２及び学習部３５を備えていなくても良い。この場合、フォーカス位置評価部３３は、異なるフォーカス位置毎に予め撮影して取得した撮影画像から、マーカ像検出部３１が基準マーカ像を検出して記憶しておく。そして、フォーカス位置評価部３３は、撮影された観察画像においてマーカ像検出部３１が検出したマーカ像と、異なるフォーカス位置毎の上記基準マーカ像との全ての組合せについて相関値を算出する。そして相関値が予め設定された閾値以上である場合に、フォーカス位置評価部３３は、その相関値を有するマーカ像と基準マーカ像の組み合わせが、対応付けられるべき組み合わせであると判定し、その基準マーカ像が取得されたフォーカス位置を観察画像のフォーカス位置として決定する。相関値の算出方法としては、例えば正規化相互相関（ZNCC：Zero-mean Normalized Cross-Correlation）を用いて算出するようにすればよい。ただし、これに限らず、その他の算出方法を用いるようにしてもよい。
【０１０９】
また、上記各実施形態は、本発明によるフォーカス位置評価装置を位相差顕微鏡に適用したものであるが、本開示は、位相差顕微鏡に限らず、微分干渉顕微鏡及び明視野顕微鏡等のその他の顕微鏡に適用してもよい。
【符号の説明】
【０１１０】
１０    顕微鏡装置（撮影装置）
１１    白色光源
１２    コンデンサレンズ
１３    スリット板
１４    結像光学系（撮影光学系）
１４ａ  位相差レンズ
１４ｂ  対物レンズ
１４ｃ  位相板
１４ｄ  結像レンズ
１５    動作部
１５Ａ  第１の動作部
１５Ｂ  第２の動作部
１５Ｃ  第３の動作部
１５Ｄ  第４の動作部
１５Ｅ  第５の動作部
１５Ｆ  第６の動作部
１５Ｇ  第７の動作部
１６    撮影部
１７    水平方向駆動部
２０    顕微鏡制御装置
２１    走査制御部
２２    表示制御部
２３    表示装置
２４    入力装置
３０    フォーカス位置評価装置
３１    マーカ像検出部
３２、３２Ａ    判別器
３３    フォーカス位置評価部
３４    動作制御部
３５    学習部
５０    培養容器
５１    ステージ
５１ａ  開口
７０    焦点距離変更光学系
７１    第１のウェッジプリズム
７２    第２のウェッジプリズム
Ｊ      観察域による走査位置
Ｓ      走査開始点
Ｅ      走査終了点
Ｍ      マーカ，微細ビーズ
Ｌ      照明光
Ｒ      観察域
Ｗ      ウェル
【図１】
2022001889.tif 000003
【図２】
2022001889.tif 000004
【図３】
2022001889.tif 000005
【図４】
2022001889.tif 000006
【図５】
2022001889.tif 000007
【図６】
2022001889.tif 000008
【図７】
2022001889.tif 000009
【図８】
2022001889.tif 000010
【図９】
2022001889.tif 000011
【図１０】
2022001889.tif 000012
【図１１】
2022001889.tif 000013
【図１２】
2022001889.tif 000014
【図１３】
2022001889.tif 000015