(57)【要約】【課題】マルチスペクトル撮影により生体試料の観察用画像を取得する装置において、フォーカス位置を適切に調整できる技術を提供する。【解決手段】まず、生体試料に対する光学系のフォーカス位置を変更する（Ｓ１１）。次に、生体試料に照明光を照射しつつ、中心波長の異なる複数の波長帯域において生体試料を撮影する（Ｓ１２）。続いて、取得した複数の撮影画像について、画素毎に、波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る（Ｓ１３）。そして、波長プロファイルに応じて、各画素を複数のクラスターに分類する（Ｓ１４）。さらに、複数のクラスターのそれぞれを代表する波長プロファイルである代表プロファイルを作成する（Ｓ１５）。その後、代表プロファイルに基づいて、フォーカス位置の適否を判定する（Ｓ１６）。これにより、フォーカス位置を適切に調整できる。【選択図】図３
2020148856.tif 000002
【特許請求の範囲】
【請求項１】
生体試料を光学系を介して撮影して観察用画像を生成する装置におけるフォーカス調整方法であって、
ａ）前記生体試料に対する前記光学系のフォーカス位置を変更する工程と、
ｂ）前記生体試料に照明光を照射しつつ、中心波長の異なる複数の波長帯域において前記生体試料を撮影する工程と、
ｃ）前記工程ｂ）で取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る工程と、
ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する工程と、
ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する工程と、
ｆ）前記代表プロファイルに基づいて、前記フォーカス位置の適否を判定する工程と、
を有する、フォーカス調整方法。
【請求項２】
請求項１に記載のフォーカス調整方法であって、
前記代表プロファイルは、前記クラスターに属する複数の画素の前記波長プロファイルの輝度値の平均値のプロファイルである、フォーカス調整方法。
【請求項３】
請求項１または請求項２に記載のフォーカス調整方法であって、
前記工程ｆ）では、
複数の前記代表プロファイルの第１の単一波長における輝度値の順序と、
複数の前記代表プロファイルの前記第１の単一波長とは異なる第２の単一波長における輝度値の順序と、
複数の前記代表プロファイルの第１の複数波長における輝度値の平均値の順序と、
複数の前記代表プロファイルの前記第１の複数波長とは異なる第２の複数波長における輝度値の平均値の順序と、
のうちの少なくとも２つの比較結果に基づいて、前記フォーカス位置の適否を判定する、フォーカス調整方法。
【請求項４】
請求項１から請求項３までのいずれか１項に記載のフォーカス調整方法であって、
前記工程ｆ）では、
互いに近似する複数のクラスターの一部を、評価対象から除外する、フォーカス調整方法。
【請求項５】
請求項１から請求項４までのいずれか１項に記載のフォーカス調整方法であって、
前記工程ｆ）では、
前記複数のクラスターの全てにおいて、前記代表プロファイルの輝度値の最大値と最小値との差が、所定の閾値よりも小さい場合、前記フォーカス位置を不適切と判定する、フォーカス調整方法。
【請求項６】
請求項１または請求項２に記載のフォーカス調整方法であって、
前記工程ｆ）では、
予め機械学習または深層学習により生成された学習モデルに基づいて、前記フォーカス位置の適否を判定する、フォーカス調整方法。
【請求項７】
請求項１から請求項６までのいずれか１項に記載のフォーカス調整方法であって、
前記工程ｆ）において前記フォーカス位置が不適切と判定された場合、前記工程ａ）に戻って前記フォーカス位置を他の位置に変更し、前記工程ｂ）〜ｆ）を再び実行する、フォーカス調整方法。
【請求項８】
請求項１から請求項７までのいずれか１項に記載の画像取得方法であって、
前記生体試料は細胞である、フォーカス調整方法。
【請求項９】
生体試料を撮影して観察用画像を生成する画像取得方法であって、
請求項１から請求項８までのいずれか１項に記載のフォーカス調整方法の実行後、
画素毎に、分類された前記クラスターに対応する階調値を割り当てることにより、前記観察用画像を生成する、画像取得方法。
【請求項１０】
生体試料を光学系を介して撮影して観察用画像を生成する画像取得装置であって、
前記生体試料に対する前記光学系のフォーカス位置を移動させるフォーカス移動機構と、
前記生体試料に照明光を照射する照明部と、
前記照明光が照射された前記生体試料を前記光学系を介して撮影する撮像部と、
前記照明部、前記フォーカス移動機構、および前記撮像部を制御するコンピュータと、
を備え、
前記コンピュータは、
ａ）前記フォーカス移動機構により、前記フォーカス位置を変更する処理と、
ｂ）前記照明部から前記生体試料に照明光を照射しつつ、前記撮像部により、中心波長の異なる複数の波長帯域において前記生体試料を撮影する処理と、
ｃ）前記処理ｂ）において取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る処理と、
ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する処理と、
ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する処理と、
ｆ）前記代表プロファイルに基づいて、前記フォーカス位置の適否を判定する処理と、
を実行する、画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体試料を光学系を介して撮影して観察用画像を生成する装置におけるフォーカス調整方法に関する。
【背景技術】
【０００２】
医療や生命科学の分野では、観察対象となる細胞の撮影を行う場合がある。しかしながら、細胞は、ほぼ透明であるため、鮮明な観察画像を取得することが難しい。そこで、従来、細胞の視認性を高めるために、細胞を染料で染色して撮影を行うことが知られている。しかしながら、染色を行うと、細胞がダメージを負うという問題がある。このため、無染色で細胞の鮮明な画像を取得する技術が求められている。無染色で細胞の画像を取得する従来の技術については、例えば、特許文献１に記載されている。
【０００３】
特許文献１の装置では、細胞をマルチスペクトル撮影し、取得した複数の画像について、画素毎に波長プロファイルを生成する。そして、得られた波長プロファイルに応じて、各画素を複数のクラスターに分類する。その後、各画素に、分類されたクラスターに対応する階調値を割り当てることにより、観察用画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１６３２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の装置では、観察に適した画像を取得するために、撮像光学系のフォーカス位置を適切に設定することが重要である。しかしながら、特許文献１の装置において、フォーカス位置を調整するためには、フォーカス位置を変更し、マルチスペクトル撮影を行い、波長プロファイルを作成し、観察用画像を生成し、観察用画像を評価する、という多くの工程を繰り返して、最適な観察用画像が得られるフォーカス位置を探す必要がある。また、マルチスペクトル撮影では、同一のフォーカス位置であっても、波長毎に画像の状態が異なる。このため、作業者が目視で最適なフォーカス位置を探すことは極めて難しい、という問題がある。
【０００６】
本発明は、このような事情に鑑みなされたものであり、マルチスペクトル撮影により生体試料の観察用画像を取得する装置において、フォーカス位置を適切に調整できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本願の第１発明は、生体試料を光学系を介して撮影して観察用画像を生成する装置におけるフォーカス調整方法であって、ａ）前記生体試料に対する前記光学系のフォーカス位置を変更する工程と、ｂ）前記生体試料に照明光を照射しつつ、中心波長の異なる複数の波長帯域において前記生体試料を撮影する工程と、ｃ）前記工程ｂ）で取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る工程と、ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する工程と、ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する工程と、ｆ）前記代表プロファイルに基づいて、前記フォーカス位置の適否を判定する工程と、を有する。
【０００８】
本願の第２発明は、第１発明のフォーカス調整方法であって、前記代表プロファイルは、前記クラスターに属する複数の画素の前記波長プロファイルの輝度値の平均値のプロファイルである。
【０００９】
本願の第３発明は、第１発明または第２発明のフォーカス調整方法であって、前記工程ｆ）では、複数の前記代表プロファイルの第１の単一波長における輝度値の順序と、複数の前記代表プロファイルの前記第１の単一波長とは異なる第２の単一波長における輝度値の順序と、複数の前記代表プロファイルの第１の複数波長における輝度値の平均値の順序と、複数の前記代表プロファイルの前記第１の複数波長とは異なる第２の複数波長における輝度値の平均値の順序と、のうちの少なくとも２つの比較結果に基づいて、前記フォーカス位置の適否を判定する。
【００１０】
本願の第４発明は、第１発明から第３発明までのいずれか１発明のフォーカス調整方法であって、前記工程ｆ）では、互いに近似する複数のクラスターの一部を、評価対象から除外する。
【００１１】
本願の第５発明は、第１発明から第４発明までのいずれか１発明のフォーカス調整方法であって、前記工程ｆ）では、前記複数のクラスターの全てにおいて、前記代表プロファイルの輝度値の最大値と最小値との差が、所定の閾値よりも小さい場合、前記フォーカス位置を不適切と判定する。
【００１２】
本願の第６発明は、第１発明または第２発明のフォーカス調整方法であって、前記工程ｆ）では、予め機械学習または深層学習により生成された学習モデルに基づいて、前記フォーカス位置の適否を判定する。
【００１３】
本願の第７発明は、第１発明から第６発明までのいずれか１発明のフォーカス調整方法であって、前記工程ｆ）において前記フォーカス位置が不適切と判定された場合、前記工程ａ）に戻って前記フォーカス位置を他の位置に変更し、前記工程ｂ）〜ｆ）を再び実行する。
【００１４】
本願の第８発明は、第１発明から第７発明までのいずれか１発明の画像取得方法であって、前記生体試料は細胞である。
【００１５】
本願の第９発明は、生体試料を撮影して観察用画像を生成する画像取得方法であって、第１発明から第８発明までのいずれか１発明のフォーカス調整方法の実行後、画素毎に、分類された前記クラスターに対応する階調値を割り当てることにより、前記観察用画像を生成する。
【００１６】
本願の第１０発明は、生体試料を光学系を介して撮影して観察用画像を生成する画像取得装置であって、前記生体試料に対する前記光学系のフォーカス位置を移動させるフォーカス移動機構と、前記生体試料に照明光を照射する照明部と、前記照明光が照射された前記生体試料を前記光学系を介して撮影する撮像部と、前記照明部、前記フォーカス移動機構、および前記撮像部を制御するコンピュータと、を備え、前記コンピュータは、ａ）前記フォーカス移動機構により、前記フォーカス位置を変更する処理と、ｂ）前記照明部から前記生体試料に照明光を照射しつつ、前記撮像部により、中心波長の異なる複数の波長帯域において前記生体試料を撮影する処理と、ｃ）前記処理ｂ）において取得した複数の撮影画像について、画素毎に、前記波長帯域の変化に対する輝度値の変化を表す波長プロファイルを得る処理と、ｄ）前記波長プロファイルに応じて、各画素を複数のクラスターに分類する処理と、ｅ）前記複数のクラスターのそれぞれを代表する前記波長プロファイルである代表プロファイルを作成する処理と、ｆ）前記代表プロファイルに基づいて、前記フォーカス位置の適否を判定する処理と、を実行する。
【発明の効果】
【００１７】
本願発明によれば、複数のクラスターの代表プロファイルに基づいて、フォーカス位置の適否を判定する。これにより、フォーカス位置を適切に調整できる。
【図面の簡単な説明】
【００１８】
【図１】画像取得装置の構成を示した図である。
【図２】培養容器の斜視図である。
【図３】フォーカス調整の処理の流れを示したフローチャートである。
【図４】マルチスペクトル撮影の流れを示したフローチャートである。
【図５】複数の撮影画像を概念的に示した図である。
【図６】複数の波長プロファイルの例を示したグラフである。
【図７】代表プロファイルの例を示したグラフである。
【図８】複数の代表プロファイルの例を示したグラフである。
【図９】フォーカス位置の適否判定処理の流れを示したフローチャートである。
【図１０】観察用画像の生成処理の流れを示したフローチャートである。
【図１１】撮影画像の例を示した図である。
【図１２】観察用画像の例を示した図である。
【図１３】図８のグラフに対応する観察用画像を示した図である。
【図１４】複数の代表プロファイルの例を示したグラフである。
【図１５】図１４のグラフに対応する観察用画像を示した図である。
【図１６】複数の代表プロファイルの例を示したグラフである。
【図１７】図１６のグラフに対応する観察用画像を示した図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照しつつ説明する。
【００２０】
＜１．画像取得装置の構成＞
図１は、本発明の一実施形態に係る画像取得装置１の構成を示した図である。本実施形態の画像取得装置１は、培養容器９内に保持された生体試料である細胞９２を撮影して、観察用画像Ｉｏを生成する装置である。図２は、培養容器９の斜視図である。
【００２１】
培養容器９は、複数の窪部９００を有するウェルプレートである。複数の窪部９００は、二次元的に規則的に配列されている。また、各窪部９００は、光を透過可能な底部を有する。培養容器９は、各窪部９００内に、培養液９１を貯留するとともに、観察対象である細胞９２を培養液９１中に保持する。窪部９００の内部において細胞９２を培養すると、細胞９２は、窪部９００の底部に沿って成長する。なお、培養容器９は、ウェルプレート以外の容器であってもよい。例えば、培養容器９として、光を透過可能なシャーレや、プレパラートを用いてもよい。
【００２２】
図１に示すように、画像取得装置１は、ステージ１０と、ステージ移動機構２０と、照明部３０と、撮像光学系４０と、撮像部５０と、コンピュータ６０とを備える。ステージ１０、ステージ移動機構２０、照明部３０、撮像光学系４０、および撮像部５０は、図示を省略したハウジングの内部に配置される。
【００２３】
ステージ１０は、培養容器９を支持する支持台である。ステージ１０の中央には、上下に貫通する開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。培養容器９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各窪部９００の上部および下部は、ステージ１０に覆われることなく露出する。
【００２４】
ステージ移動機構２０は、ステージ１０を上下方向に移動させる機構である。ステージ移動機構２０には、例えば、モータの回転運動をボールネジにより上下方向の直進運動に変換する機構が用いられる。ステージ移動機構２０は、撮像光学系４０のフォーカス位置の付近において、ステージ１０の位置を、上下方向に細かく変化させることができる。これにより、細胞９２に対する撮像光学系４０のフォーカス位置が、相対的に移動する。すなわち、本実施形態では、このステージ移動機構２０が、細胞９２に対する撮像光学系４０のフォーカス位置を移動させるフォーカス移動機構として機能する。
【００２５】
照明部３０は、細胞９２の撮影時に、培養容器９内の細胞９２に対して照明光を照射するための機構である。本実施形態の照明部３０は、ステージ１０の上側に配置される。図１に示すように、照明部３０は、光源３１と、照明光学系３２とを有する。光源３１には、例えば、ハロゲンランプが用いられる。光源３１を点灯させると、光源３１から下方へ向けて、多数の波長の光が混在する白色光が出射される。
【００２６】
照明光学系３２は、光源３１とステージ１０との間に配置される光学系である。図１に示すように、本実施形態の照明光学系３２は、コレクタレンズ３２１、視野絞り３２２、バンドパスフィルタ３２３、開口絞り３２４、およびコンデンサレンズ３２５を有する。光源３１から出射された光は、これらのコレクタレンズ３２１、視野絞り３２２、バンドパスフィルタ３２３、開口絞り３２４、およびコンデンサレンズ３２５を順に通過して、細胞９２へ照射される。
【００２７】
コレクタレンズ３２１は、光源３１から出射された光の向きを調整する。視野絞り３２２は、コレクタレンズ３２１を通過した光の照明領域を調節する。開口絞り３２４は、照明光学系３２の開口数ＮＡを調整する。コンデンサレンズ３２５は、開口絞り３２４を通過した光を、培養容器９へ向けて集光させる。照明光学系３２の開口数ＮＡは、例えば、０．３以下とすることが好ましい。
【００２８】
バンドパスフィルタ３２３は、特定の波長帯域を通過帯域とする光学フィルタである。バンドパスフィルタ３２３は、光源３１から出射された広い波長帯域を有する白色光のうち、狭波長帯域の光（単色光）のみを通過させる。したがって、照明部３０は、バンドパスフィルタ３２３を通過した狭波長帯域の照明光を、開口絞り３２４およびコンデンサレンズ３２５を介して、培養容器９内の細胞９２へ照射する。
【００２９】
本実施形態のバンドパスフィルタ３２３には、コンピュータ６０から入力される電気信号に応じて通過する光の波長帯域を変化させることが可能なフィルタ（例えば、液晶チューナブルフィルタ）が用いられる。したがって、照明部３０は、バンドパスフィルタ３２３を通過する光の波長帯域を変化させることにより、培養容器９内の細胞９２へ照射される照明光の波長帯域を変更することができる。
【００３０】
撮像光学系４０は、ステージ１０と撮像部５０との間に配置される光学系である。撮像光学系４０は、対物レンズ４１、開口絞り４２、結像レンズ４３、ビームスプリッタ４４、および接眼レンズ４５を有する。対物レンズ４１は、培養容器９内の細胞９２の像を拡大する。開口絞り４２は、撮像光学系４０の開口数ＮＡを調整する。結像レンズ４３は、撮像部５０の受光面に、細胞９２の像を結像させる。ビームスプリッタ４４は、結像レンズ４３を通過した光を、撮像部５０側と接眼レンズ４５側とに分岐させる。
【００３１】
照明部３０から照射されて培養容器９を透過した光は、対物レンズ４１、開口絞り４２、および結像レンズ４３を介して下方へ進行する。そして、ビームスプリッタ４４により、接眼レンズ４５側へ向かう光と、撮像部５０側へ向かう光とに分岐される。なお、ビームスプリッタ４４は、接眼レンズ４５側へ向かう光の光量と、撮像部５０側へ向かう光の光量との比率を、変更可能であってもよい。
【００３２】
接眼レンズ４５は、観察者が観察を行う際に覗くレンズである。接眼レンズ４５は、結像レンズ４３による光の結像位置４５０よりも、ビームスプリッタ４４から離れた位置に配置される。観察者は、対物レンズ４１で拡大された像を、接眼レンズ４５でさらに拡大して観察できる。
【００３３】
なお、図１の例では、照明光学系３２および撮像光学系４０を構成する複数の光学部品が、光軸に沿って一直線状に配列されている。しかしながら、照明光学系３２および撮像光学系４０を構成する複数の光学部品は、反射鏡等により屈折する光路に沿って、配置されていてもよい。
【００３４】
撮像部５０は、培養容器９内の細胞９２を、撮像光学系４０を介して撮影する装置である。撮像部５０には、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラが用いられる。撮像部５０は、細胞９２の二次元画像を、規則的に配列された多数の画素により構成されるデジタル画像データとして取得する。画像データの各画素は、多階調の輝度値（画素値）を有する。
【００３５】
この画像取得装置１では、上述の通り、照明部３０が、バンドパスフィルタ３２３を通過した狭波長帯域の照明光を照射する。また、バンドパスフィルタ３２３は、コンピュータ６０からの信号に応じて、通過する光の波長帯域を変化させることができる。このため、バンドパスフィルタ３２３および撮像部５０を制御することにより、同一の細胞９２を、照明光の波長帯域を変更しながら複数回撮影することができる。これにより、同一の視野について、照明光の波長帯域が異なる複数の画像を取得することができる。
【００３６】
なお、本実施形態では、ステージ１０の上側に照明部３０が配置され、ステージ１０の下側に撮像光学系４０および撮像部５０が配置されている。しかしながら、これらの位置関係は、上下に反転していてもよい。すなわち、照明部３０が、ステージ１０の下側から上方へ向けて照明光を照射し、撮像部５０が、ステージ１０の上側から下向きに撮影を行ってもよい。
【００３７】
コンピュータ６０は、画像取得装置１内の各部を動作制御する制御部としての機能と、撮像部５０により取得された撮影画像Ｉ１〜Ｉｎを加工する画像処理部としての機能と、を有する。図１中に概念的に示したように、コンピュータ６０は、ＣＰＵ等のプロセッサ６０１、ＲＡＭ等のメモリ６０２、およびハードディスクドライブ等の記憶部６０３を有する。記憶部６０３には、動作制御プログラムＰ１と画像処理プログラムＰ２とが、記憶されている。また、コンピュータ６０は、上述したステージ移動機構２０、光源３１、バンドパスフィルタ３２３、および撮像部５０と、電気的に接続されている。
【００３８】
コンピュータ６０は、動作制御プログラムＰ１に従って動作することにより、上述したステージ移動機構２０、光源３１、バンドパスフィルタ３２３、および撮像部５０を動作制御する。これにより、画像取得装置１における細胞９２の撮影動作が進行する。また、コンピュータ６０は、複数の撮影画像Ｉ１〜Ｉｎに、画像処理プログラムＰ２に基づく画像処理を行う。これにより、複数の撮影画像Ｉ１〜Ｉｎが、細胞９２の観察に適した１つの観察用画像Ｉｏに変換される。
【００３９】
＜２．フォーカス調整について＞
続いて、上述した画像取得装置１におけるフォーカス調整の処理について、説明する。このフォーカス調整は、後に実行される観察用画像Ｉｏの生成処理において、より観察に適した観察用画像Ｉｏを生成するために、事前処理として実行される。
【００４０】
図３は、フォーカス調整の処理の流れを示したフローチャートである。画像取得装置１においてフォーカス調整を行うときには、まず、細胞９２が保持された培養容器９を、ステージ１０にセットする。そして、コンピュータ６０に、フォーカス調整開始の指示を入力する。すると、コンピュータ６０は、まず、ステージ移動機構２０を動作させて、ステージ１０を、予め指定された高さ位置に配置する。これにより、細胞９２に対する撮像光学系４０のフォーカス位置を、初期位置とする（ステップＳ１１）。
【００４１】
次に、コンピュータ６０は、光源３１を点灯させて、培養容器９内の細胞９２に照明光を照射する。そして、コンピュータ６０は、バンドパスフィルタ３２３と撮像部５０とを制御して、細胞９２のマルチスペクトル撮影（多波長撮影）を行う（ステップＳ１２）。すなわち、バンドパスフィルタ３２３を通過する光の波長帯域を変化させつつ、撮像部５０による細胞９２の撮影を、複数回行う。
【００４２】
図４は、ステップＳ１２のマルチスペクトル撮影の流れを、より詳細に示したフローチャートである。図４に示すように、ステップＳ１２では、撮像部５０による１回の細胞９２の撮影（ステップＳ１２１）を実行した後、撮影すべき次の波長帯域があるか否かが、コンピュータ６０によって判断される（ステップＳ１２２）。撮影すべき波長帯域の数は、例えば、４つ以上とすればよい。撮影すべき次の波長帯域がある場合には（ステップＳ１２２：ｙｅｓ）、バンドパスフィルタ３２３を通過する光の波長帯域を、その波長帯域に切り替えて（ステップＳ１２３）、再び細胞９２の撮影を行う（ステップＳ１２１）。そして、予め設定された全ての波長帯域の撮影画像が取得されるまで、ステップＳ１２１〜Ｓ１２３の処理を繰り返す。やがて、撮影すべき波長帯域が無くなると（ステップＳ１２２：ｎｏ）、画像取得装置１は、細胞９２の撮影を終了する。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像Ｉ１〜Ｉｎ（ｎ：２以上の整数）が得られる。
【００４３】
図５は、ステップＳ１２で取得される複数の撮影画像Ｉ１〜Ｉｎを、概念的に示した図である。複数の撮影画像Ｉ１〜Ｉｎは、それぞれ、複数の画素ｐにより構成される。コンピュータ６０は、まず、複数の撮影画像Ｉ１〜Ｉｎについて、同一の座標に位置する画素ｐ同士（例えば、図５中に示した画素ｐ同士）を比較する。そして、画素ｐが存在する座標（以下、「画素座標Ｃ」と称する）毎に、波長プロファイルＷを作成する（ステップＳ１３）。具体的には、同一の画素座標Ｃに位置する画素ｐ同士を比較して、輝度値の変化を表す波長プロファイルＷを作成する。そして、このような波長プロファイルＷを、全ての画素座標Ｃについて作成する。
【００４４】
その結果、例えば、図６のように、波長帯域の変化に対する輝度値の変化を表す波長プロファイルＷが、画素座標Ｃ毎に得られる。図６の横軸は、撮影時の波長帯域の中心波長を示す。図６の縦軸は、輝度値を示す。なお、図６では、一部の画素座標Ｃの波長プロファイルＷのみを示しているが、実際には、評価すべき画素座標Ｃの数に応じて、このような波長プロファイルＷが多数作成される。
【００４５】
図３に戻る。複数の波長プロファイルＷが得られると、続いて、コンピュータ６０は、各画素座標Ｃを、複数のクラスターに分類する（ステップＳ１４）。ここでは、画素座標Ｃ毎に、ステップＳ１３で得られた波長プロファイルＷを参照する。そして、各画素座標Ｃを、波長プロファイルＷの特徴に応じて、予め用意された複数のクラスターの１つに分類する。このとき、コンピュータ６０は、波長プロファイルＷの特徴が近い画素座標Ｃを、同一のクラスターに分類する。例えば、波長プロファイルＷの傾き、変曲点の数、変曲点の位置、輝度値の平均値、輝度値の最大値、輝度値の最小値等の複数の要素を考慮して、画素座標Ｃを、複数のクラスターに分類する。
【００４６】
また、ステップＳ１４のクラスターの分類には、ｋ−ｍｅａｎｓ法を用いてもよい。ｋ−ｍｅａｎｓ法を用いる場合には、まず、複数の画素座標Ｃを、予め決められた数のクラスターに、ランダムまたは所定の法則に従って分類する。次に、各クラスターに属する波長プロファイルＷの中心を求める。その後、複数の画素座標Ｃを、波長プロファイルＷの中心が最も近いクラスターに分類し直す。コンピュータ６０は、このような処理を、各画素座標Ｃの分類結果が変動しなくなるまで、あるいは、所定の停止条件を満たすまで繰り返す。このようなｋ−ｍｅａｎｓ法を用いれば、各画素座標Ｃを、波長プロファイルＷに応じて、複数のクラスターに適切かつ自動的に分類できる。
【００４７】
続いて、コンピュータ６０は、複数のクラスターのそれぞれを代表する波長プロファイルである代表プロファイルＷｒを算出する（ステップＳ１５）。図７は、代表プロファイルＷｒの例を示したグラフである。図７では、１つのクラスターに属する複数の画素座標Ｃの波長プロファイルＷが、破線で示されている。コンピュータ６０は、これらの波長プロファイルＷの、各波長における輝度値の平均値を結ぶことによって、代表プロファイルＷｒを作成する。すなわち、代表プロファイルＷｒは、クラスターに属する複数の画素座標Ｃの波長プロファイルＷの輝度値の平均値のプロファイルとなる。
【００４８】
図８は、ステップＳ１５により作成される複数の代表プロファイルＷｒの例を示したグラフである。図８の例では、１６個のクラスターのそれぞれについて、代表プロファイルＷｒが作成されている。
【００４９】
その後、コンピュータ６０は、複数の代表プロファイルＷｒに基づいて、フォーカス位置の適否を判定する（ステップＳ１６）。ここでは、コンピュータ６０は、複数の代表プロファイルＷｒの特徴量を比較することによって、細胞９２に対する撮像光学系４０の現在のフォーカス位置が、適切であるか、それとも不適切であるかを、判定する。
【００５０】
図９は、ステップＳ１６の判定処理の一例を示したフローチャートである。図９の例では、まず、コンピュータ６０は、複数の代表プロファイルＷｒのうち、全体的に輝度値が近似する２つ以上の代表プロファイルＷｒを特定する。そして、特定された２つ以上の代表プロファイルＷｒのうちの一部の代表プロファイルＷｒを、評価対象から除外する（ステップＳ１６１）。例えば、図８中の破線Ｂに囲まれた複数の代表プロファイルＷｒは、全ての波長帯域において、輝度値が近似している。これらの代表プロファイルＷｒのクラスターは、培養容器９内の培養液９１の部分に対応するものである。このように、観察対象ではない部分について、互いに近接した多数の代表プロファイルＷｒが存在すると、後述のステップＳ１６２〜Ｓ１６６の処理において、ノイズが発生しやすくなる。そこで、ステップＳ１６１では、これらの互いに近接した複数の代表プロファイルＷｒを間引いて、評価対象となる代表プロファイルＷｒの数を減らす。例えば、互いに近接する複数の代表プロファイルＷｒのうち、１つだけを残して、他の代表プロファイルＷｒを除外するとよい。
【００５１】
次に、コンピュータ６０は、複数の代表プロファイルＷｒを、いくつかの特徴量について順位付けする（ステップＳ１６２）。具体的には、コンピュータ６０は、各代表プロファイルＷｒについて、輝度値の平均値、最小波長における輝度値、および最大波長における輝度値を算出する。そして、コンピュータ６０は、複数の代表プロファイルＷｒの輝度値の平均値の順序と、最小波長における輝度値の順序と、最大波長における輝度値の順序と、をそれぞれ決定する。
【００５２】
その後、コンピュータ６０は、上述した輝度値の平均値の順序と、最小波長の輝度値の順序と、最大波長の輝度値の順序と、を互いに比較する（ステップＳ１６３）。そして、最小波長の輝度値の順序および最大波長の輝度値の順序のいずれかまたは両方が、輝度値の平均値の順序と所定数以上異なる場合（ステップＳ１６３：ｎｏ）、コンピュータ６０は、現在のフォーカス位置が不適切であると判定する（ステップＳ１６６）。
【００５３】
一方、輝度値の平均値の順序に対する、最小波長の輝度値の順序および最大波長の輝度値の順序の相違点の数が、所定数未満である場合（ステップＳ１６３：ｙｅｓ）、コンピュータ６０は、次に、クラスターごとに、代表プロファイルＷｒの輝度値の最大値と最小値との差を算出する（ステップＳ１６４）。そして、全てのクラスターについて、最大値と最小値との差が、所定の閾値よりも小さい場合（ステップＳ１６４：ｎｏ）、コンピュータ６０は、所望のコントラストが得られていないものとして、現在のフォーカス位置が不適切であると判定する（ステップＳ１６６）。
【００５４】
一方、少なくとも１つのクラスターについて、最大値と最小値との差が、所定の閾値以上である場合（ステップＳ１６４：ｙｅｓ）、コンピュータ６０は、現在のフォーカス位置が適切であると判定して（ステップＳ１６５）、フォーカス調整の処理を終了する。
【００５５】
ステップＳ１６６において、現在のフォーカス位置が不適切と判定された場合、コンピュータ６０は、ステップＳ１１に戻り、ステージ移動機構２０を動作させて、ステージ１０を、他の高さ位置に配置する。これにより、細胞９２に対する撮像光学系４０のフォーカス位置を、他の位置に変更する（ステップＳ１１）。その後、コンピュータ６０は、上述したステップＳ１２〜Ｓ１６の処理を再び実行する。このように、画像取得装置１は、フォーカス位置が適切と判定されるまで、フォーカス調整の処理を繰り返す。
【００５６】
＜３．観察用画像の生成について＞
上述したフォーカス調整が完了すると、画像取得装置１は、細胞９２の観察用画像Ｉｏを生成する。図１０は、観察用画像Ｉｏの生成処理の流れを示したフローチャートである。
【００５７】
観察用画像Ｉｏを取得するときには、コンピュータ６０は、まず、最終的に適切と判定されたフォーカス位置における複数のクラスターの分類結果を、メモリ６０２から読み出す（ステップＳ２１）。この複数のクラスターの分類結果は、上述のステップＳ１４において取得されて、メモリ６０２に保存されていた分類結果である。ただし、最終的に適切と判定されたフォーカス位置において、上述したステップＳ１２〜Ｓ１４と同等の処理を再度実行して、複数のクラスターの分類結果を再取得してもよい。
【００５８】
次に、コンピュータ６０は、複数のクラスターの分類結果に基づいて、観察用画像Ｉｏを生成する（ステップＳ２２）。ここでは、観察用画像Ｉｏの各画素に（すなわち各画素座標Ｃに）、分類されたクラスターに対応する階調値を割り当てる。コンピュータ６０は、異なるクラスターには、異なる階調値を割り当てる。これにより、細胞９２の観察に適した観察用画像Ｉｏが得られる。
【００５９】
図１１は、ステップＳ１２において取得される撮影画像Ｉ１〜Ｉｎの例を示した図である。図１２は、ステップＳ２２において生成される観察用画像Ｉｏの例を示した図である。図１１と図１２とを比較すると、図１１の撮影画像よりも、図１２の観察用画像Ｉｏの方が、細胞９２の位置や形を明瞭に把握できる。すなわち、上述した波長プロファイルＷに基づくクラスター分けによって、撮影画像Ｉ１〜Ｉｎよりも細胞９２の観察に適した観察用画像Ｉｏが生成されていることが分かる。
【００６０】
なお、上述した階調値には、例えば、クラスターに属する複数の画素座標Ｃの波長プロファイルＷから算出される輝度値を用いるとよい。具体的には、クラスターに属する複数の画素座標Ｃの波長プロファイルＷの、所定の波長帯域における輝度値の平均値を、そのクラスターに対応する階調値とすればよい。上述した「所定の波長帯域」は、マルチスペクトル撮影に用いた全波長帯域であってもよいし、一部の波長帯域であってもよい。
【００６１】
このように、観察用画像Ｉｏの各画素の階調値は、撮影画像Ｉ１〜Ｉｎがもつ輝度値を使って算出されることが好ましい。これにより、撮影画像Ｉ１〜Ｉｎの輝度値分布を反映した、より自然な観察用画像Ｉｏを得ることができる。
【００６２】
上述した図８の代表プロファイルＷｒのグラフは、ステップＳ１６の判定処理において、フォーカス位置が適切と判定され得る状態のグラフである。図１３は、その図８のグラフに対応する観察用画像Ｉｏを示した図である。図１３の観察用画像Ｉｏは、細胞９２に対する撮像光学系４０のフォーカス位置が適切であるため、細胞９２の観察に適した明瞭な画像となっている。
【００６３】
図１４は、ステップＳ１６の判定処理において、フォーカス位置が不適切と判定され得る複数の代表プロファイルＷｒの例を示したグラフである。図１５は、図１４のグラフに対応する観察用画像Ｉｏを示した図である。図１４の例では、複数の代表プロファイルＷｒが、多くの箇所で互いに交差している。このような場合は、上述したステップＳ１６３で「ｎｏ」と判断される。したがって、コンピュータ６０は、フォーカス位置が不適切であると判定する。
【００６４】
図１６は、ステップＳ１６の判定処理において、フォーカス位置が不適切と判定され得る複数の代表プロファイルＷｒの他の例を示したグラフである。図１７は、図１６のグラフに対応する観察用画像Ｉｏを示した図である。図１６の例では、フォーカス位置が大きくずれているため、全てのクラスターにおいて、代表プロファイルＷｒの最大値と最小値との差が小さくなっている。このような場合は、上述したステップＳ１６４で「ｎｏ」と判断される。したがって、コンピュータ６０は、フォーカス位置が不適切であると判定する。
【００６５】
以上のように、この画像取得装置１では、複数のクラスターの代表プロファイルＷｒに基づいて、細胞９２に対する撮像光学系４０のフォーカス位置の適否を判定する。これにより、フォーカス位置を適切に調整できる。また、上記の判定処理は、コンピュータ６０が自動的に行うことができるため、観察者の作業負担を軽減できる。そして、画像取得装置１は、最終的に適切と判定されたフォーカス位置において取得された撮影画像Ｉ１〜Ｉｎから得られる波長プロファイルＷに基づいて、観察用画像Ｉｏを生成する。これにより、細胞９２の観察に適した観察用画像Ｉｏを取得することができる。
【００６６】
＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
＜４−１．第１変形例＞
上記の実施形態では、ステップＳ１６５においてフォーカス位置が適切と判定された場合、直ちにフォーカス位置の調整を終了していた。しかしながら、フォーカス位置が適切と判定された場合も、ステップＳ１１に戻ってフォーカス位置を他の位置に変更し、ステップＳ１２〜Ｓ１６の処理をさらに実行してもよい。そして、予め決められた全てのフォーカス位置を試して、各フォーカス位置の適切さの度合いを数値化し、その数値が最も高いフォーカス位置を採用することにしてもよい。
【００６７】
＜４−２．第２変形例＞
上記の実施形態では、ステップＳ１６において適切と判定されたフォーカス位置における波長プロファイルＷに基づいて、観察用画像Ｉｏを生成していた。すなわち、ステップＳ１６において適切と判定されたフォーカス位置そのものを、観察用のフォーカス位置としていた。しかしながら、観察用途と、例えば画像解析のような他の用途とでは、最適なフォーカス位置が異なる場合がある。
【００６８】
この場合、ステップＳ１６において適切と判定されたフォーカス位置から撮像部５０側または照明部３０側へ所定量だけずらした位置を、特定の用途向けのフォーカス位置としてもよい。フォーカス位置を撮像部５０側へずらすと、撮影画像Ｉ１〜Ｉｎにおいて、細胞９２の内部が外部よりも明るくなる。フォーカス位置を照明部３０側へずらすと、撮影画像Ｉ１〜Ｉｎにおいて、細胞９２の内部が外部よりも暗くなる。このため、細胞９２がより視認しやすくなる場合がある。
【００６９】
すなわち、画像取得装置１は、上述したステップＳ１６の後、細胞９２に対する撮像光学系４０のフォーカス位置を、適切と判定されたフォーカス位置から所定量だけずらしてもよい。そして、変更後のフォーカス位置において、ステップＳ１２〜Ｓ１４の処理を再度実行し、再度取得された複数のクラスターの分類結果に基づいて、観察用画像Ｉｏを生成してもよい。なお、フォーカスの変更量は、細胞９２の種類毎に予め設定しておいてもよいし、観察しながら調整してもよい。
【００７０】
＜４−３．第３変形例＞
上記の実施形態におけるステップＳ１６の判定処理のフロー（図９のフロー）は、あくまで一例である。コンピュータ６０は、他の判定基準により、フォーカス位置の適否を判定してもよい。例えば、上記の実施形態のステップＳ１６３では、（１）複数の代表プロファイルＷｒの輝度値の平均値の順序と、（２）複数の代表プロファイルＷｒの最小波長における輝度値の順序と、（３）複数の代表プロファイルＷｒの最大波長における輝度値の順序と、を全て使用して、フォーカス位置の適否を判定していた。しかしながら、これらの（１）〜（３）のいずれか２つの比較結果のみに基づいて、フォーカス位置の適否を判定してもよい。
【００７１】
また、上記（１）では、代表プロファイルＷｒの全波長の輝度値の平均値に着目していたが、これに代えて、代表プロファイルＷｒの一部の複数波長の輝度値の平均値に着目してもよい。また、上記（２），（３）では、代表プロファイルＷｒの最小波長または最大波長における輝度値に着目していたが、これに代えて、代表プロファイルＷｒの他の単一波長における輝度値に着目してもよい。すなわち、コンピュータ６０は、（ｉ）複数の代表プロファイルＷｒの第１の単一波長における輝度値の順序と、（ii）複数の代表プロファイルＷｒの第１の単一波長とは異なる第２の単一波長における輝度値の順序と、（iii）複数の代表プロファイルの第１の複数波長における輝度値の平均値の順序と、（iv）複数の代表プロファイルの第１の複数波長とは異なる第２の複数波長における輝度値の平均値の順序と、のうちのいずれか２つ以上の比較結果に基づいて、前記フォーカス位置の適否を判定してもよい。
【００７２】
＜４−４．第４変形例＞  
また、上記の実施形態のステップＳ１６では、図９のように、予め固定的に設定された条件に基づいて、フォーカス位置の適否を判定していた。しかしながら、フォーカス位置の適否の判定は、機械学習または深層学習により生成された学習モデルに基づいて行ってもよい。機械学習または深層学習には、ニューラルネットワーク等の公知の学習モデルを用いることができる。例えば、最適なフォーカス位置が既知のサンプルを多数入力し、コンピュータ６０によるフォーカス位置の適否の判定結果が、既知の結果に近づくように、学習モデルのパラメータ調整を、予め実行すればよい。
【００７３】
＜４−５．第５変形例＞
また、上記の実施形態では、１つのクラスターに属する複数の画素座標Ｃの波長プロファイルＷの輝度値の平均値のプロファイルを、代表プロファイルＷｒとしていた。しかしながら、代表プロファイルＷｒは、１つのクラスターに属する複数の画素座標Ｃの波長プロファイルＷから、他の計算方法により算出されるものであってもよい。
【００７４】
＜４−６．第６変形例＞
また、上記の実施形態では、培養容器９を支持するステージ１０を移動させることによって、細胞９２に対する撮像光学系４０のフォーカス位置を変更していた。すなわち、上記の実施形態では、ステージ１０を移動させるステージ移動機構２０が、フォーカス移動機構として機能していた。しかしながら、ステージ１０の位置を固定し、撮像光学系４０の光学部品を駆動させることによって、細胞９２に対する撮像光学系４０フォーカス位置を変更してもよい。すなわち、フォーカス移動機構は、撮像光学系４０に含まれる光学部品を駆動させる機構であってもよい。
【００７５】
＜４−７．他の変形例＞
照明光学系３２および撮像光学系４０の構成は、上記の実施形態と異なっていてもよい。例えば、照明光学系３２および撮像光学系４０が、他の要素を有していてもよいし、上記の実施形態に含まれる要素の一部が省略されていてもよい。また、バンドパスフィルタ３２３の位置は、上記の実施形態と異なっていてもよい。
【００７６】
上記の実施形態では、照明光学系３２にバンドパスフィルタ３２３が設けられていた。しかしながら、バンドパスフィルタ３２３は、撮像光学系４０に設けられていてもよい。その場合、細胞９２には、照明光として白色光が照射されるが、撮像光学系４０のバンドパスフィルタ３２３によって、撮像部５０に到達する光の波長帯域を変更することができる。したがって、撮像部５０において、複数の波長帯域における撮影画像Ｉ１〜Ｉｎを取得することができる。
【００７７】
また、上記の実施形態では、光源３１としてハロゲンランプを用い、バンドパスフィルタ３２３によって、照明光の波長帯域を変化させていた。しかしながら、光源３１として、波長変調が可能なレーザ発振器またはＬＥＤを用いてもよい。そうすれば、光源３１からの出射光自体の波長帯域を変化させることができるため、バンドパスフィルタ３２３を省略することができる。
【００７８】
また、上記の実施形態の画像取得装置１は、観察者が直接観察を行うための接眼レンズ４５を有していた。しかしながら、接眼レンズ４５は省略されていてもよい。
【００７９】
また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
【符号の説明】
【００８０】
１  画像取得装置
９  培養容器
１０  ステージ
２０  ステージ移動機構
３０  照明部
３１  光源
３２  照明光学系
４０  撮像光学系
４１  対物レンズ
４２  開口絞り
４３  結像レンズ
４４  ビームスプリッタ
４５  接眼レンズ
５０  撮像部
６０  コンピュータ
９１  培養液
９２  細胞
３２１  コレクタレンズ
３２２  視野絞り
３２３  バンドパスフィルタ
３２４  開口絞り
３２５  コンデンサレンズ
Ｃ  画素座標
Ｉ１〜Ｉｎ  撮影画像
Ｉｏ  観察用画像
Ｐ１  動作制御プログラム
Ｐ２  画像処理プログラム
Ｗ  波長プロファイル
Ｗｒ  代表プロファイル
【図１】
2020148856.tif 000003
【図２】
2020148856.tif 000004
【図３】
2020148856.tif 000005
【図４】
2020148856.tif 000006
【図５】
2020148856.tif 000007
【図６】
2020148856.tif 000008
【図７】
2020148856.tif 000009
【図８】
2020148856.tif 000010
【図９】
2020148856.tif 000011
【図１０】
2020148856.tif 000012
【図１１】
2020148856.tif 000013
【図１２】
2020148856.tif 000014
【図１３】
2020148856.tif 000015
【図１４】
2020148856.tif 000016
【図１５】
2020148856.tif 000017
【図１６】
2020148856.tif 000018
【図１７】
2020148856.tif 000019