(57)【要約】【課題】細胞の画像の取得において、死滅した細胞に焦点を合わせてしまうことなく、活性の高い細胞に正確に焦点位置を設定する。【解決手段】細胞から発せられる蛍光を撮像して細胞画像を取得する顕微鏡１に用いられる自動合焦装置８であって、取得された細胞画像の輝度分布に基づいて、生存細胞の存在領域を示す輝度範囲を設定する設定手段５と、該設定手段５により設定された輝度範囲内における細胞の核の画像の輝度に基づいて焦点位置を検出する合焦検出手段５とを備える自動合焦装置８を提供する。【選択図】      図１
2008046305.tif 000002
【特許請求の範囲】
【請求項１】
細胞から発せられる蛍光を撮像して細胞画像を取得する顕微鏡に用いられる自動合焦装置であって、
取得された細胞画像の輝度分布に基づいて、生存細胞の存在領域を示す輝度範囲を設定する設定手段と、
該設定手段により設定された前記輝度範囲内における細胞の核の画像の輝度に基づいて焦点位置を検出する合焦検出手段とを備える自動合焦装置。
【請求項２】
前記設定手段が、
細胞画像全体の平均輝度を算出する平均輝度算出手段を備え、
該平均輝度算出手段により算出された平均輝度より高輝度側の所定範囲を細胞画像の生存領域を示す輝度範囲として設定する請求項１に記載の自動合焦装置。
【請求項３】
前記設定手段が、前記核の画像の輝度より高輝度側の輝度分布における極小点を生存細胞の存在領域の上限輝度として設定する請求項２に記載の自動合焦装置。
【請求項４】
前記設定手段が、前記核の画像の輝度と前記細胞画像全体の平均輝度との間の極小点を生存細胞の存在領域の下限輝度として設定する請求項２に記載の自動合焦装置。
【請求項５】
前記合焦検出手段は、画像のコントラスト値が最大となる位置を焦点位置として検出する請求項１に記載の自動合焦装置。
【請求項６】
前記合焦検出手段は、細胞の核内の核小体で検出される輝度の極大値とその数に基づいて焦点位置を検出する請求項１に記載の自動合焦装置。
【請求項７】
請求項１に記載の自動合焦装置を備える顕微鏡。
【請求項８】
細胞から発せられる蛍光を撮像する際に用いられる自動合焦方法であって、
取得された細胞画像の輝度分布に基づいて、細胞画像全体の平均輝度を求めるステップと、
前記核の画像の輝度より高輝度側の輝度分布における極小点を求めるステップと、
前記平均輝度と極小点との間の輝度領域内において、画像のコントラスト値が最大となる位置を焦点位置として検出するステップとを備える自動合焦方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、観察試料と対物レンズとの間の相対距離を調節して焦点を合わせる自動合焦装置、顕微鏡および自動合焦方法に関するものである。
【背景技術】
【０００２】
従来、細胞を使ったスクリーニングや基礎研究において、細胞の顕微鏡画像を自動で撮像する装置が知られている（例えば、特許文献１参照。）。
特許文献１における細胞画像の自動焦点合わせは、顕微鏡の対物レンズとサンプルとの距離を電動照準機構により適当な距離だけ複数回変化させ、各位置での画像の質を比較して、例えば、画像のコントラストが最も高いものを選択する、というコントラスト方式でのオートフォーカス処理によって行われている。
【０００３】
上記装置においては、コントラスト方式として、ハイパスフィルタにより、画像の高周波数領域を探し、この高周波数領域でコントラストが最も大きい位置を焦点位置と定める方法がとられている。
【特許文献１】特開２００６−５８６４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置では細胞画像に特有な現象、例えば、死滅細胞の輝度の影響による合焦検出ミス等についての考慮がされていない。
すなわち、細胞の蛍光画像は、他の画像と比べて異なる特徴を有している。例えば、細胞の核を染色した画像では、細胞が死滅することにより、非常に高い輝度をもつ細胞が存在する。つまり、死滅後あるいは死滅過程の細胞は小さく丸まるため、蛍光が集中し、一般に非常に高輝度なものとして観察される。単なるコントラスト法ではこれらの高輝度部分に焦点が合い易いという不都合がある。
【０００５】
一方、生物学的に意味のある情報は、活性の高い細胞（死滅していない細胞）に多く含まれることが多い。また、細胞の画像において、特に核は細胞質との境界が明確ではないものも多く、ハイパスフィルタにより設定した境界が必ずしも正しく細胞の境界と対応しているわけではない。
【０００６】
さらに培養した細胞の画像を取得する場合、細胞が３次元的に縦に積み重なった状態のものもしばしば見られる。
この場合、焦点は、細胞がもっとも多く存在している位置に決定されることが望ましい。
【０００７】
本発明は上述した事情に鑑みてなされたものであって、細胞の画像の取得において、死滅した細胞に焦点を合わせてしまうことなく、活性の高い細胞に正確に焦点位置を設定することができる自動合焦装置、顕微鏡および自動合焦方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、細胞から発せられる蛍光を撮像して細胞画像を取得する顕微鏡に用いられる自動合焦装置であって、取得された細胞画像の輝度分布に基づいて、生存細胞の存在領域を示す輝度範囲を設定する設定手段と、該設定手段により設定された前記輝度範囲内における細胞の核の画像の輝度に基づいて焦点位置を検出する合焦検出手段とを備える自動合焦装置を提供する。
【０００９】
上記発明においては、前記設定手段が、細胞画像全体の平均輝度を算出する平均輝度算出手段を備え、該平均輝度算出手段により算出された平均輝度より高輝度側の所定範囲を細胞画像の生存領域を示す輝度範囲として設定することとしてもよい。
【００１０】
また、上記発明においては、前記設定手段が、前記核の画像の輝度より高輝度側の輝度分布における極小点を生存細胞の存在領域の上限輝度として設定することとしてもよい。
また、上記発明においては、前記設定手段が、前記核の画像の輝度と前記細胞画像全体の平均輝度との間の極小点を生存細胞の存在領域の下限輝度として設定することとしてもよい。
【００１１】
また、上記発明においては、前記合焦検出手段は、画像のコントラスト値が最大となる位置を焦点位置として検出することとしてもよい。
また、上記発明においては、前記合焦検出手段は、細胞の核内の核小体で検出される輝度の極大値とその数に基づいて焦点位置を検出することとしてもよい。
【００１２】
また、本発明は、上記自動合焦装置を備える顕微鏡を提供する。
また、本発明は、細胞から発せられる蛍光を撮像する際に用いられる自動合焦方法であって、取得された細胞画像の輝度分布に基づいて、細胞画像全体の平均輝度を求めるステップと、前記核の画像の輝度より高輝度側の輝度分布における極小点を求めるステップと、前記平均輝度と極小点との間の輝度領域内において、画像のコントラスト値が最大となる位置を焦点位置として検出するステップとを備える自動合焦方法を提供する。
【発明の効果】
【００１３】
本発明によれば、細胞の画像の取得において、死滅した細胞に焦点を合わせてしまうことなく、活性の高い細胞に正確に焦点位置を設定することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
本発明の一実施形態に係る合焦装置およびこれを備える顕微鏡１について、図１〜図６を参照して、以下に説明する。
本実施形態に係る顕微鏡１は、図１に示されるように、細胞試料Ｓ等を載置して水平２軸方向に移動させるステージ２と、細胞試料Ｓからの蛍光を集光する対物レンズ３と、該対物レンズ３により集光された蛍光を撮像するＣＣＤカメラ等の撮像装置４と、これらの機器を制御する制御装置５と、撮像装置４により取得された画像を表示する表示装置６とを備えている。図中、符号７は、対物レンズ３により細胞試料Ｓをそのまま、あるいは集光された細胞試料Ｓからの蛍光を目視観察するための接眼光学系である。
【００１５】
細胞試料Ｓ等はスライドガラスやマルチプレート上に載置されるようになっている。
本実施形態に係る自動合焦装置８は、光軸方向に位置調整可能な前記対物レンズ３、前記撮像装置４および前記制御装置５により構成されている。すなわち、撮像装置４により取得された細胞試料Ｓの画像を制御装置５により処理することによって、細胞の核（以下、細胞核という。）の画像を特定し、該細胞核に焦点が合致するように対物レンズ３を移動させるようになっている。
【００１６】
細胞質を蛍光染色した画像などは、細胞の形態が様々であり、特に、培養状態の細胞の形態は、細胞同士の接着や、培養容器底面との付着などにより、複雑な形態をとる。
これに対して、細胞核は円や楕円などの比較的単純な形態をとりやすい。細胞核は、比較的容易に染色し易く、また、細胞核を特異的に染める蛍光物質も多く存在しているため、一般的にもよく観察されている。
【００１７】
また、細胞核の活性や、セルサイクルと癌との関連など、細胞核自体を対象とした生物学的な研究も多く行われている。さらに、細胞核内には、様々な器官、機構が存在し、これらの蛍光量の違いを認識することは比較的容易である。よって、これらを検出し解析に用いることで、もっとも適切な焦点位置を探ることができる。
【００１８】
本実施形態においては、自動合焦装置８を構成する制御装置５は、図２に示されるように、撮像装置４により取得された細胞試料Ｓの画像を処理して、生存細胞の存在領域を示す輝度範囲を設定するステップＳ１と、設定された輝度範囲内における細胞核の画像の輝度に基づいて焦点位置を検出するステップＳ２とを行うようになっている。
【００１９】
具体的には、制御装置５は、ステップＳ１において、撮像装置４により取得された細胞試料Ｓの画像Ｇから、死滅した細胞ＰやゴミＱなどの非常に高輝度の部分を除き、生存細胞Ｒの存在領域を示す比較的広いレンジの輝度範囲を特定する。
細胞試料Ｓの画像は、図３〜図５に示されるように、死滅した細胞Ｐなどの非常に高輝度な像を含んでいる。また、細胞核Ｒ０の明るさは、細胞核Ｒ０内の染色体の量、すなわちセルサイクルと関係していると考えられており、細胞の活動の状態により、細胞核Ｒ０の蛍光量は幅広い範囲の値をとる。
【００２０】
通常の観察対象として選ばれる細胞は、死滅していない活性の高い生存細胞Ｒであるが、染色体が少ない活性の低い状態の生存細胞Ｒも比較対照として、観察対象に設定されることが多い。つまり、生細胞Ｒの細胞核Ｒ０を観察するには、死滅した細胞Ｐなどの非常に高輝度の部分を除き、広いレンジで生存細胞Ｒと思われる部分を特定して、これらに焦点を合わせる必要がある。
そこで、図３（ｂ）に示されるように、画像Ｇ中で、意味のある生存細胞Ｒが最も多く含まれると予想される輝度の値を細胞核Ｒ０の画像の輝度により決定する。
【００２１】
具体的には、以下の通りである。
すなわち、実際の細胞画像Ｇにおいては、生存細胞Ｒに対応する輝度範囲は輝度全体の平均値Ｌ１より高い位置にある。例えば、図３（ａ），（ｂ）に示すように、密集した細胞の画像Ｇ中においても、細胞核Ｒ０の割合は比較的小さく、通常、全体の半分以下に収まる程度である。
画像Ｇは、一般に、細胞の存在しないバックグラウンドＴと、生存細胞Ｒと、死滅細胞Ｐと、細胞以外の気泡やゴミＱなどのノイズ部分とに分けられる。
【００２２】
さらに生存細胞Ｒにおいて、細胞核Ｒ０の画像は、細胞質を含む細胞全体の中で小さい領域を占めているので、図３（ｂ）に示すように、細胞核Ｒ０の画像中で細胞に対応している領域は画像Ｇ全体の半分程度かそれ以下の面積を占めているに過ぎない。つまり画像Ｇ全体で見た場合、輝度値がほぼゼロであるバックグラウンドＴの領域が多いため、図４に示すように、一般に細胞核Ｒ０の画像中で、生存細胞Ｒの領域の平均輝度は画面全体の平均輝度値Ｌ１よりも高い輝度となっている。
また、実際の細胞の輝度とその分布は、例えば、図４および図５に示される。
【００２３】
そこで、制御装置５は、まず、撮像装置４により取得された細胞画像Ｓ全体の輝度の平均値Ｌ１を求める（ステップＳ１１）。生存細胞Ｒを含む輝度領域は、この画像Ｇ全体の平均輝度値Ｌ１より高輝度側での輝度分布におけるピークＡ（暗い細胞の輝度）もしくはピークＢ（明るい細胞の輝度）として判断される。
したがって、全体の平均輝度値Ｌ１より高輝度側を選択することにより、おおよその細胞分布領域が特定できることになる。
【００２４】
次いで、制御装置５は、画像Ｇ全体の平均輝度値Ｌ１より高輝度側での輝度分布における上記ピークＡまたはピークＢを取得する（ステップＳ１２）。
そして、制御装置５は、上記ピークＡもしくはピークＢの近傍における高輝度側での輝度分布における極小値Ｌ２を求める（ステップＳ１３）。
【００２５】
上述したように死滅細胞Ｐは生細胞Ｒよりも高輝度の画素として現れ、また、微小なゴミＱなどのノイズ要因も、細胞画像Ｓ中では一般に高い輝度をとる。また、死滅細胞ＰやゴミＱの輝度分布（図４におけるピークＣ）と通常のセルサイクルにある生存細胞Ｒの輝度分布（図７におけるピークＡ，Ｂ、図８における暗い細胞、明るい細胞）とは連続した輝度値をとらず、死滅細胞ＰやゴミＱは、高輝度側で生存細胞Ｒの輝度ピークＡ，Ｂとは不連続なピークＣとなって現れる。
【００２６】
したがって、制御装置５は、上記死滅細胞ＰやゴミＱ等を除外するため、これらにより生じていると推測される高輝度側での不連続なピークＣを除外する。具体的には、撮像に必要な輝度範囲として、細胞核Ｒ０の画像の輝度分布としての上記ピークＡ，Ｂを基準として所定の範囲、すなわち、上記全画像Ｇの平均輝度値Ｌ１から上記極小値Ｌ２まで（図４における「必要輝度範囲（１）」）を生存細胞Ｒの輝度範囲として決定する（ステップＳ１４）。
【００２７】
なお、低輝度側は上記全画面平均輝度値Ｌ１から高輝度側に向かった際の初めの極小値Ｌ３を求め、この極小値Ｌ３から前記極小値Ｌ２間を生存細胞Ｒの輝度範囲として設定しても良い。（図４における「必要輝度範囲（２）」）
つまり、複数のピークをもつ輝度分布に対して、平均輝度値Ｌ１より高輝度側でのピーク輝度値とその周辺を生存細胞Ｒが存在している細胞核Ｒ０の輝度範囲として設定する。
【００２８】
言い換えると、制御装置５は、輝度範囲を、下限として全画像の輝度平均値Ｌ１もしくは最初の極小値Ｌ３、上限として上記ピークＡもしくはピークＢより高輝度側での極小値Ｌ２と設定する。ここにいう高輝度側での極小値Ｌ２とは前述したように、不連続に高輝度なもの（すなわち、輝度分布のピークＡ，Ｂから高輝度側に不連続に存在するピークＣ）を除くための値である。
この上限の設定により、死滅細胞ＰやゴミＱ等のノイズ部分が除かれ、また、下限の設定により、細胞核Ｒ０内の明るさが輝度の注目点として設定される。
【００２９】
次いで、制御装置５は、上記の方法で決定された細胞分布領域における輝度範囲内の各画素に対して、画像Ｇにおけるコントラスト値が最大になる対物レンズ３と細胞試料Ｓとの相対位置を算出し（ステップＳ２１）、その位置を焦点位置として決定する（ステップＳ２２）。
【００３０】
この最大値を求めるに際しては、輝度の平均値・輝度勾配の平均値等を用いることができる。
具体的には、輝度の平均値としては、例えば、上記輝度範囲内の平均輝度値とバックグラウンド平均輝度値との比率をとる。
また、輝度勾配としては、例えば、図６に示すように、輝度範囲内の所望の各画素（例えば、アドレス（ｘ，ｙ））とその近傍の画素（例えばアドレス（ｘ＋１，ｙ）、（ｘ、ｙ＋１）、あるいは直近の隣接ではなく所定の間隔をあけたアドレス（ｘ＋２，ｙ＋１））との輝度の差をとる。これらをコントラスト値として用いて、この値が最大となる点を合焦位置とする。
【００３１】
輝度の注目点は、例えば、式を使って次のように説明される。
例えば、輝度の平均値が最大になる位置を合焦位置として決定する場合を考える。このとき、画像中の輝度の分布確率をＰ（Ｉ）とする。Ｉは輝度値である。例えば、輝度値Ｉ＝７５６の値をとる画像上の画素数が１００で、画像全体の画素数が１０００である場合には、分布確率Ｐ（７５６）＝０．１となる。
【００３２】
これにより、輝度の平均値Ｉａｖ＝Σ（Ｉ×Ｐ（Ｉ））のように計算される。
平均値Ｉａｖに寄与する各輝度値Ｉの重みは、分布確率Ｐ（Ｉ）であるから、注目する輝度値Ｉにおいて合焦位置を決定するには、この輝度値Ｉの領域で、分布確率Ｐ（Ｉ）を大きくするようにすればよい。
【００３３】
このため、輝度値Ｉの範囲を上述のように設定することで、注目する輝度値Ｉの位置を合焦位置として決定することができる。
すなわち、大きな輝度値Ｉに対しては、Ｐ（Ｉ）が小さい場合でもＩ×Ｐ（Ｉ）が大きくなるので、これらはできるだけ除かなくてはならない。特に、図４のように、輝度分布が不連続で、大きい輝度値Ｉ（ここでは、死滅細胞ＰやゴミＱなど）の輝度の分布確率Ｐ（Ｉ）が大きい場合には、死滅細胞ＰやゴミＱなどの全体の平均に占めるＩ×Ｐ（Ｉ）が特に大きくなる。
【００３４】
また、平均だけでなく、例えば、輝度勾配、隣の点との輝度差などで定義される値に対しても、同様に、輝度値Ｉが大きい場合、勾配自体も大きくなるので、いずれの場合にしても、ゴミＱなど不連続な分布があるなら、それらを除く上限を設定する必要がある。
また下限を設定することで、画素の総数が少なくなるため、Ｐ（Ｉ）をより強調することができ、注目する輝度範囲のＩ×Ｐ（Ｉ）を大きくすることができる。
【００３５】
さらに、細胞核Ｒ０の画像においては、細胞核Ｒ０内の構造がよりよく観察できる位置を焦点位置とすることが好ましい。これらは、細胞核Ｒ０内の核小体によって確認される。
具体的には、細胞核Ｒ０内の核小体は、例えば、上記輝度範囲内での輝度値が、画像を２次元平面としてみた場合の空間的に極大になる点として検出することが可能であり、この方法によって検出された核小体の数、あるいは、核小体とその周辺近傍点との輝度の差などによって、最もよく観察できる焦点位置を決定することができる。
【００３６】
このように、本実施形態に係る自動合焦装置８、顕微鏡１および自動合焦方法によれば、死滅細胞ＰやゴミＱなどの高輝度の画素が分布する細胞画像Ｇ全体を焦点位置の決定のために用いるのではなく、生存細胞Ｒの存在領域を示す輝度範囲を予め設定して、その輝度範囲内における細胞画像Ｇを利用して焦点位置を決定するので、死滅細胞Ｐ等のノイズ要因に影響されることなく、活性の高い生存細胞Ｒに正確に焦点位置を設定することができるという利点がある。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る顕微鏡を示す模式的な全体構成図である。
【図２】図１の顕微鏡における自動合焦装置による自動合焦方法を説明するフローチャートである。
【図３】細胞試料の画像の一例を示す図であり、（ａ）画像全体、（ｂ）生存細胞の細胞核の画像をそれぞれ示す図である。
【図４】細胞試料の画像全体の輝度分布を示す図である。
【図５】図４の輝度分布を有する実際の細胞の（ａ）輝度分布、（ｂ）細胞画像の一例をそれぞれ示す図である。
【図６】図１の顕微鏡における自動合焦装置による焦点位置決定方法の一例を示す図である。
【符号の説明】
【００３８】
１  顕微鏡
５  制御装置（設定手段，合焦検出手段，平均輝度算出手段
８  自動合焦装置
Ｇ  画像
Ｌ１  平均輝度値
Ｌ２，Ｌ３  極小値（極小点）
Ｒ  生存細胞
Ｒ０  細胞核
Ｓ  細胞試料（細胞）
Ｓ１１  平均輝度を求めるステップ
Ｓ１３  極小点を求めるステップ
Ｓ２２  焦点位置を検出するステップ
【図１】
2008046305.tif 000003
【図２】
2008046305.tif 000004
【図３】
2008046305.tif 000005
【図４】
2008046305.tif 000006
【図５】
2008046305.tif 000007
【図６】
2008046305.tif 000008