(57)【要約】【課題】  本発明は、明部と暗部とを繰り返し配置してなる面光源を照明に採用することにより、生体細胞など透明な被観察物を広視野で観察することを可能とした観察装置に関し、合成画像の作成時に暗部の抽出を容易に行うことを目的とする。【解決手段】  明部と暗部とを交互に設けてなる面光源により透明容器内に収容される被観察物を透過照明する照明手段と、前記照明手段により照明された前記被観察物からの透過光を結像する結像光学系と、前記結像光学系が形成した前記被観察物の画像を取得する撮像手段と、前記面光源の明暗の位相をシフトさせながら前記撮像手段に複数枚の画像を取得させる制御手段と、前記照明手段の明部と暗部で構成された直線状の特徴的なパターンを取得した画像から、前記直線状のパターンに対する３点以上の対応点の位置を抽出し、前記対応点が一直線上に位置するようにして前記取得された画像の歪みを補正する補正手段とを有することを特徴とする。【選択図】      図１１
2010223676.tif 000002
【特許請求の範囲】
【請求項１】
明部と暗部とを交互に設けてなる面光源により透明容器内に収容される被観察物を透過照明する照明手段と、
前記照明手段により照明された前記被観察物からの透過光を結像する結像光学系と、
前記結像光学系が形成した前記被観察物の画像を取得する撮像手段と、
前記面光源の明暗の位相をシフトさせながら前記撮像手段に複数枚の画像を取得させる制御手段と、
前記照明手段の明部と暗部で構成された直線状の特徴的なパターンを取得した画像から、前記直線状のパターンに対する３点以上の対応点の位置を抽出し、前記対応点が一直線上に位置するようにして前記取得された画像の歪みを補正する補正手段と、
を有することを特徴とする観察装置。
【請求項２】
請求項１記載の観察装置において、
前記補正手段は、複数の前記暗部のそれぞれに対して３点以上の対応点の位置を抽出することを特徴とする観察装置。
【請求項３】
請求項１または請求項２記載の観察装置において、
前記透明容器は、複数のウェルを有するウェルプレートであることを特徴とする観察装置。
【請求項４】
請求項１記載の観察装置において、
前記面光源は、ストライプパターンあるいはチェッカーパターンを有するマスク部材と前記マスク部材を均一に照明する照明光源とから構成されることを特徴とする観察装置。
【請求項５】
請求項１記載の観察装置において、
前記補正手段は、前記撮像手段により複数枚取得された前記画像を重ね合わせて前記画像の歪みを補正することを特徴とする観察装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、明部と暗部とを繰り返し配置してなる面光源を照明に採用することにより、生体細胞など透明な被観察物を広視野で観察することを可能とした観察装置に関する。
【背景技術】
【０００２】
ストライプ照明型の観察装置（特許文献１参照）は、被観察物のうちストライプ光源の暗部に正対する部分を、その暗部に隣接する２つの明部によって斜光照明するので、ストライプ状の暗視野画像を取得することができる。よって、ストライプ光源の明暗の位相をシフトさせながら複数枚の画像を取得して暗部の画像のみを合成すれば、例えば、培養容器中に点在する細胞群を一望するような暗視野画像を生成することもできる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１７８４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ストライプ照明型の観察装置では、培養容器内に存在する培養液のメニスカス効果により、直線状のストライプ模様が円弧状等に変形して撮像されることがあり、このような場合には、位相をシフトさせながら撮像された複数枚の画像から暗部の画像のみを抽出して合成することが困難になるという問題があった。
【０００５】
本発明は、かかる従来の問題を解決するためになされたもので、合成画像の作成時に暗部の抽出を容易に行うことができる観察装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の発明の観察装置は、明部と暗部とを交互に設けてなる面光源により透明容器内に収容される被観察物を透過照明する照明手段と、前記照明手段により照明された前記被観察物からの透過光を結像する結像光学系と、前記結像光学系が形成した前記被観察物の画像を取得する撮像手段と、前記面光源の明暗の位相をシフトさせながら前記撮像手段に複数枚の画像を取得させる制御手段と、前記照明手段の明部と暗部で構成された直線状の特徴的なパターンを取得した画像から、前記直線状のパターンに対する３点以上の対応点の位置を抽出し、前記対応点が一直線上に位置するようにして前記取得された画像の歪みを補正する補正手段と、を有することを特徴とする。
【０００７】
第２の発明の観察装置は、第１の発明の観察装置において、前記補正手段は、複数の前記暗部のそれぞれに対して３点以上の対応点の位置を抽出することを特徴とする。
【０００８】
第３の発明の観察装置は、第１または第２の発明の観察装置において、前記透明容器は、複数のウェルを有するウェルプレートであることを特徴とする。
【０００９】
第４の発明の観察装置は、第１の発明の観察装置において、前記面光源は、ストライプパターンあるいはチェッカーパターンを有するマスク部材と前記マスク部材を均一に照明する照明光源とから構成されることを特徴とする。
【００１０】
第５の発明の観察装置は、第１の発明の観察装置において、前記補正手段は、前記撮像手段により複数枚取得された前記画像を重ね合わせて前記画像の歪みを補正することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、合成画像の作成時に暗部の抽出を容易に行うことができる観察装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の観察装置の第１の実施形態を示す説明図である。
【図２】図１の観察装置のコントローラを示すブロック図である。
【図３】暗視野像の背景輝度分布を説明する説明図である。
【図４】位相シフト中に表示されるストライプパターンを示す説明図である。
【図５】位相シフト中に取得された画像を示す説明図である。
【図６】図５の各々の有効領域を合成してできる暗視野画像を示す説明図である。
【図７】観察に関するＣＰＵの動作を示す説明図である。
【図８】撮像素子により取得されたストライプパターンの画像を示す説明図である。
【図９】培養液によるメニスカス効果を説明するための説明図である。
【図１０】歪み補正された画像を示す説明図である。
【図１１】対応点を示す説明図である。
【図１２】Ｘ方向の輝度の波形を示す説明図である。
【図１３】Ｘ方向の相関値の変化を示す説明図である。
【図１４】歪み補正の方法を示す説明図である。
【図１５】第２の実施形態におけるＸ方向の輝度の波形を示す説明図である。
【図１６】Ｘ方向の微分値の変化を示す説明図である。
【図１７】チェカーフラグパターンを示す説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面を用いて詳細に説明する。
(第１の実施形態)
図１は、本発明の観察装置の第１の実施形態を示している。この観察装置は、透過型液晶パネル１１、ステージ（標本台）１３、結像光学系１５、撮像素子１７、パネルコントローラ１９、コントローラ２１、ディスプレイ２３を有している。
【００１４】
ステージ１３には、透明な培養容器（図では９６ウェルプレート）２５が載置されている。培養容器２５のウェル２５ａ内には、例えば、無染色の細胞等の被観察物が収容されている。
【００１５】
透過型液晶パネル１１は、バックライト付きであり培養容器２５の略全域を均一に照明する。その照明光が遮られないように、ステージ１３のうち培養容器２５を載置した部分は、例えば、ガラス等の透明部材で構成されるか、或いは中空となっている。
【００１６】
結像光学系１５の視野は十分に大きく、培養容器２５の略全域から射出した光は、結像光学系１５によって捉えられ、撮像素子１７の撮像面上に結像する。撮像素子１７は、コントローラ２１からの指示に応じて撮像面上の画像（輝度分布）を取得する。その画像は、コントローラ２１へ取り込まれ、画像処理が施された後にディスプレイ２３上へ表示される。コントローラ２１は、画像処理前の画像や画像処理後の画像を必要に応じて保存することができる。また、画像処理前の画像を必要に応じてディスプレイ２３へ表示することができる。
【００１７】
パネルコントローラ１９は、コントローラ２１からの指示に応じて、透過型液晶パネル１１上に、明部と暗部とを繰り返し配置してなるストライプパターンを表示する。この透過型液晶パネル１１上に形成されたストライプパターンを、均一に照明する面光源(バックライト)により照射してストライプ状の明・暗パターンが形成される。
【００１８】
図２は、コントローラ２１の構成を示すブロック図である。コントローラ２１は、入力部２７、ステージ制御部２９、パネル制御部３１、照明制御部３３、撮像素子制御部３５、ＣＰＵ３７を有している。
【００１９】
入力部２７は、ユーザからの指示を入力する。入力部２７を介してユーザが入力可能な情報には、観察開始等の各種指示がある。
【００２０】
ステージ制御部２９は、ステージ１３の移動を制御して、ステージ１３の光軸方向の位置(Ｚ方向位置)および光軸方向に垂直な方向の位置(ＸＹ方向位置)を設定する。
【００２１】
パネル制御部３１は、透過型液晶パネル１１を移動して、透過型液晶パネル１１の光軸方向の位置(Ｚ方向位置)および光軸方向に垂直な方向の位置(ＸＹ方向位置)を設定する。
【００２２】
照明制御部３３は、パネルコントローラ２１を制御して透過型液晶パネル１１が表示するストライプパターンの位相等を制御する。
【００２３】
撮像素子制御部３５は、撮像素子１７の駆動制御を行う。
【００２４】
ＣＰＵ３７は、ステージ制御部２９、パネル制御部３１、照明制御部３３、撮像素子制御部３５を制御する。
【００２５】
図３は上述した観察装置の原理を説明する図である。図３では、結像光学系１５の撮像レンズ４の合焦面Ｐ１が培養容器２５のウェル２５ａの底面近傍にあり、その底面に付着した細胞３ａを観察するときの様子を示している。図３において符号１ｄで示すのはストライプパターン１の１つの暗部であり、符号１ｂで示すのは暗部１ｄの両側に位置する明部である。
【００２６】
培養容器２５のウェル２５ａのうち、暗部１ｄに正対する部分領域３ｄに着目すると、部分領域３ｄは２つの明部１ｂから射出した光Ｌｂによって斜め方向から照明されるが、暗部１ｄからは光が射出しないので部分領域３ｄは正面から照明されることはない。つまり部分領域３ｄは、光Ｌｂによって斜光照明される。よって、撮像素子１７のうち部分領域３ｄと共役な領域には、部分領域３ｄの暗視野像５ｄが形成される。この暗視野像５ｄには、部分領域３ｄ中に存在する細胞３ａの像が現れる。この像（細胞像）は、細胞３ａを透過した直接光による像ではなく、細胞３ａのエッジで散乱した散乱光による像である。
【００２７】
培養容器２５のウェル２５ａのうち、明部１ｂに正対する部分領域３ｂに着目すると、部分領域３ｂは明部１ｂによって正面から照明される。よって、撮像素子１７のうち部分領域３ｂと共役な領域には、部分領域３ｂの明視野像５ｂが形成される。この明視野像５ｂには、部分領域３ｂ中に存在する細胞３ａの像は現れない。
【００２８】
したがって、撮像素子１７上には、細胞像を含む暗視野像５ｄと細胞像を含まない明視野像５ｂとを繰り返し配置したストライプ像が形成される。よって、透過型液晶パネル１１が表示するストライプパターンの位相をシフト（位相シフト）させながら撮像素子１７で繰り返し撮像を行い、それによって得られた複数の画像の暗視野像５ｄを繋ぎ合わせれば、培養容器２５の全域に点在する細胞群を一望可能な合成画像が得られる。
【００２９】
例えば、図４の(Ａ)、(Ｂ)、(Ｃ)に示すように、ストライプパターンの位相をシフトピッチΔでシフトさせながら撮像素子１７で撮像を行い、撮像により得られた図５の(Ａ)、(Ｂ)、(Ｃ)に示す３枚の画像の有効領域(図４の幅Ｂａ’の部分)を繋ぎ合わせれば、図６に示すように、培養容器２５の全域に点在する細胞群を一望可能な合成画像が得られる。
【００３０】
図７は、被観察物の観察に関するコントローラ２１のＣＰＵ３７の動作を示すフローチャートである。なお、このフローは、ユーザによる入力部２７への観察開始の入力によりスタートする。
【００３１】
ステップＳ１：ＣＰＵ３７は、図４に示したような直線のストライプパターンを透過型液晶パネル１１に表示する。
【００３２】
ステップＳ２：ＣＰＵ３７は、培養容器２５内の被観察物を撮像し画像を取得する。
【００３３】
図８は、撮像素子１７により取得された画像Ｇ１を示している。この画像Ｇ１は、透明な培養容器２５として９６ウェルプレートを用いた時の１つのウェル２５ａの画像である。ウェル２５ａ内に収容される培養液のメニスカス効果により透過型液晶パネル１１に表示される直線のストライプパターンが円弧状に変形している。このように、直線状のストライプパターンが円弧状等に変形して撮像されると、図５に示すように位相をシフトさせながら撮像された複数枚の画像から暗部の画像のみを抽出して合成することが困難になる。
【００３４】
すなわち、図９に示すように、９６ウェルプレートのウェル２５ａ内に培養液４１を収容すると、表面張力により培養液４１の表面の外周部が盛り上がる。そして、培養液４１の表面の盛り上がりによるメニスカス効果により、結像光学系１５を介して撮像素子１７に撮像される直線のストライプパターンが円弧状に変形する。なお、９６ウェルプレートは、ウェル２５ａの直径が６ｍｍであり、培養液４１の表面の形状が円弧状のレンズ形状に近いものになる。従って、被観察物の倍率は略均一な倍率に保たれる。
【００３５】
ステップＳ３：ＣＰＵ３７は、取得した画像Ｇ１の歪みを補正する。この歪み補正により、画像Ｇ１の歪みが補正され、図１０に示すように直線状のストライプパターンを有する画像Ｇ２を得ることができる。歪み補正の詳細は後述する。
【００３６】
ステップＳ４：ＣＰＵ３７は、ウェル２５ａに対して、画像の取得および位相シフトからなる一連の処理を繰り返し予め設定されたｍ枚(例えば３枚)の画像を取得する。
【００３７】
ステップＳ５：ＣＰＵ３７は、取得されたｍ枚の画像の有効領域を取得順に並べて繋ぎ合わせることにより、１枚の合成画像を作成する。
【００３８】
ステップＳ６：ＣＰＵ３７は、ステップＳ５で作成した合成画像をディスプレイ１５へ表示し、フローを終了する。
【００３９】
以下、上述したステップＳ３の歪み補正の内容を詳細に説明する。
【００４０】
この歪み補正では、先ず、図１１に示すように、透過型液晶パネル１１に表示される直線のストライプパターンに対応する対応点Ｔの位置を抽出する。図１１に示す画像Ｇ１では、ウェル２５ａ内に収容される培養液のメニスカス効果により透過型液晶パネル１１に表示される直線のストライプパターンが円弧状に変形している。ストライプパターンの長手方向をＹ軸とし、Ｙ軸に垂直な方向をＸ軸とする。対応点ＴのＹ軸方向の座標Ｙ１，Ｙ２，…，Ｙｎは予め設定されており、対応点ＴのＹ座標の位置はわかっている。従って、ＣＰＵ３７は、画像Ｇ１内における特定のストライプ像の各対応点ＴのＸ座標位置を計測することにより各対応点Ｔの位置を求める。
【００４１】
各対応点ＴのＸ座標位置の計測は、図１２に示すように、画像Ｇ１の各Ｙ座標上の輝度の波形を用いて行われる。図１２は、例えば図１１のＹ２の位置を通りＸ軸に平行な線分上の輝度の波形を示している。この波形については、Ｓ／Ｎ比を向上するために各Ｙ座標のＹ方向の前後に対して数画素分積算した波形を作成するのが望ましい。この積算波形に対してストライプパターンの線幅の２倍程度の対称性相関計算用の窓Ｗ１を用意する。そして、図１３に示すように、ストライプパターンの暗部においてという条件の下に、窓Ｗ１内での相関値がピークとなるような位置を決定する。このピーク位置は、図１１に示すストライプパターンの暗部の中央位置のＸ座標に対応する。これにより、本来直線であるはずの点群のずれ量、すなわち対応点Ｔのずれ量を計ることができる。
【００４２】
次に、この点群を用いて自己校正(Self-calibration)を行う。この場合歪みが点対称であることから例えばタルディフの方法(J Tardif, P Sturm, and S Roy. Self-calibration of a general radially symmetric distortion model. In Proc. of the .9th European Conference on Computer Vision, Vol. 4, pp. 186 2006.)等を利用することで、歪みのない場合の点群の位置を推定することができ歪みの補正が可能となる。ここでは簡単に説明する。
【００４３】
タルディフの方法は本来魚眼レンズなど中心対称な歪みを正しく補正することを目的としており、この歪みは実空間において直線であるストライプパターンが二次元画像に撮像される際に、ある中心点に対して屈曲して表示されることを意味している。この魚眼レンズによる歪みと、本発明で課題となる表面張力による歪み（メニスカス効果）とを置き換えて考えるものとする。
【００４４】
図１４に示すように、本来、座標(ｘ’，ｙ’)に撮像されるべき点Ｐ’が、歪みの効果により座標(ｘ，ｙ)に撮像されたとする。歪み中心の座標Ｃを(ｃx，ｃy)とし、
【００４５】
【数１】
2010223676.tif 000003
【００４６】
とする。また、ｒ’はある関数ｆ(ｒ)を用いて
ｒ’＝ｒ／ｆ(ｒ)  …(１)
と表現できるものと仮定する。
【００４７】
実空間で直線上に並んでいる３点Ｐ1’，Ｐ2’，Ｐ3’が、画像座標(ｘ1，ｙ1)，(ｘ2，ｙ2)，(ｘ3，ｙ3)にそれぞれ撮像されたとする。
【００４８】
(１)によると、これらの３点は拘束条件
【００４９】
【数２】
2010223676.tif 000004
【００５０】
を満たす。直線上に並ぶ３点の組を複数求め、式(２)を連立して解くことで、ｆ(ｒ)，ｃx，ｃyが得られる。
【００５１】
歪み補正後の座標(ｘ’，ｙ’)は、ｆ(ｒ)，ｃx，ｃyを用いると
【００５２】
【数３】
2010223676.tif 000005
【００５３】
と表すことができる。
【００５４】
上述した実施形態では、透過型液晶パネル１１の暗部を直線にした状態で撮像素子１７により画像Ｇ１を取得し、取得された画像Ｇ１から、直線状の暗部に対応する３点以上の対応点Ｔの位置を抽出し、対応点Ｔが一直線上に位置するようにして取得された画像Ｇ１の歪みを補正するようにしたので、合成画像の作成時に暗部の抽出を容易に行うことができる。
(第２の実施形態)
上述した第１の実施形態では、対応点ＴのＸ座標の位置をストライプパターンの暗部の中央位置としたが、この第２の実施形態では、対応点ＴのＸ座標の位置がストライプパターンの暗部のエッジ位置とされる。なお、この実施形態において第１の実施形態と同一の要素には同一の符号を付して詳細な説明を省略する。
【００５５】
この実施形態では、各対応点ＴのＸ座標位置の計測は、図１５に示すように、取得された画像Ｇ１の各Ｙ座標上の輝度の波形を用いて行われる。この波形に対してストライプパターンの線幅の２倍程度のエッジ計算用の窓Ｗ２を用意する。そして、図１６に示すように、窓Ｗ２内での輝度総和の微分値(窓Ｗ２の左半分の輝度総和から右半分の輝度総和を減算した値に対応する)がピークになるような位置を決定する。このピーク位置は、図１５に示すストライプパターンの暗部のエッジ位置のＸ座標に対応する。これにより、本来直線であるはずの点群のずれ量、すなわち対応点Ｔのずれ量を計ることができる。
【００５６】
この実施形態では、ストライプパターンの暗部のエッジ位置を容易，確実に得ることができる。
【００５７】
なお、ストライプ照明の運用上、ストライプパターンの反転も行われるため、微分ピークを利用せず、正像時の微分波形と反転時の微分波形との交点（この場合は暗部のエッジではなく暗部の線幅の中心位置となる）を利用しても良い。
(実施形態の補足事項)
以上、本発明を上述した実施形態によって説明してきたが、本発明の技術的範囲は上述した実施形態に限定されるものではなく、例えば、以下のような形態でも良い。
【００５８】
(１)上述した実施形態では、明暗形状をストライプパターンにした観察装置に本発明を適用した例について説明したが、例えば、明暗形状を図１７に示すようなチェッカーパターンにした観察装置にも適用することができる。そして、直線状に位置するチェッカーパターンの格子点を対応点として利用することにより対応点の位置をより高い精度で求めることができる。
【００５９】
(２)上述した実施形態では、各ストライプパターンの画像を１枚ずつ取得した例について説明したが、例えば、各ストライプパターンの画像を複数枚取得し重ね合わせることで、Ｓ／Ｎ比を向上することが可能になり、これにより対応点の位置をより正確に求めることができる。
【００６０】
(３)上述した実施形態におけるタルディフの方法では、対応点の数を増大するほど歪み補正の精度を向上することができる。従って、ストライプパターンの空間的周期（線幅）よりも小さい移動量でストライプパターンをシフトさせて対応点の数を増大するようにしても良い。
【００６１】
(４)上述した実施形態では、面光源を生成するために、バックライト付きの透過型液晶パネル１１を用いたが、同様の面光源を生成できるのであれば、他のものを用いてもよい。例えば、ＬＥＤなどの小型光源を多数用意し、それらを密にアレイ状に配置し面光源を形成し、面光源上に、ストライプ状の開口を有したマスク部材を配置しても良い。
【００６２】
(５)上述した実施形態では、９６ウェルプレートからなる培養容器２５の観察に本発明を適用した例について説明したが、例えば、フラスコ等からなる培養容器にも適用することができる。例えば、フラスコの角部では、直線状のストライプパターンがメニスカス効果により比較的大きく変形するが、上述した実施形態と同様にして処理することができる。
【符号の説明】
【００６３】
１１…透過型液晶パネル、１３…ステージ、１５…結像光学系、１７…撮像素子、２１…コントローラ、２５…培養容器、２５ａ…ウェル。
【図１】
2010223676.tif 000006
【図２】
2010223676.tif 000007
【図３】
2010223676.tif 000008
【図４】
2010223676.tif 000009
【図５】
2010223676.tif 000010
【図６】
2010223676.tif 000011
【図７】
2010223676.tif 000012
【図８】
2010223676.tif 000013
【図９】
2010223676.tif 000014
【図１０】
2010223676.tif 000015
【図１１】
2010223676.tif 000016
【図１２】
2010223676.tif 000017
【図１３】
2010223676.tif 000018
【図１４】
2010223676.tif 000019
【図１５】
2010223676.tif 000020
【図１６】
2010223676.tif 000021
【図１７】
2010223676.tif 000022