(57)【要約】【課題】像ブレの残留を抑制して観察精度を向上する。【解決手段】生体の被検査部位からの光を集光する対物レンズと、該対物レンズにより集光された光を撮影して２次元的な画像を取得する撮像部と、該撮像部により取得された画像を処理して被検査部位の位置を計測する位置計測部１８と、該位置計測部１８により計測された複数回の位置計測結果に基づいて、現実の被検査部位の位置を予測する位置予測部２０と、該位置予測部２０により予測された位置にその光軸が一致するように対物レンズを移動させる対物レンズ駆動部とを備える生体観察装置を提供する。【選択図】図２
2009300951.tif 000002
【特許請求の範囲】
【請求項１】
生体の被検査部位からの光を集光する対物レンズと、
該対物レンズにより集光された光を撮影して２次元的な画像を取得する撮像部と、
該撮像部により取得された画像を処理して被検査部位の位置を計測する位置計測部と、
該位置計測部により計測された複数回の位置計測結果に基づいて、現実の被検査部位の位置を予測する位置予測部と、
該位置予測部により予測された位置にその光軸が一致するように前記対物レンズを移動させる対物レンズ駆動部とを備える生体観察装置。
【請求項２】
前記位置予測部が、前記位置計測部により計測された複数回の位置計測結果からノイズを除去するノイズ除去部を備え、該ノイズ除去部によりノイズを除去された位置計測結果に基づいて現実の被検査部位の位置を予測する請求項１に記載の生体観察装置。
【請求項３】
前記位置予測部が、前記位置計測部により計測された複数回の位置計測結果と計測時刻とに基づいて被検査部位の移動速度を算出し、該移動速度と計測遅れ時間とに基づいて現実の被検査部位の位置を予測する請求項１に記載の生体観察装置。
【請求項４】
前記計測遅れ時間が前記位置計測部における画像処理の速度に応じた所定の値に設定されている請求項３に記載の生体観察装置。
【請求項５】
前記被検査部位の振動のパターンと前記計測遅れ時間とを対応づけて記憶するテーブルを備え、
前記位置予測部が、前記被検査部位の振動に最も近似する振動のパターンに対応づけて前記テーブルに記憶されている計測遅れ時間を用いて現実の被検査部位の位置を予測する請求項３に記載の生体観察装置。
【請求項６】
前記位置予測部が、該位置予測部により予測された被検査部位の位置と、現実の被検査部位の位置との追従誤差を算出し、該追従誤差が最小となるように計測遅れ時間を設定する請求項３に記載の生体観察装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は生体観察装置に関するものである。
【背景技術】
【０００２】
従来、光軸に垂直もしくは平行な方向の生体の振動を画像処理により検出し、その検出結果に基づいて対物レンズを駆動することにより、生体の振動に対物レンズを追従させて、ブレを抑制した鮮明な画像を得る生体観察装置が知られている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】特開２００７−１８７８１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像処理により生体の振動を検出する方法では、多大な画像処理時間によって検出遅れが発生し、特に、急峻な振動を伴う生体を観察する際に、生体の振動に追従させて対物レンズを駆動することが困難であるという不都合がある。すなわち、高精度な制御を実現できず、その結果、像ブレが残留し、精緻な観察を行うことができないという不都合がある。また、細胞の核を操作する場合のように極めて小さい対象を扱う場合には、像ブレの影響が大いに問題になる。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、像ブレの残留を抑制して観察精度を向上することができる生体観察装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、生体の被検査部位からの光を集光する対物レンズと、該対物レンズにより集光された光を撮影して２次元的な画像を取得する撮像部と、該撮像部により取得された画像を処理して被検査部位の位置を計測する位置計測部と、該位置計測部により計測された複数回の位置計測結果に基づいて、現実の被検査部位の位置を予測する位置予測部と、該位置予測部により予測された位置にその光軸が一致するように前記対物レンズを移動させる対物レンズ駆動部とを備える生体観察装置を提供する。
【０００７】
本発明によれば、生体の被検査部位からの光が対物レンズにより集光され、撮像部の作動により２次元的な画像が取得されると、位置計測部において画像処理されて被検査部位の位置が計測される。位置計測部において複数回の位置計測結果が計測されると、位置予測部の作動により現実の被検査部位の位置が予測される。そして、対物レンズ駆動部の作動により、対物レンズの光軸が予測された位置に一致するように対物レンズを移動させる。
【０００８】
これにより、位置計測部における画像処理によって、被検査部位の位置計測に時間がかかって、位置の計測結果が得られた時点で既に被検査部位の位置が移動していたとしても、その移動先の位置に対物レンズの光軸を一致させるように移動させることができる。その結果、現実の位置計測時には計測遅れが補正され、遅れのない計測を行うことで像ブレの残留を抑制して観察精度を向上することができる。
【０００９】
上記発明においては、前記位置予測部が、前記位置計測部により計測された複数回の位置計測結果からノイズを除去するノイズ除去部を備え、該ノイズ除去部によりノイズを除去された位置計測結果に基づいて現実の被検査部位の位置を予測することとしてもよい。
このようにすることで、ノイズ除去部の作動により位置計測結果からノイズが除去された後に、該ノイズが除去された位置計測結果に基づいて現実の被検査部位の位置が予測されるので、予測誤差を低減して精度よく現実の被検査部位の位置を予測することができる。
【００１０】
また、上記発明においては、前記位置予測部が、前記位置計測部により計測された複数回の位置計測結果と計測時刻とに基づいて被検査部位の移動速度を算出し、該移動速度と計測遅れ時間とに基づいて現実の被検査部位の位置を予測することとしてもよい。
このようにすることで、位置予測部の作動により、現実の被検査部位の位置が移動速度と計測遅れ時間とに基づいて予測されるので、予測された位置に対物レンズの光軸を一致させるように移動させることにより、現実の位置計測時には計測遅れが補正され、遅れのない計測を行うことで像ブレの残留を抑制することができる。
【００１１】
また、上記発明においては、前記計測遅れ時間が前記位置計測部における画像処理の速度に応じた所定の値に設定されていてもよい。
このようにすることで、画像処理の速度に応じて定まる計測遅れ時間を一定値として、現実の被検査部位の位置を予測することにより、少ない演算時間で迅速に、正確な位置を予測することができる。
【００１２】
また、上記発明においては、前記被検査部位の振動のパターンと前記計測遅れ時間とを対応づけて記憶するテーブルを備え、前記位置予測部が、前記被検査部位の振動に最も近似する振動のパターンに対応づけて前記テーブルに記憶されている計測遅れ時間を用いて現実の被検査部位の位置を予測することとしてもよい。
このようにすることで、被検査部位の振動を所定の振動パターンに当てはめて演算を簡略化し、予測に要する時間を短縮することができる。また、当てはめるパターン毎に演算時間が相違するのでパターンに対応づけて記憶されている計測遅れ時間を用いて現実の被検査部位の位置を精度よく予測することができる。
【００１３】
また、上記発明においては、前記位置予測部が、該位置予測部により予測された被検査部位の位置と、現実の被検査部位の位置との追従誤差を算出し、該追従誤差が最小となるように計測遅れ時間を設定することとしてもよい。
このようにすることで、計測遅れ時間がセルフチューニングされるので、これを用いて現実の被検査部位の位置をより精度よく予測することができる。
【発明の効果】
【００１４】
本発明によれば、像ブレの残留を抑制して観察精度を向上することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態に係る生体観察装置１について、図１〜図５を参照して説明する。
本実施形態に係る生体観察装置１は、図１に示されるように、試料Ｓを搭載するステージ２と、励起光Ｅを出射する励起光源３と、該励起光源３からの励起光Ｅを導く照明レンズ（照明光学系）４と、該照明レンズ４により導かれた励起光Ｅを試料Ｓに導く一方、試料Ｓにおいて発生した蛍光Ｆをコリメートする対物レンズ５と、該対物レンズ５によりコリメートされた蛍光Ｆを励起光Ｅから分岐するダイクロイックミラー６と、分岐された蛍光Ｆをさらに分岐するビームスプリッタ７と、分岐された蛍光Ｆを検出する２つのＣＣＤのような撮像装置（光検出部）８，９とを備えている。図中符号１７は結像レンズである。
【００１６】
前記励起光源３、照明レンズ４、ダイクロイックミラー６、ビームスプリッタ７および２つの撮像装置８，９は、顕微鏡本体１０に備えられている。一方、前記対物レンズ５は、顕微鏡本体１０に対してＸ，Ｙ，Ｚ方向に移動可能に対物レンズ駆動装置１１により支持されている。
【００１７】
対物レンズ駆動装置１１は、前記対物レンズ５をステージ２と顕微鏡本体１０との間に配置するアーム１２と、該アーム１２により保持された対物レンズ５を鉛直方向に移動させる第１の駆動機構１３と、前記対物レンズ５を水平２方向に移動させる第２、第３の駆動機構１４，１５とを備えている。各駆動機構１３〜１５には、アーム１２を駆動するモータ１３ａ〜１５ａと、駆動機構１３〜１５による対物レンズ５の位置を検出するエンコーダ（図示略）とが備えられている。
【００１８】
前記撮像装置９には、制御装置１６が接続されている。
制御装置１６は、撮像装置９により取得された画像を処理して試料Ｓの位置を算出するとともに、対物レンズ駆動装置１１の各駆動機構１３〜１５に対し、試料Ｓの変位による対物レンズ５の光軸のズレを補正する方向に対物レンズ５を駆動する駆動指令信号を出力するようになっている。
【００１９】
さらに具体的には、制御装置１６は、図２に示されるように、撮像装置９により取得された画像を処理して試料（例えば、マーカ等の特徴部分）Ｓの位置を算出する位置計測部１８と、該位置計測部１８により計測された試料Ｓの位置を記憶する位置記憶部１９と、該位置記憶部１９に記憶されている過去の計測結果に基づいて現実の試料Ｓの位置を予測する位置予測部２０と、位置予測部２０により予測された位置に対物レンズ５の光軸が一致するように対物レンズ駆動装置１１の各駆動機構１３〜１５を作動させる駆動指令部２１とを備えている。
【００２０】
位置予測部２０は、位置計測部１８により計測された複数回の計測結果をフィルタリングしてノイズを除去した後、サンプリング時刻ｔ１，ｔ２における計測値Ｙ（ｔ１），Ｙ（ｔ２）を用いて移動速度（傾き）ａを下式により算出する。
ａ＝（Ｙ（ｔ２）−Ｙ（ｔ１））／（ｔ２−ｔ１）        （１）
【００２１】
そして、計測遅れ時間をＴｄとして、現実のサンプリング時刻ｔ２＋Ｔｄにおける位置の予測値Ｙｅを以下の式により算出する。
Ｙｅ＝ａ×（Ｔ＋Ｔｄ）＋Ｙ（ｔ１）                  （２）
ここで、Ｔはサンプリングタイムである。
【００２２】
すなわち、図３に示されるように、サンプリング時刻ｔ２における計測値Ｙ（ｔ２）は、画像処理に時間を要するために、現実には時刻ｔ２＋Ｔｄに得られるので、計測値Ｙ（ｔ２）が計測された時点ｔ２＋Ｔｄでは既に計測遅れ時間Ｔｄ分だけ前の計測値が得られるに過ぎない。そこで、サンプリング時刻ｔ１，ｔ２および計測値Ｙ（ｔ１），Ｙ（ｔ２）を用いて、式（１），（２）により時刻ｔ２＋Ｔｄにおける計測値Ｙｅを予測することによって、より正確な計測値をフィードバックすることができる。ここで、式（１），（２）の演算に要する時間は、画像処理に要する時間と比較して十分に短く、無視することができる。
【００２３】
そして、対物レンズ駆動機構１１によって、対物レンズ５の光軸のズレを正確に補正することができる。
その結果、撮像装置８により得られる試料Ｓの画像は、あたかも静止している試料Ｓを撮影しているかのように、ぶれなく鮮明なものとなる。
【００２４】
試料Ｓが生体である場合その振動は概ねなだらかな速度変化を示すため、上記式（２）に示されるように直近の過去のデータを用いて現実の位置を予測することができる。呼吸の立ち上がり時等においては瞬間的に急激に変化する場合もあるが、生体の振動の速度変化に対して十分にサンプリング速度を大きく（例えば、５００Ｈｚ以上に）することにより、精度よく予測することができる。
【００２５】
画像処理して計測される位置の計測値は、光のムラや画像処理演算によって発生する誤差を有している。このため、計測された位置には高周波成分が含まれる。高周波成分は移動速度ａを算出する際に強調され、実際よりも速い移動速度ａが算出されたり、振動方向が逆転する等の悪影響を与えるので、事前にフィルタリングにより高周波成分を落としておくことが望ましい。
【００２６】
フィルタリング手法としては、非再帰形ディジタルフィルタ（ＦＩＲ）や再帰形ディジタルフィルタ（ＩＩＲ）等の線形フィルタ、状態空間フィルタあるいは非線形フィルタを用いることができる。また、移動平均、最小２乗法等の近似式を求める手法でもよい。フィルタとしてはローパスフィルタ、バンドパスフィルタまたはハイパスフィルタなどを適宜観察対象の動きやサンプリング周波数、ノイズの形態等に合わせて選択すればよい。
【００２７】
移動速度ａを求める方法としては、単純に差分を算出する方法でもよいが、移動平均や最小２乗法などにより、直前の数個のデータを平均化し、直線近似した値を用いてもよい。このようにすることで、移動速度ａを求める時点でのフィルタ効果も得られるので、よりノイズに強い構成とすることができる。
【００２８】
図４に実際にマウスの肝臓の位置を本実施形態に係る生体観察装置１により予測した結果を示す。本実施形態によれば、現実の位置を精度よく予測でき、それに合わせて対物レンズを駆動するので、脈動するマウスの肝臓をあたかも静止しているかのように、ブレなく鮮明に観察することができるという利点がある。
【００２９】
なお、本実施形態においては、計測遅れ時間Ｔｄが一定であるとして試料Ｓの現実の位置を予測することとしたが、試料Ｓの種類や振動の特性に合わせて自動的に最適化することにしてもよい。
例えば、試料Ｓの振動の特性のモデルとなる振動波形、例えば、正弦波、矩形波、三角波、のこぎり波あるいはシンク波等と、計測遅れ時間Ｔｄとを対応づけて記憶しておき、試料Ｓの振動の特性に最も近いモデル波形を選択して予測演算を行う際に、対応する計測遅れ時間Ｔｄを用いることにしてもよい。
【００３０】
具体的には、予測を行わずに追従制御を行い、このときの画像処理結果とエンコーダによる対物レンズの位置とを加算して、対象の実際の振動波形を算出する。算出された振動波形に対してフィルタリングを施してノイズを除去する。このようにして得られた振動の波形と、モデルとなる振動波形とを比較する。
【００３１】
比較は、実際の振動波形と各モデルの振動波形とを振幅および周期を一致させた状態で振動波形どうしの差分を計算することにより行う。実際の振動が呼吸振動のように間欠的である場合には、振動の大きな領域（注目領域）に対して振動および周期を求めて比較を行う。比較の結果、差分が最も小さいモデルの振動波形を選択する。
【００３２】
このようにすることで、振動の予測に使用するモデルの振動波形ごとに、演算方式が異なり、使用する過去のデータの次数等が相違することによる演算時間の相違に基づく計測遅れ時間Ｔｄの相違を補正して最適な予測を行うことができる。
【００３３】
また、このようなモデルの振動波形と対応づけて記憶された計測遅れ時間Ｔｄを使用することに代えて、追従誤差が最も小さくなるように計測遅れ時間Ｔｄをセルフチューニングすることとしてもよい。
セルフチューニングの手法は、例えば、サンプリングタイムが１ｍｓｅｃの場合に、０．１ｍｓｅｃ単位というように、サンプリングタイムより１桁以上小さい値で計測遅れ時間Ｔｄを調整することが好ましい。
【００３４】
サンプリングタイムを１ｍｓｅｃ、計測遅れ時間Ｔｄの調整範囲の初期値をサンプリングタイムの半分の±０．５ｍｓｅｃとして、計測遅れ時間ＴｄをＴｄ−０．５〜Ｔｄ＋０．５ｍｓｅｃの範囲で変化させながら追従制御を行い、追従誤差が最も小さくなる計測遅れ時間Ｔｄをその後の予測演算に使用する計測遅れ時間Ｔｄとして設定する。
【００３５】
また、計測遅れ時間Ｔｄを上記範囲全体で変化させて追従誤差を演算したのでは時間がかかるので、まず、中央値（Ｔｄ）、最小値（Ｔｄ−０．５ｍｓｅｃ）と最大値（Ｔｄ＋０．５ｍｓｅｃ）について追従誤差を演算し、追従誤差が最も小さくなるものを選択する。選択された計測遅れ時間を中央値Ｔｄ′とし、例えば、上記の半分の調整幅±０．２５ｍｓｅｃで同様の演算を行う。このような演算を２回以上繰り返すことにより、計測遅れ時間Ｔｄを最適な値にセルフチューニングすることができる。
【００３６】
また、画像処理のサンプリングタイムより短いサンプリングタイムで制御するマルチサンプリングレートシステムの場合には、制御の目標値を画像処理の結果が出力されたときにのみ更新することとしてもよいが、以下の方法で補間することにより、さらに精度よく追従制御することができる。
【００３７】
予測のために算出した移動速度ａ、制御のサンプリングタイムＴとして、制御出力Ｙ（ｔ）を下式により算出する。
Ｙ（ｔ）＝ａ×Ｔ＋Ｙ（ｔ−１）
一方、画像処理の結果が得られたときは、画像処理の結果を優先して使用する。
このようにすることで、図５に示されるように、画像処理のサンプリングタイムの間における制御の目標値の急激な変化を防止して、より高精度の制御を行うことができるという利点がある。
【００３８】
また、本実施形態においては、近接する過去のデータを用いて現実の位置を予測しているので、位置の変化が急峻である場合には、数サンプリング時間程度の遅れが発生する。これにより発生する誤差は数μｍ程度であるが、この程度の誤差も許されない場合には、生体の呼吸や拍動を検知するためのバイタル測定装置を用いて、さらに高速に位置の急峻な立ち上がりを検知することにしてもよい。そして、立ち上がりが検知された場合には、１周期前のデータを用いて制御することにすればよい。
【００３９】
生体の振動の立ち上がりはほぼ安定的に繰り返されるので、記憶されている１周期前のデータを用いて精度よく予測することができる。なお、バイタル測定装置は、筋電計、レーザ変位計、ロードセル等任意の装置を使用することができる。
【００４０】
また、本実施形態においては位置計測部１８が画像処理により試料ＳのＸ，Ｙ，Ｚ方向の変位を検出することとしたが、これに代えて、試料Ｓの表面をＺ方向下方に向けて押し付けるスタビライザを採用し、Ｚ方向の変位を抑えてＸ，Ｙ水平２方向のみに変位可能として観察することにしてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態に係る生体観察装置を示す全体構成図である。
【図２】図１の生体観察装置における制御装置を示すブロック図である。
【図３】図１の生体観察装置の位置予測部の処理を説明する説明図である。
【図４】図１の生体観察装置により予測された生体の変位の時間変化を示すグラフである。
【図５】図１の生体観察装置をマルチサンプリングレートシステムで構成した場合の検出値の補間について説明する説明図である。
【符号の説明】
【００４２】
ａ  移動速度（傾き）
Ｓ  試料（生体）
Ｔｄ  計測遅れ時間
１  生体観察装置
５  対物レンズ
９  撮像部
１１  対物レンズ駆動部
１８  位置計測部
２０  位置予測部（ノイズ除去部）
【図１】
2009300951.tif 000003
【図２】
2009300951.tif 000004
【図３】
2009300951.tif 000005
【図４】
2009300951.tif 000006
【図５】
2009300951.tif 000007