(57)【要約】 【課題】動く物体が撮像範囲内に入るようユーザが調整しなくて済み、かつ撮像範囲内に動く物体が入ってくるまで待つ必要がなく効率的に観察物体を追従すること。【解決手段】物体追従装置は、観察物体を含む被写体の少なくとも一部の範囲を撮像して当該撮像範囲の画像を取得する撮像部と、撮像部により取得された画像を基に観察物体の有無を推定すると共に、観察物体の位置を推定する観察物体推定部と、被写体に対する撮像範囲を移動させる撮像範囲移動機構と、観察物体推定部の推定結果に応じて撮像範囲移動機構を制御して撮像範囲を移動させる撮像範囲制御部とを具備する。【選択図】図１
2014021181.tif 000002
【特許請求の範囲】
【請求項１】
観察物体を含む被写体の少なくとも一部の範囲を撮像して当該撮像範囲の画像を取得する撮像部と、
前記撮像部により取得された前記画像を基に前記観察物体の有無を推定すると共に、前記観察物体の位置を推定する観察物体推定部と、
前記被写体に対する前記撮像範囲を移動させる撮像範囲移動機構と、
前記観察物体推定部の推定結果に応じて前記撮像範囲移動機構を制御して前記撮像範囲を移動させる撮像範囲制御部と、
を具備することを特徴とする物体追従装置。
【請求項２】
請求項１記載の物体追従装置において、
前記観察物体推定部は、前記画像中に前記観察物体が有ると推定した場合に当該推定した前記観察物体の位置の推定結果を出力し、前記画像中に前記観察物体が無いと推定した場合に前記観察物体が無い推定結果を出力し、
前記撮像範囲制御部は、前記観察物体推定部の推定結果が前記観察物体無しの場合に前記撮像範囲移動機構を制御して前記撮像範囲を移動させ、前記観察物体無しでない場合に前記撮像範囲移動機構を制御して前記観察物体推定部により推定された前記観察物体の位置に向かう方向へ前記撮像範囲を追従する、
ことを特徴とする。
【請求項３】
請求項１又は２記載の物体追従装置において、
前記撮像範囲移動機構は、前記撮像部の光軸方向とは異なる少なくとも一つの方向に前記撮像範囲を移動することを特徴とする。
【請求項４】
請求項１乃至３のうちいずれか１項記載の物体追従装置において、
前記撮像範囲移動機構は、前記撮像部の光軸方向に対して直交する少なくとも一つの方向に前記撮像範囲を移動することを特徴とする。
【請求項５】
請求項１乃至４のうちいずれか１項記載の物体追従装置において、
前記観察物体を含む前記被写体を保持する被写体保持部を備え、
前記撮像範囲移動機構は、前記撮像部の光軸方向に対して直交する少なくとも一つの方向に前記被写体保持部を移動することを特徴とする。
【請求項６】
請求項１乃至４のうちいずれか１項記載の物体追従装置において、
前記撮像範囲移動機構は、前記撮像部の光軸方向に対して直交する少なくとも一つの方向に前記撮像部を移動することを特徴とする。
【請求項７】
請求項１乃至４のうちいずれか１項記載の物体追従装置において、
前記観察物体推定部は、前記画像の画素値の大きさを基に当該画像の各画素を２つ以上のクラスに分離するクラス分離手段と、
前記クラス分離手段による前記クラスの分離の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段により算出された前記信頼度に基づいて前記観察物体の有無を判断する物体有無判断手段と、
を有することを特徴とする。
【請求項８】
請求項７記載の物体追従装置において、
前記物体有無判断手段は、前記信頼度を閾値処理することによって前記観察物体の有無を判断することを特徴とする。
【請求項９】
請求項７又は８記載の物体追従装置において、
前記観察物体推定部は、前記クラス分離手段により前記観察物体が有りに分離される前記クラスを基に前記画像を処理し、当該処理された画像中において前記観察物体の位置を推定することを特徴とする。
【請求項１０】
請求項９記載の物体追従装置において、
前記観察物体推定部は、前記処理された画像中において前記観察物体の重心を求めることを特徴とする。
【請求項１１】
請求項１０記載の物体追従装置において、
前記観察物体推定部は、前記観察物体が有りと推定した場合、前記撮像部により取得された前記画像を二値化処理して二値化画像を求め、当該二値化画像から前記観察物体の重心を求めることを特徴とする。
【請求項１２】
請求項１乃至１１のうちいずれか１項記載の物体追従装置において、
前記撮像範囲移動機構を手動で動作させる手動動作部を有し、
前記観察物体推定部による前記推定結果が前記観察物体無しでない場合、前記撮像範囲制御部は、前記観察物体推定部により推定された前記観察物体の位置に向かう方向へ前記撮像範囲を移動し、かつ前記手動動作部の動作を無効にすることを特徴とする。
【請求項１３】
請求項１乃至１２のうちいずれか１項記載の物体追従装置において、
前記撮像部は、前記撮像範囲移動機構による前記撮像範囲の移動中に倍率を変更しないことを特徴とする。
【請求項１４】
請求項１乃至１３のうちいずれか１項記載の物体追従装置において、
前記観察物体は、運動することを特徴とする。
【請求項１５】
請求項１乃至１４のうちいずれか１項記載の物体追従装置において、
前記撮像範囲制御部は、前記撮像部の倍率を含む光学情報、前記撮像部と前記被写体との位置関係の情報に基づいて前記観察物体の移動に追従させる移動指令を前記撮像範囲移動機構に発することを特徴とする。
【請求項１６】
観察物体を含む被写体の少なくとも一部の範囲を撮像部により撮像して当該撮像範囲の画像を取得し、
前記撮像部により取得された前記画像を基に観察物体推定部により前記観察物体の有無を推定すると共に前記観察物体の位置を推定し、
前記観察物体の位置の推定結果に応じて撮像範囲制御部により撮像範囲移動機構を動作して前記被写体に対する前記撮像範囲を移動させる、
ことを特徴とする物体追従方法。
【請求項１７】
請求項１６記載の物体追従方法において、
前記観察物体の有無の推定では、前記画像中に前記観察物体が有ると推定した場合に当該推定した前記観察物体の位置の推定結果を出力し、前記画像中に前記観察物体が無いと推定した場合に前記観察物体が無い推定結果を出力し、
前記撮像範囲の移動では、前記観察物体無しの場合に前記撮像範囲移動機構を制御して前記撮像範囲を移動させ、前記観察物体無しでない場合に前記撮像範囲移動機構を制御して前記観察物体推定部により推定された前記観察物体の位置に向かう方向へ前記撮像範囲を移動する、
ことを特徴とする。
【請求項１８】
請求項１６又は１７記載の物体追従方法において、
前記観察物体の推定では、前記撮像部の倍率を含む光学情報と、前記撮像部と前記被写体との位置関係の情報とに基づいて前記前記撮像範囲移動機構による前記観察物体の位置へ前記撮像範囲を移動する、
ことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば顕微鏡を通して観察される微生物等の運動する物体を追従する物体追従装置及びその方法に関する。
【背景技術】
【０００２】
線虫や細菌などの微生物等の運動する物体（以下、観察物体と称する）を追跡して撮影を続ける顕微鏡として例えば特許文献１に開示されている顕微鏡がある。この顕微鏡は、トラッキング顕微鏡として呼ばれている。  
係るトラッキング顕微鏡は、近年における線虫や細胞等の長期的な動きを観察するニーズの高まりからその需要が非常に高くなっている。このようなトラッキング顕微鏡は、撮像装置と連動して動くステージを有しており、観察物体を当該ステージ上に載置して撮像し、この撮像された画像を基にして観察物体を検出し、この観察物体に合わせてステージの移動方向を決定し、このステージを移動させることによって、観察物体の追跡を可能としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２４３８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、係るトラッキング顕微鏡は、その構成上、動く観察物体の追跡の前に、当該観察物体が撮像範囲内に入るようにユーザが手動によりステージを移動等して調整する必要があるために手間を要する。あるいは、係るトラッキング顕微鏡では、ユーザによってステージを移動操作することを行わないのであれば、観察物体を待ち伏せするかの如く、観察物体が撮像範囲内に入ってくるまで待つことになり、観察物体を観察するのに非効率的である。  
本発明は、観察物体が撮像範囲内に入るようユーザが調整しなくて済み、かつ撮像範囲内に観察物体が入ってくるまで待つ必要がなく効率的に観察物体を追従できる物体追従装置及びその方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の主要な局面に係る物体追従装置は、観察物体を含む被写体の少なくとも一部の範囲を撮像して当該撮像範囲の画像を取得する撮像部と、前記撮像部により取得された前記画像を基に前記観察物体の有無を推定すると共に、前記観察物体の位置を推定する観察物体推定部と、前記被写体に対する前記撮像範囲を移動させる撮像範囲移動機構と、前記観察物体推定部の推定結果に応じて前記撮像範囲移動機構を制御して前記撮像範囲を移動させる撮像範囲制御部とを具備する。
【０００６】
本発明の主要な局面に係る物体追従方法は、観察物体を含む被写体の少なくとも一部の範囲を撮像部により撮像して当該撮像範囲の画像を取得し、前記撮像部により取得された前記画像を基に観察物体推定部により前記観察物体の有無を推定すると共に前記観察物体の位置を推定し、前記観察物体の位置の推定結果に応じて撮像範囲制御部により撮像範囲移動機構を動作して前記被写体に対する前記撮像範囲を移動させる。
【発明の効果】
【０００７】
本発明によれば、動く物体が撮像範囲内に入るようユーザが調整しなくて済み、かつ撮像範囲内に動く物体が入ってくるまで待つ必要がなく効率的に観察物体を追従できる物体追従装置及びその方法を提供できる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る物体追従装置の第１の実施形態を示すブロック構成図。
【図２】同装置における観察物体推定部を示す具体的な機能ブロック図。
【図３】同装置におけるクラス分離手段により求められる輝度画像の輝度値の度数分布を示す図。
【図４】同装置における輝度画像変換手段により得られる観察物体を含む輝度画像の一例を示す模式図。
【図５】同装置における観察物体の運動に追従させたときの撮像部の撮像範囲を示す図。
【図６】同装置におけるワーキングディスタンスを説明するための図。
【図７】同装置における追従フローチャート。
【図８】本発明に係る物体追従装置の第２の実施形態を示すブロック構成図。
【発明を実施するための形態】
【０００９】
（１）以下、本発明の第１の実施の形態について図面を参照して説明する。  
図１は顕微鏡に適用した物体追従装置のブロック構成図を示す。この本装置は、例えば線虫や細菌などの微生物等の運動する観察物体ｋを含む被写体ｈの少なくとも一部の範囲を撮像部１により撮像して当該撮像範囲の画像を取得し、この撮像部１により取得された画像を基に観察物体推定部２により観察物体ｋの有無を推定すると共に観察物体ｋの位置を推定し、このうち観察物体ｋの位置の推定結果に応じて撮像範囲制御部３により撮像範囲移動機構４を動作して被写体ｈに対する撮像範囲を移動させる。
【００１０】
この観察物体ｋの有無の推定では、画像中に観察物体ｋが有ると推定した場合に当該推定した観察物体ｋの位置の推定結果を出力し、画像中に観察物体ｋが無いと推定した場合に観察物体ｋが無い推定結果を出力する。  
撮像範囲の移動では、観察物体ｋ無しの場合に撮像範囲移動機構４を制御して撮像範囲を移動させ、観察物体ｋ無しでない場合に撮像範囲移動機構４を制御して観察物体推定部２により推定された観察物体ｋの位置に向かう方向へ撮像範囲を移動する。
【００１１】
以下、具体的な構成について説明する。被写体保持部５上には、観察物体ｋを含む被写体ｈが保持されている。この被写体保持部５は、例えばプレパラートであり、標本として観察物体ｋを含む被写体ｈが保持される。この被写体保持部５は、撮像範囲移動機構４上に配置される。  
この撮像範囲移動機構４は、被写体ｈに対する撮像部１の撮像範囲を移動させるもので、例えばプレパラートを載せるためのテーブルである。この撮像範囲移動機構４は、被写体保持部５をｘｙｚ方向、すなわち撮像部１の光軸１ａの方向とは異なる少なくとも一つの方向、例えば光軸１ａの方向に対して直交するｘｙ平面内と、光軸１ａのｚ方向に移動可能である。  
この撮像範囲移動機構４には、手動動作部６が設けられている。この手動動作部６は、ユーザの手動操作を受けて、撮像範囲移動機構４を動作させる。ここで、手動操作とは、必ずしも手動で撮像範囲移動機構４を直接動作させることに限定されるものではなく、例えば手動による移動指令を受けてモータ等の電動源を駆動させ、この電動源の駆動によって撮像範囲移動機構４を動作させることも含める。
【００１２】
撮像部１は、被写体保持部５の上方に配置され、被写体保持部５上に保持されている観察物体ｋを含む被写体ｈの少なくとも一部の範囲の動画を撮像して当該撮像範囲の動画を出力する。具体的に撮像部１は、例えば顕微鏡と撮像デバイスとを有し、顕微鏡を通して撮像デバイスにより拡大された被写体ｈの像を撮像して動画の多色画像を出力する。なお、動画は、連続するフレーム毎の複数の画像から成るので、以下の説明では、これら画像毎の処理として説明する。  
この撮像部１の顕微鏡は、ユ―ザの操作によって倍率が可変であり、かつ撮像範囲移動機構４により被写体保持部５を移動させて撮像部１の撮像範囲を移動させているときには、倍率の変更が不可能に設定されている。
【００１３】
観察物体推定部２は、撮像部１から出力された多色画像を入力し、この多色画像を基に観察物体ｋの有無を推定すると共に、観察物体ｋの位置を推定する。この観察物体推定部２は、観察物体ｋの有無の推定の結果、多色画像中に観察物体ｋが有ると推定した場合に当該推定した観察物体ｋの位置の推定結果を出力し、多色画像中に観察物体ｋが無いと推定した場合に観察物体が無い推定結果を出力する。  
具体的に、観察物体推定部２は、図２に示すように輝度画像変換手段２−１と、クラス分離手段２−２と、信頼度算出手段２−３と、物体有無判断手段２−４と、二値化処理手段２−５と、重心算出手段２−６とを有する。  
輝度画像変換手段２−１は、撮像部１から出力された多色画像を入力し、この多色画像を輝度画像に変換する。この輝度画像は、多色画像の各画素値を輝度値に変換して成る。
【００１４】
クラス分離手段２−２は、輝度画像変換手段２−１により変換された輝度画像の各画素の輝度値の大きさを基に当該輝度画像の各画素を２つ以上のクラスに分離する。このクラス分離手段２−２は、２つ以上のクラスに分離するときに、輝度画像の各画素の各輝度値をそれぞれ輝度値別に累積して図３に示すような輝度値の度数分布を求め、この度数分布に現れるピークから輝度画像の各画素を２つ以上のクラスに分離する。
【００１５】
ここで、輝度画像変換手段２−１により得られた輝度画像Ｑは、例えば図４に示すように観察物体ｋを含んだものであれば、当該観察物体ｋを示す輝度値と、この観察物体ｋの背景を示す輝度値とを含んでいる。この輝度画像Ｑの輝度値の度数分布を求めると、当該輝度値の度数分布には、観察物体ｋに対応する輝度値のピークと、この観察物体ｋの背景に対応する輝度値のピークとの２つのピークが現れる。通常、明視野観察では、観察物体ｋに対応する輝度値は、背景に対応する輝度値よりも小さいことが多い。一方、暗視野観察では、観察物体ｋに対応する輝度値が背景に対応する輝度値よりも大きいことが多い。
以下、本実施の形態では、明視野観察を例として説明する。
【００１６】
ここで、観察物体ｋに対応する輝度値のピークをＧ１とし、この観察物体ｋの背景に対応する輝度値のピークをＧ２とすると、これらピークＧ１、Ｇ２との間の谷に第１の閾値Ｓ１を設定することにより、観察物体ｋを示す輝度値のクラスＣ１と、観察物体ｋの背景を示す輝度値のクラスＣ２とに各クラスに分離することが可能である。
【００１７】
従って、クラス分離手段２−２は、図３に示すように観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２とを最大の分離度Ｂで分離するための第１の閾値Ｓ１を求め、この第１の閾値Ｓ１により輝度値の度数分布に現れる２つのピークを観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２とに分離する。ここで、分離度Ｂは、例えば判別分析法の一つである大津の方法として知られる公知の手法を用いることで得られる（「新編 画像解析ハンドブック」高木幹雄・下田陽久著、東京大学出版会、2004年9月10日出版、第1520頁から第1522頁）。ただし、大津の方法に限定されず、クラスＣ１とクラスＣ２の分離の程度を定量的に表すことができる別の公知の手法を用いてもよい。
【００１８】
信頼度算出手段２−３は、観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２とがどの程度分離しているのかを表す分離度Ｂを算出する。この分離度Ｂは、観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２とを分離する信頼性に相当する量である。すなわち、図３に示す度数分布において、観察物体ｋに対応する輝度値のクラスＣ１と観察物体ｋの背景に対応する輝度値のクラスＣ２との各ピークが明確に分かれていれば、これらクラスＣ１、Ｃ２の分離度Ｂが高く、撮像部１により撮像された多色画像中に観察物体ｋが存在する確率が高いものとなる。これに対して図３に示す度数分布にピークが明確に現れなければ、クラスＣ１、Ｃ２の分離度Ｂが低く、撮像部１により撮像された多色画像中に観察物体ｋが存在する確率が低いものとなる。
【００１９】
物体有無判断手段２−４は、信頼度算出手段２−３により算出された分離度Ｂに基づいて観察物体ｋの有無を判断する。すなわち、分離度Ｂは、観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２との分離の度合いを示すので、当該分離度Ｂに対して第２の閾値Ｓ２を設定して閾値処理することにより、観察物体ｋに対応する輝度値のクラスＣ１を観察物体ｋが存在するクラスＣ１に判断することが可能になる。すなわち、クラスＣ１とクラスＣ２の分離度Ｂが当該第２の閾値Ｓ２以上であれば、クラスＣ１に観察物体ｋが存在するものとして判断する。なお、第２の閾値Ｓ２は、図３に示す輝度値の度数分布における各ピーク値とボトム値との差分から自動的に設定してもよいし、当該度数分布をディスプレイに表示し、ユーザの操作によって手動により設定してもよいし、実験的に調整して設定してもよい。
従って、物体有無判断手段２−４は、観察物体ｋを示す輝度値のクラスＣ１を含む分離度Ｂを判別するための第２の閾値Ｓ２が設定されると、信頼度算出手段２−３により算出された分離度Ｂと第２の閾値Ｓ２とを比較し、分離度（信頼度）Ｂが第２の閾値Ｓ２よりも大きければ観察物体ｋを含むものと推定し、分離度（信頼度）Ｂが第２の閾値Ｓ２よりも小さければ観察物体ｋを含まないものと推定する。
【００２０】
二値化処理手段２−５は、クラス分離手段２−２により求められた第１の閾値Ｓ１を入力し、物体有無判断手段２−４により観察物体ｋを含むものと推定された場合、輝度画像変換手段２−１により得られた輝度画像Ｑを上記第１の閾値Ｓ１により二値化処理して二値化画像を求める。この二値化処理は、図３に示す観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２とを含む輝度画像Ｑから観察物体ｋの背景に対応する輝度値のクラスＣ２を無くし、観察物体ｋに対応する輝度値のクラスＣ１のみを残す処理となる。  
重心算出部２−６は、二値化処理手段２−５により求められた二値化画像から観察物体ｋの重心の座標を求め、この重心の座標を観察物体ｋの推定位置とする。
【００２１】
撮像範囲制御部３は、観察物体推定部２の推定結果、すなわち観察物体ｋの有無の推定結果と観察物体ｋの推定位置とに基づいて撮像範囲移動機構４を駆動制御し、運動する観察物体ｋが撮像部１の撮像範囲内に入り続けるように、すなわち図５に示すように撮像部１の撮像範囲Ｈを観察物体ｋの運動に追従させるように被写体保持部５を移動させる。なお、観察物体ｋの追従では、撮像部１の撮像範囲の中心に位置するように被写体保持部５を移動させる。  
この撮像範囲制御部３は、観察物体ｋが無しでない場合、すなわち観察物体ｋが有りの場合に、撮像範囲移動機構４を駆動制御して観察物体推定部２により推定された観察物体ｋの位置に向かう方向へ撮像部１の撮像範囲を追従する。
【００２２】
この撮像範囲制御部３は、撮像部１の倍率を含む光学情報や、撮像部１と被写体ｈとの位置関係の情報に基づいて観察物体ｋの移動に追従させる移動指令を撮像範囲制御部３に発する。すなわち、撮像範囲制御部３は、観察物体推定部２により推定された観察物体ｋの推定位置と、ワーキングディスタンス、撮像部１における顕微鏡の倍率等の光学系情報とに基に、ディストーションデータを参照して観察物体ｋを正確に撮影するための移動ベクトル、すなわち観察物体ｋを撮像部１の撮像範囲の中心に位置させて追従させるための撮像範囲移動機構４の移動方向とその移動量とを求め、これら移動方向とその移動量とを撮像範囲移動機構４に送る。なお、ここでは撮像範囲制御部３は、撮像範囲移動機構４の移動方向と移動量とが分かればよいので、撮像範囲移動機構４の移動速度は、任意でよい。
【００２３】
ここで、ワーキングディスタンスは、図６に示すように撮像部１における顕微鏡の対物レンズ１ｂと被写体ｈ中の観察物体ｋとの間隔に相当する。しかし、場合によっては、ワーキングディスタンスは、近似的に対物レンズ１ｂと被写体保持部５あるいは対物レンズ１ｂと撮像範囲移動機構４との間隔を用いてもよい。このワーキングディスタンスは、顕微鏡の倍率を変更するための各対物レンズ１ｂによって相違する。  
ディストーションデータは、被写体ｈの位置と、撮像部１の撮像面での位置との対応を示す。これら被写体ｈの位置と撮像部１の撮像面での位置との対応関係は、ワーキングディスタンスや例えば倍率などの光学系情報によって相違する。  
従って、撮像範囲制御部３は、各倍率に変更するための各対物レンズ１ｂによって相違するワーキングディスタンス及びディストーションデータを用いて観察物体ｋを撮像部１の撮像範囲の中心に位置させて追従させるための撮像範囲移動機構４の移動方向とその移動量とを求める。この撮像範囲移動機構４の移動方向は、図１に示す光軸１ａの方向に対して直交なｘｙ平面と、光軸１ａと同一方向のｚ方向とを含む。
【００２４】
一方、撮像範囲制御部３は、観察物体推定部２の推定結果が、観察物体ｋが無しの場合、例えば予め設定されている観察物体ｋの検索経路に従って撮像範囲移動機構４を駆動制御し、被写体保持部５を移動させて撮像部１の撮像範囲を被写体保持部５上に移動させる。このときの検索経路は、例えば、撮像部１の撮像範囲を被写体保持部５上面の全てにスキャンする、あるいは被写体保持部５上面の予め設定された領域のみをスキャンする方法がある。  
又、撮像範囲制御部３は、観察物体推定部２による推定結果が、観察物体ｋが無しでない場合すなわち観察物体ｋが有りの場合、上記の通り、観察物体推定部２により推定された観察物体ｋの位置に向かう方向へ撮像部１の撮像範囲を移動し、かつ手動動作部６の動作を無効にする。
【００２５】
次に上記の如く構成された装置による観察物体ｋの追従動作について図７に示す追従フローチャートに従って説明する。  
標本として例えば線虫や細菌などの微生物等の運動する観察物体ｋを含む被写体ｈが保持されている被写体保持部５が撮像範囲移動機構４上に配置される。  
撮像部１は、ステップＳＴ１において、顕微鏡を通して拡大された被写体ｈの像を入射し、この拡大された被写体ｈの像を撮像して動画の多色画像を出力する。なお、顕微鏡の倍率は、ユ―ザの操作によって観察物体ｋを観察するに適当な任意の倍率に設定されている。
【００２６】
輝度画像変換手段２−１は、ステップＳＴ２において、撮像部１から出力された多色画像を入力し、この多色画像の各画素値をそれぞれ輝度値に変換して輝度画像を得る。  
クラス分離手段２−２は、ステップＳＴ３において、輝度画像変換手段２−１により変換された輝度画像を入力し、この輝度画像の各画素の各輝度値をそれぞれ輝度値別に累積して図３に示すような輝度値の度数分布を求める。通常、明視野観察では、観察物体ｋに対応する輝度値は、背景に対応する輝度値よりも小さいことが多い。これにより、当該輝度値の度数分布には、観察物体ｋに対応する輝度値のピークと、この観察物体ｋの背景に対応する輝度値のピークとの２つのピークが現れる。従って、クラス分離手段２−２は、輝度値の度数分布に現れる２つのピーク、すなわち観察物体ｋに対応する輝度値のピークＧ１と、この観察物体ｋの背景に対応する輝度値のピークＧ２とから輝度画像の各画素を２つ以上のクラスに分離することが可能である。
【００２７】
従って、クラス分離手段２−２は、図３に示すように観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２とを最大の分離度Ｂで分離するための第１の閾値Ｓ１を求め、この第１の閾値Ｓ１により輝度値の度数分布に現れる２つのピークを観察物体ｋに対応する輝度値のクラスＣ１と、観察物体ｋの背景に対応する輝度値のクラスＣ２とに分離する。
【００２８】
信頼度算出手段２−３は、ステップＳＴ４において、クラス分離手段２−２により分離された観察物体ｋに対応する輝度値のクラスＣ１と観察物体ｋの背景に対応する輝度値のクラスＣ２との情報を入力し、これらクラスＣ１とクラスＣ２とがどの程度分離しているのかを表す分離度Ｂを算出する。この分離度Ｂは、クラスＣ１とクラスＣ２との各ピークが明確に分かれていれば高くなり、クラスＣ１とクラスＣ２との各ピークが明確に現れなければ低くなる。
【００２９】
物体有無判断手段２−４は、ステップＳＴ５において、信頼度算出手段２−３により算出された分離度Ｂを入力し、この分離度Ｂに対して第２の閾値Ｓ２を設定して閾値処理し、観察物体ｋに対応する輝度値のクラスＣ１を観察物体ｋが存在するクラスＣ１に判断する。すなわち、物体有無判断手段２−４は、観察物体ｋを示す輝度値のクラスＣ１を含む分離度Ｂを判別するための第２の閾値Ｓ２を設定し、この第２の閾値Ｓ２と分離度Ｂとを比較し、分離度Ｂが第２の閾値Ｓ２よりも大きければ観察物体ｋを含むものと推定し、分離度Ｂが第２の閾値Ｓ２よりも小さければ観察物体ｋを含まないものと推定する。
【００３０】
この推定の結果、分離度Ｂが第２の閾値Ｓ２よりも大きく観察物体ｋを含むものと推定すると、この推定の結果を受けて二値化処理手段２−５は、ステップＳＴ６において、クラス分離手段２−２により求められた第１の閾値Ｓ１を入力し、輝度画像変換手段２−１により得られた輝度画像Ｑを上記第１の閾値Ｓ１により二値化処理して二値化画像を求める。この二値化処理は、輝度画像Ｑから観察物体ｋの背景に対応する輝度値のクラスＣ２を無くし、観察物体ｋに対応する輝度値のクラスＣ１のみを含む画像となる。  
重心算出部２−６は、ステップＳＴ７において、二値化処理手段２−５により求められた二値化画像から観察物体ｋの重心の座標を求め、この重心の座標を観察物体ｋの推定位置とする。
【００３１】
撮像範囲制御部３は、ステップＳＴ８において、物体有無判断手段２−４による観察物体ｋの有りの推定結果を入力すると、重心算出部２−６により求められた観察物体ｋの推定位置とを入力し、これら観察物体ｋの推定位置に基づいて撮像範囲移動機構４を駆動制御して被写体保持部５を移動させ、例えば図５に示すように撮像部１の撮像範囲Ｈの中心に観察物体ｋが位置するように観察物体ｋの運動に追従させる。  
具体的に、撮像範囲制御部３は、観察物体推定部２により推定された観察物体ｋの推定位置と、各倍率に変更するための各対物レンズ１ｂによって相違するワーキングディスタンス、撮像部１における顕微鏡の倍率等の光学系情報とに基に、被写体ｈの位置と、撮像部１の撮像面での位置との対応を示すディストーションデータを参照して観察物体ｋを正確に撮影するための移動ベクトル、すなわち観察物体ｋを撮像部１の撮像範囲の中心に位置させて追従させるための撮像範囲移動機構４の移動方向とその移動量とを求め、これら移動方向とその移動量とを撮像範囲移動機構４に送る。
【００３２】
この撮像範囲移動機構４は、観察物体ｋを含む被写体ｈを保持する被写体保持部５を、撮像範囲制御部３により指示された移動方向とその移動量とで移動させる。この場合、撮像範囲移動機構４は、ワーキングディスタンス、撮像部１における顕微鏡の倍率等の光学系情報、ディストーションデータに従って観察物体ｋの運動に追従するように撮像範囲移動機構４をｘｙｚ方向に移動制御するので、顕微鏡の倍率が変更されても、観察物体ｋに対して合焦された状態で観察物体ｋの運動に追従する。  
なお、撮像範囲制御部３は、観察物体推定部２による推定結果、観察物体ｋが有りの場合、観察物体推定部２により推定された観察物体ｋの位置に向かう方向へ撮像部１の撮像範囲を移動するが、このとき手動動作部６の動作を無効にする。
【００３３】
一方、物体有無判断手段２−４によるステップＳＴ５での推定の結果、分離度Ｂが第２の閾値Ｓ２よりも小さく観察物体ｋを含まないものと推定すると、撮像範囲制御部３は、ステップＳＴ５からステップＳＴ９に移り、例えば予め設定されている観察物体ｋの検索経路に従って撮像範囲移動機構４を駆動制御し、被写体保持部５を移動させて撮像部１の撮像範囲を被写体保持部５上に移動させる。このときの検索経路は、例えば、撮像部１の撮像範囲を被写体保持部５上面の全てにスキャンする、あるいは被写体保持部５上面の予め設定された領域のみをスキャンするなどの方法がある。
【００３４】
このように撮像範囲制御部３による撮像範囲移動機構４の移動制御、又は予め設定された観察物体ｋの検索経路での撮像範囲移動機構４の移動制御の後、観察物体推定部２は、ステップＳＴ１０において、観察物体ｋに対する撮像を終了するか否かを判定する。この判定の結果、撮像が終了でなければ、撮像範囲制御部３は、上記ステップＳＴ２に戻る。撮像が終了であれば、撮像範囲制御部３は、ステップＳＴ１１において、撮像を終了する。
【００３５】
なお、撮像部１により被写体ｈを開始した当初に観察物体ｋを含まないものと推定したとしても、撮像範囲制御部３は、上記ステップＳＴ９において、予め設定されている観察物体ｋの検索経路に従って撮像範囲移動機構４を駆動制御し、被写体保持部５を移動させて撮像部１の撮像範囲を被写体保持部５上に移動させるものとなる。  
そして、各ステップＳＴ８、Ｓ１０から各ステップＳＴ２〜Ｓ４を経て、物体有無判断手段２−４は、再び、ステップＳＴ５において、信頼度算出手段２−３により算出された分離度Ｂと第２の閾値Ｓ２とを比較し、分離度Ｂが第２の閾値Ｓ２よりも大きければ観察物体ｋを含むものと推定すると、二値化処理手段２−５は、ステップＳＴ６において、輝度画像Ｑを第１の閾値Ｓ１により二値化処理して二値化画像を求め、重心算出部２−６は、ステップＳＴ７において、二値化画像から観察物体ｋの重心の座標を求め、撮像範囲制御部３は、ステップＳＴ８において、撮像範囲移動機構４を駆動制御して被写体保持部５を移動させ、例えば図５に示すように撮像部１の撮像範囲Ｈの中心に観察物体ｋが位置するように観察物体ｋの運動に追従させる。
【００３６】
このように上記第１の実施の形態によれば、線虫や細菌などの微生物等の運動する観察物体ｋを含む被写体ｈを撮像部１により撮像して当該撮像範囲の画像を取得し、この画像を基に観察物体推定部２により観察物体ｋの有無を推定すると共に観察物体ｋの位置を推定し、このうち観察物体ｋの位置の推定結果に応じて撮像範囲制御部３により撮像範囲移動機構４を動作して観察物体ｋが入るように撮像範囲を追従させる。  
一方、観察物体ｋが存在しない場合には、予め設定されている観察物体ｋの検索経路に従って撮像範囲移動機構４を駆動制御し、観察物体ｋが撮像範囲内に入るように検索する。
【００３７】
これにより、運動する観察物体ｋを撮像範囲内に入るようユーザが手動によりステージを移動等して調整する手間を要さず、かつユーザによってステージを移動操作することを行わない場合における観察物体を待ち伏せするかの如く、観察物体が撮像範囲内に入ってくるまで待つこともなく、効率的に観察物体ｋが入るように撮像範囲を追従させることができ、かつ観察物体ｋが撮像範囲内に入るように検索することができる。  
又、ワーキングディスタンス、撮像部１における顕微鏡の倍率等の光学系情報、ディストーションデータに従って観察物体ｋの運動に追従するように撮像範囲移動機構４をｘｙｚ方向に移動制御するので、顕微鏡の倍率が変更されても、観察物体ｋに対して合焦された状態で観察物体ｋの運動に追従できる。
【００３８】
（２）次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図１と同一部分には同一符号を付してその詳しい背対は省略する。  
図８は顕微鏡に適用した物体追従装置のブロック構成図を示す。この本装置は、例えば線虫や細菌などの微生物等の運動する観察物体ｋを含む被写体ｈを保持する被写体保持部５を固定状態とする。  
これに対して撮像部１は、撮像範囲移動機構４に設けられる。この撮像範囲移動機構４は、撮像部１をｘｙｚ方向、すなわち撮像部１の光軸１ａの方向とは異なる少なくとも一つの方向、例えば光軸１ａの方向に対して直交するｘｙ平面内と、光軸１ａのｚ方向に移動可能である。この撮像範囲移動機構４には、上記同様に、手動動作部６が設けられている。  
このような第２の実施の形態であっても、上記第１の実施の形態と同様の効果を奏することができる。
【００３９】
上記第１及び第２の実施の形態は、いずれも顕微鏡に適用した場合について説明したが、これに限らず、内視鏡に適用することもできる。この場合、撮像部１は、内視鏡における挿入部の先端部に設けられる。この挿入部は、例えば胃部等の観察物体の内部に挿入される。挿入部の先端部は、アングル機構におけるアップダウン（ＵＤ）アングルノブや右左（ＲＬ）アングルノブの操作により自在に湾曲する。  
観察物体推定部２は、撮像部１から出力された多色画像を入力し、この多色画像を基に観察物体の有無を推定すると共に、観察物体の位置を推定する。この観察物体推定部２は、観察物体の有無の推定の結果、多色画像中に観察物体が有ると推定した場合に当該推定した観察物体の位置の推定結果を出力し、多色画像中に観察物体が無いと推定した場合に観察物体が無い推定結果を出力する。
撮像範囲制御部３は、観察物体推定部２の推定結果、すなわち観察物体の有無を推定結果と観察物体の推定位置とに基づいて撮像範囲移動機構４を駆動制御し、運動する観察物体が撮像部１の撮像範囲内に入り続けるように、すなわち図５に示すように撮像部１の撮像範囲Ｈを観察物体の運動に追従させるように内視鏡における挿入部の先端部を湾曲させる。
【００４０】
このように内視鏡に適用しても、例えば運動する胃部等の観察物体を撮像範囲内に入るようユーザが手動によりアングル機構を移動等して調整する手間を要さず、かつユーザによってアングル機構を移動操作することを行わない場合における観察物体を待ち伏せするかの如く、観察物体が撮像範囲内に入ってくるまで待つこともなく、効率的に観察物体が入るように撮像範囲を追従させることができ、かつ観察物体が撮像範囲内に入るように検索することができる。又、ワーキングディスタンス、撮像部１における内視鏡の倍率等の光学系情報、ディストーションデータに従って観察物体の運動に追従するように撮像範囲移動機構４をｘｙｚ方向に移動制御するので、内視鏡の倍率が変更されても、観察物体に対して合焦された状態で観察物体の運動に追従できる。
【００４１】
クラス分離手段２−２は、輝度画像の画素毎の各輝度値をそれぞれ輝度値別に累積して図３に示すような輝度値の度数分布を求め、この度数分布において観察物体やその背景の各輝度値によってピークが２以上現れる可能性もある。この場合には、２以上のピークから観察物体に対応するピークを分離するための２つ以上の第１の閾値Ｓ１を設定する。
【００４２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４３】
１：撮像部、１ａ：撮像部の光軸、１ｂ：対物レンズ、２：観察物体推定部、３：撮像範囲制御部、４：撮像範囲移動機構、５：被写体保持部、６：手動動作部、２−１：輝度画像変換手段、２−２：クラス分離手段、２−３：信頼度算出手段、２−４：物体有無判断手段、２−５：二値化処理手段、２−６：重心算出部、ｋ：観察物体、ｈ：被写体。
【図１】
2014021181.tif 000003
【図２】
2014021181.tif 000004
【図３】
2014021181.tif 000005
【図４】
2014021181.tif 000006
【図５】
2014021181.tif 000007
【図６】
2014021181.tif 000008
【図７】
2014021181.tif 000009
【図８】
2014021181.tif 000010