(57)【特許請求の範囲】
【請求項１】
異なる方向から観察するための空間における画像入力の範囲内に対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを有する多方向画像入力装置において、
画像入力時に対象物が存在する前記画像入力の範囲内に配置された標準試料と、
前記複数の光学系の物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
この合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態で前記撮像素子が取得した前記標準試料の像情報及び、該像情報を取得する際の合焦位置の情報を対応させて記録する標準試料像記録手段と、
前記合焦位置制御手段により光学系の合焦位置を移動させながら前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、前記複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、
前記位置関係検出手段は、前記複数の光学系の各々に対し、前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像情報を用いてＸ−Ｙ平面の画素濃度値のピーク位置を検出する第１のピーク位置検出手段と、この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の標準試料の像の画素濃度値からＺ方向のピーク位置を検出する第２のピーク位置検出手段とを有し、前記複数の光学系の配置位置と、前記第２のピーク位置検出手段が求めた各光学系に対応するピーク位置と相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記標準試料観測像空間どうしの位置関係を求めることを特徴とする多方向画像入力装置。
【請求項２】
異なる方向から観察するための空間における画像入力の範囲内に対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを有する多方向画像入力装置において、
画像入力時に対象物が存在する前記画像入力の範囲内に配置された標準試料と、
前記複数の光学系の物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
この合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態で前記撮像素子が取得した前記標準試料の像情報及び、該像情報を取得する際の合焦位置の情報を対応させて記録する標準試料像記録手段と、
前記合焦位置制御手段により光学系の合焦位置を移動させながら前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、前記複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、
前記位置関係検出手段は、前記複数の光学系の各々に対し、
前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像情報を加算する像加算手段と、
加算された像情報から画素濃度値のピ―ク位置を検出する第１のピーク位置検出手段と、
この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の標準試料の像の画素濃度値から、ピーク位置を検出する第２のピーク位置検出手段とを有し、
前記複数の光学系の配置位置と、前記第２のピーク検出手段が求めた各光学系に対応するピーク位置との相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記標準試料観測像空間どうしの位置関係を求めることを特徴とする多方向画像入力装置。
【請求項３】
前記請求項１または請求項２のいずれかに記載の多方向画像入力装置において、
前記合焦位置制御手段は、前記複数の光学系の各々に設けられ、
前記位置関係検出手段により検出された複数の光学系の各々に対応する標準試料観測像空間どうしの位置関係に基づき、複数の光学系の各々の空間位置を制御する光学系位置制御手段を具備したことを特徴とする多方向画像入力装置。
【請求項４】
前記請求項１乃至請求項３のいずれかに記載の多方向画像入力装置において、
前記標準試料は、前記複数の光学系の物体空間における前記撮像素子の１画素に相当する大きさよりも小さいことを特徴とする多方向画像入力装置。
【請求項５】
前記請求項１乃至請求項３のいずれかに記載の多方向画像入力装置において、
前記標準試料は、蛍光色素を浸透させた微小球であることを特徴とする多方向画像入力装置。
【請求項６】
前記請求項１乃至請求項３のいずれかに記載の多方向画像入力装置において、
前記標準試料は、撮影範囲に比べてそれほど大きくない球体の物体であることを特徴とする多方向画像入力装置。
【請求項７】
前記請求項１乃至請求項３のいずれかに記載の多方向画像入力装置において、
前記標準試料は、先端が鋭利な試料の先端部であることを特徴とする多方向画像入力装置。
【請求項８】
異なる方向から対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを具備する多方向画像入力装置において、
画像入力時に対象物が存在する略位置に配置される蛍光物質の入った容器と、  この容器内の蛍光物質を励起する光を発生させる光源手段と、
前記複数の光学系のうちの一つである第１の光学系を利用して、前記光源手段により発せられた励起光を前記容器内で収斂させるように励起光を該第１の光学系に導く光学手段と、
前記複数の光学系の各々に設けられ、物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
前記合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態において前記撮像素子により取得された蛍光像とこの蛍光像を撮像する際の合焦位置の情報とを対応させて記録する蛍光像記録手段と、
前記複数の光学系のうちの一つであり前記第１の光学系とは別の第２の光学系において、前記合焦位置制御手段により前記光学系の合焦位置を移動させながら前記蛍光像記録手段に記録された異なる合焦位置に対応する複数の蛍光像より構成される蛍光観測像空間から、前記第１及び第２の光学系に各々対応する蛍光観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、
前記位置関係検出手段は、前記第１及び第２光学系の各々に対し、前記蛍光像記録手段に記録された異なる合焦位置に対応する複数の蛍光像を用いてＸ−Ｙ平面の画素濃度値のピーク位置を検出する第１のピーク位置検出手段と、この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の蛍光像の画素濃度値からＺ方向のピーク位置を検出する第２のピーク位置検出手段とを有し、前記第１及び第２光学系の配置位置と、前記第２のピーク位置検出手段が求めた各光学系に対応するピーク位置と相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記蛍光観測像空間どうしの位置関係を求めることを特徴とする多方向画像入力装置。
【請求項９】
異なる方向から対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを具備する多方向画像入力装置において、
蛍光を発生する対象物と共に、対象物の蛍光波長とは異なる波長の蛍光を発生する標準試料が注入される容器と、
前記対象物の蛍光波長を透過させる第１の色フィルタ及び標準試料の蛍光波長を透過させる第２の色フィルタと、
複数の光学系の各々に設けられ、前記第１及び第２の色フィルタのどちらかを光学系の光路上に設置する色フィルタ変更手段と、
前記複数の光学系の各々に設けられ、物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
前記第２の色フィルタが光路上に設置されると共に前記合焦位置制御手段により光学系の合焦位置を所定の物体空間に設定した状態において前記撮像素子により取得された標準試料の像とこの像を撮像する際の合焦位置の情報とを対応させて記録する標準試料像記録手段と、
前記合焦位置制御手段により光学系の合焦位置を移動させながら標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、
前記位置関係検出手段は、前記複数の光学系の各々に対し、前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像情報を用いてＸ−Ｙ平面の画素濃度値のピーク位置を検出する第１のピーク位置検出手段と、この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の標準試料の像の画素濃度値からＺ方向のピーク位置を検出する第２のピーク位置検出手段とを有し、前記複数の光学系の配置位置と、前記第２のピーク位置検出手段が求めた各光学系に対応するピーク位置と相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記標準試料観測像空間どうしの位置関係を求めることを特徴とする多方向画像入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象物体の画像を異なる複数の方向から入力するように構成された多方向画像入力装置に関する。
【０００２】
【従来の技術】
一般に、光学結像系を有する画像入力装置を利用して光軸に平行な断層像若しくは、３次元像（３Ｄ像）を再構成するために、対象物の像を複数の異なる方向から入力する技術が知られている。そのような装置では、各々の入力画像を断層面内で位置合わせすることが必要となる。
【０００３】
例えば、P.J.Shaw，D.A.Agard,Y.Hiraoka and J.W.Sedat,”Tilted view reconstruction in optical microscopy  ”，Biophys.J.55(1989)pp.101-110．には、回転試料ホルダを設けた顕微鏡において、合焦位置を光軸方向に移動しつつ、入力した複数の画像から構成される画像セットを互いに９０°異なる方向から２回入力し、それらを３次元空間上で位置合わせする際に、対象物体の入力画像セット間で位相相関を計算するシステムが提案されている。
【０００４】
【発明が解決しようとする課題】
前述した従来技術は、原理的に顕微鏡の対物レンズの開口（Numerical Aperture：Ｎ．Ａ．）が十分大きく、光軸を直交する２方向に設定しても各々の方向に対する３次元光学伝達特性が空間周波数上で大きくオーバーラップしているような条件の下で利用することができる。
【０００５】
しかし、この従来技術には、光学結像系の開口が小さく入力画像間の相関がとりにくい場合や対象画像の空間周波数特性に依存せずに適用できる位置合わせについては記載されていない。
【０００６】
そこで本発明は、適用範囲が広くしかも簡便で実用上有用な位置合わせ可能な多方向画像入力装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
異なる方向から観察するための空間における画像入力の範囲内に対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを有する多方向画像入力装置において、画像入力時に対象物が存在する前記画像入力の範囲内に配置された標準試料と、前記複数の光学系の物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、この合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態で前記撮像素子が取得した前記標準試料の像情報及び、該像情報を取得する際の合焦位置の情報を対応させて記録する標準試料像記録手段と、前記合焦位置制御手段により光学系の合焦位置を移動させながら前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、前記複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、前記位置関係検出手段は、前記複数の光学系の各々に対し、前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像情報を用いてＸ−Ｙ平面の画素濃度値のピーク位置を検出する第１のピーク位置検出手段と、この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の標準試料の像の画素濃度値からＺ方向のピーク位置を検出する第２のピーク位置検出手段とを有し、前記複数の光学系の配置位置と、前記第２のピーク位置検出手段が求めた各光学系に対応するピーク位置と相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記標準試料観測像空間どうしの位置関係を求めること多方向画像入力装置を提供する。
また、異なる方向から観察するための空間における画像入力の範囲内に対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを有する多方向画像入力装置において、画像入力時に対象物が存在する前記画像入力の範囲内に配置された標準試料と、前記複数の光学系の物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、この合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態で前記撮像素子が取得した前記標準試料の像情報及び、該像情報を取得する際の合焦位置の情報を対応させて記録する標準試料像記録手段と、前記合焦位置制御手段により光学系の合焦位置を移動させながら前記標準試料記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、前記複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、前記位置関係検出手段は、前記複数の光学系の各々に対し、前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像情報を加算する像加算手段と、加算された像情報から画素濃度値のピ―ク位置を検出する第１のピーク位置検出手段と、この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の標準試料の像の画素濃度値から、ピーク位置を検出する第２のピーク位置検出手段とを有し、前記複数の光学系の配置位置と、前記第２のピーク検出手段が求めた各光学系に対応するピーク位置との相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記標準試料観測像空間どうしの位置関係を求める多方向画像入力装置を提供する。
【０００８】
また異なる方向から対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを具備する多方向画像入力装置において、画像入力時に対象物が存在する略位置に配置される蛍光物質の入った容器と、  この容器内の蛍光物質を励起する光を発生させる光源手段と、前記複数の光学系のうちの一つである第１の光学系を利用して、前記光源手段により発せられた励起光を前記容器内で収斂させるように励起光を該第１の光学系に導く光学手段と、前記複数の光学系の各々に設けられ、物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、前記合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態において前記撮像素子により取得された蛍光像とこの蛍光像を撮像する際の合焦位置の情報とを対応させて記録する蛍光像記録手段と、前記複数の光学系のうちの一つであり前記第１の光学系とは別の第２の光学系において、前記合焦位置制御手段により前記光学系の合焦位置を移動させながら前記蛍光像記録手段に記録された異なる合焦位置に対応する複数の蛍光像より構成される蛍光観測像空間から、前記第１及び第２の光学系に各々対応する蛍光観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、前記位置関係検出手段は、前記第１及び第２光学系の各々に対し、前記蛍光像記録手段に記録された異なる合焦位置に対応する複数の蛍光像を用いてＸ−Ｙ平面の画素濃度値のピーク位置を検出する第１のピーク位置検出手段と、この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の蛍光像の画素濃度値からＺ方向のピーク位置を検出する第２のピーク位置検出手段とを有し、前記第１及び第２光学系の配置位置と、前記第２のピーク位置検出手段が求めた各光学系に対応するピーク位置と相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記蛍光観測像空間どうしの位置関係を求める多方向画像入力装置を提供する。
さらに、異なる方向から対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを具備する多方向画像入力装置において、蛍光を発生する対象物と共に、対象物の蛍光波長とは異なる波長の蛍光を発生する標準試料が注入される容器と、前記対象物の蛍光波長を透過させる第１の色フィルタ及び標準試料の蛍光波長を透過させる第２の色フィルタと、複数の光学系の各々に設けられ、前記第１及び第２の色フィルタのどちらかを光学系の光路上に設置する色フィルタ変更手段と、前記複数の光学系の各々に設けられ、物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、前記第２の色フィルタが光路上に設置されると共に前記合焦位置制御手段により光学系の合焦位置を所定の物体空間に設定した状態において前記撮像素子により取得された標準試料の像とこの像を撮像する際の合焦位置の情報とを対応させて記録する標準試料像記録手段と、前記合焦位置制御手段により光学系の合焦位置を移動させながら標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備し、前記位置関係検出手段は、前記複数の光学系の各々に対し、前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像情報を用いてＸ−Ｙ平面の画素濃度値のピーク位置を検出する第１のピーク位置検出手段と、この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の標準試料の像の画素濃度値からＺ方向のピーク位置を検出する第２のピーク位置検出手段とを有し、前記複数の光学系の配置位置と、前記第２のピーク位置検出手段が求めた各光学系に対応するピーク位置と相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記標準試料観測像空間どうしの位置関係を求める多方向画像入力装置を提供する。
【０００９】
この様に構成された 多方向画像入力装置は、観察する際の光学的な基準設定を満たす若しくは、観察する際に光学的な特性が得られる、形状の標準試料の像を入力することにより、光学結像系の空間特性を直接反映した像を推定することが可能になり、多方向画像入力装置における各入力画像間の位置合わせに必要な像情報が得られる。本発明は多方向画像入力装置における各光学結像系の開口が小さいために各入力画像間の相関がとりにくい場合にも適用でき、且つ対象画像の空間周波数特性にも依存せず、適用範囲が広い。
また多方向画像入力装置は、多方向画像入力装置における各光学結像系を利用して収斂させたレーザ光を試料空間に設置した蛍光物質に照射することにより、試料空間に微小試料を設置したのと同様の効果をもたらすように構成される。さらに、観測すべき蛍光試料と位置合わせに用いる対象物の蛍光波長とは異なる波長の蛍光を発生する標準試料を混在させた溶液を用い、標準試料の蛍光波長を選択的に透過させる色フィルタを用いて標準試料像のみが入力される。
【００１０】
【発明の実施形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００１１】
図１には、本発明による第１の実施形態としての多方向画像入力装置の構成例を示し説明する。この装置は、大別して、２つの顕微鏡１、顕微鏡２及び、標準試料設置部３、プロセッサ４とで構成される。
【００１２】
前記顕微鏡１，２は、同じに構成され、任意の試料を設置する物体空間（以下、試料空間と呼ぶ）上で各々の光軸が直角に交わるように構成されている。前記顕微鏡１，２は、主な構成部位として、対物レンズ５，６、焦点の合った物体面（合焦面）の位置を光軸方向に駆動制御するための合焦面制御器７，８、試料の像を撮像するためのＴＶカメラ９，１０により構成される。
【００１３】
なお、入力画像の画素間距離に相当する試料空間での実サイズは、予め標準スケールを用いるなどして計測されて、分かっているものとする。これは、顕微鏡１，２の各々による観測画像空間に対して、共通の３Ｄスケールを定義するために必要となる。つまり、顕微鏡１による観測画像空間において光軸方向にｚ座標を定義すると、顕微鏡１による観測画像空間では、そのｚ座標は結像面内の水平方向に対応する。
【００１４】
従って、共通な３Ｄスケールを定義するためには、画像内の実サイズと合焦面の実移動距離とが分かっていることが必要である。
【００１５】
また、合焦面制御器７，８の構成例としては、例えば、ステッピングモータが内蔵され、プロセッサ４内のステッピングモータのコントローラ１７，１８により発生されるパルス数により、対物レンズ５，６の移動距離がそれぞれに制御され、合焦面位置に設定されるようになっている。
【００１６】
従って、入力される複数の画像の各々に対応する合焦面の位置は、プロセッサ４で常に把握できる。なお、合焦面制御器７，８内に対物レンズ５，６の光軸方向の位置を検出するエンコーダを設け、検出されたエンコード信号をプロセッサ４にフィードバックするように構成しても良い。
【００１７】
以上のような構成により、合焦面を移動させながら入力された複数の画像を配列することにより構成される３Ｄ観測画像空間のｘ，ｙ，ｚスケールは、各顕微鏡１，２の入力画像に対して、共通なスケールとして記述される。その他に、各顕微鏡１，２により入力された画像を相互に利用するために必要なのは、各顕微鏡画像入力系に対して共通な原点の情報である。
【００１８】
本実施形態では、以下に述べるような微小標準試料を用いた構成により、３Ｄ観測画像空間の原点を決定する。
【００１９】
図２には、前記標準試料設置部３の詳細な構成例を示す。
【００２０】
この標準試料設置部３において、微小試料２０を保持するホルダ３１は、ホルダ回転制御装置３２により、必要に応じて対物レンズ５，６（顕微鏡１，２）の光軸が交わる付近の試料空間上の位置に微小試料２０が設置されるように駆動制御される。
【００２１】
この標準試料設置部３の動作は、位置情報を得るための「キャリブレーションモード」と目的とする試料を観察するための「観察モード」とを有する。前記キャリブレーションモードでは、微小試料２０が試料空間に設置され、その画像が顕微鏡１，２により同時に入力される。
【００２２】
以下、本発明に関係するキャリブレーションモード時の構成動作について説明する。
【００２３】
前記顕微鏡１，２の各々において、合焦面制御器７，８により、合焦面を移動させながら異なる合焦面に対応する複数の微小試料２０の画像が撮像され、画像信号はプロセッサ４に入力される。
【００２４】
このプロセッサ４内ではＡ／Ｄ変換器１２，１３により、それぞれ画像信号がディジタル変換され、メモリ１４，１５に記録される。このようにしてメモリ１４，１５には、合焦面の異なる複数の画像が記録される。
【００２５】
次に、累積加算器１６によりメモリ１４に記録された複数の画像間の加算が実行され、その結果は、１枚の画像としてメモリ内部バス２１を介して、メモリ２３に記録される。このメモリ２３に記録された加算画像からは、ピーク検出器２４により２次元のピーク座標が検出され、その座標値は、メモリ２５に記録される。
【００２６】
この加算画像における濃度のピークは、前記標準試料２０の３Ｄ空間上の位置に対応して出現する。続いて、メモリ１４に記録されている各画像から、ピーク座標に相当する画像濃度値が、次々に読み出され、１次元プロフィールとしてメモリ２３に記録される。そしてピーク検出器２４では、メモリ２３に記録された１次元プロフィールからピーク座標が検出され、その座標値はメモリ２５に記録される。
【００２７】
以上説明した動作は、メモリ１５に記録されている画像についても同様に行なわれ、結果的に顕微鏡１，２の両方から入力された微小試料２０に対する３Ｄ観測画像の各々について、ピーク座標が検出され、３Ｄ観測空間の共通の原点と定義される。なお、メモリ２５には、予め求められていたｘ，ｙ，ｚ方向のスケール情報も記録されている。これらの標準試料の像情報とその像を撮像する（取り込む）際の合焦位置の情報とは、対応されてメモリに記憶されるものとする。
【００２８】
このようにして求められた各顕微鏡画像入力系における３Ｄ観測画像の原点およびｘ，ｙ，ｚスケール情報は、観測モードにおいて各顕微鏡からの入力画像間の位置合わせに利用される。なお、プロセッサ４内には、合焦面制御器７，８を駆動制御するコントローラ１７，１８及び、標準試料設置部３を駆動制御するコントローラ１９が内蔵される。プロセッサ４全体の制御はＣＰＵ２２で行なわれ、各構成要素間の信号伝達は内部バス２１を介して行なわれる。
【００２９】
前記微小試料２０としては、メモリ１４，１５に記録されるディジタル画像の１画素に相当する試料空間上の大きさより小さい物体が用いられる。微小試料２０の例としては、光軸に沿った方向に断面が円形であればよく、微小金属球や円錐、円柱等の形状を用いれば良い。
【００３０】
また、顕微鏡１，２が蛍光顕微鏡の場合には、蛍光色素を浸透させた微小球（蛍光ビーズ）を用いても良い。
【００３１】
一方、微小試料２０の代わりに、撮像範囲に比べてそれほど大きくない球状の物体を用いてもよい。この球状の物体は、３Ｄ空間の全方向に対して十分な帯域を有すると考えられるので、微小試料を用いた場合の入力画像と相似で大きさが拡大された画像が観測されることになり、ピークは検出できる。また、図３に示すような先端が鋭利な試料の先端部を疑似的な微小試料として用いるように構成しても良い。先端が鋭利な試料の例として、半導体プロセスで作成される微小針などを用いれば良い。
【００３２】
次に、この様に構成された多方向画像入力装置の作用について説明する。
【００３３】
この多方向画像入力装置は、微小試料３Ｄ像を入力し、ピーク座標を検出することにより観測画像空間座標の原点を設定する作用を有する。
【００３４】
図４には、試料空間と３Ｄ観測画像空間との概念を示す。
【００３５】
一般に、光学結像系は、光軸方向に強い帯域制限を受けるが、光学顕微鏡に用いられるような開口（Ｎ．Ａ．）の大きい光学結像系の場合には、焦点深度が比較的浅いため、微小試料の３Ｄ像は、結像面方向に比べて光軸方向に長く伸びるものの微小試料の存在する位置に加算画像における濃度のピークが現れる。
【００３６】
従って、そのような３Ｄ像のピークを検出することにより観測画像空間における座標の原点を設定することが可能になる。本実施形態に示すような多光軸顕微鏡において、試料空間に設置した微小試料を各顕微鏡から観測し、各々の観測空間の原点を設定すれば、各顕微鏡により入力された画像どうしは、共通の３Ｄ空間上で扱われることが可能になる。
【００３７】
図５を参照して、本実施形態における、さらに微小試料の３Ｄ像からピーク座標を検出するための手法について説明する。
【００３８】
まず、結像面に平行なＸ−Ｙ面において、ピークを検出するために、合焦面を移動させながら入力した複数の画像をＺ方向に累積加算し、その累積加算画像内で２Ｄの検索を行ない、ピーク位置を検出する。これでＸ，Ｙ座標に対する原点が検出できる。次にＸ−Ｙ面のピーク座標に相当する画素濃度値を各入力画像から読みだすことにより作成されるＺ方向の１次元プロフィールからピーク座標を検出する。そのようにしてＺ方向の原点を検出できる。
【００３９】
以上説明したように、第１の実施形態によれば、標準試料に微小試料またはそれに準ずる物体を用いることにより、光学結像系３Ｄ空間特性を直接反映した３Ｄ像を入力することができるため、３Ｄ観測像のピークを検出することにより容易に原点を設定することができる。
【００４０】
このような操作を同一の標準試料像に対して複数の画像入力系の各々で行なうことにより、各３Ｄ観測画像空間について求めた原点を共通の原点として扱うことが可能になり、異方向からの入力画像間の位置合わせが実現される。また各入力画像における画素間距離と合焦面の位置はプロセッサ４内で把握されているので、これらと原点の位置情報とで各３Ｄ観測画像空間について共通な３Ｄ座標が定義されることになる。
【００４１】
さらには、本実施形態に示したピーク座標検出法によれば、ピーク検出は２Ｄと１Ｄの検索を１回づつ行なえば良く、ピーク座標を３Ｄ観測空間から直接検索するよりも簡便になる。つまり、大量の画素で構成される３Ｄ像に対して直接検索を行なう必要がなくなり、簡便な方法でピーク座標が検出される。
【００４２】
次に図６には、本発明による第２の実施形態としての多方向画像入力装置の構成例を示し、説明する。図６に示す構成部材で図１に示す第１の実施形態の部材と同等の部材には、同じ参照符号を付して、その説明を省略する。
【００４３】
本実施形態は、顕微鏡１がｘ−ｙ−ｚ自動ステージ３４により保持されるように構成されたものである。また、プロセッサ４内には内部バス２１にコントローラ３５が設けられ、コントローラ３５からの制御信号により、ｘ−ｙ−ｚ自動ステージ３４が駆動され、顕微鏡１の空間位置が微調整される。
【００４４】
この様に構成された第２の実施形態の作用について説明する。
【００４５】
本実施形態は、第１の実施形態と同様な構成動作により検出された３Ｄ観測画像空間の原点が、３Ｄ観測画像空間の中央に位置するように顕微鏡１の位置を微調整する作用を有する。
【００４６】
まず、第１の実施形態と同様にして、顕微鏡１における３Ｄ観測画像空間上の原点が観測されると、３Ｄ観測画像空間の中心と原点とのｘ，ｙ，ｚ各方向に対する距離が求められ、その距離情報に従ってｘ−ｙ−ｚ自動ステージ３４が駆動制御される。そして、再び標準試料画像が入力され、３Ｄ観測画像空間の原点が検出される。
【００４７】
以上の動作を数回繰り返すことにより、３Ｄ観測画像空間において原点と中心が一致するようになる。
【００４８】
本実施形態によれば、３Ｄ観測画像空間において原点が中心に一致する条件が得られるので、観測モード時に各顕微鏡からの入力画像を相互利用する際に最も大きな画角サイズを利用できる。つまり、各顕微鏡からの入力画像を位置合わせする際に入力画像のアドレスをシフトさせる必要が無くなり、再構成画像が入力画像よりも小さくなることが無い。
【００４９】
なお、本実施形態において顕微鏡２に対してもｘ−ｙ−ｚ自動ステージを設け、両顕微鏡に対して同様に位置調整を行なわせるように構成しても良い。
【００５０】
次に図７には、本発明による第３の実施形態としての多方向画像入力装置の構成例を示し説明する。
【００５１】
本実施形態は、第１の実施形態と同様に、微小試料の入力画像から３Ｄ観測画像空間上の原点を求める際に、平行投影画像から原点を推定する方法に関する。図７は、本実施形態のプロセッサ４０の構成を示すが、顕微鏡等の他の構成は、第１実施形態と同様である。
【００５２】
この多方向画像入力装置は、第１実施形態と同様に、顕微鏡１，２により合焦面を移動されながら入力された微小試料の画像は、プロセッサ４０内のＡ／Ｄ変換器４１，４２により、ディジタル画像信号に変換され、メモリ４３，４４に記録される。メモリ４３に記録された合焦面の異なる複数の画像から構成される３Ｄ観測像は、像回転部４５により、所定の角度φだけ回転される。なお像回転部４５には、角度φの回転操作のための読み出しアドレスや補間係数が保存されているＲＯＭ及び、積和演算装置等が含まれ、３Ｄ観測像が補間処理を施されながら回転処理されるように構成されている。
【００５３】
そして、所定の角度φだけ回転された３Ｄ観測像は、メモリ４６に記録され、次に累積加算器４７によりＺ−方向に累積加算されて、メモリ４８に角度φ方向に対する２次元（２Ｄ）投影画像として、メモリ４８に記録される。メモリ４８に記録された２Ｄ投影画像からは、ピーク検出器４９によりピーク位置が検出される。このような操作は、異なる回転角度φに対して繰り返され、各角度方向についてのピーク座標が検出される。
【００５４】
次に検出されたピーク座標は、サインカーブ回帰解析器５０に送られ、所定の解析が行なわれた結果、原点座標が検出されてメモリ５１に記録される。以上の動作は、メモリ４４に記録されている顕微鏡２による３Ｄ観測像に対しても同様に行なわれる。
【００５５】
またプロセッサ４０内には、第１の実施形態のコントローラ１７，１８，１９に相当するコントローラ５２，５３，５４が設けられる。またプロセッサ４０の全体の制御はＣＰＵ５５で行なわれ、各構成要素間の信号伝達は内部バス５６を介して行なわれる。
【００５６】
次に図８の概念図を参照して、この様に構成された多方向画像入力装置の作用について説明する。本実施形態では、微小試料の３Ｄ観測像から以下のような作用により原点を検出する。
【００５７】
まず、３Ｄ観測像を光軸方向に平行投影することにより、図８に示す投影像１を作成し、Ｘ−Ｙ平面内の原点を検出する。
【００５８】
次に３Ｄ観測像を光軸に対して、３Ｄ観測空間の中央を中心として角度φの方向に投影し、図８に示す投影像２を作成することを考える。なお、図８では画像が角度方向φに投影されるように記述しているが、図７に示した構成によれば、画像自体が角度−φだけ回転されてから、Ｚ方向に投影されることにより、実現される。
【００５９】
しかし、どちらでも同じ投影像が得られることは明白である。実際に微小試料の存在する位置が３Ｄ観測空間の中央より光軸方向に距離ｄだけずれていたとすると、投影像におけるピーク座標の中央からのずれは次式で表される。
【００６０】
【数１】
0003727704.tif 000002
【００６１】
従って、数種類の角度方向φに対してピーク座標を検出し、それらをサインカーブで回帰近似することにより、ｄを推定することができる。なお、対物レンズ５，６のＮ．Ａ．によりピーク検出が可能な角度方向φは、次式が満足される範囲に限られるので、その範囲内でいくつかの角度方向φを選択すれば良い。
【００６２】
【数２】
0003727704.tif 000003
【００６３】
本実施形態によれば、原点を検出する際に２Ｄ投影画像からピーク座標を検出するので、３Ｄ観測像から直接ピーク座標を検出するよりもピーク検出が簡便に行なえる。また複数の投影画像から検出されたピーク値から原点を推測するため、検出誤差をキャンセルでき、最も確からしい原点の位置を推測することが可能になる。
【００６４】
本実施形態は図７と同様な構成で以下に示すように動作させても良い。まず光軸と平行な方向への２Ｄ投影画像からＸ−Ｙ平面内の原点を検出する。次に、メモリ５０３または５０４に記録されている３Ｄ観測像から検出されたＸ−Ｙ原点を通り、かつ回転面に平行な画像を読みだす。読み出された２Ｄ画像は所定の角度φだけ回転された後にＺ方向に累積加算され、１Ｄ平行投影像が作成される。ピーク検出はこの１Ｄプロフィールについて行なわれる。以上のように構成すれば、ピーク検出は１Ｄ上の検索になるためより簡便に行なえ、しかも精度良く原点が検出できる。
【００６５】
次に図９には、本発明による第４の実施形態としての多方向画像入力装置の構成例を示し説明する。
【００６６】
この多方向画像入力装置は、多光軸画像入力系において微小試料に対する各方向からの入力画像間の相関を利用することにより、各３Ｄ観測像空間どうしの相対位置関係を求める装置である。
【００６７】
図９に示す本実施形態のプロセッサ６００以外の他の構成は、図１に示した第１実施形態と同様に構成されているものとする。即ち、顕微鏡１，２により合焦点面を移動されながら入力された微小試料の画像は、プロセッサ６０内のＡ／Ｄ変換器６１，６２によりディジタル画像信号に変換され、メモリ６３，６４に記録される。
【００６８】
次にＦＦＴが実行されるように構成されたＤＳＰ６５において、メモリ６３，６４の各々には、記録された合焦面の異なる画像から構成される３Ｄ観測像に対して３Ｄフーリエ変換が行なわれ、再びメモリ６３，６４に記録される。続いて積和演算器６６において、前記メモリ６３，６４に記録された各３Ｄフーリエ像を用いて、所定の積和演算が行なわれ、その結果は、メモリ６４に記録される。メモリ６４に再記録された３Ｄフーリエ像に対してＤＳＰ６５では、３Ｄ逆フーリエ変換が実行され、その結果は、メモリ６３に記録される。
【００６９】
以上の構成動作により、各３Ｄ観測像間の３Ｄ相関が計算される。ピーク検出器６７では、メモリ６３に記録された３Ｄ相関像からピーク座標が検出され、座標値はメモリ６８に記録される。メモリ６８に記録された３Ｄ相関ピーク座標は各入力光学系による観測像間の相対位置関係として観測モード時に利用される。またプロセッサ６０内には第１の実施形態のコントローラ１７，１８，１９に相当するコントローラ６９，７０，７１が設けられる。またプロセッサ６０全体の制御はＣＰＵ７２で行なわれ、各構成要素間の信号伝達は内部バス７３を介して行なわれる。
【００７０】
この様に構成された第４の実施形態の作用について説明する。本実施形態は、次式で定義される３Ｄ観測像間の相関を計算する作用を有する。
【００７１】
【数３】
0003727704.tif 000004
【００７２】
ただし、ｇ1 (r) ，ｇ2 (r) は各々多光軸画像入力系における第１、第２の３Ｄ観測像である。またベクトルｒ，ｔは共に３Ｄ直交座標空間で定義される座標ベクトルである。微小試料を用いる場合、（３）式は以下のように展開できる。
【００７３】
【数４】
0003727704.tif 000005
【００７４】
ただし、ｈ1 (r) ，ｈ2 (r) は各々多光軸画像入力系における第１、第２の３Ｄレスポンス関数、δ(r) は微小試料を表すデルタ関数、ｒs は第１、第２の３Ｄ観測像間の相対的位置ずれを表す３Ｄベクトル、および* は３Ｄコンボリューションのオペレータである。（４）式を計算すると３Ｄ相関像ｓ(t) において点ｒs の位置にピークが出現するので、これを検出することにより相対的位置関係が分かる。本実施形態では３Ｄ相関を求める際に、以下に示すように３Ｄフーリエ変換を用いた計算を行なっている。（３）式は次式のように書き換えることができる。
【００７５】
【数５】
0003727704.tif 000006
【００７６】
ただし、Ｆ３Ｄ｛｝は３Ｄフーリエ変換のオペレータ、Ｆ＊３Ｄ｛｝は３Ｄフーリエ変換および複素共約のオペレータ、Ｆ３Ｄ−１｛｝は３Ｄ逆フーリエ変換のオペレータである。３Ｄ観測像ｇ１  (r) ，ｇ２  (r) は３Ｄフーリエ変換像Ｇ１  (u) ，Ｇ２  (u) （但し、ｕは３Ｄ直交空間の空間周波数座標）を以下のように書き改める。
【００７７】
【数６】
0003727704.tif 000007
【００７８】
この場合、３Ｄフーリエ空間で行なう演算は次式で表される。
【００７９】
【数７】
0003727704.tif 000008
【００８０】
前記積和演算器６６では、２つの３Ｄフーリエ像に対して（７）式に基づく演算を実行する。このようにして算出された２つの３Ｄ観測像の相関像より、ピーク座標を検出することにより相対的位置関係を求めることができる。
【００８１】
ところで、多光軸光学結像系の各光学系のＮ．Ａ．が非常に大きい場合でなければ、各３Ｄ観測像間の相関は弱く、任意の試料に対して常に精度良く相関ピークを検出するのは難しい。
【００８２】
ところが本実施形態によれば、理想的な点物体として扱える微小試料を用いるために光学結像系本来の結像特性を表す３Ｄ観測像を得ることができ、最も理想的な３Ｄ相関像を求めることができる。つまり、各光学結像系の間にわずかでも相関性があれば、微小試料の３Ｄ観測像を用いて相関ピークを検出することが可能になる。
【００８３】
よって、相関法によれば第１〜第３の実施形態に示したような各３Ｄ観測空間に共通な座標を求めるような操作は必要なく、３Ｄ観測像間の相対的位置関係が直接求められることになるため、記録すべき情報が少なくて済むと同時に位置合わせの処理が簡便になる。
【００８４】
次に図１０には、本発明による第５の実施形態としての多方向画像入力装置の構成例を示し説明する。
【００８５】
この多方向画像入力装置は、蛍光色素溶液に対物レンズで絞ったレーザ光を照射することにより、試料空間に微小試料を設置したのと同様の効果をもたらすように構成したものである。
【００８６】
この多方向画像入力装置において、顕微鏡８１，８２はそれぞれ対物レンズ８３，８４を有し、第１の実施形態と同様に、試料空間で光軸が直交するように配置され、顕微鏡８１，８２も同様に合焦面制御器やＴＶカメラも設けられるがここでは図示を省略する。
【００８７】
試料空間にはキャリブレーションモード時に容器８５が設置され、中には蛍光色素溶液８６が注入される。またレーザ光学系が以下のように構成される。
【００８８】
レーザ８７から発せられるレーザ光は、レーザビームエキスパンダ８８により所望のビームサイズに変換され、ミラー８９により顕微鏡８１内に導入される。顕微鏡８１内にはミラー９０が設置され、対物レンズ８３の結像光学系を利用してレーザ光が容器８５内で収斂されるように構成されている。顕微鏡８１には図示しない合焦面制御器が設けられているが、顕微鏡８１内にレーザ光が導かれる際は、その合焦面制御器により顕微鏡８１の合焦面は３Ｄ観測画像空間上で定義される光軸方向の座標の中央に設定される。この時、顕微鏡８２では合焦面を移動させながら複数の画像が入力され、プロセッサ８０に転送される。プロセッサ８０は第１の実施形態のプロセッサ４と同様に構成され、顕微鏡８２を利用して入力された３Ｄ観測像からピーク座標が検出される。
【００８９】
なお、観測モード時では容器８５の代りに試料が溶液と共に注入された容器８５と同じ仕様の別の容器が設置され、内部の試料が観測される。また、対物レンズ８３，８４は水浸レンズで構成され、両対物レンズと容器８５とを全て液体中に浸すような新たな容器を設けるように構成しても良い。その場合、容器８５は周囲の液体と屈折率が近い物質で構成される。
【００９０】
次に、本実施形態の作用について説明する。
【００９１】
本実施形態では、顕微鏡８１の光学結像系利用して容器８５内に作成したレーザ光スポットにより蛍光色素溶液８６を励起することにより、微小試料を試料空間内に設置したのと同様の作用をもたらす。レーザ光は空間的コヒーレンスに優れているため、理想的なスポット光を作成することができる。レーザ光スポットは顕微鏡８１の３Ｄ観測空間上の原点に対応する位置に出現するため、その位置を顕微鏡８２の３Ｄ観測像から検出することにより、両光学結像系の相対位置関係を知ることができる。
【００９２】
従って、本実施形態によれば、容器８５を試料空間に設置するという簡単な方法により試料空間に微小試料を設置したのと同様の効果を得ることかできるため、装置構成や操作が簡便になる。
【００９３】
次に第６の実施形態の多方向画像入力装置について説明する。
【００９４】
この第６の実施形態は、蛍光色素溶液に対物レンズで絞ったレーザ光を照射するように構成されるが、２光子励起現象を利用するため、赤外域の強パルス光を発生させる機種が用いられる。レーザパルス光が連続的に照射される間、顕微鏡８２では、十分なコントラストの画像が得られるまでＴＶカメラのシャッタは解放され、その後に画像信号がプロセッサ８０に転送される。
【００９５】
この第６の実施形態の作用について説明する。
【００９６】
本実施形態は、レーザ光源に蛍光物質の励起波長の２倍の波長のパルスレーザ光を用いることにより、蛍光色素の２光子励起現象を利用するものである。２光子励起による蛍光は通常極めて観測しにくいが、強レーザパルス光を収斂させることにより作成された高エネルギーな局所空間においては観測が可能な蛍光が発生されるようになる。そのような２光子励起蛍光が発生されるのは極めて微小な空間に限られるため、光学結像系の焦点深度より遥かに狭い範囲で発光する理想的な微小点光源が得られることになる。
【００９７】
従って、本実施形態によれば、理想的な微小蛍光点を観測できるため、精度に優れた位置合わせが行なえる。
【００９８】
次に図１１には、本発明による第７の実施形態としての多方向画像入力装置の構成例を示し説明する。
【００９９】
この多方向画像入力装置は、観測すべき試料と位置合わせに用いる微小試料を混在させた溶液を用いるように構成したものである。
【０１００】
この多方向画像入力装置は、顕微鏡９１，９２は、前述した第１の実施形態と同様に試料空間で光軸が直交するように配置される。なお、顕微鏡９１，９２には、第１の実施形態と同様に、対物レンズ、合焦面制御器、ＴＶカメラが設けられるが、図示を省略する。
【０１０１】
まず、試料空間には容器９３が設置され、中には適当な密度で微小蛍光球９４と共に観測すべき試料９５が注入されている。なお、微小蛍光球９４と試料９５とは、異なる波長領域に蛍光スペクトルを有する２種類の蛍光色素でそれぞれ染色されている。また顕微鏡９１の光路上には、透過波長領域の異なる２種類の色フィルタ９６，９７が設置され、必要に応じてどちらかが使用される。これらの色フィルタ９６，９７の切り替えは、フィルタ変更部９８により行なわれる。
【０１０２】
このような構成においては、キャリブレーションモード時に、微小蛍光球９４の蛍光波長を選択的に透過させる色フィルタ９６が光路上に設置され、顕微鏡９１により微小蛍光球９４の画像が入力される。また観測モード時には、試料９５の蛍光波長を選択的に透過させる色フィルタ９７が光路上に設置され、試料９５が観測される。
【０１０３】
以上のような構成は図１１では図示は省略するが、顕微鏡９２においても同様に設けられている。各顕微鏡９１，９２で入力された微小蛍光球９４の画像はプロセッサ９９に入力され、第１の実施形態と同様な処理が行なわれることによりピーク座標が検出される。ただし、本実施形態では画像内に撮像されている複数の微小蛍光球９４の画像の各々についてピーク座標を検出し、それらの位置座標を全て共通のアドレスで認識できるような３Ｄ観測像空間が定義される。なお、プロセッサ９９内には内部バス１００上のフィルタ変更部９８を制御するためのコントローラ１０１が設けられているが、それ以外の構成は第１の実施形態のプロセッサ９９と同様に構成される。
【０１０４】
次に、本実施形態の作用について説明する。
【０１０５】
本実施形態は、キャリブレーションモードと観測モードとで試料空間上での構成を変更させることなく、色フィルタ９６，９７を変更することでキャリブレーションモード時に微小蛍光球９４の画像が選択的に入力されるように構成されたものである。
【０１０６】
従って、本実施形態によれば、試料空間における構成や操作をより簡便にすることができる。またキャリブレーションモードと観測モードとの時間差を短くすることができるため、より正確な位置合わせが実現できる。また複数の微小蛍光球９４についての位置合わせを利用できるため、精度を向上できるという効果もある。
【０１０７】
以上の実施形態について説明したが、本明細書には以下のような発明も含まれている。
【０１０８】
（１）  異なる方向から観察するための空間における画像入力の範囲内に対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを有する多方向画像入力装置において、  画像入力時に対象物が存在する前記画像入力の範囲内に配置し、観察する際の光学的な基準設定が行える形状の標準試料と、
前記複数の光学系の物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
この合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態で前記撮像素子が取得した前記標準試料の像情報及び、該像情報を取得する際の合焦位置の情報を対応させて記録する標準試料像記録手段と、
前記合焦位置制御手段により光学系の合焦位置を移動させながら前記標準試料記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、前記複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、
を具備することを特徴とする多方向画像入力装置。
【０１０９】
この発明に関する実施の形態は、第１、３、４の実施形態が対応する。
【０１１０】
本発明によれば、観察する際に光学的な特性が得られる形状の標準試料の像を入力することにより、光学結像系の空間特性を直接反映した像を推定することが可能になり、多方向画像入力装置における各入力画像間の位置合わせに必要な像情報を得ることができる。従って、本発明に多方向画像入力装置における各光学結像系の開口が小さいために各入力画像間の相関がとりにくい場合にも適用できると共に、対象画像の空間周波数特性にも依存しない、適用範囲が広くしかも簡便で実用上有用な位置合わせ方法を提供することができる。
【０１１１】
（２）  前記（１）項に記載の多方向画像入力装置において、
前記位置関係検出手段は、
複数の光学系の各々に対応する標準試料観測像空間に対して、観測した標準試料の像の位置を原点とする絶対番地座標により、標準試料観測像空間どうしの位置関係を検出することを特徴とする。
【０１１２】
（３）  前記（２）項に記載の多方向画像入力装置において、
前記位置関係検出手段は、
複数の光学系の各々に対応する標準試料観測像空間から、標準試料に対して、最も焦点の合った位置をピーク位置として検出する機能を有することを特徴とする。
【０１１３】
（４）  前記（３）項に記載の多方向画像入力装置において、
前記位置関係検出手段は、前記複数の光学系の各々に対し、
前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像情報を加算する像加算手段と、
加算された像情報から画素濃度値のピ―ク位置を検出する第１のピーク位置検出手段と、
この第１のピーク位置検出手段により検出されたピーク位置における異なる合焦位置に対応する複数の標準試料の像の画素濃度値から、ピーク位置を検出する第２のピーク位置検出手段とを有し、
前記複数の光学系の配置位置と、前記第２のピーク検出手段が求めた各光学系に対応するピーク位置との相対的な位置関係を求め、前記第１及び第２のピーク位置検出手段が求めた各光学系に対するピーク位置が同じ位置にあると判断することによって、前記複数の光学系の各々に対応する前記標準試料観測像空間どうしの位置関係を求めることを特徴とする多方向画像入力装置。
【０１１４】
（５）  前記（４）項に記載の多方向画像入力装置において、
前記位置関係検出手段内の第１のピーク位置検出手段と第２のピーク位置検出手段は、同一に構成し使用する、若しくは１つのピーク位置検出手段を切り換えて使用することを特徴とする。
【０１１５】
（６）  前記（３）項に記載の多方向画像入力装置において、
前記位置関係検出手段は、
前記標準試料像情報記録手段に記録された異なる合焦位置に対応する複数の標準試料の像を用いて、光軸方向に対して所定の角度方向に平行投影像を生成する平行投影手段と、
平行投影像からピーク位置を検出するピーク位置検出手段と、
ピーク位置を利用して標準試料の位置を推定する位置推定手段と、
を具備することを特徴とする。
【０１１６】
この発明に関する実施の形態は、第１実施形態が対応する。
【０１１７】
本発明によれば、標準試料の像より多方向画像入力装置における各入力画像間の位置合わせに有効な指標となる像情報（例えばピーク座標）を検出することにより、複数の光学系の各々に対応する標準試料観測像空間の座標を容易に設定することができる。そして、そのような操作を同一の標準試料像に対して複数の画像入力系の各々で行なうことにより、各標準試料観測像空間について求めた座標を共通の座標として扱うことが可能になり、異方向からの入力画像間の位置合わせが実現される。
【０１１８】
（７）  前記（１）項に記載の多方向画像入力装置において、
前記位置関係検出手段は、
複数の光学系の各々に対する標準試料観測像空間どうしの相関を検出することにより、標準試料観測像空間どうしの位置関係を検出することを特徴とする。
【０１１９】
（８）  前記（７）項に記載の多方向画像入力装置において、
前記位置関係検出手段は、
複数の光学系の各々に対する標準試料観測像空間に対してフーリエ変換を行なうフーリエ変換手段と、
フーリエ変換された複数の光学系の各々に対する標準試料観測像空間から、フーリエ空間で定義される相互相関演算を行なう相互相関演算手段と、
相互相関演算手段により算出されたフーリエ空間における相互相関像を逆フーリエ変換する逆フーリエ変換手段と、
逆フーリエ変換された相互相関像からピーク位置を検出するピーク位置検出手段と、
を具備することを特徴とする。
【０１２０】
（９）  前記（８）項に記載の多方向画像入力装置において、
前記位置関係検出手段内のフーリエ変換手段と逆フーリエ変換手段は、同一の手段により構成されることを特徴とする。
【０１２１】
この発明に関する実施の形態は、第４実施形態が対応する。
【０１２２】
本発明によれば、あらかじめ形状の分かっている標準試料の像を入力することにより、光学結像系の空間特性を直接反映した像を推定することが可能になり、最も理想的な標準試料観測像空間どうしの相関像を求めることができる。相関法によれば、標準試料観測像間の相対的位置関係が直接求められることになるため、記録すべき情報が少なくて済むと同時に位置合わせの処理が簡便になる。
【０１２３】
（１０）  前記（１）項に記載の多方向画像入力装置において、
前記標準試料は、前記標準試料像記録手段に記録された像の１画素に相当する物体空間の大きさより小さい径の物体で構成されることを特徴とする。
【０１２４】
この発明に関する実施の形態は、第１実施形態が対応する。
【０１２５】
本発明によれば、標準試料に入力画像の１画素に相当する大きさよりも小さい微小物体を用いることにより、光学結像系の空間特性を直接反映した像を入力することができる。従って、本発明に関わる処理を行なうために最も理想的な入力像を得ることができる。
【０１２６】
（１１）  前記（１）項に記載の多方向画像入力装置において、
前記標準試料は、観察の際の該多方向画像入力装置の光学系の特性が得られる断面形状であることを特徴とする。
【０１２７】
（１２）  前記（１）項に記載の多方向画像入力装置において、
前記標準試料は、２つの光軸を含む平面又はそれぞれの光軸を含む平面の内の標準試料の断面が円形であり、球、円錐、円柱の物体であることを特徴とする。
この発明に関する実施の形態は、第１実施形態が対応する。
【０１２８】
本発明によれば、球形の物体は３Ｄ空間の全方向に対して十分な帯域を有すると考えられるので、微小試料を用いた場合の入力画像と相似で大きさが拡大された画像が観測されることになり、標準試料としての作用効果が得られる。加えて試料は必ずしも微小である必要はないので、取り扱いが簡便になり、実用上有利である。
【０１２９】
（１３）  前記（１）項に記載の多方向画像入力装置において、
標準試料は、先鋭な物体の先端であって、この物体の径が標準試料像記録手段に記録された像の１画素に相当する物体空間の大きさより小さい範囲である
ことを特徴とする。
【０１３０】
この発明に関する実施の形態は、第１実施形態が対応する。
【０１３１】
本発明によれば、標準試料として最も理想的な微小物体を用いるために先鋭な物体の先端を利用するものであり、標準試料自体を微小にする必要がないにも関わらず、微小物体を用いたのと同等の作用効果を得ることができる。従って、取り扱いが簡便であると共に最も理想的な標準試料像を入力できる。
【０１３２】
（１４）  異なる方向から観察するための空間における画像入力の範囲内に対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを有する多方向画像入力装置において、  画像入力時に対象物が存在する前記画像入力の範囲内に配置し、観察する際の光学的な基準設定が行える形状の標準試料と、
前記複数の光学系の各々に設けられ、物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
この合焦位置制御手段により前記光学系の合焦位置を所定の物体空間に設定した状態で前記撮像素子が取得した前記標準試料の像情報及び、該像情報を取得する際の合焦位置の情報を対応させて記録する標準試料像記録手段と、
前記合焦位置制御手段により光学系の合焦位置を移動させながら、前記標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、前記複数の光学系の各々に対応するこの標準試料観測像空間同志の位置関係を検出する位置関係検出手段と、
前記位置関係検出手段により検出された複数の光学系の各々に対応する標準試料観測像空間どうしの位置関係に基づき、複数の光学系の各々の空間位置を制御する光学系位置制御手段と、
を具備することを特徴とする多方向画像入力装置。
【０１３３】
この発明に関する実施の形態は、第２実施形態が対応する。
【０１３４】
本発明は、位置関係検出手段により検出された複数の光学系の各々に対応する標準試料観測像空間どうしの位置関係に基づき、標準試料観測像空間において原点が中心に一致するように複数の光学系の各々の空間位置を微調整するように構成されたものである。
【０１３５】
従って本発明によれば、各顕微鏡からの入力画像を相互利用する際に最も大きな画角サイズを利用できる。つまり、各顕微鏡からの入力画像を位置合わせする際に入力画像のアドレスをシフトさせる必要が無くなり、再構成画像が入力画像よりも小さくなることが無い。
【０１３６】
（１５）  異なる方向から対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを具備する多方向画像入力装置において、
画像入力時に対象物が存在する略位置に配置される蛍光物質の入った容器と、
この容器内の蛍光物質を励起する光を発生させる光源手段と、
複数の光学系の内の一つである第１の光学系を利用して、光源手段により発せられた励起光を容器内で収斂させるように励起光を第１の光学系に導く光学手段と、
複数の光学系の各々に設けられ、物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
合焦位置制御手段により光学系の合焦位置を所定の物体空間に設定した状態において撮像素子により取得された蛍光像とこの蛍光像を撮像する際の合焦位置の情報とを対応させて記録する蛍光像記録手段と、
複数の光学系の内の一つであり第１の光学系とは別の第２の光学系において、合焦位置制御手段により光学系の合焦位置を移動させながら蛍光像記録手段に記録された異なる合焦位置に対応する複数の蛍光像より構成される蛍光観測像空間から、第１及び第２の蛍光観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備することを特徴とする。
【０１３７】
この発明に関する実施の形態は、第５実施形態が対応する。
【０１３８】
本発明は、多方向画像入力装置における各光学結像系を利用して収斂させたレーザ光を試料空間に設置した蛍光物質に照射することにより、試料空間に微小試料を設置したのと同様の効果をもたらすように構成したものである。従って本発明によれば、蛍光物質を注入した容器を試料空間に設置するという簡単な方法により試料空間に微小試料を設置したのと同様の効果を得ることができるため、装置構成や操作が簡便になる。
【０１３９】
（１６）  前記（３）項に記載の多方向画像入力装置において、
光源手段は、容器内の蛍光物質の励起波長の２倍の波長のパルスレーザ光を発生させるレーザ光源手段である
ことを特徴とする。
【０１４０】
この発明に関する実施の形態は、第６実施形態が対応する。
【０１４１】
本発明は、多方向画像入力装置における各光学結像系を利用して収斂させたレーザ光を試料空間に設置した蛍光物質に照射する際に、レーザ光源に蛍光物質の励起波長の２倍の波長のパルスレーザ光を用いることにより２光子励起現象を起こさせ、極めて小さい蛍光スポットを実現するものである。従って本発明によれば、蛍光物質を注入した容器を試料空間に設置するという簡単な方法により試料空間に微小試料を設置したのと同様の効果を得ることができるため、装置構成や操作が簡便になると共に、理想的な微小蛍光点を観測できるため、精度に優れた位置合わせが行なえる。
【０１４２】
（１７）  異なる方向から対象物を結像するように配置された複数の光学系と、この複数の光学系の各々の像面に配置された複数の撮像素子とを具備する多方向画像入力装置において、
蛍光を発生する対象物と共に、対象物の蛍光波長とは異なる波長の蛍光を発生する標準試料が注入される容器と、
対象物の蛍光波長を透過させる第１の色フィルタ及び標準試料の蛍光波長を透過させる第２の色フィルタと、
複数の光学系の各々に設けられ、第１及び第２の色フィルタのどちらかを光学系の光路上に設置する色フィルタ変更手段と、
複数の光学系の各々に設けられ、物体空間における焦点の合った物体面の位置（合焦位置）を移動させる合焦位置制御手段と、
第２の色フィルタが光路上に設置されると共に合焦位置制御手段により光学系の合焦位置を所定の物体空間に設定した状態において撮像素子により取得された標準試料の像とこの像を撮像する際の合焦位置の情報とを対応させて記録する標準試料像記録手段と、
前記合焦位置制御手段により光学系の合焦位置を移動させながら標準試料像記録手段に記録された異なる合焦位置に対応する複数の標準試料の像より構成される標準試料観測像空間から、複数の光学系の各々に対応するこの標準試料観測像空間どうしの位置関係を検出する位置関係検出手段と、を具備することを特徴とする。
【０１４３】
この発明に関する実施の形態は、第７実施形態が対応する。
【０１４４】
本発明は、観測すべき蛍光試料と位置合わせに用いる対象物の蛍光波長とは異なる波長の蛍光を発生する標準試料を混在させた溶液を用い、標準試料の蛍光波長を選択的に透過させる色フィルタを用いて標準試料像のみを入力できるように構成したものである。従って本発明によれば、試料空間における構成や操作をより簡便にすることができる。また位置合わせのために標準試料像を入力する作業と対象物体の観測作業との時間差を短くすることがきるため、より正確な位置合わせが実現できる。
【０１４５】
【発明の効果】
以上詳述したように本発明によれば、各光学結像系の開口が小さいために各入力画像間の相関がとりにくい場合にも適用できると共に、対象画像の空間周波数特性にも依存しない、適用範囲が広くしかも簡便で実用上有用な位置合わせ可能な多方向画像入力装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態としての多方向画像入力装置の構成例を示す図である。
【図２】図１に示した標準試料設置部の詳細な構成例を示す図である。
【図３】本実施形態に用いる先端が鋭利な試料の先端部を疑似的な微小試料の外観を示す図である。
【図４】本実施形態における試料空間と３Ｄ観測画像空間との概念を示す図である。
【図５】本実施形態において微小試料の３Ｄ像からピーク座標を検出するための手法について説明するための図である。
【図６】本発明による第２の実施形態としての多方向画像入力装置の構成例を示す図である。
【図７】本発明による第３の実施形態としての多方向画像入力装置の構成例を示す図である。
【図８】第３の実施形態における多方向画像入力装置の作用について説明するための図である。
【図９】本発明による第４の実施形態としての多方向画像入力装置の構成例を示す図である。
【図１０】本発明による第５の実施形態としての多方向画像入力装置の構成例を示す図である。
【図１１】本発明による第７の実施形態としての多方向画像入力装置の構成例を示す図である。
【符号の説明】
１，２…顕微鏡
３…標準試料設置部
４…プロセッサ
５，６…対物レンズ
７，８…合焦面制御器
９，１０…ＴＶカメラ
１２，１３…Ａ／Ｄ変換器
１４，１５，２３，２５…メモリ
１６…累積加算器
１７，１８，１９…コントローラ
２０…微小試料
２１…内部バス
２２…ＣＰＵ
２４…ピーク検出器
【図１】
0003727704.tif 000009
【図２】
0003727704.tif 000010
【図３】
0003727704.tif 000011
【図４】
0003727704.tif 000012
【図５】
0003727704.tif 000013
【図６】
0003727704.tif 000014
【図７】
0003727704.tif 000015
【図８】
0003727704.tif 000016
【図９】
0003727704.tif 000017
【図１０】
0003727704.tif 000018
【図１１】
0003727704.tif 000019