(57)【要約】  本発明は、複数の撮像素子を有する画像取得装置において、各撮像素子の位置ズレに対するキャリブレーションを高精度に行うことを目的とする。  上記目的を達成するための、本発明の一側面としての画像取得装置の調整方法は、撮像光学系によって結像された被検物の異なる領域を複数の撮像素子により夫々撮像する画像取得装置の調整方法であって、画像取得装置でテストサンプルを撮像して撮像画像を取得する第１工程と、テストサンプルの基準画像と撮像画像とに基づいて、複数の撮像素子の位置に対するキャリブレーション値を取得する第２工程と、キャリブレーション値に基づいて複数の撮像素子の位置に対するキャリブレーションを行う第３工程と、を有することを特徴とする。
2013051147.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系によって結像された被検物の異なる領域を複数の撮像素子により夫々撮像する画像取得装置の調整方法であって、
前記画像取得装置でテストサンプルを撮像して撮像画像を取得する第１工程と、
前記テストサンプルの基準画像と前記撮像画像とに基づいて、前記複数の撮像素子の位置に対するキャリブレーション値を取得する第２工程と、
前記キャリブレーション値に基づいて前記複数の撮像素子の位置に対するキャリブレーションを行う第３工程と、
を有することを特徴とする画像取得装置の調整方法。
【請求項２】
前記第３工程は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々の撮像面内における回転方向の位置を調整する工程であることを特徴とする請求項１に記載の画像取得装置の調整方法。
【請求項３】
前記第３工程は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々における光軸方向の位置および光軸に対する傾きの少なくとも一方を調整する工程であることを特徴とする請求項１または２に記載の画像取得装置の調整方法。
【請求項４】
前記第３工程は、
前記キャリブレーション値に基づいて、前記複数の撮像素子と、前記撮像光学系と前記複数の撮像素子との間の光路上に配置された複数の反射部材と、該複数の反射部材の夫々により反射された光束によって、前記被検物を前記複数の撮像素子の夫々の撮像面上に結像する複数の再結像系と、の位置を調整する工程、
または、前記キャリブレーション値に基づいて、前記複数の再結像系の夫々の焦点調節をする工程、
であることを特徴とする請求項１または２に記載の画像取得装置の調整方法。
【請求項５】
前記第３工程は、前記キャリブレーション値に基づいて、前記撮像画像の面内における回転方向の位置ズレに対する補正量を算出し、該補正量を画像処理におけるオフセット値として取得する工程であることを特徴とする請求項１または３に記載の画像取得装置の調整方法。
【請求項６】
前記第１工程においては、前記撮像光学系の開口数を前記テストサンプル以外の被検物の撮像時とは異なる開口数に調整することを特徴とする請求項１乃至５のいずれか１項に記載の画像取得装置の調整方法。
【請求項７】
前記第１工程においては、前記撮像画像に応じて前記撮像光学系の開口数を調整することを特徴とする請求項１乃至６のいずれか１項に記載の画像取得装置の調整方法。
【請求項８】
被検物を結像する撮像光学系と、
該撮像光学系により結像された前記被検物の異なる領域を夫々撮像する複数の撮像素子と、を有する画像取得装置であって、
テストサンプルの基準画像が記憶させられた記憶手段と、
前記基準画像と、前記画像取得装置により取得される前記テストサンプルの撮像画像と、に基づいて前記複数の撮像素子の位置に対するキャリブレーション値を取得する処理手段と、を備え、
前記キャリブレーション値に基づいて前記複数の撮像素子の位置に対するキャリブレーションを行う
ことを特徴とする画像取得装置。
【請求項９】
前記キャリブレーション値に基づいて前記複数の撮像素子の夫々における位置を調整する調整手段を有することを特徴とする請求項８に記載の画像取得装置。
【請求項１０】
前記調整手段は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々の撮像面内における回転方向の位置を調整可能であることを特徴とする請求項９に記載の画像取得装置。
【請求項１１】
前記調整手段は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々における光軸方向の位置および光軸に対する傾きの少なくとも一方を調整可能であることを特徴とする請求項９または１０に記載の画像取得装置。
【請求項１２】
前記撮像光学系と前記複数の撮像素子との間の光路上に配置された複数の反射部材と、
該複数の反射部材の夫々により反射された光束によって、前記被検物を前記複数の撮像素子の夫々の撮像面上に結像する複数の再結像系と、
を有することを特徴とするとする請求項９乃至１１のいずれか１項に記載の画像取得装置。
【請求項１３】
前記キャリブレーション値に基づいて、前記複数の撮像素子と前記複数の反射部材と前記複数の再結像系と、の位置を調整する駆動系を有することを特徴とする請求項１２に記載の画像取得装置。
【請求項１４】
前記複数の再結像系は、前記キャリブレーション値に基づいて焦点調節が可能であることを特徴とする請求項１２に記載の画像取得装置。
【請求項１５】
前記処理手段は、前記キャリブレーション値に基づいて、前記撮像画像の面内における回転方向の位置ズレに対する補正量を算出し、該補正量を画像処理におけるオフセット値として取得することを特徴とする請求項８または１１に記載の画像取得装置。
【請求項１６】
前記テストサンプルの撮像時における前記撮像光学系の開口数を、前記テストサンプル以外の被検物の撮像時とは異なる開口数に調整可能なＮＡ絞りを有することを特徴とする請求項８乃至１５のいずれか１項に記載の画像取得装置。
【請求項１７】
前記ＮＡ絞りは、前記テストサンプルの撮像画像に応じて前記撮像光学系の開口数を調整可能であることを特徴とする請求項１６に記載の画像取得装置。
【請求項１８】
前記基準画像は、前記画像取得装置とは別の装置によって取得されたものであることを特徴とする請求項８乃至１７のいずれか１項に記載の画像取得装置。
【請求項１９】
複数の撮像素子によって被検物の異なる領域を夫々撮像する画像取得装置を組み立てる工程と、
前記画像取得装置でテストサンプルを撮像して撮像画像を取得する工程と、
前記テストサンプルの基準画像と前記撮像画像とに基づいて、前記複数の撮像素子の位置に対するキャリブレーション値を取得する工程と、
前記キャリブレーション値に基づいて前記複数の撮像素子の位置に対するキャリブレーションを行う工程と、
を有することを特徴とする画像取得装置の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像素子を有する画像取得装置の調整に関するものである。
【背景技術】
【０００２】
近年、病理学等の分野において、検体を含む被検物（プレパラート）を撮像して画像を取得し、デジタル処理をすることができる画像取得装置が注目されている。【０００３】
特許文献１では、検体を撮像光学系（対物レンズ）によって拡大結像し、それを複数の撮像素子を用いて撮像する顕微鏡において、撮像光学系の視野内に収まらない大きな検体の画像を取得できるシステム構成を開示している。ここでは、検体あるいは撮像素子のいずれかを水平方向に移動させて複数回撮像し、取得画像をつなぎ合わせるスティッチング処理を行うことによって、大きな検体の全域の画像を取得している。【０００４】
また、特許文献２には、撮像装置における撮像素子の位置（光軸方向の位置や光軸に対する傾き）の調整方法が開示されている。具体的には、撮像光学系および撮像素子を仮配置した後に、そのいずれか一方を光軸方向に移動させて、光軸上に配置したテストサンプルを複数の所定の位置で撮像して取得した撮像情報に基づいて、撮像素子の位置の最適位置を算出し、調整を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３０１６号公報
【特許文献２】特開２００５−１３６７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
観察対象の検体において、表面形状のうねりが生じている場合があるが、複数の撮像素子を有する画像取得装置によれば、そのうねりに応じて各撮像素子を個別に駆動することで、検体の全域で良好に合焦することができる。しかし、画像取得装置の組立時の設置誤差や、周囲環境の温度変化に伴う構造材料の熱膨張などが生じると、各撮像素子の位置が設計値に対して変動してしまい、上記のような各撮像素子の駆動による合焦動作を行ったとしても取得画像にボケが生じてしまう。【０００７】
よって、各撮像素子の位置ズレに対するキャリブレーションを行う必要が生じるが、特許文献２に開示されているような単一の撮像素子に対する調整方法を、複数の撮像素子の夫々に対して適用することは困難である。また、特に複数の撮像素子を有する画像取得装置においては、各撮像素子の撮像面内における回転方向に位置ズレが生じることにより、その夫々に対応する取得画像のスティッチング処理が困難となるという問題が生じる。しかし、特許文献２には、このようなスティッチング処理を考慮した、複数の撮像素子の位置ズレに対するキャリブレーション方法は開示されていない。【０００８】
そこで、本発明は、複数の撮像素子を有する画像取得装置において、各撮像素子の位置ズレに対するキャリブレーションを高精度に行うことを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための、本発明の一側面としての画像取得装置の調整方法は、撮像光学系によって結像された被検物の異なる領域を複数の撮像素子により夫々撮像する画像取得装置の調整方法であって、前記画像取得装置でテストサンプルを撮像して撮像画像を取得する第１工程と、前記テストサンプルの基準画像と前記撮像画像とに基づいて、前記複数の撮像素子の位置に対するキャリブレーション値を取得する第２工程と、前記キャリブレーション値に基づいて前記複数の撮像素子の位置に対するキャリブレーションを行う第３工程と、を有することを特徴とする。【００１０】
本発明の更なる目的またはその他の特徴は、以下、添付の図面を参照して説明される好ましい実施形態によって明らかにされる。
【発明の効果】
【００１１】
本発明によれば、複数の撮像素子を有する画像取得装置において、各撮像素子の位置ズレに対するキャリブレーションを高精度に行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る画像取得装置１００の概略図。
【図２】本発明の実施形態に係るプレパラート２０の概略図。
【図３】本発明の実施形態に係る撮像部２３の上面図。
【図４Ａ】本発明の実施形態に係る撮像動作の説明図。
【図４Ｂ】本発明の実施形態に係るスティッチング処理の説明図。
【図５Ａ】本発明の実施形態に係る撮像ユニット２６の概略図。
【図５Ｂ】本発明の実施形態に係る撮像ユニット２６の概略図。
【図６】本発明の実施形態に係る画像取得装置の調整方法を示すフローチャート。
【図７Ａ】本発明の実施形態に係るテストサンプル２８の概略図。
【図７Ｂ】本発明の実施形態に係るテストサンプル２８の概略図。
【図７Ｃ】本発明の実施形態に係るテストサンプル２８の概略図。
【図８】本発明の実施例１に係るキャリブレーション曲線の概略図。
【図９Ａ】本発明の実施例２に係る再結像ユニット４２を備えた画像取得装置１００の図。
【図９Ｂ】本発明の実施例２に係る再結像ユニット４２の概略図。
【図９Ｃ】本発明の実施例２に係る再結像ユニット４２の概略図。
【発明を実施するための形態】
【００１３】
以下、本発明の好ましい実施形態について図面を用いて説明するが、本発明は以下に限られるものではない。
【実施例１】
【００１４】
図１は、本実施形態に係る画像取得装置１００の概略図である。画像取得装置１００は、被検物としてのプレパラート２０を撮像する顕微鏡部１と、プレパラート２０の予備計測を行う予備計測部２と、顕微鏡部１や予備計測部２の制御および取得画像の画像処理を行う制御・処理手段３とを備える。この画像取得装置１００では、予備計測部２でプレパラート２０の予備計測を行って撮像条件を決定した後、ステージ装置１５によりプレパラート２０を顕微鏡部１へ搬送し、求めた撮像条件に基づいてプレパラート２０の画像を取得する。さらに、本実施形態に係る画像取得装置１００は、キャリブレーションに用いるテストサンプル２８の基準画像を、予め記憶させておくための記憶手段４を備えている（詳細は後述）。【００１５】
まず、顕微鏡部１について説明する。
顕微鏡部１は、照明光学系１１を介してプレパラート２０を照明する撮像用光源１０と、プレパラート２０を結像する撮像光学系２１と、プレパラート２０を撮像する撮像ユニット２６を有する。ステージ装置１５は、プレパラート２０を保持し移動する部材である。【００１６】
撮像用光源１０としては、白色光源やＬＥＤ光源などを用いることができ、白色光源とカラーフィルタとの組み合わせによりＲＧＢの各波長の光を生成する構成や、各波長を有するＬＥＤを備えて切り替え可能な構成としてもよい。【００１７】
ステージ装置１５は、プレパラート２０を保持する保持部１２と、プレパラート２０をＸＹＺ方向に調整する微動ステージ１３と、顕微鏡部１と予備計測部２との間でプレパラート２０を移動させる粗動ステージ１４を含む。ここで、Ｚ方向は撮像光学系２１の光軸方向に相当し、ＸＹ方向はその光軸に垂直な方向に相当する。保持部１２、微動ステージ１３および粗動ステージ１４には、撮像用光源１０からの光を通過させるための開口が設けられている。【００１８】
撮像光学系２１は、プレパラート２０を所定の倍率で拡大して撮像ユニット２６の撮像面上に結像するように、プレパラート２０と撮像ユニット２６の撮像面とが光学的に共役となるように配置されている。また、撮像光学系２１にＮＡ絞り２２を設けることで、撮像面側のＮＡ（開口数）を調整することができる構成とすることが望ましい（詳細は後述）。【００１９】
図２は、プレパラート２０の上面および断面を示した図である。被検物の一例であるプレパラート２０は、スライドガラス１９上に配置された検体１８（組織切片等の生体サンプルなど）が、カバーガラス１７および接着剤（不図示）で密封された構成となっている。また、スライドガラス１９上には、例えば検体１８の識別番号やカバーガラス１７の厚さなど、プレパラート２０を管理するのに必要な情報が記録されたラベル（バーコード）２９が貼付されていてもよい。なお、本実施形態では、画像取得の対象となる被検物としてプレパラート２０を例示したが、例えば、外観検査（異物の付着、キズの検査等）を行う目的で、基板などを被検物としてもよい。【００２０】
図１に示すように、撮像ユニット２６は、調整手段２５および撮像部２３を含んでおり、この撮像部２３をＺ方向から見た上面図を図３に示す。図３に示すように、撮像部２３は二次元配列された複数の撮像素子２４で構成されており、夫々の撮像素子２４がプレパラート２０の異なる領域を撮像することで、一度に複数の画像を取得することができる。この撮像素子２４としては、ＣＣＤやＣＭＯＳ等を用いることができる。なお、複数の撮像素子２４の配置および数は、図３に示すものに限らず、撮像光学系２１の視野の形状・面積や撮像素子２４の形状・構成などによって適宜決定されるものとする。また、撮像ユニット２６は、本体フレーム（不図示）あるいは撮像光学系２１の鏡筒によって保持されているとする。【００２１】
このような複数の撮像素子２４を有する画像取得装置１００においては、各撮像素子２４同士の隙間を考慮して、抜けのない画像を取得するために、プレパラート２０を複数回撮像する必要がある。そのため、本実施形態では、例えば図４Ａに示すように、プレパラート２０または撮像部２３の少なくとも一方を水平方向に移動させて相対位置を変更しながら、複数のステップに分けて検体１８を撮像する。そして、図４Ｂに示すように、隙間なく取得した複数の画像をスティッチング処理することで、検体１８の全域の画像を取得することができる。【００２２】
次に、図１を参照して予備計測部２について説明する。予備計測部２では、プレパラート２０における検体１８の存在領域の計測と、カバーガラス１７（検体１８）の表面形状の計測を行う。【００２３】
まず、予備計測用光源３１からの光がコリメータレンズ３２で平行光に整形され、この平行光がビームスプリッタ３３で偏向させられてプレパラート２０に入射する。なお、予備計測用光源３１としては、ＬＥＤ光源または半導体レーザなどを使用することができ、少なくともカバーガラス１７全域を照明するものであるとする。プレパラート２０に入射した平行光は、プレパラート２０を透過した透過光Ｔとカバーガラス１７の表面で反射された反射光Ｒとに分割される。そして、透過光Ｔは検体１８の存在領域を計測するためのカメラ３０へ入射し、反射光Ｒはビームスプリッタ３３を透過して、検体１８の表面形状を計測するシャックハルトマン・センサ３５へ入射する。なお、本実施形態では、透過光Ｔを検体１８の存在領域の計測に用い、反射光Ｒを検体１８の表面形状の計測に用いる構成としたが、反射光Ｒを存在領域の計測に用い、透過光Ｔを表面形状の計測に用いる構成としてもよい。【００２４】
透過光Ｔが入射するカメラ３０は、例えばＣＣＤカメラであり、少なくともカバーガラス１７の全域を撮像するように構成されている。カメラ３０に入射する透過光Ｔのうち、検体１８を透過した光の光量は、検体１８を透過しなかった光の光量に比べて少ない。したがって、プレパラート２０における検体１８の存在領域は、カバーガラス１７と検体１８とスライドガラス１９とを透過した光と、カバーガラス１７とスライドガラス１９のみを透過した光とのコントラスト差を利用して求めることができる。そして、カメラ３０で撮像された画像情報は制御・処理手段３に入力され、制御・処理手段３では輝度が所定の閾値Ｌ以下である領域を検体１８の存在領域として認識するという演算を行う。【００２５】
一方、反射光Ｒはアフォーカル系３４を介して、入射光の波面を測定するシャックハルトマン・センサ３５に入射する。ここで、プレパラート２０とシャックハルトマン・センサ３５とは光学的に共役となる位置に配置されている。反射光Ｒの波面はカバーガラス１７表面のうねりに対応した形状となるため、シャックハルトマン・センサ３５によってカバーガラス１７の表面を一度に検出することで、その表面形状を高速かつ正確に計測できる。なお、シャックハルトマン・センサ３５の代わりに干渉計（例えば、シアリング干渉計など）を用いて反射光Ｒの波面を検出してもよい。【００２６】
次に、制御・処理手段３について詳しく説明する。
制御・処理手段３は、ＣＰＵ、メモリ、ハードディスクなどを含むコンピュータによって構成されており、予備計測時や撮像時における制御を行うとともに、撮像したプレパラート２０のデータを処理することで、デジタル画像を作成する。具体的には、制御・処理手段３は、ステージ装置１５をＸＹ方向に移動させながら検体１８を複数回撮像し、その画像同士の位置合わせとスティッチング処理を行うことで、検体１８全体の画像を取得する際の制御および処理を行う。【００２７】
まず、制御・処理手段３は、予備計測部２でプレパラート２０を計測した結果に基づいて顕微鏡部１がプレパラート２０を撮像するように、顕微鏡部１および予備計測部２を制御する。すなわち、制御・処理手段３は、予備計測部２を用いて求めた検体１８の存在領域に基づいて、顕微鏡部１で撮像する範囲を決定し、その撮像範囲のみを撮像するように制御する。これにより、病理診断などに必要な領域のみを撮像することができ、プレパラート２０のデジタル画像データの容量を小さくすることができるので、データのハンドリングが容易になる。なお、通常は、検体１８の存在領域と等しくなるように撮像範囲を決定する。さらに、制御・処理手段３は、予備計測部２を用いて求めたカバーガラス１７の表面形状および撮像光学系２１の倍率に基づいて、検体１８の像の合焦面を算出する。【００２８】
ここで、カバーガラス１７の表面がうねっていた場合、検体１８の合焦面もそのうねりに対応した曲面となる。このような場合に、撮像部２３の撮像面を同一平面上に並べた状態で検体１８の像を撮像すると、一部の撮像面が検体１８の像の焦点深度内に収まらなくなる。その結果、その一部の撮像面上に投影される検体１８の像がボケしまう。よって、プレパラート２０のうねりによる影響を抑制するために、検体の表面形状に応じて、複数の撮像素子２４の夫々を個別に調整することによる合焦動作などが必要となる。しかし、組立時の設置誤差や周囲環境の温度変化による構造部材の熱膨張などが原因となって、複数の撮像素子２４の位置が設計値に対して変動してしまった場合、上記のような調整を行っても取得画像にボケが生じてしまう。また特に、各撮像素子２４の撮像面内における回転方向の位置ズレが生じた場合は、夫々で取得した画像同士のスティッチング処理が困難となり、１枚の画像として取得することができなくなってしまう。【００２９】
そこで、このような問題を解決するために、本実施形態に係る画像取得装置１００では、プレパラート２０の画像取得動作を行う前に複数の撮像素子２４の位置ズレに対するキャリブレーションを行い、その位置ズレによる影響を抑制する。【００３０】
以下、本実施例における画像取得装置の調整方法について詳細に説明する。
本実施例に係る画像取得装置１００では、図５Ａに示すように、撮像ユニット２６における調整手段２５が複数の駆動部４０を有しており、それらが複数の撮像素子２４の夫々の位置を駆動調整するように構成されている。駆動部４０は定盤３９上に設けられており、各撮像素子２４の光軸方向（Ｚ方向）および撮像面内の回転方向の位置を駆動可能に構成されている。さらに、図５Ｂに示すように、駆動部４０に対して駆動部４１を設け、撮像素子２４の光軸に対する傾きも調整できる構成としてもよい。調整手段２５の例としては、リニアモータやエアシリンダおよびステッピングモータや超音波モータなどを有するリニアアクチュエータを用いた機構などが挙げられる。また、手動での調整を可能にする場合は、バネなどによる予圧を与えて各撮像素子２４を固定し、ネジによる調整を行うことができるような機構などを採用することができる。【００３１】
本実施例では、プレパラート２０を撮像する際に、予備計測部２で計測した表面形状に基づいて、調整手段２５によって各撮像素子２４を調整する。具体的には、複数の撮像素子２４のうち、撮像面と検体１８の合焦面とが離れている撮像素子の位置を調整し、その撮像素子の撮像面を合焦面に近づけることで、プレパラート２０のうねりによる影響を抑制することができる。しかし、上述したように、撮像前に撮像素子の位置が設計値から変動してしまうことにより、撮像条件に基づいて撮像素子２４の夫々を駆動して合焦面に近づける調整を行っても、取得画像にボケが生じてしまう。また、各撮像素子の撮像面内における回転方向のズレにより、複数画像のスティッチング処理が困難となる。そこで、本実施例では、プレパラート２０の画像取得動作を行う前に、複数の撮像素子２４の位置ズレに対するキャリブレーションを行うために画像取得装置１００の調整を行う。【００３２】
以下、本実施例における画像取得装置の調整方法について、図６に示すフローチャートを用いて説明する。なお、このフローチャートの各ステップにおける処理は、特に断りがない限り、画像取得装置１００における制御・処理手段３によって行うものとする。【００３３】
まずステップＳ６０１では、キャリブレーションに用いるテストサンプル２８の基準画像を別の装置で取得し、それを予め記憶手段４に記憶させておく。基準画像を用いる理由としては、キャリブレーションを行う時点では、撮像素子２４の夫々が設計値に対してどれだけ変動しているかわからないため、基準となるものを設定し、それに対するズレ量を、画像情報を介して把握する必要があるからである。本実施例では、調整対象である画像取得装置１００とは別の、撮像素子にズレが生じていない正常な装置によって、安定した温度環境の下でテストサンプル２８の撮像を行うことで、この基準画像を取得している。ここで、前述した別の装置も複数の撮像素子を有しており、これを基準撮像素子として、夫々が画像取得装置１００における複数の撮像素子２４の夫々と対応しているものとする。すなわち、制御・処理手段３によって、基準画像と画像取得装置１００で取得した撮像画像とを比較することで、この基準撮像素子に対する撮像素子２４のズレ量を把握でき、キャリブレーション値を取得することができる（詳細は後述）。【００３４】
なお、上述したような別の装置を使用せずに、ズレのない基準となる画像データを画像シミュレータ等によって作成し、それを記憶手段４に記憶させることで基準画像としてもよい。また、画像取得装置１００自体に記憶手段４を設けずに、画像取得装置１００に接続されたネットワーク上のサーバに基準画像を記憶させておいてもよい。テストサンプル２８としては、図７Ａ、７Ｂ、７Ｃに示すような格子柄や丸マークの模様を持つものを用いることで、その撮像画像から撮像素子２４の位置のズレ量や画像のディストーション値を算出することができる。このように、ステップＳ６０１は画像取得装置１００の調整の準備段階であり、調整をする度に行うか、あるいは製造時などの初回の調整時にだけ行うことにしてもよい。【００３５】
次のステップＳ６０２では、調整対象の画像取得装置１００における予備計測部２で、ステップＳ６０１で用いたテストサンプル２８の予備計測を行う。この予備計測により、撮像時のテストサンプル２８の合焦面と撮像範囲を決定する。なお、テストサンプル２８を予備計測部２のステージ装置１５に設置する際に、不図示の搬送手段を用いてもよい。【００３６】
そして、ステップＳ６０３では、テストサンプル２８を保持したステージ装置１５を顕微鏡部１まで移動させる。ここでは、図１に示すように、テストサンプル２８を撮像光学系２１の焦点位置と対応するように位置決めして、その位置をステージ装置１５の光軸方向の基準位置としている。さらに、ステージ装置１５にプレパラート２０を設置した際に、撮像光学系２１の焦点位置がプレパラート２０の中央となる位置を予め求めておき、そこをステージ装置１５の水平方向の基準位置としてもよい。【００３７】
さらに、ステップＳ６０４では、テストサンプル２８を被検物として撮像処理を行う。ここでは、制御・処理手段３により、例えば図５Ａ、５Ｂで示したような調整手段２５を制御することで、ステップＳ６０２における予備計測結果に基づいて、各撮像素子の位置を駆動させる。この際、テストサンプル２８の合焦面近傍において、ウォブリングなどの方法により複数の撮像素子２４の夫々の位置を変化させながら複数回撮像を行う。なお、ここで言う位置とは、各撮像素子２４の光軸方向（Ｚ方向）の位置および光軸に対する傾きの少なくとも一方のことを示している。そして、制御・処理手段３は、各撮像素子２４において取得した複数の撮像画像より、コントラストなどの画質を示すパラメータと撮像時の各撮像素子２４の位置との関係を、キャリブレーション曲線として取得する。例えば、複数の撮像素子２４のうち、ある撮像素子ＡおよびＢに対しては図８で示すような曲線が得られるとし、これを全ての撮像素子２４に対して取得する。【００３８】
続くステップＳ６０５では、テストサンプル２８の基準画像と撮像画像とに基づいて、各撮像素子２４の位置に対するキャリブレーション値を取得する。まず、ステップＳ６０４で取得した複数の撮像素子２４に対する夫々のキャリブレーション曲線から、最も画質が高い時の撮像素子２４の位置を、制御・処理手段３により導出する。この際、ステップＳ６０１で取得した各基準撮像素子における基準画像と、その各基準撮像素子に対応する撮像素子２４の夫々におけるキャリブレーション曲線とに基づき、基準画像の画質と同じ画質の値を持つ撮像画像に対する撮像素子２４の位置を導出してもよい。このようにして導出された撮像素子２４の位置を、光軸方向の位置や光軸に対する傾きのキャリブレーション位置とし、このキャリブレーション位置に対する位置ズレを調整するためのキャリブレーション値を、制御・処理手段３によって取得する。  【００３９】
また、制御・処理手段３は、ステップＳ６０４で得られた撮像画像のうち、このキャリブレーション位置におけるものと、それに対応するステップＳ６０１で取得した基準画像とを比較し、各撮像素子２４の撮像面内における回転方向の位置ズレ量を取得する。ここでは、各画像同士のテストサンプル２８の模様を比較することで、基準画像に対する各撮像画像の回転方向の位置ズレ量を取得している。そして、各撮像画像の位置ズレ量より、撮像素子２４における回転方向の位置のキャリブレーション値を取得することができる。このように、テストサンプル２８の基準画像と撮像画像とに基づいて、各撮像素子２４の位置（光軸方向、傾き、回転方向）に対するキャリブレーション値を取得できる。【００４０】
最後のステップＳ６０６では、ステップＳ６０５で得られたキャリブレーション値に基づいて、各撮像素子２４の位置ズレに対するキャリブレーションを行う。本実施例では、キャリブレーション値に基づき、制御・処理手段３により調整手段２５を制御し、各撮像素子２４の光軸方向の位置、光軸に対する傾きおよび回転方向の位置を駆動して、夫々をキャリブレーション位置に位置決めすることでキャリブレーションを行う。【００４１】
ここで、キャリブレーション後に再びテストサンプルを撮像し、取得した撮像画像の画質の値が、良好な画像を得る所定値になっていたら画像取得装置１００の調整を終了する、というシーケンスとしてもよい。この場合、Ｓ６０７において、撮像画像の画質が所定値になったかどうかを判定し、もし所定値に達していなかったらステップＳ６０３に戻り、所定値になるまで調整を繰り返す。このシーケンスは、温度変化などによってステージ装置１５が変形して、ステップＳ６０３におけるテストサンプル２８の位置が撮像光学系２１の焦点位置から変動してしまう場合など、１度の調整で良好な画像を取得できない場合に有効である。【００４２】
このような方法で、予め撮像素子２４の夫々の位置ズレに対するキャリブレーションを行っておくことにより、プレパラート２０の撮像時に前述したような各撮像素子２４の個別駆動による合焦動作を行って、ボケの少ない良好な画像を取得することができる。特に、各撮像素子２４の撮像面内における回転方向の位置ズレに対するキャリブレーションを行うことにより、夫々の取得画像のズレを抑制することができ、複数画像のスティッチング処理を良好に行うことができる。【００４３】
以上、本実施例に係る画像取得装置の調整方法によれば、複数の撮像素子を有する画像取得装置において、各撮像素子の位置ズレに対するキャリブレーションを高精度に行うことができる。このことにより、構造材料の熱膨張や組立時の設置誤差などによって生じる、各撮像素子の設計値に対する位置ズレによる影響を抑制することができる。
【実施例２】
【００４４】
本実施例では、図９Ａに示すように、光路上に反射部材４３および再結像系４４を備えたシステム構成の画像取得装置１００の調整方法について説明する。なお、以下の説明において実施例１と同一または同等の構成部分については、その説明を簡略もしくは省略する。【００４５】
本実施例に係る画像取得装置１００では、複数の撮像素子２４の夫々を分離して配置し、１つ１つを撮像ユニット２６として構成している。さらに、各撮像ユニット２６は、プレパラート２０の異なる領域を透過し撮像光学系２１を介して結像される各光束を反射する複数の反射部材４３と、各反射部材４３からの光束を各撮像素子２４の撮像面上に結像する複数の再結像系４４とを有している。ここでは、各撮像ユニット２６と夫々に対応する各反射部材４３および各再結像系４４とで、複数の再結像ユニット４２を構成しているとする。なお、各再結像ユニット４２に駆動系４５を設け、夫々を制御・処理手段３によって制御することで、各再結像ユニット４２の位置を調整可能な構成としてもよい。この駆動系４５も、実施例1における調整手段２５と同様の機構を用いることができる。また、制御・処理手段３によって各再結像系４４の焦点調節が可能となるように構成することで、各撮像素子２４に対する焦点調節を行うようにしてもよい。本実施例では、各再結像系４４に補正光学素子４６を備え、不図示の駆動機構によって各補正光学素子４６を光軸方向（Ｙ方向）に駆動することで焦点位置を変更できる構成としている。【００４６】
ここで、図９Ｂに示すように、各撮像ユニット２６に調整手段２５として駆動部４０を設けることで、各撮像素子２４の光軸方向（Ｙ方向）および撮像面内の回転方向の位置を駆動可能に構成することができる。さらに、図９Ｃに示すように、駆動部４０に対して駆動部４１を設け、各撮像素子２４の光軸に対する傾きも調整できる構成としてもよい。なお、本実施例においては、駆動部４０が光軸方向（Ｙ方向）には駆動しない構成でもよい（詳細は後述）。【００４７】
画像取得装置１００が図９Ａ〜９Ｃ示すような構成である場合でも、実施例１における方法と同様の方法で各撮像素子の位置ズレに対するキャリブレーションを行うことができる。さらに、図９Ｂおよび図９Ｃに示すような再結像ユニット４２を備える構成において、特に、各撮像素子２４の光軸に対する傾きを駆動しない場合の画像取得装置の調整方法について、図６を用いて説明する。【００４８】
まずステップＳ６０１では、実施例１と同様に、テストサンプル２８の基準画像を予め記憶手段４に記憶させておく。また、次のステップＳ６０２およびステップＳ６０３においても、実施例１と同様にテストサンプル２８の予備計測を行ってから、撮像光学系２１の焦点位置まで移動させる。【００４９】
そして、ステップＳ６０４ではテストサンプル２８の撮像処理を行う。実施例１では複数の撮像素子２４の各位置を変化させながら複数回撮像を行っているが、本実施例においては、ステップＳ６０２における予備計測結果に基づいて１度だけ撮像し、各撮像素子に対する撮像画像を取得する。【００５０】
続くステップＳ６０５では、テストサンプル２８の基準画像と撮像画像とに基づいて、各撮像素子２４の位置に対するキャリブレーション値を取得する。まず、ステップＳ６０１で取得した、別の装置における基準となる各撮像素子による基準画像と、その夫々に対応する、ステップＳ６０４で取得した撮像画像とを比較する。具体的には、制御・処理手段３によって、基準画像と撮像画像との画質（コントラストなど）の値のズレ量および回転方向の位置ズレ量を導出する。そして、制御・処理手段３は、各画像から導出した画質の値のズレ量および回転方向の位置ズレ量に基づいて、各画像に対応する各撮像素子２４の光軸方向および回転方向のキャリブレーション位置を算出する。このようにして得られたキャリブレーション位置に基づいて、画像取得装置１００における各撮像素子の位置（光軸方向、回転方向）に対するキャリブレーション値を、制御・処理手段３によって取得できる。【００５１】
最後のステップＳ６０６では、ステップＳ６０５で得られたキャリブレーション値に基づいて、画像取得装置１００の調整を行う。すなわち、キャリブレーション値に基づいて、制御・処理手段３により調整手段２５を制御し、各撮像素子２４の光軸方向（Ｙ方向）および回転方向の位置を駆動することで、各撮像素子２４の位置ズレに対するキャリブレーションを行うことができる。【００５２】
ここで、前述した撮像素子２４をＹ方向に駆動することによる焦点調節は、図９Ａ〜９Ｃに示すような構成においては、再結像ユニット４２をＺ方向に駆動することや、補正光学素子４６をＹ方向に駆動することなどによっても可能である。すなわち、本実施例に係る画像取得装置１００においては、各撮像素子２４自体を光軸方向（Ｙ方向）に駆動しなくても、各撮像素子２４の光軸方向の位置ズレに対するキャリブレーションを行うことができる。【００５３】
具体的には、まずステップＳ６０５において、算出した各撮像素子２４のＹ方向のキャリブレーション値に基づいて、夫々に対応する各再結像ユニット４２のＺ方向のキャリブレーション値または各補正光学素子４６のＹ方向のキャリブレーション値を取得する。そして、ステップＳ６０６では、制御・処理手段３により駆動系４５または不図示の駆動機構を制御し、各再結像ユニット４２の位置調整（Ｚ方向）、もしくは各補正光学素子４６の位置調整（Ｙ方向）を行う。このように、制御・処理手段３により、各再結像ユニット４２の位置調整または各再結像系４４の焦点調節を行うことで、各撮像素子２４のＹ方向の位置ズレに対するキャリブレーションを行うことができる。また、各撮像素子２４の回転方向の位置ズレに対しては、駆動部４０により各撮像素子２４を回転させることでキャリブレーションを行う。なお、再結像系４４が、液体レンズや液晶レンズである場合など、補正光学素子４６を有さない可変焦点レンズである場合は、夫々の構成に応じてキャリブレーション値を取得することで、各撮像素子２４の位置ズレに対するキャリブレーションが可能となる。【００５４】
このような方法で、予め撮像素子２４の夫々の位置ズレに対するキャリブレーションを行っておくことにより、プレパラート２０の撮像時に前述したような各撮像素子２４の個別駆動による合焦動作を行って、ボケの少ない良好な画像を取得することができる。特に、各撮像素子２４の撮像面内における回転方向の位置ズレに対するキャリブレーションを行うことにより、夫々の取得画像のズレを抑制することができ、複数画像のスティッチング処理を良好に行うことができる。【００５５】
以上、本実施例に係る画像取得装置の調整方法によれば、複数の撮像素子を有する画像取得装置において、各撮像素子の位置ズレに対するキャリブレーションを高精度に行うことができる。特に、各撮像素子の光軸方向の位置および光軸に対する傾きを駆動しない構成においても、各撮像素子の設計値に対する位置ズレによる影響を抑制することができる。
【実施例３】
【００５６】
実施例１および２におけるステップＳ６０６では、キャリブレーション値に基づいて各撮像素子２４を回転させているが、この各撮像素子２４の回転方向の位置ズレに対しては、画像処理を用いてキャリブレーションを行ってもよい。すなわち、各撮像素子２４の回転方向の位置ズレによって生じる各撮像画像のズレに対して、ステップＳ６０５で求めたキャリブレーション値に基づいて、制御・処理手段３で画像処理による補正量の算出を行い、この補正量をオフセット値として取得しておく。これにより、観察対象のプレパラート２０を撮像してスティッチング処理を行う際に、制御・処理手段３によりこのオフセット値を加味した補正が行われるので、撮像素子２４の位置ズレによる影響を抑制することができる。よって、画像処理を用いることにより、各撮像素子を駆動しなくても、各撮像素子における回転方向の位置ズレに対するキャリブレーションを行うことができる。
【その他の実施例】
【００５７】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【００５８】
例えば、上述した各実施例に係る画像取得装置の調整方法において、テストサンプル２８の撮像時とプレパラート２０の撮像時とでは、撮像光学系２１のＮＡを異なる値に設定することが、高精度なキャリブレーションを行う上で有効な手段となる。
【００５９】
具体的には、平面度が小さいテストサンプル２８を撮像する場合においては、うねりのあるプレパラート２０の撮像時よりも高ＮＡに設定することによって、より高解像度な画像を取得できるため、高精度なキャリブレーション値を得ることができる。また、より高精度なキャリブレーション値を得るためにディストーション補正を行う際にも、ＮＡを調整することが有効な手段として考えられる。ディストーションの補正量を算出するには、図７Ｂ、７Ｃに示すようなテストサンプルを撮像した際の、各撮像画像における丸マークの重心位置を検出する必要がある。この時に、ＮＡ絞り２２によってＮＡを変えて撮像画像のコントラストを調整することができ、丸マークの重心位置の検出精度を高めることができる。
【００６０】
このように、用途に応じてＮＡ絞り２２を調整することは画像取得装置の高精度なキャリブレーションを実現する上で有効な手段といえる。なお、ＮＡを調整するＮＡ絞り２２としては、複数の異なる開口の視野遮蔽板を用途に応じて配置できるものや、複数の視野遮蔽羽根からなる虹彩絞りなど用いることができる。
【００６１】
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
【符号の説明】
【００６２】
３  制御・処理手段
５  記憶手段
２０  プレパラート
２１  撮像光学系
２２  ＮＡ絞り
２４  撮像素子
２５  調整手段
２８  テストサンプル
１００  画像取得装置
【図１】
2013051147.tif 000003
【図２】
2013051147.tif 000004
【図３】
2013051147.tif 000005
【図４Ａ】
2013051147.tif 000006
【図４Ｂ】
2013051147.tif 000007
【図５Ａ】
2013051147.tif 000008
【図５Ｂ】
2013051147.tif 000009
【図６】
2013051147.tif 000010
【図７Ａ】
2013051147.tif 000011
【図７Ｂ】
2013051147.tif 000012
【図７Ｃ】
2013051147.tif 000013
【図８】
2013051147.tif 000014
【図９Ａ】
2013051147.tif 000015
【図９Ｂ】
2013051147.tif 000016
【図９Ｃ】
2013051147.tif 000017
【手続補正書】
【提出日】平成24年3月12日(2012.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像光学系によって結像された被検物の異なる領域を複数の撮像素子により夫々撮像する画像取得装置の調整方法であって、
前記画像取得装置でテストサンプルを撮像して撮像画像を取得する第１工程と、
前記テストサンプルの基準画像と前記撮像画像とに基づいて、前記複数の撮像素子の位置に対するキャリブレーション値を取得する第２工程と、
前記キャリブレーション値に基づいて前記複数の撮像素子の位置に対するキャリブレーションを行う第３工程と、
を有することを特徴とする画像取得装置の調整方法。
【請求項２】
前記第３工程は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々の撮像面内における回転方向の位置を調整する工程であることを特徴とする請求項１に記載の画像取得装置の調整方法。
【請求項３】
前記第３工程は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々における光軸方向の位置および光軸に対する傾きの少なくとも一方を調整する工程であることを特徴とする請求項１または２に記載の画像取得装置の調整方法。
【請求項４】
前記第３工程は、
前記キャリブレーション値に基づいて、前記複数の撮像素子と、前記撮像光学系と前記複数の撮像素子との間の光路上に配置された複数の反射部材と、該複数の反射部材の夫々により反射された光束によって、前記被検物を前記複数の撮像素子の夫々の撮像面上に結像する複数の再結像系と、の位置を調整する工程、
または、前記キャリブレーション値に基づいて、前記複数の再結像系の夫々の焦点調節をする工程、
であることを特徴とする請求項１または２に記載の画像取得装置の調整方法。
【請求項５】
前記第３工程は、前記キャリブレーション値に基づいて、前記撮像画像の面内における回転方向の位置ズレに対する補正量を算出し、該補正量を画像処理におけるオフセット値として取得する工程であることを特徴とする請求項１または３に記載の画像取得装置の調整方法。
【請求項６】
前記第１工程においては、前記撮像光学系の開口数を前記テストサンプル以外の被検物の撮像時とは異なる開口数に調整することを特徴とする請求項１乃至５のいずれか１項に記載の画像取得装置の調整方法。
【請求項７】
前記第１工程においては、前記撮像画像に応じて前記撮像光学系の開口数を調整することを特徴とする請求項１乃至６のいずれか１項に記載の画像取得装置の調整方法。
【請求項８】
被検物を結像する撮像光学系と、
該撮像光学系により結像された前記被検物の異なる領域を夫々撮像する複数の撮像素子と、を有する画像取得装置であって、
テストサンプルの基準画像が記憶させられた記憶手段と、
前記基準画像と、前記画像取得装置により取得される前記テストサンプルの撮像画像と、に基づいて前記複数の撮像素子の位置に対するキャリブレーション値を取得する処理手段と、を備え、
前記キャリブレーション値に基づいて前記複数の撮像素子の位置に対するキャリブレーションを行う
ことを特徴とする画像取得装置。
【請求項９】
前記キャリブレーション値に基づいて前記複数の撮像素子の夫々における位置を調整する調整手段を有することを特徴とする請求項８に記載の画像取得装置。
【請求項１０】
前記調整手段は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々の撮像面内における回転方向の位置を調整可能であることを特徴とする請求項９に記載の画像取得装置。
【請求項１１】
前記調整手段は、前記キャリブレーション値に基づいて、前記複数の撮像素子の夫々における光軸方向の位置および光軸に対する傾きの少なくとも一方を調整可能であることを特徴とする請求項９または１０に記載の画像取得装置。
【請求項１２】
前記撮像光学系と前記複数の撮像素子との間の光路上に配置された複数の反射部材と、
該複数の反射部材の夫々により反射された光束によって、前記被検物を前記複数の撮像素子の夫々の撮像面上に結像する複数の再結像系と、
を有することを特徴とする請求項９乃至１１のいずれか１項に
記載の画像取得装置。
【請求項１３】
前記キャリブレーション値に基づいて、前記複数の撮像素子と前記複数の反射部材と前記複数の再結像系と、の位置を調整する駆動系を有することを特徴とする請求項１２に記載の画像取得装置。
【請求項１４】
前記複数の再結像系は、前記キャリブレーション値に基づいて焦点調節が可能であることを特徴とする請求項１２に記載の画像取得装置。
【請求項１５】
前記処理手段は、前記キャリブレーション値に基づいて、前記撮像画像の面内における回転方向の位置ズレに対する補正量を算出し、該補正量を画像処理におけるオフセット値として取得することを特徴とする請求項８または１１に記載の画像取得装置。
【請求項１６】
前記テストサンプルの撮像時における前記撮像光学系の開口数を、前記テストサンプル以外の被検物の撮像時とは異なる開口数に調整可能なＮＡ絞りを有することを特徴とする請求項８乃至１５のいずれか１項に記載の画像取得装置。
【請求項１７】
前記ＮＡ絞りは、前記テストサンプルの撮像画像に応じて前記撮像光学系の開口数を調整可能であることを特徴とする請求項１６に記載の画像取得装置。
【請求項１８】
前記基準画像は、前記画像取得装置とは別の装置によって取得されたものであることを特徴とする請求項８乃至１７のいずれか１項に記載の画像取得装置。
【請求項１９】
（削除）
【国際調査報告】
2013051147.tif 000018
2013051147.tif 000019
2013051147.tif 000020
2013051147.tif 000021