(57)【要約】  Ｚ方向における構造の位置や構造同士の前後関係をユーザが視覚的且つ直感的に把握することができる画像を、短時間に生成することができ、且つデータ量及び演算量を抑制することができる顕微鏡観察システム等を提供する。顕微鏡観察システム１は、顕微鏡装置１０の観察光学系１０４により生成される被写体像を撮像して画像を取得する撮像部２１１と、観察光学系の焦点面及び視野の位置をシフトさせる電動ステージユニット１３０と、撮像部の１露光期間中に焦点面及び視野の位置をシフトさせることにより、多重焦点重畳画像を撮像部に取得させる撮像制御部２２と、視野の位置をシフトさせるシフト量を取得するシフト量取得処理部２３１と、シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部２３２と、複数の全焦点画像を表示する表示装置３０とを備える。
2016166871.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、
前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、
前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、
前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、
前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、
前記複数の全焦点画像を表示する表示部と、
を備えることを特徴とする顕微鏡観察システム。
【請求項２】
前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする請求項１に記載の顕微鏡観察システム。
【請求項３】
外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、
前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、
をさらに備えることを特徴とする請求項１に記載の顕微鏡観察システム。
【請求項４】
前記全焦点画像生成部は、前記観察領域を選択された全焦点画像における前記観察領域の位置に基づき、前記撮像部の１露光期間中に前記観察光学系の視野の位置をシフトさせて多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部を有する、ことを特徴とする請求項３に記載の顕微鏡観察システム。
【請求項５】
前記撮像位置決定処理部は、前記複数の全焦点画像の間で各全焦点画像における前記観察領域の位置が変化しないように、前記撮像位置を決定する、ことを特徴とする請求項４に記載の顕微鏡観察システム。
【請求項６】
顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、
前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、
前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、
前記複数の全焦点画像を表示部に表示させる表示ステップと、
を含むことを特徴とする顕微鏡観察方法。
【請求項７】
顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、
前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する制御を行う撮像制御ステップと、
前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、
前記複数の全焦点画像を表示部に表示させる表示ステップと、
をコンピュータに実行させることを特徴とする顕微鏡観察プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡装置において取得された画像を介して被写体を観察する顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムに関する。
【背景技術】
【０００２】
生物学や医学等の分野においては、焦点深度が数十μｍレベルの生物顕微鏡を用いて細胞核や幹細胞等の厚みのある被写体を観察する際、観察光学系の光軸に沿った奥行き方向（Ｚ方向）に存在する注目部位を速やかに特定したいというユーザのニーズがある。このようなニーズに対し、観察光学系の焦点面を光軸に沿ってずらしながら順次撮像を行うことにより焦点面が異なる複数の画像を取得し、これらの複数の画像をもとに、Ｚ方向の各位置に合焦された全焦点画像を生成する技術が知られている。このように取得された焦点面が異なる複数の画像をまとめて、Ｚスタック画像ともいう。【０００３】
全焦点画像を生成する方法としては、Ｚスタック画像を重畳して生成した多重焦点画像を、ボケ関数を用いて復元する方法や、焦点面が異なる複数の画像の各々から合焦領域を抽出して合成する方法等がある。【０００４】
例えば特許文献１には、被写体の近端側及び遠端側にそれぞれ合焦した２つの画像と、被写体の近端側から遠端側にイメージセンサをスイープしながら撮像して生成した全焦点画像とを取得し、近端側及び遠端側にそれぞれ合焦した画像を、全焦点画像を用いて復元することにより、画像内の部分領域におけるボケ量を算出し、それにより光学系から被写体までの距離を取得して距離マップを作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１１／１５８４９８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
生体等に見られる透明被写体を全焦点画像により観察する場合において、構造がＺ方向に複数存在するとき、これらの構造の各々に合焦していると、各構造のＺ方向における位置を把握することは難しい。また、Ｚ方向において複数の構造が重なっている場合には、それらの構造同士の前後関係、即ちＺ方向における位置関係を把握することも困難である。さらに、Ｚスタック画像は撮像に時間がかかる上に、記憶すべきデータ量や画像処理における演算量が膨大になるという問題もある。【０００７】
このような問題に関し、上記特許文献１においては、距離マップを生成することにより、画像に写った構造のＺ位置を視覚的に把握することはできる。しかしながら、距離マップではＺ方向における構造同士の前後関係を視覚的に再現することができず、ユーザが直感的に把握することは困難である。【０００８】
本発明は上記に鑑みてなされたものであり、画像に写った構造のＺ方向における位置や構造同士の前後関係をユーザが視覚的且つ直感的に把握することができる画像を、従来よりも短時間に生成することができ、且つ、データ量や画像処理における演算量を従来よりも抑制することができる顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡観察システムは、顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、前記複数の全焦点画像を表示する表示部と、を備えることを特徴とする。【００１０】
上記顕微鏡観察システムにおいて、前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする。【００１１】
上記顕微鏡観察システムは、外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域を抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、をさらに備えることを特徴とする。【００１２】
上記顕微鏡観察システムにおいて、前記全焦点画像生成部は、前記観察領域を選択された全焦点画像における前記観察領域の位置に基づき、前記撮像部の１露光期間中に前記観察光学系の視野の位置をシフトさせて多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部を有する、ことを特徴とする。【００１３】
上記顕微鏡観察システムにおいて、前記撮像位置決定処理部は、前記複数の全焦点画像の間で各全焦点画像における前記観察領域の位置が変化しないように、前記撮像位置を決定する、ことを特徴とする。【００１４】
本発明に係る顕微鏡観察方法は、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示部に表示させる表示ステップと、を含むことを特徴とする。【００１５】
本発明に係る顕微鏡観察プログラムは、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する制御を行う撮像制御ステップと、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像をもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示部に表示させる表示ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮像部の１露光期間中に焦点面及び視野の位置をシフトさせることにより多重焦点重畳画像を取得するので、Ｚスタック画像を取得して画像処理により多重焦点画像を生成する場合と比較して、撮像時間を大幅に短縮することができると共に、データ量及び演算量を大幅に抑制することが可能となる。また、本発明によれば、視野の位置のシフト量が異なる複数の条件の下で生成された複数の全焦点画像を画面に表示するので、ユーザは、これらの全焦点画像を対比することにより、画像に写った構造のＺ方向における位置や構造同士の前後関係を視覚的且つ直感的に把握することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。
【図２】図２は、図１に示す顕微鏡装置の構成例を示す模式図である。
【図３】図３は、図１に示す顕微鏡観察システムの動作を示すフローチャートである。
【図４】図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。
【図５】図５は、複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。
【図６】図６は、複数の全焦点画像の生成処理の詳細を示すフローチャートである。
【図７】図７は、図１に示す表示装置に２つの全焦点画像を並べて表示した例を示す模式図である。
【図８】図８は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。
【図９】図９は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。
【図１０】図１０は、本発明の実施の形態１の変形例３における複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態１の変形例３における複数の多重焦点重畳画像の取得処理を説明するための模式図である。
【図１２】図１２は、本発明の実施の形態１の変形例４における多重焦点重畳画像の取得処理を説明するための模式図である。
【図１３】図１３は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。
【図１４】図１４は、図１３に示す顕微鏡観察システムの動作を示すフローチャートである。
【図１５】図１５は、複数の多重焦点重畳画像を示す模式図である。
【図１６】図１６は、観察領域の選択方法の一例を示す模式図である。
【図１７】図１７は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。
【図１８】図１８は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。
【図１９】図１９は、図１８に示す顕微鏡観察システムの動作を示すフローチャートである。
【図２０】図２０は、図１９に示す顕微鏡観察システムの動作を説明するための模式図である。
【図２１】図２１は、実施の形態３の変形例における視野の位置のシフト方法を示す模式図である。
【図２２】図２２は、実施の形態３の変形例における視野の位置の別のシフト方法を示す模式図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡観察システム１は、被写体像を生成する顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置２０と、撮像装置２０が処理した画像を表示する表示装置３０とを備える。
【００２０】
図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００上に三眼鏡筒ユニット１０１を介して支持された鏡筒１０２及び接眼レンズユニット１０３と、アーム１００に設けられた落射照明ユニット１１０及び透過照明ユニット１２０と、被写体Ｓが載置されるステージ１３１を含む電動ステージユニット１３０と、鏡筒１０２の一端側に三眼鏡筒ユニット１０１を介してステージ１３１と対向するように設けられ、被写体Ｓからの観察光を結像する対物レンズ１４０とを備える。この対物レンズ１４０と、三眼鏡筒ユニット１０１を介して接続された鏡筒１０２と、該鏡筒１０２の他端側に設けられた撮像部２１１（後述）とが、観察光学系（撮像光学系）１０４を構成する。
【００２１】
三眼鏡筒ユニット１０１は、対物レンズ１４０から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１０３と、後述する撮像部２１１との方向に分岐する。
【００２２】
落射照明ユニット１１０は、落射照明用光源１１１及び落射照明光学系１１２を備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１１２は、落射照明用光源１１１から出射した照明光を集光して、観察光学系１０４の光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
【００２３】
透過照明ユニット１２０は、透過照明用光源１２１及び透過照明光学系１２２を備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１２２は、透過照明用光源１２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
【００２４】
これらの落射照明ユニット１１０及び透過照明ユニット１２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置１０に、落射照明ユニット１１０と透過照明ユニット１２０とのいずれか一方のみを設けることとしても良い。
【００２５】
電動ステージユニット１３０は、ステージ１３１と、該ステージ１３１を移動させるステージ駆動部１３２と、位置検出部１３３とを備える。ステージ駆動部１３２は、例えばモータによって構成される。ステージ１３１の被写体載置面１３１ａは、対物レンズ１４０の光軸と直交するように設けられている。以下においては、被写体載置面１３１ａをＸＹ平面とし、該ＸＹ平面の法線方向、即ち光軸と平行な方向をＺ方向とする。Ｚ方向においては、図の下方向、即ち対物レンズ１４０から離れる方向をプラス方向とする。
【００２６】
ステージ１３１をＸＹ平面内で移動させることにより、対物レンズ１４０の視野の位置をシフトさせることができる。また、ステージ１３１をＺ方向に移動させることにより、対物レンズ１４０の焦点面を光軸Ｌに沿ってシフトさせることができる。即ち、電動ステージユニット１３０は、後述する撮像制御部２２の制御の下でステージ１３１を移動させることにより焦点面及び視野の位置をシフトさせるシフト手段である。
【００２７】
なお、図２においては、焦点面及び視野の位置をシフトさせる際、鏡筒１０２〜対物レンズ１４０を含む観察光学系１０４の位置を固定し、ステージ１３１側を移動させる構成としているが、ステージ１３１の位置を固定し、観察光学系１０４側を移動させても良い。或いは、ステージ１３１と観察光学系１０４との双方を互いに反対方向に移動させても良い。つまり、観察光学系１０４と被写体Ｓとが相対的に移動可能な構成であれば、どのような構成であっても構わない。また、焦点面のシフトは観察光学系１０４のＺ方向における移動により行い、視野Ｖの位置のシフトはステージ１３１のＸＹ平面における移動により行うこととしても良い。
【００２８】
位置検出部１３３は、例えばモータからなるステージ駆動部１３２の回転量を検出するエンコーダによって構成され、ステージ１３１の位置を検出して検出信号を出力する。なお、ステージ駆動部１３２及び位置検出部１３３の代わりに、後述する撮像制御部２２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。
【００２９】
対物レンズ１４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４０、１４１）を保持可能なレボルバ１４２に取り付けられている。レボルバ１４２を回転させ、ステージ１３１と対向する対物レンズ１４０、１４１を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４０がステージ１３１と対向している状態を示している。
【００３０】
再び図１を参照すると、撮像装置２０は、顕微鏡装置１０の観察光学系１０４により生成された被写体像を撮像することにより画像を取得する画像取得部２１と、該画像取得部２１の撮像動作を制御する撮像制御部２２と、当該撮像装置２０における各種動作を制御すると共に、画像取得部２１が取得した画像を処理する制御部２３と、画像取得部２１が取得した画像の画像データや制御プログラム等の各種情報を記憶する記憶部２４と、当該撮像装置２０に対する指示や情報を入力するための入力部２５と、記憶部２４に記憶された画像データに基づく画像やその他各種情報を外部機器に出力する出力部２６とを備える。
【００３１】
画像取得部２１は、撮像部２１１及びメモリ２１２を備える。撮像部２１１は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子（イメージャ）２１１ａを備え、撮像素子２１１ａが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル（画素値）として輝度値Ｙを出力するモノクロ画像を撮像可能なカメラを用いて撮像部２１１を構成しても良い。
【００３２】
図２に示すように、撮像部２１１は、光軸Ｌが撮像素子２１１ａの受光面の中心を通るように、鏡筒１０２の一端に設けられ、対物レンズ１４０〜鏡筒１０２を含む観察光学系１０４を介して受光面に入射した観察光を光電変換することにより、対物レンズ１４０の視野に入った被写体像の画像データを生成する。
【００３３】
メモリ２１２は、例えば更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置からなり、撮像部２１１が生成した画像データを一時的に記憶する。
【００３４】
撮像制御部２２は、撮像部２１１の１露光期間中に、顕微鏡装置１０に制御信号を出力してステージ１３１を移動させることにより、対物レンズ１４０の焦点面や視野の位置をシフトさせ、それにより観察光学系１０４の光軸Ｌ方向の複数の面における画像情報を含む多重焦点重畳画像を取得させる制御を行う。
【００３５】
制御部２３は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２４に記憶されたプログラムを読み込むことにより、記憶部２４に記憶された各種パラメータや入力部２５から入力される情報等に基づき、撮像装置２０及び顕微鏡観察システム１全体の動作を統括的に制御する。また、制御部２３は、画像取得部２１から入力された画像データに所定の画像処理を施すことにより全焦点画像を生成する処理を実行する。
【００３６】
詳細には、制御部２３は、多重焦点重畳画像を取得する際に観察光学系１０４の視野の位置をシフトさせるシフト量を取得するシフト量取得処理部２３１と、画像のボケを表す点拡がり関数（Point  Spread  Function）を用いて多重焦点重畳画像を復元することにより全焦点画像を生成する全焦点画像生成部２３２とを備える。
【００３７】
記憶部２４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体と該記録媒体に対して情報を書き込むと共に該記録媒体に記録された情報を読み取る書込読取装置とによって構成される。記憶部２４は、制御部２３における演算に使用されるパラメータを記憶するパラメータ記憶部２４１と、各種プログラムを記憶するプログラム記憶部２４２とを備える。このうち、パラメータ記憶部２４１は、多重焦点重畳画像を取得する際に視野の位置をシフトさせるシフト量等のパラメータを記憶する。また、プログラム記憶部２４２は、当該撮像装置２０に所定の動作を実行させるための制御プログラムや、画像処理プログラム等を記憶する。
【００３８】
入力部２５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対してなされる操作に応じた信号を制御部２３に入力する。
【００３９】
出力部２６は、画像取得部２１により取得された画像データに基づく画像や、制御部２３において生成された全焦点画像や、その他各種情報を表示装置３０等の外部機器に出力し、所定の形式で表示させる外部インタフェースである。
【００４０】
このような撮像装置２０は、例えば、パーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェースを介して汎用のデジタルカメラを組み合わせることにより構成することができる。
【００４１】
表示装置３０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する。なお、実施の形態１においては、表示装置３０を撮像装置２０の外部に設けているが、撮像装置２０の内部に設けても良い。
【００４２】
次に、顕微鏡観察システム１の動作について説明する。図３は、顕微鏡観察システム１の動作を示すフローチャートである。
【００４３】
まず、ステップＳ１０において、画像取得部２１は、複数の多重焦点重畳画像を取得する。図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。以下においては、図４に示すように、被写体Ｓ内の厚さＤ（μｍ）の範囲を重畳撮像する場合を説明する。この厚さＤの範囲を重畳撮像範囲と呼ぶ。図４においては、重畳撮像範囲を複数のスライスＦj=0〜Nに分割して示している。実施の形態１において、各スライスＦjの厚さΔｚは、観察光学系１０４の被写界深度に相当する。また、各スライスＦjにおいて太線で囲む領域が、撮像対象となる観察光学系１０４の視野Ｖであり、視野Ｖに重ねて示す矢印は、焦点面及び視野の位置をシフトさせる方向を示している。
【００４４】
ステップＳ１０の処理開始時においては、図４の（ａ）に示すように、観察光学系１０４の焦点面がユーザ所望のＺ位置であるスライスＦj=0に合わせられ、視野Ｖがユーザ所望のＸＹ位置に合わせられているものとする。この位置合わせは、ユーザが手動で行っても良いし、自動制御で行われるものとしても良い。
【００４５】
図５は、複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。まず、ステップＳ１０１において、画像取得部２１は、シフト量ゼロの多重焦点重畳画像を取得する。詳細には、図４の（ａ）に示すように、撮像制御部２２の制御の下で撮像部２１１における露光を開始し、１露光期間中に観察光学系１０４の焦点面を＋Ｚ方向に厚さＤの分だけ移動させる。それにより、スライスＦj=0〜Ｆj=NにおいてＸ位置が同じ視野Ｖの像が重畳された多重焦点重畳画像ＳＩ0が取得される。
【００４６】
続くステップＳ１０２において、シフト量取得処理部２３１は、多重焦点重畳画像を取得する際に視野Ｖの位置をシフトさせるシフト量を取得する。このシフト量は、予め設定された量であっても良く、ユーザ操作に応じて入力部２５から入力された情報に基づいて取得しても良い。
【００４７】
図４の（ｂ）に示すように、隣り合うスライスＦj、Ｆj+1間における視野Ｖの位置のシフト量をσとする場合、最上面のスライスＦj=0における視野Ｖの位置に対する各スライスＦjにおける視野Ｖの位置のシフト量ｓjは、次式（１）によって与えられる。
ｓj＝σ×ｊ  …（１）
【００４８】
また、ユーザ操作に応じてシフト量σを決定する場合には、図４の（ｂ）に示すように、被写体Ｓの真上の方向に対してユーザの目線を傾けたときの角度θを入力させると良い。この場合、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）とすると、シフト量σ（ピクセル）は、次式（２）によって与えられる。
σ＝（Ｚ／ｔａｎθ）／ｐ  …（２）
式（２）において距離Ｚは、対物レンズ１４０から被写体Ｓ内の各深度までの距離によって近似することができる。
【００４９】
続くステップＳ１０３において、撮像制御部２２は、ステップＳ１０２において取得されたシフト量σに基づいて撮像パラメータを設定する。具体的には、撮像制御部２２はまず、次の撮像開始位置まで視野を移動させる移動距離ｔ＝σ×Ｎを算出する。この移動距離は、顕微鏡装置１０においては、撮像部２１１の画素ピッチｐ、観察倍率Ｍ倍を用いて、距離σ×Ｎ×ｐ／Ｍだけステージ１３１をＸ方向に沿って移動させることに相当する。
【００５０】
また、撮像制御部２２は、撮像パラメータとして、１露光期間中に視野ＶをＸ方向に沿ってシフトさせるシフト速度ｖ1を算出する。シフト速度ｖ1は、１回の露光期間Ｔ1、撮像部２１１の画素ピッチｐ、重畳撮像範囲の厚さＤに含まれる被写界深度Δｚの数Ｎ、及び観察倍率Ｍ倍を用いて、次式（３）によって与えられる。
ｖ1＝（ｐ×σ／Ｍ）／（Ｔ1／Ｎ）  …（３）
【００５１】
続くステップＳ１０４において、画像取得部２１は、ステップＳ１０３において設定された撮像パラメータに基づく撮像制御部２２の制御の下で、撮像部２１１の１露光期間中に観察光学系１０４の焦点面及び視野Ｖの位置をシフトさせながら被写体Ｓを撮像することにより、シフト量σの多重焦点重畳画像を取得する。
【００５２】
詳細には、図４の（ｂ）に示すように、まず、視野ＶをＸ方向に距離ｔだけシフトさせる。この位置が次の多重焦点重畳画像の撮像開始位置である。そして、撮像部２１１において露光を開始し、１露光期間中に視野Ｖを−Ｘ方向に速度ｖ1でシフトさせると共に、焦点面を−Ｚ方向に速度Ｄ／Ｔ1でシフトさせる。それにより、各スライスＦj=0〜Ｆj=Nにおける視野Ｖの像が重畳された多重焦点重畳画像ＳＩ1が取得される。その後、顕微鏡観察システム１の動作はメインルーチンに戻る。
【００５３】
ここで、焦点面及び視野Ｖの位置をシフトさせる方向は、図４に示す矢印の方向に限定されない。例えば、図４の（ａ）に示す多重焦点重畳画像ＳＩ0を取得する際、焦点面を−Ｚ方向（スライスＦj=N→Ｆj=０）にシフトさせても良いし、図４の（ｂ）に示す多重焦点重畳画像ＳＩ1を取得する際、焦点面を＋Ｚ方向にシフトさせつつ視野Ｖを＋Ｘ方向にシフトさせても良い。好ましくは、ステージ１３１の移動回数や移動量ができるだけ少なくなるように、複数の多重焦点重畳画像ＳＩ0、ＳＩ1を取得する順序や焦点面及び視野Ｖの位置のシフト方向を設定すると良い。
【００５４】
ステップＳ１０に続くステップＳ１１において、全焦点画像生成部２３２は、ステップＳ１０において取得された複数の多重焦点重畳画像をもとに、全焦点画像を生成する。
【００５５】
図６は、全焦点画像の生成処理の詳細を示すフローチャートである。ステップＳ１１１において、全焦点画像生成部２３２は、各スライスＦjの像における画像ボケを表す点拡がり関数（Point  Spread  Function：ＰＳＦ）情報を取得し、このＰＳＦ情報に基づくＰＳＦ画像を生成する。点拡がり関数は、顕微鏡装置１０における対物レンズ１４０の倍率等の撮像条件やスライスＦjと関連づけられて、予めパラメータ記憶部２４１に記憶されている。全焦点画像生成部２３２は、対物レンズ１４０の倍率等の撮像条件に基づき、スライスＦjに応じた点拡がり関数をパラメータ記憶部２４１から読み出し、点拡がり関数をもとに視野Ｖの画像内の各画素位置に対応する画素値を算出することで、スライスＦjごとのＰＳＦ画像を生成する。
【００５６】
続くステップＳ１１２において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ0に対応するシフト量ゼロの多重焦点重畳ＰＳＦ画像ＰＩ0を生成する。詳細には、ステップＳ１１１において生成したスライスＦj=0〜Nにそれぞれ対応する複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ0の各画素の画素値を算出する。
【００５７】
続くステップＳ１１３において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ1を生成する際に使用されたシフト量σを取得し、このシフト量σに基づいて各スライスＦjに対応するＰＳＦ画像をシフトさせる。即ち、多重焦点重畳画像ＳＩ1を生成する際と同様に、最上面のスライスＦj=0に対応するＰＳＦ画像に対し、他のスライスＦjに対応するＰＳＦ画像をシフト量ｓj＝σ×ｊだけシフトさせる。
【００５８】
続くステップＳ１１４において、全焦点画像生成部２３２は、ステップＳ１１３におけるシフト処理後の複数のＰＳＦ画像を用いて、シフト量σの多重焦点重畳ＰＳＦ画像ＰＩ1を生成する。詳細には、シフト処理後の複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ1の各画素の画素値を算出する。
【００５９】
ステップＳ１１５において、全焦点画像生成部２３２は、多重焦点重畳ＰＳＦ画像ＰＩ0、ＰＩ1を用いて、ステップＳ１０において生成した複数の多重焦点重畳画像ＳＩ0、ＳＩ1をそれぞれ復元する。それにより、多重焦点重畳画像ＳＩ0から全焦点画像ＡＩ0が生成ｓれ、多重焦点重畳画像ＳＩ1から全焦点画像ＡＩ1が生成される。その後、制御部２３の動作はメインルーチンに戻る。
【００６０】
ステップＳ１１に続くステップＳ１２において、撮像装置２０は、ステップＳ１１において生成した複数の全焦点画像ＡＩ0、ＡＩ1の画像データを表示装置３０に出力し、これらの全焦点画像ＡＩ0、ＡＩ1を表示させる。全焦点画像ＡＩ0、ＡＩ1の表示方法は特に限定されない。例えば、全焦点画像ＡＩ0、ＡＩ1を並べて表示しても良いし、同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示しても良い。同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示する場合には、所定の周期で全焦点画像ＡＩ0、ＡＩ1を自動で切り替えても良いし、入力部２５を用いてユーザに手動で切り替えさせることとしても良い。
【００６１】
図７は、表示装置３０における全焦点画像の表示例を示す模式図である。図７に示す画面ｍ１には、２つの全焦点画像ＡＩ0、ＡＩ1が並べて表示されている。その後、顕微鏡観察システム１の動作は終了する。
【００６２】
以上説明したように、本発明の実施の形態１においては、１露光期間中に焦点面及び視野の位置をシフトさせて撮像を行うことにより多重焦点重畳画像を取得し、この多重焦点重畳画像を復元することにより全焦点画像を生成する。この際、視野の位置のシフト量が異なる複数の条件の下で全焦点画像を生成して表示することにより、仮想的に複数の視点から被写体Ｓを見た状態を再現することができる。例えば図４の場合、シフト量をゼロとすることにより被写体Ｓを真上から見た状態を再現することができ、シフト量をσとすることにより被写体Ｓを左上から見た状態を再現することができる。従って、ユーザは、これらの全焦点画像を参照することにより、被写体Ｓ内の構造のＺ方向における位置や構造同士の前後関係、構造の重なり具合等を、視覚的且つ直感的に把握することが可能となる。
【００６３】
また、上記実施の形態１によれば、１露光期間中に焦点面を移動させて撮像を行うことにより多重焦点重畳画像を取得するので、複数回の撮像によりＺスタック画像を取得し、このＺスタック画像を加算平均して多重焦点重畳画像を取得する場合と比較して、撮像を短時間で行うことができると共に、データ量や画像処理における演算量を大幅に抑制することが可能となる。
【００６４】
なお、上記実施の形態１においては、理解を促進するため、観察光学系１０４の視野ＶをＸ方向においてのみシフトさせる場合を説明したが、Ｙ方向についても同様の処理を行うことができる。この場合、被写体Ｓに対する仮想的な視点をＹ方向に沿って移動させた場合に相当する全焦点画像を生成することができる。また、観察光学系１０４の視野ＶをＸ方向及びＹ方向の２方向にシフトさせることにより、被写体Ｓに対する仮想的な視点を水平面内において移動させた場合に相当する全焦点画像を生成することも可能である。
【００６５】
（変形例１）
次に、本発明の実施の形態１の変形例１について説明する。図８及び図９は、変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。
【００６６】
上記実施の形態１においては、ステージ１３１に対して観察光学系１０４の光軸を直交させ、シフト量σの多重焦点重畳画像ＳＩ1を取得する際には、ステージ１３１をＺ方向及びＸ方向に移動させながら撮像を行った。しかしながら、ステージ１３１に対して観察光学系１０４の光軸を予め傾斜させて撮像を行っても良い。
【００６７】
例えば図８に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置し、この被写体載置面１３１ａの法線に対して観察光学系１０４の光軸Ｌを角度αだけ傾斜させる。それにより、撮像部２１１の焦点面Ｐｆは、被写体載置面１３１ａに対して角度αで傾斜することになる。この場合、観察光学系１０４を光軸Ｌに沿って被写体載置面１３１ａに近づく方向に移動させることにより、被写体Ｓに対して焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。即ち、観察光学系１０４を２次元的に移動させる制御が不要となり、観察光学系１０４に対する駆動制御を簡素化させることができる。
【００６８】
或いは、図９に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置すると共に、この被写体載置面１３１ａに対して観察光学系１０４の光軸Ｌを直交させて設置する。そして、底面に対して角度αの斜面を有する台座１０６をステージ１３１に設置する。この台座１０６の斜面１６１ａ上に被写体Ｓを載置させることにより、撮像部２１１の焦点面Ｐｆは、斜面１６１ａに対して角度αで傾斜することになる。この場合、ステージ１３１を−Ｚ方向に移動させる、又は観察光学系１０４を＋Ｚ方向に移動させることにより、被写体Ｓに対する焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。この場合には、ステージ１３１又は観察光学系１０４を２次元的に移動させる制御が不要となり、ステージ１３１又は観察光学系１０４に対する駆動制御を簡素化させることができる。
【００６９】
このように、被写体Ｓに対して焦点面Ｐｆを傾斜させる場合、各種撮像パラメータの設定は次のようにして行う。多重焦点重畳画像ＳＩ1における隣り合うスライス間のシフト量をσ（ピクセル）、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）、厚さＤの重畳撮像範囲に含まれる被写界深度Δｚの数をＮ（Ｎ＝Ｄ／Δｚ）、観察倍率をＭ倍とすると、角度αは次式（４）によって与えられる。
α＝ｔａｎ-1｛（ｐ×σ×Ｎ/Ｍ）/Ｄ｝  …（４）
【００７０】
シフト量取得処理部２３１は、シフト量σに基づいて角度αを算出して出力する。撮像制御部２２は、この角度αに基づき、図８に示すように、被写体載置面１３１ａに対する観察光学系１０４の焦点面Ｐｆを角度αだけ傾斜させる制御を行う。
【００７１】
或いは、図９に示すように台座１６１を設置する場合には、ユーザが入力部２５を用いて、被写体載置面１３１ａに対する斜面１６１ａの角度αを入力する。この場合、シフト量取得処理部２３１は、式（４）から角度αに対応するシフト量σを算出し、撮像制御部２２は、このシフト量σに基づいて各種制御パラメータを算出する。
【００７２】
（変形例２）
次に、本発明の実施の形態１の変形例２について説明する。上記実施の形態１においては、撮像部２１１の１露光期間中にシャッタを開放させたまま焦点面及び視野Ｖの位置を連続的にシフトさせることにより、多重焦点重畳画像を取得した。しかし、１露光期間中に、撮像部２１１への光の入射を遮るシャッタを所定の周期で開閉し、シャッタが閉じている間に焦点面や視野Ｖの位置を段階的にシフトさせることとしても良い。
【００７３】
１露光期間中にシャッタを開閉する回数、即ち、撮像部２１１に対して被写体Ｓを露出する回数、或いは焦点面及び視野の位置をシフトさせる回数や、１回当たりの焦点面及び視野Ｖの位置シフト量は、撮像部２１１における１回の露光期間及びシャッタ速度等に応じて適宜設定される。
【００７４】
例えば、図４の（ａ）に示すシフト量ゼロの多重焦点重畳画像ＳＩ0を取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ、ｋは自然数）移動させる。また、図４の（ｂ）に示すシフト量σの多重焦点重畳画像ＳＩ1を取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ）移動させながら、視野Ｖの位置をシフト量σの複数倍（ｋ×σ）シフトさせる。
【００７５】
この場合、図６のステップＳ１１１においては、シャッタが開いてから閉じるまでの複数スライスに対応するＰＳＦ画像を生成する。また、図６のステップＳ１１３においては、シャッタの開閉周期に応じた視野Ｖの位置のシフト量に合わせて、ＰＳＦ画像をシフトさせる。Ｓ１１２、Ｓ１１４、Ｓ１１５における処理は、上記実施の形態１と同様である。
【００７６】
（変形例３）
次に、本発明の実施の形態１の変形例３について説明する。上記実施の形態１においては、シフト量がゼロ及びσの２つの多重焦点重畳画像を取得したが、シフト量が異なる多重焦点重畳画像をさらに取得しても良い。
【００７７】
図１０は、本変形例３における複数の多重焦点重畳画像の取得処理の詳細を示すフローチャートである。また、図１１は、本変形例３における複数の多重焦点重畳画像の取得処理を説明するための模式図である。本変形例３においては、シフト量の符号が正である場合、焦点面を＋Ｚ方向にシフトさせるときに、視野Ｖを＋Ｘ方向にシフトさせるものとする。
【００７８】
まず、ステップＳ１２１において、シフト量取得処理部２３１は、複数の多重焦点重畳画像を取得する際に用いるシフト量σi（ｉ＝１１、１２、…、ｎ）を取得する。ここで、添え字ｉは、多重焦点重畳画像の取得順序を示す変数である。図１１の（ａ）〜（ｃ）は、σ11＝＋ｋ、σ12＝０、σ13＝−ｋの３つのシフト量σiを取得する場合を示している。
【００７９】
これらのシフト量σiは、予め設定された量であっても良く、ユーザ操作に応じて入力部２５から入力された情報に基づいて取得しても良い。後者の場合、被写体Ｓの真上の方向に対してユーザの目線を傾けたときの角度θiをユーザに入力させると良い。これらの角度θiとシフト量σiとの関係は、撮像部２１１の画素ピッチｐ、対物レンズ１４０から被写体Ｓ内の各深度までの距離Ｚ（近似値）を用いて、次式（５）によって与えられる。
σi＝（Ｚ／ｔａｎθi）／ｐ  …（５）
【００８０】
続くステップＳ１２２において、撮像制御部２２は、シフト量σiに基づいて撮像パラメータを設定する。具体的には、まず、撮像制御部２２は、撮像パラメータとして、撮像開始位置及びその撮像開始位置まで視野Ｖを移動させる移動距離を算出する。なお、初回の撮像時（ｉ＝１１）には、視野Ｖの移動距離を算出する必要はなく、観察光学系１０４の現在の視野Ｖの位置から撮像を開始すれば良い。
【００８１】
また、撮像制御部２２は、撮像パラメータとして、撮像部２１１の１露光期間中に視野ＶをＸ方向に沿ってシフトさせるシフト速度を算出する。シフト速度の算出方法は、実施の形態１と同様である（図５のステップＳ１０３参照）。
【００８２】
続くステップＳ１２３において、画像取得部２１は、ステップＳ１２２において設定された撮像パラメータに基づく撮像制御部２２の制御の下で、撮像部２１１の１露光期間中に観察光学系１０４の焦点面及び視野Ｖの位置をシフトさせながら被写体Ｓを撮像することにより、シフト量σiの多重焦点重畳画像ＳＩiを取得する。多重焦点重畳画像ＳＩiの取得方法は、実施の形態１と同様である（図５のステップＳ１０４参照）。或いは、変形例２と同様に、段階的に撮像を行っても良い。それにより、各スライスＦj=0〜Ｆj=Nにおける視野Ｖの像が重畳された多重焦点重畳画像ＳＩiが取得される。
【００８３】
続くステップＳ１２４において、制御部２３は、変数ｉが最大値ｎに至ったか否かを判定する。変数ｉが最大値ｎに至っていない場合（ステップＳ１２４：Ｎｏ）、制御部２３は、変数ｉをインクリメントする（ステップＳ１２５）。その後、制御部２３の動作はステップＳ１２１に戻る。このようにステップＳ１２１〜Ｓ１２３を繰り返すことにより、シフト量σiが異なる複数の多重焦点重畳画像ＳＩiが取得される。
【００８４】
ここで、多重焦点重畳画像ＳＩiの取得順序や、撮像開始位置や、焦点面及び視野Ｖの位置のシフト方向を制御する撮像パラメータを適切に設定することにより、ステージ１３１の移動量を抑制し、トータルの撮像時間を短縮して多重焦点重畳画像ＳＩiを効率的に取得することができる。
【００８５】
具体的には、まず、図１１の（ａ）に示すように、１露光期間中に焦点面を＋Ｚ方向にシフトさせながら視野Ｖの位置をシフト量ｋのペースでＸ方向にシフトさせることにより、シフト量σ11の多重焦点重畳画像ＳＩ11を取得する。続いて、図１１の（ｂ）に示すように、撮像開始位置を−Ｘ方向に距離ｔ12＝σ11×Ｎだけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせることにより、視野Ｖの位置のシフト量σ12＝０の多重焦点重畳画像ＳＩ12を取得する。続いて、図１１の（ｃ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を＋Ｚ方向にシフトさせながら視野Ｖの位置をシフト量ｋのペースで−Ｘ方向にシフトさせることにより、シフト量σ13の多重焦点重畳画像ＳＩ13を取得する。
【００８６】
一方、ステップＳ１２４において、変数ｉが最大値ｎに至った場合（ステップＳ１２４：Ｙｅｓ）、顕微鏡観察システム１の動作はメインルーチンに戻る。
【００８７】
このように生成された複数の多重焦点重畳画像ＳＩiに基づく全焦点画像の生成処理（図３のステップＳ１１及び図６参照）は、全体として実施の形態１と同様である。このうち、図６に示すステップＳ１１２〜Ｓ１１５においては、多重焦点重畳画像ＳＩiを生成した際に用いられたシフト量σiを用いて、多重焦点重畳画像ＳＩiごとに多重焦点重畳ＰＳＦ画像を生成し、これらの多重焦点重畳ＰＳＦ画像をそれぞれ用いて、多重焦点重畳画像ＳＩiを復元する。それにより、シフト量σiが異なる複数の全焦点画像が生成される。
【００８８】
また、複数の全焦点画像を表示する際には（図３のステップＳ１２参照）、複数の全焦点画像を並べて表示しても良いし、これらの全焦点画像を同じ領域に順次切り替えて表示しても良い。例えば、図１１の（ａ）〜（ｃ）に示す複数の多重焦点重畳画像ＳＩiからそれぞれ取得された複数の全焦点画像を、シフト量σ11＝＋ｋ→シフト量σ12＝０→シフト量σ13＝−ｋ→シフト量σ12＝０→シフト量σ11＝＋ｋ→シフト量σ12＝０→…の順に繰り返し切り替えても良い。
【００８９】
以上説明したように、本発明の実施の形態１の変形例３によれば、視野Ｖの位置をシフトさせる方向が異なる複数の全焦点画像を生成して表示するので、仮想的に、被写体Ｓを真上（θ12）、左上（θ11）、右上（θ12）の各方向から見た状態を再現することができる。従って、このような全焦点画像を参照することにより、ユーザは、被写体Ｓ内の構造同士のＺ方向における重なり具合や前後関係をさらに詳細に把握することが可能となる。
【００９０】
（変形例４）
次に、本発明の実施の形態１の変形例４について説明する。上記変形例３においては、２つの多重焦点重畳画像ＳＩ11、ＳＩ13の間で視野Ｖの位置のシフト量σiの大きさを同一にしたが、複数の多重焦点重畳画像ＳＩiの間で、シフト量σiの大きさを変化させても良い。
【００９１】
図１２は、変形例４における多重焦点重畳画像の取得処理を説明するための模式図である。図１２の（ａ）〜（ｅ）に示す多重焦点重畳画像ＳＩ21〜ＳＩ25においては、シフト量σ21〜σ25の大きさを、σ21＜σ22＜σ23＜σ24＜σ25の順に大きくしている。このようにシフト量σiの大きさを変化させることにより、仮想的に被写体Ｓを様々な角度から観察した状態を再現することができる。これらの多重焦点重畳画像ＳＩiの取得処理は上記変形例３と同様である（図１０参照）。
【００９２】
また、この場合においても、多重焦点重畳画像ＳＩiの取得順序や、各多重焦点重畳画像ＳＩiの撮像開始位置や、焦点面及び視野Ｖの位置のシフト方向等の制御パラメータを適切に設定することにより、ステージ１３１の移動量を抑制し、トータルの撮像時間を短縮して多重焦点重畳画像ＳＩiを効率的に取得することができる。
【００９３】
具体的には、まず、図１２の（ａ）に示すように、１露光期間中に焦点面を＋Ｚ方向にシフトさせることにより、シフト量σ21＝０の多重焦点重畳画像ＳＩ21を取得する。続いて、図１２の（ｂ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ22（ｔ22＝σ22×Ｎ）だけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを−Ｘ方向にシフト量σ22のペースでシフトさせることにより、多重焦点重畳画像ＳＩ22を取得する。続いて、図１２の（ｃ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ23のペースでシフトさせることにより、多重焦点重畳画像ＳＩ23を取得する。続いて、図１２の（ｄ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ24（ｔ24＝σ24×Ｎ−σ23×Ｎ）だけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを−Ｘ方向にシフト量σ24のペースでシフトさせることにより、多重焦点重畳画像ＳＩ24を取得する。さらに、図１２の（ｅ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を＋Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ25のペースでシフトさせることにより、多重焦点重畳画像ＳＩ25を取得する。
【００９４】
これらの多重焦点重畳画像ＳＩiに基づく複数の全焦点画像の生成処理及び複数の画像の表示処理は、変形例３と同様である。
【００９５】
以上説明したように、本発明の実施の形態１の変形例４によれば、複数の多重焦点重畳画像ＳＩiの間でシフト量σiの大きさを変化させるので、仮想的に、より広い範囲の複数の方向から被写体Ｓを観察した状態を再現することができる。従って、ユーザは、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を直感的かつよりリアルに把握することが可能となる。
【００９６】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１３は、本発明の実施の形態２に係る顕微鏡観察システムの構成を示すブロック図である。図１３に示すように、実施の形態２に係る顕微鏡観察システム２は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置４０と、撮像装置４０が処理した画像等を表示する表示装置５０とを備える。このうち、顕微鏡装置１０の構成及び動作は実施の形態１と同様である（図２参照）。
【００９７】
撮像装置４０は、図１に示す制御部２３の代わりに制御部４１を備える。制御部４１は、制御部２３に対して、注目スライス取得部４１１をさらに備える。なお、シフト量取得処理部２３１及び全焦点画像生成部２３２の動作は、実施の形態１と同様である。
【００９８】
注目スライス取得部４１１は、後述する表示装置５０から入力部２５を介して入力される観察領域に対応する被写体Ｓ内の構造が含まれるスライスのＺ方向における位置を取得し、このスライスを注目スライスとして決定する。
【００９９】
表示装置５０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する画像表示部５１と、外部からなされる操作に応じて、画像表示部５１に表示される全焦点画像内の領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する観察領域決定部５２とを備える。
【０１００】
次に、顕微鏡観察システム２の動作を説明する。図１４は、顕微鏡観察システム２の動作を示すフローチャートである。なお、ステップＳ１０〜Ｓ１２における動作は実施の形態１と同様である。また、図１５は、ステップＳ１０において生成される複数の多重焦点重畳画像ＳＩi（ｉ＝３１〜３４）を示す模式図である。実施の形態２においては、これらの多重焦点重畳画像ＳＩiを復元することにより複数の全焦点画像ＡＩiがそれぞれ生成され、画像表示部５１に順次切り替えて表示されるものとする。
【０１０１】
ステップＳ１２に続くステップＳ２１において、観察領域決定部５２は、画像表示部５１に表示された全焦点画像ＡＩ31、ＡＩ32、ＡＩ33、ＡＩ34のいずれかに対して任意の領域を選択するユーザ操作がなされたか否かを判定する。
【０１０２】
ユーザ操作がなされない場合（ステップＳ２１：Ｎｏ）、顕微鏡観察システム２の動作はステップＳ１２に戻る。
【０１０３】
一方、ユーザ操作がなされた場合（ステップＳ２１：Ｙｅｓ）、観察領域決定部５２は、ユーザ操作により選択された領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する（ステップＳ２２）。図１６は、観察領域の選択方法の一例を示す模式図である。観察領域の選択は、例えば図１６に示すように、マウス等を用いたポインタ操作により画像表示部５１に表示された全焦点画像内の所望の領域を囲むことによって行われる。
【０１０４】
続くステップＳ２３において、制御部４１は、観察領域決定部５２から入力された観察領域を表す情報に基づいて、観察領域のＺ位置情報を取得する。図１７は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。以下においては、一例として、図１５に示す全焦点画像ＡＩ34内の領域Ｒ34が観察領域として決定されたものとして説明する。
【０１０５】
ステップＳ２３１において、注目スライス取得部４１１は、全焦点画像Ａ34における観察領域Ｒ34のＸＹ位置情報を取得する。
【０１０６】
続くステップＳ２３２において、注目スライス取得部４１１は、全焦点画像Ａ34以外の各全焦点画像ＡＩ31、ＡＩ32、ＡＩ33から、観察領域Ｒ34に対応する領域Ｒ’31、Ｒ’32、Ｒ’33を抽出し、各領域のＸＹ位置情報を取得する。領域Ｒ’31、Ｒ’32、Ｒ’33は、パターンマッチング等の公知の画像認識技術を用いて抽出することができる。以下、これらの領域Ｒ’31、Ｒ’32、Ｒ’33を観察領域ともいう。
【０１０７】
続くステップＳ２３３において、注目スライス取得部４１１は、全焦点画像ＡＩ31、ＡＩ32、ＡＩ33、ＡＩ34間における観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34のＸＹ位置のシフト量を取得する。図１５の（ａ）〜（ｄ）の場合、全焦点画像ＡＩ31における観察領域Ｒ’31のＸ位置と全焦点画像ＡＩ32における観察領域Ｒ’32の位置との間のシフト量、全焦点画像ＡＩ32における観察領域Ｒ’32のＸ位置と全焦点画像ＡＩ33における観察領域Ｒ’33の位置との間のシフト量、及び、全焦点画像ＡＩ33における観察領域Ｒ’33のＸ位置と全焦点画像ＡＩ34における観察領域Ｒ34の位置との間のシフト量が取得される。
【０１０８】
続くステップＳ２３４において、注目スライス取得部４１１は、観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34のシフト量に基づいて、これらの観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34が含まれるスライスＦjを取得する。
【０１０９】
ここで、全焦点画像ＡＩiにおけるシフト量がσiであった場合、最上面のスライスＦj=0における視野Ｖの位置に対する各スライスＦjにおける視野Ｖの位置のシフト量ｓi,jは、次式（６）によって与えられる。
ｓi,j＝σi×ｊ  …（６）
【０１１０】
従って、観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34間のシフト量｜ｓ(i+1),j−ｓi,j｜が与えられれば、次式（７）により、当該観察領域Ｒ’31、Ｒ’32、Ｒ’33、Ｒ34が含まれるスライスＦjを特定することができる。
｜ｓ(i+1)  ,j−ｓi,j｜＝σi+1×ｊ−σi×ｊ
ｊ＝｜ｓ(i+1),j−ｓi,j｜／（σi+1−σi）  …（７）
【０１１１】
例えば図１５の（ｃ）、（ｄ）に示すように、全焦点画像ＡＩ33におけるシフト量σ33が２ピクセル、全焦点画像ＡＩ34におけるシフト量σ34が３ピクセル、観察領域Ｒ’33、Ｒ34間のシフト量が２ピクセルであるとき、式（７）より、ｊ＝２となる。即ち、観察領域Ｒ34はスライスＦj=2に含まれることがわかる。
【０１１２】
注目スライス取得部４１１は、このようにして取得したスライスＦjを観察領域のＺ位置情報として出力する。その後、制御部４１の動作はメインルーチンに戻る。
【０１１３】
ステップＳ２３に続くステップＳ２４において、制御部４１は、注目スライス取得部４１１が出力したＺ位置情報に基づき、このＺ位置に焦点を合わせて撮像を行うことにより、観察領域を含むスライスの画像を取得して表示装置５０に表示させる。この際、制御部４１は、観察領域を含むスライスの画像と共に、このスライスに対して隣り合う他の（即ち、前後の）スライスの画像も取得して表示させることとしても良い。その後、顕微鏡観察システム２の動作は終了する。
【０１１４】
以上説明した本発明の実施の形態２によれば、ユーザは、平面上では重なって見える構造のＺ方向における位置や、構造同士の前後関係を直感的に容易に把握することが可能となる。
【０１１５】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１８は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。図１８に示すように、実施の形態３に係る顕微鏡観察システム３は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置６０と、撮像装置６０が処理した画像等を表示する表示装置５０とを備える。このうち、顕微鏡装置１０の構成及び動作は、実施の形態１と同様である（図２参照）。また、表示装置５０の構成及び動作は、実施の形態２と同様である（図１３参照）。
【０１１６】
撮像装置６０は、図１３に示す制御部４１の代わりに制御部６１を備える。制御部６１は、制御部４１に対して、全焦点画像生成部２３２の代わりに全焦点画像生成部６１１を備える。制御部６１以外の撮像装置６０の各部の構成及び動作、並びに、全焦点画像生成部６１１以外の制御部６１の各部の構成及び動作は、実施の形態３と同様である。
【０１１７】
全焦点画像生成部６１１は、注目スライス決定部４１１が決定した注目スライスの位置に基づいて、多重焦点重畳画像を取得する際の撮像位置を決定する撮像位置決定処理部６１２を有する。
【０１１８】
次に、顕微鏡観察システム３の動作について説明する。図１９は、顕微鏡観察システム３の動作を示すフローチャートである。なお、ステップＳ１０〜Ｓ２４は、実施の形態２と同様である（図１４参照）。また、図２０は、顕微鏡観察システム３の動作を説明するための模式図である。以下の説明においては、ステップＳ２２において観察領域Ｒが決定され、ステップＳ２３においてこの観察領域ＲがスライスＦj=2に含まれることが判明したものとする。
【０１１９】
ステップＳ２４に続くステップＳ３１において、撮像位置決定処理部６１２は、複数の全焦点画像の間で、ステップＳ２２において決定された観察領域の位置が変化しないように、多重焦点重畳画像を取得する際の撮像位置を決定する。例えば図２０の場合、撮像位置決定処理部６１２は、全焦点画像ＡＩ41、ＡＩ42、ＡＩ43、ＡＩ44の間で観察領域Ｒの位置が変化しないように、観察領域Ｒが含まれるスライスＦj=2における視野Ｖの位置を確定する。図２０の（ａ）〜（ｄ）においては、観察領域Ｒが視野Ｖの中心となるように、視野Ｖの位置を確定している。そして、確定した視野Ｖの位置を基準として、多重焦点重畳画像ＳＩ41、ＳＩ42、ＳＩ43、ＳＩ44についてそれぞれ設定されているシフト量σ41、σ42、σ43、σ44に基づいて、各多重焦点重畳画像ＳＩ41、ＳＩ42、ＳＩ43、ＳＩ44の撮像開始位置を算出する。この撮像開始位置とシフト量σ41、σ42、σ43、σ44とにより、各多重焦点重畳画像ＳＩ41、ＳＩ42、ＳＩ43、ＳＩ44を取得する際の各スライスＦjに対する撮像位置が決まる。
【０１２０】
続くステップＳ３２において、撮像制御部２２は、撮像位置決定処理部６１２が決定した撮像位置に基づいてステージ１３１の位置及び撮像部２１１を制御することにより、複数の多重焦点重畳画像を再取得する。複数の多重焦点重畳画像の再取得処理は、撮像パラメータが異なること以外は、ステップＳ１１と同様である。
【０１２１】
続くステップＳ３３において、全焦点画像生成部６１１は、ステップＳ３２において取得された多重焦点重畳画像をＰＳＦ関数を用いて復元することにより、複数の全焦点画像を生成する。この全焦点画像の生成処理は、ステップＳ１２と同様である。
【０１２２】
続くステップＳ３４において、撮像装置６０は、ステップＳ３３において生成した複数の全焦点画像を表示装置５０に表示させる。その後、顕微鏡観察システム３の動作は終了する。
【０１２３】
以上説明したように、本発明の実施の形態３によれば、ユーザが選択した観察領域の全焦点画像における位置を変化させることなく、仮想的な視点の異なる複数の全焦点画像を表示することができる。従って、ユーザは、自身が選択した観察領域に対する視線を変化させることなく、観察領域のＺ方向における位置や他の構造との前後関係等を直感的に把握することが可能となる。
【０１２４】
（変形例）
次に、本発明の実施の形態３の変形例について説明する。上記実施の形態３では、各多重焦点重畳画像内において隣り合うスライス間でのシフト量を同一としたが、１つの多重焦点重畳画像内においても、隣り合うスライス間でのシフト量を変化させても良い。
【０１２５】
図２１は、実施の形態３の変形例における視野の位置のシフト方法を示す模式図である。図２１においては、スライスＦj=1に含まれる観察領域Ｒ１の位置が複数の全焦点画像の間で変化しないように多重焦点重畳画像ＳＩ51、ＳＩ52を取得している。
【０１２６】
図２１の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ51、ＳＩ52の間において、基準とするスライスＦj=0における視野Ｖの位置に対する各スライスＦjにおける視野Ｖの位置のシフト量、例えばシフト量ｓ51,N、ｓ52,Nは、多重焦点重畳画像ＳＩ52の方で大きくなっている。また、各多重焦点重畳画像ＳＩ51、ＳＩ52において、隣り合うスライス間における視野Ｖの位置のシフト量σは、基準とするスライスＦj=0に近いほど大きくなっている。
【０１２７】
このように、ユーザが注目した観察領域を含むスライスに近いほど、隣り合うスライス間における視野Ｖの位置のシフト量を多くすることにより、注目するスライスの構造を把握し易くすることができる。
【０１２８】
また、上記実施の形態３においては、各スライスＦj=0〜Ｆj=Nにおける視野Ｖの位置が一方向に並ぶように、最上面のスライスＦj=0又は最下面のスライスＦj=Nにおける視野Ｖに対するシフト量を順次増加又は順次減少させた。しかしながら、スライスに応じて視野の位置のシフト量の増減を変化させても良い。
【０１２９】
図２２は、実施の形態３の変形例における視野の別のシフト方法を示す模式図である。図２２においては、スライスＦj=3に含まれる観察領域Ｒ２の位置が複数の全焦点画像の間で変化しないように多重焦点重畳画像ＳＩ61、ＳＩ62を取得している。
【０１３０】
図２２の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ61、ＳＩ62においては、観察領域を含むスライスＦj=3を境に、隣り合うスライス間のシフト量の増減を転換させている。それにより、全焦点画像を生成した場合においても、ユーザが選択した観察領域を含むスライスをより際立たせて表示することが可能となる。
【０１３１】
以上説明した実施の形態１〜３及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【符号の説明】
【０１３２】
１、２、３  顕微鏡観察システム
１０  顕微鏡装置
２０、４０、６０  撮像装置
２１  画像取得部
２２  撮像制御部
２３、４１、６１  制御部
２４  記憶部
２５  入力部
２６  出力部
３０、５０  表示装置
５１  画像表示部
５２  観察領域決定部
１００  アーム
１０１  三眼鏡筒ユニット
１０２  鏡筒
１０３  接眼レンズユニット
１０４  観察光学系
１１０  落射照明ユニット
１１１  落射照明用光源
１１２  落射照明光学系
１２０  透過照明ユニット
１２１  透過照明用光源
１２２  透過照明光学系
１３０  電動ステージユニット
１３１  ステージ
１３２  ステージ駆動部
１３３  位置検出部
１４０、１４１  対物レンズ
１４２  レボルバ
１６１  台座
１６１ａ  斜面
２１１  撮像部
２１２  メモリ
２３１  シフト量取得処理部
２３２、６１１  全焦点画像生成部
２４１  パラメータ記憶部
２４２  プログラム記憶部
４１１  注目スライス取得部
６１２  撮像位置決定処理部
【図１】
2016166871.tif 000003
【図２】
2016166871.tif 000004
【図３】
2016166871.tif 000005
【図４】
2016166871.tif 000006
【図５】
2016166871.tif 000007
【図６】
2016166871.tif 000008
【図７】
2016166871.tif 000009
【図８】
2016166871.tif 000010
【図９】
2016166871.tif 000011
【図１０】
2016166871.tif 000012
【図１１】
2016166871.tif 000013
【図１２】
2016166871.tif 000014
【図１３】
2016166871.tif 000015
【図１４】
2016166871.tif 000016
【図１５】
2016166871.tif 000017
【図１６】
2016166871.tif 000018
【図１７】
2016166871.tif 000019
【図１８】
2016166871.tif 000020
【図１９】
2016166871.tif 000021
【図２０】
2016166871.tif 000022
【図２１】
2016166871.tif 000023
【図２２】
2016166871.tif 000024
【国際調査報告】
2016166871.tif 000025
2016166871.tif 000026
2016166871.tif 000027
2016166871.tif 000028