(57)【要約】  生体等の透明被写体の全焦点画像を観察する場合であっても、Ｚ方向における構造の位置や構造同士の前後関係をユーザが視覚的に把握することができる顕微鏡観察システム等を提供する。顕微鏡観察システム１は、顕微鏡装置１０が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得部２１と、複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理部２３１と、上記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた他のスライス画像とを、１のスライス画像に対する他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成部２３２と、複数の全焦点画像を表示する表示装置３０とを備える。
2016166858.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得部と、
前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理部と、
前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成部と、
前記複数の全焦点画像を表示する表示部と、
を備えることを特徴とする顕微鏡観察システム。
【請求項２】
外部からなされる操作に応じた情報を入力する入力部と、
前記入力部から入力された情報に従って、前記複数の条件の各々における前記シフト量を算出するシフト量取得処理部と、
をさらに備え、
前記画像シフト処理部は、前記シフト量取得処理部が算出した前記シフト量に従って、前記他のスライス画像をシフトさせる、
ことを特徴とする請求項１に記載の顕微鏡観察システム。
【請求項３】
外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、
前記観察領域が選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域が選択された全焦点画像における前記観察領域の位置と、前記領域が抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記複数のスライス画像から前記観察領域が含まれるスライス画像を抽出する注目画像抽出処理部と、
をさらに備えることを特徴とする請求項１に記載の顕微鏡観察システム。
【請求項４】
前記全焦点画像生成部は、前記観察領域が選択された全焦点画像における前記観察領域の位置に基づき、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とに対し、前記複数の全焦点画像の各々を生成する際に用いる範囲を決定する切り出し範囲決定処理部をさらに備える、ことを特徴とする請求項３に記載の顕微鏡観察システム。
【請求項５】
顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得ステップと、
前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、
前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、
前記複数の全焦点画像を表示する表示ステップと、
を含むことを特徴とする顕微鏡観察方法。
【請求項６】
顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像に対し、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、
前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、
前記複数の全焦点画像を表示する表示ステップと、
をコンピュータに実行させることを特徴とする顕微鏡観察プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡装置において取得された画像を介して被写体を観察する顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムに関する。
【背景技術】
【０００２】
生物学や医学等の分野においては、焦点深度が数十μｍレベルの生物顕微鏡を用いて細胞核や幹細胞等の厚みのある被写体を観察する際、観察光学系の光軸に沿った奥行き方向（Ｚ方向）に存在する注目部位を速やかに特定したいというユーザのニーズがある。このようなニーズに対し、観察光学系の焦点位置を光軸に沿ってずらしながら順次撮像を行うことにより焦点面が異なる複数の画像を取得し、これらの複数の画像をもとに、Ｚ方向の各位置に合焦された全焦点画像を生成する技術が知られている。このように取得された焦点面が異なる複数の画像をまとめて、Ｚスタック画像ともいう。【０００３】
全焦点画像を生成する方法としては、Ｚスタック画像を重畳して生成した多重焦点画像を、ボケ関数を用いて復元する方法や、焦点面が異なる複数の画像の各々から合焦領域を抽出して合成する方法等がある。以下、焦点面が異なる各画像をスライス画像ともいう。例えば特許文献１には、各スライス画像内における合焦度を算出し、この合焦度に基づいて合成対象とする候補領域を選択し、候補領域に対して合焦度に応じた重み付けを行って合成する技術が開示されている。【０００４】
このような全焦点画像によれば、ユーザは、２次元ＸＹ平面上において、被写体内の構造のＺ方向における位置を瞬時に把握することができる。【０００５】
また、全焦点画像に関連する技術として、例えば特許文献２には、Ｚスタック画像から生成した全焦点画像に対し、ユーザインタフェースを介してユーザに領域を選択させ、この領域に合焦しているスライス画像を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−２１４８９号公報
【特許文献２】特開２０１４−２１４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
生体等の透明被写体は合焦している構造がＺ方向に複数存在することがあるため、全焦点画像からＺ方向における構造の位置を把握することは難しい。また、Ｚ方向において複数の構造が重なっている場合には、それらの構造同士の前後関係、即ちＺ方向における位置関係を把握することも困難である。【０００８】
このような問題に関し、上記特許文献１においては、全焦点画像に対して深度マップを生成することで、各構造のＺ位置を視覚的に再現している。しかしながら、Ｚ方向に重なった構造については複数の深度マップが示されるが、ユーザにとっては深度マップの位置関係が不明なため、構造同士の前後関係を視覚的且つ直感的に把握することは困難である。【０００９】
また、上記特許文献２においては、全焦点画像から選択された領域に対して合焦度が最も高いスライス画像が抽出されるため、Ｚ位置が異なる複数の構造が平面上で重なっている場合、必ずしもユーザが選択した領域が抽出されるとは限らない。【００１０】
本発明は上記に鑑みてなされたものであり、生体等の透明被写体の全焦点画像を観察する場合であっても、Ｚ方向における構造の位置や、構造同士の前後関係を、ユーザが視覚的且つ直感的に把握することができる顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡観察システムは、顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得部と、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理部と、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成部と、前記複数の全焦点画像を表示する表示部と、を備えることを特徴とする。【００１２】
上記顕微鏡観察システムは、外部からなされる操作に応じた情報を入力する入力部と、前記入力部から入力された情報に従って、前記複数の条件の各々における前記シフト量を算出するシフト量取得処理部と、をさらに備え、前記画像シフト処理部は、前記シフト量取得処理部が算出した前記シフト量に従って、前記他のスライス画像をシフトさせる、ことを特徴とする。【００１３】
上記顕微鏡観察システムは、外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、前記観察領域が選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域が選択された全焦点画像における前記観察領域の位置と、前記領域が抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記複数のスライス画像から前記観察領域が含まれるスライス画像を抽出する注目画像抽出処理部と、をさらに備えることを特徴とする。【００１４】
上記顕微鏡観察システムにおいて、前記全焦点画像生成部は、前記観察領域が選択された全焦点画像における前記観察領域の位置に基づき、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とに対し、前記複数の全焦点画像の各々を生成する際に用いる範囲を決定する切り出し範囲決定処理部をさらに備える、ことを特徴とする。【００１５】
本発明に係る顕微鏡観察方法は、顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像を取得する画像取得ステップと、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示する表示ステップと、を含むことを特徴とする。【００１６】
本発明に係る顕微鏡観察プログラムは、顕微鏡が備える観察光学系の光軸に沿って焦点位置をずらしながら被写体像を撮像することにより生成された複数のスライス画像に対し、前記複数のスライス画像のうちの１のスライス画像に対して他のスライス画像を、当該１のスライス画像が含まれる面内において相対的にシフトさせる画像シフト処理ステップと、前記１のスライス画像と、該１のスライス画像に対して相対的にシフトさせた前記他のスライス画像とを、前記１のスライス画像に対する前記他のスライス画像のシフト量が異なる複数の条件の下で合成することにより、複数の全焦点画像を生成する全焦点画像生成ステップと、前記複数の全焦点画像を表示する表示ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、観察光学系の光軸に沿って焦点位置をずらしながら撮像を行うことにより取得した複数のスライス画像をもとに、１のスライス画像に対する他のスライス画像のシフト量が異なる複数の条件の下で複数の全焦点画像を生成して表示するので、仮想的に複数の視点から被写体を見た状態を再現することができる。従って、ユーザは、Ｚ方向における構造の位置や構造同士の前後関係を視覚的且つ直感的に把握することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。
【図２】図２は、図１に示す顕微鏡装置の構成例を示す模式図である。
【図３】図３は、図１に示す顕微鏡観察システムの動作を示すフローチャートである。
【図４】図４は、Ｚスタック画像を取得する動作を説明するための模式図である。
【図５】図５は、複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。
【図６】図６は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。
【図７】図７は、スライス画像のシフト量の設定方法を説明するための模式図である。
【図８】図８は、複数の全焦点画像の生成処理の詳細を示すフローチャートである。
【図９】図９は、図１に示す表示装置に２つの全焦点画像を並べて表示した例を示す模式図である。
【図１０】図１０は、本発明の実施の形態１の変形例１における多重焦点重畳画像の生成処理の詳細を示すフローチャートである。
【図１１】図１１は、本発明の実施の形態１の変形例１におけるスライス画像のシフト量の設定方法を説明するための模式図である。
【図１２】図１２は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。
【図１３】図１３は、図１２に示す顕微鏡観察システムの動作を示すフローチャートである。
【図１４】図１４は、複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。
【図１５】図１５は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。
【図１６】図１６は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。
【図１７】図１７は、本発明の実施の形態２の変形例２−２におけるスライス画像のシフト量の算出処理を説明するための模式図である。
【図１８】図１８は、本発明の実施の形態２の変形例２−２におけるスライス画像のシフト量の算出処理を説明するための模式図である。
【図１９】図１９は、本発明の実施の形態２の変形例２−３において表示装置に表示される画面の例を示す模式図である。
【図２０】図２０は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。
【図２１】図２１は、図２０に示す顕微鏡観察システムの動作を示すフローチャートである。
【図２２】図２２は、基準画像に対してシフトさせられたスライス画像を示す模式図である。
【図２３】図２３は、観察領域の選択方法の一例を示す模式図である。
【図２４】図２４は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。
【図２５】図２５は、本発明の実施の形態４に係る顕微鏡観察システムの構成例を示すブロック図である。
【図２６】図２６は、図２５に示す顕微鏡観察システムの動作を示すフローチャートである。
【図２７】図２７は、図２５に示す顕微鏡観察システムの動作を説明するための模式図である。
【図２８】図２８は、実施の形態４の変形例におけるスライス画像のシフト方法を示す模式図である。
【図２９】図２９は、実施の形態４の変形例におけるスライス画像の別のシフト方法を示す模式図である。
【発明を実施するための形態】
【００１９】
以下、本発明に係る顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡観察システム１は、被写体の拡大像を生成する顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置２０と、撮像装置２０が処理した画像を表示する表示装置３０とを備える。
【００２１】
図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００上に三眼鏡筒ユニット１０１を介して支持された鏡筒１０２及び接眼レンズユニット１０３と、アーム１００に設けられた落射照明ユニット１１０及び透過照明ユニット１２０と、被写体Ｓが載置されるステージ１３１を含む電動ステージユニット１３０と、鏡筒１０２の一端側に三眼鏡筒ユニット１０１を介してステージ１３１と対向するように設けられ、被写体Ｓからの観察光を結像する対物レンズ１４０とを備える。この対物レンズ１４０と、三眼鏡筒ユニット１０１を介して接続された鏡筒１０２と、該鏡筒１０２の他端側に設けられた撮像部２１１（後述）とが、観察光学系（撮像光学系）１０４を構成する。
【００２２】
三眼鏡筒ユニット１０１は、対物レンズ１４０から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１０３と、後述する撮像部２１１との方向に分岐する。
【００２３】
落射照明ユニット１１０は、落射照明用光源１１１及び落射照明光学系１１２を備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１１２は、落射照明用光源１１１から出射した照明光を集光して、観察光学系１０４の光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
【００２４】
透過照明ユニット１２０は、透過照明用光源１２１及び透過照明光学系１２２を備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１２２は、透過照明用光源１２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。
【００２５】
これらの落射照明ユニット１１０及び透過照明ユニット１２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置１０に、落射照明ユニット１１０と透過照明ユニット１２０とのいずれか一方のみを設けることとしても良い。
【００２６】
電動ステージユニット１３０は、ステージ１３１と、該ステージ１３１を移動させるステージ駆動部１３２と、位置検出部１３３とを備える。ステージ駆動部１３２は、例えばモータによって構成され、後述する撮像制御部２２の制御の下でステージ１３１を移動させる移動手段である。ステージ１３１の被写体載置面１３１ａは、対物レンズ１４０の光軸と直交するように設けられている。以下においては、被写体載置面１３１ａをＸＹ平面とし、該ＸＹ平面の法線方向、即ち光軸と平行な方向をＺ方向とする。Ｚ方向においては、図の下方向、即ち対物レンズ１４０から離れる方向をプラス方向とする。
【００２７】
ステージ１３１をＸＹ平面内で移動させることにより、対物レンズ１４０の観察視野を変化させることができる。また、ステージ１３１をＺ方向に移動させることにより、対物レンズ１４０の焦点に位置する被写体Ｓのスライスを光軸に沿って変化させることができる。
【００２８】
なお、実施の形態１においては、電気的な制御によりステージ１３１を移動可能な構成としているが、調節ツマミ等を用いてステージ１３１をユーザが手動で移動させる構成としても良い。
【００２９】
また、図２においては、対物レンズ１４０、鏡筒１０２、及び撮像部２１１を含む観察光学系１０４の位置を固定し、ステージ１３１側を移動させる構成としているが、ステージ１３１の位置を固定し、観察光学系１０４側を移動させても良い。或いは、ステージ１３１と観察光学系１０４との双方を互いに反対方向に移動させても良い。つまり、観察光学系１０４と被写体Ｓとが相対的に移動可能な構成であれば、どのような構成であっても構わない。
【００３０】
位置検出部１３３は、例えばモータからなるステージ駆動部１３２の回転量を検出するエンコーダによって構成され、ステージ１３１の位置を検出して検出信号を出力する。なお、ステージ駆動部１３２及び位置検出部１３３の代わりに、後述する撮像制御部２２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。
【００３１】
対物レンズ１４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４０、１４１）を保持可能なレボルバ１４２に取り付けられている。レボルバ１４２を回転させ、ステージ１３１と対向する対物レンズ１４０、１４１を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４０がステージ１３１と対向している状態を示している。
【００３２】
再び図１を参照すると、撮像装置２０は、被写体Ｓを撮像することにより画像を取得する画像取得部２１と、該画像取得部２１の撮像動作を制御する撮像制御部２２と、当該撮像装置２０における各種動作を制御すると共に、画像取得部２１が取得した画像を処理する制御部２３と、画像取得部２１が取得した画像の画像データや制御プログラム等の各種情報を記憶する記憶部２４と、当該撮像装置２０に対する指示や情報を入力するための入力部２５と、記憶部２４に記憶された画像データに基づく画像やその他各種情報を外部機器に出力する出力部２６とを備える。
【００３３】
画像取得部２１は、撮像部２１１及びメモリ２１２を備える。撮像部２１１は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子（イメージャ）２１１ａを備え、撮像素子２１１ａが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル（画素値）として輝度値Ｙを出力するモノクロ画像を撮像可能なカメラを用いて撮像部２１１を構成しても良い。
【００３４】
図２に示すように、撮像部２１１は、光軸Ｌが撮像素子２１１ａの受光面の中心を通るように、鏡筒１０２の一端に設けられ、対物レンズ１４０〜鏡筒１０２を介して受光面に入射した観察光を光電変換することにより、対物レンズ１４０の視野に入った像の画像データを生成する。
【００３５】
メモリ２１２は、例えば更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置からなり、撮像部２１１が生成した画像データを一時的に記憶する。
【００３６】
撮像制御部２２は、顕微鏡装置１０に制御信号を出力してステージ１３１を移動させることにより、対物レンズ１４０の視野に入る被写体Ｓの領域や焦点位置を変化させ、撮像部２１１に撮像を実行させることにより、複数の画像を順次取得する制御を行う。以下、ＸＹ平面における被写体Ｓの座標が同一で、焦点位置が異なる複数の画像の組を、Ｚスタック画像ともいう。また、Ｚスタック画像に含まれる各焦点位置の画像を、スライス画像ともいう。
【００３７】
制御部２３は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２４に記憶されたプログラムを読み込むことにより、記憶部２４に記憶された各種パラメータや入力部２５から入力される情報等に基づき、撮像装置２０及び顕微鏡観察システム１全体の動作を統括的に制御する。また、制御部２３は、画像取得部２１から入力された画像データに所定の画像処理を施すことにより画像を生成し、さらに、生成した複数の画像を合成して全焦点画像を生成する処理を行う。
【００３８】
詳細には、制御部２３は、Ｚスタック画像に含まれる複数のスライス画像に対し、画像面内における位置を相対的にシフトさせる画像シフト処理部２３１と、複数のスライス画像を合成して多重焦点重畳画像を生成すると共に、画像のボケを表す点拡がり関数（point  spread  function）を用いて多重焦点重畳画像を復元することにより、全焦点画像を生成する全焦点画像生成部２３２とを備える。
【００３９】
記憶部２４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体と該記録媒体に対して情報を書き込むと共に該記録媒体に記録された情報を読み取る書込読取装置とによって構成される。記憶部２４は、制御部２３における演算に使用されるパラメータを記憶するパラメータ記憶部２４１と、各種プログラムを記憶するプログラム記憶部２４２とを備える。パラメータ記憶部２４１は、画像シフト処理部２３１においてスライス画像をシフトさせる際の焦点位置に応じたシフト量等のパラメータを記憶する。また、プログラム記憶部２４２は、当該撮像装置２０に所定の動作を実行させるための制御プログラムや、画像処理プログラム等を記憶する。
【００４０】
入力部２５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対してなされる操作に応じた信号を制御部２３に入力する。
【００４１】
出力部２６は、画像取得部２１により取得された画像データに基づく画像や、制御部２３において生成された全焦点画像や、その他各種情報を表示装置３０等の外部機器に出力し、所定の形式で表示させる外部インタフェースである。
【００４２】
このような撮像装置２０は、例えば、パーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェースを介して汎用のデジタルカメラを組み合わせることにより構成することができる。
【００４３】
表示装置３０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する。なお、実施の形態１においては、表示装置３０を撮像装置２０の外部に設けているが、撮像装置２０の内部に設けても良い。
【００４４】
次に、顕微鏡観察システム１の動作について説明する。図３は、顕微鏡観察システム１の動作を示すフローチャートである。
【００４５】
まず、ステップＳ１０において、画像取得部２１は、撮像制御部２２の制御の下で、顕微鏡装置１０のステージ１３１（図２参照）にセットされた被写体Ｓを撮像することにより、Ｚスタック画像を取得する。図４は、Ｚスタック画像を取得する動作を説明するための模式図であり、スライドガラスＳＧ上に載置された被写体Ｓを示している。
【００４６】
図４に示すように、撮像を１回行うごとに対物レンズ１４０とステージ１３１との距離をΔｚずつ変化させ、対物レンズ１４０の焦点位置ＦをＺ方向に沿って移動させることにより、複数のスライス位置（Ｚ＝Ｆj）における被写体Ｓの画像を取得することができる。ここで、スライス位置Ｆjの添え字ｊは、被写体Ｓの表面から数えたスライス順を表し、図４においてはｊ＝１〜５である。なお、図４は、焦点位置Ｆをスライス位置Ｆ1〜Ｆ5に順次設定して５回撮像を行うことにより５枚のスライス画像を取得する場合を示しているが、スライス画像の取得枚数（添え字ｊの上限値）は任意に設定して良い。
【００４７】
また、本実施の形態１においては、顕微鏡装置１０に設けられた撮像部２１１において撮像を行いながらリアルタイムにＺスタック画像を取得するが、サーバ等に格納されたＺスタック画像をネットワーク経由で取得しても良いし、記憶媒体を介してＺスタック画像を取得しても良い。これらの場合、画像取得部２１は、外部のネットワークとの間で情報の入出力を行うインタフェースや、記憶媒体に記憶された情報を読み取る読取装置等を備える。
【００４８】
続くステップＳ１１において、制御部２３は、ステップＳ１０において取得したＺスタック画像から、スライス画像の重畳のさせ方が異なる複数の多重焦点重畳画像を生成する。具体的には、Ｚスタック画像内の一部のスライス画像を他の画像に対して所定の（ゼロ以外の）シフト量でシフトさせた多重焦点重畳画像と、スライス画像間のシフト量をゼロに設定した多重焦点重畳画像、即ち、いずれのスライス画像もシフトさせない多重焦点重畳画像とを生成する。
【００４９】
図５は、ステップＳ１１における複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。また、図６は、複数の多重焦点重畳画像の生成処理を説明するための模式図であり、図４に示すスライス位置Ｆjにおけるスライス画像Ｍj（ｊ＝１〜５）を側方から見た状態（ＸＺ面）を示している。以下においては、一例として、図６に示すスライス画像Ｍjに対する処理を説明する。スライス画像Ｍjの添え字ｊは、Ｚスタック画像におけるスタック順を示し、スライス順に対応している。また、各スライス画像Ｍjに示す網掛けは、スライス位置Ｆjに存在する構造が写った領域を示している。
【００５０】
まず、ステップＳ１１０において、制御部２３は、画像取得部２１からＺスタック画像としてスライス画像Ｍ1〜Ｍ5を読み込む。
【００５１】
続くステップＳ１１１において、制御部２３は、シフト量ゼロの多重焦点重畳画像ＳＩ0を生成する。詳細には、全焦点画像生成部２３２が、スライス画像Ｍ1〜Ｍ5の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩ0の各画素の画素値を算出する。例えば図６の（ａ）に示すように、各スライス画像Ｍ1〜Ｍ5内の座標（ｘ0，ｙ0）の画素の画素値を加算することにより、多重焦点重畳画像ＳＩ0における座標（ｘ0，ｙ0）の画素の画素値が得られる。このように生成された多重焦点重畳画像ＳＩ0の画像データは、記憶部２４に一旦記憶される。
【００５２】
続くステップＳ１１２において、画像シフト処理部２３１は、Ｚスタック画像のうちの任意のスライス画像Ｍjを基準画像Ｍk（ｋは１〜５のいずれか）として設定する。基準画像Ｍkとして、具体的には、スライス位置が最も浅い（Ｚ＝Ｆ1）スライス画像Ｍ1や、スライス位置が最も深い（Ｚ＝Ｆ5）スライス画像Ｍ5や、スライス位置が中央付近（Ｚ＝Ｆ3）であるスライス画像Ｍ3など、任意のスライス画像Ｍjが予め設定されている。或いは、ユーザ操作に応じて入力部２５から入力される情報に従って、基準画像Ｍkを適宜設定しても良い。実施の形態１においては、一例としてスライス画像Ｍ1が基準画像Ｍkとして設定されるものとする。
【００５３】
続くステップＳ１１３において、画像シフト処理部２３１は、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせるシフト量σ（ピクセル）を設定する。シフト量σとしては、予めパラメータ記憶部２４１に記憶されている値を読み出して設定しても良いし、入力部２５から入力された情報（ユーザ指示情報）に従って任意の値を設定することとしても良い。
【００５４】
図７は、スライス画像Ｍjのシフト量σの設定方法を説明するための模式図である。シフト量σとして任意の値を設定する場合、一例として、ユーザが被写体Ｓを観察する際の仮想的な視点Ｖの方向（被写体Ｓの真上の方向とのなす角度θ）を入力させる。この場合、シフト量σは、基準画像Ｍkのスライス位置Ｆkに対する他のスライス画像Ｍjのスライス位置Ｆiとの距離ｚと、角度θと、撮像部２１１が備える撮像素子の画素ピッチｐ（μｍ／ピクセル）とを用いて、次式（１）により与えられる。
σ＝（ｚ・ｔａｎθ）／ｐ  …（１）
なお、図７においては、スライス位置Ｆ1とスライス位置Ｆ5との距離ｚを示している。
【００５５】
続くステップＳ１１４において、画像シフト処理部２３１は、ステップＳ１１３において決定したシフト量σに基づいてスライス画像をシフトさせる。図６の（ｂ）は、基準画像に設定されたスライス画像Ｍ1に対して他のスライス画像Ｍ2〜Ｍ5をシフト量σだけマイナスＸ方向にシフトさせた状態を示している。
【００５６】
続くステップＳ１１５において、全焦点画像生成部２３２は、スライス画像のシフト処理後のＺスタック画像から、シフト量σの多重焦点重畳画像ＳＩ1を生成する。即ち、基準画像Ｍkとシフト処理後のスライス画像Ｍjとの間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩ1の各画素の画素値を算出する。具体的には、図６の（ｂ）の場合、基準画像であるスライス画像Ｍ1内の座標（ｘ0，ｙ0）の画素の画素値と、各スライス画像Ｍ2〜Ｍ5内の座標（ｘ0＋σ，ｙ0）の画素の画素値とを加算平均することにより、多重焦点重畳画像ＳＩ1における座標（ｘ0，ｙ0）の画素の画素値が得られる。このようにして生成された多重焦点重畳画像ＳＩ1の画像データは、記憶部２４に一旦記憶される。その後、制御部２３の動作はメインルーチンに戻る。
【００５７】
ステップＳ１１に続くステップＳ１２において、全焦点画像生成部２３２は、ステップＳ１１において生成された複数の多重焦点重畳画像Ｓ0、ＳＩ1から、複数の全焦点画像を生成する。
【００５８】
図８は、ステップＳ１２における複数の全焦点画像の生成処理の詳細を示すフローチャートである。まず、ステップＳ１２０において、全焦点画像生成部２３２は、各スライス画像Ｍjにおける画像ボケを表す点拡がり関数（point  spread  function：ＰＳＦ）情報を取得し、このＰＳＦ情報に基づくＰＳＦ画像を生成する。点拡がり関数は、顕微鏡装置１０における対物レンズ１４０の倍率等の撮像条件やスライス位置Ｆjと関連づけられて、予めパラメータ記憶部２４１に記憶されている。全焦点画像生成部２３２は、対物レンズ１４０の倍率等の撮像条件に基づき、スライス位置Ｆjに応じた点拡がり関数をパラメータ記憶部２４１から読み出し、点拡がり関数をもとに、スライス画像Ｍj内の各画素位置に対応する画素値を算出することで、ＰＳＦ画像を生成する。
【００５９】
続くステップＳ１２１において、全焦点画像生成部２３２は、多重焦点重畳画像Ｓ0に対応するシフト量がゼロの多重焦点重畳ＰＳＦ画像ＰＩ0を生成する。詳細には、ステップＳ１２１において生成した複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ0の各画素の画素値を算出する。
【００６０】
続くステップＳ１２２において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ1を生成する際に使用されたシフト量σを取得し、このシフト量σに基づいてＰＳＦ画像をシフトさせる。即ち、多重焦点重畳画像ＳＩ1を生成する際と同様に、基準画像Ｍkに対応するＰＳＦ画像に対し、他のスライス画像Ｍjに対応するＰＳＦ画像をシフト量σだけシフトさせる。
【００６１】
続くステップＳ１２３において、全焦点画像生成部２３２は、ステップＳ１２２におけるシフト処理後の複数のＰＳＦ画像を用いて、シフト量σの多重焦点重畳ＰＳＦ画像ＰＩ1を生成する。詳細には、基準画像Ｍkに対応するＰＳＦ画像と、他のスライス画像Ｍjに対応するシフト処理後のＰＳＦ画像との間で、位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ1の各画素の画素値を算出する。
【００６２】
ステップＳ１２４において、全焦点画像生成部２３２は、多重焦点重畳ＰＳＦ画像ＰＩ0、ＰＩ1を用いて、ステップＳ１１において生成した多重焦点重畳画像ＳＩ0、ＳＩ1をそれぞれ復元する。即ち、シフト量がゼロの多重焦点重畳ＰＳＦ画像ＰＩ0を用いて多重焦点重畳画像ＳＩ0を復元することにより全焦点画像ＡＩ0を生成すると共に、シフト量σの多重焦点重畳ＰＳＦ画像ＰＩiを用いて多重焦点重畳画像ＳＩiを復元することにより全焦点画像ＡＩiを生成する。その後、制御部２３の動作はメインルーチンに戻る。
【００６３】
ステップＳ１２に続くステップＳ１３において、撮像装置２０は、ステップＳ１２において生成した複数の全焦点画像ＡＩ0、ＡＩ1の画像データを表示装置３０に出力し、これらの全焦点画像ＡＩ0、ＡＩ1を表示させる。全焦点画像ＡＩ0、ＡＩ1の表示方法は特に限定されない。例えば、全焦点画像ＡＩ0、ＡＩ1を並べて表示しても良いし、同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示しても良い。同じ領域に全焦点画像ＡＩ0、ＡＩ1を交互に表示する場合には、所定の周期で全焦点画像ＡＩ0、ＡＩ1を自動で切り替えても良いし、入力部２５を用いてユーザに手動で切り替えさせることとしても良い。
【００６４】
図９は、表示装置３０における全焦点画像の表示例を示す模式図である。図９に示す画面ｍ１には、２つの全焦点画像ＡＩ0、ＡＩ1が並べて表示されている。その後、顕微鏡観察システム１の動作は終了する。
【００６５】
以上説明したように、本発明の実施の形態１においては、Ｚスタック画像のうちの任意のスライス画像を基準画像に設定し、この基準画像に対して他のスライス画像を当該基準画像の面内でシフトさせた上で、Ｚスタック画像を重畳することにより全焦点画像を取得する。この際、１組のＺスタック画像から、基準画像に対する他のスライス画像の相対的なシフト量が異なる複数の全焦点画像を生成して表示することにより、仮想的に複数の視点から被写体Ｓを見た状態を再現することができる。具体的には、上記実施の形態１においては、シフト量をゼロ及びσとしている。従って、ユーザは、これらの全焦点画像を参照することにより、被写体Ｓ内の構造のＺ方向における位置や構造同士の前後関係、構造の重なり具合等を、視覚的且つ直感的に把握することが可能となる。
【００６６】
また、上記実施の形態１によれば、Ｚスタック画像に基づいて３Ｄボリュームデータを生成して表示する場合と比較して、演算量やデータ量を大幅に抑制することが可能となる。
【００６７】
なお、上記実施の形態１においては、ＰＳＦ画像から生成した多重焦点重畳ＰＳＦ画像を用いて多重焦点重畳画像を復元することにより全焦点画像を生成したが、例えば、ＰＳＦ画像を用いて各スライス画像を復元した後で重畳することにより、全焦点画像を生成しても良い。また、全焦点画像生成方法はこの方法に限定されず、シフト後の各スライス画像から合焦領域を抽出して合成する方法を用いても良い。
【００６８】
また、上記実施の形態１においては、理解を促進するため、スライス画像をＸ方向においてのみシフトさせる場合を説明したが、Ｙ方向についても同様の処理を行うことができる。この場合、被写体Ｓに対する仮想的な視点をＹ方向に沿って移動させた場合に相当する全焦点画像を生成することができる。また、スライス画像をＸ方向及びＹ方向の２方向にシフトさせることにより、被写体Ｓに対する仮想的な視点を水平面内において移動させた場合に相当する全焦点画像を生成することも可能である。
【００６９】
また、上記実施の形態１においては、スライス画像Ｍ1を基準画像Ｍkとするシフト量σの全焦点画像を１つ生成したが、スライス画像Ｍ1〜Ｍ5のうちから適宜選択した複数のスライス画像を順次基準画像Ｍkに設定することにより、シフト量σの全焦点画像を複数生成しても良い。
【００７０】
（変形例１）
次に、本発明の実施の形態１の変形例１について説明する。変形例１に係る顕微鏡観察システムの構成及び動作は、全体として実施の形態１と同様であり（図１、図３参照）、ステップＳ１１における複数の多重焦点重畳画像の生成処理の詳細が実施の形態１と異なる。
【００７１】
図１０は、変形例１における多重焦点重畳画像の生成処理の詳細を示すフローチャートである。なお、図１０に示すステップＳ１１０〜Ｓ１１２は、実施の形態１と同様である（図５参照）。
【００７２】
ステップＳ１１２に続くステップＳ１３１において、画像シフト処理部２３１は、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせるシフト量σi（ｉ＝１、２、…、ｎ）を設定する。図１１は、変形例１におけるスライス画像のシフト量σiの設定方法を説明するための模式図である。ここで、符号ｉは、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせる回数を表す変数であり、初期値としてｉ＝１が設定され、最大値としてｉ＝ｎが設定されている。シフト量σiとしては、所定の値を予め決定しておいても良いし、ユーザ操作に応じて入力部２５から入力される情報に従って任意の値を決定することとしても良い。
【００７３】
続くステップＳ１３２において、画像シフト処理部２３１は、ステップＳ１３１において決定したシフト量σiに基づき、基準画像Ｍkに対して他のスライス画像Ｍjをシフトさせる。図１１の（ｂ）は、図１１の（ａ）に示すＺスタック画像のうち、スライス画像Ｍ2〜Ｍ5をシフト量σ1だけマイナスＸ方向にシフトさせた状態を示している。
【００７４】
続くステップＳ１３３において、全焦点画像生成部２３２は、スライス画像のシフト処理後のＺスタック画像から、シフト量σiの多重焦点重畳画像ＳＩiを生成する。即ち、基準画像Ｍkと、シフト量σiのシフト処理後のスライス画像Ｍjとの間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩiの各画素の画素値を算出する。図１１の（ｂ）の場合、基準画像であるスライス画像Ｍ1内の座標（ｘ0，ｙ0）における画素の画素値と、スライス画像Ｍ2〜Ｍ5内の座標（ｘ0＋σ1，ｙ0）における画素の画素値とを加算平均することにより、多重焦点重畳画像ＳＩi=1における座標（ｘ0，ｙ0）の画素の画素値が得られる。このようにして生成された多重焦点重畳画像ＳＩiの画像データは、記憶部２４に一旦記憶される。
【００７５】
続くステップＳ１３４において、制御部２３は、変数ｉが最大値ｎに至ったか否かを判定する。変数ｉが最大値ｎに至っていない場合（ステップＳ１３４：Ｎｏ）、制御部２３は、変数ｉをインクリメントする（ステップＳ１３５）。その後、制御部２３の動作はステップＳ１３１に戻る。このようにステップＳ１３１〜Ｓ１３３を繰り返すことにより、基準画像Ｍkに対するシフト量σiが異なる複数の多重焦点重畳画像ＳＩiが生成される。図１１の（ｃ）は、基準画像であるスライス画像Ｍ1に対して他のスライス画像Ｍ2〜Ｍ5をシフト量σ2だけシフトさせた場合の多重焦点重畳画像ＳＩi=2を示し、図１１の（ｄ）は、スライス画像Ｍ1に対して他のスライス画像Ｍ2〜Ｍ5をシフト量σ3だけシフトさせた場合の多重焦点重畳画像ＳＩi=3を示す。
【００７６】
一方、変数ｉが最大値ｎに至った場合（ステップＳ１３４：Ｙｅｓ）、制御部２３の動作はメインルーチンに戻る。
【００７７】
ステップＳ１１に続くステップＳ１２（図３、図８参照）の処理は、全体として実施の形態１と同様であるが、図８に示すステップＳ１２２〜Ｓ１２４においては、多重焦点重畳画像ＳＩiを生成した際に用いられてシフト量σiを用いて、多重焦点重畳画像ＳＩiごとに多重焦点重畳ＰＳＦ画像が生成され、これらの多重焦点重畳ＰＳＦ画像をそれぞれ用いて、多重焦点重畳画像ＳＩiが復元される。その結果、１つのＺスタック画像から、シフト量σiが異なる複数の全焦点画像が取得される。
【００７８】
また、図３のステップＳ１３において、これらの全焦点画像を表示装置３０に表示する際には、シフト量σiの大きさ順（昇順又は降順）に全焦点画像を並べて表示しても良いし、同じ領域にこれらの全焦点画像を順次切り替えて表示しても良い。例えば、図１１の（ａ）〜（ｄ）に示す複数の多重焦点重畳画像ＳＩiからそれぞれ取得された複数の全焦点画像を、シフト量ゼロ→シフト量σ1→シフト量σ2→シフト量σ3→シフト量σ2→シフト量σ1→シフト量ゼロ→…の順に繰り返し切り替えても良い。
【００７９】
以上説明したように、本発明の実施の形態１の変形例１によれば、基準画像Ｍkに対するシフト量σiが異なる複数の全焦点画像を取得して表示するので、ユーザは、被写体Ｓ内の構造同士のＺ方向における重なり具合や前後関係をさらに詳細に把握することが可能となる。
【００８０】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１２は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。図１２に示すように、実施の形態２に係る顕微鏡観察システム２は、顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置４０と、撮像装置４０が処理した画像等を表示する表示装置３０とを備える。このうち、顕微鏡装置１０及び表示装置３０の構成及び動作は、実施の形態１と同様である（図１及び図２参照）。
【００８１】
撮像装置４０は、図１に示す制御部２３の代わりに制御部４１を備える。制御部４１は、制御部２３に対してシフト量取得処理部４１１をさらに有する。制御部４１以外の撮像装置４０の各部の構成及び動作、並びに、画像シフト処理部２３１及び全焦点画像生成部２３２の動作は、実施の形態１と同様である。
【００８２】
シフト量取得処理部４１１は、Ｚスタック画像から多重焦点重畳画像を生成する際に用いられる、基準画像に対する他のスライス画像の各々のシフト量を取得する。このシフト量は、パラメータ記憶部２４１に予め記憶されているシフトパラメータに基づいて取得される。シフトパラメータは、被写体Ｓに対する仮想的な視点の方向や、視点ごとに設定されるスライス画像の単位シフト量を含んでいる。
【００８３】
次に、顕微鏡観察システム２の動作について説明する。図１３は、顕微鏡観察システム２の動作を示すフローチャートである。図１３に示すステップＳ１０は実施の形態１と同様であるが（図３参照）、本実施の形態２においては、少なくとも３回撮像を行うことにより、焦点位置が異なる少なくとも３枚のスライス画像からなるＺスタック画像を取得する。以下においては、後述するように、５枚のスライス画像からなるＺスタック画像に対する処理を説明する。
【００８４】
ステップＳ１０に続くステップＳ２１において、制御部４１は、スライス画像のシフト量が互いに異なる複数の多重焦点重畳画像を生成する。
【００８５】
図１４は、複数の多重焦点重畳画像の生成処理の詳細を示すフローチャートである。また、図１５及び図１６は、複数の多重焦点重畳画像の生成処理を説明するための模式図である。
【００８６】
まず、ステップＳ２１０において、シフト量取得処理部４１１は、画像取得部２１からＺスタック画像を読み込む。
【００８７】
続くステップＳ２１１において、シフト量取得処理部４１１は、Ｚスタック画像のうちの任意のスライス画像Ｍjを基準画像Ｍkとして設定する。基準画像Ｍkとして、具体的には、スライス位置が最も浅い（Ｚ＝Ｆ1）スライス画像Ｍ1や、スライス位置が最も深い（Ｚ＝Ｆ5）スライス画像Ｍ5や、スライス位置が中央付近（Ｚ＝Ｆ3）であるスライス画像Ｍ3など、任意のスライス画像Ｍjが予め設定されている。或いは、ユーザ操作に応じて入力部２５から入力される情報に従って、基準画像Ｍkを適宜設定しても良い。実施の形態２においては、一例としてスライス画像Ｍ1が基準画像Ｍkとして設定されるものとする。
【００８８】
続くステップＳ２１２において、シフト量取得処理部４１１は、パラメータ記憶部２４１からシフトパラメータを取得する。実施の形態２においては、仮想的に、視点Ｖα＝Ｖ-1、Ｖ0、Ｖ+1の３方向から被写体Ｓをそれぞれ観察した場合の全焦点画像を最終的に取得するものとする。この場合、シフトパラメータとして、視点Ｖαを表すパラメータα＝−１、０、＋１と、単位シフト量δとが取得される。ここで、パラメータαがゼロである場合、被写体Ｓの真上に視点Ｖαが設定されることを意味する。パラメータαが正の値である場合、被写体Ｓの真上に対して＋Ｘ方向に視点Ｖαが設定されることを意味する。反対に、パラメータαが負の値である場合、被写体Ｓの真上に対して−Ｘ方向に視点Ｖαが設定されることを意味する。
【００８９】
続くステップＳ２１３において、シフト量取得処理部４１１は、ステップＳ２１２において取得したシフトパラメータに基づいて各スライス画像Ｍjのシフト量σαjを算出する。このシフト量σαjは、視点Ｖαごとに順次算出される。以下においては、α＝−１、０、＋１の順にシフト量σαjが算出されるものとするが、算出順はこれに限定されない。また、スライス画像Ｍjのスライス位置を表す符号ｊは、図１５においてｊ＝１、２、３、４、５である。
【００９０】
シフト量σαjは、単位シフト量δ（ピクセル）を用いて、次式（２）によって与えられる。
σαj＝−α×｛δ×（ｊ−ｋ）｝  …（２）
【００９１】
具体的には、基準画像がスライス画像Ｍ1（ｋ＝１）、視点Ｖα＝Ｖ-1（α＝−１）である場合、単位シフト量δをδ＝１（ピクセル）とすると、各スライス画像Ｍjのシフト量σ-11〜σ-15は次式（３−１）〜（３−５）によって与えられる。
σ-11＝−（−１）×｛１×（１−１）｝＝０（ピクセル）  …（３−１）
σ-12＝−（−１）×｛１×（２−１）｝＝＋１（ピクセル）…（３−２）
σ-13＝−（−１）×｛１×（３−１）｝＝＋２（ピクセル）…（３−３）
σ-14＝−（−１）×｛１×（４−１）｝＝＋３（ピクセル）…（３−４）
σ-15＝−（−１）×｛１×（５−１）｝＝＋４（ピクセル）…（３−５）
【００９２】
続くステップＳ２１４において、画像シフト処理部２３１は、ステップＳ２１３において算出したシフト量σαjに基づいてスライス画像Ｍjをシフトさせる。ここで、シフト量σαjの符号が正である場合、スライス画像Ｍjは＋Ｘ方向にシフトされ、シフト量σαjの符号が負である場合、スライス画像Ｍjは−Ｘ方向にシフトされる。また、シフト量σαjがゼロである場合、スライス画像Ｍjはシフトされない。図１６の（ａ）は、基準画像であるスライス画像Ｍ1に対して他のスライス画像Ｍ2〜Ｍ5を、シフト量σ-12、σ-13、σ-14、σ-15だけそれぞれシフトさせた状態を示している。
【００９３】
続くステップＳ２１５において、全焦点画像生成部２３２は、スライス画像Ｍjのシフト処理後のＺスタック画像から、多重焦点重畳画像ＳＩαを生成する。即ち、基準画像Ｍkと、シフト処理後のスライス画像Ｍjとの間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳画像ＳＩα（図１６の（ａ）の場合、ＳＩα=-1）の各画素の画素値を算出する。
【００９４】
続くステップＳ２１６において、制御部４１は、ステップＳ２１２において取得されたシフトパラメータに基づく全ての視点について処理がなされたか否かを判定する。未だ処理がなされていない視点が残っている場合（ステップＳ２１６：Ｎｏ）、シフト量取得処理部４１１はパラメータαを変更し（ステップＳ２１７）、変更後のパラメータαをもとに、ステップＳ２１３〜Ｓ２１６の処理を繰り返す。
【００９５】
図１６の（ｂ）は、視点Ｖα＝Ｖ0（α＝０）の場合に生成される多重焦点重畳画像ＳＩα=0を示す模式図である。α＝０の場合、スライス画像Ｍ2〜Ｍ5のシフト量σ02〜σ05は全てゼロになる。
【００９６】
図１６の（ｃ）は、視点Ｖα＝Ｖ+1の場合に生成される多重焦点重畳画像ＳＩα=+1を示す模式図である。α＝＋１の場合、シフト量σ+12、σ+13、σ+14、σ+15は負の値となるため、スライス画像Ｍ2〜Ｍ5は−Ｘ方向にシフトさせられる。
【００９７】
一方、全ての視点について処理がなされた場合（ステップＳ２１６：Ｙｅｓ）、制御部４１の動作はメインルーチンに戻る。
【００９８】
ステップＳ２１に続くステップＳ１２の処理（図１３、図８参照）は、全体として実施の形態１と同様であるが、このうちステップＳ１２２〜Ｓ１２４においては、多重焦点重畳画像ＳＩαを生成した際に用いられた各スライス画像Ｍjのシフト量σαjを用いて、多重焦点重畳画像ＳＩαごとに多重焦点重畳ＰＳＦ画像が生成され、これらの多重焦点重畳ＰＳＦ画像をそれぞれ用いて、多重焦点重畳画像ＳＩαが復元される。その結果、１つのＺスタック画像から、シフト量σαjが異なる複数の全焦点画像が取得される。
【００９９】
また、ステップＳ１３において、これらの全焦点画像を表示装置３０に表示する際には、視点Ｖαの異なる全焦点画像を、α＝−１、０、＋１の順に並べて表示しても良いし、同じ領域にこれらの全焦点画像を順次切り替えて表示しても良い。後者の場合、全焦点画像を、例えばα＝−１、０、＋１、０、−１、…の順に繰り返し切り替えることにより、ユーザは、被写体Ｓに対する視点を左右に順次ずらしている感覚で全焦点画像を観察することができる。
【０１００】
以上説明したように、本発明の実施の形態２によれば、シフト量が異なる複数の全焦点画像により、仮想的に複数の方向から被写体Ｓを観察している状態を再現することができる。従って、ユーザは、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係をさらに直感的に把握することが可能となる。
【０１０１】
（変形例２−１）
次に、本発明の実施の形態２の変形例２−１について説明する。上記実施の形態２においては、単位シフト量δを用いて、視点Ｖαごとに各スライス画像Ｍjのシフト量σαjを算出したが、各視点Ｖαの方向を表すθ（図１５においてはθ＝−θ0、０、＋θ0）を用いてシフト量σαjを算出しても良い。
【０１０２】
この場合、視点Ｖαごとに設定されるスライス画像Ｍjのシフト量σαjは、基準画像Ｍkのスライス位置Ｆkとスライス画像Ｍjのスライス位置Ｆjとの距離ｄj,k＝Δｚ×（ｊ−ｋ）と、角度θαと、撮像部２１１が備える撮像素子の画素ピッチｐ（μｍ／ピクセル）とを用いて、次式（４）により与えられる。
σαj＝−（ｄj,k・ｔａｎθα）／ｐ  …（４）
なお、図１５においては、スライス位置Ｆ1とスライス位置Ｆ4との距離ｄ4,1を示している。
【０１０３】
（変形例２−２）
次に、本発明の実施の形態２の変形例２−２について説明する。変形例２−２に係る顕微鏡観察システムの構成及び動作は、全体として実施の形態２と同様であり（図１２及び図１３参照）、ステップＳ２１の複数の多重焦点重畳画像の生成処理のうち、図１４に示すステップＳ２１３においてシフト量σαjの算出処理を実行する際に、さらに視点Ｖαを増やす場合について説明する。図１７及び図１８は、変形例２−２におけるスライス画像のシフト量σαjの算出処理を説明するための模式図である。
【０１０４】
変形例２−２においては、図１７に示すように、仮想的な視点Ｖα（α＝１、２、…）を、被写体Ｓの真上の方向θα＝０に対して一方向に、複数の角度（θα＝θ1、θ2、…）をなすように設定する。この場合においても、シフト量σαjは、上記実施の形態２と同様に、式（２）によって与えられる。
σαj＝−α×｛δ×（ｊ−ｋ）｝  …（２）
【０１０５】
つまり、多重焦点重畳画像ＳＩαを生成する際の各スライス画像Ｍjのシフト量σαjは、仮想的な視点Ｖαの角度θが大きくなるほど増加する。具体的には、図１８の（ａ）〜（ｄ）に示すように、スライス位置（スタック順ｊ）が隣り合うスライス画像Ｍj間のシフト量は、多重焦点重畳画像ＳＩα=1ではδ、多重焦点重畳画像ＳＩα=2では２δ、多重焦点重畳画像ＳＩα=3では３δ、多重焦点重畳画像ＳＩα=4では４δとなっている。
【０１０６】
このように、複数の多重焦点重畳画像ＳＩαの間で、スライス位置（スタック順ｊ）が隣り合うスライス画像間のシフト量を変化させることにより、仮想的に角度が異なる複数の方向から被写体Ｓを観察した状態を、よりリアルに再現することができる。従って、ユーザは、より広い範囲において、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を直感的に把握することが可能となる。
【０１０７】
なお、変形例２−２においては、視点Ｖ1、Ｖ2、…を被写体Ｓの真上の方向に対して１方向（図１７においては右方向）に変化させたが、被写体Ｓの真上の方向に対して左右両方にそれぞれ変化させても良い。
【０１０８】
また、変形例２−２においても、視点Ｖαの方向の角度θαを用いて、上述した式（４）によりシフト量σαjを算出しても良い。
【０１０９】
（変形例２−３）
次に、上記実施の形態２の変形例２−３について説明する。上記実施の形態２においては、パラメータ記憶部２４１に予め記憶されているシフトパラメータに従って、各スライス画像Ｍjのシフト量を決定したが、このシフト量をユーザ操作に従って決定しても良い。
【０１１０】
この場合、制御部４１はまず、パラメータ記憶部２４１に予め記憶されているシフトパラメータに基づいて複数の全焦点画像を生成し、表示装置３０に表示させる。そして、この表示装置３０に、ユーザに視点Ｖαを入力させるための入力欄を表示する。
【０１１１】
図１９は、表示装置３０に表示される画面の例を示す模式図である。この画面ｍ２は、複数の全焦点画像が切り替えて表示される全焦点画像表示領域ｍ３と、ユーザに視点Ｖαを入力させるための視点入力欄ｍ４とを含んでいる。視点入力欄ｍ４には、視点Ｖαの角度θを示すスケールｍ５とが表示されている。このスケールｍ５に対する入力部２５を用いたポインタ操作により、ユーザ所望の角度θαが選択されると、当該角度θαを表す信号が制御部４１に入力される。これに応じて、制御部４１は、角度θαに応じたシフト量σαjを算出することにより全焦点画像を生成し、表示装置３０に表示させる。
【０１１２】
変形例２−３によれば、ユーザ所望の視点から被写体Ｓを観察した状態を再現することができる。従って、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を、ユーザ自身が見やすいように調節することが可能となる。
【０１１３】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図２０は、本発明の実施の形態３に係る顕微鏡観察システムの構成例を示すブロック図である。図２０に示すように、実施の形態３に係る顕微鏡観察システム３は、顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置５０と、撮像装置５０が処理した画像等を表示する表示装置６０とを備える。このうち、顕微鏡装置１０の構成及び動作は、実施の形態１と同様である（図２参照）。
【０１１４】
撮像装置５０は、図１に示す制御部２３の代わりに制御部５１を備える。制御部５１は、制御部２３に対して、シフト量取得処理部４１１及び注目画像決定処理部５１１をさらに備える。このうち、シフト量取得処理部４１１の動作は、実施の形態２と同様である。
【０１１５】
注目画像決定処理部５１１は、後述する表示装置６０から入力部２５を介して入力される観察領域を含むスライス画像を注目画像として決定する。
【０１１６】
表示装置６０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する画像表示部６１と、外部からなされる操作に応じて、画像表示部６１に表示される全焦点画像内の領域を観察領域として決定し、該観察領域を表す信号を制御部５１に入力する観察領域決定部６２とを備える。
【０１１７】
次に、顕微鏡観察システム３の動作を説明する。図２１は、顕微鏡観察システム３の動作を示すフローチャートである。なお、ステップＳ１０、Ｓ２１、Ｓ１２、Ｓ１３における動作は実施の形態２と同様である。図２２は、ステップＳ２１において多重焦点重畳画像ＳＩα=1、ＳＩα=2、ＳＩα=3、ＳＩα=4を生成する際に、スライス画像Ｍ1を基準画像としてスライス画像Ｍ2〜Ｍ5をシフトさせた状態を示す模式図である。これらの画像Ｍ1〜Ｍ5を重畳することにより多重焦点重畳画像を生成し、さらに、ＰＳＦ画像を用いて復元することにより、複数の全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4が生成される。本実施の形態３においては、このようにして生成された全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4が画像表示部６１に順次切り替えて表示されるものとする。
【０１１８】
ステップＳ１３に続くステップＳ３１において、観察領域決定部６２は、画像表示部６１に表示された全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4のいずれかに対して任意の領域を選択するユーザ操作がなされたか否かを判定する。
【０１１９】
ユーザ操作がなされない場合（ステップＳ３１：Ｎｏ）、顕微鏡観察システム３の動作はステップＳ１３に戻る。
【０１２０】
一方、ユーザ操作がなされた場合（ステップＳ３１：Ｙｅｓ）、観察領域決定部６２は、ユーザ操作により選択された領域を観察領域として決定し、該観察領域を表す信号を制御部５１に入力する（ステップＳ３２）。図２３は、観察領域の選択方法の一例を示す模式図である。観察領域の選択は、例えば図２３に示すように、マウス等を用いたポインタ操作により画像表示部６１に表示された全焦点画像内の所望の領域を囲むことによって行われる。
【０１２１】
続くステップＳ３３において、制御部５１は、観察領域決定部６２から入力された観察領域を表す情報に基づいて、観察領域のＺ位置情報を取得する。図２４は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。以下においては、一例として、図２２に示す全焦点画像ＡＩα=3内の領域Ａα=3が観察領域として決定された場合を説明する。
【０１２２】
ステップＳ３３１において、注目画像決定処理部５１１は、全焦点画像Ａα=3における観察領域Ａα=3のＸＹ位置情報を取得する。
【０１２３】
続くステップＳ３３２において、注目画像決定処理部５１１は、全焦点画像Ａα=3以外の各全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=4から、観察領域Ａα=3に対応する領域Ａ’α=１、Ａ’α=2、Ａ’α=4、を抽出し、各領域のＸＹ位置情報を取得する。領域Ａ’α=１、Ａ’α=2、Ａ’α=4は、パターンマッチング等の公知の画像認識技術を用いて抽出することができる。以下、これらの領域Ａ’α=１、Ａ’α=2、Ａ’α=4を、観察領域ともいう。
【０１２４】
続くステップＳ３３３において、注目画像決定処理部５１１は、全焦点画像ＡＩα=1、ＡＩα=2、ＡＩα=3、ＡＩα=4間における観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4のＸＹ位置のシフト量を取得する。図２２の（ａ）〜（ｄ）の場合、全焦点画像ＡＩα=1における観察領域Ａ’α=１のＸ位置と全焦点画像ＡＩα=2における観察領域Ａ’α=2の位置との間のシフト量、全焦点画像ＡＩα=2における観察領域Ａ’α=2のＸ位置と全焦点画像ＡＩα=3における観察領域Ａα=3の位置との間のシフト量、及び、全焦点画像ＡＩα=3における観察領域Ａα=3のＸ位置と全焦点画像ＡＩα=4における観察領域Ａ’α=4の位置との間のシフト量が取得される。
【０１２５】
続くステップＳ３３４において、注目画像決定処理部５１１は、観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4のシフト量に基づいて、これらの観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4が含まれるスライス位置Ｆjを取得する。
【０１２６】
ここで、全焦点画像ＡＩαにおける各スライス画像Ｍjのシフト量σαjは、実施の形態２において説明したように、次式（６）によって与えられる。従って、観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4間のシフト量｜σαj−σ(α+1)j｜が与えられれば、次式（７）により、当該観察領域Ａ’α=１、Ａ’α=2、Ａα=3、Ａ’α=4のスライス位置Ｆiを算出することができる。
σαj＝−α×｛δ×（ｊ−ｋ）｝  …（６）
｜σαj−σ(α+1)j｜＝｜｛α−（α＋１）｝×｛δ×（ｊ−ｋ）｝｜
｜σαj−σ(α+1)j｜＝｜δ×（ｊ−ｋ）｜  …（７）
【０１２７】
例えば図２２の（ｃ）、（ｄ）に示すように、基準画像がスライス画像Ｍ1（ｋ＝１）であり、観察領域Ａα=3と観察領域Ａ’α=4との間のシフト量は８δ−６δ＝２δである場合に、式（７）よりｊ＝３が得られる。即ち、観察領域Ａα=3は、３番目のスライス位置Ｆiであるスライス画像Ｍ3に含まれることがわかる。
【０１２８】
注目画像決定処理部５１１は、このようにして取得したスライス位置Ｆjを観察領域のＺ位置情報として出力する。その後、制御部５１の動作はメインルーチンに戻る。
【０１２９】
ステップＳ３３に続くステップＳ３４において、制御部５１は、注目画像決定処理部５１１が出力したＺ位置情報に基づいて、観察領域を含むスライス画像Ｍjを抽出して出力する。これに応じて表示装置６０は、観察領域を含むスライス画像Ｍjを表示する。なお、この際に、観察領域を含むスライス画像Ｍjと共に、スライス画像Ｍjに対してスライス位置が隣り合う他の（即ち、前後の）スライス画像を表示することとしても良い。その後、顕微鏡観察システム３の動作は終了する。
【０１３０】
以上説明した本発明の実施の形態３によれば、ユーザは、平面上では重なって見える構造のＺ方向における位置や、構造同士の前後関係を直感的に容易に把握することが可能となる。
【０１３１】
（実施の形態４）
次に、本発明の実施の形態４について説明する。図２５は、本発明の実施の形態４に係る顕微鏡観察システムの構成例を示すブロック図である。図２５に示すように、実施の形態４に係る顕微鏡観察システム４は、顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置７０と、撮像装置７０が処理した画像等を表示する表示装置６０とを備える。このうち、顕微鏡装置１０の構成及び動作は、実施の形態１と同様である（図２参照）。また、表示装置６０の構成及び動作は、実施の形態３と同様である（図２０参照）。
【０１３２】
撮像装置７０は、図２０に示す制御部５１の代わりに制御部７１を備える。制御部７１は、制御部５１に対して、全焦点画像生成部２３２の代わりに全焦点画像生成部７１１を備える。制御部７１以外の撮像装置７０の各部の構成及び動作、並びに、全焦点画像生成部７１１以外の制御部７１の各部の構成及び動作は、実施の形態３と同様である。
【０１３３】
全焦点画像生成部７１１は、全焦点画像の生成に用いる多重焦点重畳画像の範囲を切り出す切り出し範囲決定処理部７１２を有し、切り出し範囲決定処理部７１２が切り出した範囲に対して全焦点画像を生成する。
【０１３４】
次に、顕微鏡観察システム４の動作について説明する。図２６は、顕微鏡観察システム４の動作を示すフローチャートである。なお、ステップＳ１０〜Ｓ３４は、実施の形態３と同様である（図２１参照）。また、図２７は、顕微鏡観察システム４の動作を説明するための模式図である。以下の説明においては、ステップＳ３２において決定された観察領域が、スライス画像Ｍ3に含まれることが判明したものとする（ステップＳ３３参照）。
【０１３５】
ステップＳ３４に続くステップＳ４１において、シフト量取得処理部４１１は、ステップＳ３２において決定された観察領域を含むスライス画像Ｍ3を新たな基準画像に設定する。
【０１３６】
続くステップＳ４２において、シフト量取得処理部４１１は、もとのＺスタック画像から多重焦点重畳画像を生成する際の新たな基準画像に対する他のスライス画像Ｍjのシフト量を取得する。このシフト量の決定方法は、実施の形態２と同様に、式（２）を用いて算出することができる。図２７の（ａ）〜（ｄ）は、基準画像であるスライス画像Ｍ3に対する他のスライス画像Ｍjのシフト量がδ1、δ2、δ3、δ4にそれぞれ設定された場合を示している。なお、各多重焦点重畳画像内におけるスライス画像Ｍj間のシフト量は同一である。
【０１３７】
続くステップＳ４３において、画像シフト処理部２３１は、ステップＳ４２で取得したシフト量δ1、δ2、δ3、δ4に基づき、新たな基準画像に対して他のスライス画像Ｍjをシフトさせ、全焦点画像生成部７１１はこのシフト処理後の基準画像及び他のスライス画像Ｍjから複数の多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04を再生成する。この多重焦点重畳画像の生成方法は、実施の形態２と同様である。
【０１３８】
続くステップＳ４４において、切り出し範囲決定処理部７１２は、ステップＳ４３において再生成した複数の多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04に対し、ステップＳ３２において決定した観察領域のＸＹ位置が変化しないように、各多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04から切り出す切り出し範囲を決定する。これにより、図２７の（ａ）〜（ｄ）に示す切り出し範囲Ｃ1〜Ｃ4が設定される。切り出し範囲Ｃ1〜Ｃ4は、スライス画像Ｍ3のＸ位置が一定となるように設定されている。
【０１３９】
続くステップＳ４５において、全焦点画像生成部７１１は、ステップＳ４４において決定した切り出し範囲において各多重焦点重畳画像ＳＩ01、ＳＩ02、ＳＩ03、ＳＩ04を切り出し、切り出された範囲に対して復元処理を実行することにより全焦点画像を生成する。
【０１４０】
続くステップＳ４６において、撮像装置７０は、ステップＳ４５において生成した複数の全焦点画像を表示装置６０に表示させる。その後、顕微鏡観察システム４の動作は終了する。
【０１４１】
以上説明した本発明の実施の形態４によれば、ユーザが選択した観察領域の全焦点画像における位置を変化させることなく、仮想的な視点の異なる複数の全焦点画像を表示することができる。従って、ユーザは、自身が選択した観察領域に対する視線を変化させることなく、観察領域のＺ方向における位置や他の構造との前後関係等を直感的に把握することが可能となる。
【０１４２】
（変形例）
次に、本発明の実施の形態４の変形例について説明する。上記実施の形態４では、各多重焦点重畳画像内において隣り合うスライス画像間のシフト量を同一としたが（ステップＳ４２参照）、１つの多重焦点重畳画像内においても、隣り合うスライス画像間のシフト量を変化させても良い。
【０１４３】
図２８は、実施の形態４の変形例におけるスライス画像のシフト方法を示す模式図であり、スライス画像Ｍ1を基準画像とする３つの多重焦点重畳画像を示している。図２８の（ａ）〜（ｃ）に示す多重焦点重畳画像ＳＩ11、ＳＩ12、ＳＩ13の間において、同じスライス画像間のシフト量（例えば、スライス画像Ｍ1に対するスライス画像Ｍ2のシフト量）は、多重焦点重畳画像ＳＩ11、ＳＩ12、ＳＩ13の順に大きくなっている（δ11＜δ21＜δ31）。また、各多重焦点重畳画像内においてはスライス画像Ｍ1に対してスライス位置が近いほど、スライス画像間のシフト量が多くなっている。例えば多重焦点重畳画像ＳＩ11の場合、スライス画像Ｍ1に近い方から順にシフト量がδ11＞δ12＞δ13＞δ14という関係になっている。
【０１４４】
このように、ユーザが注目した観察領域を含むスライス画像に対するスライス位置が近いほど、スライス画像間のシフト量を多くすることにより、注目するスライス画像の構造を把握し易くすることができる。
【０１４５】
また、上記実施の形態４においては、スライス画像Ｍ1〜Ｍ5が一方向に並ぶように、最上位のスライス画像Ｍ1又は最下位のスライス画像Ｍ5に対してシフト量を順次増加又は順次減少させた。しかしながら、スライス画像の位置関係に応じてシフト量の増減を変化させても良い。
【０１４６】
図２９は、実施の形態４の変形例におけるスライス画像の別のシフト方法を示す模式図であり、スライス画像Ｍ3を基準画像とする２つの多重焦点重畳画像を示している。図２９の（ａ）、（ｂ）に示す多重焦点重畳画像ＳＩ21、ＳＩ22においては、スライス画像Ｍ3を境に、スライス位置に応じたシフト量の増減を転換させている。それにより、全焦点画像を生成した場合においても、ユーザが選択した観察領域を含むスライス位置をより際立たせて表示することが可能となる。
【０１４７】
以上説明した実施の形態１〜４及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【符号の説明】
【０１４８】
１、２、３、４  顕微鏡観察システム
１０  顕微鏡装置
２０、４０、５０、７０  撮像装置
２１  画像取得部
２２  撮像制御部
２３、４１、５１、７１  制御部
２４  記憶部
２５  入力部
２６  出力部
３０、６０  表示装置
６１  画像表示部
６２  観察領域決定部
１００  アーム
１０１  三眼鏡筒ユニット
１０２  鏡筒
１０３  接眼レンズユニット
１０４  観察光学系
１１０  落射照明ユニット
１１１  落射照明用光源
１１２  落射照明光学系
１２０  透過照明ユニット
１２１  透過照明用光源
１２２  透過照明光学系
１３０  電動ステージユニット
１３１  ステージ
１３２  ステージ駆動部
１３３  位置検出部
１４０、１４１  対物レンズ
１４２  レボルバ
２１１  撮像部
２１２  メモリ
２３１  画像シフト処理部
２３２、７１１  全焦点画像生成部
２４１  パラメータ記憶部
２４２  プログラム記憶部
４１１  シフト量取得処理部
５１１  注目画像決定処理部
７１２  切り出し範囲決定処理部
【図１】
2016166858.tif 000003
【図２】
2016166858.tif 000004
【図３】
2016166858.tif 000005
【図４】
2016166858.tif 000006
【図５】
2016166858.tif 000007
【図６】
2016166858.tif 000008
【図７】
2016166858.tif 000009
【図８】
2016166858.tif 000010
【図９】
2016166858.tif 000011
【図１０】
2016166858.tif 000012
【図１１】
2016166858.tif 000013
【図１２】
2016166858.tif 000014
【図１３】
2016166858.tif 000015
【図１４】
2016166858.tif 000016
【図１５】
2016166858.tif 000017
【図１６】
2016166858.tif 000018
【図１７】
2016166858.tif 000019
【図１８】
2016166858.tif 000020
【図１９】
2016166858.tif 000021
【図２０】
2016166858.tif 000022
【図２１】
2016166858.tif 000023
【図２２】
2016166858.tif 000024
【図２３】
2016166858.tif 000025
【図２４】
2016166858.tif 000026
【図２５】
2016166858.tif 000027
【図２６】
2016166858.tif 000028
【図２７】
2016166858.tif 000029
【図２８】
2016166858.tif 000030
【図２９】
2016166858.tif 000031
【国際調査報告】
2016166858.tif 000032
2016166858.tif 000033
2016166858.tif 000034
2016166858.tif 000035