(57)【要約】  被写体の奥行き方向の構造を直感的に把握可能に観察することを目的として、本発明に係る画像観察装置（３）は、Ｚスタック画像の１以上の２次元画像に基づいて基準画像を生成する基準画像生成部（８）と、基準画像上に異なる小領域を覆う複数の窓部を有し基準画像に重畳されるフレームを生成するフレーム生成部（１２）と、フレームを基準画像に対して移動させるように操作するフレーム操作部（１５）と、フレームの各窓部に、異なる焦点範囲を割り当てる焦点範囲割当部（１３）と、各窓部に覆われた各小領域について、各小領域に対応する領域の２次元画像の内、各窓部に割り当てられた焦点範囲内の２次元画像を用いて全焦点画像をそれぞれ生成する全焦点画像生成部（８）と、異なる焦点範囲に基づく各全焦点画像に、各窓部内の基準画像を置き換える画像置換部（１４）と、基準画像、フレームおよび全焦点画像を表示する表示部（９）とを備える。
2018042629.tif 000002
【特許請求の範囲】
【請求項１】
対物レンズの光軸方向に焦点位置を異ならせて取得された複数枚の２次元画像からなるＺスタック画像の１以上の前記２次元画像に基づいて基準画像を生成する基準画像生成部と、
該基準画像生成部により生成された前記基準画像上に、該基準画像の異なる小領域を覆う複数の窓部を有し前記基準画像に重畳されるフレームを生成するフレーム生成部と、
該フレーム生成部により生成された前記フレームを前記基準画像に対して移動させるように操作するフレーム操作部と、
前記フレーム生成部により生成された前記フレームの各前記窓部に、異なる焦点範囲を割り当てる焦点範囲割当部と、
各前記窓部に覆われた各前記小領域について、各該小領域に対応する領域の前記２次元画像の内、前記焦点範囲割当部により各前記窓部に割り当てられた前記焦点範囲内の前記２次元画像を用いて全焦点画像をそれぞれ生成する全焦点画像生成部と、
該全焦点画像生成部により生成された異なる前記焦点範囲に基づく各前記全焦点画像を、各前記窓部内の前記基準画像に置き換える画像置換部と、
前記基準画像、前記フレームおよび前記全焦点画像を表示する表示部とを備える画像観察装置。
【請求項２】
前記基準画像生成部において生成され前記表示部に表示された前記基準画像上において、いずれかの画素位置を設定する位置設定部と、
該位置設定部により設定された前記画素位置における前記Ｚスタック画像の各前記２次元画像における合焦度を算出して合焦度の分布を生成する合焦度算出部と、
該合焦度算出部により生成された合焦度の分布に基づいて、複数パターンの焦点範囲を決定するＺ範囲決定部とを備え、
前記焦点範囲割当部が、前記Ｚ範囲決定部により決定された各前記焦点範囲を異なる前記窓部に割り当てる請求項１に記載の画像観察装置。
【請求項３】
前記基準画像が、前記焦点範囲割当部により割り当てられる全ての前記焦点範囲より広い焦点範囲内の前記２次元画像を用いて生成された全焦点画像である請求項１または請求項２に記載の画像観察装置。
【請求項４】
前記Ｚスタック画像を取得する顕微鏡と、
請求項１から請求項３のいずれかに記載の画像観察装置とを備える顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像観察装置および顕微鏡システムに関するものである。
【背景技術】
【０００２】
数１０μｍ程度の焦点深度を有する顕微鏡を用いて数ｍｍ程度の被写体を観察する場合や、光軸方向に奥行きのある被写体を観察する場合に、光軸方向に焦点位置をずらしながら撮影された複数枚の画像（以下、Ｚスタック画像という。）を用いて、各画素位置における最大合焦度を有する画像の画素を寄せ集めることで、ほぼ全域において焦点があった全焦点画像を生成することが知られている（例えば、特許文献１参照。）。【０００３】
この特許文献１には、各位置における合焦度が２以上のピーク値を有する場合に、これらのピーク値を複数の候補値として検出し、検出された各候補値に対して特定数のＺスタック画像を利用することによって複数の全焦点画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の方法においては、生成された複数の全焦点画像をどのように利用するのかについて記載がない。一般には、全画角について生成された複数の全焦点画像を択一的に切り替えて、あるいは並列して表示して観察することが考えられる。しかしながら、このようにして観察する場合には、択一的に表示あるいは並列表示される複数の全焦点画像を見比べる必要があり、ユーザが被写体の奥行き方向の構造を直感的に把握することができないという問題がある。【０００６】
本発明は、上述した事情に鑑みてなされたものであって、奥行き方向に複数の合焦を有する被写体の奥行き方向の構造を直感的に把握可能に観察することができる画像観察装置および顕微鏡システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、対物レンズの光軸方向に焦点位置を異ならせて取得された複数枚の２次元画像からなるＺスタック画像の１以上の前記２次元画像に基づいて基準画像を生成する基準画像生成部と、該基準画像生成部により生成された前記基準画像上に、該基準画像の異なる小領域を覆う複数の窓部を有し前記基準画像に重畳されるフレームを生成するフレーム生成部と、該フレーム生成部により生成された前記フレームを前記基準画像に対して移動させるように操作するフレーム操作部と、前記フレーム生成部により生成された前記フレームの各前記窓部に、異なる焦点範囲を割り当てる焦点範囲割当部と、各前記窓部に覆われた各前記小領域について、各該小領域に対応する領域の前記２次元画像の内、前記焦点範囲割当部により各前記窓部に割り当てられた前記焦点範囲内の前記２次元画像を用いて全焦点画像をそれぞれ生成する全焦点画像生成部と、該全焦点画像生成部により生成された異なる前記焦点範囲に基づく各前記全焦点画像に、各前記窓部内の前記基準画像を置き換える画像置換部と、前記基準画像、前記フレームおよび前記全焦点画像を表示する表示部とを備える画像観察装置である。【０００８】
本態様によれば、Ｚスタック画像が入力されると、基準画像生成部により基準画像が生成されて表示部に表示されるとともに、基準画像の異なる小領域を覆う複数の窓部を有するフレームがフレーム生成部により生成されて基準画像に重畳されて表示部に表示される。焦点範囲割当部によって各窓部にそれぞれ割り当てられた異なる焦点範囲内の２次元画像を用いて全焦点画像生成部により全焦点画像が生成され、各窓部内の基準画像が、各窓部に対応して生成された全焦点画像に、画像置換部によって置き換えられて表示される。【０００９】
ユーザはフレーム操作部を操作することにより、表示部に表示されている基準画像上においてフレームを移動させることで、各窓部に対応する小領域を変化させると、各小領域に対応する全焦点画像が新たに生成されて画像置換部によって置き換えられる。これにより、ユーザは、フレームを移動して注目領域を覆う窓部を変更するだけで、異なる焦点範囲の全焦点画像を切り替えて注目領域を観察することができる。【００１０】
すなわち、複数の全焦点画像を切り替えて観察したり、並列に表示して観察したりする場合と比較して、注目領域近傍から目を離すことなく焦点範囲を切り替えることができ、被写体の奥行き方向の構造を直感的に把握することができる。【００１１】
上記態様においては、前記基準画像生成部において生成され前記表示部に表示された前記基準画像上において、いずれかの画素位置を設定する位置設定部と、該位置設定部により設定された前記画素位置における前記Ｚスタック画像の各前記２次元画像における合焦度を算出して合焦度の分布を生成する合焦度算出部と、該合焦度算出部により生成された合焦度の分布に基づいて、複数パターンの焦点範囲を決定するＺ範囲決定部とを備え、前記焦点範囲割当部が、前記Ｚ範囲決定部により決定された各前記焦点範囲を異なる前記窓部に割り当ててもよい。【００１２】
このようにすることで、ユーザが、表示部に表示されている基準画像上において位置設定部によっていずれかの画素位置を設定すると、合焦度算出部により、設定された画素位置における合焦度が算出されて合焦度の分布が生成される。Ｚ範囲決定部が、生成された合焦度の分布に基づいて複数パターンの焦点範囲を決定するので、合焦度の大きい焦点近傍の全焦点画像によって、被写体の注目領域を観察することができる。【００１３】
また、上記態様においては、前記基準画像が、前記焦点範囲割当部により割り当てられる全ての前記焦点範囲より広い焦点範囲内の前記２次元画像を用いて生成された全焦点画像であってもよい。
このようにすることで、最も広い焦点範囲内の２次元画像を用いて生成された全焦点画像が基準画像として表示されている表示部において、フレームの移動により注目領域の焦点範囲を切り替えるので、被写体の全体像を常に確認しながら、注目領域を観察することができる。これにより、被写体の全体像に対する注目領域の奥行き方向の構造をより直感的に把握することができる。【００１４】
また、本発明の他の態様は、前記Ｚスタック画像を取得する顕微鏡と、上記いずれかの画像観察装置とを備える顕微鏡システムである。
【発明の効果】
【００１５】
本発明によれば、奥行き方向に複数の合焦を有する被写体の奥行き方向の構造を直感的に把握可能に観察することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る画像観察装置および顕微鏡システムを示すブロック図である。
【図２】合焦度算出のためのラプラシアンピラミッドを説明する図である。
【図３】図１の画像観察装置により生成される合焦度分布の一例を示す図である。
【図４】図１の画像観察装置による合焦ピークの検出範囲を設定する方法を説明するフローチャートである。
【図５】図４のフローチャートにおいて、Ｚ範囲が分割されることにより生成される合焦ピークの探索範囲を示す図である。
【図６】図４のフローチャートにおいて設定された合焦ピークの検出範囲を示す図である。
【図７】図１の画像観察装置のＺ範囲決定部により決定される合焦ピーク毎のＺ範囲の一例を示す模式図である。
【図８】図１の画像観察装置の表示部に重畳表示される基準画像とフレームの一例を示す図である。
【図９】本発明の顕微鏡システムによる画像の観察方法を説明するフローチャートである。
【図１０】図１の画像観察装置の表示部に表示される画像およびフレームの実際の表示例を示す図である。
【図１１】図１０の表示例において、フレームを移動させた状態を示す図である。
【図１２】図１の画像観察装置におけるフレームの変形例を示す図である。
【発明を実施するための形態】
【００１７】
本発明の一実施形態に係る画像観察装置３および顕微鏡システム１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、図１に示されるように、対物レンズ４の光軸方向に焦点位置を異ならせて、被写体Ｏの複数枚の２次元画像からなるＺスタック画像を取得する顕微鏡２と、該顕微鏡２により取得されたＺスタック画像を観察する画像観察装置３とを備えている。
【００１８】
顕微鏡２は、被写体Ｏを搭載するステージ５と、該ステージ５に搭載された被写体Ｏからの光を集光する対物レンズ４と、該対物レンズ４により集光された被写体Ｏからの光を撮影する撮像部６とを備えている。顕微鏡２の形式は任意でよいが、対物レンズ４の光軸に沿う方向に、対物レンズ４とステージ５との相対位置を変更可能な構造を有し、対物レンズ４の焦点位置を被写体Ｏに対して光軸方向に移動させることができるものである。
【００１９】
顕微鏡２は、被写体Ｏに対して、対物レンズ４の焦点位置を光軸方向に微小距離ずつ送りながら複数枚の２次元画像を取得することにより、取得された複数枚の２次元画像からなるＺスタック画像を取得するようになっている。
【００２０】
本実施形態に係る画像観察装置３は、図１に示されるように、顕微鏡２により取得されたＺスタック画像が入力され、各画素位置における合焦度を算出し合焦度分布を生成する合焦度算出部７と、生成された合焦度分布に基づいて全焦点画像を生成する全焦点画像生成部８と、生成された全焦点画像を表示する表示部９とを備えている。
【００２１】
また、画像観察装置３は、表示部９に表示された全焦点画像上において注目位置を確認したユーザが、全焦点画像上において注目位置を設定する注目位置設定部（位置設定部）１０と、設定された注目位置の情報および後述するＺ範囲決定部１１により決定された焦点範囲の情報に基づいて、複数の窓部を有するフレームを生成するフレーム生成部１２と、生成されたフレームの各窓部に異なる焦点範囲を割り当てる焦点範囲割当部１３と、全焦点画像生成部（基準画像生成部）８において、焦点範囲毎に生成された全焦点画像を窓部内の画像と置き換える画像置換部１４と、表示部９に表示されたフレームをユーザが移動させるためのフレーム操作部１５とを備えている。
【００２２】
合焦度算出部７は、Ｚスタック画像を構成する２次元画像の全域についての全焦点画像である基準画像を生成するための合焦度分布と、注目位置設定部１０により設定された注目位置の画素における合焦度分布とを生成するようになっている。
【００２３】
合焦度算出部７は、例えば、エッジ情報などの高周波成分を表現することができるラプラシアンピラミッドを利用して、高周波成分に基づいて合焦度を算出するようになっている。
一般に、デジタル画像は低周波成分（ガウシアン成分）と高周波成分（ラプラシアン成分）とに分解でき、解像度間の相関によりピラミッド階層として表現できる。高周波成分はラプラシアンピラミッドの階層として表現できる。ラプラシアンピラミッドは原画像から低周波成分を得るときに失われるラプラシアン成分であり、階層によって周波数帯域が異なる。図２にラプラシアンピラミッドの一例を示す。
図２中、ＬＰＦはローパスフィルタ、ＤＳはダウンサンプリング、ＵＳはアップサンプリングをそれぞれ表している。
【００２４】
本実施形態においては、４階層のラプラシアンピラミッドを構築し、被写体構造のエッジ成分が安定的に含まれると考えられる第２階層のラプラシアン成分に基づいて合焦度を算出している。図２は、４階層の内の３階層分を表示している。なお、利用する階層は任意の１階層である必要はなく、観察条件や被写体構造の特徴に基づいて各帯域でのラプラシアン成分を最適な重みでブレンドして求めてもよい。また、合焦度算出方法は、上記方法に限定されるものではなく、ウェーブレット変換の変換係数に基づく算出方法等、任意の公知の方法を用いてもよい。
【００２５】
合焦度算出部７においては、上記により算出された合焦度を、図３に示されるように、各２次元画像のＺ方向位置について配列することにより、合焦度分布を生成するようになっている。
基準画像の生成においては、合焦度算出部７は、２次元画像の全ての画素位置において合焦度分布を生成し、全焦点画像生成部８に送るようになっている。注目位置設定部１０により注目位置が設定されたときには、合焦度算出部７は、設定された注目位置の画素位置における合焦度分布のみを生成して、Ｚ範囲決定部１１に送るようになっている。
【００２６】
Ｚ範囲決定部１１は、合焦度算出部７から送られてきた注目位置における合焦度分布において、合焦度が極大となる合焦ピークを検出し、各合焦ピークについて全焦点画像を生成するための焦点範囲を決定するようになっている。
Ｚ範囲決定部１１における合焦ピークの検出は、以下のようにして行われる。
【００２７】
まず、図４に示されるように、合焦ピークの探索範囲Ｓｚの設定が行われる。
初期状態において、定数Ｎ＝１であり、探索範囲Ｓｚ（Ｎ）は全Ｚ範囲である（ステップＳ１）。図３に示す例では、初期の探索範囲Ｓｚ（Ｎ）は０から１４０である。
次いで、解析対象分布Ａｚ（Ｎ）を求める（ステップＳ２）。具体的には、合焦度分布における各合焦度を所定の閾値と比較して、閾値より大きな合焦度のみを解析対象分布とする。
【００２８】
そして、定数ａ＝１として（ステップＳ３）、求められた解析対象分布Ａｚ（ａ）の分散値σ（ａ）を算出し（ステップＳ４）、分散値σ（ａ）が所定の閾値σＴ以下であるか否かを判定する（ステップＳ５）。分散値σが所定の閾値σＴ以下である場合には、合焦ピークの数が１か０であると推定でき、それ以外の場合には合焦ピークの数が２以上であると推定できる。
【００２９】
したがって、合焦ピーク数が２以上の場合には、定数Ｎをインクリメントし（ステップＳ６）、Ｚ範囲をＺ（Ｎ）に分割し（ステップＳ７）、探索範囲Ｓｚ（Ｎ）をそれぞれＺ（Ｎ）に再設定する（ステップＳ８からＳ１１）。そして、再設定された各探索範囲Ｓｚ（Ｎ）について、ステップＳ２からの工程を繰り返す。
【００３０】
Ｚ範囲の分割は、例えば、図５に示されるように、解析対象分布Ａｚ（Ｎ）の平均値を分割位置とすればよい。この場合には、平均値は６６であり、再設定される探索範囲Ｓｚ（１）は０から６５、探索範囲Ｓｚ（２）は６７から１４０となる。
分割位置の設定方法は、これに限定されるものではなく、解析対象分布Ａｚ（Ｎ）からＦｉｓｈｅｒ  Ｄｉｓｔａｎｃ等のピーク検出関数を作成し、作成されたピーク検出関数の値の正負の変化状況に基づいて、ピークの始点、中心点および終点を求める方法を採用してもよい。
【００３１】
一方、合焦ピーク数が１以下の場合には、検出範囲Ｐｚ（ａ）として、探索範囲Ｓｚ（ａ）を設定し（ステップＳ１２からＳ１４）、全ての探索範囲Ｓｚ（Ｎ）について検出範囲Ｐｚ（Ｎ）が設定されるまで、ステップＳ４からの工程が繰り返される。図中、符号ａ、ｂは定数である。
これにより、全ての探索範囲Ｓｚ（Ｎ）において合焦ピーク数が０または１となる検出範囲Ｐｚ（Ｎ）が決定される。図６は、全Ｚ範囲において合焦ピーク数が２であり、２つの検出範囲Ｐｚ（１），Ｐｚ（２）が決定された場合を示している。
【００３２】
次いで、各検出範囲Ｐｚ（Ｎ）について、合焦ピークのＺ位置が検出される。ここでは、最大合焦度を有するＺ位置を合焦ピークとして検出するようになっている。
【００３３】
さらに、Ｚ範囲決定部１１は、検出された各合焦ピークについて、全焦点画像の生成に利用するＺ範囲、すなわち、焦点範囲を決定するようになっている。
図７においては、例えば、各合焦ピークに対して、各合焦ピークの検出範囲（パターンＢ，Ｅ）と、各合焦ピークを境界とした両側の２つのＺ範囲（パターンＡ，ＣまたはパターンＤ，Ｆ）の３つのＺ範囲を全焦点画像の生成に利用するＺ範囲として決定するようになっている。
【００３４】
全焦点画像生成部８は、基準画像を生成するための全ての画素位置における合焦度分布が合焦度算出部７から送られてきたときには、各合焦度分布において、合焦度が最も高くなるＺ方向のいずれかの２次元画像の画素値を選択して、全ての画素位置において選択された画素値を組み合わせることにより全焦点画像を生成するようになっている。
【００３５】
また、全焦点画像生成部８は、Ｚ範囲決定部１１から、複数のＺ範囲が送られてきたときには、送られてきた各Ｚ範囲に対応するＺスタック画像を用いて、合焦ピーク毎に全焦点画像を生成するようになっている。全焦点画像の生成方法は、基本的に基準画像を生成する方法と同様であるが、生成するＺ範囲および２次元画像の画素範囲において相違している。
【００３６】
注目位置設定部１０は、例えば、表示部９に表示された画像上でカーソルを移動させるマウス等の入力装置であり、ユーザが関心の高い注目位置にマウスを移動して、クリックすることにより、注目位置を設定するようになっている。
【００３７】
本実施形態においては、注目位置設定部１０により注目位置が設定され、該注目位置についての全焦点画像を生成するＺスタック画像のＺ範囲がＺ範囲決定部１１により決定されると、フレーム生成部１２が、基準画像に重畳して表示するフレームを生成するようになっている。
具体的には、Ｚ範囲決定部１１により、検出された合焦ピーク数が２であり、各合焦ピークについて検出範囲が３つずつ設定されているので、２×３＝６個の窓部を有するフレームが生成されるようになっている。
【００３８】
そして、生成されたフレームは、例えば、図８に示されるように、注目位置設定部１０により設定された注目位置を中心として表示部９の基準画像上に重畳して表示されるようになっている。
また、生成されたフレームの情報は、焦点範囲割当部１３に送られる。焦点範囲割当部１３においては、フレームの各窓部にＺ範囲決定部１１により決定された６個のＺ範囲がそれぞれ割り当てられるようになっている。
【００３９】
具体的には、フレームは、例えば、２行３列の窓部を有し、各行の中央の窓部には、２つの検出範囲のＺ範囲がそれぞれ割り当てられ、左側の列の窓部には、合焦ピークより奥行き方向に奥側、右側の列の窓部には、合焦ピークより奥行き方向に手前側のＺ範囲がそれぞれ割り当てられるようになっている。
【００４０】
全焦点画像生成部８には、Ｚスタック画像、フレームの窓部の位置情報、および各窓部に割り当てられたＺ範囲の情報が送られて、窓部に対応する小領域毎に、各窓部に割り当てられたＺ範囲を用いて全焦点画像が生成される。そして、生成された６個は、それぞれ、画像置換部１４において、各窓部に対応する小領域の基準画像と置き換えられ、表示部９に表示されるようになっている。
【００４１】
そして、ユーザは、例えば、マウス等の入力部とＧＵＩとにより構成されたフレーム操作部１５によって、表示部９に表示されているフレームの位置を移動させることができる。フレームが移動させられると、各窓部に対応する小領域が変化するので、新たな窓部の位置情報および窓部に割り当てられたＺ範囲を用いて、全焦点画像が生成され、更新されるようになっている。
【００４２】
このように構成された本実施形態に係る画像観察装置３および顕微鏡システム１の作用について以下に説明する。
本実施形態に係る顕微鏡システム１を用いて被写体Ｏの観察を行うには、図９に示されるように、顕微鏡２のステージ５に被写体Ｏを搭載し、対物レンズ４の光軸方向に沿う対物レンズ４とステージ５との相対位置を微小送りして変更しながら、各位置で被写体Ｏの２次元画像を取得して記憶することにより、Ｚスタック画像が取得される（ステップＳ１００）。
【００４３】
顕微鏡２において取得されたＺスタック画像は、画像観察装置３に入力される。
画像観察装置３においては、Ｚスタック画像を構成している２次元画像の全域にわたって、２次元画像の各画素位置について、合焦度算出部７により合焦度分布が生成され、全焦点画像生成部８に送られる。
【００４４】
全焦点画像生成部８においては、入力されてきたＺスタック画像および全画素位置の合焦度分布に基づいて、各画素位置において最大合焦度を有するＺ方向のいずれかの２次元画像の画素値が抽出されて、組み合わせられることにより、２次元画像の全域にわたる全焦点画像が生成され、基準画像として表示部９に表示される（ステップＳ１０１）。
【００４５】
ユーザは、表示部９に表示された基準画像を見て、関心が高い注目位置を設定する（ステップＳ１０２）。設定された注目位置の座標が合焦度算出部７に送られて、当該座標における合焦度分布が生成される（ステップＳ１０３）。
【００４６】
生成された合焦度分布はＺ範囲決定部１１に送られ、Ｚ範囲決定部１１において、合焦ピークの検出範囲設定処理、合焦ピークの検出処理（ステップＳ１０４）および検出された合焦ピーク毎のＺ範囲決定処理（ステップＳ１０５）が行われる。Ｚ範囲決定部１１においてＺ範囲の数が決定されると、その情報がフレーム生成部１２に送られて、Ｚ範囲の数だけ窓部を有するフレームが生成される（ステップＳ１０６）。
【００４７】
そして、生成されたフレームの情報は焦点範囲割当部１３に送られてＺ範囲決定部１１により決定されたＺ範囲が、フレームの各窓部に１つずつ割り当てられる（ステップＳ１０７）。
また、生成されたフレームは、注目位置設定部１０により設定された注目位置を中心として基準画像上に表示されるように、注目位置設定部１０により設定された注目位置に基づいて、フレーム生成部１２において各窓部の基準画像上の位置が算出される。
【００４８】
全焦点画像生成部８は、顕微鏡２から入力されたＺスタック画像および焦点範囲割当部１３から送られてきたフレームの各窓部の位置情報および各窓部に割り当てられたＺ範囲の情報を受け取って、各窓部に対応する小領域毎に、窓部に割り当てられたＺ範囲の情報を用いてＺスタック画像から全焦点画像を生成する（ステップＳ１０８）。
そして、窓部毎に生成された全焦点画像が、フレームの窓部内の画像として画像置換部１４によって当てはめられることにより、基準画像にフレームが重畳され、フレームの各窓部にＺ範囲の異なる全焦点画像が当てはめられた画像が表示部９に表示される（ステップＳ１０９）。図１０に実際の表示例を示す。
【００４９】
ユーザは、マウスを備えるフレーム操作部１５を操作して、表示部９に表示されているフレームを把持し、ドラッグすることによって、基準画像に対してフレームを移動させることができる。フレームが移動すると各窓部の位置が変化するので、フレームが移動されたか否かが判定され（ステップＳ１１０）、移動された場合には、新たな窓部の位置情報が焦点範囲割当部１３から全焦点画像生成部８に送られて、全焦点画像が再生成され更新される（ステップＳ１０６からＳ１０９）。図１１にフレームを移動した場合の実際の表示例を示す。
フレームが移動されず、表示を終了する場合（ステップＳ１１１）には、処理が終了される。
【００５０】
このように、本実施形態に係る画像観察装置３および顕微鏡システム１によれば、ユーザは、表示部９に、基準画像に重畳して表示されているフレームを自由に移動させて、フレームにより画定されているいずれかの窓部を注目位置に一致させるだけで、当該窓部に割り当てられているＺ範囲の全焦点画像により注目位置の観察を行うことができる。その結果、画像全体を切り替えたり、並列表示された画像を見比べたりすることなく、被写体Ｏの奥行き方向の構造を、より直感的に観察することができるという利点がある。
【００５１】
特に、Ｚ範囲として、合焦ピークを含む各検出範囲、合焦ピークを境界とした両側のＺ範囲の３つのＺ範囲を用意しているので、合焦ピークを含む検出範囲の全焦点画像によって、当該注目領域において合焦する特徴的な構造の全体像を把握でき、合焦ピークの両側のＺ範囲の全焦点画像によって、特徴的な構造よりも奥行き方向の奥側および手前側の構造を容易に切り替えて観察することができる。
【００５２】
また、他の合焦ピークを含む検出範囲を除いたＺ範囲の全焦点画像によれば、合焦ピークでの構造が、他の不要なＺスタック画像の情報によって認識しにくくなることを防止することができる。また、検出範囲に一致するＺ範囲を用いた全焦点画像では、合焦ピークを中心に限定した範囲での全焦点画像となるため、特に観察したい領域の構造を把握しやすくなるという利点がある。
【００５３】
また、本実施形態においては、フレームの外側には、全Ｚ範囲を用いた全焦点画像からなる基準画像が表示されているので、ユーザは、基準画像によって周囲の構造を把握しながら、注目位置の観察を行うことができる。
【００５４】
なお、本実施形態においては、表示部９に表示する基準画像として、全Ｚ範囲を用いた全焦点画像を例示したが、これに限定されるものではなく、被写体Ｏの観察範囲を示すものであれば任意の画像を基準画像としてもよい。例えば、Ｚスタック画像を構成するいずれかの２次元画像でもよいし、２以上の２次元画像を合成した画像を基準画像としてもよい。
【００５５】
また、本実施形態においては、注目位置設定部１０として、ユーザがマウスによって注目位置を設定するものを例示したが、これに代えて、画像認識処理などにより、被写体Ｏの特徴的な領域を自動的に取得し、注目位置として設定することにしてもよい。また、注目位置として、基準画像上の１画素を設定することとしたが、これに代えて、観察したい構造の大きさに応じた任意サイズの領域を設定することにしてもよい。
【００５６】
この場合には、設定された領域の各画素位置に対応する合焦度分布を加算して合焦度分布を求めればよい。これにより、任意サイズの領域における主な合焦ピーク毎のＺ範囲での全焦点画像による観察が可能となる。
【００５７】
また、テクスチャが存在せず、合焦度の精度が低い位置については、Ｚ方向の全ての合焦度が閾値より小さくなり、合焦ピークを検出することができない。このような位置については、任意のＺ方向位置の画素値を設定すればよい。任意のＺ方向位置は、被写体Ｏの特徴に基づいて予め指定しておけばよい。例えば、被写体Ｏが生物系の被写体である場合には、背景領域、工業系の被写体である場合には底面領域などが存在するＺ位置をユーザが指定してもよいし、被写体Ｏの構造の中で最も低い位置や、撮影開始位置あるいは撮影終了位置に設定してもよい。
【００５８】
また、本実施形態においては、フレームとして同じ大きさの長方形の窓部を有するものを例示したが、これに限定されるものではなく、異なる形状および大きさの窓部を有するフレームを採用してもよい。また、窓部の大きさをユーザが操作して変更することができるようにしてもよい。また、Ｚ範囲決定部１１により決定されるＺ範囲についても、上記に限定されるものではなく、Ｚ範囲の数および範囲については任意に設定することができる。
【００５９】
また、検出範囲に一致するＺ範囲はより限定的に決定してもよい。例えば、合焦ピークが検出された検出範囲の標準偏差を算出し、合焦ピークを中心とした２×標準偏差の範囲をＺ範囲として決定してもよい。
また、フレームの窓部は矩形に限られるものではなく、図１２に示されるように同心円等によって構成してもよい。
【００６０】
また、本実施形態においては、設定された注目位置における合焦度分布に基づいてＺ範囲決定部１１によりＺ範囲を決定することとしたが、これに代えて、予め複数のＺ範囲を記憶しておいて使用してもよい。
【符号の説明】
【００６１】
１  顕微鏡システム
２  顕微鏡
３  画像観察装置
４  対物レンズ
７  合焦度算出部
８  全焦点画像生成部（基準画像生成部）
９  表示部
１０  注目位置設定部（位置設定部）
１１  Ｚ範囲決定部
１２  フレーム生成部
１３  焦点範囲割当部
１４  画像置換部
１５  フレーム操作部
【図１】
2018042629.tif 000003
【図２】
2018042629.tif 000004
【図３】
2018042629.tif 000005
【図４】
2018042629.tif 000006
【図５】
2018042629.tif 000007
【図６】
2018042629.tif 000008
【図７】
2018042629.tif 000009
【図８】
2018042629.tif 000010
【図９】
2018042629.tif 000011
【図１０】
2018042629.tif 000012
【図１１】
2018042629.tif 000013
【図１２】
2018042629.tif 000014
【国際調査報告】
2018042629.tif 000015
2018042629.tif 000016