(57)【要約】【課題】不要なテクスチャを削除した拡張焦点画像や３Ｄ画像を容易に得ることができる観察装置を提供する。【解決手段】  観察装置は、標本を載置するステージと、前記標本からの観察光を集光する対物レンズと、前記ステージと前記対物レンズとの距離を調整可能なフォーカス制御手段と、前記標本を撮影して標本画像を取得する撮影手段と、前記フォーカス制御手段に前記ステージと前記対物レンズとの距離を調整させるとともに、前記距離が異なる複数の位置で前記撮影手段に複数の前記標本画像を撮影させる制御手段と、前記複数の前記標本画像の中から合成画像の生成に用いる画像を選択する選択手段と、少なくとも一部の合成画像を前記選択手段により選択された前記複数の前記標本画像を用いて生成する合成画像生成手段と、を備えることを特徴とする。【選択図】図５
2014232166.tif 000002
【特許請求の範囲】
【請求項１】
標本を載置するステージと、
前記標本からの観察光を集光する対物レンズと、
前記ステージと前記対物レンズとの距離を調整可能なフォーカス制御手段と、
前記標本を撮影して標本画像を取得する撮影手段と、
前記フォーカス制御手段に前記ステージと前記対物レンズとの距離を調整させるとともに、前記距離が異なる複数の位置で前記撮影手段に複数の前記標本画像を撮影させる制御手段と、
前記複数の前記標本画像の中から合成画像の生成に用いる画像を選択する選択手段と、
少なくとも一部の合成画像を前記選択手段により選択された前記複数の前記標本画像を用いて生成する合成画像生成手段と、
を備えることを特徴とする観察装置。
【請求項２】
前記合成画像生成手段は、前記複数の前記標本画像の全てを用いて生成した第１の合成画像と、前記選択手段により選択された画像のみを合成した第２の合成画像とを生成することを特徴とする請求項１に記載の観察装置。
【請求項３】
前記第１の合成画像及び前記第２の合成画像を表示する表示手段をさらに備えることを特徴とする請求項２に記載の観察装置。
【請求項４】
画像の特性値の閾値を設定する設定手段をさらに備え、
前記合成画像生成手段は、前記選択手段により選択された画像の中から前記設定手段により設定された閾値に応じて所定の画像を除外して合成画像を生成することを特徴とする請求項１〜３のいずれか１項に記載の観察装置。
【請求項５】
前記除外された所定の画像に対応する領域を所定色またはテクスチャで補完することを特徴とする請求項４に記載の観察装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、複数の異なる位置において画像を撮影する観察装置に関するものである。
【背景技術】
【０００２】
従来、複数の異なる位置において標本の静止画像を撮影し、当該複数の位置において撮影された静止画像を用いて、全体にピントのあった拡張焦点画像（全焦点画像）や３Ｄ画像（表面形状データ）を生成する技術が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１記載の技術では、複数の異なる位置で撮影した全ての静止画像間で画素値を比較し、ピントのあった位置の画素値を抽出し、画像を合成することにより拡張焦点画像を生成している。
【０００４】
また、上記複数の異なる位置で撮影した全ての静止画像間で画素値を比較し、ピントのあった位置の高低差情報に基づき３Ｄ画像を合成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３９８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術では、複数の異なる位置で撮影した全ての静止画像間で最大の画素値（隣接画素間の輝度情報に基づくコントラスト値等）を持つ画像範囲を抽出して、その全てを常に拡張焦点画像や３Ｄ画像の合成のために用いている。したがって、ユーザが拡張焦点画像や３Ｄ画像に含まれることを望まない画像や、不要な高さ範囲の画像等の不要なテクスチャが合成後の拡張焦点画像や３Ｄ画像に含まれることがある。
【０００７】
本発明は、上記に鑑みてなされたものであり、不要なテクスチャを削除した拡張焦点画像や３Ｄ画像を容易に得ることができる観察装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる観察装置は、標本を載置するステージと、前記標本からの観察光を集光する対物レンズと、前記ステージと前記対物レンズとの距離を調整可能なフォーカス制御手段と、前記標本を撮影して標本画像を取得する撮影手段と、前記フォーカス制御手段に前記ステージと前記対物レンズとの距離を調整させるとともに、前記距離が異なる複数の位置で前記撮影手段に複数の前記標本画像を撮影させる制御手段と、前記複数の前記標本画像の中から合成画像の生成に用いる画像を選択する選択手段と、少なくとも一部の合成画像を前記選択手段により選択された前記複数の前記標本画像を用いて生成する合成画像生成手段と、を備えることを特徴とする。
【０００９】
本発明にかかる観察装置は、上記発明において、前記合成画像生成手段が、前記複数の前記標本画像の全てを用いて生成した第１の合成画像と、前記選択手段により選択された画像のみを合成した第２の合成画像とを生成することを特徴とする。
【００１０】
本発明にかかる観察装置は、上記発明において、前記第１の合成画像及び前記第２の合成画像を表示する表示手段をさらに備えることを特徴とする。
【００１１】
本発明にかかる観察装置は、上記発明において、画像の特性値の閾値を設定する設定手段をさらに備え、前記合成画像生成手段は、前記選択手段により選択された画像の中から前記設定手段により設定された閾値に応じて所定の画像を除外して合成画像を生成することを特徴とする。
【００１２】
本発明にかかる観察装置は、上記発明において、前記除外された所定の画像に対応する領域を所定色またはテクスチャで補完することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、不要なテクスチャを削除した拡張焦点画像や３Ｄ画像を容易に得ることができる観察装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本実施の形態１にかかる顕微鏡システムの構成の一例を示す概念図である。
【図２】図２は、本実施の形態１にかかる顕微鏡システムの機能構成を示すブロック図である。
【図３Ａ】図３Ａは、拡張焦点画像の合成を説明するための概念図である。
【図３Ｂ】図３Ｂは、拡張焦点画像の合成の一例を示す平面図である。
【図３Ｃ】図３Ｃは、拡張焦点画像の合成を説明するための概念図である。
【図４Ａ】図４Ａは、本発明の実施の形態１にかかる顕微鏡システムの表示入力部が表示するプレビューウインドウの一例を表す平面図である。
【図４Ｂ】図４Ｂは、本発明の実施の形態１にかかる顕微鏡システムの表示入力部が表示するプレビューウインドウの一例を表す平面図である。
【図５】図５は、本発明の実施の形態１にかかる制御部が実行する画像合成処理を表すフローチャートである。
【図６】図６は、本発明の実施の形態２にかかる顕微鏡システムの表示入力部が表示するプレビューウインドウの一例を表す平面図である。
【図７】図７は、本発明の実施の形態２にかかる制御部が実行する画像合成処理を表すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態を図面と共に詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解し得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１にかかる顕微鏡システムの構成の一例を示す概念図である。図２は、本実施の形態１にかかる顕微鏡システムの機能構成を示すブロック図である。なお、図１および図２において、顕微鏡システム１が載置される平面をｘｙ平面とし、ｘｙ平面と垂直な方向をｚ方向として説明する。
【００１７】
図１および図２に示すように、顕微鏡システム（観察装置）１は、標本Ｓを観察する顕微鏡装置２と、顕微鏡装置２を駆動制御する顕微鏡制御部３と、顕微鏡装置２を介して標本Ｓを撮像して画像データを生成する撮像装置４と、撮像装置４の駆動を制御する撮像制御部５と、撮像装置４が撮像した画像データに対応する画像を表示するとともに、顕微鏡システム１の各種の操作の入力を受け付ける表示入力部６と、顕微鏡制御部３、撮像装置４、撮像制御部５および表示入力部６を制御する制御端末７と、を備える。顕微鏡装置２、顕微鏡制御部３、撮像装置４、撮像制御部５、表示入力部６および制御端末７は、データが送受信可能に有線または無線で接続されている。
【００１８】
顕微鏡装置２は、標本Ｓを保持する顕微鏡基部２ａ（ステージ側本体部）と、顕微鏡基部２ａに保持されるヘッド部２ｂと、を備える。顕微鏡基部２ａは、標本Ｓが載置されるステージ２１を支持する支持部２２を有する。ヘッド部２ｂは、ノーズピース２３を介して対物レンズ２４を保持するとともに、ｚ方向に移動可能なヘッド本体部２５と、標本Ｓを照明する照明光を射出する落射照明用光源２６と、を有する。また、顕微鏡装置２は、顕微鏡基部２ａおよびヘッド部２ｂを連結し、ヘッド部２ｂをｚ方向に移動させるＺ駆動部２７を有する。
【００１９】
ステージ２１は、ｘｙ方向に移動自在に構成されている。ステージ２１は、モータ２１１によってｘｙ平面内で移動自在である。ステージ２１は、顕微鏡制御部３の制御のもと、図示しないｘｙ位置の原点センサによってｘｙ平面における所定の原点位置を検出し、この原点位置を基点としてモータ２１１の駆動量が制御されることによって、標本Ｓ上の観察箇所を移動する。ステージ２１は、観察時のｘ位置およびｙ位置に関する位置信号（ｘｙ座標）を顕微鏡制御部３に出力する。
【００２０】
ノーズピース２３は、ヘッド本体部２５に対してスライド自在に設けられたスライダ２３１を介して、所望の対物レンズ２４を標本Ｓの上方に配置する。ノーズピース２３は、スライダ２３１によって倍率（観察倍率）が異なる複数の対物レンズ２４（２４１，２４２）を保持する。ノーズピース２３は、顕微鏡制御部３の制御のもと、モータ２３２によってスライダ２３１をｘ方向にスライドさせることによって、観察光の光路上に挿入されて標本Ｓの観察に用いる対物レンズ２４を択一的に切換える。なお、ノーズピース２３は、スライダ式のノーズピースに限らず、レボルバ式のノーズピースであってもよい。
【００２１】
スライダ２３１に装着されている対物レンズ２４は、例えば、１倍，２倍，４倍の比較的倍率の低い対物レンズ２４１（以下、「低倍対物レンズ２４１」という）と、低倍対物レンズ２４１の倍率より高倍率である対物レンズ２４２（以下、「高倍対物レンズ２４２」という）とがある。対物レンズ２４２の倍率は、例えば、１０倍，２０倍，４０倍である。スライダ２３１には、対物レンズ２４１，２４２が少なくとも１つずつ装着される。なお、低倍対物レンズ２４１および高倍対物レンズ２４２の倍率は一例であり、高倍対物レンズ２４２が低倍対物レンズ２４１に対して高ければよい。
【００２２】
ヘッド本体部２５は、上述したノーズピース２３を保持するとともに、ファイバー２６１を介して落射照明用光源２６から射出された照明光Ｌ１（以下、「落射照明光Ｌ１」という）を集光する照明レンズ２５１と、落射照明光Ｌ１の光路を対物レンズ２４の光軸に沿って偏向させるハーフミラー２５２と、標本Ｓを拡大するズームレンズ２５３と、対物レンズ２４、ズームレンズ２５３およびハーフミラー２５２を介して入射される標本Ｓの反射光を集光して観察像を結像する結像レンズ２５４とが内部に設けられている。
【００２３】
ズームレンズ部２５３は、ズームレンズ群およびズームレンズ群を駆動するズームレンズモータ（図示せず）等を用いて構成される。ズームレンズモータは、顕微鏡制御部３の制御のもと、ズームレンズ群を光軸方向に沿って移動させることにより、ズームレンズ部２５３のズーム倍率を変更する。
【００２４】
また、ヘッド本体部２５は、後述するヘッド保持部２７１に保持され、モータ２７４によってｚ方向に移動自在である。ヘッド本体部２５は、顕微鏡制御部３の制御のもと、ヘッド本体部２５のｚ方向における所定の原点位置を基点としてモータ２７４の駆動量が制御されることによって、所定の高さ範囲内の任意のｚ位置に標本Ｓを焦準移動させる。なお、本実施の形態では、ヘッド本体部２５およびヘッド保持部２７１によって対物レンズ側本体部を構成する。
【００２５】
落射照明用光源２６は、ハロゲンランプ、キセノンランプまたはＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等によって構成される。落射照明用光源２６は、ファイバー２６１を介して標本Ｓの観察像を形成するための落射照明光Ｌ１を出射する。
【００２６】
落射照明光Ｌ１は、照明レンズ２５１、ハーフミラー２５２、ズームレンズ２５３および対物レンズ２４を経て標本Ｓに照射される。標本Ｓで反射した反射光Ｌ２（以下、「観察光Ｌ２」という）は、対物レンズ２４、ズームレンズ２５３、ハーフミラー２５２および結像レンズ２５４を経て撮像装置４に入射する。
【００２７】
Ｚ駆動部２７は、ヘッド本体部２５を保持するとともに、支持部２２に対してｚ方向に移動可能なヘッド保持部２７１と、ヘッド保持部２７１をｚ方向に駆動させるモータ２７４と、を有する。Ｚ駆動部２７は、ステージ２１と対物レンズ２４との距離を調整可能なフォーカス制御手段として機能する。なお、Ｚ駆動部２７は、ノーズピース２３をｚ方向に移動する代わりにステージ２１をｚ方向に移動するものであってもよい。
【００２８】
顕微鏡制御部３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等を用いて構成され、制御端末７の制御のもと、顕微鏡装置２を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部３は、スライダ２３１を駆動させて観察光Ｌ２の光路上に配置する対物レンズ２４を切換える切換処理、モータ２１１またはモータ２７４を駆動することにより、ステージ２１およびヘッド本体部２５の駆動処理、および標本Ｓの観察に伴う顕微鏡装置２の各部の調整を行う調整処理等を行う。また、顕微鏡制御部３は、顕微鏡装置２を構成する各部の状態、例えばステージ２１の位置情報（ｘｙ位置）、ヘッド本体部２５の位置情報（ｚ位置）およびスライダ２３１に装着された対物レンズ２４の種類情報等を制御端末７に出力する。
【００２９】
撮像装置４は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子４１を用いて構成される。撮像装置４は、撮像制御部５の制御のもと、結像レンズ２５４を経て入射された標本Ｓの観察像を撮像して標本Ｓの画像データを連続して生成する。撮像装置４は、カメラケーブルを介して生成した標本Ｓの画像データを制御端末７へ出力する。
【００３０】
撮像制御部５は、ＣＰＵ等を用いて構成され、撮像装置４の動作を制御する。具体的には、撮像制御部５は、撮像装置４の自動ゲイン制御のＯＮ／ＯＦＦ切換処理、ゲインの設定処理およびフレームレートの設定処理等を行って撮像装置４の撮影動作を制御する。撮像制御部５は、ＡＥ処理部５１を有する。
【００３１】
ＡＥ処理部５１は、撮像装置４が生成した画像データに基づいて、撮像装置４の露出条件を自動的に設定する。具体的には、ＡＥ処理部５１は、制御端末７を介して取得した画像データから輝度を算出し、算出した輝度に基づいて撮像装置４の露出条件、例えば露光時間を決定することで撮像装置４の自動露出を行う。
【００３２】
表示入力部６は、制御端末７との通信を行う表示通信部６１と、画像を表示する表示部６２と、外部からの物体の接触に応じた位置信号を出力するタッチパネル６３と、を有する。
【００３３】
表示通信部６１は、制御端末７との通信を行うための通信インターフェースである。表示通信部６１は、制御端末７から出力される画像データを表示部６２へ出力する。
【００３４】
表示部６２は、液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等からなる表示パネルを用いて構成される。表示部６２は、表示通信部６１を介して入力される画像データに対応する画像を表示する。表示部６２は、顕微鏡システム１の各種操作情報等を表示する。
【００３５】
タッチパネル６３は、表示部６２の表示画面上に設けられ、外部からの物体の接触位置に応じた入力を受け付ける。具体的には、タッチパネル６３は、ユーザが表示部６２に表示される操作アイコンに従ってタッチ（接触）した位置を検出し、この検出したタッチ位置に応じた位置信号を制御端末７へ出力する。例えば、タッチパネル６３は、表示部６２が顕微鏡システム１の各種操作情報を画像表示領域内で表示することで、グラフィカルユーザインターフェース（ＧＵＩ）として機能する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。
【００３６】
制御端末７は、顕微鏡制御部３、撮像制御部５および表示入力部６との通信を行う制御通信部７１と、顕微鏡システム１の各部の駆動を指示する駆動指示信号の入力を受け付ける入力部７２と、顕微鏡システム１の各種情報を記憶する記憶部７３と、顕微鏡システム１の各部を制御する制御部７４と、を備える。
【００３７】
制御通信部７１は、顕微鏡制御部３、撮像制御部５および表示入力部６それぞれとの通信を行うための通信インターフェースである。また、制御通信部７１は、カメラケーブルを介して撮像装置４から出力される画像データを制御部７４へ出力する。
【００３８】
入力部７２は、キーボード、マウス、ジョイスティックおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御部７４に出力する。
【００３９】
記憶部７３は、制御端末７の内部に固定的に設けられるフラッシュメモリおよびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体メモリを用いて実現される。記憶部７３は、顕微鏡システム１に実行させる各種プログラム（例えば、位置検出プログラム）、プログラムの実行中に使用される各種データを記憶する。また、記憶部７３は、制御部７４の処理中の情報を一次的に記憶する。記憶部７３は、撮像装置４が撮像した画像データを記憶する画像データ記憶部７３１と、ヘッド本体部２５の位置に関する位置情報を記憶する位置情報記憶部７３２と、を有する。なお、記憶部７３は、外部から装着されるメモリカード等を用いて構成されてもよい。
【００４０】
制御部７４は、ＣＰＵ等を用いて構成され、入力部７２およびタッチパネル６３からの駆動指示信号、位置信号および切換信号等に応じて顕微鏡システム１を構成する各部に対応する指示やデータの転送等を行って顕微鏡システム１の動作を統括的に制御する。また、後述する拡張焦点画像や３Ｄ画像の合成を行う画像合成処理や、ヘッド本体部２５の位置を設定する処理等を行う。
【００４１】
また、制御部７４は、画像処理部７４１と、駆動制御部７４２と、表示制御部７４３、ＡＦ処理部７４４と、を有する。
【００４２】
画像処理部７４１は、制御通信部７１を介して入力される画像データに対して、所定の画像処理を施して表示部６２で表示する表示画像を生成する。具体的には、画像処理部７４１は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。画像処理部７４１は、画像データを所定の方式、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式で圧縮し、圧縮した画像データを画像データ記憶部７３１へ出力する。
【００４３】
駆動制御部７４２は、例えばタッチパネル６３または入力部７２からの入力に応じて顕微鏡装置２を構成する電動ユニット（ステージ２１、ヘッド本体部２５）を駆動する駆動制御を行う。駆動制御部７４２は、例えば、ヘッド本体部２５を対物レンズ２４の光軸と平行な方向に移動させる等の駆動制御を行う。
【００４４】
表示制御部７４３は、表示部６２の表示態様を制御する。具体的には、表示制御部７４３は、画像データ記憶部７３１が記憶する複数の画像データの各々の画像を表示部６２に表示させる。表示制御部７４３は、顕微鏡システム１の各々の動作に関する操作情報、例えば、ステージ２１またはヘッド本体部２５の操作情報等を表示部６２に表示させる。
ＡＦ処理部７４４は、撮像装置４が生成した画像データに基づいて、対物レンズ２４のピントを自動的に調整する。具体的には、ＡＦ処理部７４４は、電動焦準部２７を駆動させ、ヘッド本体部２５の各Z位置における画像のコントラストを評価し、合焦している合焦位置（焦点位置）を検出することにより、対物レンズ２４のピントを自動的に調整する。
【００４５】
このように構成された顕微鏡システム１は、制御部７４の制御のもと、撮像装置４で撮像された標本Ｓの画像データを表示部６２に表示することによってユーザに標本Ｓの画像を観察させることができる。さらに、顕微鏡システム１は、タッチパネル６３から入力される位置信号に基づいて、制御部７４が顕微鏡システム１の各部に指示信号や駆動信号を出力することにより、顕微鏡装置２および撮像装置４が駆動する。
【００４６】
図３Ａ〜３Ｃは、拡張焦点画像の合成を説明するための概念図及び平面図である。図３Ａ及び図３Ｃは、標本Ｓが載置されるステージ２１の側面図と、標本Ｓを拡張焦点画像（ＥＦＩ：Ｅｘｔｅｎｄ  Ｆｏｃａｌ  Ｉｍａｇｅ）指定範囲において複数の位置で撮影した画像群のコントラスト分布を表すグラフとを組み合わせた図である。図３Ｂは、図３Ａに示す撮影範囲で撮影・合成された拡張焦点画像の平面図である。
【００４７】
なお、本明細書において、撮影範囲とは、実際に撮像装置４が標本Ｓを複数の位置（撮像装置４と標本Ｓとの距離が異なる複数の位置）において撮影する範囲である。また、拡張焦点画像（全焦点画像）とは、高低差のある標本Ｓに対して複数の位置で撮影した静止画像を、各画像の特性値（コントラスト値等）に基づき合成することにより生成される画像全面にピントの合った画像である。
【００４８】
図３Ａに示すようにステージ２１上に載置された標本Ｓを、撮像装置４の焦点位置の下限（ステージ２１の上面）から上限までを撮影範囲として、拡張焦点画像を合成すると、図３Ｂに示すように、ステージ２１上面のテクスチャが合成した拡張焦点画像に写りこんでしまう。これは、図３Ａに示す撮影範囲には、ステージ２１上面のテクスチャに相当するコントラスト成分が含まれるため、ステージ２１上面のテクスチャも拡張焦点画像の一部として合成されてしまうからである（ことが原因である）。
【００４９】
このようなステージ２１上面のテクスチャの写りこみを回避するために、図３Ｃに示すように、ステージ２１上面のテクスチャに相当するコントラスト成分を除外するように撮影範囲を変更して、撮影を行うことができるが、このようにすると撮影範囲から除外された範囲の標本Ｓのテクスチャも拡張焦点画像として合成されなくなり、必要なテクスチャも消失する可能性がある。撮影範囲を変更するこの手法によると、必要なテクスチャが含まれるように再度合成するためには、複数の位置での撮影を再度行う必要がある。
【００５０】
そこで、本実施の形態では、撮影範囲を変更せずに、拡張焦点画像や３Ｄ画像などの画像を合成するために用いる画像の使用範囲（以下、合成対象と呼ぶ）を変更可能にするとともに、当該合成対象に含まれる画像のみを用いて合成を行った場合の合成画像をプレビューできるようにしている。
【００５１】
図４Ａ及び４Ｂは、本発明の実施の形態１にかかる顕微鏡システムの表示入力部が表示するプレビューウインドウの一例を表す平面図である。図４Ａは、画像の合成対象の変更前を表し、図４Ｂは変更後を表している。なお、この例では、予め設定された撮影範囲（下限から上限位置まで）において標本Ｓの撮影が、ステージ２１と対物レンズ２４との距離が異なる複数の位置で、すでに行われているものとする。
【００５２】
プレビューウインドウＰＷは、表示部６２に表示され、第１の表示領域ＰＳ１と、第２の表示領域ＰＳ２と、コントラスト表示領域ＣＳと、開始位置設定部１０１と、終了位置設定部１０２と、決定指示部（ＯＫボタン）１０３と、を備える。
【００５３】
第１の表示領域ＰＳ１は、予め設定された撮影範囲で撮影された全ての画像を使用した場合の合成画像のプレビュー画像をサムネイル表示する領域、すなわち合成対象の変更前の状態を表示する領域である。第２の表示領域ＰＳ２は、合成対象に含まれる画像のみを使用した場合の合成画像のプレビュー画像をサムネイル表示する領域、すなわち合成対象の変更後の状態を表示する領域である。なお、プレビュー画像は撮影した画像を縮小するなどしてデータ量を減らした画像を用いて合成することが好ましい。
【００５４】
コントラスト表示領域ＣＳは、指定範囲において複数の位置で撮影した画像群のコントラスト分布（各画像の特性値）を表すグラフを表示する領域である。コントラスト表示領域ＣＳの右辺の下端には開始位置設定部１０１が上下移動可能に設けられ、上端には終了位置設定部１０２が上下移動可能に設けられる。
【００５５】
開始位置設定部１０１は、合成対象の開始位置を設定する。ユーザが、例えば、マウス等の入力部７２やタッチパネル６３を操作することにより、開始位置設定部１０１をポインタで指示した状態でマウスをドラッグしてプレビューウインドウＰＷ上での位置を変更することにより、合成対象の開始位置が変更される。合成対象の開始位置は、撮影範囲の下限位置から終了位置までの任意の位置に設定可能である。
【００５６】
終了位置設定部１０２は、合成対象の終了位置を設定する。ユーザが、例えば、マウス等の入力部７２やタッチパネル６３を操作することにより、終了位置設定部１０２をポインタで指示した状態でマウスをドラッグしてプレビューウインドウＰＷ上での位置を変更することにより、合成対象の終了位置が変更される。合成対象の終了位置は、撮影範囲の上限位置から開始位置までの任意の位置に設定可能である。
【００５７】
初期状態では、図４Ａに示すように、開始位置設定部１０１及び終了位置設定部１０２は、コントラスト表示領域ＣＳの下限位置及び上限位置に設定されており、撮影範囲と同一の範囲を指定している。すなわち、この状態では、撮影した全ての画像を使用して合成を行う。この状態から、例えば、図４Ｂに示すように、開始位置設定部１０１を上方に移動させて合成対象を変更すると、当該変更した合成対象に含まれる画像を用いて合成したプレビュー画像が第２の表示領域ＰＳ２に表示される。図４Ｂに示す例では、ステージ２１上面のテクスチャに相当するコントラスト成分を合成対象から外しているので、第２の表示領域ＰＳ２に表示される画像から、ステージ２１上面のテクスチャが消失している。
【００５８】
開始位置設定部１０１及び終了位置設定部１０２を移動することにより、合成対象の開始位置及び終了位置が変更され、当該変更後の合成対象に含まれる画像を用いて合成したプレビュー画像が第２の表示領域ＰＳ２に表示される。ユーザは第２の表示領域ＰＳ２に表示されるプレビュー画像を確認して、合成対象を決定することができる。合成対象の決定は、ＯＫボタン１０３を入力部７２でクリックするかその領域上のタッチパネル６３を操作することにより行われる。
【００５９】
なお、開始位置設定部１０１及び終了位置設定部１０２は、図４Ａ及び図４Ｂに示すような形態に限らず、合成対象の開始位置及び終了位置をそれぞれ独立して任意の位置に設定可能なものであればどのようなものであってもよい。例えば、合成対象の開始位置及び終了位置を数値により設定可能としてもよい。その場合には、開始位置及び終了位置を撮影画像のフレーム数（撮影開始から何番目の画像であるか等）や、ステージからの距離（高さ）等を指定するようにしてもよい。また、複数の開始位置及び終了位置を設定して、複数の非連続な領域を合成対象として設定できるようにしてもよい。さらに、開始位置と終了位置を同一として、１フレームの画像のみを合成対象として指定することも可能である。なお、プレビューウインドウＰＷにおいて、第１の表示領域ＰＳ１は省略可能である。
【００６０】
図５は、本発明の実施の形態１にかかる制御部が実行する画像合成処理を表すフローチャートである。この画像合成処理を行うにあたっては、事前準備として、ステージ２１の標本載置面に、標本Ｓを載置しておく。この画像合成処理は、ユーザによる拡張焦点画像の生成指示により開始される。
【００６１】
ステップＳ１０１では、制御部７４が、撮影画像の撮影枚数を表すカウンタ「Ｎ」を初期化して「１」とする。
【００６２】
ステップＳ１０２では、制御部７４が、Ｚ駆動部２７を駆動して、指定された下限位置（撮影範囲の下限位置）までヘッド保持部２７１（対物レンズ２４）をｚ方向に移動させる。撮影範囲は、このステップＳ１０２で指定するようにしてもよいし、予め指定しておくようにしてもよい。撮影範囲の設定は、上下端をそれぞれ設定するようにしてもよいし、現在のｚ位置からの上端または下端のいずれかを設定するようにしてもよい。また、撮影スタートの後、ユーザがマニュアルでｚ方向を所望範囲のみ動かすことにより指定してもよい。
【００６３】
ステップＳ１０３では、制御部７４が、撮像装置４を駆動し、現在のｚ位置において静止画像を撮影させ、Ｎ番目画像としてメモリ（画像データ記憶部７３１）に記憶する。その後、ステップＳ１０４で、制御部７４が現在のｚ位置を撮影範囲の上限位置であるか否かを判断する。制御部７４が現在のｚ位置が撮影範囲の上限位置であると判断した場合（ステップＳ１０４：Ｙｅｓ）は、撮像装置４による撮影を終了し、ステップＳ１０５に進む。制御部７４が現在のｚ位置を撮影範囲の上限位置ではないと判断した場合（ステップＳ１０４：Ｎｏ）は、ステップＳ１１３に進む。このステップＳ１０３と、後述するステップＳ１１３及びＳ１１４の処理を、制御部７４が現在のｚ位置が撮影範囲の上限位置であると判断するまで繰り返すことにより、ステージ２１と対物レンズ２４との距離が異なる複数の位置での標本Ｓの撮影が行われる。
【００６４】
ステップＳ１０５では、制御部７４が、プレビュー画像指定エリアとして、第１の表示領域ＰＳ１と第２の表示領域ＰＳ２を指定する。プレビュー画像指定エリアとは、後述するステップＳ１０７で生成する拡張焦点画像を表示するための領域である。プレビュー画像指定エリアとして、第１の表示領域ＰＳ１と第２の表示領域ＰＳ２の双方が指定されることにより、初期状態では、第１の表示領域ＰＳ１と第２の表示領域ＰＳ２に同じ画像が表示される。
【００６５】
ステップＳ１０６では、制御部７４が、合成に使用する撮影画像（合成対象）として、１〜Ｎ番目の画像を指定（全指定）する。初期状態では、撮像装置４により撮影された全画像を用いて合成を行うように設定されている。なお、このステップＳ１０６で全指定に代えて、予め設定した範囲の画像を指定するようにしてもよい。
【００６６】
ステップＳ１０７では、制御部７４が、ステップＳ１０６または後述するステップＳ１０６で設定された合成対象の中で、撮影された画像中の各領域において最も高いコントラストを持つ部分を抽出して拡張焦点画像（プレビュー画像）を生成する。
【００６７】
ステップＳ１０８では、制御部７４が、ステップＳ１０５または後述するステップＳ１１５で指定したプレビュー画像指定エリアに、ステップＳ１０７で生成した拡張焦点画像をサムネイル表示（プレビュー画像を表示）する。
【００６８】
ステップＳ１０９では、制御部７４が、合成対象が変更されたか否かを判断する。制御部７４が、合成対象が変更されたと判断した場合（ステップＳ１０９：Ｙｅｓ）は、ステップＳ１１５に進み、変更されていないと判断した場合（ステップＳ１０９：Ｎｏ）は、ステップＳ１１０に進む。
【００６９】
ステップＳ１１０では、制御部７４が、決定指示部（ＯＫボタン）１０３が操作されたか否かを判断する。制御部７４が、決定指示部（ＯＫボタン）１０３が操作されたと判断した場合（ステップＳ１１０：Ｙｅｓ）は、ステップＳ１１１に進み、操作されていないと判断した場合（ステップＳ１１０：Ｎｏ）は、ステップＳ１０９に戻る。
【００７０】
ステップＳ１１１では、制御部７４が、ステップＳ１０６または後述するステップＳ１１６で設定された合成対象の中で、撮影された画像中の各領域において最も高いコントラストを持つ部分を抽出して最終的な拡張焦点画像を生成し、画像データ記憶部７３１等のメモリに記憶する。
【００７１】
ステップＳ１１２では、制御部７４が、ステップＳ１０３で記憶した撮影画像を画像データ記憶部７３１等のメモリから消去して、画像合成処理を終了する。
【００７２】
ステップＳ１１３では、制御部７４が、カウンタ「Ｎ」をインクリメントして「Ｎ＋１」とする。ステップＳ１１４では、制御部７４が、Ｚ駆動部２７を駆動して、ヘッド保持部２７１（対物レンズ２４）を所定間隔にて上方にｚ移動させる。ここでの所定間隔は、例えば、数μｍ〜数百μｍである。その後、ステップＳ１０３に進む。
【００７３】
ステップＳ１１５では、制御部７４が、プレビュー画像指定エリアとして、第２の表示領域ＰＳ２を指定する。プレビュー画像指定エリアとして、第２の表示領域ＰＳ２のみが指定されることにより、第２の表示領域ＰＳ２に合成対象変更後のプレビュー画像がサムネイル表示される。
【００７４】
ステップＳ１１６では、制御部７４が、ステップＳ１０９で変更された合成対象をステップＳ１０７及びステップＳ１１１で拡張焦点画像を生成するための合成対象として設定する。その後、ステップＳ１０７に戻る。
【００７５】
以上、本発明の実施の形態１によれば、撮影範囲に基づき複数の位置で標本Ｓを撮影した後に、プレビューウインドウＰＷに表示されるプレビュー画像をみながら、拡張焦点画像の合成に使用する画像を合成対象として指定することができる。よって、最終的な拡張焦点画像に写したくない画像を簡単に除外することが可能となる。
【００７６】
具体的には、プレビューウインドウＰＷで確認しながら、標本Ｓを載置したステージ２１上面のテクスチャ等を簡単に拡張焦点画像から除外することが可能となる。また、一部が基材に埋め込まれた標本等を撮影する場合に、基材の写りこみを簡単に回避することができる。さらに、例えば、ドーナツ状に穴が開いた標本を撮影する場合にも、穴から露出するステージ２１上面のテクスチャを拡張焦点画像から簡単に除外することが可能となる。
【００７７】
また、本発明の実施の形態１によれば、撮影範囲ではなく、撮影した複数画像のうちから合成に使用する画像を合成対象として選択し、合成対象を変更することにより、拡張焦点画像に含まれるテクスチャを変更している。したがって、撮影のやり直しをすることなく、拡張焦点画像に含まれるテクスチャを変更することができる。
【００７８】
なお、上述の実施の形態１では、撮影した複数画像を用いて拡張焦点画像のみを合成したが、拡張焦点画像の変わりに３Ｄ画像を合成することも可能である。この場合は、図５のステップＳ１０７及びステップＳ１１１において、制御部７４が、ステップＳ１０６または後述するステップＳ１１６で設定された合成対象内で撮影された画像を用いて３Ｄ画像を生成する。
【００７９】
（実施の形態２）
図６は、本発明の実施の形態２にかかる顕微鏡システムの表示入力部が表示するプレビューウインドウの一例を表す平面図である。この実施の形態２による顕微鏡システム１の説明においては、実施の形態１による顕微鏡システム１と同一の構成要素については同一の符号を付して、その詳細な説明は省略する。
【００８０】
この実施の形態２では、拡張焦点画像を合成するための各画像における特性値（コントラスト値等）に閾値ＴＨを設け、閾値ＴＨ以下（または以上）の特性値を持つテクスチャを拡張焦点画像から除外する。図６に示すプレビューウインドウＰＷａでは、この閾値ＴＨを設定するための閾値設定部１０４が、コントラスト表示領域ＣＳの上辺に水平方向に移動可能に設けられている。それ以外のプレビューウインドウＰＷａの構成は図４Ａに示す実施の形態１のプレビューウインドウＰＷと同様である。
【００８１】
閾値設定部１０４は、合成対象における各画像の特性値（コントラスト値等）の閾値ＴＨを設定する。ユーザが、例えば、マウス等の入力部７２やタッチパネル６３を操作することにより、閾値設定部１０４をドラッグしてプレビューウインドウＰＷａ上での位置を変更することにより、閾値ＴＨが変更される。
【００８２】
初期状態では、閾値ＴＨは「０」（コントラスト表示領域ＣＳの右端）に設定されており、合成対象に含まれる画像は閾値ＴＨに係らず利用される。この状態から、例えば、図６に示すように、閾値設定部１０４を図中左方向（高コントラスト方向）に移動させて閾値ＴＨを変更すると、当該変更した閾値ＴＨ以下の特性値を持つテクスチャを除外して合成したプレビュー画像が第２の表示領域ＰＳ２に表示される。閾値ＴＨ及び合成対象の決定は、ＯＫボタン１０３を入力部７２やタッチパネル６３で操作することにより行なわれる。なお、この例では、閾値ＴＨ以下の特性値を持つテクスチャを所定色（図中網掛けで示す）で補完している。
【００８３】
なお、閾値設定部１０４は、図６に示すような形態に限らず、閾値ＴＨを任意の値に設定可能なものであればどのようなものであってもよい。例えば、閾値ＴＨを数値により直接入力可能としてもよい。また、実施の形態１同様、第１の表示領域ＰＳ１は省略可能である。
【００８４】
図７は、本発明の実施の形態２にかかる制御部が実行する画像合成処理を表すフローチャートである。
【００８５】
ステップＳ２０１からステップＳ２０６までの処理は図５に示すステップＳ１０１からステップＳ１０６と同様の処理である。また、ステップＳ２１６からステップＳ２１９までの処理も図５に示すステップＳ１１３からステップＳ１１６と同様の処理である。
【００８６】
ステップＳ２０７では、制御部７４が、閾値ＴＨを初期化して「０」とする。
【００８７】
ステップＳ２０８では、制御部７４が、設定された合成対象の中で、撮影された画像中の各領域において、ステップＳ２０７またはステップＳ２２０で設定された閾値ＴＨ以上のコントラストで、最も高いコントラストを持つ部分を抽出して拡張焦点画像（プレビュー画像）を生成する。
【００８８】
ステップＳ２０９では、制御部７４が、ステップＳ２０８で生成した拡張焦点画像（プレビュー画像）において、ステップＳ２２０で設定された閾値ＴＨを上回らなかった領域を所定色またはテクスチャで補完する。
【００８９】
ステップＳ２１０では、制御部７４が、ステップＳ２０５または後述するステップＳ２１８で指定したプレビュー画像指定エリアに、ステップＳ２０８で生成した（又はステップＳ２０８で生成しステップＳ２０９で閾値ＴＨを上回らなかった領域が所定色で塗りつぶされた）拡張焦点画像をサムネイル表示（プレビュー画像を表示）する。
【００９０】
ステップＳ２１１では、制御部７４が、合成対象が変更されたか否かを判断する。制御部７４が、合成対象が変更されたと判断した場合（ステップＳ２１１：Ｙｅｓ）は、ステップＳ２１８に進み、変更されていないと判断した場合（ステップＳ２１１：Ｎｏ）は、ステップＳ２１２に進む。
【００９１】
ステップＳ２１２では、制御部７４が、閾値ＴＨが変更されたか否かを判断する。制御部７４が、閾値ＴＨが変更されたと判断した場合（ステップＳ２１２：Ｙｅｓ）は、ステップＳ２２０に進み、変更されていないと判断した場合（ステップＳ２１２：Ｎｏ）は、ステップＳ２１３に進む。
【００９２】
ステップＳ２１３では、制御部７４が、決定指示部（ＯＫボタン）１０３が操作されたか否かを判断する。制御部７４が、決定指示部（ＯＫボタン）１０３が操作されたと判断した場合（ステップＳ２１３：Ｙｅｓ）は、ステップＳ２１４に進み、操作されていないと判断した場合（ステップＳ２１３：Ｎｏ）は、ステップＳ２１１に戻る。
【００９３】
ステップＳ２１４では、制御部７４が、ステップＳ２０６または後述するステップＳ２１９で設定された合成対象内で撮影された画像中の各領域において、ステップＳ２０７またはステップＳ２２０で設定された閾値ＴＨ以上のコントラストで、最も高いコントラストを持つ部分を抽出して最終的な拡張焦点画像を生成する。また、必要に応じて生成した拡張焦点画像において、ステップＳ２２０で設定された閾値ＴＨを上回らなかった領域を所定色またはテクスチャで補完することにより、最終的な拡張焦点画像を生成する。制御部７４は、生成した最終的な拡張焦点画像を画像データ記憶部７３１等のメモリに記憶する。
【００９４】
ステップＳ２１５では、制御部７４が、ステップＳ２０３で記憶した撮影画像を画像データ記憶部７３１等のメモリから消去して、画像合成処理を終了する。
【００９５】
ステップＳ２２０では、制御部７４が、ステップＳ２１２で変更された合成対象をステップＳ２０８、ステップＳ２０９及びステップＳ２１４で拡張焦点画像を生成するための閾値ＴＨとして設定する。その後、ステップS２０８に戻る。
【００９６】
なお、上述のステップＳ２０９の処理は省略可能である。その場合には、ステップＳ２１４で生成する最終的な拡張焦点画像においても、ステップＳ２２０で設定された閾値ＴＨを上回らなかった領域に対する所定色による塗りつぶし等の処理は行わない。
【００９７】
以上、本発明の実施の形態２によれば、実施の形態１と同様に、撮影範囲に基づき複数の位置で標本Ｓを撮影した後に、プレビューウインドウＰＷａに表示されるプレビュー画像を見ながら、拡張焦点画像の合成に使用する画像を合成対象として指定することができる。よって、最終的な拡張焦点画像に写したくない画像を簡単に除外することが可能となる。
【００９８】
上述の実施の形態１に加えて、本発明の実施の形態２によれば、拡張焦点画像を合成するための各画像における特性値（コントラスト値等）に閾値ＴＨを設け、閾値ＴＨ以下の特性値を持つテクスチャを拡張焦点画像から除外することができる。また、閾値ＴＨを上回らなかった領域を所定色で塗りつぶすことができる。よって、注目したい部位の画像を闡明に抽出することができる。
【００９９】
なお、上述の実施の形態２では、撮影した複数画像を用いて拡張焦点画像のみを合成したが、実施の形態１と同様に、拡張焦点画像の変わりに３Ｄ画像を合成することも可能である。この場合は、図７のステップＳ２０８及びステップＳ２１４において、制御部７４が、設定された合成対象内で撮影された画像を用いて３Ｄ画像を生成する。
【０１００】
また、上述の実施の形態２では、閾値設定部１０４を操作することにより手動で閾値ＴＨを設定・変更するようにしたが、閾値ＴＨを合成対象内における特性値（コントラスト等）の最大値や平均値に基づき自動的に設定するようにしてもよい。その場合には、図７のステップＳ２０７及びステップＳ２１２において閾値ＴＨを自動設定する。
【符号の説明】
【０１０１】
１  顕微鏡システム
２  顕微鏡装置
２ａ  顕微鏡基部
２ｂ  ヘッド部
３  顕微鏡制御部
４  撮像装置
５  撮像制御部
６  表示入力部
７  制御端末
２１  ステージ
２２  支持部
２３  ノーズピース
２４  対物レンズ
２５  ヘッド本体部
２６  落射照明用光源
２７  Ｚ駆動部
４１  撮像素子
５１  ＡＥ処理部
６１  表示通信部
６２  表示部
６３  タッチパネル
７１  制御通信部
７２  入力部
７３  記憶部
７４  制御部
２１１，２３２，２７４  モータ
２５１  照明レンズ
２５２  ハーフミラー
２５３  ズームレンズ部
２５４  結像レンズ
２７１  ヘッド保持部
７３１  画像データ記憶部
７３２  位置情報記憶部
７４１  画像処理部
７４２  駆動制御部
７４３  表示制御部
７４４  ＡＦ処理部 
【図１】
2014232166.tif 000003
【図２】
2014232166.tif 000004
【図３Ａ】
2014232166.tif 000005
【図３Ｂ】
2014232166.tif 000006
【図３Ｃ】
2014232166.tif 000007
【図４Ａ】
2014232166.tif 000008
【図４Ｂ】
2014232166.tif 000009
【図５】
2014232166.tif 000010
【図６】
2014232166.tif 000011
【図７】
2014232166.tif 000012