(57)【要約】【課題】リアルタイムデータを用いたデータ処理を信頼性高く実現可能とする。【解決手段】画像取得手段で取得した画像データに関する情報を設定データとして、画像データに付加する設定情報付加手段と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送するための同期転送手段と、画像データ以外の設定情報を、拡大観察装置からコンピュータに非同期転送するための非同期転送手段とを備える拡大画像観察装置と、同期転送手段及び非同期転送とデータ通信を行うための通信手段と、同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、データ解読手段で解読された画像データを表示可能な表示手段４と、必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段とを備えるコンピュータとを有する。【選択図】図１
2008090072.tif 000002
【特許請求の範囲】
【請求項１】
拡大観察装置と、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、
測定対象物の画像を取得するための画像取得手段と、
前記画像取得手段で取得した画像データに関する情報を設定データとして、画像データに付加する設定情報付加手段と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送するための同期転送手段と、
画像データ以外の設定情報を、拡大観察装置からコンピュータに非同期転送するための非同期転送手段と、
を備える拡大画像観察装置と、
前記同期転送手段及び非同期転送とデータ通信を行うための通信手段と、
前記同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、
前記データ解読手段で解読された画像データを表示可能な表示手段と、
必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段と、
を備えるコンピュータと、
を有することを特徴とする拡大観察装置システム。
【請求項２】
共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて前記測定対象物の表面の高さ情報及び光量情報を取得し、前記測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡と、前記共焦点顕微鏡とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、
各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、
前記共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、
測定対象物を載置するステージと、
前記ステージに載置された測定対象物と、前記共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、
前記非共焦点光学系で撮像された非共焦点画像、又は前記共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、
画像データに設定データが付加された転送データを、共焦点顕微鏡からコンピュータに同期転送するための同期転送手段と、
画像データ以外の設定情報を、共焦点顕微鏡からコンピュータに非同期転送するための非同期転送手段と、
を備える共焦点顕微鏡と、
前記同期転送手段及び非同期転送とデータ通信を行うための通信手段と、
前記同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、
前記データ解読手段で解読された画像データである、前記非共焦点光学系で撮像された非共焦点画像、及び／又は前記共焦点光学系で撮像された共焦点画像を表示するための表示手段と、
必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段と、
を備えるコンピュータと、
を有することを特徴とする拡大観察装置システム。
【請求項３】
請求項１又は２に記載の拡大観察装置システムであって、
前記画像データに関する情報が、画像データを撮像した前記画像取得手段の種別、撮像時の測定対象物と前記画像取得手段との相対距離、撮像時の照明色情報、拡大倍率、撮像条件、転送される画像データの転送画像枚数、通し番号の少なくともいずれかを含むことを特徴とする拡大観察装置システム。
【請求項４】
請求項１から３のいずれか一に記載の拡大観察装置システムであって、
前記設定データに含める情報を、複数の候補群を提示し、対話形式でユーザに選択させることを特徴とする拡大観察装置システム。
【請求項５】
請求項１から４のいずれか一に記載の拡大観察装置システムであって、
前記演算手段が、複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成することを特徴とする拡大観察装置システム。
【請求項６】
請求項１から５のいずれか一に記載の拡大観察装置システムであって、さらに、
前記画像取得手段と測定対象物との間に光軸を一致させて配置され、測定対象物を拡大観察するための所定の倍率を有する対物レンズと、
前記対物レンズと測定対象物との相対距離を検出する距離検出手段を備えることを特徴とする拡大観察装置システム。
【請求項７】
請求項１、又は請求項３から６のいずれか一に記載の拡大観察装置システムであって、
前記画像取得手段が、マイクロスコープ若しくは原子間力顕微鏡であることを特徴とする拡大観察装置システム。
【請求項８】
共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて前記測定対象物の表面の高さ情報及び光量情報を取得し、前記測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡であって、
各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、
前記共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、
測定対象物を載置するステージと、
前記ステージに載置された測定対象物と、前記共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、
前記非共焦点光学系で撮像された非共焦点画像、又は前記共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、
画像データに設定データが付加された転送データを、外部接続されるコンピュータに同期転送するための同期転送手段と、
画像データ以外の設定情報をコンピュータに非同期転送するための非同期転送手段と、
を備えることを特徴とする共焦点顕微鏡。
【請求項９】
拡大観察装置と、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送する画像データ転送方法であって、
拡大観察装置で測定対象物の画像を取得する工程と、
拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、
抽出された画像データを、表示手段に表示する工程と、
必要に応じて、画像データ及び設定データに基づく演算を実行する工程と、
を含むことを特徴とする画像データ転送方法。
【請求項１０】
拡大観察装置で撮像した複数の画像データを、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成方法であって、
拡大観察装置で測定対象物の画像を取得する工程と、
少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、
抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する工程と、
を含むことを特徴とする３次元合焦点画像生成方法。
【請求項１１】
拡大観察装置と、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送するデータ転送プログラムであって、
拡大観察装置で測定対象物の画像を取得する機能と、
拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、
抽出された画像データを、表示手段に表示する機能と、
必要に応じて、画像データ及び設定データに基づく演算を実行する機能と、
をコンピュータに実現させることを特徴とするデータ転送プログラム。
【請求項１２】
拡大観察装置で撮像した複数の画像データを、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成プログラムであって、
拡大観察装置で測定対象物の画像を取得する機能と、
少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、
抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する機能と、
をコンピュータに実現させることを特徴とする３次元合焦点画像生成プログラム。
【請求項１３】
請求項１１又は１２に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、共焦点顕微鏡などの拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。
【背景技術】
【０００２】
電子顕微鏡を含めた観察用顕微鏡、測定用顕微鏡、マイクロスコープ等、各種顕微鏡や画像観察装置等の拡大観察装置においては、通信機能を備えるコントローラを外部のコンピュータと接続し、コンピュータ側で拡大観察装置の設定や操作を行ったり、また測定された画像データをコンピュータに取り込み、コンピュータにインストールされた拡大観察装置操作プログラムや専用のハードウェアで処理し、コンピュータに接続されたモニタ等の表示手段で表示することが行われている。このように、測定対象物である試料やワークの観察画像を、コントローラを経由してコンピュータのモニタでリアルタイムに表示できる拡大観察装置では、設定データの転送に加えて、観察画像データをコントローラからコンピュータにリアルタイムで転送する必要がある。
【０００３】
近年のコンピュータシステムでは一般的なＩＥＥＥ１３９４やＵＳＢ等の通信規格には、リアルタイムに大量のデータを高速に転送できる転送方式として、同期転送（アイソクロナス転送）が多くの拡大観察装置のデータ転送に採用されている。同期転送とは、パケットデータを一定周期で転送する方式であり、一定の伝送バンド幅、すなわちデータ転送のための時間が確保されている。この転送方式は、他の転送方式よりも優先度が高く、リアルタイム性が保証されているため、連続的に転送されるストリームデータの転送に利用される。しかしながら、再送手順を持たず、転送データが保証されないという欠点も有する。
【０００４】
一方、アイソクロナス転送以外の非同期転送（アシンクロナス転送）では、転送データの再送手順を有し、不達時に送信のリトライを試みるなど、転送データが保証されている。しかしながらこの方式では通信時間の保証が無く、リアルタイム性が保証されていない。このため所定時間内にデータを送れるかどうかが不確実であり、またいつデータが転送されるかを知ることができない。
【０００５】
実際の拡大観察装置とコンピュータ間のデータ通信では、同期転送と非同期転送の転送方式が混在している。すなわち、ストリームデータである観察画像には同期転送が、コンピュータとコントローラ間のコマンド通信には非同期転送（ＩＥＥＥ１３９４）やコントロール転送（ＵＳＢ）が主に利用されている。
【特許文献１】特開２００２−３０３７９６号公報
【特許文献２】特開２００１−０９１８４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような同期転送と非同期転送の混在方法では、転送される連続データの状態変更を識別できないという問題があった。例えば、共焦点顕微鏡のコントローラとコンピュータとの間で、ストリームデータである画像データを同期転送で、設定情報を非同期転送で通信する場合を考える。この場合において、共焦点顕微鏡が備えるＣＣＤカメラの露光時間の変更や、複数のカメラが接続されている場合のカメラ画像の切替など、画像データ（ストリームデータ）の状態や内容が変更された場合、コントローラからコンピュータにこのような変更を通知する設定情報の通信は非同期通信で行われる。この結果、データを受信するコンピュータ側では、画像データを連続的に受信する一方で、いつどの時点で画像データの内容が切り替わったのかを認識できない。このため、画像データが切り替わる間に、一旦画像データの転送を止めたり、データを受信するコンピュータ側で切り替えに必要な時間よりも十分な時間だけ待った後、データを取得する等の対策が行われていた。しかしながら、このような方法では画像データが切り替わるタイミングを正確に把握することは不可能であり、画像データを切り替えるときには一旦転送を止めたり十分な時間を待つなど、時間がかかるという問題があった。
【０００７】
また、フレーム落ちを把握できないという問題もある。例えば、コンピュータ側のＯＳが不安定になったり、外部ノイズによるデータ欠落などにより、コントローラ側が転送したフレーム数よりもコンピュータ側が受信するフレーム数が少ない、いわゆるフレーム落ち現象が発生した場合、フレーム落ちの有無やどのタイミングでフレーム落ちが発生したかを、コンピュータ側で把握することは不可能である。このため、動画の録画など、コンピュータ側で受信したストリームデータを時間的に連続して保存する動作や、前後の画像データと比較して焦点が合った部分だけを演算しながらリアルタイムに画像合成する、いわゆるリアルタイム深度合成の場合は、フレーム落ちが生じても、そのような認識や対策ができないのが現状である。
【０００８】
さらに、このような問題に対処するために、同期転送される画像データの送信に合わせて非同期通信で設定情報を転送することも考えられる。しかしながらこの方法では、非同期通信を行いたいタイミングで必ずデータ転送が成功するという保証がなく、信頼性を欠くという問題がある。すなわち、同期転送と非同期転送のデータを関連付ける、あるいは同期させることは現実には不可能であった。またフレーム落ちが発生したときに、画像データが転送されないのに設定情報だけが転送されてしまうといった状態が発生する虞もある。
【０００９】
本発明は、このような問題点を解決するためになされたものである。本発明の主な目的は、リアルタイムデータを用いたデータ処理を信頼性高く実現可能な拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。
【課題を解決するための手段及び発明の効果】
【００１０】
以上の目的を達成するために本発明の第１の拡大画像観察システムは、拡大観察装置と、拡大観察装置とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、測定対象物の画像を取得するための画像取得手段と、画像取得手段で取得した画像データに関する情報を設定データとして、画像データに付加する設定情報付加手段と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送するための同期転送手段と、画像データ以外の設定情報を、拡大観察装置からコンピュータに非同期転送するための非同期転送手段とを備える拡大画像観察装置と、同期転送手段及び非同期転送とデータ通信を行うための通信手段と、同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、データ解読手段で解読された画像データを表示可能な表示手段と、必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段とを備えるコンピュータとを有することができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。
【００１１】
第２の拡大画像観察システムは、共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて測定対象物の表面の高さ情報及び光量情報を取得し、測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡と、共焦点顕微鏡とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、測定対象物を載置するステージと、ステージに載置された測定対象物と、共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、非共焦点光学系で撮像された非共焦点画像、又は共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、画像データに設定データが付加された転送データを、共焦点顕微鏡からコンピュータに同期転送するための同期転送手段と、画像データ以外の設定情報を、共焦点顕微鏡からコンピュータに非同期転送するための非同期転送手段とを備える共焦点顕微鏡と、同期転送手段及び非同期転送とデータ通信を行うための通信手段と、同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、データ解読手段で解読された画像データである、非共焦点光学系で撮像された非共焦点画像、及び／又は共焦点光学系で撮像された共焦点画像を表示するための表示手段と、必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段とを備えるコンピュータとを有することができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。
【００１２】
第３の拡大画像観察システムは、画像データに関する情報が、画像データを撮像した画像取得手段の種別、撮像時の測定対象物と画像取得手段との相対距離、撮像時の照明色情報、拡大倍率、撮像条件、転送される画像データの転送画像枚数、通し番号の少なくともいずれかを含むことができる。
【００１３】
第４の拡大画像観察システムは、設定データに含める情報を、複数の候補群を提示し、対話形式でユーザに選択させることができる。
【００１４】
第５の拡大画像観察システムは、演算手段が、複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成することができる。これにより、従来困難であったコンピュータ側での３次元の画像合成が可能となる。特に、専用の画像合成用のハードウェアを共焦点顕微鏡側に設けることなく、画像データとその高さ情報を併せて同期転送で転送することにより、確実にコンピュータ側で受信でき、必要なデータを欠落することなくシンプルな構造で画像構築を行える。
【００１５】
第６の拡大画像観察システムはさらに、画像取得手段と測定対象物との間に光軸を一致させて配置され、測定対象物を拡大観察するための所定の倍率を有する対物レンズと、対物レンズと測定対象物との相対距離を検出する距離検出手段を備えることができる。これにより、複数の画像データの高さ方向をコンピュータ側で正確に把握できるので、コンピュータ側での３Ｄ画像の構築等が可能となる。
【００１６】
第７の拡大画像観察システムは、画像取得手段を、マイクロスコープ若しくは原子間力顕微鏡とできる。
【００１７】
第８の共焦点顕微鏡は、共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて測定対象物の表面の高さ情報及び光量情報を取得し、測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡であって、各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、測定対象物を載置するステージと、ステージに載置された測定対象物と、共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、非共焦点光学系で撮像された非共焦点画像、又は共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、画像データに設定データが付加された転送データを、外部接続されるコンピュータに同期転送するための同期転送手段と、画像データ以外の設定情報をコンピュータに非同期転送するための非同期転送手段とを備えることができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。
【００１８】
第９の画像データ転送方法は、拡大観察装置と、拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送する画像データ転送方法であって、拡大観察装置で測定対象物の画像を取得する工程と、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、抽出された画像データを、表示手段に表示する工程と、必要に応じて、画像データ及び設定データに基づく演算を実行する工程とを含むことができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。
【００１９】
第１０の３次元合焦点画像生成方法は、拡大観察装置で撮像した複数の画像データを、拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成方法であって、拡大観察装置で測定対象物の画像を取得する工程と、少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する工程とを含むことができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に複数の画像を合成した３次元の合焦点画像を生成できる。
【００２０】
第１１のデータ転送プログラムは、拡大観察装置と、拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送するデータ転送プログラムであって、拡大観察装置で測定対象物の画像を取得する機能と、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、抽出された画像データを、表示手段に表示する機能と、必要に応じて、画像データ及び設定データに基づく演算を実行する機能とをコンピュータに実現させることができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。
【００２１】
第１２の３次元合焦点画像生成プログラムは、拡大観察装置で撮像した複数の画像データを、拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成プログラムであって、拡大観察装置で測定対象物の画像を取得する機能と、少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する機能とをコンピュータに実現させることができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に複数の画像を合成した３次元の合焦点画像を生成できる。
【００２２】
第１３のプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ  ＤＶＤ等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明は拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
【００２４】
以下、拡大観察装置の一例として、共焦点顕微鏡を説明する。なお、画像データの転送を行う拡大観察装置は、共焦点顕微鏡に限られず、他の顕微鏡やデジタルマイクロスコープも利用できる。例えばＳＥＭ、ＴＥＭその他の荷電粒子線装置等の電子顕微鏡や光学顕微鏡、原子間力顕微鏡、静電気力顕微鏡、近視野顕微鏡等に適用することもできる。
（実施の形態１）
【００２５】
共焦点顕微鏡はレーザ光を使用して測定対象物の表面を走査することから、共焦点レーザ顕微鏡、共焦点走査型顕微鏡等とも呼ばれる。また共焦点顕微鏡で得られる共焦点画像はレーザ画像とも呼ばれる。共焦点顕微鏡では、試料やワーク等の測定対象物からの光が共焦点光学系を介して受光素子で受光され、その受光量に基づいて、試料の超深度画像（焦点深度が非常に深い画像）や高さ分布等の情報が取得される。ステージに載置された試料と対物レンズとの相対距離を光軸方向に変化させると、共焦点光学系を介して受光素子に入射する光の量、すなわち受光量が変化し、試料の表面にピントが合ったときに受光量が最大となる。したがって、最大受光量が得られるときの試料と対物レンズとの相対距離から試料の表面の高さ情報を算出し、試料の表面を光で走査することによって試料の表面の高さ分布を取得することができる。
【００２６】
取得された高さ分布は、例えば三次元表示によって表示装置の画面上に表示される。あるいは、高さ分布を輝度分布や色分布に置き換えたものが画面上に表示される。表示装置としてＣＲＴ（陰極線管）やＬＣＤ（液晶表示装置）が使用され、共焦点顕微鏡に制御用のコントローラ、表示装置、コンソール等が接続されて共焦点顕微鏡が構成される。
【００２７】
また、試料表面の各点（画素）でピントが合ったときの受光量の情報（すなわち各画素の最大輝度情報）をつなぎ合わせることにより、焦点深度の非常に深い試料表面の白黒画像を得ることができる。この画像がいわゆる超深度画像である。
【００２８】
更に、白色光で照射された試料からの光を共焦点光学系から分離してカラー撮像素子で受光することにより、超深度画像と同じ範囲の試料表面のカラー画像を得ることができる。このカラー画像は超深度画像と異なり焦点深度の浅いものであるが、高さ分布情報に基づいてカラー画像の合焦位置の画素データをつなぎ合わせることにより、非常に焦点深度の深いカラー画像（カラーピーク画像ということもある）、及びカラーピーク画像の輝度信号を超深度画像の輝度信号で置き換えるような合成処理を行うことにより、焦点深度の深いカラー画像を得ることも可能である。
【００２９】
このような本発明の実施の形態１に係る共焦点顕微鏡システムの概略構成を、図１に示す。また図２に、このシステム構成の外観斜視図、図３に共焦点顕微鏡本体の斜視図を、それぞれ示す。共焦点顕微鏡システム１００は、共焦点光学系１０及び非共焦点光学系５０を有する共焦点顕微鏡本体１と、共焦点光学系１０及び非共焦点光学系５０で得られたアナログ信号を各々デジタル信号に変換する第１Ａ／Ｄ変換器４１、第２Ａ／Ｄ変換器４２、及びデジタル信号の信号処理等を行う制御部４３等を含むコントローラ２と、コントローラ２に接続された操作手段３及び表示手段４とを備えている。また操作手段３には入力手段３Ａが接続されている。
【００３０】
まず、共焦点顕微鏡の共焦点光学系１０とその信号処理について説明する。共焦点光学系１０は、試料ＷＫに単色光（例えばレーザ光）を照射するための光源１１、第１コリメートレンズ１２、偏光ビームスプリッタ１３、１／４波長板１４、水平・垂直偏向装置１５、第１リレーレンズ（ｆθレンズ）１６、第２リレーレンズ（チューブレンズ）１７、対物レンズ１８、結像レンズ（ピンホールレンズ）１９、ピンホール板２０、受光素子２１等を含んでいる。
【００３１】
光源１１には、例えば紫色レーザ光や赤色レーザ光を発する半導体レーザが用いられる。光源１１はレーザ駆動回路によって駆動される。レーザ駆動回路は、コントローラ２の制御部４３によって制御される。光源１１から出たレーザ光は、第１コリメートレンズ１２を通り、偏光ビームスプリッタ１３で光路を曲げられ、１／４波長板１４を通過する。この後、水平・垂直偏向装置１５によって水平（横）方向及び垂直（縦）方向に偏向された後、第１リレーレンズ１６及び第２リレーレンズ１７を通過し、対物レンズ１８によってステージ３０上に置かれた試料ＷＫの表面に集光される。
【００３２】
水平・垂直偏向装置１５は、それぞれガルバノミラーで構成され、レーザ光を水平及び垂直方向に偏向させることにより、試料ＷＫの表面をレーザ光で走査する。説明の便宜上、水平方向をＸ方向、垂直方向をＹ方向ということにする。対物レンズ１８は、対物レンズ移動機構によりＺ方向（光軸方向）に駆動される。対物レンズ移動機構も、制御部４３によって制御される。これにより、対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対位置を変化させることができる。
【００３３】
なお、光による試料の走査は、水平偏向及び垂直偏向による二次元走査に限らず、種々の走査方法が考えられる。例えば、シリンドリカルレンズを用いてＸ方向に細長い光（スリット光）を生成し、これをＹ方向に偏向すれば、二次元走査が可能である。
【００３４】
また、対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対位置は、他の方法で変化させることもできる。例えば、対物レンズ１８をＺ軸方向に駆動する代わりに、或いはこれに加えてステージ３０をＺ軸方向に駆動してもよい。または、対物レンズ１８と試料ＷＫとの間に屈折率が変化するレンズを挿入することにより、対物レンズ１８の焦点をＺ軸方向に移動させる構成も可能である。
【００３５】
なお、ステージ３０は、手動操作によってもＸ、Ｙ方向及びＺ方向に変位可能である。本実施の形態では、ステージを手動で移動させるためのステージ手動操作機構３１を備えている。具体的には、図３に示すようにステージをＸ−Ｙ方向に移動させるＸ方向移動摘み３２及びＹ方向移動摘み３３、ステージをＺ方向に移動させるＺ方向移動摘み３４を設けている。Ｘ方向移動摘み３２及びＹ方向移動摘み３３は、摘みの回転を同軸として直径の異なるダイヤル状に構成しており、Ｘ−Ｙ方向の調整を纏めて行い易くしている。一方、Ｚ方向移動摘み３４は、移動量の大きいダイヤルと移動量の小さいダイヤルを同軸に並べており、これにより大まかなピント調整と、ピントの微調整を容易に行える。
【００３６】
試料ＷＫで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ１８、第２リレーレンズ１７及び第１リレーレンズ１６を通り、水平・垂直偏向装置１５を介して１／４波長板１４を再び通る。この結果、レーザ光は偏光ビームスプリッタ１３を透過し、結像レンズ１９によって集光される。集光されたレーザ光は、結像レンズ１９の焦点位置に配置されたピンホール板２０のピンホールを通過して受光素子２１に入射する。受光素子２１は、例えばフォトマルチプライヤチューブ（ＰＭＴ：光電子増倍管）やフォトダイオード（ＰＤ）で構成され、受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプ及びＰＭＴの受光感度（ＰＭＴゲイン）の制御回路を構成する第１受光信号処理回路２２を介して第１Ａ／Ｄ変換器４１に与えられ、デジタル値に変換される。またピンホール板２０はピンホールに代わってスリットを設けることもできる。スリットとＣＣＤ等の受光素子の組み合わせでも疑似的に共焦点画像を得ることができる。
【００３７】
上記のような構成の共焦点光学系１０により、試料ＷＫの高さ（深さ）情報を取得することができる。以下に、その原理を簡単に説明する。上述のように、対物レンズ１８が対物レンズ移動機構４０によってＺ方向（光軸方向）に駆動されると、対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対距離が変化する。そして、対物レンズ１８の焦点が試料ＷＫの表面に結ばれたときに、試料ＷＫの表面で反射されたレーザ光は上記の光路を経て結像レンズ１９で集光され、殆どのレーザ光がピンホール板２０のピンホールを通過する。したがって、このときに受光素子２１の受光量が最大になる。逆に、対物レンズ１８の焦点が試料ＷＫの表面からずれている状態では、結像レンズ１９によって集光されたレーザ光はピンホール板２０からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、受光素子２１の受光量は著しく低下する。
【００３８】
したがって、試料ＷＫの表面の任意の点について、対物レンズ１８をＺ方向（光軸方向）に駆動しながら受光素子２１の受光量を検出すれば、その受光量が最大になるときの対物レンズ１８のＺ方向位置（対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対位置）を高さ情報として一義的に求めることができる。
【００３９】
実際には、対物レンズ１８を１ステップ（１ピッチ）移動するたびに水平・垂直偏向装置１５によって試料ＷＫの表面を走査して受光素子２１の受光量を得る。対物レンズ１８を高さ方向の移動範囲の下端から上端までＺ方向に移動させたとき、走査範囲内の各点（画素）について、Ｚ方向位置に応じて変化する受光量データが得られる。
【００４０】
図４は、対物レンズ１８のＺ方向位置に応じて変化する受光量データの例を示すグラフである。このような受光量データに基づいて、最大受光量とそのときのＺ方向位置が各点（画素）毎に得られる。したがって、試料ＷＫの表面高さのＸＹ平面での分布が得られる。この処理は、操作手段３の外部コンピュータで実行される。
【００４１】
得られた表面高さの分布情報は、いくつかの方法で操作手段３の表示手段４に表示することができる。例えば３次元表示によって試料の高さ分布（表面形状）を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの二次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示することもできる。
【００４２】
また、ＸＹ走査範囲内の各点（画素）について得られた受光量を輝度データとする輝度信号から、試料ＷＫの表面画像（白黒画像）が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った焦点深度の非常に深い超深度画像が得られる。また、任意の注目画素で最大受光量が得られた高さ（Ｚ方向位置）に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。
（非共焦点光学系５０）
【００４３】
次に、共焦点顕微鏡に備えられた非共焦点光学系５０とその信号処理について説明する。非共焦点光学系５０は、試料ＷＫに白色光（カラー画像撮影用の照明光）を照射するための白色光源５１、第２コリメートレンズ（コンデンサレンズ）５２、第１ハーフミラー５３、第２ハーフミラー５４、第２受光素子５５等を含んでいる。また、非共焦点光学系５０は共焦点光学系１０の対物レンズ１８を共用しており、２つの光学系１０、５０の光軸は部分的に一致している。
【００４４】
白色光源５１には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光又は室内光を利用してもよい。白色光源５１から出た白色光は、第２コリメートレンズ５２を通り、第１ハーフミラー５３で光路を曲げられ、対物レンズ１８によってステージ３０上に置かれた試料ＷＫの表面に集光される。
【００４５】
試料ＷＫで反射された白色光は、対物レンズ１８、第１ハーフミラー５３、第２リレーレンズ１７を通過し、第２ハーフミラー５４で反射されて第２受光素子５５に入射して結像する。第２受光素子５５は、共焦点光学系１０のピンホール板２０のピンホールと共役又は共役に近い位置に設けられている。第２受光素子５５は、カラーＣＣＤやＣＭＯＳ等のイメージセンサ、エリアセンサが利用できる。第２受光素子５５で撮像されたカラーの光学画像（以下、「カメラ画像」という。）は、第２受光信号処理回路５６によって読み出され、そのアナログ出力信号は第２Ａ／Ｄ変換器４２に与えられ、デジタル値に変換される。このようにして得られたカメラ画像は、試料ＷＫの観察用の拡大カラー画像として操作手段３の表示手段４に表示される。
【００４６】
また、共焦点光学系１０で得られた超深度画像と非共焦点光学系５０で得られた通常のカメラ画像とを組み合わせて、すべての画素で略ピントの合った焦点深度の深いカラー超深度画像を生成し、表示することもできる。例えば、非共焦点光学系５０で得られたカメラ画像を構成する輝度信号を共焦点光学系１０で得られた超深度画像の輝度信号で置き換えることにより、簡単にカラー超深度画像を生成することができる。
【００４７】
上記のようなカメラ画像に関する処理についても、操作手段３が司る。操作手段３にはコンソール（操作卓）のような入力手段やＣＲＴ（陰極線管）、ＬＣＤ（液晶表示装置）のような表示手段４が接続されている。また、マウスのようなポインティングデバイスも入力手段として接続される。
【００４８】
また、共焦点顕微鏡システム１００のコントローラ２には、パーソナルコンピュータのような外部コンピュータシステムを接続するインターフェイスが備えられている。顕微鏡システム１００の制御を行なうための専用ソフトウェアをインストールした外部コンピュータシステムを操作手段３としてコントローラ２に接続することにより、取得された試料ＷＫの画像データから超深度画像やカラー超深度画像、高さ分布情報等を求めることができる。
（実施の形態２）
【００４９】
上記の実施の形態１では、白色光源５１と第２コリメートレンズ５２を使用して非共焦点画像を取得している。一方、この例に限られず、非共焦点光学系に白色光源等を使用せず、モノクロの非共焦点画像を得ることもできる。このような構成を採用した実施の形態２に係る共焦点顕微鏡システム２００のブロック図を図５に示す。この図において、図１と同じ部材については同じ番号を付して詳細説明を省略する。
【００５０】
図５の例では、非共焦点画像を取得するのに白色光源を使用せず、共焦点画像を取得するために使用するレーザ光源を、非共焦点画像を取得するためにも共用している。これにより、白色光源とコンデンサレンズを省略でき、光学系をコンパクトに設計することが可能となる。
【００５１】
また図１の例では、非共焦点光学系５０は第２リレーレンズ１７と対物レンズ１８との間に配置されているが、図５の例では非共焦点光学系５０を偏光ビームスプリッタ１３と結像レンズ１９の間に第２ハーフミラー５４を配置している。このように、非共焦点光学系５０を共焦点光学系１０、具体的には第２受光素子５５を受光素子２１に近付けて両者が利用する光学系を共用することで、二つの光学系の光軸合わせ、画像の位置合わせが不要となり、また、収差等の特性も一致するため両画像の不整合も実質起こらない。
【００５２】
これら実施の形態１、２の共焦点顕微鏡システム１００、２００では、共焦点顕微鏡本体１にコントローラ２に接続し、さらにコントローラ２に操作手段３として外部コンピュータを接続してデータ通信を行い、共焦点顕微鏡本体１で測定された共焦点画像やカメラ画像を外部コンピュータで取り込み、加工や処理を行うと共に、共焦点顕微鏡の設定や操作を外部コンピュータから行う。また外部コンピュータのモニタを、表示手段４として利用できる。外部コンピュータには、汎用のコンピュータを使用し、共焦点顕微鏡操作プログラムをインストールすることで、共焦点顕微鏡の操作装置として機能させることができる。なお、上記の例では共焦点顕微鏡本体とコントローラとを別部材としているが、これらを統合することもできる。あるいは、コントローラを操作手段と一体に構成してもよい。
【００５３】
操作手段３は、画像処理その他の演算を行う部材であり、好適には汎用コンピュータが利用できる。ここでは、操作手段３は外部から共焦点画像などの画像データを入力するための画像データ入力部４４と、各種の画像処理を行うための画像処理演算部４５と、画像データを表示手段４に表示させるための表示用画像生成部４６を備える。操作手段３として、共焦点顕微鏡操作プログラムをインストールしたコンピュータを使用することで、これら画像データ入力部４４、画像処理演算部４５、表示用画像生成部４６の機能をコンピュータに実現させることができる。
（共焦点顕微鏡操作プログラム）
【００５４】
本明細書において共焦点顕微鏡は、共焦点画像の測定や表示を行うシステムそのもの、ならびに共焦点画像測定や表示に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、スクリプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで文章表示や文章表示形式付与設定そのものあるいはこれに関連する処理を可能とした汎用あるいは専用のコンピュータ、ワークステーション、携帯型電子機器その他の電子デバイスも、本発明の共焦点顕微鏡、共焦点顕微鏡操作プログラムの少なくともいずれかに含まれる。また本明細書においては、プログラム自体も共焦点顕微鏡に含むものとする。また本プログラムは単体で使用するものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
（接続、通信形態）
【００５５】
本発明の実施の形態において使用されるコンピュータやコントローラ、顕微鏡その他これらに接続される操作、制御、入出力、表示、各種処理その他のためのコンピュータ、あるいはプリンタ等その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＲＳ−４８５、ＲＳ−２３２ｘ、ＲＳ−４２２、ＲＳ−４２３、ＲＳ−４８５、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的に接続して通信を行うことができる。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ、ＯＦＤＭ方式等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。
（共焦点画像）
【００５６】
以上の共焦点顕微鏡システムを用いて共焦点画像を撮像する。共焦点画像は、試料にピントがあった位置のみ明るく、他は暗くなるという特長がある。このような特長を生かし、ピントを少しずつずらしながら、すなわち、試料と対物レンズとの相対距離を変化させながら複数枚の画像を取得し、画像の各画素毎に最も明るい信号が得られたピント位置を求めることで、試料の高さ形状（光軸すなわちＺ方向の形状）を測定することができる。このような特長は高さ形状を測定する際に非常に有効である。また共焦点顕微鏡では合焦位置以外の共焦点画像が殆ど真っ暗であるため、特に共焦点顕微鏡に詳しくないユーザにとっては現在のピント位置を把握し難く、すべての位置でピントのあった超深度画像を測定することが容易でないという問題があった。そこで本実施の形態では、カメラ画像等の非共焦点画像を用いて超深度画像の測定を容易にしている。以下、共焦点顕微鏡を操作するための共焦点顕微鏡操作プログラムを用いて、超深度画像の測定を行う手順について説明する。
【００５７】
図６〜図７に、共焦点顕微鏡操作プログラムのユーザインターフェース画面の例を示す。この共焦点顕微鏡操作プログラムのユーザインターフェース画面の例において、各入力欄や各ボタン等の配置、形状、表示の仕方、サイズ、配色、模様等は適宜変更できることはいうまでもない。デザインの変更によってより見易く、評価や判断が容易な表示としたり操作し易いレイアウトとすることもできる。例えば詳細設定画面を別ウィンドウで表示させる、複数画面を同一表示画面内で表示する等、適宜変更できる。またこれらのプログラムのユーザインターフェース画面において、仮想的に設けられたボタン類や入力欄に対するＯＮ／ＯＦＦ操作、数値や命令入力等の指定は、共焦点顕微鏡操作プログラムを組み込んだコンピュータに接続された入力手段３Ａ（図２）で行う。本明細書において「押下する」とは、ボタン類に物理的に触れて操作する他、入力手段３Ａによりクリックあるいは選択して擬似的に押下することを含む。入出力デバイスはコンピュータと有線もしくは無線で接続され、あるいはコンピュータ等に固定されている。一般的な入力手段３Ａとしては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの入出力デバイスは、プログラムの操作のみに限られず、共焦点顕微鏡等のハードウェアの操作にも利用できる。さらに、インターフェース画面を表示する表示手段４のディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。
【００５８】
図６〜図７は、表示手段４に表示された共焦点顕微鏡操作プログラムのユーザインターフェース画面の例である。これらの図に示すように、表示画面の左側は共焦点画像や非共焦点画像を表示するための画像表示領域６１とし、右側を各種操作ボタン等を備えた操作領域６２としている。これら共焦点画像や非共焦点画像は各々別ウィンドウとして構成され、サイズや配置を任意に変更できる。なお、一の焦点顕微鏡操作プログラム操作画面を分割して、画像表示領域６１と操作領域６２を設けることもできることは言うまでもない。
（操作モード）
【００５９】
この共焦点顕微鏡操作プログラムは、各種の操作を行うための操作モードとして、共焦点顕微鏡の操作に慣れたユーザ向けのエキスパートモードと、操作に不慣れなユーザ向けのビギナーモードを備える。図６、図７に示すように、エキスパートモードとビギナーモードはタブ６３によって切り替えできる。エキスパートモードにおいては、図７に示すように、共焦点画像を取得するための条件をユーザが各々設定できる。一方、ビギナーモードにおいては、共焦点画像を取得するための条件設定を行い易くするためのガイダンスを提示する。またタブ６３の上には、対物レンズの倍率が表示されると共に、光学ズームの倍率選択欄６４が設けられており、表示倍率を変更できる。ビギナータブ６３ａを選択すると、図６に示すように画面右側の操作領域６２において上から順にフロー図６５、説明図６６、操作部６７が表示される。また、ビギナーモードの設定中にエキスパートタブ６３ｂを選択し、図７に示すエキスパートモードに移行することもできる。
【００６０】
ビギナーモードにおいては、フロー図６５で共焦点画像取得に必要な手順を段階毎に示しており、現在表示中の画面で行うべき手順がハイライト表示される。ここではフロー図６５を水色、選択中のステップを橙色で表示している。このように設定手順をフローチャート状に示すことで、ユーザに対してこれから行うべき手順を段階別に提示して、作業の理解を助けることができ、さらに選択中のステップを色分けして表示することにより、現在行うべき手順を明示することができる。図６の例では、フロー図６５として「ステージの調整」６５ａ、「高さ範囲の設定」６５ｂ、「レーザの明るさ調整」６５ｃ、「測定を開始」６５ｄ、「測定結果の確認」６５ｅの５つのステップを示しており、さらに「ステージの調整」ステップ６５ａをハイライト表示している。なおハイライト表示は、色分け表示の他、点滅や太字、斜字体等の強調表示、あるいは他のステップをグレーアウトさせる等、他のステップと区別できる表示態様が適宜利用できる。
【００６１】
またフロー図６５の下には、説明図６６が表示される。説明図６６は、フロー図６５上で選択中のステップに対応する説明が文章で説明されると共に、必要に応じてイラストや写真で図示される。これにより、各ステップで行うべき設定の内容をユーザに対して告知できる。図６の例では、「ステージの調整」ステップ６５ａに対応する説明図６６として、「測定位置とピントの調整を行います。画面を見ながら測定したい場所を探し、ピントを合わせてください。調整完了後、「調整完了」ボタンを押してください。」との説明文と、その下に共焦点顕微鏡本体１のイラストを２つ表示している。左側のイラストは、測定位置を調整する様子を、右側のイラストはピントを調整する様子を、それぞれ示している。具体的には、左側のイラストでステージのＸ−Ｙ平面での移動方向と、ステージをＸ−Ｙ方向に移動させるＸ方向移動摘み３２、Ｙ方向移動摘み３３の操作方向を矢印で示し、さらに右側のイラストでピントの調整のためのステージのＺ方向への移動方向と、Ｚ方向移動摘み３４の操作方向を矢印で示している。
【００６２】
また説明図６６の下には、操作部６７が設けられている。操作部６７の欄には、選択されたステップに対応する操作ボタン類が表示される。図６の例では、実際の操作は共焦点顕微鏡本体１の移動摘みを物理的に操作し、画面上で行う設定項目が存在しないため、本ステップでの設定終了後に押下する「調整完了」ボタン６８が設けられる。また、ボタン類に加えて注意事項や補足説明等のテキスト情報を表示することもできる。図６の例では「現在のレンズ位置が基準位置として保存されます」との説明が表示され、「調整完了」ボタン６８を押下した時点で設定されているレンズの位置（ピント位置）が基準位置として登録されることをユーザに説明している。
【００６３】
一方エキスパートモードでは、ビギナーモードの各ステップの設定を一画面で行えるよう、各種の操作ボタン類が配置されている。図７の例では、操作領域６２の上段にレンズ位置調整欄７０、中段にレーザ明るさ調整欄８０、下段に測定設定欄９１を設けている。さらにレンズ位置調整欄７０の上に、画像表示領域６１で現在表示されている画像の種別を表示する画像種別表示欄９２を設けている。ここでは、カメラ画像が表示されているため、「カメラ」ボタン９２ａがハイライト表示される。この状態から「レーザ」ボタン９２ｂを押下すると、画像表示領域６１の表示が共焦点画像に切り替えられる。同様に「ＲＴ３Ｄ」ボタン９２ｃを押下すると３Ｄ画像が表示される。なお、これらの画像は画像表示領域を分割したり、あるいは画像表示ウィンドウを複数設ける等の方法で、複数を並べて表示することもできる。また、未作成等の理由で表示できない画像については、該当するボタンをグレーアウト表示させて、表示不可能であることを示す。さらに「｜｜」ボタン９２ｄは、ライブ表示の画像を一時停止するためのボタンである。
【００６４】
レンズ位置調整欄７０の下部にはＺ測定距離表示欄９３が設けられ、高さ上限位置と下限位置との間の距離、すなわち高さの測定範囲（距離）が示されている。さらにレーザ明るさ調整欄８０が設けられ、フィルタによる明るさ調整用とゲインによる明るさ調整用に、フィルタ調整用プルダウンメニュー８２Ｂ、ゲイン調整用スライダ８３をそれぞれ設けており、これらを個別に調整できる。加えて測定設定欄９１は、これから測定する超深度画像に対して各種設定を行うためのボタン類を纏めている。図１３の例では、各種の設定をプルダウンメニューで選択可能としており、測定モード９４として表面形状、膜厚等が選択できる。また測定エリア９５として面、ライン等が選択でき、さらに測定品質９６として超高精細、高精細、高速等が選択できる。このように、エキスパートモードでは様々なモードや品質、エリアで超深度画像の取得ができ、共焦点顕微鏡の操作に慣れたユーザは、コンパクトに纏められた画面から所望の操作を行うことができる。
（実施の形態３）
【００６５】
次に、共焦点顕微鏡のコントローラとコンピュータとの間でデータ転送を行う様子を、実施の形態３に係る共焦点顕微鏡システム３００のブロック図である図８に基づいて説明する。この図に示す共焦点顕微鏡システム３００において、共焦点顕微鏡は、受光素子２１と、受光素子２１を制御する受光信号処理回路２２と、受光素子２１で得られた受光量データのアナログ信号をデジタル信号に変換する第１Ａ／Ｄ変換器４１と、第１Ａ／Ｄ変換器４１でデジタル信号に変換された受光信号に基づき、各種の処理を行うコントローラ２とを備える。またコントローラ２とデータ通信を行う操作手段３であるコンピュータＰＣは、転送された画像データや設定内容などを表示する表示手段４としてモニタを接続している。
【００６６】
従来のコントローラ２とコンピュータＰＣ間で行われる同期転送と非同期転送のデータフローの概念図を、図９に示す。同期転送は一定のサイクルでデータ転送が行われる方式であり、画像データ等の大容量データの転送に適している。一方非同期転送は同期転送よりも優先度が低く、同期転送の合間にデータ転送が行われる。同期転送と非同期転送のデータを関連付ける、すなわち同期させることはできない。図９に示すように、従来の共焦点顕微鏡画像に代表される顕微鏡画像は、コンピュータＰＣ側に画像データＧＤを同期転送し、また両者間での設定データＳＪのやりとりは非同期転送にて行っている。しかしながら、コンピュータＰＣからコントローラ２に設定データＳＪを非同期転送で送ると、送信時間が不確定であるため、設定内容が顕微鏡側で反映されるまでに時間がかかることがあり、またこのために表示中の観察画像が設定反映前に得られた画像なのか、設定反映後に得られた画像なのかを区別できないという問題があった。同様に、コントローラ２からコンピュータＰＣ側へも設定データＳＪが非同期転送で送信されるため、例えば共焦点画像が同期転送で、その高さ情報が非同期転送で個別に送信される際、画像データＧＤにフレーム落ちが発生するなどしてデータ転送に失敗した場合、高さ情報に対応する画像データＧＤが欠落し、画像の更新ができないという問題が生じていた。
【００６７】
このような問題点を解決するために、実施の形態３に係る共焦点顕微鏡システム３００では、観察画像データＧＤの中に、その画像が撮影された設定データＳＤを添付して転送する。図１０に、実施の形態３に係るコントローラ２とコンピュータＰＣ間で行われる同期転送と非同期転送のデータフローの概念図を示す。このように、従来非同期転送で送っていた設定データＳＤを、画像データＧＤと共に同期転送で転送する。これにより、コンピュータＰＣ側で受信される画像データＧＤと、それに付随する設定データＳＤとが必ず一致し、同期転送と非同期転送のデータを同期させることができない問題を解消している。具体的には、リアルタイムに大量のデータを高速に転送できる同期通信の送信データの一部を変更し、複数のデータ、例えば画像データＧＤとそれに対応する複数の設定データＳＤを、リアルタイムに共焦点顕微鏡のコントローラ２からコンピュータＰＣに転送することで、従来成し得なかった複数のリアルタイムデータを用いたデータ処理が実現できる。
【００６８】
具体的には、コントローラ２は、同期転送するデータ毎（例えば画像データ１枚毎）に複数の設定データを準備し、画像データとそれに対応した設定データを組にしてコンピュータＰＣに転送する。つまり、１フレームあたりに画像データだけでなく設定データもコンピュータＰＣに転送される。また予めコントローラ２からどのようなフォーマットで画像データと設定データが送られてくるかを決めておけば、データを受信したコンピュータＰＣ側で画像データと設定データを判別できる。この転送データ形式を用いることで、画像データと共に送りたい情報を時間遅れなく正確に転送することができる。
（主データ）
【００６９】
同期転送される主データの例としては、観察中の画像データ（リアルタイムデータ）の他、顕微鏡側で演算処理したリアルタイムデータ、顕微鏡側に保存されたデータ等が利用できる。このように比較的データ容量が大きく、かつリアルタイム性が求められるデータを主データとして格納する。
【００７０】
また、主データに添付する設定データの例としては、主データである画像データを撮像した際の高さ情報、例えば対物レンズとワークの相対距離、あるいは転送する画像データの通し番号（フレーム落ち検出用）、複数のカメラ（受光素子）がある場合はその識別情報、露光時間やゲインなどの観察条件、その他コンピュータで画像処理をするにあたり必要となる観察画像の情報、画像に付随する情報以外の、コントローラからコンピュータへの情報等が挙げられる。これらのいずれか若しくは複数を、フレーム毎に送られる画像データなどの主データに設定データとして付加して転送する。なお、リアルタイム性が求められない用途においては、従来と同様に、設定データＳＪを画像データに付加することなく別個に非同期転送で転送する方式を併用することも可能であることは、いうまでもない。
【００７１】
以上のように、転送データの主データに設定データを付加することで、主データの識別、及び主データの情報の確実な同時転送が可能となる。共焦点顕微鏡側からコンピュータ側に転送される主データの識別情報としては、カラー情報の識別や、データ種別の識別などが挙げられる。以下、カラー情報を識別する例として、実施の形態４について説明する。
（実施の形態４）
【００７２】
上記では主に共焦点顕微鏡システムに本発明を適用する例について説明したが、本発明は共焦点顕微鏡に限られず、電子顕微鏡やデジタルマイクロスコープなど、他の拡大観察装置に適用できる。実施の形態４として、モノクロＣＣＤカメラでカラー画像を得る拡大画像観察システム４００のブロック図を図１１に示す。この図に示す拡大観察装置は、試料ＷＫに光を照射する光源１１としてＲ光源１１Ｒ、Ｇ光源１１Ｇ、Ｂ光源１１Ｂ、第２受光素子５５であるモノクロＣＣＤカメラ、モノクロＣＣＤカメラの受光信号をアナログ信号からデジタル信号に変換する第２Ａ／Ｄ変換器４２、デジタル信号に変換された受光信号を受けて各種の処理を行うと共に、光源１１の切替を行うコントローラ２、コントローラ２とデータ通信を行うコンピュータＰＣ、コンピュータＰＣに接続されたモニタである表示手段４を備える。この拡大観察装置は、モノクロＣＣＤカメラを用いて、１１Ｒ、１１Ｇ、１１Ｂの３種類の光源１１を順次切り替えながら各々モノクロのカメラ画像を取得してコンピュータＰＣ側に同期転送する。この際、カメラ画像の画像データには設定データとして、撮像時の照明色情報をカラー情報識別として付加される。これにより、コンピュータＰＣ側では受信した画像データの照明色を把握でき、これに基づいてカラー画像を合成できる。また、ここでの設定データの設定情報項目としては、照明色情報に加えて、カメラ設定、倍率などを含めることができる。
【００７３】
光の３原色に対応する光源は、３原色に発光するＬＥＤ等を用意する方法や、白色光源を用いてモノクロカメラの前部にＲ／Ｇ／Ｂのカラーフィルタを配置し、フィルタを順次切り替える構成でも実現できる。あるいは、モノクロカメラを３台用いて、それぞれのカメラの前にＲ／Ｇ／Ｂいずれかのカラーフィルタを配置して、転送するカメラデータを順次切り替える方式（いわゆる３ＣＣＤ方式）も利用できる。このように、Ｒ・Ｇ・Ｂの３種類の光源かフィルタ或いはカメラデータを、Ｒ→Ｇ→Ｂ→Ｒ→…等の順に切り替えて、各色毎の画像データを撮像する。この画像データを転送する際に、各画像データに光源・フィルタあるいはカメラデータであるＲ／Ｇ／Ｂといったカラー情報を付加することで、画像データを受信したコンピュータ側で、確実にカメラ画像を構築できる。
【００７４】
仮にカラー情報がない場合は、Ｒ→Ｇ→Ｂ→Ｒ→…のように予め定められた順番で画像データが必ず転送されてくることを仮定してカラー合成する方法が考えられるが、フレーム落ちが発生すると、それ以降の色合成が間違ってしまう虞がある。これに対して、上述のようにカラー情報を画像データに付加することで、このようなミスをなくし、例えばフレーム落ちした画像データの再送をコンピュータ側から拡大観察装置側に要求したり、次のカラー合成のタイミングから同期を取り直すことができ、正しいカラー画像が確実に合成できる。
（実施の形態５）
【００７５】
また、カラー情報に限られず、画像データ等の種別に関する情報を付加することで、より柔軟なデータ転送が実現できる。例えば、複数の検出器で異なる種類の画像を観察できる装置においては、どの検出器を用いて撮像した画像であるかをコンピュータ側に確実に通知できるため、表示や更新のタイミングを意識した面倒な制御を不要にできる。ここで本発明の実施の形態５として、図１２に示す共焦点顕微鏡システム５００でカメラ画像と共焦点画像を観察し、コンピュータＰＣに接続した表示手段４であるモニタ上でこれら切り替えて表示する例を説明する。
【００７６】
図１２に示す共焦点顕微鏡システム５００は、光源１１であるレーザ光源と、レーザを駆動するレーザ駆動回路１１Ａと、光電子増倍管（ＰＭＴ）である受光素子２１と、白色光源５１と、カラーＣＣＤカメラである第２受光素子５５と、レーザ光の光軸と一致させて配置され、試料ＷＫを拡大観察するための所定の倍率を有する対物レンズ１８と、対物レンズ１８を切り替えるレボルバ１８Ｂと、試料ＷＫと対物レンズ１８との相対距離を調整するＺ軸移動機構１８Ｃと、受光素子２１で得られた受光量データのアナログ信号をデジタル信号に変換する第１Ａ／Ｄ変換器４１と、第２受光素子５５のアナログ信号をデジタル信号に変換する第２Ａ／Ｄ変換器４２と、これらデジタル信号を受信して各種処理を行うと共に、レボルバ１８Ｂの切り替えやＺ軸移動機構１８Ｃの制御を行うコントローラ２と、コントローラ２とデータ通信を行うコンピュータＰＣと、コンピュータＰＣに接続されたモニタである表示手段４とを備える。この共焦点顕微鏡は、Ｚ軸移動機構１８Ｃで対物レンズ１８と試料ＷＫとの相対距離を変化させながら、カメラ画像、共焦点画像と共に、各画像の取得に関する設定情報を含む設定データを、同期転送でコンピュータＰＣに転送する。このように共焦点顕微鏡は、２つの検出器としてカラーＣＣＤカメラとＰＭＴを備えており、白色光源５１とカラーＣＣＤカメラ、及びレーザ光源とＰＭＴの２種類の組み合わせで、カメラ画像と共焦点画像を各々観察することができる。これら２つの検出器で取得した画像データを、共焦点顕微鏡側からコンピュータＰＣ側に転送して表示手段４で表示させる場合を考える。例えば画像の表示ウィンドウを２つ設けて、転送されるカラーのカメラ画像と共焦点画像とを切り替えながら同時に表示したい場合は、同期転送される画像データの受信タイミングに応じて一定の間隔で切り替える必要がある。特に、各フレームおきに画像を切り替えるて表示したい場合、フレーム落ちが発生したときにいつどの画像で発生したか分からずないため対策ができない。
【００７７】
これに対して、図１０に示したようにカメラ画像か共焦点画像かを識別できる識別情報を設定データＳＤとして画像データＧＤに付加し、同期転送に載せることで、コンピュータＰＣ側では受信した画像データＧＤの種別を判別できる。例えば画像の表示ウィンドウを２つ設ければ、ユーザは２つの検出器の画像を同時に観察することができる。また、転送する画像データの切り替えは必ずしも一定間隔である必要はなく、任意のタイミングとすることができる。
【００７８】
もちろん、２種類の画像データに限られず、３種類以上の画像データを送信することも可能であり、これら複数種類の画像データをすべて受信側のコンピュータで確実に判別できる。例えば顕微鏡に試料を観察するための検出器を２つ以上備え、各検出器で取得された画像データを表示手段の一画面で並べて同時に表示させたり、交互に切り替えて表示することもできる。
【００７９】
また、転送された画像データを敢えて表示させないこともできる。特にユーザに表示する必要のない画像データについて、画像データをコンピュータ内部で演算処理やデータ保存にのみ使用することも可能である。例えば、測定後の補正データなど、敢えてユーザに表示したくないが、コントローラからコンピュータに送信したいデータがある場合、設定データにそのようなデータ識別情報を入れておけば、たとえ順次転送される画像データの間に、非表示とすべき補正データが紛れていても、このような補正データを適切に抽出して非表示としつつ、データを保存できる。補正データを受信したときはコンピュータの表示手段に表示せず、その瞬間のみ画面の更新を止める。このため、顕微鏡のコントローラ側は、任意のタイミングで補正データを送信できる利点が得られる。
【００８０】
このようなことを、従来の同期転送と非同期転送を混在させた方法で実現しようとすれば、画像データの同期転送及び表示手段の画面更新を一旦停止し、補正データを同期転送して、画面更新せず、その後再び画像データの同期転送と表示手段の画像更新を開始する、という面倒な手順を採らねばならなかった。また、コントローラとコンピュータとを協調してデータ転送する必要があった。これに対して本実施の形態によれば、上述の通りコントローラ側はコンピュータとの同期を考慮することなく、任意のタイミングで一方的に画像データと補正データを送出すれば足りる。さらに受信側では、非同期転送される別個のデータを待つことなく、転送された画像データや補正データに含まれるデータ識別情報に従って、画面更新やデータ保存の必要性を判断できる。
【００８１】
なお、この例において設定データに含める設定情報項目としては、データ識別情報や対物レンズとワークとの相対距離、受光素子の識別情報（例えばＣＣＤカメラ又はＰＭＴの別）、画像データの転送画像枚数、撮像時の対物レンズ倍率、ズーム倍率、カメラ設定やスキャン設定等の観察条件、転送データの種類等が挙げられる。
（実施の形態６）
【００８２】
さらに、画像データをデータ識別情報と共に確実にコンピュータ側に転送できるため、従来顕微鏡或いはコントローラ側で行っていた演算を、コンピュータ側で行わせることが容易となる。特に、近年のコンピュータの演算処理能力の向上により、従来は専用のハードウェアを設けてコントローラ側で行っていたリアルタイム画像演算処理等を、コンピュータ側で行うことも可能となっている。このようなコンピュータの高性能化を生かし、専用ハードウェアによる演算を不要として、装置の簡素化やハードウェア資源の有効利用にも適した、効率のよい演算システム構築が可能となる。さらに、測定中の画像を全て保存したり、高次の乗算や放物線近似など光量ピーク推定演算、時間空間上のメディアンフィルタ、サイズの大きい画像フィルタ処理、色空間毎のフィルタ処理等のカラー合成処理といった複雑な演算処理など、ハードウェアでデータ処理をする従来の方法では実現が非常に困難であった処理も、コンピュータを用いることで可能となる。
【００８３】
以下、本発明の実施の形態６として、共焦点顕微鏡のコントローラとコンピュータに接続した共焦点顕微鏡システムにおいて、共焦点顕微鏡で測定された共焦点画像とカメラ画像を合成し、カラー超深度画像を演算する手順を、従来の方法と本実施の形態に係る方法のそれぞれで行う場合を対比しながら、図１３及び図１４のフローチャートに基づいて説明する。ここでは、コンピュータの共焦点顕微鏡操作プログラムで共焦点顕微鏡を操作し、共焦点顕微鏡で撮影した共焦点画像とカメラ画像を、コントローラ側で合成してカラー超深度画像を生成し、コンピュータ側に転送する例を、共焦点顕微鏡及びそのコントローラ側、及びコンピュータ側の動作それぞれについて説明する。共焦点顕微鏡は対物レンズの焦点とワークとの光軸方向の相対距離を変化させたときに、受光量が最大になる相対距離を求めることにより、ワークの表面高さの分布データを得ることができる。この処理においては、画像データ（光量データ）のみならず、相対距離（高さデータ）も同時に扱う必要があるため、従来、測定時にはコントローラ内でデータを処理し、測定終了後に測定結果をコンピュータに転送する方式とする必要があった。これに対し、本実施の形態では、測定時に画像データとそのときの相対距離をセットにしてコンピュータ側に確実にデータ転送できるため、コンピュータ側でワークの表面高さの分布データを作成することができる。
【００８４】
先ず、対比のため従来の測定手順を図１３に示す。共焦点顕微鏡及びコントローラ側では、ステップＳ１０１で、共焦点顕微鏡及びコントローラを起動する。そしてステップＳ１０２で、測定された共焦点画像やカメラ画像をコントローラからコンピュータ側に同期転送する。一方、コンピュータ側では、ステップＳ２０１でコンピュータを起動し、ステップＳ２０２で共焦点顕微鏡操作プログラムを起動する。そしてステップＳ２０３で、コントローラから同期転送された共焦点画像やカメラ画像に基づき、超深度画像を合成するための各種条件の設定を行う。例えばピントやゲインの調整、高さ範囲の設定などを共焦点顕微鏡操作プログラム上で行い、設定内容をコントローラ側に非同期転送する。一方、コントローラ側では、設定内容を受信し、設定を更新する。このようにして設定作業が完了すると、ステップＳ２０４で共焦点顕微鏡操作プログラムから測定開始の命令をコントローラに非同期転送する。これを受けてコントローラ側では、共焦点顕微鏡で共焦点画像の測定を開始する。具体的にはステップＳ１０３で、試料と対物レンズとの相対距離を変化させながら、共焦点画像及びカメラ画像を記録し、これと関連付けて距離情報、すなわち高さ情報を記録し、測定データを更新する。そしてステップＳ１０４で測定が終了すると、共焦点画像から合焦位置の画素を合成した合焦点画像、及び共焦点画像の輝度情報とカメラ画像の色情報を組み合わせたカラー超深度画像を生成し、ステップＳ１０５で合焦点画像を、ステップＳ１０６でカラー超深度画像を、コントローラからコンピュータにそれぞれ同期転送する。併せてステップＳ１０７で、高さ分布データをコンピュータに非同期転送する。一方コンピュータは、これらのデータを受けて、ステップＳ２０５で測定結果を受信し、必要に応じて保存する。そしてステップＳ２０６で、測定結果を表示手段上に表示する。
【００８５】
以上のように、従来の方法では画像データと高さデータを一致させる必要があることから、コントローラ側で合焦点画像やカラー超深度画像の生成を行っていた。このため、処理できる演算内容に制限があり、また保存できるデータの量も限られていた。また、画像データと設定データの送信が同期転送、非同期転送で個別に行われていたため、これらの関連付けができず、データ転送ミスが生じても対応できなかった。
【００８６】
これに対し実施の形態６に係る方法では、転送データである主データに設定データを付加し、コンピュータ側での演算処理を行わせることで、このような問題を解決し、複雑な演算や全データの保存を可能とし、またデータ転送ミスを検知して適切な対処も可能となる。以下、この手順を図１４のフローチャートに基づいて説明する。まず、上記と同様にステップＳ３０１で、共焦点顕微鏡及びコントローラを起動する。そしてステップＳ３０２で、測定された共焦点画像やカメラ画像をコントローラからコンピュータ側に同期転送する。
【００８７】
一方、コンピュータ側では、同様にステップＳ４０１でコンピュータを起動し、ステップＳ４０２で共焦点顕微鏡操作プログラムを起動する。そしてステップＳ４０３で、コントローラから同期転送された共焦点画像やカメラ画像に基づき、超深度画像を合成するための各種条件の設定を行い、非同期転送でコンピュータ側に転送する。ここまでの手順は図１３と同様である。このようにして設定作業が完了すると、ステップＳ４０４で共焦点顕微鏡操作プログラムから測定開始の命令をコントローラに非同期転送する。これを受けてコントローラ側では、ステップＳ３０３で試料と対物レンズとの相対距離を変化させながら、共焦点画像を撮像し、各々主データに格納すると共に、撮像時の高さ情報、及び画像種別として共焦点画像である旨の設定情報を設定データに格納した転送データを、同期転送でコンピュータに送信する。コントローラは、設定された高さ範囲分の共焦点画像を逐次送信する。設定範囲分の共焦点画像の送信が終わると、続いてカメラ画像も対物レンズを移動させながら、高さ情報およびカメラ画像である画像種別情報と共に、同期通信でコンピュータに転送する。
【００８８】
一方コンピュータ側では、ステップＳ４０５で転送データから画像データと設定データを元に、測定データを更新する。具体的には、転送される画像データから共焦点画像の各画素の輝度を逐次比較しながら、最高輝度値となる輝度情報と高さ情報を記憶する。これにより、白黒の超深度画像と高さ画像が作成される。さらにコンピュータは、各画素毎に共焦点画像が最高輝度値となった高さに対応する位置でカメラ画像データを抽出し、白黒超深度画像と抽出したカメラ画像に基づき、カラー超深度画像も測定後すぐに作成、表示することができる。
【００８９】
これらの処理を、従来のコントローラ側での専用ハードウェアで行う代わりに、コンピュータ側で行わせることにより、必要に応じて更なる演算処理も可能であり、またデータ保存もより柔軟に行え、複雑かつ高度な処理が可能となる。また、コントローラ側のハードウェアを簡素化でき、システム構築のコスト低減にも資する。測定結果は、ステップＳ４０６で表示手段上に表示される。またコントローラ側でも、ステップＳ３０４で測定が終了すると、その旨をコンピュータ側に非同期転送で通知し、コンピュータ側で測定の終了を把握できる。
【００９０】
このように、同期転送される転送データの形式を、画像データのみならず、その設定情報や画像種別などの設定データを付加したものとすることで、コンピュータ側で確実に設定情報を受信でき、画像データの正確な把握が可能となる。さらに設定データとして、画像データの高さ情報や、共焦点画像かカメラ画像かの識別等、画像データの詳細をコンピュータ側で把握でき、より高度な処理が可能となる。
【００９１】
なお、同期転送されるすべての主データに設定データを付加する他、必要な場合にのみ設定データを付加するよう構成してもよい。例えば図１４のステップＳ３０２においては、カメラ画像等に設定データを付加せず、従来と同様の手順でコンピュータ側に送信してもよい。ステップＳ３０３のように、リアルタイム処理が求められる際には主データに設定データを付加することが重要であり、そうでない場面では従来通り、同期転送と非同期転送を混在させることもできることはいうまでもない。
（実施の形態７）
【００９２】
次に実施の形態７として、図１５のブロック図に基づき、ユーザが拡大画像観察システム７００において手動で対物レンズ１８と試料ＷＫとの相対距離を変化させ、カメラ画像の合焦点画像およびその高さデータも含めた３Ｄ画像を作成する場合を説明する。
【００９３】
この図に示す拡大観察装置は、白色光源５１と、カラーＣＣＤカメラである第２受光素子５５と、対物レンズ１８と、試料ＷＫと対物レンズ１８との相対距離を調整するＺ軸移動機構１８Ｃと、対物レンズ１８と試料ＷＫとの相対距離を検出する距離検出手段１８Ｄと、第２受光素子５５で得られた受光量データのアナログ信号をデジタル信号に変換する第２Ａ／Ｄ変換器４２と、デジタル信号を受信して各種処理を行うと共に、Ｚ軸移動機構１８Ｃの制御を行うコントローラ２と、コントローラ２とデータ通信を行うコンピュータと、コンピュータに接続されたモニタである表示手段４とを備える。ここでは、距離検出手段１８Ｄとして、対物レンズ１８又は試料ステージを手動で移動させるためのＺ方向移動摘み３４の回転軸に取り付けられ、回転角度、回転速度、回転量等を検出するロータリーエンコーダが、移動距離や回転速度に応じたエンコーダパルスを出力することで、相対距離を検出している。
【００９４】
ここで、対物レンズとワークとの相対距離を変化させる速度が一定でない場合、従来の３Ｄ構築方式では高さを正確に求めることができなかった。なぜなら、対物レンズと試料ステージの相対距離をユーザが任意のタイミングで手動で変化させるため、画像データを同期転送、相対距離を画像データと検出した従来の方式では画像データと相対距離を正確に結びつけることは不可能であったためである。そのため、対物レンズもしくは試料ステージの移動速度を一定と仮定して、取得された画像の高さを推定することが一般的であったが、この方式では当然のことながら正確な３Ｄ構築はできない。これに対し、実施の形態７では距離検出手段１８Ｄで検出された相対距離の情報を設定データとして、カメラ画像に付加してコンピュータ側に転送する。転送される画像データの撮像時の相対距離が認識できれば、対物レンズの移動速度が一定でなくとも、高さ方向の補間計算が正確に行なえるので、正しい３Ｄ画像が構築できる。なお仮に正確な相対距離が判らず、移動速度が判るだけであっても、高さ分布の比率は正確であるため、問題なく高さを把握できる。
【００９５】
このように、実施の形態７によれば３Ｄ画像の構築においても、より簡便に正確な高さ情報を取得でき、対物レンズの移動速度に依らず、高精度な３Ｄ画像を構築できる利点が得られる。またここで設定データとして利用可能な設定情報項目としては、相対距離以外に、ＣＣＤカメラ等の撮像素子の設定や、対物レンズの倍率などを付加でき、これらの情報により、倍率や他の詳細な撮像条件を付加して、より高度な演算をコンピュータ側で実行できる。
（実施の形態８）
【００９６】
また、測定をコントローラ側でなくコンピュータ側で行う場合、画像データを転送する必要があるため、データ転送速度に起因したフレーム落ちが発生する虞があり、従来から問題となっていた。これに対して、実施の形態８によれば、画像データの測定開始から各画像に通し番号を付し、同期転送で画像データを受信したコンピュータ側で番号が連続的に並んでいるかどうかを判定することで、フレーム落ちを正確に検出できる。例えば、フレーム落ちした枚数やフレーム落ちしたタイミングまで、正確に検出できる。これにより、フレーム落ちの発生及び欠落した画像データ、タイミング等を把握できるので、フレーム落ちした画像データを高さ情報と共に再測定したり、フレーム落ちしたときの高さデータのみを再取得したり、あるいはフレーム落ちしたデータを排除するなどの、測定の用途や目的に応じた適切な対策を講じることが可能となる。
【００９７】
このように本発明では、共焦点顕微鏡で超深度画像を合成する他、他の顕微鏡やその演算処理に適用できる。例えば反射型の共焦点顕微鏡以外に、透過型の共焦点顕微鏡にも適用できる。透過型の顕微鏡の場合は、試料の裏面から共焦点光学系１０のレーザ光及び非共焦点光学系５０の白色光が照射される。共焦点光学系１０の光源はレーザ光源を含む単色光源はもちろんのこと、複数波長を含むものであってもよい。非共焦点光学系５０の光源は自然光又は室内光で代用することもできる。
【００９８】
さらに、本発明は共焦点顕微鏡画像に限られず、通常の光学顕微鏡やデジタルマイクロスコープ、あるいはレーザ走査顕微鏡や測長ＳＥＭ等の荷電粒子線装置等、さらには走査型トンネル顕微鏡（ＳＴＭ）や原子間力顕微鏡（ＡＦＭ）などで得られた電子顕微鏡画像に対しても利用できる。例えば、デジタルマイクロスコープのような拡大光学系を用いて、焦点距離の異なる複数枚の画像から、画像処理により被写体の全てに焦点の合った合焦点画像を取得する処理等にも本発明を適用できる。
【００９９】
電子線を用いた透過電子顕微鏡や走査電子顕微鏡は、荷電粒子線で観察対象の試料を照射して得られる信号を検出して観察像を得る荷電粒子線装置である。例えば電子顕微鏡は、電子の進行方向を自由に屈折させ、光学顕微鏡のような結像システムを電子光学的に設計したものである。電子顕微鏡には、試料や標本を透過した電子を電子レンズを用いて結像する透過型の他、試料表面で反射した電子を結像する反射型、収束電子線を試料表面上に走査して各走査点からの二次電子を用いて結像する走査型電子顕微鏡、加熱あるいはイオン照射によって試料から放出される電子を結像する表面放出型（電界イオン顕微鏡）等がある。
【０１００】
電子顕微鏡（ＥＭ）の例として、走査型電子顕微鏡（Scanning Electron Microscope：ＳＥＭ）は、観察対象となる試料に細い電子線（電子プローブ）を照射した際に発生する二次電子や反射電子を、二次電子検出器、反射電子検出器等それぞれの検出器を用いて取り出し、ブラウン管やＬＣＤ等の表示画面上に表示して、主として試料の表面形態を観察する装置である。一方、透過型電子顕微鏡（Transmission Electron Microscope：ＴＥＭ）は、薄膜試料に電子線を透過させ、その際に試料中で原子により散乱、回折された電子を電子回折パターンまたは透過電顕像として得ることによって主に物質の内部構造を観察できる。
【０１０１】
電子線が固体試料に照射されたとき、電子のエネルギーによって固体中を透過するが、その際に試料を構成する原子核や電子との相互作用によって弾性的な衝突、弾性散乱やエネルギー損失を伴う非弾性散乱を生じる。非弾性散乱によって試料元素の殻内電子を励起したり、Ｘ線等を励起したり、また二次電子を放出し、それに相当するエネルギーを損失する。二次電子は衝突する角度によって放出される量が異なる。一方、弾性散乱によって後方に散乱し、試料から再び放出される反射電子は、原子番号に固有の量が放出される。ＳＥＭはこの二次電子や反射電子を利用する。ＳＥＭは電子を試料に照射し、放出される二次電子や反射電子を検出して観察像を結像している。
【０１０２】
また、走査型トンネル顕微鏡（ＳＴＭ）や原子間力顕微鏡（ＡＦＭ）といった走査型プローブ顕微鏡（ＳＰＭ）等の微細表面形状計測装置は、探触針が試料表面に接近または接触して支持され、トンネル電流、原子間力等が一定に保たれて走査される探触針または試料の検査すべき表面に垂直な変位量から、試料表面の微細形状を観察する。このとき、試料に対する探触針の位置を知るための観察光学系を備えるものがあり、一例として探触針と観察光学系の対物レンズを切り換えて使用するタイプがある。この装置では、探触針の位置を示す指標（レクチル）を観察光学系の視野内に設けることにより、探触針の観察位置の光学的な観察を可能にしている。
【０１０３】
このような電子顕微鏡や原子間力顕微鏡等の試料表示装置で得られる電子顕微鏡画像や原子間力顕微鏡画像等の画像データに対しても、本発明のデータ転送を適用できる。
【産業上の利用可能性】
【０１０４】
本発明の拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器は、生物細胞の部分的な検査またはイメージング等に好適に利用できる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施の形態１に係る共焦点顕微鏡システムの概略構成を示すブロック図である。
【図２】図１の共焦点顕微鏡システムを示す外観斜視図である。
【図３】共焦点顕微鏡本体を示す斜視図である。
【図４】対物レンズのＺ方向位置に応じて変化する受光量データを示すグラフである。
【図５】本発明の実施の形態２に係る共焦点顕微鏡システムを示すブロック図である。
【図６】「ステージの調整」ステップのユーザインターフェース画面を示すイメージ図である。
【図７】エキスパートモードのユーザインターフェース画面を示すイメージ図である。
【図８】実施の形態３に係る共焦点顕微鏡システムの構成を示すブロック図である。
【図９】従来のコントローラとコンピュータ間で行われるデータ転送の概念図である。
【図１０】実施の形態３に係るコントローラとコンピュータ間で行われるデータ転送の概念図である。
【図１１】実施の形態４に係る拡大画像観察システムを示すブロック図である。
【図１２】実施の形態５に係る拡大画像観察システムを示すブロック図である。
【図１３】従来のカラー超深度画像を演算する手順を示すフローチャートである。
【図１４】実施の形態６に係るカラー超深度画像を演算する手順を示すフローチャートである。
【図１５】実施の形態７に係る拡大画像観察システムを示すブロック図である。
【符号の説明】
【０１０６】
１００、２００、３００、５００…共焦点顕微鏡システム
４００、７００…拡大画像観察システム
１…共焦点顕微鏡本体
２…コントローラ
３…操作手段；３Ａ…入力手段
４…表示手段
１０、１０Ｂ…共焦点光学系
１１…光源；１１Ｒ…Ｒ光源；１１Ｇ…Ｇ光源；１１Ｂ…Ｂ光源
１１Ａ…レーザ駆動回路
１２…第１コリメートレンズ
１３…偏光ビームスプリッタ
１４…１／４波長板
１５…水平・垂直偏向装置
１６…第１リレーレンズ
１７…第２リレーレンズ
１８…対物レンズ；１８Ｂ…レボルバ；１８Ｃ…Ｚ軸移動機構；１８Ｄ…距離検出手段
１９…結像レンズ
２０…ピンホール板  非共焦点光学系
２１…受光素子
２２…第１受光信号処理回路
３０…ステージ
３１…ステージ手動操作機構
３２…Ｘ方向移動摘み
３３…Ｙ方向移動摘み
３４…Ｚ方向移動摘み
４１…第１Ａ／Ｄ変換器
４２…第２Ａ／Ｄ変換器
４３…制御部
４４…画像データ入力部
４５…画像処理演算部
４６…表示用画像生成部
５０、５０Ｂ…非共焦点光学系
５１…白色光源
５２…第２コリメートレンズ
５３…第１ハーフミラー
５４、５４Ｂ…第２ハーフミラー
５５…第２受光素子
５６…第２受光信号処理回路
６１…画像表示領域
６２…操作領域
６３…タブ；６３ａ…ビギナータブ；６３ｂ…エキスパートタブ
６４…倍率選択欄
６５…フロー図；６５ａ…「ステージの調整」ステップ
６５ｂ…「高さ範囲の設定」ステップ；６５ｃ…「レーザの明るさ調整」ステップ
６５ｄ…「測定を開始」ステップ；６５ｅ…「測定結果の確認」ステップ
６６…説明図
６７…操作部
６８…「調整完了」ボタン
７０…レンズ位置調整欄
８０…レーザ明るさ調整欄
８２Ｂ…フィルタ調整用プルダウンメニュー
８３…ゲイン調整用スライダ
９１…測定設定欄
９２…画像種別表示欄；９２ａ…「カメラ」ボタン；９２ｂ…「レーザ」ボタン
９２ｃ…「ＲＴ３Ｄ」ボタン；９２ｄ…「｜｜」ボタン
９３…Ｚ測定距離表示欄
９４…測定モード
９５…測定エリア
９６…測定品質
ＷＫ…試料；ＳＪ…設定データ；ＧＤ…画像データ；ＳＤ…設定データ
【図１】
2008090072.tif 000003
【図２】
2008090072.tif 000004
【図３】
2008090072.tif 000005
【図４】
2008090072.tif 000006
【図５】
2008090072.tif 000007
【図８】
2008090072.tif 000008
【図９】
2008090072.tif 000009
【図１０】
2008090072.tif 000010
【図１１】
2008090072.tif 000011
【図１２】
2008090072.tif 000012
【図１３】
2008090072.tif 000013
【図１４】
2008090072.tif 000014
【図１５】
2008090072.tif 000015
【図６】
2008090072.tif 000016
【図７】
2008090072.tif 000017