(57)【要約】【課題】三次元画像の生成精度および生成に要する時間を最適化できる拡大観察装置を提供する。【解決手段】三次元画像データの生成精度を向上させるためには、対象物ＯＢＪの各領域がいずれかの画像中のフォーカス領域として抽出される必要がある。このような条件を満足する最大の取得間隔（すなわち、最低の取得枚数）は、取得間隔が撮像部の被写界深度ＤＯＦと一致する場合である。制御部は、撮像部の識別情報および状態信号に基づいて、撮像部における被写界深度を取得して取得間隔を決定する。【選択図】図６
2007316433.tif 000002
【特許請求の範囲】
【請求項１】
対象物を異なる被写体距離で撮影した複数の画像におけるフォーカス領域に基づいて、前記対象物の三次元画像データを生成する拡大観察装置であって、
前記対象物を撮影するための撮像部と、
前記撮像部から前記対象物までの被写体距離を変更するための被写体距離変更手段と、
前記被写体距離が所定の取得間隔で逐次的に変更されるように前記被写体距離変更手段を制御するとともに、変更される前記被写体距離の各々において前記撮像部によって撮影される画像を取得する制御部とを備え、
前記制御部は、前記撮像部における被写界深度を取得し、当該被写界深度に基づいて前記取得間隔を決定する、拡大観察装置。
【請求項２】
前記制御部は、前記取得間隔を前記撮像部における被写界深度、または前記撮像部における被写界深度の半値に一致させる、請求項１に記載の拡大観察装置。
【請求項３】
前記拡大観察装置は、前記撮像部として任意の被写界深度を有する撮像部を利用可能に構成される、請求項１または２に記載の拡大観察装置。
【請求項４】
前記制御部は、前記撮像部の識別情報に基づいて、当該撮像部の被写界深度を取得する、請求項３に記載の拡大観察装置。
【請求項５】
前記撮像部は、被写界深度を変更可能に構成される、請求項１〜４のいずれか１項に記載の拡大観察装置。
【請求項６】
前記撮像部は、変更される被写界深度に応じた状態信号を出力するように構成され、
前記制御部は、前記撮像部から出力される前記状態信号に基づいて、当該撮像部の被写界深度を取得する、請求項５に記載の拡大観察装置。
【請求項７】
前記制御部は、前記三次元画像データを生成するための前記対象物の断面高さ範囲を取得し、前記撮像部の被写界深度と当該断面高さ範囲とに基づいて、画像の取得枚数を決定する、請求項１〜６のいずれか１項に記載の拡大観察装置。
【請求項８】
前記制御部は、
前記撮像部により撮影される画像内において設定される２つの開始終了領域のそれぞれに対して、前記撮像部によってフォーカスされる前記被写体距離を検索し、
当該検索された２つの前記被写体距離に基づいて、前記断面高さ範囲を決定する、請求項７に記載の拡大観察装置。
【請求項９】
前記拡大観察装置は、前記撮像部により撮影される画像を表示可能に構成された表示部をさらに備え、
前記制御部は、前記取得枚数を前記表示部に表示可能に構成される、請求項７または８に記載の拡大観察装置。
【請求項１０】
前記制御部は、外部からの変更指令に応じて、前記取得枚数を変更可能に構成される、請求項９に記載の拡大観察装置。
【請求項１１】
前記制御部は、
前記被写体距離変更手段を制御して前記取得枚数の画像を取得した後、前記画像の各々における前記フォーカス領域を抽出し、
当該抽出されるそれぞれの前記フォーカス領域を結合して全焦点画像を生成する、請求項７〜１０のいずれか１項に記載の拡大観察装置。
【請求項１２】
前記制御部は、
前記フォーカス領域の画素情報および対応の前記被写体距離に基づいて、前記対象物の高さ情報を取得し、
前記全焦点画像および前記高さ情報から前記三次元画像データを生成する、請求項１１に記載の拡大観察装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は対象物の三次元画像データを生成する拡大観察装置に関し、特に画像の取得間隔を最適化する技術に関するものである。
【背景技術】
【０００２】
製造現場や研究施設などにおいて、従来の顕微鏡に代えて、拡大観察装置の普及が進んでいる。拡大観察装置は、対象物を拡大して画像を撮影し、その撮影された画像を表示する装置である。このような拡大観察装置は、従来の顕微鏡に比較して、被写体距離を長くできること、拡大された画像を多くのユーザが同時に観察できること、デジタル情報として記録できることなどの長所を備えている。
【０００３】
近年、さらに作業効率を向上させる目的で、対象物の三次元画像データを生成する機能を付加した拡大観察装置が提案されている。このような三次元画像データの生成方法の一例として、いわゆる合焦点法が知られている。合焦点法では、対象物を異なる被写体距離で撮影した複数の画像における焦点の合った（フォーカスされた）領域（以下、「フォーカス領域」とも称す）に基づいて、三次元画像データが生成される。
【０００４】
たとえば、特開２０００−３９５６６号公報（特許文献１）には、観察対象物の光学拡大像を三次元データ化して、観察対象物の観察したい領域を任意の視点、視野および角度から立体画像として観察することが可能な拡大観察装置が開示されている。この拡大観察装置によれば、光学拡大像を撮像する撮像手段と、光学拡大手段を観察対象物に対して任意の相対位置に移動させ位置決めする移動位置決め制御手段と、光学拡大手段を観察対象物に対して複数の相対位置に移動位置決めして撮像した複数の画像データを取得する画像データ入力手段と、複数の画像データから立体的な三次元画像データを生成する三次元画像データ生成手段とを備える。そして、三次元画像データ生成手段は、各々の画像データから焦点の合っている合焦点画像データを抽出し、当該合焦点画像データに基づいて、３次元画像を生成する。
【特許文献１】特開２０００−３９５６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、合焦点法においては、異なる被写体距離で撮影した複数の画像におけるフォーカス領域に基づいて三次元画像データが生成されるので、生成精度を向上させるためには、可能な限り画像の取得枚数は多いことが望ましい。
【０００６】
一方、レンズ群などの光学系を含む撮像部では、焦点を合わす（以下、「フォーカスする」とも称す）ことのできる固有の範囲を有している。このような焦点を合わすことのできる範囲は、被写界深度（ＤＯＦ：Depth of Focus）とも称される。すなわち、撮像部により撮影される各画像においては、この被写界深度に相当する領域のみがフォーカスされることになる。
【０００７】
そのため、画像の取得枚数を増大させるために、被写界深度に比較して取得間隔を過度に小さな値に設定すると、連続する画像間におけるフォーカス領域の差は小さくなる。すなわち、画像の取得枚数を過度に増大させても、生成精度向上の効果は薄く、逆に撮影に要する時間が増加するという結果になる。
【０００８】
しかしながら、特開２０００−３９５６６号公報（特許文献１）に開示されるような従来の拡大観察装置では、取得間隔（もしくは取得枚数）に関する考慮がなされておらず、拡大観察装置の使用者（以下、ユーザとも称す）などは、不適切な取得間隔で使用している場合も多かった。
【０００９】
そこで、この発明は、かかる問題を解決するためになされたものであり、その目的は、三次元画像の生成精度および生成に要する時間を最適化できる拡大観察装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明によれば、対象物を異なる被写体距離で撮影した複数の画像におけるフォーカス領域に基づいて、対象物の三次元画像データを生成する拡大観察装置である。この発明に係る拡大観察装置は、対象物を撮影するための撮像部と、撮像部から対象物までの被写体距離を変更するための被写体距離変更手段と、被写体距離が所定の取得間隔で逐次的に変更されるように被写体距離変更手段を制御するとともに、変更される被写体距離の各々において撮像部によって撮影される画像を取得する制御部とを備える。そして、制御部は、撮像部における被写界深度を取得し、当該被写界深度に基づいて取得間隔を決定する。
【００１１】
この発明によれば、対象物の三次元画像データの生成に用いられる複数の画像を取得するための取得間隔の決定に際して、撮像部の被写界深度が考慮される。そのため、フォーカス領域を抽出するための複数の画像を、撮像部がフォーカスできる範囲に相応しい間隔で取得できるので、画像の取得枚数が過度に増大することなく、三次元画像の生成精度と生成に要する時間とバランスさせることができる。
【００１２】
好ましくは、制御部は、取得間隔を撮像部における被写界深度、または撮像部における被写界深度の半値に一致させる。
【００１３】
好ましくは、拡大観察装置は、撮像部として任意の被写界深度を有する撮像部を利用可能に構成される。
【００１４】
さらに好ましくは、制御部は、撮像部の識別情報に基づいて、当該撮像部の被写界深度を取得する。
【００１５】
また好ましくは、撮像部は、被写界深度を変更可能に構成される。
さらに好ましくは、撮像部は、変更される被写界深度に応じた状態信号を出力するように構成され、制御部は、撮像部から出力される状態信号に基づいて、当該撮像部の被写界深度を取得する。
【００１６】
また好ましくは、制御部は、三次元画像データを生成するための対象物の断面高さ範囲を取得し、撮像部の被写界深度と当該断面高さ範囲とに基づいて、画像の取得枚数を決定する。
【００１７】
さらに好ましくは、制御部は、撮像部により撮影される画像内において設定される２つの開始終了領域のそれぞれに対して、撮像部によってフォーカスされる被写体距離を検索し、当該検索された２つの被写体距離に基づいて、断面高さ範囲を決定する。
【００１８】
さらに好ましくは、拡大観察装置は、撮像部により撮影される画像を表示可能に構成された表示部をさらに備え、制御部は、取得枚数を表示部に表示可能に構成される。
【００１９】
さらに好ましくは、制御部は、外部からの変更指令に応じて、取得枚数を変更可能に構成される。
【００２０】
また好ましくは、制御部は、被写体距離変更手段を制御して取得枚数の画像を取得した後、画像の各々におけるフォーカス領域を抽出し、当該抽出されるそれぞれのフォーカス領域を結合して全焦点画像を生成する。
【００２１】
さらに好ましくは、制御部は、フォーカス領域の画素情報および対応の被写体距離に基づいて、対象物の高さ情報を取得し、全焦点画像および高さ情報から三次元画像データを生成する。
【発明の効果】
【００２２】
この発明によれば、三次元画像の生成精度および生成に要する時間を最適化できる拡大観察装置を実現できる。
【発明を実施するための最良の形態】
【００２３】
この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２４】
図１は、この発明の実施の形態に従う拡大観察装置１００の概略構成図である。
図１を参照して、拡大観察装置１００は、撮影した対象物の画像を拡大表示する拡大観察装置であって、撮像機構２と、本体部４と、表示部６と、入力部８とからなる。
【００２５】
撮像機構２は、対象物を撮影するための撮像部１２と、撮像部１２から対象物までの被写体距離を変更するための撮像駆動部１４とを含む。
【００２６】
撮像部１２は、レンズなどの光学系およびＣＣＤ（Charge Coupled Devices）などの撮像素子を含み、対象物から受ける光に応じた映像信号を本体部４へ出力する。また、撮像部１２は、後述するように、被写界深度を変更可能に構成され、変更される被写界深度に応じた状態信号を本体部４へ出力する。
【００２７】
撮像駆動部１４は、撮像部１２から対象物までの被写体距離を変更するための被写体変更手段に相当し、本体部４から受けた移動指令に応じて、撮像部１２を所定の方向に沿って移動させる。
【００２８】
本体部４は、Ｉ／Ｆ部１６と、制御部１８と、メモリ２０と、Ｉ／Ｏ制御部２２とからなる。
【００２９】
Ｉ／Ｆ部１６は、撮像機構２を構成する撮像部１２および撮像駆動部１４と電気的に接続され、撮像部１２から受けた映像信号および状態信号を制御部１８へ伝達するとともに、制御部１８から受けた駆動指令などを撮像駆動部１４へ伝達する。
【００３０】
制御部１８は、ＣＰＵ（Central Processing Unit）などの演算装置により構成される。そして、制御部１８は、被写体距離が所定の取得間隔で逐次的に変更されるように、撮像駆動部１４に移動指令を与えて制御するととともに、変更される被写体距離の各々において、撮像部１２によって撮影される画像を取得して、メモリ２０などに格納する。さらに、制御部１８は、取得した複数の画像における焦点の合った（フォーカスされた）領域（フォーカス領域）に基づいて、三次元画像データを生成する。
【００３１】
また、制御部１８は、入力部８を介して設定される撮像部１２の識別情報および／または撮像部１２から出力される状態信号に基づいて、撮像部１２における被写界深度を取得し、取得された被写界深度に基づいて、最適な取得間隔を決定する。さらに、制御部１８は、三次元画像データを生成するための対象物の断面高さ範囲を取得し、被写界深度と断面高さ範囲とに基づいて、画像の取得枚数を決定する。さらに、制御部１８は、決定した取得枚数を表示部６に表示することが可能であり、入力部８を介して与えられる変更指令に応じて、当該取得枚数を変更することも可能である。
【００３２】
メモリ２０は、制御部１８で実行されるプログラム、制御部１８により格納される画像のデータ、制御部１８のプログラム実行に伴うワークデータ、およびユーザなどから与えられる各種設定データなどを格納する。
【００３３】
Ｉ／Ｏ制御部２２は、表示部６および入力部８などと電気的に接続され、撮像部１２により撮影される拡大画像、ならびに制御部１８により生成される三次元画像およびＧＵＩ（Graphical User Interface）画面などを表示部６へ出力する。また、Ｉ／Ｏ制御部２２は、入力部８からユーザの操作に従う指令を受けて、当該指令を制御部１８へ伝達する。
【００３４】
表示部６は、一例として液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイおよび有機ＥＬ（Electro Luminescence）ディスプレイなどからなり、Ｉ／Ｏ制御部２２を介して出力される画像をその表示面に表示する。なお、本実施の形態においては、表示部６は、本体部４と一体的に構成される。
【００３５】
図２は、本実施の形態に従う本体部４および表示部６の外観の一例を示す図である。
図２を参照して、本体部４は箱型形状に形成される一方、表示部６は本体部４の上面をスライド可能に構成される。すなわち、表示部６は、拡大観察装置１００の使用時において、本体部４の上面に対して任意の角度をもつように配置されるとともに、拡大観察装置１００の不使用時において、本体部４の上面と平行になり、一体的に格納されるように配置される。このような構成により、本実施の形態に従う拡大観察装置１００は、持ち運びの容易性および省スペース化を実現することができる。
【００３６】
再度、図１を参照して、入力部８は、キーボードおよびマウスなどを含み、ユーザの操作による指令を受付けて本体部４へ出力する。さらに、入力部８の一例として、表示部６の表示面に形成されるタッチパネルなどを用いてもよい。
【００３７】
（撮像機構）
図３は、本実施の形態に従う撮像機構２の側面図の一例である。
【００３８】
図３を参照して、撮像機構２は、試料台３２と、スタンド３４と、スタンド係着部材３６と、撮像部固定部材３８とをさらに含む。試料台３２上には対象物が配置され、対象物の垂直方向に移動可能に配置される撮像部１２により対象物の撮影が行なわれる。スタンド３４は、試料台３２の垂直方向に延在するように配置され、撮像部１２の移動方向を決定する。
【００３９】
スタンド係着部材３６は、スタンド３４に沿って移動可能に構成され、かつユーザの所望する位置（高さ）で固定可能に構成される。具体的には、スタンド係着部材３６を構成するダイヤルやレバーによって移動および固定が操作される。
【００４０】
撮像部固定部材３８は、その側面において撮像部１２と連結され、撮像部１２を固定する。さらに、スタンド係着部材３６および撮像部固定部材３８は、たとえば送りネジを介して機械的に結合され、当該送りネジは、撮像駆動部１４と機械的に結合される。そして、撮像駆動部１４が出力する回転駆動力により、スタンド係着部材３６と撮像部固定部材３８との相対位置がスタンド３４の軸方向に変化する。
【００４１】
この結果、撮像部固定部材３８に連結された撮像部１２は、試料台３２の垂直方向に移動し、撮像部１２から対象物までの被写体距離が変化する。
【００４２】
撮像駆動部１４は、一例として、ステッピングモータ、および当該ステッピングモータを駆動するためのドライバ部などから構成され、本体部４から与えられる駆動指令に応じた回転量の発生が可能である。すなわち、ステッピングモータは、たとえば、１つの駆動パルスで１２０°（電気角）だけ回転するように構成できるので、所望する被写体距離の変化量に相当する数の駆動パルスをステッピングモータに与えるような制御系を構成すればよく、撮像部１２の位置制御を比較的容易に実現できる。
【００４３】
本発明の実施の形態に従う拡大観察装置１００は、任意の被写界振深度を有する撮像部を利用可能に構成されており、撮像部固定部材３８は、共通の取付寸法を有するさまざまな撮像部の着脱が自在に構成される。
【００４４】
図４は、本実施の形態に従う撮像部１２の側面図の一例である。
図４を参照して、撮像部１２は、受像部４０と、絞り部４２と、ズームレンズ部４４と、フォーカスレンズ部５０と、対物レンズ部５２とが直列的に配置された鏡筒からなる。そして、対象物の像は、対物レンズ部５２、フォーカスレンズ部５０、ズームレンズ部４４および絞り部４２を順に通過して、受像部４０に入射する。そして、受像部４０は、入射した像に応じた映像信号を生成する。一例として、受像部４０は、ＣＣＤなどの撮像素子からなる。
【００４５】
対物レンズ部５２は、対象物の像を最初に受光するレンズであり、比較的広角かつ高光量を確保できるように構成される。
【００４６】
フォーカスレンズ部５０は、対象物の像が受像部４０の位置で結像するように、焦点位置を調整する（フォーカス動作）。一例として、フォーカスレンズ部５０は、その外周に回転可能に配置されたダイヤルを操作されることで、レンズ間の相対関係が変化し、焦点位置の調整が行なわれる。
【００４７】
ズームレンズ部４４は、レンズ間の相対距離を変化可能に配置されたレンズ群により構成され、撮像部１２の光学系に係る焦点距離を変化させて、受像部４０に入射する対象物の像を拡大または縮小する（ズーム動作）。一例として、ズームレンズ部４４は、その外周に回転可能に配置されたダイヤルを操作されることで、ズーム動作を行なう。さらに、ズームレンズ部４４は、そのダイヤルの回転方向に沿って、予め定められたズーム倍率となる位置にラッチされるように構成される。なお、図４においては、「５０倍」、「１００倍」および「１５０倍」などの位置にラッチ可能な構成を例示している。そして、ズームレンズ部４４には、各ラッチ位置に対応して所定の状態信号を出力するように構成された状態検出部４６が配置される。
【００４８】
状態検出部４６は、一例としてマイクロスイッチなどの接点リレーからなり、各ラッチ位置に対応する接点リレーがラッチ動作に応じてオンまたはオフすることで、状態信号（ビット信号）を出力する。
【００４９】
ここで、撮像部１２の被写界深度は、ズームレンズ部４４のズーム倍率に応じて動的に変化する。すなわち、ズーム動作が可能であることは、撮像部１２における被写界深度が動的に変更可能であることを意味し、状態検出部４６から出力される状態信号は、変更される被写界深度に応じた値を示すことになる。
【００５０】
絞り部４２は、ズームレンズ部４４を通過して受像部４０に入射する像を所定の光量まで減衰させて、ハレーションなどの発生を抑制する。なお、一例として、絞り部４２は、その外周に回転可能に配置されたダイヤルを操作されることで、鏡筒内に配置されたアイリス機構の開度が変化し、絞り量（減衰量）の調整が行なわれる。
【００５１】
上述したように、拡大観察装置１００は、任意の被写界深度を有する撮像部１２を利用可能であり、かつ撮像部１２は、ズームレンズ部４４のズーム倍率に応じて被写界深度が変更可能である。すなわち、利用される撮像部１２の種類（静的変更）および撮像部１２の状態（動的変更）に応じて、被写界深度はさまざまに変化する。そのため、このような被写界深度の変化に対応して、取得間隔を最適化する必要がある。
【００５２】
そこで、本体部４における制御部１８は、撮像部１２の識別情報および状態信号に基づいて、撮像部１２における被写界深度を取得し、最適な取得間隔を決定する。
【００５３】
（合焦点法）
図５は、合焦点法に係る三次元画像データ生成時の外観を示す図である。
【００５４】
図５を参照して、一例として、半球状の対象物ＯＢＪについての三次元画像データを生成する場合について説明する。対象物ＯＢＪは、撮像部１２の鉛直下方の試料台３２上に配置され、画像の撮影が実行される。
【００５５】
図６は、合焦点法に係る三次元画像データの生成原理を説明するための図である。
図６を参照して、制御部１８（図１）は、被写体距離が所定の取得間隔で逐次的に変更されるように、撮像駆動部１４に移動指令を与えて制御するととともに、変更される被写体距離の各々において、撮像部１２によって撮影される画像を取得する。
【００５６】
ここで、三次元画像データの生成精度を向上させるためには、対象物ＯＢＪの各領域がいずれかの画像中のフォーカス領域として抽出される必要がある。すなわち、取得される画像から抽出されるそれぞれのフォーカス領域を結合した場合において、対象物ＯＢＪの全領域が含まれていなければならない。このような条件を満足する最大の取得間隔（すなわち、最低の取得枚数）は、取得間隔が撮像部１２の被写界深度ＤＯＦと一致する場合である。
【００５７】
すなわち、撮像部１２は、被写体距離が被写界深度ＤＯＦの範囲内である領域に対して、フォーカスすることができるので、被写体距離を被写界深度ＤＯＦ単位で変化させることにより、対象物ＯＢＪのすべての領域をフォーカス領域として抽出できる。したがって、三次元画像データの生成精度および生成に要する時間の最適化とは、その一局面として、取得間隔を被写界深度ＤＯＦと一致させることを意味する。
【００５８】
たとえば、試料台３２（図３）の上面を鉛直方向における基準位置ＢＬとすると、制御部１８は、基準位置ＢＬから被写界深度ＤＯＦの１／２だけ上側の撮影位置Ｐ１において、１番目の画像を取得する。なお、撮影位置とは、撮像部１２における狭義の焦点位置、すなわち撮像部１２によるフォーカスの度合が最大となる位置（最も焦点が合う位置）を示す。
【００５９】
以後、制御部１８は、撮像部１２を被写界深度ＤＯＦずつ鉛直上側に移動させるための移動指令を撮像駆動部１４に与えるととともに、各撮影位置Ｐ２〜Ｐ６において対象物ＯＢＪの画像をそれぞれ取得する。
【００６０】
なお、制御部１８は、後述する方法により対象物の断面高さ範囲Ｈを予め取得しており、被写界深度ＤＯＦに基づいて必要な取得枚数（整数値）を決定する。
【００６１】
続いて、制御部１８は、取得した画像の各々におけるフォーカス領域を抽出する。なお、取得した画像からフォーカス領域、すなわち焦点の合う領域を抽出するにはさまざまな方法が採用可能である。一例として、画像を構成する画素に対して、隣接する画素の明度差（コントラスト）が所定値を超過する領域をフォーカス領域として抽出するような方法が採用される。このようなフォーカス領域の抽出については、公知技術であるので、さらなる詳細な説明は行なわない。
【００６２】
図７は、抽出されるフォーカス領域を説明するための図である。
図７（ａ）は、図６の撮影位置Ｐ１における画像から抽出されるフォーカス領域ＦＰ１を示す。
【００６３】
図７（ｂ）は、図６の撮影位置Ｐ２における画像から抽出されるフォーカス領域ＦＰ２を示す。
【００６４】
撮影位置Ｐ１では、図６に示すように撮影位置Ｐ１を中心とする被写界深度ＤＯＦの範囲に相当する領域に対してフォーカス可能である。そのため、図７（ａ）に示すように、撮影位置Ｐ１において取得される画像では、対象物ＯＢＪの一部および試料台３２を含むフォーカス領域ＦＰ１が抽出される。
【００６５】
また、撮影位置Ｐ２では、撮影位置Ｐ２を中心とする被写界深度ＤＯＦの範囲に相当する領域に対してフォーカス可能である。そのため、図７（ｂ）に示すように、撮影位置Ｐ２において取得される画像では、対象物ＯＢＪの一部を含むフォーカス領域ＦＰ２が抽出される。
【００６６】
以下同様にして、撮影位置Ｐ１〜Ｐ６において取得される画像からフォーカス領域ＦＰ１〜ＦＰ６がそれぞれ抽出される。制御部１８は、このように抽出したフォーカス領域ＦＰ１〜ＦＰ６を結合して全焦点画像を生成する。
【００６７】
図８は、フォーカス領域ＦＰ１〜ＦＰ６の結合により生成される全焦点画像の模式図である。
【００６８】
図８を参照して、全焦点画像は、フォーカス領域ＦＰ１〜ＦＰ６を結合して生成される画像である。ここで、取得間隔が撮像部１２の被写界深度ＤＯＦと一致しているので、抽出されるフォーカス領域ＦＰ１〜ＦＰ６が互いに重複することはなく、効率的なフォーカス領域の抽出が行なわれていることがわかる。すなわち、取得間隔について最適化されているといえる。
【００６９】
このような全焦点画像は、対象物ＯＢＪの撮像部１２の撮影面（試料台３２に相当）への写像を意味し、いわば、被写界深度の深い（フォーカスできる範囲の広い）撮像部で対象物ＯＢＪを撮影して得られる画像と等価である。
【００７０】
上述の全焦点画像の生成に加えて、制御部１８は、フォーカス領域の画素情報および対応の被写体距離に基づいて、対象物ＯＢＪの高さ情報を取得する。ここで、高さ情報は、対象物ＯＢＪの各領域における撮像方向の位置を示すデータ群であり、通常は、撮像部１２によって撮影される画像の画素配置（たとえば、１６００×１２００ドット）と対応付けて構成される。すなわち、高さ情報は、撮像部１２によって撮影される画像の画素行列に対応するように配置された行列で表される。
【００７１】
再度、図７（ａ）を参照して、制御部１８は、抽出されたフォーカス領域ＦＰ１を構成する各画素の高さとして、対応する被写体位置（撮影位置Ｐ１）を示す値に決定する。具体的には、行列状に配置される高さ情報のうち、フォーカス領域ＦＰ１を構成する画素に対応する各要素に対して、撮影位置Ｐ１の位置データ（たとえば、基準位置ＢＬからの相対値）を代入する。
【００７２】
以下同様にして、制御部１８は、フォーカス領域ＦＰ２〜ＦＰ６を構成する各画素の高さとして、それぞれ対応する被写体位置（撮影位置Ｐ２〜Ｐ６）を示す値に決定する。このような処理により、画像の各画素位置と高さデータとを対応付けた高さ情報が生成される。なお、高さ情報に格納される高さデータの各々は、断面高さ範囲Ｈを基準として規格化（０〜２５５デジット）されてもよい。
【００７３】
さらに、制御部１８は、フォーカス領域毎に画一的に決定される高さ情報を数値補間処理により、平滑化してもよい。すなわち、上述の方法によれば、画像の各画素位置の高さデータは、撮影位置Ｐ１〜Ｐ６のいずれかを示す値に決定されるので、６段階のレベルの高さ情報が生成されることになる。そのため、対象物ＯＢＪの形状をより正確に取得するためには、数値補間処理などを実行して、より平滑化することが望ましい。
【００７４】
図９は、高さ情報を濃淡画像としてイメージ化した図の一例である。なお、図９においては、より高い位置にある画素（撮像部１２により近い画素）ほど高い濃度（黒色）をもつようにしてある。
【００７５】
図９を参照して、高さ情報は、撮影される画像の画素位置と対応付けて構成されるため、同一の大きさを有する濃淡画像として表現することができる。
【００７６】
上述のように、制御部１８は、全焦点画像および高さ情報を取得する。上述したように、全焦点画像は、対象物ＯＢＪの撮像部１２の撮影面への写像であり、高さ情報は、対象物ＯＢＪの各画素の断面高さ位置を示すデータである。したがって、全焦点画像の各画素に対して、高さ情報を付加することで三次元画像データを生成することができる。いわば、高さ情報に基づいて生成される形状に対して、全焦点画像を投射することで、三次元画像データが生成される。
【００７７】
（取得間隔の決定）
制御部１８は、撮像部１２における被写界深度を取得し、取得される被写界深度に基づいて最適な取得間隔を決定する。一方、拡大観察装置１００は、任意の被写界深度を有する撮像部１２を利用可能であり、かつ撮像部１２は、ズームレンズ部４４のズーム倍率に応じて被写界深度を変更可能である。
【００７８】
そこで、制御部１８は、撮像部１２の識別情報の識別情報に基づいて、撮像部１２の種類に応じて「静的に変更」される被写界深度を取得するとともに、撮像部１２からの状態信号に基づいて、撮像部１２のズーム倍率などに応じて「動的に変更」される被写界深度を取得する。
【００７９】
図１０は、メモリ２０に格納される被写界深度決定テーブルの一例を示す図である。
図１０を参照して、被写界深度決定テーブルは、識別情報ＩＤ（ＩＤ１，ＩＤ２，・・・，ＩＤｎ）と、状態情報ＳＴ（ＳＴ１，ＳＴ２，・・・，ＳＴｎ）とによって規定される二次元のテーブルであり、識別情報ＩＤおよび状態情報ＳＴに対応付けて被写界深度ＤＯＦが規定される。被写界深度ＤＯＦの各々の値は、予め実験的または理論的に求められる。
【００８０】
本実施の形態においては、一例として、識別情報ＩＤは、ユーザにより設定されて、メモリ２０に格納される。具体的には、撮像部１２の交換時などにおいて、ユーザが対応の識別情報ＩＤを入力部８の操作により設定する。識別情報ＩＤは、たとえば、絞り部４２、ズームレンズ部４４、フォーカスレンズ部５０および対物レンズ部５２などの撮像部１２における光学系の構成を特定可能な形式が望ましい。なお、当然のことながら、撮像部１２から出力される状態信号に識別情報ＩＤを含ませるように構成し、制御部１８が接続される撮像部１２の識別情報ＩＤを自動的に取得するように構成してもよい。さらに、識別情報ＩＤを格納する無線タグなどを撮像部１２に内蔵させ、制御部１８が当該無線タグから識別情報ＩＤを取得するように構成してもよい。
【００８１】
一方、状態情報ＳＴは、撮像部１２から取得される状態信号に基づいて生成される。すなわち、状態信号により示されるズームレンズ部４４のズーム倍率に対応して状態情報ＳＴの値が決定される。
【００８２】
（断面高さ範囲）
図６に示すように、三次元画像データの生成にあたっては、断面高さ範囲Ｈ、すなわち三次元画像データの高さ方向の範囲を予め決定しておく必要がある。そこで、本実施の形態に従う拡大観察装置１００は、ユーザが断面高さ範囲を直接設定するセミオートモードと、制御部１８により断面高さ範囲が設定されるフルオートモードとを備える。
【００８３】
（ｉ）セミオートモード
表示部６には、撮像部１２により撮影された画像が表示される。制御部１８は、入力部８を介して入力される撮像部１２に対する移動指令に応じて、撮像駆動部１４に駆動指令を与え、撮像部１２から対象物ＯＢＪまでの被写体距離を変更する。そのため、表示部６に表示される画像は、被写体距離に応じて変化する。
【００８４】
一方、ユーザは、入力部８を操作して、三次元画像データを生成するための開始位置および終了位置に相当する画像が表示されるまで、撮像部１２を移動させる。そして、撮像部１２がそれぞれ開始位置または終了位置まで移動した時点で、ユーザは、入力部８を操作して、それぞれ開始位置または終了位置を示す指令を与える。すると、制御部１８は、それぞれ開始位置または終了位置を示す指令が与えられた時点における被写体距離をメモリ２０に格納し、当該格納した２つの被写体距離間を断面高さ範囲に設定する。
【００８５】
（ｉｉ）フルオートモード
三次元画像データを生成しようとする場合において、対象物ＯＢＪの底面および頂上面は、予めユーザに知られていることが多い。このような場合には、開始位置および終了位置を直接的に設定する構成に代えて、対象物ＯＢＪの底面および頂上面となる領域を設定する構成とする方がよりユーザフレンドリとなる。
【００８６】
そこで、フルオートモードでは、撮像部１２で撮影される画像内において２つの開始終了領域を設定されると、制御部１８が断面高さ範囲を決定する。
【００８７】
図１１は、フルオートモードにおける表示画面の一例である。
図１１を参照して、表示部６に表示される画像内において、２つの開始終了領域ＬＡ１，ＬＡ２が設定可能に構成される。ユーザは、入力部８（たとえば、マウス）を操作して、開始終了領域ＬＡ１，ＬＡ２を設定する。
【００８８】
開始終了領域ＬＡ１，ＬＡ２の設定後、制御部１８は、開始終了領域ＬＡ１，ＬＡ２のそれぞれについてフォーカスされる被写体距離を検索する。具体的には、制御部１８は、撮像駆動部１４に駆動指令を与え、撮像部１２から対象物ＯＢＪまでの被写体距離を順次変更する。同時に、制御部１８は、開始終了領域ＬＡ１，ＬＡ２のそれぞれについてフォーカスされるか否かの判断を繰返す。そして、開始終了領域ＬＡ１，ＬＡ２についてフォーカスされたと判断すると、当該時点の被写体距離をそれぞれメモリ２０に格納し、当該格納した２つの被写体距離間を断面高さ範囲に設定する。
【００８９】
そして、制御部１８は、取得される被写界深度ＤＯＦと、セミオートモードまたはフルオートモードに従って設定される断面高さ範囲Ｈとに基づいて、必要な取得枚数（整数値）を決定する。
【００９０】
（ＧＵＩ画面）
図１２は、決定される取得枚数を表示するためのＧＵＩ画面の一例を示す図である。
【００９１】
図１２を参照して、制御部１８は、ユーザからの指令に応答して、上述した手順に従って取得枚数を決定し、決定した取得枚数をＧＵＩ画面の枚数表示領域６２に表示させる。
【００９２】
具体的には、ＧＵＩ画面内には、標準ボタン６４および高品質ボタン６６が配置される。そして、ポインタ７０などの操作により標準ボタン６４が選択（クリック）されると、制御部１８は、識別情報ＩＤおよび状態情報ＳＴに基づいて、撮像部１２における被写界深度ＤＯＦを取得し、当該被写界深度ＤＯＦと一致するように取得間隔を決定する。さらに、制御部１８は、上述のセミオートモードまたはフルオートモードに従って設定される断面高さ範囲Ｈを被写界深度ＤＯＦで除算して、取得枚数を決定する。
【００９３】
一方、高品質ボタン６６が選択（クリック）されると、制御部１８は、識別情報ＩＤおよび状態情報ＳＴに基づいて、撮像部１２における被写界深度ＤＯＦを取得し、当該被写界深度ＤＯＦの１／２値（半値）と一致するように取得間隔を決定する。さらに、制御部１８は、上述のセミオートモードまたはフルオートモードに従って設定される断面高さ範囲Ｈを被写界深度ＤＯＦで除算して、取得枚数を決定する。すなわち、「高品質」モードでは、三次元画像データの生成精度をより向上させるために、取得枚数を「通常」モードの２倍に相当する値に決定する。
【００９４】
また、このＧＵＩ画面においては、枚数表示領域６２に表示される取得枚数は、ポインタ７０などの操作により変更可能に構成される。すなわち、ユーザは、ポインタ７０を操作して枚数表示領域６２を選択（クリック）するとともに、入力部８（たとえば、キーボードなど）を操作して、所望の取得枚数を入力することもできる。
【００９５】
さらに、ＧＵＩ画面内の取得開始ボタン６８が選択（クリック）されると、制御部１８は、撮像駆動部１４に駆動指令を与えて、当該時点における取得枚数の画像の取得を開始する。そして、制御部１８は、上述した手順に従って、取得した画像から全焦点画像および高さ情報を生成し、三次元画像データを生成する。
【００９６】
図１３は、本実施の形態に従う処理の概略を示すフローチャートである。
図１３を参照して、制御部１８は、断面高さ範囲Ｈを取得するために、断面高さ範囲取得サブルーチンを実行する（ステップＳ１００）。続いて、制御部１８は、現時点の被写界深度ＤＯＦを取得するために、被写界深度取得サブルーチンを実行する（ステップＳ１０２）。
【００９７】
その後、制御部１８は、ＧＵＩ画面（図１２）を表示部６に表示する（ステップＳ１０４）。そして、制御部１８は、取得枚数の前回値をメモリ２０から読出し、初期値としてＧＵＩ画面の枚数表示領域６２に表示する（ステップＳ１０６）。
【００９８】
制御部１８は、ＧＵＩ画面の標準ボタン６４または高品質ボタン６６が選択されたか否かを判断する（ステップＳ１０８）。
【００９９】
標準ボタン６４が選択された場合（ステップＳ１０８において「標準」の場合）には、制御部１８は、「取得枚数＝断面高さ範囲Ｈ／被写界深度ＤＯＦ（但し、小数点以下は切上げ）」の演算を実行して取得枚数を更新する（ステップＳ１１０）。
【０１００】
一方、高品質ボタン６６が選択された場合（ステップＳ１０８において「高品質」の場合）には、制御部１８は、「取得枚数＝２×断面高さ範囲Ｈ／被写界深度ＤＯＦ（但し、小数点以下は切上げ）」の演算を実行して取得枚数を更新する（ステップＳ１１２）。
【０１０１】
ＧＵＩ画面の標準ボタン６４および高品質ボタン６６のいずれも選択されていない場合（ステップＳ１０８においてＮＯの場合）には、制御部１８は、ＧＵＩ画面の枚数表示領域６２が選択されたか否かを判断する（ステップＳ１１４）。枚数表示領域６２が選択された場合（ステップＳ１１２においてＹＥＳの場合）には、制御部１８は、枚数表示領域６２に入力される数値に従って取得枚数を更新する（ステップＳ１１６）。
【０１０２】
取得枚数を更新した場合（ステップＳ１１０、Ｓ１１２およびＳ１１６を実行した場合）には、制御部１８は、更新後の取得枚数をＧＵＩ画面の枚数表示領域６２に表示する（ステップＳ１１８）。そして、制御部１８は、ステップＳ１０８以下の処理を繰返し実行する。
【０１０３】
枚数表示領域６２が選択されていない場合（ステップＳ１１４においてＮＯの場合）には、制御部１８は、取得開始ボタン６８が選択されたか否かを判断する（ステップＳ１２０）。
【０１０４】
取得開始ボタン６８が選択されていない場合（ステップＳ１２０においてＮＯの場合）には、制御部１８は、ステップＳ１０８以下の処理を繰返し実行する。
【０１０５】
一方、取得開始ボタン６８が選択された場合（ステップＳ１２０においてＹＥＳの場合）には、制御部１８は、当該時点における取得枚数をメモリ２０に格納する（ステップＳ１２２）。さらに、制御部１８は、撮像駆動部１４に駆動指令を与えて、当該時点における取得枚数の画像を取得する（ステップＳ１２４）。
【０１０６】
具体的には、制御部１８は、まず、撮像部１２の撮影位置が断面高さ範囲の開始位置に一致するように、撮像駆動部１４に駆動指令を与える。撮像部１２の撮影位置が開始位置に一致すると、制御部１８は、当該時点における画像を取得する。続いて、制御部１８は、撮像部１２の撮影位置が取得間隔に相当する距離だけ変化するように、撮像駆動部１４に駆動指令を与える。取得間隔に相当する距離の変化が完了すると、制御部１８は、当該時点における画像を取得する。以下同様にして、制御部１８は、画像取得および撮像部１２の移動を取得枚数分だけ繰返す。
【０１０７】
そして、制御部１８は、取得した画像から全焦点画像および高さ情報を生成し、三次元画像データを生成する（ステップＳ１２６）。その後、制御部１８は、生成した三次元画像データなどを他の表示アプリケーションなどに渡して処理を終了する。
【０１０８】
図１４は、断面高さ範囲取得サブルーチンの処理の概略を示すフローチャートである。
図１４を参照して、制御部１８は、いずれのモードが選択されるかを判断する（ステップＳ２００）。
【０１０９】
セミオートモードが選択される場合（ステップＳ２００において「セミオート」の場合）には、制御部１８は、入力部８を介して与えられる移動指令に応じて、撮像部１２から対象物ＯＢＪまでの被写体距離を変更する（ステップＳ２０２）。そして、制御部１８は、開始位置または終了位置を示す指令を受けたか否かを判断する（ステップＳ２０４）。
【０１１０】
開始位置または終了位置を示す指令を受けた場合（ステップＳ２０４においてＹＥＳの場合）には、制御部１８は、当該時点における被写体距離をメモリ２０に格納する（ステップＳ２０６）。そして、制御部１８は、開始位置および終了位置に対応する被写体距離が共に格納されているか否かを判断する（ステップＳ２０８）。
【０１１１】
開始位置および終了位置に対応する被写体距離が共に格納されている場合（ステップＳ２０８においてＹＥＳの場合）には、制御部１８は、格納された２つの被写体距離により規定される範囲を断面高さ範囲に設定し（ステップＳ２１０）、元の処理に戻る。
【０１１２】
開始位置または終了位置を示す指令を受けていない場合（ステップＳ２０４においてＮＯの場合）、もしくは開始位置または終了位置に対応する被写体距離のいずれかが格納されていない場合（ステップＳ２０８においてＮＯの場合）には、制御部１８は、ステップＳ２０２以下の処理を繰返し実行する。
【０１１３】
フルオートモードが選択される場合（ステップＳ２００において「フルオート」の場合）には、制御部１８は、入力部８を介して与えられる指令に応じて、撮像部１２で撮影される画像内において２つの開始終了領域を設定する（ステップＳ２１２）。そして、制御部１８は、撮像駆動部１４に駆動指令を与え被写体距離を順次変更する（ステップＳ２１４）。並行して、制御部１８は、開始終了領域の各々についてフォーカスされるか否かを判断する（ステップＳ２１６）。
【０１１４】
いずれの開始終了領域についてもフォーカスされない場合（ステップＳ２１６においてＮＯの場合）には、制御部１８は、ステップＳ２１４以下の処理を繰返し実行する。
【０１１５】
いずれかの開始終了領域についてフォーカスされる場合（ステップＳ２１６においてＹＥＳの場合）には、制御部１８は、当該時点における被写体距離をメモリ２０に格納する（ステップＳ２１８）。そして、制御部１８は、開始位置および終了位置に対応する被写体距離が共に格納されているか否かを判断する（ステップＳ２２０）。
【０１１６】
開始位置および終了位置に対応する被写体距離が共に格納されている場合（ステップＳ２２０においてＹＥＳの場合）には、制御部１８は、格納された２つの被写体距離により規定される範囲を断面高さ範囲に設定し（ステップＳ２２２）、元の処理に戻る。
【０１１７】
開始位置または終了位置に対応する被写体距離のいずれかが格納されていない場合（ステップＳ２２０においてＮＯの場合）には、制御部１８は、ステップＳ２１４以下の処理を繰返し実行する。
【０１１８】
図１５は、被写界深度取得サブルーチンの処理の概略を示すフローチャートである。
図１５を参照して、制御部１８は、撮像部１２の識別情報ＩＤがメモリ２０に格納されているか否かを判断する（ステップＳ３００）。
【０１１９】
撮像部１２の識別情報ＩＤがメモリ２０に格納されている場合（ステップＳ３００においてＹＥＳの場合）には、制御部１８は、メモリ２０から識別情報ＩＤを取得する（ステップＳ３０２）。そして、制御部１８は、撮像部１２から状態信号を取得できるか否かを判断する（ステップＳ３０４）。
【０１２０】
撮像部１２から状態信号を取得できる場合（ステップＳ３０４においてＹＥＳの場合）には、制御部１８は、取得した状態信号に基づいて状態情報ＳＴの値を決定する（ステップＳ３０６）。
【０１２１】
一方、撮像部１２の識別情報ＩＤがメモリ２０に格納されていない場合（ステップＳ３００においてＮＯの場合）、もしくは撮像部１２から状態信号を取得できない場合（ステップＳ３０４においてＮＯの場合）には、制御部１８は、識別情報ＩＤおよび状態情報ＳＴをそれぞれ予め定められた所定値（デフォルト値）に決定する（ステップＳ３０８）。
【０１２２】
そして、制御部１８は、現時点の識別情報ＩＤおよび状態情報ＳＴをパラメータとして、被写界深度決定テーブル（図１０）から被写界深度ＤＯＦを取得し（ステップＳ３１０）、元の処理に戻る。
【０１２３】
なお、本実施の形態においては、撮像部１２のズームレンズ部４４におけるズーム倍率を示す状態信号を用いる構成について例示したが、被写界深度を変更する他の光学要素（たとえば、フォーカスレンズ部など）をさらに示す状態信号を用いてもよい。
【０１２４】
また、本実施の形態においては、「被写体変更手段」の一例として撮像駆動部１４を用いて撮像部１２を移動させる構成について説明したが、撮像部１２の移動に加えて、もしくは単独で試料台３２を移動させるように構成してもよい。
【０１２５】
この発明の実施の形態によれば、対象物ＯＢＪの三次元画像データの生成に用いられる複数の画像を取得するための取得間隔の決定に際して、撮像部１２の被写界深度が考慮される。このため、フォーカス領域を抽出するための複数の画像を、撮像部１２がフォーカスできる範囲に相応しい間隔で取得できるので、画像の取得枚数が過度に増大することなく、三次元画像の生成精度と生成に要する時間とをバランスさせることができる。よって、三次元画像の生成精度および生成に要する時間を最適化した拡大観察装置を実現できる。
【０１２６】
また、この発明の実施の形態によれば、使用される撮像部１２の種類および撮像部１２における状態（たとえば、ズーム倍率など）などに応じて、各時点における被写界深度を取得し、取得間隔を自動的に更新する。このため、ユーザは、たとえば撮像部１２のズーム倍率を変える毎に、取得間隔または取得枚数を変更する必要がなく、より作業効率を向上させることができる。
【０１２７】
また、この発明の実施の形態によれば、決定される取得間隔に基づいて決定される取得枚数がユーザに対して表示される。さらに、表示される取得枚数は、ユーザによって変更可能に構成される。そのため、ユーザは、三次元画像の生成処理の程度を直感的に知ることができ、よりユーザフレンドリな拡大観察装置を実現できる。
【０１２８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１２９】
【図１】この発明の実施の形態に従う拡大観察装置の概略構成図である。
【図２】本実施の形態に従う本体部および表示部の外観の一例を示す図である。
【図３】本実施の形態に従う撮像機構の側面図の一例である。
【図４】本実施の形態に従う撮像部の側面図の一例である。
【図５】合焦点法に係る三次元画像データ生成時の外観を示す図である。
【図６】合焦点法に係る三次元画像データの生成原理を説明するための図である。
【図７】抽出されるフォーカス領域を説明するための図である。
【図８】フォーカス領域の結合により生成される全焦点画像の模式図である。
【図９】高さ情報を濃淡画像としてイメージ化した図の一例である。
【図１０】メモリに格納される被写界深度決定テーブルの一例を示す図である。
【図１１】フルオートモードにおける表示画面の一例である。
【図１２】決定される取得枚数を表示するためのＧＵＩ画面の一例を示す図である。
【図１３】本実施の形態に従う処理の概略を示すフローチャートである。
【図１４】断面高さ範囲取得サブルーチンの処理の概略を示すフローチャートである。
【図１５】被写界深度取得サブルーチンの処理の概略を示すフローチャートである。
【符号の説明】
【０１３０】
２  撮像機構、４  本体部、６  表示部、８  入力部、１２  撮像部、１４  撮像駆動部、１６  Ｉ／Ｆ部、１８  制御部、２０  メモリ、２２  Ｉ／Ｏ制御部、３２  試料台、３４  スタンド、３６  スタンド係着部材、３８  撮像部固定部材、４０  受像部、４２  絞り部、４４  ズームレンズ部、４６  状態検出部、５０  フォーカスレンズ部、５２  対物レンズ部、６２  枚数表示領域、６４  標準ボタン、６６  高品質ボタン、６８  取得開始ボタン、７０  ポインタ、１００  拡大観察装置、ＢＬ  基準位置、ＤＯＦ  被写界深度、ＦＰ１〜ＦＰ６  フォーカス領域、Ｈ  断面高さ範囲、ＩＤ  識別情報、ＬＡ１，ＬＡ２  開始終了領域、ＯＢＪ  対象物、ＳＴ  状態情報。
【図１】
2007316433.tif 000003
【図２】
2007316433.tif 000004
【図３】
2007316433.tif 000005
【図４】
2007316433.tif 000006
【図５】
2007316433.tif 000007
【図６】
2007316433.tif 000008
【図７】
2007316433.tif 000009
【図８】
2007316433.tif 000010
【図１０】
2007316433.tif 000011
【図１１】
2007316433.tif 000012
【図１２】
2007316433.tif 000013
【図１３】
2007316433.tif 000014
【図１４】
2007316433.tif 000015
【図１５】
2007316433.tif 000016
【図９】
2007316433.tif 000017