(57)【特許請求の範囲】
【請求項１】
試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、
前記移動手段の位置情報を検出する位置検出手段と、
前記撮像領域でフレーム画像を取得する画像取得手段と、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量を検出する第１の補正量検出手段であって、前記第１の補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記第１の補正量検出手段と、
前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量を検出する第２の補正量検出手段であって、前記第２の補正量は、前記指定された位置座標から前記位置検出手段で検出された前記位置情報である位置座標までの距離であるという、前記第２の補正量検出手段と、
予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択する補正量決定手段と、を備え、
前記画像生成手段は、前記補正量決定手段によって選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする顕微鏡。
【請求項２】
請求項１に記載の顕微鏡において、
前記補正量決定手段は、前記第１の補正量が前記規定値以下である場合に前記第１の補正量を選択し、前記第１の補正量が前記規定値を上回る場合に前記第２の補正量を選択する
ことを特徴とする顕微鏡。
【請求項３】
請求項１に記載の顕微鏡において、
前記補正量決定手段は、前記第１の補正量が前記規定値以下である場合に前記第１の補正量を選択し、前記第１の補正量が前記規定値を上回る場合には、再度前記規定値と前記第１の補正量を比較し、
前記第１の補正量検出手段は、複数の検出条件をもち、前記補正量決定手段において前記第１の補正量が前記規定値を上回る場合に、前記補正量決定手段が再度前記規定値と前記第１の補正量の比較を行う前に、前記検出条件を変更して再度前記第１の補正量を検出する
ことを特徴とする顕微鏡。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の顕微鏡において、
前記第１の補正量検出手段は、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記第１の補正量を検出する
ことを特徴とする顕微鏡。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の顕微鏡において、更に、
前記移動手段として、前記試料を搭載して移動可能なステージを備え、
前記位置検出手段は、前記ステージの位置座標を検出し、
前記第２の補正量検出手段は、前記フレーム画像に対応する前記ステージの位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量を検出する
ことを特徴とする顕微鏡。
【請求項６】
請求項５に記載の顕微鏡において、さらに、
前記第１の補正量検出手段が前記第１の補正量を検出する前に、前記第２の補正量に基づいて前記フレーム画像の位置座標の補正を行う事前位置補正手段を備える
ことを特徴とする顕微鏡。
【請求項７】
請求項５または請求項６に記載の顕微鏡において、
前記規定値は、前記ステージの移動精度に基づいて定められる値である
ことを特徴とする顕微鏡。
【請求項８】
請求項１乃至請求項７のいずれか１項に記載の顕微鏡において、さらに、
前記貼り合わせ画像を表示媒体に出力する画像表示制御手段を備え、
前記画像表示制御手段は、前記貼り合わせ画像を構築する際に用いた前記第１の補正量と前記第２の補正量の割合を前記表示媒体に出力する
ことを特徴とする顕微鏡。
【請求項９】
試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、
前記移動手段の位置情報を検出する位置検出手段と、
前記撮像領域でフレーム画像を取得する画像取得手段と、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量を検出する補正量検出手段であって、前記補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記補正量検出手段と、
予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択する補正量決定手段と、を備え、
前記画像生成手段は、前記補正量決定手段によって前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記
補正量決定手段によって前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする顕微鏡。
【請求項１０】
指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、
前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、
予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、
選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする画像貼り合わせ方法。
【請求項１１】
指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、
前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、
予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、
選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とするプログラム。
【請求項１２】
指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像
を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、
予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、
前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする画像貼り合わせ方法。
【請求項１３】
指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、
予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、
前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
画像貼り合わせ機能を有した顕微鏡分野に関する。
【背景技術】
【０００２】
従来、顕微鏡分野では、異なる撮像領域で取得された複数のフレーム画像を貼り合わせることで、一枚の大きな貼り合わせ画像とする技術が知られている。
【０００３】
例えば、試料を載せた電動ステージを規定量移動させ、各位置でフレーム画像を取得し、電動ステージを移動させる際に電動ステージへ指定した位置座標に基づいて各フレーム画像を貼り合わせる、貼り合わせ技術が知られている。但し、指定した位置座標に基づいた上記の貼り合わせ技術では、移動後の電動ステージの実際の位置座標と電動ステージへ指定した位置座標との間に誤差をもつことから、貼り合わせる際に位置ずれが生じる。その結果として、移動後の電動ステージの実際の位置座標と指定した位置座標との間の誤差に起因した位置ずれが各貼り合わせ毎に累積されて、見栄えの悪い貼り合わせ画像ができてしまうという問題があった。
【０００４】
上記の問題を解決することができる別の画像貼り合わせ技術として、隣り合うフレーム画像の重複部分から特徴点を検出して、その特徴点に基づいて画像を貼り合わせるマッチング方式を用いたものが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許５０９６３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
マッチング方式では、フレーム画像の重複部分において特徴点が見つからず、画像の貼り合わせが出来ないことがある。特に、試料の表面がよく研磨されたキズのない状態であれば、重複した狭い領域において特徴点を見つけることは難しい。
【０００７】
また、特徴点を誤検知した場合には、本来の特徴点から大きく離れた位置で貼り合わせを実行してしまう。誤検知であれば、貼り合わせの失敗として認識されないため、そのまま貼り合わせが実行されてしまい、大きなずれ量をもつ貼り合わせ画像ができてしまう。
【０００８】
以上の観点から、マッチング方式では、貼り合わせに成功すれば精度の良い貼り合わせ画像を得られる一方で、所望の貼り合わせ画像が得られない状況が往々にして起こり得ることから、信頼性に欠けるという問題があった。
【０００９】
そこで、本発明では、信頼性の高い貼り合わせ画像を取得できる顕微鏡、画像貼り合わせ方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様の顕微鏡は、試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、前記移動手段の位置情報を検出する位置検出手段と、前記撮像領域でフレーム画像を取得する画像取得手段と、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量を検出する第１の補正量検出手段であって、前記第１の補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記第１の補正量検出手段と、前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量を検出する第２の補正量検出手段であって、前記第２の補正量は、前記指定された位置座標から前記位置検出手段で検出された前記位置情報である位置座標までの距離であるという、前記第２の補正量検出手段と、予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択する補正量決定手段と、を備え、前記画像生成手段は、前記補正量決定手段によって選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを
特徴とする。
【００１１】
本発明の別の態様の顕微鏡は、試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、前記移動手段の位置情報を検出する位置検出手段と、前記撮像領域でフレーム画像を取得する画像取得手段と、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量を検出する補正量検出手段であって、前記補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記補正量検出手段と、予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択する補正量決定手段と、を備え、前記画像生成手段は、前記補正量決定手段によって前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量決定手段によって前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ
画像を構築することを特徴とする。
【００１２】
本発明の一態様の画像貼り合わせ方法は、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
【００１３】
本発明の別の画像貼り合わせ方法は、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
【００１４】
本発明の一態様のプログラムは、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
【００１５】
本発明の別の態様のプログラムは、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、前記補正量が
選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、信頼性の高い貼り合わせ画像を取得できる顕微鏡、画像貼り合わせ方法、プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態における顕微鏡１の構成図を示す。
【図２】（Ａ）は第１の実施形態におけるコントローラ１２０の構成を示し、（Ｂ）は第１の実施形態におけるコントローラ１２０の機能構成を示す。
【図３】第１の実施形態における顕微鏡１を用いて行う画像貼り合わせのフローチャートを示す。
【図４】第１の補正量に基づいたＸＹ方向における画像貼り合わせ方法を示す図。
【図５】第１の補正量に基づいたＺ方向における画像貼り合わせ方法を示す図。
【図６】第１の実施形態の変形例におけるコントローラ２２０の機能構成を示す。
【図７】第１の実施形態の変形例における顕微鏡２を用いて行う画像貼り合わせのフローチャートを示す。
【図８】第２の実施形態における顕微鏡３を用いて行う画像貼り合わせのフローチャートを示す。
【図９】第３の実施形態におけるコントローラ３２０の機能構成を示す。
【図１０】第３の実施形態における顕微鏡４を用いて行う画像貼り合わせのフローチャートを示す。
【図１１】第４の実施形態における顕微鏡５を用いて行う画像貼り合わせのフローチャートを示す。
【図１２】第１の補正量と第２の補正量の割合を表示している状態の画像表示手段１３０を示す。
【発明を実施するための最良の形態】
【００１８】
以下、図を参照しつつ、本発明における第１の実施形態について説明する。図１は、本実施形態における顕微鏡１の構成図である。顕微鏡１は、それぞれが接続された顕微鏡本体１００と、コントローラ１２０と、画像表示手段１３０と、入力装置１４０を備えている。顕微鏡本体１００は、試料１０２を設置するステージ１０１と、試料１０２に光を照射する光学系及び、試料１０２からの光（反射光、蛍光含む）を検出するための検出光学系を備えている。
【００１９】
顕微鏡本体１００は、試料１０２に光を照射するための光学系として、レーザ光を射出する光源１０５と、コリメートレンズ１０６と、ハーフミラー１０７と、対物レンズ１０３と、複数の対物レンズ１０３を固定するレボルバ１０４を備えている。ハーフミラー１０７は、レーザ光と試料からの光とを区別するダイクロイックミラー等で置き換えてもよい。レボルバ１０４を回転させることによって使用される対物レンズ１０３が光路上に選択されると、光源１０５から射出されたレーザ光の一部が、ハーフミラー１０７を反射し、試料１０２へ照射される。
【００２０】
ここで、ステージ１０１及び顕微鏡本体１００のヘッド部１１２は、コントローラ１２０からの制御によって移動が可能である。ステージ１０１は、紙面横方向と紙面奥行き方向をそれぞれＸ軸、Ｙ軸としたＸＹ平面上を移動し、ヘッド部１１２は、紙面縦方向であるＺ方向を移動する。ＸＹ位置検出手段１１０及びＺ位置検出手段１１１は、例えばスケールであり、それぞれ位置情報としてステージ１０１とヘッド部１１２の位置座標を検出する。レーザ光を照射しながら、ステージ１０１及びヘッド部１１２が位置移動を行うことで、試料１０２表面上の異なった撮像領域をレーザ照射し、また、ピントの調節を行うことができる。
【００２１】
顕微鏡本体１００は、検出光学系として更に、結像レンズ１０８と、画像取得手段１０９を備えている。ここで、対物レンズ１０３とハーフミラー１０７は、検出光学系としても機能し、対物レンズ１０３を通過した試料１０２からの光の一部がハーフミラー１０７を透過し、画像取得手段１０９へ到達する。画像取得手段１０９は、例えばカメラであり、結像レンズ１０８で結像した光を取り込んで電気信号に変換し、コントローラ１２０に出力することで、撮像領域のフレーム画像を取得する。このとき、フレーム画像は、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１で検出された位置情報を併せ持っている。または、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１で検出された位置情報が、対応するフレーム画像と紐付けされている状態であってもよい。
【００２２】
コントローラ１２０は、各種の演算処理を行うコンピュータであり、例えば、図２（Ａ）に示すように、ＣＰＵ（Central Processing Unit）２１、メモリ２２、入力Ｉ／Ｆ装置２３、出力Ｉ／Ｆ装置２４、記憶装置２５、及び、可搬記録媒体２７が挿入される可搬記録媒体駆動装置２６を備え、これらがバス２８によって相互に接続されている。なお、図２（Ａ）は、コントローラ１２０の構成の一例であり、コントローラ１２０は、この構成に限定されるものではない。
【００２３】
ＣＰＵ２１は、所定のプログラムを実行して演算処理等を行う。メモリ２２は、例えば、ＲＡＭ（Random Access Memory）であり、プログラムの実行の際に、記憶装置２５または可搬記録媒体２７に記憶されているプログラムまたはデータを一時的に格納する。
【００２４】
入力Ｉ／Ｆ装置２３は、入力装置１４０、画像取得手段１０９、ＸＹ位置検出手段１１０、及びＺ位置検出手段１１１からの信号を受信する。出力Ｉ／Ｆ装置２４は、画像表示手段１３０、ステージ１０１、ヘッド部１１２へ信号を出力する。
【００２５】
記憶装置２５は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置２６は、光ディスクやコンパクトフラッシュ（登録商標）等の可搬記録媒体２７を収容するもので、可搬記録媒体２７は、記憶装置２５を補助する役割を有する。
【００２６】
コントローラ１２０は、記憶装置２５または可搬記録媒体２７に記憶されているプログラムをＣＰＵ２１がメモリ２２にロードして実行することで、様々な機能を実現する。例えば、コントローラ１２０は、画像取得手段１０９によって取得された、異なる撮像領域におけるフレーム画像を貼り合わせることで一枚の貼り合わせ画像を生成する画像生成手段や、貼り合わせ画像を表示媒体である画像表示手段１３０へ表示させる画像表示制御手段として機能する。
【００２７】
図２（Ｂ）は、コントローラ１２０が有する主要な機能構成を示す。各機能構成は、ステージ１０１やヘッド部１１２の移動を制御する駆動制御部１２７と、規定値記憶部１２１と、第１の補正量検出手段１２２と、第２の補正量検出手段１２３と、補正量決定手段１２４と、画像生成手段１２５と、画像表示制御手段１２６にわけられる。
【００２８】
駆動制御部１２７では、ステージ１０１とヘッド部１１２を移動させる際に、指定された位置座標までの移動量を示す指示値を指定する。尚、指定された位置座標とは、画像取得手段１０９がフレーム画像を取得するための撮像領域を指定する位置座標であり、使用者が入力装置１４０を介して複数設定することができる。ステージ１０１とヘッド部１１２は、指示値に基づいて、指定された位置座標まで移動を行う。また、ステージ１０１やヘッド部１１２は、指示値に基づいて動くが、装置が移動する際の誤差や、温度、演算エラー等による位置ずれによって、指定された位置座標とずれた異なる位置に動くことがある。以下、ステージ１０１またはヘッド部１１２が動いた後の実際の位置座標と上述した本来の指定された位置座標との間の位置ずれの距離をずれ量と記載する。
【００２９】
第１の補正量検出手段１２２と第２の補正量検出手段１２３は、画像取得手段１０９において取得された異なる撮像領域におけるフレーム画像を貼り合わせる際の、補正量を検出する手段である。補正量とは、指定された位置座標からの位置ずれを補正するために必要な移動量である。
第１の補正量検出手段１２２は、後述する特徴点のマッチングを行う方法によって、画像取得手段１０９において取得された異なる撮像領域におけるフレーム画像を貼り合わせる際の、補正量を検出する手段である。第１の補正量検出手段１２２によって検出される補正量の算出値を、以下第１の補正量と記載する。
【００３０】
第２の補正量検出手段１２３は、後述する第１の補正量検出手段とは別の方法によって、画像取得手段１０９において取得された異なる撮像領域におけるフレーム画像を貼り合わせる際の、補正量を検出する手段である。第２の補正量検出手段１２３によって検出される補正量の算出値を、以下第２の補正量と記載する。
【００３１】
規定値記憶部１２１は、補正量を決定する際に用いる予め設定された規定値を記憶する。規定値は、補正の精度を保障するために設けられる値であり、およそ数μｍ程度である。
【００３２】
指定された位置座標と実際の位置座標との間の位置ずれは、主にステージ１０１やヘッド部１１２の移動精度に基づくものであるから、補正の精度を保障する値である規定値は、ステージ１０１やヘッド部１１２の移動精度に基づいて定められることが望ましい。さらに、規定値は、温度や演算エラー等の上記の位置ずれの要因となる他の要素に基づいて定められてもよい。また、ステージ１０１とヘッド部１１２に対してそれぞれ別の規定値が設けられていてもよい。
【００３３】
補正量決定手段１２４は、第１の補正量と規定値を比較することで、第１の補正量と第２の補正量のいずれかを選択する。より具体的には、補正量決定手段１２４は、第１の補正量が規定値以下である場合に第１の補正量を選択し、第１の補正量が規定値を上回る場合に第２の補正量を選択する。
【００３４】
画像生成手段１２５は、補正量決定手段１２４で選択された第１の補正量または第２の補正量のいずれかに基づいて、フレーム画像を貼り合わせることで、貼り合わせ画像を構築する。
【００３５】
画像表示制御手段１２６は、画像生成手段１２５が構築した貼り合わせ画像を表示媒体である画像表示手段１３０に出力することで、画像表示手段１３０に貼り合わせ画像を表示させる。
【００３６】
以上の構成を有する顕微鏡１を用いて画像の貼り合わせを行う方法と、第１、第２の補正量の検出方法を、以下、図面を参照しながら説明する。
【００３７】
図３は、本実施形態における顕微鏡１を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。
【００３８】
まず、ステップＳ１１でステージ１０１上に試料１０２を搭載する。ステージ１０１は、駆動制御手段１２７が指定した指示値に基づき移動を行い、ヘッド部１１２は、撮像領域においてピントの調節を行う（ステップＳ１２）。ステップＳ１３において、画像取得手段１０９は、フレーム画像を取得する。尚、ここでは、画像貼り合わせに用いるフレーム画像を複数取得するため、複数の撮像領域を指定し、各撮像領域でステップＳ１２とステップＳ１３を繰り返し、指定した全ての撮像領域においてフレーム画像を取得する。
【００３９】
次にステップＳ１４において、第２の補正量検出手段１２３が、第２の補正量を検出する。第２の補正量検出手段１２３では、各々のフレーム画像のＸＹ位置検出手段１１０及びＺ位置検出手段１１１において検出された位置座標と、指定された位置座標との間の距離を検出することで、第２の補正量を得る。より具体的には、第２の補正量検出手段１２３は、各フレーム画像に対応する指定された位置座標に基づいてフレーム画像を仮想的に配置した場合において、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１において検出された位置座標と指定された位置座標との間の距離を検出することで第２の補正量を得る。
【００４０】
次にステップＳ１５において、第１の補正量検出手段１２２が、第１の補正量を検出する。図４は、ステージ１０１の移動方向であるＸＹ方向において、第１の補正量検出手段１２２が第１の補正量を検出する方法を示す図である。第１の補正量検出手段１２２は、２つのフレーム画像Ａ、Ｂの重複領域Ａ１、Ｂ１から、共通する特徴点である小領域ｆＡ、ｆＢを検出し、小領域ｆＡとｆＢの間の距離を検出することで、第１の補正量を得る。より具体的には、第１の補正量検出手段１２２は、各フレーム画像に対応する指定された位置座標に基づいてフレーム画像を仮想的に配置した場合において、小領域ｆＡとｆＢとの距離を検出することで、第１の補正量を得る。
【００４１】
図５は、ヘッド部１１２の移動方向であるＺ方向において、第１の補正量検出手段１２２が第１の補正量を検出する方法を示す図である。図４で例示した２つのフレーム画像Ａ、Ｂは、Ｚ方向の位置情報ももっており、共通する特徴点ｆＡ、ｆＢの最もピントの合うＺ位置座標が、フレーム画像Ａ、Ｂにおいてそれぞれｈ１、ｈ２であるとする。第１の補正量検出手段１２２は、ＸＹ方向において第１の補正量を検出した場合と同様に、ｈ１とｈ２の間の距離を検出することで、第１の補正量を得る。尚、特徴点は、２つのフレーム画像においてそれぞれ1つだけでなく、対応する複数の特徴点を検出して、補正量を得てもよい。
【００４２】
ステップＳ１６において、補正量決定手段１２４は、第１の補正量が規定値以下であるかどうかの判定を行う。ステップＳ１６の判定がＹｅｓの場合、補正量決定手段１２４は、第１の補正量を選択し、画像生成手段１２５は、選択された第１の補正量を用いてフレーム画像の貼り合わせを行う（ステップＳ１７）。
【００４３】
画像貼り合わせを行う際には、まず各フレーム画像を、指定された位置座標に配置した上で、算出した補正量を用いてずれ量を補正する。画像生成手段１２５は、補正された位置座標において各フレーム画像の画像貼り合わせを行う。
【００４４】
第１の補正量を用いて貼り合わせを行う方法は、所謂テンプレートマッチングである。図４において説明するならば、画像生成手段１２５は、第１の補正量を用いて小領域ｆＡ、ｆＢが合致するようにフレーム画像Ｂを移動させることでずれ量を補正する。尚ここでは、フレーム画像Ａを取得後、ステージ１０１を指示値に基づいて移動した後にフレーム画像Ｂを取得したものとする。図５において説明するならば、画像生成手段１２５は、第１の補正量を用いて小領域ｆＡ、ｆＢの最もピントが合うＺ位置座標が合致するようにフレーム画像ＢをＺ方向に移動させることでずれ量を補正する。尚ここでは、フレーム画像Ａを取得後、ヘッド部１１２を指示値に基づいて移動した後にフレーム画像Ｂを取得したものとする。この作業を各フレーム画像において行うことで、全てのフレーム画像においてずれ量を補正することができる。画像生成手段１２５は、補正された位置座標において画像貼り合わせを行う。
【００４５】
ステップＳ１６の判定がＮｏの場合、補正量決定手段１２４は、第２の補正量を選択し、画像生成手段１２５は、選択された第２の補正量を用いて各々のフレーム画像のずれ量を補正し、画像貼り合わせを行う（ステップＳ１８）。以上の手順によって画像貼り合わせを完了する。
【００４６】
以上のように、本実施形態における顕微鏡１によれば、第１の補正量検出手段１２２によって検出された第１の補正量を用いたテンプレートマッチングによる高精度の位置合わせを行うことによって、精度のよい画像貼り合わせを行うことができる。一方、第１の補正量がステージ１０１等の精度に基づいた規定値よりも大きな値を示すような場合、すなわち第１の補正量検出手段における第１の補正量の検出が正常に行われなかったことが想定される場合に、第２の補正量検出手段１２３によって検出された第２の補正量を用いて、画像貼り合わせを行う。これにより、画像貼り合わせに際して行う補正の精度を、少なくとも第２の補正量に基づいた値で保障することができる。
【００４７】
尚、第１の補正量の検出が正常に行われなかったような状況とは、例えば、フレーム画像同士の重複領域において特徴点が見つからず、または近似した異なる特徴点が多数含まれるような状況において、特徴点を誤検知したような場合である。特徴点を誤検知した場合には、一般にフレーム画像が本来貼り合わされる位置から大きくずれた位置に貼り合わされてしまうが、本実施形態における顕微鏡１を用いた画像貼り合わせによれば、少なくとも規定値以下の値である第２の補正量に基づいて貼り合わせが行われる。そのため、テンプレートマッチングが失敗した場合でも信頼性の高い貼り合わせ画像を取得することができる。
【００４８】
また、画像貼り合わせは、単体のフレーム画像同士を貼り合わせるものだけでなく、複数のフレーム画像が貼り合わさった貼り合わせ画像と一枚のフレーム画像とを貼り合わせるようなものも含む。
【００４９】
本実施形態では、ステージ１０１及びヘッド部１１２は、駆動制御部１２７によって制御されることで移動を行う電動式であるが、ステージ及びヘッド部の移動は電動ではなく、手動でもよい。手動の場合は、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１のスケールをもとに使用者がフレーム画像の取得位置を決定してもよい。
【００５０】
また、顕微鏡１は、試料１０２のＸ、Ｙ、Ｚ軸方向への移動手段を備えているが、更にＸＹ平面上を回転するような移動手段を備えていてもよい。画像貼り合わせの際には、本実施形態における補正量の検出方法を用いて、回転方向に対する補正量を求めてもよい。
【００５１】
以下、第１の実施形態の変形例について説明する。
【００５２】
顕微鏡２は、コントローラ１２０の代わりにコントローラ２２０を備えている点において、顕微鏡１と異なっている。図６はコントローラ２２０の機能構成を示しており、コントローラ２２０は、第２の補正量検出手段１２３を備えておらず、補正量決定手段１２４と画像生成手段１２５の代わりに、補正量決定手段２２４と画像生成手段２２５を備えている点においてコントローラ１２０と異なっているが、それ以外の構成はコントローラ１２０と同様である。
【００５３】
以上の構成を有する顕微鏡２を用いてフレーム画像の貼り合わせを行う手順について、図７を参照しつつ説明する。図７は、本変形例における顕微鏡２を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。
【００５４】
ステップＳ１１からステップＳ１３及びステップＳ１５からステップＳ１７については、図３のフローチャートに示した手順と同様のため説明を省略する。本変形例では、ステップＳ１３においてフレーム画像が取得された後、ステップＳ１５へ移行して第１の補正量を検出する。
【００５５】
ステップＳ１６で第１の補正量が規定値を上回った場合（判定がＮｏである場合）、ステップＳ２８に移行する。ステップＳ２８において、画像生成手段２２５は、補正量による補正を行わずに、フレーム画像の貼り合わせを行う。以上の手順によって画像の貼り合わせが完了する。
【００５６】
以上のように、本変形例における顕微鏡２においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。
【００５７】
尚、本変形例では、第２の補正量検出手段を用いずに貼り合わせ画像を取得する方法を記載したが、第１の実施形態の他の変形例として、顕微鏡が有するコントローラが少なくとも２つ以上の異なる第２の補正量検出手段を有しているような場合も考えられる。この場合では、第１の補正量検出手段におけるテンプレートマッチングが正常に行われなかった場合に、フレーム画像の補正が、規定値以下の値であるいずれかの第２の補正量に基づいて行われるものであればよい。
【００５８】
以下、本発明の第２の実施形態について説明する。図８は、本実施形態における顕微鏡３を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。顕微鏡３は、顕微鏡１と同様の構成であるため、顕微鏡３の構成については記載を省略する。
【００５９】
ステップＳ１１からステップＳ１４までは、第１の実施形態における図３のフローチャートに示した手順と同様のため説明を省略する。ステップＳ１４で第２の補正量が検出された後、ステップＳ３１へ移行する。
【００６０】
ステップＳ３１では、指定された位置座標に基づいて各フレーム画像を配置した上で、検出された第２の補正量を用いてフレーム画像の位置座標の補正を行う。ステップＳ３２では、ステップＳ３１で位置座標が補正された各フレーム画像を、指定された位置座標に基づいて仮想的に配置した場合において、ステップＳ３１で補正した位置座標と指定された位置座標との間の位置ずれを更に補正する第１の補正量を算出する。
【００６１】
ステップＳ１６は、第１の実施形態における図３のフローチャートに示した手順と同様である。ステップＳ１６において判定がＹｅｓの場合には、ステップＳ３３へ移行し、ステップＳ１６において判定がＮｏの場合には、ステップＳ３４へ移行する。
【００６２】
以下、ステップＳ３３またはステップＳ３４において画像貼り合わせを行う。ここで、ステップＳ３１で位置座標が補正された各フレーム画像を、指定された位置座標に配置する。ステップＳ３３では、算出した第１の補正量を用いて更にフレーム画像の位置座標を補正し、画像生成手段１２５が各フレーム画像の画像貼り合わせを行う。ステップＳ３４では、ステップＳ３１で補正した位置座標のまま各フレーム画像の画像貼り合わせを行う。以上の手順によって画像の貼り合わせが完了する。
【００６３】
以上のように、本実施形態における顕微鏡３においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。
【００６４】
本実施形態における画像貼り合わせでは、第２の補正量に基づいてフレーム画像の位置座標を補正した上で第１の補正量検出手段によって特徴点の抽出、及び、第１の補正量の検出が行われる。したがって、第２の補正量に基づいた位置座標の補正が行われない場合と比べて、フレーム画像の実際の位置座標と本来の指定された位置座標との間の位置ずれが小さい状態で第１の補正量の検出が行われるため、対応する特徴点をより近い位置で見つけることができ、特徴点の検出を行いやすい。また、対応する特徴点をより近い位置で見つけることができることから、第１の実施形態よりも特徴点を検出するサーチ範囲を狭めることができ、補正量検出時間、ひいては貼り合わせ時間の短縮が可能となる。
【００６５】
以下、本発明における第３の実施形態について説明する。顕微鏡４は、コントローラ１２０の代わりにコントローラ３２０を備えている点において、顕微鏡１と異なっているが、それ以外の構成は顕微鏡１と同様である。図９は、コントローラ３２０の構成を示しており、コントローラ３２０は、新たに画像処理手段１２８を備えている。
【００６６】
画像処理手段１２８は、第１の補正量検出手段１２２が、二つのフレーム画像の重複領域から特徴点を検出する際の、検出条件を変更するものである。検出条件の変更は、例えば、どの程度の形状の類似によって特徴点を検出するかといった、特徴点を検出する際のマッチング率の変更である。また、特徴点を検出する範囲であるサーチ範囲の変更も検出条件の変更に含まれる。
【００６７】
以下、図１０を参照しつつ、本発明の第３の実施形態における顕微鏡４を用いたフレーム画像の貼り合わせ手順について説明する。図１０は、本実施形態における顕微鏡４を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。
【００６８】
ステップＳ１１からステップＳ３３までは、第２の実施形態における図８のフローチャートに示した手順と同様のため説明を省略する。
【００６９】
ステップＳ１６で第１の補正量が規定値を上回った場合（判定がＮｏである場合）、ステップＳ４１に移行する。ステップＳ４１では、ステップＳ１６でｎ回Ｎｏと判定されたかどうかを判定する。尚、ｎは任意の数であって、ステップＳ４１は、後述するステップＳ１６からステップＳ４３の間の無限ループを防ぐために設定される。
【００７０】
ステップＳ４１の判定がＮｏである場合、ステップＳ４２へ移行する。ステップＳ４２では、画像処理手段１２８は、第１の補正量検出手段の検出条件を変更する。尚ここでは、検出条件はマッチング率であるものとして説明を続ける。特徴点の検出精度を上げることでテンプレートマッチングの成功率を上げることができるため、画像処理手段１２８は、マッチング率を増加させるように変更することが望ましい。
【００７１】
ステップＳ４２において検出条件を変更した上で、再度第１の補正量検出手段１２２によって第１の補正量を検出してＥへ移行する（ステップＳ４３）。以下、ステップＳ１６で第１の補正量が規定値以下となるか、ステップＳ４１でＹｅｓと判定されるまで、ステップＳ１６からステップＳ４３を繰り返す。
【００７２】
ステップＳ４１の判定がＹｅｓである場合、ステップＳ３１で補正した位置座標のまま各フレーム画像の画像貼り合わせを行う。（ステップＳ３４）。以上の手順によってフレーム画像の貼り合わせを完了する。
【００７３】
以上のように、本実施形態における顕微鏡４においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。また、本実施形態における画像貼り合わせでは、一度第１の補正量が規定値以上であると判定されても、検出条件を変更した上で再度第１の補正量を検出することができる。そのため、第１の補正量を用いた貼り合わせ画像を取得できる確率が上昇する。
【００７４】
また、画像処理手段１２８は、特徴点のサーチ範囲を規定値以内としてもよい。
【００７５】
以下、本発明における第４の実施形態について説明する。図１１は、本実施形態における顕微鏡５を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。顕微鏡５は、顕微鏡１と同様の構成であるため、顕微鏡５の構成については記載を省略する。
【００７６】
ステップＳ１１からステップＳ３４までは、第２の実施形態における図８のフローチャートに示した手順と同様のため説明を省略する。
【００７７】
ステップＳ３３、またはステップＳ３４において画像貼り合わせを行ったとき、全てのフレーム画像において貼り合わせが完了したかどうかを判定する（ステップＳ５１）。ステップＳ５１の判定がＮｏである場合、ステップＳ１４へ移行し、以下全てのフレーム画像において貼り合わせが完了するまでステップＳ１４からステップＳ５１を繰り返す。
【００７８】
ステップＳ５１の判定がＹｅｓである場合、ステップＳ５２へ移行する。ステップＳ５２では、画像表示制御手段１２６は、フレーム画像の貼り合わせに使用した第１の補正量と第２の補正量の使用頻度の割合を画像表示手段１３０に表示する。図１２は、第１の補正量と第２の補正量の使用頻度の割合を表示している状態の画像表示手段１３０を示している。領域Ｃにおいて、貼り合わせ画像が示されており、領域Ｄにおいて、画像貼り合わせに用いた第１の補正量と第２の補正量の使用頻度の割合が棒グラフとして示されている。第１の補正量と第２の補正量の割合を示す手段は上記の方法に限らず、例えば円グラフや数値として示してもよい。以上の手順によってフレーム画像の貼り合わせを完了する。
【００７９】
以上のように、本実施形態における顕微鏡５においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。また、以上のような方法によれば、フレーム画像の貼り合わせに使用した第１の補正量と第２の補正量の使用頻度の割合を知ることができるため、貼り合わせ画像における精度を確認することができる。
【００８０】
また、画像表示制御手段１２６は、画像表示手段１３０において補正量の割合を表示する代わりに、取得した貼り合わせ画像に補正量の使用頻度の割合の情報を入れて保存してもよい。
【００８１】
上述した第１から第４の実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。顕微鏡は、特許請求の範囲に記載した本発明を逸脱しない範囲において、さまざまな変形、変更が可能である。
【符号の説明】
【００８２】
１、２、３、４、５                                  顕微鏡
２１                                                ＣＰＵ
２２                                                メモリ
２３                                                入力Ｉ/Ｆ装置
２４                                                出力Ｉ/Ｆ装置
２５                                                記憶装置
２６                                                可搬記憶媒体駆動装置
２７                                                可搬記憶媒体
２８                                                バス
１００                                              顕微鏡本体
１０１                                              ステージ
１０２                                              試料
１０３                                              対物レンズ
１０４                                              レボルバ
１０５                                              光源
１０６                                              コリメートレンズ
１０７                                              ハーフミラー
１０８                                              結像レンズ
１０９                                              画像取得手段
１１０                                              ＸＹ位置検出手段
１１１                                              Ｚ位置検出手段
１１２                                              ヘッド部
１２０、２２０、３２０                              コントローラ
１２１                                              規定値記憶部
１２２                                              第１の補正量検出手段
１２３                                              第２の補正量検出手段
１２４、２２４                                      補正量決定手段
１２５、２２５                                      画像生成手段
１２６                                              画像表示制御手段
１２７                                              駆動制御部
１２８                                              画像処理手段
１３０                                              画像表示手段
１４０                                              入力装置
Ａ、Ｂ、Ｃ、Ｄ、Ａ１、Ｂ１、ｆＡ、ｆＢ                領域
ｈ１、ｈ２                                        位置座標
【図１】
0006572117.tif 000002
【図２】
0006572117.tif 000003
【図３】
0006572117.tif 000004
【図４】
0006572117.tif 000005
【図５】
0006572117.tif 000006
【図６】
0006572117.tif 000007
【図７】
0006572117.tif 000008
【図８】
0006572117.tif 000009
【図９】
0006572117.tif 000010
【図１０】
0006572117.tif 000011
【図１１】
0006572117.tif 000012
【図１２】
0006572117.tif 000013