(57)【要約】【課題】観察条件の変化の前後で撮影された画像を対照して比較できるように表示させる顕微鏡用撮像装置および顕微鏡システムを提供する。【解決手段】試料の顕微鏡による拡大像を撮像して得られる観察画像データを所定の時間間隔で取得する撮像部と、撮像部で取得される観察画像データを保持し、表示部による表示処理に供する第１の画像メモリと、第１の画像メモリに新たな観察画像データが保持されるごとに、第１の画像メモリに保持されていた観察画像データを保持する第２の画像メモリと、第１の画像メモリと第２の画像メモリとにそれぞれ保持されている観察画像データ取得時の観察条件の間に変化を検出したときに、第２の画像メモリの書き換えを停止する条件変化検出部と、観察条件の変化が検出されたときに、第２の画像メモリに保持されている観察条件の変化前の観察画像データと所定時間ごとに更新される第１の画像メモリ内の観察画像データとを比較対照可能なように表示部に表示させる表示制御部とを備える。【選択図】      図１
2010145947.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡の対物レンズを介して得られる観察画像を所定の時間間隔で取得する撮像部と、
前記撮像部によって前記観察画像のデータが取得されるごとに観察画像データを保持し、この観察画像データを表示部による表示処理に供する第１の画像メモリと、
前記第１の画像メモリに新たな観察画像データが保持されるごとに、前記第１の画像メモリに保持されていた前記観察画像データを保持する第２の画像メモリと、
前記第１の画像メモリに保持されている前記観察画像データ取得時の観察条件と前記第２の画像メモリに保持されている前記観察画像データ取得時の観察条件との間の変化を検出したときに、前記第２の画像メモリの書き換えを停止する条件変化検出部と、
前記条件変化検出部により前記観察条件の変化が検出されたときに、前記第２の画像メモリに保持されている観察条件変化前の観察画像データと所定時間ごとに更新される前記第１の画像メモリ内の観察画像データとを比較対照可能なように表示部に表示させる表示制御部と
を備えたことを特徴とする顕微鏡用撮像装置。
【請求項２】
請求項１に記載の顕微鏡用撮像装置において、
前記条件変化検出部は、前記第１の画像メモリと前記第２の画像メモリとにそれぞれ保持されている２つの観察画像データを比較して、２つの観察画像データの類似性が所定の閾値よりも低くなったときに、観察条件の変化があったことを検出する構成である
ことを特徴とする顕微鏡用撮像装置。
【請求項３】
請求項１に記載の顕微鏡用撮像装置において、
前記条件変化検出部は、前記顕微鏡の観察光学系に備えられる対物レンズおよび照明装置を含む各部の設定状態を示す設定情報の通知を受け、通知される前記設定情報の変化に基づいて観察条件の変化を検出する構成である
ことを特徴とする顕微鏡用撮像装置。
【請求項４】
顕微鏡の対物レンズを介して得られる観察画像を所定の時間間隔で取得する撮像部と、
前記撮像部によって前記観察画像のデータが取得されるごとに観察画像データを保持する第１の画像メモリと、
前記第１の画像メモリに新たな観察画像データが保持されるごとに、前記第１の画像メモリに保持されていた前記観察画像データを保持する第２の画像メモリと、
前記第１の画像メモリに保持されている前記観察画像データ取得時の観察条件と前記第２の画像メモリに保持されている前記観察画像データ取得時の観察条件との間の変化を検出したときに、前記第２の画像メモリの書き換えを停止する条件変化検出部と、
通常は、前記第１の画像メモリに所定の時間間隔で書き込まれる観察画像データに基づいて、前記試料の動画表示を行い、前記条件変化検出部により前記観察条件の変化が検出されたときに、前記第２の画像メモリに保持されている観察条件変化前の観察画像データを前記第１の画像メモリ内の観察画像データに基づく動画表示と比較対照可能なように表示する表示処理部と
を備えたことを特徴とする顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡用撮像装置および顕微鏡システムに関する。
【背景技術】
【０００２】
顕微鏡にデジタルカメラなどの撮像部を持つ撮像装置を接続し、この撮像装置で所定のフレームレートで顕微鏡の観察対象である試料を撮影して得られる観察画像を連続的にモニタに表示することにより、顕微鏡を操作している人物だけでなく、顕微鏡の周囲にいる人物もモニタ画面を介して試料の動画像による観察を行うことができる(特許文献１参照)。
【０００３】
上述したような顕微鏡用撮像装置を利用して、顕微鏡による観察像をモニタ画面に表示するようなシステムを用いて複数の人物が同時に観察を行う場合にも、対物レンズの交換や照明の強度の変更といった観察条件を変える操作は、接眼レンズを覗きながら顕微鏡の操作を行う操作者に任されている。したがって、操作者が、例えば、対物レンズの倍率を変えたことを、モニタ画面を介して観察している周囲の観察者に伝えることにより、操作者と周囲の観察者との間で観察条件に関する知識が共有され、最良の観察条件を探索する過程の円滑化が図られている。
【０００４】
また、上述したような顕微鏡用撮像装置を用いて、観察対象を最良の条件で撮影しようとするために、デジタルカメラの出力が飽和しない程度に最も明るい画像が得られるように照明光の強度などの観察条件を変えていく場合がある。この際には、照明光の強度などを変えたいくつかの観察条件に対応して撮影した画像を保存しておき、これらの画像を互いに比較することにより、最良の撮影条件の特定を行っていた。
【特許文献１】特開２０００−３０５４３３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の顕微鏡用撮像装置を利用したシステムでは、観察条件を変更する操作を行ったことを周囲の観察者に伝える作業は、顕微鏡の操作者に任されている。このため、操作者によって観察条件が変化した旨が説明されない場合には、操作者とモニタ画面を介して試料の動画像を観察している観察者との間での観察条件に関する知識の共有が円滑にできなくなってしまう。
【０００６】
また、上述したような従来の顕微鏡用撮像装置を用いて最良の撮影条件を探索するためには、観察条件の異なる複数の画像をそれぞれ保存する手順や、保存された画像を並べて表示させる手順を、操作者が顕微鏡用撮像装置に対して指示して実行させる必要があり、作業が煩雑だった。
【０００７】
これらの課題は、観察条件が変化する前後で試料を表す画像がどのように変化したかを操作者および周囲の観察者が比較できるように表示する仕組みが提供されていないことによって起こっている。
【０００８】
本発明は、観察条件の変化の前後で撮影された画像を対照して比較できるように表示させる顕微鏡用撮像装置および顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的は、以下に開示する顕微鏡用撮像装置および顕微鏡システムによって達成することができる。
【００１０】
第１の観点の顕微鏡用撮像装置は、顕微鏡の対物レンズを介して得られる観察画像を所定の時間間隔で取得する撮像部と、撮像部によって観察画像のデータが取得されるごとに観察画像データを保持し、この観察画像データを表示部による表示処理に供する第１の画像メモリと、第１の画像メモリに新たな観察画像データが保持されるごとに、第１の画像メモリに保持されていた観察画像データを保持する第２の画像メモリと、第１の画像メモリに保持されている観察画像データ取得時の観察条件と第２の画像メモリに保持されている観察画像データ取得時の観察条件との間の変化を検出したときに、第２の画像メモリの書き換えを停止する条件変化検出部と、条件変化検出部により観察条件の変化が検出されたときに、第２の画像メモリに保持されている観察条件変化前の観察画像データと所定時間ごとに更新される第１の画像メモリ内の観察画像データとを比較対照可能なように表示部に表示させる表示制御部とを備える。
【００１１】
また、第２の観点の顕微鏡システムは、顕微鏡の対物レンズを介して得られる観察画像を所定の時間間隔で取得する撮像部と、撮像部によって観察画像のデータが取得されるごとに観察画像データを保持する第１の画像メモリと、第１の画像メモリに新たな観察画像データが保持されるごとに、第１の画像メモリに保持されていた観察画像データを保持する第２の画像メモリと、第１の画像メモリに保持されている観察画像データ取得時の観察条件と第２の画像メモリに保持されている観察画像データ取得時の観察条件との間の変化を検出したときに、第２の画像メモリの書き換えを停止する条件変化検出部と、通常は、第１の画像メモリに所定の時間間隔で書き込まれる観察画像データに基づいて、試料の動画表示を行い、条件変化検出部により観察条件の変化が検出されたときに、第２の画像メモリに保持されている観察条件変化前の観察画像データを第１の画像メモリ内の観察画像データに基づく動画表示と比較対照可能なように表示する表示処理部とを備える。
【発明の効果】
【００１２】
上述した顕微鏡用撮像装置および顕微鏡システムによれば、顕微鏡を介して試料を観察する過程において、観察条件の変化の前後で撮影された画像を対照して比較できるように表示させることができる。これにより、観察条件の変化の方向が、良好な観察条件に近づいているか否かを判断しやすくなるので、最適な観察条件の特定を支援することができ、顕微鏡用撮像装置によって取得した画像に基づいて、操作者と観察者とで共に観察条件の最適条件であるか否かの判断を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に示した顕微鏡１０には、ＣＣＤあるいはＣＭＯＳセンサを備えた撮像部２０が顕微鏡１０のポートに接続されている。このポートには顕微鏡１０の対物レンズ１０１からの光の一部が導かれている。この撮像部２０には対物レンズ１０１を介して、顕微鏡１０のステージに載せられた試料の拡大像が形成されている。この拡大像を撮像部２０で受光して得られる画像信号が所定のフレームレートに従って取得され、カメラコントローラ２１に送られる。
【００１４】
撮像部２０からの画像信号は、例えば、カメラインタフェース(Ｉ／Ｆ)部２２によって画像データに変換される。その後に画像メモリａ２３に１フレームの画像毎に保持される。この画像メモリａ２３に上述した所定のフレームレートで書き込まれる画像データは、画像合成部２６の動画表示処理部３１を介して表示制御部２７に送られ、この画像データに基づいて、試料の顕微鏡１０による拡大像が画像表示部１１によって動画表示される。
【００１５】
また、画像メモリａ２３に１フレーム分の画像データが格納される過程で、変化検出部２５は、画像メモリａ２３に格納される画像データに基づいて、後述するようにして、この画像データで表される１フレームの画像の特徴を抽出し、抽出した現フレームの画像の特徴を直前の画像データから抽出した前フレームの画像の特徴と比較する。この比較結果により、前フレームの画像と現フレームの画像との間で大きな変化がなかったことが示された場合に、変化検出部２５は、画像メモリａ２３に保持された現フレームの画像データを画像メモリｂ２４に転送して保持させ、一方、大きな変化が検出された場合は、撮影条件に変化があったものと推定して撮影条件の変化として検出し、画像メモリｂ２４への転送を停止して書込み禁止状態を設定し、画像メモリｂ２４に保持されている前フレームの画像データを維持する。
【００１６】
この変化検出部２５は、例えば、画像メモリａ２３に現フレームに含まれる各画素の色あるいは明るさを表す画素データが格納される際に、画素データを所定の閾値と比較し、この比較結果に基づいて、所定値以上に明るい画素(あるいは暗い画素)の数を、１フレームの画像データを領域に応じて複数等分したブロック(例えば、８等分した各ブロック)ごとに集計し、この集計結果を画像メモリａ２３に保持される現フレームの画像データの特徴を示す特徴情報として利用することができる。そして、このようにして現フレームの画像データの特徴情報として得られた各ブロックの集計結果と、前フレームの画像データに基づいて同様にして得られた各ブロックの集計結果とを、変化検出部２５によりブロックごとに比較し、例えば、集計結果の差が所定の閾値以上であるブロックがあるか否かによって、現フレームの画像データと前フレームの画像データとの間に大きな変化があるか否かを判定することができる。また、変化検出部２５により、各ブロックに対応する集計結果を例えば多い順に順位付けし、現フレームの画像データと前フレームの画像データとで各ブロックに与えられる順位が変わっているか否かによって、現フレームの画像と前フレームの画像との間の撮影条件の変化を検出することもできる。
【００１７】
例えば、図２(ａ)に示すように、試料の全体が捉えられた少なくとも１フレームの画像データが取得された後に、顕微鏡１０の対物レンズ１０１が交換され、図２(ｂ)に示すように、試料の中央部が捉えられた画像に切り換えられたときに、上述したようにして、変化検出部２５により、撮像部２０で取得された画像の変化が検出される。
【００１８】
このとき、この変化検出部２５からの通知に応じて、画像合成部２６の縮小画像生成部３２は、例えば、画像メモリｂ２４に保持された前フレームの画像データを所定の割合で間引いて読み出すことによって、縮小画像を生成する。合成処理部３３は、生成された縮小画像を表示制御部２７に渡し、例えば、図２(ｂ)に示すように、試料の中央部を拡大して捉えた現フレームの画像が表示されている表示領域の一部に重ね合わせて別の表示領域を生成し、この表示領域に縮小画像を表示させることができる。
【００１９】
このようにして、画像の変化が検出されたときに、画像メモリｂ２４に保持された変化前の画像データと画像メモリａ２３に所定のフレームレートで書き込まれる変化後の画像データとを対照して比較できるように表示することができる。
【００２０】
つまり、上述したように、顕微鏡の操作者によって高倍率の対物レンズへの交換操作が行われた場合などには、自動的に交換前の低倍率の画像に対応する縮小画像が高倍率で拡大された画像に重ね合わされて表示されるので、画像表示部１１を介して観察している観察者は、倍率が変化したことを明確に認識した上で、拡大倍率の変更前後の画像を容易に対照して比較することができる。この場合は、高倍率で試料が捉えられた動画像と低倍率で試料が捉えられている縮小画像とを対照して比較することで、位置ずれの有無や高倍率で捉えられた部分が試料のどの部分であるかなどを容易に判断することができる。
【００２１】
このように、変化前の画像データと現在の画像データとを対照して比較することにより、観察者は、画像の変化の前後を比較できるようにすることで、最良の観察条件に近づいているか否かを確実に判断することが可能となるので、図１に示した顕微鏡用撮像装置により、最良の観察条件を探索する作業を支援することができる。
【００２２】
上述したように、縮小画像を動画像に重ね合わせて表示する機能は、例えば、顕微鏡の倍率などの設定を確認するためなどに用いられるメニュー画面を表示する仕組みを利用して実現することができる。
【００２３】
また、マウス１２などの入力装置が操作者によって操作され、上述したようにして表示させた縮小画像が不要になった旨が入力受付部２８を介して通知されたときに、上述した合成処理部３３は、縮小画像を表示する処理を停止する。このとき、合成処理部３３は、例えば、縮小画像を表示している表示領域を閉じることにより、縮小画像を消去するとともに、変化検出部２５に、画像メモリｂ２４の書込み禁止状態を解除させ、カメラインタフェース２２を介して画像メモリａ２３に新たに書き込まれる画像データに基づいて、新たな画像の変化を検出する処理を再開させる。
【００２４】
なお、上述した変化検出部２５が撮影条件の変化を検出する方法は、上述した方法に限らず、画像の特徴を比較して変化を検出する方法であればいかようなものでも適用することができる。
【００２５】
例えば、現画像と前画像とについて、各画素の明るさ(あるいは色)を示す画像データの平均値を求め、これらを比べることにより、画像全体の明るさ(あるいは色)の変化を検出することもできる。
【００２６】
また、上述したようなブロックごとに、所定の閾値以上に明るさが変化するエッジ部分の数を集計し、この集計結果で示されるエッジの分布の特徴に基づいて、現画像と前画像との変化を検出することもできる。
【００２７】
また、ブロックごとに各画素の色を表す画像データの平均値(例えば、ＲＧＢ各成分を示す値の平均値)を求め、ブロックごとにこの平均値を比較して、所定の閾値以上の変化があった場合に、現画像と前画像との変化を検出することもできる。
【００２８】
一方、顕微鏡１０に備えられた照明装置や対物レンズ１０１に関する制御情報を利用して観察条件が変化するタイミングを検出し、上述したように、観察条件が変化する前後で撮像部２０によって取得される画像を対照して比較可能なように表示させることもできる。
(実施形態２)
図３に、顕微鏡システムの一実施形態を示す。
【００２９】
なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００３０】
図３に示した顕微鏡１０は、照明装置１に駆動電力を供給するとともにこの照明装置１を制御する照明系制御部１５と、対物レンズ１０１が取り付けられたレボルバ５の回転位置を検出するレボルバ検出部１６とを備えている。また、図３に示した通知処理部１７は、例えば、所定の時間間隔で照明系制御部１５およびレボルバ検出部１６からそれぞれ照明装置への供給電力を示す電力値およびレボルバ５の回転位置の報告を受け、これらの報告に基づいて、カメラコントローラ２１に顕微鏡１０の制御情報を通知する。
【００３１】
通知制御部１７は、例えば、照明装置１に供給される駆動電力を示す値と照明光強度との対応関係およびレボルバ５の回転位置と取り付けられた対物レンズ１０１の倍率との対応関係を表などによって示す設定情報を内部に保持しておくことができる。これらの設定情報と照明系制御部１５およびレボルバ検出部１６からの報告に基づいて、通知制御部１７により、例えば、照明光強度およびレボルバ５の回転位置に対応する対物レンズ１０１の倍率を含む制御情報が所定の時間間隔で生成され、カメラコントローラ２１の変化検出部２９に通知される。
【００３２】
このようにして、顕微鏡１０によってステージ上の試料を観察する際の観察条件を示す制御情報をカメラコントローラ２１に渡し、図１に示した変化検出部２５に代えて備えられた変化検出部２９による処理に供することができる。
【００３３】
変化検出部２９は、所定の時間間隔で新たな照明情報と倍率情報とが渡されるごとに、前に渡された照明情報および倍率情報を保持しておき、新たに渡された照明情報および倍率情報を保持しておいた対応する情報と比較することで、観察条件の変化を検出する。
【００３４】
例えば、照明装置１に供給される駆動電力が調節され、新たに渡された照明情報で示される照明強度と変化検出部２９に先に通知処理部１７から通知された照明情報で示される照明強度との差が所定の閾値以上となったときに、変化検出部２９は、観察条件の変化有として検出することができる。
【００３５】
観察条件の変化を検出した場合に、変化検出部２９は、上述した変化検出部２５と同様に、画像メモリａ２３から画像メモリｂ２４への画像データの転送を停止して、画像メモリｂ２４に格納された変化前の画像データを維持させる。また、このとき、変化検出部２９により、画像合成部２６に対して、画像メモリａ２３に所定のフレームレートで書き込まれる画像データに基づく動画表示に重ね合わせて、画像メモリｂ２４に保持されている変化前の画像データを表示する合成処理の実行が指示される。
【００３６】
これにより、例えば、異なる照明光の強度の下で撮像部２０によって取得された画像データを対照して比較できるように、画像表示部１１に表示させることができる。
【００３７】
このとき、画像合成部２６は、画像メモリａ２３に所定のフレームレートで書き込まれる画像データと画像メモリｂ２４に保持されている画像データとの双方について縮小画像を生成し、図４に示すように、並べて表示することもできる。図４に示した例では、右側に表示された照明光の強度が変化する前の画像が全体的に白っぽいのに対して、照明光についての観察条件を変化させた後の画像では、試料の像が明瞭になっていることが容易に判別できる。
【００３８】
これにより、顕微鏡１０の観察対象(試料)を照明する照明光の強度を変えながら最良の撮影条件を探索する場合などに、観察条件の変化が最適の観察条件に近づく方向であるか否かを確実に判定することができる。
【００３９】
なお、顕微鏡１０の通知処理部１７からカメラコントローラ２１に渡される制御情報は、上述した照明情報および倍率情報に限らず、顕微鏡１０の通知処理部１７によって顕微鏡１０から収集可能な制御情報であって、最良の観察条件での観察を実現するために調整される顕微鏡の設定に関する制御情報であれば如何様なものでもよい。
【００４０】
また、観察条件が変化する前の画像を表示する表示領域は、上述した実施形態１で説明したように、操作者によって通常の動画像のみを表示するモードに戻す旨が指示されたことが入力受付部２８を介して通知されたときに非表示にしてもよいし、一定時間で非表示になるように制御することもできる。
【図面の簡単な説明】
【００４１】
【図１】顕微鏡用撮像装置の一実施形態を示す図である。
【図２】画像合成処理の例を示す図である。
【図３】顕微鏡システムの一実施形態を示す図である。
【図４】画像合成処理の例を示す図である。
【符号の説明】
【００４２】
１…照明装置、５…レボルバ、１０…顕微鏡、１１…画像表示部、１２…マウス、１５…照明系制御部、１６…レボルバ検出部、１７…通知処理部、２０…撮像部、２１…カメラコントローラ、２２…カメラインタフェース(Ｉ／Ｆ)部、２３…画像メモリａ、２４…画像メモリｂ、２５，２９…変化検出部、２６…画像合成部、２７…表示制御部、２８…入力受付部、３１…動画表示処理部、３２…縮小画像生成部、３３…合成処理部、１０１…対物レンズ。
【図１】
2010145947.tif 000003
【図２】
2010145947.tif 000004
【図３】
2010145947.tif 000005
【図４】
2010145947.tif 000006