(57)【要約】【課題】バーチャルスライド画像を高速に、且つ、安価な構成で作成することができる撮像システムを提供する。【解決手段】被写体が載置される電動ステージ１３ａと、被写体の像を結像する対物レンズ１４と、対物レンズ１４を通過した被写体の像を受光する撮像素子１７ａと、被写体の像を撮像素子１７ａに入射させて露光する露光手段としての照明ユニット１１、１２及び照明ユニット制御部３１と、電動ステージ１３ａを対物レンズ１４に対して、該対物レンズ１４の光軸と直交する方向に移動させる駆動部１３ｂと、電動ステージ１３ａを移動させながら露光手段により撮像素子１７ａを１フレーム当たり複数回露光させる顕微鏡システムコントローラ２２と、複数回の露光により撮像素子１７ａにおいて重畳された複数の像を分離することにより複数の画像を生成する多重像分離部２４１と、複数の画像を貼り合わせる貼合処理部２４２とを備える。【選択図】図１
2014026233.tif 000002
【特許請求の範囲】
【請求項１】
被写体が載置されるステージと、
前記被写体の像を結像する対物レンズと、
前記対物レンズを通過した前記被写体の像を受光する撮像素子と、
前記被写体の像を前記撮像素子に入射させて露光する露光手段と、
前記ステージと前記対物レンズとを相対的に、該対物レンズの光軸と直交する方向に移動させる移動手段と、
前記ステージと前記対物レンズとを相対的に移動させながら、前記露光手段により前記撮像素子を、１フレーム当たり複数回露光させる制御手段と、
前記複数回の露光により前記撮像素子において重畳された複数の像を分離することにより、複数の画像を生成する分離手段と、
前記複数の画像を貼り合わせる貼合手段と、
を備えることを特徴とする撮像システム。
【請求項２】
前記貼合手段は、前記複数の画像の位置関係を推定する推定手段を備える、
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記推定手段は、前記複数の画像間における重複領域に関する情報を用いて前記位置関係を推定する、
ことを特徴とする請求項２に記載の撮像システム。
【請求項４】
前記推定手段は、前記制御手段が撮像動作において用いた制御情報に基づいて、前記位置関係を推定する、
ことを特徴とする請求項２に記載の撮像システム。
【請求項５】
前記分離手段は、前記制御手段が撮像動作において用いた制御情報に基づいて、重畳された前記複数の像を互いに分離する、
ことを特徴とする請求項１に記載の撮像システム。
【請求項６】
前記露光手段は、前記被写体を照明する照明手段であって、前記撮像素子の１フレームに複数回発光する照明手段を備える、
ことを特徴とする請求項１〜５のいずれか１項に記載の撮像システム。
【請求項７】
前記照明手段は、前記撮像素子の１フレームにおいて、互いに異なる色で複数回発光し、
前記分離手段は、前記重畳された複数の像を前記互いに異なる色の情報を用いて分離する、
ことを特徴とする請求項６に記載の撮像システム。
【請求項８】
前記露光手段は、
前記被写体を照明する照明手段と、
前記撮像素子の１フレームに複数回露光するシャッタ手段と、
を備えることを特徴とする請求項１〜５のいずれか１項に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡により、標本に対して撮像視野を移動させながら撮像した複数の画像を貼り合わせることにより、広視野且つ高解像の画像を作成する撮像システムに関する。
【背景技術】
【０００２】
近年、顕微鏡の電動ステージ等を利用して撮像視野を移動させながら複数枚の画像を撮像し、それらの画像を貼り合わせることで、広視野且つ高解像の顕微鏡画像を作成する撮像システムが知られている。
【０００３】
ここで、顕微鏡によって標本を一度に観察できる範囲は、主に対物レンズの倍率によって決まる。例えば、対物レンズの倍率を高くすると、高解像の画像を得られる反面、観察範囲が狭くなる。そこで、標本全体を複数の小区画に分割し、各小区画を高解像度の対物レンズで撮像して得られた画像を繋ぎ合わせることにより、広視野且つ高解像の顕微鏡画像を作成することができる。このような顕微鏡画像はバーチャルスライド画像と呼ばれる。また、バーチャルスライド画像を作成可能な撮像システムはバーチャルスライドシステムとも呼ばれ、病理診断等においても活用されている。
【０００４】
標本を移動させながら撮像を行うシステムに関連する技術として、例えば、特許文献１には、ステージを駆動しながら撮像素子の１フレーム当たり１回ストロボ発光して複数の画像を撮像し、これらの画像を貼り合わせた合成画像を作成するシステムが開示されている。
【０００５】
また、特許文献２には、ステージを駆動しながら撮像素子の１フレーム当たり複数回ストロボ発光することにより、複数箇所の像の画像データを重ねて記録する材料表面検査装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２００２／００８９７４０号明細書
【特許文献２】特開平１１−３２６２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１においては、画像１枚当たりの撮像速度はフレームレートによって規定される。そのため、標本全体を撮像するのに時間がかかり、バーチャルスライド画像の作成に長時間を要してしまう。撮像時間を短縮するためには、フレームレートの高い撮像素子を用いることも考えられるが、この場合、撮像素子やその周辺回路の構成を変更しなければならず、システムが高価になると共に構成が複雑になってしまう。
【０００８】
撮像時間の短縮という観点では、特許文献２に開示された技術をバーチャルスライドシステムに適用することも考えられる。しかしながら、特許文献２においては、複数箇所の像が重畳された画像がそのまま出力されるので、簡単に適用することはできない。即ち、バーチャルスライド画像を作成するためには、重畳された複数箇所の画像を分離し、分離された画像を、正しい順序に並べた上で画像同士を繋げる必要があるが、特許文献２においては重畳された画像の位置関係が不明であるため、バーチャルスライド画像を作成することが困難である。
【０００９】
本発明は、上記に鑑みてなされたものであって、バーチャルスライド画像を高速に、且つ、安価な構成で作成することができる撮像システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明に係る撮像システムは、被写体が載置されるステージと、前記被写体の像を結像する対物レンズと、前記対物レンズを通過した前記被写体の像を受光する撮像素子と、前記被写体の像を前記撮像素子に入射させて露光する露光手段と、前記ステージと前記対物レンズとを相対的に、該対物レンズの光軸と直交する方向に移動させる移動手段と、前記ステージと前記対物レンズとを相対的に移動させながら、前記露光手段により前記撮像素子を、１フレーム当たり複数回露光させる制御手段と、前記複数回の露光により前記撮像素子において重畳された複数の像を分離することにより、複数の画像を生成する分離手段と、前記複数の画像を貼り合わせる貼合手段と、を備えることを特徴とする。
【００１１】
上記撮像システムにおいて、前記貼合手段は、前記複数の画像の位置関係を推定する推定手段を備えることを特徴とする。
【００１２】
上記撮像システムにおいて、前記推定手段は、前記複数の画像間における重複領域に関する情報を用いて前記位置関係を推定することを特徴とする。
【００１３】
上記撮像システムにおいて、前記推定手段は、前記制御手段が撮像動作において用いた制御情報に基づいて、前記位置関係を推定することを特徴とする。
【００１４】
上記撮像システムにおいて、前記分離手段は、前記制御手段が撮像動作において用いた制御情報に基づいて、重畳された前記複数の像を互いに分離することを特徴とする。
【００１５】
上記撮像システムにおいて、前記露光手段は、前記被写体を照明する照明手段であって、前記撮像素子の１フレームに複数回発光する照明手段を備えることを特徴とする。
【００１６】
上記撮像システムにおいて、前記照明手段は、前記撮像素子の１フレームにおいて、互いに異なる色で複数回発光し、前記分離手段は、前記重畳された複数の像を前記互いに異なる色の情報を用いて分離することを特徴とする。
【００１７】
上記撮像システムにおいて、前記露光手段は、前記被写体を照明する照明手段と、前記撮像素子の１フレームに複数回露光するシャッタ手段と、を備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、被写体が載置されたステージと対物レンズとを相対的に駆動させながら、１フレーム当たりに複数回露光を行い、それによって重畳された複数の像を分離して得られた複数の画像を相互に貼り合わせるので、バーチャルスライド画像を高速に、且つ、安価な構成で作成することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す顕微鏡装置の構成例を示す模式図である。
【図３】図３は、図１に示す撮像システムの動作を示すフローチャートである。
【図４】図４は、図１に示す撮像システムにおける撮像動作の制御方法を説明するためのタイムチャートである。
【図５】図５は、図３に示す撮像動作を説明するための模式図である。
【図６】図６は、図１に示す画像処理部が実行する処理を説明するための模式図である。
【図７】図７は、図１に示す貼合処理部が実行する処理を示すフローチャートである。
【図８】図８は、図１に示す貼合処理部が実行する処理を説明するための模式図である。
【図９】図９は、撮像条件として照明光の色を変更する場合における撮像動作の制御方法を説明するためのタイムチャートである。
【図１０】図１０は、画像の分離方法を説明するための模式図である。
【図１１】図１１は、画像の別の分離方法を説明するための図である。
【図１２】図１２は、実施の形態２に係る撮像システムにおける撮像動作の制御方法を説明するためのタイムチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明に係る撮像システムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。以下においては、本発明に係る撮像システムを顕微鏡システムに適用した例を説明するが、本発明に係る画像処理装置は、ディジタルカメラ等、撮像機能を有する各種機器に適用することが可能である。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る撮像システム１は、顕微鏡装置１０と、ホストシステム２０と、該ホストシステムから出力される制御信号に従って顕微鏡装置１０を制御する照明ユニット制御部３１と、電動ステージユニット制御部３２と、カメラユニット制御部３３とを備える。このうち、照明ユニット制御部３１、電動ステージユニット制御部３２及びカメラユニット制御部３３の各々は、ホストシステム２０に設けられた外部インタフェース（図示せず）を介して、ホストシステム２０と接続されている。
【００２２】
図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１０ａと、該アーム１０ａに設けられた落射照明ユニット１１及び透過照明ユニット１２と、アーム１０ａに取り付けられ、被写体が固定された標本スライドＳが載置される電動ステージ１３ａを含む電動ステージユニット１３と、鏡筒１５の一端側に三眼鏡筒ユニット１６を介して電動ステージ１３ａと対向するように設けられ、被写体の像を結像する対物レンズ１４と、鏡筒１５の他端側に設けられたカメラユニット１７と、接眼レンズユニット１８とを備える。
【００２３】
落射照明ユニット１１は、落射照明用光源１１ａ及び落射照明光学系１１ｂを備える。落射照明光学系１１ｂは、落射照明用光源１１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。落射照明ユニット１１は、照明ユニット制御部３１の制御の下で、所定のタイミングで所定の時間発光することにより、標本スライドＳに照明光を照射する。なお、落射照明ユニット１１からの照明光のＯＮ／ＯＦＦは、落射照明用光源１１ａのＯＮ／ＯＦＦで切り替えても良いし、落射照明用光源１１ａをＯＮの状態に保ったまま、落射照明光学系１１ｂに含まれるシャッタの開閉で切り替えても良い。前者の場合、落射照明用光源１１ａを、高速でＯＮ／ＯＦＦの切り替えが可能なＬＥＤで構成すると良い。
【００２４】
透過照明ユニット１２は、透過照明用光源１２ａ及び透過照明光学系１２ｂを含む。透過照明光学系１２ｂは、透過照明用光源１２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を備える。透過照明ユニット１２は、照明ユニット制御部３１の制御の下で、所定のタイミングで所定の時間発光することにより、標本スライドＳに照明光を照射する。なお、透過照明ユニット１２からの照明光のＯＮ／ＯＦＦは、透過照明用光源１２ａのＯＮ／ＯＦＦで切り替えても良いし、透過照明用光源１２ａをＯＮの状態に保ったまま、透過照明光学系１２ｂに含まれるシャッタの開閉で切り替えても良い。前者の場合、透過照明用光源１２ａを、高速でＯＮ／ＯＦＦの切り替えが可能なＬＥＤで構成すると良い。
【００２５】
これらの落射照明ユニット１１及び透過照明ユニット１２は、検鏡法に応じていずれかが選択されて使用される。なお、以下において、落射照明ユニット１１及び透過照明ユニット１２をまとめて、単に照明ユニット１１、１２ともいう。また、顕微鏡装置１０に、落射照明ユニット１１と透過照明ユニット１２とのいずれか一方のみを設けることとしても良い。
【００２６】
電動ステージユニット１３は、電動ステージ１３ａと、該電動ステージ１３ａを駆動させる駆動部１３ｂと、位置検出部１３ｃとを備える。駆動部１３ｂは、例えばモータによって構成され、電動ステージユニット制御部３２の制御の下で、電動ステージ１３ａを対物レンズ１４の光軸と直交する方向に（即ちＸＹ平面内で）移動させることにより、カメラユニット１７の撮像視野の位置を変化させる。また、駆動部１３ｂは、電動ステージ１３ａをＺ軸に沿って移動させることにより、対物レンズ１４を標本スライドＳ上の被写体に合焦させる。本実施の形態１においては、この電動ステージユニット１３が、ステージと対物レンズとを相対的に移動させる移動手段を構成する。
【００２７】
なお、本実施の形態１においては、対物レンズ１４及び鏡筒１５を含む観察光学系の位置を固定し、電動ステージ１３ａ側を移動させることにより撮像視野を変化させているが、標本スライドＳが載置されるステージの位置を固定し、観察光学系（撮像光学系）側を移動させることにより撮像視野を変化させても良い。つまり、撮像光学系と被写体とが相対移動する構成であれば、いずれの構成であっても構わない。
【００２８】
位置検出部１３ｃは、例えばモータからなる駆動部１３ｂの回転量を検出するエンコーダによって構成され、電動ステージ１３ａの位置を検出して検出信号を出力する。なお、駆動部１３ｂ及び位置検出部１３ｃの代わりに、電動ステージユニット制御部３２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。
【００２９】
対物レンズ１４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４’）を保持可能なレボルバ１４ａに取り付けられている。このレボルバ１４ａを回転させ、電動ステージ１３ａと対向する対物レンズ１４、１４’を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４が電動ステージ１３ａと対向している状態を示している。
【００３０】
三眼鏡筒ユニット１６は、対物レンズ１４から入射した観察光を、カメラユニット１７と接眼レンズユニット１８とに分岐する。なお、接眼レンズユニット１８は、ユーザが試料を直接観察するためのものである。
【００３１】
カメラユニット１７は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子１７ａと、シャッタ部（不図示）とを備え、撮像素子１１ｂが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。カメラユニット１７は、対物レンズ１４から鏡筒１５内の光学系を介して入射した観察光を受光し、観察光に対応する画像データを生成して、カメラユニット制御部３３を介してホストシステム２０に出力する。なお、カメラユニット１７は、ＲＧＢ色空間で表された画素値を、ＹＣｂＣｒ色空間で表された画素値に変換してホストシステム２０に出力しても良い。
【００３２】
シャッタ部は、撮像素子１７ａに内蔵され、カメラユニット制御部３３の制御の下、撮像素子１７ａの受光状態、つまり電荷の蓄積のＯＮ／ＯＦＦ状態を切り替える。
本実施の形態１において、このシャッタ部は、ＣＣＤ受光値の蓄積の開始と停止を制御する電子シャッタで構成される。なお、シャッタ部を、所定のタイミングで開閉する、又は、所定のタイミングで開口部が移動するようなメカシャッタで構成することも可能である。
【００３３】
ホストシステム２０は、例えばパーソナルコンピュータやワークステーション等の汎用の装置によって構成される。また、ホストシステム２０に、例えば、ＬＣＤ（Liquid  Crystal  Display）やＥＬ（Electro  Luminescence）ディスプレイ、ＣＲＴ（Cathode  Ray  Tube）ディスプレイ等の表示装置３０を設けても良い。
【００３４】
ホストシステム２０は、当該ホストシステム２０に対する指示や情報の入力を受け付ける入力部２１と、顕微鏡装置１０に対する制御信号を出力すると共に、顕微鏡装置１０から出力された画像データや検出信号等の入力を受け付ける顕微鏡システムコントローラ２２と、記憶部２３と、顕微鏡システムコントローラ２２を介して入力された画像データに基づく画像に所定の画像処理を施す画像処理部２４と、該画像処理部２４による画像処理の結果や、その他所定の情報を出力する出力部２５と、これらの各部の動作を制御する制御部２６とを備える。
【００３５】
入力部２１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスを介して入力された信号を受け付けて制御部２６に入力する。
【００３６】
顕微鏡システムコントローラ２２は、カメラユニット制御部３３、電動ステージユニット制御部３２及び照明ユニット制御部３１に対して制御信号を出力すると共に、これらの各制御部から出力された画像データや検出信号等の入力を受け付ける。より詳細には、顕微鏡システムコントローラ２２は、電動ステージ１３ａを所定の速度で駆動させながら、撮像素子１７ａを１フレーム当たりに複数回を露光することにより、被写体が多重に重畳された画像を生成する撮像動作を連続的に実行させるための種々の制御情報を設定し、該制御情報に基づく制御信号を、カメラユニット制御部３３、電動ステージユニット制御部３２及び照明ユニット制御部３１に出力する。
【００３７】
また、顕微鏡システムコントローラ２２は、カメラユニット１７により生成された画像データを、カメラユニット制御部３３を介して取得し、記憶部２３に記憶させる。この際、顕微鏡システムコントローラ２２は、位置検出部１３ｃから出力された検出信号を、電動ステージユニット制御部３２を介して取り込み、撮像位置情報として画像データと関連付けて記憶部２３に記憶させる。さらに、顕微鏡システムコントローラ２２は、上記制御情報の内の所定の情報を、画像データの関連情報として記憶部２３に記憶させる。
【００３８】
記憶部２３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録装置及び該記録装置に記録された情報を読み取る読取装置を含む記録装置等によって構成される。記憶部２３は、顕微鏡システムコントローラ２２により取得された画像データ及び関連情報や、画像処理部２４や制御部２６がそれぞれ実行する各種プログラムや、各種制御情報等を記憶する。具体的には、記憶部２３は、顕微鏡システムコントローラ２２を介して取得された画像データに基づき、バーチャルスライド画像を作成する画像処理プログラムを記憶する。
【００３９】
画像処理部２４は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２３に記憶された画像処理プログラムを読み込むことにより、記憶部２３に記憶された画像データに対応する画像を用いてバーチャルスライド画像を作成する画像処理を実行する。
【００４０】
詳細には、画像処理部２４は、多重像分離部２４１及び貼合処理部２４２を有する。多重像分離部２４１は、１フレーム当たり複数回の露光を行うことにより重畳された複数の像を分離することにより、複数の画像を生成する。貼合処理部２４２は、多重像分離部２４１により生成された複数の画像を貼り合わせることにより、バーチャルスライド画像を作成する。より詳細には、貼合処理部２４２は、多重像分離部２４１により分離された複数の画像の位置関係を推定する位置推定部２４２ａを有し、位置推定部２４２ａにより推定された位置関係に従って、これらの画像を貼り合わせる。
【００４１】
出力部２５は、画像処理部２４により作成されたバーチャルスライド画像や、その他所定の情報を、表示装置３０等の外部機器に出力する外部インタフェースである。なお、本実施の形態１においては、表示装置３０をホストシステム２０の外部に設けているが、顕微鏡画像等を表示する表示部をホストシステム２０の内部に設けても良い。
【００４２】
制御部２６は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２３に記憶された各種プログラムを読み込むことにより、記憶部２３に記憶された各種データや入力部２１から入力される各種情報に基づき、ホストシステム２０及び該ホストシステム２０を含む撮像システム１全体の動作を統括的に制御する。
【００４３】
次に、撮像システム１の動作について説明する。図３は、撮像システム１の動作を示すフローチャートである。また、図４は、撮像システム１における撮像動作の制御方法を説明するためのタイムチャートである。
【００４４】
まず、ステップＳ１１において、ホストシステム２０は、顕微鏡装置１０に撮像動作を実行させるための制御情報を設定する。制御情報としては、例えば、撮像素子１７ａのフレームレート、撮像素子１７ａの露出タイミング、１フレーム当たりの発光回数及び発光タイミング、電動ステージ１３ａの移動速度（制御速度）、互いに隣接する撮像視野間の重複領域の大きさ等の制御パラメータが挙げられる。
【００４５】
ここで、図４を参照しながら、上記制御パラメータの内容について説明する。
図４に示すように、撮像フレームタイミングｔ０は、撮像素子１７ａにそれまで蓄積した電荷を転送し、新たに電荷の蓄積を開始するタイミングを示す。この撮像フレームタイミングｔ０の周期ΔＴは、撮像素子１７ａのフレームレートである１／ΔＴによって決まる。
【００４６】
撮像素子の露出タイミングは、カメラユニット１７のシャッタ部の開閉タイミングを制御するパラメータである。なお、図４における撮像素子露出タイミングの斜線で示す部分が、シャッタ部の動作において、撮像素子へ電荷を蓄積している露光状態（所謂、電子シャッタが開いている状態）であることを示している。実施の形態１においては、図４に示すように、撮像フレームタイミングｔ０に合わせてシャッタ部を開き、撮像素子１７ａを露光状態にすることとしている。
【００４７】
１フレーム当たりの発光回数及び発光タイミングは、照明ユニット１１、１２における発光動作を制御するパラメータである。図４に示すように、実施の形態１においては、撮像フレームタイミングｔ０の少し後の発光タイミングｔ１から、１フレーム当たり２回、周期ΔＴ／２で発光を行うこととしている。
【００４８】
図４に示す実露光タイミングは、標本スライドＳからの観察光が撮像素子１７ａに実際に入射するタイミングのことである。実施の形態１においては、撮像素子１７ａのフレームタイミングに合わせてシャッタ部を開き、撮像素子１７ａを露光状態にして、照明ユニット１１、１２を発光させる。従って、照明ユニット１１、１２の発光タイミングｔ１が実露光タイミングａ１、ａ２、ｂ１、ｂ２、…と一致する。即ち、本実施の形態１においては、照明ユニット１１、１２と、該照明ユニット１１、１２の発光タイミングｔ１を制御する照明ユニット制御部３１とが露光手段を構成する。
【００４９】
電動ステージ１３ａの移動速度は、駆動部１３ｂの動作を制御するための制御パラメータである。電動ステージ１３ａの移動速度は、標本スライドＳに対する撮像動作が開始する前に等速Ｖになるよう制御される。
【００５０】
互いに隣接する撮像視野間の重複領域の大きさは、画像処理部２４において実行される画像の貼合処理（後述）において用いられるパラメータである。重複領域の大きさ等のパラメータの決め方については後述する。
【００５１】
ステップＳ１１に続くステップＳ１２において、図４に示すタイムチャートに従い、電動ステージ１３ａを等速Ｖで移動させながら、１フレーム当たり複数回露光を行うことにより、標本スライドＳを連続的に撮像する。
【００５２】
図５は、ステップＳ１２における撮像動作を説明するための模式図であり、被写体ＳＰが固定された標本スライドＳに対し、撮像視野を＋Ｘ方向に移動させながら（即ち、電動ステージ１３ａを−Ｘ方向に移動させながら）撮像を行う場合の撮像視野の変化を示している。図５に示す撮像視野Ａ１、Ａ２、Ｂ１、Ｂ２は、図４に示す実露光タイミングａ１、ａ２、ｂ１、ｂ２に対応している。図５に示すように、互いに隣接する撮像視野間（撮像視野Ａ１とＡ２、撮像視野Ａ２とＢ１、撮像視野Ｂ１とＢ２）には、実露光タイミング（即ち、発光タイミング）ｔ１及びステージの移動速度Ｖに応じて定まる大きさ（撮像視野の移動方向における幅）の重複領域が設けられる。
【００５３】
このような撮像動作により、１フレーム当たりの露光回数に応じた像が重畳された多重露光画像の画像データが順次生成される。具体的には、実露光タイミングａ１、ａ２（図４参照）が１フレームの時間内に含まれる撮像視野Ａ１、Ａ２が、１枚の画像に重畳される。撮像視野Ｂ１、Ｂ２（実露光タイミングｂ１、ｂ２）についても同様である。生成された画像データは、ホストシステム２０に入力され、画像処理部２４に取り込まれる。
【００５４】
続くステップＳ１３において、多重像分離部２４１は、画像処理部２４に取り込まれた画像データに対応する多重露光画像に対し、重畳された複数の撮像視野の像（多重像）を分離する。以下においては、２つの撮像視野の像が重畳された画像に対する処理を説明する。
【００５５】
図６は、画像処理部２４が実行する処理を説明するための模式図である。図６（ａ）に示すように、画像処理部２４は、２つの撮像視野が重畳された画像ｍα、ｍβ、…を順次取り込む。図６（ａ）において、画像ｍαは、撮像視野Ａ１及びＡ２が重畳された画像であり、画像ｍβは、撮像視野Ｂ１及びＢ２が重畳された画像である。
【００５６】
多重像分離部２４１は、これらの各画像ｍα、ｍβ、…を撮像視野ごとの画像に分離する。それにより、図６（ｂ）に示すように、画像ｍαから画像ｍα1及びｍα2が生成され、画像ｍβから画像ｍβ1及びｍβ2が生成される。
【００５７】
続くステップＳ１４において、貼合処理部２４２は、ステップＳ１３において分離された画像同士の位置関係を判定した上で画像の貼り合わせを行う。より詳細には、貼合処理部２４２は、図６（ｃ）に示すように、画像ｍα1、ｍα2の並び順、即ち、撮像視野Ａ１、Ａ２との対応関係を判定する。画像ｍβ1、ｍβ2についても同様である。そして、図６（ｄ）に示すように、判定した並び順に従って画像ｍα1、ｍα2、ｍβ1、ｍβ2を並べ替え、端部の重複領域が互いに重なるように貼り合わせる。それにより、視野が拡大されたバーチャルスライド画像ｍVSが作成される。
【００５８】
さらに、このようなＸ方向における貼り合わせにより繋げられた画像同士を、Ｙ方向において予め設定された重複領域で重ねつつ貼り合わせることにより、２次元的に視野が拡大されたバーチャルスライド画像を作成することができる。
【００５９】
なお、上記説明においては、実露光の回数を１フレーム当たり２回に設定したが、３回以上に設定して同様の処理を行うことも可能である。
【００６０】
（制御情報の設定方法）
次に、図３のステップＳ１１における制御情報の設定方法について詳しく説明する。制御情報の設定方法としては種々の方法が挙げられ、実施の形態１においては、カメラユニット１７の撮像素子１７ａのスペックに基づき、各種制御パラメータを設定する方法を説明する。
【００６１】
まず、ホストシステム２０は、カメラユニット制御部３３を介して、撮像素子１７ａのスペックに関する情報を呼び出し、撮像素子１７ａのフレームレートの最高値と大きさ（受光面のサイズ）を取得する。続いて、ホストシステム２０は、１フレーム当たりの実露光回数（即ち、発光回数）を、２回以上の任意の値に設定する。さらに、ホストシステム２０は、対物レンズ１４に応じて決まる撮像倍率を取得する。この撮像倍率と撮像素子１７ａの大きさとによって、撮像視野Ａ１、Ａ２、Ｂ１、Ｂ２の大きさ（長辺及び短辺の長さ）が決定される。
【００６２】
また、ホストシステム２０は、隣接する撮像視野間の重複領域の大きさ（重複量）を決定する。重複量は、例えば、撮像視野の長辺の長さの５％等と決定される。なお、ここで決定された重複量は、顕微鏡装置１０において生成された画像データがホストシステム２０に入力された際に、該画像データの関連情報（重複領域情報）として記憶される。
【００６３】
そして、ホストシステム２０は、上記フレームレート、１フレーム当たりの実露光回数、撮像倍率、及び重複量から、１フレーム当たりの電動ステージ１３ａの移動量（ｍｍ／フレーム）を算出する。さらに、ホストシステム２０は、電動ステージ１３ａの移動量及びフレームレートから、電動ステージ１３ａの移動速度（ｍｍ／秒）を算出する。この移動速度が、電動ステージ１３ａの制御速度として与えられる。
【００６４】
（制御情報の設定方法の変形例１）
上述した制御情報（各種制御パラメータ）は、撮像に費やすことができるトータルの時間（以下、撮像時間という）から設定しても良い。このような設定方法は、撮像時間が予め制限されている場合に適用することができる。
【００６５】
具体的には、ホストシステム２０は、まず、顕微鏡装置１０の撮像倍率、標本スライドＳ上で必要な撮像領域の大きさ（例えば、被写体ＳＰ全体を含む領域の大きさ）、並びに撮像時間から、１フレーム当たりの実露光回数（多重度）を決定する。続いて、これらの情報から、隣接する撮像視野間の重複量を決定する。例えば、撮像時間が長い場合には、重複量が大きく設定され、或いは、１フレーム当たりの実露光回数が小さく設定される。反対に、撮像時間が短い場合には、重複量が小さく設定され、或いは、１フレーム当たりの実露光回数が大きく設定される。
【００６６】
そして、撮像視野間の重複量と、撮像倍率と、フレームレートとから、１フレーム当たりの電動ステージ１３ａの移動量（ｍｍ／フレーム）を算出し、さらに、この移動量とフレームレートとから、電動ステージ１３ａの移動速度（ｍｍ／秒）を算出する。
【００６７】
（制御情報の設定方法の変形例２）
上述した制御情報（各種制御パラメータ）は、電動ステージ１３ａの最高移動速度に基づいて設定しても良い。このような設定方法は、電動ステージ１３ａの移動速度に対する制限が厳しい場合（例えば、ゆっくりしか移動させられない場合）等に適用することができる。
【００６８】
具体的には、ホストシステム２０は、まず、電動ステージ１３ａの移動速度の最大値とフレームレートとから、１フレーム当たりの実露光回数を設定する。続いて、ホストシステム２０は、顕微鏡装置１０の撮像倍率と撮像素子１７ａの大きさとから撮像視野の大きさを取得する。そして、実露光回数と、撮像視野の大きさと、電動ステージ１３ａの移動速度とから、隣接する撮像視野間の重複量を決定する。
【００６９】
（画像の貼り合わせ）
次に、ステップＳ１４における画像の貼り合わせ方法について詳細に説明する。図７は、貼合処理部２４２が実行する処理を示すフローチャートである。また、図８は、貼合処理部２４２が実行する処理を説明するための模式図である。以下においては、一例として、２つの撮像視野Ａ１、Ａ２（図５参照）が重畳された画像ｍαに対する処理を説明する。
【００７０】
図７のステップＳ１４１において、位置推定部２４２ａは、互いに分離された複数の画像の位置関係を判定する。ここで、画像ｍαを分離することにより得られる２つの画像ｍα1、ｍα2においては、いずれが撮像視野Ａ１に対応し、いずれが撮像視野Ａ２に対応するのかが不明である。そこで、位置推定部２４２ａは、マッチング処理により、互いに分離された２つの画像ｍα1、ｍα2の位置関係を推定する。
【００７１】
そのために、まず、位置推定部２４２ａは、画像データと関連付けられた重複領域情報を取得し、該重複領域情報に基づいて、画像ｍα1、ｍα2が互いに重複する重複領域の候補を抽出する。例えば、重複領域情報において、隣接する撮像視野間の重複量が長辺の５％と規定されている場合、分離された画像ｍα1、ｍα2間でも重複領域は同じ５％となる。位置推定部２４２ａは、このような情報に基づいて、各画像ｍα1、ｍα2の両端から所定の幅の候補領域ｎ１〜ｎ４を抽出する。
【００７２】
続いて、位置推定部２４２ａは、候補領域ｎ１〜ｎ４のうち、重複し得る全ての組み合わせに対してマッチング処理を行い、類似度を算出する。図８の場合、２つの画像ｍα1、ｍα2の位置関係は２通りなので、候補領域ｎ２と候補領域ｎ３との組み合わせ（画像ｍα1が左側、画像ｍα2が右側の場合）、及び候補領域ｎ１と候補領域ｎ４との組み合わせ（画像ｍα2が左側、画像ｍα1が右側の場合）に対してマッチング処理が行われる。マッチング処理としては、例えば、候補領域内の画素値のヒストグラムの形状を比較する手法や、候補領域内に写った画像の形状を比較する手法（テンプレートマッチング）等、公知の種々の手法を用いることができる。
【００７３】
位置推定部２４２ａは、候補領域の各組み合わせに対して算出された類似度を比較し、類似度がもっとも高い候補領域の組み合わせを抽出することにより、画像ｍα1、ｍα2の位置関係を決定する。例えば、図８の場合、候補領域ｎ２、ｎ３の組み合わせよりも、候補領域ｎ１、ｎ４の組み合わせの方が、類似度が高くなる。従って、画像ｍα1、ｍα2の位置関係は、画像ｍα2が左側、画像ｍα1が右側となる。
【００７４】
続くステップＳ１４２において、貼合処理部２４２は、互いに分離された複数の画像の並び順を、ステップＳ１４１において決定された位置関係と、電動ステージ１３ａの移動方向（撮像視野の移動方向）等のパラメータとに基づいて決定する。例えば画像ｍα1、ｍα2の場合、もとの画像ｍαは、撮像視野を図に向かって左側から右側に移動させつつ撮像されたものであるので（図５参照）、左側の画像ｍα2が先の並び順、右側の画像ｍα1が後の並び順となる。
【００７５】
続くステップＳ１４３において、貼合処理部２４２は、もとの画像と関連付けられた撮像位置情報及び分離された各画像の並び順に従って、各画像の位置を決定する。
さらに、ステップＳ１４４において、貼合処理部２４２は、決定された位置に従って、分離された画像を順次貼り合わせる。
【００７６】
（位置推定方法の変形例）
上記画像の貼り合わせにおいては、画像の位置推定方法として、分離された２つの画像における重複領域（図８に示す候補領域ｎ１〜ｎ４の幅）を特定してマッチングを行う例を説明した。しかしながら、画像全体を用いたテンプレートマッチング（例えば、２つの画像を左右のいずれに配置した場合に類似度が高くなるか）等を用いることも可能である。この場合、顕微鏡装置１０におけるメカニカルな精度や各種動作のタイミング制御に誤差が生じて、分離された画像間の重複量がずれたとしても、精度の良いマッチング処理を行うことができる。従って、安価な機器を用いる場合にも対応することが可能となる。
【００７７】
（画像の分離方法）
次に、ステップＳ１３における画像の分離方法について詳細に説明する。画像の分離方法としては種々の方法が挙げられるが、実施の形態１においては、１フレーム内に実露光を複数回行う際に、各回の実露光における撮像条件を変更し、この撮像条件に基づいて画像を分離する方法を説明する。
【００７８】
図９は、撮像条件として照明光の色を変更する場合における撮像動作の制御方法を説明するためのタイムチャートである。また、図１０は、画像の分離方法を説明するための模式図である。なお、図１０においては、色の違いをハッチングの種類の違いで示している。以下の説明においては、本実施の形態の一例として、１フレーム当たり実露光を２回行うため、２色の照明光を交互に発光させることとする。なお、照明光の色は、落射照明用光源１１ａ又は透過照明用光源１２ａに、互いに異なる波長帯域の光を発生するＬＥＤを複数種類設け、照明ユニット制御部３１の制御の下で、発光タイミングと同期してこれらのＬＥＤを互いに切り替えることにより変更することができる。或いは、落射照明光学系１１ｂ又は透過照明光学系１２ｂに互いに異なる波長帯域の光を透過させるカラーフィルタを複数設け、照明ユニット制御部３１の制御の下で、発光タイミングと同期してこれらのカラーフィルタを互いに切り替えることにより変更しても良い。
【００７９】
図９に示すように、発光タイミングｔ１に赤（Ｒ）の照明光を発生させ、発光タイミングｔ１’に青（Ｂ）の照明光を発生させると、図１０（ａ）に示すように、赤の照明光で撮像された撮像視野と青の照明光で撮像された撮像視野とが重畳された画像ｍR+Bが取得される。次に、多重像分離部２４１は、この画像ｍR+Bから色成分を抽出し、抽出された各色成分からなる画像を生成する。それにより、図１０（ｂ）に示すように、画像ｍR+Bを、赤色成分（Ｒ画素）からなる画像ｍRと、青色成分（Ｂ画素）からなる画像ｍBとに分離することができる。
【００８０】
この後の画像の貼合処理においては、図１０（ｃ）に示すように、画像ｍR、ｍBをグレースケールに変換した画像ｍR’、ｍB’を貼り合わせる。
なお、発光タイミングごとに照明光の色を変更する場合、各色の照明光の発光順は予め設定された制御情報により決められるため、各色成分からなる画像ｍR、ｍBの並び順も自動的に決まる。例えば、図９の場合、１フレーム内では、赤の照明光が先の発光、青の照明光が青の発光となっているため、画像ｍRが先の並び順、画像ｍBが後の並び順となる。従って、この場合、分離された画像ｍR、ｍBに対する位置関係の判定（図７のステップＳ１４１参照）を行う必要はなく、単に、制御情報に基づいて並び順を決定すれば良い。
【００８１】
このように実露光動作における撮像条件を変更して撮像した画像を分離する場合には、マッチング処理等の画像処理が不要となるので、演算処理を高速化することができる。従って、グレースケールであっても、広いエリアに対する高解像の画像を高速に取得した場合には、有効な手段である。
【００８２】
（画像の分離方法の変形例１）
次に、発光タイミングごとに照明光の色を変更する場合において画像を分離する別の方法を説明する。図１１は、別の分離方法を説明するための図である。
図１０（ａ）に示す画像ｍR+Bを取得した後、多重像分離部２４１は、各画素の色情報として、例えばＢ／Ｇ、Ｒ／Ｇを抽出する。そして、これらの色情報を成分とする特徴空間（Ｂ／Ｇ−Ｒ／Ｇグラフ）において、閾値Ｔｈにより分離されるエリアごとに画素を分類し、分類された画素からなる画像を作成する。これにより、画像ｍR+Bが２つの画像に分離される。なお、この際、画像ｍR+Bの画素値をＹＣｂＣｒ色空間やＬＡＢ色空間に変換した上で画像の分離を行っても良い。
【００８３】
さらに、分離された各画像から色成分を抽出することにより、赤色成分からなる画像ｍRと、青色成分からなる画像ｍBとが得られる。なお、閾値Ｔｈは、Ｒ／Ｇ、Ｂ／Ｇの平均値や中央値等から計算した値を用いてもよい。
【００８４】
（画像の分離方法の変形例２）
１フレーム内に実露光を複数回行う際に、各回の実露光において変更する撮像条件としては、上述した照明光の色に限定されない。例えば、標本スライドＳに照射する照明光の偏光面を実露光タイミングごとに切り替えても良い。
【００８５】
偏光面の切り替えは、例えば、ＣＣＤ等の撮像素子の前段に偏光子アレイを設置した偏光イメージングカメラ（特開２００５−１１４７０４号公報、特開２００８−３２９６９号公報を参照）を用いて実現することができる。ここで、偏光イメージングカメラは、画素ごとに、異なる偏光を捉えた画像を撮像することができる。そこで、偏光イメージングカメラを用いて、偏光面を切り替えながら１フレーム内に実露光を２回行い、それによって得られた画像情報を画素位置に応じて分離することにより、各偏光面に対応した２つの画像を得ることができる。
【００８６】
なお、この場合も、１フレーム内における偏光面の切り替え順は、予め設定された制御情報により決められるので、各偏光面に対応した２つの画像の並び順も自動的に決まる。このため、互いに分離された２つの画像の位置関係を判定するための画像処理が不要となる。従って、広いエリアに対する高解像の画像を高速に取得することが可能となる。
【００８７】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２に係る撮像システムの構成及び動作は、全体として実施の形態１と同様であり（図１〜図３参照）、１フレーム当たりに実露光を複数回行う際の制御方法が実施の形態１とは異なる。
【００８８】
図１２は、実施の形態２に係る顕微鏡装置１０の撮像動作の制御方法を説明するためのタイムチャートである。実施の形態２においては、照明ユニット１１、１２を発光させたままとし、標本スライドＳを常に照明している状態にする。一方、カメラユニット１７において、シャッタ部を１フレーム当たり所定回数（図１２においては２回）開閉させることにより、所定の周期（ΔＴ／２）で撮像素子１７ａを露出する。従って、実施の形態２においては、撮像素子１７ａの露出タイミングｔ２が実露光タイミングａ１、ａ２、ｂ１、ｂ２、…と一致する。即ち、本実施の形態２においては、照明システム１１、１２と、シャッタ部と、該シャッタ部を露出タイミングｔ２に合わせて露光させるカメラユニット制御部３３とが露光手段を構成する。
【００８９】
以上説明した実施の形態１及び２はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【符号の説明】
【００９０】
１  撮像システム
１０  顕微鏡装置
１０ａ  アーム
１１  落射照明ユニット（照明ユニット）
１１ａ  落射照明用光源
１１ｂ  落射照明光学系
１２  透過照明ユニット（照明ユニット）
１２ａ  透過照明用光源
１２ｂ  透過照明光学系
１３  電動ステージユニット
１３ａ  電動ステージ
１３ｂ  駆動部
１３ｃ  位置検出部
１４、１４’  対物レンズ
１４ａ  レボルバ
１５  鏡筒
１６  三眼鏡筒ユニット
１７  カメラユニット
１７ａ  撮像素子
１８  接眼レンズユニット
２０  ホストシステム
２１  入力部
２２  顕微鏡システムコントローラ
２３  記憶部
２４  画像処理部
２４１  多重像分離部
２４２  貼合処理部
２４２ａ  位置推定部
２５  出力部
２６  制御部
３０  表示装置
３１  照明ユニット制御部
３２  電動ステージユニット制御部
３３  カメラユニット制御部
【図１】
2014026233.tif 000003
【図２】
2014026233.tif 000004
【図３】
2014026233.tif 000005
【図４】
2014026233.tif 000006
【図５】
2014026233.tif 000007
【図７】
2014026233.tif 000008
【図９】
2014026233.tif 000009
【図１１】
2014026233.tif 000010
【図１２】
2014026233.tif 000011
【図６】
2014026233.tif 000012
【図８】
2014026233.tif 000013
【図１０】
2014026233.tif 000014