(57)【要約】【課題】より正確な解析結果を得る。【解決手段】コンフォーカル顕微鏡１１は、パーソナルコンピュータ１２Ａに対して、画像取得フェーズでは観察画像の画像信号を出力するとともに、それらの観察画像の画像取得開始時刻及び画像取得終了時刻を含んでいるイベントマーカを通知し（Ｓ３４Ａ）、光刺激フェーズでは光刺激開始時刻及び光刺激終了時刻を含んでいるイベントマーカを通知する（Ｓ３４Ｂ）。パーソナルコンピュータ１２Ａは、イベントマーカに含まれる画像取得開始時刻又は画像取得終了時刻を基準として、同一実験フェーズで得られる観察画像の画像信号を構成するフレームの先頭又は末尾を揃えてから、画像の平均化処理を行う（Ｓ２４）ことで、より正確な解析結果を得ることができる。本発明は、コンフォーカル顕微鏡とパーソナルコンピュータからなる顕微鏡システムに適用することができる。【選択図】図２
2011141309.tif 000002
【特許請求の範囲】
【請求項１】
試料を観察する顕微鏡と、前記試料の観察により得られる観察画像に対して所定の解析処理を行う情報処理装置からなる顕微鏡システムにおいて、
前記顕微鏡は、
前記観察画像の取得を含むシーケンスを繰り返し実行して前記観察画像の画像信号を取得する第１の取得手段と、
取得された前記画像信号を前記情報処理装置に出力する出力手段と、
前記観察画像の取得に関する所定のイベントの発生時刻を計時する計時手段と、
前記イベントが発生した場合、前記計時手段により計時されたイベントの発生時刻を前記情報処理装置に通知する通知手段と
を備え、
前記情報処理装置は、
前記顕微鏡から出力された前記画像信号を取得する第２の取得手段と、
複数回の前記シーケンスの実行ごとに取得される前記画像信号に対して、前記顕微鏡から通知された前記イベントの発生時刻を基準として時間方向に揃えてから、所定の解析処理を行う解析手段と
を備えることを特徴とする顕微鏡システム。
【請求項２】
前記イベントの発生時刻は、前記顕微鏡において前記画像信号を構成するフレームの取得を開始した画像取得開始時刻であり、
前記解析手段は、前記画像取得開始時刻を基準として、複数回の前記シーケンスの実行ごとに取得される前記画像信号を構成する各フレームの先頭を揃えてからから、所定の解析処理を行う
ことを特徴とする請求項１に記載の顕微鏡システム。
【請求項３】
前記イベントの発生時刻は、前記顕微鏡において前記画像信号を構成するフレームの取得を終了した画像取得終了時刻であり、
前記解析手段は、前記画像取得終了時刻を基準として、複数回の前記シーケンスの実行ごとに取得される前記画像信号を構成する各フレームの末尾を揃えてから、所定の解析処理を行う
ことを特徴とする請求項１に記載の顕微鏡システム。
【請求項４】
前記シーケンスは、前記顕微鏡において前記試料に対する光刺激を含み、
前記計時手段は、前記光刺激に関する所定のイベントの発生時刻を計時し、
前記イベントの発生時刻は、前記顕微鏡において前記試料に対する光刺激を開始した光刺激開始時刻、又はその光刺激を終了した光刺激終了時刻であり、
前記解析手段は、前記光刺激開始時刻又は前記光刺激終了時刻を基準として、前記試料に対する光刺激が行われた区間を時間方向に揃えてから、所定の解析処理を行う
ことを特徴とする請求項１から３のいずれか一項に記載の顕微鏡システム。
【請求項５】
前記解析手段は、複数回の前記シーケンスの実行ごとに取得される各観察画像の同一画素の出力値を加算平均することで、複数の観察画像から平均画像を生成する画像平均化処理を行う
ことを特徴とする請求項１から４のいずれか一項に記載の顕微鏡システム。
【請求項６】
試料を観察する顕微鏡と、前記試料の観察により得られる観察画像に対して所定の解析処理を行う情報処理装置からなる顕微鏡システムの観察方法において、
前記顕微鏡は、
前記観察画像の取得を含むシーケンスを繰り返し実行して前記観察画像の画像信号を取得し、
取得された前記画像信号を前記情報処理装置に出力し、
前記観察画像の取得に関する所定のイベントの発生時刻を計時し、
前記イベントが発生した場合、計時されたイベントの発生時刻を前記情報処理装置に通知する
ステップを含み、
前記情報処理装置は、
前記顕微鏡から出力された前記画像信号を取得し、
複数回の前記シーケンスの実行ごとに取得される前記画像信号に対して、前記顕微鏡から通知された前記イベントの発生時刻を基準として時間方向に揃えてから、所定の解析処理を行う
ステップを含むことを特徴とする観察方法。
【請求項７】
試料を観察する顕微鏡と、前記試料の観察により得られる観察画像に対して所定の解析処理を行う情報処理装置からなる顕微鏡システムの観察処理をコンピュータに実行させるプログラムであって、
前記顕微鏡が実行するプログラムは、
前記観察画像の取得を含むシーケンスを繰り返し実行して前記観察画像の画像信号を取得し、
取得された前記画像信号を前記情報処理装置に出力し、
前記観察画像の取得に関する所定のイベントの発生時刻を計時し、
前記イベントが発生した場合、計時されたイベントの発生時刻を前記情報処理装置に通知する
ステップを含み、
前記情報処理装置が実行するプログラムは、
前記顕微鏡から出力された前記画像信号を取得し、
複数回の前記シーケンスの実行ごとに取得される前記画像信号に対して、前記顕微鏡から通知された前記イベントの発生時刻を基準として時間方向に揃えてから、所定の解析処理を行う
ステップを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡システム、観察方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、レーザ光を観察対象の試料上で走査させて、試料の観察を行うコンフォーカル顕微鏡が知られている（例えば、特許文献１参照）。
【０００３】
コンフォーカル顕微鏡は、一般的に、パーソナルコンピュータなどの情報処理装置に接続され、パーソナルコンピュータからの指示に応じた実験シーケンス（観察のスケジュール）に従って、試料に対する各種の観察を行う。そして、試料の観察により得られた観察画像の画像信号は、パーソナルコンピュータに供給され、その観察画像が表示装置に表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１６１０３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術であると、同一の実験シーケンスを繰り返し行う場合に、同一の実験フェーズとなる画像信号の間に時刻のずれが生じるという問題があった。これは、コンフォーカル顕微鏡側で複数回の実験シーケンスに応じた観察が行われると、それぞれの観察で得られた観察画像の画像信号がパーソナルコンピュータ側に送られ、所定の解析処理が施されることになるが、それらを行うに際して、コンフォーカル顕微鏡とパーソナルコンピュータとの間の通信負荷や、パーソナルコンピュータにおける処理負荷が異なることに起因するものである。
【０００６】
このように、同一の実験シーケンスの画像信号の間で時刻のずれが生じてしまうと、それにより得られる観察画像の画像信号に対して画像の平均化処理などの所定の解析処理を行っても、正確な解析結果が得られないことになる。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、同一の実験シーケンスを繰り返し行う場合において、それにより得られる観察画像の画像信号に対して所定の解析処理を行ったとき、より正確な解析結果を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の顕微鏡システムは、試料を観察する顕微鏡と、前記試料の観察により得られる観察画像に対して所定の解析処理を行う情報処理装置からなる顕微鏡システムにおいて、前記顕微鏡は、前記観察画像の取得を含むシーケンスを繰り返し実行して前記観察画像の画像信号を取得する第１の取得手段と、取得された前記画像信号を前記情報処理装置に出力する出力手段と、前記観察画像の取得に関する所定のイベントの発生時刻を計時する計時手段と、前記イベントが発生した場合、前記計時手段により計時されたイベントの発生時刻を前記情報処理装置に通知する通知手段とを備え、前記情報処理装置は、前記顕微鏡から出力された前記画像信号を取得する第２の取得手段と、複数回の前記シーケンスの実行ごとに取得される前記画像信号に対して、前記顕微鏡から通知された前記イベントの発生時刻を基準として時間方向に揃えてから、所定の解析処理を行う解析手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、より正確な解析結果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した顕微鏡システムの一実施の形態の構成を示す図である。
【図２】顕微鏡システムにおいて実行される観察解析処理を説明するフローチャートである。
【図３】画像取得フェーズを説明するフローチャートである。
【図４】光刺激フェーズを説明するフローチャートである。
【図５】観察画像の画像取得開始時刻を用いた画像の平均化処理を説明するためのタイミングチャートである。
【図６】観察画像の画像取得終了時刻を用いた画像の平均化処理を説明するためのタイミングチャートである。
【図７】顕微鏡システムにおいて実行される観察解析処理を説明するフローチャートである。
【図８】画像取得／光刺激フェーズを説明するフローチャートである。
【図９】光刺激開始時刻を用いた画像の平均化処理を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１２】
図１は、本発明を適用した顕微鏡システムの一実施の形態の構成を示す図である。
【００１３】
図１に示すように、顕微鏡システム１は、コンフォーカル顕微鏡１１、パーソナルコンピュータ１２Ａ、入力装置１２Ｂ、表示装置１２Ｃ、及び外部機器１３から構成される。コンフォーカル顕微鏡１１は、パーソナルコンピュータ１２Ａ及び外部機器１３のそれぞれと所定のケーブルなどにより接続され、それらの機器との通信が可能とされる。
【００１４】
コンフォーカル顕微鏡１１は、例えば生体試料などの試料Ｓを蛍光観察するためのレーザ走査顕微鏡である。コンフォーカル顕微鏡１１は、コントローラ３０、記録部３１、ステージ３２、レーザ光源３３、ダイクロイックミラー３４、レーザ走査部３５、対物レンズ３６、光検出部３７、画像処理部３８、及び通信部３９を含むように構成される。
【００１５】
コントローラ３０は、コンフォーカル顕微鏡１１の各部の動作を制御する。また、コントローラ３０は、通信部３９を制御して、パーソナルコンピュータ１２Ａから各種のデータを受信したり、あるいは、各種のデータをパーソナルコンピュータ１２Ａに送信したりする。コントローラ３０はまた、各種のデータを必要に応じて、記録部３１に記録する。
【００１６】
コンフォーカル顕微鏡１１において、レーザ光源３３からは、試料Ｓに照射されるレーザ光が射出され、射出されたレーザ光は、ダイクロイックミラー３４に入射し、レーザ走査部３５側に反射される。ダイクロイックミラー３４により反射された光は、レーザ走査部３５により走査され、対物レンズ３６により集光されて、ステージ３２に載置された試料Ｓに照射される。レーザ走査部３５は、例えば、レーザ光を反射するミラーと、そのミラーを駆動する駆動機構を有して構成されるガルバノスキャナであって、レーザ光源３３からのレーザ光を、試料ＳのＸ−Ｙ平面（試料Ｓに照射されるレーザ光の光軸に対し直交する平面）で走査する。
【００１７】
レーザ光を照射することにより励起された試料Ｓから発せられた蛍光は、対物レンズ３６を経てレーザ走査部３５に入射し、デスキャンされた後、ダイクロイックミラー３４を透過して光検出部３７に入射する。光検出部３７は、入射した蛍光を受光して光電変換することにより、受光した蛍光の強度を示す電気信号を生成し、画像処理部３８に出力する。
【００１８】
画像処理部３８は、光検出部３７から供給された電気信号に基づいて試料Ｓの画像である観察画像の画像信号を生成する。例えば、画像処理部３８は、観察画像の画像信号として、１フレームの画像が、水平方向と水平方向にそれぞれ512画素からなり、フレームレートが10〜40fps(frame per second)である観察画像の画像信号を生成する。画像処理部３８は、生成された画像信号を、通信部３９を介して、所定のケーブルにより接続されたパーソナルコンピュータ１２Ａに出力する。
【００１９】
なお、コンフォーカル顕微鏡１１においては、ステージ３２上の試料Ｓに対して光刺激を与えて、その試料Ｓの観察を行う場合がある。この場合、コントローラ３０は、レーザ光源３３及びレーザ走査部３５等の各部の動作を制御して、試料Ｓの特定部位に対し、ある波長のレーザ光を照射して光刺激を与えることで、その特定部位の特性を変化させる。これにより、例えば、コンフォーカル顕微鏡１１では、光刺激により励起特性の変化した試料Ｓを観察することが可能となる。
【００２０】
また、コンフォーカル顕微鏡１１には、所定のインターフェースを介して１又は複数の外部機器１３が接続されるが、コンフォーカル顕微鏡１１は外部トリガ入出力機能を有しており、コントローラ３０は、外部機器１３に対して外部トリガを出力したとき、あるいは外部機器１３から外部トリガが入力されたとき、チャネル番号とともに、その外部トリガの入出力時刻とイベントの内容を、いわゆるイベントマーカとして記録部３１に記録する。このイベントマーカは、コンフォーカル顕微鏡１１内で管理されるものであって、パーソナルコンピュータ１２Ａとは独立しているものとなる。すなわち、コンフォーカル顕微鏡１１のコントローラ３０は、内部クロックにより時刻を計時することで、コンフォーカル顕微鏡１１内で行われる動作（イベント）の時刻をほぼ正確（例えば常に1msec以下などの一定の微小遅延時間を保っている）に計時（記録）することが可能となる。
【００２１】
パーソナルコンピュータ１２Ａは、コンフォーカル顕微鏡１１において行われる試料Ｓの観察により得られる観察画像の画像信号に対して所定の解析処理を行う情報処理装置である。パーソナルコンピュータ１２Ａには、マウスやキーボード等からなる入力装置１２Ｂと、モニタ等の表示装置１２Ｃが接続される。このパーソナルコンピュータ１２Ａは、制御部５０、通信部５１、記録部５２、及び解析処理部５３を含むようにして構成される。
【００２２】
制御部５０は、入力装置１２Ｂからの入力指示に従って、パーソナルコンピュータ１２Ａ自身の動作を制御したり、あるいは、通信部５１を介してコンフォーカル顕微鏡１１の動作を制御したりする。制御部５０はまた、コンフォーカル顕微鏡１１から画像信号が入力された場合には、その画像信号に対応する観察画像を表示装置１２Ｃに表示させたり、あるいは、その画像信号を記録部５２に記録させたりする。
【００２３】
解析処理部５３は、入力装置１２Ｂから入力指示に従って、記録部５２に記録されている画像信号に対して、画像の平均化処理等の所定の解析処理を施す。この解析処理により得られた解析結果は、表示装置１２Ｃに表示される。なお、所定の解析処理の一例である画像の平均化処理の詳細については後述する。
【００２４】
外部機器１３は、例えばステージ３２に載置された試料Ｓに対して電気刺激を行う電気刺激機器や、その試料Ｓから発せられる微弱な電流を測定するための電流測定機器などの、試料Ｓの観察で用いられる各種の機器を制御するための機器である。例えば、外部機器１３は、電流測定機器を制御して、試料Ｓに対する光刺激が行われたとき、それと同時にその試料Ｓの電流値を測定させる。
【００２５】
以上のようにして、顕微鏡システム１は構成される。
【００２６】
次に、図２のフローチャートを参照して、図１の顕微鏡システム１により行われる試料Ｓの観察解析処理について説明する。図２には、顕微鏡システム１を構成する各装置のそれぞれで行われる処理が示されており、ステップＳ１１ないしＳ２５は、パーソナルコンピュータ１２Ａにより実行され、ステップＳ３１ないしＳ３６は、コンフォーカル顕微鏡１１により実行され、ステップＳ５１及びＳ５２は、外部機器１３により実行される。
【００２７】
パーソナルコンピュータ１２Ａの制御部５０は、ステップＳ１１において、表示装置１２Ｃに表示される所定の設定画面に対する、ユーザの入力装置１２Ｂによる操作に応じて、外部トリガ出力設定をコンフォーカル顕微鏡１１に指示する。この外部トリガ出力設定とは、コンフォーカル顕微鏡１１から外部機器１３に出力される外部トリガが出力されるタイミングを設定するものである。ここでは、例えば、試料Ｓを観察して得られる観察画像（の画像信号）の取得の開始時若しくは取得の終了時、又は試料Ｓに対する光刺激の開始時若しくは終了時などの試料Ｓの観察に関する所定のイベントが発生したとき、外部トリガが出力される設定がされる。
【００２８】
パーソナルコンピュータ１２Ａにおいて、外部トリガ出力設定が指示されると、コンフォーカル顕微鏡１１のコントローラ３０は、指示された外部トリガ出力設定に従って、例えば、観察画像の取得の開始時若しくは取得の終了時などの外部トリガを出力するイベントを設定する（ステップＳ３１）。これにより、コンフォーカル顕微鏡１１は、外部トリガ出力設定により設定された所定のイベントが発生したとき、外部トリガを外部機器１３に出力することになる。
【００２９】
また、パーソナルコンピュータ１２Ａの制御部５０は、ステップＳ１２において、ユーザによる操作に応じて、実験シーケンスの設定を指示する。この実験シーケンスとは、コンフォーカル顕微鏡１１で行われる試料Ｓの観察のスケジュールである。例えば、コンフォーカル顕微鏡１１においては、試料Ｓに対して、その観察画像（の画像信号）の取得を行う実験（以下、画像取得フェーズともいう）と、光刺激を行う実験（以下、光刺激フェーズともいう）が行われるので、それらのフェーズが交互に繰り返し実行されるスケジュールが実験シーケンスとして設定される。
【００３０】
パーソナルコンピュータ１２Ａにおいて、実験シーケンスの設定が指示されると、コンフォーカル顕微鏡１１のコントローラ３０は、指示された実験シーケンスの設定に従って、例えば、画像取得フェーズと光刺激フェーズを交互に繰り返し実行する実験シーケンスを設定する（ステップＳ３２）。これにより、コンフォーカル顕微鏡１１は、設定された実験シーケンスに従って、試料Ｓの観察を行うことになる。
【００３１】
その後、パーソナルコンピュータ１２Ａでは、制御部５０によって、ステップＳ１３において、ユーザによる入力装置１２Ｂの操作に応じて、実験の開始が指示されたか否かが判定され、実験の開始が指示されたと判定された場合（ステップＳ１３のYes）、実験の開始がコンフォーカル顕微鏡１１に指示される（ステップＳ１４）。
【００３２】
コンフォーカル顕微鏡１１では、パーソナルコンピュータ１２Ａから実験の開始の指示が通知された場合、ステップＳ３３において、実験が開始され、設定された実験シーケンスに従って、試料Ｓの観察画像の取得や光刺激などが行われる。
【００３３】
すなわち、実験シーケンスとして、先に述べた画像取得フェーズと光刺激フェーズを交互に繰り返す観察のスケジュールが設定されている場合、コンフォーカル顕微鏡１１では、画像取得フェーズ（ステップＳ３４Ａ）と光刺激フェーズ（ステップＳ３４Ｂ）が、実験を終了すると判定されるまで（ステップＳ３５のYes）繰り返される。
【００３４】
ここで、図３のフローチャートを参照して、コンフォーカル顕微鏡１１において実行される画像取得フェーズの詳細について説明する。
【００３５】
ステップＳ７１において、コントローラ３０は、設定された外部トリガ出力設定に基づいて、観察画像の取得の開始のイベントが発生したか否かを判定する。例えば、パーソナルコンピュータ１２Ａから観察画像の取得が指示され、ステップＳ７１において、外部トリガ出力設定により設定された観察画像の取得の開始のイベントが発生したと判定された場合、ステップＳ７２において、コントローラ３０は、コンフォーカル顕微鏡１１の各部の動作を制御して、試料Ｓの観察により得られる観察画像の取得を開始する。
【００３６】
このとき、外部トリガ出力設定により、観察画像の取得の開始時に外部トリガを出力する設定となっているので、コントローラ３０は、ステップＳ７３において、そのイベントに応じた外部トリガを外部機器１３に出力する。さらに、外部機器１３に対して外部トリガが出力されたため、記録部３１には、イベントマーカが記録されることになるが、コントローラ３０は、このイベントマーカをパーソナルコンピュータ１２Ａに通知する（ステップＳ７４）。すなわち、イベントマーカにより、コンフォーカル顕微鏡１１内で行われる動作（イベント）の時刻をほぼ正確に計時できることは先に述べたとおりであるが、このイベントマーカは、観察画像の取得の開始のイベントが発生して外部トリガが出力されたと同時に記録されたものであるため、その入出力時刻を、コンフォーカル顕微鏡１１側の観察画像の画像取得開始時刻とみなすことができる。換言すれば、コンフォーカル顕微鏡１１側で行われる試料Ｓの観察画像の取得などの試料Ｓの観察に関する所定のイベントが発生した場合、そのイベントの正確な発生時刻が計時され、パーソナルコンピュータ１２Ａに通知されるといえる。
【００３７】
このように、コンフォーカル顕微鏡１１では、観察画像の取得が開始されると、パーソナルコンピュータ１２Ａに対してイベントマーカが通知されるとともに、取得した観察画像の画像信号の出力が開始される。
【００３８】
そして、コントローラ３０は、ステップＳ７５において、設定された外部トリガ出力設定に基づいて、観察画像の取得の終了のイベントが発生したか否かを判定する。ステップＳ７５において、観察画像の取得の終了イベントが発生したと判定された場合、ステップＳ７６において、コントローラ３０は、コンフォーカル顕微鏡１１の各部の動作を制御して、観察画像の取得を終了させる。
【００３９】
このとき、外部トリガ出力設定により、観察画像の取得の終了時に外部トリガを出力する設定となっているので、コントローラ３０は、そのイベントに応じた外部トリガを外部機器１３に出力する（ステップＳ７７）とともに、対応するイベントマーカをパーソナルコンピュータ１２Ａに通知する（ステップＳ７８）。
【００４０】
このように、コンフォーカル顕微鏡１１は、観察画像の取得が終了されると、出力していた観察画像の画像信号の出力を終了して、パーソナルコンピュータ１２Ａに対してイベントマーカを通知する。そして、画像取得フェーズが終了したと判定されるまで（ステップＳ７９のYes）、上述したステップＳ７１ないしＳ７９が繰り返される。
【００４１】
図２のフローチャートに戻り、パーソナルコンピュータ１２Ａでは、コンフォーカル顕微鏡１１からイベントマーカが通知された場合（ステップＳ１５のYes）、そのイベントマーカが取得され、記録部５２に記録される（ステップＳ１６，Ｓ１７）。また、パーソナルコンピュータ１２Ａでは、コンフォーカル顕微鏡１１から観察画像の画像信号が入力された場合（ステップＳ１８のYes）、その画像信号が取得され、記録部５２に記録される（ステップＳ１９，Ｓ２０）。
【００４２】
それらのステップＳ１５ないしＳ２０の処理は、ステップＳ２１において、実験が終了すると判定されるまで繰り返される。すなわち、コンフォーカル顕微鏡１１では、実験シーケンスに従った試料Ｓの観察が行われるが、その画像取得フェーズにおいては、外部トリガ出力設定として設定された、観察画像の取得の開始時若しくは取得の終了時のイベントの発生が常時監視され、それらのイベントが発生した場合には、イベントに応じて記録されたイベントマーカ（つまり、イベントの発生時刻）がパーソナルコンピュータ１２Ａに通知される。これにより、パーソナルコンピュータ１２Ａの記録部５２には、コンフォーカル顕微鏡１１からの観察画像の画像信号と、コンフォーカル顕微鏡１１側で行われた観察画像の取得の開始時に計時された画像取得開始時刻及び取得の終了時に計時された画像取得終了時刻を含んでいるイベントマーカとが対応付けられて記録されることになる。
【００４３】
また、外部機器１３は、コンフォーカル顕微鏡１１から外部トリガが入力されると、その外部トリガを取得し（ステップＳ５１）、取得した外部トリガに応じて他の機器を制御する（ステップＳ５２）。
【００４４】
コンフォーカル顕微鏡１１では、画像取得フェーズ（ステップＳ３４Ａ）が終了すると、次に、光刺激フェーズ（ステップＳ３４Ｂ）が開始される。
【００４５】
ここで、図４のフローチャートを参照して、コンフォーカル顕微鏡１１において実行される光刺激フェーズの詳細について説明する。
【００４６】
ステップＳ９１において、コントローラ３０は、設定された外部トリガ出力設定に基づいて、光刺激の開始のイベントが発生したか否かを判定する。ステップＳ９１において、外部トリガ出力設定により設定された光刺激の開始のイベントが発生したと判定された場合、ステップＳ９２において、コントローラ３０は、コンフォーカル顕微鏡１１の各部の動作を制御して、試料Ｓに対する光刺激を開始する。このとき、コントローラ３０は、光刺激の開始時に外部トリガを出力する設定となっているので、そのイベントに応じた外部トリガを外部機器１３に出力する（ステップＳ９３）とともに、対応するイベントマーカをパーソナルコンピュータ１２Ａに通知する（ステップＳ９４）。
【００４７】
ステップＳ９５において、コントローラ３０は、設定された外部トリガ出力設定に基づいて、光刺激の終了のイベントが発生したか否かを判定する。ステップＳ９５において、外部トリガ出力設定により設定された光刺激の終了のイベントが発生したと判定された場合、ステップＳ９６において、コントローラ３０は、コンフォーカル顕微鏡１１の各部の動作を制御して、試料Ｓに対する光刺激を終了する。このとき、コントローラ３０は、光刺激の終了時に外部トリガを出力する設定となっているので、そのイベントに応じた外部トリガを外部機器１３に出力する（ステップＳ９７）とともに、対応するイベントマーカをパーソナルコンピュータ１２Ａに通知する（ステップＳ９８）。
【００４８】
このように、光刺激フェーズでは、光刺激フェーズが終了したと判定されるまで（ステップＳ９９のYes）、試料Ｓの特定部位に対する光刺激が繰り返し行われ、その都度、イベントマーカとして、光刺激開始時刻と光刺激終了時刻がパーソナルコンピュータ１２Ａに通知される。
【００４９】
図２のフローチャートに戻り、パーソナルコンピュータ１２Ａでは、コンフォーカル顕微鏡１１からイベントマーカが通知された場合（ステップＳ１５のYes）、そのイベントマーカが取得され、記録部５２に記録される（ステップＳ１６，Ｓ１７）。
【００５０】
すなわち、光刺激フェーズでは、画像取得フェーズと同様にして、外部トリガ出力設定として設定された、光刺激の開始時若しくは終了時のイベントが常時監視され、それらのイベントが発生した場合には、イベントに応じて記録されたイベントマーカがパーソナルコンピュータ１２Ａに通知される。これにより、パーソナルコンピュータ１２Ａには、コンフォーカル顕微鏡１１側で行われた光刺激についての光刺激開始時刻又は光刺激終了時刻を含んでいるイベントマーカ（つまり、イベントの発生時刻）が記録されることになる。なお、光刺激フェーズでは、観察画像の取得は行わないため、記録部５２には、イベントマーカのみが記録される。
【００５１】
そして、光刺激フェーズが終了すると、ステップＳ３５において、コントローラ３０は、実験の終了が指示されたか否かを判定する。
【００５２】
ステップＳ３５において、実験の終了が指示されていないと判定された場合、ステップＳ３４Ａに戻り、先に述べたステップＳ３４Ａ，Ｓ３４Ｂが繰り返される。すなわち、コンフォーカル顕微鏡１１では、実験シーケンスに従って画像取得フェーズと光刺激フェーズとが相互に繰り返され、画像取得フェーズにおける観察画像の取得の開始時若しくは取得の終了時のイベントに応じて計時（記録）されたイベントマーカと、光刺激フェーズにおける光刺激の開始時若しくは終了時のイベントに応じて計時（記録）されたイベントマーカが、パーソナルコンピュータ１２Ａに通知される。
【００５３】
その後、例えば、パーソナルコンピュータ１２Ａからの指示などにより、実験の終了が指示されると、コントローラ３０は、ステップＳ３５において、実験を終了すると判定し、コンフォーカル顕微鏡１１の各部の動作を制御して、１回目の実験を終了する（ステップＳ３６）。
【００５４】
パーソナルコンピュータ１２Ａの制御部５０は、ステップＳ２２において、所定の回数の実験が終了したか否かを判定し、所定の回数の実験が終了していないと判定された場合、処理は、ステップＳ１３に戻り、先に述べた処理が繰り返される。すなわち、パーソナルコンピュータ１２Ａからの指示により、所定の回数の実験が終了したと判定されるまで（ステップＳ２２のYes）、コンフォーカル顕微鏡１１では、ステップＳ３３ないしＳ３６が繰り返される。その結果、パーソナルコンピュータ１２Ａには、１回目の実験と同一の実験シーケンスに従って実行された、２回目、３回目、・・・の実験（観察）により得られる観察画像の画像信号が出力されるとともにそれらの画像取得開始時刻及び画像取得終了時刻を含んでいるイベントマーカが通知され、さらに光刺激開始時刻及び光刺激終了時刻を含んでいるイベントマーカが通知される。
【００５５】
その後、所定の回数の実験が終了したと判定されると（ステップＳ２２のYes）、パーソナルコンピュータ１２Ａでは、ステップＳ２３において、制御部５０は、ユーザによる入力装置１２Ｂの操作に応じて、画像の平均化処理の実行が指示されたか否かを判定する。ステップＳ２２において、画像の平均化処理の実行が指示されたと判定された場合、解析処理部５３は、所定の解析処理として、画像の平均化処理を行う。
【００５６】
画像の平均化処理により得られた平均画像は、表示装置１２Ｃに表示される（ステップＳ２５）。なお、画像の平均化処理とは、同一の実験シーケンスを複数回繰り返し実行して得られた同一の実験フェーズの観察画像（例えば１回目の画像取得フェーズの１枚目の観察画像など）について、各観察画像の同一画素の出力値を加算平均することで、同一の実験フェーズとなる複数の観察画像から平均画像を生成する処理である。
【００５７】
ここで、解析処理部５３により実行される画像の平均化処理の詳細について、図５及び図６のタイミングチャートを参照しながら説明する。図５は、観察画像の画像取得開始時刻を用いた画像の平均化処理を説明するためのタイミングチャートである。なお、図５において、時間の方向は、図中左側から右側に向かう方向とする。また、図中のフレームは観察画像の画像信号を構成するフレームを示し、ROI1，ROI2は試料Ｓの光刺激を行う特定部位を示している。
【００５８】
図５Ａには、画像取得フェーズと光刺激フェーズを繰り返す実験シーケンスが設定された場合において、その実験シーケンスが３回繰り返されたときの、１回目ないし３回目の実験のそれぞれの１回目の画像取得フェーズ、光刺激フェーズ、２回目の画像取得フェーズ、・・・などの同一の実験フェーズで行われる実験（観察）の内容が対比可能となるように時系列で並べられている。
【００５９】
１回目の実験における１回目の画像取得フェーズ１では、実験が開始されると、観察画像の画像信号を構成する先頭のフレームの取得が時刻t1-1に開始され、その取得が時刻t1-2に終了される。また、２番目のフレームの取得が時刻t1-3に開始され、その取得が時刻t1-4に終了する。この実験フェーズと対応する２回目と３回目の実験における１回目の画像取得フェーズ１では、実験が開始されると、先頭のフレームの取得がそれぞれ時刻t2-1，t3-1に開始され、その取得がそれぞれ時刻t2-2，t3-2に終了する。すなわち、実験開始から先頭のフレームの取得を開始する時刻が、各回の実験ごとに、時刻t1-1，t2-1，t3-1となり、それぞれ一致していない。また、フレームのサイズは同一となるため、画像取得終了時刻が、時刻t1-2，t2-2，t3-2でそれぞれ一致していない。２番目のフレームについても先頭のフレームと同様に、画像取得開始時刻t2-3，t3-3が、画像取得開始時刻t1-3と一致せず、さらに、画像取得終了時刻t2-4，t3-4が、画像取得終了時刻t1-4と一致しない。このことは、画像取得フェーズ１の後に実行される、光刺激フェーズや２回目の画像取得フェーズ２においても同様である。
【００６０】
すなわち、１回目ないし３回目の実験におけるそれぞれの同一の実験フェーズで得られるフレームの間で、実験開始から観察画像の取得を開始するまでの時刻と、その観察画像の取得を終了する時刻にずれが生じている。これは、先に述べたように、コンフォーカル顕微鏡１１とパーソナルコンピュータ１２Ａとの間の通信負荷などに起因するものであり、それらの時刻にバラツキがある状態で、同一の実験フェーズで得られる観察画像に対して画像の平均化処理を施しても、正確な平均画像が得られないことになる。
【００６１】
そこで、ステップＳ２５の画像の平均化処理では、図５Ｂに示すように、例えば、１回目ないし３回目の実験における１回目の画像取得フェーズ１について、先頭のフレームは、画像取得開始時刻t1-1，t2-1，t3-1を基準として、それらの時刻を時間方向に揃えてから（図５Ｂの先頭のフレームの画像取得開始時刻は時刻t1で画像取得開始時刻が揃っている）、画像の平均化処理が行われるようにする。同様に、２番目のフレームについては、画像取得開始時刻t1-3，t2-3，t3-3を時刻t3で揃えてから、画像の平均化処理が行われるようにする。また、２回目の画像取得フェーズ２の各回の実験ごとに取得される先頭のフレームは、その画像取得開始時刻t1-13，t2-13，t3-13が、時刻t13で揃えられ、２番目のフレームは、その画像取得開始時刻t1-15，t2-15，t3-15が、時刻t15で揃えられる。
【００６２】
すなわち、パーソナルコンピュータ１２Ａでは、コンフォーカル顕微鏡１１から通知されたイベントマーカを画像信号に対応付けて記録しているので、解析処理部５３は、このイベントマーカに含まれるイベントの発生時刻としての画像取得開始時刻（図５Ａの画像取得開始時刻t1-1，t2-1，t3-1など）を基準として、同一実験フェーズで得られる観察画像の画像信号を構成するフレームの先頭を揃えてから、画像の平均化処理を行うようにする。これにより、各回の実験ごとに取得されるフレームの間の時刻のずれが軽減されるため、より正確な平均画像を得ることができる。
【００６３】
図６は、観察画像の画像取得終了時刻を用いた画像の平均化処理を説明するためのタイミングチャートである。図６Ａには、先に述べた図５Ａと同様に、画像取得フェーズと光刺激フェーズを繰り返す実験シーケンスを実行したときのそれらのフェーズで行われている実験（観察）の内容が時系列で示されている。
【００６４】
図６Ｂでは、各フレームのサイズが同一であるので、図５Ｂで説明した画像取得開始時刻の代わりに、コンフォーカル顕微鏡１１から通知された画像取得終了時刻（画像取得終了時刻t1-2，t2-2，t3-2など）を基準にして、同一実験フェーズで得られる画像信号を構成するフレームの末尾を揃えてから、画像の平均化処理を行うようにする。この場合、１回目ないし３回目の実験における１回目の画像取得フェーズ１で取得される先頭のフレームは、その画像取得終了時刻t1-2，t2-2，t3-2が、時刻t2で揃えられ、２番目のフレームは、その画像取得終了時刻t1-4，t2-4，t3-4が、時刻t4で揃えられる。また、２回目の画像取得フェーズ２の各回の実験ごとに取得される先頭のフレームは、その画像取得終了時刻t1-14，t2-14，t3-14が、時刻t14で揃えられ、２番目のフレームは、その画像取得終了時刻t1-16，t2-16，t3-16が、時刻t16で揃えられる。
【００６５】
以上のように、実験開始からのタイムスケールではなく、イベントマーカに含まれる画像取得開始時刻や画像取得終了時刻を基準として、同一実験フェーズの各フレームの間の時刻のずれを補正してから、画像の平均化処理が施されるので、時刻のずれが軽減され、より正確な平均画像を得ることができる。
【００６６】
また、解析処理の一例として、画像の平均化処理を説明したが、コンフォーカル顕微鏡１１から通知されるイベントマーカに含まれる画像取得開始時刻若しくは画像取得終了時刻、又は光刺激開始時刻若しくは光刺激終了時刻を利用した他の解析処理も同様にして、時刻のずれを軽減して、より正確な解析結果を得ることができる。
【００６７】
ところで、上述した説明では、ガルバノスキャナにより構成されるレーザ走査部３５により画像取得フェーズと光刺激フェーズを交互に行う例を説明したが、例えばガルバノスキャナとレゾナントスキャナの２種類のスキャナを搭載することで、ガルバノスキャナにより光刺激を行いながら、レゾナントスキャナにより観察画像の取得を行う実験（観察）を実行することが可能となる。すなわち、この場合、画像取得フェーズと光刺激フェーズとが同時に行われることになる。
【００６８】
そこで、次に、図７のフローチャートを参照して、画像取得フェーズと光刺激フェーズとが同時に行われる場合の観察解析処理について説明する。
【００６９】
なお、図７のパーソナルコンピュータ１２Ａで実行される、ステップＳ１１１ないしＳ１２５は、図２のステップＳ１１ないしＳ２５と同様である。また、図７のコンフォーカル顕微鏡１１で実行される処理は、図２の画像取得フェーズ（ステップＳ３４Ａ）と光刺激フェーズ（ステップＳ３４Ｂ）の代わりに、図７の画像取得／光刺激フェーズ（ステップＳ１３４）を実行する以外は上述した説明と同様である。また、図７の外部機器１３で実行される、ステップＳ１５３ないしＳ１５６は、図２のステップＳ５１，Ｓ５２と同様である。そのため、図７において、図２と同様の処理の説明は適宜省略する。
【００７０】
ステップＳ１１１，Ｓ１１２においては、図２のステップＳ１１，Ｓ１２と同様に、外部トリガ出力設定と実験シーケンスの設定が指示されるが、ここでは、例えば、外部トリガ出力設定として、観察画像の取得の開始時若しくは取得の終了時に外部トリガが出力され、外部トリガの入力時に光刺激の開始若しくは終了がされる設定がされる（ステップＳ１３１）。また、例えば、実験シーケンスとして、画像取得フェーズと光刺激フェーズとを同時に行う設定がされる（ステップＳ１３２）。
【００７１】
コンフォーカル顕微鏡１１では、パーソナルコンピュータ１２Ａから実験の開始が指示されると、画像取得／光刺激フェーズ（ステップＳ１３４）が、実験を終了すると判定されるまで繰り返される。
【００７２】
図８は、コンフォーカル顕微鏡１１において実行される画像取得／光刺激フェーズの詳細を説明するフローチャートである。
【００７３】
ステップＳ１７１ないしＳ１７４においては、図３のステップＳ７１ないしＳ７４と同様に、観察画像の取得が開始されると、パーソナルコンピュータ１２Ａに対してイベントマーカが通知されるとともに、取得した観察画像の画像信号の出力が開始される。また、ステップＳ１７６ないしＳ１７９においては、図３のステップＳ７５ないしＳ７８と同様に、観察画像の取得が終了されると、観察画像の画像信号の出力が終了され、パーソナルコンピュータ１２Ａに対してイベントマーカが通知される。
【００７４】
また、この例では、実験シーケンスとして、画像取得フェーズと光刺激フェーズとを同時に行う設定がされているので、観察画像の取得が行われているときに、外部機器１３（図７のステップＳ１５１，Ｓ１５２）から光刺激開始の外部トリガが入力された場合（ステップＳ１８０のYes）、光刺激が開始される。また、外部機器１３（図７のステップＳ１５１，Ｓ１５２）から光刺激終了の外部トリガが入力された場合（ステップＳ１８３のYes）、光刺激が終了される。すなわち、観察画像の取得が行われているときにも、試料Ｓの特定部位に対する光刺激が繰り返し行われ、その都度、イベントマーカとして、光刺激開始時刻と光刺激終了時刻がパーソナルコンピュータ１２Ａに通知される（ステップＳ１８０ないしＳ１８５）。
【００７５】
このように、コンフォーカル顕微鏡１１では、実験シーケンスに従って画像取得フェーズと光刺激フェーズとが同時に行われ、観察画像の取得の開始時若しくは取得の終了時のイベントに応じて計時（記録）されたイベントマーカと、光刺激の開始時若しくは終了時のイベントに応じて計時（記録）されたイベントマーカが、パーソナルコンピュータ１２Ａに通知される。
【００７６】
図７のフローチャートに戻り、パーソナルコンピュータ１２Ａでは、所定の回数の実験が終了し（ステップＳ１２２のYes）、かつ光刺激に応じた画像の平均化処理の実行が指示されたと判定された場合（ステップＳ１２３のYes）、ステップＳ１２４において、解析処理部５３によって、画像の平均化処理が行われ、光刺激に応じた平均画像が表示装置１２Ｃに表示される（ステップＳ１２５）。
【００７７】
図９は、光刺激開始時刻を用いた画像の平均化処理を説明するためのタイミングチャートである。図９Ａには、画像取得フェーズと光刺激フェーズとが同時に行われる実験シーケンスが設定された場合において、その実験シーケンスが３回繰り返されたときの、１回目ないし３回目の実験のそれぞれの同一実験フェーズで行われる実験（観察）の内容が時系列で並べられている。図９Ａの例では、実験シーケンスに従って、各画像取得フェーズで得られる３番目のフレームと４番目のフレームの途中で光刺激が行われている。
【００７８】
図９Ｂでは、上述した図５Ｂ又は図６Ｂと同様に、画像取得開始時刻又は画像取得終了時刻を基準として、同一の実験フェーズで得られる画像信号を構成するフレームの先頭又は末尾が揃えられている。さらに、図９Ｂでは、このようにして時刻のずれが補正された各フレームのうち、光刺激が行われた３番目のフレームと４番目のフレームにおける光刺激開始時刻が揃えられている。例えば、画像取得フェーズで取得される３番目のフレームでは、その光刺激開始時刻t a-1，ta-2，ta-3が、時刻taで揃えられ、２番目のフレームは、その光刺激開始時刻te-1，te-2，te-3が、時刻teで揃えられる。
【００７９】
すなわち、解析処理部５３は、光刺激開始時刻を基準として、試料Ｓに対する光刺激が行われた区間を時間方向に揃えてから、所定の解析処理を行う。なお、光刺激開始時刻の代わりに、光刺激終了時刻を基準として揃えても同様の結果を得ることができる。
【００８０】
これにより、各フレームに対する光刺激開始時刻が揃えられるので、例えば、３番目のフレームの光刺激した後に得られる観察画像の平均画像を生成したり、光刺激を行った瞬間の観察画像の平均画像を生成したりするなどして、より正確な、光刺激に応じた平均画像を得ることができる。
【００８１】
以上のように、本発明によれば、同一実験シーケンスを複数回実行するに際して、イベントマーカに含まれる画像取得開始時刻や画像取得終了時刻を基準として、同一実験フェーズの各フレームの間の時刻のずれを補正してから、画像の平均化処理等の所定の解析処理が行われるので、時刻のずれを軽減して、より正確な解析結果を得ることができる。
【００８２】
また、上述した各フレーム間の時刻のずれを、表示された観察画像をユーザが目視により確認して手動で修正することも考えられるが、この方法であると、手間であるとともに、正確性に欠ける一方、本発明によれば、イベントマーカを利用して、時刻のずれを補正することができるので、簡単に、かつ正確な解析結果を得ることができる。
【００８３】
なお、イベントマーカをパーソナルコンピュータ１２Ａに通知するタイミングであるが、先に述べた外部トリガの入出力のタイミングに限らず、各回の実験が終了したときなどに通知するようにしてもよい。要は、パーソナルコンピュータ１２Ａが画像平均化処理などの処理の解析処理を実行時する際に、観察画像の画像信号に対応するイベントマーカを取得できていればよく、その通知のタイミングは任意である。
【００８４】
また、イベントマーカは、コンフォーカル顕微鏡１１内で行われる動作（イベント）の時刻をほぼ正確に計時（記録）できるので、先に述べた、画像取得開始時刻若しくは画像取得終了時刻、又は光刺激開始時刻若しくは光刺激終了時刻以外の、試料Ｓの観察に関する所定のイベントの発生時刻を計時し、イベントマーカによりパーソナルコンピュータ１２Ａに通知して、パーソナルコンピュータ１２Ａで行われる所定の解析処理に利用することもできる。
【００８５】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８７】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００８８】
１  顕微鏡システム，  １１  コンフォーカル顕微鏡，  １２Ａ  パーソナルコンピュータ，  １２Ｂ  入力装置，  １２Ｃ  表示装置，  １３  外部機器，  ３０  コントローラ，  ３１  記録部，  ３２  ステージ，  ３３  レーザ光源，  ３４  ダイクロイックミラー，  ３５  レーザ走査部，  ３６  対物レンズ，  ３７  光検出部，  ３８  画像処理部，  ３９  通信部，  ５０  制御部，  ５１  通信部，  ５２  記録部，  ５３  解析処理部
【図１】
2011141309.tif 000003
【図２】
2011141309.tif 000004
【図３】
2011141309.tif 000005
【図４】
2011141309.tif 000006
【図５】
2011141309.tif 000007
【図６】
2011141309.tif 000008
【図７】
2011141309.tif 000009
【図８】
2011141309.tif 000010
【図９】
2011141309.tif 000011