(57)【要約】３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムによる試料の３次元測定方法に関し、本方法は、３次元仮想現実装置を測定システムに設けることと、３次元仮想現実装置を用いて測定空間の３次元仮想空間を作成することと、仮想空間でオペレーションを選択することを許可することと、仮想空間で選択されたオペレーションが測定空間で実行されて、測定空間で測定されたデータが仮想空間で表示されるように、測定空間と仮想空間との間に単方向または双方向のリアルタイム接続を提供することとを有する。また、試料の３次元測定のための測定システムであって、３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムに関し、測定システムは、測定空間の３次元仮想空間を表示するための３次元仮想現実装置を備え、レーザ走査顕微鏡と３次元仮想現実装置との間に単方向または双方向のリアルタイム接続が提供される。【選択図】図１
2015513065.tif 000002
【特許請求の範囲】
【請求項１】
３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムによる、試料の３次元測定のための方法であって、
３次元仮想現実装置を前記測定システムに設けることと、
前記３次元仮想現実装置を用いて、前記測定空間の３次元仮想空間を作成することと、
前記仮想空間でオペレーションを選択することを許可することと、
前記仮想空間で選択されたオペレーションが前記測定空間で実行されて、前記測定空間で測定されたデータが前記仮想空間で表示されるように、前記測定空間と前記仮想空間との間に単方向または双方向のリアルタイム接続を提供すること、とを有する
ことを特徴とする方法。
【請求項２】
前記レーザ走査顕微鏡の測定空間内に配置された試料または試料の一部を３次元で走査することと、
走査された前記試料を前記仮想空間に表示することと、
少なくとも１つの点及び／または曲線及び／または領域を含む仮想コンフィギュレーションを選択することを許可することと、
前記仮想コンフィギュレーションに対応する前記測定空間の座標を算出することと、
前記測定空間の座標に基づいて、前記仮想コンフィギュレーションに従って前記試料を走査するとともに走査の最中に前記試料で測定及び／またはインタラクションを実行するように、前記レーザ走査顕微鏡を制御することと、とを有する
請求項１に記載の方法。
【請求項３】
前記仮想コンフィギュレーションは、３次元の点で構成される準連続曲線、または規定点を補間した曲線であって、前記仮想空間において前記曲線の点または前記補間曲線の規定点を変位させるステップと、前記変位に応じて前記測定空間において前記測定座標を修正するステップとを含む
請求項２に記載の方法。
【請求項４】
前記仮想空間は、３次元の点で構成される準連続曲線、または規定点を補間した曲線であって、前記曲線の点または前記補間曲線の規定点に作用する機能及び／またはアルゴリズムを制御するステップと、これらを表示するステップと、これに応じて前記測定空間において前記測定座標を修正するステップとを含む
請求項２に記載の方法。
【請求項５】
前記試料の前記３次元走査の過程で、前記レーザ走査顕微鏡の光軸と直交または交差する複数の平面において前記試料を走査することと、
走査された前記平面を前記仮想空間に表示することと、とを有する
請求項２に記載の方法。
【請求項６】
走査された前記試料またはその一部を、前記仮想空間に空間フォグとして表示する
請求項５に記載の方法。
【請求項７】
走査された前記試料またはその一部を、前記仮想空間に空間的表面要素として表示することと、３次元効果を高めるために１つ以上の模擬光源を使用することと、とを有する
請求項５に記載の方法。
【請求項８】
物理的オペレーションを実行するように機能するオペレーション装置であって、測定用レーザ光線と同時に作動し得るオペレーション装置を、前記測定システムに設けることと、
前記測定空間における前記オペレーション装置のオペレーションを、前記仮想空間で選択することと、
前記仮想空間で選択された前記オペレーションを、前記測定空間において前記オペレーション装置により実行することと、とを有する
請求項１ないし７のいずれかに記載の方法。
【請求項９】
前記物理的オペレーションは、物理的インタラクション、または物理パラメータの測定であり、前記物理的オペレーションを実行するように機能する前記オペレーション装置は、ロボット手術装置、メス、レーザアブレーション装置、超音波凝固器、レーザ凝固器、マイクロインジェクタ、真空吸引装置、光ケーブル、プリズム、グリッドレンズ、電気刺激装置、試料に挿入される好ましくは電極である測定装置、パッチクランプ法のためのマイクロピペット、細胞外記録用電極、内視鏡装置、電気泳動装置である
請求項８に記載の方法。
【請求項１０】
オペレーションを選択するための、好ましくは３次元マーカである３次元入力装置を、前記３次元仮想現実装置に設けることを有する
請求項１ないし９のいずれかに記載の方法。
【請求項１１】
その座標系が前記仮想空間と同期されているとともに、オペレーションを選択するための３次元空間曲線及び点を描画及び選択するのに適した、３次元マウスまたは機械的アームを、前記３次元仮想現実装置に設ける
請求項８に記載の方法。
【請求項１２】
オペレーションを選択するために設けられた前記３次元入力装置のポインティングデバイスの空間位置は、該装置に属する仮想マーカの空間位置と一致しているか、または、それに対して所定の空間ベクトルでオフセットしている
請求項１１に記載の方法。
【請求項１３】
３次元入力装置及び（該入力装置により駆動される）そのオプションの３次元仮想マーカの所与の局所仮想環境における仮想現実の光学コントラストまたは視認性を変更することで、好ましくは、インタラクションをより良好に表示するためにコントラストを高める
請求項８ないし１２のいずれかに記載の方法。
【請求項１４】
前記測定空間で測定されたデータを表示するために、好ましくは裸眼立体ディスプレイである３次元表示装置を、前記３次元仮想現実装置内に設ける
請求項１ないし１３のいずれかに記載の方法。
【請求項１５】
前記測定空間で測定されたデータを表示するために、好ましくは立体ディスプレイである３次元表示装置と、好ましくは眼鏡である能動型または受動型の立体視ユーザデバイスとを、前記３次元仮想現実装置に設ける
請求項１ないし１４のいずれかに記載の方法。
【請求項１６】
前記３次元仮想現実装置内で頭部位置追跡を提供することと、ユーザの頭部の位置に応じて前記３次元表示装置により前記仮想空間を表示することと、とを有する
請求項１４または１５のいずれかに記載の方法。
【請求項１７】
複数の３次元仮想現実装置を、前記測定システムに設けることと、
複数のユーザのために、前記測定空間の複数の３次元仮想空間を、前記複数の３次元仮想現実装置により作成することと、とを有する
請求項１ないし１６のいずれかに記載の方法。
【請求項１８】
前記複数の３次元仮想現実装置と前記測定システムとの間に、ローカルネットワークまたはグローバルネットワークを介したリアルタイム接続を提供する
請求項１７に記載の方法。
【請求項１９】
複数の測定システムのための共通の３次元仮想現実装置を設けることと、該複数の測定空間の共通の３次元仮想空間を前記共通の３次元仮想現実装置により作成することと、とを有する
請求項１に記載の方法。
【請求項２０】
前記測定システムは、２光子レーザ走査顕微鏡または共焦点レーザ走査顕微鏡を備える
請求項１ないし１９のいずれかに記載の方法
【請求項２１】
試料の３次元測定のための測定システムであって、該測定システムは、３次元測定空間を有するとともにレーザ走査顕微鏡を備え、
前記測定空間の３次元仮想空間を表示するための３次元仮想現実装置をさらに備え、前記レーザ走査顕微鏡と前記３次元仮想現実装置との間に単方向または双方向のリアルタイム接続が提供される
ことを特徴とする測定システム。
【請求項２２】
物理的オペレーションを実行するためのオペレーション装置を備え、前記オペレーション装置と前記３次元仮想現実装置との間に単方向または双方向のリアルタイム接続が提供される
請求項２１に記載の測定システム。
【請求項２３】
試料の３次元測定のための測定システムであって、該測定システムは、３次元測定空間を有するとともに、レーザ走査顕微鏡及びオプションとして他のオペレーション装置を備え、さらに制御システムが設けられていて、
請求項１ないし２０のいずれかに記載の方法を実行するために、前記制御システムとの単方向または双方向のリアルタイム接続を有する３次元仮想現実装置を備える
ことを特徴とする測定システム。
【請求項２４】
前記測定システムを１つ以上の波長で同時または略同時に作動させる
請求項１ないし２０のいずれかに記載の方法。
【請求項２５】
１つ以上の波長で測定することと、同時または略同時に１つ以上の異なる波長で物理的オペレーションを実行することと、とを有する
請求項２４に記載の方法。
【請求項２６】
前記３次元レーザ走査顕微鏡での機械的変位により、ｚ焦点合わせ及び／またはｘｙ走査を提供する
請求項２０に記載の方法。
【請求項２７】
空間走査の過程で実現される物理的変位と、測定するために選択されたコンフィギュレーションとの間の誤差を、前記３次元仮想空間に表示することと、測定の空間的誤差を減少させるように３次元入力装置を用いて空間軌道を修正することと、とを有する
請求項１ないし２０のいずれかに記載の方法及び測定システム。
【請求項２８】
音響光学偏向システムを有するか、またはホログラフィック・スキャナユニットを有する３次元レーザ走査顕微鏡を用いること、または時空間多重化により（すなわち、空間インパルス分離により）３次元走査を実行する３次元レーザ走査顕微鏡を用いること、または機械的に変位可能なレンズを電界で制御することにより３次元走査を実行する３次元レーザ走査顕微鏡を用いること、とを有する
請求項２０に記載の方法及び測定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムによる試料の３次元測定のための方法に関するものである。本発明は、さらに、そのような測定システムに関する。
【背景技術】
【０００２】
従来技術による数多くの３次元撮像装置が存在する（ＣＴ、ＭＲＩ、超音波、例えば、共焦点顕微鏡、２光子顕微鏡、３次元２光子顕微鏡、スピニングディスク共焦点顕微鏡、原子間力顕微鏡など、様々なレーザ走査法）。一般に、これらの装置は、通常のコンピュータ構成に接続されており、すなわち、測定で結果として得られた３次元（３Ｄ）情報は、２次元（２Ｄ）投影としてモニタに表示される。医学的・生物学的用途では、多くの場合、生体試料が短寿命であるか、または限られた時間内においてのみ被測定現象を観測可能であることから、情報の高速認識及び高速判断が重要である。このような試料の場合には、外科的インタラクションまたは実験を実施することにより検査試料を変化させることを目的とすることが多い。一部のケースでは、取得したデータの表示を向上させるために、立体ディスプレイが使用されるが、ただし、その表示は、測定及び試料への物理的インタラクションの実施からの時間的な隔たりがある。
【０００３】
生体試料の３次元測定は、試料を点ごとに逐次走査することにより測定を行う３次元（３Ｄ）レーザ走査顕微鏡によって実施することができる。３Ｄレーザ走査技術は、生体試料の分析において、特に３次元生体構造を画像化する際、及びそのような構造の変化を異なる時間スケールで追跡する際に、極めて重要である。
【０００４】
よく用いられる３Ｄレーザ走査顕微鏡は、共焦点顕微鏡または２光子顕微鏡のいずれかである。共焦点顕微鏡技術では、顕微鏡対物レンズの焦点面以外の面からの反射光を除去するために、検出器の前にピンホールが配置される。これにより、試料（例えば、生体試料）内の様々な深さに位置する平面の撮像が可能である。
【０００５】
２光子レーザ走査顕微鏡は、量子現象で蛍光分子を励起するために２つの光子を必要とする低エネルギーのレーザ光を用いるものであり、その結果、放出される蛍光光子を、検出器によって検出する。２光子の略同時吸収の確率は極めて低く、高励起光子束を必要とするので、２光子励起は、実際には、レーザ光線の焦点においてのみ、すなわち、典型的には約３００ｎｍ×３００ｎｍ×１０００ｎｍのサイズの小さな楕円形のボリュームにおいてのみ、生じる。一般に、十分に低い平均レーザ光強度を維持しながら、２光子励起に必要な光子束を得るために、フェムト秒パルスレーザが用いられる。
【０００６】
上記技術のいずれかを適用する場合に、例えばステッピングモータによって試料台を動かすことにより、３Ｄ走査を実施することが可能であるが、ただし、これは、液中試料室を使用する場合、または生体試料について微小電極で電気的に記録する場合に、実施が複雑である。従って、生体試料を分析する場合には、試料を動かすのではなく、レーザ光線の焦点を動かすほうが好ましいことが多い。これは、焦点面（ＸＹ平面）の異なる点を走査するようにレーザ光線を偏向させることにより、さらに、焦点面の深さを変更するように対物レンズをその光軸（Ｚ軸）に沿って例えばピエゾポジショナで変位させることにより、実現が可能である。例えばガルバノスキャナに搭載された偏向ミラーによって、または音響光学偏向器によって、対物レンズに入射する前のレーザ光線を偏向させるための、いくつかの周知の技術がある。
【０００７】
更なる可能性は、空間光変調器（ＳＬＭ：Ｓｐａｔｉａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ）を使用することで所望の２次元または３次元走査効果が得られる所謂ホログラフィック顕微鏡法（非特許文献１）を用いることである。３Ｄ走査を実施するために従来のシステムと組み合わせて用いることができる新技術は、所謂、時空間多重化顕微鏡法、すなわち空間インパルス分離である（非特許文献２）。この方法では、単一のレーザインパルスをビームスプリッタで複数の部分に分割し、各サブインパルスは、異なる焦点面へのサブインパルスで形像する異なる撮像系をそれぞれ通過することで、異なる時間遅延で異なる平面に集束される。空間走査を目的として、時間的に順に衝突するサブインパルスは、高速光子計数型検出器で分離される。
【０００８】
ガルバノスキャナ及び音響光学偏向器は、非常に高速のデバイスであり、従って、ＸＹ平面の所望の位置に焦点を移動させて、その位置で検出器により測定データを取得することは、１μｓ未満で実行することができる。ところが、Ｚポジショニングは、顕微鏡対物レンズの慣性によって、かなり多くの時間がかかり、これによって３Ｄ走査は長々としたオペレーションとなる。
【０００９】
当技術分野で一般に許容される信号対ノイズ比を達成するためには、平均的な対物レンズ及び平均的な試料サイズであると仮定して、測定は、何分もの時間を要し得る（例えば、２光子顕微鏡を用いて、好ましくは光学的分解能よりも高い分解能で、５１２×５１２×２００ピクセルのボリュームを走査すると、測定に５〜２０分かかることがある）。ところが、生体試料で生じる速い生理的反応は、ｍｓのオーダである（例えば、活動電位、シナプス信号伝達）。試料の他の部分は省いて、関連のある領域、曲線、点に沿ってのみ測定することにより、走査顕微鏡による測定時間を削減することが可能である。そのような技術は、例えば、特許文献１に開示されている。しかしながら、この技術及び同様の技術の適用においては、最初に３Ｄ試料の一部の空間選択が必要となる。
【００１０】
レーザ走査顕微鏡の光軸と直交する平面において試料を走査し、光軸に沿った前方または後方への動きをシミュレートして２Ｄ断面を次々とユーザに表示する技術が、従来技術（非特許文献３を参照）で知られている。ユーザは、２Ｄ断面で測定されるべきコンフィギュレーション（領域、曲線、点）を選択する必要がある。
【００１１】
周知の方法には、いくつかの欠点がある。まず第１に、種々の神経細胞型の場合のように複雑な空間的構造を有する一般的な生体対象物において、自身の位置を確認することは困難である。特に、対象物が走査平面に垂直である場合、かつ、それらが相互に近接している場合に問題が生じ、そのような場合には、２つの隣接する平面間で、連続した対象物をトレースすること、及び別々の対象物を区別することが困難である（例えば、電子顕微鏡の再構成プログラムを参照）。低品質、低信号対ノイズ比の像を分析する必要がある場合、またはそのような像において対象物の連続性及び個別性を確認しなければならない場合には、状況はさらに悪化する。
【００１２】
更なる欠点は、試料の位置が局所的に永続的に変化するため、２Ｄ断面を閲覧する十分な時間がないことが非常に多いということである。例えば、ユーザが、３Ｄで理想的には必要である数百の測定点を選択しようとする場合に、このプロセスは、選択を終える前にもかかわらず、初めに選択された点がもはや正確な位置ではなくなるほどに試料の元の位置が緩むような、長い時間を要することになる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】国際公開第２０１０／００７４５２号
【特許文献２】国際公開第２００５／１１６８０９号
【特許文献３】国際公開第９８／３４４１１号
【特許文献４】国際公開第２０１０／０５５３６２号
【特許文献５】国際公開第２０１０／０５５３６１号
【非特許文献】
【００１４】
【非特許文献１】Ｖｏｌｏｄｙｍｙｒ Ｎｉｋｏｌｅｎｋｏ，Ｂｒｅｎｄｏｎ Ｏ．Ｗａｔｓｏｎ，Ｒｏｂｅｒｔｏ Ａｒａｙａ，Ａｌａｎ Ｗｏｏｄｒｕｆｆ，Ｄａｒｃｙ Ｓ．Ｐｅｔｅｒｋａ，Ｒａｆａｅｌ Ｙｕｓｔｅ著，“Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｎｅｕｒａｌ Ｃｉｒｃｕｉｔｓ”，２００８年
【非特許文献２】Ａｄｒｉａｎ Ｃｈｅｎｇ，Ｊ Ｔｉａｇｏ Ｇｏｎｃａｌｖｅｓ，Ｐｅｙｍａｎ Ｇｏｌｓｈａｎｉ，Ｋａｔｓｕｓｈｉ Ａｒｉｓａｋａ，Ｃａｒｌｏｓ Ｐｏｒｔｅｒａ‐Ｃａｉｌｌｉａｕ著，“Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ”，２０１１年
【非特許文献３】Ｋａｔｏｎａ等著「Ｒｏｌｌｅｒ Ｃｏａｓｔｅｒ Ｓｃａｎｎｉｎｇ ｒｅｖｅａｌｓ ｓｐｏｎｔａｎｅｏｕｓ ｔｒｉｇｇｅｒｉｎｇ ｏｆ ｄｅｎｄｒｉｔｉｃ ｓｐｉｋｅｓ ｉｎ ＣＡ１ ｉｎｔｅｒｎｅｕｒｏｎｓ」，“ＰＮＡＳ，２０１１年２月１日，１０８巻，５号”
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、従来技術に関連する問題を解消する、レーザ走査顕微鏡を用いた３次元試料の分析のための方法ならびに測定システムを提供することである。
【課題を解決するための手段】
【００１６】
レーザ走査顕微鏡（または他の物理的オペレーション装置）の測定空間が、３次元仮想現実装置により表示され、かつ、測定空間と３次元仮想空間との間にリアルタイム接続が提供される場合には、測定を実施するユーザにとって３次元表示がより自然であり、また、比較的低い信号対ノイズ比を有する品質の劣る像であっても、より良く解釈することが可能であり、より容易に連続性及び個別性を確認することが可能であるため、上記欠点を解消できることが分かった。
【００１７】
従って、本発明の目的は、３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムによる試料の３次元測定のための方法によって達成され、該方法は、
‐  ３次元仮想現実装置を測定システムに設けることと、
‐  ３次元仮想現実装置を用いて、測定空間の３次元仮想空間を作成することと、
‐  仮想空間でオペレーションを選択することを許可することと、
‐  仮想空間で選択されたオペレーションが測定空間で実行されて、測定空間で測定されたデータが仮想空間で表示されるように、測定空間と仮想空間との間に単方向または双方向のリアルタイム接続を提供することと、を特徴とする。
【００１８】
上記目的は、さらに、試料の３次元測定のための測定システムであって、３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムを提供することによって達成される。測定システムは、測定空間の３次元仮想空間を表示するための３次元仮想現実装置を備え、レーザ走査顕微鏡と３次元仮想現実装置との間に単方向または双方向のリアルタイム接続が提供される、ことを特徴とする。
【００１９】
本発明の効果的な実施形態は、添付の従属請求項で規定している。
【図面の簡単な説明】
【００２０】
【図１】本発明による例示的な測定システムの模式図
【図２ａ】本発明による測定システムの他の好ましい実施形態の模式図
【図２ｂ】本発明による測定システムの他の好ましい実施形態の模式図
【図２ｃ】本発明による測定システムの更なる好ましい実施形態の模式図
【発明を実施するための形態】
【００２１】
本発明についての更なる詳細は、添付の図面及び例示的な実施形態から明らかになる。
【００２２】
図１は、本発明による測定システム１０の模式図である。
測定システム１０は、３次元測定空間１２を有し、そこに模式的に示す試料１４が配置されている。測定空間１２は、その範囲内で試料１４に物理的オペレーションを実行することが可能な空間領域である。物理的オペレーションとは、物理パラメータの測定だけでなく、物理的インタラクションをも意味する。従って、測定空間１２は、その範囲内で試料１４の物理パラメータを測定することが可能であるか、またはその範囲内で試料１４と物理的に相互作用することが可能な、測定システム１０の空間領域である。本発明の文脈では、物理パラメータは、あらゆる種類の測定装置で測定できる物理パラメータ、化学パラメータ、光化学パラメータ、生物学的パラメータなどを包含するものと理解され、また、物理的インタラクションは、主として試料１４の物理パラメータの変化を生じさせることを目的とした、あらゆる種類の物理的インタラクション、化学的インタラクション、光化学的インタラクション、生物学的インタラクションなどを意味するだけではなく、試料１４内に任意の種類のツールまたは装置を配置するプロセスをも意味するものと理解される。
【００２３】
測定システム１０は、レーザ走査顕微鏡１６を備え、その測定空間（すなわち、その範囲内で顕微鏡による測定が可能な空間領域）は、簡単にするため、測定システム１０の測定空間１２と区別しない。留意すべきことは、これら２つの測定空間１２は一般に一致しているということであり、なぜなら、顕微鏡１６の測定空間は、測定システム１０の測定空間１２で構成されており、また、他の測定またはインタラクションはいずれも、通常、顕微鏡１６による走査が可能な空間領域内で実施されるので、測定空間１２は一般に顕微鏡１６の測定空間を越えることはないからである。さらに留意すべきことは、測定空間１２は、顕微鏡１６の試料台に関して定義されるということであり、従って、試料台を変位させることにより、顕微鏡１６の焦点が試料１４に対してシフトされることが想定でき、また、レーザ光線を単に偏向させることにより、試料台を様々な位置に動かすことにより、走査対象となり得るものに関して、測定空間を拡張することが可能である。
【００２４】
測定システム１０は、さらに、ある種の３次元仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）装置１８を備え、これにより、測定空間１２の３次元仮想空間１２’を作成する。立体ディスプレイ及び裸眼立体ディスプレイなど、様々なＶＲ装置１８が当該技術分野で知られている。立体ディスプレイのコンセプトは、右側と左側の像をそれぞれユーザ１１の右眼用と左眼用として表示することであり、これらが単一の３Ｄ画像として人間の脳で知覚される。右側と左側の像が、ユーザ１１の右眼と左眼にそれぞれ別々に投影されない場合には、一般に、それら２つの像は、物性が異なる２つの光線（例えば青色と赤色の光、直交偏光光線など）で投影される。この場合、ディスプレイは、右側と左側の像を分離するための能動型または受動型のユーザデバイス１１ａ（典型的には眼鏡）を必要とする。能動型ユーザデバイス１１ａは、例えば交互シャッタ眼鏡とすることができ、受動型ユーザデバイス１１ｂは、例えば偏光３Ｄ眼鏡とすることができる。
【００２５】
裸眼立体ディスプレイは、この場合、ユーザ１１の右眼には右側の像のみが見え、左眼には左側の像のみが見えるようにディスプレイが構成されているので、ユーザデバイス１１ａを全く必要としない。例えば、視差制御ディスプレイは、この方法で機能する。
【００２６】
上記のディスプレイの場合には、例えば特許文献２に開示されている技術を適用することにより、頭部位置追跡を用いることが好ましい。こうして、ユーザ１１の両眼に向けた２つの像を、ユーザ１１の眼の位置に応じて、３次元ディスプレイで生成することが可能であり、これによって、表示される仮想空間１２’には歪みが生じない。
【００２７】
立体ディスプレイ以外に、例えば、測定空間１２と空間的に異なる実イメージとして仮想空間１２’を作成するように、他のＶＲ装置１８を同様に使用することが可能である。そのようなディスプレイは、例えば、ホログラフィック・ディスプレイ（特許文献３を参照）、及びレーザ光線で空中に３Ｄ映像を投影する３Ｄレーザプロジェクタである。
【００２８】
任意のＶＲ装置１８により作成される仮想空間１２’には、測定システム１０により測定される試料１４の測定点が、さらにＶＲ装置１８によって表示される。これは、まず、レーザ走査顕微鏡１６の測定空間１２内に配置された試料１４を３Ｄで走査することにより、実行することができる。このときの目的は、比較的ゆっくりと走査され得る試料１４の全体をユーザ１１が閲覧できるようにすることであり、また、その中の関心領域を、更なる測定またはインタラクションを実行するためにユーザ１１が識別及び選択できるようにすることである。ＶＲ装置１８は、走査した試料１４の仮想イメージを仮想空間１２’に表示し、すなわち、ＶＲ装置１８は、仮想試料１４’をユーザ１１に対して表示する。
【００２９】
試料１４の全体を３Ｄで走査することは、例えば、レーザ走査顕微鏡１６の光軸ｔと直交または交差する複数の平面で試料１４を走査し、ＶＲ装置１８によって仮想空間１２’に走査平面を表示することにより、実施することが可能である。
【００３０】
また、ある種の投影（典型的には最大強度の投影）を適用することにより、走査した試料１４の３Ｄ配列を、フォグのように仮想空間１２’に表示することも可能である。この種のリアルタイム表示の場合、一般に、多くのグラフィック計算が必要となり、それは、好ましくは、コンピュータのグラフィック・アクセラレータまたはＧＰＵで実行される。
【００３１】
他の好ましい実施形態では、走査された試料１４は、適切な計算の後に、空間的表面要素として仮想空間１２’に表示され、また、３次元効果を高めるために１つ以上の模擬光源が適用される。
【００３２】
ユーザ１１は、仮想空間１２’に表示された仮想試料１４’においてオペレーションを選択することができる。測定システム１０は、好ましくは、オペレーションを選択するための３Ｄ入力装置２０を備える。そのような入力装置２０は、当技術分野で知られており、例えば、アーム形の３Ｄポインティングデバイス、カメラで認識するジェスチャーコントロール、手に装着するアクティブ／パッシブマーカ、または赤外線カメラで検出するハンドヘルドデバイス（そのようなマーカは特許文献２に開示されている）などである。測定システム１０は１つ以上の３Ｄ入力装置２０（マーカ）を備えることができ、適用されるマーカは、例えば、ペン、グローブ、ボール、ピンなど、様々なタイプのものが可能である。本発明による測定システム１０の好ましい実施形態では、６自由度での絶対位置指定を可能とするペン型３Ｄマーカ（特許文献２を参照）が入力装置２０として用いられる。３Ｄマーカは、通常のカーソルとして仮想空間１２’に表示することができる。上述の頭部位置追跡を適用すると、３Ｄマーカの実空間位置（すなわち、マーカを動かすときにユーザ１１によって知覚される位置）と正確に一致するように、仮想カーソルを仮想空間１２’に表示することが可能になるという利点がある。
【００３３】
測定システム１０は、測定空間１２と仮想空間１２’との間のリアルタイム接続を可能にする。これは、仮想空間１２’で選択されたオペレーションが測定空間１２において実行され、測定空間１２で測定されたデータが仮想空間１２’に表示されることを意味する。
【００３４】
そのようなオペレーションは、仮想空間１２’内の試料１４の仮想イメージにおける仮想コンフィギュレーション２２’の（好ましくは、３Ｄ入力装置２０による）選択とすることができ、その仮想コンフィギュレーション２２’は、１つ以上の点及び／または曲線及び／または領域からなり、測定空間１２において仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２を走査することをレーザ走査顕微鏡１６に要求するものである。これを実行するために、測定システム１０の制御システム２４（典型的には、コンピュータまたはコンピュータ上で実行される制御プログラム）は、測定空間１２において仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２の座標を算出し、選択された仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に沿って、またはその範囲内で、試料１４を走査するようにレーザ走査顕微鏡１６を制御する。これは、実コンフィギュレーション２２に沿って、またはその範囲内で、レーザ走査顕微鏡１６の焦点を動かすことを伴い、それは、レーザ光線を偏向させること、及び焦点深度を変化させること、及び／または顕微鏡１６の対物レンズを変位させること、及び／または試料台を変位させることによって、実施することができる。レーザ走査顕微鏡１６による試料１４の所与の点の走査、または所与の曲線に沿った走査、または所与の領域内の走査は、例えば、特許文献１または特許文献４または特許文献５に開示されているように実施することができる。
【００３５】
実コンフィギュレーション２２を走査する過程で、顕微鏡１６で取得された測定データを、ＶＲ装置１８によって仮想空間１２’にリアルタイムで表示することができ、こうして、ユーザ１１は、選択された走査オペレーションの実行からのリアルタイム・フィードバックを得る。
【００３６】
また、ユーザは、３Ｄ入力装置２０を用いて、仮想空間１２’に仮想マーキング２１’を配置することも可能であり、それに関して、ユーザは、オプションでオペレーションを選択することができる。例えば、仮想マーキング２１’は、ある特定の特性に関するもの、または何らかの理由で測定空間１２においてマークされる点２１に対応する選択／マーキングに関するものであり得る。
【００３７】
好ましくは、ユーザ１１は、測定システム１０内でレーザ走査顕微鏡１６により実行されるべきオペレーションを選択することが可能であるだけではない。好ましくは、測定システム１０は、物理的インタラクションの実行または物理パラメータの測定などの物理的オペレーションを測定空間１２において実行するための、１つ以上の他の物理的オペレーション装置２６をさらに備える。例えば、適切なオペレーション装置２６は、顕微鏡１６の測定空間１２において機械的操作またはレーザ操作を適用するように機能し得るものであるか、または試料１４への局所的な化学物質または他の物質の供給／添加を制御するように、もしくは試料１４内で局所的に物質を放出するように機能し得るものである。例えば、仮想空間１２’においてユーザ１１により選択されるオペレーションは、刺激点の選択とすることができ、オペレーション装置２６は、その刺激を実施するように機能することができる。刺激は、例えば、光刺激によるか、機械的応答もしくは電子応答を誘発することによるか、または化学試薬を注入することにより、実現することができる。
【００３８】
物理的インタラクションを実行するように機能する測定システム１０のオペレーション装置２６は、メス、レーザアブレーション装置、超音波凝固器、レーザ凝固器、マイクロインジェクタ、真空吸引装置、光ケーブル、電気刺激装置、などのロボット手術装置、または試料１４に挿入される電極のような測定装置、パッチクランプ法に使用されるマイクロピペット、内視鏡装置、または電気泳動測定ヘッドとすることができる。オペレーション装置２６は、細胞レベルまたは軸索レベルの標的レーザ微小手術を実施するのに適したものであり得る。
【００３９】
また、オペレーション装置２６は、様々な特殊測定を実行するようにも機能し得る。特殊測定は、一般的に、範囲を限定することによって時間的に加速された３Ｄ測定プロセスであり、より小さな空間領域において、または部分表面もしくは部分曲線に沿って、または単一の点において、実施することができる。例えばパッチクランプ測定の場合に、細胞の発火パターンを、同様に、より高速で追跡することができる。このような測定は、多くの場合、刺激を与えること、及びそれに対する応答を分析することを含むプロトコルに組み込まれる。刺激は、電気刺激応答を引き起こす電極、または感覚刺激、イオントフォレシスもしくは物質の光化学的局所放出、光感受性タンパク質の光刺激、または様々な局所ショックとすることができる。
【００４０】
好ましくは、ＶＲ装置１８は、さらに、何らかの形でオペレーション装置２６を仮想空間１２’に表示し、例えば、物理的インタラクションを実行するオペレーション装置２６のツール２８が、仮想空間１２’において仮想ツール２８’で表される。また、オペレーション装置２６が具体的なインタラクション用ツール２８を有していないことも（例えば、光刺激装置の場合に）考えられるが、そのような場合であっても、試料１４と相互作用する点としてのインタラクションポイント２９を特定することが可能であり、これを仮想インタラクションポイント２９’の形でＶＲ装置１８によって表示することができる。
【００４１】
好ましくは、ユーザ１１は、同様に３Ｄ入力装置を用いて、オペレーション装置２６のオペレーションを選択することができ、例えば、仮想コンフィギュレーション２２’を選択して、これにより、選択した仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に沿って、またはその範囲内で、オペレーション装置２６のインタラクションポイント２９を移動させることができる。好ましくは、ユーザ１１は、入力装置２０のカーソルを用いて、仮想ツール２８’または仮想インタラクションポイント２９’を掴むことができ、そしてこれを仮想試料１４’の所望の点までドラッグすることができ、これにより、測定空間１２の対応する点で物理的オペレーションを実行することをオペレーション装置２６に要求する。
【００４２】
好ましくは、測定システム１０の制御システム２４は、さらに、オペレーション装置２６を制御し、すなわち、制御システム２４は、仮想空間１２’で選択されたオペレーションを、オペレーション装置２６に対して、後者で実行することが可能なコマンドとして伝送する。
【００４３】
選択されたオペレーションをオペレーション装置２６で実行するときには、これによってさらに測定データが提供されることもあり（例えば、細胞膜の電位を電極により測定することが可能である）、それをＶＲ装置１８によって仮想空間１２’にリアルタイム表示することができる。
【００４４】
測定システム１０を用いて複雑なオペレーションを実行する場合には、ユーザ１１が解釈できるよりも高速でデータが測定システム１０により供給されることが生じ得る。また、オペレーション自体（例えば、測定／手術）の制御に、１人では対応できないほど多くの判断、インタラクションを要する可能性もある。そのような場合には、複数のユーザ１１に対して測定システム１０を提供することが好ましい。これは、複数のユーザ１１に対して仮想現実を提供することが可能なＶＲ装置１８を用いて実現することができ、または仮想空間１２’を表示するために各ユーザ１１に別々のＶＲ装置１８を提供することもできる。後者の実施形態を図２ａに示している。２つの別々のＶＲ装置１８によって、２人のユーザ１１のために、測定空間１２の仮想空間１２’を２つ別個に作成し、好ましくは、各ユーザ１１は、独立に、所与のＶＲ装置１８に設けられた３Ｄ入力装置２０を用いてオペレーションを選択することができる。制御システム２４は、好ましくは、両方の仮想空間１２’で選択されたオペレーションを、選択されたオペレーションに従ってレーザ走査顕微鏡１６及びオプションのオペレーション装置２６のインタラクション用ツール２８を制御するコマンドに変換する。マルチユーザの測定システム１０では、顕微鏡１６の制御とオペレーション装置２６のインタラクション用ツール２８の制御を、ユーザ１１間に割り振ることが効果的であり得る。例えば、図２ａに示す実施形態では、第１のユーザ１１がレーザ走査顕微鏡１６を制御する一方で、第２のユーザ１１がオペレーション装置２６を制御する。しかしながら、ユーザ１１が結果を閲覧するよりも測定に要する時間はかなり少ないという事実を利用して、両ユーザ１１が同じ測定器（顕微鏡１６及びオペレーション装置２６）を、ただし時分割で制御することも想定できる。例えば、試料１４のボリューム内の多数の細胞についてある種のチェックを実施することが目的である場合に、時分割を適用することが可能であり、その場合、複数のユーザ１１が同時にチェックを行うことで、作業を分担することができる。
【００４５】
図２ｂに示すように、作業分担とは正反対のことも想定できる。試料１４の異なる部分または異なる側面が別々の測定器（顕微鏡１６及び他のオペレーション装置２６）で測定される場合に、それらにより供給されるデータを、単一のＶＲ装置１８によって表示することができ、これにより、ユーザ１１は、複数の同期した情報に基づいて判断し、より多くのタイプの、またはより複雑な、インタラクション及びオペレーションを制御することが可能である。この技術は、例えば、網膜の細胞と、網膜の像を頭部の反対側で処理する視覚野の細胞の、同時３Ｄ測定に適用することができる。
【００４６】
ＶＲ装置（複数の場合もある）１８と、顕微鏡１６及び他のオプションのオペレーション装置（複数の場合もある）２６との間の接続は、ローカルネットワークまたはグローバルネットワークを介した直接接続とすることができ、後者にはインターネットが含まれる。例えば、特定の科学分野の専門知識を持つユーザ１１が、世界の遠隔地から、試料１４を分析したり、または試料１４について実施される測定を制御したりすることができる。リモート接続の場合には、同じ測定システム１０への複数のユーザ１１のアクセスを許可すること、または単一ユーザ１１による複数の測定システム１０の制御を許可することも可能である（図２ｃを参照）。
【００４７】
本発明による測定システム１０は、以下のように使用することができる。
【００４８】
ユーザ１１は、レーザ走査顕微鏡１６の測定空間１２内に試料１４を配置して、顕微鏡１６により試料１４を３Ｄで走査する。これは、例えば、光軸ｔに垂直な複数の平面に沿って試料１４を走査することにより実施することができる。これに続いて、走査した試料１４を、ＶＲ装置１８によって仮想空間１２’に仮想試料１４’の形で表示する。好ましくは、ユーザ１１は、３Ｄマーカの形態とすることができる入力装置２０を用いて、仮想空間１２’において仮想試料１４’を操作することができる。例えば、ユーザ１１は、仮想試料１４’を掴んで、それを空間的に回転させること、それを変位させること、そのサイズを拡大もしくは縮小することができ、顕微鏡１６によって、またはオプションとして測定システム１０に属する他のオペレーション装置２６によって実行されるべきオペレーションを、仮想試料１４’上で選択することができる。顕微鏡１６により実行されるオペレーションの場合、好ましくは、ユーザ１１は、３Ｄマーカを用いて、１つ以上の点及び／または曲線及び／または領域からなる仮想コンフィギュレーション２２’を選択する。測定システム１０は、測定空間１２における対応する実コンフィギュレーション２２の座標を算出し、算出された座標に基づいて、制御システム２４は、レーザ走査顕微鏡１６を、選択された仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に沿って、またはその範囲内で試料１４を走査するように制御する。測定されたデータは、測定システム１０のＶＲ装置１８によって仮想空間１２’にリアルタイムで表示することができ、これに基づいて、ユーザ１１は、測定の最中であっても介入することができる。このように、測定空間１２と仮想空間１２’との間にリアルタイム接続が提供される。ユーザ１１は、好ましくは、仮想空間１２’においてレーザ走査顕微鏡１６を制御するだけではなく、前述のように測定システム１０に属する他の物理的オペレーション装置２６をも制御する。制御システム２４は、仮想空間１２’で選択されたオペレーションが測定空間１２でオペレーション装置２６により実行される一方で、同時に、測定空間１２においてオペレーション装置２６及び／またはレーザ走査顕微鏡１６により測定されたデータが測定システム１０のＶＲ装置１８により表示されるように、計らう。従って、この場合も同様に、測定空間１２と仮想空間１２’との間にリアルタイム接続が提供され、これにより、ユーザ１１は、選択されたオペレーションが実行されている最中であっても、リアルタイムで介入することができ、そして測定を変更したり、または更なる測定を選択したりすることができる。
【００４９】
好ましい実施形態では、測定システム１０は、１つ以上の周波数で同時に（同一時に）または略同時に作動する。この場合、測定（２光子蛍光強度、蛍光寿命、伝達信号、第２高調波発生（ＳＨＧ）信号、分極信号など）は、１つ以上の周波数で実行することができ、一方、物理的オペレーション（分子の光活性化、光活性化化学物質または生体物質、タンパク質の光活性化、アブレーションなど）は、１つ以上の異なる周波数で同時または略同時に実行される。異なる周波数を適用することによって、同時の物理的オペレーションと測定は、相互に妨げることなく、両方を３Ｄ仮想現実環境において追跡及び表示することが可能である。
【００５０】
測定及び他の物理的オペレーションを３Ｄ仮想現実で表示することにより、ユーザ１１は、仮想現実環境の形でユーザ１１に提示される仮想空間１２’の抽象的な情報または大きく拡大された情報を容易かつ自然に知覚することが可能となって、これにより、ユーザ１１は、３Ｄオペレーションに必要な３Ｄ選択を実行するとともに、その制御を行うことが自然な形で可能であるため、レーザ走査顕微鏡１６及び他の物理的オペレーション装置２６を制御することの有効性が大きく向上する。本発明による測定システム１０及び方法によって支援される最も重要なタスクは、
‐  ３Ｄデータ構造を閲覧及び理解することと、
‐  試料１４及び／または視点及びナビゲーションの方位を決定することと、
‐  測定するコンフィギュレーション（平面、曲線、ボリューム）を選択することと、その中の各種パラメータを設定することと、
‐  特別な高速測定アルゴリズム（例えば、特許文献５、特許文献１を参照）を制御することと、この目的のために、試料１４の測定空間１２内で選択を行うことと、
‐  他のオペレーション装置２６による他のオペレーションを選択及び制御することと、
‐  位置ごとの測定データを仮想空間１２’に表示することと、
‐  インタラクションの効果をチェックすること、である。
【００５１】
本発明により、測定空間１２での測定の正確な空間位置のリアルタイム選択が、対応する仮想空間１２’で作動する適切な３Ｄ入力装置２０（マーカ）を用いて可能となり、また、その継続的な変更が可能となる。その結果、測定は、手動で選択された仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に限定されるので、レーザ走査顕微鏡１６は、はるかに小さなボリュームを繰り返し操作するだけでよい。本方法によれば、試料１４全体を毎度走査するのと比較して、はるかに高速で検査を実施することが可能となる。ユーザ１１は、さらに、測定システム１０の支援により、移動物体を追跡する（例えば、標識した粒子が神経細胞の軸索に沿って輸送される軌跡をたどる）こともできる。
【００５２】
正確な３Ｄ方位決定は、特殊測定を実施する場合、またはオペレーション装置２６を用いて上述のようにインタラクションを実行する場合に、臨床応用と科学研究の両方において極めて重要である。
【００５３】
本発明の他の効果は、対象物を仮想空間１２’に表示することで、（例えば、神経細胞の場合に）解剖学的再構成の後と同様に、ただしリアルタイムで、型の解釈が深まるということであり、これにより、例えば神経細胞の場合には測定の観点から重要である軸索、樹状突起、樹状突起部、または軸索部の認識を支援する。仮想現実環境（ＶＲ環境）によって、さらに、測定すべき構造を迅速かつ自然な形で選択することを可能とし、例えば、測定されるべき軸索を表示して、測定する様々な特性を、ＶＲ装置１８の３Ｄ入力装置２０を用いて迅速に３Ｄで設定することが可能である。選択した仮想コンフィギュレーション２２’に沿って３Ｄ像点のみを更新することにより、適切な測定プロトコルを３Ｄで選択及び設定することが、すなわち、測定する箇所と時間の長さを規定することが可能である。顕微鏡１６の測定を制御すること以外に、顕微鏡１６による測定空間１２内での光化学刺激、機械的操作、レーザ操作の実施、さらには各種化合物及び物質の局所添加（注入）を、測定システム１０によって制御することも可能である。応答、測定点、曲線、領域（すなわち、ユーザ１１が選択した実コンフィギュレーション２２）を、位置ごとに（例えば、測定点にリンクされた３Ｄフラグに２Ｄトランジェントを表示することにより、または色分けを適用して、測定された実コンフィギュレーション２２の活動マップを表示することにより）仮想空間１２’に表示することができ、これにより、結果の空間性をより良く示すことができる。
【００５４】
添付の請求項によって定められる保護の範囲から逸脱することなく、上記実施形態の種々の変形が当業者には可能である。
【図１】
2015513065.tif 000003
【図２ａ】
2015513065.tif 000004
【図２ｂ】
2015513065.tif 000005
【図２ｃ】
2015513065.tif 000006
【手続補正書】
【提出日】平成25年10月18日(2013.10.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムによる試料の３次元測定のための方法に関するものである。本発明は、さらに、そのような測定システムに関する。
【背景技術】
【０００２】
従来技術による数多くの３次元撮像装置が存在する（ＣＴ、ＭＲＩ、超音波、例えば、共焦点顕微鏡、２光子顕微鏡、３次元２光子顕微鏡、スピニングディスク共焦点顕微鏡、原子間力顕微鏡など、様々なレーザ走査法）。一般に、これらの装置は、通常のコンピュータ構成に接続されており、すなわち、測定で結果として得られた３次元（３Ｄ）情報は、２次元（２Ｄ）投影としてモニタに表示される。医学的・生物学的用途では、多くの場合、生体試料が短寿命であるか、または限られた時間内においてのみ被測定現象を観測可能であることから、情報の高速認識及び高速判断が重要である。このような試料の場合には、外科的インタラクションまたは実験を実施することにより検査試料を変化させることを目的とすることが多い。一部のケースでは、取得したデータの表示を向上させるために、立体ディスプレイが使用されるが、ただし、その表示は、測定及び試料への物理的インタラクションの実施からの時間的な隔たりがある。
【０００３】
生体試料の３次元測定は、試料を点ごとに逐次走査することにより測定を行う３次元（３Ｄ）レーザ走査顕微鏡によって実施することができる。３Ｄレーザ走査技術は、生体試料の分析において、特に３次元生体構造を画像化する際、及びそのような構造の変化を異なる時間スケールで追跡する際に、極めて重要である。
【０００４】
よく用いられる３Ｄレーザ走査顕微鏡は、共焦点顕微鏡または２光子顕微鏡のいずれかである。共焦点顕微鏡技術では、顕微鏡対物レンズの焦点面以外の面からの反射光を除去するために、検出器の前にピンホールが配置される。これにより、試料（例えば、生体試料）内の様々な深さに位置する平面の撮像が可能である。
【０００５】
２光子レーザ走査顕微鏡は、量子現象で蛍光分子を励起するために２つの光子を必要とする低エネルギーのレーザ光を用いるものであり、その結果、放出される蛍光光子を、検出器によって検出する。２光子の略同時吸収の確率は極めて低く、高励起光子束を必要とするので、２光子励起は、実際には、レーザ光線の焦点においてのみ、すなわち、典型的には約３００ｎｍ×３００ｎｍ×１０００ｎｍのサイズの小さな楕円形のボリュームにおいてのみ、生じる。一般に、十分に低い平均レーザ光強度を維持しながら、２光子励起に必要な光子束を得るために、フェムト秒パルスレーザが用いられる。
【０００６】
上記技術のいずれかを適用する場合に、例えばステッピングモータによって試料台を動かすことにより、３Ｄ走査を実施することが可能であるが、ただし、これは、液中試料室を使用する場合、または生体試料について微小電極で電気的に記録する場合に、実施が複雑である。従って、生体試料を分析する場合には、試料を動かすのではなく、レーザ光線の焦点を動かすほうが好ましいことが多い。これは、焦点面（ＸＹ平面）の異なる点を走査するようにレーザ光線を偏向させることにより、さらに、焦点面の深さを変更するように対物レンズをその光軸（Ｚ軸）に沿って例えばピエゾポジショナで変位させることにより、実現が可能である。例えばガルバノスキャナに搭載された偏向ミラーによって、または音響光学偏向器によって、対物レンズに入射する前のレーザ光線を偏向させるための、いくつかの周知の技術がある。
【０００７】
更なる可能性は、空間光変調器（ＳＬＭ：Ｓｐａｔｉａｌ Ｌｉｇｈｔ Ｍｏｄｕｌａｔｏｒ）を使用することで所望の２次元または３次元走査効果が得られる所謂ホログラフィック顕微鏡法（非特許文献１）を用いることである。３Ｄ走査を実施するために従来のシステムと組み合わせて用いることができる新技術は、所謂、時空間多重化顕微鏡法、すなわち空間インパルス分離である（非特許文献２）。この方法では、単一のレーザインパルスをビームスプリッタで複数の部分に分割し、各サブインパルスは、異なる焦点面へのサブインパルスで形像する異なる撮像系をそれぞれ通過することで、異なる時間遅延で異なる平面に集束される。空間走査を目的として、時間的に順に衝突するサブインパルスは、高速光子計数型検出器で分離される。
【０００８】
ガルバノスキャナ及び音響光学偏向器は、非常に高速のデバイスであり、従って、ＸＹ平面の所望の位置に焦点を移動させて、その位置で検出器により測定データを取得することは、１μｓ未満で実行することができる。ところが、Ｚポジショニングは、顕微鏡対物レンズの慣性によって、かなり多くの時間がかかり、これによって３Ｄ走査は長々としたオペレーションとなる。
【０００９】
当技術分野で一般に許容される信号対ノイズ比を達成するためには、平均的な対物レンズ及び平均的な試料サイズであると仮定して、測定は、何分もの時間を要し得る（例えば、２光子顕微鏡を用いて、好ましくは光学的分解能よりも高い分解能で、５１２×５１２×２００ピクセルのボリュームを走査すると、測定に５〜２０分かかることがある）。ところが、生体試料で生じる速い生理的反応は、ｍｓのオーダである（例えば、活動電位、シナプス信号伝達）。試料の他の部分は省いて、関連のある領域、曲線、点に沿ってのみ測定することにより、走査顕微鏡による測定時間を削減することが可能である。そのような技術は、例えば、特許文献１に開示されている。しかしながら、この技術及び同様の技術の適用においては、最初に３Ｄ試料の一部の空間選択が必要となる。
【００１０】
レーザ走査顕微鏡の光軸と直交する平面において試料を走査し、光軸に沿った前方または後方への動きをシミュレートして２Ｄ断面を次々とユーザに表示する技術が、従来技術（非特許文献３を参照）で知られている。ユーザは、２Ｄ断面で測定されるべきコンフィギュレーション（領域、曲線、点）を選択する必要がある。
【００１１】
周知の方法には、いくつかの欠点がある。まず第１に、種々の神経細胞型の場合のように複雑な空間的構造を有する一般的な生体対象物において、自身の位置を確認することは困難である。特に、対象物が走査平面に垂直である場合、かつ、それらが相互に近接している場合に問題が生じ、そのような場合には、２つの隣接する平面間で、連続した対象物をトレースすること、及び別々の対象物を区別することが困難である（例えば、電子顕微鏡の再構成プログラムを参照）。低品質、低信号対ノイズ比の像を分析する必要がある場合、またはそのような像において対象物の連続性及び個別性を確認しなければならない場合には、状況はさらに悪化する。
【００１２】
更なる欠点は、試料の位置が局所的に永続的に変化するため、２Ｄ断面を閲覧する十分な時間がないことが非常に多いということである。例えば、ユーザが、３Ｄで理想的には必要である数百の測定点を選択しようとする場合に、このプロセスは、選択を終える前にもかかわらず、初めに選択された点がもはや正確な位置ではなくなるほどに試料の元の位置が緩むような、長い時間を要することになる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】国際公開第２０１０／００７４５２号
【特許文献２】国際公開第２００５／１１６８０９号
【特許文献３】国際公開第９８／３４４１１号
【特許文献４】国際公開第２０１０／０５５３６２号
【特許文献５】国際公開第２０１０／０５５３６１号
【非特許文献】
【００１４】
【非特許文献１】Ｖｏｌｏｄｙｍｙｒ Ｎｉｋｏｌｅｎｋｏ，Ｂｒｅｎｄｏｎ Ｏ．Ｗａｔｓｏｎ，Ｒｏｂｅｒｔｏ Ａｒａｙａ，Ａｌａｎ Ｗｏｏｄｒｕｆｆ，Ｄａｒｃｙ Ｓ．Ｐｅｔｅｒｋａ，Ｒａｆａｅｌ Ｙｕｓｔｅ著，“Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｎｅｕｒａｌ Ｃｉｒｃｕｉｔｓ”，２００８年
【非特許文献２】Ａｄｒｉａｎ Ｃｈｅｎｇ，Ｊ Ｔｉａｇｏ Ｇｏｎｃａｌｖｅｓ，Ｐｅｙｍａｎ Ｇｏｌｓｈａｎｉ，Ｋａｔｓｕｓｈｉ Ａｒｉｓａｋａ，Ｃａｒｌｏｓ Ｐｏｒｔｅｒａ‐Ｃａｉｌｌｉａｕ著，“Ｎａｔｕｒｅ Ｍｅｔｈｏｄｓ”，２０１１年
【非特許文献３】Ｋａｔｏｎａ等著「Ｒｏｌｌｅｒ Ｃｏａｓｔｅｒ Ｓｃａｎｎｉｎｇ ｒｅｖｅａｌｓ ｓｐｏｎｔａｎｅｏｕｓ ｔｒｉｇｇｅｒｉｎｇ ｏｆ ｄｅｎｄｒｉｔｉｃ ｓｐｉｋｅｓ ｉｎ ＣＡ１ ｉｎｔｅｒｎｅｕｒｏｎｓ」，“ＰＮＡＳ，２０１１年２月１日，１０８巻，５号”
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、従来技術に関連する問題を解消する、レーザ走査顕微鏡を用いた３次元試料の分析のための方法ならびに測定システムを提供することである。
【課題を解決するための手段】
【００１６】
レーザ走査顕微鏡（または他の物理的オペレーション装置）の測定空間が、３次元仮想現実装置により表示され、かつ、測定空間と３次元仮想空間との間にリアルタイム接続が提供される場合には、測定を実施するユーザにとって３次元表示がより自然であり、また、比較的低い信号対ノイズ比を有する品質の劣る像であっても、より良く解釈することが可能であり、より容易に連続性及び個別性を確認することが可能であるため、上記欠点を解消できることが分かった。
【００１７】
従って、本発明の目的は、３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムによる試料の３次元測定のための方法によって達成され、該方法は、
‐  ３次元仮想現実装置を測定システムに設けることと、
‐  ３次元仮想現実装置を用いて、測定空間から離隔した実空間領域内に測定空間の３次元仮想空間を作成することと、
‐  仮想空間でオペレーションを選択することを許可することと、
‐  仮想空間で選択されたオペレーションが測定空間で実行されて、測定空間で測定されたデータが仮想空間で表示されるように、測定空間と仮想空間との間に双方向のリアルタイム接続を提供することと、を特徴とする。
【００１８】
上記目的は、さらに、試料の３次元測定のための測定システムであって、３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムを提供することによって達成される。測定システムは、測定空間から離隔した実空間領域内に測定空間の３次元仮想空間を表示するための３次元仮想現実装置を備え、レーザ走査顕微鏡と３次元仮想現実装置との間に双方向のリアルタイム接続が提供される、ことを特徴とする。
【００１９】
本発明の効果的な実施形態は、添付の従属請求項で規定している。
【図面の簡単な説明】
【００２０】
【図１】本発明による例示的な測定システムの模式図
【図２ａ】本発明による測定システムの他の好ましい実施形態の模式図
【図２ｂ】本発明による測定システムの他の好ましい実施形態の模式図
【図２ｃ】本発明による測定システムの更なる好ましい実施形態の模式図
【発明を実施するための形態】
【００２１】
本発明についての更なる詳細は、添付の図面及び例示的な実施形態から明らかになる。
【００２２】
図１は、本発明による測定システム１０の模式図である。
測定システム１０は、３次元測定空間１２を有し、そこに模式的に示す試料１４が配置されている。測定空間１２は、その範囲内で試料１４に物理的オペレーションを実行することが可能な空間領域である。物理的オペレーションとは、物理パラメータの測定だけでなく、物理的インタラクションをも意味する。従って、測定空間１２は、その範囲内で試料１４の物理パラメータを測定することが可能であるか、またはその範囲内で試料１４と物理的に相互作用することが可能な、測定システム１０の空間領域である。本発明の文脈では、物理パラメータは、あらゆる種類の測定装置で測定できる物理パラメータ、化学パラメータ、光化学パラメータ、生物学的パラメータなどを包含するものと理解され、また、物理的インタラクションは、主として試料１４の物理パラメータの変化を生じさせることを目的とした、あらゆる種類の物理的インタラクション、化学的インタラクション、光化学的インタラクション、生物学的インタラクションなどを意味するだけではなく、試料１４内に任意の種類のツールまたは装置を配置するプロセスをも意味するものと理解される。
【００２３】
測定システム１０は、レーザ走査顕微鏡１６を備え、その測定空間（すなわち、その範囲内で顕微鏡による測定が可能な空間領域）は、簡単にするため、測定システム１０の測定空間１２と区別しない。留意すべきことは、これら２つの測定空間１２は一般に一致しているということであり、なぜなら、顕微鏡１６の測定空間は、測定システム１０の測定空間１２で構成されており、また、他の測定またはインタラクションはいずれも、通常、顕微鏡１６による走査が可能な空間領域内で実施されるので、測定空間１２は一般に顕微鏡１６の測定空間を越えることはないからである。さらに留意すべきことは、測定空間１２は、顕微鏡１６の試料台に関して定義されるということであり、従って、試料台を変位させることにより、顕微鏡１６の焦点が試料１４に対してシフトされることが想定でき、また、レーザ光線を単に偏向させることにより、試料台を様々な位置に動かすことにより、走査対象となり得るものに関して、測定空間を拡張することが可能である。
【００２４】
測定システム１０は、さらに、ある種の３次元仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）装置１８を備え、これにより、測定空間１２から離隔した実空間領域１２”内に測定空間１２の３次元仮想空間１２’を作成する。立体ディスプレイ及び裸眼立体ディスプレイなど、様々なＶＲ装置１８が当該技術分野で知られている。立体ディスプレイのコンセプトは、右側と左側の像をそれぞれユーザ１１の右眼用と左眼用として表示することであり、これらが単一の３Ｄ画像として人間の脳で知覚される。右側と左側の像が、ユーザ１１の右眼と左眼にそれぞれ別々に投影されない場合には、一般に、それら２つの像は、物性が異なる２つの光線（例えば青色と赤色の光、直交偏光光線など）で投影される。この場合、ディスプレイは、右側と左側の像を分離するための能動型または受動型のユーザデバイス１１ａ（典型的には眼鏡）を必要とする。能動型ユーザデバイス１１ａは、例えば交互シャッタ眼鏡とすることができ、受動型ユーザデバイス１１ｂは、例えば偏光３Ｄ眼鏡とすることができる。
【００２５】
裸眼立体ディスプレイは、この場合、ユーザ１１の右眼には右側の像のみが見え、左眼には左側の像のみが見えるようにディスプレイが構成されているので、ユーザデバイス１１ａを全く必要としない。例えば、視差制御ディスプレイは、この方法で機能する。
【００２６】
上記のディスプレイの場合には、例えば特許文献２に開示されている技術を適用することにより、頭部位置追跡を用いることが好ましい。こうして、ユーザ１１の両眼に向けた２つの像を、ユーザ１１の眼の位置に応じて、３次元ディスプレイで生成することが可能であり、これによって、表示される仮想空間１２’には歪みが生じない。
【００２７】
立体ディスプレイ以外に、例えば、測定空間１２と空間的に異なる実イメージとして仮想空間１２’を作成するように、他のＶＲ装置１８を同様に使用することが可能である。そのようなディスプレイは、例えば、ホログラフィック・ディスプレイ（特許文献３を参照）、及びレーザ光線で空中に３Ｄ映像を投影する３Ｄレーザプロジェクタである。
【００２８】
任意のＶＲ装置１８により作成される仮想空間１２’には、測定システム１０により測定される試料１４の測定点が、さらにＶＲ装置１８によって表示される。これは、まず、レーザ走査顕微鏡１６の測定空間１２内に配置された試料１４を３Ｄで走査することにより、実行することができる。このときの目的は、比較的ゆっくりと走査され得る試料１４の全体をユーザ１１が閲覧できるようにすることであり、また、その中の関心領域を、更なる測定またはインタラクションを実行するためにユーザ１１が識別及び選択できるようにすることである。ＶＲ装置１８は、走査した試料１４の仮想イメージを仮想空間１２’に表示し、すなわち、ＶＲ装置１８は、仮想試料１４’をユーザ１１に対して表示する。
【００２９】
試料１４の全体を３Ｄで走査することは、例えば、レーザ走査顕微鏡１６の光軸ｔと直交または交差する複数の平面で試料１４を走査し、ＶＲ装置１８によって仮想空間１２’に走査平面を表示することにより、実施することが可能である。
【００３０】
また、ある種の投影（典型的には最大強度の投影）を適用することにより、走査した試料１４の３Ｄ配列を、フォグのように仮想空間１２’に表示することも可能である。この種のリアルタイム表示の場合、一般に、多くのグラフィック計算が必要となり、それは、好ましくは、コンピュータのグラフィック・アクセラレータまたはＧＰＵで実行される。
【００３１】
他の好ましい実施形態では、走査された試料１４は、適切な計算の後に、空間的表面要素として仮想空間１２’に表示され、また、３次元効果を高めるために１つ以上の模擬光源が適用される。
【００３２】
ユーザ１１は、仮想空間１２’に表示された仮想試料１４’においてオペレーションを選択することができる。測定システム１０は、好ましくは、オペレーションを選択するための３Ｄ入力装置２０を備える。そのような入力装置２０は、当技術分野で知られており、例えば、アーム形の３Ｄポインティングデバイス、カメラで認識するジェスチャーコントロール、手に装着するアクティブ／パッシブマーカ、または赤外線カメラで検出するハンドヘルドデバイス（そのようなマーカは特許文献２に開示されている）などである。測定システム１０は１つ以上の３Ｄ入力装置２０（マーカ）を備えることができ、適用されるマーカは、例えば、ペン、グローブ、ボール、ピンなど、様々なタイプのものが可能である。本発明による測定システム１０の好ましい実施形態では、６自由度での絶対位置指定を可能とするペン型３Ｄマーカ（特許文献２を参照）が入力装置２０として用いられる。３Ｄマーカは、通常のカーソルとして仮想空間１２’に表示することができる。上述の頭部位置追跡を適用すると、３Ｄマーカの実空間位置（すなわち、実空間領域１２”においてマーカを動かすときにユーザ１１によって知覚される位置）と正確に一致するように、仮想カーソルを仮想空間１２’に表示することが可能になるという利点がある。
【００３３】
測定システム１０は、測定空間１２と仮想空間１２’との間の双方向のリアルタイム接続を可能にする。これは、仮想空間１２’で選択されたオペレーションが測定空間１２において実行され、測定空間１２で測定されたデータが仮想空間１２’に表示されることを意味する。
【００３４】
そのようなオペレーションは、仮想空間１２’内の試料１４の仮想イメージにおける仮想コンフィギュレーション２２’の（好ましくは、３Ｄ入力装置２０による）選択とすることができ、その仮想コンフィギュレーション２２’は、１つ以上の点及び／または曲線及び／または領域からなり、測定空間１２において仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２を走査することをレーザ走査顕微鏡１６に要求するものである。これを実行するために、測定システム１０の制御システム２４（典型的には、コンピュータまたはコンピュータ上で実行される制御プログラム）は、測定空間１２において仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２の座標を算出し、選択された仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に沿って、またはその範囲内で、試料１４を走査するようにレーザ走査顕微鏡１６を制御する。これは、実コンフィギュレーション２２に沿って、またはその範囲内で、レーザ走査顕微鏡１６の焦点を動かすことを伴い、それは、レーザ光線を偏向させること、及び焦点深度を変化させること、及び／または顕微鏡１６の対物レンズを変位させること、及び／または試料台を変位させることによって、実施することができる。レーザ走査顕微鏡１６による試料１４の所与の点の走査、または所与の曲線に沿った走査、または所与の領域内の走査は、例えば、特許文献１または特許文献４または特許文献５に開示されているように実施することができる。
【００３５】
実コンフィギュレーション２２を走査する過程で、顕微鏡１６で取得された測定データを、ＶＲ装置１８によって仮想空間１２’にリアルタイムで表示することができ、こうして、ユーザ１１は、選択された走査オペレーションの実行からのリアルタイム・フィードバックを得る。
【００３６】
また、ユーザは、３Ｄ入力装置２０を用いて、仮想空間１２’に仮想マーキング２１’を配置することも可能であり、それに関して、ユーザは、オプションでオペレーションを選択することができる。例えば、仮想マーキング２１’は、ある特定の特性に関するもの、または何らかの理由で測定空間１２においてマークされる点２１に対応する選択／マーキングに関するものであり得る。
【００３７】
好ましくは、ユーザ１１は、測定システム１０内でレーザ走査顕微鏡１６により実行されるべきオペレーションを選択することが可能であるだけではない。好ましくは、測定システム１０は、物理的インタラクションの実行または物理パラメータの測定などの物理的オペレーションを測定空間１２において実行するための、１つ以上の他の物理的オペレーション装置２６をさらに備える。例えば、適切なオペレーション装置２６は、顕微鏡１６の測定空間１２において機械的操作またはレーザ操作を適用するように機能し得るものであるか、または試料１４への局所的な化学物質または他の物質の供給／添加を制御するように、もしくは試料１４内で局所的に物質を放出するように機能し得るものである。例えば、仮想空間１２’においてユーザ１１により選択されるオペレーションは、刺激点の選択とすることができ、オペレーション装置２６は、その刺激を実施するように機能することができる。刺激は、例えば、光刺激によるか、機械的応答もしくは電子応答を誘発することによるか、または化学試薬を注入することにより、実現することができる。
【００３８】
物理的インタラクションを実行するように機能する測定システム１０のオペレーション装置２６は、メス、レーザアブレーション装置、超音波凝固器、レーザ凝固器、マイクロインジェクタ、真空吸引装置、光ケーブル、電気刺激装置、などのロボット手術装置、または試料１４に挿入される電極のような測定装置、パッチクランプ法に使用されるマイクロピペット、内視鏡装置、または電気泳動測定ヘッドとすることができる。オペレーション装置２６は、細胞レベルまたは軸索レベルの標的レーザ微小手術を実施するのに適したものであり得る。
【００３９】
また、オペレーション装置２６は、様々な特殊測定を実行するようにも機能し得る。特殊測定は、一般的に、範囲を限定することによって時間的に加速された３Ｄ測定プロセスであり、より小さな空間領域において、または部分表面もしくは部分曲線に沿って、または単一の点において、実施することができる。例えばパッチクランプ測定の場合に、細胞の発火パターンを、同様に、より高速で追跡することができる。このような測定は、多くの場合、刺激を与えること、及びそれに対する応答を分析することを含むプロトコルに組み込まれる。刺激は、電気刺激応答を引き起こす電極、または感覚刺激、イオントフォレシスもしくは物質の光化学的局所放出、光感受性タンパク質の光刺激、または様々な局所ショックとすることができる。
【００４０】
好ましくは、ＶＲ装置１８は、さらに、何らかの形でオペレーション装置２６を仮想空間１２’に表示し、例えば、物理的インタラクションを実行するオペレーション装置２６のツール２８が、仮想空間１２’において仮想ツール２８’で表される。また、オペレーション装置２６が具体的なインタラクション用ツール２８を有していないことも（例えば、光刺激装置の場合に）考えられるが、そのような場合であっても、試料１４と相互作用する点としてのインタラクションポイント２９を特定することが可能であり、これを仮想インタラクションポイント２９’の形でＶＲ装置１８によって表示することができる。
【００４１】
好ましくは、ユーザ１１は、同様に３Ｄ入力装置を用いて、オペレーション装置２６のオペレーションを選択することができ、例えば、仮想コンフィギュレーション２２’を選択して、これにより、選択した仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に沿って、またはその範囲内で、オペレーション装置２６のインタラクションポイント２９を移動させることができる。好ましくは、ユーザ１１は、入力装置２０のカーソルを用いて、仮想ツール２８’または仮想インタラクションポイント２９’を掴むことができ、そしてこれを仮想試料１４’の所望の点までドラッグすることができ、これにより、測定空間１２の対応する点で物理的オペレーションを実行することをオペレーション装置２６に要求する。
【００４２】
好ましくは、測定システム１０の制御システム２４は、さらに、オペレーション装置２６を制御し、すなわち、制御システム２４は、仮想空間１２’で選択されたオペレーションを、オペレーション装置２６に対して、後者で実行することが可能なコマンドとして伝送する。
【００４３】
選択されたオペレーションをオペレーション装置２６で実行するときには、これによってさらに測定データが提供されることもあり（例えば、細胞膜の電位を電極により測定することが可能である）、それをＶＲ装置１８によって仮想空間１２’にリアルタイム表示することができる。
【００４４】
測定システム１０を用いて複雑なオペレーションを実行する場合には、ユーザ１１が解釈できるよりも高速でデータが測定システム１０により供給されることが生じ得る。また、オペレーション自体（例えば、測定／手術）の制御に、１人では対応できないほど多くの判断、インタラクションを要する可能性もある。そのような場合には、複数のユーザ１１に対して測定システム１０を提供することが好ましい。これは、複数のユーザ１１に対して仮想現実を提供することが可能なＶＲ装置１８を用いて実現することができ、または仮想空間１２’を表示するために各ユーザ１１に別々のＶＲ装置１８を提供することもできる。後者の実施形態を図２ａに示している。２つの別々のＶＲ装置１８によって、２人のユーザ１１のために、測定空間１２の仮想空間１２’を２つ別個に作成し、好ましくは、各ユーザ１１は、独立に、所与のＶＲ装置１８に設けられた３Ｄ入力装置２０を用いてオペレーションを選択することができる。制御システム２４は、好ましくは、両方の仮想空間１２’で選択されたオペレーションを、選択されたオペレーションに従ってレーザ走査顕微鏡１６及びオプションのオペレーション装置２６のインタラクション用ツール２８を制御するコマンドに変換する。マルチユーザの測定システム１０では、顕微鏡１６の制御とオペレーション装置２６のインタラクション用ツール２８の制御を、ユーザ１１間に割り振ることが効果的であり得る。例えば、図２ａに示す実施形態では、第１のユーザ１１がレーザ走査顕微鏡１６を制御する一方で、第２のユーザ１１がオペレーション装置２６を制御する。しかしながら、ユーザ１１が結果を閲覧するよりも測定に要する時間はかなり少ないという事実を利用して、両ユーザ１１が同じ測定器（顕微鏡１６及びオペレーション装置２６）を、ただし時分割で制御することも想定できる。例えば、試料１４のボリューム内の多数の細胞についてある種のチェックを実施することが目的である場合に、時分割を適用することが可能であり、その場合、複数のユーザ１１が同時にチェックを行うことで、作業を分担することができる。
【００４５】
図２ｂに示すように、作業分担とは正反対のことも想定できる。試料１４の異なる部分または異なる側面が別々の測定器（顕微鏡１６及び他のオペレーション装置２６）で測定される場合に、それらにより供給されるデータを、単一のＶＲ装置１８によって表示することができ、これにより、ユーザ１１は、複数の同期した情報に基づいて判断し、より多くのタイプの、またはより複雑な、インタラクション及びオペレーションを制御することが可能である。この技術は、例えば、網膜の細胞と、網膜の像を頭部の反対側で処理する視覚野の細胞の、同時３Ｄ測定に適用することができる。
【００４６】
ＶＲ装置（複数の場合もある）１８と、顕微鏡１６及び他のオプションのオペレーション装置（複数の場合もある）２６との間の接続は、ローカルネットワークまたはグローバルネットワークを介した直接接続とすることができ、後者にはインターネットが含まれる。例えば、特定の科学分野の専門知識を持つユーザ１１が、世界の遠隔地から、試料１４を分析したり、または試料１４について実施される測定を制御したりすることができる。リモート接続の場合には、同じ測定システム１０への複数のユーザ１１のアクセスを許可すること、または単一ユーザ１１による複数の測定システム１０の制御を許可することも可能である（図２ｃを参照）。
【００４７】
本発明による測定システム１０は、以下のように使用することができる。
【００４８】
ユーザ１１は、レーザ走査顕微鏡１６の測定空間１２内に試料１４を配置して、顕微鏡１６により試料１４を３Ｄで走査する。これは、例えば、光軸ｔに垂直な複数の平面に沿って試料１４を走査することにより実施することができる。これに続いて、走査した試料１４を、ＶＲ装置１８によって仮想空間１２’に仮想試料１４’の形で表示する。好ましくは、ユーザ１１は、３Ｄマーカの形態とすることができる入力装置２０を用いて、仮想空間１２’において仮想試料１４’を操作することができる。例えば、ユーザ１１は、仮想試料１４’を掴んで、それを空間的に回転させること、それを変位させること、そのサイズを拡大もしくは縮小することができ、顕微鏡１６によって、またはオプションとして測定システム１０に属する他のオペレーション装置２６によって実行されるべきオペレーションを、仮想試料１４’上で選択することができる。顕微鏡１６により実行されるオペレーションの場合、好ましくは、ユーザ１１は、３Ｄマーカを用いて、１つ以上の点及び／または曲線及び／または領域からなる仮想コンフィギュレーション２２’を選択する。測定システム１０は、測定空間１２における対応する実コンフィギュレーション２２の座標を算出し、算出された座標に基づいて、制御システム２４は、レーザ走査顕微鏡１６を、選択された仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に沿って、またはその範囲内で試料１４を走査するように制御する。測定されたデータは、測定システム１０のＶＲ装置１８によって仮想空間１２’にリアルタイムで表示することができ、これに基づいて、ユーザ１１は、測定の最中であっても介入することができる。このように、測定空間１２と仮想空間１２’との間にリアルタイム接続が提供される。ユーザ１１は、好ましくは、仮想空間１２’においてレーザ走査顕微鏡１６を制御するだけではなく、前述のように測定システム１０に属する他の物理的オペレーション装置２６をも制御する。制御システム２４は、仮想空間１２’で選択されたオペレーションが測定空間１２でオペレーション装置２６により実行される一方で、同時に、測定空間１２においてオペレーション装置２６及び／またはレーザ走査顕微鏡１６により測定されたデータが測定システム１０のＶＲ装置１８により表示されるように、計らう。従って、この場合も同様に、測定空間１２と仮想空間１２’との間にリアルタイム接続が提供され、これにより、ユーザ１１は、選択されたオペレーションが実行されている最中であっても、リアルタイムで介入することができ、そして測定を変更したり、または更なる測定を選択したりすることができる。
【００４９】
好ましい実施形態では、測定システム１０は、１つ以上の周波数で同時に（同一時に）または略同時に作動する。この場合、測定（２光子蛍光強度、蛍光寿命、伝達信号、第２高調波発生（ＳＨＧ）信号、分極信号など）は、１つ以上の周波数で実行することができ、一方、物理的オペレーション（分子の光活性化、光活性化化学物質または生体物質、タンパク質の光活性化、アブレーションなど）は、１つ以上の異なる周波数で同時または略同時に実行される。異なる周波数を適用することによって、同時の物理的オペレーションと測定は、相互に妨げることなく、両方を３Ｄ仮想現実環境において追跡及び表示することが可能である。
【００５０】
測定及び他の物理的オペレーションを３Ｄ仮想現実で表示することにより、ユーザ１１は、仮想現実環境の形でユーザ１１に提示される仮想空間１２’の抽象的な情報または大きく拡大された情報を容易かつ自然に知覚することが可能となって、これにより、ユーザ１１は、３Ｄオペレーションに必要な３Ｄ選択を実行するとともに、その制御を行うことが自然な形で可能であるため、レーザ走査顕微鏡１６及び他の物理的オペレーション装置２６を制御することの有効性が大きく向上する。本発明による測定システム１０及び方法によって支援される最も重要なタスクは、
‐  ３Ｄデータ構造を閲覧及び理解することと、
‐  試料１４及び／または視点及びナビゲーションの方位を決定することと、
‐  測定するコンフィギュレーション（平面、曲線、ボリューム）を選択することと、その中の各種パラメータを設定することと、
‐  特別な高速測定アルゴリズム（例えば、特許文献５、特許文献１を参照）を制御することと、この目的のために、試料１４の測定空間１２内で選択を行うことと、
‐  他のオペレーション装置２６による他のオペレーションを選択及び制御することと、
‐  位置ごとの測定データを仮想空間１２’に表示することと、
‐  インタラクションの効果をチェックすること、である。
【００５１】
本発明により、測定空間１２での測定の正確な空間位置のリアルタイム選択が、対応する仮想空間１２’で作動する適切な３Ｄ入力装置２０（マーカ）を用いて可能となり、また、その継続的な変更が可能となる。その結果、測定は、手動で選択された仮想コンフィギュレーション２２’に対応する実コンフィギュレーション２２に限定されるので、レーザ走査顕微鏡１６は、はるかに小さなボリュームを繰り返し操作するだけでよい。本方法によれば、試料１４全体を毎度走査するのと比較して、はるかに高速で検査を実施することが可能となる。ユーザ１１は、さらに、測定システム１０の支援により、移動物体を追跡する（例えば、標識した粒子が神経細胞の軸索に沿って輸送される軌跡をたどる）こともできる。
【００５２】
正確な３Ｄ方位決定は、特殊測定を実施する場合、またはオペレーション装置２６を用いて上述のようにインタラクションを実行する場合に、臨床応用と科学研究の両方において極めて重要である。
【００５３】
本発明の他の効果は、対象物を仮想空間１２’に表示することで、（例えば、神経細胞の場合に）解剖学的再構成の後と同様に、ただしリアルタイムで、型の解釈が深まるということであり、これにより、例えば神経細胞の場合には測定の観点から重要である軸索、樹状突起、樹状突起部、または軸索部の認識を支援する。仮想現実環境（ＶＲ環境）によって、さらに、測定すべき構造を迅速かつ自然な形で選択することを可能とし、例えば、測定されるべき軸索を表示して、測定する様々な特性を、ＶＲ装置１８の３Ｄ入力装置２０を用いて迅速に３Ｄで設定することが可能である。選択した仮想コンフィギュレーション２２’に沿って３Ｄ像点のみを更新することにより、適切な測定プロトコルを３Ｄで選択及び設定することが、すなわち、測定する箇所と時間の長さを規定することが可能である。顕微鏡１６の測定を制御すること以外に、顕微鏡１６による測定空間１２内での光化学刺激、機械的操作、レーザ操作の実施、さらには各種化合物及び物質の局所添加（注入）を、測定システム１０によって制御することも可能である。応答、測定点、曲線、領域（すなわち、ユーザ１１が選択した実コンフィギュレーション２２）を、位置ごとに（例えば、測定点にリンクされた３Ｄフラグに２Ｄトランジェントを表示することにより、または色分けを適用して、測定された実コンフィギュレーション２２の活動マップを表示することにより）仮想空間１２’に表示することができ、これにより、結果の空間性をより良く示すことができる。
【００５４】
添付の請求項によって定められる保護の範囲から逸脱することなく、上記実施形態の種々の変形が当業者には可能である。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元測定空間を有するとともにレーザ走査顕微鏡を備えた測定システムによる、試料の３次元測定のための方法であって、
３次元仮想現実装置を前記測定システムに設けることと、
前記測定空間から離隔した実空間領域内に、前記３次元仮想現実装置を用いて、前記測定空間の３次元仮想空間を作成することと、
前記仮想空間でオペレーションを選択することを許可することと、
前記仮想空間で選択されたオペレーションが前記測定空間で実行されて、前記測定空間で測定されたデータが前記仮想空間で表示されるように、前記測定空間と前記仮想空間との間に双方向のリアルタイム接続を提供すること、とを有する
ことを特徴とする方法。
【請求項２】
前記レーザ走査顕微鏡の測定空間内に配置された試料または試料の一部を３次元で走査することと、
走査された前記試料を前記仮想空間に表示することと、
少なくとも１つの点及び／または曲線及び／または領域を含む仮想コンフィギュレーションを選択することを許可することと、
前記仮想コンフィギュレーションに対応する前記測定空間の座標を算出することと、
前記測定空間の座標に基づいて、前記仮想コンフィギュレーションに従って前記試料を走査するとともに走査の最中に前記試料で測定及び／またはインタラクションを実行するように、前記レーザ走査顕微鏡を制御することと、とを有する
請求項１に記載の方法。
【請求項３】
前記仮想コンフィギュレーションは、３次元の点で構成される準連続曲線、または規定点を補間した曲線であって、前記仮想空間において前記曲線の点または前記補間曲線の規定点を変位させるステップと、前記変位に応じて前記測定空間において前記測定座標を修正するステップとを含む
請求項２に記載の方法。
【請求項４】
前記仮想空間は、３次元の点で構成される準連続曲線、または規定点を補間した曲線であって、前記曲線の点または前記補間曲線の規定点に作用する機能及び／またはアルゴリズムを制御するステップと、これらを表示するステップと、これに応じて前記測定空間において前記測定座標を修正するステップとを含む
請求項２に記載の方法。
【請求項５】
前記試料の前記３次元走査の過程で、前記レーザ走査顕微鏡の光軸と直交または交差する複数の平面において前記試料を走査することと、
走査された前記平面を前記仮想空間に表示することと、とを有する
請求項２に記載の方法。
【請求項６】
走査された前記試料またはその一部を、前記仮想空間に空間フォグとして表示する
請求項５に記載の方法。
【請求項７】
走査された前記試料またはその一部を、前記仮想空間に空間的表面要素として表示することと、３次元効果を高めるために１つ以上の模擬光源を使用することと、とを有する
請求項５に記載の方法。
【請求項８】
物理的オペレーションを実行するように機能するオペレーション装置であって、測定用レーザ光線と同時に作動し得るオペレーション装置を、前記測定システムに設けることと、
前記測定空間における前記オペレーション装置のオペレーションを、前記仮想空間で選択することと、
前記仮想空間で選択された前記オペレーションを、前記測定空間において前記オペレーション装置により実行することと、とを有する
請求項１ないし７のいずれかに記載の方法。
【請求項９】
前記物理的オペレーションは、物理的インタラクション、または物理パラメータの測定であり、前記物理的オペレーションを実行するように機能する前記オペレーション装置は、ロボット手術装置、メス、レーザアブレーション装置、超音波凝固器、レーザ凝固器、マイクロインジェクタ、真空吸引装置、光ケーブル、プリズム、グリッドレンズ、電気刺激装置、試料に挿入される好ましくは電極である測定装置、パッチクランプ法のためのマイクロピペット、細胞外記録用電極、内視鏡装置、電気泳動装置である
請求項８に記載の方法。
【請求項１０】
オペレーションを選択するための、好ましくは３次元マーカである３次元入力装置を、前記３次元仮想現実装置に設けることを有する
請求項１ないし９のいずれかに記載の方法。
【請求項１１】
その座標系が前記仮想空間と同期されているとともに、オペレーションを選択するための３次元空間曲線及び点を描画及び選択するのに適した、３次元マウスまたは機械的アームを、前記３次元仮想現実装置に設ける
請求項８に記載の方法。
【請求項１２】
オペレーションを選択するために設けられた前記３次元入力装置のポインティングデバイスの空間位置は、該装置に属する仮想マーカの空間位置と一致しているか、または、それに対して所定の空間ベクトルでオフセットしている
請求項１１に記載の方法。
【請求項１３】
３次元入力装置及び（該入力装置により駆動される）そのオプションの３次元仮想マーカの所与の局所仮想環境における仮想現実の光学コントラストまたは視認性を変更することで、好ましくは、インタラクションをより良好に表示するためにコントラストを高める
請求項８ないし１２のいずれかに記載の方法。
【請求項１４】
前記測定空間で測定されたデータを表示するために、好ましくは裸眼立体ディスプレイである３次元表示装置を、前記３次元仮想現実装置内に設ける
請求項１ないし１３のいずれかに記載の方法。
【請求項１５】
前記測定空間で測定されたデータを表示するために、好ましくは立体ディスプレイである３次元表示装置と、好ましくは眼鏡である能動型または受動型の立体視ユーザデバイスとを、前記３次元仮想現実装置に設ける
請求項１ないし１４のいずれかに記載の方法。
【請求項１６】
前記３次元仮想現実装置内で頭部位置追跡を提供することと、ユーザの頭部の位置に応じて前記３次元表示装置により前記仮想空間を表示することと、とを有する
請求項１４または１５のいずれかに記載の方法。
【請求項１７】
複数の３次元仮想現実装置を、前記測定システムに設けることと、
複数のユーザのために、前記測定空間の複数の３次元仮想空間を、前記複数の３次元仮想現実装置により作成することと、とを有する
請求項１ないし１６のいずれかに記載の方法。
【請求項１８】
前記複数の３次元仮想現実装置と前記測定システムとの間に、ローカルネットワークまたはグローバルネットワークを介したリアルタイム接続を提供する
請求項１７に記載の方法。
【請求項１９】
複数の測定システムのための共通の３次元仮想現実装置を設けることと、該複数の測定空間の共通の３次元仮想空間を前記共通の３次元仮想現実装置により作成することと、とを有する
請求項１に記載の方法。
【請求項２０】
前記測定システムは、２光子レーザ走査顕微鏡または共焦点レーザ走査顕微鏡を備える
請求項１ないし１９のいずれかに記載の方法
【請求項２１】
試料の３次元測定のための測定システムであって、該測定システムは、３次元測定空間を有するとともにレーザ走査顕微鏡を備え、
前記測定空間から離隔した実空間領域内に前記測定空間の３次元仮想空間を表示するための３次元仮想現実装置をさらに備え、前記レーザ走査顕微鏡と前記３次元仮想現実装置との間に双方向のリアルタイム接続が提供される
ことを特徴とする測定システム。
【請求項２２】
物理的オペレーションを実行するためのオペレーション装置を備え、前記オペレーション装置と前記３次元仮想現実装置との間に単方向または双方向のリアルタイム接続が提供される
請求項２１に記載の測定システム。
【請求項２３】
試料の３次元測定のための測定システムであって、該測定システムは、３次元測定空間を有するとともに、レーザ走査顕微鏡及びオプションとして他のオペレーション装置を備え、さらに制御システムが設けられていて、
請求項１ないし２０のいずれかに記載の方法を実行するために、前記制御システムとの双方向のリアルタイム接続を有する３次元仮想現実装置を備える
ことを特徴とする測定システム。
【請求項２４】
前記測定システムを１つ以上の波長で同時または略同時に作動させる
請求項１ないし２０のいずれかに記載の方法。
【請求項２５】
１つ以上の波長で測定することと、同時または略同時に１つ以上の異なる波長で物理的オペレーションを実行することと、とを有する
請求項２４に記載の方法。
【請求項２６】
前記３次元レーザ走査顕微鏡での機械的変位により、ｚ焦点合わせ及び／またはｘｙ走査を提供する
請求項２０に記載の方法。
【請求項２７】
空間走査の過程で実現される物理的変位と、測定するために選択されたコンフィギュレーションとの間の誤差を、前記３次元仮想空間に表示することと、測定の空間的誤差を減少させるように３次元入力装置を用いて空間軌道を修正することと、とを有する
請求項１ないし２０のいずれかに記載の方法及び測定システム。
【請求項２８】
音響光学偏向システムを有するか、またはホログラフィック・スキャナユニットを有する３次元レーザ走査顕微鏡を用いること、または時空間多重化により（すなわち、空間インパルス分離により）３次元走査を実行する３次元レーザ走査顕微鏡を用いること、または機械的に変位可能なレンズを電界で制御することにより３次元走査を実行する３次元レーザ走査顕微鏡を用いること、とを有する
請求項２０に記載の方法及び測定システム。
【国際調査報告】
2015513065.tif 000007
2015513065.tif 000008