(57)【要約】【課題】顕微鏡で用いられている走査方式によらず、正確な両眼立体視画像を生成することが可能な、情報処理装置、情報処理方法、プログラム及び情報処理システムを提案すること。【解決手段】本開示に係る情報処理装置は、サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正部と、補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成部と、を備える。【選択図】図１６
2013058956.tif 000002
【特許請求の範囲】
【請求項１】
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正部と、
補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成部と、
を備える、情報処理装置。
【請求項２】
前記補正部は、前記位置座標の所定の座標軸の格子点間隔が一定となるように前記拡大画像群に対して補正を行う、請求項１に記載の情報処理装置。
【請求項３】
前記補正部は、前記拡大画像群を構成する画素の取得時間が同一となるように、前記顕微鏡の走査方式に応じて生成された前記拡大画像群に対応する時間を更に補正する、請求項２に記載の情報処理装置。
【請求項４】
ユーザ操作に応じて、表示画面に表示される前記拡大画像群の表示領域を決定する表示領域決定部を更に備え、
前記立体視画像生成部は、決定された前記表示領域に関する前記立体視画像を生成する、請求項３に記載の情報処理装置。
【請求項５】
前記拡大画像群は、ナイキストのサンプリング定理を満たすサンプリング間隔で前記サンプルがサンプリングされることで生成されたものである、請求項１に記載の情報処理装置。
【請求項６】
前記顕微鏡による前記サンプルの走査を制御する顕微鏡制御部を更に備え、
前記顕微鏡制御部は、ナイキストのサンプリング定理を満たすサンプリング間隔で前記サンプルをサンプリングするように前記顕微鏡を制御する、請求項１に記載の情報処理装置。
【請求項７】
前記立体視画像生成部により生成された前記拡大画像群の立体視画像を出力する立体視画像出力部を更に備え、
前記立体視画像出力部は、前記立体視画像を当該立体視画像に対応する時間順に出力する、請求項１に記載の情報処理装置。
【請求項８】
前記顕微鏡による前記サンプルの走査方式は、サンプルの縦方向、横方向及び奥行き方向の少なくとも何れか２つを連続的に変化させながら前記サンプルを走査する方式である、請求項１に記載の情報処理装置。
【請求項９】
前記補正部による補正後の前記拡大画像群に対応する画像データが格納される記憶部を更に備え、
前記立体視画像生成部は、前記記憶部から取得した前記補正後の拡大画像群に対応する画像データを利用して、前記立体視画像を生成する、請求項１に記載の情報処理装置。
【請求項１０】
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正することと、
補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成することと、
を含む、情報処理方法。
【請求項１１】
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡からデータを取得可能なコンピュータに、
前記顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正機能と、
補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成機能と、
を実現させるためのプログラム。
【請求項１２】
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データを生成する顕微鏡と、
前記顕微鏡の走査方式に応じて、前記顕微鏡により生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正部、及び、補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成部を有する情報処理装置と、
を含む、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
【背景技術】
【０００２】
生物やバイオテクノロジー等の分野において、生きた細胞の生理反応や形態を観察するために、共焦点顕微鏡等といった各種の顕微鏡が使用される（例えば、以下の特許文献１を参照。）。特に、顕微鏡として共焦点顕微鏡を用いた場合には、測定試料を薄切片にすることなくスライス画像を得ることができる。得られたスライス画像に基づいて演算処理装置内に仮想的な３次元画像を構成し、この仮想的な３次元画像に基づいて任意の視点から測定試料を片目で見た場合の２次元画像を生成することで、ユーザに測定試料に関する画像情報を容易にわかりやすく提示することが可能となる。
【０００３】
一方、情報処理技術や情報通信技術の発達に伴い、両眼視差を利用した立体画像に関する画像データをユーザへ提供することで、ユーザが表示装置に両眼立体視画像を表示させることが可能となってきている（例えば、以下の特許文献２を参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−８４９６０号公報
【特許文献２】特開２００５−  ６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明者らは、顕微鏡により得られた顕微鏡画像（拡大画像）について鋭意検討を行った結果、両眼立体視画像を生成する技術を顕微鏡画像群に対して適用することで、測定試料の３次元的な構造を正確にユーザに提供することが可能となると考えた。
【０００６】
ここで、顕微鏡が測定試料を走査する際の走査方式には、ラスター・スキャン方式やいわゆるジグザグ・スキャン方式等といった各種の方式が存在する。本発明者らは、上記のような技術を実現するために鋭意検討を行った結果、測定試料の位置を特定するために利用される位置座標の格子点の間隔が、走査方式によっては一定にならない場合があることに想到した。座標系の格子点の間隔が一定となっていないにも関わらず両眼立体視画像を生成しようとすると、測定試料の正確な３次元画像を生成することが困難となってしまう。
【０００７】
そこで、本開示では、上記事情に鑑みて、顕微鏡で用いられている走査方式によらず、正確な両眼立体視画像を生成することが可能な、情報処理装置、情報処理方法、プログラム及び情報処理システムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正部と、補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成部と、を備える情報処理装置が提供される。
【０００９】
また、本開示によれば、サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正することと、補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成することと、を含む情報処理方法が提供される。
【００１０】
また、本開示によれば、サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡からデータを取得可能なコンピュータに、前記顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正機能と、補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成機能と、を実現させるためのプログラムが提供される。
【００１１】
また、本開示によれば、サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データを生成する顕微鏡と、前記顕微鏡の走査方式に応じて、前記顕微鏡により生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正部、及び、補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成部を有する情報処理装置と、を含む情報処理システムが提供される。
【００１２】
本開示によれば、顕微鏡の走査方式に応じて、生成された拡大画像群の位置を特定するための位置座標が少なくとも補正され、補正された画像データ群に対して視差が付与されることで、拡大画像の立体視画像が生成される。
【発明の効果】
【００１３】
以上説明したように本開示によれば、顕微鏡で用いられている走査方式によらず、正確な両眼立体視画像を生成することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本開示の第１の実施形態に係る顕微鏡システムの構成の一例を示した説明図である。
【図２】蛍光について説明するための説明図である。
【図３】共焦点顕微鏡の原理について説明するための説明図である。
【図４】共焦点顕微鏡の原理について説明するための説明図である。
【図５】１光子励起による蛍光と２光子励起による蛍光との違いについて説明するための説明図である。
【図６】生体の光吸収特性について説明するためのグラフ図である。
【図７】２光子励起蛍光顕微鏡について説明するための説明図である。
【図８】顕微鏡のサンプル走査方式について説明するための説明図である。
【図９】顕微鏡のサンプル走査方式について説明するための説明図である。
【図１０】顕微鏡のサンプル走査方式について説明するための説明図である。
【図１１】顕微鏡のサンプル走査方式について説明するための説明図である。
【図１２】顕微鏡のサンプル走査方式について説明するための説明図である。
【図１３】顕微鏡のサンプル走査方式について説明するための説明図である。
【図１４】３次元画像の生成方法について説明するための説明図である。
【図１５】同実施形態に係る情報処理装置での３次元画像の生成方法について説明するための説明図である。
【図１６】同実施形態に係る情報処理装置の構成の一例を示したブロック図である。
【図１７】同実施形態に係る情報処理装置が備える測定データ補正部の構成を示したブロック図である。
【図１８】同実施形態に係る時間補正処理について説明するための説明図である。
【図１９】データのインターポレーションについて説明するための説明図である。
【図２０】同実施形態に係る座標補正処理について説明するための説明図である。
【図２１】同実施形態に係る立体視用画像データの生成処理について説明するための説明図である。
【図２２】同実施形態に係る情報処理装置が備える立体視用画像データ生成部の構成を示したブロック図である。
【図２３Ａ】画像の奥行き位置と視差との関係の一例を示したグラフ図である。
【図２３Ｂ】画像の奥行き位置と視差との関係の一例を示したグラフ図である。
【図２４】生成される立体視用画像データについて説明するための説明図である。
【図２５】立体視用画像の表示領域変更処理について説明するための説明図である。
【図２６】立体視用画像の表示領域変更処理について説明するための説明図である。
【図２７】同実施形態に係る顕微鏡システムの第１変形例を示した説明図である。
【図２８】同実施形態に係る情報処理方法の流れの一例を示した流れ図である。
【図２９】本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は、以下の順序で行うものとする。
（１）第１の実施形態
（１−１）顕微鏡システムについて
（１−２）顕微鏡について
（１−３）顕微鏡画像の両眼立体視表示について
（１−４）情報処理装置の構成について
（１−５）情報処理方法について
（１−６）第１変形例
（２）本開示の実施形態に係る情報処理装置のハードウェア構成について
（３）まとめ
【００１７】
（第１の実施形態）
＜顕微鏡システムについて＞
まず、図１を参照しながら、本開示の第１の実施形態に係る顕微鏡システムについて説明する。図１は、本実施形態に係る顕微鏡システムの一例を示した説明図である。
【００１８】
本実施形態に係る顕微鏡システム１は、図１に例示したように、情報処理装置１０と、顕微鏡２０と、を主に含む。
【００１９】
情報処理装置１０は、後述する顕微鏡２０により生成された測定サンプルＳの拡大画像群を利用して、これら拡大画像群に対して所定の補正処理を実施するとともに、補正処理後の拡大画像群を利用して、測定サンプルＳの両眼立体視画像を生成する。また、情報処理装置１０が生成する両眼立体視画像は、静止画像であってもよく、動画像であってもよい。
【００２０】
情報処理装置１０により生成された両眼立体視画像の実体データ（以下、単に「立体視用画像データ」とも称する。）は、立体画像を表示することが可能な３Ｄ表示装置３０に出力され、３Ｄ表示装置３０を介してユーザに表示される。
【００２１】
図１では、本実施形態に係る情報処理装置１０が、顕微鏡２０とは別の装置として設けられる場合について図示しているが、本実施形態に係る情報処理装置１０の機能は、顕微鏡２０の動作を制御するコンピュータに実装されていてもよいし、顕微鏡２０の筐体内に設けられた任意のコンピュータに実装されていてもよい。なお、情報処理装置１０の詳細な構成については後段において詳述する。
【００２２】
顕微鏡２０は、測定サンプルＳを、当該測定サンプルの縦方向、横方向奥行き方向の３次元に走査して、測定サンプルＳの拡大画像群に対応する画像データ群を生成する。このような顕微鏡２０として、例えば、実体顕微鏡、蛍光顕微鏡、共焦点顕微鏡等を含む光学顕微鏡を挙げることができる。本実施形態に係る顕微鏡システム１においてどのような顕微鏡２０を使用するかについては、測定対象とするサンプルの種別に応じて、適宜決定すればよい。
【００２３】
本実施形態に係る顕微鏡システム１では、顕微鏡２０は、測定サンプルＳの拡大画像を生成すると、生成した拡大画像に対応する実体データ（拡大画像データ）を情報処理装置１０に出力する。
【００２４】
以下では、測定サンプルＳとして、蛍光を放出することが可能な物質（例えば、蛍光色素により染色された細胞等）を例にとり、顕微鏡２０として、いわゆる蛍光顕微鏡を使用する場合を例に挙げて説明を行うものとする。また、本実施形態で用いられる蛍光顕微鏡については、以下で詳述する。
【００２５】
３Ｄ表示装置３０は、情報処理装置１０により生成された測定サンプルの両眼立体視画像を表示画面に表示することで、ユーザに測定サンプルの顕微鏡画像を立体的に提示する表示装置である。本実施形態に係る３Ｄ表示装置３０は、両眼立体視画像を表示可能なものであれば特に限定されるわけではなく、公知の表示装置を利用することが可能である。
【００２６】
以上、図１を参照しながら、本実施形態に係る顕微鏡システム１について、簡単に説明した。
【００２７】
＜顕微鏡について＞
続いて、本実施形態に係る情報処理装置１０についての説明に先立ち、本実施形態に係る顕微鏡システム１で用いられる顕微鏡２０について、図２〜図１３を参照しながら、詳細に説明する。
【００２８】
本実施形態で着目する測定サンプルＳに生じている現象の一つとして、測定サンプルＳから放出される蛍光を挙げることができる。以下では、まず、図２を参照しながら、蛍光について簡単に説明する。図２は、蛍光について説明するための説明図である。
【００２９】
測定サンプルを構成する（又は、測定サンプルに付着する）ある分子に対して所定波長の光が照射されると、照射された光が有するエネルギーを利用して、分子中の電子が基底状態に対応するエネルギー準位から励起状態に対応するエネルギー準位に移動することがある。この際に照射された光のことを、励起光と呼ぶ。基底状態にある分子が励起されて一重項励起状態が生じると、励起された電子は、一重項励起状態に対応するエネルギー準位のいずれかへ移動することとなるが、この励起された電子は、内部転換によりエネルギーを放出しながらより低位のエネルギー準位へと移動していく。励起状態にある電子が基底状態へと戻る際にエネルギーが光として放出されることがあるが、この際に放出される光が、本実施形態で着目する蛍光である。
【００３０】
［顕微鏡の種類について：共焦点顕微鏡］
このような蛍光を観測するために利用される光学顕微鏡の一つとして、図３及び図４に示したような共焦点顕微鏡がある。以下、図３及び図４を参照しながら、共焦点顕微鏡の原理について簡単に説明する。図３及び図４は、共焦点顕微鏡の原理について説明するための説明図である。
【００３１】
図３に示した共焦点蛍光顕微鏡は、励起光としてレーザ光線を用いて、このレーザ光線を測定サンプル（蛍光標本）まで導光し、測定サンプルの焦点面で発生した蛍光を、検出器まで導光するような構成となっている。ここで、励起光として用いられるレーザ光線は、ピンホールＡを通過することによって点光源とみなすことができ、レーザ光線は、ダイクロイックミラー及び対物レンズを透過して、蛍光標本に投影される。蛍光標本では、投影されたレーザ光線の有するエネルギーにより蛍光が生じ、射出された蛍光が対物レンズにより集光され、ダイクロイックミラーにより検出器の方向へと導光される。検出器の直前にはピンホールＢが設置されており、ピンホールＢを通過した蛍光が、光電子増倍管（ＰｈｏｔｏＭｕｌｔｉｐｌｉｅｒ  Ｔｕｂｅ：ＰＭＴ）等の検出器で検出されることとなる。
【００３２】
ここで、励起光として用いるレーザ光線の波長は、例えば測定サンプルを染色するために用いた蛍光色素の種別等に応じて、適宜選択することが可能であり、特定の波長に限定されるものではない。
【００３３】
このような共焦点蛍光顕微鏡において、ピンホールＡの設置位置と、点光源の投影位置（測定サンプルの焦点面）と、ピンホールＢの設置位置とは、光学的に互いに共役な関係となっており、この３点の共役関係を共焦点関係にあるという。
【００３４】
このとき、図４に示したように、対物レンズの焦点面（ピントのあった面）から射出された蛍光は、対物レンズによって集光されて共焦点ピンホール（図３のピンホールＢ）を通過することができるが、焦点の合っていない部分からの蛍光は、共焦点ピンホールを通過することができない。結果として、共焦点蛍光顕微鏡では、焦点の合った測定サンプルの部分のみの輝度情報を得ることができる。従って、測定サンプルの平面（試料面）を縦方向及び横方向に走査することで、焦点の合った部分のみの２次元像（光学断層像）を構築することができる。また、このような試料面の走査を、焦点位置を変えながら繰り返して異なる奥行き位置（深さ位置）にある測定サンプルからの蛍光を集積することで、奥行き位置毎の光学断層像の集合（３次元拡大画像群）を得ることができる。
【００３５】
［顕微鏡の種類について：２光子励起顕微鏡］
３次元画像を得ることが可能な他の手法として、２光子励起顕微鏡がある。
図５は、２光子励起の原理を説明するための説明図である。図５の左側の図は、先だって説明した通常の蛍光の原理を示した説明図であり、ある波長の励起光（図では、波長３５０ｎｍの励起光）によって分子が励起されることで、励起光よりも長波長の蛍光（図では、波長５００ｎｍの蛍光）が射出される。このような蛍光発生の仕組みは、いわば１つの光子と分子との相互作用により分子が励起状態となることで蛍光が発生する仕組みであるため、１光子励起による蛍光発生と呼ばれている。
【００３６】
一方、図５の右側の図に示したように、１つの光子により分子が仮想準位に励起されている間に、もうひとつの光子によって更に分子が励起されることにより、分子がある励起状態へと励起され、励起状態にある分子が基底状態へと遷移することにより蛍光が発生することがある。このような蛍光発生の仕組みは、２つの光子と分子との相互作用により分子が励起状態となることで蛍光が発生する仕組みであるため、２光子励起による蛍光発生と呼ばれている。２光子励起による蛍光発生を利用することで、励起光よりも短い波長の蛍光を発生させることが可能となる（図５の例では、波長７００ｎｍの赤外光を励起光として、波長５００ｎｍの蛍光が発生している。）。
【００３７】
２光子励起が成立するためには、１つめの光子と衝突した分子が仮想準位に励起している１．０×１０−１６秒程度の極めて短い時間内に、もう１つの光子と衝突して一重項励起状態まで遷移することが求められるため、高い光子密度が必要になり、高いピーク・パワーを出力可能なレーザ光源を用いることとなる。また、１光子励起過程と比べると放出される蛍光信号が極めて微弱であるため、損失の少ない光学系や感度の良い検出器を利用することが求められる。
【００３８】
このような点にも関わらず２光子励起蛍光顕微鏡が希求される大きな理由は、２光子励起で用いられる７００ｎｍ〜１０００ｎｍ程度の赤外帯域の蛍光波長が、図６に示したように、水やヘモグロビンの吸収を受けることなく生体を透過しやすい「生体の窓」と呼ばれる波長域となっているためである。このような励起光の高い透過性のために、共焦点蛍光顕微鏡では１００μｍ程度の深さまでしか観察できないのに対して、２光子励起蛍光顕微鏡では１０００μｍ（１ｍｍ）の深さまで観察可能であると言われている。
【００３９】
また、図７に示したように、１光子励起蛍光顕微鏡では、焦点面以外にも試料の厚み方向全体にわたって分子が励起され、厚み方向全体から蛍光が射出されるのに対し、２光子励起蛍光顕微鏡では、焦点面近傍のみが励起される。このため、試料のより深い部分を明るく観察することが可能となるとともに、異なった焦点面で縦方向及び横方向の走査を繰り返し実施した場合であっても、蛍光の消退や光によるダメージを最小限に抑えることができる。また、同様の理由により光毒性を最小限に抑えることができるため、サンプルの深い位置に存在する生きた細胞を長時間に渡って観察することが可能になる。
【００４０】
また、２光子励起蛍光顕微鏡では、励起により射出された蛍光は試料内の微小領域に由来するため、その光シグナルを全て検出すれば蛍光画像を得ることができる。これにより、２光子励起蛍光顕微鏡では、顕微鏡における検出光学系を簡易化できる。すなわち、２光子励起過程では、焦点位置近傍の試料のみから蛍光が射出されるため、共焦点蛍光顕微鏡のようにピンホールを用いて余計な信号をカットする必要は無く、サンプルの近傍に検出器を配置して、全方位に拡散する蛍光信号をできるだけ多く拾うようにすればよい。
【００４１】
［顕微鏡の走査方式について］
以上説明したようなレーザ走査型の顕微鏡では、多くの場合、２種類のガルバノミラーを用いて測定サンプルのＸ方向及びＹ方向（縦方向及び横方向）の走査を行うことで、２次元画像（光学断層像）を取得している。図８では、２種類のガルバノミラーを用いた共焦点蛍光顕微鏡の構成例を示している。
【００４２】
レーザ光源から射出された励起光は、レンズ等の光学系及び共役位置に設けられたピンホールを透過した後に、励起光を透過させるとともに蛍光を反射させるダイクロイックミラーを透過する。ダイクロイックミラーを透過した励起光は、レンズ等の光学系を透過し、測定サンプルのＸ方向の走査を制御するＸ方向ガルバノミラーによりＸ座標が制御された後に、Ｙ方向の走査を制御するＹ方向ガルバノミラーによりＹ座標が制御され、対物レンズにより測定サンプル上の所望のＸＹ座標に集光される。
【００４３】
測定サンプルから射出された蛍光は、Ｙ方向ガルバノミラー及びＸ方向ガルバノミラーによって反射されて励起光と同じ経路をたどり、ダイクロイックミラーによって反射される。ダイクロイックミラーにより反射された蛍光は、共役位置に設けられたピンホールを透過した後、光電子増倍管等の検出器へと導光される。
【００４４】
ここで、測定サンプル上の集光位置を制御するために用いられる２つのガルバノミラーは、図８に模式的に示したように、ミラーに回転軸が接続されたものである。ガルバノミラーは、入力された電圧の大きさによって回転軸の回転量が制御され、ミラー面が向いている角度を高速かつ高精度に変更することができる。
【００４５】
図８に示したようなレーザ走査型の顕微鏡では、２つのガルバノミラーの動作方法の組み合わせにより、測定サンプルのＸＹ平面を走査する際の励起光の移動の仕方が異なることとなる。この走査方法には、以下で説明するように、ラスター・スキャン方式と、いわゆるジグザグ・スキャン方式という、２種類の方法が存在する。本実施形態に係る顕微鏡では、以下で説明するような走査方式を適宜利用することが可能である。
【００４６】
○ラスター・スキャン方式
まず、図９を参照しながら、ラスター・スキャン方式を利用した２次元画像の生成方法について説明する。
なお、以下の説明では、例えば図９に示した座標系が定義されたサンプル平面において、Ｘ方向の走査を制御するガルバノミラーの動作速度が、Ｙ方向の走査を制御するガルバノミラーの動作速度よりも早いものとする。
【００４７】
図９上段に示した図は、サンプル平面の左上部位を走査のスタート地点とした場合に、ＸＹ方向にどのように励起光が移動するかを模式的に示したものである。
ラスター・スキャン方式では、図９上段に示したように、Ｘ方向ガルバノミラーが回転して励起光がサンプル平面の左端から右端に向けてＸ方向に移動している期間に、蛍光の検出（画像の取得）が行われる。ラスター・スキャン方式では、Ｘ方向ガルバノミラーが動作している期間は、Ｙ方向ガルバノミラーは静止している。
【００４８】
励起光がサンプル平面の右端まで到達すると、蛍光の検出は中断され、Ｘ方向ガルバノミラーは左端に対応する位置まで回転軸の回転角を変更する。この期間、Ｙ方向ガルバノミラーは、１ライン分だけＹ軸正方向にステップ移動する。このような動作をライン数だけ繰り返し、励起光がサンプル平面の右下まで到達すると、Ｘ方向ガルバノミラー及びＹ方向ガルバノミラーは、それぞれ回転軸を大きく回転させて走査のスタート地点に位置を戻すことで、１枚の２次元画像（フレーム）が生成されることとなる。
【００４９】
このようなラスター・スキャン方式では、Ｘ方向ガルバノミラーが動作している間はＹ方向ガルバノミラーが静止しているため、生成される２次元画像を構成する単位（画像構成単位）の形状は、図９に示したような長方形となる。
【００５０】
図９下段に示したグラフ図は、時間経過とともにＹ座標がどのように変化するかを示したタイミング・チャートである。１フレームの画像を得るために必要な時間をＴｆｒａｍｅとすると、この時間は、図９下段のタイミング・チャートからも明らかなように、以下の式１１のように表される。ここで、下記式１１において、Ｔｓｃａｎは、走査周期を表しており、Ｎｙは、Ｙ方向のライン数を表しており、ＴＹ＿ａｌｌは、Ｙ方向の戻り時間を表している。
【００５１】
Ｔｆｒａｍｅ＝（Ｔｓｃａｎ）×Ｎｙ＋ＴＹ＿ａｌｌ  ・・・（式１１）
【００５２】
ここで、走査周期Ｔｓｃａｎと、有効走査時間Ｔｅｆｆ及び帰引時間Ｔｂａｃｋとの間には、以下の式１２で表される関係がある。また、Ｙ方向の戻り時間ＴＹ＿ａｌｌは、Ｙ方向の１ライン移動時間をＴｙと表すこととすると、以下の式１３のように表される。ここで、下記式１２における帰引時間Ｔｂａｃｋは、有効走査区間（例えば図９上段のサンプル平面において、実線で示した区間）の終わりから次の周期の有効走査区間の始まりまでの移動に要する合計時間を表している。
【００５３】
Ｔｅｆｆ＝Ｔｓｃａｎ−Ｔｂａｃｋ  ・・・（式１２）
ＴＹ＿ａｌｌ＝Ｔｙ×Ｎｙ  ・・・（式１３）
【００５４】
例えば、Ｘ方向ガルバノミラーの走査周波数Ｆｓｃａｎが、７．８ｋＨｚである場合を考える。この場合、走査周期Ｔｓｃａｎは、走査周波数Ｆｓｃａｎの逆数として表されるため、Ｔｓｃａｎ＝１／Ｆｓｃａｎ＝１．２８×１０−４秒となる。また、このガルバノミラーの有効走査時間Ｔｅｆｆが、走査効率に基づいて｛走査周期Ｔｓｃａｎ×（１／３）｝で表される場合、有効走査時間は、４．２７×１０−５秒となり、帰引時間Ｔｂａｃｋは、１．２８×１０−４−４．２７×１０−５＝８．５３×１０−５秒となる。
【００５５】
また、Ｙ方向ガルバノミラーにおけるＹ方向の戻り時間Ｔｙが１×１０−６秒であり、Ｙ方向のライン数Ｎｙが５１２ラインであったとすると、上記式１１より、１フレームの撮影のために必要な時間Ｔｆｒａｍｅは、６．６２×１０−２秒となる。フレーム・レートは、Ｔｆｒａｍｅの逆数で表される値であるため、このような走査系では、Ｆｒａｍｅ＿ｒａｔｅ＝１５．１（ｆｒａｍｅ／ｓ）となる。
【００５６】
図９に示したようなラスター・スキャン方式は基本的な走査方式であるが、Ｙ方向ガルバノミラーに求められる帰引時間Ｔｂａｃｋの制約や、Ｘ方向ガルバノミラーが周期的にその位置を変化させているような機種である場合などには、Ｙ方向のステップ移動が完了するまで動作を待機していることが出来ない場合がある。そこで、図９に示したラスター・スキャン方式を改良した、図１０に示したようなラスター・スキャン方式を採用することも可能である。
【００５７】
図１０上段に示した図は、サンプル平面の左上部位を走査のスタート地点とした場合に、ＸＹ方向にどのように励起光が移動するかを模式的に示したものである。
図１０に示したラスター・スキャン方式では、Ｘ方向ガルバノミラーが回転して励起光がサンプル平面の左端から右端に向けてＸ方向に移動している期間に、蛍光の検出（画像の取得）が行われる。励起光がサンプル平面の右端まで到達すると、蛍光の検出は中断され、Ｘ方向ガルバノミラーは左端に対応する位置まで回転軸の回転角を変更する。また、このラスター・スキャン方式では、図１０下段に示したタイミング・チャートのように、Ｘ方向ガルバノミラーが動作している期間であっても、Ｙ方向ガルバノミラーは一定速度で動作している。
【００５８】
このような動作をライン数だけ繰り返し、励起光がサンプル平面の右下まで到達すると、Ｘ方向ガルバノミラー及びＹ方向ガルバノミラーは、それぞれ回転軸を大きく回転させて走査のスタート地点に位置を戻すことで、１枚の２次元画像（フレーム）が生成されることとなる。
【００５９】
このようなラスター・スキャン方式では、Ｘ方向ガルバノミラーが動作している間にもＹ方向ガルバノミラーが動作している。そのため、生成される２次元画像を構成する単位（画像構成単位）の形状は、図１０に示したように、画像構成単位の縦方向と横方向とが直交しないような形状となる。
【００６０】
この場合におけるフレーム・レートは、図９に示したラスター・スキャン方式と同様にして計算することが可能である。図９に示した例と同様の性能を有するガルバノミラーを用いるとすると、ＴＹ＿ａｌｌが２００μｓであった場合のフレーム・レートは、１５．２（ｆｒａｍｅ／ｓ）となる。
【００６１】
○ジグザグ・スキャン方式
また、図１０に示したラスター・スキャン方式のフレーム・レートを向上させるために、図１１に示したようなジグザグ・スキャン方式を採用することも可能である。
図１１上段の図に示したように、ジグザグ・スキャン方式では、Ｘ方向ガルバノミラーが左端から右端に励起光を移動させている時だけでなく、右端から左端に励起光を移動させている時にも蛍光の検知を行う点で、図１０に示したラスター・スキャン方式とは異なっている。
【００６２】
このジグザグ・スキャン方式では、励起光が右端又は左端に到達するたびに、励起光の方向転換が完了するまで蛍光の検知を中断する。この場合においても、図１１下段に示したタイミング・チャートのように、Ｙ方向のガルバノミラーは一定速度で移動している。このような動作をライン数だけ繰り返して左下までビームが到達すると、Ｙ方向ガルバノミラーは、回転軸を大きく回転させて走査のスタート地点に位置を戻すことで、１枚の２次元画像（フレーム）が生成されることとなる。
【００６３】
このようなジグザグ・スキャン方式では、帰引時間Ｔｂａｃｋは、以下の式１４のように表すことができる。従って、１フレームの画像を得るために必要な時間Ｔｆｒａｍｅは、以下の式１５のように表される。
【００６４】
Ｔｂａｃｋ＝（Ｔｓｃａｎ／２）−Ｔｅｆｆ  ・・・（式１４）
Ｔｆｒａｍｅ＝（Ｔｅｆｆ＋Ｔｂａｃｋ）×Ｎｙ＋ＴＹ＿ａｌｌ  ・・・（式１５）
【００６５】
ここで、図９に示した例と同様の性能を有するガルバノミラーを用いるとすると、ＴＹ＿ａｌｌが２００μｓであった場合のＴｆｒａｍｅは、３．３０×１０−２秒となり、フレーム・レートは、３０．３（ｆｒａｍｅ／ｓ）となる。
【００６６】
○奥行き方向の走査方式について
また、本実施形態に係る顕微鏡２０として利用可能な共焦点蛍光顕微鏡や２光子励起蛍光顕微鏡は、先だって説明したように、焦点位置を変えることによって異なる奥行き方向（Ｚ方向）の画像を取得することができる。このような顕微鏡において、焦点位置の移動は、例えばステップ・モータ等のアクチュエータにより対物レンズの位置を変更することで実現することができる。
【００６７】
図１２に、焦点位置を間欠的に変えつつ蛍光を検知する方法を示す。図１２上段に示した図が、取得される２次元画像及び３次元画像のスタックを示したものである。また、図１２下段左側に示した図は、例えば図９に示したような、１フレーム分の画像を生成する際のタイミング・チャートである。
【００６８】
図１２下段に示したタイミング・チャートにおいて、右側に示したものが１スタック分に対応するタイミング・チャートである。この間欠移動方式では、１フレームの画像を生成する間は焦点位置が固定となっており、１フレームの画像の生成が終了すると、Ｔｚの時間を掛けて焦点位置が移動する。また、この間欠移動方式では、Ｎｚフレームの撮影が終了すると、アクチュエータは、元の焦点位置に戻ることを繰り返す。
【００６９】
ここで、深さ単位の移動時間Ｔｚ＝０．１秒、深さ方向の枚数Ｎｚ＝２０枚、１フレームの画像の生成時間Ｔｆｒａｍｅ＝３．３０×１０−２秒であるとすると、図１２下段右側に示したタイミング・チャートに示したように、１スタック画像の生成に要する時間ＴＸＹＺは、以下の式２１で表すことができる。上記値を式２１に代入すると、本例の場合のＴＸＹＺは、４．６７秒となる。また、３Ｄスタック・レートは、ＴＸＹＺの逆数として求めることが可能であり、本例の場合、０．２１（ｓｔａｃｋ／ｓ）となる。
【００７０】
ＴＸＹＺ＝（Ｔｚ＋Ｔｆｒａｍｅ）×Ｎｚ＋Ｔｚ×Ｎｚ  ・・・（式２１）
【００７１】
また、３Ｄスタック・レートの高速化を図るために、例えば図１３に示したように、Ｚ方向の焦点位置を連続的に移動するように制御することも可能である。この場合、図１３下段右側の図に示したように、２次元画像を生成している間もＺ方向に連続的に焦点位置が変化し続けている点で、図１２に示した間欠移動方式とは異なっている。
【００７２】
このような連続移動方式では、Ｘ方向ガルバノミラー及びＹ方向ガルバノミラーが動作している間にも、アクチュエータが動作してＺ方向への移動が実施されている。そのため、生成される２次元画像を構成する単位（画像構成単位）のＺ座標は一定ではなく、図１３に示したように、Ｚ軸方向に傾斜したものとなる。
【００７３】
このような連続移動方式において、１スタック画像の生成に要する時間ＴＸＹＺは、図１３のタイミング・チャートに示したように、以下の式２２で表すことができる。図１２の場合と同様のパラメータ（性能特性）が実現されているとすると、本例の場合のＴＸＹＺは、２．６７秒となる。また、３Ｄスタック・レートは、ＴＸＹＺの逆数として求めることが可能であり、本例の場合、０．３７（ｓｔａｃｋ／ｓ）となる。この結果から明らかなように、連続移動方式による焦点位置の制御を実施することによって、間欠移動方式を用いた場合に比べ、約７５％の速度向上を図ることが可能となる。
【００７４】
ＴＸＹＺ＝Ｔｆｒａｍｅ×Ｎｚ＋Ｔｚ×Ｎｚ  ・・・（式２２）
【００７５】
以上、図２〜図１３を参照しながら、本実施形態に係る顕微鏡について具体的に説明した。
【００７６】
＜顕微鏡画像の両眼立体視表示について＞
続いて、本実施形態に係る情報処理装置１０について説明するに先立ち、顕微鏡によって生成された拡大画像群（顕微鏡画像）を両眼立体視表示させるための方法について本発明者らが行った検討について、その内容を簡単に説明する。
【００７７】
両眼立体視を可能にしたテレビ等の３Ｄ表示装置が実現される以前には、蛍光顕微鏡により生成された３次元画像は、図１４に示すように、同じＸＹ座標を持ちＺ座標が異なる画素の輝度を単純に加算することにより生成されていた。この際、加算した輝度値がオーバーフローしないように、ダイナミック・レンジを補正する処理が実施されていた。このような処理を実施した後、図１４の右側の図に示したように、手前側から奥側まで順番に重ね合わせて仮想的な３次元構造を構成した後、任意の視点から片目で見たときの２次元画像が生成されて表示画面に表示されていた。
【００７８】
しかしながら、図１４に示したような表示方法では、静止した３次元画像の視点を変えながら３次元位置情報を把握することはできても、蛍光顕微鏡で取得できる３次元の動画像の位置関係の変化を、時間を追って把握することは困難であった。
【００７９】
一方で、近年になって、右眼用の画像と左眼用の画像を交互に表示し、液晶シャッター・メガネなどを用いて両眼立体視を可能にしたテレビが一般的になった。そこで、蛍光顕微鏡の持つ３次元情報を有効利用して、両眼立体視が可能な画像（静止画や動画）を生成するための方法について本発明者らが検討を行った結果、図１５に模式的に示したように、顕微鏡画像を利用して右眼用画像及び左眼用画像を生成する方法について想到することとなった。
【００８０】
図１４に示したような顕微鏡画像の２次元表示では、表示された画像は深さ方向の情報を失っており、測定サンプル（例えば、細胞等）の実際の距離を理解することが困難となる。また、仮想的な３次元構造を構築し、視点を変えて表示を行う場合であっても、時間とともに別の角度から見ることによって視野内に存在する細胞間の実際の距離を知ることはできるが、時間情報と深さ情報とを同時に知ることはできない。これに対して、図１５に示したように、顕微鏡画像に基づいて両眼立体視用の右眼用画像及び左眼用画像を生成することで、３Ｄ表示装置に顕微鏡画像を立体的に表示させることが可能となり、視野内に存在する細胞間の３次元的な距離の変化を把握することが可能となる。これにより、視野内で細胞が重なって表示されている際に、細胞が近くにあるのか遠くにあるのかを容易に判別できるようになる。
【００８１】
しかしながら、以上のような検討を行っている際に、本発明者らは、このような両眼立体視用の画像データを生成するにあたっては、以下のような問題点も存在することにも想到した。
すなわち、先だって説明したような３次元画像スタックは、同時刻に取得された画素の集合ではなく、画素毎に取得時間が異なるものである。特に、Ｚ方向の焦点位置移動には時間が掛かるため、任意の視点からの３Ｄ表示用画像を作成しようとした場合、画面の上下で取得時間が異なることになってしまう。
【００８２】
また、２次元画像の取得速度を速くするために、例えば図１１に示したようにＹ方向を連続移動させながらジグザク・スキャンを実施すると、隣接するピクセルのＹ座標の差が周期的に増減するため、測定対象の形状を正しく表示できない可能性がある。
【００８３】
更に、３次元画像スタックの取得速度を速くするために、図１３に示したようにＺ方向を連続移動させると、先だって説明したように、一枚の２次元画像内のＺ座標が一定ではなくなってしまう。このような画像を用いて両眼立体視用の画像を生成した場合には、何を見ているのかわからない画像になる可能性がある。
【００８４】
本発明者らは、このような問題を解決するために更なる検討を行った結果、顕微鏡により生成された拡大画像群の時間軸や空間座標を補正することで、上記のような問題点を解消可能であることに想到した。その結果、以下で説明するように、計算誤差を抑制して正確な画像の観察を実現可能となり、演算負荷を大きくすることなく、画像を拡大縮小したり視点位置を変えたりする処理をインタラクティブに行うことが可能となる。
【００８５】
＜情報処理装置の構成について＞
続いて、図１６〜図２６を参照しながら、本実施形態に係る情報処理装置の構成について、詳細に説明する。
【００８６】
本実施形態に係る情報処理装置１０は、顕微鏡制御部１０１と、測定データ取得部１０３と、測定データ補正部１０５と、表示領域設定部１０７と、立体視用画像データ生成部１０９と、立体視用画像データ出力部１１１と、記憶部１１３と、を主に備える。
【００８７】
顕微鏡制御部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、通信装置等により実現される。顕微鏡制御部１０１は、顕微鏡２０に設けられているＸ方向ガルバノミラー、Ｙ方向ガルバノミラー、焦点位置移動用アクチュエータ等といった駆動機器や、励起光用のレーザ光源や、光電子増倍管等の検出器などを制御して、顕微鏡２０にセットされた測定サンプルの蛍光拡大画像を顕微鏡２０に測定させる。
【００８８】
この際、顕微鏡制御部１０１は、蛍光拡大画像のＸ方向、Ｙ方向及びＺ方向の画素の空間的な取得間隔、並びに、画素の時間に関する取得間隔のそれぞれが、ナイキストのサンプリング定理を満足するような取得間隔となるように顕微鏡２０の制御を行い、顕微鏡２０に各画素の輝度値を取得させる。
【００８９】
ナイキストのサンプリング定理は、標本化定理とも呼ばれる。この定理の内容は、「あるアナログ信号をＡＤ変換器によってデジタルデータにサンプリングする場合、元のアナログ信号に含まれる最大周波数の２倍以上の周波数でサンプリングして離散的なデジタルデータとすれば、ＤＡ変換器によってアナログ信号に変換した後に最大周波数以下しか通さないフィルタによって高周波数域成分を除去することで、元のアナログ信号を完全に復元することができる。」というものである。
【００９０】
従って、顕微鏡制御部１０１が、Ｘ方向、Ｙ方向、Ｚ方向及び時間軸により規定される４次元空間全ての取得間隔がサンプリング定理を満たすように顕微鏡２０を制御することで、顕微鏡２０により得られた蛍光拡大画像の画像スタックから任意の空間座標及び時間における画素の値を正しく算出することが可能となる。
【００９１】
顕微鏡制御部１０１は、上記４次元空間全ての取得間隔がサンプリング定理を満たすように顕微鏡２０を制御するために、例えば、後述する記憶部１１３に格納されている各種の設定値やプログラムやデータベース等を参照してもよい。
【００９２】
また、顕微鏡制御部１０１は、後述する測定データ補正部１０５に対し、顕微鏡制御部１０１が制御対象としている顕微鏡で採用されている走査方式等に関する情報を通知する。これにより、後述する測定データ補正部１０５は、顕微鏡２０の走査方式に応じたデータの補正処理を実施することが可能となる。
【００９３】
［取得間隔の設定方法の具体例］
以下では、サンプリング定理を満たすように画素の取得間隔を設定するための制御方法について、具体的な数値を挙げながら説明する。
【００９４】
○ＸＹ方向の取得間隔について
まず、取得間隔を設定するにあたって考慮すべきパラメータについて説明する。以下では、説明を解り易くするために、以下に示すパラメータ（機器のスペック）に関して、以下のような値を仮定する。なお、以下の具体的な数値はあくまでも一例であり、パラメータの値が以下に示す値に限定されるわけではない。
【００９５】
・Ｘ方向ガルバノミラー：スキャン周波数  ｓｆ＝７．８０（ｋＨｚ）
走査効率  ｅｆ＝０．３３３３３
・Ｘ方向のピクセル数  Ｎｘ＝５１２（ｐｉｘｅｌ）
・対物レンズの開口数  ＮＡ＝０．９
・レーザ光源の波長  λ＝５００（ｎｍ）
【００９６】
また、以下に示したパラメータ（機器のスペック）については、十分に余裕があるものと仮定して、値を設定しない。本実施形態では、測定サンプルの移動速度のみが十分に小さく、それ以外は十分に大きいものとする。
【００９７】
・ＬＤ：レーザ光源のピーク・パワー
・ＰＭＴ：検出器の感度
・ＡＤ変換器：サンプリング周波数  ｆｓ＿ａｄｃ（ＭＨｚ）
・測定サンプル：移動速度  ｖｓ（μｍ／ｓ）
蛍光体効率  ｆｌ＿ｅｆｆ
・Ｙ方向ガルバノミラー：移動速度  ｖｙ（μｍ／ｓ）
・Ｚ方向焦点調整：移動速度  ｖｚ（μｍ／ｓ）
【００９８】
最初に、Ｘ方向ガルバノミラーによるビーム速度（励起光の速度）を計算する。ビームのスキャン幅をｓｗ（ｍ）とすると、ｅｆ／ｓｆ（ｓ）の時間にスキャン幅ｓｗ（ｍ）だけビームが移動するので、平均ビーム速度ｖｇ＿ａｖｅは、以下の式１０１のように表される。
【００９９】
ｖｇ＿ａｖｅ＝ｓｗ／（ｅｆ／ｓｆ）
＝（ｓｗ×ｓｆ）／ｅｆ（ｍ／ｓ）  ・・・（式１０１）
【０１００】
ここで、Ｘ方向ガルバノミラーの速度や回転角度が三角関数に従っていると仮定する。この場合、有効走査範囲である「±（ｅｆ／２）×２π」間のビームの平均速度は、ｃｏｓθを（−ｅｆ×π）から（＋ｅｆ×π）まで積分した「２×ｓｉｎ（ｅｆ×π）」を範囲（ｅｆ×２π）で割ったものと比例する。また、ビームの最大速度は、ｃｏｓ（２π）＝１に比例するため、平均速度と最大速度の比（ａｖｅ２ｍａｘ）は、以下の式１０２で表される値となる。
【０１０１】
ａｖｅ２ｍａｘ＝２×ｓｉｎ（ｅｆ×π）／（ｅｆ×２π）
＝ｓｉｎ（ｅｆ×π）／（ｅｆ×π）
＝０．８２７０                          ・・・（式１０２）
【０１０２】
一方、ビームの最小速度は、ｃｏｓ（２π／３）＝１／２に比例するため、平均速度と最小速度の比（ａｖｅ２ｍｉｎ）は、以下の式１０３で表される値となる。
【０１０３】
ａｖｅ２ｍｉｎ＝４×ｓｉｎ（ｅｆ×π）／（ｅｆ×２π）
＝２×ｓｉｎ（ｅｆ×π）／（ｅｆ×π）
＝１．６５４                            ・・・（式１０３）
【０１０４】
これらを使って、最大ビーム速度（ｖｇ＿ｍａｘ）は、以下の式１０４により算出することができ、最小ビーム速度（ｖｇ＿ｍｉｎ）は、以下の式１０５により算出することができる。
【０１０５】
ｖｇ＿ｍａｘ＝ｖｇ＿ａｖｅ／ａｖｅ２ｍａｘ（ｍ／ｓ）  ・・・（式１０４）
ｖｇ＿ｍｉｎ＝ｖｇ＿ａｖｅ／ａｖｅ２ｍｉｎ（ｍ／ｓ）  ・・・（式１０５）
【０１０６】
次に、周波数に関して検討する。光学的な空間分解能（ｒｏ）は、以下の式１１１で算出されるものとする。空間分解能及び速度から決まる最大繰り返し周波数に関して計算すると、最大繰り返し周波数の最大値（ｆｏ＿ｍａｘ）は、以下の式１１２のようになる。また、最もビーム速度が遅いところでの最大繰り返し周波数（ｆｏ＿ｍｉｎ）は、以下の式１１３のようになる。
【０１０７】
ｒｏ＝０．６１×λ／ＮＡ  ・・・（式１１１）
ｆｏ＿ｍａｘ＝ｖｇ＿ｍａｘ／ｒｏ  ・・・（式１１２）
ｆｏ＿ｍｉｎ＝ｖｇ＿ｍｉｎ／ｒｏ  ・・・（式１１３）
【０１０８】
従って、検出器ＰＭＴの帯域幅（ｐｍｔ＿ｂｗ）は、以下の式１１４で表される不等式を満足しなくてはならない。
【０１０９】
ｐｍｔ＿ｂｗ≧ｆｏ＿ｍａｘ  ・・・（式１１４）
【０１１０】
一方、Ｘ方向サンプリング位置の間隔を等間隔とした場合、（ｅｆ／ｓｆ）時間にＮｘ個のサンプルが生成されることとなるため、平均サンプリング周波数（ｆｓ＿ａｖｅ）は、以下の式１１５のようになる。従って、最大サンプリング周波数（ｆｓ＿ｍａｘ）は、平均サンプリング周波数を平均速度と最大速度の比（ａｖｅ２ｍａｘ）で除した、以下の式１１６のようになる。同様にして、最小サンプリング周波数（ｆｓ＿ｍｉｎ）は、平均サンプリング周波数を平均速度と最小速度の比（ａｖｅ２ｍｉｎ）で除した、以下の式１１７のようになる。
【０１１１】
ｆｓ＿ａｖｅ＝Ｎｘ／（ｅｆ／ｓｆ）（ｓａｍｐｌｅ／ｓ）  ・・・（式１１５）
ｆｓ＿ｍａｘ＝Ｎｘ／（ｅｆ／ｓｆ）／ａｖｅ２ｍａｘ  ・・・（式１１６）
ｆｓ＿ｍｉｎ＝Ｎｘ／（ｅｆ／ｓｆ）／ａｖｅ２ｍｉｎ  ・・・（式１１７）
【０１１２】
従って、サンプリング定理を考慮すると、最小サンプリング周波数（ｆｓ＿ｍｉｎ）は、以下の式１１８で表される関係を満たせばよい。
【０１１３】
ｆｓ＿ｍｉｎ≧２×ｐｍｔ＿ｂｗ  ・・・（式１１８）
【０１１４】
以上の検討に基づき、式１１１で表される光学的分解能ｒｏを実現するために求められるスペックについて考える。
まず、サンプリング定理に基づいて、光学的分解能の２倍以上の空間周波数でサンプリングすることが求められる。簡単のために、光学的分解能の４倍でサンプリングすると仮定すると、スキャン幅ｓｗは、以下の式１２１で表される値となる。
【０１１５】
ｓｗ＝Ｎｘ×（ｒｏ／４）
＝５１２×０．６１×（５００×１０−９／０．９／４）
＝４３．４（μｍ）                                ・・・（式１２１）
【０１１６】
また、検出器ＰＭＴの帯域幅（ｐｍｔ＿ｂｗ）は、上記式１１４より、以下の式１２２で表される値となる。
【０１１７】
ｐｍｔ＿ｂｗ≧ｆｏ＿ｍａｘ＝ｖｇ＿ｍａｘ／ｒｏ
＝ｖｇ＿ａｖｅ／ａｖｅ２ｍａｘ／ｒｏ
＝ｓｗ×ｓｆ／ｅｆ／ａｖｅ２ｍａｘ／ｒｏ
＝３．６２（ＭＨｚ）        ・・・（式１２２）
【０１１８】
ここで、最大サンプリング周波数（ｆｓ＿ｍａｘ）は、上記式１０２及び式１１６より、以下の式１２３で表される値となり、最小サンプリング周波数（ｆｓ＿ｍｉｎ）は、上記式１１７より、以下の式１２４で表される値となる。
【０１１９】
ｆｓ＿ｍａｘ＝５１２×３×７．８×１０３／０．８２７０
＝１４．５（ＭＨｚ）                      ・・・（式１２３）
ｆｓ＿ｍｉｎ＝５１２×３×７．８×１０３／１．６５４０
＝７．２４（ＭＨｚ）                      ・・・（式１２４）
【０１２０】
従って、算出したこれらの値を、上記式１１８に代入すると、式１１８で表されるサンプリング定理に関する条件が満たされていることがわかる。
【０１２１】
上記具体例により得られた結果について着目する。
上記算出結果に基づく制御を実現しようとした場合、３．６２ＭＨｚ以下の周波数は１００％通過し、３．６２ＭＨｚ以上の周波数は全く通過しないようなローパスフィルタ（ＬＰＦ）を利用することが必要となる。ここで、より確実な制御を行うために、以下に示した２つの対策のいずれかを行うことが可能である。
【０１２２】
［対策１］信号の帯域幅を少し小さくすることを目的として、検出器の帯域幅を低くするか、又は、ＬＰＦで高域をカットするなどして、３．０ＭＨｚの帯域を使用する。また、スキャン幅をその分だけ狭くした４３．４×３／３．６２＝３６（μｍ）の範囲を光学的分解能で観察する。
【０１２３】
［対策２］ピクセル数Ｎｘ＝５１２を少し大きく設定する。例えば、Ｎｘ＝６００（ｐｉｘｅｌ）と設定した場合、最小サンプリング周波数（ｆｓ＿ｍｉｎ）＝８．４９（ＭＨｚ）となる。この場合には、３．６２ＭＨｚの帯域幅を持つ検出器と、カットオフ周波数４ＭＨｚのＬＰＦを組み合わせることで、４３．４（μｍ）の範囲を光学的分解能で観察可能な顕微鏡システムを実現することができる。
【０１２４】
以上説明した具体例では、スキャン周波数が７．８０（ｋＨｚ）と高速であり、速度や回転角度が三角関数に従って変動するガルバノミラーを用いた場合を例に挙げて、詳細に検討を行った。しかしながら、高速画像取得を考慮しなくともよい場合には、以下に示すような一般的なガルバノミラーを用いてもよい。以下に示すような一般的なガルバノミラーは、追従速度に限界はあるが入力電圧通りに角度が追従するデバイスであるため、有効走査範囲で速度が一定になるように制御を行うことが可能である。
【０１２５】
・Ｘ方向ガルバノミラー：スキャン周波数  ｓｆ＝７８０（Ｈｚ）
走査効率  ｅｆ＝０．３３３３３
・Ｘ方向のピクセル数  Ｎｘ＝５１２（ｐｉｘｅｌ）
・対物レンズの開口数  ＮＡ＝０．９
・レーザ光源の波長  λ＝５００（ｎｍ）
【０１２６】
この場合、ビームのスキャン幅をｓｗ（ｍ）とすると、ビーム速度（ｖｇ）は一定であり、以下の式１３１のように表すことができる。
【０１２７】
ｖｇ＝ｓｗ／（ｅｆ／ｓｆ）
＝（ｓｗ×ｓｆ）／ｅｆ  （ｍ／ｓ）  ・・・（式１３１）
【０１２８】
また、光学的な空間分解能ｒｏは、上記式１１１で表されるため、最大繰り返し周波数（ｆｏ）は、以下の式１３２で表されることとなる。従って、検出器ＰＭＴの帯域幅（ｐｍｔ＿ｂｗ）は、以下の式１３３で表される条件を満たすことが求められる。
【０１２９】
ｆｏ＝ｖｇ／ｒｏ  ・・・（式１３２）
ｐｍｔ＿ｂｗ≧ｆｏ  ・・・（式１３３）
【０１３０】
ここで、Ｘ方向サンプリング位置の間隔を等間隔とした場合、（ｅｆ／ｓｆ）時間にＮｘ個のサンプルが生成されることとなるため、サンプリング周波数（ｆｓ）は、以下の式１３４で表される値となる。
【０１３１】
ｆｓ＝Ｎｘ／（ｅｆ／ｓｆ）  （ｓａｍｐｌｅ／ｓ）  ・・・（式１３４）
【０１３２】
従って、サンプリング定理を満たすためには、サンプリング周波数（ｆｓ）は、以下の式１３５で表される条件を満たせばよい。
【０１３３】
ｆｓ≧２×ｐｍｔ＿ｂｗ  ・・・（式１３５）
【０１３４】
一般的なガルバノミラーを用いて、上記式１１１で表される光学的分解能ｒｏを実現するために求められるスペックについて考える。
まず、サンプリング定理に基づいて、光学的分解能の２倍以上の空間周波数でサンプリングすることが求められる。簡単のために、光学的分解能の４倍でサンプリングすると仮定すると、スキャン幅ｓｗは、上記式１２１と同様にして、ｓｗ＝４３．４（μｍ）となる。
【０１３５】
また、検出器ＰＭＴの帯域幅（ｐｍｔ＿ｂｗ）は、上記式１１４より、以下の式１３６で表される値となる。
【０１３６】
ｐｍｔ＿ｂｗ≧ｆｏ＝ｖｇ／ｒｏ
＝ｓｗ×ｓｆ／ｅｆ／ｒｏ
＝０．３（ＭＨｚ）        ・・・（式１３６）
【０１３７】
このとき、サンプリング周波数ｆｓは、上記式１３４より、ｆｓ＝５１２×３×７．８×１０２＝１．２（ＭＨｚ）となり、一定値となる。この値は、検出器ＰＭＴの帯域幅の４倍であるため、例えば検出器の帯域幅の１．５倍に相当する０．４５ＭＨｚのカットオフ周波数を持つＬＰＦを用いることで、４３．４（μｍ）の範囲を光学的分解能で観察可能な顕微鏡システムを実現することが可能となる。
【０１３８】
以上のように、サンプリング定理を満たすかどうかを判断基準にすることで、使用するガルバノミラーの特性に応じて、光学系の分解能を最大限に生かし、かつ、広範囲を観察するために求められる検出器ＰＭＴの帯域幅とＬＰＦのカットオフ周波数を特定することができる。
【０１３９】
また、上記説明では、Ｘ方向のスキャンについて例を挙げて詳細に説明したが、Ｙ方向のサンプリングについても同様に、スキャン幅ｓｗでピクセル数Ｎｙとして特定することができる。
【０１４０】
○Ｚ方向の取得間隔について
Ｚ方向の取得間隔については、用いる顕微鏡（例えば、共焦点顕微鏡や２光子励起顕微鏡）におけるＸＹ方向の分解能と、Ｚ方向の分解能との関係に着目することで、具体的に検討することが可能である。
【０１４１】
例えば、共焦点顕微鏡において、共焦点ピンホール半径と横方向分解能（すなわち、ＸＹ方向の分解能）との関係、及び、共焦点ピンホール半径と光軸方向分解能（すなわち、Ｚ方向の分解能）との関係を、具体的に測定することができる。このような測定結果から得られた知見によれば、着目した共焦点顕微鏡では、Ｚ方向の分解能は、ＸＹ方向の分解能に対して約２倍の大きさとなることが明らかとなった。従って、ＸＹ方向の２倍のサンプリング間隔となるようにＺ方向の位置を変更すれば良いことがわかる。
【０１４２】
同様に、２光子励起顕微鏡についても、ＸＹ方向の分解能と、Ｚ方向の分解能との関係について着目したところ、ＸＹ方向の分解能は、Ｚ方向の分解能の約１／３となることが明らかになった。従って、着目した２光子励起顕微鏡では、ＸＹ方向の３倍のサンプリング間隔となるようにＺ方向の位置を変更すれば良いことがわかる。
【０１４３】
○時間軸に関する取得間隔について
続いて、時間的な分解能及び時間軸に関する取得間隔について、考える。
測定対象の最高移動速度がｖｓ（ｍ／ｓ）であるとする。光学的分解能は、上記式１１１で表されるようにｒｏ（ｍ）であるため、最高繰り返し周波数（ｆｔ＿ｍａｘ）は、以下の式１４１で表される値となる。
【０１４４】
ｆｔ＿ｍａｘ＝ｖｓ／ｒｏ  （Ｈｚ）  ・・・（式１４１）
【０１４５】
例えば図１２に示したように、ＸＹ方向にビーム（励起光）を走査して１枚の２次元画像を取得した後、焦点位置を移動させることで、Ｚ座標の異なる画像を生成するものとする。３次元の画像スタックを取得するのに要する時間をＴＸＹＺ（秒）とすると、ＸＹＺそれぞれの方向に関し３次元的に同じ座標の画像を取得する時間間隔が、ＴＸＹＺとなる。サンプリング周波数が最高繰り返し周波数の２倍以上である場合にサンプリング定理を満たすことができるため、以下の式１４２が成立すればよいこととなる。
【０１４６】
１／ＴＸＹＺ≧２×（ｖｓ／ｒｏ）  （Ｈｚ）  ・・・（式１４２）
【０１４７】
ここで、具体的な数値として、ＮＡ＝０．９、λ＝５００（ｎｍ）、ｒｏ＝３３９（ｎｍ）を用い、ＴＸＹＺとして、図１２を例に算出した４．６７（秒）という値を用いると、測定対象の最高移動速度ｖｓが、以下の式１４３で表される値であるものまでは、サンプリング定理を満たしながら測定を行うことが可能であることがわかる。
【０１４８】
ｖｓ＜ｒｏ／（２×ＴＸＹＺ）＝３６．２  （ｎｍ／ｓ）  ・・・（式１４３）
【０１４９】
また、ＴＸＹＺとして、図１３を例に算出した２．６７（秒）という値を用いると、測定対象の最高移動速度ｖｓが、以下の式１４４で表される値であるものまでは、サンプリング定理を満たしながら測定を行うことが可能であることがわかる。
【０１５０】
ｖｓ＜ｒｏ／（２×ＴＸＹＺ）＝６３．４  （ｎｍ／ｓ）  ・・・（式１４４）
【０１５１】
なお、例えば高速で変化する細胞組織等といった上記以上の移動速度を持つ対象を測定したい場合には、Ｚ座標を変えて取得する２次元画像の枚数を減らすことで対応することも可能である。例えば、ｖｓ＝１００（ｎｍ／ｓ）である対象を測定したい場合、ＴＸＹＺが約２／３になればよいので、Ｚ座標を変えて撮影する２次元画像の枚数を、図１２における具体例で設定した２０枚から１３枚に減らせば良いことになる。
【０１５２】
以上、サンプリング定理を満たすように画素の取得間隔を設定するための制御方法について、具体的な数値を挙げながら説明した。
なお、以上の具体例で挙げた設定値や各種の仮定はあくまでも一例であって、上記設定値や各種の仮定の内容が以上で例示したものに限定されるわけではない。従って、上記設定値や各種の仮定等については、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０１５３】
測定データ取得部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。測定データ取得部１０３は、顕微鏡２０により測定された拡大画像群の実体データ（画像データ）を、顕微鏡２０（より具体的には、顕微鏡２０に設けられた光電子増倍管等の検出器等）から取得する。顕微鏡２０から取得した拡大画像群の実体データは、例えば、以上説明したようなナイキストのサンプリング定理を満たす走査間隔で測定サンプルが走査されることで生成されたものである。
【０１５４】
測定データ取得部１０３は、顕微鏡２０から拡大画像群の実体データを取得すると、取得した画像データを、後述する測定データ補正部１０５に出力する。また、測定データ取得部１０３は、取得した画像データに、当該データを取得した日時等に関する時刻情報を関連付けて、履歴情報として後述する記憶部１１３に格納してもよい。
【０１５５】
測定データ補正部１０５は、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ等により実現される。測定データ補正部１０５は、測定データ取得部１０３から出力された拡大画像群の画像データについて、顕微鏡の走査方式に応じて、拡大画像群の位置を特定するための位置座標、及び、拡大画像群の取得時間の少なくとも何れかを補正する。
【０１５６】
より詳細には、測定データ補正部１０５は、Ｘ方向、Ｙ方向及びＺ方向に関する位置座標を補正する際には、これらの座標軸の格子点間隔が一定となるように、顕微鏡の走査方式に応じて拡大画像群に対して補正を行う。また、測定データ補正部１０５は、拡大画像群の取得時間について補正を行う際には、拡大画像群を構成する画素の取得時間が同一となるように、顕微鏡の走査方式に応じて拡大画像群に対応する時間を補正する。
【０１５７】
測定データ補正部１０５がこのような補正を行うことにより、拡大画像群は、画像取得時間が一致するとともに、画像を構成する各画素がＸＹＺの３つの座標軸からなる直交座標系にマッピングされた３次元の画像スタックとなる。また、このような３次元の画像スタックは、Ｎｘ×Ｎｙ×Ｎｚ個の仮想的な超並列光電子増倍管によって一定の時間間隔で取得された「４次元同期画像スタック」と一致することとなる。
【０１５８】
測定データ補正部１０５は、測定データに対して上記のような補正処理を行った後に、補正後の測定データ（補正後の拡大画像群の画像データ）を、後述する記憶部１１３や、情報処理装置１０の外部に存在する各種機器に設けられた記憶部等に格納する。以下で詳述するような画像の取得時間に関する補正処理や位置座標に関する補正処理は、測定データ取得部１０３が取得した測定データに対して、一度行われれば良い処理である。従って、測定データ補正部１０５が補正後の測定データを上記のような記憶部に格納することで、後述する立体視用画像データ生成部１０９が立体視用画像データを生成しようとするたびに、測定データに対して補正処理を行う手間を省くことが可能となり、演算負荷の軽減や処理の効率化を図ることが可能となる。
【０１５９】
この測定データ補正部１０５は、図１７に示したように、測定時間補正部１２１及び位置座標補正部１２３を更に備える。
【０１６０】
測定時間補正部１２１は、例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等により実現される。測定時間補正部１２１は、拡大画像群を構成する画素の取得時間が同一となるように、顕微鏡の走査方式に応じて拡大画像群に対応する時間を補正する。
【０１６１】
Ｚ方向の走査方式が、図１２に示したような間欠移動方式であっても、図１３に示したような連続移動方式であったとしても、同一のＸＹ座標を持ちＺ座標のみが異なる画素は、同一の３次元スタックに含まれていたとしても、輝度を取得した時間が異なっている。例として図１２に示した間欠移動方式を考えると、隣接するＺ座標を持つ画素の取得時間は、Ｔｅｆｆ＋Ｔｂａｃｋだけ異なっている。そのため、１番目のラインとＮｙ番目のラインとでは、（Ｔｅｆｆ＋Ｔｂａｃｋ）×Ｎｙだけ取得時間が異なることとなる。
【０１６２】
そこで、測定時間補正部１２１は、この画素の輝度情報の取得時間を一致させる、以下で説明するような処理を実施する。一具体例として、同じ３次元スタックに含まれている全ての画素の取得時間を、最後に取得された画素の取得時間に補正する場合を考える。
【０１６３】
まず、ＸＹＺそれぞれの方向のピクセル数を、Ｎｘ、Ｎｙ、Ｎｚとする。これらのピクセル数に関し、ＮｘはＸ方向のサンプリング数に対応しており、ＮｙはＹ方向のライン数に対応しており、ＮｚはＺ方向の取得枚数に対応している。ここで、それぞれの方向におけるピクセルの位置を特定するために、以下に示したようなパラメータを設定する。
【０１６４】
Ｎｉ：Ｘ方向のピクセル座標（ｉ＝１〜Ｎｘ）
Ｎｊ：Ｙ方向のピクセル座標（ｊ＝１〜Ｎｙ）
Ｎｋ：Ｚ方向のピクセル座標（ｋ＝１〜Ｎｚ）
【０１６５】
次に、全てのピクセルに対して、取得順に強度取得番号ｎが付与されているものとする。この際に、ｔ（ｎ）がｎ番目のサンプリング時間を表しており、Ｉ（ｎ）がｎ番目に取得された画素の強度（輝度値）を表している。また、Ｘ−Ｙ画像のピクセル数をＮ２Ｄと表し、Ｘ−Ｙ−Ｚ画像のピクセル数をＮ３Ｄと表すこととする。
【０１６６】
ｎ：強度取得番号
ｔ（ｎ）：ｎ番目のサンプリング時間
Ｉ（ｎ）：ｎ番目に取得された画素の強度
Ｎ２Ｄ：Ｘ−Ｙ画像ピクセル数（Ｎｘ×Ｎｙ）
Ｎ３Ｄ：Ｘ−Ｙ−Ｚ画像ピクセル数（Ｎ２Ｄ×Ｎｚ）
【０１６７】
ここで、Ｘ−Ｙ−Ｚ座標のサンプリング位置は一定であると仮定する。すなわち、各座標のサンプリング位置について、以下の式１５１〜式１５３が成立しているものとする。
【０１６８】
Ｘｉ＝ｘ（ｎ＋Ｎ２Ｄ）＝ｘ（ｎ）  ・・・（式１５１）
Ｙｊ＝ｙ（ｎ＋Ｎ２Ｄ）＝ｙ（ｎ）  ・・・（式１５２）
Ｚｋ＝ｚ（ｎ＋Ｎ３Ｄ）＝ｚ（ｎ）  ・・・（式１５３）
【０１６９】
ここで、図１８に示したように、ｍ枚目の２次元画像の所得時間をＴ（ｍ）とし、座標（Ｘｉ，Ｙｊ，Ｚｋ）の強度を取得したＴ（ｍ）の近傍に位置する２つの時間ｔ（ｎ）とｔ（ｎ＋Ｎ３Ｄ）とが、ｔ（ｎ）＜Ｔ（ｍ）＜ｔ（ｎ＋Ｎ３Ｄ）という関係を満たしているものとする。このとき、測定時間補正部１２１は、Ｉ（ｎ）とＩ（ｎ＋Ｎ３Ｄ）とを利用して、以下の式１５４に基づく線形補間による演算を実施することで、簡易的にＩ（Ｔ（ｍ））を算出し、測定時間の補正を行うことができる。
【０１７０】
Ｉ（Ｘｉ，Ｙｊ，Ｚｋ，Ｔ（ｍ））＝Ｉ（ｎ）＋（Ｉ（ｎ＋Ｎ３Ｄ）−Ｉ（ｎ））×（Ｔ（ｍ）−ｔ（ｎ））／（ｔ（ｎ＋Ｎ３Ｄ）−ｔ（ｎ））  ・・・（式１５４）
【０１７１】
また、上記のような簡易的な方法ではなく、ナイキストのサンプリング定理に基づいて補間を行うために、求められる時間分解能までアップコンバートした後、ＬＰＦを通してインターポレーション（内挿）し、適切なサンプリング点を選択することも可能である。
【０１７２】
上記手順を具体的に説明するための図を、図１９に示す。図１９において、左側に示したグラフ図が時間軸上の波形を表しており、右側に示した図が、左側に示した時間軸上の波形に対応した周波数軸上のスペクトルを表している。
【０１７３】
図１９において、サンプリング周波数Ｆｓでサンプリングされた離散的な信号（ａ）のサンプリング点とサンプリング点との間に、振幅０のサンプリング点を挿入したものが、（ｂ）に示したものである。このようなサンプリング点の補間処理を、アップコンバートという。
【０１７４】
この際、ナイキストのサンプリング定理を満たすように元のアナログ信号においてＦｓ／２以上の周波数成分が抑圧されているので、（ａ）の周波数スペクトルにおいてＦｓ／２における値はゼロになっている。
【０１７５】
アップコンバートされた状態を示している（ｂ）の周波数スペクトルでは、（ａ）の周波数スペクトルと比べて横軸の周波数のスケールが２倍に拡がっており、（ａ）と同じスペクトルが２回繰り返されていることがわかる。
【０１７６】
ここで、Ｆｓ／２以上の周波数成分をカットするＬＰＦを通すと、（ｃ）の時間軸上の波形に示したように、振幅０であったサンプリング点に対し、隣接するサンプリング点の中間的な振幅が与えられることとなる。このような一連の処理が行われることで、インターポレーションが完了する。
【０１７７】
図１９に示した例では、説明を解り易くするために、２倍にアップコンバートする場合について説明したが、測定時間補正部１２１は、実際の補間処理においては、（Ｔ（ｍ）−ｔ（ｎ））／（ｔ（ｎ＋Ｎ３Ｄ）−ｔ（ｎ））に近い有理数ｍ／ｎを選択し、ｎ倍にアップコンバートした上でインターポレーションした後、ｍ番目のサンプリング点を選択してＩ（Ｘｉ，Ｙｊ，Ｚｋ，Ｔ（ｍ））として出力すればよい。
【０１７８】
測定時間補正部１２１は、以上説明したような処理を実施することで、測定された画像データに対して、測定時間の補正を行うことができる。また、上記説明では、最後に取得された画素の取得時間に補正する場合について説明を行ったが、以上のような補正処理は、任意の取得時間に補正する場合についても行うことが可能である。従って、測定時間補正部１２１は、ある一つの時間に着目して補正処理を実施してもよく、３次元画像スタックにＮｚ枚の２次元画像が存在している場合に、Ｎｚ枚の２次元画像が全て同一の取得時間における画素値を有するように補正処理を実施してもよい。
【０１７９】
再び図１７に戻って、位置座標補正部１２３について説明する。
位置座標補正部１２３は、例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等により実現される。位置座標補正部１２３は、Ｘ方向、Ｙ方向及びＺ方向に関する位置座標の格子点間隔が一定となるように、顕微鏡の走査方式に応じて拡大画像群に対して補正を行う。
【０１８０】
以下の説明において、ｍｏｄ（ｉ，ｊ）という表記を、整数ｉを整数ｊで割ったときの余りを表すものとし、ｆｌｏｏｒ（ｆ）という表記を、有理数ｆの小数点以下を切り捨てたものを表すものとする。このような表記を利用し、画像取得番号ｎと、Ｘｉ、Ｙｊ、Ｚｋの各座標の添え字ｉ、ｊ、ｋの関係を表すと、以下の式１６１〜式１６３のように表すことができる。
【０１８１】
ｉ＝ｍｏｄ（ｎ，Ｎｘ）  ・・・（式１６１）
ｊ＝ｆｌｏｏｒ（ｍｏｄ（ｎ，（Ｎｘ×Ｎｙ））／Ｎｘ）  ・・・（式１６２）
ｋ＝ｆｌｏｏｒ（ｎ／（Ｎｘ×Ｎｙ×Ｎｚ））  ・・・（式１６３）
【０１８２】
ここで、１ピクセル分のＸ座標の差をΔｘと表記することとすると、Ｘ座標Ｘｉはｉのみによって決まり、以下の式１６４のように表すことができる。
【０１８３】
Ｘｉ＝Δｘ×ｉ  ・・・（式１６４）
【０１８４】
図９に示したような基本的なラスター・スキャン方式の場合、Ｘ方向に励起光が動いて画像を取得している間は、Ｙ方向ガルバノミラーはＹ方向には動いていないため、Ｙ座標Ｙｊはｊのみによって決まることとなる。この場合、１ライン分のＹ座標の差をΔｙと表記することとすると、Ｙ座標Ｙｊは、以下の式１６５のように表すことができる。
【０１８５】
Ｙｊ＝Δｙ×ｊ  ・・・（式１６５）
【０１８６】
また、図１２に示したように、Ｚ方向に間欠移動するような走査方式を顕微鏡が採用している場合には、ＸＹ方向に励起光が動いて画像を取得している間はＺ方向の位置が変化しないため、Ｚ座標Ｚｋはｋのみによって決まることとなる。１フレーム分のＺ座標の差をΔｚと表記することとすると、Ｚ座標Ｚｋは、以下の式１６６のように表すことができる。
【０１８７】
Ｚｋ＝Δｚ×ｋ  ・・・（式１６６）
【０１８８】
このように、図９の基本的なラスター・スキャン方式と、図１２のＺ方向間欠移動方式を組み合わせた走査方式となるように顕微鏡が制御されている場合には、Ｘｉ，Ｙｊ，Ｚｋの各座標は、それぞれ対応するｉ，ｊ，ｋのみによって決定する。従って、このような走査方式により測定を行っている顕微鏡２０により取得された全ての画素は、ＸＹＺの直交座標空間に存在していることとなる。
【０１８９】
しかしながら、顕微鏡２０が、図１０に示したようなラスター・スキャン方式や、図１１に示したようなジグザグ・スキャン方式により制御されていたり、図１３に示したようなＺ方向連続移動方式により制御されていたりした場合、画像を構成する各画素は、直交座標空間に乗らなくなってしまい、その後の画像表示処理に影響が出てしまう。
【０１９０】
従って、本実施形態に係る位置座標補正部１２３は、以上のようなサンプルの縦方向、横方向及び奥行き方向の少なくとも何れか２つを連続的に変化させながらサンプルを走査する方式により顕微鏡が制御されている場合であっても、取得された各画素を直交座標空間に乗せるように位置座標を補正する。
【０１９１】
以下の説明は、図２０を参照しながら行うものとし、直交座標系での座標をＸｉ，Ｙｊ，Ｚｋと表記し、直交していない座標系での座標をＸ’ｉ，Ｙ’ｊ，Ｚ’ｋと表記することとする。
【０１９２】
図１０に示したラスター・スキャン方式と、図１２に示したＺ方向間欠移動方式を組み合わせた走査方式である場合、Ｘ座標及びＺ座標は、それぞれｉ及びｋのみによって決まるため、上記Ｘｉ及びＺｋのように表記することができる。しかしながら、Ｙ座標は、ｊだけでなくｉにも依存しているため、１ライン分のＹ座標の差をΔｙと表記することとすると、Ｙ座標Ｙ’ｊは、以下の式１７１のように表すことができる。
【０１９３】
Ｙ’ｊ＝Δｙ×ｊ＋δ×（ｉ／Ｎｘ）  ・・・（式１７１）
【０１９４】
ここで、上記式１７１において、δはｊ＝０におけるＹ’ｊとｊ＝Ｎｙ−１におけるＹ’ｊの差である。このとき、Ｘ軸とＹ軸とは直交していないため、Ｘ軸と直交しているＹ軸上の座標をＹｊと表記することとすると、図２０に示したように、Ｙ’ｊ−１＜Ｙｊ＜Ｙ’ｊという関係が成立する。従って、以下の式１７２に示したような演算を行って補間処理を行うことで、着目している画素を直交座標系に乗せることができる。
【０１９５】
Ｉ（Ｘｉ，Ｙｊ，Ｚｋ，Ｔ（ｍ））
＝Ｉ（Ｘｉ，Ｙ’ｊ−１，Ｚｋ，Ｔ（ｍ））＋（Ｉ（Ｘｉ，Ｙ’ｊ，Ｚｋ，Ｔ（ｍ））
−Ｉ（Ｘｉ，Ｙ’ｊ−１，Ｚｋ，Ｔ（ｍ））×（Ｙｊ−Ｙ’ｊ−１）／（Ｙ’ｊ−Ｙ’ｊ−１）
・・・（式１７２）
【０１９６】
ここで、上記式１７２において、Ｉ（Ｘｉ，Ｙ’ｊ，Ｚｋ，Ｔ（ｍ））は、測定時間補正部１２１により時間軸の補正が行われた後の画素の強度である。
【０１９７】
Ｘ軸と直交するＹ軸上の座標Ｙｊは任意に定めることができるが、例えば、図９に示した走査方法で画像を取得した場合と同じ座標をＹｊとして使用することが便利である。例えばｉ＝ｊ＝０でＸ０＝０となる左上端のＹ座標Ｙ０＝Ｙ’０＝０を基準にすることにすれば、１ライン分のＹ座標の差Δｙを使って、Ｙ座標を上記式１６５のように表記することが可能となる。
【０１９８】
ここで、上記式１６５及び式１７１を用いると、以下の式１７３で表される関係が成立することがわかる。従って、下記式１７３を用いて上記式１７２を整理すると、以下の式１７４を得ることができる。
【０１９９】
（Ｙｊ−Ｙ’ｊ−１）／（Ｙ’ｊ−Ｙ’ｊ−１）＝（Δｙ−δｙ×（ｉ／Ｎｘ））／Δｙ
・・・（式１７３）
Ｉ（Ｘｉ，Ｙｊ，Ｚｋ，Ｔ（ｍ））
＝Ｉ（Ｘｉ，Ｙ’ｊ−１，Ｚｋ，Ｔ（ｍ））
＋（Ｉ（Ｘｉ，Ｙ’ｊ，Ｚｋ，Ｔ（ｍ））−Ｉ（Ｘｉ，Ｙ’ｊ−１，Ｚｋ，Ｔ（ｍ）））
×（Δｙ−δｙ×（ｉ／Ｎｘ））／Δｙ
・・・（式１７４）
【０２００】
なお、上記式１７４に示した演算式は線形補間を利用した演算式であるが、上記のような方法ではなく、ナイキストのサンプリング定理に基づいて補間を行うために、求められる分解能までアップコンバートした後、ＬＰＦを通してインターポレーション（内挿）し、適切なサンプリング点を選択することも可能である。
【０２０１】
Ｙ方向のサンプリング間隔Δｙが、ナイキストのサンプリング定理を満たすように十分に小さければ、インターポレーションによる座標補正を行った結果は、図９に示した基本的なラスター・スキャン方式を使って得られるものと一致することとなる。
【０２０２】
図１１に示したジグザク・スキャン方式と、図１２に示したＺ方向間欠移動方式を組み合わせた走査方式が用いられている場合であっても、上記場合と同様にして、簡易的には線形補間を利用し、厳密にはインターポレーションを行うことで、Ｙ座標を補正して直交座標上の画素の値を計算することができる。
【０２０３】
この場合においても、Ｙ方向のサンプリング間隔Δｙが、ナイキストのサンプリング定理を満たすように十分に小さければ、インターポレーションによる座標補正を行った結果は、図９に示した基本的なラスター・スキャン方式を使って得られるものと一致することとなる。
【０２０４】
一方、Ｚ方向の移動方式として、図１３に示したＺ方向連続移動方式が用いられている場合には、先だって説明したように、Ｚ座標が画素ごとに異なることになる。従って、Ｚ方向連続移動方式が用いられている場合には、あるＺ座標において切り出したＸ−Ｙ平面の画像を算出することが求められる。
【０２０５】
Ｚ方向の移動速度が一定であれば、以上説明したようなＸＹ座標平面に関する処理により、ＸＹ座標が同じでＹ座標のみが異なる２つの画素Ｉ（Ｘｉ，Ｙｊ，Ｚ’ｋ−１）とＩ（Ｘｉ，Ｙｊ，Ｚ’ｋ）のＺ座標の間には、以下の式１８１で表される関係が成立する。
【０２０６】
Ｚ’ｋ−Ｚ’ｋ−１＝Δｚ  ・・・（式１８１）
【０２０７】
ここで、Ｚ’ｋは、ｉ，ｊ，ｋのいずれにも関係する値であるため、画像取得番号ｎ又はインデックスｉ，ｊ，ｋを用いて、以下の式１８２のように表すことができる。
【０２０８】
Ｚ’ｋ＝Δｚ×ｆｌｏｏｒ（ｎ／（Ｎｘ×Ｎｙ×Ｎｚ））
＋δｚ×ｍｏｄ（ｎ，Ｎｘ×Ｎｙ）／（Ｎｘ×Ｎｙ）
＝Δｚ×ｋ＋δｚ×（ｉ＋ｊ×Ｎｘ）／（Ｎｘ×Ｎｙ）      ・・・（式１８２）
【０２０９】
この場合、線形補間を利用した演算式は、上記式１７２と同様にして、以下の式１８３のように表記することができる。
【０２１０】
Ｉ（Ｘｉ，Ｙｊ，Ｚｋ，Ｔ（ｍ））
＝Ｉ（Ｘｉ，Ｙｊ，Ｚ’ｋ，Ｔ（ｍ））
＋（Ｉ（Ｘｉ，Ｙｊ，Ｚ’ｋ＋１，Ｔ（ｍ））−Ｉ（Ｘｉ，Ｙｊ，Ｚ’ｋ，Ｔ（ｍ）））
×（Ｚｋ−Ｚ’ｋ−１）／（Ｚ’ｋ−Ｚ’ｋ−１）      ・・・（式１８３）
【０２１１】
上記式１８３に対して、上記式１８２を代入することで、線形補間に基づく座標補正演算式を算出することができる。この場合にも、Ｙ座標の場合と同様に、更に厳密に補間を行うためには、図１９で説明したようなアップコンバートしてからインターポレーションを行う処理を実施する。
【０２１２】
この場合においても、Ｚ方向のサンプリング間隔Δｚが、ナイキストのサンプリング定理を満たすように十分に小さければ、インターポレーションによる座標補正を行った結果は、図１２に示したＺ方向間欠移動方式を使って得られるものと一致することとなる。
【０２１３】
再び図１６に戻って、表示領域設定部１０７について説明する。
表示領域設定部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力装置、通信装置等により実現される。表示領域設定部１０７は、ユーザがキーボード、マウス、タッチパネル等の入力装置に対して行った操作（ユーザ操作）に応じて、３Ｄ表示装置３０等の表示装置の表示画面に表示される測定データの表示領域を設定する。
【０２１４】
ユーザは、上記入力装置を介して、表示画面に表示される測定サンプルの測定データの視点を平面内で移動させたり、拡大又は縮小させたり、２次元平面内で回転させたり、立体的に回転させたり、表示される測定サンプルの奥行き位置を変更させたりする。
【０２１５】
表示領域設定部１０７は、このようなユーザ操作が入力装置になされた場合に、入力されたユーザ操作に関する情報を特定し、対応するユーザ操作によって表示画面に表示されるべき３次元画像スタックがどの部分であるのかを判断する。表示領域設定部１０７は、表示画面に表示されるべき画像スタックの領域（表示領域）を特定すると、特定した表示領域に関する情報を後述する立体視用画像データ生成部１０９に出力する。これにより、後述する立体視用画像データ生成部１０９は、ユーザの所望する立体視用画像データを生成して、後述する立体視用画像データ出力部１１１に出力する。
【０２１６】
立体視画像生成部の一例である立体視用画像データ生成部１０９は、例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等により実現される。立体視用画像データ生成部１０９は、測定データ補正部１０５により生成された補正後の画像データ群に対して視差を付与することで、拡大画像群の立体視画像（両眼立体視用の画像である右眼用画像及び左眼用画像）を生成する。測定データ補正部１０５により生成された補正後の画像データ群は、上述のように例えば記憶部１１３等に格納されている。そこで、立体視用画像データ生成部１０９は、記憶部１１３等から補正後の画像データ群を取得して、拡大画像群の立体視画像を生成する。立体視用画像データ生成部１０９は、補正後の画像データ群を利用して立体視画像を静止画として生成することも可能であり、補正後の画像データ群の時間軸に関する情報を利用して、立体視画像を動画像として生成することも可能である。
【０２１７】
本実施形態に係る立体視用画像データ生成部１０９は、図２１に示したように、シフト量決定部１３１と、画像生成部１３３と、画質調整部１３５と、を更に備える。
【０２１８】
シフト量決定部１３１は、拡大画像群の生成条件や立体視用画像データの表示条件等に基づいて、図２２に例示したような方法で立体視用画像データを生成する際に用いられるシフト量ｄ’を決定する。以下、シフト量決定部１３１におけるシフト量ｄ’の決定方法について、詳細に説明する。
【０２１９】
測定データ補正部１０５による補正後の拡大画像群のドットピッチをｄｐＳ［ｍ］とすると、画像上での奥行きの広がりＺｓ［ｐｉｘｅｌ］と、実際の奥行きの広がりＺ［ｍ］とは、ＺＳ［ｐｉｘｅｌ］＝Ｚ［ｍ］／ｄｐＳという関係にある。一方で、立体表示の際に再現される奥行きＬｄ［ｍ］は、Ｌｄ＝ＬＳ・ｄｅ／（ｄｅ＋ｄ）という関係式で表される。ここで、ＬＳは視聴距離を表し、ｄｅは両眼間隔を表し、ｄは視差（手前側が正となるように定義される。）を表している。従って、撮像画像を表示したときの画角に合わせて、ステレオ画像を作成するためには、Ｚｓと同等となるシフト量ｄ’を設定すればよい。
【０２２０】
ここで、一番手前の対象画像の視差をｄｍａｘ、最奥の対象画像の視差をｄｍｉｎとすると、以下の式２０１が成立する。
【０２２１】
【数１】
2013058956.tif 000003
【０２２２】
ここで、上記式２０１において、ｄｐｄは、立体視用画像データが表示される３Ｄ表示装置３０のドットピッチを表している。上記式２０１より、ｄｍａｘとｄｍｉｎとの差分であるΔｄは、以下の式２０２で表され、Δｄをピクセル値で表記すると、以下の式２０３のようになる。
【０２２３】
【数２】
2013058956.tif 000004
【０２２４】
上記式２０３から、シフト量ｄ’［ｐｉｘｅｌ］は、以下の式２０４のように表すことができる。ここで、下記式２０４において、Ｎは拡大画像群の枚数を示している。
【０２２５】
【数３】
2013058956.tif 000005
【０２２６】
なお、以下に示した式２０５は、上記式２０４に式２０３を代入し、更にスケーリングパラメータｓ（通常は１とする。）を導入したものである。
【０２２７】
【数４】
2013058956.tif 000006
【０２２８】
本実施形態に係るシフト量決定部１３１は、上記式２０４又は式２０５に基づいてシフト量ｄ’を決定し、決定したシフト量ｄ’を後述する画像生成部１３３に出力する。
【０２２９】
なお、シフト量決定部１３１は、上記式２０４又は式２０５に関係するパラメータうち、以下に示すパラメータについては、以下のようにパラメータの値を設定してもよい。
【０２３０】
・３Ｄ表示装置が４６Ｖサイズ（１９２０ピクセル×１０８０ピクセル）のものである場合に、ドットピッチｄｐｄは０．０５３［ｍ］である。
・視聴距離ＬＳは、ディスプレイの高さＨの３倍である。
・両眼間隔ｄｅは、６．５ｃｍである。
【０２３１】
また、シフト量決定部１３１は、シフト量ｄ’を適宜定数倍してもよい。この場合、シフト量決定部１３１は、上記式２０５に含まれるスケーリングパラメータｓを適宜調整する。また、Δｄが快適な視差レンジを超える場合、シフト量決定部１３１は、シフト量ｄ’を縮小して、快適な視差範囲に収まるようにしてもよい。この場合についても、シフト量決定部１３１は、スケーリングパラメータｓを適宜調整する。詳細な説明は省略するが、快適な視差範囲は、想定視聴距離、画面サイズ等から求めることが可能である。例えば、４６Ｖ型ＴＶで快適に視聴できる範囲は、視聴距離１．７ｍでは、奥行きが０．５ｍ（手前）〜１．５ｍ（奥）であり、視差に置き換えると−５６画素（手前）〜５５画素（奥）である。
【０２３２】
なお、上述の説明では、シフト量決定部１３１は、画像の奥行き位置とずらし量との関係を、図２３Ａに示したように線型に設定している。そのため、奥行き方向に等間隔で順次位置を変えて撮像された＃１〜＃８の８枚の画像に対して、シフト量ｄ’だけ順次ずらしていく処理を実施している。この場合、シフト量決定部１３１が各画像に付与する視差は、Δｄを等分したものとなる。
【０２３３】
しかしながら、シフト量決定部１３１は、画像の奥行き位置とずらし量との関係を、図２３Ｂに示すように、非線型に設定してもよい。この場合、シフト量決定部１３１が各画像に付与する視差は、Δｄを非線型に分配したものとなる。本来、視差と奥行きの関係は非線型であるため、このように画像の奥行き位置とずらし量との関係が非線型に設定されることで、厳密に奥行きを再現することが可能となる。
【０２３４】
画像生成部１３３は、例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画像生成部１３３は、補正後の拡大画像群に対して視差を付与する処理を行って、一組の両眼立体視用の画像（右眼用画像及び左眼用画像）を生成する。この際、画像生成部１３３は、例えば図２２に示したように、基準位置の画像を中心とし、奥行き位置に応じて一組の画像スタックを左右逆方向にずらす処理を行うことで、３次元画像スタックに対して視差を付与する。その後、画像生成部１３３は、各画像群に対して画素位置毎に画素の加算平均処理を行って、右眼用画像ＳＲ及び左眼用画像ＳＬを生成する。
【０２３５】
図２２では、奥行き方向に等間隔に位置を変えて撮像された＃１〜＃８の８枚の画像を取り扱う例を示しており、＃４の画像を基準位置の画像としている。
【０２３６】
画像生成部１３３は、８枚の画像に対し、基準位置の画像（＃４の画像）を中心として、奥行き位置に応じた水平方向へのずらし処理を行って、左眼用画像群を構成する複数枚の画像を生成する。すなわち、画像生成部１３３は、基準位置の画像より手前側の画像（＃３〜＃１の画像）を奥行き位置に応じて水平方向の一の方向（例えば右方向）に順次ずらすと共に、基準位置の画像より奥側の画像（＃５〜＃８の画像）を奥行き位置に応じて水平方向の他の方向（例えば左方向）にずらす。
【０２３７】
この際に、画像生成部１３３は、基準位置の画像（＃４の画像）より手前側の画像を、順次、水平方向に、「＋ｄ’」だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も手前の画像（＃１）の画像は、水平方向に「＋３ｄ’」だけずれた状態となる。また、この場合、画像生成部１３３は、基準位置の画像（＃４の画像）より奥側の画像を、順次、水平方向に、「−ｄ’」だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も奥の画像（＃８）の画像は、水平方向に「−４ｄ’」だけずれた状態となる。ここで、「ｄ’」は、シフト量決定部１３１において、拡大画像群の撮像条件や両眼立体視画像の表示条件等に基づいて決定されるシフト量を示している。
【０２３８】
その後、画像生成部１３３は、ずらし処理が行われた左眼用画像群を構成する複数枚の画像（＃１〜＃８の画像）に対して、画素位置毎に画素（画素データ）の加算平均処理を行って、左眼用画像ＳＬ（＃１−＃８）を生成する。この場合、ずらし処理が行われていることから、画素位置によって、加算平均処理の対象となる画素の個数は１個〜８個のいずれかとなる。
【０２３９】
また、画像生成部１３３は、８枚の画像に対し、基準位置の画像（＃４の画像）を中心として、奥行き位置に応じた水平方向へのずらし処理を行って、右眼用画像群を構成する複数枚の画像を生成する。すなわち、画像生成部１３３は、基準位置の画像より手前側の画像（＃３〜＃１の画像）を奥行き位置に応じて水平方向の他の方向（例えば左方向）に順次ずらすと共に、基準位置の画像より奥側の画像（＃５〜＃８の画像）を奥行き位置に応じて水平方向の一の方向（例えば右方向）にずらす。このずらし処理は、上述の左眼用画像群を構成する複数枚の画像を生成する場合とは逆の方向への対称的なずらしを行う処理となる。
【０２４０】
この場合、画像生成部１３３は、基準位置の画像（＃４の画像）より手前側の画像を、順次、水平方向に、「−ｄ’」だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も手前の画像（＃１）の画像は、水平方向に「−３ｄ’」だけずれた状態となる。また、この場合、画像生成部１３３は、基準位置の画像（＃４の画像）より奥側の画像を、順次、水平方向に、「＋ｄ’」だけずらしていく。これにより、基準位置の画像（＃４の画像）に対して、最も奥の画像（＃８）の画像は、水平方向に「＋４ｄ’」だけずれた状態となる。
【０２４１】
そして、画像生成部１３３は、ずらし処理が行われた右眼用画像群を構成する複数枚の画像（＃１〜＃８の画像）に対して、画素位置毎に画素（画素データ）の加算平均処理を行って、右眼用画像ＳＲ（＃１−＃８）を生成する。この場合、ずらし処理が行われていることから、画素位置によって、加算平均処理の対象となる画素の個数は１個〜８個のいずれかとなる。
【０２４２】
以上のような処理により、図２２に示した例では、基準位置（手前側から４枚目）よりも手前に位置する画像は３Ｄ表示装置３０のモニタ表面から飛び出て見えるように設定されるとともに、奥にある画像はモニタ表面から引っ込んで見えるように設定される。
【０２４３】
なお、風景などの一般的な画像では、手前に物体が存在すると、この物体の奥に位置するものは陰になって見えない。そのため、一般的な画像を立体視表示する際には、上記のような物体間の奥行き位置関係を考慮して、陰になって見えないものを隠す処理（陰面処理）が実施される。しかしながら、蛍光顕微鏡によって取得された画像では、暗黒な３次元空間に蛍光体が浮かんでいるような画像となるため、陰になっているものをそのままユーザに見せてしまってもよい。つまり、蛍光顕微鏡により生成された拡大画像群の立体視用画像データを生成する際には、陰面処理を省略することが可能となる。
【０２４４】
以上のような処理が行われることにより、例えば図２４に示したように、６００μｍ×６００μｍの範囲を深さ２．５μｍの間隔で取得した２０枚の画像に基づいて、３Ｄ表示装置３０に６００ｍｍ×６００ｍｍ×３７２ｍｍの大きさで表示されるような立体視用画像データが生成されることとなる。
【０２４５】
以上のような処理で生成される立体視用画像データは、図２５の左側の図に示したように、３次元画像スタックを一番上から見る場合の立体視等画像データに対応している。
ここで、表示領域設定部１０７により、奥行き位置を変えることなく、表示領域をＸＹ平面内で平行移動させたり、ＸＹ平面内で回転させたり、ＸＹＺ空間内で回転させたりするようなユーザ操作が行われた旨が通知された場合を考える。このような場合には、画像生成部１３３は、以上のような処理で生成した３次元画像スタックが構成する直方体を、ＸＹ平面内で平行移動させたり、ＸＹ平面内で回転させたり、ＸＹＺ空間内で回転させたりして、ユーザ操作に対応する適切な立体視用画像データを生成することができる。
【０２４６】
また、奥行き位置を変更するためのユーザ操作（例えば、上から３枚目の深さに奥行き位置を変更する操作）が行われた旨が表示領域設定部１０７から通知された場合を考える。この場合、画像生成部１３３は、図２５の右側の図に示したように、３次元画像スタックの一番上に位置する画像及び上から２番目に位置する画像を削除して、３枚目〜８枚目の画像を用いた立体視用画像データを生成する。
【０２４７】
また、斜めから奥行き深さを変えて見るためのユーザ操作が行われた旨が表示領域設定部１０７から通知された場合を考える。この場合、画像生成部１３３は、図２６に示したように、３次元画像スタックが構成する直方体の一部をユーザ操作により指定された視線に適合するように切り取って、新たに立体視用画像データを生成する。
【０２４８】
このように、画像生成部１３３は、表示領域を変更するようなユーザ操作がなされていない場合には、３次元画像スタックを一番上から見た場合の立体視用画像データを生成するとともに、表示領域を変更するようなユーザ操作がなされた場合には、ユーザ操作に応じた立体視用画像データを、演算負荷を抑えながらリアルタイムに生成することができる。
【０２４９】
画像生成部１３３は、このようにして生成した立体視用画像データを、画質調整部１３５に出力する。
【０２５０】
画質調整部１３５は、例えば、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ等により実現される。画質調整部１３５は、画像生成部１３３により生成された右眼用画像及び左眼用画像に対して、コントラスト調整等の画質調整を実施する。その結果、右眼用画像及び左眼用画像からなる立体視用画像データは、画質調整部１３５によってダイナミック・レンジが広げられて、暗い画像が明るく調整されることとなる。これにより、画質調整部１３５は、立体画像の見やすさを向上させることができる。
【０２５１】
画質調整部１３５は、立体視用画像データの画質調整処理が終了すると、画質の調整された立体視用画像データを、立体視用画像データ出力部１１１に出力する。また、画質調整部１３５は、画質が調整された立体視用画像データを、後述する記憶部１１３や、情報処理装置１０の外部に存在する各種機器に設けられた記憶部等に格納してもよい。
【０２５２】
再び図１６に戻って、本実施形態に係る立体視用画像データ出力部１１１について説明する。
立体視画像出力部の一例である立体視用画像データ出力部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。立体視用画像データ出力部１１１は、立体視用画像データ生成部１０９により生成された立体視用画像データを、３Ｄ表示装置３０に出力する。
【０２５３】
ここで、立体視用画像データ出力部１１１は、ある時間における立体視画像用データのみを出力して、３Ｄ表示装置３０に静止画として立体視用画像データを表示させることが可能である。また、立体視用画像データ出力部１１１は、立体視用画像データにメタデータとして関連付けられている時間軸に関する情報を利用し、立体視用画像データを時間順に順次出力することで、３Ｄ表示装置３０に立体視用画像データを動画として表示させることも可能である。
【０２５４】
立体視用画像データ出力部１１１は、立体視用画像データを３Ｄ表示装置３０に出力する際に、フレーム・シーケンシャル表示方式に適合するように、右眼用画像及び左眼用画像を出力することができる。これにより、３Ｄ表示装置３０では、フルＨＤの高画質を維持したまま、左眼用の画像及び右眼用の画像を、正確にユーザの左右の眼に表示することができる。
【０２５５】
また、立体視用画像データ出力部１１１は、立体視用画像データを３Ｄ表示装置３０に出力する際に、左右分割方式や上下分割方式に適合するように、右眼用画像及び左眼用画像を出力することも可能である。
【０２５６】
立体視用画像データ出力部１１１が３Ｄ表示装置３０に対して立体視用画像データを出力することによって、３Ｄ表示装置３０のユーザは、蛍光顕微鏡によって取得された３次元の静止画像や動画像を、両眼立体視することが可能となる。
【０２５７】
これにより、ユーザは、表示されている視野内に存在する物体（例えば、細胞等）の３次元的な距離の変化を把握することができるため、物体（細胞等）が重なって表示された際に、これらが近くにあるのか遠くにあるのかを容易に判別することが可能となる。その結果、それぞれの細胞が近づいたり離れたりする時間的な変化の様子を直観的に把握できるようになるため、詳しい３次元解析に先立って、細胞間の相互作用や情報交換に関する知見を得ることができる。これにより、医学研究のスピードアップ等に大きく貢献することも可能となる。
【０２５８】
記憶部１１３は、例えば本実施形態に係る情報処理装置１０が備えるＲＡＭやストレージ装置等により実現される。この記憶部１１３には、例えば測定データ補正部１０５により生成された補正後の測定データが格納される。また、この記憶部１１３には、立体視用画像データ生成部１０９により生成された立体視用画像データ等が必要に応じて格納されてもよい。また、この記憶部１１３には、顕微鏡制御部１０１が顕微鏡２０を制御するために用いる各種のパラメータや制御プログラム等が格納されていてもよい。また、記憶部１１３には、情報処理装置１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が適宜格納される。この記憶部１１３は、本実施形態に係る情報処理装置１０が備える各処理部が、自由に読み書きできるように構成されている。
【０２５９】
なお、上記説明では、本実施形態に係る情報処理装置１０が、データ取得間隔の制御処理、測定データの位置座標の補正処理及び測定データの時間軸の補正処理の全てを実施する場合について説明した。しかしながら、これらの処理のうちいずれかの処理が行われていない場合であっても、意味のある効果が奏される場合がある。
【０２６０】
例えば、顕微鏡２０を制御するデバイスの性能が不足しており、ＸＹＺ空間と時間ｔの全てに対してナイキストのサンプリング定理を満たすことが困難な場合が生じうる。このような場合には、位置及び時間の補正処理を行った場合の計算誤差が大きくなり、画像ににじみ等が発生してしまう可能性が高くなるが、顕微鏡システムとしては成立させることができる。また、観察したい対象の動きが十分に遅く、時間補正処理を省略してもほとんど誤差が生じない場合も生じうる。
【０２６１】
更に、デバイスの性能が向上した場合には、図９に示したような基本的なラスター・スキャン方式と図１２に示したようなＺ方向間欠移動方式を組み合わせた場合にも、特別な制御を行うことなくナイキストのサンプリング定理を満たす取得間隔でサンプルを撮影可能となることも期待できる。そのような場合には、データ取得間隔の制御、位置座標の補正処理、時間軸の補正処理のいずれかを省略して３次元画像スタックを簡易的に得ることにして、立体視用画像データを生成するようにしてもよい。
【０２６２】
以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【０２６３】
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【０２６４】
＜第１変形例＞
上記顕微鏡制御部１０１、測定データ取得部１０３、測定データ補正部１０５、表示領域設定部１０７、立体視用画像データ生成部１０９、立体視用画像データ出力部１１１及び記憶部１１３の機能は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、１つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
【０２６５】
例えば図２７は、本実施形態に係る情報処理装置１０の機能が、顕微鏡２０、データ補正サーバ４０、画像管理サーバ５０、ユーザ操作端末６０及び画像生成サーバ７０に分散して実現されている場合における顕微鏡システムを図示している。
【０２６６】
この顕微鏡システムでは、顕微鏡２０により測定された測定データはデータ補正サーバ４０へと出力され、データ補正サーバ４０により補正処理が行われた後、インターネット等のネットワークを介して接続されている画像管理サーバ５０の記憶部に補正後の測定データが格納される。ユーザ操作端末６０から、ある測定サンプルについての拡大画像群を取得したい旨の要請が画像生成サーバ７０になされると、画像生成サーバ７０は、対応する画像データを画像管理サーバ５０から取得した後に、ユーザ操作に応じた立体視用画像データの生成処理を実施して、ユーザ操作端末６０に提供する。ユーザ操作端末６０は、画像生成サーバ７０から提供された立体視用画像データを３Ｄ表示装置３０に表示させることで、ユーザに測定サンプルの両眼立体視画像を提供する。
【０２６７】
このような顕微鏡システムにおいて、顕微鏡２０には、顕微鏡制御部２０１が設けられる。顕微鏡２０に実装されている顕微鏡制御部２０１は、顕微鏡２０を制御して、サンプリング定理を満たすような取得間隔で測定サンプルの拡大画像群を生成させる。この顕微鏡制御部２０１は、本実施形態に係る情報処理装置１０が備える顕微鏡制御部１０１と同様の構成を有し、同様の効果を奏するものであるため、詳細な説明は省略する。
【０２６８】
データ補正サーバ４０は、図２７に示したように、測定データ補正部４０１を主に備える。データ補正サーバ４０が備える測定データ補正部４０１は、補正後の画像データ群を画像管理サーバ５０の記憶部５０１に格納する以外は、本実施形態に係る情報処理装置１０が備える測定データ補正部１０５と同様の構成を有し、同様の効果を奏する。従って、以下では、詳細な説明は省略する。
【０２６９】
画像管理サーバ５０は、図２７に示したように、データ補正サーバ４０により補正処理が実施された後の画像データ群を格納する記憶部５０１を主に備える。画像管理サーバ５０は、インターネット等のネットワークを介して接続されている１又は複数の画像生成サーバ７０から画像データ群の提供を要請された場合に、要請のあった画像データ群を要請のあった画像生成サーバ７０に対して出力する。
【０２７０】
ユーザ操作端末６０は、図２７に示したように、立体視用画像データ取得部６０１と、表示領域設定部６０３と、表示制御部６０５と、を主に備える。
【０２７１】
立体視用画像データ取得部６０１は、ユーザから、ある測定サンプルの拡大画像群を表示するための操作がなされた場合、ネットワークを介して接続されている画像生成サーバ７０に対して、ユーザに指定されたサンプルの立体視用画像データの提供を要請する。画像生成サーバ７０から立体視用画像データが提供されると、立体視用画像データ取得部６０１は、提供されたデータを表示制御部６０５に出力して、３Ｄ表示装置３０に表示させる。
【０２７２】
本変形例に係る表示領域設定部６０３は、本実施形態に係る情報処理装置１０が備える表示領域設定部１０７と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
【０２７３】
表示制御部６０５は、ユーザ操作端末６０が備える３Ｄディスプレイ等の表示装置や、ユーザ操作端末６０の外部に設けられた３Ｄ表示装置３０における表示画面の表示制御を行う。より詳細には、表示制御部６０５は、立体視用画像データ取得部６０１から出力された立体視用画像データに基づいて、表示画面の表示制御を実施する。表示制御部６０５が立体視用画像データの表示画面への表示制御を行うことで、ユーザ操作端末６０のユーザは、測定サンプルの拡大画像群を立体画像として把握することが可能となる。
【０２７４】
画像生成サーバ７０は、図２７に示したように、立体視用画像データ生成部７０１を主に備える。画像生成サーバ７０が備える立体視用画像データ生成部７０１は、ユーザ操作端末６０からの要請に応じて画像管理サーバ５０から補正後の画像データ群を取得し、生成した立体視用画像データをユーザ操作端末６０に出力する以外は、本実施形態に係る情報処理装置１０が備える立体視用画像データ生成部１０９と同様の構成を有し、同様の効果を奏するものである。従って、以下では、詳細な説明は省略する。
【０２７５】
図２７に示したような構成とすることで、全てのオリジナル画像に対して１回だけ行われる定型的な補正処理と、何通りも行う可能性のある画像表示のための処理とを区別することが可能となり、処理の効率化を図ることが可能となる。
【０２７６】
＜情報処理方法について＞
続いて、図２８を参照しながら、本実施形態に係る情報処理装置により実施される情報処理方法の流れについて、簡単に説明する。図２８は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
【０２７７】
本実施形態に係る情報処理方法では、まず、測定データ取得部１０３が、顕微鏡２０が測定サンプルを撮像した測定データ群を顕微鏡２０から取得し（ステップＳ１０１）、取得したデータ群を測定データ補正部１０５に出力する。
【０２７８】
測定データ補正部１０５は、顕微鏡２０により測定された画像データ群に対して、顕微鏡の操作方式に応じた補正を実施して（ステップＳ１０３）、補正後の画像データ群を生成する。その後、測定データ補正部１０５は、補正後の画像データ群を、立体視用画像データ生成部１０９に出力する。
【０２７９】
立体視用画像データ生成部１０９は、測定データ補正部１０５により補正された画像データ群と、ユーザ操作に対応する表示領域設定情報とを利用して、立体視用画像データを生成する（ステップＳ１０５）。その後、立体視用画像データ生成部１０９は、生成した立体視用画像データを、立体視用画像データ出力部１１１に出力する。
【０２８０】
立体視用画像データ出力部１１１は、立体視用画像データ生成部１０９から出力された立体視用画像データを３Ｄ表示装置３０に出力する（ステップＳ１０７）。３Ｄ表示装置３０は、情報処理装置１０から出力された立体視用画像データを表示画面に表示することで、ユーザに測定サンプルの立体画像を提供することができる。
【０２８１】
（ハードウェア構成について）
次に、図２９を参照しながら、本開示の実施形態に係る情報処理装置１０のハードウェア構成について、詳細に説明する。図２９は、本開示の実施形態に係る情報処理装置１０のハードウェア構成を説明するためのブロック図である。
【０２８２】
情報処理装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０２８３】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
【０２８４】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
【０２８５】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０２８６】
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【０２８７】
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
【０２８８】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）または電子機器等であってもよい。
【０２８９】
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０２９０】
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
【０２９１】
以上、本開示の実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０２９２】
（まとめ）
以上説明したように、本開示に係る情報処理装置では、ナイキストのサンプリング定理を満たすように画像取得間隔を設定することで、画素の位置座標や時間軸の補正処理を実施した場合に、仮想的な撮像素子が直交座標空間上に画素の数だけ配置されて同時に撮影した場合と全く同じ４次元同期画像スタックを得ることができる。
【０２９３】
また、本開示に係る情報処理装置では、所望の大きさ・角度・視点・深さから見たときの３Ｄ画像を、演算負荷を増加させることなく生成することが可能であり、このような３Ｄ画像を３Ｄ表示装置に表示させることができる。また、このような３Ｄ画像の表示処理は、リアルタイムに実施することも可能である。
【０２９４】
また、本開示に係る情報処理装置では、補正後の４次元同期画像スタックを、各種のストレージ装置やメモリ等に格納することで、情報処理装置の構成を、補正処理と立体視用画像の生成処理の２つに明確に分類することが可能となる。これにより、情報処理装置の設計が容易になるとともに、保存する画像データの容量を抑制することが可能となる。
【０２９５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２９６】
なお、以下のような構成も本開示の技術的範囲に属する。
【０２９７】
（１）
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正部と、
補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成部と、
を備える、情報処理装置。
（２）
前記補正部は、前記位置座標の所定の座標軸の格子点間隔が一定となるように前記拡大画像群に対して補正を行う、（１）に記載の情報処理装置。
（３）
前記補正部は、前記拡大画像群を構成する画素の取得時間が同一となるように、前記顕微鏡の走査方式に応じて生成された前記拡大画像群に対応する時間を更に補正する、（１）又は（２）に記載の情報処理装置。
（４）
ユーザ操作に応じて、表示画面に表示される前記拡大画像群の表示領域を決定する表示領域決定部を更に備え、
前記立体視画像生成部は、決定された前記表示領域に関する前記立体視画像を生成する（１）〜（３）の何れか１つに記載の情報処理装置。
（５）
前記拡大画像群は、ナイキストのサンプリング定理を満たすサンプリング間隔で前記サンプルがサンプリングされることで生成されたものである、（１）〜（４）の何れか１つに記載の情報処理装置。
（６）
前記顕微鏡による前記サンプルの走査を制御する顕微鏡制御部を更に備え、
前記顕微鏡制御部は、ナイキストのサンプリング定理を満たすサンプリング間隔で前記サンプルをサンプリングするように前記顕微鏡を制御する、（１）〜（５）の何れか１つに記載の情報処理装置。
（７）
前記立体視画像生成部により生成された前記拡大画像群の立体視画像を出力する立体視画像出力部を更に備え、
前記立体視画像出力部は、前記立体視画像を当該立体視画像に対応する時間順に出力する、（１）〜（６）の何れか１つに記載の情報処理装置。
（８）
前記顕微鏡による前記サンプルの走査方式は、サンプルの縦方向、横方向及び奥行き方向の少なくとも何れか２つを連続的に変化させながら前記サンプルを走査する方式である、（１）〜（７）の何れか１つに記載の情報処理装置。
（９）
前記補正部による補正後の前記拡大画像群に対応する画像データが格納される記憶部を更に備え、
前記立体視画像生成部は、前記記憶部から取得した前記補正後の拡大画像群に対応する画像データを利用して、前記立体視画像を生成する、（１）〜（８）の何れか１つに記載の情報処理装置。
（１０）
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正することと、
補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成することと、
を含む、情報処理方法。
（１１）
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データ群を生成する顕微鏡からデータを取得可能なコンピュータに、
前記顕微鏡の走査方式に応じて、生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正機能と、
補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成機能と、
を実現させるためのプログラム。
（１２）
サンプルを縦方向、横方向及び奥行き方向に走査して、当該サンプルの拡大画像群に対応する画像データを生成する顕微鏡と、
前記顕微鏡の走査方式に応じて、前記顕微鏡により生成された前記拡大画像群の位置を特定するための位置座標を少なくとも補正する補正部、及び、補正後の前記画像データ群に対して視差を付与することで、前記拡大画像群の立体視画像を生成する立体視画像生成部を有する情報処理装置と、
を含む、顕微鏡システム。
【符号の説明】
【０２９８】
１    顕微鏡システム
１０    情報処理装置
２０    顕微鏡
３０    ３Ｄ表示装置
１０１    顕微鏡制御部
１０３    測定データ取得部
１０５    測定データ補正部
１０７    表示領域設定部
１０９    立体視用画像データ生成部
１１１    立体視用画像データ出力部
１１３    記憶部
【図１】
2013058956.tif 000007
【図２】
2013058956.tif 000008
【図３】
2013058956.tif 000009
【図４】
2013058956.tif 000010
【図５】
2013058956.tif 000011
【図６】
2013058956.tif 000012
【図７】
2013058956.tif 000013
【図８】
2013058956.tif 000014
【図９】
2013058956.tif 000015
【図１０】
2013058956.tif 000016
【図１１】
2013058956.tif 000017
【図１２】
2013058956.tif 000018
【図１３】
2013058956.tif 000019
【図１４】
2013058956.tif 000020
【図１５】
2013058956.tif 000021
【図１６】
2013058956.tif 000022
【図１７】
2013058956.tif 000023
【図１８】
2013058956.tif 000024
【図１９】
2013058956.tif 000025
【図２０】
2013058956.tif 000026
【図２１】
2013058956.tif 000027
【図２２】
2013058956.tif 000028
【図２３Ａ】
2013058956.tif 000029
【図２３Ｂ】
2013058956.tif 000030
【図２４】
2013058956.tif 000031
【図２５】
2013058956.tif 000032
【図２６】
2013058956.tif 000033
【図２７】
2013058956.tif 000034
【図２８】
2013058956.tif 000035
【図２９】
2013058956.tif 000036