(57)【特許請求の範囲】
【請求項１】
レーザ走査型顕微鏡装置における画像情報表示方法であって、
標本の二次元的な平面画像を参照画像として前記レーザ走査型顕微鏡装置により取得する取得ステップと、
前記参照画像上で関心領域を入力装置により選択する選択ステップと、
前記関心領域を前記レーザ走査型顕微鏡装置によりラインスキャンし、該ラインスキャンのスキャン方向に基づき、前記関心領域の情報を該関心領域の少なくとも１つの座標軸と共通の座標軸を有する情報表示画像として表示部に表示する第１の表示ステップと、
該第１の表示ステップにより表示された前記参照画像および前記情報表示画像のいずれか一の画像において前記関心領域の任意の注目位置を指示すると、他の画像において前記いずれか一の画像と共通する座標軸上の前記注目位置に対応する位置を特定する特定表示を表示部に表示する第２の表示ステップとを含む画像情報表示方法。
【請求項２】
前記参照画像の次元と前記情報表示画像の次元が互いに異なる請求項１に記載の画像情報表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報表示方法に関するものである。
【背景技術】
【０００２】
従来、３次元的な標本画像を生成する走査型顕微鏡装置が知られている（例えば、特許文献１参照。）。特許文献１に記載の走査型顕微鏡装置は、標本の２次元画像を積み重ねて３次元のリファレンス画像を取得し、リファレンス画像から輝度の高い部分を平面画像として表示し注目部位を指示する。そして、指示した注目部位のＺ位置移動コースデータおよびＺ位置移動速度データに従い、標本に対してレーザ光を２次元走査しながら対物レンズと標本とのＺ軸方向の相対位置を連続的に変化させることにより３次元的な標本画像を取得する。これにより、ＸＹＺ方向の全面をスキャンする場合と比較してスキャンにかかる時間を縮小し、レーザ光によるサンプルへのダメージを軽減するとともにサンプルの速い変化に対応したスキャンを実現している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の走査型顕微鏡装置は、リファレンス画像が３次元の画像であるのに対し注目部位を指示する画像が平面画像であるため、これらの画像間で位置情報の関連性を正確に把握することが難しいという問題がある。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、複数の画像間の位置情報の関連性を容易に把握することができる画像情報表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、レーザ走査型顕微鏡装置における画像情報表示方法であって、標本の二次元的な平面画像を参照画像として前記レーザ走査型顕微鏡装置により取得する取得ステップと、前記参照画像上で関心領域を入力装置により選択する選択ステップと、前記関心領域を前記レーザ走査型顕微鏡装置によりラインスキャンし、該ラインスキャンのスキャン方向に基づき、前記関心領域の情報を該関心領域の少なくとも１つの座標軸と共通の座標軸を有する情報表示画像として表示部に表示する第１の表示ステップと、該第１の表示ステップにより表示された前記参照画像および前記情報表示画像のいずれか一の画像において前記関心領域の任意の注目位置を指示すると、他の画像において前記いずれか一の画像と共通する座標軸上の前記注目位置に対応する位置を特定する特定表示を表示部に表示する第２の表示ステップとを含む画像情報表示方法を提供する。
【０００７】
本発明によれば、第１の表示ステップにより表示された参照画像および情報表示画像に対し、第２の表示ステップにより、参照画像上で関心領域の任意の注目位置を指示すると、情報表示画像において参照画像と共通する座標軸上の注目位置に対応する位置を特定する特定表示が表示され、一方、情報表示画像上で任意の注目位置が指示されると、参照画像において情報表示画像と共通する座標軸上の注目位置に対応する位置を特定する特定表示が表示される。
【０００８】
すなわち、第２の表示ステップにより、参照画像および情報表示画像のいずれか一の画像上で指示された注目位置に対し、他の画像における対応する位置が特定表示により共通の座標軸を基準に関連付けられて表示される。したがって、参照画像および情報表示画像間における関心領域の位置情報の関連性を容易に把握することができる。
【０００９】
上記発明においては、前記参照画像の次元と前記情報表示画像の次元が互いに異なることとしてもよい。
いずれか一の画像における注目位置と、他の画像における対応する対応する位置の特定表示とを互いに共有する共通の座標軸を基準に関連付けて表示することにより、次元が異なる画像どうしであっても関心領域の位置情報の関連性を的確に把握することができる。
【発明の効果】
【００１０】
本発明によれば、複数の画像間の位置情報の関連性を容易に把握することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像情報表示方法の画像情報表示工程を示すフローチャートである。
【図２】図１の画像情報表示方法により位置情報を互いに関連付けて表示するリファレンス画像と情報表示画像を示す図である。
【図３】ＸＹ軸のリファレンス画像を示す図である。
【図４】リファレンス画像上にフリーラインのＲＯＩを記述した様子を示す図である。
【図５】図４のＲＯＩの座標情報を示す図である。
【図６】本発明の一実施形態の第１の変形例に係る画像表示方法によりモニタ上に注目位置のプロファイルを表示した図である。
【図７】図６のリファレンス画像と注目位置の時間軸に対する輝度変化のプロファイルを示す図である。
【図８】本発明の一実施形態の第２の変形例に係る画像表示方法により画像情報を互いに関連付けて表示するリファレンス画像と情報表示画像を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態に係る画像情報表示方法について、図面を参照して説明する。
本実施形態に係る画像情報表示方法は、図１に示すように、標本のリファレンス画像（参照画像）およびリファレンス画像上で注目するＲＯＩ（関心領域）の情報を表示する情報表示画像を並列して表示する第１の表示工程（第１の表示ステップ）ＳＡ１と、リファレンス画像および情報表示画像のいずれか一方でＲＯＩの任意の注目位置を指示すると、他方の情報表示画像またはリファレンス画像においてその注目位置に対応する対応位置を特定するマーク（特定表示）を表示する第２の表示工程（第２の表示ステップ）ＳＡ２とを含んでいる。
【００１３】
本実施形態に係る画像情報表示方法は、例えば、公知のレーザ走査型顕微鏡装置等により取得される複数の画像に対して位置情報を関連付けて表示する。レーザ走査型顕微鏡装置としては、例えば、標本を載置するステージと、ステージ上の標本に向けてレーザ光を発する光源と、光源から発せられたレーザ光を標本上で２次元的に走査するガルバノミラー等の走査部と、走査部により走査されたレーザ光を標本に照射する一方、標本から戻る戻り光を集光する対物レンズと、対物レンズにより集光された戻り光を部分的に通過させるピンホールと、ピンホールを通過した戻り光を検出しその光強度に応じた電気信号を出力する検出部とを備えている。ピンホールは、対物レンズの焦点位置に対して共役な位置に配置されている。
【００１４】
また、レーザ走査型顕微鏡装置には、検出部から出力された電気信号をＡ／Ｄ変換して出力するＡ／Ｄ変換部と、Ａ／Ｄ変換部から出力された電気信号に基づいて画像情報を生成したり、ステージ、光源および走査部等の駆動を制御したりするＣＰＵと、ＣＰＵにより生成された画像情報を記憶するメモリと、画像情報を表示するＣＲＴディスプレイ等の表示部と、操作者からの指示をＣＰＵに送るマウスやキーボード等の入力装置とが備えられている。
【００１５】
本実施形態に係る画像情報表示方法においては、例えば、レーザ走査型顕微鏡装置のＣＰＵの作動により生成される図２に示すような標本の２次元的な平面画像をリファレンス画像１とする。また、リファレンス画像１上で操作者により選択されたＲＯＩ３のラインスキャン画像を情報表示画像２とする。
【００１６】
リファレンス画像１はＸＹ軸の平面画像である。情報表示画像２は、ＲＯＩ３の一端から他端までのスキャン方向をＸ軸とし、１回のラインスキャンにかかる時間をＴ軸とした平面画像である。これらのリファレンス画像１のＲＯＩ３と情報表示画像２は互いにＸ軸が共通する。
【００１７】
第１の表示工程ＳＡ１は、ＣＰＵにより生成されたリファレンス画像１および情報表示画像２をモニタ５上に並列して表示するようになっている。
【００１８】
第２の表示工程ＳＡ２は、操作者によりマウスを用いてリファレンス画像１上でＲＯＩ３の任意の位置が指示されると、ＣＰＵの作動により、その指示とほぼ同期して情報表示画像２上にマーク（特定表示）Ａ´を表示するようになっている。情報表示画像２上のマークＡ´は、リファレンス画像１の注目位置Ａに対応するＸ軸上の座標位置を通りＴ軸方向に沿って延びるラインで表示される。
【００１９】
一方、操作者によりマウスを用いて情報表示画像２上で任意の位置が指示されると、その指示とほぼ同期してリファレンス画像１上にマークＡ´が表示されるようになっている。リファレンス画像１上のマークＡ´は、情報表示画像２の注目位置Ａに対応するＲＯＩ３のＸ軸上の座標位置にポイントで表示される。
【００２０】
このように構成された画像情報表示方法の作用について、図１のフローチャートを参照して以下に説明する。
本実施形態に係る画像情報表示方法により複数の間で位置情報を関連付けて表示するには、まず、レーザ走査型顕微鏡装置を用いて、例えば、図２に示すような標本のリファレンス画像１およびリファレンス画像１上のＲＯＩ３の情報を表示する情報表示画像２を生成し（取得ステップ）、これらの画像をモニタ５に並列して表示する（ステップＳＡ１）。
【００２１】
リファレンス画像１を生成するには、ステージに標本を載置し、光源からレーザ光を発する。そして、走査部によりレーザ光を光軸に交差する２次元方向に走査し、対物レンズにより標本に照射する。レーザ光が照射された標本から戻る戻り光は、対物レンズによって集光され、ピンホールを通過して検出部により検出される。
【００２２】
検出部により戻り光が検出されるとその電気信号がＡ／Ｄ変換部を介してＣＰＵに入力され、ＣＰＵにより、図３に示すような標本の２次元的なリファレンス画像１が生成される。同図において、リファレンス画像１の横軸はＸ軸を示し縦軸はＹ軸を示している。ＣＰＵにより生成された標本のリファレンス画像１は、メモリに記憶されるとともにモニタ５に表示される。
【００２３】
次に、情報表示画像２を生成するには、図４に示すように、操作者がマウスを用いてリファレンス画像１上にフリーラインでＲＯＩ３を記述する（選択ステップ）。リファレンス画像１上にＲＯＩ３が記述されると、ＣＰＵの作動によりその座標情報が取得される。ＲＯＩ３がフリーラインで記述された場合は、例えば、図５に符合Ｐで示すように、ＣＰＵにより１座標１画素の単位で座標情報が取得される。
【００２４】
続いて、ＣＰＵにより取得されたＲＯＩ３の座標をラインに沿って一端から他端まで複数回にわたりラインスキャンする。これにより、ＲＯＩ３のライン方向をＸ軸、１回のラインスキャンに係る時間をＴ軸とした情報表示画像２が生成される。情報表示画像２の横軸はＸ軸を示し縦軸はＴ軸を示している。ＣＰＵにより生成された情報表示画像２は、図２に示すように、モニタ５上にリファレンス画像１と共に並列して表示される。
【００２５】
次に、第１の表示工程ＳＡ１によりモニタ５上に表示されたリファレンス画像１および情報表示画像２間でＲＯＩ３の位置情報を関連付けて表示する（ステップＳＡ２)。
具体的には、操作者によりマウスを用いてリファレンス画像１上でＲＯＩ３の任意の注目位置Ａを指示すると、ＣＰＵの作動により、情報表示画像２において、リファレンス画像１の注目位置Ａに対応するＸ軸上の座標位置を通りＴ軸方向に沿って延びるライン状のマークＡ´が表示される。
【００２６】
注目位置Ａの指示を変更しないと（ステップＳＡ３「ＮＯ」）、位置情報の表示が終了する。一方、注目位置Ａの指示を変更すると（ステップＳＡ３「ＹＥＳ」）、ステップＳＡ２に戻る。操作者により、リファレンス画像１上でＲＯＩ３の他の注目位置Ａが指示されると、情報表示画像２において新たな注目位置Ａに対応するＸ軸上の座標位置を通るマークＡ´が表示される。
【００２７】
このようにして、リファレンス画像１上で注目位置Ａを指示すると、情報表示画像２における注目位置Ａに対応する位置にマークＡ´がＸ軸を基準に関連付けられて表示される。また、リファレンス画像１における注目位置Ａの指示を他の位置に変更すると、情報表示画像２上の表示が更新され、新たな注目位置Ａに対応する位置にマークＡ´がＸ軸を基準に関連付けられて表示される。
【００２８】
一方、操作者によりマウスを用いて情報表示画像２上の任意の注目位置Ａを指示すると、ＣＰＵの作動により、リファレンス画像１において、情報表示画像２の注目位置Ａに対応するＲＯＩ３のＸ軸上の座標位置にポイント状のマークＡ´が表示される。この場合も同様に、情報表示画像２上の注目位置Ａの指示を変更すると、リファレンス画像１上の表示が更新され、新たな注目位置Ａに対応するＲＯＩ３のＸ軸上の座標位置にマークＡ´が表示される。
【００２９】
以上説明したように本実施形態に係る画像情報表示方法によれば、リファレンス画像１または情報表示画像２上で指示された注目位置Ａに対し、情報表示画像２またはリファレンス画像１上の対応する位置にマークＡ´をＸ軸を基準に関連付けて表示することで、両画像間におけるＲＯＩ３の位置情報の関連性を容易に把握することができる。また、リファレンス画像１または情報表示画像２上の注目位置Ａの指示を他の位置に変更すると、情報表示画像２またはリファレンス画像１上の表示を新たな注目位置Ａの位置に対応するマークＡ´に更新することで、両画像間におけるＲＯＩ３の位置情報の関連性を常に的確に把握することができる。
【００３０】
なお、本実施形態においては、例えば、操作者が任意の時間を指定すると、情報表示画像２のライン状のマークＡ´上に、指定された時間における座標位置を表示するポイント状のマークを表示することとしてもよい。また、本実施形態においては、検出部およびＣＰＵによりリファレンス画像１を生成することとしたが、これに代えて、ＣＣＤ等の撮像素子を用いてリファレンス画像１を生成することとしてもよい。
【００３１】
本実施形態は以下のように変形することができる。
第１の変形例としては、例えば、図６に示すように、リファレンス画像１で注目位置Ａが指示されると、注目位置Ａの時間軸に対する輝度変化をモニタ５上にプロファイル１５で表示することとしてもよい。
【００３２】
この場合、例えば、操作者が任意の時間を指定すると、指定された時間における情報表示画像２のマークＡ´上の座標位置とプロファイル１５上の輝度値とをラインＢにより関連付けて表示することとしてもよい。また、図７に示すように、モニタ５上にリファレンス画像１とプロファイル１５とを隣接して表示することとしてもよい。このようにすることで、プロファイル１５により注目位置Ａの時間軸に対する輝度変化を容易に把握することができる。
【００３３】
また、図６に示すように、リファレンス画像１のＲＯＩ３のライン方向（情報表示画像２のＸ軸方向）に対する輝度変化をモニタ５上にプロファイル１７で表示することとしてもよい。この場合、例えば、ＣＰＵによりリファレンス画像１上のＲＯＩ３の座標情報が取得されると、まず、プロファイル１７に時間Ｔ＝０のＲＯＩ３の輝度情報を表示することとしてもよい。そして、操作者が任意の時間を指定すると、プロファイル１７の表示を指定された時間におけるＲＯＩ３の輝度情報に切り替えることとすればよい。
また、リファレンス画像１上で注目位置Ａが指示された場合に、同図に示すように、情報表示画像２のＸ軸上の座標位置とプロファイル１７上の輝度値とをライン状のマークＡ´により関連付けて表示することとしてもよい。
【００３４】
なお、本実施形態においては、モニタ５に情報表示画像２を表示することとしたが、例えば、情報表示画像２を表示せずにリファレンス画像１およびプロファイル１７を表示し、リファレンス画像１およびプロファイル１７間のＲＯＩ３の位置情報を直接関連付けて表示することとしてもよい。この場合、操作者が任意の時間を指定すると、指定された時間におけるＲＯＩ３の輝度情報をプロファイル１７に表示することとすればよい。また、リファレンス画像１上で指示された注目位置Ａに対応するロファイル１７のＸ軸上の輝度値にポイント状のマークが表示することとすればよい。
【００３５】
また、本実施形態においては、参照画像としてＸＹ軸の２次元的なリファレンス画像１と、情報表示画像としてＸＴ軸の２次元的な情報表示画像２を例示して説明したが、第２の変形例としては、例えば、相互に次元が異なる参照画像と情報表示画像との間で位置情報を互いに関連付けて表示することとしてもよい。また、一のリファレンス画像と複数の情報表示画像との間でそれぞれ位置情報を関連付けて表示することとしてもよい。
【００３６】
例えば、図８に示すように、レーザ走査型顕微鏡装置により生成される３次元的なＸＹＺ軸画像をリファレンス画像（参照画像）１１とし、また、リファレンス画像１１におけるＲＯＩ４のＸＹ軸画像を第１の情報表示画像１２とし、リファレンス画像１におけるＲＯＩ４のＸＺ軸画像を第２の情報表示画像１３として、これらの画像間でそれぞれ位置情報を関連付けて表示することとしてもよい。
【００３７】
この場合、例えば、ＣＰＵの作動により、ステージ位置を光軸方向に移動してレーザ光の集光位置を深さ方向に変化させつつ、対物レンズにより標本に照射されるレーザ光を走査部により標本上で光軸に交差する方向に走査する。また、レーザ光が照射された標本から戻る戻り光を対物レンズおよびピンホールを介して検出部により検出し、ＣＰＵにより、その電気信号に基づいて対物レンズと標本との各相対位置（Ｚ軸方向位置）における標本の２次元画像を生成する。そして、これらの各２次元画像を光軸方向（Ｚ軸方向）に積み重ね、標本の３次元的なリファレンス画像１１を生成する。
ＣＰＵにより生成されたリファレンス画像１１は、第１の表示工程ＳＡ１によりモニタ５に表示される。
【００３８】
次に、操作者がマウスを用いてリファレンス画像１１上で標本を含む長球形状のＲＯＩ４を記述すると、ＣＰＵの作動により、記述されたＲＯＩ４の座標情報が取得される。そして、Ｚ軸方向の所望のＺ位置の２次元画像（本変形例においては対物レンズと標本との１０番目の相対位置の２次元画像。Ｚ＝１０）を第１の情報表示画像１２として抽出する。図８において、第１の情報表示画像１２の横軸はＸ軸を示し、縦軸はＹ軸を示している。
【００３９】
また、指示された長球形状のＲＯＩ４のＸＺ軸の２次元な第２の情報表示画像１３を生成する。同図において、第２の情報表示画像１３の横軸はＸ軸を示し、縦軸はＺ軸を示している。これらのリファレンス画像１１および情報表示画像１２，１３は、それぞれＸ軸が共通する。
ＣＰＵにより生成された情報表示画像１２，１３は、第１の表示工程ＳＡ１によりモニタ５上にリファレンス画像１１と共に並べて表示される。
【００４０】
次に、第２の表示工程ＳＡ２においては、操作者によりリファレンス画像１１上のＲＯＩ４の任意の注目位置Ａを指示すると、第１の情報表示画像１２において、リファレンス画像１１の注目位置Ａに対応するＸ軸の座標位置にポイント状のマークＡ´−１が表示される。また、第２の情報表示画像１３において、リファレンス画像１１の注目位置Ａに対応するＸ軸上の座標位置を通りＴ軸方向に沿って延びるライン状のマークＡ´−２が表示される。
【００４１】
一方、操作者が第１の情報表示画像１２または第２の情報表示画像１３において任意の注目位置Ａを指示すると、リファレンス画像１１および他の情報表示画像１２，１３において注目位置Ａに対応する対応位置にポイント状またはライン状のマークがそれぞれＸ軸を基準に関連付けられて表示される。
【００４２】
本変形例によれば、リファレンス画像１１における注目位置Ａと、第１の情報表示画像１２におけるマークＡ´−１および第２の情報表示画像１３におけるマークＡ´−２とを互いに共有する共通のＸ軸を基準に関連付けて表示することにより、次元が異なる画像どうしであってもＲＯＩ４の位置情報を容易に的確に把握することができる。
なお、本変形例においては、図８に示すように、注目位置ＡのＺ軸に対する輝度変化をプロファイル１９により表示することとしてもよい。
【００４３】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の一実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
また、本実施形態およびその変形例においては、フリーラインで記述したＲＯＩ３を例示して説明したが、ＲＯＩ３の形状は、例えば、直線であってもよいし、円や矩形等であってもよい。また、本実施形態およびその変形例においては、特定表示としてライン状のマークＡ´，Ａ´−２やポイント状のマークＡ´−１を例示して説明したが、いずれかの一の画像上の注目位置に対して他の画像において対応する位置を特定することができるものであればよく、これに限定されるものではない。
【符号の説明】
【００４４】
ＳＡ１  第１の表示工程（第１の表示ステップ）
ＳＡ２  第２の表示工程（第２の表示ステップ）
１，１１  リファレンス画像（参照画像）
２  情報表示画像
３，４ ＲＯＩ（関心領域）
１２  第１の情報表示画像
１３  第２の情報表示画像
Ａ  注目位置
Ａ´，Ａ´−１，Ａ´−２  マーク（特定表示）
【図１】
0005631649.tif 000002
【図２】
0005631649.tif 000003
【図３】
0005631649.tif 000004
【図４】
0005631649.tif 000005
【図５】
0005631649.tif 000006
【図６】
0005631649.tif 000007
【図７】
0005631649.tif 000008
【図８】
0005631649.tif 000009