(57)【要約】      （修正有）【課題】簡易な装置で標本全体を観察できるようにする。【解決手段】標本用カメラ３４は、XYステージ３１上に置かれた標本４１を撮像する。マーカ用カメラ３５は、XYステージ３１に付されたマーカ４３を撮像する。画像処理装置は、XYステージ３１の第１の位置で第２カメラ３５によって撮像された第１のマーカ画像と、第１の位置から移動された第２の位置で第２カメラ３５によって撮像された第２のマーカ画像とに基づいて、第１の位置で第１カメラ３４によって撮像された第１の標本画像と、第２の位置で第１カメラ３４によって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、第１の標本画像と第２の標本画像とに基づいて、第１の標本画像と第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、第１の標本画像と第２の標本画像を結合した結合画像を生成する。【選択図】図１
2018063376.tif 000002
【特許請求の範囲】
【請求項１】
XYステージ上に置かれた標本を撮像する第１カメラと、
前記XYステージに付されたマーカを撮像する第２カメラと、
前記XYステージが手動操作によって第１の位置から第２の位置まで移動された場合、前記第１の位置で前記第２カメラによって撮像された第１のマーカ画像と、前記第２の位置で前記第２カメラによって撮像された第２のマーカ画像とに基づいて、前記第１の位置で前記第１カメラによって撮像された第１の標本画像と、前記第２の位置で前記第１カメラによって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、前記第１の標本画像と前記第２の標本画像とに基づいて、前記第１の標本画像と前記第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、前記第１の標本画像と前記第２の標本画像を結合した結合画像を生成する画像結合部と
を備える顕微鏡システム。
【請求項２】
前記第１のマーカ画像と前記第２のマーカ画像から、前記第１の位置から前記第２の位置までの移動量を検出する移動量検出部をさらに備え、
前記画像結合部は、前記移動量に基づいて、前記第１の位置合わせ処理を実行する
請求項１に記載の顕微鏡システム。
【請求項３】
前記第１の標本画像と前記第２の標本画像それぞれの特徴点を検出する特徴点検出部をさらに備え、
前記画像結合部は、前記第１の標本画像と前記第２の標本画像とで対応する前記特徴点を検出し、対応する前記特徴点どうしが一致するように、前記第２の位置合わせ処理を実行する
請求項１または２に記載の顕微鏡システム。
【請求項４】
前記XYステージはZ軸方向の移動も可能であり、
前記XYステージのZ位置を検出するZ位置検出部をさらに備え、
前記画像結合部は、前記第１カメラによって撮像された標本画像を異なるZ位置で複数枚取得して記録部に記録させる
請求項１乃至３のいずれかに記載の顕微鏡システム。
【請求項５】
前記画像結合部によって生成された前記結合画像を表示部に表示させる表示制御部をさらに備え、
前記表示部では、前記結合画像の周辺の周辺画像が、前記XYステージの移動に伴って更新された前記結合画像に置き換えられるように、生成された前記結合画像が表示される
請求項１乃至４のいずれかに記載の顕微鏡システム。
【請求項６】
前記画像結合部は、前記結合画像を１ファイルとして記録部に記録させる
請求項１乃至５のいずれかに記載の顕微鏡システム。
【請求項７】
XYステージ上に置かれた標本を撮像する第１カメラと、前記XYステージに付されたマーカを撮像する第２カメラとから供給される画像を処理する画像処理装置が、
前記XYステージが手動操作によって第１の位置から第２の位置まで移動された場合、前記第１の位置で前記第２カメラによって撮像された第１のマーカ画像と、前記第２の位置で前記第２カメラによって撮像された第２のマーカ画像とに基づいて、前記第１の位置で前記第１カメラによって撮像された第１の標本画像と、前記第２の位置で前記第１カメラによって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、前記第１の標本画像と前記第２の標本画像とに基づいて、前記第１の標本画像と前記第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、前記第１の標本画像と前記第２の標本画像を結合した結合画像を生成する
画像処理方法。
【請求項８】
XYステージ上に置かれた標本を撮像する第１カメラと、前記XYステージに付されたマーカを撮像する第２カメラとから供給される画像を処理するコンピュータを、
前記XYステージが手動操作によって第１の位置から第２の位置まで移動された場合、前記第１の位置で前記第２カメラによって撮像された第１のマーカ画像と、前記第２の位置で前記第２カメラによって撮像された第２のマーカ画像とに基づいて、前記第１の位置で前記第１カメラによって撮像された第１の標本画像と、前記第２の位置で前記第１カメラによって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、前記第１の標本画像と前記第２の標本画像とに基づいて、前記第１の標本画像と前記第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、前記第１の標本画像と前記第２の標本画像を結合した結合画像を生成する画像結合部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、顕微鏡システム、画像処理方法、および、プログラムに関し、特に、簡易な装置で標本全体を観察できるようにした顕微鏡システム、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
従来、顕微鏡にCCDカメラなどを装着し、標本としての細胞などの画像をディスプレイに表示したり、記録できるようにしたものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−５７５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、顕微鏡の観察倍率は高倍率であるため、標本の一部分しか観察できないため、簡易な装置で標本全体を観察できるものが望まれている。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、簡易な装置で標本全体を観察できるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の顕微鏡システムは、XYステージ上に置かれた標本を撮像する第１カメラと、前記XYステージに付されたマーカを撮像する第２カメラと、前記XYステージが手動操作によって第１の位置から第２の位置まで移動された場合、前記第１の位置で前記第２カメラによって撮像された第１のマーカ画像と、前記第２の位置で前記第２カメラによって撮像された第２のマーカ画像とに基づいて、前記第１の位置で前記第１カメラによって撮像された第１の標本画像と、前記第２の位置で前記第１カメラによって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、前記第１の標本画像と前記第２の標本画像とに基づいて、前記第１の標本画像と前記第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、前記第１の標本画像と前記第２の標本画像を結合した結合画像を生成する画像結合部とを備える。
【０００７】
本技術の一側面の画像処理方法は、XYステージ上に置かれた標本を撮像する第１カメラと、前記XYステージに付されたマーカを撮像する第２カメラとから供給される画像を処理する画像処理装置が、前記XYステージが手動操作によって第１の位置から第２の位置まで移動された場合、前記第１の位置で前記第２カメラによって撮像された第１のマーカ画像と、前記第２の位置で前記第２カメラによって撮像された第２のマーカ画像とに基づいて、前記第１の位置で前記第１カメラによって撮像された第１の標本画像と、前記第２の位置で前記第１カメラによって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、前記第１の標本画像と前記第２の標本画像とに基づいて、前記第１の標本画像と前記第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、前記第１の標本画像と前記第２の標本画像を結合した結合画像を生成する。
【０００８】
本技術の一側面のプログラムは、XYステージ上に置かれた標本を撮像する第１カメラと、前記XYステージに付されたマーカを撮像する第２カメラとから供給される画像を処理するコンピュータを、前記XYステージが手動操作によって第１の位置から第２の位置まで移動された場合、前記第１の位置で前記第２カメラによって撮像された第１のマーカ画像と、前記第２の位置で前記第２カメラによって撮像された第２のマーカ画像とに基づいて、前記第１の位置で前記第１カメラによって撮像された第１の標本画像と、前記第２の位置で前記第１カメラによって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、前記第１の標本画像と前記第２の標本画像とに基づいて、前記第１の標本画像と前記第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、前記第１の標本画像と前記第２の標本画像を結合した結合画像を生成する画像結合部として機能させるためのものである。
【０００９】
本技術の一側面においては、XYステージが手動操作によって第１の位置から第２の位置まで移動された場合、前記第１の位置で前記XYステージに付されたマーカを撮像する第２カメラによって撮像された第１のマーカ画像と、前記第２の位置で前記第２カメラによって撮像された第２のマーカ画像とに基づいて、前記第１の位置で前記XYステージ上に置かれた標本を撮像する第１カメラによって撮像された第１の標本画像と、前記第２の位置で前記第１カメラによって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理が実行され、その後、前記第１の標本画像と前記第２の標本画像とに基づいて、前記第１の標本画像と前記第２の標本画像の位置を合わせる第２の位置合わせ処理が実行されて、前記第１の標本画像と前記第２の標本画像を結合した結合画像が生成される。
【００１０】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１１】
顕微鏡システムは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１２】
本技術の一側面によれば、簡易な装置で標本全体を観察することができる。
【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用した顕微鏡システムの一実施の形態の構成例を示す図である。
【図２】画像処理装置が実行する結合画像生成処理を説明する図である。
【図３】画像処理装置が実行する結合画像生成処理を説明する図である。
【図４】結合画像のディスプレイへの表示例を示す図である。
【図５】画像処理装置の結合画像生成処理に関するブロック図である。
【図６】結合画像生成処理を説明するフローチャートである。
【図７】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００１６】
＜顕微鏡システムの構成例＞
図１は、本技術を適用した顕微鏡システムの一実施の形態の構成例を示している。
【００１７】
図１の顕微鏡システム１は、顕微鏡１１、画像処理装置１２、ディスプレイ１３、キーボード１４、および、マウス１５を含んで構成され、この顕微鏡システム１は、例えば、病理検査等に用いられる。
【００１８】
顕微鏡１１は、XYステージ３１、対物レンズ３２（３２A,３２B）、接眼レンズ３３、標本用カメラ３４、マーカ用カメラ３５などを備える。顕微鏡１１のXYステージ３１上には、観察対象である標本（検体）４１が載せられたプレパラート４２が置かれている。
【００１９】
顕微鏡１１には、倍率の異なる複数の対物レンズ３２が装着可能であり、図１の例では、２つの対物レンズ３２Aおよび３２Bが装着されている。対物レンズ３２の倍率には、例えば、１０倍、２０倍、４０倍、１００倍などがある。ユーザは、レボルバ３６を回転させることにより、所望の倍率で標本４１を観察することができる。
【００２０】
XYステージ３１は、X軸ダイヤル３７およびY軸ダイヤル３８を操作（回転）させることにより、水平方向であるX軸方向およびY軸方向に移動可能とされている。また、XYステージ３１は、Z軸ダイヤル３９を操作（回転）させることにより、XY平面に垂直なZ軸方向にも移動可能とされており、標本４１に対する焦点距離を変更（調整）することができる。
【００２１】
標本用カメラ３４（第１カメラ）は、例えば、３板式のCCDカメラまたはCMOSセンサ等で構成され、対物レンズ３２等の光学系によって拡大された標本４１を撮像し、その結果得られた画像（以下、標本画像という。）を画像処理装置１２に供給する。
【００２２】
画像処理装置１２に供給された標本画像は、そのまま、あるいは、所定の画像処理が施された後、ディスプレイ１３に表示され、ユーザによって観察される。また、ユーザは、接眼レンズ３３から直接肉眼で、プレパラート４２上の標本４１を観察することもできる。
【００２３】
XYステージ３１の上面の所定の位置にはマーカ４３が付されており、マーカ用カメラ３５（第２カメラ）は、マーカ４３を撮像し、その結果得られた画像（以下、マーカ画像という。）を画像処理装置１２に供給する。
【００２４】
マーカ４３の形状は、どのような形状であってもよいが、例えば、図１に示されるような十字形状や、四角形状とすることができる。マーカ４３はシール紙で構成されており、マーカ４３が印刷されたシール紙をXYステージ３１に貼り付けることで、任意の顕微鏡１１のXYステージ３１にマーカ４３を付すことができる。勿論、マーカ４３は、XYステージ３１表面に直接パターン印刷されてもよい。
【００２５】
マーカ用カメラ３５は、XYステージ３１の水平方向（XY方向）の最大移動範囲をカバーする視野範囲を有しており、XYステージ３１がどの位置に移動された状態でも、XYステージ３１上のマーカ４３を撮像することができる。したがって、マーカ用カメラ３５の視野範囲は、標本用カメラ３４の視野範囲よりも大きい。マーカ用カメラ３５は、標本用カメラ３４よりも低解像度の単板式のCCDカメラまたはCMOSセンサ等で構成することができ、モノクロカメラであってもよい。
【００２６】
マーカ用カメラ３５は、顕微鏡１１に予め装着されたものでもよいが、マーカ用カメラ３５が装着されていない顕微鏡１１に後付けにより装着してもよい。XYステージ３１の上面に付されるマーカ４３も、上述したようにシール紙で構成して後付けにより装着することができるので、顕微鏡１１は、例えば、市販の顕微鏡を用いて実現することができる。
【００２７】
画像処理装置１２は、標本用カメラ３４から供給される標本画像を取得し、取得した標本画像に対して所定の画像処理（例えば、後述する結合画像生成処理）を実行し、画像処理後の標本画像をディスプレイ１３に表示させる。ディスプレイ１３は、画像処理装置１２から供給される画像信号に基づいて、標本画像等の所定の画像を表示する。画像処理装置１２は、標本用カメラ３４およびマーカ用カメラ３５のそれぞれと信号ケーブルで接続されている。ディスプレイ１３は、例えば、４Kディスプレイなどの高解像度ディスプレイで構成される。
【００２８】
キーボード１４とマウス１５は、画像処理装置１２がユーザの入力操作を受け付けるための入力部として機能し、ユーザの操作に従って、所定のコマンドや文字を画像処理装置１２に供給する。キーボード１４とマウス１５は、USB（Universal Serial Bus）ケーブル等の有線またはBluetooth(登録商標)等の無線により画像処理装置１２と接続されている。
【００２９】
＜画像処理装置の結合画像生成処理＞
次に、図２乃至図４を参照して、画像処理装置１２が実行する結合画像生成処理について説明する。
【００３０】
標本用カメラ３４は、倍率が高いため、標本４１全体を一つの視野（撮像範囲）で捉えることはできない。そのため、図２に示される標本画像６１A乃至６１Fのように、１枚の標本画像６１には、標本４１の一部しか映らない。しかしながら、標本４１全体を確認できることが望ましい。
【００３１】
そこで、画像処理装置１２は、例えば、ユーザがX軸ダイヤル３７およびY軸ダイヤル３８を操作（回転）することによってXYステージ３１を移動させながら所定のタイミングで撮像された６枚の標本画像６１A乃至６１Fを結合させる処理（結合処理）を実行し、結合画像６２を生成して、ディスプレイ１３に表示させる。縦横に隣接する画像を隙間なく貼り合わせる処理は、タイリングとも呼ばれる。画像処理装置１２は、XYステージ３１を移動させながら所定のタイミングで撮像された複数枚の標本画像６１をタイリングすることにより、標本４１全体の画像を生成して、表示する。
【００３２】
例えば、標本用カメラ３４が2Kx1K(1920x1080)の画素数からなるHD画像を出力するHDカメラであり、図２に示されるように、標本４１全体が含まれるためには、標本画像６１をX方向に３枚、Y方向に２枚の3x2=６枚をタイリング（タイル配列）する必要がある場合、結合画像６２の解像度（画素数）は、約6Kx2Kとなる。
【００３３】
図３は、画像処理装置１２が実行する結合画像生成処理の詳細を説明する図である。
【００３４】
例えば、図３Aに示されるように、所定の第１のタイミングで撮像された標本画像６１Aと、第１のタイミングから所定時間が経過した第２のタイミングで撮像された標本画像６１Bとがある。標本画像６１Bは、標本画像６１Aが取得された第１の位置からX軸ダイヤル３７およびY軸ダイヤル３８が操作されることによってXYステージ３１が移動され、第２の位置で撮像された画像である。
【００３５】
画像処理装置１２は、標本画像６１Aと標本画像６１Bのそれぞれに対し、特徴点検出処理を実行して、特徴点を検出する。特徴点検出のアルゴリズムは、特に限定されず、各画素の輝度または色等に基づいて、輪郭、コーナ、局所最大値等を用いた任意の特徴点検出アルゴリズムを採用することができる。図３の例においては、標本画像６１Aでは、特徴点A１乃至A３の３つの特徴点が検出され、標本画像６１Bでは、特徴点B１乃至B7の７つの特徴点が検出されたとする。
【００３６】
画像処理装置１２は、標本画像６１Aを取得した第１のタイミングにマーカ用カメラ３５によって撮像された第１のマーカ画像と、標本画像６１Bを取得した第２のタイミングにマーカ用カメラ３５によって撮像された第２のマーカ画像の比較結果から、マーカ４３の移動方向および移動量を検出する。
【００３７】
そして、画像処理装置１２は、図３Bに示されるように、第１のマーカ画像と第２のマーカ画像の比較結果から算出された移動方向および移動量に基づいて、標本画像６１Aと標本画像６１Bを位置合わせする。このマーカ画像による位置合わせは、精度の低い第１の位置合わせ処理（ラフな位置合わせ処理）に相当する。図３Bに示される移動量dxおよびdyは、それぞれ、標本画像６１Aを撮像した第１の位置から標本画像６１Bを撮像した第２の位置までのXYステージ３１のｘ方向およびｙ方向の移動量を示している。
【００３８】
次に、画像処理装置１２は、ラフな位置合わせ処理後の標本画像６１Aと標本画像６１Bどうしで、対応する特徴点（対応特徴点）を検出する。例えば、画像処理装置１２は、比較対象の標本画像６１Aと標本画像６１Bの一方の各特徴点の近傍（所定範囲内）の位置に、他方の特徴点が存在するかを検出することにより、対応する特徴点（対応特徴点）を検出する。
【００３９】
次に、画像処理装置１２は、検出された対応特徴点どうしの位置が一致するように、標本画像６１Aと標本画像６１Bを位置合わせする。この対応特徴点による位置合わせは、精度の高い第２の位置合わせ処理（厳密な位置合わせ処理）に相当する。
【００４０】
最後に、図３Cに示されるように、画像処理装置１２は、第２の位置合わせ処理後の標本画像６１Aと標本画像６１Bの重複しない領域（OR領域）の画像どうしを結合し、結合画像６２を生成する。換言すれば、結合画像６２は、第２の位置合わせ処理後の標本画像６１Aと標本画像６１BのOR画像に相当する。
【００４１】
第２のタイミングから所定時間経過後の第３のタイミングにおいて標本画像６１C（図２）が得られた場合には、現時点の結合画像６２（の標本画像６１Bの領域）と標本画像６１Cとを用いて上述の第１及び第２の位置合わせ処理が実行され、現時点の結合画像６２（標本画像６１Aと標本画像６１BのOR画像である結合画像６２）に対する差異部分となる標本画像６１Cの画像がさらに結合された新たな結合画像６２が生成される。
【００４２】
なお、図２および図３の説明では、説明を容易にするため、第１のタイミングと第２のタイミングの時間間隔が長く、第１の位置と第２の位置の間隔（移動量）もある程度長い場合を例に説明したが、実際には、標本画像６１を撮像する撮像間隔は、３０フレーム／秒や６０フレーム／秒のように微小な時間間隔となるので、第１の位置と第２の位置の間隔も短い。
【００４３】
図４は、画像処理装置１２によって順次生成（更新）された結合画像６２がディスプレイ１３に表示される様子を示している。
【００４４】
なお、図４において、結合画像６２内に示された破線の矢印は、X軸ダイヤル３７およびY軸ダイヤル３８が操作されてXYステージ３１が移動したことに伴う標本用カメラ３４の移動方向（XYステージ３１の移動方向と反対の方向）を示している。
【００４５】
最初にディスプレイ１３に表示される画像のうち、結合画像６２の表示領域以外の領域は、輝度が黒色の黒画像となっている。
【００４６】
ディスプレイ１３には、XYステージ３１の移動に伴い、画像処理装置１２によって順次生成（更新）された結合画像６２が、黒画像と置き換えられて表示されていく。
【００４７】
ユーザは、ディスプレイ１３に順次更新される結合画像６２を見ながら、塗りつぶし感覚でX軸ダイヤル３７およびY軸ダイヤル３８を操作してXYステージ３１を移動させることで、標本４１全体を、ディスプレイ１３に簡単に表示させることができる。
【００４８】
なお、ディスプレイ１３において、結合画像６２の周辺に表示される結合画像６２以外の周辺画像は、必ずしも黒画像である必要はなく、結合画像６２と容易に区別がつくような、色または模様が一様な画像であればよい。
【００４９】
＜画像処理装置のブロック図＞
図５は、画像処理装置１２の結合画像生成処理に関するブロック図である。
【００５０】
画像処理装置１２は、マーカ検出部８１、特徴点検出部８２、画像結合部８３、表示制御部８４、および、記録部８５を備える。
【００５１】
画像処理装置１２には、マーカ画像と標本画像の動画像が、それぞれ、マーカ用カメラ３５と標本用カメラ３４から、同期したタイミングで供給される。画像処理装置１２に供給されるマーカ画像と標本画像の動画像のうち、所定の第１のタイミングで画像処理装置１２に供給されるマーカ画像と標本画像を、第１のマーカ画像と第１の標本画像と称し、第１のタイミングの次の第２のタイミングで画像処理装置１２に供給されるマーカ画像と標本画像を、第２のマーカ画像と第２の標本画像と称する。
【００５２】
マーカ検出部８１（移動量検出部）は、時間方向に隣接する２枚のマーカ画像それぞれに含まれるマーカ４３の位置を検出し、２枚の撮像間隔におけるマーカ４３（XYステージ３１）の移動方向および移動量を検出する。具体的には、マーカ検出部８１は、検出した第２のマーカ画像のマーカ４３の位置と、それより１つ前の第１のタイミングでマーカ用カメラ３５から供給された第１のマーカ画像で検出されたマーカ４３の位置を比較して、マーカ４３の移動方向および移動量を検出する。マーカ４３の移動方向は、相対的な標本用カメラ３４の移動方向と反対である。検出された移動方向および移動量は、画像結合部８３に供給される。
【００５３】
特徴点検出部８２は、標本用カメラ３４から順次供給される標本画像のそれぞれに対して、所定の特徴点検出アルゴリズムによる特徴点検出処理を実行して、特徴点を検出する。特徴点検出部８２は、検出された各特徴点の位置（座標）を、標本画像とともに画像結合部８３に供給する。
【００５４】
画像結合部８３は、第１のタイミングの第１の位置でマーカ用カメラ３５によって撮像された第１のマーカ画像と、第２のタイミングの第２の位置でマーカ用カメラ３５によって撮像された第２のマーカ画像とに基づいて、第１の位置で標本用カメラ３４によって撮像された第１の標本画像と、第２の位置で標本用カメラ３４によって撮像された第２の標本画像の位置を合わせる第１の位置合わせ処理を実行し、その後、第１の標本画像と第２の標本画像とに基づいて、第１の標本画像と第２の標本画像の位置を合わせる第２の位置合わせ処理を実行して、第１の標本画像と第２の標本画像を結合した結合画像を生成する。
【００５５】
より具体的には、図３を参照して説明したように、画像結合部８３は、最初に、第１の位置合わせ処理として、マーカ検出部８１から供給された移動方向および移動量に基づいて、第１の標本画像と第２の標本画像のラフな位置合わせを行う。
【００５６】
次に、画像結合部８３は、第２の位置合わせ処理として、特徴点検出部８２で検出された第１の標本画像と第２の標本画像それぞれの特徴点から対応特徴点を検出し、検出された対応特徴点どうしの位置が一致するように、第１の標本画像と第２の標本画像の厳密な位置合わせを行う。
【００５７】
そして、画像結合部８３は、厳密な位置合わせ後の第１の標本画像と第２の標本画像のOR画像を、結合画像として生成する。新たな標本画像が供給された場合には、画像結合部８３は、現時点の結合画像との差異部分をさらに追加して、更新後の結合画像を生成する。
【００５８】
表示制御部８４は、画像結合部８３から順次供給される結合画像を、ディスプレイ１３が受け入れ可能な所定フォーマットの画像信号に変換してディスプレイ１３に出力し、結合画像をディスプレイ１３に表示させる。ディスプレイ１３では、図４で説明したように、周辺画像である黒画像が、XYステージ３１の移動に伴って更新（追加）された結合画像６２に置き換えられるように、生成された結合画像６２が表示される。
【００５９】
記録部８５は、キーボード１４やマウス１５等の入力部において、結合画像を記録する操作がユーザによって行われた場合、画像結合部８３から供給される結合画像を１ファイルとして、ハードディスク等の記録媒体に記録する。記録部８５に記録された結合画像は、ユーザが入力部を介してディスプレイ１３に表示させる操作を行った場合、記録部８５から読み出して、ディスプレイ１３に表示させることが可能である。
【００６０】
＜結合画像生成処理のフローチャート＞
図６のフローチャートを参照して、画像処理装置１２によって実行される結合画像生成処理についてさらに説明する。この処理は、例えば、キーボード１４やマウス１５等の入力部において、結合画像のディスプレイ１３への表示が指示されたとき、開始される。
【００６１】
初めに、ステップＳ１において、画像処理装置１２は、マーカ用カメラ３５と標本用カメラ３４から供給されるマーカ画像と標本画像を取得する。マーカ用カメラ３５から供給されたマーカ画像はマーカ検出部８１に供給され、標本用カメラ３４から供給された標本画像は、特徴点検出部８２に供給される。説明の便宜上、このステップＳ１で取得されたマーカ画像と標本画像を、第２のマーカ画像と第２の標本画像とし、それより１つ前のタイミングで取得されたマーカ画像と標本画像を、第１のマーカ画像と第１の標本画像とする。
【００６２】
ステップＳ２において、マーカ検出部８１は、マーカ用カメラ３５から供給された第２のマーカ画像に含まれるマーカ４３の位置を検出する。そして、マーカ検出部８１は、検出した第２のマーカ画像のマーカ４３の位置と、それより１つ前の第１のマーカ画像で検出されたマーカ４３の位置を比較して、マーカ４３の移動方向および移動量を検出する。検出された移動方向および移動量は、画像結合部８３に供給される。
【００６３】
ステップＳ３において、特徴点検出部８２は、標本用カメラ３４から供給された第２の標本画像に対して特徴点検出処理を実行して、第２の標本画像の特徴点を検出する。特徴点検出部８２は、検出された第２の標本画像の各特徴点の位置（座標）を、第２の標本画像とともに画像結合部８３に供給する。
【００６４】
ステップＳ４において、画像結合部８３は、マーカ検出部８１から供給された移動方向および移動量に基づいて、第１の標本画像と第２の標本画像のラフな位置合わせを行う。後述するステップＳ６の処理が１回以上実行された後のステップＳ４の処理では、第１の標本画像が現時点の結合画像に置き換えられ、画像結合部８３は、時間方向に隣接する２枚のマーカ画像に基づく移動方向および移動量に基づいて、現時点の結合画像と第２の標本画像のラフな位置合わせを行う。
【００６５】
ステップＳ５において、画像結合部８３は、特徴点検出部８２で検出された第２の標本画像の特徴点を用いて、第１の標本画像と第２の標本画像の対応特徴点を検出し、検出された対応特徴点どうしの位置が一致するように、第１の標本画像と第２の標本画像の厳密な位置合わせを行う。後述するステップＳ６の処理が１回以上実行された後のステップＳ５の処理では、第１の標本画像が現時点の結合画像に置き換えられ、画像結合部８３は、時間方向に隣接する２枚の標本画像の対応特徴点を検出し、検出された対応特徴点どうしの位置が一致するように、現時点の結合画像と第２の標本画像の厳密な位置合わせを行う。
【００６６】
ステップＳ６において、画像結合部８３は、厳密な位置合わせ後の第１の標本画像と第２の標本画像のOR画像を、結合画像として生成する。２回目以降のステップＳ６の処理では、第１の標本画像が現時点の結合画像に置き換えられ、画像結合部８３は、厳密な位置合わせ後の現時点の結合画像と第２の標本画像のOR画像を、新たな結合画像として生成する。
【００６７】
ステップＳ７において、表示制御部８４は、画像結合部８３から供給された結合画像を、ディスプレイ１３が受け入れ可能な所定フォーマットの画像信号に変換してディスプレイ１３に出力し、結合画像をディスプレイ１３に表示させる。
【００６８】
ステップＳ８において、画像処理装置１２は、結合画像生成処理を終了するかを判定する。例えば、ユーザによって結合画像のディスプレイ１３への表示の終了が指示された場合や、所定期間以上、マーカ画像と標本画像の画像処理装置１２への入力がなかった場合、生成された結合画像の記録部８５への保存が指示された場合など、予め決定した所定の終了条件が満たされた場合、結合画像生成処理を終了すると判定される。
【００６９】
ステップＳ８で、結合画像生成処理をまだ終了しないと判定された場合、処理はステップＳ１に戻り、上述したステップＳ１乃至Ｓ８が繰り返される。その結果、図４で示したように、XYステージ３１の移動に伴って結合画像が更新されて、ディスプレイ１３に表示される。
【００７０】
一方、ステップＳ８で、結合画像生成処理を終了すると判定された場合、結合画像生成処理は終了される。
【００７１】
以上の結合画像生成処理によれば、X軸ダイヤル３７およびY軸ダイヤル３８を操作してXYステージ３１を移動させることで、標本４１全体を、ディスプレイ１３に表示させることができる。
【００７２】
本技術を適用した顕微鏡システム１によれば、XYステージ３１の移動を検出するためのマーカ用カメラ３５とマーカ４３を備え、画像処理装置１２は、マーカ用カメラ３５によって撮像されたマーカ画像に基づいて複数の標本画像どうしのラフな位置合わせを行った後、標本画像の特徴点に基づく厳密な位置合わせを行うことで、標本用カメラ３４で撮像された複数の標本画像を結合した結合画像を生成する。
【００７３】
例えば、XYステージ３１が移動された複数の撮像位置において標本用カメラ３４で撮像された複数の標本画像を、標本画像の特徴点のみに基づいて結合する場合、標本用カメラ３４の撮像倍率が高いため、対応特徴点を見失うことがある。
【００７４】
顕微鏡システム１によれば、マーカ用カメラ３５によって撮像されたマーカ画像に基づいて複数の標本画像どうしのラフな位置合わせを行った後、標本画像の特徴点に基づく厳密な位置合わせを行うので、標本画像の対応特徴点を見失うことなく、標本用カメラ３４で撮像された複数の標本画像を結合した結合画像を正確に生成することができる。
【００７５】
顕微鏡システム１は、X軸ダイヤル３７およびY軸ダイヤル３８を手動操作によりXYステージ３１を移動させる顕微鏡１１に、マーカ用カメラ３５とマーカ４３を追加するだけで標本４１全体の画像を生成および表示することができ、簡易な装置で標本全体を観察することができる。
【００７６】
ディスプレイ１３には、結合画像生成処理によって生成された標本４１全体の画像とともに、XYステージ３１の所定の位置を原点とした座標値を表示することができる。ユーザは、座標値を参照してXYステージ３１を移動させることで、一度観察した場所に容易にXYステージ３１を移動させることができる。
【００７７】
＜変形例＞
次に、上述した実施の形態の変形例について説明する。
【００７８】
上述した実施の形態では、マーカ用カメラ３５によって撮像されたマーカ画像に基づいてXYステージ３１の水平方向（X方向及びY方向）の移動を検出したが、XYステージ３１のZ軸方向の移動については検出していない。
【００７９】
しかしながら、例えばエンコーダ等を、XYステージ３１のZ軸方向の位置を検出するZ位置検出部として備え、Z軸ダイヤル３９の操作（回転）に伴うXYステージ３１のZ軸方向の移動を検出するようにしてもよい。
【００８０】
観察する倍率が高くなるほど、焦点深度は浅くなるので、例えば、厚みのある標本４１の場合、標本４１の上面と下面でピントが異なることがある。顕微鏡１１がXYステージ３１のZ軸方向の位置を検出するZ位置検出部をさらに備えた場合、画像処理装置１２は、標本４１の上面と下面のそれぞれでピントを合わせたときの標本画像を標本用カメラ３４から取得し、撮像位置を示す座標値（x,y,z）とともに、記録部８５に記録することができる。
【００８１】
上述した実施の形態では、X軸ダイヤル３７およびY軸ダイヤル３８をユーザが手動で操作することで、XYステージ３１の移動を行うようにしたが、XYステージ３１を駆動するモータを顕微鏡１１に備え、モータ駆動によってXYステージ３１を移動させてもよい。また、Z軸方向についてもモータ駆動としてもよい。
【００８２】
XYステージ３１のZ軸方向をモータにより自動で移動させる場合、例えば、画像処理装置１２は、標本４１の上面と下面のそれぞれのピント位置を検出し、そのピント位置の標本画像を自動で記録部８５に記録させることができる。標本４１の上面と下面のそれぞれのピント位置は、例えば、取得される標本画像を構成する各画素の輝度値の標準偏差や隣接画素差分値などの輝度情報を用いて自動で検出することができる。
【００８３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００８４】
＜コンピュータのハードウエアの構成例＞
図７は、上述した一連の処理をプログラムにより実行する場合の画像処理装置１２としてのコンピュータのハードウエアの構成例を示すブロック図である。
【００８５】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００８６】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【００８７】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【００８８】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００８９】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９１】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【００９２】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【００９３】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【００９４】
上述した実施の形態では、マーカ画像と標本画像が、同期したタイミングで、画像処理装置１２に供給されるものとしたが、微小なタイミングのずれの影響は少ないので、必ずしも同期を取らなくてもよい。
【符号の説明】
【００９５】
１  顕微鏡システム
１１  顕微鏡
１２  画像処理装置
１３  ディスプレイ
３１  XYステージ
３４  標本用カメラ
３５  マーカ用カメラ
３７  X軸ダイヤル
３８  Y軸ダイヤル
３９  Z軸ダイヤル
４１  標本
４３  マーカ
８１  マーカ検出部
８２  特徴点検出部
８３  画像結合部
８４  表示制御部
８５  記録部
１０１  CPU
１０２  ROM
１０３  RAM
１０８  記憶部
【図１】
2018063376.tif 000003
【図２】
2018063376.tif 000004
【図３】
2018063376.tif 000005
【図４】
2018063376.tif 000006
【図５】
2018063376.tif 000007
【図６】
2018063376.tif 000008
【図７】
2018063376.tif 000009