(57)【要約】【課題】切片や染色法等が互いに異なる薄切標本画像間におけるマッチングを高精度に行うことができる画像処理装置等を提供する。【解決手段】１つの標本から採取された２つの切片を撮像して得られた２つの画像から、上記標本の標本構成要素に関する第１の先見情報に基づいて、各画像に写った標本構成要素を分離抽出する構成要素分離部１４３と、標本構成要素に関する第２の先見情報に基づいて、分離抽出された標本構成要素が位置合わせ処理に寄与する寄与度を算出する寄与率算出部１４４と、該寄与度に基づく評価値を算出することにより、上記２つの画像間の相対位置を特定するマッチング処理部１４５とを備える。【選択図】図１
2013174823.tif 000002
【特許請求の範囲】
【請求項１】
１つの標本から採取された２つの切片をそれぞれ撮像して得られた２つの画像から、前記標本の標本構成要素に関する第１の先見情報に基づいて、各画像に写った標本構成要素を分離抽出する標本構成要素分離部と、
標本構成要素に関する第２の先見情報に基づいて、分離抽出された前記標本構成要素が位置合わせ処理に寄与する寄与度を算出する寄与度算出部と、
前記寄与度に基づく評価値を算出することにより、前記２つの画像間の相対位置を特定する位置合わせ処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の先見情報は、前記標本構成要素の色分布特性を表す情報であり、
前記第２の先見情報は、前記標本構成要素の形状の特徴を表す情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記病理標本の属性に関する情報を設定する属性情報設定部と、
前記属性に関する情報に基づいて前記第１及び第２の先見情報を取得する先見情報取得部と、
をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記病理標本の属性に関する情報は、前記病理標本を採取した生体内の部位を表す情報であり、
前記先見情報取得部は、生体内の部位と、該部位に含まれる標本構成要素とを関連づけた情報を介して、前記第１及び第２の先見情報を取得することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記標本構成要素分離部は、前記各画像を構成する複数の画素の色特徴量を算出し、該色特徴量と前記第１の先見情報とに基づいて、前記複数の画素から標本構成要素に対応する画素群を抽出することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記寄与度算出部は、前記第２の先見情報を参照して、前記標本構成要素分離部が分離抽出した前記標本構成要素の形状の特徴を取得し、該形状の特徴に基づいて前記寄与度を算出することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記標本構成要素分離部は、前記各画像を構成する複数の画素から標本構成要素に対応する画素群を抽出してラベリング処理を施すことにより、該標本構成要素に対応するラベル領域からなるラベル画像を生成し、
前記位置合わせ処理部は、前記２つの画像にそれぞれ対応する前記ラベル画像間における位置合わせを行うことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記標本構成要素は、弾性繊維を含む主組織、細胞膜、細胞質、赤血球、細胞核、腔とのうちの少なくとも１種を含むことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
請求項１〜８のいずれか１項に記載の画像処理装置と、
前記薄切標本が載置されるステージと、
前記ステージに向けて照明光を照射する照明光学系と、
前記ステージと対向して設けられた対物光学系と、
前記対物光学系の撮像視野に対する前記ステージの位置を変化させる移動手段と、
前記対物光学系を透過した観察光を撮像して画像情報を生成する撮像部と、
を備え、
前記画像処理装置は、前記撮像部によって生成された画像情報を取得する画像取得部をさらに有することを特徴とする顕微鏡システム。
【請求項１０】
前記画像処理装置は、予め取得された第１の画像と、前記ステージ上に載置された前記薄切標本を前記撮像部が撮像することによって生成され、前記画像取得部を介して取得された画像情報に対応する第２の画像との間における位置合わせ処理を行い、
前記位置合わせ処理の処理結果に応じて前記移動手段を制御することにより、前記撮像視野を変化させる制御部をさらに備えることを特徴とする請求項９に記載の顕微鏡システム。
【請求項１１】
１つの標本から採取された２つの切片をそれぞれ撮像して得られた２つの画像から、前記標本の標本構成要素に関する第１の先見情報に基づいて、各画像に写った標本構成要素を分離抽出する標本構成要素分離ステップと、
標本構成要素に関する第２の先見情報に基づいて、分離抽出された前記標本構成要素が位置合わせ処理に寄与する寄与度を算出する寄与度算出ステップと、
前記寄与度に基づく評価値を算出することにより、前記２つの画像間の相対位置を特定する位置合わせ処理ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡により取得された生体組織標本の画像を処理する画像処理装置、顕微鏡システム、及び画像処理方法に関する。
【背景技術】
【０００２】
従来、病理標本を含む生体組織標本に対する診断は、臓器摘出によって取得したブロック標本や針生検によって取得された標本等を数ミクロン程度の厚さに薄切し、この薄切された標本を顕微鏡で拡大した観察像を観察することにより行われている。光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的にも古くから行われており、最も普及している観察方法の一つである。また、近年では、光学顕微鏡に取り付けられたカメラにより観察像を撮像することによって取得された画像上で診断を行うことが主流となっている。
【０００３】
ところで、薄切された生体組織標本（以下、薄切標本という）は光をほとんど吸収したり散乱したりせず、無色透明に近い。そのため、一般的には、顕微鏡観察に先立って、薄切標本に染色が施される。染色手法としては種々のものが提案されており、その総数は１００種類以上にも達する。その中でも、特に病理標本に対しては、青紫色のヘマトキシリン及び赤色のエオシンの２つの色素を用いるヘマトキシリン−エオシン染色（以下、ＨＥ染色と記す）が標準的に用いられている。
【０００４】
また、臨床的には、ＨＥ染色では観察目的とする生体組織の視認が難しい場合や、生体組織の形態診断を補間する場合に、ＨＥ染色とは異なる特殊な染色を標本に施し、観察対象の組織の色を変えて視覚的に強調する手法が用いられることもある。さらに、病理組織診断においては、例えば癌組織の抗原抗体反応を可視化するための各種マーカータンパク質を用いる免疫染色が用いられることもある。
【０００５】
このように、病理標本の観察に際しては複数種類の染色方法が用いられる場合が多い。このため、一般的には、１つのブロック標本から採取された複数の薄切標本に対して互いに異なる染色を施し、それらを顕微鏡装置において撮像することによって得られた画像（薄切標本画像）間で、組織や構造物の状態の比較観察することが行われている。従って、複数の薄切標本画像間における位置合わせ（マッチング）を正確に行うことが重要となる。
【０００６】
薄切標本画像のマッチングに関連する技術として、例えば、特許文献１には、ＨＥ染色及び免疫染色（ＩＨＣ）がそれぞれ施された連続切片の薄切標本画像を、位相限定相関法等によりマッチングすることが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２００８／１０８０５９号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記特許文献１に開示されたマッチング方法においては、マッチング対象の薄切標本同士が、状態の変化が少ない、即ち類似した連続切片であることが前提となっている。
しかしながら、同一のブロック標本から採取したとはいえ、薄切標本間では切片が異なるため、薄切標本内の組織等の状態が完全に一致することはない。特に、切片が離れた薄切標本間では、一方の薄切標本に現れていた組織等が他方の薄切標本では消失していたり、組織等の形状が大きく変化する場合がある。また、互いに異なる種類の染色が施された薄切標本間では、組織等の見え方が大きく異なるため、薄切標本画像間で共通する組織等を発見することは非常に困難である。これらの場合、薄切標本画像同士の類似性が低くなるため、位置合わせが可能な薄切標本が限定されてしまう。
【０００９】
本発明は、上記に鑑みてなされたものであって、切片や染色法等が互いに異なる薄切標本画像間における位置合わせを高精度に行うことができる画像処理装置、顕微鏡システム、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、１つの標本から採取された２つの切片をそれぞれ撮像して得られた２つの画像から、前記標本の標本構成要素に関する第１の先見情報に基づいて、各画像に写った標本構成要素を分離抽出する標本構成要素分離部と、標本構成要素に関する第２の先見情報に基づいて、分離抽出された前記標本構成要素が位置合わせ処理に寄与する寄与度を算出する寄与度算出部と、前記寄与度に基づく評価値を算出することにより、前記２つの画像間の相対位置を特定する位置合わせ処理部と、を備えることを特徴とする。
【００１１】
上記画像処理装置において、前記第１の先見情報は、前記標本構成要素の色分布特性を表す情報であり、前記第２の先見情報は、前記標本構成要素の形状の特徴を表す情報であることを特徴とする。
【００１２】
上記画像処理装置は、前記病理標本の属性に関する情報を設定する属性情報設定部と、前記属性に関する情報に基づいて前記第１及び第２の先見情報を取得する先見情報取得部と、をさらに備えることを特徴とする。
【００１３】
上記画像処理装置において、前記病理標本の属性に関する情報は、前記病理標本を採取した生体内の部位を表す情報であり、前記先見情報取得部は、生体内の部位と、該部位に含まれる標本構成要素とを関連づけた情報を介して、前記第１及び第２の先見情報を取得することを特徴とする。
【００１４】
上記画像処理装置において、前記標本構成要素分離部は、前記各画像を構成する複数の画素の色特徴量を算出し、該色特徴量と前記第１の先見情報とに基づいて、前記複数の画素から標本構成要素に対応する画素群を抽出することを特徴とする。
【００１５】
上記画像処理装置において、前記寄与度算出部は、前記第２の先見情報を参照して、前記標本構成要素分離部が分離抽出した前記標本構成要素の形状の特徴を取得し、該形状の特徴に基づいて前記寄与度を算出することを特徴とする。
【００１６】
上記画像処理装置において、前記標本構成要素分離部は、前記各画像を構成する複数の画素から標本構成要素に対応する画素群を抽出してラベリング処理を施すことにより、該標本構成要素に対応するラベル領域からなるラベル画像を生成し、前記位置合わせ処理部は、前記２つの画像にそれぞれ対応する前記ラベル画像間における位置合わせを行うことを特徴とする。
【００１７】
上記画像処理装置において、前記標本構成要素は、弾性繊維を含む主組織、細胞膜、細胞質、赤血球、細胞核、腔とのうちの少なくとも１種を含むことを特徴とする。
【００１８】
本発明に係る顕微鏡システムは、上記画像処理装置と、前記薄切標本が載置されるステージと、前記ステージに向けて照明光を照射する照明光学系と、前記ステージと対向して設けられた対物光学系と、前記対物光学系の撮像視野に対する前記ステージの位置を変化させる移動手段と、前記対物光学系を透過した観察光を撮像して画像情報を生成する撮像部と、を備え、前記画像処理装置は、前記撮像部によって生成された画像情報を取得する画像取得部をさらに有することを特徴とする。
【００１９】
上記顕微鏡システムにおいて、前記画像処理装置は、予め取得された第１の画像と、前記ステージ上に載置された前記薄切標本を前記撮像部が撮像することによって生成され、前記画像取得部を介して取得された画像情報に対応する第２の画像との間における位置合わせ処理を行い、前記位置合わせ処理の処理結果に応じて前記移動手段を制御することにより、前記撮像視野を変化させる制御部をさらに備えることを特徴とする。
【００２０】
本発明に係る画像処理方法は、１つの標本から採取された２つの切片をそれぞれ撮像して得られた２つの画像から、前記標本の標本構成要素に関する第１の先見情報に基づいて、各画像に写った標本構成要素を分離抽出する標本構成要素分離ステップと、標本構成要素に関する第２の先見情報に基づいて、分離抽出された前記標本構成要素が位置合わせ処理に寄与する寄与度を算出する寄与度算出ステップと、前記寄与度に基づく評価値を算出することにより、前記２つの画像間の相対位置を特定する位置合わせ処理ステップと、を含むことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、各画像に写った標本構成要素を先見情報に基づいて分離抽出し、各標本構成要素が画像間の位置合わせ処理に寄与する寄与度を算出し、この寄与度に基づいて評価値を算出することにより、２つの画像間の相対位置を特定するので、切片や染色法が互いに異なる薄切標本画像間であっても、高精度な位置合わせを行うことが可能となる。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、薄切標本を採取した器官及び臓器と、各臓器に含まれる主な標本構成要素とを関連付けた先見情報を示すテーブルである。
【図３】図３は、標本構成要素の形状の特徴の先見情報を示すテーブルである。
【図４】図４は、標本構成要素と染色の種類と色分布情報とを関連づけた先見情報を示すテーブルである。
【図５】図５は、色分布特性の一例であるＣＩＥｘｙ表色系におけるｘｙ色度図である。
【図６】図６は、色分布特性の一例である分光透過率のスペクトルの一例を示すグラフである。
【図７】図７は、色分布特性の一例である色素量の分布図の例である。
【図８】図８は、図１に示す画像処理装置の動作を示すフローチャートである。
【図９】図９は、画像処理対象である薄切標本画像の一例を示す模式図である。
【図１０】図１０は、標本属性設定画面の一例を示す模式図である。
【図１１】図１１は、標本構成要素の分離抽出及びラベル画像の作成処理を示すフローチャートである。
【図１２】図１２は、ラベル画像の例を示す模式図である。
【図１３】図１３は、寄与率の算出処理を示すフローチャートである。
【図１４】図１４は、対円形比率分布の一例を示すヒストグラムである。
【図１５】図１５は、マッチング処理を示すフローチャートである。
【図１６】図１６は、マッチング処理を説明するための図である。
【図１７】図１７は、各区画におけるマッチング処理の例を説明するための図である。
【図１８】図１８は、マッチング結果の表示例を示す模式図である。
【図１９】図１９は、本発明の実施の形態２に係る顕微鏡システムの構成を示す図である。
【図２０】図２０は、図１９に示す顕微鏡システムの動作を示すフローチャートである。
【図２１】図２１は、本発明の実施の形態２に係る顕微鏡観察方法を説明するための模式図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る画像処理装置、顕微鏡システム、及び画像処理方法の実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
図１に示すように、実施の形態１に係る画像処理装置１０は、病理標本等の１つの生体組織標本の複数の切片における薄切標本の顕微鏡観察画像（以下、薄切標本画像、又は、単に画像ともいう）間での位置合わせ（マッチング）処理を実行する装置であり、当該画像処理装置１０に対する指示や情報の入力を受け付ける入力部１１と、薄切標本画像やその他の情報を画面表示する表示部１２と、本画像処理で使用するプログラム等が記憶された記憶部１３と、薄切標本画像間のマッチング処理を行う演算部１４と、これらの各部の動作を制御する制御部１５とを備える。また、画像処理装置１０には画像データベース２１を有する記録装置２０が設けられている。
【００２５】
入力部１１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付けて制御部１５に入力する。また、入力部１１は、ユーザが上記デバイスを用いて、画像データベース２１に記録された画像ファイルのうちから所望の画像ファイルを選択した場合に、当該ファイルを選択する選択信号を制御部１５に入力する画像ファイル指定部１１１を有する。
【００２６】
表示部１２は、例えば、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって構成され、制御部１５から出力された制御信号に従って、種々の情報や画像が所定の形式で配置された各種画面を表示する。
【００２７】
記憶部１３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって構成される。記憶部１３は、演算部１４及び制御部１５がそれぞれ実行する各種プログラムや各種設定情報を記録するほか、記録装置２０から読み込まれた画像ファイルを一時的に記憶する。具体的には、記憶部１３は、複数の薄切標本画像間でのマッチング処理を行う画像処理プログラム１３１と、当該画像処理プログラムの実行中に演算部１４が使用する先見情報が記憶される先見情報記憶部１３２とを有する。
【００２８】
ここで、先見情報とは、薄切標本の部位や、薄切標本を構成する組織や細胞中の構造物といった要素（以下、これらをまとめて構成要素又は標本構成要素ともいう）や、各標本構成要素の特徴や、薄切標本に施した染色の種類及び特性等に関する一般的な情報、又は、実験により予め取得された情報（教師データ）のことである。これらの先見情報は、薄切標本画像から標本構成要素を分離抽出したり、各標本構成要素のマッチング処理への寄与率を算出したりする際に用いられる。なお、標本構成要素には、大きく分類して、生体を構成する主組織及び一般組織と、腔と、特異領域とが含まれる。主組織は、臓器に多く含まれる組織であり、弾性繊維、膠原繊維、血管等を含む。一般組織は、主組織以外の要素であり、細胞質、細胞膜、細胞核（以下、単に核ともいう）等の細胞内の構成要素や、赤血球、白血球等の血球（血液細胞）等を含む。腔とは、主組織や一般組織が存在しない領域であり、例えば、管状組織の断面や細胞質の隙間等に相当する。特異領域は、顕微鏡装置において弾性繊維や弾性繊維が隣接する領域に照射された光が、ある条件下で、減衰することなく、逆に光強度が増加するという特異的な現象を示す領域である。なお、このような特異的な現象は、弾性繊維のように細かい繊維の集合が帯状や束状になっている場合生じるものと考えられる。
先見情報の具体的な内容については後述する。
【００２９】
演算部１４は、例えばＣＰＵ等のハードウェアによって構成され、画像処理プログラム１３１を読み込むことにより、画像データベース２１から読み込んだ複数の薄切標本画像間におけるマッチング処理を実行する。
【００３０】
より詳細には、演算部１４は、処理対象である２つの薄切標本画像に写った薄切標本の属性を設定する標本属性設定部１４１と、設定された属性に基づいて記憶部１３から先見情報を取得する先見情報取得部１４２と、薄切標本画像内の標本構成要素を先見情報に基づいて分離抽出する標本構成要素分離部１４３と、分離抽出された各標本構成要素のマッチング処理への寄与率を先見情報に基づいて算出する寄与率算出部１４４と、算出された寄与率に基づいてマッチング評価値を算出することにより、２つの薄切標本画像間の相対位置を特定するマッチング処理部１４５とを有する。
【００３１】
制御部１５は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１３に記憶された各種プログラムを読み込むことにより、入力部１１から入力される操作信号等に従って、画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。
【００３２】
このような画像処理装置１０は、例えばパーソナルコンピュータやワークステーション等の汎用の装置によって構成することができる。
【００３３】
記録装置２０は、例えば、画像処理装置１０とデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置によって構成される。なお、記録装置２０は、画像処理装置１０に内蔵させても良く、この場合、上記列挙した種々の記録媒体及び読み取り装置のほか、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリ等を用いることができる。
【００３４】
画像データベース２１は、１つの生体組織標本の複数の切片における薄切標本を顕微鏡装置において撮像することにより生成された複数の画像ファイルを記録している。各画像ファイルは、薄切標本画像の画像データ及び付帯情報を含んでいる。付帯情報には、例えば、生体組織標本を採取した臓器の種類、薄切標本に施した染色の種類、薄切標本画像を撮像した際の検鏡法、画像の倍率、薄切切片の厚さ等の情報が含まれる。
【００３５】
次に、先見情報記憶部１３２に記憶された先見情報の内容について説明する。
図２は、薄切標本を採取した器官及び臓器と、各臓器に含まれる主な標本構成要素とを関連付けた先見情報を示すテーブルである。例えば、肺から採取された薄切標本においては、弾性繊維、細気管支、及び血管が主な標本構成要素となる。
【００３６】
図３は、各標本構成要素の形状の特徴を表す先見情報のテーブルである。形状の特徴は、例えば、核の場合には厚みｎ、赤血球の場合には径ｒｄ、血管の場合には長手方向と直交する断面の径ｂｄ、弾性繊維の場合には同断面の径ｅｄによってそれぞれ表される。
【００３７】
図４は、各標本構成要素を染色可能な染色の種類と、標本構成要素及び染色の種類の組み合わせに応じて決まる各画素の色分布特性を表すデータとを表す先見情報のテーブルである。色分布特性は、例えば、ＣＩＥｘｙ表色系におけるｘｙ色度図や、分光透過率のスペクトルや、推定色素量の分布等によって表すことができる。
【００３８】
図５は、ＣＩＥｘｙ表色系におけるｘｙ色度図である。ｘｙ色度図上の領域Ｐ１、Ｐ２、…は、標本構成要素及び染色の種類に応じた色分布特性を表す。色分布特性としてｘｙ色度図を用いる場合、図４に示す色分布特性のデータ１、２、…として、図５に例示するような領域Ｐ１、Ｐ２、…を表す座標データが記憶される。
【００３９】
図６は、薄切標本画像の画素位置に対応する薄切標本上の点における分光透過率のスペクトルの一例を示すグラフである。色分布特性として分光透過率の推定スペクトルを用いる場合、図４に示す色分布特性のデータ１、２、…として、図６に例示するようなスペクトルデータが記憶される。
【００４０】
なお、分光透過率のスペクトルは、マルチバンドで撮像された各バンド（波長帯域）に対応する薄切標本画像から、次の演算により推定することができる。
分光透過率ｔ（ｘn，λk）は、背景画像における各画素の画素値Ｉ0（ｘn，λk）と、薄切標本画像における各画素の画素値Ｉ（ｘn，λk）とを用いて、次式（１）により与えられる。ここで、背景画像とは、標本を載置せずに取得した顕微鏡画像のことである。また、ｘnは薄切標本画像を構成する各画素の画素位置を示す位置ベクトルであり、ｎ＝１〜Ｎ（Ｎは薄切標本画像の画素数）である。λkは各バンドの中心波長を示す（ｋはバンド数）。
【数１】
2013174823.tif 000003
【００４１】
図７は、薄切標本画像の画素位置に対応する薄切標本上の点における色素量の分布図の例であり、ＨＥ染色が施された標本構成要素（核、細胞質、繊維、血液）の色素量分布を示している。色分布特性として色素量を用いる場合、図４に示す色分布特性のデータ１、２、…として、図７に例示するような色素量の分布データが記憶される。
【００４２】
なお、薄切標本上における色素量は、マルチバンドで撮像された各バンド（波長帯域）の薄切標本画像から、次の演算により推定することができる。
まず、式（１）により分光透過率ｔ（ｘn，λk）を算出する。その後、Ｌａｍｂｅｒｔ−Ｂｅｅｒ則に従って、当該分光透過率ｔ（ｘn，λk）を与える次式（２）を複数の波長成分λkに関して連立させた連立方程式を解く。
【数２】
2013174823.tif 000004
式（２）において、係数ｋH（λk）及びｋE（λk）は、色素Ｈ及び色素Ｅにそれぞれ対応する係数であり、波長に依存して決まる物質固有の値である。また、値ｄHは色素Ｈの色素量であり、値ｄEは色素Ｅの色素量である。なお、ＨＥ染色以外の色素についても、上述した方法と同様にして算出することができる。
【００４３】
次に、画像処理装置１０の動作について説明する。図８は、画像処理装置１０の動作を示すフローチャートである。
まず、画像処理に先立って、画像処理装置１０は、画像データベース２１に記録されている複数の画像ファイルを表示部１２に表示させる。ユーザは、表示された画像ファイルのうちから、位置合わせする２つの薄切標本画像の画像ファイルを、マウス等の入力デバイスを用いて選択する。入力部１１は、２つの画像ファイルの選択信号を受け付けて制御部１５に入力する。
なお、ここで表示される画像は、１つの病理標本から採取された２つの切片（薄切標本）に対してそれぞれ撮像された画像である。
【００４４】
ステップＳ１０において、制御部１５は、選択された２つの画像ファイルを画像データベース２１から取得し、記憶部１３に一時的に記憶させる。
【００４５】
図９は、画像処理対象である薄切標本画像の一例を示す模式図である。図９に示す薄切標本画像Ｍ１には、弾性繊維ａ１０、その他の主組織ａ１１、核ａ１２、赤血球ａ１３、特異領域ａ１４、腔ａ１５等の標本構成要素が写っている。なお、画像Ｍ１の４隅は顕微鏡の視野外である背景領域ａ１６である。また、図９には、上記の標本構成要素以外に、例えば血管の内部や髄質等のように、後述するマッチング処理の対象にならない領域ａ１７も示されている。
上述した各種標本構成要素の有無、位置、形状等は、ステップＳ１０において取得される２つの薄切標本画像間で異なっている可能性が高い。
【００４６】
続くステップＳ１１において、標本属性設定部１４１は、取得された画像ファイルから画像データの付帯情報を読み出し、該付帯情報に基づいて薄切標本の属性を設定する。さらに、標本属性設定部１４１は、設定された薄切標本の属性が表示された画面を作成し、表示部１２に表示させる。
【００４７】
図１０は、表示部１２に表示される標本属性設定画面の一例を示す模式図である。図１０に示す標本属性設定画面Ｂ１には、ユーザが選択した画像処理対象２つの薄切標本画像Ｍ２ａ、Ｍ２ｂと、薄切標本画像Ｍ２ａ、Ｍ２ｂに写った臓器の種類（例えば、肝臓）、薄切標本画像Ｍ２ａ、Ｍ２ｂに写った薄切標本に施された染色の種類（例えば、ＨＥ染色、ＤＡＢ染色）、薄切標本画像Ｍ２ａ、Ｍ２ｂをそれぞれ撮像した際の検鏡方法（例えば、明視野観察、明視野観察）、薄切標本画像Ｍ２ａ、Ｍ２ｂの倍率（例えば、１０倍、４０倍）、薄切標本の厚さ（例えば、４μｍ）、薄切標本画像Ｍ２ａ、Ｍ２ｂの切片（スライス）間距離（例えば、不連続、１２μｍ）等の属性情報と、ＯＫボタンｂ１と、キャンセルボタンｂ２とが示されている。なお、薄切標本の厚さが４μｍであり、薄切標本画像Ｍ２ａと薄切標本画像Ｍ２ｂとのスライス間距離が１２μｍであるということは、両画像は、３スライス分離れていることになる。
【００４８】
ユーザは、これらの属性情報を標本属性設定画面Ｂ１上で確認し、間違いなければＯＫボタンｂ１をマウス等の入力デバイスを用いて選択する。それに応じて、入力部１１は、ＯＫボタンｂ１の選択信号を受け付けて制御部１５に入力する。標本属性設定部１４１は、制御部１５からの制御信号に従って、標本属性設定画面Ｂ１に表示された内容で標本属性を確定する。
【００４９】
また、標本属性設定画面Ｂ１において、各属性情報の表示内容は、例えばプルダウンメニューにより変更可能となっており、ユーザは、マウス等の入力デバイスを用いて所望の属性情報の内容を変更した上で、ＯＫボタンｂ１を選択することにより、当該属性情報を変更することができる。この場合、入力部１１は、属性情報の変更情報及びＯＫボタンｂ１の選択信号を受け付けて制御部１５に入力する。標本属性設定部１４１は、制御部１５からの制御信号に従って、変更後の内容で標本属性を確定する。
【００５０】
続くステップＳ１２において、先見情報取得部１４２は、設定された標本属性に基づいて、先見情報記憶部１３２から先見情報を取得する。詳細には、まず、標本属性のうち、薄切標本が採取された臓器（例えば、肝臓）に基づいて、図２に示すテーブルから、主な標本構成要素（例えば、静脈、肝細胞、毛細胆管）が取得される。また、取得された標本構成要素に基づいて、図３に示すテーブルから、各標本構成要素の形状の特徴が取得される。さらに、標本属性のうちの染色の種類（例えば、ＨＥ染色、ＤＡＢ染色）と図２に示すテーブルから取得された標本構成要素とに基づいて、色分布特性を表すデータが取得される。
【００５１】
続くステップＳ１３において、標本構成要素分離部１４３は、処理対象である２つの薄切標本画像の各々から標本構成要素を分離抽出し、各標本構成要素に対応するラベル画像を作成する。図１１は、標本構成要素の分離抽出及びラベル画像の作成処理を示すフローチャートである。以下においては、例として、図９に示す薄切標本画像Ｍ１に対する処理を説明する。
【００５２】
まず、ステップＳ１３１において、標本構成要素分離部１４３は、画像Ｍ１から背景領域ａ１６を除去する。
続くステップＳ１３２において、標本構成要素分離部１４３は、画像Ｍ１から腔ａ１５を抽出する。ここで、腔は標本構成要素が存在しない領域なので、画像Ｍ１内から輝度値が所定の閾値よりも高い領域を腔１５ａとして抽出すれば良い。なお、輝度値Ｙは、例えば、各画素の画素値（Ｒ値、Ｇ値、Ｂ値）から、次式（３）によって与えられる。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ  …（３）
【００５３】
ステップＳ１３３において、標本構成要素分離部１４３は、先見情報取得部１４２が取得した先見情報に基づき、腔ａ１５を除く領域から、主組織及び一般組織の領域に対応する画素群を抽出する。これらの画素群は、例えば、画像Ｍ１内の各画素の画素値から色特徴量（例えば、ＣＩＥｘｙ表色系におけるｘｙ色度図上の座標、分光透過率の推定スペクトル、推定色素量）を算出し、先見情報における標本構成要素ごとの色分布特性から主成分分析を行うことによって抽出することができる。或いは、画像Ｍ１内の各画素の色特徴量に対し、先見情報の色分布特性を教師データとして、サポートベクターマシン（ＳＶＭ）等の判別器を用いた学習判別処理を実行することにより、各標本構成要素に該当する画素群を抽出しても良い。それにより、画像Ｍ１の場合、弾性繊維ａ１０、その他の主組織ａ１１、核ａ１２、及び赤血球ａ１３が抽出される。
【００５４】
ステップＳ１３４において、標本構成要素分離部１４３は、画像Ｍ１から腔ａ１５、主組織、及び一般組織を抽出した後の残った領域から、特異領域ａ１４を抽出する。より詳細には、まず、残った領域を各画素の輝度値により二値化し、輝度値が所定の値以上である領域を特異的な画素として抽出する。そして、互いに隣接する複数の特異的な画素が存在する場合、それらの画素領域を特異領域として抽出する。一方、点在する特異的な画素はノイズと判断されて抽出されない。なお、輝度値の代わりに、各画素の画素値から算出された推定色素量を用いて特異領域ａ１４を抽出しても良い。
【００５５】
ステップＳ１３５において、標本構成要素分離部１４３は、ステップＳ１３２〜Ｓ１３４において抽出された領域（弾性繊維ａ１０、その他の主組織ａ１１、核ａ１２、赤血球ａ１３、特異領域ａ１４、及び腔ａ１５）に対して公知のラベリング処理を施して、連結された画素の集まりを１つのラベル領域とするラベル画像を生成する。それにより、抽出された各領域内の細かな情報が排除され、各領域を形状情報のみで特徴づけることが可能となる。なお、弾性繊維ａ１０等の繊維組織の場合には、線分を構成する画素の連結性を判定し、連結していると判定された画素同士を１つのラベル領域とする。また、各ラベル領域は、ラベル領域の種類ごと（即ち、対応する標本構成要素の種類ごと）にインデックスされる。
【００５６】
図１２は、画像Ｍ１に対応するラベル画像の例を示す模式図である。図１２に示すラベル画像Ｍ３には、弾性組織のラベル領域（以下、弾性組織ラベルという）ｂ１０、主組織のラベル領域（以下、主組織ラベルという）ｂ１１−１、ｂ１１−２、…、核のラベル領域（以下、核ラベルという）ｂ１２−１、ｂ１２−２、…、赤血球のラベル領域（以下、赤血球ラベルという）ｂ１３−１、ｂ１３−２、…、特異領域のラベル領域（以下、特異領域ラベルという）ｂ１４−１、ｂ１４−２、…、及び腔のラベル領域（以下、腔ラベルという）ｂ１５−１、ｂ１５−２、…が示されている。
その後、処理はメインルーチンに戻る。
【００５７】
ステップＳ１３に続くステップＳ１４において、寄与率算出部１４４は、各ラベル領域に対応する標本構成要素の先見情報（図３参照）に基づいて、各ラベル領域がマッチング処理に寄与する寄与率を算出する。図１３は、寄与率の算出処理を示すフローチャートである。以下においては、例として、図１２に示すラベル画像Ｍ３に対する処理を説明する。
【００５８】
まず、ステップＳ１４１において、寄与率算出部１４４は、ラベル画像Ｍ３内に存在する特異領域ラベルｂ１４−１、ｂ１４−２、…の寄与率をゼロに設定する。これは、特異領域は、マッチング対象である２つの画像のいずれか一方にしか含まれていない可能性が高いので、マッチング処理に使用しないようにするためである。
【００５９】
続くステップＳ１４２において、寄与率算出部１４４は、標本構成要素の形状の特徴に関する先見情報（図３参照）に基づき、標本構成要素の厚みが薄切標本のスライス間距離以下である標本構成要素のラベル領域の寄与率をゼロに設定する。ここで、スライス間距離ｔは、薄切標本の厚みｄと切片間隔ｓとにより、ｔ＝ｄ×ｓで表される。例えば、核ラベルｂ１２−１、ｂ１２−２、…の場合、核の厚みがｎμｍであるため、ｎ≦ｔである場合に核ラベルｂ１２の寄与率はゼロに設定される。これは、厚みがスライス間距離以下である標本構成要素は、マッチング対象である２つの画像のいずれか一方にしか含まれていない可能性が高いので、マッチング処理に使用しないようにするためである。
【００６０】
ステップＳ１４３において、寄与率算出部１４４は、残りの（即ち、寄与率がゼロに設定されていない）ラベル領域について、形状特徴量を算出する。ラベル領域の形状特徴量としては、面積、周囲長、円形度、最大フィレ径、最小フィレ径、伸長度等が挙げられる。
【００６１】
ステップＳ１４４において、寄与率算出部１４４は、ステップＳ１４３において算出した形状特徴量から、各ラベル領域の対円形比率を算出する。対円形比率ρは、円形度ｅ、最大フィレ径ｆmax、及び最小フィレ径ｆminを用いて、次式（４）により与えられる。
ρ＝ｅ×（ｆmin／ｆmax）  …（４）
【００６２】
ステップＳ１４５において、寄与率算出部１４４は、ステップＳ１４４において算出した対円形比率の分布を作成し、この分布から、各ラベル領域の寄与率を算出する。図１４は、対円形比率分布の一例を示すヒストグラムである。各ラベル領域の寄与率ＶCRは、そのラベル領域について算出された対円形比率ρのラベル数Ｌを、ヒストグラムにおける最大ラベル数Ｌmaxで正規化したものであり、ＶCR＝Ｌ／Ｌmaxで与えられる。
その後、処理はメインルーチンに戻る。
【００６３】
続くステップＳ１５において、マッチング処理部１４５は、２つの薄切標本画像からそれぞれ作成されたラベル画像間におけるマッチング処理を、各ラベル領域の寄与率に基づいて実行する。マッチング処理としては、パターンの変形を許容する、即ち、回転やスケールの変化に影響されず、パターンの際立つ特徴を選択してマッチングすることが可能なテンプレートマッチング（例えば、幾何学的パターンマッチング）が用いられる。なお、パターンマッチング処理の具体的手法については特に限定されず、公知の手法を用いることができる。
【００６４】
図１５は、マッチング処理を示すフローチャートである。また、図１６は、マッチング処理を説明するための模式図である。
まず、ステップＳ１５１において、マッチング処理部１４５は、テンプレート画像又はテンプレート領域を設定する。この際、マッチング対象である２つのラベル画像の倍率が互いに異なる場合、マッチング処理部１４５は、倍率が大きい方のラベル画像をテンプレート画像として設定する。併せて、テンプレート画像となる倍率が大きい方の画像のサイズを縮小して、マッチングされる方のラベル画像の倍率に合わせておく。図１６（ａ）は、マッチングされるラベル画像Ｍ３を示す模式図であり、図１６（ｂ）はテンプレート画像として設定されたラベル画像（以下、テンプレート画像）Ｔを示す模式図である。
【００６５】
また、マッチング対象である２つのラベル画像の倍率が等しい場合、マッチング処理部１４５は、いずれか一方のラベル画像をテンプレート画像として設定する。なお、テンプレート画像の設定は、ユーザが手動で画像を選択したり、或いは画像内の一部の領域を選択できるようにしても良い。この場合、マッチング処理部１４５は、入力部１１からの入力信号に従い、選択された画像又は領域をテンプレート画像として設定する。
【００６６】
続くステップＳ１５２において、マッチング処理部１４５は、テンプレート画像（領域）Ｔに含まれるラベル領域のマッチング順を決定する。マッチング順は、基本的には、面積が大きいラベル領域が優先される。また、ラベル領域の種類ごとに面積のばらつきがある場合には、面積が最も大きいラベル領域と同種のラベル領域に対して、連続するマッチング順が与えられる。例えば、３つの核ラベルの面積がそれぞれ３０、１５、５（単位は任意）であり、３つの細胞質ラベルの面積がそれぞれ５０、２０、１０（同上）である場合、３つの細胞質ラベルの面積が大きい順、次いで、３つの核ラベルの面積が大きい順にマッチング順が与えられる。
【００６７】
ステップＳ１５３において、マッチング処理部１４５は、テンプレート画像Ｔ及びラベル画像Ｍ３内の各ラベル領域について、マッチングを行う際に指標となる特徴量ＡCHを算出する。特徴量ＡCHとしては、例えば、幾何学的パラメータや、ラベルのスペクトル分析（高速フーリエ変換（ＦＦＴ）によって算出されるスペクトル成分）等が挙げられる。
【００６８】
続いて、マッチング処理部１４５は、図１６（ｃ）に示すように、ラベル画像Ｍ３上でテンプレート画像Ｔをスキャンし、テンプレート画像Ｔと重なったラベル画像Ｍ３内の各区画に対してループＡの処理を実行する。以下のステップＳ１５４、Ｓ１５５においては、図１７に示すように、テンプレート画像Ｔと、ラベル画像Ｍ３内の一区画Ｍ３−ｉ（ｉ＝１、２、…）との間での処理を説明する。図１７（ａ）に示すように、テンプレート画像Ｔには、細胞質ラベルＣ1-1、Ｃ1-2と、核ラベルＮ1-1、Ｎ1-2、Ｎ1-3とが示されている。また、図１７（ｂ）に示すように、区画Ｍ３−ｉには、細胞質ラベルＣ2-1、Ｃ2-2、Ｃ2-3と、核ラベルＮ2-1、Ｎ2-2とが示されている。
【００６９】
ステップＳ１５４において、マッチング処理部１４５は、テンプレート画像Ｔと区画Ｍ３−ｉとの間で、ラベル領域ごとのマッチング誤差を算出する。そのために、まず、マッチング処理部１４５は、各ラベル領域がマッチングに寄与する度合いを示す特徴量Ｆを算出する。この特徴量Ｆは、ステップＳ１４において算出した寄与率ＶCRと、ステップＳ１５３において算出した特徴量ＡCHとの積によって与えられる。例えば、細胞質ラベルＣ1-1のマッチングに寄与する特徴量Ｆ（Ｃ1-1）は、細胞質ラベルＣ1-1の特徴量ＡCH（Ｃ1-1）と寄与率ＶCR（Ｃ1-1）との積ＡCH（Ｃ1-1）×ＶCR（Ｃ1-1）となる。
【００７０】
続いて、マッチング処理部１４５は、ステップＳ１５２において決定したマッチング順で、テンプレート画像Ｔ内のラベル領域を抽出し、区画Ｍ３−ｉ内の同種のラベル領域との間のマッチング誤差を算出する。マッチング誤差は、特徴量Ｆ同士の差分の絶対値が最小となる値として与えられる。例えば、図１７の場合、細胞質ラベルＣ1-1の区画Ｍ３−ｉ内の細胞質ラベルＣ2-1、Ｃ2-3、Ｃ2-3とのマッチング誤差Ｍ（Ｃ１）は、次式（５）のとおりとなる。
【数３】
2013174823.tif 000005
【００７１】
また、細胞質ラベルＣ1-2と区画Ｍ３−ｉ内の細胞質ラベルＣ2-1、Ｃ2-3、Ｃ2-3とのマッチング誤差Ｍ（Ｃ２）は、次式（６）のとおりとなる。
【数４】
2013174823.tif 000006
【００７２】
核ラベルＮ1-1〜Ｎ1-3のマッチング誤差Ｍ（Ｎ１）〜Ｍ（Ｎ３）も同様にして、次式（７）〜（９）により算出される。
【数５】
2013174823.tif 000007
【００７３】
さらに、マッチング処理部１４５は、ラベル領域の種類ごとに、後述するマッチングスコアの算出において除外すべきマッチング誤差のはずれ値を検出する。例えば、核ラベルＮ1-1〜Ｎ1-3に対しては、マッチング誤差Ｍ（Ｎ１）〜Ｍ（Ｎ３）の平均Ａ（Ｎ）及び標準偏差σ（Ｎ）を次式（１０）及び（１１）により算出し、平均Ａ（Ｎ）±標準偏差σ（Ｎ）の範囲に入らないマッチング誤差をはずれ値とする。
【数６】
2013174823.tif 000008
【００７４】
この場合、次式（１２）又は（１３）を満たすマッチング誤差Ｍ（Ｎｊ）が除外される（ｊ＝１〜３）。
Ｍ（Ｎｊ）＞（Ａ（Ｎ）＋σ（Ｎ））  …（１２）
Ｍ（Ｎｊ）＜（Ａ（Ｎ）−σ（Ｎ））  …（１３）
【００７５】
ここで、同じ種類のラベル領域において、ほとんどのラベル領域のマッチング精度が高いにもかかわらず、一部のラベル領域のマッチング精度が極端に小さい場合に、そのようなラベル領域のマッチング誤差を含めて演算を行うと、マッチングスコアが低くなってしまう。これは、例えば、図１７に示すテンプレート画像Ｔ内の核ラベルＮ1-1、Ｎ1-2に対して、区画Ｍ３−ｉ内の核ラベルＮ2-1、Ｎ2-2が良好にマッチしているにもかかわらず、テンプレート画像Ｔ内の核ラベルＮ1-3に対応するラベルが、区画内Ｍ３−ｉに偶然存在していないような場合に相当する。そこで、上述したように、ラベル領域の種類ごとにマッチング誤差のはずれ値を予め除外して、その種類のラベル領域の平均的なマッチング誤差をもとに演算を行うことにより、マッチングスコアに対するはずれ値の影響を低減することができる。
【００７６】
続くステップＳ１５５において、マッチング処理部１４５は、当該区画Ｍ３−ｉにおけるマッチングスコア（マッチング評価値）を算出する。そのために、マッチング処理部１４５は、まず、上式（５）〜（９）から、ラベル領域の種類ごとにマッチング誤差を加算して、細胞質ラベル全体のマッチング誤差Ｍ（Ｃ）、及び核ラベル全体のマッチング誤差Ｍ（Ｎ）を算出する。この際、マッチング処理部１４５は、はずれ値として検出されたマッチング誤差（例えば、マッチング誤差Ｍ（Ｎ３））を除外して演算を行う。
Ｍ（Ｃ）＝Ｍ（Ｃ１）＋Ｍ（Ｃ２）
Ｍ（Ｎ）＝Ｍ（Ｎ１）＋Ｍ（Ｎ２）
【００７７】
マッチング処理部１４５は、これらのマッチング誤差Ｍ（Ｃ）及びＭ（Ｎ）から、区域Ｍ３−ｉにおけるマッチングスコアＭを、次式（１４）により算出する。
【数７】
2013174823.tif 000009
【００７８】
マッチング処理部１４５は、ラベル画像Ｍ３内の区画に対して上記ループＡの処理を実行した後、ステップＳ１５６において、マッチングスコアＭが最大となる区画を選択する。選択された区画が、ラベル画像Ｍ３に対するラベル画像（テンプレート画像）Ｔの相対位置を表す。
その後、処理はメインルーチンに戻る。
【００７９】
ステップＳ１５に続くステップＳ１６において、演算部１４は、マッチング結果を出力する。これに応じて、制御部１５は、マッチング結果を所定の形式で表示部１２に表示させる。図１８は、マッチング結果の表示例を示す模式図である。図１８に示すマッチング結果表示画面Ｂ２は、図１０に示す標本属性設定画面Ｂ１に対して、マッチング領域表示枠ｂ３と、重ね合わせ画像表示欄ｂ４と、画像変形情報表示欄ｂ５とを追加した形式となっている。
【００８０】
マッチング領域表示枠ｂ３は、薄切標本画像Ｍ２ａ、Ｍ２ｂ間で対応する領域を表す。例えば、倍率が大きい方の薄切標本画像Ｍ２ｂ全体がテンプレート画像として用いられた場合、薄切標本画像Ｍ２ｂに対応する薄切標本画像Ｍ２ａ内の領域を示す枠が、薄切標本画像Ｍ２ａ上に表示される。
【００８１】
重ね合わせ画像表示欄ｂ４は、画像Ｍ２ａと画像Ｍ２ｂとの間で対応する領域同士を重ね合わせた画像が表示される欄である。
【００８２】
画像変形情報表示欄ｂ５は、画像Ｍ２ａ、Ｍ２ｂ間で対応する領域同士に変化が見られる場合に、その変化の内容が表示される欄である。具体的には、画像のスケール情報、いずれかの画像が回転している場合における回転角度情報、マッチングの確からしさを表す類似度等の情報が表示される。
【００８３】
以上説明したように、実施の形態１によれば、標本構成要素の先見情報に基づいて、各標本構成要素に対応するラベル領域がマッチング処理に寄与する寄与度を算出し、寄与度及び各ラベル領域の特徴量とに基づいてパターンマッチングを行うので、生体組織標本の切片間で変化の大きい標本構成要素をマッチングスコアの演算から積極的に排除することができる。従って、処理対象の薄切標本画像間で切片が離れていたり、薄切標本に施した染色が互いに異なっている場合であっても、精度の高いマッチング処理を行うことが可能となる。
【００８４】
なお、実施の形態１において、画像処理装置１０は、記録装置２０に格納された画像データベース２１から画像ファイルを取得しているが、画像を取得する手段については特に限定されず、例えば、ネットワーク経由で画像ファイルを取得することとしても良い。この場合、記憶装置２０の構成は不要となる。
【００８５】
また、実施の形態１において、演算部１４は、記憶部１３から先見情報を取得しているが、先見情報を取得する手段については特に限定されない。例えば、画像ファイルに先見情報を付帯させ、画像ファイルを読み込むと同時に先見情報が取得されることとしても良いし、画像の属性情報に基づいてネットワーク経由で検索を行うことにより先見情報を取得することとしても良い。
また、本実施形態においては、２つの画像に対する位置合わせ処理を例として説明したが、２つ以上の画像を一度に処理することも可能である。
【００８６】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
図１９は、実施の形態２に係る顕微鏡システムの構成を示す図である。図１９に示すように、実施の形態２に係る顕微鏡システム１は、複数の検鏡法による観察が可能な顕微鏡装置３０と、顕微鏡装置３０における観察画像を撮像して画像データを生成して出力する撮像部４０と、撮像部４０から出力された画像データを処理する画像処理装置１０−２と、画像処理装置１０−２の制御の下で顕微鏡装置３０の動作を制御する顕微鏡制御部５０とを備える。
【００８７】
顕微鏡装置３０は、略Ｃ字形のアーム部３１と、該アーム部３１に設けられた落射照明用光源３２及び落射照明光学系３２ａと、透過照明用光源３３及び透過照明光学系３３ａと、アーム部３１に取り付けられた標本ステージ３４と、観察光路Ｌ0上に標本ステージ３４と対向して配置された対物レンズ３５１を含む対物レンズユニット３５と、観察光路Ｌ0上に設けられたキューブユニット３６と、観察光路Ｌ0上に設けられた三眼鏡筒ユニット３７と、該三眼鏡筒ユニット３７を介して設けられた接眼レンズユニット３８と、三眼鏡筒ユニット３７に連結された結像レンズユニット３９とを有する。この結像レンズユニット３９の端部に、撮像部４０が設けられている。
【００８８】
落射照明光学系３２ａは、落射照明用光源３２から出射した落射照明光を集光して観察光路Ｌ0の方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。一方、透過照明光学系３３ａは、透過照明用光源３３から出射した透過照明光を集光して観察光路Ｌ0の方向に導く種々の光学部材（コレクタレンズ、フィルタユニット、視野絞り、シャッタ、開口絞り、コンデンサ光学素子ユニット、トップレンズユニット等）を含む。
【００８９】
標本ステージ３４には、観察対象である標本（薄切標本）Ｓが載置される。標本ステージ３４は、図示しない駆動装置により駆動されて、観察光路Ｌ0と直交する平面内を２次元的に移動することにより、対物レンズ３５１の視野に対する標本Ｓの領域を変化させる。
【００９０】
標本ステージ３４には、図示しないモータ及び顕微鏡制御部５０の下で動作するモータ駆動部が設けられており、顕微鏡制御部５０を介して画像処理装置１０−２から標本ステージ３４の位置を制御することができる。また、標本ステージ３４には図示しないエンコーダが設けられており、このエンコーダの出力信号を顕微鏡制御部５０を介して画像処理装置１０−２に入力することにより、画像処理装置１０−２において標本ステージ３４の位置を把握することができる。
【００９１】
対物レンズユニット３５は、倍率が互いに異なる複数の対物レンズ３５１、３５２と、これらの対物レンズ３５１、３５２を保持するレボルバ３５３とを含む。レボルバ３５３を回転させて、観察光路Ｌ0上の標本ステージ３４と対向する位置に配置される対物レンズ３５１、３５２を切り替えることにより、顕微鏡画像の倍率を変化させることができる。なお、図１９においては、対物レンズ３５１が観察光路Ｌ0上に配置された状態を示している。また、レボルバ３５３には、図示しないエンコーダ及び対物レンズ３５１、３５２を個別に検出可能なセンサが設けられており、エンコーダ及びセンサからの出力信号を顕微鏡制御部５０を介して画像処理装置１０−２に入力することにより、画像処理装置１０−２において、現在どの倍率の対物レンズが観察光路Ｌ0上に配置されているかを把握することができる。
【００９２】
キューブユニット３６は、複数の光学キューブ３６１、３６２と、これらの光学キューブ３６１、３６２を切換可能に保持するキューブ切換部３６３とを含み、各種検鏡法に応じて、観察光路Ｌ0上に配置される光学キューブ３６１、３６２を切り替える。
【００９３】
三眼鏡筒ユニット３７は、対物レンズ３５１から入射した標本Ｓの観察光（透過光又は蛍光光）を、接眼レンズユニット３８の方向と結像レンズユニット３９の方向とに分岐する。
接眼レンズユニット３８は、ユーザが標本Ｓを直接観察する際に用いられる。
【００９４】
結像レンズユニット３９には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（図示せず）とを含むズーム部が設けられている。ズーム部は、ズームレンズの位置を調整することにより、撮像視野内の撮像対象を拡大又は縮小させる。
【００９５】
撮像部４０は、例えばＣＣＤ等の撮像素子を含み、各画素において互いに異なる複数の波長帯域（バンド）における画素レベル（画素値）を持つカラー画像を撮像可能なマルチバンドカメラによって構成される。
【００９６】
撮像部４０は、対物レンズ３５１にから出射し、結像レンズユニット３９を介して入射した光（観察光）を受光する受光面４０ａを有し、観察光を対応する画像データを生成して画像処理装置１０−２に出力する。
【００９７】
画像処理装置１０−２は、図１に示す画像処理装置１０に対し、画像取得部１６を更に備えた構成を有する。画像取得部１６は、撮像部４０から出力された画像データの入力を受け付けるインタフェースである。なお、画像取得部１６以外の画像処理装置１０−２の構成及び動作は、実施の形態１と同様である。
【００９８】
顕微鏡制御部５０は、制御部１５から出力される各種制御信号に従って、顕微鏡装置３０における標本ステージ３４や結像レンズユニット３９内のズーム部等の動作を制御する。また、顕微鏡制御部５０は、顕微鏡装置３０の各部（標本ステージ３４やレボルバ３５３に設けられたエンコーダ等）から出力された出力信号を受け付け、画像処理装置１０−２に出力する。画像処理装置１０−２は、これらの出力信号から、標本ステージ３４の位置や使用中の対物レンズの倍率といった顕微鏡装置３０の状態を認識することができる。
【００９９】
次に、実施の形態２に係る顕微鏡観察方法を説明する。図２０は、実施の形態２に係る顕微鏡システム１の動作を示すフローチャートである。
まず、画像処理に先立って、ユーザは、分析対象である生体標本から採取した薄切標本Ｓを顕微鏡装置３０の標本ステージ３４上に載置すると共に、レボルバ３５３を回転させて低倍率の対物レンズをセットする。ここで、低倍率とは、薄切標本画像を取得する場合、通常は２０倍〜６０倍程度で撮像されるのに対し、例えば４倍程度の倍率を意味する。また、ユーザは、表示部１２に表示された画像ファイルのうちから、薄切標本Ｓと同じ生体組織標本から採取された薄切標本の画像ファイルを、マウス等の入力デバイスを用いて選択する。入力部１１は、画像ファイルの選択信号を受け付けて制御部１５に入力する。
【０１００】
ステップＳ２０において、制御部１５は、選択された画像ファイルを画像データベース２１から取得し、記憶部１３に一時的に記憶させる。図２１（ａ）は、選択された画像ファイルから再生された薄切標本画像の例を示す模式図である。
【０１０１】
続くステップＳ２１において、顕微鏡システム１は、薄切標本Ｓを低倍率で撮像し、薄切標本画像の画像データ及び付帯情報を生成する。生成された画像データ及び付帯情報は、画像取得部１６を介して画像処理装置１０−２に入力される。これにより、薄切標本Ｓが全体的に写った薄切標本画像が取得される。図２１（ｂ）は、新たに撮像された低倍率の薄切標本画像の例を示す模式図である。
【０１０２】
ステップＳ２２において、標本属性設定部１４１は、画像データベース２１から取得された画像ファイル及び新たに生成された画像データ及び付帯情報に基づいて薄切標本の属性を設定する。
その後のステップＳ１２〜Ｓ１５の処理は、実施の形態１と同様である。
【０１０３】
ステップＳ１５におけるマッチング処理の終了後、ユーザがレボルバ３５３を回転させて、顕微鏡装置３０における撮像倍率を高倍率（例えば、２０倍〜６０倍程度）に変化させると、画像処理装置１０−２は、マッチング結果に基づき、撮像倍率に応じた薄切標本Ｓの撮像領域を設定する（ステップＳ２３）。例えば、画像処理装置１０−２は、画像Ｍ５に対して、低倍率の画像Ｍ６における区画Ｍ７のマッチング類似度が高いと判断すると、区画Ｍ７に対応する薄切標本Ｓ内の領域が対物レンズ３５１の撮像視野に入るように、標本ステージ３４を駆動するための制御信号を出力する。
【０１０４】
ステップＳ２４において、顕微鏡システム１は、設定された撮像領域を高倍率で撮像することにより、区画Ｍ７の詳細情報を表す薄切標本画像の画像データ及び付帯情報を生成する。生成された画像データ及び付帯情報を含む画像ファイルは、画像処理装置１０−２に取り込まれ、表示部１２に表示され、或いは、適宜画像処理が施されると共に、画像データベース２１に格納される。
【０１０５】
以上説明したように、実施の形態２によれば、ユーザは、選択した薄切標本画像に対応する領域の画像を、別の薄切標本を撮像することにより、リアルタイムに取得することが可能となる。従って、ユーザは、関心のある薄切標本画像の近傍の領域や関連のある領域について、さらに拡大した画像で詳細に観察したい場合や、別の染色や別の検鏡法を用いて異なる観点から観察したい場合にも、容易に所望の画像を取得することが可能となる。
【０１０６】
なお、実施の形態２においては、対物レンズの倍率をユーザが手動で変更しているが、対物レンズ３５１、３５２を保持するレボルバ３５３に回転駆動手段を設け、この回転駆動手段の動作を顕微鏡制御部５０を介して画像処理装置１０−２側で制御することにより、顕微鏡装置３０における撮像倍率を自動で変更できるようにしても良い。或いは、結像レンズユニット３９に設けられたズーム部の動作を顕微鏡制御部５０を介して画像処理装置１０−２側で制御することにより、顕微鏡装置３０における撮像倍率を自動で変更するようにしても良い。
【０１０７】
以上説明した実施の形態１及び２はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【符号の説明】
【０１０８】
１  顕微鏡システム
１０、１０−２  画像処理装置
１１  入力部
１１１  画像ファイル指定部
１２  表示部
１３  記憶部
１３１  画像処理プログラム
１３２  先見情報記憶部
１４  演算部
１４１  標本属性設定部
１４２  先見情報取得部
１４３  標本構成要素分離部
１４４  寄与率算出部
１４５  マッチング処理部
１５  制御部
１６  画像取得部
２０  記録装置
２１  画像データベース
３０  顕微鏡装置
３１  アーム部
３２  落射照明用光源
３２ａ  落射照明光学系
３３  透過照明用光源
３３ａ  透過照明光学系
３４  標本ステージ
３５  対物レンズユニット
３５１、３５２  対物レンズ
３５３  レボルバ
３６  キューブユニット
３６１、３６２  光学キューブ
３６３  キューブ切換部
３７  三眼鏡筒ユニット
３８  接眼レンズユニット
３９  結像レンズユニット
４０  撮像部
４０ａ  受光面
５０  顕微鏡制御部
【図１】
2013174823.tif 000010
【図２】
2013174823.tif 000011
【図３】
2013174823.tif 000012
【図４】
2013174823.tif 000013
【図５】
2013174823.tif 000014
【図６】
2013174823.tif 000015
【図７】
2013174823.tif 000016
【図８】
2013174823.tif 000017
【図９】
2013174823.tif 000018
【図１０】
2013174823.tif 000019
【図１１】
2013174823.tif 000020
【図１２】
2013174823.tif 000021
【図１３】
2013174823.tif 000022
【図１４】
2013174823.tif 000023
【図１５】
2013174823.tif 000024
【図１６】
2013174823.tif 000025
【図１７】
2013174823.tif 000026
【図１８】
2013174823.tif 000027
【図１９】
2013174823.tif 000028
【図２０】
2013174823.tif 000029
【図２１】
2013174823.tif 000030