(57)【要約】【課題】標本の色を忠実に再現するために必要な標本の染色方法を、取得した標本画像から自動的に決定することが可能な顕微鏡システムを提供すること。【解決手段】標本像を拡大観察する顕微鏡１と、前記顕微鏡で得た前記標本像を撮像して標本画像を出力する撮像手段２１と、前記標本画像の色味を判別する色味判別手段２３１１と、前記色味判別手段の結果と予め用意されている基準の色分布データとから前記標本の染色方法を決定する染色方法決定手段２３１３と、前記染色方法決定手段により決定された前記染色方法に対応する色変換マトリクスを選択する色変換マトリクス選択手段２３０６と、選択された前記色変換マトリクスを用いて前記観察画像の色変換を行う色変換手段２３０４と、を有することを特徴とする顕微鏡システム１００。【選択図】図２
2009294463.tif 000002
【特許請求の範囲】
【請求項１】
標本を拡大観察する顕微鏡と、
前記顕微鏡で得た前記標本の像を撮像して標本画像を出力する撮像手段と、
前記標本画像の色味を判別する色味判別手段と、
前記色味判別手段の結果と予め用意されている基準の色分布データとから前記標本の染色方法を決定する染色方法決定手段と、
前記染色方法決定手段により決定された前記染色方法に対応する色変換マトリクスを選択する色変換マトリクス選択手段と、
選択された前記色変換マトリクスを用いて前記観察画像の色変換を行う色変換手段と、を有することを特徴とする顕微鏡システム。
【請求項２】
前記色分布データを記憶する色分布データ記憶部を有することを特徴とする請求項１に記載の顕微鏡システム。
【請求項３】
前記色変換マトリクスを記憶する色変換マトリクス記憶部を有することを特徴とする請求項１または２に記載の顕微鏡システム。
【請求項４】
前記色変換マトリクス記憶部は、標準色変換マトリクスを有することを特徴とする請求項３に記載の顕微鏡システム。
【請求項５】
前記顕微鏡の照明光の色温度を検出する色温度検出手段と、
検出された前記色温度で前記標本画像を色補正する色補正手段と、をさらに有することを特徴とする請求項１から４のいずれか１項に記載の顕微鏡システム。
【請求項６】
選択された前記色変換マトリクスに対応する色フィルタを選択する色フィルタ選択手段と、
選択された前記色フィルタを前記顕微鏡の光路に挿入する色フィルタ交換手段と、
を有することを特徴とする請求項１から５のいずれか１項に記載の顕微鏡システム。
【請求項７】
前記色フィルタの番号を記憶する色フィルタ番号記憶部を有することを特徴とする請求項６に記載の顕微鏡システム。
【請求項８】
前記顕微鏡は、明視野観察を含むことを特徴とする請求項１から７のいずれか１項に記載の顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡システムに関する。
【背景技術】
【０００２】
従来、顕微鏡で拡大された標本像をデジタルカメラで撮像し、撮像された標本画像に含まれる色成分を、あらかじめユーザが入力した染色方法に対応する色変換マトリクスを参照してこの色変換マトリクスを用いて忠実な色を再現する顕微鏡用デジタルカメラが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００３-２３０１５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の装置では、染色方法に対応する色変換マトリクスをユーザが標本観察時に染色方法を確認、入力する等の煩雑な作業が発生すると言う問題がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明は、標本を拡大観察する顕微鏡と、前記顕微鏡で得た前記標本の像を撮像して標本画像を出力する撮像手段と、前記標本画像の色味を判別する色味判別手段と、前記色味判別手段の結果と予め用意されている基準の色分布データとから前記標本の染色方法を決定する染色方法決定手段と、前記染色方法決定手段により決定された前記染色方法に対応する色変換マトリクスを選択する色変換マトリクス選択手段と、選択された前記色変換マトリクスを用いて前記観察画像の色変換を行う色変換手段と、を有することを特徴とする顕微鏡システムを提供する。
【発明の効果】
【０００５】
本発明によれば、標本の色を忠実に再現するために必要な標本の染色方法を、取得した標本画像から自動的に決定することが可能な顕微鏡システムを提供することができる。
【発明を実施するための最良の形態】
【０００６】
以下、本発明の実施の形態に係る顕微鏡システムについて図面を参照しつつ説明する。なお、以下の実施の形態は、発明の理解の容易化のためのものに過ぎず、本発明の技術的思想を逸脱しない範囲において当業者により実施可能な付加・置換等を施すことを排除することは意図していない。
【０００７】
図１は、実施の形態に係る顕微鏡システムの概略構成図を示す。
【０００８】
図１において、顕微鏡１に接続された撮像装置２は、顕微鏡１のステージ１２上に置かれた試料１３を照明装置１４で照明し後述する観察画像をカメラ部２１で撮像する。カメラ部２１で撮像した観察画像は、ケーブル２２を介してカメラ部２１からＣＣＵ２３（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）へ送られる。なお、レボルバ１５を回転することで使用する対物レンズ１６を交換し、試料１３の観察画像の倍率を変更することができる。
【０００９】
ＣＣＵ２３は、カメラ部２１から送られた観察画像に後述する色補正および色変換処理を行い、標本１３の染色方法に応じた好適な観察画像をモニタ３に表示する。このとき、ユーザはマウス５を操作することにより、ＣＣＵ２３が実行する画像処理内容を指示することができる。
【００１０】
また、顕微鏡１はＵＳＢインターフェースケーブル１８を介してＣＣＵ２３に接続され、ＣＣＵ２３は顕微鏡１に制御コマンドを発行することにより顕微鏡１の情報を取得したり、顕微鏡１の光路中に後述する色フィルタの交換動作を行ったりすることができる。また、顕微鏡１の接眼レンズ１７を介して標本像の目視観察も可能である。このようにして顕微鏡システム１００が構成されている。
【００１１】
また、顕微鏡システム１００では、標本１３は主に無色の細胞であり、目視で明確に判別できるようにするために選択した染色液を滴下して細胞を染色している。現在、その用途により様々な染色方法が知られており、顕微鏡システム１００はカメラ部２１で撮像した観察画像をモニタ３で好適な画像として観察可能にするために、標本１３の染色方法に好適な色補正および色変換処理を実行することができる。
【００１２】
以下、図２を参照しつつ観察画像処理について説明する。
【００１３】
図２は、実施の形態に係る顕微鏡システム１００のＣＣＵ２３の機能ブロック図を示す。
【００１４】
図２において、カメラ部２１でデジタル化されたＲＡＷ形式の標本画像情報はカメラヘッドインターフェース部２３０１を介して補正処理ブロック２３０１に入力される。補正処理ブロック２３０２は、入力された観察画像に色バランス補正、欠陥補正、シェーディング補正、γ値補正等の各種補正処理を行う。
【００１５】
その後、ＲＧＢ画素補間ブロック２３０３でモニタ３に表示可能なＲＧＢ形式に変換され、色変換ブロック２３０４で色変換がさらに行われ、モニタ表示制御部２３０５を介してモニタ３に標本画像が表示される。
【００１６】
また、ＣＰＵ２３０６は、ＵＳＢ制御部２３０８を介して顕微鏡１にステージ１２を移動する指示を出して対物レンズ１６を標本１３が無く照明光が当たる位置に移動させて照明光のみの画像をカメラ部２１で撮像する。撮像された画像は、カメラヘッドインターフェース部２３０１、補正処理ブロック２３０２、ＲＧＢ画素補間ブロック２３０３、色変換ブロック２３０４を介して取得後、ＣＰＵ２３０６がホワイトバランスを計算する。そしてＣＰＵ２３０６は、計算したホワイトバランス値をホワイトバランス値記憶部２３０９へ格納する。この値は補正処理ブロック２３０２において色バランス補正等の補正の際に使用される。
【００１７】
また、ＣＰＵ２３０６は顕微鏡１から照明光の色温度をＵＳＢ制御部２３０８を介して取得し、取得した色温度を色補正回路２３１０に格納する。この色温度情報は、後述する色味判別において使用される。この後、ＣＰＵ２３０６は再びＵＳＢ制御部２３０８を介して顕微鏡１にステージ１２を移動する指示を出し、対物レンズ１６を標本１３のある位置に移動させ標本画像をカメラ部２１で取得する。
【００１８】
このとき、操作者が染色された標本１３を図１に示す顕微鏡１のステージ１２上に置き、入力デバイス５を操作し、入力デバイス制御部２３２１、およびメニュー表示部２３２２を介してＣＰＵ２３０６に入力して、モニタ表示制御部２３０５を介してモニタ３上に表示したメニュー画面上で色調整の指示操作等を行うことができる。
【００１９】
ＣＰＵ２３０６は、入力デバイス５によるモニタ３上のメニュー表示部からの色調整開始指示を受け取ると、色変換ブロック２３０４で使用する色変換マトリクスとして色変換マトリクス記憶部２３０７に格納されている標準色変換マトリクス２３０７ｓを選択する。
【００２０】
色補正回路２３１０は、色変換ブロック２３０４から出力されたＲＧＢ標本画像より色温度の影響を取り除いたＲＧＢ値を既知の方法で求め、色味判別部２３１１に入力する。
【００２１】
色味判別部２３１１では、取得した１フレームの標本画像のＲＧＢ値をＹＣｂＣｒ値に下記の変換式群（１）に基づき変換して存在する色を判別して染色方法決定部２３１３に出力する。
Ｙ    ＝  0.2990Ｒ 十 0.5870Ｇ 十 0.1140Ｂ
Ｃｂ  ＝−0.1687Ｒ − 0.3313Ｇ 十 0.5000Ｂ      （１）
Ｃｒ  ＝  0.5000Ｒ − 0.4187Ｇ − 0.0813Ｂ
【００２２】
染色方法決定部２３１３は、ＹＣｂＣｒ値を色分布データ記億部２３１２に格納されている、例えばＨＥ染色色分布データ２３１２ａ、アザン染色色分布データ２３１２ｂ、ワンギーソン染色色分布データ２３１２ｃ、マッソントリクローム染色色分布データ２３１２ｄ等、各染色方法に対応する色分布データと比較して標本画像から標本１３の染色方法を決定する。
【００２３】
ここで、図３から図５を参照しつつ色味判別部２３１１の処理について説明する。
【００２４】
図３は、ＣｂＣｒ座標を所定領域に分割(１６分割)した図を示す。図４は図３に示す領域１から１６に対する画素数の一例を示す図である。図５は登録されている色分布データ２３１２ａ〜ｄの一例で図３に示す領域１から１６に対する、各染色方法の重み付けを示す図である。
【００２５】
図３に示すように、色味判別部２３１１は出力されたＹＣｂＣｒデータのうちＣｂＣｒデータを１６個の領域ｉ(１〜１６)に分割し、ＣｂＣｒ画素がどの領域に属しているのかを１フレームの画素すべて、または指定した領域について調べる。ＣｂおよびＣｒはそれぞれー１２８〜１２８までの値をとるので、各領域は原点と半径１２８の円周上の点を結ぶ線分がＸ軸となす角θによって分類することができる。
領域１はO≦θ＜π/8
領域２はπ/8≦θ＜2π/8
領域３は2π/8≦θ＜3π/8
領域４は3π/8≦θ＜4π/8
・・・・・
領域１６は15π/8≦θ＜16π/8
となる。
【００２６】
出力されたＣｂＣｒ画素を分類するには画素データの座標の点と原点を結ぶ線分が成す角θを求めればよい。今、出力されたＣｂ画素の値をa、Ｃｒ画素の値をｂとすると、
θ＝ｔａｎ−１(ｂ／ａ)
となる。
【００２７】
出力された全ＣｂＣｒ画素について上式に基づいて各領域に分類し、各領域に属する画素数をカウントし、図４に示す領域ｉと画素数Ｘｉのデーク表を作成する。
【００２８】
次に、あらかじめ格納しておく色分布データ２３１２ａの作成方法を説明する。これはある染色方法に関して存在し得る色の領域を特定しておき、それに重み付けをしたものである。
【００２９】
例えばＨＥ染色画像には領域５と１０と１２の色をもつ画素が含まれるとする。領域５重み付けＹ５５を０とし、その位置から離れていく領域ごとにＹ５ｉの値を＋１して１〜８までの数字を割り振る。また、領域１０と１２に関しても同様に重み付けを行ないＹ１０ｉとＹ１２ｉを決定する。これを図７に示す。これら３つの領域に関する重み付けデータ(Ｙ５ｉ，Ｙ１０ｉ，Ｙ１２ｉ)の中から最小のものをその染色方法のＹｉとする。作成された２３１２ａ色分布データの例を図５に示す。以下同様の方法で各染色方法に関して特定した存在し得る色の領域より色分布データ２３１２ｂ〜ｄを計算し登録しておく。Ｙｉは該当する染色方法で撮像した画像に存在しない画素の確率を示している。つまり存在し得る色との違いが顕著になるほど値は大きくなり存在する確率が低い。
【００３０】
染色方法決定部２３１３における染色方法の判定は、以下の判定係数を計算することにより行う。
判定係数＝ΣＸｉＹｉ
【００３１】
ここでＸiは標本画像の画素中で領域ｉに存在する画素の存在率（図４参照）、Ｙｉは色分布データにおける領域ｉの重み付けの値である（図５参照）。
【００３２】
染色方法決定部２３１３は、判定係数の計算を登録されているすべて色分布データ２３１２ａ、２３１２ｂ、２３１２ｃ、２３１２ｄに対して行い、最も小さい判定係数となる色分布データの染色方法が標本１３を染色した染色方法と決定する。ＣＰＵ２３０６は染色方法決定部２３１３により決定された染色方法情報を受取、色変換マトリクス（ＨＥ染色色変換マトリクス２３０７ａ、アザン染色色変換マトリクス２３０７ｂ、ワンギーソン染色色変換マトリクス２３０３ｃ、マッソントリクローム染色色変換マトリクス２３０７ｄ等）から対応する色変換マトリクスを色変換マトリクス記憶部２３０７より読み出して色変換ブロック２３０４にセットする。
【００３３】
また、ＣＰＵ２３０６は、色調整フィルタＮｏ記憶部２３１４（ＨＥ染色色調整儀フィルタＮｏ（２３１４ａ）、アザニン染色色調整儀フィルタＮｏ（２３１４ｂ）、ワンギーソン染色色調整儀フィルタＮｏ（２３１４ｃ）、マッソントリクローム染色色調整儀フィルタＮｏ（２３１４ｄ））から上記の決定された染色方法に最適な色調整フィルタＮｏを読み出してＵＳＢ制御部２３０８を介し、顕微鏡１の色フィルタ交換装置１９に色フィルタの交換指示を出す。
【００３４】
このようにＣＣＵ２３は、カメラ部２１で撮像した標本画像に色補正および色変換処理を行うことで、標本１３の染色方法に対応した色補正および色変換処理を自動で行い、モニタ３に表示することが可能できる。
【００３５】
次に、図２、図６を参照して色補正および色変換処理フローについて説明する。図６は色補正および色変換処理フローを示す。以下、ステップ毎に説明する。
【００３６】
（ステップＳ１）
ＣＰＵ２３０６は、ＵＳＢ制御部２３０８を介して顕微鏡１に照明装置１４の色温度測定指示を出す。
【００３７】
（ステップＳ２）
顕微鏡１は、ＣＰＵ２３０６からの指示を受け、照明装置１４の照明光の色温度計測を行う。
【００３８】
（ステップＳ３）
顕微鏡１は、計測した色温度情報をＣＰＵ２３０６にＵＳＢ制御部２３０８を介して送信する。
【００３９】
（ステップＳ４）
ＣＰＵ２３０６は、顕微鏡１からの色温度情報を取得し色補正回路２３１０に入力する。
【００４０】
（ステップＳ５）
ＣＰＵ２３０６は、顕微鏡１およびカメラ部２１に対して標本１３の標本画像を取得するよう指示を出す。カメラ部２１は標本の像を撮像して標本画像をＣＣＵ２３に出力する。
【００４１】
（ステップＳ６）
カメラ部２１から出力された標本画像は、カメラヘッドインターフェース部２３０１を介して補正処理ブロック２３０２に入力する。補正処理ブロック２３０２では、前もって計測しているホワイトバランス値（ホワイトバランス値記憶部２３０９）等を参照して色バランス補正、欠陥補正、シェーディング補正、γ値補正等の各種補正を行い、ＲＧＢ画素補間ブロック２３０３、色変換ブロック２３０４を介して色味判別部２３１１に入力する。このとき、ＣＰＵ２３０６は、色変換マトリクス記憶部２３０７から標準色変換マトリクス２３０７ｓを色変換ブロック２３０４に送り色変換に使用される。
【００４２】
（ステップＳ７）
色味判別部２３１１は、前述のＹＣｒＣｂ値処理等を行うことで標本画像の色味を画素ごとに判別する。このとき、前もって計測されている色温度情報が色補正回路２３１０を介して色味判定部２３１１で使用される。この判別結果は染色方法決定部２３１３に入力され、染色方法決定部２３１３は、色味判別結果と色分布データ記憶部２０１２の各染色色分布データ２３１２ａ〜２３１２ｄとを比較して、標本１３の染色方法を決定する。
【００４３】
（ステップＳ８）
ＣＰＵ２３０６は、染色方法決定部２３１３で決定された染色方法に対応する色変換マトリクスを色変換マトリクス記憶部２３０７から選択して色変換ブロック２３０４に送る。例えば、ＨＥ染色色分布データ２３１２ａが最も近い染色方法であると染色方法決定部２３１３が決定したとき、色変換マトリクス記憶部２３０７からＨＥ染色色変換マトリクス２３０７ａがＣＰＵ２３０６により選択される。そして、この選択されたＨＥ染色色変換マトリクス２３０７ａに基づき標本画像の色変換が色変換ブロック２３０４で行われる。色変換ブロック２３０４で色変換された標本画像は、モニタ表示制御部２３０５を介してモニタ３に表示される。
【００４４】
（ステップＳ９）
ＣＰＵ２３０６は、染色方法決定部２３１３で決定された染色方法に適した色調整フィルタＮｏを色調整フィルタＮｏ記憶部２３１４から選択してＵＳＢ制御部２３０８を介して顕微鏡１に伝達する。例えば、ＨＥ染色色分布データ２３１２ａが最も近い染色方法であると染色方法決定部２３１３が決定したとき、色調整フィルタＮｏ記憶部２３１４からＨＥ染色色調整フィルタＮｏ（２３１４ａ）がＣＰＵ２３０６により選択される。
【００４５】
（ステップＳ１０）
顕微鏡１では、ＣＰＵ２３０６が指示した色フィルタを色フィルタ交換装置１９が照明光学系の光路中に挿入する。この結果、標本１３の染色方法に好適な色フィルタが照明光学系にセットされ、標本１３の標本画像の色強調が行われる。
【００４６】
以上で、標本１３の染色方法の決定と標本画像の色補正および色変換処理が行われると共に、顕微鏡１の色フィルタの交換が行われる。
【００４７】
なお、この後、ステップＳ３からステップＳ１０を再度実行することで、標本画像の色味をより染色方法に対応した色味に近づけることができる。再実行時にステップＳ６で用いられる色変換マトリクスは、ステップＳ８で決定された染色方向に対応する色変換マトリクス（例えば、ＨＥ染色色変換マトリクス（２３０７ａ））である。
【００４８】
また、ステップＳ３からステップＳ１０の再実行は、色味をより良く再現するために実行する処理であり、実施の形態に係る顕微鏡システム１００では、ステップＳ１からステップＳ１０を１度実行することで十分な効果を奏することは言うまでもない。
【００４９】
以上述べたように、実施の形態に係る顕微鏡システム１００では、ＣＣＵ２３は標本１３の標本画像から標本１３が染色された染色方法を標本画像の色情報から自動的に判別して対応する色変換マトリクスを選択し、染色方法に好適な色味になるように標本画像を色変換することができる。
【００５０】
また、実施の形態に係る顕微鏡システム１００は、顕微鏡１の照明光に染色方法に最適な色フィルタを設定し、さらに良好な標本画像を取得することができる。
【図面の簡単な説明】
【００５１】
【図１】実施の形態に係る顕微鏡システムの概略構成図を示す。
【図２】実施の形態に係る顕微鏡システム１００のＣＣＵの機能ブロック図を示す。
【図３】ＹＣｂＣｒ座標を所定領域に分割（１６分割）した図示す。
【図４】図３に示す領域１から１６に対する画素の存在比率の一例を示す図。
【図５】図３に示す領域１から１６に対する、ある色分布データの重み付け値の一例を示す図である。
【図６】色補正および色変換処理フローを示す。
【図７】色分布データ２３１２ａ作成時の重み付け結果表の一例。
【符号の説明】
【００５２】
１      顕微鏡
２      撮像装置
３      モニタ
５      入力デバイス（マウス）
１２    ステージ
１３    標本
１４    照明装置
１５    レボルバ
１６    対物レンズ
１７    接眼レンズ
１８    ＵＳＢケーブル
１９    色フィルタ交換装置
２１    カメラ部
２２    ケーブル
２３    カメラコントロールユニット（ＣＣＵ）
１００  顕微鏡システム
２３０１  カメラヘッドインターフェース部
２３０２  補正処理ブロック
２３０３  ＲＧＢ画素補間ブロック
２３０４  色変換ブロック
２３０５  モニタ表示制御部
２３０６  ＣＰＵ
２３０７  色変換マトリクス記憶部
２３０８  ＵＳＢ制御部
２３０９  ホワイトバランス値記憶部
２３１０  色補正回路
２３１１  色味判定部
２３１２  色分布データ記憶部
２３１３  染色方法決定部
２３１４  色調整フィルタＮｏ記憶部
２３２１  入力デバイス制御部
２３２２  メニュー表示部
【図１】
2009294463.tif 000003
【図２】
2009294463.tif 000004
【図３】
2009294463.tif 000005
【図４】
2009294463.tif 000006
【図５】
2009294463.tif 000007
【図６】
2009294463.tif 000008
【図７】
2009294463.tif 000009