(57)【特許請求の範囲】
【請求項１】
観察光路上に配置された光学素子を介して試料の観察像を撮像してカラー画像を取得するカラー撮像素子と、
前記カラー画像を取得した際に用いられた光学素子を介して前記観察像を撮像してモノクロ画像を取得するモノクロ撮像素子と、
前記カラー画像から色情報を抽出し、該色情報に基づいて前記光学素子に対応する擬似カラーを決定する擬似カラー決定手段と、
該擬似カラー決定手段によって決定された擬似カラーを前記モノクロ画像に設定する擬似カラー設定手段と、を備える顕微鏡用撮像装置。
【請求項２】
前記擬似カラー決定手段が、
前記カラー画像に含まれる所定の画素のＲＧＢ各色成分の階調と最大階調の比であるＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍを求め、Ｒ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示すカラーパターンを決定し、該カラーパターンに基づいて前記光学素子に対応する擬似カラーを決定する請求項１に記載の顕微鏡用撮像装置。
ここで、ＲはＲ成分の階調、ＧはＧ成分の階調、ＢはＢ成分の階調、Ｍは前記所定の画素のＲ成分、Ｇ成分、Ｂ成分の階調の最大値である。
【請求項３】
予め定めたＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示す擬似カラーパターンを複数記憶すると共に、複数の該擬似カラーパターンに対応して定められた複数の擬似カラーとを予め記憶したメモリを備え、
前記擬似カラー決定手段が、
前記メモリに予め記憶した複数の擬似カラーパターンのうち、前記決定したカラーパターンと合致する擬似カラーパターンに基づいて擬似カラーを決定する請求項２に記載の顕微鏡用撮像装置。
【請求項４】
前記試料からの光を前記カラー撮像素子または前記モノクロ撮像素子のいずれかに導くように切り替える導光手段を備える請求項１乃至請求項３のいずれかに記載の顕微鏡用撮像装置。
【請求項５】
試料から生じた互いに異なる波長範囲の蛍光を透過させる特性を有する複数の光学素子のうち、何れかの光学素子を前記試料の観察光路上に切り替えて配置する光学素子切替手段と、
該光学素子切替手段によって観察光路上に配置された光学素子を介して前記試料の観察像を撮像してカラー画像を取得するカラー撮像素子と、
前記カラー画像を取得した際に用いられた光学素子を介して前記観察像を撮像してモノクロ画像を取得するモノクロ撮像素子と、
前記カラー画像から色情報を抽出し、該色情報に基づいて前記光学素子に対応する擬似カラーを決定する擬似カラー決定手段と、
該擬似カラー決定手段によって決定された擬似カラーを前記モノクロ画像に設定する擬似カラー設定手段と、を備える顕微鏡用撮像システム。
【請求項６】
前記擬似カラー決定手段が、
前記カラー画像に含まれる所定の画素のＲＧＢ各色成分の階調と最大階調の比であるＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍを求め、Ｒ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示すカラーパターンを決定し、該カラーパターンに基づいて前記光学素子に対応する擬似カラーを決定する請求項５に記載の顕微鏡用撮像システム。
ここで、ＲはＲ成分の階調、ＧはＧ成分の階調、ＢはＢ成分の階調、Ｍは前記所定の画素のＲ成分、Ｇ成分、Ｂ成分の階調の最大値である。
【請求項７】
予め定めたＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示す擬似カラーパターンを複数記憶すると共に、複数の該擬似カラーパターンに対応して定められた複数の擬似カラーとを予め記憶したメモリを備え、
前記擬似カラー決定手段が、
前記メモリに予め記憶した複数の擬似カラーパターンのうち、前記決定したカラーパターンと合致する擬似カラーパターンに基づいて擬似カラーを決定する請求項６に記載の顕微鏡用撮像システム。
【請求項８】
前記試料からの光を前記カラー撮像素子または前記モノクロ撮像素子のいずれかに導くように切り替える導光手段を備える請求項５乃至請求項７のいずれかに記載の顕微鏡用撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡用撮像装置及び顕微鏡用撮像システムに関するものである。
【背景技術】
【０００２】
顕微鏡のステージに配置され複数の蛍光色素で染色した多重染色試料に対して、特定の波長域の励起光を照射し、試料から発する蛍光を検出することにより、試料の観察像を撮像する顕微鏡用撮像装置が知られている。このような顕微鏡用撮像装置において試料の観察像を撮像する際に、ターレットに搭載された複数の蛍光キューブ（光学素子）から、試料又は蛍光色素の種類に応じた最適な１つの蛍光キューブを切り替えて光路中に設置し、標本のモノクロ画像を撮像した後に、該モノクロ画像に蛍光キューブに対応した擬似カラーにより着色して表示させることにより観察を行うものがある。
このような顕微鏡用撮像装置の例として、特許文献１には、予め所定のメモリに複数の蛍光キューブの型番と擬似カラーとを対応づけて記憶しておき、観察を行う際に、撮像装置で撮像したカラーの観察像に基づいて蛍光キューブの型番を特定し、メモリから当該蛍光キューブに対応する擬似カラーを読み出して、読み出した擬似カラーをモノクロ画像に自動的に設定する顕微鏡画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５８０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の顕微鏡画像処理装置では、メモリから当該蛍光キューブに対応する擬似カラーを読み出して、この擬似カラーをモノクロ画像に設定するため、メモリに記憶されている蛍光キューブのみ使用することができるに留まり、他の蛍光キューブを用いることができない。近年、蛍光キューブとしては種々の性能のものが提供されており、これらの蛍光キューブをも自由に使用することが望まれている。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、光学素子に対応する擬似カラーを簡単に決定することにより多種多様な光学素子を適用可能とし、利便性を向上させることができる顕微鏡用撮像装置及び顕微鏡用撮像システムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、観察光路上に配置された光学素子を介して試料の観察像を撮像してカラー画像を取得するカラー撮像素子と、前記カラー画像を取得した際に用いられた光学素子を介して前記観察像を撮像してモノクロ画像を取得するモノクロ撮像素子と、前記カラー画像から色情報を抽出し、該色情報に基づいて前記光学素子に対応する擬似カラーを決定する擬似カラー決定手段と、該擬似カラー決定手段によって決定された擬似カラーを前記モノクロ画像に設定する擬似カラー設定手段と、を備える顕微鏡用撮像装置を提供する。
【０００７】
本発明によれば、カラー撮像素子によって取得されたカラー画像の色情報に基づいて、当該カラー画像を取得した際に用いられた光学素子に対応する擬似的に定めた擬似カラーを決定し、この擬似カラーをモノクロ撮像素子により取得したモノクロ画像に設定する。
すなわち、カラー画像の色情報に基づいて擬似カラーを決定するので、多種多様な光学素子を適用することができ、顕微鏡用撮像装置の利便性を向上させることができる。
【０００８】
上記発明において、前記擬似カラー決定手段が、前記カラー画像に含まれる所定の画素のＲＧＢ各色成分の階調と最大階調の比であるＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍを求め、Ｒ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示すカラーパターンを決定し、該カラーパターンに基づいて前記光学素子に対応する擬似カラーを決定することが好ましい。ここで、ＲはＲ成分の階調、ＧはＧ成分の階調、ＢはＢ成分の階調、Ｍは前記所定の画素のＲ成分、Ｇ成分、Ｂ成分の階調の最大値である。
【０００９】
このようにすることで、例えば、各色成分のうち最も輝度の高い色成分に基づく色を擬似カラーとして定めることができる。
【００１０】
上記発明において、予め定めたＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示す擬似カラーパターンを複数記憶すると共に、複数の該擬似カラーパターンに対応して定められた複数の擬似カラーとを予め記憶したメモリを備え、前記擬似カラー決定手段が、前記メモリに予め記憶した複数の擬似カラーパターンのうち、前記決定したカラーパターンと合致する擬似カラーパターンに基づいて擬似カラーを決定することが好ましい。
【００１１】
このようにすることで、予め定められた擬似カラーパターンの中から、カラー画像に基づくカラーパターンに相当するものを選定することで、該カラーパターンに基づいて都度擬似カラーを演算することなく、直ちに擬似カラーを決定することができる。
【００１２】
上記発明において、前記試料からの光を前記カラー撮像素子または前記モノクロ撮像素子のいずれかに導くように切り替える導光手段を備えることが好ましい。
このようにすることで、前記カラー画像及び前記モノクロ画像を容易に取得することができる。
【００１３】
本発明は、試料から生じた互いに異なる波長範囲の蛍光を透過させる特性を有する複数の光学素子のうち、何れかの光学素子を前記試料の観察光路上に切り替えて配置する光学素子切替手段と、該光学素子切替手段によって観察光路上に配置された光学素子を介して前記試料の観察像を撮像してカラー画像を取得するカラー撮像素子と、前記カラー画像を取得した際に用いられた光学素子を介して前記観察像を撮像してモノクロ画像を取得するモノクロ撮像素子と、前記カラー画像から色情報を抽出し、該色情報に基づいて前記光学素子に対応する擬似カラーを決定する擬似カラー決定手段と、該擬似カラー決定手段によって決定された擬似カラーを前記モノクロ画像に設定する擬似カラー設定手段と、を備える顕微鏡用撮像システムを提供する。
【００１４】
本発明によれば、光学素子切替手段により、互いに異なる特性を有する光学素子が適宜切り替えられて観察光路上に配置されるので、同一の試料を撮像する場合であっても、カラー撮像素子により撮像される画像の各色成分（例えば、Ｒ成分、Ｇ成分、Ｂ成分）は配置される光学素子によって夫々異なる特徴を有するものとなる。そこで、カラー撮像素子によって取得されたカラー画像の色情報に基づいて、当該カラー画像を取得した際に用いられた光学素子に対応する擬似的に定めた擬似カラーを決定し、この擬似カラーをモノクロ撮像素子により取得したモノクロ画像に設定する。
すなわち、カラー画像の色情報に基づいて擬似カラーを決定するので、多種多様な光学素子を適用することができ、顕微鏡用撮像システムの利便性を向上させることができる。
【００１５】
上記発明において、前記擬似カラー決定手段が、前記カラー画像に含まれる所定の画素のＲＧＢ各色成分の階調と最大階調の比であるＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍを求め、Ｒ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示すカラーパターンを決定し、該カラーパターンに基づいて前記光学素子に対応する擬似カラーを決定することが好ましい。ここで、ＲはＲ成分の階調、ＧはＧ成分の階調、ＢはＢ成分の階調、Ｍは前記所定の画素のＲ成分、Ｇ成分、Ｂ成分の階調の最大値である。
このようにすることで、例えば、各色成分のうち最も輝度の高い色成分に基づく色を擬似カラーとして定めることができる。
【００１６】
上記発明において、予め定めたＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍがそれぞれ所定の定数以上か否かを示す擬似カラーパターンを複数記憶すると共に、複数の該擬似カラーパターンに対応して定められた複数の擬似カラーとを予め記憶したメモリを備え、前記擬似カラー決定手段が、前記メモリに予め記憶した複数の擬似カラーパターンのうち、前記決定したカラーパターンと合致する擬似カラーパターンに基づいて擬似カラーを決定することが好ましい。
【００１７】
このようにすることで、予め定められた擬似カラーパターンの中から、カラー画像に基づくカラーパターンに相当するものを選定することで、該カラーパターンに基づいて都度擬似カラーを演算することなく、直ちに擬似カラーを決定することができる。
上記発明において、前記試料からの光を前記カラー撮像素子または前記モノクロ撮像素子のいずれかに導くように切り替える導光手段を備えることが好ましい。
このようにすることで、前記カラー画像及び前記モノクロ画像を容易に取得することができる。
【発明の効果】
【００１８】
本発明によれば、多種多様な光学素子を適用可能とし、利便性を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る顕微鏡用撮像システムを示す全体構成図である。
【図２】蛍光キューブ（光学素子）の一例を示す構成図である。
【図３】バンドパスフィルタ２０Ｂ、ダイクロイックミラー２１Ｂ、および吸収フィルタ２２Ｂをもつ蛍光キューブ１２の青色成分の分光特性を示す図である。
【図４】バンドパスフィルタ２０Ｇ、ダイクロイックミラー２１Ｇ、および吸収フィルタ２２Ｇをもつ蛍光キューブ１２の緑色成分の分光特性を示す図である。
【図５】バンドパフィルタ２０Ｒ、ダイクロイックミラー２１Ｒ、および吸収フィルタ２２Ｒを持つ蛍光キューブ１２の赤色成分の分光特性を示す図である。
【図６】本発明の第１の実施形態に係る顕微鏡用撮像システムによる擬似カラーの決定及び設定についてのフローチャートである。
【図７】モニタ８の表示画面２００の一例を示す図である。
【図８】モニタ８の表示画面２００の一例を示す図である。
【図９】モニタ８の表示画面２００の一例を示す図である。
【図１０】緑色成分の分光特性をもつ蛍光キューブを用いて撮像したカラー画像から生成したＲ，Ｇ，Ｂ色成分毎のヒストグラムの例を示す図である。
【図１１】擬似カラーパターンの一例を示す図である。
【図１２】蛍光キューブのカラーパターンの一例を示す図である。
【図１３】モニタ８に表示される画面２００の一例を示す図である。
【図１４】モニタ８に表示される画面２００の一例を示す図である。
【図１５】カラー画像の各画素のＲ／ＧおよびＢ／Ｇを求めグラフ化した図である。
【図１６】本発明の第２の実施形態に係る顕微鏡用撮像システムを示す全体構成図である。
【図１７】本発明の第２の実施形態に係る顕微鏡用撮像システムによる擬似カラーの決定及び設定についてのフローチャートである。
【発明を実施するための形態】
【００２０】
［第１の実施形態］
本発明の第１の実施形態に係る顕微鏡用撮像装置及び該顕微鏡用撮像装置を含む顕微鏡用撮像システムについて、図面を参照して以下に説明する。
本実施形態に係る顕微鏡用撮像システム１は、図１に示すように、蛍光顕微鏡２と、蛍光顕微鏡２に取り付けられ、蛍光顕微鏡２上の試料の観察像を撮像するカメラ３（顕微鏡用撮像装置）と、カメラ３による撮像条件の設定など種々の処理を行う演算部４とを備えている。
【００２１】
蛍光顕微鏡２は、対物レンズ１０、ターレット１１（光学素子切替手段）に搭載された複数の蛍光キューブ１２（光学素子）、水銀ランプ等の落射光源１３、及び鏡筒１４を備え、ステージ１５に載置した標本１６（試料）の観察像を目視観察可能となっている。そして、蛍光顕微鏡２の観察光路ａ１上には、蛍光顕微鏡２からの観察像が投影される位置に、カメラ３が配置されている。
【００２２】
ターレット１１には複数の蛍光キューブ１２が搭載されている。ターレット１１はステッピングモータ等の駆動手段（図示せず）により駆動可能であり、後述するＰＣ５から制御することで標本１６の蛍光色素との組み合わせに応じて、観察光路ａ１上に配置する蛍光キューブ１２を切り替えることができる。本実施形態においては、ターレット１１に、例えば図２に示す蛍光キューブ１２を３種類有していることとして説明する。
【００２３】
蛍光キューブ１２は、標本１６から生じた蛍光を透過させる特性を有する光学素子であり、図２に示すようにバンドパスフィルタ２０、ダイクロイックミラー２１、及び吸収フィルタ２２から構成されている。各蛍光キューブ１２は互いに異なる波長特性の蛍光を透過させるようになっており、標本１６から発せられる蛍光色素によって適当なものを組み合わせて使用される。
【００２４】
具体例として、図３〜図５に３種の蛍光キューブの分光特性を示す。すなわち、図３は、バンドパスフィルタ２０Ｂ、ダイクロイックミラー２１Ｂ、および吸収フィルタ２２Ｂをもつ蛍光キューブ１２の青色成分の分光特性を示す図であり、図４は、バンドパスフィルタ２０Ｇ、ダイクロイックミラー２１Ｇ、および吸収フィルタ２２Ｇをもつ蛍光キューブ１２の緑色成分の分光特性を示す図であり、図５は、バンドパスフィルタ２０Ｒ、ダイクロイックミラー２１Ｒ、および吸収フィルタ２２Ｒを持つ蛍光キューブ１２の赤色成分の分光特性を示す図である。
従って、後述する顕微鏡用撮像装置１によって取得される画像は、蛍光顕微鏡２の観察光路ａ１上に配置される蛍光キューブ１２によって色成分に夫々異なる特徴を有する。
【００２５】
落射光源１３は所定波長の照明光を出射し、落射光源１３から出射した照明光は、蛍光キューブ１２のバンドパスフィルタ２０で特定の波長成分のみが透過し、ダイクロイックミラー２１で反射され対物レンズ１０を介して標本１６に照射される。
【００２６】
標本１６は、照射された光によって励起され蛍光を発する。この蛍光は、対物レンズ１０を介して、ダイクロイックミラー２１を透過し、吸収フィルタ２２を透過して、カメラ３によって観察像として撮像される。
【００２７】
演算部４は、種々の処理を行う演算処理部として機能するパーソナルコンピュータ（以下、単に「ＰＣ」という）５と、ＰＣ５に対してユーザが入力を行う入力部としてキーボード６やマウス７のほか、カメラ３により撮像された画像を表示するモニタ（例えば液晶ディスプレイ装置）８を備えている。
【００２８】
ＰＣ５は、メモリ１１１と、ＰＣ５に予め格納されたプログラムを実行するためにＰＣ５に内蔵されたＣＰＵ（中央演算処理装置）等からなるカラー画像処理部１０９（擬似カラー決定手段）及びモノクロ画像処理部１１０（擬似カラー設定手段）を備えている。メモリ１１１には、予め定めたＲ成分、Ｇ成分、Ｂ成分の比である擬似カラーパターン及びこの擬似カラーパターンに応じた擬似カラーが複数格納されている（図１１参照）。
【００２９】
カラー画像処理部１０９は、後述するカメラ３のＩ／Ｆ部１０８を介して出力されたデジタルのカラー画像信号に基づいて、カラー画像を生成すると共に、デジタルのカラー画像信号に基づいて、メモリ１１１に格納された擬似カラーパターンを参照しながら擬似カラーを決定する。すなわち、カラー画像処理部１０９は、デジタルのカラー画像信号から色情報を抽出し、該色情報に基づいてカラー画像信号を取得した際に用いられた光学素子に対応するカラーパターンを判別し、該カラーパターンに対応させて前記光学素子に対応する擬似カラーを決定する。
【００３０】
モノクロ画像処理部１１０は、カメラ３のＩ／Ｆ部１０８を介して出力されたデジタルのモノクロ画像信号に基づいてモノクロ画像を生成すると共に、カラー画像処理部１０９において算出した擬似カラーをモノクロ画像に設定する。
【００３１】
すなわち、ＰＣ５は、キーボード６やマウス７から入力された各種指示や撮像条件をカメラ３に出力するとともに、撮影した画像に基づいて用いられた蛍光キューブの擬似カラーを選定し、カメラ３から送られてきたモノクロ画像に対して選定した蛍光キューブ１２毎の擬似カラーを重ね合わせた画像をモニタ８に表示させるようになっている。
【００３２】
顕微鏡用撮像装置１は、プリズム１００、カラー撮像素子１０１、モノクロ撮像素子１０２、前置処理部１０３、１０４、タイミングジェネレータ（以下、単に「ＴＧ」という）１０５、撮像素子制御部１０６、制御部１０７、インターフェース部（以下、単に「Ｉ／Ｆ部」という）１０８を備える。
【００３３】
プリズム１００は、観察光路ａ１を切り替える光学素子であって、被写体光をカラー撮像素子１０１またはモノクロ撮像素子１０２へ切り替え導く導光手段の一例である。
カラー撮像素子１０１及びモノクロ撮像素子１０２には、例えばＣＣＤやＣＭＯＳ等の撮像素子を適用することができる。カラー撮像素子１０１は、カラーフィルタがその受光面上に形成されており、観察光路ａ１上に配置された何れかの蛍光キューブ１２を介して標本１６の観察像を撮像してカラー画像を取得する。また、モノクロ撮像素子１０２は、カラーフィルタがその受光面上に形成されておらず、観察光路ａ１上に配置された何れかの蛍光キューブ１２を介して標本１６の観察像を撮像してモノクロ画像を取得する。
【００３４】
本実施形態では、カラー撮像素子１０１の受光面上に形成されているカラーフィルタを、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各原色フィルタが画素毎に規則的に配列されたカラーフィルタであるとする。この場合、カラーフィルタとしては、例えばベイヤー配列のカラーフィルタを採用することができる。また、カラー撮像素子１０１とモノクロ撮像素子１０２は、標本１６の同一部分を撮像するように配置されている。
【００３５】
カラー前置処理部１０３は、カラー撮像素子１０１の出力信号を画像信号とし、この画像信号を増幅した後、増幅された画像信号をデジタルのカラー画像信号に変換する。モノクロ前置処理部１０４は、モノクロ撮像素子１０２の出力信号を画像信号とし、画像信号を増幅した後、増幅された画像信号をデジタルのモノクロ画像信号に変換する。
【００３６】
ＴＧ１０５は、後述する撮像素子制御部１０６により制御され、カラー撮像素子１０１、モノクロ撮像素子１０２、カラー前置処理部１０３、及びモノクロ前置処理部１０４の制御に必要なパルスを発生させる。
撮像素子制御部１０６は、Ｉ／Ｆ部１０８を介して指示されたＰＣ５からの命令に従って、カラー撮像素子１０１及びモノクロ撮像素子１０２に撮影を指示し、ＰＣ５により設定された露光時間や増幅率に応じて、ＴＧ１０５、カラー前置処理部１０３及びモノクロ前置処理部１０４を制御する。
【００３７】
制御部１０７は、Ｉ／Ｆ部１０８を介して指示されたＰＣ５からの命令に従って、カラー前置処理部１０３及びモノクロ前置処理部１０４から出力されたデジタル信号をＰＣ５に出力する。
Ｉ／Ｆ部１０８は、カラー前置処理部１０３及びモノクロ前置処理部１０４から出力されたデジタル信号を制御部１０７の指示に応じてＰＣ５に出力し、ＰＣ５からの指示を制御部１０７に出力する。
【００３８】
標本１６が複数の蛍光色素で染色した多重染色標本である場合、上述した蛍光顕微鏡２において、蛍光色素の種類に応じた最適な１つの蛍光キューブ１２を観察光路ａ１上に切り替えて設置することにより、標本１６を観察する。特に、蛍光観察を行う場合には、撮影する画像の定量性を考慮して、標本１６を高感度で撮影したり、モノクロ画像として撮像することがある。モノクロ画像を撮像する場合、顕微鏡用撮像システムでは、蛍光キューブ１２毎に撮影した画像を、モノクロ画像に重ねあわせることによりカラーで表示して観察する。すなわち、カラー画像処理部１０９によりデジタルのカラー画像信号に基づいて擬似カラーを決定し、決定した擬似カラーでモノクロ画像に設定、すなわちモノクロ画像を着色して、モニタ８に表示する。
【００３９】
以下、図６のフローチャートに従って、本実施形態に係る顕微鏡用撮像システムによる擬似カラーの決定及び設定について説明する。
ステップＳ１では、ＰＣ５において予め格納されたプログラムを起動させ、モニタ８にこのプログラムに基づく画面２００（図７等参照）を表示させる。
ここで、画面２００は、画像表示部２０１、ライブ撮影ボタン２０２、静止画撮影ボタン２０３、蛍光キューブ切替部２０４、カラー画像・モノクロ画像取得切替ボタン２０８及びリセットボタン２１０で構成される。また、蛍光キューブ切替部２０４は、ターレット１１にセットした３種類の蛍光キューブ切替ボタン２０５，２０６，２０７で構成される。ライブ撮影ボタン２０２、静止画撮影ボタン２０３、蛍光キューブ切替ボタン２０５，２０６，２０７、カラー画像・モノクロ画像取得切替ボタン２０８及びリセットボタン２１０は、キーボード６およびマウス７により操作することができるようになっている。
【００４０】
ライブ撮影ボタン２０２は、例えば、マウス７で一度クリック（押圧）すると撮像装置１がライブ撮影を開始し、画像表示部２０１にライブ画像が表示され、再度クリックするとライブ撮影が終了するようになっている。
静止画撮影ボタン２０３は、マウス７でクリックすることにより、静止画撮影を１回行い、撮影した画像が画像表示部２０１に表示されるようになっている。蛍光キューブ切替ボタン２０５，２０６，２０７は、マウス７でクリックすることにより、ターレットが回転し、クリックした蛍光キューブが観察光路ａ１上に設定される。カラー画像・モノクロ画像取得切替ボタン２０８は、プリズム１００を制御して、観察光路ａ１を切り替え、すなわち、被写体光をカラー撮像素子１０１またはモノクロ撮像素子１０２へ切り替え導くようになっている。
【００４１】
ステップＳ１で、プログラムが起動又はリセットボタン２１０がクリック（押圧）されると、ステップＳ２において、蛍光キューブ１２毎にカラー画像の撮像処理が開始される。すなわち、ステップＳ２では、ターレット１１を回転させ、ターレット１１にセットされている全ての蛍光キューブ１２を観察光路ａ１上に順番に設定し、各蛍光キューブ１２を使用してカラー撮像素子１０１により標本１６の観察像を撮像する。そして、カラー前置処理部１０３により、カラー撮像素子１０１で撮像した画像信号からデジタルのカラー画像信号を生成する。
【００４２】
次のステップＳ３では、カラー画像処理部１０９において、カラー画像を生成する。すなわち、先のステップＳ２で、カラー前置処理部１０３により生成されたデジタルのカラー画像信号に基づいてカラー画像処理部１０９においてカラー画像を生成し、生成した画像をモニタ８に表示する。図７、図８、図９に、ターレット７にセットした３種類の蛍光キューブ１２を蛍光キューブＡ、蛍光キューブＢ、蛍光キューブＣとした場合に、各蛍光キューブ１２を用いて撮像したカラー画像を表示させた画面２００の例を示す。
【００４３】
次のステップＳ４では、ＰＣ５において、生成したカラー画像１枚毎にＲ，Ｇ，Ｂ色成分毎のヒストグラムを生成する。図１０に、蛍光キューブＢを用いて撮像したカラー画像から生成したＲ，Ｇ，Ｂ色成分毎のヒストグラムの例を示す。図１０の横軸は階調、縦軸は頻度であり、ヒストグラムは１枚のカラー画像の全画素を対象として生成する。
【００４４】
ステップＳ５では、図１０に示すように、ノイズ等の影響を受けないようにするため、ステップＳ４で生成したヒストグラムの上位１０％の頻度を除いた階調の最大値をＲ，Ｇ，Ｂ色成分ごとに算出する。
【００４５】
ステップＳ６では、ステップＳ５で算出したＲ，Ｇ，Ｂ色成分毎の階調の最大値（以下、「第１の最大値」という）を比較し、さらにその中の最大値（以下、「第２の最大値」という）を算出する。このようにすることで、カラー画像を撮像した際に用いられた蛍光キューブに対応するカラーパターンを把握することができる。図１０の場合、Ｒ成分、Ｇ成分、Ｂ成分の階調の最大値を比較すると、Ｒ成分の階調は３０、Ｇ成分の階調は１００、Ｂ成分の階調は１０であるためＧ成分を選定する。
【００４６】
そして、次のステップＳ７で、ステップＳ６で選定した色成分をもつ画素のうち、当該色成分が第２の最大値と同一の階調値を持つ何れかの画素を１画素選定する。図１０の場合、ステップＳ６で選定したＧ成分の階調は１００であるため、Ｇ成分が１００の階調を持つ画素を１画素選定する。
ステップＳ８では、ステップＳ７で選定した画素のＲ成分、Ｇ成分、Ｂ成分の比を求める。Ｒ成分、Ｇ成分、Ｂ成分の比は、選定した画素のＲ成分、Ｇ成分、Ｂ成分の最大値をＭとすると、Ｒ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍとなる。
【００４７】
ステップＳ９では、ステップＳ８で求めたＲ成分、Ｇ成分、Ｂ成分の比として求めたＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍが予め定めた定数Ｋ以上の値のものを１、定数Ｋ未満の値のものを０として当該蛍光キューブ１２に対応するカラーパターンを決定する。そして、決定したカラーパターンと合致する擬似カラーパターンをＰＣ５のメモリに格納されている擬似カラーパターン（例えば、図１１）から選定し、各蛍光キューブ１２と選定した擬似カラーパターンとを対応づけてＰＣ５のメモリに格納する。
【００４８】
図１０の場合、Ｇ成分が最大値であり、Ｍ＝１００となる。ここで、Ｋ＝０．５とすると、Ｒ／Ｍ＝０．３（＜０．５）、Ｇ／Ｍ＝１（＞０．５）、Ｂ／Ｍ＝０．１（＜０．５）となるため、蛍光キューブＢのカラーパターンはＲ＝０、Ｇ＝１、Ｂ＝０となる。そこで、あらかじめ用意した擬似カラーパターンの中から、Ｒ＝０、Ｇ＝１、Ｂ＝０となる擬似カラーパターンを選定する。このようにすることで、先のステップＳ６で想定した蛍光キューブの分光特性をカラーパターンとして把握し、当該蛍光キューブを用いて撮像した画像に対する擬似的なカラーパターンを決定することができる。
【００４９】
図１１に、ＰＣ５に予め格納した擬似カラーパターンの一例を示すとともに、図１２に、３つの蛍光キューブ１２を蛍光キューブＡ，Ｂ，Ｃとした場合において、夫々のＲ成分、Ｇ成分、Ｂ成分の比から求めた各蛍光キューブＡ，Ｂ，Ｃのカラーパターンの一例を示す。上述のように、蛍光キューブＢのカラーパターンはＲ＝０、Ｇ＝１、Ｂ＝０となるので、蛍光キューブＢの擬似カラーパターンは、図１１に示した擬似カラーパターンのうち擬似カラーパターン２が該当することとなる。
【００５０】
ステップＳ１０では、まず、ステップＳ２のカラー画像の撮像の際に用いられた蛍光キューブを介してモノクロ撮像素子１０２で観察像を撮像して画像信号を取得し、この画像信号を前置処理部１０４でデジタル化したデジタルモノクロ画像信号に基づいて、モノクロ画像処理部１１０でモノクロ画像を生成する。そして、先のステップＳ９で選定された擬似カラーパターンに対応する擬似カラーをモノクロ画像に設定、すなわち、モノクロ画像に擬似カラーで着色された画像を重ね合わせることにより、モノクロ画像に対して擬似カラーにより着色をする。
【００５１】
ステップＳ１１では、擬似カラーを設定したモノクロ画像を画像表示部２０１に表示する。擬似カラーはモノクロ画像データそのものの値をＲＧＢ値に変換しても良いし、画像データに擬似カラー情報として付加し、画面２００上で表示時のみ擬似カラーを設定しても良い。
【００５２】
また、重ね合わせ表示は、画面２００において、蛍光キューブ切替ボタン２０５、２０６、２０７を操作し、蛍光キューブ１２を切り替えて撮影した３枚のモノクロ画像に、図１２に示した使用した各蛍光キューブに対応した擬似カラーを自動で設定し、重ね合わせることができる。図１３に重ね合わせた画像を表示させた画面２００を示す。
【００５３】
このように、本実施例に係る顕微鏡用撮像システムによれば、カラー撮像素子１０１によって取得されたカラー画像の各色成分の情報に基づいて、当該カラー画像を取得した際に用いられた蛍光キューブに対応するカラーパターンを判別し、判別したカラーパターンに応じて擬似的に定めた擬似カラーを決定し、この擬似カラーをモノクロ撮像素子により取得したモノクロ画像に設定するので、より簡単に擬似カラーを設定できる。すなわち、これまでに使用したことのない蛍光キューブであっても、その蛍光キューブに対応するカラーパターンを都度判別することができるので、そのカラーパターンに応じた擬似カラーを決定し、多種多様な蛍光キューブを適用することができ、顕微鏡用撮像システムの利便性を向上させることができる。また、擬似カラーの算出とモノクロ画像への設定をＰＣ５において自動で行うことで、操作者が手動で擬似カラーを設定する負担を軽減することができる。
【００５４】
なお、上述の例では、図６に示すように画面２００の起動時およびリセットボタン２１０のクリック時に、ターレット１１にセットした蛍光キューブ１２ごとにカラー画像を撮影し、撮影した各カラー画像から、蛍光キューブ１２に対応した擬似カラーを算出していたが、画面２００の起動時およびリセットボタン２１０のクリック時ではなく、ターレット１１を回転させ観察光路ａ１上に配置する蛍光キューブ１２を切り替える度にカラー画像を撮影し、そのカラー画像から擬似カラーを算出しても良い。
このようにすることで、蛍光キューブ１２を切り替える度に擬似カラーを算出しなおすため、より正確な擬似カラーの設定を行うことができる。
【００５５】
また、モノクロ画像を撮影する度に必ずカラー画像を撮影し、擬似カラーの算出を行ってからモノクロ画像を撮影するようにしても良く、この場合には、使用している蛍光キューブ１２等の蛍光顕微鏡に係る情報が無くても、常に正確な擬似カラーの設定を行うことができる。
このとき、モノクロ画像を撮影した後に、例えばプリズム１００を観察光路ａ１上から退避させてカラー画像を撮影して、擬似カラーの算出を行う方が好ましい。このような順番で動作することで、操作者が撮影ボタンを押したときのモノクロ画像に対して擬似カラーの設定を行うことができる。
【００５６】
ターレット１１は、ＰＣ５からの操作により自動で切り替える構成とすることも、手動で切り替える構成とすることもできる。このようにすることで、電動の顕微鏡用撮像システムだけでなく、手動の顕微鏡用撮像システムについても擬似カラーを設定することができる。
【００５７】
擬似カラー算出のために生成するヒストグラムは、カラー画像の全画素を対象としたが、必ずしもこれに限られるものではなく、図１４に示すようにヒストグラムを生成するために、カラー画像から所定領域をヒストグラム生成領域２０９として選択し、当該ヒストグラム生成領域２０９に基づいてヒストグラムの生成及び擬似カラーの算出を行う構成とすることもできる。
このようにすることで、擬似カラーの算出に最適な領域を選択することができ、ヒストグラムの生成に必要な画素数が削減され、擬似カラー算出のための演算量を削減することができるので、より早くより正確に擬似カラーの算出を行うことができる。
【００５８】
上述の例では、擬似カラー算出のためのＲ成分，Ｇ成分，Ｂ成分の比を算出するためにヒストグラムを生成しているが、Ｒ成分，Ｇ成分，Ｂ成分の比は、図１５に示すように各画素のＲ／ＧおよびＢ／Ｇを求めグラフ化し、その重心のＲ成分，Ｇ成分，Ｂ成分の比を算出しても良い。
また、擬似カラー算出に用いたい画素を操作者がカラー画像内から選択し、選択された画素のＲ成分，Ｇ成分，Ｂ成分の比から擬似カラーを算出しても良い。
このようにすることで、より正確な擬似カラーを算出することができる。また、操作者が擬似カラー算出に用いたい画素を選ぶことで、更に正確な擬似カラーの設定を行うことができる。
【００５９】
上述の例では、落射照明光源９のみを備えているが、透過照明光源を備える構成とすることもできる。この場合には、図６のステップＳ２において、カラー撮像素子１０１で撮像する際、透過照明光源から射出され蛍光キューブ１２を透過した光を撮像しても良い。透過照明光源を用いることで、標本の有無に係らず、常に安定して正確な擬似カラーの設定を行うことができる。
【００６０】
上述の例では、カラー画像から算出したＲ成分、Ｇ成分、Ｂ成分の比に基づいて一旦カラーパターンを算出し、これを予めメモリに格納していた擬似カラーパターンに当てはめることで擬似カラーを算出していたが、カラー画像から算出したカラーパターンそのものから擬似カラーを設定することもできる。このようにすることで、より正確な擬似カラーの設定を行うことができる。
【００６１】
［第２の実施形態］
以下に、本発明の第２の実施形態に係る顕微鏡用撮像システムについて、図面を参照して説明する。
上述の第１の実施形態においては、カラー画像処理部１０９、モノクロ画像処理部１１０及びメモリ１１１をＰＣ５に備えていたが、図１６に示すように、これらをカメラ３（顕微鏡用撮像装置）が備える構成とすることもできる。
【００６２】
この場合において、カラー画像処理部１０９は、カラー前置処理部１０３から出力されたデジタル信号に基づくカラー画像を生成し、生成したカラー画像より、擬似カラーパターンの選定を行う。モノクロ画像処理部１１０は、モノクロ前置処理部１０４から出力されたデジタル信号に基づくモノクロ画像を生成し、メモリ１１１より読み出した擬似カラーパターン情報をモノクロ画像に付加する。
メモリ１１１は、カラー画像処理部１０９で生成されたカラー画像、ヒストグラムおよび選定された擬似カラーパターンを格納する。
その他、上述した第１の実施形態と同一の構成には同一の符号を付し、その説明を省略する。
【００６３】
図１７のフローチャートに従って、本実施形態に係る顕微鏡用撮像装置による擬似カラーの決定及び設定について説明する。
ステップＳ２１においてプログラムが起動又はリセットボタン２１０がクリック（押圧）されると、ステップＳ２２において、蛍光キューブ１２毎にカラー画像が撮像され、ステップＳ２３で、カラー画像処理部１０９において、カラー画像が生成され，ステップＳ２４で、カラー画像処理部１０９により生成されたカラー画像をメモリ１１１に転送し、格納する。
【００６４】
次のステップＳ２５では、カラー画像処理部１０９において、生成したカラー画像１枚毎にＲ，Ｇ，Ｂ色成分毎のヒストグラムを生成し、ステップＳ２６では、ノイズ等の影響を受けないようにするため、図１０に示す例のように、ヒストグラムの上位１０％の頻度を除いた階調の最大値をＲ，Ｇ，Ｂ色成分ごとに算出する。
【００６５】
ステップＳ２７では、ステップＳ２６で算出したＲ，Ｇ，Ｂ色成分毎の階調の最大値を比較し、さらにその中の最大値を算出する。次のステップＳ２８では、メモリ１１１に格納したカラー画像を読み出し、ステップＳ２９で、先のステップＳ２８で読み出したカラー画像のうち、ステップＳ２７で選定した色成分をもつ画素の中から、当該色成分が第２の最大値と同一の階調値を持つ何れかの画素を１画素選定する。ステップＳ３０では、ステップＳ２９で選定した画素のＲ成分、Ｇ成分、Ｂ成分の比を求める。Ｒ成分、Ｇ成分、Ｂ成分の比は、選定した画素のＲ成分、Ｇ成分、Ｂ成分の最大値をＭとすると、Ｒ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍとなる。
【００６６】
ステップＳ３１では、ステップＳ３０で求めたＲ／Ｍ、Ｇ／Ｍ、Ｂ／Ｍが予め定めた定数Ｋ以上の値のものを１、定数Ｋ未満の値のものを０として当該蛍光キューブ１２に対応するカラーパターンを決定する。そして、決定したカラーパターンと合致する擬似カラーパターンを、カラー画像処理部１０９に予め格納されている擬似カラーパターンから選定する。擬似カラーパターンの選定は、第１の実施形態における選定方法と同様である。選定した擬似カラーパターンは、メモリ１１１へ転送し、格納する。
【００６７】
ステップＳ３２では、モノクロ画像処理部１１０において、メモリ１１１に格納した擬似カラーパターンを読み出し、これに対応する擬似カラーを生成したモノクロ画像に付加して、Ｉ／Ｆ部１０８へ出力する。
そして、ステップＳ３３で、擬似カラーを設定したモノクロ画像を画像表示部２０１に表示する。
【００６８】
なお、擬似カラーの設定は、モノクロ画像処理部１１０においてモノクロ画像に擬似カラーパターンを付加するのではなく、モノクロ画像の画素のデータそのものの値を、ステップＳ３１で選定した擬似カラーパターンに基づいてＲＧＢ値に変換しても良い。
このように、本実施形態に係る顕微鏡用撮像システムによれば、ＰＣ５において擬似カラー設定のための処理をすることなく、カメラ３のみで、より簡単に擬似カラーを設定できる。
【００６９】
以上、本発明の各実施形態を、図面を参照しながら説明してきたが、本発明が適用される顕微鏡用撮像装置および顕微鏡用撮像システムは、その機能が実行される範囲において、上述の各実施形態等に限定されることなく、各種変形が可能である。
【００７０】
例えば、各実施形態の顕微鏡用撮像装置および顕微鏡用撮像システムにおいて、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００７１】
また、例えば、上記各実施形態に係る顕微鏡用撮像システムおよび顕微鏡用撮像装置において、プリズム１００の代わりに、ハーフミラー等、観察光路ａ１を２つに分割可能なその他の光学素子を適用することも可能である。
【００７２】
また、例えば、第１の実施形態に係る顕微鏡用撮像システムにおいて、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施形態の機能が実現される。
【００７３】
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した各実施形態の機能が実現され得る。
すなわち、本発明は、以上に述べた各実施形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
【００７４】
なお、本実施形態においては、カラーモードからモノクロモードに切り替える場合を例に挙げて説明したが、逆の場合にも同様の処理で露出時間を簡易に算出し、短時間で設定することができるという利点がある。
【符号の説明】
【００７５】
１  顕微鏡用撮像システム
２  蛍光顕微鏡
３  カメラ
４  演算部
５  ＰＣ
１１  ターレット（光学素子切替手段）
１２  蛍光キューブ（光学素子）
１６  標本（試料）
１０１  カラー撮像素子
１０２  モノクロ撮像素子
１０９  カラー画像処理部（擬似カラー決定手段）
１１０  モノクロ画像処理部（擬似カラー設定手段）
１１１  メモリ
【図１】
0005977588.tif 000002
【図２】
0005977588.tif 000003
【図３】
0005977588.tif 000004
【図４】
0005977588.tif 000005
【図５】
0005977588.tif 000006
【図６】
0005977588.tif 000007
【図７】
0005977588.tif 000008
【図８】
0005977588.tif 000009
【図９】
0005977588.tif 000010
【図１０】
0005977588.tif 000011
【図１１】
0005977588.tif 000012
【図１２】
0005977588.tif 000013
【図１３】
0005977588.tif 000014
【図１４】
0005977588.tif 000015
【図１５】
0005977588.tif 000016
【図１６】
0005977588.tif 000017
【図１７】
0005977588.tif 000018