(57)【要約】【課題】多重染色標本を標識色素毎にクロストークなくリアルタイム且つ同時に観察することができると共に、それを簡易な構成で且つ低コストで実現可能にする。【解決手段】カメラ装置は、異なる波長特性の複数の色フィルタを有する撮像素子５と、多重染色標本１を撮像素子５により撮像して得られた色フィルタ毎の輝度データと、標識色素のスペクトルと色フィルタ毎のスペクトルとに基づいて得られる標識色素に関するスペクトルデータと、を用いて色フィルタ毎の輝度データから標識色素毎に輝度データを分離する演算を行う演算装置７と、その演算により標識色素毎に分離された輝度データを標識色素毎に分離された画像として出力する映像出力部１０と、を有する。【選択図】図１
2007010340.tif 000002
【特許請求の範囲】
【請求項１】
異なる波長特性の複数の色フィルタを有する撮像素子と、
異なる波長特性の複数の標識色素で染色された標本を前記撮像素子により撮像して得られた前記色フィルタ毎の輝度データと、前記標識色素のスペクトルと前記色フィルタ毎のスペクトルとに基づいて得られる前記標識色素に関するスペクトルデータと、を用いて前記色フィルタ毎の輝度データから前記標識色素毎に輝度データを分離する演算を行う演算手段と、
前記演算手段による演算により前記標識色素毎に分離された輝度データを、前記標識色素毎に分離された画像として出力する出力手段と、
を有することを特徴とするカメラ装置。
【請求項２】
少なくとも前記標識色素を含む複数の標識色素に関するスペクトルデータを記憶する記憶手段、
を更に有することを特徴とする請求項１記載のカメラ装置。
【請求項３】
標識色素を選択し入力する入力手段を更に有し、
前記記憶手段に記憶されている、前記入力手段により入力された標識色素に関するスペクトルデータを、前記演算手段による演算に用いる標識色素に関するスペクトルデータとする、
ことを特徴とする請求項２記載のカメラ装置。
【請求項４】
異なる波長特性の複数の色フィルタを有する撮像素子と、
異なる波長特性の複数の標識色素で染色された標本を前記撮像素子により撮像して得られた前記色フィルタ毎の輝度データと、バックグラウンド位置上の画素の前記色フィルタ毎の輝度データをそれぞれ正規化して得られるバックグラウンドのスペクトルデータと、前記標識色素のスペクトルと前記色フィルタ毎のスペクトルとに基づいて得られる前記標識色素に関するスペクトルデータと、を用いて前記色フィルタ毎の輝度データから、バックグラウンドと前記標識色素毎に輝度データを分離する演算を行う演算手段と、
前記演算手段による演算により前記バックグラウンドと前記標識色素毎に分離された輝度データを、前記バックグラウンドと前記標識色素毎に分離された画像として出力する出力手段と、
を有することを特徴とするカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重染色標本を観察するのに適したカメラ装置に関する。
【背景技術】
【０００２】
従来、多重染色標本を標識色素毎にクロストークなく観察する方法として、画像取得後に画像処理により標識色素毎に画像を分離する方法がある。また、別の方法として、特許文献１には、それぞれの標識色素に対する励起波長と検出チャンネルとを交互に切り替えながら画像を取得する方法が開示されている。また、更に別の方法として、非特許文献１には、ＬＳＭ（Confocal Laser Scanning Microscope)を用いて行う方法が開示されている。
【特許文献１】特開平８−６２１２３号公報
【非特許文献１】M.E. Dickinson, G. Bearman, S. Tille1, R. Lansford, and S.E. Fraser 著、「Multi-Spectral Imaging and Linear Unmixing Add a Whole New Dimension to Laser Scanning Fluorescence Microscopy」、BioTechniques、Vol.31, No.6 (2001)、p.1272-1278
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の画像処理により標識色素毎に画像を分離する方法では、リアルタイムに表示することができない。また、特許文献１にあるように、それぞれの標識色素に対する励起波長と検出チャンネルとを交互に切り替えながら画像を取得する方法では、画像取得のタイミングに時間差が生じてしまい同時に表示することができない。また、非特許文献１にあるように、ＬＳＭを用いて行う方法では、高機能な構成となるＬＳＭを用いることから高コストになってしまう。
【０００４】
一方、波長特性が異なる複数の色フィルタを有する撮像素子を備えたカメラ装置がある。これは、その色フィルタ毎の画像、すなわち色を表現する画像を得ることを主目的としていることから、従来、これを用いて標識色素毎に画像を分離しようという考え方は無く、また、そのような方法は開示されていない。
【０００５】
本発明は、上記実情に鑑み、多重染色標本を標識色素毎にクロストークなくリアルタイム且つ同時に観察することができると共に、それを簡易な構成で且つ低コストで実現可能なカメラ装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の態様に係るカメラ装置は、異なる波長特性の複数の色フィルタを有する撮像素子と、異なる波長特性の複数の標識色素で染色された標本を前記撮像素子により撮像して得られた前記色フィルタ毎の輝度データと、前記標識色素のスペクトルと前記色フィルタ毎のスペクトルとに基づいて得られる前記標識色素に関するスペクトルデータと、を用いて前記色フィルタ毎の輝度データから前記標識色素毎に輝度データを分離する演算を行う演算手段と、前記演算手段による演算により前記標識色素毎に分離された輝度データを、前記標識色素毎に分離された画像として出力する出力手段と、を有することを特徴とする。
【０００７】
また、本発明の第２の態様に係るカメラ装置は、上記第１の態様において、少なくとも前記標識色素を含む複数の標識色素に関するスペクトルデータを記憶する記憶手段、を更に有することを特徴とする。
【０００８】
また、本発明の第３の態様に係るカメラ装置は、上記第２の態様において、標識色素を選択し入力する入力手段を更に有し、前記記憶手段に記憶されている、前記入力手段により入力された標識色素に関するスペクトルデータを、前記演算手段による演算に用いる標識色素に関するスペクトルデータとする、ことを特徴とする。
【０００９】
本発明の第４の態様に係るカメラ装置は、異なる波長特性の複数の色フィルタを有する撮像素子と、異なる波長特性の複数の標識色素で染色された標本を前記撮像素子により撮像して得られた前記色フィルタ毎の輝度データと、バックグラウンド位置上の画素の前記色フィルタ毎の輝度データをそれぞれ正規化して得られるバックグラウンドのスペクトルデータと、前記標識色素のスペクトルと前記色フィルタ毎のスペクトルとに基づいて得られる前記標識色素に関するスペクトルデータと、を用いて前記色フィルタ毎の輝度データから、バックグラウンドと前記標識色素毎に輝度データを分離する演算を行う演算手段と、前記演算手段による演算により前記バックグラウンドと前記標識色素毎に分離された輝度データを、前記バックグラウンドと前記標識色素毎に分離された画像として出力する出力手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、波長特性が異なる複数の色フィルタを有する撮像素子を備えたカメラ装置に、標識色素毎に画像を分離する機能を設けたことにより、多重染色標本を標識色素毎にクロストークなくリアルタイム且つ同時に観察することができると共に、それを簡易な構成で且つ低コストで実現することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照しながら説明する。
【実施例１】
【００１２】
図１は、本発明の実施例１に係るカメラ装置の主要構成を示す図である。
同図において、標本１は多重染色標本である。この標本１において、部位２は標識色素R1で染色（標識）された部位であり、部位３は標識色素R2で染色された部位であり、部位４は標識色素R3で染色された部位である。
【００１３】
撮像素子５は、複数の異なる波長特性の色フィルタを有した、例えばＣＣＤやＣＭＯＳイメージセンサ等である。本実施例では、複数の異なる波長特性の色フィルタとして、図２に示したような配列の、３つの異なる波長特性の色フィルタFi;(i=1,2,3)を採用するものとする。
【００１４】
Ａ／Ｄ変換器６は、撮像素子５からの出力信号を、色フィルタFi;(i=1,2,3)毎に離散データに変換する。演算装置７は、色フィルタFi;(i=1,2,3)毎の離散データ（輝度データ）から、後述する手法により、標識色素毎に輝度データを分離するための演算を行う。
【００１５】
記憶装置８は、図３に示したような、色フィルタFi;(i=1,2,3)のスペクトル[Xij;(i=1,2,3;j=1,2,…,n;n>1)]と標識色素のスペクトル[Sj;(j=1,2…,n;n>1)]との積であるスペクトルデータYi;(i=1,2,3)を、標識色素毎に記憶している。
【００１６】
尚、標識色素毎のスペクトルデータYi;(i=1,2,3)は、使用する色フィルタと標識色素のカタログ値から求めても良いし、或いは、使用する標識色素で染色された標本の実測値から求めても良い。
【００１７】
入力装置９は、例えばＧＵＩ（Graphical User Interface）を介したユーザからの指示に応じて、標識色素Rk;(k≧1)の中から、分離する画像（輝度データ）の標識色素を選択・入力し、該選択・入力した標識色素に関するスペクトルデータYi;(i=1,2,3)を記憶装置８から演算装置７へ出力させるようにする。
【００１８】
映像出力部１０は、演算装置７により標識色素毎に分離された輝度データを、標識色素毎に分離された画像として出力する。
次に、このような構成のカメラ装置の動作として、上記多重染色標本１を標識色素毎にクロストークなく観察するときの動作を、図４及び図５を用いて説明する。
【００１９】
図４は、本動作を示すフローチャートである。
同図に示したように、本動作では、まず、ユーザからの指示に応じて、入力装置９は、標識色素Rk;(k≧1)の中から、分離する画像の標識色素を選択し入力する（ステップ（以下単に「Ｓ」という）１）。尚、選択可能な標識色素の数は、後述する演算の都合上、撮像素子１の色フィルタ数以下となる。本実施例では、色フィルタ数が３であることから３つ以下の標識色素を選択可能である。ここでは、標本１が３つの標識色素Rk;(k=1,2,3)によって染色されていることから、その３つの標識色素Rk;(k=1,2,3)が選択されたものとする。
【００２０】
続いて、撮像素子５は、励起光によって発光している標本１からの光を検出し、色フィルタFi;(i=1,2,3)毎に電気信号を出力する（Ｓ２）。続いて、Ａ／Ｄ変換器６は、撮像素子５から出力された色フィルタFi;(i=1,2,3)毎の電気信号を離散データに変換する（Ｓ３）。これにより、色フィルタFi;(i=1,2,3)毎に分離された画像（輝度データ）が得られる。
【００２１】
続いて、演算装置７は、その色フィルタFi;(i=1,2,3)毎に分離された画像において、同位置I上の画素の輝度値をそれぞれP1 ,P2 ,P3とし、次式（１）のεが最小となるC1 ,C2 ,C3を最小二乗法による演算により求め、これを同位置I上の画素の輝度値としてそれぞれ映像出力部１０へ出力する。
【００２２】
【数１】
2007010340.tif 000003
式（１）において、Aは、標識色素Rk;(k=1,2,3)のスペクトルデータ列[Yik;(i=1,2,3;k=1,2,3)]であり、上述のとおり、入力装置９による入力に応じて記憶装置８から得られたものである。また、‖x‖の計算は、仮にxを[ x1, x2,…, xl];(l≧1)からなるベクトルとすると、次式（２）のように計算されるものである。
【００２３】
【数２】
2007010340.tif 000004
尚、式（１）は、次式（３）の関係式から導かれたものである。
【００２４】
【数３】
2007010340.tif 000005
この式（３）に関する詳細は、上記非特許文献１に記載されている。
演算装置７は、このような処理を、色フィルタFi;(i=1,2,3)毎に分離された画像における同位置の全ての画素に対して行う（Ｓ４）。これにより、C1 ,C2 ,C3で構成された画像のそれぞれが標識色素Rk;(k=1,2,3)毎に分離された画像（輝度データ）になる。
【００２５】
このようなＳ４での演算装置７による処理により、図５に示したように、色フィルタFi;(i=1,2,3)毎に分離された画像（輝度データ）から、標識色素Rk;(k=1,2,3)毎に分離された画像（輝度データ）を得ることができる。
【００２６】
Ｓ４の後、続いて、映像出力部１０は、演算装置7より標識色素Rk;(k=1,2,3)毎に分離された画像を出力する（Ｓ５）。これにより、標識色素Rk;(k=1,2,3)毎に分離された画像がリアルタイム且つ同時に表示される。
【００２７】
以上、本実施例によれば、波長特性が異なる色フィルタFi;(i=1,2,3)を有する撮像素子を備えたカメラ装置に、標識色素毎に画像を分離する機能を設けたことにより、多重染色標本を標識色素毎にクロストークなくリアルタイム且つ同時に観察することができると共に、それを簡易な構成で且つ低コストで実現することができる。
【００２８】
また、入力装置９により、標識色素Rk;(k≧1)の中から、分離する画像の標識色素を選択できるので、標本１を異なる標識色素で染色された標本に変更する場合にも、構成を変更することなく適応可能である。
【００２９】
尚、本実施例において、標本１が異なる標識色素で染色された標本に変更されることがない場合には、図６に示したように、図１に示した入力装置９を省き、標本１を染色する標識色素Rk;(k=1,2,3)に関するスペクトルデータYi;(i=1,2,3)のみを記憶装置８に記憶させておくようにすることも可能である。この場合の動作は、図７に示したように、図４に示したＳ１の処理が省かれ、Ｓ４では、一律に、記憶装置８に記憶されている、標識色素Rk;(k=1,2,3)に関するスペクトルデータYi;(i=1,2,3)を用いて演算が行われる。これにより、標識色素Rk;(k=1,2,3)毎に画像を分離することに特化したカメラ装置を提供することができる。
【００３０】
また、本実施例において、上記標識色素は、ＧＦＰ，ＣＦＰ，ＹＦＰのような蛍光色素等を用いるものである。
【実施例２】
【００３１】
本実施例に係るカメラ装置は、実施例１に係るカメラ装置に、標識色素毎に分離された画像からバックグラウンド（背景）の影響を取り除く機能を更に有したものである。
本実施例に係るカメラ装置の構成は、実施例１に係るカメラ装置（図１参照）と同一である。但し、本実施例に係るカメラ装置では、入力装置９は、例えばＧＵＩを介したユーザからの指示に応じて、更に、画像のバックグラウンド位置の入力も可能になっている。また、演算装置７は、Ａ／Ｄ変換器６からの離散データからバックグラウンドのスペクトルデータを算出し、色フィルタFi;(i=1,2,3)毎の離散データ（輝度データ）から、後述する手法により、バックグラウンドと標識色素毎に輝度データを分離するための演算を行う。
【００３２】
次に、本実施例に係るカメラ装置の動作として、標識色素毎に分離された画像からバックグラウンドの影響を取り除くときの動作を、図８及び図９を用いて説明する。但し、ここでは、標本１は１つの標識色素Rのみで染色されているものとする。
【００３３】
図８は、その動作を示すフローチャートである。
同図に示したように、本動作では、まず、ユーザからの指示に応じて、入力装置９は、画像のバックグラウンド位置Ibと、分離する画像の標識色素として上記の１つの標識色素Rとを入力する（Ｓ１１）。
【００３４】
尚、画像のバックグラウンド位置Ibは、点又は領域として入力される。また、本実施例では、後述するように、標識色素毎に分離する画像の１つとしてバックグラウンドの画像を取り扱うので、Ｓ１１で選択（入力）可能な標識色素の数は、撮像素子５の色フィルタ数−１以下となる。本実施例では、実施例１と同様に色フィルタ数を３としていることから、２（＝３−１）以下の標識色素が選択可能である。
【００３５】
続いて、撮像素子５は、励起光によって発光している標本１からの光を検出し、色フィルタFi;(i=1,2,3)毎に電気信号を出力する（Ｓ１２）。続いて、Ａ／Ｄ変換器６は、撮像素子５から出力された色フィルタFi;(i=1,2,3)毎の電気信号を離散データに変換する（Ｓ１３）。これにより、色フィルタFi;(i=1,2,3)毎に分離された画像（輝度データ）が得られる。
【００３６】
続いて、演算装置７は、その色フィルタFi;(i=1,2,3)毎に分離された画像において、Ｓ１１で入力されたバックグラウンド位置Ib上の画素の輝度値をそれぞれ正規化した値Bi;(i=1,2,3)を求め、これをバックグラウンドのスペクトルデータとする（Ｓ１４）。
【００３７】
続いて、演算装置７は、Ｓ１１での入力装置９による入力に応じた記憶装置８からの標識色素Rに関するスペクトルデータYi;(i=1,2,3)と、Ｓ１４で求められたバックグラウンドのスペクトルデータBi;(i=1,2,3)とから、次式（４）のスペクトルデータ列Ａを構成する。
【００３８】
【数４】
2007010340.tif 000006
そして、実施例１と同様に、Ｓ１３で得られた色フィルタFi;(i=1,2,3)毎に分離された画像において、同位置I上の画素の輝度値をそれぞれP1 ,P2 ,P3とし、次式（５）のεが最小となるC1 ,C2を最小二乗法による演算により求め、これを同位置I上の画素の輝度値としてそれぞれ映像出力部１０へ出力する。
【００３９】
【数５】
2007010340.tif 000007
演算装置７は、このような処理を、色フィルタFi;(i=1,2,3)毎に分離された画像における同位置の全ての画素に対して行う（Ｓ１５）。これにより、C1 ,C2で構成された画像はそれぞれ標識色素Rとバックグラウンドに分離された画像（輝度データ）になり、標識色素Rの画像からバックグラウンドの影響が取り除かれる。
【００４０】
このようなＳ１４及び１５での演算装置７による処理により、図９に示したように、色フィルタFi;(i=1,2,3)毎に分離された画像（輝度データ）から、標識色素Rとバックグラウンドに分離された画像（輝度データ）を得ることができる。尚、同図のフィルタFi;(i=1,2,3)毎に分離された画像において、符号１１の領域は標識色素Rで染色された標本１の領域を示しており、その他の領域はバックグラウンドの領域を示している。
【００４１】
Ｓ１５の後、続いて、映像出力部１０は、演算装置7により標識色素Rとバックグラウンドに分離された画像を出力する（Ｓ１６）。これにより、標識色素Rとバックグラウンドに分離された画像が表示される。
【００４２】
以上、本実施例によれば、標識色素Rの画像からバックグラウンドの影響を取り除くことができる。
尚、本実施例において、標本１を複数の標識色素で染色し、Ｓ１１にて、入力装置９により、分離する画像の標識色素として、その中の２つの標識色素Rk;(k=1,2)が入力された場合には、バックグラウンドと標識色素Rk;(k=1,2)毎に分離された画像が得られる。これにより、標識色素Rk;(k=1,2)毎に分離された画像からバックグラウンドの影響を取り除くことができる。
【００４３】
また、本実施例において、標識色素毎に分離された画像からバックグラウンドの影響を取り除くときの動作として、次のような動作を行うようにすることも可能である。すなわち、演算装置７は、Ｓ１１にてユーザからの指示に応じて入力装置９により入力されたバックグラウンド位置の輝度と同一又はほぼ同一の輝度を有する領域（バックグラウンド領域）を求め、これを、Ｓ１３にて色フィルタFi;(i=1,2,3)毎に分離された画像のそれぞれから取り除き、以降は、実施例１と同様の処理により、そのバックグラウンド領域が取り除かれた、色フィルタFi;(i=1,2,3)毎に分離された画像から、標識色素毎に分離された画像を得る。このような動作によっても、標識色素毎に分離された画像からバックグラウンドの影響を取り除くことができる。
【００４４】
また、本実施例において、上記標識色素は、ＧＦＰ，ＣＦＰ，ＹＦＰのような蛍光色素等を用いるものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
【図面の簡単な説明】
【００４５】
【図１】実施例１に係るカメラ装置の主要構成を示す図である。
【図２】撮像素子が備える複数の異なる波長特性の色フィルタを示す図である。
【図３】標識色素に関するスペクトルデータYi;(i=1,2,3)の算出方法を説明する図である。
【図４】実施例１に係るカメラ装置の動作を示すフローチャートである。
【図５】実施例１に係る演算装置の処理を説明する図である。
【図６】実施例１の変形例に係るカメラ装置の主要構成を示す図である。
【図７】実施例１の変形例に係るカメラ装置の動作を示すフローチャートである。
【図８】実施例２に係るカメラ装置の動作を示すフローチャートである。
【図９】実施例２に係る演算装置の処理を説明する図である。
【符号の説明】
【００４６】
１      標本
２、３、４  部位
５      撮像素子
６      Ａ／Ｄ変換器
７      演算装置
８      記憶装置
９      入力装置
１０    映像出力部
１１    標本の領域
【図１】
2007010340.tif 000008
【図４】
2007010340.tif 000009
【図５】
2007010340.tif 000010
【図６】
2007010340.tif 000011
【図７】
2007010340.tif 000012
【図８】
2007010340.tif 000013
【図９】
2007010340.tif 000014
【図２】
2007010340.tif 000015
【図３】
2007010340.tif 000016