(57)【特許請求の範囲】
【請求項１】
デジタルカラー画像の輝度値から分光特性を得るための複数の変換マトリックスが記憶されると共に、該複数の変換マトリックスの夫々を算出する際に用いられた複数のサンプル群の輝度値に夫々対応した複数の判別用輝度値情報が記憶されているストレージと、
診断対象のデジタルカラー画像が入力される画像入力手段と、
前記診断対象の画像の画素の輝度値情報と、前記複数の判別用輝度値情報とから両者の類似性を評価し、前記診断対象の画像の画素の輝度値情報と最も類似性の高い判別用輝度値情報に対応した変換マトリックスを使用すべき変換マトリックスとして選択する変換マトリックス選択手段と、
前記変換マトリックス選択手段にて選択された変換マトリックスを用いて前記診断対象の画像の画素の分光特性の推定値を得る分光特性推定手段と、
を有する、分光特性推定装置。
【請求項２】
前記変換マトリックス選択手段は、特定の変換マトリックスの算出に使用されたサンプル群に対応する判別用輝度値情報に対する前記診断対象の画像の画素の輝度値情報のマハラノビス距離を演算し、該マハラノビス距離が最も小さくなる判別用輝度値情報に対応する変換マトリックスを使用すべき変換マトリックスとして選択することを特徴とする請求項１に記載の分光特性推定装置。
【請求項３】
前記複数の判別用輝度値情報及び前記診断対象の画像の画素の輝度値情報は、共にＲＧＢ３色のうちの１色の輝度値に対する他２色の輝度値の比である輝度値比からなる、ことを特徴とする請求項１又は２に記載の分光特性推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子内視鏡等によって得られたデジタル画像データから、その画像データの任意の画素の分光特性を推定する分光特性推定装置に関する。
【背景技術】
【０００２】
健康な部位と病変部とでは、例えば特定の波長域の反射率が大きくなるなど、分光特性が異なることが知られている。これに基づき、体腔の内視鏡画像の分光特性から病変の有無を判別する診断方法が従来より使用されている。この診断方法においては、ファイバースコープに分光計を接続する、或いは内視鏡の処置具挿通孔にファイババンドルを通し、その基端側に分光計を接続することによって体腔内の任意の位置の分光特性を得る。
【０００３】
このように、従来は分光特性に基づいて診断を行う場合は、分光計を別途用意する必要があった。この従来の構成に代わり、非特許文献１のような分光計を用いずに体腔の分光特性を推定する方法が考案されている。非特許文献１の構成においては、電子内視鏡にて体腔の画像を撮影し、この画像データ中の任意の画素の輝度情報から分光特性を演算している。
【非特許文献１】三宅洋一「『ディジタルカラー画像の解析・評価』第１０章  分光反射率の推定とその応用」  東京大学出版
【０００４】
電子内視鏡にて撮影される画像における各画素の色は、通常ＲＧＢ３色の輝度値である。ＲＧＢ３色の波長は、Ｒが５５０〜７００ｎｍ、Ｇが４５０〜６００ｎｍ、Ｂが３００〜５００ｎｍ程度であり、各色がサポートする波長域は比較的大きい。一方、診断において求められるのは、幅１０ｎｍ程度の狭い波長域における輝度（反射率）である。このため、通常は、観察部分のＲＧＢ輝度値からより狭い波長帯域の分光計測データを推定する。
【０００５】
非特許文献１の構成においては、電子内視鏡等でＲＧＢ輝度値を取得すると同時に分光計で分光特性を計測したサンプルを多数用意し、サンプルのＲＧＢ輝度値と分光特性から、ＲＧＢ輝度値から分光特性を得るための変換マトリックスを算出している。そして、この変換マトリックスを用いて、体腔の画像の任意の画素のＲＧＢ輝度値から分光特性を推定している。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の非特許文献１の構成においては、サンプルの分光特性と体腔内の分光特性とが一致もしくは比較的類似の傾向を示す場合に、高い精度で分光特性を推定することができる。一方、サンプルの分光特性と体腔内の分光特性とが大きく異なる場合は分光特性推定の精度が低下するという問題があった。
【０００７】
本発明は上記の問題を解決するためのものである。すなわち、本発明は、電子内視鏡にて撮影した画像の任意の画素の分光特性を精度よく推定可能な分光特性推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明の分光特性推定装置は、デジタルカラー画像の輝度値から分光特性を得るための複数の変換マトリックスが記憶されると共に、複数の変換マトリックスの夫々を算出する際に用いられた複数のサンプル群に夫々対応した複数の判別用輝度値情報が記憶されているストレージと、診断対象のデジタルカラー画像が入力される画像入力手段と、診断対象の画像の画素の輝度値情報と複数の判別用輝度値情報とから両者の類似性を評価して診断対象の画像の画素の輝度値情報と最も類似性の高い判別用輝度値情報に対応した変換マトリックスを使用すべき変換マトリックスとして選択する変換マトリックス選択手段と、変換マトリックス選択手段にて選択された変換マトリックスを用いて診断対象の画像の画素の分光特性の推定値を得る分光特性推定手段と、を有する。
【発明の効果】
【０００９】
本発明の分光推定装置は、上記のように分光特性の傾向に応じて複数の変換マトリックスが用意されており、各変換マトリックスを算出するためのサンプル群の輝度値情報と診断対象の画像の画素の輝度値情報との類似性を比較することによって使用すべき変換マトリックスを選択している。サンプル群の輝度値情報と診断対象の画像の画素の輝度値情報とが類似の傾向を示すのであれば、分光特性の傾向も類似となるといえるため、選択された変換マトリックスを使うことにより診断対象の画像の画素の分光特性を精度よく推定することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態につき、図面を用いて詳細に説明する。図１は、本実施形態における分光特性推定装置の全体像を示したものである。本発明の分光特性推定装置１は、電子内視鏡などで撮影された画像データ中の任意の画素のＲＧＢ輝度情報から、その画素の分光特性を推定するためのシステムである。本実施形態における分光特性の推定とは、狭帯域の波長領域の各々に対してその反射率を推定するものである。ここでの狭帯域の波長領域とは、１ｎｍ〜１００ｎｍ  代表的には、幅５〜１０ｎｍの領域を示す。
【００１１】
本実施形態の分光特性推定装置１は、コントローラ１１と、メモリ１２と、インターフェース回路１３と、ビデオ回路１４と、第１ストレージ２２と、第２ストレージ２４とがケース１５内に治められた分光推定ユニット１０と、分光推定ユニット１０と接続されるモニタ３２と、マウスなどの入力手段３４と、を有する。
【００１２】
モニタ３２は、分光推定ユニット１０のケース１５の外面に設けられたモニタ接続ポート１４ａ及びモニタケーブル３２ａを介して、ビデオ回路１４と接続されており、コントローラ１１がビデオ回路１４を制御することによって、コントローラ１１はモニタ３２に画像を表示されることができる。
【００１３】
インターフェース回路１３は、例えばＵＳＢホストアダプタ回路であり、ポート１３ａ及びケーブル３４ａを介して、キーボードやマウスなどの入力手段３４や、画像データを分光特性推定装置１に送信するための手段（例えば、画像データが記憶されたフラッシュメモリなど）を接続することができる。コントローラ１１は、インターフェース回路１３を介して、画像データを取り込む、或いは入力手段３４からの入力を受け付けることができるようになっている。
【００１４】
第１ストレージ２２及び第２ストレージ２４には、夫々後述のＲＧＢデータ群と変換マトリックス群とが記憶されている。そして、コントローラ１１は、第１ストレージ２２及び第２ストレージ２４に記憶されているＲＧＢデータ群と変換マトリックス群とに基づいて、インターフェース回路１３を介して入力される画像データの任意の画素の分光特性を推定するよう構成されている。
【００１５】
以上説明した診断システムにおいて、インターフェース回路１３を介して入力される画像データの任意の画素の分光特性を推定する手順につき、以下説明する。
【００１６】
本実施形態においては、第２ストレージ２４に保存されている複数の変換マトリックスのうち、適切なものを選択し、この画像データの任意の画素のＲＧＢ輝度値と選択された変換マトリックスの行列積を演算することによって、分光特性の推定値を得るようになっている。本実施形態においては、可視光線の約３００〜７００ｎｍの周波数域を１０ｎｍ毎に区切り、区切られた各周波数帯の反射率の列を分光特性ｏ（ｏ３００，ｏ３１０，．．．，ｏｋ，．．．ｏ７００）としている。なお、上記の分光特性ｏにおいて、数字ｋは、その波長域における中心波長を示す。すなわちｏ３００は、２９５ｎｍ〜３０５ｎｍの波長域における反射率である。
【００１７】
画素のＲＧＢ輝度値ｂをＲＧＢ３色の輝度値の列（ｂＲ，ｂＧ，ｂＢ）で表記すると、分光特性ｏ、変換マトリックスＧ、ＲＧＢ輝度値ｂは、以下の関係を有している。
【００１８】
【数１】
0005235473.tif 000002
【００１９】
変換マトリックスＧは、次のように得られる。先ず、同一の分光特性の傾向を有する複数（１００サンプル以上）のサンプルについて、サンプルの分光特性ｏＲｅｆを分光計にて計測すると共に、電子内視鏡などでサンプルのＲＧＢ輝度値ｂＲｅｆを得る。そして、計測した複数のサンプルの分光特性ｏＲｅｆ、ＲＧＢ輝度値ｂＲｅｆから、最小自乗法などによって適切な変換マトリックスＧを計算する。
【００２０】
本実施形態においては、Ｎ個の変換マトリックスＧｎ（ｎ＝１，２，．．．，Ｎ）が第２ストレージ２４に記憶されている。変換マトリックスＧｎの各々は、夫々異なるサンプル群から得られた複数組の分光特性ｏＲｅｆ及びＲＧＢ輝度値ｂＲｅｆから算出されたものである。前述のように、ある変換マトリックスＧｎを算出する際に使用されるサンプルの群は、同一の分光特性の傾向を有する。すなわち、反射率のピークが現れる波長域が同じ又は近域となるようなサンプル群から、一つの変換マトリックスＧｎを算出しており、複数の変換マトリックスＧｎの夫々は、互いに異なる分光特性の傾向を有するサンプルの群からのデータに基づいて算出されている。
【００２１】
また、各変換マトリックスＧｎを求める際に使用したサンプル群のＲＧＢ輝度値ｂＲｅｆは、後述する最適マトリックス判別処理にて使用される。具体的には、各ＲＧＢ輝度値ｂＲｅｆにおけるＲ輝度値とＧ輝度値の比ｒｎＲ−ｋ及びＢ輝度値とＧ輝度値の比ｒｎＢ−ｋを演算し、これを変換マトリックスＧｎ毎に分類し、判別用輝度値比群ｒｎ−ｋ（ｒｎＲ−ｋ，ｒｎＢ−ｋ）を得る。なお、ｋ＝１，２，．．．，ｋｍａｘであり、ｋｍａｘは、変換マトリックスＧｎを求める際に使用したサンプルの数である。従って、ｋｍａｘは、サンプル群ごとに異なる値であってもよい。判別用輝度値比群ｒｎ−ｋは、第１ストレージ２２に記憶されている。
【００２２】
以上説明したように、本実施形態においては、入力される画像データのＲＧＢ輝度値ｂｉから分光特性ｏを得るための変換マトリックスＧｎがＮ個あるため、分光特性ｏを得る前に、どの変換マトリックスＧｎを使用すべきかを最適マトリックス判別処理を行って決定する。前述のように、この最適マトリックス判別処理には、第１ストレージ２２に記憶されている判別用輝度値比群ｒｎ−ｋを使用する。以下、その方法について説明する。
【００２３】
本実施形態においては、入力された画像データの画素のＲＧＢ輝度値ｂｉにおける、Ｒ輝度値とＧ輝度値の比ｒｉＲと、Ｂ輝度値とＧ輝度値の比ｒｉＧからなる輝度値比ｒｉ（ｒｉＲ，ｒｉＢ）を演算し、この輝度値比ｒｉと判別用輝度値比群ｒｎ−ｋとを比較して、変換マトリックスＧｎを算出するのに使用した複数のサンプル群のうち、ＲＧＢ輝度値ｂｉと最も傾向が似ているものを選別している。そして、選別されたサンプル群に対応する変換マトリックスＧｎを用いて、入力された画像データの画素の分光特性ｏを算出する。
【００２４】
本実施形態においては、マハラノビス距離に基づいてＲＧＢ輝度値ｂｉと最も傾向が最も似ているサンプル群を選別している。本実施形態においては、各判別用輝度値比群ｒｎ−ｋに対する輝度値比ｒｉのマハラノビス距離Ｄｎを数２に基づいて演算し、マハラノビス距離Ｄｎが最も小さくなるサンプル群から得られる変換マトリックスＧｎを選択する。
【００２５】
【数２】
0005235473.tif 000003
【００２６】
なお、数２において、関数Ｅ（ｘ）はｘの平均値である。すなわちＥ（ｒｎＲ−ｋ）及びＥ（ｒｎＢ−ｋ）は、以下の数３にて演算される。
【００２７】
【数３】
0005235473.tif 000004
【００２８】
また、数２におけるＳｎ−１は、判別用輝度値比群ｒｎ−ｋに関する共分散行列Ｓｎの逆行列である。共分散行列Ｓｎは以下の数４によって計算される。
【００２９】
【数４】
0005235473.tif 000005
【００３０】
数２によって、すべてのサンプル群に対するマハラノビス距離Ｄｎを算出し、そのうちで最も小さいものを選択する。そして、このマハラノビス距離Ｄｎに対応する変換マトリックスＧｎを用いて、数１によって入力された画像データの画素のＲＧＢ輝度値ｂｉの分光特性ｏを算出する。マハラノビス距離Ｄｎが小さくなるほど、入力された画像データの画素の輝度値比ｒｉとサンプル群の輝度値比ｒｎ−ｋとの類似性が高いことを意味する。従って、マハラノビス距離Ｄｎが最も小さくなるサンプル群から得られた変換マトリックスＧｎによって、分光特性ｏを精度よく推定することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態による分光特性推定装置のブロック図である。
【符号の説明】
【００３２】
１    分光特性推定装置
１０    分光推定ユニット
１１    コントローラ
１２    メモリ
１３    インターフェース回路
１４    ビデオ回路
２２    第１ストレージ
２４    第２ストレージ
【図１】
0005235473.tif 000006