(57)【要約】【課題】病変部等の測定対象の特徴を的確に表現した処理画像を自動的に作成する。【解決手段】分光画像取得手段１０により測定対象の複数の分光画像ＳＰ１〜ＳＰｋが取得される。次に、特徴量抽出手段２０において複数の分光画像ＳＰ１〜ＳＰｋからそれぞれ特徴量（エッジ強度）Ｘが抽出される。そして、画像選択手段３０において、この複数の特徴量Ｘの評価が高い順に並べ替え、評価の高い分光画像ＳＰＤ、ＳＰＢ、ＳＰＣが選択される。その後、画像生成手段に４０おいて、各分光画像ＳＰＤ、ＳＰＢ、ＳＰＣをＲ信号、Ｇ信号、Ｂ信号が割り当てられ処理画像ＣＰが生成される。【選択図】図１
2007307202.tif 000002
【特許請求の範囲】
【請求項１】
測定対象を撮影し取得された複数の分光画像を用いて複数の原色信号からなる処理画像を生成する画像処理方法において、
前記複数の分光画像からそれぞれ特徴量を抽出し、
抽出した前記特徴量を用いて前記複数の分光画像を評価し、該複数の分光画像のうち評価の高い前記分光画像を選択し、
選択した前記分光画像を前記原色信号に割り当てることにより前記処理画像を生成する
ことを特徴とする分光画像処理方法。
【請求項２】
測定対象を撮影し取得された複数の分光画像を用いて複数の原色信号からなる処理画像を生成する画像処理装置において、
前記複数の分光画像から特徴量を抽出する特徴量抽出手段と、
該特徴量抽出手段により抽出された前記特徴量を用いて前記複数の分光画像を評価し、該複数の分光画像のうち評価の高い前記分光画像を選択する画像選択手段と、
該画像選択手段により選択された前記分光画像を前記原色信号に割り当てることにより前記処理画像を生成する画像生成手段と
を備えたことを特徴とする分光画像処理装置。
【請求項３】
前記画像選択手段が前記特徴量の評価の高い順に複数の前記分光画像を選択するものであり、前記画像処理手段が前記画像選択手段により選択された前記複数の分光画像の分光波長の長いものから順に、Ｒ、Ｇ、Ｂの前記原色信号に割り当てるものであることを特徴とする請求項２記載の分光画像処理装置。
【請求項４】
前記画像選択手段がＲ、Ｇ、Ｂの前記各原色信号の波長帯域毎に最も評価の高い前記分光画像を選択するものであり、前記画像処理手段が前記画像選択手段により選択された前記複数の分光画像をそれぞれＲ、Ｇ、Ｂの前記原色信号に割り当てるものであることを特徴とする請求項２記載の分光画像処理装置。
【請求項５】
前記画像選択手段が前記複数の分光画像を選択するときに、分光波長がそれぞれ３０ｎｍ以上離れた前記分光画像を選択するものであることを特徴とする請求項２から４のいずれか１項記載の分光画像処理装置。
【請求項６】
前記特徴量がエッジ強度であることを特徴とする請求項２から５のいずれか１項記載の分光画像処理装置。
【請求項７】
前記特徴量が前記分光画像を空間周波数に変換して抽出されたものであることを特徴とする請求項２から５のいずれか１項記載の分光画像処理装置。
【請求項８】
前記特徴量が一定波長離れた分光画像間の微分値であることを特徴とする請求項２から５いずれか１項記載の分光画像処理装置。
【請求項９】
前記特徴量抽出手段が前記各分光画像から複数の前記特徴量を抽出するものであり、
前記画像選択手段が前記複数の特徴量毎に前記複数の分光画像を評価し、該複数の分光画像のうち評価の高い前記分光画像を前記各特徴量毎に選択するものであり、
前記画像生成手段が前記各特徴量毎にそれぞれ選択された複数の前記分光画像を前記原色信号に割り当てることにより前記処理画像を生成するものであることを特徴とする請求項２記載の分光画像処理装置。
【請求項１０】
前記特徴量抽出手段が性質の異なる複数の前記特徴量を抽出するものであることを特徴とする請求項９記載の分光画像処理装置。
【請求項１１】
前記複数の特徴量がエッジ強度、及び／又は空間周波数変換し抽出されたもの、及び／又は当該分光画像と一定波長離れた分光画像との微分値であることを特徴とする請求項１０記載の分光画像処理装置。
【請求項１２】
前記特徴量抽出手段が前記各分光画像にそれぞれ空間周波数変換を施すことにより複数の空間周波数変換画像を生成し、該複数の空間周波数変換画像のうち所定の空間周波数帯域の空間周波数変換画像から前記複数の分光画像毎に特徴量を抽出するものであることを特徴とする請求項１０または１１記載の分光画像処理装置。
【請求項１３】
前記画像選択手段が前記複数の特徴量毎に最も評価の高い前記分光画像をそれぞれ選択するものであり、前記画像生成手段が前記画像選択手段により選択された複数の前記分光画像を分光波長の長いものから順に、Ｒ、Ｇ、Ｂの前記原色信号に割り当てるものであることを特徴とする請求項９から１２のいずれか１項記載の分光画像処理装置。
【請求項１４】
前記画像選択手段が前記特徴量の評価の高い順に複数の前記分光画像を前記各特徴量毎に選択するものであり、前記画像生成手段が前記各特徴量の評価が同一順位の前記分光画像を加算したものをＲ、Ｇ、Ｂの前記原色信号に割り当てるものであることを特徴とする請求項９から１２のいずれか１項記載の分光画像処理装置。
【請求項１５】
前記画像処理手段が前記各原色信号の波長帯域毎に最も評価の高い前記分光画像を前記複数の特徴量毎にそれぞれ選択するものであり、前記画像生成手段が前記各原色信号の波長帯域毎に選択された前記各特徴量の複数の前記分光画像を加算したものを前記各原色信号に割り当てるものであることを特徴とする請求項９から１２のいずれか１項記載の分光画像処理装置。
【請求項１６】
前記画像選択手段が前記各特徴量を用いて前記分光画像を選択するとき、分光波長が３０ｎｍ以上離れている前記分光画像を選択するものであることを特徴とする請求項１３から１５のいずれか１項記載の分光画像処理装置。
【請求項１７】
前記測定対象の撮影が内視鏡により行われるものであることを特徴とする請求項１から１６のいずれか１項記載の分光画像処理装置。
【請求項１８】
コンピュータに、測定対象を撮影し取得された複数の分光画像を用いて複数の原色信号からなる処理画像を生成することを実行させるための分光画像処理プログラムにおいて、
前記複数の分光画像からそれぞれ特徴量を抽出し、
抽出した前記特徴量を用いて前記複数の分光画像を評価し、該複数の分光画像のうち評価の高い前記分光画像を選択し、
選択した前記分光画像を前記原色信号に割り当てることにより前記処理画像を生成する
ことを実行させるための分光画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡により測定対象を撮影し各波長毎に取得した分光画像を用いて処理画像を生成する分光画像処理方法および装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
内視鏡検査では、組織の性状や病変を隆起・陥没・表面模様などの形状変化や色調の微妙な変化から読み取る。この形状変化等を認識できるかどうかは患部からの光の波長の特定および観察方法に大きく依存する。従来、光学フィルタを使って波長を特定し観察する方法が提案されているが、この方法では一つの波長域の画像しか得ることができず、他の波長で観察するためにはフィルタの交換が必要である。そこで、近年、通常の画像から任意の波長における画像をコンピュータの演算処理によって推定して画像化を行う分光推定技術を内視鏡検査用途に応用したものが開発されている。そして、医師が検査の内容に応じて観察したい光の波長を選択することにより、内視鏡画像から選択した波長の分光画像を見ることができる。
【０００３】
ところで、上述した内視鏡画像に限らず眼底検査においても分光解析方法が提案されている（たとえば特許文献１参照）。特許文献１において、種々の病変部の分光データ（参照画素像）が病変毎に予め病変ライブラリに記憶されており、入力された分光データ内において、病変ライブラリに記憶されている参照画素像が存在するか否かをパターンマッチングにより検出することにより、分光データ内の病変部の位置を特定し、特定した病変部を強調して画像化しモニタに表示するようになっている。
【０００４】
さらに、各色波長毎の多スペクトル画像データを画像処理する方法として、多スペクトルデータの各スペクトルチャネル画像に重みを変えて加算した仮想スペクトル開口画像を３種類作成し、この３種類の仮想スペクトル開口画像をＲＧＢに割り当て、カラー処理画像を表示する方法が提案されている（特許文献２参照）。この方法において、仮想スペクトル開口画像からカラー処理画像を生成する際、ユーザーが画面上の画像を確認しながら行うようになっている。
【特許文献１】特開２００５−２９６４３４号公報
【特許文献２】特開平１１−１５４２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように特許文献１において、病変部の画像を画面表示させようとした場合、予め病変部の参照画素像を記憶した病変ライブラリを作成する必要がある。しかし、患者の違いによる病変部の色のばらつき、病変による色の差、観察機種の違いによる色のばらつき等があるため、病変ライブラリが各病変部について１つの参照画素像だけ記憶しているとき病変部が検出できない場合が生じるという問題がある。一方、正確な病変部の検出を行うためには１つの病変に対し多くの参照画素像を記憶する必要があり、データベースの作成に多大な労力がかかってしまうという問題がある。
【０００６】
さらに、特許文献２のように、カラー処理画像の作成にユーザーの操作しなければならなくなると、病変部の撮影中にカラー処理画像を確認することが困難であるという問題がある。
【０００７】
そこで、本発明は、病変部等の測定対象の特徴を的確に表現した処理画像を自動的に作成することができる分光画像処理方法および装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の分光画像処理方法は、測定対象を撮影し取得された複数の分光画像を用いて原色信号からなる処理画像を生成する画像処理方法において、複数の分光画像から特徴量を抽出し、抽出した特徴量を用いて複数の分光画像を評価し、該複数の分光画像のうち評価の高い分光画像を選択し、選択した分光画像を原色信号に割り当てることにより処理画像を生成することを特徴とするものである。
【０００９】
本発明の分光画像処理装置は、測定対象を撮影し取得された複数の分光画像を用いて原色信号からなる処理画像を生成する画像処理装置において、複数の分光画像から特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された特徴量を用いて複数の分光画像を評価し、該複数の分光画像のうち評価の高い分光画像を選択する画像選択手段と、画像選択手段により選択された分光画像を原色信号に割り当てることにより処理画像を生成する画像生成手段とを備えたことを特徴とするものである。
【００１０】
本発明の分光画像処理プログラムは、コンピュータに、測定対象を撮影し取得された複数の分光画像を用いて複数の原色信号からなる処理画像を生成することを実行させるための分光画像処理プログラムにおいて、複数の分光画像から特徴量を抽出し、抽出した特徴量を用いて複数の分光画像を評価し該複数の分光画像のうち評価の高い分光画像を選択し、選択した分光画像を原色信号に割り当てることにより処理画像を生成することを特徴とするものである。
【００１１】
ここで、画像選択手段は１枚の分光画像を選択するものであっても良いし、複数の分光画像を選択するものであっても良い。また、処理画像はどのような表色系を用いても良く、たとえばレッド、グリーン、ブルーの各原色信号からなるＲＧＢ表色系を用いても良いし、グリーンとブルーといった２色の表色系からなるものであってもよい。
【００１２】
また、抽出される特徴量はどのようなものであってもよく、たとえばエッジ強度であってもよいし、フーリエ変換もしくはウェーブレット変換により空間周波数変換された複数の空間周波数変換画像から抽出されたもの、明るさ、色、色相、彩度、テクスチャ情報もしくはコントラスト等であってもよい。なお、空間周波数変換画像はたとえば各分光画像にフーリエ変換を施すことにより得られる複数のパワースペクトル画像もしくは各分光画像にウェーブレット変換を施すことにより得られる複数の多重解像度画像等のようなものであり、複数の分光画像毎に特徴量を抽出するとき、この複数の多重解像度画像のうち所定の空間周波数帯域の空間周波数変換画像から抽出するようにしてもよい。
【００１３】
なお、特徴量の評価は特徴量が示す特徴的構造を多く含んでいるか否かの評価であり、評価が高いとは複数の分光画像を特徴量を用いて評価したときの相対的な順位をいう。ここで、画像選択手段は特徴量の評価を用いて分光画像を選択するものであればその手法を問わず、たとえば特徴量の評価の高い順に複数の分光画像を選択するようにしてもよい。このとき、画像処理手段は画像選択手段により選択された複数の分光画像の分光波長の長いものから順に、Ｒ、Ｇ、Ｂの原色信号に割り当てるようにしてもよい。なお、画像選択手段は複数の分光画像を選択するときに、分光波長がそれぞれ３０ｎｍ以上離れた分光画像を選択することが好ましい。
【００１４】
あるいは、画像選択手段はＲ、Ｇ、Ｂの各原色信号の波長帯域毎に最も評価の高い分光画像を選択するようにしてもよい。このとき、画像処理手段は画像選択手段により選択された複数の分光画像をそれぞれＲ、Ｇ、Ｂの原色信号に割り当てるようにしてもよい。この場合も、画像選択手段は複数の分光画像を選択するときに、分光波長がそれぞれ３０ｎｍ以上離れた分光画像を選択することが好ましい。
【００１５】
さらに、抽出される特徴量は１つであっても良いし複数であってもよい。特徴量抽出手段が各分光画像から複数の特徴量を抽出するとき、性質の異なる複数の特徴量を抽出することが好ましい。たとえば特徴量として上述したエッジ強度、空間周波数変換を施し抽出されたもの、一定波長離れた分光画像間の微分値等を用いるようにしてもよい。
【００１６】
このとき、画像選択手段は複数の特徴量毎に複数の分光画像を評価し、複数の分光画像のうち評価の高い分光画像を各特徴量毎に選択するものであってもよい。そして、画像生成手段が複数の特徴量毎にそれぞれ選択された複数の分光画像を原色信号に割り当てることにより処理画像を生成するものであってもよい。
【００１７】
たとえば、画像選択手段は複数の特徴量毎に最も評価の高い分光画像をそれぞれ選択するものであってもよい。このとき、画像生成手段は画像選択手段により選択された複数の分光画像の分光波長の長いものから順に、Ｒ、Ｇ、Ｂの原色信号に割り当てるようにしてもよい。
【００１８】
あるいは、画像選択手段は特徴量の評価の高い順に複数の分光画像を各特徴量毎に選択するようにしてもよい。このとき、画像生成手段は各特徴量の評価が同一順位の分光画像を加算したものをＲ、Ｇ、Ｂの原色信号に割り当てるようにしてもよい。
【００１９】
さらには、画像処理手段は各原色信号の波長帯域毎に最も評価の高い分光画像を複数の特徴量毎にそれぞれ選択するようにしてもよい。このとき、画像生成手段は各原色信号の波長帯域毎に選択された各特徴量の複数の分光画像を加算したものを各原色信号に割り当てるようにしてもよい。
【００２０】
なお、画像選択手段が各特徴量を用いて分光画像を選択するとき、分光波長が３０ｎｍ以上離れている分光画像を選択することが好ましい。
【発明の効果】
【００２１】
本発明の分光画像処理方法および装置ならびにプログラムによれば、複数の分光画像から特徴量を抽出し、抽出した特徴量を用いて複数の分光画像を評価し、複数の分光画像のうち評価の高い分光画像を選択し、選択した各波長帯域毎の分光画像を原色信号に割り当てることにより処理画像を生成することにより、従来のように病変の種類と分光分布との関係を示すデータベースを用いることなく、測定対象の観察に有効な分光画像を自動的に選択し処理画像を生成することができる。
【００２２】
なお、画像選択手段が特徴量の評価の高い順に複数の分光画像を選択するものであり、画像処理手段が画像選択手段により選択された複数の分光画像の分光波長の長いものから順に、Ｒ、Ｇ、Ｂの原色信号に割り当てるものであるとき、特徴量の示す測定対象の観察に有効な特徴的構造を最も有している分光画像を選択して測定対象の観察に適した処理画像を生成することができる。
【００２３】
また、画像選択手段がＲ、Ｇ、Ｂの各原色信号の波長帯域毎に最も評価の高い分光画像を選択するものであり、画像処理手段が画像選択手段により選択された複数の分光画像をそれぞれＲ、Ｇ、Ｂの原色信号に割り当てるものであれば、特徴量の示す測定対象の観察に有効な特徴的構造を最も有している分光画像を原色信号の各波長帯域毎に選択して測定対象の実際の色に近い測定対象の観察に適した処理画像を生成することができる。
【００２４】
また、特徴量抽出手段が各分光画像から複数の特徴量を抽出するものであり、画像選択手段が各特徴量を用いて複数の分光画像を評価することにより、前記複数の分光画像のうち評価の高い分光画像を各特徴量毎に選択するものであり、画像生成手段が複数の特徴量毎にそれぞれ選択された複数の分光画像を原色信号に割り当てることにより処理画像を生成するものであれば、複数の分光画像から処理画像が生成されるため、測定対象の観察により適した処理画像を自動的に生成することができる。
【００２５】
なお、画像選択手段が複数の特徴量毎に最も評価の高い分光画像をそれぞれ選択するものであり、画像生成手段が画像選択手段により選択された複数の分光画像の分光波長の長いものから順に、Ｒ、Ｇ、Ｂの原色信号に割り当てるものであれば、複数の特徴量の示す測定対象の観察に有効な特徴的構造を最も有している分光画像を選択して測定対象の観察に適した処理画像を生成することができる。
【００２６】
さらに、画像選択手段が特徴量の評価の高い順に複数の分光画像を各特徴量毎に選択するものであり、画像生成手段が各特徴量の評価が同一順位の分光画像を加算したものをＲ、Ｇ、Ｂの原色信号に割り当てるものであるとき、複数の特徴量の示す測定対象の観察に有効な特徴的構造を最も有している分光画像を原色信号の各波長帯域毎に選択して測定対象の実際の色に近い測定対象の観察に適した処理画像を生成することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明の好ましい実施の形態を詳細に説明する。図１は本発明の分光画像処理装置の好ましい実施の形態を示すブロック図である。なお、図１のような分光画像処理装置１の構成は、補助記憶装置に読み込まれた分光画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この分光画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。なお、上述したコンピュータ上で実現する場合に限らず内視鏡システム自体に図１に示すような分光画像処理装置１の構成を組み込み、内視鏡による撮影と処理画像の表示とがリアルタイム処理されるようなものであってもよい。
【００２８】
分光画像処理装置１は、たとえば病巣等の測定対象を内視鏡を用いて撮影し取得された複数の分光画像ＳＰを用いて複数の原色信号からなる処理画像ＣＰを生成するものであって、複数の分光画像ＳＰを取得する分光画像取得手段１０と、複数の分光画像ＳＰから特徴量Ｘを抽出する特徴量抽出手段２０と、各分光画像ＳＰの特徴量Ｘを評価することにより、各原色信号の波長帯域毎に最も評価の高い分光画像ＳＰを選択する画像選択手段３０と、選択された各波長帯域毎の分光画像ＳＰを原色信号に割り当てることにより処理画像ＣＰを生成する画像生成手段４０とを備えている。
【００２９】
分光画像取得手段１０は、測定対象から反射した光の各波長毎の分光画像ＳＰ１〜ＳＰｋ（ｋ：分光画像の枚数）を取得するものであって、たとえば分光画像取得手段１０は、図２に示すような４００ｎｍ〜７００ｎｍ（可視領域）までの波長帯域を５ｎｍ間隔で取得された複数の分光画像ＳＰ１〜ＳＰｋを取得するようになっている。なお、この複数の分光画像ＳＰ１〜ＳＰｋは測定対象から反射した光を分光して取得されたものに限らず、特開２００３−９３３３６号公報に開示されているように内視鏡を用いた撮影により取得したＲＧＢ信号からなる画像から各波長毎に生成された分光推定画像であってもよい。
【００３０】
特徴量抽出手段２０は各分光画像ＳＰ１〜ＳＰｋからそれぞれ特徴量Ｘを抽出するものであり、たとえば分光画像ＳＰのエッジ強度を特徴量Ｘとして抽出する機能を有している。具体的には、図３（Ａ）に示すような分光画像ＳＰがあるとき、特徴量抽出手段２０は図３（Ｂ）に示すような分光画像ＳＰのエッジ成分を抽出し、抽出したエッジ成分の強度を検出するようになっている。すると、図３（Ｃ）に示すようなエッジ強度における複数の分光画像ＳＰ１〜ＳＰｋ（分光波長）の評価が判明する。
【００３１】
なお、特徴量抽出手段２０はエッジ強度を特徴量Ｘとして抽出する場合について例示しているが、図４（Ａ）のような分光画像ＳＰにフーリエ変換処理を施すことにより、図４（Ｂ）に示すような複数のパワースペクトル画像を生成し、図４（Ｃ）に示すような複数の分光画像ＳＰ１〜ＳＰｋ（分光波長）における空間周波数および画素数の３次元の関係から、たとえば複数のパワースペクトル画像のうち所定の空間周波数帯域のパワースペクトル画像の画素数もしくは濃度分散等を特徴量Ｘ２として抽出するようにしてもよい。
【００３２】
あるいは、図５（Ａ）のような分光画像ＳＰにウェーブレット変換処理を施すことにより、図５（Ｂ）に示すような複数の多重解像度画像を生成し、図５（Ｃ）に示すような複数の分光画像ＳＰ１〜ＳＰｋ（分光波長）に対する空間周波数および画素数の３次元の関係から、たとえばたとえば複数の多重解像度画像のうち所定の空間周波数帯域の多重解像度画像の画素数もしくは濃度分散等を特徴量Ｘ２として抽出するようにしてもよい。
【００３３】
さらには、図６（Ａ）に示すように、分光画像ＳＰｍとこの分光画像ＳＰｍから一定波長だけ離れた分光画像ＳＰｍ＋ｎとの微分値を特徴量Ｘ３として抽出するようにしてもよい。すると図６（Ｂ）に示すような微分値に対する複数の分光画像ＳＰ１〜ＳＰｋ（分光波長）の評価が判明する。
【００３４】
画像選択手段３０は、抽出した特徴量Ｘを用いて複数の分光画像ＳＰを評価し、複数の分光画像ＳＰのうち処理画像ＣＰの生成に用いる分光画像ＳＰを選択するものであって、たとえば特徴量Ｘの評価の高い順に複数の分光画像ＳＰを複数選択するようになっている。つまり、図３に示すように特徴量Ｘが抽出されたとき、図７に示すように画像選択手段３０は特徴量の評価の高い順（エッジ強度の大きい順）に分光画像ＳＰを並べ替える。そして、画像選択手段３０は評価の高い上位３つの分光画像ＳＰＤ、ＳＰＢ、ＳＰＣを選択するようになっている。
【００３５】
なお、画像選択手段３０は複数の分光画像ＳＰＤ、ＳＰＢ、ＳＰＣを選択するときに、分光波長がそれぞれ３０ｎｍ以上離れた分光画像を選択するようにしてもよい。たとえば、分光画像ＳＰＤの分光波長が６８０ｎｍであり、分光画像ＳＰＣの分光波長が６６０ｎｍであるとき、分光画像ＳＰＣ、ＳＰＤは３０ｎｍ以上離れていないため、画像選択手段３０は分光画像ＳＰＣの代わりに次に評価の高い分光画像ＳＰＡを選択することになる。
【００３６】
画像処理手段４０は画像選択手段３０により選択された分光画像ＳＰを原色信号に割り当てることにより処理画像ＣＰを生成するものであって、たとえば選択された３つの分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）の分光波長の長いものから順に、Ｒ、Ｇ、Ｂの各原色信号に割り当て処理画像ＣＰを生成するようになっている。具体的には、画像生成手段４０は、図８に示すように、画像選択手段３０により選択された３つの分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）にそれぞれＲ信号、Ｇ信号、Ｂ信号を割り当てる。たとえば分光画像ＳＰＤの画素データをＲ信号の画素データとし、分光画像ＳＰＣ（ＳＰＢ）の画素データをＧ信号の画素データとし、分光画像ＳＰＢ（ＳＰＡ）の画素データをＢ信号の画素データとしてＲＧＢのカラー画像からなる処理画像ＣＰを生成するようになっている。
【００３７】
なお、処理画像ＣＰを生成する際、割り当てられた各ＲＧＢ信号に対しそれぞれゲイン係数を乗じたレベル調整等の公知の画像処理技術を施したものを用いるようにしてもよい。また、画像処理手段４０は３つの分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）の分光波長の長いものから順にＲ、Ｇ、Ｂの各原色信号に割り当てるようにしているが、分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）の分光波長に依存することなく評価の高い順にＲ、Ｇ、Ｂの各原色信号を自動的に割り当てるようにしても良い。
【００３８】
このように、特徴量Ｘを用いて各原色信号毎に分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）を選択しこれを合成して処理画像ＣＰを生成することにより、従来のように病変の種類毎に分光分布を記録したデータベースが不要になるため、データベース作成の為の作業をなくすことができる。さらに、患者の違いによる病巣の色のばらつき、病変による色の変化、観察機種の違いによる色のばらつき等が生じた場合であっても、病巣の特徴的構造を特徴量Ｘとして抽出し、この特徴量Ｘを用いて選択された分光画像ＳＰを用いて処理画像ＣＰが生成されるため、病巣の特徴的構造を表した処理画像ＣＰを精度良く生成することができる。
【００３９】
すなわち、病巣の画像は、患者の違いによる病巣の色のばらつき、病変による色の変化、観察機種の違いによる色のばらつき等が生じるものである。よって、予め画像ライブラリとして病変部の画像を記憶しておきテンプレートマッチング等を用いて病変部の検出を行ったとしても、上記ばらつきにより検出できない場合が生じる。一方、上述した分光画像処理装置１においては観察部位の特徴的構造を考慮した特徴量Ｘを用いて分光波長が選択されるものであるため、上記ばらつきに左右されることなく観察に最も適した分光画像ＳＰを用いて処理画像を生成することができる。
【００４０】
また、原色信号に割り当てる分光波長は自動的に選択されるため、従来のように手動で有効な分光画像を選択する必要がなく、検査中であってもリアルタイムに近い時間で分光波長を選択することができ、観察部位毎に迅速に分光波長を切り替えることができる。
【００４１】
さらに、特徴量Ｘの評価の高い順に複数の分光画像ＳＰを選択し複数の分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）の分光波長の長いものから順に、Ｒ、Ｇ、Ｂの原色信号に割り当てることにより、特徴量Ｘの示す測定対象の観察に有効な特徴的構造を最も有している分光画像ＳＰを選択して測定対象の観察に適した処理画像ＣＰを生成することができる。よって、測定対象毎に抽出する特徴量の種類を変えて分光画像ＳＰを選択し、測定対象の種類に合った処理画像ＣＰを生成することもできる。
【００４２】
図９は本発明の分光画像処理方法の好ましい実施の形態を示すフローチャートであり、図１から図９を参照して分光画像処理方法について説明する。まず、分光画像取得手段１０により測定対象の複数の分光画像ＳＰ１〜ＳＰｋが取得される（ステップＳＴ１、図２参照）。次に、特徴量抽出手段２０において複数の分光画像ＳＰ１〜ＳＰｋからそれぞれ特徴量（エッジ強度）Ｘが抽出される（ステップＳＴ２、図３〜図６参照）。そして、画像選択手段３０において、この複数の特徴量Ｘの大きい順に分光画像ＳＰＤ、ＳＰＢ、ＳＰＣが選択される（ステップＳＴ３、図７参照）。なお、上述したように、複数の分光画像ＳＰを選択するときに、分光波長がそれぞれ３０ｎｍ以上離れた分光画像ＳＰＤ、ＳＰＢ、ＳＰＡを選択するようにしてもよい。その後、画像生成手段に４０おいて、各分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）がＲ信号、Ｇ信号、Ｂ信号に割り当てられ、（ステップＳＴ４）処理画像ＣＰが生成される（ステップＳＴ５、図８参照）。これにより、患者の違いによる病巣の色のばらつき、病変による色の変化、観察機種の違いによる色のばらつき等が生じた場合であっても、病巣の特徴的構造を特徴量Ｘとして抽出し、この特徴量Ｘを用いて選択された分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）を用いて処理画像ＣＰが生成されるため、病巣の特徴的構造を表した処理画像ＣＰを精度良く生成することができる。
【００４３】
ここで、上記実施の形態において、評価の高い順に処理画像ＣＰの生成に用いる分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ（ＳＰＡ）を選択しているが、Ｒ、Ｇ、Ｂの各原色信号の波長帯域毎に最も評価の高い分光画像ＣＰを選択するようにしてもよい。つまり、画像選択手段３０は、特徴量抽出手段２０において抽出された特徴量Ｘを用いて複数の分光画像ＳＰ１〜ＳＰｋを評価することにより、各原色信号（Ｒ信号、Ｇ信号、Ｂ信号）の波長帯域内において最も評価の高い分光画像ＳＰを各原色信号毎にする機能を有している。たとえば図７のように、分光画像ＳＰＤ（６８０ｎｍ）、ＳＰＢ（５２０ｎｍ）、ＳＰＣ（６６０ｎｍ）、ＳＰＡ（４５０ｎｍ）の順に特徴量Ｘの評価が高かったものとする。すると、画像選択手段３０は複数の原色信号が表現できる波長帯域（Ｒ信号：約６００ｎｍ〜７００ｎｍ、Ｇ信号：約５００ｎｍ〜６００ｎｍ、Ｂ信号：約４００ｎｍ〜５００ｎｍ）毎に特徴量Ｘが最も評価の高い分光画像ＳＰを選択する。つまり、Ｒ信号の波長帯域ではＳＰＤが選択され、Ｇ信号の波長帯域ではＳＰＢが選択され、Ｂ信号の波長帯域ではＳＰＡが選択される。なお、この場合であっても画像選択手段３０は複数の分光画像ＳＰを選択するときに、分光波長がそれぞれ３０ｎｍ以上離れた分光画像を選択ようになっている。
【００４４】
そして、画像処理手段４０は画像選択手段３０により選択された複数の分光画像ＳＰＤをＲ信号、分光画像ＳＰＢをＧ信号、分光画像ＳＰＡをＢ信号の原色信号に割り当て処理画像ＣＰを生成する。ここで、すべての分光画像ＳＰを評価した後に分光画像ＳＰを選択するようにしているが、複数の分光画像ＳＰ１〜ＳＰｋをＲ信号の波長帯域、Ｇ信号の波長帯域およびＢ信号の波長帯域に分類し、３つの分類の中から最も評価の高い分光画像ＳＰを選択するようにしても良い。
【００４５】
この場合であっても、データベース作成の為の作業をなくし、病巣の特徴的構造を表した処理画像ＣＰを精度良く生成することができるとともに、検査中であってもリアルタイムに近い時間で分光波長を選択することができ、観察部位毎に迅速に分光波長を切り替えることができる。さらに、Ｒ、Ｇ、Ｂの各原色信号の波長帯域毎に最も評価の高い分光画像ＳＰＤ、ＳＰＢ、ＳＰＡを選択し、複数の分光画像ＳＰをそれぞれＲ、Ｇ、Ｂの原色信号に割り当てることにより、特徴量Ｘの示す測定対象の観察に有効な特徴的構造を最も有している分光画像ＳＰを原色信号の各波長帯域毎に選択して測定対象の実際の色に近い測定対象の観察に適した処理画像ＣＰを生成することができる。
【００４６】
図１０から図１３は本発明の分光画像処理装置における処理画像の生成の別の実施の形態を示す模式図であり、図１０から図１３を参照して処理画像の生成の実施形態について説明する。
【００４７】
図１０においては、特徴量抽出手段２０が上述した複数の特徴量Ｘ、Ｘ１、Ｘ２を抽出するようになっている。なお、図１０においては３つの特徴量Ｘ、Ｘ１、Ｘ２を抽出する場合について例示しているが、特徴量Ｘ３を加えた４つの特徴量を用いるというように２つ以上の特徴量を抽出ものであればよい。次に画像選択手段３０は、複数の特徴量Ｘ、Ｘ１、Ｘ２を用いてそれぞれ複数の分光画像ＳＰ１〜ＳＰｋを評価し、図１０に示すような評価のランキングを作成する。
【００４８】
そして、各特徴量Ｘ、Ｘ１、Ｘ２毎に最も評価の高い分光画像ＳＰを選択し、これを用いて処理画像ＣＰを生成する。具体的には、図１０において画像選択手段３０は複数の特徴量Ｘ、Ｘ１、Ｘ２毎にそれぞれ最も評価の高い分光画像ＳＰＤ、ＳＰＥ、ＳＰＰを選択する。そして、画像生成手段４０は選択された複数の分光画像ＳＰＤ、ＳＰＥ、ＳＰＰを分光波長の長いものから順に、Ｒ、Ｇ、Ｂの原色信号に割り当てる。具体的にはたとえば図１１のように、画像生成手段４０は分光画像ＳＰＤをＲ信号に割り当て、ＳＰＥをＧ信号に割り当てＳＰＰをＢ信号に割り当て処理画像ＣＰを生成する。なお、画像選択手段３０が複数の分光画像ＳＰを選択するとき、各分光画像ＳＰＤ、ＳＰＥ、ＳＰＰの分光波長が３０ｎｍ以上離れている分光画像ＳＰを選択するようになっている。
【００４９】
この場合であっても、データベース作成の為の作業をなくし、病巣の特徴的構造を表した処理画像ＣＰを精度良く生成することができるとともに、検査中であってもリアルタイムに近い時間で分光波長を選択することができ、観察部位毎に迅速に分光波長を切り替えることができる。さらに各特徴量Ｘ、Ｘ１、Ｘ２において最も評価の高い分光画像ＳＰＤ、ＳＰＥ、ＳＰＰを選択し、複数の分光画像ＳＰＤ、ＳＰＥ、ＳＰＰをそれぞれＲ、Ｇ、Ｂの原色信号に割り当てることにより、特徴量Ｘの示す測定対象の観察に有効な特徴的構造を最も有している分光画像ＳＰＤ、ＳＰＥ、ＳＰＰを用いた処理画像ＣＰを生成することができる。
【００５０】
あるいは、図１０および図１２に示すように、画像選択手段３０は、各特徴量Ｘ、Ｘ１、Ｘ２毎にそれぞれ複数の分光画像ＳＰを選択するようにしても良い。具体的には、画像選択手段３０は各特徴量Ｘ、Ｘ１、Ｘ２において評価の高い３つの分光画像ＳＰを選択する。具体的には、画像選択手段３０は特徴量Ｘについて分光画像ＳＰＤ、ＳＰＢ、ＳＰＣ、特徴量Ｘ１について分光画像ＳＰＥ、ＳＰＦ、ＳＰＧ、特徴量Ｘ２について分光画像ＳＰＰ、ＳＰＱ、ＳＰＲを選択する。なお、画像選択手段３０が各特徴量Ｘ、Ｘ１、Ｘ２において複数の分光画像ＳＰを選択するとき、分光波長が３０ｎｍ以上離れている分光画像ＳＰを選択するようになっている。そして、図１２に示すように、画像生成手段４０は各特徴量Ｘ、Ｘ１、Ｘ２の評価が同一順位である分光画像ＳＰ同士を加算する。つまり、画像生成手段４０は最も評価の高い分光画像ＳＰＥ、ＳＰＰ、ＳＰＧ、２番目に評価の高い分光画像ＳＰＢ、ＳＰＦ、ＳＰＱ、３番目に評価の高い分光画像ＳＰＥ、ＳＰＰ、ＳＰＧをそれぞれ加算する。そして、たとえば評価の高い順にＲ、Ｇ、Ｂの各原色信号に割り当てることにより処理画像ＣＰを生成する。
【００５１】
この場合であっても、データベース作成の為の作業をなくし、病巣の特徴的構造を表した処理画像ＣＰを精度良く生成することができるとともに、検査中であってもリアルタイムに近い時間で分光波長を選択することができ、観察部位毎に迅速に分光波長を切り替えることができる。さらに各特徴量Ｘ、Ｘ１、Ｘ２において最も評価の高い分光画像ＳＰＤ、ＳＰＥ、ＳＰＰを選択し、複数の分光画像ＳＰＤ、ＳＰＥ、ＳＰＰをそれぞれＲ、Ｇ、Ｂの原色信号に割り当てることにより、特徴量Ｘの示す測定対象の観察に有効な特徴的構造を最も有している分光画像ＳＰＤ、ＳＰＥ、ＳＰＰを用いた処理画像ＣＰを生成することができる。
【００５２】
さらに、原色信号（Ｒ信号、Ｇ信号、Ｂ信号）の波長帯域毎に最も評価の高い分光画像ＳＰを選択するようにしてもよい。たとえば図１０および図１３に示すようにＲ信号の波長帯域において特徴量Ｘを用いたランキングでは分光画像ＳＰＤ、特徴量Ｘ１では分光画像ＳＰＥ、特徴量Ｘ２では分光画像ＳＰＰが選択され加算される。同様に、Ｇ信号の波長帯域において特徴量Ｘでは分光画像ＳＰＢ、特徴量Ｘ１では分光画像ＳＰＧ、特徴量Ｘ２では分光画像ＳＰＲが選択され加算される。さらに、Ｂ信号の波長帯域において特徴量Ｘでは分光画像ＳＰＡ、特徴量Ｘ１では分光画像ＳＰＨ、特徴量Ｘ２では分光画像ＳＰＳが選択され加算される。そして、画像生成手段４０は複数の特徴量Ｘ、Ｘ１、Ｘ２毎にそれぞれ選択された各波長帯域毎に加算した分光画像ＳＰを原色信号に割り当て処理画像ＣＰを生成するようになっている。このように、各原色信号の波長帯域毎に最も評価の高い分光画像ＳＰを複数の特徴量Ｘ、Ｘ１、Ｘ２毎にそれぞれ選択し、各原色信号の波長帯域毎に選択された各特徴量Ｘ、Ｘ１、Ｘ２の複数の分光画像ＳＰを加算したものを各原色信号に割り当てることにより、各波長帯域において各特徴量に基づいて複数の分光画像が選択され処理画像が生成されるため、有効な分光画像の選択を精度良く行うことができ、測定対象の観察に適した処理画像を自動的に生成することができる。
【００５３】
上記各実施の形態によれば、複数の分光画像ＳＰ１〜ＳＰｋからそれぞれ特徴量Ｘを抽出し、抽出した特徴量Ｘを用いて複数の分光画像ＳＰ１〜ＳＰｋを評価することにより、評価の高い分光画像ＳＰを選択し、選択した各波長帯域毎の分光画像ＳＰを原色信号に割り当てることにより処理画像ＣＰを生成することにより、従来のように病変の種類と分光分布との関係を示すデータベースを用いることなく、測定対象の観察に有効な分光画像を自動的に選択し処理画像を生成することができる。
【００５４】
本発明の実施の形態は、上記各実施の形態に限定されない。たとえば特徴量抽出手段２０において、特徴量としてエッジ強度を検出するもしくは空間周波数変換を用いて算出する場合について例示しているが、たとえば明るさ、色、色相、彩度、テクスチャ情報もしくはコントラスト等を抽出するようにしてもよい。
【００５５】
さらに、図１の特徴量抽出手段２０において、分光画像ＳＰを取得した測定対象毎に用いる特徴量Ｘを変更する機能を有していても良い。これにより、各測定部位（患部）の特徴的構造を最も示す特徴量Ｘを用いて分光画像ＳＰの選択を行うことができる。また原色信号がＲＧＢ信号からなる場合について例示しているが、たとえばシアン、イエロー、マゼンダ、グリーンの各原色信号からなるＣＹＭＧ表色系からなるものであってもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の分光画像処理装置の好ましい実施の形態を示すブロック図
【図２】図１の分光画像取得手段により取得される複数の分光画像の一例を示す模式図
【図３】図１の特徴量抽出手段により抽出される特徴量の一例を示す模式図
【図４】図１の特徴量抽出手段により抽出される特徴量の別の一例を示す模式図
【図５】図１の特徴量抽出手段により抽出される特徴量の別の一例を示す模式図
【図６】図１の特徴量抽出手段により抽出される特徴量の別の一例を示す模式図
【図７】図１の画像選択手段において分光画像が選択される様子を示す模式図
【図８】図１の画像生成手段により処理画像が生成される様子を示す模式図
【図９】本発明の分光画像処理方法の好ましい実施の形態を示すフローチャート
【図１０】本発明の分光画像処理装置における処理画像の生成についての別の実施の形態を示す模式図
【図１１】本発明の分光画像処理装置における処理画像の生成についての別の実施の形態を示す模式図
【図１２】本発明の分光画像処理装置における処理画像の生成についての別の実施の形態を示す模式図
【図１３】本発明の分光画像処理装置における処理画像の生成についての別の実施の形態を示す模式図
【符号の説明】
【００５７】
１     分光画像処理装置
１０   分光画像取得手段
２０   特徴量抽出手段
３０   画像選択手段
４０   画像生成手段
ＣＰ   処理画像
ＳＰ１〜ＳＰｋ   分光画像
Ｘ、Ｘ１、Ｘ２、Ｘ３  特徴量
【図１】
2007307202.tif 000003
【図２】
2007307202.tif 000004
【図３】
2007307202.tif 000005
【図４】
2007307202.tif 000006
【図５】
2007307202.tif 000007
【図６】
2007307202.tif 000008
【図７】
2007307202.tif 000009
【図８】
2007307202.tif 000010
【図９】
2007307202.tif 000011
【図１０】
2007307202.tif 000012
【図１１】
2007307202.tif 000013
【図１２】
2007307202.tif 000014
【図１３】
2007307202.tif 000015