(57)【特許請求の範囲】
【請求項１】
各原色信号がそれぞれゲイン調整されている、内視鏡装置により取得されたカラー画像と、該カラー画像を取得した前記内視鏡装置の固有情報と、前記カラー画像の撮影部位情報とが関連づけて記憶された画像データベースと、
該画像データベースから前記カラー画像と前記固有情報と前記撮影部位情報とを取得する画像取得手段と、
該画像取得手段により取得された前記固有情報に基づいて前記カラー画像に施されているゲイン調整を初期化するゲイン初期化手段と、
該ゲイン初期化手段によりゲイン調整が初期化された前記カラー画像から前記撮影部位情報に基づいて分光推定画像を生成する画像生成手段と
を備え、
前記固有情報が、前記内視鏡装置のＣＣＤの分光感度、カラーフィルターの分光透過率、照明光源の分光強度の少なくとも１つを有するものであり、
前記撮影部位情報が、血管部位情報を含むことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡により測定対象を撮影し各波長毎に取得した分光画像を用いて処理画像を生成する分光画像処理方法および装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
内視鏡検査では、組織の性状や病変を隆起・陥没・表面模様などの形状変化や色調の微妙な変化から読み取るものである。この形状変化等を認識できるかどうかは患部からの光の波長に大きく依存する。従来、光学フィルタを使って波長を特定し観察する方法が提案されているが、この方法では一つの波長域の画像しか得ることができず、他の波長で観察するためにはフィルタの交換が必要である。そこで、近年、通常の画像から任意の波長における画像をコンピュータの演算処理によって推定して画像化を行う分光推定技術を内視鏡検査用途に応用したものが開発されている（たとえば特許文献１参照）。
【０００３】
特許文献１において、ＣＣＤ等の固体撮像素子によりカラー画像信号を取得する電子内視鏡装置において、カラー画像信号に対し所定のマトリックス変換係数を用いてマトリックス変換を施すことにより、複数の特定の波長の分光推定画像を取得するようになっている。なお、この変換係数を変えることにより生成される分光画像信号の波長を変えることができる。そして複数の分光画像信号を表示部に表示する際、各分光画像信号にＲＧＢ信号を割り当てた処理画像を表示するようになっている。
【０００４】
ところで、内視鏡装置においてカラー画像を取得する際、各ＲＧＢ信号にゲイン調整を行うことにより表示画像の最適化を行うことが提案されている（たとえば特許文献２参照）。特許文献２において、観察部位に極めて近接させた拡大像を撮影したとき、赤っぽい画像が取得されるのを防止するため、色信号形成回路における色信号ゲインを調整し、画像中の赤色レベルを低減させるようにしている。また、ユーザーの好みに応じてゲイン調整を行う機能を有する内視鏡装置も提案されている。
【特許文献１】特開２００３−９３３３６号公報
【特許文献２】特開２００３−１０２６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、内視鏡装置による撮影時に画像を用いて測定対象を観察するばかりでなく、一度撮影した画像をコンピュータに保存し、この保存した画像を再度閲覧する場合がある。この場合にも上述した特許文献１のようにカラー画像から分光推定画像が生成されることになる。しかし、画像として保存されているカラー画像は特許文献２に示すような画像を見やすくするためのゲイン調整が行われ、カラー画像自体が測定対象を忠実に表現したものとは異なっている場合がある。このようなカラー画像から分光推定画像を生成したとき、変換結果後の分光推定画像が所定の波長のものではないことがあり、所望の分光波長を示す分光推定画像を取得することができない場合があるという問題がある。
【０００６】
そこで、本発明は、精度良く分光推定画像を生成することができる画像処理装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、各原色信号がそれぞれゲイン調整されている、内視鏡装置により取得されたカラー画像と、カラー画像を取得した内視鏡装置の固有情報と、カラー画像の撮影部位情報とが関連づけて記憶された画像データベースと、画像データベースからカラー画像と固有情報と撮影部位情報とを取得する画像取得手段と、画像取得手段により取得された固有情報に基づいて、カラー画像に施されているゲイン調整を初期化するゲイン初期化手段と、ゲイン初期化手段によりゲイン調整が初期化されたカラー画像から撮影部位情報に基づいて分光推定画像を生成する画像生成手段とを備え、固有情報が、内視鏡装置のＣＣＤの分光感度、カラーフィルターの分光透過率、照明光源の分光強度の少なくとも１つを有するものであり、撮影部位情報が、血管部位情報を含むことを特徴とするものである。
【００１０】
ここで、内視鏡装置の固有情報は、変換係数は、カラー画像から複数の分光画像を生成ための変換係数であればどのようなものであってもよく、たとえばカラー画像のＲＧＢ成分に対し３×３、又は３×４の変換マトリックスからなっていてもよい。
【００１１】
なお、画像生成手段が、固有情報とカラー画像から分光推定画像を生成するときの変換係数とが関連づけて記憶された係数データベースと、画像取得手段により取得された固有情報を用いて係数データベースから変換係数を取得する係数取得手段と、係数取得手段により取得したされた変換係数を用いて所定の分光波長の分光推定画像が生成されるようにカラー画像を変換処理する変換処理手段とを備えたものであってもよい。
【００１３】
なお、係数データベースが固有情報とともに撮影部位情報を変換係数と関連づけて記憶しているものであり、係数取得手段が固有情報および撮影部位情報を用いて係数データベースから変換係数を取得するようにしてもよい。
【００１４】
さらに、画像データベースがカラー画像の撮影部位情報を該カラー画像と関連づけて記憶しているものであり、画像取得手段がカラー画像とともに撮影部位情報を取得するものであり、係数データベースが撮影部位情報とカラー画像から分光推定画像を生成するときの変換係数とを関連づけて記憶しているものであり、係数取得手段が撮影部位情報を用いて係数データベースから変換係数を取得するものであってもよい。
【発明の効果】
【００１５】
本発明の画像処理装置によれば、内視鏡装置を用いて測定対象を撮影し取得されたカラー画像と、カラー画像を取得した内視鏡装置の固有情報とが関連づけて記憶された画像データベースと、画像データベースからカラー画像と固有情報とを取得する画像取得手段と、画像取得手段により取得された固有情報に基づいて、カラー画像に施されているゲイン調整を初期化するゲイン初期化手段と、ゲイン初期化手段によりゲイン調整が初期化されたカラー画像から分光推定画像を生成する画像生成手段とを備えたことにより、カラー画像を見やすくする等の理由により内視鏡装置の撮影時にゲイン調整が行われた後保存されたカラー画像を用いて分光推定画像を生成する場合であっても、このゲイン調整を初期化して撮影時に取得された状態を忠実に再現したカラー画像を用いて分光推定画像を生成するため、分光推定画像の生成精度を向上させることができる。
【００１６】
なお、画像生成手段が、固有情報とカラー画像から分光推定画像を生成するときの変換係数とが関連づけて記憶された係数データベースと、画像取得手段により取得された固有情報を用いて係数データベースから変換係数を取得する係数取得手段と、係数取得手段により取得したされた変換係数を用いて所定の分光波長の分光推定画像が生成されるようにカラー画像を変換処理する変換処理手段とを備えたものであるとき、内視鏡装置による画像取得の後に任意の分光波長の分光推定画像を生成することができるとともに、分光特性等にばらついている複数の内視鏡装置によってそれぞれ取得されたカラー画像であっても、固有情報に基づいて変換係数を変えることで再現性の良い良好な分光推定画像を生成することができる。
【００１７】
また、画像データベースが固有情報とともにカラー画像の撮影部位情報をカラー画像と関連づけて記憶しているものであり、画像取得手段がカラー画像とともに固有情報および撮影部位情報を取得するものであり、画像生成手段が撮影部位情報に基づいて分光推定画像を生成するものであれば、撮影部位に応じて最適な分光推定画像を自動的に生成することができる。
【００１８】
さらに、係数データベースが固有情報とともに撮影部位情報を変換係数と関連づけて記憶しているものであり、係数取得手段が固有情報および撮影部位情報を用いて係数データベースから変換係数を取得するものであれば、撮影部位に応じて最適な分光推定画像を自動的に生成することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の好ましい実施の形態を詳細に説明する。以下、図面を参照して本発明の画像処理装置の好ましい実施の形態を詳細に説明する。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２０】
画像処理装置１は、たとえばＲＧＢ信号からなるカラー画像Ｐから分光推定画像ＳＰ１〜ＳＰ３を生成するものであって、内視鏡装置により取得されたカラー画像Ｐと内視鏡装置の固有情報Ｆ１とが関連づけて記憶された画像データベース１０と、画像データベース１０からカラー画像Ｐと固有情報Ｆ１とを取得する画像取得手段２０と、画像取得手段２０により取得された固有情報Ｆ１に基づいて、カラー画像Ｐに施されているゲイン調整を初期化するゲイン初期化手段３０と、ゲイン初期化手段３０によりゲイン調整が初期化されたカラー画像Ｐから分光推定画像ＳＰ１〜ＳＰ３を生成する画像生成手段４０とを備えている。
【００２１】
ここで、画像データベース１０に記憶されている複数のカラー画像Ｐの中には内視鏡装置による撮影時に画像を見やすくするために各原色信号（各ＲＧＢ信号：８ｂｉｔ〜１６ｂｉｔ）についてそれぞれゲイン調整されたものが含まれている。そして、画像データベース１０にはたとえば画像取得時にゲイン調整されたときのゲイン係数（ゲイン係数と関連付けられたユーザー情報であっても良い）、内視鏡装置の分光特性や照明特性等を示す固有情報Ｆ１が記憶されている。さらにこの分光特性として内視鏡装置のＣＣＤの分光感度、カラーフィルターの分光透過率等が挙げられ、照明特性としてたとえば照明光源の分光強度、経時情報、照明光源の拡散板の分光透過率等が挙げられる。また、画像データベース１０は、カラー画像Ｐと関連づけて撮影部位に関する撮影部位情報Ｆ２を記憶している。この撮影部情報Ｆ２としてたとえば撮影部位の分光反射率情報や血管、ポリープ等の撮影部位そのものの情報等が挙げられる。そして、画像取得手段２０が分光推定画像ＳＰ１〜ＳＰ３を生成するためのカラー画像Ｐとそれに関連づけされた固有情報Ｆ１とを取得する。
【００２２】
ゲイン初期化手段３０は、画像取得手段２０により取得された固有情報Ｆ１を用いてカラー画像Ｐに施されたゲイン調整を初期化するものである。具体的には、ゲイン初期化手段３０は固有情報Ｆ１として取得したゲイン係数の逆数をカラー画像Ｐに乗じることにより、ゲイン調整される前の測定対象を撮影したときの状態を忠実に再現した状態のカラー画像Ｐを生成する。
【００２３】
画像生成手段４０は、ゲイン初期化手段３０によりゲイン調整の初期化が施されたカラー画像Ｐから所定の波長の分光推定画像ＳＰ１〜ＳＰ３を生成するものであって、動作についての詳細は特開２００３−９３３３６号公報に記載されている。ここで、画像生成手段４０は、固有情報Ｆ１と変換係数Ｃとが関連づけて記憶された係数データベース４１と、画像取得手段２０により取得された固有情報Ｆ１を用いて係数データベース４１から変換係数Ｃを決定する係数取得手段４２と、設定された変換係数Ｃを用いてカラー画像Ｐを複数の分光推定画像ＳＰ１〜ＳＰ３に変換する変換処理手段４３とを備えている。
【００２４】
係数データベース４１に記憶されている変換係数Ｃはたとえば３×３変換マトリックスからなるものであって、変換処理手段４３は下記の式（１）に示すようにカラー画像ＰのＲＧＢ信号に変換係数Ｃを乗じることにより所定の分光波長λ１、λ２、λ３の分光推定画像ＳＰ１、ＳＰ２、ＳＰ３を生成するようになっている。
【数１】
0004799248.tif 000002
【００２５】
係数取得手段４２は、固有情報Ｆ１として取得される分光特性等に基づいて上述した変換係数Ｃを係数データベース４１から取得する。なお、係数取得手段４２は予め係数データベース４１に記憶されている変換係数Ｃを取得することにより決定する場合について例示しているが、固有情報Ｆ１に基づいて変換係数Ｃを作成する機能を有していても良い。これにより、内視鏡装置による画像取得の後に任意の分光波長の分光推定画像を生成するとき、分光特性等がばらついている複数の内視鏡装置によって得られたカラー画像Ｐであっても、固有情報Ｆ１に基づいて変換係数Ｃを変えることにより再現性の良い良好な分光推定画像ＳＰ１〜ＳＰ３を生成することができる。
【００２６】
さらに、係数データベース４１には変換係数Ｃが撮影部位情報Ｆ２に関連づけて記憶されており、係数取得手段４２は、画像取得手段２０において取得された撮影部位情報Ｆ２に基づいて変換係数Ｃを係数データベース４１から取得するものであってもよい。たとえば、係数データベース４１において撮影部位情報Ｆ２が「血管」でありこれに関連づけて分光波長４７０ｎｍ、５００ｎｍ、６７０ｎｍの分光推定画像ＳＰ１、ＳＰ２、ＳＰ３が得られるような変換係数Ｃが記憶されているとする。そして、画像取得手段２０において取得された撮影部位情報Ｆ２が血管である場合、変換処理手段４３はこの変換係数Ｃを用いて分光波長４７０ｎｍ、５００ｎｍ、６７０ｎｍの分光推定画像ＳＰ１、ＳＰ２、ＳＰ３を生成することになる。これにより撮影部位を観察するのに適した分光波長からなる分光推定画像を自動的に生成することができるため、利便性を向上させることができる。
【００２７】
画像出力手段５０は画像生成手段４０により生成された複数の分光推定画像ＳＰ１、ＳＰ２、ＳＰ３に対しそれぞれＲ信号、Ｇ信号、Ｂ信号を割り当てて処理画像ＣＰを生成し表示部やプリンタ装置もしくはハードディスク装置等の記憶装置に出力するものである。たとえば分光画像ＳＰ１の画素データをＲ信号の画素データとし、分光画像ＳＰ２の画素データをＧ信号の画素データとし、分光画像ＳＰ３の画素データをＢ信号の画素データとしてＲＧＢのカラー画像からなる処理画像ＣＰを生成するようになっている。このとき、画像出力手段５０は処理画像ＣＰとともにカラー画像Ｐもしくはゲイン初期化が施されたカラー画像Ｐを表示部に出力するようにしてもよい。
【００２８】
なお、上述した分光推定画像ＳＰ１、ＳＰ２、ＳＰ３に対する各ＲＧＢ信号への割り当てはユーザーからの入力により指定されるものであってもよい。また処理画像ＣＰを生成する際、割り当てられた各ＲＧＢ信号に対しそれぞれ出力ゲイン係数を乗じた重み付け加算等の公知の画像処理技術を施してもよい。さらに画像出力手段５０はユーザーからの入力によりこの出力ゲイン係数を調整するものであってもよい。さらに、処理画像ＣＰのデータ形式をＲＧＢ信号からＤＩＢ変換することにより、表示用の２４ｂｉｔＤＩＢ画像を生成し表示部に表示するようにしても良い。
【００２９】
このように、このゲイン調整を初期化して撮影時に取得された状態を忠実に再現したカラー画像Ｐを用いて分光推定画像ＳＰ１、ＳＰ２、ＳＰ３を生成するようになるため、分光推定画像ＳＰ１、ＳＰ２、ＳＰ３の生成精度を向上させることができる。すなわち、画像データベース１０には異なるゲイン係数によりゲイン調整が施された複数のカラー画像Ｐが存在する。よって、たとえば同一の測定対象を撮影したゲイン係数の違う２つのカラー画像から同じ変換係数Ｃを用いて所定の分光波長からなる分光推定画像ＳＰを生成した場合、このゲイン係数の違いにより生成される分光推定画像ＳＰの示す分光波長は異なるものとなってしまう。一方、ゲイン調整を初期化したカラー画像Ｐを用いて分光推定画像ＳＰを生成することにより、上述したゲイン調整の違いによる分光波長のずれを防止することができ、分光推定画像ＳＰの生成精度を向上させることができる。
【００３０】
図３は本発明の画像処理装置の動作例を示すフローチャートであり、図１から図３を参照して画像処理装置１の動作例について説明する。まず、画像生成手段４０において、分光推定画像を生成するカラー画像が画像データベース１０内から選択される（ステップＳＴ１）。このとき、カラー画像Ｐとともに固有情報Ｆ１および撮影部位情報Ｆ２が取得される。次にゲイン初期化手段３０によりカラー画像Ｐに施されているゲイン調整が初期化される（ステップＳＴ２）。そして、係数取得手段４２において、固有情報Ｆ１および撮影部位情報Ｆ２に基づいてマトリックス変換処理を行うときの変換係数Ｃが係数データベース４１から選択されもしくは算出される（ステップＳＴ３）。その後、変換処理手段４３において変換係数Ｃを用いてカラー画像Ｐがマトリックス変換処理され、複数の分光推定画像ＳＰ１〜ＳＰ３が生成される（ステップＳＴ４）。
【００３１】
次に、画像出力手段５０において生成された分光推定画像ＳＰ１〜ＳＰ３を原色信号に割り当てることによりＲＧＢ信号からなる処理画像ＣＰが生成される（ステップＳＴ５）。このとき、各ＲＧＢ信号は出力ゲイン係数を乗じたものであってもよい。そして、画像出力手段５０が生成された処理画像ＣＰを表示装置に出力する（ステップＳＴ６）。
【００３２】
上記実施の形態によれば、カラー画像Ｐを見やすくする等の理由により内視鏡装置の撮影時にゲイン調整が行われた後保存されたカラー画像Ｐを用いて分光推定画像ＳＰ１〜ＳＰ３を生成する場合であっても、このゲイン調整を初期化して撮影時に取得された状態を忠実に再現したカラー画像Ｐを用いて分光推定画像ＳＰ１〜ＳＰ３を生成するため、分光推定画像ＳＰ１〜ＳＰ３の生成精度を向上させることができる。また、画像データベース１０にゲイン調整度合いの異なる複数のカラー画像Ｐが記憶されている場合でも、ゲイン調整を初期化してから分光推定画像ＳＰ１〜ＳＰ３を生成するため、ゲイン係数のばらつきによる分光推定画像ＳＰ１〜ＳＰ３の分光波長のばらつきを抑えることができる。
【００３３】
本発明の実施の形態は上記実施の形態に限定されない。たとえば、上記実施の形態において、３枚の分光推定画像ＳＰ１〜ＳＰ３を生成する場合について例示しているが、１枚であっても良いし２枚以上であってもよい。
【図面の簡単な説明】
【００３４】
【図１】本発明の画像出力装置の好ましい実施の形態を示すブロック図
【図２】図１の画像出力手段において分光推定画像にＲＧＢ信号が割り当てられることにより処理画像が生成される様子を示す模式図
【図３】本発明の画像出力方法の好ましい実施の形態を示すフローチャート
【符号の説明】
【００３５】
１     画像処理装置
１０   画像データベース
２０   画像取得手段
３０   ゲイン初期化手段
４０   画像生成手段
４１   係数データベース
４２   係数取得手段
４３   変換処理手段
５０   画像出力手段
Ｃ     変換係数
ＣＰ   処理画像
Ｆ１   固有情報
Ｆ２   撮影部位情報
Ｐ     カラー画像
ＳＰ１〜ＳＰ３ 分光画像
【図１】
0004799248.tif 000003
【図２】
0004799248.tif 000004
【図３】
0004799248.tif 000005