(57)【特許請求の範囲】
【請求項１】
入力画像信号に所定の処理を施す画像処理装置において、
前記画像信号のレベルに基づき、該画像信号における非処理部分を特定する非処理部分特定手段と、
前記非処理部分特定手段の特定情報に基づき、前記画像信号における非処理部分を所定領域だけ拡張する非処理部分拡張手段と、
前記非処理部分拡張手段による信号が入力されるセレクタと、
前記入力画像信号を格納し、前記非処理部分拡張手段による演算にかかる時間だけ前記入力画像信号を遅らせて前記セレクタに信号を伝達するメモリ部と、
前記セレクタによって選択される前記入力画像信号及び前記非処理部分拡張手段による信号に基づき画像処理する画像処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記セレクタからの信号に基づいて、ＩＨｂ量を算出する演算を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ＩＨｂ量に基づき、疑似カラー表示する色を設定する疑似カラー割当部を有することを特徴とする請求項２記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、内視鏡画像等の画像に対して視認性の向上などのために所定の画像処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
従来より、例えば内視鏡装置等においては、画像処理装置を用いて内視鏡により得られた内視鏡画像などに対して色彩強調等の画像処理を施し、診断時の視認性を高めたりすることが行われている。内視鏡用の画像処理装置では、画像中の照明光量が多すぎて白くぼけたハレーション部や照明光量が少なくて黒くなった暗部のデータについては、正確な演算データが得られないため、画像処理には不適当なデータとして演算処理から除外することが一般に行われている。例えば、特開平３−２１１８６号公報に開示されている画像処理装置では、所定の信号レベルを逸脱した場合を無効領域としてそれ以外の有効領域と識別可能にし、誤認識の発生を防止して信頼性の高い情報を得ることができるようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置では、面順次式の内視鏡装置を用いて画像を得る場合には、その原理的な要因により色ズレが発生するため、画像処理時にハレーション部等の無効領域周辺のデータについても演算処理を行うと正確なデータが得られないことがあった。このため、演算結果を疑似カラーで表示させた場合など、無効領域として除去した部分の周辺の色変化が病変部のように見えてしまうこともあり、このようなアーティファクトにより観察しづらい画像となってしまう不具合があった。
【０００４】
これに対し、前記のようなアーティファクトを発生させないように、ハレーション部と暗部のデータを除去するためにあるしきい値を用いた場合は、除去した部分の辺縁がノイズなどの影響によってギザギザになってしまい、動画で観察を行うときに見づらくなってしまうことがあった。また、ハレーション部周辺や暗部周辺ではない正常な領域を誤って無効領域として除去してしまうおそれがあり、観察したい領域が除去されてしまう場合があるという問題点もあった。
【０００５】
本発明は、これらの事情に鑑みてなされたもので、画像処理時に正確な演算結果が得られない部分の画像データを確実かつ適切に除去して画像処理によるアーティファクトの発生を防止でき、かつ観察者が観察したい所望部分の画像データの欠落を防ぎ、処理後の画像を正しく認識できるようにすることが可能な画像処理装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明による画像処理装置は、入力画像信号に所定の処理を施す画像処理装置において、前記画像信号のレベルに基づき、該画像信号における非処理部分を特定する非処理部分特定手段と、前記非処理部分特定手段の特定情報に基づき、前記画像信号における非処理部分を所定領域だけ拡張する非処理部分拡張手段と、前記非処理部分拡張手段による信号が入力されるセレクタと、前記入力画像信号を格納し、前記非処理部分拡張手段による演算にかかる時間だけ前記入力画像信号を遅らせて前記セレクタに信号を伝達するメモリ部と、前記セレクタによって選択される前記入力画像信号及び前記非処理部分拡張手段による信号に基づき画像処理する画像処理手段とを有することを特徴とし、前記画像処理手段は、前記セレクタからの信号に基づいて、ＩＨｂ量を算出する演算を行うことを特徴とし、また、前記ＩＨｂ量に基づき、疑似カラー表示する色を設定する疑似カラー割当部を有することを特徴とする。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１ないし図６は本発明の第１の実施形態に係り、図１は画像処理装置の構成を示すブロック図、図２はＩＨｂ算出部の構成例を示すブロック図、図３はＩＨｂ量に対応する色付けの設定例を示す説明図、図４は無効領域除去部の構成を示すブロック図、図５は図４中の無効領域拡張部の構成を示すブロック図、図６は処理画像における拡張された無効領域の分布の一例を示す作用説明図である。
【０００８】
本実施形態では、内視鏡により得られた内視鏡画像に対して画像処理を行う内視鏡用画像処理装置の構成例を示す。画像処理装置１は、内視鏡画像より求めたヘモグロビン色素に相関するヘモグロビンインデックス（以下、ＩＨｂと記載する）を疑似カラー表示させ、病変部などのＩＨｂ量の変化を観察可能にする画像処理を行う装置である。
【０００９】
図１に示すように、画像処理装置１は、アナログの入力画像信号をディジタル信号に変換するＡ／Ｄ変換部２と、Ａ／Ｄ変換部２の出力に対して逆ガンマ補正を行う逆ガンマ補正部（γ′）３と、画像処理を行う上で不適当なデータを持つ領域を無効領域として除去する無効領域除去部４と、演算によりＩＨｂ量を求めるＩＨｂ算出部５と、ＩＨｂ量に応じた表示色を設定する疑似カラー割当部６と、疑似カラー割当部６の出力に対してガンマ補正を行うガンマ補正部（γ）７と、ディジタル信号をアナログの出力画像信号に変換するＤ／Ａ変換部８とを有して構成されている。
【００１０】
このように構成された本実施形態の画像処理装置１の動作を説明する。内視鏡により撮像された内視鏡画像は、画像処理装置１に入力されてＩＨｂ量を示す疑似カラー表示を行うための画像処理が施される。内視鏡画像の画像信号は、まず、画像処理装置１内部での処理がディジタル信号処理であるため、Ａ／Ｄ変換部２においてアナログ信号からディジタル信号に変換される。ディジタル信号に変換された画像信号は、逆ガンマ補正部３によって内視鏡画像にかけられているガンマ補正が除去される。その後、無効領域除去部４によって、ハレーション部と暗部及びその周辺部に相当する演算に不適当な領域のデータが除去される。この無効領域の除去方法については後で説明する。
【００１１】
無効領域除去部４によって画像中の無効領域が除去されると、ＩＨｂ算出部５によって各画素のＩＨｂ量が算出される。ＩＨｂ量を求める演算式は、以下に示す（１）式の通りである。
【００１２】
ＩＨｂ＝３２×Ｌｏｇ（Ｒ／Ｇ）  …（１）
ただし、Ｒ：Ｒ画像の信号レベル
Ｇ：Ｇ画像の信号レベル
このＩＨｂ量の演算は、ＲＯＭを用いたり、図２に示すような演算回路を用いて算出することができる。例えば、図２の演算回路では、割り算回路３１によってＲ画像の信号レベルに対してＧ画像の信号レベルを除算した後、対数変換回路３２によって対数変換し、掛け算回路３３によって定数の３２を乗算することにより、ＩＨｂ量が求められる。
【００１３】
各画素において求められたＩＨｂ量は、疑似カラー割当部６に入力され、ここで算出されたＩＨｂ量に基づいて疑似カラー表示する色が決定される。図３はＩＨｂ量に対応する色付けの設定例を示したものであり、ＩＨｂ量を６段階に分割して表示色を設定する場合の例である。この場合、ＩＨｂ量の高い順に、ピンク、赤、黄、緑、シアン、青が割り当てられる。この疑似カラー表示色の割り当ては、ＲＯＭなどを用い、入力されるＩＨｂ量に応じて前記のような各色を表すＲ、Ｇ、Ｂデータを出力するようにすれば簡単に行うことが可能である。
【００１４】
なお、ＩＨｂ量に関してより細部の変化を観察したい場合は、さらに細かく８、１６、３２段階などに分割し、それぞれ色分けすれば良い。また、６色で細部の変化を表示したい場合は、観察者が表示したいＩＨｂ量の範囲を狭く指定することで実現可能である。
【００１５】
このようにして、疑似カラーとして割り当てられたＩＨｂ量分布画像の画像信号は、ガンマ補正部７によってモニタに表示した際にリニアな特性になるようガンマ補正がかけられる。そして、補正がかけられたＩＨｂ量分布画像の画像信号は、Ｄ／Ａ変換部８によってディジタル信号からアナログ信号に変換され、画像処理装置１より出力される。
【００１６】
次に、無効領域除去部４の構成及び作用について詳細に説明する。図４に示すように、無効領域除去部４は、無効領域検出部９と無効領域拡張部１０とを有して構成されている。
【００１７】
無効領域除去部４に入力された逆ガンマ補正部３からの画像信号は、無効領域検出部９と無効領域拡張部１０とに入力される。無効領域検出部９では、入力された画像信号を基に、その信号レベルなどを参照してハレーション部や暗部などの正確な演算結果が得られない領域かどうかの判別が行われ、無効領域と判別された画素については「０」が出力され、有効領域と判別された画素については「１」が出力される。無効領域拡張部１０では、前記無効領域検出部９の出力を基に所定領域だけ無効領域の拡張が行われた後、入力された画像信号のうち、有効領域とした画素の画像信号のみがＩＨｂ算出部５へ出力される。なお、無効領域に設定された画素の画像信号としては、０レベルが出力される。
【００１８】
図５に無効領域拡張部１０の構成を示す。無効領域拡張部１０は、無効領域検出部９の出力を一時記憶するラインメモリ１２，１３と、信号遅延用のディレイ１４〜１９と、入力された各信号の乗算を行う乗算部２０と、出力する画像信号を選択するセレクタ２１と、逆ガンマ補正部３から無効領域除去部４に入力された画像信号を格納するメモリ２２とを有して構成されている。
【００１９】
無効領域拡張部１０は、入力された画像信号の中から、隣接した画素の画像信号を参照して、無効領域を示す０レベルの信号が隣接画素に存在する場合は、その画素も無効領域として０レベルを出力する。このとき、乗算部２０は、入力される９つの信号の乗算を行うようになっており、乗算部２０にはラインメモリ１２，１３、ディレイ１４〜１９によって３×３の隣接する９画素の信号が入力され、この領域内に０レベルの信号があれば演算結果は「０」となる。すなわち、３×３の領域内において隣接画素に無効領域が存在する場合に、その中心画素も無効領域とすることが可能となっている。
【００２０】
図６は無効領域拡張部１０により拡張された無効領域の分布の一例を示したものである。図６において、「０」は無効領域を示す画素、「１」は有効領域を示す画素であり、左側は無効領域拡張部１０に入力される画像、右側は無効領域拡張部１０から出力される画像のそれぞれの無効領域の分布を示している。この例のように、上下左右及び斜め方向のいずれかに隣接する画素が０レベルとなっている画素は、その画素も０レベルとして出力される。
【００２１】
このようにして拡張された無効領域の分布は、セレクタ２１のＢ端子とＳ端子に入力され、このＢ端子に入力される信号とＡ端子に入力される画像信号のいずれか一方がセレクタ２１により選択されてＩＨｂ算出部５へ出力される。画像の全領域のうち、無効領域と判別された画素はＢ端子の入力、すなわち０レベルの信号が出力され、有効領域と判別された画素はＡ端子の入力、すなわち入力された画像信号が出力される。ここで、メモリ２２は、無効領域を拡張するための演算にかかる時間だけ、入力画像信号を遅らせる機能を有している。
【００２２】
以上のように、ＩＨｂ量の算出を行う際に、ハレーション部や暗部などの正確な演算データが得られない部分を無効領域として除去し、さらにこの無効領域を周辺の画素まで拡張して設定し直すことで、画像処理時に正確な演算結果が得られない部分の画像データを適切に除去でき、ハレーション部等の周辺に発生した色ズレなどの影響を除去することが可能となり、より正確な演算データを得ることができる。
【００２３】
また、本実施形態ではハレーション部等の不良部分周辺のデータを広めに除去するようにしているため、従来ハレーション部周辺で発生していたアーティファクトによる色変化が少なくなり、病変部による変化と見誤るようなおそれもなくすことができる。また、無効領域として除去された辺縁部が平滑化されたようになるため、従来の処理結果のようにギザギザの辺縁になることがなく、この結果、除去された部分周辺でのアーティファクトが少なくなるため、観察の行いやすい画像を提供することが可能である。
【００２４】
なお、本実施形態では、無効領域とみなす信号レベルを拡張して不良部分周辺のアーティファクトを除去するようにした場合と異なり、ハレーション部や暗部周辺ではない正常な部分まで無効領域としてしまうことがないため、観察者が観察したい部分の領域を誤って無効領域としてしまう不具合を防止できる。
【００２５】
図７は本発明の第２の実施形態に係る無効領域除去部の構成を示すブロック図である。第２の実施形態では、図１の画像処理装置における無効領域除去部の構成を変更した例を示す。無効領域除去部３０は、内視鏡用画像処理装置に設けられ、第１の実施形態とは異なる方法で入力画像からハレーション部や暗部などの無効領域を除去するものである。画像処理装置の基本的な構成及び動作は第１の実施形態と同様であるため説明を省略する。
【００２６】
無効領域除去部３０は、入力画像信号を記憶するビデオＲＡＭ（ＶＲＡＭ）２４と、各部の制御を行うＣＰＵ２５と、セレクタ２７のＢ端子及びＳ端子へのデータ出力を制御するＩ／Ｏポート２６と、出力する画像信号を選択するセレクタ２７と、逆ガンマ補正部３から無効領域除去部３０に入力された画像信号を格納するメモリ２８と、ＶＲＡＭ２４，ＣＰＵ２５，Ｉ／Ｏポート２６を接続するバス２９とを有して構成されている。
【００２７】
無効領域除去部３０に入力された画像信号は、ＶＲＡＭ２４とメモリ２８とに入力される。ＶＲＡＭ２４に取り込まれた入力画像信号は、ＣＰＵ２５によって、ハレーション部や暗部などの正確な演算データが得られない領域であるか否かを信号レベルなどによって判別され、有効領域である画素のデータは「１」、無効領域である画素のデータは「０」に書き換えられる。
【００２８】
次にＣＰＵ２５は、３×３のマスク処理によって、３×３の領域内、すなわち中心画素に隣接している画素に「０」のデータが存在する場合は、その中心画素のデータも「０」に書き換えることで無効領域の拡張を行う。このようにして得られる無効領域のデータの分布は、第１の実施形態で説明した図６と同様である。なお、３×３のマスク処理に限らず、５×５またはそれ以上の領域でマスク処理を行っても良い。
【００２９】
このようにして拡張された無効領域の分布は、ＶＲＡＭ２４より画素ごとに順次読み出され、Ｉ／Ｏポート２６を介してセレクタ２７のＢ端子とＳ端子に入力される。一方、セレクタ２７のＡ端子には、メモリ２８から画像信号が入力される。セレクタ２７は、Ｓ端子に入力された値に基づいて、出力する信号としてＢ端子の入力信号とＡ端子の入力信号のいずれか一方を選択し、ＩＨｂ算出部５へ出力する。すなわち、「０」がＳ端子に入力されるとＢ端子に入力される信号を、「１」がＳ端子に入力されるとＡ端子に入力される信号を出力する。従って、画像の全領域のうち、有効領域と判別された画素はＡ端子に入力される画像信号が出力され、無効領域と判別された画素はＢ端子に入力される０レベルの信号が出力される。
【００３０】
ここで、メモリ２８は、ＣＰＵ２５による無効領域の検出、及び無効領域の拡張にかかる時間だけ、入力画像信号を遅らせる機能を有している。なお、上記の無効領域の検出及び拡張処理を映像信号の帰線期間内に行えば、動画での処理が可能である。
【００３１】
上記の構成によって、無効領域が除去された画像信号がＩＨｂ算出部５に出力される。
【００３２】
以上のように、第２の実施形態の構成においても第１の実施形態と同様の作用効果が得られ、ＩＨｂ量を算出して疑似カラー表示を行う際に、面順次式の内視鏡装置で得られた画像を処理するような場合であっても、ハレーション部等の周辺に発生した色ズレなどの影響を除去することができ、より正確な演算データを得ることが可能となる。
【００３３】
［付記］
（１）  入力された画像信号に所定の処理を施す画像処理装置において、
前記画像信号の信号レベルに基づき、該画像信号における非処理部分を特定する非処理部分特定手段と、
前記非処理部分特定手段の特定情報に基づき、前記画像信号における非処理部分を所定領域だけ拡張する非処理部分拡張手段と、
前記非処理部分拡張手段によって非処理部分が拡張設定された画像信号に基づき画像処理する画像処理手段と、
を具備したことを特徴とする画像処理装置。
【００３４】
（２）  入力された画像信号の信号レベルに基づき、演算処理に不適切な無効画像領域を検出する無効領域検出手段と、
前記無効領域検出手段で検出された無効画像領域情報に基づき、無効画像領域を所定領域だけ拡張して設定する無効領域拡張手段と、
前記無効領域拡張手段によって拡張された無効画像領域に基づき、前記画像信号に対し画像処理のための演算処理を施す演算手段と、
を具備したことを特徴とする画像処理装置。
【００３５】
（３）  前記非処理部分特定手段は、前記画像信号におけるハレーション部と暗部とを非処理部分として検出を行うことを特徴とする付記１に記載の画像処理装置。
【００３６】
（４）  前記非処理部分拡張手段は、前記非処理部分特定手段の特定情報に基づき、前記画像信号における隣接する画素が非処理部分であることを検出して非処理部分の拡張を行うことを特徴とする付記１に記載の画像処理装置。
【００３７】
（５）  前記非処理部分拡張手段は、前記非処理部分特定手段の特定情報に基づき、前記画像信号における隣接する画素に非処理部分がある場合にその画素も非処理部分として拡張設定することを特徴とする付記１に記載の画像処理装置。
【００３８】
【発明の効果】
以上説明したように本発明によれば、画像処理時に正確な演算結果が得られない部分の画像データを確実かつ適切に除去して画像処理によるアーティファクトの発生を防止でき、かつ観察者が観察したい所望部分の画像データの欠落を防ぎ、処理後の画像を正しく認識できるようにすることが可能となる効果がある。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図
【図２】ＩＨｂ算出部の構成例を示すブロック図
【図３】ＩＨｂ量に対応する色付けの設定例を示す説明図
【図４】第１の実施形態に係る無効領域除去部の構成を示すブロック図
【図５】図４中の無効領域拡張部の構成を示すブロック図
【図６】処理画像における拡張された無効領域の分布の一例を示す作用説明図
【図７】第２の実施形態に係る無効領域除去部の構成を示すブロック図
【符号の説明】
１…画像処理装置
３…逆ガンマ補正部
４…無効領域除去部
５…ＩＨｂ算出部
６…疑似カラー割当部
７…ガンマ補正部
９…無効領域検出部
１０…無効領域拡張部
【図１】
0003689212.tif 000002
【図２】
0003689212.tif 000003
【図３】
0003689212.tif 000004
【図４】
0003689212.tif 000005
【図５】
0003689212.tif 000006
【図６】
0003689212.tif 000007
【図７】
0003689212.tif 000008