(57)【特許請求の範囲】
【請求項１】
少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを具備し、
前記処理適用手段が、
前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
前記周波数帯域成分抽出手段が抽出した周波数帯域成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、
前記増幅／抑制手段により増幅及び／又は抑制された周波数帯域成分及び前記信号を合成する合成手段と、
前記増幅／抑制手段における増幅及び／又は抑制の量を前記局所的特徴量算出手段による局所的特徴量に基づき変更する増幅／抑制量変更手段と、
を備えたことを特徴とする内視鏡画像処理装置。
【請求項２】
少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを具備し、
前記処理適用手段が、
前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、を備え、
前記局所的特徴量算出手段が前記入力手段に入力される内視鏡画像における形状の輪郭部及び／又はハレーション部を検出するための特徴量を算出することを特徴とする内視鏡画像処理装置。
【請求項３】
少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを具備し、
前記処理適用手段が、
前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、を備え、
前記局所的特徴量算出手段が前記信号の局所的変動の大きさに基づく特徴量を算出するものであって、前記信号の局所的な最大値及び最小値に基づく特徴量を算出することを特徴とする内視鏡画像処理装置。
【請求項４】
前記局所的特徴量が前記信号の局所的な最大値及び最小値の比又は差に基づく値であることを特徴とする請求項３記載の内視鏡画像処理装置。
【請求項５】
前記周波数帯域成分抽出手段がフィルタリング手段を備えることを特徴とする請求項１〜３のいずれか１つに記載の内視鏡画像処理装置。
【請求項６】
前記フィルタリング手段がディジタルフィルタを用いたフィルタリングを行うことを特徴とする請求項５に記載の内視鏡画像処理装置。
【請求項７】
前記フィルタリング手段がフーリエ変換後の周波数空間上におけるフィルタリングを行うことを特徴とする請求項５に記載の内視鏡画像処理装置。
【請求項８】
前記局所的特徴量算出手段が算出した特徴量の値に基づき前記フィルタリング手段が適用するフィルタの周波数特性を変更することを特徴とする請求項５〜７のいずれか１つに記載の内視鏡画像処理装置。
【請求項９】
少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを具備し、
前記処理適用手段が、
前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
前記周波数帯域成分抽出手段において抽出した周波数成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、
前記内視鏡画像の局所的な明るさ及び／又は前記周波数帯域成分抽出手段において抽出した少なくとも１つの周波数成分の局所的な量に基づき低周波数帯域成分を変更する局所的低周波数帯域成分変更手段と、
前記増幅／抑制手段による増幅及び／又は抑制後の周波数帯域成分と、前記局所的低周波数帯域成分変更手段による局所的な低周波数帯域成分の変更後の周波数帯域成分と、前記入力手段による前記信号とを合成する合成手段と、
を備えたことを特徴とする内視鏡画像処理装置。
【請求項１０】
前記内視鏡画像の局所的な明るさを示す値が前記信号における画素の値であることを特徴とする請求項９記載の内視鏡画像処理装置。
【請求項１１】
前記内視鏡画像の局所的な明るさを示す値が前記信号における画素の局所的な平均値であることを特徴とする請求項９記載の内視鏡画像処理装置。
【請求項１２】
前記内視鏡画像の局所的な明るさを示す値が前記内視鏡画像における局所的な輝度の値に基づくものであることを特徴とする請求項９記載の内視鏡画像処理装置。
【請求項１３】
前記局所的低周波数帯域成分変更手段が、局所的低周波数帯域成分に対する加減算又は乗算であることを特徴とする請求項９〜１２のいずれか１つに記載の内視鏡画像処理装置。
【請求項１４】
前記局所的低周波数帯域成分変更手段における変更量が、前記入力された内視鏡画像が局所的に暗いと判断される場合には明るさを増幅し、局所的に明るいと判断される場合には明るさを抑制するようにしたことを特徴とする請求項９〜１３のいずれか１つに記載の内視鏡画像処理装置。
【請求項１５】
前記局所的低周波数帯域成分変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量に基づき前記低周波数帯域成分に対する変更を行うことを特徴とする請求項９〜１４のいずれか１つに記載の内視鏡画像処理装置。
【請求項１６】
前記局所的低周波数帯域成分変更手段が前記周波数帯域成分処理手段の抽出した少なくとも１つの周波数帯域成分の局所的な量が大である場合には前記低周波数帯域成分に対する変更を行い、小になると共に変更の程度を減少させることを特徴とする請求項１５記載の内視鏡画像処理装置。
【請求項１７】
前記増幅／抑制量変更手段における変更量が、前記入力された内視鏡画像が局所的に暗いと判断される場合には明るさの増大に寄与する前記周波数帯域成分の変動をより増幅し、局所的に明るいと判断される場合には明るさの抑制に寄与する前記周波数帯域成分の変動をより増幅するようにしたことを特徴とする請求項１記載の内視鏡画像処理装置。
【請求項１８】
前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量に基づき前記増幅／抑制量の変更を行うことを特徴とする請求項１又は１７記載の内視鏡画像処理装置。
【請求項１９】
前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量が大である場合には前記周波数帯域成分に対する増幅及び／又は抑制の変更量を大とし、小になると共に変更の程度を減少させることを特徴とする請求項１８記載の内視鏡画像処理装置。
【請求項２０】
前記内視鏡画像の局所的な明るさを示す値が前記信号における画素の値であることを特徴とする請求項１又は１９に記載の内視鏡画像処理装置。
【請求項２１】
前記内視鏡画像の局所的な明るさを示す値が前記信号の画素の局所的な平均値であることを特徴とする請求項１又は１９に記載の内視鏡画像処理装置。
【請求項２２】
前記内視鏡画像の局所的な明るさを示す値が前記内視鏡画像における局所的な輝度の値に基づくものであることを特徴とする請求項１又は１９に記載の内視鏡画像処理装置。
【請求項２３】
前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量が小である場合には前記周波数帯域成分に対する増幅及び／又は抑制量を減少させることを特徴とする請求項１又は２２に記載の内視鏡画像処理装置。
【請求項２４】
前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段が抽出した少なくとも１つの周波数帯域成分に対するシェーディング補正を適用するシェーディング補正手段を備えると共に、
前記シェーディング補正適用後の前記周波数帯域成分の量に応じて増幅及び／又は抑制量の変更を行うことを特徴とする請求項１８〜２３のいずれか１つに記載の内視鏡画像処理装置。
【請求項２５】
前記シェーディング補正手段が前記信号の低域通過フィルタリング適用結果に基づくシェーディング補正を行うことを特徴とする請求項２４記載の内視鏡画像処理装置。
【請求項２６】
内視鏡画像を構成する少なくとも１つの信号に対し対数変換を適用する変換手段と、
前記変換手段の処理結果を前記入力手段に入力すると共に、前記出力手段の出力を指数変換する逆変換手段とを備えたことを特徴とする請求項１〜２５のいずれか１つに記載の内視鏡画像処理装置。
【請求項２７】
前記内視鏡画像が複数の色信号から構成されることを特徴とする請求項１〜２６のいずれか１つに記載の内視鏡画像処理装置。
【請求項２８】
前記複数の色信号がＲＧＢ信号であることを特徴とする請求項２７記載の内視鏡画像処理装置。
【請求項２９】
前記内視鏡画像が超音波内視鏡画像であることを特徴とする請求項１〜２６のいずれか１つに記載の内視鏡画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号に対して適切な処理を施すことにより、認識能を向上させた画像処理装置に関する。
【０００２】
【従来の技術】
近年、細長の挿入部を体腔内に挿入する事により、切開を必要とすることなく、体腔内の患部等を観察したり、必要に応じ処理具を用いて治療処理のできる内視鏡が広く用いられるようになった。
【０００３】
上記内視鏡には、イメージガイドを像伝送手順に用いた光学式の内視鏡（ファイバースコープ）の他に、最近ＣＣＤ等の固体撮像手段を用いた電子式の内視鏡（以下、電子内視鏡または電子スコープ）が実用化されるようになった。
また、ファイバースコープの接眼部にＣＣＤ等の固体撮像手順を用いた撮像カメラを接続してモニタでカラー表示できるようにしたものもある。
【０００４】
さらに、最近ではこのような内視鏡から得られる映像信号に対し、様々な処理を施すことにより、人間の視覚的認識を補助し、診断能を向上させる試みがなされている。
【０００５】
例えば、米国特許第４８１９０７７号によれば、３原色を表す映像信号RGBを比較的簡単な座標変換により、ＨＳＩ（色相、彩度、輝度）と呼ばれる人間の色知覚に比較的近い信号に変換し、ＨＳＩの各信号に対して適当な強調処理を施した後、逆変換によって再び映像信号RGBに戻して、画像表示をする装置が開示されている。
【０００６】
本出願人もまた、特願昭６１−１６９０５７号において、映像信号をより人間の色知覚に近いＬａ*ｂ*あるいはＬｕ*ｖ*色空間における信号に変換し、その輝度Ｌに対し強調処理を施す装置を開示している。
【０００７】
これらの従来例においては、カラー画像の輪郭あるいは細かい模様を強調するために、輝度に対する高周波成分の強調処理を行っている。これは、輝度、色相及び彩度を分離する事により、色調を変化させることなく強調を行うことができるからである。
【０００８】
ところで、内視鏡による生体観察においては、挿入性向上のため、小型、細径化を図るなど機材に対する制約条件のため観察対象によっては、解像力、明るさ、コントラスト等で十分な観察能が得られないことも起こる。特に、良性病変と悪性病変との鑑別診断に重要な情報となる粘膜表面の微細模様（胃腺、腸腺等の腺腔、無名溝、毛細血管、あるいは染色剤等により形成される）の観察のためには、現在最高水準の解像力を有する内視鏡を用いても、診断に対し十分な画像は得られないことが多い。
【０００９】
また、病変の発見あるいは正常部との境界の認識においては、わずかな褪色や発赤に見られるような微妙な色調変化に対する観察能が重要となるが、これについても画像におけるコントラスト等において十分とは言えない場合が多い。
このため、より優れた性能をもつ内視鏡が切望されるのは当然のことであるが、さらに、コントラスト不足、解像力不足を補い、より診断を容易ならしめる画像処理手法及び装置の開発が望まれている。
【００１０】
例えば粘膜表面の微細模様について考えると、通常の（染色法を用いない）内視鏡画像においてはその模様を形成する変動情報のほとんどをG，Bの信号の変動によっている。これは、おそらく血液中のヘモグロビンによる吸光の性質を反映しているものと考えられる。
さらに、染色法を用いた画像では生体固有の反射、あるいは吸光に加えて、染色剤による吸光が加わるため、これらの性質により画像を形成するデータ変動が決定される。
【００１１】
また、粘膜表面の微妙な色調変化については、ヘモグロビン等の吸光物質の種類、量、あるいは吸光物質の存在する粘膜下の深さ等によりR，G及びBの信号の変動の違いとして画像に現れているものと考えられる。
【００１２】
【発明が解決しようとする課題】
しかしながら、これらの画像の強調のために従来試みられてきた色空間における強調処理を用いても結果は良好ではなかった。この理由は以下のような事であると推定される。
【００１３】
微細模様及び微妙な色調変化を構成するデータ変動が形成するデータ分布は、当然のことながら人間の色知覚における輝度、色相、彩度のいずれの変動とも一致するものではない。観察者は画像からまず大局的な情報を把握する。次に、画像中に見られる微細模様あるいは微妙な色調変化を明瞭に観察することにより、より精細な情報を得ようとする。
【００１４】
そして、精細な情報を得ようとする場合、観察者の注意はその画像中に認められる生体に起因する何らかの情報に対して集中的に注意を払うことになる。これらの情報が輝度により表現されるものであるか、彩度あるいは色相で表現されるものであるかは、あるいはその両方であるのかといったことには、観察者にとっては何ら意味をもたない。
【００１５】
例えば、内視鏡画像全体におけるデータの変動は、照明あるいは対象の形状等による大局的な変動に支配されることが多い。例えば輝度に対する強調は、この大局的変動により形成される輪郭等をより強く明瞭にしてしまう傾向があるため、微細な模様等をかえって観察しづらくしてしまうこともある。
【００１６】
また、微妙な色調変化を際だたせるために色相あるいは彩度を強調した場合には、画像全体の色調が著しく不自然なものとなってしまう場合が多々ある。さらには、ある特定の観察対象に対して良好な強調結果が得られたとしても、他の対象において同等の効果が得られるとは限らず、場合によっては微妙な色調変化そのものを画像から消し去ってしまう場合すらある。
【００１７】
最も良好に受け入れられ、観察の補助となり得る強調手法は、注目しているデータ変動が増幅され、それ以外は抑制されるものでなければならないが、前述のように色空間上で処理を行うことは必ずしもこの条件を満たさない。このため、色空間における強調処理は、観察者にとって必ずしも最適な強調結果を提供しない。
【００１８】
本発明は上述した点に鑑みてなされたもので、粘膜表面の微細構造あるいは微妙な色調変化等を明瞭に観察することが可能な画像処理装置を提供することを目的とする。
【００１９】
また、本発明の他の目的は、上述した強調処理効果に加え、注目する観察対象あるいは画像の局所的な明暗の違いに対して適切な制御を適用することにより、より診断に有用な画像が得られる画像処理装置を提供することにある。
【００２０】
【課題を解決するための手段】
本発明の一態様の内視鏡画像処理装置は、少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、  前記処理適用手段による処理結果を出力する出力手段とを具備し、前記処理適用手段が、前記信号の局所的特徴量を算出する局所的特徴量算出手段と、前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、前記周波数帯域成分抽出手段が抽出した周波数帯域成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、前記増幅／抑制手段により増幅及び／又は抑制された周波数帯域成分及び前記信号を合成する合成手段と、前記増幅／抑制手段における増幅及び／又は抑制の量を前記局所的特徴量算出手段による局所的特徴量に基づき変更する増幅／抑制量変更手段と、を備えている。
本発明の他の態様の内視鏡画像処理装置は、少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、前記処理適用手段による処理結果を出力する出力手段とを具備し、前記処理適用手段が、前記信号の局所的特徴量を算出する局所的特徴量算出手段と、前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、を備え、前記局所的特徴量算出手段が前記入力手段に入力される内視鏡画像における形状の輪郭部及び／又はハレーション部を検出するための特徴量を算出することを特徴とする。
本発明の他の態様の内視鏡画像処理装置は、少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、前記処理適用手段による処理結果を出力する出力手段とを具備し、前記処理適用手段が、前記信号の局所的特徴量を算出する局所的特徴量算出手段と、前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、を備え、前記局所的特徴量算出手段が前記信号の局所的変動の大きさに基づく特徴量を算出するものであって、前記信号の局所的な最大値及び最小値に基づく特徴量を算出することを特徴とする。
本発明の他の態様の内視鏡画像処理装置は、少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、前記処理適用手段による処理結果を出力する出力手段とを具備し、前記処理適用手段が、前記信号の局所的特徴量を算出する局所的特徴量算出手段と、前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、前記周波数帯域成分抽出手段において抽出した周波数成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、前記内視鏡画像の局所的な明るさ及び／又は前記周波数帯域成分抽出手段において抽出した少なくとも１つの周波数成分の局所的な量に基づき低周波数帯域成分を変更する局所的低周波数帯域成分変更手段と、前記増幅／抑制手段による増幅及び／又は抑制後の周波数帯域成分と、前記局所的低周波数帯域成分変更手段による局所的な低周波数帯域成分の変更後の周波数帯域成分と、前記入力手段による前記信号とを合成する合成手段と、を備えたことを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図６は本発明の第１の実施の形態に係り、図１は第１の実施の形態を備えた内視鏡装置の全体を示し、図２はその内部構成を示し、図３は第１の実施の形態の画像処理装置の構成を示し、図４は第１の実施の形態の処理内容を示し、図５は変形例における帯域を複数に分割した様子を示し、図６は変形例における処理内容を示す。
【００２２】
図１に示すように、本実施の形態を備えた内視鏡装置１は、電子内視鏡２を備えている。この電子内視鏡２は、細長で例えば可撓性の挿入部３を有し、この挿入部３の後端に太幅の操作部４が連設されている。この操作部４の側部から可撓性のユニバーサルコード５が延設され、このユニバーサルコード５の端部のコネクタ５Ａは、光源部６Ａ及び信号処理回路部６Ｂが内蔵されたビデオプロセッサ６に接続されるようになっている。さらに、このビデオプロセッサ６には、モニタ７が接続されるようになっている。
【００２３】
上記挿入部３は、硬性の先端部９、この先端部９に隣接する後方側に湾曲可能な湾曲部１０、この湾曲部１０の後端から操作部４の前端に至る長尺の可撓部１１とが順次設けられている。また、前記操作部４に設けられた湾曲操作ノブ１２を回動操作することによって、湾曲部１０を左右方向あるいは上下方向に湾曲できるようになっている。また、操作部４には、前記挿入部３内に設けられた処置具チャンネルに連通する挿入口１３が設けられている。
【００２４】
さらにビデオプロセッサ６には第１の実施の形態の画像処理装置５１が接続され、この画像処理装置５１が画像処理された画像信号はＩ／Ｏ５２を介してモニタ５３に出力されるようになっている。
【００２５】
図２に示すように、電子内視鏡２の挿入部３内には、照明光を伝達するライトガイド１４が挿通されている。このライトガイド１４の先端面は、挿入部３の先端部９に配置され、この先端部９から照明光を出射できるようになっている。また、前記ライトガイド１４の入射端側はユニバーサルコード５内を経て光源部６Ａに着脱自在のコネクタ５Ａに至る。
【００２６】
また、前記先端部９には、対物レンズ系１５が設けられ、この対物レンズ系１５の結像位置に、固体撮像素子１６が配設されている。この固体撮像素子１６は、可視領域を含め紫外領域から赤外領域に至る広い波長域で感度を有している。この固体撮像素子１６には、信号線１７，１８が接続され、これら信号線１７，１８は、前記挿入部３及びユニバーサルコード５内に挿通されて前記コネクタ５Ａに接続されている。
【００２７】
一方、ビデオプロセッサ６内の光源部６Ａには、紫外光から赤外光に至る広帯域の光を発光するランプ２１が設けられている。このランプ２１としては、一般的なキセノンランプやストロボランプ等を用いることができる。前記キセノンランプやストロボランプは、可視光のみならず紫外光及び赤外光を大量に発光する。このランプ２１は、電源２２から点灯に必要な電力が供給されるようになっている。
【００２８】
このランプ２１の前方には、モータ２３によって回転駆動される回転フィルタ２４が配設されている。この回転フィルタ２４には、通常観察用の赤（R），緑（G），青（B）の各波長領域の光を透過するフィルタ２５R，２５G，２５B が、周方向に沿って配列されている。
【００２９】
また、前記モータ２３は、モータドライバ２６によって回転が制御され、一定速度で回転駆動されるようになっている。
【００３０】
前記回転フィルタ２４を透過し、R，G，B の各波長領域の光に時系列的に分離された光は、前記ライトガイド１４の入射端に入射され、このライトガイド１４を介して先端部９に導かれ、この先端部９から出射されて、観察部位を照明するようになっている。
【００３１】
この照明光による観察部位からの戻り光は、対物レンズ系１５によって、固体撮像素子１６上に結像され、光電変換されるようになっている。この固体撮像素子１６には、前記信号線１７を介して、前記ビデオプロセッサ６内のドライブ回路３１からの駆動パルスが印加され、この駆動パルスによって読み出し、転送が行われるようになっている。この固体撮像素子１６から読み出された映像信号は、前記信号線１８を介して、前記ビデオプロセッサ６内または電子内視鏡２内に設けられたプリアンプ３２に入力されるようになっている。
【００３２】
このプリアンプ３２で増幅された映像信号は、プロセス回路３３に入力され、γ補正及びホワイトバランス等の信号処理を施され、Ａ／Ｄコンバータ３４によって、ディジタル信号に変換されるようになっている。このディジタルの映像信号は、セレクト回路３５によって、例えば赤（R），緑（G），青（B）各色に対応するメモリ（１）３６ａ，メモリ（２）３６ｂ，メモリ（３）３６ｃに選択的に記憶されるようになっている。
【００３３】
前記メモリ（１）３６ａ，メモリ（２）３６ｂ，メモリ（３）３６ｃは、同時に読み出され、Ｄ／Ａコンバータ３７によって、アナログ信号に変換され、入出力インターフェース（図２等ではＩ／Ｏと略記）３８を介して、R，G，B 信号として、カラーモニタ７に入力され、このカラーモニタ７によって、観察部位がカラー表示されるようになっている。
【００３４】
また、前記ビデオプロセッサ６内には、システム全体のタイミングを作るタイミングジェネレータ３９が設けられ、このタイミングジェネレータ３９によって、モータドライバ２６、ドライブ回路３１、セレクト回路３５等の各回路間の同期が取られている。
【００３５】
本実施の形態では、前記メモリ（１〜３）３６ａ〜３６ｃの出力端は、画像処理装置５１の入力端に接続されている。また、この画像処理装置５１には、入出力インターフェース５２を介して、モニタ５３が接続され、このモニタ５３に、前記画像処理装置５１による演算処理結果の画像が表示されるようになっている。
前記画像処理装置５１は、図３に示すような構成になっている。
【００３６】
すなわち、画像処理装置５１は、図３に示すように、画像処理の演算等を行う中央演算処理装置（ＣＰＵと略記）５４、情報入力装置５５、RＡＭからなる主記憶装置５６、画像入力インターフェース５７及び表示インターフェース５８を備え、これらは、バス５９によって互いに接続されている。
【００３７】
前記情報入力装置５５は、キーボード等であり、電子内視鏡２の種別等のデータを入力したり、画像処理する際の情報、より具体的には注目する部分を明瞭化するために重み付け係数の選択設定等の情報を入力したりすることができるようになっている。
【００３８】
前記画像入力インターフェース５７は、メモリ（１）３６ａ，メモリ（２）３６ｂ，メモリ（３）３６ｃに接続され、これらからの画像データの受信を行うようになっている。また、前記表示インターフェース５８は、入出力インターフェース５２に接続され、モニタ５３に入力する画像データを送るようになっている。
【００３９】
本実施の形態では、電子内視鏡２で得た対象部位の内視鏡画像に対し、画像処理装置５１で処理を行い、モニタ５３に処理結果を出力する。
このため、本実施の形態では、例えばＣＰＵ５４は後述するように原画像を複数の周波数帯域成分に分離して各帯域成分を抽出する複数のディジタルフィルタからなるディジタルフィルタ群を備えている（ＣＰＵ５４の外部にバス５９に接続したディジタルフィルタ群を設けるようにしても良い）。
【００４０】
そして、抽出された各帯域成分に対して例えば粘膜表面等の観察対象部分の微細な構造を明瞭化するために重み付け係数との積和演算を行い、その積和演算した成分を原画像に加算することにより原画像に対して注目する観察対象部分の微細な構造を明瞭化した処理結果画像を得るようにしている。
【００４１】
本発明の一連の実施の形態においては、画像ｆをｆ(x,y)とし、ｘ及びｙは画素の位置を表すものとする。また、画像の大きさは、特に断りのない場合は水平及び垂直方向に対しそれぞれＩＳＸ及びＩＳＹであるものとする。また、階調数は２５６とし、０≦ｆ(x,y)≦２５５であるものとする。
次に、フローチャートを参照しながら、本発明の第１の実施の形態における前記画像処理装置５１の動作について説明する。
【００４２】
内視鏡画像において重要な観察対象となる微細な模様（例えば腺腔から構成されるパターン、微細な毛細血管像）あるいは微妙な色調変化（例えばわずかな発赤や褪色、病変部と正常部との境界）等は、R,G,B 各映像信号上の様々な変動により構成されている。これらは、ディジタル信号処理における周波数成分として扱うことが可能である。
【００４３】
例えば、一般に微細な模様は比較的高い周波数成分の変動により構成されている。また、あまり微細でないわずかな色調の変化あるいは中〜近距離での観察時の病変の境界情報等は、比較的低い周波数成分の変動により構成されている。
【００４４】
したがって、注目する観察対象に対しては、それらを構成する周波数成分を増幅することで強調処理結果を得ることが可能となる。さらに、R，G，B 各映像信号に対して独立に強調処理を適用することにより、内視鏡画像に存在する観察対象、すなわち変動がどのようにR，G，B において構成されていても良好な処理結果を得ることが可能となる。
【００４５】
以上を鑑み、本実施の形態においては、内視鏡画像における様々な観察対象を常に或いは多くの場合に好適に強調した処理結果を得ることが可能となる画像処理装置を実現する。
【００４６】
前記画像処理装置５１には図４のステップＳ１で各メモリ３６ａ、３６ｂ、３６ｃから、R，G，B のディジタルの映像信号を入力する。つまり、R，G，B の色成分画像を取り込む。
上記R，G，B の色成分画像を原画像Rorg(x,y)、Gorg(x,y)、Borg(x,y)とする。
【００４７】
次いで、ステップＳ２で各原画像Rorg(x,y)、Gorg(x,y)、Borg(x,y)それぞれをｎ個（ｎ＞０の整数）の帯域成分Dri(x,y)（ｉ＝１，…，ｎ）、Dgi(x,y)（ｉ＝１，…，ｎ）、Dbi(x,y)（ｉ＝１，…，ｎ）に分割して抽出する。なお、上記ステップＳ２は図４のステップＳ２ａ，Ｓ２ｂ，Ｓ２ｃを示す。他のステップＳ３等も同様である。
【００４８】
抽出する帯域成分の周波数帯域は、例えばすべての周波数帯域を分割するように定めればよく、また、内視鏡画像における観察対象を構成する成分が多く含まれる周波数帯域等、望まれる処理効果に応じて選択的に抽出するように定めてもよい。
【００４９】
これらの帯域成分の抽出は、各周波数帯域をそれぞれ通過させる特性を備えるｎ個のディジタルフィルタ（ＦＩＲ（finite impulse response)フィルタあるいはＩＩＲ(infinite impulses response)フィルタ）を用いたバンドパスフィルタリングにより実現すればよい。
【００５０】
続いて、ステップＳ３において、式（１）に示すようにR，G，B それぞれの帯域成分Dri(x,y)、Dgi(x,y)、Dbi(x,y)と、その帯域成分Dri(x,y)、Dgi(x,y)、Dbi(x,y)に対する重み付け係数Wri（ｉ＝１，…，ｎ）、Wgi（ｉ＝１，…，ｎ）、Wbi（ｉ＝１，…，ｎ）との積和により合成帯域成分Rpa(x,y)、Gpa(x,y)、Bpa(x,y)を求める。
【００５１】
Rpa(x,y)＝Σi=1n（Wri×Dri(x,y)）
Gpa(x,y)＝Σi=1n（Wgi×Dgi(x,y)）      …（１）
Bpa(x,y)＝Σi=1n（Wbi×Dbi(x,y)）
ここで、各重み付け係数Wri、Wgi、Wbiの値は実数であり、０より大であれば該当する帯域成分に対する強調作用をもつ。また、０より小とすれば抑制作用を与えることが可能となる。つまり、０以外の値に設定すれば、その帯域成分Dri(x,y)、Dgi(x,y)、Dbi(x,y)に変更を加えることになり、変更手段として機能する。
【００５２】
例えば、注目する部分を局所的に強調する場合には、その部分の構造を多く含む周波数帯域に対する重み付け係数Wri、Wgi、Wbiの値を少なくとも他の帯域の場合よりは大きく設定することにより、その部分の特徴が強調された合成帯域成分Rpa(x,y)、Gpa(x,y)、Bpa(x,y)を求めることができる。従って、この積和による合成帯域成分Rpa(x,y)、Gpa(x,y)、Bpa(x,y)を求める処理は特徴量抽出手段に該当する。
【００５３】
また、重み付け係数Wri、Wgi、Wbiの値は０であれば、強調及び抑制のいずれの効果も与えることはない。例えばノイズ成分が多く分布する周波数帯域の帯域成分に対する重み付け係数の値は０より小として、他の帯域成分に対する強調作用と同時にノイズ成分が多く分布する周波数帯域成分に対するノイズ抑制作用を得ることも可能となる。
【００５４】
最後に、ステップＳ４において重み付け加算された合成帯域成分Rpa(x,y)、Gpa(x,y)、Bpa(x,y)と原画像Rorg(x,y)、Gorg(x,y)、Borg(x,y)とを加算することにより式（２）に示す処理結果画像Ro(x,y)、Go(x,y)、Bo(x,y)を生成する。
【００５５】
Ro(x,y)＝Rorg(x,y)＋Rpa(x,y)
Go(x,y)＝Gorg(x,y)＋Gpa(x,y)          …（２）
Bo(x,y)＝Borg(x,y)＋Bpa(x,y)
この処理結果画像Ro(x,y)、Go(x,y)、Bo(x,y)は、注目する部分では大きく設定された重み付け係数Wri、Wgi、Wbiにより局所的に強調された特徴量が抽出された合成帯域成分Rpa(x,y)、Gpa(x,y)、Bpa(x,y)を含むものであり、注目しない部分は例えば０に設定された全く強調されないままの帯域成分を含む画像となる。このため、注目する部分が有効に強調され、注目しない部分は画像処理を行わない前と殆ど変わらない状態に保持することもできる。
【００５６】
以上の一連の処理を画像全体に適用後、図２等に示す入出力インタフェース５２を経て、モニタ５３に出力して、モニタ５３の表示面に処理結果画像を表示してこの画像処理の動作を終了する。
なお、以上においては画像から複数の帯域成分を抽出し、原画像に合成する処理を行う例を説明したが、以下のように変更することも可能である。
【００５７】
原画像の空間周波数成分を低周波数から高周波数にかけて例えば図５に示すように分割帯域Ｕｊ（ｊ＝１，…，ｍ，ｍは分割帯域数）に分割する。このとき、周波数帯域の分割は強調等の処理を適用する周波数帯域（すなわち、上述の帯域成分を抽出する周波数帯域）とそれ以外の周波数帯域（例えば直流成分を含む低周波数帯域等であり、上述の説明においては原画像に含まれている）から構成されている。
【００５８】
このような分割を、原画像及び上記において抽出した帯域成分Dri(x,y)の各周波数帯域について行うと、式（１）及び（２）から得られる結果は以下のように示される。
【００５９】
Ro(x,y)＝R0(x,y)＋Σi=1n（（１＋Wri）×Dri(x,y)）  …（＃１）
ここで、式（＃１）におけるR0(x,y)はDri(x,y)に含まれていない分割周波数帯域の帯域成分の総和を示す。式（＃１）を用いた処理結果を実現する場合には、図４に示した各ステップＳ２、Ｓ３、Ｓ４における処理を、図６に示す各ステップＳ２′、Ｓ３′、Ｓ４′に変更すればよい。
【００６０】
つまり、ステップＳ２′で、原画像Rorg(x,y)、Gorg(x,y)、Borg(x,y)をそれぞれ強調等の処理を適用しない帯域成分の総和R0(x,y)、G0(x,y)、B0(x,y)と、強調等の処理を適用する周波数帯域Dri(x,y)とに分割する。
【００６１】
次のステップＳ３′で、R，G，B それぞれの帯域成分Dri(x,y)、Dgi(x,y)、Dbi(x,y)と重み付け係数Wri（ｉ＝１，…，ｎ）、Wgi（ｉ＝１，…，ｎ）、Wbi（ｉ＝１，…，ｎ）との積和により合成帯域成分Rpa(x,y)、Gpa(x,y)、Bpa(x,y)を次のようにして求める。
【００６２】
Rpa(x,y)＝Σi=1n（１＋Wri）×Dri(x,y)）
Gpa(x,y)＝Σi=1n（１＋Wgi）×Dgi(x,y)）      …（＃２）
Bpa(x,y)＝Σi=1n（１＋Wbi）×Dbi(x,y)）
そして、ステップＳ４′で、重み付け加算された合成帯域成分Rpa(x,y)、Gpa(x,y)、Bpa(x,y)と原画像Rorg(x,y)、Gorg(x,y)、Borg(x,y)を加算することにより式（＃３）に示す処理結果画像Ro(x,y)、Go(x,y)、Bo(x,y)を生成する。
【００６３】
Ro(x,y)＝R0(x,y)＋Σi=1n（（１＋Wri）×Dri(x,y)）
Go(x,y)＝G0(x,y)＋Σi=1n（（１＋Wgi）×Dri(x,y)）…（＃３）
Bo(x,y)＝B0(x,y)＋Σi=1n（（１＋Wbi）×Dri(x,y)）
なお、式（＃２）において、式（１）におけるWri×Dri(x,y)でなく、（１＋Wri）×Dri(x,y)を採用しているのは（＃３）において、式（２）における原画像Rorg(x,y)、Gorg(x,y)、Borg(x,y)の代わりにR0(x,y)、G0(x,y)、B0(x,y)を採用しているからであり、同じ処理結果画像Ro(x,y)、Go(x,y)、Bo(x,y)を生成する。
【００６４】
以上説明した一連の処理により、帯域成分の設定及び重み付け係数Wri、Wgi、Wbiの設定により、内視鏡画像における様々な観察対象を常にないしは多くの場合に好適に強調した処理結果を得ることが可能となる画像処理装置を実現することが可能となる。
【００６５】
例えば、粘膜表面の微細構造を明瞭化しようとする場合には、その微細構造が主に含まれる比較的高い周波数帯域の成分での重み付け係数を大きく設定することにより、明瞭化することができる。
【００６６】
また、本実施の形態ではR,G,B の各信号成分に対し、それぞれ独立的に注目する部分の周波数帯域成分を明瞭化させることができる。このため、例えば注目する部分が主に属する帯域成分をR,G,B の各信号成分に対し重み付け係数を大きく設定すれば、その部分の微妙な色変化をより明瞭化することができる。
【００６７】
また、このような場合に、他の帯域成分での重み付け係数をあまり大きくしないようにすれば、注目する部分の色調を強調するが、他の部分の色調は変化させることなく自然な色調に保持することもできる。
【００６８】
従って、本実施の形態によれば、様々な観察対象に対して観察機能を向上でき、かつ観察対象以外の部分には不用な強調を除外できる適用性の広い画像処理結果画像を得ることが可能になる。
【００６９】
なお、図４のステップＳ２での画像の帯域成分抽出は、公知のフーリエ変換適用後の画像データに対する空間周波数領域上のフィルタリングにより行ってもよい。
【００７０】
また、R，G，B の処理は逐次的に行っても、並列的に行ってもよい。例えば、図４において、ステップＳ１からステップＳ２ａ，Ｓ３ａ，Ｓ４ａのように行って、処理結果画像Ro(x,y)を得た後、ステップＳ２ｂ，Ｓ３ｂ，Ｓ４ｂのように行って、処理結果画像Go(x,y)を得た後、ステップＳ２ｃ，Ｓ３ｃ，Ｓ４ｃのように行って、処理結果画像Bo(x,y)を逐次得るようにしても良いし、ステップＳ２、ステップＳ３、ステップＳ４の処理をR,G,B 同時に実行し、処理結果画像Ro(x,y)、Go(x,y)、Bo(x,y)を得るようにしても良い。
勿論、図６の場合にも、逐次的に行っても、並列的に行ってもよい。
【００７１】
また、図５のように分割する場合、例えば強調等の処理を適用する周波数帯域を少なくとも１つとそれ以外の周波数帯域とに分割しても良い。このようにした場合には、強調等の処理を適用する周波数帯域とそれ以外の帯域成分との分離が少ないフィルタ処理で容易に行える場合があり、かつ画像処理も短時間に行える場合がある。
【００７２】
（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。本実施の形態においては、画像処理装置５１の構成要素として、ディジタルのフィルタリングを行うものである。
【００７３】
上述したように、ｎ個の帯域成分を抽出するために、各周波数帯域を通過させる特性を持つｎ個のバンドパスフィルタを用いることが考えられる。しかし、低周波帯域あるいは狭帯域の通過特性を備えるフィルタ設計においては、マスクサイズの増大などが問題となる。
【００７４】
本実施の形態ではこの問題を鑑み、少ない計算量で帯域成分の抽出を行う処理方法について説明する。本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、本実施の形態の画像処理装置５１の構成は第１実施の形態と同様であるが、その動作は図７に示すものとなる。
【００７５】
なお、ここでは、R，G，B の各映像信号におけるR の映像信号を用いて説明するが、他の映像信号成分についても同様の処理を行う。分割帯域数ｎは４を例に説明を行うが、ｎは４に限らずｎ＞０の正整数であればよい。
図７のステップＳ１１でメモリ３６ａから、R の映像信号を入力する。その画像をRorg(x,y)とする。
【００７６】
次いで、ステップＳ１２において、図８（Ａ）に示す周波数特性を備える図９（Ａ）のマスクサイズ３×３のフィルタh1(p1,q1)（１≦p1≦３，１≦q1≦３）を用い、式（３）に示す原画像Rorg(x,y)との畳み込みを行う。
R1(x,y)＝Rorg(x,y)＊h1(p1,q1)…（３）
ここで、＊は畳み込み演算を表す。
なお、マスクサイズ３×３のフィルタh1(p1,q1)の成分を図９（Ａ）ではhp1q1で示している（例えば、h1(1,2)の成分はh12となる）。また、式（３）の畳み込み演算は、原画像Rorg(x,y)をフィルタh1(p1,q1)の中央位置（図９（Ａ）のh22 ）に設定して、３×３の原画像Rorgの画素と３×３のフィルタh1(p1,q1)との積和演算を行ったものを表し、その積和演算したものをフィルタ処理結果画像R1(x,y)とする。
【００７７】
ステップＳ１３においては、式（４）に示すように原画像Rorg(x,y)からフィルタ処理結果画像R1(x,y)を減ずることにより、図１０（Ａ）に示す帯域成分Dr1を抽出する。
Dr1(x,y)＝Rorg(x,y)−R1(x,y)    …（４）
式（３）、（４）により図１０（Ａ）の通過帯域を持つフィルタリングを行ったのと同様の効果を得ることができる。
【００７８】
次いで、ステップＳ１４において図９（Ｂ）に示すように、h1(p1,q1)の係数間に０を挿入し、マスクサイズ５×５のフィルタh2(p2,q2)（１≦p2≦５，１≦q2≦５）を作成する。その周波数特性は図８（Ｂ）となる。
【００７９】
式（５）によりh2(p2,q2)及びR1(x,y)の畳み込みを行う。図８（Ｃ）に式（５）におけるh1(p1,q1)*h2(p2,q2)の特性を示す。すなわち、フィルタ処理結果画像R2(x,y)は原画像Rorg(x,y)に図８（Ｃ）の通過帯域を持つフィルタ処理を行ったのと同等の結果となる。
【００８０】
R2(x,y)＝R1(x,y)＊h2(p2,q2)
＝Rorg(x,y)＊h1(p1,q1)＊h2(p2,q2)…（５）
ステップＳ１５において、式（６）のようにR1(x,y)からR2(x,y)を減算することにより、図１０（Ｂ）に示す帯域成分Dr2を抽出する。
【００８１】
Dr2(x,y)＝R1(x,y)−R2(x,y)…（６）
ステップＳ１６において、図９（Ｃ）に示すようにh2(p2,q2)の係数間に０を挿入し、マスク９×９のフィルタh3(p3,q3)（１≦p3≦９、１≦q3≦９）を作成する。その周波数特性は図８（Ｄ）のようになる。式（７）により、h3(p3,q3)及びR2(x,y)の畳み込みを行う。
【００８２】
式（７）におけるh1(p1,q1)*h2(p2,q2)*h3(p3,q3)の特性を図８（Ｅ）に示す。つまり、フィルタ処理結果画像R3(x,y)は原画像Rorg(x,y)に図８（Ｅ）の通過帯域を持つフィルタ処理を行ったのと同等の結果となる。
R3(x,y)＝R2(x,y)＊h3(p3,q3)
＝Rorg(x,y)＊h1(p1,q1)＊h2(p2,q2)＊h3(p3,q3)…（７）
ステップＳ１７において、式（８）のようにR2(x,y)からのR3(x,y)を減算することにより、図１０（Ｃ）に示す帯域成分Dr3を抽出する。
【００８３】
Dr3(x,y)＝R2(x,y)−R3(x,y)…（８）
ステップＳ１８において、図９（Ｄ）に示すように、h3(p3,q3)の係数間に０を挿入し、マスクサイズ１７×１７のフィルタh4(p4,q4)（１≦p4≦１７，１≦q4≦１７）を作成する。その周波数特性は図８（Ｆ）に示すようなものとなる。式（９）により、 h4(p4,q4)及びR3(x,y)の畳み込みを行い、フィルタ処理結果画像R4(x,y)を生成する。
【００８４】
式（９）におけるh1(p1,q1)*h2(p2,q2)*h3(p3,q3)*h4(p4,q4)の特性を図８（Ｇ）に示す。つまり、フィルタ処理結果画像R4(x,y)は原像Rorg(x,y)に図８（Ｇ）の通過帯域を持つフィルタ処理を行ったのと同等の結果となる。
R4(x,y)＝R3(x,y)＊h4(p4,q4)
＝Rorg(x,y)＊h1(p1,q1)＊h2(p2,q2)＊h3(p3,q3)＊h4(p4,q4)…（９）
ステップＳ１９において、式（１０）のようにR3(x,y)からR4(x,y)を減算することにより、図１０（Ｄ）に示す帯域成分Dr4を抽出する。
【００８５】
Dr4(x,y)＝R3(x,y)−R4(x,y)…（１０）
ステップＳ２０において、式（１１）により原画像Rorg(x,y)と、それぞれの帯域成分Dri(x,y)（ｉ＝１，…，４）に、重みづけ係数Wri（ｉ＝１，…，４）を乗じた積和結果との加算を行い、処理結果画像Ro(x,y)を生成する。
【００８６】
Ro(x,y)＝Rorg(x,y)＋Σi=1n（Wri×Dri(x,y)） …（１１）
以上に説明した一連の処理を、原画像Gorg(x,y)及びBorg(x,y)に対しても同様に適用することにより、少ない計算量で第１の実施の形態と同様に良好な処理結果画像を得ることが可能となる。
また、本実施の形態において用いた各フィルタにおいては、０である係数の係る画素については演算を必要としないため、高速な処理が可能となる。
【００８７】
（第３の実施の形態）
次に本発明の第３の実施の形態について説明する。
【００８８】
本実施の形態においては、基本的な処理の流れは第２の実施の形態と同様であるが、画像における明暗の輪郭部あるいはハレーション等に対して不要な強調を避ける処理を加える。具体的には、画像における変動の大きさに基づき強調の程度を変更することにより、良好な処理結果を得ることが可能となる強調処理装置を実現する。
【００８９】
本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、本実施の形態の画像処理装置５１の構成は第１の実施の形態と同様であるが、その処理内容は図１１に示すものとなる。
【００９０】
なお、ここでは、R，G，B の各映像信号におけるR信号を用いて説明するが、他の信号成分についても同様の処理を行う。分割帯域数ｎは４を例に説明を行うが、ｎはｎ＞０の正整数であればよい。
【００９１】
図１１におけるステップＳ２１でメモリ３６ａから、R の映像信号を入力する。その画像をRorg(x,y)とする。ステップＳ２２において、図８（Ａ）に示す周波数特性を備える図９（Ａ）のマスクサイズ３×３のフィルタh1(p1,q1)（１≦p1≦３，１≦q1≦３）を用い、式（１２）に示す原画像Rorg(x,y)との畳み込みを行う。
【００９２】
R1(x,y)＝Rorg(x,y)＊h1(p1,q1)                  …（１２）
続いて、ステップＳ２３において、帯域成分Dr1(x,y)の抽出及び各画素ごとに強調の効果を変更するための強調の重み付け係数K1(x,y)の算出を行う。
【００９３】
式（１３）に示すように、原画像Rorg(x,y)からR1(x,y)を減じることにより、帯域成分Dr1(x,y)を抽出する。また、各面素ごとのDr1(x,y)に対する強調量を制御する重み付け係数K1(x,y)を求める。K1(x,y)の算出方法については後述する。
【００９４】
Dr1(x,y)＝Rorg(x,y)−R1(x,y)              …（１３）
ステップＳ２４において、図９（Ｂ）に示すように、h1(p1,q1)の係数間に０を挿入し、マスクサイズ５×５のフィルタh2(p2,q2)（１≦p2≦５，１≦q2≦５）を作成する。式（１４）により、h2(p2,q2)及びR1(x,y)の畳み込みを行う。
【００９５】
R2(x,y)＝R1(x,y)＊h2(p2,q2)                …（１４）
続いて、ステップＳ２５において、帯域成分Dr2(x,y)の抽出及び各画素ごとに強調の効果を変更するための強調の重み付け係数K２(x,y)の算出を行う。
【００９６】
式（１５）に示すように、R1(x,y)からR2(x,y)を減じることにより、帯域成分Dr2(x,y)を抽出する。また、各画素ごとのDr2(x,y)に対する強調量を制御する重み付け係数K２(x,y)を求める。K２(x,y)の算出方法については後述する。
【００９７】
Dr2(x,y)＝R1(x,y)−R2(x,y)                  …（１５）
ステップＳ２６において、図９（Ｃ）に示すように、h2(p2,q2)の係数間に０を挿入し、マスクサイズ９×９のフィルタh3(p3,q3)（１≦p3≦９，１≦q3≦９）を作成する。式（１６）により、h3(p3,q3)及びR2(x,y)の畳み込みを行う。
【００９８】
R3(x,y)＝R2(x,y)＊h3(p3,q3)                  …（１６）
続いて、ステップＳ２７において、帯域成分Dr3(x,y)の抽出及び各画素ごとに強調の効果を変更するための強調の重み付け係数K３(x,y)の算出を行う。
【００９９】
式（１７）に示すように、R2(x,y)からR3(x,y)を減じることにより、帯域成分Dr3を抽出する。また、各画素ごとのDr3(x,y)に対する強調量を制御する重み付け係数K３(x,y)を求める。 K３(x,y)の算出方法については後述する。
【０１００】
Dr3(x,y)＝R2(x,y)−R3(x,y)                    …（１７）
ステップＳ２８において、図９（Ｄ）に示すように、h3(p3,q3)の係数間に０を挿入し、マスクサイズ１７×１７のフィルタh4(p4,q4)（１≦p4≦１７，１≦q4≦１７）を作成する。式（１８）により、h4(p4,q4)及びR3(x,y)の畳み込みを行う。
【０１０１】
R4(x,y)＝R3(x,y)＊h4(p4,q4)                  …（１８）
続いて、ステップＳ２９において、帯域成分Dr4(x,y)の抽出及び各画素ごとに強調の効果を変更するため、強調の重み付け係数K４(x,y)の算出を行う。
【０１０２】
式（１９）に示すように、R3(x,y)からR4(x,y)を減じることにより、帯域成分Dr4(x,y)を抽出する。また、各画素ごとのDr4(x,y)に対する強調量を制御する重み付け係数K４(x,y)を求める。K４(x,y)の算出方法については後述する。
【０１０３】
Dr4(x,y)＝R3(x,y)−R4(x,y)                    …（１９）
ステップＳ３０において、式（２０）に示すようにそれぞれの帯域成分Dri(x,y)（ｉ＝１，…，４）に帯域ごとのWri（ｉ＝１，…，４）及びKi(x,y)（ｉ＝１，…，４）と、原画像Rorgとの積和を求めることにより処理結果画像Ro(x,y)を生成する。
【０１０４】
Ro(x,y)＝Rorg(x,y)＋Σi=1n（Ki(x,y)×Wri×Dri(x,y)）      …（２０）
次に、画素ごとの重み付け係数Ki(x,y)（ｉ＝１，…，４）の算出方法について説明する。
急激な明暗の変動をともなうエッジ部あるいはハレーションに対しては、不要な強調処理を避けるため、重み付け係数Ki(x,y)の値は小であることが望ましい。そこで、フィルタリング対象となる領域内における変動の大きさに基づき、強調効果を抑制するように重み付け係数Ki(x,y)を制御することを考える。
【０１０５】
まず、フィルタマスク領域内におけるフィルタリング対象画像（例えば、ｉ＝１の場合はRorg(x,y)の最大値Ｐｍａｘ、最小値Ｐｍｉｎを求める。その比α＝Ｐｍｉｎ／Ｐｍａｘを基準として、式（２１）により重み付け係数Ki(x,y)を求める。重み付け係数Ki(x,y)を与える関数の例を図１２に示す。
【０１０６】
【数１】
0004370008.tif 000002
（但し、Ｔl及びＴmは０≦Ｔl＜Ｔm≦１を満たす実数）
以上に説明した原画像Rorg(x,y)に対する一連の処理を、他の原画像Gorg(x,y)及びBorg(x,y)に対しても同様に適用することにより、不要な強調効果を押さえた強調処理結果を得ることが可能となる。
【０１０７】
本実施の形態における重み付け係数Ki(x,y)の算出方法はマスク領域内の最大値と最小値の比に基づくものに限定されるものではなく、例えば、最大値と最小値の差に基づいて決定してもよい。
【０１０８】
また、重み付け係数Ki(x,y)の値についても式（２１）に示した関数型に限定されるものではなく、種々の与え方が可能である。また、重み付け係数Ki(x,y)は演算により求めるのみでなく、ルックアップテーブルの参照により与えることも可能である。
【０１０９】
また、本実施の形態においては重み付け係数Ki(x,y)をR，G，B 各原信号から算出したが、輝度信号を用いて同様の処理を適用してもよい。
【０１１０】
なお、本実施の形態においては重み付け係数Ki(x,y)を用いた乗算を式（２０）で示されるようにステップＳ３０において適用したが、例えば式（１３）に替えて
Dr1(x,y)＝K1(x,y)×（Rorg(x,y)−R1(x,y)）  …（１３′）
のように用いても良い。これは、重み付け係数Ki(x,y)に基づいて抽出成分量を変更することに相当し、画像サイズ分の重み付け係数Ki(x,y)の記憶領域を節約することが可能となる。
【０１１１】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。
【０１１２】
本実施の形態においては、基本的な処理の流れは第２及び第３の実施の形態と同様であるが、画像の局所領域ごとに抽出する帯域成分を変更することにより画像における明暗の輪郭部あるいはハレーション等に対して不要な強調を避けることが可能となる画像処理装置について説明する。
【０１１３】
例えば画像における照明光の当たり方による影響や観察対象の形状に基づく明暗の輪郭部あるいはハレーション等に対して強調処理を適用した場合、輪郭部が不要に際だってしまうことがある。
【０１１４】
これは強調する周波数帯域が低くなるほど幅広となり、良好な処理結果を得ることの妨げとなる。本実施の形態においては上記問題を鑑み、画像の局所的な変動に応じて抽出する周波数成分の帯域を変更することにより、良好な処理結果を得ることを可能とする。
【０１１５】
本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、本実施の形態の画像処理装置５１の構成は第１の実施の形態と同様であるが、その動作は図１３に示すものとなる。
【０１１６】
なお、ここでは、R，G，B の各映像信号におけるR 信号を用いて説明するが、他の信号成分についても同様の処理を行う。分割帯域数ｎは４を例に説明を行うが、ｎはｎ＞０の正整数であればよい。
【０１１７】
図１３におけるステップＳ３１でメモリ３６ａから、R の映像信号を入力する。その画像をRorg(x,y)とする。
【０１１８】
ステップＳ３２において、図８（Ａ）に示す周波数特性を備える図９（Ａ）のマスクサイズ３×３のフィルタh1(p1,q1)（１≦p1≦３，１≦q1≦３）を用い、式（２２）に示す原画像Rorg(x,y)との畳み込みを行う。
【０１１９】
R1(x,y)＝Rorg(x,y)＊h1(p1,q1)                …（２２）
続いて、ステップＳ３３において、帯域成分Dr1(x,y)の抽出と、各画素ごとに抽出する帯域成分及び強調の効果を変更するための重み付け係数K1(x,y)の算出を行う。
【０１２０】
式（２３）に示すように、原画像Rorg(x,y)からR1(x,y)を減じることにより、帯域成分Dr1(x,y)を抽出する。また、各画素ごとのDr1(x,y)に対する強調量を制御する重み付け係数K1(x,y)を求める。K1(x,y)の算出は、第３の実施の形態と同様に行えばよい。
【０１２１】
Dr1(x,y)＝Rorg(x,y)−R1(x,y)                …（２３）
さらに、本実施の形態においては、式（２４）に示すように、続くステップＳ３４での畳み込み演算対象となるR1(x,y)をR1'(x,y)に置き換える処理を適用する。
【０１２２】
R1'(x,y)＝（１−K1(x,y)）×Rorg(x,y)＋K1(x,y)×R1(x,y) …（２４）
続いて、ステップＳ３４において、図９（Ｂ）に示すように、h1(p1,q1)の係数間に０を挿入し、マスクサイズ５×５のフィルタh2(p2,q2)（１≦p2≦５，１≦q2≦５）を作成する。式（２５）により、h2(p2,q2)及びR1'(x,y)の畳み込みを行う。
【０１２３】
R2(x,y)＝R1'(x,y)＊h2(p2,q2)          …（２５）
続いて、ステップＳ３５において、帯域成分Dr2(x,y)の抽出と、各画素ごとに抽出する帯域成分及び強調の効果を変更するための重み付け係数K２(x,y)の算出を行う。
【０１２４】
式（２６）に示すように、R1'(x,y)からR2(x,y)を減じることにより、帯域成分Dr2(x,y)を抽出する。また、各画素ごとのDr2(x,y)に対する強調量を制御する重み付け係数K２(x,y)を求める 。K２(x,y)の算出は、第３の実施の形態と同様に行えばよい。
【０１２５】
Dr2(x,y)＝R1'(x,y)−R2(x,y)            …（２６）
さらに、本実施の形態においては、式（２７）に示すように、続くステップＳ３６での畳み込み演算対象となるR2(x,y)をR2'(x,y)に置き換える処理を適用する。
【０１２６】
R2'(x,y)＝（１−K2(x,y)）×R1'(x,y)＋K2(x,y)×R2(x,y) …（２７）
ステップＳ３６において、図９（Ｃ）に示すように、h2(p2,q2)の係数間に０を挿入し、マスクサイズ９×９のフィルタh3(p3,q3)（１≦p3≦９，１≦q3≦９）を作成する。式（２８）によりh3(p3,q3)及びR2'(x,y)の畳み込みを行う。
【０１２７】
R3(x,y)＝R2'(x,y)＊h3(p3,q3)          …（２８）
続いて、ステップＳ３７において、帯域成分Dr3(x,y)の抽出と、各画素ごとに抽出する帯域成分及び強調の効果を変更するための重み付け係数K３(x,y)の算出を行う。
【０１２８】
式（２９）に示すように、R2'(x,y)からR3(x,y)を減じることにより、帯域成分Dr3(x,y)を抽出する。また、各画素ごとのDr3(x,y)に対する強調量を制御する重み付け係数K3(x,y)を求める。 K3(x,y)の算出は、第３の実施の形態と同様に行えばよい。
【０１２９】
Dr3(x,y)＝R2'(x,y)−R3(x,y)            …（２９）
さらに、本実施の形態においては、式（３０）に示すように、続くステップＳ３８での畳み込み演算対象となるR3(x,y)をR3'(x,y)に置き換える処理を適用する。
【０１３０】
R3'(x,y)＝（１−K3(x,y)）×R2'(x,y)＋K3(x,y)×R3(x,y) …（３０）
ステップＳ３８において、図９（Ｄ）に示すように、h3(p3,q3)の係数間に０を挿入し、マスクサイズ１７×１７のフィルタh4(p4,q4)（１≦p4≦１７，１≦q4≦１７）を作成する。式（３１）により、h4(p4,q4)及びR3'(x,y)の畳み込みを行う。
【０１３１】
R4(x,y)＝R3'(x,y)＊h4(p4,q4)          …（３１）
続いて、ステップＳ３９において、帯域成分Dr4(x,y)の抽出と、各画素ごとに抽出する帯域成分及び強調の効果を変更するための重み付け係数K4(x,y)の算出を行う。
【０１３２】
式（３２）に示すように、R3'(x,y)からR4(x,y)を減じることにより、帯域成分Dr4(x,y)を抽出する。また、各画素ごとのDr4(x,y)に対する強調量を制御する重み付け係数K4(x,y)を求める。 K4(x,y)の算出は、第３の実施の形態と同様に行えばよい。
【０１３３】
Dr4(x,y)＝R3'(x,y)−R4(x,y)            …（３２）
ステップＳ４０において、式（３３）に示すようにそれぞれの帯域成分Dri(x,y)（ｉ＝１，．．，４）に帯域ごとのWri（ｉ＝１，．．，４）及びKi(x,y)（i＝１，．．，４）と、原画像Rorg(x,y)との積和を求めることにより処理結果画像Ro(x,y)を生成する。
【０１３４】
Ro(x,y)＝Rorg(x,y)＋Σi=1n（Ki(x,y)×Wri×Dri(x,y)）    …（３３）
本実施の形態において、式（２４）、（２７）及び（３０）における置き換えは、各々の次ステップで用いるフィルタリング対象を、画像における局所的な情報（ここでは急激な、あるいは大きな明暗変化をともなう輪郭部として認識される度合い）に基づき変更することに相当する。
【０１３５】
これにより、局所的な情報に応じて抽出される周波数帯域成分を変更することができる。言い換えると、画像における局所ごとに、分割する周波数帯域の組み合わせを変更することが可能となる。
【０１３６】
本実施の形態においては輪郭部で抽出される周波数帯域が高周波数寄りに移動することとなり、さらに重み付け係数が小となることと相まって前述した不要な強調効果の発生を抑制することが可能となる。
【０１３７】
以上に説明した原画像Rorg(x,y)に対する一連の処理を、他の原画像Gorg(x,y)及びBorg(x,y)に対しても同様に適用することにより、不要な強調効果を押さえた強調処理結果を得ることが可能となる。
また、抽出周波数帯域の変更のみならず、抽出周波数成分量を変更してもよい。
【０１３８】
なお、本実施の形態においては、図１３に示した一連の処理により周波数帯域成分を抽出する場合について説明したが、原画像に対し直接複数のバンドパスフィルタリングを適用する場合においても同様な処理が可能である。この場合は、局所的な情報に応じて適用するフィルタを選択的に変更すればよい。
【０１３９】
（第５の実施の形態）
続いて、本発明の第５の実施の形態について説明する。
本実施の形態における基本的な処理は第３の実施の形態と同様であるが、さらに計算量の削減を行うことが可能となる画像処理装置を実現することについて説明する。
【０１４０】
本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、本実施の形態の画像処理装置５１の構成は第１の実施の形態と同様であるが、その動作は図１４に示すものとなる。
【０１４１】
なお、ここでは、R，G，B の各映像信号におけるR の映像信号を用いて説明するが、他の信号成分についても同様の処理を行う。分割帯域数ｎは４を例に説明を行うが、ｎはｎ＞０の正整数であればよい。
【０１４２】
図１４に示すステップＳ４１においてメモリ３６ａから、R の映像信号を入力する。その画像をRorg(x,y)とする。
【０１４３】
ステップＳ４２において、サイズＩＳＸ×ＩＳＹの原画像Rorg(x,y)に対し、図８（Ａ）に示す周波数特性を備える図９（Ａ）のマスクサイズ３×３のフィルタh1(p1,q1)（１≦p1≦３，１≦q1≦３）を用いた式（３４）に示す畳み込みを行うことによりRav(x,y)を求める。
【０１４４】
Rav(x,y)＝Rorg(x,y)＊h1(p1,q1)              …（３４）
さらに、Rav(x,y)を水平、垂直方向に１ラインずつ間引くことで、サイズ（ＩＳＸ／２）×（ＩＳＹ／２）の間引き画像Rｒ(x,y)を作成する。
【０１４５】
また、ステップＳ４３において、式（３５）によりRorg(x,y)からRav(x,y)を減じた残差画像Rrs(x,y)を作成する。
【０１４６】
Rrs(x,y)＝Rorg(x,y)−Rav(x,y)                    …（３５）
ステップＳ４４において、マスクサイズ３×３のフィルタh1(p1,q1)を再度使用し、式（３６）により間引き画像Rｒ(x,y)との畳み込みを行う。
【０１４７】
R1(x,y)＝Rr(x,y)＊h1(p1,q1)                …（３６）
ここで、間引き画像Rｒ(x,y)に対するh1(p1,q1)の特性は、間引き前のRorg(x,y)に対する図９（Ｂ）に示すマスクサイズ５×５のフィルタh2(p2,q2)（１≦p2≦５，１≦q2≦５）の特性と同等となる。
【０１４８】
ステップＳ４５において、各画素ごとに強調の効果を変更するため、強調の重み付け係数K1(x,y)を算出する。重み付け係数K1(x,y)の算出は、第３の実施の形態と同様に行えばよい。また、式（３７）に示すように、間引き画像Rｒ(x,y)からのR1(x,y)を減じることにより、帯域成分Dr1(x,y)を抽出する。
【０１４９】
Dr1(x,y)＝Rr(x,y)−R1(x,y)                  …（３７）
ステップＳ４６において、図９（Ｂ）に示すように、h1(p1,q1)の係数間に０を挿入し、マスクサイズ５×５のフィルタh2(p2,q2)を作成する。式（３８）により、h2(p2,q2)及びR1(x,y)の畳み込みを行う。
【０１５０】
R2(x,y)＝R1(x,y)＊h2(p2,q2)                …（３８）
ここで、R1(x,y)に対するh2(p2,q2)の特性は、間引き前のRorg(x,y)に対する図９（Ｃ）に示すマスクサイズ９×９のフィルタh3(p3,q3)（１≦p3≦９，１≦q3≦９）の特性と同等となる。
【０１５１】
ステップＳ４７において、各画素ごとに強調の効果を変更するため、強調の重み付け係数K2(x,y)を算出する。また、式（３９）に示すように、R1(x,y)からR2(x,y)を減じることにより、帯域成分Dr2(x,y)を抽出する。
【０１５２】
Dr2(x,y)＝R1(x,y)−R2(x,y)                  …（３９）
続いてステップＳ４８において、図９（Ｃ）に示すように、ｈ2(p2,q2)の係数間に０を挿入し、サイズ９×９のフィルタh3(p3,q3)（１≦p3≦９，１≦q3≦９）を作成する。式（４０）により、h3(p3,q3)及びR2(x,y)の畳み込みを行う。
【０１５３】
R3(x,y)＝R2(x,y)＊h3(p3,q3)                …（４０）
ここで、R2(x,y)に対するh3(p3,q3)の特性は、間引き前のRorg(x,y)に対する図９（Ｄ）に示すマスクサイズ１７×１７のフィルタh4(p4,q4)（１≦p4≦１７，１≦q4≦１７）の特性と同等となる。
【０１５４】
ステップＳ４９において、各画素ごとに強調の効果を変更するため、強調の重み付け係数K3(x,y)を算出する。また、式（４１）に示すように、原画像R2(x,y)からR3(x,y)を減じることにより、帯域成分Dr3(x,y)を抽出する。
【０１５５】
Dr3(x,y)＝R2(x,y)−R3(x,y)                  …（４１）
ステップＳ５０において、式（４２）に示すように、Rav(x,y)と、抽出した帯域成分Dri（ｉ＝１，２，３）に重みづけ係数Wri及びKi(x,y)（ｉ＝１，２，３）との乗算結果の合成を行うことにより、間引き強調画像Ro'(x,y)を生成する。
【０１５６】
Ro'(x,y)＝Rav(x,y)＋Σi=13（Ki(x,y)×Wri×Dri(x,y)）      …（４２）
続いて、ステップＳ５１において、間引かれた状態にある強調画像Ro'(x,y)を拡大することにより、Ro"(x,y)を作成する。ここでの拡大は、Ro'における各画素Ro'(x,y)を、Ro" における２×２個の画素の組｛Ro"（２ｘ−１，２ｙ−１），Ro"（２ｘ−１，２ｙ），Ro"（２ｘ，２ｙ−１），Ro"（２ｘ，２ｙ）｝に与える単純な埋め込みを用いればよく、あるいは公知の線形補間等による補間を用いてもよい。
【０１５７】
さらに、ステップＳ５２において、拡大された処理結果であるRo" (x,y)に対し、式（４３）に示すように係数Wｒを乗じた残差画像Rｒ(x,y)を加算することにより、最終的な処理結果画像Ro(x,y)を得る。
【０１５８】
Ro(x,y)＝Ro"(x,y)＋（（１＋Wr）×Rr(x,y)）…（４３）
上述した原画像Rorg(x,y)に対する一連の処理を、他の原画像Gorg(x,y)及びBorg(x,y)に対しても同様に適用する。
以上説明したように、画像を間引き縮小して、一連の処理を実施することにより、演算量を減少させた上で良好な強調処理結果を得ることが可能となる。
【０１５９】
（第６の実施の形態）
次に本発明の第６の実施の形態について図１５を参照して説明する。本実施の形態においては、画像処理装置５１の構成要素として、ディジタルフィルタを扱うものとする。
【０１６０】
一般に、内視鏡画像はその明るさに関して、光量が十分でない領域（暗部）、近接等により光量が過剰となる領域（明部）及び観察に適した光量が得られている領域（中間部）のいずれか、あるいはそれらの組み合わせから成り立っている。このような暗部または明部となる画像中の領域は、観察及び診断に適したものではなく、より適切な明るさが望まれる場合が多々ある。
【０１６１】
そこで、本実施の形態においては画像の明るさに応じて強調処理の効果を変更することで、より観察及び診断に適した明るさを備える処理結果画像を得ることが可能となる画像処理装置について説明する。
【０１６２】
本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、画像処理装置５１の構成は第１実施の形態と同様であるが、その動作は図１５に示すものとなる。ここでは、R，G，B のうちのR の映像信号を用いて説明するが、他の信号成分についても同様の処理を行う。分割抽出する帯域数ｎは４を例に説明を行っているが、ｎはｎ＞０の正整数であればよい。
【０１６３】
図１５のステップＳ５３でメモリ３６ａから、R の映像信号を入力する。その画像をRorgとする。
ステップＳ５４において、図８（Ａ）に示すような周波数特性を備える図９（Ａ）のマスクサイズ３×３のフィルタｈ1(p1,q1)（１≦p1≦３，１≦q1≦３）を作成し、式（４４）に示す原画像Rorg(x,y)との畳み込みを行う。
【０１６４】
R1(x,y)＝Rorg(x,y)＊h1(p1,q1)          …（４４）
（＊は畳み込みを表す）
次いでステップＳ５５において、各画素ごとに強調の効果を変更するため、強調の重み付け係数K1(x,y)を算出し、また、式（４５）に示すように原画像Rorg(x,y)からR1(x,y)を減ずることにより、図１０（Ａ）に示す帯域成分Dr1を抽出する。  Dr1(x,y)＝Rorg(x,y)−R1(x,y)            …（４５）
式（４４）及び（４５）により図１０（Ａ）Dr1の通過帯域を持つフィルタ処理を行ったのと同じ効果を得ることができる。
【０１６５】
続くステップＳ５６において図９（Ｂ）に示すように、h1(p1,q1)の係数間に０を挿入し、マスクサイズ５×５のフィルタh2(p2,q2)（１≦p2≦５，１≦q2≦５）を作成する。その周波数特性は図８（Ｂ）に示すようなものとなる。
【０１６６】
式（４６）によりh2(p2,q2)およびR1(x,y)の畳み込みを行う。式（４６）におけるh1(p1,q1)*h2(p2,q2)の特性を図８（Ｃ）に示す。つまり、R2(x,y)は原画像Rorgに図８（Ｃ）の通過帯域を持つフィルタ処理を行ったのと同等の結果となる。
【０１６７】
R2(x,y)＝R1(x,y)＊h2(p2,q2)
＝Rorg(x,y)＊h1(p1,q1)＊h2(p2,q2)…（４６）
（ここで、＊は畳み込みを表す）
ステップＳ５７において、各画素ごとに強調の効果を変更するため、強調の重み付け係数K2(x,y)を算出し、また、式（４７）のようにR1(x,y)からR2(x,y)を減算することにより、図１０（Ｂ）に示す帯域成分Dr2を抽出する。
【０１６８】
Dr2(x,y)＝R1(x,y)−R2(x,y)            …（４７）
ステップＳ５８において、図９（Ｃ）に示すようにh2(p2,q2)の係数間に０を挿入し、マスクサイズ９×９のフィルタh3(p3,q3)（１≦p3≦９，１≦q3≦９）を作成する。その周波数特性は図８（Ｄ）となる。式（４８）により、h3(x,y)およびR2(x,y)の畳み込みを行う。
【０１６９】
式（４８）におけるh1(p1,q1)*h2(p2,q2)*h3(p3,q3)の特性を図８（Ｅ）に示す。つまり、R3(x,y)は原像Rorgに図８（Ｅ）の通過帯域を持つフィルタ処理を行ったのと同等の結果となる。
【０１７０】
R3(x,y)＝R2(x,y)＊h3(p3,q3)
＝Rorg(x,y)＊h1(p1,q1)＊h2(p2,q2)＊h3(p3,q3)…（４８）
ステップＳ５９において、各画素ごとに強調の効果を変更するため、強調の重み付け係数K3(x,y)を算出し、また、式（４９）のようにR2(x,y)からR3(x,y)を減算することにより、図１０（Ｃ）に示す帯域成分Dr3を抽出する。
【０１７１】
Dr3(x,y)＝R2(x,y)−R3(x,y)            …（４９）
ステップＳ６０において、図９（Ｄ）に示すように、h3(p3,q3)の係数間に０を挿入し、マスクサイズ１７×１７のフィルタh4(p4,q4)（１≦p4≦１７、１≦q4≦１７）を作成する。
【０１７２】
その周波数特性は図８（Ｆ）に示すようなものとなる。式（５０）により、h4(p4,q4)およびR3(x,y)の畳み込みを行う。式（５０）におけるh1(p1,q1)*h2(p2,q2)*h3(p3,q3)*h4(p4,q4)の特性を図８（Ｇ）に示す。つまり、R4(x,y)は原画像Rorgに図８（Ｇ）の通過帯域を持つフィルタ処理を行ったのと同等の結果となる。
【０１７３】
R4(x,y)＝R3(x,y)＊h4(p4,q4)
＝Rorg(x,y)＊h1(p1,q1)＊h2(p2,q2)＊h3(p3,q3)＊h4(p4,q4)  …（５０）
ステップＳ６１において、各画素ごとに強調の効果を変更するため、強調の重み付け係数K4(x,y)を算出し、また、式（５１）のようにR3(x,y)からR4(x,y)を減算することにより、図１０（Ｄ）に示す帯域成分Dr4を抽出する。
【０１７４】
Dr4(x,y)＝R3(x,y)−R4(x,y)            …（５１）
続くステップＳ６２において、式（５２）のように原画像Rorg(x,y)の画素値に基づくバイアス成分の制御後の帯域成分Dri'(x,y)の算出を行う。バイアス成分は、その値に応じて画像全体の明るさを規定する直流成分の値を変更する効果を与える。
【０１７５】
本実施の形態においては、図１６に概要を示す関数ｆ（Rorg(x,y)）に基づき、与えるバイアス成分Kの値を定める。ここでは、Kの値を画像中の暗部においては正の値、すなわち処理結果画像が明るくなるように与える。
【０１７６】
一方、近接部等において光量が過剰となった部位のように、画像の極端な明部においては負の値、すなわち処理結果画像の明るさが観察に適当なものとなるように与える。また、暗部から明部に移行する中間部については、適宜連続的に変化するように定めればよい。
【０１７７】
また、より単純な閾値処理により、暗部、中間部及び明部を定めることももちろん可能である。
【０１７８】
K＝ｆ（Rorg(x,y)）…（５２）
式（５３）により、抽出成分Driを各画素ごとの重み付けKri(x,y)と帯域成分ごとの重み付け係数Wriにより係数倍したのちKを用いた加減算を行う。
【０１７９】
Dri'(x,y)＝K＋Kri(x,y)×Wri(x,y)×Dri(x,y)…（５３）
ステップＳ６３において、原画像とDri'を加算することで、（５４）式のように処理結果出力Ro(x,y)を求める。
【０１８０】
Ro(x,y)＝Rorg(x,y)＋Σi=1n Dri'(x,y)…（５４）
上述した原画像Rorg(x,y)に対する一連の処理を、他の原画像Gorg(x,y)及びBorg(x,y)に対しても同様に適用する。
以上説明したように、本実施の形態における一連の処理を適用することにより、強調処理効果に加えてより観察に適した明るさを備える処理結果画像を得ることが可能となる。
【０１８１】
なお、本実施の形態においてはバイアス成分の制御を式（５２）に示した関数型に基づき定めるものとしたが、ルックアップテーブルにより与えてもよい。
【０１８２】
また、局所的な明るさの認識は原画像における画素値に基づくものに限定されるものではなく、例えば局所的な平均値あるいは輝度に基づくもの等、種々の変更が可能である。
【０１８３】
なお、本実施の形態と同様の効果をバイアス成分を制御しない強調処理結果に対する階調変換の適用により得ることも可能である。
【０１８４】
（第７の実施の形態）
次に本発明の第７の実施の形態について図１７を参照して説明する。本実施の形態においては、画像処理装置５１の構成要素として、ディジタルフィルタを扱うものとする。
【０１８５】
本発明の第６の実施の形態においては、バイアス成分を制御することにより、強調効果を得るとともに処理結果画像の明るさをより観察に適したものとする画像処理装置について説明した。
一方、内視鏡画像の観察及び診断においては、注目する観察対象となる病変等が存在する場合にのみ、明るさの変更が望まれる場合がある。
【０１８６】
本実施の形態においては、画像の明るさに加え、抽出した周波数帯域成分に応じて画像の明るさを局所的に変更することで、より観察及び診断に適した処理結果画像を得ることが可能となる画像処理装置について説明する。
【０１８７】
本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、画像処理装置５１の構成は第１の実施の形態と同様であるが、その動作は図１７に示すものとなる。ここでは、R，G，B のうちのR の映像信号を用いて説明するが、他の信号成分についても同様の処理を行う。分割抽出する帯域数ｎは４を例に説明を行っているが、ｎはｎ＞０の正整数であればよい。
【０１８８】
図１７におけるステップＳ５３ないしＳ６１は、それぞれ第６の実施の形態において示した図１５におけるステップＳ５３ないしＳ６１と同じであるため、その説明は省略する。
【０１８９】
図１７に示すステップＳ６１の次のステップＳ７１においては、局所的な抽出周波数成分の大きさを判断する基準として、抽出された成分Dri(x,y)（ｉ＝１，…４）の成分の絶対値を算出する。 Dri(x,y)の局所的な変化及びその絶対値を求めた結果の例（簡単のため、１次元にて示すものとする）を図１８（Ａ），（Ｂ）に示す。
【０１９０】
絶対値算出後の成分を、例えば式（６２）に示すように、サイズN×N の局所平均により平滑化する。平滑化の結果Dri'(x,y)を図１８（Ｃ）に示す。なお、平滑化の手法は局所平均に限定されるものではない。
【０１９１】
Dri'(x,y)＝Σs=x-N/2x+N/2Σt=y-N/2y+N/2 (Dri(x+s,y+t))/(N×N)…（６２）
（ここで、N は正の整数）
続くステップＳ７２において、局所的なバイアス成分の制御適用後の帯域成分Dri"(x,y)を算出する。
【０１９２】
本実施の形態においては、画像の局所的な明るさに加えて、抽出成分の大きさを表すDri'(x,y)に基づき、その値が大である場合にはバイアス成分の制御量も大とし、小である場合には制御量も小とすることにより、局所的に効果を変更するものとする。
【０１９３】
Dri'(x,y)の値に基づき、例えば図１９に概要を示す関数ｇ（Dri'(x,y)）を用意する。関数ｇ（Dri'(x,y)）はDri'(x,y)＝０のとき最小（例えば０）となり、Dri'(x,y)の値の増大とともに増大し、一定のDri'(x,y)以上で最大（例えば１）となるものとする。
【０１９４】
このような関数ｇ（Dri'(x,y)）及び式（５２）に示したKを用いて、バイアス成分制御後の帯域成分Dri"(x,y)を求める。
【０１９５】
Dri"(x,y)＝（ｇ（Dri'(x,y)×K）＋Wri×Dri(x,y)…（６３）
ステップＳ７３において、Dri"(x,y)を原画像Rorg(x,y)に加算することで、式（６５）のように処理結果出力Roを求める。
【０１９６】
Ro(x,y)＝Rorg(x,y)＋Σi=1n Dri"(x,y)…（６５）
以上に説明した一連の処理の適用により、画像の局所的な明るさに加え抽出した周波数帯域成分の大きさに応じて画像の明るさを局所的に補正することが可能となる。
【０１９７】
なお、本実施の形態における関数ｇ（Dri'(x,y)）の特性は図１９に示したものに限定されるものではなく、適宜定めることが可能である。
【０１９８】
また、本実施の形態においては関数ｇ（Dri'(x,y)）に基づき式（５２）において示した関数ｆ（Rorg(x,y)）によるバイアス成分Kの変更を行ったが、複数の関数ｆ（Rorg(x,y)）を予め用意しておき、Dri'(x,y)の値に応じて選択することによりKを求めてもよい。
【０１９９】
（第８の実施の形態）
次に、本発明の第８の実施の形態について図２０を参照して説明する。
本実施の形態においては、画像処理装置５１の構成要素として、ディジタルフィルタを扱うものとする。
【０２００】
前述した通り、一般に内視鏡画像はその明るさに関して、光量が十分でない領域（暗部）、近接等により光量が過剰となる領域（明部）及び観察に適した光量が得られている領域（中間部）のいずれか、あるいはそれらの組み合わせから成り立っている。
【０２０１】
本実施の形態では、強調処理の適用において、画像の明るさに応じて、抽出した帯域成分に対する強調量を制御することにより、より観察及び診断に適した処理結果画像を得ることが可能となる画像処理装置について説明する。
【０２０２】
内視鏡画像においては、注目する観察対象は局所的な明暗変動（画素の値の変動）として観察される。しかしながら、中間部の明るさにおいては良好に観察可能である観察対象であっても、暗部においては暗くつぶれてしまい、また明部においては明るくとんでしまいコントラストが不十分となることがある。
【０２０３】
そこで、本実施の形態においては、暗部に含まれる領域から抽出した帯域成分については、処理結果画像において観察対象をより明瞭なものとするため、図２１（Ａ）に示すように正の変動方向を備える成分に対してより強い強調効果を与える。また、明部に含まれる領域から抽出した帯域成分については、処理結果画像において観察対象がより適切なコントラストをもって観察可能となるように、図２１（Ｂ）に示すように負の変動方向を備える変動成分に対してより強い強調効果を与える。
【０２０４】
本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、画像処理装置５１の構成は第１実施の形態と同様であるが、その動作は図２０に示すものとなる。ここでは、R，G，B のうちのR の映像信号を用いて説明するが、他の信号成分についても同様の処理を行うことが可能である。分割抽出する帯域数ｎは４を例に説明を行っているが、ｎはｎ＞０の正整数であればよい。
【０２０５】
図２０におけるステップＳ５３ないしＳ６１は、それぞれ第６の実施の形態において示した図１７におけるステップＳ５３ないしＳ６１と同じであるため、その説明は省略する。
【０２０６】
図２０に示すステップＳ６１の次のステップＳ８１においては、Rorg(x,y)の値及び抽出した周波数成分Dri(x,y)に基づく変動強調係数Kri(x,y)を算出する。
Kri(x,y)の値は画像の局所的な明るさ及び帯域成分Dri(x,y)に基づいて決定される強調の重み付け係数であり、以下のように定めることができる。
【０２０７】
Kri(x,y)＝ｃ＋α×Dri(x,y)…（６６）
ここで、ｃは定数であり、例えばｃ＝１とすればよい。αはRorg(x,y)の値に応じて変化させる係数でありRorg(x,y)の値が小（すなわち、暗部）から大（明部）になるにつれて変化する、例えば図２２に示すような特性をもつ関数により与えられる。
【０２０８】
ステップＳ８２においては、式（６７）に示す演算により、処理結果画像Ro(x,y)を得る。
【０２０９】
Ro(x,y)＝Rorg(x,y)＋Σi=1n（Kri(x,y)×Wri×Dri(x,y)）…（６７）
さらに、強調効果の変更を、注目する観察対象に応じて抽出する周波数帯域ごとに変更してもよい。この場合は、例えば、式（６６）に示したαをαｉとして、各周波数帯域に定める。例えば、抽出する周波数帯域が低いDr4(x,y)に対するα４を、他の抽出成分に対するαｉ（ｉ＝１，２，３）より大とすることにより、低周波成分により構成される微妙な色調変化等がより観察しやすいものとなる。
【０２１０】
以上に示した一連の処理を適用することにより、画像の明るさに応じて、抽出した帯域成分に対する強調量を変更し、より観察及び診断に適した処理結果画像を得ることが可能となる。
【０２１１】
（第９の実施の形態）
次に、本発明の第９の実施の形態について図２３を参照して説明する。本実施の形態においては、画像処理装置５１の構成要素として、ディジタルフィルタを扱うものとする。
【０２１２】
本実施の形態においては、内視鏡画像において注目する観察対象を選択的に強調することにより、より観察及び診断に有用な処理結果が得られる画像処理装置について説明する。
【０２１３】
内視鏡画像においては、画像中のあまりに微弱な変動あるいはノイズ等、強調が望まれない変動が存在する場合がある。そこで、抽出した帯域成分の値が微小な場合には強調効果を抑制し、注目する観察対象のみを強調する効果を得るものとする。
【０２１４】
本実施の形態に係る内視鏡装置の構成は第１の実施の形態と同様である。また、画像処理装置５１の構成は第１実施の形態と同様であるが、その動作は図２３に示すものとなる。ここでは、R，G，B のうちのR の映像信号を用いて説明するが、他の信号成分についても同様の処理を行うことが可能である。分割抽出する帯域数ｎは４を例に説明を行っているが、ｎはｎ＞０の正整数であればよい。
【０２１５】
図２３におけるステップＳ５３ないしＳ６１は、それぞれ第６の実施の形態において示した図１７におけるステップＳ５３ないしＳ６１と同じであるため、その説明は省略する。
【０２１６】
図２３に示すステップＳ６１の次のステップＳ９１においては、抽出した周波数成分Dri(x,y)に基づく変動強調係数Kri(x,y)を算出する。
【０２１７】
変動強調係数Kri(x,y)の値は、注目する観察対象の周波数成分Dri(x,y)の値に基づいて決定される強調の重み付け係数であり、Dri(x,y)が小である場合はKri(x,y)も小となるように定められる。
【０２１８】
例えば、 ｜Dri(x,y)｜（｜｜は絶対値記号）の値が小であれば、Kri(x,y)も相対的に小となり、ノイズ成分のような微小な変動に対する過剰な強調を避けることが可能となる。この場合、
Kri(x,y)＝ｃ＋α×｜Dri(x,y)｜  …（６８）
（ｃ，αは定数）
あるいは
Kri(x,y)＝ｃ＋α×（Dri(x,y)×Dri(x,y)）  …（６９）
のように定めればよい。ここで、ｃは定数であり、最小の強調効果を規定する。また、αは適宜定めることが可能な正の実数である。
【０２１９】
ステップＳ９２においては、式（７０）に示す演算により、処理結果画像Ro(x,y)を得る。
【０２２０】
Ro(x,y)＝Rorg(x,y)＋Σi=1n（Kri(x,y)×Wri×Dri(x,y)）  …（７０）
以上説明した一連の処理の適用により、注目する観察対象のみを効果的に強調した処理結果を得ることが可能となる。
また、Kri(x,y)が取りうる最大値を定めてもよい。このような処理の適用により、例えば図２４に示すように抽出周波数成分の大小に応じて強調効果を変更することが可能となる。
【０２２１】
また、より簡易的な閾値処理により、｜ Dri(x,y)｜＜Ｔｈｉあるいは｜ Dri(x,y)｜＞Ｔｈｉ（Ｔｈｉはｉ番目の抽出成分に対する閾値）の場合にはKri(x,y)＝０（あるいは定数ｃ等）としてもよい。これにより、微小あるいは極端に大きな値の抽出成分に対しては強調効果を与えない等の選択的処理が可能となる。
【０２２２】
また、以上に示したように、抽出成分Dri(x,y)，Dgi(x,y)，Dbi(x,y)の大きさに基づいて強調効果を変更する処理の適用においては、照明光の当たり方あるいは強弱による抽出成分への影響が無視できない場合がある。このような場合には、以下のように処理内容を変更することで照明光の影響を除外した上で同様な効果を得ることが可能となる。
【０２２３】
一般に、照明光の影響は画像におけるシェーディング補正により除外することが可能である。シェーディングは画像における低周波成分において近似可能である。本実施の形態においては、図２３におけるステップＳ６０に示したR4(x,y)が原画像Rorg(x,y)に対する狭帯域低周波帯域通過フィルタリングの処理結果に相当していることから、これを用いた補正を適用することができる。
【０２２４】
具体的には、Dri(x,y)に対して式（７１）に示す演算を実施することにより、照明光の影響除外後の抽出周波数成分Dri'(x,y)を求めることが可能となる。
Dri'(x,y)＝Dri(x,y)／R4(x,y)  …（７１）
得られたDri'(x,y)を用いて、式（６８）または（６９）におけるDri(x,y)をDri'(x,y)に置き換えてもよい。また、｜Dri'(x,y)｜に対する閾値処理による強調効果の変更を行えばよい。
【０２２５】
以上により、照明光の影響を除外した上で、抽出した周波数成分に基づき強調効果を変更する処理結果を実現することが可能となる。
また、照明光の強弱による影響は、画像に対する乗数項βとして、式（７２）のように表される。
【０２２６】
Rorg(x,y)＝β×R(x,y)  …（７２）
ここで、式（７２）におけるR(x,y)は、照明光の影響のない原画像を示すものとする。そこで、式（７２）の両辺の対数を取ることにより、式（７３）に示すように乗数項βを加算項として扱うことを考える。
【０２２７】
0004370008.tif 000003
式（７３）により得られるｌoｇ  Rorg(x,y)を、図２３において示したRorg(x,y)に置き換えた上で一連の処理及びそれらに続いて指数変換を適用することにより、照明光の影響を軽減した処理結果を得ることが可能となる。
【０２２８】
なお、変更する強調係数はR、G及びBに対して同一の値Ki(x,y)として与えてもよく、抽出するすべての周波数成分に対して共通の値K(x,y)を与える等、目的に応じて適宜変更可能である。
【０２２９】
（第１０の実施の形態）
次に、本発明の第１０の実施の形態について図２５を参照して説明する。
内視鏡画像に対する画像処理の適用においては、観察及び診断上重要な画像に対して特別な処理の適用が望まれる場合がある。これは、例えば、動画像での観察におけるフリーズまたはレリーズ（写真あるいはディジタル静止画像の撮影）の場合である。
【０２３０】
本実施の形態においては、映像信号を基にフリーズまたはレリーズの状態を検出する方法について説明する。
図２５のように内視鏡画像内に１個以上の観察点Ｐｉを設定する。画像処理装置５１に対し入力される映像信号において、同じ位置のＰｉ′の画素値をフレーム周期ごとに、あるいは適当な時間間隔のフレーム周期ごとに比較する。
【０２３１】
複数の各位置でのＰｉとＰｉ′との比較において、閾値Ｔｄ以上の相関が検出される点が閾値Ｔｎ個以下しか存在しないならば、画像は静止しておらず、逆の場合、つまり閾値Ｔｄ以上の相関が検出される点が閾値Ｔｎ個以上存在する場合はレリーズ又は、フリーズにより画像が静止していると考えることができる。なお、相関を取る（相関量を評価する）方法としては公知の方法を利用すれば良い。
【０２３２】
画像の静止を検出した際は、入力された映像信号に画像処理を施し、モニタに処理結果画像を表示する。また、同時に画像をハードディスク等の補助記憶装置に保存するなどの処理を行ってもよい。このように検出結果に応じて処理を切り替えることが可能となる。
【０２３３】
さらに、レリーズとフリーズを区別する手法について説明する。
内視鏡システムにモニタ自動撮像装置あるいは静止画ファイリング装置等を接続した場合には、例えばレリーズ数を表す文字情報としてのカウンタが固定的な位置に表示される。
【０２３４】
そこで、画像静止時の内視鏡画像のカウンタを含む小領域Ａを切り出し、記憶しておく。次の画像静止検出時に現在のカウンタを含む小領域Bと、前回の静止検出時の小領域Ａの画素値を比較する、つまり時間的な変化を検出することで、カウンタが変化したかどうかが判断できる。
【０２３５】
カウンタが変化したときはレリーズであり、変化しないときはフリーズであると考えることができる。これにより、フリーズ時は画像処理結果の表示のみを行い、レリーズのときは、画像処理結果の表示とともに画像を保存するといつたフリーズとレリーズでの処理の切り替えを行うことができる。
【０２３６】
カウンタの変化の検出は領域内の画素値の比較に限定されることはなく、例えばカウンタ情報を文字認識により読み取り、その結果を記憶しておき、認識した文字を画像静止検出時に比較することで行うことも可能である。
【０２３７】
なお、本実施の形態においては観察点Ｐｉの画素値に基づき画像の静止状態を検出したが、例えばＰｉの近傍領域における平均色調に基づく検出を行う等、種々の変更が可能である。
また、時計表示等の領域がある場合には、秒の表示領域を認識し、その変化が検出されなかった場合に画像が静止状態にあるものとしてもよい。
【０２３８】
以上に示した本発明の一連の実施の形態により、診断能を向上させた処理結果画像を得ることが可能となり、また、診断上重要となる画像に対する選択的な処理の適用が可能となる。
また、本発明における各実施の形態に示した処理内容は、要求する機能、効果あるいは目的等に応して適宜組み合わせて使用することが可能である。
【０２３９】
なお、本発明の一連の実施の形態においては、複数の色信号から構成される内視鏡画像について説明したが、各色信号に対する処理は各々独立しており、単一の信号から構成される画像に対して同様の処理を適用することももちろん可能である。この場合は、例えば超音波画像あるいはＸ線画像に対する処理の適用により、各種画像において注目する観察対象を良好に強調した処理結果画像を得ることが可能となる。
【０２４０】
また、画像におけるＳ／Ｎ比が不十分である領域については強調効果を抑制することも可能である。その場合は、例えば原画像における局所的な平均値に基づき、帯域成分の合成量を変更すればよい。
【０２４１】
［付記］
１．少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対し処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における周波数帯域成分に対する増幅及び／又は抑制を行う周波数帯域成分処理手段と、
前記周波数帯域成分処理手段において増幅及び／又は抑制を行う周波数帯域、及び／又は増幅及び／又は抑制の量を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
を備えたことを特徴とする内視鏡画像処理装置。
２．少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
を備えたことを特徴とする内視鏡画像処理装置。
【０２４２】
３．前記周波数帯域成分抽出手段が抽出した周波数帯域成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、
前記増幅／抑制手段により増幅及び／抑制された周波数帯域成分及び前記信号を合成する合成手段とを備えたことを特徴とする付記２記載の内視鏡画像処理装置。
４．前記増幅／抑制手段における増幅及び／又は抑制の量を前記局所的特徴量算出手段による局所的特徴量に基づき変更することを特徴とする付記３記載の内視鏡画像処理装置。
【０２４３】
５．少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、前記処理適用手段による処理結果を出力する出力手段とを備え、前記信号を複数の周波数帯域成分に分割する周波数帯域成分分割手段と、前記周波数帯域成分分割手段において分割された周波数帯域成分に対する処理を適用する分割周波数帯域成分処理手段と、を備えたことを特徴とする内視鏡画像処理装置。
【０２４４】
６．前記分割周波数帯域成分分割手段が分割された周波数帯域成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段を備えると共に、
前記増幅及び／又は抑制された周波数帯域成分及びその他の分割した周波数帯域成分を合成する合成手段とを備えたことを特徴とする付記５記載の内視鏡画像処理装置。
７．前記信号の局所的な特徴量を算出する局所的特徴量算出手段と、
前記局所的特徴量算出手段による局所的特徴量に基づき前記周波数帯域成分分割手段が分割する周波数帯域成分の周波数帯域を変更する分割周波数帯域変更手段とを備えたことを特徴とする付記５又は６に記載の内視鏡画像処理装置。
【０２４５】
８．前記局所的特徴量算出手段による局所的特徴量に基づき前記増幅／抑制手段における増幅及び／又は抑制量を変更する増幅／抑制量変更手段を設けたことを特徴とする付記６又は７に記載の内視鏡画像処理装置。
９．前記局所的特徴量算出手段が前記入力手段に入力される内視鏡画像における形状の輪郭部及び／又はハレーション部を検出するための特徴量を算出することを特徴とする付記１から８のいずれか１つに記載の内視鏡画像処理装置。
【０２４６】
１０．前記局所的特徴量算出手段が前記信号の局所的変動の大きさに基づく特徴量を算出することを特徴とする付記１から９のいずれか１つに記載の内視鏡画像処理装置。
１１．前記局所的特徴量算出手段が前記信号の局所的な最大値及び最小値に基づく特徴量を算出することを特徴とする付記１０記載の内視鏡画像処理装置。
【０２４７】
１２．前記特徴量が前記信号の局所的な最大値及び最小値の比又は差に基づく値であることを特徴とする付記１１記載の内視鏡画像処理装置。
１３．前記周波数帯域成分処理手段がフィルタリング手段を備えることを特徴とする付記１又は７から１２のいずれか１つに記載の内視鏡画像処理装置。
【０２４８】
１４．前記周波数帯域成分抽出手段がフィルタリング手段を備えることを特徴とする付記２から４又は９から１２のいずれか１つに記載の内視鏡画像処理装置。
１５．前記周波数帯域成分分割手段がフィルタリング手段を備えることを特徴とする付記５から８又は９から１２のいずれか１つに記載の内視鏡画像処理装置。
１６．前記フィルタリング手段がディジタルフィルタを用いたフィルタリングを行うことを特徴とする付記１３から１５のいずれか１つに記載の内視鏡画像処理装置。
【０２４９】
１７．前記フィルタリング処理手段がフーリエ変換後の周波数空間上におけるフィルタリングを行うことを特徴とする付記１３から１５のいずれか１つに記載の内視鏡画像処理装置。
１８．前記局所的特徴量算出手段が算出した特徴量の値に基づき前記フィルタリング手段が適用するフィルタの周波数特性を変更することを特徴とする付記１３から１７のいずれか１つに記載の内視鏡画像処理装置。
【０２５０】
１９．少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対し処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号から少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
前記周波数帯域成分抽出手段において抽出した周波数成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、
前記内視鏡画像の局所的な明るさ及び／又は前記周波数帯域成分抽出手段において抽出した少なくとも１つの周波数成分の局所的な量に基づき低周波数帯域成分を変更する局所的低周波数帯域成分変更手段と、
前記増幅及び／又は抑制後の周波数帯域成分と、前記局所的な低周波数帯域成分変更後の周波数帯域成分と、前記信号とを合成する合成手段と、
を備えたことを特徴とする内視鏡画像処理装置。
【０２５１】
２０．前記内視鏡画像の局所的な明るさを示す値が前記信号における画素の値であることを特徴とする付記１９記載の内視鏡画像処理装置。
２１．前記内視鏡画像の局所的な明るさを示す値が前記信号における画素の局所的な平均値であることを特徴とする付記１９記載の内視鏡画像処理装置。
２２．前記内視鏡画像の局所的な明るさを示す値が前記内視鏡画像における局所的な輝度の値に基づくものであることを特徴とする付記１９記載の内視鏡画像処理装置。
【０２５２】
２３．前記局所的低周波数帯域成分変更手段が、局所的低周波数帯域成分に対する加減算又は乗算であることを特徴とする付記１９から２２のいずれか１つに記載の内視鏡画像処理装置。
２４．前記局所的低周波数帯域成分変更手段における変更量が、前記入力された内視鏡画像が局所的に暗いと判断される場合には明るさを増幅し、局所的に明るいと判断される場合には明るさを抑制するようにしたことを特徴とする付記１９から２３のいずれか１つに記載の内視鏡画像処理装置。
２５．前記局所的低周波数帯域成分変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量に基づき前記低周波数帯域成分に対する変更を行うことを特徴とする付記１９から２４のいずれか１つに記載の内視鏡画像処理装置。
【０２５３】
２６．前記局所的低周波数帯域成分変更手段が前記周波数帯域成分処理手段の抽出した少なくとも１つの周波数帯域成分の局所的な量が大である場合には前記低周波数帯域成分に対する変更を行い、小になると共に変更の程度を減少させることを特徴とする付記２５記載の内視鏡画像処理装置。
２７．少なくとも１つの信号から構成される内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像を構成する少なくとも１つの信号に対し処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号から少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
前記周波数帯域成分抽出手段において抽出した周波数成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、
前記内視鏡画像の局所的な明るさ及び／又は前記周波数帯域成分抽出手段において抽出した周波数成分の局所的な量に基づき増幅及び／又は抑制の量を変更する増幅／抑制量変更手段と、
前記増幅及び／又は抑制後の周波数帯域成分と、前記信号とを合成する合成手段と、
を備えたことを特徴とする内視鏡画像処理装置。
【０２５４】
２８．前記増幅／抑制量変更手段における変更量が、前記入力された内視鏡画像が局所的に暗いと判断される場合には明るさの増大に寄与する前記周波数帯域成分の変動をより増幅し、局所的に明るいと判断される場合には明るさの抑制に寄与する前記周波数帯域成分の変動をより増幅するようにしたことを特徴とする付記２７記載の内視鏡画像処理装置。
２９．前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量に基づき前記増幅／抑制量の変更を行うことを特徴とする付記２７又は２８記載の内視鏡画像処理装置。
３０．前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量が大である場合には前記周波数帯域成分に対する増幅及び／又は抑制の変更量を大とし、小になると共に変更の程度を減少させることを特徴とする付記２９記載の内視鏡画像処理装置。
【０２５５】
３１．前記内視鏡画像の局所的な明るさを示す値が前記信号における画素の値であることを特徴とする付記２７から３０のいずれか１つに記載の内視鏡画像処理装置。
３２．前記内視鏡画像の局所的な明るさを示す値が前記信号の画素の局所的な平均値であることを特徴とする付記２７から３０のいずれか１つに記載の内視鏡画像処理装置。
３３．前記内視鏡画像の局所的な明るさを示す値が前記内視鏡画像における局所的な輝度の値に基づくものであることを特徴とする付記２７から３０のいずれか１つに記載の内視鏡画像処理装置。
【０２５６】
３４．前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段の抽出した少なくとも１つの周波数帯域成分の局所的な量が小である場合には前記周波数帯域成分に対する増幅及び／又は抑制量を減少させることを特徴とする付記１，３，４，６から３３のいずれかに記載の内視鏡画像処理装置。
３５．前記増幅／抑制量変更手段が前記周波数帯域成分抽出手段が抽出した少なくとも１つの周波数帯域成分に対するシェーディング補正を適用するシェーディング補正手段を備えると共に、
前記シェーディング補正適用後の前記周波数帯域成分の量に応じて増幅及び／又は抑制量の変更を行うことを特徴とする付記２９から３４のいずれか１つに記載の内視鏡画像処理装置。
【０２５７】
３６．前記シェーディング補正手段が前記信号の低域通過フィルタリング適用結果に基づくシェーディング補正を行うことを特徴とする付記３５記載の内視鏡画像処理装置。
【０２５８】
３７．内視鏡画像を構成する少なくとも１つの信号に対し対数変換を適用する変換手段と、
前記変換手段の処理結果を前記入力手段に入力すると共に、
前記出力手段の出力を指数変換する逆変換手段とを備えたことを特徴とする付記１から３６のいずれか１つに記載の内視鏡画像処理装置。
３８．前記内視鏡画像が複数の色信号から構成されることを特徴とする付記１から３７のいずれか１つに記載の内視鏡画像処理装置。
３９．前記複数の色信号がＲＧＢ信号であることを特徴とする付記３８記載の内視鏡画像処理装置。
【０２５９】
４０．前記内視鏡画像が超音波内視鏡画像であることを特徴とする付記１から３７のいずれか１つに記載の内視鏡画像処理装置。
４１．少なくとも１つの信号からなる内視鏡画像を入力する入力手段と、
前記入力手段に入力される内視鏡画像のフリーズ及び／又はレリーズを検出する検出手段と、
前記検出手段の検出結果に基づき処理を適用する処理適用手段と、
を備えたことを特徴とする内視鏡画像処理装置。
４２．前記検出手段が前記入力手段に入力される内視鏡画像の静止に基づきフリーズ及び／又はレリーズの状態を検出することを特徴とする付記４１記載の画像処理装置。
【０２６０】
４３．前記入力手段に入力された内視鏡画像における所定領域の変化を検出する変化検出手段を備え、
前記処理適用手段が前記静止状態検出手段の検出結果に加え、前記変化検出手段の検出結果に基づき処理を適用することを特徴とする付記４２記載の内視鏡画像処理装置。
４４．前記所定領域が前記入力手段に入力される内視鏡画像がレリーズによる静止状態にある場合は変化をし、フリーズによる静止状態にある場合は変化しない情報を含むことを特徴とする付記４３記載の内視鏡画像処理装置。
４５．前記所定領域が含む情報が文字情報であることを特徴とする付記４４記載の内視鏡画像処理装置。
【０２６１】
４６．前記所定領域がカウンタ及び／又は経時的に変化する情報であることを特徴とする付記４５記載の内視鏡画像処理装置。
４７．前記静止状態検出手段及び前記変化検出手段が、前記入力手段に時系列的に入力された２つ以上の内視鏡画像における少なくとも１つの信号から検出結果を得ることを特徴とする付記４２から４６のいずれか１つに記載の内視鏡画像処理装置。
４８．前記静止状態検出手段が前記入力手段に入力される内視鏡画像の少なくとも１つの画素の値の変化に基づき静止状態を検出することを特徴とする付記４１から４７のいずれか１つに記載の内視鏡画像処理装置。
【０２６２】
４９．前記処理適用手段が適用する処理が画像処理及び／又は画像の記憶であることを特徴とする付記４１から４８のいずれか１つに記載の内視鏡画像処理装置。５０．内視鏡画像を構成する画像信号を処理する方法において、
画像信号入力工程、
前記画像信号入力工程で入力された画像信号の少なくとも一つ以上の所望の周波数帯域成分を抽出する周波数帯域成分抽出工程、
前記抽出された周波数帯域成分に対して前記内視鏡画像を強調または抑制するために前記周波数帯域成分の信号レベルの大きさを変更する変更工程、
変更された前記周波数帯域成分を前記画像信号と合成する画像信号合成工程、および前記合成された合成結果を出力する合成結果出力工程を有する特徴とする内視鏡画像処理方法。
【０２６３】
５１．少なくとも１つの信号から構成される画像を入力する入力手段と、
前記入力手段に入力される画像を構成する少なくとも１つの信号に対し処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における周波数帯域成分に対する増幅及び／又は抑制を行う周波数帯域成分処理手段と、
前記周波数帯域成分処理手段において増幅及び／又は抑制を行う周波数帯域、及び／又は増幅及び／又は抑制の量を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
を備えたことを特徴とする画像処理装置。
【０２６４】
５２．少なくとも１つの信号から構成される画像を入力する入力手段と、
前記入力手段に入力される画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号における少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
を備えたことを特徴とする画像処理装置。
５３．少なくとも１つの信号から構成される画像を入力する入力手段と、
前記入力手段に入力される画像を構成する少なくとも１つの信号に対して処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記信号を複数の周波数地域成分に分割する周波数帯域成分分割手段と、
前記周波数帯域成分分割手段において分割された周波数帯域成分に対する処理を適用する分割周波数帯域成分処理手段と、
を備えたことを特徴とする画像処理装置。
【０２６５】
５４．少なくとも１つの信号から構成される画像を入力する入力手段と、
前記入力手段に入力される画像を構成する少なくとも１つの信号に対し処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号から少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
前記周波数帯域成分抽出手段において抽出した周波数成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、
前記内視鏡画像の局所的な明るさ及び／又は前記周波数帯域成分抽出手段において抽出した少なくとも１つの周波数成分の局所的な量に基づき低周波数帯域成分を変更する局所的低周波数帯域成分変更手段と、
前記増幅及び／又は抑制後の周波数帯域成分と、前記局所的な低周波数帯域成分変更後の周波数帯域成分と、前記信号とを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【０２６６】
５５．少なくとも１つの信号から構成される画像を入力する入力手段と、
前記入力手段に入力される画像を構成する少なくとも１つの信号に対し処理を適用する処理適用手段と、
前記処理適用手段による処理結果を出力する出力手段とを備え、
前記処理適用手段が前記信号の局所的特徴量を算出する局所的特徴量算出手段と、
前記信号から少なくとも１つの周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記周波数帯域成分抽出手段において抽出する周波数帯域を前記局所的特徴量算出手段による局所的特徴量に基づき変更する変更手段と、
前記周波数帯域成分抽出手段において抽出した周波数成分の少なくとも１つに対し増幅及び／又は抑制を行う増幅／抑制手段と、
前記内視鏡画像の局所的な明るさ及び／又は前記周波数帯域成分抽出手段において抽出した周波数成分の局所的な量に基づき増幅及び／又は抑制の量を変更する増幅／抑制量変更手段と、
前記増幅及び／又は抑制後の周波数帯域成分と、前記信号とを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
５６．少なくとも１つの信号からなる画像を入力する入力手段と、
前記入力手段に入力される画像のフリーズ及び／又はレリーズを検出する検出手段と、
前記検出手段の検出結果に基づき処理を適用する処理適用手段と、
を備えたことを特徴とする画像処理装置。
【０２６７】
【発明の効果】
以上説明したように本発明によれば、入力される画像を構成する画像信号を処理する画像処理手段を備えた画像処理装置において、
前記画像処理手段は、前記画像信号の少なくとも一つ以上の所望の周波数帯域成分を抽出する周波数帯域成分抽出手段と、
前記画像を強調または抑制するために前記周波数帯域成分抽出手段が抽出した周波数帯域成分の信号レベルの大きさを変更する変更手段と、
を備えているので、周波数帯域成分抽出手段で抽出された周波数帯域成分の信号レベルの大きさを変更手段で変更して、注目する部分の微細構造等を明瞭化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を備えた内視鏡装置の全体図。
【図２】図１の内部構成を示すブロック図。
【図３】第１の実施の形態の画像処理装置の構成を示すブロック図。
【図４】第１の実施の形態の処理内容を示すフローチャート図。
【図５】変形例における帯域を複数に分割した様子を示す図。
【図６】変形例における処理内容を示すフローチャート図。
【図７】本発明の第２の実施の形態の処理内容を示すフローチャート図。
【図８】フィルタの特性等を示す特性図。
【図９】マスクサイズが３×３等のフィルタを示す図。
【図１０】抽出される帯域成分を示す特性図。
【図１１】本発明の第３の実施の形態の処理内容を示すフローチャート図。
【図１２】重み付け係数を与える関数の例を示す図。
【図１３】本発明の第４の実施の形態の処理内容を示すフローチャート図。
【図１４】本発明の第５の実施の形態の処理内容を示すフローチャート図。
【図１５】本発明の第６の実施の形態の処理内容を示すフローチャート図。
【図１６】バイアス成分を決定する関数の例を示す図。
【図１７】本発明の第７の実施の形態の処理内容を示すフローチャート図。
【図１８】抽出された周波数成分を示す図。
【図１９】平滑化された帯域成分の値に応じてバイアス成分の制御を行う関数の例を示す図。
【図２０】本発明の第８の実施の形態の処理内容を示すフローチャート図。
【図２１】正及び負の変動成分を強調する様子を示す説明図。
【図２２】強調の重み付けを行う係数の関数の例を示す図。
【図２３】本発明の第９の実施の形態の処理内容を示すフローチャート図。
【図２４】抽出した成分の大きさに応じて強調する様子を示す説明図。
【図２５】フリーズ又はレリーズの状態を検出するための説明図。
【符号の説明】
１…内視鏡装置
２…電子内視鏡
３…挿入部
６…ビデオプロセッサ
６Ａ…光源部
６Ｂ…信号処理回路部
７…モニタ
９…先端部
２１…ランプ
２３…モータ
２４…回転フィルタ
１５…対物レンズ
１６…固体撮像素子
３３…プロセス回路
３６ａ，３６ｂ，３６ｃ…メモリ
５１…画像処理装置
５２…入出力インタフェース
５３…モニタ
５４…ＣＰＵ
５５…情報入力装置
５６…主記憶装置（ＲＡＭ）
５７…画像入力インタフェース
５８…表示インタフェース
【図１】
0004370008.tif 000004
【図２】
0004370008.tif 000005
【図３】
0004370008.tif 000006
【図４】
0004370008.tif 000007
【図５】
0004370008.tif 000008
【図６】
0004370008.tif 000009
【図７】
0004370008.tif 000010
【図８】
0004370008.tif 000011
【図９】
0004370008.tif 000012
【図１０】
0004370008.tif 000013
【図１１】
0004370008.tif 000014
【図１２】
0004370008.tif 000015
【図１３】
0004370008.tif 000016
【図１４】
0004370008.tif 000017
【図１５】
0004370008.tif 000018
【図１６】
0004370008.tif 000019
【図１７】
0004370008.tif 000020
【図１８】
0004370008.tif 000021
【図１９】
0004370008.tif 000022
【図２０】
0004370008.tif 000023
【図２１】
0004370008.tif 000024
【図２２】
0004370008.tif 000025
【図２３】
0004370008.tif 000026
【図２４】
0004370008.tif 000027
【図２５】
0004370008.tif 000028