(57)【要約】【課題】画像内の位置に依らずノイズ成分を視覚的に均一化することが可能な画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供すること。【解決手段】画像処理装置は、光学系の光学収差により歪みが生じた歪み画像を取得する画像取得部と、歪みを補正するための変換処理を、歪み画像の中の処理対象領域に対して行い、歪み画像を補正する補正処理部と、変換処理による処理対象領域の変換態様を表す変換態様情報を取得する変換態様情報取得部と、取得された変換態様情報に基づいて、歪み画像に含まれるノイズ成分を低減する処理を行うノイズ低減処理部３２０と、を含む。【選択図】図５
2012205619.tif 000002
【特許請求の範囲】
【請求項１】
光学系の光学収差により歪みが生じた歪み画像を取得する画像取得部と、
前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正する補正処理部と、
前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得する変換態様情報取得部と、
前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行うノイズ低減処理部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記変換態様情報は、
前記変換処理前の前記処理対象領域の大きさと、前記変換処理後の前記処理対象領域の大きさとの比較結果に関する情報であることを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記ノイズ低減処理部は、
前記ノイズ成分を低減する度合いであるノイズ低減度合いを、前記変換処理前の前記処理対象領域の大きさと前記変換処理後の前記処理対象領域の大きさとの前記比較結果に応じて制御することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記ノイズ低減処理部は、
前記変換処理後の前記処理対象領域が前記変換処理前の前記処理対象領域よりも大きいという第１の条件に該当する場合には、前記ノイズ低減度合いを、前記第１の条件以外の条件に該当する場合よりも相対的に大きくすることを特徴とする画像処理装置。
【請求項５】
請求項３において、
前記ノイズ低減処理部は、
前記変換処理後の前記処理対象領域が前記変換処理前の前記処理対象領域よりも小さいという第２の条件に該当する場合には、前記ノイズ低減度合いを、前記第２の条件以外の条件に該当する場合よりも相対的に小さくすることを特徴とする画像処理装置。
【請求項６】
請求項１において、
前記ノイズ低減処理部は、
前記ノイズ成分を低減する度合いであるノイズ低減度合いを前記変換態様情報に基づいて決定し、前記ノイズ低減度合いに基づいて前記ノイズ低減処理を行うことを特徴とする画像処理装置。
【請求項７】
請求項１において、
前記画像取得部は、
前記処理対象領域における前記歪みの歪み度合いが、前記歪み画像における前記処理対象領域の位置に応じて異なる画像を取得し、
前記補正処理部は、
前記処理対象領域における前記歪み度合いに応じて、前記処理対象領域の大きさを変換する処理を行い、
前記ノイズ低減処理部は、
前記処理対象領域の大きさの変換結果に応じて、前記ノイズ成分を低減する度合いであるノイズ低減度合いを制御することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記画像取得部は、
前記歪み画像の中央領域における前記歪み度合いが、周辺領域における前記歪み度合いよりも相対的に小さい画像を取得し、
前記補正処理部は、
前記中央領域内の前記処理対象領域の大きさを、前記変換処理前の大きさよりも縮小する処理を行い、
前記ノイズ低減処理部は、
前記中央領域における前記ノイズ低減度合いを、前記周辺領域における前記ノイズ低減度合いよりも相対的に小さくすることを特徴とする画像処理装置。
【請求項９】
請求項７において、
前記画像取得部は、
前記歪み画像の中央領域における前記歪み度合いが、周辺領域における前記歪み度合いよりも相対的に小さい画像を取得し、
前記補正処理部は、
前記周辺領域内の前記処理対象領域の大きさを、前記変換処理前の大きさよりも拡大する処理を行い、
前記ノイズ低減処理部は、
前記周辺領域における前記ノイズ低減度合いを、前記中央領域における前記ノイズ低減度合いよりも相対的に大きくすることを特徴とする画像処理装置。
【請求項１０】
請求項１において、
前記ノイズ低減処理部は、
前記歪み画像を、周波数帯域が異なる第１〜第ｎの周波数帯域画像（ｎは２以上の自然数）に分割する周波数帯域分割部と、
前記分割された各周波数帯域画像に対して異なる平滑化処理を行う平滑化処理部と、
を有することを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記変換態様情報は、
前記変換処理前の前記処理対象領域の大きさと、前記変換処理後の前記処理対象領域の大きさとの比較結果に関する情報であり、
前記平滑化処理部は、
前記第１〜第ｎの周波数帯域画像のうちの第ｉの周波数帯域画像（ｉはｎ以下の自然数）に含まれる前記ノイズ成分を低減する度合いを、前記比較結果に関する情報に基づいて制御し、
前記平滑化処理部は、
前記制御されたノイズ低減度合いに基づいて、前記第ｉの周波数帯域画像に対する前記平滑化処理を行うことを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記比較結果に関する情報は、
前記変換処理前の前記処理対象領域の面積に対する前記変換処理後の前記処理対象領域の面積の倍率であり、
前記変換処理前における前記第１〜第ｎの周波数帯域画像が第１から第ｎに向かって順次低周波数の帯域画像であり、前記倍率が第１〜第ｎの倍率範囲に分割され、前記第１〜第ｎの倍率範囲が第１から第ｎに向かって順次低倍率の倍率範囲である場合に、
前記平滑化処理部は、
前記倍率が前記第１〜第ｎの倍率範囲のうちの第ｉの倍率範囲に含まれる場合、前記第ｉの周波数帯域画像の前記ノイズ低減度合いを、他の周波数帯域画像の前記ノイズ低減度合い以上にすることを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記ノイズ低減処理部は
時間方向のノイズ成分を平滑化する処理を行い、処理後の画素値を時間平滑化画素値として出力する時間平滑化処理部と、
空間方向のノイズ成分を平滑化する処理を行い、処理後の画素値を空間平滑化画素値として出力する空間平滑化処理部と、
前記時間平滑化画素値と前記空間平滑化画素値を所定比率で合成する合成処理部と、
を有することを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記変換態様情報は、
前記変換処理前の前記処理対象領域の大きさと、前記変換処理後の前記処理対象領域の大きさとの比較結果に関する情報であり、
前記合成処理部は、
前記比較結果に関する情報に基づいて前記所定比率を制御することを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記光学収差は、歪曲収差であることを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記光学系は、
前方の視野範囲及び側方の視野範囲を撮像する対物レンズを有することを特徴とする画像処理装置。
【請求項１７】
請求項１６において、
前記画像取得部は、
前記対物レンズを介して管状被写体内を撮像した画像を取得することを特徴とする画像処理装置。
【請求項１８】
請求項１において、
前記変換処理は、射影変換処理であることを特徴とする画像処理装置。
【請求項１９】
請求項１乃至１８のいずれかに記載の画像処理装置と、
前記歪み画像を撮像する内視鏡装置の観察状態を検出し、前記検出された観察状態に基づいて、前記補正処理部による前記変換処理を制御する制御部と、
を含むことを特徴とする制御装置。
【請求項２０】
請求項１９において、
前記制御部は、
前記観察状態が、前記歪み画像の周辺領域を拡大観察する状態である場合に、前記周辺領域を拡大する変換処理を行うように前記補正処理部を制御することを特徴とする制御装置。
【請求項２１】
請求項１９において、
前記制御部は、
ユーザから前記内視鏡装置の前記観察状態に関する情報の入力を受け付ける受付部を有し、
前記制御部は、
前記受け付けた情報に基づいて、前記内視鏡装置の前記観察状態を検出することを特徴とする制御装置。
【請求項２２】
請求項１乃至１８のいずれかに記載の画像処理装置と、
前記補正処理部により補正された画像を表示部に表示する制御を行う表示制御部と、
を含むことを特徴とする制御装置。
【請求項２３】
被写体を撮像する光学系と、
前記光学系の光学収差により歪みが生じた歪み画像を取得する画像取得部と、
前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正する補正処理部と、
前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得する変換態様情報取得部と、
前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行うノイズ低減処理部と、
を含むことを特徴とする内視鏡装置。
【請求項２４】
光学系の光学収差により歪みが生じた歪み画像を取得し、
前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正し、
前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得し、
前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行うことを特徴とする画像処理方法。
【請求項２５】
光学系の光学収差により歪みが生じた歪み画像を取得する画像取得部と、
前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正する補正処理部と、
前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得する変換態様情報取得部と、
前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行うノイズ低減処理部として、
コンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム等に関する。
【背景技術】
【０００２】
従来から内視鏡診断において体腔内の病変検出精度を向上させたいという要求があり、１７０度の広角光学系を有した内視鏡スコープが既に開発されている。
【０００３】
しかしながら、大腸のような大きなヒダを持った臓器の場合、このような広角光学系を有した内視鏡スコープを使ったとしてもヒダ裏の観察には困難が伴う。即ち、内視鏡スコープ先端を大きく曲げた状態にして観察したり、或は先端を物理的にヒダに押し付けて裏側を見えるようにめくった状態にして観察することが必要である。前者の手法では全てのヒダ裏を診察するには時間が膨大にかかってしまうという課題がある。後者の手法では、スコープ先端をヒダに押しつけるため生体からの出血リスクが発生する。生体からの出血は、できるだけ避ける必要がある。
【０００４】
ヒダ裏を非接触で短時間に観察する手法として、例えば１８０度以上の画角が得られる魚眼レンズを有する内視鏡スコープを用いる手法がある。しかしながら、魚眼レンズは光学収差（特に歪曲収差）が大きく、周辺領域が大きく歪む。そのため、ヒダ裏の病変を十分大きなサイズで観察することができないという課題がある。
【０００５】
この課題に対して特許文献１には、光学系だけでなく画像処理を組み合わせることにより、内視鏡特有の管腔内での観察に最適となるように歪み補正する手法が開示されている。この手法では、等角度物体の物体倍率を、画像中心領域よりも画像周辺領域において大きくする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２７６３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このような広角光学系と歪み補正を組合せる手法では、中央領域の画像が縮小され、周辺領域の画像が拡大される。そのため、先端を曲げる事なく非接触でヒダ裏の病変部を大きく表示することが可能となる。
【０００８】
しかしながら、この手法では、画像に混入されたノイズ成分（例えば撮像素子等で発生するノイズ成分）を考慮せずに歪み補正を行っている。そのため、画像内の位置に依って不均一な周波数特性のノイズ成分を誘発するという課題がある。例えば、歪み補正では画像の周辺領域を拡大するため、周辺領域のノイズ成分は低周波側にシフトする。この場合、人間の視覚では周辺領域のノイズ成分が増大したように見える。
【０００９】
本発明の幾つかの態様によれば、画像内の位置に依らずノイズ成分を視覚的に均一化することが可能な画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供できる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、光学系の光学収差により歪みが生じた歪み画像を取得する画像取得部と、前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正する補正処理部と、前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得する変換態様情報取得部と、前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行うノイズ低減処理部と、を含む画像処理装置に関係する。
【００１１】
本発明の一態様によれば、歪みを補正するための変換処理が処理対象領域に対して行われ、その処理対象領域の変換態様情報に基づいて、歪み画像に含まれるノイズ成分を低減する処理が行われる。これにより、画像内の位置に依らずノイズ成分を視覚的に均一化することが可能になる。
【００１２】
また、本発明の他の態様は、被写体を撮像する光学系と、前記光学系の光学収差により歪みが生じた歪み画像を取得する画像取得部と、前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正する補正処理部と、前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得する変換態様情報取得部と、前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行うノイズ低減処理部と、を含む内視鏡装置に関係する。
【００１３】
また、本発明の他の態様は、光学系の光学収差により歪みが生じた歪み画像を取得し、前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正し、前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得し、前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行う画像処理方法に関係する。
【００１４】
また、本発明の他の態様は、光学系の光学収差により歪みが生じた歪み画像を取得する画像取得部と、前記歪みを補正するための変換処理を、前記歪み画像の中の処理対象領域に対して行い、前記歪み画像を補正する補正処理部と、前記変換処理による前記処理対象領域の変換態様を表す変換態様情報を取得する変換態様情報取得部と、前記取得された変換態様情報に基づいて、前記歪み画像に含まれるノイズ成分を低減する処理を行うノイズ低減処理部として、コンピュータを機能させる画像処理プログラムに関係する。
【図面の簡単な説明】
【００１５】
【図１】内視鏡装置の第１の構成例。
【図２】回転色フィルタの詳細な構成例。
【図３】色フィルタの分光特性の例。
【図４】図４（Ａ）〜図４（Ｃ）は、撮像された画像の表示形態についての説明図。
【図５】画像処理部の詳細な構成例。
【図６】図６（Ａ）〜図６（Ｃ）は、歪み補正に伴う空間周波数特性についての説明図。
【図７】歪み補正によるノイズ成分の変化についての説明図。
【図８】ノイズ低減処理部の第１の詳細な構成例。
【図９】周波数帯域の分割についての説明図。
【図１０】図１０（Ａ）はノイズ推定量の特性例。図１０（Ｂ）はノイズ低減量の特性例。
【図１１】分割された周波数帯域の歪み補正によるシフトについての説明図。
【図１２】処理パラメータ制御部の詳細な構成例。
【図１３】内視鏡装置の第２の構成例。
【図１４】ノイズ低減処理部の第２の詳細な構成例。
【図１５】フレーム内平滑化画素値とフレーム間平滑化画素値の合成比率の特性例。
【図１６】図１６（Ａ）、図１６（Ｂ）は、同一色の信号に対する平滑化処理についての説明図。
【図１７】フレーム内平滑化処理とフレーム間平滑化処理についての説明図。
【図１８】コンピュータシステムの構成を示すシステム構成図。
【図１９】コンピュータシステムにおける本体部の構成を示すブロック図。
【図２０】人間の視覚特性例。
【図２１】光軸を中心とする円環領域を局所領域として設定する場合の例。
【発明を実施するための形態】
【００１６】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１７】
１．本実施形態の概要
まず本実施形態の概要について説明する。図１に示すように、大腸のヒダ裏の病変部１０（広義には注目領域）を観察する場合を考える。本実施形態では、魚眼の対物レンズ２０３を用いることで、スコープ先端の屈曲やヒダへの接触を行うことなくヒダ裏の病変部１０を観察することが可能である。
【００１８】
このヒダ裏の病変部１０は、画像の周辺領域に写ることになる。図４（Ｂ）に示すように、魚眼レンズでは画像の周辺領域ｄは中央領域ｈよりも歪むため、病変部１０は小さく写ってしまう。そこで本実施形態では、図４（Ｃ）に示すように周辺領域ｄを拡大する画像処理を行い、病変部１０の視認性を向上している。
【００１９】
しかしながら、このような歪み補正を行うと画像内に不均一な特性を持ったノイズ成分が発生するという課題がある。この点について説明する。ここでは、図７のＡ１に示すようにノイズ成分がランダムなホワイトノイズであるとする。また、撮像素子の画素数が表示画像の画素数と等しいか又は少ないとする。
【００２０】
まず画像中央部は、撮像画像を表示画像に変換処理する際に縮小される。そのため、周波数で見たときに変換処理は補間フィルタの特性（一般に周波数特性はフラット）となり、図７のＡ２に示すように変換後の画像には粒の細かいノイズが発生する。一方、画像周辺部は、変換処理する際に拡大される。拡大処理に伴い周波数帯域が全体に低周波側にシフトするため、Ａ３に示すようにノイズ成分も低周波にシフトする。人間の視覚特性は、空間周波数において高周波よりも低周波に対して感度が高いため、変換後の画像周辺部ではノイズ成分が増大したと認識されてしまう。即ち、拡大された画像周辺部ではノイズが多く発生し、画像中央部ではノイズが少ない画像が表示されることになる。
【００２１】
このように、注目したい画像周辺部を拡大表示しても、ノイズ成分の増大により視認性が低下してしまうという課題がある。例えば、狭帯域光等を用いた光量が十分でない条件で観察する場合には、適正露出を得るために、撮像素子により光電変換された画像を増幅することになる。そのためノイズ成分の増大が顕著に現れ、視覚的な不均一さも顕著となる。
【００２２】
この点、本実施形態によれば、図１０（Ｂ）に示すように、歪み補正の拡大率が大きい領域ほどより高い周波数帯域のノイズを低減する処理を行う。この処理は歪み補正前に行われる。これにより、図１１に示すように、拡大により低周波にシフトするノイズ成分のうち視覚的に高感度な帯域（ｆｔ近傍）の成分を低減させ、歪み補正後の画像のノイズを視覚的に均一にできる。また画像の周波数帯域のうち一部帯域を平滑化するため、被写体の構造についての周波数情報を保存できる。
【００２３】
２．第１の実施例
２．１．内視鏡装置
図１に本実施形態の内視鏡装置の構成例を示す。内視鏡装置（広義には撮像装置）は、光源部１００と、撮像部２００と、制御装置３００（プロセッサ部）と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００２４】
光源部１００は、白色光源１０１と、複数の分光透過率を持った回転色フィルタ１０２と、回転色フィルタ１０２を駆動させる回転駆動部１０３を含む。また光源部１００は、回転色フィルタ１０２からの分光特性を持った光をライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４を含む。
【００２５】
例えば図２に示すように、回転色フィルタ１０２は、三原色の赤の色フィルタ８５１と、緑の色フィルタ８５２と、青の色フィルタ８５３と、回転モータ８０３と、から構成されている。図３には、これら３つの色フィルタの分光特性を示す。
【００２６】
回転駆動部１０３は、制御装置３００の制御部３０２からの制御信号に基づいて、撮像素子２０９の撮像期間と同期して回転色フィルタ１０２を所定回転数で回転させる。例えば回転色フィルタ１０２を１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る事になる。撮像素子２０９は６０分の１秒間隔で３原色の各色光（Ｒ或はＧ或はＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。即ち、本実施形態ではＲ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で面順次で撮像され、実質のフレームレートは２０ｆｐｓ（fps: frame per second）となる。
【００２７】
撮像部２００は、例えば大腸等の体腔への挿入を可能にするために、細長くかつ湾曲可能に形成されている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２０１と、ライトガイドファイバ２０１により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ２０２、２０４を含む。また撮像部２００は、観察対象から戻る反射光を集光する対物レンズ２０３と、集光した結像光を検出するための撮像素子２０９と、撮像素子２０９により光電変換されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部２１０と、を含む。ここで、撮像素子２０９はモノクロ単板撮像素子であり、例えばＣＣＤやＣＭＯＳセンサ等により構成される。
【００２８】
対物レンズ２０３は、１８０度以上の視野角を持つ魚眼レンズ等の光学系で構成されており、例えば大腸のヒダ裏にある病変部１０を観察できるようになっている。照明レンズ２０２、２０４は、対物レンズ２０３の視野角内の観察対象を均一に照明できるように対物レンズ２０３の光軸に対して外側を向いて配置されている。本実施形態では、数千本のファイバの束により構成されるライトガイドファイバ２０１を２つに分割したが、これに限定されない。例えば、ライトガイドファイバ２０１を、より多くの束に分割し、各束に対応する照明レンズを内視鏡スコープ先端に配置してもよい。このようにすれば、広視野角の領域をより均一に照明できるようになる。また、ＬＥＤや有機ＥＬ等の発光素子を内視鏡スコープ先端に多数配置して光源部１００を構成してもよい。
【００２９】
制御装置３００は、画像処理部３０１と、制御部３０２と、を含む。画像処理部３０１は、歪み補正処理や、ノイズ低減処理、その他の画像処理を行う。制御部３０２は、内視鏡装置の各部の制御を行う。
【００３０】
表示部４００は、ＣＲＴや液晶モニタ等の動画表示可能な表示装置により構成される。
【００３１】
外部Ｉ／Ｆ部５００は、この内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。例えば外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ等を含む。モード切替スイッチは、例えば図４（Ｂ）、（Ｃ）に示すように、全体視野の表示面積は変更せずに画像中央部と周辺部の表示倍率が異なる複数の射影変換モードの切換を手動で行うためのスイッチである。外部Ｉ／Ｆ部５００は、入力された情報を制御部３０２へ出力する。
【００３２】
２．２．歪み補正
次に図４（Ａ）〜図４（Ｃ）を用いて、撮像部２００で撮像された画像の表示形態について説明する。撮像部２００の対物レンズ２０３は魚眼レンズであり、１８０度以上の視野角を持っているものとする。
【００３３】
図４（Ａ）には、管腔状の被写体を模式的に示す。図４（Ａ）に示すように、円筒状の管腔３９０は等距離間隔の同心円により円環領域ｄ〜ｈに分割され、その管腔３９０に撮像部２００を挿入して魚眼レンズを使って撮像するものとする。図４（Ｂ）には、その魚眼レンズで撮像された画像の模式図を示す。図４（Ｂ）は、例えば等立体角射影方式や、正射影方式等により撮像された画像に対応する。
【００３４】
図４（Ｂ）に示すように、円筒状の管腔３９０と撮像部２００の先端距離が近い側面に位置する被写体ほど大きく歪むため、画像周辺部の同心円の間の距離は詰まった状態で撮像される。このような状態のまま実際の大腸に挿入すると、側方視野の円環領域ｄはごく薄い表示領域に押込まれてしまう。そのため、この領域内に病変が存在しても表示サイズが小さくなり、病変の確認が困難となる。特にヒダ裏を観察する場合には、撮像部２００の先端とヒダ裏との位置関係が、円環領域ｄにヒダ裏が写る位置関係となるときに、ヒダ裏を観察可能となる。そのため、この画像のままでは目的とする大腸ヒダ裏の病変を観察することが難しい。
【００３５】
そこで図４（Ｃ）に示すように、画像処理部３０１は、画像周辺部が拡大された状態で表示される射影変換（例えば極射影方式に変換する射影変換）を行う。これにより、側背面に位置する領域の拡大表示が可能となり、今まで見えていなかったヒダ裏病変の発見率を大幅に向上できる。
【００３６】
このような射影変換は、画像処理部３０１で行われるため、観察状態に応じて自由に切換えることも可能である。例えば、大腸を診察する場合、最初に盲腸までスコープを挿入し、抜去しながら病変の有無を詳細に観察する。挿入時は前方の視野確保が重要となるので、歪み補正を行わない射影変換３９１に設定する。抜去しながら病変を観察する時は、前方の視野よりも周辺の視野の方を注目して見たいので、射影変換３９２に設定する。このような切り換え操作は、例えばユーザが外部Ｉ／Ｆ部５００のモード切換スイッチ等で行えばよい。選択された射影変換の情報は制御部３０２に入力される。制御部３０２は、選択された射影変換に応じた歪み補正情報を、後述する歪み補正処理部３３０とノイズ低減処理部３２０へ出力する。歪み補正情報は、歪み補正前の座標情報と歪み補正後の座標情報の対応を表す情報である。
【００３７】
ここで、本実施形態における歪み補正情報は２つある。第１の歪み補正情報は、歪み補正前の画像の各画素の座標が、歪み補正後の画像の何処に位置するかを表す座標情報である。第２の歪み補正情報は、歪み補正後の画像の各画素の座標が、歪み補正前の画像の何処に位置するかを表す座標情報である。第１の歪み補正情報はノイズ低減処理部３２０で使用され、第２の歪み補正情報は歪み補正処理部３３０で使用される。
【００３８】
歪み補正情報が２つ必要なのは、歪み補正前の画素と歪み補正後の画素が１対１に対応しないためである。例えば、歪み補正前後の画像はそれぞれラスタスキャンである。この場合、歪み補正前のラスタスキャンの各画素座標を射影変換してもラスタスキャンとはならず、歪み補正後のラスタスキャンの各画素座標を逆射影変換してもラスタスキャンとはならない。そのため、第１の歪み補正情報を逆にしても第２の歪み補正情報にはならず、歪み補正情報が２つ必要となる。
【００３９】
具体的には、ノイズ低減処理部３２０では歪み補正前にノイズ低減処理を行うため、第１の歪み補正情報を用いて、歪み補正前の処理対象画素の位置とその周辺の複数画素の位置から歪み補正後における局所拡大率を算出する。そして、この局所拡大率を使ってノイズ低減の強弱を制御する。また、歪み補正処理部３３０では、第２の歪み補正情報を用いて、歪み補正後の処理対象画素の画素値を補間により求める。即ち、処理対象画素の位置（整数精度）に対応する歪み補正前の画素位置（小数点以下の精度を有する）に近接する複数画素から、処理対象画素の画素値を補間する処理（例えば公知の補間処理）を行う。例えばバイリニア補間であれば周辺４画素を用いて補間し、バイキュービック補間であれば周辺１６画素を用いて補間する。
【００４０】
なお上記では、ノイズ低減処理部３２０を歪み補正処理部３３０の前に配置したため、歪み補正情報は２つ必要となったが、本実施形態はこれに限定されない。例えば、歪み補正処理部３３０の後にノイズ低減処理部３２０を配置した場合、歪み補正情報は第２の歪み補正情報のみでよい。
【００４１】
また、射影変換として２種類以上の射影変換を用意してもよい。この場合、観察状態に応じた最適な射影変換を、ユーザが上述のモード切換スイッチにより選択する構成としてもよい。例えば、平坦部にある病変部を精査する場合、その病変部にスコープを正対させて近接して観察する。この場合、画像中央部を、図４（Ｂ）の射影変換よりも拡大表示できる射影変換を選択してもよい。この射影変換は、図４（Ｃ）とは別の射影変換である。これにより、精査時に病変部の視認性を向上できる。
【００４２】
２．３．画像処理部
次に、図１の画像処理部３０１について説明する。図５に画像処理部３０１の詳細な構成例を示す。画像処理部３０１は、ＯＢクランプ処理部３１０、ノイズ低減処理部３２０、歪み補正処理部３３０、ＷＢ処理部３４０、３板化処理部３５０、色補正処理部３６０、階調変換処理部３７０、強調処理部３８０を含む。
【００４３】
Ａ／Ｄ変換部２１０から出力された画像はＯＢクランプ処理部３１０に入力される。制御部３０２は、ＯＢクランプ処理部３１０、ノイズ低減処理部３２０、歪み補正処理部３３０、ＷＢ処理部３４０、３板化処理部３５０、色補正処理部３６０、階調変換処理部３７０、強調処理部３８０に接続されている。制御部３０２は、これらの各部に対して、制御部３０２に予め保存されている処理パラメータを出力する。
【００４４】
例えば、処理パラメータは、オプティカルブラック算出領域座標や、観察モードにより異なる観察モード別ノイズ低減ゲイン量、歪み補正情報、ホワイトバランス係数、撮像素子２０９による撮像時の色光（ＲかＧかＢ）の情報、色マトリックス係数、階調変換テーブル、強調パラメータ等である。観察モードは、例えば通常光観察モードや、特殊光観察モード等である。オプティカルブラック算出領域座標は、黒レベルを表すオフセット値を算出するための領域の座標である。
【００４５】
ＯＢクランプ処理部３１０は、制御部３０２から出力された処理パラメータに基づいてＡ／Ｄ変換部２１０より出力される画像から、黒レベルをオプティカルブラック算出領域座標に基づいて算出する。ＯＢクランプ処理部３１０は、画像の有効領域（以降有効領域画像と記す）に対して黒レベルを減算する処理を行う。黒レベルを補正した有効領域画像はノイズ低減処理部３２０に出力される。
【００４６】
ノイズ低減処理部３２０は、制御部３０２からの観察モード別ノイズ低減ゲイン量と位置依存の歪み補正情報に基づいて、有効領域画像に対するノイズ低減処理を行う。ノイズ低減処理部３２０は、観察状態に基づいてユーザが指定した射影変換に基づく歪み補正情報により、ノイズ低減量を制御する。具体的なノイズ低減処理については後述する。ノイズ低減処理された有効領域画像は歪み補正処理部３３０へ出力される。
【００４７】
歪み補正処理部３３０は、入力されたノイズ低減処理後の有効領域画像に対する歪み補正処理を、制御部３０２からの位置依存の歪み補正情報に基づいて行なう。この歪み補正処理により、入力時の有効領域画像とは異なる射影変換が施された有効領域画像が生成される。具体的には、図４（Ｂ）の射影変換から図４（Ｃ）の射影変換へ変換された有効領域画像が生成される。
【００４８】
歪み補正処理部３３０は、歪み補正後の画素位置に対応する歪み補正前の有効領域画像内の位置を、歪み補正情報に基づいて求める。そして歪み補正処理部３３０は、求めた位置の周辺画素の画素値に基づいて、その求めた位置における画素値を補間（例えばバイキュービック補間）により求め、求めた画素値を、歪み補正後の画素位置の画素値とする。
【００４９】
ＷＢ処理部３４０は、制御部３０２から入力されたホワイトバランス係数に基づいて、歪み補正後の有効領域画像に対してホワイトバランスの調整を行う。ＷＢ処理部３４０は、撮像素子２０９による撮像時の色光（ＲかＧかＢ）情報がＲ又はＢの場合に、そのＲ又はＢに対応するホワイトバランス係数を歪み補正後の有効領域画像に対して施す。ＷＢ処理部３４０は、処理後の画像を３板化処理部３５０へ出力する。
【００５０】
３板化処理部３５０は、図示しない３チャンネル分（Ｒ、Ｇ、Ｂ）のフレームメモリを有する。３板化処理部３５０は、制御部３０２からの色光情報に基づいて、入力される各チャンネルの有効領域画像を対応するフレームメモリに格納する。３板化処理部３５０は、フレームメモリに格納されている３チャンネルの有効領域画像（以降、カラー有効領域画像と記す）を色補正処理部３６０へ出力する。
【００５１】
色補正処理部３６０は、入力されるカラー有効領域画像を、制御部３０２からの色マトリックス係数に基づいて色変換し、所望の表示モニタの色空間に対応するカラー有効領域画像を生成する。色変換後のカラー有効領域画像は、階調変換処理部３７０へ出力される。
【００５２】
階調変換処理部３７０は、入力されたカラー有効領域画像を、制御部３０２からの階調変換テーブルに基づいて、表示モニタの階調特性に合せたカラー有効領域画像に変換する。変換されたカラー有効領域画像は、強調処理部３８０へ出力される。
【００５３】
強調処理部３８０は、入力された階調変換後のカラー有効領域画像を、制御部３０２からの強調パラメータに基づいて強調する処理を行う。強調処理されたカラー有効領域画像は、表示部４００へ出力される。
【００５４】
以上のような一連の処理により、撮像素子２０９で撮像された撮像画像が表示部４００に表示される。
【００５５】
２．４．ノイズ低減処理
次に本実施形態が行うノイズ低減処理について詳細に説明する。本実施形態では、広視野の確保とともに、その視野内の注目領域の表示面積をできるだけ大きく確保する。そして、それにより顕在化されるノイズ成分の増加を抑制する処理を行う。ここで、注目領域とは、使用者にとって観察の優先順位が他の領域よりも相対的に高い領域である。
【００５６】
図４（Ａ）〜図４（Ｃ）には、２つの射影変換３９１と３９２を示した。射影変換３９１は、魚眼レンズによる射影変換を表している。画像周辺部の画像歪が強いため、大腸のヒダ裏を観察するためには歪み補正を行う必要がある。歪み補正は、画像周辺部の画像歪を軽減した射影変換３９２となるように歪み補正処理部３３０により行われる。
【００５７】
図６（Ａ）〜図６（Ｃ）に、この歪み補正に伴って撮像時の中央部と周辺部とその中間部の空間周波数特性がどのように推移するかを模式的に示す。
【００５８】
画像中央部では、図４（Ｂ）の射影変換３９１から図４（Ｃ）の射影変換３９２への変換において縮小処理となる。図６（Ａ）には、その縮小補間を行うフィルタ特性を示す。このフィルタ特性は、画像中央部の歪み補正に伴う周波数特性である。一方、図６（Ｃ）に示すように、画像周辺部は拡大処理となるため、変換後の画像周辺部の周波数特性は低周波成分に押し込められた状態となる。図６（Ｂ）に示すように、中間部分では２つの周波数特性の中間の周波数特性となる。
【００５９】
このように、所定の射影変換を異なる射影変換に変化させると、その歪み補正に伴う周波数特性の違いが画像内に現れることになる。この周波数特性の違いは、被写体の解像度に影響を与えるだけでなく、ノイズ成分の特性にも影響を与える。即ち図２０に示すように、人間の視覚特性は、一般に低周波の方が高周波よりも感度が高い。そのため、図７のＡ３に示す画像周辺部において低周波側へ押込まれたノイズは、Ａ４に示す画像中央部において高周波側へ拡げられたノイズよりも明らかに多く視覚的に検知される。結果、射影変換３９２への変換は、画像周辺部の視認性を向上させる事が目的であったが、その副作用としてノイズも増えてしまい、注目している領域の視認性向上の改善効果が十分には得られない。
【００６０】
そこで本実施形態では、ノイズ低減処理部３２０が、ノイズ低減量を画像内の歪み補正情報に適応して変化させる制御を行うことで、視覚的にノイズ量を歪み補正後の画像内で均一化させる。
【００６１】
なお、図７ではＡ１に示すように、ノイズ成分がホワイトノイズである場合を例にしている。またＡ２に示すように、画像中央部において高周波側に拡がったノイズ成分の帯域は実際にはナイキスト周波数に制限される。
【００６２】
図８に、ノイズ低減処理部３２０の詳細な構成例を示す。ノイズ低減処理部３２０は、ローパス処理部７０１、７０６、７１１、ダウンサンプリング部７０２、７０７、減算処理部７０３、７０８、７１２、ノイズ量推定部７０４、７０９、７１３、７１５、平滑化処理部７０５、７１０、７１４、７１６、加算処理部７１７、７１９、７２１、アップサンプリング部７１８、７２０、処理パラメータ制御部７２２を含む。
【００６３】
ノイズ低減処理部３２０は、図９に示すように、空間周波数帯域（例えば０Ｈｚ〜ナイキスト周波数）を４つの空間周波数帯域ＦＢ１〜ＦＢ４に分割し、各周波数帯域に対して独立にノイズ低減量を制御する。
【００６４】
具体的には、ローパス処理部７０１と減算処理部７０３には、ＯＢクランプ処理部３１０から出力された有効領域画像が入力される。
【００６５】
ローパス処理部７０１は、入力された有効領域画像に対して、周波数帯域を半分に制限するローパスフィルタ処理を行う。ローパス処理部７０１は、処理後の画像を低周波画像Ｌ１として、減算処理部７０３とダウンサンプリング部７０２とノイズ量推定部７０４に出力する。
【００６６】
減算処理部７０３は、有効領域画像から低周波画像Ｌ１を減算して帯域ＦＢ１の周波数帯域画像Ｈ１を生成し、生成した画像Ｈ１を平滑化処理部７０５へ出力する。
【００６７】
ダウンサンプリング部７０２は、低周波画像Ｌ１を水平垂直それぞれ半分の画素数に間引いた低解像度画像Ｄ１を生成し、生成した画像Ｄ１をローパス処理部７０６と減算処理部７０８とノイズ量推定部７０９へ出力する。
【００６８】
ノイズ量推定部７０４には、低周波画像Ｌ１と、処理パラメータ制御部７２２から出力される帯域ＦＢ１におけるノイズ低減量と、が入力される。ノイズ量推定部７０４は、低周波画像Ｌ１とノイズ低減量に基づいて平滑化処理パラメータを算出する。具体的には、ＦＢ１におけるノイズ推定量をＬ１の各画素の階調値から推定する。そして、ノイズ推定量とノイズ低減量からＦＢ１における平滑化処理パラメータを算出する。平滑化処理パラメータは、処理パラメータ制御部７２２から出力されるノイズ低減量をノイズ推定量に乗算した量として定義される。ノイズ量推定部７０４は、算出した平滑化処理パラメータを平滑化処理部７０５へ出力する。なお、ノイズ低減量の詳細については後述する。
【００６９】
ノイズ推定量の算出は、予め決定されるノイズモデルと、低周波画像Ｌ１の各画素の階調値により一意に決定される。具体的には、図１０（Ａ）にノイズモデルの例を示す。図１０（Ａ）は、４つの周波数帯域ＦＢ１〜ＦＢ４において、階調値とノイズ推定量の関係を表している。このノイズモデルは、撮像素子２０９の固有特性であるため、予め測定することで求めることができる。
【００７０】
平滑化処理部７０５には、平滑化パラメータと周波数帯域画像Ｈ１が入力される。平滑化処理部７０５は、周波数帯域画像Ｈ１を平滑化処理してノイズを削減し、処理後の画像Ｈ１’を加算処理部７２１へ出力する。
【００７１】
具体的には、平滑化処理部７０５は、下式（１）に示すバイラテラルフィルタにより平滑化処理を行う。Ｆ（ｘ，ｙ）は、座標（ｘ，ｙ）におけるフィルタ係数である。またσｓは、平滑化処理パラメータであり、注目画素と周辺画素との画素値の差分に基づく重み係数を決定する画素値差である。σｓの値が大きくなるほど平滑化効果が増し、σｓの値が小さくなるほど平滑化効果が低減する。
【数１】
2012205619.tif 000003
【００７２】
ここで、ｘは周波数帯域画像の水平座標であり、ｙは周波数帯域画像の垂直座標である。Ａ（ｘ，ｙ）は、フィルタの正規化係数である。Ｐ（ｘ０，ｙ０）は、フィルタ処理される注目画素（ｘ０，ｙ０）の画素値である。Ｐ（ｘ，ｙ）は、注目画素の周辺画素（ｘ，ｙ）の画素値である。
【００７３】
なお、ローパス処理部７０６、７１１、ダウンサンプリング部７０７、減算処理部７０８、７１２、ノイズ量推定部７０９、７１３、７１５、平滑化処理部７１０、７１４、７１６は、基本的に上記と同一の処理を行なう。
【００７４】
具体的には、ローパス処理部７０６は、低周波画像Ｌ１の帯域を半分に制限し、低周波画像Ｌ２を生成する。減算処理部７０８は、Ｌ１からＬ２を減算し、帯域ＦＢ２の周波数帯域画像Ｈ２を生成する。ノイズ量推定部７０９は、Ｌ２と、ＦＢ２におけるノイズ低減量に基づいて、ＦＢ２における平滑化処理パラメータを算出する。平滑化処理部７１０は、Ｈ２に対して平滑化処理を行い、ノイズ低減された周波数帯域画像Ｈ２’を生成する。ダウンサンプリング部７０７は、低周波画像Ｌ２を間引き、低解像度画像Ｄ２を生成する。
【００７５】
ローパス処理部７１１は、低周波画像Ｌ２の帯域を半分に制限し、低周波画像Ｌ３を生成する。Ｌ３は、帯域ＦＢ４の周波数帯域画像Ｈ４として用いられる。減算処理部７１２は、Ｌ２からＬ３を減算し、帯域ＦＢ３の周波数帯域画像Ｈ３を生成する。ノイズ量推定部７１３は、Ｌ３と、ＦＢ３におけるノイズ低減量に基づいて、ＦＢ３における平滑化処理パラメータを算出する。平滑化処理部７１４は、Ｈ３に対して平滑化処理を行い、ノイズ低減された周波数帯域画像Ｈ３’を生成する。
【００７６】
ノイズ量推定部７１５は、Ｌ３と、ＦＢ４におけるノイズ低減量に基づいて、ＦＢ４における平滑化処理パラメータを算出する。平滑化処理部７１６は、Ｈ４（Ｌ３）に対して平滑化処理を行い、ノイズ低減された周波数帯域画像Ｈ４’を生成する。
【００７７】
加算処理部７１７は、ノイズ低減された帯域ＦＢ３の周波数帯域画像Ｈ３’と、ノイズ低減された帯域ＦＢ４の周波数帯域画像Ｈ４’を加算し、加算された帯域ＦＢ３＋ＦＢ４の周波数帯域画像Ｈ３’＋Ｈ４’をアップサンプリング部７１８に出力する。アップサンプリング部７１８は、Ｈ３’＋Ｈ４’の水平垂直それぞれの画素数を２倍に拡大する処理を行い、処理後の画像Ｕ（Ｈ３’＋Ｌ３’）を加算処理部７１９へ出力する。ここで、Ｕ（）は、２倍にアップサンプリングされたことを表す。
【００７８】
加算処理部７１９は、ノイズ低減された帯域ＦＢ２の周波数帯域画像Ｈ２’と、アップサンプリングされた画像Ｕ（Ｈ３’＋Ｌ３’）を加算し、加算された帯域ＦＢ２＋ＦＢ３＋ＦＢ４の周波数帯域画像Ｈ２’＋Ｕ（Ｈ３’＋Ｌ３’）をアップサンプリング部７２０へ出力する。アップサンプリング部７２０は、Ｈ２’＋Ｕ（Ｈ３’＋Ｌ３’）の水平垂直それぞれの画素数を２倍に拡大する処理を行い、処理後の画像Ｕ（Ｈ２’＋Ｕ（Ｈ３’＋Ｌ３’））を加算処理部７２１へ出力する。
【００７９】
加算処理部７２１は、ノイズ低減された帯域ＦＢ１の周波数帯域画像Ｈ１’と、アップサンプリングされた画像Ｕ（Ｈ２’＋Ｕ（Ｈ３’＋Ｌ３’））を加算し、加算された帯域ＦＢ１＋ＦＢ２＋ＦＢ３＋ＦＢ４の周波数帯域画像Ｈ１’＋Ｕ（Ｈ２’＋Ｕ（Ｈ３’＋Ｌ３’））を歪み補正処理部３３０へ出力する。このようにして、帯域ＦＢ１＋ＦＢ２＋ＦＢ３＋ＦＢ４の全周波数画像が生成される。
【００８０】
２．５．処理パラメータ制御部
次に、処理パラメータ制御部７２２について説明する。処理パラメータ制御部７２２は、ノイズ量推定部７０４、７０９、７１３、７１５に接続される。処理パラメータ制御部７２２は、制御部３０２から出力される歪み補正情報と観察モード別ノイズ低減ゲイン量に基づいてノイズ低減量を決定する。処理パラメータ制御部７２２は、具体的には、各画素位置における局所拡大率を歪み補正情報に基づいて算出し、算出した局所拡大率に基づいてノイズ低減量を算出する。
【００８１】
より具体的には、ノイズ低減処理される画素である注目画素（処理対象画素）の歪み補正情報と、注目画素の周辺画素の歪み補正情報に基づいて、局所拡大率ΔＭ（ｘ，ｙ）を算出する。局所拡大率ΔＭ（ｘ，ｙ）は、注目画素とその周辺領域がどれだけ拡大するかを表す。ここで、歪み補正情報は、歪み補正前の画素の座標に対する歪み補正後の座標を関連付けた情報である。
【００８２】
局所拡大率ΔＭ（ｘ，ｙ）は、下式（２）により算出される。ここで、注目画素の歪み補正情報をＤｒ（ｘ，ｙ）＝ｑ（ｘ’，ｙ’）とする。周辺画素の歪み補正情報をＤｒ（ｘ−１，ｙ）＝ｑ（ｘ’−Δｘｘ１’，ｙ’−Δｙｘ１’）、Ｄｒ（ｘ，ｙ−１）＝ｑ（ｘ’−Δｘｙ１’，ｙ’−Δｙｙ１’）とする。ｑ（ｘ’，ｙ’）は、歪み補正処理後の画像内の位置ベクトルを表す。ｘ’は歪み補正処理後の画像の水平座標を表し、ｙ’は歪み補正処理後の画像の垂直座標を表す。Ｎｏｒｍ（ｑ）はベクトルｑの距離を表す。
【数２】
2012205619.tif 000004
【００８３】
上式（２）のΔＭ（ｘ，ｙ）は、歪み補正前の単位面積に対する歪み補正後の面積（おおよその面積）を表す。ΔＭ（ｘ，ｙ）が１より大きい場合には、歪み補正前よりも歪み補正後の方が拡大されていることを示す。ΔＭ（ｘ，ｙ）が１より小さい場合には、歪み補正前よりも歪み補正後の方が縮小されていることを示す。ΔＭ（ｘ，ｙ）が１に等しい場合には、歪み補正処理前後で面積が等しいことを示す。
【００８４】
図１０（Ｂ）に示すように、局所拡大率とノイズ低減量との関係は、４つの周波数帯域ＦＢ１〜ＦＢ４に対して独立に決定されるようになっている。
【００８５】
図１１に示すように、局所拡大率をＸとすると、信号の周波数帯域ｆｍが周波数帯域ｆｍ／Ｘに圧縮される。即ち、局所拡大率が増大するほど高周波ノイズがより低周波側へシフトするため、局所拡大率が増大するほど高周波ノイズをより強く低減することで、拡大後でもノイズが視覚的に目立つことを抑止できる。
【００８６】
局所拡大率に対するノイズ低減量に帯域ＦＢ１〜ＦＢ４で違いを与えたのは、空間周波数に対する視覚特性がバンドパス的な特性を示すことに起因している。即ち、局所拡大率により視覚的に最も敏感な周波数へシフトする周波数帯域が異なるためである。具体的には図１１に示すように、帯域ＦＢ１〜ＦＢ４は、拡大により帯域ＦＢ１’〜ＦＢ４’にシフトする。視覚特性においてノイズに敏感な周波数をｆｔとすると、帯域ＦＢ１’〜ＦＢ４’のうち周波数ｆｔを含む帯域は、局所拡大率Ｘに応じて変化することが分かる。例えば帯域ＦＢ２’が周波数ｆｔを含む場合には、歪み補正前の帯域ＦＢ２に対して他の帯域よりも強くノイズ低減処理を行うことで、ノイズに敏感な周波数ｆｔのノイズ成分を低減できる。
【００８７】
図１２に、処理パラメータ制御部７２２の詳細な構成例を示す。処理パラメータ制御部７２２は、局所拡大率算出部７５１、第１〜第４のノイズ低減量算出部７５２〜７５５、第１〜第４の乗算部７５６〜７５９を含む。
【００８８】
局所拡大率算出部７５１には、制御部３０２から出力された注目画素と、その周辺画素の歪み補正情報が入力される。局所拡大率算出部７５１は、上式（２）で説明した局所拡大率ΔＭ（ｘ，ｙ）を算出し、算出した局所拡大率ΔＭ（ｘ，ｙ）をノイズ低減量算出部７５２〜７５５に出力する。
【００８９】
ノイズ低減量算出部７５２〜７５５は、それぞれ周波数帯域ＦＢ１〜ＦＢ４のノイズ成分を低減する低減量の算出処理を行う。ノイズ低減量算出部７５２には、図１０（Ｂ）に示す帯域ＦＢ１のノイズ低減量に対応するＬＵＴ（Look-Up Table）が予め記憶されている。ＬＵＴの入力は局所拡大率であり、出力はノイズ低減量である。ノイズ低減量算出部７５２は、入力される局所拡大率に対応する帯域ＦＢ１のノイズ低減量を乗算部７５６へ出力する。
【００９０】
乗算部７５６には、制御部３０２からの観察モード別ノイズ低減ゲイン量が入力される。乗算部７５６は、観察モード別ノイズ低減ゲイン量と帯域ＦＢ１のノイズ低減量を乗算して帯域ＦＢ１の最終的なノイズ低減量を算出し、算出したノイズ低減量をノイズ量推定部７０４へ出力する。例えば、観察モード別ノイズ低減ゲイン量は、通常光観察モード時では１．０であり、特殊光観察モード時では１．０より大きな値である。通常光は例えば白色光である。特殊光は通常光とは異なる分光特性の光であり、例えば白色光の帯域よりも狭い帯域の光である。
【００９１】
ノイズ低減量算出部７５３には、図１０（Ｂ）に示す帯域ＦＢ２のノイズ低減量に対応するＬＵＴが予め記憶されている。ノイズ低減量算出部７５３は、入力される局所拡大率に対応する帯域ＦＢ２のノイズ低減量を乗算部７５７へ出力する。乗算部７５７には、制御部３０２からの観察モード別ノイズ低減ゲイン量が入力される。乗算部７５７は、観察モード別ノイズ低減ゲイン量と帯域ＦＢ２のノイズ低減量を乗算して帯域ＦＢ２の最終的なノイズ低減量を算出し、算出したノイズ低減量をノイズ量推定部７０９へ出力する。
【００９２】
ノイズ低減量算出部７５４には、図１０（Ｂ）に示す帯域ＦＢ３のノイズ低減量に対応するＬＵＴが予め記憶されている。ノイズ低減量算出部７５４は、入力される局所拡大率に対応する帯域ＦＢ３のノイズ低減量を乗算部７５８へ出力する。乗算部７５８には、制御部３０２からの観察モード別ノイズ低減ゲイン量が入力される。乗算部７５８は、観察モード別ノイズ低減ゲイン量と帯域ＦＢ３のノイズ低減量を乗算して帯域ＦＢ３の最終的なノイズ低減量を算出し、算出したノイズ低減量をノイズ量推定部７１３へ出力する。
【００９３】
ノイズ低減量算出部７５５には、図１０（Ｂ）に示す帯域ＦＢ４のノイズ低減量に対応するＬＵＴが予め記憶されている。ノイズ低減量算出部７５５は、入力される局所拡大率に対応する帯域ＦＢ４のノイズ低減量を乗算部７５９へ出力する。乗算部７５９には、制御部３０２からの観察モード別ノイズ低減ゲイン量が入力される。乗算部７５９は、観察モード別ノイズ低減ゲイン量と帯域ＦＢ４のノイズ低減量を乗算して帯域ＦＢ４の最終的なノイズ低減量を算出し、算出したノイズ低減量をノイズ量推定部７１５へ出力する。
【００９４】
なお、ノイズ低減処理部３２０の構成は上記の構成に限定されず、種々の変形実施が可能である。例えば、上記ではノイズ低減処理部３２０を歪み補正処理部３３０の前段に置いた構成としたが、これに限定されず、ノイズ低減処理部３２０を歪み補正処理部３３０の後段に置いてもよい。この場合、拡大された画像周辺部のノイズの周波数特性が低周波側にシフトされた後の処理となるため、４つの周波数帯域のノイズ低減量は局所拡大率により低周波側の帯域を大きく低減するように制御する必要がある。
【００９５】
ここで、上記では拡大率に応じてノイズ低減量を設定したが、本実施形態ではこれに限定されず、例えば画像の周波数帯域に応じてノイズ低減量を設定してもよい。この場合、例えばノイズ低減処理部３２０を歪み補正処理部３３０の後段とし、歪み補正後の画像の局所領域における周波数帯域を算出する。図２１に示すように、局所領域は例えば光軸を中心とする円環領域（光軸から距離Ｒで幅ΔＲの円環領域）であり、円周に沿った周波数特性の帯域を算出する。そして、その周波数帯域が狭いほど強く、その局所領域における所定帯域のノイズ成分を低減する。例えば、円周に沿った周波数特性の最大周波数を求め、その最大周波数から円環における局所拡大率を判定し、その局所拡大率に応じて低減度合いを設定する。所定帯域は、例えば図１１のｆｔを含む帯域である。局所拡大率が大きいほど周波数帯域が狭くなって低域のノイズが増大するため、周波数帯域に応じてノイズ低減量を設定することでノイズの均一化を実現できる。
【００９６】
以上によれば、本実施形態の画像処理装置は、画像取得部と、補正処理部と、変換態様取得部と、ノイズ低減処理部を含む。画像取得部は、光学系の光学収差により歪みが生じた歪み画像を取得する。補正処理部は、その歪みを補正するための変換処理を、歪み画像の中の処理対象領域に対して行い、歪み画像を補正する。変換態様情報取得部は、変換処理による処理対象領域の変換態様を表す変換態様情報を取得する。ノイズ低減処理部は、取得された変換態様情報に基づいて、歪み画像に含まれるノイズ成分を低減する処理を行う。
【００９７】
このようにすれば、局所拡大率等の変換態様情報に応じてノイズ成分が変化する場合に、変換態様情報に基づいてノイズ低減処理を行うことで、視覚的に高感度な帯域のノイズ成分を画像内で均一化できる。これにより、視認性が向上するので今まで見逃されていたヒダ裏の病変部の見落とし率低減が可能になる。
【００９８】
ここで本実施形態では、画像処理装置は図１の画像処理部３０１に対応する。画像取得部は図１のＡ／Ｄ変換部２１０に対応する。補正処理部は歪み補正処理部３３０に対応する。変換態様取得部は図１２の局所拡大率算出部７５１に対応する。ノイズ低減処理部は図５のノイズ低減処理部３２０に対応する。光学系は図１の対物レンズ２０３に対応する。
【００９９】
歪みとは、理想的な光学系の像からのずれである。例えば点Ｐの結像を点Ｐ’とし、光軸から点Ｐまでの距離をＤとし、光軸から点Ｐ’までの距離をＤ’とする。歪みのない像ではＤ’／ＤがＤに依らず一定であり、歪みのある像ではＤ’／ＤがＤに応じて変化する。
【０１００】
変換処理とは、例えば画素の座標を所定関数に従って変換する処理である。即ち、歪みの補正は、歪み画像を歪みのない画像に補正する場合に限らない。例えば、本実施形態のように画像上の位置に応じた倍率で拡大縮小を行う変換であってもよい。
【０１０１】
処理対象領域は、複数の画素から構成される領域であってもよいし、一つの画素から構成される領域であってもよい。例えば本実施形態では、１画素の注目画素を処理対象領域として歪み補正処理を行う。
【０１０２】
変換態様情報とは、変換処理における処理対象領域の面積の変換倍率を表す情報である。即ち、変換前後において領域が拡大したことを表す情報や、変換前後において領域が縮小したことを表す情報や、変換前後において領域が変わらなかったことを表す情報である。例えば、変換態様情報は変換倍率そのものであってもよいし、変換前の画素座標と変換後の画素座標の対応情報であってもよいし、処理対象領域についての周波数特性の情報であってもよい。
【０１０３】
また本実施形態では、ノイズ低減処理部は、ノイズ成分を低減する度合いであるノイズ低減度合いを変換態様情報に基づいて決定し、決定したノイズ低減度合いに基づいてノイズ低減処理を行う。
【０１０４】
例えば本実施形態では、ノイズ低減量をノイズ低減度合いとして低減処理を行う。図１０（Ｂ）に示すように、ノイズ低減量は、変換態様情報である局所拡大率に応じて決定され、ノイズ低減量に基づいて平滑化処理パラメータσｓが設定される。平滑化処理は、ノイズ低減量が大きいほど、推定されたノイズ量をより大きく減少させるように働く。
【０１０５】
このようにすれば、変換態様情報に応じて変化するノイズ成分を変換態様情報に応じた度合いで低減でき、ノイズ成分の均一化を図ることが可能になる。
【０１０６】
また本実施形態では、上式（２）等で上述のように、変換態様情報は、変換処理前の処理対象領域の大きさ（面積）と、変換処理後の処理対象領域の大きさ（面積）との比較結果に関する情報（局所拡大率ΔＭ（ｘ，ｙ））である。ノイズ低減処理部は、ノイズ低減度合いを、変換処理前の処理対象領域の大きさと変換処理後の処理対象領域の大きさとの比較結果（局所拡大率ΔＭ（ｘ，ｙ））に応じて制御する。
【０１０７】
より具体的には、ノイズ低減処理部は、変換処理後の処理対象領域が変換処理前の処理対象領域よりも大きいという第１の条件に該当する場合には、ノイズ低減度合いを、第１の条件以外の条件に該当する場合よりも相対的に大きくする。一方、ノイズ低減処理部は、変換処理後の処理対象領域が変換処理前の処理対象領域よりも小さいという第２の条件に該当する場合には、ノイズ低減度合いを、第２の条件以外の条件に該当する場合よりも相対的に小さくする。
【０１０８】
このようにすれば、処理対象領域の大きさの変化に応じて増減する低周波ノイズを、処理対象領域の大きさの変化に応じた度合いで低減できる。例えば図４（Ｃ）に示すように画像周辺部において第１の条件に該当する拡大処理であり、画像中央部において第２の条件に該当する縮小処理である場合、視覚的にノイズが増大する画像周辺部のノイズ低減度合いを画像中央部よりも大きくできる。
【０１０９】
ここで、処理対象領域の大きさは面積に限定されず、例えば処理対象領域の辺の長さや所定方向における長さ等であってもよい。また比較結果は局所拡大率ΔＭ（ｘ，ｙ）に限定されず、例えば変換処理前の大きさと変換処理後の大きさの比や、変換処理前の大きさと変換処理後の大きさの大小関係等であってもよい。
【０１１０】
また本実施形態では、画像取得部は、処理対象領域における歪みの歪み度合いが、歪み画像における処理対象領域の位置に応じて異なる画像を取得する。補正処理部は、処理対象領域における歪み度合いに応じて、処理対象領域の大きさを変換する処理を行う。ノイズ低減処理部は、処理対象領域の大きさの変換結果に応じて、ノイズ成分を低減する度合いであるノイズ低減度合いを制御する。
【０１１１】
より具体的には、図４（Ｂ）で上述のように、画像取得部は、歪み画像の中央領域における歪み度合いが、周辺領域における歪み度合いよりも相対的に小さい画像を取得する。図４（Ｃ）で上述のように、補正処理部は、中央領域内の処理対象領域の大きさを、変換処理前の大きさよりも縮小する処理を行う。図１０（Ｂ）で上述のように、ノイズ低減処理部は、中央領域におけるノイズ低減度合いを、周辺領域におけるノイズ低減度合いよりも相対的に小さくする。
【０１１２】
また図４（Ｃ）で上述のように、補正処理部は、周辺領域内の処理対象領域の大きさを、変換処理前の大きさよりも拡大する処理を行う。図１０（Ｂ）で上述のように、ノイズ低減処理部は、周辺領域におけるノイズ低減度合いを、中央領域におけるノイズ低減度合いよりも相対的に大きくする。
【０１１３】
このようにすれば、歪み度合いに応じて処理対象領域の大きさを変換し、その変換結果に応じた度合いでノイズ低減できる。これにより、歪みの大きい領域ほど拡大率を大きくできるため、歪みによりつぶれた被写体の視認性を向上できる。また、拡大した領域のノイズによる視認性劣化を抑止できる。
【０１１４】
ここで、歪み度合いとは、理想的な光学系の像からのずれの度合いである。例えば、上述の距離Ｄ、Ｄ’を例にすると、歪みのある場合のＤ’／Ｄと歪みのない場合のＤ’／Ｄのずれ（例えば差や比等）が歪み度合いである。この歪み度合いはＤに依存している。周辺部ほど歪む光学系では、Ｄが大きいほど歪み度合いが大きい。
【０１１５】
中央領域（中央部）とは、光軸を含む画像領域であり、例えば光軸を中心とする円内の領域である。周辺領域（周辺部）とは、中央領域を囲む領域であり、例えば光軸を中心とする円環領域である。周辺領域と中央領域の間に他の領域があってもよいし、周辺領域と中央領域が接していてもよい。
【０１１６】
また本実施形態では、ノイズ低減処理部は、周波数帯域分割部と平滑化処理部を有する。図９に示すように、周波数帯域分割部は、歪み画像を、周波数帯域が異なる第１〜第ｎの周波数帯域画像（ＦＢ１〜ＦＢ４）に分割する。平滑化処理部は、分割された各周波数帯域画像に対して異なる平滑化処理を行う。
【０１１７】
具体的には、図１０（Ｂ）で上述のように、平滑化処理部は、ＦＢ１〜ＦＢ４のうちの第ｉ（ｉはｎ以下の自然数）の周波数帯域画像（例えばＦＢ２）に含まれるノイズ成分を低減する度合いを、比較結果に関する情報に基づいて制御する。上式（１）で上述のように、平滑化処理部は、制御されたノイズ低減度合いに基づいて、第ｉの周波数帯域画像（ＦＢ２）に対する平滑化処理を行う。
【０１１８】
より具体的には、上式（２）で上述のように、比較結果に関する情報は、変換処理前の処理対象領域の面積に対する変換処理後の処理対象領域の面積の倍率ΔＭ（ｘ，ｙ）である。図１０（Ｂ）に示すように、倍率ΔＭ（ｘ，ｙ）は第１〜第ｎの倍率範囲（Ｒ１〜Ｒ４）に分割される。Ｒ１〜Ｒ４は第１から第ｎに向かって順次低倍率の倍率範囲である。図９に示すように、ＦＢ１〜ＦＢ４は第１から第ｎに向かって順次低周波数の帯域画像である。この場合に、平滑化処理部は、倍率ΔＭ（ｘ，ｙ）がＲ１〜Ｒ４のうちの第ｉの倍率範囲（例えばＲ２）に含まれる場合、第ｉの周波数帯域画像（ＦＢ２）のノイズ低減度合いを、他の周波数帯域画像（ＦＢ１、ＦＢ３、ＦＢ４）のノイズ低減度合い以上にする。
【０１１９】
このようにすれば、図１１で上述のように、ノイズを低減させたい周波数ｆｔ近傍のノイズ成分を低減することが可能になる。また周波数ｆｔ近傍以外の帯域では平滑化を弱めることができるため、構造の周波数特性を残すことができる。また、ノイズ低減度合いを大きくする周波数帯域を倍率ΔＭ（ｘ，ｙ）が大きいほど高くすることで、歪み補正後に周波数ｆｔ近傍にくる周波数帯域のノイズ成分を歪み補正前に低減できる。
【０１２０】
ここで本実施形態では、周波数帯域分割部は、図８のローパス処理部７０１、７０６、７１１、ダウンサンプリング部７０２、７０７、減算処理部７０３、７０８、７１２に対応する。平滑化処理部は、図８の処理パラメータ制御部７２２、ノイズ量推定部７０４、７０９、７１２、７１５、平滑化処理部７０５、７１０、７１４、７１６に対応する。
【０１２１】
また本実施形態では、光学収差は、歪曲収差である。
【０１２２】
歪曲収差とは、直線の像が直線にならず、歪曲した曲線となる収差である。一般的には、広角の対物光学系で生じ、光軸から遠いほど歪曲収差が大きくなる。
【０１２３】
また本実施形態では、図１に示すように、光学系は、前方の視野範囲及び側方の視野範囲を撮像する対物レンズ２０３を有する。
【０１２４】
前方の視野範囲とは、光軸方向を含む視野範囲であり、例えば光軸に対して０度〜４５度の範囲である。側方の視野範囲とは、光軸に直交する方向を含む視野範囲であり、例えば光軸に対して４５度〜１３５度の範囲である。本実施形態の対物レンズ２０３は、例えば光軸に対して０度〜１１０度の視野範囲を有する。
【０１２５】
また本実施形態では、図４（Ａ）に示すように、画像取得部は、対物レンズ２０３を介して管状被写体内を撮像した画像を取得する。
【０１２６】
また本実施形態では、変換処理は、射影変換処理である。
【０１２７】
射影とは、光学系による被写体から像への変換を表す。例えば上述のように点Ｐの像が点Ｐ’である場合に、光軸と点Ｐ’の距離Ｄ’を光軸と点Ｐの成す角度θで表した関数である。射影変換処理とは、射影を他の射影に変換する画像処理である。なお本実施形態では、光学系による被写体から像への変換も適宜射影変換と呼んでいる。
【０１２８】
また本実施形態の制御装置３００は、画像処理装置と、制御部３０２を含む。制御部３０２は、歪み画像を撮像する内視鏡装置の観察状態を検出し、検出された観察状態に基づいて、補正処理部による変換処理を制御する。具体的には、制御部３０２は、観察状態が、歪み画像の周辺領域を拡大観察する状態である場合に、周辺領域を拡大する変換処理を行うように補正処理部を制御する。また制御部３０２は、ユーザから内視鏡装置の観察状態に関する情報の入力を受け付ける受付部（図示しない受付部）を有する。制御部３０２は、受け付けた情報に基づいて、内視鏡装置の観察状態を検出する。
【０１２９】
このようにすれば、観察状態に応じた歪み補正処理を行うことができる。例えば、大腸に挿入する際には補正せず、引き抜きながら診察する際には補正してもよい。あるいは、病変部に正対する拡大観察では補正せず、管腔に沿った方向に観察する通常観察では補正してもよい。あるいは、ヒダ裏の病変部を拡大観察する場合、スコープを正対させられないためスコープ側方をヒダ裏に近づける。この場合、通常の歪み補正よりもさらに周辺部を拡大する補正を行ってもよい。
【０１３０】
なお、本実施形態では、ユーザ指示による観察状態の検出に限定されず、例えば大腸への挿入長が減少に転じたことを検出して観察状態を自動的に検出してもよい。
【０１３１】
また本実施形態の制御装置３００は、補正処理部により補正された画像を表示部４００に表示する制御を行う表示制御部（図示しない表示制御部）を含む。
【０１３２】
３．第２の実施形態
３．１．内視鏡装置
次に、第２の実施形態について説明する。第１の実施形態では、面順次方式の撮像を行い、第２の実施形態では、ベイヤ配列の撮像素子により撮像を行う。また第１の実施形態では、４つの周波数帯域に分割してノイズ低減処理を行うが、第２の実施形態では、時間方向のノイズ低減処理と空間方向のノイズ低減処理を行い、これらの処理結果を局所拡大率に応じて合成する。
【０１３３】
図１３に、内視鏡装置の第２の構成例を示す。内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお第１の実施形態と同一の構成要素については適宜説明を省略し、以下では第１の実施形態と異なる詳細構成を主に説明する。
【０１３４】
光源部１００は、白色光源１０１と、ライトガイドファイバ２０１の入射端面に集光させる集光レンズ１０４と、を含む。この光源部１００には回転色フィルタは存在しない。
【０１３５】
撮像部２００は、ライトガイドファイバ２０１と、照明レンズ２０２、２０４と、撮像素子２０９と、Ａ／Ｄ変換部２１０を含む。第１の実施例とは撮像素子２０９が異なり、撮像素子２０９は原色単板撮像素子により構成される。原色単板撮像素子は、所謂ベイヤ配列の撮像素子であり、ＣＣＤやＣＭＯＳを利用できる。
【０１３６】
制御装置３００は、画像処理部３０１、制御部３０２を含む。画像処理部３０１は、第１の実施形態と同様の構成であり、ＯＢクランプ処理部３１０、ノイズ低減処理部３２０、歪み補正処理部３３０、ＷＢ処理部３４０、３板化処理部３５０、色補正処理部３６０、階調変換処理部３７０、強調処理部３８０を含む。ノイズ低減処理部３２０、歪み補正処理部３３０、ＷＢ処理部３４０、３板化処理部３５０の処理が第１の実施形態とは異なる。
【０１３７】
第１の実施形態では、歪み補正処理部３３０には、有効領域画像の画素全てに３つの色光に対応した画素値が存在する画像（Ｒ画像、Ｇ画像、Ｂ画像）が入力される。第２の実施形態では、歪み補正処理部３３０には、図１６（Ａ）に示すベイヤ配列の画像が入力される。そのため、Ｒ画素のみ（又はＧ画素のみ、Ｂ画素のみ）からなる同一色の画像は、サンプリング間隔が粗い画像となる。この場合、歪み補正処理で使用する補間フィルタのカーネルサイズは第１の実施形態よりも大きくなるが、基本的な歪み補正処理は変わらないので説明を省略する。
【０１３８】
ＷＢ処理部３４０についても、基本的にＲ画素とＢ画素に対するホワイトバランス係数の乗算のみであるので説明は省略する。
【０１３９】
３板化処理部３５０は、ベイヤ配列から欠落している色信号を補間処理で生成することで３板化を行う。例えば、公知のデモザイキング処理により補間処理を行う。
【０１４０】
３．２．ノイズ低減処理部
次に、第２の実施形態におけるノイズ低減処理について詳細に説明する。図１４にノイズ低減処理部３２０の詳細な構成例を示す。ノイズ低減処理部３２０は、処理パラメータ制御部９０１、非線形フィルタ処理部９０２、９０３、重み加算処理部９０４、フレームメモリ９０５を含む。
【０１４１】
制御部３０２は、処理パラメータ制御部９０１に接続されている。処理パラメータ制御部９０１は、ノイズ低減処理する注目画素とその周辺画素領域における歪み補正後の局所拡大率を、制御部３０２から出力される歪み補正情報に基づいて算出する。この注目画素の局所拡大率は、第１の実施形態で上述の手法と同様に算出される。
【０１４２】
図１５に示すように、処理パラメータ制御部９０１は、フレーム内平滑化画素値とフレーム間平滑化画素値との合成比率を局所拡大率に基づいて設定し、決定した合成比率を重み加算処理部９０４へ出力する。図１５に示す局所拡大率と合成比率の関係について説明する。
【０１４３】
図１５に示すように、歪み補正に伴う局所拡大率が増大するとフレーム内平滑化画素値の合成比率αを下げ、フレーム間平滑化画素値の合成比率βを上げる。特に動きが小さな領域で解像度を維持しつつノイズ低減効果を得るには、フレーム内相関を用いたノイズ低減処理よりも、フレーム間相関を用いたノイズ低減処理の比率を上げる方がよい。
【０１４４】
その理由を詳細に説明する。ランダムノイズは時間方向と空間方向で独立に変動するが、歪補正に伴う空間的な拡大処理はランダムノイズの空間的な特性をより低周波側へシフトさせる（低周波ノイズとなる）。一方、ランダムノイズの時間的な周波数変化は発生しない。
【０１４５】
ノイズ低減処理は基本的にローパスフィルタ処理となるが、歪補正による拡大処理前後で被写体の空間的なボケ量を一定に保持するには、ローパスフィルタの周波数特性を固定とするのが良い。しかし空間方向のローパスフィルタ特性を固定にすると、歪補正による拡大処理後ではランダムノイズが空間的に低周波側へシフトするため、ローパスフィルタ処理でカットされずに残ったノイズが、より視覚感度特性の高い低周波ノイズとして顕在化する。そのため相対的にノイズ低減効果が低下したように知覚される。この低下分を時間方向のノイズ変動を抑圧するフレーム間相関を利用したノイズ低減処理で増強する。
【０１４６】
フレーム間相関を利用したノイズ低減処理は時間方向に対するローパスフィルタ処理となり、被写体に動きが無い場合には空間的なボケの発生を抑えつつランダムノイズをカットする事ができる。（この場合、上式（４）のσｓ２を上式（３）のσｓ１より小さく設定する必要がある）
【０１４７】
逆に動きが大きな領域では時間方向に高周波成分が発生することになるので、時間方向に対するローパスフィルタ処理を強めると、動きブレによる空間的なボケが発生する。また、ローパスフィルタ処理がＩＩＲ（infinite impulse response）型となるため、残像が多く発生してしまう。
【０１４８】
つまり、動きが小さな領域に対してはより積極的にフレーム間相関を利用したノイズ低減処理を適用できることになる。また、歪補正による拡大処理を行う前の画像周辺領域は画像中央領域に比べて縮小領域となるので、見かけ上の動きは小さい領域となる。したがって、画像周辺領域に対してフレーム間相関を利用したノイズ低減処理をより強く作用させて空間方向のノイズ低減効果の低下分を補ってもボケを抑えてノイズ低減効果を得る事が可能となる。特にフレーム間相関を利用したノイズ低減処理は図１７に示す現在フレームの注目画素に対応する過去フレームの周辺領域を用いて処理するので、その周辺領域内に含まれる動き量であればフレーム間相関を利用できる。
【０１４９】
非線形フィルタ処理部９０２、９０３には、ＯＢクランプ処理部３１０から出力された有効領域画像が入力される。非線形フィルタ処理部９０２、９０３は、例えばバイラテラルフィルタ等の非線形フィルタにより平滑化処理を行う。
【０１５０】
非線形フィルタ処理部９０２は、空間方向に平滑化するフレーム内平滑化処理を行う。図１４に示すように、非線形フィルタ処理部９０２は、現在の（処理対象の）フレーム画像内の注目画素とその周辺領域（例えばベイヤ配列上で９×９画素）に含まれている同一色の信号のみを抽出し、抽出した同一色の信号に対して平滑化処理を行う。同一色とは、Ｒ画素からなるＲ画像、Ｇ画素からなるＧ画像、Ｂ画素からなるＢ画像である。なお、図１６（Ｂ）に示すように、Ｇ画素を更に、Ｒ画素と同一行に位置するＧｒ画素からなるＧｒ画像と、Ｂ画素と同一行に位置するＧｂ画素からなるＧｂ画像に分けてもよい。この場合には、後述する非線形フィルタ処理で用いる相対的なサンプリング位置はＲ、Ｇｒ、Ｇｂ、Ｂ画像に対して全て共通化することが可能となり、回路規模を低減できる。
【０１５１】
非線形フィルタ処理部９０３は、時間方向に平滑化するフレーム間平滑化処理を行う。図１７に示すように、非線形フィルタ処理部９０３は、現在のフレーム画像の注目画素と、過去のフレーム画像の周辺領域に含まれている画素に対して処理を行う。過去のフレーム画像は、フレームメモリ９０５に格納されたノイズ低減済みの画像であり、例えば現在のフレーム画像の１フレーム前の画像である。周辺領域は、現在のフレーム画像の注目画素に対応する画素の周辺の画素である。
【０１５２】
非線形フィルタ処理部９０２は、例えば下式（３）に示す非線形フィルタにより平滑化処理を行う。下式（３）には、バイラテラルフィルタのフィルタ係数Ｆｉｎｔｒａ（ｘ，ｙ，ｔ）を示す。
【数３】
2012205619.tif 000005
【０１５３】
ここで、ｘは時刻ｔの画像の水平座標であり、ｙは時刻ｔの画像の垂直座標である。Ｂ（ｘ，ｙ，ｔ）はフィルタの正規化係数である。Ｐ（ｘ０，ｙ０，ｔ）はフィルタ処理する注目画素（ｘ０，ｙ０，ｔ）の画素値である。Ｐ（ｘ，ｙ，ｔ）は注目画素の周辺画素（ｘ，ｙ，ｔ）の画素値である。
【０１５４】
非線形フィルタ処理部９０３は、例えば下式（４）に示す非線形フィルタにより平滑化処理を行う。下式（４）には、バイラテラルフィルタのフィルタ係数Ｆｉｎｔｅｒ（ｘ，ｙ，ｔ）を示す。
【数４】
2012205619.tif 000006
【０１５５】
ここで、ｘは時刻ｔ又は時刻ｔ−１の画像の水平座標であり、ｙは時刻ｔ又は時刻ｔ−１の画像の垂直座標である。Ｃ（ｘ，ｙ，ｔ）はフィルタの正規化係数である。Ｐｏ（ｘ，ｙ，ｔ−１）は、フレームメモリ９０５に格納された時刻ｔ−１のノイズ低減済み画像において、時刻ｔの注目画素（ｘ０，ｙ０，ｔ）に対応する画素（ｘ０，ｙ０，ｔ−１）の周辺画素（ｘ，ｙ，ｔ−１）の画素値である。
【０１５６】
重み加算処理部９０４には、非線形フィルタ処理部９０２からの注目画素のフレーム内平滑化画素値と、非線形フィルタ処理部９０３からの注目画素のフレーム間平滑化画素値が入力される。また重み加算処理部９０４には、出力されるフレーム内平滑化画素値とフレーム間平滑化画素値の合成比率が処理パラメータ制御部９０１から入力される。重み加算処理部９０４は、合成比率に基づいて、フレーム内平滑化画素値とフレーム間平滑化画素値を加重平均し、加重平均された加重平均値Ｐｏを歪み補正処理部３３０とフレームメモリ９０５へ出力する。
【０１５７】
具体的には、重み加算処理部９０４は下式（５）により、注目画素（ｘ０，ｙ０，ｔ）における加重平均値Ｐｏ（ｘ０，ｙ０，ｔ）を算出する。
【数５】
2012205619.tif 000007
【０１５８】
ここで、αは、処理パラメータ制御部９０１から出力されるフレーム内平滑化画素値の合成比率である。βは、処理パラメータ制御部９０１から出力されるフレーム間平滑化画素値の合成比率である。例えばα＋β＝１である。Σｘｙは、注目画素（ｘ０，ｙ０，ｔ）の周辺領域内の同一色の画素に対する総和を表す。
【０１５９】
このようにフレーム間相関を用いたノイズ低減処理を行うことで、後段の歪み補正処理部３３０により拡大される画像周辺部のノイズが視覚的に目立つことを、事前に抑止することができる。
【０１６０】
なお、上記では歪み補正処理部３３０の前段にノイズ低減処理部３２０を置いていたが、歪み補正処理部３３０の後段にノイズ低減処理部３２０を置いてもよい。この場合、フレーム間相関を利用したノイズ低減処理において、図１７に示す現在フレームの注目画素に対応する過去フレームの周辺領域を、局所拡大率に応じてサイズ変更（拡大率高い場合はサイズを大きくする）し、上式（４）のσｄ２を大きく設定（フレーム間相関の高い画素をより見つけやすくなる）すれば良い。あるいは、周辺領域のサイズは変更せずに、現在フレームの周辺領域と過去フレームの周辺領域のブロックマッチング等により算出した動きベクトルに基づく動き補償処理を追加し、拡大率に応じて動きベクトルの探索範囲を可変にしてもよい。こうすることで、フレーム間相関を利用したノイズ低減処理を有効利用できるようになる。また設計上、最大となる局所拡大率が決定されれば、その局所拡大率に基づいて周辺領域のサイズ、あるいは動きベクトルの探索範囲を設定してもよい。この場合、周辺領域のサイズ、あるいは動きベクトルの探索範囲を可変にしなくても良いのはいうまでもない。
【０１６１】
ここで、第１の実施形態と第２の実施形態では対物レンズとして魚眼レンズを用いたが、これに限定されず、例えば、その他の広視野が得られる光学系を用いてもよい。例えば、反射型の対物光学系を用いてもよい。
【０１６２】
以上によれば、図１４に示すように、ノイズ低減処理部３２０は、時間平滑化処理部（非線形フィルタ処理部９０２）と、空間平滑化処理部（非線形フィルタ処理部９０３）と、合成処理部（重み加算処理部９０４）を含む。上式（４）で上述のように、時間平滑化処理部は、時間方向のノイズ成分を平滑化する処理を行い、処理後の画素値を時間平滑化画素値として出力する。上式（３）で上述のように、空間平滑化処理部は、空間方向のノイズ成分を平滑化する処理を行い、処理後の画素値を空間平滑化画素値として出力する。上式（５）で上述のように、合成処理部は、時間平滑化画素値と空間平滑化画素値を所定比率α、βで合成する。
【０１６３】
より具体的には、図１５に示すように、合成処理部は、変換処理前の処理対象領域の大きさと変換処理後の処理対象領域の大きさとの比較結果に関する情報（局所拡大率ΔＭ（ｘ、ｙ））に基づいて所定比率α、βを制御する。
【０１６４】
このようにすれば、画像周辺部を拡大表示する場合に、その画像周辺部に対してフレーム間相関を有効利用したノイズ低減を行うことが可能になる。これにより、拡大表示により視覚的に増大するノイズの抑制が可能となり、視認性を向上できる。視認性の向上により、今まで見逃されていたヒダ裏の病変部の見落とし率低減が可能になる。
【０１６５】
４．ソフトウェア
上記の本実施形態では、画像処理部３０１を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、カプセル内視鏡等の撮像装置を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１６６】
撮像部を別体とし、画像処理部３０１の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３０１の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１６７】
図１８は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図１９は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図１８に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを含む。
【０１６８】
また、このコンピュータシステム６００における本体部６１０は、図１９に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を含む。
【０１６９】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１７０】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラムを参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１７１】
即ち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１７２】
また本実施形態は、本実施形態の各部（ノイズ低減処理部、歪み補正処理部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１７３】
ここで、コンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）等、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１７４】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１７５】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１７６】
１００  光源部、１０１  白色光源、１０２  回転色フィルタ、
１０３  回転駆動部、１０４  集光レンズ、２００  撮像部、
２０１  ライトガイドファイバ、２０２  照明レンズ、２０３  対物レンズ、
２０９  撮像素子、２１０  Ａ／Ｄ変換部、３００  制御装置、
３０１  画像処理部、３０２  制御部、３１０  ＯＢクランプ処理部、
３２０  ノイズ低減処理部、３３０  歪み補正処理部、３４０  ＷＢ処理部、
３５０  ３板化処理部、３６０  色補正処理部、３７０  階調変換処理部、
３８０  強調処理部、３９０  管腔、３９１  射影変換、３９２  射影変換、
４００  表示部、５００  外部Ｉ／Ｆ部、
６００  コンピュータシステム、６１０  本体部、
６１１  ＣＰＵ、６１２  ＲＡＭ、６１３  ＲＯＭ、６１４  ＨＤＤ、
６１５  ＣＤ−ＲＯＭドライブ、６１６  ＵＳＢポート、
６１７  Ｉ／Ｏインターフェース、６１８  ＬＡＮインターフェース、
６２０  ディスプレイ、６２１  表示画面、６３０  キーボード、６４０  マウス、
６５０  モデム、６６０  ＣＤ−ＲＯＭ、６７０  ＵＳＢメモリ、６８１  ＰＣ、
６８２  サーバ、６８３  プリンタ、
７０１  ローパス処理部、７０２  ダウンサンプリング部、７０３  減算処理部、
７０４  ノイズ量推定部、７０５  平滑化処理部、７０６  ローパス処理部、
７０７  ダウンサンプリング部、７０８  減算処理部、７０９  ノイズ量推定部、
７１０  平滑化処理部、７１１  ローパス処理部、７１２  減算処理部、
７１３  ノイズ量推定部、７１４  平滑化処理部、７１５  ノイズ量推定部、
７１６  平滑化処理部、７１７  加算処理部、７１８  アップサンプリング部、
７１９  加算処理部、７２０  アップサンプリング部、７２１  加算処理部、
７２２  処理パラメータ制御部、７５１  局所拡大率算出部、
７５２〜７５５  第１〜第４のノイズ低減量算出部、
７５６〜７５９  第１〜第４の乗算部、８０３  回転モータ、
８５１  赤の色フィルタ、８５２  緑の色フィルタ、８５３  青の色フィルタ、
９０１  処理パラメータ制御部、９０２  非線形フィルタ処理部、
９０３  非線形フィルタ処理部、９０４  重み加算処理部、９０５  フレームメモリ、
ＦＢ１〜ＦＢ４  第１〜第４の周波数帯域、Ｆｉｎｔｅｒ  フィルタ係数、
Ｆｉｎｔｒａ  フィルタ係数、Ｎ１  広域エリアネットワーク、Ｎ３  公衆回線、
Ｐｏ  加重平均値、ｄ  周辺領域、ｈ  中央領域、ｔ  時刻、
ΔＭ（ｘ，ｙ）  局所拡大率、α  合成比率、β  合成比率、
σｓ  平滑化処理パラメータ
【図１】
2012205619.tif 000008
【図２】
2012205619.tif 000009
【図３】
2012205619.tif 000010
【図５】
2012205619.tif 000011
【図６】
2012205619.tif 000012
【図７】
2012205619.tif 000013
【図８】
2012205619.tif 000014
【図９】
2012205619.tif 000015
【図１０】
2012205619.tif 000016
【図１１】
2012205619.tif 000017
【図１２】
2012205619.tif 000018
【図１３】
2012205619.tif 000019
【図１４】
2012205619.tif 000020
【図１５】
2012205619.tif 000021
【図１６】
2012205619.tif 000022
【図１７】
2012205619.tif 000023
【図１８】
2012205619.tif 000024
【図１９】
2012205619.tif 000025
【図２０】
2012205619.tif 000026
【図４】
2012205619.tif 000027
【図２１】
2012205619.tif 000028