(57)【要約】【課題】  デジタル画像信号に対し、画質を低下させることなくノイズ除去処理を施す。【解決手段】  プロセッサ３０内に前段信号処理回路４２、ノイズ低減フィルタ回路４６、段階分け回路４８を設ける。段階分け回路４８において、デジタル画像信号に基づき、各画素を輝度レベルに応じて第１〜第４輝度段階に振り分け、被写体像を多段階に分ける。そして、ノイズ低減フィルタ回路４６において、第４輝度段階から第１輝度段階へ向かうほど近傍画素エリアのサイズが大きくなるように、移動平均フィルタを各段階の画素に対して施す。【選択図】        図１
2007050110.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素から構成される被写体像に応じたデジタル画像信号を生成するデジタル化処理手段と、
デジタル画像信号に基づき、各画素の輝度レベルに応じて被写体像を複数の段階に分ける輝度段階分け手段と、
輝度レベルの低い段階に該当する画像部分ほど雑音除去効果が大きくなるように、段階ごとにデジタル画像信号をフィルタリングするフィルタリング手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記フィルタリング手段が、近傍画素を用いて雑音除去処理を実行する平滑化フィルタを有し、輝度レベルの低い段階に該当する画像部分ほど近傍画素の数を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタリング手段が、近傍画素を用いて雑音除去処理を実行する平滑化フィルタを有し、輝度レベルの低い段階に該当する画像部分ほどフィルタリングの繰り返し回数を多くすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記平滑化フィルタが、移動平均フィルタ、メディアンフィルタのいずれかであることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記フィルタリング手段が、遅延素子と加算器から構成される非巡回型デジタルフィルタを有し、輝度レベルの低い段階に該当する画像部分ほど、該当するデジタル画像信号を順次遅延させ、加算することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記フィルタリング手段が、遅延素子と加算器から構成される巡回型フィルタを有し、
輝度レベルの低い段階に該当する画像部分ほど該当するデジタル画像信号の重み付け係数に比べて遅延デジタル画像信号の重み付け係数をより大きくしてフィルタリングすることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記デジタル化処理手段によって生成されるデジタル画像信号の高周波成分を除去する高周波数フィルタをさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記デジタル化処理手段が、赤色（Ｒ）に応じたデジタルのＲ信号を生成し、
前記段階分け手段が、デジタルのＲ信号に基づいて段階分けすることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
撮像素子を備えたビデオスコープと、
前記撮像素子に形成され、複数の画素から構成される被写体像に応じたデジタル画像信号を生成するデジタル化処理手段と、
デジタル画像信号に基づき、各画素の輝度レベルに応じて被写体像を複数の段階に分ける輝度段階分け手段と、
輝度レベルの低い段階に該当する画像部分ほど雑音除去効果が大きくなるように、段階ごとにデジタル画像信号をフィルタリングするフィルタリング手段と
を備えたことを特徴とする電子内視鏡装置。
【請求項１０】
撮像素子に形成され、複数の画素から構成される被写体像に応じたデジタル画像信号を生成し、
前記デジタル画像信号に基づき、各画素の輝度レベルに応じて被写体像を複数の段階に分け、
輝度レベルの低い段階に該当する画像部分ほど雑音除去効果が大きくなるように、段階ごとにデジタル画像信号をフィルタリングする
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影によって得られるデジタル画像信号の画像処理に関し、特に、雑音（ノイズ）除去処理に関する。
【背景技術】
【０００２】
従来のデジタル画像処理では、ノイズ除去のためフィルタリングが施され、例えば、移動平均フィルタ、メディアンフィルタなどの空間周波数処理型フィルタ、あるいは巡回型フィルタなどデジタルフィルタによってノイズが除去される。例えば電子内視鏡装置の場合、増幅されるノイズを除去するためノイズ低減回路が設けられ、画像全体に対して一様にノイズ除去処理が施される（特許文献１参照）。また、撮像素子の画素欠陥である白キズノイズなど孤立雑音を除去する場合、注目画素に対してフィルタリングが施される（特許文献２参照）。
【特許文献１】特開平１０−５７３１２号公報
【特許文献２】特開２００４−３１３４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
管腔内を撮影した内視鏡画像などでは、明暗のはっきりした部分が同一画面内において混在する。暗い部分ではノイズが目立つ一方、明るい部分ではノイズが目立たないため、画像全体に対して一様にノイズ除去処理を行うと、ノイズの影響の少ない明るい部分の画像がぼやけてしまい、全体的に画質が低下する。また、ランダムノイズの場合、画素を特定したノイズ除去処理を行っても効果が得られない。
【課題を解決するための手段】
【０００４】
本発明の画像処理装置は、ノイズが目立つ明るい画像部分とノイズが目立たない画像部分に応じて適切な雑音除去処理が可能であり、デジタルカメラ、電子内視鏡装置などの撮影装置に適用可能である。画像処理措置は、デジタル化処理手段と、輝度段階分け手段と、フィルタリング手段とを備える。デジタル化処理手段は、複数の画素から構成される被写体像に応じたデジタル画像信号を生成する。そして、輝度段階分け手段は、デジタル画像信号に基づき、各画素の輝度レベルに応じて被写体像を複数の段階に分ける。ここで、複数の段階分けとは、輝度レベル全体の範囲の中で所定の輝度レベルを境に複数のレンジ（段階）を規定し、各画素をその輝度レベルの属する段階へ分けることを表す。例えば、輝度レベルのとりうる範囲を大きさ順に４段階、あるいは８段階など複数の段階に分け、各画素をその輝度レベルに該当する段階に振り分ければよい。
【０００５】
本発明のフィルタリング手段は、輝度レベルの低い段階に該当する画像部分ほど雑音除去効果が大きくなるように、段階ごとにデジタル画像信号をフィルタリングする。輝度レベルの低い、すなわち画像の暗い部分では相対的にフィルタ強度の大きい雑音除去処理が施され、ランダムノイズなどが効果的に除去される。一方、画像の明るい部分では相対的にフィルタ強度の小さい雑音除去処理が施され、画像がぼけることなく画質が維持される。
【０００６】
例えば、移動平均フィルタ、メディアンフィルタなど近傍画素を用いて雑音除去処理を実行する平滑化フィルタの場合、近傍画素の数を大きくすればよく、あるいはフィルタリングの繰り返し回数を多くすればよい。
【０００７】
遅延素子と、加算器から構成される非巡回型デジタルフィルタの場合、輝度レベルの低い段階に該当する画像部分ほど、該当するデジタル画像信号を順次遅延させ、加算させればよい。あるいは、遅延素子と加算器から構成される巡回型フィルタの場合、輝度レベルの低い段階に該当する画像部分ほど該当するデジタル画像信号の重み付け係数に比べて遅延デジタル画像信号の重み付け係数をより大きくしてフィルタリングすればよい。
【０００８】
被写体像を段階分けする前に毛細血管等の微細な画像情報を消去するため、デジタル化処理手段によって生成されるデジタル画像信号の高周波成分を除去する高周波数フィルタを設けるのがよい。あるいは、長波長領域の赤色（Ｒ）に応じた色信号を使用すれば微細な画像情報があまり含まれないことから、デジタル化処理手段が、赤色（Ｒ）に応じたデジタルのＲ信号を生成し、段階分け手段が、デジタルのＲ信号に基づいて段階分けしてもよい。
【０００９】
本発明の他の特徴である電子内視鏡装置は、撮像素子を備えたビデオスコープと、撮像素子に形成され、複数の画素から構成される被写体像に応じたデジタル画像信号を生成するデジタル化処理手段と、デジタル画像信号に基づき、各画素の輝度レベルに応じて被写体像を複数の段階に分ける輝度段階分け手段と、輝度レベルの低い段階に該当する画像部分ほど雑音除去効果が大きくなるように、段階ごとにデジタル画像信号をフィルタリングするフィルタリング手段とを備えたことを特徴とする。本発明の他の特徴である画像処理方法は、撮像素子に形成され、複数の画素から構成される被写体像に応じたデジタル画像信号を生成し、デジタル画像信号に基づき、各画素の輝度レベルに応じて被写体像を複数の段階に分け、輝度レベルの低い段階に該当する画像部分ほど雑音除去効果が大きくなるように、段階ごとにデジタル画像信号をフィルタリングすることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、デジタル画像信号に対し、画質を低下させることなくノイズ除去処理を施すことができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。
【００１２】
図１は、第１の実施形態である電子内視鏡装置のブロック図である。
【００１３】
電子内視鏡装置は、ビデオスコープ１０とプロセッサ３０とを備え、プロセッサ３０にはモニタ７０が接続されている。ビデオスコープ１０はプロセッサ３０に着脱自在に接続される。
【００１４】
ランプ３２から放射された光は、絞り３４、集光レンズ３６を通ってビデオスコープ１０に設けられたライトガイド１２の入射端１２Ａに入射する。ライトガイド１２は、ランプ３２からの光をスコープ先端部へ伝達する光ファイババンドルであり、ライトガイド１２を通った光はライトガイド１２の射出端１２Ｂから射出し、配光レンズ１４を介してスコープ先端部から出射する。これにより、観察部位に光が照射される。
【００１５】
観察部位において反射した光は対物レンズ１６を通ってＣＣＤ１８に到達し、これにより被写体像がＣＣＤ１８の受光面に形成される。ＣＣＤ１８では、被写体像に応じた画像信号が発生し、ＣＣＤドライバ３８から送られてくるクロックパルス信号に基づき、アナログの画像信号がＮＴＳＣ方式などＴＶ規格に従って所定の時間間隔で読み出される。読み出された画像信号は、プロセッサ３０の前段信号処理回路４２へ送られる。
【００１６】
前段信号処理回路４２では、ホワイトバランス処理、γ処理など様々な信号処理が読み出されたアナログ画像信号に対して施され、アナログ画像信号はＲ、Ｇ、Ｂのデジタル画像信号に変換される。デジタル画像信号は高周波除去フィルタ４４とともにノイズ低減フィルタ回路４６へ送られる。
【００１７】
高周波除去フィルタ４４では、デジタル画像信号の高周波成分が除去される。そして、段階分け回路４８では、後述するように、高周波成分が除去された画像信号が、輝度レベルに応じて段階分けされる。ノイズ低減フィルタ回路４６では、段階分けされた画像ごとにフィルタリングが施され、ランダムノイズ、白キズノイズなどに対してノイズ除去処理が施される。ここでは、移動平均フィルタが用いられている。
【００１８】
ノイズ除去されたデジタル画像信号は、後段信号処理回路５０においてビデオ規格に従った映像信号に変換される。映像信号はモニタ７０へ出力され、これにより観察画像がモニタ７０に表示される。
【００１９】
図２は、内視鏡画像を示した図である。図３は、輝度レベルに応じて段階分けされた内視鏡画像を示した図である。図４は、フィルタリング対象画素の近傍画素エリアを示した図である。
【００２０】
図２の内視鏡画像は、気管支を撮影した画像であり、気管分枝部を挟んで左主気管支と右主気管支がそれぞれ内視鏡画像の左側、右側に映し出されている。スコープ先端部に近接する気管内壁および画像中央に位置する気管分枝部は照明光による反射が強いため、明るく映し出される。一方、左主気管支、右主気管支の画像は管腔状内部の画像であるため光があまり反射せず、暗く映し出される。
【００２１】
プロセッサ３０の段階分け回路４８では、内視鏡画像が輝度レベルに応じてここでは４段階に分けられる。各画素の輝度レベルは、例えば２５６段階で表され、０〜２５５のいずれかの値となる。そして、輝度レベルが０〜６３のレンジを第１輝度段階、輝度レベルが６４〜１２７のレンジを第２輝度段階、輝度レベルが１２８〜１９１のレンジを第３輝度段階、輝度レベルが１９２〜２５５のレンジを第４輝度段階として規定される。
【００２２】
図３には、このように輝度レベルに応じて各画素を４段階に振り分けたときの画像が示されている。気管分枝部付近の画像部分は、第３、第４輝度段階に該当し、左主気管支，右主気管支付近の画像部分は、第１、第２輝度段階に該当する。ここでは、第１〜第４輝度段階に応じた画素の集合部分をそれぞれＩ１〜Ｉ４でしている。
【００２３】
プロセッサ３０のノイズ低減フィルタ回路４６では、各画素に対して移動平均フィルタによるフィルタリングが施される。すなわち、フィルタリング対象の画素の値を、その画素の近傍画素を含めたエリアの画素平均値に置き換えて出力する。このとき、フィルタリング対象画素の近傍画素エリアは、図４に示すように、（２ｎ＋１）×（２ｎ＋１）（ｎ＝０，１，２，３）のエリアに定められており、前述の輝度レベルに応じた段階によってｎの値が異なる。第４輝度段階にある画素に対しては、その周辺画素エリアを３×３（ｎ＝１）のエリアに定めることによって９画素の平均値が演算される。また、第３輝度段階にある画素に対しては、その周辺エリアを５×５（ｎ＝２）のエリアに定め、２５画素の平均値が定められる。そして、第２輝度段階にある画素に対してはその周辺エリアが７×７（ｎ＝３）のエリアに定められ、第１輝度段階にある画素に対してはその周辺エリアが９×９（ｎ＝４）のエリアに定められている。このような移動平均フィルタにおよるノイズ除去処理が各画素に対して実行される。
【００２４】
移動平均フィルタによる雑音除去処理において、平均値を算出する際の近傍画素エリアを大きくするほど、平滑化、すなわち雑音除去の効果が大きくなる。雑音除去、すなわち平滑化の効果を決定付ける「ｎ」をフィルタ強度のパラメータと考えれば、暗い画像部分にある画素ほど、フィルタ強度が大きいノイズ除去処理が施される。
【００２５】
以上のように本実施形態によれば、プロセッサ３０内に前段信号処理回路４２、ノイズ低減フィルタ回路４６、段階分け回路４８が設けられている。段階分け回路４８では、デジタル画像信号に基づき、各画素が輝度レベルに応じて第１〜第４輝度段階に振り分けられ、被写体像が多段階に分けられる。そして、ノイズ低減フィルタ回路４６では、第４輝度段階から第１輝度段階へ向かうほど近傍画素エリアのサイズ（フィルタ強度）が大きくなるように、移動平均フィルタが各段階の画素に対して施される。
【００２６】
なお、移動平均フィルタの代わりに、メディアンフィルタ等の別の空間フィルタを用いてもよい。また、段階分けは４段階に限定されず、８段階など複数の段階に分ければよい。また、電子内視鏡装置以外のカメラ等の撮影装置に適用してもよい。
【００２７】
次に、図５、６を用いて、第２の実施形態である電子内視鏡装置について説明する。第２の実施形態では、フィルタリングの行う繰り返し回数をフィルタ強度として調整し、また、赤色（Ｒ）に応じた信号に基づいて画像が段階分けされる。それ以外の構成に関しては、第１の実施形態と同じである。
【００２８】
図５は、第２の実施形態である電子内視鏡装置のブロック図である。図６は、第２の実施形態における空間フィルタを示した図である。
【００２９】
プロセッサ３０’の前段信号処理回路４２’では、Ｒ、Ｇ、Ｂのデジタル信号のうちＲ信号が分離され、段階分け回路４８へ送られる。第２の実施形態では、高周波除去フィルタが設けられておらず、毛細血管など空間周波数の高い情報が比較的少ないＲ信号に基づいてフィルタリングが行われる。
【００３０】
ノイズ低減フィルタ回路４６’では、フィルタリング対象画素の近傍画訴エリアは一定に定められ、例えば３×３の画素エリアに定められる。一方、図６に示すように、フィルタリングの繰り返し回数ｍが調整される。ここでは、輝度レベルが低い段階ほど繰り返し回数ｍが大きな値に設定され、「ｍ」がフィルタ強度のパラメータとなる。例えば、第１、第２、第３、第４輝度段階の輝度レベルをもつ画素に対し、それぞれ繰り返し回数ｍ＝４、３、２、１が設定される。設定された繰り返し回数ｍに従い、移動平均フィルタによるノイズ除去処理が実行される。
【００３１】
次に、図７を用いて、第３の実施形態である電子内視鏡装置について説明する。第３の実施形態では、ノイズ除去処理のためデジタルフィルタである非巡回型フィルタが適用される。それ以外の構成については、第１の実施形態と同じである。
【００３２】
図７は、第３の実施形態におけるノイズ低減除去フィルタ回路におけるフィルタ処理部のブロック図である。
【００３３】
ノイズ低減フィルタ回路４６”は、第１〜第４輝度段階に応じて４つのフィルタ処理部から構成されており、図７では、１つのフィルタ処理部が示されている。各フィルタ処理部には、ｌ（ｌ＝１、２、３、・・・）個のフレームメモリＫlが設けられており、所定のフレームメモリＫlから出力されるディレイデータが加算器ＴＭと隣接するフレームメモリＫl+1へ入力するように構成されている。フレーメモリＫlから出力されるディレイデータは、オリジナルデータに対してｌフレーム分だけ遅れる。そして、オリジナルデータと１〜ｌのフレーム分遅れたディレイデータとが加算器ＴＭにおいて加重平均されることにより、ノイズが除去される。
【００３４】
オリジナルデータとディレイデータの加重平均が繰り返されるほどノイズ除去効果が大きくなり、フレームメモリの数がフィルタ強度のパラメータとなる。ここでは、第１輝度段階にある画素に対しては４個のフレームメモリから構成されるフィルタ処理部、第２輝度段階にある画素に対しては３個のフレームメモリから構成されるフィルタ処理部、第３輝度段階にある画素に対しては２個のフレームメモリから構成されるフィルタ処理部、第４輝度段階にある画素に対しては１個のフレームメモリから構成されるフィルタ処理部によってノイズ除去処理が施される。
【００３５】
次に、図８を用いて、第４の実施形態である電子内視鏡装置について説明する。第４の実施形態では、ノイズ除去処理のため巡回型時間フィルタが適用される。それ以外の構成については、第１の実施形態と同じである。
【００３６】
図８は、第４の実施形態におけるノイズ低減除去フィルタ回路におけるフィルタ処理部のブロック図である。
【００３７】
ノイズ低減フィルタ回路４６”’は、第１〜第４輝度段階に応じて４つのフィルタ処理部から構成されており、図８では、１つのフィルタ処理部が示されている。各フィルタ処理部には、加算器ＴＮと１つのフレームメモリＭが設けられ、加算器からの出力データがフレームメモリへ入力し、１フレー分遅延のディレイデータが加算器ＴＮへ入力される。
【００３８】
加算器ＴＮでは、以下の計算式に基づいて、オリジナルデータとディレイデータとの割合が調整される。
ＤＡＴＡ３＝α×ＤＡＴＡ１＋β×ＤＡＴＡ２                  ・・（１）
ただし、α＋β＝１
ここで、ＤＡＴＡ３は加算器ＴＮから出力されるデータ、ＤＡＴＡ１はオリジナルデータ、ＤＡＴＡ２はフレームメモリＭから出力されるディレイデータを示す。また、α、βは、それぞれオリジナルデータ、ディレイデータの占める割合を表す。
【００３９】
α、βの値を変えることによって、オリジナルデータの占める割合とディレイデータの占める割合とが調整され、βがαに比べて大きいほどノイズ除去の効果が大きくなり、フィルタの強度が大きい。ここでは、第４輝度段階、第３輝度段階、第２輝度段階、第１輝度段階の順番でβの値がαに比べて大きくなるように設定されている（例えば、第４輝度段階、第３輝度段階、第２輝度段階、第１輝度段階の順で、β＝０．８、０．６、０．４、０．２に定められる）。
【図面の簡単な説明】
【００４０】
【図１】第１の実施形態である電子内視鏡装置のブロック図である。
【図２】内視鏡画像を示した図である。
【図３】輝度レベルに応じて段階分けされた内視鏡画像を示した図である。
【図４】フィルタリング対象画素の近傍画素エリアを示した図である。
【図５】第２の実施形態である電子内視鏡装置のブロック図である。
【図６】第２の実施形態における空間フィルタを示した図である。
【図７】第３の実施形態におけるノイズ低減フィルタ回路におけるフィルタ処理部のブロック図である。
【図８】第４の実施形態におけるノイズ低減フィルタ回路におけるフィルタ処理部のブロック図である。
【符号の説明】
【００４１】
１０  ビデオスコープ
３０  プロセッサ
４２  前段信号処理回路（デジタル化処理手段）
４６  ノイズ低減フィルタ回路  （フィルタリング手段）
４６’  ノイズ低減フィルタ回路
４６”  ノイズ低減フィルタ回路
４６”’  ノイズ低減フィルタ回路
４８  段階分け回路  （輝度段階分け手段）
【図１】
2007050110.tif 000003
【図２】
2007050110.tif 000004
【図３】
2007050110.tif 000005
【図４】
2007050110.tif 000006
【図５】
2007050110.tif 000007
【図６】
2007050110.tif 000008
【図７】
2007050110.tif 000009
【図８】
2007050110.tif 000010