(57)【要約】【課題】ノイズ成分を強調することなく、各輝度信号のエッジ強調を行う。【解決手段】第１フィルタ３１は、注目画素及び３×３領域において注目画素の周辺に位置する第１の周辺画素の入力輝度信号Ｙ０を用いて、各注目画素の微小範囲エッジ成分Ｅ１を検出する。減算器３２は、入力輝度信号Ｙ０から微小範囲エッジ成分Ｅ１を減じて、各注目画素のノイズ除去信号Ｆ１を生成する。第２フィルタ３４は、注目画素及び５×５領域において注目画素の周辺に位置する第２の周辺画素の入力輝度信号Ｙ０を用いて、各注目画素の広範囲エッジ成分Ｅ２を検出する。加算器３６は、各注目画素について、ノイズ除去信号Ｆ１と広範囲エッジ成分Ｅ２とを加算して処理済輝度信号Ｙ’を生成する。【選択図】図２
2008288942.tif 000002
【特許請求の範囲】
【請求項１】
注目画素、及び微小領域において前記注目画素の周辺に位置する第１の周辺画素の輝度信号を用いて、前記注目画素のノイズ除去信号を生成するノイズ除去手段と、
前記注目画素、及び前記微小領域より広い広範囲領域において前記注目画素の周辺に位置する第２の周辺画素の輝度信号を用いて前記注目画素の広範囲エッジ成分を検出するエッジ強調手段と、
前記ノイズ除去信号と広範囲エッジ成分とを加算して前記注目画素の処理済輝度信号を生成する加算手段と
を備える輪郭強調装置。
【請求項２】
前記ノイズ除去信号は、前記注目画素及び第１の周辺画素の輝度信号を用いて、前記注目画素の微小範囲エッジ成分を検出し、その微小範囲エッジ成分を前記注目画素の輝度信号から減じてノイズ除去信号を生成することを特徴とする請求項１に記載の輪郭強調装置。
【請求項３】
前記広範囲エッジ成分及び微小範囲エッジ成分の少なくともいずれか一方は、２次微分により検出されることを特徴とする請求項１及び２のいずれか１項に記載の輪郭強調装置。
【請求項４】
注目画素、及び微小領域において前記注目画素の周辺に位置する第１の周辺画素の輝度信号を用いて、前記注目画素のノイズ除去信号を生成するノイズ除去ステップと、
前記注目画素、及び前記微小領域より広い広範囲領域において前記注目画素の周辺に位置する第２の周辺画素の輝度信号を用いて前記注目画素の広範囲エッジ成分を検出するエッジ強調ステップと、
前記ノイズ除去信号と広範囲エッジ成分とを加算して前記注目画素の処理済輝度信号を生成する加算ステップと
を備える輪郭強調方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡スコープ等の撮像装置で得られた画像に対する輪郭強調を行うための輪郭強調装置に関する。
【背景技術】
【０００２】
内視鏡スコープ等の撮像素子で得られた画像信号は、一般的に、画像の特徴を強調するために輪郭強調が施された上でモニタ等に表示される。輪郭強調は、例えば特許文献１に記載されるようなラプラシアンフィルタ等を用いた２次微分により行われ、周辺画素と輝度差が相対的に大きい画素の輝度信号が相対的に大きく強調され、これにより撮影対象物の輪郭が明瞭にされて表示される。
【特許文献１】特許第２９１８１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、輪郭強調は、周辺画素との輝度差が異なる全ての画素の輝度信号を強調するため、撮影対象物の輪郭のみならず、ノイズも強調して表示することになる。
【０００４】
特に、内視鏡スコープに搭載される撮像素子は、近年高画素化されつつあり、画素単位で発生する微小なランダムノイズは増加する傾向にあり、また２次微分により輪郭強調を行う場合、微小ノイズが増幅される傾向にある。したがって、従来のように輝度信号に２次微分によって単純に輪郭強調を施すと、微小なランダムノイズが強調され、画像全体がざらつくような印象を与えることになる。
【０００５】
そこで、本発明は、このような問題点に鑑みて成されたものであり、高画素化された画像であってもランダムノイズを強調しないで輪郭強調が施すことができる輪郭強調装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る輪郭強調装置は、注目画素、及び微小領域において注目画素の周辺に位置する第１の周辺画素の輝度信号を用いて、注目画素のノイズ除去信号を生成するノイズ除去手段と、注目画素、及び微小領域より広い広範囲領域において注目画素の周辺に位置する第２の周辺画素の輝度信号を用いて注目画素の広範囲エッジ成分を検出するエッジ強調手段と、ノイズ除去信号と広範囲エッジ成分とを加算して注目画素の処理済輝度信号を生成する加算手段とを備える。
【０００７】
ノイズ除去信号は、注目画素及び第１の周辺画素の輝度信号を用いて、注目画素の微小範囲エッジ成分を検出し、その微小範囲エッジ成分を注目画素の輝度信号から減じてノイズ除去信号を生成することが好ましい。また、広範囲エッジ成分及び微小範囲エッジ成分は、例えば２次微分により検出される。
【０００８】
本発明に係る輪郭強調方法は、注目画素、及び微小領域において注目画素の周辺に位置する第１の周辺画素の輝度信号を用いて、注目画素のノイズ除去信号を生成するノイズ除去ステップと、注目画素、及び微小領域より広い広範囲領域において注目画素の周辺に位置する第２の周辺画素の輝度信号を用いて注目画素の広範囲エッジ成分を検出するエッジ強調ステップと、ノイズ除去信号と広範囲エッジ成分とを加算して注目画素の処理済輝度信号を生成する加算ステップとを備える。
【発明の効果】
【０００９】
本発明においては、広範囲の画素の輝度信号を参照してエッジを強調すると共に、微小範囲における画素の輝度信号を参照してノイズを除去することにより、ノイズ成分を強調することなく、各輝度信号のエッジ強調を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について添付図面を参照して説明する。
図１は本発明の一実施形態である画像輪郭強調装置を備えた内視鏡システムを示す。内視鏡システムは、スコープ１０およびプロセッサ２０から成る。スコープ１０は被写体から画像信号を得るための撮像装置であり、プロセッサ２０はスコープ１０によって得られた画像信号を処理して観察画像として出力するための画像処理装置である。
【００１１】
スコープ１０は、イメージセンサ１１を有し、イメージセンサ１１では被写体からの光によって画像が結像され、結像画像からアナログ画像信号が生成される。イメージセンサ１１は、タイミングジェネレータ１６によって画像信号の読込・読出タイミングが制御される。
【００１２】
アナログ画像信号は、ＡＦＥ（アナログフロントエンド）１２でデジタル信号に変換され、次いで色補間ブロック１３で色補間が行われる。色補間が行われたアナログ画像信号は、マトリックス変換ブロック１４でマトリックス変換が施され、ＲＧＢ信号としてＹＣ変換ブロック１５に入力される。ＲＧＢ信号は、ＹＣ変換ブロック１５において、輝度信号Ｙと色差信号Ｃｂ、Ｃｒに変換される。輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒは、プロセッサ２０に送られる。
【００１３】
プロセッサ２０はＣＰＵ２１を有し、ＣＰＵ２１によってプロセッサ２０内の各ブロックの動作が制御される。プロセッサ２０に送られた輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒは、ノイズ除去ブロック２２でＬＰＦ（ローパスフィルタ）等によって色ノイズの除去が施された後、輝度信号Ｙが輪郭強調ブロック２３で後述するエッジ強調が施される。色差信号Ｃｂ、Ｃｒは、輪郭強調ブロック２３で輪郭強調は施されない。
【００１４】
色差信号Ｃｂ、Ｃｒ、及びエッジ強調が施された輝度信号Ｙは、ＲＧＢ変換ブロック２４でＲＧＢ信号に変換される。ＲＧＢ信号は、スケール調整ブロック２５で画像サイズが調整された後、カラーマネージメントブロック２６で出力機器に応じた色調整が行われ、モニタ２７又はプリンタ２８に観察画像として出力される。
【００１５】
図２は、輪郭強調ブロック２３の詳細を示すブロック図である。輪郭強調ブロック２３は、第１ラインメモリブロック４１と第１のフィルタ３１と減算器３２を含むノイズ除去部３３と、第２ラインメモリブロック４２と第２のフィルタ３４を含むエッジ強調部３５と、加算器３６とを備える。輪郭強調ブロック２３において、輝度信号Ｙは、ノイズ除去部３１及びエッジ強調部３５のいずれにも入力される。なお、以下の説明においては、輪郭強調ブロック２３に入力された輝度信号Ｙは、入力輝度信号Ｙ０とすると共に、輪郭強調ブロック２３においてエッジ強調が施された輝度信号Ｙを処理済輝度信号Ｙ’として説明する。
【００１６】
ノイズ除去部３３において、入力輝度信号Ｙ０は、画素毎に順次第１ラインメモリブロック４１及び減算器３２に入力される。第１ラインメモリブロック４１は、３×３領域の入力輝度信号Ｙ０が第１フィルタ３１に同時に入力可能なように、少なくとも３ライン分の入力輝度信号Ｙ０を一時的に格納する。
【００１７】
第１フィルタ３１には、第１ラインメモリブロック４１から各画素（注目画素Ｐ０）及びその注目画素Ｐ０の周辺に位置する第１の周辺画素Ｐ１の入力輝度信号Ｙ０が第１フィルタ３１に順次入力される。なお、第１の周辺画素Ｐ１とは、図３に示すように、注目画素Ｐ０を中心とする３×３領域（微小領域）Ｒ１内に位置する注目画素Ｐ０の周辺に位置する画素をいう。
【００１８】
第１フィルタ３１は、注目画素Ｐ０及び第１の周辺画素Ｐ１に関する入力輝度信号Ｙ０を用いて、エッジ強調を行い、注目画素Ｐ０のエッジ成分（微小範囲エッジ成分Ｅ１）を検出する。本実施形態の第１フィルタ３１は、図４に示すように、注目画素Ｐ０の垂直方向及び鉛直方向に位置する周辺画素Ｐ１の入力輝度信号Ｙ０を用いてエッジ強調を行うラプラシアンフィルタであって、２次微分によって注目画素Ｐ０の微小範囲エッジ成分Ｅ１を検出する。
【００１９】
微小範囲エッジ成分Ｅ１は減算器３２に入力され、減算器３２では、各注目画素Ｐ０について、入力輝度信号Ｙ０から微小範囲エッジ成分Ｅ１が減ぜられて、各注目画素Ｐ０のノイズ除去信号Ｆ１が生成される。
【００２０】
エッジ強調部３５に入力された入力輝度信号Ｙ０は、画素毎に順次、第２ラインメモリブロック４２に入力され、第２ラインメモリブロック４２に一時的に格納される。第２ラインメモリブロック４２は、５×５領域の入力輝度信号Ｙ０が第２フィルタ３４に同時に入力可能なように、少なくとも５ライン分の入力輝度信号Ｙ０を格納する。
【００２１】
第２フィルタ３４には、第２ラインメモリブロック４２から各画素（注目画素Ｐ０）及びその注目画素Ｐ０の周辺に位置する第２の周辺画素Ｐ２の入力輝度信号Ｙ０が第１フィルタ３４に順次入力される。なお、第２の周辺画素Ｐ２とは、図５に示すように、注目画素Ｐ０を中心とする５×５領域（広範囲領域）Ｒ２内に位置する注目画素Ｐ０の周辺に位置する画素をいう。
【００２２】
第２フィルタ３４は、注目画素Ｐ０及び第２の周辺画素Ｐ２の入力輝度信号Ｙ０を用いて、エッジ強調を行い、注目画素Ｐ０のエッジ成分（広範囲エッジ成分Ｅ２）を検出する。本実施形態では、図６に示すように、第２フィルタ３４は、エッジ強調を行う５×５ラプラシアンフィルタであって、２次微分によって広範囲エッジ成分Ｅ２を検出する。なお、第２フィルタ３４は、５×５領域Ｒ２において注目画素Ｐ０に対して垂直方向及び水平方向に位置する周辺画素Ｐ２、及び注目画素Ｐ０を中心とする３×３領域において注目画素Ｐ０の斜め四方に位置する周辺画素Ｐ２を用いてエッジ強調を行う。このように、エッジ強調部３５では、微小領域Ｒ１より広い広範囲領域Ｒ２において注目画素Ｐ０の周辺に位置する周辺画素Ｐ２が用いられて、エッジ強調が行われる。
【００２３】
同じ注目画素Ｐ０に関するノイズ除去信号Ｆ１及び広範囲エッジ成分Ｅ２は、同じタイミングで加算器３６に入力されて、これらは加算器３６において加算され、各注目画素Ｐ０の処理済輝度信号Ｙ’が生成される。なお、色差信号Ｃｂ、Ｃｒはエッジ強調ブロック２３では処理が行われずに、ＲＧＢ変換ブロック２４に入力され、ＲＧＢ変換ブロック２４では処理済輝度信号Ｙ’及び色差信号Ｃｂ、ＣｒからＲＧＢ信号が生成される。
【００２４】
図７は、輪郭強調ブロック２３で行われる信号処理の一例を示す。図７に示すように、本例では、イメージセンサから撮像された画像内の輝度信号Ｙは、被写体からの光に基づいて生成されたデータ成分Ｄと、ランダムノイズであるノイズ成分Ｎを有する。図７において、データ成分Ｄは、所定の輝度値を有する複数の画素の輝度信号から成り、ノイズ成分Ｎは、所定の１画素の輝度値が他の画素の輝度値より急峻に大きくなると共に、その画素の周辺の輝度値が０より小さくなって形成される。なお、図７の入力輝度信号Ｙ０において、データ成分Ｄの信号レベルは、ノイズ成分Ｎの信号レベルと同一であって、図７においてはＳで示す。
【００２５】
一般的に、ノイズ成分Ｎは狭い領域における輝度変化が大きい一方、データ成分Ｄは狭い領域における輝度変化が小さい。したがって、参照領域が微小な第１フィルタ３１を用いてエッジ強調を行うと、ノイズ成分Ｎのエッジ成分が大きく抽出される一方、データ成分Ｄのエッジ成分はそれほど大きく抽出されない。すなわち、微小範囲エッジ成分Ｅ１において、ノイズ成分Ｎの値が大きくなるが、データ成分Ｄの値はそれほど大きくならない。これにより、入力輝度信号Ｙ０から微小範囲エッジ成分Ｅ１が減ぜられて得られたノイズ除去信号Ｆ１は、ノイズ成分Ｎが効率的に除去されることになるが、データ成分Ｄのエッジ成分ＤＥ１はそれほど大きく取り除かれてない。
【００２６】
また、データ成分Ｄは狭い領域における輝度変化が少ないが、広範囲の領域における輝度変化は大きくなる。したがって、参照領域が広範な第２フィルタ３４によって検出された、データ成分Ｄについての広範囲エッジ成分Ｅ２（エッジ成分ＤＥ２）は、データ成分Ｄについての微小範囲エッジ成分Ｅ１（エッジ成分ＤＥ１）に比べて大きくなる。
【００２７】
すなわち、ノイズ除去信号Ｆ１では、データ成分Ｄのエッジ成分ＤＥ１が取り除かれているが、この取り除かれたエッジ成分ＤＥ１よりも、第２フィルタ３４で検出されたエッジ成分ＤＥ２のほうが相対的に大きくなる。したがって、ノイズ除去信号Ｆ１に広範囲エッジ成分Ｅ２が加算された処理済輝度信号Ｙ’では、データ成分Ｄのエッジ部分ＥＰの輝度値が、入力輝度信号Ｙ０よりも高められている。
【００２８】
また、広範囲エッジ成分Ｅ２は、参照領域が広範な第２フィルタ３４によって検出されたエッジ成分であって、高周波成分が比較的少ない。すなわち、広範囲エッジ成分Ｅ２におけるノイズ成分Ｎの量は、ノイズ除去部３３で取り除かれる微小範囲エッジ成分Ｅ１のノイズ成分Ｎの量よりも少なくなる。したがって、ノイズ除去信号Ｆ１に広範囲エッジ成分Ｅ２が加算されて得られる処理済輝度信号Ｙ’では、ノイズ成分Ｎの量が、入力輝度信号Ｙ０におけるノイズ成分Ｎの量よりも小さくなる。
【００２９】
以上のように、本実施形態では、広範囲の画素の輝度信号を参照してエッジを強調すると共に、微小範囲における画素の輝度信号を参照してノイズを除去することにより、ノイズ成分Ｎを強調することなく、データ成分Ｄのエッジ強調を行うことができる。
【００３０】
また、内視鏡観察においては、一般的に、体内の水が溜まった部分が、光源からの光の反射によって、高輝度画素として観察され、その高輝度画素の周辺部ではキャッツアイや黒つぶれ等が発生しやすい。しかし、本実施形態では、高輝度画素の周辺部におけるノイズ強調が防止され、高輝度画素の周辺に発生する黒つぶれやキャッツアイの発生が防止される。
【００３１】
なお、本実施形態では、第１及び第２フィルタ３１、３４として、ラプラシアンフィルタ以外のフィルタを用いることが可能であって、例えば１次微分を行うためのフィルタが用いられても良い。また、ノイズ除去部で行われるノイズ除去としては、微小領域Ｒの輝度信号を用いてノイズを除去できるものであれば、特に限定されるものではない。例えば、微小領域Ｒ１の注目画素Ｐ０及び周辺画素Ｐ１の輝度信号の平均を求めることによってノイズが除去されても良い。またはその他のＬＰＦが用いられても良い。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態における内視鏡システムのブロック図である。
【図２】輪郭強調ブロックをさらに詳細に示すブロック図である。
【図３】微小領域における画素を示すための図である。
【図４】第１フィルタのオペレータを示すための図である。
【図５】広範囲領域における画素を示すための図である。
【図６】第２フィルタのオペレータを示すための図である。
【図７】輪郭強調ブロックで行われる信号処理の一例を示すための図である。
【符号の説明】
【００３３】
１０  スコープ
２０  プロセッサ
２３  輪郭強調ブロック
３１  第１フィルタ
３３  ノイズ除去部
３４  第２フィルタ
３５  エッジ強調部
Ｅ１  微小範囲エッジ成分
Ｅ２  広範囲エッジ成分
Ｆ１  ノイズ除去信号
Ｐ０  注目画素
Ｐ１  第１周辺画素
Ｐ２  第２周辺画素
Ｒ１  微小領域
Ｒ２  広範囲領域
Ｙ０  入力輝度信号
Ｙ’  処理済輝度信号
【図１】
2008288942.tif 000003
【図２】
2008288942.tif 000004
【図３】
2008288942.tif 000005
【図４】
2008288942.tif 000006
【図５】
2008288942.tif 000007
【図６】
2008288942.tif 000008
【図７】
2008288942.tif 000009