(57)【要約】【課題】追加の貯蔵空間なしに３×３補間と同時にエッジ強調が行える方法およびその装置を提供する。【解決手段】イメージを撮像するイメージセンサ；前記イメージセンサが撮像したイメージデータを受信して出力するラインバッファ；前記ラインバッファから出力されるイメージデータを貯蔵するレジスタ；前記レジスタに貯蔵されたイメージデータを受信して補間を行い、前記レジスタに貯蔵されたイメージデータのパターンを表示する選択信号を出力する補間部；前記補間部からの選択信号に応じて前記レジスタに貯蔵されたイメージデータを受信して前記補間部の補間遂行と同時にエッジ検出値を算出するエッジ検出部；および、前記エッジ検出部で検出したエッジ検出値により前記補間部の出力を強調するエッジ強調部を含むエッジ強調装置を提供する。【選択図】図４
2005056374.tif 000002
【特許請求の範囲】
【請求項１】
イメージを撮像するイメージセンサ；
前記イメージセンサが撮像したイメージデータを受信して出力するラインバッファ；
前記ラインバッファから出力されるイメージデータを貯蔵するレジスタ；
前記レジスタに貯蔵されたイメージデータを受信して補間を行い、前記レジスタに貯蔵されたイメージデータのパターンを表示する選択信号を出力する補間部；
前記補間部からの選択信号に応じて前記レジスタに貯蔵されたイメージデータを受信して前記補間部の補間遂行と同時にエッジ検出値を算出するエッジ検出部；および
前記エッジ検出部で検出したエッジ検出値により前記補間部の出力を強調するエッジ強調部を含むことを特徴とするエッジ強調装置。
【請求項２】
前記エッジ検出部は、前記補間部からの選択信号がイネーブルの場合に限ってエッジ検出値を算出することを特徴とする請求項１記載のエッジ強調装置。
【請求項３】
前記エッジ検出部で算出されたエッジ検出値と所定の臨界値（ＣＶ）とを比較する比較ブロックをさらに含み、前記エッジ強調部は、前記エッジ検出部により検出されたエッジ検出値が所定の臨界値を超過する場合に限って前記補間部の出力を強調することを特徴とする請求項１記載のエッジ強調装置。
【請求項４】
前記レジスタに貯蔵されているイメージデータに対するパターン情報信号を出力し、前記臨界値（ＣＶ）を設定して比較ブロックに提供するコントロールブロックをさらに含むことを特徴とする請求項３記載のエッジ強調装置。
【請求項５】
前記ラインバッファは、前記イメージセンサが撮像したイメージを受信して３ライン単位に出力することを特徴とする請求項１記載のエッジ強調装置。
【請求項６】
前記レジスタには、前記イメージデータが前記３×３の画素で構成されたウィンドウ単位に貯蔵されることを特徴とする請求項１記載のエッジ強調装置。
【請求項７】
前記エッジ検出部は、前記レジスタに貯蔵されたイメージデータの各画素のＧ値を受信し、前記３×３の画素で構成されたウィンドウの中心画素のＧ値をＧc、周辺の画素のＧ値をそれぞれＧ1、Ｇ2、Ｇ3、Ｇ4とする時、次の式
Ｘ＝４Ｇc−(Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4)によりエッジ検出値（Ｘ）を算出することを特徴とする請求項１記載のエッジ強調装置。
【請求項８】
前記比較ブロックは、前記臨界値（ＣＶ）と前記エッジ検出部から算出されたエッジ検出値（Ｘ）とを比較し、前記エッジ検出値（Ｘ）が前記臨界値（ＣＶ）を超過する場合には前記エッジ検出値（Ｘ）に加重値（ａ）をかけたａ・Ｘを出力し、前記エッジ検出値（Ｘ）が前記臨界値（ＣＶ）以下である場合には０を出力することを特徴とする請求項３記載のエッジ強調装置。
【請求項９】
前記補間部の出力は、Ｒ、Ｇ、Ｂ値を含み、前記エッジ強調部は、前記補間部からの出力のうちＧ値に前記比較ブロックからの出力を加算する加算器を含むことを特徴とする請求項１記載のエッジ強調装置。
【請求項１０】
イメージを撮像する段階；
ラインバッファが、前記イメージセンサが撮像したイメージデータを受信して出力する段階；
前記ラインバッファから出力されるイメージデータをレジスタに貯蔵する段階；
前記レジスタに貯蔵されたイメージデータを受信して補間を行い、前記レジスタに貯蔵されたイメージデータのパターンを表示する選択信号を出力する段階；
前記補間遂行と同時に前記レジスタに貯蔵されたイメージデータを受信してエッジ検出部でエッジ検出値（Ｘ）を算出する段階；および
前記エッジ検出部により検出されたエッジ検出値（Ｘ）によりエッジを強調する段階を含むことを特徴とするエッジ強調方法。
【請求項１１】
前記エッジを強調する段階は、
前記算出されたエッジ検出値（Ｘ）を前記補間部の出力に加算する段階を含むことを特徴とする請求項１０記載のエッジ強調方法。
【請求項１２】
前記エッジを強調する段階は、
前記臨界値（ＣＶ）と前記エッジ検出部で算出されたエッジ検出値（Ｘ）とを比較し、前記エッジ検出値（Ｘ）が前記臨界値（ＣＶ）を超過する場合には加重値（ａ）×エッジ検出値（Ｘ）を出力し、前記エッジ検出値（Ｘ）が前記臨界値（ＣＶ）以下である場合には０を出力する段階；および
前記算出された加重値（ａ）×エッジ検出値（Ｘ）または０を前記補間部の出力に加算する段階を含むことを特徴とする請求項１１記載のエッジ強調方法。
【請求項１３】
前記エッジを強調する段階は、
前記エッジ検出値（Ｘ）に対する所定の臨界値（ＣＶ）を設定する段階；
前記エッジ検出部により検出されたエッジ検出値（Ｘ）と前記所定の臨界値（ＣＶ）とを比較する段階；
前記エッジ検出値（Ｘ）が前記臨界値（ＣＶ）を超過する場合には加重値（ａ）×エッジ検出値（Ｘ）を出力する段階；
前記エッジ検出値（Ｘ）が前記臨界値（ＣＶ）以下である場合には０を出力する段階；および
前記算出された加重値（ａ）×エッジ検出値（Ｘ）または０を前記補間部の出力に加算する段階を含むことを特徴とする請求項１０記載のエッジ強調方法。
【請求項１４】
前記ラインバッファが前記イメージデータを出力する段階は、３ライン単位に出力することを特徴とする請求項１０記載のエッジ強調方法。
【請求項１５】
前記ラインバッファからのイメージデータを前記レジスタに貯蔵する段階は、３×３個の画素ウィンドウ単位に貯蔵されることを特徴とする請求項１０記載のエッジ強調方法。
【請求項１６】
前記イメージデータを受信して補間を行う段階は、前記レジスタに貯蔵されたイメージデータのパターンを表示する選択信号を出力する段階をさらに含むことを特徴とする請求項１０記載のエッジ強調方法。
【請求項１７】
前記エッジ検出値（Ｘ）を算出する段階は、前記選択信号がイネーブルの場合に限って行われることを特徴とする請求項１６記載のエッジ強調方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話用デジタルカメラなどの低画素数の携帯型デジタルカメラにおけるエッジ強調（edge enhancement）のための装置および方法に関し、さらに詳細には、エッジ強調のための別途のブロック無しに補間処理（interpolation）と同時に行えるエッジ強調処理方法および装置に関する。
【背景技術】
【０００２】
携帯電話用デジタルカメラなどの低画素数の携帯型デジタルカメラでは、画像センサの大きさ、レンズなどが小型で、原価低減のための映像処理ＩＣの機能単純化などにより撮影した映像が鮮明でない場合が多かった。特に、被写体の境界が崩れたように見える場合があるが、これを解決するために、エッジ強調（Edge Enhancement）方法を使用する。この方法によれば、被写体の境界線を強調してさらに鮮明な映像が得られる。
【０００３】
映像のエッジは、その映像に対する多くの情報を持っている。また、映像のエッジは、物体の位置、形状、大きさなどが変更される境界線を意味するものであって、映像の明度が低い値から高い値に、または高い値から低い値に変わる地点に存在する。
【０００４】
前述の如く、低画素数の携帯型デジタルカメラなどでは鮮明な映像を得るためにエッジ強調方法を使用しており、特に、エッジを強調するための方法には、様々な方法のうち、検出された出力を元の映像に加えて強調する方法が主として使用される。
【０００５】
まず、エッジを検出する方法は、入力される映像の種類や形状によって効果的な様々な方法があり、最も単純で迅速なエッジ検出方法は、中心画素と周辺画素の画素データ値を計算して最大値を決定するものであるが、具体的には、類似演算子（Homogeneity Operator）方法と差演算子（Difference Operator）方法がある。
【０００６】
図１ａおよび図１ｂに、それぞれ類似演算子方法と差演算子方法を説明するための図を示す。
【０００７】
図１ａに示すように、類似演算子方法では、３×３個の画素で構成されたウィンドウにおいて中心画素の画素値からその周りの８個の画素それぞれの画素値を減算しその差を求め、出力は各差の絶対値の中で最も大きい値にする。このように類似演算子方法では中心画素と周辺の８個の画素それぞれに対して減算を行うので合計８回の演算が要求される。
【０００８】
また、差演算子方法では、図１ｂに示すように、（１）左側上端の画素値と右側下端の画素値、（２）上端中間列の画素値と下端中間列の画素値、（３）右側上端の画素値と左側下端の画素値、そして、（４）中間行右端の画素値と中間行左端の画素値に対して減算が行われる。このように差演算子方法では画素当たり四つの減算が必要なので、類似演算子方法に比べて早い演算が可能である。
【０００９】
これら類似演算子方法および差演算子方法は、明度要素だけ存在する白黒映像に限って有効である。
【００１０】
白黒でないカラー映像におけるエッジ検出方法も様々あるが、通常、ＲＧＢ空間ではＲ、Ｇ、Ｂの各カラー要素の画素値に対して演算を行い、その結果を下記の式（１）に適用してグレースケールエッジマップを生成する。
【００１１】
【数１】
2005056374.tif 000003
【００１２】
ここで、Ｇredはレッド（Red）要素におけるエッジマップ、Ｇgreenはグリーン（Green）要素におけるエッジマップ、Ｇblueはブルー（blue）要素におけるエッジマップである。
【００１３】
しかし、ＨＳＶ（Hue、Saturation、Value；色相、彩度、明度）空間で、カラー映像のエッジは色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）のうち、明度要素（Ｖ）によっても検出されることができるので、全てのカラー要素を用いることなく、明度要素（Ｖ）だけを用いてエッジ検出を行ってもいい。
【００１４】
図２は、従来のエッジを強調する装置の概略的なブロック図である。
【００１５】
図２において、画像センサ２０１により撮像された映像は、ベイヤーパターン形態にラインメモリ２０２に貯蔵される。一方、カラー映像を表わしたい場合には少なくとも三つ以上のデータを必要とするが、これは三つの独立的なカラー（ＲＧＢ）の画素値から推論できる。カラー映像に対する一つのセンサは、センサの配列で構成されたＣＦＡ（Color Filter Array）を必要とする。このような配列の中でセンサの各画素は、多数のカラーのうち一つだけのカラーに対する画素値を抽出し、ＣＦＡを利用してそれぞれの画素に対する失った画素の情報をその周囲の画素に対する情報を利用することによって推論できる。このような方法が最も一般的な方法であり、ベイヤー（Bayer）パターンは最も一般的なＣＦＡとして知られている。すなわち、ＣＦＡを有するセンサを用いてカラー映像を復旧することを補間（interpolation）またはデモザイク（demosaicing）という。
【００１６】
ラインメモリ２０２に貯蔵された映像情報は、３×３ライン補間部２０３で補間処理されてＲＧＢパターンの映像となる。
【００１７】
補間部２０３で３×３ライン補間法によりベイヤーパターンに貯蔵された映像情報を３×３個の画素から構成されたウィンドウ単位に補間を行うと仮定する場合、ベイヤーパターンは以下の四つの形態のみ存在するので、３×３ウィンドウは図３に示したような四つのパターンのうち一つとなる。
【００１８】
００：ｒｇｒｇｒｇ．．．．．．
ｇｂｇｂｇｂ．．．．．．
０１：ｂｇｂｇｂｇ．．．．．．
ｇｒｇｒｇｒ．．．．．．
１０：ｇｂｇｂｇｂ．．．．．．
ｒｇｒｇｒｇ．．．．．．
１１：ｇｒｇｒｇｒ．．．．．．
ｂｇｂｇｂｇ．．．．．．
【００１９】
補間部２０３に図３のような３×３ラインベイヤーパターンが提供された時、ＲＧＢ値は、それぞれ下記のようになる。
【００２０】
（１）のような３×３ラインベイヤーパターンが提供される場合
Ｒ＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４、
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４、
Ｂ＝Ｂ１
（２）のような３×３ラインベイヤーパターンが提供される場合
Ｒ＝（Ｒ１＋Ｒ２）／２、
Ｇ＝Ｇ３、
Ｂ＝（Ｂ１＋Ｂ２）／２
（３）のような３×３ラインベイヤーパターンが提供される場合
Ｒ＝（Ｒ１＋Ｒ２）／２、
Ｇ＝Ｇ３、
Ｂ＝（Ｂ１＋Ｂ２）／２
（４）のような３×３ラインベイヤーパターンが提供される場合
Ｒ＝Ｒ１、
Ｇ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４、
Ｂ＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４、になる。
【００２１】
３×３ラインベイヤーパターンの補間法には、上述したように周辺ピクセル全体の算術平均を利用する方式の他にも、周辺ピクセルのうち最大および最小値を除いた残り値の算術平均を求める方法など、様々な方法がある。このような３×３ラインの補間法を行うためには３ラインのデータを同時に映像処理器に入力しなければならない。
【００２２】
補間部２０３で補間されたＲＧＢパターンは、ＹＣｂＣｒまたはＹＵＶパターン形成器２０４を経た後、メモリ２０５に貯蔵され、エッジ強調ブロック２０６でエッジ強調過程を行う。
【００２３】
しかし、上記のような従来方法を適用して補間およびエッジ強調のための映像処理ブロックを具現する場合、フレーム（Frame）単位に演算が行われることから入力映像と出力映像間に１フレームの遅延が生じ、また、フレーム単位に演算をすることから入力映像を臨時貯蔵するためのフレームバッファ（Frame Buffer）とエッジマップを貯蔵するための別途の貯蔵空間が必要となる。
【００２４】
一方、前述したように、携帯電話用デジタルカメラなどの低画素数の携帯型デジタルカメラの場合、画像センサの大きさ、レンズなどが小型で、原価低減のための映像処理ＩＣの機能単純化などにより、撮影した映像が鮮明でない場合が多く、特に、被写体の境界が崩れたように見える場合があるものの、エッジ強調方法を使って被写体の境界線を強調しさらに鮮明な映像を得ることができる。しかし、従来の技術に係るエッジ強調装置は、図２に示したように補間処理ブロック以外にエッジ強調のための機能ブロックが別途に要求される。
【００２５】
特許文献１には隣接解像度情報を線形補間手段により計算して高解像度情報を補間すると同時に、エッジ情報作成手段により作成されたエッジ情報を線形補間された高解像度情報に加算することによってエッジのシャープな高解像度情報が得られる画像処理装置を開示している。
【００２６】
しかし、前記文献に開示された画像処理装置もまた、補間処理の後に別途のエッジ強調処理過程を行う装置であって、前述したように補間処理ブロック以外に機能ブロックが別途要求され、携帯電話用デジタルカメラや携帯型デジタルカメラ内の映像処理装置には不向きだった。
【００２７】
携帯電話用デジタルカメラや携帯型デジタルカメラ内の映像処理ＩＣの大きさや単価に無理なく適用可能にするためには、別途の機能ブロック無しに補間（Interpolation）処理を行いながらエッジ強調を同時に行うことのできる方法が望まれている。
【００２８】
【特許文献１】特開平７−１０７２６８号公報
【発明の開示】
【発明が解決しようとする課題】
【００２９】
したがって、本発明の目的は、簡単な回路の追加でエッジを強調し、ＩＣ全体の大きさの大きな増加無しに鮮明な映像が得られるエッジ強調装置および方法を提供することにある。
【００３０】
本発明の他の目的は、エッジ強調を別途ブロックで構成する場合、必要なラインメモリおよびエッジマップなどを貯蔵するための別途の貯蔵空間無しにもエッジ強調が可能なエッジ強調装置および方法を提供することにある。
【００３１】
本発明のさらに他の目的は、補間とエッジ強調を別途の回路で構成する場合に発生する最大１フレームの出力遅延無しに、３×３補間とエッジ強調を同時に行うことによって数クロックの遅延だけでも出力可能なエッジ強調装置および方法を提供することにある。
【課題を解決するための手段】
【００３２】
本発明に係るエッジ強調装置は、イメージを撮像するイメージセンサ；前記イメージセンサが撮像したイメージデータを受信して出力するラインバッファ；前記ラインバッファから出力されるイメージデータを貯蔵するレジスタ；前記レジスタに貯蔵されたイメージデータを受信して補間を行い、前記レジスタに貯蔵されたイメージデータのパターンを表示する選択信号を出力する補間部；前記補間部からの選択信号に応じて前記レジスタに貯蔵されたイメージデータを受信して前記補間部の補間遂行と同時にエッジ検出値を算出するエッジ検出部；および、前記エッジ検出部で検出したエッジ検出値により前記補間部の出力を強調するエッジ強調部を含むことを特徴とする。
【００３３】
本発明に係るエッジ強調方法は、イメージを撮像する段階；ラインバッファが、前記イメージセンサが撮像したイメージデータを受信して出力する段階；前記ラインバッファから出力されるイメージデータをレジスタに貯蔵する段階；前記レジスタに貯蔵されたイメージデータを受信して補間を行い、前記レジスタに貯蔵されたイメージデータのパターンを表示する選択信号を出力する段階；前記補間遂行と同時に前記レジスタに貯蔵されたイメージデータを受信してエッジ検出部でエッジ検出値（Ｘ）を算出する段階；および、前記エッジ検出部により検出されたエッジ検出値（Ｘ）によりエッジを強調する段階を含むことを特徴とする。
【発明の効果】
【００３４】
本発明に係るエッジ検出および強調装置によれば、簡単な回路の追加でエッジを強調し、全体ＩＣ大きさの大きな増加なしに鮮明な映像を得ることができる。
【００３５】
また、本発明に係るエッジ検出および強調装置によれば、エッジ強調を別途のブロックで構成するとき必要なラインメモリおよびエッジマップなどを貯蔵するための別途の貯蔵空間を備えなくて済む。
【００３６】
また、本発明に係るエッジ検出および強調装置によれば、補間とエッジ強調を別途の回路で構成する場合に発生する最大１フレームの出力遅延を、３×３補間とエッジ強調を同時に行うことによって解消することができる。
【発明を実施するための最良の形態】
【００３７】
以下、添付図面を参照しつつ本発明を詳細に説明する。
【００３８】
本発明に係るエッジ強調装置および方法では様々な方法のうち最も簡単な方法である、映像データのうち明度成分よりエッジを検出して強調する方法を適用する。大部分のエッジが明度成分から検出されたエッジでも現れるので明度成分によりエッジを検出して強調することができるわけである。
【００３９】
明度成分はＹＣｂＣｒ（あるいは、ＹＵＶ）形式においてＹに該当するもので、下記のようなＣＣＩＲ−６０１  ＹＣｂＣｒカラー空間（Color Space）変換公式においてＹに対する式を見ると、Ｒの係数が７７、Ｇの係数が１５０、Ｂの係数が２９と、Ｒ、Ｇ、Ｂ三つの色成分のうち、Ｇ成分がＹに最も大きく影響を及ぼすことがわかり、よって、明度成分でエッジを検出、強調する場合、ＹＣｂＣｒのＹ成分を直接使用するか、ＲＧＢカラー空間におけるＧ成分を使用するといい。
【００４０】
＜ＣＣＩＲ−６０１  ＹＣｂＣｒカラー空間変換公式＞
Ｙ＝（７７Ｒ＋１５０Ｇ＋２９Ｂ）／２５６Ｒａｎｇｅ：１６〜２３５
Ｃｂ＝（−４４Ｒ−８７Ｇ＋１３１Ｂ）／２５６＋１２８Ｒａｎｇｅ：１６〜２４０
Ｃｒ＝（１３１Ｒ−１１０Ｇ−２１Ｂ）／２５６＋１２８Ｒａｎｇｅ：１６〜２４０
【００４１】
明度成分によりエッジを検出する方法において、画像センサが映像処理器を内蔵しており、補間処理過程を経たＲＧＢデータ、すなわち、ＹＵＶデータを出力する場合には、各画素の明度成分であるＹ値を利用してエッジを検出すればいいが、ＲＧＢデータだけを出力するセンサ、すなわち、映像処理器を内蔵しないセンサでＹ値を利用したい場合には、ＲＧＢフォーマットをＹＣｂＣｒまたはＹＵＶフォーマットに変換する過程が必要となるため、エッジを検出する過程に使用されるべき貯蔵空間がさらに必要となる。
【００４２】
本発明に係るエッジ強調装置および方法では、携帯電話などのモバイル機器に取り付けられるカメラなどの小型映像機器に補間とエッジ強調を適用可能にするために、その補間とエッジ強調を可能な限り簡単な構造でできるようにすることに目的があるので、前述のように明度に最も大きく影響を及ぼすＧ成分によりエッジを検出、強調する方法を適用する。
【００４３】
本発明に係るエッジ強調装置および方法に適用されるエッジ検出方法は、１フレームの映像に３×３ウィンドウを使用して３×３ウィンドウの中心画素Ｇ値と周辺画素のＧ値とを比較し、それらの差からエッジを検出する。
【００４４】
図３に示したような四つのベイヤーパターンの３×３ウィンドウに対して中心画素のＧ値と周辺Ｇ値の大きさを比較し、差の大きい部分をエッジと認識して強調する。
【００４５】
本発明に係るエッジ強調装置および方法は、補間作業と同時にエッジ検出を行うようにするものであって、エッジ強調対象となる映像データは未だ補間が行われておらず、まだ各画素にＲ、Ｇ、Ｂのうち一つの色情報だけがベイヤーパターン形態に存在するので、中心画素とその周辺の４画素のＧ値だけを比較する。
【００４６】
図３の（１）と（４）では中心画素にＧ値でないＢまたはＲ値が存在する。Ｇ値は、これらの値を基盤に補間の結果として生成されるデータであるので、実際画像センサが読み込んだ値でない加工されたデータである。したがって、図３の（１）と（４）ではエッジを計算しない。
【００４７】
図３の（２）と（３）では、中心画素（Ｇ３）のＧ値を４倍した値から、周辺画素の四つのＧの和（Ｇ１＋Ｇ２＋Ｇ４＋Ｇ５）を減算してエッジ検出値（Ｘ）を算出する。つまり、エッジ検出値（Ｘ）は、下記の式（２）により計算される。
【００４８】
エッジ検出値（Ｘ）＝４Ｇ３−（Ｇ１＋Ｇ２＋Ｇ４＋Ｇ５）‥‥‥（２）
ここで、中心画素（Ｇ３）のＧ値を４倍にする理由は、比較する周辺のＧが四つであるためである。仮に、この３×３ウィンドウで囲んだ部分にエッジが存在しないとすればこのウィンドウ内のあらゆるＧ値は略同一な値を出力することになり、上記方法のとおりに中心Ｇ値に４倍をした値から周辺のＧ値の合計を減算した結果は、略０に近い値、つまりエッジ検出値（Ｘ）≒０になる。逆に、ウィンドウにエッジが存在する場合には明度の差によって周辺の四つのＧ値のうち一部は他の値と大きな差を有するので、演算結果の絶対値は大きい値となり、これでエッジの検出が可能になる。
【００４９】
究極的な目的は可能な限り簡単にエッジ強調を可能にすることにあり、実際のエッジ位置より１画素ずれてエッジを検出、強調するとしても結果映像での効果は拡大／縮小を行わない状態で大差ないので、適用が可能である。
【００５０】
この場合、適切な臨界値を設定し、エッジ検出値（Ｘ）が臨界値以上ならエッジがあるものと判断し、臨界値以下ならエッジがないものと判断すればよい。
【００５１】
本発明に係るエッジ強調装置および方法では、エッジ強調処理時３×３補間動作を行う上で要求されるラインメモリを共有することによって、別途の貯蔵空間を追加することなくエッジ検出および強調を具現できる。
【００５２】
図４に、本発明に係るエッジ強調装置を具現した回路図を示す。以下、図４を参照して本発明に係るエッジ強調装置の動作をさらに詳細に説明する。
【００５３】
図４の回路によれば、イメージセンサ４１５で撮像されて多数の画素ラインから構成されたフレーム単位のイメージを構成する画像データが、ラインバッファ４０１に伝達される。ラインバッファ４０１は入力される画像データを一時貯蔵し、これを３×３ライン補間のために３ライン単位で出力し、これはレジスタ４０２を通じて補間部４０３に入力される。
【００５４】
レジスタ４０２は、最も左側からラインバッファ４０１の出力を受信し、毎クロックごとに右側にデータをシフトさせる。つまり、レジスタ４０２は、３×３ウィンドウに対応する画像データを貯蔵し、毎クロックごとに３×３ウィンドウが移動する効果を示す。これにより、３×３ウィンドウは毎クロックごとに右側に移動されて補間部４０３に入力される。
【００５５】
補間部４０３では、前記レジスタ４０２に貯蔵された３ラインの９個の画素に対する画像データを受信して前述したような３×３ライン補間を行う。
【００５６】
ＲＧＢ  ｔｏ  ＹＣｂＣｒ変換部４０４では、補間部４０３で補間処理されたＲＧＢ画像データをＹＣｂＣｒまたはＹＵＶタイプのデータに変換し、続くディスプレー装置または貯蔵装置に出力する。
【００５７】
図４の下端に示した付加的な回路４０５、４０６ではエッジ検出および強調機能を行う。
【００５８】
コントロールブロック４０５は、補間部４０３にパターンに対する情報を表わすパターン信号を伝達する。該パターン（pattern）信号は、イメージセンサ４１５が出力するベイヤーパターンの形態を補間部４０３に知らせる。
【００５９】
イメージセンサ４１５内に映像処理器を内蔵しない画像センサの場合、レジスタ４０２から補間部４０３に送られる信号はベイヤーパターンとなる。この場合、ベイヤーパターンは下記に例示したパターンのうち一つとなる。
【００６０】
００：ｒｇｒｇｒｇ．．．．．．
ｇｂｇｂｇｂ．．．．．．
０１：ｂｇｂｇｂｇ．．．．．．
ｇｒｇｒｇｒ．．．．．．
１０：ｇｂｇｂｇｂ．．．．．．
ｒｇｒｇｒｇ．．．．．．
１１：ｇｒｇｒｇｒ．．．．．．
ｂｇｂｇｂｇ．．．．．．
【００６１】
すなわち、コントロールブロック４０５は、上に示したパターン信号を用いて補間部４０３に現在伝達されているベイヤーパターンを知らせる。
【００６２】
レジスタ４０２に貯蔵された３×３ウィンドウを構成する画素において中心画素にＧ値が位置する場合、その値に４をかけ、周辺の四つのＧ値の和を減算してエッジ検出値（Ｘ）を出力する。
【００６３】
一方、レジスタ４０２に貯蔵された３×３ウィンドウを構成する画素において中心画素にＧ値が位置しない場合にはエッジ検出部のエッジ検出値（Ｘ）が加算器４０８に伝達されない。
【００６４】
図４に示した回路の補間およびエッジ強調動作をさらに詳細に説明する。まず、補間部４０３は、コントロールブロック４０５からのパターン信号を受信し、この信号より現在自分に入力されているベイヤーパターンを確認する。
【００６５】
補間部４０３は、入力されるパターンのウィンドウが図３の（１）または（４）のように中心にＧ値でないＢまたはＲ値が存在する場合には、エッジ検出部４０６に０の値を持つ選択信号を転送してエッジ検出部４０６が動作しないようにし、入力されるパターンのウィンドウが図３の（２）または（３）のように中心にＧ値を持つ場合には、エッジ検出部４０６のＡＮＤゲート４１４の入力として１を入力してエッジ検出部４０６の出力が加算器４０８に伝達されるようにする。
【００６６】
エッジ検出部４０６ではエッジを検出するためにレジスタ４０２に貯蔵された３×３ウィンドウの中心に位置したＧ値であるＧｃおよび周辺に位置した画素のＧ１、Ｇ２、Ｇ３およびＧ４に対する演算が行われる。エッジ検出値（Ｘ）は、下記の式により計算される。
エッジ検出値（Ｘ）＝４Ｇc−(Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4)  
【００６７】
エッジ検出部４０６での演算過程において、加算器４１０はＧ1とＧ3を加算してＧ1＋Ｇ3を出力し、乗算器４１１はＧcに４をかけて４Ｇcを出力し、加算器４１３はＧ2とＧ4を加算してＧ2＋Ｇ4を出力する。すると、加算器４１２は、前記加算器４１０の出力であるＧ1＋Ｇ3、乗算器４１１の出力である４Ｇcおよび加算器４１３の出力であるＧ2＋Ｇ4を加算してエッジ検出値（Ｘ）＝４Ｇc−（Ｇ1＋Ｇ2＋Ｇ3＋Ｇ4）を出力する。
【００６８】
前述したように、映像データのうちレジスタ４０２に貯蔵された３×３ウィンドウの該当する部分にエッジが存在しない場合、このウィンドウを構成する画素内のあらゆるＧ値は略同一な値を持ち、上の方法のとおりに中心のＧc値に４をかけ、これから周辺のＧ値の合計を減算した結果は略０となる。つまり、エッジ検出値（Ｘ）≒０になる。逆に、ウィンドウにエッジが存在する場合には、明度の差によって周辺の画素に存在するＧ値の一部は他の値と大きな差を持ち、演算結果の絶対値は大きな値となり、結果としてエッジ検出値（Ｘ）の大きさは異なってくる。
【００６９】
加算器４１２から出力されたエッジ検出値（Ｘ）は、補間部４０３からの出力である選択信号と共にＡＮＤゲート４１４に入力されてＡＮＤ演算される。補間部４０３はコントロールブロック４０５からのパターン信号に基づいてベイヤーパターンを確認し、レジスタ４０２に現在貯蔵されている３×３ウィンドウの中心にＧ値でないＲまたはＢ値が存在すると選択信号として０を伝達し、レジスタ４０２に現在貯蔵されている３×３ウィンドウの中心にＧ値が存在すると選択信号として１を伝達する。
【００７０】
選択信号が０の場合、つまり、ディセーブルされた場合は、レジスタに現在貯蔵されている画素ウィンドウの中心にＧ値でないＲまたはＢ値が存在することを意味するのでエッジ検出値（Ｘ）が加算器４０８に伝達されないし、選択信号が１の場合、つまりイネーブルされた場合は、レジスタに現在貯蔵されている画素ウィンドウの中心にＧ値が存在することを意味するので、そのエッジ検出値（Ｘ）が加算器４０８に伝達される。
【００７１】
エッジ検出値（Ｘ）は、加算器４０８により補間部４０３の出力のうちＧoutと加算されてＧoutを強調する。したがって、補間部４０３により補間された後エッジが存在する場合、強調されてＲＧＢ  ｔｏ  ＹＣｂＣｒ変換器４０４に伝達されるＧ’は、
Ｇ’＝Ｇout＋Ｘ
になる。
【００７２】
図５には、本発明の一実施例に係るエッジ強調装置を具現した回路図が示されている。図５の回路では、コントロールブロックでエッジ検出値に対する所定の臨界値（ＣＶ）を設定し、エッジ検出部４０６で検出したエッジ検出値（Ｘ）が所定の臨界値を越える場合に限って選択的にエッジを強調する。
【００７３】
図５の回路は、コントロールブロック５０５が所定の臨界値（ＣＶ）を設定し、エッジ検出値を臨界値と比較する比較ブロック５０７および乗算器５０９を有する以外は、図４の回路と略同様である。
【００７４】
エッジ検出部４０６の加算器５１２から出力されたエッジ検出値（Ｘ）は、補間部５０３からの出力である選択信号と共にＡＮＤゲート５１４に入力されてＡＮＤ演算される。補間部５０３はコントロールブロック５０５からのパターン信号に基づいてベイヤーパターンを確認し、レジスタ５０２に現在貯蔵されている３×３ウィンドウの中心にＧ値でないＲまたはＢ値が存在する場合には選択信号として０を伝達し、レジスタ５０２に現在貯蔵されている３×３ウィンドウの中心にＧ値が存在する場合には選択信号として１を伝達する。
【００７５】
選択信号が０の場合、つまり、レジスタに現在貯蔵されている画素ウィンドウの中心にＧ値でないＲまたはＢ値が存在する場合には比較ブロック５０７および乗算器５０９に伝達されなく、選択信号が１の場合、つまり、レジスタに現在貯蔵されている画素ウィンドウの中心にＧ値が存在する場合にはそのエッジ検出値（Ｘ）が比較ブロック５０７および乗算器５０９に伝達される。すると、比較ブロック５０７は入力される前記エッジ検出値（Ｘ）とコントロールブロック５０５からの特定の臨界値（ＣＶ）とを比較することによってエッジの存在有無を判断する。
【００７６】
コントロールブロック５０５から出力される臨界値（ＣＶ）は、望むエッジ強調程度にしたがって調整することができるが、臨界値（ＣＶ）を低く設定すると映像が少しだけ変化する部分、すなわち境界がはっきりしていない部分も強調するようになり、臨界値（ＣＶ）を高く設定すると映像が大きく変化する部分、つまり境界がはっきりしている部分を強調することになる。要するに、映像の種類および用途にしたがってエッジ強調の程度が異なり、エッジ強調の程度に応じて臨界値（ＣＶ）を適宜設定する必要がある。
【００７７】
例えば、８ビット映像フレームは、０ないし２５５のＧ値を持ち、通常、臨界値（ＣＶ）を６４程度に設定し、エッジ検出値（Ｘ）がそれ以上ならエッジが存在し、それ以下ならエッジが存在しないと判断するといい。
【００７８】
比較ブロック５０７は、エッジ検出値（Ｘ）と臨界値（ＣＶ）とを比較した結果、エッジが存在すると加重値ａを出力する。出力されたａは乗算器５０９でエッジ検出値（Ｘ）と乗算されてａ・Ｘとなり、これは、補間部５０３の出力のうちＧoutと加算器５０８で加算されてＧｏｕｔを強調する。したがって、補間部５０３で補間された後エッジが存在する場合、強調されてＲＧＢ  ｔｏ  ＹＣｂＣｒ変換器５０４に伝達されるＧ’は、
Ｇ’＝Ｇout＋ａ・Ｘ
となる。
【００７９】
上記の式から分かるように、補間部５０３の出力Ｇoutは、加重値ａの大きさによって強調される程度が異なってくる。加重値ａの範囲が大きすぎるとエッジ強調の程度を越し、映像のエッジが崩れたように見えることもある。したがって、ａは０＜ａ＜１範囲の値が好ましい。
【００８０】
比較ブロック５０７がエッジ検出値（Ｘ）と臨界値（ＣＶ）を比較した結果、エッジが存在しない場合には０を出力し、乗算器５０９でエッジ検出値（Ｘ）と乗算することによってエッジ検出値（Ｘ）は相殺される。したがって、エッジ補間部５０３からの出力Goutは強調されることなくそのままＲＧＢ  ｔｏ  ＹＣｂＣｒ変換器５０４に伝達される。つまり、
Ｇ’＝Ｇout
となる。
【００８１】
前述の如く、３×３補間を行う補間部５０３に３ラインの画像データを提供するためのレジスタ５０２を、エッジ検出および強調機能を行う下段の付加的な回路５０５、５０６、５０７、５０９が共通使用することから別途の貯蔵空間が必要とされなく、また、追加される回路も負担にならないような水準であるので、全体ＩＣ面積に大きく影響を及ぼさない。
【図面の簡単な説明】
【００８２】
【図１ａ】類似演算子方法と差演算子方法を説明するための図である。
【図１ｂ】類似演算子方法と差演算子方法を説明するための図である。
【図２】明度要素に対してのみエッジ検出を使用する方法を示す図である。
【図３】ベイヤーパターンが３×３ライン補間法により補間される場合に構成可能な四つの場合における３×３ウィンドウを示す図である。
【図４】本発明に係るエッジ強調装置を具現した回路図である。
【図５】本発明の一実施例に係るエッジ強調装置を具現した回路図である。
【符号の説明】
【００８３】
４０１  ラインバッファ
４０２  レジスタ
４０３  補間部
４０４  ＲＧＢ  ｔｏ  ＹＣｂＣｒ変換部
４０５  コントロールブロック
４０６  エッジ検出部
４１５  イメージセンサ
【図１ａ】
2005056374.tif 000004
【図１ｂ】
2005056374.tif 000005
【図２】
2005056374.tif 000006
【図３】
2005056374.tif 000007
【図４】
2005056374.tif 000008
【図５】
2005056374.tif 000009