(57)【特許請求の範囲】
【請求項１】
画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から、被写体の色情報を得る色情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データを求める第１の輝度データ生成手段と、前記撮像手段により得られた画像信号の全色信号からエッジ強調処理用の輝度データを求める第２の輝度データ生成手段と、前記第１及び第２の輝度データ生成手段の出力を択一的に切り換え出力する輝度データ切換手段と、前記色情報検出手段で得られた彩度又は色相に係る色情報に基づいて前記輝度データ切換手段を切り換え制御する選択信号を発生する選択信号発生手段とを備えていることを特徴とする画像処理装置。
【請求項２】
前記色情報検出手段は、前記画像信号の画素信号毎に色情報を検出するように構成されていることを特徴とする請求項１に係る画像処理装置。
【請求項３】
前記色情報検出手段は、前記画像信号の一画面全体の平均色情報を検出するように構成されていることを特徴とする請求項１に係る画像処理装置。
【請求項４】
前記色情報検出手段は、前記画像信号の特定サンプリングデータから一画面全体の平均色情報を検出するように構成されていることを特徴とする請求項１に係る画像処理装置。
【請求項５】
前記輝度データ切換手段は、前記画素信号毎に検出された色情報に基づいて画素信号毎に第１及び第２の輝度データ生成手段の出力を切り換えるように構成されていることを特徴とする請求項２に係る画像処理装置。
【請求項６】
前記輝度データ切換手段は、前記画像信号の一画面全体から検出された平均色情報に基づいて画面毎に第１及び第２の輝度データ生成手段の出力を切り換えるように構成されていることを特徴とする請求項３に係る画像処理装置。
【請求項７】
前記輝度データ切換手段は、前記画像信号の特定サンプリングデータから検出された一画面全体の平均色情報に基づいて画面毎に第１及び第２の輝度データ生成手段の出力を切り換えるように構成されていることを特徴とする請求項４に係る画像処理装置。
【請求項８】
画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体の色情報を検出する色情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号から生成されるエッジ強調処理用の輝度データと画像信号の全色信号から生成されるエッジ強調処理用の輝度データとを、混合比（１：０及び０：１を含む）を連続的に変えて混合し混合輝度データを生成する混合輝度データ生成手段と、前記色情報検出手段で得られた彩度又は色相に係る色情報に基づいて前記Ｇ信号から生成されるエッジ強調処理用の輝度データ及び画像信号の全色信号から生成されるエッジ強調処理用の輝度データの一方の輝度データの混合比を高くすると共に他方の輝度データの混合比を低くするように前記混合輝度データ生成手段の混合比を設定する手段とを備えていることを特徴とする画像処理装置。
【請求項９】
前記色情報検出手段は、前記画像信号の画素信号毎に色情報を検出するように構成されていることを特徴とする請求項８に係る画像処理装置。
【請求項１０】
画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データを求める第１の輝度データ生成手段と、前記撮像手段により得られた画像信号の全色信号からエッジ強調処理用の輝度データを求める第２の輝度データ生成手段と、前記エッジ情報検出手段で得られたエッジ情報よりエッジが存在する場合には前記第１の輝度データ生成手段の出力を、エッジが存在しない場合には前記第２の輝度データ生成手段の出力を選択する選択信号を発生する選択信号発生手段と、前記選択信号に基づいて、前記第１及び第２の輝度データ生成手段の出力を択一的に切り換えて出力する輝度データ切換手段とを備えていることを特徴とする画像処理装置。
【請求項１１】
前記エッジ情報検出手段は、前記撮像手段より得られる画像信号のＧ信号に基づく輝度データからエッジ情報を検出するように構成されていることを特徴とする請求項10に係る画像処理装置。
【請求項１２】
前記エッジ情報検出手段は、前記撮像手段より得られる画像信号の全色信号に基づく輝度データからエッジ情報を検出するように構成されていることを特徴とする請求項10に係る画像処理装置。
【請求項１３】
前記エッジ情報検出手段は、前記撮像手段から得られる画像信号の画素信号毎にエッジ情報を検出し、前記輝度データ切換手段は画像信号の画素信号毎に切り換えられるように構成されていることを特徴とする請求項10に係る画像処理装置。
【請求項１４】
画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データと画像信号の全色信号から生成されるエッジ強調処理用の輝度データとを、混合比（１：０及び０：１を含む）を連続的に変えて混合し混合輝度データを生成する混合輝度データ生成手段と、前記エッジ情報検出手段で得られたエッジ情報に基づいて、前記Ｇ信号から生成されるエッジ強調処理用の輝度データ及び画像信号の全色信号から生成されるエッジ強調処理用の輝度データの一方の輝度データの混合比を高くすると共に他方の輝度データの混合比を低くするように前記混合輝度データ生成手段の混合比を設定する手段とを備えていることを特徴とする画像処理装置。
【請求項１５】
前記エッジ情報検出手段は、前記撮像手段より得られる画像信号のＧ信号に基づく輝度データからエッジ情報を検出するように構成されていることを特徴とする請求項14に係る画像処理装置。
【請求項１６】
前記エッジ情報検出手段は、前記撮像手段より得られる画像信号の全色信号に基づく輝度データからエッジ情報を検出するように構成されていることを特徴とする請求項14に係る画像処理装置。
【請求項１７】
前記エッジ情報検出手段は、前記撮像手段から得られる画像信号の画素信号毎にエッジ情報を検出し、前記混合比設定手段は画像信号の画素信号毎に混合比を設定するように構成されていることを特徴とする請求項14に係る画像処理装置。
【請求項１８】
画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体の色情報を検出する色情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ部分の多寡状態を判定する像域判定手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データを求める第１の輝度データ生成手段と、前記撮像手段により得られた画像信号の全色信号からエッジ強調処理用の輝度データを求める第２の輝度データ生成手段と、前記第１及び第２の輝度データ生成手段の出力を切り換えて出力する輝度データ切換手段と、前記色情報検出手段で得られた色情報に基づいて前記輝度データ切換手段を切り換え制御する選択信号を発生する第１の選択信号発生部と、前記エッジ情報検出手段で得られたエッジ情報に基づいて前記輝度データ切換手段を切り換え制御する選択信号を発生する第２の選択信号発生部と、前記像域判定手段からの判定信号に基づいて前記第１の選択信号発生部と第２の選択信号発生部の選択信号を切り換え出力する選択信号切換部とを備えていることを特徴とする画像処理装置。
【請求項１９】
画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体の色情報を検出する色情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ部分の多寡状態を判定する像域判定手段と、前記撮像手段により得られた画像信号のうちのＧ信号から生成されるエッジ強調処理用の輝度データと画像信号の全色信号から生成されるエッジ強調処理用の輝度データとを、混合比（１：０及び０：１を含む）を連続的に変えて混合し混合輝度データを生成する混合輝度データ生成手段と、前記色情報検出手段で得られた色情報に基づいて、前記混合輝度データ生成手段の混合比を設定する第１の混合比設定手段と、前記エッジ情報検出手段で得られたエッジ情報に基づいて、前記混合輝度データ生成手段の混合比を設定する第２の混合比設定手段と、前記像域判定手段からの判定信号に基づいて前記第１の混合比設定手段と第２の混合比設定手段の設定信号を切り換え出力する混合比設定信号切換部とを備えていることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置、特に表示すべき画像のエッジ強調を含むデジタル画像処理部を備えた画像処理装置に関する。
【０００２】
【従来の技術】
一般に、画像のエッジ強調処理を行う場合には、画像中のエッジ成分を抽出し、その抽出されたエッジ成分を元の画像に加えるという手法が用いられている。そして、この場合、加えるエッジ成分は画像の輝度信号の高周波成分を抽出して得るようにしている。ＲＧＢ原色フィルタを用いた撮像素子において、この高周波成分を抽出するための輝度信号を生成する手法としては、(1) 画像中のＲＧＢ全ての色信号のうち、Ｇ（緑）信号のみを用いて輝度信号を生成する手法と、(2) 画像中のＲＧＢ全ての色信号を用いて輝度信号を生成する手法がある。
【０００３】
次に、このような２つの手法を用いて輝度信号を生成し、エッジ強調処理を行う従来の画像処理装置の構成例を図24に基づいて説明する。図24において、101 は撮像手段で、該撮像手段101 からベイヤーＲＧＢ配列画像信号が得られるようになっている。ベイヤーＲＧＢ配列画像信号はホワイトバランス部102 においてホワイトバランス処理を受けたのち、輝度データ生成部103 において、Ｒ（赤），Ｇ（緑），Ｂ（青）各色信号の出力をそれぞれＲ，Ｇ，Ｂで表すものとすると、２Ｇ又は（Ｒ＋２Ｇ＋Ｂ）／２より輝度データを生成し、その輝度データをハイパスフィルタ104 を通してエッジ成分を取り出し、エッジ強調度調整部105 でエッジ強調度を調整し、エッジ信号とする。一方、ホワイトバランス処理を受けた画像信号は色分離回路106 でＲＧＢ信号に画素単位で色分離され、次いで色補正・γ補正回路107 で色補正及びγ補正処理を受け、ＹＣ変換部108 でＲＧＢ信号はＹ，Ｃr ，Ｃb 信号に変換される。そして、ＹＣ変換部108 から出力される輝度信号Ｙに対して、加算回路109 において前記エッジ信号を加算して、エッジ強調された輝度信号Ｙを得るようになっている。
【０００４】
ところで、上記２つの手法には、それぞれ長所と短所とがある。すなわち、図25の（Ａ）はベイヤーＲＧＢ配列画素からなる画像の一部を示す図であるが、このようなベイヤーＲＧＢ配列の画像において、図25の（Ｃ）に示すように輝度信号ＹをＲＧＢ４画素（Ｒ＋２Ｇ＋Ｂ）から生成する場合は、図25の（Ｂ）に示すように輝度信号ＹをＧの２画素から生成する場合に対して、画像信号Ｓは２倍用いることになる。一方、ノイズＮはノイズリデューサーの原理から２1/2 倍にしかならない。よって、Ｓ／ＮはＧの２画素から生成するときを１／１＝１とすると、ＲＧＢ４画素から生成するときは２／２1/2 ＝２1/2 となり、ＲＧＢ４画素から生成する方が２1/2 倍よくなる。しかし、ＲＧＢ４画素を用いる場合は、本来の輝度情報が多く含まれていないＲ，Ｂの信号を輝度信号として用いるため、特に彩度の高い色同士の境界部分では強いエッジが発生し、不具合が生じる。
【０００５】
以上のように、輝度信号を生成する際にＧ信号のみを用いた場合と、ＲＧＢ全ての色信号を用いた場合には、上記のように長所と短所があるが、これをまとめて示すと表１のようになる。
【０００６】
【表１】
0003699873.tif 000002
【０００７】
次に、具体的な文献による従来技術を示すと、例えば特開平１０−１０８２０８号公報には、Ｇ信号から輪郭信号（エッジ成分）を抽出してエッジ強調を行う手法について開示がなされており、また特開平９−２６１５１３号公報には、ＭＩＸ（ミックス）方式とＮＡＭ（ノンアベレージミックス）方式という２種類の輪郭抽出法を画像の彩度によって切り換えるようにした輪郭（エッジ）強調方法について開示がなされている。ここで、ＭＩＸ方式とは表示すべき画像の光のＲＧＢ３原色等に相当する複数の信号を加算してから輪郭強調信号を生成するものであり、ＮＡＭ方式とは、前記複数の信号のそれぞれの輪郭強調信号のうち、黒方向に一番大きく強調されている信号を選択したものと、白方向に一番大きく強調されている信号を選択したものとを加算して輪郭強調信号を生成するものである。
【０００８】
【発明が解決しようとする課題】
上記のように、画像中のＧ信号のみを用いて輝度信号を生成してエッジ成分を抽出する手法と、画像中のＲＧＢ全ての色信号を用いて輝度信号を生成してエッジ成分を抽出する手法とでは、それぞれに上記のような長所と短所を合わせもっているという問題点がある。また、上記特開平９−２６１５１３号公報開示の輪郭強調手法においては、撮像素子の色フィルタ配列としてベイヤーＲＧＢ配列を用いている場合は、画像の色によっては、彩度のみによって２種類の輪郭抽出法を切り換えるだけでは、情報が不足し適確な処理ができないという問題点がある。更にＮＡＭ方式は、輪郭強調信号のうち、黒方向に一番大きく強調されたものと白方向に一番大きく強調されたものをそれぞれ選択し、加算する必要があるため、構成が複雑になるという問題点がある。
【０００９】
本発明は、従来の画像のエッジ強調処理方法における上記問題点を解消するためになされたもので、従来の各手法における長所のみを備えた簡単な構成のエッジ強調処理を含むデジタル画像処理部を備えた画像処理装置を提供することを目的とする。
また、本発明の他の目的は、エッジ強調処理用の輝度データ生成手法の切り換えが滑らかで、不自然さのないエッジ強調処理が行われる画像処理装置を提供することにある。
また、本発明の更に他の目的は、エッジ部分が多い画像に対しても、Ｓ／Ｎのよいエッジ強調処理された画像が得られるようにした画像処理装置を提供することにある。
また、本発明の更に他の目的は、エッジ部分が多い画像に対しても、エッジ強調処理用の輝度データ生成手法の切り換えが滑らかで、不自然さのないエッジ強調処理が行われる画像処理装置を提供することにある。
また、本発明の更に他の目的は、被写体の特性に応じて、Ｓ／Ｎのよいエッジ強調処理された画像が得られるようにした画像処理装置を提供することにある。  また、本発明の更に他の目的は、被写体の特性に応じて、Ｓ／Ｎがよく且つエッジ強調処理用の輝度データ生成手法の切り換えが滑らかで、不自然さのないエッジ強調処理された画像が得られるようにした画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記問題点を解決するため、本発明の第１の態様は、画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から、被写体の色情報を得る色情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データを求める第１の輝度データ生成手段と、前記撮像手段により得られた画像信号の全色信号からエッジ強調処理用の輝度データを求める第２の輝度データ生成手段と、前記第１及び第２の輝度データ生成手段の出力を択一的に切り換え出力する輝度データ切換手段と、前記色情報検出手段で得られた彩度又は色相に係る色情報に基づいて前記輝度データ切換手段を切り換え制御する選択信号を発生する選択信号発生手段とを備えていることを特徴とするものである。
【００１１】
このように色情報検出手段で得られた彩度又は色相に係る色情報に基づいて、Ｇ信号から輝度データを求める第１の輝度データ生成手段の出力と、画像信号の全色信号から輝度データを求める第２の輝度データ生成手段の出力が択一的に切り換えて出力されるようになっているので、色情報に対応した最適な輝度データに基づいてエッジ強調成分を抽出することが可能となり、Ｓ／Ｎがよく高彩度領域や低彩度領域でのエッジノイズの発生の少ないエッジ強調処理が可能となる。
【００１２】
また、本発明の第２の態様は、画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体の色情報を検出する色情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号から生成されるエッジ強調処理用の輝度データと画像信号の全色信号から生成されるエッジ強調処理用の輝度データとを、混合比（１：０及び０：１を含む）を連続的に変えて混合し混合輝度データを生成する混合輝度データ生成手段と、前記色情報検出手段で得られた彩度又は色相に係る色情報に基づいて前記Ｇ信号から生成されるエッジ強調処理用の輝度データ及び画像信号の全色信号から生成されるエッジ強調処理用の輝度データの一方の輝度データの混合比を高くすると共に他方の輝度データの混合比を低くするように前記混合輝度データ生成手段の混合比を設定する手段とを備えていることを特徴とするものである。
【００１３】
このように彩度又は色相に係る色情報に基づいて、Ｇ信号から生成される輝度データと全色信号から生成される輝度データとを、混合比を連続的に変えて混合輝度データを生成するようになっているので、色情報に対応した最適な輝度データが滑らかに変えられ、不自然さのないエッジ強調処理を行うことが可能となる。
【００１４】
また、本発明の第３の態様は、画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データを求める第１の輝度データ生成手段と、前記撮像手段により得られた画像信号の全色信号からエッジ強調処理用の輝度データを求める第２の輝度データ生成手段と、前記エッジ情報検出手段で得られたエッジ情報よりエッジが存在する場合には前記第１の輝度データ生成手段の出力を、エッジが存在しない場合には前記第２の輝度データ生成手段の出力を選択する選択信号を発生する選択信号発生手段と、前記選択信号に基づいて、前記第１及び第２の輝度データ生成手段の出力を択一的に切り換えて出力する輝度データ切換手段とを備えていることを特徴とするものである。
【００１５】
このようにエッジ情報検出手段で得られたエッジの有無情報に基づいて、Ｇ信号から生成される輝度データと全色信号から生成される輝度データが切り換えられて出力されるようになっているので、エッジ部分の多い画像においても、エッジ情報に対応した最適な輝度データに基づいてエッジ強調処理を行うことが可能となる。
【００１６】
また、本発明の第４の態様は、画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データと画像信号の全色信号から生成されるエッジ強調処理用の輝度データとを、混合比（１：０及び０：１を含む）を連続的に変えて混合し混合輝度データを生成する混合輝度データ生成手段と、前記エッジ情報検出手段で得られたエッジ情報に基づいて、前記Ｇ信号から生成されるエッジ強調処理用の輝度データ及び画像信号の全色信号から生成されるエッジ強調処理用の輝度データの一方の輝度データの混合比を高くすると共に他方の輝度データの混合比を低くするように前記混合輝度データ生成手段の混合比を設定する手段とを備えていることを特徴とするものである。
【００１７】
このようにエッジ情報に基づいて、Ｇ信号から生成される輝度データと全色信号から生成される輝度データとを、混合比を連続的に変えて混合輝度データを生成するようになっているので、エッジ情報に対応した最適な輝度データが滑らかに変えられ、エッジ部分の多い画像においても不自然さのないエッジ強調処理を行うことができる。
【００１８】
また、本発明の第５の態様は、画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体の色情報を検出する色情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ部分の多寡状態を判定する像域判定手段と、前記撮像手段により得られた画像信号のうちのＧ信号からエッジ強調処理用の輝度データを求める第１の輝度データ生成手段と、前記撮像手段により得られた画像信号の全色信号からエッジ強調処理用の輝度データを求める第２の輝度データ生成手段と、前記第１及び第２の輝度データ生成手段の出力を切り換えて出力する輝度データ切換手段と、前記色情報検出手段で得られた色情報に基づいて前記輝度データ切換手段を切り換え制御する選択信号を発生する第１の選択信号発生部と、前記エッジ情報検出手段で得られたエッジ情報に基づいて前記輝度データ切換手段を切り換え制御する選択信号を発生する第２の選択信号発生部と、前記像域判定手段からの判定信号に基づいて前記第１の選択信号発生部と第２の選択信号発生部の選択信号を切り換え出力する選択信号切換部とを備えていることを特徴とするものである。
【００１９】
このように、被写体のエッジ部分の多寡状態を判定する像域判定手段からの判定信号に基づいて、色情報により輝度データ切換手段を切り換え制御する選択信号と、エッジ情報により輝度データ切換手段を切り換え制御する選択信号とを切り換え出力するようにしているので、被写体の特性に応じてＳ／Ｎのよいエッジ強調処理を行うことができる。
【００２０】
また、本発明の第６の態様は、画像のエッジ強調処理部を有する画像処理装置において、被写体光をベイヤーＲＧＢ配列画像信号に変換する撮像手段と、該撮像手段により得られた画像信号から被写体の色情報を検出する色情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ情報を検出するエッジ情報検出手段と、前記撮像手段により得られた画像信号から被写体のエッジ部分の多寡状態を判定する像域判定手段と、前記撮像手段により得られた画像信号のうちのＧ信号から生成されるエッジ強調処理用の輝度データと画像信号の全色信号から生成されるエッジ強調処理用の輝度データとを、混合比（１：０及び０：１を含む）を連続的に変えて混合し混合輝度データを生成する混合輝度データ生成手段と、前記色情報検出手段で得られた色情報に基づいて、前記混合輝度データ生成手段の混合比を設定する第１の混合比設定手段と、前記エッジ情報検出手段で得られたエッジ情報に基づいて、前記混合輝度データ生成手段の混合比を設定する第２の混合比設定手段と、前記像域判定手段からの判定信号に基づいて前記第１の混合比設定手段と第２の混合比設定手段の設定信号を切り換え出力する混合比設定信号切換部とを備えていることを特徴とするものである。
【００２１】
このように、被写体のエッジ部分の多寡状態を判定する像域判定手段からの判定信号に基づいて、色情報により混合輝度データ生成手段の混合比を設定する第１の混合比設定手段の設定信号と、エッジ情報により混合輝度データ生成手段の混合比を設定する第２の混合比設定手段の設定信号とを切り換えて出力するようにしているので、被写体の特性に応じてＳ／Ｎのよい滑らかな不自然さのないエッジ強調処理を行うことができる。
【００２２】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る画像処理装置の第１の実施の形態を示すブロック構成図である。図１において、１はベイヤーＲＧＢ配列画像信号を出力する撮像手段、２はホワイトバランス部、３は画像信号を画素単位でＲＧＢ信号に分離する色分離回路、４は色補正・γ補正回路、５はＹＣ変換回路、６はＹＣ変換回路５から出力されるＣr ，Ｃb 色信号に基づいて色情報を検出する色情報検出手段、７は色情報検出手段６から出力される色情報信号に基づいてセレクト信号を生成するセレクト信号発生部、８はホワイトバランス部２でホワイトバランス処理された画像信号のＧ信号に基づいてエッジ強調処理用の輝度データを生成する第１の輝度データ生成部、９は画像信号の（Ｒ＋２Ｇ＋Ｂ）／２に基づいてエッジ強調処理用の輝度データを生成する第２の輝度データ生成部、10は前記セレクト信号発生部７からのセレクト信号に基づいて第１の輝度データ生成部８からの輝度データと第２の輝度データ生成部９からの輝度データのいずれかを選択出力させるためのセレクタ、11は選択出力された輝度データからエッジ成分を抽出するためのハイパスフィルタ、12はエッジ強調度調整部、13は強調度の調整されたエッジ信号をＹＣ変換回路５からの輝度信号Ｙに加算するための加算回路である。
【００２３】
次に、このように構成された第１の実施の形態の動作について説明する。撮像手段１から得られたベイヤーＲＧＢ配列画像信号をホワイトバランス部２で処理した後、色分離回路３でＲＧＢ信号に色分離し、色補正・γ補正回路４で色補正とγ補正処理を行い、ＹＣ変換回路５でＹＣ変換するまでは従来のものと同じである。本発明に係る第１の実施の形態では、ＹＣ変換回路５から得られたＣr ，Ｃb 色信号に基づいて色情報検出手段６で色情報を検出し、この色情報に基づいてセレクト信号発生部７でセレクト信号を発生する。また、撮像手段１からのホワイトバランス処理されたベイヤーＲＧＢ配列画像信号は、第１及び第２の輝度データ生成部８，９へそれぞれ入力され、第１の輝度データ生成部８からは２Ｇ信号に基づいた輝度データが生成され、第２の輝度データ生成部９からは（Ｒ＋２Ｇ＋Ｂ）／２信号に基づいた輝度データが生成され、セレクタ10に入力される。そして、前記セレクト信号発生部７からのセレクト信号に基づいて、セレクタ10において色情報に応じたいずれかの輝度データが選択して出力される。選択された輝度データはハイパスフィルタ11を通してエッジ成分が抽出され、エッジ強調度調整部12においてエッジ強調度が調整されたエッジ信号が生成され、加算回路13においてＹＣ変換回路５からの輝度信号Ｙに加算されて、エッジ強調処理が行われる。
【００２４】
これにより、色情報に応じて適切なエッジ強調処理用の輝度データが選択され、すなわち、彩度に関して低彩度の場合には第２の輝度データ生成部９からの輝度データを用いてエッジ信号を生成し、高彩度の場合には第１の輝度データ生成部８からの輝度データを用いてエッジ信号が生成される。これにより、低彩度画像あるいは高彩度画像においてＳ／Ｎのよいエッジノイズの少ないエッジ強調処理が行われる。また、色相に関しては、ある特定の色相、例えばＧ，マジェンタ（Ｍg ）のときは第２の輝度データ生成部からの輝度データを用い、それ以外の色相のときは第１の輝度データを用いてエッジ信号を生成する。これにより、被写体の色相に応じてＳ／Ｎのよいエッジノイズの少ないエッジ強調処理が行われる。
【００２５】
次に、色情報検出手段６で行う色情報の検出について、更に詳細に説明する。まず、Ｃr ，Ｃb 色信号から検出される色情報としては、画像の彩度、色相、彩度及び色相の３種類がある。また色情報の検出並びにそれに基づく輝度データの切り換え手法としては、被写体画像の画素毎の色情報を検出する手法、被写体画像全体の平均色情報を検出する手法、被写体画像の特定のサンプリング部分の色情報から画面全体の平均色情報を検出する手法と、これに基づく輝度データの切り換え手法がある。
【００２６】
基本的な色情報の検出並びに切り換え手法は、画素毎の色情報を検出し切り換える手法であるが、この手法によれば、被写体画像内に有彩色及び無彩色画素が混在していても、Ｓ／Ｎのよい適確なエッジ強調処理ができる。一方、被写体全体の平均色情報を検出し切り換える手法では、有彩色、無彩色画素が混在している場合、部分的に適確な処理ができなくなる可能性があるが、切り換わりポイントがなくなるため不自然さのないエッジ強調処理が得られるというメリットがある。また、特定のサンプリングデータから色情報を検出し切り換える手法は、上記被写体全体の平均色情報を検出し切り換える手法の変形であるが、画面全体のデータではなく、特定間隔でサンプリングした画素のデータを用いて画面全体の平均色情報を検出し切り換える手法で、色情報検出手段における演算器やメモリの規模を小さくすることができるという利点が得られる。
【００２７】
次に、色情報として彩度、色相、彩度＋色相を用いる場合における、それらの具体的な検出方法について説明する。まず、Ｃr ，Ｃb 色信号から彩度を検出する手法を図２に基づいて説明する。図２は原色フィルタ画像においてＣr ，Ｃb を座標軸とする色度図で、Ｃr ，Ｃb 色信号がそれぞれＣr1，Ｃb1である場合、彩度Ｃ１は、色度図上の原点からの距離で表される。すなわちＣ１は、次式（１）で表される。
Ｃ１＝（Ｃb12 ＋Ｃr12 ）1/2   ・・・・・・・・・・（１）
そして、検出された彩度Ｃ１が高彩度の場合は、セレクト信号発生部７からは第１の輝度データ生成部８からの輝度データがセレクタ10で選択されるようにセレクト信号を発生し、一方、彩度Ｃ１が低彩度の場合は、セレクト信号発生部７からは第２の輝度データ生成部９からの輝度データがセレクタ10で選択されるようにセレクト信号を発生する。
【００２８】
次に、Ｃr ，Ｃb 色信号から色情報として色相を検出する手法を、図３の色度図に基づいて説明する。図３に示すように、色相θc は色度図上で例えばＣb 軸からの角度で表される（なお、色度図の第１象限を基準に位相が表されるものとする）。すなわち色相θc は次式（２）で表される。
θc ＝ tan-1（Ｃr1／Ｃb1）  ・・・・・・・・・・・（２）
そして、検出された色相θc がＧ又はＭg である場合は、画像信号の（Ｒ＋２Ｇ＋Ｂ）／２に基づいてエッジ成分抽出用の輝度データを生成する第２の輝度データ生成部９からの輝度データをセレクタ10が選択するようにセレクト信号を発生させ、色相θc がＧ又はＭg 以外の場合は、画像信号の２Ｇに基づいてエッジ成分抽出用の輝度データを生成する第１の輝度データ生成部８からの輝度データをセレクタ10が選択するようにセレクト信号を発生させる。
【００２９】
次に、Ｃr ，Ｃb 色信号から色情報として（彩度＋色相）を検出する手法を、図４の色度図を用いて説明する。図４に示すように、（彩度＋色相）Ｃ２は色度図で彩度ＣをＧ−Ｍg を結ぶ直線Ｌからの距離として求められる。これにより色相も考慮した値とすることができる。更に、これについて説明すると、Ｇ−Ｍg ラインＬをｙ＝ａｘ（原点を通る）とすると、Ｇ−Ｍg ラインと点Ｃ（Ｃb2，Ｃr2）との距離Ｃ２は、以下のようにして求められる。まず、ＣからラインＬに下ろした垂線ＶＬは、傾きが−１／ａで点（Ｃb2，Ｃr2）を通る直線であるから、ｙ＝−ｘ／ａ＋Ｃr2＋Ｃb2／ａと表される。次にラインＬと垂線ＶＬとの交点（Ｃb3，Ｃr3）は、ＬとＶＬとの連立方程式を解いて、Ｃb3＝（ａ×Ｃr2＋Ｃb2）／（ａ2 ＋１），Ｃr3＝ａ×Ｃb3となる。よって、点（Ｃb2，Ｃr2）と点（Ｃb3，Ｃr3）との距離（彩度＋色相）Ｃ２は、次式（３）で表され、Ｃb2，Ｃr2，ａの値から求められる。
Ｃ２＝｛（Ｃb2−Ｃb3）2 ＋（Ｃr2−Ｃr3）2 ｝1/2   ・・・・（３）
【００３０】
このように、色情報として（彩度＋色相）を用いた場合には、色相と彩度の両方を考慮した方式となり、彩度及び色相のいずれの色情報を用いた場合にも、２Ｇに基づいた輝度データを選択するように判定されたときのみ、２Ｇに基づく輝度データを選択するようにし、それ以外の場合は（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを選択する
【００３１】
以上、検出される色情報として、彩度、色相、（彩度＋色相）を用いた場合に選択されるエッジ強調処理用の輝度データを、まとめて示すと、表２のようになる。
【００３２】
【表２】
0003699873.tif 000003
【００３３】
次に、本発明の第２の実施の形態について説明する。図５は第２の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同一の構成要素には同一の符号を付して示し、その説明を省略する。この実施の形態においては、輝度データ生成部として、２Ｇに基づく輝度データと（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成できると共に、その間の両者の混合比を連続的に変化させた混合輝度データを生成させるようにした、単一の混合輝度データ生成部21を設けている。そして、この混合輝度データ生成部21における混合比を制御するための混合比設定手段となる重み付け係数生成部22を備え、該重み付け係数生成部22は色情報検出手段６により検出された色情報に基づいて重み付け係数ａを生成するようになっている。なお、この実施の形態は画素毎に輝度データを切り換える場合にのみ適用される。
【００３４】
上記混合輝度データ生成部21においては、輝度データＹは、次式（４）で示す方式で生成されるようになっている。
Ｙ＝２Ｇ×ａ＋（Ｒ＋Ｂ）×（１−ａ）  ・・・・・・・・・・（４）
ここで、ａは重み付け係数生成部22で生成される重み付け係数で、該係数ａが１の場合は２Ｇに基づく輝度データを生成し、係数ａが 0.5の場合は（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成し、係数ａが 0.5〜１の場合は、両者が混合された輝度データが生成される。これにより、輝度データの切り換わり境界部に、エッジ強調における不自然さをなくすことができる。
【００３５】
次に、色情報に基づいて生成する重み付け係数の設定において、中間の過渡領域における重み付け係数ａの設定方法について説明する。まず、彩度情報に基づく重み付け係数ａの設定を図６に基づいて説明する。この図６に示した設定例における重み付け係数ａの設定手法では、彩度Ｃがｓ（低彩度閾値）より小さい低彩度の場合は、係数ａを 0.5に設定する。これにより、混合輝度データ生成部21では、Ｙ＝２Ｇ×ａ＋（Ｒ＋Ｂ）（１−ａ）＝（Ｒ＋２Ｇ＋Ｂ）／２となり、これに基づく輝度データが生成される。彩度Ｃがｔ（高彩度閾値）より大きい高彩度の場合は、係数ａを１に設定する。これにより、Ｙ＝２Ｇ×ａ＋（Ｒ＋Ｂ）（１−ａ）＝２Ｇとなり、これに基づく輝度データが生成される。
【００３６】
一方、彩度Ｃが、ｓ＜Ｃ＜ｔの場合、すなわち画像彩度が中間の場合は、係数ａはａ＝ｍ（Ｃ−ｓ）＋0.5 となる。ここでｍは傾きで、ｍ＝ 0.5／（ｔ−ｓ）で表される。このように中間の過渡領域では重み付け係数ａは直線的に変えられ、これに基づいて混合した輝度データが生成されることになる。この設定例では、中間の過渡領域における重み付け係数を直線的に変化させるようにしているので、過渡領域の重み付け係数及び輝度データの生成における演算が簡単である。
【００３７】
次に、彩度情報に基づく重み付け係数の他の設定例を、図７に基づいて説明する。この設定例における重み付け係数ａの設定手法において、彩度Ｃがｓより小さい低彩度の場合は係数ａを 0.5に設定し、これにより混合輝度データ生成部21では、Ｙ＝２Ｇ×ａ＋（Ｒ＋Ｂ）（１−ａ）＝（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成し、彩度Ｃがｔより大きい高彩度の場合は係数ａを１に設定し、これにより混合輝度データ生成部21では、Ｙ＝２Ｇ×ａ＋（Ｒ＋Ｂ）（１−ａ）＝２Ｇに基づく輝度データを生成するようにした点は、先の設定例と同じである。この設定例では、彩度Ｃがｓ＜Ｃ＜ｔの場合、すなわち画像彩度が中間の過渡領域の場合は、係数ａを 0.5から１まで滑らかに曲線的に変化するような関数関係｛ａ＝Ｆ（Ｃ）｝をもたせて設定するものである。
【００３８】
この場合、混合輝度データ生成部21からは、Ｙ＝２Ｇ×Ｆ（Ｃ）＋（Ｒ＋Ｂ）｛１−Ｆ（Ｃ）｝に基づく輝度データが生成される。したがって、低彩度領域と高彩度領域との間の中間彩度領域における重み付け係数ａが滑らかに変化するので、各領域の境界の輝度データ並びにそれに基づく強調処理用のエッジ信号を滑らかに変化させることができる。
【００３９】
次に、彩度情報に基づく重み付け係数の更に他の設定例を、図８に基づいて説明する。この設定例においては、画像信号の最も低い彩度部分の重み付け係数ａを 0.5とし、最も高い彩度部分の重み付け係数ａを１として、閾値ｓ，ｔに関係なく、その間の低彩度領域、中彩度領域、高彩度領域を滑らかに結ぶ曲線を示す関数関係｛ａ＝Ｆ（Ｃ）｝をもたせて設定するものである。
【００４０】
この場合は、混合輝度データ生成部21からは、Ｙ＝２Ｇ×Ｆ（Ｃ）＋（Ｒ＋Ｂ）｛１−Ｆ（Ｃ）｝に基づいて輝度データが生成される。したがって、彩度の各領域に亘って滑らかに曲線的に重み付け係数ａを変化させ、それに基づく輝度データ並びに強調処理用のエッジ信号を、より一層滑らかに変化させて出力することができる。
【００４１】
次に、色情報として色相を用いた場合における重み付け係数ａの中間過渡領域の設定を、図９に基づいて説明する。この図９に示した設定例における重み付け係数ａの設定手法では、色相θがＧ及びＭg を示す値のときは、重み付け係数ａを 0.5に設定する。これにより、混合輝度データ生成部21では、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成する。これに対して、色相θがＧ及びＭg 以外を示す値のときに、重み付け係数ａを１に設定すると、急激な変化となり境界部にノイズ等の発生するおそれがあるので、色相θがＧ及びＭg の近傍以外の値のときに、重み付け係数ａを１に設定し、これによりＹ＝２Ｇに基づく輝度データを生成させる。一方、色相θがＧとＭg の近傍を示す値のときは、重み付け係数ａは 0.5と１を結ぶ直線に沿って変化するように設定する。これにより、色相θがＧとＭg の近傍領域では（Ｒ＋２Ｇ＋Ｂ）／２と２Ｇとの混合比を変化させたものに基づいて輝度データが生成され、急激な変化が避けられる。この場合は、ＧとＭg の近傍の過渡領域の重み付け係数ａは直線的に変化させるようにしているので、過渡領域の重み付け係数ａ等の演算を容易に行うことができる。
【００４２】
次に、色相情報に基づく重み付け係数の他の設定例を、図10に基づいて説明する。この設定例における重み付け係数ａの設定において、色相θがＧ又はＭg を示す値のときは、係数ａを 0.5に設定し、これにより混合輝度データ生成部21をでは、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成し、色相θがＧ又はＭg 付近以外を示す値のときは、係数ａを１に設定し、これにより混合輝度データ生成部21では、Ｙ＝２Ｇに基づく輝度データを生成するようにした点は、先の設定例と同じである。この設定例では、色相θがＧ又はＭg の近傍の場合は、係数ａを 0.5から１まで滑らかに曲線的に変化するような関係をもたせて設定するものである。
【００４３】
この場合は、混合輝度データ生成部21からはＹ＝（Ｒ＋２Ｇ＋Ｂ）／２とＹ＝２Ｇの混合比を滑らかに変化させたものに基づいて輝度データが生成され、したがって、色相θがＧとＭg の近傍における重み付け係数ａが滑らかに変化するので、この境界領域の輝度データ並びにそれに基づく強調処理用のエッジ信号を滑らかに変化させることができる。
【００４４】
なお、上記設定例においては、色相θがＧ又はＭg 付近以外を示す値のときは、重み付け係数ａを１に設定する方法を示したが、色相θがＧ又はＭg 以外を示す値のときには、重み付け係数ａをＧ又はＭg 以外の他の色相に対して、 0.5〜１の任意の値をもつように曲線的に変化させるように設定してもよい。これにより、色相Ｇ又はＭg 以外の色相に対して任意の値の重み付け係数を設定しながら、Ｇ又はＭg の色相領域と他の色相領域に基づく輝度データ並びに強調処理用のエッジ信号を滑らかに変化させることができる。
【００４５】
次に、第３の実施の形態について説明する。図11は、第３の実施の形態を示すブロック構成図で、図１及び図５に示した第１及び第２の実施の形態と同一の構成要素には同一の符号を付して示し、その説明を省略する。この実施の形態は、画像の色情報ではなく画像のエッジ情報を用いてエッジ強調処理用の輝度データの生成手段を切り換えるように構成するものである。すなわち、ホワイトバランス処理を受けたベイヤーＲＧＢ配列画像信号から一次的に概略の画像のエッジの情報、つまりエッジ部であるか否かを検出するエッジ検出手段31を設け、このエッジ検出手段31からのエッジ情報に基づいて、セレクト信号発生部32からセレクト信号を発生させ、このセレクト信号に基づいて第１の輝度データ生成部８又は第２の輝度データ生成部９のいずれかの輝度データを選択する。すなわち、エッジが存在する場合は、第１の輝度データ生成部８からのＹ＝２Ｇに基づく輝度データを選択し、エッジが検出されない場合は、第２の輝度データ生成部９からのＹ＝（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを選択する。そして、選択された輝度データから第１及び第２の実施の形態と同様に、エッジ成分を抽出して、加算強調処理用のエッジ信号を生成するようになっている。
【００４６】
このように、画像エッジ情報を輝度データの生成の切り換えに用いることにより、被写体に応じて適応的に輝度データの生成手法が切り換えられ、被写体に応じてＳ／Ｎのよいエッジ強調された画像を得ることができる。そして、第１の輝度データ生成部の輝度データを選択し、Ｇ一色だけに基づいて生成された輝度データを用いた場合には、高彩度画像でＳ／Ｎのよい輝度データを得ることができ、一方、第２の輝度データを選択し、全色に基づいて生成された輝度データを用いた場合には、低彩度画像でＳ／Ｎのよい輝度データを得ることができる。
【００４７】
また、上記エッジ検出手段31において画像よりエッジを求める際、輝度信号としては、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／２を用いてもよいし、またＹ＝２Ｇを用いてもよい。輝度信号としてＹ＝（Ｒ＋２Ｇ＋Ｂ）／２を用いる場合は、全ての色エッジを検出することができ、また輝度信号としてＹ＝２Ｇを用いる場合は、エッジ検出手段の演算が容易である。なお、上記エッジ検出手段31においては、（Ｒ＋２Ｇ＋Ｂ）／２又は２Ｇに基づく輝度信号の空間周波数を検出し、その値によりエッジ情報を求めるものである。空間周波数は、例えばある微小エリア内の縦横の輝度振幅を調べることで検出できる。
【００４８】
また、上記エッジ検出手段で検出されたエッジ情報に基づいて、輝度データ生成手法を切り換える際、検出エッジ情報に基づいて画面全体の輝度データ生成手法を切り換えるようにしてもよく、また検出エッジ情報に基づいて画素毎の輝度データ生成手法を切り換えるようにしてもよい。画面全体の輝度データ生成手法を切り換える場合は、画素毎の切り換えポイントがないため不自然さのない輝度データを生成することができる。一方、被写体中の画素毎に輝度データの生成手法を切り換える場合は、低彩度と高彩度の混合被写体でもＳ／Ｎのよい輝度データが得られる。
【００４９】
次に、第４の実施の形態について説明する。図12は第４の実施の形態を示すブロック構成図で、図１，図５，図11に示した第１〜第３の実施の形態と同一の構成要素には同一符号を付して示し、その説明を省略する。この実施の形態は、第３の実施の形態に対して第２の実施の形態の要部を適用したもので、輝度データ生成部として、２Ｇに基づく輝度データと（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成できると共に、その間の両者の混合比を連続的に変化させた混合輝度データを生成できるようにした、単一の混合輝度データ生成部21を設けている。そして、この混合輝度データ生成部21を制御するための重み付け係数生成部33を備え、該重み付け係数生成部33はエッジ検出手段31により検出されたエッジ情報に基づいて重み付け係数ａを生成するようになっている。なお、この実施の形態は画素毎に輝度データの生成態様を切り換える場合にのみ適用される。
【００５０】
上記混合輝度データ生成部21においては、輝度データＹは、前記（４）式で示す方式で生成され、重み付け係数ａが１の場合は２Ｇに基づく輝度データを生成し、重み付け係数ａが 0.5の場合は（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成し、重み付け係数ａが 0.5〜１の場合は、両者の混合比を連続的に変化させた輝度データが生成されるようになっており、これにより輝度データの切り換わり境界に不自然さをなくすことができる。
【００５１】
次に、エッジ情報に基づいて生成する重み付け係数ａの設定において、中間の過渡領域の重み付け係数ａの設定方法について説明する。まずエッジ情報に基づく重み付け係数ａの第１の設定方法を、図13に基づいて説明する。この図13に示した設定例における重み付け係数ａの設定では、エッジ検出手段31で検出される空間周波数ｆが低周波閾値ｓより低い低周波領域（エッジが存在しない領域）の場合は、重み付け係数ａを 0.5に設定する。これにより、混合輝度データ生成部21では、（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データが生成される。検出空間周波数ｆが高周波閾値ｔより高い高周波領域（エッジが存在する領域）の場合は、重み付け係数ａを１に設定する。これにより、混合輝度データ生成部21では、２Ｇに基づく輝度データが生成される。
【００５２】
一方、検出空間周波数ｆが、ｓ＜ｆ＜ｔの場合は、重み付け係数ａは、ａ＝ｍ（ｆ−ｓ）＋ 0.5となる。ここでｍは傾きで、ｍ＝ 0.5／（ｔ−ｓ）で表される。このように中間の過渡領域では、重み付け係数ａは直線的に変えられ、これに基づいて混合した輝度データが生成されることになる。この設定例では、中間の過渡領域における重み付け係数を直線的に変化させるようにしているので、過渡領域の重み付け係数及び輝度データの生成における演算処理が簡単である。
【００５３】
次に、エッジ情報に基づく重み付け係数の他の設定例を、図14に基づいて説明する。この設定例における重み付け係数ａの設定において、検出空間周波数ｆがｓより低い低周波の場合は重み付け係数ａを 0.5に設定し、これにより混合輝度データ生成部21ではＹ＝（Ｒ＋２Ｇ＋Ｂ）／２に基づく輝度データを生成し、検出空間周波数ｆがｔより高い高周波の場合は重み付け係数ａを１に設定し、これにより混合輝度データ生成部21では、Ｙ＝２Ｇに基づく輝度データを生成するようにした点は、先の設定例と同じである。この設定例では、検出空間周波数がｓ＜ｆ＜ｔの場合、すなわち検出空間周波数が中間の場合は、重み付け係数ａを 0.5から１まで滑らかに曲線状に変化するような関数関係｛ａ＝Ｆ（ｆ）｝をもたせて設定するようになっている。
【００５４】
この場合、混合輝度データ生成部21からは、Ｙ＝２Ｇ×Ｆ（ｆ）＋（Ｒ＋Ｂ）｛１−Ｆ（ｆ）｝に基づく輝度データが生成される。したがって、低周波領域と高周波領域との間の中間周波数領域における重み付け係数ａが滑らかに変化するので、各領域の境界の輝度データ並びにそれに基づく強調処理用エッジ信号を滑らかに変化させることができる。
【００５５】
次に、検出空間周波数に基づく重み付け係数の更に他の設定例を、図15に基づいて説明する。この設定例においては、エッジ検出手段で検出された空間周波数が最も低い周波数部分の重み付け係数ａを 0.5とし、最も高い周波数部分の重み付け係数ａを１として、閾値ｓ，ｔに関係なく、その間の低周波領域、中間周波領域、高周波領域を滑らかに結ぶ曲線を示す関数関係｛ａ＝Ｆ（ｆ）｝をもたせて設定するものである。
【００５６】
この場合は、混合輝度データ生成部21からは、Ｙ＝２Ｇ×Ｆ（ｆ）＋（Ｒ＋Ｂ）｛１−Ｆ（ｆ）｝に基づいて輝度データが生成される。したがって、検出空間周波数の各領域に亘って滑らかに曲線的に重み付け係数ａを変化させ、それに基づく輝度データ並びに強調処理用エッジ信号を、より一層滑らかに変化させて出力することができる。
【００５７】
次に、本発明の第５の実施の形態について説明する。図16は、第５の実施の形態を示すブロック構成図で、第１〜第４の実施の形態と同一の構成要素については同一の符号を付して、その説明を省略する。この実施の形態は、図１に示した第１の実施の形態と図11に示した第３の実施の形態を組み合わせたものである。すなわち、色情報に基づく輝度データの生成手法の切り換えと、エッジ情報に基づく輝度データの生成手法の切り換えとを、更に画像の態様に応じて切り換えて用いるようにするものである。つまり、色情報の検出による輝度データの生成手法の切り換えと、エッジ情報の検出による輝度データの生成手法の切り換えとを組み合わせて用いる場合には、これらの２つの検出結果を切り換えて用いる必要がある。この実施の形態では、画像においてエッジの多い領域とそれ以外の領域というように領域の分離を行い、エッジの多い領域に対してはエッジ情報の検出による輝度データの生成手法の切り換えを用い、それ以外の領域に対しては色情報の検出による輝度データの生成手法の切り換えを用いるようにするもので、これにより、被写体に対応して、より適切な輝度データ並びに強調処理用のエッジ信号を生成することができる。
【００５８】
次に、この実施の形態の具体的な構成について説明する。図16において、41はホワイトバランス処理を受けたベイヤーＲＧＢ配列画像の、例えば所定の分割領域毎にエッジの多寡の粗判定を行う像域判定部であり、42は第２のセレクタで、前記像域判定部41の判定結果に基づくセレクト信号により、エッジ検出手段31で検出されたエッジ情報に基づくセレクト信号と、色情報検出手段６で検出された色情報に基づくセレクト信号とを選択して出力するものである。
【００５９】
このように、像域判定部41と第２のセレクタ42とを備えたこの実施の形態においては、例えば画像のある領域においてエッジが多く存在し、輝度データの生成手法の選択に関してエッジ情報が支配的であると判定された場合には、エッジ検出手段31により検出されたエッジ情報に基づくセレクト信号を、第１及び第２の輝度データ生成部８，９の出力を選択するセレクタ10の選択信号として用いるようにし、該画像領域においてエッジが少なく色情報が支配的であると判定された場合には、色情報検出手段６により検出された色情報に基づくセレクト信号を、第１及び第２の輝度データ生成部８，９の出力を選択するセレクタ10の選択信号として用いるようにする。これにより、画像の各領域の態様に応じて、より適切に効率的に輝度データ及び強調処理用エッジ信号を生成することができる。
【００６０】
上記第５の実施の形態は、第１の実施の形態と第３の実施の形態を組み合わせたものであるが、第２の実施の形態と第４の実施の形態を組み合わせることもでき、これを第６の実施の形態として図17に示す。すなわち、この第６の実施の形態は、単一の混合輝度データ生成部21と色情報に基づいて混合輝度データ生成部21の重み付け係数を発生させる重み付け係数生成部22とを備えたものと、エッジ情報に基づいて混合輝度データ生成部21の重み付け係数を発生させる重み付け係数生成部33とを備えたものとを組み合わせ、上記第５の実施の形態と同様に像域判定部41と第２のセレクタ42とを付加して、色情報とエッジ情報とに基づく重み付け係数を選択的に用いるように構成するものである。これにより、画像の各領域の態様に応じて、より適切に効率的に且つ境界に不自然さのない輝度データ及び強調処理用エッジ信号が得られる。
【００６１】
次に、本発明に関連する構成例について説明する。一般に、複数枚の画像を張り合わせて一枚の大きな画像にする方法が、例えばパノラマ写真を作成する際に用いられている。このような複数枚の画像の張り合わせによるパノラマ写真の作成時に、張り合わせ境界部分で異なるエッジ（輪郭）強調処理手法を用いると、その境界部分に処理の違いによる不自然さが残ってしまう。
【００６２】
この構成例は、このようなパノラマ写真などの複数枚の画像を張り合わせて大画面の画像を作成する画像処理装置に、本発明を適用した場合に、張り合わせ境界部分では隣り合う画像同士で同じ輝度データの生成手法を用いて、上記のような張り合わせ境界部分のエッジ強調処理に不自然さが残らないように構成するものである。
【００６３】
図18は、この構成例を示すブロック構成図で、図１に示した本発明の第１の実施の形態と同一の構成要素には同一符号を付して示し、説明を省略する。この構成例で新たに設けられている構成要素は、張り合わせ判定部51とメモリ52である。張り合わせ判定部51は、隣接して張り合わせる２枚の画像の張り合わせ部分を検出するもので、例えば特開平７−２０３２７８号公報に開示されているような、画像のコントラスト情報を用いて画像のどの部分が一致しているかを検出して張り合わせ部分を判定するようにしている。メモリ52は、張り合わされる一枚目の画像において、第１又は第２の輝度データ生成部のいずれの輝度データ生成手法が選択されたかを画素毎に記憶しておくようになっている。
【００６４】
次に、このように構成されている構成例の動作について説明する。まず、一枚目の画像の処理においては、張り合わせ判定部51では何の動作も行わず、一方セレクタ10では第１及び第２の輝度データ生成部８，９のいずれの輝度データが選択されたかを画素毎にメモリ52に記憶しておく。次いで、一枚目に隣接する二枚目の画像処理において、張り合わせ判定部51では、一枚目と二枚目の画像においてどの部分が一致するか検出し、二枚目の画像の張り合わせ境界部分を判定する。そして、検出された張り合わせ境界部分に対応する一枚目の画像の張り合わせ境界部分における、輝度データの生成処理において選択された輝度データ生成手法をメモリ52から読み出し、二枚目の画像の張り合わせ境界部分の輝度データを、強制的に同じ輝度データの生成手法を用いて生成する。また、二枚目の画像の張り合わせ境界部分以外の輝度データは、色情報に基づく輝度データ生成手法により生成される。なお、張り合わせ境界部分及び境界部分以外における輝度データの生成手法の切り換えは、画素毎に行われる。
【００６５】
そして、二枚目の画像の張り合わせ境界部分を含む全領域の輝度データの生成処理を行うと同時に、二枚目の画像の輝度データの生成処理において、いずれの輝度データ生成手法が選択されたかをメモリ52に記憶させる。次いで、二枚目に隣接する三枚目以降の処理を同様にして行い、エッジ強調された複数枚の画像を生成し、図示しない後段の張り合わせ処理部において各画像の張り合わせ処理を行うようになっている。これにより、張り合わせ境界部分において不自然さのないエッジ強調されたパノラマ写真などの張り合わせ画像が得られる。
【００６６】
なお、上記構成例では、撮像手段から出力される画像をリアルタイム処理するため、メモリには画像一枚分のセレクタ情報を蓄える必要があるが、画像データが予めメモリ等に蓄えられている場合は、張り合わせ部分を予め判定しておくことができるため、メモリには張り合わせ部分に対応するセレクタ情報のみを蓄えればよい。また、この構成例においては、本発明に係る第１の実施の形態と同様に、色情報検出手段が検出する色情報としては、画像の彩度、色相、あるいは（彩度＋色相）情報を用いることができ、また色情報検出手段における色情報の検出手法としては、画像信号の画素信号毎に色情報を検出する手法や、画像全体の平均色情報を検出する手法や、更には画像信号の特定サンプリングデータから一画面全体の平均色情報を検出する手法などを用いることができる。
【００６７】
上記構成例では、複数の画像の張り合わせ処理部を備えた画像処理装置に本発明に係る第１の実施の形態を適用した場合の構成例を示したが、張り合わせ処理部を備えた画像処理装置には、上記本発明に係る第２〜第６の各実施の形態も同様に適用することができる。第２の実施の形態を適用したものを、他の構成例として図19に示す。この構成例のように、単一の混合輝度データ生成部21と重み付け係数生成部22とを備えている場合は、メモリ52には張り合わせ画像の輝度信号生成処理において設定された重み付け係数を記憶するように構成されている。この構成例においては、色情報と張り合わせ情報に基づいて、Ｇ信号から生成される輝度データと全色信号から生成される輝度データとを、混合比を連続的に変えて混合し混合輝度データを生成するようになっており、画像の張り合わせ境界部分については張り合わせ情報に基づいて画素毎に重み付け係数が設定され、張り合わせ境界部分以外については色情報に基づいて重み付け係数が設定されるので、複数画像の張り合わせ処理を行う際に、張り合わせ部の不自然さのない且つ滑らかなエッジ強調処理を行うことができる。
【００６８】
次に、張り合わせ処理部を備えた画像処理装置に、本発明に係る第３の実施の形態を適用したものを、更に他の構成例として図20に示す。この構成例においては、エッジ情報及び張り合わせ情報に基づいて、Ｇ信号から輝度データを求める第１の輝度データ生成部８からの輝度データと、全色信号から輝度データを求める第２の輝度データ生成部９からの輝度データとを切り換えて出力されるようになっているので、複数画像の張り合わせ処理を行う際に、エッジ部分の多い画像に対しても、張り合わせ部の不自然さのないエッジ強調処理を行うことができる。
【００６９】
なお、この構成例においても、本発明に係る第３の実施の形態と同様に、エッジ検出手段31で画像よりエッジを求める際、輝度信号としては、２Ｇあるいは（Ｒ＋２Ｇ＋Ｂ）／２を用いることができる。またエッジ情報及び張り合わせ情報に基づいて輝度データ生成手法を切り換える際、画像の張り合わせ境界部分については張り合わせ情報に基づいて画素毎に切り換えが行われ、画像の張り合わせ境界部分以外についてはエッジ情報に基づいて切り換えが行われるようになっている。
【００７０】
次に、張り合わせ処理部を備えた画像処理装置に、本発明に係る第４の実施の形態を適用したものを、更に他の構成例として図21に示す。この構成例においては、エッジ情報及び張り合わせ情報に基づいて、Ｇ信号から生成される輝度データと全色信号から生成される輝度データとを、混合比を連続的に変えて混合し混合輝度データを生成するように構成されている。これにより、複数画像の張り合わせ処理を行う際に、エッジ部分の多い画像においても、張り合わせ部の不自然さのない且つ滑らかなエッジ強調処理を行うことができる。また、混合比を設定する重み付け係数生成部における重み付け係数ａは、画像の張り合わせ境界部分については画像の張り合わせ情報に基づいて、画像の張り合わせ境界部分以外については画像のエッジ情報に基づいて画素毎に生成されるようになっている。
【００７１】
次に、張り合わせ処理部を備えた画像処理装置に、本発明に係る第５の実施の形態を適用したものを、更に他の構成例として図22に示す。この構成例においては、画像の張り合わせ境界部分については画像の張り合わせ情報に基づいて、画像の張り合わせ境界部分以外については像域判定部41の判定信号に基づいて、色情報による輝度データを切り換えるセレクタ10を切り換え制御するセレクト信号と、エッジ情報による輝度データを切り換えるセレクタ10を切り換え制御するセレクト信号とを第２のセレクタ42により切り換え出力するようになっている。これにより、張り合わせ処理を行う際に、被写体の特性に応じて、張り合わせ部の不自然さのないＳ／Ｎのよいエッジ強調処理を行うことができる。
【００７２】
次に、張り合わせ処理部を備えた画像処理装置に、本発明に係る第６の実施の形態を適用したものを、更に他の構成例として図23に示す。この構成例においては、画像の張り合わせ境界部分については画像の張り合わせ情報に基づいて、画像の張り合わせ境界部分以外については像域判定部41からの判定信号に基づいて、色情報により混合輝度データ生成部21の混合比を設定する重み付け係数生成部22からの重み付け係数ａと、エッジ情報により混合輝度データ生成部21の混合比を設定する重み付け係数生成部33からの重み付け係数ａとを、第２のセレクタ42により切り換え出力するように構成している。これにより、複数画像の張り合わせ処理を行う際に、被写体の特性に応じて、張り合わせ部の不自然さのない且つ滑らかでＳ／Ｎのよいエッジ強調処理を行うことができる。
【００７３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明の第１の態様によれば、彩度又は色相に係る色情報に対応した最適な輝度データに基づいてエッジ強調成分を抽出することが可能となり、Ｓ／Ｎがよく高彩度領域や低彩度領域でのエッジノイズの発生の少ないエッジ強調処理を行うことが可能な画像処理装置を実現することができる。また本発明の第２の態様によれば、彩度又は色相に係る色情報に対応した最適な輝度データが滑らかに変えられ、不自然さのないエッジ強調処理を行うことができる。また本発明の第３の態様によれば、エッジ部分の多い画像においても、エッジ情報に対応した最適な輝度データに基づいてエッジ強調処理を行うことが可能となる。また本発明の第４の態様によれば、エッジ情報に対応した最適な輝度データが滑らかに変えられ、エッジ部分の多い画像に対しても不自然さのないエッジ強調処理を行うことができる。また本発明の第５の態様によれば、被写体の特性に応じてＳ／Ｎのよいエッジ強調処理を行うことができる。また本発明の第６の態様によれば、被写体の特性に応じてＳ／Ｎのよい滑らかな不自然さのないエッジ強調処理を行うことができる。
【図面の簡単な説明】
【図１】  本発明に係る画像処理装置の第１の実施の形態を示すブロック構成図である。
【図２】  原色フィルタ画像のＣr ，Ｃb 色信号を座標軸とする色度図において、彩度を示す図である。
【図３】  原色フィルタ画像のＣr ，Ｃb 色信号を座標軸とする色度図において、色相を示す図である。
【図４】  原色フィルタ画像のＣr ，Ｃb 色信号を座標軸とする色度図において、（彩度＋色相）を示す図である。
【図５】  本発明の第２の実施の形態を示すブロック構成図である。
【図６】  彩度に基づく重み付け係数の設定手法を示す図である。
【図７】  彩度に基づく重み付け係数の他の設定手法を示す図である。
【図８】  彩度に基づく重み付け係数の更に他の設定手法を示す図である。
【図９】  色相に基づく重み付け係数の設定手法を示す図である。
【図10】  色相に基づく重み付け係数の他の設定手法を示す図である。
【図11】  本発明の第３の実施の形態を示すブロック構成図である。
【図12】  本発明の第４の実施の形態を示すブロック構成図である。
【図13】  エッジ情報に基づく重み付け係数の設定手法を示す図である。
【図14】  エッジ情報に基づく重み付け係数の他の設定手法を示す図である。
【図15】  エッジ情報に基づく重み付け係数の更に他の設定手法を示す図である。
【図16】  本発明の第５の実施の形態を示すブロック構成図である。
【図17】  本発明の第６の実施の形態を示すブロック構成図である。
【図18】  本発明に関連する構成例を示すブロック構成図である。
【図19】  本発明に関連する他の構成例を示すブロック構成図である。
【図20】  本発明に関連する更に他の構成例を示すブロック構成図である。
【図21】  本発明に関連する更に他の構成例を示すブロック構成図である。
【図22】  本発明に関連する更に他の構成例を示すブロック構成図である。
【図23】  本発明に関連する更に他の構成例を示すブロック構成図である。
【図24】  従来のエッジ強調処理を行う画像処理装置の構成例を示すブロック構成図である。
【図25】  ベイヤーＲＧＢ配列画像の一部、ＲＧＢ４画素から輝度信号を生成する態様、及びＧの２画素から輝度信号を生成する態様を示す図である。
【符号の説明】
１  撮像手段
２  ホワイトバランス部
３  色分離回路
４  色補正・γ補正回路
５  ＹＣ変換回路
６  色情報検出手段
７  セレクト信号発生部
８  第１の輝度データ生成部
９  第２の輝度データ生成部
10  セレクタ
11  ハイパスフィルタ
12  エッジ強調度調整部
13  加算回路
21  混合輝度データ生成部
22  重み付け係数生成部
31  エッジ検出手段
32  セレクト信号発生部
33  重み付け係数生成部
41  像域判定部
42  第２のセレクタ
51  張り合わせ判定部
52  メモリ
【図１】
0003699873.tif 000004
【図２】
0003699873.tif 000005
【図３】
0003699873.tif 000006
【図４】
0003699873.tif 000007
【図５】
0003699873.tif 000008
【図６】
0003699873.tif 000009
【図７】
0003699873.tif 000010
【図８】
0003699873.tif 000011
【図９】
0003699873.tif 000012
【図１０】
0003699873.tif 000013
【図１１】
0003699873.tif 000014
【図１２】
0003699873.tif 000015
【図１３】
0003699873.tif 000016
【図１４】
0003699873.tif 000017
【図１５】
0003699873.tif 000018
【図１６】
0003699873.tif 000019
【図１７】
0003699873.tif 000020
【図１８】
0003699873.tif 000021
【図１９】
0003699873.tif 000022
【図２０】
0003699873.tif 000023
【図２１】
0003699873.tif 000024
【図２２】
0003699873.tif 000025
【図２３】
0003699873.tif 000026
【図２４】
0003699873.tif 000027
【図２５】
0003699873.tif 000028