(57)【要約】【課題】赤外光成分（ＩＲ）を含むため単に情報量が多いという第２画素信号（例えばＡ信号）のみではエッジ判定ができない場合がある。【解決手段】画素信号発生部、エッジ情報取得部４Ｃ、エッジ判定部５４４、および、フィルタ処理部４Ｅを有する。エッジ情報取得部４Ｃは、第１画素信号（Ｒ０,Ｇ０,Ｂ０信号）から第１差分ＥＤ１を、Ａ信号から第２差分ＥＤ２を取得する。エッジ判定部５４４は、第１差分ＥＤ１と第２差分ＥＤ２の各々と所定の基準値とを比較し、比較の結果に基づいてエッジの有無を判定する。フィルタ処理部４Ｅは、エッジ有りのときに、エッジ無しの場合に用いる所定の基本フィルタ係数を変更して、第１画素信号に対してフィルタ処理を施す。【選択図】図５
2008283541.tif 000002
【特許請求の範囲】
【請求項１】
可視光成分を含む信号を発生し出力する第１画素と、可視光成分および近赤外光成分を含む信号を発生し出力する第２画素と、を含む画素信号発生部と、
２つの前記第１画素から出力される２つの第１画素信号の差分である第１差分と、前記２つの第１画素に対応する２つの前記第２画素から出力される２つの第２画素信号の差分である第２差分とを取得するエッジ情報取得部と、
前記第１差分と前記第２差分の各々と所定の基準値とを比較し、比較の結果に基づいてエッジの有無を判定するエッジ判定部と、
前記エッジ判定部でエッジ有りと判定されたときに、エッジ無しの場合に用いる所定の基本フィルタ係数を変更して、前記第１画素信号に対してフィルタ処理を施すフィルタ処理部と、
を有する画像入力処理装置。
【請求項２】
前記画素信号発生部が単一の撮像デバイスを含み、
前記撮像デバイスは、赤外カットフィルタを備え、当該赤外カットフィルタを通した光を受光することによって近赤外光成分が低減され、かつ、可視光成分を含む第１画素信号を出力する第１画素と、赤外カットフィルタを通さない光を受光することによって可視光成分と近赤外光成分の両方を含む第２画素信号を出力する第２画素と、を規則的に配置して形成されている画素アレイを備える
請求項１に記載の画像入力処理装置。
【請求項３】
前記第１画素は、前記撮像デバイスの画素アレイの基本構成単位である画素ユニット内に設けられた原色系または補色系の複数の画素であり、
前記第２画素は、前記複数の画素からの画素値合計と等価な可視光成分を含む画素信号を出力する画素である
請求項２に記載の画像入力処理装置。
【請求項４】
前記第１画素信号を処理することによって、前記赤外カットフィルタを通した後に残存する近赤外光成分を低減し、処理後の信号を前記フィルタ処理部に出力する赤外光低減部を
さらに有する請求項２に記載の画像入力処理装置。
【請求項５】
前記赤外光低減部は、前記残存した近赤外光成分を前記第１画素信号で低減することにより色補正を行う色補正部である
請求項４に記載の画像入力処理装置。
【請求項６】
前記エッジ情報取得部は、前記赤外光低減部からの信号の同一色データ配列上で隣接する２つの信号の差分である第３差分を取得し、
前記エッジ判定部は、前記第１差分、前記第２差分および前記第３差分の各々を所定の基準と比較し、比較の結果に基づいてエッジの有無を判定する
請求項４に記載の画像入力処理装置。
【請求項７】
可視光成分を含む第１画素信号と、可視光成分と近赤外光成分を含む第２画素信号と、をそれぞれ入力し、前記第１画素信号の同一色データ配列上で隣接する２つの画素データから第１差分を求め、当該第１差分を求めた前記２つの画素データに対応する、前記第２画素信号の２つの画素データから第２差分を求めて、エッジ情報を取得するエッジ情報取得部と、
前記第１差分と前記第２差分の各々と所定の基準値とを比較し、比較の結果に基づいてエッジの有無を判定するエッジ判定部と、
前記エッジ判定部でエッジ有りと判定されたときに、エッジ無しの場合に用いる所定の基本フィルタ係数を変更して、前記第１画素信号に対してフィルタ処理を施すフィルタ処理部と、
を有する画素信号処理回路。
【請求項８】
可視光成分を含む第１画素信号と、可視光成分と近赤外光成分を含む第２画素信号と、を取得するステップと、
２つの前記第１画素から出力される２つの第１画素信号の差分である第１差分と、前記２つの第１画素に対応する２つの前記第２画素から出力される２つの第２画素信号の差分である第２差分とを取得するステップと、
前記第１差分と前記第２差分の各々と所定の基準値とを比較し、比較の結果に基づいてエッジの有無を判定するステップと、
を含むエッジ検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像し、発生した画素信号に基づいて、画像のノイズ成分低減あるいはエッジ強調等をフィルタ処理により実行する画像入力処理装置と、画素信号処理回路、および、エッジ検出方法に関する。
【背景技術】
【０００２】
動画や静止画を撮影するカメラ装置において、例えばＩＳＯ感度を上げて撮像すると、自動露光機能が働いて、センサ（撮像デバイス）の露光時間が短くなり、且つ、センサから出力される信号が大きな増幅度（ゲイン）で増幅されるため、センサ自身や周辺ＩＣの発するノイズの影響を大きく受け、信号対ノイズ比（Ｓ／Ｎ比）が低いノイズィな画になる。
ノイズはセンサ自身の要因、さらには、周辺ＩＣの動作周波数など、さまざまな周辺から受ける影響により発生する。また信号源（センサ）自体の特性変化や時間変化のばらつきなどもあって、低周波から高周波まで様々なノイズパターンが画に影響を及ぼす。
ノイズを低減または抑圧するためにカメラ装置が内部で行う信号処理では、タップ数の大きなフィルタを使ったノイズ低減(Noise Reduction)のための回路を用いたものが知られ、当該回路の処理によって表示画像のＳ／Ｎ比向上を図っている。
【０００３】
しかし、タップ数の大きな通常のローパスフィルタ（例えばガウシアンフィルタ）で処理を行うと、これに伴ってエッジ情報が拡散してしまうため、エッジの急峻性が低下し、解像感が低くなった画が出力されてしまう。これを解決するためカメラ信号処理において、入力画像に対して解像度を維持しながらフィルタ処理を施して、Ｓ／Ｎ比を良くするノイズ低減(ＮＲ)手法が必要である。
【０００４】
ノイズ低減(ＮＲ)のアプローチの一つとして、不可視光の、特に近赤外線領域をカットするＩＲ(Infrared Radiation)カットフィルタを通った被写体からの光を、赤(Ｒ),緑(Ｇ),青(Ｂ)等の所定のカラーフィルタを備える撮像デバイスで受光し、当該撮像デバイスから出力される色再現性が高い画像以外に、より情報量が多い画像としてＩＲカットフィルタを通さないで同一被写体を撮像した画像を取得し、当該ＩＲカットフィルタを通さないことで多い情報量が維持された画像でエッジ情報を検出する手法が知られている（例えば、特許文献１参照）。
【０００５】
上記特許文献１において、エッジ情報を取得するための画像は不可視光画像（実施例では赤外光画像）と称され、ＩＲカットフィルタを通す前の、低域から高域までの幅広い周波数成分を含む画像情報を保持している。
【０００６】
上記特許文献１では、不可視光画像（赤外光画像）をハイパスフィルタに通すことにより高周波成分を抽出する一方、可視光画像、即ちＩＲフィルタを通して撮像した色再現性が高い画像をゲイン調整した後、ローパスフィルタを通してノイズを除去する。ただし、ローパスフィルタを通すと解像度情報が拡散し、エッジの急峻性が低下する。よって、上記特許文献１では、このローパスフィルタリング後の可視光画像と、エッジ情報を含む上記ハイパスフィルタ後の赤外光画像とを合成している。これにより、ノイズ低減とエッジ情報拡散（エッジの急峻性低下）の防止とを両立させている。
【０００７】
ＩＲフィルタに関し、単一の撮像デバイスのカラーフィルタ層に、赤外光成分を透過する、遮断することを選択する機能を持たせることができる。
例えば特許文献２には、赤(Ｒ),緑(Ｇ),青(Ｂ)の３原色の透過フィルタと、赤外領域に感度を持ち、赤外光を透過する赤外通過フィルタとから、繰り返し最小単位（画素ユニット）が構成されているカラーフィルタが開示されている。そして、特許文献２には、赤外通過フィルタは白(Ｗ)のフィルタであってよいことが記載されている。
【０００８】
ところで、赤外光成分があると色の再現性が悪くなり、画像を全体的に白っぽくさせてしまうため、通常は、撮像デバイスとは別に光学部品としてＩＲカットフィルタを設けるか、上述の特許文献２のように、原色信号を発生する画素自体にＩＲカットフィルタの機能を持つ色透過フィルタを設ける必要がある。
【特許文献１】特開２００６−１８０２６９号公報
【特許文献２】特開２００５−００６０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
例えば特許文献２に示す撮像デバイスのように、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)のカラーフィルタを有する画素を２×２の配列として、この配列を２次元で繰り返し配置し、そのうち白(Ｗ)の画素のみに赤外光（ＩＲ）を通過する赤外通過フィルタを設けることが可能である。これにより、Ｒ／Ｇ／Ｂの可視光画像と、（Ｗ＋ＩＲ）の赤外光画像とを１つの撮像デバイスから出力可能である。
【００１０】
図１３に、特許文献１に記載された画像処理部の構成を示す。
図解した画像処理部１００は、ゲイン調整部１０１、ＮＲ処理部としてのローパスフィルタ１０２、ハイパスフィルタ１０３、および、画像合成部１０４を有する。
【００１１】
ゲイン調整部１０１は、入力される可視光画像(Visible)のゲインを調整する。これにより、露出不足で暗く撮像された可視光画像(Visible)の画素ごとの階調値（画素値）を増大し、適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像(Visible)の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。
【００１２】
ローパスフィルタ１０２は、エッジ検出部を含んでおり、当該エッジ検出部で、より情報量が多い赤外光画像(infr)からエッジを検出する。ノイズ低減部としてのローパスフィルタ１０２は、検出したエッジで情報を保存しつつローパスフィルタ処理を行うことにより、可視光画像(Visible)からノイズを除去し、基礎画像(Base)を画像合成部１０４に出力する。
一方、ハイパスフィルタ１０３は、入力される赤外光画像(infr)からエッジ及び詳細部分を抽出し、得られた詳細画像(Edge)を画像合成部１０４に出力する。
画像合成部１０４は、ローパスフィルタ１０２からの基礎画像(Base)と、ハイパスフィルタ１０３からの詳細画像(Edge)を合成し、出力画像(OUT)を得る。
【００１３】
このように、特許文献１に記載された技術は、例えば特許文献２に記載された撮像デバイスからの画素信号から得られた可視光画像(Visible)と赤外光画像(infr)を用いて、可視光画像(Visible)に対するＮＲ処理を行うことが可能である。
【００１４】
しかしながら、赤外光画像(infr)は情報量が多いため概ねエッジ判定が容易である一方、光源の色温度や被写体の条件（赤外光の反射率等）によっては、エッジ判定に適さない場合が存在する。これは、赤外光画像(infr)に含まれる可視光成分の、エッジを境界とする色の組み合わせがエッジを不鮮明にさせるためである。
【００１５】
図１４（Ａ）に赤外光画像(infr)としてのＡ（Ｗ＋ＩＲ）画像、図１４（Ｂ）に可視光画像(Visible)としての入力画像のＲ成分（Ｒ画像）を、それぞれ色パレット画像の例で示す。
図１４（Ｂ）に示すＲ画像において「エッジ有り」と記載して表示する境界Ｂ１に、茶色のパレットと、こげ茶色の格子枠とのエッジが比較的明瞭に存在する。
これに対し、図１４（Ａ）に示すＡ画像において、図１４（Ｂ）の「エッジ有り」に対応する箇所Ｂ１では、Ｒ成分のほかに、Ｇ成分、Ｂ成分、ＩＲ成分が重畳して色が構成されるため、差がない他の成分にＲ成分差が隠れて、エッジが極めて不鮮明となる。この結果、「エッジ無し」の判定がされる。
これと同じＡ画素におけるエッジの不鮮明化は、他の境界Ｂ２（青と格子枠の境界）、境界Ｂ３（うぐいす茶と格子枠の境界）、境界Ｂ４（薄茶と格子枠の境界）などでも生じている。
【００１６】
なお、このエッジの不鮮明化は、モノクロ画像でも生じ得る。ＩＲ成分が重畳され、その割合が大きいと、元のエッジ情報を希釈化する作用があるためである。
【００１７】
また、例えば特開２０００−１３６４２号公報に記載されているエッジ強調フィルタにおいて、上述したカラー画像またはモノクロ画像におけるエッジの不鮮明化が生じると、エッジが存在するのにエッジ強調されない、エッジ強調の程度が弱いという不都合が生じる。
【００１８】
本発明は、以上のように、近赤外光成分を含むため単に情報量が多いという画素信号のみのエッジ判定による不都合を回避するものである。
【課題を解決するための手段】
【００１９】
本発明に係る画像入力処理装置は、画素信号発生部と、エッジ情報取得部と、エッジ判定部と、フィルタ処理部とを有する。
前記画素信号発生部は、可視光成分を含む信号を発生し出力する第１画素と、可視光成分および近赤外光成分を含む信号を発生し出力する第２画素と、を含む。なお、画素信号発生部が撮像デバイスの場合と、画素信号発生部に撮像デバイスと信号処理部を含む場合がある。発生した画素信号は、（所定の処理を経て）画素信号発生部からエッジ情報取得部に送られる。
前記エッジ情報取得部は、２つの前記第１画素から出力される２つの第１画素信号の差分である第１差分と、前記２つの第１画素に対応する２つの前記第２画素から出力される２つの第２画素信号の差分である第２差分とを取得する。取得された第１および第２差分は、エッジ情報取得部からエッジ判定部に送られる。
前記エッジ判定部は、前記第１差分と前記第２差分の各々と所定の基準値とを比較し、比較の結果に基づいてエッジの有無を判定する。判定結果は、エッジ判定部からフィルタ処理部に送られる。
前記フィルタ処理部は、前記エッジ判定部でエッジ有りと判定されたときに、エッジ無しの場合に用いる所定の基本フィルタ係数を変更して、前記第１画素信号に対してフィルタ処理を施す。
【００２０】
本発明では好適に、前記第１画素信号を処理することによって、前記赤外カットフィルタを通した後に残存する近赤外光成分を低減し、処理後の信号を前記フィルタ処理部に出力する赤外光低減部をさらに有する。
好ましくは、前記赤外光低減部は、前記残存した近赤外光成分を前記第１画素信号で低減することにより色補正を行う色補正部である。
また、好ましくは、前記エッジ情報取得部は、前記赤外光低減部からの信号の同一色データ配列上で隣接する２つの信号の差分である第３差分を取得し、前記エッジ判定部は、前記第１差分、前記第２差分および前記第３差分の各々を所定の基準と比較し、比較の結果に基づいてエッジの有無を判定する。
【００２１】
本発明に係る画素信号処理回路は、エッジ情報取得部と、エッジ判定部と、フィルタ処理部とを有する。
前記エッジ情報取得部は、可視光成分を含む第１画素信号と、可視光成分と近赤外光成分を含む第２画素信号と、をそれぞれ入力し、前記第１画素信号の同一色データ配列上で隣接する２つの画素データから第１差分を求め、当該第１差分を求めた前記２つの画素データに対応する、前記第２画素信号の２つの画素データから第２差分を求めて、エッジ情報を取得する。
前記エッジ判定部は、前記第１差分と前記第２差分の各々と所定の基準値とを比較し、比較の結果に基づいてエッジの有無を判定する。
前記フィルタ処理部は、前記エッジ判定部でエッジ有りと判定されたときに、エッジ無しの場合に用いる所定の基本フィルタ係数を変更して、前記第１画素信号に対してフィルタ処理を施す。
【００２２】
本発明に係るエッジ検出方法は、可視光成分を含む第１画素信号と、可視光成分と近赤外光成分を含む第２画素信号と、を取得するステップと、２つの前記第１画素から出力される２つの第１画素信号の差分である第１差分と、前記２つの第１画素に対応する２つの前記第２画素から出力される２つの第２画素信号の差分である第２差分とを取得するステップと、前記第１差分と前記第２差分の各々と所定の基準値とを比較し、比較の結果に基づいてエッジの有無を判定するステップと、を含む。
【００２３】
上記構成の本発明では、エッジ情報取得部が、可視光成分を含む第１画素信号と、近赤外光成分を含む第２画素信号とから、第１差分、第２差分という同一エッジに関する２つの差分を取得する。そして、エッジ判定部は、この２つの差分の大きい方を用いて、エッジの有無を判定する。
【００２４】
第１画素信号は可視光成分を含むため、第１画素信号にフィルタ処理が施される。フィルタ処理としては、例えばノイズ低減やエッジ強調があるが、そのとき、例えば、情報を保存する部分、あるいは、強調したい部分に対応する画像箇所（エッジ部）の特定のために「エッジ有り」、「エッジ無し」の判定結果が用いられる。具体的にフィルタ処理では、エッジ部以外では基本フィルタ係数セットを用いてフィルタ処理が行われるが、エッジ部では、この基本フィルタ係数セットに変更が加えられてからフィルタ処理が実行される。このためエッジ部に対し、例えば、上記ノイズ低減の緩和、上記エッジ強調が行われる。
【００２５】
本発明ではエッジ有り、無しの判定に、第１差分と第２差分の大きい方、つまり、よりエッジが鮮明なことを示す差分を用いる。
【発明の効果】
【００２６】
本発明によれば、近赤外光成分を含むため単に情報量が多いという画素信号のみのエッジ判定により、実際にはエッジが存在するのにエッジ判定ができないという不都合を回避し、常に、適切なエッジ部に対するフィルタ処理が行えるという利益が得られる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態を、図面を参照して説明する。
《第１実施形態》
図１は、本発明の実施形態に係る画素信号処理回路を内蔵したカメラ装置のブロック図である。
当該カメラ装置が、「画像入力処理装置」の一態様に該当する。カメラ装置は動画撮影を主体としたビデオカメラ、静止画撮影を主体としたデジタルスチルカメラの何れでもよい。
【００２８】
図解するカメラ装置は、レンズや光学フィルタを含む光学部品１、撮像デバイス２、アナログの画素信号を処理するアナログ・フロント・エンド（ＡＦＥ）回路３、アナログの画素信号をデジタル信号にＡ／Ｄ変換し、デジタルの映像信号として各種信号処理部に出力するＡＤコンバータ（ＡＤＣ）５、および、各種信号処理がされた映像信号をアナログ信号にＤ／Ａ変換し、ビデオ信号１４として出力するＤＡコンバータ（ＤＡＣ）１２を有する。
【００２９】
光学部品１は、レンズ、絞り等をレンズ筐体に収納させている部品である。光学部品１は焦点制御、および、露光量制御のための絞り制御が可能であり、露光制御のための絞り駆動部、自動フォーカスのための駆動部、それらの制御回路も光学部品１内に含まれる。
【００３０】
撮像デバイス２は、ＣＣＤセンサまたはＣＭＯＳイメージセンサである。撮像デバイス２は、光学部品１を通して入射された被写体からの光（像）を、自身が持つ撮像面に結像可能にカメラ装置本体内に固定されている。また、撮像デバイス２は、光センサをマトリックス状に多数配置させた画素アレイと、当該画素アレイの撮像面の光入射側に、隣接した数個の光センサの集合（画素ユニット）で一定の配列となるように形成されたオンチップ・多層フィルタとを有している。
【００３１】
撮像デバイス２がＣＣＤセンサの場合、撮像デバイス２にタイミングジェネレータ（ＴＧ）１３が接続されている。撮像デバイス２は、ＴＧ１３からのクロック信号、垂直同期信号、水平同期信号が入力可能になっている。撮像デバイス２がＣＣＤの場合、垂直同期信号や水平同期信号と同期した転送パルスも、ＴＧ１３から供給される。
ＴＧ１３は、これらのタイミング制御のための信号を、マイクロコンピュータ１０の制御を受けて、不図示のシステムクロック信号から発生する回路である。撮像デバイス２は、これらのタイミング制御のための信号によって、転送動作やシャッタスピード変更等の各種動作が制御される。
なお、撮像デバイス２がＣＭＯＳセンサの場合、ＴＧ１３の機能は撮像デバイス２内に持たせることができる。
【００３２】
光学部品１に含まれる光学フィルタは、例えば、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものであり、赤外カットフィルタの機能を備えない。赤外カットフィルタの機能は、撮像デバイス２のオンチップ・多層フィルタが有する。
【００３３】
図２に、オンチップ・多層フィルタを有する撮像デバイスの出力分光特性を示す。このグラフは、横軸が入射光の波長を示し、縦軸が、各色の画素信号が例えば８ビットの場合の出力レベル、即ち０〜１０２４の出力階調値を示す。
この撮像デバイスは、近赤外光領域の下限（７００〜８００［nm］、図では７５０［nm］で表示）より周波数が高い領域でも、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)のそれぞれで感度を有することが図２から分かる。
【００３４】
なお、本実施形態では、詳細は省略するが、撮像デバイス２が回折格子を利用した分光イメージセンサであってもよく、その場合、可視光と赤外光の分離が不完全であり、結果として、エッジ検出の精度が低下する。以下の説明ではオンチップ・多層フィルタを撮像デバイス２に備える場合を例として、説明を続ける。
【００３５】
図３（Ａ）および図３（Ｂ）に、撮像デバイス２のオンチップ・多層フィルタの色配列を持つ１つの画素ユニットを、２例示す。
なお、色配列は、この２例に限定されないが、ここでは原色フィルタについて代表的なものを説明する。なお、色フィルタは、原色フィルタでは図示例以外の配列でもよいし、あるいは、種々提案されているように、任意に選択された複数の補色を規則的に配列した補色フィルタであってもよい。
【００３６】
オンチップ・多層フィルタの色（選択）層は、例えば図３（Ａ）または図３（Ｂ）に示す色配列となっている。
図３（Ａ）に示す色配列は「Ｗ市松」と称される。また、図３（Ｂ）に示す色配列は「Ｗ市松ジグザグ(Zigzag)」と称される。「Ｗ市松」や「Ｗ市松ジグザグ」では、Ｇ画素、Ｒ画素、Ｂ画素のすべて検出波長領域をカバーする波長領域に感度を持つ白(Ｗ)画素を含み、当該Ｗ画素が市松に配置されている。
一方、オンチップ・多層フィルタのＩＲカット層は、Ｇ画素、Ｒ画素、Ｂ画素でＩＲカット、Ｗ画素でＩＲ透過となるように構成されている。
【００３７】
以下、オンチップ・多層フィルタが原色フィルタの機能を有することを前提として、説明を続ける。
【００３８】
一般に、近赤外線は、０.７〜０.８[μm]（可視赤色光の長波長側の限界）から２.５[μm]（または１.５〜３[μm]）の波長を有する。近赤外光成分は、色を白っぽくするなどの弊害がある。このため、第１画素信号（赤(Ｒ),緑(Ｇ),青(Ｂ)の画素ごとの画素信号（以下、Ｒ０,Ｇ０,Ｂ０信号と表記する））において、赤外光成分ＩＲを除去する必要がある。しかし、ＩＲカットフィルタによって近赤外光成分を完全に遮断することが難しく、通常、撮像デバイスの出力分光特性は、図２に示すように、近赤外光領域にも赤(Ｒ),緑(Ｇ),青(Ｂ),白(Ｗ)それぞれに感度を持つ。波長が７００［nm］より少し低い波長領域から長波長側は、人間の視覚感度がほとんどない。よって、図示した出力分光特性をもつ撮像デバイス２では、ＩＲカット層（またはＩＲカットフィルタ）が、例えば、太い一点破線により示す６５０［nm］付近から長波長側を抑圧するように設計されている。
【００３９】
図４に、例えば図２に示す透過分光特性を実現するための、撮像デバイス２に一体的に形成されたオンチップ・多層フィルタの構造例を示す。
図４（Ａ）および図４（Ｂ）に示す各フィルタは、撮像デバイス２に被写体からの光（像）を入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層として、本例では誘電体膜２１＿１〜２１＿５（または２２＿１〜２２＿５）を積層した構造を有している。なお、誘電体膜２１＿１〜２１＿５（または２２＿１〜２２＿５）は５層構造であるが、層数は求める機能および性能に応じて任意に設定される。また、厚みを図示では同じにしているが、厚さ、さらには材質も、求める機能および性能に応じて任意に決められる。
【００４０】
図４（Ａ）は、オンチップ・多層フィルタの一部であり、入射光Ｌ１（ここでは白色光）から、特定色に対応する特定波長領域の透過光Ｌ３を受光部側に透過させ、その他の色成分（可視光領域の上記特定波長領域以外の波長領域）を反射光Ｌ２として反射させる色フィルタの構造を示す。この色フィルタは、透過色に応じて、誘電体膜２１＿１〜２１＿５の各層の材質、膜厚、層数等がそれぞれ決められ、図３に示すＲ画素、Ｇ画素、Ｂ画素に形成されている。一方、Ｗ画素については、図４（Ａ）に示す色フィルタは設けられていないため、全波長の光が受光部側に導かれる。
図４（Ａ）に示す色フィルタは、透過光量ロスが殆どないように最適設計され、このため同じ入射光（白色光）を入射した場合に、Ｌ１Ｒ０,Ｇ０,Ｂ０信号の合計（Ｒ０＋Ｇ０＋Ｂ０）と、白(Ｗ)の画素信号（以下、Ｗ信号という）とがほぼ可視光領域でほぼ等しい値を持つ、即ち等価である。
【００４１】
図４（Ｂ）は、オンチップ・多層フィルタの他の一部を示すものであり、入射光Ｌ１（ここでは白色光）から、赤外光成分ＩＲの多くを反射させ、可視光ＶＬを受光部側に透過させる赤外カットフィルタの構造を示す。赤外カットフィルタの赤外反射性能は、誘電体膜２２＿１〜２２＿５の各層の材質、膜厚、層数等で決められ、図３に示す４種類の画素（Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素）で赤外光成分ＩＲを除去可能に形成されている。
なお、各層の材質、膜厚、層数、その他の手段により赤外カット波長、即ち赤外光成分ＩＲの反射中心波長の制御が可能である。
また、図３のＲ,Ｇ,Ｂ画素では図４（Ｂ）の赤外カットフィルタが設けられることにより赤外光成分ＩＲが低減されるが、Ｗ画素では図４（Ｂ）の赤外カットフィルタは設けられないため、赤外光成分ＩＲも受光部に入射され光電変換が行われる。
【００４２】
図１に戻ると、撮像デバイス２からの画素信号（アナログ信号）が入力されるＡＦＥ回路３は、アナログ信号に対して行うべき処理、例えば相関２重サンプリングによるリセットノイズの除去（ＣＣＤの場合）、その他のノイズ除去、増幅等を行う回路である。
【００４３】
ＡＤＣ５は、処理後のアナログ信号を所定ビット、例えば８、１０ビット等のデジタル信号に変換する。このデジタル信号は、画素ごとに上記所定ビットの階調値を有する画素信号列が含まれる。即ち、ＡＤＣ５から出力されるデジタル信号には、Ａ画素と他の色の画素との交互の画素信号列が含まれる。
【００４４】
信号処理部４は、「画素信号処理回路」の一態様であり、ＡＤＣ５からのデジタル信号を処理する構成として、エッジ情報取得部（ＥＤＧＥ）４Ｃ、エッジ判定部（Ｅ＿ＤＥＴ）５４４、および、フィルタ処理部（ＦＩＬ）４Ｅを含む。
信号処理部４は、例えば、半導体チップとしてＩＣ化され、あるいは、複数の部品が実装されたモジュールや実装基板として提供され、当該カメラ装置に内蔵されてよい。信号処理部４は、ＡＤＣ５とＤＡＣ１２間に接続され、前述した各種信号処理として、前処理としての信号増幅、ノイズ低減（ＮＲ）処理、輝度信号と色信号の分離、輝度信号処理、色信号処理等を行う。信号処理部４とＤＡＣ１２との間に、処理後の輝度信号と色信号の混合回路（ＹＣ＿ＭＩＸ）９が接続されている。信号処理部４と混合回路９を含めて信号処理部４としてよく、また、ＩＣ化またはモジュール化をしてよい。
【００４５】
図５に、本実施形態の特徴部分である、図１に示すエッジ情報取得部４Ｃ、エッジ判定部５４４およびフィルタ処理部４Ｅを含めた、信号処理部４の一部（ＮＲ処理部）５４Ａの構成例を示す。
図解するＮＲ処理部５４Ａは、可視光成分を含む第１画素信号と、近赤外光成分を含む第２画素信号とを、別々に入力する。
ここでは原色の画素信号を例としており、第１画素信号がＲ０,Ｇ０,Ｂ０信号である。また、第２画素信号は、上記第１画素信号の可視光成分（Ｒ０信号＋Ｇ０信号＋Ｂ０信号）と等価な可視光成分としてのＷ信号と、近赤外光成分ＩＲの画素信号（以下、ＩＲ信号という）とを含んでいる。ここでは、Ｗ信号とＩＲ信号を合計した信号（Ａ信号またはＡ画素信号という）で、第２画素信号を表記している。
なお、ＩＲ信号は、被写体からの光の近赤外線成分殆どを含んでいる。つまり、図２に示す光学部品１および撮像デバイス２には、少なくとも、受光経路にＩＲカットフィルタを有していないため、多少のロスを除くと、被写体からの近赤外光成分の殆ど全部をＩＲ信号に含んでいる。
【００４６】
図５に示すように、ＮＲ処理部５４Ａは、ノイズ低減（ＮＲ）部４Ｂ、エッジ情報取得部４Ｃ、および、合成処理部４Ｄを有する。
【００４７】
エッジ情報取得部４Ｃは、Ａ画素信号からエッジ情報（例えば近接画素の画素値差分）ＥＤを取得し、ＮＲ部４Ｂに出力する回路であり、本例では、第１エッジ取得部（ＥＤＧＥ１）４Ｃ１と第２エッジ取得部（ＥＤＧＥ２）４Ｃ２とを含む。
【００４８】
第１エッジ取得部４Ｃ１は、可視光成分を含むＲ０,Ｇ０,Ｂ０信号（第１画素信号）を入力し、Ｒ０,Ｇ０,Ｂ０信号の画素データ（階調値）の差分を演算して、第１差分ＥＤ１を求める。同様に、第２エッジ取得部４Ｃ２は、近赤外光成分を含むＡ信号（第２画素信号）を入力し、Ａ信号の画素データ（階調値）の差分を演算して、第１差分ＥＤ１を求める。
第１および第２エッジ取得部４Ｃ１,４Ｃ２は、クロック信号により互いに同期して動作し、撮像画面上の同じ箇所、即ち同一の画素ユニット対に属する２つの画素間で画素データの差分をとる。この差分をとる画素が属する画素ユニット対は、水平方向または垂直方向に隣接する２つの画素ユニットが望ましいが、数ユニット分離れたものでもよい。
得られた第１および第２差分ＥＤ１,ＥＤ２は、第１および第２エッジ取得部４Ｃ１,４Ｃ２から、ＮＲ部４Ｂに出力される。
【００４９】
ＮＲ部４Ｂは、入力されるＲ０,Ｇ０,Ｂ０信号に対しノイズ低減処理を施す。ノイズ低減処理のための構成として、ＮＲ部４Ｂは、エッジ判定部（Ｅ＿ＤＥＴ）５４４とフィルタ処理部（ＦＩＬ）４Ｅとを備える。
【００５０】
エッジ判定部５４４は、第１エッジ取得部４Ｃ１からの第１差分ＥＤ１と、第２エッジ取得部４Ｃ２からの第２差分ＥＤ２を入力し、各々の差分を、所定の基準値と比較する。基準値はエッジ有り、無しの境界を決める、少なくとも１つの基準を用いるとよい。
エッジ判定部５４４は、差分が基準を超えた（または基準以上の）場合に、「エッジ有り」、差分が基準未満（または以下）の場合に「エッジ無し」と判定することができる。
【００５１】
フィルタ処理部４Ｅは、取得された第１および第２差分ＥＤ１,ＥＤ２に基づいて認識される画像箇所（エッジ部）でエッジ階調差を保存しつつ、エッジ部以外でＮＲ処理を実行する。エッジ階調差を保存するためには、ＮＲ部４Ｂはエッジ部でノイズ低減処理を殆ど行わない、あるいは、ＮＲ処理をより弱くかける。
【００５２】
第２エッジ取得部４Ｃ２は、より望ましくは、エッジ部の局部詳細情報（エッジ・テクスチャ情報ＥＴ）をＡ画素信号から抽出する機能を備える。また、抽出したエッジ・テクスチャ情報ＥＴをＲ,Ｇ,Ｂ画像に反映させるために、エッジ・テクスチャ情報ＥＴを、ＮＲ処理後のＲ０,Ｇ０,Ｂ０信号に合成する合成処理部４Ｄが、ＮＲ処理部５４Ａ内に設けられている。
このため合成処理部４Ｄからの出力信号が示す画像は、エッジ階調が保存されてノイズが低減され、かつ、エッジ部分の画質低下が防止された高品質画像となる。
【００５３】
本実施形態では、図５に示すＮＲ処理部５４Ａよりも、信号処理順における前段の構成すべてが、「画素信号発生部」の一態様に該当する。
すなわち、図１では、ＡＤＣ５、ＡＦＥ回路３、撮像デバイス２および光学部品１が、「画素信号発生部」に該当する。
【００５４】
なお、撮像デバイス２からは、赤(Ｒ),緑(Ｇ),青(Ｂ),All(Ａ＝Ｗ＋ＩＲ)の各画素信号が、表示時の走査順に時系列のシリアル信号として排出される。この信号から、第１画素信号（例えばＲ０,Ｇ０,Ｂ０信号）と、第２画素信号（例えばＡ画素信号）を分離する構成が、信号処理部４内のＮＲ処理部５４Ａより前段に必要である。
【００５５】
ＮＲ部４Ｂは、分離後の第１画素信号（Ｒ０,Ｇ０,Ｂ０信号）を色ごとに入力し、Ｒ０,Ｇ０,Ｂ０信号を構成する各画素信号（Ｒ０信号,Ｇ０信号,Ｂ０信号）に対し処理を実行する際に、当該処理のターゲット画素を順次変更して処理を繰り返す。ＮＲ部４Ｂは、各ターゲット画素及びその周囲にエッジが存在していないと、エッジ情報取得部４Ｃで取得されたエッジ情報に基づいて判断されるときはノイズ低減を行い、各ターゲット画素及びその周囲にエッジが存在すると判断されるときはノイズ低減を有効に行わない。
このような処理は、ローパスフィルタにより実行できる。このとき、特にエッジ階調差を保存するには、例えばクロスバイラテラルフィルタのようなエッジ保存フィルタが用いられる。クロスバイラテラルフィルタについては、次の第２実施形態で詳述する。
【００５６】
ＮＲ処理後のＲ０,Ｇ０,Ｂ０信号は、輝度信号と色信号に分離され、分離後の各信号に所定の処理が行われた後、信号処理部４から出力される。
混合回路９は、信号処理部４により処理された輝度信号と色信号を混合（合成）して、ビデオ信号を発生する回路である。
ＤＡＣ１２は、ビデオ信号をアナログのビデオ信号１４に変換して出力する回路である。
【００５７】
マイクロコンピュータ１０は、撮像デバイス２、ＡＦＥ回路３、信号処理部４ＴＧ１３、および、その他のすべての構成を制御する回路である。
マイクロコンピュータ１０には、制御パラメータ等を保持する書き換え可能なメモリ、例えば不揮発性メモリ（ＮＶＭ）１１が接続されている。
なお、モニタ表示部、ビデオ信号１４をさらにエンコードしてモニタ表示部に出力する回路、音声の処理および出力のための回路等は、図１で図示を省略している。
【００５８】
本実施形態によれば、エッジ判定を、Ａ（Ｗ＋ＩＲ）信号と、Ｒ０,Ｇ０,Ｂ０信号のいずれかを用いて行っている。これにより、Ａ画像によるエッジ判定では「エッジ無し」と誤って判定される色境界でも、正しくエッジ判定が可能である。
以上より、より効率的で正確なフィルタ処理が実行可能となる。
【００５９】
なお、図５においてＲ０,Ｇ０,Ｂ０信号の入力端子とフィルタ処理部４Ｅとの間に、例えばゲイン調整、色補正などの他の処理を行う構成を設けてよい。
【００６０】
《第２実施形態》
第２実施形態では、色補正部を含む際に望ましい構成と、望ましいフィルタ処理部４Ｅとしてクロスバイラテラルフィルタの動作を詳細に説明する。色補正部およびクロスバイラテラルフィルタの採用は任意であるが、より現実的な実施形態では色補正部およびクロスバイラテラルフィルタを有することが望ましい。
【００６１】
図６（Ａ）および図６（Ｂ）に、本実施形態のＮＲ処理部の構成を、２例示す。これらの図は、第１実施形態の図５に対応するものであり、同一構成は同一符号を付している。
図６（Ａ）に図解するＮＲ処理部５４Ｂは、フィルタ処理部４Ｅより処理順の前段に、ゲイン調整部４Ａと色補正部ＣＣ）４Ｆを備える。
【００６２】
ここでゲイン調整部４Ａに入力されるＲ１,Ｇ１,Ｂ１信号は、第１実施形態に関わる図５でＮＲ処理部５４Ａに入力されるＲ０,Ｇ０,Ｂ０信号と異なる。
Ｒ０,Ｇ０,Ｂ０信号は、図４（Ｂ）に示す赤外カットフィルタからの光を画素内の受光部で受光して光電変換することにより発生したものであるため、赤外光成分ＩＲを余り含まない。含んでいても赤外カットフィルタで反射しきれずに透過した相対的に少ない光量に対応する赤外光成分ＩＲがＲ０,Ｇ０,Ｂ０信号に含まれる。
【００６３】
一方、Ｒ１,Ｇ１,Ｂ１信号を出力する撮像デバイス２は、図４に示す赤外カットフィルタを全く設けていない。そのためＲ画素からのＲ１信号、Ｇ画素からのＧ１信号、ならびに、Ｂ画素からのＢ１信号は、赤外光成分ＩＲを、被写体からの光とほぼ同じように含んでいる。
さらに、本実施形態における撮像デバイス２には、Ｒ画素、Ｇ画素、Ｂ画素、Ａ画素のほかに、例えば黒（ＢＬ）画素が画素ユニット内に設けられている。ＢＬ画素は、図４（Ａ）に示す色フィルタが、可視光の全周波数領域の光を遮断するように、その誘電体膜２１＿１〜２１＿５の各層の材料、厚さ、層数等が決められている。ただし、ＢＬ画素の色フィルタは、赤外光成分ＩＲのほぼ全量を透過するようになっている。図６（Ａ）に示すように、ＢＬ画素信号としてのＩＲ信号が入力され、色補正部４Ｆに与えられる。
【００６４】
ゲイン調整部４Ａは、少なくともゲインアンプ（可変利得アンプ）を有し、ゲインアンプで、Ｒ１,Ｇ１,Ｂ１信号を、与えられたゲイン値に応じて増幅（または減衰）する（ゲイン調整）。また、ゲインアンプのゲイン値は、図１のマイクロコンピュータ１０から制御される。
【００６５】
色補正部４Ｆは、例えば、Ａ信号と、ゲイン調整後のＲ１,Ｇ１,Ｂ１信号と、ＩＲ信号とをそれぞれ独立に入力し、これらの信号から色補正を行う。ここでの色補正は、入力されるＲ１,Ｇ１,Ｂ１信号に対し、ＩＲ信号を用いて次式(1-1)〜(1-3)示す処理を実行し、補正後の原色信号としてＲ,Ｇ,Ｂ信号を出力する。
【００６６】
［数１］
Ｒ＝Ｒ１−αｒ×ＩＲ…(1-1)
Ｇ＝Ｇ１−αｇ×ＩＲ…(1-2)
Ｂ＝Ｇ１−αｂ×ＩＲ…(1-3)
【００６７】
ここで符号「αｒ」「αｇ」「αｂ」は、それぞれ赤補正用、緑補正用、青補正用の係数である。
これらの式から分かるように、色補正ではＩＲ成分を除去することにより、赤外光の影響を受けずに色が鮮明なＲ,Ｇ,Ｂ信号を発生させることができる。発生したＲ,Ｇ,Ｂ信号は、色補正部４Ｆから、フィルタ処理部４Ｅへ送られる。
【００６８】
一方、図６（Ｂ）に示すＮＲ処理部５４Ｃでは、ＢＬ画素を設けないで、Ａ信号を色補正部４Ｆに入力させている。この場合、まず、Ｒ１,Ｇ１,Ｂ１信号の画素データを同一画素ユニット内で合計し、得られたデータ（Ｒ１＋Ｇ１＋Ｂ１）を、Ａ画素データ（＝Ｗ＋ＩＲ）から引き算することにより、赤外光成分ＩＲを抽出する。その後、上記式(1-1)〜(1-3)を用いてＲ,Ｇ,Ｂ信号を発生させる。
【００６９】
ただし、この方法は、可視光成分と赤外光成分ＩＲが分光特性上で厳密に分離していないため、特に近赤外光に近い赤色の補正に精度を欠く。しかしながら、演算負担は多少増えるものの、ＢＬ画素を設ける必要がないという大きな利点がある。逆に、図６（Ａ）の方法は、補正精度がより高いということが利点である。
【００７０】
エッジ情報の検出について、図６（Ａ）と図６（Ｂ）は異なる方法を採っている。
図６（Ａ）に示すＮＲ処理部５４Ｂは、第１実施形態と同様に、２つの第１および第２エッジ取得部４Ｃ１,４Ｃ２を設けてエッジ情報の取得を行っている。
一方、図６（Ｂ）に示すＮＲ処理部５４Ｃは、エッジ情報取得部４Ｃに含まれる構成として、さらにもう１つの第３エッジ取得部４Ｃ３を設けている。第３エッジ取得部４Ｃ３は、色補正部４Ｆの出力から、他のエッジ取得部４ＣＡ,４ＣＢと同様な方法で差分（第３差分ＥＤ３）を算出して、第３差分ＥＤ３をエッジ判定部５４４に出力する。
【００７１】
エッジ判定部５４４は、第１実施形態と同様に、３つの差分（ＥＤ１〜ＥＤ３）のそれぞれが所定の基準以上の差分であるかを求め、この条件に適合する差分に基づいて、第１実施形態と同様にエッジ判定を行う。
エッジ判定結果はフィルタ処理部４Ｅへ送られ、フィルタ処理に供せられる。
【００７２】
ここで、図６（Ａ）のように色補正前、さらにはゲイン調整前に、第１エッジ取得部４Ｃ１でエッジ情報を取得する理由を述べる。
【００７３】
ゲイン調整部４Ａは、例えば画面の明るさ、特に光源の色温度が異なる等の理由により画面が暗くなる場合は、画面全体の階調値をアップするために設けられている。そのため、通常、Ｒ１信号、Ｇ１信号、Ｂ１信号に対し一律にゲイン値が設定されて、信号増幅が行われる。このときノイズ成分が増大するため、このような大幅なゲインアップが行われる可能性があるゲイン調整部は、ＮＲ部４Ｂより前に配置される。また、色補正部４Ｆは、ゲイン調整後の信号に対して色補正を行うのであるが、色補正後の信号は、前述した式(1-1)〜(1-3)に示すように、色信号レベルからＩＲ成分を減算して求めるため、ノイズレベルは同じでも、信号レベルが低下しＳ／Ｎ比が低下する。
したがって、例えば図７（Ａ）に示すゲイン調整前の画像に比べ、図７（Ｂ）に示すように、色補正後の画像で、大幅にＳ／Ｎ比が低下する場合がある。
【００７４】
以上の理由から、望ましくは、図６（Ａ）のようにゲイン調整部４Ａの前でエッジ情報の取得を行うとよい。ただし、使用される光源が特定されている等の理由により、大幅なゲインアップがなく、ＩＲ成分も比較的少ないことが想定される機種のカメラ装置等では、図６（Ｂ）に示すように、第３エッジ取得部４Ｃ３が、色補正後でエッジ情報の取得を行うような構成も可能である。
【００７５】
なお、図６（Ａ）において、図６（Ｂ）のようにＩＲ信号に代えてＡ信号を用いること、逆に、図６（Ｂ）において、図６（Ａ）のようにＡ信号に代えてＩＲ信号を用いることは、任意に変更可能な事項である。
また、ゲイン調整部４Ａは、図示の位置にある必要もなく、ＮＲ処理部５４Ｂ,５４Ｃから省略可能である。その場合、色補正部４Ｆの前後でノイズレベルが大きく変わらなければ、図５や図６（Ａ）のように第１および第２エッジ取得部４Ｃ１,４Ｃ２によりエッジ情報取得部４Ｃを構成させることに代えて、図６（Ｂ）の第２およびエッジ取得部４Ｃ２,４Ｃ３によりエッジ情報取得部４Ｃを構成することが可能である。この場合、第１エッジ取得部４Ｃ１は省略される。
【００７６】
以下、特徴部であるＮＲ処理部５４Ａを含めた、より詳細な実施形態を説明する。
【００７７】
［信号処理部の構成］
図８は、信号処理部４の一構成例を示すブロック図である。
図解する信号処理部４は、大別すると、前処理を行うＰＲＥブロック４１、輝度信号（Ｙ）を抽出し処理するＹブロック４２、色信号（Ｃ）を抽出し処理するＣブロック４３、画面の明るさを検出するためのＯＰＤ（Optical Detector）ブロック４４とから構成され、各ブロックはパラレルインターフェース（ＰＩＯ）４５を介して、マイクロコンピュータ１０（図８ではＣＰＵブロックと記す）に接続されている。マイクロコンピュータ１０の制御により、図示した各ブロックが制御され、これによりＰＲＥブロックの処理、自動露光（ＡＥ）、自動ホワイトバランス（ＡＷＢ）等の処理が実行される。
【００７８】
ＰＲＥブロック４１は、デジタル自動ゲイン制御（ＡＧＣ）回路５１、シェーディング・欠陥補正回路５２、ディレイライン部（図では「Ｄ」により表示）５３、ＮＲ(Noise Reduction)ブロック５４、パターン発生回路５６、および、黒積分回路５７を有する。
【００７９】
ＡＧＣ回路５１は、入力されるデジタルの画素信号のゲインを調整する回路である。ＡＧＣ回路５１は、通常、次段以降の処理に適した信号振幅を得るために設けられ、単一の画素信号全体に対し、即ち可視光成分と近赤外光成分に対し一律に増幅が行われる。
なお、本例ではＮＲブロック５４にゲイン調整部を含むため、Ｙブロック４２やＣブロック４３の処理に必要な信号振幅は得られる。よって、ＮＲブロック５４より前段の、例えばシェーディング・欠陥補正回路５２で入力振幅が小さすぎて必要な処理精度が得られない等の、特段の事情がない場合はＡＧＣ回路５１を省略可能である。
【００８０】
シェーディング・欠陥補正回路５２は、センサ（撮像デバイス２）の受光面における中心部と辺部とで受光位置が異なることにより生じる明るさの差を補正するシェーディング補正と、センサからの画素信号の欠落データの補正を行う回路である。
【００８１】
ディレイライン部５３は、ＮＲブロック５４の処理のために、水平および垂直の方向に所定の画素数を持つ映像信号規格のライン（水平方向の画素信号列）を単位として数ライン分の遅延を行う回路である。例えばＮＲブロック５４の処理に５ライン分の遅延が必要な場合は、１ライン遅延部を４つ直列接続し、１ライン遅延部の各出力と、遅延させないライン（入力をそのまま出力するライン）とから５ライン分の画素信号列を並列にＮＲブロック５４に入力させることができる。
なお、ディレイライン部５３に代わるものとして画像メモリを設けて、必要なライン数分のデータを読み出す構成でもよい。また、ＮＲブロック５４の具体的な構成および動作は後述する。
【００８２】
本実施形態では、図１に示す撮像デバイス２が単板式であり、図３に示す色配列がされているため、撮像デバイス２から出力される画素信号は、色ごとに見れば、赤(Ｒ),緑(Ｇ),青(Ｂ)の何れかの色の情報を持つ画素信号と、白(Ｗ)の画素信号とが時間軸上で交互に混合されている。したがって、この画素信号が表す画像は、各色についてはモザイク状配置となる。このようなモザイク状の色配置を有する画像を「モザイク画像」という。
モザイク画像をＮＲ処理にそのまま用いると、情報の欠落部分があり精度よい処理が行えない。そこで、ＮＲブロック５４内部にモザイク画像をデモザイクする機能を有する。「デモザイク」は、色ごとのモザイク画像（特定色のモザイク画像）において、その特定色の情報がない部分の色情報を、特定色の情報を有する周辺画素から補間処理等により発生させて全ての画素対応部分に色情報を有する「デモザイク画像」に変換する処理である。デモザイクのための詳細な構成は図示しないが、一般に、簡易な線形補間処理、あるいは、色推定と合成とを繰り返すことによる高精度補間処理のための回路構成が採られる。
【００８３】
パターン発生回路５６は、撮像デバイス２を接続しない状況でのテストパターンを発生する回路である。
黒積分回路５７は、デジタルの画素信号の黒レベルを検出する回路である。
【００８４】
Ｙブロック４２は、ＰＲＥブロック４１から出力されるデモザイク画素信号のうち、最も情報量が多いＡ画素のデモザイク画素信号を入力し、処理する回路である。
Ｙブロック４２は、Ａ画素のデモザイク画素信号から輝度信号（Ｙ）を発生させるＹ発生部６１、輝度信号（Ｙ）からアパチャーコントロール（アパコンと略記する）信号を発生するアパコン発生部６２と、アパコン信号に対するガンマ（γ）補正部６３とを有する。
Ｙ発生部６１で発生した輝度信号（Ｙ）はＯＰＤブロック４４に供給される。アパコン発生部６２では、Ｙ発生部６１で発生した輝度信号(Ｙ)から、画の輪郭部分のみを強調した輝度信号（Ｙ）に修正を施して、修正後の輝度信号（Ｙ）をγ補正部６３に供給する。γ補正部６３からはガンマ補正後の輝度信号（Ｙ）が、図１の混合回路９に出力される。
【００８５】
Ｃブロック４３は、Ｒ,Ｇ,Ｂ画素のデモザイク画素信号を入力し処理する回路である。
Ｃブロック４３は、ＲＧＢマトリクス回路７１、ホワイトバランス（ＷＢ）およびガンマ（γ）補正回路（「ＷＢ／γ補正」と記す）７２、色差信号（Ｒ−Ｇ）と（Ｂ−Ｇ）の変換回路（色差変換回路という）７３、ならびに、クロマ信号Ｃｒ,Ｃｂの発生回路（クロマ発生回路という）７４を有する。
【００８６】
ＲＧＢマトリクス回路７１は、Ｒ,Ｇ,Ｂ画素のデモザイク画素信号を入力し、同一の画素ユニットごとに同時化処理（同期）された色信号（Ｒ／Ｇ／Ｂ信号）を出力する回路である。Ｒ／Ｇ／Ｂ信号はＯＰＤブロック４４およびＷＢ／γ補正回路７２に出力される。
ＷＢ／γ補正回路７２は、入力されるＲ／Ｇ／Ｂ信号から、色ごとのゲインバランスをとり、ホワイトバランス（ＷＢ）調整を行う。このときＯＰＤブロック４４からの明るさ情報が参照される。また、ホワイトバランス後のＲ／Ｇ／Ｂ信号の各画素強度に対して、色ガンマ（γ）補正がかけられる。このとき画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。この数値は、例えば図１に示す不揮発性メモリ１１あるいはマイクロコンピュータ１０内の記憶領域等に保持され、これが図８のＰＩＯ４５を介してＷＢ／γ補正回路７２に供給される。ガンマ補正とは、表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。
【００８７】
色差変換回路７３は、ガンマ補正後のＲ／Ｇ／Ｂ信号を色差信号（Ｒ−Ｇ）,（Ｂ−Ｇ）に変換する回路である。
クロマ発生回路７４は、色差変換回路７３の出力から、さらにクロマ信号Ｃｒ,Ｃｂを発生させる回路である。発生したクロマ信号Ｃｒ,Ｃｂは、図１に示す混合回路９に送られる。
【００８８】
ＯＰＤブロック４４は、例えば自動露光制御（ＡＥ）に用いられる輝度積分値を発生させる輝度積分回路４４Ａと、例えばホワイトバランスに用いられる色ごとのＲ／Ｇ／Ｂ積分値を発生させるＲ／Ｇ／Ｂ積分回路４４Ｂとを含む。
輝度積分回路４４Ａは、輝度信号（Ｙ）を、例えば1画面分、積分することにより輝度積分値を発生させる。輝度積分値はマイクロコンピュータ１０を介して図１の光学部品１内に設けられている絞り制御回路及び撮像デバイス２に内蔵されているアナログゲイン回路に供給される。
Ｒ／Ｇ／Ｂ積分回路４４Ｂは、ＲＧＢマトリクス回路７１からの色ごとのＲ／Ｇ／Ｂ信号を、例えば１画面分、色ごとに積分することによりＲ／Ｇ／Ｂ積分値を発生させる。Ｒ／Ｇ／Ｂ積分値はＰＩＯ４５を介してマイクロコンピュータ１０に供給され、そこでＷＢゲインを計算した結果が、ＷＢ／γ補正回路７２に供給される。
【００８９】
［ＮＲブロックの詳細］
図９は、ＮＲブロック５４のさらに詳細なブロック図である。
図解するＮＲブロック５４は、分離部５４１、同時化（同期）処理部５４２、Ａデモザイク処理部５４３、ＲＧＢデモザイク処理部５４５、ゲイン調整部４Ａ、ＮＲ部４Ｂ、エッジ情報取得部（ＥＤＧＥ）４Ｃ、合成処理部４Ｄ、および、色補正部（ＣＣ）４Ｆを含む。このうちＡデモザイク処理部５４３、ＲＧＢデモザイク処理部５４５、ゲイン調整部４Ａ、ＮＲ部４Ｂ、エッジ情報取得部４Ｃ、合成処理部４Ｄ、および、色補正部４Ｆが、図８に示すＮＲ処理部５４Ｂに含まれる。
【００９０】
分離部５４１は、Ａ（Ｗ＋ＩＲ）画素のモザイク画像を構成するＡ画素信号と、その他の色の画素信号（Ｒ１,Ｇ１,Ｂ１画素信号）とを分離する回路である。
同時化処理部５４２は、分離後のＡ画素信号と、Ｒ１,Ｇ１,Ｂ１画素信号とをそれぞれ入力し、同時化（同期）処理して出力する回路である。Ａ画素信号はＡデモザイク処理部５４３に入力され、Ｒ１,Ｇ１,Ｂ１画素信号はＲＧＢデモザイク処理部５４５に入力される。
【００９１】
Ａデモザイク処理部５４３は、入力したＡ画素信号にデモザイク処理を施し、デモザイクＡ画像を発生させる回路である。同様に、ＲＧＢデモザイク処理部５４５は、入力したＲ１,Ｇ１,Ｂ１画素信号の各画素信号に対しデモザイク処理を施し、デモザイクＲ,Ｇ,Ｂ画像を発生させる回路である。
これらのデモザイク処理は、例えば線形補間法等の簡易デモザイク処理でもよいが、より望ましくは、例えば、色推定と合成とを繰り返すことが可能な高精度な補間処理のための回路で実行される。具体的には、補間処理専用回路のほかに、ＤＳＰなどのコンピュータベースの制御部と、これを動作させるプログラムの機能から、デモザイク処理を実現してよい。
【００９２】
エッジ情報取得部４Ｃは、所定の手法によりデモザイクＡ画像から第１および第２差分ＥＤ１,ＥＤ２を取得する。このときエッジ情報取得部４Ｃは、ターゲット画素を中心として、例えば３×３,５×５,…等の水平および垂直に任意数（通常、水平と垂直が同じ奇数）の画素群からなる周辺画素範囲においてエッジ情報取得を行う。ターゲット画素とは、ＮＲ部４Ｂでフィルタ処理によりノイズ低減を行う処理対象画素のことである。ターゲット画素は、入力順に一方の向き、例えば映像信号の水平方向の並びに沿ってその一方に順次変化する。エッジ情報取得部４Ｃは、ターゲット画素が順次、隣の画素に変更されるたびに、その周辺画素範囲を、変更後のターゲット画素が中心となるように認識し直してエッジ情報取得を繰り返す。取得された第１および第２差分ＥＤ１,ＥＤ２は、エッジ情報取得部４ＣからＮＲ部４Ｂに与えられる。
エッジ情報取得の具体的な手法としては、ターゲット画素と、当該ターゲット画素を中心とする周辺画素範囲内の他の画素との画素値の差分を求める方法が採用できる。
【００９３】
色補正部４Ｆは、例えば、前述した減算を用いた方法により、ゲイン調整後のデモザイクＲ,Ｇ,Ｂ画像ＲＤ,ＧＤ,ＢＤに対し、色補正を行う。
【００９４】
ＮＲ部４Ｂは、本例ではクロスバイラテラルフィルタから構成される。基本的なフィルタ構成は、よく知られている２次元ＬＰＦであり、例えば、特許文献１に示されるＬＰＦ構成を採用できる。
このとき、取得された第１および第２差分ＥＤ１,ＥＤ２からエッジ判定を行う。エッジ判定の方法は、既に説明した。また、エッジ判定部５４４は、エッジ判定結果に基づいて、エッジ階調差をより多く保存するようにフィルタ係数の変更を行う。このとき元のエッジ階調差を強調することも可能である。そして、変更後のフィルタ係数を、色補正部４Ｆから出力されるＲ,Ｇ,Ｂ画像の２次元フィルタ処理に適用する。
このようにＡ画素からなるデモザイク後の画像の第１および第２差分ＥＤ１,ＥＤ２からエッジ判定を行い、エッジ判定結果を用いてＲ,Ｇ,Ｂ画像の２次元フィルタ処理を行うと、画素値差分に応じたエッジ階調差を保存でき、より望ましい。このようなフィルタ処理対象と異なる画像情報を参照する２次元フィルタを、特にクロスバイラテラルフィルタと称する。クロスバイラテラルフィルタ処理の概要は後述するが、エッジ検出（エッジ情報取得とエッジ判定）がデモザイク後のＡ画像またはＲ,Ｇ,Ｂ画像を用いて行われるため、エッジ検出精度が高く、その結果、クロスバイラテラルフィルタの出力でエッジ情報が効果的に保存される。処理後のＲ,Ｇ,Ｂ画素信号は、合成処理部４Ｄに出力される。
【００９５】
エッジ情報取得部４Ｃは、Ａ画素信号（厳密には、デモザイク後のＡ画像の信号）からエッジ・テクスチャ情報ＥＴを抽出する機能を有する。抽出範囲は、例えば、エッジと判定され画素値差分を含む周辺画素領域の全てをＡＮＤ処理で一つにまとめた（マージした）領域としてよい。エッジ・テクスチャ情報ＥＴは、エッジ情報取得部４Ｃから合成処理部４Ｄに出力される。
【００９６】
合成処理部４Ｄは、ＮＲ部４Ｂから入力されるＲ,Ｇ,Ｂ画素信号のエッジ部の情報を、エッジ情報取得部４Ｃから入力されるエッジ・テクスチャ情報ＥＴで置き換えることにより画像合成（信号混合）を行う。
合成処理部４ＤからのＲ,Ｇ,Ｂ画像は色信号処理のためにＣブロック４３に送られ、Ａデモザイク処理部５４３からのデモザイクＡ画像ＡＤは輝度信号処理のためにＹブロック４２に送られる。
【００９７】
ゲイン調整部４Ａは、ゲインアンプＧＡを含む。
ゲインアンプＧＡは、ＲＧＢデモザイク処理部５４５からのデモザイクＲ,Ｇ,Ｂ画像を入力し、デモザイクＲ画像、デモザイクＧ画像、デモザイクＢ画像を構成する各色の画素信号（Ｒ画素信号、Ｇ画素信号、Ｂ画素信号）にゲイン値Ｇをかけて信号振幅を一律に変化させる回路である。なお、このとき色ごとにゲイン値を変えてもよいが、本例では色バランス補正のための回路が後段に存在するため、ここでは同じゲイン値Ｇを用いる。
【００９８】
図９に示すゲイン調整部４Ａは、マイクロコンピュータ１０の機能の一部を含むものであり、所定の明るさ情報に基づいてゲイン値Ｇを算出し（または不揮発性メモリ１１等から読み出し）、ゲインアンプＧＡに変更可能に設定する。
ゲイン値Ｇの値は、例えば画面の明るさ調整に用いられる。例えば自動露光制御（ＡＥ）を、図９のＯＰＤブロック４４からの明るさ情報に基づいて行う。このとき、暗い被写体を明るくする逆光補正や、光源の色温度により可視光成分が少ないときに画面全体を明るくする色温度に応じた明るさ補正を、マイクロコンピュータ１０が実行する。
【００９９】
つぎに、まず、クロスバイラテラルフィルタによるＮＲ処理の概要（本発明のノイズ低減方法の一例を含む）を説明する。
【０１００】
［ＮＲ処理（エッジ検出方法を含む）］
図１０は、エッジ判定とノイズ低減を模式的に詳示した撮像以後の処理フロー図である。
図１０に示すステップＳＴ０にて、Ａ,Ｒ,Ｇ,Ｂの色画素を同一画素ユニットに含む撮像デバイス２にて、被写体の撮像が行われる。
その後、得られた画素信号に対し、図１に示すＡＤＣ５によりＡ／Ｄ変換が行われ（ステップＳＴ１）、さらにその後に、図９のＡデモザイク処理部５４３およびＲＧＢデモザイク処理部５４５によりデモザイク処理が行われる（ステップＳＴ２）。なお、ＡＦＥ回路３によるＡＦＥ処理、分離部５４１による分離処理、同時化処理部５４２による同時化処理、その他の処理は、作図の都合上、図示を省略している。
【０１０１】
ステップＳＴ３にて、図９に示すエッジ情報取得部（ＥＤＧＥ）４Ｃによりエッジ情報取得が行われ、続いてステップＳＴ４にて、フィルタ処理が行われる。ステップＳＴ４のフィルタ処理は、エッジ判定（ステップＳＴ４１）、ＬＰＦ係数の設定（ステップＳＴ４２）、および、フィルタリング（ステップＳＴ４３）を含んで構成される。
なお、ステップＳＴ３の開始と並行して、ステップＳＴ５のゲイン調整および色補正の処理が開始されるが、まず、ステップＳＴ３とＳＴ４を説明する。
【０１０２】
エッジ情報取得（ＳＴ３）は、例えばエッジ情報取得部４Ｃが有する、減算器等の差分算出回路（不図示）が、マイクロコンピュータ１０の制御を受けて実行する。
この差分算出はマイクロコンピュータ１０自身の演算で行ってもよいが、ハードウエアによる場合、差分演算回路が必要である。差分算出回路は、図１０のデモザイクＡ画像ＡＤにおいて示すように、ターゲットＡ画素Ａｔを含む、例えば３×３の周辺画素範囲において、当該ターゲットＡ画素Ａｔの画素値と、ターゲットＡ画素Ａｔの周辺に位置する周辺Ａ画素Ａｐの画素値とで、第１差分ＥＤ１を算出する。
【０１０３】
図１０には、デモザイク後の３×３の周辺画素範囲に相当するデモザイクＡ画像ＡＤの他に、当該３×３のデモザイクＡ画像ＡＤに対応する、デモザイクＲ画像ＲＤ、デモザイクＧ画像ＧＤ、デモザイクＢ画像ＢＤも、併せて示す。
３×３デモザイクＲ画像ＲＤの中心画素がターゲットＲ画素Ｒｔである。同様に、３×３デモザイクＧ画像ＧＤの中心画素がターゲットＧ画素Ｇｔ、３×３デモザイクＢ画像ＢＤの中心画素がターゲットＢ画素Ｂｔである。
これら４つのターゲット画素は、クロック信号で規定される同時刻には、撮像デバイス２の画素配列において、常に、図３（Ａ）または図３（Ｂ）に示す同一の画素ユニット内で得られたものである。処理対象が順次変化すると、４つのターゲット画素が順次、例えば水平方向に１画素分ずつシフトし、これに応じて各色で３×３周辺画素範囲も同じ方向に１画素分ずつシフトするように制御される。
【０１０４】
差分値算出回路は、デモザイクＡ画像ＡＤで図示する８方向の差分diff(px,py)を算出する。ここで座標(px,py)は、図示のように取られた(x,y)絶対位置座標系（表示画面の画素アドレスに対応）内の局部相対座標を表し、デモザイクＡ画像ＡＤ内のターゲットＡ画素Ａｔに対する相対的な位置（１画素分の距離を「１」で表示）を表している。
絶対位置座標でデモザイクＡ画像ＡＤの中心画素（ターゲットＡ画素Ａｔ）をＡ０(x,y)としたときに、周辺画素はＡｐ(x-xp,y-yp)と表すことができ、その差分を取ると差分diff(px,py)となる。
このような差分の８回の計算によって、図示のような第１差分ＥＤ１の配列（数値行列）が得られる。
【０１０５】
以上は、デモザイクＡ画像ＡＤから求める第１差分ＥＤ１の算出法であるが、これと同様な方法によって、デモザイクＲ画像ＲＤ、デモザイクＧ画像ＧＤ、デモザイクＢ画像ＢＤから第２差分ＥＤ２の配列（数値行列）が算出される。
【０１０６】
得られた第１および第２差分ＥＤ１,ＥＤ２（差分配列）は、エッジ情報取得部４ＣからＮＲ部４Ｂに送られ、フィルタ処理に供せられる。
【０１０７】
図１１は、フィルタ処理のエッジ判定（ＳＴ４１）とフィルタリング（ＳＴ４３）の概念を説明するための図である。また、図１２は、フィルタ処理のＬＰＦ係数設定（ＳＴ４２）とフィルタリングの概念を説明するための図である。
図１１および図１２に示すように、ＮＲ部４Ｂ内に、クロスバイラテラルフィルタのエッジ判定部５４４、フィルタ部５４６、および、フィルタ設定部５４７を有している。
エッジ判定部５４４はハードウエア（専用回路）で構成してよいし、あるいは、その処理手順を、マイクロコンピュータ１０によるソフトウエア処理で実現するものでもよい。フィルタ部５４６は、それぞれシフトレジスタと加算器、乗算器等からなる、Ｘ方向フィルタ部とｙ方向フィルタ部からなるハードウエアで構成される。また、フィルタ設定部５４７は、例えば不揮発性メモリ１１から基本フィルタ係数セットを読み出して、これに変更を加えるもので、その処理手順は、マイクロコンピュータ１０によるソフトウエア処理で実現される。
【０１０８】
エッジ判定部５４４は、ターゲットＡ画素Ａｔと、その周辺に位置する周辺Ａ画素Ａｐの画素値との差分（diff(px,py)）である第１差分ＥＤ１をエッジ情報取得部４Ｃから入力する。また、エッジ判定部５４４は、ターゲット色画素（Ｒｔ,Ｇｔ,Ｂｔの何れか）と、その周辺に位置する周辺色画素（Ｒｐ,Ｇｐ,Ｂｐ（不図示）の何れか）との差分（diff(px,py)）である第２差分ＥＤ２をエッジ情報取得部４Ｃから入力する。そして、第１差分ＥＤ１と第２差分ＥＤ２の各々を、所定の基準を超えているか（あるいは、以上か）を判断する。どちらも大きい場合は、いずれも「エッジ有り」の判定が成される。実際にエッジが存在する場合、本実施形態では、２つの第１および第２差分ＥＤ１,ＥＤ２を用いるため、何れかは「エッジ有り」と判定される可能性が高まる。
【０１０９】
なお、第１および第２差分ＥＤ１,ＥＤ２のばらつき評価を行い、ばらつきがある程度大きければノイズ成分とみなして、差分の大きさが基準を超えている場合でも、エッジ判定に用いないようにしてよい。
また、エッジ有りの場合でも、複数の異なる基準でエッジの大きさをランク分けして、「エッジ有り」と判定される場合に、そのランクに応じて、フィルタ係数の変更の程度を変化させる制御も可能である。
【０１１０】
フィルタ係数の設定（ＳＴ４２）では、まず、マイクロコンピュータ１０等のフィルタ設定部５４７が、基本のＬＰＦ係数Ｗ０を、例えば不揮発性メモリ１１から読み出す。フィルタ設定部５４７は、エッジ判定部５４４が「エッジ有り」と判定した箇所で、上記読み出した基本のＬＰＦ係数Ｗ０に修正を加える。
具体的には、図１２に示すように「エッジ有り」の判定箇所で、基本のＬＰＦ係数Ｗ０を下げて、修正後のｘ方向のＬＰＦ係数Ｗ(x,px)を算出し、算出したＬＰＦ係数Ｗ(x,px)で、基本のＬＰＦ係数Ｗ０の対応部分を置き換える。同様にして、ｙ方向のＬＰＦ係数Ｗ(y,py)を算出し、算出したＬＰＦ係数Ｗ(y,py)で基本のＬＰＦ係数Ｗ０の対応部分を置き換える。
【０１１１】
ＬＰＦ係数を下げる割合は、フィルタ設定部５４７が予め決めたものでもよいし、差分値の大きさによって動的に変更して制御してもよい。
ＬＰＦ係数の求め方の一例を、ｘ方向を例として演算式により表すと、次式(2)のようになる。なお、ｙ方向の演算式は次式(2)の「x」を「y」で置き換えたものとなる。この演算式は、係数の下げ方を分散（σ２）に応じて一義的に決めている。
【０１１２】
【数２】
2008283541.tif 000003
【０１１３】
ここでＡ画素データのｘ方向の各階調値を、「edge(x)」と表記している（図１１および図１２参照）。
【０１１４】
フィルタ部５４６は、図１０のフィルタリング（ＳＴ４３）を行うものであり、例えば図１１に示すようにＸ方向フィルタリングにおいては、Ｒ,Ｇ,Ｂ画素データ（入力in(x)）を入力し、出力out(x)を排出する。ここでフィルタ部５４６の入力in(x)は、ゲインアンプＧＡによるゲイン調整および色補正後のＲ画素データ、Ｇ画素データ、Ｂ画素データの何れかであるため、ノイズレベルが大きく、図１１に示すように、エッジ階調差がノイズにより不明瞭となっている。
【０１１５】
一方、Ａ画素データは、Ｗ画素データ（Ｒ,Ｇ,Ｂ画素データの合計と等価）と、さらに近赤外光成分ＩＲを含むため、元々の情報量が大きく、ゲイン調整する必要がない。よって、図１１に示すように、Ｓ／Ｎ比が高くエッジ階調差が明瞭である。フィルタ入力でエッジが不明瞭、Ａ画像で明瞭なことは、ｙ方向フィルタリングの入力in(y)と、Ａ画素データのｙ方向階調値edge(y)でも同じである。これが、上述したＬＰＦ係数の設定でＡ画素信号データを用いる理由である。前述した式(2)で、破線で示す部分でＡ画素信号データの差分情報がＬＰＦ係数Ｗに反映されていることが分かる。
【０１１６】
フィルタ部５４６は、フィルタ設定部５４７で設定されたフィルタ係数（重み付け係数）を用いてバイラテラル、即ちｘ方向とｙ方向のそれぞれについて、色ごとに入力in(x)（または入力in(y)）のターゲット画素値とその周辺の８画素値とを重み付けして、ターゲット画素値の階調値を変化させて出力する回路である。フィルタ部５４６が行う処理を、ｘ方向を例として演算式に表すと、次式(3)のようになる。なお、ｙ方向の演算式は次式(3)の「x」を「y」で置き換えたものとなる。
【０１１７】
【数３】
2008283541.tif 000004
【０１１８】
このときフィルタ部５４６は、ターゲット画素を、隣の画素に順送りしながら、そのターゲット画素が変更されるたびにＬＰＦ係数の演算および変更とフィルタリングとを繰り返し行う。ターゲット画素の変更は、エッジ情報取得部４Ｃと完全に同期している。あるターゲット画素を中心とした周辺画素範囲で上記式(3)により表されるフィルタリングを行い、当該フィルタリングが終了すると、次のターゲット画素への変更を行って、同様な処理を変更後のターゲット画素とその周囲の８画素に対して実行する。
【０１１９】
図１０には、基本のＬＰＦ係数Ｗ０の数値を概念的に示している。図１０では、係数を作図の便宜上、比較的に大きな整数で表記するが、実際の係数のレベルとは異なる。
「１」「３」「１」と係数がカラム方向（表示画素の垂直方向）に並ぶとき、その隣のカラムとの間付近がエッジ中心と判定された場合、「１」「３」「１」の係数が下げられる。ここでは説明の都合上、例えば「０.２」倍にされて、よりエッジが鮮明となる係数への変更が行われている。そして、このように修正後のＬＰＦ係数セットを用いてフィルタ処理が実行される。
【０１２０】
通常の２次元フィルタ（バイラテラルフィルタ）では、フィルタリングを行うとエッジ情報が周辺画素に拡散する。
これに対し本実施形態のクロスバイラレテラルフィルタでは、エッジの急峻性を保存するため、Ａ画素信号データを用い、かつ、ノイズ除去のための基本のＬＰＦ係数に一部修正を加える。ノイズ除去のため最適化されたＬＰＦ係数を変更すると、ノイズ除去能力が低下する場合もあるが、エッジが検出されるのは画面全体から見れば局所的であるため、このようにエッジ判定箇所で強くノイズリダクションをかけなくても全体のノイズ低減は十分可能である。
【０１２１】
以上の処理を、ある色についてターゲット画素を画素信号の入力順、即ち表示走査順に変更しながら繰り返すと、当該色の画像は、その色情報を保持しながら、図１１および図１２のｘ方向で出力out(x)により示すように、Ａ画素分布に近いものとなる。つまり、緩やかな変化は色情報として保持されるが、突発的あるいはランダムな変化が平滑化され、ノイズ成分が低減（除去または抑圧）される。
これは、ｙ方向についても、また、他の残りの２色についても同様である。
【０１２２】
ノイズ低減後のＲ,Ｇ,Ｂ信号（デモザイクＲ,Ｇ,Ｂ画像ＲＤ,ＧＤ,ＢＤの信号）は、ＮＲ部４Ｂから合成処理部４Ｄに送られる。
一方、エッジ情報取得部４Ｃからはエッジ・テクスチャ情報ＥＴが合成処理部４Ｄに出力され、当該エッジ・テクスチャ情報ＥＴに対応する、デモザイクＲ,Ｇ,Ｂ画像ＲＤ,ＧＤ,ＢＤの一部が、当該エッジ・テクスチャ情報ＥＴに置き換えられて画像合成処理が実行される。
【０１２３】
画像合成後のＲ,Ｇ,Ｂ画像はＣブロック４３に、デモザイクＡ画像ＡＤはＹブロック４２に出力される。
図１０には、画像合成以後の処理を示すが、図示のように、画像合成後の画像にホワイトバランス、ガンマ（γ）補正をまず行って、そのγ補正後のＲ,Ｇ,Ｂ画像を、図９に示す、Ｙ処理のためＹブロック４２と、Ｃ処理のためのＣブロック４３に出力する構成でもよい。
【０１２４】
《第３実施形態》
本実施形態は、フィルタ処理部が、エッジ強調のためのフィルタ（帯域フィルタ）であってもよいことを示すものである。
エッジ強調フィルタは、例えば、本願の出願人による特開２０００−１３６４２号公報に記載の構成が採用できる。当該公報の記載によれば、輝度信号のレベルを検出して輝度差に応じたフィルタ係数を演算により求めている。フィルタ係数は、帯域フィルタ、遅延部、アンプ、出力段の加算器等を含む補正部に入力される。帯域フィルタは、入力される輝度信号をシフトレジスタにより遅延し、その複数Ｎ個の中間タップと、シフトレジスタの入力および出力とから（Ｎ＋１）個の遅延出力を並列に、（Ｎ＋１）個の乗算器に１つずつ入力する。これらの乗算器には、それぞれ所定の補正係数が入力され、遅延出力と乗算される。この補正係数は、入力信号（この場合、輝度信号）の差分に応じて適宜変更される。乗算結果は、帯域フィルタ内の加算器で合成され、アンプを通して、上記出力段の加算器で、遅延後の輝度信号と合成され、エッジ強調された輝度信号が、当該出力段の加算器から出力される。
【０１２５】
このエッジ強調フィルタそのものは既知であるため、詳細回路図を示さないが、本実施形態では、例えば第１実施形態で用いた図１および図５、第２実施形態で用いた図６（Ａ）および図６（Ｂ）に示されるフィルタ処理部４Ｅを、例えば上記構成のエッジ強調フィルタに置き換え可能である。また、エッジ強調の場合、エッジ・テクスチャ情報ＥＴによるエッジ部の画像置き換えは不要であり、上記図５、ならびに、図６（Ａ）および図６（Ｂ）の合成処理部４Ｄは不要であり、フィルタ処理部４Ｅの代わりに設けられたエッジ強調フィルタ部の出力が、そのまま後段に送られる。また、第２エッジ取得部４Ｃ２はエッジ・テクスチャ情報ＥＴの抽出機能を持つ必要がない。
【０１２６】
上記特開２０００−１３６４２号公報の処理は輝度信号に対してのものであるが、ここではＡ信号（第２画素信号）に対し、第２エッジ取得部４Ｃ２が差分、即ち第２差分ＥＤ２を検出する。
一方、第１および第２実施形態と同様に、第１画素信号としての、例えばＲ０,Ｇ０,Ｂ０信号に対しては、その差分、即ち第１差分ＥＤ１を、第１エッジ取得部４Ｃ１（および第３エッジ取得部４Ｃ３）が検出する。第１および第２差分ＥＤ１,ＥＤ２に基づくエッジ判定は、第１および第２実施形態と同様に行う。
上記特開２０００−１３６４２号公報の処理では、差分に応じて係数を求めるが、ここではエッジ判定で「エッジ有り」と判断された箇所で、決められた係数への変更を行う。ただし、差分に応じた係数への変更を行うこともできる。
【０１２７】
このように、本願発明はエッジ判定手法に特徴があるため、エッジ情報を保存しつつ行うノイズ低減フィルタ、エッジ強調フィルタの何れに対しても適用可能である。
【０１２８】
上述した第１〜第３実施形態のカメラ装置（画像入力処理装置）では、エッジ情報取得部４Ｃが、可視光成分を含む第１画素信号（例えばＲ０,Ｇ０,Ｂ０信号）と、近赤外光成分を含む第２画素信号（例えばＡ画素）とから、第１差分ＥＤ１、第２差分ＥＤ２（場合によっては第３差分ＥＤ３）という複数の差分を、同一エッジに関して取得する。そして、エッジ判定部５４４は、この２つ（または３つの）差分を所定の基準と比較し、比較の結果に応じて「エッジ有り」「エッジ無し」の判定を行う。
その後のフィルタ処理では、エッジ部以外では基本フィルタ係数セットを用いてフィルタ処理が行われるが、エッジ部では、この基本フィルタ係数セットに変更が加えられてからフィルタ処理が実行される。このためエッジ部に対し、例えば、上記ノイズ低減の緩和、上記エッジ強調が行われる。
【０１２９】
このため、被写体を撮像する際に、信号の情報量が多いためＳ／Ｎ比が高く、エッジが鮮明な画像（第２画素信号の画像）と、エッジ境界の色成分の組み合わせでエッジが鮮明な画像（第１画素信号の画像）の何れか良好なエッジをもつ画像がエッジ判定に用いられることになる。
換言すると、エッジ境界の色の組み合わせによっては、赤外光を含む第２画素信号のみのエッジ判定ができないという背景技術が持つ不都合を回避しつつ、エッジ情報を良好に保存するノイズ低減処理、あるいは、高精度なエッジ強調処理が施されるため、常に高品質な画像が出力される。
【０１３０】
特に第２実施形態では、赤外光成分ＩＲが減算されて信号レベルが低下するためＳ／Ｎ比が低下する色補正処理に入力される前、さらに望ましくは、その色補正前で信号増幅を行うゲイン調整が施される前の第１画素信号から第１差分ＥＤ１が検出されるため、差分演算におけるノイズの影響が極力回避でき、高精度なエッジ判定が可能であるという利点がある。
また、第１および第２実施形態では、エッジ部の詳細画像がエッジ・テクスチャ情報ＥＴとして抽出され、合成されるため、エッジ部でノイズ低減の効果が得られない場合、フィルタリングにより色が異なる場合でも、元のノイズレベル、色情報の保存が可能である。
第３実施形態のエッジ強調フィルタのためのエッジ判定で、エッジの不鮮明化が生じると、エッジが存在するのにエッジ強調されない、エッジ強調の程度が弱いという不都合が生じるが、このような事態が回避できる。
【０１３１】
なお、以上はカラー画像の処理について述べたが、モノクロ画像を撮像するカメラ装置にも同様に、本発明が適用できる。この場合、第１画素信号はＩＲ成分が除去されたモノクロ画素信号であり、第２画素信号は、当該モノクロ画素信号にＩＲ成分が含まれた信号である。この場合、ＩＲ成分を含むため第２画素信号が、よりＳ／Ｎ比が高い一方で、撮像環境に応じてＩＲ成分の割合が極端に大きくなると、第２画素信号に基づくエッジの検出が困難になることがある。その場合、上記第１〜第３実施形態では、第１画素信号でエッジ検出のために検出された第１差分ＥＤ１で「エッジ有り」の判定が可能となる。よって、上記カラー画像と同様に、赤外光を含む第２画素信号のみのエッジ判定ができないという背景技術が持つ不都合を回避しつつ、エッジ情報を良好に保存するノイズ低減処理、あるいは、高精度なエッジ強調処理が施されるため、フィルタ処理部からは常に高品質な画像が出力される。
【図面の簡単な説明】
【０１３２】
【図１】本発明の実施形態に係る画素信号処理回路を内蔵したカメラ装置のブロック図である。
【図２】本実施形態の説明に用いた、撮像デバイスの出力分光特性を示すグラフである。
【図３】（Ａ）と（Ｂ）はオンチップ・多層フィルタの色配列を１画素ユニット分示す図である。
【図４】（Ａ）は色フィルタの構造例、（Ｂ）は赤外カットフィルタの構造例を示す模式的な断面図である。
【図５】第１実施形態に関わるＮＲ処理部の構成図である。
【図６】（Ａ）と（Ｂ）は、第２実施形態に関わるＮＲ処理部の構成図である。
【図７】（Ａ）はゲイン調整前の画像、（Ｂ）は色補正後の画像を示す図である。
【図８】信号処理部のブロック図である。
【図９】ＮＲブロックの詳細を示すブロック図である。
【図１０】エッジ判定とノイズ低減を模式的に詳示した撮像以後の処理フロー図である。
【図１１】エッジ判定とフィルタリングの関係を概念的に示す図である。
【図１２】フィルタ係数設定とフィルタリングの関係を概念的に示す図である。
【図１３】特許文献１に記載された画像処理部の構成を示すブロック図である。
【図１４】（Ａ）はＡ画像、（Ｂ）は可視光の入力画像のＲ成分（Ｒ画像）を、それぞれ色パレット画像で示す図である。
【符号の説明】
【０１３３】
１…光学部品、２…撮像デバイス、３…ＡＦＥ回路、４…信号処理部、４Ａ…ゲイン調整部、４Ｂ…ＮＲ部、４Ｃ…エッジ情報取得部、４Ｄ…合成処理部、４Ｅ…フィルタ処理部、４Ｆ…色補正部、５…ＡＤＣ、９…混合回路、１０…マイクロコンピュータ、１１…不揮発性メモリ、１２…ＤＡＣ、１３…ＴＧ、１４…ビデオ信号、４１…ＰＲＥブロック、４２…Ｙブロック、４３…Ｃブロック、５３…ディレイライン部、５４…ＮＲブロック、５４Ａ…ＮＲ処理部、５４１…分離部、５４２…同時化処理部、５４３…Ａデモザイク処理部、５４４…エッジ判定部、５４５…ＲＧＢデモザイク処理部、５４６…フィルタ部、Ｇ…ゲイン値、ＥＤ１…第１差分、ＥＤ２…第２差分、ＥＴ…エッジ・テクスチャ情報
【図１】
2008283541.tif 000005
【図２】
2008283541.tif 000006
【図３】
2008283541.tif 000007
【図４】
2008283541.tif 000008
【図５】
2008283541.tif 000009
【図６】
2008283541.tif 000010
【図８】
2008283541.tif 000011
【図９】
2008283541.tif 000012
【図１０】
2008283541.tif 000013
【図１１】
2008283541.tif 000014
【図１２】
2008283541.tif 000015
【図１３】
2008283541.tif 000016
【図７】
2008283541.tif 000017
【図１４】
2008283541.tif 000018