(57)【要約】【課題】高解像度の輝度信号中に含まれる偽信号を低減できる撮像装置を提供することを目的とする。【解決手段】本発明にかかる撮像装置は、複数の画素からなり、各画素がカラーフィルターを有する撮像素子と、撮像素子から出力された画像信号に対してホワイトバランスの調整を行う調整手段と、調整手段により調整された画像信号に含まれる画素の周辺のエッジ成分を検出する検出手段と、検出手段によりエッジ成分が検出されると、画像信号のうち周辺にエッジ成分が検出された画素については、エッジ成分と直交する方向の低周波成分を抽出する抽出手段と、抽出手段により抽出された信号に基づいて、輝度信号を生成する生成手段と、を備える。【選択図】図１
2011172047.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなり、各画素がカラーフィルターを有する撮像素子と、
前記撮像素子から出力された画像信号に対してホワイトバランスの調整を行う調整手段と、
前記調整手段により調整された画像信号に含まれる画素の周辺のエッジ成分を検出する検出手段と、
前記検出手段によりエッジ成分が検出されると、前記画像信号のうち周辺に前記エッジ成分が検出された画素については、前記エッジ成分と直交する方向の低周波成分を抽出する抽出手段と、
前記抽出手段により抽出された信号に基づいて、輝度信号を生成する生成手段と、を備える、
撮像装置。
【請求項２】
前記調整手段により調整された画像信号のうちの隣接する４画素の信号レベルを加算平均し、低域輝度信号を生成する、低域生成手段をさらに備え、
前記生成手段は、前記抽出手段により抽出された信号と、前記低域輝度信号とを加算することにより、輝度信号を生成する、
請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、前記抽出手段により抽出された信号と、前記低域輝度信号とを加算する際の比率を前記画像信号の彩度に基づいて、決定する、
請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、輝度信号中に発生した偽信号を抑圧する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、カラー撮像装置を開示する。このカラー撮像装置は、ベイヤー配列色フィルタを有するイメージセンサーを備える。このカラー撮像装置は、ＹＬの輝度信号と、ＹＨの輝度信号とを混合することにより輝度信号を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１３６６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示されているカラー撮像装置においては、高解像度の輝度信号を得る場合には偽信号が発生し、偽信号が発生していない輝度信号を得る場合にはその輝度信号の解像度は低くなってしまう。
【０００５】
本発明は、高解像度の輝度信号中に含まれる偽信号を低減できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明にかかる撮像装置は、複数の画素からなり、各画素がカラーフィルターを有する撮像素子と、撮像素子から出力された画像信号に対してホワイトバランスの調整を行う調整手段と、調整手段により調整された画像信号に含まれる画素の周辺のエッジ成分を検出する検出手段と、検出手段によりエッジ成分が検出されると、画像信号のうち周辺にエッジ成分が検出された画素については、エッジ成分と直交する方向の低周波成分を抽出する抽出手段と、抽出手段により抽出された信号に基づいて、輝度信号を生成する生成手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、高解像度の輝度信号中に含まれる偽信号を低減できる撮像装置を提供できる。
【図面の簡単な説明】
【０００８】
【図１】デジタルビデオカメラ１００の構成を示すブロック図
【図２】ＣＣＤイメージセンサー１８０の一部の画素の構成を説明するための模式図
【図３】輝度信号生成回路５００のブロック図
【図４】エッジ強度検出回路４１０で用いられるフィルタを説明するための模式図
【図５】垂直エッジの画像信号の一例を示す図
【図６】偽信号が発生した画像信号の一例を示す図
【図７】ＬＰＦ回路４２０によりＬＰＦ処理を施された画像信号の一例を示す図
【図８】２次元フィルタの例を示す模式図
【図９】１次元フィルタの例を示す模式図
【発明を実施するための形態】
【０００９】
〔１．実施の形態１〕
〔１−１．構成〕
本実施の形態にかかるデジタルビデオカメラ１００の電気的構成について、図１を用いて説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、ズームレンズ１１０等からなる光学系により形成された被写体像をＣＣＤイメージセンサー１８０で撮像する。ＣＣＤイメージセンサー１８０で生成された映像データは、画像処理部１９０で各種処理が施され、メモリカード２４０に格納される。また、メモリカード２４０に格納された映像データは、液晶モニタ２７０で表示可能である。以下、デジタルビデオカメラ１００の構成を詳細に説明する。
【００１０】
デジタルビデオカメラ１００の光学系は、ズームレンズ１１０、ＯＩＳ１４０、フォーカスレンズ１７０を含む。ズームレンズ１１０は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。また、フォーカスレンズ１７０は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。
【００１１】
ＯＩＳ１４０は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１４０は、デジタルビデオカメラ１００の振れを相殺する方向に補正レンズを駆動することにより、被写体像の振れを低減する。
【００１２】
ズームモータ１３０は、ズームレンズ１１０を駆動する。ズームモータ１３０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１３０は、カム機構やボールネジなどの機構を介してズームレンズ１１０を駆動するようにしてもよい。検出器１２０は、ズームレンズ１１０が光軸上でどの位置に存在するのかを検出する。検出器１２０は、ズームレンズ１１０の光軸方向への移動に応じて、ブラシ等のスイッチによりズームレンズの位置に関する信号を出力する。
【００１３】
ＯＩＳアクチュエータ１５０は、ＯＩＳ１４０内の補正レンズを光軸と垂直な面内で駆動する。ＯＩＳアクチュエータ１５０は、平面コイルや超音波モータなどで実現できる。また、検出器１６０は、ＯＩＳ１４０内における補正レンズの移動量を検出する。
【００１４】
ＣＣＤイメージセンサー１８０は、ズームレンズ１１０等からなる光学系で形成された被写体像を撮像して、映像データを生成する。ＣＣＤイメージセンサー１８０は、露光、転送、電子シャッタなどの各種動作を行う。
【００１５】
画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して各種の処理を施す。画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して処理を施し、液晶モニタ２７０に表示するための映像データを生成したり、メモリカード２４０に再格納するための映像データを生成したりする。例えば、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により映像データを圧縮する。画像処理部１９０は、ＤＳＰやマイコンなどで実現可能である。
【００１６】
コントローラー２１０は、全体を制御する制御手段である。コントローラー２１０は、半導体素子などで実現可能である。コントローラー２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラー２１０は、マイコンなどで実現できる。
【００１７】
メモリ２００は、画像処理部１９０及びコントローラー２１０のワークメモリとして機能する。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００１８】
液晶モニタ２７０は、ＣＣＤイメージセンサー１８０で生成した映像データが示す画像や、メモリカード２４０から読み出した映像データが示す画像を表示可能である。
【００１９】
ジャイロセンサー２２０は、圧電素子等の振動材等で構成される。ジャイロセンサー２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサー２２０から角速度情報を得、この揺れを相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、デジタルビデオカメラ１００は、使用者による手振れを補正する。
【００２０】
カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【００２１】
内部メモリ２８０は、フラッシュメモリや強誘電低メモリなどで構成される。内部メモリ２８０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を格納する。
【００２２】
操作部材２５０は、使用者から画像の撮像指示を受け付ける部材である。ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。
【００２３】
〔１−２．輝度信号生成回路の構成〕
本実施の形態にかかるデジタルビデオカメラ１００の画像処理部１９０のうちの輝度信号生成回路５００の構成について図２、図３を用いて説明する。図２は、ＣＣＤイメージセンサー１８０の一部の画素の構成を説明するための模式図である。図３は、輝度信号生成回路５００のブロック図である。
【００２４】
ＣＣＤイメージセンサー１８０は、図２に示すようなベイヤー配列のイメージセンサーである。ＣＣＤイメージセンサー１８０において、色フィルタは、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素から構成される。色フィルタは、（Ｒ、Ｇｒ）と（Ｇｂ、Ｂ）とを垂直方向に配列することで構成される。
【００２５】
輝度信号生成回路５００は、ＣＣＤイメージセンサー１８０から出力された画像信号をＲ，Ｇｒ、Ｇｂ、Ｂの色信号に分離し、各色信号に画像処理を施し、ＹＣ変換することにより、輝度信号を生成する。次に、輝度信号生成回路５００の構成について説明する。
【００２６】
輝度信号生成回路５００は、色分離回路３００、Ｒ用ＷＢ回路３１０、Ｇｒ用ＷＢ回路３２０、Ｂ用ＷＢ回路３３０、Ｇｂ用ＷＢ回路３４０、Ｒ用γ回路３５０、Ｇｒ用γ回路３６０、Ｂ用γ回路３７０、Ｇｂ用γ回路３８０、低域輝度信号生成回路３９０、高域輝度信号生成回路４００、低域色信号生成回路４４０、エッジ強度検出回路４１０、ＬＰＦ回路４２０、混合回路４３０、色差信号生成回路４５０、混合比率計算回路４６０、バンドパスフィルタ回路４８０、及び加算回路４７０から構成される。
【００２７】
色分離回路３００は、ＣＣＤイメージセンサーにより出力された画像信号をＲ，Ｇｒ、Ｂ、Ｇｂの各色信号に分離する。Ｒ用ＷＢ回路３１０、Ｇｒ用ＷＢ回路３２０、Ｂ用ＷＢ回路３３０、及びＧｂ用ＷＢ回路３４０は、色分離回路３００により分離された各色信号のホワイトバランスを調整する。Ｒ用γ回路３５０、Ｇｒ用γ回路３６０、Ｂ用γ回路３７０、及びＧｂ用γ回路３８０は、各ＷＢ回路でホワイトバランス調整された色信号に対してγ補正を施す。
【００２８】
各γ回路でγ補正を施された色信号は、低域輝度信号生成回路３９０と、高域輝度信号生成回路４００と、低域色信号生成回路４４０とに出力される。これは、輝度信号生成回路５００が、低域輝度信号生成回路３９０で生成された画像信号と、高域輝度信号生成回路４００で生成された画像信号と、を低域色信号生成回路４４０で生成された画像信号に基づいて決定された比率で混合することにより得た画像信号に基づいて、輝度信号を生成するからである。
【００２９】
低域輝度信号生成回路３９０は、γ補正が施されたＲ、Ｇｒ、Ｂ、Ｇｂの４画素分の信号を加算平均する。具体的には、図２における符号５０１で示される４画素の加算平均を行う。これにより空間周波数が低い輝度信号が生成される。この空間周波数が低い輝度信号は、偽信号を含まない。しかし、この空間間周波数が低い輝度信号は、低解像度である。以後、この空間周波数が低い輝度信号をＹＬとする。
【００３０】
一方、高域輝度信号生成回路４００は、γ補正が施されたＲ、Ｇｒ、Ｂ、Ｇｂを、特に処理を施すことなく、再度ベイヤー配列に並べ替える。そして、高域輝度信号生成回路４００は、並べ替えた色信号を輝度信号とする。この輝度信号は、ＹＬと比較して空間周波数が高い。これは、この輝度信号に対してＬＰＦを施していないからである。この空間周波数が高い輝度信号は、高周波の偽信号を含む。しかし、この空間周波数が高い輝度信号は、高解像度である。
【００３１】
エッジ強度検出回路４１０は、高域輝度信号生成回路４００により生成された輝度信号が有する水平方向と垂直方向のエッジ強度を検出する。具体的には、エッジ強度検出回路４１０は、述するエッジ強度を計算するためのフィルタを用いて、エッジ強度を検出する。ここで、エッジ強度とは、注目画素とその周辺画素との明暗の差の大きさのことである。
【００３２】
ＬＰＦ回路４２０は、高域輝度信号生成回路４００により生成された輝度信号に対して、エッジ強度検出回路４１０で検出されたエッジの向きに直交する方向にＬＰＦ処理を施す。つまり、ＬＰＦ回路４２０は、高域輝度信号生成回路４００により生成された輝度信号のうち、エッジと直交する方向の低周波成分を抽出する。これにより、高域輝度信号生成回路４００により生成された輝度信号のうち、エッジの向きに直交する方向に偽信号が存在する場合は、その偽信号が抑圧される。ここで、生成される輝度信号を、以後、ＹＨとする。
【００３３】
低域色信号生成回路４４０は、γ補正を施されたＲ、Ｇｒ、Ｂ、Ｇｂの各色信号に対してオーバーサンプリング処理を施す。これにより、低域色信号生成回路４４０は、色信号が空間的に欠落している画素を補間する。色信号生成回路４５０は、低域色信号生成回路４４０で生成された色信号に基づいて、色差信号を生成する。
【００３４】
混合回路４３０は、式１に基づいて、ＹＨとＹＬとを混合する。
【００３５】
Ｙｍｉｘ＝（１−ｋ）×ＹＬ＋ｋ×ＹＨ（０≦ｋ≦１）
混合比率計算回路４６０は、係数ｋを決定する。具体的には、混合比率計算回路４６０は、色差信号生成回路４５０で生成された色差信号を彩度に変換し、この彩度に基づいて、ｋを計算する。混合比率計算回路４６０は、彩度が高い場合に０に近づくように係数ｋを決定し、彩度が低い場合に１に近づくように係数ｋを決定する。
【００３６】
バンドパスフィルタ回路４８０は、Ｙｍｉｘに対してバンドパスフィルタを施し、輪郭信号を生成する。加算回路４７０は、ＹＬとバンドパスフィルタ回路４８０で生成された輪郭信号を加算することにより、輝度信号を生成する。
【００３７】
このように、本実施の形態にかかるデジタルビデオカメラ１００は、高域輝度信号生成回路４００で生成された輝度信号に対して、輝度信号のエッジと直交する方向にＬＰＦ処理を施すこととした。これにより、高域輝度信号生成回路４００で生成された輝度信号に対して、解像度を劣化させることなく、偽信号を抑圧できる。
【００３８】
〔１−３．ＬＰＦを施すことにより偽信号を抑圧できる原理〕
高域輝度信号生成回路４００で生成された輝度信号のエッジと直交する方向にＬＰＦ処理を施すことで偽信号を抑圧できる理由について図４〜図７を用いて説明する。図４は、エッジ強度検出回路４１０で用いられるフィルタを説明するための模式図である。図５は、垂直エッジの画像信号の一例を示す図である。図６は、偽信号が発生した画像信号の一例を示す図である。図７は、ＬＰＦ回路４２０によりＬＰＦ処理を施された画像信号の一例を示す図である。
【００３９】
ＬＰＦ回路４２０は、高域輝度信号で生成された輝度信号に対して、エッジの方向と直交する方向にＬＰＦ処理を施す。これは、本来色が付いていない画素にＷＢのずれなどにより色が付くことで発生する偽信号を抑圧するためである。ＬＰＦ処理を施すことで、偽信号を抑圧できる原理を具体例を用いて説明する。
【００４０】
垂直エッジを有する被写体が無彩色である場合、図５に示すように偽信号は発生しない。しかし、ホワイトバランス調整のずれにより無彩色の被写体が有彩色となる場合がある。この場合には、高域輝度信号生成回路４００で生成される輝度信号に偽信号が発生する。図６は、ホワイトバランス調整のずれにより、無彩色の被写体のうちＲの信号レベルが大きくなった例を示している。図６のうち「２」を示している部分がＲに対応している。このＲの部分にはドット状の偽信号が発生している。
【００４１】
この偽信号を抑圧するために、ＬＰＦ回路４２０は、エッジの方向と直交する方向にＬＰＦ処理を施す。エッジ強度検出回路４１０は、図４（Ａ）（Ｂ）に示す二次元フィルタを用いてエッジの方向を検出する。図４（Ａ）は、垂直方向のエッジを検出するためのフィルタである。また、図４（Ｂ）は、水平方向のエッジを検出するためのフィルタである。
【００４２】
図６のｉ行ｊ列の画素をａ（ｉ、ｊ）とした場合、エッジ強度検出回路４１０は、ａ（３，２）の垂直方向のエッジ強度を、次の式により算出する。
【００４３】
垂直方向のエッジ強度＝｜−１×ａ（２，１）ー２×ａ（２、２）ー１×ａ（２，３）＋２×ａ（３，１）＋４×ａ（３，２）＋２×ａ（３，３）−１×ａ（４，１）ー２×ａ（４、２）ー１×ａ（４，３）｜
また、エッジ強度検出回路４１０は、ａ（３，２）の水平方向のエッジ強度を、次の式により算出する。
【００４４】
水平方向のエッジ強度＝｜−１×ａ（２，１）＋２×ａ（２、２）ー１×ａ（２，３）ー２×ａ（３，１）＋４×ａ（３，２）ー２×ａ（３，３）−１×ａ（４，１）＋２×ａ（４、２）ー１×ａ（４，３）｜
この例では、垂直方向のエッジ強度は、「７２」となる。また、水平方向のエッジ強度は、「８」となる。従って、エッジ強度検出回路４１０は、垂直方向のエッジ強度が水平方向のエッジ強度より大きいため、垂直方向のエッジが強いと検出する。
【００４５】
この例では、ＬＰＦ回路４２０は、エッジ強度検出回路４１０の検出結果に基づいて、水平方向にＬＰＦ処理を施す。具体的には、ＬＰＦ回路４２０は、水平方向に２画素の加算平均をとり、ＬＰＦ処理を行う。図６の全画素に対して水平方向にＬＰＦ処理を施した結果を図７に示す。本処理により、被写体の垂直方向のエッジは保存されたままドット状の偽信号が抑圧される。
【００４６】
以上の処理により、本実施の形態にかかるデジタルビデオカメラ１００は、解像度を犠牲にすることなく偽信号を抑圧することができるため、高解像度の輝度信号を生成できる。
〔２．他の実施の形態〕
以上により、本発明の実施の形態として、実施の形態１を説明した。しかし、本発明は、これらには限定されない。そこで、本発明の他の実施の形態を本欄にまとめて説明する。
【００４７】
本実施の形態にかかるデジタルカメラ１００の光学系及び駆動系は、図１に示すものに限定されない。例えば、図１では３群構成の光学系を例示しているが、他の群構成のレンズ構成としてもよい。また、それぞれのレンズは、１つのレンズで構成してもよく、複数のレンズから構成されるレンズ群として構成してもよい。
【００４８】
また、実施の形態１では、撮像手段として、ＣＣＤイメージセンサー１８０を例示したが、本発明はこれに限定されない。例えば、ＣＭＯＳイメージセンサーで構成してもよく、ＮＭＯＳイメージセンサーで構成してもよい。
【００４９】
実施の形態１においては、エッジ強度を計算するためのフィルタとして図４に示すフィルタを例示した。しかしながら、エッジ強度を計算するフィルタはこれに限定されない。水平垂直のエッジの向きが判別できればよく、図８に示すような２次元フィルタや図９に示す１次元フィルタでもよい。
【００５０】
実施の形態１ではＬＰＦ回路４２０でのフィルタ処理として２画素加算を例示したが、本発明はこれに限定されない。ＬＰＦであればどのようなフィルタであってもよい。
【００５１】
実施の形態１ではＬＰＦ回路４２０でのフィルタ処理はエッジと直交する方向のみＬＰＦを施しているが、本発明はこれに限定されない。水平と垂直のエッジの強度によって係数を変えたフィルタを両方向にかけてもよい。
【産業上の利用可能性】
【００５２】
本発明は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に適用できる。
【符号の説明】
【００５３】
１００    デジタルカメラ
１１０    ズームレンズ
１２０    検出器
１３０    ズームモータ
１４０    ＯＩＳ
１５０    ＯＩＳアクチュエータ
１６０    検出器
１７０    フォーカスレンズ
１８０    ＣＣＤイメージセンサー
１９０    画像処理部
２００    メモリ
２１０    コントローラー
２２０    ジャイロセンサー
２３０    カードスロット
２４０    メモリカード
２５０    操作部材
２６０    ズームレバー
２７０    液晶モニタ
２８０    内部メモリ
【図１】
2011172047.tif 000003
【図２】
2011172047.tif 000004
【図３】
2011172047.tif 000005
【図４】
2011172047.tif 000006
【図５】
2011172047.tif 000007
【図６】
2011172047.tif 000008
【図７】
2011172047.tif 000009
【図８】
2011172047.tif 000010
【図９】
2011172047.tif 000011