(57)【要約】【課題】入力カラー画像信号に処理を施して出力する画像処理装置で、回路規模や消費電力を増大させずにカラー画像データをより高い処理速度で出力する。【解決手段】本発明の一実施形態に係る画像処理装置は、画像を入力する入力部（１０３）と、それぞれが入力された画像中の互いに異なる画素位置における高周波成分を生成する複数の高域生成部（１０４Ａ，１０４Ｂ）と、入力された画像の画素数よりも少ない画素数の低周波成分画像を生成する低域生成部（１０５）と、生成された高周波成分と生成された低周波成分画像とを合成して合成画像を得る合成部（１０６）と、複数の高域生成部（１０４Ａ，１０４Ｂ）を並列に動作させる制御部（１１１）とを備える。【選択図】      図１
2009253760.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する入力部と、
それぞれが前記入力された画像中の互いに異なる画素位置における高周波成分を生成する複数の高域生成部と、
前記入力された画像の画素数よりも少ない画素数の低周波成分画像を生成する低域生成部と、
前記生成された高周波成分と前記生成された低周波成分画像とを合成して合成画像を得る合成部と、
前記複数の高域生成部を並列に動作させる制御部と
を具備したことを特徴とする画像処理装置。
【請求項２】
前記低周波成分画像は複数の色成分を含むカラー画像であり、
前記低域生成部は、前記カラー画像の各色成分のノイズを低減するノイズ低減部を有し、
前記ノイズ低減部は、複数の色成分に対するノイズ低減処理を、共通の回路を使用して時分割で実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記低域生成部は、前記低周波成分画像のノイズを低減するノイズ低減部を有し、
前記低域生成部は、前記ノイズ低減部を循環的に複数回利用してノイズを低減する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記入力された画像は複数の色成分を含むカラー画像であり、
前記高域生成部は、前記カラー画像から輝度高周波成分を生成し、
前記合成部は、前記生成された輝度高周波成分と前記低周波成分画像とを合成した結果、前記合成画像として複数の色成分を含むカラー画像を得る
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記低域生成部は、前記入力画像を間引き処理した後に前記低域成分画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記低域生成部は、前記入力画像に対し、水平または垂直の方向に間に１画素を空けた２画素間隔で、且つ前記方向に対応して垂直または水平の方向に隣接した１画素間隔の格子点に対応する画素位置での低域成分を抽出することで前記低周波成分画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記低域生成部は、前記入力画像に対し、水平及び垂直の方向にそれぞれ間に１画素を空けた２画素間隔の格子点に対応する画素位置での低域成分を抽出することで前記低周波成分画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記ノイズ低減部がノイズを低減する複数の色成分は、色差成分Ｃｒ及びＣｂのうち少なくとも一方を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記低周波成分画像は複数の色成分を含むカラー画像であり、前記カラー画像において、前記複数の色成分のうち少なくとも１つが欠落する画素位置と、前記複数の色成分中の特定の色成分が欠落する画素位置とが所定の規則に沿った配置関係となることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記複数の色成分は色差成分Ｃｒ及びＣｂであり、色差成分Ｃｒが欠落する画素位置と色差成分Ｃｂが欠落する画素位置とが市松状となることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記入力画像における高周波成分のエッジ方向を判定するエッジ方向判定部をさらに具備し、
前記複数の高域生成部のそれぞれは、前記エッジ方向判定部を共用し、前記エッジ方向判定部による判定結果に基づいてエッジとなる高域成分をそれぞれ抽出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記複数の高域生成部のそれぞれは、前記入力画像における高周波成分のエッジを抽出するエッジ抽出部、及び該エッジ抽出部により抽出されたエッジを含む信号中のノイズを低減するノイズ低減部を備え、
前記複数の高域生成部のそれぞれが備える各エッジ抽出部及びノイズ低減部は、前記エッジ方向判定部を共用する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
画像を入力する入力ステップと、
それぞれが前記入力された画像中の互いに異なる画素位置における高周波成分を生成する複数の高域生成ステップと、
前記入力された画像の画素数よりも少ない画素数の低周波成分画像を生成する低域生成ステップと、
前記生成された高周波成分と前記生成された低周波成分画像とを合成して合成画像を得る合成ステップと、
前記複数の高域生成ステップを並列に動作させる制御ステップと
を有したことを特徴とする画像処理方法。
【請求項１４】
請求項１に記載の画像処理装置を有することを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルスチルカメラに好適な画像処理装置、画像処理方法及び電子機器に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置には、撮像素子からの信号をカラー画像に変換する画像処理回路が備わっている。撮像素子の構成画素数は年々増加しており、それに応じて画像処理回路の処理速度の向上が求められている。しかし、画像処理回路を構成する集積回路を微細化することによる処理速度の向上はもはや限界に近づいているため、信号処理や画像処理のアルゴリズムそのものを工夫することが求められている。
【０００３】
処理速度を向上させる方法の一例として、特許文献１には補間処理を行なう回路部分で一度に複数画素の結果を出力させ、その後処理を２倍の動作クロックで動作させる方法が開示されている（特許文献１）。
【０００４】
さらに他の方法として、特許文献２には処理対象のデータ量を減らすべく、ベイヤー配列のカラーフィルタを有する単板撮像素子からの出力データを補間処理する際に、色差成分をＲ（赤）またはＢ（青）の画素位置にしか作らないことでデータ量を１／４に減らし、全画素で作られた輝度信号と合成する際に色差信号の補間を再度行なうことで、全画素のＲＧＢデータを得る方法が開示されている（特許文献２）。
【特許文献１】特開２０００−３４１５６１号公報
【特許文献２】特開平０２−１２２７８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１に示した方法では、動作クロックを部分的に２倍にするため、後処理として特にノイズ低減処理などの複雑なものを設ける場合、回路規模及び消費電力が共に増大してしまう。
【０００６】
また、前記特許文献２に示した方法では、処理データ量は削減されるものの、全画素の輝度成分を生成する時間が処理速度に影響するため、結果的に処理速度は向上しない。
【０００７】
本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、回路規模や消費電力を著しく増大させることなく、撮像素子の出力からカラー画像データを迅速に生成することが可能な画像処理装置、画像処理方法及び電子機器を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、画像を入力する入力部と、それぞれが前記入力された画像中の互いに異なる画素位置における高周波成分を生成する複数の高域生成部と、前記入力された画像の画素数よりも少ない画素数の低周波成分画像を生成する低域生成部と、前記生成された高周波成分と前記生成された低周波成分画像とを合成して合成画像を得る合成部と、前記複数の高域生成部を並列に動作させる制御部とを具備したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、回路規模や消費電力を著しく増大させることなく、撮像素子の出力からカラー画像を迅速に生成することが可能となる。
【発明を実施するための最良の形態】
【００１０】
（第１の実施形態）  
以下本発明をデジタルカメラに適用した場合の第１の実施形態について説明する。  
図１は、本実施形態に係るデジタルカメラ１００の主として撮影系の画像処理の回路構成を示すブロック図である。同図で、レンズ光学系１０１を介して入射した被写体の光像が固体撮像素子である単板ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）１０２上で結像される。
【００１１】
この単板ＣＣＤ１０２は、例えばベイヤー配列の原色系カラーフィルタを有し、その出力は、図示しないＡＧＣ増幅器でその時点で設定されている感度に応じた増幅率で増幅され、同じく図示しないＡ／Ｄ変換器でデジタル化された後に画像バッファ１０３に保持される。
【００１２】
この画像バッファ１０３の保持する画像データが、記録用の画像データを生成する画像処理回路としてのプロセッサ１１０に入力される。このプロセッサ１１０内には、高域処理回路１０４、低域生成回路１０５、合成回路１０６、圧縮回路１０７、及び制御回路１１１が設けられる。
【００１３】
高域処理回路１０４は、画像バッファ１０３からの画像データ中の高周波成分の画像データを抽出し、抽出した画像データを合成回路１０６へ出力する。
【００１４】
低域生成回路１０５は、画像バッファ１０３からの画像データ中の画素数を減じて情報量を減らした上で、さらに低周波成分の画像データを抽出し、抽出した画像データを合成回路１０６へ出力する。
【００１５】
合成回路１０６は、高域処理回路１０４からの高周波成分の画像データと低域生成回路１０５からの低周波成分の画像データとを合成して空間周波数帯域が全域に及ぶ画像データを生成し、圧縮回路１０７へ出力する。
【００１６】
圧縮回路１０７は、所定のデータ圧縮方式、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に従って画像データの圧縮を実行し、圧縮後の画像データをこのプロセッサ１１０外部に位置する記録部１０８へ出力する。
【００１７】
この記録部１０８は、デジタルカメラ１００の記録媒体であるメモリカードとその入出力インタフェースで構成され、プロセッサ１１０の圧縮回路１０７から送られてきた画像データを記録する。
【００１８】
制御回路１１１は、このプロセッサ１１０内の制御動作を実行するものであり、加えて後述する高域処理回路１０４内の２系統の処理を時間的に並列に動作させる。
【００１９】
次に、図２、図６及び図１７により、高域処理回路１０４の構成と作用を示す。
図２は高域処理回路１０４の構成図である。高域処理回路１０４は、エッジ抽出回路１０４ａ、方向判定回路１０４ｂ、エッジ抽出回路１０４ｃ、ノイズ低減回路１０４ｄ、及びノイズ低減回路１０４ｅを有する。
【００２０】
方向判定回路１０４ｂは画像バッファ１０３から画像データを入力し、その画像データに含まれるエッジの方向の判定に供する指標である方向判定指標をエッジ抽出回路１０４ａ及びエッジ抽出回路１０４ｃに出力する。
【００２１】
エッジ抽出回路１０４ａ及びエッジ抽出回路１０４ｃは、画像データを同じく画像バッファ１０３から入力し、方向判定回路１０４ｂからの方向判定指標に基づいて輝度高域信号を生成し、結果をそれぞれノイズ低減回路１０４ｄ及びノイズ低減回路１０４ｅに出力する。
ノイズ低減回路１０４ｄ及びノイズ低減回路１０４ｅは、入力された輝度高域信号に対してノイズ低減処理を行ない、結果をそれぞれ中間出力Ｏ１及びＯ２として合成回路１０６に出力する。
【００２２】
前記エッジ抽出回路１０４ａ、方向判定回路１０４ｂ、及びノイズ低減回路１０４ｄにより第１の高域生成回路１０４Ａを形成する。また、前記エッジ抽出回路１０４ｃ、方向判定回路１０４ｂ、及びノイズ低減回路１０４ｅにより第２の高域生成回路１０４Ｂを形成する。
【００２３】
これら２つの高域生成回路１０４Ａ，１０４Ｂはそれぞれ、画像バッファ１０３からの画像データ中の互いに異なる画素位置における高周波成分を生成して出力するもので、前述した如く制御回路１１１による制御の下に時間的に並列に動作する。
【００２４】
なお、エッジ抽出回路１０４ａは、図６中に示す列方向の黒丸画素の位置でＰ１，Ｐ３，Ｐ５の順に処理を行なっていく。エッジ抽出回路１０４ｃはこれと並列に動作し、エッジ抽出回路１０４ａの処理している黒丸画素の直下の白丸画素Ｐ２，Ｐ４，Ｐ６での処理を順次行なう。
【００２５】
以下に、各回路での処理をさらに詳細に述べる。
【００２６】
方向判定回路１０４ｂは、エッジ抽出回路１０４ａが処理する図６中の黒丸位置と、エッジ抽出回路１０４ｃが処理する図６中の白丸位置のペアの中間の位置（図６中に×印で例示する)に対し、エッジ方向の判定指標Ｄを算出する。
【００２７】
なお、方向判定回路１０４ｂは、互いに隣接する２つの画素位置であって、時間的に並列処理されることを目的とした画素位置をペアとして決定すればよい。ここで、×印を中心に近傍の５×６（横×縦）画素データ（図６中に破線の枠で示す）を画像バッファ１０３から読出し、図１７に示すように、５×６近傍内のＧ画素の水平及び垂直方向の差分Ｄｈ及びＤｖを  
Dh=(|G1-G2|+|G3-G4|+|G4-G5|+|G6-G7|+  
|G8-G9|+|G9-G10|+|G11-G12|+  
|G13-G14|+|G14-G15|)/9  
Dv=(|G1-G6|+|G2-G7|+|G3-G8|+|G4-G9|+  
|G5-G10|+|G6-G11|+|G7-G12|+|G8-G13|+  
|G9-G14|+|G10-G15|)/10  
と計算し、これらに基づいて、Ｄを  
D=(Dh-Dv)/(Dh+Dv+T)  
（但し、|x|：xの絶対値、  
T：定数、  
D：-1から1の値をとる。
【００２８】
-1のとき近傍内エッジ方向が水平、  
1のとき垂直を表す。）  
と計算する。
【００２９】
エッジ抽出回路１０４ａ及びエッジ抽出回路１０４ｃでは、この指標Ｄに基づいてバンドパスフィルタを決定し、輝度高域信号の生成を行なう。例えば図６中のＰ１の画素位置では、エッジ抽出回路１０４ａがその周囲の５×５領域のデータを画像バッファ１０３から読出し、５×５のサイズのバンドパスフィルタを適用する。  
図６中のＰ２の画素位置では、エッジ抽出回路１０４ｃがその周囲の５×５領域のデータを画像バッファ１０３から読み出し、５×５のサイズのバンドパスフィルタを適用する。
【００３０】
バンドパスフィルタの係数Ｂ（ｉ，ｊ）は、予め定められた、水平エッジを強調するバンドパスフィルタの係数Ｂｈ（ｉ，ｊ）及び垂直エッジを強調するバンドパスフィルタの係数Ｂｖ（ｉ，ｊ）と、前記指標Ｄから、  
B(i,j) = ((D+1)*Bv(i,j)+(D-1)*Bh(i,j))/2  
(1<=i,j<=5)  
により算出される。
【００３１】
ノイズ低減回路１０４ｅ及び１０４ｆは、各々エッジ抽出回路１０４ａ及び１０４ｃの出力ｅに対し、コアリング処理を行なった結果であるｃ（ｅ）を出力する。すなわち、  
c(e) = e-T (e >= Tのとき)  
0   (-T < e < Tのとき)  
e+T  (e <= -Tのとき)  
となる。
【００３２】
コアリングの閾値Ｔは、方向判定回路１０４ｂから得られる水平方向の差分Ｄｈ及び垂直方向の差分Ｄｖから、以下のように算出する。  
T = min(|Dh-Dv|,Dh,Dv, T0)  
（但し、min(a,b,c,d)：a,b,c,dのうち最小の値を返す関数、  
T0：定数。）
次いで図３により前記低域生成回路１０５内の詳細な構成を示す。前段の画像バッファ１０３からの画像データは、ＲＧＢ生成回路１０５ａへ与えられる。ＲＧＢ生成回路１０５ａは、画像バッファ１０３からの画像データに補間処理を施してＲＧＢのすべての成分が各画素で揃ったＲＧＢデータを生成し、色変換回路１０５ｂに出力する。
【００３３】
なお、ＲＧＢ生成回路１０５ａは、図６中の黒丸で示した画素位置でのＲＧＢ成分を列方向に、次に行方向に順次出力する。また、１画素の処理に際し、その近傍の５×５の周囲画素を必要とする。
色変換回路１０５ｂは、原色信号系のＲＧＢデータに対して、その時点で設定されているホワイトバランス値に応じた加減変換を行ない、変換後のＲＧＢデータを階調変換回路１０５ｃに出力する。
【００３４】
階調変換回路１０５ｃは、ＲＧＢデータをそれぞれガンマ補正処理により中間階調値を所定の値に変換してＹＣ変換回路１０５ｄへ出力する。
【００３５】
ＹＣ変換回路１０５ｄは、原色信号系のＲＧＢデータをマトリックス演算により輝度色差信号系のＹＣｒＣｂデータに変換し、得たＹデータ、Ｃｒデータ、Ｃｂデータを分離してそれぞれノイズ低減回路１０５ｅ〜１０５ｇへ出力する。
【００３６】
これらノイズ低減回路１０５ｅ〜１０５ｇは、それぞれＹデータ、Ｃｒデータ、Ｃｂデータに対するローパスフィルタ処理を施して高周波成分のノイズを低減することで中間出力Ｏ３〜Ｏ５を取得し、前記合成回路１０６へ出力する。
【００３７】
次に、図４に合成回路１０６の構成を示す。合成回路１０６では、高域処理回路１０４からの高域成分と低域生成回路１０５からの低域成分が合成され、最終的な信号が圧縮回路１０７へ出力される。入力信号は、図６中の黒丸の位置における輝度高域信号ＹＨ１（中間出力Ｏ１）、輝度低域信号ＹＬ１（中間出力Ｏ３）、色差低域信号Ｃｒ１（中間出力Ｏ４）とＣｒ２（中間出力Ｏ５）、及び図６中の白丸の位置における輝度高域信号ＹＨ２（中間出力Ｏ５）である。出力信号は、図６中の黒丸の位置における輝度信号Ｙ３（中間出力Ｏ６）、色差信号Ｃｒ３（中間出力Ｏ８）とＣｂ３（中間出力Ｏ１０）、及び図６中の白丸の位置における輝度信号Ｙ４（中間出力Ｏ７）、色差信号Ｃｒ４（中間出力Ｏ９）とＣｂ４（中間出力Ｏ１１）である。
【００３８】
合成回路１０６内の強調回路１０６ａは、自身に入力された輝度高域信号ＹＨ１（中間出力Ｏ１）及び輝度低域信号ＹＬ１（中間出力Ｏ３）から、輝度信号Ｙ３（中間出力Ｏ６）を、式  
Y3 = YL1+α*YH1  
（但し、α：高域強調のためのゲイン。）  
により生成する。
【００３９】
また、補間回路１０６ｃでは、図６中の黒丸位置に存する、例えば図６中のＰ３の輝度低域信号ＹＬ１（中間出力Ｏ３）が入力されると、その直前に入力された、２画素上の画素位置（図６中のＰ１）における輝度低域信号ＹＬ１’から、１画素上の画素位置（図６中のＰ２）の輝度低域信号ＹＬ２を、次式  
YL2=（YL1+YL1'）/2  
により生成する。直前の入力ＹＬ’は、補間回路１０６ｃの内部メモリに保持されている。算出された輝度低域信号ＹＬ２は、強調回路１０６ｂに出力される
強調回路１０６ｂでは、輝度高域信号ＹＨ２（中間出力Ｏ２）及び前記輝度低域信号ＹＬ２から、輝度信号Ｙ４（中間出力Ｏ７）を、強調回路１０６ａと同様に、次式
Y4 = YL2+α*YH2  
により生成する。ＹＬ２が計算されるまでの間、強調回路１０６ｂはＹＨ２の値を内部メモリに保持している。
【００４０】
また、色差低域信号Ｃｒ１（中間出力Ｏ４）及びＣｒ２（中間出力Ｏ５）については、そのまま色差信号Ｃｒ３（中間出力Ｏ９）及びＣｂ３（中間出力Ｏ１１）として出力されるとともに、Ｃｒ１は補間回路１０６ｄ、Ｃｒ２は補間回路１０６ｅにそれぞれ入力され、図６中の白丸位置の色差信号であるＣｒ４及びＣｂ４が補間されて出力される。
【００４１】
補間回路１０６ｄ及び１０６ｅでの処理は補間回路１０６ｃに類似しており、例えば補間回路１０６ｄは、図６中の黒丸に該当する画素（例えば図６中のＰ３）の色差信号Ｃｒ１と、直前に入力された、２画素上の画素位置（図６中のＰ１）における色差信号Ｃｒ１’から、１画素上の画素位置（図６中のＰ２）の色差信号Ｃｒ４を、次式  
Cr4=（Cr1+Cr1'）/2  
により生成する。直前の入力Ｃｒ１’は、補間回路１０６ｄの内部メモリに保持されている。
【００４２】
図５は、これまで述べてきた回路の動作の結果得られる各中間出力の、時系列の内容をまとめたものである。括弧内は列、行の順に書いた各信号が得られる座標であり、図６中に括弧で示した座標に対応している。
【００４３】
前述のように、高域処理回路１０４及び低域生成回路１０５は１画素を処理するのにそれぞれ５×５の領域を必要とするため、有効データが得られるのは、図６中のＰ１の位置からである。処理が図６中のＰ１の位置から開始されると、まず、高域処理回路１０４により、中間出力Ｏ１として図６中のＰ１での輝度高域信号ＹＨ（１，１）、中間出力Ｏ２としてＰ２での輝度高域信号ＹＨ（１，２）が生成される。
【００４４】
同時に、低域生成回路１０５では、図６中のＰ１での輝度低域信号ＹＬ（１，１）、色差信号Ｃｒ（１，１）及びＣｂ（１，１）がそれぞれ中間出力Ｏ３，Ｏ４及びＯ５として生成される。合成回路１０６では、中間出力Ｏ１及びＯ３から、Ｐ１での輝度信号Ｙ（１，１）が最終出力Ｏ６として生成される。
【００４５】
また、Ｐ１での色差信号Ｃｒ（１，１）及びＣｂ（１，１）がそのまま最終出力Ｏ８及びＯ１０として出力される。
【００４６】
次のタイミングでは、高域処理回路１０４の処理対象位置が図６中のＰ３及びＰ４に移り、Ｐ３での輝度高域信号ＹＨ（１，３）とＰ４での輝度高域信号ＹＨ（１，４）が中間出力Ｏ１及びＯ２として生成される。
【００４７】
低域生成回路１０５の処理対象位置も図６中のＰ３に移り、Ｐ３での輝度低域信号ＹＬ（１，１）、色差信号Ｃｒ（１，１）及びＣｂ（１，１）がそれぞれ中間出力Ｏ３，Ｏ４及びＯ５として生成される。
【００４８】
また、Ｐ２の両隣の画素Ｐ１及びＰ３での出力から、Ｐ２での輝度低域信号ＹＬ（１，２）が補間され、輝度高域信号ＹＨ（１，２）と合成されてＰ２での輝度信号Ｙ２が最終出力Ｏ７として生成される。同様に、Ｐ２での色差信号Ｃｒ（１，２）とＣｂ（１，２）が補間され、それぞれ最終出力Ｏ９及びＯ１１として出力される。
【００４９】
この動作が繰り返されることにより、１クロック内に２画素分の輝度信号と色差信号が得られる。
【００５０】
前述した如く第１及び第２の処理手段である高域処理回路１０４内の２系列の高域生成回路１０４Ａ，１０４Ｂが時間的に並列動作すると共に、低域処理手段である低域生成回路１０５も同じタイミングで動作する。
【００５１】
そして、それらの後段に位置する合成回路４０６が、低域成分を補間しつつ高周波成分を合成することで、出力Ｏ６〜Ｏ１１からなるカラー画像を生成する。
【００５２】
このように画像のエッジ（輪郭）を構成する高域成分を一度に複数画素分出力することが可能になるとともに、低域成分を間引いて処理する。そのため、低域成分を処理する回路規模の増大を抑えながら、且つ動作クロックを同じに保ったままで処理全体として一度に複数画素分の処理結果を出力できるようになり、処理速度を２倍以上に向上させることができる。
【００５３】
また、具体的な画素の高周波成分を、図２でも説明した如く輝度エッジ成分としたことで、画素の低域成分と高域成分を完全に分離して処理するため、画像処理効率を高めることができる。
【００５４】
同じく、前記図６中に画素位置Ｐ１を含む黒点位置で示したように、前記一部の画素位置は、垂直（または水平）に間に１画素を空けた２画素間隔で、且つその配列方向と直交する水平（または垂直）方向に間を空けない一画素間隔の格子点に対応する画素位置での低域成分を生成するものとした。これにより、処理遅延が小さく、回路規模を複雑にせずに高速化できる。
【００５５】
また、前記図２に示した如く、高域処理回路１０４内の第１及び第２の処理手段、すなわちエッジ抽出回路１０４ａ、方向判定回路１０４ｂ及びノイズ低減回路１０４ｄと、エッジ抽出回路１０４ｃ、方向判定回路１０４ｂ及びノイズ低減回路１０４ｅは、前記高周波成分を生成するために画像の輝度エッジ方向を判定する方向判定回路１０４ｂを共有するものとしたため、回路規模の縮小を図ることができる。
【００５６】
なお、本実施形態例ではいくつかの変形が可能である。  
例えば、方向判定回路１０４ｂが出力する方向判定指標は前述のものに限る必要はなく、エッジの水平となす角度など、公知のエッジ方向を表す指標であれば何でもよい。また、ノイズ低減回路１０４ｄ及び１０４ｆの処理も前述のものに限らず、方向判定回路１０４ｂの方向判定指標で示されたエッジの方向に沿って平滑化を行なうなど、より複雑なものでもよい。
【００５７】
また、エッジ抽出回路１０４ａ及び１０４ｃの処理も５×５ブロックに対するバンドパスフィルタである必要はなく、モルフォロジー演算に基づいた非線形な構造抽出手法を用いることもできる。
【００５８】
さらに、本実施形態の例ではバンドパスフィルタを５×５ブロック全データに適用しているが、輝度Ｇ成分にバンドパスフィルタを適用して疑似輝度高域信号を得るようにしてもよい。特にベイヤー配列の撮像素子の場合、図１８に示すように、フィルタを適用する画素位置が近傍中心で得られている色成分により反転するので、図６のＰ１とＰ２を１画素ずつ処理をしていく場合でも別々の処理回路が必要となる。そのため、Ｐ１とＰ２を並列に処理していっても回路規模が増大しないという利点がある。
【００５９】
さらには、エッジ抽出回路１０４ａ及び１０４ｃと、ノイズ低減回路１０４ｄ及び１０４ｆは、必ずしも方向判定回路１０４ｂを共有せず各々の回路内で方向判定を行なってもよい。また、方向判定自体を行わず、単一のバンドパスフィルタによりエッジ抽出を行なってもよい。
【００６０】
ノイズ低減についても、エッジ抽出回路１０４ａ及び１０４ｃの出力にノイズ低減を施すのではなく、最終的な輝度信号の出力であるＯ６及びＯ７各々に対してノイズ低減を行なうようにしてもよい。これは、例えばエッジ成分に適用するのに向かないランクフィルタに基づくノイズ低減手法等を適用したい場合に有効である。この場合、ノイズ低減回路１０４ｄ及び１０４ｆはそれぞれ合成回路１０６の出力Ｏ６及びＯ７の後に配置される。
【００６１】
また、高域処理回路１０４が一度に処理する画素位置は図６のＰ１及びＰ２に示すように、垂直方向に並んでいる必要はなく、図６中のＰ１及びＱ１に示すように、水平方向に隣接していてもよい。その場合、低域生成回路１０５では水平方向に１列ずつとばした位置で処理を行い、とばした列の低域信号は合成回路１０６内で水平方向の補間を行なって生成する。
【００６２】
低域の処理として間引く率も１／２に限る必要はなく、２行ずつ以上とばして処理し、とばした行の間を補間するようにしてもよい。その場合、高域処理回路１０４はとばした位置の高域信号を、並列に動作する回路で１クロック内に生成する。その際、並列に動作する回路間で共通する回路、例えば方向判定回路などの共有化を行なうのが望ましいのは勿論である。
【００６３】
また、本実施形態は原色ベイヤー配列の単板ＣＣＤ１０２の出力を処理するものとして説明したが、ＲＧＢ生成回路１０５及び高域処理回路１０４のアルゴリズムを変えることで、ベイヤー配列以外の色フィルタ配列や、補色フィルタの出力を処理するようにもできる。
【００６４】
さらに撮像素子が単板ＣＣＤ１０２ではなく、三板撮像素子であっても同様の高速化が可能である。
【００６５】
この場合、ＲＧＢ生成回路１０５ａが不要となる。また、エッジ抽出回路１０４ａ及び１０４ｃでは、処理対象の５×５領域の各画素において、まず３色成分から公知のマトリックス演算式で輝度成分を算出し、その後に５×５領域で得られた輝度成分にエッジ抽出用のバンドパスフィルタを施す。
【００６６】
同様に、撮像素子がカラーフィルタを有する単板ＣＣＤ１０２ではなく、カラーフィルタを有しないモノクロの撮像素子の場合であっても同様の高速化が可能である。この場合、ＲＧＢ生成回路１０５ａ及び色変換回路１０５ｂが不要となり、階調変換回路１０５ｃでは撮像素子の出力に対して直接階調変換を施す。ＹＣ変換回路１０５ｄは階調変換回路１０５ｃからの入力をノイズ低減回路１０５ｅに直接出力し、ノイズ低減回路１０５ｆ，１０５ｇ、補間回路１０６ｄ及び補間回路１０６ｅは不要となる。
【００６７】
（第２の実施形態）  
以下本発明をデジタルカメラに適用した場合の第２の実施形態について説明する。  
なお、本実施形態に係るデジタルカメラ１００′の主として撮影系の画像処理の回路構成については、前記図１に示したものと基本的に同様であるものとし、同一部分には同一符号を用いてその図示と説明とを省略する。
【００６８】
本実施形態では、前記図１の低域生成回路１０５に代えて後述の低域生成回路２０５を、合成回路１０６に代えて後述の合成回路２０６を用いる。  
図７は、低域生成回路２０５内の詳細な構成を示す。前段の画像バッファ１０３からの画像データは、ＲＧＢ生成回路２０５ａに与えられる。ＲＧＢ生成回路２０５ａは、画像バッファ１０３からの画像データに補間処理を施してＲＧＢの各成分が各画素で揃ったＲＧＢデータを生成し、色変換回路２０５ｂに出力する。
【００６９】
なお、ＲＧＢ生成回路２０５ａは、図１０中に「◇」印で示した画素位置でのＲＧＢ成分を順次出力する。また、１画素の処理に際し、前記第１の実施の形態例と同じく、近傍５×５の周囲画素データを必要とする。
【００７０】
色変換回路２０５ｂは、原色信号系のＲＧＢデータに対して、その時点で設定されているホワイトバランス値に応じた加減変換を行ない、変換後のＲＧＢデータを階調変換回路２０５ｃに出力する。
【００７１】
階調変換回路２０５ｃは、ＲＧＢデータをそれぞれガンマ補正処理により中間階調値を所定の値に変換してＹＣ変換回路２０５ｄへ出力する。
【００７２】
ＹＣ変換回路２０５ｄは、原色信号系のＲＧＢデータをマトリックス演算により輝度色差信号系のＹＣｒＣｂデータに変換し、得たＹ（ＹL）データ、Ｃｒデータ、Ｃｂデータを分離してそれぞれバッファ２０５ｈ，２０５ｉ、及び２０５ｊへ出力する。
【００７３】
ノイズ低減回路２０５ｅは、Ｙ（ＹL）データに対するローパスフィルタ処理を施して高周波成分のノイズを低減するもので、その出力Ｏ３′をバッファ２０５ｈを介して再度帰還して再処理する、という過程を繰返すことで、複数回の処理を経た中間出力Ｏ３を取得し、合成回路２０６へ出力する。
【００７４】
同様に、ノイズ低減回路２０５ｆ，２０５ｇも、Ｃｒデータ，Ｃｂデータに対するローパスフィルタ処理を施して高周波成分のノイズを低減するもので、その出力Ｏ４′，Ｏ５′をバッファ２０５ｉ，２０５ｊを介して再度帰還して再処理する、という過程を繰返すことで、複数回の処理を経た中間出力Ｏ４，Ｏ５を取得し、共に合成回路２０６へ出力する。
【００７５】
なお、本実施形態の例では、ノイズ低減回路２０５ｅ〜２０５ｇにおいて公知のノイズ低減手法を用いるが、１画素を処理する際、近傍３×３の周囲画素データを必要とする。そのため、バッファ２０５ｈ、２０５ｉ及び２０５ｊでは、１回目の処理用と２回目の処理用に各々３列分のラインメモリを有しており、処理可能なデータが蓄積された時点で処理を行なう。
【００７６】
次に、合成回路２０６の構成と作用を、高域処理回路１０４と低域生成回路２０５の動作タイミングとあわせて、図８乃至図１０を用いて説明する。
【００７７】
図８は合成回路２０６の構成図である。図９は合成回路の入出力Ｏ１〜Ｏ１１及び低域生成回路２０５内の中間出力Ｏ３’，Ｏ４’，Ｏ５’の信号内容を時系列に表したもので、一列分の処理を１単位期間として信号の内容を記してある。なお、一列分の処理に要する時間は、高域処理回路１０４では図１０の上下に隣接する黒丸と白丸の位置で並列に処理を行ない、低域生成回路２０５では◇印の位置でのみ処理を行なうため、垂直画素数の半分となっている。
【００７８】
前述のように、低域回路２０５内のノイズ低減回路は各画素の処理に３×３の近傍データを必要とするため、低域生成回路２０５では、まず最初に図１０の３，５，７列目に対する１回目のノイズ低減処理を行ない、その後、５列目に対する２回目のノイズ低減処理を行なう。処理が３列目から開始されているのは、１回目のノイズ低減処理自体に３×３の近傍データが必要となるためである。そして、５列目以降は、５列目の２回ノイズ低減済みの低域信号が得られる期間を基準期間ｔとして、  
・期間(t+2n+1)：  
(2n+9)列目の１回目のノイズ低減処理  
・期間(t+2n+2)：  
(2n+7)列目の２回目のノイズ低減処理  
(nは整数）  
を行なうことで、２期間に１回の割合でノイズ低減済みの低域信号Ｏ３〜Ｏ５を出力する。
【００７９】
すなわち、期間ｔにおけるｊ番目のでの中間出力Ｏｉの値をＯｉ（ｊ；ｔ）と記載すると、図１０に示す如く、ｎが偶数のとき、  
O3(j;t+n) =  
座標(n+5,2j+1)の2回ノイズ低減済み輝度低域信号  
O4(j;t+n) =  
座標(n+5,2j+1)の2回ノイズ低減済みCr色差信号  
O5(j;t+n) =  
座標(n+5,2j+1)の2回ノイズ低減済みCb色差信号  
であり、一方、  
nが奇数のとき、O3(j;t+n)〜O5(j;t+n)は出力無し  
となる。
【００８０】
合成回路２０６は、低域生成回路２０５の出力Ｏ３〜Ｏ５と、高域処理回路１０４の出力Ｏ１及びＯ２から、期間（ｔ＋ｎ）において、列（ｎ＋４）における輝度及び色差の最終出力Ｏ８〜Ｏ１１を生成する。出力Ｏ３〜Ｏ５で得られているのは図１０中の◇の位置の低域信号のみなので、その他の位置の低域信号は、図１０の座標（ｘ，ｙ）における低域信号Ｓの値をＳ（ｘ，ｙ）として、図１０中、  
黒丸位置で、  
S(2i+1,2j+1) =  補間必要なし（◇位置）  
S(2i,2j+1) = (S(2i-1,2j+1)+S(2i+1,2j+1))/2  
白丸位置で、  
S(2i+1,2j) = (S(2i+1,2j-1)+S(2i+1,2j+1))/2  
S(2i,2j) = (S(2i-1,2j-1)+S(2i-1,2j+1)  
+S(2i+1,2j-1)+S(2i+1,2j+1))/4
（但し、ｉ，ｊは整数。）
という補間式で生成する。
【００８１】
この補間計算は補間回路２０６ｅ〜２０６ｉで行なわれ、補間回路２０６ｄ，２０６ｆ、及び２０６ｈではそれぞれ図１０中の黒丸位置における低域輝度信号、Ｃｒ色差信号、Ｃｂ色差信号が、補間回路２０６ｅ，２０６ｇ、及び２０６ｉではそれぞれ図１０中の白丸位置における低域輝度信号、Ｃｒ色差信号、Ｃｂ色差信号が出力される。各回路での計算は前記補間式を時系列信号に置き直したもので、以下の通りである。(以下、ｊ，ｎは整数）  
補間回路206f：  
図10中の黒丸位置(2j+1,n+4)での輝度低域信号O1'を  
O1'(j;t+n) = O3(j;t+n-1)            (nが奇数の時）  
O1'(j;t+n) =  
(O3(j;t+n-2)+O3(j;t+n))/2          (nが偶数の時）  
と生成する。
【００８２】
補間回路206f：  
図10黒丸位置(2j+1,n+4)でのCr色差信号O8を  
O8(j;t+n) = O4(j;t+n-1)              (nが奇数の時）   
O8(j;t+n) =
(O4(j;t+n-2)+O4(j;t+n))/2           (nが偶数の時）  
と生成する。
【００８３】
補間回路206h：  
図10黒丸位置(2j+1,n+4)でのCb色差信号O10を  
O10(j;t+n) = O5(j;t+n-1)             (nが奇数の時）  
O10(j;t+n) =  
(O5(j;t+n-2)+O4(j;t+n))/2           (nが偶数の時）  
と生成する。
【００８４】
補間回路206e：  
図10白丸位置(2j+2,n+4)での輝度低域信号O2'を  
O2'(j;t+n) =  
(O3(j;t+n-1)+O3(j+1;t+n-1))/2      (nが奇数の時）  
O2'(j;t+n) =  
(O3(j;t+n-2)+O3(j+1;t+n-2)  
+O3(j;t+n)+O3(j+1;t+n))/4           (nが偶数の時）  
と生成する。
【００８５】
補間回路206g:  
図10白丸位置(2j+2,n+4)でのCr色差信号O9を  
O9(j;t+n) =  
(O3(j;t+n-1)+O3(j+1;t+n-1))/2      (nが奇数の時）  
O9(j;t+n) =  
(O3(j;t+n-2)+O3(j+1;t+n-2)  
+O3(j;t+n)+O3(j+1;t+n))/4           (nが偶数の時）  
と生成する。
【００８６】
補間回路206i: 
図10白丸位置(2j+2,n+4)でのCb色差信号O11を  
O11(j;t+n) =  
(O3(j;t+n-1)+O3(j+1;t+n-1))/2      (nが奇数の時）  
O11(j;t+n) =  
(O3(j;t+n-2)+O3(j+1;t+n-2)  
+O3(j;t+n)+O3(j+1;t+n))/4           (nが偶数の時）  
と生成する。
【００８７】
強調回路２０６ｊでは、補間回路２０６ｄの出力である輝度低域信号Ｏ１’と高域生成回路の出力である輝度高域信号Ｏ１から、期間（ｔ＋ｎ）に、図１０中の黒丸位置における（ｎ＋４）列目の輝度信号Ｏ６を以下の式で計算する。すなわち、  
O6(j;t+n) = α*O1(j;t+n)+O1'(j;t+n)  
(jは整数、αは定数）
同様に、強調回路２０６ｋでは、補間回路２０６ｅの出力である輝度低域信号Ｏ２’と高域処理回路１０４の出力である輝度高域信号Ｏ２から、期間（ｔ＋ｎ）に、図１０中の白丸位置における（ｎ＋４）列目の輝度信号Ｏ７を以下の式で計算する。すなわち、  
O7(j;t+n) = α*O2(j;t+n)+O2'(j;t+n)  
(jは整数、αは定数）
なお、高域処理回路１０４の処理開始位置と処理開始のタイミングは、期間（ｔ＋ｎ）で（ｎ＋４）列目の輝度高域信号が得られるように調整されており、強調回路２０６ｊにおいて低域信号と高域信号にずれがないようになっている。
【００８８】
前述する如く本実施形態では、低域画像を水平及び垂直各方向に１／２間引きで生成しており、各色成分毎の残った同一画素データに対してノイズ低減回路２０５ｅ〜２０５ｇを用いて複数回、例えば２回繰返しノイズ除去処理を施した後に出力するものとしている。
【００８９】
このように画質の劣化に大きな影響を与えることない低域成分を間引いて処理することで、低域成分のノイズ低減処理を循環的に複数回繰返したとしても処理速度が低下してしまうのを回避できる。
【００９０】
また、前記図１０中の「◇」印位置で、例えばデータ量を１／４に間引くパターンのバリエーションを提示した如く、低域生成回路２０５で一部の画素位置において低域成分を算出することで前記低域画像を生成するものとしたので、低域成分をより高画質に生成できる。
【００９１】
この場合、図１０で示した間引きパターンでは、前記一部の画素位置は、水平及び垂直共に間に１画素を空けた２画素間隔の格子点であることとしたので、低域成分の処理時間に余裕を持たせることができ、ノイズ低減処理の構成を多様なバリエーションで実現できる。
【００９２】
また、本実施形態の例では、低域生成回路２０５が図１０中の◇印で示した位置で飛び飛びに低域成分の生成処理を行っていたが、低域生成回路２０５に入力する前に予め間引いた単板画像を生成し、その画像の全ての画素に対して低域生成回路２０５が処理を行なうようにしてもよい。
【００９３】
図１１はそのような変形例における間引きパターンを例示したものである。この変形例では、まず、バッファ１０３内の単板画像Ｕに対し、垂直及び垂直方向に各２画素ずつ飛ばして読出しを行ない、図１１（ａ）中に網掛けで例示した部分のデータのみを読出し、図１１（Ｂ）の間引き単板画像Ｖを生成する。そして、この間引き単板画像Ｖの各画素の近傍で４×４のローパスフィルタを適用し、図１１（ｂ）中の◇位置でのＲＧＢ信号を生成する。これは、図１１（ａ）内の◇位置でのＲＧＢ信号を求めたことに相当する。
【００９４】
このように、予め間引いた単板画像から低域生成を行なうことで、回路が簡単化され、回路規模が削減できる。
【００９５】
なお、この変形例ではＲＧＢ信号が生成される位置が元々の単板画像の画素位置から半画素ずれるため、高域処理回路１０４で用いるバンドパスフィルタを４×４とし、方向判定回路１０３bで方向を判定する位置も合わせて変更する。
【００９６】
例えば、図１１（ａ）中の○印の位置の高域信号の生成には丸印の近傍の４×４の領域を用い、方向判定は、図１１（ａ）中の破線部内の画素を用いて×印の位置で行なう。判定結果は○印の直上に位置する◇印における高域信号の生成と共用する。
【００９７】
本実施形態の例にはこのほかにも様々な変形例が考えられる。例えば、ノイズ低減回路２０５ｅ，２０５ｆ，２０５ｇで用いるノイズ低減処理で使用する近傍データのサイズは、３×３に限らず、任意のサイズでよい。その場合でも、遅延時間が長くなるものの、図９と同様のタイミングで処理が可能である。
【００９８】
また、第１の実施形態の例と同様に、撮像素子が単板ＣＣＤ１０２ではなく三板撮像素子であっても同様の高速化が可能である。この場合、ＲＧＢ生成回路２０５ａが不要となる。
【００９９】
また、撮像素子がカラーフィルタを有する単板ＣＣＤ１０２ではなく、モノクロの撮像素子の場合も同様の高速化が可能である。この場合、ＲＧＢ生成回路２０５ａ及び色変換回路２０５ｂが不要となり、階調変換回路２０５ｃでは撮像素子の出力に対して直接階調変換を施す。ＹＣ変換回路２０５ｄは階調変換回路１０５ｃからの入力をノイズ低減回路１０５ｅに直接出力し、ノイズ低減回路２０５ｆ，２０５ｇ、バッファ２０５ｉ、バッファ２０５ｊ，２０６ｂ，２０６ｃ、補間回路２０６ｆ、補間回路２０６ｇ、補間回路２０６ｈ及び補間回路２０６ｉは不要となる。
【０１００】
（第３の実施形態）  
以下本発明をデジタルカメラに適用した場合の第３の実施形態について説明する。  
なお、本実施形態に係るデジタルカメラ１００″の主として撮影系の画像処理の回路構成については、前記図１に示したものと基本的に同様であるものとし、同一部分には同一符号を用いてその図示と説明とを省略する。
【０１０１】
しかして本実施形態では、前記図１の低域生成回路１０５に代えて後述の低域生成回路３０５を、合成回路１０６に代えて後述の合成回路３０６を用いる。  
図１２は、低域生成回路３０５内の詳細な構成を示す。前段の画像バッファ１０３からの画像データは、ＲＧＢ生成回路３０５ａに与えられる。ＲＧＢ生成回路３０５ａは、画像バッファ１０３からの画像データに補間処理を施してＲＧＢの各成分が各画素で揃ったＲＧＢデータを生成し、色変換回路３０５ｂに出力する。
【０１０２】
なお、ＲＧＢ生成回路３０５ａは、図６中の黒丸で示した画素位置でのＲＧＢ成分を順次出力する。また、１画素の処理に際し、第１の実施形態の例と同じく、近傍５×５の周囲画素データを必要とする。
【０１０３】
色変換回路３０５ｂは、原色信号系のＲＧＢデータに対して，その時点で設定されているホワイトバランス値に応じた加減変換を行ない、変換後のＲＧＢデータを階調変換回路３０５ｃに出力する。
【０１０４】
階調変換回路３０５ｃは、ＲＧＢデータをそれぞれガンマ補正処理により中間階調値を所定の値に変換してＹＣ変換回路３０５ｄへ出力する。
【０１０５】
ＹＣ変換回路３０５ｄは、原色信号系のＲＧＢデータをマトリックス演算により輝度色差信号系のＹＣｒＣｂデータに変換し、得たＹ（ＹL）データ、Ｃｒデータ、Ｃｂデータを分離して、Ｙ（ＹL）データをノイズ低減回路３０５ｅに、Ｃｒデータ、Ｃｂデータを選択回路３０５ｆに出力する。
【０１０６】
ノイズ低減回路３０５ｅは、Ｙ（ＹL）データに対するローパスフィルタ処理を施して高周波成分のノイズを低減するもので、中間出力Ｏ３として次段の合成回路２０６へ出力する。
【０１０７】
一方、ＹＣ変換回路３０５ｄからＣｒデータ、Ｃｂデータを入力した選択回路３０５ｆは、図６の奇数列目の黒丸位置を処理している際はＣｒデータを、偶数列目の黒丸位置を処理している際はＣｂデータを選択的に出力する。
【０１０８】
この選択回路３０５ｆの出力するＣｒデータ及びＣｂデータは、ノイズ低減回路３０５ｇでローパスフィルタ処理が施され、高周波成分のノイズが低減された後に中間出力Ｏ４として次段の合成回路２０６へ出力される。
【０１０９】
次に、前記高域処理回路１０４と低域生成回路３０５の出力を合成する合成回路３０６の構成と作用を、図１３及び図１４を用いて説明する。
【０１１０】
図１３は合成回路３０６の構成図である。図１４は合成回路の入出力Ｏ１〜Ｏ１１の信号内容を時系列に表したもので、一列分の処理を１単位期間として信号の内容を記してある。なお、一列分の処理に要する時間は、高域処理回路１０４では図６の上下に隣接する黒丸と白丸の位置で並列に処理を行ない、低域生成回路３０５では黒丸位置でのみ処理を行なうため、垂直画素数の半分となっている。
【０１１１】
図１４において、低域生成回路３０５では、各単位期間において、図６中の各列の黒丸位置における輝度低域信号をＯ３に、色差信号をＯ４に出力する。すなわち、１列目の輝度低域信号Ｏ３が得られる期間を基準期間ｔとすると、Ｏ３，Ｏ４は  
O3(j;t+n) = YL(n+1,2j+1)  
O4(j;t+n) = Cr(n+1,2j+1) (nが偶数のとき）  
O4(j;t+n) = Cb(n+1,2j+1) (nが奇数のとき）  
（但し、n,j：整数、  
Oi(j;t)：期間tにおけるj番目の中間出力Oiの値、  
S(x,y)：x列y行における信号Sの値。）
出力Ｏ４として得られる信号の種類は、選択回路３０５ｆでの選択結果による。出力Ｏ３及びＯ４は、各々バッファ３０６ａ及び３０６ｂに蓄積される。
【０１１２】
高域処理回路１０４では、図６中の列の黒丸位置における輝度高域信号がＯ１として、白丸位置における輝度高域信号がＯ２として得られる。出力タイミングは、期間（ｔ＋ｎ）においてｎ列目の輝度高域信号が出力されるよう調整されており、その結果、最終的な出力Ｏ７〜Ｏ１１において低域信号と高域信号の処理位置が揃うようになっている。すなわち、  
O1(j;t+n) = YH(n,2j+1)  
O2(j;t+n) = YH(n,2j+2)
合成回路３０６は、低域生成回路３０５の出力Ｏ３及びＯ４と、高域処理回路１０４の出力Ｏ１及びＯ２から、期間（ｔ＋ｎ）において、ｎ列目の輝度及び色差の最終出力Ｏ８〜Ｏ１１を生成する。出力Ｏ３及びＯ４では特定画素でしか低域信号が得られていないため、その他の位置の低域信号は、図６の座標（ｘ，ｙ）における低域信号Ｓの値をＳ（ｘ，ｙ）として、  
図６中の黒丸位置で、  
YL(2i+1,2j+1) = 補間必要なし  
YL(2i,2j+1) = 補間必要なし  
Cr(2i+1,2j+1) = 補間必要なし  
Cr(2i,2j+1) =  
(Cr(2i-1,2j+1)+Cr(2i+1,2j+1))/2  
Cb(2i+1,2j+1) =  
(Cb(2i,2j+1)+Cr(2i+2,2j+1))/2  
Cb(2i,2j+1) =  補間必要なし  
図６中の白丸位置で、  
YL(2i+1,2j) = (YL(2i+1,2j-1)+YL(2i+1,2j+1))/2  
YL(2i,2j) = (YL(2i,2j-1)+YL(2i,2j+1))/2  
Cr(2i+1,2j) = (Cr(2i+1,2j-1)+Cr(2i+1,2j+1))/2  
Cr(2i,2j) =   
(Cr(2i+1,2j-1)+Cr(2i+1,2j+1)+   
Cr(2i-1,2j-1)+Cr(2i-1,2j+1))/4Cb(2i+1,2j)   
=(Cb(2i+2,2j-1)+Cb(2i+2,2j+1)+Cb(2i,2j-1)+   
Cb(2i,2j+1))/4  
Cb(2i,2j) =  (Cb(2i,2j-1)+Cb(2i,2j+1))/2  
(i,jは整数）  
という補間式で生成する。
【０１１３】
この補間計算は補間回路３０６ｃ〜３０６ｇで行なわれ、補間回路３０６ｄ及び３０６ｆではそれぞれ図６中の黒丸位置におけるＣｒ色差信号、Ｃｂ色差信号が得られる。また、補間回路３０６ｃ，３０６ｅ、及び３０６ｇではそれぞれ図６中の白丸位置における低域輝度信号、Ｃｒ色差信号、Ｃｂ色差信号が出力される。
【０１１４】
各回路での計算は前記補間式を時系列信号に置き直したもので、以下の通りである。(以下、j,nは整数）
補間回路306d：  
図６中の黒丸位置(2j+1,n)でのCr色差信号O8を  
O8(j;t+n) = O4(j;t+n-1)             (nが奇数の時）   
O8(j;t+n) =  
(O4(j;t+n-2)+O4(j;t+n))/2          (nが偶数の時）  
と生成する。
【０１１５】
補間回路306f：  
図６中の黒丸位置(2j+1,n)でのCb色差信号O10を  
O10(j;t+n) =
(O4(j;t+n-2)+O4(j;t+n))/2           (nが奇数の時）  
O10(j;t+n) = O4(j;t+n-1)             (nが偶数の時）  
と生成する。
【０１１６】
補間回路306c：  
図６中の白丸位置(2j+2,n)での輝度低域信号O2'を  
O2'(j;t+n) =  
(O3(j;t+n-1)+O3(j+1;t+n-1))/2       (nは整数）  
と生成する。
【０１１７】
補間回路306e:  
図６中の白丸位置(2j+2,n)でのCr色差信号O9を  
O9(j;t+n) =  
(O4(j;t+n-1)+O4(j+1;t+n-1))/2       (nが奇数の時）  
O9(j;t+n) =  
(O4(j;t+n-2)+O4(j+1;t+n-2)  
+O4(j;t+n)+O4(j+1;t+n))/4            (nが偶数の時）  
と生成する。
【０１１８】
補間回路306f:  
図６中の白丸位置(2j+2,n)でのCb色差信号O11を  
O11(j;t+n) =  
(O4(j;t+n-2)+O4(j+1;t+n-2)  
+O4(j;t+n)+O4(j+1;t+n))/4             (nが奇数の時）  
O11(j;t+n) =  
(O4(j;t+n-1)+O4(j+1;t+n-1))/2        (nが偶数の時）  
と生成する。
【０１１９】
強調回路３０６ｈでは、バッファ３０６ａ内の、１単位期間前の輝度低域信号Ｏ３と、高域生成回路の出力である輝度高域信号Ｏ１から、期間（ｔ＋ｎ）に、図６中の黒丸位置におけるｎ列目の最終的な輝度信号Ｏ６を以下の式で計算する。すなわち、  
O6(j;t+n) = α*O1(j;t+n)+O3(j;t+n-1)   
(但し、jは整数、αは定数。）
同様に、強調回路２０６ｋでは、補間回路３０６ｃの出力である輝度低域信号Ｏ２’と高域生成回路の出力である輝度高域信号Ｏ２から、期間（ｔ＋ｎ）に、図６中の白丸位置におけるｎ列目の最終的な輝度信号Ｏ７を以下の式で計算する。すなわち、  
O7(j;t+n) = α*O2(j;t+n)+O2'(j;t+n)   
(但し、jは整数、αは定数）
図１４でも示すように、低域生成回路３０５では色差信号であるＣｒデータとＣｂデータとを１つのノイズ低減回路３０５ｇを共用して時分割で処理することで中間出力Ｏ４を生成する。
【０１２０】
こうしてノイズ低減回路３０５ｇを共用化することで、回路規模を減少させることが可能となることに加え、該共用化を共に色差信号であるＣｒデータとＣｂデータ用の回路で行なうものとしたので、他の色成分間でノイズ低減回路を共用するよりも無理なく共用化できる。
【０１２１】
また、図１５，図１６は、共に前記低域生成回路３０５で前記図１０と同じくデータ量を１／４に間引く場合の画素位置パターンを例示するもので、図中の「Ｘ」が間引いた画素位置を示す。
【０１２２】
図１５（Ａ）は、垂直方向に２画素間隔となる間隔で画素を間引くパターンの一例で、水平方向の同一行内では色差情報のＣｒデータとＣｂデータとが交互に配列されると共に、垂直方向では間引いた画素位置を挟んでＣｒデータはＣｒデータどうし、ＣｂデータはＣｂデータ同士が同一列に揃って配列されるようになる。
【０１２３】
図１５（Ｂ）は、同じく垂直方向に２画素間隔となる間隔で画素を間引くパターンの一例で、水平方向の同一行内で色差情報のＣｒデータとＣｂデータとが交互に配列されると共に、垂直方向でも間引いた画素位置を挟んでＣｒデータとＣｂデータとが同一行で交互に配列されるようになる。
【０１２４】
図１６（Ａ）は、Ｃｒデータ及びＣｂデータと間引く画素位置（Ｘ）との関係、及びＣｒデータとＣｂデータとの関係を共に市松状に配置することで、水平方向及び垂直方向に各要素が直接隣接しないように配列した例を示すものである。
【０１２５】
図１６（Ｂ）は、輝度情報であるＹ（ＹＬ）データと間引く画素位置（Ｘ）とを市松状に配置することで、水平方向及び垂直方向に間引く画素位置が直接隣接しないように配列した例を示すものである。
【０１２６】
なお、本実施形態の例には、様々な変形例が可能である。図１５（Ｂ）に示した一例は、選択回路３０５ｆの色差データの選択パターンを変えたものである。図１５中、Ｘ印は信号が得られないことを表す。図１５（Ａ）に示した本実施形態の例内での選択パターンに対し、各列でＣｒ信号とＣｂ信号が得られていることが特徴である。
【０１２７】
また、図１６（Ａ）及び図１６（Ｂ）は、低域生成回路３０５の処理対象行を列によって変えた例で、本実施形態の例では図６中黒丸の位置(奇数行)でのみ低域信号が得られたのに対し、低域信号が市松状のパターンで得られる点が特徴である。
【０１２８】
これらいずれのパターンにおいても、本実施形態の例と同様に、欠落している低域信号をその近傍で得られている低域信号から補間すればよい。補間方式も、より複雑なものを用いても良く、補間に用いる近傍の大きさも、本実施の形態例の３×３のサイズに限らず、さらに大きなサイズのものでもよい。その際は、時系列的により過去のデータを蓄積しておけるよう、低域生成回路３０５内のバッファを増大させればよい。
【０１２９】
また、撮像素子が単板ＣＣＤ１０２ではなく三板撮像素子であっても、同様の高速化が可能である。この場合ＲＧＢ生成回路３０５ａが不要となる。
【０１３０】
このように、前記低域生成回路３０５では、前記図１５及び図１６に示した如く、生成する低域成分画像が複数の色成分からなり、各画素位置で特定の色成分が欠落しているものとしたことにより、ベイヤー配列の特性に対してより適した処理を行なうことができ、各色成分を得ている画素位置がずれているため、空間情報としてより多くの情報が得られる。
【０１３１】
さらに、前記図１６（Ａ）で示した如く、生成する低域成分画像を構成する複数の色成分は、色差成分であるＣｒデータ及びＣｂデータであり、Ｃｒデータが欠落する画素位置とＣｂデータが欠落する画素位置とを市松状に配列したことにより、得られる空間情報の量が最大となる。
【０１３２】
なお、前記第１乃至第３の実施形態はいずれも静止画像を撮影するためのデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限ることなく、例えば動画を撮影するためのビデオムービーカメラや、カメラ機能付きの携帯電話端末等の電子機器にも同様に適用可能である。なお、この電子機器とは、正しく作動するために電流または電磁界に依存する装置である。
【０１３３】
また上記各実施形態では、高域処理回路１０４を形成するべく、２つの高域生成回路１０４Ａ，１０４Ｂを用いる例を示したが、変形例として、３つ以上の高域生成回路を用いてもよい。この場合、第１〜第ｎ（ｎは３以上の自然数）の高域生成回路が一度に並列処理する画素位置は、互いに隣り合って並んでいるｎ個の画素位置となる。例えば、３つの高域生成回路を用いて前記図６で示した画素位置での処理を行なうものとすると、第１の高域生成回路はある黒丸位置を、第２の高域生成回路はその黒丸位置の隣の白丸位置を、第３の高域生成回路はその白丸位置の隣の、図示しない星印位置を、それぞれ高周波成分の生成処理の対象とする。なお、この変形例においても、すべての高域生成回路が１つの方向判定回路１０４ｂを共有することとしてもよい。
【０１３４】
さらに上記各実施形態では、複数の高域生成回路のそれぞれは、少なくともエッジ抽出回路とノイズ低減回路を有していたが、変形例として、ノイズ低減回路を除外し、少なくともエッジ抽出回路を有していてもよい。
【０１３５】
その他、本発明は前述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前述した実施形態で実行される機能は可能な限り適宜組合わせて実施してもよい。前述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０１３６】
【図１】本発明の第１の実施形態に係るデジタルカメラの主として撮影系の回路構成を示すブロック図である。
【図２】同実施形態に係る図である。図１の高域生成回路内の詳細な構成を示すブロック図である。
【図３】同実施形態に係る図である。図１の低域生成回路内の詳細な構成を示すブロック図である。
【図４】同実施形態に係る図である。図１の合成回路内の詳細な構成を示すブロック図である。
【図５】同実施形態に係る各回路の出力信号を動作クロックと共に示すタイミングチャートである。
【図６】同実施形態に係る画像処理過程での間引き処理を行なう画素位置を例示する図である。
【図７】本発明の第２の実施形態に係る低域生成回路内の詳細な構成を示すブロック図である。
【図８】同実施形態に係る合成回路内の詳細な構成を示すブロック図である。
【図９】同実施形態に係る各回路の出力信号を動作クロックと共に示すタイミングチャートである。
【図１０】同実施形態に係る画像処理過程での間引き処理を行なう画素位置を例示する図である。
【図１１】同実施形態に係る画像処理過程での間引き処理を行なう他の画素位置を例示する図である。
【図１２】本発明の第３の実施形態に係る低域生成回路内の詳細な構成を示すブロック図である。
【図１３】同実施形態に係る合成回路内の詳細な構成を示すブロック図である。
【図１４】同実施形態に係る各回路の出力信号を動作クロックと共に示すタイミングチャートである。
【図１５】同実施形態に係る画像処理過程での間引き処理を行なう画素位置を例示する図である。
【図１６】同実施形態に係る画像処理過程での間引き処理を行なう他の画素位置を例示する図である。
【図１７】本発明の第１の実施形態に係る高域生成回路の作用について説明する図である。
【図１８】本発明の第１の実施形態に係る変形例を説明する図である。
【符号の説明】
【０１３７】
１００，１００′，１００″…デジタルカメラ、１０１…レンズ光学系、１０２…単板ＣＣＤ、１０３…画像バッファ、１０４…高域処理回路、１０４Ａ，１０４Ｂ…高域生成回路、１０５…低域生成回路、１０６…合成回路、１０７…圧縮回路、１０８…記録部、１１０…プロセッサ、１１１…制御回路、２０５…低域生成回路、２０６…合成回路、３０５…低域生成回路、３０６…合成回路、４００…デジタルカメラ、４０１…レンズ光学系、４０２…単板ＣＣＤ、４０３…画像バッファ、４０４…Ｙ生成回路、４０５…低域生成回路、４０６…合成回路、４０７…圧縮回路、４０８…記録部。
【図１】
2009253760.tif 000003
【図２】
2009253760.tif 000004
【図３】
2009253760.tif 000005
【図４】
2009253760.tif 000006
【図５】
2009253760.tif 000007
【図６】
2009253760.tif 000008
【図７】
2009253760.tif 000009
【図８】
2009253760.tif 000010
【図９】
2009253760.tif 000011
【図１０】
2009253760.tif 000012
【図１１】
2009253760.tif 000013
【図１２】
2009253760.tif 000014
【図１３】
2009253760.tif 000015
【図１４】
2009253760.tif 000016
【図１５】
2009253760.tif 000017
【図１６】
2009253760.tif 000018
【図１７】
2009253760.tif 000019
【図１８】
2009253760.tif 000020