(57)【特許請求の範囲】
【請求項１】
分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から供給される信号に対するデータを用いて静止画モードとムービーモードに応じた信号処理を行って表示データを生成する信号処理装置であって、該装置は、
前記データが水平方向に並ぶラインのサンプリングにおける偶数ラインと奇数ラインを一組とし、複数の水平ライン毎にサンプリングを行うタイミング信号を生成し、出力するタイミング信号生成手段と、
該タイミング信号に応じて前記データが水平方向に並ぶ複数のラインを間引きながら、前記複数の水平ライン毎にサンプリングを行う第１のサンプリング手段と、
該第１のサンプリング手段で得られたラインを用いてラインを合成するとともに、該第１のサンプリング手段によって間引いたライン間の一ラインを生成するライン生成手段と、
該ライン生成手段から出力されたこれらのデータに基づいて得られた輝度信号および色信号に対して画質の補正を施す信号処理手段と、
前記ライン生成手段で得られたデータに基づいて該データを評価するとともに、評価結果に応じて前記タイミング信号生成手段および前記信号処理手段を制御するデータ評価制御手段と、
前記静止画モードと前記ムービーモードに応じて前記データ評価制御手段を介して前記タイミング生成手段を制御するモード対応制御手段とを含むことを特徴とする信号処理装置。
【請求項２】
請求項１に記載の装置において、前記タイミング信号生成手段は、前記偶数ラインと前記奇数ラインの一組として隣接したラインのサンプリング、かつ該一組のラインを単位に複数の水平ライン毎に隔てた二組のラインの中で対向する前記偶数ラインと前記奇数ラインのサンプリングを行う第１のタイミング信号を生成するライン隣接間引き信号生成手段と、
前記偶数ラインと前記奇数ラインのサンプリング関係を保つとともに、前記偶数ラインと前記奇数ラインが複数の水平ラインで隔てたサンプリングを異なるタイミングで２回行う第２のタイミング信号を生成するライン分離間引き信号生成手段とを含むことを特徴とする信号処理装置。
【請求項３】
請求項１に記載の装置において、前記ライン生成手段は、前記ライン隣接間引き信号生成手段の出力を用いて前記第１のサンプリング手段で得られた隣接した２ラインから１ラインを合成生成するライン隣接合成手段と、
前記第１のサンプリング手段で得られた隣接した２ラインを二組用いて、これらのラインの偶数ラインと奇数ラインを一組とするサンプリングを行う第２のサンプリング手段からそれぞれ得られたラインのデータを用いて前記間引いたライン間の一ラインを補間生成するライン補間生成手段とを含むことを特徴とする信号処理装置。
【請求項４】
請求項２に記載の装置において、前記ライン生成手段は、前記第１のタイミング信号に応動して前記第１のサンプリング手段で得られた偶数ラインと奇数ラインの位置が分離した位置関係にあるラインで一組のラインを構成し、かつ該一組のラインのいずれか一方のラインを該一組のラインから合成生成するライン分離合成手段を含むことを特徴とする信号処理装置。
【請求項５】
請求項１に記載の装置において、前記データ評価制御手段は、前記ライン生成手段で得られたデータを用いて色成分のレベルを検出する色成分検出手段と、
該色成分検出手段の検出出力を色成分の評価基準とする色成分閾値と比較し、判定する色成分比較判定手段と、
前記ライン生成手段で得られたデータを用いて生成した画像のエッジ成分を検出するエッジ成分検出手段と、
該エッジ成分検出手段の検出出力をエッジ成分の評価基準とするエッジ成分閾値と比較し、判定するエッジ成分比較判定手段と、
前記ライン生成手段で得られたデータを用いてデータに含まれる周波数成分のレベルを検出する周波数成分検出手段と、
該周波数成分検出手段の検出出力を周波数成分の評価基準とするレベル閾値と比較し、判定する周波数成分比較判定手段と、
前記色成分比較判定手段、前記エッジ成分比較判定手段および前記周波数成分比較判定手段の判定結果を基に総合的に判断して前記タイミング信号生成手段の信号生成および得られたデータに対する前記信号処理手段の信号処理を制御する信号制御手段とを含むことを特徴とする信号処理装置。
【請求項６】
請求項２に記載の装置において、前記タイミング信号生成手段は、前記ムービーモードにて前記ライン隣接間引き信号生成手段と前記ライン分離間引き信号生成手段とを少なくとも、一つおきに供給される垂直ブランキング信号を切換制御信号として用いて切り換える動作切換手段を含み、
該動作切換手段は、前記データ評価制御手段の評価結果により選ばれた前記ライン隣接間引き信号生成手段と前記ライン分離間引き信号生成手段のいずれか一方のタイミング信号を所定の期間中、固定的に出力させ、
前記所定の期間後に前記データ評価制御手段の評価を繰り返すことを特徴とする信号処理装置。
【請求項７】
分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から供給される信号に対するデータを用いて静止画モードとムービーモードに応じた信号処理を行って表示データを生成する信号処理方法であって、該方法は、
前記静止画モードと前記ムービーモードに応じた制御を選択するモード対応選択工程と、
前記データが水平方向に並ぶラインのサンプリングにおける偶数ラインと奇数ラインを一組とし、前記データが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行うタイミング信号を生成するタイミング信号生成工程と、
該タイミング信号生成工程で得られたタイミング信号に応じて前記データが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行う第１の工程と、
該第１の工程で得られたラインを用いてラインを合成するとともに、前記タイミング信号生成工程によって間引いたライン間の一ラインを生成するライン生成工程と、
該ライン生成手段から出力されたこれらのデータに基づいて得られた輝度信号および色信号に対して画質の補正を施す信号処理工程と、
前記ライン生成工程で得られたデータに基づいて該データを評価するとともに、評価結果に応じて前記タイミング信号生成工程で用いるタイミング信号の選択および前記信号処理工程における信号処理を制御するデータ評価制御工程とを含むことを特徴とする信号処理方法。
【請求項８】
請求項７に記載の方法において、前記タイミング信号生成工程は、前記偶数ラインと前記奇数ラインの一組として隣接したラインのサンプリング、かつ該一組のラインを単位に複数の水平ライン毎に隔てた二組のラインの中で対向する前記偶数ラインと前記奇数ラインのサンプリングを行うタイミング信号を生成するライン隣接間引き信号生成工程と、
前記偶数ラインと前記奇数ラインのサンプリング関係を保つとともに、前記偶数ラインと前記奇数ラインが複数の水平ラインで隔てたサンプリングを異なるタイミングで２回行うタイミング信号の生成を行うライン分離間引き信号生成工程のいずれか一方の工程を動作させることを含むことを特徴とする信号処理方法。
【請求項９】
請求項７に記載の方法において、前記ライン生成工程は、前記タイミング信号生成工程で得られたタイミング信号に応じて前記データが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行う第１の工程で得られた隣接した２ラインから１ラインを合成生成するライン隣接合成工程と、
前記第１の工程で得られた隣接した２ラインを二組用いて、これらのラインの偶数ラインと奇数ラインを一組とするサンプリングを行う第２の工程と、
該第２の工程から得られたラインのデータを用いて前記間引いたライン間の一ラインを補間生成するライン補間生成工程とを含むことを特徴とする信号処理方法。
【請求項１０】
請求項７に記載の方法において、前記ライン生成工程は、前記タイミング信号生成工程で得られたタイミング信号に応じて前記データが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行う第１の工程で得られた偶数ラインと奇数ラインの位置が分離した位置関係にあるラインで一組のラインを構成し、かつ該一組のラインのいずれか一方のラインを該一組のラインから合成生成するライン分離合成工程を含むことを特徴とする信号処理方法。
【請求項１１】
請求項７に記載の方法において、前記データ評価制御工程は、前記静止画モードにて前記ライン生成手段で得られたデータを用いて色成分のレベルを検出する色成分検出工程と、
該色成分検出工程の検出出力を色成分の評価基準とする色成分閾値と比較し、判定する色成分比較判定工程と、
前記ライン生成工程で得られたデータを用いて生成した画像のエッジ成分を検出するエッジ成分検出工程と、
該エッジ成分検出工程の検出出力をエッジ成分の評価基準とするエッジ成分閾値と比較し、判定するエッジ成分比較判定工程と、
前記ライン生成工程で得られたデータを用いてデータに含まれる周波数成分のレベルを検出する周波数成分検出工程と、
該周波数成分検出工程の検出出力を周波数成分の評価基準とするレベル閾値と比較し、判定する周波数成分比較判定工程と、
前記色成分比較判定工程、前記エッジ成分比較判定工程および前記周波数成分比較判定工程の判定結果を基に総合的に判断して前記タイミング信号生成工程の信号生成および得られたデータに対する信号処理を制御する信号制御工程とを含むことを特徴とする信号処理方法。
【請求項１２】
請求項８に記載の方法において、前記タイミング信号生成工程は、前記ムービーモードにて前記ライン隣接間引き信号生成工程または前記ライン分離間引き信号生成工程を行う前に、前記ライン隣接間引き信号生成工程または前記ライン分離間引き信号生成工程を少なくとも、一つおきに供給される垂直ブランキング信号を切換制御信号としても用いて切り換える動作切換工程を含み、
前記データ評価制御工程により得られた間引きに対する評価結果から前記間引きを前記動作切換工程を経て固定的に所定の期間継続させた後に、前記ライン隣接間引き信号生成工程または前記ライン分離間引き信号生成工程を交互に切り換えてデータ評価制御を行う操作を繰り返すことを特徴とする信号処理方法。
【請求項１３】
請求項７に記載の方法において、前記ライン生成工程は、
前記ベイヤパターンに対応する複数のライン分の画素に対して水平方向に複数の画素を一のブロックとして扱うとともに、該ブロックの各画素から供給されるデータを画素位置毎に対応させてサンプリングするブロックサンプリング工程と、
該ブロックサンプリング工程で得られた複数の画素のデータを用いて該各ブロックにおける前記第１、前記第２および前記第３の色の画素値を算出する画素値算出工程と、
該画素値算出工程での算出された画素値で輝度信号および色差信号または三原色信号を前記表示データとして生成する表示データ生成工程とを含み、
前記ブロックサンプリング工程は、前記データの水平方向におけるサンプリングタイミングのタイミング信号を生成する水平タイミング制御工程からのタイミング信号に基づいて前記データの水平サンプリングを行うとともに、前記第１、前記第２および前記第３の色を少なくとも１つずつ前記ブロックに含む条件を満たす分割を水平方向に行うブロック分割工程と、
該ブロック分割工程で分割されたブロックを１つおきに水平方向に間引くブロック間引き工程と、
該ブロック間引き工程で間引いたブロック中で左右両端に位置する列方向に並ぶ画素とそれぞれ側方に隣接するブロックの画素が前記条件を満たして新たなブロックを形成する再ブロック化工程と、
該再ブロック化工程のブロックを間引き位置のブロックに対応させて各ブロックから順にデータを取り出すブロックデータ抽出工程とを含むことを特徴とする信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写界の撮像を色フィルタを介して行った際に画素から供給される信号に対するデータを用いて表示データを生成する信号処理装置および信号処理方法に関し、特に色フィルタアレイにベイヤパターンが用いられ、たとえば、電子スチルカメラやムービーカメラ等において数十万から数百万の画素で撮像したスチル画像とムービー画像を切り換えてそれぞれ表示するような場合に用いて好適なものである。
【０００２】
【従来の技術】
たとえば電子スチルカメラやビデオカメラ等（以下、代表して電子スチルカメラという）は、被写界からの入射光を撮像部に用いている、たとえば固体撮像デバイスを含む画素セルで光電変換している。特に、この撮像部の直前に単板式の色フィルタが用いられている場合、撮像部は各画素から色フィルタの色に対応して三原色R,G,B のいずれか一つの色の信号しか得られない。そして、得られた各色の信号を用いて撮像した画像を上述した電子スチルカメラ等に配設された表示部に表示させている。一般的に、表示部は、視認の良さを重視するとき、大型の液晶ディスプレイ等が用いられ、消費電力等を重視するとき、小型の液晶ディスプレイ等がたとえば、インデックス画像やムービー画像等の表示装置として用いられる。
【０００３】
表示部にこの小型の液晶ディスプレイを用いた際に、撮像部の画素に対して表示部の画素が少ないので、電子スチルカメラは、得られた信号を間引いて表示部に供給している。通常、色フィルタアレイにはベイヤパターンが用いられていることが多い。この色フィルタアレイの特徴からRGB を得るには２ライン用いることになるので、ラインメモリが用いられる。
【０００４】
一般に、この信号の間引きによって解像度の劣化等が懸念される。そこで、信号の間引きを行っても、たとえば、特許掲載公報第8-2587225 号の固体撮像装置は、水平ライン信号を撮像素子駆動手段で1/P 水平期間毎に読み出して複数のメモリ部に書込み、メモリ駆動手段で1 水平期間毎にP 水平ラインのデータを同時に読み出して合成手段で合成して信号を生成することによって、擬似的に水平解像度を向上させている。
【０００５】
また、色フィルタアレイにベイヤ配列を用いた際には、信号の間引きに関わらず、信号を取り出すラインによって正しい分光特性の輝度信号が得られないため偽信号が生じる色再現性等が問題になる場合がある。このような偽信号の改善に着目したカラー撮像装置の提案が、たとえば特開平4-329786号公報に記載されている。このカラー撮像装置は、第１の色フィルタだけオフセットサンプリング構造にし、他の第２および第３の色フィルタを矩形格子状サンプリング構造にした色フィルタアレイを用い、信号の同時化を図りながら、第１の色フィルタの画素からの信号とこの色フィルタの画素と同一行あるいは同一列の第２の色フィルタからの信号との色差差分をとり、同様に第１の色フィルタの画素からの信号とこの色フィルタの画素と同一行あるいは同一列の第３の色フィルタからの信号との色差差分をとり、これらの色差信号をたとえば、マトリクス合成および演算を行って輝度信号を生成して、分光特性の補正を行っている。ベイヤ配列の色フィルタアレイを用いた固体撮像装置では、上述した信号処理だけでなく、様々な方法を駆使して色再現性を確保する試みがなされている。
【０００６】
【発明が解決しようとする課題】
ところで、前述したようにベイヤ配列が用いられた固体撮像素子からの信号は、RGを含むラインと、BGを含むラインがある。垂直（V)方向に間引いて画像を生成する場合、同色の組からなるラインだけを用いると、RGB の色がすべて揃わないので正しい色の再現ができません。また、連続するRGのラインとBGのラインを間引くと偽信号は改善されるが解像度は低下してしまいます。このように、ラインを間引いて使用するラインの取り方と供給される画像が偽色を発生させる傾向の強い画像かどうかに応じて偽色が増えたり、解像度が得難くなってしまう場合がある。また、偽色の改善および画質の改善のために行う信号処理には、取り出す信号の読出しによって読出し画素がトータル的に増加してしまう。これにより、この信号処理には回路構成の増大および消費電力の増加がもたらされる。
【０００７】
さらに、たとえば数百万画素を要する固体撮像装置から読み出した信号を用いてムービー画像表示を行う場合、間引き処理が重要になる。この場合、全画素の情報から輝度信号の高域成分YHを画素に対応して生成した後に間引き処理が行われると、多大な時間を要してしまう。
【０００８】
本発明はこのような従来技術の欠点を解消し、簡単な構成でラインの間引き処理を行っても偽色の発生を抑え、かつ動画再生にも対応した信号処理を行うことのできる信号処理装置および信号処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は上述の課題を解決するために、分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から供給される信号に対するデータを用いて静止画モードとムービーモードに応じた信号処理を行って表示データを生成する信号処理装置であって、データが水平方向に並ぶラインのサンプリングにおける偶数ラインと奇数ラインを一組とし、複数の水平ライン毎にサンプリングを行うタイミング信号を生成し、出力するタイミング信号生成手段と、このタイミング信号に応じてデータが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行う第１のサンプリング手段と、この第１のサンプリング手段で得られたラインを用いてラインを合成するとともに、この第１のサンプリング手段によって間引いたライン間の一ラインを生成するライン生成手段と、このライン生成手段から出力されたこれらのデータに基づいて得られた輝度信号および色信号に対して画質の補正を施す信号処理手段と、ライン生成手段で得られたデータに基づいてこのデータを評価するとともに、評価結果に応じてタイミング信号生成手段および信号処理手段を制御するデータ評価制御手段と、静止画モードとムービーモードに応じてデータ評価制御手段を介してタイミング生成手段を制御するモード対応制御手段とを含むことを特徴とする。
【００１０】
ここで、タイミング信号生成手段は、偶数ラインと奇数ラインの一組として隣接したラインのサンプリング、かつこの一組のラインを単位に複数の水平ライン毎に隔てた二組のラインの中で対向する偶数ラインと奇数ラインのサンプリングを行う第１のタイミング信号を生成するライン隣接間引き信号生成手段と、偶数ラインと奇数ラインのサンプリング関係を保つとともに、偶数ラインと奇数ラインが複数の水平ラインで隔てたサンプリングを異なるタイミングで２回行う第２のタイミング信号を生成するライン分離間引き信号生成手段とを含むことが好ましい。これにより、ライン隣接間引き信号生成手段で２ラインずつ所定の間隔毎にサンプリングするタイミング信号と所定の間隔を隔てた対向するラインのサンプリングのタイミング信号の２種類のタイミング信号が生成される。また、ライン分離間引き信号生成手段では、垂直方向に水平ラインが所定の間隔に隔てられた１ラインずつ２回異なるタイミングでサンプリングするタイミング信号が生成される。
【００１１】
ライン生成手段は、ライン隣接間引き信号生成手段の出力を用いて第１のサンプリング手段で得られた隣接した２ラインから１ラインを合成生成するライン隣接合成手段と、第１のサンプリング手段で得られた隣接した２ラインを二組用いて、これらのラインの偶数ラインと奇数ラインを一組とするサンプリングを行う第２のサンプリング手段からそれぞれ得られたラインのデータを用いて間引いたライン間の一ラインを補間生成するライン補間生成手段とを含むことが望ましい。これにより、生成されたラインにおける偽色の発生を抑制された画像が生成される。
【００１２】
また、ライン生成手段は、第１のタイミング信号に応動して第１のサンプリング手段で得られた偶数ラインと奇数ラインの位置が分離した位置関係にあるラインで一組のラインを構成し、かつこの一組のラインのいずれか一方のラインをこの一組のラインから合成生成するライン分離合成手段を含むことが好ましい。これにより、生成されたラインにおける垂直解像度の低下を抑制された画像が生成される。
【００１３】
データ評価制御手段は、ライン生成手段で得られたデータを用いて色成分のレベルを検出する色成分検出手段と、この色成分検出手段の検出出力を色成分の評価基準とする色成分閾値と比較し、判定する色成分比較判定手段と、ライン生成手段で得られたデータを用いて生成した画像のエッジ成分を検出するエッジ成分検出手段と、このエッジ成分検出手段の検出出力をエッジ成分の評価基準とするエッジ成分閾値と比較し、判定するエッジ成分比較判定手段と、ライン生成手段で得られたデータを用いてデータに含まれる周波数成分のレベルを検出する周波数成分検出手段と、この周波数成分検出手段の検出出力を周波数成分の評価基準とするレベル閾値と比較し、判定する周波数成分比較判定手段と、色成分比較判定手段、エッジ成分比較判定手段および周波数成分比較判定手段の判定結果を基に総合的に判断してタイミング信号生成手段の信号生成および得られたデータに対する信号処理手段の信号処理を制御する信号制御手段とを含むと有利である。これにより、間引きを受けた画像がどのような特徴を含んでいるか判るので、この特徴を考慮した対応を施すことができる。
【００１４】
タイミング信号生成手段は、ムービーモードにてライン隣接間引き信号生成手段とライン分離間引き信号生成手段とを少なくとも、一つおきに供給される垂直ブランキング信号を切換制御信号として用いて切り換える動作切換手段を含み、この動作切換手段は、データ評価制御手段の評価結果により選ばれたライン隣接間引き信号生成手段とライン分離間引き信号生成手段のいずれか一方のタイミング信号を所定の期間中、固定的に出力させ、所定の期間後にデータ評価制御手段の評価を繰り返すことが好ましい。これにより、被写界に適したタイミング信号で信号処理が行われることになる。
【００１５】
本発明の信号処理装置は、第１のサンプリング手段がタイミング信号生成手段からの出力に応じてサンプリングを行って、この際に得られたラインを用いてライン生成手段でライン合成を行うとともに、間引いたライン間の一ラインを生成して垂直方向にライン間引きされた画像を生成する。この画像は、静止画モードの際にデータ評価制御手段でこの画像のデータの評価およびその評価結果に応じてタイミング信号生成手段および信号処理を施す信号処理手段を制御することにより、画像に発生する偽色の抑制や垂直解像度を低下させない信号処理が行われる。
【００１６】
また、本発明は分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から供給される信号に対するデータを用いて静止画モードとムービーモードに応じた信号処理を行って表示データを生成する信号処理方法であって、静止画モードとムービーモードに応じた制御を選択するモード対応選択工程と、データが水平方向に並ぶラインのサンプリングにおける偶数ラインと奇数ラインを一組とし、データが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行うタイミング信号を生成するタイミング信号生成工程と、このタイミング信号生成工程で得られたタイミング信号に応じてデータが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行う第１の工程と、この第１の工程で得られたラインを用いてラインを合成するとともに、タイミング信号生成工程によって間引いたライン間の一ラインを生成するライン生成工程と、このライン生成手段から出力されたこれらのデータに基づいて得られた輝度信号および色信号に対して画質の補正を施す信号処理工程と、ライン生成工程で得られたデータに基づいてこのデータを評価するとともに、評価結果に応じてタイミング信号生成工程で用いるタイミング信号の選択および信号処理工程における信号処理を制御するデータ評価制御工程とを含むことを特徴とする。
【００１７】
ここで、タイミング信号生成工程は、偶数ラインと奇数ラインの一組として隣接したラインのサンプリング、かつこの一組のラインを単位に複数の水平ライン毎に隔てた二組のラインの中で対向する偶数ラインと奇数ラインのサンプリングを行うタイミング信号を生成するライン隣接間引き信号生成工程と、偶数ラインと奇数ラインのサンプリング関係を保つとともに、偶数ラインと奇数ラインが複数の水平ラインで隔てたサンプリングを異なるタイミングで２回行うタイミング信号の生成を行うライン分離間引き信号生成工程のいずれか一方の工程を動作させることが好ましい。
【００１８】
ライン生成工程は、タイミング信号生成工程で得られたタイミング信号に応じて前記データが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行う第１の工程で得られた隣接した２ラインから１ラインを合成生成するライン隣接合成工程と、第１の工程で得られた隣接した２ラインを二組用いて、これらのラインの偶数ラインと奇数ラインを一組とするサンプリングを行う第２の工程と、この第２の工程から得られたラインのデータを用いて間引いたライン間の一ラインを補間生成するライン補間生成工程とを含むことが望ましい。
【００１９】
また、ライン生成工程は、タイミング信号生成工程で得られたタイミング信号に応じて前記データが水平方向に並ぶ複数のラインを間引きながら、複数の水平ライン毎にサンプリングを行う第１の工程で得られた偶数ラインと奇数ラインの位置が分離した位置関係にあるラインで一組のラインを構成し、かつこの一組のラインのいずれか一方のラインをこの一組のラインから合成生成するライン分離合成工程を含むことが望ましい。
【００２０】
データ評価制御工程は、静止画モードにてライン生成手段で得られたデータを用いて色成分のレベルを検出する色成分検出工程と、この色成分検出工程の検出出力を色成分の評価基準とする色成分閾値と比較し、判定する色成分比較判定工程と、ライン生成工程で得られたデータを用いて生成した画像のエッジ成分を検出するエッジ成分検出工程と、このエッジ成分検出工程の検出出力をエッジ成分の評価基準とするエッジ成分閾値と比較し、判定するエッジ成分比較判定工程と、ライン生成工程で得られたデータを用いてデータに含まれる周波数成分のレベルを検出する周波数成分検出工程と、この周波数成分検出工程の検出出力を周波数成分の評価基準とするレベル閾値と比較し、判定する周波数成分比較判定工程と、色成分比較判定工程、エッジ成分比較判定工程および周波数成分比較判定工程の判定結果を基に総合的に判断してタイミング信号生成工程の信号生成および得られたデータに対する信号処理を制御する信号生成制御工程とを含むことが有利である。
【００２１】
タイミング信号生成工程は、ムービーモードにて所定の期間毎にライン隣接間引き信号生成工程またはライン分離間引き信号生成工程を行う前に、ライン隣接間引き信号生成工程またはライン分離間引き信号生成工程を少なくとも、一つおきに供給される垂直ブランキング信号を切換制御信号としても用いて切り換える動作切換工程を含み、データ評価制御工程により得られた間引きに対する評価結果から間引きを動作切換工程を経て固定的に所定の期間継続させた後に、ライン隣接間引き信号生成工程またはライン分離間引き信号生成工程を交互に切り換えてデータ評価制御を行う操作を繰り返すことが好ましい。これにより、ムービーモードでも画像の特性を考慮に入れたタイミング信号でラインを間引いた画像を表示させることができる。
【００２２】
ライン生成工程は、ベイヤパターンに対応する複数のライン分の画素に対して水平方向に複数の画素を一のブロックとして扱うとともに、このブロックの各画素から供給されるデータを画素位置毎に対応させてサンプリングするブロックサンプリング工程と、このブロックサンプリング工程で得られた複数の画素のデータを用いてこの各ブロックにおける第１、第２および第３の色の画素値を算出する画素値算出工程と、この画素値算出工程での算出された画素値で輝度信号および色差信号または三原色信号を表示データとして生成する表示データ生成工程とを含み、ブロックサンプリング工程は、データの水平方向におけるサンプリングタイミングのタイミング信号を生成する水平タイミング制御工程からのタイミング信号に基づいてデータの水平サンプリングを行うとともに、第１、第２および第３の色を少なくとも１つずつブロックに含む条件を満たす分割を水平方向に行うブロック分割工程と、このブロック分割工程で分割されたブロックを１つおきに水平方向に間引くブロック間引き工程と、このブロック間引き工程で間引いたブロック中で左右両端に位置する列方向に並ぶ画素とそれぞれ側方に隣接するブロックの画素が条件を満たして新たなブロックを形成する再ブロック化工程と、この再ブロック化工程のブロックを間引き位置のブロックに対応させて各ブロックから順にデータを取り出すブロックデータ抽出工程とを含むことが好ましい。この処理により、画素を間引いても偽色の発生を抑えて水平ラインを生成することができる。
【００２３】
本発明の信号処理方法は、静止画モードとムービーモードの選択による制御が選択された後、偶数ラインと奇数ラインを一組とし、このライン関係を保ちながら、複数の水平ライン毎にサンプリングを行うこと、すなわちライン間引きを行うタイミング信号を生成する。タイミング信号によってサンプリングして得られたラインは、当然、偶数ラインと奇数ラインの関係にあってこれらのラインから一つのラインを合成するとともに、間引いたライン間の一ラインをこれらのラインから生成する。このようにして得られたデータに基づいてデータの評価および評価結果に応じてタイミング信号の選択および施す信号処理を制御することにより、画像に発生する偽色の抑制や垂直解像度を低下させない信号処理が行われる。
【００２４】
【発明の実施の形態】
次に添付図面を参照して本発明による信号処理装置およびその信号処理方法の一実施例を詳細に説明する。
【００２５】
本発明は、垂直方向に複数のライン間引きを行いながら、残るラインとこの残るラインを用いて最適な補間処理により得られたラインで画像を生成する信号処理を行って偽色の発生抑制や垂直解像度の低下防止を行うことに特徴がある。本実施例は、本発明を電子スチルカメラに適用した場合について図１〜図14を参照しながら説明する。
【００２６】
電子スチルカメラ10は、図１に示すようにカメラ本体部11と、メモリカード部20とを備え、両者はコネクタ30を介して一体的に接続されている。カメラ本体部11は光学系11a 、色フィルタアレイ11b 、CCD イメ−ジセンサ11c 、前処理部11d 、A/D 変換部11e 、信号処理部12、データ圧縮部11f 、入出力インターフェース部11g 、データ入力部11h 、表示部11i およびシステム制御部13を含み、メモリカード部20は入出力インターフェース部21およびメモリカード22を含んでいる。
【００２７】
光学系11a は、撮影レンズ110a、絞り（図示せず）等を含んでいる。色フィルタアレイ11b は、前述したように単板式である。この単板式の色フィルタアレイの配置は、三原色をR,G,B で説明する。本実施例において電子スチルカメラ10は、色フィルタアレイの配置に基本的なベイヤパターンを用いている。
【００２８】
このパターンを適用した場合を説明する。この色フィルタアレイ11b がCCD イメ−ジセンサ11c の撮像面の直前に配設されている。
【００２９】
CCD イメージセンサ11c は、色フィルタアレイ11b の要素に対応したCCD イメージセンサ11c のセルが画素としてアレイ状に配置されている。このセルに被写界からの入射光が結像した際にこのセルでは入射光を光電変換している。信号読出しは、信号処理部12の信号処理が効率よく行えるように２ライン同時読出しあるいはライン間隔を開けながら偶数番目のラインと奇数番目のラインを一ラインずつ読み出す方法で行うことが好ましい。この読出し方法は、システム制御部13の制御に応じて動作するように駆動信号生成部14からCCD イメージセンサ11c に駆動信号が供給され、この駆動信号に応じてCCD イメージセンサ11c が撮像信号を出力させることで行うようにしてもよい。
【００３０】
前処理部11d は、供給される信号を所定のレベルに増幅処理し、A/D 変換部11e に出力する。A/D 変化部11e は、この前処理部11d から出力されるアナログ信号をディジタル信号に変換している。
【００３１】
信号処理部12は、スチル用信号処理（すなわち、スチルモード）とムービー用信号処理（すなわち、ムービーモード）に応じて内蔵する各種の信号処理部で信号処理を行う。スチル用信号処理は、特に解像度重視の静止画を表示させる際に施す信号処理等が行われる。また、ムービー用信号処理は、動的に表示させながら、見やすい画像が得られるように信号処理等を行っている。これらのモードは、システム制御部13からの制御によってそれぞれに対応した動作が行われる。
【００３２】
信号処理部12には、図２に示すように、タイミング信号生成部12a 、ラインデータサンプリング部12b 、ライン生成部12c 、データ評価制御部12d 、画像処理部12e および切換スイッチSW1 が備えられている。さらに図２の信号処理部12の構成について図３〜図６を参照しながら順に説明する。
【００３３】
タイミング信号生成部12a には、画像における垂直方向のタイミング信号を生成する垂直選択信号部12V と画像における水平方向のタイミング信号を生成する水平選択信号生成部12H が含まれている。垂直選択信号部12V は、ライン隣接信号生成部120aおよびライン選択信号生成部122aを含んでいる。ライン隣接信号生成部120aは、データを２ラインずつ同時読出しを行いながら、たとえば、同時ライン読出しを３回停止させるタイミング信号を生成する。また、ライン隣接信号生成部120aは、このタイミング信号で読み出した同時ラインの垂直方向に対向する１ラインずつを読み出し、読み出したラインを合成して新たな同時ラインを形成するタイミング信号を生成する。
【００３４】
また、ライン選択信号生成部122aは、データを１ライン読出しを行い、偶数個のラインが隔てた１ラインを次のラインとして読み出すタイミング信号を生成する。読出しに伴って開けられるライン数の関係、すなわち偶数個という関係が保たれるならば、この開けられるライン数（すなわち、間引きライン）は任意で構わない。この１ラインずつ２ライン読み出して、三原色RGB がすべて含まれる２ラインが生成される。効率的なライン読出しを行うという観点から、上述した次のラインは、さらに次のラインと対をなす一方のラインとして用いる。
【００３５】
タイミング信号生成部12a では、一旦読み出したラインを再び読み出す処理が行われることから、供給されるデータは、非破壊型のメモリに格納されることが好ましい。間引きライン数は、図示しないが、システム制御部13を介して各部に予め設定できるようにしておいてもよい。図４のタイミング信号生成部12a からラインデータサンプリング部12b に供給される２種類の信号が垂直タイミング信号Tvである。
【００３６】
そして、タイミング信号生成部12a は、これら垂直タイミング信号Tvだけでなく、水平選択信号生成部12H で水平タイミング信号Thも生成している。水平選択信号生成部12H は、２ラインを２画素ずつ、計４画素を一単位にブロックに分割するタイミング信号と、１ブロックおきにブロックを間引くタイミング信号と、間引いたブロックに隣接する２行一列のデータを用いて新たなブロックを生成するタイミング信号と、各ブロック内の画素に対応するデータを抽出するタイミング信号とを生成する。図４や図５では、これらのタイミング信号をまとめて水平タイミング信号Thで表す。このようにタイミング信号生成部12a は、複数種類のタイミングの信号を生成している。
【００３７】
また、ライン隣接信号生成部120aとライン選択信号生成部122aは、供給されるデータ評価制御信号のレベルによりいずれかが選択される機能も有している。ライン隣接信号生成部120aとライン選択信号生成部122aは、システム制御部13からの垂直選択信号Vsで動作が制御され、水平選択信号生成部12H は、システム制御部13からの水平選択信号Hsで動作が制御される。
【００３８】
ラインデータサンプリング部12b には、図４に示すように、ラインサンプリング部120bおよび合成ラインサンプリング部122bが備えられている。ラインサンプリング部120bは、２ライン同時読出しに対応できるように各ライン毎にサンプルホールド回路あるいはラインメモリが２個設けられている。ライン選択信号生成部122aから１ラインだけサンプリングするタイミング信号が供給される場合、一方のサンプルホールド回路あるいはラインメモリを動作させればよい。この２ライン同時読出しにより得られたデータは、そのままライン生成部12c の水平画素処理部120cに供給される。
【００３９】
合成ラインサンプリング部122bも２ライン形成を行うため、各ライン毎にサンプルホールド回路あるいはラインメモリが２個設けられている。合成ラインサンプリング部122bは、２ライン同時読出しの２組が形成する４ラインの内の内側２ラインを新たな合成ラインとしてライン隣接信号生成部120aからのタイミング信号で読み出す。また、ラインサンプリング部120bおよび合成ラインサンプリング部122bにライン選択信号生成部122aからのタイミング信号が供給される場合、たとえばラインサンプリング部120bには、供給される最初の一方の一ライン分のデータを垂直タイミング信号により格納する。次の垂直タイミング信号が供給されたとき、ラインサンプリング部120bは合成ラインサンプリング部122bに出力する。このとき、合成ラインサンプリング部122bには他方の一ライン分のデータが供給される。この２ライン分のデータを同時に取り込むことによって、ライン間隔が離れた位置のライン同士を２ライン同時読出しの１組と同等の関係にあるデータにすることができる。このようにして合成ラインが形成され、水平画素処理部120cにこの合成ラインが供給される。
【００４０】
ライン生成部12c には、図４に示すように、水平画素処理部120c、YC変換部122cおよび出力形式選択部124cが備えられている。水平画素処理部120cは、図５に示すように、ブロック分割部12A 、ブロック間引き部12B 、データ抽出部12C 、ブロック生成部12D 、ブロック対応抽出部12E および代表値算出部12F が備えられている。これらの各部はシステム制御部13から供給される制御信号13A により動作が制御されている。
【００４１】
本実施例における基本的なベイヤパターンに対する信号処理の場合、ブロック分割部12A は、たとえば２ライン分の画素を水平方向に２画素単位毎にブロックとみなして扱えるように処理を行う。したがって、本実施例は１ブロックを計４画素で構成する。ブロック分割部12A は、たとえばカウンタで水平方向に区切ってブロック番号を付して２ライン分の画素データをブロック的にメモリ管理する。また、４画素をひとまとめに扱う複数のFIFO(First-In First-Out ）メモリで単に分割処理をして出力するように構成してもよい。この分割により、後段で述べるようにブロック毎の処理が容易化することができる。また、間引き処理は、水平方向の画素に着目して間引きを行うと、２画素を出力し次の２画素は出力しないという処理を繰り返すように、カウンタと各画素に対する選択スイッチで切り換えることによって行ってもよい。
【００４２】
ブロック間引き部12B は、分割されたブロックを水平方向に一つおきにデータ抽出部12C へのブロックデータの供給を停止させてブロック選択を行っている。すなわち、ブロック間引き部12B は、ブロック毎の選択スイッチである。ブロック間引き部12B は、システム制御部13A からの制御信号13A がレベル"L" で動作を可能にし、供給される水平タイミング信号Thのタイミングで動作させている。
【００４３】
データ抽出部12C は、ブロック内の各画素位置に対応して信号を取り出す。各画素位置とは、ブロックの位置P00, P01, P10, P11という４つの位置に対応してサンプリングを行う。添字の数字は、行列の要素と同様にそれぞれの位置を示す。このため、図示しないがデータ抽出部12C は、サンプルホールド回路を４つ有している。画素位置を固定してサンプリングすることにより、隣接するブロックの同じ画素位置のサンプリングには、１つおきにサンプリングすることになるので（たとえば、G00, G02, G04,・・・ ）、従来の各画素を一つひとつサンプリングする場合（たとえば、G00, R01, G02, R03,・・・）に比べてサンプリング周波数を半分の周波数で済ませることができる。サンプリングしたデータは、表示データを生成する代表値算出部12F に供給される。なお、データ抽出部12C の抽出タイミングでブロックの間引き機能と同じ処理ができればブロック間引き部12B を省略してもよい。当然、データ抽出部12C は、このときの出力をブロック生成部12D に供給しなければならない。データ抽出部12C の動作タイミングは、前述したブロック間引き部12B の場合と同じになる。
【００４４】
ブロック生成部12D は、間引き処理によって残ったブロックの画素を用いて間びいたブロックとは異なる新たなブロックを生成する。基本的に生成するブロックの構成要素は、残ったブロックと同じ構成で、計４画素である。この新たに生成されるブロックは、間引いたブロックを挟んで、たとえばブロック（P00, P01, P10, P11）とブロック（P04, P05, P14, P15）の２つ残したブロックから生成する。生成されるブロックは、残したブロックの各画素位置を用いて表すと、要素が（P01, P04, P11, P14）で構成される。すなわち、たとえば間引いて残したブロックBL1, BL3から
【００４５】
【表１】
0003893489.tif 000002
に示すようにこれらのブロック間の位置に対応するブロックBL2 を生成する。
【００４６】
このように構成要素を選択して取り出す必要があることから、ブロック生成部12D には、図示しないが各ブロックを一旦格納するメモリとブロックを水平方向に隣接させて並べて列方向に２画素を一度に間引く選択を行う選択部が備えられる。このメモリには２ブロックの格納によって形式的に２行４列の要素が含まれていることになる。選択部は、これらの要素の内、両端側に位置する２行１列をそれぞれ間引く。換言すると、中央に位置する２行２列分の要素だけを抽出すると言える。ブロック生成部12D は、この生成したブロックのデータをブロック対応抽出部12E に出力する。
【００４７】
ブロック対応抽出部12E は、画素位置を重視しながら画素データを抽出する。このとき、ブロック対応抽出部12E は、この新たに生成されたブロックに対するデータ抽出を行う。この場合、サンプルホールド回路は、たとえば生成した画素数と同じく４つ設けてデータ抽出を行うことになる。データ抽出のタイミングは、図示しないがデータ抽出部12C のブロックにおけるサンプリングタイミングに対して3/4 周期だけブロック対応抽出部12E のブロックにおけるサンプリングタイミングがずれた関係になっている。
【００４８】
代表値算出部12F は、ブロック内の任意に一つの画素をブロックの代表画素として規定し、この規定に基づいてこの画素のRGB の画素値を算出する。この算出を行うため、代表値算出部12F は、少なくとも加算器および1/2 を係数に乗算する乗算器あるいは加算器および除算器からなる演算回路で構成される。代表値算出部12F は、ブロック分割して残ったブロックに対する演算も新たに生成されたブロックに対する演算も同じ代表値を算出する演算方法を用いる。ただし、入力される代表値の位置が異なることになる。この演算回路を用いた演算は後段で詳述する。ここで得られたRGB の値は出力形式選択部124cおよびYC変換部122cに供給される。
【００４９】
図４に示すYC変換部122cは、輝度信号Y と色差信号Cb, Crを算出する。この算出には、図示しないがRGB に対する３つの係数が格納された乗算部とこれら乗算結果を加算する加算器がある。RGB に対する３つの係数が格納された乗算部の結果を加算して輝度信号Y が生成される。また、色差信号Cb, Crは、それぞれ算出用に加算器を一つずつ備える。色差信号Cbの場合、加算器は、一方の側から代表値算出部12F で算出されたB の画素値を加算入力し、他方の側から上述したように算出された輝度信号Y を減算入力し、その出力を求める。同様に色差信号Crも算出する。
【００５０】
このように代表値算出部12F およびYC変換部122cを備えていることによってRGB 出力とYC出力に対応できる。しかしながら、図１の表示部11i には、いずれか一方の出力形式で表示させることになる。したがって、ユーザがデータ入力部11h を介してシステム制御部13にどのような表示をさせるかモード等の設定が行われる。システム制御部13は、このユーザの意向を反映した制御信号を出力選択部124cに供給する。図４の出力選択部124cは、システム制御部13の制御によって所望の出力形式を選択して出力する。出力選択部124cは、代表値算出部12F だけしか配設されていないとき当然不要になる。YC変換の処理には代表値算出部12F およびYC変換部122cが必要だからである。
【００５１】
データ評価制御部12d には、図６に示すように、エッジ検出部120d、帯域指示部122d、輝度信号積算部124d、色信号積算部126dおよび比較制御部128dが備えられている。さらに各部を説明する。
【００５２】
エッジ検出部120dには、フィルタバンク部、ラインメモリ、乗算器および加算器が備えられている。具体的な構成を図７に示し、後段で説明する。帯域指示部122dは、図示しないがたとえば、露出等によって得られたデータから画像の種類がデータとして供給される。画像の種類とは、たとえば順光、過順光等の撮像状況を表すような情報である。この情報が供給されたとき、帯域指示部122dは、情報に応じた帯域指示信号をエッジ検出部120dに出力している。
【００５３】
ここで、エッジ検出部120dの構成について説明する。エッジ検出部120dは、帯域指示部122dからの帯域指示信号に応じた輝度信号データだけを通過させるようにフィルタバンク部1200がある（図７(a), (b)を参照）。フィルタバンク部1200には、信号の通過帯域の異なる複数種類のディジタルフィルタが設けられている。これにより、ある特定の周波数範囲の成分だけについて以後の信号処理が行われることになる。
【００５４】
また、画像の垂直方向に対して行うと効果的であるから、エッジ検出処理にはラインメモリが用いられる。エッジ検出を単に２ラインで行う場合とより広い範囲にわたって行う３ラインで行う場合を例示する。ライン数の違いによってエッジ検出の構成がそれぞれ図７(a), (b)に示すようになる。すなわち、フィルタバンク部1200を経たデータが図７(a),(b) ではラインメモリ1202と加算器1204の一端側に加算供給されている。図７(a) ではラインメモリ1202を介して１ライン分遅延させられたデータyn-1が加算器1204の他端側に減算供給される。これにより、加算器1204の出力、すなわち検出データe(n)は、yn-yn-1 となる。
【００５５】
また、図７(b) では、上述した図７(a) の構成の他に乗算器1208および加算器1210が用いられている。ラインメモリ1202は、１ライン分遅延させられたデータをラインメモリ1206および加算器1204の他端側に供給する。加算器1204の他端側には加算入力する。ここで、ラインメモリ1202の出力をynとすると、ラインメモリ1206の出力とフィルタバンク部1200からの出力は、それぞれ２ライン分遅延させられたyn+1, 全く遅延を受けていないyn-1という関係にある。加算器1204は、それぞれ供給されるデータを加算し、係数1/2 の乗算器1208に出力する。乗算器1208は、乗算結果を加算器1210の一端側に減算入力する。また、加算器1210の他端側には、ラインメモリ1206からの出力が加算入力される。このようにデータが各端部に供給されることにより、加算器1210の出力、すなわち検出データe(n)は、yn-(yn-1+yn+1)/2となる。このようにして得られたエッジ検出のデータが、図６の輝度信号積算部124dに供給される。
【００５６】
輝度信号積算部124dには、絶対値変換部1212および積算部1214が備えられている。絶対値変換部1212は、供給されたエッジ検出のデータに対してこのデータが正の値となるように絶対値をとる変換を行う。絶対値変換されたデータは積算部1214に供給される。積算部1214は、単に供給されるデータを積算して比較制御部128dに出力する。積算部1214の積算は、画像全体のライン検出が終了するまで繰り返される。このような処理は、輝度信号積算部124dだけでなく、色信号積算部126dでも同様に行われる。色信号積算部126dは、色差信号(R-Y), (B-Y)のデータに対してそれぞれ絶対値変換部1216, 1220と積算部1218, 1222を含んでいる。色信号積算部126dも画像全体に対して色差信号(R-Y), (B-Y)のデータを積算して比較制御部128dに出力する。
【００５７】
比較制御部128dには、スレッショルドレベル格納部1224、比較部1226, 1228, 1230、評価制御部1232が備えられている。スレッショルドレベル格納部1224には、輝度信号Y のデータ、および色差信号(R-Y), (B-Y)のデータに対するスレッショルドレベルが記憶されている。比較制御部128dは、図６に図示していないが図４に示すように、システム制御部13により制御されている。この制御によりスレッショルドレベル格納部1224は、比較部1226, 1228, および1230にそれぞれ画像に対する適切なスレッショルドレベルを供給している。比較部1226, 1228, および1230は、スレッショルドレベルと対応する積算されデータとのレベル比較を行う。比較部1226, 1228, および1230は、比較結果を評価制御部1232に供給する。この供給は、評価制御部1232にエッジ検出部120d、輝度信号積算部124dおよび色信号積算部126dで検出された周波数成分、エッジ検出成分および色信号成分の情報が比較部1226, 1228, および1230にそれぞれ供給されていることを意味している。
【００５８】
評価制御部1232は、各比較部1226, 1228, および1230からの比較結果に基づいて間引きして得られた画像の評価を行い、評価結果に応じて各種の制御信号を出力する。評価については動作で詳述する。評価制御部1232は、各種の制御信号としてデータ評価制御信号、およびアパーチャ制御信号等を出力するとともに、評価データをシステム制御部13に出力する。このように評価データを供給することにより、システム制御部13が各部を制御するようにしてもよい。
【００５９】
また、図４の画像処理部12e には、たとえば図８に示すようにアパーチャ調整部120eおよび色ゲイン制御部122eが備えられている。アパーチャ調整部120eは、輝度信号(Y) のデータに対してデータ評価制御部12d からの制御信号に応じて信号調整の一つであるアパーチャー補正により、たとえば、輪郭強調やコアリング等の効果が得られるように補正をかける。また、色ゲイン制御部122eもデータ評価制御部12d からの制御信号に応じて色信号(C) のレベルを調整してたとえば彩度の向上等を図っている。
【００６０】
システム制御部13は、具体的に図示しないが電子スチルタメラ10を制御するシステムコントローラ、タイミング信号発生部およびアドレス制御部等を含んでいる。システム制御部13は、図１に示すように、CCD イメージセンサ部11c 、前置処理部11d 、A/D 変換部11e 、信号処理部12およびデータ圧縮部11f を制御している。特に、信号処理部12では、図２のタイミング信号生成部12a や切換スイッチSW1 を制御している。
【００６１】
駆動信号生成部14は、システム制御部13からの駆動制御信号に応じてCCD イメージ部11c の撮像および信号の読出しといった駆動タイミングを供給している。表示モードおよび記録モードにおけるデータ間引き処理において、この駆動信号生成部14とタイミング信号生成部12a の両方の役割を適切に分けて動作させると、処理の効率を向上させながら、装置の構成を簡素化することができる。
【００６２】
データ入力部11h は、ユーザの操作するモード選択、シャッタ・レリーズボタン（いずれも図示せず）等の設定や押圧指示の情報をモード選択信号11m としてシステム制御部13に送っている。ユーザの操作するモードには、スチル撮影、ムービー撮影、RGB 出力およびYC出力等があって、これらのモードの中から所望のモードを電子スチルカメラ10に対して選択的に行えるようにしている。
【００６３】
また、電子スチルカメラ10は、記録モードで使用する本体部11の構成を簡単に説明する。データ圧縮部11f は、信号処理部12から供給される輝度データY,  色差データ(B-Y), (R-Y)のビット数を低減する圧縮処理を行っている。データ圧縮方法には、たとえばハフマン符号化や差分PCM 等を用いている。これによりデータ圧縮部11f は、データ量を抑える処理を施して入出力インターフェース部11g に出力する。
【００６４】
メモリカード部20には、コネクタ30、入出力インターフェース部21を介してメモリカード22にデータが供給される。逆に、メモリカード22に格納しているデータの読出しは、入出力インターフェース部21、コネクタ30を介してカメラ本体11に供給する順で行われる。
【００６５】
また、前述したデータ評価制御部12d の構成をより簡単なものにする変形例の構成について図９を参照しながら説明する。垂直方向に間引き処理を行う場合、輝度データを垂直方向に見たときに輪郭の境界に偽色が発生しやすい。このことを考慮すると、データ評価制御部12d は、エッジ検出部120d、絶対値変換部1212, 1216、スレッショルドレベル格納部1224、比較部1226、積算制御部1234、積算部1218および評価制御部1232で済ますことができる。この構成は、積算制御部1234以外、前述のデータ評価制御部12d の構成要素を抽出して用いている。積算制御部1234は、エッジ成分がスレッショルド値よりも大きい部分、すなわちその画像領域だけに対して色差信号の積算を行う制御信号を積算部1218に出力する。
【００６６】
この場合、色差信号は、輝度信号Y の半分に間引いて(R-Y)/(B-Y) を点順次で供給される。このため、色差信号に対する処理構成が図６の構成に比べて半分に削減することができる。
【００６７】
次に電子スチルカメラ10の動作について説明する。色フィルタアレイ11b がCCD イメージセンサ11c の各画素であるセルに対応して前面に配されている。色フィルタアレイ11b には、基本的なベイヤパターンが適用されている（図10(a) や図12(a) を参照）。図10の左端に書かれた数字は、色フィルタアレイ11b のライン番号を示している。また、セルに対応した位置は、行列表現を用いて各色R, G, B の添字の数字で表している。
【００６８】
CCD イメージセンサ11c から読み出したデータに対して、信号処理部12は、ラインの間引き処理を行う。すなわち、CCD イメージセンサ11c は、通常の通りラインを間引くことなく撮像信号をすべて出力している。このラインの間引き処理には、隣接した２ラインをライン毎に読み出しながら、垂直方向にラインを間引くライン隣接読出しで得られたデータを用いるライン隣接間引き処理と、所定の関係を保ってサンプリングされたラインを用いて垂直方向にラインを間引くライン選択間引き処理がある。ここで、所定の関係とは、三原色R, G, B の内、一方のサンプリングしたラインが含む色と異なる色を含むラインを次のラインとして選択する関係である。この２ラインによって三原色R, G, B が揃うことになる。
【００６９】
まず、ライン隣接間引き処理について説明する。システム制御部13の制御によって信号処理部12内のタイミング信号生成部12a が動作する。また、タイミング信号生成部12a は、データ評価制御部12d からのデータ評価制御信号によっても制御されている。タイミング信号生成部12a は、図２に示すように、システム制御部13からの垂直選択信号Vsと水平選択信号Hsによって出力するタイミング信号を選択される。垂直選択信号生成部12V は、ライン隣接間引き処理とライン選択間引き処理に対応した垂直タイミング信号がライン隣接信号生成部120aとライン選択信号生成部122aがそれぞれ出力される。ライン隣接信号生成部120aとライン選択信号生成部122aは、データ評価制御信号のレベルでいずれか一方が選択される。たとえば、データ評価制御信号は、レベル"H" でライン隣接信号生成部120a、レベル"L" でライン選択信号生成部122aをイネーブルにする。タイミング信号生成部12a は、垂直タイミング信号Tvと水平タイミング信号Thをそれぞれ図４のラインデータサンプリング部12b とライン生成部12c に出力する。
【００７０】
ラインデータサンプリング部12b は、入力データをシステム制御部13の制御に応じてラインサンプリング部120bに供給される垂直タイミング信号V1でラインをサンプリングする。このとき、ラインサンプリング部120bには、２ラインを同時読出し的にサンプリングするように垂直タイミング信号V1が供給されている。この垂直タイミング信号V1に応じてサンプリングすると、図10(a) の場合、一点鎖線40で囲まれた領域、すなわちライン0, 1, 8, 9がサンプリングされる。これらのラインは、ライン0, 1, 8, 9が示すように、隣接した２ラインずつサンプリングされている。
【００７１】
このサンプリングしたデータは、合成ラインサンプリング部122bおよび水平画素処理部120cに供給される。合成ラインサンプリング部122bは、供給される垂直タイミング信号V2により、２ライン同時的なサンプリングをして得られたデータの内、一方のラインを選択する。この選択により、次に得られる２ラインの内、選択される、もう一方のラインが前述した所定の関係によって決まる。合成ラインサンプリング部122bは、垂直タイミング信号V2によりこのように読み出したラインから新たな２ラインを合成する。図10(a) の一点鎖線42で囲まれたラインが合成ラインのライン要素である。ラインサンプリング部120bでは、このようなラインのサンプリングにより隣接ラインの組を得て、さらに隣接ラインの組からラインを組み合わせて新たな隣接ラインの組を合成ラインとして求めて水平画素処理部120cに出力する。これにより、破線44で示すライン2 〜7 は間引かれる。この場合、入力データを合成ラインサンプリング部122bに直接的に入力する必要がないので、合成ラインサンプリング部122bは、ラインサンプリング部120bからだけのデータを入力し、直接A/D 変換部11e からのデータ入力を禁止してもよい。
【００７２】
水平画素処理部120cには、図10(b) に示すように、２ライン同時読出し的に３組のラインが供給される。一点鎖線で区切られた第１および第３のラインの組は、単に同時読出し的にラインサンプリング部120bで得られたラインを表し、真ん中の第２のラインの組は合成ラインサンプリング部122bで得られたラインを表している。第２のラインの組は間引かれたライン4, 5に相当するデータとして用いる。水平画素処理部120cでは、図10(b) に示すラインからライン0, 4, 8 あるいはライン1, 5, 9 を生成する。ライン0, 4, 8 を生成するとき、代表値の位置を記号P と行列表現を用いて添字の数字で表して、図10(c) に示す位置でのデータ算出が行われる。
【００７３】
このデータ算出において最初に、図５のブロック分割部12A でシステム制御部13からの制御信号に応じて供給される２ラインを２画素ずつに分ける。すなわち、ブロックは、計４画素単位で扱われる。この処理を行った後、ブロック単位での間引きがシステム制御部13からの制御信号に応じてブロック間引き部12B で行われる。１ブロック毎に間引きされずに残ったブロックがデータ抽出部12C およびブロック生成部12D に供給される。データ抽出部12C は、供給されるブロック内の画素として得られたデータをシステム制御部13の制御信号に応じて水平タイミングで読み出す。読み出したデータは、代表値算出部12F に供給される。
【００７４】
また、ブロック生成部12D では、間引きされずに残ったブロックの画素を用いて間びいたブロックと異なる新たなブロックを生成する。基本的に生成するブロックの構成要素は、残ったブロックと同じ構成で、計４画素である。この新たに生成されるブロックは、間引いたブロックを挟んで、たとえばブロック（P00, P01, P10, P11）とブロック（P04, P05, P14, P15）の２つ残したブロックから生成する。生成されるブロックは、残したブロックの各画素位置を用いて表すと、要素が（P01, P04, P11, P14）で構成される。同様に、要素は（P05, P08, P15, P18）となる。第２および第３の組においても前述した一連の処理を施す。このようにして再ブロック化されたブロック内の要素は、ブロック対応抽出部12E でシステム制御部13の制御信号に応じて水平タイミング信号のタイミングで要素となるデータがサンプリングされる。このようにして得られたデータが、図11(a) に示すように代表値算出部12F に供給される。
【００７５】
ここで、図５に示すデータに対する通常の間引き抽出を行うブロック間引き部12B およびデータ抽出部12C の構成と残したデータによる補間抽出を行うブロック生成部12D およびブロック対応抽出部12E の構成とを区別して動作させることができるようにシステム制御部13から供給される制御信号13A をイネーブル信号としてその信号レベルをたとえば、レベル"L" とレベル"H" により動作選択できるようにしている。
【００７６】
代表値算出部12F は、演算処理を供給されたブロックに対して行って代表位置における三原色RGB それぞれの値を算出する。たとえば、画素位置P00 の三原色RGB を代表値PR00, PG00, PB00を算出する。この算出は、代表値PR00, PG00, PB00に対する各画素位置での色の画素値の代入および画素値を用いた演算を次に示すように式(1)
【００７７】
【数１】
PR00=P01
PG00=(P00+P11)/2                                             ・・・(1)
PB00=P10
で行う。具体的に式(1) に画素値を入れて演算すると、
【００７８】
【数２】
PR00=R01
PG00=(G00+G11)/2                                             ・・・(2)
PB00=B10
が得られる。PR00, PG00, PB00は、図11(b) のR00, G00, B00 にそれぞれ対応している。このようにして、代表位置P00 だけでなく、間引いて残ったブロックに対する代表値の算出を式(1) と同様の関係から行って、同一ライン上の代表位置P04 での代表値が算出される。
【００７９】
また、補間されるブロックにおける代表位置は、P02 とする。代表値PR02, PG02, PB02に対する各画素位置での色の画素値の代入および画素値を用いた演算を式(3)
【００８０】
【数３】
PR02=P02
PG02=(P03+P12)/2                                             ・・・(3)
PB02=P13
で行う。具体的に式(3) に画素値を入れて演算すると、
【００８１】
【数４】
PR02=R01
PG02=(G04+G11)/2                                             ・・・(4)
PB02=B14
が得られる。PR02, PG02, PB02は、図11(b) のR02, G02, B02 にそれぞれ対応している。この場合も代表位置P02 だけでなく、代表位置P06 に対しても同様に演算を施して求める。これらの算出により、ライン0 における画素が、図11(b) に示すように水平方向に色フィルタアレイの画素を見ると、一つおきに三原色RGB の値が得られる。この算出は、ライン8 に対しても同様に行われる。
【００８２】
これに対して、新たに生成されたラインをライン4 算出のデータとして用いる場合の算出を簡単に説明する。残したブロックに対する処理は、前述した式(3) の関係を用いて代表位置P40, P44の三原色RGB を求める。すなわち、
【００８３】
【数５】
PR40=P51
PG40=(P41+P50)/2                                             ・・・(5)
PB40=P40
で行う。この位置にある画素データをそのまま式(5) に代入すると、
【００８４】
【数６】
PR40=R81
PG40=(G11+G80)/2                                             ・・・(6)
PB40=B10
が算出される。代表位置P44 も同様の関係により算出される。この補間されたラインにおける水平方向の補間処理は、前述した式(1) の関係を用いて代表位置P42, P46の三原色RGB を算出する。すなわち、
【００８５】
【数７】
PR42=P52
PG42=(P42+P53)/2                                             ・・・(7)
PB42=P43
で行う。この位置にある画素データをそのまま式(5) に代入すると、
【００８６】
【数８】
PR42=R81
PG42=(G41+G50)/2                                             ・・・(8)
PB42=B10
が算出される。代表位置P46 も同様の関係により算出される。このように算出することにより、ライン4 の画素が補間される。このデータ読出しを２ライン同時読出しと同様に行いながら、ライン隣接間引き処理を行う場合、全データを用いて処理する場合に比べてほぼ1/4 のデータ量で処理できることになる。また、２ライン同時読出しにより１ライン生成が行われるとき、補間ラインが生成されることにより、実際に垂直方向の画像は、倍のレートで読み出されたときに得られる画像と同じ関係で得られる。代表値算出部12F で得られたデータ（三原色RGB ）は、YC変換部122cおよび出力形式選択部124cに供給される。
【００８７】
YC変換部122cは、供給された代表位置におけるRGB データ（代表値）を用いてたとえば、代表位置の輝度信号PY00と色差信号PCr00, PCb00を算出する。この算出は、式(9)
【００８８】
【数９】
PY00=0.3*PR00+0.59*PG00+0.11*PB00
Cr00=PR00-PY00                                               ・・・(9)
Cb00=PB00-PY00
によって得られる。他の画素や他のラインにおいても式(9) の関係を用いてYCのデータを算出する。この算出されたYCデータは、出力形式選択部124cに供給される。
【００８９】
出力形式選択部124cは、図３の水平画素処理部120cとYC変換部122cからそれぞれ供給されるデータのいずれか一方をシステム制御部13から供給される制御信号により選択し、選択されたデータを画像処理部12e に出力する。また、このデータを記録に用いる場合に鑑み、図２の切換スイッチSW1 の端子b 側にも供給している。ところで、切換スイッチSW1 の端子a には、間引き処理の何等施されていない生のデータが供給される。切換スイッチSW1 は、システム制御部13からの制御に応じて記録側に供給するデータを選択している。
【００９０】
画像処理部12e は、出力形式選択部124cから供給されるデータの中で、特にYCデータに対して画像信号処理を施す。図示しないが、RGB に対しては、何も処理しないでスルーさせている。Y データには、アパーチャ調整部120eで後段で詳述するデータ評価制御部12d からの制御信号に応じて輪郭強調やコアリング等に相当する補償処理が行われる。また、C データには、色ゲイン制御部122eでデータ評価制御部12d からの制御信号に応じて色レベルの調整を行っている。このように画像処理を受けたYCデータが表示部11i に供給される。
【００９１】
なお、前述した水平画素処理部120c以降の処理は、用いる画素が異なるものの、処理の手順はライン選択間引き処理と同じ処理手順で処理が施される。
【００９２】
次に電子スチルカメラ10のもう一つの間引き処理であるライン選択間引き処理について説明する。ここで、図12の左端側の数字および画素の色を表すRGB の添字は、前述したライン隣接間引き処理の設定と同じである。
【００９３】
ラインサンプリング部120bは、システム制御部13の制御信号130 に応じて垂直タイミング信号V1のタイミングである１ラインをサンプリングする。サンプリングしたラインデータは、合成ラインサンプリング部122bにも出力供給される。このとき、ラインサンプリング部120bは水平画素処理部120cにもデータを出力しているが、図４の水平画素処理部120cはラインサンプリング部120bからの入力を禁止し、合成ラインサンプリング部122bからのデータだけを入力するように動作させる。この水平画素処理部120cのこの入力に対する動作は、システム制御部13からの制御信号13A により行なわれる（図５を参照）。図４の合成ラインサンプリング部122bには、過去にサンプリングしたラインデータが一方の入力側から供給されることになる。また、合成ラインサンプリング部122bは、他端入力側からラインデータサンプリング部12b に供給されるデータを直接入力する。合成ラインサンプリング部122bは、システム制御部13からの制御信号132 により入力制御されている。この入力制御は、ラインデータサンプリング部12b に既に供給されたラインに対して前述した所定の関係にあるラインをサンプリングするようにデータ入力が行われる。
【００９４】
たとえば、ライン0 を最初のラインとし、ラインサンプリング部120bが制御信号130 によりイネーブルのとき垂直タイミング信号V1でサンプリングする。サンプリングの後に、このラインデータは、合成ラインサンプリング部122bに供給され、たとえばラインバッファメモリに格納される。次の偶数ラインのサンプリングは８ライン後に合成ラインサンプリング部122bで行われる。このライン0 に対して合成ラインサンプリング部122bで選択されるラインは、隣接するライン1 を除くと、ライン3 あるいはライン5 が該当する。この場合のようにラインが偶数ラインのとき、次に入力するラインは、奇数ラインを選択する。ただし、ライン7 は、ライン8 と隣接ライン関係になるので除外される。図12(a) の場合、ライン3 をライン0 に対する対のもう一方のラインとして選択している（図12(a) の一点鎖線46で囲まれたラインを参照）。このとき、合成ラインサンプリング部122bは、ライン3 をライン0 に対する対のもう一方のラインとして選択するとともに、ラインサンプリング部120bは次の対の一方のラインに用いるためラインサンプリング部120bに格納される。したがって、順次、サンプリングする一方のラインをもう一方のラインに切り換えてサンプリングが行われる。
【００９５】
たとえば、ライン3 に対するもう一方のラインデータは、ライン3 と対をなす選択候補のラインはライン6 あるいはライン8 となる。ここで、偶数ラインを８ライン毎にサンプリングする条件および前述した所定の関係から、本実施例では、ライン3 に対するラインは、ライン8 になる。このライン8 を取り込むとき、この合成ラインサンプリング部122bは、システム制御部13からの制御信号132 に応じて取り込みをイネーブルにする。取り込みのタイミングは、垂直タイミング信号V2である。このように合成ラインサンプリング部122bにもう一方のラインデータも入力することによって、同時読出し的にライン0, 3とライン3, 8（一点鎖線48で囲まれた２ライン）といった２ラインデータが得られる。この得られた２ラインを水平画素処理部120cに出力する。
【００９６】
そして、また、このライン8 がさらに次の対をなすラインの一方のラインになる（一点鎖線50で囲まれたラインを参照）。ラインデータサンプリング部12b は、この場合、図12(a) の破線52a で囲まれたライン1, 2、破線52b で囲まれたライン4 〜7 およびライン9, 10 が飛ばされる、すなわち間引かれる。このようにして合成ラインサンプリング部122bで得られた２ラインの組が、図12(b) に示す関係となることが判る。この関係にあるデータを用いて、ライン0, 3, 8 のデータを算出する場合、その代表位置は、たとえば図12(c) に示すようにする。
【００９７】
水平画素処理部120cでは、前述したライン隣接間引き処理で説明したように、供給された２ラインの組を２画素ずつ区切ってブロックに分割する。この分割したブロックが１ブロックずつ間引きされ、残したブロックの画素に対応するデータの抽出が行われるとともに、さらに、残したブロックの画素データを用いて間引いたブロックを再構成する。この再ブロック化処理した際の状況は、たとえば図13(a) のような関係にある。再ブロック化されたブロックに対してもブロック内の画素データが抽出される。これらのブロックから抽出された画素データを対応する代表値算出の式に入力して代表位置P00, P02, P04, P06,・・・; P30, P32, P34, P36,・・・での三原色RGB を求める（図13(b) を参照）。たとえば、代表位置P02 を算出するとき、
【００９８】
【数１０】
PR02=R01
PG02=(G31+G04)/2                                            ・・・(10)
PB02=B34
が算出される。このように供給される画素データは同じ代表位置であってもライン隣接間引き処理で用いた際の画素データとは異なっている。このようにして算出されたRGB は、出力形式選択部124cとYC変換部122cに供給される。YC変換部122cでは、供給されたRGB データを用いてY データおよびC データを算出する。算出されたYCデータは、出力形式選択部124cとデータ評価制御部12d に出力する。出力形式選択部124cで選択された形式のデータは、画像処理部12e を介して表示部11i に供給される。
【００９９】
このようにライン隣接間引き処理およびライン選択間引き処理のいずれの処理によっても色G の算出に斜め相関を算出する場合と同じ演算を行うことにより、偽色の発生を抑えているので、間引かれた画像でも良好な画像が得られるようになる。
【０１００】
ところで、ライン隣接間引き処理とライン選択間引き処理において偽色と解像度の点について比較すると、ライン隣接間引き処理は、ライン選択間引き処理よりも偽色の発生が少ない。また、ライン選択間引き処理は、ライン隣接間引き処理よりも解像度の低下を抑えて表示部11i に表示させることができる。電子スチルカメラ10は、撮像した画像に対して偽色の改善処理や解像度の低下抑制処理のいずれかを行うか特に静止画モードでデータ評価制御部122cで画像評価を行う。
【０１０１】
ここで、データ評価制御部122cは、図６に示すように輝度データY と色差データ(R-Y)=Cr, (B-Y)=Cbを用いて撮像した画像の評価を行う。一般的に、モニタ表示画像は、色の少ない画像では偽色が目立つ傾向にあり、色の多い画像では偽色として色が目立たないことが知られている。この評価には、輝度データY に対する周波数検出処理を含むエッジ検出処理と、色差データ(R-Y)=Cr, (B-Y)=Cbに対する色信号検出処理とが行われる。
【０１０２】
エッジ検出処理は、最も簡単な構成として図７(a) のフィルタバンク部1200で帯域指示信号に応じて特定の周波数（たとえば、バンドパス- フィルタから）のデータだけを取り出す。このとき、この帯域を変化させることによって、評価制御部1232での最終的な処理選択の範囲を変更することもできる。このデータは、加算器1204の一端側にラインメモリ1202で１ライン遅延されたデータを減算入力し、遅延を受けていないデータを加算器1204の他端側に加算入力する。加算器1204の出力データは、ライン間の差分をとったデータでエッジ検出データになる。また、中央差分的なラインに対するエッジ検出処理を行う場合、図７(b) のように構成してライン間のエッジ検出を行う。得られたエッジ検出データは、輝度信号積算部124dで絶対値変換され、そして変換されたデータの積算が行われる。
【０１０３】
色信号検出処理は、図６に示すように、それぞれ供給される色差データ(R-Y)=Cr, (B-Y)=Cbを色信号積算部126dで絶対値変換を施し、さらにその変換されたデータを積算している。この色信号検出処理や上述したエッジ検出処理で得られたデータは、それぞれ比較制御部128dに送られる。図６に図示しないがたとえば、露出データ等のデータから画像がどのような画像かの判定結果に対応した判定信号がスレッショルドレベル格納部1224に供給されている。この判定信号を制御信号としてこの画像における適切と考えられるスレッショルドレベルを各比較部1226, 1228, 1230に出力する。比較部1226, 1228, 1230は、それぞれ供給される積算値とこのスレッショルドレベルとを比較する。これらの比較結果は、評価制御部1232に供給される。
【０１０４】
評価制御部1232では、輝度データY の積算値がスレッショルドレベル以上のとき、エッジ成分の多い画像としてライン選択間引き処理を行うようにデータ評価制御信号をタイミング信号生成部12a に出力する。また、輝度データY の積算値がスレッショルドレベルより小さかったとき、ライン隣接間引き処理を行うようにデータ評価制御信号をタイミング信号生成部12a に出力する。
【０１０５】
評価制御部1232は、色信号積算部126dでの(R-Y), (B-Y)データの積算値がスレッショルドレベル以上のとき、ライン選択間引き処理を行うようにデータ評価制御信号をタイミング信号生成部12a に出力する。また、評価制御部1232は、(R-Y), (B-Y)データの積算値がスレッショルドレベルより小さいとき、ライン隣接間引き処理を行うようにデータ評価制御信号をタイミング信号生成部12a に出力する。
【０１０６】
このライン隣接間引き処理が選択される場合、解像度が低下する傾向にあるので、評価制御部1232は、アパーチャ調整部120eにアパーチャ制御信号を供給する。アパーチャ調整部120eは、供給されるアパーチャ制御信号に応じて輪郭強調等の処理を輝度信号のY データに施す。この結果、輝度信号のY データは、解像度を向上させて画像処理部12e から出力される。また、評価制御部1232は、データの評価に応じた色制御信号を色ゲイン制御部122eに供給する。色ゲイン制御部122eは、色信号のC （Cb, Cr）データに対する色制御信号に基づいて適切なゲイン調整を行う。これにより、色信号のC データは、適切な色レベルとして表示部11i に供給される。この評価制御部1232は、評価データをシステム制御部13に供給する。システム制御部13は、上述した制御および／またはこの他の制御を供給される評価データに基づいて行うようにしてもよい。
【０１０７】
画像表示において垂直方向のエッジ部分には偽色が生じ易いことから、図６のデータ評価制御部12d の構成を簡素化しながら、偽色の検出を行う構成およびその動作について図９を参照し、説明する。共通する部分には図６で表記した同じ参照符号を用いている。輝度信号のY データには、エッジ検出部120dで帯域指示信号に応じたフィルタ処理が行われ、得られたデータに対してエッジ検出が行われる。エッジ検出部120dは、検出されたデータを絶対値変換部1212に供給する。絶対値変換部1212は、供給されるデータに対して符号を正にする変化処理を施して比較部1226に出力する。比較部1226には、スレッショルドレベル格納部1224からエッジ成分の参照レベルとして供給されている。この参照レベルは、図６のデータ評価制御部12d で供給されたレベルが積算結果に対するレベルとは異なり、たとえばライン間の差を比較するためのレベルを示す。
【０１０８】
比較部1234では供給される両方のレベルを比較している。比較部1234は、エッジ成分のレベルが参照レベル以上のときとエッジ成分のレベルが参照レベルより小さいときに分けて結果を積算制御部1236に出力する。積算制御部1234では、エッジ成分のレベルが参照レベル以上のときだけ積算部1218に積算制御信号を出力する。この輝度信号のY データのエッジ検出から積算制御までの処理の間に、画像のこの処理が行われている同じ領域における色信号のC （(R-Y)/(B-Y) ）データにもタイミング調整しながら、絶対値変換処理を絶対値変換部1216で行う。絶対値変換処理された色信号のC データは積算部1218に供給される。積算部1218は、積算制御信号が供給されるときだけ積算処理を行わせる。積算部1218は、この積算したC データを評価制御部1232に出力する。評価制御部1232では、偽色の量が多いかどうか判断が行われる。結果として偽色が多いと判断した場合、評価制御部1232は、ライン隣接間引き処理を行うようにデータ評価制御信号を出力する。このような簡素化した構成にしても的確な偽色検出を行うことができる。
【０１０９】
前述した動作は、主に電子スチルカメラ10の静止画モードで行われる。電子スチルカメラ10は、データ入力部11h でムービーモードも選択できるようになっている。このムービーモードは、静止画モードと異なり、画像表示が時間経過に応じて変化する。したがって、ムービーモードでは、時間変化も考慮した処理が要求される。この要求に対応すべく電子スチルカメラ10では、ムービーモードにおいてシステム制御部13がたとえばデータ評価制御部12d あるいは直接的にタイミング信号生成部12a の制御を行う。このとき、システム制御部13は、垂直ブランキング期間のたとえば、立下がり（図14(a) を参照）に同期して選択する各処理の切換えを行う。この切換えを行う処理は、ライン隣接間引き処理とライン選択間引き処理である。ムービーモードが指定された際にたとえば、最初の撮影画像は、垂直ブランキング信号の立下がりVB1 に同期してライン隣接間引き処理を行って表示部11i に表示させる。データ評価制御信号は、このとき図３から明らかなようにレベル"H" である。この状態が図14(b) のデータ評価制御信号の立上がりに示されている。インタレース方式で供給されるデータを表示部11i に表示させている場合、１フィールド期間中に表示用のデータを用いて前述したエッジおよび偽色の評価が行われている。
【０１１０】
次の垂直ブランキングの開始時、すなわち図14(a) のVB2 に同期してライン選択間引き処理を行って表示部11i に表示させる。ライン選択間引き処理の選択には、データ評価制御信号がレベル"L" となる（図３や図14(b) を参照）。この垂直ブランキング終了後の以降、すなわち１フィールド期間中に上述したと同様にエッジおよび偽色の評価が行われる。
【０１１１】
システム制御部13あるいはデータ評価制御部12d において、ライン隣接間引き処理とライン選択間引き処理のいずれが最適なライン間引きか判定して垂直ブランキングVB以降のライン間引き処理を決定する。図14(b) ではライン選択間引き処理がシステム制御部13あるいはデータ評価制御部12d で選択されたことを示している。
【０１１２】
この選択は以後確定的に行われるものでなく、電子スチルカメラ10の向きの変更や一定の時間経過後にこのデータ評価に基づくライン間引き処理の選択が行われる。この選択を行う際に、先と同様にライン隣接間引き処理、ライン選択間引き処理の順に行ってもよいし、逆にライン選択間引き処理、ライン隣接間引き処理の順で行ってもよい。このように動作させることにより、ムービーモードで垂直方向の解像度や偽色等を含む画像に対する最適なライン間引き処理を行っても、画質劣化の少ない画像を表示させることができるようになる。このようなデータが供給されることにより、インデックス画またはいわゆるサムネイル画と呼ばれる小さな表示部に表示される画像でも細部までの認識ができるようになる。
【０１１３】
このように構成することにより、基本的なベイヤパターンの色フィルタアレイを用いて得られたデータをライン間引き処理しても解像度の低下を抑え、かつ垂直方向に発生し易い偽色を抑えた信号処理を行うことによって表示部に良い画質の画像を表示させることができるようになる。これにより、表示部の小型化が可能になり、電子スチルカメラのより一層の小型化および表示における消費電力等の削減にも大いに貢献させることができる。
【０１１４】
なお、前述した実施例は、固体撮像装置としてCCD イメージセンサを用い、このCCD イメージセンサからの撮像信号の読出しについて説明したが、この説明に限定されるものでなく、MOS タイプのイメージセンサからの撮像信号の読出しについても前述した実施例と同様の読出しを行って信号処理を行い、有用な効果を奏することは言うまでもない。
【０１１５】
【発明の効果】
このように本発明の信号処理装置によれば、第１のサンプリング手段がタイミング信号生成手段からの出力に応じてサンプリングを行って、この際に得られたラインを用いてライン生成手段でライン合成を行うとともに、間引いたライン間の一ラインを生成して垂直方向にライン間引きされた画像を生成する。この画像は、静止画モードの際にデータ評価制御手段でこの画像のデータの評価およびその評価結果に応じてタイミング信号生成手段および信号処理を施す信号処理手段を制御して、画像に発生する偽色の抑制や垂直解像度を低下させない信号処理が行われることにより、表示部に良い画質の画像を表示させることができるようになる。さらに、これにより、表示部の小型化が可能になり、電子スチルカメラのより一層の小型化および表示における消費電力等の削減にも大いに貢献させることができる。
【０１１６】
また、本発明の信号処理方法によれば、静止画モードあるいはムービーモードの選択に応じて制御を行う際に、偶数ラインと奇数ラインを一組とし、このライン関係を保ちながら、複数の水平ライン毎にサンプリングを行うこと、すなわちライン間引きを行うタイミング信号を生成する。タイミング信号によってサンプリングして得られたラインは、当然、偶数ラインと奇数ラインの関係にあってこれらのラインから一つのラインを合成するとともに、間引いたライン間の一ラインをこれらのラインから生成する。このようにして得られたデータに基づいて静止画モードの際にデータの評価および評価結果に応じてタイミング信号の選択および施す信号処理を制御して、画像に発生する偽色の抑制や垂直解像度を低下させない信号処理が行われることにより、表示部に良い画質の画像を表示させることができる。さらに、電子スチルカメラのより一層の小型化が可能になることから、表示における消費電力等の削減にも大いに貢献させることができる。
【図面の簡単な説明】
【図１】本発明の信号処理装置を適用した電子スチルカメラの概略的な構成のブロック図である。
【図２】図１に示した信号処理部の概略的な構成のブロック図である。
【図３】図２に示したタイミング信号生成部の概略的な構成のブロック図である。
【図４】図２に示したラインデータサンプリング部およびライン生成部の概略的な構成のブロック図である。
【図５】図４に示したライン生成部における水平画素処理部の概略的な構成のブロック図である。
【図６】図４に示したデータ評価制御部の概略的な構成のブロック図である。
【図７】図６に示したエッジ検出部における(a) ２ライン処理および(b) ３ライン処理での概略的な構成のブロック図である。
【図８】図４に示した画像処理部の概略的な構成のブロック図である。
【図９】図４に示したデータ評価制御部の概略的な構成を簡素化するとともに、偽色検出を行うえるようにした変形例のブロック図である。
【図１０】本発明の信号処理方法におけるライン隣接間引き処理の手順により得られるラインデータの関係を説明し、(a) サンプリングするライン関係、(b) サンプリングで得られたラインの組の関係および(c) 各ラインの代表位置の関係を説明する模式図である。
【図１１】図10(b) に示したラインを(a) ブロック分割処理、ブロック間引き処理および再ブロック化処理の順に処理して得られたブロックの位置関係および(b) 各ラインの代表位置の関係とこの位置が有する代表値を表した模式図である。
【図１２】本発明の信号処理方法におけるライン選択間引き処理の手順により得られるラインデータの関係を説明し、(a) サンプリングするライン関係、(b) サンプリングで得られたラインの組の関係および(c) 各ラインの代表位置の関係を説明する模式図である。
【図１３】図12(b) に示したラインを(a) ブロック分割処理、ブロック間引き処理および再ブロック化処理の順に処理して得られたブロックの位置関係および(b) 各ラインの代表位置の関係とこの位置が有する代表値を表した模式図である。
【図１４】本発明を適用した電子スチルカメラにおいてムービーモードを適用する際の手順およびそのタイミングを説明するタイミングチャートである。
【符号の説明】
10  電子スチルカメラ
11  カメラ本体部
12  信号処理部
13  システム制御部
14  駆動信号生成部
20  メモリカード部
30  コネクタ
11b 色フィルタアレイ
11c CCD イメージセンサ部
11e A/D 変換部
11h データ入力部
11i 表示部
12a タイミング信号生成部
12b ラインデータサンプリング部
12c ライン生成部
12d データ評価制御部
12e 画像処理部
120a  ライン隣接信号生成部
120c  水平画素処理部
122a  ライン選択信号生成部
122b  合成ラインサンプリング部
【図１】
0003893489.tif 000003
【図２】
0003893489.tif 000004
【図３】
0003893489.tif 000005
【図４】
0003893489.tif 000006
【図５】
0003893489.tif 000007
【図６】
0003893489.tif 000008
【図７】
0003893489.tif 000009
【図８】
0003893489.tif 000010
【図９】
0003893489.tif 000011
【図１０】
0003893489.tif 000012
【図１１】
0003893489.tif 000013
【図１２】
0003893489.tif 000014
【図１３】
0003893489.tif 000015
【図１４】
0003893489.tif 000016