(57)【特許請求の範囲】
【請求項１】
分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から供給される信号に対するデータに信号処理を行って表示データを生成する信号処理装置であって、該装置は、
前記ベイヤパターンに対応する複数のライン分の画素に対して水平方向に複数の画素を一のブロックとして扱うとともに、該ブロックの各画素から供給されるデータを画素位置毎に対応させてサンプリングするブロックサンプリング手段と、
該ブロックサンプリング手段で得られた複数の画素のデータを用いて該各ブロックにおける第１、第２および第３の色の画素値を算出するとともに、算出された画素値で輝度信号および色差信号または三原色信号を前記表示データとして生成する表示データ生成手段と、
前記ブロックサンプリング手段のサンプリングのタイミングを制御する制御手段とを含み、
前記ブロックサンプリング手段は、第１、第２および第３の色を少なくとも１つずつ前記ブロックに含む条件を満たす分割を水平方向に行うブロック分割手段と、
該ブロック分割手段で分割されたブロックを１つおきに水平方向に間引くブロック間引き手段と、
該ブロック間引き手段で間引いたブロック中で左右両端に位置する列方向に並ぶ画素とそれぞれ側方に隣接するブロックの画素が前記条件を満たして新たなブロックを形成する再ブロック化手段と、
該再ブロック化手段のブロックを間引き位置のブロックに対応させて各ブロックから順にデータを取り出すブロックデータ抽出手段とを含むことを特徴とする信号処理装置。
【請求項２】
請求項１に記載の装置において、前記ブロック分割手段は、前記ベイヤパターンに対応する２ライン分の画素に対して水平方向に２画素単位にまとめて扱い、計４画素でブロックを形成することを特徴とする信号処理装置。
【請求項３】
請求項１に記載の装置において、前記制御手段は、前記ブロックサンプリング手段のサンプリング関係と画素からの信号を同じ関係で出力させる駆動タイミング信号の生成を行う駆動信号生成手段の制御を行うことを特徴とする信号処理装置。
【請求項４】
分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から給される信号に対するデータに信号処理を行って表示データを生成する信号処理装置の信号処理方法であって、該方法は、
前記ベイヤパターンに対応する複数のライン分の画素に対して水平方向に複数の画素を一のブロックとして扱うとともに、該ブロックの各画素から供給されるデータを画素位置毎に対応させてサンプリングする第１の工程と、
第１の工程で得られた複数の画素のデータを用いて該各ブロックにおける第１、第２および第３の色の画素値を算出する第２の工程と、
第２の出工程での算出された画素値で輝度信号および色差信号または三原色信号を前記表示データとして生成する第３の工程とを含み、
第１の工程は、前記データのサンプリングタイミングのタイミング信号を生成する第４の工程からのタイミング信号に基づいて前記データのサンプリングを行い、
第１の工程は、さらに、第１、第２および第３の色を少なくとも１つずつ前記ブロックに含む条件を満たす分割を水平方向に行う第５の工程と、
第５の工程で分割されたブロックを１つおきに水平方向に間引く第６の工程と、
第６の工程で間引いたブロック中で左右両端に位置する列方向に並ぶ画素とそれぞれ側方に隣接するブロックの画素が前記条件を満たして新たなブロックを形成する第７の工程と、
第７の工程のブロックを間引き位置のブロックに対応させて各ブロックから順にデータを取り出す第８の工程とを含むことを特徴とする信号処理方法。
【請求項５】
請求項４に記載の方法において、前記ブロックは、前記ベイヤパターンに対応する２ライン分の画素に対して水平方向に２画素単位にまとめて扱い、計４画素でブロックを形成することを特徴とする信号処理方法。
【請求項６】
請求項４に記載の方法において、第４の工程は、第１の工程のサンプリング関係と同じ関係に画素からの信号が得られる駆動タイミング信号の生成を制御することを特徴とする信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各色フィルタに対応して配されている画素からの信号を間引き、供給される信号に対するデータに信号処理を行って表示データを生成する信号処理装置およびその信号処理方法に関し、特に色フィルタアレイにベイヤパターンが用いられ、たとえば、電子スチルカメラやムービーカメラ等において数十万から数百万の画素で撮像したスチル画像とムービー画像を切り換えてそれぞれ表示するような場合に用いて好適なものである。
【０００２】
【従来の技術】
たとえば電子スチルカメラやビデオカメラ等（以下、代表して電子スチルカメラという）は、被写界からの入射光を撮像部に用いている、たとえば固体撮像デバイスを含む画素セルで光電変換している。特に、この撮像部の直前に単板式の色フィルタが用いられている場合、撮像部は各画素から色フィルタの色に対応して三原色R,G,B のいずれか一つの色の信号しか得られない。そして、得られた各色の信号を用いて撮像した画像を上述した電子スチルカメラ等に配設された表示部に表示させている。一般的に、表示部は、視認の良さを重視するとき、大型の液晶ディスプレイ等が用いられ、消費電力等を重視するとき、小型の液晶ディスプレイ等がたとえば、インデックス画像やムービー画像等の表示装置として用いられる。
【０００３】
表示部にこの小型の液晶ディスプレイを用いた際に、撮像部の画素に対して表示部の画素が少ないので、電子スチルカメラは、得られた信号を間引いて表示部に供給している。通常、色フィルタアレイにはベイヤパターンが用いられていることが多い。この色フィルタアレイの特徴からRGB を得るには２ライン用いることになるので、ラインメモリが用いられる。
【０００４】
一般に、この信号の間引きによって解像度の劣化等が懸念される。そこで、信号の間引きを行っても、たとえば、特許掲載公報第8-2587225 号の固体撮像装置は、水平ライン信号を撮像素子駆動手段で1/P 水平期間毎に読み出して複数のメモリ部に書込み、メモリ駆動手段で1 水平期間毎にP 水平ラインのデータを同時に読み出して合成手段で合成して信号を生成することによって、擬似的に水平解像度を向上させている。
【０００５】
また、色フィルタアレイにベイヤ配列を用いた際には、信号の間引きに関わらず、信号を取り出すラインによって正しい分光特性の輝度信号が得られないため偽信号が生じる色再現性等が問題になる場合がある。このような偽信号の改善に着目したカラー撮像装置の提案が、たとえば特開平4-329786号公報に記載されている。このカラー撮像装置は、第１の色フィルタだけオフセットサンプリング構造にし、他の第２および第３の色フィルタを矩形格子状サンプリング構造にした色フィルタアレイを用い、信号の同時化を図りながら、第１の色フィルタの画素からの信号とこの色フィルタの画素と同一行あるいは同一列の第２の色フィルタからの信号との色差差分をとり、同様に第１の色フィルタの画素からの信号とこの色フィルタの画素と同一行あるいは同一列の第３の色フィルタからの信号との色差差分をとり、これらの色差信号をたとえば、マトリクス合成および演算を行って輝度信号を生成して、分光特性の補正を行っている。ベイヤ配列の色フィルタアレイを用いた固体撮像装置では、上述した信号処理だけでなく、様々な方法を駆使して色再現性を確保する試みがなされている。
【０００６】
【発明が解決しようとする課題】
ところで、前述したようにベイヤ配列が用いられた固体撮像素子からの信号を水平（H)方向に間引いて画像を生成すると、解像度が得難いだけでなく、画像によって生じる偽色が増えてしまう場合がある。また、偽色の改善および画質の改善のために行う信号処理には、取り出す信号の読出しによって読出し画素がトータル的に増加してしまう。これにより、この信号処理には回路構成の増大および消費電力の増加をもたらされる。
【０００７】
さらに、数百万画素を要する固体撮像装置から読み出した信号を用いてムービー画像表示を行う場合、間引き処理が重要になる。この場合、全画素の情報から輝度信号の高域成分YHを画素に対応して生成した後に間引き処理が行われると、多大な時間を要してしまう。
【０００８】
本発明はこのような従来技術の欠点を解消し、簡単な構成で画素の間引き処理を行い、偽色の発生を抑え、かつ動画再生にも対応した信号処理を行うことのできる信号処理装置およびその信号処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は上述の課題を解決するために、分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から供給される信号に対するデータに信号処理を行って表示データを生成する信号処理装置であって、ベイヤパターンに対応する複数のライン分の画素に対して水平方向に複数の画素を一のブロックとして扱うとともに、このブロックの各画素から供給されるデータを画素位置毎に対応させてサンプリングするブロックサンプリング手段と、このブロックサンプリング手段で得られた複数の画素のデータを用いてこの各ブロックにおける第１、第２および第３の色の画素値を算出するとともに、算出された画素値で輝度信号および色差信号または三原色信号を表示データとして生成する表示データ生成手段と、ブロックサンプリング手段のサンプリングのタイミングを制御する制御手段とを含むことを特徴とする。
【００１０】
ここで、ブロックサンプリング手段は、第１、第２および第３の色を少なくとも１つずつブロックに含む条件を満たす分割を水平方向に行うブロック分割手段と、このブロック分割手段で分割されたブロック内の画素から供給されるデータだけを取り出すデータ抽出手段とを含むことが好ましい。これにより、信号処理を施すデータの対象の取り扱いを容易に行うことができるようになる。
【００１１】
ブロック分割手段は、ベイヤパターンに対応する２ライン分の画素に対して水平方向に２画素単位にまとめて扱い、計４画素でブロックを形成することが望ましい。これにより、ベイヤの基本パターンに対するブロックが規定される。
【００１２】
また、ブロックサンプリング手段は、第１、第２および第３の色を少なくとも１つずつブロックに含む条件を満たす分割を水平方向に行うブロック分割手段と、このブロック分割手段で分割されたブロックを１つおきに水平方向に間引くブロック間引き手段と、このブロック間引き手段で間引いたブロック中で左右両端に位置する列方向に並ぶ画素とそれぞれ側方に隣接するブロックの画素が条件を満たして新たなブロックを形成する再ブロック化手段と、この再ブロック化手段のブロックを間引き位置のブロックに対応させて各ブロックから順にデータを取り出すブロックデータ抽出手段とを含むことが有利である。この場合、間引きにより各画素における信号の幅が広くなりサンプリング周波数が従来の周波数に比べて半分で済ませられる。
【００１３】
特に、たとえば、前述した数十万から数百万の画素を有するの固体撮像装置から信号を読み出すような場合、制御手段は、ブロックサンプリング手段のサンプリング関係と画素からの信号を同じ関係で出力させる駆動タイミング信号の生成を行う駆動信号生成手段の制御を行うことが好ましい。これにより、信号を記録する場合と表示する場合で、たとえば、固体撮像素子の駆動において駆動信号生成手段からの駆動信号を切り換えて操作することができる。特に高速処理が要求されるムービーモードの切り換えに応じて制御手段からの制御により容易にこの画素間引きを実現させることができる。この駆動により、供給される信号がすでにブロック対応の信号やブロック間引きに対応した信号になっているので、各部の構成を省略することもできる。
【００１４】
本発明の信号処理装置は、制御手段の制御に応じてブロックサンプリング手段でベイヤパターンの画素において複数の画素を一つのブロックとして扱うことにより色フィルタパターンを水平方向に分割している。ブロックサンプリング手段は、表示に用いるこのブロックの各画素から供給されるデータをサンプリングする。このブロックに対応した各画素位置でのサンプリングを行うことにより、サンプリング周波数を従来のサンプリング周波数に比べて半分になる。画素値算出手段は、ブロックサンプリング手段で得られた複数の画素のデータを用いてこのブロックにおける第１、第２および第３の色の画素値をそれぞれ一つの画素について算出する。ブロック内の画素からの信号を用いて算出することにより水平方向に見て画素が半分になる。すなわち、取り扱うデータが半分になることを示している。この算出された画素を用いて表示データ生成手段で表示データを算出すると、ベイヤパターンに特有な垂直方向の偽色だけでなく水平方向の偽色等を斜め２画素の平均をとって抑制して、これにより、色再現性を従来の画像よりもよくすることができる。
【００１５】
また、本発明は、分光感度特性の異なる第１、第２および第３の色の色フィルタがベイヤパターンに配され、各色フィルタに対応して配されている画素から給される信号に対するデータに信号処理を行って表示データを生成する信号処理装置の信号処理方法であって、ベイヤパターンに対応する複数のライン分の画素に対して水平方向に複数の画素を一のブロックとして扱うとともに、該ブロックの各画素から供給されるデータを画素位置毎に対応させてサンプリングするブロックサンプリング工程と、このブロックサンプリング工程で得られた複数の画素のデータを用いてこの各ブロックにおける第１、第２および第３の色の画素値を算出する画素値算出工程と、この画素値算出工程での算出された画素値で輝度信号および色差信号または三原色信号を前記表示データとして生成する表示データ生成工程とを含み、ブロックサンプリング工程は、データのサンプリングタイミングのタイミング信号を生成するタイミング制御工程からのタイミング信号に基づいて前記データのサンプリングを行うことを特徴とする。
【００１６】
ここで、ブロックは、ベイヤパターンに対応する２ライン分の画素に対して水平方向に２画素単位にまとめて扱い、計４画素でブロックを形成することが好ましい。各種のベイヤパターンがある中で基本的なベイヤパターンにおいて扱うブロックの構成が規定される。
【００１７】
ブロックサンプリング工程は、第１、第２および第３の色を少なくとも１つずつブロックに含む条件を満たす分割を水平方向に行うブロック分割工程と、このブロック分割工程で分割されたブロック内の画素から供給されるデータだけを取り出すデータ抽出工程とを含むことが望ましい。ブロックに分割して各ブロックに各画素位置に着目してサンプリングを行うことにより、サンプリングにおいて水平方向のサンプリングが１つおきになるので、サンプリング周波数を従来のサンプリング周波数に比べて半分になる。
【００１８】
また、ブロックサンプリング工程は、第１、第２および第３の色を少なくとも１つずつブロックに含む条件を満たす分割を水平方向に行うブロック分割工程と、このブロック分割工程で分割されたブロックを１つおきに水平方向に間引くブロック間引き工程と、このブロック間引き工程で間引いたブロック中で左右両端に位置する列方向に並ぶ画素とそれぞれ側方に隣接するブロックの画素が条件を満たして新たなブロックを形成する再ブロック化工程と、この再ブロック化工程のブロックを間引き位置のブロックに対応させて各ブロックから順にデータを取り出すブロックデータ抽出工程とを含むように処理してもよい。この場合、サンプリング周波数は、従来のサンプリング周波数に比べて1/4 で済ますことができる。
【００１９】
タイミング制御工程は、ブロックサンプリング工程のサンプリング関係と同じ関係に画素からの信号が得られる駆動タイミング信号の生成を制御することが有利である。この駆動により、供給される信号がすでにブロック対応の信号やブロック間引きに対応した信号になっているので、各部の処理工程を省略することができる。
【００２０】
本発明の信号処理装置の信号処理方法は、タイミング制御工程のタイミング信号に応じてブロックサンプリング工程でベイヤパターンの画素を複数のラインを水平方向に複数の画素で分割してブロックとして扱うブロック分割を行い、このブロックの各画素から供給されるデータを画素位置に対応してサンプリング処理を行う。ブロック内の各画素位置毎に対応してサンプリングを行うことにより、サンプリング周波数を従来のサンプリング周波数に比べて半分の周波数にすることができる。画素値算出工程は、ブロックサンプリング工程から得られた複数の画素のデータを用いてこのブロックにおける第１、第２および第３の色の画素値を算出する。算出された画素値の画素は、ブロック内では水平方向に一画素おきに存在する。この算出された画素を用いて表示データ生成工程で表示データを算出すると、水平方向の画素数を半分にするとともに、ベイヤパターンで撮像した画像において発生する垂直方向の偽色だけでなく水平方向の偽色等も斜め２画素の平均により抑制して、色再現性をよくすることができる。
【００２１】
【発明の実施の形態】
次に添付図面を参照して本発明による信号処理装置およびその信号処理方法の実施例を詳細に説明する。
【００２２】
本発明の信号処理装置は、ブロック内の画素位置に着目してサンプリングを行ってサンプリング期間を従来より長くして使用する周波数を低く抑えるとともに、ベイヤパターンで撮像した画像において発生する垂直および水平方向の偽色等を抑制して、色再現性を改善することに特徴がある。本実施例は、本発明を電子スチルカメラに適用した場合について図１〜図４を参照しながら説明する。
【００２３】
電子スチルカメラ10は、図１に示すようにカメラ本体部11と、メモリカード部20とを備え、両者はコネクタ30を介して一体的に接続されている。カメラ本体部11は光学系11a 、色フィルタアレイ11b 、CCD イメ−ジセンサ11c 、前処理部11d 、A/D 変換部11e 、信号処理部12、データ圧縮部11f 、入出力インターフェース部11g 、データ入力部11h 、表示部11i およびシステム制御部13を含み、メモリカード部20は入出力インターフェース部21およびメモリカード22を含んでいる。
【００２４】
光学系11a は、撮影レンズ110a、絞り（図示せず）等を含んでいる。色フィルタアレイ11b は、前述したように単板式である。この単板式の色フィルタアレイの配置は、三原色をR,G,B で説明する。本実施例において電子スチルカメラ10は、色フィルタアレイの配置に基本的なベイヤパターンを用いている。
【００２５】
このパターンを適用した場合を説明する。この色フィルタアレイ11b がCCD イメ−ジセンサ11c の撮像面の直前に配設されている。
【００２６】
CCD イメ−ジセンサ11c は、色フィルタアレイ11b の要素に対応したCCD イメ−ジセンサ11c のセルが画素としてアレイ状に配置されている。このセルに被写界からの入射光が結像した際にこのセルでは入射光を光電変換している。信号読出しは、信号処理部12の信号処理が効率よく行えるように２ライン同時読出しの方法で行うことが好ましい。
【００２７】
前処理部11d は、供給される信号を所望のレベルに増幅処理し、A/D 変換部11e に出力する。A/D 変化部11e は、この前処理部11d から出力されるアナログ信号をディジタル信号に変換している。
【００２８】
信号処理部12には、図２に示すようにスチル用信号処理部12A,ムービー用信号処理部12B が備えられている。スチル用信号処理部12A では、解像度重視の静止画を表示させる際に施す信号処理が行われる。
【００２９】
スチル用信号処理部12A は、図示しないがたとえば、水平方向に画素が1280個ある場合、この画素数に対応した信号を入力し、画素数そのままに欠如させることなく信号処理を行って、信号を出力している。また、ムービー用信号処理部12B には、ブロックサンプリング部12a および表示データ生成部12b が備えられている。さらに、ブロックサンプリング部12a は、ブロック分割部120aおよびデータ抽出部122aを含んでいる。
【００３０】
基本的なベイヤパターンに対する信号処理の場合、ブロック分割部12a は、たとえば２ライン分の画素を水平方向に２画素単位毎にブロックとみなして扱えるように処理を行う。したがって、本実施例は１ブロックを計４画素で構成する。ブロック分割部12a は、たとえばカウンタで水平方向に区切ってブロック番号を付して２ライン分の画素データをブロック的にメモリ管理する。さらに、２ライン同時読出し後述する代表値の算出を行うと、垂直方向に１ラインおきに表示データが得られることになり垂直解像度が低下する。２ライン同時読出しても各水平ラインで代表値が算出できるようにするため、４ライン分のラインメモリを用いて各ラインに対する画素データの読出しおよび画素データの書込みタイミングを制御しながらブロック分割して画素データをデータ抽出部122aに出力する。この画素データの供給により各ライン毎に代表値を算出すると、垂直解像度を低下させることなく表示部11i に画像を表示させることができるようになる。
【００３１】
また、４画素をひとまとめに扱う複数のFIFO(First-In First-Out ）メモリで単に分割処理をして出力するように構成してもよい。この分割により、後段で述べるようにブロック毎の処理が容易化することができる。
【００３２】
データ抽出部122aは、ブロック内の各画素位置に対応して信号を取り出す。各画素位置とは、ブロックの位置P00, P01, P10, P11という４つの位置に対応してサンプリングを行う。このため、図示しないがデータ抽出部122aは、サンプルホールド回路を４つ有している。画素位置を固定してサンプリングすることにより、隣接するブロックの同じ画素位置のサンプリングには、１つおきにサンプリングすることになるので（たとえば、G00, G02, G04,・・・ ）、従来の各画素を一つひとつサンプリングする場合（たとえば、G00, R01, G02, R03,・・・）に比べてサンプリング周波数を半分の周波数で済ませることができる。サンプリングしたデータは、表示データ生成部12b の代表値算出部120bに供給される。
【００３３】
表示データ生成部12b には、代表値算出部120b、YC変換部122bおよび出力選択部124bが備えられている。代表値算出部120bは、ブロック内の任意に一つの画素をブロックの代表画素として規定し、この規定に基づいてこの画素のRGB の画素値を算出する。この算出を行うため、代表値算出部120bは、少なくとも加算器および1/2 の乗算器あるいは加算器および除算器からなる演算回路で構成される。また、YC変換部122bは、輝度信号Y と色差信号Cb, Crを算出する。この算出には、図示しないがRGB に対する３つの係数が格納された乗算部とこれら乗算結果を加算する加算器がある。色差信号Cb, Crは、それぞれ算出用に加算器を一つずつ備える。色差信号Cbの場合、加算器は、一方の側から代表値算出部120bで算出されたB の画素値を加算入力し、他方の側から上述したように算出された輝度信号Y を減算入力し、その出力を求める。同様に色差信号Crも算出する。
【００３４】
表示データ生成部12b は、代表値算出部120bおよびYC変換部122bを備えていることによってRGB 出力とYC出力に対応できる。しかしながら、表示部11i には、いずれか一方の出力形式で表示させることになる。したがって、ユーザがデータ入力部11h を介してシステム制御部13にどのような表示をさせるかモード等の設定が行われる。システム制御部13は、このユーザの意向を反映した制御信号を出力選択部124bに供給する。出力選択部124bは、システム制御部13の制御によって所望の出力形式を選択して出力する。出力選択部124bは、代表値算出部120bだけしか配設されていないとき当然不要になる。YC変換の処理には代表値算出部120bおよびYC変換部122bが必要だからである。
【００３５】
なお、YC変換された信号に対して、YC変換部122bで信号調整の一つであるアパーチャー補正により、たとえば、輪郭強調やコアリング等の効果が得られるように補正をかけたり彩度の向上を図るように色ゲイン調整を行ってもよい。
【００３６】
また、電子スチルカメラ10は、記録モードで使用する本体部11の構成を簡単に説明する。データ圧縮部11f は、信号処理部12から供給される輝度データY,  色差データ(B-Y), (R-Y)のビット数を低減する圧縮処理を行っている。データ圧縮方法には、たとえばハフマン符号化や差分PCM 等を用いている。これによりデータ圧縮部11f は、データ量を抑える処理を施して入出力インターフェース部11g に出力する。
【００３７】
システム制御部13は、図示しないが電子スチルカメラ10を制御するシステムコントローラ、タイミング信号発生部、およびアドレス制御部を含んでいる。システムコントローラは、電子スチルカメラ10を制御するためタイミング信号発生部、およびアドレス制御部も制御している。タイミング信号発生部は、電子スチルカメラ10の駆動および動作タイミングを調整する信号や制御信号等を発生して図１に示すように各部に供給している。また、アドレス制御部は、信号処理部12においてアドレスが関与するバッファメモリ部12a の制御等に用いて有利である。これらの制御は入出力インターフェース部11g 、コネクタ30、入出力インターフェース部(I/F)21 を介してメモリカード部20のメモリカード22のデータ、アドレスも制御する。特に、CCD イメージセンサ11c の駆動で信号処理部12での画素データのサンプリング処理と同じ出力形式で画素からの信号が得られるようにするためにシステム制御部13は、制御信号11n を用いて駆動信号発生部14を制御する（図２を参照）。駆動信号発生部14は、１ラインずつ画素からの信号を更新する２ライン同時読出しを行う駆動信号をCCD イメージセンサ11c に出力する。
【００３８】
データ入力部11h は、ユーザの操作するモード選択、シャッタ・レリーズボタン（いずれも図示せず）等の設定や押圧指示の情報をモード選択信号11m としてシステム制御部13に送っている。ユーザの操作するモードには、スチル撮影、ムービー撮影、RGB 出力およびYC出力等があって、これらのモードの中から所望のモードを電子スチルカメラ10に対して選択的に行えるようにしている。
【００３９】
次に電子スチルカメラ10の動作について簡単に説明する。CCD イメ−ジセンサ11c の各画素から得られる信号は、ベイヤパターンの色フィルタアレイ11b に対応してたとえば、２ライン同時に得られる。第２の色と第３の色に対応する赤と青のフィルタがそれぞれ一方の側のラインにしかないので、RGB の算出には２ライン必要なことが知られている。
【００４０】
ムービーモードで水平方向に各画素の信号を読み出すと、信号処理部12では、ブロック分割部120aにより２画素単位でブロック化される。データ抽出部122aは、画素位置P00, P10の信号は、一つおきに画素読出しが行われる。この結果、サンプリングは、従来、クロック信号と同じ周波数で読み出していたが、クロック信号の半分でサンプリングする。
【００４１】
サンプリングによって得られたデータRGB は、代表値算出部120bに供給される。代表値算出部120bは、ブロックの画素位置（P00, P01, P10, P11）で得られたデータを用いて、たとえば画素位置P00 の三原色RGB を代表値PR00, PG00, PB00を算出する。この算出は、代表値PR00, PG00, PB00に対する各画素位置での色の画素値の代入および画素値を用いた演算を式(1)
【００４２】
【数１】
PR00=P01
PG00=(P00+P11)/2                                             ・・・(1)
PB00=P10
で行う。具体的に式(1) に画素値を入れて演算すると、
【００４３】
【数２】
PR00=R01
PG00=(G00+G11)/2                                             ・・・(2)
PB00=B10
が得られる。
【００４４】
この算出された代表値を用いて代表位置における輝度信号PY00と色差信号PCr00, PCb00が、YC変換部122bで算出される。この算出は、式(3)
【００４５】
【数３】
PY00=0.3*PR00+0.59*PG00+0.11*PB00
Cr00=PR00-PY00                                               ・・・(3)
Cb00=PB00-PY00
によって得られる。この代表位置は、水平方向に色フィルタアレイの画素を見ると、一つおきに対応している。
【００４６】
また、供給される画素データを一旦複数ライン分のメモリに格納しこれらのメモリに対する書込みおよび読出し制御を行って得られる画素データを基に代表値を各ラインで算出する。前述したラインに関する代表値の算出後、そのライン直下のラインの代表値を算出する場合、ブロック分割部120aの制御によりたとえば画素位置（P10, P11, P20, P21）を新たなブロックとして代表位置をP11 に設定する。たとえば画素位置P11 の三原色RGB を代表値PR11, PG11, PB11を算出する。この算出は、代表値PR11, PG11, PB11に対する各画素位置での色の画素値の代入および画素値を用いた演算を式(4)
【００４７】
【数４】
PR11=P21
PG11=(P11+P20)/2                                             ・・・(4)
PB11=P10
で行う。具体的に式(4) に画素値を入れて演算すると、
【００４８】
【数５】
PR11=R21
PG11=(G11+G20)/2                                             ・・・(5)
PB11=B10
が得られる。
【００４９】
この算出された代表値を用いて代表位置における輝度信号PY11と色差信号PCr11, PCb11が、YC変換部122bで算出される。この算出は、式(6)
【００５０】
【数６】
PY11=0.3*PR11+0.59*PG11+0.11*PB11
Cr11=PR11-PY11                                               ・・・(6)
Cb11=PB11-PY11
によって得られる。このように算出した表示データ（すなわち、画素データ）は図示しないが一旦メモリに格納した後、システム制御部13の制御によって表示部11i に表示される。このとき、そのメモリ容量は、全画素を表示する場合のメモリ容量に比べて半分で済むことになる。また、垂直方向に対しても１ラインずつ間引き処理して表示させる場合、式(4) 〜式(6) の処理は不要になる。
【００５１】
次に電子スチルカメラ10の本実施例に対する変形例を図３のブロック構成図と図４のタイミングチャートを参照しながら説明する。この変形例は、ブロックサンプル部12a の構成を一部変更している。この場合、ブロックサンプル部12a は、図３に示すように、ブロック分割部120a、ブロック間引き部124a、ブロック生成部126aおよびブロック対応抽出部128aを備えている。
【００５２】
ブロック分割部120aは、前述した実施例と同じ構成を用いるので、詳細な説明は省略する。ブロック間引き部124aは、読み出したブロックを一つおきに間引き処理をする。間引き処理は、ブロック対応で処理する場合、上述したように一つおきにブロックをサンプリングするような扱いを行う構成にするとよい。また、間引き処理は、水平方向の画素に着目して間引きを行うと、２画素を出力し次の２画素は出力しないという処理を繰り返すように、カウンタと各画素に対する選択スイッチで切り換えることによって行ってもよい。ブロック間引き部124aは、この処理後の画素データをブロック生成部126aとブロック対応抽出部128aにそれぞれ供給する。
【００５３】
ブロック生成部126aは、間引き処理によって残ったブロックの画素を用いて間びいたブロックとは異なる新たなブロックを生成する。基本的に生成するブロックの構成要素は、残ったブロックと同じ構成で、計４画素である。この新たに生成されるブロックは、間引いたブロックを挟んで、たとえばブロック（P00, P01, P10, P11）とブロック（P04, P05, P14, P15）の２つ残したブロックから生成する。生成されるブロックは、残したブロックの各画素位置を用いて表すと、要素が（P01, P04, P11, P14）で構成される。図４(a) に示す色フィルタアレイ11b の配列の一部を例にこの新たなブロックを表すと、ブロックの画素の構成は、具体的に（R01, G04, G11, B14）となる。
【００５４】
このように構成要素を選択して取り出す必要があることから、ブロック生成部126aには、図示しないが各ブロックを一旦格納するメモリとブロックを水平方向に隣接させて並べて列方向に２画素を一度に間引く選択を行う選択部が備えられる。このメモリには２ブロックの格納によって形式的に２行４列の要素が含まれていることになる。選択部は、これらの要素の内、両端側に位置する２行１列をそれぞれ間引く。換言すると、中央に位置する２行２列分の要素だけを抽出すると言える。ブロック生成部126aは、この生成したブロックのデータをブロック対応抽出部128aに出力する。
【００５５】
ブロック対応抽出部128aは、画素位置を重視しながら画素データを抽出する。このとき、ブロック対応抽出部128aは、ブロック間引きにより残ったブロックに対するデータ抽出と新たに生成されたブロックに対するデータ抽出をそれぞれ行う。この２種類のブロックを考慮すると、サンプルホールド回路は、たとえば８つ設けて異なるタイミングでデータ抽出を行うことになる。データ抽出のタイミングは、一方の種類のブロックにおけるサンプリングタイミングに対して3/4 周期だけ他方の種類のブロックにおけるサンプリングタイミングがずれている。
【００５６】
このようにして得られた各画素データは表示データ生成部12b の代表値算出部120bに供給される。基本的に算出する上で用いる構成は同じである。ただし、式に代入される画素値が異なることになる。この点については後段の動作説明において詳細に説明する。新たに生成したブロックは、代表値算出部120bで間引いたブロックに対する代表位置における代表値の算出に用いられている。
【００５７】
次にこの本発明が適用された電子スチルカメラ10の変形例における動作を図４を用いて簡単に説明する。色フィルタアレイ11b は基本的なベイヤパターンで図４(a) のように配列されている。CCD イメージセンサ11c は、図示しないが水平転送路から２ライン分をたとえば図４(b) のクロック信号の立ち上がりで読み出される。読み出された画素の信号は、各ライン毎に図４(c) の関係で読み出される。ブロック分割処理を経て間引き処理が行われる。さらにブロックの画素位置に着目しているとき、図４(d) に示す信号（すなわち、画素データ）が得られる。図４(a) の色フィルタアレイ11b のパターンの中で破線で囲まれた画素が間引かれるブロックを示しているから、これらの信号は、それぞれP00 に対応する位置ではG00, G04, G08, G012,・・・ 、P01 に対応する位置ではR01, R05, R09, R013,・・・ 、P10 に対応する位置ではB10, B14, B18, B112,・・・ 、P11 に対応する位置ではG11, G15, G19, G111,・・・ という関係に出力される。
【００５８】
データ抽出は、各残されたブロックの要素となる画素からの信号が読み出されたタイミングで一度にサンプリングすることを考慮すると、たとえば最初のブロックに対して時刻T1になる。次の水平方向に残るブロックに対するデータ抽出は、時刻T2になる。この間の周期は、従来の画素毎のサンプリング周期に同じ図４(b) の周期と比べて4 倍に延びている。すなわち、サンプリング周波数が1/4 になっている。このようにして供給された画素データに基づいて輝度信号Y,  色差信号Cr, Cbを算出すると、各ブロックの代表値が生成される。これらの信号を便宜上一つの時間領域に表した状態が図４(f) である。この場合の代表値の算出は前述した実施例と同じである。
【００５９】
これに対して、新たに生成したブロックを再構築されたブロックということから再ブロックと呼ぶことにする。この再ブロックを用いて、間引いたブロックの代表値を算出すると、一度に画素値をすべて抽出することはできない。しかしながら、最も速く画素値の抽出を可能にするのは、画素G04, B14が得られたとき、すなわち時刻T3である。時刻T3で再ブロック中の画素データが抽出される。この画素データを用いて間引きしたブロックの代表位置P02 の代表値を算出する。すなわち、図４(a) のG02 に対応する位置である。代表位置P02 の代表値は、再ブロックの位置で表すと式(7)
【００６０】
【数７】
PR02=P01
PG02=(P11+P04)/2                                             ・・・(7)
PB02=P14
を用いて算出される。具体的に式(7) に画素値を入れて演算すると、
【００６１】
【数８】
PR02=R01
PG02=(G11+G04)/2                                             ・・・(8)
PB02=B14
が得られる。
【００６２】
この算出された代表値を用いて代表位置における輝度信号PY02と色差信号PCr02, PCb02が、YC変換部122bで算出される。この算出は、式(6) に代入する代表値がP02 になる。
【００６３】
【数９】
PY02=0.3*PR02+0.59*PG02+0.11*PB02
Cr02=PR02-PY02                                               ・・・(9)
Cb02=PB02-PY02
によって得られる。このようにして、間引いたにも関わらず、残したブロックから間引いたブロックのデータを算出している。結果的に、サンプリングは、水平方向に画素をすべて読み出す場合に比べてサンプリング周波数を1/4 で済ませることができる。また、表示データ（すなわち、画素データ）は前述の実施例と同様に表示部11i に供給する前にメモリに一旦算出した画素データを格納すると、このときのメモリ容量は従来の全画素を算出した場合に比べて当然半分にすることができる。
【００６４】
この表示データを表示部11i に表示させた場合、ベイヤパターンで問題になる偽色の発生を前述した演算処理によって算出していることから、低減させることができる。そして、これにより、垂直解像度も低下させることを抑えながら、いわゆるサムネイル画のように小さなインデックス画を表示する表示部11i であっても十分視認することができるように表示データが提供されるようになる。
【００６５】
この変形例でもモード選択に応じてシステム制御部13が制御信号11n で駆動信号発生部14の動作を制御している。駆動信号発生部14は、タイミング信号として供給される駆動信号をCCD イメージセンサ11b に供給する。このとき、駆動信号は、CCD イメージセンサ11b をこのブロック間引きされた２ライン同時読出しを行わせる信号である。この駆動信号によりCCD イメージセンサ11b は、ブロック分割されたと同等の信号を各部を介して信号処理部12に供給することができる。この駆動により、信号処理の構成を省くこともできる。
【００６６】
このように構成することにより、垂直解像度を損なうことなく、ベイヤパターンで発生する偽色を改善することができる。また、サンプリング周波数を抑えて動作させることができるので、ムービーモード（すなわち、動画再生）での動作が低消費電力で行える。このため、電池駆動の装置に適用すると、その回路構成も簡単な構成で実現させることができ、かつ消費電力の観点からも非常に有効である。間引きを行うことにより、この効果を一層高くすることができる。
【００６７】
なお、前述した実施例では、画像データの供給手段にCCD イメージセンサを用いたが、この手段に限定されるものでなく、たとえばC-MOS (Complementary-Metal Oxide Semiconductor）タイプの撮像手段を用いても上述した同様の効果が得られることは言うまでもない。
【００６８】
【発明の効果】
このように本発明の信号処理装置によれば、制御手段の制御に応じてブロックサンプリング手段でベイヤパターンの画素において複数の画素を一つのブロックとして扱うことにより色フィルタパターンを水平方向に分割し、ブロックサンプリング手段は、表示に用いるこのブロックの各画素から供給されるデータをサンプリングする。このブロックに対応した各画素位置でのサンプリングを行うことにより、サンプリング周波数を従来のサンプリング周波数に比べて半分になる。画素値算出手段は、ブロックサンプリング手段で得られた複数の画素のデータを用いてこのブロックにおける第１、第２および第３の色の画素値をそれぞれ一つの画素について算出する。ブロック内の画素からの信号を用いて算出することにより水平方向に見て画素を半分にする。この算出された画素を用いて表示データ生成手段で表示データを算出すると、ベイヤパターンに特有な垂直方向に発生する偽色だけでなく、水平方向の偽色等も斜め２画素の平均により抑制することができる。これにより、色再現性を従来の画像よりもよくすることができる。上述したように、サンプリング周波数を抑えて動作させることにより、ムービーモード（すなわち、動画再生）での動作が低消費電力で行える。電池駆動の装置に適用すると、その回路構成も簡単な構成で実現させることができ、かつ消費電力の観点からも非常に有効である。間引きを行うことにより、この効果を一層高くすることができる。
【００６９】
また、本発明の信号処理装置の信号処理方法によれば、供給するタイミング信号に応じてベイヤパターンの画素を複数のラインを水平方向に複数の画素で分割してブロックとして扱うブロック分割を行い、このブロックの各画素から供給されるデータを画素位置に対応してサンプリング処理を行う。ブロック内の各画素位置毎に対応してサンプリングを行うことにより、サンプリング周波数を従来のサンプリング周波数に比べて半分の周波数にすることができる。画素値の算出は、サンプリングで得られた複数の画素のデータを用いてこのブロックにおける第１、第２および第３の色の画素値を算出する。算出された画素値の画素は、ブロック内では水平方向に一画素おきに存在する。この算出された画素を用いて表示データを算出すると、水平方向の画素数を半分にするとともに、ベイヤパターンで撮像した画像において発生する垂直方向の偽色だけでなく、水平方向の偽色等も斜め２画素の平均により抑制して、色再現性をよくすることができる。サンプリング周波数を抑えて動作させることにより、ムービーモード（すなわち、動画再生）での動作が低消費電力で行える。電池駆動の装置に適用すると、その回路構成も簡単な構成で実現させることができ、かつ消費電力の観点からも非常に有効である。間引きを行うことにより、この効果を一層高くすることができる。
【図面の簡単な説明】
【図１】本発明の信号処理装置を電子スチルカメラに適用した際の概略的なブロック図である。
【図２】図１の電子スチルカメラにおける信号処理部の概略的な構成および信号処理部の各部とシステム制御部との接続関係を示すブロック図である。
【図３】図２の信号処理部内のブロックサンプリング部の変形例の概略的な構成を示すブロック図である。
【図４】図３の変形例で構成された信号処理部を用いた電子スチルカメラの概略的な動作を説明するタイミングチャートである。
【符号の説明】
10  電子スチルカメラ
11  カメラ本体部
12  信号処理部
13  システム制御部
14  駆動信号発生部
20  メモリカード部
11b 色フィルタアレイ
11c CCD イメージセンサ
12a ブロックサンプリング部
12b 表示データ生成部
120a  ブロック分割部
122a  データ抽出部
124a  ブロック間引き部
126a  ブロック生成部
128a  ブロック対応抽出部
120b  代表値算出部
122b  YC変換部
【図１】
0003954204.tif 000002
【図２】
0003954204.tif 000003
【図３】
0003954204.tif 000004
【図４】
0003954204.tif 000005