(57)【特許請求の範囲】
【請求項１】
２次元配列された複数画素により所定の色フィルタを介した被写体光を受光して、該複数画素での各受光量に対応する原信号を出力する撮像手段を備える撮像素子であって、
上記撮像手段から出力される原信号から、擬似輝度信号及び擬似色差信号を生成して出力する信号処理手段を更に備えることを特徴とする撮像素子。
【請求項２】
上記信号処理手段は、
上記撮像手段から出力される原信号を第１の画素ブロック単位で記憶する第１の記憶手段と、
上記第１の記憶手段に記憶された原信号に所定の演算処理を行って、上記擬似輝度信号及び擬似色差信号を生成する演算手段とを含むことを特徴とする請求項１記載の撮像素子。
【請求項３】
上記信号処理手段は、上記演算手段で生成された擬似輝度信号及び擬似色差信号を各々第２の画素ブロック単位で記憶する第２の記憶手段を更に含むことを特徴とする請求項２記載の撮像素子。
【請求項４】
上記信号処理手段は、第２の画素ブロック単位で上記擬似輝度信号及び擬似色差信号を各々出力することを特徴とする請求項１記載の撮像素子。
【請求項５】
上記第２の画素ブロックサイズは、上記信号処理手段の出力先での処理に対応したサイズであることを特徴とする請求項３又は４記載の撮像素子。
【請求項６】
カラー撮像素子により被写体を撮像し、該撮像素子の出力信号に対して所定の画像処理を行う画像処理装置であって、
上記カラー撮像素子は、請求項１〜５の何れかに記載の撮像素子であることを特徴とする画像処理装置。
【請求項７】
カラー撮像素子を含む撮像装置と、上記撮像装置の出力信号に対して所定の画像処理を行う画像処理装置とが少なくとも接続されてなる画像処理システムであって、
上記カラー撮像素子は、請求項１〜５の何れかに記載の撮像素子であることを特徴とする画像処理装置。
【請求項８】
所定の色フィルタを介した被写体光が入射される２次元配列された複数画素を有する撮像部と、該撮像部の出力に所定の信号処理を行う信号処理部とが同一チップ上に設けてなる撮像素子の動作を実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体であって、該処理ステップは、
上記撮像部にて、上記複数画素での各受光量に対応する原信号を出力する撮像ステップと、
上記信号処理部にて、上記第１のステップにより上記撮像部から出力される原信号から、擬似輝度信号及び擬似色差信号を生成して出力する信号処理ステップとを含むことを特徴とする記憶媒体。
【請求項９】
上記信号処理ステップは、
上記第１のステップにより出力される原信号を第１の画素ブロック単位で記憶する第１の記憶ステップと、
上記第１の記憶ステップにより記憶された原信号に所定の演算処理を行って、上記擬似輝度信号及び擬似色差信号を生成する演算ステップとを含むことを特徴とする請求項８記載の記憶媒体。
【請求項１０】
上記信号処理ステップは、上記演算ステップにより生成された擬似輝度信号及び擬似色差信号を各々第２の画素ブロック単位で記憶する第２の記憶ステップを更に含むことを特徴とする請求項９記載の記憶媒体。
【請求項１１】
上記信号処理ステップは、第２の画素ブロック単位で上記擬似輝度信号及び擬似色差信号を各々出力するステップを含むことを特徴とする請求項８記載の記憶媒体。
【請求項１２】
上記信号処理ステップは、上記第２の画素ブロックサイズを、上記撮像素子の出力先での処理に対応したサイズとするステップを含むことを特徴とする請求項１０又は１１記載の記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特に、カラー画像信号を得るための撮像素子、それを用いた画像処理装置、画像処理システム、及びそれを実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体にに関するものである。
【０００２】
【従来の技術】
従来より、色フィルタを介した被写体光が入射される撮像素子により、該被写体の画像信号（カラー画像信号）を得て、この画像信号に対して圧縮処理や伸張処理等の画像処理を行って、画面表示したり、記録媒体に記録したりする画像処理装置がある。
例えば、このような画像処理装置の圧縮処理では、撮像素子から出力される信号を所定の画素ブロックサイズでブロック化し、ブロック単位でＤＣＴ変換、量子化、及び可変長符号化等の処理を行って、圧縮データを得るようになされている。
【０００３】
ここで、圧縮処理等の画像処理を行う前段階の処理（以下、「前処理」と言う）として、撮像素子の出力信号（例えば、撮像素子で使用する色フィルタが補色フィルタであればＹｅ，Ｃｙ，Ｍｇ，Ｇｒの原信号、原色フィルタであればＲ，Ｇ，Ｂの原信号）を、フレームメモリに一旦蓄積し、その原信号に対して、ホワイトバランス及びγ補正等の色処理を行った後、輝度信号（Ｙ）及び色差信号（Ｕ，Ｖ）を得る処理が行われる。したがって、このような前処理により得られた輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）に対して、上記の画像処理が行われることになる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の撮像素子の出力はシリアル出力であるため、上記の前処理のためのフレームメモリが必要であると共に、該前処理に必要な分の撮像素子の出力がフレームメモリに蓄積されるまでの無駄な時間を要していた。さらには、上記の前処理には膨大な演算を要し、その分処理速度の高速化が非常に困難であった。
【０００５】
したがって、従来の撮像素子では、後段の圧縮処理や伸張処理等の画像処理を効率的に行うことができなかった。
そこで、本発明は、上記の欠点を除去するために成されたもので、高精度な画像処理を効率的に行うことが可能な撮像素子、及びそれを実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体を提供することを目的とする。
また、本発明は、上記の欠点を除去するために成されたもので、高精度な画像処理を効率的に行う画像処理装置及び画像処理システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
斯かる目的下において、第１の発明は、２次元配列された複数画素により所定の色フィルタを介した被写体光を受光して、該複数画素での各受光量に対応する原信号を出力する撮像手段を備える撮像素子であって、上記撮像手段から出力される原信号から、擬似輝度信号及び擬似色差信号を生成して出力する信号処理手段を更に備えることを特徴とする。
【０００７】
第２の発明によれば、上記第１の発明において、上記信号処理手段は、上記撮像手段から出力される原信号を第１の画素ブロック単位で記憶する第１の記憶手段と、上記第１の記憶手段に記憶された原信号に所定の演算処理を行って、上記擬似輝度信号及び擬似色差信号を生成する演算手段とを含むことを特徴とする。
【０００８】
第３の発明によれば、上記第２の発明において、上記信号処理手段は、上記演算手段で生成された擬似輝度信号及び擬似色差信号を各々第２の画素ブロック単位で記憶する第２の記憶手段を更に含むことを特徴とする。
【０００９】
第４の発明によれば、上記第１の発明において、上記信号処理手段は、第２の画素ブロック単位で上記擬似輝度信号及び擬似色差信号を各々出力することを特徴とする。
【００１０】
第５の発明によれば、上記第３又は４の発明において、上記第２の画素ブロックサイズは、上記信号処理手段の出力先での処理に対応したサイズであることを特徴とする。
【００１１】
第６の発明によれば、カラー撮像素子により被写体を撮像し、該撮像素子の出力信号に対して所定の画像処理を行う画像処理装置であって、上記カラー撮像素子は、請求項１〜５の何れかに記載の撮像素子であることを特徴とする。
【００１２】
第７の発明によれば、カラー撮像素子を含む撮像装置と、上記撮像装置の出力信号に対して所定の画像処理を行う画像処理装置とが少なくとも接続されてなる画像処理システムであって、上記カラー撮像素子は、請求項１〜５の何れかに記載の撮像素子であることを特徴とする。
【００１３】
第８の発明によれば、所定の色フィルタを介した被写体光が入射される２次元配列された複数画素を有する撮像部と、該撮像部の出力に所定の信号処理を行う信号処理部とが同一チップ上に設けてなる撮像素子の動作を実施するための処理ステップをコンピュータが読出可能に格納した記憶媒体であって、該処理ステップは、上記撮像部にて、上記複数画素での各受光量に対応する原信号を出力する撮像ステップと、上記信号処理部にて、上記第１のステップにより上記撮像部から出力される原信号から、擬似輝度信号及び擬似色差信号を生成して出力する信号処理ステップとを含むことを特徴とする。
【００１４】
第９の発明によれば、上記第８の発明において、上記信号処理ステップは、上記第１のステップにより出力される原信号を第１の画素ブロック単位で記憶する第１の記憶ステップと、上記第１の記憶ステップにより記憶された原信号に所定の演算処理を行って、上記擬似輝度信号及び擬似色差信号を生成する演算ステップとを含むことを特徴とする。
【００１５】
第１０の発明によれば、上記第９の発明において、上記信号処理ステップは、上記演算ステップにより生成された擬似輝度信号及び擬似色差信号を各々第２の画素ブロック単位で記憶する第２の記憶ステップを更に含むことを特徴とする。
【００１６】
第１１の発明によれば、上記第８の発明において、上記信号処理ステップは、第２の画素ブロック単位で上記擬似輝度信号及び擬似色差信号を各々出力するステップを含むことを特徴とする。
【００１７】
第１２の発明によれば、上記第１０又は１１の発明において、上記信号処理ステップは、上記第２の画素ブロックサイズを、上記撮像素子の出力先での処理に対応したサイズとするステップを含むことを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１９】
（第１の実施の形態）
本発明は、例えば、図１に示すような画像処理システム１００に適用される。
この画像処理システム１００は、撮像素子ＩＣチップ（以下、「撮像部」と言う）１０及び圧縮処理装置２０からなる送信側（撮像装置）と、伸張処理装置３０、色処理装置４０、及び表示／記録装置５０からなる受信側（再生装置）との間でデータ通信するようになされている。
まず、画像処理システム１００の一連の動作について説明する。
【００２０】
送信側において、撮像部１０は、詳細は後述するが、色フィルタを介して被写体光が入射される撮像素子（受光素子）１１と、撮像素子１１から出力される原信号から擬似的（簡易的）な輝度信号Ｙ’、擬似色差信号Ｕ’，Ｖ’を生成して出力する輝度／色差前処理（信号処理）部１３とを備えている。
ここでは、色フィルタとして、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、グリーン（Ｇ）の４色の補色フィルタを用いることとする。したがって、撮像部１０からは、４色の補色系の原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒから生成された擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’が出力される。
【００２１】
圧縮処理装置２０は、撮像部１０から出力される擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’に対して、ＪＰＥＧ，ＭＰＥＧ、Ｈ．２６１、ベクトル量子化等の情報圧縮技術を用いた圧縮処理を行う。
具体的には例えば、先ず、所定の画素ブロック毎にＤＣＴ（Discrete Cosine Transform : 離散コサイン変換）を行う。次に、ＤＣＴした擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’を量子化することで、高周波成分を除去した圧縮データを得る。そして、その圧縮データを符号化する。ここでの符号化処理は、種々の方式を用いることが可能であるが、データの発生頻度に応じた符号長を割り当てる可変長符号化を用いることで圧縮率をさらに高めることが可能となる。
このようにして、圧縮処理装置２０にて、圧縮及び符号化されたデータは、例えば、通信回線等の媒体を介して、受信側の伸張処理装置３０に対して送信される。
【００２２】
受信側において、情報伸張装置３０は、送信側から送られてきたデータに対して、上述の圧縮装置装置２０におけるＤＣＴ及び量子化処理の逆の処理を行うことで、擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’を復元する。
【００２３】
色処理装置４０は、情報伸張装置３０で得られた擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’に対して、ホワイトバランス補正やγ補正等の色処理のような、良好な画質を得るために必要な種々の補正を行うことで、輝度信号Ｙ及び色差信号Ｕ，Ｖを生成する。
【００２４】
表示／記録装置５０は、色処理装置４０にて生成された輝度信号Ｙ及び色差信号Ｕ，Ｖを画面表示したり、記録媒体に記録したりする。
【００２５】
ここで、上述のような画像装置システム１００の最も特徴とするところは、撮像部１０にある。
【００２６】
具体的には、まず、撮像部１０は、図２に示すような撮像素子ＩＣチップからなり、補色フィルタを介しての被写体光を受光する複数の画素（ホトダイオード）からなるセンサ２０１と、センサ２０１上の各画素を走査して該画素の蓄積電荷を電気信号（原信号）Ｙｅ，Ｃｙ，Ｍｇ，Ｇに変換して出力する読出回路２０２と、読出回路２０２により順次出力される信号が保持される２×２のアナログメモリ２０３と、アナログメモリ２０３に保持された信号に所定のマトリックス演算を行って擬似輝度信号Ｙ’及び擬似色差信号Ｕ’，Ｖ’を生成して出力するマトリックス回路２０４1 〜２０４3 とを、同一撮像素子ＩＣチップ上に設けた構成としている。
尚、センサ２０１及び読出回路２０２が上記図１の撮像素子１１に相当し、アナログメモリ２０３及びマトリックス回路２０４1 〜２０４3 が上記図１の輝度／色差前処理部１３に相当する。
このような撮像部１０は、次のように動作する。
【００２７】
先ず、センサ２０１には、被写体光が入射される。このとき、被写体光は、イエロー（Ｙｅ）、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、グリーン（Ｇ）の４色の補色フィルタ（図示せず）を介してセンサ２０１に入射される。
【００２８】
読出回路２０２は、センサ２０１上の各画素を走査して、画素各々に蓄積された電荷を、電気信号（原信号）に変換（光電変換）する。したがって、読出回路２０２では、イエロの色のフィルタを介し入射された画素の原信号Ｙｅ、シアンの色のフィルタを介して入射された画素の原信号Ｃｙ、マゼンダの色のフィルタを介して入射された画素の原信号Ｍｇ、及びグリーンの色のフィルタを介して入射された画素の原信号Ｇが得られることになる。
このとき、読出回路２０２は、センサ２０１から２×２の４画素ブロック単位でセンサ２０１を走査する。例えば、上記図２に示すように、先ず、最初のブロックＢ1 の各画素を走査し、次に、１画素シフトした次のブロックＢ2 の各画素を走査し、次に、１画素シフトした次のブロックＢ3 の各画素を走査する。
このようにして、読出回路２０２は、４画素ブロック単位での原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇを得て、図３に示すように、それらを２×２のアナログメモリ２０３に格納する。
【００２９】
アナログメモリ２０３に格納された４つの原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇは、マトリックス回路２０４1 〜２０４3 に対して各々パラレルに出力される。
マトリックス回路２０４1 〜２０４3 は各々、アナログメモリ２０３からの４つの原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇにマトリックス演算を行って、擬似輝度信号Ｙ’、色差信号Ｕ’、及び色差信号Ｖ’を得る。
すなわち、マトリックス回路２０４1 は、例えば、
Ｙ’＝Ｙｅ＋Ｍｇ＋Ｃｙ＋Ｇ                  ・・・（１）
なる式（１）により擬似輝度信号Ｙ’を求め、マトリックス回路２０４2 は、例えば、
Ｕ’＝（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）          ・・・（２）
なる式（２）により擬似色差信号Ｕ’を求め、マトリックス回路２０４3 は、例えば、
Ｖ’＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）          ・・・（３）
なる式（３）により擬似色差信号Ｖ’を求める。
【００３０】
したがって、マトリックス回路２０４1 〜２０４3 で得られた擬似輝度信号Ｙ’、擬似色差信号Ｕ’、及び擬似色差信号Ｖ’が、撮像部１０の出力とされ、上記図１の圧縮処理装置２０にパラレルに供給されることになる。
【００３１】
上述のように、本実施の形態では、撮像素子１１から出力される原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’を得るための輝度／色差前処理部１３を、撮像素子１１と同一チップ上に設けるように構成した。これにより、擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’を得るための演算処理を高速化することができる。したがって、後段の圧縮処理や伸張処理等の画像処理を効率的に行うことができる。
また、処理が高速化した分を、圧縮処理や伸張処理等の画像処理の精度向上のためにあてることができるため、高品位の画質を得ることができる。
【００３２】
また、撮像部１０にて得られる擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’に対して、圧縮処理装置２０にて圧縮及び符号化を行って、伸張処理装置３０にて伸張した後に、色処理装置４０にて高品位の画質を得るための、ホワイトばらっす補正やγ補正等の色処理を行うように構成した。これにより、圧縮処理後の伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることもできる。したがって、表示／記録装置５０により記録媒体に記憶したり、通信回線を介して伝送したりする際の情報量を大幅に削減できるとともに、画質の劣化を可及的に防止して高品位の画質を得ることもできる。
【００３３】
尚、本実施の形態では、上記図２の読出回路２０２にて、２×２の４画素ブロック単位（Ｂ1 ，Ｂ2 ，Ｂ3 ，・・・）でセンサ２０１を走査して、４つの原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇを得るようにしたが、例えば、２×８の８画素ブロック単位で走査して、８つの原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇ，Ｙｅ，Ｃｙ，Ｇ，Ｍｇを得るようにしてもよい。
この場合、読出回路２０２は、図４に示すように、所定の演算処理（縦２画素ずつの加算処理）を行うことで、センサ２０１から読み出した８つの原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇ，Ｙｅ，Ｃｙ，Ｇ，Ｍｇから、４つの信号（Ｙｅ＋Ｍｇ），（Ｃｙ＋Ｇ），（Ｙｅ＋Ｇ），（Ｃｙ，Ｍｇ）を得て、これらを２×２のアナログメモリ２０３に格納する。マトリックス回路２０４1 〜２０４3 は各々、アナログメモリ２０３に格納された４つの信号（Ｙｅ＋Ｍｇ），（Ｃｙ＋Ｇ），（Ｙｅ＋Ｇ），（Ｃｙ，Ｍｇ）から、例えば、上記式（１）〜式（３）により、擬似輝度信号Ｙ’、及び色差信号Ｕ’，Ｖ’を得る。
【００３４】
また、１画素シフトしながら、２×２の４画素ブロック単位でセンサ２０１を走査するようにしたが、単純に４画素ブロック単位で順次走査するようにしてもよい（すなわち、２画素シフトしながら走査する）。
【００３５】
また、上記図２のセンサ２０１において、色フィルタとして補色フィルタを用いるようにしたが、例えば、原色フィルタを用いるようにしてもよい。
この場合、読出回路２０２では、レッドの色のフィルタを介して入射された画素の原信号Ｒ、グリーンの色のフィルタを介して入射された画素の原信号Ｇ、及びブルーの色のフィルタを介して入射された画素の原信号Ｂが得られる。したがって、アナログメモリ２０３には、図５に示すように、それらの原信号Ｒ，Ｇ，Ｇ，Ｂが格納される。マトリックス回路２０４1 は、例えば、
Ｙ’＝Ｒ＋２Ｇ＋Ｂ                          ・・・（１’）
なる式（１’）により擬似輝度信号Ｙ’を求め、マトリックス回路２０４2 は、マトリックス回路２０４1 で得られた擬似輝度信号Ｙ’を用いて、例えば、
Ｕ’＝Ｒ−Ｙ’                              ・・・（２’）
なる式（２’）により擬似色差信号Ｕ’を求め、マトリックス回路２０４3 も、マトリックス回路２０４1 で得られた擬似輝度信号Ｙ’を用いて、例えば、
Ｖ’＝Ｂ−Ｙ’                              ・・・（３’）
なる式（２’）により擬似色差信号Ｖ’を求める。
【００３６】
また、圧縮処理装置２０での圧縮処理として、ＤＣＴ及び可変長符号化を用いたが、これに限らず、例えば、コードブック圧縮技術（ベクトル量子化技術）を用いることもできる。
このコードブック圧縮技術を用いる場合、先ず、圧縮処理装置２０は、撮像部１０で得られた擬似輝度信号Ｙ’、及び擬似色差信号Ｕ’，Ｖ’と、予め記憶している複数のコードブック（パターン）と比較し、その中で最も似通ったパターンを見つけ出して、そのパターンに対応するコード番号を、受信側の伸張処理装置３０に対して送信する。
伸張処理装置３０は、圧縮処理装置２０から送られてきたコード番号に対応するパターンを、予め記憶している複数のコードブック取り出すことにより、圧縮処理装置２０側で圧縮された画像信号を再現する。
【００３７】
（第２の実施の形態）
本実施の形態では、上記図１に示した撮像部１０の構成を、例えば、図６に示すような構成とする（以下、ここでの撮像部１０を「撮像部１０’」とする）。
【００３８】
すなわち、撮像部１０’は、上記図２に示した構成に加えて、３つのマトリックス回路２０４1 〜２０４3 に各々対応した３つのアナログメモリ２０５1 〜２０５3 を備えた構成としている。
このような撮像部１０’は、次のように動作する。
【００３９】
尚、３つのアナログメモリ２０５1 〜２０５3 は、上記図１の輝度／色差前処理部１３に含まれるものである。
また、ここでは説明の簡単のために、上記図６の撮像部１０’において、上記図２の撮像部１０と同様に動作する箇所には同じ符号を付し、その詳細な説明は省略する。
【００４０】
先ず、上記図２の撮像部１０と同様にして、読出回路２０２は、１画素シフトしながら４画素ブロック単位（Ｂ1 ，Ｂ2 ，・・・）でセンサ２０１を走査することで、原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇを得て、それらを２×２画素のアナログメモリ２０３に格納する。マトリックス回路２０４1 〜２０４3 は各々、アナログメモリ２０３に格納された信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから、上記式（１）〜（３）により、擬似輝度信号Ｙ’、擬似色差信号Ｕ’、及び擬似色差信号Ｖ’を得る。
【００４１】
マトリックス回路２０４1 〜２０４3 で得られた擬似輝度信号Ｙ’、擬似色差信号Ｕ’、及び擬似色差信号Ｖ’は各々、対応するアナログメモリ２０５1 〜２０５3 の同じアドレスに格納される。
アナログメモリ２０５1 〜２０５3 は各々同様の構成としており、撮像部１０’の後段に設けられた圧縮処理装置２０に対して最適なサイズのメモリである。ここでは、その一例として、６×６のアナログメモリとする。
【００４２】
そこで、例えば、上記図６に示すように、アナログメモリ２０５1 において、センサ２０１の最初のブロックＢ1 の各画素に対応する原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから生成された擬似輝度信号Ｙ’（マトリックス２０４1 の出力）は、アナログメモリ２０５1 の左上端の画素位置Ｄ1 に格納される。このときの画素位置Ｄ1 は、図７に示すように、ブロックＢ1 の重心の位置（画素の走査に対して重心の位置）Ｏ1 に対応している。
また、次のブロックＢ2 の各画素に対応する原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇから生成された擬似輝度信号Ｙ’は、画素位置Ｄ1 の次の画素位置Ｄ2 に格納される。この画素位置Ｄ2 も、上記図７に示すように、ブロックＢ2 の重心の位置Ｏ2 に対応している。
以降同様にして、マトリックス２０４1 で得られた擬似輝度信号Ｙ’は、順次アナログメモリ２０５1 の所定の画素位置に格納される。
【００４３】
また、アナログメモリ２０５2 及び２０５3 に対しても、上述のアナログメモリ２０５1 と同様にして、擬似色差信号Ｕ’及び擬似色差信号Ｖ’が各々対応して６×６画素分格納される。
【００４４】
このようにして、各アナログメモリ２０５1 〜２０５3 に各々格納された６×６画素分の擬似輝度信号Ｙ’、擬似色差信号Ｕ’、及び擬似色差信号Ｖ’が撮像部１０’の出力とされる。
したがって、撮像部１０’の後段に設けられた圧縮処理装置２０には、擬似輝度信号Ｙ’、擬似色差信号Ｕ’、及び擬似色差信号Ｖ’が６×６画素単位で、すなわち本装置での処理に最適なサイズ単位でパラレル（又はシリアル）に供給されることになる。
【００４５】
上述のように、本実施の形態では、撮像部１０’から圧縮処理装置２０に対しては、上記擬似輝度信号Ｙ’、擬似色差信号Ｕ’、及び擬似色差信号Ｖ’が、圧縮処理装置２０での処理に対して最適なサイズ単位で出力されるように構成したことにより、さらなる処理の高速化を図ることができる。
【００４６】
具体的には例えば、撮像部１０’の後段に設けられている圧縮処理装置２０にて、上述したコードブック圧縮技術が用いられていた場合、アナログメモリ２０５1 〜２０５3 のサイズを、そのコードブックのサイズ（例えば、４×４画素）よりも大きいサイズ（ここでの６×６画素）とする。
これにより、コードブック検索のために必要な画素分（ここでは６×６画素）の擬似輝度信号Ｙ’、擬似色差信号Ｕ’、及び擬似色差信号Ｖ’が順次、撮像部１０’から出力される。
このときの撮像部１０’の出力、すなわちアナログメモリ２０５1 〜２０５3 の出力については、図８に示すように、その６×６画素の信号のうち、先ず最初に中心の４×４画素の信号が出力され、その後、該中心周辺の２０画素の信号が出力されるようにする。そして、圧縮処理装置２０は、上記図８に示したようにして６×６画素単位で順次出力された信号に対して、図９に示すように、中心の４×４画素の信号が隣接するようにして、６×６画素単位のコードブック検索処理を順次進めていく。
したがって、圧縮処理装置２０は、従来のように、処理に必要な６×６画素分の信号が出力されるのを待つことなしに、６×６画素単位のコードブック検索処理を順次進めていくことができる。
【００４７】
尚、本実施の形態においても、センサ２０１の走査を、単純に４画素ブロック単位で行うようにしてもよい（すなわち、上記図６において、ブロックＢ1 の次にブロックＢ2 を読まずにブロックＢ3 を読むことで２画素シフトする）が、１画素シフトしながら行うようにした方が好ましい。
これは、単純に４画素ブロック単位で走査するようにすると、図１０に示すように、６×６のアナログメモリ上での各画素が、センサ２０１での各画素に対して、１つ置きになってしまうため、その分解像度が落ちてしまうからである（ここでは、解像度が１／４になってしまう）。これに対して、１画素シフトしながら走査するようにすれば、上記図７に示したように、６×６のアナログメモリ上での各画素が全て、センサ２０１での各画素に対応するため、解像度は落ちることはない。
【００４８】
また、本発明の目的は、上述した各実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００４９】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００５０】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
【発明の効果】
以上説明したように本発明では、被写体光を受光して得られた原信号から、擬似輝度信号及び擬似色差信号を得るための信号処理（マトリックス演算等）を、撮像素子外ではなく同一チップ上で行うように構成した。
これにより、処理速度の高速化を図ることができる。このため、撮像素子の出力に対して圧縮処理や伸張処理等の画像処理を効率的に行うことができる。また、処理速度が高速化した分を、画像処理の精度向上のためにあてることで、高品位な画質を得ることもできる。
【００５３】
また、擬似輝度信号及び擬似色差信号を、所定の画素ブロック単位で出力するように構成すれば、その出力先にて、効率的な処理を行うことができる。例えば、その出力先の圧縮処理に最適な画素ブロックサイズ単位で、擬似輝度信号及び擬似色差信号を圧縮処理に与えることで、圧縮処理に必要なブロックサイズ分の信号を蓄積する必要もなく、また、蓄積されるのを待つことなしに、処理を順次進めていくことができる。
【００５４】
よって、本発明によれば、高精度な画像処理を効率的に行うことができる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した画像処理システムの構成を示すブロック図である。
【図２】上記画像処理システムの撮像装置の内部構成を示すブロック図である。
【図３】上記撮像装置において、センサで得られた原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇが２×２のアナログメモリに格納される状態を説明するための図である。
【図４】上記センサから８つの原信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇ，Ｙｅ，Ｃｙ，Ｇ，Ｍｇを読み出し、上記２×２のアナログメモリに格納する場合を説明するための図である。
【図５】色フィルタを原色フィルタとして、上記センサで得られた原信号Ｒ，Ｇ，Ｇ，Ｂが２×２のアナログメモリに格納される状態を説明するための図である。
【図６】第２の実施の形態において、上記画像処理システムの撮像部の内部構成を示すブロック図である。
【図７】上記撮像部において、６×６のアナログメモリに信号を格納する際の、該格納位置（アドレス）とセンサの関係を説明するための図である。
【図８】上記撮像部の後段の圧縮処理装置において、コードブック圧縮技術を用いた合の、該撮像部からの信号出力を説明するための図である。
【図９】上記圧縮処理装置において、上記撮像部の出力信号に対する処理を説明するための図である。
【図１０】１画素シフトしながら画素ブロックを読み出す場合に対して、２画素シフトする場合の解像度を悦明するための図である。
【符号の説明】
１０    撮像部
１１    撮像素子
１３    輝度／色差前処理部
２０    圧縮処理装置
３０    伸張処理装置
４０    色処理装置
５０    表示／記録装置
１００  画像処理システム
２０１  センサ
２０２  読出回路
２０３  ２×２アナログメモリ
２０４1 〜２０４3   マトリックス回路
【図１】
0003652123.tif 000002
【図２】
0003652123.tif 000003
【図３】
0003652123.tif 000004
【図４】
0003652123.tif 000005
【図５】
0003652123.tif 000006
【図６】
0003652123.tif 000007
【図７】
0003652123.tif 000008
【図８】
0003652123.tif 000009
【図９】
0003652123.tif 000010
【図１０】
0003652123.tif 000011