(57)【特許請求の範囲】
【請求項１】
色属性の異なる複数の色フィルタ素子が所定の配列で形成されてなる色フィルタが受光面に貼付された固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、前記固体撮像素子からの第１のカラー撮像信号の内、一の前記色フィルタ素子に対応する前記第１のカラー撮像信号とこの一の前記色フィルタ素子に隣接する他の前記色フィルタ素子に対応する前記第１のカラー撮像信号とを、共にその色属性は保ったまま、同一位置に係る第２のカラー撮像信号に各々変換して且つ、前記第２のカラー撮像信号に対し、各色毎に、所定の配列形式に変換を行なって画像データ群を生成する前処理を行う前処理手段と、前記所定の配列形式で配列された画像データ群を１ユニットとして、１ユニット中の空間周波数成分を算出する周波数変換部と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを備える画像圧縮手段とを有することを特徴とする画像圧縮装置。
【請求項２】
前記前処理手段は、前記同一位置を、色的に隣接する２つの位置を結ぶ線分を整数比に内分する位置として設定し、色的に隣接する２つの位置に対応する前記第１のカラー撮像信号を補間し、当該設定位置の前記第２のカラー撮像信号を求めるように構成されていることを特徴とする請求項１に係る画像圧縮装置。
【請求項３】
前記前処理手段は、前記整数比の合計が２のべき乗となるように設定することを特徴とする請求項２に係る画像圧縮装置。
【請求項４】
前記前処理手段は、前記整数比を１：３に内分する位置として設定することを特徴とする請求項３に係る画像圧縮装置。
【請求項５】
色属性の異なる複数の色フィルタ素子が所定の配列で形成されてなる色フィルタが受光面に貼付された固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、所定領域に含まれる、色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を１ユニットとして、この１ユニット中の空間周波数成分を、線形演算により算出する前処理手段と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを有し、前記前処理手段は、前記固体撮像素子から出力されるカラー撮像信号を第１のカラー撮像信号として、前記第１のカラー撮像信号の内、一の前記色フィルタ素子に対応する前記第１のカラー撮像信号とこの一の前記色フィルタ素子に隣接する他の前記色フィルタ素子に対応する前記第１のカラー撮像信号とを、共にその色属性は保ったまま、同一位置に係る第２のカラー撮像信号に各々変換し、この第２のカラー撮像信号を基に、前記空間周波数成分の算出処理を行なうように構成されていることを特徴とする画像圧縮装置。
【請求項６】
前記前処理手段は、前記同一位置を、色的に隣接する２つの位置を結ぶ線分を整数比に内分する位置として設定し、色的に隣接する２つの位置に対応する前記第１のカラー撮像信号を補間し、当該設定位置の前記第２のカラー撮像信号を求めるように構成されていることを特徴とする請求項５に係る画像圧縮装置。
【請求項７】
前記前処理手段は、前記整数比の合計が２のべき乗となるように設定することを特徴とする請求項６に係る画像圧縮装置。
【請求項８】
前記前処理手段は、前記整数比を１：３に内分する位置として設定することを特徴とする請求項７に係る画像圧縮装置。
【請求項９】
請求項１に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とを有することを特徴とする画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、カラー撮像信号を圧縮する画像圧縮装置、及びカラー撮像信号に対する圧縮、伸長及び再生処理とを行う画像処理システムに関し、特に、カプセル内視鏡や携帯電話等の比較的画質よりも省電力や小型化が要求される製品に用いて好適な画像圧縮装置、及び画像処理システムに関する。
【０００２】
【特許文献１】
特開平１１−１１２９７７号公報
【０００３】
【従来の技術】
図12は、一般的な画像処理システムの一例を示すブロック図である。図12において、101 は撮像装置で、該撮像装置101 は、被写体からの光を受光し、受光量に応じたカラー撮像信号を出力する固体撮像素子を備えており、固体撮像素子からのカラー撮像信号が画像データとして転送される。画像データの効率的な転送を図るために、画像データは、通常、画像データ圧縮装置102 の処理を介して転送される。画像データ圧縮装置102 は、入力された画像データに対してＪＰＥＧ（Joint  Photograhic  ExpertGroup ）や、ＭＰＥＧ（Moving  Picture  ExpertGroup）等の規格に基づいた圧縮処理を行い、その後、圧縮処理済みの画像データを転送する。
【０００４】
ところで、固体撮像素子を単板式と仮定すると、従来の撮像装置101 においては、画像データ圧縮装置102 での圧縮処理による画像データの劣化を軽減するために、撮像によって得られたカラー撮像信号を行列演算によって、カラー撮像信号の総数に対して、信号の総数が３倍になるＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）信号に変換し、その後、これらの色信号に対して別の行列演算を施すことによって、画像データ圧縮装置102 への入力信号である輝度信号Ｙ，色差信号Ｃr ，Ｃb を生成していた。
【０００５】
そして、転送された圧縮処理済みの画像データを受け取った画像データ伸長装置103 は、規格に基づいた伸長処理を行い、得られたＹ，Ｃr ，Ｃb 信号に対して、画像再生装置104 は、行列演算の逆演算によって、Ｒ，Ｇ，Ｂ信号に変換して画像として表示していた。
【０００６】
以下、このような撮像装置101 と、撮像装置101 から出力される画像データを圧縮処理する画像データ圧縮装置102 と、画像データ圧縮装置102 から出力される圧縮処理済みの画像データを伸長処理する画像データ伸長装置103 と、画像再生装置104 からなる画像処理システムについて、更に詳細に説明する。
【０００７】
図13に示すように、前段部201 として、色フィルタ201-１，固体撮像素子201-２，同時化部201-３，輝度・色差信号変換部201-４を備えている。色フィルタ201-１は、例えば図２の（Ａ）に示すように、Ｒ，Ｇ，Ｂの各色フィルタがベイヤ方式で配列されており、被写体からの光が色フィルタ201-１を介して固体撮像素子201-２に入射するように、固体撮像素子201-２の前面に貼付されている。
【０００８】
固体撮像素子201-２は、色フィルタ201-１を介して被写体からの光を受光し、受光量に応じたカラー撮像信号を出力するものであり、色フィルタ201-１の各色フィルタに対応した複数の受光素子を備えている。固体撮像素子201-２からの出力は、カラー撮像信号として同時化部201-３に入力されるようになっている。同時化部201-３は、固体撮像素子201-２から出力されたカラー撮像信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成する回路であり、Ｒ，Ｇ，Ｂ信号は、輝度・色差信号変換部201-４に入力されるようになっている。輝度・色差信号変換部201-４は、同時化部201-３から出力されたＲ，Ｇ，Ｂ信号に基づいて、Ｙ，Ｃr ，Ｃb を生成するものである。Ｙ，Ｃr ，Ｃb 信号の生成原理は、一般的に〔数１〕式で表される。
【０００９】
【数１】
0004257145.tif 000002
【００１０】
これらＹ，Ｃr ，Ｃb 信号は画像データとして、画像圧縮手段202 に入力されるようになっている。図13に示すように、画像圧縮手段202 は、周波数変換部202-１，量子化部202-２，符号化部202-３を備えている。周波数変換部202-１は、ブロック内のＹ，Ｃr ，Ｃb 信号に対して、空間周波数成分を算出するものである。例えば、ＪＰＥＧの規格では、1 ブロックは、Ｙ，Ｃr ，Ｃb のそれぞれにおいて水平８信号、垂直８信号、つまり、８×８信号を1 ブロックとして構成され、８×８信号に対して、直交変換の一種であるＤＣＴ（離散コサイン変換）を施して、空間周波数成分（ＤＣＴ係数）Ｆmnijに変換される。
【００１１】
ＤＣＴ係数の変換式は、一般的に〔数２〕式で表される。（但し、〔数２〕において、ｍ，ｎはＤＣＴ係数の水平方向及び垂直方向の位置を示し、ｉ，ｊはブロック内のＹ，Ｃr ，Ｃb 信号の位置を示している。０≦ｍ，ｎ，ｉ，ｊ≦７）
【００１２】
【数２】
0004257145.tif 000003
【００１３】
空間周波数成分Ｆmnijは、量子化部202-２に入力されるようになっている。量子化部202-２は、周波数変換部202-１から出力された空間周波数成分に対して、量子化を施すものであり、量子化部202-２で出力された量子化空間周波数成分は、符号化部202-３へ入力されるようになっている。符号化部202-３は、量子化部202-２から出力された量子化空間周波数成分に対して、符号データを形成するものである。例えば、ＪＰＥＧの規格では、量子化部202-２から出力された量子化空間周波数成分に対して、ジグザグスキャンした後、ハフマン符号化、ランレングス符号化処理が施される。
【００１４】
符号データは、伸長手段203 に入力されるようになっている。図13に示すように、伸長手段203 として、復号化部203-１，逆量子化部203-２，逆周波数変換部203-３を備えている。伸長手段203 は、画像圧縮手段202 で施した圧縮処理に対応した伸長処理を施すもので、Ｙ，Ｃr ，Ｃb 信号を出力する。例えば、ＪＰＥＧの規格では、ランレングス復号化、ハフマン復号化、逆量子化、逆ＤＣＴが施される。
【００１５】
伸長手段203 から出力されるＹ，Ｃr ，Ｃb 信号は、後段部204 に入力されるようになっている。図13に示すように、後段部204 として、色信号変換部204-１を備えている。色信号変換部204-１は、伸長手段203 から出力されたＹ，Ｃr ，Ｃb 信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成するものである。なお、Ｒ，Ｇ，Ｂ信号の生成原理については、〔数１〕式で示したＹ，Ｃr ，Ｃb 信号の生成原理の逆演算になる。
【００１６】
【発明が解決しようとしている課題】
このように、従来の画像処理システムでは、固体撮像素子から得られたカラー撮像信号から、Ｒ，Ｇ，Ｂ信号を生成する行列演算手段によってＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号から、Ｙ，Ｃr ，Ｃb 信号を生成する行列演算手段によって、Ｙ，Ｃr ，Ｃb 信号を生成しているため、多くの処理を必要とし、したがって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの処理工程で、多くの電力を必要とした。また、Ｒ，Ｇ，Ｂ信号、及びＹ，Ｃr ，Ｃb 信号を保持する手段を必要とするため、小型化には向いていなかった。これに対する一方策が、特開平１１−１１２９７７号公報（特許文献１）に提案されているが、この提案技術の考え方のベースは、Ｙ，Ｃr ，Ｃb 変換と圧縮にあるため、根本的な解決とは言えない。
【００１７】
本発明は、従来の画像処理システムにおける上記課題を解決するためになされたもので、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを省電力で行うことによって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの手段において、省電力化と小型化を図ることのできる画像圧縮装置及び画像処理システムを提供することを目的とするものである。
【００１８】
【課題を解決するための手段】
前記課題を解決するため、請求項１に係る発明は、色属性の異なる複数の色フィルタ素子が所定の配列で形成されてなる色フィルタが受光面に貼付された固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、前記固体撮像素子からの第１のカラー撮像信号の内、一の前記色フィルタ素子に対応する前記第１のカラー撮像信号とこの一の前記色フィルタ素子に隣接する他の前記色フィルタ素子に対応する前記第１のカラー撮像信号とを、共にその色属性は保ったまま、同一位置に係る第２のカラー撮像信号に各々変換して且つ、前記第２のカラー撮像信号に対し、各色毎に、所定の配列形式に変換を行なって画像データ群を生成する前処理を行う前処理手段と、前記所定の配列形式で配列された画像データ群を１ユニットとして、１ユニット中の空間周波数成分を算出する周波数変換部と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを備える画像圧縮手段とを有することを特徴とするものである。
【００１９】
このように構成された画像圧縮装置においては、固体撮像素子から得られた第１のカラー撮像信号を変換した第２のカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、前記画像圧縮手段は、前記画像データ群に対して圧縮処理を行う。これにより、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃr ，Ｃb 信号を生成する等の異なる色空間を生成する手段を必要としないので、省電力化を図った画像圧縮装置を実現することができる。更に、固体撮像素子から得られた第１のカラー撮像信号の隣接する各色データを、同一位置に係る第２のカラー撮像信号に変換している。これにより、前記画像圧縮手段の圧縮処理による画質劣化を抑えることができる。
【００２０】
請求項２に係る発明は、請求項１に係る画像圧縮装置において、前記前処理手段は、前記同一位置を、色的に隣接する２つの位置を結ぶ線分を整数比に内分する位置として設定し、色的に隣接する２つの位置に対応する前記第１のカラー撮像信号を補間し、当該設定位置の前記第２のカラー撮像信号を求めるように構成されていることを特徴とするものである。
【００２１】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群を生成する処理において、加算時に小数点の演算が不要となるので、前記前処理手段の省電力化を図ることができる。
【００２２】
請求項３に係る発明は、請求項２に係る画像圧縮装置において、前記前処理手段は、前記整数比の合計が２のべき乗となるように設定することを特徴とするものである。
【００２３】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群を生成する処理において、乗算が不要で、加算器とビットシフタのみの簡単な回路構成で実現できるので、前記前処理手段の省電力化を図ることができる。
【００２４】
請求項４に係る発明は、請求項３に係る画像圧縮装置において、前記前処理手段は、前記整数比を１：３に内分する位置として設定することを特徴とするものである。
【００２５】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群を生成する処理において、全てのカラー撮像信号に対して、同一の演算で第２のカラー撮像信号が得られるので、生成される第２のカラー撮像信号の均質化が図れると共に、内分する比の合計を２のべき乗に設定する装置の中では回路構成をもっとも簡易にすることができる。
【００２６】
請求項５に係る発明は、色属性の異なる複数の色フィルタ素子が所定の配列で形成されてなる色フィルタが受光面に貼付された固体撮像素子から出力されたカラー撮像信号を処理する画像圧縮装置であって、所定領域に含まれる、色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を１ユニットとして、この１ユニット中の空間周波数成分を、線形演算により算出する前処理手段と、空間周波数成分を量子化する量子化部と、量子化された空間周波数成分を符号化する符号化部とを有し、前記前処理手段は、前記固体撮像素子から出力されるカラー撮像信号を第１のカラー撮像信号として、前記第１のカラー撮像信号の内、一の前記色フィルタ素子に対応する前記第１のカラー撮像信号とこの一の前記色フィルタ素子に隣接する他の前記色フィルタ素子に対応する前記第１のカラー撮像信号とを、共にその色属性は保ったまま、同一位置に係る第２のカラー撮像信号に各々変換し、この第２のカラー撮像信号を基に、前記空間周波数成分の算出処理を行なうように構成されていることを特徴とするものである。
【００２７】
請求項１に係る画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換を行って生成された画像データ群に対して、空間周波数成分を算出していたが、上記請求項５に係る画像圧縮装置においては、カラー撮像信号の空間周波数成分を、前記画像データ群を生成させることなく、線形演算によって直接生成される。これにより、画像データ群を保持する手段を必要としないので、画像圧縮装置の小型化を図ることができる。また、このように構成された画像圧縮装置においては、固体撮像素子から得られた第１のカラー撮像信号の各色データに基づいて、第１のカラー撮像信号の隣接する各色データを、同一位置に係る第２のカラー撮像信号に変換している。これにより、前記画像圧縮手段の圧縮処理による画質劣化を抑えることができる。
【００２８】
請求項６に係る発明は、請求項５に係る画像圧縮装置において、前記前処理手段は、前記同一位置を、色的に隣接する２つの位置を結ぶ線分を整数比に内分する位置として設定し、色的に隣接する２つの位置に対応する前記第１のカラー撮像信号を補間し、当該設定位置の前記第２のカラー撮像信号を求めるように構成されていることを特徴とするものである。
【００２９】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定定領域に含まれる色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を生成する処理において、加算時に小数点の演算が不要となるので、前記前処理手段の省電力化を図ることができる。
【００３０】
請求項７に係る発明は、請求項６に係る画像圧縮装置において、前記前処理手段は、前記整数比の合計が２のべき乗となるように設定することを特徴とするものである。
【００３１】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定領域に含まれる色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を生成する処理において、乗算が不要で、加算器とビットシフタのみの簡単な回路構成で実現できるので、前記前処理手段の省電力化を図ることができる。
【００３２】
請求項８に係る発明は、請求項７に係る画像圧縮装置において、前記整数比を１：３に内分する位置として設定することを特徴とするものである。
【００３３】
このように構成された画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号に基づいて、所定領域に含まれる色フィルタ上の色空間を保ったまま、同一色の複数のカラー撮像信号を生成する処理において、全てのカラー撮像信号に対して、同一の演算で第２のカラー撮像信号が得られるので、生成される第２のカラー撮像信号の均質化が図れると共に、内分する比の合計を２のべき乗に設定する装置の中では回路構成をもっとも簡易にすることができる。
【００３４】
請求項９に係る発明は、請求項１に記載の画像圧縮装置と、該画像圧縮装置から出力される符号データから、空間周波数成分を復号化する復号化部と、復号化された空間周波数成分を逆量子化する逆量子化部と、逆量子化された空間周波数成分に基づいて各色毎の撮像データを算出する逆周波数変換部とを備える伸長手段と、該伸長手段から出力される各色毎の撮像データを同時化処理し、画像データを生成する画像データ生成手段とで画像処理システムを構成するものである。
【００３５】
このように構成された画像処理システムにおいては、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、前記画像圧縮手段は、前記画像データ群に対して圧縮処理を行う。これにより、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃr ，Ｃb 信号を生成する等の異なる色空間を生成する手段を必要としないので、省電力化を図った画像処理システムを実現することができる。
【００３６】
【発明の実施の形態】
（第１の実施の形態）
次に実施の形態について説明する。
【００３７】
図１は、本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【００３８】
この画像処理システムは、色フィルタ１-1，固体撮像素子１-2，前処理手段１-3からなる前段部１と、周波数変換部２-1，量子化部２-2，符号化部２-3からなる画像圧縮手段２と、復号化部３-1，逆量子化部３-2，逆周波数変換部３-3からなる伸長手段３と、画像データ生成手段４-1からなる後段部４を有している。
【００３９】
前段部１は、色フィルタ１-1の色空間を変えることなく、所定配列形式に変換された画像データ群を生成するものであり、前述のように色フィルタ１-1と固体撮像素子１-2と前処理手段１-3とで構成されている。色フィルタ１-1は、例えば図２の（Ａ）に示すように、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色フィルタ素子がベイヤ方式で配列されており、被写体からの光が各色フィルタ素子を介して固体撮像素子１-2に入射するように、固体撮像素子１-2の前面に設置されている。なお、色フィルタ１-1は、図２の（Ｂ）に示すような補色フィルタであってもよい。
【００４０】
固体撮像素子１-2は、色フィルタ１-1を介して被写体からの光を受光し、その受光量に応じたカラー撮像信号を出力するものであり、色フィルタ１-1に対応した複数の受光素子を備えている。前処理手段１-3は、色フィルタ１-1を構成する各色フィルタの配置に基づいて、固体撮像素子１-2から出力される全カラー撮像信号Ｒ，Ｇ，Ｂから、その色空間（Ｒ，Ｇ，Ｂ）を変えることなく、所定配列形式に変換された画像データ群Ｒ’，Ｇ’，Ｂ’を生成するものである。画像データ群Ｒ’，Ｇ’，Ｂ’の生成方法については後述する。
【００４１】
以下、画像圧縮手段２，伸長手段３として画像処理ＣＯＤＥＣのＪＰＥＧを利用する場合について説明すると、通常、ＪＰＥＧに入力されるデータは、輝度信号及び色差信号の画像データであるが、輝度信号Ｙ，色差信号Ｃr ，Ｃb は、各々の信号毎に水平８信号×垂直８信号を単位としてブロック化される。図３〜図５に示すように、前処理手段１-3から出力されたデータを、同じ色データ毎に水平８信号×垂直８信号としてブロック化したものを、入力データとして扱う。
【００４２】
画像圧縮手段２は、周波数変換部２-1において、ＤＣＴ（離散コサイン変換）を施し、入力データを８×８ブロック単位で空間周波数成分に変換し、量子化部２-2において上記周波数変換部２-1で出力された空間周波数成分に対して、量子化処理を行う。更に、量子化部２-2にて出力された量子化空間周波数成分に対して、ジグザグスキャンされたデータを、符号化部２-3でハフマン符号化及びランレングス符号化する。以上のようにして、圧縮された符号データをメモリ等に記録して保存したり、伝送したりする。
【００４３】
伝送された符号データは、伸長手段３に入力される。伸長手段３は、画像圧縮手段２でエンコードされた符号データに対して、デコードするものである。復号化部３-1でランレングス復号化及びハフマン復号化、逆量子化部３-2で逆量子化、逆周波数変換部３-3では逆ＤＣＴを行う。後段部４の画像データ生成手段４-1は、伸長手段３から得られたデータに対して、各色データ毎に補間処理を施し、Ｒ，Ｇ，Ｂ信号を生成する同時化処理を行って画像データを生成するものである。
【００４４】
次に、本実施の形態の画像データ群を生成する前処理手段１-3の動作について説明する。図３〜図５に示す、画像データ群Ｒ’，Ｇ’，Ｂ’の各群を構成する各成分（各成分を識別するための符号は省略している）は、上か下、又は、右か左に隣接する同じ色データ２つの画素から演算によって得る。
【００４５】
以下、各成分の演算方法について説明する。まず、ここで、以降で用いる符号について説明する。図６は、固体撮像素子１-2の受光面を模式的に示したものであり、同図中のＲ，Ｇ，Ｂは、それぞれ原色フィルタのＲ，Ｇ，Ｂの色フィルタ１-1を透過した光を受光する画素を示している。ここで、図６における左上隅の画素Ｒの座標を（１，１）としたとき、この画素Ｒから水平方向にＸ，垂直方向にＹの位置にある画素Ａの座標を（Ｘ，Ｙ）とし、画素Ａからの出力をＡXYで表すことにする。
【００４６】
更に、各画像データ群の各成分を２次元的に図６の原色フィルタ上に示すために、図６において、Ｙ＝１，Ｙ＝２の中間点にｊ＝１を設ける。ｊ＝１は、図６の画素（Ｘ，１）と画素（Ｘ，２）とを隔てる水平線上にくることになる。そして、ｊ＝１の水平線から下の同様に設けた水平線にｊ＝２，ｊ＝３，・・・・・、一番上の水平線をｊ＝０と割り当てると、水平方向にＸ，垂直方向にｊの座標を（Ｘ，ｊ）とし、この座標の位置に生成される画像データ群をＡ’Xjで表すことにする。垂直線にも同様にして、ｉ＝０，ｉ＝１，・・・・・を設ける。
【００４７】
さて、固体撮像素子１-2から出力される全カラー撮像信号に対して、以下のような原理に基づいて各画像データ群の各成分を生成した上で、画像データ群Ｒ’，Ｇ’，Ｂ’を構成し、画像圧縮手段２へ出力する。
【００４８】
図６に示した原色フィルタを用いた場合、画像データ群の各成分の位置関係を空間的に等価となる位置にするために、図８の原色フィルタ上に「●」点で示すように、各画像データ群の各成分を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定する。各画像データ群の各成分は、原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて〔数３〕式（ｊが奇数のときのみ各信号を出力）で表される。
【００４９】
【数３】
0004257145.tif 000004
【００５０】
ここで、ｊ＝１の場合であって、ｘが奇数のときのＧ’，ｘが偶数のときのＢ′の演算においては、右辺第２項として、現実には存在しないＹ＝０の位置に対応する画素値Ｇx0，Ｂx0を用いることになる。このときには、右辺第１項と同じ画素値、或は、同色且つ周辺の複数の画素値から補間により求めた画素値等を用いて〔数３〕の演算を行なう。
【００５１】
因みに、図８におけるｊ＝１上の「●」点は、左端（ｘ＝１）がＲ'11 ，Ｇ'11 に、その右隣（ｘ＝２）がＢ'21 ，Ｇ'21 に、更にその右隣（ｘ＝３）がＲ'31 ，Ｇ'31 に、更にその右隣（ｘ＝４）がＢ'41 ，Ｇ'41 に、それぞれ対応するものとなる。ｊ＝２に関しては、左端（ｘ＝１）がＲ'13 ，Ｇ'13 に、その右隣（ｘ＝２）がＢ'23 ，Ｇ'23 に、更にその右隣（ｘ＝３）がＲ'33 ，Ｇ'33 に、更にその右隣（ｘ＝４）がＢ'43 ，Ｇ'43 に、それぞれ対応するものとなる。
【００５２】
〔数３〕式より、各画像データ群（Ｒ’，Ｇ’，Ｂ’）の成分数の割合は、１：２：１となり、入力されるデータ（Ｒ，Ｇ，Ｂ）の色データの割合と変わらない。したがって、画像データ群Ｒ’，Ｇ’，Ｂ’の成分数の総数は、入力データの総数と同じくなる。以上のようにして演算されたＲ'xj ，Ｇ'xj ，Ｂ'xj を、前処理手段１-3は、更に各色毎に再構成し、図３〜図５に示す画像データ群Ｒ’，Ｇ’，Ｂ’として出力する。
【００５３】
以上の作業により、各画像データ群の各成分が空間的に等価な位置のものとすることができるので、色毎の相関が取れ、画像圧縮手段２の圧縮による画質の劣化を抑えることができる。
【００５４】
〔数３〕式は、〔数４〕式のように変形できる。
【００５５】
【数４】
0004257145.tif 000005
【００５６】
したがって、図９に示すように、前処理手段１-3は、１bit シフタ５と２つの加算器６と２bit シフタ７のみの回路構成で実現することができる。なお、この回路では、１bit シフタ５と加算器６でINDATA１を３倍し、その値とINDATA２を加算器６で加算した値を２bit シフタ７で÷4 の処理を行っている。〔数３〕式は、原色フィルタ上において、ｊが奇数の個所に着目して各画像データ群の各成分を生成したが、原色フィルタ上において、ｊが偶数の個所に着目して各成分を生成するときは、各成分は、図６に示す原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて、〔数５〕式（ｊが偶数のときのみ各信号を出力）で表される。
【００５７】
【数５】
0004257145.tif 000006
【００５８】
なお、〔数３〕式と〔数５〕式は、上か下に隣接する同じ色データの２つの画素に着目して各成分を生成しているが、右か左に隣接する同じ色データの２つの画素に着目して各成分を生成させると、〔数３〕式及び〔数５〕式と同様の概念で、各成分は、図６に示す原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて〔数６〕式（ｉが奇数のときのみ各信号を出力）、及び〔数７〕式（i が偶数のときのみ各信号を出力）で表される。
【００５９】
【数６】
0004257145.tif 000007
【００６０】
【数７】
0004257145.tif 000008
【００６１】
〔数３〕式と同様に、〔数５〕式、〔数６〕式、〔数７〕式より、各画像データ群（Ｒ’，Ｇ’，Ｂ’）の成分数の割合は、１：２：１で入力されるデータ（Ｒ，Ｇ，Ｂ）の色データの割合と変わらず、画像データ群Ｒ’，Ｇ’，Ｂ’の成分数の総数は、入力データの総数と同じである。〔数５〕式、〔数６〕式、〔数７〕式による各成分の生成も、〔数３〕式と同様の変形により、図９に示す回路構成で実現することができる。
【００６２】
この第１の実施の形態に係る構成によれば、固体撮像素子から得られたカラー撮像信号に基づいて、Ｒ，Ｇ，Ｂの色空間を、例えば、輝度−色差信号（Ｙ，Ｃr ，Ｃb ）等の別の色空間に変更することなく、所定配列形式に変換された画像データ群Ｒ’，Ｇ’，Ｂ’を生成し、これら画像データ群Ｒ’，Ｇ’，Ｂ’に対して圧縮処理を行う。したがって、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃr ，Ｃb 信号を生成する手段を必要としないので、固体撮像素子から得られたカラー撮像素子を圧縮処理するまでの工程において、省電力化を実現できる。
【００６３】
なお、前処理手段の構成として、画像データ群Ｒ’，Ｇ’，Ｂ’の生成において、空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定するのではなく、図８における水平線ｊ上にある黒点を水平画素Ｙ上（但し、Ｙが偶数又は奇数個所のみ）に設定し、その個所に対応する画像データ群Ｒ’，Ｇ’，Ｂ’を生成させても構わない。この構成によれば、画像データ群Ｒ’，Ｇ’，Ｂ’の生成において、空間的に等価となる位置を、色的に隣接する２つの位置を結ぶ線分を１：３に内分する位置にくるように設定したときと比べ、演算回数が半分になり、その演算は、図10に示すように、１つの加算器８と１bit シフタ９のみで実現することができる。この演算回路では、INDATA１とINDATA２を加算器８で加算し，１bit シフタ９により加算値を２で除算している。また、前処理手段の構成として、単にカラー撮像信号Ｒ，Ｇ，Ｂの同色同士を並び替え、画像データ群Ｒ’，Ｇ’，Ｂ’を生成させても構わない。この構成によれば、並び換えの処理のみ施せばよく、演算が不要になる。
【００６４】
なお、図７に示すような補色フィルタを用いたときも、原色フィルタと同様の定義付けをすると、画像データ群Ｗ’，Ｙe'，Ｇ’，Ｃy'は、補色フィルタ上の画素Ｗ，Ｙe ，Ｇ，Ｃy を用いて、原色フィルタ同様の原理で生成することができる。
【００６５】
（第２の実施の形態）
次に、第２の実施の形態について説明する。図11は、本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、色フィルタ11-1，固体撮像素子11-2，前処理手段11-3からなる前段部11と、量子化部12-1，符号化部12-2からなる画像圧縮手段12と、復号化部13-1，逆量子化部13-2，逆周波数変換部13-3からなる伸長手段13と、画像データ生成手段14-1からなる後段部14とを有している。
【００６６】
本実施の形態における前処理手段11-3以外の動作は、第１の実施の形態と同様である。この実施の形態における前処理手段11-3は、色フィルタ11-1を構成する各色フィルタの配置に基づいて、固体撮像素子11-2から出力される全カラー撮像信号に対して線形演算を施すことにより、第１の実施の形態に基づき生成される画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成するものである。
【００６７】
次に、本実施の形態における前処理手段11-3の動作について説明する。なお、図６及び図７において、Ｘ，Ｙ，ｉ，ｊの定義については、第１の実施の形態と同様である。第２の実施の形態においては、固体撮像素子11-2から出力される全カラー撮像信号に対して、以下のような原理に基づいて線形演算を施すことにより、画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成し、画像圧縮手段12へ出力する。まず第１の実施の形態で述べたように、色フィルタとして図６に示す原色フィルタを用いた場合、画像データ群Ｒ’，Ｇ’，Ｂ’は原色フィルタ上の画素Ｒ，Ｇ，Ｂを用いて、〔数８〕式（ｊが奇数のときのみ各信号を出力）で表される。
【００６８】
【数８】
0004257145.tif 000009
【００６９】
上記〔数８〕式より、画像データ群Ｒ’，Ｇ’，Ｂ’は、それぞれ画素Ｒ，Ｇ，Ｂからの出力に対して線形な関係となる。したがって、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ'xj ，Ｇ'xj ，Ｂ'xj は、例えば行列ＥR'ijXY，ＥG'ijXY，ＥB'ijXY、ｒXY、ｇXY、ｂXYを用いて、〔数９〕式で表される。
【００７０】
【数９】
0004257145.tif 000010
【００７１】
一方、画像データ群Ｒ’，Ｇ’，Ｂ’の空間周波数成分は、従来の技術として知られているように、〔数10〕式で示される行列Ｆmnijを用いて表される。
【００７２】
【数１０】
0004257145.tif 000011
【００７３】
したがって、画像データ群Ｒ′，Ｇ′，Ｂ′の各成分Ｒ'xj ，Ｇ'xj ，Ｂ'xjの空間周波数成分Ｒ'mn ，Ｇ'mn ，Ｂ'mn は、行列Ｆmnij，画像データ群Ｒ'xj，Ｇ'xj ，Ｂ'xj を用いて、〔数11〕式で表される。
【００７４】
【数１１】
0004257145.tif 000012
【００７５】
〔数９〕式と〔数11〕式より、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ'xj，Ｇ'xj ，Ｂ'xj の空間周波数成分Ｒ'mn ，Ｇ'mn ，Ｂ'mn は、ｒXY、ｇXY、ｂXYを用いて、〔数12〕式で表される。
【００７６】
【数１２】
0004257145.tif 000013
【００７７】
ここで、〔数９〕式における行列ＥR'ijXY，ＥG'ijXY，ＥB'ijXY，及び〔数11〕式における行列Ｆmnijは、共に線形演算であるので、〔数12〕式は単一の行列ＷR'mnXY，ＷG'mnXY，ＷB'mnXYを用いて、〔数13〕式で表される。
【００７８】
【数１３】
0004257145.tif 000014
【００７９】
したがって、前処理手段11-3が、〔数13〕式の行列ＷR'mnXY，ＷG'mnXY，ＷB'mnXYによる線形演算を施すことにより、画像データ群Ｒ’，Ｇ’，Ｂ’の各成分Ｒ'xj ，Ｇ'xj ，Ｂ'xj の空間周波数成分Ｒ'mn ，Ｇ'mn ，Ｂ'mn が求まることになる。
【００８０】
第１の実施の形態と同様に、単にカラー撮像信号Ｒ，Ｇ，Ｂの同色同士を並べ替えた画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成する手法や、図８における水平線ｊ上にある黒点を水平画素Ｙ上（但し、Ｙが偶数又は奇数個所のみ）に設定し、その個所に対応する画像データ群Ｒ’，Ｇ’，Ｂ’に対する空間周波数成分を生成する手法でも、第１の実施の形態と同様の効果が得られる。
【００８１】
なお、色フィルタとして図７に示す補色フィルタを用いた場合も、線形演算を施すことにより、画像データ群Ｗ’，Ｙe'，Ｇ’，Ｃy'の各成分Ｗ'xj ，Ｙe'xj，Ｇ'xj ，Ｃy'xjの空間周波数成分Ｗ'mn ，Ｙe'mn，Ｇ'mn ，Ｃy'mnを求めることができる。
【００８２】
本実施の形態によれば、固体撮像素子から得られたカラー撮像信号に基づいて、第１の実施の形態における画像データ群Ｒ’，Ｇ’，Ｂ’の空間周波数成分が、画像データ群Ｒ’，Ｇ’，Ｂ’を生成させることなく、線形演算によって直接生成される。したがって、第１の実施の形態の効果に加えて、画像データ群Ｒ’，Ｇ’，Ｂ’を保持する手段を必要としないので、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの構成において小型化を実現できる。
【００８３】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、固体撮像素子から得られた第１のカラー撮像信号を変換した第２のカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃr ，Ｃb 信号を生成する等の異なる色空間を生成する手段を必要としないので、画像圧縮装置の省電力化を図ることができ、また、圧縮処理による画質劣化を抑えることの可能な画像圧縮装置を実現できる。また、請求項２〜４に係る発明によれば、画像データ群の生成を簡易な回路構成で実現できる請求項１に係る画像圧縮装置を提供できる。また、請求項５に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群の空間周波数成分が直接生成され、画像データ群を保持する手段を必要としないので、画像圧縮装置の小型化を実現できる。また、圧縮処理による画質劣化を抑えることの可能な画像圧縮装置を実現できる。
【００８４】
また、請求項６〜８に係る発明によれば、簡易な回路構成で省電力化を図れる請求項５に係る画像圧縮装置を実現できる。また、請求項９に係る発明によれば、固体撮像素子から得られたカラー撮像信号に基づいて、所定配列形式に変換された画像データ群が生成され、固体撮像素子から得られたカラー撮像信号に基づいてＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号に基づいてＹ，Ｃr ，Ｃb 信号を生成する等の異なる色空間を生成する手段を必要としないので、画像処理システムの省電力化を実現できる。
【図面の簡単な説明】
【図１】本発明に係る、色空間を保ったまま、各色毎に、所定配列形式に変換を行って画像データ群を生成する前処理手段を含む画像処理システムの第１の実施の形態の概略構成を示すブロック図である。
【図２】色フィルタの構成例を示す平面図である。
【図３】第１の実施の形態における周波数変換部に入力される画像データ群Ｒ'(ブロック化）を示す説明図である。
【図４】第１の実施の形態における周波数変換部に入力される画像データ群Ｇ'(ブロック化）を示す説明図である。
【図５】第１の実施の形態における周波数変換部に入力される画像データ群Ｂ'(ブロック化）を示す説明図である。
【図６】原色フィルタの色配列に対応した固体撮像素子の画素と、各画素から出力されるカラー撮像信号に基づいて得られる画像データ群が出力される位置関係を示す説明図である。
【図７】補色フィルタの色配列に対応した固体撮像素子の画素と、各画素から出力されるカラー撮像信号に基づいて得られる画像データ群が出力される位置関係を示す説明図である。
【図８】第１の実施の形態において生成される画像データ群の色フィルタの画素上における位置関係を示す説明図である。
【図９】第１の実施の形態における前処理手段の演算の一例を実現する回路構成を示すブロック図である。
【図１０】第１の実施の形態における前処理手段の演算の他の例を実現する回路構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
【図１２】一般的な画像処理システムを示す概略ブロック図である。
【図１３】従来の画像圧縮、伝送、伸長及び再生手段からなる画像処理システムの構成を示すブロック図である。
【符号の説明】
１  前段部
１-1  色フィルタ
１-2  固体撮像素子
１-3  前処理手段
２  画像圧縮手段
２-1  周波数変換部
２-2  量子化部
２-3  符号化部
３  伸長手段
３-1  復号化部
３-2  逆量子化部
３-3  逆周波数変換部
４  後段部
４-1  画像データ生成手段
５  １bit シフタ
６  加算器
７  ２bit シフタ
８  加算器
９  １bit シフタ
11  前段部
11-1  色フィルタ
11-2  固体撮像素子
11-3  前処理手段
12  画像圧縮手段
12-1  量子化部
12-2  符号化部
13  伸長手段
13-1  復号化部
13-2  逆量子化部
13-3  逆周波数変換部
14  後段部
14-1  画像データ生成手段
101   撮像装置
102   画像データ圧縮装置
103   画像データ伸長装置
104   画像再生装置
201   前段部
201-１  色フィルタ
201-２  固体撮像素子
201-３  同時化部
201-４  輝度・色差信号変換部
202     画像圧縮手段
202-１  周波数変換部
202-２  量子化部
202-３  符号化部
203     伸長手段
203-１  復号化部
203-２  逆量子化部
203-３  逆周波数変換部
204     後段部
204-１  色信号変換部
【図１】
0004257145.tif 000015
【図２】
0004257145.tif 000016
【図３】
0004257145.tif 000017
【図４】
0004257145.tif 000018
【図５】
0004257145.tif 000019
【図６】
0004257145.tif 000020
【図７】
0004257145.tif 000021
【図８】
0004257145.tif 000022
【図９】
0004257145.tif 000023
【図１０】
0004257145.tif 000024
【図１１】
0004257145.tif 000025
【図１２】
0004257145.tif 000026
【図１３】
0004257145.tif 000027