(57)【要約】【課題】カラー撮像信号の同時化処理を行わず、省電力化と小型化を図ることの可能な画像圧縮装置及び画像処理システムを提供する。【解決手段】所定の色配列を有する色フィルタ１−１が受光面に貼付けされた固体撮像素子１−２と、該固体撮像素子から出力されたカラー撮像信号から、２×２配列の画素信号を１ユニットとする信号を取り出し、輝度信号と色差信号を生成する前処理手段１−３と、該前処理手段から出力される輝度・色差信号に対して、各成分毎のブロック単位で空間周波数成分を算出する周波数変換手段２−１と、空間周波数成分を量子化する量子化手段２−２と、量子化された空間周波数成分を符号化する符号化手段２−３とを備えて、画像圧縮装置を構成する。【選択図】        図１
2005005925.tif 000002
【特許請求の範囲】
【請求項１】
所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を圧縮処理する画像圧縮装置であって、
前記固体撮像素子から出力されたカラー撮像信号から、複数の画素信号を１ユニットとする信号を取り出し、前記ユニット毎に輝度信号及び色差信号を生成する前処理手段と、
該前処理手段から出力される輝度信号及び色差信号に対して、各成分毎のブロック単位で空間周波数成分を算出する周波数変換手段と、空間周波数成分を量子化する量子化手段と、量子化された空間周波数成分を符号化する符号化手段とを備えた圧縮部とを有することを特徴とする画像圧縮装置。
【請求項２】
前記前処理手段においてカラー撮像信号から取り出される１ユニットの信号は、少なくとも各色成分信号を含み、各色成分信号から輝度信号及び色差信号を生成することを特徴とする請求項１に係る画像圧縮装置。
【請求項３】
前記前処理手段においてカラー撮像信号から取り出される各ユニットの信号は、各ユニット間において重複する画素信号を含まないように各ユニットが設定されていることを特徴とする請求項２に係る画像圧縮装置。
【請求項４】
前記前処理手段においてカラー撮像信号から取り出される各ユニットの信号は、隣接する画素信号で構成されていることを特徴とする請求項２に係る画像圧縮装置。
【請求項５】
前記色フィルタはベイヤ配列フィルタであり、前記前処理手段は１ユニットの信号を、ベイヤ配列フィルタに対応する２×２画素の信号で構成していることを特徴とする請求項２に係る画像圧縮装置。
【請求項６】
前記前処理手段は、１ユニットのＲ信号、一方のＧ信号、Ｂ信号から輝度信号及び一方の色差信号を生成し、Ｒ信号、他方のＧ信号、Ｂ信号から輝度信号及び他方の色差信号を生成するように構成されていることを特徴とする請求項５に係る画像圧縮装置。
【請求項７】
請求項１に記載の画像圧縮装置と、
該画像圧縮装置から出力される符号化データから、空間周波数成分を復号化する復号化手段と、復号化された空間周波数成分を逆量子化する逆量子化手段と、逆量子化された空間周波数成分に基づいて、各成分毎のブロック単位で輝度信号及び色差信号を算出する逆周波数変換手段とを備える伸長部と、
該伸長部から出力される輝度信号及び色差信号から画像信号を生成する後段部とを有することを特徴とする画像処理システム。
【請求項８】
前記後段部は、前記伸長部から出力される輝度信号及び色差信号から外部機器が要求する出力フォーマットの画像信号を生成するフォーマット変換手段であることを特徴とする請求項７に係る画像処理システム。
【請求項９】
前記フォーマット変換手段は、前記伸長部から出力された輝度信号及び色差信号からカラー信号を生成する逆輝度・色差変換手段と、該逆輝度・色差変換手段から生成されたカラー信号を同時化処理する画像信号生成手段とを備えていることを特徴とする請求項８に係る画像処理システム。
【請求項１０】
前記フォーマット変換手段は、前記伸長部から出力された輝度信号及び色差信号を同時化処理する画像信号生成手段と、同時化された輝度信号及び色差信号からカラー信号を生成する逆輝度・色差信号手段とを備えていることを特徴とする請求項８に係る画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、カラー撮像信号を圧縮処理する画像圧縮装置、及びカラー撮像信号に対する圧縮、伸長及び再生処理とを行う画像処理システムに関し、特に、カプセル内視鏡や携帯電話等の比較的画質よりも省電力や小型化が要求される製品に用いて好適な画像圧縮装置、及び画像処理システムに関する。
【０００２】
【特許文献１】特開平７−６７１２９号公報
【０００３】
【従来の技術】
図１０は、一般的な画像処理システムの一例を示すブロック図である。図１０において、１０１  は撮像装置で、該撮像装置１０１  は、被写体からの光を受光し、受光量に応じたカラー撮像信号を出力する固体撮像素子を備えており、固体撮像素子からのカラー撮像信号が画像データとして転送される。画像データの効率的な転送を図るために、画像データは、通常、画像データ圧縮装置１０２  の処理を介して転送される。画像データ圧縮装置１０２  は、入力された画像データに対してＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｈｉｃ  ＥｘｐｅｒｔＧｒｏｕｐ  ）や、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ＥｘｐｅｒｔＧｒｏｕｐ）等の規格に基づいた圧縮処理を行い、その後、圧縮処理済みの画像データを転送する。
【０００４】
ところで、固体撮像素子を単板式と仮定すると、従来の撮像装置１０１  においては、画像データ圧縮装置１０２  での圧縮処理による画像データの劣化を軽減するために、撮像によって得られたカラー撮像信号を行列演算によって、カラー撮像信号の総数に対して、信号の総数が３倍になるＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）信号に変換し（同時化処理）、その後、これらの色信号に対して別の行列演算を施すことによって、画像データ圧縮装置１０２  への入力信号である輝度信号Ｙ，色差信号Ｃｒ  ，Ｃｂ  を生成していた（Ｙ／Ｃ変換）。
【０００５】
そして、転送された圧縮処理済みの画像データを受け取った画像データ伸長装置１０３  は、規格に基づいた伸長処理を行い、得られたＹ，Ｃｒ  ，Ｃｂ  信号に対して、画像再生装置１０４  は、行列演算の逆演算によって、Ｒ，Ｇ，Ｂ信号に変換して画像として表示していた。
【０００６】
以下、このような撮像装置１０１  と、撮像装置１０１  から出力される画像データを圧縮処理する画像データ圧縮装置１０２  と、画像データ圧縮装置１０２  から出力される圧縮処理済みの画像データを伸長処理する画像データ伸長装置１０３  と、画像再生装置１０４  からなる画像処理システムについて、更に詳細に説明する。
【０００７】
図１１に示すように、前段部２０１  として、色フィルタ２０１−１，固体撮像素子２０１−２，同時化部２０１−３，輝度・色差信号変換部２０１−４を備えている。色フィルタ２０１−１は、例えば後述の図２の（Ａ）に示すように、Ｒ，Ｇ，Ｂの各色フィルタがベイヤ方式で配列されており、被写体からの光が色フィルタ２０１−１を介して固体撮像素子２０１−２に入射するように、固体撮像素子２０１−２の前面に貼付されている。
【０００８】
固体撮像素子２０１−２は、色フィルタ２０１−１を介して被写体からの光を受光し、受光量に応じたカラー撮像信号を出力するものであり、色フィルタ２０１−１の各色フィルタに対応した複数の受光画素を備えている。固体撮像素子２０１−２からの出力は、カラー撮像信号として同時化部２０１−３に入力されるようになっている。同時化部２０１−３は、固体撮像素子２０１−２から出力されたカラー撮像信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成（同時化処理）する回路であり、Ｒ，Ｇ，Ｂ信号は、輝度・色差信号変換部２０１−４に入力されるようになっている。輝度・色差信号変換部２０１−４は、同時化部２０１−３から出力されたＲ，Ｇ，Ｂ信号に基づいて、Ｙ，Ｃｒ  ，Ｃｂ  を生成（Ｙ／Ｃ変換）するものである。
【０００９】
これらＹ，Ｃｒ  ，Ｃｂ  信号は画像データとして、画像圧縮手段２０２  に入力されるようになっている。図１１に示すように、画像圧縮手段２０２  は、周波数変換部２０２−１，量子化部２０２−２，符号化部２０２−３を備えている。周波数変換部２０２−１は、所定のブロック内のＹ，Ｃｒ  ，Ｃｂ  信号に対して、空間周波数成分を算出するものである。例えば、ＪＰＥＧの規格では、１  ブロックは、Ｙ，Ｃｒ  ，Ｃｂ  のそれぞれにおいて水平８信号、垂直８信号、つまり、８×８信号を１  ブロックとして構成され、８×８信号に対して、直交変換の一種であるＤＣＴ（離散コサイン変換）を施して、空間周波数成分（ＤＣＴ係数）に変換される。
【００１０】
空間周波数成分は、量子化部２０２−２に入力されるようになっている。量子化部２０２−２は、周波数変換部２０２−１から出力された空間周波数成分に対して、量子化を施すものであり、量子化部２０２−２で出力された量子化空間周波数成分は、符号化部２０２−３へ入力されるようになっている。符号化部２０２−３は、量子化部２０２−２から出力された量子化空間周波数成分に対して、符号化データを形成するものである。例えば、ＪＰＥＧの規格では、量子化部２０２−２から出力された量子化空間周波数成分に対して、ジグザグスキャンした後、ハフマン符号化、ランレングス符号化処理が施される。
【００１１】
符号化データは、伸長手段２０３  に入力されるようになっている。図１１に示すように、伸長手段２０３  として、復号化部２０３−１，逆量子化部２０３−２，逆周波数変換部２０３−３を備えている。伸長手段２０３  は、画像圧縮手段２０２  で施した圧縮処理に対応した伸長処理を施すもので、Ｙ，Ｃｒ  ，Ｃｂ  信号を出力する。例えば、ＪＰＥＧの規格では、ランレングス復号化、ハフマン復号化、逆量子化、逆ＤＣＴが施される。
【００１２】
伸長手段２０３  から出力されるＹ，Ｃｒ  ，Ｃｂ  信号は、後段部２０４  に入力されるようになっている。図１１に示すように、後段部２０４  として、色信号変換部２０４−１を備えている。色信号変換部２０４−１は、伸長手段２０３  から出力されたＹ，Ｃｒ  ，Ｃｂ  信号に基づいて、Ｒ，Ｇ，Ｂ信号を生成するものである。
【００１３】
【発明が解決しようとしている課題】
このように、従来の画像処理システムでは、固体撮像素子から得られたカラー撮像信号から、Ｒ，Ｇ，Ｂ信号を生成する行列演算手段による同時化処理によってＲ，Ｇ，Ｂ信号を生成し、Ｒ，Ｇ，Ｂ信号から、Ｙ，Ｃｒ  ，Ｃｂ  信号を生成する行列演算手段によって、Ｙ，Ｃｒ  ，Ｃｂ  信号を生成しているため、処理データ量が多く且つ多くの処理を必要とし、したがって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの処理工程で、多くの電力を必要とした。また、Ｒ，Ｇ，Ｂ信号、及びＹ，Ｃｒ  ，Ｃｂ  信号を保持する手段を必要とするため、小型化には向いていなかった。
【００１４】
このような撮像信号処理に関連して、従来、特開平７−６７１２９号公報（特許文献１）には、単板式の撮像素子から出力された映像信号を輝度信号と複数の色信号に分離し、分離された輝度信号と複数の色信号を同時化し、同時化された信号に基づいてＲＧＢ信号を介さずに直接色差信号を生成するようにした撮像信号処理手法について開示がなされている。しかしながら、この撮像信号処理手法においても、同時化処理を行ってから色差信号を生成するものであるため、圧縮処理する際には、やはり処理データ量が３倍になってしまうという問題は解消できない。
【００１５】
本発明は、従来の画像処理システムにおける上記課題を解決するためになされたもので、被写体の撮像から、撮像によって得られる画像データの圧縮処理までを、処理データを低減して省電力で行うことによって、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの手段において、省電力化と小型化を図ることのできる画像圧縮装置及び画像処理システムを提供することを目的とするものである。
【００１６】
【課題を解決するための手段】
前記課題を解決するため、請求項１に係る発明は、所定の色配列を有する色フィルタが受光面に貼付された、固体撮像素子から出力されたカラー撮像信号を圧縮処理する画像圧縮装置であって、前記固体撮像素子から出力されたカラー撮像信号から、複数の画素信号を１ユニットとする信号を取り出し、前記ユニット毎に輝度信号及び色差信号を生成する前処理手段と、該前処理手段から出力される輝度信号及び色差信号に対して、各成分毎のブロック単位で空間周波数成分を算出する周波数変換手段と、空間周波数成分を量子化する量子化手段と、量子化された空間周波数成分を符号化する符号化手段とを備えた圧縮部とを有することを特徴とするものである。
【００１７】
このように構成した画像圧縮装置においては、固体撮像素子から得られたカラー撮像信号から、複数の画素信号を１ユニットとする信号を取り出して、ユニット毎に輝度信号及び色差信号を生成し、この輝度信号及び色差信号に対して圧縮処理を行う。このように、固体撮像素子から出力されるカラー撮像信号から、同時化処理を行わずに輝度信号及び色差信号を生成することにより、同時化手段を必要とせず、輝度信号及び色差信号のデータ数を、固体撮像信号から出力されるカラー撮像信号のデータ数と同数以下とすることができ、前処理手段及び画像圧縮部における処理工数を低減させ、低消費電力化と共に小型化を図ることができる。
【００１８】
請求項２に係る発明は、請求項１に係る画像圧縮装置において、前記前処理手段においてカラー撮像信号から取り出される１ユニットの信号は、少なくとも各色成分信号を含み、各色成分信号から輝度信号及び色差信号を生成することを特徴とするものである。
【００１９】
請求項３に係る発明は、請求項２に係る画像圧縮装置において、前記前処理手段においてカラー撮像信号から取り出される各ユニットの信号は、各ユニット間において重複する画素信号を含まないように各ユニットが設定されていることを特徴とするものである。
【００２０】
請求項４に係る発明は、請求項２に係る画像圧縮装置において、前記前処理手段においてカラー撮像信号から取り出される各ユニットの信号は、隣接する画素信号で構成されていることを特徴とするものである。
【００２１】
請求項５に係る発明は、請求項２に係る画像圧縮装置において、前記色フィルタはベイヤ配列フィルタであり、前記前処理手段は１ユニットの信号を、ベイヤ配列フィルタに対応する２×２画素の信号で構成していることを特徴とするものである。
【００２２】
請求項６に係る発明は、請求項５に係る画像圧縮装置において、前記前処理手段は、１ユニットのＲ信号、一方のＧ信号、Ｂ信号から輝度信号及び一方の色差信号を生成し、Ｒ信号、他方のＧ信号、Ｂ信号から輝度信号及び他方の色差信号を生成するように構成されていることを特徴とするものである。
【００２３】
請求項７に係る発明は、請求項１に記載の画像圧縮装置と、該画像圧縮装置から出力される符号化データから、空間周波数成分を復号化する復号化手段と、復号化された空間周波数成分を逆量子化する逆量子化手段と、逆量子化された空間周波数成分に基づいて、各成分毎のブロック単位で輝度信号及び色差信号を算出する逆周波数変換手段とを備える伸長部と、該伸長部から出力される輝度信号及び色差信号から画像信号を生成する後段部とで画像処理システムを構成するものである。
【００２４】
このように構成された画像処理システムにおいては、固体撮像素子から得られたカラー撮像信号から、複数の画素信号を１ユニットとする信号を取り出して、ユニット毎に輝度信号及び色差信号を生成し、この輝度信号及び色差信号に圧縮処理を行う。このように、固体撮像素子から出力されるカラー撮像信号から、同時化処理を行わずに輝度信号及び色差信号を生成することにより、同時化手段を必要とせず、輝度信号及び色差信号のデータ数を、固体撮像信号から出力されるカラー撮像信号のデータ数と同数以下とすることができ、前処理手段及び画像圧縮部における処理工数を低減させ、低消費電力化と共に小型化を図ることができる画像処理システムを実現することができる。
【００２５】
請求項８に係る発明は、請求項７に係る画像処理システムにおいて、前記後段部は、前記伸長部から出力される輝度信号及び色差信号から外部機器が要求する出力フォーマットの画像信号を生成するフォーマット変換手段であることを特徴とするものである。
【００２６】
請求項９に係る発明は、請求項８に係る画像処理システムにおいて、前記フォーマット変換手段は、前記伸長部から出力された輝度信号及び色差信号からカラー信号を生成する逆輝度・色差変換手段と、該逆輝度・色差変換手段から生成されたカラー信号を同時化処理する画像信号生成手段とを備えていることを特徴とするものである。
【００２７】
請求項１０に係る発明は、請求項８に係る画像処理システムにおいて、前記フォーマット変換手段は、前記伸長部から出力された輝度信号及び色差信号を同時化処理する同時化手段と、同時化された輝度信号及び色差信号からカラー信号を生成する逆輝度・色差信号手段とを備えていることを特徴とするものである。
【００２８】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明の実施の形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、色フィルタ１−１，単板式の固体撮像素子１−２，前処理手段１−３からなる前段部１と、周波数変換部２−１，量子化部２−２，符号化部２−３からなる画像圧縮手段２と、復号化部３−１，逆量子化部３−２，逆周波数変換部３−３からなる伸長手段３と、逆輝度・色差変換手段４−１と画像信号生成手段４−２とからなる後段部４を有している。
【００２９】
前段部１は、光を受光して、所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖを生成するものであり、前述のように、色フィルタ１−１，固体撮像素子１−２，前処理手段１−３で構成されている。色フィルタ１−１としては、例えば図２の（Ａ）に示すように、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各色フィルタがベイヤ配列された原色フィルタが用いられており、被写体からの光が色フィルタ１−１を介して固体撮像素子１−２に入射するように、固体撮像素子１−２の前面に設置されている。なお、色フィルタ１−１としては、図２の（Ｂ）に示すような補色フィルタであってもよい。
【００３０】
固体撮像素子１−２は、色フィルタ１−１を介して被写体からの光を受光し、その受光量に応じたカラー撮像信号を出力するものであり、色フィルタ１−１に対応した複数の受光画素を備えている
【００３１】
前処理手段１−３は、色フィルタ１−１を構成する各色フィルタの配置に基づいて、固体撮像素子１−２から出力される全カラー撮像信号から、所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖを生成する。この前記所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖの生成方法については後で詳述する。以上のようにして生成された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖは、圧縮部２に入力される。
【００３２】
次に、圧縮部２及び伸長部３の処理動作について説明する。圧縮部２及び伸長部３として画像処理ＣＯＤＥＣのＪＰＥＧを利用する場合について説明すると、圧縮部２に入力される輝度信号Ｙ，色差信号Ｕ，Ｖは、図３の（Ａ），（Ｂ），（Ｃ）に示すように、各々の信号毎に水平８信号×垂直８信号を単位としてブロック化され、前記ブロック毎に圧縮部２による圧縮処理が行われる。
【００３３】
圧縮部２は、前段部１で生成された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖに対して、符号化データを生成するものであり、前述のように、周波数変換手段２−１，量子化手段２−２，符号化手段２−３で構成されている。そして、周波数変換手段２−１では、離散コサイン変換を行い、空間周波数成分に変換する。次いで、量子化手段２−２では、前記周波数変換手段２−１から出力された空間周波数成分に対して、量子化を行う。次いで、符号化手段２−３では、前記量子化手段２−２から出力された量子化した空間周波数成分に対して、ジグザグスキャンされたデータを、ハフマン符号化及びランレングス符号化する。
【００３４】
以上のようにして圧縮部２で生成された符号化データは、メモリ等に記録して保存したり、受信側へ伝送したりする。そして、保存、又は伝送された符号データは、伸長部３に入力される。
【００３５】
伸長部３は、圧縮部２で圧縮された符号化データに対して、所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖを生成するものであり、前述のように、復号化手段３−１，逆量子化手段３−２，逆周波数変換手段３−３で構成されている。そして、復号化手段３−１では、ランレングス復号化及びハフマン復号化を行い、復号化処理をする。次いで、逆量子化手段３−２では、前記復号化手段３−１から出力された空間周波数成分に対して、逆量子化を行う。次いで、逆周波数変換手段３−３では、逆量子化手段３−２から出力された逆量子化した空間周波数成分に対して、逆離散コサイン変換を行い、所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖを生成する。以上のようにして生成された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖは、後段部４に入力される。
【００３６】
後段部４は、伸長部３で伸長された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖに対して、画像信号を生成するものであり、前述のように、逆輝度・色差変換手段４−１と画像信号生成手段４−２とで構成されている。そして、逆輝度・色差変換手段４−１では、伸長部３から出力された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖから、前段部１の前処理手段１−３における処理に対応させて、色信号Ｒ，Ｇ，Ｂを生成する。次いで、画像信号生成手段４−２では、逆輝度・色差変換手段４−１から出力された所定の色信号Ｒ，Ｇ，Ｂに対して、各色信号毎に補間を施す同時化処理を行って画像信号を生成する。以上のようにして生成された画像信号は、画像再生装置等で画像として再生したりする。なお、この後段部４の信号処理については、後で詳述する。
【００３７】
次に、本実施の形態における所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖを生成する前処理手段１−３の動作について、詳細に説明する。
【００３８】
一般に、色信号Ｒ，Ｇ，Ｂから輝度信号Ｙ，色差信号Ｕ，Ｖを算出する式は、〔数１〕式で表される。
【００３９】
【数１】
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
Ｕ＝０．７０Ｒ−０．５９Ｇ−０．１１Ｂ
Ｖ＝−０．３０Ｒ−０．５９Ｇ＋０．８９Ｂ
【００４０】
図４は、固体撮像素子１−２の受光面を模式的に示した図であり、同図中のＲ，Ｇ，Ｂは、それぞれベイヤ配列原色フィルタからなる色フィルタ１−１を透過した光を受光する画素を示している。ここで、以降での説明の理解をしやすくするため、次のような定義付けを行っておく。すなわち、同図における左上隅の画素Ｒの座標を（１，１）としたとき、この画素Ｒから水平方向にＸ，垂直方向にＹの位置にある画素Ａの座標を（Ｘ，Ｙ）とし、画素Ａからの出力をＡＸＹで、表すことにする。
【００４１】
本発明においては、上記構成の色フィルタ１−１を備えた固体撮像素子１−２から出力される全カラー撮像信号に対して、以下のような原理に基づいて輝度信号Ｙ，色差信号Ｕ，Ｖを生成し、圧縮部２へ出力する。すなわち、図４における座標（１，１）、（２，１）、（１，２）、（２，２）の画素Ｒ１１，Ｇ２１，Ｇ１２，Ｂ２２が含まれる２×２の配列の１ユニットに注目し、図５に示すように、上記２×２の１ユニットの画素Ｒ１１，Ｇ２１，Ｇ１２，Ｂ２２を用いて、１ユニットにおける輝度信号Ｙ，色差信号Ｕ，Ｖを〔数２〕式より算出する。
【００４２】
【数２】
Ｙ１＝０．３０Ｒ１１＋０．５９Ｇ２１＋０．１１Ｂ２２
Ｙ２＝０．３０Ｒ１１＋０．５９Ｇ１２＋０．１１Ｂ２２
Ｕ  ＝０．７０Ｒ１１−０．５９Ｇ１２−０．１１Ｂ２２
Ｖ  ＝−０．３０Ｒ１１−０．５９Ｇ２１＋０．８９Ｂ２２
【００４３】
続いて、図４における前記図５に示したユニットに対してＸ方向に隣接する座標（３，１）、（４，１）、（３，２）、（４，２）の画素が含まれる２×２配列の１ユニットに注目し、同様にしてこの隣接ユニットの輝度信号Ｙ，色差信号Ｕ，Ｖを算出する。
【００４４】
このように、２×２配列のユニットを横方向（Ｘ方向）に平行移動させて、図４における右端に達したら、最初のユニットのＹ方向に隣接する座標（１，３）、（２，３）、（１，４）、（２，４）の画素が含まれる２×２配列の１ユニットに注目し、同様にして輝度信号Ｙ，色差信号Ｕ，Ｖを算出する。以上のように、図４における２×２配列のユニットに注目していき、ユニット毎の輝度信号Ｙ，色差信号Ｕ，Ｖを算出することで、全カラー撮像信号に対して所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖを生成することができる。
【００４５】
上記手法によると、２×２配列の１ユニットの４画素信号に対して、輝度信号Ｙ，色差信号Ｕ，Ｖが、Ｙ：Ｕ：Ｖ＝２：１：１の割合で生成され、したがって前処理手段１−３に入力される全カラー撮像信号の総データ数と同数の輝度信号と色差信号の出力データが生成される。つまり、従来の全カラー撮像信号の同時化処理を行った後に、輝度信号と色差信号を生成する場合に比べて、１／３のデータ数となる。
【００４６】
上記のように注目する１ユニットの画素配列を２×２のように、狭い範囲に限定して、輝度信号及び色差信号を生成することで、ユニット内の画素同士の相関がとれるので、輝度信号Ｙ及び色差信号Ｕ，Ｖの誤差を最小限にすることができ、従来、行われていた手法より、圧縮されるデータ数が少ないことによる、画質の劣化を抑えることができる。
【００４７】
上記説明においては、図５に示した２×２画素配列の１ユニットから、〔数２〕に示すように、Ｇ１２を用いて色差信号Ｕを、Ｇ２１を用いて色差信号Ｖを算出したが、画像の特徴によっては、〔数３〕式で示すように、Ｇ２１を用いて色差信号Ｕを、Ｇ１２を用いて色差信号Ｖを算出してもかまわない。
【００４８】
【数３】
Ｙ１＝０．３０Ｒ１１＋０．５９Ｇ２１＋０．１１Ｂ２２
Ｙ２＝０．３０Ｒ１１＋０．５９Ｇ１２＋０．１１Ｂ２２
Ｕ  ＝０．７０Ｒ１１−０．５９Ｇ２１−０．１１Ｂ２２
Ｖ  ＝−０．３０Ｒ１１−０．５９Ｇ１２＋０．８９Ｂ２２
【００４９】
また〔数２〕式、及び〔数３〕式では、２×２配列の１ユニットに含まれる画素から、２つの輝度信号Ｙとそれぞれ１つの色差信号Ｕ，Ｖを算出したが、例えば〔数４〕式のようにして、２つのＧ信号の平均を用いて１つの輝度信号Ｙとそれぞれ１つの色差信号Ｕ，Ｖを算出してもかまわない。
【００５０】
【数４】
Ｙ＝０．３０Ｒ１１＋０．５９（Ｇ１２＋Ｇ２１）／２＋０．１１Ｂ２２
Ｕ＝０．７０Ｒ１１−０．５９（Ｇ１２＋Ｇ２１）／２−０．１１Ｂ２２
Ｖ＝−０．３０Ｒ１１−０．５９（Ｇ１２＋Ｇ２１）／２＋０．８９Ｂ２２
【００５１】
上記〔数４〕による輝度信号と色差信号の生成手法によると、輝度信号Ｙ，色差信号Ｕ，Ｖは、Ｙ：Ｕ：Ｖ＝１：１：１の割合であり、〔数２〕あるいは〔数３〕による２つの輝度信号Ｙとそれぞれ１つの色差信号Ｕ，Ｖを算出する手法に比べ、生成される輝度信号Ｙ，色差信号Ｕ，Ｖのデータ数は少なくなる。したがって、前段部１における演算量が少なく、且つ、圧縮部２で処理するデータ数が少なくなるので、より省電力化できる。
【００５２】
また、上記手法においては、２×２画素配列を１ユニットとして、順次ユニットの領域を移動させて、各ユニットの画素信号に基づいて、輝度信号と色差信号を生成する際に、移動させた各ユニットの画素がユニット間において重複しないように、且つ各ユニットが隣接するように順次移動させて、輝度信号と色差信号を生成させるようにしたものを示した。これに対して、例えば、図４における座標（１，１）、（２，１）、（１，２）、（２，２）の画素が含まれる２×２配列のユニットから、輝度信号Ｙ，色差信号Ｕ，Ｖを算出した後に、図４における座標（２，２）、（３，２）、（２，３）、（３，３）の画素が含まれる２×２配列のユニットから、輝度信号Ｙ，色差信号Ｕ，Ｖを算出するといったように、各ユニット間で画素が重複するような２×２配列ユニットの移動を行って、順次輝度信号Ｙ，色差信号Ｕ，Ｖを算出してもかまわない。
【００５３】
また、１ユニットとして、２×２画素配列のものを示したが、これに限らず、各色成分を含む複数の画素の他の配列で１ユニットを構成することも可能である。
【００５４】
なお、色フィルタとして、原色フィルタの代わりに図６に示すような補色フィルタを用いたときも、原色フィルタと同様の定義づけを行って、各色成分を含む複数画素で１ユニットを構成し、所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖを、補色フィルタ上の画素Ｗ，Ｙｅ  ，Ｇ，Ｃｙ  を用いて算出することができる。
【００５５】
上記前段部の構成によれば、固体撮像素子１−２から得られたカラー撮像信号に基づいて、所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖが生成され、前記所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖに対して、圧縮部２において圧縮処理が行われる。したがって、固体撮像素子から得られたカラー撮像信号に基づいて画像信号を生成する同時化手段を必要としないので、固体撮像素子から得られたカラー撮像信号を圧縮処理するまでの工程において、データ数を少なくし、省電力化を実現できる。
【００５６】
次に、このような前処理手段の処理に対応した処理を行わせる後段部４の処理動作について、詳細に説明する。
【００５７】
後段部４は、伸長部３で伸長処理された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖに対して、画像信号の生成処理をするものであり、先に述べたとおり、逆輝度・色差変換手段４−１と画像信号生成手段４−２とで構成されている。逆輝度・色差変換手段４−１は、伸長部３から出力された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖから、前段部１の前処理手段１−３の処理に対応させて、色信号Ｒ，Ｇ，Ｂを生成する。
【００５８】
輝度信号Ｙ，色差信号Ｕ，Ｖから色信号Ｒ，Ｇ，Ｂを算出する式は、一般に〔数１〕式の逆演算になり、〔数５〕式で表される。
【００５９】
【数５】
Ｒ＝Ｙ＋Ｕ
Ｇ＝Ｙ−  ０．５Ｕ−０．１９Ｖ
Ｂ＝Ｙ＋Ｖ
【００６０】
したがって例えば、前処理手段１−３において、〔数２〕式より生成された輝度信号Ｙ１，Ｙ２，色差信号Ｕ，Ｖから色信号Ｒ１１，Ｇ１２，Ｇ２１，Ｂ２２を生成する場合の式は、〔数６〕式で表される。
【００６１】
【数６】
Ｒ１１＝Ｙ１＋Ｕ
Ｇ１２＝Ｙ２−  ０．５Ｕ−０．１９Ｖ
Ｇ２１＝Ｙ１−  ０．５Ｕ−０．１９Ｖ
Ｂ２２＝Ｙ２＋Ｖ
【００６２】
逆輝度・色差変換手段４−１において、この〔数６〕に示す逆演算処理工程を、伸長部から出力される全ての所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖに対して行うことにより、図４に示すような前段部１の固体撮像素子１−２から出力されたベイヤ配列の色信号Ｒ，Ｇ，Ｂを生成することができる。
【００６３】
画像信号生成手段４−２は、逆輝度・色差変換手段４−１から出力された図４に示すベイヤ配列で並んだ色信号Ｒ，Ｇ，Ｂに対して、図７の（Ａ），（Ｂ），（Ｃ）に示すように、各色信号Ｒ，Ｇ，Ｂに対し、同時化処理を行い、画像信号の一形態であるＲＧＢ空間の画像信号を生成する。以上のようにして生成された画像信号は、画像再生装置等の外部機器で画像として再生したりする。
【００６４】
上記後段部４の構成においては、逆輝度・色差変換手段４−１で、所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖから、ベイヤ配列の色信号Ｒ，Ｇ，Ｂを生成し、画像信号生成手段４−２により、画像信号の一形態であるＲＧＢ空間の画像信号を生成していたが、図８に示すように、逆輝度・色差変換手段と画像信号生成手段の配置を入れ替えて、後段部を構成してもかまわない。
【００６５】
このように構成した後段部１４においては、画像信号生成手段１４−１は、伸長部３から出力された所定形式の輝度信号Ｙ，色差信号Ｕ，Ｖに対して、図９の（Ａ），（Ｂ），（Ｃ）に示すように、同時化処理を行い、ＹＵＶ空間の画像信号を生成する。
【００６６】
次いで、逆輝度・色差変換手段１４−２は、画像信号生成手段１４−１から出力されたＹＵＶ空間の画像信号に対し、同画素上の輝度信号Ｙ，色差信号Ｕ，Ｖから、〔数５〕式に示す演算処理を行うことにより、図７の（Ａ），（Ｂ），（Ｃ）に示す画像信号の一形態であるＲＧＢ空間の画像信号を生成する。以上のようにして生成された画像信号は、図１に示した後段部からの画像信号と同様に、画像再生装置等で画像として再生したりする。
【００６７】
なお、図８に示した構成の後段部１４では、図９の（Ａ），（Ｂ），（Ｃ）に示したＹＵＶ空間の画像信号から図７の（Ａ），（Ｂ），（Ｃ）に示すＲＧＢ空間の画像信号に変換しているが、画像信号生成手段１４−１から出力されるＹＵＶ空間の画像信号をそのまま画像信号として扱い、画像再生装置等で画像として再生したりしてもかまわない。すなわち、後段部は、出力画像信号を利用する外部機器が要求する出力フォーマットに対応させた画像信号を出力させればよいことになる。したがって、後段部は、フォーマット変換手段と称することもできる。
【００６８】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、固体撮像素子から得られるカラー撮像信号から、同時化処理を行わずに輝度信号と色差信号を生成して圧縮処理を行うようにしているので、同時化手段を必要とせず、データ数の低減による圧縮部における処理工数を低減させ、低消費電力化と共に小型化を図ることが可能な画像圧縮装置及び画像処理システムを実現することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理システムの実施の形態を示すブロック構成図である。
【図２】図１に示した実施の形態の前段部の固体撮像素子に用いる色フィルタ例を示す平面図である。
【図３】図１に示した前段部の前処理手段で生成された輝度信号Ｙと、色差信号Ｕ，Ｖを示す図である。
【図４】色フィルタとしてベイヤ配列原色フィルタを用いた場合における対応する固体撮像素子の画素配列を示す図である。
【図５】図４に示した画素配列から抽出した２×２画素配列の１ユニットを示す図である。
【図６】色フィルタとして補色フィルタを用いた場合における対応する固体撮像素子の画素配列を示す図である。
【図７】後段部の逆輝度・色差変換手段で得られたベイヤ配列の色信号に対して、同時化処理を行う態様を示す図である。
【図８】後段部の変形例を示すブロック構成図である。
【図９】図８に示した後段部の変形例における画像信号生成手段で、伸長部から得られた輝度信号及び色差信号に対して同時化処理を行う態様を示す図である。
【図１０】一般的な画像処理システムを示す概略ブロック図である。
【図１１】従来の画像処理システムの構成例を示すブロック構成図である。
【符号の説明】
１  前段部
１−１  色フィルタ
１−２  固体撮像素子
１−３  前処理手段
２  圧縮部
２−１  周波数変換手段
２−２  量子化手段
２−３  符号化手段
３  伸長部
３−１  復号化手段
３−２  逆量子化手段
３−３  逆周波数変換手段
４，１４  後段部
４−１，１４−２  逆輝度・色差変換手段
４−２，１４−１  画像信号生成手段
【図１】
2005005925.tif 000003
【図２】
2005005925.tif 000004
【図３】
2005005925.tif 000005
【図４】
2005005925.tif 000006
【図５】
2005005925.tif 000007
【図６】
2005005925.tif 000008
【図７】
2005005925.tif 000009
【図８】
2005005925.tif 000010
【図９】
2005005925.tif 000011
【図１０】
2005005925.tif 000012
【図１１】
2005005925.tif 000013