(57)【要約】  【課題】  ３原色のカラーフィルタを有するイメージアレイから得られた画像信号を、輝度信号及び色差信号とすることなく直接圧縮処理する。  【解決手段】イメージアレイ５から得られた画像信号をＡ/Ｄ変換してディジタル信号に変換する。そして４×４画素ＲＧＢ成分抽出回路９により色成分ごとに４×４の画素ブロックに変換し、変換回路１０により各ブロックに対して２次元離散コサイン変換を施したのち、量子化回路１１により量子化を行う。その後、ＡＣ係数に対してはゼロレングス圧縮をハフマン符号化回路１５より行い、ゼロでないＡＣ係数及びＤＣ係数に対してはハフマン符号化回路１８により可変長符号化を行う。  【選択図】  図２
2005217896.tif 000002
【特許請求の範囲】
【請求項１】
カラーフィルタを用いるイメージアレイの信号出力に接続される画像符号化装置において、イメージアレイのＮ×Ｎ画素よりなるブロックから、カラーフィルタによる色成分ごとに分けて複数のＭ×Ｍ(Ｍ＜Ｎ)画素ブロックを抽出する手段と、それぞれの前記Ｍ×Ｍ画素ブロックに対して符号化する画像符号化手段とを有する画像符号化装置。
【請求項２】
前記カラーフィルタは、赤(Ｒ)が１画素、緑(Ｇ)が２画素、青(Ｂ)が１画素からなる集合を１単位として、この単位を２次元配置したものであり、Ｎ×Ｎ画素からなるブロックに含まれる赤(Ｒ)画素による(Ｎ／２)×(Ｎ／２)画素からなる画素ブロック、緑(Ｇ)画素による(Ｎ／２)×(Ｎ／２)画素からなる２つの画素ブロック、及び青(Ｂ)画素による(Ｎ／２)×(Ｎ／２)画素からなる画素ブロックのそれぞれに対して画像符号化することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記画像符号化手段は、２次元離散コサイン変換、その出力に対する量子化、その量子化された出力に対して可変長符号化を行うものであることを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記Ｎが８であることを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記Ｎが８である場合において、前記画像符号化手段は、４×４画素に対する２次元離散コサイン変換後に量子化された４×４画素からなるブロックを４つずつまとめて、交流(ＡＣ)成分に対するジグザグ走査を行ってゼロラン長を定めるものであって、直流(ＤＣ)成分、ゼロでない交流(ＡＣ)成分、ゼロラン長のそれぞれに対して１次元のハフマンテーブルを用いて可変長符号化を行うことを特徴とする請求項１記載の画像符号化装置。
【請求項６】
前記画像符号化手段とイメージアレイとを１つのシリコンチップ上に集積化してなる請求項１乃至５記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、２次元カラー画像信号の圧縮技術に関する。
【背景技術】
【０００２】
単板カラー方式のイメージセンサは、撮像部の画素の上に、モザイク上のカラーフィルタが形成され、これによって色分解を行うことでカラーの映像を作り出している。赤(以下「Ｒ」という)，緑(以下「Ｇ」という)，青(以下「Ｂ」という)の原色フィルタを用いる場合、ベイヤ配列と呼ばれ、図１に示すように、Ｇが対角に２画素、Ｒ，Ｂが対角に１画素ずつを単位としたフィルタを２次元に配置したものが最も良く用いられる。その出力を画像符号化（画像圧縮）する場合、補間により、画素ごとにＲ，Ｇ，Ｂ成分をつくり出し、また、輝度成分と色差成分に変換する処理などを経て作り出されたカラー画像に対して画像圧縮を行う。
このように、輝度成分と色差成分とを圧縮する技術は、特許文献１に示されるように公知である。
しかし、画像を送信する装置を、可能な限り小さくしたい場合、このような色の信号処理を経ることなく、画像圧縮を行うことができれば、そのハードウェアを小さくすることができる。さらに、その画像圧縮の方式としてもハードウェア規模の小さい方式とすることができることが望ましい。
【特許文献１】特開２００１−２５８０３０号公報
【発明を実施するための最良の形態】
【０００３】
本発明は、単板カラー方式のイメージセンサの出力に対して、色の信号処理を行うことなく直接に画像圧縮を行い、その画像符号化方式としてもハードウェア規模が小さい画像符号化装置を提供するものである。
【実施例】
【０００４】
図２に、実施例として、画像符号化回路を集積化したイメージセンサのブロック図を示す。図１のようなベイヤー配列のモザイクカラーフィルタが形成された水平方向ＮH画素、垂直方向ＮV画素のイメージアレイ(５)からの信号読み出しのため垂直シフトレジスタ(２１)により画素選択をし、その出力をノイズキャンセル回路(６)を経由して読み出し、ｎビットのＡ/Ｄ変換器(７)によりＡ/Ｄ変換を行う。その出力を、ｎ×ＮH×８ビットのメモリ(８)に記憶する。これは、最小の容量として、ｎ×ＮH×８ビット必要であるが、制御を容易にするためその２倍の容量をもたせるなど増やしてもよい。
【０００５】
このメモリから８×８画素のブロックのデータを読み出して、色成分毎に、画像符号化を行う。具体的には、図３左に示すようにベイヤー配列の８×８画素のブロックに対して、図３右のＧ成分だけを集めた２つの４×４画素のブロック(１，２)と、Ｒ成分だけを集めた１つの４×４画素のブロック(３)と、Ｂ成分だけを集めた１つの４×４画素のブロック(４)に、４×４画素ＲＧＢ成分抽出回路(９)において、分割する。これらのそれぞれに対して、２次元離散コサイン変換(DCT)回路(１０)により、２次元離散コサイン変換を施す。これは具体的には以下のような演算である。
【０００６】
いま、入力としての４×４画素の値を、マトリクス表現で
【数１】
2005217896.tif 000003
として、４×４点の２次元離散コサイン変換出力(２次元離散コサイン変換係数)を、
【数２】
2005217896.tif 000004
とする。４×４点の２次元離散コサイン変換の基底行列をＣとすると
【数３】
2005217896.tif 000005
と表わされる。ここで、ａ＝ｃｏｓ(π／４)，ｂ＝ｃｏｓ(π／８)，ｃ＝ｃｏｓ(３π／８)である。
【０００７】
このとき、４×４点の２次元離散コサイン変換は、次式で表される。
【数４】
2005217896.tif 000006
ここで、Ｃtは、Ｃの転置行列である。式(１)の４×４点の入力マトリクスとして、図２のＲ，Ｇ，Ｂ各成分の４×４点の画素ブロックの値を、順次与えて式(４)により、２次元離散コサイン変換を順次行う。
【０００８】
その出力に対して、量子化回路(１１)において、量子化を行う。量子化は、式(２)として得られた係数を、量子化係数マトリクスＱ(１４)と、符号量制御用係数ｑとの積で割り、小数点以下を丸めたものである。量子化係数マトリクスとしては、２のべき乗の値を選ぶとハードウェアが簡単になり、例えば、次式のような値を用いる。
【数５】
2005217896.tif 000007
量子化後は、４ブロック分を記憶するバッファメモリ(１２)に格納する。ここから量子化された２次元ＤＣＴ係数を順次読み出して、交流(以下「ＡＣ」という)係数に対して、ジグザグ走査回路(１３)において、その読み出しの順序を、ゼロのラン長を長く取るため、４つの４×４点のブロックをまとめて、図４に示すように行う。
【０００９】
ジグザグ走査は、２次元離散コサイン変換の結果である空間周波数の低いほうの係数を４つ(Ａ01，Ｂ01，Ｃ01，Ｄ01)選択し、その後順次、空間周波数の高い係数(…Ａ02，Ｂ02，Ｃ02，Ｄ02…Ｃ33，Ｄ33)を選択する。このように並び替えを行うと、隣接画像の相関性からゼロのラン長を長く取れる可能性が高まる。この選択は空間周波数の高いほうから行うことも可能である。なお、Ａ00，Ｂ00，Ｃ00，Ｄ00は直流(ＤＣ)成分である。
【００１０】
４つの４×４点のブロックは、ＲＧＧＢそれぞれについて隣り合うブロック４つをまとめることを基本的な選択とするが、１つの４×４点のブロック内にＲＧＧＢの４つのブロックがあることから、これらのブロックをまとめてもよい。また、これらの混合すなわちＧについては隣り合うブロック２つをまとめ、ＲＢについてはそれぞれについて隣り合うブロック４つをまとめてもよい。
【００１１】
直流(以下「ＤＣ」という)係数に対しては、前置差分回路(１６)により、１つ前のブロックとの差分を求めてから、その差分値に対して１次元ハフマン符号により可変長符号化を行う。ＡＣ係数については、ジグザグ走査の結果、ゼロでないＡＣ係数(以下「ＮＺＡＣ係数」という)、及び０の続く長さを表すゼロラン長(以下「ＺＲＬ」という)を求める。ＺＲＬについては、図５に示す符号化テーブル(Table １)を用い、図２の１次元ハフマン符号化回路(１５)で符号化する。ＺＲＬは最長で６３であるので、符号化テーブルが簡単になる。差分ＤＣ係数及びＮＺＡＣ係数については、図６に示す符号化テーブルを用いる。これらは、マルチプレクサ(１７)で、差分ＤＣ係数かＮＺＡＣ係数が選択され、図２の１次元ハフマン符号化回路(１８)で符号化する。それらの出力は、マルチプレクサ(１９)で順次選択し、ＦＩＦＯ(first in first out)メモリ(２０)をバッファとして記憶され、ビットレートを一定にしてシリアル信号として出力される。ＦＩＦＯメモリに記憶されている符号量を判断し、その情報を符号量制御信号として、量子化回路にフィードバックして、メモリがあふれを起こす可能性があれば、量子化係数を大きく、メモリのバッファ量が少なければ量子化係数を小さくすることで、出力のビットレートを一定に保つ。
【００１２】
なお、図５、図６におけるAdditional bitは、それぞれのグループナンバのコードが選択された場合に、実際のNZAC係数や、ZRLに対して追加するビット長を示している。たとえば、NZAC係数が４であったとすると、グループナンバは３である。このグループでは、−７から−４，４から７までの８値を取るので３ビットで表せる。したがって、この場合のAddtional bitは３ビットである。たとえば、−７から７までを000，001，……と順番に割り当てたとすると、4は、５番目にあたるので、101である。グループナンバコードは、110であるので、NZAC係数が４であった場合の最終的な符号は、110101となる。
【００１３】
ここまでの説明では量子化後ジグザグ走査を行い、得られた係数の列に対しゼロラン長圧縮を行うものとしたが、ゼロラン長圧縮の前にＤＣＴ係数の差分を演算し、その差分に対してゼロラン長圧縮を行うものであってもよい。また、画像の性質すなわちＤＣＴ係数の相関度などにより、これら２通りの処理を自動的に選択するように構成することも考えられる。
【産業上の利用可能性】
【００１４】
以上のような画像符号化方式によって、ベイヤー配列のカラーフィルタをもつＣＣＤイメージセンサ（640×480画素）の出力に対して符号化を行い、その性能を確認した。ある画像の例で、本方法とJPEG方式（標準画像圧縮方式の１つ）を比較した結果、圧縮率１０において、本方法では、ＰＳＮＲ(Peak Signal-to-Noise Ratio)が４４dBであったのに対して、ＪＰＥＧ方式では３４ｄBと悪く、大きな改善が得られている。
【図面の簡単な説明】
【００１５】
【図１】ベイヤ配列を示す図
【図２】画像符号化回路を集積化したイメージセンサのブロック図
【図３】８×８画素のベイヤ(Bayer)配列画素ブロックから４つの色成分毎の４×４画素ブロックへの変換を示す図
【図４】４つの４×４点ブロックに対するジグザグ・スキャンを示す図
【図５】ゼロラン長(ZRL)の符号化テーブル(Table １)を示す図
【図６】差分直流(DC)係数、ゼロでない交流(NZAC)係数の符号化テーブル(Table ２)を示す図
【符号の説明】
【００１６】
５  イメージアレイ
６  ノイズキャンセル回路
７  ｎビットＡ／Ｄ変換器
８  ｎ×ＮH×８ビットのメモリ
９  ４×４画素ＲＧＢ成分抽出回路
１０  ２次元離散コサイン変換(DCT)回路
１１  量子化回路
１２  バッファメモリ
１３  ジグザグ走査回路
１５  １次元ハフマン符号化回路(Table 1による符号化)
１６  前置差分回路
１７，１９  マルチプレクサ(ＭＵＸ)
１８  １次元ハフマン符号化回路(Table 2による符号化)
２０  ＦＩＦＯ(first in first out)メモリ
２１  垂直シフトレジスタ
【図１】
2005217896.tif 000008
【図２】
2005217896.tif 000009
【図３】
2005217896.tif 000010
【図４】
2005217896.tif 000011
【図５】
2005217896.tif 000012
【図６】
2005217896.tif 000013