(57)【特許請求の範囲】
【請求項１】
第１の方向及び第１の方向と直交する第２の方向に沿って2次元マトリックス状に正方配置された複数の画素を有し、符号化すべき画像信号を格納するフレームメモリと、
各画素が2次元マトリックス状に正方配置されている第１及び第２のサブメモリと、
前記フレームメモリに格納されている画像信号を、当該フレームメモリの画素の配列方向である第１及び第２の方向以外の斜め方向であるｘ方向に隣接するｎ個の画素を含む画素列とｘ方向と直交するｙ方向に隣接する２ｎ本の画素列とで規定される画素ブロック単位で順次読み出し、順次読み出した画素値を、前記第１及び第２のサブメモリに前記画素列毎に交互に書き込む読出書込手段と、
入力した画像信号について、（ｎ×ｎ）個の画素のブロック単位で直交変換する直交変換手段と、
前記第１及び第２のサブメモリに格納された画素値を（ｎ×ｎ）個の画素ブロック単位で交互に読み出して前記直交変換手段に出力する読出制御手段と、
量子化制御情報に基づき、前記直交変換手段から出力される変換係数を量子化する量子化手段と、
量子化値を符号化して符号化データを出力する符号化手段とを具えることを特徴とする符号化装置。
【請求項２】
請求項１に記載の符号化装置において、フレームメモリから読み出した画素値を第１及び第２のサブメモリに書き込む際、奇数番目の画素列を第１のサブメモリに書き込み、偶数番目の画素列を第２のサブメモリに書き込むことを特徴とする符号化装置。
【請求項３】
請求項１又は２に記載の符号化装置において、前記フレームメモリに格納されている画像信号を読み出して第１及び第２のサブメモリに交互に書き込むことにより、各画素がクィンカンクス配置された画素ブロックを各画素が正方配置された画素ブロックに並び替えられることを特徴とする符号化装置。  
【請求項４】
請求項１、２又は３に記載の符号化装置において、前記フレームメモリの第１の方向及び第２の方向は、画像信号により表示される画像の水平方向及び垂直方向にそれぞれ対応し、符号化の単位である画素ブロックを規定する前記ｘ方向及びｙ方向は、表示画像の斜め方向に対応することを特徴とする符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化歪みが抑制された符号化装置に関するものである。
さらに、本発明は、クィンカンクス配置の画素構造の画像信号を符号化する符号化装置にも関するものである。
【背景技術】
【０００２】
動画像のデジタル符号化技術では、直交変換符号化、動き予測符号化、量子化、及び可変長符号化を組み合わせて符号化処理が行われており、MPEG−1,2,4規格の符号化方式が主流となっている。これらの符号化方式では、画素が2次元マトリックス状に配置されている正方配置の画素構造を前提とし、画像を矩形領域(マクロブロック)に分割し、画素が正方配置したマクロブロック単位で直交変換が行われ、後続する量子化及び符号化処理もマクロブロック単位で行われている。さらに、直交変換処理に関して、矩形領域に対する高速直交変換アルゴリズムが実用化されており、この高速直交変換アルゴリズムを用いることにより高速符号化処理が可能にされている。
【０００３】
従来のMPEG−２ビデオ準拠の動画像符号化方式では、圧縮符号化での符号量は量子化値により制御されている。量子化の際、人間の視覚特性が考慮され、例えば画像の水平方向及び垂直方向パターンは画質劣化が検知され易いため、量子化値が小さくなるように設定して画質低下が抑制されている。一方、画像の斜め方向パターンについては、視覚特性として画質劣化が検知されにくいため、比較的大きな量子化値を用いて符号量の削減が図られている。
【０００４】
また、デジタルカメラや携帯電話に搭載されている小型の撮像装置では、解像度を一層高くするため、各受光素子がクィンカンクス配置された単板式のイメージセンサ（ベイヤ構造）が用いられている。この単板式のイメージセンサを用いた撮像装置では、撮像した映像をクィンカンクス配置の画素構造でセンシングし、画素を補完し、画像データを正方配置の画素構造に変換している。そして、正方配置された画像データについて直交変換処理、量子化処理及び符号化処理を行って各種記録媒体に記録している。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の矩形領域単位で処理が行われる直交変換符号化方式では、各矩形領域毎に異なる圧縮率で符号化処理が行われるため、隣接するマクロブロック間の水平方向及び垂直方向の境界領域において圧縮率の差異に起因する符号化歪みが顕著に視認される不具合が生じていた。すなわち、人間の視覚感度は水平方向及び垂直方向に比較的高い感度を有し、符号化処理の単位である矩形領域の境界は水平方向及び垂直方向に延在するため、マクロブロック間の境界領域における垂直方向パターン及び垂直方向パターンの符号化歪みが視認され易い欠点があった。
【０００６】
また、単板式のイメージセンサを用いる小型の撮像装置では、クィンカンクス配置の画素構造でセンシングが行われ、画素を補完し正方配置に変換してから直交変換されるため、補完された信号は容量としてイメージセンサのセンシングした容量よりも多くなり、記録容量を消費する欠点があった。
【０００７】
本発明の目的は、マクロブロック単位で符号化処理が行われることに起因する符号化歪み及びブロック歪みを軽減する符号化装置及び方法を提供することにある。
本発明の別の目的は、クィンカンクス配置の画素構造の画像データを、記録容量が増大することなく符号化する符号化装置を実現することにある。
さらに、本発明の別の目的は、単板式の小型撮像装置で撮像された映像データを符号化する符号化装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明による撮像装置は、第１の方向及び第１の方向と直交する第２の方向に沿って2次元マトリックス状に正方配置された複数の画素を有し、符号化すべき画像信号を格納するフレームメモリと、
各画素が2次元マトリックス状に正方配置されている第１及び第２のサブメモリと、
前記フレームメモリに格納されている画像信号を、当該フレームメモリの画素の配列方向である第１及び第２の方向以外の斜め方向であるｘ方向に隣接するｎ個の画素を含む画素列とｘ方向と直交するｙ方向に隣接する２ｎ本の画素列とで規定される画素ブロック単位で順次読み出し、順次読み出した画素値を、前記第１及び第２のサブメモリに前記画素列毎に交互に書き込む読出書込手段と、
入力した画像信号について、（ｎ×ｎ）個の画素のブロック単位で直交変換する直交変換手段と、
前記第１及び第２のサブメモリに格納された画素値を（ｎ×ｎ）個の画素ブロック単位で交互に読み出して前記直交変換手段に出力する読出制御手段と、
量子化制御情報に基づき、前記直交変換手段から出力される変換係数を量子化する量子化手段と、
量子化値を符号化して符号化データを出力する符号化手段とを具えることを特徴とする。
【０００９】
本発明では、画素が正方配置された矩形ブロックを単位として符号化処理を行うのではなく、各画素がそれぞれクィンカンクス配置された画素ブロックを単位として符号化処理を行う。しかしながら、現在実用化されている高速直交変換アルゴリズムは、処理の単位となるブロックの画素が正方配置されていることを前提としているため、クィンカンクス配置の画素ブロックについて高速直交変換アルゴリズムを用いて符号化処理を行うことができない。そこで、本発明では、符号化すべき画像信号を格納するフレームメモリから、各画素がクィンカンクス配置された画素ブロックを単位として読み出し、読み出されたクィンカンクス配置の画素ブロックを正方配置された画素ブロックに変換し、正方配置の画素ブロックを用いて直交変換処理及び量子化処理を行う。この結果、符号化処理の単位である画素ブロックの境界は、表示画像上斜め方向に延在することになり、視認される符号化歪みを軽減することができる。正方配置の画素ブロックを単位として直交変換処理が行われるので、高速直交変換アルゴリズムを利用して直交変換処理を行うことができる。
【００１０】
クィンカンクス配置の画素ブロックを正方配置の画素ブロックに変換する変換処理について説明する。本発明では、従来の符号化処理と同様に、メモリ素子（画素）が2次元マトリックス状に配置されているフレームメモリを用い、当該フレームメモリに符号化すべき画像信号を格納する。フレームメモリの画素配置について、水平方向及び垂直方向に対して４５°の角度を以て斜め方向に沿って延在する方向をｘ方向と規定すると共にｘ方向と直交する方向をｙ方向と規定する。従って、ｘ方向及びｙ方向を画素配列の基準とすると、各画素は、それぞれクィンカンクス配置された画素となる。本発明では、ｘ方向に沿って隣接するｎ個の画素を含む画素列と、ｙ方向に沿って隣接する２ｎ本の画素列とにより規定される画素ブロックを単位として符号化処理を実行する。このように規定された画素ブロックについて、適切な読出及び書込処理を行うことによりクィンカンクス配置の画素ブロックをｎ×ｎの画素ブロックの２つの正方配置の画素ブロックに変換することができる。
【００１１】
各画素がクィンカンクス配置されたブロックを正方配置されたブロックに変換するに当たり、フレームメモリの後段に各画素が2次元マトリックス状に正方配置された第１及び第２の２つのサブメモリを設ける。フレームメモリの画像信号について、前記画素ブロック単位でｘ方向及びｙ方向に沿って各画素の画素値を読み出し、２つのサブメモリに画素列毎に交互にｎ本の画素列の画素値を書き込む。すなわち、例えば奇数番目の画素列の画素値を第１のサブメモリに書き込み、偶数番目の画素列の画素値を第２のサブメモリに書き込む。この読出及び書込処理によりクィンカンクス配置の画素ブロックは正方配置の画素ブロックに変換され、２つの正方配置の画素ブロックは飛び越し走査した信号とみなすことができる。そして、２つのサブメモリに格納された画素値を（ｎ×ｎ）画素のブロック単位で直交変換処理及び量子化処理を行う。この結果、符号化処理の単位である画素ブロックの境界が表示画像上水平方向及び垂直方向以外の斜め方向となり、ブロック歪みが視認されにくくなる。さらに、現在実用化されている高速直交変換アルゴリズムを用いて符号化処理を行うことが可能になる。
【発明の効果】
【００１３】
本発明では、各画素がそれぞれクィンカンクス配置された画素ブロックを符号化処理の単位とし、クィンカンクス配置の画素ブロックを正方配置の画素ブロックに変換し、正方配置の画素ブロックを単位として直交変換及び量子化処理を行っているので、符号化処理の単位であるブロックの境界が人間の視覚感度の最も低い斜め成分の歪みとして表示されるため、ブロック歪みが視認されにくくなり、符号化歪みを一層軽減することができる。尚、直交変換処理は、正方配置された画素ブロックを単位として行われるので、現在実用化されている高速直交変換アルゴリズムを用いて符号化処理を実行することができる。
【発明を実施するための最良の形態】
【００１４】
図１は、符号化すべき画像信号を格納するフレームメモリのメモリ素子（画素）の配置を示す線図であり、図２は符号化装置の一例を示す線図である。本発明では、符号化すべき画像信号をフレームメモリ１に格納する。フレームメモリ１は、第１の方向及び第１の方向と直交する第２の方向にそって2次元マトリックス状に正方配置したメモリ素子（画素）を有する。尚、第１の方向は画像信号により表示される画像の水平方向に対応し、第２の方向は垂直方向に対応する。
【００１５】
本発明では、読出書込制御手段２の制御のもとで、フレームメモリ１に格納されている画像信号の各画素値を順次読み出し、各画素が2次元マトリックス状に正方配置されている第１及び第２のサブメモリ３ａ及び３ｂに順次書き込む。この読出書込処理において、フレームメモリ１の第１及び第２の方向以外の斜め方向であるｘ方向に沿って隣接するｎ個（本例では、８個）の画素を含む画素列と、ｘ方向と直交するｙ方向に沿う２ｎ本（本例では、１６本）の画素列とにより規定される画素ブロックを処理の単位とし、フレームメモリ１に格納されている画像信号の各画素の画素値を当該画素ブロック単位で読み出し、第１及び第２のサブメモリ３ａ及び３ｂに書き込む。この読出書込処理により、フレームメモリ１において、各画素がクィンカンクス配置された画素ブロックを各画素が正方配置された画素ブロックに変換することになる。
【００１６】
読出書込制御手段２は、スィッチング装置４及び読出書込制御部５を有し、フレームメモリ１から順次出力される画素値を第１及び第２のサブメモリ３ａ及び３ｂに交互に格納する。すなわち、順次読み出した画素値を、隣接する８個の画素列を単位にして第１のサブメモリ３ａ及び第２のサブメモリ３ｂに交互に供給する。書き込みの際、例えば奇数番目の画素列を第１のサブメモリに書き込み、偶数番目の画素列を第２のサブメモリに書き込む。この結果、第１及び第２のサブメモリには、（ｎ×ｎ）個の画素の画素値が正方配置した状態で格納されることになる。
【００１７】
２つのサブメモリに格納された画素値は、スィッチング装置６及び読出制御部７を有する読出制御手段８の制御のもとで（ｎ×ｎ）の画素ブロック単位で交互に読み出され、直交変換器９に供給する。
【００１８】
直交変換器９は、交互に入力する（ｎ×ｎ）の画素ブロックを単位として直交変換を行い、変換係数を出力する。直交変換処理として、例えばDCT(離散コサイン変換)を行う。尚、直交変換処理の単位である（ｎ×ｎ）の画素ブロックの境界は、表示画像上では、水平及び垂直方向以外の斜め方向に対応する。
【００１９】
出力される変換係数は、量子化器１０に供給する。量子化器１０は、量子化制御部１１から供給される量子化制御情報に基づいて変換係数を量子化し、量子化値を出力する。
【００２０】
量子化値は、可変長符号化器１２に供給され、符号化処理の結果としてビットストリームを出力する。
【００２１】
次に、ビットストリームを復号化する復号化装置について説明する。ビットストリームは、可変長符号復号部２０により復号化される。復号化信号は、逆量子化部２１により逆量子化され、次に逆直交変換部２２において逆直交変換される。逆直交変換された信号は書込制御部２３の制御のもとで２つのサブメモリ２４ａ及び２４ｂに（ｎ×ｎ）の画素ブロック単位で交互に格納される。２つのサブメモリに格納された画素値は、読出書込制御部２５の制御のもとで図２に示す処理と逆の並び替え処理が行われ、フレームメモリ２６に順次格納される。すなわち、（ｎ×ｎ）の画素ブロックについて、８個の画素を含む画素列毎に交互に読み出され、フレームメモリ２６に格納される。フレームメモリ２６から映像信号が出力される。
【００２２】
次に、クィンカンクス配置され画素構造の画像データについて符号化処理を行う場合について説明する。例えば、単板式のＣＣＤイメージセンサを用いた小型のカメラや通信機能を有する小型の撮像装置においては、各受光素子がクィンカンクス配置された画素構造を有するイメージセンサが用いられている。このような小型カメラでは、クィンカンクス構造で映像をセンシングし、画素を補完して正方配置の画素構造に変換してから符号化処理が行われている。しかし、このような方式では、記録容量を消費する不都合が生じてしまう。この課題を解消するため、本発明では、クィンカンクス配置の画素ブロックを単位として読み出し、画素を補完することなく正方配置の画素構造に変換して符号化処理を行う。
【００２３】
図４（ａ）は、一例として受光素子がクィンカンクス配置された画素構造を有するイメージセンサの受光素子配列（画素配列）を示し、図５は、符号化装置の一例を示す。尚、図５において図２で用いた構成要素と同一の構成要素には同一符号を付することにする。図４（ａ）において、第１の方向は表示画像の水平方向を示し、第２の方向は垂直方向を示すものとする。従って、各受光素子（各画素）は、第１及び第２の方向に対してクィンカンクス配置されている。図４（ａ）に示すクィンカンクス配置の画素構造のイメージセンサ３０の各受光素子に蓄積された画素値を読出制御部３１の制御のもとで読み出す。この読み出しの際、第１の方向及び第２の方向以外の斜め方向をｘ方向とし、ｘ方向と直交する方向をｙ方向とする。そして、例えば、ｘ方向にそって隣接する複数個の画素を含む画素列とｙ方向に沿う複数本の画素列とにより規定される画素ブロックを単位として読み出す。例えば、ｘ方向に沿ってｎ個の画素の画素値を読み出し、次にｙ方向に沿ってｍ本の画素列の画素の画素値を読み出す。読み出された画素ブロックの各画素は、メモリ３２に順次書き込む。
【００２４】
メモリ３２は、図４（ｂ）に示すように、2次元マトリックス状に配置されたメモリ素子（画素）を有する。従って、読み出した画素値がメモリ３２に格納される際、クィンカンクス配置の画素構造が正方配置の画素構造に変換される。メモリ３２に格納された画素値は、読出制御部３３の制御のもとでｎ×ｍの画素ブロック単位で読み出され、直交変換器９に供給され、ｎ×ｍの画素ブロック単位で直交変換処理される。尚、ｎ及びｍは自然数とし、ｎ＝ｍに設定することも可能である。次に、変換係数が量子化器１０に供給され、量子化制御部１１の制御のもとで量子化が行われる。量子化器１１から量子化値が出力され、符号化器１２において当該量子化値を用いて符号化処理が行われる。符号化処理の後、記録装置３４により半導体メモリ、ＨＤＤ及び磁気テープ等の各種の記録媒体に記録される。
【００２５】
尚、上述した実施例では、デジタルカメラや携帯電話の撮像装置に用いられているイメージセンサから出力される画像信号を符号化する例について説明したが、画素がクィンカンクス配置されているイメージセンサを用いてセンシングされる各種の画像信号を符号化する場合にも適用され、例えばアナログの映像信号をＡ／Ｄ変換して符号化する場合にも適用される。さらに、符号化した画像データを各種記録装置に記録する場合だけでなく、符号化データを送信装置及び通信網（IP網、ATM網、衛星回線等を含む）を介して映像伝送する場合にも適用することができる。
【図面の簡単な説明】
【００２６】
【図１】フレームメモリに格納されている画像信号を２つのサブメモリに書き込んだ状態を示す線図である。
【図２】本発明による符号化装置の一例を示す線図である。
【図３】本発明による復号化装置の一例を示す線図である。
【図４】イメージセンサのクィンカンクス配置の画素構造及びメモリの正方配置の画素構造を示す線図である。
【図５】本発明による符号化装置の別の例を示す線図である。
【符号の説明】
【００２７】
１  フレームメモリ
２  読出書込制御手段
３ａ  第１のサブメモリ
３ｂ  第２のサブメモリ
４，６  スィッチング装置
５  読出書込制御部
７  読出制御部
８  読出制御手段
９  直交変換器
１０  量子化器
１１  量子化制御部
１２  可変長符号化器
２０  可変長符号復号部
２１  逆量子化部
２２  逆直交変換部
２３  書込制御部
２４ａ，２４ｂ  サブメモリ
２５  読出書込制御部
２６  フレームメモリ
３０  イメージセンサ
３１  読出制御部
３２  メモリ
３３  読出制御部
【図１】
0004460510.tif 000002
【図２】
0004460510.tif 000003
【図３】
0004460510.tif 000004
【図４】
0004460510.tif 000005
【図５】
0004460510.tif 000006