(57)【要約】【課題】ベイヤ配列画像をデモザイク処理することなく、かつ符号化効率を低下させないで、符号化及び復号する。【解決手段】符号化装置は、ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号及び前記配列変換の種類を示すフラグ信号を生成する信号配列変換部（１１）と、前記フラグ信号に基づいて前記配列変換画像信号を符号化する際のパラメータを決定するパラメータ決定手段（２２，２３，２４）と、前記パラメータを用いて、前記信号配列変換手段によって変換された信号を信号処理して符号化する信号処理手段（１３，１４，１５，１６）とを備え、復号装置は、前記パラメータ信号を取得し、該パラメータを用いて復号する手段（３２，３３，３４）を備える。【選択図】図１
2011166219.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置であって、
ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号及び前記配列変換の種類を示すフラグ信号を生成する信号配列変換手段と、
前記フラグ信号に基づいて、前記配列変換した画像信号を符号化する際のパラメータを決定するパラメータ決定手段と、
前記パラメータを用いて、前記配列変換した画像信号を信号処理して符号化する信号処理手段と、
を備えることを特徴とする符号化装置。
【請求項２】
前記パラメータ決定手段は、前記配列変換の種類に基づいて、画像信号を周波数信号へ変換する処理を行う際の処理単位となるブロックの形状を前記パラメータとし決定する変換制御手段からなり、
前記信号処理手段は、前記形状のブロック単位で前記配列変換した画像信号を周波数信号に変換し、該周波数信号を量子化して符号化することを特徴とする、請求項１に記載の符号化装置。
【請求項３】
前記フラグ信号は、前記配列変換が、ベイヤ配列のカラー画像信号の各色の配列を水平方向の解像度を保ったまま正方格子状に整列する水平保存変換、又はベイヤ配列のカラー画像信号の各色の配列を垂直方向の解像度を保ったまま正方格子状に整列する垂直保存のいずれかであることを示す信号であり、
前記パラメータ決定手段は、前記配列変換が前記水平保存変換であることを示すフラグ信号を取得した場合には、前記ブロックの形状を垂直方向のライン数よりも水平方向の画素数が大きいものに決定し、前記配列変換が前記垂直保存変換であることを示すフラグ信号を取得した場合には、前記ブロックの形状を水平方向の画素数よりも垂直方向のライン数が大きいものに決定することを特徴とする、請求項２に記載の符号化装置。
【請求項４】
前記パラメータ決定手段は、前記信号配列変換手段から前記信号配列変換を行った画像を取得し、周波数成分を解析して周波数成分に偏りがあるか否かを判定し、偏りがないと判定した場合には、前記ブロックの形状を正方形に決定することを特徴とする、請求項３に記載の符号化装置。
【請求項５】
ベイヤ配列のカラー画像信号をブロック単位で符号化した符号化ストリームを復号する復号装置であって、
前記符号化ストリームを可変長復号、逆係数走査、及び逆量子化した信号を周波数時間変換する際の処理単位となるブロックの形状を示す情報を表すパラメータ信号を取得するパラメータ取得手段と、
該取得したパラメータ信号によって特定される形状のブロック単位で、前記符号化ストリームを可変長復号、逆係数走査、及び逆量子化した周波数信号を、画像信号に変換する周波数時間変換手段と、
を備えることを特徴とする復号装置。
【請求項６】
ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置を構成するコンピュータに、
（ａ）ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号を生成するステップと、
（ｂ）前記配列変換の種類に基づいて、前記配列変換した画像信号を周波数信号へ変換する処理を行う際の処理単位となるブロックの形状を決定するステップと、
（ｃ）前記決定した形状のブロック単位で、前記配列変換した画像信号を周波数信号に変換し、該周波数信号を量子化して符号化するステップと、
を実行させるためのプログラム。
【請求項７】
前記パラメータ決定手段は、前記フラグ信号に基づいて、量子化処理を行う際の量子化マトリクスを前記パラメータとして決定する量子化マトリクス決定手段からなり、
前記信号処理手段は、前記量子化マトリクスを用いて前記配列変換した画像信号を周波数変換した信号を量子化し、該量子化した信号を符号化することを特徴とする、請求項１に記載の符号化装置。
【請求項８】
前記フラグ信号は、前記配列変換が、ベイヤ配列のカラー画像信号の各色の配列を水平方向の解像度を保ったまま正方格子状に整列する水平保存変換、又はベイヤ配列のカラー画像信号の各色の配列を垂直方向の解像度を保ったまま正方格子状に整列する垂直保存のいずれかであることを示す信号であり、
前記パラメータ決定手段は、前記配列変換が前記水平保存変換であることを示すフラグ信号を取得した場合には、前記量子化マトリクスを水平方向の量子化ステップが垂直方向の量子化ステップよりも細かいものに決定し、前記配列変換が前記垂直保存変換であることを示すフラグ信号を取得した場合には、前記量子化マトリクスを垂直方向の量子化ステップが水平方向の量子化ステップよりも細かいものに決定することを特徴とする、請求項７に記載の符号化装置。
【請求項９】
ベイヤ配列のカラー画像信号をブロック単位で符号化した符号化ストリームを復号する復号装置であって、
前記符号化ストリームを可変長復号及び逆係数走査した信号を量子化する際の量子化マトリクスの情報を表すパラメータ信号を取得するパラメータ取得手段と、
該取得したパラメータ信号によって特定される量子化マトリクスを用いて、前記符号化ストリームを可変長復号及び逆係数走査した信号を、逆量子化する逆量子化手段と、
を備えることを特徴とする復号装置。
【請求項１０】
ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置を構成するコンピュータに、
（ａ）ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号を生成するステップと、
（ｂ）前記配列変換の種類に基づいて、量子化処理を行う際の量子化マトリクスを決定するステップと、
（ｃ）前記決定した量子化マトリクスを用いて、前記配列変換した画像信号を周波数変換した信号を量子化し、該量子化した信号を符号化するステップと、
を実行させるためのプログラム。
【請求項１１】
前記パラメータ決定手段は、前記フラグ信号に基づいて、係数走査処理を行う際の係数走査順を前記パラメータとして決定する走査順決定手段からなり、
前記信号処理手段は、前記係数走査順で前記配列変換した画像信号を周波数変換して量子化した信号を走査して並び替え、該並び替えられた信号を符号化することを特徴とする、請求項１に記載の符号化装置。
【請求項１２】
前記フラグ信号は、前記配列変換が、ベイヤ配列のカラー画像信号の各色の配列を水平方向の解像度を保ったまま正方格子状に整列する水平保存変換、又はベイヤ配列のカラー画像信号の各色の配列を垂直方向の解像度を保ったまま正方格子状に整列する垂直保存のいずれかであることを示す信号であり、
前記パラメータ決定手段は、前記配列変換が前記水平保存変換であることを示すフラグ信号を取得した場合には、前記走査順を垂直方向よりも水平方向の走査が多いものに決定し、前記配列変換が前記垂直保存変換であることを示すフラグ信号である場合には、前記走査順として水平方向よりも垂直方向の走査が多いものに決定することを特徴とする、請求項１１に記載の符号化装置。
【請求項１３】
ベイヤ配列のカラー画像信号をブロック単位で符号化した符号化ストリームを復号する復号装置であって、
前記符号化ストリームを可変長復号した信号を逆係数走査する際の係数走査順の情報を表すパラメータ信号を取得するパラメータ取得手段と、
該取得したパラメータ信号によって特定される係数走査順で、前記可変長復号した信号を、逆走査して並び替える逆係数走査手段と、
を備えることを特徴とする復号装置。
【請求項１４】
ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置を構成するコンピュータに、
（ａ）ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号を生成するステップと、
（ｂ）前記配列変換の種類に基づいて、係数走査処理を行う際の係数走査順を決定するステップと、
（ｃ）前記決定した係数走査順で、前記配列変換した画像信号を周波数変換して量子化した信号を走査して並び替え、該並び替えられた信号を符号化するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベイヤ配列の画像信号を符号化する符号化装置、ベイヤ配列の画像信号を復号する復号装置、及びベイヤ配列の画像信号を符号化、復号するプログラムに関するものである。
【背景技術】
【０００２】
画像信号、映像信号の圧縮符号化技術は、方式の国際標準化や実応用に伴い進展している。中でも、現在のデジタル放送やＤＶＤで利用されているＭＰＥＧ−２方式は、世界的に広く使われる汎用符号化方式となっている。また、Ｂｌｕ−ｒａｙ（登録商標）や日本のワンセグで利用されているＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式は、ＭＰＥＧ−２方式の約２倍の符号化効率を達成しており、普及が広まっている。これらの符号化方式は、画像信号を周波数領域の信号に変換し、画像信号が特徴的に有する低域信号に電力を集中させた上で、人間の視覚特性を考慮した量子化処理により効率的に圧縮する方式である。画像信号から周波数領域信号への変換は、ＭＰＥＧ−２で用いられている離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で用いられている、ＤＣＴをベースとした整数直交変換や、ＪＰＥＧ２０００等で用いられているウエーブレット変換、その他、アダマール変換、スラント変換、カルーネン−レーベ変換など種々の技法がある。
【０００３】
一方、画像信号を取得するデジタルカメラなどのセンサの多くは、ＣＣＤやＣＭＯＳのように単一の光センサとカラーフィルタとを組み合わせて色の識別を行っている。一般的には入射される光をベイヤ配列（ベイヤパターン）に分離する。
【０００４】
図１３に、ベイヤ配列の例を示す。図１３の例では、水平方向に緑（Ｇ１）と赤（Ｒ）、又は緑（Ｇ２）と青（Ｂ）のそれぞれ２色が周期的に現れる。垂直方向には、緑（Ｇ１）と青（Ｂ）、又は緑（Ｇ２）と赤（Ｒ）のそれぞれ２色が周期的に現れる。よって、１つの画像内で、緑は赤又は青の２倍の画素数を有することになる。これは、緑、青、赤のうち、緑が人間の視覚感度の高い輝度信号に最も近い特性を有しているためである。
【０００５】
ベイヤ配列の画像信号は１つの画素位置に１つの色信号しか存在しないため、１画素に対して３色を生成する処理を施す必要がある。この処理はデモザイク処理又はデモザイキング処理などと呼ばれている。デモザイク処理により全画素位置に３色をそろえると、この画像はベイヤ配列の画像に比べて情報量が３倍に増大する。
【０００６】
ベイヤ配列の画像信号を対象に圧縮符号化する場合、基本的にはデモザイク処理により全画素位置に３色の信号をそろえた形で符号化処理を行う。また、圧縮符号化では、ＲＧＢ信号で符号化するのではなく、ＲＧＢ信号をＹＣｂＣｒ信号などの輝度信号と色差信号とに変換してから符号化処理を行うことが多い。前述のように、デモザイク処理を行うと、画像の情報量がベイヤ配列時の３倍に増大する。そこで、デモザイク処理を行わずに圧縮符号化する技法もある（例えば、特許文献１参照）。
【０００７】
デモザイクを行わず符号化処理を行うためには、ＲＧＢ信号又はＹＣｂＣｒ信号からなるベイヤ配列画像信号の各色信号を、正方格子状にそろうように隙間なく整列させる必要がある。正方格子状への整列の仕方によって、輝度信号の画像が、元のベイヤ配列画像信号に対して垂直方向に半分のサイズになる場合と、水平方向に半分のサイズになる場合とがある。信号形式としてはＹＣｂＣｒの４：２：２フォーマット信号が形成される。
【０００８】
図１４に、ベイヤ配列の映像信号を符号化する、従来の符号化装置４のブロック図を示す。符号化装置４は、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１とを備える。
【０００９】
信号配列変換部１１は、符号化装置１に入力されたベイヤ配列の映像信号を、ＹＣｂＣｒ信号などの輝度信号及び色差信号からなる色空間の信号に色空間変換し、色空間変換後の信号を減算部１２及び予測処理部２０に出力する。
【００１０】
減算部１２は、信号配列変換部１１から入力される画像信号と、予測処理部２０から入力される予測画像との差分信号を生成し、時間周波数変換部１３に出力する。
【００１１】
時間周波数変換部１３は、減算部１２から供給される差分信号に対して小領域の画素ブロックごとに時間領域の信号（画像信号）を周波数領域の信号に変換する処理を行い、周波数領域の信号（変換係数信号）を量子化部１４に出力する。変換処理には、ＭＰＥＧ−２などで利用されているＤＣＴや、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で利用されている整数直交変換や、ＪＰＥＧ２０００などで利用されているウエーブレット変換等が適用可能である。
【００１２】
量子化部１４は、時間周波数変換部１３から入力される変換係数信号に対し、小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、量子化係数信号を係数走査部１５及び逆量子化部１７に出力する。
【００１３】
係数走査部１５は、量子化部１４から入力される量子化係数信号を、所定の順序で走査して並び替え、可変長符号化部１６に出力する。この並び替えにより、ゼロではない量子化係数信号は、ほぼ絶対値の大きい順に並び替えられることになる。
【００１４】
可変長符号化部１６は、係数走査部１５から入力される量子化係数信号について可変長符号化処理を施しビットストリームを生成するとともに、予測処理部２０から入力される動きベクトルの情報も可変長符号化を施して出力する。
【００１５】
逆量子化部１７は、量子化部１４から入力される量子化係数信号について逆量子化処理を行って周波数時間変換部１８に出力する。
【００１６】
周波数時間変換部１８は、逆量子化部１７から入力される周波数領域の信号を時間領域の信号へ変換する処理（例えば、ＩＤＣＴ；Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を行い、加算部２１に出力する。
【００１７】
加算部２１は、周波数時間変換部１８から入力される時間領域の信号と、予測処理部２０から入力される予測画像とを加算処理して復号画像を生成し、画像メモリ１９に出力する。
【００１８】
予測処理部２０は、画面間予測（インター予測）処理、又は画面内予測（イントラ予測）処理を行う。これらの処理は、例えば画像を矩形に分割したブロックを単位として行われる。画面内予測の場合には、画像メモリ１９に蓄積された符号化済みの近傍画素から、符号化対象となるブロックの画素を予測する。この予測処理は、例えばＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４規格で規定されているイントラ予測処理が適用可能である。画面間予測の場合には、ブロック単位での動き補償予測処理が施される。動き予測の方法としては、画像メモリ１９に蓄えられた画像を用いたブロックマッチングや勾配法などの方法が適用可能であり、これらの方法はＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの規格の符号化でも利用されている。予測処理部２０は、生成した予測画像を減算部１２及び加算部２１に出力する。また、動きベクトルの情報を可変長符号化部１６に出力する。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００８−１４１３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
以上説明したように、ベイヤ配列画像信号をデモザイク処理することなく符号化処理で利用可能な形式に変換することが可能である。しかし、この変換を行うと、輝度信号の画像サイズが元のベイヤ配列画像に対して垂直方向又は水平方向に半分のサイズになる。
【００２１】
これらの信号を圧縮符号化する際には、ＤＣＴなどの周波数変換処理が施される。この際、一般的には画像を正方形のブロックに分割して変換処理が施される。時間周波数変換部１３による正方形のブロックでの変換処理、量子化部１４による量子化処埋、及び係数走査部１５による走査処理は、水平方向、垂直方向の周波数成分がブロック内で同等であることを仮定している。そのため、ベイヤ配列画像信号を正方格子状へ詰める変換を施して周波数成分が水平方向又は垂直方向に半分になっている信号に対して、水平方向、垂直方向の周波数成分が同等であることを仮定した処理を行うことは、符号化効率の低下につながる。また、正方形ブロック内の画像の周波数成分は必ずしも水平方向、垂直方向に同等であるとは限らず、画像によって異なるという問題があった。
【００２２】
本発明の目的は、上記問題を解決するため、ベイヤ配列画像信号をデモザイク処理することなく符号化する場合に、符号化効率を向上させる符号化装置及びプログラムを提供することにある。また、該符号化装置により符号化された符号化ストリームを適切に復号する復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００２３】
上記課題を解決するため、本発明は、ベイヤ配列画像信号を正方格子状へ整列させる配列変換の種類に応じて、周波数変換処理及びその後の処理について適応的に切り替える。
【００２４】
すなわち、本発明に係る符号化装置は、ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置であって、ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号及び前記配列変換の種類を示すフラグ信号を生成する信号配列変換手段と、前記フラグ信号に基づいて、前記配列変換した画像信号を符号化する際のパラメータを決定するパラメータ決定手段と、前記パラメータを用いて、前記配列変換した画像信号を信号処理して符号化する信号処理手段と、を備えることを特徴とする。
【００２５】
また、前記パラメータ決定手段は、前記配列変換の種類に基づいて、画像信号を周波数信号へ変換する処理を行う際の処理単位となるブロックの形状を前記パラメータとし決定する変換制御手段からなり、前記信号処理手段は、前記形状のブロック単位で前記配列変換した画像信号を周波数信号に変換し、該周波数信号を量子化して符号化することを特徴とする。
【００２６】
また、本発明に係る符号化装置において、前記フラグ信号は、前記配列変換が、ベイヤ配列のカラー画像信号の各色の配列を水平方向の解像度を保ったまま正方格子状に整列する水平保存変換、又はベイヤ配列のカラー画像信号の各色の配列を垂直方向の解像度を保ったまま正方格子状に整列する垂直保存のいずれかであることを示す信号であり、前記パラメータ決定手段は、前記配列変換が前記水平保存変換であることを示すフラグ信号を取得した場合には、前記ブロックの形状を垂直方向のライン数よりも水平方向の画素数が大きいものに決定し、前記配列変換が前記垂直保存変換であることを示すフラグ信号を取得した場合には、前記ブロックの形状を水平方向の画素数よりも垂直方向のライン数が大きいものに決定することを特徴とする。
【００２７】
また、本発明に係る符号化装置において、前記パラメータ決定手段は、前記信号配列変換手段から前記信号配列変換を行った画像を取得し、周波数成分を解析して周波数成分に偏りがあるか否かを判定し、偏りがないと判定した場合には、前記ブロックの形状を正方形に決定することを特徴とする。
【００２８】
また、本発明に係る復号装置は、ベイヤ配列のカラー画像信号をブロック単位で符号化した符号化ストリームを復号する復号装置であって、前記符号化ストリームを可変長復号、逆係数走査、及び逆量子化した信号を周波数時間変換する際の処理単位となるブロックの形状を示す情報を表すパラメータ信号を取得するパラメータ取得手段と、該取得したパラメータ信号によって特定される形状のブロック単位で、前記符号化ストリームを可変長復号、逆係数走査、及び逆量子化した周波数信号を、画像信号に変換する周波数時間変換手段と、を備えることを特徴とする。
【００２９】
また、本発明は、ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置を構成するコンピュータに、（ａ）ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号を生成するステップと、（ｂ）前記配列変換の種類に基づいて、前記配列変換した画像信号を周波数信号へ変換する処理を行う際の処理単位となるブロックの形状を決定するステップと、（ｃ）前記決定した形状のブロック単位で、前記配列変換した画像信号を周波数信号に変換し、該周波数信号を量子化して符号化するステップと、を実行させるためのプログラムとしても特徴付けられる。
【００３０】
また、本発明に係る符号化装置において、前記パラメータ決定手段は、前記フラグ信号に基づいて、量子化処理を行う際の量子化マトリクスを前記パラメータとして決定する量子化マトリクス決定手段からなり、前記信号処理手段は、前記量子化マトリクスを用いて前記配列変換した画像信号を周波数変換した信号を量子化し、該量子化した信号を符号化することを特徴とする。
【００３１】
また、本発明に係る符号化装置において、前記フラグ信号は、前記配列変換が、ベイヤ配列のカラー画像信号の各色の配列を水平方向の解像度を保ったまま正方格子状に整列する水平保存変換、又はベイヤ配列のカラー画像信号の各色の配列を垂直方向の解像度を保ったまま正方格子状に整列する垂直保存のいずれかであることを示す信号であり、前記パラメータ決定手段は、前記配列変換が前記水平保存変換であることを示すフラグ信号を取得した場合には、前記量子化マトリクスを水平方向の量子化ステップが垂直方向の量子化ステップよりも細かいものに決定し、前記配列変換が前記垂直保存変換であることを示すフラグ信号を取得した場合には、前記量子化マトリクスを垂直方向の量子化ステップが水平方向の量子化ステップよりも細かいものに決定することを特徴とする。
【００３２】
また、本発明に係る復号装置は、ベイヤ配列のカラー画像信号をブロック単位で符号化した符号化ストリームを復号する復号装置であって、前記符号化ストリームを可変長復号及び逆係数走査した信号を量子化する際の量子化マトリクスの情報を表すパラメータ信号を取得するパラメータ取得手段と、該取得したパラメータ信号によって特定される量子化マトリクスを用いて、前記符号化ストリームを可変長復号及び逆係数走査した信号を、逆量子化する逆量子化手段と、を備えることを特徴とする。
【００３３】
また、本発明は、ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置を構成するコンピュータに、（ａ）ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号を生成するステップと、（ｂ）前記配列変換の種類に基づいて、量子化処理を行う際の量子化マトリクスを決定するステップと、（ｃ）前記決定した量子化マトリクスを用いて、前記配列変換した画像信号を周波数変換した信号を量子化し、該量子化した信号を符号化するステップと、を実行させるためのプログラムとしても特徴付けられる。
【００３４】
また、本発明に係る符号化装置において、前記パラメータ決定手段は、前記フラグ信号に基づいて、係数走査処理を行う際の係数走査順を前記パラメータとして決定する走査順決定手段からなり、前記信号処理手段は、前記係数走査順で前記配列変換した画像信号を周波数変換して量子化した信号を走査して並び替え、該並び替えられた信号を符号化することを特徴とする。
【００３５】
また、本発明に係る符号化装置において、前記フラグ信号は、前記配列変換が、ベイヤ配列のカラー画像信号の各色の配列を水平方向の解像度を保ったまま正方格子状に整列する水平保存変換、又はベイヤ配列のカラー画像信号の各色の配列を垂直方向の解像度を保ったまま正方格子状に整列する垂直保存のいずれかであることを示す信号であり、前記パラメータ決定手段は、前記配列変換が前記水平保存変換であることを示すフラグ信号を取得した場合には、前記走査順を垂直方向よりも水平方向の走査が多いものに決定し、前記配列変換が前記垂直保存変換であることを示すフラグ信号である場合には、前記走査順として水平方向よりも垂直方向の走査が多いものに決定することを特徴とする。
【００３６】
また、本発明に係る復号装置は、ベイヤ配列のカラー画像信号をブロック単位で符号化した符号化ストリームを復号する復号装置であって、前記符号化ストリームを可変長復号した信号を逆係数走査する際の係数走査順の情報を表すパラメータ信号を取得するパラメータ取得手段と、該取得したパラメータ信号によって特定される係数走査順で、前記可変長復号した信号を、逆走査して並び替える逆係数走査手段と、を備えることを特徴とする。
【００３７】
また、本発明は、ベイヤ配列のカラー画像信号をブロック単位で符号化する符号化装置を構成するコンピュータに、（ａ）ベイヤ配列のカラー画像信号の各色の配列を正方格子状に隙間なく整列するように配列変換した画像信号を生成するステップと、（ｂ）前記配列変換の種類に基づいて、係数走査処理を行う際の係数走査順を決定するステップと、（ｃ）前記決定した係数走査順で、前記配列変換した画像信号を周波数変換して量子化した信号を走査して並び替え、該並び替えられた信号を符号化するステップと、を実行させるためのプログラムとしても特徴付けられる。
【発明の効果】
【００３８】
本発明によれば、ベイヤ配列画像をデモザイク処理することなく、かつ符号化効率を低下させないで、符号化及び復号することが可能となる。
【図面の簡単な説明】
【００３９】
【図１】本発明による実施例１の符号化装置のブロック図である。
【図２】ベイヤ配列画像を水平方向の解像度を保存するように配列変換する例を示す図である。
【図３】ベイヤ配列画像を垂直方向の解像度を保存するように配列変換する例を示す図である。
【図４】ベイヤ配列画像を水平方向又は垂直方向の解像度を保存するように配列変換した画像の輝度信号の周波数帯域を示す図である。
【図５】本発明による実施例１の符号化装置におけるブロックサイズの決定方法例を示すフローチャートである。
【図６】本発明による実施例１の復号装置のブロック図である。
【図７】本発明による実施例２の符号化装置のブロック図である。
【図８】本発明による実施例２の符号化装置における量子化マトリクスの例を示す図である。
【図９】本発明による実施例２の復号装置のブロック図である。
【図１０】本発明による実施例３の符号化装置のブロック図である。
【図１１】本発明による実施例３の符号化装置における係数の走査順を示す図である。
【図１２】本発明による実施例３の復号装置のブロック図である。
【図１３】ベイヤ配列の例を示す図である。
【図１４】従来の符号化装置のブロック図である。
【発明を実施するための形態】
【００４０】
以下、本発明による実施例１の符号化装置及び復号装置について、図面を参照して詳細に説明する。
【実施例１】
【００４１】
［符号化装置］
図１は、本発明による実施例１の符号化装置１を示すブロック図である。符号化装置１は、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、変換制御部２２とを備える。符号化装置１は、従来の符号装置（図１４参照）と比較して、さらに変換制御部２２を備える点で相違する。なお、従来の符号装置（図１４参照）と同じ構成要素には同一の参照番号を付して説明を省略する。
【００４２】
信号配列変換部１１は、符号化装置１に入力されたベイヤ配列の映像信号を、ＹＣｂＣｒなどの符号化処理に適した形式の信号に色空間変換し、デモザイク処理を行うことなく、正方格子状に隙間なく整列させる。
【００４３】
図２は、ベイヤ配列画像をデモザイク処理を行わずに水平方向の解像度を保つように配列変換する例を示す図である。図２（ａ）は、ＲＧＢ信号のベイヤ配列ａ１、ＲＧＢ信号のベイヤ配列ａ１のうちＧ信号を取り出したＧ信号配列ａ２、ＲＧＢ信号のベイヤ配列ａ１のうちＢ信号を取り出したＢ信号配列ａ３、及びＲＧＢ信号のベイヤ配列ａ１のうちＲ信号を取り出したＲ信号配列ａ４を示す図である。この図から明らかなように、Ｇ信号配列ａ２、Ｂ信号配列ａ３、及びＲ信号配列ａ４は、画素立置によって隙間のある配置となる。
【００４４】
図２（ｂ）は、ＲＧＢ信号のベイヤ配列ａ１のＲＧＢ信号を、画像の符号化形式の一例であるＹＣｂＣｒ信号へ色空間変換を行った場合の、ＹＣｂＣｒ信号のベイヤ配列ｂ１、ＹＣｂＣｒ信号のベイヤ配列ｂ１のうちＹ信号を取り出したＹ信号配列ｂ２、ＹＣｂＣｒ信号のベイヤ配列ｂ１のうちＣｂ信号を取り出したＣｂ信号配列ｂ３、及びＹＣｂＣｒ信号のベイヤ配列ｂ１のうちＣｒ信号を取り出したＣｒ信号配列ｂ４を示す図である。この図から明らかなように、Ｙ信号配列ｂ２、Ｃｂ信号配列ｂ３、及びＣｒ信号配列ｂ４は、画素立置によって隙間のある配置となる。色空間変換は、例えば式（１）に示す行列変換により行われる。
【００４５】
【数１】
2011166219.tif 000003
輝度信号は主にＧ信号に対応する。輝度信号はベイヤ配列を保ったまま変換されるため、Ｙ１及びＹ２で表される。
【００４６】
Ｙ（Ｙ１／Ｙ２）ＣｂＣｒ信号に色空間変換されたベイヤ配列画像信号は、画素位置によって存在する隙間を埋めるように整列させられる。図２（ｃ）は、配列変換後のＹＣｂＣｒ信号ｃ１、配列変換後のＹＣｂＣｒ信号ｃ１のうちＹ信号を取り出したＹ信号配列ｃ２、配列変換後のＹＣｂＣｒ信号ｃ１のうちＣｂ信号を取り出したＣｂ信号配列ｃ３、及び配列変換後のＹＣｂＣｒ信号ｃ１のうちＣｒ信号を取り出したＣｒ信号配列ｃ４を示す図である。輝度信号については、Ｙ１又はＹ２の画素位置を垂直方向にずらして隙間を埋める（図中ではＹ２を垂直方向にずらしている）。このとき、単純に位置だけをずらす場合と、画素位置と画素の連続性を考慮して画素値にフィルタ処理を施した後に画素位置をずらす方法がある。２つの色差信号Ｃｒ及びＣｂについては、隙間のないように位置をずらされる。この場合も位置だけをずらす方法と、画素位置を考慮してフィルタ処理を施した後にずらす方法がある。最終的には、輝度信号の画像は元のベイヤ配列画像に対して垂直方向に半分のサイズとなる。信号としてはＹＣｂＣｒの４：２：２フォーマット信号が形成される。このように、輝度信号の水平解像度を保存したまま画素位置をずらす変換のことを、以下、「水平保存変換」と呼ぶ。なお、図２（ｂ）及び図２（ｃ）においては、変換前後の各画素の対応関係を明確にするために、各画素に番号を振っており、同一番号を付した画素は同一の画素であることを示している。
【００４７】
図３は、ベイヤ配列画像をデモザイク処理を行わずに垂直方向の解像度を保つように配列変換する例を示す図である。図３（ａ）（ｂ）は図２（ａ）（ｂ）と同じであるため、説明を省略する。
【００４８】
Ｙ（Ｙ１／Ｙ２）ＣｂＣｒ信号に色空間変換されたベイヤ配列画像信号は、画素位置によって存在する隙間を埋めるように整列させられる。図３（ｃ）は、配列変換後のＹＣｂＣｒ信号ｃ１、配列変換後のＹＣｂＣｒ信号ｃ１のうちＹ信号を取り出したＹ信号配列ｃ２、配列変換後のＹＣｂＣｒ信号ｃ１のうちＣｂ信号を取り出したＣｂ信号配列ｃ３、及び配列変換後のＹＣｂＣｒ信号ｃ１のうちＣｒ信号を取り出したＣｒ信号配列ｃ４を示す図である。輝度信号については、Ｙ１又はＹ２の画素位置を水平方向にずらして隙間を埋める（図中ではＹ２を水平方向にずらしている）。このとき、単純に位置だけをずらす場合と、画素位置と画素の連続性を考慮して画素値にフィルタ処理を施した後に画素位置をずらす方法がある。２つの色差信号Ｃｒ及びＣｂについては、垂直方向へ並ぶように位置をずらして隙間のないようにする。この場合も位置だけをずらす方法と、画素位置を考慮してフィルタ処埋を施した後にずらす方法がある。最終的には、元のベイヤ配列画像に対して水平方向に輝度信号が半分のサイズになった信号となる。信号としてはＹＣｂＣｒの４：２：２フォーマット信号が形成される。このように、輝度信号の垂直解像度を保存したまま画素位置をずらす変換のことを、以下、「垂直保存変換」と呼ぶ。なお、図３（ｂ）及び図３（ｃ）においては、変換前後の各画素の対応関係を明確にするために、各画素に番号を振っており、同一番号を付した画素は同一の画素であることを示している。
【００４９】
図４は、ベイヤ配列画像の周波数帯域、及びベイヤ配列画像に対して水平保存変換又は垂直保存変換を行った画像の輝度信号の周波数帯域を示す図である。図４において、水平軸は右にいくにつれて水平方向の周波数が高くなることを示し、垂直軸は下にいくにつれて垂直方向の周波数が高くなることを示している。図４（ａ）は、水平保存変換又は垂直保存変換を行う前の、ベイヤ配列画像の周波数帯域を示す図である。ベイヤ配列画像は全画素がある場合の画像と比較して、水平方向及び垂直方向に対して斜め４５度の方向の帯域が半分になっているため、斜線を付した領域内に周波数スペクトルが存在することになる。図４（ｂ）は、ベイヤ配列画像に対して水平保存変換を行った画像の周波数帯域を示す図である。水平方向の解像度は全画素がある場合と等しくなるが、垂直方向の解像度は全画素がある場合の半分になるため、斜線を付した領域内に周波数スペクトルが存在することになる。図４（ｃ）は、ベイヤ配列画像に対して垂直保存変換を行った画像の周波数帯域を示す図である。垂直方向の解像度は全画素がある場合と等しくなるが、水平方向の解像度は全画素がある場合の半分になるため、斜線を付した領域内に周波数スペクトルが存在することになる。
【００５０】
再び図１に戻って、符号化装置１の構成について説明する。信号配列変換部１１は、信号配列変換後の映像信号を減算部１２及び予測処理部２０に出力し、水平保存変換又は垂直保存変換の種類を示すフラグ信号を変換制御部２２に出力する。
【００５１】
変換制御部２２は、信号配列変換部１１から入力されるフラグ信号に基づいて、時間周波数変換部１３の変換を行う際の処理単位となるブロックの形状を決定し、決定したブロックの形状の情報を表すパラメータ信号を時間周波数変換部１３及び周波数時間変換部１８に出力する。
【００５２】
変換制御部２２におけるブロックの形状の決定方法について説明する。符号化規格の変換処理として、ＭＰＥＧ−２では８画素×８ラインブロックサイズのＤＣＴ、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では４画素×４ラインと８画素×８ラインの整数直交変換が用いられている。両者とも正方形ブロックであるが、これは２次元信号である画像信号が水平方向及び垂直方向ともに同等の周波数成分を有していることを仮定している。一方で、本発明が対象としているベイヤ配列画像信号を配列変換した信号は前述のように配列変換の種類の違いによって、同じ正方形ブロック内でも水平、垂直の周波数帯域が一方の半分になっているという特徴がある。そこで、ベイヤ配列からの信号配列変換の種類に応じて処理単位となるブロックの形状を切り替える。
【００５３】
配列変換が水平保存変換の場合には、垂直方向に対して水平方向は２倍の周波数帯域を有するため、処理単位となるブロックの形状が水平方向に長い長方形となるように、例えば１６画素×８ラインや８画素×４ラインといったサイズに決定する。一方、配列変換が垂直保存変換の場合には、水平に対して垂直方向は２倍の周波数帯域を有するため、処理単位となるブロックの形状が垂直方向に長い長方形となるように、例えば８画素×１６ラインや４画素×８ラインといったサイズに決定する。
【００５４】
ただし、例えば、画像が滑らかで周波数帯域が低周波領域に集中する場合のように、周波数帯域に概ね偏りがない（周波数帯域と垂直方向の周波数帯域が同等である）場合には、配列変換によらず正方形のブロックを利用することも可能である。また、変換制御部２２は、信号配列変換部１１から信号配列変換後の画像を取得して周波数成分を解析する機能を有することができ、周波数成分の解析結果により、長方形又は正方形のブロックを適宜選択することも可能である。
【００５５】
図５は、変換制御部２２が周波数成分解析段を有する場合の、ブロックサイズの決定方法の一例を示すフローチャートである。ステップＳ１０１にて、変換制御部２２は、周波数成分解析段によって、信号配列変換部１１から信号配列変換後の画像を取得して周波数成分を解析する。
【００５６】
ステップＳ１０２にて、変換制御部２２は、周波数成分解析段によって、周波数に偏りがあるか否かを判定し、周波数に偏りがあると判定した場合には処理をステップＳ１０３に進め、周波数に偏りがないと判定した場合には処理をステップＳ１０６に進める。
【００５７】
ステップＳ１０３にて、変換制御部２２は、信号配列変換部１１からフラグ信号を取得し、水平保存変換が行われたか否かを判定し、水平保存変換が行われたと判定した場合には処理をステップＳ１０４に進め、垂直保存変換が行われたと判定した場合には処理をステップＳ１０５に進める。
【００５８】
変換制御部２２は、ステップＳ１０４にて、ブロックの形状を水平方向に長いものに決定し、ステップＳ１０５にて、ブロックの形状を垂直方向に長いものに決定し、ステップＳ１０６にて、ブロックの形状を正方形に決定する。
【００５９】
時間周波数変換部１３は、変換制御部２２からパラメータ信号を取得し、パラメータ信号によって特定される形状のブロック単位で、画像信号を周波数信号へ変換する。
【００６０】
周波数時間変換部１８は、変換制御部で決定されたブロックと同一の形状のブロック単位で、時間周波数変換部１３で行われた変換とは逆の変換処理を行い、周波数信号を画像信号へ変換する。
【００６１】
変換制御部２２でブロックの形状を長方形に決定した場合には、決定したブロックの形状に合わせた量子化マトリクスを用いて、量子化部１４における量子化及び逆量子化部１７における逆量子化が行われる。また、決定したブロックの形状に合わせた係数走査順で、係数走査部１５における係数走査が行われる。
【００６２】
［復号装置］
図６は、本発明による実施例１の復号装置５のブロック図である。復号装置５は、可変長復号部３１と、逆係数走査部３２と、逆量子化部３３と、周波数時間変換部３４と、加算部３５と、画像メモリ３６と、予測処理部３７とを備える。
【００６３】
可変長復号部３１は、復号装置５に入力される符号化ストリームに可変長復号処理を施し逆係数走査部３２に出力するとともに、動きベクトルの情報を復号して予測処理部３７に出力する。
【００６４】
逆係数走査部３２は、可変長復号部３１から入力される１次元配列の量子化係数信号を走査して並び替えて２次元配列にし、逆量子化部３３に出力する。
【００６５】
逆量子化部３３は、逆係数走査部３２から入力される量子化信号に対して逆量子化処理を施して差分信号の変換係数を取得し、周波数時間変換部３４に出力する。
【００６６】
周波数時間変換部３４は、符号化装置１からパラメータ信号として、符号化装置１の変換制御部２２で決定したブロックの形状を表す情報を取得する。そして、パラメータ信号によって特定される形状のブロック単位で、逆量子化部３３から入力される差分信号の周波数領域の信号（変換係数信号）に対して周波数時間変換（例えば、ＩＤＣＴ）を施し、得られる差分信号を加算部３５に出力する。なお、パラメータ信号としてブロックの形状を取得してもよいし、復号装置５が複数の形状のブロックを記憶しておき、パラメータ信号としてどのブロックを選択するかの情報のみを取得してもよい。
【００６７】
加算部３５は、周波数時間変換部３４から得られる差分信号と、予測処理部３７から入力される予測画像とを加算して画像信号を復元し、外部及び画像メモリ３６に出力する。
【００６８】
予測処理部３７は、画像メモリ３６から得られる参照画像を用いた画面内予測、又は画像メモリ３６から得られる参照画像及び可変長復号部３１から得られる動きベクトルを用いた画面間予測により予測画像を生成し、加算部３５に出力する。
【００６９】
実施例１の符号化装置１によれば、周波数帯域を考慮した適切な形状のブロック単位で時間周波数変換することができるので、符号化効率を向上でき、画像の劣化を低減させることができる。また、復号装置５によれば、符号化装置１で符号化した符号化ストリームを適切に復号できるようになる。
【００７０】
次に、本発明による実施例２の符号化装置及び復号装置について、図面を参照して詳細に説明する。なお、実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。
【実施例２】
【００７１】
図７は、本発明による実施例２の符号化装置２のブロック図である。符号化装置２は、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、量子化マトリクス決定部２３とを備える。実施例２の符号化装置２は、実施例１の符号化装置１（図１参照）と比較して、変換制御部２２に代えて量子化マトリクス決定部２３を備える点で相違する。
【００７２】
信号配列変換部１１は、入力されるベイヤ配列画像信号を色空間変換し、信号配列変換の種類を示す信号を量子化マトリクス決定部２３へ出力する。
【００７３】
量子化マトリクス決定部２３は、信号配列変換部１１から入力されるフラグ信号に基づいて量子化部１４における量子化で用いる量子化マトリクスを選択して決定し、決定した量子化マトリクスの情報を表すパラメータ信号を量子化部１４及び逆量子化部１７に出力する。なお、量子化マトリクスは予め複数種類用意されているものとする。ＤＣＴなどの変換による符号化で、例えば８画素×８ラインブロックを単位として処理する場合、画素から変換された係数の量子化は１つのパラメータで行われることが多い。人間の視覚は、低い周波数成分に敏感で、高い周波数成分には比較的鈍感であるため、変換された係数に対し周波数成分ごとに量子化ステップを変えるようにするのが一般的である。そのため、量子化マトリクス（量子化テーブル）を用意して、係数ごとに異なる値で割り算することで量子化処理が行われる。
【００７４】
図８は、量子化マトリクス決定部２３が決定し、量子化部１４における量子化に用いられる量子化マトリクスの例を示す図である。図８（ａ）は、８画素×８ラインのブロックを単位として量子化する場合に、従来のＭＰＥＧ−２やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で用いられる量子化マトリクスの例を示す図である。変換係数を対応する量子化マトリクスの値で除算することにより、左上の直流成分については細かい量子化が可能となり、右下の高周波数成分については粗い量子化が可能となる。量子化マトリクス決定部２３は、水平方向又は垂直方向の周波数成分に応じて異なる量子化マトリクスを選択して決定し、量子化ステップを変える。水平保存変換の場合には、水平方向に高い周波数成分が多いため、例えば図８（ｂ）に示すように、水平方向の量子化ステップが垂直方向の量子化ステップよりも小さくなる量子化マトリクスを用いる。一方、垂直保存変換の場合には、垂直方向に高い周波数成分が多いため、例えば図８（ｃ）に示すように、垂直方向の量子化ステップが水平方向の量子化ステップよりも小さくなる量子化マトリクスを用いる。量子化マトリクス決定部２３は、決定した量子化マトリクスを表すパラメータ信号を量子化部１４及び逆量子化部１７に出力する。
【００７５】
量子化部１４は、量子化マトリクス決定部２３からパラメータ信号を取得し、パラメータ信号により特定された量子化マトリクスを用いて、時間周波数変換部１３で変換された変換係数信号を量子化する。量子化係数は、実施例１と同様に係数走査部１５により定められた順序での走査によって並び替えが行われ、可変長符号化部１６により符号化処理が施され符号化ストリームとして出力される。
【００７６】
一方、量子化された信号は、実施例１と同様、予測処理部２０で利用する信号を生成するため、逆量子化部１７へも供給される。逆量子化部１７は、量子化マトリクス決定部２３から決定した量子化マトリクスを表すパラメータ信号を取得し、パラメータ信号により特定された量子化マトリクスを用いて逆量子化する。逆量子化された係数信号は、実施例１と同様に周波数時間変換部１８によって時間領域信号に変換され画像メモリ１９に蓄えられる。
【００７７】
［復号装置］
図９は、本発明による実施例２の復号装置６のブロック図である。復号装置６は、可変長復号部３１と、逆係数走査部３２と、逆量子化部３３と、周波数時間変換部３４と、加算部３５と、画像メモリ３６と、予測処理部３７とを備える点で実施例１の復号装置５と同じであるが、パラメータ信号が逆量子化部３３に入力されている点が相違する。
【００７８】
逆量子化部３３は、符号化装置２からパラメータ信号として、符号化装置２の量子化マトリクス決定部２３で選択した量子化マトリクスを表す情報を取得する。そして、パラメータ信号により特定された量子化マトリクスを用いて、逆係数走査部３２から入力される量子化信号に対して逆量子化処理を施して差分信号の変換係数を取得し、周波数時間変換部３４に出力する。なお、パラメータ信号として量子化マトリクスを取得してもよいし、復号装置６が複数の量子化マトリクスを記憶するか、ＭＰＥＧのプロファイル情報として量子化マトリクスを取得し、パラメータ信号としてどの量子化マトリクスを選択するかの情報のみを取得してもよい。
【００７９】
実施例２の符号化装置２によれば、周波数帯域を考慮した適切な量子化マトリクスを用いて変換係数を量子化することができるので、符号化効率を向上でき、画像の劣化を低減させることができる。また、復号装置６によれば、符号化装置２で符号化した符号化ストリームを適切に復号できるようになる。
【００８０】
次に、本発明による実施例３の符号化装置３について、図面を参照して詳細に説明する。なお、実施例１と同じ構成要素には同一の参照番号を付して説明を省略する。
【実施例３】
【００８１】
図１０は、本発明による実施例３の符号化装置３のブロック図である。符号化装置３は、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、走査順決定部２４とを備える。実施例１の符号化装置１（図１参照）と比較して、変換制御部２２に代えて走査順決定部２４を備える点で相違する。
【００８２】
信号配列変換部１１は、入力されるベイヤ配列画像信号を色空間変換し、信号配列変換の種類を示すフラグ信号を走査順決定部２４へ出力する。
【００８３】
走査順決定部２４は、信号配列変換部１１から入力されるフラグ信号に基づいて、係数走査部１５において係数走査処理をする際の係数の走査（スキャン）順を選択して決定し、決定した係数走査順の情報を表すパラメータ信号を係数走査部１５に出力する。なお、係数の走査順は予め複数種類用意されているものとする。
【００８４】
図１１は、走査順決定部２４が決定し、係数走査部１５における量子化係数の走査に用いられる走査順の例を示す図である。図１１（a）は、従来のＭＰＥＧ−２方式やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式で用いられる、ジグザグスキャンと呼ばれる走査順を示している。また、粗い量子化をされた高周波数成分はゼロになることが多い。このように走査順を定めることで、ゼロ係数をまとめて符号化でき、効率が向上する。実施例３では、水平方向又は垂直方向の周波数成分に応じて走査順を変える。例えば水平保存変換の場合には、水平方向の周波数成分に偏るので、例えば図１１（ｂ）に示すように、垂直方向よりも水平方向の走査が多くなる順序で走査する。一方、垂直保存変換の場合には、垂直方向の周波数成分に偏るので、例えば図１１（ｃ）に示すように、水平方向よりも垂直方向の走査が多くなる順序で走査する。走査順決定部２４は、決定された走査順を表すパラメータ信号を係数走査部１５へ出力する。
【００８５】
係数走査部１５は、走査順決定部２４からパラメータ信号を取得し、パラメータ信号によって特定された走査順で、量子化係数の並び替えを行う。
【００８６】
［復号装置］
図１２は、本発明の実施例３による復号装置７のブロック図である。復号装置７は、可変長復号部３１と、逆係数走査部３２と、逆量子化部３３と、周波数時間変換部３４と、加算部３５と、画像メモリ３６と、予測処理部３７とを備える点で実施例１の復号装置５及び実施例２の復号装置６と同じであるが、パラメータ信号が逆係数走査部３２に入力されている点が相違する。
【００８７】
逆係数走査部３２は、符号化装置３からパラメータ信号として、符号化装置３の走査順決定部２４で決定した量子化係数の走査順を表す情報を取得する。そして、パラメータ信号によって特定される走査順に従って、可変長復号部３１から入力される１次元配列の量子化係数信号に対して、２次元配列に並べ替え、逆量子化部３３に出力する。なお、パラメータ信号として走査順を取得してもよいし、復号装置７が複数の走査順を記憶しておき、パラメータ信号としてどの走査順を選択するかの情報のみを取得してもよい。
【００８８】
実施例３の符号化装置３によれば、周波数帯域を考慮した適切な走査順に並べ替えることができるので、符号化効率を向上できる。また、復号装置７によれば、符号化装置３で符号化した符号化ストリームを適切に復号できるようになる。
【００８９】
ここで、符号化装置１として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、変換制御部２２とを機能させるための制御部をＣＰＵ（中央演算処理装置）と、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、変換制御部２２の有する機能を実現させることができる。
【００９０】
同様に、符号化装置２として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、量子化マトリクス決定部２３とを機能させるための制御部をＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、走査順決定部２４の有する機能を実現させることができる。
【００９１】
また、同様に、符号化装置３として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、量子化マトリクス決定部２３とを機能させるための制御部をＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、信号配列変換部１１と、減算部１２と、時間周波数変換部１３と、量子化部１４と、係数走査部１５と、可変長符号化部１６と、逆量子化部１７と、周波数時間変換部１８と、画像メモリ１９と、予測処理部２０と、加算部２１と、走査順決定部２４の有する機能を実現させることができる。
【００９２】
さらに、復号装置６，７，又は８として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、可変長復号部３１と、逆係数走査部３２と、逆量子化部３３と、周波数時間変換部３４と、加算部３５と、画像メモリ３６と、予測処理部３７とを機能させるための制御部をＣＰＵと、少なくとも１つのメモリで構成される記憶部とで実現できる。また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、可変長復号部３１と、逆係数走査部３２と、逆量子化部３３と、周波数時間変換部３４と、加算部３５と、画像メモリ３６と、予測処理部３７の有する機能を実現させることができる。
【００９３】
上述の各実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、本発明による符号化装置は、実施例１の変換制御部２２、実施例２の量子化マトリクス決定部、及び実施例３の走査順決定部を備え、画像に応じて変換制御部２２、量子化マトリクス決定部、及び実施例３の走査順決定部のうちの少なくとも１つを用いるようにすることも可能である。
【産業上の利用可能性】
【００９４】
このように、本発明は、ベイヤ配列の画像信号を符号化する任意の用途、及びベイヤ配列の画像信号を符号化した信号を復号する任意の用途に有用である。
【符号の説明】
【００９５】
１，２，３  符号化装置
１１  信号配列変換部
１２  減算部
１３  時間周波数変換部
１４  量子化部
１５  係数走査部
１６  可変長符号化部
１７  逆量子化部
１８  周波数時間変換部
１９  画像メモリ
２０  予測処理部
２１  加算部
２２  変換制御部
２３  量子化マトリクス決定部
２４  走査順決定部
５，６，７  復号装置
３１  可変長復号部
３２  逆係数走査部
３３  逆量子化部
３４  周波数時間変換部
３５  加算部
３６  画像メモリ
３７  予測処理部
【図１】
2011166219.tif 000004
【図２】
2011166219.tif 000005
【図３】
2011166219.tif 000006
【図４】
2011166219.tif 000007
【図５】
2011166219.tif 000008
【図６】
2011166219.tif 000009
【図７】
2011166219.tif 000010
【図８】
2011166219.tif 000011
【図９】
2011166219.tif 000012
【図１０】
2011166219.tif 000013
【図１１】
2011166219.tif 000014
【図１２】
2011166219.tif 000015
【図１３】
2011166219.tif 000016
【図１４】
2011166219.tif 000017