(57)【要約】【課題】解像度／フレームレートによる高画質化において、画像符号化回路システムのメモリ伝送量が増大する。そのため、現実的な回路規模での高画質化が困難になる。【解決手段】画像情報を動画符号化方式により符号化する画像符号化手段と、符号化された画像情報を復号する画像復号化手段と、画像符号化手段の符号化の条件を設定する画像符号化条件設定手段と、画素値を圧縮して符号語とする画像圧縮手段と、前記圧縮手段により圧縮された符号語を伸張する画像伸張手段と、画像圧縮手段の圧縮条件を設定する圧縮条件設定と、一時記憶を行う記憶手段とを備える画像符号化装置。【選択図】図１
2010098352.tif 000002
【特許請求の範囲】
【請求項１】
画像符号化の符号化条件を設定する画像符号化条件設定部と、
前記符号化条件に従って、入力された画像を矩形単位に分割して、符号化ストリームを生成し、さらに前記符号化ストリームを局所復号して予測画像生成に用いるための局所復号画像を生成する画像符号化部と、
前記符号化条件に応じて、圧縮転送条件を設定する圧縮転送条件設定部と、
前記圧縮転送条件に応じて、前記局所復号画像を圧縮した圧縮局所復号画像を生成する圧縮転送部と、
前記圧縮転送部により生成された圧縮局所復号画像を記憶する記憶部と、
前記圧縮局所復号画像を前記記憶部から読み出し、伸張して前記画像符号化部へ伝送する伸張転送部と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記圧縮転送部は、前記局所復号画像に対して非可逆圧縮をすることを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記圧縮転送部は、前記局所復号画像を、輝度信号または色差信号を複数集めた矩形単位に対して圧縮をすることを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記圧縮転送部は、前記局所復号画像を、前記矩形単位の境界付近の画素に対しては、他の画素に比べて、圧縮率を低減させることを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記矩形単位はマクロブロック単位であることを特徴とする請求項４記載の画像符号化装置。
【請求項６】
前記矩形単位は直交変換ブロックであることを特徴とする請求項４記載の画像符号化装置。
【請求項７】
前記圧縮転送部は、輝度信号または色差信号を複数集めた前記矩形単位の圧縮前のデータ量が前記予測画像へのアクセス単位の倍数であることを特徴とする請求項３記載の画像符号化装置。
【請求項８】
前記圧縮転送部は、圧縮後のデータ量が前記記憶部へ書き込める最低単位の倍数であることを特徴とする請求項１記載の画像符号化装置。
【請求項９】
画像符号化の符号化条件を設定する画像符号化条件設定手段と、
前記符号化条件に従って、入力された画像を矩形単位に分割して、符号化ストリームを生成し、さらに前記符号化ストリームを局所復号して予測画像生成に用いるための局所復号画像を生成する画像符号化手段と、
前記矩形単位に応じて、圧縮転送条件を設定する圧縮転送条件設定手段と、
前記圧縮転送条件に応じて、前記局所復号画像を圧縮した圧縮局所復号画像を生成する圧縮転送手段と、
前記圧縮転送部により生成された圧縮局所復号画像を記憶する記憶手段と、
前記圧縮局所復号画像を前記記憶手段から読み出し、伸張して前記画像符号化部へ伝送する伸張転送手段と、
を備えることを特徴とする画像符号化方法。
【請求項１０】
画像符号化の符号化条件を設定する画像符号化条件設定部と、
前記符号化条件に従って、入力された画像を矩形単位に分割して、符号化ストリームを生成し、さらに前記符号化ストリームを局所復号して予測画像生成に用いるための局所復号画像を生成する画像符号化部と、
前記矩形単位に応じて、圧縮転送条件を設定する圧縮転送条件設定部と、
前記圧縮転送条件に応じて、前記局所復号画像を圧縮した圧縮局所復号画像を生成して記憶部に転送する圧縮転送部と、
前記圧縮局所復号画像を前記記憶部から読み出し、伸張して前記画像符号化部へ伝送する伸張転送部と、
を備えることを特徴とする画像符号化集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報を符号化する画像情報符号化装置に関し、特に量子化された直交変換係数を可変長符号化して出力する画像情報符号化装置に関する。
【背景技術】
【０００２】
画像符号化技術において、符号化効率の向上が図られている。これにより、携帯電話機で滑らかな動きのテレビ電話を実現したり、高画質な動画像を撮影したりすることも可能となった。このような符号化技術の進展において、最新の動画像圧縮符号化技術の国際基準であるＨ．２６４／ＡＶＣを用いることで、フルＨＤ映像の伝送、蓄積が可能となった。
【０００３】
一方、さらに高画質化の動きも活発になりつつある。解像度の観点では、フルＨＤの縦横２倍の解像度を持つ４Ｋ２Ｋ（３８４０×２１６０画素）の実用化が望まれている。フレームレートの観点では、１９２０×１０８０  ６０ｉと呼ばれるインタレース方式に加えて、１９２０×１０８０  ６０ｐと呼ばれるプログレッシブ方式が求められている。
【０００４】
このように、解像度やフレームレートによる高画質化が進むと、単位時間あたりの画素の伝送量が増大する。特に、画像符号化において各種の処理を行うＬＳＩと、ＬＳＩの外部にある一時記憶であるＤＲＡＭとの間で、画素情報の伝送量が増大する。
【０００５】
例えば１９２０×１０８０  ６０ｉでは、１画素あたり８ｂｉｔの情報を持つ。従って、１秒あたりの画像情報の伝送量は、約５００Ｍｂｐｓとなる。１９２０×１０８０  ６０ｐの場合では、さらに倍の約１０００Ｍｂｐｓとなり、伝送量が増大する。
【０００６】
図１には、一般的な画像符号化装置のブロック図を示す。画像符号化条件設定部１００は、画像符号化部１１０において入力画像を符号化する際の符号化方法である符号化条件を設定する。画像符号化部１１０は、図示しないカメラやＴＶ等により撮影され出力された映像信号などの画像信号を入力画像として受け付け、前記符号化条件に従い符号化する。符号化されたデータは、符号化ストリームとして図示しない記録メディア等に出力して記録される。
【０００７】
一方、符号化されたデータは、局所復号化部１２０で局所復号される。局所復号された画像を参照画像と呼ぶ。この参照画像は、次のフレームの符号化で、画素マッチングの対象となる画像である。つまり、参照画像は、画像符号化部１１０で、符号化順で次の入力画像を符号化する際に利用される。この入力画像と参照画像との間で画素マッチングを行い、予測画像を生成する。
【０００８】
参照画像は、一時記憶領域である記憶部２２０に記録される。次に、参照画像を読み出し、参照画像を参照して、次のフレームの符号化を実施する。
【０００９】
このように、動画符号化では、入力画像を一旦記憶部であるＤＲＡＭに読み込み、各種処理を適用してから、再度、処理画像をＤＲＡＭに書き戻す必要がある。書き戻された処理画像を利用して、次に読み込まれる画像との間で各種の演算をする。これを繰り返すことで、動画符号化を実現している。そのため、解像度やフレームレートによる高画質化が進むとＬＳＩとＤＲＡＭとの間の伝送量が増大する。このＬＳＩとＤＲＡＭとの転送は、バスと呼ばれる伝送路を利用して行われる。従来技術では、ＬＳＩとＤＲＡＭとの間で転送する一部の画像を圧縮して転送を行うことでバスの伝送量を削減する技術が提案されている（特許文献１）。
【特許文献１】特開２０００−１７５２００号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記のような従来技術では、ＬＳＩとＤＲＡＭの間を転送する一部の復号画像しか圧縮することができず、今後期待される解像度／フレームレートによる高画質化において、従来構成の回路では、バスの伝送量の限界を超えてしまう課題がある。
【００１１】
とりわけ、Ｈ．２６４／ＡＶＣをはじめとする画像符号化では、符号化対象の画像と時間的に近い位置の復号画像から、動き検出と呼ばれる画素マッチング手法により類似する矩形領域を検出し、検出された矩形領域と符号化対象画像の差分を直交変換して、量子化し、エントロピー符号化して、ストリームとして伝送する。このとき、画素マッチングの対象となる復号画像と対象にならない復号画像が存在する。そして、従来技術では、以降の画像に影響を与える画素マッチング対象になる復号画像には圧縮処理を行わず、画素マッチング対象にならない復号画像のみに前記の圧縮を施していた。
【００１２】
また、Ｈ．２６４／ＡＶＣをはじめとする画像符号化では、前記時間的に近い画像が常に１枚前の復号画像となる方式がある。一般的には、ＩＰＰＰ構造と呼ばれる。Ｉとは、Ｉピクチャを示し面内予測により生成される。Ｐとは、Ｐピクチャを示し、面間予測により生成される。このとき、すべての復号画像が画素マッチングに利用されて、以降の画像に影響を与える。このため、従来技術では圧縮できる復号画像が存在しないことになり、バスの伝送量を削減できなかった。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明に係る画像符号化装置は、画像符号化の符号化条件を設定する画像符号化条件設定部と、前記符号化条件に従って、入力された画像を矩形単位に分割して、符号化ストリームを生成し、さらに前記符号化ストリームを局所復号して予測画像生成に用いるための局所復号画像を生成する画像符号化部と、前記符号化条件に応じて、圧縮転送条件を設定する圧縮転送条件設定部と、前記圧縮転送条件に応じて、前記局所復号画像を圧縮した圧縮局所復号画像を生成する圧縮転送部と、前記圧縮転送部により生成された圧縮局所復号画像を記憶する記憶部と、前記圧縮局所復号画像を前記記憶部から読み出し、伸張して前記画像符号化部へ伝送する伸張伝送部とを備える。
【発明の効果】
【００１４】
以上のように、本発明によれば、画像符号化手段の符号化の条件である直交変換サイズをもとに圧縮条件を設定する圧縮条件設定手段を備えることで、圧縮転送時に直交変換サイズで発生する歪みを生じさせることなく、画素マッチングの対象となる画像においても圧縮して伝送することが可能となり、データ伝送量の多い４Ｋ２Ｋや１９２０×１０８０  ６０ｐ画像の符号化ＬＳＩを低コストで実現できる。
【発明を実施するための最良の形態】
【００１５】
（実施の形態）
本実施の形態の画像符号化装置では、入力された画像を画像符号化手段により符号化して符号化データを生成し、その符号化データを局所復号手段により復号して得られる画像である参照画像を、圧縮転送手段により圧縮してから記憶手段に伝送する。ここで参照画像とは、符号化順で次の入力画像を符号化する際の予測画像生成に必要な画像である。このように参照画像を動画符号化とは別の手法で圧縮してから、転送することで、記憶手段に対する転送量および記憶領域を削減する。また、参照画像は、局所復号画像とも呼ぶ。
【００１６】
以下、本実施の形態における画像符号化装置について、図２を用いて説明する。
【００１７】
画像符号化条件設定部１００は、画像符号化部１１０において入力画像を符号化する際の符号化方法である符号化条件を設定する。符号化条件の一つである直交変換サイズを圧縮転送条件設定部１３０に入力する。ここでの直交変換サイズとは、直交変換を行う際の矩形領域の縦横の画素数ｎ×ｍ（ｎ、ｍは、整数値）を示す。通常、直交変換とは、矩形領域の画素をｎ×ｍ行列として、行列演算を行う。
【００１８】
画像符号化部１１０は、図示しないカメラやＴＶ等により撮影され出力された映像信号などの画像信号を入力画像として受け付け、画像符号化条件設定部１００で設定した符号化条件に従い符号化する。符号化されたデータは、符号化ストリームとして図示しない記録メディア等に出力して記録される。
【００１９】
一方、符号化されたデータは、局所復号化部１２０で局所復号される。局所復号された局所復号画像は、参照画像として次のフレームにおける符号化で、画素マッチングの対象になる。つまり、この参照画像は、画像符号化部１１０で、符号化順で次の入力画像を符号化する際に利用される。
【００２０】
また、参照画像は、圧縮転送部２００で圧縮されてから、一時記憶領域である記憶部２２０に一度、記録される。さらに、参照画像を読み出す際には、圧縮された前記参照画像を伸張転送部２１０で伸張した後に画像符号化部１１０に転送する。画像符号化部１１０は、伸張された参照画像を参照して符号化を実施する。
【００２１】
圧縮転送条件設定部１３０は、画像符号化条件設定部１００より、入力される直交変換サイズに応じて、画像の圧縮方法を決定する。ここでの画像の圧縮方法とは、各画素を圧縮する圧縮率を含む。
【００２２】
次に決定された圧縮方法に従い圧縮転送部２００で参照画像を圧縮する。
【００２３】
［動作］
上記のように構成された本発明の画像記録装置の動作について、図２を参照しながら説明する。
【００２４】
画像符号化条件設定部１００は、まず、動画符号化に必要な符号化条件を決定する。これは、予め決められた方法であっても、適応処理やユーザにより決定してもよい。ここでは、ユーザにより決められた符号化条件とする。符号化条件は、量子化ステップ、量子化マトリクス、直交変換サイズなどがある。
【００２５】
ここでは、画像符号化条件設定部１００により決定された符号化条件として、本発明に必要な直交変換について説明する。また、動画符号化方式としてＨ．２６４を一例に説明する。
【００２６】
Ｈ．２６４では、入力画像と、参照画像から生成された予測画像との差分値を直交変換の一種である整数変換を実施し、その整数変換された係数を量子化して、符号化ストリームを生成する。直交変換の一種にアダマール変換と呼ばれるものもある。なお、これらに類する他の変換手法も直交変換に含むことは、いうまでもない。
【００２７】
続いて処理ステップについて、図３を併用して説明する。
【００２８】
Ｈ．２６４のハイプロファイルと呼ばれる符号化方法のサブセットでは、直交変換として８×８画素の変換と４×４画素の変換が利用可能である。この直交変換する画素サイズ直交変換サイズと呼び、画像符号化条件とする。以降は、単に８×８、４×４と呼ぶ。
【００２９】
仮にユーザの指示により、画像符号化条件設定部１００は符号化条件である直交変換サイズが８×８に決定したものとする（ステップＳ１）。
【００３０】
直交変換サイズを圧縮転送条件設定部１３０と画像符号化部１１０に入力し記録する（ステップＳ２）。
【００３１】
決定された直交変換サイズにより、画像符号化部１１０が入力画像を符号化する（ステップＳ３）。
【００３２】
局所復号化部１２０は、ステップ３で生成された符号化ストリームを復号する（ステップＳ４）。
【００３３】
符号化ストリームを記録メディアに出力するステップの説明は、割愛する。
【００３４】
画像符号化条件設定部１００により決定された直交変換サイズにより、圧縮転送条件設定部１３０が圧縮転送部２００で用いる圧縮方法を決定する（ステップＳ５）。
【００３５】
このステップＳ５は、次のステップＳ６までに実行されればよく、ステップＳ３〜ステップＳ４との間での順序はいずれを先に実行してもよい。つまり、ステップＳ５を先に行ってからステップＳ３〜ステップＳ４と実行してもよい。
【００３６】
次に圧縮転送部２００は参照画像を圧縮する（ステップＳ６）。以下に圧縮転送部２００での圧縮方法の一例を示す。
【００３７】
まず、参照画像を任意の矩形領域に分割する。分割された矩形単位ごとに画像を圧縮する。画像の圧縮方法は、メモリの伝送命令に対して、処理量が隠蔽できる方法が好ましい。つまり、先行する矩形を転送している期間に、次に転送する矩形の圧縮処理が完了し、実質的に圧縮処理時間を隠蔽できるような方法である。この圧縮された矩形を一つの伝送単位として、メモリに書き込む。
【００３８】
ここで分割された矩形単位の画像の圧縮の例として、画素を所定のｂｉｔ精度で再量子化する方法を示す。このような量子化処理により、非可逆の圧縮を行う。
【００３９】
通常、動画符号化方式では、画素情報として、明るさを表す輝度と色を表す色差信号に分けて扱う。さらに、色差信号は、Ｃｂ信号、Ｃｒ信号の２種類ある。また、各信号の階調は、通常８ｂｉｔであるので、ここでは８ｂｉｔとして説明する。以降の説明において、画素という言葉との混同を避けるため、輝度Ｙ信号、色差信号（Ｃｂ）、色差信号（Ｃｒ）それぞれの信号の１要素をシンボルと呼ぶ。
【００４０】
図４に各シンボルからなる各信号平面を示す。例えば、ＹＵＶ４２０形式の１９２０×１０８０の画素数を持つ画像では、輝度Ｙ信号平面は、１９２０×１０８０個の輝度シンボル（各８ｂｉｔ）からなる。色差信号（Ｃｂ）平面は、９６０×５４０個の色差シンボル（各８ｂｉｔ）からなる。色差信号（Ｃｒ）平面は、９６０×５４０個の色差シンボル（各８ｂｉｔ）からなる。
【００４１】
ここでは、伝送単位を１６シンボル×１シンボルとする。圧縮転送部２００は、この伝送単位で、画素値を再量子化することで圧縮を行う（請求項３に相当  矩形単位＝１６ｘ１）。
【００４２】
次に、伝送単位と輝度Ｙ信号平面の関係を図５に示す。水平方向と垂直方向と書かれた矢印は、入力信号の画素の配列の水平方向と垂直方向と同一とする。図の丸印は輝度Ｙ信号を示し、破線で囲まれた複数の輝度信号が伝送単位である。
【００４３】
ここでは、シンボル数をメモリの最小伝送単位（記憶手段によるので、ここでは、８バイトと仮定する）の整数倍に設定する。
【００４４】
Ｈ．２６４での符号化は、マクロブロックと呼ばれる矩形画素単位に行う。入力信号がＹＵＶ４２０の場合、マクロブロックは輝度信号が１６シンボル×１６シンボル、色差信号（Ｃｂ）が８シンボル×８シンボル、色差信号（Ｃｒ）が８シンボル×８シンボルより形成される。そのため、輝度信号では、１６シンボル×１６シンボル単位のデータアクセスが頻発する。また、Ｈ．２６４での符号化における動き補償では、１６シンボル×１６シンボル、８シンボル×１６シンボル、８シンボル×８シンボル、４シンボル×４シンボルなどを利用できるので、これらの単位でのデータアクセスが多くなる。
【００４５】
図７にマクロブロックの輝度信号のシンボルを丸印で示し、データアクセス単位が１６シンボル×１シンボルであるマクロブロックの１ライン分とする。ここで、仮に、メモリの最小伝送単位の整数倍でない場合つまり、１２シンボル×１シンボル（１２バイト）の伝送単位を考える。
【００４６】
これは、図に示す「必要なシンボル」に相当する。このとき、マクロブロック内の１ライン分の輝度信号にアクセスするためには、１２シンボル×１シンボルを２つ分の伝送単位（図の伝送単位Ａと伝送単位Ｂとを合わせて、２４シンボル×１シンボル）を伸張しなければならず、必要のないシンボルまで伝送してしまう。この場合、必要なシンボル数１６に対して、２つの伝送単位分であるので１２×２＝２４シンボル伝送してしまい、差し引き（２４−１６）８シンボルの無駄となる。図に示す「不要なシンボル」に相当する。
【００４７】
しかし、１６シンボル×１シンボルを圧縮する単位とすれば、余分な伝送が生じない。
【００４８】
仮に１２シンボル×１シンボルでの圧縮する場合は、この４つの伝送単位分の１２シンボル×１シンボル×４の伝送単位の４８シンボル×１シンボルとなり、これは、３つのマクロブロックの１シンボルライン（１６シンボル×１シンボル×３マクロブロック＝４８シンボル×１シンボル）を伝送したことになり、余分なアクセスは生じない。従って、画像のデータのアクセス単位と圧縮する矩形単位のシンボル数との間での公倍数となる単位を伝送するように、複数の伝送単位を伝送すれば、余分なシンボルの伝送が生じなくなる。そのため、まとめてアクセスする領域と伝送単位とが実装上あり得る範囲で公倍数とすることで、転送効率を改善できる。
【００４９】
なお、参照画像へのアクセス単位として１６シンボル×１シンボルを想定したが、動き補償に必要な矩形領域の画素に応じて、伝送単位を調整してもよい。
【００５０】
次に圧縮した画像を伸張する場合の伝送について述べる。
【００５１】
圧縮後のデータ量がメモリの転送単位と整合をとらなければ、圧縮したデータの伸張転送に際してオーバーヘッドが発生してしまう。例えば、メモリの転送単位が８バイトであるなら、伝送単位を８バイトの整数倍に圧縮し、オーバーヘッドを無くすことで、転送効率を改善できる。
【００５２】
ここでは、メモリの転送単位が８バイトで、圧縮前の１シンボルを８ｂｉｔ、ｎシンボル×１シンボル（ｎは整数）を圧縮する場合について説明する。
【００５３】
シンボル数がｎシンボルであるので、８×ｎ［ｂｉｔ］でｎバイトとなる。これを圧縮して８バイトの倍数にすれば、前述のメモリの伝送単位と整合がとれ、効率よく転送できる。
【００５４】
これに対して、９バイトに圧縮した場合では、メモリの転送単位の２つ分にまたがった状態でシンボルが記憶手段に記憶されるので、伸張転送時に無駄が生じる。このため、圧縮した大きさはメモリの転送単位の整数倍でなければ、圧縮したとしても転送効率が下がる。
【００５５】
以上のように、「圧縮する伝送単位とデータアクセスに必要なシンボル数」、「圧縮後のデータ量とメモリの転送単位」とがそれぞれ、バランスがとれた場合に最もメモリ帯域を削減できる。
【００５６】
次に、各シンボルの圧縮方法について説明する。圧縮方法は、８ｂｉｔのシンボルをそれ以下のｂｉｔ精度に再量子化することである。このとき、直交変換サイズが８×８単位であることを考慮して、ｂｉｔ精度の割り当てを決定することで、再量子化時の歪みが知覚されにくくなる。
【００５７】
というのも、動画符号化において、直交変換サイズに起因して、画像符号化による歪みが直交変換サイズの付近の画素境界に発生しやすいことが知られている。このため、単純に均一のｂｉｔ精度で再量子化すると符号化歪みを強調してしまい、画質劣化が起こる。そこで、直交変換単位の境界画素位置のシンボルに再量子化時のｂｉｔの割当量を増やすことで改善できる。
【００５８】
また、動画符号化時の量子化により情報が欠落し、参照画像が実質的に８ｂｉｔ精度を持たないような場合は、再量子化時のｂｉｔ精度は、下げることができる。例えば、Ｈ．２６４において、スライスＱＰと呼ばれるスライス単位の基準量子化ステップを示すパラメータがある。これが、所定の閾値より大きい場合は、Ｈ．２６４の量子化により情報が欠落しているので、再量子化時のｂｉｔ精度をさらに下げることも可能である。
【００５９】
例えば、図６に示すようなシンボルに対して、１６シンボルに均等にｂｉｔを割り当てると各シンボルは、８バイト×８÷１６＝４ｂｉｔとなる。しかし、前述の通り画像符号化による歪みが強調されるので１６シンボルの一番左端のシンボルＹ１と９番目のシンボルＹ９に８ｂｉｔを割り当てる。残りの１４シンボルには４ｂｉｔまたは、３ｂｉｔを割り当てる。つまり、マクロブロック単位となる直交変換サイズ境界のビット数が、残りのシンボルのビット数よりも大きくなる。この例では、マクロブロックの境界画素でもｂｉｔ精度が８ｂｉｔととなり、直交変換の境界画素でもｂｉｔ精度が８ｂｉｔとなり、画像符号化による歪みが強調されなくなる（ステップ５）。詳細は、後述する。
【００６０】
次にステップＳ５で決定された圧縮方式に従い圧縮転送部２００で参照画像を圧縮する。ここでは、図６のシンボル位置とｂｉｔの割り当て例に従い各シンボルを再量子化する（ステップ６）。
【００６１】
圧縮転送部２００での処理の詳細を、図６を用いて述べる。
【００６２】
Ｈ．２６４において、入力画像は８ｂｉｔに量子化されている。従って、局所復号化部１２０で復号された参照画像は、８ｂｉｔとなる。これを８ｂｉｔ以下のｂｉｔ精度に再量子化することで圧縮を行う。
【００６３】
図６には、シンボル位置とｂｉｔの割り当て方法の一例を示している。図６の丸印のＹは輝度信号を表し、添え字はシンボルの位置を示し、圧縮ビット数を示す。例えば、Ｙ１は、転送単位の輝度Ｙ信号の転送単位の先頭シンボルを表す。その下に示す８ｂｉｔが、圧縮転送するｂｉｔ精度である。その他の丸印も同様に、水平方向のシンボルの並び順と圧縮転送する際のシンボルのｂｉｔ精度を表す。
【００６４】
Ｙ１、Ｙ８、Ｙ９、Ｙ１６は、直交変換サイズが８×８の場合の直交変換サイズ境界にあたるシンボルである。この境界での画像の劣化を回避するため、ここでは、図６において直交変換サイズの境界画素と記載したＹ１、Ｙ９に対して、伝送するｂｉｔ精度を８ｂｉｔとする。つまり、再量子化を行わない。このように他のシンボルに対して、直交変換サイズの境界付近に位置したシンボルの圧縮率を下げる（情報量を多くする）ことで、高画質化が図れる。ここでは、Ｙ１、Ｙ９を、直交変換サイズの境界付近のシンボルとしたが、Ｙ８、Ｙ１６を直交変換サイズの境界付近のシンボルと考えても同様な効果が得られるのはいうまでもない。また境界に近い画素であるＹ７、Ｙ１０の量子化精度を上げても同様に効果が得られる。
【００６５】
他のシンボルＹ２〜Ｙ８や、Ｙ１０〜Ｙ１６は、圧縮率を上げて（情報量を少なくする）、４ｂｉｔまたは３ｂｉｔとする。以上により、圧縮率と画質のバランスを図ることが可能となる。ここでは、８×８直交変換サイズ境界にあたるシンボルに８ｂｉｔを割り当てたが、７ｂｉｔとして再量子化して、他のシンボルにｂｉｔ割り当てを増やしても同様の効果が得られる。また、Ｙ１は、直交境界かつマクロブロック境界のいずれにも該当し、ｂｉｔの割り当てを他のシンボルに対し増加させる。
【００６６】
なお、ｂｉｔの割り当てパターンは、これ以外にも考えられ、ここに示す限りではなく、マクロブロック単位、直交変換サイズに応じて、割り当てｂｉｔを増加させれば、同様の効果が得られる。また、圧縮後のデータ量の設定により、ｂｉｔの割り当てパターンが変化することは、いうまでもない。また、ここでの説明は水平方向について述べたが、垂直方向においても同様に効果が見込めるのは、いうまでもない。
【００６７】
ここでは、単純な再量子化の方法について述べたが、隣接するシンボルの差分値を量子化してもよい。通常、自然画において隣接するシンボルは、近い値をとることが多い。そのため、差分値を量子化する方が、情報量を削減できる。この場合も、単純な再量子化と同様に、差分値の量子化精度を直交変換の境界付近で他のシンボルに比べて高くすることで、同様の効果が得られる。
【００６８】
次に再量子化の方法について述べる。上記により決定されたｂｉｔの割り当てパターンに従い量子化を行う。ここでは、あるシンボルに４ｂｉｔ割り当てられた場合を例に説明する。
【００６９】
８ｂｉｔの再量子化前のシンボルの値をＯｒｉ、再量子化後の値をＥｎｃとすると（数１）のように表せる。（数１）で＞＞は、右方向へビットシフトする演算子である。
【００７０】
【数１】
2010098352.tif 000003
【００７１】
以上の説明は、シンボルが水平１ラインの場合を例に説明したが、複数ラインの場合でも、本発明は適用できるのは、いうまでもない。また、垂直方向に転送する場合は、垂直方向にも適用できる。
【００７２】
以上のように、本発明の実施の形態によれば、画像符号化装置は、直交変換サイズに応じて圧縮方法を変更することで、画像符号化による歪みを目立たせることなく圧縮できるので、メモリ伝送量および必要なメモリ量を削減できる。
【００７３】
また、本発明では、圧縮する画像の画素位置に応じて、画素の圧縮率を変化させることで、動画符号化による歪みを分散し、画素マッチング対象の画像においても圧縮して伝送することを可能とした。
【００７４】
また、本方式は、画素マッチング対象の画像のみならず、画素マッチング対象でない画像に関しても高画質に圧縮できる。
【００７５】
なお、本発明は、このような画像情報符号化装置として実現することができるだけでなく、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【００７６】
また、本発明は、画像符号化条件設定部１００、圧縮転送条件設定部１３０、予測符号化部１１１、局所復号化部１２０、伸張転送部２１０、圧縮転送部２００を含む一つの集積回路としても構わない。
【産業上の利用可能性】
【００７７】
本発明によれば、符号化処理の際のメモリ転送量を削減することができるので、高精細映像の符号化ＬＳＩ等に用いることができる。
【図面の簡単な説明】
【００７８】
【図１】従来の画像記録装置の構成を示す図
【図２】実施の形態における画像記録装置の構成を示す図
【図３】実施の形態における画像記録装置の処理フローを示す図
【図４】実施の形態における輝度信号平面、色差信号平面を示す図
【図５】実施の形態における伝送単位とシンボル（輝度Ｙ信号平面）の関係を示す図
【図６】実施の形態におけるシンボル位置とｂｉｔの割り当てを示す図
【図７】実施の形態における伝送単位とマクロブロックの関係を示す図
【符号の説明】
【００７９】
１００  画像符号化条件設定部
１１０  画像符号化部
１１１  予測符号化部
１２０  局所復号化部
１３０  圧縮転送条件設定部
２００  圧縮転送部
２１０  伸張転送部
２２０  記憶部
【図１】
2010098352.tif 000004
【図２】
2010098352.tif 000005
【図３】
2010098352.tif 000006
【図４】
2010098352.tif 000007
【図５】
2010098352.tif 000008
【図６】
2010098352.tif 000009
【図７】
2010098352.tif 000010