(57)【要約】【課題】  イントラ予測の画質劣化を低減する。【解決手段】  イントラ予測回路１４は、符号化対象ブロックと、この符号化対象ブロックに隣接する画素のデータから生成される複数の予測画像との間でブロックマッチングにより予測モードを決定する。量子化制御回路３０は、量子化回路２６における量子化係数を制御する。エントロピー符号化回路２８からフィードバックされる発生符号量、ピクチャ圧縮率及び目標符号量などから決定される基準量子化係数に対し、符号化対象ブロックの直前の符号化ブロックに対して決定された予測モードに従い、符号化対象ブロックに対する量子化係数を変更する。【選択図】  図１
2010287922.tif 000002
【特許請求の範囲】
【請求項１】
画面をブロックに分割し、ブロック単位でイントラ符号化を行う画像符号化装置であって、
前記ブロックごとに、複数のイントラ予測モードの中から１つの予測モードを選択する予測モード選択手段と、
前記予測モード選択手段で選択した予測モードに応じて予測画像を生成する予測画像生成手段と、
前記予測画像生成手段で生成した前記予測画像と前記ブロックとの差分を直交変換して直交変換係数を生成する直交変換手段と、
前記直交変換係数を量子化する量子化手段と、
前記量子化手段の量子化係数を制御する量子化制御手段
とを有し、
前記量子化制御手段は、前記予測モード選択手段で選択した前記予測モードに応じて、前記予測モードを決定した当該ブロックに隣接するブロックの量子化係数を制御する
ことを特徴とする画像符号化装置。
【請求項２】
前記量子化制御手段は、前記予測モードを決定した当該ブロックに隣接するブロックの量子化係数を、前記予測モード選択手段で選択した予測モードで予測画像を生成する際に使用する画素が、当該ブロックに隣接するブロックに含まれる場合に、基準量子化係数に対して量子化幅が小さくなるように変更することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
画面をブロックに分割し、ブロック単位でイントラ符号化を行う画像符号化装置であって、
前記ブロックごとに、複数のイントラ予測モードの中から１つの予測モードを選択する予測モード選択手段と、
前記予測モード選択手段で選択した予測モードに応じて予測画像を生成する予測画像生成手段と、
前記予測画像生成手段で生成した前記予測画像と前記ブロックとの差分を直交変換して直交変換係数を生成する直交変換手段と、
前記直交変換係数を量子化する量子化手段と、
前記量子化手段の量子化係数を制御する量子化制御手段
とを有し、
イントラ予測の単位である前記ブロックを複数あつめて符号化ブロックを構成し、
前記量子化制御手段は、前記符号化ブロックに対して１つの量子化係数を決定し、前記予測モード選択手段で選択した前記予測モードに応じて、前記予測モードを決定した当該符号化ブロックに含まれる複数のブロックの選択された予測モードに応じて、前記予測モードを決定した当該符号化ブロックに隣接する符号化ブロックの量子化係数を制御することを特徴とする画像符号化装置。
【請求項４】
前記量子化制御手段は、前記予測モードを決定した符号化ブロックに隣接する符号化ブロックの量子化係数を、前記予測モード選択手段で選択した予測モードで予測画像を生成する際に使用する画素が、前記予測モードを決定した当該符号化ブロックに隣接する符号化ブロックに含まれる数（Ｎ）に応じて、Ｎが閾値よりも大きい場合に、基準量子化係数に対して量子化幅が小さくなるように変更することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記予測モード選択手段が予測モードを選択する処理と、前記量子化制御手段が量子化係数を制御する処理とが、少なくとも３つの複数のステージで構成されるパイプラインにおいて、少なくとも２つのステージだけ離れたステージで実行されることを特徴とする請求項１ないし４の何れか１項に記載の画像符号化装置。
【請求項６】
前記基準量子化係数は、圧縮率に応じて算出されることを特徴とする請求項２又は４に記載の画像符号化装置。
【請求項７】
前記基準量子化係数は、圧縮率、および、過去に符号化した符号化ブロックの発生符号量に応じて算出されることを特徴とする請求項２又は４に記載の画像符号化装置。
【請求項８】
前記予測モードを決定した符号化ブロックに隣接する符号化ブロックは、前記予測モードを決定した当該符号化ブロックの画面で左に隣接する符号化ブロックであることを特徴とする請求項１ないし７の何れか１項に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置に関し、特に画面をブロックに分割してブロックごとにイントラ予測符号化を行う画像符号化装置に関する。
【背景技術】
【０００２】
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６２０７５号公報
【０００４】
従来、被写体を撮影して得られた動画像を圧縮符号化して記録媒体に記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年は、ランダムアクセス性などの利便性から、ディスク媒体や半導体メモリなどを記録媒体とする。
【０００５】
動画像の圧縮方式としては、フレーム間の動き予測を用いて高圧縮率で圧縮可能なＭＰＥＧ２が一般的であり、さらに近年では、より高い圧縮率を達成できるＨ．２６４なども用いられている。Ｈ．２６４では、ＭＰＥＧ２などと同様のフレーム間予測に加えて、ブロックに隣接する画素を用いて予測画像を生成し、その差分を符号化するイントラ予測が採用されている。
【０００６】
イントラ予測の画質劣化を低減する技術が、例えば、特許文献１に記載されている。画面の上端や左端のように使用可能なイントラ予測モードが制限される場合に、そのブロックの量子化幅を小さくする。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示された従来技術では、画面の端部分での画質劣化は抑えられる。しかし、画面の端から離れると、隣接ブロックの再構成画像を用いて予測画像を生成するイントラ予測の方式により、隣接ブロックの劣化が当該ブロックに伝播してしまうという問題がある。
【０００８】
本発明は、イントラ予測のこのような画質劣化を低減する画像符号化装置を提示することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像符号化装置は、画面をブロックに分割し、ブロック単位でイントラ符号化を行う画像符号化装置であって、前記ブロックごとに、複数のイントラ予測モードの中から１つの予測モードを選択する予測モード選択手段と、前記予測モード選択手段で選択した予測モードに応じて予測画像を生成する予測画像生成手段と、前記予測画像生成手段で生成した前記予測画像と前記ブロックとの差分を直交変換して直交変換係数を生成する直交変換手段と、前記直交変換係数を量子化する量子化手段と、前記量子化手段の量子化係数を制御する量子化制御手段とを有し、前記量子化制御手段は、前記予測モード選択手段で選択した前記予測モードに応じて、前記予測モードを決定した当該ブロックに隣接するブロックの量子化係数を制御することを特徴とする。
本発明に係る画像符号化装置は、画面をブロックに分割し、ブロック単位でイントラ符号化を行う画像符号化装置であって、前記ブロックごとに、複数のイントラ予測モードの中から１つの予測モードを選択する予測モード選択手段と、前記予測モード選択手段で選択した予測モードに応じて予測画像を生成する予測画像生成手段と、前記予測画像生成手段で生成した前記予測画像と前記ブロックとの差分を直交変換して直交変換係数を生成する直交変換手段と、前記直交変換係数を量子化する量子化手段と、前記量子化手段の量子化係数を制御する量子化制御手段とを有し、イントラ予測の単位である前記ブロックを複数あつめて符号化ブロックを構成し、前記量子化制御手段は、前記符号化ブロックに対して１つの量子化係数を決定し、前記予測モード選択手段で選択した前記予測モードに応じて、前記予測モードを決定した当該符号化ブロックに含まれる複数のブロックの選択された予測モードに応じて、前記予測モードを決定した当該符号化ブロックに隣接する符号化ブロックの量子化係数を制御することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、イントラ予測の画質劣化を低減することを可能にした画像符号化装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】１６×１６イントラ予測方法の予測画像の生成方法の模式図である。
【図３】各パイプランステージで処理する符号化ブロックの模式図である。
【図４】４×４イントラ予測方法の予測画像の生成方法の模式図図である。
【図５】４×４イントラ予測ブロックと符号化ブロックの関係の模式図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１３】
図１は、本発明に係る画像符号化装置の第１実施例の概略構成ブロック図を示す。撮像部１０は、動画像を構成する所定フレームレートの画像信号をフレームメモリ１２に順次、格納する。フレームメモリ１２は、例えば、第３フレーム、第１フレーム、第２フレーム、・・・などの、符号化順序で、各フレームの画像データを出力する。各フレームの画像データは複数のブロックに分割され、ブロックごとに符号化される。
【００１４】
本実施例では、フレーム内の画像データのみで符号化するイントラ符号化モードと、フレーム間予測も含めて符号化するインター符号化モードを選択可能である。インター符号化には、動き補償の単位（ＭＣブロック）に対して１枚の参照フレームとの予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの予測を行うＢピクチャとがある。イントラ符号化を行うピクチャをＩピクチャという。符号化するフレームの順番が入力フレームの順番と異なるのは、時間的に未来のフレームによる予測（後方予測）を可能にするためである。
【００１５】
イントラ符号化の場合の符号化処理の基本的な流れを説明する。イントラ符号化モードでは、符号化単位となる符号化ブロック（ここでは、横１６画素×縦１６画素とする）単位に対し、予測画像を生成するイントラ予測モードを選択できる。換言すると、符号化ブロック単位で予測モードを決定する。
【００１６】
符号化ブロックの画像データがフレームメモリ１２から読み出されて、イントラ予測回路１４へ入力される。また、同じ画面内でこの符号化ブロックに隣接する画素のデータもフレームメモリ１２から読み出されてイントラ予測回路１４に入力される。イントラ予測回路１４は、符号化対象ブロックと、この符号化対象ブロックに隣接する画素のデータから生成される複数の予測画像との間でブロックマッチングにより最も相関の高いイントラ予測画像となる予測モードを決定し、予測モード選択回路１８に出力する。Ｈ.２６４の１６画素×１６画素のイントラ符号化には、４つのイントラ予測モードが用意されている。図２は、４つのイントラ予想モードの予測画像生成方法を示す。図２（ａ）は垂直予測モードを示す。図２（ｂ）は、水平予測モードを示す。図２（ｃ）は平均値予予測モードを示す。図２（ｄ）は、平面予測モードを示す。例えば、図２（ａ）に示す垂直予測では、符号化ブロックの上方向に位置する画素を使用して予測画像を生成する。
【００１７】
予測モード選択回路１８は、イントラ予測回路１４の出力かインター予測回路１６の出力を選択するが、イントラ符号化の場合、常にイントラ予測回路１４から通知されるイントラ予測モードを選択する。予測モード選択回路１８は、選択した予測モードを予測画像生成回路２０に通知する。予測画像生成回路２０は、予測モード選択回路１８で選択された予測モード（この場合、イントラ予測モード）に従い、同じ画面内の、先行して符号化及び復号化による生成される再構成画像からイントラ予測画像を生成する。減算器２２には、予測画像生成回路２０により生成された予測画像とフレームメモリ１２から読み出される符号化対象ブロックの画像が入力する。減算器２２は、符号化対象ブロックの画像とイントラ予測画像との間で画素値の差分を算出し、差分値を整数変換回路２４に出力する。
【００１８】
整数変換回路２４は、直交変換手段の一種として、減算器２２からの差分値を整数変換し、量子化回路２６は、整数変換回路２４からの変換係数（直交変換係数）を量子化する。エントロピー符号化回路２８は、量子化回路２６から出力される量子化された変換係数をエントロピー符号化する。これにより、撮像部１０による撮影映像のイントラ符号化によるストリームデータが生成される。なお、ストリームデータには、各符号化対象ブロックにおいて選択されたイントラ予測モードを示す情報も多重化される。
【００１９】
量子化制御回路３０は、エントロピー符号化回路２８からの発生符号量情報と、図示しないシステム制御回路又は符号化制御回路により設定される目標符号量に従い、量子化回路２６の量子化係数を制御する。
【００２０】
逆量子化回路３２は、量子化回路２６から出力される量子化された変換係数を逆量子化し、逆整数変換回路３４が、逆量子化回路３２の出力値を逆整数変換する。これにより、減算器２２の出力に相当する差分値又は差分画像がローカルで復元される。加算器３６は、逆整数変換回路３４の出力値に予測画像生成回路２０からのイントラ予測画像を加算する。加算器３６の出力画像は、ローカルで復号された再構成画像となる。デブロッキングフィルタ３８は、加算器３６から出力される再構成画像の符号化歪を軽減し、参照画像メモリ４０に格納する。参照画像メモリ４０に格納される再構成画像は、インター符号化の参照画像として使用される。
【００２１】
次に、インター符号化の場合の符号化処理の流れを説明する。インター符号化の場合、符号化ブロック単位で、インター符号化モードかイントラ符号化モードかを選択できる。そして、イントラ符号化モードに対しては、上述のようにイントラ予測モードを選択できる。インター符号モードでは、動きベクトル補償した予測画像を使用する。
【００２２】
符号化対象ブロックの画像がフレームメモリ１２からイントラ予測回路１４とインター予測回路１６に読み出される。イントラ予測回路１４は上述のように、最適なイントラ予測モードを決定し、予測画像との差分量を示すデータとともに予測モード選択回路１８に通知する。インター予測回路１６は、参照画像を参照画像メモリ４０から読み出し、フレームメモリ１２からの符号化対象ブロックの画像と参照画像から動きベクトルを検出する。インター予測回路１６は、検出した動きベクトルと、この動きベクトルで参照画像を補償して得られる予測画像と符号化対象ブロックの画像との差分値を予測モード選択回路１８に通知する。
【００２３】
予測モード選択回路１８は、イントラ予測回路１４からの差分情報とインター予測回路１６からの差分値情報を比較し、差分値が小さい方の予測モードを選択する。予測モード選択回路１８は、選択した予測モードがイントラ予測モードの場合には、イントラ予測回路１４から通知されたイントラ予測モードを予測画像生成回路２０に通知する。他方、予測モード選択回路１８は、選択した予測モードがインター予測モードの場合には、インター予測回路１６から通知された動きベクトルを予測画像生成回路２０に通知する。
【００２４】
予測画像生成回路２０は、参照画像メモリ４０に記憶される参照画像から、予測モード選択回路１８で選択された予測モードに応じた予測画像を生成する。減算器２２は、フレームメモリ１２からの符号化対象ブロックの画像から、予測画像生成回路２０で生成される予測画像を減算し、差分画像又は差分値を出力する。整数変換回路２４は減算器２２からの差分値を整数変換し、以後の処理は、基本的に、上述のイントラ符号化の場合と同様である。但し、インター予測画像を採用する場合、復号化には、インター予測画像の生成に使った動きベクトルの情報が必要になるので、エントロピー符号化回路２８が、インター予測回路１６からの動きベクトル情報をストリームデータに多重する。
【００２５】
ここまで、画像の入力から、符号化を経てストリームを出力するまでのデータの流れを中心に説明したが、実際には、各回路ブロックの処理はパイプラインで行われており、並列に処理されている。パイプラインの各ステージで処理される内容は、
ステージ１：イントラ予測、インター予測および予測モード
ステージ２：差分画像生成のための画像データ取得
ステージ３：差分画像生成、整数変換、量子化係数決定、量子化および画像再構成
となる。フレームメモリ１２と参照画像メモリ４０には、符号化装置を構成する回路１４，６０，３８からのアクセスが発生するので、調停が必要になる。従って、各機能回路が画像データを取得するために要する時間が見積もりにくい。そこで、本実施例では、ステージ２として、画像データの取得のみを行うステージを設けている。図３は、時間とともに各ステージ１，２，３で実行される処理の変遷を示す。ｎ番目に実行される符号化ブロックを符号化ブロック（ｎ）とし、ステージ１で符号化ブロック（ｎ）を処理している期間を期間Ｔ（ｎ）とする。期間Ｔ（ｎ）で処理される符号化ブロックは、
ステージ１：符号化ブロック（ｎ）
ステージ２：符号化ブロック（ｎ−１）
ステージ３：符号化ブロック（ｎ−２）
となる。
【００２６】
量子化制御回路３０の動作を説明する。量子化制御回路３０は、上述のように、エントロピー符号化回路２８からの発生符号量のフィードバック、ピクチャ圧縮率及び目標符号量などから、符号化ブロックに対する量子化係数を決定する。このように決定した量子化係数を基準量子化係数と呼ぶことにする。なお、基準量子化係数は、他の方法として、過去に符号化済みの符号化ブロックで発生した符号量をフィードバックして決定してもよい。期間Ｔ（ｎ）で予測モード選択回路１８は、符号化ブロック（ｎ）で使用する予測方法を決定する。期間Ｔ（ｎ＋１）で、量子化制御回路３０は、符号化ブロック（ｎ）で使用する予測方法を受け取る。期間Ｔ（ｎ＋１）のとき、量子化制御回路３０が処理する符号化ブロックは符号化ブロック（ｎ−１）である。
【００２７】
符号化ブロック（ｎ）の予測方法がイントラ予測の水平予測の場合、量子化制御回路３０は、符号化ブロック（ｎ−１）の量子化係数として、基準量子化係数よりも量子化幅が小さくなるような量子化係数に変更して、量子化回路２６に出力する。このような制御により、イントラ予測の予測画像を生成する際に使用する画素の劣化を抑制でき、それにより、画質の劣化の伝播を抑えることができる。
【実施例２】
【００２８】
図４は、イントラ予測の予測単位が４画素×４画素の場合の、９つのイントラ予測モードの予測画像の生成方法を示す模式図である。符号化ブロックを１６画素×１６画素とした場合、符号化ブロックには４画素×４画素のイントラ予測ブロックが１６ブロック含まれる。図５は、４画素×４画素のイントラ予測ブロックと符号化ブロックとの関係を示す。
【００２９】
イントラ予測回路１４は、符号化ブロック（ｎ）に含まれる４画素×４画素の複数のイントラ予測ブロックのそれぞれについて、図４に示す複数の予測モードから使用する予測モードを選択する。量子化制御回路３０は、符号化ブロック（ｎ−１）の量子化係数を符号化ブロック（ｎ）に含まれる４つのイントラ予測ブロック（＃０、＃４、＃８、＃１２）の選択された予測モードに応じて決定する。４つのイントラ予測ブロックの予測モードからイントラ予測の予測画像を生成する際に、符号化ブロック（ｎ−１）に含まれる画素のうち使用される画素数が定まる。予測画像の生成に使用される画素数が閾値（ここでは８とする）を超える場合、量子化制御回路３０は、符号化ブロック（ｎ−１）の量子化係数を、基準量子化係数よりも量子化幅が小さくなるような量子化係数に変更する。
【００３０】
以上、本発明の好ましい実施例を説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３１】
１０  撮像部
１２  フレームメモリ
１４  イントラ予測回路
１８  予測モード選択回路
２０  予測画像生成回路
２２  減算器
２４  整数変換回路
２６  量子化回路
２８  エントロピー符号化回路
３０  量子化制御回路
【図１】
2010287922.tif 000003
【図２】
2010287922.tif 000004
【図３】
2010287922.tif 000005
【図４】
2010287922.tif 000006
【図５】
2010287922.tif 000007