(57)【要約】【課題】  ビデオ復号器と表示用フレームメモリとの間の無駄なメモリ転送を削減し、消費電力を低減した画像処理装置を提供すること。【解決手段】  可変長復号部１２は、バッファ制御部１１から入力されたビットストリームに対して可変長復号を行ない、符号化情報を表示制御部１７に出力する。表示制御部１７は、符号化情報に基づいてブロック毎に前回の表示更新から所定量以上の内容変化があったか否かを判定する。そして、所定量以上の内容変化があったと判定されたブロックを予測フレームメモリ２２または２３から表示用フレームメモリ４０に転送して更新する。したがって、表示制御部１７と表示用フレームメモリ４０との間の無駄なメモリ転送が削減でき、消費電力を低減することが可能となる。【選択図】        図１
2007067526.tif 000002
【特許請求の範囲】
【請求項１】
符号化された画像を復号して表示する画像処理装置であって、
前記符号化された画像をブロック単位で復号し、画像データおよび符号化情報を生成するための復号手段と、
前記復号手段によって生成された画像データを予測フレームとして格納するための予測フレーム格納手段と、
表示用フレームを格納するための表示用フレーム格納手段と、
前記復号手段によって生成された符号化情報に基づいて、ブロック毎に前回の表示更新から所定量以上の内容変化があったか否かを判定するための判定手段と、
前記判定手段によって所定量以上の内容変化があったと判定されたブロックを前記予測フレーム格納手段から前記表示用フレーム格納手段に転送して更新するための表示更新手段とを含む、画像処理装置。
【請求項２】
前記判定手段は、ブロック毎に前回の表示更新からの内容の変化量を格納するための変化量格納手段と、
前記復号手段によって生成された符号化情報に基づいて、前記変化量格納手段を更新するための更新手段と、
前記変化量格納手段を参照して、ブロック毎に表示更新の要否を判定するための更新要否判定手段とを含む、請求項１記載の画像処理装置。
【請求項３】
前記更新手段は、前記符号化情報に含まれる動きベクトルおよび差分係数のいずれもゼロであるか否かを示す情報によって前記変化量格納手段を更新し、
前記更新要否判定手段は、前記変化量格納手段を参照して、前記動きベクトルがゼロでない場合、または前記差分係数がゼロでない場合に、前回の表示更新から所定量以上の内容変化があったと判定する、請求項２記載の画像処理装置。
【請求項４】
前記更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する前記変化量格納手段に動きベクトルまたは差分係数がゼロでないことを示す情報を設定する、請求項３記載の画像処理装置。
【請求項５】
前記更新手段は、前記符号化情報に含まれる符号量をブロック毎に累積して前記変化量格納手段を更新し、
前記更新要否判定手段は、前記累積された符号量が第１の閾値以上の場合に、前回の表示更新から所定量以上の内容変化があったと判定する、請求項２記載の画像処理装置。
【請求項６】
前記更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する前記変化量格納手段に前記第１の閾値以上の値を設定する、請求項５記載の画像処理装置。
【請求項７】
前記更新手段は、前記符号化情報に含まれる差分係数の符号量に所定の係数を積算した値をブロック毎に累積して前記変化量格納手段を更新し、
前記更新要否判定手段は、前記累積された値が第２の閾値以上の場合に、前回の表示更新から所定量以上の内容変化があったと判定する、請求項２記載の画像処理装置。
【請求項８】
前記更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する前記変化量格納手段に前記第２の閾値以上の値を設定する、請求項７記載の画像処理装置。
【請求項９】
前記所定の係数は、ブロックの量子化パラメータ値である、請求項７または８記載の画像処理装置。
【請求項１０】
前記所定の係数は、２の（ブロックの量子化パラメータ値÷６）乗である、請求項７または８記載の画像処理装置。
【請求項１１】
前記更新要否判定手段は、前回の表示更新から所定量以上の内容変化があったと判定したブロックに対応する前記変化量格納手段の内容を初期化する、請求項２〜１０のいずれかに記載の画像処理装置。
【請求項１２】
符号化された画像を復号して表示する画像処理装置であって、
前記符号化された画像をブロック単位で復号し、画像データおよび符号化情報を生成するための復号手段と、
前記復号手段によって生成された画像データを予測フレームとして格納するための予測フレーム格納手段と、
表示用フレームを格納するための表示用フレーム格納手段と、
前記復号手段によって生成された符号化情報に基づいて、ブロック毎に前回の表示更新から所定量以上の内容変化があったか否かを判定し、前回の表示更新から所定量以上の内容変化があったブロックの数が所定数以上であるか否かを判定するための判定手段と、
前記判定手段によって所定量以上の内容変化があったブロックの数が所定数以上であると判定された場合には、全てのブロックを前記予測フレーム格納手段から前記表示用フレーム格納手段に転送して更新し、それ以外の場合には、前記表示用フレーム格納手段の更新を行なわない表示更新手段とを含む、画像処理装置。
【請求項１３】
前記予測フレーム格納手段は、連続したフレームの画像データが交互に格納される２つの予測フレームメモリを含み、
前記画像処理装置はさらに、連続する３つのフレーム内の対応するブロックの内容が全て同一である場合には、前記予測フレームメモリにおける３番目のフレームの当該ブロックの更新を行なわず、それ以外のブロックに対しては更新を行なうための手段を含む、請求項１〜１２のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたデジタル映像を復号して再生する技術に関し、特に、マクロブロック（ＭＢ）の内容の変化量を検出して表示に関する処理を削減した画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタル映像を高効率で圧縮符号化する技術が発達し、ＳＴＢ（セットトップボックス）や、ＰＣ（パーソナルコンピュータ）はもちろんのこと、携帯電話に代表される携帯機器などでも符号化されたデジタル映像を復号して再生することが可能となってきている。
【０００３】
これらの機器において一般的に用いられるデジタル映像の符号化方式、たとえばＭＰＥＧ（Moving Picture Experts Group）などでは、映像を構成する各画像（フレーム）を小さな矩形領域（ブロック）に分割し、ブロックごとに、空間的相関または時間的相関を用いて予測データを作成する。そして、ブロックの画像データと予測データとの差分を直交変換して得られた変換係数（差分係数）を量子化し、スキャン変換した後に可変長符号化を行ない、さらに空間的冗長性を削減することで高い符号化効率を得るものである。
【０００４】
ここで、ブロックの符号化の際、空間的相関だけを用いて符号化する方式を、イントラ符号化方式と呼ぶ。また、イントラ符号化方式で符号化することをイントラ符号化（Ｉ符号化）と呼び、イントラ符号化のみで符号化されたフレームをイントラフレーム（Ｉフレーム）と呼ぶ。イントラ符号化方式では、符号化中のブロックが属するフレーム内の相関だけを利用するため、フレーム内符号化方式とも呼ばれる。
【０００５】
一方、空間的相関だけでなく、時間的相関も用いる符号化方式を、インター符号化方式と呼ぶ。また、インター符号化方式で符号化することをインター符号化と呼び、インター符号化を用いて符号化されたフレームをインターフレームと呼ぶ。インター符号化方式では、符号化中のブロックが属するフレームからではなく、前後のフレームから予測データを生成するため、フレーム間符号化方式とも呼ばれる。
【０００６】
たとえば、直前に符号化したフレームから予測データを生成し、現在符号化中のフレームと予測データとの差分だけを符号化するような場合、数フレームに亘って映像が静止していると、発生符号量は大幅に削減できる。ここで、予測データの生成に用いられたフレームを参照フレームと呼び、表示順序において現在符号化中のフレームより前のフレームを参照フレームに用いる前方予測、表示順序において現在符号化中のフレームより後のフレームを参照フレームに用いる後方予測、前方予測と後方予測との両方を用いる双方向予測の３種類の予測方法が存在する。以下、前方予測のみを用いてインター符号化することをＰ符号化、双方向予測を用いてインター符号化することをＢ符号化と呼ぶ。
【０００７】
下記の非特許文献１に記載の符号化方式においては、イントラ符号化とインター符号化とを適切に切り替えることで高効率での符号化を実現している。この符号化方式においては、縦１６画素、横１６画素のＭＢ単位にフレームを分割して符号化を行っている。１フレームの符号化において、符号化方式の変更は、ＭＢ単位で可能であり、Ｉ符号化されたＭＢをＩ−ＭＢ、Ｐ符号化されたＭＢをＰ−ＭＢ、Ｂ符号化されたＭＢをＢ−ＭＢと呼ぶ。
【０００８】
また、１フレームが、Ｉ−ＭＢまたはＰ−ＭＢのみで構成されたフレームをＰフレーム、少なくとも１つのＭＢがＢ符号化されたフレームをＢフレームと呼ぶ。なお、符号化する項目によっては、ＭＢがさらに小さなブロック、たとえば、縦８画素、横８画素のブロックに分割されて符号化される。また、インター符号化には、動き補償という技術が導入されている。動き補償とは、たとえば、物体が平行移動するような映像を符号化する場合に、単純にフレーム間の差分を符号化するのではなく、平行移動量（動きベクトル）を検出し、動きベクトル＋フレーム間の差分の形で符号化を行うことでより符号化効率を高める技術である。
【０００９】
しかしながら、この符号化方式で符号化されたデジタル映像の再生には、膨大な演算とメモリ転送が必要であり、特に携帯機器においては、処理能力や消費電力などの観点から、再生可能な映像データには、解像度やフレームレート、ビットレートなどの制約が付くことも少なくない。
【００１０】
このような状況に鑑み、下記の特許文献１においては、メモリ伝送量を削減するとともに、消費電力を削減することができる画像処理装置が提案されている。
【００１１】
図１３は、特許文献１に記載の画像処理装置の概略構成を示すブロック図である。この画像処理装置は、入力ビットストリームを復号し、表示画像を出力するビデオ復号器１００と、入力ビットストリームや復号画像を蓄積するためのメモリ２００とを含む。
【００１２】
ビデオ復号器１００は、バッファ制御部１１１と、可変長復号部１１２と、スキャン変換部１１３と、逆量子化部１１４と、逆ＤＣＴ（Discrete Cosine Transform）部１１５と、動き補償画像再生部１１６と、表示制御部１１７と、メモリ制御部１１８と、メモリ更新制御部１１９とを含む。
【００１３】
また、メモリ２００は、入力ビットストリームを蓄積するバッファメモリ２２１と、第１の予測フレームメモリ２２２と、第２の予測フレームメモリ２２３とを含む。
【００１４】
第１の予測フレームメモリ２２２および第２の予測フレームメモリ２２３は、いずれも１フレーム分の復号画像を蓄積できる容量を有している。復号中の画像が書き込まれる予測フレームメモリは、ビデオ復号器１００によって１フレームの映像が復号される毎に切り替えられる。たとえば、連続する３枚のフレームである、第１のフレーム、第２のフレームおよび第３のフレームを復号する際、第１のフレームの復号画像を第１の予測フレームメモリ２２２に蓄積する場合は、第２のフレームの復号画像は第２の予測フレームメモリ２２３に蓄積され、第３のフレームの復号画像は第１のフレームの復号画像に上書きする形で第１の予測フレームメモリ２２２に蓄積される。
【００１５】
メモリ制御部１１８は、バッファ制御部１１１、動き補償画像再生部１１６および表示制御部１１７と、メモリ２００との間における各種データ転送を制御する。
【００１６】
バッファ制御部１１１は、外部から入力ビットストリームを受け、メモリ制御部１１８を介してバッファメモリ２２１に入力ビットストリームを蓄積する。そして、バッファ制御部１１１は、バッファメモリ２２１に蓄積されたビットストリームのうち１フレーム分を再びメモリ制御部１１８を介して取出し、可変長復号部１１２へ出力する。
【００１７】
可変長復号部１１２は、バッファ制御部１１１から入力された１フレーム分のビットストリームに対して可変長復号を行ない、可変長復号によって得られた動きベクトルや変換係数などの情報をスキャン変換部１１３、動き補償画像再生部１１６およびメモリ更新制御部１１９に出力する。可変長復号部１１２から出力される変換係数は、ＤＣ成分を先頭に、低周波成分から高周波成分の順に並んでいる。なお、ビットストリームが全て可変長符号化されているわけではないため、可変長復号部１１２は、固定長符号についても復号を行なう。
【００１８】
スキャン変換部１１３は、可変長復号部１１２から入力された変換係数の並び順をラスター順に変換し、逆量子化部１１４に出力する。
【００１９】
逆量子化部１１４は、スキャン変換部１１３から入力されたスキャン変換済みの変換係数を逆量子化し、逆量子化後の変換係数を逆ＤＣＴ部１１５に出力する。
【００２０】
逆ＤＣＴ部１１５は、逆量子化部１１４から入力された逆量子化後の変換係数に対し逆ＤＣＴを行ない、逆ＤＣＴ後の変換係数を動き補償画像再生部１１６に出力する。
【００２１】
動き補償画像再生部１１６は、可変長復号部１１２から入力された動きベクトルなどの情報（符号化情報）に基づいて、メモリ制御部１１８を介して第１の予測フレームメモリ２２２（第２の予測フレームメモリ２２３）に蓄積されている既に復号済みの画像（予測データ）を読出し、逆ＤＣＴ部１１５から入力された逆ＤＣＴ後の変換係数と加算して復号データを生成した後、生成した復号データをメモリ制御部１１８を介して、予測データを読出した予測フレームメモリとは違う方の第２の予測フレームメモリ２２３（第１の予測フレームメモリ２２２）内の適切なアドレスに書込む。
【００２２】
符号化情報には、動きベクトルの他に、スキップドＭＢ信号、マクロブロック内の６つのブロックごとに変換係数の有無を示すノットコーデッドブロック信号などが含まれる。なお、フレーム内符号化されたブロックの復号時の予測データには、現在復号中の画像のうち処理済のブロックの画像データが用いられる。
【００２３】
表示制御部１１７は、第１の予測フレームメモリ２２２または第２の予測フレームメモリ２２３から、メモリ制御部１１８を介して再生画像を読出し、表示画像の出力制御を行なう。
【００２４】
メモリ更新制御部１１９は、可変長復号部１１２から入力された符号化情報の内容に応じて、動き補償画像再生部１１６の動作を制御する。
【００２５】
ここで、ビデオ復号器１００が、連続する３枚のフレームである、第１のフレーム、第２のフレームおよび第３のフレームからなるデジタル映像を復号する場合を考える。
【００２６】
メモリ更新制御部１１９は、第３のフレームにおける所定位置のブロック（第３のブロック）を復号の際、第３のブロックの内容が、第３のフレームの直前に復号された第２のフレームにおける上記所定位置と同一位置のブロック（第２のブロック）の内容と同一であるか否かを判定する（第１の判定）。第１の判定には、第３のブロックについての符号化情報が用いられる。具体的には、第３のブロックについての符号化情報が、スキップドＭＢである場合、または動きベクトルゼロでかつノットコーデッドブロックである場合には、同一であると判定される。それ以外の場合には、同一でないと判定される。
【００２７】
第１の判定の結果、同一であると判定された場合には、さらに第２のブロックの内容が、第２のフレームの直前に復号された第１のフレームにおける上記所定位置と同一位置のブロック（第１のブロック）の内容と同一であるか否かが判定される（第２の判定）。
【００２８】
第２の判定は、第２のブロックについての符号化情報を用いて、第１の判定と同一の方法によって行なわれる。ただし、第３のフレームの復号中に、メモリ更新制御部１１９に入力される符号化情報は、第３のフレームについての符号化情報だけであり、第３のフレームの直前のフレームである第２のフレームについての符号化情報は入力されない。そのため、メモリ更新制御部１１９は、現在復号中のフレームの直前に復号された１フレーム分全てのブロックについての符号化情報のうち、少なくとも第２の判定に用いる情報だけは内部で保持している。
【００２９】
第２の判定の結果、同一であると判定された場合には、第３のブロックについて、動き補償画像再生部１１６における第１の予測フレームメモリ２２２（第２の予測フレームメモリ２２３）からの予測データの読出しと、復号データの第２の予測フレームメモリ２２３（第１の予測フレームメモリ２２２）への書込みとが省略される。
【００３０】
このような省略が可能な理由を簡単に説明する。第１のフレーム、第２のフレーム、第３のフレームの順で連続して復号されるため、たとえば第１のフレームの復号結果が第１の予測フレームメモリ２２２に書込まれたとすると、第２のフレームの復号結果は第２の予測フレームメモリ２２３に書込まれ、第３のフレームの復号結果は第１の予測フレームメモリ２２２に書込まれることになる。
【００３１】
一方、第１のブロックは第１のフレームに含まれ、第３のブロックは第３のフレームに含まれており、かつ、第１のブロックと第３のブロックはフレーム内における同一位置にあるため、第３のブロックの復号時に、第３のブロックの復号結果が書込まれることになる第１の予測フレームメモリ２２２の領域には、第１のブロックの復号結果が書込まれていることになる。また、第１の判定の結果および第２の判定の結果が、いずれも同一であると判定されるということは、言い換えれば、第３のブロックの内容は、第１のブロックの内容と同一であることを意味する。したがって、このような省略を行っても行わなくても、第３のブロック復号後、第１の予測フレームメモリ２２２の第３のブロックの位置の内容に違いはないことになる。
【００３２】
また、第１の判定の結果、または第２の判定の結果のいずれかにおいて、同一でないと判定された場合には、上記省略は行われない。
【００３３】
このように、メモリ更新制御部１１９を設けることによって、３枚以上のフレームに亘って連続した静止ブロックを持つデジタル映像を復号する場合には、不要なメモリ転送の省略が行われ、その結果、限られたメモリバンド幅を有効利用することができるとともに、メモリ転送に必要な消費電力を削減することが可能となる。
【００３４】
なお、図１３に示す画像処理装置においては、第１の予測フレームメモリ２２２および第２の予測フレームメモリ２２３を直接表示用フレームメモリとしても利用することを想定しているが、特にＰＣなどにおいて、ビデオ復号器１００と表示用フレームメモリとの間のメモリバンド幅が十分でない場合が多い。
【００３５】
このような場合には、ビデオ復号器１００から頻繁にアクセスされる第１の予測フレームメモリ２２２および第２の予測フレームメモリ２２３を、表示用フレームメモリよりもメモリバンド幅の広いメモリ領域に別途確保するのが一般的である。表示更新のたびに、表示制御部１１７が、第１の予測フレームメモリ２２２および第２の予測フレームメモリ２２３から表示用フレームメモリへ一度だけメモリ転送することで、メモリバンド幅の狭い表示用フレームメモリへのアクセスを低減し、映像再生のパフォーマンスを向上させることができる。
【００３６】
また、再生画像に対して、他の表示オブジェクトを上書きしたい場合もある。この場合においても、第１の予測フレームメモリ２２２および第２の予測フレームメモリ２２３の内容に直接表示オブジェクトを上書きすることはできず、復号画像を一旦別の表示用フレームメモリに転送し、表示用フレームメモリに対して、上書き操作を行う必要がある。なぜなら、第１の予測フレームメモリ２２２および第２の予測フレームメモリ２２３の内容は、後のフレームの復号において参照画像として用いられる可能性があり、その内容をビデオ復号器１００の外部から変更することは、後のフレームの復号結果に悪影響を及ぼすことになるからである。
【００３７】
図１４は、表示用フレームメモリを設けた場合の画像処理装置の概略構成を示すブロック図である。この画像処理装置は、図１３に示す画像処理装置と比較して、第２のメモリ制御部３００および表示画像を蓄積するための表示用フレームメモリ４００が追加された点のみが異なる。したがって、重複する構成および機能の詳細な説明は繰返さない。
【００３８】
第２のメモリ制御部３００は、表示制御部１１７から表示画像データを受け、表示用フレームメモリ４００に書込む。なお、メモリ２００内に表示用フレームメモリ４００の領域が確保されてもよい。この場合、第２のメモリ制御部３００は不要となり、第１のメモリ制御部１１８が表示用フレームメモリ４００に表示画像データを書込むことになる。
【特許文献１】特開２０００−１１５７７７号公報
【非特許文献１】ＩＳＯ／ＩＥＣ  １４４９６−２（動画像符号化技術）
【非特許文献２】ＩＳＯ／ＩＥＣ  １４４９６−１０（動画像符号化技術）
【発明の開示】
【発明が解決しようとする課題】
【００３９】
しかしながら、図１４に示す画像処理装置においては、復号画像を表示用フレームメモリ４００に転送する場合、表示制御部１１７には符号化情報が入力されないため、たとえスキップドＭＢ信号などにより、映像が数フレームに亘り静止していることが検知できたとしても、毎回フレーム全体を更新しなければならず、無駄なメモリ転送や消費電力が必要となるといった問題点があった。
【００４０】
本発明は、上記問題点を解決するためになされたものであり、その目的は、ビデオ復号器と表示用フレームメモリとの間の無駄なメモリ転送を削減し、消費電力を低減した画像処理装置を提供することである。
【課題を解決するための手段】
【００４１】
本発明のある局面に従えば、符号化された画像を復号して表示する画像処理装置であって、符号化された画像をブロック単位で復号し、画像データおよび符号化情報を生成するための復号手段と、復号手段によって生成された画像データを予測フレームとして格納するための予測フレーム格納手段と、表示用フレームを格納するための表示用フレーム格納手段と、復号手段によって生成された符号化情報に基づいて、ブロック毎に前回の表示更新から所定量以上の内容変化があったか否かを判定するための判定手段と、判定手段によって所定量以上の内容変化があったと判定されたブロックを予測フレーム格納手段から表示用フレーム格納手段に転送して更新するための表示更新手段とを含む。
【００４２】
好ましくは、判定手段は、ブロック毎に前回の表示更新からの内容の変化量を格納するための変化量格納手段と、復号手段によって生成された符号化情報に基づいて、変化量格納手段を更新するための更新手段と、変化量格納手段を参照して、ブロック毎に表示更新の要否を判定するための更新要否判定手段とを含む。
【００４３】
さらに好ましくは、更新手段は、符号化情報に含まれる動きベクトルおよび差分係数のいずれもゼロであるか否かを示す情報によって変化量格納手段を更新し、更新要否判定手段は、変化量格納手段を参照して、動きベクトルがゼロでない場合、または差分係数がゼロでない場合に、前回の表示更新から所定量以上の内容変化があったと判定する。
【００４４】
さらに好ましくは、更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する変化量格納手段に動きベクトルまたは差分係数がゼロでないことを示す情報を設定する。
【００４５】
好ましくは、更新手段は、符号化情報に含まれる符号量をブロック毎に累積して変化量格納手段を更新し、更新要否判定手段は、累積された符号量が第１の閾値以上の場合に、前回の表示更新から所定量以上の内容変化があったと判定する。
【００４６】
さらに好ましくは、更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する変化量格納手段に第１の閾値以上の値を設定する。
【００４７】
好ましくは、更新手段は、符号化情報に含まれる差分係数の符号量に所定の係数を積算した値をブロック毎に累積して変化量格納手段を更新し、更新要否判定手段は、累積された値が第２の閾値以上の場合に、前回の表示更新から所定量以上の内容変化があったと判定する。
【００４８】
好ましくは、更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する変化量格納手段に第２の閾値以上の値を設定する。
【００４９】
さらに好ましくは、所定の係数は、ブロックの量子化パラメータ値である。
好ましくは、所定の係数は、２の（ブロックの量子化パラメータ値÷６）乗である。
【００５０】
好ましくは、更新要否判定手段は、前回の表示更新から所定量以上の内容変化があったと判定したブロックに対応する変化量格納手段の内容を初期化する。
【００５１】
本発明の別の局面に従えば、符号化された画像を復号して表示する画像処理装置であって、符号化された画像をブロック単位で復号し、画像データおよび符号化情報を生成するための復号手段と、復号手段によって生成された画像データを予測フレームとして格納するための予測フレーム格納手段と、表示用フレームを格納するための表示用フレーム格納手段と、復号手段によって生成された符号化情報に基づいて、ブロック毎に前回の表示更新から所定量以上の内容変化があったか否かを判定し、前回の表示更新から所定量以上の内容変化があったブロックの数が所定数以上であるか否かを判定するための判定手段と、判定手段によって所定量以上の内容変化があったブロックの数が所定数以上であると判定された場合には、全てのブロックを予測フレーム格納手段から表示用フレーム格納手段に転送して更新し、それ以外の場合には、表示用フレーム格納手段の更新を行なわない表示更新手段とを含む。
【００５２】
好ましくは、予測フレーム格納手段は、連続したフレームの画像データが交互に格納される２つの予測フレームメモリを含み、画像処理装置はさらに、連続する３つのフレーム内の対応するブロックの内容が全て同一である場合には、予測フレームメモリにおける３番目のフレームの当該ブロックの更新を行なわず、それ以外のブロックに対しては更新を行なうための手段を含む。
【発明の効果】
【００５３】
本発明のある局面によれば、表示更新手段が、判定手段によって所定量以上の内容変化があったと判定されたブロックを予測フレーム格納手段から表示用フレーム格納手段に転送して更新するので、それ以外のブロックが表示用フレーム格納手段に転送されることがなくなり、表示更新手段と表示用フレーム格納手段との間の無駄なメモリ転送が削減でき、消費電力を低減することが可能となる。
【００５４】
また、更新要否判定手段が変化量格納手段を参照して、ブロック毎に表示更新の要否を判定するので、表示更新の要否を容易に判定することが可能となる。
【００５５】
また、更新要否判定手段が変化量格納手段を参照して、動きベクトルがゼロでない場合、または差分係数がゼロでない場合に、前回の表示更新から所定量以上の内容変化があったと判定するので、表示更新の要否をさらに容易に判定することが可能となる。
【００５６】
また、更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する変化量格納手段に動きベクトルまたは差分係数がゼロでないことを示す情報を設定するので、イントラ符号化マクロブロックについては常に表示更新を行なうことが可能となる。
【００５７】
また、更新要否判定手段は、累積された符号量が第１の閾値以上の場合に、前回の表示更新から所定量以上の内容変化があったと判定するので、変化量がわずかなブロックに対しても表示更新を省略することが可能となる。
【００５８】
また、更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する変化量格納手段に第１の閾値以上の値を設定するので、イントラ符号化マクロブロックについては常に表示更新を行なうことが可能となる。
【００５９】
また、更新要否判定手段が、累積された値が第２の閾値以上の場合に、前回の表示更新から所定量以上の内容変化があったと判定するので、さらに正確に変化量が少ないブロックを検出することが可能となる。
【００６０】
また、更新手段は、ブロックがイントラ符号化マクロブロックの場合には、当該ブロックに対応する変化量格納手段に第２の閾値以上の値を設定するので、イントラ符号化マクロブロックについては常に表示更新を行なうことが可能となる。
【００６１】
また、所定の係数は、ブロックの量子化パラメータ値であるので、さらに正確に変化量が少ないブロックを検出することが可能となる。
【００６２】
また、所定の係数は、２の（ブロックの量子化パラメータ値÷６）乗であるので、さらに正確に変化量が少ないブロックを検出することが可能となる。
【００６３】
また、更新要否判定手段が、前回の表示更新から所定量以上の内容変化があったと判定したブロックに対応する変化量格納手段の内容を初期化するので、内容変化をより正確に求めることが可能となる。
【００６４】
本発明の別の局面によれば、表示更新手段は、判定手段によって所定量以上の内容変化があったブロックの数が所定数以上であると判定された場合には、全てのブロックを予測フレーム格納手段から表示用フレーム格納手段に転送して更新し、それ以外の場合には、表示用フレーム格納手段の更新を行なわないので、画面全体の変化に応じて表示用フレーム格納手段の更新を行なうことが可能となる。
【００６５】
また、連続する３つのフレーム内の対応するブロックの内容が全て同一である場合には、予測フレームメモリにおける３番目のフレームの当該ブロックの更新を行なわず、それ以外のブロックに対しては更新を行なうための手段を含むので、予測フレームメモリとの間の無駄なメモリ転送を削減でき、さらに消費電力を低減することが可能となる。
【発明を実施するための最良の形態】
【００６６】
以下に説明する本発明の実施の形態における画像処理装置は、全てのフレームがＩフレームまたはＰフレームとして符号化されたビットストリームを再生するものとする。
【００６７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置の概略構成を示すブロック図である。この画像処理装置は、入力ビットストリームを復号し、表示画像を出力するビデオ復号器１と、入力ビットストリームや復号画像を蓄積するためのメモリ２と、表示画像を蓄積するための表示用フレームメモリ４０と、表示用フレームメモリ４０への表示画像の書込みを制御する第２のメモリ制御部３０とを含む。
【００６８】
第２のメモリ制御部３０は、ビデオ復号器１から表示画像データを受け、表示用フレームメモリ４０に書込む。
【００６９】
ビデオ復号器１は、バッファ制御部１１と、可変長復号部１２と、スキャン変換部１３と、逆量子化部１４と、逆ＤＣＴ部１５と、動き補償画像再生部１６と、表示制御部１７と、第１のメモリ制御部１８とを含む。
【００７０】
また、メモリ２は、入力ビットストリームを蓄積するバッファメモリ２１と、第１の予測フレームメモリ２２と、第２の予測フレームメモリ２３とを含む。
【００７１】
第１の予測フレームメモリ２２および第２の予測フレームメモリ２３は、いずれも１フレーム分の復号画像を蓄積できる容量を有している。復号中の画像が書き込まれる予測フレームメモリは、ビデオ復号器１によって１フレームの映像が復号される毎に切り替えられる。
【００７２】
第１のメモリ制御部１８は、バッファ制御部１１、動き補償画像再生部１６および表示制御部１７と、メモリ２との間における各種データ転送を制御する。
【００７３】
バッファ制御部１１は、外部から入力ビットストリームを受け、第１のメモリ制御部１８を介してバッファメモリ２１に入力ビットストリームを蓄積する。そして、バッファ制御部１１は、バッファメモリ２１に蓄積されたビットストリームのうち１フレーム分を再び第１のメモリ制御部１８を介して取出し、可変長復号部１２へ出力する。
【００７４】
可変長復号部１２は、バッファ制御部１１から入力された１フレーム分のビットストリームに対して可変長復号を行ない、可変長復号によって得られた動きベクトルや変換係数などの情報をスキャン変換部１３、動き補償画像再生部１６および表示制御部１７に出力する。
【００７５】
スキャン変換部１３は、可変長復号部１２から入力された変換係数の並び順をラスター順に変換し、逆量子化部１４に出力する。
【００７６】
逆量子化部１４は、スキャン変換部１３から入力されたスキャン変換済みの変換係数を逆量子化し、逆量子化後の変換係数を逆ＤＣＴ部１５に出力する。
【００７７】
逆ＤＣＴ部１５は、逆量子化部１４から入力された逆量子化後の変換係数に対し逆ＤＣＴを行ない、逆ＤＣＴ後の変換係数を動き補償画像再生部１６に出力する。
【００７８】
動き補償画像再生部１６は、可変長復号部１２から入力された動きベクトルなどの符号化情報に基づいて、第１のメモリ制御部１８を介して第１の予測フレームメモリ２２（第２の予測フレームメモリ２３）に蓄積されている既に復号済みの画像（予測データ）を読み出し、逆ＤＣＴ部１５から入力された逆ＤＣＴ後の変換係数と加算して復号データを生成した後、生成した復号データを第１のメモリ制御部１８を介して、予測データを読み出した予測フレームメモリとは違う方の第２の予測フレームメモリ２３（第１の予測フレームメモリ２２）内の適切なアドレスに書込む。
【００７９】
表示制御部１７は、第１の予測フレームメモリ２２または第２の予測フレームメモリ２３から、第１のメモリ制御部１８を介して再生画像を読み出し、表示画像の出力制御を行なう。このとき、表示制御部１７は、可変長復号部１３から入力された符号化情報を用いて、第１の予測フレームメモリ２２（第２の予測フレームメモリ２３）に蓄積された再生画像の中で前回の表示画像から大きく変化したブロックだけを抽出し、第１のメモリ制御部１８を介してそのブロックの内容を読出し、第２のメモリ制御部３０を介して表示用フレームメモリ４０の内容を更新する。
【００８０】
図２は、図１に示す画像処理装置の表示制御部１７の詳細な構成を示すブロック図である。この表示制御部１７は、ブロック変化量テーブル更新部５１と、ブロック変化量テーブル５２と、表示更新要否判定部５３と、表示データ更新部５４とを含む。
【００８１】
ブロック変化量テーブル更新部５１は、可変長復号部１２から入力された符号化情報に基づいて、復号中のフレームの前に復号されたフレームからの変化量をブロック単位で求め、この変化量に応じてブロック変化量テーブル５２を更新する。符号化情報には、動きベクトル、スキップドＭＢ信号、ノットコーデッドブロック信号の他に、各ブロックの符号量の値なども含まれる。各ブロックの符号量の値は、可変長復号部１２が可変長復号を行う際に求められ、その値が表示制御部１７によって取得される。
【００８２】
ブロック変化量テーブル５２は、少なくとも１フレーム分のブロックについてのブロック変化量を保持する。ここで、ブロック変化量とは、所定のブロックの内容と、表示用フレームメモリ４０内の上記所定のブロックと同一位置のブロックの内容との間に、どれだけの差異があるのかを客観的に評価できる数値のことであり、符号化情報を用いて算出される。
【００８３】
図３は、ブロック変化量テーブル５２に格納される内容を説明するための図である。図３（ａ）は、ブロック変化量テーブル５２の具体的な格納形式の一例を示している。ブロック変化量テーブル５２は、１ブロックについてのブロック変化量を１要素とする１フレーム分の２次元配列としてデータを保持する。なお、格納方法は２次元配列に限らず、たとえば、１次元配列であってもよい。
【００８４】
図３（ｂ）〜（ｄ）は、ブロック変化量の格納形式の一例を示す図である。図３（ｂ）は、動きベクトルゼロかつ差分係数ゼロのブロックを「変化なし」、それ以外のブロックを「変化あり」とする２値データ（以下、動きベクトルゼロ・差分係数ゼロ・フラグと呼ぶ。）をブロック変化量として格納する場合を示している。
【００８５】
図３（ｃ）は、前回の表示更新からのブロックの符号量の累積値（以下、累積ブロック符号量と呼ぶ。）をブロック変化量として格納する場合を示している。
【００８６】
図３（ｄ）は、ブロックの動きベクトルのゼロ／非ゼロを示すフラグ（以下、動きベクトルゼロ・フラグと呼ぶ。）と、前回の表示更新からの（ブロックの差分係数の符号量）×（ブロックについての量子化パラメータ値）の累積値（以下、累積スケールド差分係数符号量と呼ぶ。）との２フィールドをブロック変化量として格納する場合を示している。なお、ブロック変化量の格納形式は、上記に限らず、任意の形式であってもよい。
【００８７】
表示更新要否判定部５３は、ブロック変化量テーブル５２を参照し、変化が大きいと判断されたブロックについては、表示データ更新部５４に対して表示を更新するよう指示する。また、表示更新要否判定部５３は、表示の更新が行われたブロックについてのブロック変化量テーブル５２内の要素を、変化量なしに設定（クリア）する動作も行なう。
【００８８】
表示データ更新部５４は、表示更新要否判定部５３から指示が入力されたときは、第１のメモリ制御部１８を介して第１の予測フレームメモリ２２（第２の予測フレームメモリ２３）から再生画像を読出し、第２のメモリ制御部３０を介して表示用フレームメモリ４０に書込む。
【００８９】
図４は、本発明の第１の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。まず、可変長復号部１２は、バッファ制御部１１からフレームのビットストリームを受けると、１つのブロックを復号する（Ｓ１１）。次に、ブロック変化量テーブル更新部５１は、ブロックの復号の過程で得られた符号化情報を受け、ブロック変化量テーブル５２内の当該ブロックについての要素を更新する（Ｓ１２）。
【００９０】
次に、可変長復号部１２は、１フレームの全てのブロックの処理が終了したか否かを判定する（Ｓ１３）。１フレームの全てのブロックを処理していなければ（Ｓ１３，Ｎｏ）、ステップＳ１１に戻って次のブロックの処理を行なう。また、１フレームの全てのブロックを処理した場合には（Ｓ１３，Ｙｅｓ）、処理を終了する。
【００９１】
なお、図４に示すフローチャートにおいては、ブロックごとに復号とブロック変化量テーブル５２の更新とを交互に行っているが、１フレームの全てのブロックを復号後、１フレーム分の符号化情報を元にブロック変化量テーブル５２を更新するようにしてもよい。
【００９２】
図５は、本発明の第１の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。まず、表示更新要否判定部５３は、ブロック変化量テーブル５２内の１つのブロックについての要素を参照し、前回の表示更新から内容に大きな変化が発生しているか否かを判定する（Ｓ２１）。
【００９３】
大きな変化が発生していると判定された場合には（Ｓ２１，Ｙｅｓ）、表示データ更新部５４は、第１の予測フレームメモリ２２（第２の予測フレームメモリ２３）に蓄積されている当該ブロックについての復号画像を第１のメモリ制御部１８経由で読出し、第２のメモリ制御部３０を介して表示用フレームメモリ４０の該当箇所の内容を更新する（Ｓ２２）。次に、表示更新要否判定部５３は、ブロック変化量テーブル５２内の当該ブロックについての要素をクリアし、当該ブロックについての処理を終了する（Ｓ２３）。
【００９４】
また、大きな変化が発生していないと判定された場合には（Ｓ２１，Ｎｏ）、そのまま当該ブロックの処理を終了し、ステップＳ２４に処理が進む。
【００９５】
１つのブロックについての処理が終了すると、１フレームの全てのブロックの処理が終了したか否かが判定される（Ｓ２４）。全てのブロックを処理していなければ（Ｓ２４，Ｎｏ）、ステップＳ２１に戻って次のブロックの処理を行なう。また、全てのブロックを処理した場合には（Ｓ２４，Ｙｅｓ）、処理を終了する。
【００９６】
なお、図５で示すフローチャートにおいては、ブロック単位で表示の更新／非更新を制御しているが、最初に１フレーム分の全てのブロックについての変化量を評価し、１フレームのうち所定の数以上のブロックにおいて内容の変化が大きいと判定されれば、１フレーム全体を更新するとともにブロック変化量テーブル５２内の全てのブロックについての要素をクリアするようにしてもよい。
【００９７】
以上説明したように、本実施の形態における画像処理装置においては、２フレーム以上に亘り静止状態の続くブロックに対しては、表示用フレームメモリ４０への転送を省略することができるので、限られたメモリバンド幅を有効に利用でき、消費電力を削減することが可能となった。
【００９８】
また、ビデオ復号器１とメモリ２との間のメモリバンド幅に比べ、ビデオ復号器１と表示用フレームメモリ４０との間のメモリバンド幅が狭い場合には、メモリ転送に要する時間を短縮でき、映像再生におけるパフォーマンスを向上させることが可能となった。
【００９９】
（第２の実施の形態）
図６は、本発明の第２の実施の形態における画像処理装置の概略構成を示すブロック図である。この画像処理装置は、図１に示す第１の実施の形態における画像処理装置と比較して、メモリ更新制御部１９が追加されている点のみが異なる。したがって、重複する構成および機能の詳細な説明は繰返さない。
【０１００】
メモリ更新制御部１９は、可変長復号部１２から入力された符号化情報の内容に応じて、動き補償画像再生部１６の動作を制御する。なお、メモリ更新制御部１９の機能は、図１３に示す従来の画像処理装置のメモリ更新制御部１１９の機能と同様である。
【０１０１】
表示制御部１７とメモリ更新制御部１９とは、互いに独立して動作するので、第１の実施の形態において説明した効果に加えて、ビデオ復号部１とメモリ２との間の不要なメモリ転送が省略され、その結果、限られたメモリバンド幅を有効利用することができるとともに、メモリ転送に必要な消費電力を削減することが可能となった。
【０１０２】
（第３の実施の形態）
本発明の第３の実施の形態における画像処理装置においては、ブロック変化量テーブル５２に格納されるブロック変化量の形式として、図３（ｂ）に示す動きベクトルゼロ・差分係数ゼロ・フラグが用いられる。なお、本実施の形態における画像処理装置の概略構成は、図１に示す第１の実施の形態における画像処理装置または図６に示す第２の実施の形態における画像処理装置の概略構成と同様である。
【０１０３】
図７は、本発明の第３の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。まず、可変長復号部１２は、バッファ制御部１１からフレームのビットストリームを受けると、１つのブロックを復号する（Ｓ３１）。次に、ブロック変化量テーブル更新部５１は、ブロックの復号の過程で得られた符号化情報（少なくとも、スキップドＭＢ信号、動きベクトル、ノットコーデッドブロック信号）を受け、ブロック変化量テーブル５２内の当該ブロックについての要素を更新する（Ｓ３２）。動きベクトルゼロでかつ差分係数ゼロの場合には、動きベクトルゼロ・差分係数ゼロ・フラグとして「変化なし」が設定され、それ以外の場合には、動きベクトルゼロ・差分係数ゼロ・フラグとして「変化あり」が設定される。
【０１０４】
なお、動きベクトルゼロでかつ差分係数ゼロであることは、そのブロックがスキップドＭＢであることから判断でき、また、動きベクトルゼロでかつノットコーデッドブロックであることからも判断できる。
【０１０５】
次に、可変長復号部１２は、１フレームの全てのブロックの処理が終了したか否かを判定する（Ｓ３３）。１フレームの全てのブロックを処理していなければ（Ｓ３３，Ｎｏ）、ステップＳ３１に戻って次のブロックの処理を行なう。また、１フレームの全てのブロックを処理した場合には（Ｓ３３，Ｙｅｓ）、処理を終了する。
【０１０６】
図８は、本発明の第３の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。まず、表示更新要否判定部５３は、ブロック変化量テーブル５２内の１つのブロックについての要素を参照し、当該ブロックが「変化あり」か「変化なし」かを判定する（Ｓ４１）。
【０１０７】
「変化あり」と判定された場合には（Ｓ４１，Ｙｅｓ）、表示データ更新部５４は、第１の予測フレームメモリ２２（第２の予測フレームメモリ２３）に蓄積されている当該ブロックについての復号画像を第１のメモリ制御部１８経由で読出し、第２のメモリ制御部３０を介して表示用フレームメモリ４０の該当箇所の内容を更新して、当該ブロックについての処理を終了する（Ｓ４２）。
【０１０８】
また、「変化無し」と判定された場合には（Ｓ４１，Ｎｏ）、そのまま当該ブロックについての処理を終了し、ステップＳ４３に処理が進む。
【０１０９】
１つのブロックについての処理が終了すると、１フレームの全てのブロックの処理が終了したか否かが判定される（Ｓ４３）。全てのブロックを処理していなければ（Ｓ４３，Ｎｏ）、ステップＳ４１に戻って次のブロックの処理を行なう。また、全てのブロックを処理した場合には（Ｓ４３，Ｙｅｓ）、処理を終了する。
【０１１０】
以上説明したように、本実施の形態における画像処理装置においては、直前に復号され、表示されたフレームから内容が「変化なし」のブロックについては、表示を更新しないようにしたので、不要なメモリ転送が削減でき、無駄な電力の消費を削減することが可能となった。
【０１１１】
（第４の実施の形態）
本発明の第４の実施の形態における画像処理装置においては、ブロック変化量テーブル５２に格納されるブロック変化量の形式として、図３（ｃ）に示す累積ブロック符号量が用いられる。なお、本実施の形態における画像処理装置の概略構成は、図１に示す第１の実施の形態における画像処理装置または図６に示す第２の実施の形態における画像処理装置の概略構成と同様である。
【０１１２】
図９は、本発明の第４の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。まず、可変長復号部１２は、バッファ制御部１１からフレームのビットストリームを受けると、１つのブロックを復号する（Ｓ５１）。次に、ブロック変化量テーブル更新部５１は、ブロックの復号の過程で得られた符号化情報（少なくとも、ブロックの属するＭＢの種別、ブロックの符号量）を受け、ブロック変化量テーブル５２内の当該ブロックについての要素を以下のように更新する。このとき、ブロックの種別がＩ−ＭＢであるか、Ｐ−ＭＢであるかを判定する（Ｓ５２）。
【０１１３】
ブロックがＩ−ＭＢに属する場合には（Ｓ５２，Ｉ−ＭＢ）、当該ブロックについての累積ブロック符号量の値を所定の閾値Ｔｓ以上に設定し（Ｓ５３）、ステップＳ５５に処理が進む。
【０１１４】
また、ブロックがＰ−ＭＢに属する場合には（Ｓ５２，Ｐ−ＭＢ）、当該ブロックの符号量をそのブロックについての累積ブロック符号量に加算し（Ｓ５４）、ステップＳ５５に処理が進む。
【０１１５】
ステップＳ５５において、１フレームの全てのブロックの処理が終了したか否かが判定される。１フレームの全てのブロックを処理していなければ（Ｓ５５，Ｎｏ）、ステップＳ５１に戻って次のブロックの処理を行う。また、１フレームの全てのブロックを処理した場合には（Ｓ５５，Ｙｅｓ）、処理を終了する。
【０１１６】
図１０は、本発明の第４の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。まず、表示更新要否判定部５３は、ブロック変化量テーブル５２内の１つのブロックについての要素を参照し、当該ブロックについて前回の表示更新からの累積ブロック符号量が所定の閾値Ｔｓ以上であるか否かを判定する（Ｓ６１）。
【０１１７】
閾値Ｔｓ以上と判定された場合には（Ｓ６１，Ｙｅｓ）、表示データ更新部５４は、第１の予測フレームメモリ２２（第２の予測フレームメモリ２３）に蓄積されている当該ブロックについての復号画像を第１のメモリ制御部１８経由で読出し、第２のメモリ制御部３０を介して表示用フレームメモリ４０の該当箇所の内容を更新する（Ｓ６２）。そして、当該ブロックについての累積ブロック符号量をゼロクリアし（Ｓ６３）、そのブロックについての処理を終了する。
【０１１８】
また、閾値Ｔｓ未満と判定された場合には（Ｓ６１，Ｎｏ）、そのまま当該ブロックについての処理を終了し、ステップＳ６４へ進む。
【０１１９】
１つのブロックについての処理が終了すると、１フレームの全てのブロックの処理が終了したか否かが判定される（Ｓ６４）。全てのブロックを処理していなければ（Ｓ６４，Ｎｏ）、ステップＳ６１に戻って次のブロックの処理を行う。また、全てのブロックを処理した場合には（Ｓ６４，Ｙｅｓ）、処理を終了する。
【０１２０】
Ｉ−ＭＢについては、符号量の大小と、直前フレームからの内容の変化の大小とには相関が全くない。すなわち、符号量が小さくても、前フレームからの変化が小さいとは限らないため、表示更新を省略すると、再生映像における主観画質の劣化が起こり得る。したがって、Ｉ−ＭＢに属するブロックの復号時には、そのブロックについての累積ブロック符号量を実際の符号量に関わらず閾値Ｔｓ以上とすることで、必ず表示更新が行われるようにしている。
【０１２１】
一方、Ｐ−ＭＢについては、符号量が小さいほど、直前フレームからの内容の変化は小さく、符号量が大きいほど、直前フレームからの内容の変化が大きいという関係にある。たとえば、直前フレームからの変化が全くないスキップドＭＢの場合には、ＭＢあたりの符号量はせいぜい１ビットである。したがって、符号量が小さいブロックの表示更新を省略しても、直ちに主観画質の劣化は起こらない。
【０１２２】
しかしながら、たとえば、数十フレームに亘りわずかな変化が継続して発生するような場合は、各フレーム間におけるブロックの内容の変化は微々たるものであっても、数十フレームの最初のフレームと最後のフレームとには大きな差が発生する可能性がある。したがって、単に直前フレームからの発生符号量が閾値Ｔｓ以上のブロックのみを表示更新するのではなく、前回の表示更新からの累積ブロック符号量が閾値Ｔｓ以上のブロックを表示する。なお、閾値Ｔｓの値は、どのような映像を再生した場合であっても、主観画質の劣化が起きない範囲内で、できるだけ大きな値を設定することが望ましい。
【０１２３】
以上説明したように、本発明の第４の実施の形態における画像処理装置によれば、前回表示更新されてからの累積ブロック符号量が所定の閾値Ｔｓ未満であるブロックについては表示を更新しないことにより、変化が全くないブロックはもちろん、変化がわずかなブロックについても表示更新を省略することができ、本発明の第３の実施の形態における画像処理装置と比較して、不要なメモリ転送をさらに削減できるとともに、無駄な電力の消費をさらに削減することが可能となった。
【０１２４】
（第５の実施の形態）
本発明の第５の実施の形態における画像処理装置においては、ブロック変化量テーブル５２に格納されるブロック変化量の形式として、図３（ｄ）に示す動きベクトルゼロ・フラグおよび累積スケールド差分係数符号量が用いられる。なお、本実施の形態における画像処理装置の概略構成は、図１に示す第１の実施の形態における画像処理装置または図６に示す第２の実施の形態における画像処理装置の概略構成と同様である。
【０１２５】
図１１は、本発明の第５の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。まず、可変長復号部１２は、バッファ制御部１１からフレームのビットストリームを受けると、１つのブロックを復号する（Ｓ７１）。次に、ブロック変化量テーブル更新部５１は、ブロックの復号の過程で得られた符号化情報（少なくとも、ブロックの属するＭＢの種別、動きベクトル、差分係数の符号量、量子化パラメータ値）を受け、ブロック変化量テーブル５２内の当該ブロックについての要素を以下のように更新する。このとき、ブロックの種別がＩ−ＭＢであるか、Ｐ−ＭＢであるかを判定する（Ｓ７２）。
【０１２６】
ブロックがＩ−ＭＢに属する場合には（Ｓ７２，Ｉ−ＭＢ）、当該ブロックについての動きベクトルゼロ・フラグをゼロでない（動きベクトル非ゼロ）に設定し（Ｓ７３）、ステップＳ７６に処理が進む。
【０１２７】
また、当該ブロックがＰ−ＭＢに属する場合には（Ｓ７２，Ｐ−ＭＢ）、当該ブロックについて動きベクトルがゼロであるか否かをそのブロックについての動きベクトルゼロ・フラグに設定する（Ｓ７４）。そして、（ブロックの差分係数の符号量）×（ブロックについての量子化パラメータ値）をそのブロックについての累積スケールド差分係数符号量に加算し（Ｓ７５）、ステップＳ７６に処理が進む。
【０１２８】
次に、１フレームの全てのブロックの処理が終了したか否かが判定される（Ｓ７６）。１フレームの全てのブロックを処理していなければ（Ｓ７６，Ｎｏ）、ステップＳ７１に戻って次のブロックの処理を行う。また、１フレームの全てのブロックを処理した場合には（Ｓ７６，Ｙｅｓ）、処理を終了する。
【０１２９】
図１２は、本発明の第５の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。まず、表示更新要否判定部５３は、ブロック変化量テーブル５２内の１つのブロックについての要素を参照し、当該ブロックについての動きベクトルゼロ・フラグがゼロでない（非ゼロ）か、または当該ブロックについての累積スケールド差分係数符号量が所定の閾値Ｔｄ以上であるかを判定する（Ｓ８１）。
【０１３０】
当該ブロックについての動きベクトルゼロ・フラグが非ゼロであるか、または当該ブロックについての累積スケールド差分係数符号量が所定の閾値Ｔｄ以上であれば（Ｓ８１，Ｙｅｓ）、表示データ更新部５４は、第１の予測フレームメモリ２２（第２の予測フレームメモリ２３）に蓄積されている当該ブロックについての復号画像を第１のメモリ制御部１８経由で読出し、第２のメモリ制御部３０を介して表示用フレームメモリ４０の該当箇所の内容を更新する（Ｓ８２）。そして、当該ブロックについての累積スケールド差分係数符号量をゼロクリアし（Ｓ８３）、そのブロックについての処理を終了する。
【０１３１】
また、当該ブロックについての動きベクトルゼロ・フラグがゼロであり、かつ当該ブロックについての累積スケールド差分係数符号量が所定の閾値Ｔｄ未満であれば（Ｓ８１，Ｎｏ）、そのまま当該ブロックについての処理を終了する。
【０１３２】
１つのブロックについての処理が終了すると、１フレームの全てのブロックの処理が終了したか否かが判定される（Ｓ８４）。全てのブロックを処理していなければ（Ｓ８４，Ｎｏ）、ステップＳ８１に戻って次のブロックの処理を行う。また、全てのブロックを処理した場合には（Ｓ８４，Ｙｅｓ）、処理を終了する。
【０１３３】
Ｉ−ＭＢについては、符号量の大小と、前フレームからの内容の変化の大小には相関が全くない。すなわち、符号量が小さくても、前フレームからの変化が小さいとは限らないため、表示更新を省略すると再生映像における主観画質の劣化が起こり得る。したがって、Ｉ−ＭＢに属するブロックの復号時に、当該ブロックについての動きベクトルゼロ・フラグを非ゼロに設定することで、必ず表示更新が行われるようにしている。なお、動きベクトルゼロ・フラグを非ゼロに設定する代わりに、累積スケールド差分係数符号量を閾値Ｔｄ以上に設定するようにして、必ず表示更新を行なうようにしてもよい。
【０１３４】
一方、Ｐ−ＭＢについては、符号量が小さいほど、直前フレームからの内容の変化は小さく、符号量が大きいほど、直前フレームからの内容の変化が大きいという関係にある。ここで、符号量において最も支配的なのは、動きベクトルの符号量と差分係数の符号量の２種類である。
【０１３５】
しかしながら、たとえば非特許文献１に記載の符号化方式を使用する場合、動きベクトルは、そのものの値を符号化しているのではなく、周辺ＭＢの動きベクトルの差分のみを符号化しているため、動きベクトルの符号量が小さいからといって、直前のフレームからの変化量が小さいという訳ではない。したがって、動きベクトルについては、その符号量ではなく、可変長復号の結果としての動きベクトルの値そのものの大小によって直前のフレームからの変化の大小を測ることが望ましい。
【０１３６】
また、差分係数の符号量は、ブロックの内容の変化の大小だけではなく、差分係数導出の際の量子化パラメータ値の大小にも依存する。たとえば、非特許文献１に記載の符号化方式においては、ブロックの内容の変化が同じ場合は、量子化パラメータ値に関わらず、（差分係数の符号量）×（量子化パラメータ値）が概ね一定になる。このことは、（差分係数の符号量）そのものの大小よりも、（差分係数の符号量）×（量子化パラメータ値）の大小の方が、よりブロックの内容の変化の大小と強い相関があることを意味する。
【０１３７】
したがって、本発明の第４の実施の形態において説明したように、単純にブロック全ての符号量の累積値の大小で表示の更新／非更新を決定するよりも、動きベクトルがゼロであるか否かと、累積スケールド差分係数符号量の累積値の大小とで表示の更新／非更新を決定するほうが、より正確に視覚上の変化の大きいブロックの表示だけを更新することができる。なお、閾値Ｔｄの値は、本発明の第４の実施の形態における閾値Ｔｓの値と同様の手法で設定することが望ましい。
【０１３８】
以上の説明においては、（差分係数の符号量）×（量子化パラメータ値）を累積スケールド差分係数符号量とする場合について説明したが、たとえば、非特許文献２に記載の符号化方式においては、ブロックの内容の変化が同じ場合、（差分係数の符号量）×（２＾（量子化パラメータ値÷６））の値が概ね一定となるため、この乗算値を累積スケールド差分係数符号量に設定する方がよい。このように、利用する符号化方式に応じて、適切に累積スケールド差分係数符号量を導出することが好ましい。
【０１３９】
以上説明したように、本発明の第５の実施の形態における画像処理装置によれば、動きベクトルがゼロであるブロック、かつ、前回表示更新されてからの累積スケールド差分係数符号量が所定の閾値Ｔｄ未満であるブロックについては表示を更新しないことにより、本発明の第４の実施の形態における画像処理装置と比較して、さらに正確に前回の表示更新から変化の少ないブロックを検出し、表示更新を省略することが可能となった。
【０１４０】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１４１】
【図１】本発明の第１の実施の形態における画像処理装置の概略構成を示すブロック図である。
【図２】図１に示す画像処理装置の表示制御部１７の詳細な構成を示すブロック図である。
【図３】ブロック変化量テーブル５２に格納される内容を説明するための図である。
【図４】本発明の第１の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。
【図５】本発明の第１の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。
【図６】本発明の第２の実施の形態における画像処理装置の概略構成を示すブロック図である。
【図７】本発明の第３の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。
【図８】本発明の第３の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。
【図９】本発明の第４の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。
【図１０】本発明の第４の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。
【図１１】本発明の第５の実施の形態における画像処理装置が、１フレーム分のビットストリームを復号する際の処理手順を説明するためのフローチャートである。
【図１２】本発明の第５の実施の形態における画像処理装置が、１フレーム分の表示を更新する場合の処理手順を説明するためのフローチャートである。
【図１３】特許文献１に記載の画像処理装置の概略構成を示すブロック図である。
【図１４】表示用フレームメモリを設けた場合の画像処理装置の概略構成を示すブロック図である。
【符号の説明】
【０１４２】
１，１００  ビデオ復号器、２，２００  メモリ、１１，１１１  バッファ制御部、１２，１１２  可変長復号部、１３，１１３  スキャン変換部、１４，１１４  逆量子化部、１５，１１５  逆ＤＣＴ部、１６，１１６  動き補償画像再生部、１７，１１７  表示制御部、１８，１１８  第１のメモリ制御部、１９，１１９  メモリ更新制御部、２１，２２１  バッファメモリ、２２，２２２  第１の予測フレームメモリ、２３，２２３  第２の予測フレームメモリ、３０，３００  第２のメモリ制御部、４０，４００  表示用フレームメモリ、５１  ブロック変化量テーブル更新部、５２  ブロック変化量テーブル、５３  表示更新要否判定部、５４  表示データ更新部。
【図１】
2007067526.tif 000003
【図２】
2007067526.tif 000004
【図３】
2007067526.tif 000005
【図４】
2007067526.tif 000006
【図５】
2007067526.tif 000007
【図６】
2007067526.tif 000008
【図７】
2007067526.tif 000009
【図８】
2007067526.tif 000010
【図９】
2007067526.tif 000011
【図１０】
2007067526.tif 000012
【図１１】
2007067526.tif 000013
【図１２】
2007067526.tif 000014
【図１３】
2007067526.tif 000015
【図１４】
2007067526.tif 000016