(57)【要約】      （修正有）【課題】参照ピクチャをフィールド構造で記憶させる構成を採用しつつ、参照ブロック形成のための画像データの読み出し及び転送動作が一回で足りる構成の画像復号装置及び復号方法を提供する。【解決手段】過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、上記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造でフレームメモリに記憶させ、上記フレームメモリの上記トップ領域及び上記ボトム領域における上記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、上記参照ピクチャの上端のトップライン又はボトムラインを、上記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、上記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させるものである。【選択図】図１
2008078871.tif 000002
【特許請求の範囲】
【請求項１】
過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、前記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造で記憶させ得るフレームメモリと、
前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、前記参照ピクチャの上端のトップライン又はボトムラインを、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、前記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる参照ピクチャ再構成装置と、
前記参照ピクチャの前記トップライン及び前記ボトムライン並びにコピーされた前記トップライン及び前記ボトムラインの画像データのうち、現在復号中のピクチャと前記参照ピクチャとの位置関係を示す動きベクトル情報に対応して画定される前記参照ブロックの矩形領域に含まれる画像データを読み出して転送する読み出し／転送装置と、
転送されてきた前記画像データを用い、かつ、当該画像データのみでは前記参照ブロックの矩形領域の全部を形成できない場合には当該画像データの一部をコピー又はアドレス変換して用い、前記参照ブロックを形成する参照ブロック形成装置と、
を備えていることを特徴とする画像復号装置。
【請求項２】
前記参照ピクチャの前記ボトムラインのみによって前記参照ブロックを形成する場合、前記参照ピクチャ再構成装置は、前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、前記参照ピクチャの上端のトップライン及びボトムラインをそれぞれコピーして記憶させ、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、前記参照ピクチャの下端のトップライン及びボトムラインをそれぞれコピーして記憶させることを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記参照ブロックの矩形領域が前記参照ピクチャの上端のトップライン及びボトムラインより上にはみ出すものであり、かつ、前記参照ブロックの矩形領域のうち、前記参照ピクチャの領域内では前記ボトムラインによって、前記参照ピクチャの領域外では前記トップラインによって、前記参照ブロックを形成する場合、又は、前記参照ブロックの矩形領域が前記参照ピクチャの下端のトップライン及びボトムラインより下にはみ出すものであり、かつ、前記参照ブロックの矩形領域のうち、前記参照ピクチャの領域内では前記トップラインによって、前記参照ピクチャの領域外では前記ボトムラインによって、前記参照ブロックを形成する場合、前記参照ピクチャ再構成装置は、前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、前記参照ピクチャの上端のトップラインをそれぞれコピーして記憶させ、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、前記参照ピクチャの下端のボトムラインをそれぞれコピーして記憶させることを特徴とする請求項１に記載の画像復号装置。
【請求項４】
過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、前記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造でフレームメモリに記憶させる過程と、
前記フレームメモリの前記トップ領域及び前記ボトム領域における前記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、前記参照ピクチャの上端のトップライン又はボトムラインを、前記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、前記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる過程と、
を備えていることを特徴とする画像復号方法。
【請求項５】
前記参照ピクチャの前記トップライン及び前記ボトムライン並びにコピーされた前記トップライン及び前記ボトムラインの画像データのうち、現在復号中のピクチャと前記参照ピクチャとの位置関係を示す動きベクトル情報に対応して画定される前記参照ブロックの矩形領域に含まれる画像データを読み出して転送する過程と、
転送されてきた前記画像データを用い、かつ、当該画像データのみでは前記参照ブロックの矩形領域の全部を形成できない場合には当該画像データの一部をコピー又はアドレス変換して用い、前記参照ブロックを形成する過程と、
をさらに備えていることを特徴とする請求項４に記載の画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置及び画像復号方法に関する。
【背景技術】
【０００２】
画像復号過程においては、過去に復号した画像の一部を参照ブロックとして用いて予測画像データを生成し、現在復号中のピクチャで用いることがある。
【０００３】
過去に復号された画像であって、参照されることとなる参照ピクチャは、ＳＤＲＡＭ等の記憶装置上の所定記憶領域であるフレームメモリに記憶される。参照ブロックは、このフレームメモリに記憶されている参照ピクチャの一部である。
【０００４】
この参照ブロックは、現在復号中のピクチャと参照ピクチャとの位置関係を示す動きベクトル情報を用いて参照ピクチャ内に画定されて読み出される。しかし、場合によっては、参照ブロックの一部又は全部が、本来の参照ピクチャ領域からはみ出した領域であることがある。
【０００５】
そのような場合、パディング（ｐａｄｄｉｎｇ）という手法を用いて画像データを補填した後、通常の補間動作を行って、参照ブロックを形成する。
【０００６】
パディングとは、参照ピクチャの上端ライン、下端ライン、右端ライン、左端ラインをそれぞれコピーして参照ピクチャの周辺領域に付加していき、参照ブロックが含まれることとなる領域まで参照ピクチャを拡張し、参照ブロックを画定して読み出すことを可能とする手法である。
【０００７】
一方、現在復号中のマクロブロックの種類によっては、参照ブロックをトップラインのみ又はボトムラインのみによって構成しなくてはならない場合がある。
【０００８】
他方、フレームメモリにおいて参照ピクチャがフレーム構造で記憶されている場合、フレームメモリ上の参照ピクチャは、トップラインとボトムラインとが交互に配列された構造となっている。また、フレームメモリにおいて参照ピクチャがフィールド構造で記憶されている場合、フレームメモリ上の参照ピクチャは、トップ領域のトップライン（偶数ライン）とボトム領域のボトムライン（奇数ライン）とに分けられて配列された構造となっている。
【０００９】
従って、上述のように参照ブロックをトップラインのみ又はボトムラインのみによって構成する場合を想定すると、参照ピクチャをフィールド構造の画像としてフレームメモリ上に記憶させておけば、トップ領域又はボトム領域のいずれか一方のみの画像データを過不足なく読み出すことができるため、読み出しデータ量の削減を図る上で有効である。
【００１０】
尚、動きベクトルが参照ピクチャの有効画素領域外を指し示す場合でも予測画像データを短時間で生成し得るデータ処理装置がこれまでに提案され、公知となっているが（例えば、特許文献１参照）、そのデータ処理装置の構成は、参照ピクチャがフレーム構造で記憶されていることを前提とするものである。
【００１１】
ところで、参照ピクチャとして用いるピクチャは、ピクチャ単位でパディングの方法が異なることがある。つまり、ピクチャのパディングの方法には、大別して二つの方法がある。第一の方法は、ピクチャの上端の１ライン、下端の１ラインのみをそれぞれピクチャの上方、下方にパディングしていく方法（以下、ここでは「１ラインパディング法」という。）である。第二の方法は、ピクチャの上端から２ライン（トップ上端ライン、ボトム上端ライン）をピクチャの上方に交互にパディングすると共に、ピクチャの下端から２ライン（トップ下端ライン、ボトム下端ライン）をピクチャの下方に交互にパディングしていく方法（以下、ここでは「２ラインパディング法」という。）である。
【００１２】
尚、トップ上端ラインとは、参照ピクチャのトップラインのうちの上端ライン、ボトム上端ラインとは、参照ピクチャのボトムラインのうちの上端ライン、トップ下端ラインとは、参照ピクチャのトップラインのうちの下端ライン、ボトム下端ラインとは、参照ピクチャのボトムラインのうちの下端ラインをいう。
【００１３】
前述のように、参照ピクチャをフィールド構造の画像としてフレームメモリ上に記憶させておくと、読み出しデータ量を削減できる場合があり、有利である。
【００１４】
しかし、その場合、従来の技術では、適用されるパディングの方法によっては、参照ピクチャがフレーム構造で記憶されている場合と同等の参照ブロックを形成することが不可能であったり、参照ピクチャがフレーム構造で記憶されている場合よりも時間を要したりすることがあるという問題があった。
【００１５】
この問題について、参照ピクチャがフレーム構造で記憶されている場合と参照ピクチャがフィールド構造で記憶されている場合とを対比して説明する。
【００１６】
参照ピクチャがフレーム構造で記憶されている場合において、２ラインパディング法が適用され、且つ、参照ピクチャのトップ上端ラインより上にはみ出している参照ブロックをボトムラインのみによって構成する場合を考える。
【００１７】
この場合、ボトムライン及びボトム上端ライン並びにコピーされたボトム上端ラインを必要な数だけ含む領域を、トップライン及びトップ上端ライン並びにコピーされたトップ上端ラインと共にフレームメモリから読み出して転送し、必要なボトムラインのみを選択的に用いる。これにより、ボトムラインのみによって構成される参照ブロックを形成することができる。
【００１８】
尚、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合を、以後、場合［Ｘ］とする。
【００１９】
次に、参照ピクチャがフレーム構造で記憶されている場合において、１ラインパディング法が適用され、且つ、参照ピクチャのトップ上端ラインより上にはみ出している参照ブロックを、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって構成する場合を考える。
【００２０】
この場合、ボトムライン及びコピーされたトップ上端ラインを必要な数だけ含む領域を、トップライン及びトップ上端ラインと共にフレームメモリから読み出して転送し、必要なボトムライン及びコピーされたトップ上端ラインのみを選択的に用いる。これにより、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって構成される参照ブロックを形成することができる。
【００２１】
尚、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合を、以後、場合［Ｙ］とする。
【００２２】
今度は、参照ピクチャがフィールド構造で記憶されている場合を対比させて考察する。
【００２３】
先ず、参照ピクチャがフィールド構造で記憶されている場合において、ボトムラインのみによって参照ブロックを構成する場合を考える。これは、上記場合［Ｘ］に相当する場合である。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、２ラインパディング法が適用され、且つ、ボトムラインのみによって参照ブロックを構成する場合に相当する。
【００２４】
参照ピクチャがフィールド構造で記憶されている場合、基本的には参照ピクチャの領域内の画像データを用いるものとする。
【００２５】
従って、ボトムラインのみによって参照ブロックを構成する場合、参照ピクチャの領域内のボトム上端ライン及びボトムラインを含む領域をフレームメモリから読み出して転送して用いる。参照ピクチャの領域外の部分については、読み出して転送したボトム上端ラインのコピー又はアドレス変換により画像データを補填して用いる。これにより、ボトムラインのみによって構成される参照ブロックを形成することができる。
【００２６】
従って、この場合には、参照ピクチャがフィールド構造で記憶されていても、特に問題は発生しないが、次に説明する以下の場合に問題が発生する。
【００２７】
その場合とは、参照ピクチャがフィールド構造で記憶されている場合において、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合である。これは、上記場合［Ｙ］に相当する場合である。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、１ラインパディング法が適用され、且つ、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合に相当する。
【００２８】
この場合も、参照ピクチャの領域内のボトム上端ライン及びボトムラインを含む領域をフレームメモリから読み出して転送して用いる。
【００２９】
しかし、参照ピクチャの領域外の部分については、上記読み出し領域と一体的に画像データの読み出し及び転送を行おうとしても、そこには必要なトップ上端ラインの画像データが存在しないので、画像データの読み出し及び転送を行うことはできない。
【００３０】
従って、一回の読み出し及び転送動作によって取得される画像データのみによって参照ブロックを形成することは不可能である。
【００３１】
一方、画像データの読み出し及び転送動作を一回のみに限定せず、参照ピクチャの領域外の部分にコピーするためのトップ上端ラインをボトムライン記憶領域とは区分されたトップライン記憶領域から読み出して転送すれば、そのトップ上端ラインをコピーすることにより、参照ブロックを形成することができる。
【００３２】
しかし、上記形成方法では、参照ブロックを形成するための画像データの読み出し及び転送動作が二回必要となって処理工程が増加し、トップ上端ラインを転送するための転送オーバーヘッドが発生する。画像データの読み出し及び転送動作のためのサイクル数が増大するので、消費電力も増大する。
【００３３】
以上のように、参照ピクチャをフィールド構造で記憶させておいて参照ブロックを形成する方法では、画像データの読み出し及び転送時、並びに、参照ブロック形成時に、ピクチャの種類に応じて処理を変更しなければならなくなる。従って、画像データの復号過程における処理数を増加させ、処理数の増加は、データ転送／書き込み回路、予測画像データ生成回路等の処理回路のゲート規模の増大、消費電力の増大に繋がる。
【００３４】
また、画像データの読み出し及び転送動作が二回必要となる参照ブロックの形成が頻繁に発生した場合、要求される復号時間に間に合わなくなることもあり得る。
【特許文献１】特開２００５−２２３６３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００３５】
従って、本発明の目的は、参照ブロック形成の際の読み出しデータ量を削減すべく参照ピクチャをフィールド構造で記憶させる構成を採用しつつ、参照ブロック形成のための画像データの読み出し及び転送動作がピクチャの種類に拘わらず一回で足りる構成の画像復号装置及び復号方法を提供することである。
【課題を解決するための手段】
【００３６】
本発明の一態様に係る画像復号装置によれば、過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、上記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造で記憶させ得るフレームメモリと、上記フレームメモリの上記トップ領域及び上記ボトム領域における上記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、上記参照ピクチャの上端のトップライン又はボトムラインを、上記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、上記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる参照ピクチャ再構成装置と、上記参照ピクチャの上記トップライン及び上記ボトムライン並びにコピーされた上記トップライン及び上記ボトムラインの画像データのうち、現在復号中のピクチャと上記参照ピクチャとの位置関係を示す動きベクトル情報に対応して画定される上記参照ブロックの矩形領域に含まれる画像データを読み出して転送する読み出し／転送装置と、転送されてきた上記画像データを用い、かつ、当該画像データのみでは上記参照ブロックの矩形領域の全部を形成できない場合には当該画像データの一部をコピー又はアドレス変換して用い、上記参照ブロックを形成する参照ブロック形成装置と、を備えている画像復号装置が提供される。
【００３７】
本発明の一態様に係る画像復号方法によれば、過去に復号した画像の一部を参照ブロックとして現在復号中のピクチャで用いるべく、過去に復号した画像を参照ピクチャとし、上記参照ピクチャのトップラインとボトムラインとをトップ領域とボトム領域とに区分してフィールド構造でフレームメモリに記憶させる過程と、上記フレームメモリの上記トップ領域及び上記ボトム領域における上記参照ピクチャの上端のトップライン及びボトムラインのさらに上の領域に、上記参照ピクチャの上端のトップライン又はボトムラインを、上記参照ピクチャの下端のトップライン及びボトムラインのさらに下の領域に、上記参照ピクチャの下端のトップライン又はボトムラインを、選択的にコピーして記憶させる過程と、を備えている画像復号方法が提供される。
【発明の効果】
【００３８】
本発明の一態様に係る画像復号装置及び画像復号方法は、参照ブロック形成の際の読み出しデータ量を削減すべく参照ピクチャをフィールド構造で記憶させる構成を採用しつつ、参照ブロック形成のための画像データの読み出し及び転送動作がピクチャの種類に拘わらず一回で足りるので、参照ブロック形成のための処理工程数及び処理時間並びに消費電力を抑制することができ、処理回路のゲート規模の増大を回避することもできる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明に係る画像復号装置及び画像復号方法の実施の形態について、図面を参照しながら説明する。
【００４０】
本発明の実施の一形態に係る画像復号装置及び画像復号方法は、参照ブロック形成のための参照ピクチャをフィールド構造で記憶させるフレームメモリのトップ領域及びボトム領域における参照ピクチャの上端ラインのさらに上、及び、下端ラインのさらに下に、参照ピクチャの種類に応じたパディング用ラインを記憶させる領域を設けた構成を採用している。
【００４１】
図１は、上述のようなフレームメモリの領域構成及び参照ブロックの形成を可能とする本発明の実施の一形態に係る画像復号装置の構成を示すブロック図である。
【００４２】
本発明の実施の一形態に係る画像復号装置は、復号された参照ピクチャ１１０１の画像データを記憶するフレームメモリ１４と、復号された参照ピクチャ１１０１の画像データを再構成してフレームメモリ１４に記憶させる参照ピクチャ再構成装置１１と、再構成された参照ピクチャ１１０１の画像データの参照ブロック対応領域を読み出して転送する読み出し／転送装置１２と、転送されてきた参照ブロック対応領域の画像データを用いて参照ブロック１２００を形成する参照ブロック形成装置１３と、を備えている。
【００４３】
この本発明の実施の一形態に係る画像復号装置の各構成部分が所定の機能を果たすことにより、上述のようなフレームメモリ１４の領域構成及び参照ブロック１２００の形成が可能となる。尚、参照ブロック１２００は、後述する参照ブロック１２０１及び１２０２を含むものとする。
【００４４】
以下、本発明の実施の一形態に係る画像復号装置の各構成部分の機能及び動作について、具体的に説明する。
【００４５】
図２は、本発明の実施の一形態に係る画像復号装置に備えられた参照ピクチャ再構成装置１１の動作手順を示すフローチャートである。
【００４６】
参照ピクチャ１１０１のパディングが開始されると（ステップＳ１０）、参照ピクチャ１１０１の端部におけるパディングは、場合［Ｘ］又は［Ｙ］のいずれの構成が適当であるかを識別する（ステップＳ１１）。
【００４７】
前述のように、場合［Ｘ］とは、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合であり、場合［Ｙ］とは、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合である。
【００４８】
参照ピクチャ１１０１の端部におけるパディングは場合［Ｘ］の構成が適当であると識別された場合は、コピー動作Ｂを実行する（ステップＳ１２）。また、参照ピクチャ１１０１の端部におけるパディングは場合［Ｙ］の構成が適当であると識別された場合は、コピー動作Ａを実行する（ステップＳ１３）。
【００４９】
ここで、コピー動作Ｂ及びＡにより構成されるフレームメモリの第一及び第二の領域構成例を具体的に示す。
【００５０】
図３Ａ及び図３Ｂは、本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一及び第二の領域構成例を模式的に示す説明図である。
【００５１】
参照ピクチャ１１０１の画像データは、図３Ａ及び図３Ｂに示すように、各トップラインと各ボトムラインとがトップ領域とボトム領域とに分けられて配列されたフィールド構造でフレームメモリ上に記憶されている。
【００５２】
図３Ａに示すフレームメモリの第一の領域構成例は、コピー動作Ｂに対応する領域構成例である。
【００５３】
上記ステップＳ１１において、参照ピクチャ１１０１の端部におけるパディングは場合［Ｘ］の構成が適当であると識別された場合は、コピー動作Ｂを実行する（ステップＳ１２）。即ち、参照ピクチャ１１０１をフィールド構造で記憶させたフレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の上端ラインのさらに上に、トップ上端ライン及びボトム上端ラインをコピーして領域外トップ上端ライン及び領域外ボトム上端ラインとして記憶させる。また、フレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の下端ラインのさらに下に、トップ下端ライン及びボトム下端ラインをコピーして領域外トップ下端ライン及び領域外ボトム下端ラインとして記憶させる。
【００５４】
以上のコピー動作Ｂにより参照ピクチャ１１０１の画像データを再構成し、フレームメモリ１４に記憶させる。
【００５５】
結果として得られる図３Ａに示すフレームメモリの第一の領域構成例では、フレームメモリ上に記憶された参照ピクチャ１１０１のトップ領域のトップ上端ライン１１０２の上方に隣接する領域に、トップ上端ラインをコピーした領域外トップ上端ライン１１０６が記憶されている。また、ボトム領域のボトム上端ライン１１０３の上方に隣接する領域に、ボトム上端ラインをコピーした領域外ボトム上端ライン１１０７が記憶されている。また、トップ領域のトップ下端ライン１１０４の下方に隣接する領域に、トップ下端ラインをコピーした領域外トップ下端ライン１１０８が記憶されている。また、ボトム領域のボトム下端ライン１１０５の下方に隣接する領域に、ボトム下端ラインをコピーした領域外ボトム下端ライン１１０９が記憶されている。
【００５６】
図３Ａに示すフレームメモリの第一の領域構成例は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合［Ｘ］に対応するものである。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、２ラインパディング法が適用され、且つ、ボトムラインのみによって参照ブロックを構成する場合に相当する。
【００５７】
一方、上記ステップＳ１１において、参照ピクチャ１１０１の端部におけるパディングは場合［Ｙ］の構成が適当であると識別された場合は、コピー動作Ａを実行する（ステップＳ１３）。即ち、参照ピクチャ１１０１をフィールド構造で記憶させたフレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の上端ラインのさらに上に、トップ上端ラインをそれぞれコピーして二つの領域外トップ上端ラインとして記憶させる。また、フレームメモリのトップ領域及びボトム領域における参照ピクチャ１１０１の下端ラインのさらに下に、ボトム下端ラインをそれぞれコピーして二つの領域外ボトム下端ラインとして記憶させる。
【００５８】
以上のコピー動作Ａにより参照ピクチャ１１０１の画像データを再構成し、フレームメモリ１４に記憶させる。
【００５９】
結果として得られる図３Ｂに示すフレームメモリの第二の領域構成例では、フレームメモリ上に記憶された参照ピクチャ１１０１のトップ領域のトップ上端ライン１１０２の上方に隣接する領域に、トップ上端ラインをコピーした領域外トップ上端ライン１１１０が記憶されている。また、ボトム領域のボトム上端ライン１１０３の上方に隣接する領域に、トップ上端ラインをコピーした領域外トップ上端ライン１１１１が記憶されている。また、トップ領域のトップ下端ライン１１０４の下方に隣接する領域に、ボトム下端ラインをコピーした領域外ボトム下端ライン１１１２が記憶されている。また、ボトム領域のボトム下端ライン１１０５の下方に隣接する領域に、ボトム下端ラインをコピーした領域外ボトム下端ライン１１１３が記憶されている。
【００６０】
図３Ｂに示すフレームメモリの第二の領域構成例は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合［Ｙ］に対応するものである。従って、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、１ラインパディング法が適用され、且つ、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合に相当する。
【００６１】
以上で、参照ピクチャ再構成装置１１の動作手順は終了し、その後の動作手順は、読み出し／転送装置１２が行う。
【００６２】
図４は、本発明の実施の一形態に係る画像復号装置に備えられた読み出し／転送装置１２の動作手順を示すフローチャートである。
【００６３】
参照ブロック１２００の画像データの転送が開始されると（ステップＳ２０）、参照ブロック１２００の画像データの転送にパディングが必要か否かを、現在復号中のピクチャと参照ピクチャとの位置関係を示す動きベクトル情報に対応した参照ブロック１２００の領域の位置により識別する（ステップＳ２１）。
【００６４】
参照ブロック１２００の画像データの転送にパディングが必要でない場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全に含まれる場合には、転送動作Ｂを実行する（ステップＳ２２）。即ち、再構成前の元の参照ピクチャ１１０１の領域内の画像データのみを、動きベクトル情報に対応した参照ブロック１２００の矩形領域から読み出して転送する。
【００６５】
一方、参照ブロック１２００の画像データの転送にパディングが必要である場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全には含まれず、再構成により元の参照ピクチャ１１０１の上端ラインのさらに上及び下端ラインのさらに下にコピーされた領域外ラインを含む場合には、転送動作Ａを実行する（ステップＳ２３）。即ち、元の参照ピクチャ１１０１の領域内の画像データと共に領域外ラインの画像データも、動きベクトル情報に対応した参照ブロック１２００の矩形領域から読み出して転送する。また、このとき、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域からどれだけはみ出ているかを示す数値情報も、画像データと共に転送する。
【００６６】
図５Ａは、本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。また、図５Ｂは、本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第二の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。図５Ａ及び図５Ｂは、それぞれ図３Ａ及び図３Ｂに対応している。尚、図５Ａ及び図５Ｂに示す参照ブロック１２０１及び１２０２の領域は、現在復号中のピクチャと参照ピクチャ１１０１との位置関係を示す動きベクトル情報に対応して画定される。
【００６７】
上記ステップＳ２１において、参照ブロック１２００の画像データの転送にパディングが必要であると識別された場合、フレームメモリの領域構成は、図３Ａ及び図５Ａに示す第一の領域構成例又は図３Ｂ及び図５Ｂに示す第二の領域構成例のいずれかになっているはずである。従って、フレームメモリの領域構成が第一の領域構成例であっても第二の領域構成例であっても、転送動作Ａを実行する（ステップＳ２３）。
【００６８】
フレームメモリの領域構成が第一の領域構成例であるときは、図５Ａに示すように、参照ピクチャ１１０１の領域内のボトム上端ライン１１０３及びボトムライン、並びに、ボトム上端ライン１１０３をコピーして記憶させておいた領域外ボトム上端ライン１１０７を含む領域をフレームメモリから読み出して転送して用いる。
【００６９】
フレームメモリの領域構成が第二の領域構成例であるときは、図５Ｂに示すように、参照ピクチャ１１０１の領域内のボトム上端ライン１１０３及びボトムライン、並びに、トップ上端ライン１１０２をコピーして記憶させておいた領域外トップ上端ライン１１１１を含む領域をフレームメモリから読み出して転送して用いる。
【００７０】
尚、フレームメモリからの読み出しが行われる領域は、フレームメモリの領域構成が第一の領域構成例であっても第二の領域構成例であっても、現在復号中のピクチャと参照ピクチャ１１０１との位置関係を示す動きベクトル情報に対応して画定される参照ブロック１２００に含まれることとなる領域である。
【００７１】
以上で、読み出し／転送装置１２の動作手順は終了し、その後の動作手順は、参照ブロック形成装置１３が行う。
【００７２】
図６は、本発明の実施の一形態に係る画像復号装置に備えられた参照ブロック形成装置１３の動作手順を示すフローチャートである。
【００７３】
参照ブロック１２００の形成が開始されると（ステップＳ３０）、参照ブロック１２００の形成にパディングが必要か否かを、現在復号中のピクチャと参照ピクチャとの位置関係を示す動きベクトル情報に対応した参照ブロック１２００の領域の位置により識別する（ステップＳ３１）。
【００７４】
参照ブロック１２００の形成にパディングが必要でない場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全に含まれる場合には、形成動作Ｂを実行する（ステップＳ３２）。即ち、転送されてきた再構成前の元の参照ピクチャ１１０１の領域内の画像データのみを用いて参照ブロック１２００を形成する。
【００７５】
一方、参照ブロック１２００の形成にパディングが必要である場合、即ち、動きベクトル情報に対応した参照ブロック１２００の領域が再構成前の元の参照ピクチャ１１０１の領域に完全には含まれず、再構成により元の参照ピクチャ１１０１の上端ラインのさらに上及び下端ラインのさらに下にコピーされた領域外ラインを含む場合には、形成動作Ａを実行する（ステップＳ３３）。即ち、元の参照ピクチャ１１０１の領域内の画像データと共に転送されてきた領域外ラインの画像データに対しコピー又はアドレス変換を行って、必要な量だけ画像データを補填して参照ブロック１２００を形成する。
【００７６】
上記ステップＳ３１において、参照ブロック１２００の形成にパディングが必要であると識別された場合、フレームメモリの領域構成は、図３Ａ及び図５Ａに示す第一の領域構成例又は図３Ｂ及び図５Ｂに示す第二の領域構成例のいずれかになっているはずである。従って、フレームメモリの領域構成が第一の領域構成例であっても第二の領域構成例であっても、形成動作Ａを実行する（ステップＳ３３）。
【００７７】
フレームメモリの領域構成が第一の領域構成例であるときは、図５Ａに示すように、参照ブロック１２０１の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外ボトム上端ライン１１０７と重なり合う部分については、転送されてきた領域外ボトム上端ライン１１０７の画像データを用いる。
【００７８】
また、参照ブロック１２０１の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外ボトム上端ライン１１０７の領域外でもある部分については、転送されてきた領域外ボトム上端ライン１１０７のコピー又はアドレス変換により画像データを補填して用いる。
【００７９】
これにより、ボトムラインのみによって構成される図５Ａの参照ブロック１２０１を形成することができる。
【００８０】
従って、図５Ａに示す参照ブロック１２０１の形成は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを構成する場合［Ｘ］に対応するものである。即ち、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、２ラインパディング法が適用され、且つ、ボトムラインのみによって参照ブロックを構成する場合に相当する。
【００８１】
尚、図５Ａの例は、参照ブロックが参照ピクチャの上端ラインより上にはみ出している場合の例であるが、参照ブロックが参照ピクチャの下端ラインより下にはみ出している場合においても、図３Ａに示すフレームメモリの第一の領域構成例の通りに各ラインのコピー及び記憶を予め行っておけば、全く同様の動作手順により参照ブロックを形成することができる。
【００８２】
フレームメモリの領域構成が第二の領域構成例であるときは、図５Ｂに示すように、参照ブロック１２０２の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外トップ上端ライン１１１１と重なり合う部分については、転送されてきた領域外トップ上端ライン１１１１の画像データを用いる。
【００８３】
また、参照ブロック１２０２の領域であって、参照ピクチャ１１０１の領域外の部分のうち、領域外トップ上端ライン１１１１の領域外でもある部分については、転送されてきた領域外トップ上端ライン１１１１のコピー又はアドレス変換により画像データを補填して用いる。
【００８４】
これにより、参照ピクチャ１１０１の領域内ではボトムラインによって、参照ピクチャ１１０１の領域外ではトップ上端ラインのコピーによって構成される参照ブロック１２０２を形成することができる。
【００８５】
従って、図５Ｂに示す参照ブロック１２０２の形成は、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを構成する場合［Ｙ］に対応するものである。即ち、参照ピクチャがフレーム構造で記憶されている場合に置き換えると、１ラインパディング法が適用され、且つ、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップラインによって、参照ブロックを構成する場合に相当する。
【００８６】
この場合［Ｙ］の参照ブロックの形成は、従来の技術では、参照ピクチャがフレーム構造で記憶されている場合と同等の参照ブロックを形成することが不可能であったり、参照ピクチャがフレーム構造で記憶されている場合よりも時間を要したりすることがあるという問題が発生する場合に相当する。
【００８７】
本発明の実施の一形態に係る画像復号装置及び画像復号方法においては、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって参照ブロックを形成する予定であることが識別された時点で、トップ領域及びボトム領域における参照ピクチャの上端ラインのさらに上に、トップ上端ラインをそれぞれコピーした二つの領域外トップ上端ラインを、トップ領域及びボトム領域における参照ピクチャの下端ラインのさらに下に、ボトム下端ラインをそれぞれコピーした二つの領域外ボトム下端ラインを記憶させておく。その結果、ボトム領域の画像データの矩形転送１回と、領域外トップ上端ラインのコピー又はアドレス変換とを行うだけで、場合［Ｙ］の参照ブロックの高速な形成を実現することができる。
【００８８】
尚、図５Ｂの例は、参照ブロックが参照ピクチャの上端ラインより上にはみ出している場合の例であるが、参照ブロックが参照ピクチャの下端ラインより下にはみ出している場合は、参照ピクチャの領域内ではトップラインによって、参照ピクチャの領域外ではボトム下端ラインのコピーによって参照ブロックを形成する場合［Ｙ’］に該当するので、図３Ｂに示すフレームメモリの第二の領域構成例の通りに各ラインのコピー及び記憶を予め行っておけば、全く同様の動作手順により参照ブロックを形成することができる。即ち、場合［Ｙ’］は、場合［Ｙ］と全く同様に対応することができる。
【００８９】
尚、参照ブロック１２０１及び１２０２の形成に際しては、通常の補間動作も行われる。
【００９０】
以上で、参照ブロック形成装置１３の動作手順は終了し、参照ブロック１２００（参照ブロック１２０１及び１２０２）の形成が完了する。
【００９１】
以上に説明したように、本発明の実施の一形態に係る画像復号装置及び画像復号方法は、参照ピクチャの上端ラインのさらに上、及び、下端ラインのさらに下に、参照ピクチャの種類に応じた適当なラインの画像データを選択して予めコピー及び記憶を行い、画像データの読み出し及び転送領域を矩形領域とすることにより、その後の画像データの読み出し及び転送動作と、画像データのコピー又はアドレス変換動作とを、参照ピクチャの種類に拘わらず画一化することができるので、参照ブロックの高速な形成を実現することができる。
【００９２】
即ち、本発明の実施の一形態に係る画像復号装置及び画像復号方法によれば、参照ブロック形成のための画像データの読み出し及び転送動作を１回のみとして、画像データの復号過程における処理数の増加を抑制することができ、要求される復号時間に間に合わなくなるような事態も回避することができ、消費電力の増大も抑制することができる。また、画像データの復号過程における処理数の増加が抑制されるので、処理回路のゲート規模の増大の回避にも繋がる。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施の一形態に係る画像復号装置の構成を示すブロック図である。
【図２】本発明の実施の一形態に係る画像復号装置に備えられた参照ピクチャ再構成装置１１の動作手順を示すフローチャートである。
【図３Ａ】本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一の領域構成例を模式的に示す説明図である。
【図３Ｂ】本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第二の領域構成例を模式的に示す説明図である。
【図４】本発明の実施の一形態に係る画像復号装置に備えられた読み出し／転送装置１２の動作手順を示すフローチャートである。
【図５Ａ】本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第一の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではボトム上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。
【図５Ｂ】本発明の実施の一形態に係る画像復号装置及び画像復号方法におけるフレームメモリの第二の領域構成例が選択された場合に、参照ピクチャの領域内ではボトムラインによって、参照ピクチャの領域外ではトップ上端ラインのコピーによって、参照ブロックを形成する様子を模式的に示す説明図である。
【図６】本発明の実施の一形態に係る画像復号装置に備えられた参照ブロック形成装置１３の動作手順を示すフローチャートである。
【符号の説明】
【００９４】
１１  参照ピクチャ再構成装置    １２  読み出し／転送装置    １３  参照ブロック形成装置    １４  フレームメモリ
【図１】
2008078871.tif 000003
【図２】
2008078871.tif 000004
【図３Ａ】
2008078871.tif 000005
【図３Ｂ】
2008078871.tif 000006
【図４】
2008078871.tif 000007
【図５Ａ】
2008078871.tif 000008
【図５Ｂ】
2008078871.tif 000009
【図６】
2008078871.tif 000010