(57)【要約】【課題】動画像復号器におけるデータ転送量を抑制する。【解決手段】動画像データを処理する少なくとも２つの第１の画像処理器と、第２の画像処理器とを備えた動画像処理装置であって、第１の画像処理器の出力した第１処理済み画像データを格納する少なくとも２つの第１のメモリと第２のメモリとを保持し、第１処理済み画像データをソースとする処理のうち、第１の画像処理器では第２のメモリから読み出しを行い、第２の画像処理器では、第１のメモリから読み出しを行い、第２のメモリは、第１のメモリより、メモリアクセス単位を小さくする。【選択図】図１
2009194405.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを処理する少なくとも２つの第１の画像処理器と、第２の画像処理器と
を備えた動画像処理装置であって、
前記第１の画像処理器の出力した第１処理済み画像データを格納する少なくとも２つの
第１の記憶手段と、第２の記憶手段とを保持し、
前記第１処理済み画像データをソースとする処理のうち、
前記第１の画像処理器では、前記第２の記憶手段から読み出しを行い、
前記第２の画像処理器では、前記第１の記憶手段から読み出しを行い、
前記第２の記憶手段は、前記第１の記憶手段より、アクセス単位が小さいことを
特徴とする動画像処理装置。
【請求項２】
前記第１の画像処理器は、動画像復号器であり、前記第１処理済み画像データは、復号画像であり、
前記第１処理済み画像データをソースとする処理は、動き補償処理であり、
前記第２の画像処理器は、表示用に画像データを読み出す処理であることを特徴とする
請求項１に記載の動画像処理装置。
【請求項３】
動画像復号器と、
第１の記憶手段と、
第２の記憶手段とを保持し、
第１の記憶手段には、前記動画像復号器による復号画像を全て格納し、
第２の記憶手段には、前記動画像復号器によって参照される可能性のある復号画像を格納し、
前記動画像復号器による動き補償処理は、第２の記憶手段より参照画像を読み出しを行い
前記第２の記憶手段は、前記第１の記憶手段より、アクセス単位が小さいことを
特徴とする動画像処理装置。
【請求項４】
前記第１の画像処理器は、ＭＰＥＧ２の動画像復号器であることを特徴とする
請求項１から３のいずれか一項に記載の動画像処理装置。
【請求項５】
前記第１の画像処理器は、ＭＰＥＧ４ＡＶＣの動画像復号器であることを特徴とする
請求項１から３のいずれか一項に記載の動画像処理装置。
【請求項６】
前記第２の記憶手段に格納された復号画像のうち、参照される可能性が０となった復号画像を上書きするように
動画像復号器を制御することを特徴とする
請求項２から５のいずれか一項に記載の動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮画像を復号つまり伸長する画像復号装置に関し、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に準拠した圧縮画像の復号に適した画像復号技術に関する。
【背景技術】
【０００２】
従来、動画像を伝送する際又は記録媒体に記録する際には、ＭＰＥＧ規格、例えばＭＰＥＧ２ビデオ規格（非特許文献１参照）やＭＰＥＧ４ＡＶＣ規格（非特許文献２参照）に従った圧縮を施す技術が知られており、また、これらの規格に従って圧縮された画像を復号する画像復号装置も知られている。
【０００３】
このような画像復号装置は、大容量のＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリに取り込んだ圧縮画像に係る可変長符号化されたストリームの復号を、そのストリームをメモリから読み出して可変長復号して動きベクトルやブロックデータ等をブロック毎に抽出し、メモリ内の、動きベクトルに応じて特定される参照画像を参照して（図７）、いわゆる動き補償の逆処理に相当する補償処理（以下、この処理を「動き補償処理」という。）を行い、動き補償処理の結果として得られる復号画像をメモリに記録するという手順で実行する。ここで、復号されメモリに格納された復号画像群は、後続の圧縮画像の復号の際に参照画像群として、またディスプレイなどへの表示用画像群として利用される。
【０００４】
この、動画像の復号処理では、メモリアクセスに高いデータ転送量が必要であることが一般的に知られている。
【０００５】
例として、図２に示されるようなＭＰＥＧ２動画像復号器の要求データ転送量を図１１に示す。ＭＰＥＧ２ＭＰ＠ＨＬの動画像復号器においてメモリアクセスを要求する処理は、（１）ビットストリームの読み出し・（２）動き補償のための参照画像読み出し・（３）復号画像の格納・（４）復号された表示画像読み出しの４種類である。
【０００６】
ビットストリームの最大ビットレートが２５Ｍｂｐｓ、参照画像の読み出しが１フレーム期間に最大４フィールド分、メモリへのアクセス単位が１６Ｂｙｔｅと仮定すると、それぞれのメモリアクセスに要するデータ転送量は、（１）ビットストリームの読み出しが約３ＭＢ／ｓｅｃ、（２）参照画像の読み出しが約５６７ＭＢ／ｓｅｃ、（３）復号画像の格納が毎秒約９０ＭＢ／ｓｅｃ、（４）画像表示のための復号画像読み出しが毎秒約９０ＭＢ／ｓｅｃとなり、最大７５０ＭＢ／ｓｅｃのデータ転送能力が必要となる。
【０００７】
この動画像復号器、画像表示器を含むシステムにて、高いデータ転送量を実現するためには、処理全体としてデータ転送量のピークを抑制する方法と、高いデータ転送量を有するメモリシステムを用いる方法があげられる。このうち、処理全体としてデータ転送量のピークを抑制する手法として、例えば特許文献１が提案されている。
【０００８】
特許文献１では、音声復号器と、動画像復号器と、画像表示器を備えた装置で、画像表示器のブランキング期間に、音声復号器のデータ転送量の大きな処理を行い、画像表示器のデータ転送期間に、音声復号器のデータ転送量の小さな処理を行うことにより、データ転送量のピークを抑制している（図１４）。
【非特許文献１】ＩＳＯ／ＩＥＣ  １３８１８−２  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ＭＰＥＧ−２  Ｖｉｄｅｏ
【非特許文献２】ＩＳＯ／ＩＥＣ  １４４９６−１０  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −  Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ−Ｖｉｓｕａｌ  Ｏｂｊｅｃｔｓ−Ｐａｒｔ １０：  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ
【特許文献１】特許第３５３２７９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一般に、動画像復号器では、復号する画像サイズに応じてデータ転送量が増加するため、復号対象画像のサイズをＨＤ(Ｈｉｇｈ  Ｄｅｎｓｉｔｙ)まで対象とするには、更なる対策が求められる。しかしながら、特許文献１では、高いデータ転送量を有するメモリシステムを用いる手法を開示していない。
【００１０】
メモリの転送能力は、メモリデバイスの動作周波数と、メモリアクセス単位に比例する。このため、高いデータ転送能力を有するメモリシステムを実現するには、ｉ）メモリアクセス単位を増やす方法と、ii）メモリデバイスの動作周波数を高める方法と、がある。
【００１１】
まず、ｉ）メモリアクセス単位を増やす方法を説明する。
【００１２】
例として、動画像復号器のアクセスするメモリを単純に、ｉ）メモリアクセス単位を１６Ｂｙｔｅから３２Ｂｙｔｅに増加した場合、データ転送能力が２倍となる。また、（１）ビットストリームの読み出し、（３）復号画像の格納、（４）画像表示のための復号画像読み出しのデータ転送量は、メモリアクセス単位が１６Ｂｙｔｅの場合と同じとなるため、（１）、（３）、（４）によるデータ転送量の増加に容易に対応できる。
【００１３】
しかしながら、（２）参照画像の読み出しが、約１１３５ＭＢ／ｓｅｃとなり、１６Ｂｙｔｅのメモリアクセス単位のときに比べ約５６７ＭＢ／ｓｅｃ増加してしまう。これは、（２）参照画像データの読み出しが、参照ブロック毎に異なったアドレスへのアクセスとなるため、メモリアクセス単位の増加に伴い、無効なデータの読み出し領域９７０が増加してしまうためである（図１０）。このため、ｉ）の方法において、無効なデータ転送量の増加に伴い、無駄に消費電力・発熱量の上昇を招いてしまう。
【００１４】
またもう一方の、ii）メモリデバイスの動作周波数を高めることも、消費電力・発熱量の上昇を招く。
【００１５】
単純に、メモリアクセス単位を１６Ｂｙｔｅから４Ｂｙｔｅに下げた場合、参照画像データの転送時の無効な転送が抑制され、（２）参照画像の読み出しのデータ転送量が２８０ＭＢ／ｓｅｃと、１６Ｂｙｔｅのメモリアクセス単位のときに比べ約２９０ＭＢ／ｓｅｃ抑制できる。しかし、メモリアクセス単位を小さくしたため、データ転送能力が１／４となり、このアクセス単位の小さなメモリで、動画像復号器全てのアクセスを実現するためには、ii）メモリデバイスの動作周波数を大幅に高めることが必要となり、消費電力・発熱量の上昇を招く。
【００１６】
本発明は、上記の問題を解決するため、動画像復号器のデータ転送を効率良く実現するメモリシステムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
動画像データを処理する少なくとも２つの第１の画像処理器と、第２の画像処理器とを備えた動画像処理装置であって、第１の画像処理器の出力した第１処理済み画像データを格納する少なくとも２つの第１のメモリと第２のメモリとを保持し、第１処理済み画像データをソースとする処理のうち、第１の画像処理器では第２のメモリから読み出しを行い、第２の画像処理器では、第１のメモリから読み出しを行い、第２のメモリは、第１のメモリより、メモリアクセス単位が小さいことを特徴とする動画像処理装置を提供する。
【００１８】
本発明によると、動画像処理装置は、動画像復号器と、画像表示器と、参照画像メモリと、共有メモリとを有し、動画像復号器による復号画像のうち、参照画像は、参照画像メモリと共有メモリに格納し、動画像復号器は、参照画像メモリより読み出し、画像表示器は共有メモリより読み出す。
【発明の効果】
【００１９】
本発明によると、メモリへの不連続なアクセスとなる（２）参照画像の読み出しは、メモリアクセス単位が小さいため、無効なデータ転送を抑制でき、総データ転送量を抑制することが可能となり、消費電力・発熱量を抑制できる。
【００２０】
また、メモリへの連続アクセスとなる、（１）ビットストリームの読み出し、（３）復号画像の格納、（４）画像表示のための復号画像読み出しは、メモリアクセス単位の大きなメモリへのアクセスとなる。これにより、メモリアクセス単位の小さなメモリには、（２）のアクセスのみとすることにより、ii）メモリデバイスの動作周波数の向上を最低限でとどめられるため、消費電力・発熱量を抑制できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を参照して説明する。
【００２２】
（実施の形態１）
ＭＰＥＧ２の復号装置にて説明する。図２は、従来の動画像復号装置である。図１は、本発明の実施の形態１における動画復号装置の構成図である。
【００２３】
なお、同じ構成のものは、同じ番号を振り、説明を省略する。違いは、参照画像メモリ３００の追加である。
【００２４】
図１中の画像復号部１００は、共有メモリ２００内のビットストリームを読み出して、画像の復号を行い、参照画像メモリ３００と、共有メモリ２００に復号画像を格納する。表示処理部４００は、共有メモリ２００中の復号画像の中から、表示に必要な順番に読み出し、モニタなどへの表示を行う。図１中のＶＬＤ処理部１５０は、ＤＭＡ１１０より読み出された、ビットストリームを可変長復号し、量子化・周波数変換されたブロックデータと、動きベクトルデータに変換する。
【００２５】
量子化・周波数変換されたブロックデータは、逆量子化・逆周波数変換処理部１６０に、動きベクトルデータはＤＭＡ１２０に転送する。逆量子化・逆周波数変換処理部１６０は、逆量子化と逆周波数の変換を行い、処理されたブロックデータを、ＭＣ処理部１８０もしくはＤＭＡ１３０に転送する。ＭＣ処理部１８０は、画面間予測されたブロックデータを対象とし、動きベクトルデータの示す参照画像のデータを、ＤＭＡ１２０を用いて、参照画像メモリ３００より読み出して動き補償処理を行い、復号されたブロックデータを出力する。ＤＭＡ１３０にて、復号された画像データを、共有メモリ２００に格納し、参照される可能性のある画像は、参照画像メモリ３００にも格納する。
【００２６】
次に処理フローを図３にて説明する。
【００２７】
なお、図４は、従来の動画像復号装置での処理フローである。
【００２８】
ＶＬＤ処理部１５０にて、処理５１０、５１５、５２０、５２５、５２８が行われる。処理５１０、５１５にて復号対象ブロックのピクチャタイプが判別される。処理５２０、５２５にて、画面内予測で復号可能か判断する。また、画面内予測で無い場合は、５２８にて、動きベクトルの本数の判別も行う。動きベクトルの本数に応じて、ＤＭＡ１２０での参照画像データの転送の処理も増やす。画面内予測を行うブロックであれば、逆量子化・逆周波数変換処理部１６０の処理の後、ＤＭＡ１３０に転送される。
【００２９】
一方、画面間予測の場合は、逆量子化・逆周波数変換処理部１６０の処理の後、処理５６５、５６８にてＭＣ処理部１８０で、動きベクトルの本数に応じた動き補償処理を行い、ＤＭＡ１３０に転送される。
【００３０】
処理５１１、５１８でのピクチャタイプの種別に応じて、Ｉピクチャ、Ｐピクチャの参照される可能性のある画像の場合は、ＤＭＡ１３０にて参照画像メモリ３００と共有メモリ２００に転送する。Ｂピクチャの場合は、ＤＭＡ１３０にて共有メモリ２００にのみ転送する。共有メモリ２００は、メモリアクセス単位が１６バイトとなり、参照画像メモリ３００はメモリアクセス単位が４バイトである。
【００３１】
従来の手法での参照画像の転送は、共有メモリ２００からとなり、余分な転送領域が多くなってしまい（図１０）、ＭＰＥＧ２  ＭＰ＠ＨＬの復号処理で必要となるデータ転送量は、図１２のように大きくなる。しかし、本手法では、参照画像の読み出しは、アクセス幅の小さな参照画像メモリ３００からの転送となり、余分な転送領域が小さくなっている（図９）。これにより、復号処理で必要となるデータ転送量は、図１２のように小さく抑えられる。
【００３２】
以上、参照される可能性のある画像は、全て参照画像メモリ３００にも配置したが、一部の参照画像を共有メモリ２００にのみ配置しても良い。その場合は、処理５１１、５１８にて、ＮＯを選択するようにすればよい。
【００３３】
また、共有メモリ２００のメモリアクセス単位を１６Ｂｙｔｅ、参照画像メモリ３００をメモリアクセス単位を４Ｂｙｔｅとしたが、メモリアクセス単位を変更しても良い。さらに、参照画像メモリ３００への復号画像の配置において、参照される可能性が０となった画像領域に上書きするように処理してもよい。
【００３４】
ＭＰＥＧ２では、参照される可能性のある画像は、直近に復号化された２枚のＩピクチャ、Ｐピクチャのみとなるので、参照画像メモリ３００に３枚分の画像領域を確保しておき、処理５８０にて、ＦＩＦＯとして順次上書きしていくようにアドレスを管理すれば良い。
【００３５】
（実施の形態２）
ＭＰＥＧ４ＡＶＣの復号装置にて説明する。
【００３６】
構成は図５となり、実施の形態１の構成に比べ、ＩＮＴＲＡ処理部１７０、ＤＢＦ処理部１９０が追加されている。なお、同じ構成のものは同じ番号をふり、説明を省略する。
【００３７】
図５中のＶＬＤ処理部１５０は、ＤＭＡ１１０より読み出された、ビットストリームを可変長復号、算術復号し、量子化・周波数変換されたブロックデータと、動きベクトルデータに変換する。量子化・周波数変換されたブロックデータは、逆量子化・逆周波数変換処理部１６０に、動きベクトルデータはＤＭＡ１２０に転送する。逆量子化・逆周波数変換処理部１６０は、逆量子化と逆周波数の変換を行い、処理されたブロックデータを、ＭＣ処理部１８０もしくはＩＮＴＲＡ処理部１７０に転送する。
【００３８】
ＭＣ処理部１８０は、画面間予測されたブロックデータを対象とし、動きベクトルデータの示す参照画像のデータを、ＤＭＡ１２０を用いて、参照画像メモリ３００より読み出して動き補償処理を行い、復号されたブロックデータをＤＢＦ処理部１９０に転送する。
【００３９】
ＩＮＴＲＡ処理部１７０は、画面内予測されたブロックデータを対象とし、ＩＮＴＲＡ予測処理を行い、ＤＢＦ処理部１９０に転送する。
【００４０】
ＤＢＦ処理部１９０では、デブロックフィルタ処理を行い、ＤＭＡ１３０にて、復号された画像データを、共有メモリ２００に格納し、参照される可能性のある画像は、参照画像メモリ３００にも格納する。
【００４１】
次に処理フローを図６にて説明する。
【００４２】
これも実施の形態１に対して、ＩＮＴＲＡ処理部１７０、ＤＢＦ処理部１９０での処理５６０、５６５、５６８、５７０、５７５、５７８が追加されている。
【００４３】
ＶＬＤ処理部１５０にて、処理５２０、５２５、５２８、７１０、７１５が行われる。処理７１０、７１５にて、復号対象ブロックのスライスタイプが判別される。
【００４４】
処理５２０、５２５にて、画面内予測で復号可能か判断する。また、画面内予測で無い場合は、処理５２８にて、動きベクトルの本数の判別も行う。動きベクトルの本数に応じて、ＤＭＡ１２０での参照画像データの転送の処理も増やす。画面内予測を行うブロックであれば、逆量子化・逆周波数変換処理部１６０の処理の後、処理５６０にて、ＩＮＴＲＡ処理部１７０でのＩＮＴＲＡ予測が行われ、ＤＢＦ処理部１９０に転送される。
【００４５】
一方、画面間予測の場合は、逆量子化・逆周波数変換処理部１６０の処理の後、処理５６５、５６８にて、ＭＣ処理部１８０での動きベクトルの本数に応じた動き補償処理を行い、ＤＢＦ処理部１９０に転送される。処理５７０、５７５、５７８にて、ＤＢＦ処理部１９０でのデブロックフィルタ処理が行われ、ＤＭＡ１３０に転送される。
【００４６】
ＤＭＡ１３０では、処理７２０、７２１、７２２にて参照される可能性のあるブロックの場合は、参照画像メモリ３００と共有メモリ２００に転送する。
【００４７】
ＭＰＥＧ４ＡＶＣでは、参照される可能性のある画像は、ｎａｌ＿ｒｅｆ＿ｉｄｃが０ではない。参照されない画像の場合は、共有メモリ２００にのみ転送する。共有メモリ２００は、アクセス幅が１６バイト単位で構成され、参照画像メモリ３００はアクセス幅が４バイト単位で構成されている。
【００４８】
従来の手法での参照画像の転送は、共有メモリ２００からとなり、余分な転送領域が多くなってしまい（図１０）、参照のブロック単位が小さい（図８）こともあり、ＭＰＥＧ４ＡＶＣ  Ｈｉｇｈ  Ｐｒｏｆｉｌｅ  Ｌｅｖｅｒｌ４の復号処理で必要となるデータ転送量は、図１２のように大きくなる。しかし、本手法では、参照画像の読み出しは、アクセス幅の小さな参照画像メモリ３００からの転送となり、余分な転送領域が小さくなっている（図９）。これにより、復号処理で必要となるデータ転送量は、小さく抑えられる。
【００４９】
以上、参照される可能性のある画像は、全て参照画像メモリ３００にも配置したが、一部の参照画像を共有メモリ２００にのみ配置しても良い。その場合は、処理７２０、７２１、７２２にて、ＮＯを選択するようにすればよい。また、共有メモリ２００のアクセス幅を１６バイト、参照画像メモリ３００をアクセス幅が４バイト単位としたが、アクセス幅を変更しても良い。
【００５０】
さらに、参照画像メモリ３００への復号画像の配置において、参照される可能性が０となった画像領域に上書きするように処理してもよい。参照ピクチャの管理方法が、移動窓メモリ管理方法の場合は、短時間参照メモリの領域に対して、処理５８０にて、順次上書きしていくようにアドレスを管理すれば良い。
【００５１】
参照ピクチャの管理方法が、適応メモリ管理方法の場合は、そのＩＤに応じて、１の場合は、指定された短時間参照画像を上書き可能とする。２の場合は、指定された長時間参照画像を上書き可能とする。５の場合は、全ての画像を上書き可能とする。また、ＩＤＲピクチャが復号された場合も、全ての画像を上書き可能とする。
【産業上の利用可能性】
【００５２】
本発明に係る画像復号装置は、ＭＰＥＧ規格に従って圧縮された動画像を再生するＤＶＤプレーヤ、デジタルテレビ、携帯電話等の動画像処理装置において利用可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施の形態１における動画像復号部の構成図
【図２】従来の動画像復号部の構成図
【図３】本発明の実施の形態１における動画像復号部の処理フロー図
【図４】従来の動画像復号部の処理フロー図
【図５】本発明の実施の形態２における動画像復号部の構成図
【図６】本発明の実施の形態２における動画像復号部の処理フロー図
【図７】ＭＰＥＧ２での復号対象画像と参照画像との関係図
【図８】ＭＰＥＧ４ＡＶＣでの復号対象画像と参照画像との関係図
【図９】参照画像メモリ３００中の参照ブロックと無効な転送領域図
【図１０】共有メモリ２００中の参照ブロックと無効な転送領域図
【図１１】ＭＰＥＧ２での従来の動画像復号器及び画像表示器のデータ転送量グラフ
【図１２】ＭＰＥＧ２での従来と本発明における動画像復号器及び画像表示器のデータ転送量グラフ
【図１３】ＭＰＥＧ４ＡＶＣでの従来と本発明における動画像復号器及び画像表示器のデータ転送量グラフ
【図１４】特許文献１のシステムにおけるデータ転送量グラフ
【符号の説明】
【００５４】
１００    画像復号部
１１０，１２０，１３０    ＤＭＡ
１５０    ＶＬＤ処理部
１６０    逆量子化・逆周波数変換処理部
１７０    ＩＮＴＲＡ処理部
１８０    ＭＣ処理部
２００    共有メモリ
３００    参照画像メモリ
４００    表示処理部
５００    復号処理開始
５０５    復号処理終了
５１０，５１１，５１５，５１８    ピクチャタイプ判定
５２０，５２５    画面内予測／画面間予測判定
５２８    参照数判定
５５０，５５５    参照画像メモリ３００からの参照画像データ取得処理
５６０    Ｉｎｔｒａ処理
５６５，５６８    ＭＣ処理
５８０    参照画像メモリ３００へ復号画像格納処理
６５０，６５５    共有メモリ２００からの参照画像データ取得処理
６８５    共有メモリ２００へ復号画像格納処理
７１０，７１５    スライスタイプ判定
７２０，７２１，７２２    参照判定
８００    復号対象画像
８５０    復号対象ブロック
８８８    動きベクトル
９００    参照画像
９５０    参照ブロック
９７０    無効な転送領域
【図１】
2009194405.tif 000003
【図２】
2009194405.tif 000004
【図３】
2009194405.tif 000005
【図４】
2009194405.tif 000006
【図５】
2009194405.tif 000007
【図６】
2009194405.tif 000008
【図７】
2009194405.tif 000009
【図８】
2009194405.tif 000010
【図９】
2009194405.tif 000011
【図１０】
2009194405.tif 000012
【図１１】
2009194405.tif 000013
【図１２】
2009194405.tif 000014
【図１３】
2009194405.tif 000015
【図１４】
2009194405.tif 000016