(57)【要約】  時間ダイレクトモードおよび空間ダイレクトモードのいずれにも対応しつつ、一時保存されるダイレクトモード予測情報を低減してメモリバス帯域を抑制する。動き情報生成部（１０５）は、アンカーブロックの動きベクトルおよびアンカーブロックの参照ピクチャの番号を結合して画素ブロックの動き情報を生成する。静止判定部（１０６）は、アンカーブロックの動きベクトルおよび参照ピクチャの番号に基づいて、画素ブロックが静止しているとみなせるか否かを判定する。選択部（１０７）は、画素ブロックのダイレクトモード予測情報として動き情報生成部（１０５）の出力および静止判定部（１０６）の判定結果のいずれか一方を選択的にメモリに格納する。動きベクトル予測部（１０３）は、メモリ（１００）に格納されているダイレクトモード予測情報に基づいて、ダイレクトモードで画素ブロックの動きベクトルを予測する。
2010137086.tif 000002
【特許請求の範囲】
【請求項１】
ダイレクトモードで動きベクトルを予測すべき画素ブロックと異時間かつ同空間位置にあるアンカーブロックの動きベクトルおよび前記アンカーブロックの参照ピクチャの番号を結合して前記画素ブロックの動き情報を生成する動き情報生成部と、
前記アンカーブロックの動きベクトルおよび前記参照ピクチャの番号に基づいて、前記画素ブロックが静止しているとみなせるか否かを判定する静止判定部と、
前記画素ブロックのダイレクトモード予測情報として前記動き情報生成部の出力および前記静止判定部の判定結果のいずれか一方を選択的にメモリに格納する選択部と、
前記メモリに格納されているダイレクトモード予測情報に基づいて、ダイレクトモードで前記画素ブロックの動きベクトルを予測する動きベクトル予測部とを備えている
ことを特徴とする動画像処理装置。
【請求項２】
請求項１の動画像処理装置において、
入力される動画像ストリーム中に所定のデータを検出したとき、前記選択部に対して前記静止判定部の判定結果を選択する指示をするデータ検出部を備えている
ことを特徴とする動画像処理装置。
【請求項３】
請求項２の動画像処理装置において、
前記データ検出部は、前記所定のデータを検出するまでは、前記選択部に対して前記動き情報生成部の出力を選択する指示をする
ことを特徴とする動画像処理装置。
【請求項４】
請求項１の動画像処理装置において、
前記メモリのデータ転送帯域を測定し、前記データ転送帯域が閾値よりも小さいとき、前記選択部に対して前記動き情報生成部の出力を選択する指示をし、前記データ転送帯域が前記閾値よりも大きいとき、前記選択部に対して前記静止判定部の判定結果を選択する指示をするデータ転送帯域測定部を備えている
ことを特徴とする動画像処理装置。
【請求項５】
請求項１の動画像処理装置において、
入力される動画像ストリームの復号処理を行う復号部と、
時間ダイレクトモードで動きベクトルを予測すべき画素ブロックのダイレクトモード予測情報として前記静止判定部の判定結果が前記メモリに格納されていた場合、エラーとして検出するエラー検出部とを備え、
前記復号部は、前記エラー検出があったとき、エラーコンシールメント処理を行う
ことを特徴とする動画像処理装置。
【請求項６】
請求項５の動画像処理装置において、
前記復号部は、前記エラーコンシールメント処理として、前記エラー検出に係る画素ブロックを含むピクチャの復号をスキップして別の復号済みのピクチャを出力する、または、空間ダイレクトモードで代用して前記エラー検出に係る画素ブロックを含むピクチャを復号する
ことを特徴とする動画像処理装置。
【請求項７】
請求項１の動画像処理装置において、
動画像ストリームを生成する符号化部と、
前記選択部、動きベクトル予測部および符号化部に対して、時間ダイレクトモードおよび空間ダイレクトモードのいずれか一方を指定するダイレクトモード指定部とを備え、
前記選択部は、空間ダイレクトモードが指定されたとき、前記静止判定部の判定結果を選択するものであり、
前記符号化部は、空間ダイレクトモードが指定されたとき、前記動画像ストリームが空間ダイレクトモードで復号可能であることを示す所定のデータを前記動画像ストリームに挿入するものである
ことを特徴とする動画像処理装置。
【請求項８】
請求項２および７のいずれか一つの動画像処理装置において、
前記所定のデータは、付加情報として前記動画像ストリームに含まれる
ことを特徴とする動画像処理装置。
【請求項９】
請求項８の動画像処理装置において、
前記所定のデータは、ＳＥＩ（Supplemental Enhancement Information）として前記動画像ストリームに含まれる
ことを特徴とする動画像処理装置。
【請求項１０】
請求項８の動画像処理装置において、
前記所定のデータは、前記動画像ストリームにおけるＰＥＳ（Packetized Elementary Stream）のヘッダ、ピクチャのヘッダ、およびスライスのヘッダのいずれかに含まれる
ことを特徴とする動画像処理装置。
【請求項１１】
請求項２および７のいずれか一つの動画像処理装置において、
前記所定のデータは、スライスごとのダイレクト予測フラグである
ことを特徴とする動画像処理装置。
【請求項１２】
請求項１１の動画像処理装置において、
前記所定のデータは、スライスのヘッダに含まれるdirect_spatial_mv_pred_flagである
ことを特徴とする動画像処理装置。
【請求項１３】
請求項１の動画像処理装置において、
前記静止判定部は、１ビットの判定結果を出力する
ことを特徴とする動画像処理装置。
【請求項１４】
ダイレクトモードで動きベクトルを予測すべき画素ブロックと異時間かつ同空間位置にあるアンカーブロックの動きベクトルおよび前記アンカーブロックの参照ピクチャの番号を結合して前記画素ブロックの動き情報を生成するステップと、
前記アンカーブロックの動きベクトルおよび前記参照ピクチャの番号に基づいて、前記画素ブロックが静止しているとみなせるか否かを判定するステップと、
前記画素ブロックのダイレクトモード予測情報として前記動き情報および前記判定結果のいずれか一方を選択的にメモリに格納するステップと、
前記メモリに格納されているダイレクトモード予測情報に基づいて、ダイレクトモードで前記画素ブロックの動きベクトルを予測するステップとを備えている
ことを特徴とする動画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像ストリームの処理装置に関し、特に、ダイレクトモードで画像ブロックの動きベクトルを予測する動画像処理装置および動画像処理方法に関する。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣなどの動画像圧縮符号化規格では、画素ブロックの動きベクトルを、符号化済みの画素ブロックの動きベクトルから予測・生成するダイレクトモードが用意されている。ダイレクトモードを用いることで、符号化対象の画素ブロックの動きベクトル差分を符号化しなくてもよくなり、動画像の圧縮効率を向上することができる。【０００３】
ダイレクトモードには時間ダイレクトモードと空間ダイレクトモードの２種類がある。時間ダイレクトモードでは、対象画素ブロックが属する対象ピクチャのＬ１方向で参照番号が最も小さいピクチャをアンカーピクチャとして、また、アンカーピクチャにおいて対象画素ブロックと同空間位置にある画素ブロックをアンカーブロックとして、アンカーブロックの参照ピクチャが対象画素ブロックのＬ０方向の参照ピクチャとなる。そして、アンカーブロックの動きベクトルを対象ピクチャと参照ピクチャとの時間間隔および対象ピクチャとアンカーピクチャとの時間間隔でそれぞれ按分したものが対象画素ブロックのＬ０方向およびＬ１方向の動きベクトルとなる。【０００４】
一方、空間ダイレクトモードでは、アンカーブロックの動きベクトルおよびその参照ピクチャが次の条件をすべて満たすとき、対象画素ブロックは静止している（colZeroFlag=1）とみなしてその動きベクトルを０とする。
（１）アンカーブロックの動きベクトルの水平・垂直方向の大きさがともに±１以下である。
（２）アンカーブロックの参照ピクチャの参照番号が０である。
（３）Ｌ０方向で参照番号が最も小さいピクチャが短時間参照ピクチャである。
一方、上記条件を満たさないとき、対象ピクチャにおいて、対象画素ブロック（正確には対象画素ブロックを含む所定サイズのマクロブロック）の左隣接、上隣接および右上隣接の各ブロックの動きベクトルから、対象画素ブロックのＬ０方向およびＬ１方向の動きベクトルを算出する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２４４５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
時間ダイレクトモードで動きベクトルを予測する場合、対象ピクチャの情報以外に対象画素ブロックごとにアンカーブロックの動きベクトルと参照ピクチャの番号をメモリに一時保存する必要がある。一方、空間ダイレクトモードで動きベクトルを予測する場合、対象ピクチャの情報以外に対象画素ブロックごとにcolZeroFlagをメモリに一時保存すればよく、メモリの使用量、帯域ともおよそ３０分の１でよい。特に、フルハイビジョン画角の動画像を処理する場合などではその差は大きい。【０００７】
従来の動画像処理装置は、対象画素ブロックのダイレクトモード予測情報としてアンカーブロックの動きベクトルと参照ピクチャの番号をメモリに一時保存して時間ダイレクトモードおよび空間ダイレクトモードのいずれにも対応し得るようにしたり、符号化装置の場合はダイレクトモード予測情報としてcolZeroFlagのみをメモリに一時保存して空間ダイレクトモード限定にしている。前者の場合、ダイレクトモード予測情報を一時保存するための大メモリ容量が必要となるばかりでなく、ダイレクトモード予測情報の転送に比較的広いメモリバス帯域が必要となり、コスト増を招いてしまう。一方、後者の方法は、メモリに一時保存するダイレクトモード予測情報が少ないためデータ転送レートを抑えて低コスト化を実現できるが、空間ダイレクトモードに限定されるため、画質の劣化を招くおそれがある。また復号化装置では後者の方法を採用することができない。【０００８】
上記問題に鑑み、本発明は、時間ダイレクトモードおよび空間ダイレクトモードのいずれにも対応しつつ、一時保存されるダイレクトモード予測情報を低減してメモリバス帯域を抑制することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本発明によって次のような手段を講じた。すなわち、動画像処理装置および動画像処理方法として、ダイレクトモードで動きベクトルを予測すべき画素ブロックと異時間かつ同空間位置にあるアンカーブロックの動きベクトルおよびアンカーブロックの参照ピクチャの番号を結合して画素ブロックの動き情報を生成する動き情報生成部またはこれに対応するステップと、アンカーブロックの動きベクトルおよび参照ピクチャの番号に基づいて、画素ブロックが静止しているとみなせるか否かを判定する静止判定部またはこれに対応するステップと、画素ブロックのダイレクトモード予測情報として動き情報生成部の出力および静止判定部の判定結果のいずれか一方を選択的にメモリに格納する選択部またはこれに対応するステップと、メモリに格納されているダイレクトモード予測情報に基づいて、ダイレクトモードで画素ブロックの動きベクトルを予測する動きベクトル予測部またはこれに対応するステップとを備えているものとする。【００１０】
これによると、ダイレクトモード予測情報として、情報量の多い動き情報および情報量の少ない静止判定結果のいずれかが選択的にメモリに格納される。したがって、動き情報が格納される場合には時間ダイレクトモードで動きベクトルを予測することができ、静止判定結果が格納される場合には空間ダイレクトモードに限定してメモリ使用量およびメモリバス帯域を抑制することができる。【００１１】
好ましくは、上記の動画像処理装置は、入力される動画像ストリーム中に所定のデータを検出したとき、選択部に対して静止判定部の判定結果を選択する指示をするデータ検出部を備えているものとする。より好ましくは、データ検出部は、所定のデータを検出するまでは、選択部に対して動き情報生成部の出力を選択する指示をするものとする。【００１２】
これによると、所定のデータが挿入されている動画像ストリームについては空間ダイレクトモードに限定して処理可能であると判断して、ダイレクトモード予測情報としてメモリに静止判定結果を保存するようにしてメモリバス帯域を抑制することができる。【００１３】
また、好ましくは、上記の動画像処理装置は、メモリのデータ転送帯域を測定し、データ転送帯域が閾値よりも小さいとき、選択部に対して動き情報生成部の出力を選択する指示をし、データ転送帯域が閾値よりも大きいとき、選択部に対して静止判定部の判定結果を選択する指示をするデータ転送帯域測定部を備えているものとする。【００１４】
これによると、メモリバス帯域に余裕がある間は時間ダイレクトモードおよび空間ダイレクトモードのいずれにも対応可能にし、メモリバス帯域が不足しそうになると、メモリに一時保存するダイレクトモード予測情報が少ない空間ダイレクトモードに切り替えてメモリバス帯域を抑制することができる。【００１５】
また、好ましくは、上記の動画像処理装置は、入力される動画像ストリームの復号処理を行う復号部と、時間ダイレクトモードで動きベクトルを予測すべき画素ブロックのダイレクトモード予測情報として静止判定部の判定結果がメモリに格納されていた場合、エラーとして検出するエラー検出部とを備えているものとする。そして、復号部は、エラー検出があったとき、エラーコンシールメント処理を行うものとする。具体的には、復号部は、エラーコンシールメント処理として、エラー検出に係る画素ブロックを含むピクチャの復号をスキップして別の復号済みのピクチャを出力する、または、空間ダイレクトモードで代用してエラー検出に係る画素ブロックを含むピクチャを復号する。【００１６】
これによると、ダイレクトモード予測情報不足で時間ダイレクトモードで動きベクトルが予測できなくとも動画像ストリームの復号処理を停止させずに続行させることができる。【００１７】
また、好ましくは、上記の動画像処理装置は、動画像ストリームを生成する符号化部と、選択部、動きベクトル予測部および符号化部に対して、時間ダイレクトモードおよび空間ダイレクトモードのいずれか一方を指定するダイレクトモード指定部とを備え、選択部は、空間ダイレクトモードが指定されたとき、静止判定部の判定結果を選択するものであり、符号化部は、空間ダイレクトモードが指定されたとき、動画像ストリームが空間ダイレクトモードで復号可能であることを示す所定のデータを動画像ストリームに挿入するものとする。【００１８】
これによると、動画像ストリームを生成する際に、ダイレクトモードで使用するために一時保存されるダイレクトモード予測情報を低減してメモリバス帯域を抑制することができる。
【発明の効果】
【００１９】
本発明によると、時間ダイレクトモードおよび空間ダイレクトモードのいずれにも対応しつつ、一時保存されるダイレクトモード予測情報を低減してメモリバス帯域を抑制することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、第１の実施形態に係る動画像処理装置の主要部の構成図である。
【図２】図２は、第１の実施形態に係る動画像処理装置による動画像復号処理のフローチャートである。
【図３】図３は、第２の実施形態に係る動画像処理装置の主要部の構成図である。
【図４】図４は、第３の実施形態に係る動画像処理装置の主要部の構成図である。
【図５】図５は、第４の実施形態に係る動画像処理装置の主要部の構成図である。
【図６】図６は、第５の実施形態に係る動画像処理装置の概観図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について図面を参照しながら説明する。なお、説明の便宜上、下記の実施形態はＨ．２６４／ＡＶＣ規格に準拠したものとするが、本発明はこれに限定されるものではない。
【００２２】
（第１の実施形態）
図１は、第１の実施形態に係る動画像処理装置の主要部の構成を示す。具体的には、本実施形態に係る動画像処理装置は入力された動画像ストリームを復号する動画像復号装置である。本実施形態に係る動画像復号装置の主要部はＬＳＩ１０として集積化することができる。復号部１０１は、入力された動画像ストリームから復号ピクチャ予測誤差、動きベクトル差分、および参照ピクチャ番号を出力する。動きベクトル差分は動きベクトル予測部１０３から出力される予測動きベクトルと加算されて動きベクトルが生成される。動きベクトルは動きベクトルメモリ１０２に格納される。動きベクトル予測部１０３は、動きベクトルメモリ１０２から動きベクトルを適宜読み出して予測動きベクトルを生成する。動き補償部１０４は、動きベクトルおよびメモリ１００から読み出した動き補償参照ピクチャ画素から予測ピクチャ画素を生成する。予測ピクチャ画素は復号部１０１から出力される復号ピクチャ予測誤差と加算されて復号ピクチャとなりメモリ１００に格納される。
【００２３】
動き情報生成部１０５は、ダイレクトモード予測時に参照されるアンカーブロックの動きベクトルと参照ピクチャ番号を受け、これらを結合して対象画素ブロックの動き情報を生成する。一方、静止判定部１０６は、同じくアンカーブロックの動きベクトルと参照ピクチャ番号を受け、対象画素ブロックが静止しているとみなせるか否かを判定する。当該判定条件は上述したとおりである。選択部１０７は、対象画素ブロックのダイレクトモード予測情報として動き情報生成部１０５の出力および静止判定部１０６の判定結果のいずれか一方を選択的にメモリ１００に格納する。静止判定部１０６の判定結果として、例えば、colZeroFlagを用いることができる。
【００２４】
ダイレクトモード予測時には、動きベクトル予測部１０３は、データ検出部１０９の出力に基づき、メモリ１００からダイレクトモード予測情報メモリ１０８に読み出されたダイレクトモード予測情報を参照して予測動きベクトルとしてダイレクトモード動きベクトルを生成する。
【００２５】
選択部１０７の選択動作は、データ検出部１０９によって制御される。データ検出部１０９は、動画像復号装置に入力される動画像ストリーム中に所定のデータを検出したとき、選択部１０７に対して静止判定部１０６の判定結果を選択する指示をする。データ検出部１０９は、所定のデータを検出するまでは選択部１０７に対して動き情報生成部の出力を選択する指示をする。所定のデータは、空間ダイレクトモードで動きベクトルを予測可能か否かを示す情報である。所定のデータは、例えば、ＳＥＩ（Supplemental Enhancement Information）として動画像ストリームに含まれていたり、動画像ストリームにおけるＰＥＳ（Packetized Elementary Stream）のヘッダ、ピクチャのヘッダ、およびスライスのヘッダのいずれかに含まれていたりする。また、所定のデータとして、スライスのヘッダに含まれるdirect_spatial_mv_pred_flagを用いることもできる。
【００２６】
図２は、本実施形態に係る動画像処理装置による動画像復号処理フローを示す。まず、復号モードが時間ダイレクトモードか空間ダイレクトモードのいずれであるか判定する（Ｓ１）。時間ダイレクトモードであれば動き情報生成部１０５が生成した動き情報をメモリ１００に格納し（Ｓ２）、時間ダイレクトモードで動きベクトルを予測して動画像復号処理を行う（Ｓ３、Ｓ４）。一方、空間ダイレクトモードであれば静止判定部１０６の判定結果をメモリ１００に格納し（Ｓ５）、空間ダイレクトモードで動きベクトルを予測して動画像復号処理を行う（Ｓ６、Ｓ４）。
【００２７】
以上、本実施形態によると、入力された動画像ストリームに当該動画像ストリームが空間ダイレクトモード限定で復号可能であることが示されている場合、ダイレクトモードで使用するために一時保存されるダイレクトモード予測情報を低減してメモリバス帯域を抑制することができる。なお、そのような動画像ストリームは後述する動画像符号化装置によって生成される。
【００２８】
（第２の実施形態）
図３は、第２の実施形態に係る動画像処理装置の主要部の構成を示す。本実施形態に係る動画像処理装置もまた動画像復号装置であり、図１の動画像処理装置におけるデータ検出部１０９に代えてデータ転送帯域測定部１１０を設けたものである。データ転送帯域測定部１１０は、メモリ１００のデータ転送帯域を測定し、データ転送帯域が閾値よりも小さいとき、選択部１０７に対して動き情報生成部１０５の出力を選択する指示をする。一方、データ転送帯域が閾値よりも大きいとき、選択部１０７に対して静止判定部１０６の判定結果を選択する指示をする。
【００２９】
以上、本実施形態によると、メモリバス帯域に余裕がある間は時間ダイレクトモードおよび空間ダイレクトモードのいずれか適切な方で動きベクトルを予測することで復号画像の品質を良好に保ち、メモリバス帯域が不足しそうになると、一時保存するダイレクトモード予測情報が少なくて済む空間ダイレクトモードで動きベクトルを予測することでメモリバス帯域を抑制して復号処理の破綻を防ぐことができる。
【００３０】
なお、ＬＳＩ１０にデータ転送帯域測定部１１０を設けずにメモリ１００においてデータ転送帯域を測定するようにしてもよい。
【００３１】
（第３の実施形態）
図４は、第３の実施形態に係る動画像処理装置の主要部の構成を示す。本実施形態に係る動画像処理装置もまた動画像復号装置であり、図１の動画像処理装置におけるデータ検出部１０９に代えてエラー検出部１１１を設けたものである。エラー検出部１１１は、時間ダイレクトモードで動きベクトルを予測すべき画素ブロックのダイレクトモード予測情報として静止判定部１０６の判定結果がメモリ１００に格納されていて動きベクトルが正しく予測できない場合にエラーを検出し、選択部１０７に対して動き情報生成部１０５の出力を選択する指示をする。そして、時間ダイレクトモードによる復号が可能になるまでの間、その画素ブロックを含むピクチャの復号をスキップして当該ピクチャを復号済みのピクチャで代用したり、空間ダイレクトモードで代用して復号するなどを、動きベクトル予測部１０３および復号部１０１に指示する。これにより、動画像ストリームの復号処理を停止させずに続行させることができる。
【００３２】
（第４の実施形態）
図５は、第４の実施形態に係る動画像処理装置の主要部の構成を示す。具体的には、本実施形態に係る動画像処理装置は入力された動画像信号を符号化する動画像符号化装置である。本実施形態に係る動画像符号化装置の主要部はＬＳＩ２０として集積化することができる。動き検出部２０１は、入力動画像信号とＬＳＩ２０外部のメモリ１００から読み出した動き検出参照ピクチャ画素とを比較して動きベクトルおよび参照ピクチャ番号を出力する。動きベクトルは動きベクトルメモリ２０２に格納される。動きベクトル予測部２０３は、動きベクトルメモリ２０２から対象画素ブロック近傍の画素ブロックの動きベクトルを読み出して予測動きベクトルを生成する。また、ダイレクトモード予測時には、動きベクトル予測部２０３は、メモリ１００からダイレクトモード予測情報メモリ２０４に読み出されたダイレクトモード予測情報を参照して予測動きベクトルとしてダイレクトモード動きベクトルを生成する。動き補償部２０５は、動きベクトル、予測動きベクトルおよび動き補償参照ピクチャ画素から予測ピクチャ画素を生成する。
【００３３】
符号化部２０６は、動きベクトルと予測動きベクトルとの差分である動きベクトル差分および参照ピクチャ番号に基づいて、入力動画像信号と予測ピクチャ画素との差分であるピクチャ画素差分を符号化し、さらに復号して再構成ピクチャ画素差分を生成する。そして、最終的に、符号化部２０６は動画像ストリームを生成する。再構成ピクチャ画素差分と予測ピクチャ画素とは加算されて再構成ピクチャが生成されメモリ１００に格納される。メモリ１００に格納された再構成ピクチャは動き検出参照ピクチャおよび動き補償参照ピクチャとして使用される。
【００３４】
動き情報生成部２０７は、ダイレクトモード予測時に参照されるアンカーブロックの動きベクトルと参照ピクチャ番号を受け、これらを結合して対象画素ブロックの動き情報を生成する。一方、静止判定部２０８は、同じくアンカーブロックの動きベクトルと参照ピクチャ番号を受け、対象画素ブロックが静止しているとみなせるか否かを判定する。当該判定条件は上述したとおりである。選択部２０９は、対象画素ブロックのダイレクトモード予測情報として動き情報生成部２０７の出力および静止判定部２０８の判定結果のいずれか一方を選択的にメモリ１００に格納する。静止判定部２０８の判定結果として、例えば、colZeroFlagを用いることができる。
【００３５】
ダイレクトモード指定部２１０は、選択部２０９、動きベクトル予測部２０３および符号化部２０６に対して、時間ダイレクトモードおよび空間ダイレクトモードのいずれか一方を指定する。例えば、ダイレクトモード指定部２１０が空間ダイレクトモードを指定した場合、選択部２０９は静止判定部２０８の出力を選択し、また、動きベクトル予測部２０３は空間ダイレクトモードで対象画素ブロックの動きベクトルを予測する。また、ダイレクトモード指定部２１０が空間ダイレクトモードを指定した場合、符号化部２０６は、生成する動画像ストリーム中に、当該動画像ストリームが空間ダイレクトモードで復号可能であることを示す所定のデータを挿入する。所定のデータは、例えば、ＳＥＩとして動画像ストリームに挿入したり、ＰＥＳ、ピクチャ、およびスライスのいずれかのヘッダに挿入したりすることができる。また、所定のデータとして、スライスのヘッダに含まれるdirect_spatial_mv_pred_flagを用いることもできる。
【００３６】
以上、本実施形態によると、動画像ストリームを生成する際に、ダイレクトモードで使用するために一時保存されるダイレクトモード予測情報を低減してメモリバス帯域を抑制することができる。また、第１の実施形態のような特定の動画像復号装置向けに、所定のデータが挿入された動画像ストリームを作成することができる。
【００３７】
なお、本実施形態の変形例として、図３中のデータ転送帯域測定部１１０を追加してもよい。この場合、メモリバス帯域に余裕がある時はダイレクトモード予測用の全情報を一時保存し、時間ダイレクトモードと空間ダイレクトモードのうち適切なモードを指定し、メモリバス帯域が不足しそうになると、一時保存するダイレクトモード予測情報が少なくて済む空間ダイレクトモードで動きベクトルを予測することでメモリバス帯域を抑制して符号化処理の破綻を防ぐことができる。メモリバス帯域に余裕のない状態から余裕のある状態に変わったときは、それに応じて一時保存するダイレクトモード予測情報を全情報に変更するが、時間ダイレクトモード符号化が可能になるまでは空間ダイレクトモード符号化を行う。
【００３８】
（第５の実施形態）
図６は、第５の実施形態に係る動画像処理装置の概観を示す。具体的には、本実施形態に係る動画像処理装置はビデオカメラである。当該ビデオカメラは、動画像符号化装置として上記のＬＳＩ２０、動画像復号装置として上記のＬＳＩ１０、一時データ保存用のメモリ１００およびストリームデータ保存用の記憶装置２００を備えている。ビデオカメラに入力された動画像はＬＳＩ２０によって符号化され記憶装置２００に蓄えられる。一方、記憶装置２００から読み出したストリームデータはＬＳＩ１０により復号されメモリ１００に格納される。また、メモリ１００に格納されたビデオデータはビデオ出力３００を経由して外部に出力される。一般的なビデオカメラはコスト削減のために高速・大容量のメモリを搭載していないことが多い。そこで、比較的安価なメモリを備えたビデオカメラであっても上記の動画符号化装置および動画復号装置を搭載することにより、メモリバス帯域に余裕があれば時間ダイレクトモードを使用して高画質記録・再生を可能にし、メモリバス帯域が不足しそうになると空間ダイレクトモードに切り替えて記録・再生処理の破綻を防ぐことができる。
【００３９】
なお、図１から図４に示した各機能ブロックや図５のＬＳＩ１０およびＬＳＩ２０は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。メモリ１００などは大容量となるため、ＬＳＩに外付けする大容量のＳＤＲＡＭなどで実装することもあるが、１パッケージ化や１チップ化されることもあり得る。
【００４０】
また、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を動的に再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
【産業上の利用可能性】
【００４１】
本発明に係る動画像処理装置は、一時保存されるダイレクトモード予測情報を低減してメモリバス帯域を抑制することができるため、ハイビジョン画質のビデオカメラ、レコーダ、プレーヤなどに有用である。
【符号の説明】
【００４２】
１００  メモリ
１０１  復号部
１０３  動きベクトル予測部
１０５  動き情報生成部
１０６  静止判定部
１０７  選択部
１０９  データ検出部
１１０  データ転送帯域測定部
１１１  エラー検出部
２０３  動きベクトル予測部
２０６  符号化部
２０７  動き情報生成部
２０８  静止判定部
２０９  選択部
２１０  ダイレクトモード指定部
【図１】
2010137086.tif 000003
【図２】
2010137086.tif 000004
【図３】
2010137086.tif 000005
【図４】
2010137086.tif 000006
【図５】
2010137086.tif 000007
【図６】
2010137086.tif 000008
【国際調査報告】
2010137086.tif 000009
2010137086.tif 000010
2010137086.tif 000011