(57)【特許請求の範囲】
【請求項１】
動画符号化データ列からなる受信ビットストリームを復号化して再生画像を表示している間に、任意に選択された復号化画像を仮想的フレーム内符号化画像として保存し、上記仮想的フレーム内符号化画像として扱われた復号化画像に続く特定期間分の再生画像を生み出すビットストリームを録画データとして記録する動画像データの記録再生方法であって、
上記仮想的フレーム内符号化画像を所定の周期で定期的に更新し、仮想的フレーム内符号化画像の更新の都度、該仮想的フレーム内符号化画像と、受信ビットストリーム中で上記仮想的フレーム内符号化画像として扱われた復号化画像に続くビットストリーム部分とからなる動画部分を記録し直す予備録画モードと、
ユーザからの録画指示に応答して、上記仮想的フレーム内符号化画像の更新動作を抑制し、上記予備録画中の動画部分に続く受信ビットストリームの記録動作を継続する録画保存モードとを実行することを特徴とする動画像データの記録再生方法。
【請求項２】
前記仮想的フレーム内符号化画像として、前記復号化画像を再符号化して得られた符号化データを保存することを特徴とする請求項１に記載の動画像データの記録再生方法。
【請求項３】
前記復号化画像は、前記受信ビットストリームとは異なる符号化方式で再符号化されることを特徴とする請求項２に記載の動画像データの記録再生方法。
【請求項４】
前記受信ビットストリームに含まれるヘッダ情報を記録データの一部として記録し、新たなヘッダ情報が受信される都度、記録ヘッダ情報を更新することを特徴とする請求項１〜請求項３の何れか一に記載の動画像データの記録再生方法。
【請求項５】
ユーザからの録画再生指示に応答して、前記仮想的フレーム内符号化画像を初期画像として前記録画データの復号化処理を開始することを特徴とする請求項１〜請求項４の何れか一に記載の動画像データの記録再生方法。
【請求項６】
動画符号化データ列からなるビットストリームを受信し、動画像として記録する記録装置において、
上記受信ビットストリームを復号化するための復号器と、
上記受信ビットストリームの一部を録画データとして選択的に蓄積するための蓄積部と、
上記復号器で生成された復号化画像群から任意の復号化画像を選択し、仮想的フレーム内符号化画像として保存すると共に、上記受信ビットストリームから抽出されたヘッダ情報と、上記仮想的フレーム内符号化画像に続く特定期間分の再生画像を生み出す部分的なビットストリームを上記蓄積部に録画データとして書き込む制御部と、
ユーザからの指令を入力するための入力部とを備え、
上記制御部が、動画像を表示中に、上記仮想的フレーム内符号化画像を所定の周期で定期的に更新し、仮想的フレーム内符号化画像の更新の都度、該仮想的フレーム内符号化画像と、受信ビットストリーム中で上記仮想的フレーム内符号化画像として扱われた復号化画像に続くビットストリーム部分とからなる動画部分を前記蓄積部に記録し直す予備録画モードと、ユーザからの録画指定に応答して、上記仮想的フレーム内符号化画像の更新動作を抑制し、上記予備録画中の動画部分に続く受信ビットストリームの記録動作を継続する録画保存モードとを選択的に実行することを特徴とする記録装置。
【請求項７】
前記制御部が、ユーザからの指令に応答して前記復号化画像の選択と、前記蓄積部への前記ビットストリームの書き込みを制御することを特徴とする請求項６に記載の記録装置。
【請求項８】
前記制御部が、ユーザからの録画再生指令に応答して、前記仮想的フレーム内符号化画像を前記復号器に初期画像として設定し、前記蓄積部から読み出されたビットストリームの上記復号器への供給を開始することを特徴とする請求項６に記載の記録装置。
【請求項９】
画像を符号化するための符号器を備え、
前記制御部が、前記選択された復号化画像を上記符号器で再符号化することによって、前記仮想的フレーム内符号化画像を符号化データの形で前記蓄積部に保存することを特徴とする請求項６に記載の記録装置。
【請求項１０】
動画符号化データ列からなるビットストリームを受信し、動画像として記録する記録装置において、
上記受信ビットストリームを復号化するための復号器と、
上記受信ビットストリームの一部を録画データとして選択的に蓄積するための蓄積部と、
上記蓄積部への録画データの書き込みと読み出しを制御する制御部とを備え、
上記制御部が、上記復号器で生成された復号化画像群から任意の復号化画像を選択し、仮想的フレーム内符号化画像として保存すると共に、上記受信ビットストリームから抽出されたヘッダ情報と、上記仮想的フレーム内符号化画像に続く特定期間分の再生画像を生み出す部分的なビットストリームを上記蓄積装置に録画データとして書き込み、
前記復号器が、第１、第２、第３のフレームメモリを有し、常時は、参照画像用と現画像用に割当てられた２つのフレームメモリを交互に切り替えることによって、前記受信ビットストリームをフレーム単位で復号化し、前記制御部からの指令に応答して、参照画像用のフレームメモリを仮想的フレーム内符号化画像用に切り替え、それまで仮想的フレーム内符号化画像用となっていたフレームメモリを現画像用に切り替えることによって、仮想的フレーム内符号化画像を保存することを特徴とする記録装置。
【請求項１１】
符号化画像列内に周期的に第１のフレーム内符号化画像を含む動画符号化データのビットストリームを受信し、
上記受信したビットストリームの動画符号化データを復号化して、上記第１のフレーム内符号化画像の出現周期よりも短い周期で第２のフレーム内符号化画像を生成し、
上記第２のフレーム内符号化画像の生成の都度、該第２のフレーム内符号化画像を先頭にして、それに対応する元の符号化画像に続く複数フレーム分の符号化画像からなる部分的なビットストリームの自動録画を繰り返しておき、
録画開始指示が入力されたとき、上記自動録画中のビットストリーム部分に続く動画符号化データの録画動作を開始することを特徴とする動画像データの記録方法。
【請求項１２】
符号化画像列内に周期的に第１のフレーム内符号化画像を含む動画符号化データのビットストリームを受信し、
上記受信したビットストリームの動画符号化データを復号化して、上記第１のフレーム内符号化画像の出現頻度よりも高い頻度で第２のフレーム内符号化画像を生成し、
上記第２のフレーム内符号化画像の生成の都度、該第２のフレーム内符号化画像を先頭にして、それに対応する元の符号化画像に続く複数フレーム分の符号化画像からなる部分的なビットストリームの自動録画を繰り返しておき、
録画開始指示が入力されたとき、上記自動録画中のビットストリーム部分に続く動画符号化データの録画を開始することを特徴とする動画像データの記録方法。
【請求項１３】
前記第２のフレーム内符号化画像が、前記受信されたビットストリームにおける任意の符号化画像と対応する符号化画像データとして録画されることを特徴とする請求項１１または請求項１２に記載の動画像データの記録方法。
【請求項１４】
前記ビットストリームが、前記第１のフレーム内符号化画像の他に少なくとも複数のフレーム間符号化画像を含み、
前記第２のフレーム内符号化画像が、前記受信されたビットストリームにおける第１のフレーム内符号化画像または任意のフレーム間符号化画像と対応する符号化画像データとして録画されることを特徴とする請求項１１または請求項１２に記載の動画像データの記録方法。
【請求項１５】
符号化画像列内に周期的に第１のフレーム内符号化画像を含む動画符号化データのビットストリームを受信する受信部と、
上記受信したビットストリームの動画符号化データを復号化して、上記第１のフレーム内符号化画像の出現周期よりも短い周期で第２のフレーム内符号化画像を生成する符号化画像生成部と、
上記受信したビットストリームの一部を選択的に記憶するためのメモリと、
上記符号化画像生成部による上記第２のフレーム内符号化画像の生成の都度、該第２のフレーム内符号化画像を先頭にして、それに対応する元の符号化画像に続く複数フレーム分の符号化画像からなる部分的なビットストリームの上記メモリへの自動録画を繰り返しておき、録画開始指示が入力されたとき、上記メモリに、上記自動録画中のビットストリーム部分に続く動画符号化データを録画する記録部とを備えることを特徴とする動画像データの記録装置。
【請求項１６】
符号化画像列内に周期的に第１のフレーム内符号化画像を含む動画符号化データのビットストリームを受信する受信部と、
上記受信したビットストリームの動画符号化データを復号化して、上記第１のフレーム内符号化画像の出現頻度よりも高い頻度で第２のフレーム内符号化画像を生成する符号化画像生成部と、
上記受信したビットストリームの一部を選択的に記憶するためのメモリと、
上記符号化画像生成部による上記第２のフレーム内符号化画像の生成の都度、該第２のフレーム内符号化画像を先頭にして、それに対応する元の符号化画像に続く複数フレーム分の符号化画像からなる部分的なビットストリームの上記メモリへの自動録画を繰り返しておき、録画開始指示が入力されたとき、上記メモリに、上記自動録画中のビットストリーム部分に続く動画符号化データを録画する記録部とを備えることを特徴とする動画像データの記録装置。
【請求項１７】
前記符号化画像生成部が、前記受信されたビットストリームにおける任意の符号化画像を前記第２のフレーム内符号化画像に変換することを特徴とする請求項１５または請求項１６に記載の動画像データの記録装置。
【請求項１８】
前記ビットストリームが、前記第１のフレーム内符号化画像の他に少なくとも複数のフレーム間符号化画像を含み、
前記符号化画像生成部が、前記受信されたビットストリームにおける任意のフレーム間符号化画像を前記第２のフレーム内符号化画像に変換することを特徴とする請求項１５または請求項１６に記載の動画像データの記録装置。
【請求項１９】
符号化画像列内に周期的に第１のフレーム内符号化画像を含む動画符号化データのビットストリームを受信する受信部と、
上記受信したビットストリームの動画符号化データを復号化して、上記第１のフレーム内符号化画像の出現周期よりも短い周期で第２のフレーム内符号化画像を生成する符号化画像生成部と、
上記受信したビットストリームの一部を選択的に記憶するためのメモリと、
上記符号化画像生成部による上記第２のフレーム内符号化画像の生成の都度、該第２のフレーム内符号化画像を先頭にして、それに対応する元の符号化画像に続く複数フレーム分の符号化画像からなる部分的なビットストリームの上記メモリへの自動録画を繰り返しておき、録画開始指示が入力されたとき、上記メモリに、上記自動録画中のビットストリーム部分に続く動画符号化データを録画する記録部とを備えることを特徴とする無線端末装置。
【請求項２０】
携帯電話機能を備えたことを特徴とする請求項１９に記載の無線端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データの記録再生方法および装置に関し、更に詳しくは、フレーム内符号化の適用頻度が少ないディジタル動画像符号化データ列の部分的記録に適した動画像データの記録再生方法および装置に関するものである。
【０００２】
【従来の技術】
ディジタル放送のようにディジタル動画像を不特定多数のユーザに同時にリアルタイム配信する１対多のアプリケーションでは、各端末で受信動画像データの復号処理を瞬時に開始できるデータ構造、すなわち、任意の時刻から復号可能な符号化データ(ビットストリーム)形式が採用されている。
図２は、ディジタル放送における動画像ビットストリームの１例として、MPEG方式のデータ構造を示す。MPEG方式では、フレーム内符号化、フレーム間符号化、双方向符号化と呼ばれる３種類の符号化が定義されている。
【０００３】
「フレーム内符号化」は、現フレームの画像に対して直接ＤＣＴ(離散コサイン変換)を施すデータ圧縮方法であり、フレーム内符号化を適用したフレームは、MPEG-4ではI-VOP（Intra-coded Video Object Plane）、MPEG-2ではI-Pictureと呼ばれている。なお、VOPは矩形画像ではフレームと同義語である。I-VOPは、符号化、復号化に際して過去のフレームの復号情報を必要としないため、符号化動画像のランダムアクセス時の復号開始フレームとして使用される。
【０００４】
「フレーム間符号化」は、１つのフレームを時間的に過去のフレームの符号化情報を利用してデータ圧縮する符号化方法であり、フレーム間符号化を適用したフレームは、MPEG-4ではP-VOP（Predictive-coded VOP）、MPEG-2ではP-Pictureと呼ばれている。また、「双方向符号化」は、１つのフレームを既に符号化済みの時間的に過去および未来の２つのフレームがもつ符号化情報を利用してデータ圧縮する方法であり、双方向符号化を適用したフレームをMPEG-4ではB-VOP（Bidirectionally predicted-coded VOP）、MPEG-2ではB-Pictureと呼んでいる。
【０００５】
以下の説明では、MPEG-4ビットストリームのデータ構造を前提とし、図面に示された符号IはI-VOP、PはP-VOP、BはB-VOPを意味するものとする。
図２に示したMPEGビットストリームは、ビットストリームサイズ等、シーケンス全体の特徴を示すヘッダ情報201とI-VOP202とが定期的に挿入されたデータ構造となっている。このデータ構造は、例えば、破線で示すP-VOPとB-VOPとからなるデータ部分203からビットストリームの受信動作を開始した場合でも、端末側で次に現れるヘッダ情報201とI-VOP202を待つことによって、受信データの復号処理を開始することができる。従って、上記データ構造によれば、データ部分203のサイズを視聴者が待ち時間を意識しない程度の大きさに制限しておくことにより、各視聴者に瞬時スタートの動画像配信サービスが可能となる。
【０００６】
最近サービスが開始されたディジタル放送では、上記MPEG-4のヘッダ情報201が、例えば、図３に示すように、VOSヘッダ201-1、VOヘッダ201-2、VOLヘッダ201-3、GOVヘッダ201-4からなっている。
VOSヘッダ201-1は、MPEG-4製品の適用範囲を決めるプロファイル・レベル情報を含み、VOヘッダ201-2は、MPEG-4のバージョン情報を含む。VOLヘッダ201-3は、受信データの復号化に必須となる画像サイズ、符号化ビットレート、フレームメモリサイズ、適用ツール等の情報を含む。また、GOVヘッダ201-4は、予約再生等で活用される時刻情報を含んでいる。
【０００７】
上述したヘッダ情報201とI-VOP202を定期的に挿入したデータ構造は、ビデオ録画や、録画データのランダムアクセスに有効となる。例えば、ビデオ録画では、ユーザが録画開始ボタンを押した後に最初に現れるヘッダ情報201を解析することによって、それ以降のデータを記録できる。MPEGデコーダは、B-VOPやB-Pictureの復号処理を飛ばしてもシーケンス全体の復号画像列の品質を破綻させない構成となっているため、上記データ部分203にB-VOPを頻繁に挟むことによって、記録データの早送りや高速再生等が容易となる。
【０００８】
【発明が解決しようとする課題】
無線回線を利用したリアルタイム通信では、伝送遅延、通信容量、データの伝送誤り、消費電力等の制限によって、ビットストリーム中への頻繁なI-VOP挿入が困難となる。このため、無線回線の使用を前提としてオンデマンド型のストリーミング動画像配信サービスでは、例えば、図４に示すように、I-VOPの使用を極力回避した符号化データを採用せざるを得ない。
【０００９】
図４に示した符号化データは、図２と異なり、ヘッダ情報311とI-VOP312の後に、連続した多数のP-VOPからなる長いデータ列313を配置したデータ構造となっている。この場合、P-VOP列中には、伝送誤りを修正するためにイントラ符号化ブロックを適宜配置するのが一般的である。上記イントラ符号化ブロックは、伝送誤りにより劣化したブロックの画像品質をリフレッシュする役割を果たしており、MPEGの場合、１つのVOPを16x16画素サイズの複数のブロックに分割し、数VOPで全ての符号化ブロックをリフレッシュできるように、符号化対象ブロックの位置が周期的に変更される。尚、ストリーミング動画像配信サービスでは、例えば、図５に示すように、ヘッダ情報311が、VOSヘッダ311-1、VOヘッダ311-2、VOLヘッダ311-3で構成され、GOVヘッダを含まないケースもある。
【００１０】
然るに、ビットストリーム中のI-VOPの挿入頻度を減らすと、I-VOPに続くデータ部分313のサイズが長くなるため、端末側で受信ストリーム（符号化データ列）中の特定部分のみを記録したい場合でも、実際には、I-VOPから目的画像フレームまでの間に受信される多数の不要フレーム群も記録しなければならないという問題が発生する。
【００１１】
例えば、図４に示したビットストリームが３分間の動画像データであると仮定すると、ユーザがビットストリーム中の最終部分に位置した僅か１５秒間分の動画を記録したい場合でも、復号化に不可欠なヘッダ311、I-VOP312から目的画像フレーム迄の全ビットストリームを記録しなければならない。従って、例えば、携帯電話のように小容量メモリを内蔵した端末装置では、ユーザが受信動画中で選択した特定ストリーム部分を選択的に録画したいと思っても、目的ストリーム部分に到達する前に内蔵メモリが満杯となって録画に失敗する可能性があり、所望画面を含む部分的ストリームを確実に録画するためには、十分なメモリ容量をもつ外部記憶装置を予め端末装置に接続しておく必要がある。
【００１２】
本発明の目的は、比較的小容量のメモリを内蔵した端末装置に適した動画像データの記録再生方法を提供することにある。
本発明の他の目的は、フレーム内符号化の適用頻度が少ない動画像符号化データ列から抽出された任意部分の画像ストリームを比較的小容量のメモリに記録可能な動画像データの記録再生方法を提供することにある。
本発明の更に他の目的は、フレーム内符号化の適用頻度が少ない動画像符号化データ列中の任意部分の画像ストリームを記録再生可能な端末装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明では、受信した動画符号化データ列（受信ビットストリーム）を復号化して再生画像を表示している間に、任意に選択された復号化画像を仮想的フレーム内符号化画像として保存しておき、上記仮想的フレーム内符号化画像として扱われた復号化画像に続く特定期間分の再生画像を生み出す部分的な受信ビットストリームを録画データとして記録することを特徴とする。
【００１４】
本発明によれば、上記仮想的フレーム内符号化画像を初期データとして、録画データとして記録された後続フレームのビットストリームを次々と復号化し、再生画像として表示することが可能となる。上記仮想的フレーム内符号化画像は、復号化画像を再符号化して得られた符号化データの形で保存されてもよい。上記仮想的フレーム内符号化画像の選択は、基本的にはユーザが録画指定したタイミングで行われ、これによって、表示された動画中でユーザが所望する場面が録画される。
【００１５】
本発明の好ましい実施例では、ユーザ操作の遅れとユーザ指令に対する応答動作の遅れに起因した録画開始タイミングの遅れを回避するために、受信動画を再生中の端末装置が、上記仮想的フレーム内符号化画像を所定の周期で定期的に更新し、仮想的フレーム内符号化画像の更新の都度、改めて部分的受信ビットストリームを記録し直す予備録画モードで動作する。予備録画モードで動作中にユーザが録画を指定すると、上記仮想的フレーム内符号化画像の更新を抑制し、受信ビットストリームの記録動作を継続する録画保存モードに移行する。録画保存モードは、ユーザが録画終了を指示するか、録画用メモリが満杯になった時に終了する。仮想的フレーム内符号化画像の更新周期を適当に設定することによって、ユーザが所望した場面から確実に録画することが可能となる。
【００１６】
I-VOPとP-VOPのみを利用する一般的なMPEG-4復号器では、２面のフレームメモリを用意し、一方を動き予測処理における参照VOP画像用、他方を現VOP画像用のフレームメモリとしてフレーム単位の復号化処理を実行し、復号化サイクル毎にメモリ用途を交互に切り替えるようになっている。この場合、参照VOP用のフレームメモリに蓄積された復号化画像は、次の復号化サイクルで、新たな復号化画像の上書きによって消滅してしまう。
【００１７】
本発明の第１の実施例では、上記参照VOP用のフレームメモリに蓄積された復号化画像を瞬時に、且つ、任意の期間、仮想的フレーム内符号化画像（以下、仮想I-VOP画像と言う）として保存する目的で、MPEG復号器に第３のフレームメモリを追加する。常時は、参照VOP画像用、現VOP画像用に割当てられた２つのフレームメモリを交互に切り替えることによって、受信ビットストリームがフレーム単位で復号化される。仮想I-VOP画像の更新タイミングでは、参照VOP画像用のフレームメモリを仮想I-VOP画像用に切り替え、それまで仮想I-VOP画像用となっていたフレームメモリを現VOP画像用に切り替える。上記構成によれば、フレームメモリ間の画像データ転送を行うことなく、復号化画像を瞬時に保存した上で、後続フレームを復号化できる。
【００１８】
仮想I-VOP画像に続く特定期間分の再生画像を生み出す部分的な受信ビットストリームは、録画メモリとなるビットストリームメモリに蓄積される。本実施例において、録画の再生は、仮想I-VOP画像用のフレームメモリを参照VOP画像用に切り替え、ビットストリームメモリから読み出された符号化データをMPEG復号器に供給することによって達成される。
【００１９】
本発明の第２の実施例では、上記第３のフレームメモリに代えて、MPEG符号器を使用し、仮想I-VOP画像の更新タイミングとなった時点で、参照VOP画像用のフレームメモリに蓄積されている参照VOP画像をMPEG符号器に供給する。MPEG符号器で符号化された画像データは、ビットストリームメモリに蓄積される。従って、第２実施例では、仮想I-VOP画像と後続画像が全て符号化データとしてビットストリームメモリに蓄積され、録画再生時には、ビットストリームメモリから読み出された符号化データが次々とMPEG復号器に供給される。
【００２０】
【発明の実施の形態】
以下、本発明の実施例について図面を参照して説明する。
図６は、例えば、携帯電話などの無線通信端末に搭載される本発明による動画データ処理システムの第１の実施例を示す。
本実施例は、MPEG-4デコーダ503が、参照VOP用フレームメモリ、現VOP用フレームメモリの他に、仮想I-VOP画像保存用の第３のフレームメモリを備えたことに特徴がある。各種のアプリケーション・ソフトウェア（プログラム）を実行するマイクロプロセッサと、動画像データを処理するDSP(ディジタルシグナルプロセッサ)とを備えた無線通信端末においては、上記MPEG-4デコーダ503の機能をDSPによるデータ処理によって実現できる。ここでは、MPEG-4デコーダ503をDSPによって構成した動画データ処理システムについて説明するが、MPEG-4デコーダ503の機能は専用LSIで実現されてもよく、また、マイクロプロセッサのデータ処理機能を利用するソフトウェアによって実現されていてもよい。
【００２１】
図において、501はアプリケーション制御部(マイクロプロセッサ)、502は受信された符号化データ(ビットストリーム)を一時的に蓄積する入力バッファ、503はMPEG-4デコーダ、504は液晶表示装置等からなる復号VOP画像出力部、505は配信された動画像の一部を保存するためのビットストリームメモリ、506は保存データ制御用のスイッチ、507は入力データ選択用のスイッチングゲート、508はユーザが操作する各種の入力ボタンを備えた入力装置を示す。
MPEG-4デコーダ部503、出力部504、ビットストリームメモリ505、スイッチ506およびゲート507は、アプリケーション制御部501から出力される制御信号521、522、520、523、524によってそれぞれ制御される。また、入力バッファ502は、アプリケーション制御部501から出力される制御信号525によってクリアされる。
【００２２】
配信動画像を復号化して表示画面に出力する受信動画像出力モードでは、スイッチングゲート507が、図面からは省略された無線受信回路から出力される動画符号化データ(ビットストリーム)を選択し、パス511を介して入力バッファメモリ502に供給する。入力バッファメモリ502に一時的に蓄積された動画符号化データは、順次に読み出され、パス512、514を介してデコーダ503とスイッチ506に供給される。スイッチ506は、制御信号523によってオンオフ制御され、オン期間中の符号化データがパス515を介してビットストリームメモリ505に入力される。ビットストリームメモリ505へのデータの書き込みと読み出しは制御信号520によって制御される。
【００２３】
MPEG-4デコーダ部503は、第１、第２、第３のフレームメモリ101、102、103と、フレームメモリ制御部100と、パス512から入力された符号化データを解析する分離部104と、誤差復号部105と、動き補償部106と、上記誤差復号部105と動き補償部106の出力を加算する加算器107と、上記加算器からの出力を第１、第２、第３のフレームメモリ101〜103に選択的に供給するための第１のスイッチングゲート108と、第１、第２、第３のフレームメモリ101〜103の出力を出力部504と動き補償部106に選択的に供給するための第２のスイッチングゲート109とからなっている。上記フレームメモリ制御部100は、アプリケーション制御部501からの制御信号521に応答して、第１、第２のスイッチングゲート108、109に制御信号111、112を与え、フレームメモリ101〜103の入出力を切り替える。
【００２４】
上記分離部104は、パス512から入力される符号化データを解析してヘッダ情報を検出する。解析動作を開始してから最初のヘッダ情報が検出される迄に入力された符号化データは廃棄される。分離部104は、検出された各ヘッダ情報から画像サイズと時刻精度情報を抽出し、これらをアプリケーション制御部501に渡す。分離部104は、VOLヘッダに含まれる適用ツール情報から一意に決まるデータ構造に従って、上記ヘッダ情報に後続して入力される一連のVOPデータを解析し、各VOPデータから抽出された時刻関連情報、誤差関連情報、動き関連情報を、それぞれアプリケーション制御部501、誤差復号部105、動き制御部106に振り分ける。
【００２５】
上記MPEG-4デコーダ部503において、符号化データは分離部104に入力され、各VOPから抽出された誤差情報と動き情報が、それぞれ誤差復号部105と動き補償部106に分配される。今、第１フレームメモリ101が現VOP画像用、第２フレームメモリ102が参照VOP画像用、第３フレームメモリ103が仮想I-VOP画像用に割当てられたVOP復号化サイクルを想定する。参照VOP画像用となった第２フレームメモリ102には、前サイクルで復号化されたVOP画像データが保存されている。
【００２６】
フレームメモリ制御部100は、第２フレームメモリ102に記憶された参照VOP画像が動き補償部106と出力部504に供給されるようにスイッチングゲート109を切り替え、加算器107から出力される復号VOP画像信号が第１フレームメモリ101に入力されるようにスイッチングゲート108を制御する。動き補償部106は、分離部104から入力される新VOPの動き情報と参照VOP画像とを用いて動き補償処理を行い、予測VOP画像を生成する。加算器107は、上記予測VOP画像と誤差復号部105から出力される誤差画像とを合成して復号VOP画像を生成する。この復号VOP画像は、スイッチングゲート108を介して第１フレームメモリ101に入力される。フレームメモリ制御部100は、１つのVOPについて復号処理が完了する毎に、制御信号526によって、VOP処理の終了と復号済みVOPの種類および出力時刻をアプリケーション制御部501に通知する。
【００２７】
フレームメモリ制御部100は、次のVOPの復号処理に先立って、アプリケーション制御部501から与えられる制御信号521に応じて上記第１〜第３フレームメモリの役割を変更する。例えば、上記制御信号521によって、参照VOP画像の保存が指示されていた場合は、今回参照VOP画像用として使用した第２フレームメモリ102を仮想I-VOP画像用に切り替え、復号VOP画像用として使用した第１フレームメモリ101を参照VOP画像用に切り替え、それまで仮想I-VOP画像が蓄積されていた第３フレームメモリ103を現VOP画像用に切り替える。もし、参照VOP画像の保存が指示されていなければ、今回参照VOP画像用として使用した第２フレームメモリ102を現VOP画像用に切り替え、復号VOP画像用として使用した第１フレームメモリ101を参照VOP画像用に切り替え、第３フレームメモリ103に蓄積されている仮想I-VOP画像はそのまま保持する。出力部504は、第２スイッチングゲート109からパス513に出力された画像を、制御信号522として与えられる出力画像サイズ、表示タイミング、時刻情報に従って表示画面に出力する。
【００２８】
本実施例では、上述したように、第１〜第３フレームメモリのうちの何れを仮想I-VOP画像用として使用し、仮想I-VOP画像以降のビットストリームをメモリ505の蓄積する。仮想I-VOP画像の変更は、アプリケーション制御部501から参照VOP保存指令の形で指定される。
【００２９】
アプリケーション制御部501は、例えば、入力装置508を通してユーザから録画開始指示を受けた時点で、スイッチ506とフレームメモリ制御部100に制御信号523、521を与えることによって、仮想I-VOP画像の変更（参照VOP画像の保存）とメモリ505へのビットストリームの蓄積動作を開始できる。但し、ユーザから指示を待って録画動作を開始すると、例えば、アプリケーションプログラムのキャッシュ制御における遅延等によって、録画開始位置がユーザ所望の画面から遅れる可能性がある。
【００３０】
そこで、本発明の好ましい実施例では、アプリケーション制御部501が、動画の表示中にスイッチ506を常時オン状態にし、制御信号520と521によって保存ビットストリームと仮想I-VOP画像を定期的に更新する予備録画モード動作を実行する。このモードでは、ビットストリームメモリ505の記憶容量および制御遅れ時間に応じて設定される所定の周期で仮想I-VOP画像を定期的に更新する。また、仮想I-VOP画像の更新の都度、ビットストリームメモリ505に蓄積済みの不要VOP列（符号化データ）を無効にし、新たに受信したVOP列で順次に書き換える。ユーザから録画開始指示を受けた場合、仮想I-VOP画像の周期的更新動作を抑制し、ビットストリームメモリ505の記憶容量の範囲内で受信ビットストリームの蓄積する録画保存モードに移行する。
【００３１】
上記方法によれば、ユーザからの録画開始指示に先行して録画動作が実行されているため、ユーザから録画再生指示があった時、ユーザが所望した録画開始画面から所定時間分の動画を再生出力することが可能になる。例えば、予備録画モードでは、ビットストリームメモリ容量の一部を利用し、ユーザからの録画開始指示に対する応答遅れを十分に補える数VOP〜数１０VOP期間の符号化データを周期的に記憶しておく。ユーザからの録画開始指示に応答して録画保存モードに移行し、仮想I-VOPの更新を停止して、ビットストリームメモリ505の残り全容量を後続符号化データの蓄積に使用すれば、メモリ容量を有効に利用してユーザが所望する動画シーンを録画することができる。
【００３２】
録画保存モードでは、録画データの再生に備えて、ユーザからの録画開始指示と録画録終了指示に対応した時刻情報を記憶しておく。これらの時刻情報としては、MPEG-4で「modulo_time_base」、「vop_time_increment」と呼ばれる情報を利用できる。これらの情報は各VOPに含まれており、modulo_time_baseは秒単位、vop_time_incrementは秒以下の時間を示す。上記vop_time_incrementの精度は、各VOLヘッダに「vop_time_increment_resolution」として設定されている。
【００３３】
上記modulo_time_baseは、前のVOPが示す秒時刻との相対値を表しており、秒単位の時間差に相当した個数のビット“1”を含むビットパターンとなっている。例えば、そのVOPの時刻が前VOPと秒単位で一致する場合には“0”、１秒異なる場合は“10”、２秒異なる場合は“110”となる。各VOPの秒以下の時刻は、vop_time_incrementによって、vop_time_increment_resolutionの精度で示される。従って、時刻情報としては、vop_time_incrementについてはその復号値、modulo_time_baseについては録画開始VOPを基準としたビット“1”の個数を記録すればよい。尚、modulo_time_baseについては、更新開始VOPを基準としたビット“1”値の個数としてもよい。
【００３４】
次に、図７〜図１０を参照して、P-VOPが仮想I-VOPとなった場合の予備録画モードにおけるMPEG-4デコーダ503の動作について説明する。
図７は、スイッチングゲート507を介して入力バッファ502に供給される受信ビットストリーム300の１例を示す。受信ビットストリーム300は、ヘッダ情報311の直後に位置したIフレーム（I-VOP）311と、それに続く複数のPフレーム（P-VOP）331、332、…とからなっている。図中、符号I、Pに付された数字はフレーム番号を表している。今、上記ビットストリームにおけるP2フレーム332が録画開始VOP、P4フレーム334が表示中、P5フレーム335が復号中の状態にあるものと仮定する。
【００３５】
この状態では、図８に示すように、入力バッファメモリ502には、これから復号化されるP5フレーム以降の符号化データが蓄積されている。ここで、第３フレームメモリ103が仮想I-VOP用となって録画開始VOP（P2フレーム）を蓄積していた場合、残りの第１フレームメモリ101と第２フレームメモリ102が現VOP画像用、参照VOP画像用として交互に使い分けられる。例えば、P4フレームの復号化サイクルで第２フレームメモリ102が現VOP画像となっていた場合、P5フレームの復号化サイクルでは、第２フレームメモリ102が参照VOP画像用となって、P5フレームの復号ブロック画像が現VOP画像用の第１フレームメモリ101に次々と蓄積される。ビットストリームメモリ505には、符号化データの解析に必要なヘッダ情報311と、現在録画開始VOPとなっているP2フレームに続くP3フレーム333以降の符号化データとが順次に保存される。
【００３６】
P5フレームの復号化が完了した時点で、アプリケーション制御部501から制御信号521によって仮想I-VOP画像の更新が指令されたと仮定する。この場合、図９に示すように、それまで参照VOP画像用となっていた第２フレームメモリ102が仮想I-VOP画像用に、現VOP画像用となっていた第１フレームメモリ101が参照VOP画像用に、仮想I-VOP画像用となっていた第３フレームメモリ103が現VOP画像用にそれぞれ切り替えられ、次のP6フレーム336の復号化サイクルが実行される。この時、ビットストリームメモリ505に蓄積済みとなっていたP3、P4フレームの符号化データからなる部分ビットストリームは無効になり、新たな仮想I-VOP画像（P4フレーム）に続くP5フレーム以降の符号化データが蓄積されることになる。
【００３７】
P5フレームの復号化が完了した時点で、もし、アプリケーション制御部501が仮想I-VOP画像の更新指令を出さなかった場合は、図１０に示すように、ビットストリームメモリ505に復号化済みとなったP5フレームの符号化データが追加され、第１フレームメモリ101を参照VOP画像用、第２フレームメモリ102を現VOP画像用として、P6フレームの復号化サイクルが実行される。
【００３８】
上述したように、予備録画モードでは、アプリケーション制御部501からの制御信号521で、所定のフレーム間隔で周期的に仮想I-VOP画像の更新を指令することによって、ビットストリームメモリ505に所定時間分の動画符号化データ（部分的ビットストリーム）の蓄積を繰り返しておき、ユーザから録画開始の指示があった時、録画保存モードに移行し、仮想I-VOP画像の自動更新を抑制した状態で、画像データの蓄積を継続的に行う。
【００３９】
録画保存モードでは、図１０で説明した動作を繰り返すことによって、ビットストリームメモリ505が許容する範囲内で受信動画の後続ビットシーケンスを蓄積する。録画保存モードで符号化データの蓄積を繰り返している間に、ユーザから録画終了の指示があった場合は、蓄積済みの動画符号化データを保存する。この場合、ビットストリームメモリ505の残り容量の範囲内で予備録画モードによるデータ蓄積動作を再開できるが、ユーザから特別な指示がない限り、予備録画モードの再開を抑制するようにしてもよい。
【００４０】
予備録画モードとこれに続く録画保存モードでビットストリームメモリ505に蓄積された符号化データは、ユーザから再生指示があった時、ヘッダ情報311に続いてパス516に順次に読み出され、スイッチングゲート507と入力バッファ502を介してMPEG-4デコーダ503に入力される。これらの符号化データは、MPEG-4デコーダ503において、仮想I-VOP画像を初期画像として復号処理され、再生画像が表示画面に出力される。録画データの全てについて再生動作が終了した時、録画保存を解除し、自動的に予備録画モード動作を再開させるようにしてもよい。
【００４１】
尚、図９では、ビットストリームメモリ505の蓄積内容を明確にするために、無効データ（P3、P4フレーム）を消去した形となっているが、実際の応用では、ヘッダ311の記憶領域以外のメモリ領域をリングメモリとして使用し、P5フレームの符号化データを図１０に示すようにP4フレームの次に書き込み、P5フレーム書き込み領域の先頭アドレスを有効データ領域の開始アドレスとして記憶するようにしてもよい。この場合、ビットストリームメモリ505の最後の領域に符号化データが書き込まれた時点で、書き込みアドレスがヘッダ311の次の位置に戻り、新たな符号化データが無効データ（P3、P4フレーム）領域に上書きされ、録画再生時に、有効データ領域の開始アドレスから符号化データ列（ビットストリーム）が読み出される。
【００４２】
次に、図１１〜図１４を参照して、受信ビットストリームのP-VOP列中にI-VOPが含まれていた場合の予備録画モード動作について説明する。
図１１は、I-VOPが仮想I-VOPとなり得る受信ビットストリーム300-2の１例を示す。受信ビットストリーム300-2は、図７に示したビットストリーム300と異なり、第４VOP334-2がI-VOP（I4）になっている。今、P2フレーム332が録画開始VOP、I4フレーム334-2が参照VOP表示中、P5フレーム335が現在復号中の状態にあるものと仮定する。
【００４３】
この状態では、図１２に示すように、入力バッファメモリ502には、これから復号化されるP5フレーム以降の符号化データが蓄積され、仮想I-VOP画像用となった第３フレームメモリ103にP2フレームが蓄積され、例えば、参照VOP画像用となった第２フレームメモリ102にI4フレームが蓄積され、このI4フレームを参照して、P5フレームが復号化処理され、復号化画像が順次に現VOP画像用の第１フレームメモリ101に蓄積される。また、ビットストリームメモリ505には、ヘッダ情報311と、録画開始VOPであるP2フレームに後続するP3、I4フレームの符号化データ333、334-2が保存されている。
【００４４】
上記I4フレームのようにI-VOPを参照VOPとして復号化が行われた時、アプリケーション制御部501から仮想I-VOPの更新が指令された場合は、図１３に示すように、I4フレームを蓄積した第２フレームメモリ102が仮想I-VOP画像用となり、第１フレームメモリ101が現VOP画像用から参照VOP画像用に切り替えられ、第３フレームメモリ103が仮想I-VOP画像用から現VOP画像用に切り替えられる。また、ビットストリームメモリ505では、それまで蓄積されていたP3、I4フレームの符号化データが無効にされ、仮想I-VOP画像（I4フレーム）に後続するフレーム（P5、P6、…）の符号化データが順次に蓄積される。
【００４５】
上述したように、I-VOPが仮想I-VOPとなった時、これを検出したアプリケーション制御部501からビットストリームメモリ505に指令して、例えば、図１４に示すように、I4フレームより前の画像データを無効にし、I4フレーム以降のフレームの符号化データ334-2、335、336、…が残るように制御してもよい。この場合、ユーザから録画再生の指示があった時、ビットストリームメモリ505から読み出されたI4フレームの符号化データを利用して、P5フレーム以降の符号化データが復号化される。
【００４６】
次に、図６に示した動画データ処理システムによる録画データの再生処理について説明する。
アプリケーション制御部501は、入力装置508を通してユーザから録画データの再生指示を受けると、制御信号521によってフレームメモリ制御部100に録画の再生を指令する。この指令に応答して、フレームメモリ制御部100は、現時点で仮想I-VOP画像用となっているフレームメモリの内容が参照VOPとして動き補償部106に入力されるように、スイッチングゲート109に切り替え制御信号112を与え、残りのフレームメモリの一方が現VOP画像用となるように、スイッチングゲート108に切り替え制御信号111を与える。アプリケーション制御部501は、上記録画再生指令（制御信号521）に引き続いて制御信号523、524、525を発生し、これによって、入力バッファメモリ502をクリアし、入力バッファメモリ502からビットストリームメモリ505へのデータ入力を遮断した状態で、ビットストリームメモリ505からパス516に読み出されたデータがスイッチングゲート507を介して入力バッファ502に供給されるようにする。
【００４７】
図８〜図１３で説明したように、仮想I-VOP画像用フレームメモリにP-VOP（またはI-VOP）の復号化データを保持し、ビットストリームメモリ505に後続フレームの符号化データを蓄積した場合は、入力バッファ502から読み出された符号化データをMPEG-4デコーダ503に順次に供給し、仮想I-VOP画像用フレームメモリから得られたP-VOP（またはI-VOP）の画像フレームを参照VOPとして後続フレームの復号化を開始する。その後は、フレーム毎に現VOP画像用フレームメモリと参照VOP画像用フレームメモリを切り替えることによって、録画データが次々と再生される。
【００４８】
参照VOP画像用フレームメモリに得られた再生画像は、順次に出力部504に出力される。この時、ビットストリームメモリ505から読み出された各フレームの同期時刻をアプリケーション制御部501でチェックしておき、ユーザが録画を指定した時刻のフレームから表示を開始するように、制御信号522で出力部504を制御するようにしてもよい。
【００４９】
図１４で説明したように、ビットストリームメモリ505にI-VOPから始まる符号化データが蓄積された場合は、仮想I-VOP画像用フレームメモリを動き補償部106に接続するためのスイッチングゲート109の制御動作を省略し、ビットストリームメモリ505から読み出された画像符号化データを順次にMPEG-4デコーダに供給すればよい。
【００５０】
図１は、MPEG-4コーデックから保存VOP画像用のフレームメモリを省略した本発明による動画データ処理システムの第２の実施例を示す。この実施例は、仮想I-VOP画像用のフレームメモリの代りにMPEG-4エンコーダ601を使用し、参照VOP画像用のフレームメモリの出力を上記MPEG-4エンコーダ601に選択的に入力するためのスイッチングゲート110を設けたことを特徴としている。
【００５１】
本実施例では、第１、第２のフレームメモリ101、102の一方を現VOP画像用、他方を参照VOP画像用とし、その役割をフレーム毎に交互に切り替え、各符号化サイクルで参照VOP画像用フレームメモリの出力を動き補償部106に供給することによって、受信ビットストリームを復号化する。また、参照VOP画像用フレームメモリの内容を出力部504に出力することによって受信動画を表示する。
【００５２】
予備録画モードを実行中のアプリケーション制御部501は、図６で説明した第１実施例と同様、制御信号521によって、フレームメモリ制御部100に周期的に仮想I-VOP画像の更新を指令する。フレームメモリ制御部100は、上記仮想I-VOP画像の更新指令を受けると、次フレームの復号化サイクルで、参照VOP画像用フレームメモリの出力が動き補償部106とMPEG-4エンコーダ601の両方に入力されるように、スイッチングゲート110を切り替える。
【００５３】
MPEG-4エンコーダ601は、スイッチングゲート110からパス611を介して入力された参照VOP画像をイントラ符号化する。MPEG-4エンコーダ601でイントラ符号化された参照VOP画像は、ヘッダ情報を含む符号化データとしてパス612に出力され、仮想I-VOPとしてビットストリームメモリ505に蓄積される。但し、上記MPEG-4エンコーダが、ビットストリームメモリ505に保存済みのヘッダ情報と同じ情報で上記参照VOP画像の符号化処理を実行する場合は、新たに生成されたヘッダ情報を必ずしも保存する必要はない。この場合、MPEG-4エンコーダ601は、フレーム内符号化機能のみを持っていればよいことになる。
【００５４】
例えば、P4フレームの復号化処理を終えた時点で、アプリケーション制御部501から仮想I-VOPの更新指令が発行された場合、フレームメモリ制御部100は、上記P4フレームを参照VOPとするP5フレームの復号化サイクルにおいて、P4フレームをMPEG-4エンコーダ601に供給する。
MPEG-4エンコーダ601で再符号化されたP4フレームの再符号化データ（ビットストリーム）411は、例えば、図１５に示すように、ビットストリームメモリ505内でヘッダ情報311の直後に書き込まれる。今回符号化されたP5フレームの符号化データ（ビットストリーム）335と、その後に符号化される後続フレームの符号化データ336、…は、上記再符号化データ411の後に書き込まれる。但し、再符号化データ（ビットストリーム）411は、例えば、図１６に示すように、ヘッダ情報311の前に位置させてもよい。
【００５５】
ビットストリーム411の位置は、アプリケーション制御部501で認識されているため、録画データの再生時には、仮想I-VOPとなるビットストリーム411を最初に読み出し、その復号VOP画像を参照VOPとして、次フレーム以降のビットストリームを順次に復号化すればよい。尚、MPEG-4では、ヘッダ情報の再送が認められているため、図１６に示すように、P4フレーム再符号化データ411の後に受信符号化データのヘッダ情報311が存在した場合でも、復号処理は可能となる。
【００５６】
また、図１１に示したI4フレーム334-1のように、受信ビットストリームが先頭I-VOP以外のI-VOPフレームを含む場合、定期的な更新に加えて、各I-VOPの復号タイミングに合わせて仮想I-VOPを更新したければ、アプリケーション制御部501において保存対象となるVOPの種類を判定し、I-VOPフレームを参照VOPとする復号化サイクルではMPEG-4エンコーダへのデータ供給を省略すればよい。この場合、ビットストリームメモリ505の内容は、例えば、図１４で説明した形式で更新される。
【００５７】
図１７は、本発明による動画データ処理システムの第３の実施例を示す。
本実施例では、MPEG-4デコーダが現VOP画像用、参照VOP画像用、仮想I-VOP画像用の３個のフレームメモリ101〜103を具備し、更にMPEG-4エンコーダ601が付加された構造となっている。本実施例によれば、参照VOPを仮想I-VOP画像用のフレームメモリに保存した後、任意のタイミングで再符号化し、仮想I-VOPとしてビットストリームメモリ505に蓄積するという制御手順が採用可能となる。
【００５８】
上述した第１、第２の実施例において、仮想I-VOP画像用となるフレームメモリは、出力部504に表示される動画像の動きを一時的に停止するためのフレームメモリとしても利用できる。例えば、ユーザから表示画面の一時停止要求があった時、スイッチングゲート111によって、現在、表示画面に出力されている参照VOP画像用フレームメモリを仮想I-VOP画像用フレームメモリに切り替えると共に、該仮想I-VOP画像用フレームメモリの内容を出力部504に出力するようにスイッチングゲート109を切り替える。このスイッチ操作によって、表示部への動画出力が一時的に停止し、表示画面を静止画状態にすることが可能となる。
【００５９】
尚、表示画面の停止期間中は、受信ビットストリームの復号化処理を中断してもよいし、他の２つのフレームメモリを利用して受信ビットストリームの復号処理を継続しても良い。後者の場合、参照VOP画像用のフレームメモリの内容は、動き補償部106に供給されて次フレームの復号化処理に利用されるだけであり、出力部504には反映されない。表示画面停止期間中に保存用ビットストリームメモリ505に受信ビットストリームを蓄積しておき、ビットストリームメモリが満杯となった時点で復号処理を停止するようにしても良い。
【００６０】
また、入力バッファ502が比較的大容量の場合は、表示画面停止期間中に受信されたビットストリームを入力バッファに蓄積しておき、入力バッファが満杯になった時点で一時停止を解除するようにしてもよい。画像配信サーバが、端末からの一時停止要求に応じてデータの配信を一時的に停止する機能を備えている場合には、ユーザが表示画面の一時停止を指示した時、アプリケーション制御部501から画像配信サーバにデータ配信の一時停止を要求し、ユーザが表示画面の一時停止を解除した時、画像の配信動作を再開するようにしてもよい。
【００６１】
上記表示画面の一時停止機能は、録画データの再生時にも利用できる。例えば、録画データを再生表示中に、ユーザからの表示画面一時停止要求に応じて画面を固定し、停止解除要求に応じて後続フレームの再生表示を再開することによって、ユーザに録画された特定のシーンをじっくりと検討する機会を与えることが可能となる。
【００６２】
録画データの中から特定のシーンを検索するためには、録画再生画像のコマ送り機能が有効となる。例えば、録画データに対してユーザがコマ送り再生を指示した場合、フレームメモリ制御部100が復号化サイクル間に自動的に休止期間を設定し、表示画面をフレーム毎に識別できる程度の周期で切り替える。この場合、画面の切り替え周期をユーザからの指示に応じて可変にしてもよい。また、ユーザからの指示に応じて１フレームずつコマ送りするようにしてもよい。尚、検索した画像をキャプチャすれば壁紙として利用できる。
【００６３】
図１８は、本発明による動画データ処理システムの第４の実施例を示す。
上述した第２、第３の実施例では、仮想I-VOPとして保存すべき参照VOPをMPEG-4エンコーダ601によって再符号化し、ビットストリームメモリ505に蓄積している。これは、仮想I-VOPの符号化方式をビットストリームメモリ505に蓄積された後続フレームの符号化方式と統一することによって、ビットストリームメモリ505から読み出された全ての録画データを同一のMPEG-4デコーダ503で処理できるようにするためである。しかしながら、仮想I-VOPを受信ビットストリームとは異なる符号化方式で符号化しておき、録画データの再生処理時に、仮想I-VOPのみを後続フレームとは別の復号化方式で復号処理し、これを参照VOPとして後続フレームを再生することも可能である。
【００６４】
図１８に示した第４の実施例は、図１に示した動画像符号化方式のMPEG-4エンコーダ601の代りに静止画像符号化方式であるJPEGのエンコーダ701を使用し、これによって仮想I-VOPを生成する。すなわち、参照VOP画像用のフレームメモリ101または102の画像データをJPEG方式で再符号化し、仮想I-VOPとしてビットストリームメモリ505に蓄積する。仮想I-VOPに続く後続フレームの符号化データはMPEG-4方式のままビットストリームメモリ505に蓄積される。
【００６５】
録画再生時には、上記仮想I-VOPをビットストリームメモリ505からパス713に読み出し、JPEGデコーダ702で復号化された仮想I-VOP画像をスイッチングゲート108によって参照VOP画像用のフレームメモリ101または102に設定する。ビットストリームメモリ505から読み出された後続フレームの符号化データは、上記仮想I-VOPを初期画面として次々とMPEG-4デコーダ503で復号化される。このように、仮想I-VOPを静止画像符号化方式のエンコーダで再符号化することにより、仮想I-VOP画像の符号化データサイズを更に圧縮することが可能となる。
上記第４実施例の方式は、図１７に示した３面のフレームメモリを備えた動画処理システムにも同様に適用できる。また、仮想I-VOP画像の符号化／復号化方式としては、JPEG以外に、例えば、MPEG-4静止画像符号化方式や、ZIPのような他の符号化／復号化方式や圧縮ツールを適用してもよい。
【００６６】
上述した実施例では、受信ビットストリームがMPEG-4で符号化されたものとなっているが、本発明の動画データ処理システムでは、デコーダ503を受信ビットストリームの符号化方式に適合させることによって、例えば、MPEG-1、MPEG-2、H.261、H.263等、他の符号化方式で圧縮された動画データも処理できる。符号化方式によっては、図３に示したヘッダ情報が存在しないが、その場合はヘッダ情報の復号とビットストリームメモリへの蓄積を省略すればよい。
【００６７】
また、上述した実施例では、参照VOP画像用のフレームメモリの内容を動き補償部106と出力部504に供給し、ユーザから録画開始の指示があった時、表示画面に相当する参照VOP画像用のフレームメモリの内容を録画開始画面とみなして、上記参照VOPに付随する時刻情報を記憶して録画データの再生を制御している。しかしながら、表示画面に対するユーザ操作の遅れを考慮すると、ユーザから録画開始の指示があった時、参照VOPよりも前のフレームを録画開始画面として取り扱うようにしてもよい。
【００６８】
また、現VOP画面用、参照VOP画面用のフレームメモリの他に、表示画面の出力画像を保持する表示VOP画面用のフレームメモリを用意し、通常は、現VOP画面用、参照VOP画面用、表示VOP画面用、現VOP画面用の順でフレームメモリ用途を切り替えておき、仮想I-VOPの更新時には、表示VOP画面用を仮想I-VOP画面用に切り替え、仮想I-VOP画面用を現VOP画面用として使用するようにしてもよい。
【００６９】
このように表示VOP画像用のフレームメモリと復号処理に関与する参照VOP画像、現VOP画像用のフレームメモリとを別メモリにした場合、画像の復号化処理と表示処理とを完全に分離されるため、例えば、出力部の都合によって表示VOP画像用メモリの内容を変更する必要が生じた場合でも、復号化処理に与える悪影響を回避することが可能となる。また、上記フレームメモリ構成において、例えば、参照VOP画面用のフレームメモリの内容を表示画面に出力し、表示VOP画面用のフレームメモリを前表示VOP画面用として使用すれば、ユーザが録画指定した時、現在の表示画面より１つ前のフレームを録画開始VOPまたは仮想I-VOPとして記憶することが可能となる。
【００７０】
次に、配信動画データの録画、録画データの再生、再生画面の一時停止を指示するためのユーザ・インターフェースについて説明する。
図１９は、ビデオ処理用専用の操作ボタンとして、再生ボタン821、録画ボタン822、停止ボタン823、一時停止ボタン824を備えた端携帯電話端末800の操作面の１例を示す。
【００７１】
再生ボタン821は、例えば、ユーザがWeb検索等により見つけたビデオデータを受信して表示画面811に再生する際、または録画した符号化データを再生する際に用いる。上記再生ボタン821が押されると、アプリケーション制御部501が動画再生制御用のプログラムやDSP600を起動し、復号化された画像を出力部504の一部となる表示画面811に出力する。時刻表示領域812には、再生開始時刻から現在までの経過時間（「２秒２５」）が刻々と表示される。
【００７２】
記録ボタン822は、録画開始をMPEG-4デコーダに指示するために用いられる。MPEG-4デコーダが保存VOP画像（仮想I-VOP）を周期的に更新しながら予備録画モードで受信画像を記録している時、ユーザが記録ボタン822を操作（録画指示）した場合、アプリケーション制御部501は、保存VOP画像の周期的更新を中止し、録画開始フレーム（現在表示中の画像フレーム）の符号化データに付随している同期時刻を記憶すると共に、それ以降の受信画像を録画保存モードでビットストリームメモリ505に蓄積する。記憶された同期時刻は、時刻表示領域812に録画開始時刻として表示される。図示した例では、受信画像の再生開始から2秒05経過した時点で録画が開始されたことを示している。
【００７３】
録画データの再生方法としては、例えば、ビットストリームメモリ505に蓄積された録画データの先頭VOPから再生表示する方法と、ユーザが録画を指示した時刻（録画開始同期時刻）のVOPから再生表示する方法とがある。通常は録画開始同期時刻のVOPから再生し、ユーザが特別に指定した場合に限り録画先頭VOPから再生するようにすればよい。
【００７４】
停止ボタン823は、受信画像の再生動作、録画動作、録画再生動作を停止させるために用いられる。録画動作中に停止ボタン823が操作された場合は、その時点で復号化処理中の符号化データに付随した同期時刻を記憶すると共に、これを録画終了時刻として時刻表示領域812に表示し、ビットストリームメモリに録画された最終フレーム（符号化データ）の後にエンドコードを記録する。録画保存モードで動作中にビットストリームメモリ505が溢れそうになった場合は、ユーザからの録画停止指示を待つことなく自動的に録画を終了し、録画終了時刻を表示する。
尚、時刻表示領域812が狭い場合、上記録画終了時刻は、例えば、録画開始時刻に代えて表示するか、経過時間を示す現在VOPの同期時刻の表示を停止し、そこに録画終了時刻を一時的に表示するなどの方式を採用すればよい。
【００７５】
一時停止ボタン824は、受信画像や録画の再生動作一時的に停止し、表示画面を静止させるために用いられる。受信画像の再生動作停止期間中、MPEG-4デコーダ503は、前述したように復号処理を継続しても良い。一時停止ボタン824をもう一回押せば、一時停止状態を脱して再生動作が再開される。前述した表示画面のコマ送りは、例えば、一時停止の状態で再生ボタン821を押すことによって指示できる。また、コマ送り状態から通常の再生モードへの復帰は、例えば、一時停止ボタンを押してから再生ボタンを押す操作によって指示できる。
【００７６】
図２０は、図１８に示したビデオ関連専用ボタン821〜824の機能を数字ボタンに置き換えた携帯電話端末801の操作面の１例を示す。
831はVideoボタンであり、これを押すことにより端末はビデオモード（受信動画出力コード）に入り、時刻表示部812にビデオモードを示す記号“V”が表示される。端末がビデオモードに入ると、数字１の入力ボタン834が再生ボタン、数字２の入力ボタン835が記録/停止ボタン、数字３の入力ボタン836が一時停止ボタンとして機能する。832と833はボリュームボタンであり、一時停止中にボタン832がコマ送りボタンとして機能する。
【００７７】
上記図１９、図２０に示したユーザ・インタフェースは単なる実施例に過ぎず、本発明による動画像の記録／再生制御において、ユーザからの制御指令は、アイコン選択方式や他のボタン操作方式など、他の任意の入力方式を採用できることは明らかである。
【００７８】
以上、本発明の実施例について説明したが、本発明は次のような変形を含む。
（１）受信ビットストリームは、図２に示したように、途中にB-VOPを含む符号化データであってもよい。但し、ビットストリームメモリに保存すべき符号化データの先頭がB-VOPとなる場合は、先頭VOPとこれに連続する複数B-VOPの符号化データを保存対象から除外できる。もし、B-VOPを復号して表示したい場合は、参照VOP画像用のフレームメモリを増設する必要がある
（２）受信ビットストリームは矩形画像以外の任意形状画像のものでもよい。但し、MPEG-4では、参照VOP画像の各符号化ブロックの形状タイプを必要とするため、矩形画像以外のビットストリームを復号化する場合は、仮想I-VOPの更新時時および録画開始時に、符号化データの同期時刻情報と各符号化ブロックの形状タイプを記録しておく。
【００７９】
（３）新たな仮想I-VOPをビットストリームメモリに保存する場合、実施例では、不要となった従前のビットストリームを無効にしたが、１つの仮想I-VOPとこれに後続する複数VOPのビットストリームを１組として、ビットストリームメモリに連続する複数組のビットストリームを蓄積し、古い組から順に無効化するようにしてもよい。
【００８０】
（４）予備録画モードにおける仮想I-VOPの更新は、VOP数で決まる固定周期とする代わりに、ビットストリームメモリに蓄積された録画データサイズに依存させてもよい。すなわち、予備録画モードで使用するメモリ容量に上限値を設定しておき、蓄積データ量が上限値を超えた時、次の復号化サイクルで仮想I-VOPを更新して、新たなビットストリームに置き換えるようにしてもよい。
【００８１】
（５）録画保存モードでビットストリームメモリが満杯となったとき、蓄積不能となった後続ビットストリームの先頭VOPに付随した同期時刻（時刻１）を記憶しておき、ユーザから録画終了の指示があった時点で上記後続ビットストリームの最終VOPに付随する同期時刻（時刻２）を記憶し、録画再生時に、これらの時刻情報（時刻１〜時刻２）で特定される不足ビットストリームを画像サーバからファイル転送プロトコルで再送させるようにしてもよい。また、仮想I-VOPの次のVOPに付随した同期時刻（時刻０）を記憶しておき、ユーザからの録画終了指示を受ける前にビットストリームメモリが満杯となった場合は、時刻０と時刻２で特定される録画範囲のビットストリームを画像サーバから再送させ、これらのビットストリームを端末側で保持する仮想I-VOPを起点として復号処理するようにしてもよい。このように、画像サーバからの再送機能を利用することによって、ビットストリームメモリの記憶容量を超えた録画再生が可能となる。
【００８２】
(６)実施例では、ユーザが指定した録画開始フレームと録画終了フレームを識別するための情報として、受信ビットシーケンスで各画像フレーム（VOP）に付随している同期時刻(modulo_time_baseおよびvop_time_increment)を利用したが、これらの同期時刻に代えて、例えば、フレーム番号等の他の情報を適用してもよい。また、ユーザが録画の開始を指示する代わりに、録画すべきシーンの特徴情報を予め登録しておき、これらの特徴を備えた画像が復号化または再生された時点で、自動的に録画保存モードを開始し、所定時間分の動画を自動記録することもできる。
【００８３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、受信ビットストリームの任意の位置で選択した復号化画像を仮想的なフレーム内符号化画像（仮想I-VOP）として保存しておき、これを初期画面として後続フレームの画像符号化データを復号化処理することによって、途中にランダムアクセス用フレーム内符号化画像を持たない、あるいはその挿入頻度が少ない動画像符号化データ列から、ユーザが所望するシーンを効率的に録画し、再生することが可能となる。
【図面の簡単な説明】
【図１】本発明による動画データ処理システムの１実施例を示す図。
【図２】動画像ビットストリームであるMPEG-4のデータ構造の１例を示す図。
【図３】  MPEG-4ビットストリームのシーケンスヘッダ部の構造を示す図。
【図４】無線通信に適用されるMPEG-4ビットストリームのデータ構造の１例を示す図。
【図５】無線通信に適用されるMPEG-4ビットストリームのシーケンスヘッダ部の構造を示す図。
【図６】本発明による動画データ処理システムの他の実施例を示す図。
【図７】上記動画データ処理システムで処理される受信ビットストリーム300の１例を示す図。
【図８】受信ビットストリーム300のP5フレームの復号化サイクルにおける上記動画データ処理システムのメモリの状態を示す図。
【図９】受信ビットストリーム300のP5フレームの復号化サイクルで仮想I-VOP更新指令があった場合のメモリの状態を示す図。
【図１０】受信ビットストリーム300のP5フレームの復号化サイクルで仮想I-VOP更新指令がなかった場合のメモリの状態を示す図。
【図１１】上記動画データ処理システムで処理される複数のI-VOPを含む受信ビットストリーム300-2の１例を示す図。
【図１２】受信ビットストリーム300-2のP5フレームの復号化サイクルにおける上記動画データ処理システムのメモリの状態を示す図。
【図１３】受信ビットストリーム300-2のP5フレームの復号化サイクルで仮想I-VOP更新指令があった場合のメモリの状態を示す図。
【図１４】受信ビットストリーム300-2のP5フレームの復号化サイクルにおける仮想I-VOP更新指令の変形例を説明するための図。
【図１５】再符号化された仮想I-VOPのビットストリームメモリ505への保存形式の１例を示す図。
【図１６】再符号化された仮想I-VOPのビットストリームメモリ505への保存形式の他の例を示す図。
【図１７】本発明による動画データ処理システムの第３の実施例を示す図。
【図１８】本発明による動画データ処理システムの第４の実施例を示す図。
【図１９】本発明による携帯端末が備えるユーザ・インターフェースの１例を示す図。
【図２０】本発明による携帯端末が備えるユーザ・インターフェースの他の例を示す図。
【符号の説明】
１００：フレームメモリ制御部、１０１〜１０３：フレームメモリ、
１０８〜１１０、５０７：スイッチングゲート、
５０１：アプリケーション制御部、５０２：入力バッファメモリ、
５０３：ＭＰＥＧエンコーダ、５０４：出力部、５０５：ビットストリームメモリ、５０６：スイッチ、５０８：入力装置、
６００：ディジタルシグナルプロセッサ、６０１：ＭＰＥＧエンコーダ、
７０１：ＪＰＥＧエンコーダ、７０２：ＪＰＥＧデコーダ、
８００、８０１：携帯電話端末、８１１：表示画面、８１２：時刻表示領域、
８２１、８３４：再生ボタン、８２２：記録ボタン、８２３：停止ボタン、
８２４、８３６：一時停止ボタン、８３５：記録／停止ボタン。
【図１】
0003857057.tif 000002
【図２】
0003857057.tif 000003
【図３】
0003857057.tif 000004
【図４】
0003857057.tif 000005
【図５】
0003857057.tif 000006
【図６】
0003857057.tif 000007
【図７】
0003857057.tif 000008
【図８】
0003857057.tif 000009
【図９】
0003857057.tif 000010
【図１０】
0003857057.tif 000011
【図１１】
0003857057.tif 000012
【図１２】
0003857057.tif 000013
【図１３】
0003857057.tif 000014
【図１４】
0003857057.tif 000015
【図１５】
0003857057.tif 000016
【図１６】
0003857057.tif 000017
【図１７】
0003857057.tif 000018
【図１８】
0003857057.tif 000019
【図１９】
0003857057.tif 000020
【図２０】
0003857057.tif 000021