(57)【特許請求の範囲】
【請求項１】
再生制御コマンドと、時間情報を含む管理データと、複数のオブジェクトデータとを入力する入力工程と、
前記複数のオブジェクトデータを再生する再生工程と、
前記複数のオブジェクトデータのうちの第１のオブジェクトデータの再生を停止後、再開する際に、前記複数のオブジェクトデータのうちの第２のオブジェクトデータに付与された時間と、前記管理データの時間情報と、前記再生制御コマンドとに基づいて、前記第１のオブジェクトデータの再生を制御する制御工程とを有することを特徴とするデータ処理方法。
【請求項２】
前記第１のオブジェクトデータは動画像データであり、前記第２のオブジェクトデータは音声データであることを特徴とする請求項１に記載のデータ処理方法。
【請求項３】
前記第１のオブジェクトデータは符号化されており、前記制御工程では、前記符号化された第１のオブジェクトデータの復号を制御することを特徴とする請求項１又は２に記載のデータ処理方法。
【請求項４】
前記管理データは、知的財産権を保護するための管理情報を含み、前記再生工程では、前記管理情報に基づいて再生することを特徴とする請求項１乃至３のいずれか１つに記載のデータ処理方法。
【請求項５】
再生制御コマンドと、時間情報を含む管理データと、複数のオブジェクトデータとを入力する入力手段と、
前記複数のオブジェクトデータを再生する再生手段と、
前記複数のオブジェクトデータのうちの第１のオブジェクトデータの再生を停止後、再開する際に、前記複数のオブジェクトデータのうちの第２のオブジェクトデータに付与された時間と、前記管理データの時間情報と、前記再生制御コマンドとに基づいて、前記第１のオブジェクトデータの再生を制御する制御手段とを有することを特徴とするデータ処理装置。
【請求項６】
前記第１のオブジェクトデータは動画像データであり、前記第２のオブジェクトデータは音声データであることを特徴とする請求項５に記載のデータ処理装置。
【請求項７】
前記第１のオブジェクトデータは符号化されており、前記制御手段は、前記符号化された第１のオブジェクトデータの復号を制御することを特徴とする請求項５又は６に記載のデータ処理方法。
【請求項８】
前記管理データは、知的財産権を保護するための管理情報を含み、前記再生手段は、前記管理情報に基づいて再生することを特徴とする請求項５乃至７のいずれか１つに記載のデータ処理装置。
【請求項９】
請求項１乃至４のいずれか１つに記載のデータ処理方法の手順を実行させるプログラムをコンピュータにより読み取り可能な形態で記憶した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデータ処理方法及びその装置に関し、特に、夫々所定の情報を含む複数のオブジェクトストリームから、該情報を復元するためのデータ処理方法及びその装置に関するものである。
【０００２】
【従来の技術】
近年、動画像や音声などを含む複数のオブジェクトを含むマルチメディアデータを組み合わせて単一のビットストリームとして伝送する手法として、いわゆるＭＰＥＧ−４が標準化されつつある。ＭＰＥＧ−４の受信側（再生側）においては、例えば音声と動画シーンとを関連付けて再生する。このようなＭＰＥＧ−４再生機においては、著作権などの保護のために、その全体もしくは一部のデータに対して様々な使用制限を設ける必要がある。
【０００３】
一般に従前から、著作権の保護のためには、送信側において送信するデータに暗号処理をかけたり、電子すかしとしてデータを埋め込むことにより加工されたデータを送信するなどの処置が必要であった。そして、受信側、即ち再生機側では、著作権に対して正当な料金を支払った場合などに、暗号を解読（復号）するための情報や電子すかしの認証に必要な情報が入手でき、上述の如く加工されたデータから、所望の動画像や音声を含むデータを復元して再生できるようにしていた。更に、当該暗号解読や電子すかしによる認証作業の際に、データのコピー回数を制限したり、他のオブジェクトとの編集を禁止したりすることにより、著作権の保護がなされていた。
【０００４】
ところが、上述したようなＭＰＥＧ−４のデータストリームにおいては、これまでの一般的なマルチメディアデータとは異なり、いくつものビデオシーンやビデオオブジェクトを単一のストリーム上で独立して送受信する機能を有している。また、音声データについても、同様にいくつものオブジェクトを単一のストリーム上から復元可能である。即ち、ＭＰＥＧ−４におけるデータストリームには、これら数々のシーンを合成するための情報として、ＶＲＭＬを修正したＢＩＦＳ(Binary Format for Scenes)が含まれている。ここで、ＢＩＦＳはＭＰＥＧ−４のシーンを２値で記述する情報である。
【０００５】
このようなシーンの合成に必要な個々のオブジェクトは、それぞれ個別に最適な符号化が施されて送信されることになるので、復号側でも個別に復号され、上述のＢＩＦＳの記述に従い、個々のデータの持つ時間軸を再生機内部の時間軸に合わせて同期させてシーンを合成し再生することになる。
【０００６】
【発明が解決しようとする課題】
このように、ＭＰＥＧ−４のような方式ではいくつものビデオオブジェクトやシーンを合成するので、その夫々に著作権による使用制限を施す必要が生じてくる。そのため、本出願人は、先に特願平１０−２９５９３７号において、各オブジェクト毎にその著作権使用に関する認証情報を得るシステムを提案した。
【０００７】
しかしながら、認証により使用不可となった特定のオブジェクトについて再生を行わなかったり、もしくは、正規のユーザ（正当な料金を支払ったユーザ）であることの認証作業などにより復元や再生を中断されたオブジェクトについて、復号作業や再生作業を再開するに当たり、他のオブジェクトと再度同期をとって再生する際の具体的な手法については提案されなかった。
【０００８】
特に、復号作業や再生作業が中断されたオブジェクトが動画像のオブジェクトであり、その間に再生が継続されている音声オブジェクトとの間で同期がとれないと、いわゆるリップシンクがとれなくなって視聴者にとっては非常な不快感に繋がる。更に、動画オブジェクトはデータ量が一般的には大きいので、その復号作業の中断の際にどのようにして消費電力などの無駄を省くかということは、大きな課題でもある。
【０００９】
以上説明したように、シーンを構成する複数のオブジェクトを個々に分離して処理するＭＰＥＧ−４等の処理において、上記著作権保護のためや、衛星通信等での妨害やノイズ等による一部の情報の処理作業の中断後の再開時に、複数の情報間の同期を取ることが大きな課題となってきた。
【００１０】
本発明は、上述の如き課題を解決するためになされたものであって、再生された複数のオブジェクトデータのいずれかについて再生を停止後、再開する際に、他のオブジェクトデータとの同期を取ることのできるデータ処理方法及びその装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
かかる課題を解決するために、本発明のデータ処理方法は、再生制御コマンドと、時間情報を含む管理データと、複数のオブジェクトデータとを入力する入力工程と、前記複数のオブジェクトデータを再生する再生工程と、前記複数のオブジェクトデータのうちの第１のオブジェクトデータの再生を停止後、再開する際に、前記複数のオブジェクトデータのうちの第２のオブジェクトデータに付与された時間と、前記管理データの時間情報と、前記再生制御コマンドとに基づいて、前記第１のオブジェクトデータの再生を制御する制御工程とを有することを特徴とする。ここで、前記第１のオブジェクトデータは動画像データであり、前記第２のオブジェクトデータは音声データである。また、前記第１のオブジェクトデータは符号化されており、前記制御工程では、前記符号化された第１のオブジェクトデータの復号を制御する。また、前記管理データは、知的財産権を保護するための管理情報を含み、前記再生工程では、前記管理情報に基づいて再生する。
【００１２】
上述の如く構成することにより、再生された複数のオブジェクトデータのいずれかについて再生を停止後、再開する際に、他のオブジェクトデータとの同期を取ることのできようになった。更に、動画像と音声の同期と知的財産権の保護を両立することも可能になった。
【００１３】
また、本発明のデータ処理装置は、再生制御コマンドと、時間情報を含む管理データと、複数のオブジェクトデータとを入力する入力手段と、前記複数のオブジェクトデータを再生する再生手段と、前記複数のオブジェクトデータのうちの第１のオブジェクトデータの再生を停止後、再開する際に、前記複数のオブジェクトデータのうちの第２のオブジェクトデータに付与された時間と、前記管理データの時間情報と、前記再生制御コマンドとに基づいて、前記第１のオブジェクトデータの再生を制御する制御手段とを有することを特徴とする。ここで、前記第１のオブジェクトデータは動画像データであり、前記第２のオブジェクトデータは音声データである。また、前記第１のオブジェクトデータは符号化されており、前記制御手段は、前記符号化された第１のオブジェクトデータの復号を制御する。また、前記管理データは、知的財産権を保護するための管理情報を含み、前記再生手段は、前記管理情報に基づいて再生する。
【００１４】
上述の如く構成することにより、再生された複数のオブジェクトデータのいずれかについて再生を停止後、再開する際に、他のオブジェクトデータとの同期を取ることのできようになった。更に、動画像データと音声データの同期と知的財産権の保護を両立することも可能になった。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１６】
＜本実施の形態のＭＰＥＧ−４再生機の構成例＞
図１は本発明の一実施の形態としてのＭＰＥＧ−４再生機の概略構成を示すブロック図である。
【００１７】
図中、１は各種ネットワークに代表される伝送路であり、本実施の形態においてはＭＰＥＧ−４ビットストリームが配信されてくるネットワークである。ここで、本実施の形態における伝送路は、いわゆる通信路のみを指すのではなく、例えばＤＶＤ−ＲＡＭ等の蓄積媒体自体をも含むものとする。
【００１８】
本実施の形態の装置において、ネットワークから配信されたＭＰＥＧ−４ビットストリームや記録媒体から再生されたＭＰＥＧ−４ビットストリームを受信すると、デマルチプレクサ２に入力する。デマルチプレクサ２においては、受信されたＭＰＥＧ−４ビットストリームから、グラフィックデータを含むシーン記述データ、音声オブジェクトデータ、動画像オブジェクトデータ、オブジェクト記述データなどが分離され、それぞれの同期レイヤの処理回路３〜６に入力される。
【００１９】
ここで、音声オブジェクトデータは、例えば周知のＣＥＬＰ(Code Excited Linear Prediction)符号化や、変換領域重み付けインターリーブベクトル量子化(TWINVQ)符号化などの高能率（圧縮）符号化が施されたデータであり、動画像オブジェクトデータは、例えば周知のＭＰＥＧ−２やＨ．２６３方式にて高能率符号化されたデータである。また、オブジェクト記述データは、例えばアニメーション等を含み、各記述データに適した形で同様に符号化されている。
【００２０】
同期レイヤ処理回路３〜６において、ビットストリームに付加されたタイムスタンプと呼ばれる時間情報に従い同期を取られた、グラフィックデータを含むシーン記述データ、各音声オブジェクト、各動画像オブジェクト、並びにオブジェクト記述データなどは、上述の如く高能率（圧縮）符号化等の符号化が施されているので、各オブジェクト毎に復号化回路１５〜１８によって復号される。
【００２１】
尚、本実施の形態においては、音声オブジェクト、動画像オブジェクト、並びにオブジェクト記述データについてそれぞれ２種類の互いに異なる種類のオブジェクトがＭＰＥＧ−４ビットストリーム内に存在しても復号可能な装置を仮定しているため、同期レイヤ処理回路や復号化回路は、音声用、動画像用、オブジェクト記述データ用に夫々２つずつ用意されているものとする。
【００２２】
そして、復号回路１６，１７，１８において夫々復号された、音声オブジェクト、動画像オブジェクト及びオブジェクト記述データは、シーン合成回路２５に供給され、復号回路１５において復号化されたシーン記述情報に基づいてシーンが再生され、グラフィックデータが処理されることになる。このようにして得られた最終的なマルチメディアデータ列は、ディスプレイやプリンタなどに代表される出力機器３０に供給され、可視化されることになる。
【００２３】
ここで、本実施の形態における受信データストリームは、音声あるいは動画などのシーンを構成する個々のオブジェクトに対して、著作権などの保護のために再生を停止させたり再生を再開させたりする制御を必要とすることを想定して、先に出願した特願平１０−２９５９３７号にも記載されているような、知的財産管理（ＩＰＭＰ;Intellectual Property Management and Protection）情報をビットストリームに付加しているものとする。
【００２４】
本実施の形態の装置においては、このＩＰＭＰ情報をデマルチプレクサ２において抽出し、ＩＰＭＰ制御部２０に供給する。ＩＰＭＰ制御部２０は、必要に応じて、図中１０，１１，１２などで示されるアクセスポイントにおいて、ビットストリームを遮蔽したり、各復号回路１６〜１８にアクセスすることによりその動作を停止したりする。これによって、例えば著作権で保護されたコンテンツを含むビットストリームが入力された場合においても、その可視化を阻止することが可能となる。
【００２５】
図２は、図１のＩＰＭＰ制御部２０の構成例を示すブロック図である。
【００２６】
図２で、４０はＩＰＭＰ制御部２０の制御を司る演算・制御用のＣＰＵ、５０は固定の制御プログラム５０ａや固定パラメータ５０ｂ等を格納するＲＯＭ、６０はＣＰＵ４０が一時記憶として使用するＲＡＭで、IPMP Command６０ａ、NEXT IPMP Command６０ｂ、NEXT IPMP Time６０ｃ、Audio Time６０ｄ等を記憶する情報領域と、外部記憶装置７０からロードされるプログラムを記憶するプログラムロード領域６０ｅとを含んでいる。７０はフロッピーディスクやＣＤ−ＲＯＭ等の外部記憶媒体であり、プログラムロード領域６０ｅにロードされるプログラム、例えば、情報入力モジュール７０ａ、IPMP Command解析モジュール７０ｂ、データ復元制御モジュール７０ｃ、復元同期制御モジュール７０ｄ等を含む制御プログラムが格納されている。
【００２７】
８０は入力インタフェースで、デマルチプレクサ２からのＩＰＭＰ情報や同期レイヤ４〜６からの時間情報を入力する。９０は出力インタフェースで、アクセスポイント１０〜１２へのアクセスポイント制御信号や各復号回路１６〜１８への復号回路制御信号を出力する。
【００２８】
尚、本例では、ＩＰＭＰ制御部２０を独立したプロセッサエレメントとして示したが、ＣＰＵ４０がＭＰＥＧ−４再生機の一部あるいは全体を制御する、又はソフトウエアで実現する構成でも良いことは、当業者には自明のことである。
【００２９】
図３は、上記ＩＰＭＰ情報の例を示している。
【００３０】
図３のように、各ＩＰＭＰ情報は、IPMP Time１００とIPMP Command１１０との２つのパラメータの組である。図３において、IPMP Timeは図示の如く数値データであって、他のオブジェクトとの同期を取るための時間情報で、単位はミリ秒(msec)である。一方、IPMP Commandは、同図に示されるように動画オブジェクトの再生を行う復号回路１７などを制御することにより、動画の再生状態を制御するためのコマンドである。
【００３１】
即ち、図３に示すＩＰＭＰ情報は、時刻０msecの時にFirst IPMP Packetに対応する動画像を再生し、時刻２０００msecの時に、Third IPMP Packetに対応する動画像の再生を停止(Pause)し、時刻８０００msecの時に再びFourth IPMP Packetに対応する動画像の再生を行わせる（再開させる）命令である。更に分かりやすくは、図４に示されるＩＰＭＰ情報は、１〜６０秒の時間の内２〜８秒の時間のみ、動画像オブジェクトの再生を一時停止するよう制御を行う情報である。
【００３２】
＜本実施の形態のＭＰＥＧ−４再生機の動作例＞
以下、本実施の形態の装置の動作、特にＩＰＭＰ情報を用いた動作について、図４及び図５のフローチャートを用いて詳細に説明する。尚、図４及び図５のフローチャートは、本出願における復元中断・再開時の同期を説明するものであり、ここでは復元中断・再開の制御の詳細等は簡略化のため省かれている。
【００３３】
図４は、動画像データについてＩＰＭＰ情報が付加されたＭＰＥＧ−４ビットストリームを受信した場合の、ＩＰＭＰ制御部２０の動作を説明するためのフローチャートである。従って、図４における入カストリーム(Input Stream)は、動画データのビットストリームである。
【００３４】
ＩＰＭＰ制御部２０は、まず、１つの動画データのビットストリーム中に前述のＩＰＭＰ情報が含まれていると認識すると、ステップ２００において、現在の動画再生制御方法を示すIPMP Command６０ａを“ＮＵＬＬ”とし、次の動画再生制御方法を示すNEXT IPMP Command６０ｂも“ＮＵＬＬ”とし、更にＩＰＭＰストリームからブロックを取得した時間を示すNEXT IPMP Time６０ｃを“０”とするべく、自らを初期化する。
【００３５】
次に、ステップ２０１において、ＩＰＭＰ制御部２０は、デマルチプレクサ２で分離された上記入力動画ストリームから次のブロック（図３のパケットに対応）を取得する。また、この際に、音声同期レイヤ処理回路４において音声データのストリームからタイムスタンプを抽出し、そのタイムスタンプに記述されている時間情報を音声時間(Audio Time６０ｄ)として記憶しておく。
【００３６】
ステップ２０２においては、Input Stream（動画ストリーム）が終わりに達しているか否かの判断を行い、ストリームの終わりである場合には処理を終了する。Input Streamが終わりでない場合には、ステップ２０３に進み、上述のNEXT IPMP Time６０ｃとAudio Time６０ｄとの比較を行う。ここで、NEXT IPMP TimeがAudio Time以下になったと判断した場合には、新たなＩＰＭＰブロックの情報を獲得するために、ステップ２０４に移行する。逆に、NEXT IPMP TimeがAudio Time以下ではない場合には、IPMP CommandやNEXT IPMP Timeを更新する必要がないため、ステップ２０５に移行する。
【００３７】
以下、図５のフローチャートを参照して、ステップ２０４におけるIPMP CommandやIPMP Timeの取込動作、並びに、IPMP Command，NEXT IPMP Command及びNEXT IPMP Timeの更新動作について説明する。
【００３８】
まず、ステップ３００では、NEXT IPMP CommandをPMP Commandとする。ステップ３０１においては、次の動画像再生方法のデータとして、NEXT IPMP Commandを新たに取得する。ここで、NEXT IPMP TimeとNEXT IPMP Commandとは、図３に示される如く２つのパラメータの組として取り込まれることになる。
【００３９】
ステップ３０２においては、取得したNEXT IPMP Commandの内容を判断し、“ＮＵＬＬ”でもストリームの終わりを示すEND OF STREAMでもなければ、処理を完了してリターンする。NEXT IPMP Commandが“ＮＵＬＬ”であると判断された場合には、ステップ３０３に移行し、NEXT IPMP Timeの情報を“０”に設定して処理を完了する。また、NEXT IPMP Commandが“END OF STREAM”である場合には、ステップ３０４に進み、NEXT IPMP Timeの値を最大値（ULONG MAX＝0xfffffff）として、処理を完了してリターンする。
【００４０】
図４に戻り、ステップ２０５においては、ステップ３００において設定されたIPMP Commandの解析を行い、ステップ２０６において、その結果が動画像オブジェクトの再生を実行するコマンドか、もしくは停止するコマンドかを判断する。例えば、図３のＩＰＭＰ情報においては、時刻２０００msecにおけるコマンド“Pause Third IPMP Packet”を再生停止のコマンドであると判断する。一方、コマンドが“Play”で始まる場合には再生の実行（再開）のコマンドであると判断する。従って、上記時刻２０００msec以外の時刻におけるコマンドは再生実行コマンドであると判断する。
【００４１】
コマンドが、再生停止コマンドであると判断された場合には、ステップ２０８に移行し、再生実行コマンドであると判断した場合には、ステップ２０７に移行する。ステップ２０７においては、動画像復号回路１８を起動もしくはその動作を継続させ、ステップ２０８に移行する。ステップ２０８においては、ステップ２０１において入力動画ストリームから取得したプロックを解放し、元のステップ２０１に戻り、次のブロックを待つ。
【００４２】
尚、動画像復号回路１８を起動もしくはその動作を継続させている間の各オブジェクト間の同期は、各オブジェクトが有するタイムスタンプに基づいて行われるが、ここでは発明の主題ではないので、説明を省く。
【００４３】
つまり、上記図３の例において示されるＩＰＭＰ情報に対して、上記ステップ２０１乃至２０８の処理が実行されると、時刻２０００msecから８０００msecまでの間IPMP CommandはPause Third IPMP Packetであるので、この期間のみ再生が中断され、それ以外の期間にはPlay（First，Second，Fourth-Last）IPMP Packetということになり、再生が実行されることになる。
【００４４】
次に、図６のタイムチャートを用いて、本実施の形態の動作をより分かりやすくするために、上記実施の形態の他の動作例について、概念的に説明する。
【００４５】
図６に示されるようにＩＰＭＰ情報としては、IPMP Timeが示す時刻０，ｔ２，ｔ４に対して、夫々IPMP CommandであるPlay，Pause，Play（再開）のIPMP Commandが組み合わされているものとする。
【００４６】
各スレッドの動作を説明すると、ＩＰＭＰスレッドは、常に、音声(Audio)ストリームからタイムスタンプを取得するように構成されており、一方では、音声及び動画像(Video)のスレッドの管理を行っている。
【００４７】
時刻ｔ１の時のIPMP Commandは“Play”のままであるため、ＩＰＭＰスレッドがVideoスレッドを起動（動作）させ、動画像を復元し再生することになる。
【００４８】
次に、時刻ｔ２においては、ＩＰＭＰストリームから新たなブロックを読み込むことにより、IPMP Commandが更新される。そして、この更新したIPMP Commandが“Pause”であるため、ＩＰＭＰスレッドがVideoスレッドを起動しない。よって動画は再生されることなく、時刻ｔ２の時点で動画像は停止する。ここで、停止と述べたのは、シーン合成回路２５内部の回路によって動画像オブジェクトをフリーズすることを意味する。
【００４９】
時刻ｔ３においては、IPMP Commandは更新されることがなく、再生の停止状態が継続され、動画像オブジェクトによる再生画像は停止した状態を維持することになる。
【００５０】
時刻ｔ４においては、ＩＰＭＰストリームから新たにプロックを読み込むことにより、IPMP Commandが更新されることになる。この時に更新されたIPMP Commandは“Play”であるので、動画像のスレッドを起動することになる。この時、前述のようにＩＰＭＰスレッドは動画像ストリーム内のIPMP Timeと音声スレッドから得られるタイムスタンプによる時間情報とを合致させることになるので、音声に対して同期のとれた画像から動画像の再生が再開されることになる。
【００５１】
時刻ｔ５においては、IPMP Commandは更新されることはない。従って、コマンドは“Play”のままであるので、ＩＰＭＰスレッドは動画像スレッドを起動し続け、動画像が引き続き再生されることになる。
【００５２】
本実施の形態において、動画像の再生の停止は、動画像用のアクセスポイント１１の遮断により、動画ストリームを動画復号回路１７に流さないようにすると共に、動画復号回路１７の動作を停止させることによって実現した。この動画復号回路の動作停止について更に実際に即して説明すると以下の通りである。
【００５３】
ＭＰＥＧ−４再生機においては、一般に音声、動画、知的財産情報等の各ストリームは夫々別々のスレッドにおいて処理されているので、これらのスレッドの処理の管理を行えばよい。このようなマルチスレッドの処理の管理を行うアプリケーションとしては、周知のセマフォ(Semaphor)を用いる。
【００５４】
尚、上述の実施の形態においては、アクセスポイントの遮断と、復号回路の動作の停止の双方を行ったが、後者だけで対応することもでき、その場合にはストリームを遮断するアクセスポイントの設定が不要になる。動画像の符号化は、Ｈ．２６３方式やＭＰＥＧ−２方式に見られるように、フレーム間の予測を用いてそれらの差分を符号化する方式が主流であるので、アクセスポイントによるストリームの制御のみでは、無意味な情報を復号回路が処理してしまうことになり好ましくない。即ち、上記実施の形態に開示のように、このようなフレーム間予測符号の復号回路の動作そのものを停止することによって、動画像復号回路１７が無意味なデータをシーン合成回路２５に供給する虞れもなく、復号回路１７における電力や時間の浪費を抑え、更にはシーン合成回路の誤動作の防止をより確実にできるといった効果がある。
【００５５】
また、上記実施の形態においては所定の音声復号回路が動作をしているものとし、この音声の同期レイヤからタイムスタンプなる同期情報を得る構成としたので、処理がリアルタイムに行われる音声情報中のタイムスタンプを用いることができるため動画像情報の復元再開後の音声と動画像の同期がより正確且つ確実なものとなる。但し、本発明の適用範囲はこれに限らず、復元を停止した動画や音声のオブジェクトと、停止しない他のオブジェクトとの同期を維持する目的であれば、如何なる組み合わせであっても適用可能である。
【００５６】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムにも適用されるし、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）にも適用される。
【００５７】
また、本発明の目的は、前述したように、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５８】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５９】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図２のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。たとえば、情報入力モジュール７０ａ、IPMP Command解析モジュール７０ｂ、データ復元制御モジュール７０ｃ、復元同期制御モジュール７０ｄ等の各モジュールを含むプログラムコードを記憶媒体に格納すればよい。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、再生された複数のオブジェクトデータのいずれかについて再生を停止後、再開する際に、他のオブジェクトデータとの同期を取ることができるようになった。
【００６３】
【図面の簡単な説明】
【図１】本実施の形態としてのデータ処理装置全体の構成例を示すブロック図である。
【図２】図１のＩＰＭＰ制御部の構成例を示すブロック図である。
【図３】図１の装置で取り扱うＩＰＭＰ情報の構成例を示す図である。
【図４】図２のＩＰＭＰ制御部の動作例を説明するためのフローチャートである。
【図５】図４のステップ２０４の処理例を示すフローチャートである。
【図６】図１の装置の動作例を概念的に説明するタイムチャートである。
【図１】
0004109772.tif 000002
【図２】
0004109772.tif 000003
【図３】
0004109772.tif 000004
【図４】
0004109772.tif 000005
【図５】
0004109772.tif 000006
【図６】
0004109772.tif 000007