(57)【要約】【課題】MP4あるいは類似のファイル形式で記述されたオブジェクトベース符号化コンテンツをMPEG-4で規定されるアーキテクチャの再生端末で正しく再生できるようにする。【解決手段】オブジェクトベースで符号化されたコンテンツデータの処理方法を提供する。このデータ処理方法では、MP4ファイル形式を有するコンテンツデータを解析して、オブジェクトの相関を記述するオブジェクト記述情報を取得し、該オブジェクト記述情報によって特定されるメディアデータとその属性データを取得する（ステップＳ２）。そして、取得されたオブジェクト記述情報を、取得されたメディアデータ及び属性データを用いてMPEG-4システムのデータ形式におけるオブジェクト記述へ変換する（ステップＳ３）。【選択図】図６
2005151129.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトベースで符号化されたコンテンツデータの処理方法であって、
第１のデータ形式を有する前記コンテンツデータを解析して、オブジェクトの相関を記述するオブジェクト記述情報を取得し、該オブジェクト記述情報によって特定されるメディアデータとその属性データを取得する解析工程と、
前記解析工程で取得されたオブジェクト記述情報を、前記解析工程で取得されたメディアデータ及び属性データを用いて第２のデータ形式におけるオブジェクト記述へ変換する変換工程とを備えることを特徴とするデータ処理方法。
【請求項２】
前記変換工程は、前記オブジェクト記述情報が特定する属性データの実体を当該オブジェクト記述情報に埋め込むことを特徴とする請求項１に記載のデータ処理方法。
【請求項３】
前記解析工程は、前記コンテンツデータを解析して得られた前記属性データを管理し、前記変換工程の要求に応じて該構成データを提供することを特徴とする請求項２に記載のデータ処理方法。
【請求項４】
前記第１のデータ形式はMP4ファイル形式であり、
前記第２のデータ形式はMPEG-4システムであり、
前記解析工程および前記変換工程は、データの伝送制御を行うためのデリバリー・レイヤに配置されることを特徴とする請求項１乃至３のいずれかに記載のデータ処理方法。
【請求項５】
前記変換工程は、前記コンテンツデータが所定のデータ形式であった場合に前記オブジェクト記述情報の変換を実行することを特徴とする請求項１に記載のデータ処理方法。
【請求項６】
オブジェクトベースで符号化されたコンテンツデータの処理装置であって、
第１のデータ形式を有する前記コンテンツデータを解析して、オブジェクトの相関を記述するオブジェクト記述情報を取得し、該オブジェクト記述情報によって特定されるメディアデータとその属性データを取得する解析手段と、
前記解析手段で取得されたオブジェクト記述情報を、前記解析手段で取得されたメディアデータ及び属性データを用いて第２のデータ形式におけるオブジェクト記述へ変換する変換手段とを備えることを特徴とするデータ処理装置。
【請求項７】
請求項１乃至５のいずれかに記載のデータ処理方法をコンピュータに実行させるための制御プログラム。
【請求項８】
請求項１乃至５のいずれかに記載のデータ処理方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトベース符号化コンテンツのデータ処理方法および装置に関する。特に、オブジェクトディスクリプタ情報を用いてオブジェクト間の関連定義を記述するオブジェクトベース符号化コンテンツの処理に好適なデータ処理方法および装置に関するものである。
【背景技術】
【０００２】
映像、音声の圧縮符号化技術の進歩にともない、さまざまな圧縮符号化形式が標準として規格化され、現在利用されている。また、映像や音声といったメディアデータを単独で扱うのではなく、複数種のメディアデータが互いに関連付けて単一のコンテンツとして扱われる、いわゆるマルチメディアコンテンツも一般的に利用されている。
【０００３】
このようなマルチメディアコンテンツの圧縮符号化形式の典型として、ISO（International Organization for Standardization）によって制定された国際標準規格であるISO/IEC 14496（MPEG-4）が挙げられる。このMPEG-4は、映像、音声といった個々のメディアデータの符号化に加えて、各メディアデータをシーンを構成する物体（オブジェクト）として扱い、オブジェクト単位で符号化する「オブジェクトベース符号化形式」であるという特徴を持つ。
【０００４】
オブジェクトベース符号化を実現するため、MPEG-4では、オブジェクトを合成して一つのシーンを構成するためにシーン記述と呼ばれる考え方が導入されている。シーン記述は、映像、音声などのオブジェクトのメディアデータとは別に、シーン上でのオブジェクトの位置を示す空間的属性、オブジェクトの出現や消滅のタイミングを示す時間的属性、および、シーンを構成する各オブジェクト間の相関関係が記述された符号化データであり、オブジェクトからシーンを合成するのに利用される。
【０００５】
さらに、MPEG-4では、上記のシーン記述情報で示される各オブジェクトの属性情報と、各オブジェクトに対応するメディアデータとの関連付けを行うために、オブジェクトディスクリプタと呼ばれる両者の関連を記述するための情報が用いられる。このオブジェクトディスクリプタ情報によって、メディアデータに対応するオブジェクトをシーン上に正しく合成することが可能になる。
【０００６】
オブジェクトの属性情報とオブジェクトに対応するメディアデータとが、オブジェクトディスクリプタによってどのように関連付けられるかについて図１を用いて説明する。MPEG-4では、コンテンツに含まれるメディアデータの実体は、それぞれ独立して符号化されて記録される。この符号化されたメディアデータ列は、エレメンタリストリーム（Elementary Stream。以下、ESと記述）と呼ばれている。但し、ESとして扱われるメディアデータは、映像、音声に限らず、上述のシーン記述やオブジェクトディスクリプタなども対象となる。
【０００７】
ESを一意に識別できるようにするため、各ESにはES_IDと呼ばれる固有の識別子が割り当てられる。MPEG-4では、ES_IDを用いることによって、特定のESに含まれるメディアデータを参照できる。すなわち、このES_IDをオブジェクトディスクリプタの属性に記述することで、オブジェクトディスクリプタとメディアデータとの関連付けが実現できる。
【０００８】
オブジェクトディスクリプタには、再生を開始する時の初期データとして用いられるInitialObjectDescriptor（以下、IODと記述）と、再生動作が開始されてから必要に応じて用いられるObjectDescriptor（以下、ODと記述）の２種類のデータ構造が定義されている。通常は、ODはESのデータとして格納され、IODはESには含まれない独立したデータとして扱われる。
【０００９】
IODおよびODは、参照されるESの属性情報を記述するためのES_Descriptor（以下、ESDと記述、なお、ESDはES_IDを含む）というデータ構造を含んでいる。そのため、IOD、ODのいずれからもESを参照することが可能となっている。また、IOD、OD、ESDといったMPEG-4のデータ構造には、それぞれの種類を識別するために、データの先頭に８ビットのタグが設定されている。なお、それぞれに対して用いられるタグの値としては、ODには0x01(ObjectDescrTag)、IODには0x02(InitialObjectDescrTag)、ESDには0x03(ES_DescrTag)が定義されている。
【００１０】
典型的なMPEG-4のコンテンツでは、図１のように、ODのESを示すES_IDを含んだIODが最初に処理される。まず、ES_IDによってIODに関連付けられているESを参照し、このESからODのデータが取得される。そして、同様にES_IDによってODに関連付けられているESを参照し、オブジェクトに対応するESからメディアデータが取得されるといった手順で処理が行われる。
【００１１】
引き続き、MPEG-4コンテンツの再生システムにおいて、上記のIODおよびODが、コンテンツの再生端末でどのように処理されるかを説明する。
【００１２】
MPEG-4の１パートであり、同期制御等の制御システムに関する標準を規定しているMPEG-4 Systems(非特許文献１参照)では、MPEG-4コンテンツの再生を行う端末のアーキテクチャを図２のように定めている。再生端末は、図２のように複数のレイヤから構成される。デリバリー・レイヤ(Delivery Layer)２１は、物理的なデバイスあるいはネットワークからコンテンツデータを取得したのち、コンテンツデータの非多重化を行い、ESから取得される符号化データにタイムスタンプなどの同期情報を付加したSL-PDUと呼ばれるデータブロック２５を同期レイヤ(Sync Layer)２２に受け渡す。同期レイヤ２２では、渡されたSL-PDUに含まれる同期情報をもとに同期制御を行い、SL-PDUから同期情報を取り除いた符号化データブロックを圧縮レイヤ２３に渡す。そして、圧縮レイヤ２３で符号化データを展開する処理が行われ、最後にデータの記述内容に基づいてシーンを合成し、描画が行われる（２４）。
【００１３】
このアーキテクチャには、どのような伝送形態やプロトコルであっても、同期レイヤ２２とデリバリー・レイヤ２１間では同じように処理が行えるよう、DAI(DMIF Application Interface)という抽象的なインターフェースを用いて同期レイヤ２２とデリバリー・レイヤ２１間のやり取りを行うという特徴がある。この伝送透過の仕組みおよびDAIの定義は、DMIF(Delivery Multimedia Integration Framework)と呼ばれ、MPEG-4の１パート(非特許文献２参照)として規格化されている。
【００１４】
IODおよびODは、デリバリー・レイヤ２１でコンテンツデータから分離され、DAIを介して同期レイヤに渡される。まず、IODは、再生開始直後にすべての処理に先立って後続のレイヤに渡される（２６）。一方、ODは、ESから取得された後、同期情報が付加されたSL-PDU（２５）として同期レイヤ２２に渡され、同期レイヤ２２を経て圧縮レイヤ２３に渡される。圧縮レイヤ２３では、圧縮符号化されたIODおよびODを解釈し、端末が実際の制御に用いることが可能な形式に展開する。その後、展開されたIODおよびODの記述内容に基づいて、参照先のESのメディア・データとの関連にしたがってシーンを合成し、最後に、合成されたシーンが再生端末上で描画、出力される。以上のような手順で、オブジェクトディスクリプタを含むコンテンツデータの処理が実行され、再生が行われる。
また、MPEG-4のコンテンツデータをファイルに記録するための標準形式として上述のISOによって「MP4ファイル形式」という形式が規格化されている（非特許文献３参照）。  
【非特許文献１】ISO/IEC 14496-1; "Information technology -- Coding of audio-visual objects -- Part 1: Systems"; ISO/IEC; 2003-02-20
【非特許文献２】ISO/IEC 14496-6; "Information technology -- Coding of audio-visual objects -- Part 6: Delivery Multimedia Integration Framework (DMIF)"; ISO/IEC; 2000-12-15
【非特許文献３】ISO/IEC 14496-14; "Information technology -- Coding of audio-visual objects -- Part 14: MP4 file format"; ISO/IEC; 2003-10-09
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、このMP4ファイル形式で記述されたコンテンツを取り扱うケースでは、上記の処理手順をそのまま適用すると問題が生じる。
【００１６】
その問題に触れるにあたって、まず、MP4ファイル形式の概要について簡単に説明しておく。MP4ファイル形式は、米Apple Computer社によって開発されたマルチメディア符号化技術であるQuickTime（登録商標）における記録形式である「QuickTimeファイル形式」を基本にして定義された形式である。そのため、MP4ファイルの構造はQuickTimeファイルの構造にきわめて近いものになっている。
【００１７】
図３は、図１で示されるオブジェクトディスクリプタとメディアデータの関連が、MP4ファイル形式で記述された場合にどのように表されるかを示した図である。MP4ファイル形式では、コンテンツデータは「ボックス」（Box）と呼ばれるいわゆる入れ子型のデータ構造によって構造化されて記述される（QuickTimeファイル形式も同様。ただし、QuickTimeではこのデータ構造は「アトム」（Atom）と称されている）。コンテンツデータは図３で示されるように、「ムービー」（Movie）と呼ばれるコンテンツ全体を示すボックス内に、個々のメディアデータに対応する「トラック」（Track）というボックスを包含する形で構造化される。
【００１８】
トラックを一意に識別できるようにするため、各トラックには「トラックID」(Track ID)という識別子が割り当てられ、そのトラックIDを「トラック参照」(Track Reference)と呼ばれるボックス中に記述することによって、複数のトラック間の関連を定義することが可能となっている。トラック参照には、意味が異なる複数の関連を定義できるようにするため、関連の意味を示すタイプ情報（sync、dpnd、mpod等）を持たせることができる。"sync"トラック参照は、参照先のトラックに対して再生時に同期を取ることを示すものである。"dpnd"トラック参照は、スケーラブルな複数のESがある場合などで、参照先のトラックに対して階層関係があることを示す。"mpod"トラック参照は、参照先のトラックはODデータから参照されるメディアデータを含むトラックであることを示すものである。
【００１９】
図３で示す通り、MP4ファイル形式の場合はこのトラック参照を用いてメディアデータの参照を行うようになっている。そのため、関連の記述方法は図１とは明らかに異なった形となっている。
【００２０】
まず、MP4ファイル形式において、IODはESDを持っておらず、参照するESに対応するトラックのトラックIDのみを持つ。本来IODに含まれるESDは、参照先のトラック中に、ESとは独立したデータとして記録される。
【００２１】
また、ODもESDを持たず、トラック参照に含まれるデータのインデックスを示す１から始まるインデックス番号（index）のみが記録される。ODとESの関連を示すトラック参照タイプのデータ（Track Reference）中の上記インデックス番号で示される位置のデータに、参照するESに対応するトラックのトラックIDが記述されており、このトラックIDによってODが参照するESが特定される。IODの場合と同様に、本来ODに含まれるESDは、参照先の各トラック中のESデータとは独立したデータとして記録される。
【００２２】
このように、MP4ファイル形式の場合、IOD、ODおよびESDに相当するデータの形式は通常のMPEG-4で規定される構造と異なっている。そのため、それぞれに対して割り当てられているタグの値もMP4ファイル形式用の特殊な値が使用される。図３のように、IODに相当するデータには0x10(MP4_IOD_Tag)が、その中に含まれるESDに代わるデータには0x0E(ES_ID_IncTag)が使用される。また、ODに相当するデータには0x11(MP4_OD_Tag)、その中に含まれるESDに代わるデータには0x0F(ES_ID_RefTag)が使用される。
【００２３】
上記のようなコンテンツデータの記述形式の違いによって、次に挙げる問題点が顕在化する。
【００２４】
第一は、同期レイヤ以降のレイヤでは、IODおよびODに相当するデータからESDを参照することができないという点である。
【００２５】
MP4ファイル形式で記述されたコンテンツデータから取得されるIODおよびOD相当のデータを、そのままの形でデリバリー・レイヤ２１から同期レイヤ２２に渡しても、それらにはESDが含まれていないため、ESに関する情報を得ることができない。ESDには、図４に示されるように、ES_ID以外にも多くの情報が定義されている（なお、この記法の解釈方法および各項目の意味については、詳細がISO/IEC 14496-1に記載されているため、本明細書では説明を省略する）。これらの情報を用いずにESの制御を正しく行うことは不可能である。
【００２６】
第二は、同期レイヤ２２以降のレイヤに、ODが参照するESの関連情報を伝達するための標準的な手段が存在しないという点である。
【００２７】
MP4ファイル形式の場合、ODとESとの関連情報はトラック参照ボックス（Track Reference）に記録され、ODにはES_IDの代わりにトラック参照ボックス中のデータの位置を示す１から始まるインデックス番号が設定される。このインデックス番号はES_IDと一致するとは限らないため、ODとESの関連を知るためには、トラック参照ボックスに記録されている関連情報が不可欠となる。
【００２８】
しかし、DAIには、IODおよびODをデリバリー・レイヤ２１から同期レイヤ２２に伝達するためのインターフェースは定義されているが、トラック参照ボックスの関連情報を伝達するための標準的なインターフェースは定義されていない。したがって、通常の手段では同期レイヤ２２以降のレイヤでODから参照されるESを特定することはできない。
【００２９】
上記の問題点により、従来の手法をそのまま適用するのでは、コンテンツデータがMP4ファイル形式で記述されている場合には、再生端末でコンテンツを正しく再生することは不可能であった。また、MP4ファイル形式に限らず、類似のファイル形式およびアーキテクチャを用いるオブジェクトベース符号化コンテンツの場合においても、上記のような問題点が存在する限りは正しく再生を行うことはできない。
【００３０】
本発明は上述した課題に鑑みてなされたものであり、MP4あるいは類似のファイル形式で記述されたオブジェクトベース符号化コンテンツを、MPEG-4で規定されるアーキテクチャの再生端末で正しく再生できるようにするためのデータ処理方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００３１】
上記の目的を達成するための本発明によるデータ処理方法は、
オブジェクトベースで符号化されたコンテンツデータの処理方法であって、
第１のデータ形式を有する前記コンテンツデータを解析して、オブジェクトの相関を記述するオブジェクト記述情報を取得し、該オブジェクト記述情報によって特定されるメディアデータとその属性データを取得する解析工程と、
前記解析工程で取得されたオブジェクト記述情報を、前記解析工程で取得されたメディアデータ及び属性データを用いて第２のデータ形式におけるオブジェクト記述へ変換する変換工程とを備える。
【００３２】
又、上記の目的を達成するための本発明によるデータ処理装置は以下の構成を備える。すなわち、
オブジェクトベースで符号化されたコンテンツデータの処理装置であって、
第１のデータ形式を有する前記コンテンツデータを解析して、オブジェクトの相関を記述するオブジェクト記述情報を取得し、該オブジェクト記述情報によって特定されるメディアデータとその属性データを取得する解析手段と、
前記解析手段で取得されたオブジェクト記述情報を、前記解析手段で取得されたメディアデータ及び属性データを用いて第２のデータ形式におけるオブジェクト記述へ変換する変換手段とを備える。
【発明の効果】
【００３３】
本発明によれば、例えば、MP4あるいは類似のファイル形式で記述されたオブジェクトベース符号化コンテンツを、MPEG-4で規定されるアーキテクチャの再生端末で正しく再生を行えるようになる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態を図面を参照しながら詳細に説明する。
【００３５】
なお、本実施形態はコンテンツデータがMP4ファイル形式である場合を中心に解説されているが、MP4に限らず類似のファイル形式およびアーキテクチャを用いるケースに対しても適用できる。例えば、ISOではMPEG-4の後継の規格としてMPEG-7(ISO/IEC 15938)、MPEG-21(ISO/IEC 20001)といった標準規格が制定あるいは検討されているが、MPEG-4で規定されるものと同様のファイル形式およびアーキテクチャが採用されるならば、これらの規格で用いられるファイル形式に対しても本発明の適用が可能である。
【００３６】
また、本明細書で述べている「コンテンツデータがMP4ファイル形式で記述されている」という状態は、取り扱うデータの実体が物理的なファイルであることを示すものではない。ネットワークを介して伝送されたデータや、メモリ上に記憶されているデータに対しても本発明を適用することができる。
【００３７】
＜第１実施形態＞
図５Ａは、実施形態によるマルチメディアコンテンツデータの再生処理を実現する情報処理装置の構成を示すブロック図である。図５Ａにおいて、ＣＰＵ１０１はＲＯＭ１０２あるいはＲＡＭ１０３に格納された制御プログラムに従って所定の処理を実行する。外部記憶装置１０４に格納された制御プログラムは、ＲＡＭ１０３へロードされ、ＣＰＵ１０１によって実行されることになる。なお、外部記憶装置１０４には再生処理の対象となるＭＰ４ファイル形式で記述されたコンテンツデータを格納することができる。コンテンツデータの再生処理によって画像情報が再生された場合は、ディスプレイＩ／Ｆ１０５を介してディスプレイへ１１０出力され、表示される。また、コンテンツデータの再生処理によって音響情報が再生された場合は、音響Ｉ／Ｆ１０６を介して音響機器１１１へ出力され、再生される。
【００３８】
なお、再生の対象となるコンテンツデータは、ネットワーク（インターネット、ＬＡＮを含む）よりネットワークＩ／Ｆ１０７を介して取得することも可能であるし、ＣＤ（compact disc）やＤＶＤ（Digital Versatile Disc）等のメディア１１２に記録されたコンテンツデータをメディアドライブ１０８を介して取得することも可能である。また、上記各構成はバス１０９により相互に通信可能に接続され、各種機能が達成される。
【００３９】
図５Ｂは、第１実施形態による、オブジェクトベース符号化コンテンツの再生装置のモジュール構成例を説明する図である。このモジュール構成は、図５Ａの情報処理装置において、ＣＰＵが所定の制御プログラムを実行することにより実現される。
【００４０】
図５Ｂにおいて、ファイルデータ解析部１は、入力されたMP4ファイル形式あるいは類似のファイル形式のコンテンツデータの内部構造を解析する機能を有する。ファイルデータ解析部１への入力データはどのような伝送形態で入力されてもよい。例えば外部記憶や外部媒体から何らかのネットワークや伝送路を介してデータの実体がファイルデータ解析部１に受け渡されてもよいし、ファイルパスなどデータの実体の位置を渡し、ファイルデータ解析部１がデータを取得するようになっていてもよい。
【００４１】
オブジェクトディスクリプタ情報変換部２は、MP4ファイル形式あるいは類似のファイル形式のコンテンツデータ中に含まれるオブジェクトディスクリプタ情報あるいはそれに相当するオブジェクトの記述情報を、処理対象のファイル形式の内部構造に基づき、後続のレイヤで扱うことが可能なデータ形式に変換し出力する機能を有する。オブジェクトディスクリプタ構成情報変換部２が処理するコンテンツデータの構造は、ファイルデータ解析部１から取得あるいは参照する。オブジェクトディスクリプタ情報変換部２が変換結果として出力するオブジェクトディスクリプタ情報は、DAIまたはそれに相当する抽象的なインターフェースを介して、後続のレイヤ（例えば同期レイヤ２２）に受け渡される。
【００４２】
また、変換結果のオブジェクトディスクリプタ情報は、任意のモジュールに対して出力することができる。例えば、ファイルデータ解析部１からの情報に対してオブジェクトディスクリプタ情報変換部２が処理を実行し、その出力結果をファイルデータ解析部１に戻すようにする。このようにすれば、利用者はファイルデータ解析部１に対して処理を要求することによってオブジェクトディスクリプタ情報変換部２の存在を意識することなく変換されたデータを得ることが可能となる。
【００４３】
本実施形態では、オブジェクトディスクリプタ情報変換部２が、ファイルデータ解析部１からIODおよびODに関連するESDデータおよびトラック参照データを取得し、それらを同期レイヤ２２以降のレイヤが従来の手段で取り扱えるよう、IODおよびODにESDが埋め込まれた形式に変換して出力する。これによって、既存のアーキテクチャ（例えば、MPEG-4で規定されるアーキテクチャ）に対して変更を行うことなくオブジェクトディスクリプタ情報を伝達でき、コンテンツを正しく再生することを可能とする。
【００４４】
なお、ファイルデータ解析部１およびオブジェクトディスクリプタ情報変換部２は、両方とも図２で示されるデリバリー・レイヤに論理的に配置されることが好ましい。その理由は以下のとおりである。すなわち、両者が異なるレイヤ、例えば、デリバリー・レイヤ２１と同期レイヤ２２に配置されるような場合は、ファイルデータの内部構造を参照するにはレイヤを超える操作が必要となる。ところが、レイヤ間にはDAIのような抽象的なインターフェースしか存在しないため、MP4などのファイル形式に固有の処理を行うにはインターフェースの独自拡張を行わなければならない。このことは、レイヤ構造による処理の抽象化や、DMIFによって提供される伝送手段に対する透過性による利点を損なってしまう。
【００４５】
次に、第１実施形態によるオブジェクトディスクリプタ情報の変換処理について説明する。図６は、第１実施形態におけるオブジェクトディスクリプタ情報の変換処理の手順を説明するフローチャートである。
【００４６】
（ステップＳ１）
まず、ファイルデータに記録されているオブジェクトディスクリプタ情報を変換する必要があるかをチェックする。本実施形態においてオブジェクトディスクリプタ情報の変換が必要となるケースは、コンテンツデータがMP4ファイル形式の場合とする。従って、この条件と一致するか（当該ファイルデータがMP4ファイル形式か否か）を確認する。その結果、変換が必要と判定された場合にのみ、オブジェクトディスクリプタ情報変換部２を呼び出して後続のステップＳ２以降の処理を実行する。なお、当該ファイルがMP4ファイル形式であるか否かは、(1)ファイル名の拡張子が".mp4"であるか、(2)ファイル中に含まれるデータ構造が、MP4ファイル形式規格で定義されているデータ構造と一致しているか、等の手段によって、ファイルデータ解析部１によって判定されるものとする。
【００４７】
（ステップＳ２）
オブジェクトディスクリプタ情報変換部２は、オブジェクトディスクリプタ情報の所定の項目に関連するファイルデータ中のデータ構造を参照する（詳細は後述する）。この処理を行うためにはファイルデータの内部構造が解析されていなければならない。したがって、前もって、あるいは必要になった時点でファイルデータ解析部１に対して当該ファイルデータのデータ解析を要求する必要がある。
【００４８】
（ステップＳ３）
オブジェクトディスクリプタ情報変換部２は、ステップＳ２で参照されたデータ構造の内容にしたがって、対応するオブジェクトディスクリプタ情報の項目の内容を修正する（具体例は後述する）。修正された内容は、全ての項目に対する処理が終了するまでオブジェクトディスクリプタ情報変換部２の内部に記憶される。
【００４９】
（ステップＳ４）
オブジェクトディスクリプタ情報変換部２で、ファイルデータ中のオブジェクトディスクリプタ情報の全項目に対して上記ステップＳ２〜Ｓ３の処理が行われたかを判定する。未処理の項目が残っている場合は処理をステップＳ２に戻す。こうして、全項目が処理されるまでステップＳ２〜Ｓ３の処理が繰り返される。
【００５０】
（ステップＳ５）
オブジェクトディスクリプタ情報変換部２は、上記ステップＳ１〜Ｓ４の実行によって得られた変換後のオブジェクトディスクリプタ情報を出力する。
【００５１】
以上の手順によって、第１実施形態のオブジェクトディスクリプタ変換処理が実行され、既存のアーキテクチャで正しく処理することが可能なオブジェクトディスクリプタ情報が得られる。
【００５２】
次に、具体的なオブジェクトディスクリプタ変換処理の実施例について説明する。処理を説明するにあたって、MP4ファイル形式で定義されているボックスの一覧を図７Ａに挙げておく。
【００５３】
図７Ａにおいて、一番右の列を除く列は、MP4ファイル形式で定義されているボックスの種類と、その包含関係を示す。一番右の列には、該当する行のボックスの説明が示される。各ボックスには、その種類を識別するための４バイトの「タイプ」が割り当てられており、通常は４文字の英数字で表現される。この４文字のタイプが列中に記載されている。以降の説明では、特定のボックスを示すためにこのタイプを用いて表現する。
【００５４】
また、図７Ａにおいて、あるボックスが他のボックスを包含する関係は、列同士の位置関係によって示している。このテーブルでは、ある列のボックスは、その列よりも右側に位置する列で示されるボックスを包含していることを表している。例えば、一番上の行で示される"moov"ボックスは、"mvhd"、"iods"、"trak"ボックスを含んでいることを意味する。図７Ｂは、MP4ファイル形式においてESDデータを記述するためのESDBoxの定義である。図７Ｂにおいて、ESDBoxは、MP4VisualSampleEntry("mp4v")、MP4AudioSampleEntry("mp4a")およびMpegSampleEntry（"mp4s"）に含まれ、図７ＡのSample Description Box("stsd")中に記述されることが示されている。
【００５５】
なお、各ボックスの項目、およびオブジェクトディスクリプタ情報に含まれる項目に関する詳細な説明は、本明細書では省略する。項目に関する説明については、該当する規格書に記載されている定義を参照されたい。
【００５６】
（ステップＳ２〜Ｓ３における処理の実施例１）
実施例１として、上記のステップＳ２〜Ｓ３において、オブジェクトディスクリプタ情報変換部２が、ファイルデータ解析部１からMP4ファイル形式のコンテンツデータの内部に格納される形式のIODのバイナリデータを取得し、そのバイナリデータを変換する場合の手順を説明する。すなわち、MP4ファイル形式のコンテンツから、MPEG-4に則ったIODを生成する手順を図８を参照して説明する。
【００５７】
まず、ファイルデータ解析部１は、MP4ファイルデータを解析して得られたMP4内部形式のIODのバイナリデータをオブジェクトディスクリプタ情報変換部２に渡す。オブジェクトディスクリプタ情報変換部２は、受け取ったデータの内容を解釈して、以下のような処理を行う。
【００５８】
（ステップＳ１１）
IOD中のES_ID_IncTagをES_DescrTagに置換する。同時に、ES_ID_IncTagに続くトラックIDで参照されるトラックの“esds”ボックスからESDデータを取得し、IOD中のES_DescrTagで示される位置にセットする。図８を例に挙げて説明すると、MP4ファイル形式のコンテンツにおいて、IOD８０１内のTrack IDによってTrack８０２が指定されている。このTrack IDを示すES_ID_IncTagを、ESDを示すES_DescrTagに置換する。そして、指示されたTrack８０２内の“esds”ボックス８０３にあるESD８０４を取得し、これを置換したES_DescrTagの位置にセットする。こうして、ESD（８０４）を含んだIOD８０１’に変換される。
【００５９】
（ステップＳ１２）
ステップＳ１１で示されるトラックに含まれる“sync”タイプのトラック参照データをファイルデータ解析部１から取得する。該当するトラック参照データが存在する場合は、ESD８０４に含まれるOCRStreamFlagに１を、OCR_ES_IDの値に“sync”トラック参照に記述される参照先トラックのES_IDを設定する。該当するトラック参照データが存在しなければ、OCRStreamFlagに０を設定する。例えば、図８のTrack ID８０７が“sync”タイプであった場合、当該Track IDによって指定されるトラック８１２内のメディアデータ８１０を示すES_IDが、ESD８０４内のOCR_ES_IDとして設定される。なお、ES_IDの取得は対応するトラック８１２のesdsボックスにおけるESDを参照して得ることができる。
【００６０】
（ステップＳ１３）
ステップＳ１１で示されるトラックに含まれる“dpnd”タイプのトラック参照データをファイルデータ解析部１から取得する。該当するトラック参照データが存在する場合は、ESD８０４に含まれるstreamDependenceFlagに１を、dependsOn_ES_IDの値に“dpnd”トラック参照に記述される参照先トラックのES_IDを設定する。該当するトラック参照データが存在しなければ、streamDependenceFlagに０を設定する。例えば、図８のTrack ID８０８が“dpnd”タイプであった場合、当該Track IDによって指定されるトラック８１３内のメディアデータ８１１を指すES_IDがESD８０４内のdependsOn_ES_IDの値に設定される。なお、ES_IDの取得は対応するトラック８１３のesdsボックスにおけるESDを参照して得ることができる。
【００６１】
（ステップＳ１４）
ステップＳ１１で示されるトラックに含まれる"dref"(Data Reference Box、図７Ａ参照)のデータをファイルデータ解析部１から取得する。このData Reference Boxには、トラックに含まれるESのデータが別ファイルなど外部の実体として存在する場合に、そのESデータの所在情報（一般的にはURL）が記述される。該当するデータが存在する場合は、ESDに含まれるURL_Flagに１を、URLstringにData Reference Box中の"url"タイプのエントリとして記述されているURLデータを設定する。該当するデータが存在しなければ、URL_Flagに０を設定する。例えば図８に示すようにdrefボックス８０９が存在し、該当するデータが存在すれば、上記の如くESD８０４に含まれるURL_Flag及びURLstringが設定される。
【００６２】
上述のような変換処理仕様を図６のステップＳ２〜Ｓ３の処理に適用させることによって、オブジェクトディスクリプタ情報変換部２はMP4ファイル形式における内部形式のIODデータの変換を適切に行えるようになる。
【００６３】
なお、上記実施例の処理を可能にするため、ファイルデータ解析部１は、IODデータの取得機能に加え、少なくとも次の機能が提供される必要がある。
・トラック参照（“dpnd”、“sync”）の情報を取得する機能。
・Data Reference BoxのURLエントリ（“url”）の情報を取得する機能。
・トラックIDで指定されるトラックに含まれるESDを取得する機能。
【００６４】
なお、上述の変換仕様は現行のMP4ファイル形式の規格に基づいて決定されたものであるため、MP4ファイル形式に拡張が発生した場合や、他の類似のファイル形式に適用する場合は、ファイル形式に応じて適切な変換仕様を定義しなければならないのは言うまでもない。
【００６５】
（ステップＳ２〜Ｓ３における処理の実施例２）
実施例２として、MP4ファイル形式のODデータを変換する場合の手順を図９を参照して説明する。
【００６６】
ODのデータは、IODと異なり、ESに含まれるメディアデータとしてトラック中に記録される。すなわち、ODのデータは他の映像や音声などのデータ形式の場合と同じように、メディアデータの構成単位である「サンプル」として扱われる。従って、ファイルデータ解析部１がODデータを提供するためには、トラック中のサンプルデータをそのままの状態で順次取得する機能がファイルデータ解析部１にあれば良い。ただし、ODのデータを取得するためには、サンプルデータを取得しようとするトラックがODデータのトラックであるかどうかを判断するための情報が必要である。トラックがODデータのトラックであるかどうかは、DecoderConfigDescriptorのstreamTypeが0x01(ObjectDescriptorStream)であるかによって判断可能である。すなわち、ファイルデータ解析部１は、処理対象のトラックのstreamTypeを取得する機能を提供しなければならない。
【００６７】
オブジェクトディスクリプタ情報変換部２は、streamTypeの内容を確認し、streamType=0x01の時にのみ変換処理を行うようにする。
【００６８】
ODに含まれるESDも、IODと同様に、MP4ファイル形式のファイルデータの内部では別のタグおよび参照形式として表わされ、記録される。具体的には、ODに含まれるESDは、MP4ファイル内では“mpod”トラック参照のインデックスを保持するES_ID_Refとして保持される。そのため、MP4内部形式のODデータの変換は、実施例１とおおむね同じ処理手順で行える。ただし、ODデータの変換の場合は、実施例１のステップＳ１１の処理は次のように変更される。
【００６９】
（ステップＳ２１）
OD中のES_ID_RefTagをES_DescrTagに置換する。同時に、そのODデータを取得したトラックに含まれる“mpod”タイプのトラック参照データ中、ES_ID_RefTagに続くインデックス番号の位置のトラックIDで参照されるトラックの“esds”ボックスからESDデータを取得し、OD中のES_DescrTagで示される位置にセットする。
【００７０】
例えば、図９において、トラック９０１において、DecoderConfigDescriptorのstreamTypeが0x01であった場合、そのトラック９０１のメディアデータはOD９０２であり、OD９０２内のES_ID_RefTagで規定される領域９０３をES_DescrTagに置換する。そして、領域９０３内のindexによって示されるトラックID（“mpod”タイプ）９０３が示すトラック９０４のesdsボックス９０５よりESD９０６を取得する。そして、ES_DescrTagの部分に当該ESD９０６を組み込む。その後、ESD９０６に対して、上述したステップＳ１２〜Ｓ１４を実行する。
【００７１】
上述のような変換処理仕様を図６のステップＳ２〜Ｓ３の処理に適用させることによって、オブジェクトディスクリプタ情報変換部２はMP4内部形式のODデータの変換を適切に行えるようになる。
【００７２】
上記のような実施例２の処理を可能にするため、ファイルデータ解析部１は、トラック中のサンプルデータの取得機能および実施例１で必要とされる機能に加え、少なくとも次の機能が提供される必要がある。
・指定されたトラックのstreamTypeを取得する機能。
・トラック参照のインデックスから参照先のトラックIDを検索する機能。
・トラック参照（“mpod”）の情報を取得する機能。
【００７３】
（他の実施形態）
本発明は、複数の機器から構成されるシステムに適用しても、単一の機器からなる装置に適用してもよい。
【００７４】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００７７】
以上説明したように、上記実施形態によれば、MP4あるいは類似のファイル形式で記述されたオブジェクトベース符号化コンテンツを、MPEG-4で規定されるアーキテクチャの再生端末で正しく再生を行えるようにすることができる。
【図面の簡単な説明】
【００７８】
【図１】オブジェクトディスクリプタ情報を用いたメディアデータの関連定義を説明する図である。
【図２】MPEG-4 Systemsにおける再生端末のアーキテクチャを示す図である。
【図３】MP4ファイル形式におけるオブジェクトディスクリプタ情報を用いたメディアデータの関連定義を説明する図である。
【図４】SL_PacketHeaderの項目定義を示す図である。
【図５Ａ】実施形態によるデータ処理を実現する情報処理装置の構成を示すブロック図である。
【図５Ｂ】実施形態のモジュール構成例を示す図である。
【図６】オブジェクトディスクリプタ情報変換処理を説明するフローチャートである。
【図７Ａ】MP4ファイル形式で定義されているデータ構造の一覧を示すテーブルである。
【図７Ｂ】MP4ファイル形式におけるesdsボックスの定義を示す図である。
【図８】オブジェクトディスクリプタ情報の変換処理を説明する図である。
【図９】オブジェクトディスクリプタ情報の変換処理を説明する図である。
【図１】
2005151129.tif 000003
【図２】
2005151129.tif 000004
【図３】
2005151129.tif 000005
【図４】
2005151129.tif 000006
【図５Ａ】
2005151129.tif 000007
【図５Ｂ】
2005151129.tif 000008
【図６】
2005151129.tif 000009
【図７Ａ】
2005151129.tif 000010
【図７Ｂ】
2005151129.tif 000011
【図８】
2005151129.tif 000012
【図９】
2005151129.tif 000013