(57)【特許請求の範囲】
【請求項１】
シーン記述情報を変換するシーン記述変換装置において、
入力されたシーン記述情報を、上記シーン記述情報の記述単位に基づいて決定された複数の分割候補単位に分割する分割手段と、
上記分割手段により分割された各分割候補単位について、入力された時間変化する階層化情報に基づいて複数の階層への出力の可否を判断することにより階層構造を有するシーン記述情報に変換する変換手段と、
上記シーン記述情報を配信する伝送媒体又は記録媒体を介して上記シーン記述情報の配信を受けて復号する復号端末からの復号能力を含む階層化情報を受けて上記変換手段に送るシーン記述配信手段とを有し、
上記階層化情報は、上記復号端末の復号能力の他に、上記シーン記述情報を配信する伝送媒体の伝送容量、上記シーン記述情報を配信する記録媒体の記録容量、上記シーン記述情報の配信を受けて復号して表示する表示端末の表示能力の少なくとも１つを含む
シーン記述変換装置。
【請求項２】
上記変換手段は、ユーザインタラクションを表すイベント伝播に必要なデータを一つの上記分割候補単位内に含めて最も基本的な階層に出力する請求項１記載のシーン記述変換装置。
【請求項３】
上記変換手段は、シーン記述情報中の参照関係を成すデータを一つの階層に出力する請求項１記載のシーン記述変換装置。
【請求項４】
上記シーン記述情報はISO/IEC14772-1規格又はISO/IEC14496-1規格に規定されたものであって、上記変換手段は上記規格に規定されたGroupingノードのChildrenフィールドのノードを上記分割候補単位としてシーン記述情報を階層構造を有するシーン記述情報に変換する請求項１記載のシーン記述変換装置。
【請求項５】
上記シーン記述情報はシーン記述を分割する上記分割候補単位を示す識別子を含んで符号化されたものであって、上記変換手段はこの識別子に基づいてシーン記述情報を階層構造を有するシーン記述情報に変換する請求項１記載のシーン記述変換装置。
【請求項６】
上記シーン記述情報はシーン記述情報を分割する上記分割候補単位を示す識別子を含んで符号化されたものであって、上記変換手段はこのシーン記述情報とは別に入力された上記識別子に基づいて上記シーン記述情報を階層構造を有するシーン記述情報に変換する請求項１記載のシーン記述変換装置。
【請求項７】
上記シーン記述情報はシーン記述情報を分割する上記分割候補単位を示す識別子を含んで符号化されたものであって、上記変換手段はこのシーン記述情報とは別に入力された上記シーン記述情報を分割する上記分割候補単位の優先順位に基づいて上記シーン記述情報を階層構造を有するシーン記述情報に変換する請求項１記載のシーン記述変換装置。
【請求項８】
上記シーン記述情報はISO/IEC14772-1規格又はISO/IEC14496-1規格に規定されたものであって、上記変換手段は上記規格に規定されたInlineノードにより上記シーン記述情報を階層構造を有するシーン記述情報に変換する請求項１記載のシーン記述変換装置。
【請求項９】
上記シーン記述情報はISO/IEC14772-1規格又はＩSO/IEC14496-1規格に規定されたものであって、上記変換手段は上記規格に規定されたEXTERNPROTOにより上記シーン記述情報を階層構造を有するシーン記述情報に変換する請求項１記載のシーン記述変換装置。
【請求項１０】
上記シーン記述情報はISO/IEC14772-1規格に規定されたものであって、上記変換手段は上記規格に規定されたAccess Unitにより上記シーン記述情報を階層構造を有するシーン記述情報に変換する請求項１記載のシーン記述変換装置。
【請求項１１】
シーン記述情報を変換するシーン記述変換方法において、
分割手段が、入力されたシーン記述情報を、上記シーン記述情報の記述単位に基づいて決定された複数の分割候補単位に分割する工程と、
変換手段が、上記分割手段により分割された各分割候補単位について、入力された時間変化する階層化情報に基づいて複数の階層への出力の可否を判断することにより階層構造を有するシーン記述情報に変換する工程と、
シーン記述配信手段が、上記シーン記述情報を配信する伝送媒体又は記録媒体を介して上記シーン記述情報の配信を受けて復号する復号端末からの復号能力を含む階層化情報を受けて上記変換手段に送る工程とを有し、
上記階層化情報は、上記復号端末の復号能力の他に、上記シーン記述情報を配信する伝送媒体の伝送容量、上記シーン記述情報を配信する記録媒体の記録容量、上記シーン記述情報の配信を受けて復号して表示する表示端末の表示能力の少なくとも１つを含む
シーン記述変換方法。
【発明の詳細な説明】
【０００１】
本発明は、シーン記述変換装置及び方法に関する。
【０００２】
【従来の技術】
ディジタルTV放送やDVD（digital video/versatile disc）、HyperText Markup Language（以下、HTMLという。)等で記述されたインターネットのホームページ、ISO/IEC14496-1に規定されたシーン記述方式であるBinary Format for the Scene（以下、MPEG-4 BIFSという。）、ISO/IEC14772に規定されたVirtual Reality Modeling Language（以下、VRMLという。）など、ユーザ入力によるインタラクションを含むことが可能なシーン記述方法で記述されたコンテンツがある。このコンテンツのデータを、以下、シーン記述と呼ぶ。シーン記述には、そのコンテンツ中で使用するオーディオや画像、コンピュータグラフィックなどのデータも含むものとする。
【０００３】
シーン記述の例を、VRMLおよびMPEG-4 BIFSを例にとって、図１１、図１２、図１３に示す。図１１は、シーン記述の内容を示す。VRMLでは、シーン記述は図１１に示すようなテキストデータであり、MPEG-4 BIFSのシーン記述は、このテキストデータをバイナリに符号化したものである。VRMLおよびMPEG-4 BIFSのシーン記述は、ノードと呼ばれる基本的な記述単位により表現され、図１１ではノードは下線で示されている。ノードは、表示される物体や物体同士の結合関係等を記述する単位であり、ノードの特性や属性を示すためにフィールドと呼ばれるデータを含んでいる。例えば図１１中のTransformノード３０２は、三次元の座標変換を指定可能なノードで、そのtranslationフィールド３０３に座標原点の平行移動量を指定できる。フィールドには他のノードを指定可能なフィールドも存在し、シーン記述の構成は図１２のようなツリー構造を成す。図１２中の楕円はノードを表し、ノード間の破線はイベントの伝播経路を表し、ノード間の実線は、ノードの親子関係を表す。親ノードに対して、その親ノードのフィールドを表すノードを子ノードと呼ぶこととする。例えば図１１中のTransformノード３０２は、Transformノードにより座標変換される子ノード群を示すChildrenフィールド３０４があり、TouchSensorノード３０５およびShapeノード３０６が子ノードとしてグルーピングされている。このようにChildrenフィールドに子ノードをグルーピングするノードを、グルーピングノードと呼ぶ。グルーピングノードとは、ISO/IEC14772-1の4.6.5章に定義されているノードで、ノードのリストから成るフィールドを持つノードを指す。ISO/IEC14772-1の4.6.5章に定義されているように、フィールド名がChildrenではない特別な例外もあるが、以下、Childrenフィールドは、このような例外も含むものとして説明する。
【０００４】
表示する物体をシーン中に配置するには、物体を表すノードを、属性を表すノードと共にグループ化し、配置位置を示すノードによりさらにグループ化する。図１１中のShapeノード３０６が表している物体は、その親ノードであるTransformノード３０２によって指定された平行移動を適用されて、シーン中に配置される。図１１のシーン記述は、球体を表すSphereノード３０７、立方体を表すBoxノード３１２、円錐を表すConeノード３１７および円柱を表すCylinderノード３２２を含んでおり、シーン記述を復号・表示した結果は図１３に示すようになる。
【０００５】
シーン記述は、ユーザインタラクションを含むことも出来る。図１１中のROUTEは、イベントの伝播を表している。ROUTE３２３は、２という識別子を割り当てられたTouchSensorノード３０５のtouchTimeフィールドが変化した場合に、その値がイベントとして５という識別子を割り当てられたTimeSensorノード３１８のstartTimeフィールドへ伝播する、ということを示している。VRMLではDEFというキーワードに続く任意の文字列により識別子を表し、MPEG-4 BIFSでは、nodeIDと呼ばれる数値が識別子として用いられる。TouchSensorノード３０５は、その親ノードであるTransformノード３０２のChildrenフィールド３０４にグルーピングされているShapeノード３０６をユーザが選択した場合に、選択した時刻をtouchTimeイベントとして出力する。このようにグルーピングノードによって付随したShapeノードと共にグルーピングされて働くセンサーを、以下、Sensorノードと呼ぶ。VRMLにおけるSensorノードとは、ISO/IEC14772-1の4.6.7.3章に定義されているPointing-device sensorsであり、付随したShapeノードとは、Sensorノードの親ノードにグルーピングされているShapeノードを指す。一方、TimeSensorノード３１８は、startTimeから1秒間の間、経過時間をfraction_changedイベントとして出力する。
【０００６】
ROUTE３２４により、TimeSensorノード３１８から出力された経過時間を表すfraction_changedイベントは、６という識別子を割り当てられたColorInterpolatorノード３１９のset_fractionフィールドへ伝播される。ColorInterpolatorノード３１９は、RGB色空間の値を線形補間する機能を持つ。ColorInterpolatorノード３１９のkeyとkeyValueフィールドは、入力となるset_fractionフィールドの値が0の場合にはvalue_changedとしてRGBの値[000]をイベント出力し、入力となるset_fractionフィールドの値が1の場合にはvalue_changedとしてRGBの値[111]をイベント出力することを表している。入力となるset_fractionフィールドの値が0と1の間の場合には、value_changedとしてRGBの値[000]と[111]の間を線形補完した値をイベント出力する。つまり、入力となるset_fractionフィールドの値が0.2の場合にはvalue_changedとしてRGBの値[0.2 0.2 0.2]をイベント出力する。
【０００７】
ROUTE３２５により、線形補間結果の値value_changedは、４という識別子を割り当てられたMaterialノード３１４のdiffuseColorフィールドへ伝播される。diffuseColorは、Materialノード３１４が属しているShapeノード３１１が表す物体表面の拡散色を表している。上記のROUTE３２３、ROUTE３２４およびROUTE３２５によるイベント伝播により、ユーザが表示されている球体を選択した直後から1秒の間、表示されている立方体のRGB値が、[000]から[111]まで変化するというユーザインタラクションが実現される。このユーザインタラクションは、ROUTE３２３，ROUTE３２４，ROUTE３２５と、図１２中の太線枠で示したイベントの伝播に関連するノードにより表されており、このようにユーザインタラクションに必要なシーン記述中のデータを、以下、イベント伝播に必要なデータ、と呼ぶこととする。なお、太線枠で示した以外は、イベントに関連しないノードである。
【０００８】
次に、MPEG-4 BIFSデータの構造を、図１４、図１５、図１６を用いて説明する。MPEG-4 BIFSでは、シーン記述を分割して符号化することが可能である。図１４は、4つに分割したシーン記述の例を示している。MPEG-4 BIFSではシーン記述データはバイナリに符号化されているが、図１４では説明のためにVRMLと同様のテキストにより表記してある。分割した単位は、Access Unit（以下、AUという。）と呼ばれる。図１４のＡに示すのAU1-1は、球体を表すShapeノード９０１と、AU3を取り込むためのinlineノード９０３からなるシーン記述を含むScene Replace commandである。Scene Replace Commandとは、新しいシーン記述の開始を表すコマンドである。
【０００９】
図１４中のＢに示すAU1-2は、立方体を表すShapeノード９０４を含むNode Insertion commandである。Node Insertion commandとは、既に存在するシーン記述中の指定ノードのChildrenフィールドへ、新しいノードを挿入するコマンドである。ノードの指定は、ノードの識別子であるnodeIDにより行われる。図１４のAU1-1におけるGroupノード９００は、nodeID=1を割り当てられていることを示している。従って、AU1-2のnode insertion commandは、AU1-1中のGroupノード９００のChildren fieldへノードを挿入するコマンドである。
【００１０】
図１４中のＣに示すAU2は、円錐を表すShapeノード９０６を含むNode Insertion commandである。
【００１１】
図１４中のＤに示すAU3は、円柱を表すShapeノード９０８を含むScene Replace commandである。AU3を単独で復号することも可能である。一方でAU1-1中のinlineノード９０３から参照され、AU1-1のシーン記述の一部となることも出来る。
【００１２】
MPEG-4 BIFSのビットストリーム構造を図１５に示す。AUは、それぞれ復号してコマンドを有効にすべき時刻であるDecoding Time Stamp（以下、DTSという。）が指定されている。図１５の例では、図１５のＡに示すようにAU1-1とAU1-2がBIFSデータ１に含まれており、図１５のＢに示すようにAU2はBIFSデータ2に、図１５のＣに示すようにAU3はBIFSデータ3にそれぞれ含まれている。このように、MPEG-4 BIFSのAUデータは、複数の階層のビットストリームに分割して符号化することが可能である。
【００１３】
図１６に、図１５に示したBIFSデータを復号して表示した結果を示す。まず、BIFSデータ１のみを復号する場合、図１６のＡに示すように、時刻DTS1-1において、AU1-1が復号され、結果としてShapeノード９０１が示す球体が表示される。inlineノード９０３はBIFSデータ3を読み込むよう指定しているが、BIFSデータ3が復号に使用出来ない場合は、無視される。次に、時刻DTS1-2において、AU1-2のNode Insertion commandが復号され、結果としてShapeノード９０４が表す立方体が挿入される。このように、基本階層のビットストリームのみを復号表示することが可能である。
【００１４】
BIFSデータ1およびBIFSデータ２を双方とも復号する場合には、図１６のＢに示すように、時刻DTS2においてAU2のnode insertion commandが復号され、結果としてShapeノード９０６が表す円錐が挿入される。
【００１５】
BIFSデータ1およびBIFSデータ3を双方とも復号する場合には、図１６のＣに示すように、時刻DTS3において、AU1-1中のinlineノード９０３によってAU3が読み込まれるため、Shapeノード９０８が表す円柱が表示される。全てのBIFSデータを復号に使用する場合は、図１６のＤに示すように、時刻DTS1-1において球体が表示され、時刻DTS3において円柱が追加され、時刻DTS2において円錐が追加され、時刻DTS1-2において立方体が追加される。
【００１６】
ディジタルTV放送やDVD、HTML等で記述されたインターネットのホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入力によるインタラクションを含むことが可能なシーン記述方法で記述されたコンテンツのシーン記述を視聴する際のシステム例を図１７に示す。
【００１７】
サーバＡ０１は、入力されたシーン記述Ａ００もしくはシーン記述記憶装置Ａ１７から読み出したシーン記述を、シーン記述配信装置Ａ１８により、外部の複数の復号端末Ａ０５へ伝送媒体・記録媒体Ａ０８を介して配信する。サーバＡ０１とは、インターネットサーバやホームサーバ、PC等である。復号端末Ａ０５は、シーン記述Ａ００を受信して表示する。この際に、復号端末Ａ０５が入力のシーン記述Ａ００に対して充分な復号能力および表示能力を備えているとは限らず、また配信に充分な伝送媒体の伝送容量や記録媒体の記録容量および記録速度が確保されているとは限らないという問題がある。
【００１８】
ユーザ入力によるインタラクションを含むことが可能なシーン記述方法で記述されたコンテンツのシーン記述を視聴する際の、復号端末がユーザインタラクションを受け付ける機能を持ったリモート端末である例を図１８に示す。
【００１９】
サーバＢ０１がシーン記述復号装置Ｂ０９を備える場合には、シーン記述Ｂ００入力を復号し、復号済シーンＢ１６を表示端末Ｂ１７に表示させる。一方で、サーバＢ０１はシーン記述Ｂ００をシーン記述配信装置Ｂ０４を介してリモート端末Ｂ０５へ送信する。シーン記述Ｂ００は、一旦シーン記述記憶装置Ｂ０３に記憶されることもある。リモート端末Ｂ０５は、復号端末であるだけでなく、ユーザ入力Ｂ１２を受け付け、サーバＢ０１へ送信する機能を持つ。リモート端末Ｂ０５は、シーン記述Ｂ００をシーン記述受信装置Ｂ０４ｂにより受信し、シーン記述復号装置Ｂ０９ｂにより復号し、表示装置Ｂ１０により表示する。シーン記述Ｂ００は、一旦シーン記述記憶装置Ｂ０３ｂに記憶されることもある。リモート端末Ｂ０５はユーザ入力装置Ｂ１１によりユーザ入力Ｂ１２を受け付け、ユーザの選択位置などを表すユーザ入力情報Ｂ１３としてシーン記述復号装置Ｂ０９ｂへ送る。シーン記述復号装置Ｂ０９ｂは、ユーザ入力情報Ｂ１３に基づいてシーン記述Ｂ００を復号することにより、ユーザ入力Ｂ１２を反映した復号結果が表示装置Ｂ１０に表示される。一方で、リモート端末Ｂ０５はユーザ入力情報Ｂ１３を送信装置Ｂ１４ｂを介してサーバＢ０１へ送信する。サーバＢ０１がシーン記述復号装置Ｂ０９を備える場合には、サーバのシーン記述復号装置Ｂ０９においても、ユーザ入力情報Ｂ１３に基づいてシーン記述Ｂ００を復号することにより、ユーザ入力Ｂ１２を反映した復号済シーンＢ１６が表示端末Ｂ１７に表示される。サーバＢ０１自体はシーン記述復号装置Ｂ０９を持たず、シーン記述Ｂ００およびユーザ入力情報Ｂ１３を外部の復号端末へ配信することもある。
【００２０】
図１８のようなユーザインタフェースシステムを、被制御機器の制御を行うためのリモートコントロールシステムとして使用することを考える。シーン記述Ｂ００は、機器制御のためのメニューを記述する。ユーザ入力情報Ｂ１３は、機器制御信号生成装置Ｂ１５により機器制御信号Ｂ１８に変換され、被制御機器Ｂ１９へ送られる。被制御機器Ｂ１９がサーバＢ０１自体であっても良い。図示していないが、シーン記述Ｂ００中にユーザ入力から機器制御情報への対応づけが含まれている場合には、ユーザ入力情報Ｂ１３は一度シーン記述復号装置Ｂ０９により機器制御情報に変換されてから、機器操作信号生成装置Ｂ１５へ送られることもある。また、機器操作信号生成装置Ｂ１５がリモート端末Ｂ０５に備わっており、リモート端末Ｂ０５から被制御機器Ｂ１９へ機器制御信号Ｂ１８が送られる場合もある。
【００２１】
【発明が解決しようとする課題】
ディジタルTV放送やDVD、HTML等で記述されたインターネットのホームページ、MPEG-4 BIFS、VRMLなど、ユーザ入力によるインタラクションを含むことが可能なシーン記述方法で記述されたコンテンツのシーン記述を、サーバが復号端末へ配信する際、復号端末の復号および表示能力が劣っている場合に、シーン記述を正しく復号することが出来ない。また、シーン記述を伝送するための伝送媒体の伝送容量が低い場合や、記録するための記録媒体の記録容量や記録速度が低いと、シーン記述を正しく配信することが出来ないという問題もある。
【００２２】
従って、復号および表示性能の異なる復号端末へシーン記述を配信する際には、最も性能の劣る復号端末および伝送媒体・記録媒体に合せたシーン記述を使用することになる。復号端末の性能に合せて適応的にシーン記述を選択して使用したいという要求があるが、従来技術では、復号端末の性能を予想してシーン記述を符号化しておくしかなかった。従って、復号端末の性能が動的に変更する場合や、シーン記述の配信に使用する伝送媒体の伝送容量もしくは記録媒体の記録容量や記録速度が動的に変化する場合には対応できなかった。
【００２３】
また、復号端末がユーザインタラクションを受け付ける機能を持ったリモート端末であり、リモート端末を機器制御のためのリモートコントローラとして使用するような際には、リモート端末へ表示させる機器制御のためのメニューを記述したシーン記述は、リモート端末の復号・表示能力に依存して作成しなければ成らない。従って、復号・表示能力が拡張されたリモート端末が使用可能に成った場合にも、復号・表示能力が劣るリモート端末との後方互換性を確保するためには、能力の劣るリモート端末に合せた機器制御のためのメニューを記述したシーン記述を使用しなければ成らないという問題がある。
【００２４】
本発明は、上述の実情に鑑みて提案されるものであって、復号端末の能力が劣っている場合や、伝送媒体の伝送容量が低い場合や、記録媒体の記録容量や記録速度が低い場合や、復号端末の性能が動的に変更する場合や、伝送媒体の伝送容量もしくは記録媒体の記録容量や記録速度が動的に変化する場合や、復号・表示能力が劣るリモート端末の後方互換性を確保する必要がある場合に対して、適用することができるようなシーン記述変換装置及び方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係るシーン記述生成装置は、シーン記述情報を生成するシーン記述生成装置において、シーン記述のシナリオをシーン記述情報に符号化する符号化手段を有し、上記符号化手段は、シーン記述情報を分割する分割単位を示す識別子を含んで符号化するものである。
【００２６】
本発明に係るシーン記述生成方法は、シーン記述情報を生成するシーン記述生成方法において、シナリオをシーン記述情報に符号化する符号化工程を有し、上記符号化工程は、シーン記述情報を分割する分割単位を示す識別子を含んで符号化するものである。
【００２７】
本発明に係るシーン記述変換装置は、シーン記述情報を変換するシーン記述変換装置において、入力されたシーン記述情報を、上記シーン記述情報の記述単位に基づいて決定された複数の分割候補単位に分割する分割手段と、上記分割手段により分割された各分割候補単位について、入力された時間変化する階層化情報に基づいて複数の階層への出力の可否を判断することにより階層構造を有するシーン記述情報に変換する変換手段と、上記シーン記述情報を配信する伝送媒体又は記録媒体を介して上記シーン記述情報の配信を受けて復号する復号端末からの復号能力を含む階層化情報を受けて上記変換手段に送るシーン記述配信手段とを有し、上記階層化情報は、上記復号端末の復号能力の他に、上記シーン記述情報を配信する伝送媒体の伝送容量、上記シーン記述情報を配信する記録媒体の記録容量、上記シーン記述情報の配信を受けて復号して表示する表示端末の表示能力の少なくとも１つを含むものである。
【００２８】
本発明に係るシーン記述変換方法は、シーン記述情報を変換するシーン記述変換方法において、分割手段が、入力されたシーン記述情報を、上記シーン記述情報の記述単位に基づいて決定された複数の分割候補単位に分割する工程と、変換手段が、上記分割手段により分割された各分割候補単位について、入力された時間変化する階層化情報に基づいて複数の階層への出力の可否を判断することにより階層構造を有するシーン記述情報に変換する工程と、シーン記述配信手段が、上記シーン記述情報を配信する伝送媒体又は記録媒体を介して上記シーン記述情報の配信を受けて復号する復号端末からの復号能力を含む階層化情報を受けて上記変換手段に送る工程とを有し、上記階層化情報は、上記復号端末の復号能力の他に、上記シーン記述情報を配信する伝送媒体の伝送容量、上記シーン記述情報を配信する記録媒体の記録容量、上記シーン記述情報の配信を受けて復号して表示する表示端末の表示能力の少なくとも１つを含むものである。
【００２９】
本発明に係るシーン記述記憶装置は、シーン記述情報を記憶するシーン記述記憶装置において、階層構造を有するシーン記述情報を記憶する記憶手段と、上記記憶手段に記憶されたシーン記述情報について、基本的な階層のシーン記述情報を保存し、削除すべきデータ量に達するまでの階層のシーン記述情報のみを削除する削除手段とを有するものである。
【００３０】
本発明に係るシーン記述記憶方法は、シーン記述情報を記憶するシーン記述記憶方法において、階層構造を有するシーン記述情報を記憶する記憶工程と、上記記憶工程に記憶されたシーン記述情報について、基本的な階層のシーン記述情報を保存し、削除すべきデータ量に達するまでの階層のシーン記述情報のみを削除する削除工程とを有するものである。
【００３１】
本発明に係るシーン記述復号装置は、シーン記述情報を復号するシーン記述復号装置において、階層構造を有するシーン記述情報が入力され、復号可能な階層までのシーン記述情報を復号する復号手段を有するものである。
【００３２】
本発明に係るシーン記述復号方法は、シーン記述情報を復号するシーン記述復号方法において、階層構造を有するシーン記述情報が入力され、復号可能な階層までのシーン記述情報を復号する復号工程を有するものである。
【００３３】
本発明に係るユーザインタフェースシステムは、ユーザインストラクションを含むシーン記述情報を用いるユーザインタフェースシステムにおいて、シーン記述情報をシーン記述情報に変換する変換手段と、シーン記述情報を復号する復号手段とを有するサーバと、シーン記述情報を復号する復号手段と、シーンを表示する表示手段と、ユーザ入力情報が入力される入力手段とを有するリモート端末とを有し、上記サーバは入力されたシーン記述情報をその変換手段で階層構造を有するシーン記述情報に変換して上記リモート端末に送り、上記リモート端末は上記サーバから送られ上記シーン記述情報をその復号手段にて復号可能な階層まで復号してその表示手段に表示し、この表示に応じてその入力手段に入力されたユーザ入力情報を上記サーバに送り、上記サーバはこのユーザ入力情報に基づいてその復号手段にてシーン記述情報を復号するものである。
【００３４】
本発明に係る記録媒体は、ユーザインタラクションを含むシーン記述情報が記録された記録媒体において、上記シーン記述情報はシーン記述情報を分割する分割単位を示す識別子を含んで符号化されたものである。
【００３５】
本発明に係る伝送媒体は、ユーザインタラクションを含むシーン記述情報が伝送される伝送媒体において、上記シーン記述情報をシーン記述情報を分割する分割単位を示す識別子を含んで符号化されたものである。
【００３６】
このように、本発明においては、シーン記述情報を階層化した複数のシーン記述データへ変換することを特徴とする。シーン記述情報を配信する際、復号能力および表示能力に合せて、適当な階層までのシーン記述データを配信することにより、シーン記述情報を正しく復号・表示することが可能となる。
【００３７】
また、配信に使用する伝送媒体の伝送容量に合せて、適当な階層までのシーン記述データを配信することにより、シーン記述を正しく伝送することを可能とする。
【００３８】
シーン記述情報の階層化を行うことにより、復号端末の性能が動的に変化したり、シーン記述情報の配信に使用する伝送媒体の伝送容量が動的に変化する場合にも、適応的にシーン記述情報を変換することが可能となる。
【００３９】
一方で、復号能力や伝送容量が未知である場合にも、シーン記述情報を複数の階層に分割したシーン記述情報へ変換しておくことにより、配信時に伝送可能な階層のシーン記述情報までを配信し、復号・表示可能な階層のシーン記述情報までを復号・表示することにより、復号・表示能力に適した配信を実現することが可能となる。
【００４０】
復号・表示能力が拡張されたリモート端末が使用可能になった際に、復号・表示能力が劣るリモート端末に合せた階層と、復号・表示能力が拡張されたリモート端末に合せた階層の複数のシーン記述データへ変換することが可能であるため、復号・表示能力が劣るリモート端末との後方互換性を確保することが可能となる。
【００４１】
さらに、シーン記述の階層化を行うことを前提に、階層化のためのヒントとなる情報を出力することにより、階層化処理を容易にし、かつ、階層化の優先順位を指定することを可能とする。
【００４２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００４３】
まず、本発明の第１の実施の形態として、シーン記述配信 視聴システムについて図１を用いて説明する。
【００４４】
このシーン記述配信 視聴システムは、入力されたシーン記述情報であるシーン記述１００を変換して配信するサーバ１０１と、伝送媒体／記録媒体１０８を介してサーバ１０１からシーン記述１００の配信を受けると共に伝送媒体／記録媒体１０８を介してサーバ１０１に復号端末情報１０７を送る復号端末１０５とを有している。
【００４５】
サーバ１０１は、入力されたりシーン記述記憶装置１０３から送られたシーン記述１００を階層化情報１０６に基づいて変換するシーン記述変換装置１０２と、入力されたシーン記述１００を記憶するシーン記述記憶装置１０３と、シーン記述変換装置１０２やシーン記述記憶装置１０３からのシーン記述１００を伝送媒体／記録媒体１０８を介して復号端末１０５に配信すると共に伝送媒体／記録媒体１０８を介して復号端末１０５から送られた復号端末情報１０７を受けてシーン記述変換装置１０２に階層化情報１０６を送るシーン記述配信装置１０４とを有している。
【００４６】
このシーン記述配信 視聴システムは、シーン記述を配信するサーバ１０１が、シーン記述変換装置１０２を備えることを特徴とする。サーバ１０１は、シーン記述１００を配信する際に、復号端末１０５の復号・表示能力を示す復号端末情報１０７を得る。
【００４７】
復号端末情報１０７とは、復号端末がシーン記述１００を表示する際の画枠や、ノード数の上限、ポリゴン数の上限、含まれるオーディオやビデオなどのメディアデータの上限など、復号端末１０５の復号・表示能力を示す情報である。復号端末情報１０７の他に、シーン記述１００の配信に使用する伝送媒体／記録媒体１０８の伝送容量／記録速度や記録容量を表す情報を加えた階層化情報１０６をシーン記述変換装置１０２へ入力する。
【００４８】
シーン記述変換装置１０２は、上記階層化情報１０６に基づいて、シーン記述１００入力を、階層構造を成すシーン記述１００データへ変換する。シーン記述１００入力および変換済みの階層化されたシーン記述１００は、シーン記述記憶装置１０３に記憶されることもある。
【００４９】
階層化情報１０６に基づいてシーン記述１００を変換することにより、シーン記述配信装置１０４は、配信に使用する伝送媒体／記録媒体１０８に適したシーン記述１００データを配信することが可能となる。さらに、シーン記述配信装置１０４は復号端末１０５の性能に合せたシーン記述１００を配信することが可能となる。
【００５０】
シーン記述変換装置１０２におけるにおける処理手順を図２に示す。
【００５１】
ステップＳ２００においては、シーン記述１００を、分割候補単位に分割する。図２においては、分割候補の番号をnで表す。また、シーン記述変換装置１０２は、入力のシーン記述１００を、複数の階層から成るシーン記述１００データへ変換するため、出力となるシーン記述１００データの階層をmで表す。階層の番号mは0から開始し、番号が小さいほど基本的な階層を表すものとする。
【００５２】
ステップＳ２０１においては、階層化情報１０６に基づいて、分割候補nを現在の階層として出力可能であるか判断する。例えば、階層化情報１０６によって現在の階層に許されるデータのバイト数が制限される場合には、分割候補nを加えても現在の階層の出力シーン記述が上記制限されるバイト数以下であるかを調べる。分割候補nを現在の階層に出力不可と判断された場合にはステップＳ２０２へ進む。出力可能ならばステップＳ２０２を行わずにステップＳ２０３へ進む。
【００５３】
ステップＳ２０２においては、階層の番号mを1進める。つまり、現在の階層mへの出力を終了し、以降は新しい階層のシーン記述１００データへ出力することとする。そして、ステップＳ２０３へ進む。
【００５４】
ステップＳ２０３においては、現在の階層mへ、分割候補nを出力する。そして、２０４へ進む。
【００５５】
ステップＳ２０４においては、全ての分割候補を処理したならば、変換処理を終了する。まだ分割候補が残っているならば、ステップＳ２０５へ進む。
【００５６】
ステップＳ２０５においては、分割候補の番号nを1進める。つまり、次の分割候補を処理対象とする。そして、ステップＳ２０１から処理を繰り返す。
【００５７】
MPEG-4 BIFSを例に取り、図２に示したシーン記述変換処理手順を、図３を用いて説明する。説明のために、シーン記述変換装置１０２へ入力するシーン記述１００は図１１と同様の場合を例にする。
【００５８】
まず、図２の手順に示したステップＳ２００により、シーン記述１００を分割候補単位へ分割する。従来技術として知られているNode Insertion commandを用いるために、グルーピングノードのChildrenフィールドを分割単位とする。ただし、ユーザインタラクションのためのイベント伝播に必要なデータは分割しないとすると、図３に示す3つの分割候補Ｄ０，Ｄ１，Ｄ２となる。
【００５９】
入力シーン記述中の最上位ノードであるGroupノード３００を含む分割単位を、n=0の分割候補Ｄ０とする。Transformノード３１５以下のノードをn=1の分割候補Ｄ１とする。n=1の分割候補Ｄ１中のShapeノード３１６は、グルーピングノードであるTransformノード３１５のChildrenフィールドであるため、別個の分割候補とすることも可能である。
【００６０】
ただし、この例ではTransformノード３１５がShapeノード３１６以外のChildrenフィールドを持たないことから、Shapeノード３１６を別の分割候補にはしていない。Transformノード３２０以下のノードをn=2の分割候補Ｄ２とする。同様に、Shapeノード３２１以下を別の分割候補としても良い。
【００６１】
n=0の分割候補Ｄ０は、階層m=0へ必ず出力される。n=1の分割候補Ｄ１は、図２のステップＳ２０１により、階層化情報１０６に基づいて、m=0の階層へ出力可能であるか判断する。
【００６２】
図４は、階層化情報１０６により、出力するシーン記述１００データの階層に許されるデータ量が指定される場合の判断例を示す。図４中のＡの例では、階層m=0にn=1の分割候補Ｄ１も出力したとすると、階層m=0に許されているデータ量を上回ってしまうことから、n=1の分割候補Ｄ１を階層m=0へ出力不可と判断する。
【００６３】
従って、図２のステップＳ２０２の手順により、図４中のＢに示す階層m=0の出力はn=0の分割候補Ｄ０のみを含むと決定され、以降は階層m=1に出力することとする。ステップＳ２０３の手順により、階層m=1へn=1の分割候補Ｄ１を出力する。
【００６４】
次のn=2の分割候補Ｄ２についても同様の手順を行うと、図４中のＡに示すように、階層m=1にn=2の分割候補Ｄ２を出力しても、階層m=0と階層m=1の合計に許されるデータ量を超過しないため、図４中のＣに示すように、n=2の分割候補Ｄ２は、n=1の分割候補Ｄ１と同じ階層m=1へ出力することが決定される。
【００６５】
上記の手順により、シーン記述変換装置１０２は、入力のシーン記述１００を、図４中のＢに示す階層m=0の変換済みシーン記述データ出力と図４中のＣに示す階層m=1の変換済みシーン記述データ出力との２階層から成るシーン記述１００データ出力へと変換する。
【００６６】
図５中のＡに示したシーン記述１００の変換例は、図４のＡと同様のシーン記述１００入力に対して、異なる階層化情報１０６に基づいて変換を行った結果、３階層から成るシーン記述１００データ出力へと変換された例を示している。
【００６７】
すなわち、図５中のＡに示したシーン記述１００は、図４の場合と同様にして、図５中のＢに示す階層m=0の変換済みシーン記述データ出力、図５中のＣに示す階層m=1の変換済みシーン記述データ出力、図５中のＤに示す階層m=2の変換済みデータ出力に変換される。
【００６８】
この変換結果例において、シーン記述１００の配信に使用する伝送媒体／記録媒体１０８の伝送容量／記録容量や記録速度が低く、階層m=0に許されるデータ量までしか伝送できない伝送媒体／記録媒体１０８に対しては、シーン記述配信装置１０４は、図５中のＢに示す階層m=0のシーン記述１００データのみを配信する。
【００６９】
階層m=0のシーン記述１００のみであっても、ユーザインタラクションのためのイベント伝播に必要なデータは分割されていないために、復号端末１０５において、変換前と同様のユーザインタラクションが実現できる。
【００７０】
また、伝送容量が、m=0およびm=1の階層を合計したデータ量に対して充分である伝送媒体／記録媒体１０８に対しては、シーン記述配信装置１０４は、図５中のＢに示したm=0およ図５中のＣに示したびm=1双方の階層のシーン記述１００データを配信する。
【００７１】
階層m=1のシーン記述１００データは、Node Insertion commandにより階層m=0のシーン記述１００に挿入されるため、復号端末１０５においては変換前と同様のシーン記述１００を復号し、表示することが可能である。
【００７２】
シーン記述変換装置１０２は時間変化する階層化情報１０６に基づいてシーン記述１００を変換することにより、伝送媒体／記録媒体１０８の伝送容量／記録容量／記録媒体が動的に変化する場合にも適応することが可能となった。なお、伝送媒体／記録媒体１０８に変換したシーン記述１００データを記録する場合にも同様の効果がある。
【００７３】
また、図５の変換結果例において、シーン記述１００を受信して復号・表示する復号端末１０５の復号・表示能力が低く、階層m=0に許されるデータ量までしか復号・表示できない復号端末１０６に対しては、シーン記述配信装置１０４は、図５中のＢに示した階層m=0のシーン記述１００データのみを配信する。
【００７４】
階層m=0のシーン記述１００のみであっても、ユーザインタラクションのためのイベント伝播に必要なデータは分割されていないために、復号端末１０５において、変換前と同様のユーザインタラクションが実現できる。
【００７５】
また、復号・表示能力が、m=0およびm=1の階層を合計したデータ量に対して充分である復号端末１０５に対しては、シーン記述配信装置１０４は、図５中のＢに示したm=0および図５中のＣに示したm=1双方の階層のシーン記述データを配信する。
【００７６】
階層m=1のシーン記述１００データは、Node Insertion commandにより階層m=0のシーン記述１００に挿入されるため、復号端末１０５においては変換前と同様のシーン記述１００を復号し、表示することが可能である。
【００７７】
シーン記述変換装置１０２は時間変化する復号端末情報１０７に基づいてシーン記述１００を変換することにより、復号端末１０５の復号および表示能力が動的に変化したり、あらたな性能を持つ復号端末１０５が配信対象に加えられた場合にも適応することが可能となった。
【００７８】
MPEG-4 BIFSにおいては、シーン記述１００を階層化するために、図１４を用いて説明したようにノードを挿入するコマンドを使用しても良いし、Inlineノードを使用しても良い。また、ISO/IEC14772-1の4.9章に記載のEXTERNPROTOを使用しても良い。
【００７９】
EXTERNPROTOとは、外部のシーン記述データ中でPROTOと呼ばれるノード定義方法により定義したノードを参照する方法であり、MPEG-4 BIFSにおいてもVRMLと同様にEXTERNPROTOを使用することが出来る。
【００８０】
ところで、ISO/IEC14772-1の4.6.2章に記載のDEF/USEは、ノードにDEFにより名前を付け、シーン記述１００中の他の場所からUSEによりDEFしたノードを参照することを可能としている。
【００８１】
MPEG-4 BIFSにおいてもノードにnodeIDと呼ばれる数値の識別子をDEFと同様に付け、シーン記述１００中の他の場所からnodeIDを指定することによりUSEと同様に使用するというVRMLと同様の参照が可能である。
【００８２】
従って、シーン記述１００を階層化する際に、ISO/IEC14772-1の4.6.2章に記載のDEF/USEを使用している部分を異なる分割候補に分割しなければ、USEからDEFしたノードへの参照関係を壊すこと無く、シーン記述変換を行うことが可能である。
【００８３】
図４および図５では、階層化情報１０６として、各階層に許されるデータ量を用いた例を示したが、階層化情報はシーン記述１００中の分割候補をある階層のシーン記述１００データに含めて良いか判断できる情報であれば良く、例えば階層中に含まれるノード数の上限や、階層中に含まれるコンピュータグラフィックスにおけるポリゴンデータの数などでも良く、階層中に含まれるオーディオやビデオなどのメディアデータの制限でも良く、また複数の階層化情報１０６を組み合わせても良い。
【００８４】
シーン記述変換装置１０２により入力のシーン記述１００を複数の階層構造を成すシーン記述１００データに変換したことにより、シーン記述１００をシーン記述記憶装置１０３において記憶しておく際に、シーン記述記憶装置１０３の記憶容量を節約する目的で、シーン記述１００の階層構造を利用することが可能である。
【００８５】
従来技術では、シーン記述１００データをシーン記述記憶装置１０３から削除する際には、シーン記述１００データ全てを削除する以外に方法が無く、そのシーン記述１００が記述していたコンテンツの情報は完全に失われてしまう。
【００８６】
しかし、シーン記述変換装置１０２によりシーン記述１００を複数の階層から成るシーン記述１００データに変換しておき、データを削除する際には、削除すべきデータ量に達するまでの階層のシーン記述１００データのみを削除することにより、そのシーン記述１００が記述していたコンテンツの情報の一部を保存しておくことが可能となる。
【００８７】
本実施の形態は、シーン記述方法の種類に依存しない。分割可能なあらゆるシーン記述方法において有効である。
【００８８】
次に、本実施の第２の実施の形態として、シーン記述配信・視聴システムについて、図６を用いて説明する。
【００８９】
このシーン記述配信 視聴システムは、入力されたシーン記述情報であるシーン記述４００を変換して配信するサーバ４０１と、伝送媒体／記録媒体４０８を介してサーバ４０１からシーン記述４００の配信を受ける復号端末４０５とを有している。
【００９０】
サーバ４０１は、入力されたりシーン記述記憶装置４０３から送られたシーン記述４００を入力された階層化情報４０６に基づいて変換するシーン記述変換装置４０２と、入力されたシーン記述４００を記憶するシーン記述記憶装置４０３と、シーン記述変換装置４０２やシーン記述記憶装置４０３からのシーン記述４００を伝送媒体／記録媒体４０８を介して復号端末４０５に配信するシーン記述配信装置４０４とを有している。
【００９１】
図１に示した第１の実施の形態のシーン記述配信・視聴システムとの違いは、シーン記述変換装置がシーン記述を階層化する際に、復号端末や伝送媒体／記録媒体の情報に基づかない点である。
【００９２】
第２の実施の形態におけるシーン記述変換装置４０２は、復号端末４０５や伝送媒体／記録媒体４０８の情報無しで、入力となるシーン記述４００を、予め定めた階層化情報４０６に基づいて階層構造を成すシーン記述４００データへ変換する。
【００９３】
階層化情報４０６は、例えば各階層のシーン記述４００データに許されるデータ量やノード数の上限など、第１の実施の形態において階層化情報に基づいて定めていた値と同様であるが、予め定めた値を用いる。
【００９４】
シーン記述配信装置４０４は、配信時に、伝送媒体４０８／記録媒体４０８の伝送容量／記録容量や記録速度に適した階層までのシーン記述４００データを配信する。
【００９５】
第１の実施の形態と同様に復号端末情報が得られる場合には、復号端末４０５の復号および表示性能に適した階層までのシーン記述４００データを配信する。復号端末情報が得られない場合には、伝送および記録可能な全ての階層のシーン記述４００データを伝送もしくは記録する。
【００９６】
復号端末４０５は、受信した複数の階層から成るシーン記述４００データの内、復号・および表示可能な階層までのシーン記述４００データを復号し、表示する。
【００９７】
復号端末４０５性能および伝送媒体／記録媒体４０８の伝送容量／記録容量や記録速度が未知である場合にも、シーン記述変換装置４０２によってシーン記述４００を複数の階層に分割したシーン記述４００へ変換しておくことにより、配信時に伝送可能な階層のシーン記述４００データまでを配信し、復号端末４０５において復号・および表示可能な階層のシーン記述４００データまでを復号・表示することにより、復号端末４０５および伝送媒体／記録媒体４０８に適した配信を実現することが可能となった。
【００９８】
次に、本発明の第３の実施の形態として、ユーザインタラクションを受け付ける機能を有すユーザインタフェースシステムシステムについて、図７を用いて説明する。
【００９９】
このユーザインタフェースシステムは、入力されたシーン記述情報であるシーン記述５００を変換するサーバ５０１と、サーバ５０１から送られたシーン記述５００を表示してこの表示に応じたユーザ入力５１２を受けるリモート端末５０５と、サーバ５０１から送られた復号済シーン５１２を表示する表示端末５１７と、サーバ５０１から送られた機器制御信号５１８により制御を受ける被制御機器５１８を有している。
【０１００】
サーバ５０１は、入力されたシーン記述５００を階層化情報５０６に応じて変換するシーン記述変換装置５０２と、シーン記述変換装置５０２からのシーン記述５００を記憶するシーン記述記憶装置５０３と、シーン記述変換装置５０２からのシーン記述５００をユーザ入力情報５１３に基づいて復号するシーン記述復号装置５０９と、ユーザ入力情報５１３に基づいて機器制御信号５１８を生成する機器操作信号生成装置５１５とを有している。
【０１０１】
また、サーバ５０１は、シーン記述変換装置５０２やシーン記述記憶装置５０３からのシーン記述５００を伝送媒体／記録媒体５０８を介してリモート端末５０５に配信すると共にリモート端末５０５から伝送媒体／記録媒体５０８を介して送られた復号端末情報５０７を受けてシーン記述変換装置５０２に送るシーン記述配信装置５０４と、リモート端末５０５から伝送媒体／記録媒体５０８を介して送られたユーザ入力情報５１３を受けてシーン記述復号装置５０９や機器操作信号生成装置５１５に送る受信装置５１４とを有している。
【０１０２】
第３の実施の形態は、図１８により説明したように、ユーザ入力５１２によるインタラクションを含むことが可能なシーン記述方法で記述されたシーン記述５００を視聴する際の、復号端末がユーザインタラクションを受け付ける機能を持ったリモート端末５０５である場合に、シーン記述変換装置５０２をサーバ５０１が備えることを特徴とする。
【０１０３】
図１８および図７のようなユーザインタフェースシステムは、被制御機器５１９の制御を行うためのリモートコントロールシステムとして使用することも考えられる。
【０１０４】
シーン記述５００は、機器制御のためのメニューを記述する。ユーザ入力情報５１３は、機器制御信号生成装置５１５により機器制御信号５１８に変換され、被制御機器５１９へ送られる。
【０１０５】
図１８に示したリモート端末Ｂ０５とサーバＢ０１においては、リモート端末Ｂ０５へ表示させる機器制御のためのメニューを記述したシーン記述Ｂ００は、リモート端末Ｂ０５の復号・表示能力に依存して作成しなければ成らない。
【０１０６】
従って、復号・表示能力が拡張されたリモート端末Ｂ０５が使用可能に成った場合にも、復号・表示能力が劣るリモート端末Ｂ０５との後方互換性を確保するためには、能力の劣るリモート端末Ｂ０５に合せた機器制御のためのメニューを記述したシーン記述Ｂ００を使用しなければ成らないという問題があった。
【０１０７】
また、同時に複数のリモート端末Ｂ０５へシーン記述Ｂ００を配信する際には、最も性能の劣るリモート端末Ｂ０５に合せたシーン記述Ｂ００しか使用できないという問題点もあった。
【０１０８】
図７に示したサーバ５０１が備えるシーン記述変換装置５０２は、第１の実施の形態のシーン記述変換装置１０２および第２の実施の形態のシーン記述変換装置４０２と同様の動作を行う。
【０１０９】
従って、シーン記述５００配信に使用する伝送媒体／記憶媒体５０８の伝送容量／記録容量や記録速度、およびリモート端末５０５の復号・表示性能に基づいて最適な階層までのシーン記述５００をリモート端末５０５へ配信することが可能となる。
【０１１０】
サーバ５０１がシーン記述変換装置５０２を備えることにより、シーン記述５００生成の段階ではリモート端末５０５の性能が未知でも良く、また、性能の異なるリモート端末５０５を混在させたり、追加したりしても、後方互換性を失うこと無く、それぞれのリモート端末５０５に最適なシーン記述５００を配信することが可能である。
【０１１１】
次に第４の実施の形態として、シーン記述を生成するシーン記述生成装置について、図８を用いて説明する。
【０１１２】
このシーン記述生成装置６２０は、入力されたシナリオ６２１を符号化してシーン記述情報であるシーン記述６００とするシーン記述符号化装置６２２と、シーン記述符号化装置６２２からのシーン記述６２０を記憶するシーン記述記憶装置６０３とを有している。
【０１１３】
シーン記述生成装置６２０のシーン記述符号化装置６２２やシーン記述記憶装置６０３から出力されたシーン記述６００は、伝送媒体／記録媒体６０８を介してサーバ６０１に送られる。
【０１１４】
シーン記述生成装置６２０は、シーン記述符号化装置６２２を備え、どのようなシーンを記述するかを示すシナリオ６２１を入力とし、シーン記述６００を生成する。シーン記述６００は、テキストデータの場合も、バイナリデータの場合もある。
【０１１５】
シーン記述符号化装置６２２は後述する階層情報６２３も出力する。シーン記述６００および階層情報６２３は、シーン記述記憶装置６０３に記憶されることもある。生成されたシーン記述６００および階層情報６２３は、伝送媒体／記録媒体６０８を介して、サーバ６０１へ入力される。
【０１１６】
サーバ６０１は、図１に示した第１の実施の形態のサーバ１０１、図６に示した第２の実施の形態のサーバ４０１、図７に示した第３の実施の形態のサーバ５０１に対応している。
【０１１７】
シーン記述符号化装置６２２は、シーン記述６００を受信するサーバ６０１においてシーン記述６００を階層構造から成るシーン記述６００データへ変換する際に、図２のステップＳ２００に示した手順において分割すべき分割単位を予め定め、判別可能としておくことが特徴である。
【０１１８】
図９は、VRMLを例に取り、シーン記述符号化装置６２２が出力するシーン記述６００を説明するものである。説明のために、シーン記述６００の内容は図３と共通としている。
【０１１９】
第４の実施の形態のシーン記述符号化装置６２２は、シーン記述変換装置においてシーン記述を階層構造から成るシーン記述データへ変換する際に図２のステップＳ２００の手順で分割すべき分割単位に、シーン記述６００を生成する段階で予め識別子を付けておく。
【０１２０】
図９の例では、DEFキーワードでノードに付けることが可能な識別子を使用している。同時に、シーン記述符号化装置６２２は、図１０に示すように分割候補を示す識別子と、階層化する際の優先順位を示す階層情報６２３を出力する。
【０１２１】
図９に示すシーン記述６００と図１０に示す階層情報６２３を入力とする第１の実施の形態から第３の実施の形態までのシーン記述変換装置は、図２のステップＳ２００の手順でシーン記述を分割候補単位へ分割する際に、階層情報６２３に示された識別子の割り当てられた部分を分割候補とする。
【０１２２】
図９に示した例においては、7という識別子を付けられたTransformノード３１５と、8という識別子を付けられているTransformノード３２０と、1という識別子を付けられているGroupノード３００から上記Transformノード３１５および３２０を除いた部分と、の３つの分割単位に分割される。
【０１２３】
以降は、図２に示した手順と同様の手順により、シーン記述変換を行う。ただし、階層化を行う際に、分割候補の優先順位が階層情報に含まれているため、図１０に示した階層情報６２３の例では、最初の階層に、1という識別子を付けられていた分割候補Ｄ０を用い、次に7という識別子を付けられていた分割候補Ｄ１を用い、3番目に8という識別子を値を付けられていた分割候補Ｄ２が使用される。
【０１２４】
シーン記述生成装置６２０が、予め分割単位を示す識別子をシーン記述６００中に符号化しているため、シーン記述変換を行う際の分割処理が容易になる上、分割単位の優先順位を、シーン記述６００を生成する段階で指定することが可能となる。
【０１２５】
従って、より重要な部分を予め優先順位の高い分割単位として階層情報６２３に指定しておくことにより、より基本的な階層に重要な内容を保存することが可能となる。
【０１２６】
なお、予めシーン記述変換装置との間で分割候補を示すことを定めた識別子を用い、かつ、予めシーン記述変換装置との間で優先順位の表し方を定めた識別子を用いることにより、階層情報６２３を不要とすることが可能である。
【０１２７】
例えば図１０の例においては、予め１，７，８の識別子が分割候補を示し、優先順位は識別子の昇順である旨、シーン記述変換装置が既知であるならば、シーン記述生成装置は階層情報６２３を出力しなくとも、同様の効果が得られる。
【０１２８】
第４の実施の形態のシーン記述生成装置６２０は、図１に示した第１の実施の形態のサーバ１０１、図６に示した第２の実施の形態のサーバ４０１、または図７に示した第３の実施の形態のサーバ５０１と一体であっても構わない。
【０１２９】
以上のように、本実施の形態は、ディジタルTV放送やDVD、HTML、MPEG-4、BIFS、VRMLなど、ユーザ入力によるイントロダクションを含むシーンからなるコンテンツを視聴する際に、シーン記述を階層構造に変換することにより、伝送容量の異なる伝送媒体／記録媒体で伝送／記録し、復号・表示能力の異なる端末で復号 表示可能とする。また、階層化のヒントとなる識別子をシーン記述中に符号化し、階層化の優先順位も出力しておくことにより、変換を容易にすることを可能にするものである。
【０１３０】
なお、本実施の形態は、シーン記述方法の種類に依存しない。分割単位を区別可能な識別子をシーン記述中に埋め込むことが可能なあらゆるシーン記述方法において有効である。例えばMPEG-4 BIFSにおいては、ISO/IEC14496-1に定められたnodeIDを、上記識別子として使用することにより、同様の効果が得られる。
【０１３１】
また、本実施の形態は、ハードウェアによっても、ソフトウェアによっても実現可能である。
【０１３２】
【発明の効果】
上述のように、ユーザ入力によるインタラクションを含むことが可能なシーン記述方法で記述されたコンテンツのシーン記述を、サーバが復号端末へ配信する際、本発明のサーバは、シーン記述を階層化するシーン記述変換装置を備え、シーン記述変換装置により階層化した複数のシーン記述データをサーバが復号端末へ配信する際に、伝送媒体／記録媒体や復号端末の性能に見合った階層のシーン記述データまでを配信することにより、復号端末においてシーン記述を正しく復号・表示することを可能とした。
【０１３３】
また、本発明のシーン記述変換装置により、シーン記述を伝送媒体／記録媒体や復号端末の動的に変化する性能に合せて実時間でシーン記述の階層化を行うことにより、復号端末の性能が動的に変化したり、シーン記述の配信に使用する伝送媒体／記録媒体の伝送容量、記録容量や記録速度が動的に変化する場合にも、適応的にシーン記述を変換することが可能となった。
【０１３４】
復号端末性能および伝送媒体／記録媒体の伝送容量／記録容量や記録媒体が未知である場合にも、本発明のシーン記述変換装置によってシーン記述を複数の階層に分割したシーン記述へ変換しておくことにより、配信時に伝送可能な階層のシーン記述データまでを配信し、復号端末において復号・および表示可能な階層のシーン記述データまでを復号・表示することにより、復号端末および伝送媒体／記録媒体に適した配信を実現することが可能となった。
【０１３５】
復号・表示能力が拡張されたリモート端末が使用可能になった際に、本発明のシーン記述変換装置により、復号・表示能力が劣るリモート端末に合せた階層と、復号・表示能力が拡張されたリモート端末に合せた階層の複数のシーン記述データへ変換することが可能であるため、復号・表示能力が劣るリモート端末との後方互換性を確保できるという効果がある。
【０１３６】
一方、シーン記述変換装置により入力のシーン記述を複数の階層構造を成すシーン記述データに変換したことにより、シーン記述をシーン記述記憶装置において記憶しておく際に、シーン記述記憶装置の記憶容量を節約する目的で、削除すべきデータ量に達するまでの階層のシーン記述データのみを削除し、基本的な階層を保存しておくことにより、そのシーン記述が記述していたコンテンツの情報の一部を保存しておくことが可能となる。
【０１３７】
さらに、シーン記述変換装置によりシーン記述の階層化を行うことを前提に、階層化のためのヒントとなる階層情報をシーン記述生成装置が出力することにより、階層化処理を容易にし、かつ、階層化の優先順位を指定することを可能とした。
【図面の簡単な説明】
【図１】第１の実施の形態のシーン記述配信 視聴システムを表すブロック図である。
【図２】シーン記述変換装置における処理を表すフローチャートである。
【図３】  MPEG-4 BIFSにおけるシーン記述の分割候補を表す図である。
【図４】  MPEG-4 BIFSにおけるシーン記述の変換結果を表す図である。
【図５】  MPEG-4 BIFSにおけるシーン記述の異なる変換候補を表す図である。
【図６】第２の実施の形態のシーン記述配信 視聴システムを表すブロック図である。
【図７】第３の実施の形態のユーザインタラクションを受け付ける機能を持ったリモート端末とサーバの構成を表すブロック図である。
【図８】第４の実施の形態のシーン記述生成装置の構成を表すブロック図である。
【図９】第４の実施の形態のシーン記述生成装置の出力シーン記述例を表す図である。
【図１０】第４の実施の形態のシーン記述生成装置の階層情報例を表す図である。
【図１１】  VRML、MPEG-4 BIFSのシーン記述の内容を表す図である。
【図１２】  VRML、MPEG-4 BIFSのシーン記述の構造を表す図である。
【図１３】  VRML、MPEG-4 BIFSのシーン記述の復号 表示結果を表す図である。
【図１４】  MPEG-4 BIFSのシーン記述の内容を表す図である。
【図１５】  MPEG-4 BIFSのビットストリーム構造を表す図である。
【図１６】  MPEG-4 BIFSのシーン記述の復号 表示結果を表す図である。
【図１７】シーン記述を視聴する際のシステム例を表す図である。
【図１８】ユーザインタラクションを受け付ける機能を持ったリモート端末とサーバの構成を表す図である。
【符号の説明】
１０１ サーバ、１０２ シーン記述変換装置、１０３ シーン記述記憶装置、１０４ シーン記述配信装置、１０５ 復号端末、１０６ 階層化情報、１０８ 伝送媒体／記録媒体
【図１】
0004389323.tif 000002
【図２】
0004389323.tif 000003
【図３】
0004389323.tif 000004
【図４】
0004389323.tif 000005
【図５】
0004389323.tif 000006
【図６】
0004389323.tif 000007
【図７】
0004389323.tif 000008
【図８】
0004389323.tif 000009
【図９】
0004389323.tif 000010
【図１０】
0004389323.tif 000011
【図１１】
0004389323.tif 000012
【図１２】
0004389323.tif 000013
【図１３】
0004389323.tif 000014
【図１４】
0004389323.tif 000015
【図１５】
0004389323.tif 000016
【図１６】
0004389323.tif 000017
【図１７】
0004389323.tif 000018
【図１８】
0004389323.tif 000019