(57)【要約】【課題】ＭＰＥＧ−４におけるＢＩＦＳで記述されているシーン記述情報を簡単な操作で変更し、変更したシーン記述情報に基づいて画面表示や音声出力を変更させることができるマルチメディアデータの処理装置及び処理方法を提供する。【解決手段】キーボードやマウス等の入力デバイスで指定したデータに基づきＢＩＦＳで記述されたシーン記述情報に含まれるフィールドと呼ばれるデータが書き替えられ、書き替えられたシーン記述情報に基いて画面表示が行なわれるように構成されている。【選択図】図１
2004363655.tif 000002
【特許請求の範囲】
【請求項１】
ＢＩＦＳで記述されたシーン記述情報に基づき画面表示を行なう表示手段と入力データを指定する入力手段を備え、
上記入力手段で指定した入力データに基づき、上記シーン記述情報に含まれる特性データが変更され、
該変更されたシーン記述情報に基づき、上記表示手段が画面表示を行なうように構成されていることを特徴とするマルチメディアデータの処理装置。
【請求項２】
上記入力手段がポインティングデバイスであることを特徴とする請求項１記載のマルチメディアデータの処理装置。
【請求項３】
上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることを特徴とする請求項１記載のマルチメディアデータの処理装置。
【請求項４】
上記ポインティングデバイスがマウスであることを特徴とする請求項２又は３記載のマルチメディアデータの処理装置。
【請求項５】
上記特性データに対応した文字又は図形を画面上に表示することを特徴とする請求項１乃至４記載のマルチメディアデータの処理装置。
【請求項６】
ＢＩＦＳ言語を使用せずに、上記を特性データを変更することを特徴とする請求項１乃至５記載のマルチメディアデータの処理装置。
【請求項７】
入力データを指定する入力手段で指定した入力データに基づき、ＢＩＦＳで記述されたシーン記述情報に含まれる特性データが変更され、
該変更されたシーン記述情報に基づき、画面表示を行なうことを特徴とするマルチメディアデータの処理方法。
【請求項８】
上記入力手段がポインティングデバイスであることを特徴とする請求項７記載のマルチメディアデータの処理方法。
【請求項９】
上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることを特徴とする請求項８記載のマルチメディアデータの処理方法。
【請求項１０】
上記ポインティングデバイスがマウスであることを特徴とする請求項８又は９記載のマルチメディアデータの処理方法。
【請求項１１】
上記特性データに対応した文字又は図形を画面上に表示することを特徴とする請求項７乃至１０記載のマルチメディアデータの処理方法。
【請求項１２】
ＢＩＦＳ言語を使用せずに、上記を特性データを変更することを特徴とする請求項７乃至１１記載のマルチメディアデータの処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明はマルチメディアデータの処理装置及び処理方法に係り、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ    Ｐｉｃｔｕｒｅ    Ｅｘｐｅｒｔｓ    Ｇｒｏｕｐ）−４フォーマットのデータを処理する処理装置及び処理方法に関するものである。
【０００２】
【従来の技術】
近年、動画像や音声などを含む複数のオブジェクトを含むマルチメディアデータをＭＰＥＧ−４フォーマットに変換して単一のデータストリームとして伝送する手法が使用されている。
【０００３】
このデータストリームにおいては、これまでの一般的なマルチメディアデータとは異なり、いくつものビデオシーンやビデオオブジェクトのデータが単一のストリーム上に独立して存在している。また、音声データについても、単一のストリーム上に独立して存在している。従って、複数のオブジェクトを、単一のストリーム上から復元することができる。
【０００４】
このような特徴を有するＭＰＥＧ−４におけるデータストリームには、複数のビデオシーン、ビデオオブジェクト、音声データ等のを合成するための情報として、ＢＩＦＳ（Ｂｉｎａｒｙ  Ｆｏｒｍａｔ  Ｓｃｅｎｅｓ）が含まれている。ここで、ＢＩＦＳはＭＰＥＧ−４のシーンを２値で記述した情報であり、表示されるシーンの構成を示すツリー構造の情報が記述されている。、又、ＭＰＥＧ−４における動画や音声等のオブジェクトは、ツリー構造を構成するノードによって表現され、更にこのノードはフィールドと呼ばれるデータを含んでいる。従って、シーンの表示はツリー構造を構成するノードや、そのノードに含まれるフィールドによって決定される。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧ−４におけるデータストリームの再生装置では、その表示サイズや再生速度等を簡単な操作で変更することができなかった。
【０００６】
そこで本発明は、ＭＰＥＧ−４におけるＢＩＦＳで記述されているシーン記述情報を簡単な操作で変更し、変更したシーン記述情報に基づいて画面表示や音声出力を変更させることができるマルチメディアデータの処理装置及び処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る目的は、ＢＩＦＳで記述されたシーン記述情報に基づき画面表示を行なう表示手段と入力データを指定する入力手段を備え、上記入力手段で指定した入力データに基づき、上記シーン記述情報に含まれる特性データが変更され、該変更されたシーン記述情報に基づき、上記表示手段が画面表示を行なうように構成されていることを特徴とするマルチメディアデータの処理装置によって達成される。
【０００８】
又、本発明によれば、上記入力手段がポインティングデバイスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【０００９】
又、本発明によれば、上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１０】
又、本発明によれば、上記ポインティングデバイスがマウスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１１】
又、本発明によれば、上記特性データに対応した文字又は図形を画面上に表示することにより、使い易さを向上させることができる。
【００１２】
又、本発明によれば、ＢＩＦＳ言語を使用せずに、上記を特性データを変更することにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１３】
本発明に係る目的は、入力データを指定する入力手段で指定した入力データに基づき、ＢＩＦＳで記述されたシーン記述情報に含まれる特性データが変更され、該変更されたシーン記述情報に基づき、画面表示を行なうことを特徴とするマルチメディアデータの処理方法によって達成される。
【００１４】
又、本発明によれば、上記入力手段がポインティングデバイスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１５】
又、本発明によれば、上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１６】
又、本発明によれば、上記ポインティングデバイスがマウスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１７】
又、本発明によれば、上記特性データに対応した文字又は図形を画面上に表示することにより、使い易さを向上させることができる。
【００１８】
又、本発明によれば、ＢＩＦＳ言語を使用せずに、上記を特性データを変更することにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１９】
【発明の実施の形態】
本発明に係るマルチメディアデータの処理装置及び処理方法の処理対象であるデータは、シーン記述言語としてＭＰＥＧ−４システム（ＩＳＯ／ＩＥＣ１４４９６−１）で定義されているＢＩＦＳ（Ｂｉｎａｒｙ  Ｆｏｒｍａｔ  ｆｏｒ  Ｓｃｅｎｅｓ）で記述されたデータである。そのデータ形式はバイナリデータである。
【００２０】
このＢＩＦＳで記述されたシーン記述情報では、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されており、その要素（ツリー構造の分岐点）はノードと呼ばれる。そして、各ノードには、それに対応したオブジェクトが関連付けられている。
【００２１】
より詳細に説明すれば、ＭＰＥＧ−４では、画像、音声、静止画等のデータはエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）と呼ばれ、このメンタリストリームとシーン記述情報はオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ  Ｄｅｓｃｒｉｐｔｏｒ）という情報によって関連付けされている。この関連付けのため、シーン記述情報では、各オブジェクトにオブジェクト・ディスクリプタＩＤが割り当てられるており、このオブジェクト・ディスクリプタＩＤにより対応するオブジェクト・ディスクリプタが識別される。更に、オブジェクト・ディスクリプタには各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリーム・ディスクリプタがあり、このエレメンタリストリーム・ディスクリプタにはエレメンタリストリームＩＤが記述されており、このエレメンタリストリームＩＤにより各エレメンタリストリームが識別される。
【００２２】
又、シーン記述情報のノードには、各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標等）が記述され、各ノードの特性はフィールドと呼ばれるデータにより決定される。又、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードに継承されたり、下位ノードがグループ化されたりする。
【００２３】
本発明に係るマルチメディアデータの処理装置及び処理方法では、上記ＢＩＦＳで記述されたシーン記述情報に含まれるフィールドと呼ばれるデータを書き替えることにより、シーン記述情報によって構成される画面表示を変更している。［第１の実施の形態］
図１を参照して、本発明に係るマルチメディアデータの処理装置及び処理方法の第１の実施形態を説明する。図１は、本発明に係るマルチメディアデータの処理装置の画面表示の例（第１の実施形態）を示す図である。
【００２４】
図１に示した画面１１には、シーン記述情報に基づいて背景１２、動画１３、静止画１４及びテキスト（文字表示）１５が表示されている。
【００２５】
又、背景１２の背景色を設定するための背景色入力エリア１６、動画１３の再生速度を設定するための再生速度入力エリア１７、静止画１４の表示サイズを設定するためのサイズ入力エリア１８、及びテキスト（文字表示）１５の文字を設定するためのテキスト入力エリア１９が画面１１上に設定されている。
【００２６】
又、マウスカーソル１０は、ポインティングデバイスであるマウスの動きに連動して上下左右に移動する位置表示である。例えば、マウスカーソル１０の矢印の先を指定したい位置（または入力データ）に合わせ、マウスのボタンをクリックするとその位置（または入力データ）が指定される。
【００２７】
次に、背景色入力エリア１６、再生速度入力エリア１７、サイズ入力エリア１８及びテキスト入力エリア１９にデータを入力してシーン記述情報に基づく画面表示を変更する処理について説明する。
【００２８】
例えば、背景１２の色を変更したい場合は、背景色入力エリア１６に希望の背景色を入力して（例えば、背景色入力エリア１６をプルダウンメニューにして背景色をマウスカーソルで選択する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行（例えば、キーボードのエンターキーを押すことにより処理を実行する）する。ここで、処理が実行されると背景１２に対応するノード（シーン記述情報の中に記述されているノード）の背景色に対応するフィールドのデータが、背景色入力エリア１６に入力された入力データに基づき更新される。その結果、背景色入力エリア１６の入力データがシーン記述情報に基づく画面表示の背景１２の色に反映される。
【００２９】
又、動画１３の再生速度を変更したい場合は、再生速度入力エリア１７に希望の再生速度を入力して（例えば、再生速度入力エリア１７をプルダウンメニューにして再生速度をマウスカーソルで選択する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行する。ここで、処理が実行されると動画１３に対応するノード（シーン記述情報の中に記述されているノード）の再生速度に対応するフィールドのデータが、再生速度入力エリア１７に入力された入力データに基づき更新される。その結果、再生速度入力エリア１７の入力データがシーン記述情報に基づく画面表示の動画１３の再生速度に反映される。
【００３０】
又、静止画１４の表示サイズを変更したい場合は、サイズ入力エリア１８に希望の表示サイズを入力して（例えば、サイズ入力エリア１８をプルダウンメニューにして表示サイズをマウスカーソルで選択する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行する。ここで、処理が実行されると静止画１４の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示サイズに対応するフィールドのデータが、サイズ入力エリア１８に入力された入力データに基づき更新される。その結果、サイズ入力エリア１８の入力データがシーン記述情報に基づく画面表示の静止画１４の表示サイズに反映される。
【００３１】
又、テキスト（文字表示）１５の文字を変更したい場合は、テキスト入力エリア１９に希望の文字を入力して（例えば、希望の文字をキーボードから入力する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行する。ここで、処理が実行されるとテキスト（文字表示）１５に対応するノード（シーン記述情報の中に記述されているノード）の文字の内容に対応するフィールドのデータが、テキスト入力エリア１９に入力された入力データに基づき更新される。その結果、テキスト入力エリア１９がシーン記述情報に基づく画面表示のテキスト（文字表示）１５の文字の表示に反映される。
【００３２】
尚、背景色入力エリア１６、再生速度入力エリア１７、サイズ入力エリア１８、及びテキスト入力エリア１９の複数の入力エリアにデータを入力してから処理を実行してもよい。
【００３３】
又、マウスで背景１２、動画１３、静止画１４又はテキスト（文字表示）１５を指定（例えば、マウスカーソル１０の矢印の先を背景１２、動画１３、静止画１４及びテキスト（文字表示）１５に合わせて、マウスのボタンをクリックする）した時に、背景１２の色、動画１３の再生速度、静止画１４の表示サイズ又はテキスト（文字表示）１５の文字の現在の設定が各入力エリアに表示させる機能を加えてもよい。この場合、マウスで指定された背景１２、動画１３、静止画１４の表示条件又はテキスト（文字表示）１５に対応するノードのフィールドに記述されているデータが各入力エリアに表示される。
［第２の実施の形態］
図２を参照して、本発明に係るマルチメディアデータの処理装置及び処理方法の第２の実施形態を説明する。図２は、本発明に係るマルチメディアデータの処理装置の画面表示の例（第２の実施形態）を示す図である。
【００３４】
図２に示した画面２１には、シーン記述情報に基づいて背景２２及び動画２３が表示されている。又、動画２３の再生速度を設定するための速度調整スクロールボックス２４と動画２３と同期して出力される音声の大きさを設定するための出力調整スクロールボックス２５が画面２１上に設定されている。この速度調整スクロールボックス２４と出力調整スクロールボックス２５は、マウスでドラック（マウスカーソル２６の矢印の先で速度調整スクロールボックス２４又は出力調整スクロールボックス２５を指定して、更にボタンを押しながらマウスを動かす）して動かすことができる。
【００３５】
次に、速度調整スクロールボックス２４と出力調整スクロールボックス２５を動かして、動画２３の再生速度と、動画１３と同期して出力される音声の大きさを調整する処理について説明する。
【００３６】
画面２１上に設定されている速度調整スクロールボックス２４は、動画２３に対応するノード（シーン記述情報の中に記述されているノード）の再生速度に対応するフィールドのデータに連動している。つまり、速度調整スクロールボックス２４は、動画２３に対応するノードの再生速度に対応するフィールドのデータに応じて左右に移動し、速度調整スクロールボックス２４をマウスでドラックした場合は、移動させた位置に応じたデータに動画２３に対応するノードの再生速度に対応するフィールドのデータが変更される。
【００３７】
従って、例えば、速度調整スクロールボックス２４が右に移動すると再生速度が早くなり、左に移動すると再生速度が遅くなるように設定すれば、速度調整スクロールボックス２４をマウスで左右にドラックすることにより動画２３の再生速度を調整することができる。
【００３８】
画面２１上に設定されている出力調整スクロールボックス２５は、動画２３と同期して出力される音声に対応するノードの音声の大きさに対応するフィールドのデータに連動している。つまり、出力調整スクロールボックス２５は、動画２３と同期して出力される音声に対応するノードの音声の大きさに対応するフィールドのデータに応じて左右に移動し、出力調整スクロールボックス２５をマウスでドラックした場合は、移動させた位置に応じたデータに、動画２３と同期して出力される音声に対応するノードの音声の大きさに対応するフィールドのデータが変更される。
【００３９】
従って、例えば、出力調整スクロールボックス２５が右に移動すると音声の大きさが大きくなり、左に移動すると音声の大きさが小さくなるように設定すれば、出力調整スクロールボックス２５をマウスで左右アにドラックすることにより音声の大きさを調整することができる。
［第３の実施の形態］
図３を参照して、本発明に係るマルチメディアデータの処理装置及び処理方法の第３の実施形態を説明する。図３は、本発明に係るマルチメディアデータの処理装置の画面表示の例（第３の実施形態）を示す図である。
【００４０】
図３に示した画面３１には、シーン記述情報に基づいて背景３２、動画３３及び静止画３４が表示されている。又、動画３３の表示サイズを変更した動画３３ａと、動画３３の表示位置を変更した動画３３ｂと、静止画３４の表示サイズを変更した静止画３４ａと、静止画３４の表示位置を変更した静止画３４ｂが点線で示されている。
【００４１】
次に、動画３３や静止画３４のエッジ（例えば、角部）をマウスでドラックして表示サイズを変更する処理と、動画３３や静止画３４をマウスでドラックして表示位置を変更する処理について説明する。
【００４２】
表示サイズを変更する場合、例えば画面３１上の動画３３のエッジをマウスでドラックして、表示サイズが動画３３ａの大きさになるところまで拡張させる。ここでドラックが完了すると、動画３３の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示サイズに対応するフィールドのデータが、動画３３ａの表示サイズに対応したデータに更新される。その結果、動画３３は動画３３ａの表示サイズで画面３１上に表示される。
【００４３】
静止画３４の表示サイズを変更する場合も、上記と同様に静止画３４のエッジをマウスでドラックして、表示サイズが静止画３４ａの大きさになるところまで拡張させることにより行なうことができる。この場合、ドラックが完了すると、静止画３４の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示サイズに対応するフィールドのデータが、静止画３４ａの表示サイズに対応したデータに更新される。
【００４４】
表示位置を変更する場合、例えば画面３１上の動画３３をマウスでドラックして、表示位置が動画３３ｂの位置になるところまで移動させる。ここでドラックが完了すると、動画３３の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示位置に対応するフィールドのデータが、動画３３ｂの表示位置に対応したデータに更新される。その結果、動画３３は画面３１上の動画３３ｂの表示位置に表示される。
【００４５】
静止画３４の表示位置を変更する場合も、上記と同様に静止画３４をマウスでドラックして、表示位置が静止画３４ｂの位置になるところまで移動させることにより行なうことができる。この場合、ドラックが完了すると、静止画３４の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示位置に対応するフィールドのデータが、静止画３４ｂの表示位置に対応したデータに更新される。
【００４６】
以上のように、本発明に係るマルチメディアデータの処理装置及び処理方法では、シーン記述情報の中に記述されているノードのフィールドのデータを、キーボードやマウス等の入力デバイスで指定したデータに変更することによりシーン記述情報に基づく画面表示や音声出力を変更している。
【００４７】
尚、フィールドのデータ変更は、ＢＩＦＳ言語で行なうことができるが、本発明においては、ＢＩＦＳ言語を使用せずフィールドのデータ変更している。従って、Ｖｉｓｕａｌ  Ｂａｓｉｃ（登録商標）、Ｖｉｓｕａｌ  Ｃ＋＋（登録商標）及びＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等の標準的なプログラミングツールで変更対象のフィールドを書き替える等の設定変更を簡単に行なうことができる。
【００４８】
【発明の効果】
以上に説明したように、本発明に係るマルチメディアデータの処理装置及び処理方法においては、キーボードやマウス等の入力デバイスによる簡単な操作を行なうだけで、ＭＰＥＧ−４におけるＢＩＦＳで記述されているシーン記述情報を変更することができ、更に変更したシーン記述情報に基づき画面表示や音声出力を行なうことができる。
【図面の簡単な説明】
【図１】本発明に係るマルチメディアデータの処理装置の画面表示の例（第１の実施形態）を示す図である。
【図２】本発明に係るマルチメディアデータの処理装置の画面表示の例（第２の実施形態）を示す図である。
【図３】本発明に係るマルチメディアデータの処理装置の画面表示の例（第３の実施形態）を示す図である。
【符号の説明】
１０、２６、３５  マウスカーソル
１１、２１、３１  画面
１２、２２、３２  背景
１３、２３、３３  動画
１４、３４  静止画
１６  背景色入力エリア
１７  再生速度入力エリア
１８  サイズ入力エリア
１９  テキスト入力エリア
２４  速度調整スクロールボックス
２５  出力調整スクロールボックス
【図１】
2004363655.tif 000003
【図２】
2004363655.tif 000004
【図３】
2004363655.tif 000005