(57)【特許請求の範囲】
【請求項１】
クライアント側で合成表示したいストリーミングデータ及びストリーミングデータ以外のデータを格納し準備する記憶手段と、
この記憶手段に準備されているストリーミングデータ及びストリーミングデータ以外のデータに対し、オブジェクトごとに時系列上の位置、動作、ユーザ動作をシーン記述動作にて定義することにより、シーン記述動作定義ファイルを作成する手段と、
この手段によって作成されたシーン記述動作定義ファイルのシーン記述動作コマンドを解析し、当該コマンド記述の正否を判断し、当該コマンド記述が適正であると判断されたとき当該シーン記述動作定義ファイルをコンパイルし、タイムスタンプ順にソートしたシーン記述情報を作成するシーン記述情報作成手段と、
前記ストリーミングデータ及びストリーミングデータ以外のデータ、前記シーン記述情報その他少なくともクライアント側の再生開始，終了時刻等の条件情報が入力され、前記各データに対し、前記再生開始，終了時刻、前記タイムスタンプのもとに前記シーン記述情報を取り込み、前記各データ及び当該シーン記述情報を所定のパケットサイズでパケット化し、かつ、タイムスタンプを割り当てて、固定ビットレートで多重化することにより、コンテンツデータを作成し前記クライアントに配信可能とする多重装置とを備えたことを特徴とするオーサリングシステム。
【請求項２】
請求項１に記載するオーサリングシステムにおいて、
前記多重装置は、前記ストリーミングデータ以外のデータ及び当該データに関するシーン記述情報を所定のパケットサイズでパケット化し多重化する場合、トータルビットレートと前記ストリーミングデータの固定ビットレートとに基づき、前記ストリーミングデータ以外のデータの帯域を計算し、当該ストリーミングデータ以外のデータのパケット送出順序を決定し、全てのバケットにタイムスタンプを割り当てて多重化することを特徴とするオーサリングシステム。
【請求項３】
記憶部とオーサリングとを備えたコンピュータによって、前記記憶部に準備されているクライアント側で合成表示したいストリーミングデータ及びストリーミングデータ以外のデータからシーン記述情報を作成するシーン記述情報作成用プログラムを記録した記録媒体であって、
前記コンピュータに、
前記オーサリングによって、前記記憶部に準備されているストリーミングデータ及びストリーミングデータ以外のデータに対し、オブジェクトごとに時系列上の位置、動作、ユーザ動作をシーン記述動作にて定義することにより、シーン記述動作定義ファイルを作成するシーン記述定義ファイル作成機能と、この機能によって作成されたシーン記述動作のコマンド記述の正否を解析するコマンド解析処理機能と、この機能によってコマンド記述が適正であるとき、前記シーン記述動作定義ファイルをコンパイルし、タイムスタンプ順にソートしたシーン記述情報を作成するシーン記述情報作成機能とを実現させるための前記シーン記述情報作成用プログラムを記録した前記コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧコンテンツを作成するオーサリングシステムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、複数のＭＰＥＧ４ビデオ／オーディオ，静止画，テキストの各オブジェクトに関し、それぞれの位置や動作を定義し、１つのＭＰＥＧ４コンテンツを作成するツールが存在する。
【０００３】
このツールにおいては、ビデオ，オーディオ，静止画，テキストなどに対し、更に個々にイベントを発生させ、次の動作を定義することが可能であり、またインターラクティブ機能によって多様なコンテンツを作成できるといった、他に見られない技術である。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のツールでは、スケジューリング付き多重化機構及び再生機構の処理に適した形式であることから、オブジェクトの時空間の関係を定義するシーン記述動作定義ファイルの記述としては、タイムスタンプ毎／オブジェクト毎に動作コマンドを１行ずつ定義する必要があり、また、定義されたコンテンツの内容をリアルタイムに確認する機能をもっておらず、１つのコンテンツを作成するのに多くの時間を要する問題がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、コンテンツを作成する面倒な作業の簡素化およびコンテンツ作成時間の短縮化を図るオーサリングシステムを提供することにある。
【０００６】
また、本発明の他の目的は、作成されたコンテンツの動作確認を容易にするオーサリングシステムを提供することにある。
【０００７】
また、本発明の他の目的は、容易にシーン記述情報を作成するためのプログラムを記録した記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
（１）  上記課題を解決するために、本発明に係るオーサリングシステムは、クライアント側で合成表示したいストリーミングデータ及びストリーミングデータ以外のデータを格納し準備する記憶手段と、この記憶手段に準備されているストリーミングデータ及びストリーミングデータ以外のデータに対し、オブジェクトごとに時系列上の位置、動作、ユーザ動作をシーン記述動作にて定義することにより、シーン記述動作定義ファイルを作成する手段と、この手段によって作成されたシーン記述動作定義ファイルのシーン記述動作コマンドを解析し、当該コマンド記述の正否を判断し、当該コマンド記述が適切であるときには当該シーン記述動作定義ファイルをコンパイルし、タイムスタンプ順にソートしたシーン記述情報を作成するシーン記述情報作成手段と、前記ストリーミングデータ及びストリーミングデータ以外のデータ、前記シーン記述情報その他少なくともクライアント側の再生開始，終了時刻等の条件情報が入力され、前記各データに対し、前記再生開始，終了時刻、前記タイムスタンプのもとに前記シーン記述情報を取り込み、前記各データ及び当該シーン記述情報を所定のパケットサイズでパケット化し、かつ、タイムスタンプを割り当てて、固定ビットレートで多重化することにより、コンテンツデータを作成し前記クライアントに配信可能にする多重装置とを備えた構成である。
【０００９】
この発明は、以上のような構成とすることにより、ストリーミングデータ及びストリーミングデータ以外のデータのオブジェクトごとに、時系列上の位置、動作、ユーザ動作を言語形式で１つの定義とすることにより、シーン記述情報が容易に作成可能となり、ひいては画面変更等も容易となる。
【００１０】
さらに、本発明は、前記ストリーミングデータ及びストリーミングデータ以外のデータと前記シーン記述情報その他少なくともクライアント側の再生開始，終了時刻等の条件情報が入力され、前記各データに対し、前記再生開始，終了時刻、前記タイムスタンプのもとに前記シーン記述情報を取り込み、前記各データおよび当該シーン記述情報を所定のパケットサイズでパケット化し、これらパケットごとにタイムスタンプを割り振りしつつ固定ビットレートで多重化することにより、コンテンツデータを作成し前記クライアントに配信可能にする多重装置を設けたことにより、ストリーミングデータ及びストリーミングデータ以外のデータ等を多重化した状態で配信可能な状態で多重ファイル化することが可能である。
【００１１】
（２）  また、前記（１）の各手段は記録媒体に一連の処理プログラムとして記録し、コンピュータでそのプログラムを読み取って所要の機能を実現することも可能である。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係るオーサリングシステムを備えたデータ配信システムの一実施の形態を示す構成図である。
このデータ配信システムは、例えばビデオデータ，オーディオデータといったストリーミングデータを格納するビデオファイル１ａ，オーディオファイル１ｂと、例えば静止画データ，テキストデータといったストリーミングデータ以外のデータを格納する静止画ファイル１ｃ，テキストファイル１ｄと、各ファイル１ａ〜１ｄに格納された各データにおけるオブジェクト毎に位置，動作，ユーザ動作を言語形式で定義し、その定義をコンパイルしてシーン記述情報を作成するオーサリング２と、このオーサリング２によって作成されたシーン記述情報を格納するシーン記述情報ファイル３と、このシーン記述情報ファイル３に格納されるシーン記述情報を用いて、使用する全てのオブジェクトを多重化処理したＭＰＥＧ４コンテンツデータを作成する多重装置４と、この多重装置２により多重処理されたＭＰＥＧ４コンテンツデータを一時保存する多重ファイル５と、この多重ファイル５に保存されている多重処理されたＭＰＥＧ４コンテンツデータを固定ビットレートで送出する送出サーバ６と、このサーバ６から送出されるデータパケットから各データを再生し合成する機能を内蔵した受信端末となるクライアント７とによって構成されている。８はシーン記述情報作成処理時および多重化処理時にその処理データ及び処理結果を表示する表示装置、９は所要とする制御指示やＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）処理を可能にするキーボードを含むマウスなどのポインティングデバイスをもつ入力機器である。
【００１３】
なお、前記構成要素１ａ〜１ｄ，２，３，８，９またはこれら構成要素１ａ〜１ｄ，２，３，８，９に多重装置４を含む構成をもつてオーサリングシステムと呼んでいる。
【００１４】
前記ストリーミングデータは、ビデオ機器，オーディオ機器から入力されるビデオデータ，オーディオデータなどのように、受信端末側でデータパケットを全て受信した後に再生する必要はなく、受信しながら再生可能なデータを意味する。このストリーミングデータは、特にフォーマットを規定するものでないが、固定ビットレートであることが前提となる。これらビデオデータ，オーディオデータはオーサリング対象オブジェクトとする。
【００１５】
前記ストリーミングデータ以外のデータは、静止画，テキスト等のように、クライアント７側にて全てのデータを受信した後に初めて再生可能とするデータを意味する。このストリーミングデータ以外のデータは特にフォーマットを規定するものではない。
【００１６】
なお、ビデオ，オーディオ，静止画，テキストデータは、各ファイル１ａ〜１ｄにそれぞれファイル形式で格納されているが、例えばファイル形式ではなくメモリ経由で多重装置４に入力する形式であってもよい。また、データとしては、ビデオ，オーディオ，静止画，テキスト以外のデータを含むものであってもよい。
【００１７】
前記オーサリング２は、ファイル１ａ〜１ｄの各データに関し、ＧＵＩ処理機能により時間ごと・オブジェクトごとに図２に示すように、ある時間後にある位置にいかなるイメージで表示させるかといった、いわゆる画像の位置，動作（移動，ユーザ動作など）を定義する機能をもったものであり、具体的には図３に示すような機能構成となっている。
【００１８】
すなわち、オーサリング２はＧＵＩ処理機能をもつシーン記述作成用プログラムが記録されている記録媒体１１およびこの記録媒体１１のプログラムに従ってシーン記述情報を作成処理するＣＰＵで構成されたオーサリング処理部１２からなっている。なお、記録媒体１１は、一般的にはＣＤ−ＲＯＭや磁気ディスクが用いられるが、それ以外にも例えば磁気テープ、ＤＶＤ−ＲＯＭ、フロッピーディスク、ＭＯ、ＣＤ−Ｒ、メモリカードなどを用いてもよい。
【００１９】
このオーサリング処理部１２は、シーン記述作成用プログラムのＧＵＩを用いて、表示装置８の簡易オーサリング画面と対話形式を取りながらシーン記述動作定義ファイル１６を作成するシーン記述定義手段１７と、このシーン記述動作定義ファイル１６のシーン記述コマンドを解析し、当該コマンドの記述が正しいか否かをチェックするシーンコマンド解析処理手段１８と、このシーンコマンド解析処理手段１８によりコマンドの記述が正しいとき、シーン記述動作定義ファイル１６をコンパイルしシーン記述情報を作成しシーン記述情報ファイル３に格納するシーン記述作成処理手段１９とが設けられている。
【００２０】
前記多重装置４は、記録媒体１１に記録される多重処理用プログラムに従って多重処理を行ってＭＰＥＧ４コンテンツを作成するものであり、各ファイル１ａ〜１ｄに関し、図４に示すようにクライアント７側の再生開始，終了時刻の他、シーン記述情報を入力するとともに、固定サイズのパケットとした上で固定ビットレートで多重化し、ＭＰＥＧ４コンテンツを作成する機能をもっている。なお、全てのパケットにはタイムスタンプが振られ、その順序で多重される。
【００２１】
また、ストリーミングデータについては、図５に示すようにそれぞれのビットレートを入力する他、多重化されたデータを送信するトータルビットレートを決定し、同様に多重装置４に入力する。この多重装置４の出力は、ファイル１ａ〜１ｄの全てのデータが多重されたＭＰＥＧ４コンテンツとなっている。また、多重装置４は、内部的にクライアント７での各データの再生開始時間および終了時間から、各データのパケット送出順序を決定する機能をもっている。
【００２２】
前記クライアント７は、サーバ６から送信されてくるデータパケットを受信し、内部の再生機構にてデータを再生する。このとき、ビデオ,オーディオ，静止画の全てのデータを一つの画面上に合成して表示する。ストリーミングデータはデータを受信しながら再生し、それ以外のデータはデータがすべて揃ってから表示する。全てのデータの表示開始時間は多重ファイル作成時に決定されている。
【００２３】
次に、以上のようデータ配信システムのうち、特に本発明の要部となるオーサリングシステムを含むデータ配信システムの一連の動作及び記録媒体１１に記録されるシーン記述作成用プログラムの一連の処理機能について図６を参照して説明する。
【００２４】
先ず、クライアント７において合成表示したいデータ、例えばビデオ、オーディオなどのストリーミングデータおよび静止画、テキストなどのストリーミングデータ以外のデータをそれぞれ対応ファイル１ａ〜１ｄに準備する。このデータ形式は上記データに限定されるものではない。
【００２５】
以上のようにして合成表示したい全てのデータを準備した後、オーサリング２は、記録媒体１１に記録されているシーン記述作成用プログラムを読み取り、前記準備したデータに関し、ＧＵＩ処理機能を用いて、オブジェクトごとに位置、動作、ユーザ動作を言語形式にてシーン記述動作定義することによりシーン記述動作定義ファイルを作成する（Ｓ１：シーン記述定義ファイル作成機能）。
【００２６】
具体的には、従来の場合には、１つのオブジェクトＶ１に対して３秒のシーン記述を定義するとき、例えば
０、Ｖ１、Ｌｅｆｔ  （０）
０、Ｖ１、Ｔｏｐ    （０）
１、Ｖ１、Ｌｅｆｔ  （１０）
１、Ｖ１、Ｔｏｐ    （３３）
２、Ｖ１、Ｌｅｆｔ  （０）
と定義していたが、本システムでは、例えば
Ｖ１、ｍｏｖｅ（０（ｘ）、１００（ｙ）、３（秒））
の要領でシーン記述動作を定義する。
【００２７】
因みに、図７（ａ）はオブジェクト単位でシーン記述動作を時間、位置、イメージ変化（ユーザ動作）を言語形式で定義した例であり、また図８（ａ）は連続した同一の動きを別のコマンドでシーン記述動作を定義した例である。
【００２８】
以上のようにしてシーン記述動作定義ファイルを作成した後、その定義ファイルのシーン記述動作コマンドを解析し、コマンドが適切に記述されているか否かを判断し（Ｓ２：コマンド解析機能）、適切に記述されていない場合には修正を施し、適切に記述されている場合にはシーン記述動作定義ファイルをコンパイルし、タイムスタンプ順にソートすれば、スケジューリング付き多重化機構及び再生機構の処理に適した形式のシーン記述情報を作成できる（Ｓ３：シーン記述情報作成機能）。なお、シーン記述情報は、メモリ渡しでも、ファイル渡しの何れであってもよい。
【００２９】
因みに、図７（ｂ）、図８（ｂ）は、それぞれ対応する図７（ａ）、図８（ａ）に示すシーン記述動作定義ファイルをシーン記述情報として作成した例である。
【００３０】
従って、以上のようなシーン記述を実施することにより、テキストエディタ等によってシーン記述情報を作成する作業が非常に簡易化され、しかもＧＵＩとの親和性にも優れており、図９に示す定義画面の作成、変更が非常に容易になる。
【００３１】
図９はシーン記述動作を定義するときの定義画面を示す図であるが、実際にシーン記述動作の定義中に表示ボタン２１をクリックすれば、その定義内容に応じた作成途中のコンテンツの動作内容を確認でき，ひいてはクライアントにおける再生状態を確認することが可能となる。
【００３２】
以上のようにしてタイムスタンプが入ったシーン記述情報が作成された後、このシーン記述情報、既にファイル１ａ〜１ｄに準備されているデータ、制作目標のトータルビットレート、作成されるコンテンツの長さのデータ、さらには各データのクライアントでの表示開始時間・終了時間等々を多重装置４に入力する（Ｓ４）。なお、入力するデータはファイル形式になっているが、ファイルではなくメモリ経由であってもよい。
【００３３】
この多重装置４においては、各データに関しクライアント７側の再生開始，終了時刻の他、タイムスタンプのもとにシーン記述情報を取り込み、固定サイズのパケットとした上で固定ビットレートで多重化していくが、このときトータルビットレートとストリーミングデータの固定ビットレートとから、ストリーミングデータ以外のデータの帯域を計算し、ストリーミングデータ以外のデータのパケット送出順序を決定し、すべてのパケットにタイムスタンプを割り振って多重化し（Ｓ５）、ＭＰＥＧ４コンテンツとして多重ファイル５に格納する(Ｓ６)。
【００３４】
ここで、送出サーバ６は多重ファイル５に格納されている多重されたＭＰＥＧ４コンテンツを順次読み出し、クライアント７に対して固定ビットレート、かつ、割り振ったタイムスタンプ順に送出し、各データの再生開始時刻までにクライアント７に到達するようにする。
【００３５】
クライアント７は、多重化されたＭＰＥＧ４コンテンツのデータをパケット毎に受信し、内部の再生機構によりデータを再生する。このとき、ビデオ，オーディオ，静止画，テキストの全てのデータを一つの画面上に合成して表示する。ストリーミングデータはデータを受信しながら再生し、それ以外のデータはデータがすべて揃った段階で表示する。
【００３６】
従って、以上のような実施の形態によれば、複数のオブジェクトからＭＰＥＧコンテンツを制作する上で、オブジェクト単位で位置、動作、ユーザ動作を定義し、１つのコマンドの連続動作であるものは、別の１つのコマンドとして定義することにより、シーン記述が非常に簡易化できる。また、オブジェクト単位で記述することにより、部品化された画面作成が容易となり、画面変更や構成変更が容易になる。
【００３７】
さらに、従来は多重装置を通った後でしか確認できない作成中のコンテンツであっても、ＧＵＩ機能をもつことにより、クライアントの再生状態を容易に確認でき、さらにコンテンツの制作と手間を大幅に低減でき、コンテンツの作成効率を上げることが出来る。
【００３８】
その他、本発明はその要旨を逸脱しない範囲で種々変形して実施できる。
【００３９】
【発明の効果】
以上説明したように本発明によれば、オブジェクトの位置、動作、ユーザ動作を一括して定義することにより、コンテンツを作成する面倒な作業を簡易化でき、またコンテンツ作成時間の短縮化を図ることができる。
【００４０】
さらに、作成中のコンテンツを確認しつつ定義作業を進めることが可能であり、クライアントによる再生状態を容易に確認でき、制作の手間を少なくできる。さらに、本発明は、シーン記述情報を容易に作成するためのプログラムを記録した記録媒体を提供できる。
【図面の簡単な説明】
【図１】  本発明に係るオーサリングシステムを含むデータ配信システムの一実施の形態を示す構成図。
【図２】  １つのオブジェクトに対し、位置、動作、ユーザ動作等を定義するための説明図。
【図３】  本発明に係るオーサリングシステムの一実施の形態を示す構成図。
【図４】  ストリーミングデータの開始時間と終了時間を説明する図。
【図５】  ストーリーミングデータの固定ビットレートとトータルビットレートの関係を説明する図。
【図６】  本発明に係るオーサリングシステムを含むデータ配信システムの動作手順を説明する図。
【図７】  シーン記述動作定義とシーン記述情報との関係を説明する図。
【図８】  シーン記述動作定義とシーン記述情報との関係を説明する図。
【図９】  シーン記述定義の途中で再生確認を行うときの定義画面を示す図。
【符号の説明】
２…オーサリング
３…シーン記述情報ファイル
４…多重装置
６…サーバ
７…クライアント
１１…記録媒体
１２…オーサリング処理部
１１…上位計算機
１６…シーン記述動作定義ファイル
１７…シーン記述定義手段
１８…シーン記述コマンド解析処理手段
１９…シーン記述作成処理手段
【図１】
0004021597.tif 000002
【図２】
0004021597.tif 000003
【図３】
0004021597.tif 000004
【図４】
0004021597.tif 000005
【図５】
0004021597.tif 000006
【図６】
0004021597.tif 000007
【図７】
0004021597.tif 000008
【図８】
0004021597.tif 000009
【図９】
0004021597.tif 000010