(57)【特許請求の範囲】
【請求項１】
リモートファイルシステムからネットワークを介してファイルデータを読み込む、マルチメディアデータを構成するメディアの種別に対応した読み込み手段を有する、リモートファイルデータ読み込み部と、前記リモートファイルデータ読み込み部からデータを受け取ってデコードし表示する再生部と、読み込み対象となるデータの属性を示すマルチメディアデータ記述情報と再生制御に関する情報を示すシナリオ情報とを参照するマルチメディアコンテンツ情報参照部と、前記読み込み部に対して本装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とをあわせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメディアデータ読み込みスケジューラと、を備え、
前記リモートファイルデータ読み込み部は、前記マルチメディアデータ読み込みスケジューラから指定されたビットレートを維持し、それぞれ指定されたファイルからの読み込みを行い、
前記読み込み手段のうちの１つは、１枚の静止画を複数フレームからなる動画フォーマットに符号化したデータをフレームの時刻情報に依存せずに読み込み、前記マルチメディアコンテンツ情報参照部から静止画データの表示開始時刻と表示終了時刻の情報を取得し、前記表示開始時刻から読み込みを開始し、前記表示終了時刻で読み込みを終了し、
更に、前記マルチメディアデータを構成するデータの中で複数の静止画がある場合に、複数静止画ファイル読み込み管理テーブルで各静止画の表示開始時刻と表示終了時刻の情報を管理し、表示期間中のみ読み込み対象となるように読み込み静止画ファイルの切り替えを行い、同時に複数のファイルを読み込む必要がある場合には、静止画用に与えられたビットレートを調整して読み込む静止画用動画フォーマット対応リモートファイルデータ読み込み手段とを含むことを特徴とするマルチメディアデータ再生装置。
【請求項２】
リモートファイルシステムからネットワークを介してファイルデータを読み込む、マルチメディアデータを構成するメディアの種別に対応した読み込み手段を有する、リモートファイルデータ読み込み部と、前記読み込み部からデータを受け取ってデコードし表示する再生部と、読み込み対象となるデータの属性を示すマルチメディアデータ記述情報と再生制御に関する情報を示すシナリオ情報とを参照するマルチメディアコンテンツ情報参照部と、前記読み込み部に対して本装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とをあわせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメ
ディアデータ読み込みスケジューラと、を備え、
前記リモートファイルデータ読み込み部は、前記マルチメディアデータ読み込みスケジューラから指定されたビットレートを維持し、それぞれ指定されたファイルからの読み込みを行い、
前記読み込み手段のうちの１つは、１枚の静止画を複数フレームからなる動画フォーマットに符号化したデータをフレームの時刻情報に依存せずに読み込み、前記マルチメディアコンテンツ情報参照部から静止画データの表示開始時刻と表示終了時刻の情報を取得し、前記表示開始時刻から読み込みを開始し、前記表示終了時刻で読み込みを終了し、
更に、前記マルチメディアデータを構成するデータの中で複数の静止画がある場合に、静止画データ構成情報テーブルに記述されている表示領域の大きさやデータサイズなどにより静止画データにプライオリティを付け、表示開始時刻と表示終了時刻の情報による読み込みファイルの切り替え時に同時に複数のファイルを読み込む必要がある場合に、静止画用に与えられたビットレートをプライオリティ順位に応じた読み込み調整を行う静止画用動画フォーマット対応リモートファイルデータ読み込み手段とを含むことを特徴とするマルチメディアデータ再生装置。
【請求項３】
再生制御のイベント発生時にマルチメディアデータ読み込みスケジューラに対してイベント発生通知のメッセージを送出するイベント通知部を備え、再生部は、停止/一時停止、停止/一時停止解除、オブジェクトの拡大/縮小表示などの再生制御が可能な再生制御用インタフェイスを有し、
マルチメディアコンテンツ情報参照部は、読み込み対象となるデータの再生制御に関する情報を示すシナリオ情報を更に含み、各読み込みデータが時間軸に依存するか否かを判断し、
前記マルチメディアデータ読み込みスケジューラは、再生状況の変化に応じて、各リモートファイルデータの読み込み手段へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのファイルデータを優先的に読み込み、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に読み込み、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に読み込むことを特徴とする、請求項１又は２記載のマルチメディアデータ再生装置。
【請求項４】
ネットワーク上の再生装置から再生対象となるデータの送出要求を受け付ける送出要求受け付け部と、ローカルファイルシステムから、マルチメディアを構成する各メディアに対応するファイルデータを読み出してストリームを生成するストリーム生成部と、当該ストリームをネットワークに送出する、マルチメディアデータを構成するメディアの種別に対応した送出手段を有するデータ送出部と、送出対象となるデータの属性を示すマルチメディアデータ記述情報を参照するマルチメディアコンテンツ情報参照部と、前記再生装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とをあわせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメディアデータ送出スケジューラと、を備え、
前記メディアデータ送出部は前記マルチメディアデータ送出スケジューラから指定されたビットレートを維持し、それぞれ指定されたデータの送出を行い、
前記送出手段のうちの１つは、マルチメディアデータを構成するデータの中で複数の静止画がある場合に、各静止画の表示期間である表示開始時刻及び表示終了時刻のタイミングを管理する複数静止画ファイル送出用管理テーブルを用いて、前記表示期間中のみ送出対象となるように静止画用動画データファイルの送出を切り替え、同時に複数のファイルを送出する必要がある場合には、静止画用に与えられたビットレートを調整して、静止画を複数フレームからなる動画フォーマットに符号化したデータを送出する静止画用動画フォーマット対応データ送出手段であることを特徴とするマルチメディアデータ送出装置。
【請求項５】
ネットワーク上の再生装置から再生対象となるデータの送出要求を受け付ける送出要求受け付け部と、ローカルファイルシステムから、マルチメディアを構成する各メディアに対応するファイルデータを読み出してストリームを生成するストリーム生
成部と、当該ストリームをネットワークに送出する、マルチメディアデータを構成するメディアの種別に対応した送出手段を有するデータ送出部と、送出対象となるデータの蓄積場所、属性を含む当該データに関するシナリオ情報を参照するマルチメディアコンテンツ情報参照部と、前記再生装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とをあわせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメディアデータ送出スケジューラと、を備え、
前記メディアデータ送出部は前記マルチメディアデータ送出スケジューラから指定されたビットレートを維持し、それぞれ指定されたデータの送出を行い、
前記送出手段のうちの１つは、マルチメディアデータを構成するデータの中で複数の静止画がある場合に、各静止画の表示期間である表示開始時刻及び表示終了時刻のタイミング、表示領域の大きさ及びデータサイズを管理する複数静止画ファイル送出用管理テーブルを用いて、静止画データにプライオリティを付け、送出ファイルの送信開始又は終了時点で複数のファイルを読み込む必要がある場合に、静止画用に与えられたビットレートをプライオリティ順位に応じた送出調整を行い、静止画を複数フレームからなる動画フォーマットに符号化したデータを送出することを特徴とするマルチメディアデータ送出装置。
【請求項６】
マルチメディアコンテンツ情報参照部は、送出対象となるデータの再生制御を示すシナリオ情報を更に含み、各送出データが時間軸に依存するか否かを判断し、
マルチメディアデータ送出スケジューラは、再生装置の再生状況の変化に応じて各メディアファイルデータ送出部へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのファイルデータを優先的に送出し、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に送出し、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に送出することを特徴とする、請求項４又は５記載のマルチメディアデータ送出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、狭帯域（ＩＳＤＮ等）・広域エリアでも実現可能な、パケットネットワークを利用したマルチメディアデータ再生装置に関する。
【０００２】
【従来の技術】
サーバ側に蓄積されたデータをクライアント側で再生する前提として、
サーバ上のデータをどのようにクライアントに送るかという送信／送出の方式が問題となり、その方法として２つの方式がある。
一つは、クライアントの「再生開始」要求を受けて「停止要求が来るまで」サーバが自律的に当該データを送信し続けるサーバ主体型の送信方式（いわゆるＰＵＳＨ型）、
もう一つは、サーバ側に自律的な送信機構がなく、クライアントの読み込み要求に応じてそのつどデータを渡すクライアント主導型の取得方式（いわゆるＰＵＬＬ型）である。
【０００３】
ＰＵＬＬ型ではサーバ側は通常のファイル読み込みインタフェイスを持っていれば良いので、簡単な構成で実現できる。たとえばＬＡＮ上で動作する場合は読み出し可能なファイルとして蓄積されていればよく、サーバ上にアプリケーションを動かさなくてもサーバ上のデータにアクセスできる限り、クライアントは自由なタイミングでデータを取得できる。そのため、アプリケーションプロセスの障害により、サービスが中止されるという問題は発生しない。
【０００４】
しかし、このＰＵＬＬ型を広域ネットワーク上で構築しようとすると、クライアントが読み込みを要求してから実際に当該データが受信されるまでの遅延が無視できなくなり、連続的に「受信→即、再生」を要求されるリアルタイムストリームデータ伝送システムでは、いったん受信要求を出すとその後はデータがある帯域で自動的に送られてくることにより往復遅延が回避できるＰＵＳＨ型が主流とならざるを得ない。
【０００５】
そこで従来のマルチメディアデータ再生装置の構造として、図１４に示すものが知られている。図１４において、データ送出サーバ１４０１、受信端末１４０２はパケットネットワーク１４０３に接続されており、マルチメディアデータを送出／受信する。
【０００６】
データ送出サーバ１４０１はネットワークインタフェイス１４０４ａ、データ送信部１４０５ａ、データ受信部１４０６ａ、要求受信部１４１０、マルチクライアント対応スケジューラ１４１１、ストリーム生成部１４０７から構成される。
【０００７】
また、受信端末１４０２はデータ送出サーバと同様な通常のデータ通信手段のほかに、要求送信部１４１２、データ受信部１４０６ｂ、データをメディアごとのデータストリームに分離する多重化分離部１４０８、多重化分離部１４０８からの出力を一時蓄積する受信バッファ１４０９、メディアごとのストリームをデコードするメディアデコーダ１４２１、デコードされたデータを組み合わせてマルチメディア情報を出力する再生部１４２０を備える。
【０００８】
以上のように構成されたマルチメディアデータ再生装置について、以下再生を行う動作を説明する．
受信端末１４０２はパケットネットワーク１４０３に接続されたサーバ１４０１からマルチメディアデータを受信しようとする場合、要求送信部１４１２でデータを要求し、送信する。端末要求はネットワークインタフェイス１４０４ｂ、１４０４ａを介してサーバ１４０１の要求受信部１４１０で受信され、マルチクライアント対応スケジューラ１４１１に登録され、スケジューラの指示にしたがってストリーム生成部１４０７で要求対象データの固定ビットレートのストリームを生成する。生成されたストリームはデータ送信部１４０５ａからネットワークインタフェイス部１４０４ａを介してパケットネットワーク１４０３に送出される。
【０００９】
受信端末１４０２ではネットワークインタフェイス部１４０４ｂからデータ受信部１４０６ｂに読み込み、そこでパケットヘッダを分離する。ペイロードデータはメディアごとに分離され、該当する受信バッファ１４０９に一時蓄積され、メディアデコーダ１４２１でデコードされ、再生部１４２０に渡され、マルチメディア情報として再生される。
【００１０】
【発明が解決しようとする課題】
このように、従来のマルチメディアデータ再生装置においては、
マルチメディアデータを１つに多重化したファイルをサーバから送出していたが、この場合には、時間軸に依存するデータと時間軸に依存しないデータを多重化することになり、ランダムアクセスに不向きなデータフォーマットとなっており、再生点をジャンプした場合にはそのジャンプ先からの再生を開始するために必要なデータを前もって受信する必要があり、再生開始までの待ち時間が長くなっていた。
【００１１】
また、ジャンプ先で必要なデータを知るために詳細なデータ管理機構が必要となっていた．
また、帯域・エリアなどは主としてＬＡＮ環境での実用形態を想定しており、それよりも狭帯域（ＩＳＤＮ等）で広域な環境に対しては十分なものでもなかった。
【００１２】
本発明は、これら課題を解決するもので、
ランダムアクセスが容易であり、ジャンプ時の再生開始までの待ち時間を少なくすることが可能なマルチメディアデータ再生装置の構成を提供すること、
また、マルチメディアコンテンツ情報から静止画用データ表示の必要性に応じて複数静止画用データの送出レートを決定する構成を提供すること、
また、静止画用データの表示面積などのパラメータから送出プライオリティを付け、そのプライオリティに応じたレートで送出可能な構成を提供すること、
また、メディアごとにデータを送出する構成ではオーバヘッドが大きく伝送効率が低くなるが、伝送効率を高くすることができる構成を提供すること、
さらに、これらシステムの形態として、簡単な構成のＰＵＬＬ型、データ送受信遅延対策に優れたＰＵＳＨ型のどちらでも実現可能な方式を提供することを目的とする。
【００１３】
【課題を解決するための手段】
これら課題を解決するために本発明は、第１に、
リモートファイルシステムからネットワークを介してファイルデータを読み込む、マルチメディアデータを構成するメディアの種別に対応した読み込み手段を有する、リモートファイルデータ読み込み部と、前記リモートファイルデータ読み込み部からデータを受け取ってデコードし表示する再生部と、読み込み対象となるデータの属性を示すマルチメディアデータ記述情報と再生制御に関する情報を示すシナリオ情報とを参照するマルチメディアコンテンツ情報参照部と、前記読み込み部に対して本装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とをあわせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメディアデータ読み込みスケジューラと、を備え、
前記リモートファイルデータ読み込み部は、前記マルチメディアデータ読み込みスケジューラから指定されたビットレートを維持し、それぞれ指定されたファイルからの読み込みを行い、
前記読み込み部のうちの１つは、1枚の静止画を複数フレームからなる動画フォーマットに符号化したデータをフレームの時刻情報に依存せずに読み込み、前記マルチメディアコンテンツ情報参照部から静止画データの表示開始時刻と表示終了時刻の情報を取得し、表示開始時刻から読み込みを開始し、表示終了時刻で読み込みを終了し、
更に、前記マルチメディアデータを構成するデータの中で複数の静止画がある場合に、複数静止画ファイル読み込み管理テーブルで各静止画の表示開始時刻と表示終了時刻の情
報を管理し、表示期間中のみ読み込み対象となるように読み込み静止画ファイルの切り替えを行い、同時に複数のファイルを読み込む必要がある場合には、静止画用に与えられたビットレートを調整して読み込む静止画用動画フォーマット対応リモートファイルデータ読み込み手段とを含む
構成としたものである。
【００１４】
これにより、マルチメディアコンテンツ情報にしたがったマルチメディアデータの受信再生が行え、ジャンプ時の待ち時間が少ないランダムアクセス機能を提供することができる。
【００１５】
更に、表示期間に重なりのある静止画があった場合でもビットレートを同時表示する静止画用データの間で等分割して読み込むことができる。
【００１６】
第２に、
リモートファイルシステムからネットワークを介してファイルデータを読み込む、マルチメディアデータを構成するメディアの種別に対応した読み込み手段を有する、リモートファイルデータ読み込み部と、前記読み込み部からデータを受け取ってデコードし表示する再生部と、読み込み対象となるデータの属性を示すマルチメディアデータ記述情報と再生制御に関する情報を示すシナリオ情報とを参照するマルチメディアコンテンツ情報参照部と、前記読み込み部に対して本装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とをあわせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメディアデータ読み込みスケジューラと、を備え、
前記リモートファイルデータ読み込み部は、前記マルチメディアデータ読み込みスケジューラから指定されたビットレートを維持し、それぞれ指定されたファイルからの読み込みを行い、
前記読み込み手段のうちの１つは、１枚の静止画を複数フレームからなる動画フォーマットに符号化したデータをフレームの時刻情報に依存せずに読み込み、前記マルチメディアコンテンツ情報参照部から静止画データの表示開始時刻と表示終了時刻の情報を取得し、前記表示開始時刻から読み込みを開始し、前記表示終了時刻で読み込みを終了し、
更に、前記マルチメディアデータを構成するデータの中で複数の静止画がある場合に、静止画データ構成情報テーブルに記述されている表示領域の大きさやデータサイズなどにより静止画データにプライオリティを付け、表示開始時刻と表示終了時刻の情報による読み込みファイルの切り替え時に同時に複数のファイルを読み込む必要がある場合に、静止画用に与えられたビットレートをプライオリティ順位に応じた読み込み調整を行う静止画用動画フォーマット対応リモートファイルデータ読み込み手段を備えたものであり、
これにより、特性や重要度や読み込み状態の異なる静止画が同時に表示される場合でもマルチメディア情報再生への影響の大きさを反映した最適な読み込みができる。
【００１７】
第３に、第１、第２の構成に加えて、
再生部は一時停止／停止解除／オブジェクトの拡大表示の再生制御が可能な再生制御用インタフェイスを備え、再生制御のイベント発生時にマルチメディアデータ読み込み部にイベント発生通知のメッセージを送出するイベント通知部を備え、
マルチメディアコンテンツ情報参照部は、読み込み対象となるデータの再生制御に関する情報を示すシナリオ情報を更に含み、各読み込みデータが時間軸に依存するか否かを判断し、
マルチメディアコンテンツ情報参照部は、読み込み対象となるデータの再生制御に関する情報を示すシナリオ情報を更に含み、各読み込みデータが時間軸に依存するか否かを判断し、
前記マルチメディアデータ読み込みスケジューラは、再生状況の変化に応じて、各リモートファイルデータの読み込み手段へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのファイルデータを優先的に読み込み、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に読み込み、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に読み込むことを特徴とするものであり、
これにより、マルチメディアデータ読み込みスケジューラは再生状況の変化に応じて各リモートファイルデータ読み込み部へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのファイルデータを優先的に読み込み、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に読み込み、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に読み込むことができ、再生状態に即した読み込みレートの割り当てが可能である。
【００１８】
第４に、
パケットネットワークに接続するデータ送出サーバと受信端末からなるマルチメディアデータ再生システムにおける送出側に関するもの（マルチメディアデータ送出装置）であって、
データ送出サーバはネットワークインタフェイスを備え、送出要求受け付け部と、マルチメディアを構成する各メディアに対応するローカルファイルシステムからファイルデータを読み出してストリームを生成し、ネットワークに送出するデータ送出部とを備え、
受信端末はネットワークインタフェイスを備え、サーバへの要求送信部と、サーバからのデータ受信部と、受信したデータを一時的に保存する受信バッファと、受信バッファからデータを取り出し即時にデコードし表示する再生部とを備え、前記データ送出サーバのストリーム生成部は、マルチメディアコンテンツ情報参照部を備え、マルチメディアコンテンツを構成する各データのエンコードパラメータなどの情報を参照し、
当該のマルチメディアデータ再生装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とを合わせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメディアデータ送出スケジューラを備え、マルチメディアデータを構成するメディアごとに蓄積された複数のファイルに対してリモートファイルデータ送出部を一つずつ備え、
前記メディアデータ送出部はマルチメディアデータ読み込みスケジューラから指定されたビットレートを維持し、それぞれ指定されたデータの送出を並列して行い、
前記リモートファイルデータ読み込み部のうちの１つは、1枚の静止画を複数フレームからなる動画フォーマットに符号化したデータを送出する静止画用動画フォーマット対応データ送出部であり、
静止画用動画フォーマット対応データ送出部は、複数静止画ファイル送出用管理テーブルを備え、
マルチメディアデータを構成するデータの中で複数の静止画がある場合に、前記複数静止画ファイル送出用管理テーブルで各静止画の表示開始時刻と表示終了時刻のタイミングを管理し、表示期間中のみ送出対象となるように静止画用動画データファイルの送出を切り替え、同時に複数のファイルを送出する必要がある場合には、静止画用に与えられたビットレートを等分割して送出する構成とするものであり、
前記マルチメディアコンテンツ情報参照部から静止画データの表示開始時刻と表示終了時刻の情報を取得し、表示開始時刻から送出を開始し、表示終了時刻で送出を終了する攻勢としたものである。
【００１９】
これにより、マルチメディアコンテンツ情報にしたがったマルチメディアデータの送出が行え、ジャンプ時の待ち時間が少ないランダムアクセス機能を提供することができる。
また受信端末からサーバにデータを要求する処理が不要なため、データ受信の遅延が小さくできる構成を提供できる。
【００２０】
更に、表示期間に重なりのある静止画があった場合でもビットレートを同時表示する静止画用データの間で等分割して送出することができる。
【００２１】
第５に、
ネットワーク上の再生装置から再生対象となるデータの送出要求を受け付ける送出要求受け付け部と、ローカルファイルシステムから、マルチメディアを構成する各メディアに対応するファイルデータを読み出してストリームを生成するストリーム生成部と、当該ストリームをネットワークに送出する、マルチメディアデータを構成するメディアの種別に対応した送出手段を有するデータ送出部と、送出対象となるデータの蓄積場所、属性を含む当該データに関するシナリオ情報を参照するマルチメディアコンテンツ情報参照部と、前記再生装置が使用できるネットワーク帯域と前記マルチメディアコンテンツ情報参照部からのマルチメディアコンテンツ情報とをあわせてマルチメディアを構成する各メディアへ伝送ビットレートを配分し、指示するマルチメディアデータ送出スケジューラと、を備え、
前記メディアデータ送出部は前記マルチメディアデータ送出スケジューラから指定されたビットレートを維持し、それぞれ指定されたデータの送出を行い、
静止画用動画フォーマットデータ送出部に複数静止画ファイル送出管理テーブルを備え、マルチメディアデータを構成するデータの中で複数の静止画がある場合に、前記マルチメディアデータ構成ファイル内に記述されている表示領域の大きさやデータサイズなどにより静止画データにプライオリティを付け、表示開始時刻と表示終了時刻の情報による送出ファイルの送信開始・終了の時点で同時に複数のファイルを読み込む必要がある場合に、静止画用に与えられたビットレートをプライオリティ順位に応じて不等分に分割して読み込む手段を備えたものであり、
これにより、特性や重要度や読み込み状態の異なる静止画が同時に表示される場合でもマルチメディア情報再生への影響の大きさを反映した最適な送出ができる。
【００２２】
第６に、第４、５の構成に加えて、
受信端末の再生部は一時停止／停止解除／オブジェクトの拡大表示の再生制御が可能な再生制御用インタフェイスを備え、再生制御のイベント発生時にデータ送出サーバのマルチメディアデータ送出部にイベント発生通知のメッセージを送出するイベント通知部を備え、また、マルチメディアコンテンツ情報参照部は、送出対象となるデータの再生制御を示すシナリオ情報を更に含み、各送出データが時間軸に依存するか否かを判断し、マルチメディアデータ送出スケジューラは、再生状況の変化に応じて各メディアファイルデータ送出部へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのファイルデータを優先的に送出し、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に送出し、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に送出する手段を備えたものである。
【００２３】
これにより、マルチメディアデータ送出スケジューラは再生状況の変化に応じて各メディアデータ送出部へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのメディアデータを優先的に送出し、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に送出し、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に送出することができ、再生状態に即した送出レートの割り当てが可能である。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１３を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００３１】
（実施の形態１）
図１は本発明の第１の実施形態におけるシステム構成図を示し、図１においてマルチメディアデータサーバ１０１、受信端末１０２はパケットネットワーク１０３に接続されており、それぞれマルチメディアデータを提供し、受信する．
マルチメディアデータサーバ１０１はネットワークインタフェイス部１０４ａ、マルチメディアデータを蓄積し、ネットワークを介して共有可能なファイルシステム１０７を備えている。
【００３２】
また、受信端末１０２はマルチメディアデータサーバ１０１と同様な通常のネットワークインタフェイス部１０４ｂ、
再生しようとするマルチメディアコンテンツに含まれる各メディアデータの蓄積場所、エンコードされたパラメータ、データサイズなどを記したマルチメディアデータ記述情報と再生制御に関する各メディアの再生開始・終了時刻・レイアウト位置などを記した再生シナリオ情報とを参照するマルチメディアコンテンツ情報参照部１０８、
各メディアデータに対する伝送ビットレートの配分を決めるマルチメディアデータ読み込みスケジューラ１０９、
各メディアデータをリモートファイルシステムから読み出すリモートファイルデータ読み込み部として動画データ読み込み部１１０ａ、オーディオデータ読み込み部１１０ｂ、静止画用動画フォーマットデータ読み込み部１１０ｃ、
リモートファイルデータ読み込み部１１０ａ〜１１０ｃからの出力を一時蓄積する受信バッファ１１１ａ〜１１１ｃ、
各メディアデータを復号するメディアデコーダとして動画デコーダ１１２ａ、オーディオデコーダ１１２ｂ、静止画用動画デコーダ１１２ｃとデコードされた各データを合成してマルチメディアとして再構成して出力するマルチメディアデータ出力部１１３からなるマルチメディアデータ再生部１１４を備える。
【００３３】
以上のように構成されたマルチメディアデータ再生装置について、以下固定ビットレートでのストリーミング再生を行う動作を説明する．
受信端末１０２はパケットネットワーク１０３に接続されたマルチメディアデータサーバ１０１からマルチメディアデータを受信しようとする場合、マルチメディアコンテンツ情報参照部１０８で受信するマルチメディアコンテンツ情報を参照し、読み込みスケジューラ１０９に必要な情報を渡す。
【００３４】
ここで、マルチメディアコンテンツ情報の例を図７に示す．
マルチメディアコンテンツ情報参照部はこれらの情報をテーブルとして保持し、読み込みスケジューラ１０９にそれぞれの構成メディアの蓄積場所に関する情報とそれぞれのメディアの再生開始時刻と再生終了時刻、オーディオ、ビデオデータのエンコードデータレートを渡す。
【００３５】
読み込みスケジューラ１０９はこの再生装置が使用できるネットワーク帯域に関する情報を持っており、マルチメディアコンテンツを構成する各メディアデータをそれぞれどれくらいのビットレートで読み出せばよいかをスケジューリングする。オーディオ、ビデオデータなどの時間軸に依存するデータはエンコードされた時のデータレート情報を最低限としてオーバヘッド分を加えたレートで読み出す必要があり、データ自体が時間軸に依存しない静止画などのデータはその残りのビットレートを与えるという形になる。この配分レートは再生シナリオの進行によってダイナミックに変化する可能性がある。
【００３６】
読み込みスケジューラ１０９のスケジューリング結果から各リモートファイル読み出し部１１０にはマルチメディアコンテンツの蓄積場所に関する情報と配分された現在のビットレートの情報、再生開始時刻と再生終了時刻が渡される。各リモートファイル読み出し部１１０ａ〜１１０ｃはスレッドなどで実現され、それぞれ独立した動作で指定されたファイルを指定されたレートを守って読み出す。また、静止画用動画フォーマットデータ読み込み部１１０ｃは表示開始時刻から読み込みを開始し、表示終了時刻で読み込みを終了する処理を行う。
【００３７】
各固定のレートで読み出したデータは中間バッファ１１１ａ〜ｃに一時的に蓄積され、各メディアデコーダ１１２ａ〜１１２ｃで復号され、マルチメディアデータ出力部１１３で再構成されて出力される。
【００３８】
このような動作により、決まったネットワーク帯域を各メディアデータが分け合って固定レートでの読み込みを行い、マルチメディアコンテンツ情報の表示時刻に合わせた読み込み開始、終了動作を起動することによりマルチメディアコンテンツのストリーミング再生が行える。
【００３９】
また、ランダムアクセスに関しては、時間軸依存データは指定された時間分だけ読み出しポインタを移動させ、非時間軸依存データはシナリオ上で表示対象となっているもののみをその時点でのファイル読み出しポインタから続けて読み出すという処理によって簡単に実現可能である。これにより、ランダムアクセス時に必要データを読み出すための待ち時間が不要となり、高速にジャンプ動作を開始することができる。
【００４０】
また、静止画フォーマットでデータを解像度順に読み込み、徐々に解像度を上げていく表示方式もネットワークアプリケーションで頻繁に利用されているが、それに比べて本実施の形態のように静止画を動画フォーマットで符号化する方式では１フレーム目からすでに高周波成分が含まれているので、表示開始直後から詳細な部分も十分識別可能である。また、静止画を動画フォーマットで符号化して表示する構成により、静止画用のデコーダを搭載しなくても動画デコーダ１種類のみで動画＋静止画のマルチメディア画面が構成できる。搭載すべきデコーダの種類を削減できることは携帯端末のような用途においてはメリットが大きい。
【００４１】
以上のように、本実施の形態では、
従来のように、データ要求を受けたサーバが、時間軸依存／非依存のデータをひとまとめにして多重化・送出し、それを受信した端末が、データ種別ごとに分離した後で復号・合成するということではなく、
各メディア毎の伝送レートを調整し（１０８，１０９）、時間軸情報を持たないデータを時間軸情報を持つデータと同じように処理する、つまり、静止画用データは動画フォーマットに符号化し（１１０ｃ）、マルチメディアデータを構成する各メディアデータごとに配分された固定レートで読み出す（１１０ａ〜ｃ）ものである。
【００４２】
これによって、マルチメディアコンテンツ情報にしたがったマルチメディアデータの受信再生を行うことができ、また、時間軸依存／非依存のデータをひとまとめに多重化していないので、ジャンプ時の待ち時間が少ないランダムアクセス機能を提供することができ、その実用的効果は大きい。
【００４３】
なお、ここでは再生端末がサーバに蓄積されているデータを直接読み込む例（、いわゆるＰＵＬＬ型）を示したが、
サーバ側にデータ送出部があり、マルチメディアコンテンツ情報にしたがった送出スケジュールで送出を行う構成においても静止画用動画フォーマットデータ送出部を備える（、いわゆるＰＵＳＨ型、つまり参照部１０８，スケジューラ１０９、及び読み込み部１１０ａ〜ｃをサーバ１０１側に備え、その読み込んだデータを端末１０２側へ送出する構成とする）ことによっても同様の効果が得られ、さらに再生端末側からデータ読み込み要求を送出する処理が不要となるのでデータ読み込みの遅延がなくなるという効果が得られる。
【００４４】
（実施の形態２）
図２は本発明の第２の実施形態におけるシステム構成図を示す。図２において１０１〜１１４は第１の実施形態と同様の構成であり、
静止画用動画フォーマットデータ読み出し部１１０ｃは、複数静止画ファイル読み込みタイミング管理テーブル２０１を備える構成となっている。
【００４５】
以上のように構成されたマルチメディアデータ再生装置について、以下複数静止画に対して固定レートでのシナリオにしたがった並列読み込みを行う動作を図３の複数静止画ファイル読み込みタイミング管理テーブルの一例を用いて説明する。
【００４６】
受信端末１０２のマルチメディアデータ読み込みスケジューラ１０９が各メディアへの配分レートを指定して各リモートファイルデータ読み出し部に伝送レートを指定するまでの動きは第１の実施形態と同様である。読み込みスケジューラのスケジューリング結果から各リモートファイルデータ読み込み部１１０にはマルチメディアコンテンツの蓄積場所に関する情報と配分された現在のビットレートの情報が伝えられる。各リモートファイル読み出し部はスレッドなどで実現され、それぞれ独立した動作で指定されたファイルを指定されたレートを守って読み出す。
【００４７】
静止画用動画フォーマットデータ読み込み部１１０ｃでは読み出し対象ファイルとして複数の静止画を並列に読み出すことができる。複数静止画ファイル読み込みタイミング管理テーブル２０１は、図３に示すようにマルチメディアデータ中の静止画の表示開始時刻と終了時刻を管理する手法として、各イベント間の時間でどの静止画データが読み込み対象となるかを示している。また、読み込み対象のファイルのどこまで読み込んだかを管理しており、最後まで読み込み終えたファイルは読み込み対象からはずす。このテーブルを参照することによって、各時刻で何個のファイルを並列に読み出せばよいかが決まる。このスケジューリングにしたがって静止画用のリモートファイル読み出し部は指定されたレートをその時読み出すべき複数の静止画ファイルに等分割して並列に読み出す。なお、これから後の動作は第一の実施の形態と同様である。
【００４８】
以上のように、本実施の形態では、
静止画データ読み込み部（１１０ｃ）に複数静止画読み込みタイミング管理テーブル（２０１）を備えることにより、
複数の静止画の同時再生が含まれるマルチメディアコンテンツに対しても静止画用のビットレートを同時表示する静止画の間で等分割して、表示時間に対して効率のよいスケジューリングを実現することができる（つまり、決まったネットワーク帯域を各メディアデータが分け合って固定レートでのストリーミング再生を行い、表示時間が重なる静止画データは並列に読み出し再生することができる）。
【００４９】
また、ランダムアクセスに関しては、時間軸依存データは指定された時間分だけ読み出しポインタを移動させ、非時間軸依存データは複数静止画ファイル読み込みタイミング管理テーブル２０１上で時間ポインタを移動させ、その時間で読み込み対象となっているもののみをその時点でのファイル読み出しポインタから続けて読み出し、読み込みが終了したものは読み込み対象からはずすという処理によって簡単に実現可能で、
これにより、複数の静止画の同時再生が含まれるマルチメディアコンテンツも再生が可能であり、ランダムアクセスに向いた構成を実現することができる。
【００５０】
なお、ここでは再生端末がサーバに蓄積されているデータを直接読み込む例（、いわゆるＰＵＬＬ型）を示したが、実施の形態１の最後に記載したなお書きと同様、サーバにデータ送出部があり、マルチメディアコンテンツ情報にしたがった送出スケジュールで送出を行う構成においても複数静止画データ送出タイミング管理テーブルを備える（、いわゆるＰＵＳＨ型とする）ことによっても同様の効果が得られ、
さらに再生端末側からデータ読み込み要求を送出する処理が不要となるのでデータ読み込みの遅延がなくなるという効果が得られる。
【００５１】
（実施の形態３）
図４は本発明の第３の実施形態におけるシステム構成図を示す。図４において１０１〜１１４は第２の実施形態と同様の構成であり、
２０１に替えて静止画用動画フォーマットデータ読み込み部に静止画データ構成情報テーブル４０１を備える構成となっている。
【００５２】
以上のように構成されたマルチメディアデータ再生装置について、以下複数静止画に対してプライオリティづけをして並列読み込みを行う動作を図５の静止画データ構成情報テーブルの一例を用いて説明する。
【００５３】
受信端末１０２のマルチメディアデータ読み込みスケジューラ１０９が各メディアへの配分レートを指定して各リモートファイルデータ読み出し部に伝送レートを指定するまでの動きは第１の実施形態と同様である。
【００５４】
読み込みスケジューラのスケジューリング結果から各リモートファイル読み出し部１１０にはマルチメディアコンテンツの蓄積場所に関する情報と配分された現在のビットレートの情報が伝えられる。各リモートファイル読み出し部はスレッドなどで実現され、それぞれ独立した動作で指定されたファイルを指定されたレートを守って読み出す。
【００５５】
静止画用動画フォーマットデータ読み込み部１１０ｃでは読み込み対象ファイルとして複数の静止画を並列に読み出すことができる。静止画データ構成情報テーブル４０１は、図５に示すようにマルチメディアデータ中の静止画の表示開始時刻と終了時刻を管理しており、各イベント間の時間でどの静止画データが読み込み対象となるかを示している。また、読み込み対象のファイルのどこまで読み込んだかを管理しており、最後まで読み込み終えたファイルは読み込み対象からはずす。このテーブルを参照することによって、各時刻でどのファイルを並列に読み出せばよいかが決まる。
【００５６】
また、静止画データ構成情報テーブル４０１には、各静止画データの表示領域の大きさとデータサイズの情報が展開されている。複数の静止画が同時に表示される時に表示領域の大きさがマルチメディアデータ再生領域とほぼ一致するものは「背景」であると想定され、地図などの情報を含む静止画に比べて静止画としての表示優先度は低い考えられる。また、背景ではなくて、表示領域が相対的に大きいものは、表示領域の中での占有度が高く、表示優先度は高いと考えられる。
【００５７】
表示領域からの優先順位にしたがって静止画用のリモートファイル読み出し部は指定されたレートをその時読み出すべき複数の静止画ファイルに不等分に分割して並列に読み出す。分割のしかたは例えば隣り合う優先順位間では５割増しのレートを与えることにすると、同時読み込み２ファイルであれば、３／５と２／５、３つのファイルで３段階の優先度があれば、４／１９、６／１９、９／１９の割合で配分することになる。  なお、これから後の動作は第２の実施の形態と同様である。
【００５８】
以上のように、本実施の形態では、
マルチメディアデータを構成するデータの中で複数の静止画がある場合に、静止画データ構成情報テーブル（４０１）内に記述されている表示領域の大きさやデータサイズなどにより静止画データにプライオリティを付け、表示開始時刻と表示終了時刻のタイミングによる読み込みファイルの切り替え時に同時に複数のファイルを読み込む必要がある場合に、静止画用に与えられたビットレートをプライオリティ順位に応じて不等分に分割して読み込む手段を備えたものである。
【００５９】
これにより、特性や重要度や読み込み状態の異なる静止画が同時に表示される場合でもマルチメディア情報再生への影響の大きさを反映した最適な読み込みが（つまり、決まったネットワーク帯域を各メディアデータが分け合って固定レートでのストリーミング再生を行い、表示への影響の大きさを反映して静止画データに優先度を付けて最適なレート分配をし、並列に読み出し再生することが）でき、また、ランダムアクセスに関しても、静止画の間に優先順位を付けた場合でも実施の形態２と同様にして、処理できる。
【００６０】
なお、ここでは再生端末がサーバに蓄積されているデータを直接読み込む例（、いわゆるＰＵＬＬ型）を示したが、実施の形態１・２の最後に記載したなお書きと同様、サーバにデータ送出部があり、マルチメディアコンテンツ情報にしたがった送出スケジュールで送出を行う構成においても静止画データ構成情報テーブルを備える（、いわゆるＰＵＳＨ型とする）ことによっても同様の効果が得られ、
さらに再生端末側からデータ読み込み要求を送出する処理が不要となるのでデータ読み込みの遅延がなくなるという効果が得られる。
【００６１】
（実施の形態４）
図６は本発明の第４の実施形態におけるシステム構成図を示す。図６において、１０１〜１１４は第１の実施形態と同様の構成であり、それに加えて受信端末１０２内のマルチメディアデータ再生部１１４は一時停止／停止解除／オブジェクトの拡大表示等の再生制御が可能な再生制御用インタフェイス６０１、再生制御のイベント発生時にマルチメディアデータ読み込みスケジューラ１０９にイベント発生通知のメッセージを送出するイベント通知部６０２を備える構成となっている。
【００６２】
以上のように構成されたマルチメディアデータ再生装置について、以下、再生状況の変化に応じて、各リモートファイルデータ読み込み部のビットレートを再配分し、並列読み込みスケジュールの切り替えを行う動作を説明する（なお、図７のマルチメディアデータ構成情報テーブルの一例のやりとりの詳細は省略する）。
受信端末１０２のマルチメディアデータ読み込みスケジューラ１０９が初期の各メディアへのレート配分を決定して各リモートファイルデータ読み込み部に伝送レートを指定し、各リモートファイルデータ読み込み部が指定されたレートを守って指定されたファイルからデータを読み込み、それぞれ対応する中間バッファに蓄積し、デコードし、再生出力する動きは第１の実施形態と同様である。
【００６３】
ここで、再生制御用インタフェイス６０１に停止の指示が入力された場合、再生部１１４は時間軸依存データであるオーディオとビデオのデコードの動きを停止させ、イベント通知部６０２は「停止」のメッセージをマルチメディアデータ読み込みスケジューラ１０９に送出する。
【００６４】
マルチメディアデータ読み込みスケジューラ１０９はマルチメディアコンテンツ情報参照部１０８により、マルチメディアコンテンツを構成するデータの再生が時間軸に依存するか否かが判別できる。停止状態では、時間軸依存データのオーディオとビデオの読み込みは一時停止し、時間軸に依存しないデータの静止画データ、またはビデオで停止したシーンを高画質化する差分データを続けて読み込むことによって、伝送路を有効利用できる。
【００６５】
このような方針にしたがって、マルチメディアデータ読み込みスケジューラ１０９は停止時のビットレート配分を決定し、各メディアデータ読み込み部に指示する。これによって、停止時に時間軸依存データの読み込みが停止している間に、他のデータの伝送レートを上げて、停止時の再生状態の画質を高めることができる。
【００６６】
また、「停止解除」の指示が入力された場合には、「停止」の場合と同じようにして、マルチメディアデータ読み込みスケジューラ１０９は元のビットレート配分に戻そうとするが、停止期間中に静止画などの読み込みが終了している可能性も高いので、停止前のビットレート配分と同じになるとは限らない。
【００６７】
また、ビジュアルオブジェクトの拡大表示の指示が入力された場合には、「拡大表示」のイベント通知とともに、拡大対象となったビジュアルオブジェクトをあらわすＩＤを送る必要がある。マルチメディアデータ読み込みスケジューラはこの拡大対象のオブジェクトに対応する読み込みレートのみを有効にしたり、または他のレートに比べて優先度を上げたりして、読み込みを続ける。
【００６８】
以上のように、本実施の形態では、
マルチメディアデータ再生部からの再生制御信号を受けて、ビットレートを再配分し、再生状況に応じた読み込みを実現する手段（６０２→１０９及び１１０ａ〜ｃ）を備えたものである。
【００６９】
これにより、マルチメディアデータ読み込みスケジューラは再生状況の変化に応じて各リモートファイルデータ読み込み部へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのファイルデータを優先的に読み込み、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に読み込み（つまり、時間軸に依存するメディアであるオーディオやビデオなどは一時停止する一方、時間軸に依存しないメディアである静止画などは、そのシーンを高画質化する差分データを読み込み）、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に読み込むことができ、再生状態に即した最適な読み込みレートの割り当てが可能である。
【００７０】
なお、ここでは再生端末がサーバに蓄積されているデータを直接読み込む例（、いわゆるＰＵＬＬ型）を示したが、実施の形態１〜３の最後に記載したなお書きと同様、サーバにデータ送出部があり、マルチメディアコンテンツ情報にしたがった送出スケジュールで送出を行う構成においても再生制御のイベント発生時にマルチメディアデータ読み込みスケジューラにイベント発生通知のメッセージを送出するイベント通知部を備える（、いわゆるＰＵＳＨ型とする）ことによっても同様の効果が得られ、
さらに再生端末側からデータ読み込み要求を送出する処理が不要となるのでデータ読み込みの遅延がなくなるという効果が得られる。
【００７１】
（実施の形態５）
図８は本発明の第５の実施形態におけるシステム構成図を示す。図８において１０１〜１０９、１１２〜１１４は第１の実施形態と同様の構成であるが、マルチメディアデータを構成する複数のファイルに対してリモートファイルデータ読み込み部１１０は１個のみである。さらに、リモートファイルデータ読み込み部１１０内に各メディアデータに対する必要スロット数管理テーブル８０１が設けられている。
【００７２】
以上のように構成されたマルチメディアデータ再生装置について、以下複数のファイルの並列読み込みを１つの処理モジュールで行い、読み込み単位を１スロットとし、必要スロット数管理テーブルをもとにして固定ビットレートで読み込む動作を説明する。
【００７３】
受信端末１０２のマルチメディアデータ読み込みスケジューラ１０９が初期の各メディアへのレート配分を決定してリモートファイルデータ読み込み部１１０に各メディアごとの伝送レートを指定し、リモートファイルデータ読み込み部１１０が指定されたレートを守って指定されたファイルからデータを読み込み、それぞれの素材に対応する中間バッファ１１１に蓄積し、デコードし、再生出力する動きは第１の実施形態と同様である。
【００７４】
ここで、前記リモートファイルデータ読み込み部はマルチメディアデータに含まれるすべてのメディアデータを読み込むものであり、メディアデータ中には静止画用動画フォーマットデータも含んでいる。ここでのレート分配制御の手段として必要スロット数管理テーブルを用いる。このレート分配制御の動作を図９のフローチャートと図１０の必要スロット数管理テーブルで管理されている数値例を用いて説明する。
【００７５】
まず、リモートファイルシステムに依存して決まる最小転送ブロックサイズをこの実施例におけるレート分配制御で用いるスロット単位とする。そして、ネットワークの合計ビットレートをこのスロット単位に分割して、１スロットごとに各ファイルデータの読み込みに割り当てる構成する。そこで、まず、図９の９０１に示すように各メディアデータに対して配分されたビットレートから単位時間あたりのスロットの必要数を算出し、必要スロット数管理テーブルの累積必要スロット数の初期値とする。
【００７６】
例えば、ＮｅｔＢＩＯＳの共有ファイルメカニズムでは最小転送ブロックサイズが４０９６バイトであるので、必ずこの単位で読み込みがおこるように、読み込み単位をこの固定のバイト数とする。これを１１０ｋｂｐｓのネットワーク帯域で送るとすると、
１１００００（ｂｉｔ）／４０９６（Ｂｙｔｅ）＝３．３５７
より、１秒間に約３．３６スロットの割合で読み込めばレートが守れることになる。ビデオデータを６０ｋｂｐｓ、オーディオを４０ｋｂｐｓ、その他を１０ｋｂｐｓ（つまり配分６：４：１）とすると単位時間あたりのスロットの必要数はそれぞれ、１．８３１スロット、１．２２１スロット、０．３０５スロットとなる。図１０（Ａ）に示すように、必要スロット数管理テーブルでは初期値としてまずこの単位時間あたりの必要スロット数を各データの累積必要スロット数を代入する。
【００７７】
次にレート分配読み込み動作を開始するが、この処理としてはまず９０２に示すように、各メディアデータに対する累積必要スロット数を比較し、一番大きいものを読み込み対象として、スロット単位だけ読み込む。ここでは図１０（Ａ）ではビデオデータの累積必要スロット数がもっとも大きいので、ビデオデータが読み込み対象となり、スロット単位の４０９６バイト読み込む。
【００７８】
次に９０３に示すように実際に読み込みを終えたメディアデータの累積必要スロット数から割り当てたスロット数を減じる。図１０（Ｂ）に示すように、ビデオデータの初期値１．８３１スロットから１スロットをひいた０．８３１スロットが新たに代入される。読み込み動作はまた図９の９０２に戻り、次に大きい値の必要スロット数のメディアデータを読み込む。ここではオーディオデータであるので、オーディオデータが読み込み対象となり、スロット単位だけ読み込む。読み終わればオーディオデータの累積必要スロット数から１を減じて、０．２２１を代入する。再び９０２に戻り、累積必要スロット数の比較を行い、その時点でもっとも大きいものが読み込み対象となり、読み込む。累積必要スロット数はマイナスの値となっても構わない。この動作を単位時間が経過するまで続ける。
【００７９】
次の単位時間になれば９０４に示すように、累積必要スロット数に新たに単位時間あたりの必要スロット数を加えるという操作を行う。ここでは、１秒たつごとに各メディアデータの累積必要スロット数に単位時間あたりの必要スロット数を加算する。ここでは図１０（Ｃ）に示すように、それぞれの累積必要スロット数に初期値の１．８３１，  １．２２１，  ０．３０５を足し込み、２．６６２、１．４４２、０．６１０  となる。この新しい累積必要スロット数でまた図９の９０２から読み込み動作を続ける。このようにして、スロット数を必要度の高いメディアに割り当てるという処理によって固定レートを分配して、必要な読み込みタイミングに対して遅延の少ない複数ファイル並列読み込み動作が可能である。
【００８０】
以上のように、本実施の形態では、
コスト削減等のため、リモートファイルを読み込む手段を一つにした条件の下でも、
必要スロット数管理テーブル８０１を用いて、累積必要スロット数の比較によってスロットを割り当てる処理を行うことにより、ビットレートの分割が細かくなった場合でも、ファイルシステムに最適化したマルチファイル並列読み込みを実現することができる。
【００８１】
なお、ここでは再生端末がサーバに蓄積されているデータを直接読み込む例（、いわゆるＰＵＬＬ型）を示したが、実施の形態１〜４の最後に記載したなお書きと同様、サーバにデータ送出部があり、マルチメディアコンテンツ情報にしたがった送出スケジュールで送出を行う構成においてもデータ送出部に各メディアデータに対する必要スロット数管理テーブルを備える（、いわゆるＰＵＳＨ型とする）ことによっても同様の効果が得られ、さらに再生端末側からデータ読み込み要求を送出する処理が不要となるのでデータ読み込みの遅延がなくなるという効果が得られる。
【００８２】
（実施の形態６）
図１１は本発明の第６の実施形態におけるシステム構成図を示す。図１１において１０１〜１１４は第５の実施形態と同様の構成であり、それに加えてメディアデータ再生において時間軸依存性があるかないかの項目と時間軸依存性があるメディアデータに対して必要スロット数の上限を示す項目とを設けた累積必要スロット数管理テーブル１１０１を備える構成となっている。
【００８３】
以上のように構成されたマルチメディアデータ再生装置について、以下複数のファイルの並列読み込みを１つの処理単位で、必要スロット数管理テーブルをもとにして、読み込み速度にゆらぎが生じた場合に必要スロット残量の多寡に関わらず時間軸依存メディアを優先して読み込む動作を説明する。
【００８４】
受信端末１０２のマルチメディアデータ読み込みスケジューラ１０９が初期の各メディアへのレート配分を決定してリモートファイルデータ読み込み部１１０に各メディアごとの伝送レートを指定し、リモートファイルデータ読み込み部が累積必要スロット数管理テーブル１１０１をもとに通常時にレートを守って指定されたファイルからデータを読み込み、それぞれ対応する中間バッファに蓄積し、デコードし、再生出力する動きは第５の実施形態と同様である。
【００８５】
読み込み速度が所定のビットレートを単位時間あたりで下回らずに所定の変動範囲におさまっている場合には、第５の実施形態の構成でレート配分並列読み込みが行われる。ここで、読み込み速度にゆらぎが生じた場合に時間軸依存性を示す項目とその場合の累積必要スロット数の上限を示す項目を備えた累積必要スロット数管理テーブルを用いて、時間軸依存メディアを優先して読み込む動作を図１２のフローチャートと図１３の必要スロット数管理テーブルで管理されている数値例を用いて説明する。
【００８６】
まず、各メディアデータに対して配分されたビットレートから単位時間あたりのスロットの必要数を算出し、必要スロット数管理テーブルの累積必要スロット数の初期値とする処理は第５の実施形態と同様である。本実施例ではこの次に図１２の１２０２に示すように各メディアデータの再生時間軸依存性を示す項目をチェックし、ビデオ、オーディオデータに対しては依存性あり、その他のデータに対しては依存性無しの値を代入する。
【００８７】
また再生時間軸依存性があるとしたメディアデータに対しては、図１２の１２０３に示すようにバッファリングの量やデコーダのデータ読み込み制御形態から決まるデータ読み込み遅延の許容量をスロット単位に変換し、累積必要スロット数の上限値として必要スロット数管理テーブルに値を書き込む。この状態の必要スロット数管理テーブルを図１３（Ａ）に示す。
【００８８】
次にレート分配読み込み動作を開始するが、この処理としてはまず図１２の１２０４に示すように、各メディアデータに対する累積必要スロット数の上限値と現在の累積必要スロット数を比較し、上限を超えていないかどうかをチェックする。ここで上限を超えているものが１メディアデータであれば、それを読み込み対象とし、複数あればその中でさらに累積必要スロット数を比較し、一番大きいものを読み込み対象として、スロット単位だけ読み込む。読み込み速度が低下した場合には累積必要スロット数からの減算の発生頻度が低下するが、単位時間が経過した時に単位時間あたりの必要スロット数の加算は止まらないので、全体的に累積必要スロット数が増加していくことになる。
【００８９】
ここでは図１３（Ｂ）では累積必要スロット数がもっとも大きいのは静止画データであるが、静止画データは再生が時間軸に依存しないデータであり、累積必要スロット数の上限が設定されていない。また、ビデオデータとオーディオデータはともに再生が時間軸に依存するデータであり、累積必要スロット数が上限値を超えている。ここでは、累積必要スロット数がより大きいビデオデータが読み込み対象となり、スロット単位の４０９６バイト読み込む。このような累積必要スロット数の現在値と上限値から読み込み対象データを決める動作を単位時間が経過するまで続ける。
【００９０】
次の単位時間になれば第５の実施の形態と同様に、累積必要スロット数に新たに単位時間あたりの必要スロット数を加える操作を行う。このようにして、再生が時間軸に依存するか否かのファクターを考慮にいれて、スロット数を必要度の高いメディアに割り当てるという処理によってその時の伝送レートを分配して、必要な読み込みタイミングに対して遅延の少ない複数ファイル並列読み込み動作が可能である。
【００９１】
以上のように、本実施の形態では、
再生時間軸依存性と累積必要スロット数上限値を示す項目を設けた累積必要スロット数管理テーブル１１０１を用いて、累積必要スロット数の比較によってスロットを割り当てる処理を行うことにより、実効的なネットワーク伝送レートが低下した場合でも、時間軸依存データを優先してビットレートを配分し、マルチファイル並列読み込みを実現することができる。
【００９２】
なお、ここでは再生端末がサーバに蓄積されているデータを直接読み込む例（、いわゆるＰＵＬＬ型）を示したが、実施の形態１〜５の最後に記載したなお書きと同様、サーバにデータ送出部があり、マルチメディアコンテンツ情報にしたがった送出スケジュールで送出を行う構成においてもデータ送出部に各メディアデータに対する必要スロット数管理テーブルを備える（、いわゆるＰＵＳＨ型とする）ことによっても同様の効果が得られ、さらに再生端末側からデータ読み込み要求を送出する処理が不要となるのでデータ読み込みの遅延がなくなるという効果が得られる。
【００９３】
以上、本発明においてはマルチメディアデータサーバから受信端末への１方向性のメディアデータ送信とした場合の実施の形態を説明したが、双方向通信端末についても同様な構成が適用できるものである。
【００９４】
【発明の効果】
以上のように、本発明では、第一に、
第１または５の手法により、
＜第１の手法＞  マルチメディアコンテンツ情報にしたがったマルチメディアデータの受信再生が行え、ジャンプ時の待ち時間が少ないランダムアクセス機能を提供することができる。
＜第５の手法＞  マルチメディアコンテンツ情報にしたがったマルチメディアデータの送出が行え、ジャンプ時の待ち時間が少ないランダムアクセス機能を提供することができる。また受信端末からサーバにデータを要求する処理が不要なため、データ受信の遅延が小さくできる構成を提供できる。
【００９５】
第二に、第２または６の手法により、
＜第２の手法＞  表示期間に重なりのある静止画があった場合でもビットレートを同時表示する静止画用データの間で等分割して読み込むことができる。
＜第６の手法＞  表示期間に重なりのある静止画があった場合でもビットレートを同時表示する静止画用データの間で等分割して送出することができる。
【００９６】
第三に、第３または７の手法により、
＜第３の手法＞  特性や重要度や読み込み状態の異なる静止画が同時に表示される場合でもマルチメディア情報再生への影響の大きさを反映した最適な読み込みができる。
＜第７の手法＞  特性や重要度や読み込み状態の異なる静止画が同時に表示される場合でもマルチメディア情報再生への影響の大きさを反映した最適な送出ができる。
【００９７】
第四に、第４または８の手法により、
＜第４の手法＞  再生状況の変化に応じて各リモートファイルデータ読み込み部へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのファイルデータを優先的に読み込み、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に読み込み、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に読み込むことができ、再生状態に即した読み込みレートの割り当てが可能である。
＜第８の手法＞  再生状況の変化に応じて各メディアデータ送出部へのビットレートを再配分し、通常再生時には時間軸に依存するメディアのメディアデータを優先的に送出し、一時停止時には時間軸に依存しないメディアのファイルデータを優先的に送出し、オブジェクトの拡大表示時には対象となるオブジェクトのファイルデータを優先的に送出することができ、再生状態に即した送出レートの割り当てが可能である。
【００９８】
第五に、第９または１１の手法により、
＜第９の手法＞  各メディアデータへのビットレートの分割が細かくなった場合でも、ファイルシステムに最適化したマルチファイル並列読み込みを実現することができる。
＜第１１の手法＞  各メディアデータへのビットレートの分割が細かくなった場合でも、ネットワークプロトコルに最適化した伝送効率の良いマルチストリーム送出を実現することができる。
【００９９】
第六に、第１０または１２の手法により、
＜第１０の手法＞  ネットワークエラーが起こりやすい環境において実効レートが変動するような場合でも時間軸に依存するデータを優先的に取得することができる。
＜第１２の手法＞  ネットワークレートが変動しやすい環境においても柔軟な送出スケジューリングが行える。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるマルチメディアデータ再生装置を示すシステム構成図
【図２】本発明の第２の実施形態におけるマルチメディアデータ再生装置を示すシステム構成図
【図３】本発明の第２の実施形態における複数静止画ファイル読み込みタイミング管理テーブルの一例を示す図
【図４】本発明の第３の実施形態におけるマルチメディアデータ再生装置を示すシステム構成図
【図５】本発明の第３の実施形態における静止画データ構成情報テーブルの一例を示す構成図
【図６】本発明の第４の実施形態におけるマルチメディアデータ再生装置を示すシステム構成図
【図７】本発明の第４の実施形態におけるマルチメディアデータ構成情報テーブルの一例を示す構成図
【図８】本発明の第５の実施形態におけるマルチメディア再生装置を示すシステム構成図
【図９】本発明の第５の実施形態におけるフローチャート
【図１０】本発明の第５の実施形態における必要スロット数管理テーブルの数値例を示す図
【図１１】本発明の第６の実施形態におけるマルチメディア再生装置を示すシステム構成図
【図１２】本発明の第６の実施形態におけるフローチャート
【図１３】本発明の第６の実施形態における必要スロット数管理テーブルを示す図
【図１４】従来のマルチメディアデータ再生装置を示すシステム構成図
【符号の説明】
１０１  マルチメディアデータサーバ
１０２  受信端末
１０３  パケットネットワーク
１０４、１０４ａ、１０４ｂ  ネットワークインタフェイス部
１０５、１０５ａ、１０５ｂ  データ送信部
１０６、１０６ａ、１０６ｂ  データ受信部
１０７  ファイルシステム
１０８  マルチメディアコンテンツ情報参照部
１０９  マルチメディアデータ読み込みスケジューラ
１１０    リモートファイルデータ読み込み部
１１０ａ  動画データ読み込み部
１１０ｂ  オーディオデータ読み込み部
１１０ｃ  静止画用動画フォーマットデータ読み込み部
１１１  受信バッファ
１１２    メディアデコーダ
１１２ａ  動画デコーダ
１１２ｂ  オーディオデコーダ
１１２ｃ  静止画用動画デコーダ
１１３  マルチメディアデータ出力部
１１４  マルチメディアデータ再生部
２０１  複数静止画ファイル読み込み管理テーブル
４０１  静止画データ構成情報テーブル
６０１  再生制御用インタフェイス
６０２  イベント通知部
８０１  必要スロット数管理テーブル
９０１  単位時間あたり必要スロット数算出処理
９０２  累積必要スロット数の比較処理
９０３  読み込み対象のデータ読み込み処理
９０４  単位時間あたり必要スロット数の加算処理
１１０１  累積必要スロット数管理テーブル
１２０１  単位時間あたり必要スロット数算出処理
１２０２  再生時間軸依存性の検査処理
１２０３  累積必要スロット数の上限値の算出処理
１２０４  累積必要スロット数の上限値と現在値の比較処理
１４０１  データ送出サーバ
１４０２  受信端末
１４０３  パケットネットワーク
１４０４  ネットワークインタフェイス
１４０５  データ送信部
１４０６  データ受信部
１４０７  ストリーム生成部
１４０８  多重化分離部
１４０９  受信バッファ
１４１０  要求受信部
１４１１  マルチクライアント対応スケジューラ
１４１２  要求送信部
１４２０  再生部
１４２１  メディアデコーダ
【図１】
0003584787.tif 000002
【図２】
0003584787.tif 000003
【図３】
0003584787.tif 000004
【図４】
0003584787.tif 000005
【図５】
0003584787.tif 000006
【図６】
0003584787.tif 000007
【図７】
0003584787.tif 000008
【図８】
0003584787.tif 000009
【図９】
0003584787.tif 000010
【図１０】
0003584787.tif 000011
【図１１】
0003584787.tif 000012
【図１２】
0003584787.tif 000013
【図１３】
0003584787.tif 000014
【図１４】
0003584787.tif 000015