(57)【要約】    【課題】      メディアコンテンツの構成を表現する構造記述データから、この構造記述データに記述されているメディアセグメントを、さまざまな制約を加えて再生する表現記述データを生成すること。    【解決手段】  本発明は、メディアコンテンツの構成を記述した構造記述データから、構造記述データに記述されているメディアセグメントの再生順序、再生のタイミング、および同期情報を表現する表現記述データを生成することで、メディアセグメントをさまざまな制約を加えて再生できるようにした。  【選択図】      図１
2005122730.tif 000002
【特許請求の範囲】
【請求項１】
映像情報と音声情報とが同期した連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力し、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択する選択部と、前記選択部が選択した前記メディアセグメントを、前記メディアセグメントの、再生順序および再生のタイミングを表現する表現記述データに変換し出力する変換部と、を具備したことを特徴とするデータ処理装置。
【請求項２】
前記構造記述データは、前記メディアセグメントの代替データの集合を有し、前記変換部は、前記構造記述データを前記メディアセグメントおよび前記代替データの少なくとも一方の、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換することを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記選択部は、前記選択したメディアセグメントを再生する際に、前記メディアセグメントあるいは前記代替データのどちらを再生するかの選択を行うことを特徴とする請求項２に記載のデータ処理装置。
【請求項４】
前記スコアは、メディアコンテンツの文脈内容に基づいた該当メディアセグメントの重要度であることを特徴とする請求項１から請求項３のいずれかに記載のデータ処理装置。
【請求項５】
前記メディアセグメントにはキーワードで表現される観点が付与され、前記スコアは前記観点に基づいた該当メディアセグメントの重要度であることを特徴とする請求項１から請求項４のいずれかに記載のデータ処理装置。
【請求項６】
映像情報と音声情報とが同期した連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力し、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択し、選択した前記メディアセグメントを、前記メディアセグメントの、再生順序および再生のタイミングを表現する表現記述データに変換し出力することを特徴とするデータ処理方法。
【請求項７】
コンピュータに、映像情報と音声情報とが同期した連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力させ、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択させ、選択した前記メディアセグメントを、前記メディアセグメントの、再生順序および再生のタイミングを表現する表現記述データに変換させ出力させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画や映像、音声などの連続視聴覚情報であるメディアコンテンツの視聴、再生、配送において、視聴者の嗜好や端末能力に合わせた再生、配送を行うために、メディアコンテンツの構成の記述から、再生を行う表現の記述への変換を行うデータ処理装置およびデータ処理方法に関するものである。
【背景技術】
【０００２】
従来、メディアコンテンツの保存はファイル単位に行われており、メディアコンテンツの再生、配送はメディアコンテンツを格納するファイル単位で行われている。
【０００３】
また、メディアコンテンツを複数の異なる方式でデジタル化して複数のファイルに保存する場合は、メディアコンテンツを再生する場合に復号処理が発生する。そして、復号処理の処理量は、デジタル化の方式により変わる。このため、メディアコンテンツを選ぶ際には、メディアコンテンツを再生する端末の処理能力に合わせたデジタル化方式でデジタル化されたメディアコンテンツを選ぶ必要が生じる。この場合は、端末機器の能力による表示メディアコンテンツの選択は、受け取るユーザが、使用する端末の能力に合わせたメディアコンテンツをファイル単位で選択して行っている。
【０００４】
また、World Wide Webを用いた動画配信において、特定シーンのみの再生を行う方法として、特許文献１に記載されたものが知られている。図５０に特許文献１記載の動画配信装置の構成図を示し、以下に説明する。
【０００５】
この動画配信装置においては、予め、シーン情報入力部３９０３からシーン情報格納部３９０４に、シーン番号、開始／終了フレームのタイムコード、シーンに関するキーワード、動画ファイル名を入力しておく。そして、シーン検索部３９０５が、シーン情報入力部３９０３から入力された検索条件を用いて、シーン情報格納部３９０４に格納されているシーン情報を検索する。そして、シーン検索部３９０５は、検索した所望のシーンのシーン番号を抽出してシナリオとして、シナリオ格納部３９０７に格納する。
【０００６】
次に、シナリオ編集部３９０８が、必要に応じて、抽出されたシーンの順序変更や不要なシーンの削除を行う。そして、動画転送部３９０９が、動画ファイル格納部３９０２に格納された動画データを、シナリオ編集部３９０８が編集したシナリオに格納されているシーン番号順に、動画再生部３９１０に転送して再生する。なお、動画ファイル格納部３９０２には、動画ファイル入力部３９０１から動画が入力される。
【特許文献１】特開平１０−１１１８７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の、コンテンツの再生をファイル単位で行う方法では、ファイルの格納されたコンテンツをすべて再生しなくてはならない。よって、コンテンツの要約であるあらすじを見ることは不可能である。また、コンテンツの一部のみを抽出したハイライトシーンや、視聴者が見たい場面を検索する場合においても、コンテンツの先頭から参照しなければならないという課題がある。
【０００８】
また、特許文献１記載の方法によれば、シーンカットの再生順序を指定できるため、コンテンツの先頭から参照することは不要となる。しかし、この方法は、シナリオとしてシーンの再生の順番をもっているだけである。このため、シーンの再生の順番を並べ替える以外のことはできない。よって、複数メディアを対応させて再生するなどの、複雑な再生ができないという問題がある。
【０００９】
本発明の目的は、メディアコンテンツの構成を表現する構造記述データから、この構造記述データに記述されているメディアセグメントを、さまざまな制約を加えて再生するための表現記述データを生成することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、メディアコンテンツの構成を記述した構造記述データから、構造記述データに記述されているメディアセグメントの再生順序、再生のタイミング、および同期情報を表現する表現記述データを生成するようにした。
【００１１】
このように、構造記述データから、幾つかのメディアセグメントを選択してメディアセグメントの再生順序、再生のタイミング、および同期情報を表現する表現記述データへ変換することにより、あらすじやハイライトシーン、視聴者の嗜好に合わせたシーン集の表示形態を得ることができる。また、表現記述データが再生順序、再生のタイミング、および同期情報を持つことにより、複数のメディアを対応付けて再生することができる。
【００１２】
さらに、本発明は、構造記述データにメディアセグメントの代替データの集合を記憶し、メディアセグメントおよび代替データの少なくとも一方の、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換するようにした。
【００１３】
これにより、メディアコンテンツを配送するネットワークの容量や通信量、メディアコンテンツを再生する端末の能力などに合わせて、メディアセグメントを再生するか代替データを再生するか切り替えられる。つまり、再生する端末の能力などに合わせたメディアを用いて、コンテンツの配送や再生が行える。
【００１４】
さらに、本発明は、構造記述データに表現されているメディアセグメントを再生する際に、メディアセグメントあるいは代替データのどちらを再生するかを選択するメディア選択部を設けている。
【００１５】
これにより、視聴者が端末の能力に合わせて、メディアセグメントあるいは代替データを選択しなくても、メディア選択部により端末の能力に合わせてメディアセグメントあるいは代替データを自動的に選択できる。
【００１６】
さらに、本発明は、構造記述データに各メディアセグメントの文脈内容に基づいたスコアをさらに記述した。
【００１７】
これにより、例えば、さまざまな再生時間のハイライトシーン集などを生成でき、これの再生や配送を容易に行うことができる。また、スコアをキーワードで示される観点に基づくものとすることにより、キーワードを指定することによって、ユーザの好みに合わせたシーンだけを再生、配送することができる。
【発明の効果】
【００１８】
本発明によれば、メディアセグメントによるメディアコンテンツの構成を記述する構造記述データから、メディアコンテンツを再生する形態を表現する表現記述データへの変換を行える。このため、メディアコンテンツの再生において、メディアセグメント毎に再生するタイミング、同期情報などの制約を加えることができ、さまざまな再生が実現できる。
【発明を実施するための最良の形態】
【００１９】
本発明の第１の態様にかかるデータ処理装置は、連続視聴覚情報であるメディアコンテンツの全体あるいは前記メディアコンテンツの部分の構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの時間情報の集合によって表現する構造記述データを入力し、入力した前記構造記述データに記述されている前記メディアセグメントの時間情報を取得する解析部と、解析した前記メディアセグメントの時間情報を用いて前記構造記述データを前記メディアセグメントの、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換し出力する変換部と、を具備した構成を採る。
【００２０】
この構成により、メディアコンテンツの構成に関する情報から、その再生に関する情報を生成することができる。
【００２１】
本発明の第２の態様は、第１の態様にかかるデータ処理装置において、前記構造記述データは、前記メディアセグメントの代替データの集合を有し、前記変換部は、前記構造記述データを前記メディアセグメントおよび前記代替データの少なくとも一方の、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換する。
【００２２】
これにより、メディアコンテンツの構成に関する情報から、表示メディアの選択を含んだ再生に関する情報を生成できる。
【００２３】
本発明の第３の態様は、第２の態様にかかるデータ処理装置において、前記構造記述データに表現されている前記メディアセグメントを再生する際に、前記メディアセグメントあるいは前記代替データのどちらを再生するかを選択するメディア選択部を具備し、前記変換部は、前記メディア選択部の選択に基づいて、前記メディアセグメントもしくは前記代替データデータのどちらか一方の、再生順序、再生のタイミング、および同期情報を表現する表現記述データを出力する。
【００２４】
これにより、メディアコンテンツの構成に関する情報から、表示メディアの選択を含んだ再生に関する情報を生成できる。
【００２５】
本発明の第４の態様は、第１の態様から第３の態様のいずれかのデータ処理装置において、前記表現記述データは、SMIL文書である。
【００２６】
これにより、表現記述データを国際標準規格のものにできるので、表現記述データに汎用性を持たせることができる。
【００２７】
本発明の第５の態様にかかるデータ処理装置は、映像情報と音声情報とが同期した連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力し、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択する選択部と、前記選択部が選択した前記メディアセグメントを、前記メディアセグメントの、再生順序および再生のタイミングを表現する表現記述データに変換し出力する変換部と、を具備した構成を採る。
【００２８】
この構成により、メディアコンテンツの構成に関する情報から、条件にあったメディアセグメントだけを選び出し、選び出したメディアセグメントのみの再生に関する情報を生成できる。
【００２９】
本発明の第６の態様は、第５の態様にかかるデータ処理装置において、前記構造記述データは、前記メディアセグメントの代替データの集合を有し、前記変換部は、前記構造記述データを前記メディアセグメントおよび前記代替データの少なくとも一方の、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換する。
【００３０】
これにより、メディアコンテンツの構成に関する情報から、条件に合ったメディアセグメントだけを選び出し、選び出したメディアセグメントの表示メディアの選択を含んだ再生に関する情報を生成できる。
【００３１】
本発明の第７の態様は、第６の態様のデータ処理装置において、前記選択部は、前記選択したメディアセグメントを再生する際に、前記メディアセグメントあるいは前記代替データのどちらを再生するかの選択を行う。
【００３２】
これにより、メディアコンテンツの構成に関する情報から、あらすじやハイライトシーンを構成するメディアセグメントだけを選び出し、選び出したメディアセグメントの再生に関する情報を生成できる。
【００３３】
本発明の第８の態様は、第５の態様から第７の態様のいずれかのデータ処理装置において、前記スコアは、メディアコンテンツの文脈内容に基づいた該当メディアセグメントの重要度である。
【００３４】
これにより、メディアコンテンツの構成に関する情報から、視聴者の嗜好を反映したあらすじやハイライトシーンを構成するメディアセグメントだけを選び出し、選び出したメディアセグメントのみの再生に関する情報を生成できる。
【００３５】
本発明の第９の態様は、第５の態様から第８の態様のいずれかのデータ処理装置において、前記メディアセグメントにはキーワードで表現される観点が付与され、前記スコアは前記観点に基づいた該当メディアセグメントの重要度である。
【００３６】
これにより、メディアコンテンツの構成に関する情報から、視聴者の嗜好を反映したあらすじやハイライトシーンを構成するメディアセグメントだけを選び出し、選び出したメディアセグメントのみの再生に関する情報を生成できる。
【００３７】
本発明の第１０の態様にかかるデータ処理装置は、映像情報もしくは音声情報の少なくともどちらか一方の連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力し、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択する選択部と、前記選択部が選択した前記メディアセグメントを、前記メディアセグメントの、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換し出力する変換部と、を具備した構成を採る。
【００３８】
この構成により、メディアコンテンツの構成に関する情報から、条件にあったメディアセグメントだけを選び出し、選び出したメディアセグメントのみの再生に関する情報を生成できる。
【００３９】
本発明の第１１の態様にかかるデータ処理装置は、連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力し、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択する選択部と、前記選択部が選択した前記メディアセグメントを、前記メディアセグメントの、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換し出力する変換部と、前記表現記述データと前記メディアコンテンツを入力し、前記表現記述データの内容に応じて前記メディアコンテンツを再生する再生部と、を具備した構成を採る。
【００４０】
この構成により、メディアコンテンツの構成に関する情報から、条件にあったメディアセグメントだけを選び出し、選び出したメディアセグメントのみを再生できる。
【００４１】
本発明の第１２の態様にかかるサーバ−クライアントシステムは、第１１の態様の、前記選択部および前記変換部を有するサーバと、第１１の態様の前記再生部を有するクライアントと、前記サーバと前記クライアントを接続するネットワークと、を具備し、前記サーバと前記クライアントの間で前記表現記述データの通信を行う。
【００４２】
これにより、サーバ側でユーザの要求やネットワークの状態、再生端末の能力などに合わせた要約と再生メディアの選択を行い、クライアント側で必要なメディアセグメントのみの再生が行え、また再生メディアの通信においても必要なデータだけを受け取ればよい、という作用を有する。
【００４３】
本発明の第１３の態様にかかるサーバ−クライアントシステムは、第１１の態様の前記選択部を有するサーバと、第１１の態様の、前記変換部および前記再生部を有するクライアントと、前記サーバと前記クライアントを接続するネットワークと、を具備し、前記サーバと前記クライアントの間で前記選択部が選択したメディアセグメントだけを残した要約構造記述データの通信を行う。
【００４４】
これにより、サーバ側でユーザの要求やネットワークの状態、再生端末の能力などに合わせた要約を行い、クライアント側で様々な条件にあった適切な再生メディアの選択を行い、必要なメディアセグメントのみの再生が行え、また再生メディアの通信においても必要なデータだけを受け取ればよい、という作用を有する。
【００４５】
本発明の第１４の態様は、連続視聴覚情報であるメディアコンテンツの全体あるいは前記メディアコンテンツの部分の構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの時間情報の集合によって表現する構造記述データを入力し、入力した前記構造記述データに記述されている前記メディアセグメントの時間情報を取得し、解析した前記メディアセグメントの時間情報を用いて前記構造記述データを前記メディアセグメントの、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換し出力することを特徴とするデータ処理方法である。
【００４６】
本発明の第１５の態様は、映像情報と音声情報とが同期した連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力し、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択し、選択した前記メディアセグメントを、前記メディアセグメントの、再生順序および再生のタイミングを表現する表現記述データに変換し出力することを特徴とするデータ処理方法である。
【００４７】
本発明の第１６の態様は、映像情報もしくは音声情報の少なくともどちらか一方の連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力し、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択し、選択した前記メディアセグメントを、前記メディアセグメントの、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換し出力することを特徴とするデータ処理方法である。
【００４８】
本発明の第１７の態様は、コンピュータに、連続視聴覚情報であるメディアコンテンツの全体あるいは前記メディアコンテンツの部分の構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの時間情報の集合によって表現する構造記述データを入力させ、入力した前記構造記述データに記述されている前記メディアセグメントの時間情報を取得させ、解析した前記メディアセグメントの時間情報を用いて前記構造記述データを前記メディアセグメントの、再生順序、前記メディアセグメントの再生のタイミング、および前記メディアセグメントの同期情報を表現する表現記述データに変換させ出力させることを特徴とするプログラムである。
【００４９】
本発明の第１８の態様は、コンピュータに、映像情報と音声情報とが同期した連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力させ、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択させ、選択した前記メディアセグメントを、前記メディアセグメントの、再生順序および再生のタイミングを表現する表現記述データに変換させ出力させることを特徴とするプログラムである。
【００５０】
本発明の第１９の態様は、コンピュータに、映像情報もしくは音声情報の少なくともどちらか一方の連続視聴覚情報であるメディアコンテンツの構成を、前記メディアコンテンツを区分けした区分であるメディアセグメントの集合によって表現し、かつ前記メディアセグメントの時間情報と前記メディアセグメントの文脈内容におけるスコアを記述した構造記述データと、前記構造記述データから所定の前記メディアセグメントを選択するための選択条件とを入力させ、入力した前記構造記述データから前記選択条件にあったスコアを持つ前記メディアセグメントだけを選択させ、選択した前記メディアセグメントを、前記メディアセグメントの、再生順序、再生のタイミング、および同期情報を表現する表現記述データに変換させ出力させることを特徴とするプログラムである。
【００５１】
本発明の第２０の態様は、第１７の態様から第１９の態様のいずれかに記載のプログラムを記憶したコンピュータ読み取り可能な記録媒体である。
【００５２】
（実施の形態１）
以下、本発明の実施の形態１について添付図面を参照して説明する。まず、本発明の実施の形態１にかかるデータ処理システムの構成について、図１を用いて説明する。図１は、実施の形態１にかかるデータ処理システムの概念図である。
【００５３】
実施の形態１にかかるデータ処理システムは、メタデータのデータベース１００１と、要約エンジン１００２と、記述コンバータ１００３と、再生機１００４と、メディアコンテンツのデータベース１００５と、から構成される。また、図中、１００６で記されるものはメタデータである内容記述であり、１００７で記されるものは選択条件であり、１００８で記されるものは要約結果である要約内容記述であり、１００９で記されるものは再生機１００４に指示を与える再生方法記述であり、１０１０で記されるものはメディアコンテンツデータである。
【００５４】
また、メタデータとは、メディアコンテンツのタイトルや作成日時などの書誌事項や内容やシーン構成などの、メディアコンテンツの付加的な情報を表すデータである。データベース１００１は、このようなメタデータのデータベースを表す。
【００５５】
要約エンジン１００２は、データベース１００１に格納されたメタデータの中から、メディアコンテンツの内容や構成を表す構造記述データである内容記述１００６を入力する。そして、要約エンジン１００２は、入力した内容記述１００６から、ユーザが入力した選択条件１００７に合ったシーンのみを選択する。さらに、要約エンジン１００２は、内容記述１００６から選択されたシーンに関するものだけを残し、それ以外を削除した要約内容記述１００８を生成し出力する。
【００５６】
また、内容記述１００６と要約内容記述１００８は、メディアコンテンツの内容や構成を表す構造記述データであり、記述されているシーン数は異なるが、記述フォーマットは同じである。
【００５７】
記述コンバータ１００３は、要約内容記述１００８を入力し、要約内容記述１００８に記述されているシーンを再生するときの、再生順序、再生開始のタイミング、同期情報などのメディアの再生形態を記述した表現記述データである再生方法記述１００９を生成し、出力するものである。
【００５８】
再生機１００４は、再生方法記述１００９と、再生方法記述１００９に従って再生するデータであるメディアコンテンツデータ１０１０をメディアコンテンツデータベース１００５から入力する。そして、再生機１００４は、再生方法記述１００９に記述されている再生順序、再生開始のタイミング、同期情報などに従いメディアコンテンツデータ１０１０の再生を行うものである。
【００５９】
また、要約内容記述１００８と内容記述１００６は同じフォーマットであるため、記述コンバータ１００３は、内容記述１００６に対する再生方法記述（表現記述データ）も同様に生成することができる。
【００６０】
次に、内容記述１００６および要約内容記述１００８に用いられている構造記述データについて、図２（ａ）、図２（ｂ）、および図３を用いて説明する。
【００６１】
図２（ａ）は、構造記述データをXMLで記述するための定義であるDocument Type Definition(DTD)である。また、図２（ｂ）は、MPEG1を例に動画と音声が同期したメディアコンテンツに対する構造記述データの例である。また、図３は、動画と音声がそれぞれ別のメディアとなっているメディアコンテンツの構造記述データの例である。
【００６２】
本実施の形態では、構造記述データをコンピュータ上で表現する形態の一例として、Extensible Markup Language(XML)を用いている。
【００６３】
XMLは、World Wide Web Consortium(W3C)によって標準化されたデータ記述言語であり、１９９８年２月１０日にVer.1.0が勧告された。XML ver.1.0の仕様書は、http://www.w3.org/TR/REC-xmlで得ることができる。
【００６４】
まず、図２（ａ）を用いて、構造記述データをXMLで記述するための定義であるDocument Type Definition(DTD)の説明をする。
【００６５】
図中２０１に示すように、cotents要素は、par要素とmediaObject要素で構成される。また、図中２０２で示すように、contents要素は、キャラクタデータで示されるtitle属性を持つようになっている。
【００６６】
mediaObject要素はメディアを表すものである。また、図中２０３に示すように、par要素は、複数の子要素であるmediaObject要素から構成される。par要素は、contents要素がaudioとvideo等の複数のmediaObject要素から構成される場合に、複数のmediaObject要素を子要素として、同期させて再生することを表すものである。
【００６７】
また、図中２０４に示すように、mediaObject要素は、メディアセグメントを表すsegment要素から構成される。また、図中２０５に示すように、mediaObject要素は、そのtype属性によってメディアのタイプを指定される。この例では、メディアのタイプとして音声情報であるaudio、動画情報であるvideo、静止画情報であるimage、音声および動画が同期した情報であるaudiovideo、音声および静止画の情報であるaudioimageといったメディアのタイプが指定される。また、type属性の指定がない場合は、type属性は、デフォルトでaudiovideoに設定される。
【００６８】
また、図中２０６に示すように、mediaObject要素は、format属性でMPEG1,MPEG2といったメディアのフォーマットが指定される。また、図中２０７に示すように、mediaObject要素は、src属性でデータが保存されている場所が指定される。src属性でUniform Resource Locator (URL)を指定することにより、データが保存されている場所を指定できる。
【００６９】
また、図中２０８に示すように、segment要素は、start属性およびend属性を有する。start属性およびend属性は、segment要素の開始時間と、segment要素の終了時間と、を示す。また、start属性およびend属性は、mediaObject要素により指定されたメディア内部での時間を示す。つまり、segment要素は、start属性およびend属性により、mediaObject要素で指定されたメディア内のどの部分に相当するかが指定される。
【００７０】
なお、本実施の形態においては、メディアセグメントの時間情報を開始時間と終了時間との組によって指定しているが、開始時間と継続時間との組によって表してもよい。
【００７１】
次に、MPEG1を例に動画と音声が同期したメディアコンテンツに対する構造記述データの例について、図２（ｂ）を用いて説明する。
【００７２】
図２（ｂ）に示す構造記述データには、contents要素にMovie etcというタイトルが指定されている。そして、mediaObject要素のタイプにはaudiovideoが、フォーマットとしてMPEG1が、保存場所としてhttp://mserv.com/MPEG/movie0.mpgが指定されている。また、mediaObject要素は、時刻00:00:00から00:01:00の時間情報を持つsegment要素と、時刻00:01:0から00:02:00の時間情報を持つsegment要素と、時刻00:03:00から00:04:00の時間情報を持つsegment要素と、時刻00:04:00から00:05:00の時間情報を持つsegment要素と、を有する。つまり、mediaObject要素は、時刻00:02:00から00:03:00を除いた記述になっている。
【００７３】
次に、動画と音声がそれぞれ別のメディアとなっているメディアコンテンツの構造記述データの例について図３を用いて説明する。
【００７４】
図３に示す構造記述データには、contents要素にMovie etcというタイトルが指定されている。そして、図３の例では、contents要素が、videoのタイプのmediaObject要素と、audioのタイプのmediaObject要素から構成されている。よって、par要素により、タイプがvideoのmediaObject要素と、タイプがaudioのmediaObject要素との同期がとられている。
【００７５】
タイプがvideoのmediaObject要素は、フォーマットとしてMPEG1が、保存場所としてhttp://mserv.com/MPEG/movie0v.mpvが指定されている。
【００７６】
また、タイプがvideoのmediaObject要素は、時刻00:00:00から00:01:00の時間情報を持つsegment要素と、時刻00:01:0から00:02:00の時間情報を持つsegment要素と、時刻00:03:00から00:04:00の時間情報を持つsegment要素と、時刻00:04:00から00:05:00の時間情報を持つsegment要素と、を有する。つまり、タイプがvideoのmediaObject要素は、時刻00:02:00から00:03:00を除いた記述になっている。
【００７７】
また、タイプがaudioのmediaObject要素は、フォーマットとしてMPEG1が、保存場所としてhttp://mserv.com/MPEG/movie0a.mp2が指定されている。また、タイプがaudioのmediaObject要素は、時刻00:00:00から00:01:00の時間情報を持つsegment要素と、時刻00:01:0から00:02:00の時間情報を持つsegment要素と、時刻00:03:00から00:04:00の時間情報を持つsegment要素と、時刻00:04:00から00:05:00の時間情報を持つsegment要素と、を有する。つまり、タイプがaudioのmediaObject要素は、時刻00:02:00から00:03:00を除いた記述になっている。
【００７８】
ところで、コンテンツが複数のメディアから構成されている場合には、メディアセグメント間の再生タイミングや同期を制御する必要がある。そこで、本実施の形態では、記述コンバータ１００３が、構造記述データで記述された要約内容記述１００８を、メディアセグメントの再生順序、再生のタイミング、同期情報を表現できる表現記述データで記述された再生方法記述１００９に変換している。
【００７９】
本実施の形態では、表現記述データとして、Synchronized Multimedia Integration Language (SMIL)を用いている。SMILは、複数のメディアに対して、それらの表現の時間的な挙動や表示スクリーン上でのレイアウトなどを記述を目的として、W3Cによって標準化された記述言語である。１９９８年６月１５日にSMILのVer 1.0が勧告された。SMIL ver. 1.0の仕様書は、http://www.w3.org/TR/REC-smilで得られる。
【００８０】
このように、表現記述データに、標準化されたSMILを用いることで、既存あるいはこれから開発されるSMIL処理プログラムが利用できるので、汎用性がます。
【００８１】
次に、XMLで記述された構造記述データを、メディアセグメントの再生順序、再生タイミング、同期情報等の再生の形態を表現する表現記述データに変換する処理について図４を用いて説明する。図４は、実施の形態１にかかる記述コンバータが、構造記述データをSMILへ変換する手順を示すフロー図である。
【００８２】
まず、処理を開始すると（ステップＳ４０１）、ステップＳ４０２において、記述コンバータ１００３が構造記述データで記述された要約内容記述１００８に要素par要素があるか否かを調べる。そして、記述コンバータ１００３は、ステップＳ４０２においてpar要素があると判断した場合には、ステップＳ４０６の処理へ、par要素がないと判断した場合にはステップＳ４０３の処理へ移行する。
【００８３】
記述コンバータ１００３は、ステップＳ４０３において、構造記述データで記述された要約内容記述１００８のmediaObject要素の、type属性からメディアのタイプを、format属性からメディアのフォーマットを、src属性からメディアデータのURLをそれぞれ取得する。次に、記述コンバータ１００３は、ステップＳ４０４において、各segment要素の、start属性とend属性からメディアセグメントの時間情報を取得し、それを記憶しておく。そして、記述コンバータ１００３は、ステップＳ４０５において、ステップＳ４０３およびステップＳ４０５で取得した、メディアのフォーマット、メディアデータのURL、メディアセグメントの時間情報からSMIL文書で記述された再生方法記述１００９を生成し、出力する。
【００８４】
一方、記述コンバータ１００３は、ステップＳ４０６でおいて、par要素中の先頭のmediaObject要素を取得する。次に、記述コンバータ１００３は、ステップＳ４０７において、取得したmediaObject要素の、type属性からメディアのタイプを、format属性からメディアのフォーマットを、src属性からメディアデータのURLをそれぞれ取得する。そして、記述コンバータ１００３は、ステップＳ４０８において、各segment要素の、start属性とend属性からメディアセグメントの時間情報を取得し、それを記憶しておく。
【００８５】
次に、記述コンバータ１００３は、ステップＳ４０９で、par要素中にまだ調べていないmediaObject要素があるかどうか調べる。そして、記述コンバータ１００３は、まだ調べていないmediaObject要素があれば、ステップＳ４１０においてその先頭のものを取得し、ステップＳ４０７の処理に移行する。一方、記述コンバータ１００３は、調べていないmediaObject要素がなければステップＳ４１１の処理に移行する。
【００８６】
次に、記述コンバータ１００３は、ステップＳ４１１において、記憶しておいたsegment要素の時間情報を用いて、異なるmediaObject要素に属し、かつ時間に重なりのあるsegment要素をグループ化する。そして、記述コンバータ１００３は、ステップＳ４１２において、ステップＳ４０７およびステップＳ４０８で取得したメディアのフォーマット、メディアデータのURL、メディアセグメントの時間情報からSMIL文書で記述された再生方法記述１００９を生成し、出力する。
【００８７】
次に、構造記述データである要約内容記述１００８にpar要素がない場合に、記述コンバータ１００３が要約内容記述１００８からSMIL文書である再生方法記述１００９を出力する、ステップＳ４０５における処理について、図５を用いて説明する。図５は、実施の形態１にかかる記述コンバータが構造記述データである要約内容記述からSMIL文書である再生方法記述を出力するフロー図である。
【００８８】
まず、記述コンバータ１００３は、SMILのヘッダを出力する（ステップＳ５０１）。
【００８９】
SMIL文書は、図６に示すように、ヘッダ６０１と本体６０２で構成されたものである。ヘッダ６０１はhead要素で、本体６０２はbody要素で記述される。すなわち、ヘッダ６０１は<head>と</head>とで囲まれた部分、本体６０２は<body>と</body>とで囲まれた部分となる。
【００９０】
ヘッダには作成者、作成日などの情報や、映像を画面上のどこに表示し、テキストをどこに表示するかなどといったレイアウトなどを記述することができる。なお、ヘッダは省略することが可能である。
【００９１】
次に、記述コンバータ１００３は、<seq>と</seq>でメディアセグメント全体を囲う（ステップＳ５０２）。これらはseq要素であり、<seq>と</seq>により囲まれたメディアセグメントを、記述した順に処理、すなわち再生あるいは表示することを表すものである。
【００９２】
次に、記述コンバータ１００３は、<seq>と</seq>で囲んだメディアセグメント毎に、以下の処理を行う。
【００９３】
まず、メディアタイプに合わせて、SMILのaudio要素、video要素、ref要素、img要素から対応する要素を選択する（ステップＳ５０３）。なお、ref要素とは、ソースのメディアを特定しない書き方として定義されたものである。ref要素で指定したものは音声であっても、映像であっても、静止画であっても、映像と音声が同期したものであってもよい。
【００９４】
次に、記述コンバータ１００３は、ステップＳ５０３で選択した要素のclip-begin属性とclip-end属性の値を次のように設定する。すなわち、対応する要約内容記述１００８のsegment要素の、start属性の値をSMILのclip-begin属性の値に、end属性の値をclip-end属性の値に設定する（ステップＳ５０４）。なお、clipとは、時間的な区間のことをいう。
【００９５】
次に、記述コンバータ１００３は、ステップＳ５０３で選択した要素のsrc属性の値を、対応する要約内容記述１００８のsegment要素の親要素であるmediaObject要素のsrc属性の値に設定する（ステップＳ５０５）。この後、ステップＳ５０３で選択した要素の記述を出力する。
【００９６】
このようにして、記述コンバータ１００３は、構造記述データである要約内容記述１００８からSMILで記述された表現記述データである再生方法記述１００９を生成する。
【００９７】
図７に、記述コンバータ１００３が、図２（ｂ）に示す構造記述データから出力したSMIL文書を示す。図７は、実施の形態１にかかる記述コンバータが出力したSMIL文書の例を示す図である。
【００９８】
図７に示す文書の例では、http://mserv.com/MPEG/movie0.mpgの時刻00:00:00から00:01:00の情報、http://mserv.com/MPEG/movie0.mpgの時刻00:01:0から00:02:00の情報、http://mserv.com/MPEG/movie0.mpgの時刻00:03:00から00:04:00の情報を持つ情報、http://mserv.com/MPEG/movie0.mpgの時刻00:04:00から00:05:00の情報の順に処理される。なお、図７に示す例では、ヘッダは省略されている。
【００９９】
また、時間的に連続したクリップをひとつにまとめる処理を追加し、図８に示すSMIL文書を出力してもよい。
【０１００】
図８に示す文書の例では、http://mserv.com/MPEG/movie0.mpgの時刻00:00:00から00:02:00の情報を持つ情報、http://mserv.com/MPEG/movie0.mpgの時刻00:03:00から00:05:00の情報の順に処理される。つまり、図８に示した文書は、図７に示した文書の例と同じ処理を行う。
【０１０１】
次に、構造記述データである要約内容記述１００８にpar要素がある場合に、記述コンバータ１００３が要約内容記述１００８からSMIL文書である再生方法記述１００９を出力する、ステップＳ４１２における処理について、図９を用いて説明する。図９は、実施の形態１にかかる記述コンバータが構造記述データである要約内容記述からSMIL文書である再生方法記述を出力するフロー図である。
【０１０２】
まず、記述コンバータ１００３は、SMILのヘッダを出力する（ステップＳ９０１）。次に、記述コンバータ１００３は、<seq>と</seq>でメディアセグメント全体を囲う（ステップＳ９０２）。そして、記述コンバータ１００３は、メディアセグメントのグループを、時間の早いグループ順に、SMILの<par>と</par>で囲う（ステップＳ９０３）。
【０１０３】
次に、記述コンバータ１００３は、同じmediaObject要素に属するメディアセグメントが他にあるか判断し（ステップＳ９０４）、メディアセグメントが他にある場合はそれらを<seq>と</seq>で囲う（ステップＳ９０５）。そして、記述コンバータ１００３は、<seq>と</seq>で囲んだメディアセグメント毎に、以下の処理を行う。
【０１０４】
まず、メディアのタイプに合わせて、SMILのaudio要素、video要素、ref要素、img要素などから対応する要素を選択する。次に、選択した要素のclip-bigen属性とclip-end属性の値を設定する（ステップＳ９０６）。これは、要約内容記述１００８の、対応するsegment要素のstart属性の値をSMILのclip-begin属性の値に、end属性の値をclip-end属性の値に設定する（ステップＳ９０７）。次に、選択した要素のsrc属性の値を、対応する要約内容記述１００８のsegment要素の親要素であるmediaObject要素のsrc属性の値に設定する（ステップＳ９０８）。次に、選択した要素の記述を出力する。
【０１０５】
一方、記述コンバータ１００３は、同じmediaObject属性に属するメディアセグメントがない場合は<seq>と</seq>で囲わず、上記のメディアセグメント毎に行った処理と同様の処理を行う。
【０１０６】
このようにして、記述コンバータ１００３は、構造記述データである要約内容記述１００８が複数のメディアで構成されている場合であっても、複数のメディアを同期させて処理する表現記述データである再生方法記述１００９を生成する。
【０１０７】
図１０に、図３に示す構造記述データから出力されるSMIL文書を示す。図１０は、実施の形態１にかかる記述コンバータが出力したSMIL文書の例を示す図である。
【０１０８】
図１０に示す文書の例では、videoであるhttp://mserv.com/MPEG/movie0v.mpvの時刻00:00:00から00:01:00の情報とaudioであるhttp://mserv.com/MPEG/movie0a.mp2の時刻00:00:00から00:01:00の情報とを同期し、videoであるhttp://mserv.com/MPEG/movie0v.mpvの時刻00:01:00から00:02:00の情報とaudioであるhttp://mserv.com/MPEG/movie0a.mp2の時刻00:01:00から00:02:00の情報を同期し、videoであるhttp://mserv.com/MPEG/movie0v.mpvの時刻00:03:00から00:04:00の情報とaudioであるhttp://mserv.com/MPEG/movie0a.mp2の時刻00:03:00から00:04:00の情報を同期し、videoであるhttp://mserv.com/MPEG/movie0v.mpvの時刻00:04:00から00:05:00の情報とaudioであるhttp://mserv.com/MPEG/movie0a.mp2の時刻00:04:00から00:05:00の情報とを同期し、かつ同期した情報を記述した順番に処理するようになっている。
【０１０９】
また、図１１に示すように、時間的に連続したクリップをひとつにまとめる処理を追加したSMIL文書を出力してもよい。
【０１１０】
また、SMIL文書のpar要素中の複数のクリップを同期させるために、あるクリップの再生開始時間を他のクリップの再生開始時間と異ならせる必要が出てくる場合がある。例えば、audioとvideoが別のメディアオブジェクトとなっており、videoのクリップはその人間が映っている範囲で、audioのクリップはその人間が話している声だけの場合が考えられる。この場合は、videoに含まれる人間の口の動きの映像に合わせて、audioは人間が話し始めるところから再生する必要がある。
【０１１１】
つまり、各クリップの再生開始時間を計算し、その時間がくれば再生を始めるようにする必要がある。SMILには、このような目的のために、audio要素、video要素、img要素、ref要素に、遅延情報を示すbeginという属性が用意されている。そして、begin属性を用いることで、クリップ毎に再生開始時間を異ならせることができる。
【０１１２】
図１２は、クリップ毎に再生開始時間を異ならせたSMIL文書の例を示した図である。図１２に示す文書では、begin属性を用いることで、videoであるhttp://mserv.com/MPEG/movie0v.mpvの時刻00:00:00から00:01:00の情報の再生時間に対して、audioであるhttp://mserv.com/MPEG/movie0a.mp2の時刻00:00:10から00:000:40の情報を10秒送らせて再生している。また、videoであるhttp://mserv.com/MPEG/movie0v.mpvの時刻00:04:00から00:05:00の情報に対して、audioであるhttp://mserv.com/MPEG/movie0a.mp2の時刻00:04:15から00:05:00の情報を15秒送らせて再生している。
【０１１３】
このように、begin属性を用いることで、構造記述データに含まれる複数のメディア間の再生時間をずらすことで、複数のメディアの同期をとることができる。
【０１１４】
以上のように、実施の形態１によれば、メディアコンテンツの構成を表現する構造記述データから、そのメディアコンテンツの再生形態を表現する表現記述データへの変換が行える。これにより、メディアコンテンツの配信において構造記述データを適当に処理、あるいは選択することにより、ユーザや端末に合わせた配信データを作成することができる。
【０１１５】
また、実施の形態１によれば、構造記述データが複数のメディアから構成されていても、メディア間で同期をとることができる。また、複数のメディア間で再生タイミングをずらすことでも、メディア間の同期をとることができる。
【０１１６】
また、実施の形態１では、メディアコンテンツの構成を表現する構造記述データから、そのメディアコンテンツの再生形態を表現する表現記述データへの変換を、記述コンバータ１００３が行う形態で説明したが、記述コンバータ１００３が行う処理をプログラムにし、コンピュータに読み取らせて実行させる形態にしてもよい。
【０１１７】
また、記述コンバータ１００３が行う処理をコンピュータに実行させるプログラムを記憶媒体に格納する形態であってもよい。
【０１１８】
（実施の形態２）
実施の形態２は、端末に合わせたメディアコンテンツの再生、配信を行うために、構造記述データにメディアセグメントとその代替データを記述し、構造記述データをメディアセグメントまたは代替データの再生形態を表現する表現記述データへの変換を行うものである。これにより、動画であるメディアセグメントの代表画像といったような代替データの集合によって記述される構造記述データから、代替データの表現記述データへの変換が行える。以下、実施の形態２について説明する。
【０１１９】
図１３、図１４、図１５に本実施の形態における構造記述データの例を示す図である。実施の形態２では、構造記述データをコンピュータ上で表現する一例として、Extensible Markup Language(XML)を用いている。図１３は、構造記述データをXMLで記述するためのDTDである。また、図１４は、MPEG1を例に動画と音声が同期したメディアコンテンツに対する構造記述データの例である。また、図１５は、動画と音声がそれぞれ別のメディアとなっているメディアコンテンツの構造記述データの例である。
【０１２０】
まず、図１３を用いて、構造記述データをXMLで記述するための定義であるDocument Type Definition(DTD)の説明をする。
【０１２１】
図中１３０１に示すように、contents要素は、par要素とmediaObject要素で構成される。また、図中１３０２で示すように、contents要素は、キャラクタデータで示されるtitle属性を持つようになっている。また、図中１３０３に示すように、par要素は、複数の子要素であるmediaObject要素から構成される。
【０１２２】
また、図中１３０４に示すように、mediaObject要素は、segment要素から構成される。また、図中１３０５に示すように、mediaObject要素は、そのtype属性によってメディアのタイプを指定される。この例では、メディアのタイプとして音声情報であるaudio、動画情報であるvideo、静止画情報であるimage、音声および動画が同期した情報であるaudiovideo、音声および静止画の情報であるaudioimageといったメディアのタイプが指定される。また、type属性の指定がない場合は、type属性は、デフォルトでaudiovideoに設定される。
【０１２３】
また、図中１３０６に示すように、mediaObject要素は、format要素で、動画に対してMPEG1やMPEG2といったメディアのフォーマットが、静止画に対してはgifやjpegといったフォーマットが指定される。また、図中１３０７に示すように、mediaObject要素は、src属性によりデータが保存されている場所が指定される。src属性でUniform Resource Locator (URL)を指定することによりデータが保存されている場所を指定できる。
【０１２４】
また、図中１３０８に示すように、start属性により、segment要素の開始時間に対応する、mediaObject要素で指定されたメディア内部における時間が指定される。また、end属性により、segment要素の終了時間に対応する、mediaObject要素で指定されたメディア内部における時間が指定される。
【０１２５】
なお、本実施の形態においては、メディアセグメントの時間情報を開始時間と終了時間との組によって指定しているが、開始時間と継続時間との組によって表してもよい。
【０１２６】
また、図中１３０９に示すように、segment要素は、alt要素を有する。alt要素は、該当メディアセグメントの代替データを表すものである。そして、図中１３１０に示すように、alt要素は、type属性によってimageやaudioといったメディアのタイプが指定される。また、alt要素は、format属性によって、静止画像であればgifやjpegといったメディアのフォーマットが指定される。また、alt要素は、src属性により、保存されている場所が指定される。
【０１２７】
また、alt要素は各メディアセグメントに複数指定可能とし、同じメディアの場合は、登場順に再生することとする。
【０１２８】
また、alt要素は子要素posを有する。そして、alt要素は、子要素posによって、src属性で指定されたデータの中でどの区間であるかを指定できる。pos要素のstart属性およびend属性は、それぞれsrc属性で示されたメディア内部での開始時間、終了時間を表す。
【０１２９】
なお、本実施の形態においては、時間情報を開始時間と終了時間との組によって指定しているが、開始時間と継続時間との組によって表してもよい。
【０１３０】
次に、MPEG1を例に動画と音声が同期したメディアコンテンツに対する構造記述データの例について、図１４を用いて説明する。
【０１３１】
図１４に示す構造記述データには、contents要素にMovie etcというタイトルが指定されている。そして、mediaObject要素のタイプにはaudiovideoが、フォーマットとしてMPEG1が、保存場所としてhttp://mserv.com/MPEG/movie0.mpgが指定されている。また、mediaObject要素は、時刻00:00:00から00:01:00の時間情報を持つsegment要素と、時刻00:01:00から00:02:00の時間情報を持つsegment要素と、時刻00:03:00から00:04:00の時間情報を持つsegment要素と、時刻00:04:00から00:05:00の時間情報を持つsegment要素と、を有する。つまり、mediaObject要素は、時刻00:02:00から00:03:00を除いた記述になっている。
【０１３２】
また、時刻00:00:00から00:01:00の時間情報を持つsegment要素は、audiovideoの代替データであるalt要素により指示されている。時刻00:00:00から00:01:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s0.jpgであるalt要素と、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:00:00から00:01:00の時間情報を持つalt要素と、から構成されている。
【０１３３】
また、時刻00:01:00から00:02:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s1.jpgであるalt要素と、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:01:00から00:01:30の時間情報を持つalt要素と、から構成されている。
【０１３４】
また、時刻00:03:00から00:04:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s3.jpgであるalt要素と、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:03:00から00:03:30の時間情報を持つalt要素と、から構成されている。
【０１３５】
また、時刻00:04:00から00:05:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s４.jpgであるalt要素と、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:04:00から00:05:00の時間情報を持つalt要素と、から構成されている。
【０１３６】
次に、動画と音声がそれぞれ別のメディアとなっているメディアコンテンツの構造記述データの例について図１５を用いて説明する。
【０１３７】
図１５に示す構造記述データには、contents要素にMovie etcというタイトルが指定されている。そして、図１５の例では、contents要素が、videoのタイプのmediaObject要素と、audioのタイプのmediaObject要素から構成されている。よって、par要素により、タイプがaudioのmediaObject要素と、タイプがvideoのmediaObject要素との、同期がとられている。
【０１３８】
タイプがvideoのmediaObject要素は、フォーマットとしてMPEG1が、保存場所としてhttp://mserv.com/MPEG/movie0v.mpvが指定されている。また、タイプがvideoのmediaObject要素は、時刻00:00:00から00:01:00の時間情報を持つsegment要素と、時刻00:01:0から00:02:00の時間情報を持つsegment要素と、時刻00:03:00から00:04:00の時間情報を持つsegment要素と、時刻00:04:00から00:05:00の時間情報を持つsegment要素と、を有する。つまり、タイプがvideoのmediaObject要素は、時刻00:02:00から00:03:00を除いた記述になっている。
【０１３９】
また、時刻00:00:00から00:01:00の時間情報を持つsegment要素は、videoの代替データであるalt要素により指示されている。時刻00:00:00から00:01:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s0.jpgであるalt要素が指示されている。また、時刻00:01:00から00:02:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s1.jpgであるalt要素が指示されている。また、時刻00:03:00から00:04:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s3.jpgであるalt要素が指示されている。また、時刻00:04:00から00:05:00の時間情報を持つsegment要素は、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s４.jpgであるalt要素が指示されている。
【０１４０】
また、タイプがaudioのmediaObject要素は、フォーマットとしてMPEG1が、保存場所としてhttp://mserv.com/MPEG/movie0a.mp2が指定されている。また、タイプがaudioのmediaObject要素は、時刻00:00:00から00:01:00の時間情報を持つsegment要素と、時刻00:01:0から00:02:00の時間情報を持つsegment要素と、時刻00:03:00から00:04:00の時間情報を持つsegment要素と、時刻00:04:00から00:05:00の時間情報を持つsegment要素と、を有する。つまり、タイプがaudioのmediaObject要素は、時刻00:02:00から00:03:00を除いた記述になっている。
【０１４１】
また、時刻00:00:00から00:01:00の時間情報を持つsegment要素は、audioの代替データであるalt要素により指示されている。時刻00:00:00から00:01:00の時間情報を持つsegment要素は、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:00:00から00:01:00の時間情報を持つalt要素が指示されている。また、時刻00:01:00から00:02:00の時間情報を持つsegment要素は、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:01:00から00:01:30の時間情報を持つalt要素が指示されている。また、時刻00:03:00から00:04:00の時間情報を持つsegment要素は、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:03:00から00:03:30の時間情報を持つalt要素が指示されている。また、時刻00:04:00から00:05:00の時間情報を持つsegment要素は、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:04:00から00:05:00の時間情報を持つalt要素が指示されている。
【０１４２】
本実施の形態においても、実施の形態１と同様に、表現記述データとしてSMILを用いる。各メディアセグメント自身を再生するSMIL文書の出力は実施の形態１と同様である。
【０１４３】
以下に、記述コンバータ１００３が、代替データを再生するSMIL文書を出力する処理について述べる。これは、実施の形態１における図４のフローチャートの中で、SMIL文書を出力するステップＳ４０５とステップＳ４１２の処理が異なるだけである。よって、実施の形態１と異なる処理について説明する。まず、ステップＳ４０５の処理について、図１６を用いて説明する。
【０１４４】
まず、記述コンバータ１００３は、SMILのヘッダを出力する（ステップ１６０１）。次に、記述コンバータ１００３は、<seq>と</seq>でメディアセグメント全体を囲う（ステップＳ１６０２）。そして、記述コンバータ１００３は、囲ったメディアセグメント毎に、メディアタイプの異なる代替データがあるか判断する（ステップＳ１６０３）。
【０１４５】
そして、記述コンバータ１００３は、Ｓ１６０３において、メディアタイプの異なる代替データがないという判断をすると、代替データが複数あるか判断する（ステップＳ１６０４）。そして、記述コンバータ１００３は、代替データが複数ある場合は、複数の代替データを<seq>と</seq>で囲む（ステップＳ１６０５）。一方、記述コンバータ１００３は、代替データがひとつの場合は<seq>と</seq>で囲まず、代替データ毎に以下の処理をする。
【０１４６】
次に、記述コンバータ１００３は、代替データのタイプに合わせて、SMILのaudio要素、video要素、img要素などから対応する要素を選択する（ステップＳ１６０６）。次に、記述コンバータ１００３は、alt要素の子要素posの、start属性およびend属性が指定されている場合は、start属性の値をSMILのclip-beginに、end属性の値をclip-end属性に設定する（ステップＳ１６０７）。そして、記述コンバータ１００３は、代替データ毎に、保存場所を示すsrc属性を設定する（ステップＳ１６０８）。
【０１４７】
一方、記述コンバータ１００３は、Ｓ１６０３において、メディアタイプの異なる代替データがあると判断した場合は、同じ種類のメディアタイプで代替データをグループ化する（ステップＳ１６０９）。
【０１４８】
次に、記述コンバータ１００３は、グループの再生終了の同期をとるために、継続時間の最も長い代替データを調べる必要がある。よって、記述コンバータ１００３は、各グループ毎に、代替データのstart属性,end属性の値から継続時間を計算する（ステップＳ１６１０）。ただし、メディアタイプが静止画像（ｉｍａｇｅ）の場合か、start属性、end属性が指定されていない場合は、その代替データの継続時間は０とする。
【０１４９】
次に、記述コンバータ１００３は、最も継続時間の長いグループに、再生終了の同期を合わせるようにSMILのpar要素のendsync属性を設定し（ステップＳ１６１１）、グループ全体を<par>と</par>で囲って（ステップＳ１６１２）、各メディアタイプのグループ毎にＳ１６０４の処理を行う。
【０１５０】
endsync属性とは、<par>と</par>で囲んだ複数メディアを並列(parallel)に再生・表示させる際に、メディアによって継続時間が異なる場合に使用するものである。つまり、endsync属性とは、このような場合にどのメディアに、全てのメディアの再生・表示の終了を合わせるかを指定するものである。endsync属性におけるメディアの指定方法は幾つかあるが、本実施例ではメディアのidによって指定する方法を用いている。具体的には、あるタイプのメディアの属性に識別子であるidを付与する。そして、endsync属性＝idとすることで、idが付与されたメディアの終了時間に合わせて、このidが付与されたメディアと同一のグループ内のメディアが同期して終了するようになる。
【０１５１】
これにより、静止画のように継続時間を持たないメディアであって、durなどの属性によって表示時間が指定されていないものに対しても、このメディアの再生終了時間をidが付与されたメディアの再生時間と同じにすることができる。例えば、音声のメディアが再生されている間はずっと静止画を表示しつづけるようなことができる。
【０１５２】
図１７に、図１４に示す構造記述データから、上記の処理により出力されるSMIL文書を示す。
【０１５３】
図１７のSMIL文書には、複数のグループ１７０１〜１７０４が記述されている。１７０１で記されるグループには、タイプがimage、フォーマットがjpeg、保存場所がhttp://mserv.com/IMAGE/s0.jpgである代替データと、タイプがaudio、フォーマットがmpeg1、保存場所がhttp://mserv.com/MPEG/movie0.mp2、時刻00:00:00から00:01:00の時間情報を持つ代替データと、から構成されている。また、タイプがaudioの代替データには、id属性としてa0が付与されている。そして、グループ１７０１には、endsync属性にid(a0)が設定されている。これにより、グループ１７０１に含まれる代替データの再生終了時間は、タイプがaudioの代替データに合わせられる。つまり、タイプがimageの代替データは、タイプがaudioの代替データの再生時間中、再生され続けることになる。
【０１５４】
なお、グループ１７０２〜１７０４の説明は省略する。
【０１５５】
次に、ステップＳ４１２の処理について、図１８を用いて説明する。まず、記述コンバータ１００３は、SMILのヘッダを出力する（ステップＳ１８０１）。次に、記述コンバータ１００３は、<seq>と</seq>でメディアセグメント全体を囲う（ステップＳ１８０２）。
【０１５６】
そして、記述コンバータ１００３は、メディアセグメントのグループの、時間の早い順に、同じmediaObject要素に属する代替データをグループ化し（ステップＳ１８０３）、グループ毎にstart属性とend属性の値から継続時間を計算する（ステップ１８０４）。ただし、メディアタイプが静止画像（image）の場合か、start属性、end属性が指定されていない場合は、その代替データの継続時間は０とする。
【０１５７】
次に、記述コンバータ１００３は、最も継続時間の長いグループに、再生終了の同期を合わせるように、SMILのpar要素のendsync属性を設定し、全体をその<par>と</par>で囲う（ステップＳ１８０５）。
【０１５８】
次に、記述コンバータ１００３は、代替データが複数あるか判断する（ステップＳ１８０６）。そして、記述コンバータ１００３は、代替データが複数ある場合は、複数の代替データを<seq>と</seq>で囲む（ステップＳ１８０７）。一方、記述コンバータ１００３は、代替データがひとつの場合は<seq>と</seq>で囲まず、代替データ毎に以下の処理をする。
【０１５９】
次に、記述コンバータ１００３は、代替データのタイプに合わせて、SMILのaudio要素、video要素、img要素などから対応する要素を選択する（ステップＳ１８０８）。次に、記述コンバータ１００３は、alt要素の子要素posの、start属性およびend属性が指定されている場合は、start属性の値をSMILのclip-begin属性に、end属性の値をclip-end属性に設定する（ステップＳ１８０９）。そして、記述コンバータ１００３は、代替データ毎に、保存場所を示すsrc属性を設定する（ステップＳ１８１０）。
【０１６０】
なお、図１４に示す構造記述データから、図１８に示す処理により出力されるSMIL文書は図１７と同じものとなる。
【０１６１】
また、SMIL文書においてpar要素の中の各クリップを同期させるために、再生開始時間を異なるものとする必要が出てくる場合がある。この場合は、各クリップの再生開始時間を計算し、その時間がくれば再生を始めるようにする必要がある。
【０１６２】
SMILには、このような目的のために、audio要素,video要素,img要素,ref要素にbeginという属性が用意されており、これらを用いることで実現できる。
【０１６３】
以上のように、実施の形態２によれば、メディアコンテンツの全体あるいは部分の構成を、メディアセグメントの時間情報と、該当メディアセグメントが動画ならばその代表画像といったような代替データの集合によって記述する構造記述データから、構造記述データに記述されているメディアセグメントまたはその代替データの再生順序、再生のタイミング、同期情報を表現する表現記述データへの変換が行える。
【０１６４】
これにより、メディアコンテンツの構成に関する情報から、端末に合わせた表示メディアの再生に関する情報を生成することができる。この結果、メディアコンテンツの配信において、端末に合わせた配信データを作成することができる。
【０１６５】
（実施の形態３）
実施の形態３は、端末に合わせたメディアコンテンツの再生、配信を行うために、構造記述データにメディアセグメントとその代替データと、端末に合わせてメディアセグメントと代替データを切り替えるデータとを記述したものである。そして、この構造記述データを、メディアセグメントおよび代替データを端末に合わせて切り替えて表現する表現記述データへの変換を行うものである。
【０１６６】
以下、本発明の実施の形態３について説明する。実施の形態３の表現記述データには、メディアセグメントを再生する場合と、代替データを再生する場合の二通りをひとつのSMIL文書に記述して出力するものである。構造記述データとしては、図１４および図１５に示したものを用いる。
【０１６７】
本実施の形態によって出力される表現記述データには、メディアセグメントを再生する場合と、代替データを再生する場合とが、共に記述されている。これを基にメディアコンテンツを再生するときは、メディアセグメントを再生する場合と、代替データを再生する場合とのどちらを再生するか選択する必要がある。そこで、表現記述データの中に、選択するための条件を記述するようにしている。
【０１６８】
選択するための条件は、SMILにおけるswitch要素で記述できるため、本実施の形態においても、表現記述データとしてSMIL文書を用いる。switch要素とは複数のメディアから条件にあったひとつを選択するものである。選択は、switch要素の内容に書かれたメディア順に評価され、最初に条件に合ったメディアが選択される。条件はswitch要素の内容に書かれたメディアの属性に付けられており、system-bitrate、system-captionなどがある。
【０１６９】
本実施の形態においては、メディアコンテンツを配送するネットワークの接続ビットレートを条件とする。具体的には、接続ビットレートが５６ｋｂｐｓ以上の場合はメディアセグメントを再生し、５６ｋｂｐｓ未満の場合は代替データを再生することとする。
【０１７０】
以下に、記述コンバータ１００３が、メディアセグメントもしくは代替データを再生するSMIL文書を出力する処理について述べる。これは、実施の形態１における図４のフローチャートの中で、SMIL文書を出力するステップＳ４０５とステップＳ４１２の一部の処理が異なるだけである。よって、ステップＳ４０５もしくはステップＳ４１２に対応する処理について、図１９を用いて説明する。
【０１７１】
まず、記述コンバータ１００３は、ＳＭＩＬのヘッダを出力する（ステップ１９０１）。次に、記述コンバータ１００３は、<switch>と</switch>でメディア全体を囲う（ステップＳ１９０２）。そして、記述コンバータ１００３は、メディアセグメントを<seq>と</seq>で囲い（ステップＳ１９０３）、seq要素のsystem-bitrate属性をsystem-bitrate=”56000”に設定する（ステップＳ１９０４）。
【０１７２】
system-bitrate属性はswitch要素内の条件評価に用いられるもので、システムが利用可能な帯域を１秒あたりのビット数で指定するものある。ここに記された値以上であればswitch要素が条件に合うと判定される。上記の例では、ビットレートが56000bps以上であれば条件に合うと判定される。そして、この条件一致がswitch要素の中で最初の条件一致であれば、一致した条件のメディアが選択される。
【０１７３】
次に、記述コンバータ１００３は、図５に示すＳ５０３〜Ｓ５０５もしくは図９に示すＳ９０３〜Ｓ９０８の処理を行う（ステップＳ１９０５）。これにより、メディアセグメントを再生するSMIL文書を出力する。
【０１７４】
この場合、代替データを表すalt要素を無視することにより、実施の形態１でのステップＳ４０５あるいはステップＳ４１２の処理手順を用いることができる。
【０１７５】
次に、記述コンバータ１００３は、seq要素のsystem-bitrate属性を設定せず、この代替データを<seq>と</seq>で囲い（ステップＳ１９０６）、実施の形態２で示した図１６のＳ１６０３〜Ｓ１６１２あるいは、図１８のＳ１８０３〜Ｓ１８１０の処理手順を行う（ステップＳ１９０７）。これにより、記述コンバータ１００３は、代替データを再生するSMIL文書を出力する。
【０１７６】
このようにして、メディアセグメントを再生する場合と、代替データを再生する場合とのどちらを再生するか選択できるSMIL文書が作成できる。
【０１７７】
図２０に、実施の形態３により、出力されるSMIL文書を示す。図２０に示すSMIL文書にはswitch要素２０００が記述されていて、switch要素はふたつのseq要素２００１、２００２を内容として持っている。ひとつのseq要素２００１は、<seq system-bitrate=”56000”>から最初の</seq>までの部分、もうひとつのseq要素２００２はその下の<seq>から</seq>までの部分である。このswitch要素が、<seq system-bitrate=”56000”>を評価する。使用するシステムが利用可能なビットレートが56000bps以上であれば、この条件を満たすため、seq要素２００１が選択される。システムが利用可能なビットレートが56000bps未満であれば、seq要素２００１は選択されず、seq要素２００２を評価する。
【０１７８】
seq要素２００１はメディアセグメントを再生することを示す部分であり、seq要素２００２は代替データを再生することを示す部分である。よって、システムが利用可能なビットレートが56000bps以上であればメディアセグメントを再生し、56000bps未満であれば代替データが再生されることになる。
【０１７９】
なお、本実施の形態においては、メディアセグメントあるいは代替データのどちらを再生するかの選択の条件として、ネットワークの接続ビットレートを用いたが、他の条件であってもよい。ただし、その場合、SMILのswitch要素を用いることができない条件もあるため、SMILのswitch要素を拡張した表現記述データを定義する必要がある。
【０１８０】
また、構造記述データのaltを、図２１（ａ）に示すように、ここで指定された代替データを使う条件を記述するconditionという子要素を持つように拡張し、condition要素で指定された条件によって、場合分けをしてもよい。
【０１８１】
図２１（ｂ）に、conditionという子要素を用いた構造記述データを示す。図２１（ｂ）に記す構造記述データは、narrow bandのときに一行上のデータを使うように、表現記述データを構成することを意味する。
【０１８２】
また、SMIL文書においてpar要素の中の各クリップを同期させるために、再生開始時間を異なるものとする必要が出てくる場合がある。この場合は、各クリップの再生開始時間を計算し、その時間がくれば再生を始めるようにする必要がある。
【０１８３】
SMILには、このような目的のために、audio要素,video要素,img要素,ref要素にbeginという属性が用意されており、これらを用いることで実現できる。
【０１８４】
以上のように、実施の形態３によれば、メディアコンテンツの全体あるいは部分の構成を、メディアセグメントの時間情報と、該当メディアセグメントが動画ならばその代表画像といったような代替データの集合によって記述する構造記述データから、構造記述データに記述されているメディアセグメントおよびその代替データの再生順序、再生のタイミング、同期情報および、メディアセグメントもしくは代替データのどちらかを選択して再生することを示す情報を表現する表現記述データへの変換が行える。これにより、メディアコンテンツの構成に関する情報から、端末に合わせて、メディアセグメントもしくは代替データの選択を含んだ、再生に関する情報を生成することができる。
【０１８５】
（実施の形態４）
実施の形態４は、映像情報と音声情報とが同期した連続視聴覚情報（メディアコンテンツ）に関して、あらすじやハイライトシーンのようなメディアコンテンツの代表的な部分のみの再生、配信を行うために、メディアコンテンツに対して、メディアコンテンツを区分けした各区分（メディアセグメント）の集合によって該当メディアコンテンツの構成を表現し、かつ各メディアセグメントの時間情報と該当メディアセグメントの文脈内容に基づいた重要度を記述したものである構造記述データと、文脈内容に基づいた重要度のしきい値とを入力し、しきい値以上のメディアセグメントだけを構造記述データから選択するものである。そして、構造記述データから選択したメディアセグメントを、再生形態として、メディアセグメントの再生順序、再生のタイミングを表現する表現記述データに変換し、出力するものである。
【０１８６】
これにより、メディアコンテンツの構成に関する情報から、重要度の高いメディアセグメントのみを選択することによって、あらすじやハイライトシーンを構成するメディアセグメントだけを選び出し、選び出したメディアセグメントのみに対して、再生に関する表現記述データへの変換を行うことができるようにしたものである。
【０１８７】
以下、本発明の実施の形態４について説明する。実施の形態４は、メディアセグメントの代替データが指定されていない構成に関するものである。図２２に、実施の形態４におけるデータ処理装置のブロック図を示す。図２２において、１５０１で示されるものは選択手段である要約エンジンである。１５０２で記されるものは変換手段である記述コンバータである。１５０３で記されるものは入力データであり構造記述データである内容記述であり、１５０４で記されるものは選択条件であり、１５０５で記されるものは出力であり表現記述データである再生方法記述である。
【０１８８】
図２３に、実施の形態４で用いる構造記述データのDTDを示す。図２３に示すDTDは、図２（ａ）で示したDTDのsegment要素に、メディアセグメントの文脈内容に基づく重要度を表すscore２３０１という属性を加えたものである。この重要度は、正の整数値で表されるものとし、１が最も重要度が低いとする。
【０１８９】
次に、図２４に、実施の形態４の構造記述データである内容記述１５０３の例を示す。
【０１９０】
図中２４０１に示すように、各セグメントには、重要度を示すscore属性が付与されている。
【０１９１】
実施の形態４においては、選択条件１５０４として、メディアセグメントの重要度を用いる。そして、要約エンジン１５０１は、メディアセグメントの重要度があるしきい値以上であることを条件として、メディアセグメントの選択を行う。以下、選択手段である要約エンジン１５０１の処理について、図２５のフローチャートを用いて説明する。
【０１９２】
まず、要約エンジン１５０１は、ステップＳ２５０１において、内容記述１５０３に記述された最初のメディアセグメント、すなわちsegment要素の先頭のものを取り出す。次に、要約エンジン１５０１は、ステップＳ２５０２において、取り出したメディアセグメントのスコアである、segment要素のscore属性を取り出し、それがしきい値以上であるかを調べる。そして、要約エンジン１５０１は、最初のメディアセグメントのscore属性がしきい値以上の場合はステップＳ２５０３の処理に以降し、最初のメディアセグメントのscore属性がしきい値未満の場合はステップＳ２５０４の処理に移行する。
【０１９３】
要約エンジン１５０１は、ステップＳ２５０３では、該当メディアセグメントの開始時間と終了時間であるsegment要素のstart属性,end属性の値を変換手段である記述コンバータ１５０２に出力する。
【０１９４】
また、要約エンジン１５０１は、ステップＳ２５０４では、未処理のメディアセグメントがあるかどうかを調べる。そして、要約エンジン１５０１は、未処理のメディアセグメントがある場合は、ステップＳ２５０５の処理に以降し、未処理のメディアセグメントがない場合は処理を終了する。
【０１９５】
要約エンジン１５０１は、ステップＳ２５０５において、未処理のメディアセグメントのうち、先頭のsegment要素を取り出し、ステップＳ２５０２へ移行する。
【０１９６】
変換手段である記述コンバータ１５０２の処理は、実施の形態１で示した図４の構造記述データからＳＭＩＬへの変換の手順と同様であるので、詳細な説明は省略する。
【０１９７】
なお、実施の形態４においては要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、記述コンバータ１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２がこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０１９８】
図２６に、しきい値を４とした場合に図２３の構造記述データである内容記述１５０３から生成される中間的な構造記述データの例を示す。
【０１９９】
図中２６０１からわかるように、中間的な構造記述データには、しきい値４以上のメディアセグメントだけが選択されて記述されている。
【０２００】
また、選択条件として、メディアセグメントの重要度があるしきい値以上であることとしたが、選択したメディアセグメントの再生時間の総和があるしきい値以下であることとしてもよい。この場合は、要約エンジン１５０１では、すべてのメディアセグメントをその重要度の高い順にソートし、再生時間の総和がしきい値以下で、かつ最大となるまで、ソートした先頭からメディアセグメントを選択していく処理を行うようにする。また、メディアセグメントの重要度の条件と再生時間の条件との組み合わせる形態であってもよい。
【０２０１】
以上のように、実施の形態４によれば、メディアセグメントの文脈内容に基づいた重要度から、メディアセグメントの選択を行うことにより、あらすじやハイライトシーン集などを構成し、それらの表現記述データの生成が行える。これにより、ユーザが希望する部分だけのメディアコンテンツの再生、配信が行える。
【０２０２】
なお、セグメントの重要度に合わせて、セグメントの再生時間を変化させた要約内容記述を作成してもよい。
【０２０３】
（実施の形態５）
実施の形態５は、実施の形態４が映像情報と音声情報がひとつのメディアオブジェクトになっているものに限定されているのに対し、複数のメディアオブジェクトによる同期で構成されている場合も含むようにしたものである。
【０２０４】
以下、本発明の実施の形態５について述べる。実施の形態５は、メディアセグメントの代替データが指定されていない構成に関するものである。実施の形態５におけるデータ処理装置のブロック図は図２２に示したものと同様である。
【０２０５】
実施の形態５においても、構造記述データ１５０３のためのＤＴＤとして、図２３に示したものを用いる。図２７に、実施の形態５における構造記述データである内容記述１５０３の例を示す。
【０２０６】
図２７に示す内容記述１５０３には、タイプがvideoのmediaObject要素２７０１と、タイプがaudioのmediaObject要素２７０２と、が記述されている。図中２７０３に示すようにタイプがvideoのmediaObject要素２７０１のセグメントには、重要度であるscore属性が記述されている。また、図中２７０４に示すようにタイプがaudioのmediaObject要素２７０２のセグメントには、重要度であるscore属性が記述されている。
【０２０７】
実施の形態５においても、選択条件１５０４はメディアセグメントの重要度があるしきい値以上であることとする。この場合の選択手段である要約エンジン１５０１の処理は、実施の形態４における要約エンジン１５０１の処理を、各mediaObject要素毎に行うこととなる。
【０２０８】
図２８に実施の形態５における要約エンジン１５０１の処理のフローチャートを示す。
【０２０９】
まず、要約エンジン１５０１は、ステップＳ２８０１において、最初のmediaObject要素を取り出す。次に、要約エンジン１５０１は、Ｓ２８０２において、取り出したmediaObject要素の内容であるメディアセグメントのうち先頭のものであるsegment要素を取り出す。そして、要約エンジン１５０１は、ステップＳ２８０３において、取り出したメディアセグメントのスコアを表すsegment要素のscore属性の値を取り出し、それがしきい値以上であるかどうかを調べる。
【０２１０】
要約エンジン１５０１は、取り出したメディアセグメントがしきい値以上の場合はステップＳ２８０４の処理に移行し、取り出したメディアセグメントがしきい値未満の場合はステップＳ２８０５の処理に移行する。そして、要約エンジン１５０１は、ステップＳ２８０４で、該当メディアセグメントの開始時間と終了時間であるsegment要素の、start属性およびend属性の値を記述コンバータ１５０２に出力する。
【０２１１】
次に、要約エンジン１５０１は、ステップＳ２８０５で、未処理のメディアセグメントがあるかどうかを調べる。そして、要約エンジン１５０１は、未処理のメディアセグメントがある場合はステップＳ２８０６の処理に移行し、未処理のメディアセグメントない場合はステップＳ２８０５の処理に移行する。
【０２１２】
そして、要約エンジン１５０１は、ステップＳ２８０６で、未処理のメディアセグメントのうち、先頭のsegment要素を取り出し、ステップＳ２８０３の処理に移行する。
【０２１３】
一方、要約エンジン１５０１は、ステップＳ２８０７で、未処理のmediaObject要素がまだ残っているかどうかを調べ、まだ残っている場合はステップＳ２８０８の処理に移行し、残っていない場合は処理を終了する。そして、要約エンジン１５０１は、ステップＳ２８０８で、未処理のmediaObject要素のうち、先頭のmediaObject要素を取り出し、ステップＳ２８０２の処理に移行する。
【０２１４】
実施の形態５の変換手段である記述コンバータ１５０２も、各mediaObject要素毎の処理となるが、実施の形態１に示した図４の構造記述データからＳＭＩＬへの変換の手順の処理と同様の処理を行う。
【０２１５】
なお、実施の形態５においては、要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、要約エンジン１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２はこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０２１６】
図２９に、しきい値を４とした場合に図２７の内容記述１５０３から生成される中間的な構造記述データの例を示す。
【０２１７】
図中２９０１からわかるように、タイプがvideoのmediaObject要素には、しきい値４以上のメディアセグメントだけが選択され記述されている。また、図中２９０２からわかるように、タイプがaudioのmediaObject要素にも、しきい値が４以上のメディアセグメントだけが選択され記述されている。
【０２１８】
また、SMIL文書においてpar要素の中の各クリップに関し、同期させるために再生開始時間を異なるものとする必要が出てくる場合がある。この場合は、各クリップの再生開始時間を計算し、その時間がくれば再生を始めるようにする必要がある。
【０２１９】
SMILには、このような目的のために、audio要素,video要素,img要素,ref要素にbeginという属性が用意されており、これらを用いることで実現できる。
【０２２０】
以上のように、実施の形態５によれば、メディアセグメントの文脈内容に基づいた重要度から、メディアセグメントの選択を行うことにより、あらすじやハイライトシーン集などを構成し、それらの表現記述データの生成が行える。これにより、ユーザが希望する部分だけのメディアコンテンツの再生、配信が行える。
【０２２１】
（実施の形態６）
発明の実施の形態６について説明する。実施の形態４がメディアセグメントの代替データが指定されていないのに対し、実施の形態６はメディアセグメントの代替データを指定したものである。また、実施の形態６は、要約エンジンにおいてメディアセグメントを再生するか、代替データを再生するかの選択を行わない構成に関するものである。
【０２２２】
実施の形態６におけるデータ処理装置のブロック図は図２２に示したものと同様である。
【０２２３】
実施の形態６において用いる構造記述データのDTDの例を図３０に示す。図中３００１に示すように、図３０に示すDTDは、図１３で示したDTDのsegment要素にメディアセグメントの文脈内容に基づく重要度を表すscoreという属性を加えたものである。この重要度は、正の整数値で表されるものとし、１が最も重要度が低いとする。
【０２２４】
図３１に、構造記述データである内容記述１５０３の例を示す。図３１からわかるように、代替データで構成されるセグメントには、それぞれ重要度を示すscore属性が記述されている。
【０２２５】
実施の形態６における選択手段である要約エンジン１５０１の処理は、実施の形態４における要約エンジンの処理と同様である。だたし、実施の形態６における選択手段である要約エンジン１５０１は、選択したメディアセグメントの出力する際に、segment要素のstart属性，end属性に加えて、子要素であるalt要素も出力する。
【０２２６】
また、実施の形態６における変換手段である記述コンバータ１５０２の処理は、実施の形態１、実施の形態２、実施の形態３に示した図４の構造記述データからSMILへの変換の手順の処理と同様である。
【０２２７】
なお、本実施の形態においては要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、記述コンバータ１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２はこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０２２８】
図３２に、しきい値を４とした場合に図３１の構造記述データである内容記述１５０３から生成される中間的な構造記述データの例を示す。
【０２２９】
図３２に記された構造記述データには、重要度であるscore属性の値が４以上のセグメントと、このセグメントの代替データのみを選択して記述してある。
【０２３０】
（実施の形態７）
本発明の実施の形態７について説明する。実施の形態５がメディアセグメントの代替データが指定されていないのに対し、実施の形態７はメディアセグメントの代替データを指定したものである。また、実施の形態７は、メディアセグメントの代替データが指定されており、また要約エンジンにおいてメディアセグメントを再生するか代替データを再生するかの選択を行わない構成に関するものである。
【０２３１】
実施の形態７におけるデータ処理装置のブロック図は図２２に示したものと同様である。
【０２３２】
実施の形態７においても、構造記述データである内容記述１５０３のためのDTDとして、図３０に示したものを用いる。図３３に実施の形態７における構造記述データである内容記述１５０３の例を示す。
【０２３３】
実施の形態７における選択手段である要約エンジン１５０１の処理は、実施の形態５における要約エンジン１５０１の処理と同様である。だたし、実施の形態７にかかる要約エンジン１５０１は、選択したメディアセグメントを出力する際に、segment要素のstart属性，end属性に加えて、子要素であるalt要素も出力する。
【０２３４】
また、実施の形態７における記述コンバータ１５０２の処理は、実施の形態１、実施の形態２、または実施の形態３に示した図４の構造記述データからSMILへの変換の手順の処理と同様である。
【０２３５】
なお、本実施の形態においては要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、記述コンバータ１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２はこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０２３６】
図３４に示す構造記述データは、しきい値を４とした場合に図３３の内容記述１５０３から生成される中間的な構造記述データの例である。
【０２３７】
図３４に記された構造記述データには、重要度であるscore属性の値が４以上のセグメントとこのセグメントの代替データを、メディアのタイプ毎に分けて記述してある。
【０２３８】
（実施の形態８）
実施の形態８は、映像情報と音声情報とが同期した連続視聴覚情報（メディアコンテンツ）のあらすじやハイライトシーンのようなメディアコンテンツの代表的な部分のみを、端末にあった表示メディアによって再生、配信を行うためのものである。つまり、メディアコンテンツに対して、メディアコンテンツを区分けした各区分（メディアセグメント）の集合によって該当メディアコンテンツの構成を表現し、かつ各メディアセグメントの時間情報と、該当メディアセグメントの文脈内容に基づいた重要度を記述したものである構造記述データと、文脈内容に基づいた重要度のしきい値とを入力とし、しきい値以上のメディアセグメントだけを選択するものである。そして、選択したメディアセグメントの再生形態としてメディアセグメントあるいは該当メディアセグメントの代替データのどちらかを選択して、その再生順序、再生のタイミングを表現する表現記述データに変換し出力するものである。
【０２３９】
これにより、メディアコンテンツの構成に関する情報から、重要度の高いメディアセグメントのみを選択することによって、あらすじやハイライトシーンを構成するメディアセグメントだけを選び出し、選び出したメディアセグメントのみの再生に関する表現記述データへの変換を行うことができる。よって、メディアコンテンツを再生する端末の能力や配信するネットワークの状況に合わせたメディアの選択を実現することができる。
【０２４０】
本発明に実施の形態８について説明する。実施の形態６がメディアセグメントの代替データが指定されており、メディアセグメントを再生するか代替データを再生するかの選択を行わないものに対し、実施の形態８は、メディアセグメントの代替データが指定されており、メディアセグメントを再生するか代替データを再生するかの選択を行うものである。実施の形態８においては、選択手段が、メディアセグメント選択手段と、再生メディア選択手段に分かれる。また、選択条件はセグメント選択条件と再生メディア選択条件に分かれる。
【０２４１】
図３５に実施の形態８におけるデータ処理装置のブロック図を示す。図３５において、２８０１で記されるものはメディアセグメント選択手段である要約エンジンである。また、２８００で記されるものは記述コンバータである。また、記述コンバータ２８００は、再生メディア選択手段である再生メディア選択部２８０２と、変換手段である変換部２８０３とから構成されている。
【０２４２】
２８０４で記されるものは入力データであり構造記述データである内容記述を、２８０５で記されるものはセグメント選択条件を、２８０６で記されるものは再生メディア選択条件を、２８０７で記されるものは出力であり表現記述データある再生方法記述を表す。
【０２４３】
実施の形態８において、構造記述データである内容記述２８０４は実施の形態６における内容記述１５０３と同じものを用いる。すなわち、内容記述２８０４は、図３０に示したＤＴＤを用いたもので、一例は図３１に示されているものである。また、セグメント選択条件２８０５は、実施の形態４あるいは実施の形態６における選択条件１５０４と同様のものを用いる。この場合、メディアセグメント選択手段である要約エンジン２８０１の処理は、実施の形態６における要約エンジン１５０１の処理と同様となる。
【０２４４】
次に、再生メディア選択部２８０２の処理について説明する。再生メディア選択部２８０２は、再生メディア選択条件２８０６として、メディアコンテンツを配送するネットワークの接続ビットレートを条件とする。すなわち、再生メディア選択部２８０２は、接続ビットレートが５６ｋｂｐｓ以上の場合はメディアセグメントを再生し、５６ｋｂｐｓ未満の場合は代替データを再生することとする。再生メディア選択部２８０２は、接続ビットレートを調べ、どちらを再生するかを判定し、変換部２８０３へ通知する。
【０２４５】
変換部２８０３は、メディアセグメント選択手段である要約エンジン２８０１が選択したメディアセグメントの要素と、再生メディア選択部２８０２が選択した結果を入力し、再生メディア選択部２８０２の結果に基づいて、SMILによる表現記述データである再生方法記述２８０７を出力する。
【０２４６】
変換部２８０３が内容記述２８０４をSMILに変換する処理は、実施の形態１あるいは実施の形態に示した図４の構造記述データからSMILへの変換の手順の処理と同様である。
【０２４７】
なお、本実施の形態においては、要約エンジン２８０１が、選択したメディアセグメントの要素の内容を変換部２８０３へ出力し、変換部２８０３はそれを用いて処理を行う構成であるが、要約エンジン２８０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、変換部２８０３はこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０２４８】
また、再生メディア選択条件２８０６として、ネットワークのビットレートを用いたが、他に、再生端末の能力や、ユーザからの要求などであってもよい。
【０２４９】
（実施の形態９）
本発明に実施の形態９について述べる。実施の形態７がメディアセグメントの代替データが指定されており、メディアセグメントを再生するか代替データを再生するかの選択を行わないものに対し、実施の形態９は、メディアセグメントの代替データが指定されており、メディアセグメントを再生するか代替データを再生するかの選択を行うものである。また、実施の形態９は、選択手段においてメディアセグメントを再生するか代替データを再生するかの選択を行う構成に関するものである。
【０２５０】
実施の形態９においても、実施の形態８と同様、選択手段が、メディアセグメント選択手段と、再生メディア選択手段に分かれる。また、選択条件はセグメント選択条件と再生メディア選択条件に分かれる。したがって、本実施の形態におけるデータ処理装置のブロック図は、図３５に示したものと同様となる。
【０２５１】
実施の形態９において、構造記述データである内容記述２８０４は実施の形態７における構造記述データ１５０３と同じものを用いる。すなわち、内容記述２８０４は図３０に示したDTDを用いたもので、内容記述２８０４の一例は図３４に示されているものである。また、セグメント選択条件２８０５は、実施の形態８と同様のものを用いる。したがって、要約エンジン２８０１の処理は、実施の形態７における要約エンジン１５０１の処理と同様となる。
【０２５２】
実施の形態９にかかる再生メディア選択部２８０２の処理は、実施の形態８に記述したものと同様のものを用いる。
【０２５３】
変換部２８０３は、要約エンジン２８０１が選択したメディアセグメントの要素と、再生メディア選択部２８０２が選択した結果を入力し、再生メディア選択部２８０２の結果に基づいて、SMILによる表現記述データである再生方法記述２８０７を出力する。変換部２８０３が行う構造記述データからSMILへの変換処理は、実施の形態１あるいは実施の形態２に示した図４の構造記述データからSMILへの変換の手順と同様である。
【０２５４】
なお、本実施の形態においては、要約エンジン２８０１が、選択したメディアセグメントの要素の内容を変換部２８０３へ出力し、変換部２８０３はそれを用いて処理を行う構成であるが、要約エンジン２８０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、変換部２８０３はこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０２５５】
また、再生メディア選択条件２８０６として、ネットワークのビットレートを用いたが、他に、再生端末の能力や、ユーザからの要求などであってもよい。
【０２５６】
（実施の形態１０）
実施の形態１０は、映像情報と音声情報とが同期した連続視聴覚情報（メディアコンテンツ）に関して、ユーザの嗜好に合わせたメディアコンテンツの代表的な部分のみの再生、配信を行うためのものである。つまり、実施の形態１０は、メディアコンテンツに対して、メディアコンテンツを区分けした各区分（メディアセグメント）の集合によって該当メディアコンテンツの構成を表現し、かつ各メディアセグメントの時間情報と、キーワードで表現される観点に基づいた該当メディアセグメントの重要度とを記述したものである構造記述データと、ユーザの嗜好に合った観点とその重要度のしきい値とを入力とし、しきい値以上のメディアセグメントだけを選択するものである。そして、選択したメディアセグメントの再生形態としてメディアセグメントの再生順序、再生のタイミングを表現する表現記述データに変換し出力するものである。これにより、メディアコンテンツの構成に関する情報から、該当観点に基づく重要度がしきい値以上のメディアセグメントだけを選び出し、選び出したメディアセグメントのみの再生に関する表現記述データへの変換を行うものである。この結果、観点に基づく重要度により、ユーザの嗜好に合わせたハイライトシーン集などを構成でき、その部分だけの再生、配送を行うことができるといった作用を有する。
【０２５７】
以下、発明の実施の形態１０について説明する。実施の形態１０は、メディアセグメントの代替データが指定されていない構成に関するものである。実施の形態１０におけるデータ処理装置のブロック図は図２２に示したものと同様となる。
【０２５８】
図３６に、実施の形態１０で用いる構造記述データのDTDを示す。図中３６０１に示すように、図３６に示すDTDは、図２（ａ）で示したDTDのsegment要素に、キーワードで表現される観点に基づく重要度を表すスコアを表すため、pointOfViewという要素を子要素となるように加えたものである。
【０２５９】
また、図中３６０２に示すように、pointOfView要素は、viewPoint属性によって観点を表し、score属性によってviewPoint属性で示した観点に基づく重要度を表す。この重要度は、正の整数値で表されるものとし、１が最も重要度が低いとする。また、ひとつのsegment要素に複数のpointOfView要素をつけることができる。図３７に、実施の形態１０で用いる構造記述データである内容記述１５０３の例を示す。
【０２６０】
図３７からわかるように、segment要素毎に、pointOfView要素と、その属性であるviewPointと、属性であるscoreが記述されている。
【０２６１】
実施の形態１０においては、選択条件１５０４は、ある観点に関して、メディアセグメントのその観点に基づく重要度がしきい値以上であるとする。また、選択条件１５０４となる観点は複数であっても構わない。この場合の選択手段である要約エンジン１５０１における処理のフローチャートを図３８に示す。
【０２６２】
まず、要約エンジン１５０１は、ステップＳ３８０１において、先頭のメディアセグメントであるsegment要素を取り出す。次に、要約エンジン１５０１は、ステップＳ３８０２において、取り出したメディアセグメントであるsegment要素の内容であるpointOfView要素をすべて調べる。そして、要約エンジン１５０１は、調べたpointOfView要素のviewPoint属性に、選択条件１５０４で指定された観点が指定されているものがあるかどうかを調べる。
【０２６３】
そして、要約エンジン１５０１は、選択条件１５０４で指定された観点が指定されているものがある場合は、選択条件１５０４で指定された観点に基づく重要度としきい値を比べるために、ステップＳ３８０３の処理に移行する。一方、要約エンジン１５０１は、選択条件１５０４で指定された観点が指定されているものがない場合は、選択条件１５０４で指定された観点に基づく重要度がつけられていないため、ステップＳ３８０５の処理に移行する。
【０２６４】
次に、要約エンジン１５０１は、ステップＳ３８０３において、選択条件１５０４で指定された観点に基づく重要度がしきい値以上であるかを調べる。そして、選択条件１５０４は指定された観点に基づく重要度がしきい値以上の場合は、ステップＳ３８０４の処理に移行し、この重要度がしきい値未満の場合はステップＳ３８０５の処理に移行する。
【０２６５】
そして、要約エンジン１５０１は、ステップＳ３８０４において、該当メディアセグメントの開始時間と終了時間を表す、segment要素のstart属性とend属性の値を記述コンバータ１５０２に出力する。また、要約エンジン１５０１は、ステップＳ３８０５において、未処理のメディアセグメントがあるかどうかを調べ、ある場合はステップＳ３８０６の処理に移行する。一方、要約エンジン１５０１は、未処理のメディアセグメントがない場合は、処理を終了する。
【０２６６】
また、要約エンジン１５０１は、ステップＳ３８０６では、未処理のメディアセグメントのうち、先頭のsegment要素を取り出し、ステップＳ３８０２の処理に移行する。
【０２６７】
記述コンバータ１５０２の処理は、実施の形態１に示した図４の構造記述データからSMILへの変換の手順と同様である。
【０２６８】
なお、実施の形態１０においては要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、記述コンバータ１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２はこの中間的な構造記述データを入力して処理を行う形態であってもよい。
【０２６９】
また、選択条件は、メディアセグメントのある観点に関する重要度があるしきい値以上であることとしたが、選択したメディアセグメントの再生時間の総和があるしきい値以下であることでもよい。この場合、要約エンジン１５０１は、すべてのメディアセグメントを指定された観点に関する重要度の高い順にソートし、再生時間の総和がしきい値以下で、かつ最大となるまで、ソートした先頭からメディアセグメントを選択していく処理を行うこととなる。
【０２７０】
また、要約エンジン１５０１は、指定された観点が複数ある場合は、各メディアセグメントに関して、指定された観点に関する重要度のうち最大のものをとり、その値でソートしてもよいし、それらの総和や相加平均をとり、その値でソートしてもよい。
【０２７１】
また、メディアセグメントのある観点に関する重要度の条件と再生時間の条件との組み合わせであってもよい。
【０２７２】
以上のように、実施の形態１０によれば、メディアセグメントに付加された、キーワードで表現される観点に基づいた重要度から、ユーザの興味のあるメディアセグメントだけの選択を行うことにより、ユーザの嗜好に合わせたあらすじやハイライトシーン集などを構成し、それらの表現記述データの生成が行える。これにより、ユーザが希望する部分だけのメディアコンテンツの再生、配信が行える。
【０２７３】
（実施の形態１１）
以下、本発明の実施の形態１１について説明する。実施の形態１０が複数のタイプのメディアを持たないのに対し、実施の形態１１は複数のタイプのメディアを有し、メディアセグメントの代替データが指定されていない構成に関するものである。実施の形態１１におけるデータ処理装置のブロック図は図２２に示したものと同様である。
【０２７４】
実施の形態１１においても、内容記述データ１５０３のためのDTDとして、図３６に示したものを用いる。また、図３９に実施の形態１１における構造記述データである内容記述１５０３の例を示す。
【０２７５】
図３９からわかるように、図３９に示す構造記述データは、タイプの異なるmediaObject要素を有し、segment要素毎に、pointOfView要素と、その属性であるviewPointおよび属性であるscoreが記述されている。
【０２７６】
実施の形態においても、選択条件１５０４は、実施の形態１０と同様であり、ある観点に関して、メディアセグメントのその観点に基づく重要度がしきい値以上であることとする。また、選択条件１５０４となる観点は複数であっても構わない。この場合の要約エンジン１５０１の処理は、実施の形態１０における要約エンジン１５０１の処理を、各mediaObject要素毎に行うこととなる。図４０に、実施の形態１１における要約エンジン１５０１の処理のフローチャートを示す。
【０２７７】
まず、要約エンジン１５０１は、ステップＳ４００１において、最初のmediaObject要素を取り出す。次に、要約エンジン１５０１は、ステップＳ４００２において、取り出したmediaObject要素の内容のうち、先頭のメディアセグメントであるsegment要素を取り出す。そして、要約エンジン１５０１は，ステップＳ４００３において、取り出したメディアセグメントであるsegment要素の内容であるpointOfView要素をすべて調べ、調べたpointOfView要素のviewPoint属性に、選択条件１５０４で指定された観点が指定されているものがあるか調べる。
【０２７８】
そして、要約エンジン１５０１は、調べたpointOfView要素のviewPoint属性に、選択条件１５０４で指定された観点が指定されているものがある場合は、選択条件１５０４で指定された観点に基づく重要度としきい値とを比較するため、ステップＳ４００４の処理に移行する。一方、要約エンジン１５０１は、調べたpointOfView要素のviewPoint属性に、選択条件１５０４で指定された観点が指定されているものがない場合は、選択条件１５０４で指定された観点に基づく重要度がつけられていないため、ステップＳ４００６の処理に移行する。
【０２７９】
要約エンジン１５０１は、ステップＳ４００４において、選択条件１５０４で指定された観点に基づく重要度がしきい値以上であるかを調べる。また、要約エンジン１５０１は、選択条件１５０４で指定された観点に基づく重要度がしきい値以上の場合は、ステップＳ４００５の処理に移行し、選択条件１５０４で指定された観点に基づく重要度がしきい値未満の場合はステップＳ４００６の処理に移行する。
【０２８０】
要約エンジン１５０１は、ステップＳ４００５では、該当メディアセグメントの開始時間と終了時間を表す、segment要素のstart属性とend属性の値を記述コンバータ１５０２へ出力する。また、要約エンジン１５０１は、ステップＳ４００６では、未処理のメディアセグメントがあるかどうかを調べ、未処理のメディアセグメントがある場合はステップＳ４００７の処理に移行する。また要約エンジン１５００は、未処理のメディアセグメントがない場合は、ステップＳ４００８の処理に移行する。
【０２８１】
要約エンジン１５０１は、ステップＳ４００８では未処理のmediaObject要素がまだ残っているかどうかを調べ、残っている場合はステップＳ４００９の処理に移行する。要約エンジン１５０１は、未処理のmediaObject要素が残っていない場合は処理を終了する。
【０２８２】
また、要約エンジン１５０１は、ステップＳ４００９では、未処理のmediaObject要素のうち、先頭のmediaObject要素を取り出し、ステップＳ４００２の処理に移行する。
【０２８３】
実施の形態１１の記述コンバータ１５０２も、各mediaObject要素毎の処理を行うが、それ以外は、実施の形態１に示した図４の構造記述データからＳＭＩＬへの変換の手順の処理と同様の処理を行う。
【０２８４】
なお、実施の形態１１においては要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、記述コンバータ１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２はこの中間的な構造記述データを入力して処理を行う形態であってもよい。
【０２８５】
また、SMIL文書においてpar要素の中の各クリップに関し、同期させるために再生開始時間を異なるものとする必要が出てくる場合がある。この場合は、各クリップの再生開始時間を計算し、その時間がくれば再生を始めるようにする必要がある。
【０２８６】
SMILには、このような目的のために、audio要素,video要素,img要素,ref要素にbeginという属性が用意されており、これらを用いることで実現できる。
【０２８７】
（実施の形態１２）
本発明の実施の形態１２について述べる。実施の形態１０がメディアセグメントの代替データが指定されていないのに対し、実施の形態１２はメディアセグメントの代替データが指定されているものである。また、実施の形態１２は、選択手段においてメディアセグメントを再生するか代替データを再生するかの選択を行わない構成に関するものである。実施の形態１２におけるデータ処理装置のブロック図は図２２に示したものと同様である。
【０２８８】
実施の形態１２において用いる構造記述データのDTDの例を図４１に示す。図４１に示すDTDは、図１３で示したDTDのsegment要素に、キーワードで表現される観点に基づく重要度を表すスコアを表すため、pointOfViewという要素を子要素となるように加えたものである。pointOfView要素は、viewPoint属性によって観点を表し、score属性によってviewPoint属性で示した観点に基づく重要度を表す。この重要度は、正の整数値で表されるものとし、１が最も重要度が低いとする。また、ひとつのsegment要素に複数のpointOfView要素をつけることができる。図４２に内容記述データ１５０３の例を示す。
【０２８９】
図からもわかるように、図４２に示す内容記述データには、DTDのsegment要素に、pointOfViewという要素が子要素となるように加えられている。また、pointOfView要素は、viewPoint属性とscore属性とが記述されている。
【０２９０】
実施の形態１２における要約エンジン１５０１の処理は、実施の形態１０における要約エンジン１５０１の処理と同様である。だたし、実施の形態１２における要約エンジン１５０１の処理は、選択したメディアセグメントの出力する際に、segment要素のstart属性とend属性に加えて、子要素であるalt要素も出力する。
【０２９１】
また、実施の形態１２における記述コンバータ１５０２の処理は、実施の形態１、実施の形態２、あるいは実施の形態３に示した図４の構造記述データからＳＭＩＬへの変換の手順の処理と同様である。
【０２９２】
なお、実施の形態においてはなお、実施の形態１０においては要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、記述コンバータ１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２はこの中間的な構造記述データを入力して処理を行う形態であってもよい。
【０２９３】
（実施の形態１３）
本発明の実施の形態１３について述べる。実施の形態１１がメディアセグメントの代替データが指定されていないのに対し、実施の形態１３はメディアセグメントの代替データが指定されているものに関する。また、実施の形態１３は、選択手段においてメディアセグメントを再生するか代替データを再生するかの選択を行わない構成に関するものである。実施の形態１３におけるデータ処理装置のブロック図は図１５に示したものと同様である。
【０２９４】
実施の形態１３においても、内容記述１５０３のためのＤＴＤとして、図４１に示したものを用いる。図４３、図４４に実施の形態１２における構造記述データ１５０３の例を示す。
【０２９５】
図からもわかるように、実施の形態１３の構造記述データには、異なるタイプのmediaObject要素を有し、mediaObject要素毎にsegment要素を有する。そして、segment要素毎に、pointOfView要素と、その属性であるviewPointおよび属性であるscoreが記述されている。
【０２９６】
実施の形態１２における要約エンジン１５０１の処理は、実施の形態１１における要約エンジンの処理と同様である。だたし、実施の形態１２における要約エンジン１５０１は、選択したメディアセグメントを出力する際に、segment要素のstart属性とend属性に加えて、子要素であるalt要素も出力する。
【０２９７】
また、実施の形態１２における記述コンバータ１５０２の処理は、実施の形態１、実施の形態２、あるいは実施の形態３に示した図４の構造記述データからＳＭＩＬへの変換の手順の処理と同様である。
【０２９８】
なお、実施の形態１１においては要約エンジン１５０１が、選択したメディアセグメントの要素の内容を記述コンバータ１５０２へ出力し、記述コンバータ１５０２はそれを用いて処理を行う構成であるが、要約エンジン１５０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、記述コンバータ１５０２はこの中間的な構造記述データを入力して処理を行う形態であってもよい。
【０２９９】
（実施の形態１４）
本発明の実施の形態１４について説明する。実施の形態１２が選択手段においてメディアセグメントを再生するか代替データを再生するかの選択を行わない構成に関するものであるのに対し、実施の形態１４は選択手段においてメディアセグメントを再生するか代替データを再生するかの選択を行う構成に関するものである。実施の形態１４においては、選択手段が、メディアセグメント選択手段と、再生メディア選択手段に分かれる。また、選択条件はセグメント選択条件と再生メディア選択条件に分かれる。したがって、実施の形態１４におけるデータ処理装置のブロック図は、図３５に示したものと同様となる。
【０３００】
実施の形態１４において、内容記述データ２８０４は実施の形態１２における内容記述１５０３と同じものを用いる。すなわち、実施の形態１４の内容記述データ２８０４は図４１に示したDTDを用いたもので、実施の形態１４の内容記述データ２８０４の一例は図４２に示されているものである。
【０３０１】
また、セグメント選択条件２８０５は、実施の形態１０あるいは実施の形態１２における選択条件１５０４と同様のものを用いる。この場合、要約エンジン２８０１の処理は、実施の形態１２における要約エンジン１５０１の処理と同様となる。
【０３０２】
次に、再生メディア選択部２８０２の処理について説明する。再生メディア選択部２８０２は、再生メディア選択条件２８０６として、メディアコンテンツを配送するネットワークの接続ビットレートを条件とする。すなわち、再生メディア選択部２８０２は、接続ビットレートが５６ｋｂｐｓ以上の場合はメディアセグメントを再生し、５６ｋｂｐｓ未満の場合は代替データを再生することとする。再生メディア選択部２８０２は、接続ビットレートを調べ、どちらを再生するかを判定し、変換部２８０３へ通知する。
【０３０３】
変換部２８０３は、メディアセグメント選択手段である要約エンジン２８０１が選択したメディアセグメントの要素と、再生メディア選択部２８０２が選択した結果を入力し、再生メディア選択部２８０２の結果に基づいて、SMILによる表現記述データである再生方法記述２８０７を出力する。
【０３０４】
変換部２８０３が内容記述２８０４をSMILに変換する処理は、実施の形態１あるいは実施の形態２に示した図４の構造記述データからSMILへの変換の手順の処理と同様である。
【０３０５】
なお、本実施の形態においては、要約エンジン２８０１が、選択したメディアセグメントの要素の内容を変換部２８０３へ出力し、変換部２８０３はそれを用いて処理を行う構成であるが、要約エンジン２８０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、変換部２８０３はこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０３０６】
また、再生メディア選択条件２８０６として、ネットワークのビットレートを用いたが、他に、再生端末の能力や、ユーザからの要求などであってもよい。
【０３０７】
（実施の形態１５）
本発明の実施の形態１５について述べる。実施の形態１３が選択手段においてメディアセグメントを再生するか代替データを再生するかの選択を行う構成に関するものであるのに対し、実施の形態１５は選択手段においてメディアセグメントを再生するか代替データを再生するかの選択を行う構成に関するものである。実施の形態１５においても、実施の形態８と同様、選択手段が、メディアセグメント選択手段と、再生メディア選択手段に分かれる。また、選択条件はセグメント選択条件と再生メディア選択条件に分かれる。したがって、本実施の形態におけるデータ処理装置のブロック図は、図３５に示したものと同様となる。
【０３０８】
実施の形態１５の構造記述データ２８０４は実施の形態１３における構造記述データ１５０３と同じものを用いる。すなわち、実施の形態１５の構造記述データ２８０４は、図４１に示したＤＴＤを用いたもので、一例は図４３、図４４に示されているものである。
【０３０９】
また、実施の形態１５のセグメント選択条件２８０５は、実施の形態１４のセグメント選択条件２８０５と同様のものを用いる。したがって、要約エンジン２８０１の処理は、実施の形態１３における要約エンジン１５０１の処理と同様となる。
【０３１０】
実施の形態１５にかかる再生メディア選択部２８０２の処理は、実施の形態１４に記述した再生メディア選択部２８０２と同様のものを用いる。
【０３１１】
実施の形態１５の変換部２８０３は、要約エンジン２８０１が選択したメディアセグメントの要素と、再生メディア選択部２８０２が選択した結果を入力し、再生メディア選択部２８０２の結果に基づいて、SMILによる表現記述データである再生方法記述２８０７を出力する。
【０３１２】
実施の形態１５の変換部２８０３が行うSMILへの変換処理は、実施の形態１あるいは実施の形態２に示した図４の構造記述データからSMILへの変換の手順と同様である。
【０３１３】
なお、本実施の形態においては、要約エンジン２８０１が、選択したメディアセグメントの要素の内容を変換部２８０３へ出力し、変換部２８０３はそれを用いて処理を行う構成であるが、要約エンジン２８０１が選択されたメディアセグメントだけを残した中間的な構造記述データを作成し、変換部２８０３はこの中間的な構造記述データを入力して処理を行うものであってもよい。
【０３１４】
また、再生メディア選択条件２８０６として、ネットワークのビットレートを用いたが、他に、再生端末の能力や、ユーザからの要求などであってもよい。
【０３１５】
（実施の形態１６）
本発明の実施の形態１６について説明する。図４５に、実施の形態１６におけるデータ処理装置のブロック図を示す。図４５において、３８０１で記されるものは構造記述データデータベースを、３８０２で記されるものは選択部を、３８０３で記されるものは変換部を、３８０４で記されるものは再生部を、３８０５で記されるものはメディアコンテンツデータベースを表す。また、３８０６で記されるものは構造記述データを、３８０８で記されるものは要約内容記述データを、３８０９で記されるものは表現記述データを、３８１０で記されるものはメディアコンテンツデータを表す。
【０３１６】
また、選択部３８０２、変換部３８０３、構造記述データ３８０６、選択条件３８０７および表現記述データ３８０９は、実施の形態４から実施の形態１５のいずれかに示したものと同様である。また、要約構造記述データ３８０８は、実施の形態４から実施の形態１５のいずれかに示した、選択されたメディアセグメントだけを残した中間的な構造記述データにあたるものである。選択部３８０２、変換部３８０３は、コンピュータ上でプログラムを実行することにより実現できる。
【０３１７】
再生部３８０４としては、表現記述データ３８０９がSMILによって表現されているため、SMILプレーヤを用いることができる。SMILプレーヤは、コンピュータ上でプログラムを実行することにより実現でき、SMILプレーヤソフトウェアとしては、例えばReal NetworksのReal Playerなどフリーのソフトが流通している。
【０３１８】
なお、実施の形態１６では、選択部３８０２が要約構造記述データ３８０８を出力するものとしたが、実施の形態４から実施の形態１５のいずれかに示したように、要約構造記述データ３８０８を出力せず、選択したメディアセグメントを出力する形態のものであってもよい。
【０３１９】
（実施の形態１７）
発明の実施の形態１７にかかるサーバ−クライアントシステムついて、図４６を用いて説明する。実施の形態１７は、選択部３８０２と変換部３８０３をサーバ４６０１側に備え、再生部３８０４をクライアント４６０２側に備えたものである。そして、実施の形態１７は、変換部３８０３と再生部３８０４との接続をネットワーク４６０３上で行うものである。これにより、実施の形態１７は、ネットワークを通じて、表現記述データ３８０９を通信する構成のサーバ−クライアントシステムとなる。
【０３２０】
また、各処理部が行う処理内容は、コンピュータで実行できるプログラムとして書かれ、サーバ４６０１側とクライアント４６０２側内の記憶媒体に格納され、それぞれ実行される。
【０３２１】
なお、構造記述データベース３８０１のかわりにメタデータデータベース１００１を、選択部３８０２のかわりに要約エンジン１００２、１５０１、２８０１を、変換部３８０３のかわりに記述コンバータ１００３、１５０２、２８００を、再生部３８０４のかわりに再生機１００４を、メディアコンテンツデータベース３８０５のかわりにメディアコンテンツデータベース１００５を用いても良い。
【０３２２】
なお、実施の形態１７は、図４７に示すようにメディアコンテンツデータベース３８０５をサーバ４６０１ａに備え、メディアコンテンツデータ３８１０をネットワーク４６０３を介してクライアント４６０２ａに送る形態であっても良い。
【０３２３】
（実施の形態１８）
本発明の実施の形態１８にかかるサーバ−クライアントシステムついて述べる。
【０３２４】
実施の形態１８について、図４８を用いて説明する。実施の形態１８は、選択部３８０２をサーバ４７０１側に備え、変換部３８０３と再生部３８０４をクライアント４７０２側に備えたものである。また、実施の形態１８は、選択部３８０２と変換部３８０３との接続をネットワーク４６０３上で行う。これにより、実施の形態１８は、ネットワークを通じて、要約構造記述データ３８０８を通信する構成のサーバ−クライアントシステムとなる。
【０３２５】
また、各処理部が行う処理内容は、コンピュータで実行できるプログラムとして書かれ、サーバ４７０１側とクライアント４７０２側内の記憶媒体に格納され、それぞれ実行される。
【０３２６】
なお、構造記述データベース３８０１のかわりにメタデータデータベース１００１を、選択部３８０２のかわりに要約エンジン１００２、１５０１、２８０１を、変換部３８０３のかわりに記述コンバータ１００３、１５０２、２８００を、再生部３８０４のかわりに再生機１００４を、メディアコンテンツデータベース３８０５のかわりにメディアコンテンツデータベース１００５を用いても良い。
【０３２７】
なお、実施の形態１８は、図４９に示すように、メディアコンテンツデータベース３８０５をサーバ４７０１ａに備え、メディアコンテンツデータ３８１０をネットワーク４６０３を介してクライアント４７０２ａに送る形態であっても良い。
【産業上の利用可能性】
【０３２８】
以上説明したように、本発明によれば、メディアセグメントによるメディアコンテンツの構成を記述する構造記述データから、メディアコンテンツを再生する形態を表現する表現記述データへの変換を行える。このため、メディアコンテンツの再生において、メディアセグメント毎に再生するタイミング、同期情報などの制約を加えることができ、さまざまな再生が実現できる。
【０３２９】
また、本発明によれば、メディアセグメントの代替データを構造記述データに記述しておくことにより、メディアセグメント自体を再生するか、代替データを再生するかの選択が行える。これにより、メディアコンテンツを配送するネットワークの容量や通信量、メディアコンテンツを再生する端末の能力などに合わせたメディアで、コンテンツの配送や再生が行える。
【０３３０】
また、本発明によれば、構造記述データに各メディアセグメントの文脈内容に基づいたスコアをさらに記述することによって、例えば、さまざまな再生時間のハイライトシーン集などの再生や配送を容易に行うことができ、また、スコアをキーワードで示される観点に基づくものとすることにより、キーワードを指定することによって、ユーザの好みに合わせたシーンだけを再生、配送することができる。
【図面の簡単な説明】
【０３３１】
【図１】本発明の実施の形態１にかかるデータ処理システムの概念図
【図２】（ａ）  実施の形態１における構造記述データのＤＴＤを示す図  （ｂ）  実施の形態１における構造記述データの一例を示す図
【図３】実施の形態１における構造記述データのもうひとつの一例を示す図
【図４】実施の形態１における構造記述データから表現記述データへの変換のフロー図
【図５】実施の形態１にかかる記述コンバータが構造記述データである要約内容記述からSMIL文書である再生方法記述を出力するフロー図
【図６】SMIL文書の構成を示した図
【図７】実施の形態１における表現記述データの一例を示す図
【図８】実施の形態１における表現記述データの一例を示す図
【図９】実施の形態１にかかる記述コンバータが構造記述データである要約内容記述からSMIL文書である再生方法記述を出力するフロー図
【図１０】実施の形態１における表現記述データの一例を示す図
【図１１】実施の形態１における表現記述データの一例を示す図
【図１２】実施の形態１における表現記述データの一例を示す図
【図１３】本発明の実施の形態２における構造記述データのＤＴＤを示す図
【図１４】実施の形態２における構造記述データの一例を示す図
【図１５】実施の形態２における構造記述データのもうひとつの一例を示す図
【図１６】実施の形態２にかかる記述コンバータが構造記述データである要約内容記述からSMIL文書である再生方法記述を出力するフロー図
【図１７】実施の形態２における表現記述データの一例を示す図
【図１８】実施の形態２にかかる記述コンバータが構造記述データである要約内容記述からSMIL文書である再生方法記述を出力するフロー図
【図１９】実施の形態３における構造記述データから表現記述データへの変換のフロー図
【図２０】実施の形態３における表現記述データの一例を示す図
【図２１】（ａ）  実施の形態３における構造記述データの拡張のDTDを示す図  （ｂ）  実施の形態３における構造記述データの拡張の一例を示す図
【図２２】本発明の実施の形態４におけるデータ処理装置のブロック図
【図２３】実施の形態４における構造記述データのＤＴＤを示す図
【図２４】実施の形態４における構造記述データの一例を示す図
【図２５】実施の形態４における選択部の処理におけるフロー図
【図２６】実施の形態４における中間的な構造記述データの一例を示す図
【図２７】本発明の実施の形態５における構造記述データの一例を示す図
【図２８】実施の形態５における選択部の処理におけるフロー図
【図２９】実施の形態５における中間的な構造記述データの一例を示す図
【図３０】本発明の実施の形態６における構造記述データのＤＴＤを示す図
【図３１】実施の形態６における構造記述データの一例を示す図
【図３２】実施の形態６における中間的な構造記述データの一例を示す図
【図３３】本発明の実施の形態７における構造記述データの一例を示す図
【図３４】実施の形態７における中間的な構造記述データの一例を示す図
【図３５】本発明の実施の形態８におけるデータ処理装置のブロック図
【図３６】本発明の実施の形態１０における構造記述データのＤＴＤを示す図
【図３７】実施の形態１０における構造記述データの一例を示す図
【図３８】実施の形態１０における選択部の処理におけるフロー図
【図３９】本発明の実施の形態１１における構造記述データの一例を示す図
【図４０】実施の形態１１における選択部の処理におけるフロー図
【図４１】本発明の実施の形態１２における構造記述データのＤＴＤを示す図
【図４２】実施の形態１２における構造記述データの一例を示す図
【図４３】本発明の実施の形態１３における構造記述データの一例を示す第１の図
【図４４】実施の形態１３における構造記述データの一例を示す第２の図
【図４５】本発明の実施の形態１６におけるデータ処理装置のブロック図
【図４６】本発明の実施の形態１７のサーバ−クライアントシステムのブロック図
【図４７】実施の形態１７のサーバ−クライアントシステムのその他の例のブロック図
【図４８】本発明の実施の形態１８のサーバ−クライアントシステムのブロック図
【図４９】実施の形態１８のサーバ−クライアントシステムのその他の例のブロック図
【図５０】従来の動画配信装置のブロック図
【符号の説明】
【０３３２】
１００１  メタデータデータベース
１００２、１５０１、２８０１  要約エンジン
１００３、１５０２、２８００  記述コンバータ
１００４  再生機
１００５  メディアコンテンツデータベース
２８０１  メディアセグメント選択手段
２８０２  再生メディア選択部
２８０３  変換部
３８０１  構造記述データデータベース
３８０２  選択部
３８０３  変換部
３８０４  再生部
３８０５  メディアコンテンツデータベース
４６０１、４７０１  サーバ
４６０２、４７０２  クライアント
４６０３  ネットワーク
【図１】
2005122730.tif 000003
【図２】
2005122730.tif 000004
【図３】
2005122730.tif 000005
【図４】
2005122730.tif 000006
【図５】
2005122730.tif 000007
【図６】
2005122730.tif 000008
【図７】
2005122730.tif 000009
【図８】
2005122730.tif 000010
【図９】
2005122730.tif 000011
【図１０】
2005122730.tif 000012
【図１１】
2005122730.tif 000013
【図１２】
2005122730.tif 000014
【図１３】
2005122730.tif 000015
【図１４】
2005122730.tif 000016
【図１５】
2005122730.tif 000017
【図１６】
2005122730.tif 000018
【図１７】
2005122730.tif 000019
【図１８】
2005122730.tif 000020
【図１９】
2005122730.tif 000021
【図２０】
2005122730.tif 000022
【図２１】
2005122730.tif 000023
【図２２】
2005122730.tif 000024
【図２３】
2005122730.tif 000025
【図２４】
2005122730.tif 000026
【図２５】
2005122730.tif 000027
【図２６】
2005122730.tif 000028
【図２７】
2005122730.tif 000029
【図２８】
2005122730.tif 000030
【図２９】
2005122730.tif 000031
【図３０】
2005122730.tif 000032
【図３１】
2005122730.tif 000033
【図３２】
2005122730.tif 000034
【図３３】
2005122730.tif 000035
【図３４】
2005122730.tif 000036
【図３５】
2005122730.tif 000037
【図３６】
2005122730.tif 000038
【図３７】
2005122730.tif 000039
【図３８】
2005122730.tif 000040
【図３９】
2005122730.tif 000041
【図４０】
2005122730.tif 000042
【図４１】
2005122730.tif 000043
【図４２】
2005122730.tif 000044
【図４３】
2005122730.tif 000045
【図４４】
2005122730.tif 000046
【図４５】
2005122730.tif 000047
【図４６】
2005122730.tif 000048
【図４７】
2005122730.tif 000049
【図４８】
2005122730.tif 000050
【図４９】
2005122730.tif 000051
【図５０】
2005122730.tif 000052