(57)【要約】【課題】映像および／または音声の再生と書籍の再生とを適切に対応させて出力する。【解決手段】表示制御部３４は、ＡＶストリームデータの再生における経過時間に対応する文字列インデックスが割り当てられた文字列を、書籍データから再生するか、或いは、書籍データから再生される文字列の文字列インデックスに対応する経過時間からＡＶストリームデータを再生するようにＡＶ再生部３２を制御する。【選択図】図１
2013126184.tif 000002
【特許請求の範囲】
【請求項１】
映像および音声の少なくとも一方のデータであるストリームデータと、書籍データとを含むコンテンツを再生するコンテンツ再生装置であって、
前記コンテンツを取得するコンテンツ取得手段と、
前記ストリームデータの再生の経過時間の情報と、前記書籍データにおける文字列ごとに割り当てられた文字列インデックスとを対応付けた対応情報を取得する対応情報取得手段と、
前記コンテンツ取得手段が取得した前記コンテンツに含まれた前記ストリームデータおよび前記書籍データを、前記対応情報に基づいて再生する再生手段であって、前記ストリームデータを再生すると共に、該再生の経過時間に対応する文字列インデックスが割り当てられた文字列を、前記書籍データから再生するか、或いは、前記書籍データを再生すると共に、再生される文字列の文字列インデックスに対応する経過時間からストリームデータを再生する再生手段とを備えることを特徴とするコンテンツ再生装置。
【請求項２】
前記文字列インデックスは、文章を、文字単位、単語単位、文単位、段落単位、節単位、および章単位の少なくとも１つで区切った場合の何れかの単位、または何れかの単位の組み合わせを指定する情報であることを特徴とする請求項１に記載のコンテンツ再生装置。
【請求項３】
前記書籍データは、映像および音声の少なくとも一方のメディアデータを含んでおり、
前記対応情報には、前記ストリームデータの再生の経過時間の情報と、前記書籍データにおける文字列ごとに割り当てられた文字列インデックスと、前記メディアデータの情報とが対応付けられていることを特徴とする請求項１または２に記載のコンテンツ再生装置。
【請求項４】
前記再生手段は、前記ストリームデータおよび前記書籍データを、前記対応情報に基づいて再生する同期モードと、前記対応情報に関係なく再生する非同期モードとを有することを特徴とする請求項１から３までの何れか１項に記載のコンテンツ再生装置。
【請求項５】
前記再生手段は、前記非同期モードの場合、前記ストリームデータおよび前記書籍データの一方の再生の範囲を制限可能であることを特徴とする請求項４に記載のコンテンツ再生装置。
【請求項６】
前記再生手段は、前記非同期モードの場合、前記対応情報における文字列インデックスの順序で前記書籍データの再生を行うか、前記書籍データ中に順番に付された文字列インデックスの順序で、前記書籍データの再生を行うかを選択可能であることを特徴とする請求項４または５に記載のコンテンツ再生装置。
【請求項７】
前記コンテンツは、前記ストリームデータおよび前記書籍データの少なくとも一方を複数個含んでおり、
前記再生手段は、選択された前記ストリームデータおよび前記書籍データを再生することを特徴とする請求項１から６までの何れか１項に記載のコンテンツ再生装置。
【請求項８】
映像および音声の少なくとも一方のデータであるストリームデータと、書籍データとを含むコンテンツを再生する請求項１から７までの何れか１項に記載のコンテンツ再生装置と、
該コンテンツ再生装置が再生した情報を表示するように、外部の表示装置を制御する表示制御手段とを備えるコンテンツ表示制御装置。
【請求項９】
前記表示制御手段は、前記コンテンツ再生装置が再生した文字列を分割して表示する場合、分割されたそれぞれの文字列の文字数または単語数を揃えて表示させることを特徴とする請求項８に記載のコンテンツ表示制御装置。
【請求項１０】
前記表示制御手段は、前記コンテンツ再生装置が再生した文字列を分割して表示する場合、分割されたそれぞれの文字列の表示間隔を揃えて表示させることを特徴とする請求項８または９に記載のコンテンツ表示制御装置。
【請求項１１】
前記表示制御手段は、前記コンテンツ再生装置が再生した文字列の文字数または単語数に基づいて、前記コンテンツ再生装置が再生したストリームデータを表示する速度を調節することを特徴とする請求項８から１０までの何れか１項に記載のコンテンツ表示制御装置。
【請求項１２】
前記コンテンツ再生装置の対応情報は、前記ストリームデータのチャプタ画像と、前記書籍データにおける目次との対応付けをさらに含んでおり、
前記表示制御手段は、前記対応情報に基づいて、前記チャプタ画像および前記目次を表示させており、
前記チャプタ画像または前記目次の選択操作により、前記コンテンツ再生装置の再生手段は、選択された経過時間を特定し、特定した経過時間から前記ストリームデータおよび前記書籍データを再生することを特徴とする請求項８から１１までの何れか１項に記載のコンテンツ表示制御装置。
【請求項１３】
前記表示制御手段は、前記コンテンツ再生装置が再生したストリームデータおよび書籍データを別々の表示装置に送信することを特徴とする請求項８から１２までの何れか１項に記載のコンテンツ表示制御装置。
【請求項１４】
前記表示制御手段は、前記別々の表示装置における表示のタイミングを制御することを特徴とする請求項１３に記載のコンテンツ表示制御装置。
【請求項１５】
請求項１から７までの何れか１項に記載のコンテンツ再生装置を動作させるための制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
【請求項１６】
映像および音声の少なくとも一方のデータであるストリームデータと、書籍データとを含むコンテンツを再生するコンテンツ再生装置の制御方法であって、
前記コンテンツを取得するコンテンツ取得ステップと、
前記ストリームデータの再生の経過時間の情報と、前記書籍データにおける文字列ごとに割り当てられた文字列インデックスとを対応付けた対応情報を取得する対応情報取得ステップと、
前記コンテンツ取得ステップにて取得された前記コンテンツに含まれた前記ストリームデータおよび前記書籍データを、前記対応情報に基づいて再生する再生ステップであって、前記ストリームデータを再生すると共に、該再生の経過時間に対応する文字列インデックスが割り当てられた文字列を、前記書籍データから再生するか、或いは、前記書籍データを再生すると共に、再生される文字列の文字列インデックスに対応する経過時間からストリームデータを再生する再生ステップとを含むことを特徴とするコンテンツ再生装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像および音声の少なくとも一方のデータであるストリームデータと、書籍データとを含むコンテンツを再生するコンテンツ再生装置、その制御方法および制御プログラム、並びにコンテンツ表示制御装置に関するものである。特に、メディアプレーヤ、電子書籍、Ｅラーニング、デジタルサイネージなどに利用されるコンテンツ再生装置などに関するものである。
【背景技術】
【０００２】
近年、語学学習用の教材や、映画やドラマ等の映像コンテンツ、鉄道や自動車等の趣味関連のテキストや解説本にＤＶＤ（Digital Versatile Disk）等の映像メディアを添付した書籍が販売されている。これらの書籍は、映像コンテンツを視聴しながら、書籍を読むことで学習をしたり、関連情報を閲覧して楽しむことを前提に作成されている。
【０００３】
映像コンテンツが添付された書籍については、電子書籍の形態でコンテンツを作成することも想定される。電子書籍のフォーマットの中には、映像データを埋め込むことが可能なものがあり、ＤＶＤに収められている映像コンテンツを電子書籍のビューワで再生可能なフォーマットに変換し、電子書籍と合わせて一つのデータとして配布することも想定される。
【０００４】
また、Ｅラーニングの分野では、講師の映像と配布資料とを、インターネットを介して受講者のＰＣ（Personal Computer）等の端末に配信し、端末上で動作するＷｅｂブラウザや専用アプリケーションで、講師の説明に同期させて配布資料の各ページを表示するシステムが開発されている。
【０００５】
Ｂｌｕ−ｒａｙ  ＤＩＳＣの対話型コンテンツの規格であるＢＤ−Ｊでは、動画コンテンツに関連した情報を、ピクチャインピクチャ等で同時に表示するための技術が規定されている。特許文献１には、動画に関連する情報を、インターネット上のサーバから取得して、動画の再生に同期して表示するための技術が開示されている。
【０００６】
これらの技術を応用することで、電子書籍コンテンツに埋め込まれた動画中の特定のシーンに同期して、電子書籍の特定のページを関連付けて、同時に表示することが可能である。具体的には、映像コンテンツのタイムスタンプと書籍のページの対応テーブルを参照しながら、動画の再生と書籍の表示を同期して行うことが想定される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３３８７３号公報（２００６年０２月０２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、一般的な文字情報が主体である電子書籍においては、コンテンツビューワの解像度やユーザ設定に応じて、文字の大きさや、一頁あたりの表示文字数を変更することが可能であり、その変更に応じて、改ページの位置や、総ページ数は変化する。従って、上記の従来技術のように、映像シーンと特定のページとを関連付ける方法では、ビューワの解像度やユーザ設定に応じたページの変化に対応することができない。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、映像および／または音声の再生と書籍の再生とを適切に対応させて出力できるコンテンツ再生装置などを提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係るコンテンツ再生装置は、映像および音声の少なくとも一方のデータであるストリームデータと、書籍データとを含むコンテンツを再生するコンテンツ再生装置であって、上記課題を解決するために、前記コンテンツを取得するコンテンツ取得手段と、前記ストリームデータの再生の経過時間の情報と、前記書籍データにおける文字列ごとに割り当てられた文字列インデックスとを対応付けた対応情報を取得する対応情報取得手段と、前記コンテンツ取得手段が取得した前記コンテンツに含まれた前記ストリームデータおよび前記書籍データを、前記対応情報に基づいて再生する再生手段であって、前記ストリームデータを再生すると共に、該再生の経過時間に対応する文字列インデックスが割り当てられた文字列を、前記書籍データから再生するか、或いは、前記書籍データを再生すると共に、再生される文字列の文字列インデックスに対応する経過時間からストリームデータを再生する再生手段とを備えることを特徴としている。
【００１１】
また、本発明に係るコンテンツ再生装置の制御方法は、映像および音声の少なくとも一方のデータであるストリームデータと、書籍データとを含むコンテンツを再生するコンテンツ再生装置の制御方法であって、上記課題を解決するために、前記コンテンツを取得するコンテンツ取得ステップと、前記ストリームデータの再生の経過時間の情報と、前記書籍データにおける文字列ごとに割り当てられた文字列インデックスとを対応付けた対応情報を取得する対応情報取得ステップと、前記コンテンツ取得ステップにて取得された前記コンテンツに含まれた前記ストリームデータおよび前記書籍データを、前記対応情報に基づいて再生する再生ステップであって、前記ストリームデータを再生すると共に、該再生の経過時間に対応する文字列インデックスが割り当てられた文字列を、前記書籍データから再生するか、或いは、前記書籍データを再生すると共に、再生される文字列の文字列インデックスに対応する経過時間からストリームデータを再生する再生ステップとを含むことを特徴としている。
【００１２】
上記の構成および方法によると、取得されたコンテンツに含まれるストリームデータおよび書籍データを再生するとき、再生中のストリームデータの再生の経過時間に対応する文字列インデックスが割り当てられた文字列が、対応情報に基づいて再生される。或いは、上記対応情報に基づいて、書籍データから再生される文字列の文字列インデックスに対応する経過時間からストリームデータが再生される。
【００１３】
このように、本発明では、映像および／または音声の再生の経過時間が、書籍のページ番号ではなく、該書籍の文字列ごとに割り当てられた文字列インデックスと対応付けられている。従って、文字の大きさや、一頁あたりの表示文字数を変更することにより、書籍の総ページが変化しても、上記再生の経過時間と上記文字列インデックスとの対応関係は変化しないので、映像および／または音声の再生と書籍の再生とを適切に対応させて出力することができる。
【００１４】
なお、上記対応情報は、外部から取得してもよいし、内部の記憶装置から取得してもよい。また、取得されたコンテンツに上記対応情報が含まれる場合には、当該コンテンツから上記対応情報を取得することができる。
【００１５】
なお、前記文字列インデックスとしては、文章を、文字単位、単語単位、文単位、段落単位、節単位、および章単位の少なくとも１つで区切った場合の何れかの単位、または何れかの単位の組み合わせを指定する情報が挙げられる。
【００１６】
本発明に係るコンテンツ再生装置では、前記書籍データは、映像および音声の少なくとも一方のメディアデータを含んでおり、前記対応情報には、前記ストリームデータの再生の経過時間の情報と、前記書籍データにおける文字列ごとに割り当てられた文字列インデックスと、前記メディアデータの情報とが対応付けられていることが好ましい。この場合、ストリームデータの再生に対応して、書籍データおよびメディアデータを適切に再生することができ、或いは、書籍データの再生に対応して、ストリームデータおよびメディアデータを適切に再生することができる。
【００１７】
ところで、映像および／または音声と、書籍とを同期して再生したい場合もあれば、同期させずに再生したい場合もある。そこで、本発明に係るコンテンツ再生装置では、前記再生手段は、前記ストリームデータおよび前記書籍データを、前記対応情報に基づいて再生する同期モードと、前記対応情報に関係なく再生する非同期モードとを有することが好ましい。この場合、ユーザの利便性が向上する。
【００１８】
ところで、ストリームデータおよび書籍データの一方を先行して再生することにより、他方の内容が露見してしまうことがある。そこで、本発明に係るコンテンツ再生装置では、前記再生手段は、前記非同期モードの場合、前記ストリームデータおよび前記書籍データの一方の再生の範囲を制限可能であることが好ましい。この場合、ストリームデータおよび書籍データの一方を先行して再生することを制限でき、他方の内容が露見することを防止できる。
【００１９】
ところで、前記対応情報では、映像および／または音声の再生順序と書籍の記載順序とが一致していない場合も考えられる。そこで、本発明に係るコンテンツ再生装置では、前記再生手段は、前記非同期モードの場合、前記対応情報における文字列インデックスの順序で前記書籍データの再生を行うか、前記書籍データ中に順番に付された文字列インデックスの順序で、前記書籍データの再生を行うかを選択可能であることが好ましい。この場合、書籍の記載順序でも再生できるので、ユーザの利便性が向上する。
【００２０】
ところで、コンテンツは、前記ストリームデータおよび前記書籍データの少なくとも一方を複数個含む場合がある。そこで、本発明に係るコンテンツ再生装置では、前記再生手段は、選択された前記ストリームデータおよび前記書籍データを再生することが好ましい。
【００２１】
なお、映像および音声の少なくとも一方のデータであるストリームデータと、書籍データとを含むコンテンツを再生する上記構成のコンテンツ再生装置と、該コンテンツ再生装置が再生した情報を表示するように、外部の表示装置を制御する表示制御手段とを備えるコンテンツ表示制御装置であれば、上述と同様の効果を奏することができる。
【００２２】
本発明に係るコンテンツ表示制御装置では、前記表示制御手段は、前記コンテンツ再生装置が再生した文字列を分割して表示する場合、分割されたそれぞれの文字列の文字数または単語数を揃えて表示させることが好ましい。また、前記表示制御手段は、前記コンテンツ再生装置が再生した文字列を分割して表示する場合、分割されたそれぞれの文字列の表示間隔を揃えて表示させることが好ましい。これらの場合、文字列が均等に表示されるので、ユーザの視認性が向上する。
【００２３】
本発明に係るコンテンツ表示制御装置では、前記表示制御手段は、前記コンテンツ再生装置が再生した文字列の文字数または単語数に基づいて、前記コンテンツ再生装置が再生したストリームデータを表示する速度を調節してもよい。この場合、ユーザが文章を把握し易くなる。
【００２４】
本発明に係るコンテンツ表示制御装置では、前記コンテンツ再生装置の対応情報は、前記ストリームデータのチャプタ画像と、前記書籍データにおける目次との対応付けをさらに含んでおり、前記表示制御手段は、前記対応情報に基づいて、前記チャプタ画像および前記目次を表示させており、前記チャプタ画像または前記目次の選択操作により、前記コンテンツ再生装置の再生手段は、選択された経過時間を特定し、特定した経過時間から前記ストリームデータおよび前記書籍データを再生してもよい。この場合、目次から所望のコンテンツの再生を開始できるので、ユーザの利便性が向上する。
【００２５】
なお、前記表示制御手段は、前記コンテンツ再生装置が再生したストリームデータおよび書籍データを別々の表示装置に送信して表示させてもよい。この場合、前記表示制御手段は、前記別々の表示装置における表示のタイミングを制御することが好ましい。これにより、別々の表示装置でも、映像および／または音声と書籍とを同期して表示することができる。
【００２６】
なお、上記コンテンツ再生装置の各手段を、制御プログラムによりコンピュータ上で実行させることができる。さらに、上記制御プログラムを、コンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で当該制御プログラムを実行させることができる。
【発明の効果】
【００２７】
以上のように、本発明に係るコンテンツ再生装置は、対応情報に基づいて、再生中のストリームデータの再生の経過時間に対応する文字列インデックスが割り当てられた文字列が再生され、或いは、書籍データから再生される文字列の文字列インデックスに対応する経過時間からストリームデータが再生されるので、文字の大きさや、一頁あたりの表示文字数を変更することにより、書籍の総ページが変化しても、上記再生の経過時間と上記文字列インデックスとの対応関係は変化せず、その結果、映像および／または音声の再生と書籍の再生とを適切に対応させて出力できるという効果を奏する。
【図面の簡単な説明】
【００２８】
【図１】本実施形態に係る通信システムにおける端末の概略構成を示すブロック図である。
【図２】上記通信システムの概略構成を示すブロック図である。
【図３】上記端末におけるディスプレイの表示画面の構成例を示す図である。
【図４】上記端末が取得するコンテンツファイルのフォーマットを示す図である。
【図５】上記コンテンツファイルに含まれるレイアウト情報の一例を表形式で示す図である。
【図６】上記コンテンツファイルに含まれる動画・書籍関連付けテーブルの一例を表形式で示す図である。
【図７】上記端末の表示制御部における処理の流れを示すフローチャートである。
【図８】書籍の表示形態を変更する前後の表示例を示す図である。
【図９】目次のレイアウト情報に基づく表示レイアウトの一例を示す図である。
【図１０】同期モードおよび非同期モードでの上記表示画面の遷移を示す図である。
【図１１】動画のタイムインデックスと書籍のページ番号との対応関係の一例を表形式で示す図である。
【図１２】上記端末のコンテンツ記憶部に記憶された複数のコンテンツファイルからユーザが選択するための選択画面の一例を示す図である。
【図１３】本発明の別の実施形態である端末におけるディスプレイの表示画面の構成例を示す図である。
【図１４】上記端末が取得するコンテンツファイルのフォーマットを示す図である。
【図１５】上記コンテンツファイルに含まれる動画・書籍関連付けテーブルの一例を表形式で示す図である。
【図１６】本発明のさらに別の実施形態である端末におけるディスプレイの表示画面の構成例を示す図である。
【図１７】上記端末が取得するコンテンツファイルのフォーマットを示す図である。
【図１８】上記コンテンツファイルに追加される第２および第３の動画・書籍関連付けテーブルの一例をそれぞれ表形式で示す図である。
【図１９】本発明のさらに別の実施形態である端末におけるディスプレイの表示画面の構成例を示す図である。
【図２０】本発明のさらに別の実施形態である端末システムの概要を示す図である。
【図２１】上記携帯端末の概略構成を示すブロック図である。
【図２２】本発明の他の実施形態である端末システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【００２９】
〔実施の形態１〕
本発明の一実施形態について図１〜図１２を参照して説明する。
【００３０】
図２は、本実施形態に係る通信システムの概略構成を示すブロック図である。図示のように、通信システム１０は、複数の端末１１とサーバ１２とを、通信網１３を介して通信可能に接続した構成である。
【００３１】
端末１１は、通信網１３を介して、サーバ１２と通信を行うものであり、例えば、ＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）などが挙げられる。サーバ１２は、通信網１３を介して端末１１に各種情報を提供するものである。サーバ１２は、通常のコンピュータと同様の構成である。なお、通信網１３としては、移動体通信網、電話回線網、インターネット、ＬＡＮ（Local Area Network）など、公知の通信網を利用することができる。
【００３２】
本実施形態では、端末１１は、ＡＶ（audio-visual）ストリームデータと書籍データとを含むコンテンツファイルを、サーバ１２から通信網１３を介してダウンロードして蓄積する。そして、端末１１は、蓄積されたコンテンツファイルにおけるＡＶストリームデータおよび書籍データを再生して、動画および書籍を表示出力すると共に、音声を出力する。
【００３３】
上記ＡＶストリームデータは、時間軸に従って再生される動画（映像および音声）を含むストリームデータであるが、本発明はこれに限定されず、映像および音声の一方を含むストリームデータであってもよい。また、書籍データは、書籍の文章を構成する複数の文字列データを含んでいる。なお、書籍データは、画像および音声の少なくとも一方のデータ（メディアデータ）をさらに含んでもよい。この場合、書籍の文章と同期して、書籍内の画像および／または音声を再生して出力することも可能である。
【００３４】
図１は、端末１１の概略構成を示すブロック図である。図示のように、端末１１は、ネットワークＩ／Ｆ（インタフェース）２１、コンテンツ記憶部２２、コンテンツ再生部（コンテンツ再生装置、コンテンツ表示制御装置）２３、タッチパネル２４、ディスプレイ（表示装置）２５、およびスピーカ２６を備える構成である。
【００３５】
ネットワークＩ／Ｆ２１は、通信網１３に送信すべきデータを、通信網１３に適した形式に変換して、通信網１３に送信すると共に、通信網１３からのデータを、端末１１内での処理に適した形式に変換して、端末１１内のブロックに送信するものである。具体的には、ネットワークＩ／Ｆ２１では、データの変復調処理などが行われる。なお、ネットワークＩ／Ｆ２１は、ＷｉＦｉ（Wireless Fidelity、登録商標）、３Ｇ（3rd Generation）等の無線通信用でもよいし、イーサネット（登録商標）等の有線通信用でもよい。
【００３６】
コンテンツ記憶部２２は、上記コンテンツファイルを記憶するものである。記憶部２２の例としては、フラッシュメモリ（登録商標）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）、ＨＤＤ（Hard Disk Drive）などが挙げられる。本実施形態では、サーバ１２から通信網１３を介して受信したコンテンツファイルが、ネットワークＩ／Ｆ２１にて適当な形式に変換した後、コンテンツ記憶部２２に記憶される。
【００３７】
コンテンツ再生部２３は、コンテンツ記憶部２２から読み出したコンテンツファイルに含まれるコンテンツ（ＡＶストリームデータおよび書籍データ）を再生するものである。コンテンツ再生部２３は、再生したコンテンツに基づいて、画像データを生成してディスプレイ２５に送信すると共に、音声データを生成してスピーカ２６に送信する。なお、コンテンツ再生部２３の詳細については後述する。
【００３８】
タッチパネル２４は、ディスプレイ２５の表示画面に設けられ、ユーザの指、ペンなどによって指示された上記表示画面上の位置を検出し、検出した位置情報をコンテンツ再生部２３に送信する位置入力装置である。ユーザは、タッチパネル２４を操作することにより、端末１１に対し各種の指示を行うことができる。なお、キーボード、各種機能が割り当てられたボタンスイッチなど、タッチパネル２４以外の入力デバイスを利用することもできる。
【００３９】
ディスプレイ２５は、コンテンツ再生部２３から画像データを受信し、受信した画像データに基づいて画像を表示するものである。具体的には、ディスプレイ２５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）ディスプレイ、ＰＤＰ（Plasma Display Panel）などの表示素子と、受信した画像データに基づいて表示素子を駆動するドライバ回路とを備える構成である。なお、画像には、絵や図形の他、文字も含まれ、また、静止画および動画も含まれる。
【００４０】
スピーカ２６は、コンテンツ再生部２３からの音声データを音波に変換して外部に出力するものである。なお、イヤホン、音声出力用コネクタなど、スピーカ２６以外の音声出力デバイスを利用することもできる。
【００４１】
図３は、本実施形態の端末１１におけるディスプレイ２５の表示画面の構成例を示す図である。図示の例では、表示画面２０１は、上部に動画領域２０２が含まれ、下部に書籍領域２０３が含まれ、かつ、下端に操作パネル領域２０４が含まれている。
【００４２】
動画領域２０２には、上記コンテンツファイルに含まれるＡＶストリームデータに基づき、動画（映像）が表示され、書籍領域２０３には、上記コンテンツファイルに含まれる書籍データに基づき、書籍が表示される。本実施形態では、上記動画の再生に関する最初からの経過時間に同期して、書籍が再生される。従って、動画の経過に同期して書籍の表示を変更することができる。
【００４３】
操作パネル領域２０４には、コンテンツを操作するための各種ボタンと、再生状態とが表示される。図３の例では、再生位置バー２０５、音量バー２０６、対象切替ボタン２０７、同期・非同期切替ボタン２０８、早戻しボタン２０９、停止ボタン２１０、一時停止ボタン２１１、再生ボタン２１２、および早送りボタン２１３が表示されている。
【００４４】
再生位置バー２０５は、動画または書籍の全体に対する相対的な再生位置を示すスライドバーである。表示中の動画の経過時間、または、表示中の書籍のページ番号に同期して、上記スライドバーのスライダが左から右に移動する。また、ユーザが上記スライダを移動させると、移動させた位置に対応する経過時間の動画が表示され、または、上記移動させた位置に対応するページ番号の書籍が表示される。
【００４５】
音量バー２０６は、ＡＶストリームデータに基づき出力される音声の音量を示すスライドバーである。このスライドバーのスライドを上下に移動させることにより、音量が調整される。なお、書籍に音声データが埋め込まれている場合、或いは、端末１１がテキストの読み上げ機能を有する場合には、ＡＶストリームデータに基づく音声と、書籍に基づく音声とを切り替えて音量調整できることが望ましい。
【００４６】
対象切替ボタン２０７は、操作パネル領域２０４における操作の対象を、動画および書籍の一方から他方にトグル方式で切り替えるためのものである。図３の例では、対象切替ボタン２０７には、書籍を模したアイコンが表示されており、書籍が操作の対象であることを示している。
【００４７】
同期・非同期切替ボタン２０８は、同期モードと非同期モードとをトグル方式で切り替えるためのものである。このように、本実施形態では、端末１１は、動画と書籍とを同期して表示させる同期モードと、非同期で表示させる非同期モードとを有している。該非同期モードでは、書籍のページ送り等の操作を、動画の経過時間とは無関係に、ユーザが行うことができる。なお、図３の例では、同期・非同期切替ボタン２０８には、分離を示すアイコンが表示されており、非同期モードであることを示している。
【００４８】
早戻しボタン２０９、停止ボタン２１０、一時停止ボタン２１１、再生ボタン２１２、および早送りボタン２１３は、動画の再生および表示を制御するためのものである。同期モードの場合、これらのボタン２０９〜２１３の操作に基づき、動画の再生および表示が制御されると共に、書籍の再生および表示も制御される。なお、早戻しボタン２０９、早送りボタン２１３などの操作（トリックプレイ操作）がなされると、端末１１は、同期モードから非同期モードに移行して、動画の再生および表示のみが制御されてもよい。
【００４９】
ところで、書籍の表示ページの変更は、対象切替ボタン２０７により操作の対象が書籍に設定されている場合に、再生位置バー２０５のスライダを操作することにより行うことができる。また、表示画面２０１の書籍領域２０３に対応するタッチパネル２４の領域において、ユーザの指を左右方向に滑らすジェスチャ操作を行うことにより、次のページへの送り（捲り）操作、および、前のページへの戻し（捲り）操作を行うことができる。
【００５０】
これらのページの操作については、上記同期モードであっても、操作できることが望ましい。この場合、ユーザは、一時的に先のページを閲覧したり、前のページを見直したりすることができる一方、動画の経過時間に同期したページ切替のタイミングで、同期表示の状態に戻ることになる。なお、上記ジェスチャ操作によるページ操作が行われると、端末１１は、上記同期モードから上記非同期モードに移行して、操作パネル領域２０４の操作対象を書籍に変更してもよい。この場合、同期・非同期切替ボタン２０８を押すことにより、上記非同期モードから上記同期モードに戻ることができる。なお、所定時間、操作が行われなかったときに、上記非同期モードから上記同期モードに戻るとしてもよい。
【００５１】
次に、コンテンツファイルの詳細について説明する。図４は、端末１１が取得するコンテンツファイルのフォーマットを示す図である。コンテンツファイル３０１は、コンテンツを１つのファイル形式で構成したものであり、図示のように、ファイルヘッダ３０２、レイアウト情報３０３、動画・書籍関連付けテーブル３０４、書籍データ３０５、およびＡＶストリームデータ３０８を含んでいる。
【００５２】
ファイルヘッダ３０２は、上記コンテンツファイルのヘッダ情報であり、ファイルの種類を示す識別子、ファイル全体のサイズ、ファイル内に含まれる動画、音声、書籍等のメディアに関する情報、各メディアデータへアクセスするためのファイル先頭からのオフセット値等が含まれている。ところで、著作権の保護のためにファイルの暗号化が行われる場合であっても、ヘッダ情報のみは暗号化を施さないことが考えられる。この場合、ファイルヘッダ３０２には、暗号化方式に関する情報も含まれることが望ましい。
【００５３】
コンテンツファイル３０１に含まれる複数のメディアデータには、それぞれの区別が可能なように、メディア識別子が割り当てられている。図４の例では、書籍データ３０５に「ｂｏｏｋ０１」というメディア識別子が割り当てられ、ＡＶストリームデータ３０８に「ｍｏｖｉｅ０１」というメディア識別子が割り当てられている。これらのメディア識別子は、レイアウト情報３０３および動画・書籍関連づけテーブル３０４にて利用される。
【００５４】
レイアウト情報３０３は、表示画面のレイアウトを示す情報である。図５は、レイアウト情報３０３の一例を表形式で示す図である。図３に示すようなレイアウトのレイアウト情報３０３は、図５の（ａ）に示すような情報となる。
【００５５】
図５の（ａ）に示すように、レイアウト情報３０３には、コンテンツファイル３０１に含まれるメディアごとに、該メディアの種類、およびメディア識別子が含まれている。さらに、レイアウト情報３０３には、上記メディアごとに、該メディアの表示領域の位置および寸法を示すものとして、該表示領域の左上隅のｘ座標およびｙ座標と、幅および高さとが含まれている。なお、上記ｘ座標およびｙ座標は、表示画面２０１の左上隅を原点として、右方向をｘ方向、下方向をｙ方向としたときの座標である。
【００５６】
なお、ピクチャインピクチャ形式で表示する場合など、複数のメディアの表示領域が重なるようなレイアウトも考えられる。そこで、レイアウト情報３０３には、図５の（ｂ）に示すように、重なっている領域において何れのメディアを優先させて表示させるかを示す優先順位が含まれていることが望ましい。図示の例では、数字が大きいほど優先順位が高いとしているので、動画よりも書籍の方が優先順位が高くなる。このため、図示の例では、動画の表示領域内に書籍の表示領域が存在し、該書籍の表示領域に、動画は表示されず、書籍が表示されることになる。
【００５７】
動画・書籍関連付けテーブル３０４は、ＡＶストリームデータ３０８における動画のタイムスタンプと、書籍データ３０５において文字列ごとに割り当てられた文字列インデックスとを関連付けるためのテーブルである。本実施形態では、コンテンツ再生部２３は、動画・書籍関連付けテーブル３０４を参照して、動画と書籍との同期表示を実現させている。
【００５８】
図６は、動画・書籍関連付けテーブル３０４の一例を表形式で示す図である。同図の（ａ）の動画・書籍関連付けテーブル３０４は、メディア識別子が「ｍｏｖｉｅ０１」であるＡＶストリームデータ３０８に基づいて再生される動画と、メディア識別子が「ｂｏｏｋ０１」である書籍データ３０５に基づいて再生される書籍とを関連づけるものである。
【００５９】
図６の（ａ）に示すように、０番〜１３０番のタイムインデックスごとに、上記動画の開始位置および終了位置と、上記書籍の開始位置および終了位置とが関連付けられている。上記動画の開始位置および終了位置は、当該動画の再生のタイミングを示すタイムスタンプで示され、図示の例では、「時間：分：秒」のフォーマットとなっている。
【００６０】
一方、上記書籍の開始位置および終了位置は、上述の文字列インデックスで示されている。文字列インデックスは、書籍を区分けする章、節、および段落と、各段落の単語の順序数とを含むものである。また、図６の（ａ）の例では、上記章、節、および段落のそれぞれが２桁の数字で示され、上記順序数が５桁の数字で示されており、上記章、節、段落、および順序数の間が「．」で区切られたフォーマットとなっている。
【００６１】
なお、文字列インデックスは、章、節、段落等の区切りに関係なく、或る範囲の文字列ごとに割り当てられてもよい。例えば、電子書籍のフォーマットの一つであるＸＭＤＦ（ever-eXtending Mobile Document Format）のように、文字列の範囲をＸＭＬ（Extensible Markup Language）形式のタグで区切り、タグごとに特定の文字列インデックスを割り当てるフォーマットとしてもよい。ＸＭＤＦの場合、例えば以下のように記述される。
<char_id char_id=”CR0001”>今日の天気は晴れでしたが、</char_id>
<char_id char_id=”CR0002”>明日は雨が降るでしょう。</char_id>
この場合、“ＣＲ０００１”および“ＣＲ０００２”が文字列インデックスに相当する。
【００６２】
図６の（ａ）に示す動画・書籍関連付けテーブル３０４では、表示しようとする動画のタイムスタンプを当該動画の開始位置および終了位置の間に含むタイムインデックスを検索し、検索したタイムインデックスに対応する上記書籍の開始位置および終了位置の文章を表示することになる。従って、タイムインデックスが０である場合を例に挙げると、動画の冒頭から３０秒間は、書籍の第１章第１節第１段落における０〜１００番目の単語までが表示されることになる。なお、同図の（ｂ）に示す動画・書籍関連付けテーブル３０４については後述する。
【００６３】
書籍データ３０５は、書籍に関するメディアデータであり、一般的な電子書籍のデータフォーマットで、当該書籍に関する各種情報が含まれている。図４の例では、書籍データ３０５には、ヘッダ３０６と、複数の本体データ３０７とが含まれているが、その他のデータが含まれていてもよい。
【００６４】
ヘッダ３０６には、書籍の構成情報、書籍のレイアウト情報などが含まれている。また、複数の本体データ３０７は、書籍が、ページごと、段落ごと、などで、区分けされたものであり、上記文字列インデックスがそれぞれに割り当てられている。
【００６５】
ＡＶストリームデータ３０８は、映像および音声に関するメディアデータであり、ＭＰＥＧ２（Moving Picture Experts Group phase 2）−ＴＳ（Transport Stream）、ＭＰ４（MPEG-4 Part14）などの公知の動画フォーマットで、当該映像および音声に関する各種情報が含まれている。図４の例では、ＡＶストリームデータ３０８には、ヘッダ３０９と、複数の映像データ３１０と、複数の音声データ３１１とが含まれているが、その他のデータが含まれていてもよい。
【００６６】
ヘッダ３０９には、動画（映像および音声）の構成情報、エンコード形式等の復号に必要な情報、などが含まれている。また、複数の映像データ３１０は、動画が区分けされたものであり、再生のタイミングを示すタイムスタンプがそれぞれに割り当てられている。同様に、複数の音声データ３１１は、音声が区分けされたものであり、上記タイムスタンプがそれぞれに割り当てられている。
【００６７】
次に、コンテンツ再生部２３の詳細について説明する。図１に示すように、コンテンツ再生部２３は、コンテンツ解析部（コンテンツ取得手段、対応情報取得手段）３１、ＡＶ再生部（再生手段）３２、書籍再生部（再生手段）３３、表示制御部（表示制御手段）３４、および音声出力制御部３５を備える構成である。
【００６８】
コンテンツ解析部３１は、コンテンツ記憶部２２から読み出したコンテンツファイル３０１の解析（分析）を行うものである。具体的には、コンテンツ解析部３１は、上記コンテンツファイル３０１のファイルヘッダ３０２などを参照して、コンテンツファイル３０１から、レイアウト情報３０３、動画・書籍関連付けテーブル３０４、書籍データ３０５、ＡＶストリームデータ３０８などの各種情報を抽出する。抽出された情報のうち、レイアウト情報３０３は表示制御部３４に、動画・書籍関連付けテーブル３０４は書籍再生部３３および表示制御部３４に、ＡＶストリームデータ３０８はＡＶ再生部３２に、書籍データ３０５は書籍再生部３３に、それぞれ送信される。
【００６９】
ＡＶ再生部３２は、コンテンツ解析部３１からのＡＶストリームデータ３０８を、表示制御部３４からの指示に基づいて再生するものである。ＡＶ再生部３２は、再生した映像データ３１０を表示制御部３４に送信すると共に、再生した音声データ３１１を音声出力制御部３５に送信する。
【００７０】
書籍再生部３３は、コンテンツ解析部３１からの書籍データ３０５を、表示制御部３４からの指示に基づいて再生するものである。書籍再生部３３は、再生した本体データ３０７を表示制御部３４に送信する。
【００７１】
表示制御部３４は、ディスプレイ２５の表示を制御するものである。本実施形態では、表示制御部３４は、動画の再生指示をユーザからタッチパネル２４を介して取得すると、コンテンツ解析部３１からのレイアウト情報３０３に基づいて、ＡＶストリームデータ３０８を特定する。次に、表示制御部３４は、特定したＡＶストリームデータ３０８を再生するようにＡＶ再生部３２に指示して、再生された映像データとタイムスタンプとをＡＶ再生部３２から順次取得する。
【００７２】
次に、表示制御部３４は、コンテンツ解析部３１からの動画・書籍関連付けテーブル３０４を参照して、受信したタイムスタンプに関連付けられた書籍の文字列インデックスを特定する。次に、表示制御部３４は、特定した文字列インデックスの文章を書籍データ３０５から再生するように書籍再生部３３に指示して、再生された文字列データを書籍再生部３３から取得する。
【００７３】
次に、表示制御部３４は、コンテンツ解析部３１からのレイアウト情報３０３に基づいて、ＡＶ再生部３２からの映像データの映像を動画領域２０２に含み、書籍再生部３３からの文字列データの文章を書籍領域２０３に含み、操作パネル領域２０４に操作パネルを含む表示画像を作成する。そして、表示制御部３４は、作成した表示画像のデータをディスプレイ２５に送信する。これにより、ディスプレイ２５の表示画面２０１に上記表示画像が表示される。
【００７４】
音声出力制御部３５は、ＡＶ再生部３２からの音声データをスピーカ２６に送信するタイミングを制御するものである。なお、音声出力制御部３５は、ＡＶ再生部３２から受信した音声データを直ちにスピーカ２６に送信してもよい。
【００７５】
次に、上記構成の端末１１における処理の流れを説明する。まず、サーバ１２からのコンテンツファイル３０１が通信網１３を介して端末１１にダウンロードされ、端末１１のコンテンツ記憶部２２に記憶されると、コンテンツ解析部３１は、当該コンテンツファイル３０１から、レイアウト情報３０３、動画・書籍関連付けテーブル３０４、書籍データ３０５、ＡＶストリームデータ３０８を抽出する。
【００７６】
なお、コンテンツ解析部３１が処理を開始するタイミングは、上述のような、サーバ１２からコンテンツがダウンロードされた時の他に、ユーザがタッチパネル２４を介して指示した時でもよい。また、コンテンツ記憶部２２に複数のコンテンツファイル３０１が記憶されている場合が考えられる。この場合、コンテンツ解析部３１は、コンテンツファイル３０１のリストをディスプレイ２５に表示させておき、ユーザがタッチパネル２４を介して選択すると、選択されたコンテンツファイル３０１をコンテンツ記憶部２２から読み出して、処理を開始することが望ましい。
【００７７】
次に、ユーザが、図３に示す再生ボタン２１２を押すと、表示制御部３４は、コンテンツ解析部３１が抽出したレイアウト情報３０３（図５）を参照して、表示画面２０１に表示すべき動画のメディア識別子（図５の例では、「ｍｏｖｉｅ０１」）を特定する。次に、表示制御部３４は、特定したメディア識別子のＡＶストリームデータ３０８を再生するように、ＡＶ再生部３２に指示する。
【００７８】
これにより、ＡＶ再生部３２は、表示制御部３４が指示するＡＶストリームデータ３０８の復号処理を開始する。ＡＶストリームデータ３０８は、映像データ３１０と音声データ３１１とに分離され、映像データ３１０は、フレーム単位で表示可能な形式に復号される。復号された映像フレームは、表示のタイミングを示すタイムスタンプと共に、表示制御部３４に送信される。また、復号された音声データは、音声出力制御部３５に送信される。
【００７９】
図７は、表示制御部３４における処理の流れを示すフローチャートである。図示のように、表示制御部３４は、ＡＶ再生部３２からの映像フレームの入力を確認し（Ｓ６０１）、該入力が行われると、取得した映像フレームをディスプレイ２５に転送する（Ｓ６０２）。これと並行して、音声出力制御部３５は、ＡＶ再生部３２からの音声データをスピーカ２６に転送する。これにより、ディスプレイ２５に動画が表示され、スピーカ２６から音声が出力される。上記のＡＶストリームデータ３０８の復号から映像フレームおよび音声データの転送までの一連の処理は、図３に示す停止ボタン２１０をユーザが押すか、或いは、ＡＶストリームデータ３０８の終端に到達するまで、繰返しかつ連続的に実行される。
【００８０】
次に、表示制御部３４は、コンテンツ解析部３１が抽出した動画・書籍関連付けテーブル３０４（図６の（ａ））を参照して、映像フレームのタイムスタンプに対応する書籍データを特定する。具体的には、表示制御部３４は、映像フレームのタイムスタンプに対応する、書籍データの上記文字列インデックスを確認し（Ｓ６０３）、対応する文字列インデックスが存在する場合には、対応する書籍データ３０５のメディア識別子と、該書籍データ３０５の文字列インデックスの範囲とを書籍再生部３３に通知する（Ｓ６０４）。このとき、書籍再生部３３は、通知されたメディア識別子および文字列インデックスに対応する書籍データを再生し、再生された書籍データを表示制御部３４に送信する。
【００８１】
次に、表示制御部３４は、書籍再生部３３からの上記再生された書籍データの入力を確認し（Ｓ６０５）、該入力が行われると、上記レイアウト情報３０３に基づいて、図３に示す書籍領域２０３に上記再生された書籍データを配置して、ディスプレイ２５に転送する（Ｓ６０６）。その後、ステップＳ６０１に戻って上記動作を繰り返す。なお、図３に示す動画領域２０２については、動画を表示するビデオウィンドウに対する透過色が設定されていて、当該動画領域２０２が上書きされないようになっているものとする。
【００８２】
なお、書籍再生部３３は、書籍データと共に所望の表示時刻を示すタイムスタンプを、表示制御部３４に通知してよい。さらに、表示制御部３４は、上記書籍データのタイムスタンプと、映像フレームのタイムスタンプとの同期をとって、ディスプレイ２５に映像データを転送してもよい。
【００８３】
また、書籍データに音声データが含まれる場合、書籍再生部３３は、音声出力制御部３５に上記音声データを転送することが望ましい。この場合、音声出力制御部３５は、ＡＶ再生部３２から転送された音声データと、書籍再生部３３から転送された音声データとを合成して、スピーカ２６に転送することになる。
【００８４】
以上のように、本実施形態の端末１１は、動画および書籍の同期再生中に、書籍の表示形態が変更された場合にも、動画および書籍を適切に同期して再生を継続することができるという効果を奏する。以下、この効果を具体例を挙げて説明する。なお、上述のように、動画のデータは、時間軸に従って再生される映像データおよび音声データの少なくとも一方を含むＡＶストリームデータであり、書籍データは、書籍の文章を構成する複数の文字列データを含んでいる。該文字列データには、書籍を区分けする章、節、および段落と、各段落の単語の順序数に応じた文字列インデックスが割り当てられ、或いは、或る範囲の文字列ごとに割り当てられた文字列インデックスが割り当てられているものとする。
【００８５】
図８の（ａ）は、書籍の表示形態を変更する前の表示例を示す図であり、同図の（ｂ）は、書籍の表示形態を変更した後の表示例を示す図である。同図の（ａ）では、動画領域２０２には、タイムスタンプが「１：１５：２２」である動画のシーンが表示されている。一方、書籍領域２０３には、上記タイムスタンプに関連付けられている文字列インデックスの文章、すなわち第１１章近辺の「それから二人は」で始まる文章が表示されている。このとき、書籍のページ番号は「１１０」となっている。
【００８６】
次に、図８の（ｂ）に示すように、書籍の文字の大きさを拡大すると、書籍のページ番号が再計算されて「２０１」となる。一方、動画領域２０２では、表示の変化がなく、従って、タイムスタンプが「１：１５：２２」である動画のシーンが表示される。このように、本実施形態では、書籍のページ構成が変更されても、動画のシーンは変更されず、該シーンに関連付けられている書籍の文章を表示することができる。
【００８７】
ところで、書籍によっては、動画の内容と特に関連しない情報（非関連情報）、動画と同期して表示する必要のない索引等の情報（同期不要情報）、などが含まれている場合がある。これに対し、本実施形態では、図６の（ａ）に示す動画・書籍関連付けテーブル３０４のように、動画の開始位置および終了位置と書籍の開始位置および終了位置とを関連付けている。これにより、動画と同期して表示する必要のある書籍の文章のみを関連付けているので、上記の場合に対応することができる。
【００８８】
例えば、図６の（ａ）に示す動画・書籍関連付けテーブル３０４において、６３番目および６４番目のタイムインデックスに着目すると、動画（ｍｏｖｉｅ０１）のタイムスタンプは連続している。しかしながら、書籍（ｂｏｏｋ０１）の文字列インデックスは不連続であり、第５章第３節第１段落における１１０番目の単語の次は、１３０番の単語となっている。従って、１１１〜１２９番目の単語は表示されないことになる。
【００８９】
同様に、書籍によっては、動画の再生に同期して、書籍を先頭から順番に表示するのでは無く、順番を入れ替えて表示する必要がある場合も考えられる。このような場合でも、図６の（ａ）に示す動画・書籍関連付けテーブル３０４を用いることにより対応することができる。
【００９０】
例えば、図６の（ａ）に示す動画・書籍関連付けテーブル３０４において、６４番目および６５番目のタイムインデックスに着目すると、動画（ｍｏｖｉｅ０１）のタイムスタンプは連続している。しかしながら、書籍（ｂｏｏｋ０１）の文字列インデックスは不連続であり、第５章第３節第１段落における１５０番目の単語の次は、第１章第２節第１段落における０番目の単語となっている。従って、書籍の前方の文章に戻って表示されることになる。
【００９１】
また、動画と同期して書籍の表示を行わない期間がある場合も考えられる。このような場合でも、その期間のタイムスタンプに対応する、書籍の文字列インデックスを何も割り当てないことで対応することが可能である。
【００９２】
上記のように、動画・書籍関連付けテーブル３０４に従って、タイムインデックスが進むごとに、表示画面２０１上に表示される書籍の文章が切り替わる。各タイムインデックスの文字列インデックスに対応する書籍の文章が書籍領域２０３内に収まる場合には、タイムインデックス単位で切り替わることになる。
【００９３】
しかしながら、ユーザが文字を大きくするように設定を変更した場合等には、上記書籍の文章が書籍領域２０３内に収まらない場合も考えられる。この場合、上記書籍の文章を、複数の文章部分に分割し、上記タイムインデックスのタイムスタンプ内で上記書籍の文章が表示されるように、上記文章部分を切り替えて表示すればよい。なお、上記複数の文章部分は、文字数または単語数が均等であることが望ましい。
【００９４】
書籍データ内に改ページのコードが含まれる場合、基本的には、動画・書籍関連付けテーブル３０４の各タイムインデックスの文字列インデックスに対応する書籍データの末尾に上記改ページのコードが設定されるように、動画のタイムスタンプの開始位置および終了位置が設定されることが望ましい。しかしながら、そのように設定されていない場合も考えられる。このため、書籍再生部３３は、書籍データを表示制御部３４に転送する前に、改ページコードが含まれているかどうかを確認し、含まれている場合は、以下のように１ページあたりの表示時間を設定して転送することが望ましい。
【００９５】
すなわち、或るタイムインデックスに割り当てられた動画の区間の再生途中で改ページが入る場合、１ページあたりの表示時間が均等になるようにページ切り替えを行うものとする。もしくは、１ページあたりの単語数に応じて、表示時間を設定してもよい。該当するタイムインデックスｉの動画の表示時間がＴ（ｉ）秒、該当区間の全単語数がＮ（ｉ）であり、ページ番号ｊの文字数がｎ（ｊ）とすると、ページ番号ｊの表示時間ｔ（ｊ）は、次式で計算される。
【００９６】
ｔ（ｊ）＝Ｔ（ｉ）×ｎ（ｊ）／Ｎ（ｉ）  …  （１）
また、単語数の代わりに、文字数や文章の数が均等になるように、表示時間を設定するものとしてもよい。
【００９７】
以上のように、図６の（ａ）の動画・書籍関連付けテーブル３０４を用いて、動画と書籍との同期表示が行えることを説明したが、書籍データの文字列インデックスは、単語単位以外でもよい。例えば、文字単位、文章単位、段落単位、章／節／セクション単位などでもよい。
【００９８】
また、書籍再生部３３による改ページ位置の決定は、表示制御部３４から、表示する書籍データの文字列インデックスが通知された後で行われるものとしてもよいが、動画再生の開始前に、予め算出しておき、ページ番号での表示指定ができるものとしてもよい。また、動画再生中に、ユーザの操作等により、書籍領域２０３の拡大および縮小の操作が実行された場合には、実行後の表示領域に合わせて、改ページの位置を算出し直すことが望ましい。
【００９９】
上記のように、表示制御部３４から、書籍再生部３３に指定された書籍データが複数のページに分割される場合、書籍再生部３３は、各ページの表示タイミングを示すタイムスタンプと共に、全てのページを一度に表示制御部３４に送信してもよいし、ページごとに表示するタイミングで送信してもよい。ページごとに送信する場合には、図７に示すＳ６０２〜Ｓ６０４の処理と、Ｓ６０５〜Ｓ６０６の処理とは、非同期に実行されるものとし、映像フレームの転送処理が、書籍のデータ入力待ちでブロックされないように考慮することが望ましい。
【０１００】
また、動画の開始位置および終了位置については、タイムスタンプの範囲で指定する代わりに、チャプタ単位で指定してもよい。チャプタ単位で指定する場合、図４のＡＶストリームデータ３０８中、もしくは、ＡＶストリームデータ３０８とは別のメタデータとして、チャプタとタイムスタンプとの対応情報が含まれ、ＡＶ再生部３２および表示制御部３４は、該対応情報を利用して、チャプタをタイムスタンプに変換して、表示時間の制御を行えばよい。
【０１０１】
また、書籍に、写真、図等の画像が挿入されている場合、図３の書籍領域２０３に、テキスト情報と併せて画像情報を表示することが望ましい。この場合、書籍の画像情報についても、テキスト情報と同様に、動画に同期して表示を行うことが望ましい。
【０１０２】
図６の（ｂ）は、書籍に画像を含む場合の動画・書籍関連付けテーブル３０４の一例を表形式で示している。図示のように、動画・書籍関連付けテーブル３０４には、タイムインデックスごとに、表示する画像データの識別子（ｉｍａｇｅ００１、ｉｍａｇｅ００２など）が指定されている。書籍再生部３３は、各ページに表示する画像の識別子を、テキスト情報と共に、表示制御部３４に通知する。
【０１０３】
なお、画像データの表示位置について、予めコンテンツ中に座標情報が含まれていて、画像ごとに指定位置に表示されるものとしてもよいし、固定の位置に、拡大・縮小処理を施して表示されるものとしてもよい。また、複数の画像が指定されており、書籍領域２０３内に収まらない場合は、複数のページに分割して表示するようにしてもよい。その場合、上述のように、ページごとの表示時間が調整されるものとする。
【０１０４】
また、図６の（ｂ）に示す動画・書籍関連付けテーブル３０４のように、タイムインデックスに関連付けて画像データを指定する代わりに、書籍データの文字列インデックスとの関連付け情報を別途用意しておくものとし、書籍再生部３３が書籍データの文字列インデックスを基に画像データを参照して、間接的に表示タイミングを制御するものとしてもよい。
【０１０５】
また、端末１１は、動画のみを全画面で表示する機能と、書籍のみを全画面で表示する機能を有してもよい。この場合、書籍中の画像については、書籍を全画面表示する場合には表示し、動画と同期表示する場合には表示しないようにしてもよい。また、画像ごとに、動画と同期表示するか否かを指定するためのフラグ情報が、コンテンツファイル３０１中に含まれており、その情報に従って、表示制御部３４が表示の切り替えを制御するものとしてもよい。例えば、書籍中に挿入されている静止画が動画に含まれる１カットの静止画であり、動画と同時に表示することにさほど意味が無い場合等には、当該静止画を同期表示させないように設定することができる。
【０１０６】
また、書籍に含まれる画像としては、静止画の他に、動画が考えられる。この場合、動画領域２０２と書籍領域２０３との両方で、それぞれ異なる動画が再生表示されることになる。
【０１０７】
また、書籍の目次ページについては、動画の特定のシーンに同期して表示されるものでは無いが、コンテンツの選択時に、まず目次ページを表示し、目次を選択することにより、各目次に対応する動画のチャプタから再生を開始するものとしてもよい。この場合、目次に対応する書籍の章・節等の位置と、動画のチャプタとを関連付けるテーブルがコンテンツファイル３０１中に含まれていればよい。このとき、目次に対応する書籍の位置は、図６に示す書籍の文字列インデックスで指定され、動画のチャプタは、同じく図６に示す動画のタイムスタンプで指定されればよい。前述の書籍の指定位置から、動画の再生を開始する手法と同様の手法により、目次に対応した書籍の位置から、動画と書籍の同期再生を開始することができる。
【０１０８】
また、目次のレイアウト情報がコンテンツファイル３０１に別途含まれていてもよい。図９は、上記目次のレイアウト情報に基づく表示レイアウトの一例を示す図である。図示の例では、目次と動画のチャプタの代表画像とを並べて表示するように配置されている。具体的には、表示画面２０１の左側に書籍領域２０３が配置され、右側に動画領域２０２が配置され、書籍領域２０３には目次が表示され、動画領域２０２には、動画のチャプタの代表画像が表示されている。表示制御部３４は、上記目次のレイアウト情報に基づいて、図９に示すような表示画像を表示画面２０１に表示させる。
【０１０９】
また、目次のタイトル文を選択した場合は、書籍の該当ページを全画面表示し、チャプタの代表画像を選択した場合は、該当チャプタの先頭から動画を全画面で再生するものとしてもよい。なお、チャプタ画像については、予め、コンテンツファイル３０１中に、チャプタと関連付けるためのインデックス情報と共に含まれていればよい。
【０１１０】
以上の説明では、図４に示すフォーマットに従ってＡＶストリームデータおよび書籍データを含むコンテンツファイル３０１をダウンロードしている。しかしながら、コンテンツファイル３０１は、データ本体を含む代わりに、通信網１３を介してサーバからデータ本体を取得するためのＵＲＬ（Uniform Resource Locator）を含んでいてもよい。この場合、コンテンツファイル３０１に含まれる全ての情報がＵＲＬであってもよいし、一部の情報がＵＲＬであってもよい。また、ＡＶストリームデータ３０８および書籍データ３０５については、全体をダウンロードして、コンテンツ記憶部２２に一旦保存する代わりに、ストリーミング形式でサーバ１２からデータを逐次取得しながら再生するものとしてもよい。
【０１１１】
また、本実施形態の端末１１は、前述のように書籍領域２０３および操作パネル領域２０４を操作することにより、表示されるページと同期して、動画の再生位置を変更することができる。ユーザの操作により、書籍再生部３３に対して、次ページの表示、前ページの表示、特定ページ番号のページ表示等の命令が入力されると、該当ページに対応する書籍データの文字列インデックスが、１ページあたりの表示文字数や、書籍領域２０３のレイアウト情報３０３等に基づいて算出される。書籍再生部３３は、図６の動画・書籍関連付けテーブル３０４を参照し、算出された書籍データの文字列インデックスに対応する、動画のタイムスタンプを求めて、表示制御部３４に対して、表示対象の書籍データと共に、タイムスタンプを通知する。表示制御部３４は、ＡＶ再生部３２に対して、通知されたタイプスタンプを再生開始位置とする再生命令を発行する。
【０１１２】
指定される動画のタイムスタンプとしては、図６の例では、メディア識別子が「ｍｏｖｉｅ０１」の動画の開始位置に指定されている値が想定される。しかしながら、前述のように１つのタイムインデックスあたり複数のページで構成されている場合には、ページごとのオフセット値を開始位置に加算した値を指定するものとしてもよい。例えば、３０秒間の動画に、３ページ分が割り当てられていて、１ページあたりの表示時間が均等になるように設定するのであれば、２ページ目に対しては、テーブルの開始位置に１０秒を加算した値を、開始位置として指定することになる。
【０１１３】
次に、非同期モードでの表示について、同期モードでの表示と比較して説明する。図１０は、同期モードおよび非同期モードでの表示画面２０１の遷移を示す図である。同期再生時には、同図の（ａ）のように、映像フレーム中のタイムスタンプと、書籍のページ番号が対応付けられている。これに対し、同図の（ｂ）では、映像フレームのタイムスタンプが「１：１５：１９」である時点に、手動によるページ送り操作が開始されている。そして、１０１ページと１０２ページとを、タイムスタンプが「１：１５：２１」である時点まで閲覧した後、同期再生に戻している。このように、同図の（ｂ）の場合、動画の再生は同図の（ａ）と同様に進行するが、書籍は先のページを閲覧することができる。
【０１１４】
書籍のページ送り操作の時に、動画の同期表示を行わないようにすることは、例えば、書籍再生部３３から、書籍データの文字列インデックスに対応する、動画のタイムスタンプを、表示制御部３４に通知しないことで実現できる。手動によるページ送り操作が実行された後、書籍再生部３３に対して、同期再生に戻す命令が入力されたり、書籍の操作指示命令が所定時間入力されなかったりする場合には、非同期表示の状態を解除して、タイムスタンプの通知を再開することにより、同期表示状態に戻すことも可能である。
【０１１５】
また、図１０の（ｃ）は、同期再生を解除して、動画のトリックプレイ操作を行った場合の画面遷移の例を示している。図示の例では、映像フレームのタイムスタンプが「１：１５：１９」である時に、３倍速の早送り操作を開始すると、１秒後に３秒先の「１：１５：２２」のタイムスタンプの映像フレームが表示され、２秒後に６秒先の「１：１５：２５」のタイムスタンプの映像フレームが表示される。その後、同期再生に戻すと、同図の（ａ）と同様に通常速度で再生した場合の「１：１５：２２」のタイムスタンプの映像フレームが表示される。このように、一時的に同期再生を解除することで、書籍の表示ページを維持したままで、先のシーンを視聴したり、前の映像に戻して視聴したりすることができる。
【０１１６】
動画のトリックプレイ再生時に、書籍の同期表示を行わないようにすることは、例えば、表示制御部３４から書籍再生部３３に対して、書籍データの文字列インデックスの通知を行わないことで実現できる。
【０１１７】
図１１は、或るコンテンツファイル３０１中の動画・書籍関連付けテーブル３０４に基づき、動画のタイムインデックスに書籍データを割り当て場合において、動画のタイムインデックスと書籍のページ番号との対応関係の一例を表形式で示す図である。前述したように、本実施形態の端末１１は、動画と書籍との同期再生中に、図３の同期・非同期切替ボタン２０８を操作して非同期のモードに切り替えて、ページ送りの操作をするか、もしくは、ページ送りの操作を開始してから所定の期間は、動画再生と同期せずに、先のページを閲覧したり、前のページに戻して閲覧することが可能なものとしている。
【０１１８】
従って、図１１の例において、同期再生中で、タイムインデックスが２である時、表示されているページ番号は４である。このとき非同期モードに切り替えて、手動で２ページ分先に進めたとすると、表示されるページ番号は５となる。この間、動画は通常速度で再生が継続されているものとする。動画の再生が、タイムインデックスが３の範囲まで進んだ際に、同期・非同期切替ボタン２０８を操作して、同期モードに戻したとすると、表示される書籍のページは切り替えられて、ページ番号が２のページが表示されることになる。なお、ページ送り操作後、所定時間操作が無かった場合に、自動的に同期モードに戻す場合、操作後すぐにページが切替られてしまうことが無いように、操作が無いと判定する時間長は、１ページを閲覧するのに十分な時間長に設定することが望ましい。
【０１１９】
また、非同期モード中に書籍のページ送り操作をした後、同期モードに戻した場合、動画の再生位置に書籍のページを合わせるのではなく、表示中の書籍のページに動画の再生位置をスキップして再生を再開できるようにしてもよい。この機能をユーザが指示するには、当該機能を割り当てたボタンを予め用意するか、書籍を手動でページ送りした後、ページの上で連続タップ操作する等の操作に当該機能を割り当てればよい。図１１で、タイムインデックスが２の時に、手動で２ページ分進めて、ページ番号５のページが表示されており、動画はタイムインデックが３の範囲を再生している状態で、上記操作を行うと、動画はタイムインデックスが４の位置にスキップされることになる。
【０１２０】
以上の例では、動画・書籍関連付けテーブル３０４で、タイムインデックスに従って割当てられたページの順番に、手動によるページ送り時においても表示されるものとしたが、書籍本来のページ順に表示されるものとしてもよい。図１１の例の場合、タイムインデックスが２の時点で、次のページに進めると、表示されるページ番号は４の次である５となる。書籍本来のページ順に従って表示するモードと、同期表示モードで割り当てられている順番に表示するモードとが切り替えられるようにしてもよい。例えば、図３の対象切替ボタン２０７が、書籍の操作モードになっている場合、書籍本来のページ順に従って表示されるものとし、動画の操作モードになっている場合、同期表示モードで割り当てられている順番に表示されるものとしてもよい。
【０１２１】
また、予め表示を許可された範囲外の書籍データは表示できないようにしてもよい。例えば、書籍に動画のストーリに関する情報が含まれているような場合、ユーザが不用意に結末を知ってしまう状況を回避することができる。これは、表示制御部３４が、ユーザからのページ送り要求を受け付けたときに、図６の動画・書籍関連付けテーブル３０４で、各タイムインデックスに割り当てられた書籍データの範囲を超えるような書籍データの取得要求を書籍再生部３３に発行しないようにすることで実現できる。もしくは、次のタイムインデックスの範囲までは許可する等、表示できる範囲を、予め設定しておくことで、対応することも可能である。
【０１２２】
逆に、書籍の特定のページを表示している場合、動画の再生可能な範囲を限定するようにしてもよい。これは、書籍データの文字列インデックスに割り当てられた動画のタイムスタンプを超える範囲は再生されないような制御を行うことで実現することができる。
【０１２３】
また、書籍の内容に対応するナレーション音声が、動画に含まれている場合等のように、書籍の表示と音声出力とが常に同期動作することが望ましい場合がある。この場合、動画の早送り操作を行うと、映像は早送りで再生される一方、音声は通常の速度で再生されるものとしてもよい。この場合、ＡＶ再生部３２は、表示制御部３４に対する映像フレームデータの出力タイミングと、音声出力制御部３５に対する音声データの出力タイミングを独立して制御できるにすればよい。
【０１２４】
また、通常再生時は、動画のみが表示画面２０１に表示されていて、表示画面２０１をタッチする等のユーザ操作によって、書籍も同時に表示されるものとしてもよい。また、書籍表示時は、書籍を読みながら動画を確認することを考慮して、動画をスロー再生するようにしてもよい。さらに、書籍の表示ページごとの文字数を考慮し、文字数に応じてスロー再生の速度を調節するものとしてもよい。
【０１２５】
例えば、１分あたりに読むことが可能な文字数をｘとし、図６の動画・書籍関連付けテーブル３０４のタイムインデックスｉの表示時間がＴ（ｉ）秒で、割り当てられているページの文字数がｙ（ｉ）とすると、タイムインデックスｉの再生速度の倍率は次式で決定される。
【０１２６】
Ｔ（ｉ）／（（ｙ（ｉ）／ｘ）×６０）  …  （２）
例えば、Ｔ（ｉ）が６０秒、ｙ（ｉ）が４００文字、ｘが２００文字の場合の倍率は、０．５となる。なお、文字数の代わりに単語数に応じて制御するものとしてもよい。
【０１２７】
以上、本実施形態における動画と書籍との同期方法について説明したが、動画の表示が無く、書籍および音声のみを同期して視聴する端末１１についても、同様の構成で実現することができる。その場合、ＡＶ再生部３２と表示制御部３４とが、上記の映像に関する制御と同様の仕組みで、音声のタイムスタンプを用いた制御を行うことになる。
【０１２８】
図１２は、コンテンツ記憶部２２に記憶された複数のコンテンツファイル３０１からユーザがコンテンツファイル３０１を選択するための選択画面の一例を示す図である。図示の例では、全部で９個のコンテンツファイル３０１がコンテンツ記憶部２２に記憶されており、これらのコンテンツファイル３０１のリストが表示されている。ユーザが、所望のコンテンツファイル３０１を選択すると、同図の（ａ）のように、選択されたコンテンツファイル３０１がハイライト表示（図示の例では反転表示）される。
【０１２９】
また、図１２の例では、コンテンツファイル３０１は９個作成されているが、コンテンツファイル３０１に含まれる動画（ムービー）は、「もしトラ劇場版」、「もしトラＴＶ版」、および「もしトラ特典映像」の３種類である。また、コンテンツファイル３０１に含まれる書籍（ブック）は、「原作」、「シナリオ」、および「解説」の３種類である。前述の動画および書籍のメディア識別子は、同一の動画および書籍に関しては、共通の値が設定されているものとすると、同図の（ａ）のリスト表示を、メディア識別子ごとにソートすることにより、同図の（ｂ）のように、動画ごとにまとめて表示したり、同図の（ｃ）のように、書籍ごとにまとめて表示したりすることができる。
【０１３０】
図１２の（ｂ）の場合には、動画の種類を確認し、ブックのカラムから同期再生する書籍を選択することができる。また、同図の（ｃ）の場合には、書籍の種類を確認し、ムービーのカラムから同期再生する動画を選択することができる。従って、ユーザは、動画に主眼を置くか、書籍に主眼を置くかで、表示形式を最適に切り替えることができ、コンテンツの選択が容易となる。
【０１３１】
なお、コンテンツを特定するための手段としては、前述のメディア識別子とは別に、配信システム上で動画および書籍コンテンツを一意に特定できるコンテンツＩＤで各コンテンツを管理してもよい。或いは、コンテンツファイル３０１中に、動画および書籍それぞれのコンテンツＩＤが記録されており、コンテンツ再生部２３は、コンテンツＩＤを参照することで、同一のコンテンツが含まれているかどうかを判定できるものとしてもよい。
【０１３２】
また、表示画面２０１上で、表示する動画および書籍を切り替えられるものとしてもよい。この場合、図３の表示画面２０１に対し、表示する書籍を切り替えるためのタブと、表示する動画を切り替えるためのタブとを設置すればよい。端末１１は、選択されているタブに対応した、動画および書籍に対応するメディア識別子もしくはコンテンツＩＤを参照し、両者が含まれているコンテンツファイル３０１を一意に特定して、再生対象のコンテンツファイル３０１を切り替えればよい。
【０１３３】
〔実施の形態２〕
次に、本発明の別の実施形態について、図１３〜図１５を参照して説明する。図１〜図１２に示す端末１１では、１組の動画および書籍を同期して表示させているが、本実施形態の端末１１では、１つの動画に対して複数の書籍を関連付けて表示させている。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１３４】
図１３は、本実施形態の端末１１におけるディスプレイ２５の表示画面の構成例を示す図である。図示の表示画面２０１は、図３に示す表示画面２０１に比べて、表示する書籍を切り替えるためのタブ２１４が追加されている点が異なり、その他の構成は同様である。図１３の例では、「原作」、「シナリオ」、および「解説」の３つの書籍から１つを選択して表示できることを示している。
【０１３５】
図１４は、本実施形態の端末１１が取得するコンテンツファイル３０１のフォーマットを示す図である。同図のフォーマットは、図４に示すフォーマットに比べて、メディア識別子が「ｂｏｏｋ１１」である第２の書籍データ３１２と、メディア識別子が「ｂｏｏｋ２１」である第３の書籍データ３１３とが追加されている点が異なり、その他の構成は同様である。
【０１３６】
図１５は、上記コンテンツファイル３０１に含まれる動画・書籍関連付けテーブル３０４の一例を表形式で示す図である。同図の動画・書籍関連付けテーブル３０４は、図６に示す動画・書籍関連付けテーブル３０４に比べて、動画「ｍｏｖｉｅ０１」と、書籍「ｂｏｏｋ１１」および書籍「ｂｏｏｋ２１」のと対応情報が追加されている点が異なり、その他の構成は同様である。図６の場合と同様に、各タイムインデックスに対して、表示対象の書籍の範囲が、書籍データの文字列インデックスによって設定されている。
【０１３７】
タブ２１４を利用してユーザが表示対象の書籍を選択すると、図１の表示制御部３４に、選択された書籍のメディア識別子が通知される。図１４の例では、「ｂｏｏｋ０１」、「ｂｏｏｋ１１」、および「ｂｏｏｋ２１」の何れかが通知される。以降、上記実施形態と同様の方法で、動画のメディア識別子「ｍｏｖｉｅ０１」と、選択された書籍のメディア識別子とを利用し、図１５の（ａ）のテーブルを参照して、動画と書籍との同期表示の制御を行うことができる。
【０１３８】
なお、ユーザ操作によって表示する書籍を切り替える代わりに、動画の再生時刻の時間帯に応じて、表示する書籍を自動的に選択するものとしてもよい。その場合、図１５の（ｂ）に示すような動画・書籍関連付けテーブル３０４を用いることで実現することができる。図示の例では、タイムインデックスが０である場合に着目すると、メディア識別子が「ｂｏｏｋ０２」、「ｂｏｏｋ１２」、および「ｂｏｏｋ２２」の３つの書籍データのうち、「ｂｏｏｋ０２」のみに、文字列インデックスの対応付けが行われている。
【０１３９】
このように、表示したい書籍データにのみ対応付けを行えばよい。オーサリングの都合や、複数の書籍データを同じ領域に重ねて表示する場合等、書籍データが重なって表示される可能性がある場合は、表示の優先順位を設定できるものとしてもよい。図１５の（ｂ）に示す動画・書籍関連付けテーブル３０４では、文字列インデックスに追加して、優先順位を設定している。タイムインデックスが６５の場合に着目すると、「ｂｏｏｋ０２」の優先順が２に、「ｂｏｏｋ１２」の優先順が１にそれぞれ設定されているので、「ｂｏｏｋ０２」の方が上に表示されることになる。なお、表示を行わず、文字列インデックスが設定されていない場合の優先順位は０と設定するものとしている。
【０１４０】
〔実施の形態３〕
次に、本発明のさらに別の実施形態について、図１６〜図１８を参照して説明する。図１〜図１２に示す端末１１では、１組の動画および書籍を同期して表示させているが、本実施形態の端末１１では、１つの書籍に対して複数の動画を関連付けて表示させている。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１４１】
図１６は、本実施形態の端末１１におけるディスプレイ２５の表示画面の構成例を示す図である。図示の表示画面２０１は、図２に示す表示画面２０１に比べて、表示する動画を切り替えるためのタブ２１５が追加されている点が異なり、その他の構成は同様である。図１６の例では、「劇場版」、「ＴＶ版」、および「特典映像」の３つの動画から１つを選択して表示できることを示している。
【０１４２】
図１７は、本実施形態の端末１１が取得するコンテンツファイル３０１のフォーマットを示す図である。同図のフォーマットは、図４に示すフォーマットに比べて、ＡＶストリームデータおよび動画・書籍関連付けテーブルが追加されている点が異なり、その他の構成は同様である。
【０１４３】
具体的には、本実施形態のコンテンツファイル３０１には、メディア識別子が「ｍｏｖｉｅ１１」である第２のＡＶストリームデータ３１６と、メディア識別子が「ｍｏｖｉｅ２１」である第３のＡＶストリームデータ３１７とが追加されている。また、第２のＡＶストリームデータ３１６に関する第２の動画・書籍関連付けテーブル３１４と、第３のＡＶストリームデータ３１７に関する第３の動画・書籍関連付けテーブル３１５とが追加されている点とが追加されている。
【０１４４】
図１８の（ａ）および（ｂ）は、上記コンテンツファイル３０１に追加される第２および第３の動画・書籍関連付けテーブル３１４・３１５の一例をそれぞれ表形式で示す図である。同図の（ａ）に示す第２の動画・書籍関連付けテーブル３１４では、メディア識別子が「ｍｏｖｉｅ１１」の動画と、メディア識別子が「ｂｏｏｋ０１」の書籍との対応情報が設定されている。また、同図の（ｂ）に示す第３の動画・書籍関連付けテーブル３１５では、メディア識別子が「ｍｏｖｉｅ２１」の動画と、メディア識別子が「ｂｏｏｋ０１」の書籍との対応情報が設定されている。
【０１４５】
なお、本実施形態の場合、ＡＶストリームデータごとに、書籍データとの対応テーブル３０４・３１４・３１５を用意しているが、動画コンテンツの時間長に依存せず、タイムインデックスの数を揃えることにより、１つの対応テーブルに複数の動画と１つの書籍の対応を含む構成とすることもできる。
【０１４６】
タブ２１５を利用してユーザが表示対象の動画を選択すると、図１の表示制御部３４に、選択された動画のメディア識別子が通知される。図１７の例では、「ｍｏｖｉｅ０１」、「ｍｏｖｉｅ１１」、および「ｍｏｖｉｅ２１」の何れかが通知される。以降、上記実施形態と同様の方法で、選択された動画のメディア識別子と、書籍のメディア識別子「ｂｏｏｋ０１」とを利用し、図１３の（ａ）、図１８の（ａ）、および図１８の（ｂ）の何れかの動画・書籍関連付けテーブルを参照して、動画と書籍との同期表示の制御を行うことができる。
【０１４７】
〔実施の形態４〕
次に、本発明のさらに別の実施形態について、図１９を参照して説明する。本実施形態の端末１１は、図１３〜図１５に示す端末１１と、図１６〜図１８に示す端末１１とを組み合わせた構成である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１４８】
図１９は、本実施形態の端末１１におけるディスプレイ２５の表示画面の構成例を示す図である。図示の表示画面２０１は、図３に示す表示画面２０１に比べて、表示する書籍を切り替えるためのタブ２１４と、表示する動画を切り替えるためのタブ２１５とが追加されている点が異なり、その他の構成は同様である。図１９の例では、「原作」、「シナリオ」、および「解説」の３つの書籍から１つを選択して表示できると共に、「劇場版」、「ＴＶ版」、および「特典映像」の３つの動画から１つを選択して表示できることを示している。
【０１４９】
本実施形態におけるコンテンツファイル３０１のフォーマットは、図１４に示すフォーマットと図１５に示すフォーマットとを組み合わせた構成となる。すなわち、動画ごとに、動画・書籍関連付けテーブルが含まれており、複数の書籍データと、複数のＡＶストリームデータが含まれている構成となる。図１９の例では、いずれの動画コンテンツも、「原作」、「シナリオ」、「解説」の３種類の書籍に関連付けられていることを想定しているが、動画コンテンツごとに、異なる書籍と関連付けられているものとしてもよい。その場合、動画コンテンツを切り替えると、連動して、タブ２１４の書籍のタイトル名も切り替わることになる。
【０１５０】
〔実施の形態５〕
次に、本発明のさらに別の実施形態について、図２０・図２１を参照して説明する。本実施形態では、書籍の表示と動画の表示とを、それぞれ別々の機器で行い、両者を連携して動作させている。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１５１】
図２０は、本実施形態の端末システム４０の概要を示す図である。図示のように、端末システム４０は、書籍の表示を行う携帯端末４１と、動画の表示を行うテレビジョン受像機（以下「ＴＶ」と称する。）４２とを備える構成である。
【０１５２】
携帯端末４１は、図１に示す端末１１と同様の機能を有し、さらに、ＡＶストリームデータ８０３（映像フレームおよび音声データを含む動画データ）をＴＶ４２に転送する機能を有する。携帯端末４１とＴＶ４２との間の通信は、コンポジットケーブル接続、ＨＤＭＩケーブル接続等を用いた有線通信でもよいし、ＷｉｒｅｌｅｓｓＨＤ等の無線通信でもよい。
【０１５３】
図２１は、携帯端末４１の概略構成を示すブロック図である。図示のように、本実施形態の携帯端末４１は、図１に示す端末に比べて、表示制御部３４からの映像フレームを外部に出力する映像出力部４３と、表示制御部３４からの音声データを外部に出力する音声出力部４４とが追加されている点が異なり、その他の構成は同様である。なお、ＨＤＭＩ等を利用する場合、映像信号と音声信号が合成されて外部に出力されることになる。
【０１５４】
なお、本実施形態では、書籍の表示を携帯端末４１で行い、動画の表示をＴＶ４２で行う構成としているが、動画の表示を携帯端末４１で行い、書籍の表示をＴＶ４２で行う構成としてもよい。
【０１５５】
〔実施の形態６〕
次に、本発明の他の実施形態について、図２２を参照して説明する。図２０・図２１に示す端末システム４０では、ＡＶストリームデータの復号処理および再生制御は、携帯端末４１が行い、復号された映像および音声信号を、外部のＴＶ（外部表示用機器）４２に出力する構成である。これに対し、本実施形態の端末システム４０では、ＡＶストリームデータの復号処理および再生制御を、外部のＴＶ４２が行う構成である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【０１５６】
図２０の端末システム４０において、ＡＶストリームデータ８０３は、携帯端末４１の内蔵メモリに記憶されている、ＭＰ４等の圧縮映像データである。そして、映像の再生制御は、制御信号８０４により、携帯端末４１からＴＶ４２に対して行われる。
【０１５７】
図２２は、本実施形態の端末システム４０の概略構成を示すブロック図である。図示のように、端末システム４０は、携帯端末４１とＴＶ４２とが通信可能に接続された構成である。携帯端末４１は、図１に示す端末１１に比べて、外部の機器を制御する外部機器制御部４５が追加されている点が異なり、その他の構成は同様である。
【０１５８】
図２２に示すように、ＴＶ４２は、ネットワークＩ／Ｆ５１、コンテンツ再生部５３、ディスプレイ５５、スピーカ５６、コンテンツ解析部６１、ＡＶ再生部６２、表示制御部６４、音声出力制御部６５、および外部機器制御部６６を備える構成であり、それぞれ、携帯端末４１のネットワークＩ／Ｆ２１、コンテンツ再生部２３、ディスプレイ２５、スピーカ２６、コンテンツ解析部３１、ＡＶ再生部３２、表示制御部３４、音声出力制御部３５、および外部機器制御部４５と同様の機能を有している。
【０１５９】
次に、上記構成の端末システム４０において、ユーザ操作により、コンテンツの再生開始命令が発せられると、表示制御部３４は、外部機器制御部４５に対して再生開始指示を行う。外部機器制御部４５は、ネットワークＩ／Ｆ２１を介して、ＴＶ４２に対して、再生開始コマンドを通知する。なお、再生開始コマンド等、携帯端末４１とＴＶ４２との間の機器制御用のプロトコルについては、ＤＬＮＡ等のネットワーク経由でＡＶ機器を制御するためのプロトコルを用いるものとする。
【０１６０】
ＴＶ４２では、再生開始コマンドをネットワークＩ／Ｆ５１で受信して、外部機器制御部６６に転送する。外部機器制御部６６は、受信したデータが、再生開始コマンドであることを判断し、表示制御部６４に転送する。再生開始コマンドには、動画コンテンツをネットワーク経由で取得するためのコンテンツのＵＲＬが含まれているものとする。表示制御部６４は、コンテンツのＵＲＬを抽出して、外部機器制御部６６に通知する。外部機器制御部６６は、通知されたＵＲＬがＨＴＴＰ等のデータ取得プロトコルであり、取得先のサーバが携帯端末４１であることを解析して、ネットワークＩ／Ｆ５１を介して、携帯端末４１に対して、ＵＲＬで指定されているプロトコルを用いて、ＡＶストリームデータの取得を要求する。
【０１６１】
コンテンツデータは、上記実施形態と同様に、コンテンツ記憶部２２に記憶されており、コンテンツ解析部３１によって、ＡＶストリームデータと書籍データの分離等の解析処理が行われるものとする。ＡＶストリームデータの取得要求は、ネットワークＩ／Ｆ２１を介して、外部機器制御部４５で受信される。外部機器制御部４５は、取得要求のＵＲＬで指定されているＡＶストリームデータを、コンテンツ記憶部２２から順次読み出して、ＴＶ４２に伝送する。なお、ＨＴＴＰで伝送する場合は、外部機器制御部４５がＨＴＴＰサーバ機能を有するものとする。
【０１６２】
ＴＶ４２は、ＡＶストリームデータを受信し、コンテンツ解析部６１で受信したデータのヘッダ情報等の解析を行い、動画コンテンツの時間長や、画像の大きさ等、再生や表示に必要な情報を抽出する。ＡＶストリームデータは、ＡＶ再生部６２に逐次転送されて、復号処理が行われる。復号後の映像フレームは、表示のタイミングを示すタイムスタンプの情報と共に、表示制御部６４に転送される。表示制御部６４は、ディスプレイ５５の解像度等に依存して、予め決められた位置等に映像フレームを配置して、ディスプレイ５５に転送する。一方、復号された音声データは、出力のタイミングを示すタイムスタンプの情報と共に、音声出力制御部６５に転送される。音声出力制御部６５は、音声データに対して、ユーザ設定による音質の加工処理等を施した後、スピーカ５６にデータを転送する。
【０１６３】
表示制御部６４は、映像フレームの表示処理と同期して、表示のタイムスタンプの情報を、ネットワークＩ／Ｆ５１を介して、携帯端末４１に転送する。携帯端末４１の外部機器制御部４５は、受信したタイムスタンプを、表示制御部３４に通知する。以降、表示制御部３４は、上記実施形態で説明した方法と同様の方法で、映像フレームのタイムスタンプに対応した、書籍データの表示制御を行うことにより、外部表示機器で表示されている映像と関連付けられた書籍データがコンテンツ再生装置のディスプレイで表示される。
【０１６４】
携帯端末４１のユーザインタフェース（タッチパネル２４）で、書籍の表示制御を行うことにより、上記実施形態と同様の方法により、表示制御部３４は、図６の動画・書籍関連付けテーブル３０４を参照して、書籍データに対応する動画のタイムスタンプを求める。動画のタイムスタンプは、再生制御コマンドと共に、ネットワークＩ／Ｆ２１を介して、ＴＶ４２に通知される。制御プロトコルとしては、前述したようにＤＬＮＡ等のＡＶ機器の制御用プロトコルを用いるものとする。ＴＶ４２の表示制御部６４は、受信した制御コマンドに従って、ＡＶ再生部６２を制御することにより、携帯端末４１で表示されている書籍データに対応した、動画の再生が実行される。
【０１６５】
なお、図２２の携帯端末４１は、図１に示す端末１１の機能を全て含んでいるため、ＴＶ４２での映像の再生と同時に、携帯端末４１のディスプレイ２５で、映像と書籍との同期再生を行うことも可能である。また、映像の表示は行わず、書籍の表示のみ行う場合は、ＡＶ再生部３２の機能や、表示制御部３４による映像と書籍との合成機能を省略する構成としてもよい。また、動画の表示を携帯端末４１で行い、書籍の表示をＴＶ４２で行う構成としてもよい。
【０１６６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１６７】
最後に、端末１１、携帯端末４１、およびＴＶ４２の各ブロック、特にコンテンツ再生部２３・５３は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１６８】
すなわち、端末１１、携帯端末４１、およびＴＶ４２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである端末１１、携帯端末４１、およびＴＶ４２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記端末１１、携帯端末４１、およびＴＶ４２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１６９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１７０】
また、端末１１、携帯端末４１、およびＴＶ４２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
【産業上の利用可能性】
【０１７１】
以上のように、本発明に係るコンテンツ再生装置は、再生中のストリームデータの再生の経過時間に対応する文字列インデックスが割り当てられた文字列が再生され、或いは、書籍データから再生される文字列の文字列インデックスに対応する経過時間からストリームデータが再生されることにより、映像および／または音声の再生と書籍の再生とを適切に対応させて出力できるので、異なる種類のコンテンツを同期させて再生する任意のコンテンツ再生装置に適用することができる。
【符号の説明】
【０１７２】
１０  通信システム
１１  端末
１２  サーバ
１３  通信網
２２  コンテンツ記憶部
２３・５３  コンテンツ再生部（コンテンツ再生装置、コンテンツ表示制御装置）
２４  タッチパネル
２５・５５  ディスプレイ（表示装置）
２６・５６  スピーカ
３１・６１  コンテンツ解析部（コンテンツ取得手段、対応情報取得手段）
３２・６２  ＡＶ再生部（再生手段）
３３  書籍再生部（再生手段）
３４・６４  表示制御部（表示制御手段）
３５・６５  音声出力制御部
４０  端末システム
４１  携帯端末
４２  テレビジョン受像機
４３  映像出力部
４４  音声出力部
４５・６６  外部機器制御部
【図１】
2013126184.tif 000003
【図２】
2013126184.tif 000004
【図３】
2013126184.tif 000005
【図４】
2013126184.tif 000006
【図５】
2013126184.tif 000007
【図６】
2013126184.tif 000008
【図７】
2013126184.tif 000009
【図８】
2013126184.tif 000010
【図９】
2013126184.tif 000011
【図１０】
2013126184.tif 000012
【図１１】
2013126184.tif 000013
【図１２】
2013126184.tif 000014
【図１３】
2013126184.tif 000015
【図１４】
2013126184.tif 000016
【図１５】
2013126184.tif 000017
【図１６】
2013126184.tif 000018
【図１７】
2013126184.tif 000019
【図１８】
2013126184.tif 000020
【図１９】
2013126184.tif 000021
【図２０】
2013126184.tif 000022
【図２１】
2013126184.tif 000023
【図２２】
2013126184.tif 000024