(57)【要約】【課題】同期出力させるための複数種のデータの拡張性を向上させる。【解決手段】ネットワークＮを介して端末装置１０と接続されるサーバ３０（情報収集装置）であって、サーバ３０は、所定の単位に分類された複数のテキストデータを記録し、この記録されたテキストデータの何れかを指定する情報を端末装置１０から入力する。サーバ３０は、端末装置１０から入力された情報が指定するテキストデータに関連する他の種類の情報、例えば音声や画像のデータを端末装置１０から入力して、テキストデータとを同期出力させるために対応づけて記録する。【選択図】    図２
2004304647.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して端末装置からテキストと共に同期出力させるための情報を収集する情報収集装置において、
所定の単位に分類された複数のテキストデータを記録するテキスト記録手段と、
前記テキスト記録手段によって記録されたテキストデータの何れかを指定する情報を前記端末装置から入力する指定入力手段と、
前記指定入力手段によって入力された情報が指定するテキストデータに関連する他の種類の情報を前記端末装置から入力する情報入力手段と、
前記情報入力手段によって入力された情報と前記指定入力手段によって入力された情報が指定するテキストデータとを同期出力させるために対応づけて記録する情報記録手段とを具備したことを特徴とする情報収集装置。
【請求項２】
前記情報記録手段は、前記テキスト記録手段に記録された１つのテキストデータに対して、前記情報入力手段によって複数の端末装置から入力された他の種類の情報を対応づけて記録することを特徴とする請求項１記載の情報収集装置。
【請求項３】
前記指定入力手段によって入力された情報が示すテキストデータを前記他の種類の情報を入力する単位毎に前記端末装置に送信するテキスト送信手段を有し、
前記情報入力手段は、前記テキスト送信手段によって送信したテキストデータに対して入力された情報を入力することを特徴とする請求項１記載の情報収集装置。
【請求項４】
前記情報入力手段は、前記テキストデータの内容を読み上げる音声データを入力することを特徴とする請求項３記載の情報収集装置。
【請求項５】
前記テキスト送信手段によって送信したテキストデータをもとに、音声データを入力すべきテキスト部分を入力タイミングに合わせて特定の形態によって表示させる表示制御手段を有し、
前記表示制御手段によって特定の形態によって表示されたテキスト部分と、前記情報入力手段によって入力された前記音声データとが対応づけて記録されることを特徴とする請求項４記載の情報収集装置。
【請求項６】
前記端末を通じて他の情報を入力する個人の情報を入力する個人情報入力手段と、
前記個人情報入力手段によって入力された個人情報と共に前記情報記録手段により記録された情報を、前記ネットワークを通じて端末装置に送信する情報送信手段とを具備したことを特徴とする請求項１記載の情報収集装置。
【請求項７】
前記情報入力手段は、前記テキストデータの内容に関連する画像データを入力することを特徴とする請求項３記載の情報収集装置。
【請求項８】
前記情報記録手段によって記録されたテキストデータと前記他の種類の情報とを同期再生するために関連付けると共に、前記テキストデータと前記他の種類の情報との記録場所を示すデータとが記録された再生用ファイルを作成するファイル作成手段と、
前記ファイル作成手段によって作成された前記再生用ファイルを前記ネットワークを通じて前記端末装置に送信する再生用ファイル送信手段と、
前記再生用ファイル送信手段によって送信した再生用ファイルに記録された前記記録場所を示すデータをもとにして、前記端末装置から前記ネットワークを通じて要求されたテキストデータと前記他の種類の情報を要求元の前記端末装置に送信するデータ送信手段と
を具備したことを特徴とする請求項１記載の情報収集装置。
【請求項９】
前記情報記録手段によって記録されたテキストデータと前記他の種類の情報とを同期再生するように関連付けて記録した再生用ファイルを作成するファイル作成手段と、
前記ファイル作成手段によって作成された前記再生用ファイルを前記ネットワークを通じて前記端末装置に送信する再生用ファイル送信手段と
を具備したことを特徴とする請求項１記載の情報収集装置。
【請求項１０】
前記端末装置から言語の指定を入力する言語指定入力手段を有し、
前記テキスト記録手段には同一の内容を持つ複数の言語にそれぞれ対応する複数のテキストデータが記録され、
前記ファイル作成手段は、前記言語指定入力手段により入力された指定言語に応じたテキストデータを含む前記再生用ファイルを作成することを特徴とする請求項８または請求項９記載の情報収集装置。
【請求項１１】
前記テキスト記録手段に記録されるテキストデータの所定の単位は単語であり、
前記情報入力手段によって単語に関する前記他の種類の情報が入力されることを特徴とする請求項１記載の情報収集装置。
【請求項１２】
ネットワークを介して端末装置と接続されるコンピュータを、
所定の単位に分類された複数のテキストデータを記録するテキスト記録手段と、
前記テキスト記録手段によって記録されたテキストデータの何れかを指定する情報を前記端末装置から入力する指定入力手段と、
前記指定入力手段によって入力された情報が指定するテキストデータに関連する他の種類の情報を前記端末装置から入力する情報入力手段と、
前記情報入力手段によって入力された情報と前記指定入力手段によって入力された情報が指定するテキストデータとを同期出力させるために対応づけて記録する情報記録手段とに機能させるための情報収集プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声、テキスト、画像などの複数種の情報を同期出力するための情報収集装置、及び情報収集プログラムに関する。
【０００２】
【従来の技術】
従来、音楽、テキスト、画像などのデータを同時並行して再生する技術としては、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−３により情報圧縮された音声ファイルのフレーム毎に、当該各フレームに設けられた付加データエリアに対して、音声ファイルに同期再生すべきテキストファイルや画像ファイルの同期情報を埋め込んでおくことにより、例えばカラオケの場合では、カラオケ音声とそのイメージ画像および歌詞のテキストを同期再生するものがある。
【０００３】
しかしながら、このように従来行われているＭＰＥＧファイルの付加データエリアを利用した複数種類のファイルの同期再生技術では、同期情報の埋め込みが主たるＭＰ３音声ファイルの各フレーム毎の付加データエリアに規定されるため、当該ＭＰ３音声ファイルを再生させない限り同期情報を取り出すことが出来ず、ＭＰ３ファイルの再生を軸としてしか他の種類のファイルの同期再生を行うことが出来ない。
【０００４】
このため、例えばＭＰ３音声データにテキストデータの同期情報を埋め込んだ場合に、音声データの再生を行わない期間にあっても無声音データとして音声再生処理を継続的に行っていないと同期対象データの再生を行なうことができない問題がある。
【０００５】
一方、各種インターネットサイトで提供される様々な番組（コンテンツ）を、時間の経過情報（タイムテーブル）に従って予め設定された各ネットサイトにアクセスしてダウンロードし、これを単に再生することで時間の経過に伴い各種番組を順次再生するようにしたマルチメディアの再生処理技術も考えられている（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開２００２−２６１７１５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、このようなマルチメディアの再生技術にあっても、あくまで音声、テキスト、画像の各データがＭＰ３データなどをベースとして既に同期付けされている番組データそのものを再生処理するものである。すなわち、同期再生される音声、テキスト、画像の各データは同期付けられて一体化されているために、複数種類のデータの内容を変更することができない。また、再生される音声、テキスト、画像は、予め用意されている限られたデータであり、拡張性に乏しかった。このため、再生出力される内容を視聴するユーザに対して興味を持たせ続けることが困難となっていた。
【０００８】
本発明は、前記のような問題に鑑みてなされたもので、同期出力させるための複数種のデータの拡張性を向上させることが可能な情報収集装置、情報収集プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
すなわち、本発明の請求項１に係る情報収集装置では、所定の単位に分類された複数のテキストデータを記録するテキスト記録手段と、前記テキスト記録手段によって記録されたテキストデータの何れかを指定する情報を前記端末装置から入力する指定入力手段と、前記指定入力手段によって入力された情報が指定するテキストデータに関連する他の種類の情報を前記端末装置から入力する情報入力手段と、前記情報入力手段によって入力された情報と前記指定入力手段によって入力された情報が指定するテキストデータとを同期出力させるために対応づけて記録する情報記録手段とを具備したことを特徴とする。
【００１０】
これによれば、テキストと共に同期出力させるための複数種のデータ（例えば画像や音声）を、ネットワークを通じて収集することができ、データの拡張性を向上させることができる。
【００１１】
また、本発明の請求項２に係る情報収集装置では、前記情報記録手段によって、前記テキスト記録手段に記録された１つのテキストデータに対して、前記情報入力手段によって複数の端末装置から入力された他の種類の情報を対応づけて記録できるようにする。
【００１２】
これによれば、１つのテキストデータに対して複数の他の種類の情報を対応づけて記録しておくことができ、再生する際に出力対象とするデータを任意に選択させることができる。
【００１３】
また、本発明の請求項３に係る情報収集装置では、前記指定入力手段によって入力された情報が示すテキストデータを前記他の種類の情報を入力する単位毎に前記端末装置に送信するテキスト送信手段を有し、前記情報入力手段は、前記テキスト送信手段によって送信したテキストデータに対して入力された情報を入力する。
【００１４】
これによれば、他の種類の情報を入力する単位毎（例えば、コンテンツのタイトル、章、文、単語など）に情報を収集し、その単位毎のテキストデータと収集された情報とを対応づけて記録することができる。
【００１５】
また、本発明の請求項４に係る情報収集装置では、前記情報入力手段は、前記テキストデータの内容を読み上げる音声データを入力する。
【００１６】
これによれば、テキストデータに対して、その内容を読み上げる音声データとを同期出力させるために対応づけて記録することができる。
【００１７】
また、本発明の請求項５に係る情報収集装置では、表示制御手段によって、前記テキスト送信手段によって送信したテキストデータをもとに、音声データを入力すべきテキスト部分を入力タイミングに合わせて特定の形態によって表示され、前記表示制御手段によって特定の形態によって表示されたテキスト部分と、前記情報入力手段によって入力された前記音声データとが対応づけて記録される。
【００１８】
これによれば、音声データを端末装置において入力させる際に、テキストの内容を読み上げるべきタイミングが明示されることになり、音声データの入力を補助することができ、またテキストデータと音声データとの対応付けが可能となる。
【００１９】
また、本発明の請求項６に係る情報収集装置では、個人情報入力手段によって、前記端末を通じて他の情報を入力する個人の情報を入力し、この個人情報入力手段によって入力された個人情報と共に前記情報記録手段により記録された情報を、情報送信手段によって前記ネットワークを通じて端末装置に送信する。
【００２０】
これによれば、収集された情報が他の端末装置に提供される際に、情報が誰から提供されたものであるか判別することができ、出力対象とする情報の選択に用いることができる。
【００２１】
また、本発明の請求項７に係る情報収集装置では、前記情報入力手段は、前記テキストデータの内容に関連する画像データを入力する。
【００２２】
これによれば、テキストデータに対して、その内容に関係する画像を対応づけて記録することができる。
【００２３】
また、本発明の請求項８に係る情報収集装置では、ファイル作成手段によって、前記情報記録手段によって記録されたテキストデータと前記他の種類の情報とを同期再生するために関連付けると共に、前記テキストデータと前記他の種類の情報との記録場所を示すデータとが記録された再生用ファイルが作成され、再生用ファイル送信手段により、前記ファイル作成手段によって作成された前記再生用ファイルが前記ネットワークを通じて前記端末装置に送信される。そして、データ送信手段により、前記再生用ファイル送信手段によって送信した再生用ファイルに記録された前記記録場所を示すデータをもとにして、前記端末装置から前記ネットワークを通じて要求されたテキストデータと前記他の種類の情報を要求元の前記端末装置に送信される。
【００２４】
これによれば、端末装置に対して提供した再生用ファイルに含まれる記録場所を示すデータ（例えばＵＲＬ）をもとにデータのダウンロードが要求された場合に、該当するデータを端末装置に対して提供することができる。
【００２５】
また、本発明の請求項９に係る情報収集装置では、ファイル作成手段によって、前記情報記録手段によって記録されたテキストデータと前記他の種類の情報とを同期再生するように関連付けて記録した再生用ファイルが作成され、再生用ファイル送信手段により、前記ファイル作成手段によって作成された前記再生用ファイルが前記ネットワークを通じて前記端末装置に送信される。
【００２６】
これによれば、再生用ファイルを端末装置に提供すれば、テキストデータと前記他の種類の情報とを同期再生するように関連付けされているので、端末装置において複数種のデータの同期再生を実行できる。
【００２７】
また、本発明の請求項１０に係る情報収集装置では、前記端末装置から言語の指定を入力する言語指定入力手段を有し、前記テキスト記録手段には複数の言語のそれぞれに対応する同一の内容を持つ複数のテキストデータが記録され、前記ファイル作成手段により、指定言語に応じたテキストデータを含む前記再生用ファイルが作成される。
【００２８】
これによれば、同一コンテンツの異なる言語のテキストデータに対してそれぞれ関連付けられた他の種類の情報を、指定された言語に応じて個々に提供することができる。
【００２９】
また、本発明の請求項１１に係る情報収集装置では、前記テキスト記録手段に記録されるテキストデータの所定の単位は単語であり、前記情報入力手段によって単語に関する前記他の種類の情報が入力される。
【００３０】
これによれば、単語単位で異なる複数種の情報を収集して、それらを対応づけて記録することで単語帳（データベース）を作成することができる。
【００３１】
また、本発明の請求項１２に係る情報収集プログラムでは、このプログラムをコンピュータにインストールすることで、ネットワークを介して端末装置と接続されるコンピュータを、所定の単位に分類された複数のテキストデータを記録するテキスト記録手段と、前記テキスト記録手段によって記録されたテキストデータの何れかを指定する情報を前記端末装置から入力する指定入力手段と、前記指定入力手段によって入力された情報が指定するテキストデータに関連する他の種類の情報を前記端末装置から入力する情報入力手段と、前記情報入力手段によって入力された情報と前記指定入力手段によって入力された情報が指定するテキストデータとを同期出力させるために対応づけて記録する情報記録手段とに機能させることができる。
【００３２】
これによれば、コンピュータは、テキストと共に同期出力させるための複数種のデータ（例えば画像や音声）を、ネットワークを通じて収集することができ、データの拡張性を向上させることができる。
【００３３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００３４】
本実施形態におけるシステムでは、ネットワークＮを介して端末装置１０と接続されるサーバ３０において、童話や絵本、小説など基本的にテキストによって表現されるコンテンツに対して、例えば世界中の各種の言語圏のユーザからテキストと共に同期出力させるためのテキスト、音声、画像、絵、動画像、写真などのデータを個別に収集して、複数種のデータを同期再生可能なデータファイルを作成して、ユーザ（端末装置１０）に提供できるようにするものである。これにより、例えば既存の童話のテキストや各種の言語圏のユーザが作成したオリジナルのテキストに対して、このテキストを読み上げる各種の言語による音声やテキストの内容について各言語圏のユーザがイメージする画像などを対応づけたコンテンツを生成することができる。なお、以下の説明では説明を簡単にするために、本実施形態におけるシステムではテキスト、音声、画像のデータのみを扱うものとする。
【００３５】
図１は本発明の実施形態に係る端末装置１０の電子回路の構成を示すブロック図である。
【００３６】
この端末装置（ＰＤＡ：ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔｓ）１０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）１１が備えられる。
【００３７】
ＣＰＵ１１は、メモリ１２内のＲＯＭ１２Ａに予め記録された端末制御プログラム、あるいはＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介してメモリ１２に読み込まれた端末制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末（３０）から電送制御部１５を介してメモリ１２に読み込まれた端末制御プログラムに応じて、回路各部の動作を制御するもので、メモリ１２に記録された端末制御プログラムは、スイッチやキーからなる入力部１７ａおよびマウスやタブレットからなる座標入力装置１７ｂからのユーザ操作に応じた入力信号、あるいは電送制御部１５に受信される通信ネットワークＮ上の他のコンピュータ端末（３０）からの通信信号、あるいはＢｌｕｅｔｏｏｔｈ（Ｒ）による近距離無線接続や有線接続による通信部１６を介して受信される外部の通信機器（ＰＣ：ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）２０からの通信信号に応じて起動される。
【００３８】
ＣＰＵ１１には、メモリ１２、記録媒体読取部１４、電送制御部１５、通信部１６、入力部１７ａ、座標入力装置１７ｂが接続される他に、ＬＣＤからなる表示部１８、マイクを備え音声を入力する音声入力部１９ａ、左右チャンネルのスピーカＬ，Ｒを備え音声を出力するステレオ音声出力部１９ｂなどが接続される。
【００３９】
また、ＣＰＵ１１には、処理時間計時用のタイマが内蔵される。
【００４０】
この端末装置１０のメモリ１２は、ＲＯＭ１２Ａ、ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ、ＲＡＭ１２Ｃを備えて構成される。
【００４１】
ＲＯＭ１２Ａには、当該端末装置１０の全体の動作を司るシステムプログラムや電送制御部１５を介して通信ネットワークＮ上の各コンピュータ端末（３０）とデータ通信するためのネット通信プログラム、通信部１６を介して外部の通信機器（ＰＣ）２０とデータ通信するための外部機器通信プログラムが記録される他に、サーバ３０（情報収集装置）において複数種のデータ（音声・テキスト・画像など）を同期再生するための再生用ファイル（ＣＡＳファイル）を作成するために用いるデータを、ネットワークＮを通じて提供するための同期コンテンツ作成処理プログラム１２ａ１、音声・テキスト・画像などの各種のファイルを同期再生するための再生処理プログラム１２ａ２などを含む、端末制御プログラム１２ａが記録される。
【００４２】
ＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂ内に記録される暗号化された再生用ファイル（暗号化再生用ファイル）１２ｂは、例えば絵本や童話、小説などのテキストと同期して、音声、画像などの他のデータを同期再生させるためのファイルであり、所定のアルゴリズムにより圧縮・暗号化されている。
【００４３】
暗号化再生用ファイル１２ｂは、例えばＣＤ−ＲＯＭに記録されて配布されたり、通信ネットワーク（インターネット）Ｎ上のサーバ３０から配信されたりする。ＣＤ−ＲＯＭあるいはサーバ３０により配布された暗号化再生用ファイル１２ｂは、例えばユーザ自宅ＰＣとしての通信機器（ＰＣ）２０に読み込まれた後、携帯機器（ＰＤＡ）１０の通信部１６を介してＦＬＡＳＨメモリ（ＥＥＰ−ＲＯＭ）１２Ｂに転送格納される。
【００４４】
ＲＡＭ１２Ｃには、暗号化された再生用ファイル１２ｂを伸張・復号化した解読されたマルチメディア再生用ファイル（ＣＡＳファイル）１２ｃが記録されると共に、この解読された再生ファイル（解読再生用ファイル）１２ｃの中の画像ファイルが展開されて記録される画像展開バッファ１２ｄが備えられる。解読されたＣＡＳファイル１２ｃは、再生命令の処理単位時間１２ｃ１ａを記録するヘッダ情報１２ｃ１、および後述するタイムコードファイル１２ｃ２、コンテンツ内容データ１２ｃ３で構成される。
【００４５】
このコンテンツ内容データ１２ｃ３は、タイムコードファイル１２ｃ２のコマンドコードに対応して記述された「ＵＲＬ（ｕｎｉｆｏｒｍ  ｒｅｓｏｕｒｃｅ  ｌｏｃａｔｏｒ）」が示す、サーバ３０によってネットワークＮを通じて収集されたテキストデータ、音声データ、画像データである（サーバ３０に予め用意されたデータを含む）。これらのコンテンツ内容データ１２ｃ３であるテキストデータ、音声データ、画像データは、タイムコードファイル１２ｃ２の各対応するコマンドコード「ＵＲＬ」に従い再生が指示され、同期コンテンツ再生処理プログラム１２ａ２によって再生処理される。
【００４６】
さらに、ＲＡＭ１２Ｃには、その他各種の処理に応じてＣＰＵ１１に入出力される種々のデータを一時記録するためワークエリアが用意される。
【００４７】
なお、図１に示す端末装置１０は、同期コンテンツ作成処理プログラム１２ａ１によりサーバ３０に対して同期再生用のデータを提供すると共に、同期コンテンツ再生処理プログラム１２ａ２によりサーバ３０から再生用ファイルをダウンロードして複数種のデータを同期再生出力するものとして示しているが、何れか一方のみを実行するものとしても良い。
【００４８】
図２は本発明の情報収集装置を実現するサーバ３０の電子回路の構成を示すブロック図である。
【００４９】
サーバ３０は、各種の記録媒体に記録されたプログラム、又は、通信伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ３１が備えられる。
【００５０】
ＣＰＵ３１は、メモリ３２に記録されたサーバ制御プログラム、あるいはＲＯＭカードなどの外部記録媒体３３から記録媒体読取部３４を介してメモリ３２に読み込まれたサーバ制御プログラム、あるいはインターネットなどの通信ネットワークＮ上の他のコンピュータ端末から電送制御部３５を介してメモリ３２に読み込まれたサーバ制御プログラムに応じて、回路各部の動作を制御する。メモリ３２に記録されたサーバ制御プログラムは、スイッチやキーを備えたキーボードなどの入力装置あるいはマウスやタブレットなどのポインティングデバイスからなる入力部３９からのユーザ操作に応じた入力信号に応じて起動される。
【００５１】
ＣＰＵ３１には、メモリ３２、記録媒体読取部３４、電送制御部３５、表示部３８、入力部３９などが接続される。また、ＣＰＵ３１には、処理時間計時用のタイマが内蔵される。
【００５２】
メモリ３２には、サーバ３０の全体の動作を司るシステムプログラムや電送制御部３５を介して通信ネットワークＮ上の各コンピュータ端末（端末装置１０など）とデータ通信するためのネット通信プログラムが記録される他に、複数種のデータ（音声・テキスト・画像など）を同期再生するための再生用ファイル（ＣＡＳファイル）を作成するために用いるデータを、ネットワークＮを通じて端末装置１０からを収集するための同期コンテンツ作成処理プログラム３２ａ１、同期コンテンツ作成処理プログラム３２ａ１により収集された複数種のデータをもとに作成される再生用ファイルを端末装置に対して提供する同期コンテンツ提供処理プログラム３２ａ２を含む、サーバ制御プログラム３２ａが記録される。
【００５３】
暗号化された再生用ファイル３２ｂは、例えば絵本や童話、小説などのテキストと同期して、音声、画像などの他のデータを同期再生させるためのファイルであり、生成された再生用ファイル（ＣＡＳファイル）３２ｃを所定のアルゴリズムにより圧縮・暗号化することで生成されている。
【００５４】
暗号化された再生用ファイル３２ｂは、例えばＣＤ−ＲＯＭに記録して配布したり、通信ネットワーク（インターネット）Ｎを通じて端末装置１０に配信（ダウンロード）することができる。端末装置１０では、ダウンロードされた暗号化された再生用ファイル３２ｂ（１２ｂ）を解読して再生することができる。なお、サーバ３０は、端末装置１０から指定されたコンテンツ（例えば絵本や童話などのタイトル）に対応する暗号化された再生用ファイル３２ｂを自装置中で展開（解読）して、ネットワークＮを通じて端末装置１０に提供することもできる。
【００５５】
また、メモリ３２には、同期コンテンツ作成処理プログラム３２ａ１により生成されたマルチメディア再生用ファイル（ＣＡＳファイル）３２ｃが記録される。生成されたＣＡＳファイル３２ｃは、再生命令の処理単位時間３２ｃ１ａを記録するヘッダ情報３２ｃ１、および後述するタイムコードファイル３２ｃ２、コンテンツ内容データ３２ｃ３で構成される。
【００５６】
このコンテンツ内容データ３２ｃ３は、タイムコードファイル３２ｃ２のコマンドコードに対応して記述されたＵＲＬが示す、ネットワークＮを通じて収集されたテキストデータ、音声データ、画像データである。コンテンツ内容データ３２ｃ３には、各データを同期再生するための同期再生用の時間情報を含む。これらのコンテンツ内容データ３２ｃ３であるテキストデータ、音声データ、画像データは、タイムコードファイル３２ｃ２の各対応するコマンドコード「ＵＲＬ」に従い再生処理される。
【００５７】
また、メモリ３２には、同期コンテンツ作成処理プログラム３２ａ１により、ネットワークＮを通じて端末装置１０からデータを収集する際に端末において表示させる画面の情報収集画面データ３２ｄ、再生用ファイルをネットワークＮを通じて端末装置１０に提供する際に端末において表示させる画面の同期コンテンツ提供画面データ３２ｅが記録される。
【００５８】
また、メモリ３２には、端末装置１０からデータを収集する際にテキストデータを記録させるテキストバッファ３２ｆ、音声データを記録させる音声バッファ３２ｇ、画像データを記録させる画像展開バッファ３２ｈなどが確保される。
【００５９】
さらに、メモリ３２には、その他各種の処理に応じてＣＰＵ３１に入出力される種々のデータを一時記録するためワークエリアが用意される。
【００６０】
図３及び図４はサーバ３０のメモリ３２に記録される再生用ファイル３２ｃ（３２ｂ）を構成するタイムコードファイル３２ｃ２を示す図である。
【００６１】
図３は、再生用ファイルの基本データのデータ例を示し、図４は、端末装置１０から視聴対象とするコンテンツと共に言語が指定された場合に、その指定された言語に応じて生成されるデータ例を示している。図４は、言語に英語と日本語が指定された場合に、図３に示す基本データをもとに生成されるデータ例である。
【００６２】
再生用ファイル３２ｃ（３２ｂ）は、タイムコードファイル３２ｃ２とコンテンツ内容データ３２ｃ３との組み合わせにより構成される。
【００６３】
図３及び図４で示すタイムコードファイル３２ｃ２には、個々のメディアデータ毎に予め設定される一定時間間隔（例えば２５ｍｓ）で各種データ同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるパラメータデータ、各メディアデータの取得先（記録場所）を示すＵＲＬ、各メディアデータの種類（テキスト／音声／画像）との組み合わせにより構成される。
【００６４】
なお、このタイムコードファイル３２ｃ２がユーザによる言語指定前である場合、図３に示すように、各メディアデータの取得先（記録場所）を示すＵＲＬは、そのテキストデータのＵＲＬと音声データのＵＲＬにおいて、指定言語を示す記号部分が「＊」で記述され、例えば絵本「Ａｌｉｃｅ’ｓ  Ａｄｖｅｎｔｕｒｅ’ｓ  ｉｎ  Ｗｏｎｄｅｒｌａｎｄ」のテキストデータ中の分類されたテキスト１−１に対するＵＲＬは＜ｈｔｔｐ：／／ａｂｃ．ｃｏ．ｊｐ／＊ａｌｉｃｅ１−１．ｃｔｘｔ＞として言語未指定のＵＲＬとなる。そして、言語指定が行われた場合、図４に示すように、指定言語の記号部分「＊」が当該指定の言語に応じた記号（日本語「ｊ」、英語「ｅ」、独語「ｇ」、仏語「ｆ」…）に変換され、例えば英語を指定言語とした場合には、テキスト７−１のテキストデータのＵＲＬは＜…ｅａｌｉｃｅ７−１．ｃｔｘｔ＞に変換される。これにより、ユーザ指定のコンテンツ（絵本や童話など）中の指定言語であるテキスト７−１の部分のテキストデータを取得することができる。同様にして、テキストデータと対応づけられている音声データと画像データについても、指定言語の対応部分を取得することができる。なお、画像については言語に関係なく共通して使用することもできるが、言語圏の違いにより、同じものに対して異なるイメージを持つ場合もあるため、これらを考慮して画像についても言語に応じた画像データを収集するものとする。
【００６５】
また、このタイムコードファイル３２ｃ２に従い順次コマンド処理を行うための一定時間間隔は、図３及び図４に示すように、当該タイムコードファイル３２ｃ２のヘッダ情報３２ｃ１に処理単位時間３２ｃ１ａとして設定される。
【００６６】
そして、コンテンツ内容データ３２ｃ３としては、タイムコードファイル３２ｃ２に記述された各ＵＲＬに対応する同期再生用のコンテンツ（テキストデータ、音声データ、画像データ）が記録される。
【００６７】
タイムコードファイル３２ｃ２に使用されるコマンドとしては、例えばＵＲＬ（ＵＲＬメディアデータの再生指示），ＦＮ（処理終了），ＮＰ（無効）などの各コマンドがある。
【００６８】
例えば、再生用ファイル３２ｃをダウンロードした端末装置１０は、ＲＯＭ１２Ａに記録されている同期コンテンツ再生処理プログラム１２ａ２を起動させて、ＦＬＡＳＨメモリ１２Ｂに記録された暗号化された再生用ファイル１２ｂを解読（展開）してＲＡＭ１２ｃに記録させる。ここで、解読された再生用ファイル１２ｃが例えば言語「英語」に従ってＵＲＬの言語指定記号が変換「＊」→「ｅ」されている場合、当該タイムコードファイル３２ｃ２に記述されている各ＵＲＬに対応する英語によるテキストデータ、音声データ、画像データがコンテンツ内容データ１２ｃ３として格納される。
【００６９】
そして、一定時間毎のコマンド処理に伴い１番目のコマンドコード「ＵＲＬ」が読み込まれた場合には、このコードに対応して記述されたＵＲＬアドレス「…ｅａｌｉｃｅ７−１．ｃｔｘｔ」に従いコンテンツ内容データ３２ｃ３として格納されたテキスト１−１のテキストデータが読み出されて表示出力される。
【００７０】
また、同一定時間毎のコマンド処理に伴い２番目のコマンドコード「ＵＲＬ」が読み込まれた場合には、対応するＵＲＬアドレス「…ｅａｌｉｃｅ７−１．ｍｐ３」に従いコンテンツ内容データ３２ｃ３として格納されたテキスト１−１の音声データが読み出されて音声出力される。
【００７１】
さらに、同一定時間毎のコマンド処理に伴い３番目のコマンドコード「ＵＲＬ」が読み込まれた場合には、対応記述されたＵＲＬアドレス「…ａｌｉｃｅ７−１．ｍｐｅｇ」に従いコンテンツ内容データ３２ｃ３として格納された画像データが読み出されて表示出力される。
【００７２】
そして、コンテンツ内容データ３２ｃ３から読み出されて再生処理されるコンテンツ（絵本、童話など）のテキストデータ、音声データ、画像データには、何れのデータにも、予め設定された時間間隔で再生開始することで、その相互に出力経過時間が合うようにした同期時間情報が予め含まれており、タイムコードファイル３２ｃ２上で予め時間経過を設定した各コマンドコード「ＵＲＬ」に従って、同期コンテンツ再生処理プログラム１２ａ２による再生処理が開始されるので、ＣＰＵ３１によって特に同期付けのタイミング合わせ制御を行わなくとも、必然的に同期制御されて再生されることになる。
【００７３】
なお、この図３及び図４で示したマルチメディア再生用ファイル３２ｃ，３２ｂ（１２ｃ，１２ｂ）についての詳細な再生動作（メディア再生処理）は、後述にて改めて説明する（図１２）。また、図３及び図４は、本実施形態におけるデータ構造の一例を説明するためのものであり、このデータ例が適切に複数種のデータを同期再生できることを表すものではない。
【００７４】
次に、本実施形態におけるサーバ３０によるデータ収集の動作について説明する。
【００７５】
図５は、端末装置１０において同期コンテンツ作成処理プログラム１２ａ１によりサーバ３０に対してデータを提供する場合の処理を説明するためのフローチャート、図６は、同期コンテンツ作成処理プログラム３２ａ１により端末装置１０から提供されるデータを収集する場合の処理を説明するためのフローチャートである。
【００７６】
サーバ３０は、ネットワーク（インターネット）Ｎ上に、絵本などをマルチメディアによって表現するために用いる、例えばテキスト、音声、画像などのデータ提供を募集するホームページ（絵本作成ＨＰ）を公開している。ここでは、例えば既存の絵本や童話のテキストに対して、音声と画像のデータを収集する場合を例にして説明する。
【００７７】
端末装置１０は、ネットワークＮを通じて、サーバ３０が公開しているホームページにアクセスすると（図５、ステップＡ１）、サーバ３０からホームページ情報が提供される（図６、ステップＢ１）。なお、サーバ３０から端末装置１０に対して提供されるホームページの情報や以下に説明する各画面を表示させるためのページデータは、情報収集画面データ３２ｄとして用意されているものとする。
【００７８】
図７（１）には、サーバ３０から提供されるホームページ情報によって端末装置１０において表示されるホームページの一例を示している。図７（１）に示す例では、音声と画像つきの絵本の作成を募集する内容となっており、データ入力の対象とする言語（表示言語）を指定することができるボタンが設けられている。図７（１）に示す例では、「日本語」「Ｅｎｇｌｉｓｈ（英語）」「Ｆｒａｎｃａｉｓ（仏語）」から任意に選択するためのボタンが設けられている。
【００７９】
ここで、端末装置１０おいて表示言語の指定が何れかのボタンが、例えばマウスによるクリック操作により指定されると、サーバ３０に対して通知される（ステップＡ２）。
【００８０】
サーバ３０は、端末装置１０から表示言語の指定が通知されると、端末装置１０に対して提供するページで用いる言語を指定言語に切り替え（ステップＢ２）、端末装置１０に対してユーザの個人情報を入力するためのページを提供して、個人情報の入力を要求する（ステップＢ３）。
【００８１】
図７（２）には、指定言語として「Ｅｎｇｌｉｓｈ（英語）」が指定された場合の個人情報を入力するためのページの一例を示している。図７（２）に示す例では、名前（ニックネーム）、性別（男／女）、年代（〜９、１０〜１９、２０〜３９、４０〜）、絵の画像データの入力有無を指定するための項目が設けられている。ここで入力される個人情報は、サーバ３０において複数種のデータを同期再生できるように作成されたコンテンツを配布する際に、各データの提供元についての情報として添付される。従って、プライバシー保護の観点から詳細な個人情報の入力を要求せず、またデータの提供者自信が自らが提供したデータであることを認識し、かつコンテンツの利用者がデータ提供者の概略を認識できる程度にしている。
【００８２】
個人情報の入力ページを通じて個人情報と絵の入力有無の入力が実行されると（ステップＡ３）、サーバ３０にこれらの情報が受信されて記録される（ステップＢ４）。ここでは、例えば名前「Ｍａｒｙ」、性別「ｆｅｍａｌｅ」、年代「〜９」、絵の入力有りが指定されたものとする。
【００８３】
次に、サーバ３０は、端末装置１０に対して、予め用意されている複数の絵本の中から音声及び絵（絵の入力実行を指定した場合）の入力対象とする絵本（コンテンツ）を選択させるためのページデータを端末装置１０に対して送信する（ステップＢ５）。
【００８４】
なお、ここでは説明を簡単にするために、予め複数の絵本についてのテキストデータがサーバ３０に用意されており、その中から任意に選択させるものとする。テキストデータは、所定の単位で分類されて管理されており、例えばタイトル、章、センテンス、単語毎に分類されている。また、サーバ３０では、同じコンテンツ（絵本）について、複数の言語（ここでは日本語、英語、仏語）によるテキストデータが用意されており、表示言語として指定された言語のテキストデータをデータ収集の対象として用いるものとする。
【００８５】
図７（３）には、絵本を選択させるためのページの一例を示している。図７（３）に示す例では、「Ａｌｉｃｅ’ｓ  Ａｄｖｅｎｔｕｒｅ’ｓ  ｉｎ  Ｗｏｎｄｅｒｌａｎｄ」の他、４つの絵本のタイトルが一覧表示されており、何れかを任意に選択することができるボタンが設けられている。
【００８６】
絵本を選択させるためのページを通じて何れかの絵本のタイトルが選択されると（ステップＡ４）、サーバ３０に選択されたタイトルを示すデータが入力される（ステップＢ６）。次に、サーバ３０は、端末装置１０において選択された絵本についてのテキストデータ（ここでは英語）をテキストバッファ３２ｆに展開すると共に、絵の入力と音声（テキストを読み上げる朗読の音声）の入力の何れを実行するか選択させるためのページデータを端末装置１０に送信する（ステップＢ７）。
【００８７】
図８（４）には、タイトル「Ａｌｉｃｅ’ｓ  Ａｄｖｅｎｔｕｒｅ’ｓ  ｉｎ  Ｗｏｎｄｅｒｌａｎｄ」の絵本に対して、絵の入力を指定するための「Ｉｎｐｕｔ  ｙｏｕｒ  Ｄｒｏｗｉｎｇ」と音声入力を指定するための「Ｉｎｐｕｔ  ｙｏｕｒ  Ｒｅａｄｉｎｇ  Ｖｏｉｃｅ」の項目とボタンが設けられたページの一例を示している。
【００８８】
ここで、例えば画像入力を指定するための「Ｉｎｐｕｔ  ｙｏｕｒ  Ｄｒｏｗｉｎｇ」を選択する操作が端末装置１０において実行されると（ステップＡ５）、サーバ３０は、この選択操作に応じて画像入力の対象とするテキストの章「Ｃｈａｐｔｅｒ」を選択させるための画面のページデータを端末装置１０に送信する（ステップＢ８）。
【００８９】
図８（５）には、章「Ｃｈａｐｔｅｒ」を選択させるための画面のページの一例を示している。図８（５）では、例えば２つの章「１：Ｄｏｗｎ  Ｔｈｅ  Ｒａｂｂｉｔ−ｈｏｌｅ」「２：Ｔｅ  Ｐｏｏｌ  ｏｆ  Ｔｅａｒｓ」の何れかを選択できるボタンが用意されている。
【００９０】
ここで、端末装置１０において何れかの章を選択する操作がされると（ステップＡ６）、サーバ３０は、選択された章に含まれる複数の文（ｓｅｎｔｅｎｃｅ）から音声の入力対象とする文を選択させるための画面のページデータを端末装置１０に対して送信する（ステップＢ９）。
【００９１】
図８（６）には、章「１：Ｄｏｗｎ  Ｔｈｅ  Ｒａｂｂｉｔ−ｈｏｌｅ」に含まれる文（ｓｅｎｔｅｎｃｅ）を指定するためのページの一例を示している。ここでは、章に含まれる文（ｓｅｎｔｅｎｃｅ）が一覧表示されており、それぞれに対して選択指示を入力するためのボタンが設けられている。
【００９２】
ここで、端末装置１０において何れかの文（ｓｅｎｔｅｎｃｅ）を選択する操作がされると（ステップＡ７）、サーバ３０は、選択された文（ｓｅｎｔｅｎｃｅ）をデータ入力対象として登録し（ステップＢ１０）、この文に対するデータ入力（ここでは絵の画像データの入力）の処理に移行する（ステップＢ１１、Ｙｅｓ）。例えば、図８（６）に示す文を選択させるための画面において、「ＡＬＩＣＥ  ｗａｓ  ｂｅｇｉｎｎｉｎｇ  ｔｏ…」の文がマウスによるクリック操作によって選択されたものとする。
【００９３】
サーバ３０は、端末装置１０に対して、入力する絵の画像データが記録されたファイル名とフォルダ名を入力するための画面のページデータを送信する（ステップＢ１２）。
【００９４】
図９（７）には、端末装置１０において表示される、絵の画像データが記録されたファイル名とフォルダ名を入力するための画面の一例を示している。図９（７）に示すように、データ入力の対象とする文全体と共に、端末装置１０内において画像データのファイルが記録されているフォルダ名とファイル名を入力するための入力欄、及び画像データの入力を継続するか否かを指示するためのボタン（「Ｃｏｎｔｉｎｕｅ？」「Ｙｅｓ」「Ｎｏ」）を表示している。図９（７）に示す例では、フォルダ名とファイル名を入力するための入力欄に「ａ：ｐｉｃｔｕｒｅ／１−１．ｂｍｐ」が入力された状態を表している。ファイル名「ｐｉｃｔｕｒｅ／１−１．ｂｍｐ」のファイルに記録されている画像データは、例えばデータの入力対象とする文の内容と関連した「アリスが姉と座っている絵」である。この絵の画像データは、端末装置１０のユーザが予め作成して、ユーザが任意に決めた場所（例えば、「ａ：」で示す記録場所（記録媒体１３など））に記録されているものとする。端末装置１０は、入力欄に入力されたファイル名をもとに、自装置内に記録された画像データを読み出し、例えばサムネイル（ｔｈｕｍｂｎａｉｌ）にして画面中に表示してユーザに確認させるようにしても良い。
【００９５】
ここで、端末装置１０において画像データの入力の継続が指示された場合、すなわち「Ｃｏｎｔｉｎｕｅ？」のメニューから「Ｙｅｓ」が選択された場合、端末装置１０は、入力欄で指定された画像データのファイルをサーバ３０に対して送信する（ステップＡ１０）。サーバ３０は、端末装置１０から受信した画像データのファイルを受信して、データ入力の対象として登録していた文「ＡＬＩＣＥ  ｗａｓ  ｂｅｇｉｎｎｉｎｇ  ｔｏ…」と対応づけて記録する（ステップＢ１３）。
【００９６】
サーバ３０は、端末装置１０から画像データの入力継続が指示されているので、前述と同様にして、データの入力対象とする文を選択する画面のページデータを端末装置１０に送信して（ステップＢ９）、端末装置１０において表示させる。
【００９７】
例えば、端末装置１０では、図９（８）に示すように、現在選択中の章「１：Ｄｏｗｎ  Ｔｈｅ  Ｒａｂｂｉｔ−ｈｏｌｅ」に含まれる文を指定するためのページ（章に含まれる文（ｓｅｎｔｅｎｃｅ）の一覧）が表示される。なお、この画面中では、「ＡＬＩＣＥ  ｗａｓ  ｂｅｇｉｎｎｉｎｇ  ｔｏ…」の文に対応づけて画像データが収集されていることを表す画像マークＡが付加されている。
【００９８】
ここで、端末装置１０において何れかの文（ｓｅｎｔｅｎｃｅ）を選択する操作がされると（ステップＡ７）、サーバ３０は、選択された文（ｓｅｎｔｅｎｃｅ）をデータ入力対象として登録し（ステップＢ１０）、この文に対するデータ入力（ここでは絵の画像データの入力）の処理に移行する。例えば、図９（８）に示す文を選択させるための画面において、４番目の「ｗｈｅｎ  ｓｕｄｄｅｎｌｙ  ａ  Ｗｈｉｔｅ  Ｒａｂｂｉｔ…」の文がマウスによるクリック操作によって選択されたものとする。
【００９９】
サーバ３０は、端末装置１０に対して、入力する絵の画像データが記録されたファイル名とフォルダ名を入力するための画面のページデータを送信する（ステップＢ１２）。図９（９）には、端末装置１０において表示される、絵の画像データが記録されたファイル名とフォルダ名を入力するための画面の一例を示している。
【０１００】
図９（９）に示す例では、フォルダ名とファイル名を入力するための入力欄に「ａ：ｐｉｃｔｕｒｅ／１−２．ｂｍｐ」が入力された状態を表している。ファイル名「ｐｉｃｔｕｒｅ／１−２．ｂｍｐ」のファイルに記録されている画像データは、例えばデータの入力対象とする文の内容と関連した「うざきの絵」である。図９（９）では、入力欄に入力されたファイル名をもとに、自装置内に記録された画像データを読み出し、サムネイルにして表示された状態を示している。
【０１０１】
ここで、端末装置１０において画像データの入力の終了が指示された場合、すなわち「Ｃｏｎｔｉｎｕｅ？」のメニューから「Ｎｏ」が選択された場合、端末装置１０は、入力欄で指定された画像データのファイルをサーバ３０に対して送信する（ステップＡ１０）。サーバ３０は、端末装置１０から受信した画像データのファイルを受信して、データ入力の対象として登録していた文「ｗｈｅｎ  ｓｕｄｄｅｎｌｙ  ａ  Ｗｈｉｔｅ  Ｒａｂｂｉｔ…」と対応づけて記録する（ステップＢ１３）。
【０１０２】
サーバ３０は、端末装置１０から画像データの入力終了が指示されているので、ホームページ（先頭ページ）の情報を端末装置１０に対して送信して、端末装置１０において表示させる。
【０１０３】
こうして、サーバ３０は、端末装置１０から選択された所定単位のテキスト（前述した例では文（ｓｅｎｔｅｎｃｅ））に対する絵の画像データを、端末装置１０からネットワークＮを通じて収集し、テキストデータと対応づけて記録しておくことができる。
【０１０４】
一方、端末装置１０において、図８（５）に示す画面中において、音声入力を指定するための「Ｉｎｐｕｔ  ｙｏｕｒ  Ｒｅａｄｉｎｇ  Ｖｏｉｃｅ」を選択する操作が実行されると（ステップＡ５）、サーバ３０は、この選択操作に応じて音声入力の対象とするテキストの章「Ｃｈａｐｔｅｒ」を選択させるための画面のページデータを端末装置１０に送信する（ステップＢ８）。
【０１０５】
図１０（１０）には、章「Ｃｈａｐｔｅｒ」を選択させるための画面のページの一例を示している。図１０（１０）では、例えば２つの章「１：Ｄｏｗｎ  Ｔｈｅ  Ｒａｂｂｉｔ−ｈｏｌｅ」「２：Ｔｅ  Ｐｏｏｌ  ｏｆ  Ｔｅａｒｓ」の何れかを選択できるボタンが用意されている。
【０１０６】
ここで、端末装置１０において何れかの章を選択する操作がされると（ステップＡ６）、サーバ３０は、選択された章に含まれる複数の文（ｓｅｎｔｅｎｃｅ）から音声の入力対象とする文を選択させるための画面のページデータを端末装置１０に対して送信する（ステップＢ９）。
【０１０７】
図１０（１１）には、章「１：Ｄｏｗｎ  Ｔｈｅ  Ｒａｂｂｉｔ−ｈｏｌｅ」に含まれる文（ｓｅｎｔｅｎｃｅ）を指定するためのページの一例を示している。ここでは、章に含まれる複数の文（ｓｅｎｔｅｎｃｅ）が一覧表示されており、それぞれに対して選択指示を入力するためのボタンが設けられている。なお、先に画像データが収集されている文に対しては所定の画像マークＡが付加されている。また、音声データが収集されている文がある場合には、該当する文に対して音声マークＢが付加されて表示されるものとする。
【０１０８】
ここで、端末装置１０において何れかの文（ｓｅｎｔｅｎｃｅ）を選択する操作がされると（ステップＡ７）、サーバ３０は、選択された文（ｓｅｎｔｅｎｃｅ）をデータ入力対象として登録し（ステップＢ１０）、この文に対するデータ入力（ここでは音声データの入力）の処理に移行する（ステップＢ１１（Ｎｏ）、Ｂ１５（Ｙｅｓ））。例えば、図１０（１１）に示す文を選択させるための画面において、「ＡＬＩＣＥ  ｗａｓ  ｂｅｇｉｎｎｉｎｇ  ｔｏ…」の文がマウスによるクリック操作によって選択されたものとする。
【０１０９】
サーバ３０は、端末装置１０に対して、テキストを朗読する（読み上げる）音声データを入力するための画面のページデータを送信する（ステップＢ１６）。図１０（１２）には、端末装置１０において表示される、音声入力画面の一例を示している。
【０１１０】
図１０（１２）に示す音声入力画面には、データ入力の対象とする文全体と共に、読み上げ速度の調整のためのボタン（遅くすることを指示する「ｓｌｏｗｅｒ」と早くすることを指示する「ｍｏｒｅ  ｑｕｉｃｋｌｙ」のボタン）と、音声データの再入力をするか否かを指示するためのボタン（「Ｔｒｙ  Ａｇａｉｎ」「Ｙｅｓ」「Ｎｏ」）、及び音声データの入力を継続するか否かを指示するためのボタン（「Ｃｏｎｔｉｎｕｅ？」「Ｙｅｓ」「Ｎｏ」）を表示している。なお、ここで音声データの入力対象として選択されている文について既に画像データが対応づけて記録されていることから、この画像データをもとにしたサムネイル（「アリスが姉と座っている絵」）にして画面に表示させている。
【０１１１】
ここで、音声入力（テキストの朗読）の開始が図示せぬボタンのクリックなどにより指示されると、音声入力画面中に表示されたテキストに対して、予め決められた音声の入力タイミングに合わせて、読み上げるべきテキスト部分を特定の表示形態によって表示させる。
【０１１２】
図１０（１２）に示す例では、読み上げ部分に該当するテキストに対してアンダーラインＣが付加されている。アンダーラインＣは、時間の経過と共に、図１０（ａ）（ｂ）に示すように延長されていく。これにより、ユーザは、読み上げるべきテキスト部分を認識することができるので、アンダーラインＣに合わせて該当するテキストを読み上げていけば良い。なお、テキストに対する特定の表示形態としては、アンダーラインを付加する他にも、テキスト部分を反転表示する、特定の背景色にするなど、他の任意の表示形態を用いることができる。
【０１１３】
ユーザがテキストを朗読することで音声入力部１９ａから入力される音声データは、端末装置１０からネットワークＮを通じてサーバ３０に送信される（ステップＡ１３，Ａ１４）。サーバ３０は、端末装置１０からの朗読音声データを受信して、現在、データ入力の対象となっている文と対応づけて記録する（ステップＢ１７）。なお、この時、アンダーラインＣによって示した入力タイミング（読み上げ速度）のデータについても記録しておく。
【０１１４】
なお、音声データの再入力が「Ｔｒｙ  Ａｇａｉｎ」の「Ｙｅｓ」ボタンにより指示された場合、再度、音声入力（テキストの朗読）の開始の指示に応じて、読み上げるべきテキスト部分にアンダーラインＣを付加して表示させていくと共に、入力された音声を記録していく（先に記録された音声データは破棄する）。
【０１１５】
この時、読み上げ速度の調整のために「ｓｌｏｗｅｒ」ボタン、あるいは「ｍｏｒｅ  ｑｕｉｃｋｌｙ」のボタンの何れかが選択されている場合には、その選択に応じて音声の入力タイミングを変更し、変更後の入力タイミングに合わせてアンダーラインＣを順次付加していくものとする。
【０１１６】
なお、読み上げるべきテキスト部分を特定の表示形態によって表示させるための表示制御は、サーバ３０から端末装置１０に提供したページデータに付加されるプログラムにより実現しても良いし、サーバ３０側で実現するようにしても良い。
【０１１７】
こうして、サーバ３０は、端末装置１０から選択された所定単位のテキスト（前述した例では文（ｓｅｎｔｅｎｃｅ））に対する音声データを、所定の入力タイミングに合わせて端末装置１０からネットワークＮを通じて収集し、テキストデータと対応づけて記録しておくことができる。
【０１１８】
なお、前述した説明では（図５、図６）、サーバ３０は、絵の画像データと音声データの何れの入力を実行するか選択させ（図８（４）参照）、この選択された何れか一方のデータ入力を行なうものとしているが、例えば先に絵のデータの入力が終了した後に、自動的に音声入力の処理に移行するかを問い合わせ、入力するとの応答が端末装置１０からあった場合に前述したように音声データの入力を継続して実行することも可能である。
【０１１９】
なお、前述した説明では、サーバ３０が１つの端末装置１０（１個人）からコンテンツ（絵本）に関係する画像や音声のデータを収集する場合について説明しているが、１つのコンテンツ（さらには章、文）について、複数の端末装置１０からネットワークＮを通じて前述と同様にしてデータ収集し、各データをテキストデータと対応づけて記憶しておくことも可能である。
【０１２０】
図１１には、各言語のテキストデータに対して収集された画像の一例を示している。図１１（ａ）は、日本語のテキストと対応づけられた画像、図１１（ｂ）は英語のテキストと対応づけられた画像、図１１（ｃ）は仏語のテキストと対応づけられた画像をそれぞれ示している。同じコンテンツ（絵本）の同じテキスト（文（ｓｅｎｔｅｎｃｅ））であっても、言語圏の違いによってテキストの内容に対するイメージが異なり、図１１に示すように様々な画像を収集することができる。同様にして、データを提供するユーザの性別や年代の違いによっても、異なる画像を収集することができる。
【０１２１】
次に、サーバ３０における再生用ファイル（ＣＡＳファイル）の作成について説明する。
サーバ３０は、テキストデータに対して画像や音声のデータが収集されると、これらの関連付けて記憶されたデータをコンテンツ内容データ３２ｃ３として記憶し、これらデータをもとにしたタイムコードファイル３２ｃ２を生成する。
【０１２２】
まず、サーバ３０は、関連付けられた複数種のデータについて、所定のルールによって定義される共通するファイル名（ファイル種類を表す拡張子の部分を除く）を付けて記憶する。
【０１２３】
例えば、絵本「Ａｌｉｃｅ’ｓ  Ａｄｖｅｎｔｕｒｅ’ｓ  ｉｎ  Ｗｏｎｄｅｒｌａｎｄ」の第１章の第１文のテキストデータと、このテキストに対して対応づけられた音声と画像のデータについては、それぞれ「＊ａｌｉｃｅ１−１．ｃｔｘｔ」「＊ａｌｉｃｅ１−１．ｍｐ３」「＊ａｌｉｃｅ１−１．ｍｐｅｇ」のファイル名が付される。なお、端末装置１０から受信した音声データや画像データは、所定のデータ形式に変換（例えば圧縮処理）しておくものとする。例えば、音声データについてはＭＰ３音声ファイルに変換し、画像データについてはビットマップファイルをＭＰＥＧファイルに変換している。
【０１２４】
ここで、関連付けられたテキスト、画像、音声が同期再生されるように、図３に示すように、タイムコードファイル３２ｃ２に対してコマンド、データ、ＵＲＬを記録していく。なお、ＵＲＬは、先に各データのファイルに付したファイル名を用いて、サーバ３０のアドレスを示す「ａｂｃ．ｃｏ．ｊｐ」を用いて作成している。
【０１２５】
端末装置１０の再生対象ファイルとなるマルチメディア再生用ファイル１２ｂ（１２ｃ）は、タイムコードファイル１２ｃ２とコンテンツ内容データ１２ｃ３との組み合わせにより構成される。
【０１２６】
図３で示すタイムコードファイル１２ｃ２には、個々のメディアデータ毎に予め設定される一定時間間隔（例えば２５ｍｓ）で各種データ同期再生のコマンド処理を行うためのタイムコードが記述配列されるもので、この各タイムコードは、命令を指示するコマンドコードと、当該コマンドに関わるメディアデータの内容（図２参照）を対応付けするためのパラメータデータ、各メディアデータの種類（字幕テキスト／音声／画像）との組み合わせにより構成される。
【０１２７】
なお、このタイムコードファイル１２ｃ２がユーザによる言語指定前である場合、図３に示すように、各メディアデータの取得先であるＵＲＬは、それぞれの指定言語を示す記号部分が「＊」で記述され、例えば会話テキスト７−１のテキストデータのＵＲＬは＜ｈｔｔｐ：／／ａｂｃ．ｃｏ．ｊｐ／＊ａｌｉｃｅ７−１．ｃｔｘｔ＞として言語未指定のＵＲＬとなる。そして、言語指定が行われた場合、図４に示すように、指定言語の記号部分「＊」が当該指定の言語に応じた記号、例えば日本語「ｊ」、英語「ｅ」（その他に、独語「ｇ」、仏語「ｆ」…などがある）に変換され、例えば英語を指定言語とした場合には、会話テキスト７−１のテキストデータのＵＲＬは＜…ｅａｌｉｃｅ７−１．ｃｔｘｔ＞に変換される。これにより、ユーザ指定の学習データ，指定言語である英会話テキスト７−１のテキストデータを、ネットサイトＡ３０ａから取得可能とする。
【０１２８】
また、このタイムコードファイル１２ｃ２に従い順次コマンド処理を行うための一定時間間隔は、図３（図４）に示すように、当該タイムコードファイル１２ｃ２のヘッダ情報１２ｃ１に処理単位時間１２ｃ１ａとして設定される。
【０１２９】
なお、本実施形態のシステムでは、サーバ３０から端末装置１０に対して再生用ファイルを提供する場合、第１の方法として、コンテンツコンテンツ内容データ３２ｃ３（端末装置１０により収集されたデータ）を含まない暗号化された再生用ファイル３２ｂが端末装置１０に提供される方法と、第２の方法として、コンテンツコンテンツ内容データ３２ｃ３を含む暗号化された再生用ファイル３２ｂが端末装置１０に提供される方法を用いることができる。
【０１３０】
第１の方法では、端末装置１０において解読された再生用ファイル１２ｃ中のタイムコードファイル１２ｃ２をもとに、コマンド「ＵＲＬ」に対応づけられたＵＲＬをもとにして端末装置１０からデータをダウンロードして、コンテンツ内容データ１２ｃ３として記憶する。この場合、タイムコードファイル１２ｃ２中のＵＲＬにはデータの記録場所としてサーバ３０を示す「ａｂｃ．ｃｏ．ｊｐ」が含まれる。
【０１３１】
第２の方法では、端末装置１０において解読された再生用ファイル１２ｃにタイムコードファイル１２ｃ２とコンテンツ内容データ１２ｃ３が含まれる。この場合、暗号化された再生用ファイル１２ｂが端末装置１０において展開（解読）される際に、各「ＵＲＬ」コマンドに対応するＵＲＬが端末装置１０におけるコンテンツ内容データ（各データ）の格納場所に応じて書き換えられるものとする。
【０１３２】
以下の説明では、第１の方法で再生用ファイルが端末装置１０に提供されるものとする。
【０１３３】
次に、サーバ３０により生成された再生用ファイルをもとにした端末装置１０によるメディア再生処理について説明する。
【０１３４】
図１２は端末装置１０の同期コンテンツ再生処理プログラム１２ａ２に従ったメディア再生処理を示すフローチャート、図１３はメディア再生処理に伴って実行されるタイムコードファイルを作成するための命令コード作成処理を示すフローチャートである。なお、端末装置１０におけるメディア再生処理に対応して、サーバ３０では同期コンテンツ提供処理プログラム３２ａ２による処理が実行される。
【０１３５】
サーバ３０は、ネットワーク（インターネット）Ｎ上に、例えばテキスト、音声、画像などのマルチメディアにより表現される絵本などの視聴を案内するホームページ（絵本視聴ＨＰ）を公開している。
【０１３６】
端末装置１０は、ネットワークＮを通じて、サーバ３０が公開しているホームページにアクセスすると、サーバ３０からホームページ情報が提供される。なお、サーバ３０から端末装置１０に対して提供されるホームページの情報や以下に説明する各画面を表示させるためのページデータは、同期コンテンツ提供画面データ３２ｅとして用意されているものとする。
【０１３７】
図１４（１）には、サーバ３０から提供されるホームページ情報によって端末装置１０において表示されるホームページ（絵本視聴ＨＰ）の一例を示している。図１４（１）に示す例では、音声と画像つきの絵本の視聴を案内する内容となっており、表示言語を指定することができるボタンが設けられている。図１４（１）に示す例では、「日本語」「Ｅｎｇｌｉｓｈ（英語）」「Ｆｒａｎｃａｉｓ（仏語）」から任意に選択するためのボタンが設けられている。
【０１３８】
ここで、端末装置１０おいて表示言語の指定が何れかのボタンが、例えばマウスによるクリックにより指定されると、サーバ３０に対して通知される（ステップＣ１）。ここでは、例えば「日本語」が指定されたものとする。
【０１３９】
サーバ３０は、端末装置１０から表示言語の指定が通知されると、端末装置１０に対して提供するページで用いる言語を指定言語に切り替え、端末装置１０に対して視聴対象とするコンテンツを選択させるためのページを提供する。
【０１４０】
図１４（２）には、端末装置１０において表示される視聴コンテンツを選択させるためのページの一例を示している。図１４（２）に示す例では、表示言語として日本語が指定されたので、サーバ３０に用意されているコンテンツのタイトルが日本語表記により、例えば「不思議の国のアリス」「幸福の王子」「すばらしき孤島」…のように複数のタイトルが一覧表示されている。
【０１４１】
ここで、何れかのコンテンツのタイトルに付されたボタンが、例えばマウスによるクリック操作により指定されると、サーバ３０に対して通知される（ステップＣ２）。ここでは、「不思議の国のアリス」が選択されたものとする。
【０１４２】
サーバ３０は、端末装置１０においてコンテンツのタイトルが選択されると、このコンテンツ（絵本）のテキストの表示言語を選択させるためのページを提供する。
【０１４３】
図１４（３）には、端末装置１０において表示される絵本テキストの表示言語を選択させるためのページの一例を示している。図１４（３）に示すようにテキストの表示言語としては、１つの言語（「日本語」「英語」「フランス語」など）を選択するだけでなく、複数の言語の組み（「日本語・英語」「日本語・フランス語」など、３つ以上の言語の組みでも良い）を選択することができるようになっている。複数の言語の組みを選択することで、同一のコンテンツについて各言語のテキストを同時に対訳として表示させることができる（図１６参照）。ここでは、「日本語・英語」が表示言語として選択されたものとする。
【０１４４】
端末装置１０においてテキストの表示言語の指定が入力されると（ステップＣ３）、サーバ３０は、コンテンツ中の視聴対象とする章（「Ｃｈａｐｔｅｒ」）を選択させるためのページを提供する。
【０１４５】
図１５（４）には、端末装置１０において表示される章を選択させるためのページの一例を示している。図１５（４）に示すように、コンテンツ「不思議の国のアリス」に含まれる、例えば「１：うさぎの穴に落ちて」「２：涙のプール」…などの複数の章タイトルが一覧表示される。
【０１４６】
端末装置１０において何れかの章が指定されると（ステップＣ４）、サーバ３０は、選択された章（テキストデータ）に対して対応づけられた音声と画像のデータと共に、各データをサーバ３０に登録したユーザの個人情報を読み出し、これらのデータをもとにして、テキストと共に同期再生する画像と音声の作者を選択させるためのページを端末装置１０に提供する。
【０１４７】
図１５（５）には、端末装置１０において表示される画像と音声の作者を選択させるためのページの一例を示している。図１５（５）に示す例では、絵本テキストの表示言語として「日本語・英語」が選択されているため、日本語のテキストデータに対して対応づけられた音声と絵、英語のテキストデータに対応づけられた音声と絵のそれぞれについて、データを提供した作者の名前（個人情報入力時に入力されたニックネームなど）が表示されている。例えば、日本語の音声としては、「タッキー」「みゆき」の２人のユーザから音声データが収集されていることを表している。
【０１４８】
また、この作者選択用のページ中では、端末装置１０においてマウス操作などにより、ポインタＰが作者の名前の位置に移動されると、その位置の作者に関する名前以外の個人情報が作成者情報としてポップアップ表示される。図１５（５）では「Ｍａｒｙ」の名前位置にポインタＰが移動されたため、「Ｍａｒｙ」に関する性別「ｆｅｍａｌｅ」、年代「〜９  ｙｅａｒｓ  ｏｌｄ」が表示されている。こうして個人情報を参照することで、例えば女性の音声で聞きたいとか、子供が描いた絵を鑑賞したいといった希望に応じて音声や画像を指定することができる。また、サーバ３０に音声や画像のデータを提供したユーザにとっては、作者選択用のページ中で自らが提供したデータが利用されていることを確認することができる。
【０１４９】
なお、音声や絵に対して複数の作者名が表示されている場合、すなわち１つのテキストに対して複数のデータが対応づけられている場合には、何れか１つのみが選択可能になっているものとする。また、音声や絵について何れの作者も指定されなかった場合には、その音声または絵がテキストと同期再生されないものとする。
【０１５０】
こうして、端末装置１０において再生対象とするテキストに対応づけられた音声と絵の作者が選択されると、サーバ３０は、指定された内容に対応する再生ファイル３２ｃ（ヘッダ情報３２ｃ１、タイムコードファイル３２ｃ２、コンテンツ内容データ３２ｃ３）を生成する。
【０１５１】
例えば、コンテンツ内容データ３２ｃ３に、絵本テキストの表示言語として指定された言語のテキストデータ、作者選択用のページで指定された作者に対応する音声データ、画像データのファイルを記憶する。
【０１５２】
また、図１３のフローチャートに示す命令コード作成処理を実行することで、再生対象とする章に対して作成されたタイムコードファイルの基本データを（図３参照）、指定された絵本テキストの表示言語に応じて変更してタイムコードファイル３２ｃ２として記録する。
【０１５３】
まず、該当するデータ（章または文）のタイムコードファイル（基本データ）を読み込み、絵本テキストの表示言語として指定された第１の言語（言語１）に応じて（ステップＤ２，Ｄ３）、ＵＲＬ中のデータファイル名に付された「＊」を変換する。
【０１５４】
例えば、「英語」が指定された場合には、タイムコードファイルの中のテキストデータ、音声データ、及び画像データに対応する各ＵＲＬ上の言語未指定記号「＊」が、英語指定記号「ｅ」に変換される（ステップＤ４）。
【０１５５】
同様にして、「独語」が指定された場合には各ＵＲＬ上の言語未指定記号「＊」が独語指定記号「ｇ」に変換され（ステップＤ５）、「仏語」が指定された場合には、各ＵＲＬ上の言語未指定記号「＊」が仏語指定記号「ｆ」に変換され（ステップＤ６）、「日本語」が指定された場合には、各ＵＲＬ上の言語未指定記号「＊」が日本語指定記号「ｊ」に変換される（ステップＤ７）。
【０１５６】
ここでは、絵本テキストの表示言語（第１の言語）として「日本語」が指定されているので、例えばＵＲＬ＜ｈｔｔｐ：／／ａｂｃ．ｃｏ．ｊｐ／＊ａｌｉｃｅ１−１．ｃｔｘｔ＞は、日本語のテキストデータを示すファイル名を含むＵＲＬ＜ｈｔｔｐ：／／ａｂｃ．ｃｏ．ｊｐ／ｊａｌｉｃｅ１−１．ｃｔｘｔ＞に変換される。同様にして、この日本語のテキストデータに対応づけられた音声データと画像データを示すファイル名を含むＵＲＬについても変換される。
【０１５７】
次に、元のタイムコードファイル（「言語１」について変換対象となった部分）を読み出して、修正中のタイムコードファイル（基本データ）にブロックごとに（ＮＯＰ命令「ＮＰ」で区切られたまとまり）対応するコードを挿入する（ステップＤ８）。すなわち、この挿入したＵＲＬを含むコードを対象として、絵本テキストの表示言語として指定された第２の言語（言語２）について（ステップＤ９，Ｄ１０）、前述と同様にして変換を実行する。
【０１５８】
例えば、「英語」が指定された場合には、タイムコードファイルの中のテキストデータ、音声データ、及び画像データに対応する各ＵＲＬ上の言語未指定記号「＊」が、英語指定記号「ｅ」に変換される（ステップＤ１１）。
【０１５９】
同様にして、「独語」が指定された場合には各ＵＲＬ上の言語未指定記号「＊」が独語指定記号「ｇ」に変換され（ステップＤ１２）、「仏語」が指定された場合には、各ＵＲＬ上の言語未指定記号「＊」が仏語指定記号「ｆ」に変換され（ステップＤ１３）、「日本語」が指定された場合には、各ＵＲＬ上の言語未指定記号「＊」が日本語指定記号「ｊ」に変換される（ステップＤ１４）。
【０１６０】
ここでは、絵本テキストの表示言語（第２の言語）として「英語」が指定されているので、例えばＵＲＬ＜ｈｔｔｐ：／／ａｂｃ．ｃｏ．ｊｐ／＊ａｌｉｃｅ１−１．ｃｔｘｔ＞は、英語のテキストデータを示すファイル名を含むＵＲＬ＜ｈｔｔｐ：／／ａｂｃ．ｃｏ．ｊｐ／ｅａｌｉｃｅ１−１．ｃｔｘｔ＞に変換される。同様にして、この英語のテキストデータに対応づけられた音声データと画像データを示すファイル名を含むＵＲＬについても変換される。
【０１６１】
この結果、例えば図４に示すような、日本語と英語のテキスト、及びそれぞれに対応づけられた同期再生される音声と画像のコードが記録されたタイムコードファイル３２ｃ２が生成される。なお、図４は、コンテンツ「不思議の国のアリス」の７章の第１文と第２文に対応するコードを示している。
【０１６２】
また、タイムコードファイルのパラメータデータには、ＵＲＬで示す各データに対応する値を設定するようにしても良い。
【０１６３】
こうして、サーバ３０は、再生用ファイル３２ｃを生成すると、暗号化された再生用ファイル３２ｂに変換して、ネットワークＮを通じて端末装置１０に送信する（なお、暗号化しない状態の再生用ファイル３２ｃを送信するようにしても良い）。
【０１６４】
端末装置１０は、サーバ３０からタイムコードファイル３２ｃ２を含む再生用ファイルをダウンロードして、暗号化された再生用ファイル１２ｂとしてＦＬＡＳＨメモリ１２Ｂに格納する。端末装置１０は、ＦＬＡＳＨメモリ１２Ｂに格納された暗号化された再生用ファイル（ＣＡＳファイル）１２ｂを解読（復号化）し、例えば図４で示した言語指定変換後のタイムコードファイル１２ｃ２をＲＡＭ１２Ｃに格納する。
【０１６５】
こうして、ユーザ指定の絵本テキストの表示言語（ここでは「日本語・英語」）に応じた、タイムコードファイル１２ｃ２が格納されると、端末装置１０は、当該タイムコードファイル１２ｃ２上の各コマンドコード「ＵＲＬ」に対応付けられて記述されているＵＲＬ（ＨＰアドレス）に従い、サーバ３０にアクセスし、指定のコンテンツ（絵本）の指定言語「日本語」「英語」のテキストデータ、音声データ、および画像データをそれぞれダウンロードしてＲＡＭ１２Ｃ内にコンテンツ内容データ１２ｃ３として保存する（ステップＣ７）。
【０１６６】
なお、パラメータデータにサーバ３０において各ＵＲＬに対応するデータが示す値が設定されている場合には、以降の説明において、パラメータデータをもとに各データを読み出すことができる。また、サーバ３０において予めパラメータデータが設定されない場合には、端末装置１０において再生用ファイルを解読した際に、各ＵＲＬに対応するパラメータデータを生成して設定しておくようにしても良い。さらに、コマンド「ＵＲＬ」の場合には、パラメータデータを使用せず（例えばパラメータデータ「００」とする）、ＵＲＬの記述に従ってデータを読み出すようにしても良い。この場合、端末装置１０では、サーバ３０からタイムコードファイル１２ｃ２に記録されたＵＲＬをもとに各データをダウンロードした後、ＵＲＬの記載を自装置内に各データを記録した場所（フォルダ）を含むものに変更すれば良い。
【０１６７】
また、解読された再生用ファイル（ＣＡＳファイル）１２ｃのヘッダ情報１２ｃ１に記述された処理単位時間１２ｃ１ａ（例えば２５ｍｓ／５０ｍｓ／…）を、ＣＰＵ１１による当該マルチメディア再生用ファイル（ＣＡＳファイル）１２ｃの一定時間間隔の読み出し時間として設定する（ステップＳ７）。
【０１６８】
そして、ＲＡＭ１２Ｃに格納された再生用ファイル（ＣＡＳファイル）１２ｃの先頭に読み出しポインタをセットし（ステップＣ９）、当該再生用ファイル１２ｃの再生処理タイミングを計時するためのタイマをスタートする（ステップＣ１０）。
【０１６９】
ここで、先読み処理が当該再生処理に並行して起動される（ステップＣ１１）。
【０１７０】
この先読み処理では、再生用ファイル１２ｃのタイムコードファイル１２ｃ２（図４）に従った現在の読み出しポインタの位置のコマンド処理よりも後に画像データを表示させるためのコマンドがある場合は、予め当該画像データ表示用のコマンドのパラメータデータにより指示される画像データを先読みして画像展開バッファ１２ｅに展開しておくことで、読み出しポインタが実際に後の画像表示用のコマンドの位置まで移動した場合に、処理に遅れなく指定の画像ファイルを直ちに出力表示できるようにする。
【０１７１】
ステップＣ１０において、処理タイマがスタートされると、ステップＣ８にて設定された再生用ファイル１２ｃに応じた処理単位時間毎に読み出しポインタの位置の当該メディア再生用ファイル１２ｃを構成するタイムコードファイル１２ｃ２（図４参照）のコマンドコードおよびそのパラメータデータが読み出される（ステップＣ１２）。
【０１７２】
そして、再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ２から読み出されたコマンドコードが、処理終了を表す「ＦＮ」か否か判断され（ステップＣ１３）、「ＦＮ」と判断された場合には、その時点で当該マルチメディア再生処理の停止処理が指示実行される（ステップＣ１４）。
【０１７３】
一方、再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ２から読み出されたコマンドコードが、「ＦＮ」ではないと判断された場合には（ステップＣ１３、Ｎｏ）、当該コマンドコードが、「ＵＲＬ」か否か判断される（ステップＣ１５）。そして、「ＵＲＬ」と判断された場合には、該当ポインタ位置のＵＲＬ（ＨＰアドレス）（あるいはパラメータデータ）に従い、コンテンツ内容データ１２ｃ３として保存されているテキストデータまたは音声データまたは画像データが読み出され、同期コンテンツ再生処理プログラム１２ａ２によってテキスト／音声／画像の各データについて再生開始される（ステップＣ１６）。
【０１７４】
すると、再び処理タイマによる計時動作が開始され、当該タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したか否か判断される（ステップＣ１８）。
【０１７５】
ここで、タイマによる計時時間が次の処理単位時間１２ｃ１ａに到達したと判断された場合には、ＲＡＭ１２Ｃに格納された解読された再生用ファイル（ＣＡＳファイル）１２ｃに対する読み出しポインタが次の位置に更新セットされ（ステップＣ１９）、ステップＣ１２における読み出しポインタの位置のタイムコードファイル１２ｃ２のコマンドコードを読み出す処理から前述と同様の処理が繰り返される（ステップＣ１９→Ｃ１２〜Ｃ１８）。
【０１７６】
すなわち、端末装置１０のＣＰＵ１１は、ＲＯＭ１２Ａに記録された同期コンテンツ再生処理プログラム１２ａ２に従って、ヘッダ情報１２ｃ１に設定された処理単位時間毎に、タイムコードファイル１２ｃ２に配列されたコマンドコードおよびそのパラメータデータを読み出し、そのコマンドに対応する処理を指示するだけで、当該タイムコードファイル１２ｃ２に記述された各コマンドに応じた各種メディアデータの同期再生処理が実行される。
【０１７７】
一方、ステップＣ１５において、再生用ファイル１２ｃにおけるタイムコードファイル１２ｃ２から読み出されたコマンドコードが、「ＵＲＬ」ではないと判断された場合には（例えばＮＯＰ命令）、他のコマンド処理へ移行される（ステップＣ１７）。この他のコマンド処理とは、他のコマンドコードのそれぞれに応じた指令の処理である。
【０１７８】
図１５（６）には、端末装置１０においてテキスト、画像、音声が同期再生される場合の表示画面の一例を示している。なお、図１５（６）は、図１５（４）に示す画面中で表示対象として章「１：うさぎの穴に落ちて」が、マウスによるクリック操作により指定されて場合の例である。
【０１７９】
ここでは、絵本テキストの表示言語が「日本語・英語」が指定されているため、日本語のテキスト「アリスは、お姉さんと土手にすわっているのがだんだんと退屈になってきました。」が表示されると共に、図１５（５）に示す作者選択画面で指定された作者「田中静」によってサーバ３０に登録された画像（「アリスが姉と座っている絵」）が表示される。また、このテキストと対応づけられた、例えば図１５（５）に示す作者選択画面で指定された作者「みゆき」によってサーバ３０に登録された音声データが読み出されて、テキストの内容を読み上げる音声が出力される。なお、音声が読み上げられるテキスト部分に対して、図１５（６）に示すように、アンダーラインＤを付加するなど他と異なる表示形態によって表示するようにしても良い（テキストのハイライト表示や背景色の変更などでも良い）。
【０１８０】
同様にして、英語のテキスト「ＡＬＩＣＥ  ｗａｓ  ｂｅｇｉｎｎｉｎｇ  ｔｏ  ｇｅｔ  ｖｅｒｙ  ｔｉｒｅｄ  ｏｆ  ｓｉｔｔｉｎｇ  ｂｙ  ｈｅｒ  ｓｉｓｔｅｒ  ｏｎ  ｔｈｅ  ｂａｎｋ，」が表示されると共に、図１５（５）に示す作者選択画面で指定された作者「Ｍａｒｙ」によってサーバ３０に登録された画像（「アリスが姉と座っている絵」）が表示される。そして、図１６（７）に示すように、例えば作者「Ｍａｒｙ」によってサーバ３０に登録された音声データが読み出されて音声出力されると共に、読み上げられているテキスト部分に対してアンダーラインが付加される。
【０１８１】
こうして、第１文の英語のテキストについての音声出力が終了すると、図１６（８）に示すように、次の第２文に対するテキスト、画像、音声が、前述と同様にして同期再生出力される。
【０１８２】
このようにして、サーバ３０によって、ネットワークＮを通じて、絵本などのテキストと対応づけて収集された画像や音声のデータを、テキストと同期再生できるようにして端末装置１０に対して提供することができる。サーバ３０では、ネットワークＮ（インターネット）を通じてデータが収集されることから、言語圏の異なる各国の性別、年代が異なる個人からデータ収集することができる。このため、同じコンテンツであってもテキストの内容に対して抱くイメージの違いなどが画像や音声などによって表現され、コンテンツに対する興味を向上させることができる。また、各言語の学習にも使用することができ、言語が持つ文化的背景などをも知ることができ学習効果を期待できる。特に、テキストの表示言語として複数の言語の組みを選択することで（図１４（３）参照）、複数の言語のテキストと画像が対訳として１画面中に表示され（図１６など）、さらには音声が連続して出力されるので、より学習効果が期待され、興味や意欲の向上につなげることができる。さらに、サーバ３０によって収集されたデータがネットワークＮを通じて、各国のユーザに提供されることになるので、データを提供する個人にとっても満足感を得ることができる。
【０１８３】
なお、前述した説明では、端末装置１０はサーバ３０から受信した再生用ファイル１２ｃ中のタイムコードファイル１２ｃ２に記録されているＵＲＬに従って、端末装置１０から対応するテキスト、画像、音声の各データを一括してダウンロードするとしているが、同期再生すべき各データをタイムコードファイル１２ｃ２に従ったコマンドコード「ＵＲＬ」の読み出しに伴い、その都度ＵＲＬに従ってサーバ３０から順次ダウンロードして再生するようにしてもよい。
【０１８４】
また、前述した説明では、サーバ３０から端末装置１０に対して再生用ファイルを提供する方法として、第１の方法を用いる場合を対象としているが、再生用ファイルにタイムコードファイルだけでなくコンテンツ内容データを含めた第２の方法を用いることも可能である。
【０１８５】
この場合、暗号化された再生用ファイル１２ｂが端末装置１０において展開（解読）される際に、各「ＵＲＬ」コマンドに対応するＵＲＬを端末装置１０におけるコンテンツ内容データ（各データ）の格納場所に応じて書き換える。そして、「ＵＲＬ」コマンドに対する処理を実行する際に、書き換えたＵＲＬをもとに自装置内に記録されたデータを順次読み出して、前述と同様にして各データを同期再生する。その他の処理については、第１の方法を用いた場合と同様にして実行させるものとして説明を省略する。
【０１８６】
なお、前述した説明では、サーバ３０に予め用意されたテキストデータに対して、テキスト以外の画像や音声など他の情報を収集するものとして説明しているが、テキストについてもネットワークＮを通じて端末装置１０から収集することも勿論可能である。例えば、個人が作成した小説のテキストなどを収集し、このテキストに対して同期させる音声や画像などのデータをネットワークＮを通じて募集することができる。
【０１８７】
また、前述した説明では、サーバ３０は、絵本、童話、小説など、文章を表すコンテンツ（テキストデータ）に対して、画像や音声などのテキスト以外の他のデータを収集するものとして説明しているが、例えば単語帳（データベース）などテキストデータを単語としたコンテンツについても同様にして、データ収集することが可能である。
【０１８８】
図１７には、単語単位で画像、音声、テキストのデータが記録される場合のデータ構造の一例を示している。
例えば、日本語のテキスト「パン」がサーバ３０に記録されており（「ａｂｃ．ｃｏ．ｊｐ／ｗｄ−ｊ−ｐａｎ．ｃｔｘｔ」）、このテキストが端末装置１０に対して募集ページを通じて提供され、このテキストに対する画像や音声が収集される。サーバ３０は、テキスト「パン」に対して収集された画像と音声とを対応づけて記録する。また、同類の「パン」であっても、国によって異なる物がイメージされる場合、例えば中国における「万頭」（まんとう）、インドの「チャパティ」などについて、図１７に示すように関連付けて記録しておいても良い。同様にして、動物に関しても関連付けて（図１７では「ねこ」「いぬ」「うし」「うま」）、それぞれについて各国のユーザからテキスト、音声、画像などのデータを収集して記録しておくことができる。なお、画像については、デジタルカメラなどにより撮影された画像データでも良いし、手書きされた絵画を画像データ化したものであっても良い。
【０１８９】
サーバ３０は、端末装置１０から特定の単語を選択する指示を入力し、その単語と関連付けられた他のデータを提供する。特定の単語の選択については、画像の一覧を提示して選択させても良いし、任意に指定された言語のテキスト（単語）の一覧を提示して選択させるようにしても良い。
【０１９０】
なお、予め収集された（あるいは予め用意された）テキストに対する、画像、音声のデータを収集するのではなく、画像のデータを募集ページを通じて端末装置１０に提供し、その画像で表される物の読み方に応じたテキストや音声のデータを収集するようにしても良い。
【０１９１】
このようにして、単語単位で各国から画像、音声、テキストなどを対応づけて収集することができることにより、同じ物であっても言語圏で異なるイメージの違いを知ることができる。
【０１９２】
また、単語帳（データベース）として、ネットワークＮを通じて収集されたデータを対応づけて記録することで、例えば他の電子機器（電子翻訳機など）において利用することも可能となる。
【０１９３】
なお、実施形態において記載した端末装置１０及びサーバ３０（情報収集装置）による各処理の手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３，３３に記録されたプログラムを記録媒体読取部１４，３４によってメモリ１２，３２に読み込み、この読み込んだプログラムによって動作が制御されることにより、テキスト、音声、画像の同期再生機能を実現し、前述した手法による同様の処理を実行することができる。
【０１９４】
また、各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末からのプログラムデータを取り込み、前述した各実施形態のテキスト、音声、画像の同期再生機能を実現することもできる。
【０１９５】
なお、本願発明は、各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１９６】
【発明の効果】
以上のように、本発明の請求項１に係る情報収集装置によれば、所定の単位に分類された複数のテキストデータを記録するテキスト記録手段と、前記テキスト記録手段によって記録されたテキストデータの何れかを指定する情報を前記端末装置から入力する指定入力手段と、前記指定入力手段によって入力された情報が指定するテキストデータに関連する他の種類の情報を前記端末装置から入力する情報入力手段と、前記情報入力手段によって入力された情報と前記指定入力手段によって入力された情報が指定するテキストデータとを同期出力させるために対応づけて記録する情報記録手段とを具備する。このため、テキストと共に同期出力させるための複数種のデータ（例えば画像や音声）を、ネットワークを通じて収集することができ、データの拡張性を向上させることができる。
【０１９７】
また、本発明の請求項２に係る情報収集装置によれば、前記情報記録手段によって、前記テキスト記録手段に記録された１つのテキストデータに対して、前記情報入力手段によって複数の端末装置から入力された他の種類の情報を対応づけて記録できるようにするので、１つのテキストデータに対して複数の他の種類の情報を対応づけて記録しておくことができ、再生する際に出力対象とするデータを任意に選択させることができる。
【０１９８】
また、本発明の請求項３係る情報収集装置によれば、前記指定入力手段によって入力された情報が示すテキストデータを前記他の種類の情報を入力する単位毎に前記端末装置に送信するテキスト送信手段を有し、前記情報入力手段は、前記テキスト送信手段によって送信したテキストデータに対して入力された情報を入力するので、他の種類の情報を入力する単位毎（例えば、コンテンツのタイトル、章、文、単語など）に情報を収集し、その単位毎のテキストデータと収集された情報とを対応づけて記録することができる。
【０１９９】
また、本発明の請求項４に係る情報収集装置によれば、前記情報入力手段は、前記テキストデータの内容を読み上げる音声データを入力するので、テキストデータに対して、その内容を読み上げる音声データとを同期出力させるために対応づけて記録することができる。
【０２００】
また、本発明の請求項５に係る情報収集装置によれば、表示制御手段によって、前記テキスト送信手段によって送信したテキストデータをもとに、音声データを入力すべきテキスト部分を入力タイミングに合わせて特定の形態によって表示され、前記表示制御手段によって特定の形態によって表示されたテキスト部分と、前記情報入力手段によって入力された前記音声データとが対応づけて記録されるので、音声データを端末装置において入力させる際に、テキストの内容を読み上げるべきタイミングが明示されることになり、音声データの入力を補助することができ、またテキストデータと音声データとの対応付けが可能となる。
【０２０１】
また、本発明の請求項６に係る情報収集装置によれば、個人情報入力手段によって、前記端末を通じて他の情報を入力する個人の情報を入力し、この個人情報入力手段によって入力された個人情報と共に前記情報記録手段により記録された情報を、情報送信手段によって前記ネットワークを通じて端末装置に送信するので、収集された情報が他の端末装置に提供される際に、情報が誰から提供されたものであるか判別することができ、出力対象とする情報の選択に用いることができる。
【０２０２】
また、本発明の請求項７に係る情報収集装置によれば、前記情報入力手段は、前記テキストデータの内容に関連する画像データを入力するので、テキストデータに対して、その内容に関係する画像を対応づけて記録することができる。
【０２０３】
また、本発明の請求項８に係る情報収集装置によれば、ファイル作成手段によって、前記情報記録手段によって記録されたテキストデータと前記他の種類の情報とを同期再生するために関連付けると共に、前記テキストデータと前記他の種類の情報との記録場所を示すデータとが記録された再生用ファイルが作成され、再生用ファイル送信手段により、前記ファイル作成手段によって作成された前記再生用ファイルが前記ネットワークを通じて前記端末装置に送信される。そして、データ送信手段により、前記再生用ファイル送信手段によって送信した再生用ファイルに記録された前記記録場所を示すデータをもとにして、前記端末装置から前記ネットワークを通じて要求されたテキストデータと前記他の種類の情報を要求元の前記端末装置に送信されるので、端末装置に対して提供した再生用ファイルに含まれる記録場所を示すデータ（例えばＵＲＬ）をもとにデータのダウンロードが要求された場合に、該当するデータを端末装置に対して提供することができる。
【０２０４】
また、本発明の請求項９に係る情報収集装置によれば、ファイル作成手段によって、前記情報記録手段によって記録されたテキストデータと前記他の種類の情報とを同期再生するように関連付けて記録した再生用ファイルが作成され、再生用ファイル送信手段により、前記ファイル作成手段によって作成された前記再生用ファイルが前記ネットワークを通じて前記端末装置に送信されるので、再生用ファイルを端末装置に提供すれば、テキストデータと前記他の種類の情報とを同期再生するように関連付けされているので、端末装置において複数種のデータの同期再生を実行できる。
【０２０５】
また、本発明の請求項１０に係る情報収集装置によれば、前記端末装置から言語の指定を入力する言語指定入力手段を有し、前記テキスト記録手段には複数の言語のそれぞれに対応する同一の内容を持つ複数のテキストデータが記録され、前記ファイル作成手段により、指定言語に応じたテキストデータを含む前記再生用ファイルが作成されるので、同一コンテンツの異なる言語のテキストデータに対してそれぞれ関連付けられた他の種類の情報を、指定された言語に応じて個々に提供することができる。
【０２０６】
また、本発明の請求項１１に係る情報収集装置によれば、前記テキスト記録手段に記録されるテキストデータの所定の単位は単語であり、前記情報入力手段によって単語に関する前記他の種類の情報が入力されるので、単語単位で異なる複数種の情報を収集して、それらを対応づけて記録することで単語帳（データベース）を作成することができる。
【０２０７】
また、本発明の請求項１２に係る情報収集プログラムによれば、このプログラムをコンピュータにインストールすることで、ネットワークを介して端末装置と接続されるコンピュータを、所定の単位に分類された複数のテキストデータを記録するテキスト記録手段と、前記テキスト記録手段によって記録されたテキストデータの何れかを指定する情報を前記端末装置から入力する指定入力手段と、前記指定入力手段によって入力された情報が指定するテキストデータに関連する他の種類の情報を前記端末装置から入力する情報入力手段と、前記情報入力手段によって入力された情報と前記指定入力手段によって入力された情報が指定するテキストデータとを同期出力させるために対応づけて記録する情報記録手段とに機能させて、テキストと共に同期出力させるための複数種のデータ（例えば画像や音声）を、ネットワークを通じて収集することができ、データの拡張性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の情報収集装置の実施形態に係る端末装置１０の電子回路の構成を示すブロック図。
【図２】本発明の情報収集装置を実現するサーバ３０の電子回路の構成を示すブロック図。
【図３】再生用ファイルを構成するタイムコードファイル（基本データ）の一例を示す図。
【図４】再生用ファイルを構成するタイムコードファイル（修正後データ）の一例を示す図。
【図５】端末装置１０において同期コンテンツ作成処理プログラム１２ａ１によりサーバ３０に対してデータを提供する場合の処理を説明するためのフローチャート。
【図６】同期コンテンツ作成処理プログラム３２ａ１により端末装置１０から提供されるデータを収集する場合の処理を説明するためのフローチャート。
【図７】端末装置１０において表示される画面の一例を示す図。
【図８】端末装置１０において表示される画面の一例を示す図。
【図９】端末装置１０において表示される画面の一例を示す図。
【図１０】端末装置１０において表示される画面の一例を示す図。
【図１１】各言語のテキストデータに対して収集された画像の一例を示す図。
【図１２】端末装置１０の同期コンテンツ再生処理プログラム１２ａ２に従ったメディア再生処理を示すフローチャート。
【図１３】メディア再生処理に伴って実行されるタイムコードファイルを作成するための命令コード作成処理を示すフローチャート。
【図１４】端末装置１０において表示される画面の一例を示す図。
【図１５】端末装置１０において表示される画面の一例を示す図。
【図１６】端末装置１０において表示される画面の一例を示す図。
【図１７】単語単位で画像、音声、テキストのデータが記録される場合のデータ構造の一例を示す図。
【符号の説明】
１０  …端末装置
１１，３０  …ＣＰＵ
１２，３２  …メモリ
１２Ａ…ＲＯＭ
１２ａ…端末制御プログラム
１２ａ１，３２ａ１…同期コンテンツ作成処理プログラム
１２ａ２…同期コンテンツ再生処理プログラム
１２Ｂ…ＦＬＡＳＨメモリ
１２ｂ…暗号化された再生用ファイル（ＣＡＳファイル）
１２Ｃ…ＲＡＭ
１２ｃ…解読された再生用ファイル（ＣＡＳファイル）
１２ｄ…画像展開バッファ
１２ｃ１，３２ｃ１…ヘッダ情報
１２ｃ１ａ，３２ｃ１ａ…処理単位時間
１２ｃ２，３２ｃ２…タイムコードファイル
１２ｃ３，３２ｃ３…コンテンツ内容データ
１３，３３  …外部記録媒体
１４，３４  …記録媒体読取部
１５，３５  …電送制御部
１６  …通信部
１７ａ，３９…入力部
１７ｂ…座標入力装置
１８，３８  …表示部
１９ａ…音声入力部
１９ｂ…ステレオ音声出力部
２０  …通信機器（自宅ＰＣ）
３０  …サーバ
Ｎ  …ネットワーク（インターネット）
３２ａ…サーバ制御プログラム
３２ａ２…同期コンテンツ提供処理プログラム
３２ｃ…生成された再生用ファイル（ＣＡＳファイル）
３２ｄ…情報収集画面データ
３２ｅ…同期コンテンツ提供画面データ
３２ｆ…テキストバッファ
３２ｇ…音声バッファ
３２ｈ…画像展開バッファ
【図１】
2004304647.tif 000003
【図２】
2004304647.tif 000004
【図３】
2004304647.tif 000005
【図４】
2004304647.tif 000006
【図５】
2004304647.tif 000007
【図６】
2004304647.tif 000008
【図７】
2004304647.tif 000009
【図８】
2004304647.tif 000010
【図９】
2004304647.tif 000011
【図１０】
2004304647.tif 000012
【図１１】
2004304647.tif 000013
【図１２】
2004304647.tif 000014
【図１３】
2004304647.tif 000015
【図１４】
2004304647.tif 000016
【図１５】
2004304647.tif 000017
【図１６】
2004304647.tif 000018
【図１７】
2004304647.tif 000019