(57)【要約】【課題】面倒な作業を行うことなく、書籍や新聞等の資料内容に関する音声で聴きながら、書籍や新聞等の複数の資料のうち音声で説明されている資料を表示させることができるようにする。【解決手段】ユーザ操作によりＰＣ１１０からネットワーク１を介して同期再生データ生成サーバ１００に対して資料群の配信要求があると、ユーザ操作にしたがって資料群に含まれる複数の資料画像表示データが順次ＰＣ１１０に送信されて資料画像が順次切り替えられながら表示される。このような資料画像の表示が行われている間にかかる資料群に関連する音声データ（ユーザによる資料朗読など）がＰＣ１１０から同期再生データ生成サーバ１００に送信され、かかる音声データの再生と資料画像の表示とを同期させることができる同期再生データが生成される。【選択図】      図１
2004282614.tif 000002
【特許請求の範囲】
【請求項１】
通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生データ生成装置であって、
複数の資料画像表示データを有する資料画像群を記憶する画像データ記憶手段と、
ネットワークを介して前記通信端末から送信される資料画像群を指定する指定情報が前記通信手段によって受信された場合に指定された資料画像群をネットワークを介して前記通信端末に送信するよう前記通信手段を制御する画像送信手段と、
前記画像送信手段によって送信された前記資料画像群に基づく画像表示がなされている間に取得された音声データが前記ネットワークを介して前記通信端末から供給されて前記通信手段によって受信された場合に、受信された音声データと、前記指定情報によって指定された前記資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成手段と
を具備することを特徴とする同期再生データ生成装置。
【請求項２】
前記画像送信手段は、前記通信端末から送信される資料画像切り替え指示にしたがって順次資料画像群に含まれる資料画像表示データを送信し、
前記同期再生データ生成手段は、前記切り替え指示が行われたタイミングに基づいて前記音声データの再生中に前記資料画像群に含まれる各資料画像表示データに基づく画像表示を行うべきタイミングを示すタイミング情報を取得し、当該タイミング情報に基づいて前記同期再生データを生成する
ことを特徴とする請求項１に記載の同期再生データ生成装置。
【請求項３】
前記同期再生データ生成手段は、前記通信端末のユーザによって前記資料画像表示データに基づく画像表示状態の変更指示があった場合に、その変更指示があったタイミングに基づいて前記資料画像群に含まれる各資料画像表示データに基づく画像表示状態を変更すべきタイミングを示す表示状態タイミング情報を取得し、当該表示状態タイミング情報に基づいて前記同期再生データを生成する
ことを特徴とする請求項２に記載の同期再生データ生成装置。
【請求項４】
前記通信手段によって受信される前記指定情報に前記資料画像群を指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群を特定する音声解析手段をさらに具備し、
前記画像送信手段は、前記音声解析手段によって特定された資料画像群を送信するよう前記通信手段を制御する
ことを特徴とする請求項１ないし３のいずれかに記載の同期再生データ生成装置。
【請求項５】
通信端末から前記ネットワークを介して供給される資料画像群が前記通信手段によって受信された場合に、受信された前記資料画像群を前記画像データ記憶手段に書き込む画像記録手段をさらに具備する
ことを特徴とする請求項１ないし４のいずれかに記載の同期再生データ生成装置。
【請求項６】
前記同期再生データ生成手段によって生成される同期再生データを、前記指定情報の送信元である前記通信端末に前記ネットワークを介して送信するよう前記通信手段を制御する同期再生データ送信手段をさらに具備することを特徴とする請求項１ないし５のいずれかに記載の同期再生データ生成装置。
【請求項７】
前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータである
ことを特徴とする請求項１ないし６のいずれかに記載の同期再生データ生成装置。
【請求項８】
通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生コンテンツ提供装置であって、
複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶する記憶手段と、
ネットワークを介して前記通信端末から送信される、資料画像群および当該資料画像群に関連する前記音声データを指定する指定情報が前記通信手段によって受信された場合に、指定された資料画像群に含まれる資料画像表示データおよび前記音声データを、前記同期用データに基づいたタイミングで前記ネットワークを介して前記通信端末に送信するよう前記通信手段を制御し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づく再生とを同期させて行わせるコンテンツ送信手段と
を具備することを特徴とする同期再生コンテンツ提供装置。
【請求項９】
前記コンテンツ送信手段は、前記音声データの再生時刻と各前記資料画像表示データとが対応付けられた前記同期用データに基づいて、前記前記音声データに基づく再生時刻に応じて前記資料画像表示データを送信するよう前記通信手段を制御する
ことを特徴とする請求項８に記載の同期再生コンテンツ提供装置。
【請求項１０】
前記通信手段によって受信される前記指定情報に前記資料画像群および前記音声データを指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群および前記音声データを特定する音声解析手段をさらに具備し、
前記画像送信手段は、前記音声解析手段によって特定された資料画像群および前記音声データを送信させる
ことを特徴とする請求項８または９に記載の同期再生コンテンツ提供装置。
【請求項１１】
通信端末から前記ネットワークを介して供給される資料画像群、これに関連する前記音声データおよび当該資料画像群に基づく画像表示と前記音声データに基づく再生とを同期させるための同期用データが前記通信手段によって受信された場合に、受信された前記資料画像群、前記音声データおよび前記同期用データを前記記憶手段に書き込む記録手段をさらに具備する
ことを特徴とする請求項８ないし１０のいずれかに記載の同期再生コンテンツ提供装置。
【請求項１２】
前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータである
ことを特徴とする請求項８ないし１１のいずれかに記載の同期再生コンテンツ提供装置。
【請求項１３】
前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段をさらに具備する
ことを特徴とする請求項８ないし１２のいずれかに記載の同期再生コンテンツ提供装置。
【請求項１４】
前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段であって、課金処理の対象となる前記通信端末のユーザが、前記記録手段が前記記憶手段に記録させた資料画像群、音声データおよび同期用データの送信主であるか否かを判別し、当該判別結果に基づいた処理を行う
ことを特徴とする請求項１１に記載の同期再生コンテンツ提供装置。
【請求項１５】
ネットワークを介して前記通信端末から送信される、複数の資料画像表示データを有する資料画像群を指定する指定情報を受信した同期再生データ生成サーバが、指定された資料画像群をネットワークを介して前記通信端末に送信し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像を表示させる画像表示ステップと、
前記通信端末から前記ネットワークを介して送信される、前記画像表示ステップにおいて前記資料画像群に基づく画像表示がなされている間に取得された音声データを受信した前記同期再生データ生成サーバが、受信した音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成ステップと
を具備することを特徴とする同期再生データ生成方法。
【請求項１６】
複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶するコンテンツ提供サーバからネットワークを介して通信端末にコンテンツを提供する方法であって、
ネットワークを介して前記通信端末から送信される、資料画像群およびこれに関連する前記音声データを指定する指定情報を受信した前記コンテンツ提供サーバが、指定された資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づいた再生が前記通信端末において同期して行われるよう前記同期用データに基づいてタイミングを制御して指定された前記資料画像群に含まれる資料画像表示データおよび前記音声データを前記ネットワークを介して前記通信端末に送信するコンテンツ送信ステップ
を具備することを特徴とするコンテンツ提供方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、同期再生データ生成装置、同期再生コンテンツ提供装置、同期再生データ生成方法およびコンテンツ提供方法に関する。
【０００２】
【従来の技術】
子供に童話などを読み聞かせる場合などには、親等は童話の本を開き子供に見せながら読んであげるといったことが行われる。このような読み聞かせは子供にとっては楽しみであり、また教育上も重要なものと考えられるが、このような読み聞かせを何度も行うには時間や手間を要することになる。
【０００３】
また、視力障害者、視力の弱い人、高齢者等にとっては、文字の小さい新聞、雑誌、その他の書籍等を読むのが困難な場合もあり、このような人々が書籍等から情報を有効に得られないといったケースもある。
【０００４】
このように書籍などの文書を読み聞かせるために、文書データ中の文書を言語解析し、言語解析された文書を合成して音声として出力する装置、いわゆる文書読み上げ装置を用いる方法がある（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開２０００−９９０７３号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、童話、小説、雑誌などの書籍や新聞等は複数ページにわたる者であることが多く、またそのページ中に挿絵や写真が含まれたり、また文字の大きさも一律ではなく、見出し文字等が用いられる等その掲載内容にメリハリがつけられている場合もあり、挿絵、写真や見出し文字等によって掲載内容がより容易に理解できる場合もある。
【０００７】
上記のような文書読み上げ装置によっては、予め用意されている文書データに基づく読み上げを行うことができるが、聴いている者は挿絵、写真等を見ることができず、読み上げられた内容を十分に把握できなかったりする場合もある。もちろん、文書読み上げ装置に読み上げさせる文書と同内容の書籍、新聞を用意して、それを参照しながら読み上げ内容を聞くといったことで上記の問題を解消することができるが、その作業が面倒である。
【０００８】
この発明は上記に鑑みてなされたもので、面倒な作業を行うことなく、書籍や新聞等の資料内容に関する音声で聴きながら、書籍や新聞等の複数の資料のうち音声で説明されている資料を表示させることができる同期再生コンテンツ提供装置およびコンテンツ提供方法、このような同期再生が可能なデータを生成する同期再生データ生成装置および同期再生データ生成方法を得ることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生データ生成装置であって、複数の資料画像表示データを有する資料画像群を記憶する画像データ記憶手段と、ネットワークを介して前記通信端末から送信される資料画像群を指定する指定情報が前記通信手段によって受信された場合に指定された資料画像群をネットワークを介して前記通信端末に送信するよう前記通信手段を制御する画像送信手段と、前記画像送信手段によって送信された資料画像群に基づく画像表示がなされている間に取得された音声データが前記ネットワークを介して前記通信端末から供給されて前記通信手段によって受信された場合に、受信された音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成手段とを具備することを特徴とする同期再生データ生成装置である。
【００１０】
請求項１にかかる発明によれば、通信端末から所望する資料画像群を指定する指定情報をネットワークを介して送信すると、かかる指定に応じた資料画像群が送信され、通信端末において資料画像群に含まれる資料画像表示データに基づく画像表示をなすことができる。このような画像表示がなされている間に、表示される資料に関する説明などの音声データを取得して通信端末から送信することで、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができる。
【００１１】
また、請求項２にかかる発明は、請求項１にかかる発明の構成において、前記画像送信手段は、前記通信端末から送信される資料画像切り替え指示にしたがって順次資料画像群に含まれる資料画像表示データを送信し、前記同期再生データ生成手段は、前記切り替え指示が行われたタイミングに基づいて前記音声データの再生中に前記資料画像群に含まれる各資料画像表示データに基づく画像表示を行うべきタイミングを示すタイミング情報を取得し、当該タイミング情報に基づいて前記同期再生データを生成することを特徴とする。
【００１２】
請求項２にかかる発明によれば、音声データの再生中に各資料画像を表示させるべきタイミングで各資料画像を表示させることが可能な同期再生データを得ることができる。
【００１３】
また、請求項３にかかる発明は、請求項２にかかる発明の構成において、前記同期再生データ生成手段は、前記通信端末のユーザによって前記各資料画像表示データに基づく画像表示状態の変更指示があった場合に、その変更指示があったタイミングに基づいて前記資料画像群に含まれる各資料画像表示データに基づく画像表示状態を変更すべきタイミングを示す表示状態タイミング情報を取得し、当該表示状態タイミング情報に基づいて前記同期再生データを生成することを特徴とする。
【００１４】
請求項３にかかる発明によれば、資料画像が表示されているときにユーザから表示拡大など表示状態の変更指示があった場合には、その指示タイミングから表示状態を変更すべきタイミングを取得し、取得したタイミングで表示状態が変更されるような同期再生データを得ることができる。
【００１５】
また、請求項４にかかる発明は、請求項１ないし３のいずれかにかかる発明の構成において、前記通信手段によって受信される前記指定情報に前記資料画像群を指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群を特定する音声解析手段をさらに具備し、前記画像送信手段は、前記音声解析手段によって特定された資料画像群を送信するよう前記通信手段を制御することを特徴とする。
【００１６】
請求項４にかかる発明によれば、通信端末のユーザは声を発し、その音声データを送信すれば、その音声データの内容が解析されて指定した資料画像群が特定される。したがって、ユーザは指定したい資料画像群を特定するための内容を声で発するといった簡易な作業で希望する資料画像群を指定することができる。
【００１７】
また、請求項５にかかる発明は、請求項１ないし４のいずれかにかかる発明の構成において、通信端末から前記ネットワークを介して供給される資料画像群が前記通信手段によって受信された場合に、受信された前記資料画像群を前記画像データ記憶手段に書き込む画像記録手段をさらに具備することを特徴とする。
【００１８】
請求項５にかかる発明によれば、あるユーザが自作したオリジナルの資料画像群を通信端末からネットワークを介して送信すれば、その資料画像群が新たに他のユーザ等に提供可能な資料画像群として記憶される。したがって、提供可能な資料画像群をより多くすることができる。
【００１９】
また、請求項６にかかる発明は、請求項１ないし５のいずれかにかかる発明の構成において、前記同期再生データ生成手段によって生成される同期再生データを、前記指定情報の送信元である前記通信端末に前記ネットワークを介して送信するよう前記通信手段を制御する同期再生データ送信手段をさらに具備することを特徴とする。
【００２０】
請求項６にかかる発明によれば、ユーザが指定した資料画像群に含まれる資料画像の表示と、ユーザがかかる資料画像群に関連して取得して送信した音声データの再生とを同期させることができる同期再生データを当該ユーザの通信端末に送信されるので、ユーザはこの同期再生データに基づいた資料画像表示と音声データ再生とを視聴することができる。
【００２１】
また、請求項７にかかる発明は、前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータであることを特徴とする。
【００２２】
請求項７にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる同期再生データを得ることができる。
【００２３】
また、請求項８にかかる発明は、通信端末とネットワークを介してデータの授受を行う通信手段を備えた同期再生コンテンツ提供装置であって、複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶する記憶手段と、ネットワークを介して前記通信端末から送信される、資料画像群および当該資料画像群に関連する前記音声データを指定する指定情報が前記通信手段によって受信された場合に、指定された資料画像群に含まれる資料画像表示データおよび前記音声データを、前記同期用データに基づいたタイミングで前記ネットワークを介して前記通信端末に送信するよう前記通信手段を制御し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づく再生とを同期させて行わせるコンテンツ送信手段とを具備することを特徴とする同期再生コンテンツ提供装置である。
【００２４】
請求項８にかかる発明によれば、ユーザが通信端末から視聴したい資料画像群およびこれに関連する音声データを指定する指定情報を送信すれば、音声データが送信されて通信端末で再生されている間に、同期用データに基づいて当該資料画像群に含まれる複数の資料画像表示データが所定のタイミングで順次送信されて通信端末において表示されることになる。したがって、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができる。
【００２５】
また、請求項９にかかる発明は、請求項８にかかる発明の構成において、前記コンテンツ送信手段は、前記音声データの再生時刻と各前記資料画像表示データとが対応付けられた前記同期用データに基づいて、前記前記音声データに基づく再生時刻に応じて前記資料画像表示データを送信するよう前記通信手段を制御することを特徴とする。
【００２６】
請求項９にかかる発明によれば、音声データの再生時刻が、同期用データにおいてある資料画像表示データに対応付けられた再生時刻となったときに、当該資料画像表示データが通信端末に送信される。このように送信されたタイミングで資料画像表示データを表示すれば、音声データに基づく音声再生と資料画像表示との同期再生が可能となる。
【００２７】
また、請求項１０にかかる発明は、請求項８または９にかかる発明の構成において、前記通信手段によって受信される前記指定情報に前記資料画像群および前記音声データを指定するためにユーザが発した音声データが含まれている場合、当該音声データの内容を解析し、ユーザの指定した前記資料画像群および前記音声データを特定する音声解析手段をさらに具備し、前記画像送信手段は、前記音声解析手段によって特定された資料画像群および前記音声データを送信させることを特徴とする。
【００２８】
請求項１０にかかる発明によれば、通信端末のユーザは声を発し、その音声データを送信すれば、その音声データの内容が解析されて指定した資料画像群および音声データが特定される。したがって、ユーザは指定したい資料画像群および音声データを特定するための内容を声で発するといった簡易な作業で希望する資料画像群および音声データを指定することができる。
【００２９】
また、請求項１１にかかる発明は、請求項８ないし９のいずれかにかかる発明の構成において、通信端末から前記ネットワークを介して供給される資料画像群、これに関連する前記音声データおよび当該資料画像群に基づく画像表示と前記音声データに基づく再生とを同期させるための同期用データが前記通信手段によって受信された場合に、受信された前記資料画像群、前記音声データおよび前記同期用データを前記記憶手段に書き込む記録手段をさらに具備することを特徴とする。
【００３０】
請求項１１にかかる発明によれば、あるユーザが自作したオリジナルの資料画像群、音声データおよび同期用データを通信端末からネットワークを介して送信すれば、その資料画像群等のコンテンツが新たに他のユーザ等に提供可能なコンテンツとして記憶される。したがって、提供可能なコンテンツをより多くすることができる。
【００３１】
また、請求項１２にかかる発明は、請求項８ないし１１のいずれかにかかる発明の構成において、前記画像データ記憶手段に記憶される前記資料画像群に含まれる各資料画像表示データは、書籍または新聞に掲載される内容をページごとに表示するためのデータであることを特徴とする。
【００３２】
請求項１２にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる。
【００３３】
また、請求項１３にかかる発明は、請求項８ないし１２のいずれかにかかる発明の構成において、前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段をさらに具備することを特徴とする。
【００３４】
請求項１３にかかる発明によれば、通信端末に対して資料画像群および音声データを同期再生させるといったコンテンツ提供を行った場合に、その通信端末のユーザに対して課金を行うことができる。
【００３５】
また、請求項１４にかかる発明は、請求項１１にかかる発明の構成において、前記コンテンツ送信手段による送信制御がなされた場合に、送信先である前記通信端末のユーザに対して当該送信に対応する課金処理を行う課金手段であって、課金処理の対象となる前記通信端末のユーザが、前記記録手段が前記記憶手段に記録させた資料画像群、音声データおよび同期用データの送信主であるか否かを判別し、当該判別結果に基づいた処理を行うことを特徴とする。
【００３６】
請求項１４にかかる発明によれば、資料画像群、音声データおよび同期用データといったコンテンツの送信主である場合には、資料画像群等のコンテンツの提供を受けた場合にも課金をしない、または減額する等の優遇措置をとることができ、これにより自作コンテンツの送信を促すことができ、結果として提供可能なコンテンツを多くすることができる。
【００３７】
また、請求項１５にかかる発明は、ネットワークを介して前記通信端末から送信される、複数の資料画像表示データを有する資料画像群を指定する指定情報を受信した同期再生データ生成サーバが、指定された資料画像群をネットワークを介して前記通信端末に送信し、当該通信端末に資料画像群に含まれる資料画像表示データに基づく画像を表示させる画像表示ステップと、前記通信端末から前記ネットワークを介して送信される、前記画像表示ステップにおいて前記資料画像群に基づく画像表示がなされている間に取得された音声データを受信した前記同期再生データ生成サーバが、受信した音声データと、前記指定情報によって指定された資料画像群に基づく画像表示を同期させて行うための同期再生データを生成する同期再生データ生成ステップとを具備することを特徴とする同期再生データ生成方法である。
【００３８】
請求項１５にかかる発明によれば、通信端末から所望する資料画像群を指定する指定情報をネットワークを介して送信すると、かかる指定に応じた資料画像群が送信され、資料画像群に含まれる資料画像表示データに基づく画像表示がなされる。このような画像表示がなされている間に、表示される資料に関する説明などの音声データを取得して通信端末から送信することで、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができる。
【００３９】
また、請求項１６にかかる発明は、複数の資料画像表示データを有する資料画像群と、前記資料画像群に基づいて表示される画像に関連する音声データと、前記資料画像群に基づく画像表示と当該資料画像群に関連する前記音声データの再生とを同期させて行うための同期用データとを記憶するコンテンツ提供サーバからネットワークを介して通信端末にコンテンツを提供する方法であって、ネットワークを介して前記通信端末から送信される、資料画像群およびこれに関連する前記音声データを指定する指定情報を受信した前記コンテンツ提供サーバが、指定された資料画像群に含まれる資料画像表示データに基づく画像表示と前記音声データに基づいた再生が前記通信端末において同期して行われるよう前記同期用データに基づいてタイミングを制御して指定された前記資料画像群に含まれる資料画像表示データおよび前記音声データを前記ネットワークを介して前記通信端末に送信するコンテンツ送信ステップを具備することを特徴とするコンテンツ提供方法である。
【００４０】
請求項１６にかかる発明によれば、ユーザが通信端末から視聴したい資料画像群およびこれに関連する音声データを指定する指定情報を送信すれば、音声データが送信されて通信端末で再生されている間に、同期用データに基づいて当該資料画像群に含まれる複数の資料画像表示データが所定のタイミングで順次送信されて通信端末において表示されることになる。したがって、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができる。
【００４１】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる同期再生データ生成装置、同期再生コンテンツ提供装置、同期再生データ生成方法およびコンテンツ提供方法の好適な実施の形態を詳細に説明する。
【００４２】
Ａ．第１実施形態
図１は、本発明の第１実施形態にかかる同期再生データ生成方法が適用される同期再生データ配信サービスを実施するためのネットワークシステムの全体構成を示す図である。同図に示すように、このネットワークシステムは、インターネット等のネットワーク１を介してデータの互いに授受が可能な同期再生データ生成サーバ１００と、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）１１０とを備えている。
【００４３】
このネットワークシステムにより実施される同期再生データ配信サービスは、複数ページにわたる資料画像の表示と、その資料に関連する音声再生（例えば資料の朗読や説明など）とを同期させて行うための同期再生データを生成して配信するサービスであり、ＰＣ１１０はかかるサービスによって同期再生データの配信を受けるユーザが利用する端末である。なお、本明細書において資料画像の表示と音声データの同期再生とは、音声データの再生時刻等に応じて順次資料画像の表示ページを切り替えていくといったように音声再生と資料画像表示を関連付けて制御することをいう。
【００４４】
また、この同期再生データ配信サービスでは、同期再生させる音声データをサービスを受けるユーザが作成することができ、つまりユーザオリジナルの音声データとすることができ、かかるオリジナルの音声データをＰＣ１１０から同期再生データ生成サーバ１００に送信して同期再生データを生成させ、その生成された同期再生データの配信を受けるようになっている。
【００４５】
このようなサービスの利用に用いられるＰＣ１１０は、インターネット等のネットワーク１に接続するための通信機能と、当該ネットワーク１を介してＷｅｂサーバ等との間でデータの授受を行ってＷｅｂページの閲覧等を行うためのブラウザ機能とを備えている。このような機能を備えることで、ＰＣ１１０は、ネットワーク１を介して同期再生データ生成サーバ１００とデータの授受を行う通信端末として機能する。また、ＰＣ１１０には、資料画像表示と同期再生させるユーザオリジナルの音声データを取得するためのマイクロホン１１５が接続されている。
【００４６】
同期再生データ生成サーバ１００は、同期再生データ配信サービスを実施する事業者等によって設置されるサーバであり、単一または互いに通信可能な複数のパーソナルコンピュータやワークステーション等で構成されている。そして、内蔵するハードディスク等の外部記憶装置に格納されたプログラムを実行することにより、同期再生データ生成のための種々の機能を実現する。
【００４７】
より具体的には、同期再生データ生成サーバ１００は、通信インターフェース（ＩＦ：ｉｎｔｅｒｆａｃｅ）１５０と、資料群送信部１６０と、インデキシング部１７０と、資料記憶部１８０と、コンテンツ送信部１９０とを備える。
【００４８】
通信インターフェース（通信手段）１５０は、インターネットなどのネットワーク１を介して他の通信端末とデータの授受を行うものであり、ルータなどを備えている。
【００４９】
資料群送信部１６０は、ＰＣ１１０から送信される配信を希望する資料群を指定する情報を含む資料配信要求が通信インターフェース１５０によって受信された場合に、かかる指定にしたがった資料群を資料記憶部１８０から読み出す。そして、資料群送信部１６０は、読み出した資料群をネットワーク１を経由して要求元であるＰＣ１１０に送信するよう通信インターフェース１５０を制御する。
【００５０】
資料記憶部１８０は、ハードディスクドライブ等の記憶装置を有しており、図２に示すように、多数の資料群を記憶している。１つの資料群は、童話、小説、雑誌、教育用図書などの書籍の１ページに相当する内容や、新聞の１ページに相当する内容を表示させるための資料画像表示データを書籍や新聞のページ数に相当する数だけ有している。
【００５１】
すなわち、ある童話について資料群Ａは、その童話書籍のすべてのページ（１〜ｎページ）の各々を表示させるための資料画像表示データを含んでおり、ある日の新聞について資料群Ｂは、その新聞のすべてのページ（１〜ｎページ）の各々を表示させるための資料画像表示データを含んでいる。
【００５２】
資料記憶部１８０には、以上のような童話、小説、教育用図書（参考書や問題集など）、雑誌などの種々の書籍や新聞に対応する資料群が記憶されているのである。このような資料群に含まれる資料画像表示データとしては、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式等種々の公知の画像表示データのフォーマットを採用することがでる。
【００５３】
なお、これらの資料群は、実際に発刊された書籍や新聞と全くの同一の内容を表示させるようなものであってもよいが、書籍や新聞の内容と変更したものを表示させるものであってもよいし、書籍としては発刊していない内容を表示させるものであってもよく、書籍や新聞等に類似した形式のオリジナルの資料群を作成して記憶させるようにしてもよい。
【００５４】
図１に示す資料群送信部１６０は、上記のように種々の資料群が記憶されている資料記憶部１８０から、ＰＣ１１０から送信された配信要求者の指定にしたがった資料群を読出し、資料群に含まれる資料画像表示データを順次ネットワーク１を介してＰＣ１１０に送信し、ＰＣ１１０の表示部に送信した資料画像表示データに対応する資料画像を表示させるのである。
【００５５】
また、資料群送信部１６０は、音声解析部１６１を有している。音声解析部１６１は、ＰＣ１１０から送信される資料配信要求に、資料群を指定するための音声データが含まれている場合、その音声データの内容を解析し、その解析結果に基づいて配信要求者が指定した資料郡を特定する。より具体的には、音声解析部１６１は、当該音声データに対して音声認識処理を行い、当該音声データに含まれる文字列（テキストデータ等）を取得する。音声解析部１６１は、図３に示す予め用意された資料群特定用データベースを参照することで、取得した文字列に基づいて資料群を特定する。
【００５６】
同図に示すように、資料群特定用データベースには、予め資料記憶部１８０に記憶されている種々の資料群の各々に、その資料群の内容を特定するためのキーワードとなる文字列が１または複数が対応付けられて記憶されている。このようなキーワードとしては、その資料群のタイトルそのものであってもよいし、童話などの書籍に対応する資料群の場合には、その内容に関するもの、例えば童話なら「王様」、「姫様」など、教育用書籍なら「数学」、「初級」などである。
【００５７】
音声解析部１６１は、このような資料群特定用データベースの中に、音声データから取得した文字列と一致するものがあるか否かを判別し、一致した文字列に対応付けられた資料群を特定するのである。なお、資料群のタイトルそのものが取得した文字列に含まれていた場合には、文字列と一致したタイトルの資料群を特定するようにしてもよいが、タイトル以外のキーワード、例えば資料群の内容に関するキーワード（「王様」、「姫様」）などの場合には、複数のキーワードが取得した文字列中に含まれていた場合にのみ、文字列が一致したものとして資料群を特定するようにしてもよい。
【００５８】
図１に戻り、インデキシング部１７０は、上記のように資料群送信部１６０から指定された資料群に含まれる資料画像表示データが送信されてＰＣ１１０の表示部に資料画像が表示されている間に、当該ＰＣ１１０からネットワーク１を介して送信される音声データが受信された場合に、当該音声データの再生と、指定された資料郡に含まれる各資料画像表示データに基づく画像表示とを同期させるための同期再生データを生成する。
【００５９】
同期再生データとは、音声データが再生されている間に、その音声データの再生時刻に応じて資料群に含まれる資料画像表示データに基づく画像表示を順次切り替えて行うためのデータであり、かかるデータ生成のためには再生時刻と各資料画像表示のタイミング、つまり再生時刻がどの時にどの資料画像を表示させるかを決定する必要がある。インデキシング部１７０は、資料群送信部１６０から資料群に含まれる各資料画像表示データを配信要求元であるＰＣ１１０に送信し、表示が切り替えられたタイミングを示すタイミング情報を取得し、かかるタイミング情報に示されるタイミングに基づいて同期再生データを生成しているが、当該生成処理についての詳細は後述する。
【００６０】
コンテンツ送信部１９０は、上記のようにインデキシング部１７０によって生成された同期再生データ（音声データ、資料群およびこれらを同期再生させるための同期再生用データ）を、同期再生データの配信要求元であるＰＣ１１０にネットワーク１を経由して送信するよう通信インターフェース１５０を制御する。
【００６１】
以上が本実施形態にかかる同期再生データ生成方法が適用される同期再生データ配信サービスを実施するためのネットワークシステムの各部の構成である。
【００６２】
次に、同期再生データ配信サービスが実施される際の上記構成のネットワークシステムの各部の動作について図４を参照しながら説明する。
【００６３】
同図に示すように、同期再生データの生成および配信を希望するユーザは、ＰＣ１１０を適宜操作し、これによりＰＣ１１０でブラウザを起動させ、予め決められたアドレス（同期再生データ生成サーバ１００を示すもの）を指定してネットワーク１に接続させる（ステップＳａ１）。
【００６４】
ＰＣ１１０からのアクセスを受けた同期再生データ生成サーバ１００は、資料群を選択指定をユーザに促すためのＷｅｂページをネットワーク１を経由してＰＣ１１０に送信する（ステップＳａ２）。このＷｅｂページを受信したＰＣ１１０の表示部には、例えば選択指定可能な多数の資料群のタイトルなどが一覧表示されており、ユーザはかかる一覧表示された資料群を選択指定する。なお、タイトルが不明な資料群の選択指定を可能等するために、資料の内容に関するキーワード（小説の作者名、主人公名等）等を指定することで、当該キーワードに一致する資料郡のみを一覧表示させて選択させるようにしてもよいし、上述したようにユーザがタイトルやキーワードを発声することでマイクロホン１１５を介した音声入力を利用して資料群の指定を行うようにしてもよい。
【００６５】
ユーザはＰＣ１１０のマウス等を操作し、資料群を指定するための情報（音声データであってもよい）を入力し配信要求を指示すると、かかる指示に応じてＰＣ１１０はネットワーク１を経由して、資料群を指定するための情報を含む資料群配信要求を同期再生データ生成サーバ１００に送信する（ステップＳａ３）。
【００６６】
かかる配信要求を受けた同期再生データ生成サーバ１００の資料群送信部１６０は、この配信要求に含まれる指定にしたがって資料記憶部１８０から資料群を読出し、かかる資料群のＰＣ１１０への送信を開始する（ステップＳａ４）。ここで、資料群送信部１６０は、指定された資料郡に含まれる１ページ目の資料を表示するための資料画像表示データを送信し、これによりＰＣ１１０の表示部にはかかる１ページ目の資料画像が表示される。
【００６７】
このように１ページ目の資料画像が表示された状態で、ユーザはＰＣ１１０を適宜操作し、マイクロホン１１５から入力される音声データの送信を開始するよう指示する。この指示をなした後、ユーザはマイクロホン１１５に向けて、表示された資料を朗読する等音声を発し、当該音声に対応する音声データがマイクロホン１１５からＰＣ１１０に取り込まれ、かかる音声データのネットワーク１を経由した同期再生データ生成サーバ１００へのリアルタイム送信が開始される（ステップＳａ５）。
【００６８】
このような音声データの送信が開始されると、同期再生データ生成サーバ１００のインデキシング部１７０は、その音声データを記録するとともに、音声データの送信開始時からタイマーのカウントを開始する（ステップＳａ６）。そして、ユーザの発した音声に基づく音声データが送信されている間に、ユーザがＰＣ１１０の表示部に表示される資料画像を次ページのものに切り替えることをＰＣ１１０に指示した場合、その旨がＰＣ１１０からネットワーク１を介して同期再生データ生成サーバ１００に送信される（ステップＳａ７）。
【００６９】
例えば、ユーザが表示されている資料（童話や新聞）を朗読し終えると、次ページの朗読を行うために表示切り替え指示を行うと、その指示がＰＣ１１０から同期再生データ生成サーバ１００に送信されるのである。かかる表示切り替え指示を受けた同期再生データ生成サーバ１００の資料群送信部１６０は指定された資料群の中から先に送信した資料画像表示データの次ページに対応する資料画像表示データをネットワーク１を介してＰＣ１１０に送信し（ステップＳａ８）、これによりＰＣ１１０の表示部には次ページの資料画像が表示される。
【００７０】
また、このような資料画像表示切り替え指示を受けると、同期再生データ生成サーバ１００のインデキシング部１７０は、タイマカウント開始（音声データの送信開始）から当該指示が行われて表示が切り替えられた時点の経過時間と、どのページからどのページに切り替えがなされたかといった表示切り替え内容を含むタイミング情報を取得する（ステップＳａ９）。
【００７１】
その後も、ユーザがＰＣ１１０の表示部に表示させるべき資料画像のページの切り替えを指示すると、上記ステップＳａ７〜ステップＳａ９の処理が繰り返され、当該指示に応じた資料画像表示データが同期再生データ生成サーバ１００から順次ＰＣ１１０に送信されて資料画像が表示されるとともに、その表示切り替え内容と音声データ送信開始からの切り替えタイミングを含むタイミング情報が取得される。
【００７２】
そして、ユーザからＰＣ１１０に対して音声データの入力を終了した旨の指示があった場合にはＰＣ１１０からネットワーク１を介してその旨が同期再生データ生成サーバ１００に送信される（ステップＳａ１０）。音声データ送信終了通知を受けた同期再生データ生成サーバ１００のインデキシング部１７０は、指定された資料群、ＰＣ１１０から送信された音声データおよび上記のように取得したタイミング情報に基づいて、資料群に含まれる各資料画像表示データに基づく画像表示と、音声データに基づく音声再生とを同期させるための同期再生データを生成する（ステップＳａ１１）。
【００７３】
ここで、インデキシング部１７０が生成する同期再生データ、画像表示データと、音声データといった異なる形式のデータの再生を制御して同期させるデータのフォーマットとして、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）形式があり、本実施形態におけるインデキシング部１７０は同期再生データとしてかかるＳＭＩＬ形式のデータを作成する。
【００７４】
そして、インデキシング部１７０は、タイミング情報等から以下のデータを取得し、これらをＳＭＩＬ形式にしたがって記述することでＳＭＩＬ形式のプレゼンテーションデータを作成する。
（１）各資料画像の表示タイミング（開始時刻、終了時刻）
（２）各資料画像（ＪＰＥＧ２０００等）の保存場所（ファイルパス情報）
（３）各資料画像に対応する音声データの保存場所（ファイルパス情報）
【００７５】
このように情報に基づいて作成される同期再生データにおける、資料画像と音声データとの同期の対応関係について図５に模式的に示す。同図に示す例では、音声データの送信開始時（０：００）から１：１５経過後に１ページ目の資料画像から２ページ目の資料画像への表示切り替え指示がなされ、２：４５の時点で３ページ目の資料画像への表示切り替え指示がなされ、３：５３の時点で４ページ目の資料画像への表示切り替え指示がなされたものとする。すなわち、ＰＣ１１０の表示部には、０：００〜１：１５の間は１ページ目の資料画像が表示され、１：１５〜２：４５の間は２ページ目の資料画像が表示され、２：４５〜３：５３の間は３ページ目の資料画像が表示されていたことになる。
【００７６】
ＰＣ１１０から同期再生データ生成サーバ１００への音声データ送信時に以上のようなタイミングで資料画像の表示切り替えが行われると、１ページ目の資料画像が表示されている間（時刻０：００〜１：１５）にリアルタイム送信された音声データ（つまり、この間にユーザが発した音声に対応する音声データ）と１ページ目の資料画像が対応付けられている。
【００７７】
また、２ページ目の資料画像が表示されている間（時刻１：１５〜２：４５）にリアルタイム送信された音声データと２ページ目の資料画像が対応付けられている。さらに３ページ目の資料画像が表示されている間（時刻２：４５〜３：５３）にリアルタイム送信された音声データが３ページ目の資料画像に対応付けられている。
【００７８】
インデキシング部１７０は、このような対応関係に基づいて資料画像表示データに基づく画像表示タイミングや音声データの再生を制御することで画像表示と音声再生とを同期させることができるＳＭＩＬ形式のデータを作成するのである。
【００７９】
インデキシング部１７０によって以上のような同期再生データが生成されると、同期再生データ生成サーバ１００のコンテンツ送信部１９０は、生成された同期再生データをネットワーク１を介して配信要求元であるＰＣ１１０に対して送信する（ステップＳａ１２）。
【００８０】
同期再生データ生成サーバ１００からの同期再生データの送信を受けたＰＣ１１０によれば、かかる同期再生データに基づく資料画像表示と音声データの同期再生が可能となる。すなわち、配信された同期再生データを所定の再生ソフトウェアにより再生することで、音声データの再生時刻に応じたページの資料画像がＰＣ１１０の表示部に表示されるので、ユーザは資料に関する音声（資料である童話、小説、新聞の朗読や説明など）を聴きながら、その音声によって朗読等されているページの資料を見ることができる。したがって、文書を単に読み上げる文書読み上げ装置と異なり、朗読等されている文書等の資料に挿絵、写真、見出し文字があったりするなど朗読を聞くだけでは正確に資料の内容を理解できない場合であっても、朗読等されている部分に対応するページの資料が表示されているので、資料の内容をより正確に理解することができるようになる。また、音声データの再生進行に応じて表示される資料のページが順次自動的に切り替わるので、朗読等されている部分に対応するページめくりのための操作等を行う必要がない。
【００８１】
しかも、再生される音声は事業者によって用意されたものではなく、ユーザが自ら発したオリジナルの音声であり、例えば子供に童話の読み聞かせなどをする場合であっても、電子的な合成音等による読み聞かせではなく、母親が発した音声による読み聞かせを行うことができる。また、一度上記のような同期再生データを生成しておけばその後母親などは実際に童話などを読むことなく、当該データを再生することで子供に対して読み聞かせを行うことができ、繰り返し読みか聞かせを行うといった必要がなくなり負担を軽減することができる。
【００８２】
Ｂ．第２実施形態
次に、図６は本発明の第２実施形態にかかるコンテンツ提供方法が適用されるコンテンツ提供サービスを実施するためのネットワークシステムの全体構成を示す。なお、第２実施形態において、第１実施形態と共通する構成要素には同一の符号をつけてその説明を省略する。
【００８３】
同図に示すように、このネットワークシステムは、インターネット等のネットワーク１を介してデータの互いに授受が可能なコンテンツ提供サーバ２００と、ＰＣ１１０と、ＰＣ１２０とを備えている。
【００８４】
このネットワークシステムにより実施されるコンテンツ提供サービスは、クライアントであるＰＣ１１０から要求があった場合に、複数ページにわたる資料画像の表示と、その資料に関連する音声再生（例えば資料の朗読や説明など）とをクライアントＰＣ１１０において同期させて行わせるといったサービスであり、ＰＣ１１０はかかるサービスによって同期再生データの配信を受けるユーザが利用する端末である。また、当該コンテンツ提供サービスでは、上記のような同期再生を行うためのコンテンツデータをクライアントＰＣからネットワーク１を介してコンテンツ提供サーバ２００にアップロードすることができるようになっている。以下、このようなサービスを行うための当該ネットワークシステムの各部の構成について説明する。
【００８５】
ＰＣ１１０およびＰＣ１２０は、上記実施形態と同様、通信機能およびブラウザ機能を備えており、またＰＣ１２０には同期再生を行うためのデータを作成するためのマイクロホン１１５が接続されている。
【００８６】
コンテンツ提供サーバ２００は、コンテンツサービスを実施する事業者等によって設置されるサーバであり、単一または互いに通信可能な複数のパーソナルコンピュータやワークステーション等で構成されている。そして、内蔵するハードディスク等の外部記憶装置に格納されたプログラムを実行することにより、コンテンツ提供のための種々の機能を実現する。
【００８７】
より具体的には、コンテンツ提供サーバ２００は、通信インターフェース１５０と、コンテンツ送信部２１０と、資料記憶部２２０と、コンテンツ記録部２３０とを備えている。
【００８８】
コンテンツ送信部２１０は、ＰＣ１１０から送信される配信を希望する資料群および音声データを指定する情報を含む資料配信要求が通信インターフェース１５０によって受信された場合に、かかる指定にしたがった資料群および音声データを資料記憶部２２０から読み出す。そして、コンテンツ送信部２１０は、読み出した資料群および音声データをネットワーク１を経由して要求元であるＰＣ１１０に送信するよう通信インターフェース１５０を制御する。
【００８９】
この際、コンテンツ送信部２１０は、資料記憶部２２０に記憶されている同期用データを参照し、資料群および音声データの送信タイミングを制御する。
【００９０】
資料記憶部２２０は、ハードディスクドライブ等の記憶装置を有しており、図７に示すように、多数の資料群を記憶している。１つの資料群は、上記第１実施形態と同様であり、童話、小説、雑誌、教育用図書などの書籍の１ページに相当する内容や、新聞の１ページに相当する内容を表示させるための資料画像表示データを複数有している。
【００９１】
また、資料記憶部２２０には、上記のような資料群の各々に関連する音声データ（各資料群の内容の朗読、説明等）が記憶されている。ここで、１つの資料群に対して複数の音声データが記憶されており、例えばある小説を朗読した音声データであっても、早く朗読する人の朗読を録音した音声データや、比較的ゆっくりと朗読する人の朗読を録音した音声データといった具合に複数の音声データが記憶されているのである。このように人が実際に朗読等したものを録音した音声データ以外にも、資料に含まれる文字列から電子的に合成した音声データを記憶するようにしてもよい。
【００９２】
また、資料記憶部２２０には、上記資料群に含まれる各資料画像表示データに基づく画像表示と、当該資料群に関連する音声データの再生とが送信先であるＰＣ１１０において同期してなされるように送信タイミングを制御するための同期用データが記憶されている。すなわち、上記第１実施形態において説明したような各資料画像表示データに基づく画像表示と、音声データの再生時刻との対応関係（図５参照）を示す同期用データが記憶されている。
【００９３】
資料記憶部２２０には、以上のような童話、小説、教育用図書（参考書や問題集など）、雑誌などの種々の書籍や新聞に対応する資料群と、これに関連する音声データと、資料群とこれに関連する音声データに基づく同期再生を行うための同期用データとが記憶されているのである。
【００９４】
図１に示すコンテンツ送信部２１０は、上記のように種々の資料群と、これに対応する音声データおよび同期用データが記憶されている資料記憶部２２０から、ＰＣ１１０から送信された配信要求者の指定にしたがった資料群および音声データを読出す。そして、コンテンツ送信部２１０は、音声データを送信してＰＣ１１０において音声データの再生を行わせるとともに、同期用データにしたがって音声データの送信時刻（ＰＣ１１０における音声データの再生時刻）に応じて資料群に含まれる資料画像表示データを順次ネットワーク１を介してＰＣ１１０に送信し、ＰＣ１１０の表示部に送信した資料画像表示データに対応する資料画像を表示させるのである。
【００９５】
また、コンテンツ送信部２１０は、上記第１実施形態における資料群送信部１６０と同様、音声解析部１６１を有している。したがって、ＰＣ１１０から送信される資料配信要求に、資料群とこれに関連する音声データを指定するための指定用の音声データが含まれている場合、その指定用の音声データの内容を解析し、その解析結果に基づいて配信要求者が指定した資料郡および音声データを特定する。
【００９６】
図１に戻り、コンテンツ記録部２３０は、ＰＣ１２０からネットワーク１を介して資料記憶部２２０に記憶されている資料群と、これに関連する音声データと、これらを同期再生させるための同期用データが送信された場合、つまり新たなコンテンツがアップロードされた場合に、そのコンテンツ（資料群、音声データおよび同期用データの組）を、新たに提供可能なコンテンツとして資料記憶部２２０に記憶させる。
【００９７】
以上が第２実施形態にかかるコンテンツ方法が適用されるコンテンツ提供サービスを実施するためのネットワークシステムの各部の構成である。
【００９８】
次に、コンテンツ提供サービスが実施される際の上記構成のネットワークシステムの各部の動作について図８を参照しながら説明する。
【００９９】
同図に示すように、資料画像表示と音声データとの同期再生を可能とするコンテンツの提供を希望するユーザは、ＰＣ１１０を適宜操作し、これによりＰＣ１１０でブラウザを起動させ、予め決められたアドレス（コンテンツ提供サーバ２００を示すもの）を指定してネットワーク１に接続させる（ステップＳｂ１）。
【０１００】
ＰＣ１１０からのアクセスを受けたコンテンツ提供サーバ２００は、資料群およびこれに関連する音声データの選択指定をユーザに促すためのＷｅｂページをネットワーク１を経由してＰＣ１１０に送信する（ステップＳｂ２）。このＷｅｂページを受信したＰＣ１１０の表示部には、例えば選択指定可能な多数の資料群のタイトルおよびこれに関連する複数の音声データの概略（例えば、早めの朗読、遅めの朗読等）などが一覧表示されており、ユーザはかかる一覧表示された資料群および音声データを選択指定する。
【０１０１】
ユーザはＰＣ１１０のマウス等を操作し、資料群および音声データを指定するための情報（音声データであってもよい）を入力し配信要求を指示すると、かかる指示に応じてＰＣ１１０はネットワーク１を経由して、資料群および音声データを指定するための情報を含む資料群配信要求を同期再生データ生成サーバ１００に送信する（ステップＳｂ３）。
【０１０２】
かかる配信要求を受けたコンテンツ提供サーバ２００のコンテンツ送信部２１０は、この配信要求に含まれる指定にしたがって資料記憶部２２０から資料群および音声データを読出し、読み出した資料群および音声データのＰＣ１１０への送信を行う（ステップＳｂ４）。
【０１０３】
上述したように本実施形態では、コンテンツ送信の際にコンテンツ提供サーバ２００は、資料群に含まれる各資料画像表示データの送信タイミングを同期用データにしたがって制御する。これによりＰＣ１１０における音声データの再生時刻に応じて、ＰＣ１１０の表示部に表示される資料のページが自動的に切り替わるといった画像と音声の同期再生がなされる（ステップＳｂ５）。これにより、ユーザは資料に関する音声（資料である童話、小説、新聞の朗読や説明など）を聴きながら、その音声によって朗読等されているページの資料を見ることができる。
【０１０４】
したがって、上記第１実施形態と同様、朗読等されている文書等の資料に挿絵、写真、見出し文字があったりするなど朗読を聞くだけでは正確に資料の内容を理解できない場合であっても、資料の内容をより正確に理解することができるようになる。また、音声データの再生進行に応じて表示される資料のページが順次自動的に切り替わるので、朗読等されている部分に対応するページめくりのための操作等を行う必要がない。
【０１０５】
また、コンテンツ提供サーバ２００側で各資料画像表示データの送信タイミングを同期用データに基づいて制御することで、ＰＣ１１０において上記のような同期再生を行うことができるようになっているので、ＰＣ１１０側に再生や表示タイミングを制御するといった特殊な機能が要求されない。
【０１０６】
また、上記のように資料画像と音声の同期再生を可能とするといったコンテンツの提供を受けるのみならず、ユーザは自ら作成したコンテンツをＰＣ１２０からネットワーク１を介してコンテンツ提供サーバ２００に送信すれば、コンテンツ記録部２３０によってユーザが作成したオリジナルのコンテンツが資料記憶部２２０に新たな提供用のコンテンツとして記録される。
【０１０７】
したがって、他のユーザがＰＣで当該コンテンツ提供サーバ２００にアクセスし、当該アップロードされたコンテンツの資料群および音声データを指定した配信要求を行えば、上述した過程を経ることで（ステップＳｂ１〜Ｓｂ５）、ユーザによって作成されてアップロードされた資料群に含まれる資料画像表示データに基づく画像表示と音声データに基づく再生とを配信要求をなした他のユーザのＰＣ上で同期させて行うことができる。
【０１０８】
Ｃ．変形例
なお、本発明は、上述した第１実施形態および第２実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【０１０９】
（変形例１）
上述した第１実施形態では、同期再生データ生成サーバ１００が、音声データを送信元であるＰＣ１１０に対して生成した同期再生用データを送信するようになっていたが、同期再生データ生成サーバ１００のコンテンツ送信部１９０が音声データ送信元以外の第３者のＰＣ等の通信端末宛てにネットワーク１を介して生成した同期再生データを送信するようにしてもよい。
【０１１０】
このように音声データの送信元、つまり同期再生データの生成にかかわった者以外の者に生成した同期再生用データを送信するといった場合には、次のような利用態様がある。まず、教育者がＰＣ１１０を利用して教育用図書に対応した資料群を指定し、かかる資料群に関連する音声データ、つまり当該教育用図書を用いて授業内容の音声データを同期再生データ生成サーバ１００に送信する。
【０１１１】
そして、同期再生データ生成サーバ１００が、当該音声データの再生と、教育用図書に対応する資料画像の表示とを同期させて行うための同期再生データを生成する。この後、同期再生データ生成サーバ１００に対して受講者の利用するＰＣからネットワーク１を介したアクセスがあった場合に、当該受講者のＰＣの表示部に表示させる配信希望同期再生データの選択画面に、教育用図書のタイトルおよび教育者の氏名等を表示させる。つまり、誰がどの教育用図書について授業をして生成された同期再生データであるかを選択者である受講者によって判別できるようにし、受講者がこのような表示を参照して配信を希望する同期再生データを選択する。
【０１１２】
受講者のＰＣから選択指定を含む配信要求を受けた同期再生データ生成サーバ１００が、指定された同期再生データを配信すれば、受講者はＰＣにおいて、所望する内容の教育図書に対応する資料画像を見ながら、その資料に対する所望する教育者の授業を聴くことができるようになる。
【０１１３】
このように教育者が音声データを送信することで、同期再生データ生成サーバ１００が生成した同期再生データを保持しておき、受講者からの配信要求があった場合にその受講者のＰＣに対して同期再生データを配信する、いわゆるプル配信を行うようにしてもよいが、予め音声データを送信する教育者のＰＣから同期再生データ生成サーバ１００に対して受講者を指定する情報（受講者のメールアドレスなど）を送信しておき、同期再生データ生成サーバ１００が指定された電子メールアドレス宛て等に生成した同期再生データを送信する、いわゆるプッシュ配信するようにしてもよい。
【０１１４】
（変形例２）
また、上述した第１実施形態における同期再生データ生成サーバ１００に代えて、図９に示すような同期再生データ生成サーバ３００を設け、ユーザが自ら作成した資料群を当該ユーザが利用するＰＣ等の通信端末からネットワーク１を介して同期再生データ生成サーバ１００にアップロードできるようにしてもよい。図９に示すように、同期再生データ生成サーバ３００は、上記第１実施形態における同期再生データ生成サーバ１００の構成に加え、資料記録部３２０を設けた構成となっている。
【０１１５】
資料記録部３２０は、資料群を作成した者が利用するＰＣ１３０からネットワーク１を介して資料群がアップロードされて通信インターフェース１５０によって受信された場合、当該資料群を資料記憶部１８０に新たにユーザに選択可能な資料群として追加記録する。このように資料記録部３２０によって追加記録された後は、他のユーザ等はＰＣ１１０を用いて当該同期再生データ生成サーバ３００にアクセスすることで、当該追加記録された資料群を選択し、これに関連する音声データを送信することで、あるユーザによって作成された資料群に基づく画像表示と、他のユーザによって送信された当該資料群に関連する音声データの音声再生とを同期させて行うための同期再生データを生成することも可能となる。
【０１１６】
（変形例３）
また、上述した第１実施形態では、ＰＣ１１０からネットワーク１を経由して画像表示切り替え指示がなされた場合に、同期再生データ生成サーバ１００が、次ページに対応する資料画像表示データをＰＣ１１０に送信するとともに（図４のステップＳａ８）、その指示があったタイミングを取得して同期再生データの生成に用いるようにしていた（ステップＳａ９、ステップＳａ１１）。
【０１１７】
このように表示切り替えのタイミングを取得して、音声データ再生時に自動的に資料画像の表示切り替えがなされるようにするのに加え、ユーザからページ切り替え以外の資料画像表示の表示状態を変更すべき指示があった場合に、その指示があったタイミングと当該指示によって変更される表示状態とを同期再生データ生成サーバ１００が取得し、このような表示状態の変更を反映させた画像表示が可能な同期再生データを生成するようにしてもよい。
【０１１８】
例えば、音声データの送信開始によるタイマカウント開始（図４のステップＳａ６）から２：２０の時点で２ページ目の資料画像が表示されており、この時点で２ページ目の資料画像について拡大表示すべき旨の指示がユーザによってなされた場合、ＰＣ１１０において当該指示に応じた拡大表示を実行させるとともに、同期再生データ生成サーバ１００が、その指示があったタイミング（２：２０）と、その指示によって実現された表示状態（拡大表示）を取得する。
【０１１９】
そして、インデキシング部１７０は、音声の再生時刻が２：２０になった時点で表示されている２ページ目の資料画像を自動的に拡大表示させるといった同期再生を実現するための同期再生データを生成する。
【０１２０】
以上のようにすることで、表示させる資料のページ切り替えがあった場合にのみならず、拡大表示等の資料画像の表示状態の変更があった場合にも、その表示状態の変更を音声データの再生に同期させて行うことができ、当該同期再生による画像表示と音声再生を視聴した者に対する資料内容に関する理解を効果的に支援することができる。
【０１２１】
なお、資料画像表示データとしてＪＰＥＧ２０００形式のデータを用いるようにすれば、１つの画像表示データから異なる解像度の画像が得られ、解像度の変更がなされた場合、その変更を同期再生に反映させた同期再生データを生成すればよい。
【０１２２】
（変形例４）
上述した第１および第２実施形態では、音声データの再生の進行に応じて順次表示させる資料画像を切り替えるといった同期再生を行うことができるようになっていたが、図１０に示すように、資料画像表示と音声データとが同期再生されるＰＣ１１０の表示部に、資料群に含まれる資料画像についての目次を表示させるようにし、かかる目次を利用して音声データの再生位置の変更や表示させる資料画像の切り替えを指示できるようにしてもよい。
【０１２３】
同図に示すように、同期再生データに基づく画像表示および音声再生中における表示画面には、音声データの再生位置を示す再生状況表示欄４００、資料画像表示データに基づく資料画像が表示される資料画像欄４０１および目次欄４０２が表示されている。
【０１２４】
そして、ユーザがマウスを操作する等して目次欄４０２の第３章をクリックすると、ＰＣ１１０が第三章の最初のページの資料画像を表示させるとともに、第３章の最初のページの資料画像に関連する再生時刻に音声データの再生位置をジャンプさせるといったことを可能とする同期再生データを生成するようにしてもよい。このような同期再生データは、上記第１実施形態で説明した各資料画像の表示と音声再生時刻との対応関係（図５参照）に、さらに目次中のタイトル（第一章、第二章）を再生時刻および資料画像のページに対応させることで生成できる。例えば、第三章の最初のページが３０ページ目の資料画像であり、３０ページ目の資料画像の表示開始タイミングが１５：３５である場合には、目次タイトル「第三章」に、資料画像３０ページ、再生時刻１５：３５という対応関係を同期再生データに記述しておけばよい。
【０１２５】
以上のような目次欄４０２に表示されたタイトルをクリックすることで、再生位置の変更および資料画像の表示の切り替えを可能とすることで、ユーザにとっては必要な部分のみ抜粋して同期再生することができ、利便性が向上する。
【０１２６】
（変形例５）
また、上述した第１実施形態および第２実施形態において、ＰＣ１１０等のクライアント通信端末からの配信要求に応じて同期再生データを送信等した場合に当該クライアント通信端末のユーザに対して課金処理を行う課金サーバ等を設けるようにしてもよい。
【０１２７】
例えば、図１１に示すように、第２実施形態におけるネットワークシステムにおいて、コンテンツ提供サーバ２００とデータの授受が可能な課金サーバ５００を設けるようにしてもよい。課金サーバ５００は、ユーザに対する課金を管理する機能を有しており、コンテンツ提供サービスを受けることができる各ユーザについての課金管理情報を記憶する課金管理情報記憶部５１０を有している。
【０１２８】
課金管理情報記憶部５１０には、ユーザごとにコンテンツの一定期間内（例えば１ヶ月間）のアップロード回数およびダウンロード回数が記憶されており、これらの情報はアップロードやダウンロードが行われるごとに更新されるようになっている。
【０１２９】
そして、所定の課金管理タイミング（月末等）になると、課金サーバ５００は、ダウンロード回数がアップロード回数よりも多いユーザに対しては多い回数分に対応した課金処理を行い、アップロード回数がダウンロード回数よりも多い場合には課金処理を行わないようにする。
【０１３０】
このようにすることで、コンテンツを自作したユーザ等はそのコンテンツをアップロードすることで、他のコンテンツのダウンロードを無償で受けることができるといったメリットがあり、より多くのオリジナルコンテンツのアップロードを促すことができ、結果として提供可能なコンテンツの数が多くすることができる。
【０１３１】
なお、上記のようにダウンロード回数がアップロード回数を超えない場合にはそのユーザに対して課金を行わないといった課金処理を行うようにしてもよいが、アップロードしたユーザであるか否かを判別し、アップロードしたユーザに対して有利な課金処理を行えばよく、原則としてコンテンツのダウンロードサービスを受けたユーザに対しては課金処理を行いつつも、アップロードした場合にはその課金額を減額する等の課金処理を行うようにしてもよいし、アップロード回数の方がダウンロード回数よりも多いユーザに対しては報酬を与えるようにしてもよい。このようにした場合にもユーザに自作コンテンツのアップロードを促すことができ、提供可能なコンテンツの種類をより多くすることができる。
【０１３２】
（変形例６）
また、上述した第１実施形態および第２実施形態では、ＰＣ１１０において資料画像表示と音声データの再生とを同期させるようにしていたが、音声データに限らず、音声付の映像データの再生と資料画像表示とを同期させるものであってもよい。
【０１３３】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができるという効果を奏する。
【０１３４】
また、請求項２にかかる発明によれば、音声データの再生中に各資料画像を表示させるべきタイミングで各資料画像を表示させることが可能な同期再生データを得ることができるという効果を奏する。
【０１３５】
また、請求項３にかかる発明によれば、資料画像が表示されているときにユーザから表示拡大など表示状態の変更指示があった場合には、その指示タイミングから表示状態を変更すべきタイミングを取得し、取得したタイミングで表示状態が変更されるような同期再生データを得ることができるという効果を奏する。
【０１３６】
また、請求項４にかかる発明によれば、ユーザは指定したい資料画像群を特定するための内容を声で発するといった簡易な作業で希望する資料画像群を指定することができるという効果を奏する。
【０１３７】
また、請求項５にかかる発明によれば、提供可能な資料画像群をより多くすることができるという効果を奏する。
【０１３８】
また、請求項６にかかる発明によれば、ユーザが指定した資料画像群に含まれる資料画像の表示と、ユーザがかかる資料画像群に関連して取得して送信した音声データの再生とを同期させることができる同期再生データを当該ユーザの通信端末に送信されるので、ユーザはこの同期再生データに基づいた資料画像表示と音声データ再生とを視聴することができるという効果を奏する。
【０１３９】
また、請求項７にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができる同期再生データを得ることができるという効果を奏する。
【０１４０】
また、請求項８にかかる発明によれば、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができるという効果を奏する。
【０１４１】
また、請求項９にかかる発明によれば、通信端末においては送信されたタイミングで資料画像表示データを表示すれば、音声データに基づく音声再生と資料画像表示との同期再生が可能となるという効果を奏する。
【０１４２】
また、請求項１０にかかる発明によれば、ユーザは指定したい資料画像群および音声データを特定するための内容を声で発するといった簡易な作業で希望する資料画像群および音声データを指定することができるという効果を奏する。
【０１４３】
また、請求項１１にかかる発明によれば、提供可能なコンテンツをより多くすることができるという効果を奏する。
【０１４４】
また、請求項１２にかかる発明によれば、書籍や新聞に掲載される内容に関する音声データの再生と、書籍や新聞の各ページの表示とを同期させて行うことができるという効果を奏する。
【０１４５】
また、請求項１３にかかる発明によれば、通信端末に対して資料画像群および音声データを同期再生させるといったコンテンツ提供を行った場合に、その通信端末のユーザに対して課金を行うことができるという効果を奏する。
【０１４６】
また、請求項１４にかかる発明によれば、資料画像群、音声データおよび同期用データといったコンテンツの送信主である場合には、資料画像群等のコンテンツの提供を受けた場合にも課金をしない、または減額する等の優遇措置をとることができ、これにより自作コンテンツの送信を促すことができ、結果として提供可能なコンテンツを多くすることができるという効果を奏する。
【０１４７】
また、請求項１５にかかる発明によれば、ユーザ側から送信されるオリジナルの音声データと資料画像群に含まれる資料画像表示データに基づく画像表示とを同期させることが可能な同期再生データを得ることができるという効果を奏する。
【０１４８】
また、請求項１６にかかる発明によれば、資料画像群に含まれる各資料画像と音声再生を同期させるためのタイミング制御等を行う機能を有しない通信端末のユーザであってもこのような同期再生を視聴することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１実施形態にかかる同期再生データ生成方法が適用されるネットワークシステムの全体構成を示す図である。
【図２】前記ネットワークシステムの構成要素である同期再生データ生成サーバの資料記憶部に記憶される資料群の内容を説明するための図である。
【図３】音声解析によりユーザの指定する資料群を特定するための資料群特定用データベースの内容を説明するための図である。
【図４】同期再生データの配信サービス時の前記ネットワークシステムの動作を示すシーケンスフローチャートである。
【図５】資料画像の表示と音声データの再生を同期させる同期再生データにおける、資料画像と音声データとの対応関係を模式的に示す図である。
【図６】本発明の第２実施形態にかかるコンテンツ提供方法が適用されるネットワークシステムの全体構成を示す図である。
【図７】前記第２実施形態におけるネットワークシステムの構成要素であるコンテンツ提供サーバの資料記憶部に記憶されるコンテンツの内容を説明するための図である。
【図８】コンテンツ提供サービス時の第２実施形態におけるネットワークシステムの動作を示すシーケンスフローチャートである。
【図９】前記同期再生データ生成方法が適用されるネットワークシステムの変形例を示す図である。
【図１０】前記同期再生データ生成サーバによって生成される同期再生データに基づく再生時に表示部に表示される画面の一例を示す図である。
【図１１】第２実施形態にかかるコンテンツ提供方法が適用される他のネットワークシステムの全体構成を示す図である。
【符号の説明】
１  ネットワーク
１００  同期再生データ生成サーバ
１１０、１２０、１３０  ＰＣ
１１５  マイクロホン
１５０  通信インターフェース
１６０  資料群送信部
１６１  音声解析部
１７０  インデキシング部
１８０  資料記憶部
１９０  コンテンツ送信部
２００  コンテンツ提供サーバ
２１０  コンテンツ送信部
２２０  資料記憶部
２３０  コンテンツ記録部
３００  同期再生データ生成サーバ
３２０  資料記録部
５００  課金サーバ
【図１】
2004282614.tif 000003
【図２】
2004282614.tif 000004
【図３】
2004282614.tif 000005
【図４】
2004282614.tif 000006
【図５】
2004282614.tif 000007
【図６】
2004282614.tif 000008
【図７】
2004282614.tif 000009
【図８】
2004282614.tif 000010
【図９】
2004282614.tif 000011
【図１０】
2004282614.tif 000012
【図１１】
2004282614.tif 000013