(57)【要約】【課題】  伝送路の伝送品質の低下や一時的な回線断が生じた場合でも、受信側でのコンテンツの再生を中断することなく伝送することができるコンテンツ送信装置を提供する。【解決手段】  コンテンツ送信装置３は、コンテンツを異なるビットレートの符号化コンテンツに符号化する符号化手段３３、３４と、この符号化コンテンツを記憶する符号化コンテンツ記憶手段４０と、各々の符号化コンテンツごとに、ビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する送信設定手段３７３と、この送信データを、送信設定手段３７３によって設定された送信タイミングでネットワーク５を介して送信する符号送信手段３８とを備えることを特徴とする。【選択図】      図２
2005252620.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを符号化して、ネットワークを介して送信するコンテンツ送信装置であって、
前記コンテンツを異なるビットレートの符号化コンテンツに符号化する複数の符号化手段と、
この符号化手段によって符号化された符号化コンテンツを記憶する符号化コンテンツ記憶手段と、
前記符号化コンテンツ記憶手段に記憶される各々の符号化コンテンツごとに、前記ビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される前記送信データの送信タイミングとを設定する送信設定手段と、
前記送信データを前記送信タイミングで、前記ネットワークを介して送信する符号送信手段とを備えることを特徴とするコンテンツ送信装置。
【請求項２】
前記コンテンツの再生時間の時間軸上における、符号化コンテンツの一部又は全部の再送区間を指定する送信制御情報に基づいて、前記再送区間に対応する前記符号化コンテンツの一部又は全部を送信する送信回数を設定する送信回数設定手段を備え、
前記送信設定手段が、各々の符号化コンテンツごとに、前記ビットレートと前記再送区間と前記送信回数とに基づいて、前記符号送信手段によって送信される送信データの前記時間軸上における区間と、この送信タイミングとを設定し、
前記符号送信手段が、前記送信設定手段によって設定された区間に対応する送信データを前記送信タイミングで送信することを特徴とする請求項１に記載のコンテンツ送信装置。
【請求項３】
前記ネットワークの障害を示すネットワーク情報に基づいて、前記送信設定手段によって設定された、前記ネットワークの障害発生時における送信タイミングを、障害解消後まで遅延させるネットワーク監視手段を備えることを特徴とする請求項１又は請求項２に記載のコンテンツ送信装置。
【請求項４】
コンテンツを符号化して、ネットワークを介して送信するコンテンツ送信装置であって、
前記コンテンツを符号化して符号化コンテンツとする符号化手段と、
前記コンテンツに含まれる音声データを音声認識して音声認識データとする音声認識手段と、
前記符号化手段によって符号化された符号化コンテンツと、前記音声認識手段によって音声認識された音声認識データとを記憶する符号化コンテンツ記憶手段と、
前記符号化コンテンツ記憶手段に記憶される前記符号化コンテンツと前記音声認識データとの各々のビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する送信設定手段と、
前記送信データを前記送信タイミングで、前記ネットワークを介して送信する符号送信手段とを備えることを特徴とするコンテンツ送信装置。
【請求項５】
請求項１から請求項３のいずれか１項に記載のコンテンツ送信装置から、同一のコンテンツを複数のビットレートに符号化した符号化コンテンツを受信して当該コンテンツを再生するコンテンツ受信装置であって、
前記符号化コンテンツを構成する送信データを受信する受信手段と、
この受信手段によって受信した前記送信データを復号し、復号データとする復号手段と、
前記復号データを記憶する復号データ記憶手段と、
前記復号手段によって復号された各々の復号データごとに、前記コンテンツを構成する前記復号データの欠損を判定する受信状態判定手段と、
この受信状態判定手段によって判定された前記欠損の判定結果に基づいて、前記復号データ記憶手段に記憶された復号データのうち、最も高いビットレートの復号データを選択する復号データ選択手段と、
この復号データ選択手段によって選択された復号データを出力する復号データ出力手段とを備えることを特徴とするコンテンツ受信装置。
【請求項６】
前記復号手段によって復号された復号データの復号状態を判定する復号状態判定手段を備え、
前記復号データ選択手段が、前記復号データ記憶手段に記憶され、前記復号状態判定手段によって正常に復号されたと判定された前記復号データのうち、最も高いビットレートの復号データを選択することを特徴とする請求項５に記載のコンテンツ受信装置。
【請求項７】
請求項４に記載のコンテンツ送信装置から、コンテンツを符号化した符号化コンテンツと、前記コンテンツの音声データを音声認識した音声認識データとを受信して、当該コンテンツを再生するコンテンツ受信装置であって、
前記符号化コンテンツと、前記音声認識データとを構成する送信データを受信する受信手段と、
この受信手段によって受信した、前記符号化コンテンツを構成する前記送信データを復号し、復号データとする復号手段と、
前記復号データの、前記コンテンツに対する欠損を判定する復号データ受信状態判定手段と、
前記受信手段によって受信した、前記音声認識データを構成する前記送信データを音声合成し、合成音声データとする音声合成手段と、
前記合成音声データの、前記コンテンツに対する欠損を判定する合成音声データ受信状態判定手段と、
前記復号データと前記合成音声データとを記憶する復号データ記憶手段と、
前記復号データ受信状態判定手段と前記合成音声データ受信状態判定手段とによって判定された前記欠損の判定結果に基づいて、前記復号データ記憶手段に記憶された復号データと合成音声データとのうち、最も高いビットレートのデータを選択する復号データ選択手段と、
この復号データ選択手段によって選択されたデータを出力する復号データ出力手段とを備えることを特徴とするコンテンツ受信装置。
【請求項８】
コンテンツを符号化して、ネットワークを介して送信するコンテンツ送信方法であって、
前記コンテンツを複数の異なるビットレートの符号化コンテンツに符号化する符号化ステップと、
この符号化ステップにおいて符号化された符号化コンテンツを符号化コンテンツ記憶装置に記憶する符号化コンテンツ記憶ステップと、
前記符号化コンテンツ記憶装置に記憶される各々の符号化コンテンツごとに、前記ビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する送信設定ステップと、
前記送信データを前記送信タイミングで、前記ネットワークを介して送信する符号送信ステップとを含むことを特徴とするコンテンツ送信方法。
【請求項９】
請求項１から請求項３のいずれか１項に記載のコンテンツ送信装置から、同一のコンテンツを複数のビットレートに符号化した符号化コンテンツを受信して当該コンテンツを再生するコンテンツ再生方法であって、
前記符号化コンテンツを構成する送信データを受信する受信ステップと、
この受信ステップにおいて受信した前記送信データを復号し、復号データとする復号ステップと、
この復号ステップにおいて復号された復号データを復号データ記憶装置に記憶する復号データ記憶ステップと、
各々の復号データごとに、前記コンテンツを構成する前記復号データの欠損を判定する受信状態判定ステップと、
この受信状態判定ステップにおいて判定された前記欠損の判定結果に基づいて、前記復号データ記憶装置に記憶された復号データのうち、最も高いビットレートの復号データを選択する復号データ選択ステップと、
この復号データ選択ステップにおいて選択された復号データを出力する復号データ出力ステップとを含むことを特徴とするコンテンツ再生方法。
【請求項１０】
コンテンツを符号化して、ネットワークを介して送信するためにコンピュータを、
前記コンテンツを異なるビットレートの符号化コンテンツに符号化して、符号化コンテンツ記憶装置に記憶する複数の符号化手段、
前記符号化コンテンツ記憶手段に記憶される各々の符号化コンテンツごとに、前記ビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する送信設定手段、
前記送信データを前記送信タイミングで、前記ネットワークを介して送信する符号送信手段として機能させることを特徴とするコンテンツ送信プログラム。
【請求項１１】
請求項１から請求項３のいずれか１項に記載のコンテンツ送信装置から、同一のコンテンツを複数のビットレートに符号化した符号化コンテンツを受信して当該コンテンツを再生するためにコンピュータを、
前記符号化コンテンツを構成する送信データを受信する受信手段、
この受信手段によって受信した送信データを復号して、復号データ記憶装置に記憶する復号手段、
この復号手段によって復号された各々の復号データごとに、前記コンテンツを構成する前記復号データの欠損を判定する受信状態判定手段、
この受信状態判定手段によって判定された前記欠損の判定結果に基づいて、前記復号データ記憶装置に記憶された復号データのうち、最も高いビットレートの復号データを選択する復号データ選択手段、
この復号データ選択手段によって選択された復号データを出力する復号データ出力手段として機能させることを特徴とするコンテンツ再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツを送信及び再生する技術に関し、特にコンテンツを伝送する伝送路の障害に対する耐性を向上させる技術に関する。
【背景技術】
【０００２】
近年、ブロードバンドネットワークの普及が著しく、インターネットを用いてコンテンツの配信を行う動きが活発である。このインターネットに代表されるＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークはベストエフォート型のネットワークであり、送信した情報の到達は保証されない。また、伝送路の伝送帯域や伝送品質は時々刻々と変化し、伝送帯域の減少や、伝送路誤り、回線断などの伝送路の障害が発生した場合には、伝送しているコンテンツの再生が途切れたり中断したりする。
【０００３】
そこで、コンテンツ等を伝送する伝送路の障害に対する耐性を向上させる技術として、階層符号化伝送方式が衛星デジタル放送で実用化されている。この方式は、放送局側が映像を、高い伝送速度を必要とする高画質情報と、低い伝送速度で伝送できる基本的な情報とに変調して同時に送信し、受信機が、通常は高画質情報から高画質な映像を再生し、伝送路の伝送速度が低下した場合には基本的な情報から映像を再生することで、映像を中断させずに再生することができるものである。
【０００４】
また、回線品質が低下した場合でも送話者の通話内容を伝送することができる音声通信装置が開示されている（特許文献１参照）。この装置は、送話者の音声を符号化した符号化音声データと、送話者の音声を音声認識した文字列データとを同時に送信することで、回線品質が劣化した場合でも、送話者の通話内容を伝送することができるものである。
【０００５】
更に、衛星デジタル放送のデータ放送で採用されているカルーセル伝送方式は、同じ情報を繰り返し送信することで、伝送路の伝送品質が一時的に低下しても、受信機がデータを正常に受信できるものである。
【０００６】
また、伝送路における異常発生時にも、データの送受信を中断することのないデータ送信システムが開示されている（特許文献２参照）。このシステムは、衛星回線、専用線、公衆電話回線等の互いに独立した伝送形態の複数の伝送路を有し、いずれかの伝送路の伝送品質が劣化した場合には、他の伝送路によってデータを送受信することで、所望の伝送品質を確保することができるものである。
【０００７】
更に、コンテンツを伝送する伝送路の伝送品質が低下しても、受信機の表示画面が停止状態にならない動画像再生装置が開示されている（特許文献３参照）。この装置では、コンテンツの配信サーバから同時に送信されたコンテンツデータと付加データ（ＣＭデータ）とを受信して蓄積し、伝送品質が低下してコンテンツデータの再生ができない場合には、蓄積しておいた付加データを再生することで、表示画面が停止状態になることを防ぐことができる。
【特許文献１】特開２００３−３２３８２号公報（段落番号０００５〜００２１）
【特許文献２】特開２００２−６４５１５号公報（段落番号００１１〜００４９）
【特許文献３】特開２００３−４６９２３号公報（段落番号００１４〜００４９）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、階層符号化伝送方式では、ある時間のコンテンツを同時に送信するため、伝送路が一時的に切断された場合には、全階層の符号化コンテンツを伝送できなくなり、受信機でのコンテンツの再生が途切れてしまう。
【０００９】
同様に、特許文献１の装置では、送話者の音声と、この音声を音声認識した文字列データとを同時に送信するため、伝送路が一時的に切断された場合には、受話者の装置はその時間に送信された音声と文字列データの両方を受信することができず、通話内容を伝送することができない。更に、この装置では、文字列データを字幕として表示するため、話者の話し方、声などの特徴が失われてしまう。
【００１０】
また、カルーセル伝送方式は、同じ情報を繰り返し送信するものであるが、コンテンツの送信は、時々刻々と変化するメディアを伝送する必要があるため、カルーセル伝送方式でコンテンツを伝送すると、時刻によっては送信する内容が古くなってしまう。また、古くなった情報を送信するために、伝送路の使用効率が低下する。
【００１１】
更に、特許文献２のシステムでは、例えば、衛星回線、専用線、公衆電話回線のような複数の回線を必要とするため、コストがかかりすぎるという問題がある。
【００１２】
また、特許文献３の装置では、伝送路に障害が発生した場合には、付加データを再生することで表示画面が停止状態になることを防ぐことはできるものの、このときに送信側から送信されているコンテンツのデータを受信することができず、コンテンツの再生は中断される。
【００１３】
本発明は、前記従来技術の問題を解決するために成されたもので、伝送路の伝送品質の低下や一時的な回線断が生じた場合でも、受信側でのコンテンツの再生を中断することなく伝送することができるコンテンツ送信装置、コンテンツ受信装置、コンテンツ送信プログラム、コンテンツ再生プログラム、コンテンツ送信方法及びコンテンツ再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記課題を解決するため、請求項１に記載のコンテンツ送信装置は、コンテンツを符号化して、ネットワークを介して送信するコンテンツ送信装置であって、符号化手段と、符号化コンテンツ記憶手段と、送信設定手段と、符号送信手段とを備える構成とした。
【００１５】
かかる構成によれば、コンテンツ送信装置は、複数の符号化手段によって、コンテンツを異なるビットレートの符号化コンテンツに符号化し、符号化コンテンツ記憶手段にこの符号化コンテンツを記憶する。また、送信設定手段によって、各々の符号化コンテンツごとに、ビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する。更に、符号送信手段によって、この送信データを、送信設定手段で設定された送信タイミングでネットワークを介して送信する。
【００１６】
これによって、コンテンツ送信装置は、コンテンツを複数の異なるビットレートの符号化コンテンツに符号化し、この符号化コンテンツを、各々の符号化コンテンツについて設定された送信タイミングで単位データ量ごとに送信することができる。
【００１７】
また、請求項２に記載のコンテンツ送信装置は、請求項１に記載のコンテンツ送信装置において、前記コンテンツの再生時間の時間軸上における、符号化コンテンツの一部又は全部の再送区間を指定する送信制御情報に基づいて、前記再送区間に対応する前記符号化コンテンツの一部又は全部を送信する送信回数を設定する送信回数設定手段を備え、前記送信設定手段が、各々の符号化コンテンツごとに、前記ビットレートと前記再送区間と前記送信回数とに基づいて、前記符号送信手段によって送信される送信データの前記時間軸上における区間と、この送信タイミングとを設定し、前記符号送信手段が、前記送信設定手段によって設定された区間に対応する送信データを前記送信タイミングで送信する構成とした。
【００１８】
これによって、コンテンツ送信装置は、送信制御情報に基づいて、指定された再送区間に対応する符号化コンテンツの一部あるいは全部を重複させて送信することができる。
【００１９】
ここで、送信制御情報とは、コンテンツの再生時間の時間軸上における、符号化コンテンツの一部あるいは全部の区間を、符号送信手段によって重複して送信する再送区間として指定するものである。
【００２０】
更に、請求項３に記載のコンテンツ送信装置は、請求項１又は請求項２に記載のコンテンツ送信装置において、前記ネットワークの障害を示すネットワーク情報に基づいて、前記送信設定手段によって設定された、前記ネットワークの障害発生時における送信タイミングを、障害解消後まで遅延させるネットワーク監視手段を備える構成とした。
【００２１】
これによって、コンテンツ送信装置は、ネットワークの障害を示すネットワーク情報に基づいて、符号化コンテンツの送信が不可能である場合には送信を行わず、送信が可能になった段階で送信することができる。なお、ネットワーク情報とは、例えば、ネットワークの提供者が送信する、ネットワークの混雑等が生じた際に行う、データの伝送の制限の情報等を示すものである。
【００２２】
また、請求項４に記載のコンテンツ送信装置は、コンテンツを符号化して、ネットワークを介して送信するコンテンツ送信装置であって、符号化手段と、音声認識手段と、符号化コンテンツ記憶手段と、送信設定手段と、符号送信手段とを備える構成とした。
【００２３】
かかる構成によれば、コンテンツ送信装置は、符号化手段によって、コンテンツを符号化して符号化コンテンツとし、音声認識手段によって、コンテンツに含まれる音声データを音声認識して音声認識データとする。そして、符号化コンテンツ記憶手段にこの符号化コンテンツと音声認識データとを記憶する。
【００２４】
更に、送信設定手段によって、符号化コンテンツ記憶手段に記憶される符号化コンテンツと音声認識データとの各々のビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する。また、符号送信手段によって、この送信データを、送信設定手段で設定された送信タイミングで、ネットワークを介して送信する。
【００２５】
これによって、コンテンツ送信装置は、コンテンツを符号化した符号化コンテンツと、コンテンツに含まれる音声データを音声認識した音声認識データとを、符号化コンテンツと音声認識データとの各々について設定された送信タイミングで単位データ量ごとに送信することができる。
【００２６】
更に、請求項５に記載のコンテンツ受信装置は、請求項１から請求項３のいずれか１項に記載のコンテンツ送信装置から、同一のコンテンツを複数のビットレートに符号化した符号化コンテンツを受信して当該コンテンツを再生するコンテンツ受信装置であって、受信手段と、復号手段と、復号データ記憶手段と、受信状態判定手段と、復号データ選択手段と、復号データ出力手段とを備える構成とした。
【００２７】
かかる構成によれば、コンテンツ受信装置は、受信手段によって、符号化コンテンツを構成する送信データを受信する。また、復号手段によって、送信データを復号し、復号データとする。更に、復号データ記憶手段にこの復号データを記憶する。また、受信状態判定手段によって、各々の復号データごとに、コンテンツを構成する復号データの欠損を判定する。
【００２８】
更に、復号データ選択手段によって、受信状態判定手段で判定された欠損の判定結果に基づいて、復号データ記憶手段に記憶された復号データのうち、最も高いビットレートの復号データを選択し、復号データ出力手段によって、復号データ選択手段で選択された復号データを出力する。
【００２９】
これによって、コンテンツ受信装置は、ビットレートの異なる複数の符号化コンテンツを構成する送信データを受信して復号し、復号された復号データのうち、最も高いビットレートの復号データ、つまり、最も質の高いデータを出力することができる。
【００３０】
なお、コンテンツを構成する復号データの欠損とは、各々のビットレートの復号データごとに、コンテンツ全体における一部分に対応する復号データが復号データ記憶手段に記憶されていないことを示し、これは、伝送路の障害等によって一部の送信データが受信されないことにより生じる。
【００３１】
また、請求項６に記載のコンテンツ受信装置は、請求項５に記載のコンテンツ受信装置において、前記復号手段によって復号された復号データの復号状態を判定する復号状態判定手段を備え、前記復号データ選択手段が、前記復号データ記憶手段に記憶され、前記復号状態判定手段によって正常に復号されたと判定された前記復号データのうち、最も高いビットレートの復号データを選択する構成とした。
【００３２】
これによって、コンテンツ受信装置は、復号データの復号状態を判定し、正常に復号された復号データのうち、最も高いビットレートの復号データを出力することができる。
【００３３】
更に、請求項７に記載のコンテンツ受信装置は、請求項４に記載のコンテンツ送信装置から、コンテンツを符号化した符号化コンテンツと、前記コンテンツの音声データを音声認識した音声認識データとを受信して、当該コンテンツを再生するコンテンツ受信装置であって、受信手段と、復号手段と、復号データ受信状態判定手段と、音声合成手段と、合成音声データ受信状態判定手段と、復号データ記憶手段と、復号データ選択手段と、復号データ出力手段とを備える構成とした。
【００３４】
かかる構成によれば、コンテンツ受信装置は、受信手段によって、コンテンツを符号化した符号化コンテンツと、コンテンツの音声データを音声認識した音声認識データとを構成する送信データを受信する。また、復号手段によって、符号化コンテンツを構成する送信データを復号して、復号データとする。更に、復号データ受信状態判定手段によって、この復号データについて、コンテンツに対する欠損を判定する。
【００３５】
更に、音声合成手段によって、音声認識データを構成する送信データを音声合成して、合成音声データとし、合成音声データ受信状態判定手段によって、この合成音声データの、前記コンテンツに対する欠損を判定する。また、復号データ記憶手段に復号データと合成音声データとを記憶する。
【００３６】
更に、復号データ選択手段によって、復号データ受信状態判定手段と合成音声データ受信状態判定手段とによって判定された欠損の判定結果に基づいて、復号データ記憶手段に記憶された復号データと合成音声データとのうち、最も高いビットレートのデータを選択し、復号データ出力手段によって、この復号データ選択手段で選択されたデータを出力する。
【００３７】
これによって、コンテンツ受信装置は、符号化コンテンツと音声認識データとを受信し、符号化コンテンツを復号するとともに、音声認識データに基づいて音声合成することができる。そして、復号データ記憶手段に記憶された復号データと合成音声データのうち、最も高いビットレートのデータを出力することができる。
【００３８】
また、請求項８に記載のコンテンツ送信方法は、コンテンツを符号化して、ネットワークを介して送信するコンテンツ送信方法であって、符号化ステップと、符号化コンテンツ記憶ステップと、送信設定ステップと、符号送信ステップとを含むことを特徴とする。
【００３９】
この方法によれば、符号化ステップによって、コンテンツを複数の異なるビットレートの符号化コンテンツに符号化し、続いて、符号化コンテンツ記憶ステップによって、符号化ステップにおいて符号化された符号化コンテンツを符号化コンテンツ記憶装置に記憶する。そして、送信設定ステップによって、各々の符号化コンテンツごとに、ビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する。更に、符号送信ステップによって、この送信データを送信設定手段で設定された送信タイミングで、ネットワークを介して送信する。
【００４０】
これによって、コンテンツを異なるビットレートの符号化コンテンツに符号化し、ビットレートに基づいて設定された送信タイミングで、単位データ量ごとに送信することができる。
【００４１】
更に、請求項９に記載のコンテンツ再生方法は、請求項１から請求項３のいずれか１項に記載のコンテンツ送信装置から、同一のコンテンツを複数のビットレートに符号化した符号化コンテンツを受信して当該コンテンツを再生するコンテンツ再生方法であって、受信ステップと、復号ステップと、復号データ記憶ステップと、受信状態判定ステップと、復号データ選択ステップと、復号データ出力ステップとを含むことを特徴とする。
【００４２】
この方法によれば、受信ステップによって、符号化コンテンツを構成する送信データを受信し、続いて、復号ステップによって、送信データを復号し、復号データとする。そして、復号データ記憶ステップによって、復号ステップにおいて復号された復号データを復号データ記憶装置に記憶する。更に、受信状態判定ステップによって、復号ステップにおいて復号された各々の復号データごとに、コンテンツを構成する復号データの欠損を判定し、復号データ選択ステップによって、受信状態判定ステップにおいて判定された欠損の判定結果に基づいて、復号データ記憶装置に記憶された復号データのうち、最も高いビットレートの復号データを選択する。そして、復号データ出力ステップによって、復号データ選択ステップにおいて選択された復号データを出力する。
【００４３】
これによって、ビットレートの異なる複数の符号化コンテンツを構成する送信データを受信して復号し、復号された復号データのうち、最も高いビットレートの復号データを出力することができる。
【００４４】
また、請求項１０に記載のコンテンツ送信プログラムは、コンテンツを符号化して、ネットワークを介して送信するためにコンピュータを、符号化手段、送信設定手段、符号送信手段として機能させることとした。
【００４５】
かかる構成によれば、コンテンツ送信プログラムは、複数の符号化手段によって、コンテンツを異なるビットレートの符号化コンテンツに符号化して、符号化コンテンツ記憶装置に記憶する。また、送信設定手段によって、各々の符号化コンテンツごとに、ビットレートに基づいて、一度に送信する送信データの単位となる単位データ量と、この単位データ量ごとに送信される送信データの送信タイミングとを設定する。更に、符号送信手段によって、この送信データを送信設定手段で設定された送信タイミングで、ネットワークを介して送信する。
【００４６】
これによって、コンテンツ送信プログラムは、コンテンツを異なるビットレートの符号化コンテンツに符号化し、各々の符号化コンテンツについて設定された送信タイミングで単位データ量ごとに送信することができる。
【００４７】
また、請求項１１に記載のコンテンツ再生プログラムは、請求項１から請求項３のいずれか１項に記載のコンテンツ送信装置から、同一のコンテンツを複数のビットレートに符号化した符号化コンテンツを受信して当該コンテンツを再生するためにコンピュータを、受信手段、復号手段、受信状態判定手段、復号データ出力手段として機能させることとした。
【００４８】
かかる構成によれば、コンテンツ再生プログラムは、受信手段によって、符号化コンテンツを構成する送信データを受信し、復号手段によって、この送信データを復号して、復号データとし、復号データ記憶装置に記憶する。また、受信状態判定手段によって、各々の復号データごとに、コンテンツを構成する復号データの欠損を判定し、復号データ選択手段によって、受信状態判定手段で判定された欠損の判定結果に基づいて、復号データ記憶装置に記憶された復号データのうち、最も高いビットレートの復号データを選択する。更に、復号データ出力手段によって、復号データ選択手段によって選択された復号データを出力する。
【００４９】
これによって、コンテンツ再生プログラムは、ビットレートの異なる複数の符号化コンテンツを構成する送信データを受信して復号し、復号した復号データのうち、最も高いビットレートの復号データを出力することができる。
【発明の効果】
【００５０】
本発明に係るコンテンツ送信装置、コンテンツ受信装置、コンテンツ送信方法、コンテンツ再生方法、コンテンツ送信プログラム及びコンテンツ再生プログラムでは、以下のような優れた効果を奏する。
【００５１】
請求項１、請求項８又は請求項１０に記載の発明によれば、各々の符号化コンテンツごとに単位データ量と送信タイミングとを設定するため、コンテンツの再生時間の時間軸上におけるある区間に対応するコンテンツのデータを含む、ビットレートの異なる複数の送信データを異なる時刻に送信することができる。そのため、ある時刻において一時的に伝送路に障害が発生し、この時刻に送信された送信データが正常に伝送されなかった場合においても、異なる時刻にその区間に対応するコンテンツのデータを含む他のビットレートの送信データを送信するため、障害に対する耐性を高めることができる。
【００５２】
また、符号化コンテンツが、コンテンツの再生時間の時間軸上における短い区間に対応する単位データ量ごとに継続的に送信される場合には、障害が発生している時間が長いほど伝送できない情報量が増加するが、短時間の障害であれば頻繁に発生しても、伝送できない情報量は少なくなる。一方、長い区間に対応する単位データ量ごとに間欠的に送信する場合には、比較的連続した時間の障害が発生しても、送信するタイミングと障害の発生が一致しなければ障害の発生に関わらず全ての情報を伝送できるが、送信するタイミングと障害の発生が一致した場合には、短時間の障害であっても、長い区間に対応する情報が伝送されなくなるため、頻繁に発生する短時間の障害には弱くなる。そのため、あるビットレートの符号化コンテンツについては、この時間軸上における短い区間に対応する単位データ量ごとに継続的に送信し、他のあるビットレートの符号化コンテンツについては、長い区間に対応する単位データ量ごとに間欠的に送信するようにすることで、比較的連続した障害（バーストエラー）に対しても、頻繁に発生する短時間の障害（ランダムエラー）に対しても耐性を高めることができる。
【００５３】
請求項２に記載の発明によれば、例えば、コンテンツの制作者等によって重要度が高いと判断された区間が再送区間として指定された送信制御情報を外部から入力されることで、その再送区間に対応する符号化コンテンツの一部あるいは全部の送信回数を多く設定し、重複して送信することができる。そのため、コンテンツを受信する装置に対して、より高い確率で重要度の高い区間に対応するコンテンツのデータを受信させることができるようになるとともに、コンテンツ全体ではなく、重要度の高い一部の区間に対応する符号化コンテンツの一部について送信回数を増加させるため、カルーセル伝送方式のように、古いデータや相対的に重要でないデータについて何度も送信することがなくなり、効率的に伝送を行いながら、伝送路の障害に対する耐性を向上させることができる。
【００５４】
請求項３に記載の発明によれば、ネットワークの障害を検出した際には、送信データの送信を遅延させ、障害解消後に送信することで、伝送路の障害に対する耐性を向上させることができる。
【００５５】
請求項４に記載の発明によれば、符号化コンテンツと音声認識データとについて、それぞれ単位データ量と送信タイミングとを設定し、コンテンツの再生時間の時間軸上におけるある区間に対応するデータを異なる時刻に送信することができる。更に、音声認識データは、動画像データや音声データを符号化した符号化コンテンツより低いビットレートのデータとなる。そのため、伝送路帯域が減少し、符号化コンテンツの送信データが正常に伝送されない場合においても、コンテンツの音声の情報を含む音声認識データは伝送され、コンテンツを受信する装置において、音声の情報を途絶えずに受信させることができる。
【００５６】
請求項５、請求項９又は請求項１１に記載の発明によれば、ある時刻において一時的に伝送路に障害が発生して、この時刻にコンテンツ送信装置から送信された送信データが受信できなかった場合においても、その送信データの、当該コンテンツの再生時間の時間軸上における区間に対応するコンテンツのデータを含む他のビットレートの送信データを異なる時刻に受信できるので、コンテンツを中断せずに出力することができる。
【００５７】
請求項６に記載の発明によれば、復号に失敗した復号データは出力せず、正常に復号された復号データのうち、最もビットレートの高い復号データを再生コンテンツとして出力するため、高品質のコンテンツを出力することができる。
【００５８】
請求項７に記載の発明によれば、伝送路帯域が減少し、符号化コンテンツの送信データが正常に伝送されない場合においても、符号化コンテンツと比べて低いビットレートの音声認識データを絶えず受信して音声合成し、コンテンツの音声データを出力することができる。
【発明を実施するための最良の形態】
【００５９】
以下、本発明の実施の形態について図面を参照して説明する。
［コンテンツ伝送システムの構成］
図１を参照して、本発明の実施の形態であるコンテンツ伝送システム１の構成について説明する。図１は、本発明におけるコンテンツ伝送システム１の構成を示したブロック図である。コンテンツ伝送システム１は、コンテンツの配信者側の装置であるコンテンツ送信装置３から、ネットワーク５を経由してコンテンツの視聴者側の装置であるコンテンツ受信装置７、７…にコンテンツを伝送するシステムである。
【００６０】
コンテンツ送信装置３は、コンテンツを符号化して、ネットワーク５を介してコンテンツ受信装置７に送信するものである。
【００６１】
コンテンツ受信装置７のそれぞれは、ネットワーク５を介して送信される、符号化コンテンツをコンテンツ送信装置３から受信して再生するものである。なお、コンテンツ受信装置７は、再生したコンテンツを別のネットワーク（図示せず）に中継し、他の視聴者の端末（図示せず）に再送するようにしてもよい。
【００６２】
以下、コンテンツ伝送システム１において、コンテンツを符号化して送信するコンテンツ送信装置３と、このコンテンツ送信装置３から符号化コンテンツを受信して当該コンテンツを再生するコンテンツ受信装置７とについて詳細に説明する。
【００６３】
（コンテンツ送信装置の構成）
まず、図２を参照（適宜図１参照）して、コンテンツ送信装置３の構成について説明する。図２は、本発明におけるコンテンツ送信装置３の構成を示したブロック図である。コンテンツ送信装置３は、コンテンツ入力手段３１と、音声認識手段３２と、中ビットレート符号化手段３３と、高ビットレート符号化手段３４と、送信制御情報入力手段３５と、ネットワーク情報入力手段３６と、送信制御手段３７と、符号送信手段３８と、通信送受信手段３９と、符号化コンテンツ記憶手段４０と、送信設定情報記憶手段４１とを備える。
【００６４】
コンテンツ入力手段３１は、配信するコンテンツを外部から入力するものである。ここで入力されるコンテンツは、例えば、映像、音声、文字、図形などから構成されるマルチメディアコンテンツである。ここで入力されたコンテンツは、音声認識手段３２と、中ビットレート符号化手段３３と、高ビットレート符号化手段３４とに出力される。
【００６５】
音声認識手段３２は、コンテンツ入力手段３１から入力されるコンテンツの音声データを音声認識するものである。ここで音声認識された音声認識データは、低ビットレート符号化コンテンツとして符号化コンテンツ記憶手段４０に記憶される。この低ビットレート符号化コンテンツ（音声認識データ）は、例えば、コンテンツに含まれる音声データを音声認識したテキストデータや、このテキストデータに加えて音素等の音声合成用の補助情報を含むものであってもよいし、テキストデータを含まない音声合成用のデータであってもよい。
【００６６】
なお、ここでは、低ビットレート符号化コンテンツは、後記する中ビットレート符号化手段３３及び高ビットレート符号化手段３４によって符号化される中ビットレート符号化コンテンツ及び高ビットレート符号化コンテンツより相対的に低いビットレートのデータとする。更に、中ビットレート符号化コンテンツは、高ビットレート符号化コンテンツより相対的に低いビットレートの符号化コンテンツとする。
【００６７】
中ビットレート符号化手段（符号化手段）３３は、コンテンツ入力手段３１から入力されるコンテンツを所定の符号化方式で符号化するものである。ここで符号化された中ビットレート符号化コンテンツは、符号化コンテンツ記憶手段４０に記憶される。
【００６８】
高ビットレート符号化手段（符号化手段）３４は、コンテンツ入力手段３１から入力されるコンテンツを所定の符号化方式で符号化するものである。ここで符号化された高ビットレート符号化コンテンツは、符号化コンテンツ記憶手段４０に記憶される。
【００６９】
これらの符号化手段３３、３４における符号化方式には、一般的な符号化方式を用いることができる。例えば、コンテンツが映像データであれば、波形符号化や、コンテンツ受信装置７でＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃ）合成するために必要となる情報を符号化するＶＲＭＬ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｍｏｄｅｌｉｎｇ  Ｌａｎｇｕａｇｅ）やＴＶＭＬ（ＴＶ  ｐｒｏｇｒａｍ  Ｍａｋｉｎｇ  Ｌａｎｇｕａｇｅ）などを用いることができる。また、音声データについても、波形符号化だけでなく、ＣＥＬＰ（Ｃｏｄｅ  Ｅｘｃｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ）符号化などの合成符号化を用いてもよい。
【００７０】
また、符号化手段３３、３４は、同一の符号化方式によって、異なるビットレートの符号化コンテンツに符号化するようにしてもよいし、異なる符号化方式によって符号化してもよい。この時、例えば、高いビットレートの符号化には波形符号化を適用し、低いビットレートの符号化には合成符号化を適用するというように、生成する符号化コンテンツのビットレートに応じた符号化方式を用いることで、高いビットレートだけでなく、低いビットレートの符号化コンテンツについてもコンテンツの内容を損なわずに符号化することができる。そのため、階層符号化伝送方式において生じる、極端にビットレートを低く符号化すると視聴品質を損ね、解像度が低下する等の情報伝達度が著しく低下するという問題が生じない。
【００７１】
なお、ここでは、コンテンツ送信装置３は、同一のコンテンツを異なるビットレートの符号化コンテンツに符号化する２つの符号化手段３３、３４、及び、このコンテンツの音声データを音声認識する音声認識手段３２を備えることとしたが、本発明のコンテンツ送信装置３は、異なるビットレートの符号化コンテンツに符号化する符号化手段を少なくとも２つ、あるいは、符号化手段と音声認識手段を少なくとも１つずつ備える構成であればよい。
【００７２】
送信制御情報入力手段３５は、コンテンツの一部あるいは全部を重複して送信する再送区間を示す送信制御情報を外部から入力するものである。ここで入力された送信制御情報は送信制御手段３７の送信回数設定手段３７２に出力される。
【００７３】
ネットワーク情報入力手段３６は、ネットワーク５の障害を示すネットワーク情報を外部から入力するものである。ここで入力されたネットワーク情報は送信制御手段３７のネットワーク監視手段３７４に出力される。
【００７４】
送信制御手段３７は、符号送信手段３８に対して、符号化コンテンツ記憶手段４０に記憶された符号化コンテンツ（低ビットレート符号化コンテンツ、中ビットレート符号化コンテンツ及び高ビットレート符号化コンテンツ）を送信させる制御を行うものである。ここでは、送信制御手段３７は、符号監視制御手段３７１と、送信回数設定手段３７２と、送信設定手段３７３と、ネットワーク監視手段３７４とを備えている。
【００７５】
符号監視制御手段３７１は、符号化コンテンツ記憶手段４０に記憶された各符号化コンテンツのデータ量を監視し、また、後記するネットワーク監視手段３７４から入力される、符号化コンテンツ記憶手段４０に記憶されたデータの送信の通知に基づいて、符号化コンテンツ記憶手段４０から不必要なデータを消去するものである。ここで取得された、符号化コンテンツ記憶手段４０に記憶された各符号化コンテンツのデータ量は、送信設定手段３７３に出力される。
【００７６】
なお、ここでは、符号監視制御手段３７１は、後記する送信回数設定手段３７２によって設定された再送区間とその区間に対応する符号化コンテンツの一部の送信回数とを入力され、後記する符号送信手段３８によって送信された送信データの、当該コンテンツの再生時間の時間軸における区間がネットワーク監視手段３７４から通知されるごとに、その区間に対応する符号化コンテンツについて送信回数を計測することとした。そして、符号化コンテンツ記憶手段４０に記憶された符号化コンテンツのある区間について、送信回数設定手段３７２によって設定された送信回数だけ送信された場合には、この区間に対応するデータを符号化コンテンツ記憶手段４０から削除することとした。更に、ここでは、符号監視制御手段３７１は、符号化コンテンツ記憶手段４０に記憶されている符号化コンテンツの一部の、当該コンテンツの再生時間の時間軸上における再生開始時間、つまり、まだ送信回数設定手段３７２によって設定された送信回数だけ送信されていない符号化コンテンツの一部の再生開始時間を、符号送信手段３８によって次に送信する送信データの区間の開始時間として、送信データ設定部３７３ａに通知することとした。
【００７７】
送信回数設定手段３７２は、送信制御情報入力手段３５から入力された送信制御情報に基づいて、符号送信手段３８に送信させる符号化コンテンツの送信回数を設定するものである。ここで設定された送信回数は、送信設定手段３７３に出力される。なお、送信制御情報は、重複して送信する再送区間を示すものである。
【００７８】
ここで、図３（適宜図２参照）を参照して、コンテンツの配信者（制作者）等によって指定された再送区間と、配信者によって判断されたこの区間に対応するデータの重要度とを示す送信制御情報に基づいて、送信回数設定手段３７２が送信回数を設定する例について説明する。図３は、再送区間とその区間に対応するデータの重要度とを示す送信制御情報の例を示した説明図である。なお、図３では、説明の都合上送信制御情報の左側に行番号を付している。
【００７９】
図３において、各行の左側の数字は、コンテンツを再生した場合における開始からの再生時間に対応した「分：秒：フレーム」を示し、右側の数字は左側に記述されたフレームから次の行のフレームまでの区間に対応するデータの重要度を示すものとする。また、重要度は、０〜４までの整数で指定され、４が最も重要であることを示し、０が相対的に重要でないことを示すこととする。例えば、図３に示す送信制御情報において、（１）行目の「００：００：００」とその右側の「１」と、（２）行目の「０２：００：０２」との記述から、コンテンツの再生開始時（開始から０分０秒経過後）の０フレームから２分０秒２フレームまでの重要度が「１」であることが示されている。更に、（２）行目の「０２：００：０２」とその右側の「２」と、（３）行目の「０５：００：０２」との記述から、２分０秒２フレームから５分０秒２フレームまでの重要度が「２」であることが示されている。
【００８０】
ここで、図３に示す送信制御情報が、送信制御情報入力手段３５から送信回数設定手段３７２に入力されたとする。すると、送信回数設定手段３７２は、送信制御情報の重要度に基づいて、指定された区間に対応するデータの送信回数を設定する。ここでは、例えば、重要度の数字が重複する回数を示すこととする。つまり、重要度が「０」の場合は、重複する回数が０となり、送信回数を１回とし、同様に、重要度が「１」の場合は送信回数を２回、重要度が「２」の場合は３回、重要度が「３」の場合は４回、重要度が「４」の場合は５回と設定することとする。
【００８１】
そこで、送信回数設定手段３７２は、図３の送信制御情報に基づいて、コンテンツの開始から０分０秒０フレームから２分０秒２フレームまでの区間のデータについては送信回数を２回、２分０秒２フレームから５分０秒２フレームまでの区間のデータについては送信回数を３回と設定する。
【００８２】
なお、この例では送信制御情報には、コンテンツの一部又は全部を重複して送信する再送区間と、その送信回数に対応する重要度（重要度１〜４の場合）とを記述し、更に、重複しない区間とその重要度（重要度０の場合）についても記述することとしたが、送信制御情報は、再送区間を指定し、それに基づいて送信回数設定手段３７２が指定された区間に対応するデータの送信回数を設定できるものであればよい。
【００８３】
例えば、送信制御情報に、送信回数が３回以上の再送区間とその送信回数を示すもののみを記述し、送信回数設定手段３７２が、この送信制御情報に記述された再送区間に対応するデータについては送信制御情報に示された送信回数を設定し、その他の区間に対応するデータについては送信回数を２回と設定することとしてもよい。また、送信制御情報に、再送区間のみを記述し、送信回数設定手段３７２が、この送信制御情報に記述された再送区間に対応するデータについては送信回数を２回と設定し、他の区間に対応するデータについては重複しないと判断して送信回数を１回と設定することとしてもよい。
【００８４】
図２に戻って説明を続ける。送信設定手段３７３は、符号化コンテンツ記憶手段４０に記憶された各符号化コンテンツの、一度に送信する送信データ（パケット）の、当該コンテンツの再生時間の時間軸上における区間と、その送信データの送信タイミングとを設定するものである。ここでは、送信設定手段３７３は、送信データ設定部３７３ａと、送信タイミング設定部３７３ｂとを備えている。
【００８５】
送信データ設定部３７３ａは、符号化コンテンツ記憶手段４０に記憶された各符号化コンテンツのビットレートに基づいて、各符号化コンテンツの送信データの単位データ量を設定し、この単位データ量と送信回数設定手段３７２から入力された再送区間とその区間に対応するデータの送信回数とに基づいて、送信データの区間を設定するものである。ここで設定された送信データの区間は、送信タイミング設定部３７３ｂに出力される。
【００８６】
まず、送信データ設定部３７３ａが、符号化コンテンツ記憶手段４０に記憶された３種類のビットレートの符号化コンテンツの単位データ量を設定する方法について説明する。ここで、送信データ設定部３７３ａは、以下に示す式（１）〜（３）に基づいて、各々の符号化コンテンツのビットレートＴrと伝送路帯域Ｔwとの比によって、一度に送信する送信データの単位の単位データ量を時間幅Ｄによって設定する。
【００８７】
（Ｔr／Ｔw）＜Ｔ1          の時    Ｄ＝ｎ3ｄ  …（１）
Ｔ1≦（Ｔr／Ｔw）＜Ｔ2    の時    Ｄ＝ｎ2ｄ  …（２）
Ｔ2≦（Ｔr／Ｔw）          の時    Ｄ＝ｎ1ｄ  …（３）
【００８８】
ここで、この時間幅Ｄは、当該コンテンツを再生した際における、この送信データの再生時間の時間幅である。また、閾値Ｔ1、Ｔ2（Ｔ1＜Ｔ2）、ｎ1、ｎ2、ｎ3（ｎ1＜ｎ2＜ｎ3）と伝送の単位時間ｄは、後記する送信設定情報記憶手段４１に予め登録されているものとする。そして、ある伝送路帯域の伝送路（ネットワーク５）で符号化コンテンツを送信する場合、式（１）に該当する符号化コンテンツは、伝送路帯域に対してビットレートが比較的低く、逆に、式（３）に該当する符号化コンテンツは伝送路帯域に対してビットレートが比較的高いものとなる。伝送路帯域に対してビットレートの比較的低い符号化コンテンツは時間幅Ｄを大きくしても単位データ量は小さくなるため大きい時間幅Ｄのデータを一度にまとめて送信することができるが、伝送路帯域に対してビットレートの比較的高い符号化コンテンツは時間あたりの送信データ量が伝送路帯域を超えないようにするために、時間幅Ｄを小さく設定して頻繁に送信しなければならない。なお、この閾値と単位時間は、シミュレーション等によって予め求めた最適値を用いることが好ましい。
【００８９】
次に、送信データ設定部３７３ａが、あるビットレートの符号化コンテンツについて、一度に送信する送信データの区間を設定する方法について説明する。
【００９０】
ここでは、送信データ設定部３７３ａは、符号監視制御手段３７１から、次に送信する送信データの、当該コンテンツの再生時間の時間軸上における再生開始時間を入力されるごとに、この時間を送信データの区間の開始時間として設定し、この開始時間から時間幅Ｄ、あるいは時間幅Ｄより短い時間幅の送信データの区間を設定することとした。そして、送信データ設定部３７３ａは、当該コンテンツの再生時間の時間軸上において、符号送信手段３８によって順に送信される送信データの区間の順序が入れ替わらないように、この開始時間から伝送の単位時間ｄの時間幅の区間について、送信回数設定手段３７２によって設定された送信回数に達するまで、送信データの区間を繰り返し設定することとした。
【００９１】
ここで、図４（適宜図２参照）を参照して、送信回数設定手段３７２から再送区間とその送信回数とを入力された場合において、送信データ設定部３７３ａが、あるビットレートの符号化コンテンツについて、一度に送信する送信データの区間を設定する例について説明する。図４は、送信データ設定部３７３ａが、符号化コンテンツの送信データの区間を設定する例を模式的に示した説明図である。なお、ここで説明する送信データの区間の設定方法は一例であり、本発明のコンテンツ送信装置３における送信データの区間の設定方法は、これに限定されるものではない。
【００９２】
なお、前記の方法によって時間幅Ｄが４ｄと求められ、更に、図４に示すように、送信回数設定手段３７２から、再生時間３ｄから８ｄまでの区間を送信回数が２回の再送区間、再生時間８ｄから１０ｄまでの区間を送信回数が４回の再送区間、再生時間１０ｄから１３ｄまでの区間を送信回数が２回の再送区間とすることが通知されているとする。また、ここでは、送信データ設定部３７３ａが、再生時間１ｄから５ｄまでの区間ｊ０を初めに送信する送信データの区間として既に設定しているとする。
【００９３】
ここで、まず、送信データ設定部３７３ａは、符号監視制御手段３７１から、次に送信する送信データの、当該コンテンツの再生時間の時間軸上における開始時間を入力される。ここで、符号監視制御手段３７１によって、開始時間として再生時間３ｄが入力されたとする。そこで、送信データ設定部３７３ａは、次に送信する送信データの区間の開始時間を再生時間３ｄと設定する。
【００９４】
そして、送信データ設定部３７３ａは、この再生時間３ｄから時間幅Ｄ（４ｄ）の区間、つまり、再生時間３ｄから７ｄまでの区間に、送信回数設定手段３７２によって設定された送信回数に変化があるかを判断する。ここでは、再生時間３ｄから７ｄまでの区間は送信回数が２回と設定されているため、送信データ設定部３７３ａは、この区間で送信回数に変化がないと判断する。ここで、送信回数に変化がない場合、あるいは、再生時間の経過に対して送信回数が増加している場合には、この区間を送信データの区間として設定しても、その後に送信される送信データの区間と、再生時間の順序が入れ替わらないように設定することができる。そのため、送信データ設定部３７３ａは、送信データの時間幅が４ｄになる再生時間３ｄから７ｄまでの区間ｊ１を送信データの区間として設定する。
【００９５】
続いて、送信データ設定部３７３ａは、再生時間３ｄから伝送の単位時間ｄの時間幅の区間、つまり、再生時間３ｄから４ｄまでの区間について、送信回数設定手段３７２によって設定された送信回数だけ、送信データの区間が設定されたかを判断する。ここで、再生時間３ｄから４ｄまでの区間は、送信回数設定手段３７２によって送信回数が２回と設定されており、この区間を含む区間ｊ０と区間ｊ１との２つの送信データが設定されているため、送信データ設定部３７３ａは、再生時間３ｄから４ｄまでの区間について、送信回数だけ送信データが設定された、つまり、再生時間３ｄを開始時間とする送信データは全て設定されたと判断する。
【００９６】
更に、送信データ設定部３７３ａは、符号監視制御手段３７１から、次に送信する送信データの開始時間として、再生時間５ｄを入力された場合には、次に送信する送信データの区間の開始時間を再生時間５ｄと設定する。そして、送信データ設定部３７３ａは、この再生時間５ｄから時間幅４ｄの区間、つまり、再生時間５ｄから９ｄまでの区間に、送信回数設定手段３７２によって設定された送信回数に変化があるかを判断する。ここでは、再生時間５ｄから８ｄまでの区間は送信回数が２回、再生時間８ｄから９ｄまでの区間は送信回数が４回と設定されているため、送信データ設定部３７３ａは、この区間で送信回数が増加していると判断する。そこで、送信データ設定部３７３ａは、送信データの時間幅が４ｄになる再生時間５ｄから９ｄまでの区間ｊ２を送信データの区間として設定する。
【００９７】
続いて、送信データ設定部３７３ａは、再生時間５ｄから伝送の単位時間ｄの時間幅の区間、つまり、再生時間５ｄから６ｄまでの区間について、送信回数設定手段３７２によって設定された送信回数だけ、送信データの区間が設定されたかを判断する。ここで、再生時間５ｄから６ｄまでの区間は、送信回数設定手段３７２によって送信回数が２回と設定されており、この区間を含む区間ｊ１と区間ｊ２との２つの送信データが設定されているため、再生時間５ｄから６ｄまでの区間について、送信回数だけ送信データが設定されたと判断する。
【００９８】
また、送信データ設定部３７３ａは、符号監視制御手段３７１から、次に送信する送信データの開始時間として、再生時間７ｄを入力された場合には、次に送信する送信データの区間の開始時間を再生時間７ｄと設定する。そして、送信データ設定部３７３ａは、この再生時間７ｄから時間幅４ｄの区間、つまり、再生時間７ｄから１１ｄまでの区間に、送信回数設定手段３７２によって設定された送信回数に変化があるかを判断する。ここでは、再生時間７ｄから８ｄまでの区間は送信回数が２回、再生時間８ｄから１０ｄまでの区間は送信回数が４回、再生時間１０ｄから１１ｄまでの区間は送信回数が２回と設定されているため、送信データ設定部３７３ａは、この区間で送信回数が増加した後、減少していると判断する。
【００９９】
ここで、時間幅Ｄの区間で送信回数が減少する場合に、送信データ設定部３７３ａが、この時間幅Ｄの区間を送信データとして設定すると、この送信データの区間は、送信回数が多く設定された区間とともに、この区間より後に再生され、送信回数が相対的に少ない区間を含む。そのため、先にこの時間幅Ｄの区間が設定された後に、送信回数の多い区間のみがその後に送信される送信データの区間として設定されることで、符号送信手段によって順に送信される送信データの区間の順序が入れ替わることがある。そこで、送信データ設定部３７３ａは、時間幅Ｄの区間で送信回数が減少する場合には、送信回数が減少する前までの区間を送信データとして設定することとした。しかし、時間幅Ｄの区間で送信回数が減少する場合でも、ここで送信回数が減少する前までの区間を含む送信データの区間を設定することで、送信回数設定手段３７２によって送信回数が多く設定された区間について、この送信回数だけ送信データが設定される場合には、この送信データが、送信回数が多く設定された区間より送信回数が少なく遅い再生時間の区間を含んでいても、送信される送信データの区間の順序は入れ替わらない。そこで、送信データ設定部３７３ａは、時間幅Ｄの区間で送信回数が減少する場合においても、ここで送信データの区間を設定することで、送信回数設定手段３７２によって送信回数が多く設定された区間について、この送信回数だけ送信データが設定される場合には、時間幅Ｄの区間を設定することとした。
【０１００】
そのため、送信データ設定部３７３ａは、ここで送信データの区間を設定することで、送信回数設定手段３７２によって送信回数が多く設定された再生時間８ｄから１０ｄまでの区間について、設定された送信回数（４回）だけ送信データが設定されるかを判断する。そして、送信データ設定部３７３ａは、再生時間７ｄから１０ｄまでの区間を送信データとして設定しても、再生時間８ｄから１０ｄまでの区間について、設定された送信回数に達しないと判断し、再生時間７ｄから１０ｄまでの区間ｊ３を送信データの区間として設定する。
【０１０１】
同様にして、送信データ設定部３７３ａは、符号監視制御手段３７１から、次に送信する送信データの開始時間として、再生時間８ｄを入力された場合には、再生時間８ｄから１０ｄまでの区間ｊ４を送信データの区間として設定する。そして、送信データ設定部３７３ａは、再生時間８ｄから９ｄまでの区間について、送信回数設定手段３７２によって設定された送信回数に達していないと判断し、更に、再生時間８ｄから１０ｄまでの区間ｊ５を送信データの区間として設定する。
【０１０２】
また、送信データ設定部３７３ａは、符号監視制御手段３７１から、次に送信する送信データの開始時間として、再生時間９ｄを入力された場合には、次に送信する送信データの区間の開始時間を再生時間９ｄと設定する。そして、送信データ設定部３７３ａは、この再生時間９ｄから時間幅４ｄの区間、つまり、再生時間９ｄから１３ｄまでの区間に、送信回数設定手段３７２によって設定された送信回数に変化があるかを判断する。ここでは、再生時間９ｄから１０ｄまでの区間は送信回数が４回、再生時間１０ｄから１３ｄまでの区間は送信回数が２回と設定されているため、送信データ設定部３７３ａは、この区間で送信回数が減少していると判断する。
【０１０３】
続いて、送信データ設定部３７３ａは、ここで送信データの区間を設定することで、送信回数設定手段３７２によって送信回数が多く設定された再生時間８ｄから１０ｄまでの区間について、設定された送信回数（４回）だけ送信データが設定されるかを判断する。そして、送信データ設定部３７３ａは、再生時間９ｄから１０ｄまでの区間を送信データとして設定することで、再生時間８ｄから１０ｄまでの区間について、設定された送信回数に達すると判断し、再生時間９ｄから１３ｄまでの区間ｊ６を送信データの区間として設定する。以上のようにして、送信データ設定部３７３ａは、再生時間３ｄから１３ｄまでの区間について、送信データの区間の設定を行うことができる。
【０１０４】
また、送信制御情報が入力されていない場合には、送信データ設定部３７３ａは、符号化コンテンツを単位データ量ごとに区切った区間を送信データの区間として設定する。
【０１０５】
ここで、送信データ設定部３７３ａは、送信制御情報において大きい重要度が指定された区間に対応するデータをより多くの回数送信するように、送信データの区間を設定することができる。そのため、コンテンツを受信して再生するコンテンツ受信装置７に対して、より高い確率で重要度の高い区間に対応するデータを受信させることができるようになるとともに、コンテンツ全体ではなく、重要度の高い一部の区間に対応するデータについて送信回数を増加させるため、カルーセル伝送方式のように、古いデータや相対的に重要でないデータについて何度も送信することがなくなり、効率的に伝送を行いながら、伝送路の障害に対する耐性を向上させることができる。
【０１０６】
なお、ここでは、単位データ量を、当該コンテンツを再生した際における時間幅で特定し、ビットレートと伝送路帯域との比に基づいて予め設定された単位データ量を設定したが、この単位データ量を、例えば、フレームの数等で特定することとしてもよい。また単位データ量は、当該符号化コンテンツのビットレートに基づいて、時間あたりの送信データ量が伝送路帯域を超えないように設定されていればよく、例えば、ビットレートの値等に対応して予め設定された単位データ量を設定するようにしてもよい。
【０１０７】
図２に戻って説明を続ける。送信タイミング設定部３７３ｂは、符号監視制御手段３７１から入力された、符号化コンテンツ記憶手段４０に記憶された各符号化コンテンツのデータ量に基づいて、送信データ設定部３７３ａによって設定された送信データの送信タイミングを設定するものである。ここで設定された送信タイミングと送信データの区間の情報は、ネットワーク監視手段３７４に出力される。
【０１０８】
ここでは、送信タイミング設定部３７３ｂは、設定された送信データが符号化コンテンツ記憶手段４０に蓄積された時を、この送信データを送信する送信タイミングとし、送信データを送信する指令をネットワーク監視手段３７４に出力することとした。つまり、送信タイミング設定部３７３ｂは、符号監視制御手段３７１から入力される、符号化コンテンツ記憶手段４０に記憶された符号化コンテンツのデータ量が、設定された送信データの区間のデータ量に達した時に、この送信データを送信する指令をネットワーク監視手段３７４に出力することとした。
【０１０９】
ここで、図５（適宜図２参照）を参照して、送信データ設定部３７３ａによって設定された、各々の符号化コンテンツごとの送信データの、当該コンテンツの再生時間の時間軸上における区間に対応する送信データの送信タイミングを、送信タイミング設定部３７３ｂが設定する例について説明する。図５（ａ）は、送信設定手段３７３によって設定された、低ビットレート符号化コンテンツの送信データの区間と送信タイミングとを模式的に示した説明図、図５（ｂ）は、送信設定手段３７３によって設定された、中ビットレート符号化コンテンツの送信データの区間と送信タイミングとを模式的に示した説明図である。また、図５（ｃ）は、送信設定手段３７３によって設定された、高ビットレート符号化コンテンツの送信データの区間と送信タイミングとを模式的に示した説明図、図５（ｄ）は、後記する符号送信手段３８が各符号化コンテンツを（ａ）〜（ｃ）に示す送信タイミングで送信した場合における、符号伝送量のタイムチャートである。なお、図５（ｄ）では、横軸は再生時間を、縦軸は符号伝送量を示している。
【０１１０】
なお、図５では、後記する符号送信手段３８によって一度に送信される送信データの区間と、その送信データを送信する送信タイミングとを、コンテンツを再生した際の再生時間で示している。例えば、図５（ａ）において、コンテンツの再生が開始される時刻から再生時間１２ｄまでの区間ｍ１に対応する送信データを送信する指令Ｍ１が、コンテンツの再生が開始される時刻より時間２ｄ前を示す再生時間−２ｄに、送信設定手段３７３から出力されることを示している。
【０１１１】
ここでは、送信データ設定部３７３ａは、前記の式（１）〜（３）に基づいて各符号化コンテンツの単位データ量を時間幅Ｄで特定することとする。そして、図５（ａ）に示すように、送信データ設定部３７３ａは、前記の式（１）〜（３）に基づいて、低ビットレート符号化コンテンツの単位データ量を時間幅Ｄ＝１２ｄと設定し、再生時間０〜１２ｄの区間ｍ１を最初に送信する送信データの区間として設定したとする。同様に、図５（ｂ）に示すように、送信データ設定部３７３ａは、中ビットレート符号化コンテンツについて、区間ｍ２、ｍ３を、最初とその次に送信する送信データの区間として設定し、更に、図５（ｃ）に示すように、高ビットレート符号化コンテンツについて、送信回数設定手段３７２から入力された再送区間とその送信回数とに基づいて、区間ｍ４、ｍ５、ｍ６、ｍ７、ｍ８、ｍ９を、順次送信する送信データの区間として設定したとする。
【０１１２】
そして、送信タイミング設定部３７３ｂは、再生時間−２ｄにおいて、符号監視制御手段３７１から、符号化コンテンツ記憶手段４０に蓄積されている各符号化コンテンツのデータ量を入力される。ここで、符号化コンテンツ記憶手段４０には、低ビットレート符号化コンテンツについては送信データ設定部３７３ａにおいて設定された区間ｍ１、高ビットレート符号化コンテンツについては送信データ設定部３７３ａにおいて設定された区間ｍ４に対応するデータがそれぞれ蓄積されているとする。すると、送信タイミング設定部３７３ｂは、符号監視制御手段３７１から区間ｍ１に対応するデータ量及び区間ｍ４に対応するデータ量を符号化コンテンツ記憶手段４０に蓄積されている低ビットレート符号化コンテンツ及び高ビットレート符号化コンテンツのデータ量として通知される。そして、これに基づいて、送信タイミング設定部３７３ｂは、再生時間−２ｄを区間ｍ１に対応する送信データと区間ｍ４に対応する送信データとを送信する送信タイミングとし、図５（ａ）、（ｃ）に示すように、区間ｍ１に対応する送信データを送信する指令Ｍ１と区間ｍ４に対応する送信データを送信する指令Ｍ４とを、再生時間−２ｄにおいて出力する。
【０１１３】
同様にして、図５（ｂ）、（ｃ）に示すように、送信タイミング設定部３７３ｂは、再生時間−ｄにおいて区間ｍ２に対応する中ビットレート符号化コンテンツの送信データを送信する指令Ｍ２と、区間ｍ５に対応する高ビットレート符号化コンテンツの送信データを送信する指令Ｍ５とを出力し、コンテンツの再生開始時刻（再生時間０）には、区間ｍ６に対応する高ビットレート符号化コンテンツの送信データを送信する指令Ｍ６を、再生時間ｄには区間ｍ７に対応する送信データを送信する指令Ｍ７を順次出力する。なお、図５（ａ）〜（ｃ）において、指令Ｍ１、Ｍ２、…の矢印の長さは送信する送信データのデータ量を示している。
【０１１４】
ここで、後記する符号送信手段３８が、送信設定手段３７３によって設定された、図５（ａ）〜（ｃ）に示す送信データを各々の送信タイミングで送信した場合には、図５（ｄ）に示すように、高ビットレート符号化コンテンツは、区間ｍ４、ｍ５、…のような比較的短い時間幅のデータごとに継続的に送信される。また、中ビットレート符号化コンテンツと低ビットレート符号化コンテンツは、比較的長い時間幅の単位データ量ごとに間欠的に送信される。
【０１１５】
このようにして、送信設定手段３７３は、符号送信手段３８に、高いビットレートの符号化コンテンツ（図５では高ビットレート符号化コンテンツ）を継続的に送信させ、低いビットレートの符号化コンテンツ（図５では中ビットレート符号化コンテンツ及び低ビットレート符号化コンテンツ）については大きい時間幅のデータごとに間欠的に送信させる。そのため、ある時刻にネットワーク５に障害が発生して、この時刻に符号送信手段３８から送信された高いビットレートの送信データが正常に伝送されなかった場合においても、異なる時刻にその区間に対応するコンテンツのデータを含む低いビットレートの送信データが伝送されるため、コンテンツ受信装置７におけるコンテンツの再生が途切れないようにすることができる。
【０１１６】
なお、ここでは、符号化コンテンツ記憶手段４０に送信データが蓄積された時点を送信タイミングとしたが、後記するコンテンツ受信装置７によって、コンテンツが再生される際の当該送信データの再生時間以前に送信するように設定されていればよく、例えば、当該送信データの再生時間から所定時間前の時点を送信タイミングとすることとしてもよい。
【０１１７】
図２に戻って説明を続ける。ネットワーク監視手段３７４は、ネットワーク情報入力手段３６から入力されたネットワーク情報に基づいて、ネットワーク５が送信可能な状態である時に送信データを送信する制御を行うものである。ここで、ネットワーク監視手段３７４は、ネットワーク５の障害を示すネットワーク情報に基づいて、ネットワーク５の障害の発生及び解消を監視し、ネットワーク５の障害の発生時に送信タイミング設定部３７３ｂから送信データの送信の指令が入力された場合には、障害解消後にこの送信の指令を符号送信手段３８に出力する。また、ネットワーク監視手段３７４は、ネットワーク５の障害が生じていない時に送信タイミング設定部３７３ｂから送信の指令が入力された場合には、そのまま符号送信手段３８に出力する。なお、ネットワーク情報とは、例えば、ネットワーク５の提供者が送信する、ネットワーク５の混雑等が生じた際に行う、データの伝送の制限等の情報を示すものである。
【０１１８】
ここで、図６（適宜図２参照）を参照して、ネットワーク監視手段３７４が、ネットワーク情報に基づいて、あるビットレートの符号化コンテンツについて、ネットワーク５が送信可能な状態である時に送信データを送信する制御を行う例について説明する。図６（ａ）は、送信設定手段３７３によって設定された送信データの区間の例を模式的に示した説明図、図６（ｂ）は、送信設定手段３７３が、（ａ）の送信データを送信する指令を出力するタイミングを模式的に示した説明図、図６（ｃ）は、ネットワーク情報からネットワーク５の障害を検出したネットワーク監視手段３７４が、符号化コンテンツの送信データを送信する指令を出力するタイミングを模式的に示した説明図である。
【０１１９】
ここでは、図６（ａ）に示す区間ｋ１、ｋ２、ｋ３、ｋ４、…を、送信設定手段３７３が送信データの区間として設定して、図６（ｂ）に示す送信タイミングで、区間ｋ１、ｋ２、ｋ３、ｋ４、…に対応する送信データを送信する指令Ｋ１、Ｋ２、Ｋ３、Ｋ４、…を、順次ネットワーク監視手段３７４に出力したとする。なお、図６（ｂ）において、例えば、指令（図６（ｂ）中では矢印）Ｋ１は、コンテンツを受信して再生するコンテンツ受信装置７によって再生時間３ｄから７ｄに再生されるコンテンツの一部分のデータを符号化した、符号化コンテンツの一部（区間ｋ１に対応するデータ）を送信データとして送信する指令であり、この指令Ｋ１が、送信設定手段３７３から再生時間１ｄに出力されることを示している。
【０１２０】
送信タイミング設定部３７３ｂが、図６（ｂ）のように指令を出力すると、ネットワーク監視手段３７４は、再生時間１ｄにおいて指令Ｋ１を受信する。この時、ネットワーク監視手段３７４は、ネットワーク５の障害を検出していないとする。そこで、ネットワーク監視手段３７４は、図６（ｃ）に示すように、この指令Ｋ１を、再生時間１ｄに符号送信手段３８に出力する。
【０１２１】
次に、ネットワーク監視手段３７４は、図６（ｂ）に示すように、送信設定手段３７３から再生時間２ｄに指令Ｋ３を受信する。この時、ネットワーク監視手段３７４は、ネットワーク５の障害（図６（ｃ）において模式的に斜線で示す）の発生を検出したとする。そこで、ネットワーク監視手段３７４は、図６（ｃ）に示すように、この指令Ｋ２を再生時間２ｄにおいて出力しない。
【０１２２】
そして、ネットワーク監視手段３７４は、図６（ｂ）に示すように、送信設定手段３７３から再生時間３ｄに指令Ｋ３を受信する。この時、ネットワーク監視手段３７４は、ネットワーク５の障害の解消を検出したとする。そこで、ネットワーク監視手段３７４は、図６（ｃ）に示すように、再生時間３ｄにおいて、指令Ｋ２と指令Ｋ３とを符号送信手段３８に出力する。
【０１２３】
更に、ネットワーク監視手段３７４は、図６（ｂ）に示すように、送信設定手段３７３から再生時間４ｄに指令Ｋ４を受信する。この時、ネットワーク監視手段３７４は、ネットワーク５の障害を検出していないとする。そこで、ネットワーク監視手段３７４は、図６（ｃ）に示すように、この指令Ｋ４を、再生時間４ｄに符号送信手段３８に出力する。
【０１２４】
このように、ネットワーク監視手段３７４は、ネットワーク５の障害を検出した際には、符号送信手段３８による送信データの送信を遅延させ、障害解消後に送信させることで、ネットワーク５の障害によりデータが正常に伝送されない時には送信データを送信させず、正常に送信されるようになってからこの送信データを送信させるようにできるため、ネットワーク５の障害に対する耐性を向上させることができる。
【０１２５】
図２に戻って説明を続ける。符号送信手段３８は、ネットワーク監視手段３７４から入力される送信データを送信する指令に基づいて、符号化コンテンツ記憶手段４０に記憶された符号化コンテンツを単位データ量ごとあるいは送信設定手段３７３によって設定された送信データごとに送信するものである。なお、ここでは、符号送信手段３８は、各ビットレートの符号化コンテンツごとに、送信する送信データにこのコンテンツを再生した際の再生時間を示す時間情報を付加して、通信送受信手段３９に出力するものとする。
【０１２６】
通信送受信手段３９は、ネットワーク５を介して、データの送受信を行うものである。例えば、通信送受信手段３９は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）の通信プロトコルによって通信データの送受信を行うものである。
【０１２７】
符号化コンテンツ記憶手段４０は、音声認識手段３２、中ビットレート符号化手段３３及び高ビットレート符号化手段３４によって音声認識あるいは符号化された符号化コンテンツを記憶するもので、半導体メモリ等の一般的な記憶手段である。この符号化コンテンツ記憶手段４０は、例えば、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）型のバッファメモリである。
【０１２８】
送信設定情報記憶手段４１は、送信設定手段３７３において、送信データの区間と送信タイミングとを設定する際に必要となるパラメータを記憶するもので、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の一般的な記憶手段である。なお、ここでは、送信データ設定部３７３ａが、前記の式（１）〜（３）に基づいて単位データ量を設定する際に用いられる閾値Ｔ1、Ｔ2、ｎ1、ｎ2、ｎ3と伝送の単位時間ｄとが予め記憶されることとした。
【０１２９】
以上のようにコンテンツ送信装置３を構成することで、コンテンツ送信装置３は、コンテンツを異なるビットレートの符号化コンテンツに符号化し、また、その音声データを音声認識する。そして、高いビットレートの符号化コンテンツについては小さい時間幅のデータごとに継続的に送信し、低いビットレートの符号化コンテンツについては大きい時間幅のデータごとに間欠的に送信する。そのため、ある時刻において一時的にネットワーク５に障害が発生して、この時刻に送信された送信データが正常に伝送されなかった場合においても、その送信データの、コンテンツの再生時間の時間軸上における区間に対応するコンテンツのデータを含む他のビットレートの送信データが異なる時刻に送信されるため、コンテンツ受信装置７にいずれかのビットレートの符号化コンテンツを受信させることができる。
【０１３０】
更に、高いビットレートの符号化コンテンツはデータ量が多いためにネットワーク５の障害の影響を受けやすいが、低いビットレートの符号化コンテンツは、データ量が少ないために重複して送信しやすく、また長時間のデータをまとめて送信しやすいために、ネットワーク５の障害の影響を受けにくい。そのため、１つのコンテンツから生成した高いビットレートの符号化コンテンツと低いビットレートの符号化コンテンツとを送信することで、ネットワーク５の状態が悪くてもコンテンツ受信装置７に少なくとも低いビットレートの符号化コンテンツを受信させることができる。
【０１３１】
なお、ここでは、コンテンツ送信装置３は、外部からネットワーク情報を入力され、それに基づいて、ネットワーク監視手段３７４が、ネットワーク５が送信可能であるかを判断しているが、ネットワーク監視手段３７４がネットワーク情報を入力されず、例えば、イーサネット（Ｒ）におけるＣＳＭＡ／ＣＤ（Ｃａｒｒｉｅｒ  Ｓｅｎｓｅ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ／Ｃｏｌｌｉｓｉｏｎ  Ｄｅｔｅｃｔｉｏｎ）方式等によってネットワーク５が送信可能かを判断するようにしてもよい。
【０１３２】
また、コンテンツ送信装置３は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、コンテンツ送信プログラムとして動作させることも可能である。
【０１３３】
（コンテンツ受信装置の構成）
次に、図７を参照（適宜図１参照）して、コンテンツ受信装置７の構成について説明する。図７は、本発明におけるコンテンツ受信装置７の構成を示したブロック図である。コンテンツ受信装置７は、受信手段７１と、音声合成手段７２と、中ビットレート復号手段７３と、高ビットレート復号手段７４と、低ビットレート復号データ受信状態判定手段７５と、中ビットレート復号データ判定手段７６と、高ビットレート復号データ判定手段７７と、復号データ選択手段７８と、復号データ出力手段７９と、復号データ記憶手段８０とを備える。
【０１３４】
受信手段７１は、ネットワーク５を介して、符号化コンテンツの受信を行うものである。例えば、受信手段７１は、ＴＣＰ／ＩＰの通信プロトコルによって通信データの受信を行うものである。ここで受信された符号化コンテンツは、音声合成手段７２、中ビットレート復号手段７３及び高ビットレート復号手段７４に出力される。
【０１３５】
音声合成手段７２は、受信手段７１を介して、コンテンツ送信装置３から送信された低ビットレート符号化コンテンツ（音声認識データ）を受信して、音声合成するものである。ここで音声合成された合成音声データは低ビットレート復号データとして復号データ記憶手段８０に記憶される。
【０１３６】
なお、ここでは、伝送する情報量を削減するためにコンテンツ送信装置３によってコンテンツの音声データを音声認識した音声認識データを、音声合成手段７２によって音声合成して合成音声データとするため、音声データの内容をテキストデータとして出力する従来の技術において生じていた、話者の話し方や声などの特徴が失われるという問題は解決される。なお、音声合成手段７２は、例えば、「音声合成研究への招待−自由な合成の実現に向けて」（広瀬  啓吉、ＩＰＳＪ  Ｍａｇａｚｉｎｅ、Ｖｏｌ．４３、Ｎｏ．３、Ｍａｒ  ２００２）に記載されるような、一般的な音声合成技術を用いて実現することができる。
【０１３７】
中ビットレート復号手段（復号手段）７３は、受信手段７１を介して、コンテンツ送信装置３から送信された中ビットレート符号化コンテンツを受信して、復号するものである。ここで復号された中ビットレート復号データは復号データ記憶手段８０に記憶される。
【０１３８】
高ビットレート復号手段（復号手段）７４は、受信手段７１を介して、コンテンツ送信装置３から送信された高ビットレート符号化コンテンツを受信して、復号するものである。ここで復号された高ビットレート復号データは復号データ記憶手段８０に記憶される。
【０１３９】
なお、ここでは、音声合成手段７２、中ビットレート復号手段７３及び高ビットレート復号手段７４は、各々の復号データ（低ビットレート復号データ、中ビットレート復号データ及び高ビットレート復号データ）に、対応する送信データまたはネットワーク５を伝送する際に付加された時間情報を付加して、復号データ記憶手段８０に記憶させるものとする。
【０１４０】
また、ここでは、コンテンツ受信装置７は、ビットレートの異なる符号化コンテンツを復号する復号手段７３、７４、及び、このコンテンツの音声認識データを音声合成する音声合成手段７２を備えることとしたが、本発明のコンテンツ受信装置７は、異なるビットレートの符号化コンテンツを復号するために復号手段を少なくとも２つ、あるいは、復号手段と音声合成手段を少なくとも１つずつ備える構成であればよい。
【０１４１】
低ビットレート復号データ受信状態判定手段（合成音声データ受信状態判定手段）７５は、復号データ記憶手段８０に蓄積されている低ビットレート復号データの欠損を判定するものである。ここで、低ビットレート復号データ受信状態判定手段７５は、所定の時間幅の区間ごとに低ビットレート復号データが復号データ記憶手段８０に蓄積されているかを判定することで欠損を判定する。ここで判定された欠損の判定結果は、復号データ選択手段７８に出力される。
【０１４２】
中ビットレート復号データ判定手段７６は、復号データ記憶手段８０に蓄積されている中ビットレート復号データの欠損を判定し、更に復号データ記憶手段８０に蓄積されている復号データが正常に復号されたものであるかを判定するものである。ここでは、中ビットレート復号データ判定手段７６は、受信状態判定部７６ａと、復号状態判定部７６ｂとを備えている。
【０１４３】
受信状態判定部（受信状態判定手段、復号データ受信状態判定手段）７６ａは、復号データ記憶手段８０に蓄積されている中ビットレート復号データの欠損を判定するものである。ここで、受信状態判定部７６ａは、所定の時間幅の区間ごとに中ビットレート復号データが復号データ記憶手段８０に蓄積されているかを判定することで欠損を判定する。ここで判定された欠損の判定結果は復号データ選択手段７８に出力される。
【０１４４】
復号状態判定部（復号状態判定手段）７６ｂは、所定の時間幅の区間ごとに、復号データ記憶手段８０に蓄積されている中ビットレート復号データが正常に復号されているかを判定するものである。ここで判定された復号の判定結果は復号データ選択手段７８に出力される。
【０１４５】
高ビットレート復号データ判定手段７７は、復号データ記憶手段８０に蓄積されている高ビットレート復号データの欠損を判定し、更に復号データ記憶手段８０に蓄積されている復号データが正常に復号されたものであるかを判定するものである。ここでは、高ビットレート復号データ判定手段７７は、受信状態判定部７７ａと、復号状態判定部７７ｂとを備えている。なお、受信状態判定部７７ａ及び復号状態判定部７７ｂは、中ビットレート復号データ判定手段７６の受信状態判定部７６ａ及び復号状態判定部７６ｂと同一の構成であり、中ビットレート復号コンテンツに対する動作を高ビットレート復号コンテンツに置き換えただけで機能は同じものであるので、説明を省略する。
【０１４６】
ここで、低ビットレート復号データ受信状態判定手段７５、中ビットレート復号データ判定手段７６の受信状態判定部７６ａ及び高ビットレート復号データ判定手段７７の受信状態判定部７７ａは、復号データ記憶手段８０に記憶された復号データに付加された、当該コンテンツを再生した際の当該復号データの再生時間を示す時間情報に基づいて、所定の時間幅の区間の復号データが復号データ記憶手段８０に記憶されているかを判定することができる。なお、ここで判定される所定の時間幅の区間の復号データは、例えば、フレームごとのデータであってもよいし、コンテンツ送信装置３において、送信データの単位データ量を設定する際に用いた伝送の単位時間ｄの時間幅ごとのデータとしてもよい。
【０１４７】
また、中ビットレート復号データ判定手段７６の復号状態判定部７６ｂ及び高ビットレート復号データ判定手段７７の復号状態判定部７７ｂは、例えば、ＣＲＣ（Ｃｙｃｌｉｃ  Ｒｅｄｕｎｄａｎｃｙ  Ｃｈｅｃｋｉｎｇ）やチェックサムのような一般的な復号状態の判定方法により判定することができる。
【０１４８】
復号データ選択手段７８は、低ビットレート復号データ受信状態判定手段７５、中ビットレート復号データ判定手段７６及び高ビットレート復号データ判定手段７７から入力される欠損の判定結果及び復号の判定結果に基づいて、所定の時間幅の区間ごとに、音声合成手段７２、中ビットレート復号手段７３あるいは高ビットレート復号手段７４によって音声合成あるいは復号された復号データのうち、最も高いビットレートの復号データを選択し、この復号データを出力する指令を復号データ出力手段７９に出力するものである。
【０１４９】
ここで、復号データ選択手段７８は、高いビットレートの復号データから順に、所定の時間幅の区間ごとに、正常に受信され、かつ、正常に復号されているかを判断する。そして、正常に受信され、かつ、正常に復号されている場合にはそのビットレートの復号データを選択する。ここでは、復号データ選択手段７８は、高ビットレート復号データ判定手段７７の受信状態判定部７７ａ、中ビットレート復号データ判定手段７６の受信状態判定部７６ａ、あるいは、低ビットレート復号データ受信状態判定手段７５によって判定された各々の復号データの所定の時間幅の区間ごとの欠損の判定結果を参照して、正常に受信されているかを判断する。また、高ビットレート復号データ判定手段７７の復号状態判定部７７ｂ、あるいは、中ビットレート復号データ判定手段７６の復号状態判定部７６ｂによって判定された各々の復号データの所定の時間幅の区間ごとの復号の判定結果を参照して、正常に復号されているかを判断する。
【０１５０】
復号データ出力手段７９は、復号データ選択手段７８から入力された指令に基づいて、選択された復号データを復号データ記憶手段８０から読み出して、再生されたコンテンツとして出力するものである。
【０１５１】
復号データ記憶手段８０は、音声合成手段７２、中ビットレート復号手段７３あるいは高ビットレート復号手段７４によって音声合成あるいは復号された復号データを記憶するもので、半導体メモリ等の一般的な記憶手段である。
【０１５２】
以上のようにコンテンツ受信装置７を構成することで、コンテンツ受信装置７は、同一のコンテンツを符号化した、異なるビットレートの符号化コンテンツ、あるいは、その音声データを音声認識した音声認識データを受信して復号あるいは音声合成し、復号あるいは音声合成されたデータのうち最も高いビットレートのデータを出力する。また、コンテンツ受信装置７は、復号データが正常に複合されているかを判定し、正常に復号された復号データのうち最も高いビットレートの復号データを出力するため、あるビットレートの符号化コンテンツの復号に失敗した場合においても、正常に復号された他のビットレートの復号データを出力することができる。
【０１５３】
なお、ここでは、低ビットレート復号データ受信状態判定手段７５、中ビットレート復号データ判定手段７６の受信状態判定部７６ａ及び高ビットレート復号データ判定手段７７の受信状態判定部７７ａは、復号データ記憶手段８０に記憶された低ビットレート復号データに付加された時間情報に基づいて、欠損の判定をすることとしたが、例えば、コンテンツ送信装置３において、送信データごとに連続番号を付して送信し、コンテンツ受信装置７の低ビットレート復号データ受信状態判定手段７５、中ビットレート復号データ判定手段７６及び高ビットレート復号データ判定手段７７が、この連続番号に基づいて欠損を判定するようにしてもよい。更に、図示しない入力手段を介して外部から入力されたネットワーク５の障害を示すネットワーク情報に基づいて、所定の時間幅の区間の復号データに対応する符号化コンテンツが伝送されたかを判断することで欠損を判定することとしてもよい。
【０１５４】
また、コンテンツ受信装置７は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、コンテンツ再生プログラムとして動作させることも可能である。
【０１５５】
［コンテンツ伝送システムの動作］
次に、図８乃至図１０を参照して、本発明におけるコンテンツ伝送システム１の動作について説明する。ここでは、まず、図８及び図９を参照して、コンテンツ送信装置３の動作について説明する。続いて、図１０を参照して、コンテンツ受信装置７の動作について説明する。
【０１５６】
（コンテンツ送信装置の動作）
まず、図８を参照（適宜図１及び図２参照）して、コンテンツ送信装置３が、同一のコンテンツを符号化、あるいは、音声データを音声認識した、複数の異なるビットレートの符号化コンテンツを、送信制御情報及びネットワーク情報に基づいて送信する動作について説明する。図８は、本発明におけるコンテンツ送信装置３が、同一のコンテンツを符号化あるいは音声認識した、複数の異なるビットレートの符号化コンテンツを送信する動作を示したフローチャートである。
【０１５７】
なお、ここでは、コンテンツ入力手段３１がコンテンツを入力し、音声認識手段３２がこのコンテンツの音声データを音声認識し、中ビットレート符号化手段３３及び高ビットレート符号化手段３４が当該コンテンツを符号化して（符号化ステップ）、符号化コンテンツ記憶手段４０に符号化コンテンツを記憶した（符号化コンテンツ記憶ステップ）後の動作について説明する。
【０１５８】
コンテンツ送信装置３は、送信設定手段３７３の送信データ設定部３７３ａによって、各ビットレートの符号化コンテンツごとに、当該ビットレートに基づいて、一度に送信する送信データの単位データ量を設定する（ステップＳ３１）。なお、ここでは、単位の単位データ量を、当該コンテンツを再生した際におけるこの送信データの再生時間の時間幅Ｄによって設定する。
【０１５９】
そして、送信回数設定手段３７２は、送信制御情報入力手段３５を介して、新たな送信制御情報が入力されているかを判断し（ステップＳ３２）、新たな送信制御情報が入力されていない場合（ステップＳ３２でＮｏ）には、そのままステップＳ３４に進み、新たな送信制御情報が入力されている場合（ステップＳ３２でＹｅｓ）には、送信回数設定手段３７２は、入力された送信制御情報に基づいて、再送区間とその送信回数とを設定する（ステップＳ３３）。
【０１６０】
そして、送信データ設定部３７３ａは、後記する送信データの区間設定動作によって、ステップＳ３１で設定された単位データ量と、ステップＳ３３で設定された再送区間と送信回数と基づいて、各ビットレートの符号化コンテンツごとに、一度に送信する送信データの区間を設定する（ステップＳ３４）。
【０１６１】
そして、送信設定手段３７３の送信タイミング設定部３７３ｂは、符号監視制御手段３７１から入力される、符号化コンテンツ記憶手段４０に蓄積された各符号化コンテンツのデータ量に基づいて、ステップＳ３４において設定された区間に対応するデータ量のデータが符号化コンテンツ記憶手段４０に蓄積されているかを判断する（ステップＳ３５）。そして、設定された区間に対応するデータ量のデータが符号化コンテンツ記憶手段４０に蓄積されていない場合（ステップＳ３５でＮｏ）には、所定時間後に符号監視制御手段３７１から入力される、符号化コンテンツ記憶手段４０に蓄積された各符号化コンテンツのデータ量に基づいて、再度その区間に対応するデータ量のデータが蓄積されているかを判断する動作（ステップＳ３５）を行う。
【０１６２】
また、設定された区間に対応するデータ量のデータが符号化コンテンツ記憶手段４０に蓄積されている場合（ステップＳ３５でＹｅｓ）には、ネットワーク監視手段３７４は、ネットワーク情報入力手段３６を介して入力されるネットワーク情報に基づいて、ネットワーク５が送信可能であるか、つまり、ネットワーク５に障害が発生していないかを判断する（ステップＳ３６）。そして、ネットワーク５が送信可能な状態でない場合（ステップＳ３６でＮｏ）には、所定時間後にネットワーク情報入力手段３６から入力されるネットワーク情報に基づいて、再度ネットワーク５が送信可能であるかを判断する動作（ステップＳ３６）を行う。
【０１６３】
また、ネットワーク５が送信可能な状態である場合（ステップＳ３６でＹｅｓ）には、ネットワーク監視手段３７４は、ステップＳ３４において設定された区間に対応する送信データを送信する指令を符号送信手段３８に出力し、符号送信手段３８は、その指令に基づいて、符号化コンテンツ記憶手段４０からこの送信データを読み出し、通信送受信手段３９を介して送信する（ステップＳ３７；符号送信ステップ）。
【０１６４】
そして、符号監視制御手段３７１は、ステップＳ３７において送信された送信データの区間の情報をネットワーク監視手段３７４から入力され、ステップＳ３３において設定された送信回数だけ送信された区間があるかを判断する（ステップＳ３８）。そして、設定された送信回数だけ送信された区間がない場合（ステップＳ３８でＮｏ）には、そのままステップＳ４０に進む。また、設定された送信回数だけ送信された区間がある場合（ステップＳ３８でＹｅｓ）には、符号監視制御手段３７１は、この区間に対応するデータを符号化コンテンツ記憶手段４０から削除する（ステップＳ３９）。
【０１６５】
そして、符号監視制御手段３７１は、符号化コンテンツの全部について、設定された送信回数の送信が終了したかを判断し（ステップＳ４０）、符号化コンテンツの全部について、設定された送信回数だけ送信していない場合（ステップＳ４０でＮｏ）には、ステップＳ３２に戻って、送信回数設定手段３７２が新たな送信制御情報が入力されているかを判断する動作以降の動作を行う。また、符号化コンテンツの全部について、送信回数だけ送信した場合（ステップＳ４０でＹｅｓ）には、動作を終了する。
【０１６６】
なお、特許請求の範囲に記載の送信設定ステップは、ステップＳ３１からステップＳ３５の動作に相当する。
【０１６７】
以上の動作によって、コンテンツ送信装置３は、コンテンツを符号化あるいは音声認識した、複数の異なるビットレートの符号化コンテンツごとに、異なるタイミングで送信データを送信する。そのため、ある時刻において一時的にネットワーク５に障害が発生して、この時刻に送信された送信データが正常に伝送されなかった場合においても、コンテンツ送信装置３は、異なる時刻にその送信データの区間に対応するコンテンツのデータを含む他のビットレートの送信データを送信するため、コンテンツ受信装置７にいずれかのビットレートの符号化コンテンツを受信させることができる。そのため、従来の階層符号化伝送方式において生じていた、回線断の際に全階層のデータが同時に伝送されなくなるという問題が生じない。
【０１６８】
また、コンテンツ送信装置３は、送信制御情報において大きい重要度が指定された区間についてその区間に対応するデータの送信回数を多く設定し、繰り返し送信することができる。そのため、コンテンツを受信して再生するコンテンツ受信装置７に対して、より高い確率で重要度の高い区間に対応するデータを受信させることができる。また、異なる時間に同じデータを送信するため、衛星回線、専用線、公衆電話回線というように個別に独立した回線を用いて伝送する必要はなく、１つの回線を用いて障害耐性を高めることができるので回線コストを低く抑えることができる。
【０１６９】
更に、コンテンツ送信装置３は、ネットワーク情報に基づいて、ネットワーク５の障害を検出した際には送信データの送信を遅延させ、障害解消後に送信させることで、ネットワーク５の障害に対する耐性を向上させることができる。
【０１７０】
（送信データの区間設定動作）
次に図９を参照（適宜図２参照）して、コンテンツ送信装置３が、送信設定手段３７３の送信データ設定部３７３ａによって、再送区間とその区間に対応するデータの送信回数とに基づいて、符号化コンテンツ記憶手段４０に記憶された各符号化コンテンツの送信データの区間を設定する動作（図８のステップＳ３４）について説明する。図９は、本発明におけるコンテンツ送信装置３が、符号化コンテンツの送信データの区間を設定する動作を示したフローチャートである。
【０１７１】
コンテンツ送信装置３は、送信設定手段３７３の送信データ設定部３７３ａによって、次に送信する送信データの、当該コンテンツの再生時間の時間軸上における再生開始時間を符号監視制御手段３７１から入力され、送信データの区間の開始時間として設定する（ステップＳ５１）。そして、送信データ設定部３７３ａは、この開始時間から、図８のステップＳ３１において設定された時間幅Ｄの区間に、図８のステップＳ３３において設定された送信回数の変化があるかを判断する（ステップＳ５２）。そして、この区間において送信回数に変化がない場合（ステップＳ５２でＮｏ）には、そのままステップＳ５６に進む。また、この区間において送信回数に変化がある場合（ステップＳ５２でＹｅｓ）には、送信データ設定部３７３ａは、この開始時間から時間幅Ｄの区間で、再生時間の経過に対して送信回数が減少しているかを判断する（ステップＳ５３）。
【０１７２】
そして、この区間で送信回数が減少していない場合（ステップＳ５３でＮｏ）には、そのままステップＳ５６に進む。また、送信回数が減少する場合（ステップＳ５３でＹｅｓ）には、送信データ設定部３７３ａは、ここで送信データを設定することで、送信回数が増加する区間について、設定された送信回数に達するかを判断する（ステップＳ５４）。そして、送信回数に達する場合（ステップＳ５４でＹｅｓ）には、そのままステップＳ５６に進む。また、送信回数に達しない場合（ステップＳ５４でＮｏ）には、送信データ設定部３７３ａは、ステップＳ５１において設定された開始時間から、設定された送信回数が減少する前までの区間を送信データとして設定し（ステップＳ５５）、ステップＳ５７に進む。このように、送信回数が減少する前までの区間を送信データとして設定することで、符号送信手段３８によって順に送信される送信データの区間の順序が入れ替わらないようにすることができる。
【０１７３】
また、開始時間から時間幅Ｄの区間に送信回数の変化がない場合（ステップＳ５２でＮｏ）、この区間で送信回数に変化はあるが、減少していない場合（ステップＳ５３でＮｏ）、もしくは、送信回数は減少するが、ここで送信データを設定することで、設定された送信回数に達する場合（ステップＳ５４でＹｅｓ）には、送信データ設定部３７３ａは、ステップＳ５１において設定された開始時間から時間幅Ｄの区間を送信データとして設定する（ステップＳ５６）。
【０１７４】
そして、送信データ設定部３７３ａは、開始時間から伝送の単位時間ｄの時間幅の区間について、図８のステップＳ３３において送信回数設定手段３７２によって設定された送信回数だけ、送信データが設定されたかを判断する（ステップＳ５７）。そして、設定された送信回数だけ、送信データが設定されていない場合（ステップＳ５７でＮｏ）には、送信データ設定部３７３ａは、ステップＳ５２に戻り、引き続きステップＳ５１において設定された開始時間から時間幅Ｄの区間に、図８のステップＳ３３において設定された送信回数に変化があるかを判断する動作以降の操作を行う。
【０１７５】
一方、設定された送信回数だけ、送信データが設定された場合（ステップＳ５７でＹｅｓ）には、動作を終了する。
【０１７６】
以上の動作によって、送信データ設定部３７３ａは、送信設定手段３７３の送信データ設定部３７３ａによって、再送区間とその区間に対応するデータの送信回数とに基づいて、符号化コンテンツ記憶手段４０に記憶された各符号化コンテンツの時間幅Ｄ、あるいは時間幅Ｄより短い時間幅の送信データの区間を設定することができる。そして、送信データ設定部３７３ａは、符号送信手段３８によって順に送信される送信データの区間の順序が入れ替わらないように送信データの区間を設定することができる。
【０１７７】
（コンテンツ受信装置の動作）
次に、図１０を参照（適宜図１及び図７参照）して、コンテンツ受信装置７が、ネットワーク５を介して受信した、同一のコンテンツを符号化、あるいは、音声データを音声認識した、複数の異なるビットレートの符号化コンテンツから当該コンテンツを再生する動作について説明する。図１０は、本発明におけるコンテンツ受信装置７が、ネットワーク５を介して受信した、同一のコンテンツを符号化又は音声認識した、複数の異なるビットレートの符号化コンテンツから当該コンテンツを再生する動作を示したフローチャートである。
【０１７８】
なお、ここでは、コンテンツ受信装置７が受信手段７１を介して符号化コンテンツを受信し（受信ステップ）、音声合成手段７２が音声合成し、中ビットレート復号手段７３及び高ビットレート復号手段７４が各々の符号化コンテンツを復号して（復号ステップ）復号データ記憶手段８０に記憶し（復号データ記憶ステップ）、低ビットレート復号データ受信状態判定手段７５、中ビットレート復号データ判定手段７６の受信状態判定部７６ａ及び高ビットレート復号データ判定手段７７の受信状態判定部７７ａが各々の符号化コンテンツの受信状態を判定する（受信状態判定ステップ）とともに復号状態判定部７６ｂ、７７ｂが復号状態を判定した後の動作について説明する。
【０１７９】
コンテンツ受信装置７の復号データ選択手段７８は、高ビットレート復号データ判定手段７７の受信状態判定部７７ａによって判定された、所定の時間幅の区間の高ビットレート復号データの欠損の判定結果を参照して、その区間に対応する高ビットレート復号データが正常に受信されたかを判定する（ステップＳ７１）。
【０１８０】
そして、高ビットレート復号データが正常に受信されていないと判定した場合（ステップＳ７１でＮｏ）には、そのままステップＳ７４に進む。また、高ビットレート復号データが正常に受信されていると判定した場合（ステップＳ７１でＹｅｓ）には、復号データ選択手段７８は、高ビットレート復号データ判定手段７７の復号状態判定部７７ｂによって判定された、この区間に対応する高ビットレート復号データの復号状態の判定結果を参照して、正常に復号されたかを判定する（ステップＳ７２）。
【０１８１】
そして、高ビットレート復号データが正常に復号されていると判定した場合（ステップＳ７２でＹｅｓ）には、復号データ選択手段７８は、正常に受信され復号された最も高いビットレートの復号データとして高ビットレート復号データを選択し（ステップＳ７３）、ステップＳ７９に進む。また、高ビットレート復号データが正常に復号されていないと判定した場合（ステップＳ７２でＮｏ）には、ステップＳ７４に進む。
【０１８２】
続いて、復号データ選択手段７８は、中ビットレート復号データ判定手段７６の受信状態判定部７６ａによって判定された、所定の時間幅の区間に対応する中ビットレート復号データの欠損の判定結果を参照して、その区間に対応する中ビットレート復号データが正常に受信されたかを判定する（ステップＳ７４）。そして、中ビットレート復号データが正常に受信されていないと判定した場合（ステップＳ７４でＮｏ）には、そのままステップＳ７７に進む。また、中ビットレート復号データが正常に受信されていると判定した場合（ステップＳ７４でＹｅｓ）には、復号データ選択手段７８は、中ビットレート復号データ判定手段７６の復号状態判定部７６ｂによって判定された、この区間に対応する中ビットレート復号データの復号状態の判定結果を参照して、正常に復号されたかを判定する（ステップＳ７５）。
【０１８３】
そして、中ビットレート復号データが正常に復号されていると判定した場合（ステップＳ７５でＹｅｓ）には、復号データ選択手段７８は、正常に受信され復号された最も高いビットレートの復号データとして中ビットレート復号データを選択し（ステップＳ７６）、ステップＳ７９に進む。また、中ビットレート復号データが正常に復号されていないと判定した場合（ステップＳ７５でＮｏ）には、ステップＳ７７に進む。
【０１８４】
続いて、復号データ選択手段７８は、低ビットレート復号データ受信状態判定手段７５によって判定された、所定の時間幅の区間に対応する低ビットレート復号データの欠損の判定結果を参照して、その区間に対応する低ビットレート復号データが正常に受信されたかを判定する（ステップＳ７７）。そして、低ビットレート復号データが正常に受信されていないと判定した場合（ステップＳ７７でＮｏ）には、そのままステップＳ８０に進む。また、低ビットレート復号データが正常に受信されていると判定した場合（ステップＳ７７でＹｅｓ）には、復号データ選択手段７８は、正常に受信され復号された最も高いビットレートの復号データとして低ビットレート復号データを選択し（ステップＳ７８）、ステップＳ７９に進む。
【０１８５】
そして、復号データ出力手段７９は、ステップＳ７３、Ｓ７６またはＳ７８において選択された、所定の時間幅の区間に対応する復号データを、再生されたコンテンツとして出力する（ステップＳ７９；復号データ出力ステップ）。更に、復号データ選択手段７８は、当該コンテンツの全ての区間について、復号データの出力が終了したかを判断し（ステップＳ８０）、全ての区間について終了していない場合（ステップＳ８０でＮｏ）には、復号データ選択手段７８は、復号データ出力手段７９によって出力する次の区間を設定し（ステップＳ８１）、ステップＳ７１に戻って、復号データ選択手段７８が、ステップＳ８１において設定された区間に対応する高ビットレート復号データが正常に受信されたかを判定する動作以降の動作を行う。また、全ての区間について終了した場合（ステップＳ８０でＹｅｓ）には、動作を終了する。
【０１８６】
なお、特許請求の範囲に記載の復号データ選択ステップは、ステップＳ７１からステップＳ７８に相当する。
【０１８７】
以上の動作によって、コンテンツ受信装置７は、音声合成手段７２によって音声合成された低ビットレート復号データ、及び、中ビットレート復号手段７３あるいは高ビットレート復号手段７４によって正常に復号された復号データのうち、最もビットレートの高い復号データを再生コンテンツとして出力することができる。そして、ある時刻において一時的にネットワーク５に障害が発生して、この時刻にコンテンツ送信装置３から送信された送信データが受信できなかった場合においても、コンテンツ受信装置７は、異なる時刻にその送信データの区間に対応するコンテンツのデータを含む他のビットレートの送信データを受信するため、コンテンツ受信装置７は、再生されたコンテンツを中断せずに出力することができる。
【０１８８】
［コンテンツ送信装置の利用例と単位データ量の設定］
次に、図２を参照して、本発明にかかるコンテンツ送信装置３の利用例とその単位データ量の設定について補足して説明する。ここでは、コンテンツとして４８ｋＨｚサンプリングで１６ｂｉｔ量子化を行った２チャンネルのデジタル音声データを入力し、ネットワーク５には実行転送レートが１．２Ｍｂｐｓ程度のＡＤＳＬ回線を適用する例について説明する。
【０１８９】
音声認識手段３２には、音声認識データとしてテキストデータと音声を忠実に再現するための音素情報とを出力する音声認識装置を適用した。テキストデータは、発話速度が１分間に５００文字程度であれば１０００バイト／分程度であり、音素情報を加えても低ビットレート符号化コンテンツ（音声認識データ）のビットレートは１ｋｂｐｓ程度である。
【０１９０】
中ビットレート符号化手段３３には、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｕｎｉｏｎ  −  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）  Ｇ．７２９符号化方式により符号化するＧ．７２９符号化装置を適用した。Ｇ．７２９による符号化では、音声データを８ｋＨｚに帯域制限しているため、高域の音声データは存在しないが、発話内容などの人の声は適切に符号化される。ここで、入力された音声データのビットレートが１８７ｋｂｐｓであるとき、中ビットレート符号化コンテンツのビットレートは８ｋｂｐｓとなる。
【０１９１】
高ビットレート符号化手段３４には、ＭＰＥＧ−２ＡＡＣ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）方式により符号化するＭＰＥＧ−２ＡＡＣ符号化装置を適用した。ここで、入力された音声データのビットレートが１８７ｋｂｐｓであるとき、高ビットレート符号化コンテンツのビットレートは１２８ｋｂｐｓとなる。
【０１９２】
ここで、送信データ設定部３７３ａが、前記の式（１）〜（３）に基づいて、符号化コンテンツ記憶手段４０に記憶された３種類のビットレートの符号化コンテンツの単位データ量を設定する方法を説明する。なお、送信設定情報記憶手段４１には、閾値Ｔ1＝１．０×１０-3、Ｔ2＝１０×１０-3、ｎ1＝２、ｎ2＝１６、ｎ3＝１２８と、単位時間ｄ＝１０ｍｓが記憶されているとする。
【０１９３】
これらの符号化コンテンツを、符号送信手段３８によって、実行転送レート１．２Ｍｂｐｓ程度のＡＤＳＬ回線を用いて送信する場合には、低ビットレート符号化コンテンツ（音声認識データ）は、式（１）に該当するため、送信データ設定部３７３ａは、一度に送信する送信データの単位の時間幅Ｄを１２８０ｍｓと設定する。同様にして、中ビットレート符号化コンテンツ（Ｇ．７２９の符号化コンテンツ）は式（２）に該当するため、送信データ設定部３７３ａは時間幅Ｄを１６０ｍｓと設定し、高ビットレート符号化コンテンツ（ＭＰＥＧ−２  ＡＡＣの符号化コンテンツ）は、式（３）に該当するため、送信データ設定部３７３ａは時間幅Ｄを２０ｍｓと設定する。
【０１９４】
［コンテンツ送信装置の他の利用例と単位データ量の設定］
更に、図１１を参照して、本発明にかかるコンテンツ送信装置の他の利用例とその単位データ量の設定について補足して説明する。図１１は、本発明におけるコンテンツ送信装置の利用例の構成を示したブロック図である。図１１に示すように、コンテンツ送信装置３Ａは、コンテンツを入力して３種類のビットレートの符号化コンテンツに符号化し、ネットワーク５を介して送信するものである。コンテンツ送信装置３Ａは、コンテンツ送信装置３における音声認識手段３２を備えず、代わりに低ビットレート符号化手段３２Ａを付加して構成される。なお、ここでは、コンテンツとして７２０×４８０画素、４：２：０形式で３０フレーム／秒の動画像データを入力し、ネットワーク５には実行転送レートが８０Ｍｂｐｓのイーサネット（Ｒ）を適用する例について説明する。
【０１９５】
低ビットレート符号化手段３２Ａには、受信側でＣＧ合成するのに必要なデータをＴＶＭＬとして生成する符号化装置を適用した。低ビットレート符号化コンテンツのビットレートは１ｋｂｐｓ程度であり、極めて低いビットレートで動画像の内容を再現できるＣＧを生成するためのデータを生成する。
【０１９６】
中ビットレート符号化手段３３には、ＭＰＥＧ−４  ＡＳＰ（Ａｄｖａｎｃｅｄ  Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅ）方式により符号化する符号化装置を適用した。ＭＰＥＧ−４  ＡＳＰの符号化では、解像度３５２×２８８に落とし、かつフレームレートを１５ｆｐｔに下げた上でＭＰＥＧ−４  ＡＳＰで符号化し、中ビットレート符号化コンテンツのビットレートを１２８ｋｂｐｓとした。
【０１９７】
高ビットレート符号化手段３４には、ＭＰＥＧ−２  Ｖｉｄｅｏ方式により符号化する符号化装置を適用した。高ビットレート符号化コンテンツのビットレートは８Ｍｂｐｓ程度で、十分な品質が得られる。
【０１９８】
ここで、送信設定手段３７３が、符号化コンテンツ記憶手段４０に記憶された３種類のビットレートの符号化コンテンツの単位データ量を設定する方法を説明する。なお、送信設定情報記憶手段４１には、閾値Ｔ1＝１．０×１０-3、Ｔ2＝１０×１０-3、ｎ1＝２、ｎ2＝３２、ｎ3＝４０９６と、単位時間ｄ＝５ｍｓが記憶されているとする。
【０１９９】
これらの符号化コンテンツを、符号送信手段３８によって、実行転送レート８０Ｍｂｐｓのイーサネット（Ｒ）を用いて送信する場合に、低ビットレート符号化コンテンツ（ＴＶＭＬの記述）は、前記の式（１）に該当するため、送信データ設定部３７３ａは、一度に送信する送信データの単位の時間幅Ｄを２０４８０ｍｓと設定する。同様にして、中ビットレート符号化コンテンツ（ＭＰＥＧ−４  ＡＳＰの符号化コンテンツ）は式（２）に該当するため、送信データ設定部３７３ａは時間幅Ｄを１６０ｍｓと設定し、高ビットレート符号化コンテンツ（ＭＰＥＧ−２  Ｖｉｄｅｏの符号化コンテンツ）は、式（３）に該当するため、送信データ設定部３７３ａは時間幅Ｄを１０ｍｓと設定する。
【図面の簡単な説明】
【０２００】
【図１】本発明におけるコンテンツ伝送システムの構成を示したブロック図である。
【図２】本発明におけるコンテンツ送信装置の構成を示したブロック図である。
【図３】再送区間とその区間に対応するデータの重要度とを示す送信制御情報の例を示した説明図である。
【図４】送信データ設定部が、符号化コンテンツの送信データの区間を設定する例を模式的に示した説明図である。
【図５】（ａ）は、送信設定手段によって設定された、低ビットレート符号化コンテンツの送信データの区間と送信タイミングとを模式的に示した説明図、（ｂ）は、送信設定手段によって設定された、中ビットレート符号化コンテンツの送信データの区間と送信タイミングとを模式的に示した説明図、（ｃ）は、送信設定手段によって設定された、高ビットレート符号化コンテンツの送信データの区間と送信タイミングとを模式的に示した説明図、（ｄ）は、符号送信手段が各符号化コンテンツを（ａ）〜（ｃ）に示す送信タイミングで送信した場合における、符号伝送量のタイムチャートである。
【図６】（ａ）は、送信設定手段によって設定された送信データの区間の例を模式的に示した説明図、（ｂ）は、送信設定手段が、（ａ）の送信データを送信する指令を出力するタイミングを模式的に示した説明図、（ｃ）は、ネットワーク情報からネットワークの障害を検出したネットワーク監視手段が、符号化コンテンツの送信データを送信する指令を出力するタイミングを模式的に示した説明図である。
【図７】本発明におけるコンテンツ受信装置の構成を示したブロック図である。
【図８】本発明におけるコンテンツ送信装置が、同一のコンテンツを符号化又は音声認識した複数の異なるビットレートの符号化コンテンツを送信する動作を示したフローチャートである。
【図９】本発明におけるコンテンツ送信装置が、符号化コンテンツの送信データの区間を設定する動作を示したフローチャートである。
【図１０】本発明におけるコンテンツ受信装置が、ネットワークを介して受信した、同一のコンテンツを符号化あるいは音声認識した、複数の異なるビットレートの符号化コンテンツから当該コンテンツを再生する動作を示したフローチャートである。
【図１１】本発明におけるコンテンツ送信装置の利用例の構成を示したブロック図である。
【符号の説明】
【０２０１】
３      コンテンツ送信装置
３２    音声認識手段
３３    中ビットレート符号化手段（符号化手段）
３４    高ビットレート符号化手段（符号化手段）
３７２  送信回数設定手段
３７３  送信設定手段
３７４  ネットワーク監視手段
３８    符号送信手段
４０    符号化コンテンツ記憶手段（符号化コンテンツ記憶装置）
７      コンテンツ受信装置
７１    受信手段
７２    音声合成手段
７３    中ビットレート復号手段（復号手段）
７４    高ビットレート復号手段（復号手段）
７５    低ビットレート復号データ受信状態判定手段（合成音声データ受信状態判定手段）
７６ａ  受信状態判定部（受信状態判定手段、復号データ受信状態判定手段）
７６ｂ  復号状態判定部（復号状態判定手段）
７７ａ  受信状態判定部（受信状態判定手段、復号データ受信状態判定手段）
７７ｂ  復号状態判定部（復号状態判定手段）
７８    復号データ選択手段
７９    復号データ出力手段
８０    復号データ記憶手段（復号データ記憶装置）
【図１】
2005252620.tif 000003
【図２】
2005252620.tif 000004
【図３】
2005252620.tif 000005
【図４】
2005252620.tif 000006
【図５】
2005252620.tif 000007
【図６】
2005252620.tif 000008
【図７】
2005252620.tif 000009
【図８】
2005252620.tif 000010
【図９】
2005252620.tif 000011
【図１０】
2005252620.tif 000012
【図１１】
2005252620.tif 000013