(57)【特許請求の範囲】
【請求項１】
通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと複数の通信端末とを有する配信システムにおいて、
前記配信サーバは、
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、
前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、
前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード手段と、
前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、
前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信手段と、
前記選択手段によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信手段と、
前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信手段と、
前記端末データ受信手段によって受信された端末データをデコードするデコード手段と
を具備し、
前記通信端末は、
前記配信サーバから送信された配信データを受信する配信データ受信手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、
前記配信サーバから送信される特定情報を受信する特定情報受信手段と、
前記特定情報受信手段が受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別手段と、
前記識別手段によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力する一方、前記識別手段によって低遅延モードであると識別され、前記判別手段によって自端末であると判別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、
前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、
前記判別手段が自端末であると判別した場合であって、前記識別手段によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段と
を具備する
ことを特徴とする配信システム。
【請求項２】
前記配信サーバは、前記選択手段によって選択された高品質モードまたは低遅延モードを示す選択情報を送信する選択情報送信手段をさらに具備し、
前記識別手段は、前記配信サーバから送信された選択情報を受信し、当該受信した選択情報に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する
ことを特徴とする請求項１に記載の配信システム。
【請求項３】
前記通信端末は、前記配信データ受信手段によって受信された配信データのエンコード方法を解析する解析手段をさらに具備し、
前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別する
ことを特徴とする請求項１に記載の配信システム。
【請求項４】
前記識別手段は、前記配信サーバから送信された特定情報を受信した場合には、前記通信モードが低遅延モードであると識別する
ことを特徴とする請求項１に記載の配信システム。
【請求項５】
前記低遅延エンコード手段におけるエンコードは、前記配信データ入力手段に入力された配信データに、前記デコード手段がデコードした端末データを合成して生成される配信データに対して行われる
ことを特徴とする請求項１乃至請求項４のいずれかに記載の配信システム。
【請求項６】
前記高品質デコード手段は、前記配信データ受信手段によって受信された配信データを所定のデータ量のバッファをし、当該バッファされたデータのデコードを行い、
前記低遅延デコード手段は、前記配信データ受信手段によって受信された配信データを前記所定のデータ量より少ないデータ量のバッファをし、当該バッファされたデータのデコードを行う
ことを特徴とする請求項１乃至請求項５のいずれかに記載の配信システム。
【請求項７】
前記識別手段によって前記通信モードが低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段がデコードを行うときの処理時間について、前記第２の処理時間に所定の時間の加算をした処理時間となるように遅延制御する遅延手段
をさらに具備することを特徴とする請求項１乃至請求項６のいずれかに記載の配信システム。
【請求項８】
前記遅延手段が遅延制御する所定の時間は、前記配信サーバの高品質エンコード手段においてエンコードを行う処理時間から、前記低遅延エンコード手段においてエンコードを行う処理時間を引いた時間である
ことを特徴とする請求項７に記載の配信システム。
【請求項９】
通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと複数の通信端末とを有する配信システムに用いられる配信方法であって、
前記配信サーバにおいて用いられる方法は、
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力過程と、
前記配信データ入力過程に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード過程と、
前記配信データ入力過程において入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード過程と、
前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択過程と、
前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード過程によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード過程によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信過程と、
前記選択過程によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信過程と、
前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信過程と、
前記端末データ受信過程によって受信された端末データをデコードするデコード過程と
を備え、
前記通信端末は、
前記配信サーバから送信された配信データを受信する配信データ受信過程と、
前記配信データ受信過程によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード過程と、
前記配信データ受信過程によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード過程と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別過程と、
前記配信サーバから送信される特定情報を受信する特定情報受信過程と、
前記特定情報受信過程において受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別過程と、
前記識別過程によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別過程によって自端末でないと判別された場合には、前記高品質デコード過程によってデコードが行われた配信データを出力する一方、前記識別過程によって低遅延モードであると識別され、前記判別過程によって自端末であると判別された場合には、前記低遅延デコード過程によってデコードが行われた配信データを出力する出力過程と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力過程と、
前記端末データ入力過程において入力された端末データに対して、エンコードを行うエンコード過程と、
前記判別過程において自端末であると判別した場合であって、前記識別過程によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード過程によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信過程と
を備える
ことを特徴とする配信方法。
【請求項１０】
映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード手段と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを当該通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを当該通信端末に送信する配信データ送信手段と、前記選択手段によって低遅延モードが選択されているときに、複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信手段と、前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信手段と、前記端末データ受信手段によって受信された端末データをデコードするデコード手段とを具備する配信サーバとの間で、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う通信端末であって、
前記配信サーバから送信された配信データを受信する配信データ受信手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、
前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、
前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、
前記配信サーバから送信される特定情報を受信する特定情報受信手段と、
前記特定情報受信手段が受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別手段と、
前記識別手段によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力する一方、前記識別手段によって低遅延モードであると識別され、前記判別手段によって自端末であると判別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、
映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、
前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、
前記判別手段が自端末であると判別した場合であって、前記識別手段によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段と
を具備することを特徴とする通信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、配信サーバと通信端末へのデータの配信、および配信サーバと通信端末との利用者間におけるコミュニケーションを行うための技術に関する。
【背景技術】
【０００２】
テレビ放送などの映像、音声を配信するシステムは、一般的には配信側と受信側とが入れ替わることがないため、遅延を許容することにより高品質な映像、音声のデータを配信することができる。一方、このような遅延を許容するシステムにおいて、配信側と受信側においてコミュニケーションを行おうとすると、高品質な映像、音声によるコミュニケーションができたとしても、その遅延の影響からリアルタイム性が確保できず、コミュニケーションの品質としては、非常に悪いものとなってしまう。このような遅延の影響を受けないようにするために、遅延を許容する配信経路とは別の遅延の少ない通信経路を設けて、遅延の少ないコミュニケーションを行う技術が開示されている（例えば、特許文献１）。
【特許文献１】特開２００６−１４８７４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、このような方法では、遅延を許容するシステムと遅延が少ないシステムを単に組み合わせただけであり、別経路を利用する通信を実現するためには、ハードウエアの追加などシステムコストの増大につながっていた。
【０００４】
本発明は、上述の事情に鑑みてなされたものであり、高品質なデータの配信ができるとともに、その配信経路を利用してリアルタイム性の高いコミュニケーションを行うこともできる配信システムおよび配信方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するため、本発明は、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと複数の通信端末とを有する配信システムにおいて、前記配信サーバは、映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力手段と、前記配信データ入力手段に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード手段と、前記配信データ入力手段に入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード手段と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択手段と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード手段によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード手段によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信手段と、前記選択手段によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信手段と、前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信手段と、前記端末データ受信手段によって受信された端末データをデコードするデコード手段とを具備し、前記通信端末は、前記配信サーバから送信された配信データを受信する配信データ受信手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード手段と、前記配信データ受信手段によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード手段と、前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別手段と、前記配信サーバから送信される特定情報を受信する特定情報受信手段と、前記特定情報受信手段が受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別手段と、前記識別手段によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段によってデコードが行われた配信データを出力する一方、前記識別手段によって低遅延モードであると識別され、前記判別手段によって自端末であると判別された場合には、前記低遅延デコード手段によってデコードが行われた配信データを出力する出力手段と、映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力手段と、前記端末データ入力手段に入力された端末データに対して、エンコードを行うエンコード手段と、前記判別手段が自端末であると判別した場合であって、前記識別手段によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード手段によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信手段とを具備することを特徴とする配信システムを提供する。
【０００６】
また、別の好ましい態様において、前記配信サーバは、前記選択手段によって選択された高品質モードまたは低遅延モードを示す選択情報を送信する選択情報送信手段をさらに具備し、前記識別手段は、前記配信サーバから送信された選択情報を受信し、当該受信した選択情報に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別してもよい。
【０００７】
また、別の好ましい態様において、前記通信端末は、前記配信データ受信手段によって受信された配信データのエンコード方法を解析する解析手段をさらに具備し、前記識別手段は、前記解析手段の解析結果に基づいて、前記通信モードが高品質モードであるか低遅延モードであるかを識別してもよい。
【０００８】
また、別の好ましい態様において、前記識別手段は、前記配信サーバから送信された特定情報を受信した場合には、前記通信モードが低遅延モードであると識別してもよい。
【０００９】
また、別の好ましい態様において、前記低遅延エンコード手段におけるエンコードは、前記配信データ入力手段に入力された配信データに、前記デコード手段がデコードした端末データを合成して生成される配信データに対して行われてもよい。
【００１０】
また、別の好ましい態様において、前記高品質デコード手段は、前記配信データ受信手段によって受信された配信データを所定のデータ量のバッファをし、当該バッファされたデータのデコードを行い、前記低遅延デコード手段は、前記配信データ受信手段によって受信された配信データを前記所定のデータ量より少ないデータ量のバッファをし、当該バッファされたデータのデコードを行ってもよい。
【００１１】
また、別の好ましい態様において、前記識別手段によって前記通信モードが低遅延モードであると識別され、前記判別手段によって自端末でないと判別された場合には、前記高品質デコード手段がデコードを行うときの処理時間について、第２の処理時間に所定の時間の加算をした処理時間となるように遅延制御する遅延手段をさらに具備してもよい。
【００１２】
また、別の好ましい態様において、前記遅延手段が遅延制御する所定の時間は、前記配信サーバの高品質エンコード手段においてエンコードを行う処理時間から、前記低遅延エンコード手段においてエンコードを行う処理時間を引いた時間であってもよい。
【００１３】
また、本発明は、通信網を介して、高品質モードまたは低遅延モードの通信モードで通信を行う配信サーバと複数の通信端末とを有する配信システムに用いられる配信方法であって、前記配信サーバにおいて用いられる方法は、映像または音声の少なくとも一方を示すストリーミング形式の配信データが入力される配信データ入力過程と、前記配信データ入力過程に入力された配信データに対して、第１の処理時間でエンコードを行う高品質エンコード過程と、前記配信データ入力過程において入力された配信データに対して、前記第１の処理時間以下の処理時間でエンコードを行う低遅延エンコード過程と、前記通信モードとして、高品質モードまたは低遅延モードのいずれかを選択する選択過程と、前記通信モードとして高品質モードが選択された場合には、前記高品質エンコード過程によってエンコードが行われた配信データを前記通信端末に送信し、低遅延モードが選択された場合には、前記低遅延エンコード過程によってエンコードが行われた配信データを前記通信端末に送信する配信データ送信過程と、前記選択過程によって低遅延モードが選択されているときに、前記複数の通信端末のうち、１以上の通信端末を特定する特定情報を生成して送信する特定情報送信過程と、前記特定情報によって特定される通信端末から送信される端末データを受信する端末データ受信過程と、前記端末データ受信過程によって受信された端末データをデコードするデコード過程とを備え、前記通信端末は、前記配信サーバから送信された配信データを受信する配信データ受信過程と、前記配信データ受信過程によって受信された配信データに対して、第２の処理時間でデコードを行う高品質デコード過程と、前記配信データ受信過程によって受信された配信データに対して、第２の処理時間より短い処理時間でデコードを行う低遅延デコード過程と、前記通信モードが高品質モードであるか低遅延モードであるかを識別する識別過程と、前記配信サーバから送信される特定情報を受信する特定情報受信過程と、前記特定情報受信過程において受信した特定情報が特定する通信端末が自端末であるか否かを判別する判別過程と、前記識別過程によって前記通信モードが高品質モードであると識別された場合、または、低遅延モードであると識別され、前記判別過程によって自端末でないと判別された場合には、前記高品質デコード過程によってデコードが行われた配信データを出力する一方、前記識別過程によって低遅延モードであると識別され、前記判別過程によって自端末であると判別された場合には、前記低遅延デコード過程によってデコードが行われた配信データを出力する出力過程と、映像または音声の少なくとも一方を示すストリーミング形式の端末データが入力される端末データ入力過程と、前記端末データ入力過程において入力された端末データに対して、エンコードを行うエンコード過程と、前記判別過程において自端末であると判別した場合であって、前記識別過程によって前記通信モードが低遅延モードであると識別された場合に、前記エンコード過程によってエンコードが行われた端末データを前記配信サーバに送信する端末データ送信過程とを備えることを特徴とする配信方法を提供する。
【発明の効果】
【００１４】
本発明によれば、高品質なデータの配信ができるとともに、その配信経路を利用してリアルタイム性の高いコミュニケーションを行うこともできる配信システムおよび配信方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態について説明する。
【００１６】
＜実施形態＞
本発明の実施形態に係る配信システムは、図１に示すように、配信サーバ１および複数の通信端末として通信端末２−Ａ、２−Ｂを有する。以下、通信端末２−Ａと通信端末２−Ｂを区別しない場合には、単に通信端末２という。配信サーバ１と通信端末２とは、通信網１０００を介して接続され、各種データの送受信を行う。また、配信サーバ１は、複数の通信端末２に対して、マルチキャストでの通信を行うことができる。
【００１７】
配信サーバ１のハードウエアの構成について、図２を用いて説明する。図２は、配信サーバ１のハードウエアの構成を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１は、記憶部１２に記憶されたプログラムをＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３にロードして実行する。これにより、ＣＰＵ１１が、バス１０を介して、配信サーバ１の各部について制御する。また、ＲＡＭ１３は、ＣＰＵ１１が各データの加工などを行う際のワークエリアとして機能する。
【００１８】
記憶部１２は、ハードディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、不揮発性メモリなどの記憶手段であって、上述したプログラム、各種情報を記憶する。
【００１９】
操作部１４は、例えばキーボード、マウス、リモコンなどであり、配信サーバ１の利用者が操作部１４を操作すると、その操作内容を表す情報がＣＰＵ１１へ出力される。また、操作部１４には、高品質モードまたは低遅延モードのいずれかを通信モードとして選択するためのスイッチが設けられ、利用者によって選択されたモードを示す選択情報を出力する。通信モードについては後述する。さらに、操作部１４は、後述するように、通信モードが低遅延モードとして選択されているときに、どの通信端末２から映像データと音声データとを受信するかを利用者が操作部１４を操作することにより特定し、特定した通信端末２を示す特定情報を出力する。
【００２０】
表示部１５は、液晶ディスプレイなどの表示デバイスであって、ＣＰＵ１１によって入力される映像データに基づいて表示を行う。また、ＣＰＵ１１の制御に基づいて、配信サーバ１を操作するためのメニュー画面などの各種画面を表示する。
【００２１】
音声出力部１６は、スピーカなどの放音手段を有し、入力される音声データに基づいて放音する。
【００２２】
映像入力部１７は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのイメージセンサを有し、イメージセンサの撮影内容に基づいた映像データ（以下、入力映像データという）を生成して出力する。
【００２３】
音声入力部１８は、収音を行うマイクロフォンを有し、マイクロフォンの収音に基づいたオーディオデータ（以下、入力音声データという）を生成して出力する。
【００２４】
通信部１９は、有線、無線などによって、通信網１０００を介して通信端末２とデータの送受信を行う通信手段である。本実施形態においては、配信サーバ１と通信端末２との間で送受信されるデータは、ストリーミング形式の映像データ、音声データであり、さらに、通信部１９は、通信端末２へ選択情報、特定情報などの各種情報も送信し、後述する接続依頼情報を通信端末２から受信する。以上が配信サーバ１のハードウエアの構成の説明である。
【００２５】
次に、通信端末２のハードウエアの構成について説明する。通信端末２は、図２に示す配信サーバ１のハードウエアの構成と同様な構成であり、図示を省略する。ここで、配信サーバ１と区別するために、通信端末２が有するハードウエアの構成については、以下、バス２０、ＣＰＵ２１、記憶部２２、ＲＡＭ２３、操作部２４、表示部２５、音声出力部２６、映像入力部２７、音声入力部２８および通信部２９という。
【００２６】
操作部２４は、例えばキーボード、マウス、リモコンなどであり、通信端末２の利用者が操作部２４を操作すると、その操作内容を表す情報がＣＰＵ２１へ出力される。また、操作部２４は、利用者によって操作されることにより、配信サーバ１に映像データ、音声データを送信したい旨、および自端末を示す接続依頼情報を生成して出力する。
【００２７】
通信部２９は、有線、無線などによって、通信網１０００を介して配信サーバ１とデータの送受信を行う通信手段である。本実施形態においては、配信サーバ１と通信端末２との間で送受信されるデータは、ストリーミング形式の映像データ、音声データであり、さらに、通信部２９は、配信サーバから選択情報、特定情報などの各種情報を受信し、接続依頼情報を配信サーバ１に送信する。
【００２８】
通信端末２の操作部２４、通信部２９以外の構成については、配信サーバ１と同様な機能を有しているため、その説明を省略する。
【００２９】
次に、配信サーバ１のＣＰＵ１１が、記憶部１２に記憶されたプログラムを実行することによって実現する機能のうち、映像データ、音声データの送受信に関係する機能について、図３を用いて説明する。図３は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００３０】
映像デコード部１０１は、通信端末２から送信され、通信部１９によって受信される映像データ（以下、端末映像データという）が、通信部１９から入力される。この端末映像データは、後述するように通信端末２において所定のエンコードが行われた映像データである。映像デコード部１０１は、入力された端末映像データに対してデコードを行って出力映像データを生成し、表示部１５に出力することによって、出力映像データに係る映像を表示部１５に表示させる。また、出力映像データは、映像合成部１０３にも出力される。このように、映像デコード部１０１が、所定のエンコードに対応するデコードを端末映像データに対して行うことにより、出力映像データを生成し出力する。
【００３１】
音声デコード部１０２は、通信端末２から送信され、通信部１９によって受信される音声データ（以下、端末音声データという）が、通信部１９から入力される。この端末音声データは、後述するように通信端末２において所定のエンコードが行われた音声データである。音声デコード部１０２は、入力された端末音声データに対してデコードを行って出力音声データを生成し、音声出力部１６に出力することによって、出力音声データに係る音声を音声出力部１６から放音させる。また、出力音声データは、音声合成部１０４にも出力される。このように、音声デコード部１０２が、所定のエンコードに対応するデコードを端末音声データに対して行うことにより、出力音声データを生成し出力する。
【００３２】
映像合成部１０３は、映像入力部１７から出力される入力映像データと、映像デコード部１０１から出力された出力映像データとを合成して合成映像データを生成し、映像エンコード部１０５に出力する。入力映像データと出力映像データとの合成は、例えば、入力映像データに係る映像に対して、出力映像データに係る映像をスーパーインポーズするような態様としてもよいし、合成映像データに係る映像を表示部１５に表示させた場合に、その画面を分割して、双方の映像が表示されるような態様としてもよい。なお、映像デコード部１０１から出力映像データが入力されない場合には、入力映像データをそのまま映像エンコード部１０５に出力するようにすればよい。
【００３３】
音声合成部１０４は、音声入力部１８から出力される入力音声データと、音声デコード部１０２から出力された出力音声データとを合成して合成音声データを生成し、音声エンコード部１０６に出力する。入力音声データと出力音声データとの合成は、例えば、入力音声データに係る音声に対して、出力音声データに係る音声をミキシングするような態様としてもよいし、合成音声データが複数チャンネルを有するようにして、入力音声データと出力音声データとを異なるチャンネルに割り当てるようにしてもよい。なお、音声デコード部１０２から出力音声データが入力されない場合には、入力音声データをそのまま音声エンコード部１０６に出力するようにすればよい。
【００３４】
映像エンコード部１０５は、映像合成部１０３から入力された合成映像データに対して、操作部１４から出力された選択情報に基づく所定のエンコードを行って配信映像データを生成し、通信部１９に出力する。
【００３５】
音声エンコード部１０６は、音声合成部１０４から入力された合成音声データに対して、操作部１４から出力された選択情報に基づく所定のエンコードを行って配信音声データを生成し、通信部１９に出力する。なお、操作部１４から出力された選択情報については、通信部１９にも出力される。
【００３６】
ここで、映像エンコード部１０５、音声エンコード部１０６の詳細の構成について、図４を用いて説明する。図４は、映像エンコード部１０５、音声エンコード部１０６の構成を示すブロック図である。
【００３７】
映像エンコード部１０５は、高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２を有する。高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２には、映像合成部１０３から合成映像データが入力されるとともに、選択情報が入力される。
【００３８】
高品質映像エンコード部１０５１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される合成映像データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信映像データを生成し、通信部１９に出力する。一方、低遅延映像エンコード部１０５２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質映像エンコード部１０５１と同様に、入力される合成映像データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信映像データを生成し、通信部１９に出力する。
【００３９】
高品質映像エンコード部１０５１と低遅延映像エンコード部１０５２とは、入力される合成映像データに対して行うエンコードの処理時間が異なり、高品質映像エンコード部１０５１における処理時間より、低遅延映像エンコード部１０５２における処理時間が短くなっている。すなわち、高品質映像エンコード部１０５１は、高品質なエンコードを行うために処理時間が長く、低遅延映像エンコード部１０５２は、高品質映像エンコード部１０５１におけるエンコードよりは低品質であるが、処理時間が短くなっている。
【００４０】
この品質の違いは、合成映像データに係る映像について、解像度、単位時間当たりのフレーム数、ビットレートなどが異なることによる違いであり、解像度が高いほど、フレーム数が大きいほど、ビットレートが高いほど、高品質な映像を維持するエンコードとなる。このような品質の程度を異ならせるエンコードを行うことにより、高品質映像エンコード部１０５１におけるエンコードを行う処理よりも、低遅延映像エンコード部１０５２におけるエンコードを行う処理の方が、その処理についての負荷が軽く、処理時間が短くなる。
【００４１】
このようにして、映像エンコード部１０５は、映像合成部１０３から出力された合成映像データが入力され、選択情報が示す通信モードが高品質モードである場合には、合成映像データに対して高品質なエンコードを行い、低遅延モードである場合には、合成映像データに対して高品質モードのときよりは低品質ながら処理時間が短いエンコードを行って生成した配信映像データを通信部１９に出力する。
【００４２】
音声エンコード部１０６は、高品質音声エンコード部１０６１および低遅延音声エンコード部１０６２を有する。高品質音声エンコード部１０６１および低遅延音声エンコード部１０６２には、音声合成部１０４から合成音声データが入力されるとともに、選択情報が入力される。
【００４３】
高品質音声エンコード部１０６１は、選択情報が示す通信モードが高品質モードであるときに動作し、入力される合成音声データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信音声データを生成し、通信部１９に出力する。一方、低遅延音声エンコード部１０６２は、選択情報が示す通信モードが低遅延モードであるときに動作し、高品質音声エンコード部１０６１と同様に、入力される合成音声データに対して、ＭＰＥＧ２、ＭＰＥＧ４などの規格によってエンコードを行って配信音声データを生成し、通信部１９に出力する。
【００４４】
高品質音声エンコード部１０６１と低遅延音声エンコード部１０６２とは、入力される合成音声データに対して行うエンコードの処理時間が異なり、高品質音声エンコード部１０６１における処理時間より、低遅延音声エンコード部１０６２における処理時間が短くなっている。すなわち、高品質音声エンコード部１０６１は、高品質なエンコードを行うために処理時間が長く、低遅延音声エンコード部１０６２は、高品質音声エンコード部１０６１におけるエンコードよりは低品質であるが、処理時間が短くなっている。
【００４５】
この品質の違いは、合成音声データに係る音声について、周波数帯域、サンプリング周波数、ビットレートなどが異なることによる違いであり、周波数帯域が広いほど、サンプリング周波数、ビットレートが高いほど、高品質な音声を維持するエンコードとなる。このような品質の程度を異ならせるエンコードを行うことにより、高品質音声エンコード部１０６１におけるエンコードを行う処理よりも、低遅延音声エンコード部１０６２におけるエンコードを行う処理の方が、その処理についての負荷が軽く、処理時間が短くなる。
【００４６】
このようにして、音声エンコード部１０６は、音声合成部１０４から出力された合成音声データが入力され、選択情報が示す通信モードが高品質モードである場合には、合成音声データに対して高品質なエンコードを行い、低遅延モードである場合には、合成音声データに対して高品質モードのときよりは低品質ながら処理時間が短いエンコードを行って生成した配信音声データを通信部１９に出力する。
【００４７】
図３の説明に戻る。ＣＰＵ１１の制御によって、通信部１９は、映像エンコード部１０５から出力された配信映像データと、音声エンコード部１０６から出力された配信音声データとについて、タイムコードを付与するなど同期再生可能な状態にし、ストリーミング形式で各通信端末２に送信する。また、通信部１９からは、操作部１４から出力される選択情報、特定情報についても送信される。以上が、配信サーバ１のソフトウエアの構成についての説明である。
【００４８】
次に、通信端末２のＣＰＵ２１が、記憶部２２に記憶されたプログラムを実行することによって実現する機能のうち、映像データ、音声データの送受信に関係する機能について、図５を用いて説明する。図５は、ＣＰＵ２１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００４９】
映像デコード部２０１は、配信サーバ１から送信され、通信部２９によって受信される配信映像データが、通信部２９から入力される。この配信映像データは、上述したように配信サーバ１において所定のエンコードが行われた映像データである。映像デコード部２０１は、入力された配信映像データに対して所定のデコードを行って出力映像データを生成し、表示部２５に出力することによって、出力映像データに係る映像を表示部２５に表示させる。また、映像デコード部２０１は、配信サーバ１から送信され、通信部２９によって受信される選択情報、特定情報についても、通信部２９から入力される。
【００５０】
音声デコード部２０２は、配信サーバ１から送信され、通信部２９によって受信される配信音声データが、通信部２９から入力される。この配信音声データは、上述したように配信サーバ１において所定のエンコードが行われた音声データである。音声デコード部２０２は、入力された配信音声データに対して所定のデコードを行って出力音声データを生成し、音声出力部２６に出力することによって、出力音声データに係る音声を音声出力部２６から放音させる。また、音声デコード部２０２は、配信サーバ１から送信され、通信部２９によって受信される選択情報、特定情報についても、通信部２９から入力される。
【００５１】
ここで、映像デコード部２０１、音声デコード部２０２の詳細の構成について、図６を用いて説明する。図６は、映像デコード部２０１、音声デコード部２０２の構成を示すブロック図である。
【００５２】
映像デコード部２０１は、高品質映像デコード部２０１１および低遅延映像デコード部２０１２を有する。高品質映像デコード部２０１１および低遅延映像デコード部２０１２には、通信部２９から配信映像データが入力されるとともに、選択情報、特定情報が入力される。
【００５３】
高品質映像デコード部２０１１は、選択情報が示す通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合に動作する。高品質モードであるときには、入力される配信映像データに対して、上述した配信サーバ１における高品質映像エンコード部１０５１においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。また、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合には、入力される配信映像データに対して、上述した配信サーバ１における低遅延映像エンコード部１０５２においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。このとき、特定情報が示す通信端末２が自端末であるか否かは、ＣＰＵ２１によって判別される。
【００５４】
すなわち、選択情報が示す通信モードが高品質モードであるときには、入力される配信映像データが、配信サーバ１の高品質映像エンコード部１０５１によってエンコードが行われたデータであると認識して、高品質映像デコード部２０１１を動作させ、そのエンコードに対応するデコードを行わせる。一方、低遅延モードであるときには、配信サーバ１の低遅延映像エンコード部１０５２によってエンコードが行われたデータであると認識するが、特定情報が示す通信端末２が自端末でない場合には、高品質映像デコード部２０１１を動作させ、そのエンコードに対応するデコードを行わせる。
【００５５】
ここで、高品質映像エンコード部１０５１においてエンコードが行われた配信映像データに対してデコードを行うために要する処理時間と、低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データに対してデコードを行うために要する処理時間とは、同じ処理時間になるように設定されている。
【００５６】
一方、低遅延映像デコード部２０１２は、選択情報が示す通信モードが低遅延モードであるときに特定情報が示す通信端末２が自端末である場合に動作し、入力される配信映像データに対して、上述した配信サーバ１における低遅延映像エンコード部１０５２においてエンコードされた規格と同様な規格でデコードを行って出力映像データを生成し、表示部２５に出力する。すなわち、選択情報が示す通信モードが低遅延モードであるときには、入力される配信映像データが、配信サーバ１の低遅延映像エンコード部１０５２によってエンコードが行われたデータであると認識し、特定情報が示す通信端末２が自端末である場合には、低遅延映像デコード部２０１２を動作させ、そのエンコードに対応するデコードを行わせる。
【００５７】
高品質映像デコード部２０１１は、配信サーバ１の高品質映像エンコード部１０５１においてエンコードが行われた高品質な配信映像データに対してデコードを行うために処理時間が長い。一方、低遅延映像デコード部２０１２は、配信サーバ１の低遅延映像エンコード部１０５２においてエンコードが行われ、高品質映像エンコード部１０５１においてエンコードが行われた配信映像データよりは低品質である配信映像データに対してデコードを行うために、高品質映像デコード部２０１１における処理時間より短くなっている。ただし、上述したように、高品質映像デコード部２０１１において、配信サーバ１の低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データに対してデコードを行うときには、高品質映像エンコード部１０５１においてエンコードが行われた高品質な配信映像データに対してデコードを行うときと同じ処理時間になるようになっている。
【００５８】
このように、高品質映像デコード部２０１１と低遅延映像デコード部２０１２とは、入力される配信映像データに対して行うデコードの処理時間が異なり、高品質映像デコード部２０１１における処理時間より、低遅延映像デコード部２０１２における処理時間が短くなっている。また、高品質映像デコード部２０１１においてデコードする際には、どのようなエンコードが行われた配信映像データであっても、同じ処理時間でデコードが行われるようになっている。
【００５９】
音声デコード部２０２は、高品質音声デコード部２０２１および低遅延音声デコード部２０２２を有する。高品質音声デコード部２０２１および低遅延音声デコード部２０２２には、通信部２９から配信音声データが入力されるとともに、選択情報、特定情報が入力される。
【００６０】
高品質音声デコード部２０２１は、選択情報が示す通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合に動作する。高品質モードであるときには、入力される配信音声データに対して、上述した配信サーバ１における高品質音声エンコード部１０６１においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。また、低遅延モードであるときに特定情報が示す通信端末２が自端末でない場合には、入力される配信音声データに対して、上述した配信サーバ１における低遅延音声エンコード部１０６２においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。
【００６１】
すなわち、選択情報が示す通信モードが高品質モードであるときには、入力される配信音声データが、配信サーバ１の高品質音声エンコード部１０６１によってエンコードが行われたデータであると認識して、高品質音声デコード部２０２１を動作させ、そのエンコードに対応するデコードを行わせる。一方、低遅延モードであるときには、配信サーバ１の低遅延音声エンコード部１０６２によってエンコードが行われたデータであると認識するが、特定情報が示す通信端末２が自端末でない場合には、高品質音声デコード部２０２１を動作させ、そのエンコードに対応するデコードを行わせる。
【００６２】
ここで、高品質音声エンコード部１０６１においてエンコードが行われた配信音声データに対してデコードを行うために要する処理時間と、低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データに対してデコードを行うために要する処理時間とは、同じ処理時間になるように設定されている。
【００６３】
一方、低遅延音声デコード部２０２２は、選択情報が示す通信モードが低遅延モードであるときに特定情報が示す通信端末２が自端末である場合に動作し、入力される配信音声データに対して、上述した配信サーバ１における低遅延音声エンコード部１０６２においてエンコードされた規格と同様な規格でデコードを行って出力音声データを生成し、音声出力部２６に出力する。すなわち、選択情報が示す通信モードが低遅延モードであるときには、入力される配信音声データが、配信サーバ１の低遅延音声エンコード部１０６２によってエンコードが行われたデータであると認識し、特定情報が示す通信端末２が自端末である場合には、低遅延音声デコード部２０２２を動作させ、そのエンコードに対応するデコードを行わせる。
【００６４】
高品質音声デコード部２０２１は、配信サーバ１の高品質音声エンコード部１０６１においてエンコードが行われた高品質な配信音声データに対してデコードを行うために処理時間が長い。一方、低遅延音声デコード部２０２２は、配信サーバ１の低遅延音声エンコード部１０６２においてエンコードが行われ、高品質音声エンコード部１０６１においてエンコードが行われた配信音声データよりは低品質である配信音声データに対してデコードを行うために、高品質音声デコード部２０２１における処理時間より短くなっている。ただし、上述したように、高品質音声デコード部２０２１において、配信サーバ１の低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データに対してデコードを行うときには、高品質音声エンコード部１０６１においてエンコードが行われた高品質な配信音声データに対してデコードを行うときと同じ処理時間になるようになっている。
【００６５】
このように、高品質音声デコード部２０２１と低遅延音声デコード部２０２２とは、入力される配信音声データに対して行うデコードの処理時間が異なり、高品質音声デコード部２０２１における処理時間より、低遅延音声デコード部２０２２における処理時間が短くなっている。また、高品質音声デコード部２０２１においてデコードする際には、どのようなエンコードが行われた配信音声データであっても、同じ処理時間でデコードが行われるようになっている。
【００６６】
図５の説明に戻る。映像エンコード部２０５は、映像入力部２７から入力映像データが入力される。そして、入力映像データに対して所定のエンコードを行って端末映像データを生成し、通信部２９に出力する。この所定のエンコードは、本実施形態においては、配信サーバ１の低遅延映像エンコード部１０５２におけるエンコードと同等なエンコードであり、高品質ではないものの低遅延を実現したエンコードを行う。
【００６７】
音声エンコード部２０６は、音声入力部２８から入力音声データが入力される。そして、入力音声データに対して所定のエンコードを行って端末音声データを生成し、通信部２９に出力する。この所定のエンコードは、映像エンコード部２０５と同様に、本実施形態においては、配信サーバ１の低遅延音声エンコード部１０６２におけるエンコードと同等なエンコードであり、高品質ではないものの低遅延を実現したエンコードを行う。
【００６８】
ここで、通信部２９が受信した特定情報が示す通信端末２が、自端末を示していることをＣＰＵ２１が認識した場合には、ＣＰＵ２１の制御によって、通信部２９は、映像エンコード部２０５から出力された端末映像データと、音声エンコード部２０６から出力された端末音声データとについて、タイムコードを付与するなど同期再生可能な状態にし、ストリーミング形式で配信サーバ１に送信する。
【００６９】
一方、特定情報が自端末以外の通信端末２を示していることを認識した場合には、端末映像データおよび端末音声データの送信を行わない。なお、この場合は、送信を行わないから、ＣＰＵ２１は、映像エンコード部２０５、音声エンコード部２０６の動作を停止させてもよいし、さらに映像入力部２７における入力映像データの生成、音声入力部２８における入力音声データの生成についても停止させてもよい。また、配信サーバ１がこの通信端末２からの端末映像データおよび端末音声データを受信しなければよいから、配信サーバ１の通信部１９が、特定情報が示す通信端末２以外の通信端末から端末映像データおよび端末音声データを受信しないように、ＣＰＵ１１が制御してもよい。以上が、通信端末２のソフトウエアの構成についての説明である。
【００７０】
次に、本発明の実施形態に係る配信システムの動作について説明する。この説明においては、通信端末２−Ａの利用者を利用者Ａ、通信端末２−Ｂの利用者を利用者Ｂ、配信サーバ１の利用者を利用者Ｃという。
【００７１】
利用者Ｃは、配信サーバ１が設置された音楽スタジオにおいて、楽器の生演奏（以下、ライブ演奏という）を行っている。このとき利用者Ｃは、操作部１４を操作して、通信モードを高品質モードとして選択する。
【００７２】
映像入力部１７において生成したライブ演奏を撮影した映像（以下、ライブ映像という）を示す入力映像データに対して、映像エンコード部１０５の高品質映像エンコード部１０５１においてエンコードが行われる。一方、音声入力部１８において生成したライブ演奏を録音した音声（以下、ライブ音声という）を示す入力音声データに対して、音声エンコード部１０６の高品質音声エンコード部１０６１においてエンコードが行われる。
【００７３】
そして、通信部１９は、ストリーミング形式で配信映像データおよび配信音声データを通信端末２−Ａ、２−Ｂに送信するとともに、通信モードが高品質モードとして選択されていることを示す選択情報を送信する。
【００７４】
通信端末２−Ａ、２−Ｂの通信部２９は、選択情報、配信映像データおよび配信音声データを受信する。ＣＰＵ２１は、選択情報が示す通信モードが高品質モードであることを認識すると、映像デコード部２０１の高品質映像デコード部２０１１において配信映像データに対してデコードを行うように制御するとともに、音声デコード部２０２の高品質音声デコード部２０２１において配信音声データに対してデコードを行うように制御する。
【００７５】
これにより利用者Ａ、利用者Ｂは、表示部２５に表示されるライブ映像と、音声出力部２６から放音されるライブ音声とを楽しむことができる。このように、高品質モードにおいては、利用者Ｃのライブ演奏を利用者Ａ、利用者Ｂに対して配信するだけの一方向の放送型の通信であるから、配信サーバ１におけるエンコード、通信端末２−Ａ、２−Ｂにおけるデコードに処理時間を要することにより遅延が発生したとしても、利用者Ａ、利用者Ｂは、違和感を生じることがない。
【００７６】
そして、利用者Ｃはライブ演奏を終了して、利用者Ａ、利用者Ｂに対して、コミュニケーションをとってみないか映像入力部１７、音声入力部１８を介して提案する。これを受けて利用者Ａは、コミュニケーションをとりたい旨の意思を利用者Ｃに対して伝えるため、通信端末２−Ａの操作部２４を操作し、配信サーバ１に対して、端末映像データ、端末音声データを送信したい旨、および通信端末２−Ａを示す接続依頼情報を送信させる。
【００７７】
一方、配信サーバ１は、接続依頼情報を受信すると、ＣＰＵ１１は、接続依頼情報が示す通信端末が通信端末２−Ａであることを認識し、表示部１５に通信端末２−Ａからコミュニケーションをとりたい旨の意思表示があったことを示す表示をさせる。
【００７８】
利用者Ｃは、その表示を確認することにより、コミュニケーションをとることを了解した場合には、利用者Ｃが操作部１４を操作することにより、通信端末２−Ａを特定する特定情報を生成させ、その特定情報を通信部１９から通信端末２−Ａに対して送信させる。また、このときに利用者Ｃが操作部１４を操作して、通信モードとして低遅延モードを選択し、低遅延モードが選択されていることを示す選択情報についても生成させて、その選択情報についても通信部１９から通信端末２−Ａ、２−Ｂに対して送信させる。なお、特定情報が生成されると、操作部１４を操作しなくても、あわせて低遅延モードが選択されていることを示す選択情報も生成されるようにしてもよいし、低遅延モードを示す選択情報は送信されず、特定情報の送信によって低遅延モードになったことを通信端末２に認識させてもよい。また、特定情報は、通信端末２−Ｂにも送信されるようにしてもよい。
【００７９】
これにより、特定情報が示す通信端末である通信端末２−Ａにおいては、利用者Ａを撮影した映像（以下、会話映像Ａという）を示す入力映像データが映像エンコード部２０５に入力され、入力映像データに対してエンコードを行うことによって生成された端末映像データが通信部２９から配信サーバ１に送信される。あわせて利用者Ａの音声（以下、会話音声Ａという）を録音した内容を示す入力音声データが音声エンコード部２０６に入力され、入力音声データに対してエンコードを行うことによって生成された端末音声データが通信部２９から配信サーバ１に送信される。
【００８０】
配信サーバ１は、端末映像データと端末音声データとを受信すると、それぞれ、映像デコード部１０１、音声デコード部１０２においてデコードを行い、生成した出力映像データに基づいて表示部１５に会話映像Ａを表示させるとともに、生成した出力音声データに基づいて音声出力部１６から会話音声Ａを放音させる。
【００８１】
一方、映像合成部１０３には、出力映像データと、利用者Ｃを撮影した映像（以下、低遅延モードのときの映像を高品質モードのときの映像と区別して、会話映像Ｃという）を示す入力映像データとが入力される。これにより、会話映像Ｃの一部分に会話映像Ａがスーパーインポーズされた会話映像ＡＣを示す合成映像データが生成される。また、音声合成部１０４には、出力音声データと、利用者Ｃの音声（以下、低遅延モードのときの音声を高品質モードのときの音声と区別して、会話音声Ｃという）を示す入力音声データとが入力される。これにより、会話音声Ａと会話音声Ｃとがミキシングされた会話音声ＡＣを示す合成音声データが生成される。
【００８２】
通信モードが低遅延モードに切り替わることにより、映像エンコード部１０５、音声エンコード部１０６におけるエンコードの態様が切り替わり、配信サーバ１から送信される配信映像データは、低遅延映像エンコード部１０５２によって、会話映像ＡＣを示す合成映像データに対してエンコードが行われた映像データ、配信音声データは、低遅延音声エンコード部１０６２によって、会話音声ＡＣを示す合成音声データに対してエンコードが行われた音声データとなる。
【００８３】
そして、通信端末２−Ａにおいても、特定情報と選択情報とを受信することにより、映像デコード部２０１、音声デコード部２０２におけるデコードの態様が切り替わる。すなわち、配信サーバ１から送信される配信映像データは、低遅延映像デコード部２０１２でデコードが行われ、配信サーバ１から送信される配信音声データは、低遅延音声デコード部２０２２でデコードが行われることになる。これにより、通信端末２−Ａにおける表示部２５には、会話映像ＡＣが表示され、音声出力部２６からは会話音声ＡＣが放音される。ここで、低遅延モードにおいては、高品質モードにおける品質よりも低い品質であるかわりに低遅延とすることができるから、会話映像ＡＣ、会話音声ＡＣは、ライブ映像、ライブ音声に比べると、映像、音声の品質が低いものとなる一方、遅延を少なくすることができる。このため、利用者Ａと利用者Ｃとの間におけるコミュニケーションにおいて、遅延による違和感を生じさせないようにすることができる。このときに、コミュニケーションに求められる品質はライブ演奏を視聴するための品質に比べて低いものとなるから、会話映像ＡＣ、会話音声ＡＣが、ライブ映像、ライブ音声よりも品質が低かったとしても問題がない。
【００８４】
一方、通信端末２−Ｂにおいては、特定情報と選択情報とを受信しても、特定情報が通信端末２−Ａを示しているから、映像デコード部２０１、音声デコード部２０２におけるデコードの態様は切り替わらない。すなわち、配信サーバ１から送信される配信映像データは、高品質映像デコード部２０１１でデコードが行われ、配信サーバ１から送信される配信音声データは、高品質音声デコード部２０２１でデコードが行われることになる。これにより、通信端末２−Ｂにおける表示部２５には、会話映像ＡＣが表示され、音声出力部２６からは会話音声ＡＣが放音される。
【００８５】
ここで、通信端末２−Ｂにおいては、通信端末２−Ａとは異なり、会話映像ＡＣ、会話音声ＡＣは、ライブ映像、ライブ音声に比べると、映像、音声の品質が低いものとなり、通信端末２−Ａと同様であるが、高品質映像デコード部２０１１、高品質音声デコード部２０２１においてデコードが行われているから、遅延時間は変わらない。しかし、利用者Ｂは、双方向通信における当事者ではないから、遅延が大きくても違和感を生じることはない。
【００８６】
また、通信端末２−Ａにおいては、高品質モードと低遅延モードとにおけるエンコードおよびデコードの処理時間の違いにより、切り替え時に遅延時間の不連続性が発生するが、通信端末２−Ｂにおいては、高品質モードと低遅延モードとの処理時間の違いが少なくなるから、この不連続性を低減させることができる。
【００８７】
例えば、映像について言えば、高品質モードから低遅延モードに切り替わるときには、処理時間が短くなり遅延時間が減少するから、ライブ映像と会話映像とが重複し、いずれかを欠落させる必要性があるから、処理時間の違いの大きさによっては、不自然な表示の切り替わりとなる場合がある。また、低遅延モードから高品質モードに切り替わるときには、処理時間が長くなり遅延時間が増加するから、会話映像が終了した後にライブ映像に切り替わるまで待ち時間が必要となり、不自然な表示の切り替わりとなる場合がある。このような場合であっても、通信端末２−Ｂにおいては、デコードが行われるときの処理時間の違いがないから、配信サーバ１におけるエンコード時の処理時間の違いだけとなり、不連続性を低減させることができる。
【００８８】
このように、双方向通信の当事者ではない利用者Ｂは、通信モードが変更されても、通信端末２−Ｂの表示部２５の表示、音声出力部２６の放音について、品質が変更されたように感じるものの、切り替え時の不連続性が低減されているため、切り替え時の違和感を低減することができる。
【００８９】
そして、利用者Ａと利用者Ｃとのコミュニケーションが終了すると、利用者Ｃは、操作部１４を操作して、通信モードとして高品質モードを選択する。これにより、配信サーバ１の映像エンコード部１０５は、再び高品質映像エンコード部１０５１においてエンコードを行い、音声エンコード部１０６は、高品質音声エンコード部１０６１においてエンコードを行う。一方、通信端末２−Ａの映像デコード部２０１は、高品質映像デコード部２０１１においてデコードを行い、音声デコード部２０２は、高品質音声デコード部２０２１においてデコードを行う。
【００９０】
また、通信端末２−Ａの通信部２９から端末映像データ、端末音声データの送信が停止される。これにより、高品質であるが遅延が大きいライブ映像、ライブ音声を通信端末２−Ａ、２−Ｂにおいて視聴することができる。このときライブ映像、ライブ音声は、配信サーバ１から通信端末２−Ａ、２−Ｂに対する一方向の放送型の通信であるから、遅延が大きくても利用者Ａ、Ｂは違和感を生じることがなく、ライブ演奏を楽しむことができる。
【００９１】
このように、本発明の配信システムは、通信モードとして、映像および音声の品質を優先して遅延を許容した高品質モード、低遅延であることを優先し、高品質モードより品質が低い低遅延モードを有し、高品質モードにおいては、配信サーバ１から各通信端末２に対して、放送型の一方向通信を行い、低遅延モードにおいては、配信サーバ１と特定の通信端末２との双方向通信によるコミュニケーションを実現する。
【００９２】
このとき、高品質モードにおいては、一方向通信であるから遅延を短くする必要はなく、各通信端末２において高品質な映像、音声の配信を受けることができる。また、低遅延モードにおいては、配信サーバ１と特定の通信端末２において双方向通信によるコミュニケーションを行うが、コミュニケーションには高品質な映像、音声は必要がなく、遅延を短くすることによりリアルタイム性の高い円滑なコミュニケーションを可能とし、利用者に違和感を生じさせないようにすることができる。さらに、特定の通信端末以外の通信端末２においては、一方向通信であるからリアルタイム性は必要とせず、遅延の大きい状態を維持することによって、高品質モードと低遅延モードとの切り替え時における違和感を低減することができる。
【００９３】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００９４】
＜変形例１＞
上述した実施形態においては、通信端末２は、映像デコード部２０１、音声デコード部２０２において行うデコードについて、受信した選択情報が示す通信モードが高品質モードであるか低遅延モードであるかを識別し、通信モードに応じた処理を行っていたが、通信モードの識別は、別の方法により行なってもよい。例えば、通信部２９において受信した配信映像データ、配信音声データのデータ内容を解析し、その解析結果から通信モードを識別するようにしてもよい。この場合は、通信端末の映像デコード部２０１、音声デコード部２０２は、図７に示すように、それぞれ映像データ解析部２０１３、音声データ解析部２０２３を有する構成とすればよい。
【００９５】
映像データ解析部２０１３は、通信部２９が受信した配信映像データが入力され、その配信映像データを解析する。映像データ解析部２０１３は、この解析により配信映像データに付されたエンコード形式を示す情報を取得して、配信サーバ１における高品質映像エンコード部１０５１においてエンコードが行われた配信映像データであるか、低遅延映像エンコード部１０５２においてエンコードが行われた配信映像データであるかについて識別することによって、通信モードが高品質モードであるか、低遅延モードであるかを識別する。また、映像データ解析部２０１３は、通信部２９が受信した特定情報が入力され、特定情報が示す通信端末が自端末であるか否かを判別する。
【００９６】
そして、映像データ解析部２０１３は、識別した通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でないと判別した場合には、この配信映像データを高品質映像デコード部２０１１に出力する一方、低遅延モードであるときに特定情報が示す通信端末２が自端末であると判別した場合には、この配信映像データを低遅延映像デコード部２０１２に出力する。
【００９７】
上記と同様に、音声データ解析部２０２３は、通信部２９が受信した配信音声データとが入力され、その配信音声データを解析する。音声データ解析部２０２３は、この解析により配信音声データに付されたエンコード形式を示す情報を取得して、配信サーバ１における高品質音声エンコード部１０６１においてエンコードが行われた配信音声データであるか、低遅延音声エンコード部１０６２においてエンコードが行われた配信音声データであるかについて識別することによって、通信モードが高品質モードであるか、低遅延モードであるかを識別する。また音声データ解析部２０２３は、通信部２９が受信した特定情報が入力され、特定情報が示す通信端末が自端末であるか否かを判別する。
【００９８】
そして、音声データ解析部２０２３は、識別した通信モードが高品質モードであるとき、または、低遅延モードであるときに特定情報が示す通信端末２が自端末でないと判別した場合には、この配信音声データを高品質音声デコード部２０２１に出力する一方、低遅延モードであるときに特定情報が示す通信端末２が自端末であると判別した場合には、この配信音声データを低遅延音声デコード部２０２２に出力する。
【００９９】
このようにすると、通信端末２は、選択情報を受信しなくても、通信モードが高品質モードであるか低遅延モードであるかを識別することができる。なお、配信映像データ、配信音声データに付されるエンコード形式を示す情報は、それぞれ配信サーバ１の映像エンコード部１０５、音声エンコード部１０６におけるエンコードが行われるときに付されるようにすればよい。また、特定情報を受信する通信端末２においては、特定情報の受信によって低遅延モードになったことを識別し、それ以外の通信端末２においては、本変形例のようにして識別するようにしてもよい。
【０１００】
＜変形例２＞
上述した実施形態においては、配信サーバ１の表示部１５には、出力映像データが入力され、会話映像Ａが表示されるようになっていたが、映像合成部１０３において生成される合成映像データが入力されるようにしてもよい。このようにすると、表示部１５には、通信端末２の表示部２５に表示される映像と同様な会話映像ＡＣを表示させることができる。
【０１０１】
＜変形例３＞
上述した実施形態においては、通信モードが低遅延モードであるときに行われる配信サーバ１と通信端末２との双方向通信は、特定情報が示す１つの通信端末２と行われていたが、特定情報が示す通信端末２は複数であってもよい。この場合には、複数の通信端末２から配信サーバ１に送信される端末映像データ、端末音声データについて、それぞれ映像デコード部１０１、音声デコード部１０２においてデコードを行い、映像合成部１０３、音声合成部１０４において、合成するようにすればよい。このように、低遅延モードにおいて行われる双方向通信は、複数の通信端末２と配信サーバ１との間で行なわれるようにしてもよい。ここで、表示部１５は、入力される出力映像データが複数の通信端末からのデータである場合には、画面を分割してそれぞれの出力映像データに係る映像が表示されるようにすればよい。
【０１０２】
＜変形例４＞
上述した実施形態においては、通信モードとして高品質モードを選択するか低遅延モードを選択するかは、利用者が配信サーバ１の操作部１４を操作することによって選択していたが、他の方法によって選択されるようにしてもよい。例えば、高品質モードである時間と低遅延モードである時間とを定めた時間情報を記憶部１２に記憶させ、この時間情報に基づいて、通信モードとして高品質モードまたは低遅延モードを選択するようにすればよい。このように、通信モードについては、様々な方法により選択することができる。
【０１０３】
＜変形例５＞
上述した実施形態においては、通信端末２から配信サーバ１に対して接続依頼情報を送信することにより、通信端末２の利用者が配信サーバ１の利用者とコミュニケーションをとりたい旨の意思表示を行っていたが、このような意思表示は他の方法で行なわれてもよい。例えば、通信端末２の映像入力部２７において撮影した映像に係る端末映像データを配信サーバ１に送信し、配信サーバ１の表示部１５にその映像を表示させることによって行なわれてもよい。また、映像入力部２７において利用者を静止画として撮影し、この静止画を示す端末静止画データを配信サーバ１に送信し、配信サーバ１の表示部１５にその静止画を表示させることによって行なわれてもよい。このように、通信端末２の利用者によって、配信サーバ１の利用者とコミュニケーションをとりたい旨の意思表示が行なわれればよいから、どのような方法によって行うようにしてもよい。なお、配信サーバ１の操作部１４の操作により生成される特定情報は、接続依頼情報を受信してから行う必要はなく、配信サーバ１の利用者が意思表示を求めないときには、接続依頼情報が通信端末２から送信されなくてもよい。
【０１０４】
＜変形例６＞
上述した実施形態における通信端末２の映像デコード部２０１において、高品質映像デコード部２０１１と低遅延映像デコード部２０１２とのデコードを行うときの処理時間の違いは、入力された配信映像データのバッファ量が異なることによる処理時間の違いが含まれていてもよい。この場合、高品質映像デコード部２０１１は、入力された配信映像データを所定のデータ量のバッファをして、バッファされた配信映像データに対してデコードを行い、低遅延映像デコード部２０１２は、入力された配信映像データを高品質映像デコード部２０１１より少ないデータ量のバッファをして、バッファされた配信映像データに対してデコードを行なうようにすればよい。
【０１０５】
多くのデータ量をバッファすることにより、配信サーバ１と通信端末２との通信速度が一時的に悪化しても、配信映像データがバッファされているから、その映像が途切れることを防止し高品質な映像とすることができる。一方、低遅延モードにおいては、品質よりも低遅延であることが優先されるから、通信速度の悪化によって映像が若干途切れて品質が悪化しても、低遅延を維持することによりコミュニケーションを円滑に行うことができる。本変形例においては、映像デコード部２０１について説明を行ったが、音声デコード部２０２についても同様である。
【０１０６】
＜変形例７＞
上述した実施形態においては、高品質映像エンコード部１０５１におけるエンコードを行う処理時間より、低遅延映像エンコード部１０５２におけるエンコードを行う処理時間が短くなっていたが、処理時間が同じになるようにしてもよい。この場合には、実施形態における高品質映像エンコード部１０５１に係る処理時間から、低遅延映像エンコード部１０５２に係る処理時間を引いた時間を、低遅延映像エンコード部１０５２に係る処理時間に加算させればよい。この加算は、合成映像データに対して遅延を行うことによって実現してもよいし、配信映像データを通信部１９に出力する前に遅延を行うことによって実現してもよい。このようにすると、特定情報が示す通信端末でない通信端末２において、高品質モードと低遅延モードとが切り替わったときの不連続性をなくすことができる。本変形例においては、映像エンコード部１０５について説明を行ったが、音声エンコード部１０６についても同様である。
【０１０７】
また、高品質映像エンコード部１０５１および低遅延映像エンコード部１０５２におけるエンコードを行う処理時間については、実施形態における処理時間とし、高品質映像エンコード部１０５１に係る処理時間から、低遅延映像エンコード部１０５２に係る処理時間を引いた時間、すなわち低遅延モードに切り替わることによるエンコードの処理時間の短縮時間を、通信端末２の高品質映像デコード部２０１１に係る処理時間に加算してもよい。そして、処理時間の加算は、低遅延モードであるときに特定情報が示す通信端末が自端末でない場合に、行なわれるようにすればよい。この加算は、配信映像データに対して遅延を行うことによって実現してもよいし、出力映像データを表示部２５に出力する前に遅延を行うことによって実現してもよい。このようにしても、特定情報が示す通信端末でない通信端末２において、高品質モードと低遅延モードと切り替わったときの不連続性をなくすことができる。これは、高品質音声デコード部２０２１についても同様である。
【０１０８】
＜変形例８＞
上述した実施形態においては、特定情報が示す通信端末でない通信端末２は、低遅延モードであっても、映像デコード部２０１において高品質映像デコード部２０１１によってデコードを行っていたが、低遅延映像デコード部２０１２によってデコードを行うようにしてもよい。この場合は、高品質映像デコード部２０１１におけるデコードを行う処理時間から、低遅延映像デコード部２０１２におけるデコードを行う処理時間を引いた時間を、低遅延映像デコード部２０１２に係る処理時間に加算させればよい。そして、処理時間の加算は、低遅延モードであるときに特定情報が示す通信端末が自端末でない場合に、行われるようにして、それ以外の場合には、加算を行なわないようにすればよい。この加算は、配信映像データに対して遅延を行うことによって実現してもよいし、出力映像データを表示部２５に出力する前に遅延を行うことによって実現してもよい。このようにしても、実施形態と同様に、高品質モードと低遅延モードとの切り替えの際の不連続性を低減することができる。本変形例においては、映像デコード部２０１について説明を行ったが、音声デコード部２０２についても同様である。
【図面の簡単な説明】
【０１０９】
【図１】実施形態に係る配信システムにおける配信サーバと通信端末との接続関係を示す説明図である。
【図２】実施形態に係る配信サーバおよび通信端末のハードウエアの構成を示すブロック図である。
【図３】実施形態に係る配信サーバのソフトウエアの構成を示すブロック図である。
【図４】実施形態に係る配信サーバの映像エンコード部、音声エンコード部の詳細構成を示すブロック図である。
【図５】実施形態に係る通信端末のソフトウエアの構成を示すブロック図である。
【図６】実施形態に係る通信端末の映像デコード部、音声デコード部の詳細構成を示すブロック図である。
【図７】変形例１に係る通信端末の映像デコード部、音声デコード部の詳細構成を示すブロック図である。
【符号の説明】
【０１１０】
１…配信サーバ、２，２−Ａ，２−Ｂ…通信端末、１０，２０…バス、１１，２１…ＣＰＵ、１２，２２…記憶部、１３，２３…ＲＡＭ、１４，２４…操作部、１５，２５…表示部、１６，２６…音声出力部、１７，２７…映像入力部、１８，２８…音声入力部、１９，２９…通信部、１０１，２０１…映像デコード部、２０１１…高品質映像デコード部、２０１２…低遅延映像デコード部、２０１３…映像データ解析部、１０２，２０２…音声デコード部、２０２１…高品質音声デコード部、２０２２…低遅延音声デコード部、２０２３…音声データ解析部、１０３…映像合成部、１０４…音声合成部、１０５，２０５…映像エンコード部、１０５１…高品質映像エンコード部、１０５２…低遅延映像エンコード部、１０６，２０６…音声エンコード部、１０６１…高品質音声エンコード部、１０６２…低遅延音声エンコード部、１０００…通信網
【図１】
0005369418.tif 000002
【図２】
0005369418.tif 000003
【図３】
0005369418.tif 000004
【図４】
0005369418.tif 000005
【図５】
0005369418.tif 000006
【図６】
0005369418.tif 000007
【図７】
0005369418.tif 000008