(57)【特許請求の範囲】
【請求項１】
ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、
前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、
前記ストリーム配信装置は、前記階層化情報に含まれる所要能力値の種類毎に、前記受信端末の端末能力情報内の対応する種類の能力値を超えない最高位の階層レベルを全送信端末の階層化情報を基に選定して能力別許容階層レベルとし、選定された一以上の前記能力別許容階層レベルの中から、最も低い階層レベルを選定して端末許容階層レベルとし、最低位の階層レベルから前記端末許容階層レベルまでの間の階層ストリームを選択して端末階層ストリーム列とし、
各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【請求項２】
ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、
前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、
前記階層化情報に含まれる所要能力値の種類毎に、前記受信端末の端末能力情報内の対応する種類の能力値を超えない最高位の階層レベルを全送信端末の階層化情報を基に選定して能力別許容階層レベルとし、選定された一以上の前記能力別許容階層レベルの中から、最も低い階層レベルを選定して端末許容階層レベルとし、最低位の階層レベルから前記端末許容階層レベルまでの間の階層ストリームを選択して端末階層ストリーム列とし、
前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【請求項３】
送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信システムにおいて、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記送信端末から送信されてくる階層符号化されたストリームデータである階層ストリーム列、および、前記階層ストリーム列内の階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を含んだ階層化情報を受信する手段と、
前記階層化情報に含まれる所要能力値の種類毎に、前記受信端末の端末能力情報内の対応する種類の能力値を超えない最高位の階層レベルを全送信端末の階層化情報を基に選定して能力別許容階層レベルとし、選定された一以上の前記能力別許容階層レベルの中から、最も低い階層レベルを選定して端末許容階層レベルとし、最低位の階層レベルから前記端末許容階層レベルまでの間の階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を具備したストリーム配信装置を備える、
ことを特徴とするストリーム配信システム。
【請求項４】
請求項３に記載のストリーム配信システムにおいて、
前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解する手段と、
前記受信端末が保持する端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報とする手段と、
前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信する手段を具備した送信端末を備える
ことを特徴とするストリーム配信システム。
【請求項５】
請求項４に記載のストリーム配信システムにおいて、
一以上の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知する手段と、
前記ストリーム配信装置から送信されてくる、各送信端末からのストリームデータの表示出力領域を特定する情報を含んだ端末コンポジット情報を受信して保持する手段と、
前記端末コンポジット情報に従って、前記ストリーム配信装置から送信されてくる階層符号化されたストリームデータを復号して表示出力する手段を具備した受信端末を備える
ことを特徴とするストリーム配信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ストリーム配信方法、ストリーム配信装置、送信端末及び受信端末に関し、特に、一以上の送信端末から送信された音声や動画像などのストリームデータを、同時に一以上の受信端末へ、該受信端末の表示能力に適合したストリームデータに変換して配信し表示出力するストリーム配信方法、ストリーム配信装置、送信端末及び受信端末に関する。
【０００２】
近年、インターネットを活用して音声や映像のストリームデータを配信して、放送や多地点テレビ会議などが行われるようになってきた。
インターネットの端末も様々なものが普及しており、このような放送や多地点会議などを利用する端末も多種多様で、利用者の端末の表示能力に適合したストリームデータを多数の端末へ効率よく配信する方法の実現が望まれている。
【０００３】
【従来の技術】
従来のストリーム配信方法では、送信端末から送信されてくるストリームデータを中継して配信するストリーム配信装置において、受信端末の表示出力の能力の度合いを示す解像度、ビットレート、フレームレートなどの端末能力情報を予め受信端末から通知してもらい、受信したストリームデータを復号して各受信端末の能力に合う形に再度符号化した後に、各受信端末へ配信していた。
【０００４】
図17は、従来技術によるストリーム配信方法である。
送信端末10a、10bおよび受信端末20a、20bがネットワーク40を介してストリーム配信装置30と接続されている。
各送信端末にはストリームデータを送信するストリーム送信部が設けられ、図17の実施例では、送信端末10a、10bにそれぞれ、ストリームデータを送信するストリーム送信部11a、11bが設けられる。
【０００５】
ストリーム配信装置30には、接続される送信端末に対応してストリームデータを一時格納しておくバッファと復号部が設けられ、また、接続される受信端末に対応して合成部、符号化部、端末能力情報受信記憶部が設けられる。図17の実施例では、送信端末10aに対応してバッファ34a、復号部31aが、送信端末10bに対応してバッファ34b、復号部31bがそれぞれ設けられ、受信端末20aに対応して合成部32a、符号化部33a、端末能力情報受信記憶部35aが、受信端末20bに対応して合成部32b、符号化部33b、端末能力情報受信記憶部35bがそれぞれ設けられている。
【０００６】
受信端末には端末能力情報通知部、復号部、表示出力部が設けられ、図17の実施例では、受信端末20aには端末能力情報通知部21a、復号部22a、表示出力部23aが、受信端末20bには端末能力情報通知部21b、復号部22b、表示出力部23bがそれぞれ設けられている。
図17は、送信端末10a、10bから送信されてくるストリームデータSaおよびSbが、ストリーム配信装置30により、受信端末20a、20bへ配信される例を示している。
【０００７】
ストリーム配信装置30は、予め受信端末20a、20bからその能力情報Na、Nbを通知され、各受信端末に対応して設けられた端末能力情報受信記憶部35a、35bにそれぞれ記憶し保持する。
次に、送信端末10a、10bから送信されてきたストリームデータSa、Sbは、バッファ34a、34bに一旦格納された後、復号部31a、31bによりストリームデータDa、Dbに復号される。
【０００８】
受信端末20aに対応して設けられた合成ブロック32aは、復号されたストリーム列Da、Dbを合成して、受信端末20a向けのストリーム列Eaとした後、符号化部33aが端末能力情報受信記憶部35aを参照して、受信端末20aの表示出力の能力に適合した形の符号Taに符号化して、受信端末20aへ配信する。
受信端末20bへのストリームデータの配信についても同様で、受信端末20aに対応して設けられた合成ブロック32aは、復号されたストリーム列Da、Dbを合成して、受信端末20b向けのストリーム列Ebとした後、符号化部33bが端末能力情報受信記憶部35bを参照して、受信端末20bの表示出力の能力に適合した形の符号Tbに符号化して、受信端末20bへ配信する。
【０００９】
図17の構成では、送信端末数を２、受信端末数を２としているが、２以外の場合も同様であり、ストリーム配信装置30は、各送信端末からのストリームデータを復号した後、配信する受信端末毎に全送信端末からの復号されたストリームデータを合成した後、該受信端末の端末能力に適合した形に符号化して、該受信端末へ配信する。
【００１０】
図17に示す実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、合成部の処理の対象には、合成された後のストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末10aと受信端末20aが同一の端末として構成された場合は、合成部32aは、送信端末10a以外の全ての送信端末からのストリームデータを合成の対象とする。
【００１１】
図17に示す実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送の場合は、送信端末を１台として構成することができる。このときは、ストリーム配信装置30の機能を送信端末に組み込んでもよい。
上記の受信端末の表示出力の能力に適合したストリームデータの符号化方法の一つとして、階層符号化の方法がある。
【００１２】
図16は、階層符号化の概要である。
階層符号化は、画像ストリームデータの場合を例にとると、一本の画像ストリームデータを、画質の異なる幾つかのストリームに分解して、画質の程度に応じてレベル付けした階層ストリーム列とするものである。
画像ストリームデータを、画像の解像度の高低に応じてレベル分けして階層ストリーム列を構成する場合を例にして説明する。
【００１３】
画像ストリームデータを階層符号化して送信する送信側処理では、まず符号化E1において、原ストリームデータを最も低い解像度で符号化し、その結果を階層レベル１の階層ストリームU1とする。次に、符号化E2において、原画像を中解像度で符号化した結果と、前記符号化E1で作成した低解像度のストリームデータとの差分のデータを符号化し、その結果を階層レベル２の階層ストリームU2とする。さらに、符号化E3において、原画像を高解像度で符号化した結果と、前記符号化E2で生成した中解像度のストリームデータとの差分のデータを符号化し、その結果を階層レベル３の階層ストリームU3とする。
【００１４】
上記で生成した階層ストリームU1、U2、U3から成る階層ストリーム列を、受信側へ送信する。
受信側処理では、まず低解像度の階層ストリームU1を復号D1で復号して、低解像度の復号データ１を得る。ここで、受信側の表示出力の能力が低解像度レベルの場合は、該復号データ１を表示出力して処理を終了する。
【００１５】
次に、復号E2において階層ストリームU2を復号した結果を、前記復号D1で復号した復号データ１に付加的に加算することにより、中解像度の復号データ２を得る。ここで、受信側の表示出力の能力が中解像度レベルの場合は、該復号データ２を表示出力して処理を終了する。
さらに、復号E3において階層ストリームU3を復号した結果を、前記復号D2で復号した復号データ２に付加的に加算することにより、高解像度の復号データ３を得、これを表示出力して処理を終了する。
【００１６】
上記のように、ストリームデータを階層ストリーム列に符号化することにより、受信端末は、該階層ストリーム列の中から受信端末の表示能力に応じた階層レベルまでの階層ストリームを用いて表示出力できるようになり、送信側は一つの階層ストリーム列を送信するだけで、様々な表示出力の能力を持つ受信端末に効率よく対応できるようになる。
【００１７】
上記の説明では、受信側にて受信した階層ストリーム列から、自分の端末に適合した階層ストリームを選択する方法を述べたが、送信側にて受信端末の表示能力を把握している場合は、該受信端末へはその表示能力に見合った解像度までの階層ストリームを選択して送信することもできる。
図16の階層符号化の概要では、３階層の階層符号化の例を示したが、階層数はこれに限定されない。
【００１８】
上記図17に示した従来技術のストリーム配信方法では、ストリーム配信装置において一旦受信したストリームデータを復号した後、受信端末の能力に適合した形に符号化しているが、これを一部改良したものとして、階層符号化の方法とＩＰマルチキャストを用いて、１台の送信端末から送信される階層符号化されたストリームデータを、複数の受信端末へ、受信端末の能力に適合した階層ストリーム列に調整して配信することにより、復号およぶ再符号化を行わずに効率よくストリームデータを配信する方法が公開されている（例えば特許文献１参照。）。
【００１９】
【特許文献１】
特開２００１−３５２５３３号公報（第３〜４頁、第１図）
【００２０】
【発明が解決しようとする課題】
従来のストリーム配信技術では、送信端末から送信されてきたストリームデータを一旦復号して、受信端末の能力に適合した形に再度符号化して該受信端末へ配信していた。また、ストリーム配信装置の負荷を抑制し受信端末の表示能力に適合したストリームデータを効率的に配信するために、階層符号化の技術を用ることにより、１台の送信端末から送出された階層符号化されたストリームデータを、復号および符号化の処理をおこなわずに、効率よく複数の受信端末の表示能力に適合した形で配信する方法が提案されている。
【００２１】
しかしながら、多地点テレビ会議などを行う際は、複数の送信端末からのストリームデータを複数の受信端末へ効率よく配信することが不可欠で、また、送信端末からは階層符号化されないストリームデータが送信されてくる場合もあり、従来の方法ではこれらに対応できない。
本発明は、ストリームデータの配信方法において、一以上の送信端末から送信される階層符号化された、または、階層符号化されていないストリームデータを、一以上の受信端末へ、各受信端末の表示能力に適合した階層符号化されたストリームデータとして、効率よく配信するストリーム配信方法を提供することを目的とする。
【００２２】
【課題を解決するための手段】
第一の発明では、ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、ように構成している。
【００２３】
第一の発明によれば、一以上の送信端末からの階層符号化されたストリームデータを、ストリーム配信装置は復号および再符号化の処理を行うことなく各受信端末へ配信し、各受信端末は全送信端末からの階層化されたストリームデータを該受信端末の能力に適合した品質レベルで同時に表示出力することができる。
第二の発明は、ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、ように構成している。
【００２４】
第二の発明によれば、一以上の送信端末からの階層符号化されていないストリームデータを、ストリーム配信装置が一旦復号した後、全受信端末の能力に適合した形の階層ストリーム列に符号化しておき、以後の処理は第一の発明と同様にして各受信端末の能力に適合した階層ストリームのみを選択して配信することができ、受信端末向け毎の符号化が不要となる。また、第一の発明と組み合わせることにより、階層符号化に対応していない送信端末を含めた多様な能力の端末へも対応可能となり、より柔軟なストリーム配信システムを構築できるようになる。
【００２５】
【発明の実施の形態】
図１は、本発明のストリーム配信方法（１）で、本発明の第一の実施形態を示している。
一以上の送信端末および一以上の受信端末がネットワーク40を介してストリーム配信装置70に接続され、送信端末から送信されたストリームデータが、ストリーム配信装置70を経由して一以上の受信端末へ配信される。
【００２６】
図１の実施例では、送信端末50a、50b、および、受信端末60a、60bの構成とし例示しているが、送信端末および受信端末とも一以上の任意の台数で構成することができる。
送信端末50aは、受信端末で表示出力すべきストリームデータを、階層ストリーム生成送信部51aで階層符号化して階層ストリーム列Uaを生成すると同時に、階層化情報通知部52aにて、該階層ストリーム列Uaに含まれる階層ストリームの属性情報を含む階層化情報Xaを生成した後、階層化情報Xaおよび階層ストリーム列Uaをストリーム配信装置70へ送信する。
【００２７】
送信端末50bについても、送信端末50aと同様に、ストリームデータを階層ストリーム生成送信部51bで階層符号化して階層ストリーム列Ubを生成すると同時に、階層化情報通知部52bにて、該階層ストリーム列Ubに含まれる階層ストリームの属性情報を含む階層化情報Xbを生成した後、階層化情報Xbおよび階層ストリーム列Ubをストリーム配信装置70へ送信する。
【００２８】
送信端末が３台以上設けられる場合も同様である。
ストリーム配信装置70には、各送信端末に対応して階層化情報受信記憶部、バッファおよび出力抑制区間検出記憶部が設けられ、各受信端末に対応して端末能力情報受信記憶部、配信選択情報受信記憶部、コンポジット情報生成記憶部および階層選択部が設けられる。
【００２９】
図１に示す実施例では、送信端末50aに対応して階層化情報受信記憶部71a、バッファ77a、出力抑制区間検出記憶部76aが設けられ、受信端末60aに対応して端末能力情報受信記憶部75a、配信選択情報受信記憶部74a、コンポジット情報生成記憶部72a、階層選択部73aが設けられる。
同様に、送信端末50bに対応して階層化情報受信記憶部71b、バッファ77b、出力抑制区間検出記憶部76bが設けられ、受信端末60bに対応して端末能力情報受信記憶部75b、配信選択情報受信記憶部74b、コンポジット情報生成記憶部72b、階層選択部73bが設けられる。
【００３０】
送信端末および受信端末が３台以上設けられる場合も同様である。
ストリーム配信装置70は、送信端末50aからの階層ストリーム列Uaを受信すると、一旦バッファ77aに格納したのち、出力抑制区間検出記憶部76aが階層ストリーム列Uaから表示出力を抑制できる時間帯を意味する出力抑制区間を検出して記憶する。
【００３１】
送信端末50bからの階層ストリーム列Ubを受信した場合も同様で、一旦バッファ77bに格納したのち、出力抑制区間検出記憶部76aが階層ストリーム列Ubから出力抑制区間を検出して記憶する。
一方、送信端末50aから送信されてきた階層化情報Xaは、階層化情報受信記憶部71aにより記憶される。送信端末50bから送信されてきた階層化情報Xbについても同様で、階層化情報受信記憶部71bにより記憶される。
【００３２】
端末能力情報受信記憶部75aは、予め受信端末60aから通知される受信端末60aの表示出力の能力を示す端末能力情報Naを受信して記憶し、配信選択情報受信記憶部74aは予め受信端末60aから通知される受信端末60aの配信選択情報Zaを受信して記憶する。この配信選択情報Zaは、前記端末能力情報Naで示されている受信端末60aの表示出力の能力では、全送信端末からのストリームデータを同時には表示出力できないときに使用されるもので、受信端末60aへ配信するストリームデータを選択して限定するために用いる。
【００３３】
端末能力情報受信記憶部75bおよび配信選択情報受信記憶部74bについても同様で、予め受信端末60bからそれぞれ端末能力情報Naおよび配信選択情報Zaを受信して記憶しておく。
コンポジット情報生成記憶部72aは、階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75aに記憶されている受信端末60aの能力情報を参照して、受信端末60aが全送信端末からの階層ストリーム列を同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末60aが表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定した端末許容階層レベル値および全送信端末についてのコンポジット情報を集めたものをコンポジット情報Caとし、コンポジット情報生成記憶部72aに保持する。この各送信端末別のコンポジット情報には、送信端末識別情報、ストリームデータを画面表示する際の画面表示開始位置、および、表示出力を抑制してよいか否かを示す出力抑制区間情報が含まれている。
【００３４】
上記の端末許容階層レベル値が選択できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60aの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74aに保持されている配信選択情報Zaに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Caとして、コンポジット情報生成記憶部72aに保持する。
【００３５】
図１に示す実施例では、コンポジット情報生成記憶部72aは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75aに記憶されている受信端末60aの端末能力情報を参照し、受信端末60aが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定すると同時に、送信端末50a、50bについてのコンポジット情報を集めてコンポジット情報Caとして保持する。
【００３６】
次に、階層選択部73aは、前記コンポジット情報Caに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Taを受信端末60aへ送信する。同時に、前記コンポジット情報Caの中から、受信端末60aが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Taとし、受信端末60aへ送信する。
【００３７】
コンポジット情報生成記憶部72bおよび階層選択部73bについても同様で、コンポジット情報生成記憶部72bは、各送信端末に対応する階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75bに記憶されている受信端末60bの能力情報を参照して、受信端末60bが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末60bの表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定された端末許容階層レベル値と全送信端末についてのコンポジット情報を集めてコンポジット情報Cbとし、コンポジット情報生成記憶部72bに保持する。
【００３８】
上記の端末許容階層レベル値が選定できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60bの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74bに保持されている配信選択情報Zbに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Cbとして、コンポジット情報生成記憶部72bに保持する。この場合は、端末許容階層レベル値を最低位の階層レベルに設定しておく。
【００３９】
図１に示す実施例では、コンポジット情報生成記憶部72bは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75bに記憶されている受信端末60bの端末能力情報を参照し、受信端末60bが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定し、送信端末50a、50bのコンポジット情報を生成して集めてコンポジット情報Cbとして保持する。
【００４０】
次に、階層選択部73bは、前記コンポジット情報Cbに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Tbを受信端末60bへ送信する。同時に、前記コンポジット情報Cbの中から、受信端末60bが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Tbとし、受信端末60bへ送信する。
【００４１】
上記は送信端末数２、受信端末数２として説明したが、３以上の数の場合も同様である。
受信端末60aは、端末能力情報通知部61aが自端末の表示出力の能力を示す端末能力情報Naを予めストリーム配信装置70へ送信しておく。また、配信選択情報通知部65aは、最低位の階層ストリームだけ受信しても自端末の端末能力では全ての送信端末からのストリームデータを同時に表示できないときに、表示出力すべき送信端末を選択するための配信選択情報Zaを、予めストリーム配信装置70へ送信しておく。
【００４２】
受信端末60aは、ストリーム配信装置70から送信されてきた端末コンポジット情報Vaを端末コンポジット情報受信記憶部62aに保持する。ここで、端末コンポジット情報Vaには、各送信端末の識別情報と、該送信端末からのストリームデータを表示出力する画面上の領域を識別する画面表示開始位置との対が含まれており、受信したストリームデータに含まれている送信端末を識別する情報をキーに検索することにより、該ストリームデータを表示出力すべき画面上の領域が特定できる。
【００４３】
一方、ストリーム配信装置70で選択されて送信されてきた階層ストリーム列Taについては、復号部63aで復号された後、表示出力部64aが、端末コンポジット情報受信記憶部62aに記憶されている端末コンポジット情報Vaに従って表示出力する。
受信端末60bについても同様で、端末能力情報通知61bは端末能力情報Nbを予めストリーム配信装置70へ送信し、配信選択情報通知部65bは配信選択情報Zbを予めストリーム配信装置70へ送信しておき、ストリーム配信装置70から送信されてきた端末コンポジット情報Vbを端末コンポジット情報受信記憶部62bに保持する。一方、ストリーム配信装置70で選択されて送信されてきた階層ストリーム列Tbについては、復号部63bで復号された後、表示出力部64bが、端末コンポジット情報受信記憶部62bに記憶されている端末コンポジット情報Vbに従って表示出力する。
【００４４】
受信端末数が３以上の場合も、同様である。
図１の実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、ストリーム配信装置70のストリーム配信処理の対象には、ストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末50aと受信端末60aが同一の端末として構成された場合は、コンポジット情報生成記憶部72aおよび階層選択部73aは、送信端末10a以外の全ての送信端末からのストリームデータについて上記のストリーム配信の処理を行う。
【００４５】
図１に示す実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送などのように、送信端末数を１とすることもでき、この場合は、ストリーム配信装置70の機能を送信端末に組み込んで一体化した構成にすることもできる。
また、コンポジット情報生成記憶部に保持されるコンポジット情報、端末能力情報受信記憶部に記憶される端末能力情報、配信選択情報受信記憶部に記憶される配信選択情報は、受信端末毎に記憶領域を設けずに全受信端末についての情報を一括して記憶してもよい。
【００４６】
同様に、階層化情報受信記憶部に記憶される送信端末毎の階層化情報、出力抑制区間検出記憶部に記憶される出力抑制区間情報は、全送信端末について一括して記憶してもよい。
図２は、本発明のストリーム配信方法による転送シーケンス（１）であり、図１の実施例の構成に従って、処理ステップ毎に説明する。
【００４７】
S01. 受信端末60aは、予め端末能力情報Naおよび配信選択情報Zaを、ストリーム配信装置70へ送信しておく。
ここで、端末能力情報Naは、受信端末60aの表示出力の能力を示す情報で、例えば後述する図３に示す本発明の端末能力情報の構成では、最大解像度、最大ビットレートおよび最大フレームレートからなる。
【００４８】
配信選択情報Zaは、前記端末能力情報Naに示される表示出力の能力では、全ての送信端末からのストリームデータを同時に受信端末60aに表示出力することができないとストリーム配信装置70が判定したときに、受信端末60aに配信するストリームデータを選択して限定する際に使用する情報である。例えば、後述する図８に示す配信選択情報の構成では、各送信端末からのストリームデータの表示出力可否の情報、あるいは、各送信端末からのストリームデータを表示出力する優先順位を表す表示出力優先度の情報、として構成することができる。
【００４９】
端末能力情報Na、配信選択情報Zaについては、後述する図３の本発明の端末能力情報の構成および図８の本発明の配信選択情報の構成を参照。
S02. ストリーム配信装置70は、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【００５０】
S03. 上記ステップS01と同様に、受信端末60bは、予め端末能力情報Nbおよび配信選択情報Zbを、ストリーム配信装置70へ送信しておく。
S04. 上記ステップS02と同様に、ストリーム配信装置70は、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【００５１】
上記ステップS01〜S04の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS01〜S02とステップS03〜S04の処理順序は、受信端末の送信タイミングT01により逆になる場合もあるが、処理内容は同様である。
S05. 送信端末50aは、階層ストリーム列Ua内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xa、および、階層ストリーム列Uaを、ストリーム配信装置70へ送信する。
【００５２】
階層化情報Xaの実施例については、後述する図４の本発明の階層化情報の構成を参照。
S06. ストリーム配信装置70は、受信した階層化情報Xaを階層化情報受信記憶部71aに記憶する。
また、受信した階層ストリーム列Uaをバッファ77aに格納すると同時に、受信端末への表示出力を抑制できる出力抑制区間を検出し、その結果を出力抑制区間検出記憶部76aに記憶しておく。
【００５３】
S07. 上記ステップS05と同様に、送信端末50bは、階層ストリーム列Ubの各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xb、および、階層ストリーム列Ubをストリーム配信装置70へ送信する。
S08. 上記ステップS06と同様に、ストリーム配信装置70は、受信した階層化情報Xbを階層化情報受信記憶部71bに記憶する。
【００５４】
また、受信した階層ストリーム列Ubをバッファ77bに格納すると同時に、受信端末への表示出力を抑制できる出力抑制区間を検出し、その結果を出力抑制区間検出記憶部76aに記憶する。
上記ステップS05〜S08の説明では、送信端末50aについての処理の後に送信端末50bの処理を記述した。ステップS05〜S06とステップS07〜S08の処理順序は、送信端末の送信タイミングT02により逆になる場合もあるが、処理内容は同様である。
【００５５】
S09. ストリーム配信装置70は、上記ステップS01で記憶されている受信端末60aの端末能力情報Naと配信選択情報Za、ステップS06およびS08で記憶されている階層化情報Xa、Xb、および、出力抑制区間検出記憶部に記憶されている出力抑制区間情報Pa、Pbから、受信端末60aに対応するコンポジット情報Caを生成して、コンポジット情報生成記憶部72aに記憶する。コンポジット情報Caの詳細については後述する図５の本発明のコンポジット情報の構成を、また、コンポジット情報生成記憶部72aの詳細については、後述する図９の本発明のコンポジット情報生成記憶部の動作フローチャートを参照。
【００５６】
ここで、受信端末60aの端末能力では、最下位の階層ストリームに限定しても、全送信端末からのストリームデータを同時には表示出力できないと判定された場合は、配信選択情報Zaにより配信対象外に選定された送信端末に関するコンポジット情報は、コンポジット情報Caに登録されない。
S10. ステップS09で生成したコンポジット情報Caから、受信端末60aが各送信端末からのストリームデータを表示出力する際の画面配置情報を抽出し、端末コンポジット情報Vaとして受信端末60aへ送信する。
【００５７】
端末コンポジット情報Vaの詳細については、後述する図６の本発明の端末コンポジット情報の構成を参照。
また、コンポジット情報Caに登録されている送信端末からの階層ストリーム列の中から、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Taとし、受信端末60aへ送信する。
【００５８】
従って、上記ステップS09の処理で配信選択情報受信記憶部74aに保持されている配信選択情報Zaが有効となって配信対象からはずされている送信端末については、コンポジット情報Caに登録されていないため、該送信端末からの階層ストリーム列は、受信端末60aへ配信されない。
図２に示す実施例では、送信端末50a、50bは配信対象からはずされていない前提で記述しており、送信端末50a用のバッファ77aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ77bに格納されている階層ストリーム列Ubから、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Taとし、受信端末60aへ送信する。
【００５９】
上記は、送信端末数が２の場合について述べたが、送信端末数が２以外の場合も同様で、全送信端末からの端末許容階層レベル値La以下の階層ストリームの列が、階層ストリーム列Taとして受信端末60aへ送信される。
S11. 受信端末60aは、ストリーム配信装置70より送信されてきた階層ストリーム列Taを復号した後、同じくストリーム配信装置70から通知された端末コンポジット情報Vaに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
【００６０】
端末コンポジット情報Vaには、各送信端末毎の送信端末識別情報と画面表示開始位置が含まれており、受信端末60aは、この端末コンポジット情報Vaを基に、各送信端末からのストリームデータを同時に表示出力することができる。
受信端末60aへの表示出力については、後述する図７の本発明の受信端末の表示出力例を参照。
【００６１】
S12. 上記ステップS09と同様に、ストリーム配信装置70は、上記ステップS01で記憶されている受信端末60bの端末能力情報Nbと配信選択情報Zb、ステップS06およびS08で記憶されている送信端末50a、50bの階層化情報Xa、Xb、および、出力抑制区間検出記憶部76a、76bに記憶されている出力抑制区間情報Pa、Pb１から、受信端末60bに対応するコンポジット情報Cbを生成して、コンポジット情報生成記憶部72bに記憶する。
【００６２】
S13. 上記ステップS12で生成したコンポジット情報Cbから、上記ステップS10と同様に、受信端末60bが各送信端末からのストリームデータを表示出力する領域を指示する端末コンポジット情報Vbを抽出して受信端末60bへ送信する。  一方、送信端末50a用のバッファ74aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ74bに格納されている階層ストリーム列Ubから、コンポジット情報Cbに含まれている受信端末60bの端末許容階層レベル値Lbに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Tbを受信端末60bへ送信する。
【００６３】
S14. 受信端末60bは、ストリーム配信装置70より送信されてきた階層ストリーム列Tbを復号した後、同じくストリーム配信装置70から通知された端末コンポジット情報Vbに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
上記ステップS09〜S14の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS09〜S11とステップS12〜S14の処理順序は、ストリーム配信装置の送信タイミングG03により逆になる場合もあるが、処理内容は同様である。
【００６４】
S15.上記ステップS05〜S14の処理ステップを繰り返す。
ステップS05〜S14の繰り返しの方法としては、全送信端末から送信されてくるストリームデータを一旦バッファに格納しておき、ストリーム配信装置において、全送信端末から受信されるストリームデータを欠損させない程度の充分短い周期で上記ステップS06〜S11の処理を起動するようにして実現できる。
【００６５】
上記の説明では、送信端末数を２、受信端末数を２として説明したが、２以外の数の場合も同様である。
図３は、本発明の端末能力情報の構成である。
受信端末60aについての端末能力情報Naを示しており、最大合計解像度Na(MWH)は、端末の画面に表示できる画像の情報量を表すもので、端末の画面に表示できる画素数である。最大合計ビットレートNa(MFR)は、端末が１秒間に受信可能なビット数である。最大合計フレームレートNa(MFR)は、端末の画面表示において１秒間に何回画面を書き換えることができるかを表す指標である。
【００６６】
ここでは、上記３種類の端末能力情報による実施例を基に説明するが、端末能力情報の種類は、これに限定されるものではない。また、図３の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図４は、本発明の階層化情報の構成である。
【００６７】
送信端末50aに対応した階層化情報Xaを示しており、階層符号化されたストリームデータである階層ストリーム列内の、各階層レベルに対応した階層ストリームを端末へ表示出力する際に必要な端末の所要能力値を含んでいる。階層化情報に含まれる所要能力値の種類は、上記図３に示した端末能力情報の種類に対応するように構成される。
【００６８】
最低位階層レベルとなる階層レベル１の階層化情報Xa(1)は、階層レベル１に対応する階層ストリームを識別するためのストリーム識別情報Xa(1,S)、所要解像度Xa(1,WH)、所要ビットレートXa(1,BR)および所要フレームレートXa(1,FR)で構成されている。他の階層レベルについても同様で、例えば階層レベルｎの階層化情報Xa(n)は、階層レベルｎに対応する階層ストリームを識別するためのストリーム識別情報Xa(n,S)、所要解像度Xa(n,WH)、所要ビットレートXa(n,BR)および所要フレームレートXa(n,FR)で構成される。
【００６９】
図４の実施例では、送信端末50aについて記載しているが、送信端末50a以外の送信端末についても同様である。
図５は、本発明のコンポジット情報の構成である。
本コンポジット情報は、ストリーム配信装置70に接続されている各受信端末に対応して設けられるコンポジット情報生成記憶部で生成され保持される。
【００７０】
図５の実施例は、受信端末60aに対応したコンポジット情報Caを示している。
端末許容階層レベルLaは、受信端末60aが保有する表示出力の能力でストリーム配信装置70に接続されている全送信端末からのストリームデータを同時に表示出力するために、各送信端末から送信されてくる階層ストリーム列の中から選択すべき階層レベルの値を示すもので、全送信端末に共通の階層レベル値となる。
【００７１】
つまり、各送信端末から送信されてきる階層ストリーム列の中から、最低位階層レベルから端末許容階層レベル値Laが示す階層までの間の階層ストリームを選択して、受信端末60aへ送信するもので、受信端末60aは、ここで選択された階層ストリーム列を表示出力することにより、受信端末60aの表示出力の能力内で、全送信端末からのストリームデータを同時に表示出力できるようになる。
【００７２】
コンポジット情報Ca(50a)は、送信端末50aから送信されてきたストリームデータを受信端末60aに表示出力する必要な情報をまとめたコンポジット情報で、送信端末識別情報Ca(50a,ID)、画面表示開始位置Ca(50a,DP)および出力抑制区間情報Ca(50a,P)を含んでいる。
送信端末識別情報Ca(50a,ID)は送信端末50aの識別情報である。画面表示開始位置Ca(50a,DP)は、送信端末50aからのストリームデータを表示出力する受信端末60aの画面上の表示開始位置を示す情報である。出力抑制区間情報Ca(50a,P)は、該送信端末から送信されてきたストリームデータを一時的に配信停止しても、受信端末への表示出力への影響が小さい場合に、該ストリームデータの配信を一時中断するための情報である。例えば、音声情報が途絶えていることを示す無音区間、および、画像の動きが止まっていることを示す無動作区間があり、無音区間の場合は音声ストリームデータを、無動作区間の場合は、動画ストリームデータの配信を抑制する。
【００７３】
送信端末50a以外の他の送信端末から送信されてくるストリームデータを受信端末60aへ表示出力するために必要となるコンポジット情報についても同様で、例えば、送信端末50zに対応するコンポジット情報Ca(50z)では、送信端末識別情報Ca(50z,ID)は受信端末60aに表示出力する対象となる送信端末の識別情報であり、画面表示開始位置Ca(50z,DP)は、送信端末50zからのストリームデータを表示出力する受信端末60aの画面上の表示開始位置を示す情報であり、出力抑制区間情報Ca(50z,P)は、送信端末50zから送信されてきたストリームデータを一時的に配信停止しても、受信端末への表示出力への影響が小さい場合に、該ストリームデータの配信を一時中断するための情報である。
【００７４】
コンポジット情報Caは送信端末毎のコンポジット情報が集まって構成されているが、本コンポジット情報Caに登録されている送信端末のみが受信端末60aへのストリームデータ配信の対象となる。
受信端末60aの端末能力情報Naに示されている表示出力能力では、全送信端末からのストリームデータを同時には表示出力できないと判断された場合は、配信選択情報Zaの内容に従って、コンポジット情報Caに登録される送信端末を限定することになり、配信選択情報Zaの条件からはずれた送信端末のコンポジット情報はコンポジット情報Caには含まれない。
【００７５】
図５の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図６は、本発明の端末コンポジット情報の構成である。
端末コンポジット情報は、コンポジット情報生成記憶部により、図５に示した本発明のコンポジット情報の構成から、受信端末の表示出力処理に必要な情報を抽出して生成され、対応する受信端末へ送信される。
【００７６】
図６は、受信端末60aに対応した端末コンポジット情報Vaの実施例を示しており、送信端末毎の端末コンポジット情報からなる。
端末コンポジット情報Va(50a)は、送信端末50aに対応する端末コンポジット情報で、送信端末識別情報Va(50a,ID)および画面表示開始位置Va(50a,DP)からなり、それぞれ、図５で示した本発明のコンポジット情報の構成の中の送信端末識別情報Ca(50a,ID)および画面表示開始位置Ca(50a,DP)と同じ内容である。
【００７７】
送信端末50a以外の他の送信端末に対応する端末コンポジット情報も同様で、例えば、送信端末50zに対応する端末コンポジット情報Va(50z)の場合は、送信端末識別情報Va(50z,ID)および画面表示開始位置Va(50z,DP)からなり、それぞれ、図５のコンポジット情報の構成の中の送信端末識別情報Ca(50z,ID)および画面表示開始位置Ca(50z,DP)と同じ内容である。
【００７８】
受信端末60aは、端末コンポジット情報Vaに含まれている情報に従って、表示出力を行う。
図６の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図７は、本発明の受信端末の表示出力例である。
【００７９】
ストリーム配信装置70に接続されている送信端末が送信端末50a、送信端末50b、・・・、送信端末50zであった場合の、各送信端末からのストリームデータを受信端末60aの画面に同時に表示している例である。
受信端末60aの端末能力情報の一つである最大解像度の範囲内で、しかも、各送信端末からのストリームデータの表示領域の大きさが最大になるように、画面を分割して割り当てている例である。
【００８０】
図７の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図８は、本発明の配信選択情報の構成である。
受信端末60aの配信選択情報Zaの実施例を示しており、（イ）表示出力可否による配信選択情報、および、（ロ）表示出力優先度による配信選択情報の二つの実施例を示している。
【００８１】
ストリーム配信装置70で受信端末60aに対して端末許容階層レベル値Laの選定ができなかった場合、つまり、最低位階層の階層ストリームだけに限定しても受信端末60aの端末能力では、全送信端末からのストリームデータを同時に表示出力できないと判定した場合は、ストリーム配信装置70は、この配信選択情報Zaに従って、受信端末60aへ配信するストリームデータを制限し、その制限内でストリームデータを配信して表示出力する。
【００８２】
（イ）の表示出力可否による配信選択情報では、受信端末60aが送信端末毎に、該送信端末からのストリームデータを表示出力するか否かの表示出力可否情報を設定し、（ロ）の表示出力優先度による配信選択情報では、各送信端末に優先度を付与し、優先度が高い送信端末からのストリームデータから優先して受信端末60aへ配信して表示出力する。図８の（ロ）では、小さい数字ほど優先度が高いとして表記している。
【００８３】
本配信選択情報Zaは、予めストリーム配信装置70へ送信しておく。
図８の実施例は、受信端末60aについて記載しているが、受信端末60a以外の受信端末についても同様である。
図９は、本発明のコンポジット情報生成記憶部の動作フローチャートで、受信端末60aについての実施例を示している。
【００８４】
S7201. 受信端末60aの端末能力情報の一つである最大解像度Na(MWH)について、全送信端末の階層化情報を基に、受信端末60aが全送信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の能力別階層レベル値La(MWH)を選定する。ここで、能力別許容階層レベル値La(MWH)は、階層ストリーム列の最低位の階層レベルを"1"とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末60aの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値La(MWH)を"0"とする。
【００８５】
本選定処理の詳細については、図10に示す本発明の解像度に関する許容階層レベル値選定の動作フローチャートを参照。
S7202. 受信端末60aの端末能力情報の一つである最大ビットレートNa(MBR)について、上記ステップS7201と同様な処理手順で、受信端末60aが全受信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の階層レベル値La(MBR)を選定する。ここで、能力別許容階層レベル値La(MBR)の値は、階層ストリーム列の最低位の階層レベルを"1"とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末60aの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値La(MBR)を"0"とする。
【００８６】
本選定処理の詳細については、図11に示す本発明のビットレートに関する許容階層レベル値選定の動作フローチャートを参照。
S7203. 受信端末60aの端末能力情報の一つである最大フレームレートNa(MFR)について、上記ステップS7202と同様な処理手順で、受信端末60aが全受信端末からのストリームデータを同時に表示出力できる階層ストリーム列内の階層レベル値La(MFR)を選定する。ここで、能力別許容階層レベル値La(MFR)の値は、階層ストリーム列の最低位の階層レベルを"1"とし、階層レベルが高くなるに応じてカウントアップされるものとする。また、受信端末60aの表示出力の能力が低く、最低位の階層レベルに対応する階層ストリームすらも許容できない場合は、能力別許容階層レベル値La(MFR)を"0"とする。
【００８７】
本選定処理の詳細については、図12に示す本発明のフレームレートに関する許容階層レベル値選定の動作フローチャートを参照。
S7204.  上記ステップS7201、S7202、S7203で選定された階層レベル値La(MWH)、La(MBR)、La(MFR)の最小の値が"0"より大か否かを判定し、"0"より大、つまり"1"以上のときは(YES)、受信端末60aの表示出力の能力で許容できる適切な階層レベルが選択されたことを意味し、次のステップS7205へ移行する。
【００８８】
"0"より大でない、つまり、"0"のときは(NO)、受信端末60aの表示出力の能力で許容できる適切な階層レベルが選択できず、最低位の階層レベルの階層ストリームだけに限定しても全送信端末からのストリームデータを同時に表示出力できないことを意味し、ステップS7209へ移行する。
S7205. 選定された能力別許容階層レベル値La(MWH)、La(MBR)、La(MFR)の最小値を、受信端末60aが許容できる端末許容階層レベル値Laと見なして、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。
【００８９】
S7206. 全送信端末について、該送信端末からのストリームデータを表示出力する受信端末60aの画面表示開始位置を生成し、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。また、全送信端末について、出力抑制区間検出記憶部に保持されている出力抑制区間情報を参照し、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。
【００９０】
S7207. コンポジット情報生成記憶部72aが保持するコンポジット情報Caを基に、受信端末60a用の端末コンポジット情報Vaを作成し、受信端末60aへ送信する。
S7208. 受信端末60aへのストリームデータの配信を行うため、階層選択部73aを起動して、処理を終了する。
S7209. 受信端末60aの端末許容階層レベル値Laを最低位レベルの"1"として、コンポジット情報生成記憶部72aが保持するコンポジット情報Caに設定する。
【００９１】
S7210. 配信選択情報受信記憶部74aに保持されている配信選択情報Zaに基づいて、受信端末60aへの表示出力の対象とする送信端末を選択する。選択された送信端末について、対応する階層化情報を基に該送信端末からのストリームデータを表示出力する受信端末60aの画面表示開始位置、および、出力抑制区間情報をを作成し、コンポジット情報Caとしてコンポジット情報生成記憶部72aに記憶した後、ステップS7207へ移行する。
【００９２】
上記の図９の動作フローチャートは、受信端末60aに対応するコンポジット情報生成記憶部72aについて説明したが、他の受信端末60a以外の受信端末に対応するコンポジット情報生成記憶部についても同様である。
図10は、本発明のLa(MWH)選定処理の動作フローチャートで、上記図９の動作フローチャートのステップS7201の詳細を示しており、各処理ステップの内容は次の通り。
【００９３】
S7201-1. 階層レベル値を一時的に格納する変数をｉで表し、初期値として"1"を設定しておく。
S7201-2. 変数ｉの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて"2"以上である。
【００９４】
変数ｉの値が、最大階層レベル値よりも大きい場合は(YES)、受信端末60aの許容可能な階層レベル値La(MWH)を確定するために、ステップS7201-5へ移行し、変数ｉの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は(NO)、次のステップS7201-3へ移行して処理を続行する。
S7201-3. 全送信端末から受信した階層化情報を基に、階層レベルｉの解像度の合計値WH(i)を算出する。
【００９５】
図４に示す本発明の階層化情報の構成に記載した表記を用いると、
WH(i)= Xa(i,WH) + Xb(i,WH) + ・・・ + Xz(i,WH)
となる。
S7201-4. 上記ステップS7201-3で算出した階層レベルｉの解像度の合計値WH(i)が、図３に示す受信端末60aの能力情報Naに設定されている能力値Na(MWH)より大か否かを判定し、大の場合は(YES)、受信端末60aの許容可能な階層レベル値La(MWH)を確定するために、次のステップS7201-5へ移行する。
【００９６】
合計値WH(i)がNa(MWH)より大でない場合は(NO)、次の階層の処理を行うためにステップS7201-6へ移行する。
S7201-5. 上記ステップS7201-4の判定で、階層レベルｉが最大階層レベル値を超えたか、または、階層レベルｉの解像度の合計値WH(i)が受信端末60aの能力値Na(MWH)を超えたため、１レベル低い階層レベル"i-1"の値を、受信端末60aが許容可能な階層レベル値La(MWH)とみなし、La(MWH)に"i-1"を設定して、処理を終了する。
【００９７】
S7201-6. 次の階層の処理のために、変数ｉをカウントアップして、ステップS7201-2へ移行する。
図11は、本発明のLa(MBR)選定処理の動作フローチャートで、上記図９の動作フローチャートのステップS7202の詳細を示しており、次の処理ステップからなる。
【００９８】
S7202-1. 階層レベル値を一時的に格納する変数をｉで表し、初期値として"1"を設定しておく。
S7202-2. 変数ｉの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて"2"以上である。
【００９９】
変数ｉの値が、最大階層レベル値よりも大きい場合は(YES)、受信端末60aの許容可能な階層レベル値La(MBR)を確定するために、ステップS7202-5へ移行し、変数ｉの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は(NO)、次のステップS7202-3へ移行して処理を続行する。
S7202-3. 全送信端末から受信した階層化情報を基に、階層レベルｉの解像度の合計値BR(i)を算出する。
【０１００】
図４に示す本発明の階層化情報の構成に記載した表記を用いると、
BR(i)= Xa(i,BR) + Xb(i,BR) + ・・・ + Xz(i,BR)
となる。
S7202-4. 上記ステップS7202-3で算出した階層レベルｉの解像度の合計値BR(i)が、図３に示す受信端末60aの能力情報Naに設定されている値Na(MBR)より大か否かを判定し、大の場合は(YES)、受信端末60aの許容可能な階層レベル値La(MBR)を確定するために、次のステップS7202-5へ移行する。
【０１０１】
合計値BR(i)がNa(MBR)より大でない場合は(NO)、次の階層の処理を行うためにステップS7202-6へ移行する。
S7202-5. 上記ステップS7202-4の判定で、階層レベルｉが最大階層レベル値を超えたか、または、階層レベルｉの解像度の合計値BR(i)が受信端末60aの能力値Na(MBR)を超えたため、１レベル低い階層レベル"i-1"の値を、受信端末60aが許容可能な階層レベル値La(MBR)とみなし、La(MBR)に"i-1"を設定して、処理を終了する。
【０１０２】
S7202-6. 次の階層の処理のために、変数ｉをカウントアップして、ステップS7202-2へ移行する。
図12は、本発明のLa(MFR)選定処理の動作フローチャートで、上記図９の動作フローチャートのステップS7203の詳細を示しており、次の処理ステップからなる。
【０１０３】
S7203-1. 階層レベル値を一時的に格納する変数をｉで表し、初期値として"1"を設定しておく。
S7203-2. 変数ｉの値が、全バッファに保持されている階層ストリーム列の最大階層レベル値よりも大きいか否かを判定する。ここで、階層ストリーム列の最大階層レベル値は、階層ストリーム列の意味から考えて"2"以上である。
【０１０４】
変数ｉの値が、最大階層レベル値よりも大きい場合は(YES)、受信端末60aの許容可能な階層レベル値La(MFR)を確定するために、ステップS7203-5へ移行し、変数ｉの値が、最大階層レベル値より大きくない、つまり、最大階層レベル値以下の場合は(NO)、次のステップS7203-3へ移行して処理を続行する。
S7203-3. 全送信端末から受信した階層化情報を基に、階層レベルｉの解像度の合計値FR(i)を算出する。
【０１０５】
図４に示す本発明の階層化情報の構成に記載した表記を用いると、
FR(i)= Xa(i,FR) + Xb(i,FR) + ・・・ + Xz(i,FR)
となる。
S7203-4. 上記ステップS7203-3で算出した階層レベルｉの解像度の合計値FR(i)が、図３に示す受信端末60aの能力情報Naに設定されている値Na(MFR)より大か否かを判定し、大の場合は(YES)、受信端末60aの許容可能な階層レベル値La(MFR)を確定するために、次のステップS7203-5へ移行する。
【０１０６】
合計値FR(i)がNa(MFR)より大でない場合は(NO)、次の階層の処理を行うためにステップS7203-6へ移行する。
S7203-5. 上記ステップS7203-4の判定で、階層レベルｉが最大階層レベル値を超えたか、または、階層レベルｉの解像度の合計値FR(i)が受信端末60aの能力値Na(MFR)を超えたため、１レベル低い階層レベル"i-1"の値を、受信端末60aが許容可能な能力別許容階層レベル値La(MFR)とみなし、La(MFR)に"i-1"を設定して、処理を終了する。
【０１０７】
S7203-6. 次の階層の処理のために、変数ｉをカウントアップして、ステップS7203-2へ移行する。
図13は、本発明の階層選択部の動作フローチャートで、受信端末60aに対応して設けられる階層選択部73aについての実施例を示している。
S7301. コンポジット情報生成記憶部72aに保持されているコンポジット情報Caから、各送信端末に対応して設けられたエントリを取り出す。
【０１０８】
取り出されたエントリは、前記図５のコンポジット情報の構成で示したように、送信端末識別情報、画面表示開始位置、出力抑制区間情報で構成されている。
S7302. 該エントリ内の出力抑制区間情報から、出力抑制区間か否かを判定し、出力抑制区間ならば(YES)、次のエントリの処理を行うためにステップS7303へ移行し、出力抑制区間でなければ(NO)、階層ストリームの選択と送信を行うために、次のステップS7303へ移行する。
【０１０９】
S7303. 該エントリに設定された送信端末識別情報が示す送信端末からの階層ストリーム列が格納されているバッファより、コンポジット情報Caに設定されている許容階層レベルLaが示す階層までの階層ストリームを取り出し、受信端末60aへ送信する。
S7304. コンポジット情報Ca内に、未処理のエントリがあるか否か判定し、ある場合は(YES)、ステップS7301へ移行して、次の送信端末についての処理を行い、エントリがない場合は(NO)、処理を終了する。
【０１１０】
以上の階層選択部の処理内容については、受信端末60a以外の他の受信端末についても同様である。
以上が、本発明の第一の実施形態についての説明である。
図14は、本発明のストリーム配信方法（２）で、本発明の第二の実施形態を示している。
【０１１１】
第一の実施形態では、送信端末でストリームデータを階層符号化した後、階層ストリーム列と階層化情報をストリーム配信装置へ送信するのに対して、図14の本発明のストリーム配信方法（２）では、送信端末は階層符号化されていないストリームデータをストリーム配信装置へ送信する。
一以上の送信端末および一以上の受信端末がネットワーク40を介してストリーム配信装置70Aに接続され、送信端末から送信されたストリームデータが、ストリーム配信装置70Aを経由して受信端末へ配信される。
【０１１２】
図14の実施例では、送信端末50a、50b、および、受信端末60a、60bの構成として示しているが、送信端末および受信端末とも一以上の任意の台数で構成することができる。
ストリーム配信装置70Aには、各送信端末に対応して階層化情報受信記憶部、二つのバッファ、トランスコード部および出力抑制区間検出記憶部が設けられ、各受信端末に対応して端末能力情報受信記憶部、配信選択情報受信記憶部、コンポジット情報生成記憶部および階層選択部が設けられる。
【０１１３】
図14に示す実施例では、送信端末50aに対応して階層化情報受信記憶部71a、バッファ77a、バッファ79a、トランスコード部78a、出力抑制区間検出記憶部76aが設けられ、受信端末60aに対応して端末能力情報受信記憶部75a、配信選択情報受信記憶部74a、コンポジット情報生成記憶部72a、階層選択部73aが設けられている。
【０１１４】
同様に、送信端末50bに対応して階層化情報受信記憶部71b、バッファ77b、バッファ79b、トランスコード部78b、出力抑制区間検出記憶部76bが設けられ、受信端末60bに対応して端末能力情報受信記憶部75b、配信選択情報受信記憶部74b、コンポジット情報生成記憶部72b、階層選択部73bが設けられている。
送信端末および受信端末が３台以上設けられる場合も同様である。
【０１１５】
送信端末50aは、階層符号化していないストリームデータSaとして、ストリーム配信装置70Aへ送信する。
送信端末50bについても、送信端末50aと同様に、階層符号化されていないストリームデータSbをストリーム配信装置70Aへ送信する。
ストリーム配信装置70Aは、送信端末50aから送信されてきたストリームデータSaをバッファ77aに格納した後、トランスコード部78aは一旦ストリームデータSaを復号した後、予め定められた目標階層数に従って階層符号化し、階層ストリーム列Uaとしてバッファ79aへ格納する。同時に、受信端末が表示出力するために必要な階層レベル毎の所要能力値を含んだ階層化情報Xaを生成して階層化情報受信記憶部71aへ引き渡す。また、出力抑制区間検出記憶部76aは表示出力を抑制できる時間帯を意味する出力抑制区間情報Paを検出して記憶する。
【０１１６】
送信端末50bから送信されてきたストリームデータSbを受信した場合も同様で、バッファ77bに格納したのち、トランスコード部78bは一旦ストリームデータSaを復号した後、予め定められた目標階層数に従って階層符号化し、階層ストリーム列Ubとしてバッファ79bへ格納する。同時に、受信端末が表示出力するために必要な階層レベル毎の所要能力値を含んだ階層化情報Xbを生成して階層化情報受信記憶部71bへ引き渡す。また、出力抑制区間検出記憶部76bは表示出力を抑制できる時間帯を意味する出力抑制区間情報Pbを検出して記憶する。
【０１１７】
ここで、目標階層数および階層レベル毎の所要能力値の決定は、次の二つの方法で実現することができる。
第一の方法は、受信端末の端末能力情報として設定される同一種類の能力値の内、値が異なる能力値の全受信端末に渡っての総数を目標階層数とし、その同一種類の値が異なる能力値を各階層レベルの所要能力値とするものである。
【０１１８】
第二の方法は、任意の数を目標階層数として設定し、全受信端末の端末能力情報に設定されている同一種類の能力値の中で、最高の能力値と最低の能力値を選択し、その最高の能力値と最低の能力値の間を、任意に設定した目標階層数で等分し、等分された能力値を各階層レベルの所要能力値とするものである。第二の方法では、目標階層数に等分できない場合も想定されるが、そのときは、等分された値に最も近い値に所要能力値を調整する。
【０１１９】
出力抑制区間検出記憶部76bは、表示出力を抑制できる時間帯を意味する出力抑制区間情報Pbを検出して記憶する。
出力抑制区間としては、音声ストリームデータの場合は、有効な音声情報が含まれていない区間を意味する無音区間があり、この場合は、音声ストリームデータを配信しなくても受信端末の表示出力に実質的な影響を与えない。また、動画ストリームデータの場合は、有効な画像の動きが見られない区間を意味する無動作区間があり、この場合は、動画ストリームデータを配信しなくても受信端末の表示出力には実質的な影響を与えない。
【０１２０】
端末能力情報受信記憶部75aは、受信端末60aから予め通知される受信端末60aの表示出力の能力を示す端末能力情報Naを受信して記憶し、配信選択情報受信記憶部74aは予め受信端末60aから通知される受信端末60aの配信選択情報Zaを受信して記憶する。この配信選択情報Zaは、前記端末能力情報Naで示されている受信端末60aの表示出力の能力では、各送信端末から配信されてくるストリームデータを同時には表示出力できないときに使用されるもので、受信端末60aへ配信するストリームデータを選択して限定するために用いる。
【０１２１】
端末能力情報受信記憶部75bおよび配信選択情報受信記憶部74bについても同様で、予め受信端末60bからそれぞれ端末能力情報Naおよび配信選択情報Zaを受信して記憶しておく。
コンポジット情報生成記憶部72aは、階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75aに記憶されている受信端末60aの能力情報を参照して、受信端末60aが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選択する。そして、各送信端末から配信されたストリームデータを受信端末60aが表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定した端末許容階層レベル値および全送信端末についてのコンポジット情報を集めたものをコンポジット情報Caとし、コンポジット情報生成記憶部72aに保持する。この各送信端末別のコンポジット情報には、送信端末識別情報、ストリームデータを画面表示する際の画面表示開始位置、および、表示出力を抑制してよいか否かを示す出力抑制区間情報が含まれている。
【０１２２】
上記の端末許容階層レベル値が選択できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60aの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74aに保持されている配信選択情報Zaに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Caとして、コンポジット情報生成記憶部72aに保持する。
【０１２３】
図14に示す実施例では、コンポジット情報生成記憶部72aは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75aに記憶されている受信端末60aの端末能力情報を参照し、受信端末60aが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定すると同時に、送信端末50a、50bについてのコンポジット情報を集めてコンポジット情報Caとして保持する。
【０１２４】
次に、階層選択部73aは、前記コンポジット情報Caに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Taを受信端末60aへ送信する。同時に、前記コンポジット情報Caの中から、受信端末60aが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Taとし、受信端末60aへ送信する。
【０１２５】
コンポジット情報生成記憶部72bおよび階層選択部73bについても同様で、コンポジット情報生成記憶部72bは、各送信端末に対応する階層化情報受信記憶部に記憶されている各送信端末の階層化情報、および、端末能力情報記憶部75bに記憶されている受信端末60bの能力情報を参照して、受信端末60bが全送信端末からのストリームデータを同時に表示出力するために許容できる、全送信端末に共通な端末許容階層レベル値を選定する。そして、各送信端末から配信されたストリームデータを受信端末60bの表示出力するために必要な、各送信端末別のコンポジット情報を生成し、前記選定された端末許容階層レベル値と全送信端末についてのコンポジット情報を集めてコンポジット情報Cbとし、コンポジット情報生成記憶部72bに保持する。
【０１２６】
上記の端末許容階層レベル値が選定できなかった場合、つまり、最低位階層の階層ストリームに限定しても、受信端末60bの端末能力では、全送信端末からのストリームデータを同時には表示出力できない場合は、前記配信選択情報受信記憶部74bに保持されている配信選択情報Zbに従って、ストリームデータの配信処理の対象となる送信端末を限定し、その限定して選択された送信端末について、上記のコンポジット情報を生成して集めたものをコンポジット情報Cbとして、コンポジット情報生成記憶部72bに保持する。この場合は、端末許容階層レベル値を最低位の階層レベルに設定しておく。
【０１２７】
図14に示す実施例では、コンポジット情報生成記憶部72bは、階層化情報受信記憶部71a、71bに記憶されている階層化情報と、端末能力情報記憶部75bに記憶されている受信端末60bの端末能力情報を参照し、受信端末60bが送信端末50a、50bからのストリームデータを同時に表示出力するために許容される端末許容階層レベル値を選定し、送信端末50a、50bのコンポジット情報を生成して集めてコンポジット情報Cbとして保持する。
【０１２８】
次に、階層選択部73bは、前記コンポジット情報Cbに登録されている送信端末について、各送信端末からの階層ストリーム列の中の最低位の階層から前記端末許容階層レベル値が示す階層までの階層ストリームを選択し、各送信端末についての選択された階層ストリームから成る階層ストリーム列Tbを受信端末60bへ送信する。同時に、前記コンポジット情報Cbの中から、受信端末60bが各送信端末からのストリームデータを画面に配置するための情報である画面表示開始位置を抽出して端末コンポジット情報Tbとし、受信端末60bへ送信する。
【０１２９】
上記は送信端末数２、受信端末数２として説明したが、３以上の数の場合も同様である。
受信端末60aは、端末能力情報通知部61aが自端末の表示出力の能力を示す端末能力情報Naを予めストリーム配信装置70Aへ送信しておく。また、配信選択情報通知部65aは、最低位の階層ストリームだけ受信しても自端末の端末能力では全ての送信端末からのストリームデータを同時に表示できないときに、表示出力すべき送信端末を選択するための配信選択情報Zaを、予めストリーム配信装置70Aへ送信しておく。
【０１３０】
受信端末60aは、ストリーム配信装置70Aから送信されてきた端末コンポジット情報Vaを端末コンポジット情報受信記憶部62aに保持する。ここで、端末コンポジット情報Vaには、各送信端末の識別情報と、該送信端末からのストリームデータを表示出力する画面上の領域を識別する画面表示開始位置との対が含まれており、受信したストリームデータに含まれている送信端末を識別する情報をキーに検索することにより、該ストリームデータを表示出力すべき画面上の領域が特定できる。
【０１３１】
一方、ストリーム配信装置70Aで選択されて送信されてきた階層ストリーム列Taについては、復号部63aで復号された後、表示出力部64aが、端末コンポジット情報受信記憶部62aに記憶されている端末コンポジット情報Vaに従って表示出力する。
受信端末60bについても同様で、端末能力情報通知61bは端末能力情報Nbを予めストリーム配信装置70Aへ送信し、配信選択情報通知部65bは配信選択情報Zbを予めストリーム配信装置70Aへ送信しておき、ストリーム配信装置70Aから送信されてきた端末コンポジット情報Vbを端末コンポジット情報受信記憶部62bに保持する。一方、ストリーム配信装置70Aで選択されて送信されてきた階層ストリーム列Tbについては、復号部63bで復号された後、表示出力部64bが、端末コンポジット情報受信記憶部62bに記憶されている端末コンポジット情報Vbに従って表示出力する。
【０１３２】
図14の実施例では、送信端末と受信端末を別装置として表現しているが、多対地テレビ会議の場合のように、同一端末に送信端末および受信端末双方の機能を含めることもできる。その際は、ストリーム配信装置70Aのストリーム配信処理の対象には、ストリームデータの配信先となる端末からのストリームデータは含めない。例えば、送信端末50aと受信端末60aが同一の端末として構成された場合は、コンポジット情報生成記憶部72aおよび階層選択部73aは、送信端末50a以外の全ての送信端末からのストリームデータについて上記のストリーム配信の処理を行う。
【０１３３】
図14の実施例では、多対地テレビ会議の場合を想定して送信端末を複数台としているが、ストリーム放送などのように、送信端末数を１とすることもでき、この場合は、ストリーム配信装置70Aの機能を送信端末に組み込んで一体化した構成にすることもできる。
また、コンポジット情報生成記憶部に保持されるコンポジット情報、端末能力情報受信記憶部に記憶される端末能力情報、配信選択情報受信記憶部に記憶される配信選択情報は、受信端末毎に記憶領域を設けずに全受信端末についての情報を一括して記憶してもよい。
【０１３４】
同様に、階層化情報受信記憶部に記憶される送信端末毎の階層化情報、出力抑制区間検出記憶部に記憶される出力抑制区間情報は、全送信端末について一括して記憶してもよい。
図15は、本発明のストリーム配信方法による転送シーケンス（２）であり、図14に示す実施例に従って、処理ステップ毎に説明する。
【０１３５】
S01. 受信端末60aは、予め端末能力情報Naおよび配信選択情報Zaを、ストリーム配信装置70Aへ送信しておく。
ここで、端末能力情報Naは、受信端末60aの表示出力の能力を示す情報で、例えば図３に示した本発明の端末能力情報の構成では、最大解像度、最大ビットレートおよび最大フレームレートからなる。
【０１３６】
配信選択情報Zaは、前記端末能力情報Naに示される表示出力の能力では、全ての送信端末からのストリームデータを同時に受信端末60aに表示出力することができない、とストリーム配信装置70Aが判定したときに、受信端末60aに配信するストリームデータを選択して限定する際に使用する情報である。例えば、図８に示した配信選択情報の構成のように、各送信端末からのストリームデータの受信可否の情報、あるいは、各送信端末からのストリームデータを受け付ける優先順位を表す受信優先度の情報、として構成することができる。
【０１３７】
端末能力情報Na、配信選択情報Zaについては、図３の本発明の端末能力情報の構成および図８の本発明の配信選択情報の構成を参照。
S02. ストリーム配信装置70Aは、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【０１３８】
S03. 上記ステップS01と同様に、受信端末60bは、予め端末能力情報Nbおよび配信選択情報Zbを、ストリーム配信装置70Aへ送信しておく。
S04. 上記ステップS02と同様に、ストリーム配信装置70Aは、受信端末60aから受信した端末能力情報Naおよび配信選択情報Zaを、それぞれ、端末能力受信記憶部75aおよび配信選択情報受信記憶部74aに記憶する。
【０１３９】
上記ステップS01〜S04の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS01〜S02とステップS03〜S04の処理順序は、受信端末の送信タイミングT01により逆になる場合もあるが、処理内容は同様である。
S05. 送信端末50aは、階層符号化されていないストリームデータSaを配信装置70Aへ送信する。
【０１４０】
S06. ストリーム配信装置70Aは、受信したストリームデータSaをバッファ77aに格納後、一旦復号し、予め定められた目標階層レベル数に従って階層符号化して階層ストリーム列Uaとしてバッファ79aに格納する。同時に、階層ストリーム列Ua内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xaを生成して記憶する。また、受信端末への表示出力を抑制できる出力抑制区間情報Paを検出し、記憶する。
【０１４１】
S07. 上記ステップS05と同様に、送信端末50bは、階層符号化されていないストリームデータSbを配信装置70Aへ送信する。
S08. 上記ステップS06と同様に、ストリーム配信装置70Aは、受信したストリームデータSbをバッファ77bに格納後、一旦復号し、予め定められた目標階層レベル数に従って階層符号化して階層ストリーム列Ubとしてバッファ79bに格納する。同時に、階層ストリーム列Ub内の各階層ストリームを受信端末に表示出力するために必要な表示出力の所要能力値を含んでいる階層化情報Xbを生成して記憶する。また、受信端末への表示出力を抑制できる出力抑制区間情報Pbを検出し、記憶する。
【０１４２】
上記ステップS05〜S08の説明では、送信端末50aについての処理の後に送信端末50bの処理を記述した。ステップS05〜S06とステップS07〜S08の処理順序は、送信端末の送信タイミングT02により逆になる場合もあるが、処理内容は同様である。
S09. ストリーム配信装置70Aは、上記ステップS01で記憶されている受信端末60aの端末能力情報Naと配信選択情報Za、ステップS06およびS08で記憶されている階層化情報Xa、Xb、および、出力抑制区間情報Pa、Pbから、受信端末60aに対応するコンポジット情報Caを生成して、コンポジット情報生成記憶部72aに記憶する。コンポジット情報Caの詳細については図５の本発明のコンポジット情報の構成を、また、コンポジット情報生成記憶部72aの詳細については、図９の本発明のコンポジット情報生成記憶部の動作フローチャートを参照。
【０１４３】
ここで、受信端末60aの端末能力では、最下位の階層ストリームに限定しても、全送信端末からのストリームデータを同時には表示出力できないと判定された場合は、配信選択情報Zaにより配信対象外に選定された送信端末に関するコンポジット情報は、コンポジット情報Caに登録されない。
S10. ステップS09で生成したコンポジット情報Caから、受信端末60aが各送信端末からのストリームデータを表示出力する方法を示した端末コンポジット情報Vaを抽出して受信端末60aへ送信する。
【０１４４】
端末コンポジット情報Vaの詳細については、図６の本発明の端末コンポジット情報の構成を参照。
また、送信端末50a用のバッファ79aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ79bに格納されている階層ストリーム列Ubから、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Taを受信端末60aへ送信する。
【０１４５】
従って、上記ステップS09の処理で配信選択情報受信記憶部74aに保持されている配信選択情報Zaが有効となって配信対象からはずされている送信端末については、コンポジット情報Caに登録されていないため、該送信端末からの階層ストリーム列は、受信端末60aへ配信されない。
図15に示す実施例では、送信端末50a、50bは配信対象からはずされていない前提で記述しており、送信端末50a用のバッファ79aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ79bに格納されている階層ストリーム列Ubから、コンポジット情報Caに設定されている受信端末60aの端末許容階層レベル値Laに相当する階層レベルまでの階層ストリームを選択して階層ストリーム列Taとし、受信端末60aへ送信する。
【０１４６】
上記は、送信端末数が２の場合について述べたが、送信端末数が１の場合および３以上の場合も同様で、全送信端末からの端末許容階層レベル値La以下の階層ストリームの列が、階層ストリーム列Taとして受信端末60aへ送信される。
S11. 受信端末60aは、ストリーム配信装置70Aより送信されてきた階層ストリーム列Taを復号した後、同じくストリーム配信装置70Aから通知された端末コンポジット情報Vaに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
【０１４７】
端末コンポジット情報Vaには、図６の本発明の端末コンポジット情報の構成に示されているように、各送信端末毎の送信端末識別情報と画面表示開始位置が含まれており、受信端末60aは、この端末コンポジット情報Vaを基に、各送信端末からのストリームデータを同時に表示出力することができる。
受信端末60aへの表示出力については、図７の本発明の受信端末の表示出力例を参照。
【０１４８】
S12. 上記ステップS09と同様に、ストリーム配信装置70Aは、上記ステップS01で記憶されている受信端末60bの端末能力情報Nbと配信選択情報Zb、ステップS06およびS08で記憶されている送信端末50a、50bの階層化情報Xa、Xb、および、出力抑制区間情報Pa、Pb１から、受信端末60bに対応するコンポジット情報Cbを生成して、コンポジット情報生成記憶部72bに記憶する。
【０１４９】
S13. 上記ステップS12で生成したコンポジット情報Cbから、受信端末60bが各送信端末からのストリームデータを表示出力する領域を指示した端末コンポジット情報Vbを抽出して受信端末60bへ送信する。
一方、送信端末50a用のバッファ74aに格納されている階層ストリーム列Ua、および、送信端末50b用のバッファ74bに格納されている階層ストリーム列Ubから、コンポジット情報Cbに含まれている受信端末60bの端末許容階層レベル値Lbに相当する階層レベルまでの階層ストリームを抽出し、抽出した階層ストリーム列Tbを受信端末60bへ送信する。
【０１５０】
S14. 受信端末60bは、ストリーム配信装置70Aより送信されてきた階層ストリーム列Tbを復号した後、同じくストリーム配信装置70Aから通知された端末コンポジット情報Vbに含まれている情報に従って、各送信端末からのストリームデータを同時に表示出力する。
上記ステップS09〜S14の説明では、受信端末60aについての処理の後に受信端末60bの処理を記述した。ステップS09〜S11とステップS12〜S14の処理順序は、ストリーム配信装置の送信タイミングT03により逆になる場合もあるが、処理内容は同様である。
【０１５１】
S15.上記ステップS05〜S14の処理ステップを繰り返す。
ステップS05〜S14の繰り返しの方法としては、全送信端末から送信されてくるストリームデータを一旦バッファに格納しておき、ストリーム配信装置において、全送信端末から受信されるストリームデータを欠損させない程度の充分短い周期で上記ステップS06〜S11の処理を行うようにして実現することができる。
【０１５２】
上記の説明では、送信端末数を２、受信端末数を２として説明したが、２以外の数の場合も同様である。
図３〜図13に示した実施例については、図14の本発明のストリーム配信方法（２）に示した本発明の第二の実施形態でも同様であり、説明を割愛する。
以上の本発明の詳細な説明では、受信端末60aにストリームデータが配信されて表示出力される場合を重点に説明したが、受信端末60a以外の他の受信端末に配信して表示出力する場合も同様である。
【０１５３】
上記の実施例では、送信端末数および受信端末数とも２として説明したが、送信端末および受信端末とも１以上の任意の数でも同様に本発明は適用できる。
また、階層符号化したストリームデータを送信する送信端末と、階層符号化していないストリームデータを送信する送信端末とが混在してストリーム配信装置に接続される場合についても、本発明の第一の実施形態と第二の実施形態を組み合わせることにより、容易に実現できる。
【０１５４】
上記の本発明の実施例で示した図３〜図13の実現方法については、様々な変形が可能であるが、本発明は同様に適用できる。
（付記１）  ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記送信端末は前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解し、
前記端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報として、前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信し、
前記ストリーム配信装置は、前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
各送信端末からのストリームデータの表示出力領域を指定する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【０１５５】
（付記２）  ストリーム配信装置を中継して、送信端末から受信端末へストリームデータを配信して表示出力するストリーム配信方法において、
前記受信端末は、一以上の種類の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は、全受信端末についての前記端末能力情報を保持し、
前記ストリーム配信装置は、前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持し、
前記受信したストリームデータを復号した後、前記階層化情報に基づいて階層符号化して階層ストリーム列とし、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とし、
前記端末階層ストリーム列を表示出力する受信端末内の表示出力領域を指示する端末コンポジット情報を生成して、前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信し、
前記受信端末は、前記端末コンポジット情報に従って、前記端末階層ストリーム列を表示出力する、
ことを特徴とするストリーム配信方法。
【０１５６】
（付記３）  付記２に記載のストリーム配信方法において、
前記目標階層数は、全ての受信端末についての前記端末能力情報内の同一種類の能力値についての異なる値の総数とし、
全ての受信端末についての前記端末能力情報内の同一種類の能力値の異なる値を、各階層ストリームの所要能力値とする、
ことを特徴とするストリーム配信方法。
【０１５７】
（付記４）  付記２に記載のストリーム配信方法において、
前記目標階層数は予め設定した任意の数とし、
全ての受信端末についての前記端末能力情報内の同一種類の能力値の中で、最高位の値と最下位の値を前記目標階層数で等分した値を、各階層ストリームの所要能力値とする、
ことを特徴とするストリーム配信方法。
【０１５８】
（付記５）  付記１ないし付記４のいずれかに記載のストリーム配信方法において、
前記端末階層ストリーム列の選択は、前記階層化情報に含まれる所要能力値の種類毎に、前記受信端末の端末能力情報内の対応する種類の能力値を超えない最高位の階層レベルを選定して能力別許容階層レベルとし、
選定された一以上の前記能力別許容階層レベルの中から、最も低い階層レベルを選定して端末許容階層レベルとし、
最低位の階層レベルから前記端末許容階層レベルまでの間の階層ストリームを選択する、
ことを特徴とするストリーム配信方法。
【０１５９】
（付記６）  付記１ないし付記５のいずれかに記載のストリーム配信方法において、
前記受信端末は、前記受信端末へ配信するストリームデータを選択するための配信選択情報を、前記ストリーム配信装置へ予め通知し、前記ストリーム配信装置は全受信端末についての前期配信選択情報を保持し、
前記ストリーム配信装置は、前記端末許容階層レベルの選定において、前記階層化情報の同一階層レベルの該当する種類の前記所要能力値を全送信端末について合計した値を算出する際、最低位の階層レベルに限定しても、前記合計した値が前記受信端末の端末能力情報内の対応する種類の能力値を超える場合は、
前記端末許容階層レベルを最低位の階層レベルとし、前記配信選択情報に基づいて前記端末階層ストリーム列を選択する、
ことを特徴とするストリーム配信方法。
【０１６０】
（付記７）  付記１ないし付記６のいずれかに記載のストリーム配信方法において、
前記ストリーム配信装置は、前記送信端末から送信されてきたストリームデータから、予め選定された種類のストリームデータについて、前記受信端末への表示出力を抑制できる時間帯を示す出力抑制区間を検出し、
前記出力抑制区間の間は、前記送信端末からの前記種類のストリームデータを前記端末階層ストリーム列に含めない、
ことを特徴とするストリーム配信方法。
【０１６１】
（付記８）  送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記送信端末から送信されてくる階層符号化されたストリームデータである階層ストリーム列、および、前記階層ストリーム列内の階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を含んだ階層化情報を受信する手段と、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える、
ことを特徴とするストリーム配信装置。
【０１６２】
（付記９）  送信端末から送信されてくるストリームデータを受信端末へ配信して表示出力するストリーム配信装置において、
前記受信端末から予め通知される一以上の種類の表示出力の能力値を含む端末能力情報を、全受信端末について保持し記憶する手段と、
前記端末能力情報を基に、受信したストリームデータを階層符号化するための目標階層数および各階層ストリームを前記受信端末へ表示出力するために必要な所要能力値を決定して階層化情報として保持する手段と、
前記端末能力情報および前記階層化情報を基に、前記階層ストリーム列の中から、前記受信端末が、各送信端末からのストリームデータを同時に表示出力できるように階層ストリームを選択して端末階層ストリーム列とする手段と、
各送信端末からのストリームデータの表示出力領域を指示する端末コンポジット情報を生成する手段と、
前記端末コンポジット情報および前記端末階層ストリーム列を前記受信端末へ送信する手段を備える
ことを特徴とするストリーム配信装置。
【０１６３】
（付記１０）  付記８ないし付記９のいずれかに記載のストリーム配信装置において、
前記受信端末へ配信するストリームデータを選択するための配信選択情報を、予め前記受信端末から受信して保持する手段と、
前記端末許容階層レベルの選定において、最低階層レベルに選定しても前記受信端末が全ての送信端末からのストリームデータを同時に表示出力できない場合は、前記配信選択情報に基づいて前記端末階層ストリーム列を選択する手段を備える
ことを特徴とするストリーム配信装置。
【０１６４】
（付記１１）  付記８ないし付記１０のいずれかに記載のストリーム配信装置において、
前記送信端末から送信されてきたストリームデータから、予め選定された種類のストリームデータについて、前記受信端末への表示出力を抑制できる時間帯を示す出力抑制区間を検出する手段と、
前記出力抑制区間の間は、前記送信端末からの前記種類のストリームデータを除外して前記端末階層ストリーム列を選択する手段を備える
ことを特徴とするストリーム配信装置。
【０１６５】
（付記１２）  ストリームデータを、ストリーム配信装置を中継して受信端末へ配信して表示出力する送信端末において、
前記ストリームデータを階層符号化して、階層レベルに対応したストリームデータである階層ストリームの列に分解する手段と、
前記受信端末が保持する端末能力情報に含まれる一以上の種類の能力値に対応して、前記階層ストリーム毎に前記受信端末へ表示出力するために必要な所要能力値を設定して階層化情報とする手段と、
前記階層化情報および前記階層ストリーム列を前記ストリーム配信装置に送信する手段を備える
ことを特徴とする送信端末。
【０１６６】
（付記１３）  送信端末よりストリーム配信装置を中継して配信されてくるストリームデータを受信して表示出力する受信端末において、
一以上の表示出力の能力値を含んだ端末能力情報を前記ストリーム配信装置へ予め通知する手段と、
前記ストリーム配信装置から送信されてくる、各送信端末からのストリームデータの表示出力領域を特定する情報を含んだ端末コンポジット情報を受信して保持する手段と、
前記端末コンポジット情報に従って、前記ストリーム配信装置から送信されてくる階層符号化されたストリームデータを復号して表示出力する手段を備える
ことを特徴とする受信端末。
【０１６７】
【発明の効果】
本発明は、ストリームデータの配信において、一以上の送信端末から送信される階層符号化されたストリームデータを、受信端末の能力に適合した形に階層ストリームの範囲を選択して配信し、全送信端末からのストリームデータを同時に受信端末へ表示出力できるよう構成した。
【０１６８】
これにより、複数の送信端末からの階層符号化されたストリームデータを各受信端末へ同時に表示出力する多対地テレビ会議についても、ストリーム配信装置の負荷を抑制しながら、かつ、受信端末の能力に適合した効率的なストリーム配信が行えるようになる。
また、本発明では、送信端末が階層符号化されてないストリームデータを送信してくる場合についても、ストリーム配信装置において適切な階層レベル数に階層符号化し、各受信端末の能力に適合した階層化されたストリームデータを配信するように構成した。
【０１６９】
これにより、階層符号化に対応していない端末からのストリームデータについても、受信端末の能力に適合した形でのストリーム配信が可能となり、多様な種類の端末に柔軟に対応できるストリーム配信システムの構築が可能となる。
【図面の簡単な説明】
【図１】  本発明のストリーム配信方法（１）
【図２】  本発明のストリーム配信方法による転送シーケンス（１）
【図３】  本発明の端末能力情報の構成
【図４】  本発明の階層化情報の構成
【図５】  本発明のコンポジット情報の構成
【図６】  本発明の端末コンポジット情報の構成
【図７】  本発明の受信端末の表示出力例
【図８】  本発明の配信選択情報の構成
【図９】  本発明のコンポジット情報生成記憶部の動作フローチャート
【図１０】  本発明の許容階層レベル値選定の動作フローチャート（１）
【図１１】  本発明の許容階層レベル値選定の動作フローチャート（２）
【図１２】  本発明の許容階層レベル値選定の動作フローチャート（３）
【図１３】  本発明の階層選択部の動作フローチャート
【図１４】  本発明のストリーム配信方法（２）
【図１５】  本発明のストリーム配信方法による転送シーケンス（２）
【図１６】  階層符号化の概要
【図１７】  従来技術のストリーム配信方法
【符号の説明】
10a,10b 従来技術の送信端末
11a,11b 従来技術のストリーム送信部
20a,20b 従来技術の受信端末
21a,21b 従来技術の端末能力情報通知部
22a,22b 従来技術の受信端末の復号部
23a,23b 従来技術の表示出力部
30  従来技術のストリーム配信装置
31a,31b 従来技術の復号部
32a,32b 従来技術の合成部
33a,33b 従来技術の符号化部
34a,34b 従来技術のバッファ
35a,35b 従来技術の端末能力情報受信記憶部
40  ネットワーク
50a,50b,50z  送信端末
51a,51b  階層ストリーム生成送信部
52a,52b  階層化情報通知部
53a,53b  ストリーム送信部
60a,60b,60z  受信端末
61a,61b 端末能力情報通知部
62a,62b 端末コンポジット情報受信記憶部
63a,63b 受信端末の復号部
64a,64b 表示出力部
65a,65b 配信選択情報通知部
70,70A  ストリーム配信装置
71a,71b 階層化情報受信記憶部
72a,72b コンポジット情報生成記憶部
73a,73b 階層選択部
74a,74b 配信選択情報受信記憶部
75a,75b 端末能力情報受信記憶部
76a,76b 出力抑制区間検出記憶部
77a,77b バッファ
78a,78b トランスコード部
79a,79b バッファ
Na,Nb 端末能力情報
Sa,Sb 階層化されていないストリームデータ
Ta,Tb 端末階層ストリーム列
Ua,Ub 階層ストリーム列
Va,Vb 端末コンポジット情報
Xa,Xb 階層化情報
Za,Zb 配信選択情報
【図１】
0004329358.tif 000002
【図２】
0004329358.tif 000003
【図３】
0004329358.tif 000004
【図４】
0004329358.tif 000005
【図５】
0004329358.tif 000006
【図６】
0004329358.tif 000007
【図７】
0004329358.tif 000008
【図８】
0004329358.tif 000009
【図９】
0004329358.tif 000010
【図１０】
0004329358.tif 000011
【図１１】
0004329358.tif 000012
【図１２】
0004329358.tif 000013
【図１３】
0004329358.tif 000014
【図１４】
0004329358.tif 000015
【図１５】
0004329358.tif 000016
【図１６】
0004329358.tif 000017
【図１７】
0004329358.tif 000018