(57)【要約】【課題】テレビ会議システムのための端末、中継ノード、およびストリーム処理方法を開示する。【解決手段】送信端末は、メディアの入力を受け、メディアから基礎ストリームを生成し、基礎ストリームを多重化して送信ストリームを生成し、受信端末のうちの第１受信端末と関連した中継ノードに送信ストリームを送信することができる。【選択図】図１
2011087268.tif 000002
【特許請求の範囲】
【請求項１】
メディアの入力を受ける入力部と、
前記メディアから基礎ストリームを生成する符号化部と、
前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、
受信端末のうちの第１受信端末と関連した中継ノードに前記送信ストリームを送信するインターフェースと、
を含み、
前記中継ノードは、
前記第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成することを特徴とする送信端末。
【請求項２】
前記多重化部は、
前記基礎ストリームそれぞれに識別子を割り当てて、前記送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
【請求項３】
前記中継ノードは、
前記識別子を用いて前記適応型送信ストリームを生成することを特徴とする請求項２に記載の送信端末。
【請求項４】
前記多重化部は、
前記基礎ストリームを互いに異なる送信パケットに多重化して前記送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
【請求項５】
前記多重化部は、
前記基礎ストリームを単一送信パケットに多重化して前記送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
【請求項６】
前記メディアは、
互いに異なる時点の映像を含み、
前記基礎ストリームは、
前記映像から生成されることを特徴とする請求項１に記載の送信端末。
【請求項７】
前記映像は、
２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つであることを特徴とする請求項６に記載の送信端末。
【請求項８】
前記適応型送信ストリームは、
２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことを特徴とする請求項１に記載の送信端末。
【請求項９】
前記中継ノードは、
周期的に、前記第１受信端末への要請に対応したりまたは前記第１受信端末内の特定イベント発生に対応して前記第１受信端末から前記表示情報を受信することを特徴とする請求項１に記載の送信端末。
【請求項１０】
前記表示情報は、
表示装置情報および表示設定情報を含むことを特徴とする請求項１に記載の送信端末。
【請求項１１】
前記表示情報は、
前記第１受信端末内の表示出力モードに応じて決定されることを特徴とする請求項１に記載の送信端末。
【請求項１２】
前記入力部は、
前記メディアに仮想オブジェクトおよび仮想背景のうちの少なくとも１つを挿入することを特徴とする請求項１に記載の送信端末。
【請求項１３】
前記符号化部は、
前記受信端末の表示情報に基づいて前記基礎ストリームを生成することを特徴とする請求項１に記載の送信端末。
【請求項１４】
前記中継ノードは、
前記送信ストリームから前記基礎ストリームを識別し、前記第１受信端末の表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする請求項１に記載の送信端末。
【請求項１５】
メディアの入力を受ける入力部と、
前記メディアから基礎ストリームを生成する符号化部と、
前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、
受信端末のうちの第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するインターフェースと、
を含むことを特徴とする送信端末。
【請求項１６】
受信端末のうちの第１受信端末から表示情報を受信する情報受信部と、
送信端末から基礎ストリームを含む送信ストリームを受信するストリーム受信部と、
前記表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するストリーム処理部と、
前記適応型送信ストリームを前記第１受信端末に送信するストリーム送信部と、
を含むことを特徴とする中継ノード。
【請求項１７】
前記ストリーム処理部は、
前記送信ストリームから前記基礎ストリームを識別し、前記第１受信端末の表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする請求項１６に記載の中継ノード。
【請求項１８】
前記適応型送信ストリームは、
２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことを特徴とする請求項１６に記載の中継ノード。
【請求項１９】
表示情報を中継ノードに送信し、前記中継ノードから適応型送信ストリームを受信するインターフェースと、
前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、
前記適応型基礎ストリームからメディアを復号化する復号化部と、
前記メディアを出力する出力部と、
を含み、
前記中継ノードは、
送信端末から基礎ストリームを含む送信ストリームを受信し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする受信端末。
【請求項２０】
表示情報を送信端末に送信し、前記送信端末から適応型送信ストリームを受信するインターフェースと、
前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、
前記適応型基礎ストリームからメディアを復号化する復号化部と、
前記メディアを出力する出力部と、
を含み、
前記送信端末は、
基礎ストリームを含む送信ストリームを生成し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成することを特徴とする受信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末、中継ノード、およびストリーム処理方法に関し、より詳細には、テレビ会議システムのための端末、中継ノード、およびストリーム処理方法に関する。
【背景技術】
【０００２】
テレビ会議システムは、一般的に、２次元基盤の多重映像と３次元グラフィックモデルを支援するシステム、または３次元ステレオ映像を取得して相手に送信する方式を用いる。したがって、このようなテレビ会議システムの実現のために、シャッターグラス方式を応用した時間分割、３次元映像補正、中間映像取得方法、および同期化などに関する開発が進められてきた。
【０００３】
一方、２次元または３次元メディア送信方法において、従来のシステムは、同一する時間および空間情報を有する多数のメディアチャンネルの基礎ストリームを２次元または３次元の表示環境に適合するように符号化する方法を用いている。
【０００４】
前者の開発は、画質の劣化がない３次元映像を取得して相手の端末に送信することで利点を提供し、後者の符号化方法は、ユーザの表示環境を考慮して映像の個別ストリームを符号化した後に送信することに焦点を合わせている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の一実施形態は、複数の基礎ストリームを多重化して送信ストリームを送信し、受信端末で複数の基礎ストリームのうちの一部を選択することにより、より弾力的なテレビ会議サービスを提供する端末、中継ノード、およびストリーム処理方法を提供する。
【０００６】
また、本発明の一実施形態は、受信端末の表示情報に応じて表示可能なストリームを選択的に用いることにより、複数の端末それぞれの表示環境に応じて最適な映像を出力する端末、中継ノード、およびストリーム処理方法を提供する。
【０００７】
また、本発明の一実施形態は、ストリームそれぞれに識別子を割り当て、これによってストリームそれぞれを識別することにより、より向上したクオリティ・オブ・サービス（ＱｏＳ：Quality of Service）を提供する端末、中継ノード、およびストリーム処理方法を提供する。
【０００８】
さらに、本発明の一実施形態は、多重化した送信ストリームを用いてテレビ会議を行うことにより、標準符号化器によって圧縮された２次元または３次元データも再符号化の過程なく、ネットワーク上の最小帯域幅のみを用いてメディア送信が可能な端末、中継ノードおよび、ストリーム処理方法を提供する。
【課題を解決するための手段】
【０００９】
本発明の一実施形態に係る送信端末は、メディアの入力を受ける入力部と、前記メディアから基礎ストリームを生成する符号化部と、前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、受信端末のうちの第１受信端末と関連した中継ノードに前記送信ストリームを送信するインターフェースとを含む。このとき、前記中継ノードは、前記第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。
【００１０】
本発明の一側面によれば、前記多重化部は、前記基礎ストリームそれぞれに識別子を割り当てて、前記送信ストリームを生成する。このとき、前記中継ノードは、前記識別子を用いて前記適応型送信ストリームを生成する。
【００１１】
また、本発明の一側面によれば、前記多重化部は、前記基礎ストリームを互いに異なる送信パケットに多重化して前記送信ストリームを生成する。ただし、本発明の他の一側面によれば、前記多重化部は、前記基礎ストリームを単一送信パケットに多重化して前記送信ストリームを生成する。
【００１２】
また、本発明の一側面によれば、前記メディアは、互いに異なる時点の映像を含み、前記基礎ストリームは、前記映像から生成される。また、本発明の一側面によれば、前記映像は、２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つである。
【００１３】
また、本発明の一側面によれば、前記中継ノードは、周期的に、前記第１受信端末への要請に対応したりまたは前記第１受信端末内の特定イベントの発生に対応して前記第１受信端末から前記表示情報を受信する。
【００１４】
また、本発明の一側面によれば、前記表示情報は、表示装置情報および表示設定情報を含む。
【００１５】
また、本発明の一側面によれば、前記入力部は、前記メディアに仮想オブジェクトおよび仮想背景のうちの少なくとも１つを挿入する。
【００１６】
また、本発明の一側面によれば、前記中継ノードは、前記送信ストリームから前記基礎ストリームを識別し、前記第１受信端末の表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成する。
【００１７】
また、本発明の一実施形態に係る送信端末は、メディアの入力を受ける入力部と、前記メディアから基礎ストリームを生成する符号化部と、前記基礎ストリームを多重化して送信ストリームを生成する多重化部と、受信端末のうちの第１受信端末の表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するインターフェースとを含む。
【００１８】
また、本発明の一実施形態に係る中継ノードは、受信端末のうちの第１受信端末から表示情報を受信する情報受信部と、送信端末から基礎ストリームを含む送信ストリームを受信するストリーム受信部と、前記表示情報に基づいて前記送信ストリームから前記基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成するストリーム処理部と、前記適応型送信ストリームを前記第１受信端末に送信するストリーム送信部とを含む。
【００１９】
また、本発明の一実施形態に係る受信端末は、表示情報を中継ノードに送信し、前記中継ノードから適応型送信ストリームを受信するインターフェースと、前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、前記適応型基礎ストリームからメディアを復号化する復号化部と、前記メディアを出力する出力部とを含む。このとき、前記中継ノードは、送信端末から基礎ストリームを含む送信ストリームを受信し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成する。
【００２０】
また、本発明の一実施形態によれば、受信端末は、表示情報を送信端末に送信し、前記送信端末から適応型送信ストリームを受信するインターフェースと、前記適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、前記適応型基礎ストリームからメディアを復号化する復号化部と、前記メディアを出力する出力部とを含む。このとき、前記送信端末は、基礎ストリームを含む送信ストリームを生成し、前記表示情報に基づいて前記基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、前記適応型基礎ストリームを用いて前記適応型送信ストリームを生成する。
【発明の効果】
【００２１】
本発明の一実施形態は、複数の基礎ストリームを多重化して送信ストリームを送信し、受信端末で複数の基礎ストリームのうちの一部を選択することにより、より弾力的なテレビ会議サービスを提供することができる端末、中継ノード、およびストリーム処理方法を提供することができる。
【００２２】
また、本発明の一実施形態は、受信端末の表示情報に応じて表示可能なストリームを選択的に用いることにより、複数の端末それぞれの表示環境に応じて最適な映像を出力することができる端末、中継ノード、およびストリーム処理方法を提供することができる。
【００２３】
また、本発明の一実施形態は、ストリームそれぞれに識別子を割り当て、これによってストリームそれぞれを識別することにより、より向上したＱｏＳを提供することができる端末、中継ノード、およびストリーム処理方法を提供することができる。
【００２４】
さらに、本発明の一実施形態は、多重化した送信ストリームを用いてテレビ会議を行うことにより、標準符号化器によって圧縮された２次元または３次元データも再符号化の過程なく、ネットワーク上の最小帯域幅のみを用いてメディア送信が可能な端末、中継ノード、およびストリーム処理方法を提供することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る送信端末、中継ノード、および受信端末の関係構造を示す図である。
【図２】本発明の一実施形態に係る送信端末の構造を示すブロック図である。
【図３】本発明の一実施形態に係るストリームを示すブロック図である。
【図４】本発明の一実施形態に係る送信ストリームの構造を示すブロック図である。
【図５】本発明の一実施形態による受信端末のユーザインターフェース応用プログラムを示す図である。
【図６】本発明の一実施形態に係る中継ノードの構造を示すブロック図である。
【図７】本発明の一実施形態に係る受信端末の構造を示すブロック図である。
【図８】本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。
【図９】本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、添付の図面に基づき、本発明の好適な実施形態を詳細に説明するが、本発明がこれらの実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。
【００２７】
図１は、本発明の一実施形態に係る送信端末、中継ノード、および受信端末の関係構造を示す図である。
【００２８】
図１に示すように、送信端末１１０は、第１受信端末１３０〜第３受信端末と共にテレビ会議を行う。このとき、送信端末１１０のカメラ装置から得られたメディアデータは送信ストリームに復号化され、ネットワークを介して第１受信端末１３０〜第３受信端末に送信される。また、このような送信ストリームは、ネットワーク内の中継ノードを経由して第１受信端末１３０〜第３受信端末に送信されることができる。
【００２９】
一方、本発明の一実施形態によれば、送信端末１１０は、複数の基礎ストリームを多重化して送信ストリームを生成し、これを中継ノードＡ１２０および中継ノードＢに送信する。一方、中継ノードＡ１２０は、第１受信端末１３０から第１受信端末１３０の表示情報を受信し、表示情報に基づいて送信ストリームから適応型送信ストリームを生成して第１受信端末１３０に送信する。これにより、第１受信端末１３０は、自身の表示情報に適合した映像を出力することができる。
【００３０】
例えば、送信端末１１０は、カメラ装置を介して互いに異なる時点の映像をメディアとして入力を受け、映像それぞれに基づいてストリームに符号化する。また、送信端末１１０は、基礎ストリームそれぞれに識別子を割り当てて多重化し、送信ストリームを生成する。このとき、基礎ストリームは、単一時点の２次元映像、左および右時点のステレオ映像、または第１〜第Ｎ時点の多視点映像から符号化される。また、中継ノードＡ１２０は、第１受信端末１３０の表示情報に基づいて第１受信端末１３０が２次元映像の表示を支援することを識別し、送信ストリーム内の基礎ストリームのうちのいずれか１つの基礎ストリームに基づいて適応型送信ストリームを生成する。一方、第１受信端末１３０は、基礎ストリームがすべて含まれた送信ストリームの代わりに適応型送信ストリームを受信し、受信した適応型送信ストリームに基づいて２次元映像を復号化して出力することができる。
【００３１】
このような流れにより、送信端末１１０は、送信ストリームを中継ノードＢに送信し、中継ノードＢは、第３受信端末の表示情報に基づいて第３受信端末が多視点映像の表示を支援することを識別し、送信ストリーム内の基礎ストリームのうちのＮ個の基礎ストリームに基づいて適応型送信ストリームを生成する。また、第３受信端末は、受信した適応型送信ストリームに基づいて多視点映像を復号化して出力することができる。このように、それぞれの受信端末が自身の表示環境に応じて基礎ストリームのうちの一部のみを受信することにより、ユーザの便宜性およびネットワーク環境の改善を促進することができる。
【００３２】
また、本発明の一実施形態によれば、送信ストリームおよび適応型送信ストリームは、送信端末１１０によって挿入された仮想現実のための３次元立体背景または拡張現実のための仮想オブジェクトを含むことができる。
【００３３】
また、本発明の一実施形態によれば、送信端末１１０は、メディアの入力を受ける入力部と、メディアから基礎ストリームを生成する符号化部と、基礎ストリームを多重化して送信ストリームを生成する多重化部と、受信端末のうちの第１受信端末と関連した中継ノードに前記送信ストリームを送信するインターフェースとを含む。
【００３４】
また、本発明の一実施形態によれば、第１受信端末１３０は、表示情報を中継ノードに送信し、中継ノードから適応型送信ストリームを受信するインターフェースと、適応型送信ストリームから適応型基礎ストリームを抽出する逆多重化部と、適応型基礎ストリームからメディアを復号化する復号化部と、前記メディアを出力する出力部とを含む。
【００３５】
また、このような送信端末１１０と受信端末は、テレビ会議中に双方向性によって可変的であってもよい。すなわち、第１受信端末１３０は、自身の映像を他の端末に送信するための送信端末となることもある。例えば、図１に示す送信端末１１０、第１受信端末１３０、第２受信端末、および第３受信端末は、送信側と受信側が固定されない双方向性コンテンツ送受信装置となることができる。したがって、図１に示す送信端末１１０、第１受信端末１３０、第２受信端末、および第３受信端末が多者間でテレビ会議を行う場合、送信端末１１０、第１受信端末１３０、第２受信端末、および第３受信端末それぞれは、送信ストリームを送信する送信端末として動作すると同時に、適応型送信ストリームを受信する受信端末として動作することもできる。
【００３６】
以下、図２〜図９を参照しながら、送信端末１１０、中継ノード１２０、および第１受信端末１３０の動作についてより具体的に説明する。
【００３７】
図２は、本発明の一実施形態に係る送信端末の構造を示すブロック図である。
【００３８】
図２に示すように、送信端末１１０は、入力部１１１と、符号化部１１２と、多重化部１１３と、インターフェース１１４とを含む。
【００３９】
入力部１１１は、メディアの入力を受ける。このとき、メディアは、少なくとも１つのカメラモジュールから入力を受けることができる。また、メディアは、テレビ会議およびセミナーのための２次元または３次元映像の入力とすることができる。さらに、メディアは、互いに異なる時点の映像を含むことができる。このとき、映像は、２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つとすることができる。例えば、メディアは、単一時点映像で構成された２次元映像、２つの時点の映像で構成されたステレオ映像、または３つ以上の時点の映像で構成された多視点映像とすることができる。
【００４０】
一方、入力部１１１は、メディアに仮想背景および仮想オブジェクトのうちの少なくとも１つを挿入することができる。例えば、入力部１１１は、メディアに仮想現実（ＶＲ：Virtual  Reality）のための３次元仮想背景を挿入することもできるし、メディアに拡張現実（ＡＲ：Augmented  Reality）のための仮想オブジェクトを挿入することもできる。これに対応し、受信端末は、送信端末１１０がメディアに仮想背景および仮想オブジェクトを挿入した場合、仮想背景および仮想オブジェクトのための応用プログラムを利用してテレビ会議中にリアルタイムで出力またはダウンロードして用いることができる。
【００４１】
符号化部１１２は、メディアから基礎ストリームを生成する。このとき、メディアは、互いに異なる時点の映像を含み、基礎ストリームは、映像から生成される。例えば、メディアは、第１時点映像〜第５時点映像を含み、基礎ストリームは、第１時点映像から符号化した第１基礎ストリーム〜第５時点映像から符号化した第５基礎ストリームを含む。このような流れにより、基礎ストリームは、ステレオ映像である左時点映像から符号化した第１基礎ストリームおよび右時点映像から符号化した第２基礎ストリームを含むことができる。
【００４２】
図３は、本発明の一実施形態に係るストリームを示すブロック図である。
【００４３】
図３を参照しながら説明すれば、フレーム単位を基準として、２次元映像３０１は１つの基礎ストリームであり、ステレオ映像３０２は左および右映像に対する２つの基礎ストリームであり、Ｎ個の時点を有する多視点映像３０３はＮ−１個のステレオペア（pair）に対するＮ個の基礎ストリームで構成することができる。このとき、図３に示すように、フィールド基盤の基礎ストリームは、フレーム基盤の基礎ストリームの２倍となる。
【００４４】
また、基礎ストリームは、メディアに復号化することができる。例えば、互いに異なる時点の第１基礎ストリーム〜第１０基礎ストリームが存在する場合、第１基礎ストリーム〜第１０基礎ストリームそれぞれは、第１の２次元映像〜第１０の２次元映像に復号化することができる。また、第１基礎ストリーム〜第１０基礎ストリームのうちの第３基礎ストリームおよび第７基礎ストリームは、ステレオ映像のうちの左時点映像および右時点映像にそれぞれ復号化することができる。また、第１基礎ストリーム〜第１０基礎ストリームは、多視点映像に復号化することができる。このとき、多視点映像は、３次元映像に変換することができる。
【００４５】
また、メディアは、１つのカメラモジュールから入力されたりまたは複数のカメラモジュールから入力され、符号化部１１２は、入力されたメディアを合成、編集、および符号化して基礎ストリームを生成することができる。また、本発明の一実施形態によれば、符号化部１１２は、受信端末の表示情報に基づいて基礎ストリームを生成する。このとき、表示情報は、受信端末の表示装置情報または表示設定情報とすることができる。
【００４６】
具体的に、符号化部１１２は、受信端末の表示情報に基づいて受信端末が出力可能な映像のフォーマット情報を取得し、これに基づいて基礎ストリームを生成することができる。例えば、受信端末に第１受信端末〜第３受信端末が含まれ、第１受信端末は単一時点を有する２次元映像フォーマットを支援し、第２受信端末は２つの時点を有するステレオ映像フォーマットを支援し、第３受信端末は１０個の時点を有する多視点映像フォーマットを支援する場合、符号化部１１２は、１０個の時点を有する映像から１０個の基礎ストリームを生成することができる。このとき、１０個の基礎ストリームはそれぞれ、単一時点の２次元映像、２つの時点のステレオ映像、または１０個時点の多視点映像それぞれに復号化することができる。また、表示情報は、周期的に、受信端末への要請に対応したりまたは受信端末内の特定イベント発生に対応して受信端末から受信することができる。
【００４７】
多重化部１１３は、基礎ストリームを多重化して送信ストリームを生成する。
【００４８】
一方、多重化部１１３は、基礎ストリームそれぞれに識別子を割り当てて、送信ストリームを生成する。このとき、識別子の一例としては、ＭＰＥＧ２−ＴＳシステムのＰＩＤ（Packet ID）、ＭＰＥＧ２  ＰＥＳ（Packetized Elementary Stream）のｓｔｒｅａｍ＿ｉｄ、ＭＰＥＧ４  ＥＳ＿ｄｅｓｃｒｉｐｔｏｒのｓｔｒｅａｍ＿ｔｙｐｅを含むことができる。
【００４９】
また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを互いに異なる送信パケットに多重化して送信ストリームを生成する。また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを単一送信パケットに多重化して送信ストリームを生成することもできる。
【００５０】
図４は、本発明の一実施形態に係る送信ストリームの構造を示すブロック図である。
【００５１】
図４を参照すれば、多重化部１１３は、図面符号４０１のように、基礎ストリームそれぞれを互いに異なる送信パケットに多重化して送信ストリームを生成したり、または図面符号４０２のように、基礎ストリームを単一送信パケットに多重化して送信ストリームを生成することができる。このとき、図面符号４０１のそれぞれの送信パケットは、それぞれの基礎ストリームを含み、それぞれの送信パケットは、固有の送信階層ヘッダーを含むことができる。また、図面符号４０２の送信パケットは、複数の基礎ストリームをすべて含んでおり、基礎ストリームは、それぞれ固有のメディア階層ヘッダーを含むことができる。
【００５２】
インターフェース１１４は、受信端末のうちの第１受信端末１３０と関連した中継ノード１２０に送信ストリームを送信する。このとき、中継ノード１２０は、第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。具体的に、中継ノード１２０は、送信ストリームから基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成することができる。このとき、中継ノード１２０は、識別子を用いて基礎ストリームを識別して、適応型送信ストリームを生成することができる。
【００５３】
例えば、インターフェース１１４は、１０個の時点の映像から生成された第１基礎ストリーム〜第１０基礎ストリームから多重化した送信ストリームを中継ノード１２０に送信する。このとき、中継ノード１２０は、識別子を介して送信ストリームから第１基礎ストリーム〜第１０基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて第１基礎ストリーム〜第１０基礎ストリームのうちのいずれか１つの基礎ストリームのみを含む適応型送信ストリームを生成して第１受信端末１３０に送信することができる。すなわち、中継ノード１２０は、第１受信端末１３０に最適化した適応型送信ストリームを送信ストリームから生成することができる。また、このような適応型送信ストリームは、周期的または適応的に生成されて第１受信端末１３０に送信されることができる。
【００５４】
このような流れにより、中継ノード１２０は、第１基礎ストリーム〜第１０基礎ストリームのうちのいずれか２つの基礎ストリームのみが含まれた適応型送信ストリーム、または第１基礎ストリーム〜第１０基礎ストリームすべてが含まれた適応型送信ストリームを生成することができる。このとき、第１受信端末１３０は、第１基礎ストリーム〜第１０基礎ストリームのうちのいずれか２つの基礎ストリームのみが含まれた適応型送信ストリームを受信する場合、適応型送信ストリームを用いてステレオ映像を復号化することができる。また、第１受信端末１３０は、第１基礎ストリーム〜第１０基礎ストリームすべてが含まれた適応型送信ストリームを受信する場合、適応型送信ストリームを用いて多視点映像を復号化することができる。また、適応型送信ストリームは、２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことができる。
【００５５】
図３を参照して補えば、中継ノード１２０は、２次元映像表示装置を備えた受信端末には図面符号３０１に示す単一基礎ストリームを、ステレオ映像表示装置を備えた受信端末には図面符号３０２に示す２つの基礎ストリームを、多視点映像表示装置を備えた受信端末には図面符号３０３に示すＮ個の基礎ストリームを送信することができる。このとき、単一基礎ストリーム、２つの基礎ストリーム、およびＮ個の基礎ストリームは、フレーム基盤の基礎ストリームである。また、図面符号３０１の単一基礎ストリームおよび図面符号３０２の２つの基礎ストリームは、図面符号３０３のＮ個の基礎ストリームのうちの一部とすることができる。
【００５６】
一方、中継ノード１２０は、識別子分析に基づいて送信ストリームから基礎ストリームを識別することができる。このとき、識別子分析の一例としては、送信階層ヘッダーに記録された識別子の分析、またはメディア階層ヘッダーに記録された識別子の分析を含むことができる。また、送信階層ヘッダーを介した識別子分析の一例としては、ＭＰＥＧ２−ＴＳシステムにおけるＰＩＤを含むことができ、メディア階層ヘッダーを介した識別子分析の一例としては、ＭＰＥＧ２ＰＥＳにおけるｓｔｒｅａｍ＿ｉｄ、ＭＰＥＧ４におけるｓｔｒｅａｍ＿ｔｙｐｅを含むことができる。
【００５７】
また、中継ノード１２０は、ストリームの中継および送信のためのノードであり、自身と関連した受信端末とメッセージ交換を実行し、他のノードとのメディア送信およびメッセージ交換を実行することができる。また、インターフェース１１４は、送信端末１１０内の表示デバイスから表示装置情報を得ることができる。また、インターフェース１１４は、ネットワークを介して受信端末および中継ノード１２０と連動して、送信ストリームおよび表示情報を送受信することができる。
【００５８】
一方、中継ノード１２０は、周期的に、第１受信端末への要請に対応したりまたは第１受信端末内の特定イベント発生に対応して第１受信端末から表示情報を受信することができる。また、表示情報は、表示装置情報および表示設定情報を含むことができる。これにより、中継ノード１２０は、第１受信端末１３０から受信した表示装置情報に基づいて第１受信端末１３０が支援する基礎ストリームを分析し、送信ストリームから適応型送信ストリームを生成することができる。また、中継ノード１２０は、表示設定情報に基づいて適応型送信ストリームを生成することができる。このとき、表示設定情報は、第１受信端末１３０の表示出力と関連した設定情報である。すなわち、表示情報は、第１受信端末内の表示出力モードに応じて決定することができる。例えば、第１受信端末１３０が２次元映像、ステレオ映像、多視点映像すべての処理が可能であり、ユーザから２次元映像出力の選択が入力された場合、第１受信端末１３０は、表示設定情報が中継ノード１２０に１つの時点の映像から生成された基礎ストリームを要請することができる。
【００５９】
また、表示設定情報は、基礎ストリームのうちの第１時点の基礎ストリームに関する選択情報を含むことができる。また、このような表示設定情報は、第１受信端末１３０のユーザから入力された時点転換命令に応じて決定することができる。また、表示設定情報は、第１受信端末１３０のインターフェース応用プログラムによって決定することができる。
【００６０】
図５は、本発明の一実施形態による受信端末のユーザインターフェース応用プログラムを示す図である。
【００６１】
図５に示すように、ユーザインターフェース（ＵＩ：User Interface）応用プログラムの出力画面は、画面５０１または画面５０２のように構成することができる。このとき、メイン画面は、セミナー司会者のためのウィンドウ（窓）であり、サブ画面は、参加者のためのウィンドウである。プレビューは、現在プログラムユーザが本人のカメラ入力および仮想オブジェクトまたは仮想背景の合成映像を予め確認するためのものである。また、ユーザインターフェース応用プログラムは、メイン画面とサブ画面、プレビューウィンドウがすべて存在する画面では２次元または３次元映像が混在する可能性が高いため、このような画面ＵＩでは２次元画面のみが表示されるように表示設定情報を決定することができる。一方、３次元送信画面を見るためには、メイン画面およびサブ画面のいずれか１つのウィンドウが全体画面として拡張する。このとき、ユーザは、リモコンの２次元または３次元画面転換ボタンを用いたり、マウスクリックなどを用いることができる。第１受信端末１３０と中継ノード１２０のメッセージ通信において、このような第１受信端末１３０の現在ウィンドウ状態が表示設定情報として伝達され、中継ノード１２０は、第１受信端末１３０のＵＩ状態に応じて２次元または３次元コンテンツを送信することができる。
【００６２】
一方、本発明の一実施形態によれば、インターフェース１１４は、受信端末のうちの第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。具体的に、インターフェース１１４は、第１受信端末１３０の表示情報に基づいて送信ストリームから適応型送信ストリームを生成し、適応型送信ストリームを第１受信端末１３０に送信する。また、インターフェース１１４は、送信ストリームから識別子を分析し、識別子を用いて適応型送信ストリームを生成することができる。言い換えれば、インターフェース１１４は、上述した中継ノード１２０の機能を実行することができる。このように、本発明の一実施形態に係る中継ノード１２０は、インターフェース１１４に含まれてインターフェース１１４の機能に統合されたり、ネットワーク上でＰ２Ｐに連結した個人パソコンまたはサーバのような端末となることができる。
【００６３】
図６は、本発明の一実施形態に係る中継ノードの構造を示すブロック図である。
【００６４】
図６に示すように、中継ノード１２０は、情報受信部１２１と、ストリーム受信部１２２と、ストリーム処理部１２３と、ストリーム送信部１２４とを含む。
【００６５】
情報受信部１２１は、受信端末のうちの第１受信端末１３０から表示情報を受信する。
【００６６】
ストリーム受信部１２２は、送信端末１１０から基礎ストリームを含む送信ストリームを受信する。
【００６７】
ストリーム処理部１２３は、表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。
【００６８】
具体的に、ストリーム処理部１２３は、送信ストリームから基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成することができる。このとき、適応型送信ストリームは、２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことができる。
【００６９】
ストリーム送信部１２４は、適応型送信ストリームを第１受信端末１３０に送信する。
【００７０】
また、このような図６の中継ノード１２０について説明していない事項は、図１〜図５を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
【００７１】
図７は、本発明の一実施形態に係る受信端末の構造を示すブロック図である。特に、このような受信端末は、第１受信端末１３０とすることができる。
【００７２】
図７に示すように、第１受信端末１３０は、インターフェース１３１と、逆多重化部１３２と、復号化部１３３と、出力部１３４とを含む。
【００７３】
本発明の一実施形態によれば、インターフェース１３１は、表示情報を中継ノード１２０に送信し、中継ノード１２０から適応型送信ストリームを受信する。また、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。また、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。また、出力部１３４は、メディアを出力する。このとき、中継ノード１２０は、送信端末から基礎ストリームを含む送信ストリームを受信し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。
【００７４】
また、送信端末１１０は、メディアの入力を受け、メディアから基礎ストリームを生成し、基礎ストリームを多重化して送信ストリームを生成し、受信端末のうちの第１受信端末１３０と関連した中継ノード１２０に送信ストリームを送信する。
【００７５】
また、本発明の一実施形態によれば、インターフェース１３１は、表示情報を送信端末１１０に送信し、送信端末１１０から適応型送信ストリームを受信する。また、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。また、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。また、出力部１３４は、メディアを出力する。このとき、送信端末１１０は、基礎ストリームを含む送信ストリームを生成し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。また、送信端末１１０は、メディアの入力を受け、メディアから基礎ストリームを生成する。
【００７６】
また、このような図７の受信端末１３０について説明していない事項は、図１〜図６を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
【００７７】
図８は、本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。
【００７８】
図８に示すように、ストリーム処理方法は、ステップＳ８０１〜Ｓ８０４で実行される。このとき、ステップＳ８０１は入力部１１１、ステップＳ８０２は符号化部１１２、ステップＳ８０３は多重化部１１３、ステップＳ８０４はインターフェース１１４それぞれによって実行することができる。
【００７９】
ステップＳ８０１において、入力部１１１は、メディアの入力を受ける。このとき、メディアは、互いに異なる時点の映像を含むことができる。また、映像は、２次元映像、ステレオ映像、および多視点映像のうちのいずれか１つとすることができる。
【００８０】
また、入力部１１１は、メディアに仮想オブジェクトおよび仮想背景のうちの少なくとも１つを挿入することができる。
【００８１】
ステップＳ８０２において、符号化部１１２は、メディアから基礎ストリームを生成する。このとき、メディアは、映像を含むことができ、基礎ストリームは、映像から生成することができる。また、符号化部１１２は、受信端末の表示情報に基づいて基礎ストリームを生成することができる。
【００８２】
ステップＳ８０３において、多重化部１１３は、基礎ストリームを多重化して送信ストリームを生成する。このとき、多重化部１１３は、基礎ストリームそれぞれに識別子を割り当てて、送信ストリームを生成することができる。
【００８３】
また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを互いに異なる送信パケットに多重化して送信ストリームを生成する。また、本発明の一実施形態によれば、多重化部１１３は、基礎ストリームを単一送信パケットに多重化して送信ストリームを生成することもできる。
【００８４】
ステップＳ８０４において、インターフェース１１４は、受信端末のうちの第１受信端末１３０と関連した中継ノードに送信ストリームを送信する。
【００８５】
このとき、中継ノード１２０は、第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。具体的に、中継ノード１２０は、送信ストリームから基礎ストリームを識別し、第１受信端末１３０の表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成することができる。このとき、中継ノード１２０は、識別子を用いて適応型送信ストリームを生成することができる。
【００８６】
また、適応型送信ストリームは、２次元映像から生成された基礎ストリーム、ステレオ映像から生成された基礎ストリーム、および多視点映像から生成された基礎ストリームのうちの少なくとも１つを含むことができる。
【００８７】
一方、中継ノード１２０は、周期的に、第１受信端末への要請に対応したりまたは第１受信端末内の特定イベント発生に対応して第１受信端末から表示情報を受信することができる。また、表示情報は、表示装置情報および表示設定情報を含むことができる。また、表示情報は、第１受信端末内の表示出力モードに応じて決定することができる。
【００８８】
また、本発明の一実施形態によれば、ステップＳ８０４において、インターフェース１１４は、受信端末のうちの第１受信端末１３０の表示情報に基づいて送信ストリームから基礎ストリームのうちの少なくとも１つを含む適応型送信ストリームを生成する。
【００８９】
また、このようステップＳ８０１〜Ｓ８０４について説明していない事項は、図１〜図７を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
【００９０】
図９は、本発明の一実施形態に係るストリーム処理方法を示すフローチャートである。
【００９１】
図９に示すように、ストリーム処理方法は、ステップＳ９０１〜Ｓ９０４で実行される。このとき、ステップＳ９０１はインターフェース１３１、ステップＳ９０２は逆多重化部１３２、ステップＳ９０３は復号化部１３３、ステップＳ９０４は出力部１３４それぞれによって実行することができる。
【００９２】
本発明の一実施形態によれば、ステップＳ９０１において、インターフェース１３１は、表示情報を中継ノード１２０に送信し、中継ノード１２０から適応型送信ストリームを受信する。次に、ステップＳ９０２において、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。次に、ステップＳ９０３において、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。次に、ステップＳ９０４において、出力部１３４は、メディアを出力する。このとき、中継ノード１２０は、送信端末から基礎ストリームを含む送信ストリームを受信し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。
【００９３】
また、本発明の一実施形態によれば、ステップＳ９０１において、インターフェース１３１は、表示情報を送信端末１１０に送信し、送信端末１１０から適応型送信ストリームを受信する。次に、ステップＳ９０２において、逆多重化部１３２は、適応型送信ストリームから適応型基礎ストリームを抽出する。次に、ステップＳ９０３において、復号化部１３３は、適応型基礎ストリームからメディアを復号化する。次に、ステップＳ９０４において、出力部１３４は、メディアを出力する。このとき、送信端末１１０は、基礎ストリームを含む送信ストリームを生成し、表示情報に基づいて基礎ストリームのうちから少なくとも１つの適応型基礎ストリームを選択し、適応型基礎ストリームを用いて適応型送信ストリームを生成する。
【００９４】
また、このようなステップＳ９０１〜Ｓ９０４について説明していない事項は、図１〜図８を参照しながら上述した内容と同一するか、あるいは説明した内容から当業者によって容易に類推できるものであるため、以下では説明を省略する。
【００９５】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【００９６】
１１０：送信端末
１２０：中継ノード
１３０：受信端末
１１３：多重化部
【図１】
2011087268.tif 000003
【図２】
2011087268.tif 000004
【図３】
2011087268.tif 000005
【図４】
2011087268.tif 000006
【図５】
2011087268.tif 000007
【図６】
2011087268.tif 000008
【図７】
2011087268.tif 000009
【図８】
2011087268.tif 000010
【図９】
2011087268.tif 000011