(57)【要約】【課題】スケーラブル符号化を用い、通信ネットワークの状況に応じたコンテンツの品質の変動を低減すること。【解決手段】スケーラブル符号化を用いて符号化されたコンテンツデータを他の通信装置に送信する通信装置が、前記他の通信装置の通信環境を示す環境情報を取得する取得部と、前記環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する決定部と、前記決定したレイヤ数で、コンテンツデータを符号化する符号化部と、前記符号化されたコンテンツデータを送信する送信部と、を備える。【選択図】図７
2018011169.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブル符号化を用いて符号化されたコンテンツデータを他の通信装置に送信する通信装置であって、
前記他の通信装置の通信環境を示す環境情報を取得する取得部と、
前記環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する決定部と、
前記決定したレイヤ数で、コンテンツデータを符号化する符号化部と、
前記符号化されたコンテンツデータを送信する送信部と、
を備えることを特徴とする通信装置。
【請求項２】
前記スケーラブル符号化はＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）であり、
前記コンテンツデータは映像である
ことを特徴とする請求項１記載の通信装置。
【請求項３】
前記環境情報は、受信帯域、パケットロス率、通信網との間の接続方法、またはコンテンツデータを受信するプロトコルの情報を含む
ことを特徴とする請求項１または２記載の通信装置。
【請求項４】
前記取得部は、前記通信装置の通信環境を示す送信側環境情報を取得し、
前記決定部は、前記環境情報、及び送信側環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する
ことを特徴とする請求項１乃至３のいずれか一項に記載の通信装置。
【請求項５】
前記送信側環境情報は、送信帯域、通信網との間の接続方法、またはコンテンツデータを送信するプロトコルの情報を含む
ことを特徴とする請求項４記載の通信装置。
【請求項６】
第１の通信装置、第２の通信装置、及び中継サーバを含む通信システムであって、
前記第１の通信装置は、
前記第２の通信装置の通信環境を示す環境情報を取得する取得部と、
前記環境情報に基づいて、スケーラブル符号化のレイヤ数を決定する決定部と、
前記決定したレイヤ数で、スケーラブル符号化を用いてコンテンツデータを符号化する符号化部と、
前記符号化されたコンテンツデータを送信する送信部と、
を備え、
前記第２の通信装置は、
前記環境情報を、前記第１の通信装置に通知する通知部と、
前記符号化されたコンテンツデータを受信する受信部と、
を備え、
前記中継サーバは、
前記符号化されたコンテンツデータの各レイヤに応じて、前記第２の通信装置への中継処理を制御する
ことを特徴とする通信システム。
【請求項７】
コンピュータが、
他の通信装置の通信環境を示す環境情報を取得するステップと、
前記環境情報に基づいて、スケーラブル符号化のレイヤ数を決定するステップと、
前記決定したレイヤ数で、スケーラブル符号化を用いてコンテンツデータを符号化するステップと、
前記符号化されたコンテンツデータを送信するステップと、
を実行することを特徴とする通信方法。
【請求項８】
コンピュータに、
他の通信装置の通信環境を示す環境情報を取得するステップと、
前記環境情報に基づいて、スケーラブル符号化のレイヤ数を決定するステップと、
前記決定したレイヤ数で、スケーラブル符号化を用いてコンテンツデータを符号化するステップと、
前記符号化されたコンテンツデータを送信するステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信装置、通信システム、通信方法およびプログラムに関する。
【背景技術】
【０００２】
インターネット等の通信ネットワークを介して遠隔地との間で、テレビ会議（ビデオ会議）を行う会議システムが普及している。
【０００３】
インターネット等の通信ネットワークを介してテレビ会議を行う場合、テレビ会議における映像や音声等のコンテンツの品質が、通信ネットワークの状況に応じて変動する場合がある。
【０００４】
特許文献１には、送信側からデータを受信中の受信側の通信環境が変更されると、変更された通信環境を示す情報を送信側に伝送し、送信側から、当該通信環境に応じたデータ伝送速度でデータを受信する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の技術では、送信側で、複数のストリームを生成する階層符号化を行い、受信側では受信するストリーム数に応じ異なる品質のコンテンツを再現するＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）等のスケーラブル符号化における課題については考慮されていない。
【０００６】
そこで、スケーラブル符号化を用い、通信ネットワークの状況に応じたコンテンツの品質の変動を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
スケーラブル符号化を用いて符号化されたコンテンツデータを他の通信装置に送信する通信装置が、前記他の通信装置の通信環境を示す環境情報を取得する取得部と、前記環境情報に基づいて、前記スケーラブル符号化のレイヤ数を決定する決定部と、前記決定したレイヤ数で、コンテンツデータを符号化する符号化部と、前記符号化されたコンテンツデータを送信する送信部と、を備える。
【発明の効果】
【０００８】
開示の技術によれば、スケーラブル符号化を用い、通信ネットワークの状況に応じたコンテンツの品質の変動を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態のテレビ会議システムの概略構成図である。
【図２】実施形態のテレビ会議システムにおける通信の概要を示す概念図である。
【図３】映像データの符号化の方式を説明する図である。
【図４】端末のハードウェア構成の一例を示すブロック図である。
【図５】中継サーバのハードウェア構成の一例を示すブロック図である。
【図６】端末の機能的な構成の一例を示すブロック図である。
【図７】テレビ会議システムの処理の一例を示すシーケンス図である。
【図８】環境情報の一例を示す図である。
【図９】送信側環境情報の一例を示す図である。
【図１０】符号化の設定を決定する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明に係る通信装置、通信システム、通信方法およびプログラムの実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、複数のテレビ会議端末（「通信装置」に相当）間で映像データおよび音声データを送受信して複数拠点での遠隔会議を実現するテレビ会議システム（「ビデオ会議システム」ともいう。）を例示する。このテレビ会議システムでは、一のテレビ会議端末で撮像された映像データを、スケーラブル映像符号化（ＳＶＣ,Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）（「スケーラブル符号化」の一例）を用いて符号化（以下で適宜「スケーラブルに符号化」とも称する）する。そして他のテレビ会議端末に送信し、他のテレビ会議端末にてこの符号化データを復号して再生出力する。ただし、本発明が適用可能な通信システムはこの例に限らない。本発明は、複数の通信装置の間でスケーラブルに符号化された符号化データを送受信する各種の通信システム、および、この通信システムで用いられる各種の通信端末に対して、広く適用可能である。
【００１１】
図１は、本実施形態のテレビ会議システム１の概略構成図であり、図２は、本実施形態のテレビ会議システム１における通信の概要を示す概念図である。また、図３は、本実施形態における映像データの符号化の方式を説明する概念図である。
【００１２】
本実施形態のテレビ会議システム１は、図１に示すように、各拠点に設置された複数のテレビ会議端末（以下、単に「端末」という。）１０およびディスプレイ１１と、複数の中継サーバ３０と、管理サーバ４０と、プログラム提供サーバ５０と、メンテナンスサーバ６０と、を備える。
【００１３】
ディスプレイ１１は、有線または無線により端末１０に接続されている。なお、ディスプレイ１１は、端末１０と一体化された構成であってもよい。
【００１４】
端末１０および中継サーバ３０は、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）のノードとしてルータに接続される。ルータは、データ伝送の経路選択を行うネットワーク機器であり、図１に示す例では、ＬＡＮ２ａ内のルータ７０ａと、ＬＡＮ２ｂ内のルータ７０ｂと、ＬＡＮ２ｃ内のルータ７０ｃと、ＬＡＮ２ｄ内のルータ７０ｄと、ルータ７０ａおよびルータ７０ｂと専用回線２ｅで接続されてインターネット２ｉに繋がるルータ７０ｅと、ルータ７０ｃおよびルータ７０ｄと専用回線２ｆで接続されてインターネット２ｉに繋がるルータ７０ｆとを例示している。
【００１５】
なお、ＬＡＮ２ａおよびＬＡＮ２ｂは地域Ｘ内の別の場所に構築され、ＬＡＮ２ｃおよびＬＡＮ２ｄは地域Ｙ内の別の場所に構築されていることを想定している。例えば、地域Ｘは日本、地域Ｙはアメリカ合衆国であり、ＬＡＮ２ａは東京の事業所内で構築され、ＬＡＮ２ｂは大阪の事業所内で構築され、ＬＡＮ２ｃはニューヨークの事業所内で構築され、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用回線２ｅ、インターネット２ｉ、専用回線２ｆ、ＬＡＮ２ｃ、およびＬＡＮ２ｄによって、通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。
【００１６】
本実施形態のテレビ会議システム１では、複数の端末１０間で中継サーバ３０を介した映像データおよび音声データの送受信を行う。この際、図２に示すように、複数の端末１０間には、管理サーバ４０を介して、各種の管理情報を送受信するための管理情報用セッションＳｅｉが確立される。また、複数の端末１０間には、中継サーバ３０を介して、映像データおよび音声データの送受信を行うためのデータ用セッションＳｅｄが確立される。ここで、特に、データ用セッションＳｅｄで送受信される映像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネル（レイヤ）で送受信される。
【００１７】
映像データをスケーラブルに符号化する標準の符号化フォーマットとして、例えば、Ｈ．２６４／ＳＶＣ（Ｈ．２６４／ＡＶＣ  Ａｎｎｅｘ  Ｇ）符号化フォーマットが知られている。Ｈ．２６４／ＳＶＣ符号化フォーマットでは、映像データを階層構造のデータに変換し、品質が異なる複数の映像データの集合として符号化して、それぞれの品質の映像データに対応する符号化データを複数のチャンネルで送受信することができる。本実施形態では、このＨ．２６４／ＳＶＣ符号化フォーマットを利用して映像データを符号化した符号化データを、複数の端末１０間で送受信するものとする。
【００１８】
図３は、映像データの符号化の方式を説明する図である。本実施形態のテレビ会議システム１では、レイヤ数が３と決定された場合、例えば図３（Ａ）に示すように、映像データをベースレイヤと拡張レイヤ（下層／上層）を持つ階層構造のデータに変換する。そして、ベースレイヤのみの映像データを低品質の映像データとし、ベースレイヤと下層の拡張レイヤとからなる映像データを中品質の映像データとし、ベースレイヤと下層の拡張レイヤと上層の拡張レイヤとからなる映像データを高品質の映像データとする。そして、それぞれの品質の映像データを符号化して３つのチャンネルで伝送する。
【００１９】
レイヤ数が２と決定された場合、例えば図３（Ｂ）に示すように、映像データをベースレイヤと拡張レイヤを持つ階層構造のデータに変換する。そして、ベースレイヤのみの映像データを低品質の映像データとし、ベースレイヤと拡張レイヤとからなる映像データを高品質の映像データとする。そして、それぞれの品質の映像データを符号化して２つのチャンネルで伝送する。
【００２０】
レイヤ数が１と決定された場合、例えば図３（Ｃ）に示すように、映像データをベースレイヤのみのデータに変換する。そして、ベースレイヤのみの映像データを高品質の映像データとし、符号化して１つのチャンネルで伝送する。
【００２１】
図３（Ａ）に示すように、３つのチャンネルで伝送する場合、受信側の通信環境の変動が比較的大きい場合でも、少なくともベースレイヤの低品質の映像データは受信し再生できる。
【００２２】
図３（Ｃ）に示すように、１つのチャンネルで伝送する場合、受信側の通信環境の変動が比較的少ない場合であれば、図３（Ａ）に示すように３つのチャンネルで伝送する場合と比較して、より高品質の画像を受信させることができる。これは、映像データを、ベースレイヤと下層の拡張レイヤと上層の拡張レイヤのように、複数のレイヤにスケーラブルに符号化した場合、オーバヘッドが生じるためである。
【００２３】
したがって、スケーラブルに符号化するレイヤの数を多くするほど、通信環境の変動により対応できるようになるものの、全てのレイヤのデータに基づいて復号化した際の映像データの品質は低下する。
【００２４】
中継サーバ３０は、複数の端末１０間における映像データおよび音声データの伝送を中継するコンピュータである。中継サーバ３０が中継する映像データは、上述したように、例えば上述のＨ．２６４／ＳＶＣ符号化フォーマットでスケーラブルに符号化された符号化データである。中継サーバ３０は、映像データの送信側の端末１０から、スケーラブルに符号化されたすべての品質の符号化データを複数チャンネルで受信し、受信側の端末１０のネットワーク状況や映像の表示解像度などに応じて、必要な品質に対応するチャンネルを選択してそのチャンネルの符号化データのみを受信側の端末１０に送信する。
【００２５】
管理サーバ４０は、本実施形態のテレビ会議システム１の全体を管理するコンピュータである。例えば、管理サーバ４０は、登録された各端末１０の状態管理、中継サーバ３０の状態管理、端末１０を使用するユーザのログイン管理、複数の端末１０間で確立されたデータ用セッションＳｅｄの管理などを行う。
【００２６】
プログラム提供サーバ５０は、各種のプログラムを端末１０、中継サーバ３０、管理サーバ４０、メンテナンスサーバ６０などに提供するコンピュータである。
【００２７】
メンテナンスサーバ６０は、端末１０、中継サーバ３０、管理サーバ４０、およびプログラム提供サーバ５０のうちの少なくとも１つの維持、管理、または保守を行うためのコンピュータである。
【００２８】
次に、本実施形態のテレビ会議システム１における端末１０、中継サーバ３０、管理サーバ４０、プログラム提供サーバ５０、およびメンテナンスサーバ６０のハードウェア構成について説明する。図４は、端末１０のハードウェア構成の一例を示し、図５は、中継サーバ３０のハードウェア構成の一例を示している。なお、管理サーバ４０、プログラム提供サーバ５０、およびメンテナンスサーバ６０は、中継サーバ３０と同様のハードウェア構成を採用できるため、図示を省略する。
【００２９】
端末１０は、図４に示すように、端末１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ  Ｐｒｏｇｒａｍ  Ｌｏａｄｅｒ）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７、通信相手となる他の端末１０を選択する場合などに操作される操作ボタン１０８、端末１０の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。
【００３０】
また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従ってディスプレイ１１に表示映像のデータを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００３１】
なお、カメラ１１２、マイク１１４、スピーカ１１５は、必ずしも端末１０に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ１１は、端末１０に内蔵された構成であってもよい。また、ディスプレイ１１は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図４に示す端末１０のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。
【００３２】
上述したプログラム提供サーバ５０から提供される端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）等を用いてもよい。また、端末用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア１０６等の記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ＲＯＭ１０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
【００３３】
中継サーバ３０は、図５に示すように、中継サーバ３０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継サーバ用プログラム等の各種データを記憶するＨＤ（Ｈａｒｄ  Ｄｉｓｋ）２０４、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しまたは書き込みを制御するＨＤＤ（ＨＤ  Ｄｒｉｖｅ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１３に対する各種データの読み出しまたは書き込みを制御するＣＤ−ＲＯＭドライブ２１４、および上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。
【００３４】
上述したプログラム提供サーバ５０から提供される中継サーバ用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、中継サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、中継サーバ用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
【００３５】
管理サーバ４０は、図５に示した中継サーバ３０と同様のハードウェア構成を採用できる。ただし、ＨＤ２０４には、プログラム提供サーバ５０から提供される管理サーバ用プログラムが記録されている。この場合も、管理サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理サーバ用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
【００３６】
なお、着脱可能な記録媒体の他の例としては、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体が挙げられる。上述した各種のプログラムは、これらの記録媒体に記録されて提供されるようにしてもよい。
【００３７】
次に、端末１０の機能構成について説明する。図６は、端末１０の機能的な構成の一例を示すブロック図である。端末１０は、図６に示すように、送受信部１２、操作入力受付部１３、撮像部１４、音声入力部１５、音声出力部１６、符号化部１７、復号化部１８、表示映像生成部１９、表示制御部２０、記憶・読出処理部２１、揮発性記憶部２２、不揮発性記憶部２３、取得部２４、決定部２６、及び通知部２７を備える。
【００３８】
送受信部１２は、通信ネットワーク２を介して、他の端末１０、中継サーバ３０、管理サーバ４０等との間で各種データ（または情報）の送受信を行う。送受信部１２は、例えば、図４に示したネットワークＩ／Ｆ１１１およびＣＰＵ１０１によって実現される。
【００３９】
操作入力受付部１３は、端末１０を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部１３は、例えば、図４に示した操作ボタン１０８、電源スイッチ１０９、およびＣＰＵ１０１によって実現される。
【００４０】
撮像部１４は、端末１０が設置されている拠点の映像を撮影して映像データを出力する。撮像部１４は、例えば、図４に示したカメラ１１２、撮像素子Ｉ／Ｆ１１３、およびＣＰＵ１０１によって実現される。
【００４１】
音声入力部１５は、端末１０が設置されている拠点の音声を入力して音声データを出力する。音声入力部１５は、例えば、図４に示したマイク１１４、音声入出力Ｉ／Ｆ１１６、およびＣＰＵ１０１によって実現される。
【００４２】
音声出力部１６は、音声データを再生出力する。音声出力部１６は、例えば、図４に示したスピーカ１１５、音声入出力Ｉ／Ｆ１１６、およびＣＰＵ１０１によって実現される。
【００４３】
符号化部１７は、撮像部１４から出力される映像データや、音声入力部１５から出力される音声データを符号化して、符号化データを生成する。符号化部１７は、特に映像データの符号化については、Ｈ．２６４／ＳＶＣ符号化フォーマットに従って映像データをスケーラブルに符号化する。また、符号化部１７は、映像データをスケーラブルに符号化する際の設定（例えば、符号化するデータのレイヤ構成の設定）を、後述の決定部２６からの設定信号に応じて変更可能に構成されている。符号化部１７は、例えば、図４に示したＣＰＵ１０１が、上述した端末用プログラムに含まれる符号化／復号化プログラム（映像・音声コーデック）を実行することにより実現される。
【００４４】
復号化部１８は、他の端末１０から中継サーバ３０を介して送信された符号化データを復号し、符号化前の映像データや音声データを出力する。復号化部１８は、例えば、図４に示したＣＰＵ１０１が上述した端末用プログラムに含まれる符号化／復号化プログラム（映像・音声コーデック）を実行することにより実現される。
【００４５】
表示映像生成部１９は、復号化部１８で復号された映像データを用いて、ディスプレイ１１に表示させる（再生出力する）表示映像を生成する。例えば、表示映像生成部１９は、復号化部１８で復号された映像データが複数の拠点の複数の端末１０から送信された映像データを含む場合、予め定められたレイアウトの設定、あるいはユーザにより指定されたレイアウトの設定に従って、それぞれの映像データを１画面内に含む表示映像を生成する。
表示映像生成部１９は、例えば、図４に示したＣＰＵ１０１が、上述した端末用プログラムに含まれる表示映像生成プログラムを実行することにより実現される。
【００４６】
表示制御部２０は、表示映像生成部１９によって生成された表示映像をディスプレイ１１に表示させる（再生出力する）ための制御を行う。表示制御部２０は、例えば、図４に示したディスプレイＩ／Ｆ１１７およびＣＰＵ１０１によって実現される。
【００４７】
記憶・読出処理部２１は、揮発性記憶部２２や不揮発性記憶部２３に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部２１は、例えば、図４に示したＳＳＤ１０５およびＣＰＵ１０１によって実現される。揮発性記憶部２２は、例えば、図４に示したＲＡＭ１０３によって実現される。不揮発性記憶部２３は、例えば、図４に示したフラッシュメモリ１０４によって実現される。
【００４８】
取得部２５は、端末１０、及び他の端末１０での受信に係る通信環境を示す環境情報１２１を取得する。また、取得部２５は、端末１０からの送信に係る通信環境を示す送信側環境情報１２２を取得する。
【００４９】
取得部２５は、例えば、図４に示したＣＰＵ１０１が、上述した端末用プログラムに含まれるプログラムを実行することにより実現される。
【００５０】
決定部２６は、取得部２５により取得された環境情報１２１、及び送信側環境情報１２２に基づいて、スケーラブル符号化のレイヤ数を決定する。
【００５１】
決定部２６は、例えば、図４に示したＣＰＵ１０１が、上述した端末用プログラムに含まれるプログラムを実行することにより実現される。
【００５２】
通知部２７は、端末１０の通信環境を示す環境情報１２１を、他の端末１０に通知する。
【００５３】
通知部２７は、例えば、図４に示したＣＰＵ１０１が、上述した端末用プログラムに含まれるプログラムを実行することにより実現される。
【００５４】
＜処理＞
次に、図７を参照し、テレビ会議システム１の処理について説明する。図７は、テレビ会議システム１の処理の一例を示すシーケンス図である。以下では、テレビ会議を行う２つの端末１０を、それぞれ端末１０Ａ、１０Ｂと称する。
【００５５】
ステップＳ１０１において、端末１０Ｂの取得部２５は、端末１０Ｂでの受信に係る通信環境を示す環境情報１２１を取得する。
【００５６】
図８は、環境情報１２１の一例を示す図である。環境情報１２１には、接続方法、通信プロトコル、受信帯域、及びパケットロス率の情報が含まれる。
【００５７】
接続方法は、現在接続している通信網が、有線か無線かを示す情報である。有線は、ルータなどの通信機器と端末１０Ｂがケーブルで接続している場合である。無線は、ルータなどの通信機器と端末Ｂが無線の電波を介して接続している場合である。通信状況の変動は、無線の場合の方が有線の場合の方よりも発生しやすい。
【００５８】
通信プロトコルは、コンテンツデータを受信する際のプロトコルを示す情報である。通信プロトコルには、例えばＵＤＰ(User Datagram Protocol)やＴＣＰ(Transmission Control Protocol)が含まれる。ＵＤＰ、通信の即時性を求める場合等に使用されるプロトコルであり、ＴＣＰは、通信の信頼性を求める場合等に使用されるプロトコルである。
【００５９】
テレビ会議において、映像等のコンテンツデータを送受信する場合、ＵＤＰが用いられる場合が多い。しかし、例えば、セキュリティ上の理由により、企業のネットワークにおいてＵＤＰの通信が許可されていない場合等は、ＴＣＰを用いる場合がある。この場合、パケットロスにより送信側から再送が発生すると、トラフィックが一層混雑する場合があるため、通信状況の変動は、ＴＣＰの方がＵＤＰよりも起きやすい。
【００６０】
受信帯域は、受信可能な帯域を示す情報である。受信帯域は、例えば、実際の通信結果における、映像、音声、データ等の各種別に応じた受信帯域の合計値である。または、受信帯域は、実際の通信結果における、映像の受信帯域でもよい。あるい、所定期間内の最大の通信速度を、受信帯域としてもよい。
【００６１】
パケットロス率は、例えば、実際の通信結果における、映像、音声、データ等のパケットに対する応答率に基づいて算出する。なお、パケットロス率は、公知の方法で算出してもよい。
【００６２】
続いて、端末１０Ｂの通知部２７は、端末１０Ｂの環境情報１２１を、端末１０Ａに通知する（ステップＳ１０２）。
【００６３】
続いて、端末１０Ａの取得部２５は、端末１０Ｂから受信した環境情報１２１を取得する（ステップＳ１０３）。
【００６４】
続いて、端末１０Ａの取得部２５は、端末１０Ａからの送信に係る通信環境を示す送信側環境情報１２２を取得する（ステップＳ１０４）。
【００６５】
図９は、送信側環境情報１２２の一例を示す図である。送信側環境情報１２２には、接続方法、通信プロトコル、及び送信帯域の情報が含まれる。
【００６６】
接続方法は、現在接続している通信網が、有線か無線かを示す情報である。有線は、ルータなどの通信機器と端末１０Ａがケーブルで接続している場合である。無線は、ルータなどの通信機器と端末１０Ａが無線の電波を介して接続している場合である。通信状況の変動は、無線の場合の方が有線の場合の方よりも発生しやすい。
【００６７】
通信プロトコルは、コンテンツデータを送信する際のプロトコルを示す情報である。通信プロトコルには、例えばＵＤＰ(User Datagram Protocol)やＴＣＰ(Transmission Control Protocol)が含まれる。ＵＤＰ、通信の即時性を求める場合等に使用されるプロトコルであり、ＴＣＰは、通信の信頼性を求める場合等に使用されるプロトコルである。
【００６８】
端末１０Ｂの環境情報１２１における通信プロトコルと、端末１０Ａの送信側環境情報１２２における通信プロトコルが異なる場合は、例えば中継サーバ３０等で通信プロトコルを変換している。
【００６９】
送信帯域は、送信可能な帯域を示す情報である。送信帯域は、例えば、実際の通信結果における、映像、音声、データ等の各種別に応じた送信帯域の合計値である。または、送信帯域は、実際の通信結果における、映像の送信帯域でもよい。あるいは、所定期間内の最大の通信速度を、送信帯域としてもよい。
【００７０】
端末１０Ｂの環境情報１２１における受信帯域と、端末１０Ａの送信側環境情報１２２における送信帯域が異なる場合は、例えば中継サーバ３０等が、受信側の端末１０に応じて、チャンネルの符号化データのみを受信側の端末１０に中継していることが考えられる。
【００７１】
続いて、端末１０Ａの決定部２６は、端末１０Ｂの環境情報１２１と、端末１０Ａの送信側環境情報１２２に基づき、符号化の設定を決定する（ステップＳ１０５）。
【００７２】
続いて、端末１０Ａの符号化部１７は、決定した符号化の設定により、映像を符号化する（ステップＳ１０６）。
【００７３】
続いて、端末１０Ａの送受信部１２は、符号化した映像を、中継サーバ３０を介して端末１０Ｂに送信する（ステップＳ１０７）。
【００７４】
続いて、端末１０Ｂの送受信部１２は、符号化された映像を受信する（ステップＳ１０８）。
【００７５】
なお、端末１０Ｂについても、端末１０Ａと同様の処理を行い、符号化の設定を決定してもよい。
【００７６】
≪符号化設定決定≫
次に、図１０を参照し、ステップＳ１０５の、符号化の設定を決定する処理について説明する。図１０は、符号化の設定を決定する処理の一例を示すフローチャートである。
【００７７】
なお、符号化の設定を決定する処理を行う際、ＳＶＣのレイヤ数は「１」に初期化されているものとする。
【００７８】
ステップＳ２０１において、端末１０Ａの決定部２６は、端末１０Ｂの環境情報１２１における受信帯域と、端末１０Ａの送信側環境情報１２２における送信帯域とで、どちらが小さいか判定する。
【００７９】
端末１０Ｂの環境情報１２１における受信帯域の方が小さい場合（ステップＳ２０１で「受信帯域」）、端末１０Ａの決定部２６は、送信ビットレートを当該受信帯域の値に設定し（ステップＳ２０２）、ステップＳ２０４の処理に進む。
【００８０】
端末１０Ａの送信側環境情報１２２における送信帯域の方が小さい場合（ステップＳ２０１で「送信帯域」）、端末１０Ａの決定部２６は、送信ビットレートを当該送信帯域の値に設定する（ステップＳ２０３）。
【００８１】
続いて、端末１０Ａの決定部２６は、端末１０Ｂの環境情報１２１におけるパケットロス率を判定する（ステップＳ２０４）。
【００８２】
当該パケットロス率が第１の閾値（例えば１％）未満の場合（ステップＳ２０４で「第１の閾値未満」）、ステップＳ２０７の処理に進む。
【００８３】
当該パケットロス率が第１の閾値以上かつ第１の閾値より大きい第２の閾値（例えば５％）未満の場合（ステップＳ２０４で「第１の閾値以上、第２の閾値未満」）、端末１０Ａの決定部２６は、ＳＶＣのレイヤ数を１つ増加させ（ステップＳ２０５）、ステップＳ２０７の処理に進む。
【００８４】
当該パケットロス率が第２の閾値以上の場合（ステップＳ２０４で「第２の閾値以上」）、端末１０Ａの決定部２６は、ＳＶＣのレイヤ数を２つ増加させる（ステップＳ２０６）。
【００８５】
続いて、端末１０Ａの決定部２６は、端末１０Ｂの環境情報１２１における接続方法、及び端末１０Ａの送信側環境情報１２２における接続方法の少なくとも一方が「無線」であるか判定する（ステップＳ２０７）。
【００８６】
接続方法の両方が「無線」でない場合（ステップＳ２０７でＮＯ）、ステップＳ２１０の処理に進む。
【００８７】
接続方法の少なくとも一方が「無線」である場合（ステップＳ２０７でＹＥＳ）、端末１０Ａの決定部２６は、ステップＳ２０３で設定したビットレートが、所定値（例えば１ＭＢｐｓ）以上であるか否か判定する（ステップＳ２０８）。
【００８８】
設定したビットレートが、所定値以上である場合（ステップＳ２０８でＹＥＳ）、ステップＳ２１０の処理に進む。
【００８９】
設定したビットレートが、所定値以上でない場合（ステップＳ２０８でＮＯ）、端末１０Ａの決定部２６は、ＳＶＣのレイヤ数を１つ増加させる（ステップＳ２０９）。これは、設定したビットレートが所定値以上でない場合、通信品質が高くないと推定できるためである。
【００９０】
続いて、端末１０Ａの決定部２６は、端末１０Ｂの環境情報１２１における通信プロトコル、及び端末１０Ａの送信側環境情報１２２における通信プロトコルの少なくとも一方が「ＴＣＰ」であるか判定する（ステップＳ２１０）。
【００９１】
通信プロトコルの両方が「ＴＣＰ」でない場合（ステップＳ２１０でＮＯ）、ステップＳ２１２の処理に進む。
【００９２】
通信プロトコルの少なくとも一方が「ＴＣＰ」である場合（ステップＳ２１０でＹＥＳ）、端末１０Ａの決定部２６は、ステップＳ２０３で設定したビットレートが、所定値（例えば１ＭＢｐｓ）以上であるか否か判定する（ステップＳ２１１）。
【００９３】
設定したビットレートが、所定値以上である場合（ステップＳ２１１でＹＥＳ）、ステップＳ２１３の処理に進む。
【００９４】
設定したビットレートが、所定値以上でない場合（ステップＳ２１１でＮＯ）、端末１０Ａの決定部２６は、ＳＶＣのレイヤ数を１つ増加させる（ステップＳ２１２）。
【００９５】
続いて、端末１０Ａの決定部２６は、ＳＶＣのレイヤ数が上限値（例えば３）よりも大きいか否かを判定する（ステップＳ２１３）。
【００９６】
ＳＶＣのレイヤ数が上限値よりも大きくない場合（ステップＳ２１３でＮＯ）、処理を終了する。
【００９７】
ＳＶＣのレイヤ数が上限値よりも大きい場合（ステップＳ２１３でＹＥＳ）、端末１０Ａの決定部２６は、ＳＶＣのレイヤ数に、上限値の値を設定し（ステップＳ２１４）、処理を終了する。
【００９８】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態のテレビ会議システム１によれば、受信側の端末１０が、通信環境を示す環境情報を、映像の送信元である送信側の端末１０に通知する。そして、送信側の端末１０は、受信側の端末１０から通知された環境情報に基づいて、受信側の端末１０に対して送信するスケーラブル符号化のレイヤ数を決定する。これにより、通信ネットワークの状況に応じたコンテンツの品質の変動を低減することができる。
【００９９】
以上、本発明の具体的な実施形態について説明したが、本発明は、上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態で説明したテレビ会議システム１や端末１０などの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。
【０１００】
例えば、上述した実施形態では、取得部２５や決定部２６を端末１０が備えているが、この取得部２５や決定部２６の機能の一部または全部を、例えば管理サーバ４０などの他の装置が備えるように構成してもよい。
【０１０１】
また、上述した実施形態では、映像データをスケーラブルに符号化して端末１０間で送受信するものとしているが、映像データとともに、あるいは映像データに代えて、音声データをスケーラブルに符号化して端末１０間で送受信するようにしてもよい。この場合、音声データの品質としては、例えば、音声におけるサンプリング周波数や、音声におけるビット長などが挙げられる。
【０１０２】
また、上述した実施形態では、本発明を適用した通信システムの一例としてテレビ会議システム１を例示したが、これに限られるものではない。本発明は、例えば、端末間で双方向に音声データを送受信するＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）電話等の電話システムや、管理センタの端末から自動車に搭載されたカーナビゲーション装置に対して地図データやルート情報などを配信するカーナビゲーションシステム等、各種の通信システムに対して有効に適用可能である。
【０１０３】
また、上述した実施形態では、本発明を適用した通信装置の一例としてテレビ会議端末（端末）１０を例示したが、これに限られるものではない。本発明は、各種データをスケーラブルに符号化して送信する機能と、スケーラブルに符号化された符号化データを復号して再生する機能とを有する通信装置であれば、例えばＰＣやタブレット端末、スマートフォン、電子黒板、自動車に搭載されるカーナビゲーション装置等の各種の通信装置に対して有効に適用可能である。
【符号の説明】
【０１０４】
１  テレビ会議システム（「通信システム」の一例）
１０  端末（「通信装置」の一例）
１２  送受信部（「送信部」、「受信部」の一例）
１２１  環境情報
１２２  送信側環境情報
１７  符号化部
２５  取得部
２６  決定部
２７  通知部
３０  中継サーバ
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開２０１３−０６６１８８号公報
【図１】
2018011169.tif 000003
【図２】
2018011169.tif 000004
【図３】
2018011169.tif 000005
【図４】
2018011169.tif 000006
【図５】
2018011169.tif 000007
【図６】
2018011169.tif 000008
【図７】
2018011169.tif 000009
【図８】
2018011169.tif 000010
【図９】
2018011169.tif 000011
【図１０】
2018011169.tif 000012