(57)【要約】【課題】エンコード処理端末及びデコード処理端末の両方の処理能力を考慮してパラメータ調整を行うこと。また、通信を行う端末の数や種類が固定されていない場合、動的にパラメータ調整を行うこと。【解決方法】ソフトウェア処理で双方向の動画伝送を行う遠隔会議システムの端末のエンコードパラメータの設定に際し、端末は自端末のＣＰＵ負荷情報を取得し、エンコードされた動画データと共に該ＣＰＵ負荷情報を送受信する。送信又は受信端末のＣＰＵ負荷情報の何れか１つが高い場合は解像度やビットレートを下げるといった処理量が下がるようなパラメータに調整し、送信及び受信端末のＣＰＵ負荷情報がいずれも低い場合は解像度やビットレートを上げるといった動画の品質が向上するようなパラメータに調整する。端末が複数台存在する場合、全端末のＣＰＵ負荷情報に基づいてパラメータを調整する。【選択図】図１
2011029868.tif 000002
【特許請求の範囲】
【請求項１】
符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えた端末装置であって、
ＣＰＵ負荷を計測するＣＰＵ負荷計測手段と、
前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する受信手段と、
前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報と、前記受信手段で受信した前記他端末装置のＣＰＵ負荷情報とを比較する比較手段と、
前記比較手段における比較結果に基づいて、前記受信手段で受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する符号化係数調整手段と、
前記符号化係数調整手段において調整された前記適正符号化係数に基づいて、前記受信手段で受信した前記他端末符号化動画データを適正符号化処理する適正符号化処理手段と、
前記端末装置の符号化処理手段で符号化された符号化動画データを前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報と共に前記他端末装置に送信し、また、前記適正符号化処理手段で適正符号化処理された適正符号化動画データを前記受信手段に送信する送信手段と、
前記受信手段で受信した前記適正符号化動画データを復号化処理する復号化処理手段と、
を具備したことを特徴とする端末装置。
【請求項２】
前記符号化係数調整手段は、前記比較手段における比較結果が、
前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報、又は、前記受信手段で受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、
前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報、及び、前記受信手段で受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項１に記載の端末装置。
【請求項３】
表示手段を備えた端末装置と、撮影装置とに、ネットワークを介して接続可能に配設される請求項１又は請求項２に記載の端末装置を単数又は複数備えたことを特徴とする遠隔会議システム。
【請求項４】
符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えた端末装置の制御方法であって、
ＣＰＵ負荷を計測する第１のステップと、
前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する第２のステップと、
前記第１のステップで計測されたＣＰＵ負荷情報と、前記第２のステップで受信した前記他端末装置のＣＰＵ負荷情報とを比較する第３のステップと、
前記第３のステップにおける比較結果に基づいて、前記第２のステップで受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する第４のステップと、
前記第４のステップにおいて調整された前記適正符号化係数に基づいて、前記第４のステップで受信した前記他端末符号化動画データを適正符号化処理する第５のステップと、
前記第５のステップで適正符号化処理された適正符号化動画データを復号化処理する第６のステップと、
を有することを特徴とする端末装置の制御方法。
【請求項５】
前記端末装置の符号化処理手段で符号化された符号化動画データを、前記第１のステップで計測されたＣＰＵ負荷情報と共に前記他端末装置に送信することを特徴とする請求項４に記載の端末装置の制御方法。
【請求項６】
前記第４のステップは、前記第３のステップにおける比較結果が、
前記第１のステップで計測されたＣＰＵ負荷情報、又は、前記第２のステップで受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、
前記第１のステップで計測されたＣＰＵ負荷情報、及び、前記第２のステップで受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項４、又は請求項５に記載の端末装置の制御方法。
【請求項７】
符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えたコンピュータである端末装置において、
ＣＰＵ負荷を計測する第１の手順と、
前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する第２の手順と、
前記第１の手順で計測されたＣＰＵ負荷情報と、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報とを比較する第３の手順と、
前記第３の手順における比較結果に基づいて、前記第２の手順で受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する第４の手順と、
前記第４の手順において調整された前記適正符号化係数に基づいて、前記第４の手順で受信した前記他端末符号化動画データを適正符号化処理する第５の手順と、
前記第５の手順で適正符号化処理された適正符号化動画データを復号化処理する第６の手順と、
をコンピュータに実行させるための端末装置の制御プログラム。
【請求項８】
前記端末装置の符号化処理手段で符号化された符号化動画データを、前記第１の手順で計測されたＣＰＵ負荷情報と共に前記他端末装置に送信することを特徴とする請求項７に記載の端末装置の制御プログラム。
【請求項９】
前記第４の手順は、前記第３の手順における比較結果が、
前記第１の手順で計測されたＣＰＵ負荷情報、又は、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、
前記第１の手順で計測されたＣＰＵ負荷情報、及び、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項７、又は請求項８に記載の端末装置の制御プログラム。
【請求項１０】
符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えたコンピュータである端末装置において、
ＣＰＵ負荷を計測する第１の手順と、
前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する第２の手順と、
前記第１の手順で計測されたＣＰＵ負荷情報と、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報とを比較する第３の手順と、
前記第３の手順における比較結果に基づいて、前記第２の手順で受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する第４の手順と、
前記第４の手順において調整された前記適正符号化係数に基づいて、前記第４のステップで受信した前記他端末符号化動画データを適正符号化処理する第５の手順と、
前記第５の手順で適正符号化処理された適正符号化動画データを復号化処理する第６の手順と、
をコンピュータに実行させるための端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
前記端末装置の符号化処理手段で符号化された符号化動画データを、前記第１の手順で計測されたＣＰＵ負荷情報と共に前記他端末装置に送信することを特徴とする請求項１０に記載の端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１２】
前記第４の手順は、前記第３の手順における比較結果が、
前記第１の手順で計測されたＣＰＵ負荷情報、又は、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、
前記第１の手順で計測されたＣＰＵ負荷情報、及び、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項１０、又は請求項１１に記載の端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンコード処理及びデコード処理を行う端末装置、及び当該端末装置から成る遠隔会議システム、端末装置の制御方法、端末装置の制御プログラム、及び端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関し、詳しくは、テレビ会議、ウェブ（Ｗｅｂ）会議、又はビデオ会議などといった、ネットワークを介し遠隔地に動画を配信して行う遠隔会議システムに適用可能な端末装置、及び遠隔会議システム、端末装置の制御方法、端末装置の制御プログラム、及び端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、インターネットなどを介して行う遠隔会議が行われるようになってきた。
遠隔会議とは、例えば、東京、大阪、名古屋、福岡、及び札幌に各々営業所がある企業において会議を行う際に、各営業所の関係者が実際に一つの場所に集まって直接話し合う形態の会議ではなく、各営業所の関係者は各々の営業所に居ながらにして、ネットワークを介して接続され各営業所に配設された専用の端末等を使って、各営業所にいる関係者の動画を配信しながら話し合いを進める形態の会議である。具体的には、テレビ会議、ウェブ（Ｗｅｂ）会議、又はビデオ会議等がある。
一般的に、動画は静止画などに比べてデータ量が大きく、そのため、非圧縮のままネットワークを介して伝送するのは困難である。特に近年は、動画の高解像度化が進んでおり、例えば、ＨＤ解像度で秒間３０フレームの動画のビットレートは、１４０Ｍｂｐｓにもなる。このように、動画は多くの枚数の画像（即ち、データ量）を連続的に扱わなければならず、ほとんどの動画は静止画に比べて、処理しなければならないデータ量が圧倒的に大きい。また同時に、再生時においては多数の情報（データ）を（当該情報が持つ本来の時間軸を損なう事なく）高速かつ連続的に処理を行うことが要求される。当該処理を円滑に実現するために、当該動画などをコンピュータで扱う際、必要な記憶容量を減らす目的で、情報の損失を起こすことなくデータ量を削減することを圧縮と言う。
上述した圧縮を実現するために、冗長な情報を取り除いてデータ量を削減する動画圧縮（エンコード、即ち、符号化処理）及び伸張（デコード、即ち、復号化処理）技術が開発されており、当該技術を利用したネットワーク伝送が一般的には既に用いられている。
【０００３】
図４は、従来の遠隔会議システム１ｂの全体構成例を示した図である。
遠隔会議システム１ｂでは、エンコーダ部及びデコーダ部を有する端末２ａ及び端末２ｂがネットワーク３を介して接続可能に配設されており、さらに、端末２ａにはカメラ２００ａ及びディスプレイ２０１ａが接続され、また、端末２ｂにはカメラ２００ｂ及びディスプレイ２０１ｂが接続されている。
端末２ａは、データバス４０を介して接続されるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ／中央処理装置）１０、主記憶部２０、及びネットワークボード３０などを備えており、例えば、図示しない表示部、入力部、通信部などを備えた汎用のパーソナルコンピュータ（ＰＣ）などで構成される。
ネットワーク３は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットなどにより構成されている。
端末２ａのＣＰＵ１０は、主記憶部２０に格納されたプログラムを実行し、端末２ａに所望の動作を行わせる。
端末２ａの主記憶部２０は、ハードディスク或いはメモリなどで構成され、ネットワーク３を介して送られてきたデータや、種々の処理を実行するための各種データ、及び各種プログラムを蓄積・記憶（格納）している。例えば、エンコード（符号化処理）を実行するプログラム及びデコード（復号化処理）を実行するプログラムを格納しており、ＣＰＵ１０がこれらプログラムを実行させることで、端末２ａにエンコーダ部１１、及び、デコーダ部１２の機能を持たせる。
端末２ａのネットワークボード３０は、ネットワーク３にデータを送信する送信部３１、及び、ネットワーク３からデータを受信する受信部３２を有する。
また、端末２ｂは、図示しないが上述した端末２ａと同様の構成を有している。
【０００４】
上記の遠隔会議システム１ｂでは、端末２ａで、カメラ２００ａからの動画データ（映像）を受け取ると、エンコーダ部１１によって、主記憶部２０に予め記憶されたエンコード条件に従って当該動画データをエンコード処理し、当該エンコード処理した動画データは送信部３１によって端末２ｂに送信される。そして、当該動画データが送信された端末２ｂでは、当該端末２ａでエンコード処理された動画データを受信部で受信し、デコーダ部でデコード処理してディスプレイ２０１ｂに表示する。
同様に、端末２ｂでは、カメラ２００ｂから取り込まれた動画データを受け取ると、エンコード機能によって端末２ｂの主記憶部に予め記憶されたエンコード条件に従って当該動画データをエンコード処理し、当該エンコード処理した動画データは送信部によって端末２ａに送信される。そして、当該端末２ａでは、当該端末２ｂでエンコード処理された動画データを受信部３２で受信し、当該受信した動画データをデコーダ部１２でデコード処理してディスプレイ２０１ａに表示する。
【０００５】
ここで、動画データのエンコード及びデコードを、上述した各プログラムを用いたソフトウェア処理で行う場合、各当該処理量がＣＰＵの処理能力を上回ると処理落ちが発生し、コンピュータ（即ち、端末２ａ）上において、一定間隔で行われるべき処理が本来想定・期待される間隔で行われずに、動作が止まったり遅延したりするおそれがあり、その結果、当該動画データをデコード処理してディスプレに表示する際の動画の乱れに繋がる。
上述した遠隔会議システム１ｂにおけるＣＰＵ１０の、当該処理落ちによる動画データの乱れを防ぐためには、解像度やフレームレートといったエンコードパラメータを事前に低く設定しておけば良いが、当該解像度や当該フレームレートの値を低く設定すると動画データの品質は低下してしまう。つまり、動画データの品質を低下させることなく高品質で当該動画データを伝送するためには、当該エンコードパラメータを、ＣＰＵ（即ち、端末の処理能力）１０に合わせて調整をする必要がある。
しかしながら、各端末２ａ、２ｂでは、エンコード処理とデコード処理とを同時に実行する際、デコード処理実行時のＣＰＵ負荷は、デコード処理される動画データのエンコードパラメータに依存する。さらには、例えば、端末２ａに、複数の他端末を同時接続するなどして複数の動画データを一度に（同時に）デコード処理する場合には、デコード処理量がその分（同時接続した複数台の端末分）増大するため、同時実行するエンコード処理に使用することが可能なＣＰＵリソースは一定ではなくなる。従って、エンコードパラメータをＣＰＵに合わせた適切な値に予め設定（記憶）する（しておく）ことは困難であった。
【０００６】
特許文献１（特許第３６５８０８７号）には、状況に応じた適切なフレームレートで動画データを伝送するために、フレーム受信率に応じてフレームレートを制御する機能を備えたビデオ会議システムについて開示されている。このビデオ会議システムでは、受信機は、フレーム受信率に関する情報を送信機に伝達し、一方、送信機は、当該伝達されたフレーム受信率に応じて送信フレームレートを制御している。その結果、ＣＰＵのリソースを無駄遣いすることなく（即ち、ＣＰＵのリソースを有効的に利用して）、適切なフレームレートで動画データを伝送している。
上記特許文献１の技術では、デコード処理を行う端末の処理能力を考慮してエンコードパラメータの動的な制御が行われている。しかしながら、エンコード処理を行う端末の処理能力と、デコード処理を行う端末の処理能力との、両方を考慮したエンコードパラメータ調整に関しては開示されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
エンコードに必要な処理の処理量は、当該エンコード処理を行う端末に設定されたエンコード設定によって決まるが、一方、デコード処理に必要な処理の処理量は、通信相手となる端末に設定されたエンコード設定（即ち、エンコードパラメータ）によって決まる。また、通信を行う端末の数や種類が固定ではない場合には、該端末の数や種類に合わせたエンコードパラメータの調整を行わなければならない（即ち、エンコードパラメータの調整を動的に行わなければならない）。
以上のことから、端末間で相互に動画データの伝送を行い、１つの端末でエンコード処理とデコード処理とを同時に実行する端末装置、及び当該端末装置を用いた遠隔会議システム、端末装置の制御方法、端末装置の制御プログラム、及び端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体においては、エンコード処理を行う端末の処理能力と、デコード処理を行う端末の処理能力との両方を考慮し、且つ、動的に、エンコードパラメータを調整しなければならないという課題がある。
【０００８】
そこで本発明は、当該端末装置の処理能力を活かした動画データのエンコード処理を動的に行う端末装置、及び遠隔会議システム、端末装置の制御方法、端末装置の制御プログラム、及び端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するために、請求項１に記載の発明では、符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えた端末装置であって、ＣＰＵ負荷を計測するＣＰＵ負荷計測手段と、前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する受信手段と、前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報と、前記受信手段で受信した前記他端末装置のＣＰＵ負荷情報とを比較する比較手段と、前記比較手段における比較結果に基づいて、前記受信手段で受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する符号化係数調整手段と、前記符号化係数調整手段において調整された前記適正符号化係数に基づいて、前記受信手段で受信した前記他端末符号化動画データを適正符号化処理する適正符号化処理手段と、前記端末装置の符号化処理手段で符号化された符号化動画データを前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報と共に前記他端末装置に送信し、また、前記適正符号化処理手段で適正符号化処理された適正符号化動画データを前記受信手段に送信する送信手段と、前記受信手段で受信した前記適正符号化動画データを復号化処理する復号化処理手段と、を具備したことを特徴とする端末装置を提供する。
請求項２に記載の発明では、前記符号化係数調整手段は、前記比較手段における比較結果が、前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報、又は、前記受信手段で受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、前記ＣＰＵ負荷計測手段で計測されたＣＰＵ負荷情報、及び、前記受信手段で受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項１に記載の端末装置を提供する。
請求項３に記載の発明では、表示手段を備えた端末装置と、撮影装置とに、ネットワークを介して接続可能に配設される請求項１又は請求項２に記載の端末装置を単数又は複数備えたことを特徴とする遠隔会議システムを提供する。
【００１０】
さらに、請求項４に記載の発明では、符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えた端末装置の制御方法であって、ＣＰＵ負荷を計測する第１のステップと、前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する第２のステップと、前記第１のステップで計測されたＣＰＵ負荷情報と、前記第２のステップで受信した前記他端末装置のＣＰＵ負荷情報とを比較する第３のステップと、前記第３のステップにおける比較結果に基づいて、前記第２のステップで受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する第４のステップと、前記第４のステップにおいて調整された前記適正符号化係数に基づいて、前記第４のステップで受信した前記他端末符号化動画データを適正符号化処理する第５のステップと、前記第５のステップで適正符号化処理された適正符号化動画データを復号化処理する第６のステップと、を有することを特徴とする端末装置の制御方法を提供する。
請求項５に記載の発明では、前記端末装置の符号化処理手段で符号化された符号化動画データを、前記第１のステップで計測されたＣＰＵ負荷情報と共に前記他端末装置に送信することを特徴とする請求項４に記載の端末装置の制御方法を提供する。
請求項６に記載の発明では、前記第４のステップは、前記第３のステップにおける比較結果が、前記第１のステップで計測されたＣＰＵ負荷情報、又は、前記第２のステップで受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、前記第１のステップで計測されたＣＰＵ負荷情報、及び、前記第２のステップで受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項４、又は請求項５に記載の端末装置の制御方法を提供する。
【００１１】
また、請求項７に記載の発明では、符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えたコンピュータである端末装置において、ＣＰＵ負荷を計測する第１の手順と、前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する第２の手順と、前記第１の手順で計測されたＣＰＵ負荷情報と、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報とを比較する第３の手順と、前記第３の手順における比較結果に基づいて、前記第２の手順で受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する第４の手順と、前記第４の手順において調整された前記適正符号化係数に基づいて、前記第４の手順で受信した前記他端末符号化動画データを適正符号化処理する第５の手順と、前記第５の手順で適正符号化処理された適正符号化動画データを復号化処理する第６の手順と、をコンピュータに実行させるための端末装置の制御プログラムを提供する。
請求項８に記載の発明では、前記端末装置の符号化処理手段で符号化された符号化動画データを、前記第１の手順で計測されたＣＰＵ負荷情報と共に前記他端末装置に送信することを特徴とする請求項７に記載の端末装置の制御プログラムを提供する。
請求項９に記載の発明では、前記第４の手順は、前記第３の手順における比較結果が、
前記第１の手順で計測されたＣＰＵ負荷情報、又は、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、前記第１の手順で計測されたＣＰＵ負荷情報、及び、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項７、又は請求項８に記載の端末装置の制御プログラムを提供する。
【００１２】
そして、請求項１０に記載の発明では、符号化処理手段を備え且つＣＰＵ負荷情報を有する他端末装置にネットワークを介して接続可能な、符号化処理手段を備えたコンピュータである端末装置において、ＣＰＵ負荷を計測する第１の手順と、前記他端末装置において符号化処理された他端末符号化動画データと共に、前記他端末装置のＣＰＵ負荷情報を受信する第２の手順と、前記第１の手順で計測されたＣＰＵ負荷情報と、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報とを比較する第３の手順と、前記第３の手順における比較結果に基づいて、前記第２の手順で受信した前記他端末符号化動画データの符号化係数を、適正符号化係数に調整する第４の手順と、前記第４の手順において調整された前記適正符号化係数に基づいて、前記第４のステップで受信した前記他端末符号化動画データを適正符号化処理する第５の手順と、前記第５の手順で適正符号化処理された適正符号化動画データを復号化処理する第６の手順と、をコンピュータに実行させるための端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。  請求項１１に記載の発明では、前記端末装置の符号化処理手段で符号化された符号化動画データを、前記第１の手順で計測されたＣＰＵ負荷情報と共に前記他端末装置に送信することを特徴とする請求項１０に記載の端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
請求項１２に記載の発明では、前記第４の手順は、前記第３の手順における比較結果が、前記第１の手順で計測されたＣＰＵ負荷情報、又は、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報の少なくともいずれか１つが、予め設定された閾値よりも高い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が減るように適正符号化係数を調整し、前記第１の手順で計測されたＣＰＵ負荷情報、及び、前記第２の手順で受信した前記他端末装置のＣＰＵ負荷情報が、予め設定された閾値よりも低い場合に、前記符号化係数を、前記適正符号化処理に要する処理量が増すように適正符号化係数を調整することを特徴とする請求項１０、又は請求項１１に記載の端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００１３】
本発明によれば、ソフトウェア処理で双方向の動画データ伝送を行う端末装置、及び当該端末装置を用いた遠隔会議システムにおいて、各端末装置は、当該端末装置間でＣＰＵ負荷情報を提供し合い、当該提供されたＣＰＵ負荷情報と自端末装置のＣＰＵ負荷情報とに基づいてエンコードパラメータを調整する（即ち、エンコードパラメータを動的に調整する）ので、各端末の処理能力を活かした動画のエンコード処理を動的に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る遠隔会議システムの全体構成例を示した図である。
【図２】本発明の実施形態に係る遠隔会議システムの全体構成例を示した図である。
【図３】図１の本実施形態に係る端末のエンコードパラメータ制御処理の動作を示したフローチャートである。
【図４】従来の遠隔会議システムの全体構成例を示した図である。
【発明を実施するための形態】
【００１５】
以下、本発明の好適な実施の形態について図１、図２、及び図３を用いて詳細に説明する。
（１）実施形態の概要
本発明に係る実施形態では、ソフトウェア処理（即ち、プログラムにより実行されるエンコード処理及びデコード処理）で双方向の動画データ伝送を行う遠隔会議システムにおいて、当該遠隔会議システムに適用される各端末は、エンコードパラメータを設定する際に以下の特徴を有する。
つまり、本実施形態に係るエンコード処理及びデコード処理を行う各端末は、各端末自身のＣＰＵ負荷情報を計測（取得）し、さらに、各端末間で、エンコード処理された動画データに加えて当該ＣＰＵ負荷情報の送受信並びに当該ＣＰＵ負荷情報の比較を行う。
詳しくは、本実施形態に係る各端末において当該比較を行い、
（Ａ）当該動画データ送信側端末のＣＰＵ負荷が、予め設定された閾値よりも、高い、
（Ｂ）当該動画データ受信側端末のＣＰＵ負荷が、予め設定された閾値よりも、高い、
上記（Ａ）（Ｂ）の少なくともいずれか１つに当該当する場合は、解像度やビットレートを下げる（即ち、ＣＰＵの処理量が軽減される）ようにエンコードパラメータを調整し、また、
（Ｃ）送信側端末のＣＰＵ負荷及び受信側端末のＣＰＵ負荷がいずれも、予め設定された閾値よりも、低い、
上記（Ｃ）の場合は、解像度やビットレートを上げる（即ち、動画の品質が向上する）ようなエンコードパラメータの調整を動的に行う。
【００１６】
（２）実施形態の詳細な説明
図１は、本発明の実施形態に係る遠隔会議システム１ａの全体構成例を示した図である。
なお、図４と同様の構成に関しては同じ符号を付し、基本的な構成及び処理については図４と同様のため説明を省略する。
本発明の実施形態に係る遠隔会議システム１ａにおける複数の端末２ａ、２ｂ、・・・（２ａ及び２ｂ、・・・は同様の機能を有する）は、さらに、後述する適正エンコードを行う適正エンコード部１１１と、端末２ａのＣＰＵ１０にかかる負荷を計測する機能を有するＣＰＵ負荷計測部１３と、ＣＰＵ負荷に基づいてエンコードパラメータを調整する機能を有し、さらに、ＣＰＵ負荷情報の比較を行う比較部１５を兼ね備えたエンコードパラメータ調整部１４と、を備えている。
なお、本実施形態では、エンコードパラメータ調整部１４が比較部１５を兼ね備えている構成としたがこれに限られることはなく、各々独立した機能として構成されていてもよい。
【００１７】
ここで、閾値について説明する。
ＣＰＵ負荷計測部１３では、端末２ａのＣＰＵ負荷使用率（％）の情報を計測する。
また、端末２ａは、エンコードパラメータ調整部１４が「ＣＰＵ負荷が高い」と判断（判定）するためのＣＰＵ使用率の閾値（例えば、閾値Ａ）、及び、エンコードパラメータ調整部１４が「ＣＰＵ負荷が低い」と判断するためのＣＰＵ使用率の閾値（例えば、閾値Ｂ）が予め設定されており、これは、管理者によって予め設定しておくようにしてもよい。また、ＣＰＵ使用率とは、実行中のソフトウェア（本実施形態の場合はプログラムにより実行されるエンコード処理）がＣＰＵを占領している時間の割合である。
比較部１５は、このＣＰＵ使用率の閾値（閾値Ａ、閾値Ｂ）を比較の根拠としている。
【００１８】
本実施形態に係る端末２ｂは、上述した遠隔会議システム１ｂ（図４）と同様に、カメラ２００ｂから取り込んだ動画データをエンコーダ部１１によりエンコード処理して端末２ａに送信する。そして、端末２ａは、当該エンコード処理された動画データを受信部３２で受信する。
【００１９】
ここで、上述した遠隔会議システム１ｂ（図４）と異なり、本実施形態に係る端末２ｂは、端末２ｂ自身のＣＰＵ負荷情報ｂを計測（取得）し、さらに、当該計測値（即ち、ＣＰＵ負荷情報ｂ）を当該エンコード処理した動画データと共に端末２ａに送信する。一方、当該エンコード処理された動画データ及び当該ＣＰＵ負荷情報ｂを受信した端末２ａは、受信した当該ＣＰＵ負荷情報ｂと、自端末において計測したＣＰＵ負荷情報ａとを比較する。
本実施形態に係る端末２ａは、比較の結果、ＣＰＵ負荷情報ａ又はＣＰＵ負荷情報ｂのいずれか１つのＣＰＵ負荷情報が、予め設定された閾値（即ち、閾値Ａ）よりも高い場合は、即ち、現状のエンコードパラメータで処理を進めるとデコード処理後にディスプレイに表示する際に画像が乱れることが懸念されると判定し、現在のエンコードパラメータを、解像度やビットレートを下げる（即ち、ＣＰＵの処理量が軽減される）といった、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂに対してＣＰＵ処理量が適正になるように、エンコードパラメータ調整部１４にてエンコードパラメータを調整する。そして、当該動画データは、当該調整されたエンコードパラメータに基づいて適正エンコーダ部１１１によって適正エンコード処理される。当該適正エンコード処理された動画データは、送信部３１を介して受信部３２に送信され、受信部３２によって受信された当該適正エンコード処理された動画データは、デコーダ部１２で当該調整されたエンコードパラメータを読み取られデコード処理されて、ディスプレイ２０１ａに表示される。
一方、本実施形態に係る端末２ａは、比較の結果、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂが、予め設定された閾値（即ち、閾値Ｂ）よりも共に低い場合は、即ち、現状のエンコードパラメータで行う処理に対して画質を向上させる余地があると判定して、現在のエンコードパラメータを、解像度やビットレートを上げる（即ち、動画の品質が向上する）といった、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂに対してＣＰＵ処理量が適正になるように、エンコードパラメータ調整部１４にてエンコードパラメータを調整する。そして、当該動画データは、当該調整されたエンコードパラメータに基づいて適正エンコーダ部１１１によって適正エンコード処理される。当該適正エンコード処理された動画データは、送信部３１を介して受信部３２に送信され、受信部３２によって受信された当該適正エンコード処理された動画データは、デコーダ部１２で当該調整されたエンコードパラメータを読み取られデコード処理されて、ディスプレイ２０１ａに表示される。
【００２０】
また、通信を行う端末の数や種類が固定されているとは限らないため、その場合は、例えば、複数台の端末を同時接続した際には、本実施形態に係る端末２ａは、すべての同時接続した他端末から送信されるＣＰＵ負荷情報の各々に基づいて（つまり、複数台の他端末のＣＰＵ負荷情報各々とＣＰＵ負荷情報ａとをそれぞれ比較し、その比較結果に基づいて）、エンコード側端末とデコード側端末との双方で処理落ちが発生しない範囲であり、デコード処理後の動画（画質）が高画質になるようなエンコードパラメータに調整（設定）する。
つまり、本実施形態に係る端末２ａは、ＣＰＵ処理能力に余裕がある場合には画質が高くなるようなエンコードパラメータに調整し、ＣＰＵ処理能力に余裕がない場合には処理落ちが起こらないようなエンコードパラメータに調整するのであり、結果として、端末２ａのエンコードパラメータは、エンコード処理を行う側の端末とデコード処理を行う側の端末との双方で処理落ちが発生しない範囲であり、且つ、デコード処理後の動画（画質）が高画質になるように当該処理を行うエンコードパラメータに調整（設定）される。
このように、本実施形態に係る端末２ａ、２ｂ、・・・は、お互いのＣＰＵ負荷情報を比較することで、エンコードパラメータの設定を動的に行っている。
【００２１】
また、図２に示すように、カメラ２００ａから取り込んだ動画データ（映像）を受け取りエンコーダ部１１でエンコード処理して送信部３１により端末２ｂに送信すると同時に、該カメラ２００ａから取り込んだ動画データをディスプレイ２０１ａに表示する（即ち、エンコード処理する前の映像・動画データをディスプレイ２０１ａに表示する）という構成にすることも可能である。
【００２２】
また、本実施形態では、主記憶部２０に予め記憶されたエンコード条件に従ってカメラ２００ａから受け取った動画データをエンコード処理するエンコーダ部１１と、エンコードパラメータ調整部１４にて調整されたエンコードパラメータに基づいて端末２ｂでエンコード処理された動画データを適正エンコード処理する適正エンコーダ部１１１と、を別構成としたが（図１）、これに限られることはなく、例えば、エンコーダ部１１が当該適正エンコーダ部１１１の機能を兼ね備えるような構成であってもよい。
【００２３】
次に、本発明の実施形態に係る遠隔会議システム１ａにおける端末２ａの制御処理の動作について説明する。
図３は、図１、本実施形態に係る端末２ａのエンコードパラメータ制御処理の動作を示したフローチャートである。
まず、本実施形態に係る端末２ａでは、受信部３２が、端末２ｂでエンコード処理された動画データと端末２ｂのＣＰＵ負荷情報ｂとを受信する（ステップ１００）。
次に、本実施形態に係る端末２ａでは、受信したＣＰＵ負荷情報ｂと、自端末において計測したＣＰＵ負荷情報ａとを、予め設定された閾値Ｂと比較する（ステップ１０１）。
該比較の結果、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂが、予め設定された閾値Ｂよりも共に低い場合（ステップ１０１：Ｙ）、本実施形態に係る端末２ａは、解像度やビットレートを上げる（即ち、動画の品質が向上する）ようにエンコードパラメータを調整し（ステップ１０２）、ステップ１００において受信した動画データを、ステップ１０２で調整したエンコードパラメータに基づいて適正エンコード処理する（ステップ１０３）。当該適正エンコード処理された動画データは、送信部３１から受信部３２に送られ、デコーダ部１２によってデコード処理される（ステップ１０４）。
一方、比較（ステップ１０１）の結果、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂが、該閾値Ｂよりも共には低くない場合（ステップ１０１：Ｎ）、次に、本実施形態に係る端末２ａは、受信したＣＰＵ負荷情報ｂと、自端末において計測したＣＰＵ負荷情報ａとを、予め設定された閾値Ａと比較する（ステップ２０１）。ＣＰＵ負荷情報ａ又はＣＰＵ負荷情報ｂのいずれか１つのＣＰＵ負荷情報が、該閾値Ａよりも高い場合（ステップ２０１：Ｙ）、本実施形態に係る端末２ａは、解像度やビットレートを下げる（即ち、ＣＰＵの処理量が軽減される）ようにエンコードパラメータを調整する（ステップ２０２）。そして、ステップ１００において受信した動画データを、ステップ２０２で調整したエンコードパラメータに基づいて適正エンコード処理する（ステップ１０３）。
一方、該比較（ステップ２０１）の比較の結果、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂが該閾値Ａより高くない場合（ステップ２０１：Ｎ）、本実施形態に係る端末２ａは、適正エンコード処理は行われることなく（即ち、現状のエンコードパラメータのままで）デコーダ部１２によってデコード処理される（ステップ１０４）。
【００２４】
また、本実施形態では、ステップ１０１における比較・判断を先に行う構成としたが、これに限られることはなく、ステップ２０１における比較・判断を先に行う構成とすることも可能である。
その場合、本実施形態に係る端末２ａでは、受信したＣＰＵ負荷情報ｂと、自端末において計測したＣＰＵ負荷情報ａとを、予め設定された閾値Ａと比較し、該比較の結果、ＣＰＵ負荷情報ａ又はＣＰＵ負荷情報ｂのいずれか１つのＣＰＵ負荷情報が、該閾値Ａよりも高い場合、本実施形態に係る端末２ａは、解像度やビットレートを下げる（即ち、ＣＰＵの処理量が軽減される）ようにエンコードパラメータを調整する。そして、ステップ１００において受信した動画データを、該閾値Ａにおける比較をもとに調整したエンコードパラメータに基づいて適正エンコード処理し、当該適正エンコード処理された動画データは、送信部３１から受信部３２に送られ、デコーダ部１２によってデコード処理される。
一方、該比較の結果、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂが共に該閾値Ａより高くない場合は、次に、本実施形態に係る端末２ａは、受信したＣＰＵ負荷情報ｂと、自端末において計測したＣＰＵ負荷情報ａとを、予め設定された閾値Ｂと比較し、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂが、該閾値Ｂよりも共に低い場合、本実施形態に係る端末２ａは、解像度やビットレートを上げる（即ち、動画の品質が向上する）ようにエンコードパラメータを調整する。そして、ステップ１００において受信した動画データを、該閾値Ｂにおける比較をもとに調整したエンコードパラメータに基づいて適正エンコード処理する。
また、一方、この閾値Ｂに基づく比較の結果、ＣＰＵ負荷情報ａ及びＣＰＵ負荷情報ｂが、該閾値Ｂよりも共には低くない場合には、本実施形態に係る端末２ａは、ステップ１００において受信した動画データを、適正エンコード処理を行うことなく（即ち、現状のエンコードパラメータのままで）デコーダ部１２によってデコード処理する。
【符号の説明】
【００２５】
１ａ  遠隔会議システム
１ｂ  遠隔会議システム
２ａ  端末
２ｂ  端末
３  ネットワーク
１０  ＣＰＵ
１１  エンコーダ部
１２  デコーダ部
１３  ＣＰＵ負荷計測部
１４  エンコードパラメータ調整部
１５  比較部
２０  主記憶部
３０  ネットワークボード
３１  送信部
３２  受信部
４０  データバス
１１１  適正エンコーダ部
２００ａカメラ
２００ｂカメラ
２０１ａディスプレイ
２０１ｂディスプレイ
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特許第３６５８０８７号（特開平０９−０７４５４８号）
【図１】
2011029868.tif 000003
【図２】
2011029868.tif 000004
【図３】
2011029868.tif 000005
【図４】
2011029868.tif 000006