(57)【特許請求の範囲】
【請求項１】
動画像データを外部端末に伝送する伝送手段と、
前記伝送手段により伝送した動画像データに対する前記外部端末が受信した前記動画像データの割合を示す動画像受信率に応じて前記伝送手段により伝送される動画像のフレームレートを制御する制御手段とを有し、
前記制御手段は、前記動画像受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする端末装置。
【請求項２】
請求項１において、前記制御手段は、前記動画像受信率が１００％ならば、前記フレームレートを増加させるように制御することを特徴とする端末装置。
【請求項３】
請求項１又は２において、前記動画像受信率とは（受信したフレーム数／送信したフレーム数）であることを特徴とする端末装置。
【請求項４】
請求項１乃至３において、前記伝送手段は動画像データを圧縮する圧縮手段を有し、前記圧縮手段によって圧縮された動画像データを伝送することを特徴とする端末装置。
【請求項５】
請求項１において、前記伝送手段は前記動画像データを複数の外部端末に伝送し、前記制御手段は前記複数の外部端末の動画像受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする端末装置。
【請求項６】
請求項５において、前記各外部端末の動画像受信率を一覧表示する表示手段を有することを特徴とする端末装置。
【請求項７】
請求項１において、前記伝送手段は音声データを伝送でき、前記制御手段は、前記伝送手段により伝送した音声データに対する前記外部端末が受信した前記音声データの割合を示す音声受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする端末装置。
【請求項８】
請求項７において、前記伝送手段は前記音声データをパケット化して伝送し、前記音声受信率とは（受信したパケット数／送信したパケット数）であることを特徴とする端末装置。
【請求項９】
請求項１乃至８において、前記フレームレートを直接設定可能な手動調整手段を有することを特徴とする端末装置。
【請求項１０】
動画像データを送受信する複数の動画像送受信端末装置と接続されている端末装置であって、
前記各動画像送受信端末装置から、送信された動画像データに対する受信した前記動画像データの割合を示す動画像受信率データを入力する入力手段と、
前記入力手段によって入力された前記複数の動画像送受信端末装置の動画像受信率データに応じて動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送手段を有し、
前記伝送手段は、前記複数の動画像送受信端末装置の動画像受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする端末装置。
【請求項１１】
請求項１０において、前記伝送手段は前記複数の動画像受信端末の動画像受信率が全て１００％ならば、フレームレートを増加させるように制御する制御信号を伝送すること特徴とする端末装置。
【請求項１２】
請求項１０又は１１において、前記動画像送受信端末装置は音声データを送受信することができ、前記入力手段は前記各動画像送受信端末装置から、送信された音声データに対する受信した前記音声データの割合を示す音声受信率データを入力し、前記伝送手段は前記複数の動画像送受信端末装置の音声受信率が全て所定値以下を示す場合、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする端末装置。
【請求項１３】
動画像データと音声データを外部端末に伝送する伝送手段と、
前記伝送手段により伝送した音声データに対する前記外部端末が受信した前記音声データの割合を示す音声受信率に応じて前記伝送手段により伝送される動画像のフレームレートを制御する制御手段とを有し、
前記制御手段は、前記音声受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする端末装置。
【請求項１４】
動画像データ及び音声データを送受信する複数の動画像送受信端末装置と接続されている端末装置であって、
前記各動画像送受信端末装置から、送信された音声データに対する受信した前記音声データの割合を示す音声受信率データを入力する入力手段と、
前記入力手段によって入力された前記複数の動画像送受信端末装置の音声受信率データに応じて設定された動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送手段を有し、
前記伝送手段は、前記複数の動画像送受信端末装置の音声受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする端末装置。
【請求項１５】
動画像データを外部端末に伝送する伝送工程と、
前記伝送工程で伝送した動画像データに対する前記外部端末が受信した前記動画像データの割合を示す動画像受信率に応じて前記伝送工程で伝送される動画像のフレームレートを制御する制御工程とを有し、
前記制御工程では、前記動画像受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする端末装置の制御方法。
【請求項１６】
動画像データを送受信する複数の動画像送受信端末装置と接続されている端末装置の制御方法であって、
前記各動画像送受信端末装置から、送信された動画像データに対する受信した前記動画像データの割合を示す動画像受信率データを入力する入力工程と、
前記入力工程で入力された前記複数の動画像送受信端末装置の動画像受信率データに応じて動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送工程を有し、
前記伝送工程では、前記複数の動画像送受信端末装置の動画像受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする端末装置の制御方法。
【請求項１７】
動画像データと音声データを外部端末に伝送する伝送工程と、
前記伝送工程で伝送した音声データに対する前記外部端末が受信した前記音声データの割合を示す音声受信率に応じて前記伝送工程で伝送される動画像のフレームレートを制御する制御工程とを有し、
前記制御工程では、前記音声受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする端末装置の制御方法。
【請求項１８】
動画像データ及び音声データを送受信する複数の動画像送受信端末装置と接続されている端末装置の制御方法であって、
前記各動画像送受信端末装置から、送信された音声データに対する受信した前記音声データの割合を示す音声受信率データを入力する入力工程と、
前記入力工程で入力された前記複数の動画像送受信端末装置の音声受信率データに応じて設定された動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送工程を有し、
前記伝送工程では、前記複数の動画像送受信端末装置の音声受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする端末装置の制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はテレビ会議システム等に適用可能な端末装置及び端末装置の制御方法に係わり、特に動画像を伝送する際のフレームレート制御に関する。
【０００２】
【従来の技術】
従来のビデオ会議システムでは、予めノード（端末）数や通信回線速度などの状況により初期フレームレートを設定するものの通信中にそのフレームレートを変更しないのが一般的であった。
【０００３】
特に、ワークステーションやパソコンなどの計算機を用いてビデオ会議を行った場合、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の負荷状況などの受信側の状況変化により送信側のフレームレートを自動調整することはできなかった。
【０００４】
このため、送信側は必要以上の送信レートで送信するため、送信処理に必要以上の負荷がかかり、ますます同時に行う受信処理における受信能力低下を招くことがあったため、手動で利用者が送信レートを適切な値に調整することは行っていたが、自動調整機能は実現されていなかった。
【０００５】
【発明が解決しようとする課題】
しかしながら、ある送信ノードに対応する複数の受信ノードが全てフレーム落ちを発生するような送信フレームレートで動画送信を行うことは、ＣＰＵ等処理能力リソースの無駄使いとなる。
【０００６】
受信側ではフレーム落ちが発生すると、１フレームおきの受信になり易く受信側の表示レートが半分に落ちるなど、能力低下が徐々にゆるやかに行われず急激に低下する傾向となる。
【０００７】
ビデオ会議等では同じノードが送信及び受信の両方を同時に行っており、受信レートの低下は逆に処理能力に余裕をもたせ更に意味のない送信レートの上昇を招く。
【０００８】
このために、手動で利用者が送信レートを適切な値に調整することが考えられるが、利用者にとってその調整は煩わしく適切なフレームレートは参加・退席などの状況変化により刻々と変化するので自動的な調整方式が求められる状況であった。
【０００９】
また、テレビ会議等では音切れのない安定した音声送受信処理や、他の共同作業用のツールの立ち上げ処理や対話操作での反応の早さなどは、会議をスムーズに進行するには、動画像の送受信処理より、優先度が高いと考えられる。そのような場合、動画フレームレートを低下させ動画送受信の処理負荷を一時的に下げることによってＣＰＵ処理能力を他の処理のために確保することが必要であると考えられる。
【００１０】
上述したような背景から本願発明の一つの目的は、ＣＰＵ等の処理能力の無駄使いとなる動画像データの伝送を防止し、状況に応じた適切な動画フレームレートにより動画像データを伝送可能にする端末装置及び端末装置の制御方法を提供することである。
【００１１】
尚、本発明の他の目的は以下の明細書の記載から明らかとなるであろう。
【００１２】
【課題を解決するための手段】
本願は斯かる目的下にその一つの発明として端末装置は、動画像データを外部端末に伝送する伝送手段と、前記伝送手段により伝送した動画像データに対する前記外部端末が受信した前記動画像データの割合を示す動画像受信率に応じて前記伝送手段により伝送される動画像のフレームレートを制御する制御手段とを有し、前記制御手段は、前記動画像受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする。
【００１３】
また、その一つの発明として端末装置は、動画像データを送受信する複数の動画像送受信端末装置と接続されている端末装置であって、前記各動画像送受信端末装置から、送信された動画像データに対する受信した前記動画像データの割合を示す動画像受信率データを入力する入力手段と、前記入力手段によって入力された前記複数の動画像送受信端末装置の動画像受信率データに応じて動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送手段を有し、前記伝送手段は、前記複数の動画像送受信端末装置の動画像受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする。
【００１４】
また、その一つの発明として端末装置は、動画像データと音声データを外部端末に伝送する伝送手段と、前記伝送手段により伝送した音声データに対する前記外部端末が受信した前記音声データの割合を示す音声受信率に応じて前記伝送手段により伝送される動画像のフレームレートを制御する制御手段とを有し、前記制御手段は、前記音声受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする。
【００１５】
また、その一つの発明として端末装置は、動画像データ及び音声データを送受信する複数の動画像送受信端末装置と接続されている端末装置であって、前記各動画像送受信端末装置から、送信された音声データに対する受信した前記音声データの割合を示す音声受信率データを入力する入力手段と、前記入力手段によって入力された前記複数の動画像送受信端末装置の音声受信率データに応じて設定された動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送手段を有し、前記伝送手段は、前記複数の動画像送受信端末装置の音声受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする。
【００１６】
また、その一つの発明として端末装置の制御方法は、動画像データを外部端末に伝送する伝送工程と、前記伝送工程で伝送した動画像データに対する前記外部端末が受信した前記動画像データの割合を示す動画像受信率に応じて前記伝送工程で伝送される動画像のフレームレートを制御する制御工程とを有し、前記制御工程では、前記動画像受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする。
【００１７】
また、その一つの発明として端末装置の制御方法は、動画像データを送受信する複数の動画像送受信端末装置と接続されている端末装置の制御方法であって、前記各動画像送受信端末装置から、送信された動画像データに対する受信した前記動画像データの割合を示す動画像受信率データを入力する入力工程と、前記入力工程で入力された前記複数の動画像送受信端末装置の動画像受信率データに応じて動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送工程を有し、前記伝送工程では、前記複数の動画像送受信端末装置の動画像受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする。
また、その一つの発明として端末装置の制御方法は、動画像データと音声データを外部端末に伝送する伝送工程と、前記伝送工程で伝送した音声データに対する前記外部端末が受信した前記音声データの割合を示す音声受信率に応じて前記伝送工程で伝送される動画像のフレームレートを制御する制御工程とを有し、
前記制御工程では、前記音声受信率が所定値以下ならば、前記フレームレートを低下させるように制御することを特徴とする。
また、その一つの発明として端末装置の制御方法は、動画像データ及び音声データを送受信する複数の動画像送受信端末装置と接続されている端末装置の制御方法であって、前記各動画像送受信端末装置から、送信された音声データに対する受信した前記音声データの割合を示す音声受信率データを入力する入力工程と、前記入力工程で入力された前記複数の動画像送受信端末装置の音声受信率データに応じて設定された動画像データを伝送する際のフレームレートを制御する制御信号を、前記各動画像送受信端末装置に伝送する伝送工程を有し、前記伝送工程では、前記複数の動画像送受信端末装置の音声受信率が全て所定値以下ならば、前記フレームレートを低下させるように制御する制御信号を伝送することを特徴とする。
【００１８】
【発明の実施の形態】
〔第１の実施例〕
図１は本実施例を実現するための機能モジュールの構成図である。
【００１９】
図１において、１０１は動画送信モジュール、１０２は動画受信モジュール、１０３は実レート情報管理モジュールである。
【００２０】
図２は本実施例を実現するワークステーションのハードウエア構成図である。
【００２１】
図２において、２０１はワークステーション、２０２はワークステーション２０１に接続されているカメラ、２０３はワークステーション２０１に接続されているディスプレイである。
【００２２】
また、ワークステーション２０１はカメラ動画像の圧縮・伸長用にParallax社製のPowerVideoを備えているビデオボード２１０、ワークステーション２０１に接続されているカメラ２０２、ディスプレイ２０３やワークステーション内の各ボードを制御するための中央処理部（ＣＰＵ）２１１、制御データ及びネットワークを介して送られてきたデータを記憶するハードディスク或はメモリ等の主記憶部２１２、ネットワークにデータを送信或はネットワークからのデータを受信するためのネットワークボード２１３、ワークステーション２０１内のデータ伝送用のデータバス２１４とにより構成されている。尚、図１の１０１〜１０３はソフトウエアとして実現される。
【００２３】
以下、動画送信モジュール、動画受信モジュール及び実レート情報管理モジュールの処理の説明をする。
【００２４】
〈動画送信モジュールの処理〉
動画送信モジュールはPowerVideoを用いて現在の動画フレームのJPEG(Joint Photographic Coding Experts Group) 圧縮されたデータを得た後、そのデータをUDP/IPネットワークプロトコルを用いて複数の動画受信モジュールにパケット送信する。この動画フレームキャプチャー及び動画送信を繰り返すことで送信モジュールは動画送信を行う。
【００２５】
動画送信モジュールは上記繰り返しのループ毎にUNIXのシステムコールusleep()などでウエイトを挿入し実送信フレームレートを調整する機能が実現されている。
【００２６】
〈動画受信モジュールの処理〉
動画受信モジュールでは送信モジュールからのパケットの到着を待ち、１動画フレームを得たらそれをPowerVideoを用いて伸長表示する。UDP/IPプロトコルではエラーによる再送を行わないので、ネットワークの混雑や受信側ワークステーションのCPU 負荷などによりパケットを損失する。
【００２７】
送信側から送出されるパケットにはシリアル番号情報をそのパケットデータ内に配置してあり、シリアル番号の抜けを調べることで損失量が受信側で計測できるようになっている。
【００２８】
受信モジュールはある一定時間間隔ごとに（１秒程度）、その受信率（受信したフレーム／（受信したフレーム＋損失したフレーム））を計算し、実レート情報管理モジュールへ報告する。
【００２９】
〈実レート情報管理モジュールの処理〉
本実施例の実レート情報管理モジュールの処理を図３を参照しながら説明する。
【００３０】
図３は実レート情報管理モジュールのフレームレート制御処理を示すフローチャートである。尚、フレームレート制御はＣＰＵ２１１によって行われている。
【００３１】
実レート情報管理モジュールはある送信モジュールが送出する動画像を受信している複数の受信モジュールからの受信率をもとに送信側のフレームレートを制御する。
【００３２】
図３において、ステップＳ１１では受信モジュール全てからの受信率データを受け取ったか判断する。受け取っていなければ全ての受信モジュールの受信率データを受け取るまで待機する。受け取っているならばステップＳ１２へ進む。
【００３３】
ステップＳ１２では報告された受信率が全て１００％かどうか判断する。全て１００％ならステップＳ１３へ進み、送信側のフレームレートをある割合（本実施例では１０％程度）で増加させる制御信号を送信モジュール側へ送信する（図４参照）。
【００３４】
ステップＳ１２で受信率が全て１００％ではないときステップＳ１４へ進み、、報告された受信率が全てある閾値以下（本実施例では９０％程度）かどうかを判断する。
【００３５】
報告された受信率が全てある閾値以下ならステップＳ１５へ進み、、フレームレートをある割合（本実施例では１０％程度）で低下させる制御信号を送信モジュール側へ送信する（図５参照）。
【００３６】
ステップＳ１４で報告された受信率が全てある閾値以下でない場合は、現状のフレームレートを維持する（図６参照）。
【００３７】
つまり、フレームレートの増加または低下の変更判断が行われると、直ちに実レート情報管理モジュールは動画送信モジュールにその要求を出し、動画送信モジュールが送信レートを調整する。
【００３８】
〔第２の実施例〕
ビデオ会議に参加するユーザ全てが動画送信を行う状況で、第１の実施例を用いて送信レートの自動調整をそれぞれ独立して行うと、参加者間の送信レートにバラツキが出てくることがある。
【００３９】
ビデオ会議では参加者同士でのバランスも重要であるので、第１の実施例を修正してビデオ会議の単位で送信レートの変更判断を行い、その会議に参加している全ての参加者の動画送信モジュールの送信レートを同時に連動させて制御する方法に関して説明する。
【００４０】
本実施例では各送信モジュールに対して送信フレームレートの変更判断が増加／低下／維持の何れかに決まる。
【００４１】
次に、会議参加者全員の前記変更判断が全て増加（１人以上）または維持立ったら会議としての変更判断を増加とし、会議参加者全員の前記変更判断が全て低下（１人以上）または維持だったら会議としての変更判断を低下とし、そのほかの場合は会議としての変更判断を維持とする。
【００４２】
会議としての判断が増加または低下と決まれば、その時点で会議参加者の全ての動画送信モジュールにその要求を出し、送信レートを調整する（図７参照）。
【００４３】
〔第３の実施例〕
図８は本実施例を実現するための機能モジュールの構成図である。尚、図８中で図１と同一部分には同一符号を付し、その説明を省略する。
【００４４】
図８において、１０４は音声送信モジュール、１０５は音声受信モジュールである。尚、図８の１０１〜１０５はソフトウエアとして実現される。
【００４５】
図９は本実施例を実現するワークステーションのハードウエア構成図である。尚、図９中で図２と同一部分には同一符号を付し、その説明を省略する。
【００４６】
図９において、２１５は音声を入力するためのマイク、２１６は音声を出力するためのスピーカー、２１７は音声データを圧縮伸長回路を備えたオーディオボードである。
【００４７】
以下、音声送信モジュール、音声受信モジュール及び実レート情報管理モジュールの処理の説明をする。尚、動画送信モジュール及び動画受信モジュールの処理は第１の実施例と同様であるので説明を省略する。
【００４８】
〈音声送信モジュールの処理〉
音声送信モジュールはオーディオデバイスをオープンした後、read  システムコールにより音声データを得た後、そのデータをUDP/IPネットワークプロトコルを用いて複数の音声受信モジュールに送信する。この音声獲得及び音声送信を繰り返すことで送信モジュールは音声送信を行う。
【００４９】
音声の場合は動画フレームのような送信の基準単位となる概念はなく、切れ目のない連続メディアなので、ある単位時間分(0.01 〜0.2 秒程度）の音声データを単位としてパケットに分割しながら繰り返し送信を行う。
【００５０】
〈音声受信モジュールの処理〉
音声受信モジュールでは送信モジュールからのパケットの到着を待ち、１パケットの音声データを得たらそれをオーディオデバイスにwrite システムコールにより書き込み、音声を再生する。
【００５１】
複数の音声を同時に受信する場合は、受信した音声データを図１０に示すリングバッファに順に値を加える。ここで、それぞれの受信モジュールがバッファに値を加えることで、複数の音声はミキシングされる。このミキシングされたバッファ上のデータを一定時間間隔ごとに、ミキサーモジュールが順にwrite システムコールによりオーディオデバイスに書き込み音声を再生し、その後、再生区間のバッファをゼロクリアしておく。
【００５２】
動画像と同様に音声にもUDP/IPプロトコルを用いており、ネットワークの混雑や受信側のCPU 負荷によりパケットを損失し、音切れ等の原因になる。送信側からのパケットにはシリアル番号情報が付けられており、シリアル番号の抜けを調べることで損失量が計測できる。
【００５３】
音声受信モジュールはある一定間隔毎に（１秒程度）、その受信率（受信したパケット数／（受信したパケット数＋損失したパケット数））を計算し、実レート情報管理モジュールへ報告する。
【００５４】
〈実レート情報管理モジュールの処理〉
本実施例の実レート情報管理モジュールの処理を図１１を参照しながら説明する。
【００５５】
図１１は実レート情報管理モジュールのフレームレート制御処理を示すフローチャートである。尚、フレームレート制御はＣＰＵ２１１’によって行われている。
【００５６】
実レート情報管理モジュールはある送信モジュールが送出する動画像及び音声を受信している複数の受信モジュールからの動画受信率と音声受信率とをもとに、送信側の動画の送信フレームレートを制御する。
【００５７】
ここでは音声の安定した受信処理が、動画像のフレームレートを向上させるよりも優先度が高く、安定した受信処理を回復させるためには、フレームレートを低下させることで音声送受信処理を安定させる考え方に基づいている。
【００５８】
図１１において、ステップＳ２１では音声受信モジュール全てからの受信率を受け取ったか判断する。受け取っていなければ全ての音声受信モジュールの受信率データを受け取るまで待機する。受け取っているならばステップＳ２２へ進む。
【００５９】
ステップＳ２２では報告された音声受信率が全て所定閾値（本実施例では９０％）以上ならステップＳ２３へ進み、そうでなければステップＳ２８へ進む。
【００６０】
ステップＳ２８では、送信側のフレームレートをある割合（本実施例では２０％程度）で減少させる制御信号を送信モジュール側へ送信する。
【００６１】
ステップＳ２３では動画受信モジュール全てからの受信率データを受け取ったかを判断する。受け取っていなければ全ての動画受信モジュールの受信率データを受け取るまで待機する。受け取っているならばステップＳ２４へ進む。
【００６２】
ステップＳ２４では報告された動画受信率が全て１００％かどうかを判断する。全て１００％ならステップＳ２５へ進み、送信側のフレームレートをある割合（本実施例では１０％程度）で増加させる制御信号を送信モジュール側へ送信する。
【００６３】
一方、ステップＳ２４で動画受信率が全て１００％ではないときステップＳ２６へ進み、報告された動画受信率が全て所定閾値以下（本実施例では９０％程度）かどうかを判断する。
【００６４】
ステップＳ２４で報告された受信率が全て所定閾値以下ならステップＳ２７へ進み、フレームレートを所定の割合（本実施例では１０％程度）で低下させる制御信号を送信モジュール側へ送信する。
【００６５】
ステップＳ２６で報告された動画受信率が全て所定閾値以下でない場合には、現状のフレームレートを維持する。
【００６６】
つまり、フレームレートの増加または低下の変更判断が行われると、直ちに実レート情報管理モジュールは動画送信モジュールにその要求を出し、動画送信モジュールが送信レートを調整する。
【００６７】
〔第４の実施例〕
第４の実施例は上記第３の実施例にフレームレート手動調整機能を付加したことである。
【００６８】
まず、ユーザーインタフェースモジュールによるフレームレート手動調整機能を説明する。
【００６９】
各端末に動画像の送信モジュールの現在の要求フレームレート及び実フレームレート（実際には要求フレームで遅れない場合もあるので）と、それに対応する複数の受信モジュールの動画及び音声の受信率を例えばディスプレイ２０３にウインドウとして一覧表示するためのユーザーインタフェースモジュールを備える（図１２参照）。尚、図１２に示したデータは、実レート情報管理モジュールが管理し、各送受信モジュールにそのデータを送信している。
【００７０】
図１２において、３０１が要求フレームレート、３０２が実フレームレート、３０３が受信モジュールの動画受信率、３０４が受信モジュールの音声受信率を表す。これらのデータは自動調整及び手動調整時にかかわらず、常に値が更新され各端末使用者は、現在の状況を把握することができる。
【００７１】
３０５はモード変更キー、３０６、３０７はフレームレート変更キーである。
【００７２】
モード変更キー３０５、フレームレート変更キー３０６、３０７のキー操作はマウスで指示し、クリックすることによって行われる。
【００７３】
モード変更キー３０５は、キー操作毎に自動調整モードと手動調整モードが切り替わる。自動調整モードから手動調整モードに切り替えた場合、初期要求フレームレートは自動調整モードでの直前の要求フレームレートの値に設定される。
【００７４】
３０６、３０７はフレームレート変更キーで、要求フレームレート変更することが可能です。フレームレート変更キー３０６はこのキー操作によりフレームレートを1 fps 単位で増加させ、フレームレート変更キー３０７はこのキー操作によりフレームレートを1 fps 単位で減少させることができる。ただし、フレームレート自体が 1 fpsを切る場合には、0.1 fps 単位となり、またその値は0.1 より小さくはならない。ここで fpsはframes per second （フレーム／秒）を表す。
【００７５】
尚、自動調整モードにおいて、フレームレート変更キー３０６、３０７を直接操作すると、手動調整モードに自動的に切り替わる。
【００７６】
このユーザーインタフェースモジュールは上記のような操作に対して、実レート情報管理モジュールに以下のような制御信号を送ることになる。
【００７７】
モード変更キー３０５を操作するごとに、自動調整モードを設定する制御信号あるいは手動調整モードに設定する制御信号を実レート情報管理モジュールに送信する。
【００７８】
フレームレート変更キーを操作すると、要求フレームレートを指定値に設定する制御信号を実レート情報管理モジュールに送信する。
【００７９】
また、一覧表示のために要求送信レート、実送信レート、動画受信率、音声受信率などの値は、共有メモリ上に置かれ、常に任意のモジュールから参照可能な実現形態を採る。
【００８０】
次に、アプリケーションインターフェースによるフレームレート制御を説明する。アプリケーションインターフェースは、他の共同作業プログラムの中から上記制御信号に対応する動作を要求する関数ライブラリを提供する。実際には、前記ユーザーインタフェースモジュールが実レート情報管理モジュールに送信していた制御信号を送るような関数が対応して用意される。
【００８１】
ここで提供される関数は以下のようになる。
【００８２】
ReturnCode SetRateControlMode (SendHost,ModeType);
ReturnCode SetRateValue (SendHost,RateValue);
尚、SendHost は会議参加している端末ノードを指定するもので、ModeTypeは手動／自動モードの種類を指定するもので、RateValue は指定レート値を指定するためのものである。
【００８３】
ここでの関数を用いることで、アプリケーションの中で自らの処理に影響を与える端末ノードの動画送信フレームレートを一旦下げておいて、負荷の重い早く終了したい自らの処理を行い、さらにフレームレートを復帰させると共に自動調整モードに戻すことで、よりスムーズな会議進行が可能となる。
【００８４】
尚、本発明はその精神又は主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。
【００８５】
特許請求の範囲の均等範囲に属する変形や変更はすべて本発明の範囲内のものである。
【００８６】
【発明の効果】
以上説明したように本願の発明によれば、ＣＰＵ等の処理能力の無駄使いとなるような動画像データの伝送を防止でき、状況に応じた適切な動画フレームレートで動画像データを伝送することができる。
また、本願の発明によれば、音声データの受信処理を安定させることができるので、例えばテレビ会議において重要な発言を聞き逃すようなことを防止することができる。
【図面の簡単な説明】
【図１】第１の実施例を実現するための機能モジュールの構成図である。
【図２】第１の実施例を実現するワークステーションのハードウエアの構成図である。
【図３】第１の実施例の実レート管理モジュールのフレームレート制御処理を示すフローチャートである。
【図４】フレームレート更新判断（増加）を模式的に示した図である。
【図５】フレームレート更新判断（低下）を模式的に示した図である。
【図６】フレームレート更新判断（維持）を模式的に示した図である。
【図７】第２の実施例の複数の動画送信モジュールの送信フレームレートの同時制御を模式的に示した図である。
【図８】第３の実施例を実現するための機能モジュールの構成図である。
【図９】第３の実施例を実現するワークステーションのハードウエアの構成図である。
【図１０】複数音声の受信と音声再生を模式的に示した図である。
【図１１】第３の実施例の実レート管理モジュールのフレームレート制御処理を示すフローチャートである。
【図１２】フレームレート調整ユーザインタフェースによるフレームレート調整用の表示画面を表した図である。
【図１】
0003658087.tif 000002
【図２】
0003658087.tif 000003
【図３】
0003658087.tif 000004
【図４】
0003658087.tif 000005
【図５】
0003658087.tif 000006
【図６】
0003658087.tif 000007
【図７】
0003658087.tif 000008
【図８】
0003658087.tif 000009
【図９】
0003658087.tif 000010
【図１０】
0003658087.tif 000011
【図１１】
0003658087.tif 000012
【図１２】
0003658087.tif 000013