(57)【要約】【課題】ピアツーピア型のネットワーク形態を用いて、各会議参加者の端末装置ごとに巻戻し再生を行うことのできるテレビ会議を提供する。【解決手段】端末装置５は、端末装置２・３・４毎に、端末装置２・３・４から受信した映像および音声の少なくとも一方のデータを格納する映像キャッシュ部１１または音声キャッシュ部１２と、端末装置２・３・４の少なくともいずれか１つに対応する映像または音声データを、映像キャッシュ部または音声キャッシュ部１２から読み出して、巻戻し再生する再生手段とを備える。これにより、端末装置５は、端末装置２・３・４から受信したデータを個別に巻戻し再生することができる。【選択図】図１
2008236553.tif 000002
【特許請求の範囲】
【請求項１】
ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくとも一方のデータを相互に送受信し、受信した該データを再生するテレビ会議システムにおける端末装置であって、
通信相手の端末装置毎に、当該端末装置から受信した前記データを格納する一時記憶手段と、
前記通信相手の端末装置の少なくともいずれか１つに対応する前記データを、前記一時記憶手段から読み出して再生する再生手段と、を備えることを特徴とする端末装置。
【請求項２】
前記一時記憶手段は、自装置のユーザの映像および音声の少なくとも一方のデータを格納するとともに、
前記再生手段は、自装置のユーザの前記データを、前記一時記憶手段から読み出して、再生することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記再生手段は、前記一時記憶手段に格納されているデータを再生すると同時に、前記通信相手の端末装置および自装置のうちの少なくともいずれか１つから受信した、映像および音声の少なくとも一方のデータを再生する請求項１または２に記載の端末装置。
【請求項４】
前記再生手段が、前記通信相手の端末装置から受信した前記データを、前記一時記憶手段から読み出して再生する際、当該通信相手の端末装置へ、自装置において巻戻し再生している旨を通知する巻戻し通知手段を、さらに備えることを特徴とする請求項１〜３のいずれか１項に記載の端末装置。
【請求項５】
前記一時記憶手段に格納されている、自装置および前記通信相手の各端末装置のうちの少なくともいずれか１つから受信した、映像および音声の少なくとも一方のデータを、外部へ送信するデータ送信手段を、さらに備えることを特徴とする請求項１〜４のいずれか１項に記載の端末装置。
【請求項６】
ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくとも一方のデータを相互に送受信し、受信した該データを再生するテレビ会議システムにおける端末装置の制御方法であって、
通信相手の端末装置毎に、当該端末装置から受信した前記データを格納可能な一時記憶手段に、該データを格納するステップと、
前記通信相手の端末装置の少なくともいずれか１つに対応する前記データを、前記一時記憶手段から読み出して再生する再生ステップと、を含むことを特徴とする端末装置の制御方法。
【請求項７】
ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくとも一方のデータを相互に送受信し、受信した該データを再生するテレビ会議システムにおける端末装置の制御プログラムであって、
通信相手の端末装置毎に、当該端末装置から受信した前記データを格納可能な一時記憶手段に、該データを格納するステップと、
前記通信相手の端末装置の少なくともいずれか１つに対応する前記データを、前記一時記憶手段から読み出して再生する再生ステップとを、コンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して接続した複数の端末装置を用いてテレビ会議を行うための端末装置、端末装置の制御方法、端末装置の制御プログラムに関するものである。
【背景技術】
【０００２】
近年、音声や映像の符号化技術の急速な発達に伴い、２地点以上の遠隔地において、インターネットプロトコル（ＩＰ）等の通信網を介して、音声や映像などをやり取りすることによって、同時かつ双方向の会議を実現する多地点電子会議システムが注目されている。
【０００３】
このような多地点電子会議システムでは、会議参加者が、多地点に散在していても、１つの会議室に一堂に会しているかのように、その会議の音声や映像を同時に共有することができる。このことより、出張などの手間や経費を削減することができるので、多地点電子会議システムは、企業を中心に急速に普及している。
【０００４】
しかしながら、このような電子会議システムでは、会議参加者が複数であるため、会議参加者同士で同時に発言したりする場面があり得る。この場合、発言者以外の他の会議参加者が、同時に発言した発言者の発言内容を正確に把握することは難しい。また、会議参加者の中には、テレビ会議進行中に、他の会議参加者の発言した内容をもう一度聞き直したいと望む人も存在し得る。この場合、テレビ会議の進行を中断して、発言内容を聞き直すことになるため、会議の円滑な進行を妨げることになり、他の会議参加者に不快感を与えるおそれがある。
【０００５】
以上のようなことから、テレビ会議システムにおいて、データ受信時に一定時間分のデータをキャッシュし、キャッシュしているデータを再生することのできる巻戻し技術を用いることが求められる。
【０００６】
なお、一般的なデータの巻戻し技術については、例えば、下記の特許文献１〜３に開示されている。
【０００７】
特許文献１には、ラジオ等のオーディオ装置に利用され、使用者が聴き逃した情報を使用者の操作によって過去一定時間の情報を再び聴くことのできる音声メモリ再生装置が開示されている。
【０００８】
また、特許文献２には、受信した放送の映像・音声をリアルタイムで出力することの他に、所定の時間記録することのできる半導体メモリを備え、受信した映像・音声を常時記録し、再生が選択されるとその時点から予めセットされた所定の時間さかのぼって再生する映像・音声装置が開示されている。
【０００９】
また、特許文献３には、入力された音声の特性を加工して低速度で呈示する機能と、入力された音声を繰返し再生できる機能を有するデジタル補聴器が開示されている。
【特許文献１】特開平０８−２９２８００号公報（平成８年１１月５日公開）
【特許文献２】特開平０７−３０４５５号公報（平成７年１月３１日公開）
【特許文献３】特開平０５−５６４９９号公報（平成５年３月５日公開）
【特許文献４】特開２００５−３１１６７０号公報（平成１７年１１月４日公開）
【特許文献５】特開２００６−１４８７３０号公報（平成１８年６月８日公開）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、上記多地点電子会議システムのような複数の端末装置間での通信のネットワーク形態には、ネットワークを介して特定の処理を提供するサーバと、該処理を依頼するクライアントである端末装置とから構成されるクライアントサーバ型と、複数の端末装置が対等の関係にあり、サーバを介さずに各端末装置が直接的にデータのやり取りを行うピアツーピア型とがある。図１３は、クライアントサーバ型のネットワーク形態を用いた通信の様子を示す概略図である。また、図２は、本発明の説明図であり、ピアツーピア型のネットワーク形態を用いた、本発明のテレビ会議システムの概略構成を示す図である。
【００１１】
図１３に示すように、クライアントサーバ型のネットワーク形態を用いた電子会議では、ビデオ会議サーバ１００が、まず、会議参加者ａ，ｂ，ｃのそれぞれから受信した音声や映像のデータをミキシングする。そして、会議参加者ａ，ｂ，ｃの端末装置が、ミキシング後に各会議参加者ａ，ｂ，ｃに送信される音声や映像のデータを再生する構成となっている。
【００１２】
一方、図２に示すように、ピアツーピア型のネットワークを介した電子会議では、中継サーバ６がデータの中継処理しか行わないため、中継サーバ６は、各会議参加者Ａ，Ｂ，Ｃ，Ｄから送信されたデータをミキシングすることなく、データの送信者を除く各会議参加者にそれぞれに送信する。そして、データを受信した各会議参加者の端末装置が、それぞれミキシングを行い再生する構成となっている。例えば、会議参加者（ユーザ）Ａの端末装置２は、中継サーバ６を介して、会議参加者Ｂ，Ｃ，Ｄからのデータを受信するが、中継サーバ６ではデータを中継するのみであるため、会議参加者Ｂ，Ｃ，Ｄからのデータを直接的に受信しているのと同様である。すなわち、会議参加者Ａの端末装置２が、会議参加者Ｂ，Ｃ，Ｄの端末装置３、４、５からのデータをミキシングし、その後に再生する。なお、このようなピアツーピア型のネットワーク形態を介したテレビ会議システムの一例が特許文献４に開示されている。
【００１３】
また、上記クライアントサーバ型のネットワーク形態を介した電子会議に、前記巻戻し技術を搭載した会議システムが、特許文献５に開示されている。具体的には、特許文献５には、サーバの機能を有するディスプレイステーションが電子会議の画面を一定間隔でキャプチャして、画面データとして保存する構成が開示されている。また、クライアントに対応するノートＰＣは、該保存した電子会議の記録データをコピーして有し、該コピーした会議記録データを用いて、電子会議を巻戻し再生する技術が開示されている。
【００１４】
しかしながら、このようなクライアントサーバ型のネットワーク形態を介した電子会議では、サーバが各会議参加者から受信したデータをミキシングし、ミキシング後のデータを各会議参加者に送信しているため、会議参加者ごとに巻戻し再生を行うことができないという問題が生じる。
【００１５】
そこで、本発明は、上記従来の問題点に鑑みてなされたものであって、その目的は、ピアツーピア型のネットワーク形態を用いて、各会議参加者の端末装置ごとに巻戻し再生を行うことのできるテレビ会議システムにおける端末装置、端末装置の制御方法、端末装置の制御プログラムを提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明に係る端末装置は、ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくとも一方のデータを相互に送受信し、受信した該データを再生するテレビ会議システムにおける端末装置であって、通信相手の端末装置毎に、当該端末装置から受信した前記データを格納する一時記憶手段と、前記通信相手の端末装置の少なくともいずれか１つに対応する前記データを、前記一時記憶手段から読み出して、再生する再生手段とを備えることを特徴としている。
【００１７】
また、本発明に係る端末装置の制御方法は、ピアツーピア型ネットワークで接続された複数の端末装置が、映像および音声の少なくとも一方のデータを相互に送受信し、受信した該データを再生するテレビ会議システムにおける端末装置の制御方法であって、通信相手の端末装置毎に、当該端末装置から受信した前記データを格納可能な一時記憶手段に該データを格納するステップと、前記通信相手の端末装置の少なくともいずれか１つに対応する前記データを、前記一時記憶手段から読み出して、再生する再生ステップと、を含むことを特徴としている。
【００１８】
上記の構成および方法によれば、上記端末装置は、複数の通信相手の端末装置から受信した映像や音声データを該通信相手の端末装置毎に格納する一時記憶手段から、該通信相手の端末装置単位で、映像や音声データを読み出して、再生することができる。
【００１９】
このことより、各端末装置のユーザは、テレビ会議全体のデータを巻戻しすることなく、複数の通信相手のうち、巻戻しの対象として選択した通信相手のデータのみを個別に巻戻し再生をすることができる。
【００２０】
それゆえ、テレビ会議におけるもう一度確認したい箇所につてい、容易に巻戻し再生することが可能となる。
【００２１】
さらに、本発明に係る端末装置は、前記一時記憶手段が、自装置のユーザの映像および音声の少なくとも一方のデータを格納するとともに、前記再生手段が、自装置のユーザの前記データを、前記一時記憶手段から読み出して、再生することが好ましい。
【００２２】
上記構成によれば、上記一時記憶手段は、自装置のユーザが、カメラやマイク等を介して、自装置に取り込んだ映像や音声データを、個別に格納することができ、かつ、上記再生手段によって個別に巻戻し再生することができる。すなわち、自装置のユーザは、自身の映像または音声データを巻戻し再生することができる。
【００２３】
このことより、自装置のユーザは、巻戻しの対象として選択した通信相手のみならず、該自装置のユーザと該通信相手との会話を巻戻し再生することが可能となる。
【００２４】
さらに、本発明に係る端末装置は、前記再生手段が、前記一時記憶手段に格納されているデータを再生すると同時に、前記通信相手の端末装置および自装置のうちの少なくともいずれか１つから受信した、映像および音声の少なくとも一方のデータを再生することが好ましい。
【００２５】
上記の構成によれば、通信相手の端末装置から送信される該通信相手のリアルタイムな映像または音声と、上記一時記憶手段に格納している該通信相手の端末装置の映像または音声データによる巻戻しの映像または音声とを同時に再生することができる。
【００２６】
これにより、巻戻し再生を行いながらも、リアルタイムな映像または音声を再生することができるため、テレビ会議を進行し続けながらも、巻戻し再生によって聞き逃した等の再度再生したい箇所の確認をすることが可能となる。
【００２７】
さらに、本発明に係る端末装置は、前記再生手段が、前記通信相手の端末装置から受信した前記データを、前記一時記憶手段から読み出して再生する際、当該通信相手の端末装置へ、自装置において巻戻し再生している旨を通知する巻戻し通知手段を、さらに備えることが好ましい。
【００２８】
上記の構成によれば、自装置において、ある通信相手の端末装置の映像または音声のデータが巻戻し再生されている旨を、当該通信相手の端末装置に通知する。
【００２９】
これにより、当該通信相手の端末装置のユーザは、自分の音声が聞き取りにくかった等を把握することができ、それを改善することが可能となるため、より快適にテレビ会議を行うことができる。
【００３０】
さらに、本発明に係る端末装置は、前記一時記憶手段に格納されている、自装置および前記通信相手の各端末装置のうちの少なくともいずれか１つから受信した、映像および音声の少なくとも一方のデータを、外部へ送信するデータ送信手段を、さらに備えることが好ましい。
【００３１】
上記の構成によれば、自装置および通信相手の各端末装置から受信し、格納している映像または音声データを、外部に送信することができる。例えば、テレビ会議へ途中参加する端末装置があった場合に、テレビ会議開始時から該端末装置が途中参加する時点までの、該テレビ会議におけるすべてのユーザの映像および音声の過去のデータを、該途中参加する端末装置に供給することができる。
【００３２】
これにより、途中参加する端末装置のユーザは、テレビ会議における非参加状態である箇所のデータを取得し、巻戻し再生することができるため、テレビ会議開始時からの全体の内容を把握することができる。よって、途中参加する端末装置のユーザは、他の会議参加者に影響を与えることなく、スムーズにテレビ会議へ参加することができる。それゆえ、テレビ会議を円滑に進行することが可能となる。
【００３３】
なお、上記端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラムも本発明の範疇に入る。
【発明の効果】
【００３４】
以上のように、本発明に係る端末装置は、通信相手の端末装置毎に、当該端末装置から受信した前記データを格納する一時記憶手段と、前記通信相手の端末装置の少なくともいずれか１つに対応する前記データを、前記一時記憶手段から読み出して再生する再生手段とを備える構成である。
【００３５】
また、本発明に係る端末装置の制御方法は、通信相手の端末装置毎に、当該端末装置から受信した前記データを格納可能な一時記憶手段に該データを格納するステップと、前記通信相手の端末装置の少なくともいずれか１つに対応する前記データを、前記一時記憶手段から読み出して再生する再生ステップとを含む方法である。
【００３６】
それゆえ、ピアツーピア型のネットワーク形態を用いて、各会議参加者の端末装置ごとに巻戻し再生を行うことのできる電子会議を提供できるという効果を奏する。
【発明を実施するための最良の形態】
【００３７】
本発明の一実施形態について図１ないし図１２に基づいて説明すれば、以下の通りである。
【００３８】
本実施の形態では、ピアツーピア型のネットワークを介して接続された複数のパーソナルコンピュータ間で行う電子会議において、ある電子会議参加者の発言を聞き逃した場合に、聞き逃した該会議参加者の発言を巻戻して再生することができるテレビ会議システムについて説明する。
【００３９】
ピアツーピア型のネットワークとは、複数の端末装置が対等の関係にあり、各端末装置が直接的にデータのやり取りを行うものである。ピアツーピア型のネットワークを介したテレビ会議の概要について、図２を用いて具体的に説明すると、以下のとおりである。
【００４０】
図２に示すように、会議参加者Ａの端末装置から出力された音声や映像のデータは、データの中継のみを行う中継サーバ６を介して、会議参加者Ｂ，Ｃ，Ｄに送信される。また、会議参加者Ｂの端末装置３から出力された音声や映像のデータは会議参加者Ａ，Ｃ，Ｄの端末装置２，４，５に、会議参加者Ｃの端末装置４からの音声や映像のデータは会議参加者Ａ，Ｂ，Ｄの端末装置２，３，５に、会議参加者Ｄの端末装置５からの音声や映像のデータは会議参加者Ａ，Ｂ，Ｃの端末装置２，３，４にそれぞれ送信される。そして、会議参加者Ｂ，Ｃ，Ｄの端末装置３，４，５からのデータを受信した会議参加者Ａの端末装置２では、会議参加者Ａの音声や映像のデータと、受信した会議参加者Ｂ，Ｃ，Ｄの音声や映像のデータとをミキシングして、再生する。なお、会議参加者Ｂ，Ｃ，Ｄの端末装置３，４，５においても同様の動作が行われる。
【００４１】
まず、本実施の形態におけるテレビ会議システム１の構成について、図１および図３を用いて説明する。
【００４２】
図１は、端末装置の概略構成を示す機能ブロック図である。図３は、テレビ会議システム１の全体の構成を示す説明図である。
【００４３】
図３に示すように、テレビ会議システム１は、会議参加者（以下、単にユーザ）Ａ〜Ｄのそれぞれが使用する端末装置２〜５と、中継サーバ６と、ネットワーク７とから構成される。
【００４４】
テレビ会議システム１は、図３に示すように、ピアツーピア型のネットワーク形態で接続された複数の端末装置２・３・４・５が、映像および音声の少なくともいずれか一方のデータを相互に送受信することによりテレビ会議を行うシステムである。
【００４５】
端末装置２〜５には、パーソナルコンピュータを用いることができる。各端末装置の構成についての詳細な説明は後述する。
【００４６】
中継サーバ６は、ピアツーピア型のネットワーク形態におけるサーバであるため、ミキシングを行わずに、に、各端末装置間の通信のデータを中継する処理のみを行う。
【００４７】
また、ネットワーク７は、インターネット、携帯電話網や有線電話網等の公衆通信網、専用通信回線等の非公衆通信網等の１または複数の通信網から構成されている。また、ネットワーク７は、インターネットプロトコル（ＩＰ）を用いたネットワークであり、端末装置２〜５等のネットワーク７に接続される各機器には、ＩＰアドレスが割り当てられている。
【００４８】
（端末装置の構成）
次に、各端末装置２〜５の構成について説明するが、ここでは、ユーザＤが使用する端末装置５（自装置）の構成について、図１および図４を用いて説明する。なお、会議参加者Ａ，Ｂ，Ｃの端末装置２、３、４の構成は、端末装置５と同一であるため、ここでは説明を省略する。
【００４９】
図４は、入出力情報記憶部２４に格納されるテーブルの一例を示す図である。
【００５０】
図１に示すように、端末装置５は、通信部８と、入出力制御部９と、キャッシュ制御部１０と、映像キャッシュ部１１と、音声キャッシュ部１２と、映像再生部（再生手段）１３と、音声再生部（再生手段）１４と、テレビ会議ＧＵＩ（graphical user interface）（巻戻し通知手段）１５と、カメラ１６と、マイク１７と、表示部１８と、操作部１９と、スピーカ２０と、記憶部２１と、会議データ送信部（データ送信手段）２６とを備える構成である。
【００５１】
通信部８は、中継サーバ６を介して端末装置２〜４と通信を行うものであり、端末装置２・３・４ごとに割り当てられた複数の入出力ポートを有する。ここで、入出力ポートは、通信相手であるユーザごと、または通信対象のデータ種別ごとに、中継サーバ６との間で張られている各コネクションのインタフェースである。具体的には、通信部８は、データがどの入出力ポートから入力されたかを示す情報（入出力ポート情報）とともに、該入出力ポートを介して入力されたデータを入力データ管理部２３に出力する。また、通信部８は、出力データ管理部２２から取得したデータを、出力データ管理部２２から取得したどの入出力ポートを介して該データを出力するかを示す情報（入出力ポート情報）によって指定された入出力ポートを介して、中継サーバ６に出力する。
【００５２】
入出力制御部９は、通信部８を介して行われる、外部とのデータの入出力を制御するものであり、出力データ管理部２２と入力データ管理部２３とを備える。
【００５３】
出力データ管理部２２は、端末装置５から他の端末装置２〜４（通信相手の端末装置）へ種々の情報を出力する際に用いるポートおよび他の端末装置２〜４へ出力するデータの管理をするものである。前記種々の情報とは、カメラ１６から入力された映像データと、マイク１７から入力された音声データと、テレビ会議ＧＵＩ１５から入力された制御情報とのことを指す。
【００５４】
該制御情報は、巻き戻し操作に関する何らかの制御を行うための情報の総称であり、具体的に、巻戻し情報、会議データがある。
【００５５】
該巻戻し情報とは、ユーザＤがどのユーザ（巻戻し対象ユーザ）のどのデータ（巻戻し対象データ）の巻戻し再生を行うかの情報と、どれくらいの時間分だけ巻戻し再生を行うか（巻戻し時間）の情報とからなる。
【００５６】
また、会議データとは、会議開始時から現在までの、会議中におけるユーザの音声または映像データのことをいう。会議データの詳細については、後述する。
【００５７】
具体的には、ユーザＤによって、マイク１７またはカメラ１６を介して音声データまたは映像データが入力されると、出力データ管理部２２は、該音声データまたは映像データの送信相手のユーザを特定し、送信対象が音声データであるかまたは映像データであるかを特定する。そして、出力データ管理部２２は、前記特定した情報を基に、入出力情報記憶部２４に格納されている入出力ポート情報格納テーブル（図４）を参照し、前記特定した送信相手のユーザおよび前記データの種別に対応する入出力ポートを選定する。そして、選定した入出力ポート情報と、ユーザＤによって入力された音声データまたは映像データとを、通信部８に出力する。また、出力データ管理部２２は、マイク１７またはカメラ１６を介して取得した音声データまたは映像データを入力データ管理部２３にも出力する。
【００５８】
例えば、テレビ会議に参加している参加者全員に、ユーザＤのデータを送信すると設定されている場合で、ユーザＤから音声の入力があったとき、出力データ管理部２２は、まず、ユーザＡからＣの参加者すべてに対して、音声データを送信すると特定する。そして、出力データ管理部２２は、該特定した情報を基に、入出力情報記憶部２４に格納されている入出力ポート情報格納テーブルを参照し、前記特定した情報に対応する、入出力ポート１，３，５を選定する。そして、出力データ管理部２２は、該選定した入出力ポート１，３，５の情報を通信部８に出力するとともに、入力された音声データを通信部８と入力ポート管理部２３とに出力する。
【００５９】
また、出力データ管理部２２は、ユーザＤが巻戻し操作を行うと、テレビ会議ＧＵＩ１５を介して巻戻し情報が入力される。出力データ管理部２２は、該入力された巻戻し情報から、データの種別が制御情報であることを特定するとともに、巻戻し対象のユーザを特定する。そして、出力データ管理部２２は、入出力情報記憶部２４の入出力ポート情報格納テーブルから、該特定したユーザおよびデータ種別に対応する入出力ポートを選定し、該選定した入出力ポートの情報と、入力された巻戻し情報とを通信部８に出力する。通信部８は、該選定した入出力ポートを介して、前記特定したユーザに巻戻し情報を送信する（巻戻し通知）。
【００６０】
例えば、ユーザＤが、ユーザＡの映像および音声データを２分間分巻戻しすることを選択して、巻戻し操作を行ったとすると、出力データ管理部２２には、テレビ会議ＧＵＩ１５を介して、巻戻し対象ユーザがユーザＡであること、巻戻し対象データが映像および音声データであること、および巻戻し時間が２分間であることとが巻戻し情報として入力される。出力データ管理部２２は、該巻戻し情報から、巻戻し対象ユーザがＡであることを認識し、ユーザＡを巻戻し通知（後述）の送信相手と特定する。また、出力データ管理部２２は、入力された情報が巻戻し情報であることより、データの種別は制御情報であると特定する。そして、出力データ管理部２２は、入出力ポート情報格納テーブルから、ユーザがユーザＡおよびデータ種別が制御情報に対応するポートであるポート３を選定し、該選定した入出力ポート情報を、巻戻し情報とともに通信部８に出力する。通信部８は、ポート３を介して、該巻戻し情報をユーザＡに送信する（巻戻し通知）。該巻戻し通知を受信したユーザＡの端末装置２は、図１０に示すように、「ユーザＤがあなたの映像および音声を巻戻し再生しています。」等のメッセージを、通信相手である端末装置２のテレビ会議ＧＵＩにより表示部１８に表示する。ここで、図１０は、ユーザＤの端末装置２の表示部１８におけるテレビ会議画面３０に表示された画像の一例を示す図である。
【００６１】
なお、出力データ管理部２２が、テレビ会議に途中参加した者によって会議データ要求があった場合に行う、出力データの管理については後述する。
【００６２】
入力データ管理部２３は、端末装置２〜４から受信したデータ（受信データ）、すなわち映像データ、音声データ、制御情報が、端末装置５に入力される際に用いられるポートおよび該受信データの管理をするものである。ここにおける、他の端末装置２〜４から入力される制御情報とは、端末装置２〜４のいずれかにおいてユーザＤの巻戻しが行われたときに通知される巻戻し通知である。
【００６３】
具体的には、入力データ管理部２３は、端末装置２〜４からの受信データと、該データを受信する際に用いられる入出力ポート情報とを通信部８から取得する。また、ユーザＤによって端末装置５に入力された映像または音声データがある場合には、ユーザＤの映像または音声データを出力データ管理部２２から取得する。そして、入力データ管理部２３は、通信部８から取得した入出力ポート情報およびを出力データ管理部２２から取得したデータを基に、入出力ポート情報格納テーブルを参照し、該テーブルから、該入出力ポート情報に対応するユーザおよびデータの種別の情報を取得する。そして、入力データ管理部２３は、取得したユーザおよびデータの種別の情報から、受信データの送信元のユーザを特定するとともに、受信データの種別を特定する。そして、入力データ管理部２３は、受信データとともに、特定したユーザと受信データの種別との情報をキャッシュ制御部１０に出力する。
【００６４】
例えば、ユーザＤによって端末装置５に音声データが入力された場合、入力データ管理部２３に、出力データ管理部２２から音声データが入力される。そして、入力データ管理部２３は、入出力ポート情報格納テーブルを参照し、該テーブルから、入出力ポートが出力データ管理部であり、データの種別が音声データである欄の情報を取得し、ユーザが自分、すなわちユーザＤであることの情報を取得する。そして、キャッシュ制御部１０に、ユーザＤの音声データである旨の情報を出力する。
【００６５】
また、入力データ管理部２３は、入出力ポート情報格納テーブルを参照して、取得した情報から、データの種別が映像データであると特定した場合は、該映像データを映像再生部１３へ出力する。一方、データの種別が音声データであると特定した場合、入力データ管理部２３は、該音声データを音声再生部１４へ出力する。
【００６６】
ただし、データの種別が制御情報であると特定した場合には、入力データ管理部２３は、該制御情報、すなわち、端末装置２〜４のいずれかにおいてユーザＤの映像または音声が巻戻し再生されている旨の巻き戻し通知をテレビ会議ＧＵＩ１５に出力する。そして、テレビ会議ＧＵＩ１５は、図１０に示すように、該巻き戻し通知に応じて、どのユーザがユーザＤのデータを巻戻しているかをテレビ会議画面３０（後述）に表示する。このとき、テレビ会議ＧＵＩ１５は、ユーザＤのデータを何分間巻戻すかを一緒に表示してもよい。
【００６７】
例えば、通信部８の入出力ポート１，３（図４）を介して、端末装置５にデータが入力されたとすると、入力データ管理部２３は、通信部８から、受信データとともに、入出力ポート１，３を介して受信した旨の入出力ポート情報を取得する。そして、入力データ管理部２３は、該入出力ポート情報に基づいて、入出力ポート情報格納テーブルから、ポート１，３のそれぞれに対応するユーザおよびデータ種別の情報を取得する。ここでは、入出力ポート１を介した受信データは、ユーザＡから送信された音声データであり、入出力ポート３を介した受信データは、ユーザＡから送信された制御情報である。入力データ管理部２３は、キャシュ制御部１０に、ユーザＡから音声データを受信した旨の情報を出力するともに、該受信した音声データをユーザＡの音声データとして音声再生部１４に出力する。また、入力データ管理部２３は、ユーザＡから受信した制御情報、すなわち、ユーザＡの端末装置においてユーザＤが巻戻しされている旨の巻戻し通知をテレビ会議ＧＵＩ１５に出力する。
【００６８】
記憶部２１は、端末装置５の各種機能を実行するために必要なプログラムやデータ等を格納するメモリやハードディスク等であり、入出力情報記憶部２４を備える。
【００６９】
入出力情報記憶部２４は、入出力ポート情報格納テーブルを格納しており、出力データ管理部２２が、端末装置５からデータを出力する際にどの入出力ポートを介して出力するかを特定するための情報を管理するものである。また、入力データ管理部２３が端末装置５へ入力されたデータの送信元となる端末装置と、入力されたデータの種別を特定するために参照する情報を格納するものである。
【００７０】
具体的に、入出力ポート情報格納テーブルは、端末装置５にデータが入出力される際に、どの入出力ポートを介したかを示す入出力ポート情報と、各入出力ポートを介して入出力されるデータがどのユーザとコネクションされているかを示す情報と、各入出力ポートを介して入出力されるデータが映像データ、音声データ、制御情報のいずれのデータであるかを示す情報とを対応付けたテーブルである。このテーブルの一例は図４に示すとおりである。
【００７１】
また、図４のテーブルでは、ユーザの情報をＡ，Ｂ，Ｃと示しているが、実際は、テレビ会議に参加する際に、それぞれのユーザに付されるテレビ会議用ＩＤの情報が格納されている。
【００７２】
キャッシュ制御部１０は、入力データ管理部２３から入力された情報に基づき、映像キャッシュ部１１および音声キャッシュ部１２を制御するものである。
【００７３】
具体的には、入力データ管理部２３から取得したデータの種別の情報が映像データである場合、キャッシュ制御部１０は、映像キャッシュ部１１を選択する。そして、入力データ管理部２３からのデータ送信元であるユーザの情報に対応する端末装置のデータ格納領域（後述）を選択して、該映像データを格納する。一方、入力データ管理部２３から取得したデータの種別が音声データである場合は、キャッシュ制御部１０は、音声キャッシュ部１２のうちの、該音声データの送信元の端末装置に対応するデータ格納領域に、該音声データを格納する。
【００７４】
例えば、入力データ管理部２３から、端末装置５に入力されたデータがユーザＡの映像データである旨の情報を取得すると、キャッシュ制御部１０は、映像キャッシュ部１１のユーザＡに対応するデータ格納領域１１ａに、端末装置５に入力された映像データを保存する。
【００７５】
映像キャッシュ部１１は、データの種別が映像であるデータを一時的に記憶するものであり、受信データの送信元である端末装置ごと、すなわちユーザごとに受信した映像データを記憶するものである。
【００７６】
具体的には、図１に示すように、映像キャッシュ部１１は、ユーザＡのデータを格納するデータ格納領域１１ａと、ユーザＢのデータを格納するデータ格納領域１１ｂと、ユーザＣのデータを格納するデータ格納領域１１ｃと、自身であるユーザＤのデータを格納するデータ格納領域１１ｄとを備える。
【００７７】
音声キャッシュ部１２は、受信データの種別が音声であるデータを、一時的に記憶するものであり、受信データの送信元であるユーザごとに記憶するものである。
【００７８】
具体的には、図１に示すように、音声キャッシュ部１２は、ユーザＡの音声データを格納するデータ格納領域１２ａと、ユーザＢの音声データを格納するデータ格納領域１２ｂと、ユーザＣの音声データを格納するデータ格納領域１２ｃと、自身であるユーザＤの音声データを格納するデータ格納領域１２ｄとを備える。
【００７９】
映像再生部１３は、入力データ管理部２３から入力される各ユーザの映像データを、テレビ会議ＧＵＩ１５を介して、表示部１８上のテレビ会議画面３０（図７〜図１０）で再生させるものである。この再生される映像を、以下、「リアルタイム映像」とする。また、ユーザＤによって映像データの巻戻し操作が行われると、映像再生部１３は、テレビ会議ＧＵＩ１５からの巻戻し情報に含まれる巻戻し対象のユーザのデータ格納領域１１ａ〜１１ｄから、該巻戻し情報に含まれる巻戻し時間分の映像データだけ読み出し、テレビ会議画面３０で再生させる。この巻き戻された映像を、以下、「巻戻し映像」とする。
【００８０】
ここで、図７は、テレビ会議画面３０に表示された映像の一例を示す図である。図８〜図１０は、テレビ会議画面３０に表示された映像の他の一例を示す図である。
【００８１】
テレビ会議画面３０とは、テレビ会議ＧＵＩ１５によって、表示部１８上に表示される画面であり、テレビ会議に参加するユーザや自分の映像を表示する画面である。具体的には、図７に示すように、テレビ会議画面３０は、テレビ会議に参加している他のユーザＡ〜Ｃの映像を表示する領域と、巻戻しの操作指示をテレビ会議ＧＵＩ１５に行う巻戻しボタンや、巻戻し時間の設定を行うつまみ等のユーザＤがテレビ会議において種々の設定を行う操作ボタン領域とを有する。ユーザＤは、該テレビ会議画面３０を介して、テレビ会議に参加する他のユーザ、または自分の映像を確認することができる。
【００８２】
例えば、映像再生部１３は、ユーザＡのリアルタイム映像を再生するとき、図７に示すようなテレビ会議画面３０上に割り当てられたユーザＡの映像を表示する領域（ユーザＡの表示領域）に、ユーザＡのリアルタイム映像のデータを再生させる。また、映像再生部１３は、ユーザＢのリアルタイム映像を再生するとき、テレビ会議画面３０上に割り当てられたユーザＢの映像を表示する領域（ユーザＢの表示領域）に、ユーザＢのリアルタイム映像のデータを再生させる。また、ユーザＣのリアルタイム映像を再生するとき、テレビ会議画面３０上に割り当てられたユーザＣの映像を表示する領域（ユーザＣの表示領域）に、ユーザＣのリアルタイム映像のデータを再生させる。
【００８３】
また、ユーザＡおよびユーザＣの映像を巻戻し再生することがユーザＤによって選択されると、映像再生部１３は、上記テレビ会議画面３０上に割り当てられたユーザＡの表示領域に、ユーザＡのリアルタイム映像の代わりにユーザＡの巻戻し映像を再生すると同時に、上記テレビ会議画面３０上に割り当てられたユーザＣの表示領域に、ユーザＣのリアルタイム映像の代わりに、ユーザＣの巻戻し映像を再生する。
【００８４】
音声再生部１４は、入力データ管理部２３から入力される各ユーザの音声データをミキシングして、スピーカ２０を介して再生させるものである。この再生される音声を、以下、「リアルタイム音声」とする。
【００８５】
また、ユーザＤによって音声データの巻戻し操作が行われると、音声再生部１４は、テレビ会議ＧＵＩ１５からの巻戻し情報に含まれる巻戻し対象のユーザのデータ格納領域１２ａ〜１２ｄから、該巻戻し情報に含まれる巻戻し時間分の音声データだけを読み出し、読み出した音声のミキシングを行い、スピーカ２０を介して再生させる。この巻き戻された音声を、以下、「巻戻し音声」とする。
【００８６】
また、音声再生部１４は、巻戻し音声とリアルタイム音声とを同時に再生させる場合には、巻戻し音声データとリアルタイム音声データとをミキシングして、スピーカ２０を介して再生させる。また、スピーカ２０が２チャンネルある場合等には、音声再生部１４は、巻戻し音声データとリアルタイム音声データとを分離可能にミキシングし、スピーカ２０で分離させ、２つあるチャンネルのスピーカのうち、片方のチャンネルのスピーカで巻戻し音声を再生し、もう片方のチャンネルのスピーカでリアルタイム音声を再生することもできる。これにより、巻戻し音声の再生を行いながらも、リアルタイムな音声を再生することができるため、テレビ会議を進行し続けながらも、巻戻し再生によって聞き逃した音声を確認することが可能となる。
【００８７】
テレビ会議ＧＵＩ１５は、表示部１８に、図７〜図１０に示すようなテレビ会議画面３０を表示させるものである。また、テレビ会議ＧＵＩ１５は、テレビ会議画面３０を介して、ユーザＤから操作部１９を用いて入力される種々の操作情報を取得し、実行させるものである。具体的には、ユーザＤによる巻戻し操作の情報を取得すると、該取得した巻戻し操作の情報に含まれる巻戻し対象と、巻戻し対象データと、巻戻し時間との情報から巻戻し情報を作成し、該作成した巻戻し情報を、映像再生部１３、音声再生部１４、出力データ管理部２２に出力する。
【００８８】
また、映像再生部１３および音声再生部１４が、映像キャッシュ部１１および音声キャッシュ部１２から読み出すデータ量、すなわち、巻戻し時間は、図９に示すようなテレビ会議画面３０上の巻戻し時間設定つまみを用いて、ユーザが自由に設定することが可能である。ユーザがテレビ会議画面３０上で設定した巻戻し時間は、テレビ会議ＧＵＩ１５で作成された巻戻し情報に含まれ、テレビ会議ＧＵＩ１５から映像再生部１３と、音声再生部１４と、出力データ管理部２２とに出力される。
【００８９】
カメラ１６は、ユーザＤの映像を端末装置５に取り込むものである。また、マイク１７は、ユーザＤの音声を端末装置５に取り込むものである。
【００９０】
表示部１８は、各ユーザの端末装置から受信した映像データを再生した映像を含むテレビ会議画面３０を表示するものであり、例えばＰＣのディスプレイ等である。
【００９１】
操作部１９は、テレビ会議画面３０に表示されたメニューを選択するとき等、ユーザが端末装置５を操作するときに用いるものであり、例えばＰＣのマウス等である。
【００９２】
スピーカ２０は、各ユーザの端末装置から受信した音声データを再生した音声を出力するものである。
【００９３】
（テレビ会議システム全体の動作）
次に、テレビ会議システム１全体の動作について、図５を用いて説明する。図５は、テレビ会議システム１全体の動作を示すフローチャート図である。
【００９４】
まず、テレビ会議システム１が動作するためには、複数の端末装置のうち、いずれかがセッションマネージャとして、テレビ会議開始要求を、テレビ会議参加候補の他の端末装置に送信する。
【００９５】
テレビ会議開始要求を受け取った端末装置のユーザが、該テレビ会議に参加する場合には、参加応答通知をセッションマネージャに送信する。このことより、該端末装置とセッションマネージャとの間には、コネクションが確立される（Ｓ１）。また、コネクションが確立されると、コネクションが確立された端末装置毎にポートが割り当てられ、入出力ポート情報が作成される（Ｓ１）。
【００９６】
そして、テレビ会議が開始し、各端末装置間で巻戻し等のテレビ会議処理が行われる（Ｓ２）。
【００９７】
また、テレビ会議に参加しているユーザのうちの１人、例えばユーザＡが、ユーザＢ〜Ｄへテレビ会議終了要求を行い、すべてのユーザＢ〜Ｄからテレビ会議終了応答通知を受けると、テレビ会議が終了する（Ｓ３でＹＥＳ）。そして、各ユーザ間のコネクションが切断される（Ｓ４）。
【００９８】
また、すべてのユーザからテレビ会議終了応答通知を受けなければテレビ会議は終了せず（Ｓ３でＮＯ）、テレビ会議が続行される。
【００９９】
ここで、様々なテレビ会議処理うち、ユーザＤによって巻戻し操作がされた場合における端末装置５の処理動作について、図６を用いて説明する。
【０１００】
（巻戻し操作による端末措置の処理動作）
図６は、テレビ会議処理において、ユーザＤから巻戻し操作があった際の端末装置５の処理動作を示したフローチャート図である。
【０１０１】
ここにおける巻戻し操作とは、ユーザＤが、テレビ会議画面３０上で、巻戻し再生の対象となるユーザの選択（巻戻し対象ユーザ）、巻戻し再生の対象となるデータ種別の選択（巻戻し対象データ）、および巻戻し時間を設定することをいう。
【０１０２】
ユーザＤが、操作部１９を用いて端末装置５に巻戻し操作を行うと（Ｓ２１のＹＥＳ）、テレビ会議ＧＵＩ１５が、巻き戻し再生を行うデータ種別に応じて巻き戻し情報を、映像再生部１３、音声再生部１４、出力データ管理部２２へ出力する。
【０１０３】
具体的には、テレビ会議ＧＵＩ１５は、巻戻し対象データが映像データである場合、巻き戻し対象ユーザおよび巻き戻し時間を巻戻し情報として、映像再生部１３に出力する（Ｓ２２）。また、巻戻し対象データが音声データである場合、テレビ会議ＧＵＩ１５は、巻き戻し対象ユーザおよび巻き戻し時間を巻戻し情報として、音声再生部１４に出力する（Ｓ２３）。また、巻戻し対象データの種別によらず、テレビ会議ＧＵＩ１５は、巻戻し対象ユーザと、巻戻し対象データと、巻戻し時間とを巻戻し情報として、出力データ管理部２２に出力する（Ｓ２４）。
【０１０４】
映像再生部１３は、前記巻戻し情報を取得すると、映像キャッシュ部１１における、巻戻し対象のユーザに対応するデータ格納領域から、指定された巻戻し時間に相当する分の映像データを読み出す（Ｓ２５）。そして、映像再生部１３は、該読み出した映像データを、テレビ会議ＧＵＩ１５を介して、テレビ会議画面３０上の所定の領域において巻戻し再生させる（Ｓ２６）。また、前記巻戻し情報における巻戻し対象ユーザが複数指定されている場合には、映像再生部１３は、各巻戻し対象ユーザに対応するデータ格納領域から映像データを読み出し、読み出した映像データを、それぞれテレビ会議画面３０上の所定の領域において巻戻し再生させる（Ｓ２６）。
【０１０５】
音声再生部１４は、前記巻戻し情報を取得すると、音声キャッシュ部１２における、巻戻し対象のユーザに対応するデータ格納領域から、指定された巻戻し時間に相当する分の音声データを読み出す（Ｓ２７）。そして、音声再生部１４は、巻戻し対象のユーザが複数ある場合には、それぞれの巻戻し対象のユーザに対応するデータ格納領域から読み出した、複数の音声データをミキシングする（Ｓ２８）。そして、音声再生部１４は、ミキシングした音声データを、スピーカ２０を介して、巻戻し再生する（Ｓ２９）。
【０１０６】
なお、音声再生部１４は、入力データ管理部２３からリアルタイム音声のデータが入力されると、Ｓ２７で読み出した巻戻し音声のデータとを分離可能にミキシングして（Ｓ２８）、例えば、スピーカ２０が２チャンネル（右／左）有していれば、片方のチャンネルのスピーカ２０を介してリアルタイム音声を再生し、もう一方のチャンネルのスピーカ２０を介して巻戻し音声を再生してもよい（Ｓ２９）。
【０１０７】
出力データ管理部２２は、前記巻戻し情報を取得すると、巻戻し対象のユーザに対して、巻戻し通知を送信する（Ｓ３０）。
【０１０８】
次に、ユーザＡ〜ユーザＤとの間で行われているテレビ会議の途中において、端末装置５がユーザＥから該テレビ会議に途中参加する旨の要求を受けた場合の端末装置５の動作について説明する。
【０１０９】
端末装置５が、ユーザＥの端末装置２５から、テレビ会議に参加したい旨の途中参加要求を受けると、通信部８は、該途中参加要求をした端末装置２５に新たに会議ＩＤを付与する。これにより、端末装置５とユーザＥの端末装置２５との間にコネクションが確立される。また、通信部８は、該参加要求をした端末装置２５の映像データを入出力する際に用いるポートとしてポート１０を、音声データを入出力する際に用いるポートとしてポート１１を、また、制御情報を入出力する際に用いるポートとしてポート１２を、それぞれ割り当てる（図４）。そして、通信部８は、割り当てた入出力ポートの情報および端末装置２５に付与した会議ＩＤを入力データ管理部２３に出力する。
【０１１０】
そして、入力データ管理部２３は、図４に示すように、通信部８から取得した、入出力のポート情報と、ユーザＥの会議ＩＤとの情報を入出力情報記憶部２４に書き込むとともに、ユーザＥの会議ＩＤの情報をキャッシュ制御部１０に出力する。キャッシュ制御部１０は、途中参加のユーザＥの情報を受けて、映像キャッシュ部１１および音声キャッシュ部１２にユーザＥに対応するデータ格納領域を作成する。なお、映像キャッシュ部１１および音声キャッシュ部１２は、途中参加者分用のデータ格納領域を予め確保している構成であってもよいし、途中参加者の途中参加が決まった時点で新たに作成してもよい。
【０１１１】
これらの処理を他のユーザの端末装置２〜４においても、端末装置５と同様に行うことによって、ユーザＥのテレビ会議への途中参加が可能となる。
【０１１２】
また、途中参加したユーザＥが、過去の会議データの取得を端末装置５に要求すると（会議データ取得要求）、端末装置５は、以下の動作を行う。ここで、会議データとは、テレビ会議開始時からユーザＥが途中参加するまでの、すべてのユーザＡ〜Ｄの音声および映像データのことをいう。
【０１１３】
ポート１２を介して、ユーザＥの端末装置２５から、会議データ取得要求を受けた通信部８は、会議データ送信部２６に該会議データ取得要求を出力する。
【０１１４】
そして、会議データ送信部２６が、映像キャッシュ部１１のそれぞれのデータ格納領域１１ａ〜１１ｄ、および音声キャッシュ部１２のそれぞれのデータ格納領域１２ａ〜１２ｄから、Ａ〜Ｄの今までの会議中の映像データおよび音声データを取得する。
【０１１５】
会議データ送信部２６は、取得した、これらの過去の会議データを出力データ管理部２２に出力する。
【０１１６】
そして、出力データ管理部２２が、データを出力する際のポート、すなわちポート１２を選択し、この入出力ポート情報と、取得した過去の会議データとを通信部８に出力する。通信部８は、該ポート１２を介して、端末装置２５に過去の会議データを送信する。
【０１１７】
また、端末装置５のユーザＤが、テレビ会議に途中参加をし、他の端末装置２に会議データ取得要求を行い、端末装置２から過去の会議データを取得するときは、通信部８は、ポート３を介して、該会議データを取得する。そして、入力データ管理部２３が、入出力情報記憶部２４を参照することにより、該会議データが、ユーザＡから取得した制御情報であることを認識し、キャッシュ制御部１０に出力する。キャッシュ制御部１０が、会議データに含まれる、過去のテレビ会議におけるすべてのユーザＡ〜Ｄの映像および音声データをそれぞれ分類して、それぞれの映像キャッシュ部１１または音声キャッシュ部１２に格納する。
【０１１８】
例えば、キャッシュ制御部１０は、ユーザＡの映像データを、映像キャッシュ部１１のユーザＡのデータ格納領域である１１ａに、ユーザＣの音声データを、音声キャシュ部１２のユーザＣのデータ格納領域である１１ｃにそれぞれ格納する。
【０１１９】
本実施の形態では、巻戻し通知は、巻戻し情報に含まれる巻戻し対象にのみ通知する構成であるが、本発明はこれに限らず、テレビ会議に参加しているすべての端末装置に通知する構成であってもよい。例えば、ユーザＤがユーザＡのみを選択して、巻戻し操作を行ったとき、ユーザＤは、ユーザＡのみならず、テレビ会議に参加している他のユーザＢまたはＣにも、ユーザＤがユーザＡの映像または音声のデータを巻戻し再生している旨の通知をしてもよい。
【０１２０】
また、本実施の形態の映像キャッシュ部１１または音声キャッシュ部１２は、通信相手であるユーザＡ〜Ｃから受信したデータ、および、ユーザＤによって自装置に入力されたデータを格納するデータ格納領域１１ａ〜１１ｄ、１２ａ〜１２ｄを備える構成である。しかしながら、データ格納領域はテレビ会議の参加者毎に割り当てられるため、本発明のデータ格納領域の数はこれに限られず、テレビ会議の参加者に応じて設定される。よって、映像キャッシュ部１１または音声キャッシュ部１２が、ユーザＤからのデータを格納するデータ格納領域１１ｄまたは１２ｄを備えずに、通信相手からの受信データを格納するデータ格納領域１１ａ〜１１ｃ、または１２ａ〜１２ｃのみを備える構成であってもよい。
【０１２１】
本実施の形態では、ユーザＡを選択して巻戻し操作があったときは、映像再生部１３は、上記テレビ会議画面３０上に割り当てられたユーザＡの表示領域に、ユーザＡのリアルタイム映像を再生する代わりにユーザＡの巻戻し映像を再生する構成であると説明した。しかしながら、本発明はこれに限られず、映像再生部１３は、テレビ会議画面３０上のユーザＡの表示領域に、ユーザＡのリアルタイム映像を再生させるとともに、ユーザＡの巻戻し映像を、図８に示すように、巻戻し映像のみを再生する巻戻し映像再生専用領域に再生させる構成であってもよい。すなわち、テレビ会議画面３０上に、同一ユーザのリアルタイム映像と巻戻し映像とを同時に再生することが可能な構成であってもよい。
【０１２２】
また、映像キャッシュ部１１および音声キャッシュ部１２は、数秒程度だけデータをキャッシュできるものであってもよいし、テレビ会議の最初から最後までのデータを保存可能な数十時間程度のデータを格納できる容量のものであってもよい。
【０１２３】
また、本実施の形態では、端末装置５が会議データ取得要求をユーザＡの端末装置２にする場合について説明したが、本発明はこれに限られず、ユーザＢやユーザＣにしてもよいし、複数のユーザに要求してもよい。また、最も通信環境のよい通信相手を検知し、該通信相手から会議データを取得する構成であってもよい。これによれば、会議データ取得要求をしてから、該会議データを取得するまでの時間を短縮することが可能となる。
【０１２４】
また、本発明は、ＳＯＢＡ（登録商標）（Session Oriented Broadband Application）にも適用することができる。
【０１２５】
ＳＯＢＡとは、通信ネットワークを介して接続された端末装置のユーザ同士がリアルタイムコミュニケーションを実現するための仕組みを提供するものである。リアルタイムコミュニケーションの例としては、チャット機能、ホワイトボード機能などのコミュニケーション機能、音声や動画によるコミュニケーション機能、遠隔画面操作機能などが挙げられる。ＳＯＢＡにおいて、上記のようなコミュニケーション機能によって共有される通信接続の範囲はセッションと呼ばれる。
【０１２６】
図１１は、ＳＯＢＡが搭載された端末装置２０１および端末装置２０２が通信ネットワークを介して接続されている状態を示している。ここでは両者は対等であり、互いにデータの送受信が可能となっているものとする。
【０１２７】
端末装置２０１および端末装置２０２のそれぞれには、アプリケーション層、セッション層、およびサービス層の３つの層が形成される。アプリケーション層は、ＳＯＢＡ上で動くアプリケーションによって構成される層である。このアプリケーション層には、例えば、部品アプリケーション、および画面共有アプリケーションなどが含まれる。より具体的なアプリケーションとしては、チャット機能アプリケーション、ホワイトボード機能アプリケーション、音声動画通信機能アプリケーションなどが挙げられる。
【０１２８】
セッション層は、セッションの状態管理や、データ配信先の管理を行う層である。
【０１２９】
サービス層は、ＳＯＢＡによる通信機能を実現するための機能によって構成される層である。このサービス層には、例えば同期サービス機能、リソースサービス機能、ディレクトリサービス機能、セキュリティサービス機能、およびネットワークサービス機能などが挙げられる。同期サービス機能とは、セッションに含まれる端末装置との間の通信の同期を制御する機能である。リソースサービス機能とは、音声や動画像のデータを制御する機能である。ディレクトリサービス機能とは、通信先の端末装置またはユーザを探索するためのディレクトリを提供する機能である。セキュリティサービス機能とは、アクセスの許認可機能、および、通信データの暗号化機能などを提供する機能である。ネットワークサービス機能とは、通信ネットワーク上で通信を行うために必要とされる処理を行う機能である。
【０１３０】
ＳＯＢＡによって通信が行われるデータとしては、部品アプリケーションデータ、画面共有アプリケーションデータ、およびセッションコントロールデータが挙げられる。部品アプリケーションデータとは、部品アプリケーションの状態変更イベントを通知するデータである。画面共有アプリケーションデータとは、画面共有アプリケーションにおいて送信指示が行われた送信データ、および、画面共有アプリケーションの状態変更イベントを通知するデータなどに相当する。セッションコントロールデータとは、セッションの状態変更イベントを通知するデータである。
【０１３１】
図１２（ａ）は、部品アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示している。同図に示すように、該パケットは、ＴＣＰ／ＩＰヘッダ、ＳＯＢＡヘッダ、部品アプリケーションヘッダ、および部品アプリケーションデータから構成されている。ＴＣＰ／ＩＰヘッダは、ＴＣＰ／ＩＰに基づく通信が行われる際に必要とされるヘッダ情報であり、サービス層におけるネットワークサービス機能によって付加される。ＳＯＢＡヘッダは、サービス層におけるネットワークサービス機能によって付加されるヘッダ情報であり、ＳＯＢＡのプロトコルに基づいたデータであることを表している
部品アプリケーションヘッダは、アプリケーション層における部品アプリケーションによって付加されるヘッダ情報であり、該パケットに含まれるデータが利用される部品アプリケーションを特定する情報を示している。部品アプリケーションデータは、上記したように、部品アプリケーションの状態変更イベントを通知するデータである。
【０１３２】
図１２（ｂ）は、画面共有アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示している。同図に示すように、該パケットは、ＴＣＰ／ＩＰヘッダ、ＳＯＢＡヘッダ、画面共有アプリケーションヘッダ、および画面共有アプリケーションデータから構成されている。ＴＣＰ／ＩＰヘッダ、およびＳＯＢＡヘッダは上記のとおりである。画面共有アプリケーションヘッダは、アプリケーション層における画面共有アプリケーションによって付加されるヘッダ情報であり、該パケットに含まれるデータが利用される画面共有アプリケーションを特定する情報を示している。画面共有アプリケーションデータは、上記したように、画面共有アプリケーションにおいて送信指示が行われた送信データ、および、画面共有アプリケーションの状態変更イベントを通知するデータである。
【０１３３】
図１２（ｃ）は、セッションコントロールデータが通信ネットワーク上を流れる際のパケット構成を示している。同図に示すように、該パケットは、ＴＣＰ／ＩＰヘッダ、ＳＯＢＡヘッダ、セッションヘッダ、およびセッションコントロールデータから構成されている。ＴＣＰ／ＩＰヘッダ、およびＳＯＢＡヘッダは上記のとおりである。セッションヘッダは、セッション層によって付加されるヘッダ情報であり、セッションコントロールの種類を特定する情報を示している。セッションコントロールデータは、上記したように、セッションの状態変更イベントを通知するデータである。
【０１３４】
例えば端末装置２０１において、部品アプリケーションによって状態変更イベントが発生した場合、まず部品アプリケーションにおいて部品アプリケーションデータおよび部品アプリケーションヘッダが生成される。その後、サービス層において、ＳＯＢＡヘッダおよびＴＣＰ／ＩＰヘッダが不可され、図１２（ａ）に示すパケットが通信ネットワークを介して端末装置２０２に送信される。端末装置２０２では、パケットを受信すると、サービス層において、ＴＣＰ／ＩＰヘッダが取り除かれ、また、ＳＯＢＡヘッダが確認された後に該ＳＯＢＡヘッダが取り除かれる。そして、サービス層は、部品アプリケーションヘッダを確認し、該当する部品アプリケーションに対して部品アプリケーションヘッダおよび部品アプリケーションにおいて部品アプリケーションデータおよび部品アプリケーションデータを送信する。部品アプリケーション層では、受信した部品アプリケーションヘッダおよび部品アプリケーションデータに基づいて状態変更イベントを認識し、これに応じた処理を行う。画面共有アプリケーションデータ、および、セッションコントロールデータについても、同様の処理が行われる。
【０１３５】
以上のようなＳＯＢＡシステムを、図１に示すテレビ会議システム１の各端末装置２〜５に搭載することによって各種機能を実現することが可能となる。
【０１３６】
（ソフトウェアによる構成例）
最後に、端末装置５が備える各ブロック、特に、入出力制御部９、キャッシュ制御部１０、およびテレビ会議ＧＵＩ１５、会議データ送信部２６などの各機能ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１３７】
すなわち、上記端末装置５は、各機能ブロックを実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記端末装置５に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１３８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３９】
また、上記端末装置５を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１４０】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１４１】
本発明に係る端末装置は、ピアツーピア型のネットワーク形態を用いたテレビ会議等に適用することができる。
【図面の簡単な説明】
【０１４２】
【図１】本発明における端末装置の実施の一形態を示す機能ブロック図である。
【図２】本発明におけるテレビ会議システム全体を概略的に示した構成図である。
【図３】本発明におけるテレビ会議システム全体の通信の様子を示す説明図である。
【図４】本発明における記憶部に格納されたテーブルの一例を示す図である。
【図５】本発明におけるテレビ会議システムの全体の動作を示すフローチャートである。
【図６】本発明の端末装置における巻戻し動作を示すフローチャートである。
【図７】本発明におけるテレビ会議画面の一例を示す図である。
【図８】本発明におけるテレビ会議画面の他の一例を示す図である。
【図９】本発明におけるテレビ会議画面のさらに他の一例を示す図である。
【図１０】本発明におけるテレビ会議画面のさらに他の一例を示す図である。
【図１１】ＳＯＢＡが搭載された端末装置が通信ネットワークを介して接続されている状態を示す図である。
【図１２】（ａ）は、部品アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示す図であり、（ｂ）は、画面共有アプリケーションデータが通信ネットワーク上を流れる際のパケット構成を示す図であり、（ｃ）は、セッションコントロールデータが通信ネットワーク上を流れる際のパケット構成を示す図である。
【図１３】従来のクライアントサーバ型のネットワーク形態を用いた通信の様子を示す概略図である。
【符号の説明】
【０１４３】
１    テレビ会議システム
２・３・４・５・２５    端末装置
６    中継サーバ
７    ネットワーク
８    通信部
９    入出力制御部
１０    キャッシュ制御部
１１    映像キャシュ部（一時記憶手段）
１２    音声キャッシュ部（一時記憶手段）
１１ａ・１１ｂ・１１ｃ・１２ａ・１２ｂ・１２ｃ    データ格納領域
１３    映像再生部（再生手段）
１４    音声再生部（再生手段）
１５  テレビ会議ＧＵＩ（巻戻し通知手段）
１６  カメラ
１７  マイク
１８  表示部
１９  操作部
２０  スピーカ
２１  記憶部
２２  出力データ管理部
２３  入力データ管理部
２４  入出力情報記憶部
２６  会議データ送信部（会議データ送信部）
【図１】
2008236553.tif 000003
【図２】
2008236553.tif 000004
【図３】
2008236553.tif 000005
【図４】
2008236553.tif 000006
【図５】
2008236553.tif 000007
【図６】
2008236553.tif 000008
【図７】
2008236553.tif 000009
【図８】
2008236553.tif 000010
【図９】
2008236553.tif 000011
【図１０】
2008236553.tif 000012
【図１１】
2008236553.tif 000013
【図１２】
2008236553.tif 000014
【図１３】
2008236553.tif 000015