(57)【要約】【課題】ユーザ相互間の円滑な会話を実現する。【解決手段】複数の拠点の各々においてネットワークに収容され且つユーザに使用される映像音声送受信装置は、自拠点ユーザの映像及び音声を取得する自拠点ユーザ映像音声取得手段と、他拠点の前記映像音声送受信装置に対し前記ネットワークを介して前記取得された自拠点ユーザの映像及び音声を送信する送信手段と、前記ネットワークを介して他拠点ユーザの映像及び音声を取得する他拠点ユーザ映像音声取得手段と、前記取得される他拠点ユーザの映像及び音声が、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち前記取得される他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する制御手段とを具備する。【選択図】図６
2012054693.tif 000002
【特許請求の範囲】
【請求項１】
複数の拠点の各々においてネットワークに収容され且つユーザに使用される複数の映像音声送受信装置を備えた映像音声送受信システムにおける、一の前記映像音声送受信装置であって、
自拠点ユーザの映像及び音声を取得する自拠点ユーザ映像音声取得手段と、
他拠点の前記映像音声送受信装置に対し前記ネットワークを介して前記取得された自拠点ユーザの映像及び音声を送信する送信手段と、
前記ネットワークを介して他拠点ユーザの映像及び音声を取得する他拠点ユーザ映像音声取得手段と、
前記取得される他拠点ユーザの映像及び音声が、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち前記取得される他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する制御手段と
を具備することを特徴とする映像音声送受信装置。
【請求項２】
前記自拠点ユーザ情報は、前記送信された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて前記他拠点の映像音声送受信装置で生成され、
前記他拠点の映像音声送受信装置で生成された自拠点ユーザ情報は、前記他拠点において取得された前記他拠点ユーザの映像及び音声と共に前記ネットワークを介して送信され、
前記他拠点ユーザ映像音声取得手段は、前記送信された他拠点ユーザの映像及び音声並びに自拠点ユーザ情報を取得し、
前記制御手段は、前記取得された他拠点ユーザの映像及び音声並びに自拠点ユーザ情報が出力されるように、前記映像出力手段及び前記音声出力手段を制御する
ことを特徴とする請求項１に記載の映像音声送受信装置。
【請求項３】
前記取得された他拠点ユーザの映像及び音声のうち少なくとも一方に基づいて他拠点ユーザ情報を生成する他拠点ユーザ情報生成手段を更に具備し、
前記送信手段は、前記取得された自拠点ユーザの映像及び音声と共に前記生成された他拠点ユーザ情報を送信する
ことを特徴とする請求項２に記載の映像音声送受信装置。
【請求項４】
前記他拠点の映像音声送受信装置との間の、前記ネットワークを介したデータ伝送に要する遅延時間を特定する特定手段と、
前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて前記自拠点ユーザ情報を生成する自拠点ユーザ情報生成手段と、
前記特定された遅延時間に基づいて、前記自拠点ユーザ情報生成手段により生成された自拠点ユーザ情報のうち前記取得された他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報を選択する選択手段と
を具備し、
前記制御手段は、前記取得された他拠点ユーザの映像及び音声と前記選択された情報とが出力されるように前記映像出力手段及び音声出力手段を制御する
ことを特徴とする請求項１から３のいずれか一項に記載の映像音声送受信装置。
【請求項５】
前記自拠点ユーザ情報は、前記取得された自拠点ユーザの映像に対応する映像である
ことを特徴とする請求項１から４のいずれか一項に記載の映像音声送受信装置。
【請求項６】
前記取得された自拠点ユーザの映像に対応する映像は、表示面積が縮小された、前記取得された自拠点ユーザの映像である
ことを特徴とする請求項５に記載の映像音声送受信装置。
【請求項７】
前記自拠点ユーザ情報は、前記取得された自拠点ユーザの音声に対応する映像である
ことを特徴とする請求項１から６のいずれか一項に記載の映像音声送受信装置。
【請求項８】
前記取得された自拠点ユーザの音声に対応する映像は、前記自拠点ユーザの発話状態を表す映像である
ことを特徴とする請求項７に記載の映像音声送受信装置。
【請求項９】
前記取得された自拠点ユーザの音声に対応する映像は、前記自拠点ユーザの発話完了までの残り時間を表す映像である
ことを特徴とする請求項７又は８に記載の映像音声送受信装置。
【請求項１０】
前記自拠点ユーザ情報は、前記自拠点ユーザの発話が完了した旨を告知する告知音である
ことを特徴とする請求項１から１０のいずれか一項に記載の映像音声送受信装置。
【請求項１１】
複数の拠点の各々においてネットワークに収容され且つユーザに使用される複数の映像音声送受信装置を備え、
該複数の映像音声送受信装置の各々は、
自拠点ユーザの映像及び音声を取得する自拠点ユーザ映像音声取得手段と、
他拠点の前記映像音声送受信装置に対し前記ネットワークを介して前記取得された自拠点ユーザの映像及び音声を送信する送信手段と、
前記ネットワークを介して他拠点ユーザの映像及び音声を取得する他拠点ユーザ映像音声取得手段と、
前記取得される他拠点ユーザの映像及び音声が、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち前記取得される他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する制御手段と
を具備する
ことを特徴とする映像音声送受信システム。
【請求項１２】
コンピュータシステムを、請求項１から１０のいずれか一項に記載の映像音声送受信装置として機能させることを特徴とするコンピュータプログラム。
【請求項１３】
請求項１２に記載のコンピュータプログラムを記録することを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば遠隔地のユーザ相互間において映像を伴った会話を円滑に進行させることが可能な映像音声送受信装置及び映像音声送受信システム並びに当該装置を実現するためのコンピュータプログラム及び記録媒体の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、特許文献１に開示されたテレビ電話装置がある。特許文献１のテレビ電話装置によれば、自画像符号化回路内の動き補償用可変遅延機能を持つ画像メモリに蓄えられた符号化、復号化後の自画像信号を利用し、通信中に受信画像と同時に自端末のモニタに符号化、復号化後の自画像を表示することにより、簡易な構成で符号化、復号化された自画像を表示させることが可能であるとされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−３３４９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されたテレビ電話装置によれば、エンコーダ内の映像が受信映像にＰｉｎＰ（Picture in Picture）されるため、デコーダを複数必要としないが、自端末のモニタに表示される自画像と、通信相手の画像とは時間的に同期していない。
【０００５】
ところで、ネットワークを介したデータ伝送においては、ネットワークには何某かの伝送遅延が存在することの方が多い。このため、一方の拠点における映像や音声は、一定又は不定の時間遅延の後に他方の拠点に伝送される。また、この伝送された一方の拠点の映像や音声を受けて他方の拠点で発話等がなされた場合、この発話に対応する映像や音声もまた、然るべき時間遅延の後に一方の拠点に伝送される。
【０００６】
ところが、一方の拠点のユーザからすれば、自身の発話が終了した段階で、その発話に係る内容が相手側に伝わったものと考えがちである。また、この種の伝送遅延の存在について理解しているとしたところで、自身の発話内容が相手側にどの時点で伝わったのかを知ることは、実践的に見て容易でない。即ち、ネットワークを介してなされる従来の会話システムにおいては、ユーザ相互間で、自身の発話内容と相手の発話内容との整合性を把握することが困難であるという技術的問題点がある。
【０００７】
このような技術的問題点により、ユーザ相互間の会話は、相互いに時間軸上のズレを抱えたまま継続せざるを得ず、例えば会話が全く噛み合わない或いは会話が成立しない等、会話品質上看過し難い問題が生じ得る。
【０００８】
本発明は、係る技術的問題点に鑑みてなされたものであり、ネットワークを介したユーザ同士の会話を円滑に進行させ得る映像音声送受信装置及び映像音声送受信システム並びに当該装置を実現し得るコンピュータプログラム及び記録媒体を提供することを課題とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するため、請求項１の映像音声送受信装置は、複数の拠点の各々においてネットワークに収容され且つユーザに使用される複数の映像音声送受信装置を備えた映像音声送受信システムにおける、一の前記映像音声送受信装置であって、自拠点ユーザの映像及び音声を取得する自拠点ユーザ映像音声取得手段と、他拠点の前記映像音声送受信装置に対し前記ネットワークを介して前記取得された自拠点ユーザの映像及び音声を送信する送信手段と、前記ネットワークを介して他拠点ユーザの映像及び音声を取得する他拠点ユーザ映像音声取得手段と、前記取得される他拠点ユーザの映像及び音声が、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち前記取得される他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する制御手段とを具備することを特徴とする。
【００１０】
上述した課題を解決するため、請求項１１の映像音声送受信システムは、複数の拠点の各々においてネットワークに収容され且つユーザに使用される複数の映像音声送受信装置を備え、該複数の映像音声送受信装置の各々は、自拠点ユーザの映像及び音声を取得する自拠点ユーザ映像音声取得手段と、他拠点の前記映像音声送受信装置に対し前記ネットワークを介して前記取得された自拠点ユーザの映像及び音声を送信する送信手段と、前記ネットワークを介して他拠点ユーザの映像及び音声を取得する他拠点ユーザ映像音声取得手段と、前記取得される他拠点ユーザの映像及び音声が、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち前記取得される他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する制御手段とを具備することを特徴とする。
【００１１】
上述した課題を解決するため、請求項１２のコンピュータプログラムは、コンピュータシステムを、請求項１から１０のいずれか一項に記載の映像音声送受信装置として機能させることを特徴とする。
【００１２】
上述した課題を解決するため、請求項１３の記録媒体は、請求項１２のコンピュータプログラムを記録することを特徴とする。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施例に係る会話システムの構成を概念的に表してなる概略構成図である。
【図２】ネットワークを介さない対面会話におけるユーザ同士の会話の進行状態を例示するタイミングチャートである。
【図３】ネットワークを介する会話におけるユーザ同士の会話の進行状態を例示するタイミングチャートである。
【図４】第１及び第２実施例におけるユーザ同士の会話の進行状態を例示するタイミングチャートである。
【図５】図１の会話システムにおける映像音声送受信装置の構成を表してなるブロック図である。
【図６】図５の映像音声送受信装置における送受信装置の構成を表してなるブロック図である。
【図７】図６の送受信装置において実行される送信制御のフローチャートである。
【図８】図６の送受信装置において実行される受信制御のフローチャートである。
【図９】第１実施例の効果に係り、図８の受信制御の実行過程における拠点Ａの表示映像を例示する図である。
【図１０】第２実施例に係る送受信装置の構成を表してなるブロック図である。
【図１１】図１０の送受信装置において保持される発話データの概念図である。
【図１２】図１０の送受信装置において実行される発話データ生成処理のフローチャートである。
【図１３】図１０の送受信装置において実行される映像音声出力処理のフローチャートである。
【図１４】第２実施例の効果に係り、発話状態映像フレームの各種態様を例示する図である。
【図１５】第３実施例に係る送受信装置の構成を表してなるブロック図である。
【図１６】図１５の送受信装置において実行される送信制御のフローチャートである。
【発明を実施するための形態】
【００１４】
＜映像音声送受信装置の実施形態＞
【００１５】
本発明の映像音声送受信装置に係る実施形態は、複数の拠点の各々においてネットワークに収容され且つユーザに使用される複数の映像音声送受信装置を備えた映像音声送受信システムにおける、一の前記映像音声送受信装置であって、自拠点ユーザの映像及び音声を取得する自拠点ユーザ映像音声取得手段と、他拠点の前記映像音声送受信装置に対し前記ネットワークを介して前記取得された自拠点ユーザの映像及び音声を送信する送信手段と、前記ネットワークを介して他拠点ユーザの映像及び音声を取得する他拠点ユーザ映像音声取得手段と、前記取得される他拠点ユーザの映像及び音声が、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち前記取得される他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する制御手段とを具備する。
【００１６】
本発明の映像音声送受信装置に係る実施形態は、複数のユーザ相互間の会話を成立させ得るシステムとしての映像音声送受信システムを構築する、一の映像音声送受信装置である。実施形態に係る映像音声送受信装置は、夫々その設置される拠点において、ネットワークに常時、或いは何らかの条件（尚、この種の条件は、如何様にも限定されない）が満たされた場合に限定的に収容される構成となっている。
【００１７】
実施形態に係る「ネットワーク」とは、例えばＷＡＮ（Wide Area Network）網、ＬＡＮ（Local Area Network）網、又はこれらＷＡＮ網又はＬＡＮ網を介して或いは電話回線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）又は光ファイバーケーブル等を介して適宜に接続されるインターネット網等の各種データ通信網を包括する概念である。
【００１８】
尚、「収容される」とは、実践的には、例えば、ネットワークに応じた各種の通信規格に準じた各種の通信Ｉ／Ｆを備え、当該通信Ｉ／Ｆを介して、常時或いは限定的に、複数の映像音声送受信装置相互間で各種情報、データ、又はデータファイル等の送受信を行い得る状態にあることを意味する。尚、ネットワークを介したデータの送受信形態は、例えば然るべきサーバ装置を介したものであってもよいし、例えばＰ２Ｐ（Peer To Peer）等サーバ装置を介さないものであってもよい。必然的に、映像音声送受信装置の構成要素もまた多義的であってよい。
【００１９】
本発明の映像音声送受信装置に係る実施形態では、自拠点ユーザ映像音声取得手段により、自拠点（即ち、複数の拠点のうち、実施形態に係る映像音声送受信装置が設置される一の拠点を意味する）において会話に参加するユーザを意味する自拠点ユーザの映像及び音声が取得される。尚、この取得された自拠点ユーザの映像及び音声は、自拠点の時間軸上で相互に同期している。
【００２０】
この取得された自拠点ユーザの映像及び音声は、送信手段により他拠点（即ち、複数の拠点のうち自拠点とは異なる拠点を意味する）の映像音声送受信装置に対し、ネットワークを介して送信される。この際、これら映像及び音声は、好適な一形態として、例えば、所定の規格に基づいた圧縮符号化が施された後に送信されてもよい。
【００２１】
一方、映像音声送受信装置に係る実施形態においては、他拠点ユーザ映像音声取得手段により、他拠点において会話に参加するユーザ（即ち、自拠点ユーザの会話相手に相当するユーザ）を意味する他拠点ユーザの映像及び音声が、ネットワークを介して取得される。
【００２２】
尚、好適な一形態として、映像音声送受信システムを構成する個々の映像音声送受信装置は、発明特定事項に関する部分において同等であり、ネットワークを介して取得される他拠点ユーザの映像及び音声は、好適な一形態として、他拠点の映像音声送受信装置において取得されたものである。
【００２３】
ここで、映像音声送受信装置の実施形態においては、基本的に、この取得された他拠点ユーザの映像及び音声に基づいて、各種表示装置等の映像出力手段及び各種スピーカ等の音声出力手段（これらは完全に独立したハードウェアであってもよいし、少なくとも一部が一体に構成されていてもよい）が制御される。その結果、自拠点においては、他拠点ユーザの映像が、当該映像と時間軸上で同期した音声と共に出力され、自拠点ユーザに知覚される。即ち、他拠点ユーザが発話動作中であれば、その発話内容が映像を伴って自拠点ユーザに伝達される。
【００２４】
ところで、ネットワークを介したデータ伝送においては、映像音声送受信装置自身の処理遅延に加えて、ネットワークの伝送遅延が生じることが公知である。例えば、自拠点における自拠点ユーザの発話動作は、自拠点における当該発話動作の発生時刻から、例えば拠点間の（自拠点から他拠点への）片道分の伝送遅延時間や他拠点の映像音声送受信装置の処理遅延時間に相当する時間だけ遅れて他拠点ユーザに認識される。また、他拠点ユーザの発話動作もまた、例えば拠点間の（他拠点から自拠点への）片道分の伝送遅延時間や自拠点の映像音声送受信装置の処理遅延時間に相当する時間だけ遅れて自拠点ユーザに認識される。即ち、実際にユーザ相互間で会話を進行させるにあたっては、時間的ずれが発生する。
【００２５】
この時間的ずれは、ユーザがこの種の遅延が生じることを予め認識しているか否かと無関係に、会話のすれ違いを惹起する要因であり、会話の快適性を低下させる点において、会話品質を低下させる要因となる。何故なら、自身の発話動作が相手側にいつ如何なるタイミングで認識されたかについて、絶えずユーザ側が把握し続けることは殆ど不可能だからである。一方で、この時間的ずれ自体を解消しようにも、この時間的ずれは、ネットワークを介したデータ伝送を行う以上避け難い現象である。
【００２６】
これらの点に鑑みれば、ネットワークを介したデータ伝送を伴うユーザ同士の会話を円滑に進行せしめるためには、この時間的ずれをユーザ各々において知覚させない措置が必要となる。本発明の映像音声送受信装置に係る実施形態は、係る措置を実現するための構成を有している。
【００２７】
即ち、本発明の映像音声送受信装置に係る実施形態は、制御手段を備える。制御手段は、他拠点ユーザ映像音声取得手段により取得される他拠点ユーザの映像及び音声が、取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち、当該取得される他拠点ユーザの映像及び音声と他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する構成となっている。
【００２８】
自拠点ユーザ情報とは、取得された自拠点ユーザの映像及び音声のうち少なくとも一方（即ち、映像又は音声或いはその両方）に基づいて生成される、自拠点ユーザの状態、動作、様子或いは行為に関連付けられた情報である。
【００２９】
例えば、自拠点ユーザ情報は、自拠点ユーザの映像そのものであってもよいし、自拠点ユーザの映像に適宜画像処理等が施されてなる各種派生映像や類似映像であってもよい。また、この派生映像や類似映像は、例えば、元の映像を縮小したものであってもよいし、自拠点ユーザの発話動作（或いは、発話を伴わないただの状態）を何らかの基準に従ってインジケータ、アイコン或いはマーク等により表したものであってもよい。また、映像の縮小がなされる場合、映像の解像度を低下させてもよい。或いは、自拠点ユーザ情報は、例えば、自拠点ユーザの音声そのものであってもよいし、ユーザの音声レベル（端的には音圧レベルを意味する）に応じて、或いは発話タイミングに準じて出力される、各種信号音やアラーム等であってもよい。
【００３０】
尚、自拠点ユーザ情報の生成は、自拠点側でなされても他拠点側でなされてもよく、ネットワークにおいてこれらの間に介在する然るべきサーバ装置等でなされてもよい。また、生成された自拠点ユーザ情報と、他拠点ユーザ映像音声取得手段により取得される他拠点ユーザの映像及び音声との時間同期は、他拠点において他拠点ユーザの映像及び音声が送信される以前になされてもよいし、自拠点において他拠点ユーザの映像及び音声が取得された以後になされてもよい。即ち、実施形態に係る本質的技術思想は、他拠点ユーザの映像及び音声を、これらと時間同期した自拠点ユーザ情報と共に自拠点での出力に供する点にある。
【００３１】
実施形態に係る映像音声送受信装置によれば、自拠点ユーザは、他拠点ユーザの映像及び音声を認識するにあたって、他拠点の時間軸に同期した、自拠点ユーザに関する各種映像や音声等（分かり易く言えば、過去の自分に関する映像や音声である）を同時に認識することができる。従って、自拠点ユーザは、他拠点ユーザが、自身の如何なる発話動作に対し、如何なるタイミングで発話動作を呈するに至ったのかを、リアルタイムに認識しつつ他拠点ユーザとの会話を進行させることができる。即ち、会話を円滑に進行せしめることが可能となるのである。
【００３２】
尚、第１実施形態に係る映像音声送受信装置に備わる、各手段は、少なくとも一部が、夫々或いは全体として、例えばＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の各種演算処理装置、各種プロセッサ、コントローラ又は各種機能モジュール等として構成されていてもよい。
【００３３】
本発明の映像音声送受信装置に係る実施形態の一の態様では、前記自拠点ユーザ情報は、前記送信された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて前記他拠点の映像音声送受信装置で生成され、前記他拠点の映像音声送受信装置で生成された自拠点ユーザ情報は、前記他拠点において取得された前記他拠点ユーザの映像及び音声と共に前記ネットワークを介して送信され、前記他拠点ユーザ映像音声取得手段は、前記送信された他拠点ユーザの映像及び音声並びに自拠点ユーザ情報を取得し、前記制御手段は、前記取得された他拠点ユーザの映像及び音声並びに自拠点ユーザ情報が出力されるように、前記映像出力手段及び前記音声出力手段を制御する。
【００３４】
この態様によれば、自拠点ユーザ情報が、自拠点から送信される自拠点ユーザの映像及び音声に基づいて他拠点側で生成される。この他拠点側で生成された自拠点ユーザ情報は、他拠点の映像音声送受信装置で取得される他拠点ユーザの映像及び音声と共に、実施形態に係る映像音声送受信装置に送信され、制御手段による各種出力手段の制御に供される。
【００３５】
即ち、この態様によれば、制御手段は、他拠点の映像音声送受信装置から送信されてくる他拠点ユーザの映像及び音声と自拠点ユーザ情報とを出力すればよく、実施形態に係る映像音声送受信装置の制御上の負荷が軽減される。
【００３６】
ここで、この態様によれば、自拠点ユーザ情報を、自拠点ユーザの映像又は音声或いはその両方に基づいて敢えて他拠点の映像音声送受信装置で生成させることによって、生成された自拠点ユーザ情報と、自拠点で取得される他拠点ユーザの映像及び音声とを他拠点の時間軸上で同期させる旨の同期処理が実質的に不要となる。即ち、自拠点ユーザ情報は、その基となるデータまで含めれば、自拠点→他拠点→自拠点の経路を辿ることとなり、他拠点で取得される他拠点ユーザの映像及び音声と、半ば自動的に他拠点の時間軸上で相互に同期することになる。
【００３７】
補足すると、上述した時間的ずれは、ネットワークの伝送遅延や、各映像音声送受信装置の処理遅延等により生じる。従って、ネットワーク及び映像音声送受信装置を含む正規のデータ伝送経路を介して伝送される自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて自拠点ユーザ情報を生成させることによって、他拠点の映像音声送受信装置において敢えて特別な時間同期処理を講じずとも、この時間的ずれを相殺することが可能となるのである。従って、映像音声送受信システム全体の処理負荷を軽減することが可能となり、好適である。
【００３８】
また特に、この態様によれば、自拠点ユーザ情報が、その都度実際にネットワークを介して伝送された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成され、またその都度実際にネットワークを介して他拠点ユーザの映像及び音声と共に自拠点側に戻されるため、例えば、何らかの理由でネットワークの伝送状態や通信帯域幅等が変化したとしても、自拠点における、取得される自拠点ユーザ情報と他拠点ユーザの映像及び音声との時間的同期状態は常に維持される。即ち、ネットワークの状態に対しロバストな会話品質が提供される。
【００３９】
更には、自拠点ユーザ情報と他拠点ユーザの映像及び音声との時間同期が、言わば伝送遅延の発生要因たるネットワーク自身及び他拠点の映像音声送受信装置自身によって常に維持される点に鑑みれば、実施形態に係る映像音声送受信装置においては、取得された自拠点ユーザの映像及び音声或いは生成される自拠点ユーザ情報等を、一定又は不定の期間にわたって保持する必要はなく、この種の目的に供すべきバッファ等を必要としない。即ち、装置構成の肥大化を防ぐことが可能となる。
【００４０】
尚、この態様では、前記取得された他拠点ユーザの映像及び音声のうち少なくとも一方に基づいて他拠点ユーザ情報を生成する他拠点ユーザ情報生成手段を更に具備し、前記送信手段は、前記取得された自拠点ユーザの映像及び音声と共に前記生成された他拠点ユーザ情報を送信してもよい。
【００４１】
このように、自拠点側の装置及び他拠点側の装置が、夫々他拠点側の装置及び自拠点側の装置での出力に供すべき他拠点ユーザ情報及び自拠点ユーザ情報を生成する場合、自拠点ユーザ及び他拠点ユーザ双方にとって円滑な会話が実現され、映像音声送受信システムによりもたらされる実践上の利益がより大きいものとなる。
【００４２】
尚、逆に言えば、例えば自拠点ユーザが他拠点ユーザに対して明らかに支配的な或いは優位な立場に位置する場合等においては、相手側の装置でユーザ情報を生成する旨の利益が、自拠点ユーザに対してのみもたらされてもよい。即ち、実施形態に係る映像音声送受信装置が、他拠点ユーザ情報生成手段を有さぬ構成を採る場合においてユーザ相互間の会話に係る品質が担保される場合も、映像音声送受信システムの利用環境によっては、存在し得る。
【００４３】
本発明の映像音声送受信装置に係る実施形態の他の態様では、前記他拠点の映像音声送受信装置との間の、前記ネットワークを介したデータ伝送に要する遅延時間を特定する特定手段と、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて前記自拠点ユーザ情報を生成する自拠点ユーザ情報生成手段と、前記特定された遅延時間に基づいて、前記自拠点ユーザ情報生成手段により生成された自拠点ユーザ情報のうち前記取得された他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報を選択する選択手段とを具備し、前記制御手段は、前記取得された他拠点ユーザの映像及び音声と前記選択された情報とが出力されるように前記映像出力手段及び音声出力手段を制御する。
【００４４】
上述した一の態様では、他拠点において取得された他拠点ユーザの映像及び音声と、自拠点ユーザの映像又は音声或いはその両方に基づいた自拠点ユーザ情報との、他拠点の時間軸における時間同期が、他拠点の映像音声送受信装置における、通常のデータ伝送処理の実行過程において簡便にして実現された。一方、本態様では、このような構成に替えて或いは加えて、係る時間同期が、自拠点側の作用（即ち、実施形態に係る映像音声送受信装置の作用）によって実現される。
【００４５】
この態様によれば、特定手段により、ネットワークを介した複数拠点間のデータ伝送に要する遅延時間が特定される。この遅延時間は、他拠点側の時間軸を規定するために必要な情報であり、好適な一形態としては、ＲＴＴ（Round Trip Time）等のネットワーク上の伝送遅延時間と、各映像音声送受信装置の処理遅延時間とによって支配的に規定される。
【００４６】
尚、「特定」とは、特定対象を最終的に参照値として確定させることを包括する概念であり、その実践的態様は何ら限定されない趣旨である。例えば、特定手段は、例えばＲＴＣＰ（Real-time Transport Control Protocol）のＳＲ（Sender Report）やＲＲ（Receiver Report）を利用してＲＴＴを測定してもよい。また、映像音声送受信装置が自身の性能値として保持する機器情報（処理速度やビジー状態）に基づいて処理遅延時間を推定してもよい。
【００４７】
この態様によれば、上述した各種態様を有し得る自拠点ユーザ情報が、自拠点ユーザ情報生成手段により、自拠点側で生成される。
【００４８】
ここで、自拠点側で自拠点ユーザ情報が生成される場合、他拠点側で生成される場合と異なり、取得される他拠点ユーザの映像及び音声に対する時間同期処理（即ち、近未来に取得される或いは既に取得された他拠点ユーザの映像及び音声が発生するに至った原因となる、自拠点ユーザの発話動作に対応する自拠点ユーザ情報を適切に選択する処理）が必要となる。この態様によれば、係る選択処理が、選択手段によって実現される。
【００４９】
選択手段は、特定手段により特定された遅延時間に基づいて、これら相互間の時間同期を実現する。上述したように、この遅延時間は、他拠点に時間軸を規定する情報であるから、選択手段は、適切な自拠点ユーザ情報を常時選択することが可能となる。尚、選択手段に係る選択作用は、遅延時間に相当する時間的猶予を利用して自拠点ユーザ情報を、それが必要となる前に適当量生成して然るべき蓄積手段に蓄積しておく場合を、好適な一形態として想定しているが、必ずしもそれのみに限定されない。即ち、生成される自拠点ユーザ情報が絶えず、取得される他拠点ユーザの映像及び音声と時間同期した情報となるように、特定された遅延時間に基づいて自拠点ユーザ情報生成手段に係る自拠点ユーザ情報の生成タイミングを制御する旨の作用を含んでもよい。
【００５０】
これらの結果、この態様によれば、自拠点ユーザが、他拠点ユーザの映像及び音声を認識するにあたって、他拠点の時間軸に同期した、自拠点のユーザに関する各種映像や音声等（分かり易く言えば、過去の自分に関する映像や音声である）を同時に認識することが可能となる。従って、自拠点（他拠点）のユーザは、他拠点（自拠点）のユーザが、自身の如何なる発話動作に対し、如何なるタイミングで発話動作を呈するに至ったのかを、リアルタイムに認識しつつ他拠点のユーザと会話を進行させることができる。即ち、会話を円滑に進行せしめることが可能となるのである。
【００５１】
本発明の映像音声送受信装置に係る実施形態の他の態様では、前記自拠点ユーザ情報は、前記取得された自拠点ユーザの映像に対応する映像である。
【００５２】
この態様によれば、自拠点ユーザ情報が、自拠点ユーザの映像に対応する映像として生成されるから、自拠点（好適には、更に他拠点）のユーザにおいて、他拠点（好適には、更に自拠点）のユーザが自身の如何なる発話動作に対し如何なるタイミングで発話動作を呈するに至ったのかを、視覚的に分かり易く把握することができる。
【００５３】
尚、この態様では、前記取得された自拠点ユーザの映像に対応する映像は、表示面積が縮小された、前記取得された自拠点ユーザの映像であってもよい。
【００５４】
このように表示面積を小さくすれば、自拠点ユーザ情報が、他拠点ユーザに関する映像の表示を阻害することがなくなり、会話の品質が好適に維持される。
【００５５】
本発明の映像音声送受信装置に係る実施形態の他の態様では、前記自拠点ユーザ情報は、前記取得された自拠点ユーザの音声に対応する映像である。
【００５６】
ここで、音声に対応する映像とは、音声レベル、発話中か否かを表すアイコンやマーク、発話が終了したか否かを表すアイコンやマーク、発話の残り時間を表す数値情報やインジケータ等、各種の態様を有し得るが、いずれにせよ、ユーザの映像に基づいて自拠点ユーザ情報が生成される場合と較べて、その情報量は顕著に小さくて済む。従って、制御手段に係る出力制御に要する負荷が相対的に軽くて済む。
【００５７】
また、この態様によれば、ユーザの映像に何らかの加工を施して自拠点ユーザ情報が生成される場合と較べて、実際に表示される映像に係る実践上の出力態様が自由であり、画面表示にフレキシビリティを与えることが可能である。また、ユーザによるカスタマイズも比較的自由である。
【００５８】
尚、自拠点ユーザ情報が自拠点で生成される態様においては、他拠点で生成される場合と異なり、少なくとも特定手段によって特定された遅延時間に相当する時間だけ、取得された映像、音声或いは自拠点ユーザ情報等を適宜保持しておく必要が生じ得る（他拠点で自拠点ユーザ情報が生成される態様では、この役目を言わばネットワークが担う）。この場合、この種のバッファとしては、例えば、揮発性記憶領域を有する各種高速メモリや不揮発性記憶領域を有するＨＤＤ等、公知の各種記憶手段を適用することができるが、そのデータ保持に要する負荷は、小さい程望ましい。その点に鑑みれば、このように自拠点ユーザ情報の情報量が小さくて済む本態様は、自拠点において自拠点ユーザ情報が生成される構成に適用されて顕著に効果的である。
【００５９】
尚、この態様では、前記取得された自拠点ユーザの音声に対応する映像は、前記自拠点ユーザの発話状態を表す映像であってもよい。
【００６０】
自拠点ユーザの音声に対応する映像が、自拠点ユーザの発話状態を表す映像である場合、他拠点ユーザの映像及び音声が、自身の如何なる発話動作に対してなされたものであるかについての判断がより容易となり、会話品質の一層の向上に効果的である。また、この場合、場合によっては、自拠点ユーザが発話状態にない期間については特別の処理が必要とされず、装置全体の処理負荷が軽減され得る。
【００６１】
尚、発話状態とは、発話中であるか否か等の定性的状態及び発話に際しての音声の大きさや身振りの大きさ等の定量的状態を含み、発話状態を表す映像とは、例えば、発話中であるか否かを示すアイコン、インジケータ又はマーク、発話の残り時間を示すアイコン、インジケータ又はマーク、或いは音声レベル等を表すアイコン、インジケータ又はマーク等を意味する。
【００６２】
尚、この態様では、前記取得された自拠点ユーザの音声に対応する映像は、前記自拠点ユーザの発話完了までの残り時間を表す映像であってもよい。
【００６３】
自拠点ユーザの発話終了タイミングは、他拠点ユーザの発話開始タイミングと密接な関係を有し得る。従って、発話終了タイミングを自拠点ユーザに効果的に知覚させ得る発話完了までの残り時間は、自拠点ユーザの音声に対応する映像として好適である。
【００６４】
本発明の映像音声送受信装置に係る実施形態の他の態様では、前記自拠点ユーザ情報は、前記自拠点ユーザの発話が完了した旨を告知する告知音である。
【００６５】
自拠点ユーザの発話終了タイミングは、他拠点ユーザの発話開始タイミングと密接な関係を有し得る。従って、発話終了タイミングを告知する告知音は、自拠点ユーザ情報として好適である。また特に、この種の告知音は、その効果に較べて、情報量が少なくて済むから、装置構成の肥大化を防ぎつつ会話品質を維持し得る点において効果的である。
【００６６】
＜映像音声送受信システムの実施形態＞
【００６７】
本発明の映像音声送受信システムに係る実施形態は、複数の拠点の各々においてネットワークに収容され且つユーザに使用される複数の映像音声送受信装置を備え、該複数の映像音声送受信装置の各々は、自拠点ユーザの映像及び音声を取得する自拠点ユーザ映像音声取得手段と、他拠点の前記映像音声送受信装置に対し前記ネットワークを介して前記取得された自拠点ユーザの映像及び音声を送信する送信手段と、前記ネットワークを介して他拠点ユーザの映像及び音声を取得する他拠点ユーザ映像音声取得手段と、前記取得される他拠点ユーザの映像及び音声が、前記取得された自拠点ユーザの映像及び音声のうち少なくとも一方に基づいて生成される自拠点ユーザ情報のうち前記取得される他拠点ユーザの映像及び音声と前記他拠点の時間軸上で同期する情報と共に出力されるように、所定の映像出力手段及び音声出力手段を制御する制御手段とを具備する。
【００６８】
音声送受信システムに係る実施形態によれば、音声送受信装置に係る実施形態を複数備えるため、音声送受信装置に係る実施形態によってもたらされる実践上の利益が同様に得られ、ネットワークを介したユーザ相互間での円滑な会話が実現される。
【００６９】
＜コンピュータプログラムの実施形態＞
【００７０】
本発明のコンピュータプログラムに係る実施形態は、コンピュータシステムを、上記いずれか一項に記載の映像音声送受信装置として機能させる。
【００７１】
当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体或いはＵＳＢ（Universal Serial Bus）メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明の映像音声送受信装置に係る実施形態を比較的簡単に実現できる。
【００７２】
尚、上述した本発明の映像音声送受信装置に係る実施形態における各種態様に対応して、本発明のコンピュータプログラムに係る実施形態も各種態様を採ることが可能である。
【００７３】
＜記録媒体の実施形態＞
【００７４】
本発明のコンピュータプログラムに係る実施形態は、コンピュータプログラムに係る実施形態を記録する。
【００７５】
本発明の記録媒体に係る実施形態によれば、コンピュータシステムに装着又は接続することによって、或いはコンピュータシステムに備わる又は接続された然るべき読取装置に挿入することによって、記録している本発明のコンピュータプログラムに係る実施形態を、コンピュータシステムに読み込ませて実行させることができ、上述した本発明の映像音声送受信装置に係る各実施形態を比較的簡単に実現できる。
【００７６】
以上説明したように、本発明の映像音声送受信装置に係る第１実施形態によれば、自拠点ユーザ映像音声取得手段、送信手段、他拠点ユーザ映像音声取得手段及び制御手段を具備するので、ネットワークを介したユーザ相互間の円滑な会話が実現される。
【００７７】
以上説明したように、本発明の映像音声送受信システムに係る実施形態によれば、本発明の映像音声送受信装置に係る実施形態を複数具備するので、ネットワークを介したユーザ相互間の円滑な会話が実現される。
【００７８】
以上説明したように、本発明のコンピュータプログラムに係る実施形態によれば、コンピュータシステムを本発明の映像音声送受信装置に係る実施形態として機能させることができる。
【００７９】
以上説明したように、本発明の記録媒体に係る実施形態によれば、本発明のコンピュータプログラムに係る実施形態を記録することにより、コンピュータシステムを本発明の映像音声送受信装置に係る実施形態として機能させることができる。
【００８０】
本発明のこのような作用及び他の利得は次に説明する実施例から明らかにされる。
【実施例】
【００８１】
以下、適宜図面を参照して、本発明の好適な各種実施例について説明する。
＜第１実施例＞
＜実施例の構成＞
始めに、図１を参照し、本発明の第１実施例に係る会話システム１の構成について説明する。ここに、図１は、会話システム１の構成を概念的に表してなる概略構成図である。
【００８２】
図１において、会話システム１は、相互いに離れた拠点Ａ（即ち、本発明に係る「自拠点」の一例である）及び拠点Ｂ（即ち、本発明に係る「他拠点」の一例である）を繋ぐ広域ネットワーク１０（ＩＰ（Internet Protocol）網）に収容された、本発明に係る「映像音声送受信システム」の一例たるシステムである。
【００８３】
会話システム１は、拠点Ａに設置され、拠点Ａに存在するユーザ２０Ａ（即ち、本発明に係る「自拠点ユーザ」の一例である）に使用される映像音声送受信装置３０Ａ（即ち、本発明に係る「映像音声送受信装置」の一例）と、拠点Ｂに設置され、拠点Ｂに存在するユーザ２０Ｂ（即ち、本発明に係る「他拠点ユーザ」の一例である）に使用される音声送受信装置３０Ｂ（即ち、本発明に係る「他拠点の映像音声送受信装置」の他の一例）から構成される。ユーザ２０Ａとユーザ２０Ｂとは、会話システム１により相互いの映像及び音声を確認しつつ会話を進行させることができる。
【００８４】
ここで、会話システム１の詳細な構成をより理解し易くするために、図２及び図３を参照し、会話システム１の動作の概要について説明することとする。ここに、図２は、ネットワークを介さない対面会話におけるユーザ同士の会話の進行状態を例示するタイミングチャートである。また、図３は、ネットワークを介する会話におけるユーザ同士の会話の進行状態を例示するタイミングチャートである。尚、これら各図において、図１と重複する箇所及び相互に重複する箇所については、同一の符号を付してその説明を適宜省略することとする。
【００８５】
図２において、左側にユーザ２０Ａ（拠点Ａ）、右側にユーザ２０Ｂ（拠点Ｂ）が表される。尚、縦軸は時間軸であり、拠点Ａ及び拠点Ｂの各々について、時間軸が設定されている。
【００８６】
ここで、拠点Ａと拠点Ｂとが、ネットワーク１０を介さずにユーザ同士が会話可能な程、近接した拠点であるとする（例えば、一会議室内等であるとする）。この場合、ユーザ２０Ａとユーザ２０Ｂとは、対面会話、即ち、相互いに向き合って、表情や仕草を確認しつつ会話のやり取りを行うことが可能である。
【００８７】
即ち、拠点Ａにおいて、発話Ａ１、Ａ２及びＡ３が時間軸上に沿って順次なされると、拠点Ｂにおいて、ユーザ２０Ｂは、これらユーザ２０Ａの発話内容を瞬時に認識することができ、これらに対応する発話Ｂ１、Ｂ２及びＢ３を順次行うことができる。即ち、これら双方の発話は、時間軸上で同期が取れており、ユーザは相互いに円滑な会話が可能である。
【００８８】
これに対し、図３には、拠点Ａと拠点Ｂとがネットワーク１０を介して繋がった構成（即ち、本実施例に係る構成）が示される。
【００８９】
図３に示される会話環境においては、拠点Ａにおけるユーザ２０Ａの発話Ａ１は、拠点Ｂにおいて、拠点Ａにおける発話Ａ１の発生時刻からネットワーク１０の伝送遅延時間及び映像音声送受信装置３０Ｂの処理遅延時間等を含む遅延時間ＤＬＹ＿ＡＢだけ遅れた発話Ａ１Ｂ（拠点Ｂにおける発話Ａ１であることを意味する）として出力される。
【００９０】
一方、ユーザ２０Ｂが、この発話Ａ１Ｂに対し、発話Ｂ１により応答を行うとする。この場合、拠点Ｂにおけるユーザ２０Ｂの発話Ｂ１は、拠点Ａにおいて、拠点Ｂにおける発話Ｂ１の発生時刻からネットワーク１０の伝送遅延時間及び映像音声送受信装置３０Ａの処理遅延時間等を含む遅延時間ＤＬＹ＿ＢＡだけ遅れた発話Ｂ１Ａ（拠点Ａにおける発話Ｂ１であることを意味する）として出力される。即ち、図２に例示される対面会話と較べると、ユーザ２０Ａが発話Ａ１を行ってから発話Ｂ１を確認するまで、「ＤＬＹ＿ＡＢ＋ＤＬＹ＿ＢＡ」に相当する遅延時間（即ち、本発明に係る「遅延時間」の一例）だけ余分な時間が経過することになる。
【００９１】
他方、拠点Ａの時間軸上では、この発話Ａ１に引き続いて発話Ａ２及びＡ３が順次行われており、上記発話Ｂ１Ａは、発話Ａ３と重複するタイミングで出力されることになる。然るに、この発話Ｂ１Ａの基になる発話Ｂ１は、元々ユーザ２０Ａの発話Ａ１に対応してなされたものであるから、ユーザ２０Ａからすると、時間軸上で同期していない発話となる。また、このような現象は、拠点Ｂにおいても同様に生じ得る。即ち、ネットワーク１０を介した会話においては、何らかの対策を講じない限り、ユーザ２０Ａとユーザ２０Ｂとの間の会話には時間的ずれが生じ、円滑な会話が難しくなる。
【００９２】
第１実施例及び後述する第２実施例に係る会話システムは、このような問題点を解決するためのものである。ここで、各実施例の詳細な説明に先立ち、図４を参照して、これら実施例における係る問題点の解決原理について説明することとする。ここに、図４は、第１及び第２実施例におけるユーザ同士の会話の進行状態を例示するタイミングチャートである。尚、同図において、図３と重複する箇所には、同一の符号を付してその説明を適宜省略することとする。
【００９３】
図４において、第１及び第２実施例に係る会話システムによれば、拠点Ｂにおいて出力された、拠点Ａにおけるユーザ２０Ａの発話（例えば、Ａ１Ｂ）に対応する情報（図４では、発話Ａ１Ｂそのもの）が、拠点Ｂにおけるユーザ２０Ｂの発話（例えば、Ｂ１）との時間関係を保持したまま（即ち、拠点Ｂの時間軸において同期した状態で）、拠点Ａに出力される（図示、発話Ａ１ＢＡ参照）。即ち、ユーザ２０Ａとユーザ２０Ｂとの間でなされる会話は、双方の拠点において、相手方の発話の出力時刻は遅れるものの、各々における発話の相互関係は一切崩れることがない。このため、遅延時間の大小に関係なく、各拠点のユーザは、相手の発話が自身の如何なる発話に対し、如何なるタイミングでなされたものであるかを常に確認することができ、円滑な会話が可能となるのである。
【００９４】
尚、図４には、拠点Ａにおける、拠点Ｂでなされたユーザ２０Ｂの発話Ｂ１Ａ、Ｂ２Ａ及びＢ３Ａと拠点Ｂで出力された拠点Ａにおけるユーザ２０Ａの発話Ａ１ＢＡ、Ａ２ＢＡ及びＡ３ＢＡとの時間関係が、拠点Ｂにおける、拠点Ｂでなされたユーザ２０Ｂの発話Ｂ１、Ｂ２及びＢ３と拠点Ａでなされたユーザ２０Ａの発話Ａ１Ｂ、Ａ２Ｂ及びＡ３Ｂとの時間関係と一致している様子が示される。
【００９５】
これらの点を踏まえた上で、これ以降、実施例毎に、詳細な構成及び動作を説明することとする。
【００９６】
先ず、図５を参照し、映像音声送受信装置３０Ａ（尚、映像音声送受信装置３０Ｂとハードウェア構成は同一である）の構成について説明する。ここに、図５は、映像音声送受信装置３０Ａのブロック図である。尚、同図において、図１と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【００９７】
図５において、映像音声送受信装置３０Ａ（或いは３０Ｂ）は、カメラ３１、マイク３２、モニタ３３及びスピーカ３４並びに送受信装置１００を備える。
【００９８】
カメラ３１は、ユーザ２０Ａを撮像可能に構成された撮像装置である。カメラ３１は、その撮像用のレンズ（不図示）が、ユーザ２０Ａの顔面を含む上半身に対向配置されており、ユーザ２０Ａの上半身を撮像することが可能である。この撮像の結果得られたユーザ２０Ａの映像は、フレーム毎の映像信号として送受信装置１００に送出される構成となっている。
【００９９】
マイク３２は、ユーザ２０Ａの音声を集音可能に構成された集音装置である。マイク３２は、その集音部が、ユーザ２０Ａの顔面に向けて配置されており、ユーザ２０Ａの音声を集音することが可能である。この集音の結果得られたユーザ２０Ａの音声は、音声信号として送受信装置１００に送出される構成となっている。
【０１００】
モニタ３３は、例えば液晶表示型ディスプレイ装置等の映像表示装置であり、所定の映像信号に従って、所定の表示領域に映像を表示可能に構成されている。尚、モニタ３３は、送受信装置１００と電気的に接続されており、その映像出力は、送受信装置１００によって制御される構成となっている。
【０１０１】
スピーカ３４は、音声出力装置であり、所定の音声信号に従って音声を出力可能に構成されている。尚、スピーカ３４は、送受信装置１００と電気的に接続されており、その音声出力は、送受信装置１００によって制御される構成となっている。
【０１０２】
送受信装置１００は、映像音声送受信装置３０Ａの動作全体を制御可能に構成されたコンピュータシステムであり、狭義において、本発明に係る「映像音声送受信装置」の一例として機能する。
【０１０３】
送受信装置１００は、夫々不図示のＣＰＵ、ＲＯＭ及びＲＡＭ等を含む電子制御ユニットを備える。このＲＯＭには、ＣＰＵにより実行可能に構成された各種制御プログラムが格納されており、ＣＰＵが当該制御プログラムを実行することにより、送受信装置は、本発明に係る「映像音声送受信装置」の一例として機能する構成となっている。尚、係る制御プログラムは、本発明に係る「コンピュータプログラム」の一例である。
【０１０４】
尚、この制御プログラムは、ＨＤ（Hard Disk）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ或いはＢＤ（Blu-ray Disk）等の各種記録媒体（本発明に係る「記録媒体」の一例である）に記録することが可能であり、この種の記録媒体が、例えば各種のコンピュータシステムに内蔵又は付設される然るべき記録再生装置に設置、格納又は挿入された状態において、当該コンピュータシステムにより適宜読み出されることにより、当該コンピュータシステムを、本発明に係る「映像音声送受信装置」の一例として機能させることもまた可能である。
【０１０５】
次に、図６を参照し、送受信装置１００の詳細な構成について説明する。ここに、図６は、送受信装置１００のブロック図である。尚、同図において、図５と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【０１０６】
図６において、送受信装置１００は、入力部１１０、送信部１２０、受信部１３０、受信バッファ１４０、出力部１５０、映像処理部１６０及び映像合成部１７０を備える。
【０１０７】
入力部１１０は、映像及び音声の入力インターフェイスユニットであり、映像入力部１１１、音声入力部１１２及び映像音声符号化部１１３を備える。
【０１０８】
映像入力部１１１は、入力端子（符号省略）が先述したカメラ３１に接続された映像入力インターフェイスであり、カメラ３１から順次送出されるユーザ２０Ａのフレーム単位の映像信号（即ち、本発明に係る「自拠点ユーザの映像」の一例）を取得可能に構成された、本発明に係る「自拠点ユーザ映像音声取得手段」の一例である。映像入力部１１１は、後述する映像合成部１７０と電気的に接続されており、取得された映像信号は、映像合成部１７０に送出される構成となっている。
【０１０９】
音声入力部１１２は、入力端子（符合省略）が、先述したマイク３２に接続された音声入力インターフェイスであり、マイク３２を介してユーザ２０Ａの音声を規定する音声信号（即ち、本発明に係る「自拠点ユーザの音声」の一例）を取得可能に構成された、本発明に係る「自拠点ユーザ映像音声取得手段」の他の一例である。
【０１１０】
映像音声符号化部１１３は、図示せぬエンコーダを備え、映像入力部１１１及び音声入力部１１２を介して得られた映像信号及び音声信号或いはこれらに対応する映像信号及び音声信号を、夫々所定のビットレートで圧縮符号化し且つ多重化して、所定規格（例えば、ＭＰＥＧ２ＴＳ（Transport Stream）等）に準じた映像音声データを生成するデータ生成ユニットである。また、映像音声符号化部１１３は、この生成された映像音声データを、所定の伝送プロトコル（本実施例ではＲＴＰ（Real-time Transfer Protocol）等）に準じたデータパケットに変換する構成となっている。
【０１１１】
送信部１２０は、映像音声符合化部１１３で生成された映像音声データに関するデータパケットを、ネットワーク１０を介して拠点Ｂの送受信装置１００に送信可能に構成された送信インターフェイスであり、本発明に係る「送信手段」の一例である。
【０１１２】
受信部１３０は、ネットワーク１０を介して拠点Ｂの送受信装置１００における映像音声符号化部１１３で生成された映像音声データに関するデータパケットを取得する受信インターフェイスであり、本発明に係る「他拠点ユーザ映像音声取得手段」の一例である。
【０１１３】
受信バッファ１４０は、各データパケットの伝送遅延時間のばらつきを抑制し、各データパケットの順序を入れ替え（即ち、各データパケットの到着時刻はまちまちである）、またデータパケットの消失による不具合を吸収するために設けられた一時的記憶領域を有する記憶手段である。受信バッファ１４０は、ＲＴＰのシーケンス番号やタイムスタンプを利用して、拠点Ｂの送受信装置１００における送信順序及び時間間隔を保って、取得したデータパケットを順次送出可能に構成されている。
【０１１４】
出力部１５０は、映像及び音声の出力インターフェイスユニットであり、映像音声復号化部１５１、映像出力部１５２及び音声出力部１５３を備えた、本発明に係る「制御手段」の一例である。
【０１１５】
映像音声復号化部１５１は、ＲＴＰ形式のデータパケットをＭＰＥＧ２ＴＳ形式の圧縮符号化データである映像音声データに変換し、更に、この映像音声データを復号化且つ分離化して映像信号（一映像フレームに対応する映像信号）及び音声信号を取り出し可能に構成されている。取り出された映像信号は、映像出力部１５２及び後述する映像処理部１６０に、また音声信号は、音声出力部１５３に夫々送出される構成となっている。
【０１１６】
映像出力部１５２は、出力端子（符号省略）が、先述したモニタ３３に接続された映像出力インターフェイスであり、モニタ３３に対し映像音声符号化部１５１から送出される映像信号を供給可能に構成されている。
【０１１７】
音声出力部１５３は、出力端子（符号省略）が、先述したスピーカ３４に接続された音声出力インターフェイスであり、スピーカ３４に対し映像音声符号化部１５１から送出された音声信号を供給可能に構成されている。
【０１１８】
映像処理部１６０は、映像音声復号化部１５１から供給される映像信号（拠点Ｂにおけるユーザ２０Ｂの一映像フレームに対応する映像信号）に基づいて、ユーザ２０Ａの一映像フレームとの合成に供すべき合成用映像フレーム（即ち、本発明に係る「他拠点ユーザ情報」の一例である）を生成する画像処理装置である。
【０１１９】
本実施例に係る合成用映像フレームは、元の映像フレームに対し縦横の表示サイズが所定比率で縮小された映像であり、また元の映像フレームの左下隅に表示されるように表示位置が規定された映像フレームであるとする。尚、フレームの残余の領域は、背景色を透明化する等の処理が講じられる。生成された合成用映像フレームは、映像合成部１７０の映像合成用バッファに送出される。
【０１２０】
映像合成部１７０は、映像合成用バッファ１７１を備え、拠点Ａにおけるユーザ２０Ａの一映像フレームと、ユーザＢに関する合成用映像フレームとを合成処理可能に構成された画像処理装置である。
【０１２１】
映像合成用バッファ１７１は、映像処理部１６０から送出された合成用映像フレームを一時的に格納する記憶装置である。
【０１２２】
映像合成部１７０は、映像合成バッファ１７１に一時的に格納された合成用映像フレームと、映像入力部１１１から送出された映像信号に基づいて生成されたユーザ２０Ａの一映像フレームとを合成する合成処理を実行して、合成映像フレームを生成可能に構成される。生成された合成映像フレームに係る映像信号は、映像音声符号化部１１３に順次送出される構成となっている。
【０１２３】
＜実施例の動作＞
以下、本発明の第１実施例に係る動作として、送受信装置１００が先述した各種制御プログラムを実行することにより実現される送信制御及び受信制御の詳細について説明する。
【０１２４】
始めに、図７を参照し、送信制御の詳細について説明する。ここに、図７は、送信制御のフローチャートである。
【０１２５】
図７において、撮像及び集音処理が実行される（ステップＳ１０１）。撮像及び集音処理においては、カメラ３１によるユーザ２０Ａの撮像処理と、マイク３２によるユーザ２０Ａの集音処理とが、時間同期を保って並列的に実行される。これらの処理の結果得られた映像信号は、映像入力部１１１を介して映像合成部１７０に送出され、また音声信号は、音声入力部１１２を介して映像音声符号化部１１３に送出される。
【０１２６】
次に、映像合成部１７０により映像合成処理が実行される（ステップＳ１０２）。映像合成処理では、先述したように、ユーザ２０Ａの一映像フレームと、ユーザ２０Ｂに関する合成用映像フレームとが合成され、合成映像フレームが生成される。合成映像フレームに関する映像信号は、元の映像信号と音声信号との時間同期を保って映像音声符号化部１１３に送出される。
【０１２７】
次に、映像音声符号化部１１３により、合成映像フレームに係る映像信号と音声信号との符号化及び多重化処理が実行され、先述した映像音声データが生成される（ステップＳ１０３）。また、生成された映像音声データは先述したデータパケットとして送信部１２０に送出される。
【０１２８】
送信部１２０では、この送出されたデータパケットを、ネットワーク１０を介して拠点Ｂの送受信装置１００に送信する（ステップＳ１０４）。送信処理が終了すると、処理はステップＳ１０１に戻され、一連の処理が繰り替えされる。送信制御は以上のように実行される。
【０１２９】
次に、図８を参照し、受信制御の詳細について説明する。ここに、図８は、受信制御のフローチャートである。
【０１３０】
図８において、受信部１３０は、拠点Ｂの送受信装置１００から送信されるデータパケットを受信すると共に、受信したデータパケットを順次受信バッファ１４０に格納する（ステップＳ２０１）。
【０１３１】
ＲＴＰに準じたデータパケットには、元のデータの時間関係を規定してなるタイムスタンプが含まれており、受信バッファ４０では、ネットワーク１０を介してランダムに送信されてくるデータパケットを、元の順序に並べ替えることができる。受信バッファ１４０は、保持するデータパケットをタイムスタンプにより管理し、タイムスタンプに従って順次映像音声復号化部１５１に送出する（ステップＳ２０２）。
【０１３２】
映像音声復号化部１５１では、先述したようにデータパケットを復号化及び分離化し、映像信号を映像出力部１５２及び映像処理部１６０に、また音声信号を音声出力部１５３に夫々送出する（ステップＳ２０３）。映像音声復号化部１５１による処理を経ると、処理は二系統に分化する。
【０１３３】
即ち、一方で、映像処理部１６０により合成用映像フレームが生成され（ステップＳ２０４）、映像合成用バッファ１７１に格納される（ステップＳ２０５）。尚、この格納された合成用映像フレームは、先述の送信制御におけるステップＳ１０２における合成処理に供される。
【０１３４】
他方で、映像出力部１５２及び音声出力部１５３は、映像音声復号化部１５１を介して得られた映像信号及び音声信号を、夫々モニタ３３及びスピーカ３４に送出する。その結果、モニタ３３には、拠点Ｂにおいて合成処理された合成映像フレームが表示され、スピーカ３４からは、この合成映像フレームに対応するユーザＢの音声が出力される。
【０１３５】
これらの処理が終了すると、処理はステップＳ２０１に戻される。受信制御は以上のように実行される。
【０１３６】
＜実施例の効果＞
次に、図９を参照し、第１実施例の効果について説明する。ここに、図９は、受信制御の実行過程における拠点Ａの表示映像を例示する図である。
【０１３７】
図９において、拠点Ａにおいて、カメラ３１により撮像されたユーザ２０Ａの一映像フレームをＰＩＣＴ＿Ａとする。また、拠点Ｂにおいて、カメラ３１により撮像されたユーザ２０Ｂの一映像フレームをＰＩＣＴ＿Ｂとする。
【０１３８】
拠点Ｂにおいて先の受信制御が実行される過程において、このＰＩＣＴ＿Ａに基づいて、合成用映像フレームＰＩＣＴ＿Ａ’（ここでは、ＰＩＣＴ＿Ａの縮小映像フレーム）が生成される。合成用映像フレームＰＩＣＴ＿Ａ’は、本発明に係る「自拠点ユーザ情報」の一例である。この合成用映像フレームＰＩＣＴ＿Ａ’は、拠点Ｂにおいて先の送信制御が実行される過程において、ＰＩＣＴ＿Ｂと合成され、拠点Ａで表示すべき合成映像フレームＰＩＣＴ＿ＢＡが生成される。
【０１３９】
この合成映像フレームＰＩＣＴ＿ＢＡは、拠点Ａにおける受信制御において、モニタ３３に拠点Ｂの映像として表示される。
【０１４０】
ここで、合成映像フレームＰＩＣＴ＿ＢＡが、ユーザＡの映像及びユーザＢの映像の単なる合成映像と異なる点は、合成用映像ＰＩＣＴ＿Ａ’（拠点Ａで生成される合成用映像ＰＩＣＴ＿Ｂ’も同様である）が時間要素を備えているところにある。
【０１４１】
即ち、合成用映像フレームＰＩＣＴ＿Ａ’は、元々拠点Ａで得られた映像フレームＰＩＣＴ＿Ａを基にしている。然るに、拠点Ａの送受信装置１００で合成用映像フレームＰＩＣＴ＿Ａ’を生成し、拠点Ｂから得られた映像フレームＰＩＣＴ＿Ｂと合成してしまうと、先に図３を参照して説明したように、遅延時間分、これらのフレームの時間関係がずれることになる。これでは、ユーザＡに関する合成用映像フレームＰＩＣＴ＿Ａ’を拠点Ａで表示することの技術的意義が極めて小さくなる。
【０１４２】
これに対し、本実施例では、合成用映像フレームＰＩＣＴ＿Ａ’が、拠点Ｂにおいて生成される構成を採る。即ち、データパケットがネットワーク１０を拠点Ｂへ向けて伝送する過程において、拠点Ａから拠点Ｂへの片道分の遅延時間がキャンセルされる。即ち、合成用映像フレームＰＩＣＴ＿Ａは、拠点Ｂでの時間軸に同期した映像フレームとなる。
【０１４３】
一方、この合成用映像フレームＰＩＣＴ＿Ａ’は、拠点Ｂにおいて、時間軸が同期したユーザＢの映像フレームＰＩＣＴ＿Ｂと合成され、データパケットとして拠点Ａに戻されるが、この際、拠点Ｂにおいて合成処理がなされているため、ネットワーク１０を拠点Ｂから拠点Ａへ伝送する過程において、拠点Ｂから拠点Ａへの片道分の遅延時間が、この時間的同期関係を崩すことは決してない。
【０１４４】
その結果、拠点Ａにおいては、拠点Ｂでの時間軸に同期したユーザＡとユーザＢとの様子（言うなれば、過去のある時点での拠点Ｂでの会話の様子）が、合成映像フレームＰＩＣＴ＿ＢＡとして表示されるのである。即ち、ユーザＡは、合成映像フレームＰＩＣＴ＿ＢＡと同期して出力されるユーザＢの音声（映像フレームＰＩＣＴ＿Ｂに同期した音声である）によって規定されるユーザＢの発話が、自身の如何なる発話に対してなされたのか、また如何なるタイミングでなされたのかを、拠点Ｂの時間軸に同期した合成用映像フレームＰＩＣＴ＿Ａ’により明確に認識することができるのである。また、このような利益は、無論拠点Ｂにおいても同様に享受される。
【０１４５】
従って、本実施例に係る会話システム１によれば、拠点Ａ及び拠点Ｂに設置された送受信装置１００の作用により、複数のユーザが円滑に会話を進行させることができるのである。
＜第２実施例＞
次に、本発明の第２実施例に係る会話システムについて説明する。第２実施例に係る会話システムは、基本的に第１実施例に係る会話システムと同等であるが、各拠点に設置された映像音声送受信装置、特に送受信装置の構成が第１実施例に係る送受信装置１００と異なっている。より具体的には、送受信装置１００に替えて送受信装置２００を備える点において、第１実施例と異なっている。
【０１４６】
始めに、図１０を参照し、第２実施例に係る送受信装置の構成について説明する。ここに、図１０は、送受信装置２００の構成を表してなるブロック図である。尚、同図において、図６と重複する箇所には同一の符合を付してその説明を適宜省略することとする。尚、第１実施例と同様に、送受信装置２００は、拠点Ａの送受信装置であるとする。
【０１４７】
図１０において、送受信装置２００は、入力部１１０、送信部１２０、受信部１３０、受信バッファ１４０、出力部２１０、遅延測定部２２０及び合成処理部２３０を備える。
【０１４８】
出力部２１０は、映像音声符号化部１５１、映像出力部１５２及び音声出力部１５３に加えて、映像処理部２１１及び音声処理部２１２を備える。
【０１４９】
映像処理部２１１は、後述する発話データ処理部２３３による制御を受けて、映像音声符号化部１５１から送出される映像信号に基づいたユーザＢの一映像フレームに対し、所定のタイミングで後述する発話状態映像フレーム（即ち、本発明に係る「自拠点ユーザ情報」の一例）を合成する画像処理装置である。発話状態映像フレームが合成された映像フレームに係る映像信号は、映像出力部１５２に送出される構成となっている。
【０１５０】
音声処理部２１２は、後述する発話データ処理部２３３による制御を受けて、映像音声符号化部１５１から送出される音声信号に基づいたユーザＢの音声に対し、所定のタイミングで後述する発話終了音（即ち、本発明に係る「自拠点ユーザ情報」の他の一例）を合成する音声処理装置である。発話動作音が合成された音声に係る音声信号は、音声出力部１５３に送出される構成となっている。
【０１５１】
遅延測定部２２０は、機器遅延情報通信部２２１、ネットワーク遅延測定部２２２及び総遅延量算出部２２３を備える。
【０１５２】
機器遅延情報通信部２２１は、送受信装置２００の処理遅延時間（主として、入力部１１０に係る入力処理に要する遅延時間と、出力部２１０に係る出力処理に要する遅延時間との総和）を測定して、処理遅延時間情報として拠点Ｂの送受信装置２００に送信すると共に、拠点Ｂの送受信装置２００から同様の処理遅延時間情報を取得可能に構成されている。尚、この処理遅延時間情報の送受信は、一定の周期で頻繁に実行されてもよいし、ある特定のタイミング（例えば、会話システムの起動初期等）で実行されてもよい。
【０１５３】
ネットワーク遅延測定部２２２は、ネットワーク１０の伝送遅延時間（ここでは、ＲＴＴ）を測定するユニットである。ネットワーク遅延測定部２２２は、ＲＴＣＰ（Real-time Transport Control Protocol）のＳＲ（Sender Report）及びＲＲ（Receiver Report）を利用してＲＴＴを測定する構成となっている。
【０１５４】
総遅延量算出部２２３は、機器遅延情報通信部２２１により測定された処理遅延時間と、ネットワーク遅延測定部２２２により測定された伝送遅延時間とを加算して、拠点間のデータ伝送に要する総遅延時間（本発明に係る「遅延時間」の一例）を算出する演算処理装置である。
【０１５５】
合成処理部２３０は、発話判定部２３１、発話データ保持部２３２及び発話データ処理部２３３を備える。
【０１５６】
発話判定部２３１は、音声入力部１１２から音声信号を取得し、ユーザＡの音声レベル（音圧レベル）を検出すると共に、ユーザＡが発話状態にあるか否かを判定可能に構成されている。
【０１５７】
発話データ保持部２３２は、発話判定部２３１の判定結果に基づいて、ユーザＡの発話状態をデータ化してなる発話データを生成し且つ一時的に記憶するユニットである。ここで、図１１を参照し、発話データについて説明する。ここに、図１１は、発話データ保持部２３２により保持された発話データの概念図である。
【０１５８】
図１１において、発話データは、ユーザＡの発話開始時刻に関する情報と発話終了時刻に関する情報とからなるデータである。発話データ保持部２３２は、この発話データを一次的に記憶することによって保持する構成を採る。尚、総遅延量算出部２２３により算出された総遅延時間よりも過去に相当する発話データは、発話データ保持部２２３から順次破棄される構成となっている。
【０１５９】
図１０に戻り、発話データ処理部２３３は、発話データ保持部に保持された発話データに基づいて、ユーザＡの発話状態に対応付けられた各種の発話マークｍｋを含んだ所定の発話状態映像フレームを生成する画像処理機能と、生成された発話状態映像フレームを映像処理部２１１に然るべきタイミングで送出する機能と、映像処理部２１１の動作を制御する機能とを有する制御ユニットである。発話データ処理部２３３は、本発明に係る「自拠点ユーザ情報生成手段」及び「選択手段」の夫々一例である。
【０１６０】
ここで、第２実施例に係る送受信装置２００では、ＣＰＵがＲＯＭに格納された制御プログラムに従って、発話データ生成処理と映像音声出力処理とを実行する構成となっている。
【０１６１】
始めに、図１２を参照し、発話データ生成処理について説明する。ここに、図１２は、発話データ生成処理のフローチャートである。
【０１６２】
図１２において、発話判定部２３１は、検出される音声レベルが、予め発話状態にあるか否かを判別可能に設定された閾値以上であるか否かを判別する（ステップＳ３０１）。音声レベルが閾値未満である場合（ステップＳ３０１：ＮＯ）、ステップＳ３０１が繰り返し実行され、処理は実質的に待機状態となる。
【０１６３】
音声レベルが閾値以上である場合（ステップＳ３０１：ＹＥＳ）、発話データ保持部２３２は、発話開始時刻（即ち、音声レベルが閾値を超えた時刻）を記録し（ステップＳ３０２）、音声レベルが閾値未満であるか否かを判別する（ステップＳ３０３）。音声レベルが閾値以上である期間は（ステップＳ３０３：ＮＯ）、処理が待機状態となり、音声レベルが閾値未満に低下すると（ステップＳ３０３：ＹＥＳ）、発話データ保持部２３２は、発話終了時刻を記録して、一の発話データが完成する（ステップＳ３０４）。一の発話データが完成すると、処理はステップＳ３０１に戻される。発話データ生成処理は以上のように実行される。
【０１６４】
次に、図１３を参照し、映像音声出力処理について説明する。ここに、図１３は、映像音声出力処理のフローチャートである。
【０１６５】
始めに、発話データ処理部２３３は、映像音声復号化部１５１による一の映像音声データの復号化がなされた時刻（以下、適宜「復号化時刻」と称する）と拠点Ｂの時間軸上で同期する時刻（以下、適宜「同期時刻」と称する）における、ユーザＡの音声状態を、発話データ保持部２３２を介して確認する（ステップＳ４０１）。この同期時刻は、復号化時刻よりも、総遅延量算出部２２３で算出された総遅延時間分過去の時刻である。
【０１６６】
発話データ処理部２３３は、この確認結果に基づいて、ユーザＡが発話状態にあるか否かを判別する（ステップＳ４０２）。ユーザＡが発話状態にある場合（ステップＳ４０２：ＹＥＳ）、発話データ処理部２３３は更に、発話が完了しているか否かを判別する（ステップＳ４０３）。尚、「発話が完了しているか否か」とは、即ち、現在その発話が継続していないことを意味しており、具体的には、発話データ保持部２３２の当該発話データに終了時刻が記述されていることを意味する。
【０１６７】
発話が未だ継続している場合（ステップＳ４０３：ＮＯ）、発話データ処理部２３３は、発話状態映像フレームを生成し、映像処理部２１１を介して、映像音声復号化部１５１を経た映像信号に対応する映像フレームに、生成された発話状態映像フレームを合成する（ステップＳ４０９）。この際、未だ発話が継続中であるため、後述する発話の残り時間は表示されない。
【０１６８】
一方、発話が既に完了している場合（ステップＳ４０３：ＹＥＳ）、発話データ処理部２３３は、発話の残り時間を算出する（ステップＳ４０４）。発話の残り時間とは、上述した同期時刻と、発話終了時刻（発話データによって規定されている）との差分である。
【０１６９】
発話データ処理部２３３は、算出された残り時間が予め設定された閾値（例えば、５秒）未満であるか否かを判別する（ステップＳ４０５）。残り時間が閾値以上である場合（ステップＳ４０５：ＮＯ）、即ち、発話終了まで十分な時間がある場合、処理は先述のステップＳ４０９に移行される。
【０１７０】
一方で、残り時間が閾値未満である場合（ステップＳ４０５：ＹＥＳ）、即ち、程無く発話が終了する場合、映像データ処理部２３３は、残時間表示マークを含む発話状態映像フレームを生成し、映像処理部２１１を介して映像音声復号化部１５１から送出される映像フレームに合成する（ステップＳ４０６）。尚、残時間表示マークとは、発話の残り時間を視覚的に表してなるマーク（アイコンやインジケータ等を含む）である。
【０１７１】
尚、ステップＳ４０２において、同期時刻においてユーザＡが発話状態にない場合（ステップＳ４０２：ＮＯ）、発話データ処理部２３３は、同期時刻と発話終了時刻とが一致するか、即ち、丁度発話が終了する時刻であるか否かを判別する（ステップＳ４０７）。同期時刻と発話終了時刻とが一致しない場合（ステップＳ４０７：ＮＯ）、発話データ処理部２３３は、映像音声復号化部１５１から送出される映像フレームがそのまま映像出力部１５２に送出されるように映像処理部２１１を制御する。
【０１７２】
同期時刻と発話終了時刻とが一致する場合、発話データ処理部２３３は、発話終了音に係る音声信号を生成し、映像処理部１６１を介して映像音声復号化部１５１から送出された音声信号に合成する（ステップＳ４０８）。発話終了音とは、ユーザＡに拠点Ｂの時間軸に同期した過去の自身の発話が終了した旨を告知するための告知音であり、その態様は何ら限定されない。
【０１７３】
ステップＳ４０８が実行されるか、ステップＳ４０７が「ＮＯ」側に分岐するか、或いは発話状態映像フレームが合成された映像フレームが表示される場合、処理はステップＳ４０１に戻される。映像音声出力処理は以上のように実行される。
【０１７４】
次に、然るべき条件が満たされた場合に発話データ制御部２３３により生成され、その時点（同期時刻）における映像フレームに適宜合成される発話状態映像フレームについて説明する。ここに、図１４は、発話状態映像フレームの各種態様を例示する図である。尚、同図において、図９と重複する箇所には、同一の符合を付してその説明を適宜省略することとする。
【０１７５】
図１４において、発話状態映像フレームは、拠点Ａにおいて表示されるユーザＢの映像フレームＰＩＣＴ＿ＢＡに合成される合成用表示フレームであり、フレーム左端部分に各種態様を伴う発話マークｍｋが配置された映像フレームである。
【０１７６】
図１４（ａ）には、発話マークｍｋとして残時間表示マークｍｋ１を含む発話状態映像フレームが合成された状態が例示される。
【０１７７】
図１４（ａ）に例示される残時間表示マークｍｋ１は、単位時間（ここでは、例として１秒とする）に一表示単位マークを割り当てた一種のインジケータである。図１４（ａ）では、ユーザＡの発話の残り時間が、先述した閾値（ここでは、例として５秒とする）に相当する、表示単位マーク五個分、即ち、五単位時間（即ち、５秒）である旨が示される。即ち、これ以降、単位時間経過毎に、この表示単位マークは漸減し、ユーザＡの発話終了と共に表示されなくなる（即ち、図１３のステップＳ４０９に相当する状態である）。
【０１７８】
図１４（ｂ）には、発話マークｍｋとして発話表示マークｍｋ２を含む発話状態映像フレームが合成された状態が例示される。図１４（ｂ）に例示される発話表示マークｍｋ２は、ユーザＡが発話状態にあるか否かを表すアイコンであり、ユーザＡが発話中である場合に表示され、発話中でなければ表示されない構成となっている。或いは、発話表示マークｍｋ２は、よりユーザＡの注意を喚起し得るように、訴求性の高い点滅表示がなされてもよい。
【０１７９】
図１４（ｃ）には、発話マークｍｋとして音声レベルマークｍｋ３を含む発話状態映像フレームが合成された状態が例示される。図１４（ｃ）に例示される音声レベルマークｍｋ３は、ユーザＡの音声レベル（音圧レベル）を複数段階に区分して表すインジケータであり、図中では、ユーザＡの音声レベルが、レベル３（ハッチング表示参照）である旨が示される。音声レベルマークｍｋ３は、ユーザＡの音声レベルと共にリアルタイムに変化する発話マークである。
【０１８０】
尚、音声レベル（音圧レベル）を視覚表示するには、当然ながら音声レベルの記憶（音声レベルそのものの記憶でも、複数段階に区分された後の音声レベルの記憶でもよい）が必要となる。
【０１８１】
従って、図１４（ｃ）に例示される音声レベルマークｍｋ３の表示を実現する場合、図１０に例示される装置構成に加えて、この種の記憶を可能とする記憶装置が設けられるのが好適である。
【０１８２】
或いは、図１０に例示される装置構成において、発話データ保持部２３２が、図１１に例示される発話データに加えて、又は発話データの一部として、音声レベルに相当する音声レベルデータを保持してもよい。
【０１８３】
この場合、例えば、発話判定部２３１が、発話判定を遂行するにあたって発話に相当する音声信号である旨の判定を行った場合に、発話開始時刻と発話終了時刻との間の一発話期間（一発話データに対応する期間）において、所定周期で音声レベル値を発話データ保持部２３２に記憶させてもよい。この際、記憶された音声レベル値を音声レベルマークｍｋ３に相当する複数段階に区分する作業は、例えば、発話データ処理部２３３が行ってもよい。
【０１８４】
尚、一の発話状態映像フレームは、これら各発話マークを含む複数の発話マークを含んでいてもよい。例えば、発話マークｍｋ１及びｍｋ２が含まれる場合、発話終了までの残り陣間に比較的余裕がある場合には、発話マークｍｋ１及びｍｋ２の双方が表示され、発話終了間際になって発話マークｍｋ２のみが表示されてもよい。
【０１８５】
このように、第２実施例に係る会話システムによれば、拠点Ａにおいて表示される拠点Ｂのユーザ２０Ｂの映像フレームに、当該映像フレームと拠点Ｂの時間軸上で同期したユーザＡの発話状態を規定する発話マークｍｋを含む、発話状態映像フレームが適宜合成される。このため、拠点Ａのユーザ２０Ａは、拠点Ｂのユーザ２０Ｂが、自身の如何なる発話に対して如何なるタイミングで発話を行ったのかについて、視覚的に認識することができる。また、このような効果は、拠点Ｂにおいても同様である。従って、双方における会話を円滑に進行させることが可能となるのである。
【０１８６】
尚、第２実施例に係る会話システムによれば、第１実施例とは異なり、発話データ処理部２３３が、遅延測定部２２０により測定された総遅延時間に基づいて、自拠点の発話データを管理することによって、拠点Ｂの時間軸に同期したタイミングでユーザ２０Ａに関する映像を表示させる旨の措置を、全て自拠点内で行うことが可能となっている。従って、例えば、会話システム内の送受信装置のうち、一の拠点に設置された一の送受信装置のみが本実施例に係る構成を有しているとしても、少なくとも当該一の拠点におけるユーザは、会話を快適に進行させることができる。このような効果は、例えば、ユーザ相互間で発言権や発言量に偏りがある場合等において、顕著に奏される。
【０１８７】
また、第２実施例に係る会話システムによれば、実際に会話を成立させている音声に着目し、音声に基づいた発話判定と、音声に基づいた映像（発話マークｍｋ）表示とが行われる。このため、各拠点のユーザは、確実に自身の発話と相手の発話とを対比させることができ、会話の円滑性をより高めることが可能となり得る。即ち、自身の映像に基づいた映像（例えば、第１実施例に係る合成用映像フレーム）を相手の映像に合成するだけでは、時間軸の同期は確保されるにせよ、自身が如何なる発話を行っているかについて、確認し難い場合が生じ得るのである。
【０１８８】
尚、第２実施例に係る送受信装置２００では、合成処理部２３０によって発話データを管理する必要があり、また遅延測定部２２０によりデータ伝送に要する遅延時間を測定する必要があるため、第１実施例に係る送受信装置１００と較べると、装置の処理負荷が大きくなり易い。
【０１８９】
このため、第１実施例と同様に、自拠点のユーザの映像に基づいた合成用映像フレームを使用すると、少なくとも遅延時間分に相当する時間について、映像入力部１１１により得られた映像信号、当該映像信号に基づいて生成された映像、或いは当該映像に基づいて生成された合成用映像フレーム等、比較的大容量のデータを保持する記憶領域が必要となる。この点に鑑みれば、上記第２実施例のように、映像であっても比較的データ容量が軽くて澄む、音声に関する映像（ここでは、発話マークｍｋ）を含む映像フレームを合成用映像フレームとして使用することの効果は大きい。
＜第３実施例＞
第１実施例と第２実施例とに係る技術的特徴は、相互に相容れないものではなく、相互いに協調させることもまた可能である。以下に、そのような本発明の第３実施例について説明することとする。
【０１９０】
第３実施例に係る会話システムは、基本的に第２実施例に係る会話システムと同等であるが、各拠点に設置された映像音声送受信装置、特に送受信装置の構成が第２実施例に係る送受信装置２００と異なっている。より具体的には、送受信装置２００に替えて送受信装置３００を備える点において、第２実施例と異なっている。
【０１９１】
始めに、図１５を参照し、第３実施例に係る送受信装置の構成について説明する。ここに、図１５は、送受信装置３００の構成を表してなるブロック図である。尚、同図において、図１０と重複する箇所には同一の符合を付してその説明を適宜省略することとする。尚、第２実施例と同様に、送受信装置３００は、拠点Ａの送受信装置であるとする。
【０１９２】
図１５において、第３実施例に係る送受信装置３００は、入力部１１０に替えて入力部３１０を備える点において、第２実施例に係る送受信装置２００と異なっている。入力部３１０は、映像入力部１１１と映像音声符号化部１１３との間の信号経路に、音声レベル表示合成部３１１を備える点において、入力部１１０と異なっている。
【０１９３】
音声レベル表示合成部３１１は、映像音声復号化部１５１から送出されたユーザＢの音声信号を取り込んで、その音声レベル（音圧レベル）を検出し（即ち、発話判定部２３１と同等の機能であってもよい）、音声レベルを表す合成用映像フレーム（例えば、図１４（ｃ）に相当する映像フレーム）を生成する。また、この生成された合成用映像フレームを、ユーザ２０Ａの映像フレームに合成する（即ち、合成用映像生成手段及び合成映像生成手段の夫々他の一例として機能する）。尚、この合成映像フレームに係る映像信号は、映像音声符号化部１１３を介して映像音声データに変換され、送信部１２０を介して拠点Ｂに送信される。
【０１９４】
また、この音声レベルに関する映像フレームの合成処理は、拠点Ｂにおいても同様に実行される。即ち、ユーザ２０Ａの音声は、拠点Ｂにおける映像音声復号化部１５１の下流から取り出され、その音声レベルに関する映像フレームが、ユーザＢの映像フレームと合成されて映像音声データが生成される。この生成された映像音声データに係るデータパケットは、拠点Ａに送信される。
【０１９５】
即ち、第３実施例によれば、音声レベルに関する映像については、第１実施例と同様に、他拠点側の時間軸との時間同期が他拠点側で行われる。従って、拠点Ａにおける映像音声復号化部１５１から送出される映像信号に対応する映像フレームには、既に拠点Ｂの時間軸に同期したユーザ２０Ａの音声レベルに関する映像フレームが合成されている。
【０１９６】
一方、発話データ処理部２３３は、残時間表示マークｍｋ１或いは発話表示マークｍｋ２等といった、比較的処理負荷の軽い映像に関しては、自拠点側で合成する。即ち、音声レベルに関する合成用映像フレームが合成された合成映像フレームに、更に残時間表示マークｍｋ１或いは発話表示マークｍｋ２等を含む発話状態映像フレームが、拠点Ｂの時間軸と同期して合成され、最終的にモニタ３３から一の映像フレームとして出力される。補足すると、この一の映像フレームに表された音声レベルと、残時間と発話の有無とは、当然ながら、拠点Ａにおいて過去のある同一時刻におけるユーザＡの発話動作を規定する。
【０１９７】
第３実施例によれば、音声レベルマークｍｋ３等、リアルタイムに変化し得る映像に関しては、上述した処理負荷や記憶容量の観点から、第１実施例と同様、敢えてネットワーク１０上を伝送させることにより、その時間管理に要する処理負荷を軽減し、且つ合成処理部２３０のデータ容量を低減させることができる。従って、双方の利点を生かしたより高い会話品質が提供され得る。尚、ここでは、音声レベルに関する映像が使用されたが、第１実施例と同様に、ユーザの映像から派生する合成用映像フレームが使用されてもよい。
【０１９８】
送受信装置３００は、ＲＯＭに格納された制御プログラムに従って、第１実施例と同様に送信制御を実行可能である。ここで、図１６を参照し、第３実施例に係る送信制御について説明する。ここに、図１６は、第３実施例に係る送信制御のフローチャートである。尚、同図において、図７と重複する箇所には同一の符合を付してその説明を適宜省略することとする。
【０１９９】
図１６において、ステップＳ１０１が実行されると、映像合成処理が実行される（ステップＳ５０１）。ステップＳ５０１に係る映像合成処理では、上述したように、入力部３１０内において、音声レベルに関する合成用映像フレームの合成処理が実行される。尚、第１実施例と同様にユーザの映像に基づいた合成用映像フレームが生成される場合には、更にこのユーザの映像から派生する合成用映像フレームが、例えば映像合成部１７０等の作用により実行されてもよい。
【０２００】
映像合成処理の実行後は、第１実施例と同様に、映像音声符号化部１１３による映像音声データ及びデータパケットの生成がなされ（ステップＳ１０３）、送信部１２０を介した送信が実行される（ステップＳ１０４）。第３実施例に係る送信制御は以上のように実行される。
【０２０１】
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う映像音声送受信装置、映像音声送受信システム、コンピュータプログラム及び記録媒体もまた本発明の技術的範囲に含まれるものである。
【産業上の利用可能性】
【０２０２】
本発明は、遠隔地のユーザ同士で会話を成立させる装置或いはシステムに適用可能である。
【符号の説明】
【０２０３】
１…会話システム、１０…ネットワーク、２０Ａ、２０Ｂ…ユーザ、３０Ａ、３０Ｂ…映像音声送受信装置、１００…送受信装置、１１０…入力部、１２０…送信部、１３０…受信部、１４０…受信バッファ、１５０…出力部、１６０…映像処理部、１７０…映像合成部、１７１…映像合成用バッファ、２００…送受信装置、２１０…出力部、２２０…遅延測定部、２３０…発話データ処理部、３００…入力部、３１０…音声レベル表示合成部。
【図１】
2012054693.tif 000003
【図２】
2012054693.tif 000004
【図３】
2012054693.tif 000005
【図４】
2012054693.tif 000006
【図５】
2012054693.tif 000007
【図６】
2012054693.tif 000008
【図７】
2012054693.tif 000009
【図８】
2012054693.tif 000010
【図９】
2012054693.tif 000011
【図１０】
2012054693.tif 000012
【図１１】
2012054693.tif 000013
【図１２】
2012054693.tif 000014
【図１３】
2012054693.tif 000015
【図１４】
2012054693.tif 000016
【図１５】
2012054693.tif 000017
【図１６】
2012054693.tif 000018