(57)【要約】【課題】受信側が所望する音声合成に柔軟に対応することが可能な端末装置及び通信システムを提供する。【解決手段】他の端末装置が有する撮像部により撮像される画像に関する制御を行う撮像制御部１５３と、当該撮像部により撮像された画像と、他の端末装置が有する複数の音声入力部それぞれに入力された音声と、を受信する受信部１５７と、複数の音声を合成して合成音声を生成する音声合成部１５９と、画像を表示部１８０に表示させる表示制御部１６１と、合成音声を音声出力部１９０に出力させる音声出力制御部１６３と、を備える。【選択図】図２
2015173433.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して他の端末装置と接続される端末装置であって、
前記他の端末装置が有する撮像部により撮像される画像に関する制御を行う撮像制御部と、
前記撮像部により撮像された画像と、前記他の端末装置が有する複数の音声入力部それぞれに入力された音声と、を受信する受信部と、
前記複数の音声を合成して合成音声を生成する音声合成部と、
前記画像を表示部に表示させる表示制御部と、
前記合成音声を音声出力部に出力させる音声出力制御部と、
を備える端末装置。
【請求項２】
前記撮像制御部は、前記撮像部の撮像範囲を遠隔制御する請求項１に記載の端末装置。
【請求項３】
前記撮像制御部は、前記画像の表示範囲を制御する請求項１に記載の端末装置。
【請求項４】
前記音声合成部は、前記撮像範囲の遠隔制御の設定に基づいて、前記複数の音声を合成する請求項２に記載の端末装置。
【請求項５】
前記撮像範囲の遠隔制御の設定に基づく第１音声合成を行うか前記撮像範囲のデフォルトの設定に基づく第２音声合成を行うかを設定する設定部を更に備え、
前記音声合成部は、前記第１音声合成が設定されている場合、前記撮像範囲の遠隔制御の設定に基づいて、前記複数の音声を合成し、前記第２音声合成が設定されている場合、前記撮像範囲のデフォルトの設定に基づいて、前記複数の音声を合成する請求項２又は４に記載の端末装置。
【請求項６】
前記音声合成部は、前記表示範囲の設定に基づいて、前記複数の音声を合成し、
前記表示制御部は、前記表示範囲の設定に基づいて、前記画像を前記表示部に表示させる請求項３に記載の端末装置。
【請求項７】
前記表示範囲の設定に基づく第１音声合成及び第１表示制御を行うか前記表示範囲のデフォルトの設定に基づく第２音声合成及び第２表示制御を行うかを設定する設定部を更に備え、
前記音声合成部は、前記第１音声合成及び前記第１表示制御が設定されている場合、前記表示範囲の設定に基づいて、前記複数の音声を合成し、前記第２音声合成及び前記第２表示制御が設定されている場合、前記表示範囲のデフォルトの設定に基づいて、前記複数の音声を合成し、
前記表示制御部は、前記第１音声合成及び前記第１表示制御が設定されている場合、前記表示範囲の設定に基づいて、前記画像を前記表示部に表示させ、前記第２音声合成及び前記第２表示制御が設定されている場合、前記表示範囲のデフォルトの設定に基づいて、前記画像を前記表示部に表示させる請求項３又は６に記載の端末装置。
【請求項８】
ネットワークを介して接続された複数の端末装置を備える通信システムであって、
一の端末装置は、
撮像部と、
複数の音声入力部と、
前記撮像部により撮像された画像と、前記複数の音声入力部それぞれに入力された音声と、を送信する送信部と、を備え、
他の端末装置は、
前記撮像部の撮像範囲を遠隔制御する撮像制御部と、
前記画像と前記複数の音声とを受信する受信部と、
前記複数の音声を合成して合成音声を生成する音声合成部と、
前記画像を表示部に表示させる表示制御部と、
前記合成音声を音声出力部に出力させる音声出力制御部と、を備える通信システム。
【請求項９】
ネットワークを介して接続された複数の端末装置を備える通信システムであって、
一の端末装置は、
撮像部と、
複数の音声入力部と、
前記撮像部により撮像された画像と、前記複数の音声入力部それぞれに入力された音声と、を送信する送信部と、を備え、
他の端末装置は、
前記画像と前記複数の音声とを受信する受信部と、
前記画像の表示範囲を制御する撮像制御部と、
前記複数の音声を合成して合成音声を生成する音声合成部と、
前記画像を表示部に表示させる表示制御部と、
前記合成音声を音声出力部に出力させる音声出力制御部と、を備える通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置及び通信システムに関する。
【背景技術】
【０００２】
インターネット等のネットワークを介して画像（映像）や音声などをリアルタイムに送受信することで、遠隔地とのコミュニケーションを実現するビデオ会議システム（テレビ会議システムなどと称される場合もある）などの通信システムが知られている。
【０００３】
例えば、ビデオ会議システムの場合、一方の参加者が用いる会議端末が、当該参加者の画像を撮影するとともに当該参加者の発言などの音声を収集し、他方の参加者が用いる会議端末に送信する。そして、他方の参加者が用いる会議端末が、画像及び音声を受信し、画像を表示するとともに音声を出力することで、遠隔会議を実現する。
【０００４】
ここで、例えば特許文献１には、複数のマイクロフォンを内蔵するとともに、外部制御可能なＰＴＺ（パン・チルト・ズーム）機能を有するビデオカメラをテレビ会議システムに採用し、当該ビデオカメラが、ＰＴＺの状態を示す制御信号に応じたパラメータで複数のマイクロフォンから入力された音声信号を合成して外部出力する技術が開示されている。
【０００５】
特許文献１に開示された技術によれば、ビデオカメラの撮像範囲（撮像された画像）に対応した音声信号を外部出力できるので、テレビ会議の音声品質を向上させることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したような従来技術では、送信側で音声を合成しているので、受信側で着目したい範囲の音声を合成するなど受信側が所望する音声合成に柔軟に対応することができない。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、受信側が所望する音声合成に柔軟に対応することが可能な端末装置及び通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる端末装置は、ネットワークを介して他の端末装置と接続される端末装置であって、前記他の端末装置が有する撮像部により撮像される画像に関する制御を行う撮像制御部と、前記撮像部により撮像された画像と、前記他の端末装置が有する複数の音声入力部それぞれに入力された音声と、を受信する受信部と、前記複数の音声を合成して合成音声を生成する音声合成部と、前記画像を表示部に表示させる表示制御部と、前記合成音声を音声出力部に出力させる音声出力制御部と、を備える。
【発明の効果】
【０００９】
本発明によれば、受信側が所望する音声合成に柔軟に対応することが可能という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１実施形態のビデオ会議システムの構成の一例を示すブロック図である。
【図２】図２は、第１実施形態の会議端末の構成の一例を示すブロック図である。
【図３】図３は、第１実施形態の音声入力部の配置の一例を示す図である。
【図４】図４は、第１実施形態の会議端末で実行される送信動作の一例を示すフローチャート図である。
【図５】図５は、第１実施形態の会議端末で実行される受信動作の一例を示すフローチャート図である。
【図６】図６は、第２実施形態の会議端末で実行される送信動作の一例を示すフローチャート図である。
【図７】図７は、第２実施形態の会議端末で実行される受信動作の一例を示すフローチャート図である。
【図８】図８は、変形例のサーバで実行される処理の一例を示すフローチャート図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら、本発明にかかる端末装置及び通信システムの実施形態を詳細に説明する。以下の実施形態では、本発明をビデオ会議システムに適用した場合を例に取り説明するが、これに限定されるものではない。
【００１２】
（第１実施形態）
図１は、第１実施形態のビデオ会議システム１の構成の一例を示すブロック図である。図１に示すように、ビデオ会議システム１（通信システムの一例）は、会議端末１０−１〜１０−Ｎ（端末装置及び他の端末装置の一例）と、サーバ２０とを、備える。ここで、Ｎは２以上の自然数である。
【００１３】
会議端末１０−１〜１０−Ｎ及びサーバ２０は、ネットワーク２を介して接続されている。ネットワーク２は、例えば、ＬＡＮ（Local  Area  Network）やインターネットなどにより実現できる。
【００１４】
サーバ２０は、会議端末１０−１〜１０−Ｎ間での画像（映像）や音声などの送受信を中継する。また、サーバ２０は、画像や音声の中継機能に加え、会議端末１０−１〜１０−Ｎ間での会議の開始や終了などを制御する会議制御機能も有しているが、ここでは説明を省略する。
【００１５】
会議端末１０−１〜１０−Ｎは、それぞれ異なる拠点に配置されており、サーバ２０を介して画像や音声の送受信を行う。第１実施形態では、会議端末１０−１〜１０−Ｎとして、ビデオ会議用の専用端末を想定しているが、これに限定されず、ノートＰＣ（Personal  Computer）、スマートフォン、及びタブレット端末などであってもよい。なお、以下の説明では、会議端末１０−１〜１０−Ｎを各々区別する必要がない場合は、単に会議端末１０と称する場合がある。
【００１６】
図２は、第１実施形態の会議端末１０の構成の一例を示すブロック図である。図２に示すように、会議端末１０は、撮像部１１０と、音声入力部１２０−１〜１２０−Ｍと、記憶部１３０と、通信部１４０と、制御部１５０と、操作部１７０と、表示部１８０と、音声出力部１９０とを、備える。ここで、Ｍは２以上の自然数である。
【００１７】
制御部１５０は、会議端末１０の各部を制御するものであり、例えば、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated  Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。制御部１５０は、送信部１５１と、撮像制御部１５３と、設定部１５５と、受信部１５７と、音声合成部１５９と、表示制御部１６１と、音声出力制御部１６３とを、含む。
【００１８】
まず、会議端末１０が画像及び音声を会議に用いられている（参加している）他の会議端末１０に送信する送信動作について説明する。
【００１９】
撮像部１１０は、会議端末１０を使用する会議の参加者を撮像するものであり、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）やＣＣＤ（Charge  Coupled  Device）等の撮像素子、及びレンズなどにより構成される撮像装置により実現できる。なお、レンズは広角レンズであってもよい。
【００２０】
また撮像部１１０は、外部制御可能なメカニカルなＰＴＺ（パン・チルト・ズーム）機能を有しており、自身の撮像範囲を外部制御可能に構成されている。メカニカルなＰＴＺ機能とは、撮像部１１０を物理的に動かしてＰＴＺを行う機能である。
【００２１】
音声入力部１２０−１〜１２０−Ｍは、それぞれ、会議端末１０を使用する会議の参加者が発話する音声などを入力するものであり、マイクロフォンなどの音声入力装置により実現できる。なお、以下の説明では、音声入力部１２０−１〜１２０−Ｍを各々区別する必要がない場合は、単に音声入力部１２０と称する場合がある。
【００２２】
第１実施形態では、音声入力部１２０−１〜１２０−Ｍは、撮像部１１０の撮像可能な範囲で発生した音声を、音声入力部１２０−１〜１２０−Ｍの少なくともいずれかで入力できるように、会議端末１０の筐体に配置されている。
【００２３】
具体的には、音声入力部１２０は、指向性を有しており、音声入力部１２０に対して所定方向の一定範囲を集音範囲とし、当該集音範囲で発生した音声を入力する。このため、音声入力部１２０−１〜１２０−Ｍは、撮像部１１０の撮像可能な範囲を音声入力部１２０−１〜１２０−Ｍ全体での集音範囲が網羅するように、会議端末１０の筐体に配置されている。
【００２４】
図３は、第１実施形態の音声入力部１２０−１〜１２０−Ｍの配置の一例を示す図であり、Ｍ＝４の場合を示している。図３に示す例では、音声入力部１２０−１〜１２０−４を撮像部１１０の周辺に分散して会議端末１０の筐体に配置することで、撮像部１１０の撮像可能な範囲を音声入力部１２０−１〜１２０−４全体での集音範囲が網羅するようになっている。
【００２５】
記憶部１３０は、会議端末１０で実行される各種プログラム、及び会議端末１０で行われる各種処理に使用されるデータなどを記憶する。例えば、記憶部１３０は、音声入力部１２０−１〜１２０−Ｍそれぞれの配置位置及び指向性の特性を定義した合成制御情報などを記憶する。
【００２６】
記憶部１３０は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、メモリカード、光ディスク、及びＲＡＭ（Random  Access  Memory）などの磁気的、光学的、及び電気的に記憶可能な記憶装置の少なくともいずれかにより実現できる。
【００２７】
通信部１４０は、ネットワーク２を介してサーバ２０などの外部機器と通信するものであり、ＮＩＣ（Network  Interface  Card）や無線通信装置などの通信装置により、有線、無線を問わずに実現できる。
【００２８】
送信部１５１は、撮像部１１０により撮像された画像と、音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を送信する。具体的には、送信部１５１は、撮像部１１０により撮像された画像と音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声とをエンコードし、送信先情報（例えば、会議に用いられている他の会議端末１０のＩＰアドレスなど）を付加し、通信部１４０からサーバ２０に送信する。これにより、サーバ２０は、エンコードされた画像及び複数の音声を会議に用いられている他の会議端末１０に転送する。
【００２９】
例えば、会議端末１０−１〜１０−３が会議に用いられている場合、会議端末１０−１の送信部１５１は、会議端末１０−１の撮像部１１０により撮像された画像と、会議端末１０−１の音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、をエンコードし、サーバ２０を介して、会議端末１０−２、１０−３に送信する。
【００３０】
同様に、会議端末１０−２の送信部１５１は、会議端末１０−２の撮像部１１０により撮像された画像と、会議端末１０−２の音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、をエンコードし、サーバ２０を介して、会議端末１０−１、１０−３に送信する。
【００３１】
同様に、会議端末１０−３の送信部１５１は、会議端末１０−３の撮像部１１０により撮像された画像と、会議端末１０−３の音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、をエンコードし、サーバ２０を介して、会議端末１０−１、１０−２に送信する。
【００３２】
なお、送信部１５１がエンコードする画像は、制御部１５０によりＡ／Ｄ変換処理及び画像処理が施され、送信部１５１がエンコードする複数の音声は、制御部１５０によりＡ／Ｄ変換処理が施されている。ここで、送信部１５１がエンコードする複数の音声は、制御部１５０により更に音声処理が施されていてもよい。
【００３３】
また送信部１５１は、会議開始時に記憶部１３０から合成制御情報を取得し、サーバ２０を介して会議に用いられている他の会議端末１０に送信する。
【００３４】
次に、会議端末１０が画像及び音声を会議に用いられている（参加している）他の会議端末１０から受信する受信動作について説明する。
【００３５】
操作部１７０は、会議端末１０を使用する会議の参加者が各種操作入力を行うものであり、マウス、キーボード、タッチパッド、及びタッチパネルなどの入力装置により実現できる。
【００３６】
表示部１８０は、会議画像（会議の参加者やホワイトボードなどの画像）など各種画面を表示するものであり、液晶ディスプレイやタッチパネル式ディスプレイなどの表示装置により実現できる。なお、表示部１８０は、会議端末１０と別体で設けられていてもよい。
【００３７】
音声出力部１９０は、会議に用いられている他の会議端末１０を使用している会議の参加者が発話した音声を出力するものであり、スピーカなどの音声出力装置により実現できる。
【００３８】
撮像制御部１５３は、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御する。具体的には、会議端末１０を使用している会議の参加者が、表示部１８０に表示されている、会議に用いられている他の会議端末１０が有する撮像部１１０により撮像された画像を見ながら、操作部１７０から当該撮像部１１０のＰＴＺ（パン・チルト・ズーム）をメカニカルに制御する操作入力を行うので、撮像制御部１５３は、当該操作入力から当該撮像部１１０のＰＴＺ（パン・チルト・ズーム）をメカニカルに遠隔制御するコマンドを生成し、通信部１４０からサーバ２０を介して他の会議端末１０に送信する。
【００３９】
これにより、他の会議端末１０が有する撮像部１１０は、送信されたコマンドに基づいて、自身（他の会議端末１０）のＰＴＺをメカニカルに制御する。
【００４０】
設定部１５５は、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定に基づく第１音声合成を行うか当該撮像範囲のデフォルトの設定に基づく第２音声合成を行うかを設定する。具体的には、設定部１５５は、会議端末１０を使用している会議の参加者が操作部１７０から音声合成手法の設定操作入力を行うので、当該設定操作入力から第１音声合成を行うか第２音声合成を行うかを設定する。なお第１実施形態では、第１音声合成を行う設定の場合に、前述の撮像制御部１５３が、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御でき、第２音声合成を行う設定の場合に、前述の撮像制御部１５３が、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御できないことを想定している。  
【００４１】
受信部１５７は、他の会議端末１０が有する撮像部１１０により撮像された画像と、他の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を受信する。具体的には、受信部１５７は、サーバ２０が他の会議端末１０から転送したエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。
【００４２】
例えば、会議端末１０−１〜１０−３が会議に用いられている場合、会議端末１０−１の受信部１５７は、会議端末１０−２からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードするとともに、会議端末１０−３からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。
【００４３】
同様に、会議端末１０−２の受信部１５７は、会議端末１０−１からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードするとともに、会議端末１０−３からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。
【００４４】
同様に、会議端末１０−３の受信部１５７は、会議端末１０−１からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードするとともに、会議端末１０−２からエンコードされた画像及び複数の音声を受信し、受信した画像及び複数の音声をデコードする。
【００４５】
また受信部１５７は、会議開始時に、会議に用いられている他の会議端末１０からサーバ２０を介して合成制御情報を受信する。
【００４６】
音声合成部１５９は、受信部１５７により受信され、デコードされた複数の音声を合成して合成音声を生成する。
【００４７】
例えば、音声合成部１５９は、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。
【００４８】
第１実施形態では、音声合成部１５９は、設定部１５５により第１音声合成が設定されている場合、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。
【００４９】
例えば、音声合成部１５９は、他の会議端末１０が有する撮像部１１０の撮像範囲に対する撮像制御部１５３による遠隔制御の設定（例えば、ＰＴＺの設定値）より、当該撮像部１１０の撮像範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。
【００５０】
一方、音声合成部１５９は、設定部１５５により第２音声合成が設定されている場合、他の会議端末１０が有する撮像部１１０の撮像範囲のデフォルトの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。なお、他の会議端末１０が有する撮像部１１０の撮像範囲のデフォルトの設定は、例えば、撮像制御部１５３が把握している。
【００５１】
例えば、音声合成部１５９は、他の会議端末１０が有する撮像部１１０の撮像範囲のデフォルトの設定（例えば、デフォルトのＰＴＺの設定値）より、当該撮像部１１０のデフォルトの撮像範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。
【００５２】
なお、音声合成部１５９の音声合成手法については、特許文献１に開示された手法を採用できるため、これ以上の詳細な説明は省略する。
【００５３】
表示制御部１６１は、受信部１５７により受信され、デコードされた画像を表示部１８０に表示させる。
【００５４】
音声出力制御部１６３は、音声合成部１５９により生成された合成音声を音声出力部１９０に出力させる。
【００５５】
第１実施形態では、会議に用いられている各会議端末１０が、上述した画像及び複数の音声の送信動作及び受信動作を繰り返し行うことで、ビデオ会議システム１による多拠点間での遠隔会議が実現される。
【００５６】
図４は、第１実施形態の会議端末１０で実行される送信動作の一例を示すフローチャート図である。
【００５７】
まず、会議端末１０の送信部１５１は、会議開始時に記憶部１３０から合成制御情報を取得し、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ１０１）。
【００５８】
続いて、会議端末１０の撮像部１１０は、他の会議端末１０の撮像制御部１５３からＰＴＺの遠隔制御が行われた場合（ステップＳ１０３でＹｅｓ）、自身のＰＴＺを遠隔制御の設定に変更する（ステップＳ１０５）。
【００５９】
なお、他の会議端末１０の撮像制御部１５３からＰＴＺの遠隔制御が行われない場合（ステップＳ１０３でＮｏ）、ステップＳ１０５の処理は行われない。
【００６０】
続いて、会議端末１０の撮像部１１０は、会議端末１０を使用する会議の参加者を撮像する（ステップＳ１０７）。
【００６１】
続いて、会議端末１０の音声入力部１２０−１〜１２０−Ｍは、それぞれ、会議端末１０を使用する会議の参加者などが発話する音声を入力する（ステップＳ１０９）。
【００６２】
続いて、会議端末１０の送信部１５１は、撮像部１１０により撮像された画像と音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声とをエンコードし（ステップＳ１１１）、エンコードされた画像及び複数の音声を、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ１１３）。
【００６３】
続いて、会議が終了しなければ（ステップＳ１１５でＮｏ）、ステップＳ１０３へ戻り、会議が終了すれば（ステップＳ１１５でＹｅｓ）、処理は終了となる。
【００６４】
図５は、第１実施形態の会議端末１０で実行される受信動作の一例を示すフローチャート図である。
【００６５】
まず、会議端末１０の受信部１５７は、会議開始時に、会議に用いられている他の会議端末１０からサーバ２０を介して合成制御情報を受信する（ステップＳ２０１）。
【００６６】
続いて、会議端末１０の撮像制御部１５３は、他の会議端末１０が有する撮像部１１０のＰＴＺを遠隔制御する場合（ステップＳ２０３でＹｅｓ）、他の会議端末１０が有する撮像部１１０のＰＴＺを遠隔制御する（ステップＳ２０５）。この際、撮像制御部１５３は、他の会議端末１０から遠隔制御後の撮像部１１０のＰＴＺの設定値を取得してもよい。
【００６７】
なお、他の会議端末１０が有する撮像部１１０のＰＴＺを遠隔制御しない場合（ステップＳ２０３でＮｏ）、ステップＳ２０５の処理は行われない。
【００６８】
続いて、会議端末１０の受信部１５７は、他の会議端末１０が有する撮像部１１０により撮像された画像と、他の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を受信し（ステップＳ２０７）、受信した画像及び複数の音声をデコードする（ステップＳ２０９）。
【００６９】
続いて、会議端末１０の音声合成部１５９は、設定部１５５により第１音声合成が設定されている場合（ステップＳ２１１でＹｅｓ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、当該他の会議端末１０が有する撮像部１１０に対する撮像制御部１５３による遠隔制御後のＰＴＺの設定に基づく撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ２１３）。
【００７０】
一方、音声合成部１５９は、設定部１５５により第１音声合成が設定されていない場合（ステップＳ２１１でＮｏ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、当該他の会議端末１０が有する撮像部１１０のデフォルトのＰＴＺの設定に基づく撮像範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ２１５）。
【００７１】
続いて、会議端末１０の表示制御部１６１は、受信部１５７により受信され、デコードされた画像を表示部１８０に表示させる（ステップＳ２１７）。
【００７２】
続いて、会議端末１０の音声出力制御部１６３は、音声合成部１５９により生成された合成音声を音声出力部１９０に出力させる（ステップＳ２１９）。
【００７３】
続いて、会議が終了しなければ（ステップＳ２２１でＮｏ）、ステップＳ２０３へ戻り、会議が終了すれば（ステップＳ２２１でＹｅｓ）、処理は終了となる。
【００７４】
以上のように第１実施形態によれば、受信側で音声合成を行うので、受信側で着目したい範囲の音声を合成するなど受信側が所望する音声合成に柔軟に対応することができる。
【００７５】
例えば、他の会議端末１０が有する撮像部１１０に対する撮像制御部１５３による遠隔制御後の撮像範囲で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、撮像範囲（撮像された画像）に対応した合成音声を生成でき、同一の場で会議を行っているような臨場感のある遠隔会議を行うことができる。
【００７６】
また例えば、他の会議端末１０が有する撮像部１１０のデフォルトの撮像範囲で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、例えば、他の会議端末１０が有する撮像部１１０が、会議の参加者ではなくホワイトボードなど音声が発生しない範囲を撮像している場合であっても、他の会議端末１０を使用している会議の参加者の発話音声を途切れさせずに、当該発話音声をある程度の品質で再現することができる。
【００７７】
特に第１実施形態によれば、受信側で音声合成を行うので、多拠点間で会議を行っており、受信側が複数存在し、それぞれ受信側で着目したい範囲の音声が異なる場合であっても、それぞれの受信側が所望する音声合成を行うことができ、それぞれの受信側が所望する音声合成に柔軟に対応することができる。
【００７８】
（第２実施形態）
第２実施形態では、撮像部１１０が外部制御可能なメカニカルなＰＴＺ機能を有さない例について説明する。第２実施形態では、第１実施形態との相違点、具体的には、撮像制御部１５３、設定部１５５、音声合成部１５９、及び表示制御部１６１について主に説明し、第１実施形態と同様の内容については、その説明を省略する。
【００７９】
第２実施形態では、撮像制御部１５３は、他の会議端末１０が有する撮像部１１０の撮像範囲を遠隔制御するのでは無く、他の会議端末１０が撮像した画像の表示範囲を制御する。
【００８０】
例えば、会議端末１０を使用している会議の参加者が、表示部１８０に表示されている、会議に用いられている他の会議端末１０が有する撮像部１１０により撮像された画像を見ながら、操作部１７０からデジタルＰＴＺを制御する操作入力を行う。そして、撮像制御部１５３は、当該操作入力に基づいて、デジタルＰＴＺを制御するコマンド（例えば、デジタルＰＴＺの設定値を示すコマンド）を生成し、表示制御部１６１に出力する。デジタルＰＴＺとは、画像の表示範囲を制御するために、画像に仮想的にＰＴＺ（パン・チルト・ズーム）を行うことである。
【００８１】
例えば、会議端末１０を使用している会議の参加者が、操作部１７０から、表示部１８０に表示されている画像中で注目した領域を中心として拡大する操作入力を行うと、撮像制御部１５３は、当該画像の表示範囲が当該操作後（拡大後）の表示範囲となるように表示制御部１６１にデジタルＰＴＺを行わせるためのコマンドを生成し、表示制御部１６１に出力する。
【００８２】
これにより、表示制御部１６１は、出力されたコマンドに基づいて、受信部１５７が他の会議端末１０から受信した画像に対してデジタルＰＴＺを行うことができる。
【００８３】
第２実施形態では、設定部１５５は、撮像制御部１５３によるデジタルＰＴＺ（画像の表示範囲）の設定に基づく第１音声合成及び第１表示制御を行うか撮像制御部１５３のデジタルＰＴＺのデフォルトの設定に基づく第２音声合成及び第２表示制御を行うかを設定する。具体的には、設定部１５５は、会議端末１０を使用している会議の参加者が操作部１７０から音声合成手法及び表示制御手法の設定操作入力を行うので、当該設定操作入力から第１音声合成及び第１表示制御を行うか第２音声合成及び第２表示制御を行うかを設定する。なお第２実施形態では、第１音声合成及び第１表示制御を行う設定の場合に、前述の撮像制御部１５３がデジタルＰＴＺ（画像の表示範囲）を制御でき、第２音声合成及び第２表示制御を行う設定の場合に、前述の撮像制御部１５３がデジタルＰＴＺ（画像の表示範囲）を制御できないことを想定している。  
【００８４】
第２実施形態では、音声合成部１５９は、例えば、撮像制御部１５３によるデジタルＰＴＺ（画像の表示範囲）の設定に基づいて、受信部１５７が他の会議端末１０から受信した複数の音声を合成する。
【００８５】
具体的には、音声合成部１５９は、設定部１５５により第１音声合成及び第１表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。
【００８６】
例えば、音声合成部１５９は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定（例えば、デジタルＰＴＺの設定値）より、当該画像の表示範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。
【００８７】
一方、音声合成部１５９は、設定部１５５により第２音声合成及び第２表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。なお、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定は、例えば、撮像制御部１５３が把握している。
【００８８】
例えば、音声合成部１５９は、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定（例えば、画像の全てを表示）より、画像のデフォルトの表示範囲を特定する。そして音声合成部１５９は、受信部１５７が当該他の会議端末１０から受信した合成制御情報を用いて、特定した表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する。
【００８９】
第２実施形態では、表示制御部１６１は、例えば、撮像制御部１５３によるデジタルＰＴＺ（画像の表示範囲）の設定に基づいて、受信部１５７が他の会議端末１０から受信した画像を表示部１８０に表示させる。
【００９０】
具体的には、表示制御部１６１は、設定部１５５により第１音声合成及び第１表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した画像を表示部１８０に表示させる。
【００９１】
例えば、表示制御部１６１は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定（例えば、デジタルＰＴＺの設定値を示すコマンド）に基づいて、受信部１５７が他の会議端末１０から受信した画像に対してデジタルＰＴＺを行い、表示部１８０に表示させる。これにより、あたかもメカニカルなＰＴＺを行ったかのように表示範囲が制御された画像を表示できる。
【００９２】
一方、表示制御部１６１は、設定部１５５により第２音声合成及び第２表示制御が設定されている場合、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づいて、受信部１５７が当該他の会議端末１０から受信した画像を表示部１８０に表示させる。なお、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定は、例えば、撮像制御部１５３が把握している。
【００９３】
例えば、表示制御部１６１は、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定（例えば、画像の全てを表示）に基づいて、受信部１５７が他の会議端末１０から受信した画像に対して必要であればデジタルＰＴＺを行い、表示部１８０に表示させる。なお、表示制御部１６１は、撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定上、受信部１５７が他の会議端末１０から受信した画像に対してデジタルＰＴＺを行う必要がなければ、そのまま表示部１８０に表示させる。
【００９４】
図６は、第２実施形態の会議端末１０で実行される送信動作の一例を示すフローチャート図である。
【００９５】
まず、会議端末１０の送信部１５１は、会議開始時に記憶部１３０から合成制御情報を取得し、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ３０１）。
【００９６】
続いて、会議端末１０の撮像部１１０は、会議端末１０を使用する会議の参加者を撮像する（ステップＳ３０７）。
【００９７】
続いて、会議端末１０の音声入力部１２０−１〜１２０−Ｍは、それぞれ、会議端末１０を使用する会議の参加者などが発話する音声を入力する（ステップＳ３０９）。
【００９８】
続いて、会議端末１０の送信部１５１は、撮像部１１０により撮像された画像と音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声とをエンコードし（ステップＳ３１１）、エンコードされた画像及び複数の音声を、サーバ２０を介して会議に用いられている他の会議端末１０に送信する（ステップＳ３１３）。
【００９９】
続いて、会議が終了しなければ（ステップＳ３１５でＮｏ）、ステップＳ３０７へ戻り、会議が終了すれば（ステップＳ３１５でＹｅｓ）、処理は終了となる。
【０１００】
図７は、第２実施形態の会議端末１０で実行される受信動作の一例を示すフローチャート図である。  
【０１０１】
まず、会議端末１０の受信部１５７は、会議開始時に、会議に用いられている他の会議端末１０からサーバ２０を介して合成制御情報を受信する（ステップＳ４０１）。
【０１０２】
続いて、会議端末１０の撮像制御部１５３は、デジタルＰＴＺの設定を変更する場合（ステップＳ４０３でＹｅｓ）、デジタルＰＴＺの設定を変更する（ステップＳ４０５）。
【０１０３】
なお、デジタルＰＴＺの設定を変更しない場合（ステップＳ４０３でＮｏ）、ステップＳ４０５の処理は行われない。
【０１０４】
続いて、会議端末１０の受信部１５７は、他の会議端末１０が有する撮像部１１０により撮像された画像と、他の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力された音声と、を受信し（ステップＳ４０７）、受信した画像及び複数の音声をデコードする（ステップＳ４０９）。
【０１０５】
続いて、会議端末１０の音声合成部１５９は、設定部１５５により第１音声合成及び第１表示制御が設定されている場合（ステップＳ４１１でＹｅｓ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づく表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ４１３）。
【０１０６】
続いて、会議端末１０の表示制御部１６１は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺの設定に基づく表示範囲となるように、当該画像に対してデジタルＰＴＺを行い、表示部１８０に表示させる（ステップＳ４１５）。
【０１０７】
一方、音声合成部１５９は、設定部１５５により第１音声合成及び第１表示制御が設定されていない場合（ステップＳ４１１でＮｏ）、受信部１５７が他の会議端末１０から受信した合成制御情報を用いて、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づく表示範囲で発生した音声を再現するように、受信部１５７が当該他の会議端末１０から受信した複数の音声を合成する（ステップＳ４１７）。
【０１０８】
続いて、会議端末１０の表示制御部１６１は、受信部１５７が他の会議端末１０から受信する画像に対する撮像制御部１５３によるデジタルＰＴＺのデフォルトの設定に基づく表示範囲となるように、当該画像に対してデジタルＰＴＺを行い、表示部１８０に表示させる（ステップＳ４１９）。
【０１０９】
続いて、会議端末１０の音声出力制御部１６３は、音声合成部１５９により生成された合成音声を音声出力部１９０に出力させる（ステップＳ４２１）。
【０１１０】
続いて、会議が終了しなければ（ステップＳ４２３でＮｏ）、ステップＳ４０３へ戻り、会議が終了すれば（ステップＳ４２３でＹｅｓ）、処理は終了となる。
【０１１１】
以上のように第２実施形態によれば、受信側でデジタルＰＴＺを行いながら、音声合成を行うので、受信側で着目したい範囲の音声を合成するなど受信側が所望する音声合成に柔軟に対応することができる。
【０１１２】
例えば、他の会議端末１０が撮像した画像範囲のうち、指定した所定の領域で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、指定した所定の領域に適合した合成音声を生成でき、同一の場で会議を行っているような臨場感のある遠隔会議を行うことができる。
【０１１３】
また例えば、他の会議端末１０が撮像した画像のデフォルトの範囲で発生した音声を再現するように、当該他の会議端末１０から受信した複数の音声を合成すれば、例えば、他の会議端末１０が有する撮像部１１０が、会議の参加者ではなくホワイトボードなど音声が発生しない範囲を撮像している場合であっても、他の会議端末１０を使用している会議の参加者の発話音声を途切れさせずに、当該発話音声をある程度の品質で再現することができる。
【０１１４】
特に第２実施形態によれば、受信側で音声合成を行うので、多拠点間で会議を行っており、受信側が複数存在し、それぞれ受信側で着目したい範囲の音声が異なる場合であっても、それぞれの受信側が所望する音声合成を行うことができ、それぞれの受信側が所望する音声合成に柔軟に対応することができる。
【０１１５】
（変形例）
なお、本発明は、上記各実施形態に限定されるものではなく、種々の変形が可能である。例えば、会議端末１０が行った、エンコード処理、デコード処理、及び音声合成処理の少なくともいずれかをサーバ２０で行うようにしてもよい。
【０１１６】
例えば、音声の合成をサーバ２０が行う場合、サーバ２０は、少なくとも端末装置１０の通信部１４０、送信部１５１、受信部１５７、及び音声合成部１５９と同様の構成を備える。
【０１１７】
図８は、変形例のサーバ２０で実行される処理の一例を示すフローチャート図である。
【０１１８】
まず、サーバ２０の受信部１５７は、会議開始時に、会議に用いられている送信側の会議端末１０から合成制御情報を受信する（ステップＳ５０１）。
【０１１９】
続いて、サーバ２０の受信部１５７は、会議に用いられている受信側の会議端末１０から、第１音声合成を行うか第２音声合成を行うかの設定を受信した場合（ステップＳ５０３でＹｅｓ）、受信側の会議端末１０の音声合成の設定を受信した設定に更新する（ステップＳ５０５）。なお、受信側の会議端末１０から、第１音声合成を行うか第２音声合成を行うかの設定を受信しなかった場合（ステップＳ５０３でＮｏ）、ステップＳ５０５の処理は行われない。
【０１２０】
続いて、サーバ２０の受信部１５７は、会議に用いられている受信側の会議端末１０から、デジタルＰＴＺの設定を受信した場合（ステップＳ５０７でＹｅｓ）、受信側の会議端末１０のデジタルＰＴＺの設定を受信した設定に更新する（ステップＳ５０９）。なお、受信側の会議端末１０から、デジタルＰＴＺの設定を受信しなかった場合（ステップＳ５０７でＮｏ）、ステップＳ５０９の処理は行われない。
【０１２１】
続いて、サーバ２０の受信部１５７は、送信側の会議端末１０が有する撮像部１１０により撮像され、エンコードされた画像と、送信側の会議端末１０が有する音声入力部１２０−１〜１２０−Ｍそれぞれに入力され、エンコードされた音声と、を受信し（ステップＳ５１１）、受信した複数の音声をデコードする（ステップＳ５１３）。
【０１２２】
続いて、サーバ２０の音声合成部１５９は、受信側の会議端末１０の音声合成の設定が第１音声合成の場合（ステップＳ５１５でＹｅｓ）、サーバ２０の受信部１５７が送信側の会議端末１０から受信した合成制御情報を用いて、サーバ２０の受信部１５７が受信側の会議端末１０から受信したデジタルＰＴＺの設定に基づく表示範囲で発生した音声を再現するように、デコードした複数の音声を合成する（ステップＳ５１７）。
【０１２３】
一方、サーバ２０の音声合成部１５９は、受信側の会議端末１０の音声合成の設定が第２音声合成の場合（ステップＳ５１５でＮｏ）、サーバ２０の受信部１５７が送信側の会議端末１０から受信した合成制御情報を用いて、受信側の会議端末１０のデフォルトのデジタルＰＴＺの設定に基づく表示範囲で発生した音声を再現するように、デコードした複数の音声を合成する（ステップＳ５１９）。
【０１２４】
続いて、サーバ２０の送信部１５１は、合成音声をエンコードし（ステップＳ５２１）、エンコードされた画像及び合成音声を、受信側の会議端末１０に送信する（ステップＳ５２３）。
【０１２５】
続いて、会議が終了しなければ（ステップＳ５２５でＮｏ）、ステップＳ５０３へ戻り、会議が終了すれば（ステップＳ５２５でＹｅｓ）、処理は終了となる。
【０１２６】
変形例においても第２実施形態と同様の効果が得られる。特に変形例によれば、音声の合成処理の種類が増加しても、サーバ２０で処理するので、会議端末１０にかかる負荷を抑えることができる。
【０１２７】
（ハードウェア構成）
上記実施形態の会議端末１０のハードウェア構成について説明する。上記実施形態の会議端末１０は、ＣＰＵなどの制御装置、ＲＯＭ（Read  Only  Memory）やＲＡＭなどの記憶装置、ＨＤＤやＳＳＤなどの外部記憶装置、ディスプレイなどの表示装置、マウスやキーボードなどの入力装置、ＮＩＣなどの通信装置、デジタルカメラなどの撮像装置、マイクロフォンなどの音声入力装置、及びスピーカなどの音声出力装置を備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
【０１２８】
上記実施形態の会議端末１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【０１２９】
また、上記実施形態の会議端末１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の会議端末１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態の会議端末１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【０１３０】
上記実施形態の会議端末１０で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、制御装置が外部記憶装置からプログラムを記憶装置上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
【符号の説明】
【０１３１】
１  ビデオ会議システム
２  ネットワーク
１０−１〜１０−Ｎ（１０）  会議端末
２０  サーバ
１１０  撮像部
１２０−１〜１２０−Ｍ（１２０）  音声入力部
１３０  記憶部
１４０  通信部
１５０  制御部
１５１  送信部
１５３  撮像制御部
１５５  設定部
１５７  受信部
１５９  音声合成部
１６１  表示制御部
１６３  音声出力制御部
１７０  操作部
１８０  表示部
１９０  音声出力部
【先行技術文献】
【特許文献】
【０１３２】
【特許文献１】特許第３３７０５３０号公報
【図１】
2015173433.tif 000003
【図２】
2015173433.tif 000004
【図３】
2015173433.tif 000005
【図４】
2015173433.tif 000006
【図５】
2015173433.tif 000007
【図６】
2015173433.tif 000008
【図７】
2015173433.tif 000009
【図８】
2015173433.tif 000010