(57)【要約】【課題】音声や映像のみでなく、話者に対する付帯情報をも、同時に表示させるテレビ会議装置を提供する。【解決手段】テレビ会議装置１の映像制御部１３は、カメラＣＡ１〜ＣＡ３の映像データ５０１〜５０３を、合成映像データ５００の部分映像領域５１１〜５１３にそれぞれ割り当てる。合成映像データ５００は四分割画面からなり、残りの部分映像領域５１４には、話者個別情報５４１〜５４６が割り当てられる。部分映像領域５１１〜５１３のそれぞれには、カメラ識別マーク５２１〜５２３が割り当てられる。映像制御部１３は、話者方位カメラ情報を受け付けると、当該話者方位カメラ情報に対応する話者個別情報およびカメラ識別マークを、対応しない話者個別情報およびカメラ識別マークと異なる表示態様で表示させるように設定する。この処理は所定間隔で実行され、話者方位が変われば話者個別情報とカメラ識別マークの表示態様も変化する。【選択図】  図６
2009021922.tif 000002
【特許請求の範囲】
【請求項１】
それぞれに収音を行って収音音声データを生成する複数のマイクと、
前記複数のマイクの収音音声データに基づいて、それぞれに異なる方向を中心とする収音指向性からなる複数の収音ビーム音声データを生成する収音ビーム音声データ生成手段と、
それぞれに異なる撮像領域からなる複数の映像データを生成する撮像手段と、
該撮像手段からの複数の映像データを合成して合成映像データを生成する合成映像データ生成手段と、
前記収音ビーム音声データと前記合成映像データとを出力する通信制御手段と、
を備えたテレビ会議装置であって、
前記複数の収音ビーム音声データのレベルに基づいて話者方位を検出する話者方位検出手段を備え、
前記合成映像データ生成手段は、
前記合成映像データを画面分割した各領域に前記複数の映像データをそれぞれ割り当て、
前記撮像手段から出力される複数の映像データ毎に撮像される話者を示す情報を予め設定した話者表示用データを、前記合成映像データの前記複数の映像データが割り当てられていない領域に割り当て、
各映像データに個別に対応する撮像領域特定マークを、前記各映像データの画面分割領域内に当てはめ、
前記話者方位検出手段で検出された話者方位に対応する話者表示用データおよび撮像領域特定マークを、前記話者方位以外の話者表示用データおよび撮像領域特定マークと異なる表示態様にさせる、
テレビ会議装置。
【請求項２】
前記話者表示用データは、複数の個別話者表示用データからなり、
前記合成映像データ生成手段は、
前記話者方位に基づいて、前記話者表示用データ内で、前記話者方位に対応する個別話者表示用データを、さらに異なる表示態様にさせる、
請求項１に記載のテレビ会議装置。
【請求項３】
前記収音ビーム音声データ生成手段は、前記話者方位に対応する収音ビーム音声データを選択して出力する、
請求項１または請求項２に記載のテレビ会議装置。
【請求項４】
前記通信制御手段は、相手先装置で生成された前記収音ビーム音声データに対応する放音用音声データと、該放音用音声データに関連付けられた話者方位とを受信する機能を有し、
入力されたスピーカ駆動信号に基づいて放音する複数のスピーカと、
前記通信制御手段で受信した前記放音用音声データと該放音用音声データに関連付けられた話者方位とに基づいて放音指向性を設定し、該放音指向性に準じて前記複数のスピーカのそれぞれに対する前記スピーカ駆動信号を生成する放音制御手段と、
を備えた、請求項１〜請求項３のいずれかに記載のテレビ会議装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、互いに離れた位置の会議室間で映像と音声とを通信することにより会議を行うテレビ会議装置に関するものである。
【背景技術】
【０００２】
従来、遠隔地間で会議を行うシステムとして、音声を通信する音声会議システムが各種存在するが、音声とともに映像も通信するテレビ会議システムが普及しつつある。このようなテレビ会議システムでは、各会議室にテレビ会議装置およびディスプレイを設置し、他の会議室で撮造された映像を表示する。そして、自装置が複数のテレビ会議装置と接続している場合には、他の複数のテレビ会議装置でそれぞれ撮像された映像がディスプレイ上に表示される。例えば、特許文献１の複数映像合成方法では、複数のテレビ会議室で撮像された各映像を映像信号マトリクス化して、当該映像信号マトリクスに基づく合成映像を生成する。これにより、例えば、画面を四分割することで設定される各部分領域にそれぞれ異なるテレビ会議装置で撮像された映像を割り当てて表示させる。
【特許文献１】特開平６−３０３３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に示すような従来の方法では、音声と映像とにより話者を識別することができるが、さらなる追加情報、例えば話者の名前等を一見して識別することができなかった。
【０００４】
したがって、本発明の目的は、音声や映像のみでなく、話者に対する他の付帯情報をも、同時に識別することができるテレビ会議装置を提供することにある。
【課題を解決するための手段】
【０００５】
この発明のテレビ会議装置は、収音機能として、それぞれに収音を行って収音音声データを生成する複数のマイクと、複数のマイクの収音音声データに基づいて、それぞれに異なる方向を中心とする収音指向性からなる複数の収音ビーム音声データを生成する収音ビーム音声データ生成手段と、を備える。また、テレビ会議装置は、撮像機能として、それぞれに異なる撮像領域からなる複数の映像データを生成する撮像手段と、該撮像手段からの複数の映像データを合成して合成映像データを生成する合成映像データ生成手段と、を備える。さらに、テレビ会議装置は、通信機能として、収音ビーム音声データと合成映像データとを出力する通信制御手段と、を備える。
【０００６】
さらに、このテレビ会議装置は、複数の収音ビーム音声データのレベルに基づいて話者方位を検出する話者方位検出手段を備える。
そして、このテレビ会議装置の合成映像データ生成手段は、次の処理を実行して合成映像データを生成することを特徴としている。
合成映像データ生成手段は、合成映像データを画面分割した各領域に複数の映像データをそれぞれ割り当てる。合成映像データ生成手段は、撮像手段から出力される複数の映像データ（例えば、一台もしくは複数台のカメラで取得した複数の映像データ）毎に撮像される話者を示す情報を予め設定した話者表示用データを、合成映像データの複数の映像データが割り当てられていない領域に割り当てる。合成映像データ生成手段は、各映像データに個別に対応する撮像領域特定マーク（例えば、カメラ毎のカメラ特定マーク）を、各映像データの画面分割領域内に当てはめる。そして、合成映像データ生成手段は、話者方位検出手段で検出された話者方位に対応する話者表示用データおよび撮像領域特定マークを、話者方位以外の話者表示用データおよび撮像領域特定マークと異なる表示態様に設定する。
【０００７】
この構成では、一台もしくは複数台のカメラによりそれぞれ異なる撮像領域内の会議者が撮像される。会議者が発言すると、当該発言した会議者の方向、すなわち話者方位が検出される。例えば、カメラが複数台の場合、この話者方位を撮像領域に含むカメラが選択され、選択されたカメラに関する情報（例えば、センタカメラ（Ｃ）、右カメラ（Ｒ）、左カメラ（Ｌ）等）や、当該カメラで撮像される話者に関する話者関連情報が、他のカメラに関する情報や話者関連情報とは異なる表示態様で表示されるように、合成映像データが生成される。この処理は、予め設定された所定のフレームレートで繰り返されて、順次合成映像データが出力される。
【０００８】
また、この発明のテレビ会議装置は、話者表示用データに、複数の個別話者表示用データを含む。テレビ会議装置の合成映像データ生成手段は、話者方位に基づいて話者表示用データ内で話者方位に対応する個別話者表示用データを、さらに異なる表示態様に設定する。
【０００９】
この構成では、一つの撮像領域内に複数の会議者が撮像されるような場合、当該撮像領域内の会議者の１人が話者となると、撮像領域のみでなく当該撮像領域内の特定の話者をさらに識別可能な合成映像データが生成される。
【００１０】
また、この発明のテレビ会議装置は、収音ビーム音声データ生成手段で、話者方位に対応する収音ビーム音声データを選択して出力する。
【００１１】
この構成では、前記話者が識別可能な映像とともに、当該話者の音声が高いＳ／Ｎ比で出力される。
【００１２】
また、この発明のテレビ会議装置は、さらに、放音用音声データの受信機能と放音機能を備える。放音機能は、複数のスピーカと放音制御手段とを備える。通信制御手段は、相手先装置で生成された収音ビーム音声データに対応する放音用音声データと、該放音用音声データに関連付けられた話者方位とを受信する。放音制御手段は、通信制御手段で受信した放音用音声データと放音用音声データに関連付けられた話者方位とに基づいて放音指向性を設定する。放音制御手段は、該放音指向性に準じて複数のスピーカのそれぞれに対するスピーカ駆動信号を生成する。複数のスピーカは、入力されたスピーカ駆動信号に基づいて放音する。
【００１３】
この構成では、上述のような収音ビーム音声データが相手先装置から送信された場合に、受信側のテレビ会議装置は、話者方位に応じた音像定位が行える。これにより、話者を容易に識別できるとともに、より臨場感のある話者音声を再現できる。
【発明の効果】
【００１４】
この発明によれば、話者音声や話者を含む複数の会議者の映像のみでなく、発言中の話者を識別する情報も会議者映像とともに出力されるので、これらの情報を取得して、放音・表示した他のテレビ会議装置の会議者は、話者の音声を聞きながら、当該話者を容易に識別することができる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態に係るテレビ会議装置について、図を参照して説明する。
図１は、本実施形態のテレビ会議装置の外観斜視図である。なお、本実施形態のテレビ会議装置は、正面壁に設置されたマイクアレイ、スピーカアレイの前方にパンチングメッシュ等からなるカバーが設置されているが本図では図示を省略する。
図１に示すように、テレビ会議装置１は略長尺形状からなる放収音素子設置筐体と制御系回路設置筐体とからなる。放収音素子設置筐体は長尺方向に沿った二側面をそれぞれ正面壁および背面壁とし、正面壁にマイクＭＣ１〜ＭＣ１６、スピーカＳＰ１〜ＳＰ１４、カメラＣＡ１〜ＣＡ３が設置され、背面壁側に制御系回路設置筐体が設置されている。
【００１６】
マイクＭＣ１〜ＭＣ１６は、同じ機構及び同じ収音特性を有するものであり、前記長尺方向に沿う一直線に所定間隔で、正面壁の天面側に設置されている。マイクＭＣ１〜ＭＣ１６は、配列方向の中心付近（すなわち正面方向からみた中心付近）では狭いピッチに配置され、配列方向の両端付近では広いピッチで配置される。マイクＭＣ１〜ＭＣ１６は、正面壁から外方側を収音範囲とするように設置される。このようなマイクＭＣ１〜ＭＣ１６により、正面方向を収音範囲とするマイクアレイが形成される。
【００１７】
スピーカＳＰ１〜ＳＰ１４は、同じ機構および同じ放音特性を有するものであり、前記長尺方向に沿う一直線に所定間隔で、正面壁の垂直方向中心位置に設置されている。スピーカＳＰ１〜ＳＰ１４は、正面壁から外方側を放音方向とするように設置される。このようなスピーカＳＰ１〜ＳＰ１４により、正面方向を放音範囲とするスピーカアレイが形成される。
【００１８】
カメラＣＡ１〜ＣＡ３は、同じ機構および同じ撮像特性を有するものである。
カメラＣＡ１は、正面壁の底面側で、長尺方向の中心位置（すなわち正面方向からみた中心位置）に設置されている。カメラＣＡ１は、撮像範囲の中心方向が正面壁に垂直な方向となるように設置されている。
カメラＣＡ２は、正面壁の底面側で、長尺方向の一方端（図１であれば、テレビ会議装置１を正面視した状態での右端）に設置されている。カメラＣＡ２は、撮像範囲の中心方向が正面壁に対して所定の角度、例えば、図１であれば、テレビ会議装置１を正面視した状態で、正面壁の右端から左端前方の所定位置を向く角度に設定されている。
カメラＣＡ３は、正面壁の底面側で、長尺方向の一方端（図１であれば、テレビ会議装置１を正面視した状態での左端）に設置されている。カメラＣＡ３は、撮像範囲の中心方向が正面壁に対して所定の角度、例えば、図１であれば、テレビ会議装置１を正面視した状態で、正面壁の左端から右端前方の所定位置を向く角度に設定されている。カメラＣＡ２の撮像範囲とカメラＣＡ３の撮像範囲とは、カメラＣＡ１の撮像範囲の中心方向を基準軸として対象に設定されている。そして、これらカメラＣＡ１〜ＣＡ３の撮像範囲は、それぞれの撮像範囲を連続させることで、テレビ会議装置１の正面側で長尺方向に沿う全周囲が撮像されるように設定されている。
テレビ会議装置１の制御系回路設置筐体には、上述のマイクＭＣ１〜ＭＣ１６によるマイクアレイ、スピーカＳＰ１〜ＳＰ１４によるスピーカアレイ、およびカメラＣＡ１〜ＣＡ３を除く機能部が設置されている。
【００１９】
図２は、本実施形態のテレビ会議装置１の機能ブロックの構成および外部との接続関係を示した図である。
図２に示すように、テレビ会議装置１は、上述のマイクＭＣ１〜ＭＣ１６、スピーカＳＰ１〜ＳＰ１４、およびカメラＣＡ１〜ＣＡ３とともに、メイン制御部１０、収音制御部１１、エコーキャンセラ１２、映像制御部１３、放音制御部１４、通信制御部１５、操作部１６、を備える。
【００２０】
メイン制御部１０は、テレビ会議装置１の全体制御を行うとともに、操作部１６により入力された操作内容に準じた制御を行う。メイン制御部１０は、収音制御部１１で選択された収音ビーム音声データの選択情報を取得して、話者方位を検出する。メイン制御部１０は、検出した話者方位を撮像範囲とするカメラを選択して、話者方位カメラ情報として映像制御部１３へ出力する。
【００２１】
また、メイン制御部１０は、検出した話者方位を示す話者方位データを通信制御部１５に与え、当該話者方位データに対応する収音ビーム音声データからなる出力音声データに関連付けして送信させる制御を、通信制御部１５へ与える。また、メイン制御部１０は、通信制御部１５で受信した相手先のテレビ会議装置の出力音声データに関連付けされた話者方位データを取得し、当該話者方位データに応じた音源定位を行う制御を、放音制御部１４へ与える。
【００２２】
マイクＭＣ１〜ＭＣ１６は、自装置（テレビ会議装置１）の正面側の音声を収音して収音信号を生成し、収音制御部１１へ出力する。
【００２３】
収音制御部１１は、各マイクＭＣ１〜ＭＣ１６の収音信号に対して、それぞれに異なる遅延処理および振幅処理パターンで信号処理を行うことで、それぞれに異なる方位を収音指向性の中心方向とする複数の収音ビーム音声データを生成する。より具体的には、収音制御部１１は、各マイクＭＣ１〜ＭＣ１６の収音信号を所定増幅率で増幅し、Ａ／Ｄ（アナログ−デジタル）変換することで、個別収音音声データを生成する。収音制御部１１は、それぞれに異なる収音指向性を実現させる個別収音音声データ毎の遅延係数および振幅係数を予め記憶している。収音制御部１１は、設定された収音指向性毎に、これら遅延係数、振幅係数に基づくフィルタ処理を各個別収音音声データに実行することで、それぞれに異なる収音指向性からなる収音ビーム音声データを生成する。
【００２４】
収音制御部１１は、生成した複数の収音ビーム音声データのレベル（音声レベル）を比較し、予め設定した有音検出閾値レベルを超える収音ビーム音声データを選択し、エコーキャンセラ１２へ出力する。
収音制御部１１は、選択した収音ビーム音声データを特定する選択情報をメイン制御部１０へ与える。
【００２５】
エコーキャンセラ１２は、適応型フィルタとポストプロセッサとを備える。適応型フィルタは、通信制御部１５から出力される相手先テレビ会議装置からの出力音声データに基づく疑似回帰音データを生成して、ポストプロセッサへ与える。ポストプロセッサは加算器を備え、加算器は、収音制御部１１から出力された収音ビーム音声データから疑似回帰音データを減算してエコーキャンセルを行うことで出力音声データを生成して通信制御部１５へ出力する。この際、ポストプロセッサはエコーキャンセル結果を適応型フィルタへフィードバックする。
【００２６】
カメラＣＡ１〜ＣＡ３は、上述のようにそれぞれ異なる撮像範囲を撮像することで映像データを生成して、映像制御部１３へ出力する。
【００２７】
映像制御部１３は、各カメラＣＡ１〜ＣＡ３からの映像データと、予め設定されている話者識別用画像データとを用いて合成映像データを生成する。この際、映像制御部１３は、合成映像データの全画面を、当該全画面の中心を基準にした均等な部分画像領域に四分割する（図５（詳細は後述）を参照）。映像制御部１３は、三つの部分画像領域に各カメラＣＡ１〜ＣＡ３の映像を割り当て、残りの一つの部分画像領域を話者識別用画像データに割り当てる。話者識別用画像データは、予め設定された話者名等の話者個別情報からなる。そして、話者個別情報のそれぞれは、対応する話者を撮像するカメラと関連付けされて記憶されている。
【００２８】
映像制御部１３は、各カメラＣＡ１〜ＣＡ３に割り当てた部分画像領域内に、各カメラＣＡ１〜ＣＡ３に対応するカメラ識別マークを表示させるカメラ識別情報表示欄を形成する。
映像制御部１３は、メイン制御部１０から与えられた話者方位カメラ情報に基づいて、話者方位に対応するカメラ識別マークと、当該カメラに対応する話者個別情報とを選択する。映像制御部１３は、選択したカメラ識別マークおよび話者個別情報を、他のカメラ識別マークおよび話者個別情報と異なる態様で表示する設定を行う。例えば、選択した話者方位のカメラ識別マークおよび話者個別情報を、他のカメラ識別マークおよび話者個別情報よりも高輝度で表示させる。この処理は、予め設定された所定のフレームレートで継続して行われる。これにより、発言者が交代することで話者方位が変化し、発言する話者が撮像された映像データが変化する際には、カメラ識別マークおよび話者個別情報の表示態様も切り替わるように設定される。このように形成された合成映像データは、順次、通信制御部１５へ出力される。
【００２９】
通信制御部１５は、エコーキャンセラ１２からの出力音声データを話者方位データに関連付けして送信するとともに、映像制御部１３からの合成映像データを送信する。
【００３０】
これにより、相手側（受信側）のテレビ会議装置で、出力音声データに基づく放音を行うとともに、合成画像データを再生することで、相手側（受信側）の会議室に在席する会議者は、送信側の会議室全体の映像を見ながら、話者の発言を聞き取り、且つ、容易に話者を視認して識別することができる。この際、収音ビーム化された音声が放音されることで、話者の発言を高いＳ／Ｎ比で放音することができ、且つエコーキャンセル処理することで、さらに高いＳ／Ｎ比の放音が可能となる。これにより、会議者に分かりやすく、使い勝手の良いテレビ会議を実現することができる。
【００３１】
通信制御部１５は、ネットワーク９００を介して送信側からの出力音声データと話者方位データと、合成映像データを受信すると、出力音声データを、エコーキャンセラ１２を介して放音制御部１４へ出力する。通信制御部１５は、話者方位データをメイン制御部１０へ出力する。通信制御部１５は、合成映像データを、テレビ会議装置１とは別体の表示器２０へ出力する。表示器２０は、液晶ディスプレイ等からなり、通信制御部１５から入力された合成映像データを再生して表示する。
【００３２】
放音制御部１４は、通信制御部１５からの相手先で生成された出力音声データと、相手先で生成された話者方位データに基づくメイン制御部１０からの音源定位情報とに基づいて、各スピーカＳＰ１〜ＳＰ１４に与える個別駆動信号を生成する。より具体的には、放音制御部１４は、出力音声データを各スピーカＳＰ１〜ＳＰ１４用に分配し、分配した音声データ毎に、前記音源定位情報に基づく遅延処理および振幅処理を行うことで個別駆動音声データを生成する。放音制御部１４は、生成した各個別駆動音声データをＤ／Ａ（デジタル−アナログ）変換することで個別駆動信号を生成し、操作部１６で設定されたボリューム等に基づく所定の増幅率で増幅した後に、各スピーカＳＰ１〜ＳＰ１４へ出力する。
【００３３】
スピーカＳＰ１〜ＳＰ１４は、入力された個別駆動信号に基づいて放音する。これにより、話者方位データに基づく音源定位が実現され、仮想の話者位置から発音されたように放音される。
【００３４】
このような放音指向性制御を行うことで、上述のような映像の表示効果とともに、会議者は、話者方位に対応した話者音声を聞くことができ、より臨場感に溢れるテレビ会議を実現することができる。
【００３５】
次に、より具体的な使用例について図を参照して説明する。
図３はテレビ会議装置１の配置例および撮像範囲を表す平面図である。図４はテレビ会議装置１及び表示器２０の配置例を示す平面図である。
図３に示すように、会議室内には会議テーブル４００が設置され、当該会議テーブル４００の三方を囲むように、会議者３０１〜３０６が着席する。そして、会議テーブル４００の残りに一方にテレビ会議装置１が設置される。テレビ会議装置１は正面方向が会議テーブル４００側となるように設置される。テレビ会議装置１は、例えば図４に示すように、表示器２０の天面上に設置される。
【００３６】
会議者３０１，３０２は、会議テーブル４００に対してテレビ会議装置１と対向する側に着席している。会議者３０３，３０４は、テレビ会議装置１の左端側（カメラＣＡ３側）のテーブル４００の端辺に沿って着席しており、会議者３０５，３０６は、右端側（カメラＣＡ２側）の会議テーブル４００の端辺に沿って着席している。
【００３７】
図５は、図３の状況における各カメラＣＡ１〜ＣＡ３の映像データ例を示す図であり、（Ａ）はカメラＣＡ１の映像データ例、（Ｂ）はカメラＣＡ２の映像データ例、（Ｃ）はカメラＣＡ３の映像データ例を示す。
【００３８】
図３に示すように会議者３０１〜３０６が着席してテレビ会議装置１を起動させると、カメラＣＡ１は、図５（Ａ）に示すように、会議者３０１，３０２を含む領域を撮像して、会議者３０１の映像３１１（以下、会議者映像３１１と称する）、会議者３０２の映像３１２（以下、会議者映像３１２と称する）、テーブル４００の映像４１０（以下、テーブル映像４１０と称する）を含む映像データ５０１を生成する。カメラＣＡ２は、図５（Ｂ）に示すように、会議者３０３，３０４を含む領域を撮像して、会議者３０３の映像３１３（以下、会議者映像３１３と称する）、会議者３０４の映像３１４（以下、会議者映像３１４と称する）、およびテーブル映像データ４１０を含む映像データ５０２を生成する。カメラＣＡ３は、図５（Ｃ）に示すように、会議者３０５，３０６を含む領域を撮像して、会議者３０５の映像３１５（以下、会議者映像３１５と称する）、会議者３０６の映像３１６（以下、会議者映像３１６と称する）、およびテーブル映像データ４１０を含む映像データ５０３を生成する。
【００３９】
映像制御部１３は、これら映像データ５０１〜５０３に基づいて合成映像データ５００を形成する。
図６は合成映像データの例を示す図であり、（Ａ）は会議者３０１が発言した状態を示し、（Ｂ）は会議者３０３が発言した状態を示す。
映像制御部１３は、合成映像データ５００の表示領域を、当該表示領域の中心を基準にして、四つの部分映像領域５１１〜５１４に分割して、映像データ５０１〜５０３、および話者識別用画像データを割り当てる。
より具体的には、映像制御部１３は、前記基準点をＸ−Ｙ座標系の中心として第２象限に当たる部分映像領域５１１に映像データ５０１を割り当て、第１象限に当たる部分映像領域５１２に映像データ５０２を割り当て、第３象限に当たる部分映像領域５１３に映像データ５０３を割り当てる。映像制御部１３は、第４象限に当たる部分映像領域５１４に、予め記憶した話者個別情報５４１〜５４６からなる話者識別用画像データを割り当てる。
【００４０】
映像制御部１３は、映像データ５０１〜５０３が割り当てられる部分映像領域５１１〜５１３のそれぞれに、カメラ識別マーク５２１〜５２３をさらに割り当てる。カメラ識別マークは、各カメラＣＡ１〜ＣＡ３に関連付けされており、カメラＣＡ１に対しては「Ｃ」マークが設定され、カメラＣＡ２に対しては「Ｒ」マークが設定され、カメラＣＡ３に対しては「Ｌ」マークが設定される。これらのカメラ識別マーク５２１〜５２３は、前記基準点を中心に互いに接するように配置される。
【００４１】
このような基本表示態様において、映像制御部１３は、話者方位カメラ情報に基づいて、話者を撮像するカメラに対するカメラ識別マークと、当該カメラに関連付けされた話者個別情報とを、高輝度表示設定する。例えば、会議者３０１が話者であることを検出すると、図６（Ａ）に示すように、会議者映像３１１を含む映像データ５０１の部分映像領域５１１内のカメラ識別マーク５２１を高輝度黄色点灯状態となるように表示させ、他のカメラ識別マーク５２２，５２３を低輝度グレー点灯状態となるように表示させる設定を行う。さらに、部分映像領域５１４内のカメラＣＡ１に対応する話者個別情報５４１，５４２を高輝度黄色点灯状態となるように表示させ、他の話者個別情報５４３〜５４６を低輝度グレー点灯状態となるように表示させる設定を行う。そして、話者が会議者３１３に切り替わったことを検出すると、図６（Ｂ）に示すように、会議者映像３１３を含む映像データ５０２の部分映像領域５１２内のカメラ識別マーク５２２を高輝度黄色点灯状態となるように表示させ、他のカメラ識別マーク５２１，５２３を低輝度グレー点灯状態となるように表示させる設定を行う。さらに、部分映像領域５１４内のカメラＣＡ２に対応する話者個別情報５４３，５４４を高輝度黄色点灯状態となるように表示させ、他の話者個別情報５４１，５４２，５４５，５４６を低輝度グレー点灯状態となるように表示させる設定を行う。
【００４２】
このような表示設定が行われた合成映像データを再生することで、再生側の会議者は、話者を含む映像を容易に識別することができ、話者の個別情報を容易に確認することができる。なお、図６の場合、一つの映像に二人の会議者が撮像されているので、話者個別情報は二つが、他の話者個別情報と異なる態様で表示されるが、一つの映像に一人の会議者が撮像される場合であれば、より確実に話者の個別情報を確認することができる。
【００４３】
なお、前述の説明では、話者方位カメラ情報に基づいて、当該話者方位を含む領域を撮像したカメラに関連付けられた全ての話者個別情報を、他の話者個別情報と異なる表示態様に設定した。しかしながら、本実施形態のテレビ会議装置では、カメラＣＡ１〜ＣＡ３の撮像領域単位でなく、会議者単位での方位検出が可能である。したがって、メイン制御部１０で、話者方位カメラ情報とともに、さらに詳しい話者方位情報を生成し、映像制御部１３へ与えるようにしてもよい。
【００４４】
この場合、映像制御部１３には、話者方位情報と話者個別情報とが予め関連付けして記憶されている。映像制御部１３は、メイン制御部１０から話者方位カメラ情報と話者方位情報とを受け付けると、上述のカメラ識別マークに関する処理および話者方位カメラ情報に基づく話者個別情報に関する処理を実行するとともに、これら選択された複数の話者個別情報のうちで、真の話者方位に関連する話者個別情報を取得する。そして、映像制御部１３は、真の話者方位に関連する話者個別情報を、さらに別の表示態様とするように設定する。
【００４５】
図７は、話者単位での表示態様設定を行った場合の表示映像の例を示す図である。図７では、上述の図３や図６（Ａ）の状況と同じように、会議者３０１が発言した場合を示す。
図７に示すように、映像データ５０１からなる部分映像領域５１１、映像データ５０２からなる部分映像領域５１２、映像データ５０３からなる部分映像領域５１３の表示態様は図６（Ａ）と同じである。しかしながら、部分映像領域５１４では、カメラＣＡ１に対応する話者個別情報５４１，５４２を点灯状態となるように表示させ、他の話者個別情報５４３〜５４６を消灯状態となるように表示させる設定を行う。さらに、話者である会議者３０１に対応する話者個別情報５４１を、話者ではない会議者３０２に対応する話者個別情報５４２よりも、さらに高輝度で点灯させたり、点滅させたりする等の設定を行う。
【００４６】
このような表示態様とすることで、上述の効果とともに、さらに一見して確実に話者を識別することができる。
【００４７】
また、前述の説明では、部分映像領域５１４の表示例を一例だけ示したが、図８に示すようなＷｅｂ画面で設定を行うことで、表示内容を設定することができる。
【００４８】
図８はカメラと会議情報の設定入力画面を示す図である。
Ｗｅｂ画面設定を行う場合、ユーザは、パソコン等の機器をネットワーク９００に接続し、テレビ会議装置１に対してアクセスする。その後、ユーザは、リモート操作入力を行い、図８に示すようなＷｅｂ設定画面６００をパソコンの表示画面に表示させる。Ｗｅｂ表示画面６００には、設定方法を選択させる「デフォルト」選択欄６０１と「参加者情報」選択欄６０２とが設定される。ユーザは、マウス等の操作子によりいずれかを選択することで、設定方法が選択される。「参加者情報」選択欄６０２は、その内容を示す内容表示欄６２１を有し、内容表示欄６２１は、表示内容入力欄６２１１、カメラ割り当て設定欄６２１２を有する。
【００４９】
表示内容入力欄６２１１には、図８に示すような会議者の名前等の個人識別情報が入力される。なお、図８では名前を入力する例を示したが、入力内容は個人が識別できる情報であれば特に指定されるものでない。カメラ割り当て設定欄６２１２は、表示内容入力欄６２１１の各個人識別情報の入力単位毎にカメラＣＡ１（Ｃ），ＣＡ２（Ｒ），ＣＡ３（Ｌ）の割り当てを選択させる欄であり、個人識別情報が入力された場合には、いずれかが選択される。この選択内容と上述の話者方位カメラ情報とにより部分映像領域５１４の表示態様が設定される。すなわち、話者方位カメラ情報と同じカメラが選択されている個人識別情報が、他の個人識別情報と異なる表示態様で表示される。さらに、個人識別情報が入力されていない場合には、対応するカメラ割り当て設定欄６２１２は、「使用しない」が選択される。これにより、入力された個人識別情報のみが表示される。
【００５０】
このような設定が行われた後、設定ボタン欄６３１を選択することで、入力内容が決定して映像制御部１３へ反映される。さらに、リセットボタン欄６３２が選択されれば、入力内容がリセットされる。
【００５１】
このような設定操作入力を行うことで、上述の図６に示すような表示画面を得ることができる。
【００５２】
なお、「デフォルト」選択欄６０１が選択された場合には、予め工場出荷時に設定された画像が部分映像領域５１４に表示される。例えば、当該テレビ会議装置の名称や時刻、会議経過時間等が表示される。また、「使用しない」が選択された場合、部分映像領域５１４内の「使用しない」に対応する映像領域が空きになるので、当該映像領域を外部入力によるテキスト情報の表示領域に割り当ててもよい。すなわち、上述のようなパソコン等で、Ｗｅｂ画面にテキスト入力欄を設け、当該テキスト入力欄に入力された内容を表示させるように制御しても良い。これにより、会議参加者が会議中に決定した事項等の簡単なテキスト情報を入力し、各会議室の会議者がこの情報を共有することができる。
【００５３】
また、前述の説明では、テレビ会議装置１本体に全ての機能を設置した例を示したが、通信制御部１５や、これに伴うメイン制御部１０の機能の一部を、放収音機能、撮像機能と別体にしてもよい。また、前述の説明のスピーカ数、マイク数、カメラ数は一例であり、装置の仕様に応じて適宜設定すればよい。すなわち、スピーカ数は所望とする放音特性に準じ、マイク数は所望とする収音特性に準じて設定される。そして、カメラ数も所望とする撮像領域や撮像領域分割機能の有無等により三台より多くても少なくてもよい。ただし、カメラ数については、三台であることがより望ましい。これは、本発明の特徴である分割画面が、ユーザの視やすさも考慮して、画面中心基準の四分割画面であり、且つ四つの分割領域の一つを文字情報の表示用に用いるので、会議映像の表示用には最大で三つの画面の設定となる。従ってカメラ数が四台以上であれば、三つの画面に同時に表示することができず、例えば話者を含む映像が表示されていない場合などに、自動切り替え等で四台以上のカメラの映像を三つの分割領域に割り当てなければならない。このため、より複雑な処理が必要となってしまう。さらに、カメラ数が分割領域数よりも多い場合、会議室全体を継続的に撮像することができなくなる。したがって、本発明では、カメラ数が三台であることが望ましい。
【００５４】
また、前述の説明では、収音機能、撮像機能、放音機能が一筐体に設置される例を示したが、収音機能と撮像機能とが一体化され、放音機能が無いようなものや、放音機能を別体で設置するようにしてもよい。
【００５５】
また、上述の説明では、話者を識別させる表示として高輝度黄色点灯と低輝度グレー点灯とを用いた例を示したが、これらの点灯態様は一例であり、話者の有無が明確に識別できる点灯態様であれば、消灯も含み適宜設定が可能である。
【図面の簡単な説明】
【００５６】
【図１】本発明のテレビ会議装置の外観斜視図である。
【図２】本発明のテレビ会議装置１の機能ブロックの構成および外部との接続関係を示した図である。
【図３】テレビ会議装置１の配置例および撮像範囲を表す平面図である。
【図４】テレビ会議装置１及び表示器２０の配置例を示す平面図である。
【図５】図３の状況における各カメラＣＡ１〜ＣＡ３の映像データ例を示す図である。
【図６】合成映像データの例を示す図である。
【図７】話者単位での表示態様設定を行った場合の表示映像の例を示す図である。
【図８】カメラと会議情報の設定入力画面を示す図である。
【符号の説明】
【００５７】
１−テレビ会議装置、１０−メイン制御部、１１−収音制御部、１２−エコーキャンセラ、１３−映像制御部、１４−放音制御部、１５−通信制御部、１６−操作部、２０−表示器、ＭＣ１〜ＭＣ１６−マイク、ＳＰ１〜ＳＰ１４−スピーカ、ＣＡ１〜ＣＡ３−カメラ、３０１〜３０６−会議者、３１１〜３１６−会議者映像、４００−会議テーブル、４１０−テーブル映像、５００−合成映像データ、５０１〜５０３−映像データ、５１１〜５１４−部分映像領域、５２１〜５２３−カメラ識別マーク、５４１〜５４６−話者個別情報
【図１】
2009021922.tif 000003
【図２】
2009021922.tif 000004
【図３】
2009021922.tif 000005
【図４】
2009021922.tif 000006
【図５】
2009021922.tif 000007
【図６】
2009021922.tif 000008
【図７】
2009021922.tif 000009
【図８】
2009021922.tif 000010