(57)【要約】      （修正有）【課題】音声付きのビデオ画像の明瞭性を改善したビデオ会議端末機を提供する。【解決手段】ビデオ会議端末機１００は、発話者のビデオ画像を撮影する撮像部１６（ＣＣＤビデオカメラ）と、発話者の発話を集音し、発話の到来方向を検出する集音部１８（マイクアレイ）と、ＣＰＵ１０を有する。ＣＰＵは、集音部が集音する集音範囲を、到来方向を含む所定の範囲に設定する集音範囲設定部と、集音範囲設定部によって設定される集音範囲に合わせて、ビデオ画像を撮影する画角を設定する画角設定部と、を含む。【選択図】図１
2017028608.tif 000002
【特許請求の範囲】
【請求項１】
発話者のビデオ画像を撮影する撮像部と、
前記発話者の発話を集音し、前記発話の到来方向を検出する集音部と、
前記集音部が集音する集音範囲を、前記到来方向を含む所定の範囲に設定する集音範囲設定部と、
前記集音範囲設定部によって設定される前記集音範囲に合わせて、前記ビデオ画像を撮影する画角を設定する画角設定部と
を含む、ビデオ会議端末機。
【請求項２】
前記到来方向の数をカウントするカウント部をさらに含み、
前記カウント部によってカウントされる前記到来方向が１つである場合には、前記集音範囲設定部は、前記集音範囲を１人用の集音範囲に設定し、前記画角設定部は、前記画角を前記１人用の集音範囲に合わせた１人用の画角に設定する、請求項１記載のビデオ会議端末機。
【請求項３】
前記到来方向の数をカウントするカウント部をさらに含み、
前記カウント部によってカウントされる前記到来方向が複数ある場合には、前記集音範囲設定部は、前記集音範囲を複数人用の広範囲な集音範囲に設定し、前記画角設定部は、前記画角を前記広範囲な集音範囲に合わせた広範囲な画角に設定する、請求項１記載のビデオ会議端末機。
【請求項４】
前記複数の前記到来方向をすべて含む角度が前記撮像部の最大画角に収まると前記画角設定部が判定すると、前記集音範囲設定部は、前記集音範囲を複数人用の広範囲な集音範囲に設定し、前記画角設定部は、前記画角を前記広範囲な集音範囲に合わせた広範囲な画角に設定する、請求項３記載のビデオ会議端末機。
【請求項５】
前記撮像部は、互いの撮像範囲が隣接する複数の撮像部であり、前記広範囲な画角は、前記複数の撮像部の各々の画角を合成した画角である、又は、前記撮像部は、パノラマビデオ画像を撮影可能な撮像部であり、前記広範囲な画角は、前記パノラマビデオ画像を得る画角である、請求項３又は４記載のビデオ会議端末機。
【請求項６】
前記集音範囲設定部は、前記カウント部によってカウントされる前記到来方向がＮ（Ｎ≧３の整数）個以上ある場合には、前記Ｎ個以上の前記到来方向のうち、相隣り合う２個の前記到来方向によって構築される集音範囲をＮ個求め、前記Ｎ個の集音範囲のうち最も範囲が広い集音範囲を除いた残りの（Ｎ−１）個の集音範囲を合成した合成集音範囲を前記広範囲な集音範囲として設定する、請求項３乃至５のいずれか一項記載のビデオ会議端末機。
【請求項７】
前記到来方向の数をカウントするカウント部をさらに含み、
前記カウント部によってカウントされる前記到来方向が複数ある場合には、前記画角設定部は、前記複数の前記到来方向をすべて含む角度が最大画角に収まるかどうかを判定し、
前記集音範囲設定部は、前記画角設定部によって前記複数の前記到来方向をすべて含む角度が前記最大画角に収まらないと判定されると、前記集音範囲を前記複数の前記到来方向をすべて含む範囲に設定し、前記画角設定部は、前記画角を前記最大画角に設定する、請求項１記載のビデオ会議端末機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ会議端末機に関する。
【背景技術】
【０００２】
従来より、複数のマイクロホンを内蔵し、外部からの制御信号によって上下左右方向に撮影表示範囲の変更が可能な電動パンチルトズーム機能を備えたマイクロホン内蔵型ビデオカメラがある。
【０００３】
マイクロホン内蔵型ビデオカメラは、前記各マイクロホンからの出力信号を増幅するための増幅器と、各増幅器によって増幅された信号をデジタル信号に変換するためのアナログデジタル変換器とを含む。
【０００４】
マイクロホン内蔵型ビデオカメラは、前記複数のマイクロホンと１対１に対応し前記アナログデジタル変換器からのデジタル信号を遅延させるための遅延回路と、該遅延回路からの出力信号の利得係数を変化させるための利得回路とをさらに含む。
【０００５】
マイクロホン内蔵型ビデオカメラは、各利得回路からの出力信号を加算するための加算回路とをさらに含む。
【０００６】
また、前記複数個の遅延回路の遅延時間は定められた範囲内で任意に設定が可能であって、前記ビデオカメラの左右の振り角度によってあらかじめ定めた遅延時間を個別に設定することによって前記ビデオカメラの撮影方向と前記マイクロホンの指向方向を連動させる（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来のマイクロホン内蔵型ビデオカメラは、ビデオカメラの撮影方向とマイクロホンの指向方向を連動させているが、マイクロホンが集音する範囲（集音範囲）と、ビデオカメラが撮影する画角とを合わせていない。
【０００８】
このため、発話者の音声の他に、周囲の不要な音が集音され、音声付きのビデオ画像の明瞭性が低いという課題がある。このような課題は、集音範囲が画角よりも広い場合に、特に顕著である。
【０００９】
そこで、音声付きのビデオ画像の明瞭性を改善したビデオ会議端末機を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の実施の形態のビデオ会議端末機は、発話者のビデオ画像を撮影する撮像部と、前記発話者の発話を集音し、前記発話の到来方向を検出する集音部と、前記集音部が集音する集音範囲を、前記到来方向を含む所定の範囲に設定する集音範囲設定部と、前記集音範囲設定部によって設定される前記集音範囲に合わせて、前記ビデオ画像を撮影する画角を設定する画角設定部とを含む。
【発明の効果】
【００１１】
音声付きのビデオ画像の明瞭性を改善したビデオ会議端末機を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態のビデオ会議端末機１００のハードウェア構成を示すブロック図である。
【図２】ＣＰＵ１０に含まれる機能ブロックを示す図である。
【図３】ビデオ会議端末機１００を含む座標系を示す図である。
【図４】ビデオ会議端末機１００の動作例を示す図である。
【図５】ビデオ会議端末機１００の動作例を示す図である。
【図６】ビデオ会議端末機１００の動作例を示す図である。
【図７】ビデオ会議端末機１００の動作例を示す図である。
【図８】ビデオ会議端末機１００の動作例を示す図である。
【図９】ビデオ会議端末機１００の動作例を示す図である。
【図１０】ビデオ会議端末機１００の動作例を示す図である。
【図１１】ビデオ会議端末機１００の動作例を示す図である。
【図１２】ビデオ会議端末機１００が集音範囲と画角を設定する際の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明のビデオ会議端末機を適用した実施の形態について説明する。
【００１４】
＜実施の形態＞
図１は、実施の形態のビデオ会議端末機１００のハードウェア構成を示すブロック図である。
【００１５】
ビデオ会議端末機１００は、ＣＰＵ(Central Processing Unit)１０、ＲＯＭ(Read Only Memory)１１、ＲＡＭ(Random Access Memory)１２、ＳＳＤ(Solid State Drive)１３、メディアドライブ１４、及びネットワークＩ／Ｆ１５を含む。
【００１６】
ビデオ会議端末機１００は、さらに、ＣＣＤ(Charge Coupled Device)ビデオカメラ１６、撮像素子Ｉ／Ｆ１７、マイクアレイ１８、スピーカ１９、音声Ｉ／Ｆ２０、ディスプレイＩ／Ｆ２１、外部機器Ｉ／Ｆ２２、バスライン２３、操作ボタン２４、電源スイッチ２５を含む。また、ビデオ会議端末機１００には、ディスプレイ４０が接続されている。
【００１７】
ビデオ会議端末機１００は、通信ネットワークを介して他の同様のビデオ会議端末機に接続され、ビデオ会議システムを構築する。ビデオ会議システムに含まれる複数のビデオ会議端末機１００は、互いにビデオ画像データと音声データを伝送し、音声付きのビデオ映像を介して、互いに離れた場所にいる参加者同士の会議を実現する。
【００１８】
ＣＰＵ１０は、ビデオ会議端末機１００の全体の制御を統括する制御部である。ＲＯＭ１１は、ＣＰＵ１０が実行し、ビデオ会議端末機１００の各種機能を実現するプログラムを記憶する。
【００１９】
ＲＡＭ１２は、ＣＰＵ１０が上述のプログラム等を実行する際の作業領域として使用される。フラッシュメモリ３１は、画像データ等の各種データを記憶する。ＳＳＤ１３は、ＣＰＵ１０の制御に従ってフラッシュメモリ３１に対する各種データの読み出しと書き込みを制御する。
【００２０】
メディアドライブ１４は、フラッシュメモリ等の記録メディア３２に対するデータの読み出し、又は書き込み（記憶）を制御する。操作ボタン２４は、通信先となる他のビデオ会議端末機１００を選択する場合等に操作される。
【００２１】
電源スイッチ２５は、電源のＯＮ／ＯＦＦを切り換えるスイッチである。ネットワークＩ／Ｆ１５は、ビデオ会議端末機１００を通信ネットワークに接続し、通信ネットワークを介してデータの送受信を行う。通信ネットワークは、例えば、インターネット、又は、ＬＡＮ(Local Area Network)等である。
【００２２】
ＣＣＤビデオカメラ１６は、ＣＰＵ１０によって制御され、ビデオ画像を撮影するビデオカメラとして用いられる。ＣＣＤビデオカメラ１６は、ビデオ会議の参加者等の被写体を撮像し、ビデオ画像データを取得する。ＣＣＤビデオカメラ１６は、撮像部の一例である。
【００２３】
ＣＣＤビデオカメラ１６としては、複数の参加者ができるように、広角レンズを有するビデオカメラを用いる。広角レンズを用いるのは、より広い範囲の画像を得るためである。
【００２４】
ここでは、ＣＣＤビデオカメラ１６を用いる形態について説明するが、ＣＣＤビデオカメラに限られるものではなく、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等を用いるビデオカメラを用いてもよい。
【００２５】
撮像素子Ｉ／Ｆ１７は、ＣＣＤビデオカメラ１６の駆動を制御する。
【００２６】
マイクアレイ１８は、参加者の発話（参加者の音声）を集音する。また、マイクアレイ１８は、複数のマイク１８Ａを有し、複数のマイク１８Ａが集音する発話の時間差に基づいて、発話が到来する方向（到来方向）を検出する。発話の到来方向とは、参加者の発話がマイクアレイ１８に到来する方向であり、マイクアレイ１８に対して、発話を行った参加者（発話者）が存在する方向を表す。
【００２７】
マイクアレイ１８は、参加者の発話と、発話以外のノイズや騒音等の雑音とを区別し、発話を検出する機能を有する。マイクアレイ１８は、集音した発話を表す発話データと、発話の方向を表す方向データとを関連付けて出力する。発話データと方向データは、ＣＰＵ１０に入力される。
【００２８】
マイクアレイ１８は、発話を集音する範囲（集音範囲）を変更することができる。このような集音範囲の変更は、ＣＰＵ１０によって行われる。マイクアレイ１８は、指向特性（指向方向）を変更できるマイクである。ＣＰＵ１０がマイクアレイ１８の指向特性を制御することによって、マイクアレイ１８の集音範囲が変更される。集音範囲については、図４乃至図１１を用いて後述する。
【００２９】
このようなマイクアレイ１８は、集音部の一例である。なお、マイク１８Ａの数は２個以上であればよく、ビデオ会議端末機１００の用途又はビデオ会議端末機１００に与える性能等に応じて、適切な数に設定すればよい。
【００３０】
また、ここでは、マイクアレイ１８が発話と雑音とを区別し、発話を検出する機能を有する形態について説明するが、ＣＰＵ１０がこのような機能を有していて、マイクアレイ１８がこのような機能を有していなくてもよい。
【００３１】
スピーカ１９は、他のビデオ会議端末機１００から送信されてきた音声データが表す音声を出力する。
【００３２】
音声Ｉ／Ｆ２０は、ＣＰＵ１０によって制御され、マイクアレイ１８に入力される発話（音声）の入力処理と、スピーカ１９から出力する音声の出力処理を行う。この入力処理と出力処理のような音声処理としては、例えば、雑音の除去や、アナログ信号のデジタルデータへの変換、デジタルデータのアナログ信号への変換等が挙げられる。
【００３３】
ディスプレイＩ／Ｆ２１は、ＣＰＵ１０によって制御され、ディスプレイ４０にビデオ画像データを伝送する。外部機器Ｉ／Ｆ２２は、ビデオ会議端末機１００に接続される外部機器との間で、各種データの送受信を行う。
【００３４】
バスライン２３は、これらのハードウェアを互いに電気的に接続するアドレスバスやデータバス等である。ここで、アドレスバスは、アクセスしたいデータ等が格納されている場所の物理アドレスを伝達するために使用されるバスであり、データバスは、データを転送するために使用されるバスである。
【００３５】
ディスプレイ４０と、ディスプレイＩ／Ｆ２１とは、ケーブル４１によって接続される。ケーブル４１は、アナログＲＧＢ（ＶＧＡ）信号用ケーブルやコンポーネントビデオ用ケーブルであってもよい。また、ＨＤＭＩ（登録商標）(High-Definition Multimedia Interface)やＤＶＩ(Digital Video Interactive)信号用ケーブルであってもよい。
【００３６】
外部機器としては、キーボードやマウス等の外部入力装置のほか、外付けカメラ、外付けマイク、外付けスピーカ等を挙げることができる。外部機器は、ＵＳＢ(Universal Serial Bus)コネクタ等を介して外部機器Ｉ／Ｆ２２に接続することができる。
【００３７】
記録メディア３２は、メディアドライブ１４に対して着脱自在な記録媒体である。記録メディア３２は、例えば、ＣＤ−ＲＷ(Compact Disk ReWritable)、ＤＶＤ(Digital Versatile Disk)−ＲＷ、ＳＤ(Secure Digital)カード等の読み書き可能な記録媒体とされる。
【００３８】
また、フラッシュメモリ３１の代わりに、データの読み出し、書き込みを行うことができる、他の形式の不揮発性メモリを用いてもよい。このような不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ(Electrically Erasable and Programmable ROM)を挙げることができる。
【００３９】
ここでは、ビデオ会議端末機１００の各種機能を実現するプログラムは、ＲＯＭ１１に記憶されているが、インストール可能な形式又は実行可能な形式のファイルで、記録メディア３２等のビデオ会議端末機１００により読み取り可能な記録媒体に記憶されていてもよい。
【００４０】
図２は、ＣＰＵ１０に含まれる機能ブロックを示す図である。
【００４１】
ＣＰＵ１０は、主制御部１１０、カウント部１２０、集音範囲設定部１３０、及び画角設定部１４０を含む。
【００４２】
主制御部１１０は、ビデオ会議端末機１００の各種機能を統括する制御部である。主制御部１１０は、マイクアレイ１８から出力される方向データに基づき、方向データに関連付けられた発話データが表す発話を行った参加者の方向（発話方向）を特定する。
【００４３】
発話方向は、ビデオ会議端末機１００を含む座標系における、ビデオ会議端末機１００に対する方向で決まる。座標系については、図３を用いて後述する。
【００４４】
カウント部１２０は、主制御部１１０によって特定される発話方向の数をカウントする。また、カウント部１２０は、発話方向の数が１個であるか、又は、２個以上あるかを判定する。
【００４５】
集音範囲設定部１３０は、主制御部１１０によって特定される発話方向と、カウント部１２０によって特定される発話方向の数とに基づいて、マイクアレイ１８が集音する集音範囲を設定する。
【００４６】
例えば、集音範囲設定部１３０は、カウント部１２０によって特定される発話方向の数が１個である場合には、主制御部１１０によって特定される発話方向にマイクアレイ１８の集音範囲を設定する。
【００４７】
より具体的には、カウント部１２０によって特定される発話方向の数が１個である場合には、集音範囲設定部１３０は、主制御部１１０によって特定される発話方向に、１人用の集音範囲を設定する。
【００４８】
また、集音範囲設定部１３０は、カウント部１２０によって特定される発話方向の数が複数個である場合には、複数の発話方向を含む範囲にマイクアレイ１８が集音する集音範囲を設定する。
【００４９】
より具体的には、カウント部１２０によって特定される発話方向の数が複数個である場合には、集音範囲設定部１３０は、主制御部１１０によって特定される複数の発話方向を含む範囲に集音範囲を設定する。この場合の集音範囲は、１人用の集音範囲よりも広いものとなる。
【００５０】
画角設定部１４０は、集音範囲設定部１３０が設定する集音範囲に合わせて、ＣＣＤビデオカメラ１６がビデオ画像を撮影する画角を設定する。
【００５１】
画角設定部１４０は、ＣＣＤビデオカメラ１６が撮影するビデオ画像のうちの一部の画像を切り出す（抜粋する）ことによって、他のビデオ会議端末機１００のディスプレイ４０（図１参照）に表示させる画像の範囲を設定する。
【００５２】
このため、ここでは、画角とは、ＣＣＤビデオカメラ１６が撮影可能な範囲ではなく、ＣＣＤビデオカメラ１６が撮影可能なビデオ画像のうちの一部の画像を切り出す（抜粋する）範囲をいう。
【００５３】
例えば、画角設定部１４０は、カウント部１２０によって特定される発話方向の数が１個であり、マイクアレイ１８が集音する集音範囲が１人用の集音範囲に設定される場合には、ビデオ画像を撮影する画角を１人用の画角に設定する。
【００５４】
また、画角設定部１４０は、カウント部１２０によって特定される発話方向の数が複数個であり、マイクアレイ１８が集音する集音範囲が、複数の発話方向を含む範囲に設定される場合には、ビデオ画像を撮影する画角を複数の発話方向が含まれる集音範囲に合わせて設定する。
【００５５】
また、カウント部１２０によって特定される発話方向の数が複数個である場合には、発話を行っている参加者の位置関係には、様々なパターンが有り得る。このため、画角設定部１４０は、複数の発話方向の位置的な関係に応じて、ビデオ画像を撮影する画角を様々な手法で設定する。このような画角の設定の仕方については、図４乃至図１１を用いて後述する。
【００５６】
なお、ビデオ画像のうちの一部の画像を切り出す（抜粋する）形態に限定する趣旨ではなく、ＣＣＤビデオカメラ１６が撮影可能な範囲を画角として定義し、ＣＣＤビデオカメラ１６が撮影可能な範囲を変更することによって画角を変更してもよい。
【００５７】
図３は、ビデオ会議端末機１００を含む座標系を示す図である。
【００５８】
ビデオ会議端末機１００を含む座標系は、ビデオ会議端末機１００を平面視した状態で、基準点１００Ａから矢印で示す特定の方向を０度の方向として、時計回りを正の方向とする角度θで表される。
【００５９】
ビデオ会議端末機１００を平面視するとは、水平面にビデオ会議端末機１００を配置した状態で鉛直上方からビデオ会議端末機１００を見ることをいう。また、基準点１００Ａは、ビデオ会議端末機１００の中心である。また、特定の方向とは、ビデオ会議端末機１００に対して固定されたある一定の方向である。
【００６０】
なお、基準点１００Ａは、ビデオ会議端末機１００の中心に限らず、他の場所に配置されていてもよい。また、特定の方向とは、ビデオ会議端末機１００のある一定の方向に固定されていれば、どのような方向であってもよい。
【００６１】
ビデオ会議端末機１００では、発話方向は、図３に示す座標系における角度で決まる。ここで、一例として、マイクアレイ１８の集音範囲の最小値は２０度であり、最大値は３６０度である。１人用の集音範囲は、例えば、２０度である。また、ビデオ会議端末機１００では、画角は、図３に示す座標系における角度で決まる。
【００６２】
図４乃至図１１は、ビデオ会議端末機１００の動作例を示す図である。
【００６３】
図４（Ａ）に示すように、参加者５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ（以下、５０Ａ〜５０Ｅ）がビデオ会議端末機１００を利用している。参加者５０Ａ〜５０Ｅは、ＣＣＤビデオカメラ１６の方を向いて、ビデオ会議端末機１００の前に座っている。
【００６４】
参加者５０Ａ〜５０Ｅのうち、参加者５０Ｃのみが発話を行っている。また、参加者５０Ｅの脇ではノイズが発生している。
【００６５】
このような状態では、ビデオ会議端末機１００は、図４（Ａ）に示すように、発話を行っている参加者５０Ｃを含む範囲に集音範囲６０を設定するとともに、画角７０を集音範囲６０に一致させる。なお、ノイズは、マイクアレイ１８によって発話と区別されるため、集音範囲６０の設定には影響を与えない。
【００６６】
このため、ＣＣＤビデオカメラ１６によって抜粋されるビデオ画像には、図４（Ｂ）に示すように、発話を行っている参加者５０Ｃを中心として、参加者５０Ｂ、５０Ｃ、５０Ｄが含まれることになる。このビデオ画像は、図４（Ａ）に示すビデオ会議端末機１００と通信を行っている他のビデオ会議端末機１００のディスプレイ４０に表示される。
【００６７】
このように、発話を行っている参加者５０Ｃを含む範囲に集音範囲６０が設定され、画角７０は集音範囲６０に一致されるため、ビデオ画像の明瞭性を改善することができる。
【００６８】
図４（Ａ）に示す状態から、図５（Ａ）に示すように、参加者５０Ａのみが発話を行っている状態に変化したとする。また、参加者５０Ｅの脇ではノイズが発生している。
【００６９】
このような状態では、ビデオ会議端末機１００は、図５（Ａ）に示すように、発話を行っている参加者５０Ａを含む範囲に集音範囲６０を設定するとともに、画角７０を集音範囲６０に一致させる。なお、ノイズは、マイクアレイ１８によって発話と区別されるため、集音範囲６０の設定には影響を与えない。
【００７０】
このため、ＣＣＤビデオカメラ１６によって抜粋されるビデオ画像には、図５（Ｂ）に示すように、発話を行っている参加者５０Ａと、隣の参加者５０Ｂとが含まれることになる。このビデオ画像は、図５（Ａ）に示すビデオ会議端末機１００と通信を行っている他のビデオ会議端末機１００のディスプレイ４０に表示される。
【００７１】
このように、発話を行っている参加者５０Ａを含む範囲に集音範囲６０が設定され、画角７０は集音範囲６０に一致されるため、ビデオ画像の明瞭性を改善することができる。
【００７２】
また、参加者５０Ｃのみが発話を行っている場合には、参加者５０Ｃのみが集音範囲６０に含まれるとともに、画角７０に含まれるようにしてもよい。
【００７３】
ビデオ会議端末機１００は、図６（Ａ）に示すように、発話を行っている参加者５０Ｃのみを含む狭い範囲に集音範囲６０を設定するとともに、画角７０を集音範囲６０に一致させる。
【００７４】
このため、ＣＣＤビデオカメラ１６によって抜粋されるビデオ画像には、図６（Ｂ）に示すように、発話を行っている参加者５０Ｃのみが含まれることになる。このビデオ画像は、図６（Ａ）に示すビデオ会議端末機１００と通信を行っている他のビデオ会議端末機１００のディスプレイ４０に表示される。
【００７５】
このように、発話を行っている参加者５０Ｃのみを含む範囲に集音範囲６０が設定され、画角７０は集音範囲６０に一致されるため、ビデオ画像の明瞭性を改善することができる。
【００７６】
次に、図７を用いて他の動作例について説明する。図７（Ａ）に示すように、参加者５０Ａと５０Ｃが発話を行っている状態に変化したとする。また、参加者５０Ｅの脇ではノイズが発生している。
【００７７】
このような状態では、ビデオ会議端末機１００は、図７（Ａ）に示すように、発話を行っている参加者５０Ａと５０Ｃを含む範囲に集音範囲６０を設定するとともに、画角７０を集音範囲６０に一致させる。なお、ノイズは、マイクアレイ１８によって発話と区別されるため、集音範囲６０の設定には影響を与えない。
【００７８】
このため、ＣＣＤビデオカメラ１６によって抜粋されるビデオ画像には、図７（Ｂ）に示すように、発話を行っている参加者５０Ａと５０Ｃが含まれることになる。このビデオ画像は、図７（Ａ）に示すビデオ会議端末機１００と通信を行っている他のビデオ会議端末機１００のディスプレイ４０に表示される。
【００７９】
このように、発話を行っている参加者５０Ａと５０Ｃを含む範囲に集音範囲６０が設定され、画角７０は集音範囲６０に一致されるため、ビデオ画像の明瞭性を改善することができる。
【００８０】
２人の参加者５０Ａと５０Ｃを含む集音範囲６０と画角７０は、図４に示すように参加者５０Ｃのみが発話を行っている場合の集音範囲６０及び画角７０と、図５に示すように参加者５０Ａのみが発話を行っている場合の集音範囲６０及び画角７０とよりも広範囲である。
【００８１】
次に、図８を用いて他の動作例について説明する。図８では、ＣＣＤビデオカメラ１６の画角を３６０度まで拡げられる場合について説明する。３６０度の画角は、例えば、撮像範囲が隣接する複数のビデオカメラを用いて、複数の画像を画像処理で繋ぎ合わせることによって実現すればよい。このような画像は、パノラマ画像である。
【００８２】
図８（Ａ）に示すように、参加者５０Ａ〜５０Ｅに加えて、参加者５０Ｆ、５０Ｇ、５０Ｈ、５０Ｉ、５０Ｊ（以下、５０Ｆ〜５０Ｊ）がビデオ会議端末機１００を利用している。参加者５０Ａ〜５０Ｅと５０Ｆ〜５０Ｊは、ＣＣＤビデオカメラ１６の方を向いて、ビデオ会議端末機１００の周囲に座っている。
【００８３】
ここでは、図８（Ａ）に示すように、参加者５０Ａ、５０Ｃ、５０Ｇ、５０Ｉの４人が発話を行っているとする。また、参加者５０Ｅの脇ではノイズが発生している。
【００８４】
このような状態では、ビデオ会議端末機１００は、図８（Ａ）に示すように、発話を行っている参加者５０Ａ、５０Ｃ、５０Ｇ、５０Ｉを含む範囲に集音範囲６０を設定するとともに、画角７０を集音範囲６０に一致させる。なお、ノイズは、マイクアレイ１８によって発話と区別されるため、集音範囲６０の設定には影響を与えない。
【００８５】
このため、ＣＣＤビデオカメラ１６によって抜粋されるビデオ画像には、図８（Ｂ）に示すように、発話を行っている参加者５０Ａ、５０Ｃ、５０Ｇ、５０Ｉが含まれることになる。このビデオ画像は、図８（Ａ）に示すビデオ会議端末機１００と通信を行っている他のビデオ会議端末機１００のディスプレイ４０に表示される。
【００８６】
このように、発話を行っている参加者５０Ａ、５０Ｃ、５０Ｇ、５０Ｉを含む範囲に集音範囲６０が設定され、画角７０は集音範囲６０に一致されるため、ビデオ画像の明瞭性を改善することができる。
【００８７】
なお、図８（Ａ）に示す集音範囲は、図９に示すようにして設定することができる。
【００８８】
図９（Ａ）に示すように、参加者５０Ａ〜５０Ｅと５０Ｆ〜５０Ｊがビデオ会議端末機１００の周囲にいて、参加者５０Ａ、５０Ｃ、５０Ｇ、５０Ｉの４人が発話を行っている場合には、集音範囲６０Ａ、６０Ｂ、６０Ｃ、６０Ｄを設定することができる。
【００８９】
集音範囲６０Ａ、６０Ｂ、６０Ｃ、６０Ｄは、発話を行っている参加者５０Ａ、５０Ｃ、５０Ｇ、５０Ｉのうちの隣り合う２人が入るようにして設定される集音範囲である。より具体的には、集音範囲６０Ａには参加者５０Ｉと５０Ａが入り、集音範囲６０Ｂには参加者５０Ａと５０Ｃが入り、集音範囲６０Ｃには参加者５０Ｃと５０Ｇが入り、集音範囲６０Ｄには参加者５０Ｇと５０Ｉが入る。
【００９０】
図９（Ｂ）は、集音範囲６０Ａ、６０Ｂ、６０Ｃ、６０Ｄを抜き出して間隔を空けて示す図である。集音範囲６０Ａ、６０Ｂ、６０Ｃ、６０Ｄのうち、最も広い（中心角度が大きい）のは集音範囲６０Ｃである。
【００９１】
ビデオ会議端末機１００は、このような場合に、最も広いのは集音範囲６０Ｃを除外して、残りの集音範囲６０Ａ、６０Ｂ、６０Ｄを合成することにより、図１０に示す集音範囲６０を求める。図１０に示す集音範囲６０は、図８（Ａ）に示す集音範囲６０と同一である。
【００９２】
また、このような場合に、マイクアレイ１８の指向方向を、図１０に矢印６１で示す集音範囲６０の中心角度θ１の中央の向き（中心方向）に向ければよい。中心方向は、中心角度θ１を二等分する方向である。また、ＣＣＤビデオカメラ１６の画角の中心が中心方向を向くように設定すればよい。
【００９３】
なお、図９（Ｂ）及び図１０に示すような集音範囲６０の求め方は、次のように表すことができる。
【００９４】
カウント部１２０によってカウントされる到来方向がＮ（Ｎ≧３の整数）個以上ある場合には、Ｎ個以上の到来方向のうち、相隣り合う２個の到来方向によって構築される集音範囲をＮ個求める。
【００９５】
これは、図９（Ａ）ではＮ＝４の場合に相当し、発話を行っている参加者５０Ａ、５０Ｃ、５０Ｇ、５０Ｉのうちの隣り合う２人が入るようにして設定される４個の集音範囲６０Ａ、６０Ｂ、６０Ｃ、６０Ｄを求めることに相当する。
【００９６】
また、集音範囲をＮ個求めたら、Ｎ個の集音範囲のうち最も範囲が広い集音範囲を除いた残りの（Ｎ−１）個の集音範囲を合成した合成集音範囲を広範囲な集音範囲として設定すればよい。
【００９７】
これは、集音範囲６０Ａ、６０Ｂ、６０Ｃ、６０Ｄのうち、中心角度が大きい集音範囲６０Ｃを除外して、残りの集音範囲６０Ａ、６０Ｂ、６０Ｄを合成することにより、図１０に示す集音範囲６０を求めることに相当する。
【００９８】
次に、図１１を用いて他の動作例について説明する。図１１（Ａ）に示すように、参加者５０Ａ〜５０Ｇがビデオ会議端末機１００を利用している。参加者５０Ａ〜５０Ｇは、ＣＣＤビデオカメラ１６の方を向いて、ビデオ会議端末機１００の前に座っている。
【００９９】
図１１（Ａ）では、参加者５０Ａ、５０Ｂ、５０Ｄ、５０Ｇが発話を行っており、集音範囲６０がＣＣＤビデオカメラ１６の最大画角θmaxよりも大きくなっている。
【０１００】
このような場合には、ビデオ会議端末機１００は、図１１（Ａ）に示すように、発話を行っている参加者５０Ａ、５０Ｂ、５０Ｄ、５０Ｇを含む範囲に集音範囲６０を設定するとともに、画角７０を最大画角θmaxに設定する。
【０１０１】
また、ここでは、参加者５０Ａ、５０Ｂ、５０Ｄ、５０Ｇのうち、参加者５０Ｂの声量が最も大きい状態であるとする。
【０１０２】
このような場合には、ビデオ会議端末機１００は、図１１（Ｂ）に示すように、最も声量の大きい参加者５０Ｂが最大画角θmaxの中心になるように最大画角θmaxの向きを設定する。
【０１０３】
このため、集音範囲６０がＣＣＤビデオカメラ１６の最大画角θmaxよりも大きくても、発話を行っている参加者５０Ａ、５０Ｂ、５０Ｄ、５０Ｇの全員の発話の音声データを集音できるとともに、最も声量の大きい参加者５０Ｂを含むビデオ画像を得ることができる。
【０１０４】
このため、ビデオ画像の明瞭性を改善することができる。
【０１０５】
図１２は、ビデオ会議端末機１００が集音範囲と画角を設定する際の処理を示すフローチャートである。この処理は、ＣＰＵ１０の主制御部１１０、カウント部１２０、集音範囲設定部１３０、及び画角設定部１４０によって実行される。
【０１０６】
まず、ビデオ会議端末機１００の電源が投入され、ビデオ会議を行うモードにされると、主制御部１１０は処理をスタートする。
【０１０７】
主制御部１１０は、発話を検知したかどうかを判定する（ステップＳ１）。主制御部１１０は、マイクアレイ１８から発話データが入力されたかどうかを判定することにより、発話を検知したかどうかを判定する。
【０１０８】
主制御部１１０は、発話を検知した（Ｓ１：ＹＥＳ）と判定すると、発話を検知したかどうかを判定する（ステップＳ２）。主制御部１１０は、マイクアレイ１８から方向データが入力されたかどうかを判定することにより、発話方向を検知したかどうかを判定する。
【０１０９】
カウント部１２０は、主制御部１１０が発話方向を検知した（Ｓ２：ＹＥＳ）と判定すると、発話方向が２個以上であるかどうか判定する（ステップＳ３）。すなわち、発話方向が複数であるかどうかを判定する。
【０１１０】
カウント部１２０は、ある所定の単位期間の間に方向データの数をカウントし、カウント値を参照することにより、発話方向が２個以上であるかどうか判定する。所定の単位期間は、例えば、１秒に設定すればよい。
【０１１１】
集音範囲設定部１３０は、カウント部１２０が発話方向が２個以上である（Ｓ３：ＹＥＳ）と判定すると、広範囲モードを実行する（ステップＳ４）。
【０１１２】
ステップＳ４では、基準点１００Ａから見て、複数の発話方向を含む集音範囲を演算処理によって求める。この結果、図７又は図８に示す集音範囲６０のように、すべての発話方向の範囲をカバーする扇形の集音範囲が求まる。
【０１１３】
集音範囲設定部１３０は、ステップＳ４で求めた集音範囲がＣＣＤビデオカメラ１６の最大画角に収まるかどうかを判定する（ステップＳ５）。最大画角を表すデータは、予めＲＯＭ１１に格納しておけばよい。最大画角は、ＣＣＤビデオカメラ１６の機種等によって決まる。
【０１１４】
なお、ステップＳ３でカウント部１２０が発話方向が２個以上ではない（Ｓ３：ＮＯ）と判定した場合は、集音範囲設定部１３０は、挟範囲モードを実行する（ステップＳ６）。この場合は、発話方向が１個の場合である。
【０１１５】
ステップＳ６では、１人用の狭い集音範囲を求める。例えば、１人用の狭い集音範囲を表すデータをＲＯＭ１１に格納しておき、集音範囲設定部１３０が読み出せばよい。この結果、図６に示す集音範囲６０のように、発話を行っている１人の参加者の範囲をカバーする扇形の集音範囲が求まる。
【０１１６】
なお、図４及び図５のように複数人が入る集音範囲を設定し、発話を行っている１人の参加者が中心に位置するようにしてもよい。
【０１１７】
また、ステップＳ５において、ステップＳ４で求めた集音範囲がＣＣＤビデオカメラ１６の最大画角に収まらない（Ｓ５）ＮＯ）と判定した場合は、集音範囲設定部１３０は、集音優先の処理を実行する（ステップＳ７）。
【０１１８】
集音優先の処理では、例えば、図１１に示すように、発話を行っている参加者５０Ａ、５０Ｂ、５０Ｄ、５０Ｇを含む範囲に集音範囲６０を設定するとともに、画角７０は最大画角θmaxに設定される。
【０１１９】
ステップＳ７では、集音範囲設定部１３０は、複数人が入る集音範囲を設定する。また、集音範囲設定部１３０は、画角設定部１４０に、声量が最も大きい参加者が画角の中心になるように中心方向を求めさせるとともに、画角７０を最大画角θmaxに設定するためのデータの準備を行わせる。
【０１２０】
集音範囲設定部１３０は、ステップＳ５、Ｓ６、又はＳ７が終了すると、フローをステップＳ８に進行し、マイクアレイ１８の指向方向を設定する（ステップＳ８）。
【０１２１】
集音範囲設定部１３０は、集音範囲がＣＣＤビデオカメラ１６の最大画角に収まる（Ｓ５：ＹＥＳ）と判定した後にステップＳ８に進んだ場合には、マイクアレイ１８の指向方向をステップＳ４で求めた集音範囲の中心方向に向ける。
【０１２２】
また、集音範囲設定部１３０は、挟範囲モード（Ｓ６）を実行した後にステップＳ８に進んだ場合には、マイクアレイ１８の指向方向をステップＳ６で求めた集音範囲の中心方向に向ける。
【０１２３】
また、集音範囲設定部１３０は、集音優先の処理（Ｓ７）を実行した後にステップＳ８に進んだ場合には、マイクアレイ１８の指向方向をステップＳ７で求めた集音範囲の中心方向に向ける。
【０１２４】
次いで、集音範囲設定部１３０は、マイクアレイ１８の集音範囲を設定する（ステップＳ９）。
【０１２５】
集音範囲設定部１３０は、集音範囲がＣＣＤビデオカメラ１６の最大画角に収まる（Ｓ５：ＹＥＳ）と判定した後にステップＳ９に進んだ場合には、マイクアレイ１８の集音範囲をステップＳ４で求めた集音範囲に設定する。より具体的には、マイクアレイ１８のビームフォーミング法による集音範囲をステップＳ４で求めた集音範囲に設定する。
【０１２６】
また、集音範囲設定部１３０は、挟範囲モード（Ｓ６）を実行した後にステップＳ９に進んだ場合には、マイクアレイ１８の指向方向をステップＳ６で求めた集音範囲に設定する。
【０１２７】
また、集音範囲設定部１３０は、集音優先の処理（Ｓ７）を実行した後にステップＳ９に進んだ場合には、マイクアレイ１８の指向方向をステップＳ７で求めた集音範囲に設定する。
【０１２８】
次いで、画角設定部１４０は、ＣＣＤビデオカメラ１６の画角の向きを中心方向に向ける（ステップＳ１０）。中心方向は、例えば、図１０に矢印６１で示す方向である。
【０１２９】
画角設定部１４０は、集音範囲がＣＣＤビデオカメラ１６の最大画角に収まる（Ｓ５：ＹＥＳ）と判定した後にステップＳ１０に進んだ場合には、ＣＣＤビデオカメラ１６の画角の中心の向きをステップＳ４で求めた集音範囲の中心方向に向ける。
【０１３０】
また、画角設定部１４０は、挟範囲モード（Ｓ６）を実行した後にステップＳ１０に進んだ場合には、ＣＣＤビデオカメラ１６の画角の中心の向きをステップＳ６で求めた集音範囲の中心方向に設定する。
【０１３１】
また、画角設定部１４０は、集音優先の処理（Ｓ７）を実行した後にステップＳ９に進んだ場合には、ＣＣＤビデオカメラ１６の画角の中心の向きをステップＳ７で求めた集音範囲の中心方向に設定する。
【０１３２】
次いで、画角設定部１４０は、ＣＣＤビデオカメラ１６の画角を集音範囲に応じて設定する（ステップＳ１１）。
【０１３３】
画角設定部１４０は、ステップＳ５で集音範囲がＣＣＤビデオカメラ１６の最大画角に収まる（Ｓ５：ＹＥＳ）と判定した後にステップＳ１１に進んだ場合には、ＣＣＤビデオカメラ１６の画角を集音範囲に合わせて設定する。
【０１３４】
この結果、画角設定部１４０は、ＣＣＤビデオカメラ１６が撮影するビデオ画像のうちの一部の画像を切り出す（抜粋する）。抜粋されたビデオ画像には、発話を行っている複数の参加者が含まれることになる。
【０１３５】
また、画角設定部１４０は、挟範囲モード（Ｓ６）を実行した後にステップＳ１１に進んだ場合には、ＣＣＤビデオカメラ１６の画角を集音範囲に合わせて設定する。
【０１３６】
この結果、画角設定部１４０は、ＣＣＤビデオカメラ１６が撮影するビデオ画像のうちの一部の画像を切り出す（抜粋する）。抜粋されたビデオ画像には、発話を行っている１人の参加者が含まれることになる。
【０１３７】
また、画角設定部１４０は、集音優先の処理（Ｓ７）を実行した後にステップＳ９に進んだ場合には、ＣＣＤビデオカメラ１６の画角を最大画角に設定する。
【０１３８】
この場合は、集音範囲よりも画角（最大画角）が小さいため、ビデオ画像は、発話を行っている複数の参加者のうち、最も声量が大きい参加者を含む画像になる。なお、この場合は、ビデオ画像の抜粋は行われず、最大画角で得られるビデオ画像のすべてが他のビデオ会議端末機１００のディスプレイ４０に表示される。
【０１３９】
このようなステップＳ１１の処理により、ディスプレイ４０に表示されるビデオ画像データが取得される。
【０１４０】
以上、実施の形態のビデオ会議端末機１００によれば、発話を行っている参加者の発話データと、集音範囲に合わせた画角のビデオ画像データとを取得することができる。
【０１４１】
発話データを取得する集音範囲と、ビデオ画像データを取得する画角とを合わせてある。また、集音範囲は、発話を行っている参加者を含み、発話を行っている参加者よりも外側の範囲が少なくなるように範囲を絞ってある。このため、ビデオ画像に含まれる参加者の発話以外の不要な音が含まれることが抑制される。
【０１４２】
従って、実施の形態によれば、音声付きのビデオ画像の明瞭性を改善したビデオ会議端末機１００を提供することができる。
【０１４３】
また、最大画角よりも集音範囲の方が大きい場合には、画角を最大画角に設定し、発話を行っている複数の参加者のうち、最も声量が大きい参加者をビデオ画像に含ませるため、発話を行っている複数の参加者のうちの主な発話を伝送することができる。
【０１４４】
従って、音声付きのビデオ画像の明瞭性を改善したビデオ会議端末機１００を提供することができる。
【０１４５】
以上、本発明の例示的な実施の形態のビデオ会議端末機について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【０１４６】
１００  ビデオ会議端末機
１０  ＣＰＵ
１１  ＲＯＭ
１２  ＲＡＭ
１６  ＣＣＤビデオカメラ
１８  マイクアレイ
４０  ディスプレイ
１１０  主制御部
１２０  カウント部
１３０  集音範囲設定部
１４０  画角設定部
【先行技術文献】
【特許文献】
【０１４７】
【特許文献１】特開平１０−１５５１０７号公報
【図１】
2017028608.tif 000003
【図２】
2017028608.tif 000004
【図３】
2017028608.tif 000005
【図４】
2017028608.tif 000006
【図５】
2017028608.tif 000007
【図６】
2017028608.tif 000008
【図７】
2017028608.tif 000009
【図８】
2017028608.tif 000010
【図９】
2017028608.tif 000011
【図１０】
2017028608.tif 000012
【図１１】
2017028608.tif 000013
【図１２】
2017028608.tif 000014