(57)【要約】【課題】テレビ会議装置やリモコンに手が届かない利用者にも操作可能なテレビ会議装置を提供する【解決手段】テレビ会議装置を利用する一又は複数の利用者の画像データを取得する撮像手段と、前記利用者の音声データを取得する音声入力手段と、前記画像データより前記利用者の顔の向き及び視線の方向のうち少なくとも一つを解析する解析手段と、前記解析手段の解析結果に基づいて前記利用者の前記テレビ会議装置の操作の意図を推定する推定手段と、を有し、前記推定手段の推定結果に基づいて前記操作を行う。【選択図】図３
2014175944.tif 000002
【特許請求の範囲】
【請求項１】
テレビ会議装置を利用する一又は複数の利用者の画像データを取得する撮像手段と、
前記利用者の音声データを取得する音声入力手段と、
前記画像データより前記利用者の顔の向き及び視線の方向のうち少なくとも一つを解析する解析手段と、
前記解析手段の解析結果に基づいて前記利用者の前記テレビ会議装置の操作の意図を推定する推定手段と、を有し、
前記推定手段の推定結果に基づいて前記操作を行うテレビ会議装置。
【請求項２】
前記推定手段は、前記利用者のうち少なくとも一人の顔の向き又は視線の方向が前記撮像手段の方向を向いている場合には前記テレビ会議装置の操作を意図していると推定する請求項１に記載のテレビ会議装置。
【請求項３】
前記撮像手段に対する顔の位置と、前記顔の位置において前記撮像手段を見たときの前記顔の向き又は視線の方向との関係を示すテーブルを有し、前記利用者のうちの少なくとも一人の顔の向き又は視線の方向が、当該テーブルに含まれる顔の向き又は視線の方向である場合には、前記テレビ会議装置の操作を意図していると推定する請求項１又は２に記載のテレビ会議装置。
【請求項４】
前記撮像手段と前記利用者との距離に応じた複数の前記テーブルを有する請求項３に記載のテレビ会議装置。
【請求項５】
前記撮像手段による撮像方向と前記利用者との角度に応じた複数の前記テーブルを有する請求項３又は４に記載のテレビ会議装置。
【請求項６】
前記テレビ会議装置の操作の意図が、音声による前記テレビ会議装置の操作である請求項１乃至５のいずれか一に記載のテレビ会議装置。
【請求項７】
前記推定手段は、前記利用者のうちの少なくとも一人の顔の向き又は視線の方向が、前記撮像手段の方向に対して予め定められた範囲内にない場合に、前記音声入力手段から取得した音声の音量制御を意図していると推定する請求項１乃至６のいずれか一に記載のテレビ会議装置。
【請求項８】
前記利用者のうちの少なくとも一人の顔の向き又は視線の方向と、前記音声入力手段からの音声入力レベルに基づいて、前記音声入力手段から取得した音声の音量制御を行う請求項７に記載のテレビ会議装置。
【請求項９】
テレビ会議装置の一又は複数の利用者の画像データを取得するステップと、
前記画像データより前記利用者のそれぞれについて顔の向き及び視線のうち少なくとも一つを解析するステップと、
前記解析手段の解析結果に基づいて前記利用者それぞれの前記テレビ会議装置の操作の意図を推定するステップと、
前記推定手段の推定結果に基づいて前記操作を行うステップと、
を有するテレビ会議装置の制御方法。
【請求項１０】
コンピュータに、
テレビ会議装置の一又は複数の利用者の画像データを取得する手順と、
前記画像データより前記利用者のそれぞれについて顔の向き及び視線のうち少なくとも一つを解析する手順と、
前記解析手段の解析結果に基づいて前記利用者それぞれの前記テレビ会議装置の操作の意図を推定する手順と、
前記推定手段の推定結果に基づいて前記操作を行う手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議装置、テレビ会議装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
インターネット等の通信ネットワークを介して、遠隔地等と会議を行うテレビ会議システムが知られている。このようなテレビ会議システムでは、１つのテレビ会議装置を複数の利用者で利用することが想定されており、一部の利用者はテレビ会議装置やリモコンに手が届かない場所に位置する場合がある。従来は、このようにテレビ会議装置やリモコンに手が届かない利用者はテレビ会議装置の操作が困難であった。
【０００３】
また、音声認識によりテレビ会議装置の操作を行なう場合には、テレビ会議中の発言等により誤操作の恐れがあった。特許文献１には、音声認識開始スイッチを操作したときにのみ、音声制御が可能な音声認識電気機器が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示の技術では、テレビ会議装置やリモコンから離れた利用者が操作できないという従来技術の問題点を解決できない。
本発明の実施の形態は、上記問題点を鑑みてなされたものであって、テレビ会議装置やリモコンに手が届かない利用者にも操作可能なテレビ会議装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本願請求項１は、テレビ会議装置を利用する一又は複数の利用者の画像データを取得する撮像手段と、前記利用者の音声データを取得する音声入力手段と、前記画像データより前記利用者の顔の向き及び視線の方向のうち少なくとも一つを解析する解析手段と、前記解析手段の解析結果に基づいて前記利用者の前記テレビ会議装置の操作の意図を推定する推定手段と、を有し、前記推定手段の推定結果に基づいて前記操作を行う。
【発明の効果】
【０００６】
本実施の形態によれば、テレビ会議装置やリモコンに手が届かない利用者にも操作可能なテレビ会議装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係るテレビ会議システムの構成例を示す図である。
【図２】一実施の形態に係るテレビ会議装置のハードウェア構成図である。
【図３】一実施の形態に係るテレビ会議装置の機能構成図である。
【図４】一実施の形態に係るテレビ会議装置の配置の例を示す図である。
【図５】第１の実施の形態に係るフローチャートである。
【図６】第１の実施の形態に係る画像処理のフローチャートである。
【図７】第１の実施の形態に係る近距離用のテーブルのイメージを示す図である。
【図８】第１の実施の形態に係る遠距離用のテーブルのイメージを示す図である。
【図９】第１の実施の形態に係る中距離用のテーブルのイメージを示す図である。
【図１０】第１の実施の形態に係る撮像手段が取得した画像のイメージを示す図である。
【図１１】第１の実施の形態に係る角度に応じたテーブルのイメージを示す図である。
【図１２】第1の実施の形態に係る音声認識手段のフローチャートである。
【図１３】第1の実施の形態に係る音声認識手段の機能構成図である。
【図１４】第２の実施の形態に係るフローチャートである。
【図１５】その他の実施の形態に係るテレビ会議装置の配置の例を示す図である。
【発明を実施するための形態】
【０００８】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
＜システムの構成＞
図１は、本発明の一実施形態に係るテレビ会議システム１００の構成例を示す図である。テレビ会議システム１００は、ネットワーク１０４に接続されたテレビ会議装置１０１、１０２、１０３及びサーバ１０５を備える。サーバ１０５は、例えば、テレビ会議装置１０１からの映像や音声のデータを受信し、所望のテレビ会議装置、例えばテレビ会議装置１０２、１０３等に送信する役割を担う。また、この時に、サーバ１０５がテレビ会議装置１０１〜１０３から得られたデータをエンコードしたり、テレビ会議装置１０１〜１０３から得られたエンコードされたデータをデコードしたりする機能を備えていても良い。尚、図１の構成は一例であって、テレビ会議システムを構成するテレビ会議装置の数は２つ以上の任意の数であって良い。さらに、サーバ１０５を介さずに、テレビ会議装置同士をつなげるピアツーピアの接続環境でも良い。
【０００９】
テレビ会議装置１０１、１０２、１０３は、例えば、サーバ１０５を介して、テレビ会議装置間で通信を行い、画像や音声を送受信できる。これにより、テレビ会議装置１０１の利用者は、テレビ会議装置１０２や１０３の利用者と、リアルタイムに送受信される画像や音声を介してテレビ会議を行うことができる。
＜装置の構成＞
（ハードウェア構成）
図２に本実施の形態に係るテレビ会議装置１０１のハードウェア構成の例を示す。尚、テレビ会議システム１００を構成する他のテレビ会議装置１０２及び１０３は、必ずしも同じ構成である必要はない。
【００１０】
テレビ会議装置１０１は、コンピュータ等で構成されるテレビ会議装置本体２００、表示装置２１０、１つ又は複数のマイク２１２を備える。また、テレビ会議装置本体２００は、ＣＰＵ（Central Processing Unit）２０１、メモリ２０２、制御部２０３、画像処理部２０４、音声処理部２０５、ネットワークインタフェース（以下、ネットワークＩ／Ｆと称す）２０６、撮像素子インタフェース（以下、撮像素子Ｉ／Ｆと称す）２０７、カメラ２０８、画像出力インタフェース（以下、画像出力Ｉ／Ｆと称す）２０９、音声入出力インタフェース（以下、音声入出力Ｉ／Ｆと称す）２１４、スピーカ２１３、システムバス２１４を備える。尚、上記構成はあくまでも一例であって、本発明の範囲を限定するものではない。例えば、カメラ２０８やスピーカ２１３はテレビ会議装置本体２００とは別に設けられていても良いし、また表示装置２１０に内蔵されていても良い。また、テレビ会議装置本体２００が複数のマイク２１２の少なくとも１つを有していても良い。さらに、撮像素子Ｉ／Ｆ２０７は画像処理部２０４に含まれていても良いし、音声入出力Ｉ／Ｆ２１４は音声処理部２０５に含まれていても良い。
【００１１】
ＣＰＵ２０１は、例えばメモリ２０２からプログラムやデータを読み出し、処理を実行することで、テレビ会議装置１０１が備える各機能を実現する演算装置である。メモリ２０２は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等の記憶部である。メモリ２０２は、ＣＰＵ２０１により実行される様々な処理に必要とされる各種ソフトウエアやデータ、画像データ、音声データ等を格納する。
【００１２】
制御部２０３は、テレビ会議装置１０１全体の制御を行う。画像処理部２０４は、画像データ又は画像信号に対して各種画像処理を行う。音声処理部２０５は、音声データ又は音声信号に対して各種音声処理を行う。尚、画像処理部２０４、音声処理部２０５は、ＤＳＰ（Digital Signal Processor）等のプロセッサを含んでいても良い。ネットワークＩ／Ｆ２０６は、テレビ会議装置１０１をネットワーク１０４に接続するためのインタフェースで、ネットワーク１０４を介して、他のテレビ会議装置１０２、１０３等とデータの送受信を行う。
【００１３】
撮像素子Ｉ／Ｆ２０７は、撮像用のカメラ２０８から出力される画像信号を所定の画像データとして取り込むインタフェースである。表示装置２１０は、例えば、ＬＣＤ（Liquid Crystal Display）モニタや、プロジェクタ等の表示装置である。表示装置２１０は、音声出力用のスピーカ２１３を備えていても良い。画像出力Ｉ／Ｆ２０９は、表示装置２１０に通信先の画像や、メニュー画面、設定画面等の各種画像を出力するインタフェースである。  
音声入出力Ｉ／Ｆ２１１は、音声入力用のマイク２１２を介して入力された音声信号を所定の音声データとして取り込む。また、出力する音声データをスピーカ２１３で再生可能な音声信号に変換する。システムバス２１４は、アドレスバス、データバス及び各種制御信号を伝達する。
（機能構成）
図３は、本実施の形態におけるテレビ会議装置１０１の機能構成を示す図である。テレビ会議装置１０１は、撮像手段３０１、解析手段３０２、推定手段３０３、制御手段３０４、音声入力手段３０５、音声出力手段３０６、音声認識手段３０７、音量制御手段３０８を有する。
【００１４】
撮像手段３０１は、テレビ会議装置１０１の利用者等の画像データを取得する手段で、例えば、図２のカメラ２０８等を含む。解析手段３０２は、撮像手段３０１が取得した画像データ又は画像信号の画像処理を行い、テレビ会議装置１０１の利用者のそれぞれについて、顔の向き又は視線のうち少なくとも一つを解析する。推定手段３０３は、解析手段３０２の解析結果に基づいて、各利用者のテレビ会議装置１０１への操作の意図を推定する。解析手段３０２及び推定手段３０３は、例えば、図２の画像処理部２０４に含まれる。また、解析手段３０２及び推定手段３０３は、ＣＰＵ２０１等で動作するプログラムによって各機能が実現されるものであっても良い。
【００１５】
制御手段３０４は、推定手段３０３の推定結果に基づいて、テレビ会議装置１０１の制御を行う手段で、例えば、図２の制御部２０３やＣＰＵ２０１で動作するプログラム等を含む。尚、必要に応じて、例えば、推定手段３０３等が、制御手段３０４を介さずに、音声認識手段３０７等を制御しても良い。音声入力手段３０５は、テレビ会議装置１０１の利用者等の音声データを取得する手段で、例えば、図２のマイク２１２を含む。音声認識手段３０７は、音声入力手段３０５が取得した音声データ又は音声信号の音声処理を行い、音声データ又は音声信号を予め登録された単語パターン及び制御内容と比較し、制御内容を認識する。音声認識手段３０７は、例えば、図２の音声処理部２０５に含まれる。或いは、ＣＰＵ２０１等で動作するプログラムによって機能が実現されるものであっても良い。
【００１６】
音声出力手段３０６は、テレビ会議装置１０１の音声出力を行う手段で、例えば、図２のスピーカ２１３を含む。音量制御手段３０８は、制御手段３０４や音声認識手段３０７等の制御により、音声出力手段３０６から出力される音量や、音声入力手段３０５から入力される音声のレベルを調整する。音量制御手段３０８は、例えば、図２の音声入出力Ｉ／Ｆ２１１や音声処理部２０５等に含まれる。
【００１７】
次に、テレビ会議装置１０１を使用する際の各部の配置の一例を図４に示す。会議テーブル４０６の上に、図４に示す通り、カメラ２０８を備えたテレビ会議装置本体２００、表示装置２１０、複数のマイク２１２ａ、２１２ｂが配置されている。また、会議テーブル４０６の周りには、利用者４０１、４０２、４０３、４０４が、表示装置２１０及びカメラ２０８が見える位置に座っているものとする。さらに、テレビ会議装置１０１は、テレビ会議装置１０１を操作するためのリモコン４０５をさらに有していても良い。
【００１８】
テレビ会議装置１０１は、カメラ２０８に対する各利用者の顔の向き又は視線の方向に基づいて、各利用者の操作の意図を推定する。例えば、利用者の顔の向き又は視線がカメラ２０８の方向を向いている場合には、利用者が音声によるテレビ会議装置１０１の操作を意図していると判断する。このとき、テレビ会議装置１０１は、音声認識処理を開始させ、その認識結果に対応するテレビ会議装置１０１の制御を行う。
【００１９】
以上の構成により、例えば図４において、テレビ会議装置本体２００やリモコン４０５から離れた利用者４０１、４０３においても、カメラ２０８に向かって指示することにより、テレビ会議装置１０１の音声による操作を行うことができる。
＜動作の説明＞
次に、本実施の形態に係るテレビ会議装置１０１の動作について説明する。
［第１の実施の形態］
図５に、第１の実施の形態に係るフローチャートを示す。テレビ会議装置１０１は、撮像手段３０１により一又は複数の利用者の画像データを取得する。（ステップＳ５０１）次に、解析手段３０２は、この画像データより、各利用者について、顔の向き及び視線のうち少なくとも一つを解析する。（ステップＳ５０２）
尚、各利用者の顔の向きや視線の方向の解析は、一般的な顔認識技術や視線解析技術によるもので良い。ここでは、顔認識技術や視線解析技術の一例について、概要のみ説明する。まず、利用者の顔の向きについては、撮像手段３０１が取得した画像データより、例えば、パターン認識の技術を応用して、各利用者の顔、目、鼻、口、等の構成要素を抽出し、抽出された構成要素の位置関係から顔の向きを判断する。或いは、目の位置関係や角度から顔の向きを算出しても良い。また、視線の解析については、例えば、上記各利用者の虹彩の位置を検出し、各利用者の目、鼻、口等の構成要素から虹彩までの距離と、上記顔の向きとにより、各利用者の視線を解析する。
【００２０】
尚、これらの方法は、あくまでも一例であって、本発明の範囲を限定するものではない。他の方法によって、各利用者の顔の向きや視線の方向を検出するものであっても良い。
【００２１】
次に、推定手段３０３は、解析手段３０２の解析結果に基づいて、各利用者の操作の意図を推定する。例えば、図４において、各利用者は、テレビ会議中は通常、表示装置２１０を見ている。つまり、テレビ会議中、各利用者は表示装置２１０に表示された相手方や、提示された資料等を確認するため、表示装置２１０に視線が向いている。この状況で、利用者のいずれかが、カメラ２０８又はテレビ会議装置本体２００に視線を向け、発声した場合、それは通信先のテレビ会議参加者への発言ではなく、テレビ会議装置１０１の操作を意図していると考えられる。従って、本実施の形態では、推定手段３０３は、カメラ２０８に対する各利用者の顔の向き又は視線の方向がカメラ２０８やテレビ会議装置本体２００の方向を向いているかどうかを判定する。（ステップＳ５０３）利用者のうちの少なくとも一人の顔の向き又は視線の方向がカメラ２０８やテレビ会議装置本体２００の方向を向いている場合には、推定手段３０３は、利用者が音声認識によるテレビ会議装置１０１の操作を意図していると判断する。
【００２２】
また、より好適な例として、利用者の顔の向き又は視線の方向が、所定の時間（例えば、５秒）を越えてカメラ２０８やテレビ会議装置本体２００の方向を向いている場合に、利用者が音声認識による操作を意図していると判断しても良い。これにより、利用者がたまたまカメラ２０８やテレビ会議装置本体２００を見てしまったときに、誤って音声認識処理が開始してしまうことを防止することができる。
【００２３】
推定手段３０３が、利用者の顔の向き又は視線の向きがカメラ２０８の方向を向いていると判断した場合、音声認識手段３０７は、音声入力手段３０５で取得した音声データの音声認識処理を行う。（ステップＳ５０４）その後、音声認識処理の結果に基づいて、テレビ会議装置１０１の制御を行う。（ステップＳ５０５）尚、音声処理については、後述する。
【００２４】
また、好適な例として、音声認識手段３０７が音声認識処理を行っている間、各ユーザに表示、音声メッセージ、効果音等によってその旨を通知する手段を有すると良い。これにより、各ユーザは、テレビ会議装置１０１が音声認識処理を行っていることが判るので、誤操作を招くような発言を控えることができる。一方、推定手段３０３が、利用者の顔の向き又は視線の方向がカメラ２０８又は撮像手段３０１の方向と一致しないと判断した場合には、ステップＳ５０１に戻り、再度、ステップＳ５０１〜Ｓ５０３の処理を行う。
【００２５】
以上の動作により、各利用者はテレビ会議装置１０１やリモコン４０５の操作を行うことなく、音声制御によるテレビ会議装置１０１の操作を行えるようになる。
（画像処理）
ここで、解析手段３０２及び推定手段３０３の画像処理の一例について、具体的な例をあげて説明する。図６は、解析手段３０２及び推定手段３０３の画像処理の動作の一例を示すフローチャートである。解析手段３０２は、撮像手段３０１が取得した画像データに人の顔が検出されると、その利用者の顔方向を取得する。（ステップＳ６０１）また、同時に撮像範囲に占める顔の面積の割合から、撮像手段３０１と利用者との距離を取得する。（ステップＳ６０２）さらに、必要に応じて、カメラ２０８と利用者又は、カメラ２０８とテレビ会議装置本体２００との角度を取得する。（ステップＳ６０３）
次に、取得された使用者との距離と、カメラ２０８と利用者又はテレビ会議装置本体２００との角度から、推定手段３０３は、カメラ２０８に対する顔の位置と、その顔の位置においてカメラ２０８の方向を向いた場合の顔の方向である参照用顔方向との関係を示す複数のテーブルの中から、使用するテーブルを選択する。（Ｓ６０４）
ここで、上記テーブルについて説明する。図７に近距離用のテーブルのイメージを示す。４つのマス目は、カメラ２０８で取得した画像における顔の位置に対応している。また、マス目毎に、顔がカメラ２０８の方向を向いた場合の顔の方向を示す参照用顔方向のデータが格納されている。従って、例えば、カメラ２０８で取得した画像の左上に映っている人物の顔の方向と、図７のＡ列１行目のマス目の参照用顔方向が一致した場合には、その人物は、カメラ２０８の方向を向いていると判断できる。
【００２６】
尚、カメラ２０８と利用者との距離に応じて、撮像範囲に占める顔の面積の割合は異なる。例えば、カメラ２０８と利用との距離が離れている場合には、撮像範囲に占める顔の面積の割合は小さくなるので、図８に示すように、マス目の小さい遠距離用のテーブルを使用する。一方、カメラ２０８と利用者との距離が近くなり、遠距離用テーブルのマス目に顔が収まらない場合には、図９に示す中距離用のテーブル又は図８の近距離用のテーブルを選択する。
【００２７】
例えば、撮像手段３０１で取得した画像データが図１０のようであったとする。ここで、左前に映っている人物の顔の向きを判定する場合には、顔の面積から、図９の中距離用のテーブルを選択すると良い。この場合、顔の位置は、図９の中距離用テーブルのＡ列、２行目に該当するので、当該テーブルから対応する参照用顔方向を取得することができる。この参照用顔方向と、図１０の左前に映っている人物の顔の方向が一致した場合には、この人物はカメラ２０８の方向を向いていると判断できる。
【００２８】
また、画像データの顔の位置と、カメラ２０８の方向を向いたときの顔の向きは、利用者とカメラ２０８との角度によっても変わってくる。例えば、カメラ２０８が利用者に対して斜め方向に設置されている場合には、例えば、図１１に示すように、利用者がカメラ２０８を見たときの顔の方向が変わってくると考えられる。そのため、利用者とカメラ２０８の角度に応じて、複数のテーブルを用意しておくと良い。
【００２９】
尚、利用者とカメラ２０８との角度については、テレビ会議装置１０１が特定の会議室に常時設置されている場合には、設置時に設定を行うものであっても良い。また、テレビ会議装置本体２００の位置が固定で、テレビ会議装置本体２００とカメラ２０８との角度が変更できる場合には、テレビ会議装置本体２００とカメラ２０８との角度に基づいて求めても良い。または、テレビ会議開始時に、一人又は複数の利用者がカメラ２０８の方向を向いて、設定操作を行うことにより、最適なテーブルを選択するものであっても良い。さらに、テレビが会議中に利用者が表示装置２１０を見ているときの顔の方向に基づいて、解析手段３０２が算出するものであっても良い。
【００３０】
尚、画像データ上の顔がテーブルの複数のエリアに跨る場合も有り得るが、その場合は、例えば顔の中心が納まるエリアに顔が有るものとして処理すれば良い
ここで図６に戻ってフローチャートの説明を続ける。ステップＳ６０４において、推定手段３０３は、使用するテーブルを選択した後、上記テーブルより、顔位置に対応するカメラ２０８の方向を見ている場合の顔方向の情報である参照用顔方向を決定する。（ステップＳ６０５）次に、利用者の顔方向と、参照用顔方向が一致するかどうかを比較する。（ステップＳ６０６）尚、ここで「一致する」とは、完全に１００％一致している場合だけではなく、その差が所定の範囲内であり、実質的に同じ方向を向いていると判断できる場合を含む。
【００３１】
ここで、利用者の顔方向と、参照用顔方向が一致した場合には、音声認識処理を開始する。（Ｓ６０７）一方、利用者の顔方向と、参照用顔方向が一致しない場合には、ステップＳ６０１に戻って再度処理を行う。
【００３２】
以上、図６の画像処理によれば、利用者の視線解析を行わずに、顔方向の解析だけで、処理を行うことができる。尚、上記動作はあくまでも一例であって、本発明の範囲を限定するものではない。例えば、カメラ２０８と利用者との角度に応じた複数のテーブルを予め用意する代わりに、基準となるテーブルに基づいて、角度に応じたテーブルを算出するものであっても良い。または、距離、角度に応じた複数のテーブルを有する変わりに、例えば、会議開始時に、各利用者がカメラ２０８の方向を向いて、所定の操作を行うことにより、新たにテーブルを作成するものであっても良い。
（音声処理）
次に、音声認識手段３０７の音声認識処理について、具体的な例をあげて説明する。図１２に、第1の実施の形態における音声認識処理のフローチャートを示す。また、図１３に、音声認識手段３０７の機能構成を示す。図１３において、音声認識手段３０７は、音響分析手段１３０１、単語認識手段１３０２、制御認識手段１３０３、単語パターン記憶手段１３０４、単語−制御信号対応記憶手段１３０５を有している。音響分析手段１３０１は、音声入力手段３０５で取得された音声データ又は音声信号の音響解析を行う。（図１２のステップ１２０１及びステップＳ１２０２）音響分析手段１３０１で解析された音声データ又は音声信号は、単語認識手段１３０２において、単語パターン記憶手段１３０４に記憶された単語パターンと照合される。（図１２のステップＳ１２０３）
音響分析手段１３０１で解析された音声データ又は音声信号が単語パターン記憶手段１３０４に記憶された単語パターンと一致すると、その一致した単語情報が制御認識手段１３０３に入力される。制御認識手段１３０３は、単語−制御信号対応記憶手段１３０５に記憶された、単語情報と制御内容の組み合わせの情報に基づいて、入力された単語情報に対応する制御内容を判断又は実行する。上記構成により、音声認識手段３０７は、音声入力手段３０５から入力された音声データ又は音声信号を解析し、入力された音声データ又は音声信号に対応する制御内容の有無を判断し、対応する制御内容がある場合には、入力された音声データに対応する制御内容に対応する制御信号を送出する。（図１２のステップＳ１２０４）
上記動作により、音声入力手段３０５から入力された音声が、予め登録された音声データと一致した場合に、音声によるテレビ会議装置１０１の操作が行われる。
【００３３】
以上、本実施の形態によれば、テレビ会議装置本体２００やリモコン４０５に手が届かない利用者が、テレビ会議装置１０１の操作を行えるようになる。また、操作が必要なときに、カメラ２０８やカメラ２０８を備えたテレビ会議装置本体２００の方向を向くことにより音声認識処理を起動できるので、テレビ会議中の発言等により、意図しない操作が行われることを効果的に防止できる。さらに、音声認識手段３０７が音声認識処理を行っている間、その旨を利用者に通知する手段を設けることによって、会議中の発言等による誤動作をより効果的に防止できる。
【００３４】
尚、上記構成は、あくまでも一例であって、本発明の範囲を限定するものではない。例えば、図１３の単語パターン記憶手段１３０４及び単語−制御信号対応記憶手段１３０５は、図２のメモリ２０２上に有していても良いし、クラウド上（例えば、インターネット等のネットワーク上にあるサーバ）に有していても良い。また、図１２のステップＳ１２０４において、制御認識手段１３０３が制御信号を送出する代わりに、図３の制御手段３０４がテレビ会議装置１０１の制御を行っても良い。
［第２の実施の形態］
次に、第２の実施の形態について説明する。
図４において、例えば、利用者４０２が利用者４０１に向かって話をしている場合には、通信先のテレビ会議装置の利用者に話しかける意図はなく、利用者４０１にのみ話をしたい内容を話していることが考えられる。従来は、このような場合、利用者４０２が小さな声で話をしていても、マイク２１２ａのゲインが自動的に上がることにより、通信先のテレビ会議利用者に、意図せず会話内容が伝わってしまうことがあった。本実施の形態は、このような問題に対応するものである。
【００３５】
図１４に、本実施の形態に係るフローチャートを示す。図５で示したステップＳ５０１からステップＳ５０５の動作は第１の実施の形態と同じである。ここでは、第１の実施の形態と異なる点を中心に説明する。
【００３６】
ステップＳ５０３において、利用者の顔の向き又は視線の方向が撮像手段３０１の方向と一致しないと判断された場合、利用者の顔の向き又は視線の方向が撮像手段３０１の方向に対して、予め定められた範囲内にあるかどうかを判断する。（ステップＳ１４０１）
利用者のうちの少なくとも一人の顔の向き又は視線の方向が撮像手段３０１の方向に対して、予め定められた範囲内にない場合には、利用者がマイク２１２ａ及びマイク２１２ｂの音量の調整を意図していると判断し、マイク２１２ａ及びマイク２１２ｂの音量の自動調整を行う。（ステップＳ１４０２）
具体的には、テレビ会議装置１０１は、マイク２１２ａ及びマイク２１２ｂからの音声入力レベルに基づいて、通信先のテレビ会議装置１０２、１０３へ送出する音声信号の音量を調整する。
【００３７】
例えば、マイク２１２ａから予め定められた値よりも大きい音声入力レベルがある場合には、通信先のテレビ会議装置利用者への発言と考えられるので、通信先への音量の調整は行わない。一方、マイク２１２ａから予め定められた値よりも小さい音声信号の入力が有る場合には、通信先のテレビ会議装置利用者への発言ではないと判断し、通信先への音声信号の音量を下げる又は消音する。また、マイクａから音声入力が無い場合には、利用者が単に別の方向を見ただけと判断し、通信先への音声の調整は行わなくても良い。
【００３８】
マイク２１２ｂについても、同様に制御を行う。これにより、声の小さい会話は通信先の利用者には届かず、声が大きい通信先への発言等は、通常通り通信先の利用者に届けることができる。
【００３９】
一方、ステップＳ１４０１において、利用者の顔の向き又は視線の方向が撮像手段３０１の方向に対して、予め定められた範囲内にある場合には、ステップＳ５０１に戻り処理を継続する。
【００４０】
尚、ステップＳ１４０１の「予め定められた範囲」については、システムや利用者の要求に応じて任意に設定可能である。例えば、推定手段３０３によって、利用者の両目が検出可能な範囲を上記予め定められた範囲としても良い。また、推定手段３０３によって、利用者の顔の向き又は視線の方向が検出できた場合に、顔の向き又は視線の方向が上記予め定められた範囲内にあると判断しても良い。或いは、推定手段３０３が、利用者がカメラ２０８に対して所定の角度を越えて横を向いたと判断した場合に、上記予め定められた範囲内にないと判断しても良い。
【００４１】
以上、本実施の形態によれば、利用者が小さな声で話をしている場合に、通信先のテレビ会議装置利用者に意図せず会話内容が伝わることを低減できる。
［その他の実施の形態］
各利用者の画像データを取得するカメラ２０８として、従来のテレビ会議装置が備えるようなテレビ会議参加者撮影用のカメラを利用可能である。しかし、上記テレビ会議参加者用のカメラとは別に、カメラ２０８を備えても良い（例えば、図１４のカメラ２０８）。この場合、この場合、カメラ２０８が取得した画像データは、通信先等に表示されないので、カメラ２０８のレンズとして、例えば魚眼レンズやパノラマ用３６０度レンズを採用することができる。
【符号の説明】
【００４２】
１０１    テレビ会議装置
２００    テレビ会議装置本体
２１０    表示装置
２１２、２１２ａ、２１２ｂ    マイク
２０８    カメラ
３０１    撮像手段
３０２    解析手段
３０３    推定手段
３０５    音声入力手段
３０７    音声認識手段
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開平１１−２０２８９２号公報
【図１】
2014175944.tif 000003
【図２】
2014175944.tif 000004
【図３】
2014175944.tif 000005
【図４】
2014175944.tif 000006
【図５】
2014175944.tif 000007
【図６】
2014175944.tif 000008
【図７】
2014175944.tif 000009
【図８】
2014175944.tif 000010
【図９】
2014175944.tif 000011
【図１０】
2014175944.tif 000012
【図１１】
2014175944.tif 000013
【図１２】
2014175944.tif 000014
【図１３】
2014175944.tif 000015
【図１４】
2014175944.tif 000016
【図１５】
2014175944.tif 000017