(57)【要約】【課題】手話により発話を行うユーザを含む複数のユーザ各々の端末装置間で通信を行う会議において、発話者による発話を支援することできる、通信制御装置、通信制御システム、通信制御方法、及び通信制御プログラムを提供する。【解決手段】ユーザを撮像した映像信号及び音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置１２のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した映像信号及び第１所定条件に基づいて判定した第１判定結果が話者選択処理部３９に入力される。複数の端末装置１２のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した音声信号及び第２所定条件に基づいて判定した第２判定結果が話者選択処理部３９に入力される。話者選択処理部３９は、入力された第１判定結果及第２判定結果に基づいて、所定の時間毎に、話者の端末装置１２を選択する。【選択図】図１
2018033114.tif 000002
【特許請求の範囲】
【請求項１】
ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した前記映像信号及び第１所定条件に基づいて判定した第１判定結果が入力される第１入力部と、
前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力される第２入力部と、
前記第１入力部に入力された前記第１判定結果及び前記第２入力部に入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択する選択部と、
を備えた通信制御装置。
【請求項２】
前記複数の端末装置のうちの前記映像信号を送信する端末装置から前記映像信号を受信する映像受信部と、
前記複数の端末装置のうちの前記音声信号を送信する端末装置から前記映像信号を受信する音声受信部と、
前記選択部の選択結果に基づいて、前記映像受信部が受信した映像信号及び前記音声受信部が受信した音声信号を用いて、前記複数の端末装置の各々に送信する映像情報および音声情報の少なくとも一方を生成して、前記複数の端末装置の各々に出力する生成部をさらに備えた、
請求項１に記載の通信制御装置。
【請求項３】
ユーザを撮像した前記映像信号が表す画像における、手話動作を判定するためのユーザの動作を検出した検出結果を出力する検出部と、
前記検出部が出力した検出結果と前記第１所定条件とに基づいて判定した第１判定結果を出力する第１判定部と、
をさらに備えた、
請求項１または請求項２に記載の通信制御装置。
【請求項４】
ユーザを撮像した前記映像信号が表す画像における、手話動作に関するユーザの動作を検出した検出結果を、前記ユーザを撮像した端末装置から受信し、受信した検出結果と前記第１所定条件とに基づいて判定した第１判定結果を出力する第１判定部をさらに備える、
請求項１または請求項２に記載の通信制御装置。
【請求項５】
前記第１入力部には、ユーザを撮像した前記映像信号が表す画像における、手話動作に関するユーザの動作を検出した検出結果と前記第１所定条件とに基づいて判定した第１判定結果が、前記ユーザを撮像した端末装置から入力される、
請求項１または請求項２に記載の通信制御装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の通信制御装置と、
ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を前記通信制御装置に送信する複数の端末装置と、
を備えた通信制御システム。
【請求項７】
通信制御装置における通信制御方法であって、
前記通信制御装置は、
ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した前記映像信号及び第１所定条件に基づいて判定した第１判定結果が入力される第１入力ステップと、
前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力される第２入力ステップと、
前記第１入力ステップにおいて入力された前記第１判定結果及び前記第１入力ステップにおいて入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択する選択ステップと、
を備えた通信制御方法。
【請求項８】
コンピュータを、
ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した前記映像信号及び第１所定条件に基づいて判定した第１判定結果が入力される第１入力部と、
前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力される第２入力部と、
前記第１入力部に入力された前記第１判定結果及び前記第２入力部に入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択する選択部と、
して機能させるための通信制御プログラム。
【請求項９】
前記コンピュータを、さらに、
前記複数の端末装置のうちの前記映像信号を送信する端末装置から前記映像信号を受信する映像受信部と、
前記複数の端末装置のうちの前記音声信号を送信する端末装置から前記映像信号を受信する音声受信部と、
前記選択部の選択結果に基づいて、前記映像受信部が受信した映像信号及び前記音声受信部が受信した音声信号を用いて、前記複数の端末装置の各々に送信する映像情報および音声情報の少なくとも一方を生成して、前記複数の端末装置の各々に出力する生成部と、
して機能させるための請求項８に記載の通信制御プログラム。
【請求項１０】
前記コンピュータを、さらに、
ユーザを撮像した前記映像信号が表す画像における、手話動作を判定するためのユーザの動作を検出した検出結果を出力する検出部と、
前記検出部が出力した検出結果と前記第１所定条件とに基づいて判定した第１判定結果を出力する第１判定部と、
して機能させるための請求項８または請求項９に記載の通信制御プログラム。
【請求項１１】
前記コンピュータを、さらに、
ユーザを撮像した前記映像信号が表す画像における、手話動作に関するユーザの動作を検出した検出結果を、前記ユーザを撮像した端末装置から受信し、受信した検出結果と前記第１所定条件とに基づいて判定した第１判定結果を出力する第１判定部と、
して機能させるための請求項８または請求項９に記載の通信制御プログラム。
【請求項１２】
前記第１入力部には、ユーザを撮像した前記映像信号が表す画像における、手話動作に関するユーザの動作を検出した検出結果と前記第１所定条件とに基づいて判定した第１判定結果が、前記ユーザを撮像した端末装置から入力される、
して機能させるための請求項８または請求項９に記載の通信制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信制御装置、通信制御システム、通信制御方法、及び通信制御プログラムに関するものである。
【背景技術】
【０００２】
一般に、複数のユーザの各々が使用する端末装置をＭＣＵ（Multipoint Control Unit）等の通信制御装置を介して接続することにより、ユーザ（端末装置）間で会議等を行う、いわゆるテレビ会議やビデオ会議と呼ばれるシステムが知られている。
【０００３】
一般的に、従来のビデオ会議システムで２つの端末装置を接続して会議を行う場合、各端末装置では互いに相手の端末装置で撮像された映像をリアルタイムに各端末装置の表示装置に表示する。そして、３つ以上の端末装置を接続して会議を行う場合では、いずれかの端末装置で撮像された映像を各端末装置に表示する表示方法、または同時に全ての端末装置（ユーザ）の様子を見るために画面分割を行い全ての端末装置で撮像された映像を各端末装置に表示する表示方法が一般的である。また、通信制御装置により、多数の会議の参加者（端末装置のユーザ）の中で発話者を強調する等、発話者による発話を支援する技術が知られている。
【０００４】
特許文献１には、いずれかの端末装置で撮像された映像を各端末装置に表示する表示方法として、各端末装置において表示される映像を所定の時間間隔で各端末装置で撮像された映像に順番に切り替える技術が記載されている。また、特許文献２には、各端末装置に表示させる映像を、発話者が切り替わる度に各発話者が使用する端末装置で撮像された映像に切り替える技術が記載されている。
【０００５】
一方、特許文献３には、各端末装置において表示される画像に対して画面分割を行って、全ての端末装置で撮像された映像を同時に表示する表示方法として、発話者が使用している端末装置で撮像された映像を強調した表示を行う技術が記載されている。この特許文献３には、発話者（端末装置）が切り替わる度に発話者が使用している端末装置で撮像された映像が、非発話者が使用している端末装置で撮像された映像に比べて大きな画像となるように分割しなおす技術、及び発話者が使用している端末装置で撮像された映像の表示領域に目立つ色の枠を設ける等により表示領域をハイライトする技術等が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−０８６６７７号公報
【特許文献２】特開平０５−１１１０２０号公報
【特許文献３】特開平０６−２８２４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記従来の技術では、発話者がいずれの端末装置を使用しているのかを通信制御装置が自動的に判断する必要があり、一般的には、各端末装置から送信された音声信号を用いて判断することが行われている。
【０００８】
しかしながら、音声信号によって発話を検出する場合、音声による発話を検出することはできるが、手話等の視覚言語を用いた発話を検出することができない。従って、従来の通信制御装置では、音声言語と視覚言語とが混在して用いられた場合、視覚言語による発話を行うユーザの発話を検出できない場合があった。
【０００９】
そのため、従来の通信制御装置では、手話等の視覚言語により発話を行った発話者を強調する等、発話者による発話を支援することができない場合があった。
【００１０】
本発明は、上述した問題を解決するために提案されたものであり、手話により発話を行うユーザを含む複数のユーザ各々の端末装置間で通信を行う会議において、発話者による発話を支援することできる、通信制御装置、通信制御システム、通信制御方法、及び通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の通信制御装置は、ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した前記映像信号及び第１所定条件に基づいて判定した第１判定結果が入力される第１入力部と、前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力される第２入力部と、前記第１入力部に入力された前記第１判定結果及び前記第２入力部に入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択する選択部と、を備える。
【００１２】
また、本発明の通信制御システムは、本発明の通信制御装置と、ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を前記通信制御装置に送信する複数の端末装置と、を備える。
【００１３】
また、本発明の通信制御方法は、検出部が、ユーザを撮像した映像信号が表す画像における、手話動作を判定するためのユーザの動作を検出した検出結果を出力するステップと、第１判定部が、ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、前記検出部が出力した検出結果と前記第１所定条件とに基づいて判定した第１判定結果を出力するステップと、第１入力部に、前記第１判定部から前記第１判定結果が入力されるステップと、第２入力部に、前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力されるステップと、選択部が、前記第１入力部に入力された前記第１判定結果及び前記第２入力部に入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択するステップと、を備える。
【００１４】
また、本発明の通信制御方法は、第１判定部が、ユーザを撮像した前記映像信号が表す画像における、手話動作に関するユーザの動作を検出した検出結果を、前記ユーザを撮像した端末装置から受信し、ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、受信した検出結果と前記第１所定条件とに基づいて判定した第１判定結果を出力するステップと、第１入力部に、前記第１判定部から前記第１判定結果が入力されるステップと、第２入力部に、前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力されるステップと、選択部が、前記第１入力部に入力された前記第１判定結果及び前記第２入力部に入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択するステップと、を備える。
【００１５】
また、本発明の通信制御方法は、通信制御装置における通信制御方法であって、前記通信制御装置は、ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した前記映像信号及び第１所定条件に基づいて判定した第１判定結果が入力される第１入力ステップと、前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力される第２入力ステップと、前記第１入力ステップにおいて入力された前記第１判定結果及び前記第１入力ステップにおいて入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択する選択ステップと、を備える。
【００１６】
また、本発明の通信制御プログラムは、コンピュータを、ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した前記映像信号及び第１所定条件に基づいて判定した第１判定結果が入力される第１入力部と、前記複数の端末装置のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した前記音声信号及び第２所定条件に基づいて判定した第２判定結果が入力される第２入力部と、前記第１入力部に入力された前記第１判定結果及び前記第２入力部に入力された前記第２判定結果に基づいて、所定の時間毎に、話者の端末装置を選択する選択部と、して機能させるためのものである。
【発明の効果】
【００１７】
本発明によれば、手話により発話を行うユーザを含む複数のユーザ各々の端末装置間で通信を行う会議において、発話者による発話を支援することできる、という効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態の通信制御システムの一例の概略構成を示す概略構成図である。
【図２】第１実施形態の通信制御システムの一例を実現する電気系の要部構成を示す概略構成図である。
【図３】第１実施形態の通信制御装置で実行される手話話者候補判定処理の一例を示したフローチャートである。
【図４】第１実施形態の通信制御装置で実行される音声話者候補判定処理の一例を示したフローチャートである。
【図５】第１実施形態の通信制御装置で実行される話者選択処理の一例を示したフローチャートである。
【図６】第１実施形態の通信制御装置における話者情報を説明するための模式図である。
【図７】第１実施形態の通信制御装置で実行される映像／音声選択処理の一例を示したフローチャートである。
【図８】第１実施形態の通信制御装置の映像／音声選択処理部が生成する画像情報及び音声情報を説明するための模式図である。
【図９】第２実施形態の通信制御システムの一例の概略構成を示す概略構成図である。
【図１０】第２実施形態の通信制御装置で実行される手話話者候補判定処理の一例を示したフローチャートである。
【図１１】第３実施形態の通信制御システムの一例の概略構成を示す概略構成図である。
【図１２】第４実施形態の通信制御システムの一例の概略構成を示す概略構成図である。
【図１３】第４実施形態の通信制御装置で実行される手話話者候補判定処理の一例を示したフローチャートである。
【図１４】第５実施形態の通信制御システムの一例の概略構成を示す概略構成図である。
【発明を実施するための形態】
【００１９】
［第１実施形態］
以下、本実施形態の通信制御システムについて、図面を参照して説明する。
【００２０】
＜第１実施形態の構成＞
まず、本実施形態の通信制御システムの構成について説明する。図１に、本実施形態の通信制御システムの一例の概略構成図を示す。
【００２１】
図１に示すように、本実施形態の通信制御システム１０は、端末装置１２１〜１２ｎ（ｎは２以上の整数）と、通信制御装置１４と、を備える。本実施形態の通信制御システム１０は、各端末装置１２のユーザが話者となり、音声及び映像を用いて各端末装置１２間のユーザ同士で会議を行う、いわゆるテレビ会議やビデオ会議を行うためのシステムである。以下では、各端末装置１２１〜１２ｎ及び各端末装置１２１〜１２ｎの各々が備える各構成について、個々を区別せずに総称する場合は、個々を区別するための符号１〜ｎの記載を省略し、単に「端末装置１２」等という。また、本実施形態において「会議」とは、ユーザ同士の言語のやり取りの総称であり、一般的な会話等の行為も含む。
【００２２】
本実施形態において「話者」とは、他の端末装置１２のユーザに対して発言を行うために言語を発するユーザのことをいい、話者が言語を発することを「発話」という。また、音声による発話を「音声発話」といい、手話による発話を「手話発話」という。
【００２３】
本実施形態の端末装置１２のユーザは、手話発話を行うユーザを含む。なお、各端末装置１２のユーザは、全員が手話発話を行ってもよいし、一部のユーザのみが手話発話を行ってもよいし、また、手話発話と音声発話との両方を同時に行うユーザが含まれていてもよい。
【００２４】
図１に示すように、端末装置１２には、マイク２０、カメラ２２、スピーカ２４、及びディスプレイ２６が接続されている。マイク２０は、ユーザの音声発話による音声を集音する機能を有しているものであれば、特に限定されない。また、カメラ２２は、手話発話を行うユーザの映像を撮像する機能を有しているものであれば、特に限定されない。なお、本実施形態では、カメラ２２が撮像した映像（画像）からユーザが手話発話を行っているか否かを後述する話者選択処理部３０が判定するため、カメラ２２の撮影範囲は、ユーザが手話発話を行う動作が撮影可能な範囲を含む。そのため、カメラ２２の撮影範囲は、例えば、ユーザの上半身を撮影範囲とすることが好ましい。マイク２０で集音された音声を表す音声信号、及びカメラ２２で撮像された映像を表す映像信号は、通信制御装置１４に出力される。
【００２５】
また、スピーカ２４は、通信制御装置１４の後述する映像／音声選択処理部４０から出力された音声情報を可聴表示する機能を有しているものであれば、特に限定されない。また、ディスプレイ２６は、通信制御装置１４の映像／音声選択処理部４０から出力された映像情報を可視表示する機能を有しているものであれば、特に限定されない。
【００２６】
一方、通信制御装置１４は、各端末装置１２を接続し、端末装置１２間の通信を制御する機能を有する、いわゆるＭＣＵ（Multipoint Control Unit）である。本実施形態の通信制御装置１４は、話者の端末装置１２を選択し、選択結果に応じた映像情報及び音声情報を生成して各端末装置１２に出力する機能を有する。図１に示すように本実施形態の通信制御装置１４は、話者選択処理部３０及び映像／音声選択処理部４０を備える。
【００２７】
話者選択処理部３０は、発話音声判定処理部３２、音声話者候補選択処理部３４、手話動作判定処理部３６、手話話者候補選択処理部３８、及び話者選択処理部３９を備える。
【００２８】
発話音声判定処理部３２には、マイク２０から音声信号が入力される。なお、本実施形態の発話音声判定処理部３２には、カメラ２２から映像信号が入力されてもよいし、入力されなくてもよい。本実施形態の発話音声判定処理部３２は、音声信号に基づいて、ユーザが音声発話を行っているか否かを判定するために、端末装置１２毎に所定期間における音声信号のレベル（音声の大きさ）を検出した検出結果を音声話者候補選択処理部３４に出力する。発話音声判定処理部３２が音声信号のレベルを検出する際の上記所定期間は、特に限定されないが、カメラ２２が撮像した映像（画像）のフレームレートに応じた時間とすることが好ましい。当該所定期間の具体例としては、１秒が挙げられる。なお、発話音声判定処理部３２が音声信号のレベルを検出する方法は、既存の技術を用いればよく、特に限定されるものではない。
【００２９】
音声話者候補選択処理部３４は、発話音声判定処理部３２の検出結果に基づいて、所定期間毎に、端末装置１２のユーザが音声発話を行っているか否かを判定し、音声発話を行っているユーザの端末装置１２を示す情報を、判定結果の音声話者候補として話者選択処理部３９に出力する。なお、音声話者候補選択処理部３４が音声発話を行っているか否かを判定する際の所定期間は、特に限定されず、上記発話音声判定処理部３２が音声信号のレベルを算出する際の所定期間以上であれば、当該所定期間と同じであってもよいし、異なっていてもよい。
【００３０】
手話動作判定処理部３６には、カメラ２２から映像信号が入力される。なお、本実施形態の手話動作判定処理部３６には、マイク２０から音声信号が入力されてもよいし、入力されなくてもよい。本実施形態の手話動作判定処理部３６が、本発明の検出部の一例である。
【００３１】
手話発話を行う場合、発話者は、指文字を使用したり、手振り身振り等の動作を用いたりして発話する。そのため、発話していない状態の画像に比べて、発話している状態の画像では、ユーザ（話者）の動きが大きく変化する。そこで、本実施形態では、ユーザの動きの変化に基づいて、ユーザが手話発話を行っているか否かの判定を行う。本実施形態の手話動作判定処理部３６は、映像信号に基づいて、ユーザが手話動作（手話発話）を行っているか否かを判定するために、手話発話を行う端末装置１２毎にフレーム間での画像の変化量を検出して検出結果を手話話者候補選択処理部３８に出力する。
【００３２】
なお、手話動作判定処理部３６が映像信号におけるフレーム間での画像の変化量を検出する検出方法は特に限定されない。本実施形態では、一例として、フレーム毎に、顔認識処理を行って、ユーザの上半身の位置を決定し、決定した上半身の位置における手の動きに関わる画像について、直前のフレームに対する動きベクトルを算出し、直前のフレームにおける動きベクトルに対する、現在のフレームにおける動きベクトルの変化量を算出する。なお、動きベクトルの算出方法は、既存の技術を用いればよく、特に限定されるものではない。
【００３３】
手話話者候補選択処理部３８は、手話動作判定処理部３６の検出結果に基づいて、所定期間毎に、端末装置１２のユーザが手話発話を行っているか否かを所定条件に基づいて判定し、手話発話を行っている話者の端末装置１２の情報を、判定結果の手話話者候補として話者選択処理部３９に出力する。本実施形態の手話話者候補選択処理部３８が本発明の第１判定部の一例であり、上記所定条件が本発明の第１所定条件の一例である。
【００３４】
手話動作判定処理部３６がユーザが手話発話を行っているか否かを判定する方法は特に限定されないが、本実施形態では、一例として、上述したように、手話発話を開始する場合、手話発話していない状態の画像からユーザ（話者）の動きが大きく変化するため、予め実験等により得られた手話発話の開始におけるユーザの動き（画像）の変化量から、手話発話開始閾値を予め記憶部６４等に設定しておく。そして、手話動作判定処理部３６は、手話動作判定処理部３６が検出した変化量が手話発話開始閾値以上の場合、手話発話を開始したと判定する。
【００３５】
また、本実施形態では、一例として、ユーザが手話発話を終了する場合、手話発話している状態の画像からユーザ（話者）の動きが大きく変化するため、予め実験等により得られた手話発話の終了におけるユーザの動き（画像）の変化量から、手話発話終了閾値を予め記憶部６４等に設定しておく。そして、手話動作判定処理部３６は、手話動作判定処理部３６が検出した変化量が手話発話終了閾値以上の場合、手話発話を終了したと判定する。
【００３６】
話者選択処理部３９は、音声話者候補選択処理部３４及び手話話者候補選択処理部３８の判定結果に基づいて、所定期間毎に、端末装置１２の中から話者の端末装置１２を選択し、選択した話者の端末装置１２を示す話者情報を生成して、映像／音声選択処理部４０に出力する。本実施形態の話者選択処理部３９が、本発明の第１入力部、第２入力部、及び選択部の一例である。
【００３７】
映像／音声選択処理部４０には、各端末装置１２から、音声信号及び映像信号が入力される。また、映像／音声選択処理部４０には、話者選択処理部３９から話者情報が入力される。映像／音声選択処理部４０は、入力された話者情報に基づいて、話者を強調する音声／映像情報を生成して、各端末装置１２に出力する。本実施形態の映像／音声選択処理部４０は、本発明の生成部の一例である。
【００３８】
本実施形態の通信制御システム１０は、例えば、図２に示した電気系の要部構成により実現することができる。なお、図２では、図示を簡略化するために、１つの端末装置１２のみを示している。
【００３９】
図２に示すように、端末装置１２は、制御部５０、Ｉ／Ｆ（InterFace）５２、記憶部５４、及び通信Ｉ／Ｆ５６を備える。
【００４０】
制御部５０は、端末装置１２の全体的な動作を制御し、ＣＰＵ（Central Processing Unit）５０Ａ、ＲＯＭ（Read Only Memory）５０Ｂ、及びＲＡＭ（Random Access Memory）５０Ｃを備える。ＲＯＭ５０Ｂには、ＣＰＵ５０Ａで実行されるプログラム５１等の各種プログラムや各種パラメータ等が予め記憶されている。ＲＡＭ５０Ｃは、ＣＰＵ５０Ａによる各種プログラムの実行時のワークエリア等として用いられる。
【００４１】
Ｉ／Ｆ５２は、マイク２０、カメラ２２、スピーカ２４、及びディスプレイ２６と端末装置１２とを接続する機能を有する。マイク２０で集音された音声及びカメラ２２で撮像された映像を、Ｉ／Ｆ５２を介して端末装置１２に入力される。通信制御装置１４の映像／音声選択処理部４０から出力された音声情報は、Ｉ／Ｆ５２を介してスピーカ２４に出力される。また、通信制御装置１４の映像／音声選択処理部４０から出力された映像情報は、Ｉ／Ｆ５２を介してディスプレイ２６に出力される。
【００４２】
記憶部５４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。通信Ｉ／Ｆ５６は、無線通信または有線通信の機能を有し、本実施形態では、図示を省略したネットワーク回線を介して通信制御装置１４と通信を行う機能を有する。
【００４３】
ＣＰＵ５０Ａ、ＲＯＭ５０Ｂ、ＲＡＭ５０Ｃ、Ｉ／Ｆ５２、記憶部５４、及び通信Ｉ／Ｆ５６は、システムバスやコントロールバス等のバス５９を介して相互に各種情報の授受が可能に接続されている。
【００４４】
一方、図２に示すように本実施形態の通信制御装置１４は、制御部６０、記憶部６４、及び通信Ｉ／Ｆ６６を備える。
【００４５】
制御部６０は、通信制御装置１４の全体的な動作を制御し、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、及びＲＡＭ６０Ｃを備える。ＲＯＭ６０Ｂには、ＣＰＵ６０Ａで実行される手話話者候補判定処理プログラム、音声話者候補判定処理プログラム、話者選択処理プログラム、及び映像／音声選択処理プログラムを含むプログラム６１等の各種プログラムや各種パラメータ等が予め記憶されている。ＲＡＭ６０Ｃは、ＣＰＵ６０Ａによる各種プログラムの実行時のワークエリア等として用いられる。
【００４６】
記憶部６４の具体例としては、ＨＤＤ等が挙げられる。通信Ｉ／Ｆ６６は、無線通信または有線通信の機能を有し、本実施形態では、図示を省略したネットワーク回線を介して端末装置１２と通信を行う機能を有する。本実施形態の通信Ｉ／Ｆ６６は、本発明の映像受信部及び音声受信部の一例である。
【００４７】
ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、ＲＡＭ６０Ｃ、記憶部６４、及び通信Ｉ／Ｆ６６は、システムバスやコントロールバス等のバス６９を介して相互に各種情報の授受が可能に接続されている。
【００４８】
＜第１実施形態の動作＞
次に、本実施形態の通信制御システム１０の動作について説明する。
【００４９】
端末装置１２間での会議を行う場合、各端末装置１２は、マイク２０、カメラ２２、または図示を省略したＵＩ（User interface）により、他の端末装置１２との会議の開始及び終了について指示する。ユーザにより、会議の開始が指示された場合、制御部５０は、マイク２０によりユーザの音声を集音させて、マイク２０から入力される音声信号を通信制御装置１４に出力させる。また、制御部５０は、カメラ２２によりユーザの画像を撮像させ、カメラ２２から入力される映像信号を通信制御装置１４に出力させる。さらに、制御部５０は、通信制御装置１４から入力された音声情報をスピーカ２４から出力させ、映像情報をディスプレイ２６に表示させる。制御部５０は、これらの処理を、ユーザにより、会議の終了が指示されるまで、継続して行う。
【００５０】
一方、通信制御装置１４では、各端末装置１２から、音声信号及び映像信号が入力されると、以下の処理を行う。
【００５１】
話者選択処理部３０では、手話動作判定処理部３６及び手話話者候補選択処理部３８により、図３に例示した手話話者候補判定処理が行われる。具体的には、ＣＰＵ７０が、ＲＯＭ７２に記憶されているプログラム５１に含まれる手話話者候補判定処理プログラムを実行することにより、図３に示した手話話者候補判定処理を実行する。
【００５２】
図３に示したステップＳ１００で手話動作判定処理部３６は、端末装置１２から入力された映像信号のフレーム毎に、上述したように直前のフレームに対する画像の変化量を端末装置１２毎に検出して、検出した変化量を手話話者候補選択処理部３８に出力する。
【００５３】
次のステップＳ１０２で手話話者候補選択処理部３８は、ｎ個の端末装置１２の中から、１つの端末装置１２を選択する。なお、本実施形態では、手話発話を行うユーザの端末装置１２が、予め通信制御装置１４内に定められており、当該端末装置１２の情報が、記憶部６４等に記憶されている。そのため、本実施形態の手話話者候補選択処理部３８は、記憶部６４を参照して、ｎ個の端末装置１２のうち、予め手話発話を行うことが設定されている端末装置１２の中から１つの端末装置１２を選択する。
【００５４】
次のステップＳ１０４で手話話者候補選択処理部３８は、選択した端末装置１２のユーザが手話発話中で有るか否かを判定する。手話発話中で有るか否かの判定方法は特に限定されないが、一例として、本実施形態では、後述のステップＳ１０６の処理において肯定判定となってから後述のステップＳ１０８の処理で肯定判定となるまでの間、当該端末装置１２について手話発話中である旨を表すフラグをたてておく。そして、手話話者候補選択処理部３８は、当該フラグがたっている場合、手話発話中であると判定する。
【００５５】
手話発話中ではない場合、ステップＳ１０４の処理が否定判定となり、ステップＳ１０６へ移行する。ステップＳ１０６で手話話者候補選択処理部３８は、手話動作判定処理部３６が検出した変化量が、上述した手話発話開始閾値以上であるか否かを判定する。ユーザが手話発話を開始した場合、変化量が手話発話開始閾値以上となり、ステップＳ１０６の処理が肯定判定となってステップＳ１１０へ移行する。一方、ユーザが手話発話を行っていない場合、変化量が手話発話開始閾値未満となり、ステップＳ１０６の処理が否定判定となってステップＳ１１２へ移行する。
【００５６】
一方、ステップＳ１０４において、ユーザが手話発話中の場合、肯定判定となり、ステップＳ１０８へ移行する、ステップＳ１０８で手話話者候補選択処理部３８は、手話動作判定処理部３６が検出した変化量が、上記手話発話終了閾値以上であるか否かを判定する。ユーザが手話発話を終了した場合、変化量が手話発話終了閾値以上となり、ステップＳ１０８の処理が肯定判定となってステップＳ１１２へ移行する。一方、ユーザが手話発話を継続中の場合、変化量が手話発話終了閾値未満となり、ステップＳ１０８の処理が否定判定となってステップＳ１１０へ移行する。
【００５７】
ステップＳ１１０で手話話者候補選択処理部３８は、選択した端末装置１２を示す情報を、手話話者候補として話者選択処理部３９に出力する。なお、本実施形態では、このように手話話者候補選択処理部３８が、端末装置１２の話者が手話発話を行っている場合に、当該端末装置１２に関する情報を出力する形態について説明したが、当該形態に限らず、端末装置１２について、手話話者候補で有るか否かを表す情報を出力するようにしてもよい。
【００５８】
次のステップＳ１１２で手話話者候補選択処理部３８は、上記ステップＳ１０２において手話発話を行う端末装置１２を全て選択したか否かを判定する。未だ選択していない端末装置１２がある場合、ステップＳ１１２の判定が否定判定となり、ステップＳ１０２に戻り、ステップＳ１０４〜Ｓ１１０の処理を繰り返す。一方、全ての端末装置１２を選択した場合、ステップＳ１１２の処理が肯定判定となり、ステップＳ１１４へ移行する。
【００５９】
ステップＳ１１４で手話話者候補選択処理部３８は、本手話話者候補判定処理を終了するか否かを判定する。例えば、各端末装置１２から音声信号及び映像信号の入力が所定の時間以上入力しなかった場合や、各端末装置１２から会議を終了する旨の通知を受けた場合等、端末装置１２間での会議が終了したことを表す条件を満たす場合、ステップＳ１１４の判定が肯定判定となり、本手話話者候補判定処理を終了する。一方、会議が終了したことを表す条件を満たさない場合、ステップＳ１１４の判定が否定判定となり、ステップＳ１００に戻り、本手話話者候補判定処理を繰り返す。
【００６０】
また、話者選択処理部３０では、発話音声判定処理部３２及び音声話者候補選択処理部３４により、図４に例示した音声話者候補判定処理が行われる。具体的には、ＣＰＵ７０が、ＲＯＭ７２に記憶されているプログラム５１に含まれる音声話者候補判定処理プログラムを実行することにより、図４に示した音声話者候補判定処理を実行する。
【００６１】
図４に示したステップＳ１３０で発話音声判定処理部３２は、端末装置１２から入力された音声信号について、上述したように所定期間毎の音声レベルを検出し、検出した音声レベルを音声話者候補選択処理部３４に出力する
【００６２】
次のステップＳ１３２で音声話者候補選択処理部３４は、ｎ個の端末装置１２の中から、１つの端末装置１２を選択する。次のステップＳ１３４で音声話者候補選択処理部３４は、選択した端末装置１２について、発話音声判定処理部３２が検出した音声レベルが、上述した音声発話閾値以上であるか否かを判定する。ユーザが音声発話を行っている場合、音声レベルが音声発話閾値以上となり、ステップＳ１３４の処理が肯定判定となってステップＳ１３６へ移行する。ステップＳ１３６で音声話者候補選択処理部３４は、選択した端末装置１２を示す情報を、音声話者候補として話者選択処理部３９に出力した後、ステップＳ１３８へ移行する。
【００６３】
一方、ユーザが音声発話を行っていない場合、音声レベルが音声発話閾値未満となり、ステップＳ１３４の処理が否定判定となってステップＳ１３８へ移行する。
【００６４】
ステップＳ１３８で音声話者候補選択処理部３４は、上記ステップＳ１３２において、端末装置１２を全て選択したか否かを判定する。未だ選択していない端末装置１２がある場合、ステップＳ１３８の判定が否定判定となり、ステップＳ１３２に戻り、ステップＳ１３４、Ｓ１３６の処理を繰り返す。一方、全ての端末装置１２を選択した場合、ステップＳ１３８の処理が肯定判定となり、ステップＳ１４０へ移行する。
【００６５】
ステップＳ１４０で音声話者候補選択処理部３４は、本音声話者候補判定処理を終了するか否かを判定する。本実施形態では、一例として、上記手話話者候補判定処理（図３参照）のステップＳ１１４と同様に、会議が終了したことを表す条件を満たす場合、ステップＳ１４０の判定が肯定判定となり、本音声話者候補判定処理を終了する。一方、会議が終了したことを表す条件を満たさない場合、ステップＳ１４０の判定が否定判定となり、ステップＳ１３０に戻り、本音声話者候補判定処理を繰り返す。
【００６６】
さらに、話者選択処理部３０では、話者選択処理部３９により、図５に例示した話者選択処理が行われる。具体的には、ＣＰＵ７０が、ＲＯＭ７２に記憶されているプログラム５１に含まれる話者選択処理プログラムを実行することにより、図５に示した話者選択処理を実行する。
【００６７】
図５に示したステップＳ１６０で話者選択処理部３９は、音声話者候補選択処理部３４から入力された音声話者候補及び手話話者候補選択処理部３８から入力された手話話者候補に基づいて、話者の端末装置１２を選択する。
【００６８】
次のステップＳ１６２で話者選択処理部３９は、選択結果に基づいて、所定期間毎の話者を表す話者情報を生成して映像／音声選択処理部４０に出力する。
【００６９】
次のステップＳ１６４で話者選択処理部３９は、本話者選択処理を終了するか否かを判定する。本実施形態では、一例として、上述した会議が終了したことを表す条件を満たす場合、ステップＳ１６４の判定が肯定判定となり、本話者選択処理を終了する。一方、会議が終了したことを表す条件を満たさない場合、ステップＳ１６４の判定が否定判定となり、ステップＳ１６０に戻り、本話者選択処理を繰り返す。
【００７０】
図６には、所定期間として１秒毎に音声話者候補選択処理部３４が音声話者候補を出力し、手話話者候補選択処理部３８が手話話者候補を出力する場合に、手話話者候補選択処理部３８で生成及び出力される話者情報の一例を示す。
【００７１】
図６に示した一例では、０秒〜７秒までの間、音声話者候補選択処理部３４からは、端末装置１２１（図６「端末装置（１）」参照）が音声話者候補として出力され、手話動作判定処理部３６からは、手話話者候補が出力されない。そのため、話者選択処理部３９は、端末装置１２１を表す情報を話者情報として生成して映像／音声選択処理部４０に出力する。また、図６に示した７秒〜１４秒までの間、音声話者候補選択処理部３４からは、音声話者候補が出力されず、手話動作判定処理部３６からは、端末装置１２ｎ（図６「端末装置（ｎ）」参照）が手話話者候補として出力される。そのため、話者選択処理部３９は、端末装置１２ｎを表す情報を話者情報として生成して映像／音声選択処理部４０に出力する。同様に、話者選択処理部３９は、１４秒〜２０秒までの間は端末装置１２ｋを表す情報を、２０秒から２３秒までの間は端末装置１２ｎを表す情報を話者情報として生成して映像／音声選択処理部４０に出力する。
【００７２】
なお、同時に複数の端末装置１２のユーザが発話している場合、複数の端末装置１２を表す話者情報が生成される。
【００７３】
一方、通信制御装置１４では、各端末装置１２から、音声信号及び映像信号が入力されると、以下の処理を行う。
【００７４】
このようにして、話者選択処理部３０から話者情報が出力されると、映像／音声選択処理部４０では、図７に例示した映像／音声選択処理が行われる。具体的には、ＣＰＵ７０が、ＲＯＭ７２に記憶されているプログラム５１に含まれる映像／音声選択処理プログラムを実行することにより、図７に示した映像／音声選択処理を実行する。
【００７５】
図７に示したステップＳ１８０で映像／音声選択処理部４０は、話者選択処理部３９から入力された話者情報に基づいて、端末装置１２から入力された映像信号及び音声信号を選択する。
【００７６】
そして、次のステップＳ１８２で映像／音声選択処理部４０は、選択した映像信号及び音声信号を用いて、映像情報及び音声情報を生成する。
【００７７】
なお、映像／音声選択処理部４０が生成する映像情報及び音声情報は、映像情報及び音声情報の少なくとも一方により話者が強調される情報であればよく、その詳細は、特に限定されない。例えば、図８には、映像／音声選択処理部４０が生成した映像情報が、端末装置１２のディスプレイ２６に表示された表示画像１００の一例を示す。図８に示した画像１００では、ユーザが手話発話を行っている端末装置１２ｎのユーザ（話者）の画像（動画像）１０２ｎが、ユーザが発話を行っていない端末装置１２１のユーザの画像（動画像）１０２１及び端末装置１２ｋのユーザの画像（動画像）１０２ｋよりも強調された状態が示されている。なお、図８では、画像１０２ｎを画像１０２１及び１０２ｋよりも大きく表示すること、及び代表画像１０２ｎの周囲に他と色や太さ等が異なる枠１０３を設けることにより強調を行う場合を示しているが、当該形態に限定されないことはいうまでもない。その他の例としては、例えば、ユーザが発話を行っている端末装置１２のユーザの画像のみが端末装置１２のディスプレイ２６に表示されるようにしてもよい。また、音声情報に関しても同様に、音声発話を行っている端末装置１２のユーザの音声情報のみが端末装置１２のスピーカ２４から出力されるようにしてもよい。
【００７８】
なお、映像／音声選択処理部４０は、話者情報が複数の端末装置１２を表している場合、すなわち、同時に発話する複数の話者（端末装置１２）が存在する場合、記憶部６２を参照して、手話発話を行うユーザに関する画像が優先的に表示されるように映像情報を生成することが好ましい。
【００７９】
また、映像／音声選択処理部４０は、映像情報及び音声情報を、端末装置１２毎に異ならせることが好ましいことはいうまでもない。
【００８０】
次のステップＳ１８４で映像／音声選択処理部４０は、上記ステップＳ１８２で生成した映像情報及び音声情報を各端末装置１２に出力する。
【００８１】
次のステップＳ１８６で映像／音声選択処理部４０は、本映像／音声選択処理を終了するか否かを判定する。本実施形態では、一例として、上述した会議が終了したことを表す条件を満たす場合、ステップＳ１８６の判定が肯定判定となり、本映像／音声選択処理を終了する。一方、会議が終了したことを表す条件を満たさない場合、ステップＳ１８６の判定が否定判定となり、ステップＳ１８０に戻り、本映像／音声選択処理を繰り返す。
【００８２】
このように本実施形態の通信制御システム１０では、通信制御装置１４の話者選択処理部３０が、端末装置１２を使用するユーザが手話発話を行っているか否かを、端末装置１２から受信した映像信号から検出したユーザの動きの変化量と手話発話開始閾値及び手話発話終了閾値とに基づいて判定して手話話者候補を選択し、手話発話を行っている場合はその旨を表す話者情報を生成して出力する。
【００８３】
＜第１実施形態の効果＞
本実施形態の通信制御装置１４では、ユーザを撮像した映像信号を用いて、手話発話を行っているユーザも話者として適切に検出することができるため、手話発話を行う発話者による発話を支援することできる。
【００８４】
［第２実施形態］
第１実施形態では、端末装置１２が撮像した映像信号からユーザの動きを、通信制御装置１４の話者選択処理部３０の手話動作判定処理部３６が検出する場合について説明したが、本実施形態では、端末装置１２が検出して、検出結果を通信制御装置１４に出力する場合について説明する。
【００８５】
＜第２実施形態の構成＞
図９に、本実施形態の通信制御システムの一例の概略構成図を示す。なお、図９に示した通信制御システム１０では、端末装置１２１及び端末装置１２ｎのユーザは手話発話を行い、端末装置１２ｋのユーザは手話発話を行わない場合を示している。
【００８６】
図９に示すように、手話発話を行わないユーザの端末装置１２（１２ｋ）は、第１実施形態の端末装置１２と同様の構成である。
【００８７】
一方、手話発話を行うユーザの端末装置１２（１２１、１２ｎ）は、骨格情報処理部９０を備える点で、第１実施形態の端末装置１２と異なっている。
【００８８】
骨格情報処理部９０には、センサ２８が接続されている。センサ２８は、例えば、赤外線センサ等からなる深度センサであり、ユーザが含まれる領域、特に、ユーザが手話動作を行う範囲を検出範囲とし、検出結果（ＲＧＢ画像情報とＤｅｐｔｈ画像情報等）を骨格情報処理部９０に出力する。骨格情報処理部９０は、センサ２８の検出結果に基づいて、リアルタイムに、ユーザの３次元空間上の位置を骨格情報として導出する。一例として、本実施形態の骨格情報処理部９０は、フレーム毎に、ＲＧＢ画像及びＤｅｐｔｈ画像に対して所定の顔認識処理を行って、ユーザの上半身の位置を決定し、決定した上半身の位置における、ユーザの首、両肩、両肘、両手首、及び各指の第１〜第３関節の３次元空間上の位置（以下、「３次元座標」という）を導出し、導出した３次元座標を表す情報（以下、「３次元座標情報」という）を通信制御装置１４に出力する。なお、センサ２８及び骨格情報処理部９０は、例えば、マイクロソフト（登録商標）の３次元カメラキネクト（登録商標）を用いたシステムや、その他の一般的なモーションキャプチャ技術等を利用することができる。
【００８９】
一方、本実施形態の通信制御装置１４は、図９に示すように、話者選択処理部３０が手話動作判定処理部３６を備えていない点で、第１実施形態の通信制御装置１４（図１参照）と異なっている。図９に示すように、本実施形態の話者選択処理部３０の手話話者候補選択処理部３８には、端末装置１２の骨格情報処理部９０から出力された３次元座標情報が入力される。
【００９０】
上述したように、手話発話を行う場合、発話者は、指文字を使用したり、手振り身振り等の動作を用いたりして発話するため、手話発話を行っている間は、手話動作を行うユーザの部位の位置（３次元座標）が、手話発話を行っていない場合に比べて大きく変化する。そこで、本実施形態の手話話者候補選択処理部３８は、入力されたユーザの３次元座標情報が予め定められた条件を満たす場合に、当該ユーザが手話動作（手話発話）を行っていると判定し、手話発話を行っていると判定したユーザの端末装置１２の情報を、判定結果の手話話者候補として話者選択処理部３９に出力する。
【００９１】
なお、手話話者候補選択処理部３８が手話動作の判定に用いる予め定められた条件は特に限定されない。例えば、記憶部６４（図２参照）に、手話動作や指文字等を表す画像データを辞書として予め格納しておき、所定期間における３次元座標の変化が、手話動作や指文字等と一致するとみなせるか否かを予め定められた条件とする。そして、手話話者候補選択処理部３８が、手話動作と一致するとみなせた場合に、手話発話を行っていると判定してもよい。
【００９２】
また例えば、腕を上下や左右に動かす手話動作を考慮し、両腕の各々について、所定期間における関節の移動距離の平均値が、予め定められた距離以上であるか否かを予め定められた条件とする。そして、手話話者候補選択処理部３８が、移動距離の平均値が予め定められた距離以上である場合に、手話発話を行っていると判定してもよい。
【００９３】
また例えば、腕を交差させる手話動作を考慮し、所定期間において、両腕の各々における手首の座標と肘の座標とを結ぶ線分が交差するか否かを予め定められた条件とする。そして、手話話者候補選択処理部３８が、２つの線分が交差する場合に、手話発話を行っていると判定してもよい。
【００９４】
また例えば、両手を近づけて行う手話動作を考慮し、両手（掌）の間隔が、予め定められた間隔以下であるか否かを予め定められた条件とする。そして、手話話者候補選択処理部３８が、両手の間隔が予め定められた間隔以下である場合に、手話発話を行っていると判定してもよい。
【００９５】
なお、手話話者候補選択処理部３８が手話動作の判定に用いる予め定められた条件は、上記において例示した予め定められた条件等、複数の条件を組み合わせて用いてもよいことはいうまでもない。
【００９６】
また、手話話者候補選択処理部３８による手話動作の判定方法例の説明における「所定期間」とは、手話発話において１単語当たりの発話に要する一般的な時間に応じて予め定めればよく、例えば、実験等により得られた時間を記憶部６２等に設定しておけばよい。
【００９７】
本実施形態の通信制御システム１０を実現する電気系の要部構成は、第１実施形態の端末装置１２（図２参照）において、Ｉ／Ｆ５２にセンサ２８が接続される他は同様であるため、説明を省略する。
【００９８】
＜第２実施形態の動作＞
次に、本実施形態の通信制御システム１０の動作について説明する。
【００９９】
端末装置１２は、マイク２０によりユーザの音声を集音した音声信号、及びカメラ２２によりユーザを撮像した映像信号と共に、上述したように骨格情報処理部９０が導出した３次元座標情報を、通信制御装置１４に出力する他は、第１実施形態の端末装置１２と同様の動作を行う。
【０１００】
一方、通信制御装置１４では、話者選択処理部３０で行われる手話話者候補判定処理が、第１実施形態の手話話者候補判定処理（図３参照）と異なる他は、同様の処理を行う。図１０に示すように、本実施形態の手話話者候補判定処理は、第１実施形態の手話話者候補判定処理のステップＳ１００〜Ｓ１０８の処理に代わり、ステップＳ１０１及びＳ１０３の処理を行う点で異なっている。
【０１０１】
まず、図１０に示したステップＳ１０１で手話話者候補選択処理部３８は、予め定められている手話発話を行うユーザの端末装置１２の中から１つの端末装置１２を選択し、選択した端末装置１２から入力された３次元座標情報を取得する。
【０１０２】
次のステップＳ１０３で手話話者候補選択処理部３８は、上述したように、取得した３次元座標情報が予め定められた条件を満たすか否かを判定する。３次元座標情報が予め定められた条件を満たさない場合、すなわち、ユーザが手話発話を行っていない場合、ステップＳ１０３の判定が否定判定となりステップＳ１１２へ移行する。一方、３次元座標情報が予め定められた条件を満たす場合、すなわち、ユーザが手話発話を行っている場合、ステップＳ１０３の判定が肯定判定となりステップＳ１１０へ移行する。
【０１０３】
このように本実施形態の通信制御システム１０では、端末装置１２からユーザの３次元座標情報が出力される。通信制御装置１４の話者選択処理部３０は、端末装置１２を使用するユーザが手話発話を行っているか否かを、３次元座標情報と予め定められた条件とに基づいて判定して手話話者候補を選択し、手話発話を行っている場合はその旨を表す話者情報を生成して出力する。
【０１０４】
本実施形態の通信制御装置１４では、ユーザの３次元座標情報を用いて、手話発話を行っているユーザも話者として適切に検出することができるため、手話発話を行う発話者による発話を支援することできる。
【０１０５】
＜第２実施形態の効果＞
また、本実施形態の通信制御装置１４では、ユーザの手話動作に着目して得られた３次元座標情報を、手話発話を行っているか否かの判定に用いているため、手話発話の検出精度を、より高くすることができる。
【０１０６】
［第３実施形態］
第２実施形態では、手話発話を行うユーザの端末装置１２が、骨格情報処理部９０によりユーザの３次元座標情報を導出して通信制御装置１４に出力する場合について説明したが、本実施形態では、端末装置１２が、さらに３次元座標情報に基づいて手話話者候補を選択し、選択した手話話者候補を通信制御装置１４に出力する場合について説明する。
【０１０７】
＜第３実施形態の構成＞
図１１に、本実施形態の通信制御システムの一例の概略構成図を示す。なお、図１１に示した通信制御システム１０では、端末装置１２１及び端末装置１２ｎのユーザは手話発話を行い、端末装置１２ｋのユーザは手話発話を行わない場合を示している。
【０１０８】
図１１に示すように、本実施形態では、手話発話を行うユーザの端末装置１２（１２１、１２ｎ）が、さらに手話話者候補選択処理部９１を備える点で、第２実施形態の端末装置１２（図９参照）と異なっている。
【０１０９】
手話話者候補選択処理部９１には、骨格情報処理部９０から３次元座標情報が入力される。本実施形態の手話話者候補選択処理部９１は、上記第２実施形態の手話話者候補選択処理部３８と同様の機能を有しており、入力された３次元座標情報が予め定められた条件を満たす場合に、ユーザが手話動作（手話発話）を行っていると判定して、その旨を表す情報を手話話者候補として通信制御装置１４に出力する。
【０１１０】
一方、本実施形態の通信制御装置１４は、図１１に示すように、話者選択処理部３０が手話話者候補選択処理部３８を備えていない点で、第２実施形態の通信制御装置１４（図９参照）と異なっている。図１１に示すように、本実施形態の話者選択処理部３０の話者選択処理部３９には、端末装置１２の手話話者候補選択処理部９１から出力された手話話者候補が入力される。
【０１１１】
本実施形態の通信制御システム１０を実現する電気系の要部構成は、第２実施形態の端末装置１２と同様であるため、説明を省略する。
【０１１２】
＜第３実施形態の動作＞
次に、本実施形態の通信制御システム１０の動作について説明する。
【０１１３】
本実施形態の端末装置１２は、３次元座標情報に代わり、手話話者候補選択処理部９１から手話話者候補を通信制御装置１４に出力する他は、第２実施形態の端末装置１２と同様の動作を行う。
【０１１４】
一方、通信制御装置１４では、手話動作判定処理部３６（図１参照）及び手話話者候補選択処理部３８（図１及び図９参照）のいずれも備えておらず、端末装置１２から話者選択処理部３９に手話話者候補が入力される。そのため、本実施形態の通信制御装置１４では、上記各実施形態で上述した手話話者候補判定処理（図３及び図１０参照）が話者選択処理部３０で行われない他は、上記各実施形態と同様の動作を行う。
【０１１５】
このように本実施形態の通信制御システム１０では、端末装置１２から手話話者候補が出力される。通信制御装置１４の話者選択処理部３０は、入力された手話話者候補に基づいて、話者情報を生成して出力する。
【０１１６】
＜第３実施形態の効果＞
本実施形態の通信制御装置１４では、手話話者候補に基づいて、手話発話を行っている話者に関する話者情報を生成することができるため、手話発話を行う発話者の発話を支援することできる。
【０１１７】
また、本実施形態の通信制御システム１０では、手話話者候補の特定を端末装置１２が行うため、上述したように通信制御装置１４が、手話話者候補の特定を行う場合に比べて、通信制御装置１４の処理負荷を低減することができる。そのため、端末装置１２の数が増加に伴う、通信制御装置１４の処理負荷の増加を抑制することができる。
【０１１８】
［第４実施形態］
図１２に、本実施形態の通信制御システムの一例の概略構成図を示す。なお、図１２に示した通信制御システム１０では、端末装置１２１及び端末装置１２ｎのユーザは手話発話を行い、端末装置１２ｋのユーザは手話発話を行わない場合を示している。
【０１１９】
＜第４実施形態の構成＞
図１２に示すように、手話発話を行わないユーザの端末装置１２（１２ｋ）は、第１実施形態の端末装置１２（図１参照）と同様の構成である。
【０１２０】
また、図１２に示すように、本実施形態では、手話発話を行うユーザの端末装置１２（１２１、１２ｎ）が、さらに手話動作判定処理部９２を備える点で、第１実施形態の端末装置１２と異なっている。
【０１２１】
手話動作判定処理部９２には、カメラ２２から映像信号が入力される。なお、本実施形態の手話動作判定処理部９２には、マイク２０から音声信号が入力されてもよいし、入力されなくてもよい。
【０１２２】
本実施形態の手話動作判定処理部９２は、第１実施形態の手話動作判定処理部３６と同様の機能を有しており、映像信号に基づいて、ユーザが手話動作（手話発話）を行っているか否かを判定するために、手話発話を行う端末装置１２毎にフレーム間での画像の変化量を検出して検出結果を通信制御装置１４に出力する。
【０１２３】
一方、本実施形態の通信制御装置１４は、図１２に示すように、話者選択処理部３０が手話動作判定処理部３６を備えていない点で、第１実施形態の通信制御装置１４（図１参照）と異なっている。図１２に示すように、本実施形態の話者選択処理部３０の手話話者候補選択処理部３８には、端末装置１２の手話動作判定処理部９２から出力された検出結果が入力される。
【０１２４】
本実施形態の通信制御システム１０を実現する電気系の要部構成は、第１実施形態の端末装置１２と同様であるため、説明を省略する。
【０１２５】
＜第４実施形態の動作＞
次に、本実施形態の通信制御システム１０の動作について説明する。
【０１２６】
本実施形態の端末装置１２は、マイク２０によりユーザの音声を集音した音声信号、及びカメラ２２によりユーザを撮像した映像信号と共に、上述したように手話動作判定処理部９２の検出結果を、通信制御装置１４に出力する他は、第１実施形態の端末装置１２と同様の動作を行う。
【０１２７】
一方、通信制御装置１４では、話者選択処理部３０で行われる手話話者候補判定処理が、第１実施形態の手話話者候補判定処理（図３参照）と異なる他は、同様の処理を行う。
【０１２８】
図１３に示すように、本実施形態の手話話者候補判定処理は、第１実施形態の手話話者候補判定処理のステップＳ１００の処理を行わない他は、同様の処理を行う。本実施形態の通信制御装置１４は、手話動作判定処理部３６（図１参照）を備えておらず、端末装置１２から手話話者候補選択処理部３８に手話動作判定処理部９２の検出結果が入力される。そのため、図１３に示すように、上述した第１実施形態の手話話者候補判定処理のステップＳ１００の処理が行われない。
【０１２９】
このように本実施形態の通信制御システム１０では、端末装置１２の手話動作判定処理部９２からユーザの動きの変化量の検出結果が出力される。通信制御装置１４の話者選択処理部３０は、端末装置１２を使用するユーザが手話発話を行っているか否かを、上記検出結果と手話発話開始閾値及び手話発話終了閾値とに基づいて判定して手話話者候補を選択し、手話発話を行っている場合はその旨を表す話者情報を生成して出力する。
【０１３０】
＜第４実施形態の効果＞
本実施形態の通信制御装置１４では、ユーザの動きの変化量を用いて、手話発話を行っているユーザも話者として適切に検出することができるため、手話発話を行う発話者による発話を支援することできる。
【０１３１】
また、本実施形態の通信制御システム１０では、ユーザの動きの変化量の検出を端末装置１２が行うため、通信制御装置１４の処理負荷を低減することができる。
【０１３２】
［第５実施形態］
図１４に、本実施形態の通信制御システムの一例の概略構成図を示す。なお、図１４に示した通信制御システム１０では、端末装置１２１及び端末装置１２ｎのユーザは手話発話を行い、端末装置１２ｋのユーザは手話発話を行わない場合を示している。
【０１３３】
＜第５実施形態の構成＞
図１４に示すように、手話発話を行わないユーザの端末装置１２（１２ｋ）は、第１及び第２実施形態の端末装置１２（図１及び図１２参照）と同様の構成である。
【０１３４】
また、図１４に示すように、本実施形態では、手話発話を行うユーザの端末装置１２（１２１、１２ｎ）が、さらに手話話者候補選択処理部９３を備える点で、第２実施形態の端末装置１２（図１２参照）と異なっている。
【０１３５】
手話話者候補選択処理部９３には、手話動作判定処理部９２の検出結果が入力される。本実施形態の手話話者候補選択処理部９３は、第１実施形態の手話話者候補選択処理部３８と同様の機能を有しており、手話動作判定処理部９２の検出結果に基づいて、所定期間毎に、端末装置１２のユーザが手話発話を行っているか否かを判定して、手話発話を行っている場合にその旨を表す情報を手話話者候補として通信制御装置１４に出力する。
【０１３６】
一方、本実施形態の通信制御装置１４は、図１４に示すように、話者選択処理部３０が手話動作判定処理部３６及び手話話者候補選択処理部３８を備えていない点で、第１実施形態の通信制御装置１４（図１参照）と異なっている。図１４に示すように、本実施形態の話者選択処理部３０の話者選択処理部３９には、端末装置１２の手話話者候補選択処理部９３から出力された手話話者候補が入力される。
【０１３７】
本実施形態の通信制御システム１０を実現する電気系の要部構成は、第１実施形態の端末装置１２と同様であるため、説明を省略する。
【０１３８】
＜第５実施形態の動作＞
次に、本実施形態の通信制御システム１０の動作について説明する。
【０１３９】
本実施形態の端末装置１２は、手話動作判定処理部９２の検出結果に代わり、手話話者候補選択処理部９３から手話話者候補を通信制御装置１４に出力する他は、第４実施形態の端末装置１２と同様の動作を行う。
【０１４０】
一方、通信制御装置１４では、手話動作判定処理部３６（図１参照）及び手話話者候補選択処理部３８（図１及び図１２参照）のいずれも備えておらず、端末装置１２から話者選択処理部３９に手話話者候補が入力される。そのため、本実施形態の通信制御装置１４では、上記各実施形態で上述した手話話者候補判定処理（図３及び図１０参照）が話者選択処理部３０において行われない他は、上記各実施形態と同様の動作を行う。
【０１４１】
このように本実施形態の通信制御システム１０では、端末装置１２から手話話者候補が出力される。通信制御装置１４の話者選択処理部３０は、入力された手話話者候補に基づいて、話者情報を生成して出力する。
【０１４２】
＜第５実施形態の効果＞
本実施形態の通信制御装置１４では、手話話者候補に基づいて、手話発話を行っている話者に関する話者情報を生成することができるため、手話発話を行う発話者の発話を支援することできる。
【０１４３】
また、本実施形態の通信制御システム１０では、手話話者候補の特定を端末装置１２が行うため、上述したように通信制御装置１４が、手話話者候補の特定を行う場合に比べて、通信制御装置１４の処理負荷を低減することができる。そのため、端末装置１２の数が増加に伴う、通信制御装置１４の処理負荷の増加を抑制することができる。
【０１４４】
以上説明したように、上記各実施形態の通信制御システム１０の通信制御装置１４では、ユーザを撮像した映像信号及びユーザの音声を集音した音声信号の少なくとも一方を各々送信可能な複数の端末装置１２のいずれかを使用するユーザが手話による発話を行っているか否かを、ユーザを撮像した映像信号及び第１所定条件に基づいて判定した第１判定結果が話者選択処理部３９に入力される。また、複数の端末装置１２のいずれかを使用するユーザが音声による発話を行っているか否かを、ユーザの音声を集音した音声信号及び第２所定条件に基づいて判定した第２判定結果が話者選択処理部３９に入力される。さらに、話者選択処理部３９は、入力された第１判定結果及第２判定結果に基づいて、所定の時間毎に、話者の端末装置１２を選択する。
【０１４５】
上記各実施形態の通信制御装置１４では、ユーザを撮像した映像信号に基づいて、手話発話を行っているユーザを話者として適切に検出することができ、また、ユーザの音声を集音した音声信号に基づいて、音声発話を行っているユーザを話者として適切に検出することができる。
【０１４６】
従って、上記各実施形態の通信制御装置１４によれば、手話発話を行うユーザを含む複数のユーザ各々の端末装置１２間で通信を行う会議において、発話者による発話を支援することできる。
【０１４７】
また、上記各実施形態の通信制御装置１４によれば、手話発話を支援することができるため、手話発話のみを行うユーザや、手話発話のみを聞き取る（音声発話を聞き取らない）ユーザとのコミュニケーションを、より効率的に、かつ活発に行うことが可能となる。
【０１４８】
＜第１の変形例＞
なお、上記第１実施形態では、一例として、手話動作判定処理部３６がフレーム間の動きベクトルの変化量を算出し、算出した変化量に基づいて手話話者候補選択処理部３８が、所定期間毎に、端末装置１２のユーザが手話発話を行っているか否かを判定する形態について説明したが、当該形態に限定されない。例えば、手話動作判定処理部３６が、各フレームの映像信号が表す画像から、顔、左右の手、及び各指の位置、及び各指の形状等を抽出し、手話話者候補選択処理部３８が、所定の期間における上記抽出結果と、手話動作として固有の動作に応じて予め定められている条件（本発明の第１所定条件の一例）とに基づいて、端末装置１２のユーザが手話発話を行っているか否かを判定する形態としてもよい。
【０１４９】
＜第２の変形例＞
また、上記第１及び第４実施形態では、ユーザの動きの変化量と手話発話開始閾値及び手話発話終了閾値とに基づいて手話発話を行っているか否かを判定する形態について説明したが、ユーザの動きの変化量に基づいて手話発話を行っているか否かを判定する方法は当該形態に限定されない。例えば、手話発話を行っている間は、ユーザは手話動作を行い続けるため、映像信号のフレーム間でユーザの動きが変化する。そのため、手話動作を継続して行う場合の変化量の閾値を実験等により得ておき、ユーザの動きの変化量が当該閾値以上の場合に、手話発話を継続していると判定する形態としてもよい。また例えば、所定時間以上継続して、ユーザの動きの変化量がこれらの閾値未満となった場合、ユーザが手話発話を行っていないと判定する形態としてもよい。
【０１５０】
＜第３の変形例＞
また、上記各実施形態では、全ての端末装置１２が、マイク２０、カメラ２２、スピーカ２４、及びディスプレイ２６と接続されている形態について説明したが当該形態に限定されない。例えば、手話発話のみ行うユーザが使用する端末装置１２は、マイク２０と接続しなくてもよい、この場合、端末装置１２は、ユーザの音声を集音した音声信号を通信制御装置１４に出力しない。また例えば、音声発話のみを行うユーザが使用する端末装置１２は、カメラ２２と接続しなくてもよい。この場合、ユーザを撮像した映像信号を通信制御装置１４に出力しない。また例えば、音声発話を聞き取らず、手話発話のみを聞き取るユーザが使用する端末装置１２は、スピーカ２４と接続しなくてもよい。また例えば、手話発話を聞き取らず、音声発話のみを聞き取るユーザが使用する端末装置１２は、ディスプレイ２６と接続しなくてもよい。
【０１５１】
＜第４の変形例＞
また、上記各実施形態では、発話音声判定処理部３２が、通信制御装置１４に備えられている形態について説明したが当該形態に限定されない。
例えば、発話音声判定処理部３２は、端末装置１２に備えられていてもよい。
なお、発話音声判定処理部３２の処理と、上記各実施形態の発話音声判定処理部３２の処理において、異なる処理は、次の記載の通りである。
発話音声判定処理部３２は、当該発話音声判定処理部３２を備える端末装置１２のマイク２０から入力される音声信号に基づいて、ユーザが音声発話を行っているか否かを判定するために、端末装置１２毎に所定期間における音声信号のレベル（音声の大きさ）を検出した検出結果を、通信制御装置１４の音声話者候補選択処理部３４に出力する。
【０１５２】
＜第５の変形例＞
また、上記各実施形態では、発話音声判定処理部３２と音声話者候補選択処理部３４が、通信制御装置１４に備えられている形態について説明したが当該形態に限定されない。
例えば、発話音声判定処理部３２と音声話者候補選択処理部３４は、端末装置１２に備えられていてもよい。
なお、発話音声判定処理部３２の処理と、上記各実施形態の発話音声判定処理部３２の処理において、異なる処理は、次の記載の通りである。
発話音声判定処理部３２は、第４の変形例と同様に、当該発話音声判定処理部３２を備える端末装置１２のマイク２０から入力される音声信号に基づいて、ユーザが音声発話を行っているか否かを判定するために、端末装置１２毎に所定期間における音声信号のレベル（音声の大きさ）を検出した検出結果を、通信制御装置１４の音声話者候補選択処理部３４に出力する。
なお、音声話者候補選択処理部３４の処理と、上記各実施形態の音声話者候補選択処理部３４の処理において、異なる処理は、次の記載の通りである。
音声話者候補選択処理部３４は、当該音声話者候補選択処理部３４を備える端末装置１２の発話音声判定処理部３２の検出結果に基づいて、所定期間毎に、端末装置１２のユーザが音声発話を行っているか否かを判定し、音声発話を行っているユーザの端末装置１２を示す情報を、判定結果の音声話者候補として、通信制御装置１４の話者選択処理部３９に出力する。
【０１５３】
なお、上記各実施形態は、本発明の一例であり、本発明の主旨を逸脱しない範囲内において状況に応じて変更可能であることはいうまでもない。
【符号の説明】
【０１５４】
１０  通信制御システム
１２（１２１〜１２ｋ〜１２ｎ）  端末装置
１４  通信制御装置
３０  話者選択処理部
３２  発話音声判定処理部
３４  音声話者候補選択処理部
３６、９２（９２１、９２ｎ）  手話動作判定処理部
３８、９１（９１１、９１ｎ）、９３（９３１、９３ｎ）  手話話者候補選択処理部
３９  話者選択処理部
４０  映像／音声選択処理部
９０（９０１、９０ｎ）  骨格情報処理部
【図１】
2018033114.tif 000003
【図２】
2018033114.tif 000004
【図３】
2018033114.tif 000005
【図４】
2018033114.tif 000006
【図５】
2018033114.tif 000007
【図６】
2018033114.tif 000008
【図７】
2018033114.tif 000009
【図８】
2018033114.tif 000010
【図９】
2018033114.tif 000011
【図１０】
2018033114.tif 000012
【図１１】
2018033114.tif 000013
【図１２】
2018033114.tif 000014
【図１３】
2018033114.tif 000015
【図１４】
2018033114.tif 000016