(57)【要約】【課題】拠点各々で撮影される拠点映像の表示サイズを適切に制御することが可能なテレビ会議装置及びテレビ会議プログラムを提供すること。【解決手段】取得処理部１８１は、拠点各々で撮影される拠点映像を示す拠点映像データを取得する。算出処理部１８２は、予め定められた複数の評価項目の評価値に基づいて拠点ごとの表示優先度を算出する。合成処理部１８３は、取得処理部１８１により取得される前記拠点映像データに基づいて、前記表示優先度に応じた表示サイズで複数の拠点映像が合成された合成映像を示す合成映像データを生成する。【選択図】図２
2020053741.tif 000002
【特許請求の範囲】
【請求項１】
拠点各々で撮影される拠点映像を示す拠点映像データを取得する取得処理部と、
予め定められた複数の評価項目の評価値に基づいて拠点ごとの表示優先度を算出する算出処理部と、
前記取得処理部により取得される前記拠点映像データに基づいて、前記表示優先度に応じた表示サイズで複数の拠点映像が合成された合成映像を示す合成映像データを生成する合成処理部と、
を備えるテレビ会議装置。
【請求項２】
前記複数の評価項目には、前記拠点における参加者の発言量に関する評価項目、前記拠点における参加者の人数に関する評価項目、前記拠点から他の拠点に対して共有画像が提供されているか否かに関する評価項目、及び前記拠点に特定人物がいるか否かに関する評価項目のうちの少なくとも２つの評価項目が含まれる、
請求項１に記載のテレビ会議装置。
【請求項３】
前記合成処理部は、前記合成映像における複数の前記拠点映像のレイアウトを示す予め定められた複数のレイアウトパターンの中から前記表示優先度に基づいて１つのレイアウトパターンを選択し、当該レイアウトパターンに基づいて前記合成映像データを生成する、
請求項１又は請求項２に記載のテレビ会議装置。
【請求項４】
前記合成処理部は、前記表示優先度が予め定められた閾値以上である拠点の個数に応じて前記レイアウトパターンを選択する、
請求項３に記載のテレビ会議装置。
【請求項５】
前記合成処理部は、拠点各々で集音される拠点音声から予め登録された参加者の名前が検出された場合に、前記参加者がいる拠点の拠点映像の表示サイズを拡大する、
請求項１〜４のいずれかに記載のテレビ会議装置。
【請求項６】
前記合成処理部は、いずれかの拠点でミュート解除操作が行われた場合に、前記拠点の拠点映像の表示サイズを拡大する、
請求項１〜５のいずれかに記載のテレビ会議装置。
【請求項７】
前記拠点映像に含まれる参加者各々の口の動きに基づいて発言者を特定する特定処理部を更に備え、
前記合成処理部は、前記拠点映像から前記特定処理部により特定される発言者を切り出した部分映像を、前記拠点映像として合成する、
請求項１に記載のテレビ会議装置。
【請求項８】
前記合成処理部は、前記特定処理部により同一の拠点映像から複数の発言者が特定される場合に、前記拠点映像から前記発言者各々を切り出した複数の部分映像で構成される画面分割映像を、前記拠点映像として合成する、
請求項７に記載のテレビ会議装置。
【請求項９】
一又は複数のプロセッサーに、
拠点各々で撮影される拠点映像を示す拠点映像データを取得する取得ステップと、
予め定められた複数の評価項目の評価値に基づいて拠点ごとの表示優先度を算出する算出ステップと、
前記取得ステップで取得される前記拠点映像データに基づいて、前記表示優先度に応じた表示サイズで複数の拠点映像が合成された合成映像を示す合成映像データを生成する合成ステップと、
を実行させるためのテレビ会議プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議装置及びテレビ会議プログラムに関する。
【背景技術】
【０００２】
複数の会議室の映像を一つの画面に配置するとともに、最大音声を発生する参加者が存在する会議室の映像を他の会議室の映像よりも大きい表示サイズで配置することが可能なテレビ会議システムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２６４５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記テレビ会議システムでは、最大音声を発生する参加者が存在する会議室が変わるごとに、各会議室の映像の表示サイズが目まぐるしく変化してしまう。
【０００５】
本発明の目的は、拠点各々で撮影される拠点映像の表示サイズを適切に制御することが可能なテレビ会議装置及びテレビ会議プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一の局面に係るテレビ会議装置は、取得処理部と、算出処理部と、合成処理部とを備える。前記取得処理部は、拠点各々で撮影される拠点映像を示す拠点映像データを取得する。前記算出処理部は、予め定められた複数の評価項目の評価値に基づいて拠点ごとの表示優先度を算出する。前記合成処理部は、前記取得処理部により取得される前記拠点映像データに基づいて、前記表示優先度に応じた表示サイズで複数の拠点映像が合成された合成映像を示す合成映像データを生成する。
【０００７】
本発明の一の局面に係るテレビ会議プログラムは、一又は複数のプロセッサーに、取得ステップと、算出ステップと、合成ステップとを実行させるためのプログラムである。前記取得ステップでは、拠点各々で撮影される拠点映像を示す拠点映像データが取得される。前記算出ステップでは、予め定められた複数の評価項目の評価値に基づいて拠点ごとの表示優先度が算出される。前記合成ステップでは、前記取得ステップで取得される前記拠点映像データに基づいて、前記表示優先度に応じた表示サイズで複数の拠点映像が合成された合成映像を示す合成映像データが生成される。
【発明の効果】
【０００８】
本発明によれば、拠点各々で撮影される拠点映像の表示サイズを適切に制御することが可能なテレビ会議装置及びテレビ会議プログラムが提供される。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の実施形態に係るテレビ会議システムの構成を示すブロック図である。
【図２】図２は、本発明の実施形態に係るテレビ会議装置のシステム構成を示すブロック図である。
【図３】図３は、本発明の実施形態に係るテレビ会議装置で用いられる参加者情報の一例を示す図である。
【図４】図４は、本発明の実施形態に係るテレビ会議装置で用いられる優先度情報の一例を示す図である。
【図５】図５は、本発明の実施形態に係るテレビ会議装置で実行される合成映像生成処理の手順の一例を示すフローチャートである。
【図６】図６は、本発明の実施形態に係るテレビ会議装置で実行されるレイアウト更新処理の手順の一例を示すフローチャートである。
【図７】図７は、本発明の実施形態に係るテレビ会議装置で用いられるレイアウトパターンの例を示す図である。
【図８】図８は、本発明の実施形態に係るテレビ会議装置で実行される拠点映像切出処理について説明するための図である。
【発明を実施するための形態】
【００１０】
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【００１１】
［テレビ会議システムの構成］
図１に示されるように、本発明の実施形態に係るテレビ会議システム１００は、インターネット、ＬＡＮなどの通信網Ｎ１を介して互いに通信可能に接続される複数のテレビ会議装置１を含む。具体的に、テレビ会議システム１００は、拠点Ａに設置されるテレビ会議装置１Ａと、拠点Ｂに設置されるテレビ会議装置１Ｂと、拠点Ｃに設置されるテレビ会議装置１Ｃと、拠点Ｄに設置されるテレビ会議装置１Ｄと、拠点Ｅに設置されるテレビ会議装置１Ｅと、拠点Ｆに設置されるテレビ会議装置１Ｆとを備える。なお、テレビ会議システム１００に含まれるテレビ会議装置１の個数は６つに限定されず、６つ未満又は７つ以上であってもよい。
【００１２】
［テレビ会議装置の構成］
図２に示されるように、テレビ会議装置１は、操作部１１、表示部１２、通信Ｉ／Ｆ１３、記憶部１４、カメラ１５、マイク１６、スピーカー１７、及び制御部１８を備える。
【００１３】
操作部１１は、ユーザー操作を受け付けるためのものであり、例えば、テレビ会議の参加者によって操作されるリモコンである。
【００１４】
表示部１２は、各拠点の拠点映像を合成した合成映像などの情報を表示するためのものであり、例えば、液晶ディスプレーである。
【００１５】
通信Ｉ／Ｆ１３は、他のテレビ会議装置１との間でデータ通信を実行可能な通信インターフェイスである。
【００１６】
記憶部１４は、ハードディスク又はＥＥＰＲＯＭ（登録商標）などの不揮発性の記憶部である。記憶部１４には、制御部１８によって実行される各種の制御プログラムなどが記憶される。制御部１８によって実行される制御プログラムには、制御部１８に後述する合成映像生成処理（図５参照）を実行させるためのテレビ会議プログラムが含まれる。
【００１７】
また、記憶部１５には、例えば、参加者情報Ｄ１（図３参照）及び優先度情報Ｄ２（図４参照）が記憶される。参加者情報Ｄ１には、テレビ会議の参加者に関する情報が含まれる。優先度情報Ｄ２には、表示部１２に表示される各拠点の拠点映像の優先度に関する情報が含まれる。
【００１８】
カメラ１５は、各拠点の映像（以下、拠点映像と称す）を撮影するためのものである。カメラ１５により撮影される拠点映像には、テレビ会議の参加者の映像が含まれる。
【００１９】
マイク１６は、各拠点の音声（以下、拠点音声と称す）を集音するためのものである。マイク１６により集音される拠点音声には、テレビ会議の参加者の音声が含まれる。マイク１６は、拠点ごとに１つだけ設けられていてもよいし、参加者ごとに１つずつ設けられていてもよい。
【００２０】
スピーカー１７は、通信Ｉ／Ｆ１３を通じて受信される他の拠点の拠点音声などを出力するためのものである。
【００２１】
制御部１８は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を備える。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるための制御プログラムなどの情報が予め記憶される不揮発性の記憶部である。前記ＲＡＭは、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される揮発性又は不揮発性の記憶部である。
【００２２】
ところで、複数の会議室（拠点）の映像を一つの画面に配置するとともに、最大音声を発生する参加者が存在する会議室の映像を他の会議室の映像よりも大きい表示サイズで配置することが可能なテレビ会議システムが知られている。しかしながら、前記テレビ会議システムでは、最大音声を発生する参加者が存在する会議室が変わるごとに、各会議室の映像の表示サイズが目まぐるしく変化してしまう。これに対して、本実施形態に係るテレビ会議装置１によれば、拠点各々で撮影される拠点映像の表示サイズを適切に制御することが可能である。
【００２３】
具体的に、制御部１８は、取得処理部１８１、算出処理部１８２、合成処理部１８３、及び特定処理部１８４を含む。なお、制御部１８は、前記テレビ会議プログラムに従って各種の処理を実行することによりこれらの各処理部として機能する。また、制御部１８は、これらの各処理部の一部又は複数の処理機能を実現するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のような電子回路を備えるものであってもよい。
【００２４】
取得処理部１８１は、拠点各々で撮影される拠点映像を示す拠点映像データを取得する。具体的に、取得処理部１８１は、他のテレビ会議装置１（以下、他装置と称す）が設置されている拠点（以下、他拠点と称す）各々で撮影される拠点映像を、他装置各々から通信網Ｎ１を通じて受信する。また、取得処理部１８１は、自身のテレビ会議装置（以下、自装置と称す）が設置されている拠点（以下、自拠点と称す）で撮影される拠点映像を、自装置のカメラ１５から取得する。
【００２５】
算出処理部１８２は、予め定められた複数の評価項目の評価値に基づいて拠点ごとの表示優先度を算出する。具体的に、算出処理部１８２は、図４に示される４つの評価項目（すなわち、「発言量」、「人数」、「共有画像」、「重要人物」）の評価値を拠点ごとに算出し、これらの評価項目の評価値に基づいて拠点ごとの表示優先度を算出する。
【００２６】
「発言量」は、前記拠点における参加者の発言量に関する評価項目である。「発言量」の評価値は、例えば、予め定められた期間（例えば、直近の３分間）に前記拠点の参加者が発言していた時間（以下、発言時間と称す）に基づいて算出される。本実施形態では、前記発言時間が長いほど「発言量」の評価値は大きくなる。なお、前記発言時間は、例えば、前記拠点で集音される拠点音声を示す拠点音声データに基づいて検出される。
【００２７】
「人数」は、前記拠点における参加者の人数に関する評価項目である。本実施形態では、前記拠点における参加者の人数が多いほど、「人数」の評価値は大きくなる。前記拠点における参加者の人数は、例えば、図３に示される参加者情報Ｄ１に基づいて検出される。なお、参加者情報Ｄ１に含まれる参加者各々の情報は、例えば、テレビ会議が開始される前に、テレビ会議装置１の操作部１１を通じて入力される。なお、他の実施形態では、前記拠点の拠点映像に対して公知の顔検出処理を行うことによって、前記拠点における参加者の人数が検出されてもよい。
【００２８】
「共有画像」は、前記拠点から他の拠点に対して共有画像が提供されているか否かに関する評価項目である。前記共有画像は、例えば、パーソナルコンピューターで実行されているアプリケーションソフト（例えば、プレゼンテーションソフト、表計算ソフトなど）の画面の画像、書画カメラにより撮影される会議資料の画像などである。本実施形態では、前記共有画像を提供している拠点についての「共有画像」の評価値は、前記共有画像を提供していない拠点についての「共有画像」の評価値よりも大きくなる。
【００２９】
なお、前記共有画像は、前記拠点の拠点映像として他の拠点に提供されてもよいし、前記拠点映像の一部として前記拠点映像に重畳表示されてもよい。もしくは、前記共有画像が、前記拠点の拠点映像とは独立して他の拠点に提供されてもよい。前記共有画像を提供している拠点は、例えば、操作部１１に対する画像共有開始操作に基づいて特定される。
【００３０】
「重要人物」は、前記拠点に特定人物がいるか否かに関する評価項目である。前記特定人物は、例えば、組織における重役、責任者、指導者、テレビ会議の進行役などである。本実施形態では、前記特定人物が参加者に含まれている拠点についての「重要人物」の評価値は、前記特定人物が参加者に含まれていない拠点についての「重要人物」の評価値よりも大きくなる。前記拠点における前記特定人物の参加の有無は、例えば、図３に示される参加者情報Ｄ１に基づいて検出される。
【００３１】
算出処理部１８２は、拠点ごとに、「発言量」、「人数」、「共有画像」、及び「重要人物」の４つの評価項目の評価値を算出して、優先度情報Ｄ２として記憶する。さらに、算出処理部１８２は、これらの４つの評価項目の評価値を乗算することによって、拠点ごとの表示優先度を算出して、優先度情報Ｄ２として記憶する。
【００３２】
なお、本実施形態では、「発言量」、「人数」、「共有画像」、及び「重要人物」の４つの評価項目の評価値に基づいて、拠点ごとの表示優先度が算出されるが、他の実施形態では、算出処理部１８２は、これらの４つの評価項目のうちの２つ又は３つの評価項目の評価値に基づいて、拠点ごとの表示優先度を算出してもよい。すなわち、算出処理部１８２は、これらの４つの評価項目のうちの少なくとも２つの評価項目の評価値に基づいて、拠点ごとの表示優先度を算出してもよい。また、さらに他の実施形態では、算出処理部１８２は、図４に示される４つの評価項目以外の任意の評価項目の評価値に基づいて、拠点ごとの表示優先度を算出してもよい。
【００３３】
合成処理部１８３は、取得処理部１８１により取得される前記拠点映像データに基づいて、前記表示優先度に応じた表示サイズで複数の拠点映像が合成された合成映像を示す合成映像データを生成する。
【００３４】
例えば、合成処理部１８３は、前記合成映像における複数の前記拠点映像のレイアウトを示す予め定められた複数のレイアウトパターンの中から前記表示優先度に基づいて１つのレイアウトパターンを選択し、当該レイアウトパターンに基づいて前記合成映像データを生成してもよい。具体的に、合成処理部１８３は、図７に示される（Ａ）〜（Ｃ）の３つのレイアウトパターンの中から、前記表示優先度に基づいて１つのレイアウトパターンを選択してもよい。
【００３５】
図７に示される（Ａ）〜（Ｃ）の３つのレイアウトパターンの各々には、拠点映像表示領域Ｒ１〜Ｒ６が含まれる。拠点映像表示領域Ｒ１は、優先順位が１位の拠点（すなわち、前記表示優先度が最も高い拠点）の拠点映像が表示される表示領域である。拠点映像表示領域Ｒ２は、優先順位が２位の拠点（すなわち、前記表示優先度が２番目に高い拠点）の拠点映像が表示される表示領域である。拠点映像表示領域Ｒ３は、優先順位が３位の拠点（すなわち、前記表示優先度が３番目に高い拠点）の拠点映像が表示される表示領域である。拠点映像表示領域Ｒ４は、優先順位が４位の拠点（すなわち、前記表示優先度が４番目に高い拠点）の拠点映像が表示される表示領域である。拠点映像表示領域Ｒ５は、優先順位が５位の拠点（すなわち、前記表示優先度が５番目に高い拠点）の拠点映像が表示される表示領域である。拠点映像表示領域Ｒ６は、優先順位が６位の拠点（すなわち、前記表示優先度が６番目に高い拠点）の拠点映像が表示される表示領域である。
【００３６】
例えば、合成処理部１８３は、前記表示優先度が予め定められた閾値以上である拠点の個数に応じて前記レイアウトパターンを選択してもよい。例えば、合成処理部１８３は、前記表示優先度が前記閾値以上である拠点の個数が１つである場合は図７に示される（Ａ）のレイアウトパターンを選択し、前記個数が２つである場合は図７に示される（Ｂ）のレイアウトパターンを選択し、前記個数が３つである場合は図７に示される（Ｃ）のレイアウトパターンを選択する。なお、前記閾値は、予め設定された固定値であってもよいし、算出処理部１８２の算出結果に応じて決定されてもよい。例えば、前記閾値が、拠点各々の表示優先度の平均値に基づいて決定されてもよい。
【００３７】
また、合成処理部１８３は、拠点各々で集音される拠点音声から予め登録された参加者の名前が検出された場合に、前記参加者がいる拠点の拠点映像の表示サイズを拡大してもよい。例えば、合成処理部１８３は、拠点各々の拠点音声を示す拠点音声データに対して公知の音声認識処理を実行することによって、前記拠点音声をテキストデータに変換する。そして、合成処理部１８３は、前記テキストデータから図３に示される参加者情報Ｄ１に含まれるいずれかの参加者の名前が検出された場合に、前記参加者（すなわち、名前を呼ばれた参加者）がいる拠点の拠点映像の表示サイズを拡大する。テレビ会議において、ある参加者の名前が呼ばれた場合、その参加者が次に発言する可能性が高いと予想される。よって、名前が呼ばれた参加者がいる拠点の拠点映像の表示サイズを拡大することにより、前記参加者が発言する前に前記拠点の拠点映像の表示サイズを前もって拡大させておくことができる。
【００３８】
なお、前記拠点の拠点映像の表示サイズを拡大する方法としては、例えば、前記表示優先度に基づいて決定される前記拠点の優先順位を、現在の優先順位よりも上位の優先順位（例えば、１位、現在の優先順位よりも１つ上の優先順位、現在の優先順位よりも２つ上の優先順位など）に変更することが考えられる。その結果、前記拠点の拠点映像が、よりサイズの大きい拠点映像表示領域（例えば、拠点映像表示領域Ｒ１、拠点映像表示領域Ｒ２など）に表示されることになる。なお、前記拠点の拠点映像の表示サイズを拡大する他の方法として、前記拠点の前記表示優先度を、より大きくなるように変更することが考えられる。
【００３９】
合成処理部１８３は、いずれかの拠点でミュート解除操作が行われた場合に、前記拠点の拠点映像の表示サイズを拡大してもよい。前記ミュート解除操作は、マイク１６による音声の集音が一時的に停止されている状態（ミュート状態）を解除し、マイク１６による音声の集音を再開させる操作である。前記ミュート解除操作は、例えば、操作部１１を通じて受け付けられる。合成処理部１８３は、いずれかの拠点に設置されているテレビ会議装置１からミュート解除操作が行われたことを示す信号を受信した場合に、前記拠点の拠点映像の表示サイズを拡大する。ある拠点においてミュート解除操作が行われたということは、その拠点の参加者がこれから発言しようとしていることを意味する。よって、ミュート解除操作が行われた拠点の拠点映像の表示サイズを拡大することにより、前記拠点の参加者が発言する前に前記拠点の拠点映像の表示サイズを前もって拡大させておくことができる。
【００４０】
特定処理部１８４は、前記拠点映像に含まれる参加者各々の口の動きに基づいて発言者を特定する。例えば、特定処理部１８４は、前記拠点映像に対して公知の顔検出処理を行うことによって、参加者各々の口の特徴点（例えば、上唇の位置、下唇の位置など）の位置を特定し、前記特徴点の位置の時間的な変化に基づいて、前記参加者各々が発言しているか否かを判定する。
【００４１】
合成処理部１８３は、前記拠点映像から特定処理部１８４により特定される発言者を切り出した部分映像を、前記拠点映像として合成してもよい。例えば、合成処理部１８３は、前記発言者を中心とした矩形領域を前記拠点映像から前記部分映像として切り出し、当該切り出した部分映像を拡大させて、前記拠点映像として合成してもよい。これにより、例えば、一つの拠点映像に多数の参加者が含まれている場合においても、それらの参加者の中から発言者だけを切り出して大きく表示することができる。
【００４２】
また、合成処理部１８３は、特定処理部１８４により同一の拠点映像（例えば、図８に示される拠点映像Ｇ１）から複数の発言者が特定される場合に、前記拠点映像から前記発言者各々を切り出して拡大させた複数の部分映像で構成される画面分割映像（例えば、図８に示される画面分割映像Ｇ２）を、前記拠点映像として合成してもよい。これにより、例えば、同一の拠点内の複数の参加者が互いに会話している場合に、前記参加者各々を切り出して大きく表示することができる。
【００４３】
［合成映像生成処理］
次に、図５を参照しつつ、制御部１８によって実行される合成映像生成処理の手順の一例について説明する。ここで、ステップＳ１，Ｓ２，・・・は、制御部１８により実行される処理手順（ステップ）の番号を表している。なお、前記合成映像生成処理は、例えば、テレビ会議装置１においてテレビ会議の開始操作が行われたことに応じて開始され、その後、テレビ会議装置１においてテレビ会議の終了操作が行われたことに応じて終了される。
【００４４】
ここでは、一例として、拠点Ａに設置されているテレビ会議装置１Ａの制御部１８によって実行される合成映像生成処理の手順の一例について説明する。
【００４５】
＜ステップＳ１＞
まず、ステップＳ１において、制御部１８は、拠点Ａ〜拠点Ｆの各々の拠点映像データ及び拠点音声データを取得する。具体的に、制御部１８は、拠点Ａの拠点映像データ及び拠点音声データを、テレビ会議装置１Ａのカメラ１５及びマイク１６から取得する。また、制御部１８は、拠点Ｂ〜拠点Ｆの各々の拠点映像データ及び拠点音声データを、テレビ会議装置１Ｂ〜１Ｆの各々から通信網Ｎ１を通じて受信する。当該ステップＳ１の処理は、制御部１８の取得処理部１８１により実行される。当該ステップＳ１は、本発明の取得ステップの一例である。
【００４６】
＜ステップＳ２＞
ステップＳ２において、制御部１８は、レイアウト更新タイミングが到来したか否かを判断する。前記レイアウト更新タイミングは、例えば、予め定められた周期（例えば、１秒間、１分間など）で到来するタイミングである。そして、前記レイアウト更新タイミングが到来したと判断されると（Ｓ２：Ｙｅｓ）、処理がステップＳ３に移行する。一方、前記レイアウト更新タイミングが到来していないと判断されると（Ｓ２：Ｎｏ）、処理がステップＳ４に移行する。
【００４７】
＜ステップＳ３＞
ステップＳ３において、制御部１８は、レイアウト更新処理を実行する。以下、図６を参照しつつ、前記レイアウト更新処理について詳細に説明する。
【００４８】
＜ステップＳ３１＞
ステップＳ３１において、制御部１８は、予め定められた複数の評価項目（例えば、「発言量」、「人数」、「共有画像」、及び「重要人物」の４つの評価項目）の評価値を、拠点ごとに算出する。そして、制御部１８は、算出された評価値を優先度情報Ｄ２として記憶部１４に記憶させる。
【００４９】
＜ステップＳ３２＞
ステップＳ３２において、制御部１８は、前記ステップＳ３１で算出された評価値に基づいて、拠点ごとの表示優先度を算出する。そして、制御部１８は、算出された表示優先度を優先度情報Ｄ２として記憶部１４に記憶させる。当該ステップＳ３２の処理は、制御部１８の算出処理部１８２により実行される。当該ステップＳ３２は、本発明の算出ステップの一例である。
【００５０】
＜ステップＳ３３＞
ステップＳ３３において、制御部１８は、前記ステップＳ３２で算出された表示優先度に基づいて、優先拠点を決定する。前記優先拠点は、拠点Ａ〜拠点Ｆのうち、前記表示優先度が予め定められた閾値以上である拠点である。
【００５１】
＜ステップＳ３４＞
ステップＳ３４において、制御部１８は、予め定められた複数のレイアウトパターンの中から、前記ステップＳ３３で決定された前記優先拠点の個数に応じて１つのレイアウトパターンを選択する。例えば、制御部１８は、前記優先拠点の個数が１つである場合は図７に示される（Ａ）のレイアウトパターンを選択し、前記優先拠点の個数が２つである場合は図７に示される（Ｂ）のレイアウトパターンを選択し、前記優先拠点の個数が３つである場合は図７に示される（Ｃ）のレイアウトパターンを選択する。
【００５２】
前記レイアウト更新処理が終了すると、処理が図５のステップＳ４に移行する。
【００５３】
＜ステップＳ４＞
ステップＳ４において、制御部１８は、前記ステップＳ１で取得された拠点Ａ〜拠点Ｆの各々の拠点音声データに対して音声認識処理を実行し、拠点Ａ〜拠点Ｆの各々の拠点音声をテキストデータに変換する。
【００５４】
＜ステップＳ５＞
ステップＳ５において、制御部１８は、前記ステップＳ４で変換されたテキストデータから、参加者情報Ｄ１に含まれているいずれかの参加者の名前が検出されたか否かを判断する。そして、いずれかの参加者の名前が検出されたと判断されると（Ｓ５：Ｙｅｓ）、処理がステップＳ６に移行する。一方、いずれの参加者の名前も検出されなかったと判断されると（Ｓ５：Ｎｏ）、処理がステップＳ７に移行する。
【００５５】
＜ステップＳ６＞
ステップＳ６において、制御部１８は、拠点の優先順位を変更する。具体的に、制御部１８は、前記テキストデータから名前が検出された参加者がいる拠点の優先順位を、現在の優先順位（すなわち、前記ステップＳ３２で算出された表示優先度に基づく優先順位）よりも上位の優先順位（例えば、１位の優先順位）に変更する。
【００５６】
＜ステップＳ７＞
ステップＳ７において、制御部１８は、拠点Ａ〜拠点Ｆのいずれかの拠点でミュート解除操作が行われたか否かを判断する。そして、いずれかの拠点で前記ミュート解除操作が行われたと判断されると（Ｓ７：Ｙｅｓ）、処理がステップＳ８に移行する。一方、いずれの拠点でも前記ミュート解除操作が行われていないと判断されると（Ｓ７：Ｎｏ）、処理がステップＳ９に移行する。
【００５７】
＜ステップＳ８＞
ステップＳ８において、制御部１８は、拠点の優先順位を変更する。具体的に、制御部１８は、前記ミュート解除操作が行われた拠点の優先順位を、現在の優先順位よりも上位の優先順位に変更する。
【００５８】
＜ステップＳ９＞
ステップＳ９において、制御部１８は、拠点映像切出処理を実行する。具体的に、制御部１８は、前記ステップＳ１で取得された拠点Ａ〜拠点Ｆの各々の拠点映像データに基づいて、一又は複数の発言者を特定する。当該特定処理は、制御部１８の特定処理部１８４により実行される。そして、制御部１８は、発言者が含まれる拠点映像から、前記発言者を中心とした矩形領域を部分映像として切り出す。なお、同一の拠点映像から複数の発言者が特定された場合は、制御部１８は、前記拠点映像から前記複数の発言者に対応する複数の部分映像を切り出す。なお、発言者が特定されない場合は、前記部分映像の切り出しは行われずに、処理がステップＳ１０に移行する。
【００５９】
＜ステップＳ１０＞
ステップＳ１０において、制御部１８は、前記ステップＳ１で取得された拠点Ａ〜拠点Ｆの各々の拠点映像データに基づいて、拠点Ａ〜拠点Ｆの各々の拠点映像を合成した合成映像を示す合成映像データを生成する。具体的に、制御部１８は、前記ステップＳ３４で選択されたレイアウトパターンと拠点ごとの優先順位とに基づいて、拠点Ａ〜拠点Ｆの各々の拠点映像を合成する。例えば、前記ステップＳ３４で選択されたレイアウトパターンにおける拠点映像表示領域Ｒ１には優先順位が１位の拠点の拠点映像が配置され、拠点映像表示領域Ｒ２には優先順位が２位の拠点の拠点映像が配置され、拠点映像表示領域Ｒ３は優先順位が３位の拠点の拠点映像が配置され、拠点映像表示領域Ｒ４には優先順位が４位の拠点の拠点映像が配置され、拠点映像表示領域Ｒ５には優先順位が５位の拠点の拠点映像が配置され、拠点映像表示領域Ｒ６には優先順位が６位の拠点の拠点映像が配置される。当該ステップＳ１０の処理は、制御部１８の合成処理部１８３により実行される。当該ステップＳ１０は、本発明の合成ステップの一例である。
【００６０】
なお、前記ステップＳ９において、拠点Ａ〜拠点Ｆのいずれかの拠点の拠点映像から一又は複数の部分映像が切り出された場合は、制御部１８は、当該部分映像が切り出される前の拠点映像の代わりに、当該切り出された一又は複数の部分映像で構成された拠点映像（例えば、図８に示される画面分割映像Ｇ２）を合成する。
【００６１】
＜ステップＳ１１＞
ステップＳ１１において、制御部１８は、前記ステップＳ１０で生成された合成映像データに基づいて、表示部１２に合成映像を表示させる。そして、処理がステップＳ１に戻る。
【００６２】
テレビ会議装置１Ｂ〜１Ｆにおいても、テレビ会議装置１Ａと同様に、制御部１８によって前記合成映像生成処理が実行される。
【００６３】
以上のように、本実施形態に係るテレビ会議装置１では、予め定められた複数の評価項目の評価値に基づいて拠点ごとの表示優先度が算出され、前記表示優先度に応じた表示サイズで複数の拠点映像が合成される。よって、例えば各拠点映像の表示サイズが１つの評価項目のみに基づいて変化する場合と比較して、各拠点映像の表示サイズが目まぐるしく変化してしまうことが抑制される。このように、本実施形態に係るテレビ会議装置１によれば、拠点各々で撮影される拠点映像の表示サイズを適切に制御することが可能である。
【００６４】
［変形例］
なお、本実施形態では、予め定められた複数のレイアウトパターンの中から拠点ごとの表示優先度に基づいて１つのレイアウトパターンが選択されるが、本発明はこれに限定されない。他の実施形態では、拠点ごとの表示優先度に関わらず、常に固定のレイアウトパターン（例えば、図７に示される（Ａ）〜（Ｃ）のいずれかのレイアウトパターン）が用いられてもよい。
【００６５】
また、本実施形態では、テレビ会議装置１Ａ〜１Ｆの各々において前記合成映像データが生成されるが、本発明はこれに限定されない。他の実施形態では、テレビ会議装置１Ａ〜１Ｆのいずれか１つが親機として動作して前記合成映像データを生成してもよい。そして、親機として動作するテレビ会議装置１が、子機である他のテレビ会議装置１に前記合成映像データを送信してもよい。これにより、子機は、親機から受信した前記合成映像データに基づいて表示部１２に合成映像を表示させることが可能となる。
【００６６】
また、他の実施形態では、テレビ会議装置１Ａ〜１Ｆとは別に、親機として動作するテレビ会議装置（以下、単に親機と称す）が設けられてもよい。この場合、親機は、テレビ会議装置１Ａ〜１Ｆの各々から前記拠点映像データを受信し、前記拠点映像データに基づいて合成映像データを生成する。そして、親機は、子機であるテレビ会議装置１Ａ〜１Ｆに前記合成映像データを送信する。これにより、子機であるテレビ会議装置１Ａ〜１Ｆは、親機から受信した前記合成映像データに基づいて表示部１２に合成映像を表示させることが可能となる。
【符号の説明】
【００６７】
１  テレビ会議装置
１１  操作部
１２  表示部
１３  通信Ｉ／Ｆ
１４  記憶部
１５  カメラ
１６  マイク
１７  スピーカー
１８  制御部
１００  テレビ会議システム
１８１  取得処理部
１８２  算出処理部
１８３  合成処理部
１８４  特定処理部
【図１】
2020053741.tif 000003
【図２】
2020053741.tif 000004
【図３】
2020053741.tif 000005
【図４】
2020053741.tif 000006
【図５】
2020053741.tif 000007
【図６】
2020053741.tif 000008
【図７】
2020053741.tif 000009
【図８】
2020053741.tif 000010