(57)【要約】【課題】発言中の参加者の口唇部分の視認性を向上させることが可能なウェブ会議システムを提供すること。【解決手段】複数の拠点に接続されたクライアント端末で撮影される撮影画像を複数表示することが可能なウェブ会議システムであって、発言中の人物が存在するクライアント端末を特定する特定手段と、特定手段により特定されたクライアント端末で撮影された撮影画像から発言中の人物の口唇部分を検出する検出手段と、検出手段により発言中の人物の口唇部分が検出されてない場合に、特定手段により特定されたクライアント端末に対して検出がされていないことを示す表示をする表示制御手段と、を有することを特徴とする。【選択図】図４
2019117997.tif 000002
【特許請求の範囲】
【請求項１】
複数の拠点に接続されたクライアント端末で撮影される撮影画像を複数表示することが可能なウェブ会議システムであって、
発言中の人物が存在するクライアント端末を特定する特定手段と、
前記特定手段により特定されたクライアント端末で撮影された撮影画像から発言中の人物の口唇部分を検出する検出手段と、
前記検出手段により発言中の人物の口唇部分が検出されてない場合に、前記特定手段により特定されたクライアント端末に対して該検出がされていないことを示す表示をする表示制御手段と、
を有することを特徴とするウェブ会議システム。
【請求項２】
前記表示制御手段は、前記検出手段により口唇部分が検出された場合に、前記特定手段で特定されたクライアント端末に表示される発言者の口唇部分を拡大した拡大画像を他のクライアント端末に表示することを特徴とする請求項１に記載のウェブ会議システム。
【請求項３】
口唇優先モードと通常モードのうち一方の会議モードを設定する会議モード設定手段とを更に有し、
前記表示制御手段は、会議の参加者に前記口唇優先モードを設定しているクライアント端末がいる場合に、前記拡大画像を表示することを特徴とする請求項２に記載のウェブ会議システム。
【請求項４】
前記表示制御手段は、前記口唇優先モードを設定したクライアント端末に対して前記拡大画像を表示する請求項３に記載のウェブ会議システム。
【請求項５】
前記特定手段は、クライアント端末から音を取得した場合に、当該クライアント端末を発言中の人物が存在するクライアント端末と特定することを特徴とする請求項１乃至４のいずれか１項に記載のウェブ会議システム。
【請求項６】
複数の拠点に接続されたクライアント端末で撮影される撮影画像を複数表示することが可能なウェブ会議システムの制御方法であって、
発言中の人物が存在するクライアント端末を特定する特定工程と、
前記特定工程により特定されたクライアント端末で撮影された撮影画像から発言中の人物の口唇部分を検出する検出工程と、
前記検出工程により発言中の人物の口唇部分が検出されてない場合に、前記特定工程により特定されたクライアント端末に対して該検出がされていないことを示す表示をする表示制御工程と、
を有することを特徴とするウェブ会議システムの制御方法。
【請求項７】
請求項６に記載のウェブ会議システムの制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の拠点に接続されるクライアント端末を用いたウェブ会議システム、ウェブ会議システムの制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来から、ネットワークを介して接続された複数の端末を利用して、仮想的な会議を行うウェブ会議システムが知られている。ウェブ会議システムにおける会議参加者は、異なる拠点に配置された端末に接続し、自由に発言を行うことが可能となっている。一方で、会議に参加する拠点が多い場合には、発言中の拠点が不明になる場合があった。
【０００３】
特許文献１では、口唇部分の動きを捕捉して発話の前駆動作を検出することにより、発言を開始しようとする参加者を特定するテレビ会議システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１８３１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、音が聞き取りつらい難聴者等がウェブ会議システムに参加する場合には、異なる拠点の発言者の唇の動きを見てその内容を理解する。この場合、難聴者等は、発言者の唇が画面に対して小さく表示される場合や、画面に映らない場合には意思疎通が困難となる。しかしながら、特許文献１に記載の技術では、発言の開始を検出できるものの、発言中の動作の検出方法については何ら検討されていなかった。
【０００６】
そこで、本発明は、上記の課題に鑑みてなされたものであり、発言中の参加者の口唇部分の視認性を向上させることが可能なウェブ会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明は、複数の拠点に接続されたクライアント端末で撮影される撮影画像を複数表示することが可能なウェブ会議システムであって、発言中の人物が存在するクライアント端末を特定する特定手段と、前記特定手段により特定されたクライアント端末で撮影された撮影画像から発言中の人物の口唇部分を検出する検出手段と、前記検出手段により発言中の人物の口唇部分が検出されてない場合に、前記特定手段により特定されたクライアント端末に対して該検出がされていないことを示す表示をする表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、発言中の参加者の口唇部分の視認性を向上させることが可能なウェブ会議システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係わるウェブ会議システムのシステム構成図の一例を示す図である。
【図２】本発明の実施形態に係るウェブ会議システムにおける情報処理装置のハードウェア構成例を示すブロック図である。
【図３】本発明の実施形態に係るウェブ会議システムにおける機能構成の一例を示す機能構成図である。
【図４】本発明の実施形態に係るウェブ会議システムにおける制御処理の一例を示すフローチャートである。
【図５】本発明の実施形態に係るウェブ会議システムにおけるデータベースの一例を示す図である。
【図６】本発明の実施形態に係るウェブ会議システムにおけるクライアント端末の表示画面の一例を示す図である。
【図７】本発明の実施形態に係るウェブ会議システムにおけるクライアント端末の表示画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１１】
図１は、本実施形態に係わるウェブ会議システムのシステム構成図の一例を示す図である。
【００１２】
本発明のウェブ会議システムは、例えば、パーソナルコンピュータを適用可能なクライアント端末１００（３００、３１０）の間でウェブ会議システムを利用可能にするウェブ会議サーバ（サーバ装置）２００がネットワーク１１０を介して接続されている。ウェブ会議システムは、Ｗｅｂ会議システム・テレビ会議システムとも呼ぶ。クライアント端末１００（３００、３１０）は、ウェブ会議サーバ（サーバ装置）２００のクライアント端末として機能する。ウェブ会議システムは、複数の拠点に接続された各クライアント端末で撮影される画像（静止画あるいは動画）を複数の各クライアント端末に表示することができる。また、ウェブ会議システムは、複数の拠点に接続された各クライアント端末で発した音声を複数の各クライアント端末に出力することができる。なお、クライアント端末１００は、ＰＣ等に代表される情報処理装置の一態様である。
【００１３】
各装置は、ネットワーク１１０に有線ネットワークで接続するようにしてもよいし、無線ネットワークや無線通信により接続するようにしてもよい。
【００１４】
ウェブ会議サーバ２００は、ウェブブラウザを利用したウェブ会議を実現するためのサーバである。クライアント端末１００は、はウェブ会議サーバ２００へアクセスすることにより、ウェブ会議画面（インタフェース）を取得してウェブ会議を行うことができる。ウェブ会議サーバ２００は、ＣＰＵ等の制御回路、ＲＡＭ、ＲＯＭ等の記憶領域を備える。また、ウェブ会議サーバ２００は、各クライアント端末１００と通信するための通信回路を備える。
【００１５】
本実施形態では、クライアント端末１００や３００のようにタブレットＰＣを例にして説明するが、情報処理装置３１０のようなノートＰＣや不図示のデスクトップＰＣなどを利用することもできる。情報処理装置は、ウェブ会議サーバから配信されるコンテンツの画像を所定の表示領域に表示可能となっている。
【００１６】
配信されるコンテンツ（映像、音声、音量など）は、カメラ１０１やマイク１０２によって取得された画像や音声であって、所定の間隔で情報処理装置からウェブ会議サーバへ送信される。これらの情報を蓄積したウェブ会議サーバ２００が、接続された情報処理装置に配信するようになっている。
【００１７】
これらクライアント端末１００には、ウェブ会議サーバ２００へアクセスするためのウェブブラウザ、及び専用のモジュールがインストールされている。なお、この専用のモジュールは、例えば、ウェブブラウザを介して、ウェブ会議サーバ２００からダウンロードするＡｃｔｉｖｅＸコンポーネントである。
【００１８】
なお、ウェブ会議において自身の動画像を送信する場合は、ビデオデバイスであるウェブカメラなどのカメラ１０１を接続する。音声を送信する場合は、マイク１０２を接続し、相手の音声を視聴するためにはスピーカー１０３を接続する。マイク１０２およびスピーカー１０３はオーディオデバイスである。例えば、本実施例ではマイク１０２によって集音された音声の変化を利用して注目すべき拠点を決定することが可能である。
【００１９】
また、各デバイスは同じ筐体のハードに備えられるものもあり、例えばカメラ機能とマイク機能や、マイク機能とスピーカー機能、および全ての機能を備えたデバイスも存在する。
【００２０】
また、ウェブ会議システムは、クライアント端末１００の画面を他の情報処理装置（３００や３１０）の画面に表示する、画面共有を行うことができる。共有される画面は、クライアント端末１００で指定することが可能で、指定するアプリケーションの画面であったり、デスクトップ全体であったりする。
【００２１】
本ウェブ会議システムは、ルームと呼ばれるウェブ上の仮想会議室を複数設定することが可能で、ルームを複数設定することにより複数の会議を行うことが可能である。
【００２２】
図２は、本発明の実施形態に係わる情報処理装置のハードウェア構成の一例を示すブロック図である。
【００２３】
図２に示すように、クライアント端末１００では、システムバス２１５を介してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入出力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。
【００２４】
ＣＰＵ２０１は、システムバス２１５に接続される各デバイスやコントローラを統括的に制御する。
【００２５】
ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
【００２６】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【００２７】
入力コントローラ２０５は、キーボード／タッチパネル／カメラなどの入力装置２１０からの入力を制御する。入力装置はこれに限ったものでなく、マウスやマルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００２８】
音声入出力コントローラ２０６は、マイク／スピーカー等の音声入出力装置２１１からの入出力を制御する。マイクから入力された音声を音声認識することが可能となっている。スピーカーにはイヤホンを接続することも可能である。
【００２９】
ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、キーボード／タッチパネルからの入力を受け付けることも可能となる。
【００３０】
なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
【００３１】
本発明では、ユーザが情報処理装置を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。
【００３２】
メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
【００３３】
通信Ｉ／Ｆコントローラ２０９、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。
【００３４】
なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの媒体であってもよい。
【００３５】
また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。
【００３６】
図３は、本実施形態に係るウェブ会議システムにおける機能構成の一例を示す機能構成図である。なお、各機能は、ウェブ会議サーバ２００に含まれるＣＰＵ等により実行される機能である。
【００３７】
ウェブ会議システムのウェブ会議サーバ２００は、発言者特定部３１１、撮影画像取得部３１２、口唇部分検出部３１３、表示制御部３１４、会議モード設定部３１５、記憶部３１６を有する。
【００３８】
発言者特定部３１１は、発言中の人物が存在するクライアント端末を特定する。具体的には、発言者特定部３１１は、会議に参加するクライアント端末から音声を取得した場合に、発言中の人物が存在するクライアント端末であると特定できる。例えば、発言者特定部３１１は、クライアント端末を利用する人物が音を発したことを検出した場合に、該クライアント端末を発言中の人物が存在するクライアント端末であると特定できる。発言者特定部３１１によるクライアント端末の特定方法は、これらに限定されない。例えば、発言者特定部３１１は、撮影画像に映る人物の動作から特定してもよい。また、発言者特定部３１１は、クライアント端末から発言に先立って、発言中であることを示す音声以外の信号を受信し、当該情報により特定してもよい。
【００３９】
撮影画像取得部３１２は、ウェブ会議に参加するクライアント端末で撮影された撮影画像を取得する。撮影画像取得部３１２は、連続して撮影された撮影画像である動画を取得する。
【００４０】
口唇部分検出部３１３は、発言者特定部３１１により特定されたクライアント端末で撮影された撮影画像から発言中の人物の口唇部分を検出する。ウェブ会議サーバ２００は、ウェブ会議の際には、撮影画像取得部３１２により動画を常時取得する。ここで、口唇部分検出部３１３は、発言を開始した人物が存在すると特定されたクライアント端末から取得した動画の各フレームの撮影画像から人物の顔部分を検出する。そして、口唇部分検出部３１３は、顔部分を検出した撮影画像から口唇部分を検出する。ここで、口唇部分とは、唇とその周辺部分を含み、人物が発言する際に動く部分を示す。口唇部分は、口の動きを見て、発言を読み取れる程度の範囲が含まれていることが好ましい。また、口唇部分には、顔の鼻から顎の範囲で、且つ頬と頬の間が映っていることが好ましい。口唇部分検出部３１３は、公知の画像処理技術やパターン認識処理等により口唇部分を特定する。
【００４１】
表示制御部３１４は、各クライアント端末から取得した撮影画像を会議に参加するクライアント端末に表示する。表示制御部３１４は、口唇部分検出部３１３により発言中の人物の口唇部分が検出されてない場合に、発言者特定部３１１で特定したクライアント端末に対して、警告表示をする。ここで、警告表示は、口唇部分検出部３１３により口唇部分が検出がされていないことを示す表示であればよい。表示制御部３１４は、当該表示を行うことにより、発言者に対して注意喚起をすることができる。なお、表示制御部３１４は、口唇部分検出部３１３により発言中の人物の口唇部分が検出されている場合には、当該警告表示は行わない。また、表示制御部３１４は、口唇部分検出部３１３により発言中の人物の口唇部分が検出されている場合に、クライアント端末に表示される発言者の口唇部分を拡大した画像（拡大画像）を他のクライアント端末に表示する。さらに、表示制御部３１４は、後述する会議モード設定部３１５により口唇優先モードが設定されたクライアント端末に対してのみ拡大画像を表示してもよい。なお、表示制御部３１４は、この場合、口唇優先モードが設定されていないクライアント端末に対しては拡大画像ではなく、通常の撮影画像を表示するように制御してもよい。
【００４２】
会議モード設定部３１５は、各クライアント端末の会議モードを設定する。各会議の参加者は、予めクライアント端末上の参加画面（図６の会議予約画面６００）から会議モードを選択することができる。会議モード設定部３１５は、取得した設定情報を、データベース（図５の会議モードデータベース５００）として、ウェブ会議サーバの記憶部３１６に記憶する。ここで、会議モードとは、会議中の各クライアント端末への表示モードを示す。口唇優先モードは、口唇部分の動きを基に他の参加者の発言内容を判断するユーザのために設けられたものである。口唇優先モードにより難聴者もリアルタイムに会議に参加することができる。通常モードは、上述した口唇部分の検出処理や拡大画像の表示処理を行わないモードである。
【００４３】
記憶部３１６は、図５で示す各データベースを記憶し、これらを管理する機能部である。
【００４４】
なお、本実施形態では、本機能構成図に示す機能をウェブ会議サーバが有するように説明しているが、一部の機能を各クライアント端末で実行してもよいし、複数のサーバで協業して機能させてもよい。
【００４５】
ここで、図５を用いて、本実施形態に係るウェブ会議システムにおけるデータベースの一例を説明する。
【００４６】
会議モードデータベース５００は、ルームＩＤ５０１と、ユーザＩＤ５０２と、会議モード５０３とが対応づけられた情報である。ルームＩＤ５０１は、ウェブ会議システムで開催される会議を識別するための情報である。ユーザＩＤ５０２は、ウェブ会議システムの参加者を識別するための情報である。会議モード５０３は、ユーザが設定した会議モードを識別するための情報である。図５を例に説明すると、ルームＩＤ５０１が「１０００００」であり、ユーザＩＤ５０２が「１０００００」と「１００００１」の各ユーザは同じウェブ会議に参加することを示す。また、ユーザＩＤ５０２が「１０００００」のユーザは、「口唇優先モード」で、当該会議に参加し、ユーザＩＤ５０２が「１００００１」のユーザは、「通常モード」で、当該会議に参加することを示す。
【００４７】
会議管理データベース５１０は、ルームＩＤ５１１と、会議の名称であるルーム名５１２と、その利用時間である利用時間５１３とが対応づけられた情報である。
【００４８】
ユーザ管理データベース５２０は、ユーザＩＤ５２１と、ユーザの名前を示すユーザ名５２２と、ユーザが属するグループ名５２３とが対応づけられた情報である。
【００４９】
次に、図４を用いて本実施形態のウェブ会議システムにおける制御処理を説明する。図４は、本発明の実施形態に係るウェブ会議システムにおける制御処理の一例を示すフローチャートである。
【００５０】
Ｓ４０１において、ウェブ会議サーバ２００は、会議の参加者情報を受信する。ここで、参加者とは、具体的には、各ユーザが操作するクライアント端末１００を示す。参加者情報とは、ユーザ管理データベース５２０に登録されるユーザの参加要求である。さらに、参加者情報とは、口唇優先モードと通常モードのいずれの会議モードで参加するかを示す情報である。当該参加者情報を受信するために、ウェブ会議サーバ２００は、クライアント端末に表示される会議予約画面６００（図６）からユーザにより入力された情報を受信する。ここで、図６を用いて会議予約画面６００について説明する。会議予約画面６００は、ウェブ会議サーバ２００により各クライアント端末に表示される画面である。会議予約画面６００は、参加ボタン（６０１、６０２）と、口唇優先モード選択アイコン（６０３、６０４）を含んで表示する。参加ボタン（６０１、６０２）は、会議単位で設定されるボタンであり、選択を受け付けた場合に、クライアント端末はウェブ会議サーバに参加を要求する。口唇優先モード選択アイコン（６０３、６０４）は、口唇優先モードで参加するか否かを選択するアイコンである。口唇優先モード選択アイコン６０３は、口唇優先モードで参加が選択されている場合であり、口唇優先モード選択アイコン６０４は、口唇優先モードで参加せず通常モードで参加する場合を示す。
【００５１】
Ｓ４０２において、ウェブ会議サーバ２００は、各参加者の会議モードを記憶する。具体的には、ウェブ会議サーバ２００は、各参加者が口唇優先モードであるか通常モードであるかを、会議モードデータベース５００に記憶する。
【００５２】
Ｓ４０３において、ウェブ会議サーバ２００は、会議画面を参加者のクライアント端末に送信する。ここで、図６の会議画面６１０を用いて会議が行われる際の画面について説明する。図６の会議画面６１０は、ウェブ会議室（仮想会議室）として設定された会議室に入室したクライアント端末１００に表示される画面である。本実施形態では、自分の他に４拠点（Ｕｓｅｒ００１〜００４）で計５ユーザがウェブ会議に参加している。会議画面６１０は、自身の撮影画像を更に表示することもできる。なお、ウェブ会議サーバ２００は、画像表示領域６１３に、各クライアント端末のカメラで撮影した撮影画像を表示する。図６における会議画面６１０の画面レイアウトは、画像表示領域６１３を４つ配置したレイアウトである。参加者名表示部６１２には、画像表示領域６１３に表示する画像の送信元の名称を表示する。例えば、当該画像の送信元のクライアント端末１００でウェブ会議サーバ２００にログインしているユーザのユーザ名を表示する。ボタン表示領域６１１には、指定画像の共有を開始するための「資料共有」ボタンや、会議から退出する（会議室から退室する）ための「退出」ボタン６１４等を表示する。
【００５３】
Ｓ４０４において、ウェブ会議サーバ２００は、各クライアント端末から撮影画像および音声を受信する。
【００５４】
Ｓ４０５において、ウェブ会議サーバ２００は、口唇優先モードの参加者が存在するか否かを判定する。ウェブ会議サーバ２００は、口唇優先モードの参加者がいない場合には、Ｓ４０６の処理を実行する。一方で、ウェブ会議サーバ２００は、口唇優先モードの参加者がいる場合には、Ｓ４０７の処理を実行する。
【００５５】
Ｓ４０６において、ウェブ会議サーバ２００は、Ｓ４０４で受信した各撮影画像および音声を、参加者のクライアント端末に送信する。ウェブ会議サーバ２００は、会議が継続している間は、当該処理を繰り返す。
【００５６】
Ｓ４０７において、ウェブ会議サーバ２００は、発言者が存在するクライアント端末を特定する。
【００５７】
Ｓ４０８において、ウェブ会議サーバ２００は、Ｓ４０７で特定したクライアント端末から送信される撮影画像から発言中の人物の口唇部分を検出する。ウェブ会議サーバ２００は、口唇部分が検出できなかった場合には、Ｓ４０９の処理を実行する。一方で、ウェブ会議サーバ２００は、口唇部分が検出できた場合には、Ｓ４１１の処理を実行する。
【００５８】
Ｓ４０９において、ウェブ会議サーバ２００は、発言者のクライアント端末に警告表示を送信する。ここで、図７の警告表示画面７００を用いて警告表示について説明する。警告表示とは、Ｓ４０７で特定したクライアント端末に対して口唇部分が検出されていないことを示す通知の一態様である。図７の警告表示画面７００は、会議画面６１０に対し、警告表示が重畳して表示された画面である。警告表示画面７００は、少なくとも警告表示７０１を含んで表示される。警告表示７０１は、クライアント端末１００に対して、自身の動画では口元が映っていない旨を認識させることができる。このため、警告表示７０１は、当該クライアント端末のユーザに対して自身の位置やクライアント端末１００の位置の調整を促すことが可能である。
【００５９】
Ｓ４１０において、ウェブ会議サーバ２００は、口唇部分が検出されたか否かを再度判定する。つまり、ウェブ会議サーバ２００は、口唇部分が検出されるまで、Ｓ４０９の処理を繰り返す。一方で、ウェブ会議サーバ２００は、口唇部分が検出された場合にＳ４１１の処理を実行する。
【００６０】
Ｓ４１１において、ウェブ会議サーバ２００は、クライアント端末に口唇部分を拡大した拡大画像を送信する。ここで、図７の拡大表示画面７１０を用いて拡大画像について説明する。拡大表示画面７１０は、図６の会議画面６１０に、拡大画像７１１が表示されたものである。ここで、Ｕｓｅｒ００１は、Ｓ４０７において、特定された参加者の撮影画像である。ウェブ会議サーバ２００は、口唇優先モードのクライアント端末にのみ拡大画像を送信する。ウェブ会議サーバ２００は、当該拡大画像とともに音声を送信する。なお、ウェブ会議サーバ２００は、口唇優先モードを設定しているクライアント端末には音声を送信しないように制御してもいい。口唇優先モードを設定しているクライアント端末は、音声でなく、口唇部分の動きを見て発言内容を判断している可能性が高いためである。
【００６１】
Ｓ４１２において、ウェブ会議サーバ２００は、会議に参加する他のクライアント端末に、受信した撮影画像と音声を送信する。ウェブ会議サーバ２００は、図７の拡大表示画面７１０と音声とをクライアント端末１００に送信する。
【００６２】
本実施形態においては、ウェブ会議システムで利用される仮想会議室のことをウェブ会議室、仮想会議室、または単に会議室として説明しているが同じものである。
【００６３】
以上、上述の実施形態によれば、ウェブ会議システムは、複数の拠点に接続されたクライアント端末で撮影される撮影画像を複数表示することが可能である。本実施形態のウェブ会議システムは、発言中の人物が存在するクライアント端末を特定し、当該特定されたクライアント端末で撮影された撮影画像から発言中の人物の口唇部分を検出する。そして、ウェブ会議システムは、発言中の人物の口唇部分が検出されてない場合に、特定されたクライアント端末に対して該検出がされていないことを示す表示を行う。このことにより、発言中の参加者の口唇部分の視認性を向上させることが可能となる。言い換えると、ウェブ会議システムは、当該表示を行うことにより発言者に対して口唇部分が映った情報で発言するように促すことができる。その結果、発言中の参加者は自身の口唇部分が映るように発言を行うこととなる。そして、ウェブ会議システムは、会議の参加者に難聴の人物がいた場合にも、口唇部分が映った動画を提供することができる。
【００６４】
さらに、上述の実施形態によれば、ウェブ会議システムは、発言中の人物の口唇部分が検出されてる場合に、発言者の口唇部分を拡大した拡大画像を表示する。このことにより、ウェブ会議システムは、更に、言中の参加者の口唇部分の視認性を向上させることが可能となる。
【００６５】
さらに、上述の実施形態によれば、ウェブ会議システムは、口唇優先モードと通常モードの会議モードのいずれかを設定可能である。そして、ウェブ会議システムは、会議の参加者に口唇優先モードを設定しているクライアント端末がいる場合に、拡大画像を表示する。このことにより、ウェブ会議システムは、会議モードに応じて適切な表示制御が可能となる。これは、ウェブ会議システムは、口唇優先モードを設定しているユーザがいない場合にまで、警告表示や拡大画像を表示すると迅速な会議の進行を妨げるおそれがあるためである。そのため、ウェブ会議システムは、口唇優先モードを設定しているユーザがいる場合に拡大画像を表示することとしている。
【００６６】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００６７】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００６８】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【００６９】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００７２】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【符号の説明】
【００７３】
１００  情報処理装置
１０１  カメラ
２００  ウェブ会議サーバ
３１１  発言者特定部
３１２  撮影画像取得部
３１３  口唇部分検出部
３１４  表示制御部
【図１】
2019117997.tif 000003
【図２】
2019117997.tif 000004
【図３】
2019117997.tif 000005
【図４】
2019117997.tif 000006
【図５】
2019117997.tif 000007
【図６】
2019117997.tif 000008
【図７】
2019117997.tif 000009