(57)【要約】【課題】新たな通信確立をすることなく、既に行われている通信を利用して画面の共有を行うことが可能な仕組みを提供すること【解決手段】画像の入力装置より第１の画像が入力されている場合に前記第１の画像を送信するための第１の通信を行い、第２の画像の指定を受け付けた場合に前記第２の画像を送信するための第２の通信を行う通信手段を備える情報処理装置であって、前記第１の通信が既に行われている場合であって、前記第２の画像を前記第１の画像の代わりに表示する、または前記第１の画像の一部として表示する指示を受け付けた場合に、前記通信手段による前記第２の通信を新たに行わずに前記第２の画像を前記第１の通信で送信すべく出力する【選択図】図１０
2020057927.tif 000002
【特許請求の範囲】
【請求項１】
画像の入力装置より第１の画像が入力されている場合に前記第１の画像を送信するための第１の通信を行い、第２の画像の指定を受け付けた場合に前記第２の画像を送信するための第２の通信を行う通信手段と、を備える情報処理装置であって、
前記第１の通信が既に行われている場合であって、
前記第２の画像を前記第１の画像の代わりに表示する、または前記第１の画像の一部として表示する指示を受け付けた場合に、前記通信手段による前記第２の通信を新たに行わずに前記第２の画像を前記第１の通信で送信すべく出力する出力手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
入力された画像を前記第１の通信で送信すべく制御する送信制御手段を備える情報処理装置であって、
前記出力手段は、前記第２の画像を前記第１の画像の代わりに送信する、または前記第１の画像の一部として送信する指示を受け付けていない場合には、前記第１の画像を前記送信制御手段に出力し、当該指示を受け付けた場合には、前記第２の画像を前記送信制御手段に出力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の画像は、前記情報処理装置に接続されたカメラ装置から入力される画像であって、前記第２の画像は、前記情報処理装置に表示されている画面上の画像であることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
第１の操作により前記第２の画像の指定を受け付けた場合に、前記第２の画像を前記第２の通信で送信する指示を受け付けたものと決定し、第２の操作により前記第２の画像の指定を受け付けた場合に、前記第２の画像を前記第１の画像の代わりに表示する、または前記第１の画像の一部として表示する指示を受け付けたものと決定する決定手段と、
を備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
複数の画像を合わせた画像を前記第１の通信で送信する第１の画像とすべく、前記複数の画像を選択画面において選択可能に表示制御する表示制御手段と、
を備え、
前記表示制御手段は、前記第２の画像の指定を受け付けている場合に、前記第２の画像を前記選択画面において選択可能に表示制御することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
画像の入力装置より第１の画像が入力されている場合に前記第１の画像を送信するための第１の通信を行い、第２の画像の指定を受け付けた場合に前記第２の画像を送信するための第２の通信を行う通信手段と、を備える情報処理装置の制御方法であって、
前記第１の通信が既に行われている場合であって、
前記第２の画像を前記第１の画像の代わりに表示する、または前記第１の画像の一部として表示する指示を受け付けた場合に、前記通信手段による前記第２の通信を新たに行わずに前記第２の画像を前記第１の通信で送信すべく出力する出力工程と、
を含む制御方法。
【請求項７】
画像の入力装置より第１の画像が入力されている場合に前記第１の画像を送信するための第１の通信を行い、第２の画像の指定を受け付けた場合に前記第２の画像を送信するための第２の通信を行う通信手段と、を備える情報処理装置で実行可能なプログラムであって、
前記情報処理装置を、
前記第１の通信が既に行われている場合であって、
前記第２の画像を前記第１の画像の代わりに表示する、または前記第１の画像の一部として表示する指示を受け付けた場合に、前記通信手段による前記第２の通信を新たに行わずに前記第２の画像を前記第１の通信で送信すべく出力する出力手段として機能させるためのプログラム。
【請求項８】
サーバ装置と、画像の入力装置より第１の画像が入力されている場合に前記第１の画像を送信するための第１の通信を行い、第２の画像の指定を受け付けた場合に前記第２の画像を送信するための第２の通信を行う通信手段、を備える情報処理システムであって、
前記第１の通信が既に行われている場合であって、前記第２の画像を前記第１の画像の代わりに表示する、または前記第１の画像の一部として表示する指示を受け付けた場合に、前記通信手段による前記第２の通信を新たに行わずに前記第２の画像を前記第１の通信で送信すべく出力する出力手段と、
を備えることを特徴とする情報処理システム。
【請求項９】
他のクライアント端末から受信した撮像画像を表示する機能を備える複数のクライアント端末と通信可能な情報処理装置であって、
第１のクライアント端末から受信した第１の撮像画像を、第２のクライアント端末から受信した第２の撮像画像と共に、第３のクライアント端末に表示させるべく送信する送信手段と、
を備え、
前記送信手段は、前記第１のクライアント端末からの指示に応じて、前記第１の撮像画像の代わりに、前記第１のクライアント端末から受信した前記第１のクライアント端末の画面の画像を、第３のクライアント端末に、前記第２の撮像画像と共に表示させるべく送信することを特徴とする情報処理装置。
【請求項１０】
他のクライアント端末と通信可能なクライアント端末であって、
オブジェクトを表示する表示手段と、
前記オブジェクトを自機に表示されているウィンドウに重ねる操作を受け付けることにより、当該ウィンドウの画像を、前記他のクライアント端末に送信する画像として決定する決定手段と、
を備えることを特徴とするクライアント端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
電子会議においては、ある参加者の端末をホスト端末として、当該ホスト端末の画面を他の参加者の端末（ゲスト端末）に共有する機能が提供されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０２９９２２号公報
【特許文献２】特開２０１４−１１２８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
電子会議においては、複数の参加者が自身の端末の画像や画面を他の参加者に共有したいことがある。また、ある参加者が、他の参加者の端末の画面を同時に閲覧したいこともある。
【０００５】
例えば複数の営業拠点と本社との会議において、各営業拠点の参加者が本社の参加者に対して報告書を提示し、業務報告を行う場合等が考えられる。
【０００６】
ホスト端末とゲスト端末の関係をつくる画面共有の機能では、各参加者が自身の端末の画面を共有する場合に、ホストを順番に交代しなければならない。
【０００７】
この場合、営業拠点の参加者達としては、自身の拠点の業務報告を行う順番になってからホストの交代操作をしたり、その操作手順に関するやり取りを交代前のホストのユーザと行ったりするのは手間である。
【０００８】
また、報告を受ける側である本社の参加者は、複数拠点の報告書の画面を同時に確認できる方が、各拠点の情報を比較しやすく、好ましい。
【０００９】
すなわち、特許文献１の技術では、同時に複数の端末の画面を電子会議の参加者に共有できないという第１の課題が存在する。
【００１０】
また、当該ホストの交代・切り替えの作業に時間がかかり、会議のスムーズな進行を妨げることがあるという第２の課題が存在する。
【００１１】
また従来は、特許文献２のように、電子会議で送受信するカメラの画像を送受信する通信と、画面共有機能で画面の画像を送受信する通信とは別であった。つまり、カメラ画像を送受信して電子会議を行っている状態で画面共有を実行するには、新たに画面共有用の通信を確立する必要があり、電子会議を行う各端末の処理負荷が増大するという第３の課題が存在する。
【００１２】
本発明の第１の目的は、同時に複数の端末の画面を電子会議の参加者に共有することが可能な仕組みを提供することである。
【００１３】
本発明の第２の目的は、会議のスムーズな進行を補助しつつ、複数の端末の画面を共有することが可能な仕組みを提供することである。
【００１４】
本発明の第３の目的は、新たな通信確立をすることなく、既に行われている通信を利用して画面の共有を行うことが可能な仕組みを提供することである。
【課題を解決するための手段】
【００１５】
第１の発明は、他のクライアント端末から受信した撮像画像を表示する機能を備える複数のクライアント端末と通信可能な情報処理装置であって、第１のクライアント端末から受信した第１の撮像画像を、第２のクライアント端末から受信した第２の撮像画像と共に、第３のクライアント端末に表示させるべく送信する送信手段と、を備え、前記送信手段は、前記第１のクライアント端末からの指示に応じて、前記第１の撮像画像の代わりに、前記第１のクライアント端末から受信した前記第１のクライアント端末の画面の画像を、第３のクライアント端末に、前記第２の撮像画像と共に表示させるべく送信することを特徴とする。
【００１６】
第２の発明は、他のクライアント端末と通信可能なクライアント端末であって、オブジェクトを表示する表示手段と、前記オブジェクトを自機に表示されているウィンドウに重ねる操作を受け付けることにより、当該ウィンドウの画像を、前記他のクライアント端末に送信する画像として決定する決定手段と、を備えることを特徴とする。
【００１７】
第３の発明は、画像の入力装置より第１の画像が入力されている場合に前記第１の画像を送信するための第１の通信を行い、第２の画像の指定を受け付けた場合に前記第２の画像を送信するための第２の通信を行う通信手段を備える情報処理装置であって、前記第１の通信が既に行われている場合であって、前記第２の画像を前記第１の画像の代わりに表示する、または前記第１の画像の一部として表示する指示を受け付けた場合に、前記通信手段による前記第２の通信を新たに行わずに前記第２の画像を前記第１の通信で送信すべく出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【００１８】
本発明の第１の効果として、同時に複数の端末の画面を電子会議の参加者に共有することができる。
【００１９】
本発明の第２の効果として、会議のスムーズな進行を補助しつつ、複数の端末の画面を共有することができる。
【００２０】
本発明の第３の効果として、新たな通信確立をすることなく、既に行われている通信を利用して画面の共有を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態における、システム構成の一例を示す図である。
【図２】本発明の実施形態における、各種装置のハードウェア構成の一例を示すブロック図である。
【図３】本発明の実施形態における、各種装置の機能構成の一例を示す図である。
【図４】従来の電子会議システムにおける、カメラ画像送受信及び表示処理の流れを示すフローチャートである。
【図５】従来の電子会議システムにおける、各種データ構成の一例を示す図である。
【図６】従来の電子会議システムにおける、各種画面の構成の一例を示す図である。
【図７】従来の電子会議システムにおける、各種画面の構成の一例を示す図である。
【図８】従来の電子会議システムにおける、画面共有の処置の流れを示すフローチャートである。
【図９】従来の電子会議システムにおける、各種画面の構成の一例を示す図である。
【図１０】本発明の第１の実施形態における、処理の流れを示すフローチャートである。
【図１１】本発明の第１の実施形態における、決定処理の詳細を示すフローチャートである。
【図１２】本発明の第２の実施形態における、処理の流れを示すフローチャートである。
【図１３】本発明の実施形態における、各種画面の構成の一例を示す図である。
【図１４】本発明の実施形態における、各種画面の構成の一例を示す図である。
【図１５】本発明の実施形態における、各種画面の構成の一例を示す図である。
【図１６】本発明の実施形態における、各種画面の構成の一例を示す図である。
【図１７】本発明の実施形態における、各種データ構成の一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施の形態の一例について説明する。
【００２３】
まず図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。
【００２４】
本発明の情報処理システムは、例えば、パーソナルコンピュータを適用可能な情報処理装置であるクライアント端末１００（１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ）と各クライアント端末１００でウェブ会議を利用可能にするサーバ２００がネットワーク１５０を介して通信可能に接続され、構成されている。サーバ２００は情報処理装置の１つである。
【００２５】
サーバ２００は、ウェブブラウザを利用したウェブ会議を実現するためのサーバ装置であり、クライアント端末１００からのアクセスに応じて、クライアント端末１００で入力を受け付けたユーザＩＤのユーザが参加する会議の画面である会議画面（インタフェース／例えばｈｔｍｌで表現される画面を表示するための情報）をそれぞれのクライアント端末１００に送信して表示させる。
【００２６】
当該会議画面の提供（会議画面に表示するカメラ画像及び画面共有機能の提供）により、複数のクライアント端末１００によりウェブ会議を行うサービスを提供する。
【００２７】
ここでいうカメラ画像とは、会議に参加中のユーザのユーザＩＤが入力されたクライアント端末１００が使用するカメラで撮像され、サーバ２００に送信されている画像である撮像画像であり、例えば、ユーザ自身の顔を写した画像である。
【００２８】
また、ここでいうアプリ画像とは、クライアント端末１００の入力部を介して、ユーザ操作に応じて指定を受け付けた、クライアント端末１００からサーバ２００に送信される画像である。例えば、クライアント端末１００のデスクトップ画面や、クライアント端末１００において起動しているアプリケーションの画面の画像等である。
【００２９】
サーバ２００は、アプリ画像の送信元のクライアント端末のユーザと同じ会議に参加している他のユーザの他のクライアント端末１００に対してアプリ画像を送信し、共有する。
【００３０】
つまり、本実施形態のウェブ会議システムは、クライアント端末１００（例：１００Ａ）に表示されている画面の画像を他のクライアント端末（例：１００Ｂ、１００Ｃ、１００Ｄ）の画面に表示する、画面共有（アプリ画像の表示の共有処理）を行うことができる。
【００３１】
例えばユーザ操作により指定されたアプリケーションの画面のみをアプリ画像として共有することができる（アプリ共有機能）。
【００３２】
また、クライアント端末１００に表示されているデスクトップ画面の指定を受け付けることで、当該デスクトップ画像全体をアプリ画像として共有することができる（デスクトップ共有）。
【００３３】
クライアント端末１００は、例えば１００Ａに示すようなデスクトップＰＣや、１００Ｂ、１００ＤのようなノートＰＣ、１００ＣのようなタブレットＰＣである。クライアント端末１００は、サーバ２００から受信した会議画面に、同じくサーバ２００から受信した画像や映像（カメラ画像）や、アプリ画像を表示する。
【００３４】
本実施形態においてクライアント端末１００には、サーバ２００へアクセスするためのウェブブラウザ、及び専用のモジュールがインストールされているものとする。なお、この専用のモジュールは、例えば、ウェブブラウザを介して、サーバ２００からダウンロードするＡｃｔｉｖｅＸコンポーネントである。
【００３５】
なお、ウェブ会議において自身の動画像を送信する場合は、ビデオデバイスである（ウェブカメラ等の）カメラ１０１を接続する。音声を送信する場合は、マイク１０２を接続し、相手の音声を視聴するためにはスピーカ１０３を接続する。マイク１０２およびスピーカ１０３はオーディオデバイスである。
【００３６】
また、図１においては各デバイスを別々の筐体として例示しているが、例えば１０１〜１０３が同じ筐体のハードに備えられているデバイスを用いてもよい。
【００３７】
例えばカメラ機能とマイク機能や、マイク機能とスピーカ機能、および全ての機能を備えたデバイスである。
【００３８】
また、クライアント端末１００に１０１〜１０３のデバイスが内蔵されている場合、これらの内蔵されているデバイスを用いて、画像、音声等を入力・出力するようにしてもよい。
【００３９】
また、本ウェブ会議システムは、ルームと呼ばれる仮想の会議室をサーバ２００において複数生成、記憶、管理することができる。
【００４０】
クライアント端末１００を操作するユーザは、自身のユーザＩＤ・パスワードを用いて、ウェブブラウザ経由でサーバ２００にアクセスしてログインし、自身のユーザＩＤを用いて当該ルームに入室することで、当該ルームにおいて開催される会議に参加することができる。以上が図１の説明である。
【００４１】
次に図２を参照して、本発明の実施形態における各種装置に適用可能なハードウェア構成の一例について説明する。
【００４２】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００４３】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００４４】
また、２０５は入力コントローラで、入力デバイス２０９からの入力を制御する。入力デバイス２０９としては、キーボード、タッチパネル、及びマウス等のポインティングデバイス等が挙げられる。
【００４５】
なお、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００４６】
２０６はビデオコントローラで、ディスプレイ２１０等の表示機への表示を制御する。なお、ディスプレイ２１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。なお、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。
【００４７】
また、図２のハードウェア構成を適用する装置が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ２１０が入力デバイス２０９としての機能を提供する。
【００４８】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００４９】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００５０】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００５１】
本発明を実現するための後述する各種プログラムは、ＲＯＭ２０２あるいは外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。
【００５２】
さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報、テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。
【００５３】
カメラコントローラ２１２は、カメラ２１４等による映像取得を制御し、音声コントローラ２１３はマイク／スピーカ２１５等による音声取得制御やスピーカへの出力を制御する。
【００５４】
カメラ２１４は、図２のハードウェア構成を適用する装置に内蔵されているカメラである。また、マイク／スピーカ２１５は、図２のハードウェア構成を適用する装置に内蔵されているマイク及びスピーカである。以上が図２の説明である。
【００５５】
次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。
【００５６】
クライアント端末１００は、カメラ画像記憶制御部３１１、カメラ画像記憶部３１２、カメラ画像出力制御部３１３、送信画像記憶部３１４、通信制御部３１５、送信制御部３１６、アプリ画像出力制御部３１７、表示制御部３１８等を備えている。
【００５７】
カメラ画像記憶制御部３１１は、例えばクライアント端末１００が備えるカメラのドライバソフトウェアの機能である。カメラ１０１から取得したカメラ画像を、クライアント端末１００が備えるカメラ画像記憶部３１２（例：メモリ）に記憶していく。
【００５８】
カメラ画像出力制御部３１３、送信画像記憶部３１４、通信制御部３１５、送信制御部３１６、アプリ画像出力制御部３１７、表示制御部３１８は、会議用クライアントアプリケーション３１０が備える機能である。
【００５９】
カメラ画像出力制御部３１３は、カメラ画像記憶部３１２に記憶されているカメラ画像を読み出して取得し、会議用クライアントアプリケーション３１０自身が管理する、サーバに送信する画像を記憶する記憶部である送信画像記憶部３１４（キュー）に記憶する。
【００６０】
なお、キューには、カメラ画像用の画像キューと、ユーザ操作により指定されたアプリ画像（クライアント端末１００のデスクトップ画面の画像等）の画像キューがあるものとする。カメラ画像出力制御部３１３はカメラ画像を、カメラ画像用の画像キューに順次記憶する。
【００６１】
カメラ１０１は継続的に撮像処理（動画の撮像及びクライアント端末１００への動画の入力）を行うため、当該画像キューには、動画を構成する複数の画像が、動画内のフレームごとに順々に記憶される。
【００６２】
なお、アプリ画像用の画像キューには、アプリ画像を所定時間ごとに記憶する。例えば０．２秒ごとに、クライアント端末１００のデスクトップ画面に表示されているデスクトップ画像を順次記憶する。記憶される各アプリ画像は、例えばデスクトップ画像を繋ぎ合わせて再生する動画の１フレームである。
【００６３】
通信制御部３１５は、ユーザ操作による、カメラ画像の送信またはアプリ画像の送信の指示を受け付けた場合に、指示された画像を送信するべくサーバ２００と通信を確立する制御部である。
【００６４】
通信制御部３１５は、クライアント端末１００が、どの識別情報（例：ＩＰアドレス）のサーバ２００と、何のための通信を確立しているかを示す通信状況の情報を記憶、管理している。例えば、カメラ画像送受信用の通信Ａを確立しているか否かの情報と、アプリ画像送受信用の通信Ｂを確立しているか否かの情報の２つを記憶し、管理している。
【００６５】
カメラ画像送信用の通信とアプリ画像送信用の通信は別々に行う。すなわち、カメラ画像送信用の通信が確立されている状態でアプリ画像の送信の指示を受け付けた場合、通信制御部３１５は、既に確立されている通信とは別に、アプリ画像送信用の通信をサーバとの間で新たに確立する。
【００６６】
送信制御部３１６は、カメラ１０１において撮像され入力されたカメラ画像（映像）や、ユーザ操作等により表示を共有する画像として指定されたアプリ画像（デスクトップ全体または指定アプリケーションの画面の画像）を、サーバ２００に送信制御する送信制御部である。
【００６７】
カメラ画像の送信に際しては、カメラ画像用の画像キューの中から画像を順次取得してサーバ２００に送信する。
【００６８】
送信された画像は、サーバ２００の受信制御部３２２で受信され、メモリ上の配信画像記憶部３２３（画像キュー）に格納される。
【００６９】
サーバ２００は、会議情報記憶部３２１、受信制御部３２２、配信画像記憶部３２３、配信制御部３２４等を備えている。各機能部は、会議用サーバアプリケーション３２０が備える機能である。
【００７０】
会議情報記憶部３２１は、どのユーザが、どの会議室に入室してどのユーザと会議を行っているかを記憶する記憶部である。
【００７１】
受信制御部３２２は、クライアント端末１００の送信制御部３１６より送信されたカメラ画像（映像）、およびアプリ画像、音声を受信する受信部である。
【００７２】
配信画像記憶部３２３は、受信制御部３２２で受信したカメラ画像（映像）、およびアプリ画像、音声を記憶する記憶部である。
【００７３】
配信制御部３２４は、配信画像記憶部３２３に記憶されている画像やアプリ画像、音声等を、同じ会議に参加している（例：同じ会議室に入室中の）、当該画像や音声の送信元のクライアント端末１００とは別の、他のクライアント端末１００に送信（配信）する制御部である。
【００７４】
なお、本実施形態においては、クライアント端末１００がサーバ２００に対して、配信画像記憶部３２３からの画像の取得要求を行うことで、当該要求に応じてサーバ２００の配信制御部３２４が要求元のクライアント端末１００に対して、当該要求受付時におけるキュー内の最新の画像を送信するものとする。
【００７５】
クライアント端末１００は、要求した画像を受信した後、当該受信した画像（動画内の１フレーム）を表示画面に表示する。そして当該表示と並行して、当該動画内の次の画像をサーバ２００に要求する。会議が終了する等、動画の表示が終了するまで、当該画像の要求と表示を繰り返す。
【００７６】
アプリ画像出力制御部３１７は、クライアント端末１００において、カメラ画像の代わりに送信するものとして選択されたアプリケーションの画像を、送信画像記憶部３１４に出力して記憶させる機能部である。
【００７７】
送信制御部３１６は送信画像記憶部３１４に記憶されている画像をサーバ２００に送信するため、アプリ画像出力制御部３１７が、カメラ映像の代わりにアプリケーション画面の画像を送信画像記憶部３１４に記憶している場合には、サーバ２００にはアプリケーション画面の画像が、カメラ画像として送信されることになる。
【００７８】
表示制御部３１８は、送信するカメラ画像や、受信したカメラ画像を、会議画面に配置して表示する機能部である。以上が図３の説明である。
【００７９】
＜従来の処理＞
本発明の前提として、次に図４〜図９を参照して、従来の電子会議システムの処理について説明する。各ステップの処理は、クライアント端末１００またはサーバ２００のＣＰＵ２０１が、各機能部の機能を用いて実行する。
【００８０】
まず図４を参照して、従来の電子会議システムのカメラ画像送信処理について説明する。図４のクライアント端末１００の処理は、１００Ａ〜１００Ｄのどのクライアント端末１００でも実行可能である。図４の説明では、一例として、クライアント端末１００Ａが実行するものとして説明する。
【００８１】
クライアント端末１００Ａは、サーバ２００の提供するウェブ会議サービスを享受するために、ブラウザソフト上におけるユーザ操作に応じて所定のＵＲＬにアクセスし、図６の６００に示すようなログイン画面を表示する（ステップＳ４０１）。
【００８２】
そして、当該ログイン画面においてユーザＩＤとパスワードの入力を受け付けて、「ログイン」ボタンの押下を受け付けることで、サーバ２００へのログイン要求を送信する（ステップＳ４０２）。
【００８３】
サーバ２００は、当該ログイン要求を受け付け（ステップＳ４０３）、自装置の外部メモリに予め記憶されているユーザ情報（ユーザＩＤ及びパスワード／図５の５００に例示）と突き合わせて認証処理（ログイン処理）を行う（ステップＳ４０４）。
【００８４】
サーバ２００へのログインが成功した場合、図６の６１０に示すメニュー画面の画面情報（例えばｈｔｍｌ情報）を生成して、クライアント端末１００Ａに送信する（ステップＳ４０５）。メニュー画面６１０は、メニュー表示部６１１と「ログアウト」ボタンを備える。
【００８５】
クライアント端末１００Ａは、当該画面情報を受信して、受信した画面情報に基づいてメニュー画面６１０を表示画面に表示する（ステップＳ４０６）。
【００８６】
クライアント端末１００Ａは、当該メニュー画面６１０において「会議参加」ボタンの押下を受け付けることで、図７の７００に示す参加先選択画面を表示する。参加する会議（参加する会議が開催されている入室先のルーム）の選択を受け付けることで、サーバ２００に当該会議への参加要求を送信する（ステップＳ４０７）。
【００８７】
具体的には、「参加する」ボタン７０１の押下を受け付けた場合に、会議室１への入室要求をサーバ２００に送信する。また、「参加する」ボタン７０２の押下を受け付けた場合に、会議室２への入室要求をサーバ２００に送信する。
【００８８】
クライアント端末１００Ａは、当該入室要求に、クライアント端末１００Ａでログイン中のログインユーザのユーザＩＤ、入室対象のルームの識別情報（ルームＩＤ）、クライアント端末１００Ａの識別情報（例えばＩＰアドレス）等の情報を含めて、当該要求をサーバ２００に送信するものとする。
【００８９】
サーバ２００のＣＰＵ２０１は当該入室要求を受け付けると（ステップＳ４０８）、要求されたルーム（会議室）にユーザを入室させる入室処理を実行する（ステップＳ４０９）。具体的には、入室処理として、どの会議室に、どのユーザが、どの端末で入室しているか記憶する処理を行う。
【００９０】
具体的には、入室情報５１０（図５）の会議室ＩＤ５１１には入室要求がされた会議室の会議室ＩＤ、入室情報５１０（図５）の参加者ＩＤ５１２には入室させるユーザのユーザＩＤ、入室情報５１０（図５）の端末ＩＤ５１３には当該ユーザＩＤの送信元（入室要求元）のクライアント端末１００ＡのＩＤを記憶する。入室情報５１０は、会議室ごとに、サーバ２００の外部メモリ２１１に記憶・保持されている。
【００９１】
なお、会議室では時間ごとに異なる会議が行われる。どの会議室でどのような会議を行うかは、クライアント端末１００Ａに表示する、図６の会議室選択画面６２０、会議予約画面６３０を介したユーザ操作により指定される。また、指定された内容は、図５の会議情報５２０に記憶される。
【００９２】
会議情報５２０は、どの会議室（会議室ＩＤ５２１）において、どの時間５２２に、どの会議（会議ＩＤ５２３）が行われるか／行われているかを記憶・管理するテーブルである。
【００９３】
会議室への入室要求とは、当該入室要求をした時間に開催されている会議への参加要求である。
【００９４】
入室処理が完了すると、サーバ２００は、クライアント端末１００Ａのカメラにより撮像されたカメラ画像を表示する会議画面７１０の画面情報（図７／例えばｈｔｍｌ情報）を、クライアント端末１００Ａに送信する（ステップＳ４１０）。
【００９５】
クライアント端末１００Ａは、当該画面情報を受信し、受信した画面情報に基づいて会議画面を表示する（ステップＳ４１１）。
【００９６】
以降、会議が終了するまで、ステップＳ４１７〜ステップＳ４１８の処理を実行・継続する。ステップＳ４１７〜ステップＳ４１８の処理については後述する。
【００９７】
また、クライアント端末１００Ａは、カメラ（自機に接続されているカメラ１０１又は自装置に内蔵されるカメラ２１４）を起動し、画像の撮像を開始する（ステップＳ４１２）。ここではカメラ１０１を起動したものとする。
【００９８】
以降、会議が終了するまで、ステップＳ４１３〜ステップＳ４１４の処理を繰り返し実行・継続する。ステップＳ４１３〜ステップＳ４１４の処理については後述する。
【００９９】
クライアント端末１００Ａは、自機の備える、ステップＳ４１２で起動されたカメラ１０１からのカメラ画像（映像）の入力を受け付けることで、カメラ１０１で撮像されたカメラ画像を取得し、会議画面上に表示する。
【０１００】
例えば図７の会議画面７１０における、画像表示領域７１３に、自機のカメラで撮像した画像を表示する。
【０１０１】
図７における会議画面７１０の画面レイアウトは、画像表示領域７１３を４つ配置したレイアウトである。
【０１０２】
参加者名表示部７１２には、画像表示領域７１３に表示する画像の送信元の名称を表示する。例えば、当該画像の送信元のクライアント端末１００でサーバ２００にログインしているユーザのユーザ名を表示する。
【０１０３】
ボタン表示領域７１１には、アプリ画像の共有を開始するための「アプリ共有」ボタンや、会議から退出する（会議室から退室する）ための「退出」ボタン７１４等を表示する。
【０１０４】
また、クライアント端末１００は、カメラ１０１からの入力画像（映像）を会議画面に表示する一方で、映像コーデックによる画像（映像）の圧縮処理を行い、圧縮後の画像を、１フレームごとに、順々に自装置のメモリ上の画像キューに保存・記憶する（ステップＳ４１３）。
【０１０５】
当該画像キューの一例を図５の送信用画像キュー５３０に示す。送信用画像キューとは、外部装置に送信するための画像を順次記憶するキューである。
【０１０６】
記憶及び送信する際の画像のフレームレートは、図５のフレームレート５７０に示す値がメモリに記憶されており、これに従う。フレームレートの値は、サーバ２００からクライアント端末１００へ、会議参加時に送信・配布される。
【０１０７】
送信用画像キュー５３０は、各画像の識別番号（識別情報）であり、画像の順序を示す識別番号５３１（シーケンス番号）と、画像の実体（画像データ／映像の中の１フレームの画像）である画像５３２の項目から構成される。
【０１０８】
クライアント端末１００はＡ、カメラ１０１から取得した映像の各フレームの画像に対し、当該画像を取得した順に識別番号を割り振って、送信用画像キュー５３０に記憶する。
【０１０９】
ステップＳ４１４で、クライアント端末１００Ａは、カメラ機能のＯＮ／ＯＦＦ設定５８０を参照し、カメラ機能がＯＮになっている場合に、送信用画像キュー５３０に保存した画像を、クライアント端末１００Ａに記憶されているカメラ画像送信用のソフトウェアモジュール（送信制御部３１６）に出力する。
【０１１０】
カメラ機能のＯＮ／ＯＦＦ設定５８０は、クライアント端末１００Ａに表示する不図示の設定画面を介したユーザ操作により、自由に設定変更可能である。
【０１１１】
クライアント端末１００Ａは、通信制御部３１５の管理する通信状況の情報を用いて、サーバ２００との間でカメラ画像送信用の通信が未確立か確認する。
【０１１２】
未確立の場合、サーバ２００との間で新たにカメラ画像送信用の通信を確立し、当該モジュール（送信制御部３１６）の機能を用いて、サーバ２００に対して、送信用画像キュー５３０に示す情報をサーバ２００に送信する（ステップＳ４１４）。
【０１１３】
具体的には、動画コーデックによるデータ圧縮処理を用いて当該画像を識別番号と共にデータサイズを少なく高フレームレートで順次送信する。
【０１１４】
サーバ２００は、当該画像（圧縮データ）を受信し、例えば動画コーデックによるデータ伸張処理を用いて画像データに変換する（ステップＳ４１５）。
【０１１５】
そして、サーバ２００は、ユーザごとに、受信した画像を記憶して管理する（ステップＳ４１６）。
【０１１６】
具体的には、自装置のメモリ上に保持しているユーザ別画像キュー５４０（図５に図示）における、当該画像の送信元のクライアント端末１００でサーバ２００にログインしているユーザのレコードに追加して記憶する。
【０１１７】
ユーザ別画像キュー５４０は、ユーザＩＤ５４１と、画像５４３及び画像の識別番号５４２、送信済みユーザ５４４から構成される。
【０１１８】
ユーザ別画像キュー５４０は、ユーザの会議室への入室処理が行われた場合に、サーバ２００のＣＰＵ２０１により、当該会議室に入室したユーザごとに（会議への参加者であるユーザＩＤ５４１ごとに）生成され、メモリ上に保持される。
【０１１９】
ユーザ別画像キュー５４０の識別番号５４２には、クライアント端末１００より受信した、送信用画像キュー５３０の識別番号５３１が、ユーザ別画像キュー５４０の画像５４３には同じくクライアント端末１００より受信した、送信用画像キュー５３０の画像５３２と同じ情報が対応付けて記憶される。
【０１２０】
送信済みユーザ５４４には、５４３の画像を送信済みのユーザのユーザＩＤが記憶される。
【０１２１】
クライアント端末１００Ａは、ステップＳ４１７において、他の会議参加者の画像（ステップＳ４１７の実行時点で、同じルームに入室している他の入室者のユーザＩＤのユーザ別画像キュー５４０の画像）の取得要求をサーバ２００に送信する（ステップＳ４１７）。
【０１２２】
つまり、同じ会議に参加中の他のユーザの画像を要求する。
【０１２３】
サーバ２００のＣＰＵ２０１は当該取得要求を受け付け（ステップＳ４２０）、要求元のクライアント端末１００でログインしているユーザ以外の、当該ユーザと同じルームに入室中のユーザのユーザＩＤを、入室情報５１０を参照して特定し、特定した他の入室者のユーザ別画像キュー５４０をそれぞれ特定する。
【０１２４】
そして、特定した他の入室者のユーザ別画像キュー５４０の画像のうち、最新の識別番号（最も後ろの番号）の画像を、それぞれのユーザ別画像キュー５４０から取得し、取得した各ユーザの画像（クライアント端末１００のカメラで撮像されたカメラ画像）を、当該画像に対応するユーザＩＤと共に要求元のクライアント端末１００に送信する（ステップＳ４２１）。
【０１２５】
つまり、同じ会議に参加中の他のユーザの画像を送信する。
【０１２６】
その後、ユーザ別画像キュー５４０において、画像５４３を送信した先のユーザのユーザＩＤを、送信済みユーザ５４４に記憶する（ステップＳ４２２）。
【０１２７】
クライアント端末１００Ａは、ステップＳ４２１で送信された画像（圧縮データ）を受信し、表示用画像として、当該画像の送信元のユーザ（ユーザＩＤ５５１に示すユーザ）ごとのキューに記憶する。当該キューの一例を図５の表示用画像キュー５５０に示す（ステップＳ４１８）。
【０１２８】
表示用画像キュー５５０は、受信した画像５５４の送信元のユーザ（ユーザＩＤ５５１に示すユーザ）ごとに生成して記憶する。識別番号５５２は画像５５３のシーケンス番号である。
【０１２９】
つまり、表示用画像キュー５５０のユーザＩＤ５５１には、ユーザ別画像キュー５４０と同じユーザＩＤ５４１の値が、表示用画像キュー５５０の識別番号５５２には、ユーザ別画像キュー５４０の識別番号５４２と同じ値が記憶される。また、表示用画像キュー５５０の画像５５３には、ユーザ別画像キュー５４０の画像５４３が同じ画像が、当該画像が受信される都度、追加登録される。
【０１３０】
クライアント端末１００Ａは、送信されてきた画像のユーザが画像表示領域７１３に未割当のユーザである場合、当該ユーザを、ユーザが未割当の画像表示領域７１３に割り当てる処理を行う。割当状況を管理するテーブルの一例を、表示領域情報５６０に示す。
【０１３１】
表示領域情報５６０は、クライアント端末１００の外部メモリに予め記憶されている。表示領域５６１には、画像表示領域７１３のＩＤが記憶される。ユーザＩＤ５６２には、各表示領域に割り当てられたユーザのユーザＩＤが記憶される。
【０１３２】
クライアント端末１００Ａは、受信した各ユーザの画像に対して映像コーデックによる伸長処理を行って映像（画像）を復元し、復元した各ユーザの画像を、表示領域情報５６０に示される各ユーザに対応する表示領域５６１（７１３）に表示する（ステップＳ４１９）。
【０１３３】
クライアント端末１００Ａは、受信した画像を、それぞれの画像のユーザに対応する表示領域に表示することで、各ユーザの画像（カメラ画像）の表示を更新し、動画像（映像）として再生・表示する。
【０１３４】
ウェブ会議を行う場合、実際には、複数のクライアント端末１００（１００Ａ〜１００Ｄ等）が存在する場合がある。そのためサーバ２００は、例えばステップＳ４１５及びＳ４１６、ステップＳ４２０及び４２１の処理を、会議に参加しているユーザ数だけ（例：クライアント端末１００Ａ〜１００Ｄで参加しているユーザ００１〜００４の数だけ）実行することとなる。
【０１３５】
会議の終了について説明する。例えば、会議画面７１０における「退出」ボタン７１４の押下操作を受け付けた場合に、ログインユーザにとっての会議終了がされたと判定するものとする。
【０１３６】
また、ルーム使用の終了時刻がサーバ２００に記憶されている場合、当該終了時刻になるとサーバ２００はウェブ会議を強制終了し、当該強制終了した旨を強制終了した会議に参加していたユーザのクライアント端末１００に通知する。クライアント端末１００Ａは、当該強制終了の通知を受け付けた場合に、会議が終了したものと判定する。以上が図４の説明である。
【０１３７】
次に図８を参照して、従来の電子会議システムにおける、アプリ画像の共有処理について説明する。すなわち、クライアント端末１００の画面の画像の送受信処理である。各ステップの処理は、クライアント端末１００またはサーバ２００のＣＰＵ２０１が、各機能部の機能を用いて実行する。
【０１３８】
なお、ステップＳ８０１の開始時点においては、既に会議画面７１０が表示されているものとする。
【０１３９】
クライアント端末１００Ａは、会議画面７１０の「アプリ共有」ボタンの押下を受け付けると（ステップＳ８０１）、画面共有するアプリを一覧から選択する一覧画面を表示する（ステップＳ８０２）。
【０１４０】
具体的には、図９の一覧画面９１１を表示する。選択受付部９１２には、デスクトップと、クライアント端末１００Ａで起動中のアプリケーションの一覧を、画面共有する対象として選択可能に表示する。起動中のアプリケーションの一覧は、クライアント端末１００Ａが、自機のＯＳに問い合わせて取得する。
【０１４１】
クライアント端末１００Ａは、選択画面９００において、ユーザ操作によるアプリケーションの選択を受け付ける（ステップＳ８０４）。つまり、画面共有するアプリ画像の指定を受け付ける。
【０１４２】
クライアント端末１００Ａは、「選択したアプリケーションを共有」ボタンの押下を受け付けた場合に、選択受付部９１２で選択されているアプリケーションの画面を、画面共有するアプリ画像として決定する（ステップＳ８０４）。
【０１４３】
そして、クライアント端末１００Ａは、通信制御部３１５の管理する通信状況の情報を用いて、サーバ２００との間でアプリ画像送信用の通信が未確立か確認する。
【０１４４】
未確立の場合、サーバ２００との間で新たにアプリ画像送信用の通信を確立し、送信制御部３１６の機能を用いて、サーバ２００に対して、アプリ画像の共有を開始する旨を通知する（ステップＳ８０５）。
【０１４５】
また、クライアント端末１００Ａは、選択されたアプリケーションの画面の画像をＯＳに問い合わせて取得し（ステップＳ８０６）、取得した画像をアプリ画像用の送信用画像キューＸに記憶する（ステップＳ８０７）。画像キューＸの構成自体は図５の５３０と同じであるため説明は割愛する。
【０１４６】
クライアント端末１００Ａは、当該アプリ画像を会議画面上の専用の表示領域に表示する（ステップＳ８０８）。表示の様子の一例を図９の会議画面９２０における表示領域９２１に示す。また、サーバ２００との間でアプリ画像送信用の通信を確立して、アプリ画像を送信する（ステップＳ８０９）。そして、ステップＳ８０６〜Ｓ８０９の処理を、アプリ画像の共有終了の指示を受け付けるまで繰り返し実行する。
【０１４７】
サーバ２００は共有開始の通知を受け付け（ステップＳ８１１）、受け付けた通知内容を、当該クライアント端末１００Ａのユーザと同じ会議室に入室しているユーザのクライアント端末１００に通知する。例えばクライアント端末１００Ｂに通知する（ステップＳ８１２）。
【０１４８】
また、ステップＳ８０９で送信されたアプリ画像を受信し（ステップＳ８１３）、サーバ２００自身の外部メモリ上に設けたアプリ画像用の送信用画像キューＹに記憶する（ステップＳ８１４）。送信用画像キューＹの構成は図５の５３０と同じであるため説明は割愛する。
【０１４９】
クライアント端末１００Ｂはサーバ２００から共有開始通知を受け付け（ステップＳ８１８）、アプリ画像の共有終了の通知を受け付けるまでステップＳ８１９〜Ｓ８２１を繰り返し実行する。
【０１５０】
クライアント端末１００Ｂは、ステップＳ８１９で、サーバ２００に対してアプリ画像を要求する（ステップＳ８１９）。
【０１５１】
サーバ２００は当該要求を受け付け（ステップＳ８１５）、要求されたアプリ画像を送信用画像キューから取得してクライアント端末１００Ｂに送信する（ステップＳ８１６）。アプリ画像は連続してクライアント端末１００に送信されることで、クライアント端末１００Ｂにて動画像のように表示される。
【０１５２】
当該クライアント端末１００Ｂのユーザに連続したアプリ画像のうちどのアプリ画像を送信したかを記憶する（ステップＳ８１７）。例えば図５の５４０のように、画像のＩＤと送信済みユーザを対応付けて記憶する。
【０１５３】
クライアント端末１００Ｂは、ステップＳ８１６で送信されるアプリ画像を順次受信して、アプリ画像用の表示用画像キューＺに順次記憶する（ステップＳ８２０）。また、表示用画像キューＺ内のアプリ画像を順次取得して会議画面上に順次表示する（ステップＳ８２１）。例えば図９の９２０における９２１のようにアプリ画像を表示する。
【０１５４】
なお、クライアント端末１００Ａは、例えば図９の「共有終了」ボタン９２２の押下を受け付けることによる、アプリ画像の共有終了の指示を受け付けた場合、サーバ２００に共有終了の旨を通知する（ステップＳ８１０）。サーバ２００は当該通知を受け付けてクライアント端末１００Ｂに通知し、クライアント端末１００Ｂは共有終了の通知に従ってステップＳ８１９〜８２１の処理を停止する。つまり共有を終了する。以上が図８の説明である。
【０１５５】
以上が従来の電子会議システムにおける処理の説明である。
【０１５６】
＜本発明の第１の実施形態＞
以下、図１０〜１１、図１３〜１６を参照して、本発明の詳細な処理について説明する。各フローチャートの処理は、クライアント端末１００又はサーバ２００のＣＰＵ２０１が、各端末が備える機能部の機能を用いて実行する。
【０１５７】
まず、図１０を参照して、本発明の処理の流れについて説明する。図１０の処理は、１００Ａ〜１００Ｄのどのクライアント端末１００でも実行可能である。図１０の説明では、一例として、クライアント端末１００Ｄが処理を実行するものとして説明する。
【０１５８】
本発明においては、アプリ選択機能という機能を用いて、アプリの選択を受け付けることで、カメラ画像送信用の通信を介して、アプリ画像を、カメラ画像の代わりに、同じ電子会議に参加しているユーザのクライアント端末１００に送信可能とする。
【０１５９】
クライアント端末１００は、図４のカメラ画像の送受信及び受信処理実行後、図１０のステップＳ１００１の処理を開始する。
【０１６０】
ステップＳ１００１で、クライアント端末１００Ｄのアプリ画像出力制御部３１７は、自機に記憶されている（通信制御部３１５が管理している）、サーバ２００との通信状況の情報を参照し、カメラ画像送信用の通信が確立されているか判定する（ステップＳ１００１）。
【０１６１】
カメラ画像送信用の通信が確立されていない場合、処理をステップＳ１０１４に移行し、表示制御部３１８が、会議画面上の「アプリ選択」ボタンをグレーアウトして（ステップＳ１０１４）、アプリ選択機能が起動できないようにする。「アプリ選択」ボタンの例は図１３の１３０５に示す。
【０１６２】
ステップＳ１０１４では、アプリ画像送信用の通信確立は行わない。すなわち、カメラ画像送信用の通信が確立されていない場合、アプリの画像の共有をするためには、別途図８の処理を実行して、アプリ共有の機能を用いてサーバに送信する必要がある。
【０１６３】
なお、図１３の１３００は、アプリ選択機能の使用者（本実施例においてはユーザ００４とする）のクライアント端末のデスクトップ画面である。
【０１６４】
「アプリ選択」ボタン１３０５は、会議画面１３０１に含まれる。画像表示領域１３０６は、画像表示領域７１３と同様のため説明は割愛する。
【０１６５】
カメラ画像送信用の通信が確立されている場合、処理をステップＳ１００２に移行し、表示制御部３１８が、会議画面上の「アプリ選択」ボタン１３０５をアクティブに（押下可能に）する（ステップＳ１００２）。
【０１６６】
クライアント端末１００Ｄの表示制御部３１８は、当該「アプリ選択」ボタン１３０５の押下を受け付けることにより、アプリ選択機能の起動指示を受け付ける（ステップＳ１００３）。
【０１６７】
表示制御部３１８は、アプリ選択ウィンドウ１３０２（図１３）を表示する（ステップＳ１００４）。アプリ選択ウィンドウ１３０２とは、カメラ画像を送受信する通信を使って送信したいアプリの画像を選択（指定）及び表示するためのウィンドウである。
【０１６８】
アプリ選択ウィンドウ１３０２には、アプリを選択するために用いるクリップ型のオブジェクト１３０３を表示する。
【０１６９】
アプリ画像出力制御部３１７は、カメラ画像をカメラ画像用の送信用画像キュー（送信画像記憶部３１４）に出力しているカメラ画像出力制御部３１３に対して、当該カメラ画像の出力停止（送信画像記憶部３１４への記憶処理の停止）の指示をする（ステップＳ１００５）。
【０１７０】
カメラ画像出力制御部３１３は当該指示を受け付け（ステップＳ１０１５）、当該指示に従ってカメラ画像の出力を停止する（ステップＳ１０１６）。
【０１７１】
アプリ画像出力制御部３１７は、クライアント端末１００Ｄ自身の外部メモリにあらかじめ記憶されている「画像入力なし」を示す静止画像を取得し、送信画像記憶部３１４へ出力（記憶）する処理を開始する（ステップＳ１００６）。
【０１７２】
「画像入力なし」を示す静止画像の一例を図１６の１６１１に示す。図１６の１６１０は、アプリ選択機能を起動していないクライアント端末１００（本実施例においては、ユーザ００３が操作する端末）のデスクトップ画面である。
【０１７３】
当該処理により、後のステップＳ１００９でアプリ画面の画像が送信画像記憶部３１４へ出力され始めるまで図１６の１６１１のような画像が、カメラ画像として、当該クライアント端末１００とは別の、他のユーザのクライアント端末１００に送信されることとなる。当該送信処理は、従来の処理を示す図４のステップＳ４１４およびＳ４２１で実行される。
【０１７４】
アプリ画像出力制御部３１７は、カメラ画像の代わりに送信するアプリの画面の選択を受け付ける（ステップＳ１００７）。
【０１７５】
具体的には、アプリ選択ウィンドウ１３０２に表示したクリップ型のオブジェクト１３０３を、デスクトップ画面に表示されているアプリケーションのウィンドウに重ねる操作を受け付けることで、当該アプリケーションのウィンドウに表示されている画面の選択を受け付けたものと判定する。当該操作の様子を図１３に示す。
【０１７６】
次に、アプリ画像出力制御部３１７は、カメラ画像の代わりに送信するアプリ画像の決定処理を実行する（ステップＳ１００８）。当該決定処理の詳細は、図１１の説明で後述する。
【０１７７】
ここで図１１を参照して、当該決定処理の詳細について説明する。
【０１７８】
クライアント端末１００Ｄのアプリ画像出力制御部３１７は、アプリ画像のアスペクト比設定（図１７の１７１０）を参照する（ステップＳ１１０１）。
【０１７９】
当該設定は、不図示のアスペクト比指定画面（縦横比固定の設定画面等）において設定された設定値であり、クライアント端末１００Ｄの外部メモリに記憶されている。
【０１８０】
「４：３」が設定されている場合、横４：縦３にアスペクト比を固定する設定がされていると判断する。一方、「Ｎｕｌｌ」が設定されている場合は、アスペクト比を固定する設定がされていないと判断する。
【０１８１】
アプリ画像出力制御部３１７は、アスペクト比が固定されているか判定する（ステップＳ１１０２）。
【０１８２】
アスペクト比が固定されていない場合、処理をステップＳ１１０５に移行する。アプリ画像出力制御部３１７は、オブジェクト１３０３が重ねられたウィンドウ（選択されたアプリウィンドウ１３０４）の位置及び形状をＯＳから取得し、当該位置及び形状に合うようにアプリ選択ウィンドウ１３０２を移動し、形状変更する（ステップＳ１１０５、Ｓ１１０６）。そして、処理をステップＳ１１０７に移行する。
【０１８３】
アプリ選択ウィンドウ１３０２が形状変更、移動した後の様子を図１４の１４００に示す。
【０１８４】
ステップＳ１１０２でアスペクト比が固定されていると判定された場合、アプリ画像出力制御部３１７は、当該アスペクト比に従ってアプリ選択ウィンドウの形状を変更する（ステップＳ１１０３）。
【０１８５】
また、指定されたアプリウィンドウの画像を、当該アスペクト比に変形し、アプリ選択ウィンドウ１３０２の位置に移動して、アプリ選択ウィンドウ１３０２内に表示する（ステップＳ１０１０）。そして、処理をステップＳ１１０７に移行する。
【０１８６】
アプリウィンドウ１３０４が変形、移動した後の様子を図１５の１５００に示す。
【０１８７】
ステップＳ１００７で、アプリ画像出力制御部３１７は、当該ウィンドウの表示されている領域（デスクトップ画面上の座標）を特定する（ステップＳ１１０７）。
【０１８８】
そして、当該ウィンドウの画像をキャプチャする方法を決定する（ステップＳ１１０８）。具体的には、キャプチャに用いるＡＰＩを選択する。
【０１８９】
ＡＰＩは、例えばＭａｇｎｉｆｉｃａｔｉｏｎ  ＡＰＩとＧＤＩが選択可能であるものとする。例えば会議画面（電子会議システムが提供する画面）が、共有したいアプリのウィンドウに重なっている場合はＭａｇｎｉｆｉｃａｔｉｏｎ  ＡＰＩを選択することで、会議画面を除外したアプリウィンドウの画像をキャプチャできる。
【０１９０】
Ｍａｇｎｉｆｉｃａｔｉｏｎ  ＡＰＩを利用しない場合はＧＤＩを選択することで、当該除外処理による負荷を軽減しつつウィンドウのキャプチャを可能とする。
【０１９１】
アプリ画像出力制御部３１７は、アプリウィンドウ１３０４の画像をキャプチャする解像度を決定する（ステップＳ１１０９）。ここでは、送信用画像キュー５３０に記憶されていた最新のカメラ画像（つまり、直前に送出していたカメラ）の解像度と同じ解像度に決定する。
【０１９２】
アプリ画像出力制御部３１７は、ＯＳに対して、ステップＳ１１０８で選択したＡＰＩを用いて、オブジェクト１３０３により選択されているアプリウィンドウ１３０４の画像のキャプチャを指示する（ステップＳ１１１０）。
【０１９３】
例えば、アプリ画像出力制御部３１７がキャプチャ終了の指示をするまで、継続して当該アプリウィンドウ１３０４の画像をキャプチャするよう指示する。ＯＳは当該指示に従ってキャプチャを実行する。
【０１９４】
アプリ画像出力制御部３１７は、キャプチャ画像をＯＳより受け取り、ＲＡＭ２０３上に作成した専用のキャプチャ画像キュー１７００（図１７）に、受け取った画像を記憶する（ステップＳ１１１１）。当該キャプチャ画像キュー１７００の構成は図５の５３０と同じであるため、説明は割愛する。
【０１９５】
アプリ画像出力制御部３１７は、当該記憶処理を、アプリウィンドウ１３０４の選択解除の条件が満たされるまで繰り返し実行する。
【０１９６】
当該選択解除の条件とは、オブジェクト１３０３と当該アプリウィンドウの重なりが解消される、又は、アプリウィンドウ１３０４自体が閉じられることである。
【０１９７】
オブジェクト１３０３とアプリウィンドウ１３０４の重なりが解消される条件は、当該アプリウィンドウ１３０４が最小化されることである。以上が図１１の説明である。
【０１９８】
図１０の説明に戻る。クライアント端末１００Ｄのアプリ画像出力制御部３１７は、ステップＳ１１１１で記憶されているキャプチャ画像（アプリウィンドウ１３０４の画像）を取得して、カメラ画像の送信用画像キュー５３０に出力し、記憶する（ステップＳ１００９）。
【０１９９】
これにより、送信制御部３１６が、図４のステップＳ４１４で取得・送信する画像が、カメラ画像からアプリ画像に切り替わり、カメラ画像の代わりにアプリ画像が、他のクライアント端末１００に送信されることとなる。
【０２００】
また、アスペクト比が固定されている場合において、クライアント端末１００Ｃがクライアント端末１００Ｄから受信し、表示するアプリウィンドウの画像の一例を図１５の１５１１に示す。１５１１に示すように、固定されている画像のアスペクト比が、画像の表示枠のアスペクト比と近ければ、表示枠いっぱいに画像を表示することができる。
【０２０１】
アスペクト比が固定されていない場合において、クライアント端末１００Ｃがクライアント端末１００Ｄから受信し、表示するアプリウィンドウの画像の一例を図１４の１４１２に示す。これにより、アスペクト比の変更によってアプリウィンドウ内の画像のレイアウトが崩れることなく、画像を共有することができる。
【０２０２】
アプリ画像出力制御部３１７は、アプリウィンドウ１３０４の選択が解除されたか判定する（ステップＳ１０１０）。選択解除の条件は上述したため説明は割愛する。
【０２０３】
選択が解除されていない場合は、処理をステップＳ１１０９に戻し、ステップＳ１００９の処理を繰り返し実行する。
【０２０４】
これにより、アプリ画像の選択が解除されるまでの間、継続してアプリ画像を取得、送信することができ、選択されたアプリケーションの画面の変化に応じたアプリ画像を、動画のように、複数のクライアント端末間で共有できる。
【０２０５】
選択が解除された場合、ＯＳに対し、アプリウィンドウ１３０４のキャプチャ終了の指示を出し、キャプチャ画像キュー１７００への記憶処理を終了する。
【０２０６】
アプリ画像出力制御部３１７は、アプリ選択機能が終了されたか判定する（ステップＳ１０１２）。例えばアプリ選択ウィンドウが閉じられた場合に、アプリ選択機能が終了されたと判定する。
【０２０７】
アプリ選択機能が終了されていない場合は、処理をステップＳ１１０６に戻す。
【０２０８】
アプリ選択機能が終了された場合、アプリ画像出力制御部３１７は、カメラ画像出力制御部に対し、送信用画像キュー５３０へのカメラ画像の出力を再開するよう指示する（ステップＳ１０１３）。
【０２０９】
カメラ画像出力制御部３１３は当該指示を受け付け（ステップＳ１０１７）、当該指示に従ってカメラ画像の出力を再開する（ステップＳ１０１８）。これにより、送信制御部３１６による、クライアント端末１００Ｄのカメラ画像の、サーバ２００およびクライアント端末１００Ａ、１００Ｂ，１００Ｃへの配信が再開される。
【０２１０】
なお、上述した説明では、クライアント端末１００Ｄのみがアプリ選択機能を起動し、アプリウィンドウの画像を他のクライアント端末１００に送信した場合について述べたが、当該アプリ選択機能の起動およびアプリウィンドウの画像の送信・共有は、複数のクライアント端末１００において同時に実行可能である。
【０２１１】
例えば、ユーザ００３とユーザ００４のクライアント端末１００でそれぞれ図１０、図１１の処理が実行され、アプリ画面の画像が送信・共有された場合、ユーザ００１およびユーザ００２の画面は、図１６の１６００に示すような状態となる。
【０２１２】
例えばユーザ００１のクライアント端末１００Ａは、会議画面１６０１に、ユーザ００４のクライアント端末１００Ｄから受信した画像１５１１と、ユーザ００３のクライアント端末１００Ｃから受信した画像１６０２の両方を表示する。以上が図１０の説明である。
【０２１３】
本発明の第1の実施形態によれば、同時に複数の端末の画面を電子会議の参加者に共有することが可能な仕組みを提供することができる。
【０２１４】
また、会議のスムーズな進行を補助しつつ、複数の端末の画面を共有することが可能な仕組みを提供することができる。
【０２１５】
また、新たな通信確立をすることなく、既に行われている通信を利用して画面の共有を行うことが可能な仕組みを提供することができる。
【０２１６】
また、既に確立されている通信の情報に従って、画像を共有する機能の利用を制限することができる。
【０２１７】
以上が本発明の第１の実施形態の説明である。
【０２１８】
＜本発明の第２の実施形態＞
次に図１２を参照して、本発明の第２の実施形態について説明する。なお、第２の実施形態では、第１の実施形態における図１０の処理の代わりに図１２の処理を実行する。なお、第１の実施形態と共通する事項については図の記載および説明を割愛する。
【０２１９】
本発明の第1の実施形態によれば、同時に複数の端末の画面を電子会議の参加者に共有することが可能な仕組みを提供することができる。
【０２２０】
また、会議のスムーズな進行を補助しつつ、複数の端末の画面を共有することが可能な仕組みを提供することができる。
【０２２１】
また、新たな通信確立をすることなく、既に行われている通信を利用して画面の共有を行うことが可能な仕組みを提供することができる。
【０２２２】
クライアント端末１００Ｄのアプリ画像出力制御部３１７は、図１２のステップＳ１００３で、アプリ選択ウィンドウの表示指示を受け付ける。
【０２２３】
アプリ画像出力制御部３１７は、図１２のステップＳ１００４で、アプリ選択ウィンドウを表示する。
【０２２４】
アプリ画像出力制御部３１７は、図１２のステップＳ１００１で、自機に記憶されているサーバ２００との通信状況の情報を参照し、カメラ画像送信用の通信が確立されているか判定する。
【０２２５】
当該ステップＳ１００３、Ｓ１００４、Ｓ１００１の処理は、図１０のＳ１００３、Ｓ１００４、Ｓ１００１の処理と同じであるため詳細な説明は割愛する。
【０２２６】
ステップＳ１００１で、カメラ画像送信用の通信が確立されていると判定された場合は、処理を図１０のステップＳ１００５に移行する。
【０２２７】
カメラ画像送信用の通信が確立されていると判定された場合は、処理をステップＳ１２０１に移行し、サーバ２００との間でカメラ画像送信用の通信を確立するよう、通信制御部３１５に指示する（ステップＳ１２０１）。その後、処理を図１０のステップＳ１００５に移行する。
【０２２８】
通信制御部３１５は当該指示を受け付け（ステップＳ１２０２）、サーバ２００と接続し、カメラ画像送信用の通信を確立する（ステップＳ１２０３）。
【０２２９】
第２の実施形態によれば、画面上の画像を共有する機能の起動に応じて、既に表示枠が表示されている画像の送信用の通信を、自動で開始することができる。
【０２３０】
また、指定された画面上の画像を、既に表示枠が表示されている画像用の通信を用いて送信することができる。
【０２３１】
また、同時に複数の端末の画面を電子会議の参加者に共有することが可能な仕組みを提供することができる。
【０２３２】
また、会議のスムーズな進行を補助しつつ、複数の端末の画面を共有することが可能な仕組みを提供することができる。
【０２３３】
また、新たな通信確立をすることなく、既に行われている通信を利用して画面の共有を行うことが可能な仕組みを提供することができる。
【０２３４】
以上が、本発明の第２の実施形態の説明である。
【０２３５】
なお、上述した実施形態においてはウェブ会議を例にあげて本発明の説明をしたが、本発明は例えばテレビ会議、テレビ電話等にも適用可能である。ウェブ会議、テレビ会議、テレビ電話等の電子データを用いた会議を電子会議という。
【０２３６】
以上、２つの実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０２３７】
例えば、各クライアント端末１００において図１０〜１２の処理を実行するものとしたが、サーバ２００内でクライアント端末１００のＯＳにおよび会議クライアントアプリケーションに相当するソフトウェアを動作させ、図１０〜１２の各処理をサーバ２００上で実行するようにしてもよい。この場合、クライアント端末１００は、サーバ２００上のソフトウェアを遠隔操作する端末となる。
【０２３８】
また、本発明におけるプログラムは、図に示す各フローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図に示す各フローチャートの処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図１の各装置の処理方法ごとのプログラムであってもよい。
【０２３９】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【０２４０】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０２４１】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【０２４２】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２４３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２４４】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０２４５】
１００Ａ  クライアント端末
１００Ｂ  クライアント端末
１００Ｃ  クライアント端末
１００Ｄ  クライアント端末
１０１  カメラ
１０２  マイク
１０３  スピーカ
１５０  ネットワーク
２００  サーバ
【図１】
2020057927.tif 000003
【図２】
2020057927.tif 000004
【図３】
2020057927.tif 000005
【図４】
2020057927.tif 000006
【図５】
2020057927.tif 000007
【図６】
2020057927.tif 000008
【図７】
2020057927.tif 000009
【図８】
2020057927.tif 000010
【図９】
2020057927.tif 000011
【図１０】
2020057927.tif 000012
【図１１】
2020057927.tif 000013
【図１２】
2020057927.tif 000014
【図１３】
2020057927.tif 000015
【図１４】
2020057927.tif 000016
【図１５】
2020057927.tif 000017
【図１６】
2020057927.tif 000018
【図１７】
2020057927.tif 000019