(57)【要約】【課題】複数の撮像部から取得した画像を所望の表示形態で配信可能な仕組みを提供すること。【解決手段】本発明は、複数の撮像部と通信可能な情報処理装置を含む画像配信システムであって、まず複数の撮像部でそれぞれ撮像された画像を取得する。そして画像配信システムは、取得した複数の画像を合成する。取得した複数の画像を合成する際に画像配信システムは、当該合成される画像に対して受け付けた、画像の配置位置の変更指示に基づいて、当該画像の配置位置を変更制御する。【選択図】図１
2020005178.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部と通信可能な情報処理装置を含む画像配信システムであって、
複数の前記撮像部でそれぞれ撮像された画像を取得する取得手段と、
前記取得手段で取得した複数の画像を合成する合成手段と、
前記合成手段で合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御手段と、
を含むことを特徴とする画像配信システム。
【請求項２】
前記画像配信システムは、前記取得手段で取得した画像を記憶する記憶手段をさらに備え、
前記合成手段は前記記憶手段に記憶された複数の画像を用いて合成することを特徴とする請求項１に記載の画像配信システム。
【請求項３】
前記画像配信システムは、前記合成手段で合成すべき画像を撮像する複数の撮像部の選択を受け付ける選択受付手段をさらに備え、
前記合成手段は、前記選択受付手段で選択を受け付けた複数の撮像部から取得した画像を合成することを特徴とする請求項１または２に記載の画像配信システム。
【請求項４】
前記合成手段は、前記撮像部から撮像した画像に対してメイン画像とサブ画像との種別を分けた状態で合成することを特徴とする請求項１乃至３のいずれか１項に記載の画像配信システム。
【請求項５】
前記変更制御手段は、前記合成手段で合成した画像の種別を変更する制御を行うことを特徴とする請求項４に記載の画像配信システム。
【請求項６】
前記画像配信システムは、情報処理装置で表示している画像を他の情報処理装置と共有可能であって、他の情報処理装置と共有している画像を取得する共有画像取得手段をさらに含み、
前記合成手段は、前記取得手段で取得した画像と前記共有画像取得手段で取得した画像とを用いて合成することを特徴とする請求項１乃至５のいずれか1項に記載の画像配信システム。
【請求項７】
他の情報処理装置、及び複数の撮像部と通信可能な情報処理装置であって、
複数の前記撮像部でそれぞれ撮像された画像を取得する取得手段と、
前記取得手段で取得した複数の画像を合成する合成手段と、
前記合成手段で合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御手段と、
を備えることを特徴とする情報処理装置。
【請求項８】
複数の撮像部と通信可能な情報処理装置を含む画像配信システムの制御方法であって、
複数の前記撮像部でそれぞれ撮像された画像を取得する取得ステップと、
前記取得ステップで取得した複数の画像を合成する合成ステップと、
前記合成ステップで合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御ステップと、
を含むことを特徴とする画像配信システムの制御方法。
【請求項９】
他の情報処理装置、及び複数の撮像部と通信可能な情報処理装置の制御方法であって、
複数の前記撮像部でそれぞれ撮像された画像を取得する取得ステップと、
前記取得ステップで取得した複数の画像を合成する合成ステップと、
前記合成ステップで合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御ステップと、
を含むことを特徴とする情報処理装置の制御方法。
【請求項１０】
コンピュータを、請求項７に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信システム、情報処理装置、それらの制御方法およびプログラムに関する。
【背景技術】
【０００２】
従来、インターネット回線などを利用したウェブ会議システムにおいては、サーバ装置と複数のクライアント端末とで、音声データ、および画像データの送受信を行う。これにより、会議に参加するユーザは、それぞれ別の場所にいながらウェブ会議を行うことが可能となる。
【０００３】
このようなウェブ会議システム（画像配信システム）を用いることで、例えば会社における業務上のプレゼンテーションや、大学の授業など話者と複数の聴衆が存在するような場合においても、話者、もしくは聴衆側をカメラで撮影し、映像を他拠点に配信することが可能となる。
【０００４】
しかしながら、ウェブ会議でカメラを一台しか用いなかった場合は、話者、もしくは聴衆側のいずれかの映像しか他拠点に配信することができず、他拠点側ではプレゼンテーション会場などの会議を行っている場の雰囲気を十分に感じとることはできない。
【０００５】
そのため、複数のカメラで撮像した画像を合成する仕組みが考えられる。特許文献１では、メインカメラとサブカメラを備える撮像装置がそれぞれのカメラで画像を撮像し、メインカメラで撮像した画像にサブカメラで撮像した画像を重畳させた画像を生成する仕組みが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−９６５７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ウェブ会議システムを利用して行われる会議では、話者の映像がメイン映像となり、それぞれ他拠点にいる聴衆の映像がサブ映像となる。しかしながら、聴衆が複数いた場合、特許文献１の仕組みを適用すると、サブ映像をメイン映像に重畳して表示するため、サブ映像の数が増えれば増えるほどメイン映像が見づらくなってしまう。
【０００８】
そこで本発明は、複数の撮像部から取得した画像を所望の表示形態で配信可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像配信システムは、複数の撮像部と通信可能な情報処理装置を含む画像配信システムであって、複数の前記撮像部でそれぞれ撮像された画像を取得する取得手段と、前記取得手段で取得した複数の画像を合成する合成手段と、前記合成手段で合成される画像に対して受け付けた前記画像の配置位置の変更指示に基づいて、前記画像の配置位置を変更制御する変更制御手段と、を含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の撮像部から取得した画像を所望の表示形態で配信可能な効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本実施形態のウェブ会議システムのシステム構成図の一例を示す図である。
【図２】本実施形態のウェブ会議サーバ１００のハードウェア構成の一例を示す図である。
【図３】本実施形態の情報処理装置１０１および１０２のハードウェア構成の一例を示す図である。
【図４】本実施形態の機能構成の一例を示す図である。
【図５】本実施形態のウェブ会議システムの複数カメラ入力処理の一例を示すフローチャートである。
【図６】第一の実施形態におけるウェブ会議システムのカメラと映像の表示順を選択するカメラ選択画面６００の一例を示す図である。
【図７】第一の実施形態におけるウェブ会議システムのミキシングされた映像である複数カメラ画面７００の一例を示す図である。
【図８】第二の実施形態におけるウェブ会議システムのカメラとアプリ画面、およびそれらの映像の表示順を選択するカメラ・アプリ選択画面８００の一例を示す図である。
【図９】第二の実施形態におけるウェブ会議システムのミキシングされた映像である複数カメラ・アプリ画面９００の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施の形態の一例について説明する。
【００１３】
図１は、本発明の一実施例を示すウェブ会議システム（画像配信システム）のシステム構成を例示する図である。
【００１４】
図１に示すように、本実施形態のウェブ会議システムは、例えば、情報処理装置などのパーソナルコンピュータを適用可能なウェブ会議サーバ１００、情報処理装置１０１、情報処理装置１０２を有する。情報処理装置１０１は画面および音声を共有させるホストコンピュータであり、情報処理装置１０２は画面および音声を共有するゲストコンピュータである。また、情報処理装置１０１には、１つ以上のカメラデバイス１０３（撮像部）が通信可能に接続されている。これら１００〜１０２に示す装置は、ネットワーク通信機能を利用し、ＬＡＮ５００（ローカルエリアネットワーク）を介してデータ通信可能であり、ウェブ会議システムに接続することでウェブ会議へ参加可能となる。
【００１５】
ウェブ会議サーバ１００は、ウェブブラウザを利用したウェブ会議を実現するためのサーバであり、例えば、情報処理装置などのパーソナルコンピュータを適用可能である。尚、ウェブ会議サーバ１００は、公衆回線を介してデータ通信が可能である。
【００１６】
情報処理装置１０１および情報処理装置１０２は、ウェブ会議サーバ１００へアクセスすることにより、ウェブ会議アプリケーション画面（インタフェース）を取得してウェブ会議を行うことができる。情報処理装置１０１および情報処理装置１０２には、ウェブ会議サーバ１００へアクセスするためのウェブブラウザ、および専用のモジュールがインストールされている。尚、この専用のモジュールは、例えば、ウェブブラウザを介して、ウェブ会議サーバ１００からダウンロードするＡｃｔｉｖｅＸコンポーネントである。
【００１７】
尚、情報処理装置１０１および情報処理装置１０２には、ウェブ会議において自身の動画像を送信する場合はカメラデバイス１０３を接続し、音声を送信する場合はマイク（不図示）を接続する。また、相手の音声を視聴するためにはスピーカー（不図示）を接続する。これらの各デバイスは、情報処理装置１０１および情報処理装置１０２上に複数台接続することが可能である。尚、本実施形態のウェブ会議システムでは、カメラデバイス１０３を複数接続しているものとする。
【００１８】
上記のカメラデバイス１０３から取得した映像、マイクから取得した音声は、それぞれ圧縮され、他の参加者の情報処理装置１０２に送信される。
【００１９】
また、ウェブ会議システムでは、ウェブ会議サーバ１００を介して情報処理装置１０１の画面を情報処理装置１０２に送信することで、情報処理装置１０１の画面を情報処理装置１０２で表示して共有可能とすることができる。共有される画面は、情報処理装置１０１で指定することが可能である。また、共有される画面は、アプリケーションの画面や情報処理装置１０１のデスクトップ全体の画面である。尚、本実施形態では、ウェブ会議サーバ１００を経由して情報処理装置１０１と情報処理装置１０２とが通信を行うが、ウェブ会議サーバ１００の機能を情報処理装置１０１が備えることもできる。つまり、情報処理装置１０１と情報処置装置１０２とが通信して、画像や音声を送受信し共有してもよい。また、情報処理装置１０１で行われる本実施形態にかかる制御をウェブ会議サーバ１００が備えてもよい。
【００２０】
画面共有を行う場合、情報処理装置１０１の画面は、ウェブ会議サーバ１００に送信され、ウェブ会議サーバ１００から情報処理装置１０２に送信される。
【００２１】
また、本実施形態においては、ホストコンピュータである情報処理装置１０１は、本ウェブ会議システムに１台だけ存在できる。ホストコンピュータの役割を担っていた情報処理装置１０１が情報処理装置１０２となり、ゲストコンピュータの役割を担っていた情報処理装置１０２が情報処理装置１０１としての役割を果たすことも可能である。情報処理装置１０２がホストコンピュータである情報処理装置１０１としての役割を果たす場合は、情報処理装置１０２の画面を本ウェブ会議システムで共有することができる。
【００２２】
尚、本ウェブ会議システムは、ルームと呼ばれる仮想会議室を複数設定することが可能である。このルームを複数設定することにより複数の会議を行うことが可能であるが、本実施形態では、ウェブ会議システムでは１つのルームによる会議が行われているものとして説明する。複数のルームが存在する場合には、該当する１つのルームがウェブ会議システムを意味するものとする。以上が図１の説明である。
【００２３】
次に図２および図３を参照して、本発明の実施形態における各種装置に適用可能なハードウェア構成の一例について説明する。
【００２４】
図２は、ウェブ会議サーバ１００のハードウェア構成の一例を示す図である。
【００２５】
図２において、ウェブ会議サーバ１００のＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）が記憶される。また、ＲＯＭ２０２あるいは外部メモリ２１１には、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２６】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２７】
また、２０５は入力コントローラで、入力デバイス２０９からの入力を制御する。入力デバイス２０９としては、キーボード、タッチパネル、およびマウス等のポインティングデバイス等が挙げられる。
【００２８】
尚、入力デバイス２０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
【００２９】
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００３０】
２０６はビデオコントローラで、ディスプレイ２１０等の表示機への表示を制御する。尚、ディスプレイ２１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。尚、ディスプレイ２１０は、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものではなく、例えばプロジェクタであってもよい。
【００３１】
また、図２のウェブ会議サーバ１００が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ２１０が入力デバイス２０９としての機能を提供する。
【００３２】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイルへのアクセスを制御する。また、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００３３】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００３４】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３５】
本発明を実現するための後述する各種プログラムは、ＲＯＭ２０２あるいは外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。
【００３６】
さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報、テーブル等も、外部メモリ２１１に格納されている。
【００３７】
以上で、図２のウェブ会議サーバ１００のハードウェア構成の説明を終了する。
【００３８】
図３は、情報処理装置１０１および１０２のハードウェア構成の一例を示す図である。情報処理装置１０１と１０２は同じハードウェア構成であるため、情報処理装置１０１を例に以下説明する。
【００３９】
図３において、情報処理装置１０１のＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ３０２あるいは外部メモリ３１１には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステム（以下、ＯＳ）が記憶される。また、ＲＯＭ３０２あるいは外部メモリ３１１には、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００４０】
３０３はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＯＭ３０２あるいは外部メモリ３１１からＲＡＭ３０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００４１】
また、３０５は入力コントローラで、入力デバイス３０９からの入力を制御する。入力デバイス３０９としては、キーボード、タッチパネル、およびマウス等のポインティングデバイス等が挙げられる。
【００４２】
尚、入力デバイス３０９がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
【００４３】
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００４４】
３０６はビデオコントローラで、ディスプレイ３１０等の表示機への表示を制御する。尚、ディスプレイ３１０は、ＣＲＴ、液晶ディスプレイ等の表示機のことを指す。または、その他の表示機であってもよい。尚、ディスプレイ３１０は、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。外部出力装置はディスプレイに限ったものではなく、例えばプロジェクタであってもよい。
【００４５】
また、図３の情報処理装置１０１および１０２が前述のタッチ操作を受け付け可能な装置である場合には、ディスプレイ３１０が入力デバイス３０９としての機能を提供する。
【００４６】
３０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤＤ）や、フレキシブルディスク（ＦＤ）へのアクセスを制御する。また、メモリコントローラ３０７は、ＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ３１１へのアクセスを制御する。
【００４７】
３０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００４８】
尚、ＣＰＵ３０１は、例えばＲＡＭ３０３内の表示情報用領域へアウトラインフォント展開（ラスタライズ）処理を実行することにより、ディスプレイ３１０上での表示を可能としている。また、ＣＰＵ３０１は、ディスプレイ３１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００４９】
本発明を実現するための後述する各種プログラムは、ＲＯＭ３０２あるいは外部メモリ３１１に記録されており、必要に応じてＲＡＭ３０３にロードされることによりＣＰＵ３０１によって実行されるものである。
【００５０】
さらに、上記プログラムの実行時に用いられる定義ファイルおよび各種情報、テーブル等も、外部メモリ３１１に格納されており、これらについての詳細な説明も後述する。
【００５１】
カメラコントローラ３１２は、カメラ３１４等による映像取得を制御し、音声コントローラ３１３はマイク３１５（入力部）、スピーカー（出力部）３１６等による音声取得制御やスピーカー３１６への出力を制御する。尚、音声コントローラ３１３が音声を出力する先は、スピーカー３１６だけではなくヘッドフォンや外部のスピーカーに出力するための出力端子であってもよい。
【００５２】
カメラ３１４は、図３のハードウェア構成を適用する装置に内蔵されているカメラである。また、マイク３１５およびスピーカー３１６は、図３のハードウェア構成を適用する装置に内蔵されているマイク３１５およびスピーカー３１６である。以上が図３の説明である。
【００５３】
次に図４を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。
【００５４】
情報処理装置１０１および１０２は、画像記憶部４１１、送信制御部４１２、受信制御部４１３、画像処理部４１４等を備えている。
【００５５】
情報処理装置１０１と１０２は同じ機能構成であるため、ここでは情報処理装置１０１を例に説明を行い、情報処理装置１０２についての説明は省略する。
【００５６】
画像記憶部４１１は、送信制御部４１２によって送信する画像と同じ画像を記憶する記憶部（キュー）である。
【００５７】
キューには、情報処理装置１０１の撮像装置によって撮像される撮像画像（会議画像）用の画像キューと、ユーザ操作により指定された指定画像（情報処理装置１０１のデスクトップ画面の画像等）の画像キューがある。
【００５８】
撮像画像用の画像キューには撮像画像を順次記憶する。カメラ３１４およびカメラデバイス１０３は継続的に撮像処理（動画の撮像および情報処理装置１０１への動画の入力）を行うため、当該画像キューには、動画を構成する複数の画像が、動画内のフレームごとに順々に記憶される。
【００５９】
指定画像用の画像キューには、指定画像を所定時間ごとに記憶する。例えば０．２秒ごとに、情報処理装置１０１のデスクトップ画面に表示されているデスクトップ画像を順次記憶する。記憶される各指定画像は、例えばデスクトップ画像を繋ぎ合わせて再生する動画の１フレームである。
【００６０】
送信制御部４１２は、各種画像や音声データを送信する機能部である（画像送信手段）。より具体的には、カメラ３１４およびカメラデバイス１０３において撮像され入力された画像（映像）や、ユーザ操作等により表示を共有する画像として指定された指定画像（デスクトップ全体または指定アプリケーションの画面の画像）を、ウェブ会議サーバ１００に送信制御する。本実施形態では自装置とは異なる情報処理装置（例えば情報処理装置１０２）で取得した画像と情報処理装置１０１で取得した画像とを合成した画像（複数カメラ画面７００を、ウェブ会議サーバ１００に送信制御する。
【００６１】
送信された画像は、ウェブ会議サーバ１００の受信制御部４２２で受信され、メモリ上の記憶部４２３（画像キュー）に格納される。
【００６２】
受信制御部４１３は、ウェブ会議サーバ１００から画像および音声を受信する機能部である。
【００６３】
画像処理部４１４は、情報処理装置１０１に内蔵されたカメラ３１４および情報処理装置１０１と通信可能に接続された複数のカメラデバイス１０３から入力された映像（画像）を一つの映像としてミキシング（合成）する機能部である。本実施形態では主にカメラデバイス１０３から取得された画像のミキシングについて説明するが、情報処理装置１０１に内蔵されたカメラ３１４から入力された画像をミキシングしてもよい。ミキシングされた映像は送信制御部４１２の機能により一つの映像としてウェブ会議サーバ１００に送信される。また、画像処理部４１４は、図７のメイン映像７０１とサブ映像７０２として選択を受け付けた複数のカメラデバイス１０３を、それぞれ重ならないように配置し、メイン映像７０１とサブ映像７０２との種別を入れ替え可能にミキシングすることも可能である。また、ミキシングされる映像の配置や映像の選択は、適宜、ホストコンピュータとなる情報処理装置１０１で操作を受け付けることにより変更可能である。尚、本実施形態では図７のメイン映像７０１に表示される画像をメイン画像、サブ映像７０２に表示される画像をサブ画像と表現する。図７については後述する。
【００６４】
以上で、情報処理装置１０１および情報処理装置１０２の機能構成の説明を終了する。
【００６５】
次に、ウェブ会議サーバ１００の機能構成図について説明する。
【００６６】
ウェブ会議サーバ１００は、会議情報記憶部４２１、受信制御部４２２、記憶部４２３、送信制御部４２４等を備えている。
【００６７】
会議情報記憶部４２１は、どのユーザが、どの会議室に入室してどのユーザと会議を行っているかを記憶する記憶部である。
【００６８】
受信制御部４２２は、情報処理装置１０１の送信制御部４１２より送信された会議画像（映像）、および指定画像、音声を受信する受信部である。
【００６９】
記憶部４２３は、情報処理装置１０１および情報処理装置１０２から受信した画像および音声を記憶する機能部である。
【００７０】
送信制御部４２４は、受信制御部４２２で受信した画像や指定画像、音声等を、同じ会議に参加している（例：同じ会議室に入室中の）、当該画像や音声の送信元の情報処理装置１０１とは別の、他の情報処理装置１０２に送信する制御部である。
【００７１】
尚、本実施形態においては、情報処理装置１０２がウェブ会議サーバ１００に対して、記憶部４２３からの画像の取得要求を行う。当該要求に応じてウェブ会議サーバ１００の送信制御部４２４が要求元の情報処理装置１０２に対して、当該要求受付時におけるキュー内の最新の画像を送信するものとする。
【００７２】
情報処理装置１０２は、要求した画像を受信した後、当該受信した画像（動画内の１フレーム）を表示画面に表示する。そして当該表示と並行して、当該動画内の次の画像をウェブ会議サーバ１００に要求する。会議が終了する等、動画の表示が終了するまで、当該画像の要求と表示を繰り返す。
【００７３】
以上が図４のウェブ会議サーバ１００の機能構成図の説明である。
【００７４】
図５は、本発明の第一の実施形態である、ウェブ会議システムの複数カメラ入力処理を例示するフローチャートである。
【００７５】
ステップＳ５０１では、情報処理装置１０１のＣＰＵ３０１は、ウェブ会議システムの会議を行う際に利用するカメラの接続を受け付ける。
【００７６】
ステップＳ５０２では、情報処理装置１０１のＣＰＵ３０１は、ユーザからのウェブ会議への入室指示を受け付ける。
【００７７】
ステップＳ５０３では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に接続されたカメラデバイス１０３が複数台であるか否かを判定する。より具体的には、情報処理装置１０１のＣＰＵ３０１は、ＯＳが認識しているデバイスの情報を取得し、取得した情報からカメラデバイス１０３が複数接続されているか否かを判定する。カメラデバイス１０３が複数接続されていると判定した場合は、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０５に処理を進める。カメラデバイス１０３が複数接続されていると判定しなかった場合、つまり接続されているカメラデバイス１０３が一台であった場合はステップＳ５０４に処理を進める。
【００７８】
ステップＳ５０４では、情報処理装置１０１のＣＰＵ３０１は、接続されたカメラデバイス１０３から入力された画像を取得する。取得された画像は画像記憶部４１１の機能により記憶される。
【００７９】
ステップＳ５０５では、情報処理装置１０１のＣＰＵ３０１は、使用するカメラデバイス１０３と選択したカメラデバイス１０３から取得した画像の表示順（メイン映像とその他サブ映像）を選択するためのカメラ選択画面６００を表示する。
【００８０】
ここで、図６のカメラ選択画面６００について説明する。カメラ選択画面６００は、使用するカメラデバイス１０３の選択受け付けると、当該カメラデバイス１０３から取得した画像の表示順の選択を受け付けるための画面の一例である。カメラ選択画面６００は、カメラ一覧画面６０１と、優先順変更ボタン６０２と、適用ボタン６０３と、ＯＫボタン６０４と、を含む。カメラ一覧画面６０１には、情報処理装置１０１に接続されたカメラデバイス１０３の一覧が表示される。また、カメラ一覧画面６０１に表示されるカメラデバイス１０３には、例えば図７におけるメイン映像７０１として取得されるものとサブ映像７０２として取得されるものがある。本実施形態では一例として、情報処理装置１０１に５つカメラデバイス１０３が接続されていた場合に４つのカメラデバイスの選択を受け付けたとする。選択を受け付けたカメラデバイス１０３のうち、一例として１つはメイン映像７０１、残りの３つはサブ映像７０２として設定される。尚、メイン映像７０１とサブ映像７０２の数は任意に設定できるとよい。
【００８１】
カメラ選択画面６００では、ユーザからの指定を受け付けることで接続されているカメラデバイス１０３のうち、どのカメラデバイス１０３からの映像を取得するかを選択可能とする。尚、ステップＳ５０３で情報処理装置１０１に接続されたカメラデバイス１０３が一台のみであった場合にこのカメラ選択画面６００が表示された場合は、カメラ一覧画面６０１には接続されたカメラデバイス１０３が一台のみ表示される。そして、情報処理装置１０１は、当該カメラデバイス１０３から取得された画像がメイン映像７０１となるよう設定する。さらに、優先順変更ボタン６０２の上下いずれかの押下を受け付けることにより、メイン映像７０１とするカメラデバイス１０３とサブ映像７０２とするカメラデバイス１０３を変更し、入れ替えることも可能とする。適用ボタン６０３の押下を受け付けると、情報処理装置１０１はカメラ選択画面６００で受け付けた変更を一時保存する。そしてＯＫボタン６０４の押下を受け付けることで情報処理装置１０１は受け付けたすべての変更を確定させて保存し、カメラ選択画面６００の表示を終了する。
【００８２】
ステップＳ５０６では、情報処理装置１０１のＣＰＵ３０１は、カメラ選択画面６００で使用するカメラの選択を受け付ける。より具体的には、カメラ選択画面６００に表示されているカメラ一覧画面６０１でカメラデバイス１０３の指定を受け付けることにより、映像を取得するカメラデバイス１０３の選択を受け付け、カメラ一覧画面６０１でチェックを付加する。
【００８３】
ステップＳ５０７では、情報処理装置１０１のＣＰＵ３０１は、カメラ選択画面６００で映像の表示順の選択を受け付け、カメラデバイス１０３から取得した映像を最初に表示する際の表示順を決定する。より具体的には、カメラ選択画面６００の優先順変更ボタン６０２の上下いずれかの押下を受け付け、任意のカメラデバイス１０３の名前を示すそれぞれの表示を上下させることにより、カメラデバイス１０３から取得した画像を表示する際の優先順位の変更を受け付ける。ＯＫボタン６０４の押下を受け付けると、情報処理装置１０１は表示順を確定し外部メモリ３１１に記憶する。
【００８４】
ステップＳ５０８では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０６で選択を受け付けたカメラデバイス１０３で入力された画像を取得する。取得した画像は画像記憶部４１１の機能により記憶される。
【００８５】
ステップＳ５０９では、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０８で取得された画像を画像処理部４１４の機能によりミキシングする。より具体的には、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０８で取得した画像をメイン画像とサブ画像に分けて合成する。このとき、メイン画像とサブ画像が重ならないように一つの画像として図７の複数カメラ画面７００のように合成するとよい。複数カメラ画面７００については後述する。
【００８６】
ステップＳ５１０では、情報処理装置１０１のＣＰＵ３０１は、送信制御部４１２の機能によりステップＳ５０９でミキシングした画像をウェブ会議サーバ１００に送信する。
【００８７】
ステップＳ５１１では、ウェブ会議サーバ１００のＣＰＵ２０１は、受信制御部４２２の機能により、情報処理装置１０１から送信された画像を受信する。情報処理装置１０１から受信した画像は、記憶部４２３に記憶され、ウェブ会議サーバ１００の送信制御部４２４の機能により、ウェブ会議に参加している他の情報処理装置１０２に送信される。ウェブ会議サーバ１００は、情報処理装置１０１から受信した画像を次々に情報処理装置１０２に送信することで、映像としてウェブ会議の画像を複数の情報処理装置１０２と共有する。
【００８８】
ステップＳ５１２では、情報処理装置１０１のＣＰＵ３０１は、図７の複数カメラ画面７００における操作を受け付け、画像の表示順を変更するか否かを判定する。より具体的には、複数カメラ画面７００の配置順変更ボタン７０３の押下を受け付け、画像の配置順（配置位置）の変更指示を受け付けたと判定した場合には、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０７に処理を戻す。複数カメラ画面７００の配置順変更ボタン７０３の押下を受け付けていない場合、つまり、画像の配置順の変更指示を受け付けていない場合には、ステップＳ５１３に処理を進める。情報処理装置１０１のＣＰＵ３０１は、ステップＳ５０７に処理を戻した場合には、複数カメラ画面７００の画像の配置順を変更して確定し、画像の配置順が変更された複数カメラ画面７００の画像をウェブ会議サーバ１００に送信する。
【００８９】
図７は複数カメラ画面７００の一例である。複数カメラ画面７００は、ステップＳ５０９で複数のカメラデバイス１０３から取得した画像をミキシングした後で、情報処理装置１０１のディスプレイ３１０に表示される。複数カメラ画面７００は、メイン映像７０１と、サブ映像７０２と、配置順変更ボタン７０３とを備える。情報処理装置１０１が配置順変更ボタン７０３の押下を受け付けると、配置順変更ボタン７０３の押下を受け付けるたびにメイン映像７０１と複数のサブ映像７０２が順に入れ替わる。例えば、図７の複数カメラ画面７００において、配置順変更ボタン７０３の押下を一回受け付けると、メイン映像７０１に表示されている画像がサブ１映像に移動し、サブ映像７０２に表示されている画像がメイン映像７０１に移動する。そして、サブ２映像に表示されている画像がサブ３映像に移動するというように、配置順変更ボタン７０３の押下を受け付けるたびに表示されている映像が時計回りに移動する。つまり、複数カメラ画面７００で受け付ける処理は、ミキシングされる画像に対して受け付けた画像の配置位置の変更指示に基づいて、当該画像の配置位置を変更制御する処理である。
【００９０】
ステップＳ５１３では、情報処理装置１０１のＣＰＵ３０１は、情報処理装置１０１に接続されているカメラデバイス１０３の変更指示を受け付けたか否かを判定する。より具体的には、不図示のカメラデバイス変更ボタンの押下を受け付けることにより、情報処理装置１０１は、図６のカメラ選択画面６００をディスプレイ３１０に表示する。そして、カメラ選択画面６００で再度カメラデバイス１０３の選択を受け付けることにより、画像を取得するカメラデバイス１０３の変更を受け付ける。このとき、選択するカメラデバイス１０３の数は、必ずしも変更前のカメラデバイス１０３の数と同じでなくともよい。つまり、画像を取得するカメラデバイス１０３の数を増やしたり減らしたりすることも可能である。情報処理装置１０１のＣＰＵ３０１は、カメラデバイス１０３の変更指示を受け付けたと判定した場合にはステップＳ５０５に処理を戻してカメラ選択画面６００を表示する。情報処理装置１０１のＣＰＵ３０１は、カメラデバイス１０３の変更指示を受け付けたと判定しなかった場合、つまりカメラデバイス１０３の変更指示を受け付けなかった場合には、ステップＳ５１０に処理を戻す。
【００９１】
ステップＳ５１４では、情報処理装置１０１のＣＰＵ３０１は、会議を終了するか否かを判定する。より具体的には、不図示の会議終了ボタン押下等の指示を受け付けることにより、会議を終了するか否かを判定する。会議終了と判定しなかった場合は、情報処理装置１０１のＣＰＵ３０１は、ステップＳ５１０に処理を戻し、会議が終了するまでカメラデバイス１０３から取得した画像をウェブ会議サーバ１００に送信する。会議終了と判定した場合は、情報処理装置１０１のＣＰＵ３０１は、一連の処理を終了する。
【００９２】
以上で、本発明の第一の実施形態であるウェブ会議システムの複数カメラ入力処理を例示するフローチャートの説明を終了する。この一連の処理により、複数のカメラデバイス１０３から撮像された画像の配置順を適宜入れ替え可能な状態で他の情報処理装置１０２に共有可能な配信画像を出力することができる。つまり、この処理により、場面に応じた表示形態で映像を他拠点に配信することが可能となるため、プレゼンテーション会場や会議会場の様子の共有を、他拠点においても効果的に臨場感のあるのものにできる。また、一般的には、複数のカメラデバイス１０３から取得した映像はそれぞれのカメラ映像として他拠点に配信するため、カメラデバイス１０３が増えれば増えるほど通信負荷は高くなる。しかしながら、情報処理装置１０１は、複数のカメラデバイス１０３の映像を合成することにより、映像を他拠点に配信するための通信帯域を効果的に利用することが可能となる。
【００９３】
次に、図８と図９を用いて、本発明の第二の実施形態について説明する。第一の実施形態は、複数のカメラデバイス１０３から取得した画像を一つの画像にミキシングして、ウェブ会議サーバ１００に送信する仕組みについて説明した。第二の実施形態は、情報処理装置１０１で表示されるデスクトップ画面やアプリケーションの画面を、カメラデバイス１０３から取得した画像とミキシングしてウェブ会議サーバ１００に送信する仕組みについて説明する。
【００９４】
図８は、カメラ・アプリ選択画面８００の一例を示す図である。カメラ・アプリ選択画面８００は、図６のカメラ選択画面６００とほぼ同じであり、カメラ選択画面６００には無いアプリ画面選択チェックボックス８０１を備える。アプリ画面選択チェックボックス８０１は、情報処理装置１０１が他の情報処理装置１０２とデスクトップ画面やアプリケーションの画面を共有している際に、当該共有している画面を選択可能なチェックボックスである。アプリ画面選択チェックボックス８０１の選択を受け付けると、情報処理装置１０１は、情報処理装置１０１がディスプレイ３１０に表示するデスクトップ画面やアプリケーションの画面の画像を取得する（共有画像取得）。
【００９５】
図９は、図５のフローチャートで説明した複数カメラ入力処理における第二の実施形態の一例を示す複数カメラ・アプリ画面９００の図である。
【００９６】
図９の複数カメラ・アプリ画面９００は図８のカメラ・アプリ選択画面８００において選択を受け付けたカメラデバイス１０３、およびアプリケーション画面またはデスクトップ画面からそれぞれ取得し合成した画像を出力した画面である。複数カメラ・アプリ画面９００はアプリ画像９０１を含む。アプリ画像９０１は、ホストコンピュータである情報処理装置１０１のディスプレイ３１０で表示されるデスクトップ画面、もしくはアプリケーション画面の画像であって、他の情報処理装置１０２に共有される画像である。複数カメラ・アプリ画面９００は、図７と同じく配置順変更ボタン７０３を備える。情報処理装置１０１は、配置順変更ボタン７０３の押下を受け付けることによりサブ画像とメイン画像の配置順を変更する。そのため、カメラデバイス１０３から取得した画像をサブ映像７０２として表示し、アプリ画像９０１をメイン映像７０１として表示することも可能である。
【００９７】
情報処理装置１０１は、図５のステップＳ５０５で図８のカメラ・アプリ選択画面８００を表示させ、カメラデバイス１０３の選択とアプリ画面選択チェックボックス８０１のチェックを受け付ける。カメラデバイス１０３の選択とアプリ画面選択チェックボックス８０１のチェックを受け付けた場合には、情報処理装置１０１はカメラデバイス１０３とアプリケーション画面とから取得可能な画像をそれぞれ取得する。そして、情報処理装置１０１のＣＰＵ３０１は、図５のステップＳ５０９からステップＳ５１４の処理を進める。
【００９８】
以上で、第二の実施形態におけるカメラデバイス１０３から取得した画像と、情報処理装置１０１で表示されるデスクトップ画面もしくはアプリケーションの画面から取得した画像とをミキシングし、ウェブ会議サーバ１００に送信する仕組みの説明を終了する。
【００９９】
このように、本発明によれば、複数の撮像部から取得した画像を所望の表示形態で配信可能な効果を奏する。
【０１００】
本発明の実施形態においては、情報処理装置１０１と他の情報処理装置１０２を一例に説明を行ったが、ウェブ会議に参加するホストコンピュータ（情報処理装置１０１）以外のゲストコンピュータは、複数存在してよい。
【０１０１】
尚、上述した実施形態においてはウェブ会議を例にあげて本発明の説明をしたが、本発明は例えばテレビ会議、テレビ電話等にも適用可能である。ウェブ会議、テレビ会議、テレビ電話等の電子データを用いた会議を電子会議という。
【０１０２】
以上、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０３】
また、本発明におけるプログラムは、本実施形態に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体はコンピュータが実行可能なプログラムが記憶されている。尚、本発明におけるプログラムは各装置の処理方法ごとのプログラムであってもよい。
【０１０４】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【０１０５】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０１０６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【０１０７】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０８】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０９】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１０】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。尚、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１１】
１００  ウェブ会議サーバ
１０１  情報処理装置
１０２  情報処理装置
１０３  カメラデバイス
２０１  ＣＰＵ
２０８  通信Ｉ／Ｆコントローラ
２１１  外部メモリ
３０１  ＣＰＵ
３０８  通信Ｉ／Ｆコントローラ
３０９  入力デバイス
３１０  ディスプレイ
３１１  外部メモリ
３１４  カメラ
５００  ＬＡＮ
【図１】
2020005178.tif 000003
【図２】
2020005178.tif 000004
【図３】
2020005178.tif 000005
【図４】
2020005178.tif 000006
【図５】
2020005178.tif 000007
【図６】
2020005178.tif 000008
【図７】
2020005178.tif 000009
【図８】
2020005178.tif 000010
【図９】
2020005178.tif 000011