(57)【要約】【課題】電子的な原稿及びプレゼン資料などを用いて会議参加者間で共有し、書き込みながら議論を進めていく場面では、書き込みをしている者を正確に特定できないという問題が発生する。【解決手段】Ａ会議拠点１０は、サーバ１１と、クライアントコンピュータ１２と、大型表示装置の画面上にタブレット機能を有するスマートボード１３（タッチパネル式ディスプレイ）と、撮像装置を装着したインテリジェントペン１４とを有しており、他のＢ会議拠点２０とＣ会議拠点３０も同様な構成を有している。【選択図】図１
2006304066.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を中継する遠隔会議に用いられるサーバであって、
書き込みを行うペンの属性情報を含むペン情報と描画情報を取得する描画情報取得手段と、
ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像を取得する顔画像取得手段と、
前記描画情報取得手段で取得した情報と前記顔画像とを結びつけて各会議拠点の表示装置に送出する描画送出手段と、を備えることを特徴とするサーバ。
【請求項２】
請求項１に記載のサーバにおいて、
ペン情報は、ペンを識別するペンＩＤ、ペンの色、線の太さなどの属性情報、ペンの描画ＯＮとＯＦＦを示す動作情報の少なくとも１つを有し、
ペンに設けられた撮像装置は一体型又は着脱可能であり、さらに、ペンと撮像装置の対応関係を登録する撮像装置登録手段を備えることを特徴とするサーバ。
【請求項３】
請求項１又は２に記載のサーバにおいて、
前記顔画像取得手段は、描画中に取得した複数の顔画像を合成することにより参加者の正面顔画像を生成することを特徴とするサーバ。
【請求項４】
請求項１〜３のいずれか１つに記載のサーバにおいて、
前記描画送出手段は、該当ペンの描画に追従させて正面顔画像を描画することを特徴とするサーバ。
【請求項５】
ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を出力する遠隔会議に用いられるクライアントコンピュータであって、
書き込みを行うペンの属性情報を含むペン情報と描画情報を取得するクライアント側描画情報取得手段と、
ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像をサーバに出力するクライアント側顔画像出力手段と、
前記クライアント側描画情報取得手段で取得した情報と前記顔画像とを結びつけてサーバを介して各会議拠点の表示装置に送出させることを特徴とするクライアントコンピュータ。
【請求項６】
請求項１又は２に記載の撮像装置において、
直径の異なるペンに脱着可能とするため、内部に弾性体によるクリップ手段を有することを特徴とする撮像装置。
【請求項７】
ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を中継する遠隔会議に用いられるサーバ制御方法であって、
書き込みを行うペンの属性情報を含むペン情報と描画情報を取得する描画情報取得工程と、
ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像を取得する顔画像取得工程と、
前記描画情報取得工程で取得した情報と前記顔画像とを結びつけて各会議拠点の表示装置に送出する描画送出工程と、を含むことを特徴とするサーバ制御方法。
【請求項８】
ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を出力する遠隔会議に用いられるクライアントコンピュータ制御方法であって、
書き込みを行うペンの属性情報を含むペン情報と描画情報を取得するクライアント側描画情報取得工程と、
ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像をサーバに出力するクライアント側顔画像出力工程と、
前記クライアント側描画情報取得工程で取得した情報と前記顔画像とを結びつけてサーバを介して各会議拠点の表示装置に送出させるクライアント側描画送出工程と、を含むことを特徴とするクライアントコンピュータ制御方法。
【請求項９】
ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を管理する遠隔会議に用いられるサーバ用プログラムであって、
コンピュータは、
書き込みを行うペンの属性情報を含むペン情報と描画情報を取得する描画情報取得ステップと、
ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像を取得する顔画像取得ステップと、
前記描画情報取得ステップで取得した情報と前記顔画像とを結びつけて各会議拠点の表示装置に送出する描画送出ステップと、を実行することを特徴とするサーバ用プログラム。
【請求項１０】
ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を出力する遠隔会議に用いられるクライアントコンピュータ用プログラムであって、
コンピュータは、
書き込みを行うペンから使用されているペン情報と描画情報を取得するクライアント側側描画情報取得ステップと、
ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像をサーバに出力するクライアント側顔画像出力ステップと、
前記クライアント側描画情報取得ステップで取得した情報と前記顔画像とを結びつけてサーバを介して各会議拠点の表示装置に送出させるクライアント側描画送出ステップと、を実行することを特徴とするクライアントコンピュータ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して遠隔地の会議拠点で行われる電子会議の原稿書込者を記録する撮像装置の制御装置に関し、特に遠隔会議に用いられるサーバ、クライアントコンピュータ、制御方法及びプログラムに関する。
【背景技術】
【０００２】
遠隔地間でネットワークを介して行われる電子会議において、スクリーンに投影された電子的な原稿及びプレゼン資料などを用いて会議参加者間で共有し、書き込みながら議論を進めていく場面で資料上の書き込みが誰によってなされたのかが不明になる場合がある。
【０００３】
この問題に対して、遠隔地を含めた全ての会議者それぞれの行動をカメラで記録する方法や、各参加者が書き込みをするペンと参加者を予め対応づけておき、使用されたペンから書き込みをした参加者を特定する方法がある。例えば、ペンは電子的な白板（タッチパネルディスプレイなど、以下、スマートボードという。）に書き込む電子フェルトペンや、机上で使うタブレットに用いるポインディング・ペンなどを用いる場合などである。
【０００４】
前者には、参加者が大人数の場合の手間やコストの問題があり、後者には、議論に集中して無意識のうちに手元にある他人のペンを用いて書き込む場合の対処が困難であるという問題がある。
【０００５】
このような問題に対して、音声による言語認識手段を備えたペンが特許文献１に示されている。このペンは、ペン形状のケーシングと、マイクロホンと、音声言語処理回路と、電源と、ポケットクリップと、無線送信器と、少なくとも１つの着脱可能な機能モジュールと、を備えたパーソナルコンピュータ用の無線式入力装置である。
【０００６】
【特許文献１】特開２００２−３３３９４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述した技術を利用して、電子的な原稿及びプレゼン資料などを用いて会議参加者間で共有し、書き込みながら議論を進めていく場面では、複数の参加者が発言するため、書き込みをしている話者を正確に特定できないという問題が発生する。このため、書き込んだ参加者が分からないことによる会議の停滞が依然として発生する。
【課題を解決するための手段】
【０００８】
以上のような問題を解決するために、本発明に係るサーバは、ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を中継する遠隔会議に用いられるサーバであって、書き込みを行うペンの属性情報を含むペン情報と描画情報を取得する描画情報取得手段と、ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像を取得する顔画像取得手段と、前記描画情報取得手段で取得した情報と前記顔画像とを結びつけて各会議拠点の表示装置に送出する描画送出手段と、を備えることを特徴とする。
【０００９】
また、本発明に係るサーバにおいて、ペン情報は、ペンを識別するペンＩＤ、ペンの色、線の太さなどの属性情報、ペンの描画ＯＮとＯＦＦを示す動作情報の少なくとも１つを有し、ペンに設けられた撮像装置は一体型又は着脱可能であり、さらに、ペンと撮像装置の対応関係を登録する撮像装置登録手段を備えることを特徴とする。
【００１０】
さらに、本発明に係るサーバにおいて、前記顔画像取得手段は、描画中に取得した複数の顔画像を合成することにより参加者の正面顔画像を生成することを特徴とする。
【００１１】
さらにまた、本発明に係るサーバにおいて、前記描画送出手段は、該当ペンの描画に追従させて正面顔画像を描画することを特徴とする。
【００１２】
本発明に係るクライアントコンピュータは、ネットワークを介して複数の会議拠点を接続し、電子原稿を共有して参加者による書き込み情報を出力する遠隔会議に用いられるクライアントコンピュータであって、書き込みを行うペンの属性情報を含むペン情報と描画情報を取得するクライアント側描画情報取得手段と、ペンに設けられた撮像装置から書き込みを行っている参加者の顔画像をサーバに出力するクライアント側顔画像出力手段と、前記クライアント側描画情報取得手段で取得した情報と前記顔画像とを結びつけてサーバを介して各会議拠点の表示装置に送出させることを特徴とする。
【００１３】
本発明に係る撮像装置は、直径の異なるペンに脱着可能とするため、内部に弾性体によるクリップ手段を有することを特徴とする。
【発明の効果】
【００１４】
本発明を用いることにより、分散された状況で行われる遠隔会議において、各会議拠点でローカルに行われている同一資料に対する書き込みに対して、その書き込みを行った参加者を遠隔会議の参加者全員に知らしめることができ、書き込んだ参加者がわからないことによって生じる会議の停滞を防ぎ、会議の効率を高めるという効果がある。
【００１５】
さらに、参加者に対して容易に設定が可能なマンマシンインターフェースを備えることで、ユーザフレンドリーな環境が提供可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態（以下実施形態という）を、図面に従って説明する。
【００１７】
図１は、本発明の実施形態に係るＡ，Ｂ，Ｃの三つの会議拠点（１０，２０，３０）をネットワーク３１で接続して各会議拠点（１０，２０，３０）の遠隔会議を支援するサーバ１１とクライアントコンピュータ１２などを含む遠隔会議システム５０の全体構成を示す構成図である。
【００１８】
Ａ会議拠点１０は、サーバ１１と、クライアントコンピュータ１２と、大型表示装置の画面上にタブレット機能を有するスマートボード１３ａ（タッチパネル式ディスプレイ）と、撮像装置を装着したインテリジェントペン１４ａとを有しており、他のＢ会議拠点２０とＣ会議拠点３０も同様な構成を有している。なお、本実施形態において撮像装置は、小型軽量なＣＣＤカラーカメラを用いている。
【００１９】
サーバ１１は、インテリジェントペン１４を用いて文字や図形を書き込むことができるスマートボード１３と、インテリジェントペン１４に装着されているカメラ１７の画像情報を無線通信により受信するクライアントコンピュータ１２と、接続されている。
【００２０】
書き込み者が書き込んだ文字や図形は、スマートボード１３ａ上に表示されるとともにサーバ１１とネットワーク３１を介してＢ会議拠点２０とＣ会議拠点３０のスマートボード（１３ｂ、１３ｃ）に表示される。この時、書き込んだ文字や図形の上に書き込み者の顔画面も合わせて表示される。
【００２１】
図２は、本発明の実施形態に係るペン１６にカメラ１７を装着したインテリジェントペン１４の構成図である。カメラ１７は、広角レンズ１９と、他端にペン１６を挟み込むペン差込部と、電源供給用のケーブル１８と、を有している。ペン差込部の内側には、弾性を有する発泡ラバー（その他、ジェル、バネ等であってもよい。）などの突起を有するクリップ機構があり、様々な直径又は形状のペン１６に装着することが可能である。
【００２２】
図３は、本発明の実施形態に係るカメラ１７を拡大して構造を示した構成図である。カメラ１７は、広角レンズ１９と、カラーＣＣＤ２２で撮像した画像を無線信号に変換するカメラユニット２４と、画像を無線で送信するためのかまぼこ状のアンテナ２８と、電源用のボタン型２次電池２６と、充電又は電源供給用のケーブル１８を接続する図示しないコネクタと、ペンに装着するためのクリップ機構２９と、を有している。
【００２３】
図４は、本発明の実施形態に係る書き込み者同定の全体処理の流れを説明する説明図である。インテリジェントペンからの画像はクライアントコンピュータ１２で受信され、サーバ１１とスマートボード１３と連係して処理が実行される。以下、処理の流れを説明する。
【００２４】
最初にクライアントコンピュータ１２の初期設定部４９において、ペン１６とカメラ１７の対応関係を設定し、ペン対応カメラデータベース５１に記憶する（ステップＳ１）。次に、スマートボード１３に文字や図形などが書き込まれると、使用ペン検出部５４が使用されているペンＩＤを検出してサーバ１１へ送信する（ステップＳ３）と、ともにペンＩＤと関係付けられているカメラＩＤを入手し（ステップＳ２）、対応するカメラを同定して顔画像解析部５６へ送信する（ステップＳ４）。
【００２５】
使用ペン検出部５４は、ペンＯＮ情報と、書き込まれている複数の座標データの集合であるストローク情報をサーバ１１の顔画像解析部５６と、を描画制御部６０へ送信し、さらに、サーバ１１は、ストローク情報に含まれるペンＯＮ／ＯＦＦ情報をクライアントコンピュータ１２の画像送信部５８に送信する（ステップＳ５）。
【００２６】
クライアントコンピュータ１２の画像送信部５８は、ペンＯＮ情報により書き込まれていると判断すると、所定間隔毎にカメラ１７の画像をサーバ１１の顔画像解析部５６へ送信する（ステップＳ６）。顔画像解析部５６は、顔の目、鼻、口の特徴部分に基づいて画像の撮影角度を算出し、カメラ１７で撮影された複数の画像を加工することで正面顔画画像を得る。
【００２７】
次に、得られた正面顔画像を顔画像表示位置決定部６２に送信する（ステップＳ７）。書き込まれているストローク情報と書き込み者の組み合わせが変わっていないことを確認後、正面顔画像の表示位置を決定して描画制御部へ送信する（ステップＳ８）。
【００２８】
描画制御部６０は、得られた正面顔画像と表示位置及びストローク情報に基づいて表示部６４に描画を行い、スマートボード１３に表示させる。
【００２９】
なお、本実施形態では、カラー画像の正面顔画像を描画情報と共に表示したが、顔画像解析部５６において、簡略化されたシンボル顔画像として表示しても良い。この場合は、カラー画像でなく、モノクロ画像としても好適に処理できることはいうまでもない。
【００３０】
上述したように、本実施形態を用いることにより、同一資料又は原稿などに対する書き込みに対して、その書き込みを行った参加者を遠隔会議の参加者全員に知らしめることができるという効果がある。また、書き込んだ参加者がわからないことによって生じる会議の停滞を防ぎ、会議の効率を高めるこという効果もある。
【００３１】
なお、本実施形態のカメラは無線通信により画像を送信するものであるが、有線通信方式にすることで、無線回路、アンテナ、２次電池などを省略してコストダウンする構成としても良い。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る遠隔会議システムの全体構成を示す構成図である。
【図２】本発明の実施形態に係るペンにカメラを装着したインテリジェントペンの構成図である。
【図３】本発明の実施形態に係るカメラを拡大して構造を示した構成図である。
【図４】本発明の実施形態に係る書き込み者同定の全体処理の流れを説明する説明図である。
【符号の説明】
【００３３】
１０  Ａ会議拠点、１１  サーバ、１２  クライアントコンピュータ、１３  スマートボード、１４  インテリジェントペン、１６  ペン、１７  カメラ、１８  ケーブル、１９  広角レンズ、２０  Ｂ会議拠点、２４  カメラユニット、２６  ボタン型２次電池、２８  アンテナ、２９  クリップ機構、３０  Ｃ会議拠点、３１  ネットワーク、４９  初期設定部、５０  遠隔会議システム、５１  ペン対応カメラデータベース、５４  使用ペン検出部、５６  顔画像解析部、５８  画像送信部、６０  描画制御部、６２  顔画像表示位置決定部、６４  表示部。
【図１】
2006304066.tif 000003
【図２】
2006304066.tif 000004
【図３】
2006304066.tif 000005
【図４】
2006304066.tif 000006