(57)【要約】【課題】手書きの表の効率的な作成を可能にする技術を提供する。【解決手段】会議端末１０１は、ホワイトボードの盤面に筆記具を用いて書き込まれた表を撮像するカメラ２１１及び盤面に画像を投影するプロジェクタ２１２を備える。表は、カメラ２１１により撮像された直近の盤面の撮像画像と１つ前の盤面の撮像画像との差分に応じて、スクロール時に少なくとも一方向に移動せずに固定される固定領域と、スクロール時に移動する移動領域とに分割される。プロジェクタ２１２は、表に対してスクロールが指示されると、指示された方向が一方向であれば移動領域をスクロールさせ、指示された方向が一方向以外であれば固定領域及び移動領域をスクロールさせる画像を投影する。【選択図】図４
2016218572.tif 000002
【特許請求の範囲】
【請求項１】
所定の盤面に筆記具を用いて書き込まれた表を撮像する撮像手段と、
前記撮像手段により撮像された直近の前記盤面の撮像画像と１つ前の前記盤面の撮像画像との差分に応じて、前記表を、スクロール時に少なくとも一方向に移動せずに固定される固定領域と、スクロール時に移動する移動領域とに分割する分割手段と、
前記盤面に画像を投影する投影手段と、
前記表に対してスクロールが指示されると、指示された方向が前記一方向であれば前記移動領域をスクロールさせ、指示された方向が前記一方向以外であれば前記固定領域及び前記移動領域をスクロールさせる画像を前記投影手段に投影させる制御手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
前記分割手段は、前記表を、移動しない第１固定領域、第１の方向に移動する第２固定領域、前記第１の方向とは異なる第２の方向に移動する第３固定領域、及び前記第１の方向及び前記第２の方向のいずれの方向にも移動する前記移動領域に分割することを特徴とする、
請求項１記載の情報処理装置。
【請求項３】
前記分割手段は、前記差分を表す特徴画像を検出し、この特徴画像の位置を基準にして前記第１固定領域、前記第２固定領域、前記第３固定領域、及び前記移動領域を設定することを特徴とする、
請求項２記載の情報処理装置。
【請求項４】
前記制御手段は、前記第１の方向にスクロールが指示されると前記第２固定領域及び前記移動領域を前記第１の方向にスクロールさせ、前記第２の方向にスクロールが指示されると前記第３固定領域及び前記移動領域を前記第２の方向にスクロールさせる画像を前記投影手段に投影させることを特徴とする、
請求項２又は３記載の情報処理装置。
【請求項５】
前記分割手段は、前記差分が３点ある場合、２点を表の外接矩形の頂点、残りの１点を、領域を分割する基準点とすることを特徴とする、
請求項１〜４のいずれか１項記載の情報処理装置。
【請求項６】
前記分割手段は、前記差分が矩形で大きさが所定の閾値以上であれば、当該差分を表の表示領域とし、当該表の全領域を移動領域に設定することを特徴とする、
請求項１記載の情報処理装置。
【請求項７】
前記分割手段は、２つ前の前記盤面の撮像画像と１つ前の前記盤面の撮像画像との第１の差分を前記移動領域に設定し、直近の前記盤面の撮像画像と１つ前の前記盤面の撮像画像との第２の差分が、設定した前記移動領域に隣接していれば、前記第２の差分を前記固定領域に設定することを特徴とする、
請求項１記載の情報処理装置。
【請求項８】
前記分割手段は、前記第２の差分が前記移動領域に隣接していなければ、前記固定領域を設定しないことを特徴とする、
請求項７記載の情報処理装置。
【請求項９】
前記表に対してスクロールが指示されると、前記固定領域からスクロールの方向に応じて罫線を抽出し、前記移動領域に新たに表示される画像に罫線を生成する罫線生成手段を備え、
前記制御手段は、生成された前記罫線を含む画像を前記投影手段に投影させることを特徴とする、
請求項１〜８のいずれか１項記載の情報処理装置。
【請求項１０】
所定の盤面に筆記具を用いて書き込まれた表を撮像する撮像手段及び前記盤面に画像を投影する投影手段を備える情報処理装置との間で通信可能なサーバであって、
前記撮像手段により撮像された前記盤面の撮像画像を、前記情報処理装置から取得する受信手段と、
直近の前記盤面の撮像画像と１つ前の前記盤面の撮像画像との差分に応じて、前記表を、スクロール時に少なくとも一方向に移動せずに固定される固定領域と、スクロール時に移動する移動領域とに分割する分割手段と、
前記表に対してスクロールが指示されると、指示された方向が前記一方向であれば前記移動領域をスクロールさせ、指示された方向が前記一方向以外であれば前記固定領域及び前記移動領域をスクロールさせる投影用の表画像を生成する投影用表画像生成手段と、
生成した前記表画像を前記情報処理装置に送信して前記投影手段に投影させる送信手段と、を備えることを特徴とする、
サーバ。
【請求項１１】
所定の盤面に筆記具を用いて書き込まれた表を撮像する撮像手段及び前記盤面に画像を投影する投影手段を備えた情報処理装置により実行される方法であって、
前記撮像手段により撮像された直近の前記盤面の撮像画像と１つ前の前記盤面の撮像画像との差分に応じて、前記表を、スクロール時に少なくとも一方向に移動せずに固定される固定領域と、スクロール時に移動する移動領域とに分割し、
前記表に対してスクロールが指示されると、指示された方向が前記一方向であれば前記移動領域をスクロールさせ、指示された方向が前記一方向以外であれば前記固定領域及び前記移動領域をスクロールさせる画像を前記投影手段に投影させることを特徴とする、
表画像操作方法。
【請求項１２】
所定の盤面に筆記具を用いて書き込まれた表を撮像する撮像手段及び前記盤面に画像を投影する投影手段を備えたコンピュータを、
前記撮像手段により撮像された直近の前記盤面の撮像画像と１つ前の前記盤面の撮像画像との差分に応じて、前記表を、スクロール時に少なくとも一方向に移動せずに固定される固定領域と、スクロール時に移動する移動領域とに分割する分割手段、
前記表に対してスクロールが指示されると、指示された方向が前記一方向であれば前記移動領域をスクロールさせ、指示された方向が前記一方向以外であれば前記固定領域及び前記移動領域をスクロールさせる画像を前記投影手段に投影させる制御手段、
として機能させるためのコンピュータプログラム。
【請求項１３】
請求項１２記載のコンピュータプログラムを記憶する、コンピュータに読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の拠点で会議を行う場合に用いられる電子会議システムに関する。
【背景技術】
【０００２】
電子会議システムでは、カメラ等による撮像機能及びプロジェクタ等による投影機能を備える情報処理装置が、各拠点に設置される。各拠点には、情報処理装置により画像が投影されるための投影面を備えるホワイトボードが用意される。情報処理装置は、ホワイトボードにペン等の筆記具により手書きで書き込まれた文字、図形等の手書き画像をカメラにより撮像する。なお、本明細書では、ホワイトボードの手書き画像が書き込まれる面を「盤面」という。撮像画像は、他の拠点に設置される情報処理装置に送信される。他の拠点の情報処理装置は、受信した撮像画像をプロジェクタによりホワイトボードの盤面に投影する。これにより、すべての拠点のホワイトボードに、同じ手書き画像が表示されることになる。他の拠点でプロジェクタにより投影された撮像画像に、手書きで書き込みが行われると、上記と同様の処理により、この書き込みが他の拠点のホワイトボードの盤面にも反映される。
【０００３】
電子会議システムのユーザは、ホワイトボードに表形式で書き込みを行うこともある。表形式で書き込みを行う場合、表に追記を行うことが考えられる。この場合、最終的に表がどの程度の大きさになるのかが不明で、ホワイトボードの盤面に全体が収まらないこともある。パーソナルコンピュータ等で用いられる表計算ソフトでは、スクロール表示を行うことで、画面上に全体が表示されない場合でも表を容易に作成することができる。また、表計算ソフトは、表の見出し部分を常に表示しながらスクロール表示を行う、いわゆる「枠固定機能」を有する。枠固定機能を用いる場合、表は、少なくとも一方向にスクロールされない固定領域とすべての方向にスクロールされる要素領域とに分割される。表の領域を抽出する技術には、例えば特許文献１がある。特許文献１は、一部がマークされる文字や表が記載された紙文書を光学的に読み取り、読み取った紙文書の画像からマークを確認して、表の領域を抽出する技術を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９―７０２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、読み取った紙文書の画像から表の領域を抽出することは可能であるが、表を、さらに固定領域と要素領域とに分割することは考慮されていない。そのために、ホワイトボードに手書きされる表を固定領域と要素領域とに分割することで、表の効率的な作成を可能にする技術への要求が高まっている。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明の情報処理装置は、所定の盤面に筆記具を用いて書き込まれた表を撮像する撮像手段と、前記撮像手段により撮像された直近の前記盤面の撮像画像と１つ前の前記盤面の撮像画像との差分に応じて、前記表を、スクロール時に少なくとも一方向に移動せずに固定される固定領域と、スクロール時に移動する移動領域とに分割する分割手段と、前記盤面に画像を投影する投影手段と、前記表に対してスクロールが指示されると、指示された方向が前記一方向であれば前記移動領域をスクロールさせ、指示された方向が前記一方向以外であれば前記固定領域及び前記移動領域をスクロールさせる画像を前記投影手段に投影させる制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、表を固定領域と移動領域とに分割することで、手書きの表を効率的な作成が可能になる。
【図面の簡単な説明】
【０００８】
【図１】電子会議システムの全体構成図。
【図２】会議端末のハードウェア構成図。
【図３】（ａ）〜（ｄ）は会議端末の設置状態の説明図。
【図４】会議端末の機能ブロック図。
【図５】会議サーバの機能ブロック図。
【図６】（ａ）、（ｂ）は投影領域の説明図。
【図７】表画像の説明図。
【図８】（ａ）〜（ｇ）は表のスクロール時の処理の説明図。
【図９】会議端末と会議サーバとの処理シーケンス図。
【図１０】表示の同期の説明図。
【図１１】盤面撮影時の処理を表すフローチャート。
【図１２】盤面撮影処理時の説明図。
【図１３】盤面撮影処理時の説明図。
【図１４】投影処理を表すフローチャート。
【図１５】表画像を受信した会議端末の処理の説明図。
【図１６】書込合成画像を生成し、送信する処理を表すフローチャート。
【図１７】表操作情報を送信する処理を表すフローチャート。
【図１８】表画像操作処理を表すフローチャート。
【図１９】（ａ）〜（ｃ）は撮像画像の差分と表示領域の対応関係の説明図。
【図２０】空白の表画像の例示図。
【図２１】（ａ）、（ｂ）は撮像画像の差分と表示領域の対応関係の説明図。
【図２２】領域分割処理を表すフローチャート。
【図２３】会議サーバの機能ブロック図。
【図２４】表画像の表示条件変更処理を表すフローチャート。
【図２５】（ａ）〜（ｄ）罫線の抽出、描画の説明図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して実施形態を詳細に説明する。
【００１０】
［第１実施形態］
＜電子会議システムの全体構成＞
図１は、本実施形態の電子会議システムの全体構成例示図である。本実施形態の電子会議システムは、撮像機能及び投影機能を備える情報処理装置である会議端末１０１、１０２、及びサーバコンピュータである会議サーバ１０６を備える。会議端末１０１と会議サーバ１０６とは、ネットワーク１０５を介して通信を行う。会議端末１０２と会議サーバ１０６とは、ネットワーク１０５を介して通信を行う。会議端末１０１と会議端末１０２とは、直接通信を行うことはなく、会議サーバ１０６を介して通信を行う。会議端末の数は２以上であってもよい。ネットワーク１０５は、インターネット等の公衆回線やＬＡＮ（Local Area Network）により実現される。
【００１１】
会議サーバ１０６は、会議端末１０１、１０２に投影される画像（以下、「投影画像」という。）を生成して会議端末１０１、１０２に送信する。会議端末１０１、１０２は、撮像機能の実現のためのカメラ及び投影機能の実現のためのプロジェクタが接続される。カメラ、プロジェクタ、及び情報処理装置は、少なくとも２つが一体に構成されていてもよい。会議端末１０１、１０２は、本実施形態の電子会議システム専用の装置でもよいが、汎用品の組み合わせで構成してもよい。情報処理装置には、スマートフォン、タブレット端末、パーソナルコンピュータ等を用いることができる。
【００１２】
会議端末１０１、１０２は、それぞれ異なる拠点（場所）に設置される。会議端末１０１、１０２が設置される各拠点には、ユーザがペン等の筆記具により手書きで書き込みを行う盤面を備えたホワイトボードが用意される。会議端末１０１、１０２に接続されるプロジェクタは、ホワイトボードの盤面に投影画像を投影する。会議端末１０１、１０２に接続されるカメラは、ホワイトボードの盤面を撮像する。会議端末１０１、１０２は、撮像した画像（以下、「撮像画像」という。）を会議サーバ１０６に送信する。会議サーバ１０６が各会議端末１０１、１０２から取得する撮像画像を編集して各会議端末１０１、１０２に送信することで、各拠点のホワイトボードには、同じ内容の投影画像が投影される。
【００１３】
＜ハードウェア構成＞
図２は、会議端末１０１のハードウェア構成図である。会議端末１０１と会議端末１０２とは同様の構成であるため、ここでは会議端末１０１の構成について説明し、会議端末１０２の構成の説明を省略する。
【００１４】
会議端末１０１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、外部機器コントローラ２０４、及び内部機器コントローラ２０５を備える。各構成要素は、メインバス２００を介して通信可能に接続される。ＣＰＵ（Central Processing Unit）２０１は、ＲＯＭ（Read Only Memory）２０３からプログラムを読み込み、ＲＡＭ（Random Access Memory）２０２を作業領域に用いて実行する。これによりＣＰＵ２０１は、会議端末１０１が行う処理及び動作を制御する。
【００１５】
外部機器コントローラ２０４は、ＣＰＵ２０１の指示により外部機器の動作を制御する。本実施形態で外部機器コントローラ２０４に接続される外部機器は、カメラ２１１、プロジェクタ２１２、及びＨＩＤ（Human Interface Device）２１３である。カメラ２１１は、撮像することで取得した画像データをＣＰＵ２０１に送信する。ＣＰＵ２０１は、受信した画像データに応じて撮像画像を生成する。プロジェクタ２１２は、ＣＰＵ２０１の指示により投影画像を投影する出力インタフェースである。ＨＩＤ２１３は、ユーザの操作を受け付けて、操作に応じた指示データをＣＰＵ２０１に送信する入力インタフェースである。ＨＩＤ２１３は、例えば、キーボード、マウス、タッチパネル等である。
【００１６】
内部機器コントローラ２０５は、ＣＰＵ２０１の指示により内部機器の動作を制御する。本実施形態で内部機器コントローラ２０５に接続される内部機器は、ストレージ２２１及びＮＩＣ（Network Interface Card）２２２である。ストレージ２２１は、会議端末１０１で使用されるデータ及びコンピュータプログラムを保持する大容量記憶装置である。ストレージ２２１は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等により実現される。ＮＩＣ２２２は、ネットワーク１０５を介した他の装置との通信を制御する通信インタフェースである。ＮＩＣ２２２は、有線通信、無線通信のいずれにより通信を行ってもよい。
【００１７】
図３は、会議端末１０１の設置状態の説明図である。図３（ａ）に示すように会議端末１０１は、ホワイトボード１１０の盤面にカメラ２１１及びプロジェクタ２１２を向けて設置される。
【００１８】
プロジェクタ２１２は、ホワイトボード１１０の投影領域１１２に投影画像を投影する。投影領域１１２は、ホワイトボード１１０の盤面上で、投影画像の投影及びユーザによる手書き画像の書き込みが行われる領域である。投影画像は、書込合成画像１２１及び表画像１２２を含む。「書込合成画像１２１」は、各会議端末１０１、１０２で撮像された、各拠点のホワイトボードに手書きされた手書き画像を合成した画像である。図３（ａ）の例では、書込合成画像１２１は、会議端末１０２が設置される拠点のホワイトボードに手書きされた「1.tri」である。「表画像１２２」は、会議サーバ１０６に格納される表画像データに基づく画像である。表画像データは、いずれかの拠点のホワイトボードに手書きされた手書き画像から生成される。ホワイトボード１１０の盤面には、会議端末１０１のユーザが筆記具により手書きすることもできる。これによりホワイトボード１１０の盤面に手書き画像１２０が表示される。図３（ａ）の例では、手書き画像１２０は「レビューミーティング」である。このようにホワイトボード１１０の盤面には、表画像１２２、他の拠点のホワイトボードに手書きされる画像を合成した書込合成画像１２１、及び会議端末１０１のユーザの手書きによる手書き画像１２０が表示される。
【００１９】
カメラ２１１は、ホワイトボード１１０の撮像領域１１５を撮像する。撮像領域１１５は、投影領域１１２よりも広く設けられる。カメラ２１１は、撮像領域１１５内に表示される、プロジェクタ２１２で投影される投影画像及び手書き画像１２０を撮像することができる。撮像画像は、ストレージ２２１に保存される。会議端末１０１は、撮像画像をプロジェクタ２１２により投影することも可能である。
【００２０】
図３（ｂ）は、投影画像の説明図である。投影画像１３１は、書込合成画像１２１及び表画像１２２を重ね合わせて生成される。図３（ｃ）は、手書き画像１２０のみを撮像するときにプロジェクタ２１２から投影される撮影用投影画像１３５である。撮影用投影画像１３５は、書込合成画像１２１及び表画像１２２を含まない空白画像である。図３（ｄ）は、手書き画像１２０のみを撮像した画像（以下、「書込画像１４０」という。）である。
【００２１】
会議サーバ１０６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ネットワークインタフェース、及び入出力インタフェースを備える情報処理装置である。会議サーバ１０６は、ＣＰＵがＲＯＭからプログラムを読み込み、ＲＡＭを作業領域に用いて実行することで、処理及び動作が制御される。
【００２２】
＜機能ブロック＞
（会議端末１０１の機能）
図４は、会議端末１０１の機能ブロック図である。会議端末１０１と会議端末１０２とは同様の機能を有しているため、ここでは会議端末１０１の機能を説明し、会議端末１０２の機能の説明を省略する。会議端末１０１は、ＣＰＵ２０１がＲＯＭ２０３から読み込んだコンピュータプログラムを、ＲＡＭ２０２を作業領域に用いて実行することで、図４に示す各機能を実現する。会議端末１０１は、主に、会議端末１０１を操作するための機能、書込画像１４０の生成及び送信のための機能、表操作情報を送信するための機能、及び投影画像１３１の投影機能、を備える。
【００２３】
（会議端末１０１を操作するための機能）
会議端末１０１は、ＨＩＤ２１３による入力及びカメラ２１１により撮像された撮像画像による入力を受け付ける。これらの入力に対応するために会議端末１０１は、ＨＩＤ入力部３６２、画像特徴抽出部３６６、描画画像操作部３６４、及び表操作部３６５として機能する。会議端末１０１は、ＨＩＤ２１３による入力に応じて、盤面の撮像及び表画像１２２に対する操作等を受け付ける。
【００２４】
ＨＩＤ入力部３６２は、ユーザがＨＩＤ２１３により行った入力操作を受け付けて、描画画像操作部３６４及び表操作部３６５に操作内容を通知する。画像特徴抽出部３６６はカメラ２１１で撮像した撮像画像から、特徴画像の有無を判定し、判定結果を表操作部３６５に通知する。特徴画像は、詳細は後述するが、表画像１２２の枠固定を行う際に基準となる画像である。特徴画像は、例えば２つの撮像画像の差分である。描画画像操作部３６４は、書込画像生成部３１２に対して、ホワイトボード１１０に書き込まれた手書き画像１２０の撮像画像から書込画像１４０を生成するように指示を行う。表操作部３６５は、ＨＩＤ２１３による入力に基づいて、表操作情報生成部３７１に対して、会議サーバ１０６に送信する表操作情報を生成させる。表操作情報は、会議端末１０１のユーザがホワイトボード１１０に投影された表画像１２２に対して行う操作を表す。本実施形態では、表操作情報は、表画像１２２の枠固定、表画像１２２のスクロール、追記等の指示を含む。
【００２５】
＜書込画像１４０の生成及び送信のための機能＞
会議端末１０１は、カメラ２１１により撮像したホワイトボード１１０の盤面の撮像画像を会議サーバ１０６へ送信する。そのために会議端末１０１は、撮像画像取得部３１１、書込画像生成部３１２、書込画像格納部３１３、及び送信部３１４として機能する。
【００２６】
撮像画像取得部３１１は、カメラ２１１が撮像したホワイトボード１１０の撮像領域１１５（図３参照）の撮像画像を取得する。撮像画像取得部３１１は、取得した撮像画像を書込画像生成部３１２に送信する。会議端末１０１は、図３（ｃ）の撮影用投影画像１３５を投影しつつ撮像を行うことで、手書き画像１２０のみの撮像画像を取得する。書込画像生成部３１２は、撮像画像に対して幾何補正や色調整、トリミング処理等を行い、ホワイトボード１１０の盤面の手書き画像１２０の撮像画像を変換した書込画像１４０を生成する。書込画像生成部３１２は、生成した書込画像１４０を書込画像格納部３１３に格納する。送信部３１４は、ＮＩＣ２２２により、ネットワーク１０５を介して会議サーバ１０６との間でパケット通信によりデータの送信を行う。送信部３１４は、例えば書込画像１４０をパケットデータに変換して送信する。送信部３１４は、会議サーバ１０６及びネットワーク１０５に接続される他の会議端末のＩＰアドレス等の接続情報を保持しており、これに応じて書込画像１４０のパケットデータを生成する。
【００２７】
＜表操作情報を送信するための機能＞
会議端末１０１は、表操作情報を生成して会議サーバ１０６へ送信するために、表操作情報生成部３７１及び表操作情報格納部３７２として機能する。
【００２８】
表操作情報生成部３７１は、表操作部３６５からの指示に応じて表操作情報を生成する。表操作部３６５から入力される指示は、表画像１２２の表示領域の抽出指示、表画像１２２の表示開始指示、表画像１２２の表示条件変更指示、表画像１２２への追記保存指示、及び表画像１２２の表示終了指示等である。表操作情報生成部３７１は、生成した表操作情報を表操作情報格納部３７２に格納する。表操作情報格納部３７２に格納された表操作情報は、送信部３１４によりネットワーク１０５を介して会議サーバ１０６へ送信される。本実施形態では、表画像が会議サーバ１０６に格納される。そのために、表画像に対する操作がある場合には、その操作内容が会議サーバ１０６に入力される必要がある。
【００２９】
＜投影画像１３１の投影機能＞
会議端末１０１は、投影画像１３１を生成してプロジェクタ２１２によりホワイトボード１１０の投影領域１１２に投影する。会議端末１０１は、各拠点の会議端末で生成された書込画像に基づく書込合成画像１２１と、表画像１２２とを会議サーバ１０６から取得して投影画像１３１を生成する。そのために会議端末１０１は、受信部３２１、受信制御部３４１、書込合成画像格納部３４２、表画像表示条件格納部４３３、投影画像合成部３４４、及び投影画像格納部３４５として機能する。会議端末１０１は、投影画像１３１の投影のために、投影制御部３３１、投影画像出力バッファ３３２、及び投影画像出力部３３３として機能する。また会議端末１０１は、撮影用投影画像格納部３５０として機能する。
【００３０】
受信部３２１は、ＮＩＣ２２２により、ネットワーク１０５を介して会議サーバ１０６から書込合成画像１２１及び表画像１２２を受信する。受信制御部３４１は、受信部３２１で受信した書込合成画像１２１を書込合成画像格納部３４２に格納し、表画像１２２を表画像表示条件格納部４３３に格納する。投影画像合成部３４４は、書込合成画像格納部３４２から書込合成画像１２１を取得し、表画像表示条件格納部４３３から表画像１２２を取得して、これらを合成することで投影画像１３１を生成する。投影画像合成部３４４は、生成した投影画像１３１を投影画像格納部３４５に格納する。撮影用投影画像格納部３５０は、撮影用投影画像１３５を格納する。
【００３１】
投影制御部３３１は、投影画像格納部３４５に格納される投影画像１３１及び撮影用投影画像格納部３５０に格納される撮影用投影画像１３５のいずれか一方を取得して、投影画像出力バッファ３３２に展開する。投影制御部３３１は、書込画像生成部３１２の指示に応じて、書込画像１４０を生成する場合には撮影用投影画像格納部３５０に格納される撮影用投影画像１３５を投影画像出力バッファ３３２に展開する。投影制御部３３１は、書込画像１４０を生成しない場合、投影画像格納部３４５に格納される投影画像１３１を投影画像出力バッファ３３２に展開する。投影画像出力部３３３は、投影画像出力バッファ３３２に展開された投影画像１３１を、プロジェクタ２１２によりホワイトボード１１０の投影領域１１２に投影させる。
【００３２】
（会議サーバ１０６の機能ブロック）
図５は、会議サーバ１０６の機能ブロック図である。会議サーバ１０６は、ＣＰＵがＲＯＭから読み込んだコンピュータプログラムを、ＲＡＭを作業領域に用いて実行することで、図５に示す各機能として動作する。会議サーバ１０６は、主に、書込合成画像１２１の生成及び送信を行う機能、最新書込画像の生成機能、及び表画像の編集機能を備える。
【００３３】
＜書込合成画像１２１の生成及び送信するための機能＞
会議サーバ１０６は、各会議端末１０１、１０２から受信する書込画像１４０に基づいて書込合成画像１２１を生成し、生成した書込合成画像１２１をすべての会議端末１０１、１０２に送信する。そのために会議サーバ１０６は、受信部４０２、書込画像制御部４１０、取得書込画像格納部４１１、書込合成画像生成部４１２、書込合成画像格納部４１３、及び送信部４０３として機能する。
【００３４】
受信部４０２は、ネットワーク１０５を介して各会議端末１０１、１０２から書込画像１４０を受信する。書込画像制御部４１０は、受信部４０２で受信した書込画像１４０を、受信した会議端末１０１、１０２毎に取得書込画像格納部４１１に格納する。書込合成画像生成部４１２は、取得書込画像格納部４１１に格納された各会議端末１０１、１０２からの書込画像１４０を合成することで、会議端末１０１、１０２の各々用の書込合成画像１２１を生成して書込合成画像格納部４１３に格納する。送信部４０３は、書込合成画像格納部４１３に格納された書込合成画像１２１を、ネットワーク１０５を介して各会議端末１０１、１０２へ送信する。送信部４０３は、書込合成画像１２１を例えばパケットデータに変換して送信する。送信部４０３は、ネットワーク１０５に接続されるすべての会議端末のＩＰアドレス等の接続情報を保持しており、これにより書込合成画像１２１のパケットデータを生成して送信する。
【００３５】
＜最新書込画像の生成機能＞
会議サーバ１０６は、最新書込画像を生成する。最新書込画像は、各拠点でホワイトボード１１０に投影される表画像１２２に対して手書きで行われる、表画像１２２への追記を抽出するための画像である。そのために会議サーバ１０６は、最新書込画像生成部４１４及び最新書込画像格納部４１５として機能する。
【００３６】
最新書込画像生成部４１４は、取得書込画像格納部４１１に格納される各拠点の書込画像１４０を読み出して合成する。これにより最新書込画像生成部４１４は、最新書込画像を生成する。最新書込画像生成部４１４は、生成した最新書込画像を最新書込画像格納部４１５に格納する。
【００３７】
＜表画像の編集機能＞
会議サーバ１０６は、受信部４０２により各会議端末１０１、１０２から受信する表操作情報に基づいて表画像１２２を編集する。会議サーバ１０６は、表画像１２２の操作制御のために、表操作制御部４３０、表操作情報格納部４３１、表画像表示条件格納部４３３、及び表示領域情報格納部４３２として機能する。会議サーバ１０６は、表画像１２２への追記制御のために、表情報生成部４４０、既存書込画像情報格納部４４１、最新書込更新判定部４４２、及び表情報格納部４４３として機能する。会議サーバ１０６は、投影用の表画像１２２を生成するために、投影用表画像生成部４５０及び投影用表画像格納部４５２として機能する。
【００３８】
表操作制御部４３０は、各会議端末１０１、１０２から受信した表操作情報に基づいて、表画像の表示条件の決定、表画像への追記保存、表画像の生成を行う。表操作制御部４３０は、受信した表操作情報を、表操作情報格納部４３１に会議端末１０１、１０２毎に格納する。
【００３９】
表示領域情報格納部４３２は、投影領域１１２の表画像１２２を表示する位置（領域）を表す領域情報を格納する。領域情報は、例えば、投影領域１１２のサイズと、表画像１２２の表示領域を表す位置情報（座標情報）を含む。投影領域１１２の座標系は、投影領域１１２に表示される画像のピクセル単位で定義される。図６は、投影領域１１２の説明図である。
【００４０】
図６（ａ）の例では、投影領域１１２のサイズは、（ｘ  ＊  ｙ）＝（１２００ピクセル＊８００ピクセル）で表される。表画像１２２の位置情報は、投影領域１１２の座標系において、表画像１２２の左上の座標（Ｘｌｔ，Ｙｌｔ）及び右下の座標（Ｘｒｂ，Ｙｒｂ）で表される。図６（ａ）の例では、表画像１２２の位置情報は、左上の座標（Ｘｌｔ，Ｙｌｔ）＝（１０，１００）、右下の座標（Ｘｒｂ，Ｙｒｂ）＝（８１０，７００）で表される。表画像１２２の位置情報を変更することで、表画像１２２のサイズ及び表示位置を変更することができる。図６（ｂ）は、領域情報のフォーマットである。領域情報は、このフォーマットで表示領域情報格納部４３２に格納される。
【００４１】
表画像表示条件格納部４３３は、投影領域１１２への表画像１２２の表示条件を格納する。表示条件は、例えば表画像１２２の表示のオン／オフ状態、枠固定機能を使用する際の固定領域及び要素領域のサイズ、要素領域の表示オフセット値を含む。
【００４２】
表画像１２２の構成を図７により説明する。表画像１２２は、固定領域である第１〜第３見出し領域及び要素領域により構成される。各領域は、特徴画像の位置を基準にして決められる。第１見出し領域は、画像のスクロールにかかわらず常に表示されている領域である。第２見出し領域及び第３見出し領域は、それぞれ異なる一方向に移動せずに固定される領域である。第２見出し領域は、一方向となる縦方向（Ｙ軸方向）のスクロール時には固定して表示され、一方向以外となる横方向（Ｘ軸方向）にはスクロールされる領域である。第３見出し領域は、一方向となる横方向（Ｘ軸方向）のスクロール時には固定して表示され、一方向以外となる縦方向（Ｙ軸方向）にはスクロールされる領域である。要素領域は、縦方向（Ｙ軸方向）及び横方向（Ｘ軸方向）の両方向にスクロール可能な移動領域である。第１見出し領域のサイズは、（Ｘ１，Ｙ１）で表される。第２見出し領域のサイズは、（Ｘ２，Ｙ１）で表される。第３見出し領域のサイズは、（Ｘ１，Ｙ２）で表される。要素領域のサイズは、（Ｘ２，Ｙ２）で表される。
【００４３】
表画像１２２の表示条件のうち、要素領域の表示オフセット値が変化する場合の制御を説明する。表示オフセット値は、表画像１２２の各領域のスクロール量を表す。第１見出し領域は、スクロールされないために、表示オフセット値の変化にかかわらず表示領域が変わらない。第２見出し領域は、Ｘ軸方向にスクロールされるために、Ｘ軸方向にのみ表示オフセット値に従って表示がスクロールする。第３見出し領域は、Ｙ軸方向にスクロールされるために、Ｙ軸方向にのみ表示オフセット値に従って表示がスクロールする。要素領域は、Ｘ軸方向及びＹ軸方向にスクロールするために、両方向に表示オフセット値に従ってスクロールする。
【００４４】
図８は、表のスクロール時の処理の説明図である。
図８（ａ）に表の全体像（全体表画像）を表す。全体表画像は、ミリメートル単位で定義した座標系で表現される。この例では、全体表画像は、Ｘ軸方向に１６００［ｍｍ］、Ｙ軸方向に１３００［ｍｍ］である。表画像１２２の各領域のサイズは、図７の（Ｘ１，Ｙ１）＝（１００，７５）、（Ｘ２，Ｙ２）＝（５００，４３０）で表される。図８（ｂ）は投影領域１１２に表示される投影用の表画像１２２を表す。この例では、要素領域の表示オフセット値（Ｘoffset，Ｙoffset）が（１００，７５）に設定されており、（Ｘ１，Ｙ１）と同値であるために、スクロール量が「０」の表画像が、投影用の表画像１２２となる。
【００４５】
図８（ｃ）は、要素領域の表示オフセット値（Ｘoffset’，Ｙoffset’）が（４５０，２６３）に変化した場合を表す。全体表画像は図８（ａ）と同じであるが、表示オフセット値の変化により、投影用の表画像１２２が変化する。投影用の表画像１２２の第１見出し領域は、図８（ａ）の場合と位置は変わらない。第２見出し領域は、Ｘ軸方向に移動して２頂点の座標が（４５０，０）、（９５０、７５）で表される矩形領域に変化する。第３見出し領域は、Ｙ軸方向に移動して２頂点の座標が（０，２６３）、（１００，６９３）で表される矩形領域に変化する。要素領域は、Ｘ軸方向、Ｙ軸方向ともに移動して２頂点の座標が（４５０，２６３）、（９５０，６９３）で表される矩形領域に変化する。図８（ｄ）は、変化後の各領域による投影用の表画像１２２を表す。
【００４６】
図８（ｅ）は、要素領域のサイズ（Ｘ２，Ｙ２）が（５００，４３０）から（１０００，８６０）に変化した場合の説明図である。要素領域のサイズが大きくなるように変化することで、表示対象となる表画像の表示領域のサイズが大きくなる。投影領域１１２のサイズは変わらないために、最終的に表示される表画像１２２は図８（ｆ）のように縮小される。縮小表示を行うことで、全体表画像を表示させることが可能になる。同様に表画像の要素領域のサイズが小さくなるように変化する場合、最終的に拡大表示されることになる。
【００４７】
このように全体表画像を第１〜第３見出し領域及び要素領域に分割し、要素領域の移動に対して第２、第３見出し領域の移動を連動させることで、要素領域がスクロールされる場合であっても、要素に対応する見出しが常に表示される。図８（ｇ）は、表画像表示条件格納部４３３に格納される表画像表示条件のフォーマットの例示図である。
【００４８】
表情報生成部４４０は、既存書込画像情報格納部４４１及び最新書込画像格納部４１５に格納される画像を比較し、その差分から表画像１２２への追記画像を生成する。既存書込画像情報格納部４４１は、その時点ですべての拠点で書き込まれた画像を合成した既存書込画像を格納する。そのために、既存書込画像と最新書込画像との差分画像が追記画像となる。表情報生成部４４０は、生成した追記画像を表情報格納部４４３に格納する。なお追記画像を格納する際には、最新書込更新判定部４４２が、最新書込み更新の有無を判断する。
【００４９】
投影用表画像生成部４５０は、各会議端末１０１、１０２に送信する表画像１２２を生成する。投影用表画像生成部４５０は、表画像表示条件、領域情報、及び追記画像に基づいて、全体表画像の更新処理、上記のスクロール時の処理等を行って、表画像１２２を生成する。投影用表画像生成部４５０は、生成した表画像１２２を投影用表画像格納部４５２に格納する。表画像１２２は、送信部４０３により例えばパケットデータに変換されて、各会議端末１０１、１０２へ送信される。
【００５０】
会議端末１０１及び会議サーバ１０６は、上記の各機能ブロックの他に、一般的な電子会議システムで必要とする機能ブロック、例えば暗号化通信や接続先の設定のための機能ブロックを備えるが、これらについては説明を省略する。
【００５１】
＜運用形態＞
図９は、各会議端末１０１、１０２と会議サーバ１０６との処理シーケンス図である。図９の処理シーケンスは、表画像への操作に対するシーケンス及び各拠点で行われる書き込みをすべての拠点で反映するシーケンスを表す。
【００５２】
表画像への操作に対するシーケンスは、会議端末１０１又は会議端末１０２から会議サーバ１０６への表操作情報の送信により開始される（ｓｔ５０００、ｓｔ５１００）。会議サーバ１０６は、表操作情報を受信する。会議サーバ１０６は、受信した表操作情報に基づいて全体表画像を編集して、投影用の表画像１２２を生成する。会議サーバ１０６は、生成した投影用の表画像１２２を会議端末１０１、１０２へ送信する（ｓｔ５０１０、ｓｔ５１１０）。会議サーバ１０６は、会議端末１０１及び会議端末１０２からの表操作情報が競合した場合、各会議端末１０１、１０２からの要求を順次処理することで、全体表画像への操作の消失を防止する。
【００５３】
各拠点で行われる書き込みを反映するシーケンスは、会議端末１０１又は会議端末１０２から会議サーバ１０６への書込画像の送信により開始される（ｓｔ５５００、ｓｔ５６００）。会議端末１０１、１０２は、ホワイトボード１１０の撮像領域１１５を撮像することで、書込画像を生成する。
【００５４】
会議サーバ１０６は、書込画像を受信する。会議サーバ１０６は、受信した書込画像に基づいて会議端末１０１、１０２の各々用の書込合成画像を生成する。会議サーバ１０６は、生成した書込合成画像を会議端末１０１、１０２へ送信する（ｓｔ５５１０、ｓｔ５６１０）。会議サーバ１０６は、会議端末１０１及び会議端末１０２からの書込画像が競合した場合、各会議端末１０１、１０２からの要求を順次処理することで、各拠点の書き込み操作の消失を防止する。
【００５５】
＜各拠点における投影領域１１２の表示の同期＞
電子会議システムでは、各拠点のホワイトボード１１０の表示（手書き画像１２０及び投影画像１３１を含む表示）を同じにする必要がある。そのために、会議サーバ１０６は、各拠点のホワイトボード１１０の投影領域１１２の表示を同期させる。図１０は、投影領域１１２の表示の同期の説明図である。
【００５６】
（ａ）は、会議端末１０１が設置される拠点のホワイトボードに「レビューミーティング」が手書きされたときの処理を表す。会議端末１０１は、ユーザの指示に応じてカメラ２１１によりホワイトボード１１０の撮像領域１１５を撮像する。撮像画像は、会議サーバ１０６に送信される。会議サーバ１０６は、会議端末１０１の撮像画像から会議端末１０２に投影させる書込合成画像を生成して会議端末１０２へ送信する。会議端末１０２が書込合成画像をプロジェクタ２１２で投影することで、会議端末１０２が設置される拠点のホワイトボードに他の拠点のホワイトボードの手書き画像が表示される。
【００５７】
（ｂ）は、会議端末１０１により、表画像が操作されたときの処理を表す。ここでは、枠固定が指示されて、表画像が見出し領域及び要素領域に分割される。会議端末１０１のユーザは、表画像の分割したい部分に特徴画像を手書きすることで表画像の分割指示を行う。（ｂ）では、特徴画像が「○」で表される。会議端末１０１は、分割指示を会議サーバ１０６へ送信する。会議サーバ１０６は、分割指示に応じて表画像を見出し領域及び要素領域に分割する。会議サーバ１０６は、分割した表画像１２２を会議端末１０１、１０２へ送信する。
【００５８】
（ｃ）は、会議端末１０１が設置される拠点において、表画像の表示条件を変更するときの処理を表す。ここでは、要素領域が左上方向にスクロールされる。会議端末１０１のユーザは、例えばＨＩＤ２１３により表画像に対するスクロールの指示を行う。会議端末１０１は、スクロール指示を会議サーバ１０６へ送信する。会議サーバ１０６は、スクロール指示に応じて表画像の要素領域のスクロールを行う。会議サーバ１０６は、要素領域をスクロールした表画像を会議端末１０１、１０２へ送信する。
【００５９】
（ｄ）は、（ａ）とは逆に、会議端末１０２が設置される拠点のホワイトボードに「1.tri」が手書きされたときの処理を表す。（ａ）の処理とデータの流れが逆になるだけで、処理内容は同様である。
【００６０】
（ｅ）は、会議端末１０１により、表画像の表示終了が指示されたときの処理を表す。会議端末１０１のユーザは、表画像の表示終了を例えばＨＩＤ２１３により指示する。会議端末１０１は、表示終了の指示を会議サーバ１０６へ送信する。会議サーバ１０６は、表示終了の指示に応じて表画像１２２の表示終了時の画像を生成して、会議端末１０２へ送信する。
【００６１】
＜盤面撮影処理＞
図１１は、会議端末１０１によるホワイトボード１１０の盤面の撮影時の処理を表すフローチャートである。なお、会議端末１０２がホワイトボード１１０の盤面を撮影する際にも同様の処理が行われる。この処理は、撮像画像取得部３１１がカメラ２１１から取得する動画のフレーム毎に行われる。
【００６２】
描画画像操作部３６４は、ユーザによるＨＩＤ２１３の操作が撮影を指示するか否かを判断する（Ｓ４０００）。ユーザがＨＩＤ２１３により撮影を指示する場合（Ｓ４０１０：Y）、書込画像生成部３１２は、投影制御部３３１に、撮影用投影画像１３５の投影を指示する。投影制御部３３１は、この指示に応じて、撮影用投影画像格納部３５０から撮影用投影画像１３５を取得して、プロジェクタ２１２によりホワイトボード１１０に投影する（Ｓ４０２０）。なお、撮影の指示が無い場合（Ｓ４０１０：N）、会議端末１０１は、このフレームに対する処理を終了する。
【００６３】
書込画像生成部３１２は、撮影用投影画像１３５が投影されたホワイトボード１１０の撮像画像を取得する（Ｓ４０２２）。撮像画像の取得後に書込画像生成部３１２は、投影制御部３３１に、撮影用投影画像１３５の投影終了を指示する。投影制御部３３１は、この指示に応じて、プロジェクタ２１２による撮影用投影画像１３５の投影を終了する（Ｓ４０２３）。
【００６４】
書込画像生成部３１２は、取得した撮像画像に対して投影領域１１２の幾何変換、色処理等の画像処理を行い、手書き画像１２０に応じた書込画像１４０を生成する（Ｓ４０２４）。書込画像生成部３１２は、生成した書込画像１４０に会議端末１０１を識別する識別子を組み合わせて、書込画像情報を生成する（Ｓ４０２６）。書込画像生成部３１２は、生成した書込画像情報を書込画像格納部３１３に格納する（Ｓ４０２８）。会議端末１０１は、書込画像格納部３１３に格納された書込画像情報を、送信部３１４により会議サーバ１０６に送信する（Ｓ４０３０）。
【００６５】
画像特徴抽出部３６６は、撮像画像に特徴画像が含まれるか否かを判定する（Ｓ４０３２）。特徴画像が含まれる場合（Ｓ４０３２：Y）、表操作情報生成部３７１は、撮像画像に特徴画像が含まれることを表す表操作情報を生成して、表操作情報格納部３７２に格納する。画像特徴抽出部３６６は、今回取得した撮像画像と、１つ前のフレームの撮像画像とを比較することで、特徴画像の有無を判定する。会議端末１０１は、表操作情報格納部３７２に格納された表操作情報を、送信部３１４により会議サーバ１０６に送信する（Ｓ４０３４）。なお、特徴画像が含まれない場合（Ｓ４０３２：N）、会議端末１０１は、このフレームに対する処理を終了する。
【００６６】
以上の処理は、図１０の（ａ）、図１０の（ｄ）の処理のときに実行される。図１２は、会議端末１０１の盤面撮影処理時の説明図である。会議端末１０１は、ホワイトボード１１０の手書き画像１２０（「レビューミーティング」）から書込画像情報を生成して会議サーバ１０６に送信する。図１３は、会議端末１０２の盤面撮影処理時の説明図である。会議端末１０２は、ホワイトボード１１０の手書き画像（「1.tri」）から書込画像情報を生成して会議サーバ１０６に送信する。
【００６７】
＜投影処理＞
図１４は、会議端末１０２が会議サーバ１０６から受信した画像を、プロジェクタ２１２でホワイトボード１１０に投影する投影処理を表すフローチャートである。なお、会議端末１０１がホワイトボード１１０に投影画像を投影する際にも同様の処理が行われる。この処理は、所定の周期で定期的に実行される。
【００６８】
受信制御部３４１は、受信部３２１が会議サーバ１０６から画像を受信したか否かを判断する（Ｓ４１００）。画像を受信した場合（Ｓ４１０５：Y）、受信制御部３４１は、受信した画像を、書込合成画像格納部３４２又は表画像格納部３４３に格納する（Ｓ４１１０）。受信制御部３４１は、受信した画像に、書込合成画像が含まれる場合に該投影画像を書込合成画像格納部３４２に格納し、表画像が含まれる場合に該投影画像を表画像格納部３４３に格納する。投影画像合成部３４４は、書込合成画像及び表画像を合成することで投影画像１３１を生成し、投影画像格納部３４５に格納する（Ｓ４１１５）。
【００６９】
画像を受信しない場合（Ｓ４１０５：N）、或いは投影画像１３１の格納後に、投影制御部３３１は、ユーザがＨＩＤ２１３により撮影用投影画像１３５の投影指示を入力したかを判断する（Ｓ４１２０）。投影指示が入力された場合（Ｓ４１２５：Y）、投影制御部３３１は、撮影用投影画像格納部３５０から撮影用投影画像１３５を取得して、投影画像出力バッファ３３２に展開する（Ｓ４１３０）。投影指示が入力されない場合（Ｓ４１２５：Y）、投影制御部３３１は、投影画像格納部３４５から投影画像１３１を取得して、投影画像出力バッファ３３２に展開する（Ｓ４１３５）。投影画像出力部３３３は、投影画像出力バッファ３３２に展開された画像をプロジェクタ２１２によりホワイトボード１１０に投影させる（Ｓ４１４０）。以上により、投影処理が終了する。
【００７０】
以上の処理は、会議端末１０１、１０２が書込合成画像１２１を受信する場合（図１０の（ａ））、及び表画像１２２を受信する場合（図１０の（ｃ））に実行される処理である。図１２は、書込合成画像１２１を受信した会議端末の処理も表す。会議端末１０１は、会議端末１０２により手書き画像から生成された書込合成画像１２１を受信する。会議端末１０１は、受信した書込合成画像１２１に表画像１２２を合成して投影画像１３１を生成して投影する。会議端末１０２は、会議端末１０１により手書き画像から生成された書込合成画像１２１を受信する。会議端末１０２は、受信した書込合成画像１２１に表画像１２２を合成して投影画像１３１を生成して投影する。
【００７１】
図１５は、表画像１２２を受信した会議端末の処理を表す。会議端末１０１、１０２は、それぞれ会議サーバ１０６から表画像１２２を受信する。会議端末１０１、１０２は、それぞれ受信した表画像１２２に書込合成画像１２１を合成することで投影画像１３１を生成して投影する。
【００７２】
＜書込画像編集処理＞
図１６は、会議サーバ１０６が会議端末１０１、１０２から受信した書込画像１４０を編集して書込合成画像１２１を生成し、送信する処理を表すフローチャートである。この処理は、所定の周期で定期的に実行される。
【００７３】
書込画像制御部４１０は、受信部４０２により会議端末１０１、１０２から書込画像１４０を受信したか否かを判断する（Ｓ４２００）。受信した場合（Ｓ４２０５：Y）、書込画像制御部４１０は、書込画像１４０を取得書込画像格納部４１１に格納する（Ｓ４２１０）。受信していない場合（Ｓ４２０５：N）、会議サーバ１０６は、処理を終了する。
【００７４】
書込合成画像生成部４１２は、取得書込画像格納部４１１に格納された書込画像１４０に基づいて、各会議端末１０１、１０２用の書込合成画像１２１を生成して、書込合成画像格納部４１３に格納する（Ｓ４２１５）。会議サーバ１０６は、書込合成画像格納部４１３に格納された各拠点の会議端末１０１、１０２用の書込合成画像１２１を、送信部４０３により、各会議端末１０１、１０２に送信する（Ｓ４２２０）。最新書込画像生成部４１４は、取得書込画像格納部４１１に格納された各会議端末１０１、１０２から取得した書込画像を合成して最新書込画像を生成し、最新書込画像格納部４１５に格納する（Ｓ４２２５）。以上により、書込画像編集処理が終了する。
【００７５】
以上の処理は、図１０の（ａ）、図１０の（ｄ）のときに実行される。図１０の（ａ）では、会議サーバ１０６が会議端末１０１から書込画像１４０を受信する。図１２では、会議サーバ１０６が会議端末１０１から書込画像１４０を受信し、会議端末１０１用の書込合成画像１２１及び会議端末１０２用の書込合成画像１２１を生成して送信する。また、会議サーバ１０６は、最新書込画像を生成する。図１０の（ｄ）では、会議サーバ１０６が会議端末１０２から書込画像１４０を受信する。図１３では、会議サーバ１０６が会議端末１０２から書込画像を受信し、会議端末１０１用の書込合成画像１２１及び会議端末１０２用の書込合成画像１２１を生成して送信する。また、会議サーバ１０６は、最新書込画像を生成する。
【００７６】
＜表操作情報処理＞
図１７は、会議端末１０１、１０２が表画像の操作内容を表す表操作情報を会議サーバ１０６に送信する処理を表すフローチャートである。この処理は、所定の周期で定期的に実行される。ここでは、会議端末１０１を例に表操作情報処理を説明する。
【００７７】
表操作部３６５は、表画像に対する操作（表操作）の有無を判断する（Ｓ４３００）。表操作部３６５は、ユーザがＨＩＤ２１３により表操作の指示を入力したか、或いは画像特徴抽出部３６６が特徴画像を抽出したか否かにより、表操作の有無を判断する。表操作には、表画像の分割、表画像の表示条件の変更、表画像の表示終了がある。表操作がない場合（Ｓ４３１０：N）、会議端末１０１は、処理を終了する。表操作がある場合（Ｓ４３１０：N）、表操作情報生成部３７１は、表操作の種類を判断する（Ｓ４３２０）。
【００７８】
表操作の種類が領域分割の場合（Ｓ４３２０：領域分割）、会議端末１０１は、図１１の盤面撮影処理を行う。表操作情報生成部３７１は、盤面撮影処理により撮像した盤面の撮像画像を含む表画像の領域分割を表す表操作情報を生成して、表操作情報格納部３７２に格納する（Ｓ４３３５）。表操作の種類が表画像１２２の表示終了の場合（Ｓ４３２０：表画像表示終了）、表操作情報生成部３７１は、表画像表示終了を表す表操作情報を生成して、表操作情報格納部３７２に格納する（Ｓ４３４０）。表操作の種類が表画像１２２の表示条件の変更の場合（Ｓ４３２０：表画像表示条件変更）、表操作情報生成部３７１は、表画像表示条件変更を表す表操作情報を生成して、表操作情報格納部３７２に格納する（Ｓ４３５０）。会議端末１０１、１０２は、表操作情報格納部３７２に格納された表操作情報を送信部３１４により会議サーバ１０６へ送信する（Ｓ４３７０）。以上により、表操作情報処理が終了する。
【００７９】
以上の処理は、図１０の（ｂ）、図１０の（ｃ）、図１０の（ｅ）のときに実行される。図１０の（ｂ）では、表画像１２２の領域分割が特徴画像により指示される。図１０の（ｃ）では、表画像１２２の表示条件変更が指示される。図１０の（ｅ）では、表画像１２２の表示終了が指示される。
【００８０】
＜表画像操作処理＞
図１８は、会議サーバ１０６が表操作情報を会議端末１０１、１０２から受信したときに実行する表画像操作処理を表すフローチャートである。この処理は、所定の周期で定期的に実行される。
【００８１】
表操作制御部４３０は、受信部４０２が会議端末１０１、１０２から表操作情報を受信したか否かを判断する（Ｓ４４００）。表操作情報を受信した場合（Ｓ４４０２：Y）表操作制御部４３０は、受信した表操作情報を表操作情報格納部４３１に格納する（Ｓ４４０４）。表操作制御部４３０は、格納した表操作情報の種類を判断する（Ｓ４４１０）。
【００８２】
表操作情報が領域分割を表す場合（Ｓ４４１０：領域分割）、表操作制御部４３０は、表操作情報から表分割情報を取得して、表画像表示条件格納部４３３に格納する（Ｓ４４２０）。表分割情報は、撮像画像に含まれる特徴画像の位置（座標情報）を含む。特徴画像の位置が表分割座標となる。表分割座標は図８（ｇ）のフォーマットで表される。表操作制御部４３０は、表操作情報から表画像の表示領域の座標を取得して、表示領域情報格納部４３２に格納する（Ｓ４４２２）。表画像１２２の表示領域の座標は図６（ｂ）のフォーマットで表される。
【００８３】
図１９は、盤面の撮像画像の差分と、表画像表示条件格納部４３３に格納した表分割情報、表示領域情報格納部４３２に格納した表示領域の座標情報の対応関係の説明図である。撮像画像の差分は、ユーザが盤面に手書きで記入する特徴画像により生じる。特徴画像は、図１９では、表画像の罫線の交点上の「○」で表される。特徴画像は、手書きの他に、磁石等による目印を盤面に貼り付けることで表示するようにしてもよい。
【００８４】
図１９（ａ）は、直近の盤面の撮像画像（図１７のＳ４３３０の処理による撮像画像）と、その１つ前の盤面の撮像画像との差分が３点ある場合の説明図である。盤面は、その一部に表画像が表示される。表操作制御部４３０は、盤面の原点（図中左上）に最も近い差分の点（差分１）と、最も遠い差分の点（差分３）とが、表画像の外接矩形の頂点であると判定する。表操作制御部４３０は、残る差分の点（差分２）を、表画像を固定領域と要素領域とに分割する基準点と判定する。図中、（Ｘ０，Ｙ０）は、表画像の原点となる。
【００８５】
図１９（ｂ）は、直近の盤面の撮像画像と、その１つ前の盤面の撮像画像との差分が１点である場合の説明図である。盤面は、全体に表画像が表示される。表操作制御部４３０は、差分の点（差分１）を、表画像を固定領域と要素領域とに分割する基準点と判定する。盤面の原点と表画像の原点とが同じ点であり、固定領域と要素領域との大きさの和は、盤面と同じ大きさとなる。
【００８６】
図１９（ｃ）は、直近の盤面の撮像画像と、その１つ前の盤面の撮像画像との差分が２点ある場合の説明図である。盤面は、一部に表画像が表示される。表操作制御部４３０は、差分である２点（差分１、差分３）が表画像の外接矩形の頂点であると判定する。この場合、固定領域は設定されず、表画像の全領域が要素領域となる。
【００８７】
Ｓ４４２０、Ｓ４４２２は、図１９に示す差分の点の位置を各格納部に格納する処理となる。Ｓ４４２０、Ｓ４４２２は、図１０の（ｂ）に示すような表画像の領域分割の際の処理である。
【００８８】
表操作制御部４３０は、表画像の表示状態をオンにするために、表画像表示条件格納部４３３に格納される表画像表示フラグをオンに設定する（Ｓ４４２６）。表情報生成部４４０は、最新書込画像格納部４１５に格納される最新書込画像情報を既存書込画像情報格納部４４１に格納する（Ｓ４４２８）。
【００８９】
表操作情報が表画像の表示終了を表す場合（Ｓ４４１０：表画像表示終了）、表操作制御部４３０は、表画像の表示状態をオフにするために、表画像表示条件格納部４３３に格納される表画像表示フラグをオフに設定する（Ｓ４４４０）。この処理は、図１０の（ｅ）に示す表画像の表示終了の際の処理である。
【００９０】
表操作情報が表画像の表示条件の変更を表す場合（Ｓ４４１０：表画像表示条件変更）、表操作制御部４３０は、表操作情報の内容に基づいて、表画像表示条件格納部４３３に格納される表画像の表示条件を更新する（Ｓ４４６０）。例えば、表操作制御部４３０は、表画像の要素領域の表示オフセット値（Ｘoffset、Ｙoffset）を変更する。オフセット値の変更により、表画像の固定領域、要素領域に対する移動量が変更される。
【００９１】
表操作情報の種類に応じた処理が終了すると、或いは表操作情報を受信していない場合（Ｓ４４０２：N）、投影用表画像生成部４５０は、表画像表示条件格納部４３３に格納される表画像表示フラグの状態を確認する（Ｓ４４９０）。
【００９２】
表画像表示フラグがオンである場合（Ｓ４４９０：Y）、投影用表画像生成部４５０は、投影用表画像を生成して、投影用表画像格納部４５２に格納する（Ｓ４４９２）。この処理は、図１０の（ｃ）に示す表画像に対する移動操作の際の処理である。投影用表画像生成部４５０は、表画像表示条件格納部４３３に格納される表画像の要素領域の表示オフセット値に基づいて、投影用の表画像を生成する。図８の例では、図８（ａ）に示すように固定領域の大きさと要素領域の表示オフセット値が同じである場合、投影用表画像生成部４５０は、図８（ｂ）に示す投影用表画像を生成する。図８（ｂ）に示すように表示オフセット値が移動している場合、投影用表画像生成部４５０は、図８（ｄ）に示す投影画像を生成する。
【００９３】
表画像表示フラグがオフである場合（Ｓ４４９０：N）、投影用表画像生成部４５０は、空白の表画像を生成して、投影用表画像格納部４５２に格納する（Ｓ４４９４）。図２０は、空白の表画像の例示図である。空白の表画像は、表画像の表示終了の際に表示される。
【００９４】
投影用表画像或いは空白の表画像が投影用表画像格納部４５２に格納されると、送信部４０３は、各拠点の会議端末１０１、１０２へ、投影用表画像格納部４５２に格納された表画像を送付する（Ｓ４４９６）。
【００９５】
以上のように、本実施形態の電子会議システムは、ホワイトボード１１０に表示される表画像に対する枠固定処理を可能とする。これにより、ホワイトボード１１０上に、表を手書きで効率的に作成可能となる。
【００９６】
［第２実施形態］
ホワイトボードに手書きされた表をイレーサー等で消去することで、その位置を検出することができる。第１実施形態との比較では、会議サーバ１０６の表画像操作処理（図１８）のＳ４４２０の処理が異なる。例えば、第１実施形態では、直近の盤面の撮像画像と、その１つ前の盤面の撮像画像との差分が１点である場合、図１９（ｂ）に示すように差分の点（差分１）を、表画像を固定領域と要素領域とに分割する基準点と判定する。これに対して第２実施形態では、差分の大きさにより動作が異なる。
【００９７】
図２１は、盤面を撮像した撮像画像の差分と、表画像表示条件格納部４３３に格納した表分割情報、表示領域情報格納部４３２に格納した表示領域の座標情報の対応関係の説明図である。撮像画像の差分は、ユーザがホワイトボードの書き込みを消去することにより生じる。差分画像は、図２１では、矩形画像で表される。
【００９８】
図２１（ａ）は、直近の盤面の撮像画像と、その１つ前の盤面の撮像画像との画像差分の説明図である。第１実施形態と異なり画像差分が大きさを有している。この画像差分が矩形で大きさが所定の閾値以上であれば、表操作制御部４３０は、ホワイトボード１１０の書き込みから表が消去されたと判定する。つまり、表操作制御部４３０は、この差分を表の表示領域と認識する。この場合、表操作制御部４３０は、表の表示領域に固定領域を設定せず、表画像の全領域を要素領域に設定する。表操作制御部４３０は、差分領域内の画像をハフ変換等の公知の画像認識技術により表の罫線を抽出し、表が書かれた位置を細かく認識してもよい。表操作制御部４３０は、抽出した罫線に基づいて、固定領域と要素領域とを自動的に分割しそれぞれの大きさを決定してもよい。
【００９９】
［第３実施形態］
ホワイトボードへの書き込みを消去して表を固定領域と要素領域とに分割する場合、撮像画像の比較は、数が多いほど各領域の誤認識の可能性が低くなる。第３実施形態では、３つの撮像画像の比較により、表画像の各領域を認識する。
【０１００】
図２２は、第３実施形態の領域分割処理を表すフローチャートである。図２２は、図１８に示す第１実施形態の表画像操作処理のうち、表操作情報の種類が領域分割の場合の処理を表す。図２２の処理の前後は、図１８と同様の処理である。
【０１０１】
表操作情報の種類が領域分割である場合、表操作制御部４３０は、２つの撮像画像の画像差分を抽出する（Ｓ４５００）。表操作制御部４３０は、表画像の領域の判定を保留している領域（判定保留領域）を表す領域情報を保持しているか否かを判断する（Ｓ４５１０）。判定保留領域は、図２１（ｂ）に示すように、２つ前の盤面の撮像画像と１つ前の盤面の撮像画像との差分画像である差分１の領域である。判定保留領域を保持していない場合（Ｓ４５１０：N）、表操作制御部４３０は、２つ前の撮像画像と１つ前の撮像画像との画像差分の抽出が行われていないと判断する。この場合、表操作制御部４３０は、抽出した画像差分を判定保留領域として保持する（Ｓ４５２０）。表操作制御部４３０は、判定保留領域の保持後、図１８のＳ４４９０以降の処理と同様の処理を行う。
【０１０２】
判定保留領域を保持している場合（Ｓ４５１０：Y）、表操作制御部４３０は、直近の盤面の撮像画像と１つ前の盤面の撮像画像との画像差分が抽出されたと判断する。この場合、表操作制御部４３０は、画像差分が判定保留領域に隣接するか否かを判断する（Ｓ４５３０）。
【０１０３】
画像差分が判定保留領域に隣接していない場合（Ｓ４５３０：N）、表操作制御部４３０は、判定保留領域を表画像の領域と判断し、表分割情報を生成して表画像表示条件格納部４３３に格納する（Ｓ４５４０）。表操作制御部４３０は、Ｓ４５１０で抽出した画像差分を判定保留領域として保持する（Ｓ４５５０）。その後、表操作制御部４３０は、図１８のＳ４４２２以降の処理と同様の処理を行う。この場合、判定保留領域は、図１９（ｃ）のように固定領域の無い表画像の領域と判断される。
【０１０４】
画像差分が判定保留領域に隣接する場合（Ｓ４５３０：Y）、表操作制御部４３０は、画像差分及び判定保留領域により、表分割情報を生成して表画像表示条件格納部４３３に格納する（Ｓ４５６０）。表操作制御部４３０は、判定保留領域を初期化して（Ｓ４５７０）、図１８のＳ４４２２以降の処理と同様の処理を行う。図２１（ｂ）では、差分２が固定領域に設定され、差分１が要素領域に設定される。
【０１０５】
［第４実施形態］
ホワイトボード上の限られたスペースで手書きの表を作成するために、ユーザの表領域に対する移動指示により、表の罫線を抽出してもよい。
図２３は第４実施形態の会議サーバ１０６の機能ブロック図である。第４実施形態の会議サーバ１０６は、図５に示す第１実施形態の会議サーバ１０６の機能ブロックに、罫線生成部４６０が追加された構成である。罫線生成部４６０は、表画像表示条件格納部４３３に格納される要素領域の表示オフセット値、表情報生成部４４０で生成される表画像に基づいて、固定領域にある罫線を検出し、表画像の移動によって新たに現れた空白の領域に罫線を生成する。
【０１０６】
図２４は、第４実施形態の表画像の表示条件変更処理を表すフローチャートである。図２４は、図１８に示す第１実施形態の表画像操作処理のうち、表操作情報の種類が表画像の表示条件変更の場合の処理を表す。図２４の処理の前後は、図１８の処理と同様である。
【０１０７】
表操作情報の種類が表画像の表示条件変更である場合、表操作制御部４３０は、表示条件変更の指示内容に従い表画像表示条件格納部４３３に格納されている情報を更新する（Ｓ４４６０）。表操作制御部４３０は、変更する表示条件が要素領域の表示オフセット値の変更であるか否かを判断する（Ｓ４６００）。表示オフセット値以外の変更である場合（Ｓ４６００：表示オフセット値以外の変更）、表操作制御部４３０は、表画像の表示条件変更時の処理を終了して、図１８のＳ４４９０以降の処理と同様の処理を行う。
【０１０８】
表示オフセット値の変更である場合（Ｓ４６００：表示オフセット値変更）、罫線生成部４６０は、固定領域からその移動方向（スクロール方向）に応じた罫線の抽出を行う（Ｓ４６１０）。罫線生成部４６０は、例えばハフ変換等の画像認識技術により罫線の抽出を行う。罫線生成部４６０は、表示オフセット値の変更によって新たに表示される領域に罫線が記載されていない場合に、当該領域に対して抽出した罫線に応じて罫線を描画する（Ｓ４６２０）。図２５により、Ｓ４６１０、Ｓ４６２０の罫線の抽出、描画を説明する。
【０１０９】
図２５（ａ）は、表画像全体と実際に表示する領域（表示対象領域）との関係を表す。会議サーバ１０６は、ホワイトボード１１０に手書きされた表の撮像画像から、第１、第２実施形態の方法で固定領域及び要素領域のサイズを表すＸ１、Ｙ１、Ｘ２、Ｙ２の値を決定する。図２５（ａ）では、ユーザの操作により、要素領域の表示オフセット値Ｘoffset、Ｙoffsetが、Ｘoffset’、Ｙoffset’に変化した例を表す。
【０１１０】
図２５（ｂ）は、表示対象領域のみを抜き出して合成した画像である。第１〜第３実施形態の電子会議システムでは、この合成画像がそのまま各拠点のホワイトボードに投影される。第４実施形態では、表示オフセット値Ｘoffsetが「１００」から「４５０」に変更されるため、要素領域の画像が左側に移動し、右側に大きく空白の領域が現れる。Ｓ４６１０では、罫線生成部４６０が、この領域に罫線を描画するため、左側の見出し領域から移動した方向と同じ横方向の罫線情報を抽出する。
【０１１１】
図２５（ｃ）は、抽出した罫線情報に基づいて罫線を描画（Ｓ４６２０）したときの、表画像全体を表す図である。図２５（ｄ）は、第４実施形態で実際に投影される表画像を表す。この例では表の表示を横方向に移動（スクロール）させた場合を説明するが、縦方向に移動させた場合も同様の処理を行うことで、縦方向の罫線を自動で生成、表示する。
【０１１２】
以上の処理により、ユーザが表画像に対してスクロール指示を行う場合、罫線が書かれていない部分に対して罫線が描画された画像が投影されることとなる。
【０１１３】
第１〜第４実施形態では、本実施形態を電子会議システムにより説明したが、本発明は、会議端末１０１単体で実現することも可能である。その場合、会議サーバ１０６の表画像の編集に関する機能が会議端末１０１内に形成される。表画像の枠固定に関する処理自体は上記と同様の処理で実現される。
【０１１４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2016218572.tif 000003
【図２】
2016218572.tif 000004
【図３】
2016218572.tif 000005
【図４】
2016218572.tif 000006
【図５】
2016218572.tif 000007
【図６】
2016218572.tif 000008
【図７】
2016218572.tif 000009
【図９】
2016218572.tif 000010
【図１０】
2016218572.tif 000011
【図１１】
2016218572.tif 000012
【図１２】
2016218572.tif 000013
【図１３】
2016218572.tif 000014
【図１４】
2016218572.tif 000015
【図１５】
2016218572.tif 000016
【図１６】
2016218572.tif 000017
【図１７】
2016218572.tif 000018
【図１８】
2016218572.tif 000019
【図１９】
2016218572.tif 000020
【図２０】
2016218572.tif 000021
【図２１】
2016218572.tif 000022
【図２２】
2016218572.tif 000023
【図２３】
2016218572.tif 000024
【図２４】
2016218572.tif 000025
【図８】
2016218572.tif 000026
【図２５】
2016218572.tif 000027