(57)【要約】【課題】情報入力ボードの揺れ等に起因する投影書込みのずれを最小限に抑えつつ、ユーザが盤面に新たな書込み等を行った際にその内容をすぐに他の拠点と共有する。【解決手段】それぞれに情報入力ボードが設置された複数の拠点間で情報入力ボード上の情報を共有するための装置であって、情報入力ボードを撮像して撮像画像を取得する撮像制御手段と、取得した撮像画像に人物の領域が含まれる場合、当該撮像画像と当該撮像画像の１フレーム前に取得された撮像画像とを比較して、当該人物が通過した領域を特定し、当該特定された領域における前記情報入力ボード上に実在する情報のみの画像を送信画像として生成する送信画像生成手段と、前記情報入力ボードの揺れを検出する変動検出手段と、を備え、前記送信画像生成手段で生成された送信画像は、前記変動検出手段で揺れが検出されている間は送信されず、揺れが検出されなくなると送信されることを特徴とする。【選択図】図５
2015115856.tif 000002
【特許請求の範囲】
【請求項１】
それぞれに情報入力ボードが設置された複数の拠点間で情報入力ボード上の情報を共有するための装置であって、
情報入力ボードを撮像して撮像画像を取得する撮像制御手段と、
取得した撮像画像に人物の領域が含まれる場合、当該撮像画像と当該撮像画像の１フレーム前に取得された撮像画像とを比較して、当該人物が通過した領域を特定し、当該特定された領域における前記情報入力ボード上に実在する情報のみの画像を送信画像として生成する送信画像生成手段と、
前記情報入力ボードの揺れを検出する変動検出手段と、
を備え、
前記送信画像生成手段で生成された送信画像は、前記変動検出手段で揺れが検出されている間は送信されず、揺れが検出されなくなると送信される
ことを特徴とする装置。
【請求項２】
前記送信画像生成手段は、前記変動検出手段で揺れが検出されている間は、前記人物が通過した領域の情報を累積しておく手段をさらに備えることを特徴とする請求項１に記載の装置。
【請求項３】
他拠点における前記装置と前記送信画像を送受信する手段と、
他拠点から受信した前記送信画像に基づいて、自拠点の情報入力ボード上に投影する投影画像を生成する投影画像生成手段をさらに備え、
前記送信画像生成手段は、前記取得した撮像画像から前記特定された領域を切り出して得られた画像と、投影中の前記投影画像から前記特定された領域を切り出して得られた画像との差分を抽出することにより、前記送信画像を生成する
ことを特徴とする請求項１又は２に記載の装置。
【請求項４】
前記変動検出手段は、前記取得した撮像画像と、当該撮像画像の１フレーム前に取得された撮像画像とを比較することにより、揺れを検出することを特徴とする請求項１乃至３のいずれか１項に記載の装置。
【請求項５】
前記変動検出手段は、さらに、前記情報入力ボードの位置ずれを検出し、
前記送信画像生成手段は、前記位置ずれが検出された場合、前記取得した撮像画像から前記人物の領域を除いたすべての領域における前記情報入力ボード上に実在する情報のみの画像を送信画像として生成する
ことを特徴とする請求項１乃至４のいずれか１項に記載の装置。
【請求項６】
前記変動検出手段は、取得した撮像画像と、当該撮像画像よりも前に取得された撮像画像であって前記変動検出手段で揺れが検出されなかったときの撮像画像とを比較することにより、位置ずれを検出することを特徴とする請求項５に記載の装置。
【請求項７】
前記位置ずれを検出する処理は、現在のフレームでは揺れが検出されなかったが、１フレーム前の撮像画像の取得時には揺れが検出されていた場合に実行されることを特徴とする請求項５又は６に記載の装置。
【請求項８】
請求項１〜７のいずれか１項に記載の装置を用いて、複数の拠点間で情報入力ボード上の情報を共有するためのシステム。
【請求項９】
それぞれに情報入力ボードが設置された複数の拠点間で情報入力ボード上の情報を共有するための方法であって、
情報入力ボードを撮像して撮像画像を取得するステップと、
取得した撮像画像に人物の領域が含まれる場合、当該撮像画像と当該撮像画像の１フレーム前に取得された撮像画像とを比較して、当該人物が通過した領域を特定し、当該特定された領域における前記情報入力ボード上に実在する情報のみの画像を送信画像として生成するステップと、
前記情報入力ボードの揺れを検出するステップと、
を含み、
前記生成するステップで生成された送信画像は、前記検出するステップで揺れが検出されている間は送信されず、揺れが検出されなくなると送信される
ことを特徴とする方法。
【請求項１０】
コンピュータを、請求項１〜７のいずれか１項に記載の装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各拠点に配置された情報入力ボードに入力された情報を複数拠点で共有する技術に関するものである。
【背景技術】
【０００２】
近年、遠隔会議等を支援する為に、ホワイトボード等の情報入力ボードを複数の拠点に配置し、各拠点の情報入力ボードをカメラで撮像して得た撮像画像を他拠点の情報入力ボードにプロジェクタで投影することによって、複数拠点間で情報を共有するシステムが提案されている。このようなシステムでは、情報入力ボード上の書込み等がされた盤面を撮像して得られた画像を合成し、当該合成された同一内容の画像を各拠点の情報入力ボードの盤面に表示している。そして、情報入力ボードの盤面に新たな書込み等がなされた際には、直ちにその書込み等の内容を他の拠点と共有するべく、情報入力ボードの盤面を連続的に撮像し、得られた撮像画像の中で人物が通り過ぎた後の領域部分の画像データが他の拠点へと送信される。
【０００３】
上述のようにして、各拠点間にある情報入力ボード上で情報を共有している状況において、例えば、ユーザがマーカペン等で書き込む際やイレーサ等で書込みの一部を消去する際には、ユーザの手によって盤面が押される結果、情報入力ボードが揺れてしまう。情報入力ボードが揺れると、その盤面にマーカペン等で物理的に記載されている書込み（以下、物理書込み）も連動して揺れることになるが、盤面に投影されている書込み（以下、投影書込み）は物理書込みに比べると揺れが小さい。この状態で人物が通過した領域部分の画像データの送信を順次行うと、隣り合う領域（フレーム）同士で撮像タイミングが異なる為に、例えば物理書込みでは繋がっていた直線が投影書込みとして他の拠点で投影された際には途切れて表示されてしまうといったことが生じ得る。このような問題に対して、例えば特許文献１は、被写体の揺れを検出して揺れが無いタイミングで撮像を行って、静止状態の被写体を撮像する手法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７２２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のとおり、ユーザが情報入力ボードの盤面に書込み等を続ける間は、情報入力ボードの盤面は揺れ続けることになる。この点、特許文献１に開示されるような揺れの無いタイミングで撮像を行なう手法の場合は、盤面の揺れが収まるまで撮像ができないことになる。そうなると、情報入力ボードの盤面に新たに書込み等がなされても、すぐにその内容を他の拠点と共有することができないという新たな問題が生じることになる。
【課題を解決するための手段】
【０００６】
本発明に係る装置は、それぞれに情報入力ボードが設置された複数の拠点間で情報入力ボード上の情報を共有するための装置であって、情報入力ボードを撮像して撮像画像を取得する撮像制御手段と、取得した撮像画像に人物の領域が含まれる場合、当該撮像画像と当該撮像画像の１フレーム前に取得された撮像画像とを比較して、当該人物が通過した領域を特定し、当該特定された領域における前記情報入力ボード上に実在する情報のみの画像を送信画像として生成する送信画像生成手段と、前記情報入力ボードの揺れを検出する変動検出手段と、を備え、前記送信画像生成手段で生成された送信画像は、前記変動検出手段で揺れが検出されている間は送信されず、揺れが検出されなくなると送信されることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、情報入力ボードの揺れ等に起因する投影書込みのずれを最小限に抑えつつ、ユーザが盤面に新たな書込み等を行った際にその内容をすぐに他の拠点と共有することができる。
【図面の簡単な説明】
【０００８】
【図１】複数の拠点間で情報を共有するためのシステムの構成の一例を示す図である。
【図２】ＰＣの内部構成の一例を示す図である。
【図３】各拠点における情報入力ボードにおいて情報を共有する様子を示す図である。
【図４】ＰＣのソフトウェア構成を示す機能ブロック図である。
【図５】自拠点としての情報処理システムにおいて、情報入力ボード上の共有領域を撮像して得た画像データを、他拠点としての情報処理システムに送信するまでの処理の流れを示すフローチャートである。
【図６】撮像画像を複数の小領域に分割した状態の一例を示す図である。
【図７】揺れ検出処理の詳細を示すフローチャートである。
【図８】他拠点となる情報処理システムにおいて、受信した画像データを情報入力ボード上に投影する処理の流れを示すフローチャートである。
【図９】第１の具体例における情報入力ボードの盤面の記載状態を示す図である。
【図１０】第１の具体例に係る、自拠点において送信画像が順次生成され、当該送信画像が他拠点において投影される過程を時系列に示す図である。
【図１１】第２の具体例における情報入力ボードの盤面の記載状態を示す図である。
【図１２】第２の具体例に係る、自拠点において送信画像が順次生成され、当該送信画像が他拠点において投影される過程を時系列に示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１０】
＜本システムの構成＞
図１は、本実施例に係る、複数の拠点間で情報を共有するためのシステム（以下、情報共有システム）の構成の一例を示す図である。情報共有システム１００の各拠点には、情報処理システムと情報入力ボードとが存在する。本実施例の情報共有システム１００は２つの拠点からなり、情報処理システム１１０と情報入力ボード１１４とで構成される拠点を自拠点、情報処理システム１２０と情報入力ボード１２４とで構成される拠点を他拠点と呼ぶこととする。なお、合計の拠点数が３以上（つまり、他拠点の数が複数）でも構わないが、ここでは説明を簡単にするため他拠点の数を１箇所としている。
【００１１】
スクリーンやホワイトボードなどに代表される情報入力ボード１１４及び１２４は、文字や図形といった情報を様々な態様で記入等することができる。例えば、マーカペン等で直接手書きしたり、糊付の付箋を貼り付けたり、テープや磁石等で文書やカードなどを貼り付けたりすることによって、情報入力ボード１１４には様々な情報が入力される。本明細書では、情報入力ボードにユーザが入力して他拠点と共有する情報を「共有情報」と呼ぶこととする。
【００１２】
情報処理システム１１０／１２０は、ＰＣなどに代表される情報処理端末（以下、ＰＣ）１１１／１２１、プロジェクタ（投影装置）１１２／１２２、カメラ（撮像装置）１１３／１２３で構成される。情報処理システム１１０と１２０とは、ネットワーク１３０を介して相互に接続されている。  
【００１３】
ＰＣ１１１／１２１は、カメラ１１３／１２３を制御し、一定時間毎（例えば０．１秒毎）に情報入力ボード１１４／１２４の撮像画像を得る。そして、得られた撮像画像から共有情報を含む画像領域を抽出して幾何補正や色補正などの画像処理を施し、他拠点に送信する送信画像を得る。得られた送信画像のデータは、他拠点の情報処理システムに送信する。また、ＰＣ１１１／１２１は、他拠点の情報処理システムにて同様に抽出された送信画像のデータを他拠点のＰＣから受信し、プロジェクタ１１２／１２２に供給して情報入力ボード１１４／１２４上に投影する。情報処理システム１１０／１２０においては、カメラ１１３／１２３で撮像した撮像画像内にプロジェクタ１１２／１２２の投影範囲が収まるような位置関係に配置されているものとする。
【００１４】
図２は、本実施例における、ＰＣ１１１／１２１の内部構成の一例を示す図である。
【００１５】
ＰＣ１１１／１２１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ２０５、ディスプレイＩ／Ｆ  ２０６、外部メモリＩ／Ｆ２０７、外部Ｉ／Ｆ２０８、マウスＩ／Ｆ２１１、ネットワークＩ／Ｆ２１３を有する。これらはシステムバス２０４で相互に接続されている。
【００１６】
キーボードＩ／Ｆ２０５にはキーボード２０９が接続され、マウスＩ／Ｆ２１１にはマウス２１２が接続される。ＣＰＵ２０１は、キーボード２０９およびマウス２１２からユーザからの各種操作を受け付ける。また、ディスプレイＩ／Ｆ２０６に接続されたプロジェクタ１１２／１２２を制御して、情報入力ボード１１４／１２４上に共有情報画像を投影する。また、外部Ｉ／Ｆ２０８に接続されたカメラ１１３／１２３で撮像した情報入力ボードの撮像画像のデータをＲＡＭ２０２や外部メモリ２１０に記憶する。カメラ１１３／１２３での撮像は、予め設定された時間間隔で撮像するよう制御してもよいし、ユーザがマウス２１２やキーボード２０９で入力した操作指示に応じて撮像するよう制御してもよい。また、ＣＰＵ２０１は、ネットワークＩ／Ｆ２１３を介して他拠点の情報処理システムとの間で情報入力ボードの画像データを送受信する。
【００１７】
さらに、ＣＰＵ２０１は、ＰＣ１１１／１２１全体の制御を行い、ＲＯＭ２０３やＨＤＤ等の外部メモリ２１０などに記憶されたプログラムを、ＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、ＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶し、ＲＡＭ２０２は、ワークメモリとして用いられる。
【００１８】
図３は、各拠点における情報入力ボードにおいて情報を共有する様子を示す図である。
【００１９】
いま、自拠点において、プロジェクタ１１２は、投影画像３００を情報入力ボード１１４に投影している。
【００２０】
投影画像３００は、他拠点における情報入力ボード１２４を撮像して得られた共有情報画像である。なお、図３では、投影画像３００は空中に浮いているように描かれているが、これは投影画像３００がプロジェクタ１１２から出力されていることを表現したものである。情報入力ボード上１１４内の領域３０１は、他拠点と書込み内容を共有するための領域（以下、共有領域）である。共有領域３０１の位置と大きさは、情報入力ボード１１４に投影された際の投影画像３００の領域と同じとする。
【００２１】
撮像画像３０２は、カメラ１１３によって共有領域３０１を撮像して得られた画像である。投影画像３００と同様、空中に浮いているように描かれているが、これは撮像画像３０２がカメラ１１３によって撮像されていることを表現したものである。カメラ１１３の撮像範囲は、共有領域３０１と同じとする。即ち、撮像画像３０２には共有領域３０１以外の領域は写っていないものとする。
【００２２】
他拠点に於いても自拠点と同様に、情報入力ボード１２４上に共有領域３１１が存在し、プロジェクタ１２２によって共有領域３１１に重なるように投影画像３１０が投影され、カメラ１２３によって共有領域３１１が撮像され、撮像画像３１２が生成される。
【００２３】
本システムでは、他拠点の共有領域３１１の撮像画像３１２を受信して自拠点の共有領域３０１に重なるように投影し、且つ自拠点の共有領域３０１の撮像画像３０２を他拠点の共有領域３１１に投影することで、書込み等の内容を各拠点で共有している。
【００２４】
なお、本実施例では、情報入力ボード上の共有領域、プロジェクタによって画像が投影される領域及びカメラによって画像が撮像される領域が全て同じであるとしたが、これらの領域は異なっていてもよい。プロジェクタによる投影領域とカメラによる撮像領域は互いに共通する領域があればよく、その共通する領域の中に共有領域が含まれていればよい。
【００２５】
続いて、ＰＣ１１１／１２１のソフトウェア構成について説明する。説明の便宜上、自拠点側のＰＣ１１１について説明することとするが、他拠点側のＰＣ１２１も同様である。
【００２６】
図４は、本実施例に係る、ＰＣ１１１のソフトウェア構成を示す機能ブロック図である。ＰＣ１１１は、撮像制御部４０１、人物領域抽出部４０２、送信画像生成部４０３、変動検出部４０４、通信部４０５、投影画像生成部４０６、表示制御部４０７を有する。
【００２７】
撮像制御部４０１は、カメラ１１３を制御して、情報入力ボード１１４の共有領域３０１を撮像し、撮像画像データを取得する。
【００２８】
人物領域抽出部４０２は、撮像制御部４０１によって取得された撮像画像から人物が映っている領域を抽出する処理を行なう。
【００２９】
送信画像生成部４０３は、撮像制御部４０１によって取得された撮像画像から、他拠点に送信する画像データの内容としての送信領域を設定する処理を行なう。
【００３０】
変動検出部４０４は、ユーザの情報入力ボード１１４への書込み等によって生じる盤面の揺れや情報入力ボード１１４自体の位置移動（位置ずれ）といった変動の有無を検出する。
【００３１】
通信部４０５は、他拠点側の情報処理システム１２０との間で各種データの送受信を行なう。
【００３２】
投影画像生成部４０６は、他拠点側の情報処理システム１２０から受信した画像データから投影画像の生成等を行なう。
【００３３】
表示制御部４０７は、プロジェクタ１１２を制御して、情報入力ボード１１４上に投影画像を表示する。
【００３４】
なお、ＰＣ１１１は、本発明と直接の関係がない一般的な情報処理装置が有する上記機能以外の諸機能有していてもよい。
【００３５】
次に、本実施例に係る、情報共有システムの動作について説明する。説明の便宜上、自拠点としての拠点１における情報処理システム１１０における動作を中心として説明することとするが、他拠点としての拠点２における情報処理システム１２０においても同様の動作がなされるものである。
【００３６】
＜送信画像の生成から他拠点への送信まで＞
図５は、自拠点としての情報処理システム１１０において、情報入力ボード１１４上の共有領域３０１を撮像して得た画像データを、他拠点としての情報処理システム１２０に送信するまでの処理の流れを示すフローチャートである。なお、本実施例においては、以下のフローチャートで示す一連の処理は、一定の間隔（例えば０．５秒毎）でなされる撮像毎（フレーム毎）に実行されるものとするがこれに限られない。例えば、撮像の間隔をさらに短くした上で（例えば、０．１秒毎）、２フレーム毎や３フレーム毎といったように複数フレームに１度の割合で処理を実行するようにしてもよい。また、本フローチャートで示す手順は、そのプログラムがＰＣ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
【００３７】
ステップ５０１において、撮像制御部４０１は、カメラ１１３に対し共有領域３０１の撮像を指示し、前述の撮像画像３０２に相当する画像を取得する。
【００３８】
ステップ５０２において、人物領域抽出部４０２は、ステップ５０１で取得した撮像画像から人物が写っている領域を抽出する処理を行なう。具体的には、まず、取得した撮像画像を二値化し、キャニー法等のエッジ検出技術を用いて撮像画像に含まれる物体の輪郭を検出する。そして、検出された物体の輪郭のうち、当該輪郭で囲われた領域の面積が閾値以上で、且つ撮像画像の下端から伸びている物体の輪郭を、人物領域として特定する。ここで述べた方法の他、例えば背景差分法やトラッキングを用いて人物領域を抽出してもよい。
【００３９】
ステップ５０３において、送信画像生成部４０３は、ステップ５０１で取得した撮像画像を複数の小領域に分割し、分割された小領域のうち上記人物領域を含んでいる小領域のリスト情報（以下、人物領域ＩＤリスト）を作成する。具体的には、分割された各小領域について、ステップ５０２で抽出された人物領域と重なる部分があるかどうかを順次判定し、人物領域と重なる部分があると判定された小領域のＩＤを、人物領域ＩＤリストに追加していく。図６は、撮像画像を複数の小領域に分割した状態の一例を示す図である。図６で示す撮像画像３０２は、８×８の計６４個の小領域に分割されており、各小領域には行番号（ａ〜ｈ）と列番号（１〜８）からなる小領域ＩＤ（ａ１、ａ２・・・ｈ７、ｈ８）が割り当てられ、個々の小領域が識別可能となっている。なお、ステップ５０２で人物領域が抽出されなければ、人物領域ＩＤリストの中身は空である。
【００４０】
ステップ５０４において、送信画像生成部４０３は、送信領域ＩＤリストを作成する。ここで、送信領域ＩＤリストは、ステップ５０１で取得した撮像画像のうち他拠点に送信される領域を特定する情報で、当該送信領域に対応する小領域のＩＤで構成されるリスト情報である。この送信領域ＩＤリストは、１フレーム前における処理で保存された人物領域ＩＤリスト（後述のステップ５２０を参照）を取得し、当該リストからステップ５０３で作成された現フレームの人物領域ＩＤリストに含まれる小領域ＩＤを差し引くことで得られる。すなわち、送信領域は、１フレーム前の人物領域ＩＤリストと現フレームの人物領域ＩＤリストとを比較して得られる両者の差分に相当する領域であり、１フレーム前から現フレームまでの間に人物領域ではなくなった領域（人物が通過した領域）を意味するものである。したがって、例えば、１フレーム前においては撮像画像内に人物領域が存在しなかったとき（１フレーム前の人物領域ＩＤリストが空のとき）や、１フレーム前と現フレームとで人物領域に変化がなかったときは、送信領域ＩＤリストの内容は空である。
【００４１】
ステップ５０５において、変動検出部４０４は、ステップ５０１で取得した現在の撮像画像と、１フレーム前における処理で保存された撮像画像（後述のステップ５２０を参照）とを用いて、情報入力ボード１１４の盤面の揺れの有無を検出する。図７は、この揺れ検出処理の詳細を示すフローチャートである。
【００４２】
ステップ７０１において、変動検出部４０４は、ステップ５０１で取得した現フレームの撮像画像及び１フレーム前における処理で保存された撮像画像を、それぞれ前述したように小領域に分割する。
【００４３】
ステップ７０２において、変動検出部４０４は、現フレームと１フレーム前における双方の撮像画像について、分割された小領域のうちの人物領域ＩＤリストに含まれない全ての小領域について、前述の投影画像３００における対応する小領域との差分を取る。これにより、現フレームの撮像画像と１フレーム前の撮像画像のそれぞれについて、投影書込みが取り除かれた画像（物理書込みだけを含む小領域で構成される画像）を生成する。
【００４４】
ステップ７０３について、変動検出部４０４は、現フレームと１フレーム前の双方の撮像画像における、物理書込みだけとなった各小領域に対し、特徴点を抽出する処理を行なう。
【００４５】
ステップ７０４において、変動検出部４０４は、現フレームの撮像画像と１フレーム前の撮像画像とで対応関係にある２つの小領域の間で、対応する特徴点の座標を比較し、対応する各特徴点についての変動距離を導出する。
【００４６】
ステップ７０５において、変動検出部４０４は、全ての小領域における全特徴点について、変動距離の導出が終了したかどうかを判定する。未処理の小領域があれば、ステップ７０２に戻る。一方、全ての小領域の全特徴点について変動距離の導出が終了していれば、ステップ７０６に進む。
【００４７】
ステップ７０６において、変動検出部４０４は、ステップ７０５で導出された全ての特徴点の変動距離の平均値を導出する。
【００４８】
ステップ７０７において、変動検出部４０４は、導出された平均値と所定の閾値とを比較し、盤面の揺れの有無を判定する。具体的には、導出された平均値が閾値よりも大きい場合は、盤面の揺れが有ると判定し、導出された平均値が閾値以下の場合は、盤面の揺れが無いと判定する。この検出結果は、盤面の揺れ情報としてＲＡＭ２０２等に保存される。なお、図７のフローチャートで示した盤面の揺れ検出方法は一例であり、例えば盤面に張り付けたマーカの変動量等から揺れの有無を判断してもよい。
【００４９】
図５のフローチャートの説明に戻る。
【００５０】
ステップ５０６において、送信画像生成部４０３は、揺れ検出処理の結果に基づいて、処理の切り分けを行なう。すなわち、ＲＡＭ２０２等に保存された揺れ情報を参照し、揺れが有る場合はステップ５０７に進み、揺れが無い場合はステップ５０８に進む。
【００５１】
ステップ５０７において、送信画像生成部４０３は、送信領域ＩＤリストの内容を、累積領域ＩＤリストに追加する。ここで、累積領域ＩＤリストとは、揺れが生じていた間の送信領域を累積した領域を特定する情報であり、当該領域に対応する小領域のＩＤで構成されるリスト情報である。この累積領域ＩＤリストで特定される範囲の領域の画像データが、盤面の揺れが止まった時点で他拠点に送信されることになる。累積領域ＩＤリストに送信領域ＩＤリストの内容が追加されると、ステップ５１５に進む。
【００５２】
ステップ５０８において、送信画像生成部４０３は、１フレーム前における処理で保存された盤面の揺れ情報（後述のステップ５２０を参照）を参照し、処理の切り分けを行なう。すなわち、１フレーム前において揺れが無かった場合はステップ５１４に進み、１フレーム前において揺れが有った場合はステップ５０９に進む。
【００５３】
ステップ５０９において、変動検出部４０４は、ステップ５０１で取得した現フレームにおける撮像画像と前回静止時画像とを比較し、盤面の位置ずれを検出する（位置ずれ検出処理）。）を判定する。ここで、前回静止時画像とは、盤面の揺れが無い状態で、且つ現時点から最も近いタイミングで共有領域３０１を撮像した撮像画像を指す（後述のステップ５１４を参照）。この位置ずれ検出処理は、情報入力ボード１１４自体の位置が移動していないかどうかをチェックする処理であり、上述の揺れ検出処理（ステップ５０５）と同じ要領で行えばよい。例えば、現フレームと前回静止時画像の双方の撮像画像の間で共通する特徴点の変動量から判断するのに代えて、盤面に張り付けたマーカの変動量から判断しても良い。検出結果は、情報入力ボードの位置ずれ情報としてＲＡＭ２０２等に保存される。
【００５４】
ステップ５１０において、送信画像生成部４０３は、位置ずれ検出処理の結果に基づいて、処理の切り分けを行なう。すなわち、ＲＡＭ２０２等に保存された位置ずれ情報を参照し、位置ずれが有る場合はステップ５１１に進み、位置ずれが無い場合はステップ５１２に進む。
【００５５】
ステップ５１１において、送信画像生成部４０３は、送信領域ＩＤリストの内容を、人物領域を除いた全ての領域に設定する。具体的には、現フレームの撮像画像における全ての小領域ＩＤからステップ５０３で作成した人物領域ＩＤリストに含まれる小領域ＩＤを除いた残りの小領域ＩＤを、送信領域ＩＤリストの中身として設定する。
【００５６】
ステップ５１２において、送信画像生成部４０３は、上述した累積領域ＩＤリストの内容を、送信領域ＩＤリストに追加する。これにより、現フレームで送信領域とされた領域に加え、１フレーム前までの処理で累積されていた領域が、現フレームにおける送信領域として設定される。
【００５７】
ステップ５１３において、送信画像生成部４０３は、累積領域ＩＤリストをリセットする。すなわち、累積領域ＩＤリストの内容を全て削除（空）にする。
【００５８】
ステップ５１４において、送信画像生成部４０３は、ステップ５０１で取得した現フレームの撮像画像を、前回静止時画像として保存する。
【００５９】
ステップ５１５において、送信画像生成部４０３は、送信領域ＩＤリストが空であるかどうかを判定する。送信領域ＩＤリストに１つの小領域ＩＤも含まれておらず、空であると判定されれば、ステップ５２０に進む。一方、送信領域ＩＤリストに１以上の小領域ＩＤが含まれており、空でないと判定されれば、ステップ５１６に進む。
【００６０】
ステップ５１６において、送信画像生成部４０３は、送信領域ＩＤリストを参照して、現フレームの撮像画像から送信領域を切り出す。具体的には、ステップ５０１で取得した撮像画像のうち、送信領域ＩＤリストで特定される小領域以外の小領域を白く塗り潰した画像を生成する。
【００６１】
ステップ５１７において、送信画像生成部４０３は、現在投影中の画像データ（投影画像３００）を外部メモリ２１０等から取得し、取得した投影画像から送信領域を切り出す。具体的には、ステップ５１６と同様、取得した投影画像のうち、送信領域ＩＤリストで特定される小領域以外の小領域を白く塗り潰した画像を生成する。なお、現在投影中の画像データは、後述の図８のフローチャートのステップ８０４で外部メモリ２１０等に保存されたものである。
【００６２】
ステップ５１８において、送信画像生成部４０３は、ステップ５１６で生成した画像（現フレームの撮像画像から送信領域を切出した画像）とステップ５１７で生成した画像（現投影画像から送信領域を切出した画像）との差分を抽出する。これにより、ステップ５１６で生成した画像から投影書込みの部分が取り除かれ、物理書込みのみが残った画像が得られる。
【００６３】
ステップ５１９において、通信部４０５は、ステップ５１８で生成した画像データを他拠点に送信する。なお、送信前には、不図示の画像処理部によって所定の画像処理、例えば色味補正やエッジ強調等の画像補正が必要に応じて施される。
【００６４】
ステップ５２０において、送信画像生成部４０３は、ステップ５０１で取得した現フレームの撮像画像、ステップ５０３で作成した人物領域ＩＤリスト及びステップ５０５での揺れの検出結果（盤面の揺れ情報）を、次フレームでの処理で利用する１フレーム前の情報として外部メモリ２１０等に保存する。なお、これらの情報の保存が完了すると、人物領域ＩＤリスト及び送信領域ＩＤリストはリセットされる。
【００６５】
このようにして、送信画像が生成され、他拠点に送信される。
【００６６】
＜他拠点から受信した送信画像（投影画像）の表示処理＞
図８は、情報処理システム１１０からみて他拠点となる情報処理システム１２０において、情報処理システム１１０から送信されてきた画像データを情報入力ボード１２４上に投影する処理の流れを示すフローチャートである。本フローチャートで示す手順は、そのプログラムがＰＣ１２１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１０のいずれかに格納され、ＣＰＵ２０１により実行される。
【００６７】
情報処理システム１１０から送信画像のデータが送信されてくると、ステップ８０１において、情報処理システム１２０の通信部４０５は、当該画像データを受信する。
【００６８】
ステップ８０２において、投影画像生成部４０６は、現在表示中の投影画像のデータを取得する。この投影画像データは、前フレームにおける表示処理の後述のステップ８０４で外部メモリ２１０等に保存されたものである。
【００６９】
ステップ８０３において、投影画像生成部４０６は、ステップ８０２で取得した投影画像にステップ８０１で受信した送信画像を合成して、新たな投影画像データを生成する。ここでは、受信画像における白の画素については投影画像の画素値を使用し、受信画像における白以外の画素については受信画像の画素値を使用するような画像合成を行なう。
【００７０】
ステップ８０４において、投影画像生成部４０６は、ステップ８０３で生成した合成画像（投影画像）のデータを外部メモリ２１０等に保存する。
【００７１】
ステップ８０５において、表示制御部４０６は、プロジェクタ１２２を制御して、生成された合成画像を情報入力ボード１２４の共有領域３１１へ投影画像として投影する。
【００７２】
このようにして、他拠点から送られてきた送信画像が、自拠点の情報入力ボード上に表示される。
【００７３】
＜具体例＞
次に、本実施例に係る情報共有システム１００においてどのようにして情報入力ボード上の情報が共有されるのかを、具体例を用いて説明する。
【００７４】
＜書き込みの前後で盤面の位置ずれが生じなかった場合の具体例＞
図９は、本具体例における情報入力ボード１１４／１２４の盤面の記載状態を示す図である。まず初期の状態として、自拠点の共有領域３０１には図９の（ａ）のように図形９０１が、他拠点の共有領域３１１には図９の（ｂ）のように図形９０２がそれぞれマーカペンで記載されているものとする。そして、図９の（ａ）で示す状態の盤面を撮像した画像が他拠点に送られて投影され、同様に図９の（ｂ）で示す状態の盤面を撮像した画像が他拠点から送られて投影されることで、どちらの拠点でも同じ盤面の状態になる。すなわち、自拠点における盤面は図９の（ｃ）のような状態になり、他拠点における盤面は図９の（ｄ）のような状態となって情報が共有される。本具体例では、上記の状態から、自拠点にて、図９の（ｅ）に示すように図形９０３が書き加えられたという想定の下で説明を行う。
【００７５】
図１０は、本具体例に係る、自拠点において送信画像が順次生成され、当該送信画像が他拠点において投影される過程を時系列に示す図である。
【００７６】
はじめに、自拠点における盤面の状態の推移について説明する。
【００７７】
時刻ｔ１では、書込み等を行うユーザが共有領域３０１の前に存在せず、盤面の状態は前述の図９の（ｃ）で示した状態と同じである。前述の図形９０３を記入するユーザがおらず、盤面に衝撃が与えられることもないので、この時点で盤面は揺れない。
【００７８】
時刻ｔ２は、ユーザ１００１が共有領域３０１の前に存在しマーカペンによる書込みが開始された時点であり、時刻ｔ３〜ｔ５は、ユーザ１００１が右に移動しながら図形９０３を書き込んでいる途中の時点である。そのため、時刻ｔ２〜ｔ５では、書込みによって盤面に衝撃が加わり、盤面は揺れている状態である。
【００７９】
時刻ｔ６では、ユーザ１００１は図形９０３を書き終えて盤面の右側に移動している。この時刻ｔ６の時点では、盤面に衝撃が加えられていない為、盤面は揺れない。
【００８０】
なお、時刻ｔ１よりも前の時点では共有領域３０１に対する書込みが一定時間なく、人物も存在しなかったものとする。また、書込みの前後で書込みの衝撃による盤面の位置ずれ（情報入力ボード自体の位置移動）の発生はなかったものとする。また、時刻ｔ１〜ｔ６の間隔は、前述の図５に示したフローを実行する所定の間隔と等しいものとする。
【００８１】
次に、上述のような盤面の状態の推移に伴って、当該盤面の撮像画像から、どのように自拠点において送信領域が設定されるのかを図１０に沿って説明する。
【００８２】
まず、時刻ｔ１で、カメラ１１３によって盤面（共有領域３０１）が撮像され、撮像画像３０２が取得される（ステップ５０１）。次に、取得した撮像画像に対し人物領域の抽出処理がなされ（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。時刻ｔ１では、撮像画像３０２内に人物は写っていない為、人物領域ＩＤリストの中身は「空」である。続いて、送信領域ＩＤリストが作成される（ステップ５０４）。ここで、時刻ｔ１の１フレーム前においては盤面の前に人物がいないことから、１フレーム前の人物領域ＩＤリストも「空」である。前述のとおり送信領域ＩＤリストは、１フレーム前の人物領域ＩＤリストの内容から現在の人物領域ＩＤリストの内容を除いたものである為、時刻ｔ１における送信領域ＩＤリストの中身は「空」から「空」をのぞいたもの、すなわち「空」になる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ１では書込みは行われていない為、盤面は揺れない。したがって、揺れは検出されず、「揺れ無し」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０８に進み（ステップ５０６でＮｏ）、時刻ｔ１の１フレーム前においても「揺れ無し」である為、処理はステップ５１４に進む（ステップ５０８でＮｏ）。そして、時刻ｔ１における撮像画像３０２が、前回静止時画像として外部メモリ２１０に保存される（ステップ５１４）。その後、送信領域ＩＤリストが参照され、時刻ｔ１の時点の送信領域ＩＤリストの中身は「空」である為、送信画像が他拠点に送られることなく処理はステップ５２０に進む（ステップ５１５でＹｅｓ）。そのため、時刻ｔ１における自拠点送信画像欄はブランクである。そして、次フレームで利用する情報として、時刻ｔ１における各種の情報、すなわち、人物が写っていない撮像画像３０２、盤面の揺れ情報（揺れ無し）、人物領域ＩＤリスト（空）が保存される。
【００８３】
次に、時刻ｔ２で、カメラ１１３によって盤面（共有領域３０１）が撮像され、時刻ｔ２における撮像画像３０２が取得される（ステップ５０１）。そして、取得した撮像画像に対し人物領域の抽出処理がなされ（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。時刻ｔ２では、撮像画像３０２にユーザ１００１が写っており、人物領域ＩＤリストには、斜線領域１００２に対応する複数の小領域のＩＤ（図６における、ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３）が含まれる。続いて、送信領域ＩＤリストが作成されるが（ステップ５０４）、時刻ｔ１の処理で保存された１フレーム前の人物領域ＩＤリストの中身は「空」である。したがって、送信領域ＩＤリストの中身は、「空」から「ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３」を除いたもの、すなわち「空」になる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ２では書込みが行われており、盤面は揺れている。したがって、揺れが検出され、「揺れ有り」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０７に進み（ステップ５０６でＹｅｓ）、送信領域ＩＤリストの内容が累積領域ＩＤリストに追加される。時刻ｔ２の時点では累積領域ＩＤリストの中身は「空」であり、送信領域ＩＤリストの中身も「空」であるから、累積領域ＩＤリストの内容は「空」のままである。その後、送信領域ＩＤリストが参照され、時刻ｔ２の時点では送信領域ＩＤリストの中身は「空」である為、送信画像が他拠点に送られることなく、処理はステップ５２０に進む（ステップ５１５でＹｅｓ）。そのため、時刻ｔ２における送信画像欄はブランクのままである。そして、次フレームで利用する情報として、時刻ｔ２における各種の情報、すなわち、人物が写った撮像画像３０２、盤面の揺れ情報（揺れ有り）、人物領域ＩＤリスト（ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３）が保存される。
【００８４】
次に、時刻ｔ３で、カメラ１１３によって盤面（共有領域３０１）が撮像され、時刻ｔ３における撮像画像３０２が取得される（ステップ５０１）。そして、取得した撮像画像に対し人物領域の抽出処理がなされ（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。その結果、時刻ｔ３における人物領域ＩＤリストには、斜線領域１００３に対応する複数の小領域のＩＤ（図６における、ｃ１、ｄ１、ｇ１、ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４、ｃ５、ｄ５、ｇ５、ｈ５）が含まれる。続いて、送信領域ＩＤリストが作成されるが（ステップ５０４）、時刻ｔ２の処理で保存された１フレーム前の人物領域ＩＤリストの中身は「ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３）である。したがって、送信領域ＩＤリストの中身は、「ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３」から「ｃ１、ｄ１、ｇ１、ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４、ｃ５、ｄ５、ｇ５、ｈ５」を除いたものとなる。すなわち、時刻ｔ３における送信領域ＩＤリストには、太線で囲まれた２つの領域１００４及び１００５に対応する小領域のＩＤ（図６における、ｂ１、ｅ１、ｆ１）が含まれる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ３では引き続き書込みが行われており、盤面は揺れている。したがって、揺れが検出され、「揺れ有り」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０７に進み（ステップ５０６でＹｅｓ）、送信領域ＩＤリストの内容が累積領域ＩＤリストに追加される。時刻ｔ３の時点では累積領域ＩＤリストは「空」であるが、送信領域ＩＤリストの中身は「ｂ１、ｅ１、ｆ１」であるため、累積領域ＩＤリストの内容は「ｂ１、ｅ１、ｆ１」になる。その後、送信領域ＩＤリストが参照され、時刻ｔ３の時点では送信領域ＩＤリストの中身は「空」ではない為、他拠点への送信画像が生成される（ステップ５１５でＮｏ、ステップ５１６〜５１８）。ここで生成される送信画像は、撮像画像３０２から送信領域ＩＤリストで特定される領域以外を白く塗り潰し、且つ投影書込みである図形９０２を除いたものになる。すなわち、時刻ｔ３における自拠点送信画像欄に示される画像１００６のようになる。その結果、生成された画像１００６が、送信画像として他拠点に送信される（ステップ５１９）。そして、次フレームで利用する情報として、時刻ｔ３における、人物が写った撮像画像３０２、盤面の揺れ情報（揺れ有り）、人物領域ＩＤリスト（ｃ１、ｄ１、ｇ１、ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４、ｃ５、ｄ５、ｇ５、ｈ５）が保存される。一方、他拠点では、自拠点から送信された画像１００６を受信して（ステップ８０１）、投影処理がなされる。具体的には、まず、この時点で表示されていた投影画像１００７（時刻ｔ２の他拠点投影画像欄を参照）を取得し（ステップ８０２）、次に、取得した投影画像１００７と受信した画像１００６とを合成する（ステップ８０３）。この合成処理によって得られた合成画像は保存された上で（ステップ８０４）、プロジェクタ１２２によって情報入力ボード１２４の共有領域３１１に投影される（ステップ８０５）。時刻ｔ３の他拠点投影画像欄に示された画像１００８が、この時点で表示される投影画像であり、この投影画像１００８が共有領域３１１に投影された盤面の状態が、時刻ｔ３の他拠点盤面状態欄に示されている。
【００８５】
次に、時刻ｔ４で、カメラ１１３によって盤面（共有領域３０１）が撮像され、時刻ｔ４における撮像画像３０２が取得される（ステップ５０１）。そして、取得した撮像画像に対し人物領域の抽出処理がなされ（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。その結果、時刻ｔ４における人物領域ＩＤリストには、斜線領域１００９に対応する複数の小領域のＩＤ（図６における、ｂ３〜ｈ３、ｂ４〜ｈ４、ｂ５〜ｈ５、ｂ６〜ｈ６）が含まれる。続いて、送信領域ＩＤリストが作成されるが（ステップ５０４）、時刻ｔ３の処理で保存された１フレーム前の人物領域ＩＤリストの中身は「ｃ１、ｄ１、ｇ１、ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４、ｃ５、ｄ５、ｇ５、ｈ５」である。したがって、送信領域ＩＤリストの中身は、「ｃ１、ｄ１、ｇ１、ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４、ｃ５、ｄ５、ｇ５、ｈ５」から「ｂ３〜ｈ３、ｂ４〜ｈ４、ｂ５〜ｈ５、ｂ６〜ｈ６）を除いたものとなる。すなわち、時刻ｔ４における送信領域ＩＤリストには、太線で囲まれた領域１０１０に対応する小領域のＩＤ（図６における、ｃ１、ｄ１、ｇ１、ｈ１、ｂ２〜ｈ２）が含まれる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ４では引き続き書込みが行われており、盤面は揺れている。したがって、揺れが検出され、「揺れ有り」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０７に進み（ステップ５０６でＹｅｓ）、送信領域ＩＤリストの内容が累積領域ＩＤリストに追加される。時刻ｔ４の時点で累積領域ＩＤリストには「ｂ１、ｅ１、ｆ１」が含まれる為、累積領域ＩＤリストの内容は「ｂ１〜ｈ１、ｂ２〜ｈ２」になる。その後、送信領域ＩＤリストが参照され、時刻ｔ４の時点では送信領域ＩＤリストの中身は「空」ではない為、他拠点への送信画像が生成される（ステップ５１５でＮｏ、ステップ５１６〜５１８）。ここで生成される送信画像は、撮像画像３０２から送信領域ＩＤリストで特定される領域以外を白く塗り潰し、且つ投影書込みである図形９０２を除いたものになる。すなわち、時刻ｔ４の自拠点送信画像欄に示される画像１０１１のようになる。その結果、生成された画像１０１１が、送信画像として他拠点に送信される。そして、次フレームで利用する情報として、時刻ｔ４における、人物が写った撮像画像３０２、盤面の揺れ情報（揺れ有り）、人物領域ＩＤリスト（ｂ３〜ｈ３、ｂ４〜ｈ４、ｂ５〜ｈ５、ｂ６〜ｈ６）が保存される。一方、他拠点では、自拠点から送られた画像１０１１を受信して（ステップ８０１）、投影処理がなされる。具体的には、まず、この時点で表示されていた投影画像１００８（時刻ｔ３の他拠点投影画像欄を参照）を取得し（ステップ８０２）、次に、取得した投影画像１００８と受信した画像１０１１とを合成する（ステップ８０３）。この合成処理によって得られた合成画像は保存された上で（ステップ８０４）、プロジェクタ１２２によって情報入力ボード１２４の共有領域３１１に投影される（ステップ８０５）。時刻ｔ４の他拠点投影画像欄に示された画像１０１２が、この時点で表示される投影画像であり、この投影画像１０１２が共有領域３１１に投影された状態が、時刻ｔ４の他拠点盤面状態欄に示されている。
【００８６】
次に、時刻ｔ５で、カメラ１１３によって盤面（共有領域）が撮像され、時刻ｔ５における撮像画像３０２が取得される（ステップ５０１）。そして、取得した撮像画像に対し人物領域の抽出処理がなされ（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。その結果、時刻ｔ５における人物領域ＩＤリストには、斜線領域１０１３に対応する複数の小領域のＩＤ（図６における、ｂ５〜ｈ５、ｂ６〜ｈ６、ｂ７〜ｈ７、ｂ８〜ｈ８）が含まれる。続いて、送信領域ＩＤリストが作成されるが（ステップ５０４）、時刻ｔ４の処理で保存された１フレーム前の人物領域ＩＤリストの中身は「ｂ３〜ｈ３、ｂ４〜ｈ４、ｂ５〜ｈ５、ｂ６〜ｈ６）である。したがって、送信領域ＩＤリストの中身は、「ｂ３〜ｈ３、ｂ４〜ｈ４、ｂ５〜ｈ５、ｂ６〜ｈ６）から「ｂ５〜ｈ５、ｂ６〜ｈ６、ｂ７〜ｈ７、ｂ８〜ｈ８」を除いたものとなる。すなわち、時刻ｔ５における送信領域ＩＤリストには、太線で囲まれた領域１０１４に対応する小領域のＩＤ（図６における、ｂ３〜ｈ３、ｂ４〜ｈ４）が含まれる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ５では引き続き書込みが行われており、盤面は揺れている。したがって、揺れが検出され、「揺れ有り」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０７に進み（ステップ５０６でＹｅｓ）、送信領域ＩＤリストの内容が累積領域ＩＤリストに追加される。時刻ｔ５の時点で累積領域ＩＤリストには「ｂ１〜ｈ１、ｂ２〜ｈ２」が含まれる為、累積領域ＩＤリストの内容は「ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４」になる。その後、送信領域ＩＤリストが参照され、時刻ｔ５の時点では送信領域ＩＤリストの中身は「空」ではない為、他拠点への送信画像が生成される（ステップ５１５でＮｏ、ステップ５１６〜５１８）。ここで生成される送信画像は、撮像画像３０２から送信領域ＩＤリストで特定される領域以外を白く塗り潰し、且つ投影書込みである図形９０２を除いたものになる。すなわち、時刻ｔ５の自拠点送信画像欄に示される画像１０１５のようになる。その結果、生成された画像１０１５が送信画像として他拠点に送信される。そして、次フレームで利用する情報として、時刻ｔ５における、人物が写った撮像画像３０２、盤面の揺れ情報（揺れ有り）、人物領域ＩＤリスト（ｂ５〜ｈ５、ｂ６〜ｈ６、ｂ７〜ｈ７、ｂ８〜ｈ８）が保存される。一方、他拠点では、自拠点から送られた画像１０１５を受信して（ステップ８０１）、投影処理がなされる。具体的には、まず、この時点で表示されていた投影画像１０１２（時刻ｔ４の他拠点投影画像欄を参照）を取得し（ステップ８０２）、次に、取得した投影画像１０１２と受信した画像１０１５とを合成する（ステップ８０３）。この合成処理によって得られた合成画像は保存された上で（ステップ８０４）、プロジェクタ１２２によって情報入力ボード１２４の共有領域３１１に投影される（ステップ８０５）。時刻ｔ５の他拠点投影画像欄に示された画像１０１６が、この時点で表示される投影画像であり、この投影画像１０１６が共有領域３１１に投影された状態が、時刻ｔ５の他拠点盤面状態欄に示されている。
【００８７】
次に、時刻ｔ６で、カメラ１１３によって盤面（共有領域）が撮像され、時刻ｔ６における撮像画像３０２が取得される（ステップ５０１）。そして、取得した撮像画像に対し人物領域の抽出処理がなされ（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。その結果、時刻ｔ６における人物領域ＩＤリストには、斜線領域１０１７に対応する複数の小領域のＩＤ（図６における、ｂ７〜ｈ７、ｂ８〜ｈ８）が含まれる。続いて、送信領域ＩＤリストが作成されるが（ステップ５０４）、時刻ｔ５の処理で保存された１フレーム前の人物領域ＩＤリストの中身は「ｂ５〜ｈ５、ｂ６〜ｈ６、ｂ７〜ｈ７、ｂ８〜ｈ８」である。したがって、送信領域ＩＤリストの中身は、「ｂ５〜ｈ５、ｂ６〜ｈ６、ｂ７〜ｈ７、ｂ８〜ｈ８」から「ｂ７〜ｈ７、ｂ８〜ｈ８」を除いたものとなる。すなわち、時刻ｔ６における送信領域ＩＤリストには、太線で囲まれた領域１０１８に対応する小領域のＩＤ（図６における、ｂ５〜ｈ５、ｂ６〜ｈ６）が含まれる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ６では書込みが行われておらず、盤面は揺れていない。したがって、揺れは検出されず、「揺れ無し」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０８に進み。１フレーム前の盤面の揺れ情報が参照される。時刻ｔ５の処理で保存された１フレーム前の盤面の揺れ情報の内容は「揺れ有り」である為、処理はステップ５０９進む（ステップ５０８でＹｅｓ）。そして、時刻ｔ１の処理で保存された前回静止時画像と、時刻ｔ６のステップ５０１で取得した撮像画像３０２から、盤面の位置ずれの有無が判定される（ステップ５０９）。前述のとおり書込みの前後で情報入力ボード自体の位置移動は無いとの前提である為、位置ずれ無しと判定され（ステップ５１０でＮｏ）、ステップ５１２に進む。そして、送信領域ＩＤリストに、時刻ｔ５までの処理で生成された累積領域ＩＤリストの内容が加えられる（ステップ５１２）。時刻ｔ５までの時点で累積領域ＩＤリストには「ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４」の小領域ＩＤが含まれている。また、現時点で送信領域ＩＤリストには「ｂ５〜ｈ５、ｂ６〜ｈ６」の小領域ＩＤが含まれている。したがって、累積ＩＤリストの内容を加えた後の送信領域ＩＤリストには、「ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４、ｂ５〜ｈ５、ｂ６〜ｈ６」の小領域ＩＤが含まれることになる。すなわち、上述の領域１０１８に領域１０１９を加えた領域１０２０が、時刻ｔ６での送信領域となる。その後、累積領域ＩＤリストはリセットされる（ステップ５１３）。そして、ステップ５０１で得た撮像画像３０２が、前回静止時画像として保存される（ステップ５１４）。
【００８８】
その後、送信領域ＩＤリストが参照され、時刻ｔ６の時点では送信領域ＩＤリストの中身は「空」ではない為、他拠点への送信画像が生成される（ステップ５１５でＮｏ、ステップ５１６〜５１８）。ここで生成される送信画像は、撮像画像３０２から送信領域ＩＤリストで特定される領域以外を白く塗り潰し、且つ投影書込みである図形９０２を除いたものになる。すなわち、時刻ｔ６の自拠点送信画像欄に示される画像１０２１のようになる。その結果、生成された画像１０２１が、送信画像として他拠点に送信される。そして、次フレームで利用する情報として、時刻ｔ６における、人物が写った撮像画像３０２、盤面の揺れ情報（揺れ無し）、人物領域ＩＤリスト（ｂ７〜ｈ７、ｂ８〜ｈ８）が保存される。一方、他拠点では、自拠点から送られた画像１０２１を受信して（ステップ８０１）、投影処理がなされる。具体的には、まず、この時点で表示されている投影画像１０１６（ｔ５の他拠点投影画像欄を参照）を取得し（ステップ８０２）、次に、取得した投影画像１０１６と受信した画像１０２１とを合成する（ステップ８０３）。この合成処理によって得られた合成画像は保存された上で（ステップ８０４）、プロジェクタ１２２によって情報入力ボード１２４の共有領域３１１に投影される（ステップ８０５）。時刻ｔ６の他拠点投影画像欄に示された画像１０２２が、新たに表示される投影画像であり、この投影画像１０２２が共有領域３１１に投影された状態が、時刻ｔ６の他拠点盤面状態欄に示されている。
【００８９】
＜書き込みの前後で盤面の位置ずれが生じた場合の具体例＞
図１１は、本具体例における情報入力ボード１１４／１２４の盤面の記載状態を示す図である。まず初期の状態として、自拠点の共有領域３０１には図１１の（ａ）のように図形１１０１が、他拠点の共有領域３１１には図１１の（ｂ）のように図形１１０２がそれぞれマーカペンで記載されているものとする。そして、図１１の（ａ）で示す状態の盤面を撮像した画像が他拠点に送られて投影され、同様に図１１の（ｂ）で示す状態の盤面を撮像した画像が他拠点から送られて投影されることで、どちらの拠点でも同じ盤面の状態になる。すなわち、自拠点における盤面は図９の（ｃ）のような状態になり、他拠点における盤面は図９の（ｄ）のような状態となって情報が共有される。本具体例では、上記の状態から、自拠点にて、図１１の（ｅ）に示すように図形１１０３が書き加えられたという想定の下で説明を行う。
【００９０】
図１２は、本具体例に係る、自拠点において送信画像が順次生成され、当該送信画像が他拠点において投影される過程を時系列に示す図である。
【００９１】
はじめに、自拠点における盤面の状態の推移について説明する。
【００９２】
時刻ｔ１では、書込み等を行うユーザが共有領域３０１の前に存在せず、盤面の状態は前述の図１１の（ｃ）で示した状態と同じである。前述の図形１１０３を記入するユーザがおらず、盤面に衝撃が与えられることもないので、この時点で盤面は揺れない。
【００９３】
時刻ｔ２は、ユーザ１００１が共有領域３０１の前に存在しマーカペンによる書込みが開始された時点であり、時刻ｔ３〜ｔ５は、ユーザ１００１が右に移動しながら図形９０３を書き込んでいる途中の時点である。そのため、時刻ｔ２〜ｔ５では、書込みによって盤面に衝撃が加わり、盤面は揺れている状態である。また、時刻ｔ５において、盤面に加わった衝撃により情報入力ボードの位置が右方向へ移動し、位置ずれが生じたものとする。
【００９４】
時刻ｔ６では、ユーザ１００１は図形９０３を書き終えて盤面の右側に移動している。この時刻ｔ６の時点では、盤面に衝撃が加えられていない為、盤面は揺れていないが、盤面の位置ずれはそのままである。
【００９５】
なお、時刻ｔ１よりも前の時点では共有領域３０１に対する書込みが一定時間なく、人物も存在しなかったものとする。また、時刻ｔ１〜ｔ６の間隔は、前述の図５に示したフローを実行する所定の間隔と等しいものとする。
【００９６】
次に、上述のような盤面の状態の推移に伴って、当該盤面の撮像画像から、どのように自拠点において送信領域が設定されるのかを図１２に沿って説明する。既に説明した書き込みの前後で盤面の位置ずれが生じなかった場合の具体例と共通する内容については省略ないしは簡略化して説明を行い、以下では差異点を中心に説明するものとする。
【００９７】
まず、時刻ｔ１〜ｔ４については、共有領域に書き込まれている内容が異なるのみで、先の具体例と同じである。図１２における参照符号１２０２〜１２１２は、図１０における参照符号１００２〜１０１２にそれぞれ対応している。
【００９８】
時刻ｔ５で、カメラ１１３によって盤面（共有領域）が撮像され（ステップ５０１）、取得した撮像画像に対し人物領域の抽出処理がなされて（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。その結果、時刻ｔ５における人物領域ＩＤリストには、斜線領域１２１３に対応する複数の小領域のＩＤ（図６における、ｂ５〜ｈ５、ｂ６〜ｈ６、ｂ７〜ｈ７、ｂ８〜ｈ８）が含まれる。続いて、送信領域ＩＤリストが作成され（ステップ５０４）、その中身には、太線で囲まれた領域１２１４に対応する小領域のＩＤ（図６における、ｂ３〜ｈ３、ｂ４〜ｈ４）が含まれる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ５では引き続き書込みが行われており盤面は揺れているので、「揺れ有り」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０７に進み、送信領域ＩＤリストの内容が累積領域ＩＤリストに追加され、累積領域ＩＤリストの内容は「ｂ１〜ｈ１、ｂ２〜ｈ２、ｂ３〜ｈ３、ｂ４〜ｈ４」になる。その後、送信領域ＩＤリストが参照され、他拠点への送信画像が生成される（ステップ５１５でＮｏ、ステップ５１６〜５１８）。ここで生成される送信画像は、撮像画像３０２から送信領域ＩＤリストで特定される領域以外を白く塗り潰し、且つ投影書込みである図形１１０２を除いたものになる。すなわち、時刻ｔ５の自拠点送信画像欄に示される画像１２１５のようになる。その結果、生成された画像１２１５が送信画像として他拠点に送信される。そして、次フレームで利用する情報として、時刻ｔ５における、人物が写った撮像画像３０２、盤面の揺れ情報（揺れ有り）、人物領域ＩＤリスト（ｂ５〜ｈ５、ｂ６〜ｈ６、ｂ７〜ｈ７、ｂ８〜ｈ８）が保存される。一方、他拠点では、自拠点から送られた画像１２１５を受信して（ステップ８０１）、投影処理がなされる。具体的には、まず、この時点で表示されていた投影画像１２１２（時刻ｔ４の他拠点投影画像欄を参照）を取得し（ステップ８０２）、次に、取得した投影画像１２１２と受信した画像１２１５とを合成する（ステップ８０３）。この合成処理によって得られた合成画像は保存された上で（ステップ８０４）、プロジェクタ１２２によって情報入力ボード１２４の共有領域３１１に投影される（ステップ８０５）。時刻ｔ５の他拠点投影画像欄に示された画像１２１６が、この時点で表示される投影画像であり、盤面の位置ずれによって横方向にもずれが生じ、図形１１０１の一部が横方向にも二重になってしまっているのが分かる。この投影画像１２１６が共有領域３１１に投影された状態が、時刻ｔ５の他拠点盤面状態欄に示されている。
【００９９】
次に、時刻ｔ６で、カメラ１１３によって盤面（共有領域）が撮像され（ステップ５０１）、取得した撮像画像に対し人物領域の抽出処理がなされて（ステップ５０２）、人物領域ＩＤリストが作成される（ステップ５０３）。その結果、時刻ｔ６における人物領域ＩＤリストには、斜線領域１２１７に対応する複数の小領域のＩＤ（図６における、ｂ７〜ｈ７、ｂ８〜ｈ８）が含まれる。続いて、送信領域ＩＤリストが作成され（ステップ５０４）、その中身には、太線で囲まれた領域１２１８に対応する小領域のＩＤ（図６における、ｂ５〜ｈ５、ｂ６〜ｈ６）が含まれる。そして、盤面の揺れ状態が判定されるが（ステップ５０５）、時刻ｔ６では書込みが行われておらず、盤面は揺れていない。したがって、揺れは検出されず、「揺れ無し」の内容が盤面の揺れ情報として保存される。その結果、処理はステップ５０８に進み、１フレーム前の盤面の揺れ情報が参照される。時刻ｔ５の処理で保存された１フレーム前の盤面の揺れ情報の内容は「揺れ有り」である為、処理はステップ５０９進む。そして、時刻ｔ１の処理で保存された前回静止時画像と、時刻ｔ６のステップ５０１で取得した撮像画像３０２から、盤面の位置ずれの有無が判定される。書込みの前後で情報入力ボード自体の位置移動が生じている為、位置ずれ有りと判定され（ステップ５１０でＹｅｓ）、ステップ５１１に進む。そして、送信領域ＩＤリストを、人物領域を除くすべての領域に変更する。すなわち、破線で示す領域１２１９（図６における、ａ１〜ｈ１、ａ２〜ｈ２、ａ３〜ｈ３、ａ４〜ｈ４、ａ５〜ｈ５、ａ６〜ｈ６、ａ７、ａ８）が送信領域となる。その後、累積領域ＩＤリストはリセットされる（ステップ５１３）。そして、ステップ５０１で得た撮像画像３０２が、前回静止時画像として保存される（ステップ５１４）。その後、送信領域ＩＤリストが参照され、他拠点への送信画像が生成される（ステップ５１５でＮｏ、ステップ５１６〜５１８）。ここで生成される送信画像は、撮影画像３０２から送信領域ＩＤリストで特定される領域以外を白く塗り潰し、且つ投影書込みである図形１１０２を除いたものになる。すなわち、時刻ｔ６の自拠点送信画像欄に示される画像１２２０のようになる。その結果、生成された画像１２２０が送信画像として他拠点に送信される（ステップ５１９）。そして、次フレームで利用する情報として、時刻ｔ６における、人物が写った撮像画像３０２、盤面の揺れ情報（揺れ無し）、人物領域ＩＤリスト（ｂ７〜ｈ７、ｂ８〜ｈ８）が保存される。一方、他拠点では、自拠点から送られた画像１２２０を受信して（ステップ８０１）、投影処理がなされる。具体的には、まず、この時点で表示されている投影画像１２１６（ｔ５の他拠点投影画像欄を参照）を取得し（ステップ８０２）、次に、取得した投影画像１２１６と受信した画像１２２０とを合成する（ステップ８０３）。この合成処理によって得られた合成画像は保存された上で（ステップ８０４）、プロジェクタ１２２によって情報入力ボード１２４の共有領域３１１に投影される（ステップ８０５）。時刻ｔ６の他拠点投影画像欄に示された画像１２２１が、新たに表示される投影画像であり、ｔ５の時点では縦横に存在した図形のずれがすべて解消しているのが分かる。この投影画像１０２２が共有領域３１１に投影された状態が、時刻ｔ６の他拠点盤面状態欄に示されている。
【０１００】
以上のような処理によって、他の拠点における情報入力ボートの盤面に記載等された内容が自己の拠点にある情報入力ボード上で速やかに共有でき、かつ、情報入力ボードの揺れ等に起因する投影書込みのずれを最小限に抑えることが可能になる。
【０１０１】
なお、本実施例では累積領域を盤面の揺れが無いと判断されるまで送信せず、揺れが無くなった時に送信領域に加えて纏めて送信するとしたが、揺れの有無に関わらず累積領域を送信領域に加え、フレームを撮像する毎に前のフレームまでの累積領域を送信しても良い。また、揺れの有無に関わらず、送信領域を人物領域以外の全ての領域とし、フレームを撮像する毎に人物領域を除く全ての領域を送信しても良い。
【０１０２】
また、本実施例では、送信領域ＩＤリストに含まれる小領域以外の小領域を白く塗り潰した画像を作成して送信し（ステップ５１６、５１７、５２０）、受信側で白の画素を置換している（ステップ８０３）。しかし、当該白く塗り潰される小領域をＩＤと紐付けて送信し、受信側で当該ＩＤの小領域を置換するようにしても良い。
【０１０３】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015115856.tif 000003
【図２】
2015115856.tif 000004
【図３】
2015115856.tif 000005
【図４】
2015115856.tif 000006
【図５】
2015115856.tif 000007
【図６】
2015115856.tif 000008
【図７】
2015115856.tif 000009
【図８】
2015115856.tif 000010
【図９】
2015115856.tif 000011
【図１０】
2015115856.tif 000012
【図１１】
2015115856.tif 000013
【図１２】
2015115856.tif 000014