(57)【要約】【課題】撮影画像と投影画像の適切な差分情報を作成し、途切れが生じない書込み画像を装置間で共有させることを可能とする情報処理装置を提供すること。【解決手段】情報処理装置５は、他の情報処理装置５から受信した画像情報に基づいて投影面に投影する投影画像を作成し、投影面を撮影面として撮影された撮影画像を取得して、投影画像と前記撮影画像から第１の差分画像を生成し、かつ、投影画像を補正して、当該補正後の投影画像が投影面に投影され撮影された撮影画像と補正後の投影画像から第２の差分画像を生成し、第１および第２の差分画像を合成して合成画像を生成し、合成画像を他の情報処理装置に送信する。【選択図】図３
2015109520.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像情報をネットワークを介して複数の情報処理装置で共有する情報処理装置であって、
他の情報処理装置から受信した画像情報に基づいて投影面に投影する投影画像を作成する作成手段と、
前記投影面を撮影面として撮影された撮影画像を取得する取得手段と、
前記投影画像と前記撮影画像から第１の差分画像を生成し、前記投影画像を補正して、当該補正後の投影画像が投影面に投影され撮影された撮影画像と前記補正後の投影画像から第２の差分画像を生成する生成手段と、
前記第１および第２の差分画像を合成して合成画像を生成する合成手段と、
前記合成画像を前記他の情報処理装置に送信する送信手段と、を備える
ことを特徴とする情報処理装置。
【請求項２】
前記生成手段は、前記投影画像の輪郭を抽出することにより前記投影画像の補正を行い、前記補正後の投影画像は補正前の前記投影画像と重ならない
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記生成手段は、前記投影画像の前記投影面における位置を変化させることにより前記投影画像の補正を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記生成手段は、前記投影画像の輝度を変化させることにより前記投影画像の補正を行い、前記補正後の投影画像は補正前の前記投影画像と重ならない
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記撮影面において、前記投影画像と前記撮影画像が重畳する場合に、重畳する領域の領域情報を取得する取得手段をさらに備え、
前記生成手段は、前記領域情報が取得された場合に前記投影画像を補正する
ことを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
【請求項６】
撮影された画像情報をネットワークを介して複数の情報処理装置で共有する情報処理装置の制御方法であって、
他の情報処理装置から受信した画像情報に基づいて投影面に投影する投影画像を作成する作成工程と、
前記投影面を撮影面として撮影された撮影画像を取得する取得工程と、
前記投影画像と前記撮影画像から第１の差分画像を生成し、前記投影画像を補正して、当該補正後の投影画像が投影面に投影され撮影された撮影画像と前記補正後の投影画像から第２の差分画像を生成する生成工程と、
前記第１および第２の差分画像を合成して合成画像を生成する合成工程と、
前記合成画像を前記他の情報処理装置に送信する送信工程と、を含む
ことを特徴とする制御方法。
【請求項７】
請求項６に記載の制御方法をコンピュータにより実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置間で画像を共有する情報処理装置、情報処理装置の制御方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
遠隔にある拠点間で会議などを行う際に、各拠点に設けられたホワイトボードや黒板等の撮影対象に描かれた文字や絵などの画像をカメラ等の撮影装置で撮影し、撮影画像を共有するシステムが提案されている。撮影画像は装置間で送受信されることにより共有され、各拠点に設けられたプロジェクタ等の投影装置が撮影対象に投影する。これにより、複数の撮影対象に描かれた画像をリアルタイムで各撮影対象に共有させることができる。すなわち、このシステムは投影装置と撮影装置とを用いて、複数の撮影対象に描かれた画像を合成し、各撮影対象に同一内容の画像を投影させて画像を共有する。ここで、特許文献１は、投影画像と撮影画像における差分画像を他の拠点にある装置に送信することで投影装置による投影を中断することなく同一内容の画像を共有させるシステムを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５１７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の技術は、投影画像と書込みが重なった部分を区別できない。そのため、投影画像を投影したホワイトボードに書き込まれた書込み画像を撮影した撮影画像と、元の投影画像から差分を抽出した書込み画像には途切れが発生するという課題がある。途切れが発生すると遠隔拠点毎の書込み画像の可読性が低減する。本発明は、撮影画像と投影画像の適切な差分情報を作成し、途切れが生じない書込み画像を装置間で共有させることを可能とする情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実実施形態の情報処理装置は、撮影された画像情報をネットワークを介して複数の情報処理装置で共有する。前記情報処理装置は、他の情報処理装置から受信した画像情報に基づいて投影面に投影する投影画像を作成する作成手段と、前記投影面を撮影面として撮影された撮影画像を取得する取得手段と、前記投影画像と前記撮影画像から第１の差分画像を生成し、前記投影画像を補正して、当該補正後の投影画像が投影面に投影され撮影された撮影画像と前記補正後の投影画像から第２の差分画像を生成する生成手段と、前記第１および第２の差分画像を合成して合成画像を生成する合成手段と、前記合成画像を前記他の情報処理装置に送信する送信手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、撮影画像と投影画像の適切な差分情報を作成し、途切れが生じない書込み画像を装置間で共有させることを可能とする情報処理装置を提供することが可能となる。拠点毎の書込みに画像に途切れが無いため、書込み画像の可読性が高まるという効果が得られる。
【図面の簡単な説明】
【０００７】
【図１】本発明の画像共有システムの全体構成例を示す図である。
【図２】情報処理装置のハードウエア構成例を示す図である。
【図３】情報処理装置の機能ブロック構成例を示す図である。
【図４】情報処理装置が決定する共有領域の概念図である。
【図５】時系列に変化させる結像画像により得られる撮影画像、差分画像、書込み画像を示す図である。
【図６】画像投影処理の動作を説明するフローチャートである。
【図７】書込み画像送信処理の動作を説明するフローチャートである。
【図８】画像共有システムの基本動作例を示す図である。
【図９】重ね書きがされた際の画像共有システムの動作例を示す図である。
【図１０】差分画像生成処理の動作を説明するフローチャートである。
【図１１】平均差分算出処理の動作を説明するフローチャートである。
【図１２】差分算出処理の動作を説明するフローチャートである。
【図１３】合成画像生成処理の動作を説明するフローチャートである。
【図１４】実施例２の、情報処理装置の機能ブロック構成例を示す図である。
【図１５】結像画像と書込み画像に近接領域があることを示す図である。
【図１６】結像画像と書込み画像に近接領域が無いことを示す図である。
【図１７】書込み画像送信処理の動作を説明するフローチャートである。
【図１８】重ね書きがされた際の画像共有システムの動作例を示す。
【図１９】近接領域画像生成処理の動作を説明するフローチャートである。
【図２０】実施例３における、時系列に位置を変化させる結像画像により得られる撮影画像、差分画像、書込み画像を示す図である。
【図２１】実施例３における、時系列に輝度を変化させる結像画像により得られる撮影画像、差分画像、書込み画像を示す図である。
【発明を実施するための形態】
【０００８】
（実施例１）
＜システム構成＞
図１は、本発明の一実施形態の画像共有システムの構成例を示す図である。図１に示すように、画像共有システム１は複数の情報処理装置５を備える。各情報処理装置５は、複数の会議室等の拠点（ここでは拠点Ａと拠点Ｂ）に設置され、インターネットまたは専用線など任意のネットワーク６を介して通信可能である。また、各拠点に設置された情報処理装置５には、投影装置３と撮影装置４が有線または無線を介して接続されている。投影装置３は、例えば、一般的なプロジェクタであってよく、情報処理装置５から送信された画像を投影面に投影する。撮影装置４は、例えば一般的なビデオカメラによって構成され、０．５秒間に１回、または、１秒間に１５回等の予め設定された時間間隔で、投影面を撮影面として撮影した画像を情報処理装置５に送信する。すなわち、本実施形態では、投影装置３が画像を投影する投影面と撮影装置４が撮影する撮影面とは一致する。また、撮影面は、情報処理装置間で画像を共有させる共有領域である。  
【０００９】
本実施の形態においては、投影面および撮影面としてホワイトボード２を適用した例について説明するがこれに限定されるものではなく、黒板および紙等が適用されてよい。投影装置３は、ホワイトボード２のマーカ等により描画される描画領域を投影面とする。なお、本実施の形態においては、投影装置３に代えて、液晶ディスプレイ装置等の表示装置が適用されてもよい。表示装置が適用される場合には、表示対象として、表示装置の表示面上に設けられた描画可能な透過性を有するボードが適用されればよい。
【００１０】
＜情報処理装置のハードウエア構成＞
図２は、情報処理装置のハードウエア構成例を示す図である。本発明の情報処理装置５は、ＣＰＵ１００、ＲＡＭ１１０、ＲＯＭ１２０と、ＨＤＤ１３０、入力装置１４０、表示装置１５０、デバイス通信モジュール１６０、ネットワーク通信モジュール１７０を備える。ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤはそれぞれ、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略称である。ＣＰＵ１００は、各処理部を統合的に制御する。ＲＯＭ１２０およびハードディスク装置１３０には、本発明の情報処理装置の各種機能を実現するプログラムが記憶されている。ＣＰＵ１００は、ＲＡＭ１１０を作業領域としてＲＯＭ１２０およびハードディスク装置１３０に記憶されたプログラムを実行することにより情報処理装置の各種機能を実現する。
【００１１】
入力装置１４０は、キーボードやポインティングデバイス等から構成され、ユーザ入力などを受け付ける。液晶ディスプレイ等よりなる表示装置１５０は液晶デバイス等から構成され、投影装置３が投影する画像や撮影装置４が撮影した画面などを表示する。デバイス通信モジュール１６０投影装置３や撮影装置４等の周辺機器と通信するためのモジュールである。ネットワーク通信モジュール１７０は、ネットワークを介して接続された他の情報処理装置５など外部機器との間で通信を行うためのモジュールである。なお、情報処理装置５は、上述のモジュールを備えた一般的なコンピュータ装置によって構成する。
【００１２】
＜情報処理装置の機能ブロック＞
図３は、情報処理装置の機能ブロック図である。情報処理装置５は、画像受信部２００、結像画像供給部２１０、撮影画像取得部２２０、差分画像生成部２３０、画像送信部２４０、書込み画像合成部２６０、書き込み取得制御部２７０を備える。
【００１３】
画像受信部２００は、他の情報処理装置５から送信された画像を受信する。結像画像供給部２１０は、画像受信部２００によって受信された受信画像をホワイトボード２に投影させるに適した結像画像に変換し投影装置３に供給する。撮影画像取得部２２０は、ホワイトボード２間で画像を共有させる共有領域が撮影された画像を撮影装置４から取得する。差分画像生成部２３０は、投影装置３が投影している結像画像と撮影装置４が撮影した撮影画像との共有領域における差分を表す差分画像を生成する。
【００１４】
書込み画像合成部２６０は、複数の差分画像を合成し書込み画像を生成する。書込み画像とは、マーカによって自拠点のホワイトボード２に書き込まれた文字や絵などの画像情報であって、他拠点の情報処理装置５への送信対象となる画像を指す。書込み画像は上述の画像に限定されるものではなく、ホワイトボード２にマグネットなどを用いて貼り付けられた紙媒体などであってもよい。書込み取得制御部２７０は、ホワイトボード２に投影する結像画像を時系列に変化させ、撮影画像を取得し、差分画像を生成して書込み画像を合成するなど書込みに関する制御を行う。画像送信部２４０は、生成された書込み画像を他の情報処理装置５に送信する。
【００１５】
ここで、画像受信部２００および画像送信部２４０は、ＣＰＵ１００とネットワーク通信モジュール１７０によって構成される。結像画像供給部２１０および撮影画像取得部２２０は、ＣＰＵ１００とデバイス通信モジュール１６０とによって構成される。差分画像生成部２３０、書込み画像合成部２６０、書込み取得制御部２７０は、ＣＰＵ１００によって構成される。
【００１６】
＜結像画像供給部＞
結像画像供給部２１０は、図４に示すように、共有領域３０を特定するためのマーカ画像３１，３２，３３，３４を投影装置３に供給する画像に重畳するようになっている。なお、図４において、マーカ画像３１，３２，３３，３４は、共有領域３０の４つの角にそれぞれ配置された矩形で示されているが、マーカ画像は、共有領域３０を特定できればよく、その形状、個数および位置が図４に示したものと異なっていてもよい。
【００１７】
＜撮影画像取得部＞
撮影画像取得部２２０は、本発明における共有領域画像取得部を構成する。撮影装置４から取得した画像に含まれるマーカ画像３１，３２，３３，３４の位置に基づいて、撮影装置４から取得した画像に台形補正等の画像補正を施した上で、共有領域３０を切り出すようになっている。
【００１８】
結像画像供給部２１０は、画像受信部２００に受信された受信画像の領域と、投影装置３に供給する画像の共有領域３０とが一致するように、受信画像を拡大または縮小し、投影装置３に供給するようになっている。
【００１９】
＜差分画像生成部＞
差分画像生成部２３０は、結像画像供給部２１０から投影装置３に供給する結像画像と、撮影装置４により撮影された撮影画像との共有領域３０における差分を表す差分画像を生成する。差分画像生成部２３０は、結像画像供給部２１０に保持する投影画像と、撮影装置４により撮影された撮影画像とを、ピクセル単位に比較し、差分画像を生成する。
【００２０】
具体的には、差分画像生成部２３０は、対応するピクセル間の輝度の差の絶対値または色空間上での距離尺度が予め定められた閾値より大きいピクセルよりなる差分画像を生成する。なお、差分画像生成部２３０は、結像画像供給部２１０から投影装置３に供給する投影画像と、撮影装置４により撮影された撮影画像とを、矩形（例えば、８ピクセル×８ピクセル）単位に比較することにより、差分画像を生成するようにしてもよい。この場合、差分画像生成部２３０は、対応する矩形の輝度の差の絶対値または色空間上での距離尺度に対する平均値が予め定められた閾値より大きい矩形よりなる差分画像を生成するように構成される。
【００２１】
また、差分画像生成部２３０は、結像画像供給部２１０から投影装置３に供給する投影画像と、撮影装置４により撮影された撮影画像とにそれぞれフィルタ処理を施した上で、差分画像を生成するようにしてもよい。例えば、差分画像生成部２３０は、撮影装置４により撮影された撮影画像に対して、画像の各ピクセルを周囲のピクセルで平均化した移動平均画像と元画像との差分を抽出する鮮鋭化フィルタ処理を施す。そして結像画像供給部２１０から投影装置３に供給する投影画像に対して、平滑化フィルタ処理を施した上に、鮮鋭化フィルタ処理を施し、フィルタ処理をそれぞれ施した画像から差分画像を生成するようにしてもよい。
【００２２】
ここで、差分画像生成部２３０は、例えば、モルフォロジー演算のＥＲＯＳＩＯＮの基本演算を用いて、太め処理を投影装置３に供給された画像に施すことにより平滑化フィルタ処理を実行する。これにより、差分画像生成部２３０は、撮影画像取得部２２０によって補正し切れなかった台形歪みや位置ずれ等の影響を抑制することができる。
【００２３】
＜書込み画像合成部＞
書込み画像合成部２６０は、差分画像生成部２３０によって生成された複数の差分画像を合成して書込み画像を生成するものである。具体的には差分画像に含まれる書込みに対応するピクセルを抽出して合成する。
【００２４】
＜書込み取得制御部＞
書込み取得制御部２７０は、ホワイトボード２に投影する結像画像を時系列に変化させ、撮影画像を取得し、差分画像を生成して書込み画像を合成する制御を行う。時系列に変化させる結像画像の一例を図５（Ａ）と図５（Ｅ）に示す。図５（Ａ）は第一の結像画像の一例を示し、画像受信部２００で受信した画像そのままである。一方、図５（Ｅ）は第二の結像画像の一例を示し、図５（Ａ）に示す画像の輪郭を抽出した画像である。図５（Ｅ）の画像は補正前の図５（Ａ）の画像と重ならないように画像処理を行い輪郭を抽出された画像である。具体的には図５（Ａ）の画像の黒い部分を太らせ処理を行ったうえで輪郭抽出すればよい。なお、本実施形態では、図５（Ａ）に示す結合画像が図５（Ｂ）に先立って時系列に取得されたが、画像の取得順序はこれに限定されるものではない。
【００２５】
結像画像を時系列に変化させて撮影画像取得部２２０が取得する撮影画像の一例を図５（Ｃ）と図５（Ｆ）に示す。なお結像画像が投影されるホワイトボード２には図５（Ｂ）の書込みがされているものとする。ホワイトボード２の書込み（図５（Ｂ））に図５（Ａ）と図５（Ｅ）に示す結合画像が時系列に重畳投影され、撮影装置４により撮影された場合、図５（Ｃ）と図５（Ｆ）に示す２種類の撮影画像が取得される。そして差分画像生成部２３０では撮影画像と結像画像の差分画像を生成する。差分画像の一例を図５（Ｄ）と図５（Ｇ）に示す。それぞれ結像画像と書込みが重なった部分には途切れが発生している。
【００２６】
書込み画像合成部２６０は、結像画像を時系列に変化させて取得した複数の差分画像を合成し、図５（Ｈ）に示す書込み画像を生成する。本発明では図５（Ｅ）に示す結合画像をホワイトボードに投影した場合に図５（Ａ）に示す結合画像と重ならないように画像処理を施すため、複数の差分画像を合成すると途切れのない書込み画像（Ｈ）を得ることができる。
【００２７】
＜画像送信部＞
画像送信部２４０は、書込み画像合成部２６０によって生成された書込み画像を他の情報処理装置５に送信する。ここで、書込み画像合成部２６０によって生成された書込み画像が空であった場合（すなわち、両画像間に差分がなかった場合）、または前回に送信した書込み画像と同一であった場合には、画像送信部２４０は、書込み画像の送信を行わなくともよい。この場合、画像送信部２４０は、書込み画像を他の情報処理装置５に送信するときに、ＲＡＭ１１０等の記憶媒体に当該書込み画像を記憶させ、当該書込み画像と、送信しようとしている書込み画像とを比較するように構成される。
【００２８】
以下、図６、図７、図７、図８、図９を用いて情報処理装置５が行う動作を説明する。
＜書込み画像受信動作フローチャート＞
図６は、情報処理装置５の結像画像供給部２１０が書込み取得制御部２７０から入力された画像を投影装置３に投影する動作を説明するためのフローチャートである。本処理は、結像画像供給部２１０を構成するＣＰＵ１００がＲＡＭ１１０を作業領域としてＲＯＭ１２０およびＨＤＤ１３０に記憶されたプログラムを実行することで実現される。画像は作業領域のＲＡＭ１１０に記憶するものとする。
【００２９】
結像画像供給部２１０は、他の情報処理装置から受信した画像情報に基づいて投影面に投影する投影画像を作成する。具体的には、他拠点から画像を受信した場合、結像画像供給部２１０は、投影装置３に供給する画像の共有領域と一致するように、受信画像を拡大または縮小した結像画像を生成する（Ｓ１０００）。次に、結像画像供給部２１０は結像画像にマーカ画像を重畳し（Ｓ１０１０）、投影装置３に供給する（Ｓ１０２０）。投影装置３は、供給された画像を自拠点のホワイトボード２に投影する。    
【００３０】
＜書込み画像送信動作フローチャート＞
図７は、他拠点の情報処理装置への書込み画像送信動作を説明するためのフローチャートである。なお、以下に説明する書込み画像送信動作は、一定間隔で繰り返し実行される。または情報処理装置５の入力装置１４０を介した撮影要求が発生したときにスタートするようにしても構わない。本処理は、図３に示す各処理部を構成するＣＰＵ１００がＲＡＭ１１０を作業領域としてＲＯＭ１２０およびＨＤＤ１３０に記憶されたプログラムを実行することで実現される。画像は作業領域のＲＡＭ１１０に記憶するものとする。また、本処理を行う各処理部は書込み取得制御部２７０により制御される。
【００３１】
まず、結像画像供給部２１０は、画像受信部２００が他の情報処理装置から受信した他拠点からの書込み画像つまり受信画像を、投影装置３に送り投影させる（Ｓ２０１０）。具体的な処理は図６で説明した画像投影フローチャートで示した通りである。結像画像供給部２１０は他拠点の書込み画像にマーカ画像を重畳し、投影装置３が供給された画像を自拠点のホワイトボード２に投影する。次に、撮影画像取得部２２０は、撮影装置４が撮影したホワイトボードの画像を第一の撮影画像として取得する（Ｓ２０１５）。
【００３２】
差分画像生成部２３０は、撮影画像取得部２２０が取得した画像に対し、当該画像に含まれるマーカ画像の位置に基づいて台形補正等の画像補正を施した上で共有領域を切り出す（Ｓ２０２０）。差分画像生成部２３０は、結像画像供給部２１０が投影装置３に供給した画像と、撮影装置４が撮影した画像との共有領域における差分を表す第一の差分画像を生成する（Ｓ２０３０）。
【００３３】
次に、書込み画像合成部２６０は、保持する自拠点書込み画像を空にクリアする。（Ｓ２０３８）。書込み画像合成部２６０は、差分画像生成部２３０から渡された第一の差分画像を保持する（Ｓ２０４０）。Ｓ２０３８で書込み画像は空にクリアされているため、書込み画像は第一の差分画像になる。
【００３４】
次に、結像画像供給部２１０は他の情報処理装置から受信した他拠点書込み画像に補正を施し、補正後の画像を投影装置３に送り投影させる（Ｓ２０５０）。ここでは、差分画像生成部が輪郭抽出を行った画像を生成する。
【００３５】
次に、撮影画像取得部２２０は、撮影装置４が撮影したホワイトボードの画像を第二の撮影画像として取得する（Ｓ２０５５）。差分画像生成部２３０は、撮影画像取得部２２０が取得した第二の撮影画像に対し、当該画像に含まれるマーカ画像の位置に基づいて台形補正等の画像補正を施し共有領域を切り出す（Ｓ２０６０）。
【００３６】
次に、差分画像生成部２３０は、結像画像供給部２１０が投影装置３に供給した画像と、撮影装置４が撮影した画像との共有領域における差分を表す第二の差分画像を生成する（Ｓ２０７０）。書込み画像合成部２６０は、差分画像生成部２３０から渡された第二の差分画像を保持しておいた第一の差分画像と合成し、書込み画像を得る（Ｓ２０８０）。
【００３７】
ここで、画像送信部２４０は、書込み画像合成部２６０によって生成された自拠点の書込み画像が空であるか否かを判断する（Ｓ２１００）。画像送信部２４０は、当該自拠点の書込み画像が空であると判断した場合には、他の情報処理装置から受信した他拠点書込み画像を、結像画像供給部に送り、書込み画像送信動作を終了する（Ｓ２１３０）。
【００３８】
一方、当該自拠点の書込み画像が空でないと判断された場合（Ｓ２１００）、画像送信部２４０は、書込み画像合成部２６０によって生成された自拠点書込み画像が前回に送信した自拠点書込み画像と同一であるか否かを判断する（Ｓ２１１０）。
【００３９】
ここで、画像送信部２４０が書込み画像合成部２６０によって生成された自拠点書込み画像が前回に送信した自拠点書込み画像と同一であると判断した場合には、他の情報処理装置から受信した他拠点書込み画像を結像画像供給部に送る。そして、画像送信部２４０は書込み画像送信動作を終了する（Ｓ２１３０）。
【００４０】
一方、書込み画像合成部２６０によって生成された自拠点の書込み画像が前回に送信した自拠点書込み画像と同一でないと判断された場合、当該自拠点書込み画像が、画像送信部２４０によって他の情報処理装置５に送信される（Ｓ２１２０）。そして他の情報処理装置から受信した他拠点の書込み画像つまり受信画像を、結像画像供給部に送り投影し書込み画像送信動作を終了する（Ｓ２１３０）。
【００４１】
＜画像共有システムの動作例＞
図８、図９は、画像共有システム１の動作例を説明するための概念図である。拠点Ａと拠点Ｂにはそれぞれ情報処理装置５が設置されている。以下では、各拠点の間でやり取りされる書込み画像と、投影装置３によってそれぞれ投影される投影画像と、撮影装置４によってそれぞれ撮影された撮影画像との例を時系列に並べて示す。
【００４２】
図８は、拠点Ａから拠点Ｂへ書込み画像を送る動作を示す。投影に書込みを重ね書きしていないケースを説明する。まず拠点Ａと拠点Ｂぞれぞれの情報処理装置５は初期状態として空白の他拠点書込み画像を保持し、結像画像を投影するものとする。
【００４３】
図８（Ａ）は、拠点Ａの情報処理装置５の初期状態を示す。拠点Ａの投影装置３がホワイトボード２に空白の結像画像５００を投影する。ホワイトボード２の書込み５０１が空白なのでホワイトボード２に結像画像を重畳した描画盤面５０２も空白である。図８（Ｂ）に拠点Ｂの情報処理装置５の初期状態を示す。投影装置３は、拠点Ａの投影装置３によってホワイトボード２に空白の結像画像５１０を投影する。ホワイトボード２の書込み５１１が空白なのでホワイトボード２に結像画像を重畳した描画盤面５１２も空白である。
【００４４】
次に拠点Ａの情報処理装置５と拠点Ｂの情報処理装置５とのセッションが確立すると、お互いの書込み画像を送受信できるようになる。ここでは拠点Ａから拠点Ｂへ書込み画像を送信する場合を説明する。図８（Ｃ）に拠点Ｂの書込み画像が空白かつ拠点Ａのホワイトボード２の書込みが空白の状態で書込み画像を送信するケースを示す。
【００４５】
最初に拠点Ａの投影装置３が拠点Ｂの書込み画像を結像画像５２０としてホワイトボード２の書込み５２１へ重畳投影し、撮影装置４が重畳投影された描画盤面５２２を撮影して撮影画像５２３を取得する。そして、差分画像生成部２３０が結像画像５２０と撮影画像５２３との差分をとり第一の差分画像５２４を得る。次に拠点Ａの投影装置３が拠点Ｂの書込み画像の輪郭を抽出した画像を結像画像５３０としてホワイトボード２の書込み５３１へ重畳投影し、撮影装置４が重畳投影された描画盤面５３２を撮影して撮影画像５３３を取得する。そして、差分画像生成部２３０が結像画像５３０と撮影画像５３３の差分をとり第二の差分画像５３４を得る。そして、書込み画像合成部２６０が第一の差分画像５２４と第二の差分画像５３４を合成して拠点Ａの合成画像５３５を生成する。
【００４６】
他拠点の書込み画像もホワイトボード２に対する書込みもないため、生成された第一の差分画像５２４と第二の差分画像５３４は共に空白、よって合成画像５３５も空白となる。生成された合成画像５３５は空白であるため、拠点Ａの情報処理装置５は拠点Ｂへ書込み画像を送信しない。
【００４７】
次に拠点Ｂの書込み画像が空白かつ拠点Ａのホワイトボード２へ書込みを行った場合を説明する。ここではユーザがホワイトボードにマーカーペン等で「１０」を書き込んだ例を示す。図８（Ｄ）は、拠点Ｂの書込み画像が空白かつ拠点Ａのホワイトボード２へ書込みを行った状態を示す。「１０」の書込みがされた拠点Ａのホワイトボード２に投影装置３が空白の結像画像５４０を重畳投影する。結像画像５４０が空白なので書込み５４１がそのまま描画盤面５４２となる。つまり盤面の状態は「１０」そのままである。
【００４８】
図８（Ｅ）は、拠点Ｂの書込み画像が空白かつ拠点Ａのホワイトボード２のへ「１０」を書き込んだ状態で拠点Ａから拠点Ｂに書込み画像が送信されるケースを説明する。最初に拠点Ａの投影装置３が他拠点の書込み画像を結像画像５５０としてホワイトボード２の書込み５５１へ重畳投影し、撮影装置４が重畳投影された描画盤面５５２を撮影して撮影画像５５３を取得する。そして、差分画像生成部２３０が結像画像５５０と撮影画像５５３の差分をとり第一の差分画像５５４を得る。
【００４９】
次に拠点Ａの投影装置３が他拠点の書込み画像の輪郭抽出した画像を結像画像５６０としてホワイトボード２の書込み５６１へ重畳投影し、撮影装置４が重畳投影された描画盤面５６２を撮影して撮影画像５６３を取得する。そして、差分画像生成部２３０が結像画像５６０と撮影画像５６３の差分をとり第二の差分画像５６４を得る。そして、書込み画像合成部２６０が第一の差分画像５５４と第二の差分画像５６４を合成して拠点Ａの合成画像５６５を生成する。
【００５０】
拠点Ｂの書込み画像は空白、拠点Ａのホワイトボード２には「１０」が書き込まれているので生成された第一の差分画像５５４と第二の差分画像５６４は共に「１０」、よって合成画像５６５も「１０」となる。生成された合成画像５６５は空白でないため、情報処理装置５は拠点Ｂの情報処理装置へ合成画像５６５を送信する。拠点Ｂでは投影装置３が受信した書込み画像を結像画像５６６として投影することになる。
【００５１】
図９は、拠点Ｂから拠点Ａへ書込み画像が送信される際の各情報処理装置の動作を示す。拠点Ｂのユーザが書込み画像に重ね書きしたケースを説明する。本発明の情報処理装置が行う処理によって、投影に書込みを重ね合わせても抽出した書込み画像に途切れが発生しない。これにより拠点毎の書込みが可読であることを示す。
【００５２】
まず拠点Ａから受信した書込み画像が「１０」かつ拠点Ｂのホワイトボード２が空白の場合を説明する。図９（Ａ）は、拠点Ｂにおいて拠点Ａから受信した書込み画像をホワイトボード２へ重畳投影するケースを示す。拠点Ｂの投影装置３が、ホワイトボード２に拠点Ａから受信した書込み画像に基づいて生成した結像画像６００を投影する。ホワイトボード２の書込み６０１が空白なのでホワイトボード２には結像画像がそのまま重畳投影された描画盤面６０２となる。具体的には「１０」がそのまま投影される。
【００５３】
図９（Ｂ）は、拠点Ｂのホワイトボード２に書込みが空白の状態で書込み画像を送信するケース示す。最初に拠点Ｂの投影装置３が拠点Ａの書込み画像を結像画像６１０としてホワイトボード２の書込み６１１へ重畳投影し、撮影装置４が重畳投影された描画盤面６１２を撮影して撮影画像６１３を取得する。そして、差分画像生成部２３０が結像画像６１０と撮影画像６１３の差分をとり第一の差分画像６１４を得る。
【００５４】
次に、拠点Ｂの投影装置３が拠点Ａの書込み画像の輪郭を抽出した画像を結像画像６２０としてホワイトボード２の書込み６２１へ重畳投影し、撮影装置４が重畳投影された描画盤面６２２を撮影して撮影画像６２３を取得する。そして、差分画像生成部２３０が結像画像６２０と撮影画像６２３の差分をとり第二の差分画像６２４を得る。そして、書込み画像合成部２６０が第一の差分画像６１４と第二の差分画像６２４を合成して拠点Ｂの合成画像６２５を生成する。
【００５５】
拠点Ｂのホワイトボード２への書込みがないため、生成された第一の差分画像６１４と第二の差分画像６２４は共に空白、よって合成画像６２５も空白となる。生成された合成画像６２５は空白であるため、情報処理装置５は拠点Ａへ書込み画像を送信しない。
【００５６】
次に拠点Ａの書込み画像が空白でなく、かつ拠点Ｂのホワイトボード２へ書込みを行った場合を説明する。ここでは拠点Ａの書込み画像「１０」がホワイトボード２へ投影されている上にマーカーペン等で取り消し線を書き込んだ例を示す。
【００５７】
図９（Ｃ）は、拠点Ｂに拠点Ａから受信した書込み画像をホワイトボード２へ重畳投影し、ユーザがホワイトボード２に書込み、つまり投影した画像に重ねて書込みを行うケースを示す。拠点Ｂの投影装置３がホワイトボード２に拠点Ａの結像画像６３０を投影する。ユーザがホワイトボード２に取り消し線を書くと、ホワイトボード２には書込み６３１に結像画像６３０が重畳投影され「１０」に取り消し線が重ねられた描画盤面６３２となる。
【００５８】
図９（Ｄ）は、「拠点Ａから受信した書込み画像「１０」を拠点Ｂのホワイトボード２へ重畳投影し、投影した画像に重ねて取り消し線が書き込まれた状態で書込み画像が拠点Ｂから拠点Ａに送信されるケースを示す。最初に拠点Ｂの投影装置３が他拠点の書込み画像を結像画像６４０としてホワイトボード２の書込み６４１へ重畳投影し、撮影装置４が重畳投影された描画盤面６４２を撮影して撮影画像６４３を取得する。そして、差分画像生成部２３０が結像画像６４０と撮影画像６４３の差分をとり第一の差分画像６４４を得る。
【００５９】
次に、拠点Ｂの投影装置３が他拠点の書込み画像の輪郭を抽出した画像を結像画像６５０としてホワイトボード２の書込み６５１へ重畳投影し、撮影装置４が重畳投影された描画盤面６５２を撮影して撮影画像６５３を取得する。そして、差分画像生成部２３０が結像画像６５０と撮影画像６５３の差分をとり第二の差分画像６５４を得る。そして、書込み画像合成部２６０が第一の差分画像６４４と第二の差分画像６５４を合成して拠点Ｂの合成画像６５５を生成する。
【００６０】
拠点Ａの書込み画像は「１０」、ホワイトボード２には取り消し線が書き込まれているので、生成された第一の差分画像６４４と第二の差分画像６５４は途切れが発生した取り消し線である。書込み画像合成部２６０がこの二つの差分画像を合成することにより、途切れの無い取り消し線が再現された合成画像６５５を取得することができる。従来の手法では差分画像６４４しか抽出できず、当該差分画像を受信した他の情報処理装置が、抽出した画像が取り消し線ではなく、点線であるようにまちがって解釈する場合があった。本発明の情報処理装置によれば、合成画像６５５が得られるので、当該差分画像を受信した他の情報処理装置が確実に取り消し線を示す結像画像を投影することができる。従って、他拠点のユーザが、取り消し線であると解釈できる。つまり、他拠点に書き込まれた画像を自拠点で精確に投影することができ、視認性や操作性が向上する。生成された合成画像６５５は空白でないため、情報処理装置５は拠点Ｂへ合成画像６５５を送信する。拠点Ｂでは、投影装置３が、受信した書込み画像を結像画像６５６として投影することになる。
【００６１】
図９（Ｅ）は、拠点Ｂから受信した書込み画像が拠点Ａのホワイトボード２へ重畳投影されるケースを示す。拠点Ａの投影装置３がホワイトボード２に拠点Ｂから受信した書込み画像、つまり取り消し線を結像画像６６０として投影する。ホワイトボード２は書込み６６１つまり「１０」に対して拠点Ａの取り消し線を重畳投影した描画盤面６６２となる。
【００６２】
＜差分画像生成処理＞
図１０は、差分画像生成処理の動作を説明するフローチャートである。本処理は差分画像生成部２３０を構成するＣＰＵ１００がＲＡＭ１１０を作業領域としてＲＯＭ１２０およびハードディスク装置に記憶されたプログラムを実行することで実現される。画像は作業領域のＲＡＭ１１０に記憶するものとする。
【００６３】
以下、図７に示した情報処理装置５の書込み画像送信動作における、差分画像生成処理（Ｓ２０３０、Ｓ２０７０）の詳細について図１０、図１１、図１２を用いて説明する。ここでは、差分画像生成部２３０が、撮影装置４により撮影された画像（以下、単に「撮影画像」という）と、投影装置３に供給された画像（以下、単に「投影画像」という）と、これら画像に基づいて生成した差分画像とにフィルタ処理を施す。
【００６４】
まず、差分画像生成部２３０は、投影画像に対して、太め処理を適用した平滑化フィルタ処理を行う（Ｓ３０００）。次いで、差分画像生成部２３０は、平滑化された投影画像と撮影画像とをＲ（赤）、Ｇ（緑）、Ｂ（青）成分にそれぞれ分離する（Ｓ３０１０）。
【００６５】
次に、差分画像生成部２３０は、Ｒ、Ｇ、Ｂの各成分に対して、以下に説明するＳ３０２０からステップ３０５０を実行する。ここで、Ｒ、Ｇ、Ｂの各成分は、０から２５５までの値をとり、この値が高くなるに連れて、輝度が高くなるものとする。すなわち、Ｒ、Ｇ、Ｂの各成分が０のとき、当該ピクセルの色は、黒となり、Ｒ、Ｇ、Ｂの各成分が２５５のとき、当該ピクセルの色は、白となる。差分画像生成部２３０は、投影画像と、撮影画像との該当成分の積分画像をそれぞれ生成する（Ｓ３０２０）。
【００６６】
次に、差分画像生成部２３０は、撮影画像の各ピクセルおよび投影画像の各ピクセルに対して、以下に説明するＳ３０３０からＳ３０５０を実行する。まず、差分画像生成部２３０は、撮影画像の対象ピクセルに対して、該当成分を周囲のピクセルの該当成分で平均化した平均差分を算出する平均差分算出処理を実行する（Ｓ３０３０）。
【００６７】
平均差分算出処理では、図１１に示すように、差分画像生成部２３０は、対象ピクセルを中心としたｍ×ｎのサイズの矩形を算出する（Ｓ４０００）。なお、ｍ、ｎは、予め定められた定数であり、撮影画像のサイズが１０２４ピクセル×７６８ピクセルの場合、例えば、ｍ＝ｎ＝３１ピクセルとする。次に、差分画像生成部２３０は、図１０のＳ３０２０で算出した積分画像を用いて、Ｓ４０００で算出された矩形内の輝度の平均値を算出する（Ｓ４０１０）。
【００６８】
具体的には、当該積分画像の該当矩形の左上の輝度をＬＴ、右上の輝度をＲＴ、左下の輝度をＬＢ、右下の輝度をＲＢとし、該当矩形内のピクセル数をＰＮとすると、該当矩形内の輝度の平均値ＡＶＧは、以下に示す式によって算出される。
ＡＶＧ＝（ＲＢ−ＲＴ−ＬＢ＋ＬＴ）／ＰＮ
【００６９】
差分画像生成部２３０は、このように算出した平均値ＡＶＧで対象ピクセルの輝度を減じ、対象ピクセルの平均差分を算出し（Ｓ４０２０）、平均差分算出処理を終了する。
【００７０】
図１０に戻り、差分画像生成部２３０は、撮影画像の対象ピクセルに対する平均差分算出処理が終了すると、投影画像の対象ピクセルに対して、図１１を参照して説明した平均差分算出処理を実行する（Ｓ３０４０）。次に、差分画像生成部２３０は、撮影画像の対象ピクセルの平均差分と、投影画像の対象ピクセルの平均差分とに基づいて、対象ピクセル間の差分値を算出する差分算出処理を実行する（Ｓ３０５０）。
【００７１】
差分算出処理では、図１２に示すように、差分画像生成部２３０は、撮影画像の対象ピクセルの平均差分が予め定められた閾値ＴＨより大きいか否かを判断する（Ｓ５０００）。なお、本例において、閾値ＴＨは、−５とする。
【００７２】
当該平均差分が閾値ＴＨより大きいと判断した場合には、差分画像生成部２３０は差分値を背景色の同成分に設定し（Ｓ５０８０）、差分算出処理は終了する。一方、当該平均差分が閾値ＴＨより大きくないと判断した場合には、差分画像生成部２３０が投影画像の対象ピクセルの平均差分が濃くなるように定数倍（例えば、１．５倍）する（Ｓ５０１０）。
【００７３】
次いで、差分画像生成部２３０は、撮影画像の対象ピクセルの平均差分から、定数倍された投影画像の対象ピクセルの平均差分を減算する（Ｓ５０２０）。次に、差分画像生成部２３０は、この減算結果として得られた差分値が、閾値ＴＨより大きいか否かを判断する（Ｓ５０３０）。
【００７４】
差分値が閾値ＴＨより大きいと判断した場合には、撮影画像の対象ピクセルが背景より明るい外来光等のノイズと判断できるため、差分画像生成部２３０は差分値が背景色の同成分に設定し（Ｓ５０８０）、差分算出処理を終了する。
【００７５】
一方、差分値が閾値ＴＨより大きくないと判断した場合には、差分画像生成部２３０は差分値が濃くなるように定数倍（例えば、１．５倍）する（Ｓ５０４０）。そして、差分画像生成部２３０は差分値に背景色の同成分を加算する（Ｓ５０５０）。なお、本実施の形態において、背景色の各成分は２００とする。
【００７６】
ここで、差分画像生成部２３０は、差分値が０未満か否かを判断し、差分値が０未満であると判断した場合には、差分値を０に設定し（Ｓ５０７０）、差分算出処理を終了する。一方、差分値が０未満でないと判断した場合には、差分画像生成部２３０は差分算出処理を終了する。
【００７７】
図１０に戻り、撮影画像および投影画像の各ピクセルの各Ｒ、Ｇ、Ｂ成分に対する上述した各処理が終了すると、差分画像生成部２３０は各Ｒ、Ｇ、Ｂ成分の差分値を有する各ピクセルからなる差分画像を生成する（Ｓ３０６０）。
【００７８】
＜合成画像生成処理＞
図１３は、合成画像生成処理の動作を説明するフローチャートである。本処理は、書込み画像合成部２６０を構成するＣＰＵ１００がＲＡＭ１１０を作業領域としてＲＯＭ１２０およびハードディスク装置に記憶されたプログラムを実行することで機能する。画像は作業領域のＲＡＭ１１０に記憶するものとする。
【００７９】
ここで、図７に示した書込み画像送信動作における合成画像生成処理（Ｓ２０４０、Ｓ２０８０）の詳細を図１３を用いて説明する。書込み画像合成部２６０が保持する書込み画像と、差分画像生成部２３０から入力した差分画像とを合成する処理である。
【００８０】
まず、書込み画像合成部２６０が保持する書込み画像と差分画像生成部２３０から入力した差分画像をＲ（赤）、Ｇ（緑）、Ｂ（青）成分にそれぞれ分離する（Ｓ６０００）。
【００８１】
次に、書込み画像合成部２６０は、Ｒ、Ｇ、Ｂの各成分に対して、以下に説明するＳ６０１０からＳ６０２０を実行する。ここで、Ｒ、Ｇ、Ｂの各成分は、０から２５５までの値をとり、この値が高くなるに連れて、輝度が高くなるものとする。すなわち、Ｒ、Ｇ、Ｂの各成分が０のとき、当該ピクセルの色は、黒となり、Ｒ、Ｇ、Ｂの各成分が２５５のとき、当該ピクセルの色は、白となる。
【００８２】
ここで、書込み画像合成部２６０は、差分画像の差分値が背景色成分値よりも小さいか否かを判断する（Ｓ６０１０）。なお、本例において、背景色成分値は各色成分共に２００とする。差分画像の差分値が背景色成分値よりも小さいと判断した場合には、書込み画像合成部２６０は書込み画像のピクセル成分に差分画像の差分値で置き換える（Ｓ６０２０）。一方、書込み画像合成部２６０は、差分画像の差分値が背景色成分値よりも小さくないと判断した場合にはなにも処理をしない。
【００８３】
以上、説明したように、本発明の画像共有システムによれば、撮影画像と投影画像の適切な差分情報を作成し、途切れが生じない書込み画像を装置間で共有させることを可能とする情報処理装置を提供することが可能となる。つまり、情報処理装置が投影画像を時系列に変化させて撮影し、書込み画像との差分を抽出する。そして各差分を合成することで、投影画像と書込み画像を重ね合わせても他拠点に送信する書込み画像に途切れが発生しない。拠点毎の書込みに画像に途切れが無いため、書込み画像の可読性が高まるという効果が得られる。
【００８４】
（実施例２）
第一の実施例においては自拠点の書込み画像を取得するには毎度、結像画像を時系列に変化させ、撮影画像を取得し、差分画像を生成して書込み画像を合成していた。結像画像と差分画像に近接領域が存在する場合に結像画像を時系列に変化させて自拠点の書込み画像を取得することも考えられる。
【００８５】
＜情報処理装置の機能ブロック＞
図１４は、実施例２における情報処理装置の機能ブロック図である。実施例１との違いは、投影装置３に投影させている結像画像と撮影装置４により撮影された撮影画像との共有領域における差分を表す差分画像との近接領域画像を生成する近接領域画像生成部２８０を追加した点である。近接領域画像生成部２８０はＣＰＵ１００によって構成される。
【００８６】
＜書込み取得制御部＞
実施例２における書込み取得制御部２７０は、まずホワイトボード２に結像画像を投影して撮影画像を取得し、差分画像を生成する。そして結像画像と差分画像に近接領域が存在する場合に結像画像を時系列に変化させて自拠点の書込み画像を合成する制御を行う。図１５、図１６は実施例２の画像を示す。実施例１との違いは、まず図１５（Ｋ）の近接領域画像を追加した点である。近接領域画像とは、ホワイトボードに投影する結像画像と、ホワイトボードへの書込みが近接した領域を抽出した画像のことである。
【００８７】
まず、図１５に示すように、投影装置３が１０」を結像画像として投影し、結像画像の中の「０」と書込みの取り消し線が近接している状態を説明する。図１５（Ａ）は第一の結像画像、図１５（Ｂ）はホワイトボード２への書込み、図１５（Ｃ）はホワイトボード２の書込みに第一の結像画像を投影し撮影装置４が撮影した撮影画像である。ここで図１５（Ｃ）に示すように、書込みと第一の結像画像が近接している領域が近接領域である。この近接領域は、図１５（Ｄ）に示す撮影画像と結像画像の差分画像と、図１５（Ａ）の第一の結像画像の背景色ではないピクセルが近接している個所を抽出する画像処理を行い図１５（Ｋ）の近接領域画像として生成する。
【００８８】
また、時系列に変化させる結像画像は、実施例１と同様に画像全体を輪郭抽出処理した図１５（Ｅ）に示す結像画像であっても良いし、近接領域を含んだ画像の一部を輪郭抽出処理した、図１５（Ｍ）に示す第二の結像画像（Ｍ）であっても構わない。図１５（Ｍ）の結像画像を用いて撮影した第二の撮影画像を図１５（Ｎ）に示す。撮影画像は図１５（Ｆ）でも図１５（Ｎ）に示す画像であっても得られる第二の差分画像は同一である（図１５（Ｇ））。
【００８９】
書込み画像合成部２６０は、結像画像を時系列変化させて取得した複数の差分画像を合成し、図１５（Ｈ）に示す書込み画像を生成する。本発明では図１５（Ａ）、（Ｅ）、または（Ｍ）に示す結像画像をホワイトボードに投影した場合に近接領域を含む部分は重ならないようにしてあるため、複数の差分画像を合成すると途切れのない書込み画像（図１５（Ｈ））を得ることができる。
【００９０】
次に、図１６を参照し、「１０」を結像画像として投影し、結像画像の中の「０」に近接しない書込みのアンダーラインがある状態を説明する。図１６に示した通り、近接領域が存在しないため図１６（Ｋ）に示す近接領域画像は空になる。
【００９１】
＜近接領域画像生成部＞
近接領域画像生成部２８０は図１４に示す通り結像画像供給部２１０が保持する結像画像と、差分画像生成部２３０が生成する撮影装置４により撮影された撮影画像との共有領域３０における差分を表す差分画像とを、ピクセル単位に比較し近接領域画像を生成する。具体的には近接領域画像生成部２８０は、結像画像の背景色では無いピクセルの周辺領域（例えば、３ピクセル×３ピクセル矩形）に、差分画像の背景色では無いピクセルを含むピクセルを近接領域とする。
【００９２】
＜書込み画像送信動作フローチャート＞
図１７は、実施例２における情報処理装置５の書込み画像送信動作を説明するためのフローチャートである。なお実施例１同様、以下に説明する書込み画像送信動作は、一定間隔で繰り返しスタートする。または情報処理装置５の入力装置１４０を介した撮影要求を発生したときにスタートするようにしても構わない。本処理は図３に示す各処理部を構成するＣＰＵ１００がＲＡＭ１１０を作業領域としてＲＯＭ１２０およびハードディスク装置に記憶されたプログラムを実行することで実現される。画像は作業領域のＲＡＭ１１０に記憶するものとする。また、本処理を行う各処理部は書込み取得制御部２７０により制御される。
【００９３】
実施例１との違いは、近接領域画像を生成したうえで近接領域（領域情報）が空でない場合に結像画像を時系列に変化させて自拠点の書込み画像を抽出する処理を行う点である。以下、フローチャート上で実施例１と異なるステップのみ説明する。近接領域画像生成部２８０は、結像画像供給部２１０から投影装置３に供給された画像とＳ２０３０で生成した第一の差分画像の近接領域を示す近接領域画像を生成する（Ｓ２０４３）。
【００９４】
画像送信部２４０は、近接領域画像生成部２８０により生成された近接領域画像が空であるか否かを判断する（Ｓ２０４５）。画像送信部２４０は、近接領域画像が空であると判断した場合、Ｓ２０４０で生成した画像をそのまま自拠点書込み画像として他拠点へ送信するためにＳ２１００以降の処理を行う。一方、画像送信部２４０は、近接領域画像生成部２８０により生成された近接領域画像が空でないと判断した場合、Ｓ２０５０以降の時系列に結像画像を変化させ自拠点書込み画像を抽出する処理を行う。
【００９５】
＜画像共有システムの動作例＞
図１８は、実施例２における画像共有システム１の動作例を説明するための概念図である。拠点Ａと拠点Ｂにそれぞれ情報処理装置５を設置し、各拠点の間でやり取りされる書込み画像と、投影装置３によってそれぞれ投影される投影画像と、撮影装置４によってそれぞれ撮影された撮影画像との例を時系列で並べられて示す。
【００９６】
実施例１と違う個所、つまり近接領域画像を用いた動作部分のみ説明する。ここでは拠点Ｂから拠点Ａへ書込み画像を送る動作を示す。投影に書込みを重ね書きしたケースを説明する。まず拠点Ａの書込み画像「１０」がホワイトボード２へ投影されている上にマーカーペン等で取り消し線を書き込んだ例を示す。結像画像と書込みに近接領域があるので近接領域画像が空でないケースを示す。
【００９７】
図１８（Ａ）は、情報処理装置が拠点Ａから受信した書込み画像「１０」を拠点Ｂのホワイトボード２へ重畳投影し、投影した画像に重ねて取り消し線を書き込んだ状態で書込み画像を送信するケースを示す。最初に拠点Ｂの投影装置３が他拠点の書込み画像を結像画像７４０としてホワイトボード２の書込み７４１へ重畳投影し、重畳投影した描画盤面７４２を撮影して撮影画像７４３を取得する。そして差分画像生成部２３０が結像画像７４０と撮影画像７４３の差分をとり第一の差分画像７４４を得る。
【００９８】
次に、近接領域画像生成部２８０は、結像画像７４０と第一の差分画像７４４の近接領域を抽出した近接領域画像７４５を得る。近接領域画像７４５は空でないので、拠点Ｂの投影装置３は他拠点の書込み画像の輪郭抽出した画像を結像画像７５０としてホワイトボード２の書込み７５１へ重畳投影する。撮影装置４は、重畳投影した描画盤面７５２を撮影して撮影画像７５３を取得する。差分画像生成部２３０は、結像画像７５０と撮影画像７５３の差分をとり第二の差分画像７５４を得る。差分画像生成部２３０は、第一の差分画像７４４と第二の差分画像７５４を合成して拠点Ｂの合成画像７５５を生成する。
【００９９】
拠点Ａの書込み画像は「１０」、ホワイトボード２には取り消し線が書き込まれているので生成された第一の差分画像７４４と第二の差分画像７５４は途切れが発生した取り消し線である。この二つの差分画像を合成すると途切れの無い取り消し線が再現された合成画像７５５を得る。生成された合成画像７５５は空白でないため、情報処理装置５は拠点Ｂへ合成画像７５５を送信する。拠点Ｂでは受信した書込み画像を結像画像７５６とする。
【０１００】
＜近接領域画像が空の場合＞
次に拠点Ａの書込み画像「１０」がホワイトボード２へ投影されている下にマーカーペン等でアンダーラインを書き込んだ例を示す。結像画像と書込みに近接領域が無いので近接領域画像が空のケースを示す。
【０１０１】
図１８（Ｂ）は、情報処理装置が拠点Ａから受信した書込み画像「１０」を拠点Ｂのホワイトボード２へ重畳投影し、投影した画像に重ねてアンダーラインを書き込んだ状態で書込み画像を送信するケースを示す。最初に拠点Ｂの投影装置３が他拠点の書込み画像を結像画像７６０としてホワイトボード２の書込み７６１へ重畳投影する。撮影装置４は、重畳投影した描画盤面７６２を撮影して撮影画像７６３を取得する。そして、差分画像生成部２３０は結像画像７６０と撮影画像７６３の差分をとり第一の差分画像７６４を得る。
【０１０２】
次に、近接領域画像生成部２８０は、結像画像７６０と第一の差分画像７６４の近接領域を抽出した近接領域画像７６５を得る。近接領域画像７６５は空なので、第一の差分画像７６４拠点Ｂの書込み画像７７５として生成する。拠点Ａの書込み画像は「１０」、ホワイトボード２にはアンダーラインが書き込まれているので生成された第一の差分画像７６４は元々途切れが無い。生成された書込み画像７７５は空白でないため、情報処理装置５は拠点Ｂへ書込み画像７７５を送信する。拠点Ｂでは受信した書込み画像を結像画像７７６とする。
【０１０３】
＜近接領域画像生成処理＞
図１９は、近接領域画像生成処理の動作を説明するフローチャートである。ここで、図１７に示した情報処理装置５の書込み画像送信動作において、近接領域画像を生成する処理（Ｓ２０４３）について、図１９を用いて説明する。本処理は近接領域画像生成部２８０が行う。結像画像供給部２１０が保持する結像画像と、差分画像生成部２３０が生成する撮影装置４により撮影された撮影画像との共有領域３０における差分を表す差分画像とを、ピクセル単位に比較する。そして近接領域画像を生成する。本処理は近接領域画像生成部２８０を構成するＣＰＵ１００がＲＡＭ１１０を作業領域としてＲＯＭ１２０およびハードディスク装置に記憶されたプログラムを実行することで機能する。画像は作業領域のＲＡＭ１１０に記憶するものとする。
【０１０４】
まず、結像画像供給部２１０が保持する結像画像と、差分画像生成部２３０が生成する撮影装置４により撮影された撮影画像との共有領域３０における差分を表す差分画像をＲ（赤）、Ｇ（緑）、Ｂ（青）成分にそれぞれ分離する（Ｓ７０００）。ここで、Ｒ、Ｇ、Ｂの各成分は、０から２５５までの値をとり、この値が高くなるに連れて、輝度が高くなるものとする。すなわち、Ｒ、Ｇ、Ｂの各成分が０のとき、当該ピクセルの色は、黒となり、Ｒ、Ｇ、Ｂの各成分が２５５のとき、当該ピクセルの色は白となる。
【０１０５】
次に、近接領域画像生成部２８０は、結像画像の各ピクセルおよび差分画像の各ピクセルに対して、以下に説明するＳ７０１０からＳ７０５０が実行される。まず、近接画像の対象ピクセルのＲＧＢ色成分値を全て背景色の成分値とする（Ｓ７０１０）。ここで背景色の成分値はＲＧＢそれぞれ２００とする。次に、Ｒ、Ｇ、Ｂの各成分に対して、以下に説明するＳ７０２０からＳ７０５０が実行される。
【０１０６】
ここで、近接領域画像生成部２８０は、結像画像の成分値が背景色成分値よりも小さいかを判断する（Ｓ７０２０）。近接領域画像生成部２８０は、結像画像の成分値が背景色成分値よりも小さくない場合はなにも処理をしない。一方結像画像の成分値が背景色成分値よりも小さいと判断した場合は、差分画像の対象ピクセルを中心としたｍ×ｎに背景色成分値より小さい成分値があるかを判断する（Ｓ７０４０）。
【０１０７】
ここで、近接領域画像生成部２８０は、差分画像の対象ピクセルを中心としたｍ×ｎに背景色成分値より小さい成分値がなければなにも処理しない。一方差分画像の対象ピクセルを中心としたｍ×ｎに背景色成分値より小さい成分値があった場合は、近接画像の対象ピクセルのＲＧＢ色成分値を全て結像画像の成分値とする（Ｓ７０５０）。
【０１０８】
以上に説明したように、本発明の画像共有システムは、ホワイトボードに投影する結像画像と、ホワイトボードへの書込みが近接した領域がある場合に投影画像を時系列に変化させて撮影、差分抽出、合成する。これにより、投影画像と書込みを重ね合わせて書込み抽出しても書込み画像に途切れが発生しないようにできる。実施例１の効果に加えて、ホワイトボードへの結像画像と、書込みに近接領域が存在するときのみ時系列変化させた処理を行うので処理負荷が軽減される。
【０１０９】
（実施例３）
第一の実施例においては図５で示したように時系列に変化させる画像は他拠点から受信した受信画像に対して輪郭抽出した画像であった。時系列に変化させる画像は輪郭抽出に限らず、位置のシフトや、輝度を変化させることも考えられる。
【０１１０】
図２０は結像画像を時系列に位置をシフトさせる例を示す。図２０（Ａ）は第一の結像画像の一例を示し、画像受信部２００で受信した画像そのままである。一方、図２０（Ｅ）は第二の結像画像の一例を示し、図２０（Ａ）に対して結像画像の水平方向の位置を右へ距離Ａだけ移動させた画像である。図２０（Ｅ）の画像は図２０（Ａ）の画像と重ならないような位置へ画像処理によって移動を行うものとする。
【０１１１】
結像画像を時系列に変化させて撮影画像取得部２２０が取得する撮影画像の一例を図２０（Ｃ）と図２０（Ｆ）に示す。なお結像画像が投影されるホワイトボード２には図２０（Ｂ）の書込みがされているものとする。ホワイトボード２の書込みに図２０（Ａ）と図２０（Ｅ）の結合画像が時系列に重畳投影され図２０（Ｃ）と図２０（Ｆ）の２種類の結像画像が取得される。
【０１１２】
そして差分画像生成部２３０は、撮影画像と結像画像の差分画像を生成する。差分画像の一例を図２０（Ｄ）と図２０（Ｇ）に示す。それぞれ結像画像と書込みが重なった部分には途切れが発生している。
【０１１３】
書込み画像合成部２６０では、結像画像を時系列変化させて取得した複数の差分画像を合成し、図２０（Ｈ）に示す書込み画像を生成する。本発明では図２０（Ａ）と図２０（Ｅ）の結像画像をホワイトボードに投影した場合に重ならないようにしてあるため、複数の差分画像を合成すると途切れのない書込み画像を得ることができる。
【０１１４】
図２１は結像画像を時系列に輝度を変化させる例を示す。図２１（Ａ）は第一の結像画像の一例を示し、画像受信部２００で受信した画像そのままである。一方、図２１（Ｅ）は、第二の結像画像の一例を示し図２１（Ａ）の画像と重ならないような輪郭抽出と輪郭の内側の輝度を元画像に対して明るくする画像処理によって行うものとする。具体的には（Ａ）の画像の黒い部分を太らせ処理を行ったうえで輪郭抽出し、輪郭の内側の輝度を撮影画像により書込みが検知できる値まで明るくすればよい。
【０１１５】
結像画像を時系列に変化させて撮影画像取得部２２０が取得する撮影画像の一例を図２１（Ｃ）と図２１（Ｆ）に示す。なお結像画像が投影されるホワイトボード２には同図（Ｂ）の書込みがされているものとする。ホワイトボード２の書込みに図２１（Ａ）と図２１（Ｅ）の結像画像が時系列に重畳投影され図２１（Ｃ）と図２１（Ｆ）の２種類の結像画像が取得される。そして差分画像生成部２３０では撮影画像と結像画像の差分画像を生成する。差分画像の一例を図２１（Ｄ）と図２１（Ｇ）に示す。それぞれ結像画像と書込みが重なった部分には途切れが発生している。
【０１１６】
書込み画像合成部２６０では結像画像を時系列変化させて取得した複数の差分画像を合成し、図２１（Ｈ）に示す書込み画像を生成する。本発明では図２１（Ａ）と図２１（Ｅ）に示す結像画像をホワイトボードに投影した場合に元画像と輪郭画像の輪郭部分が重ならず、かつ輪郭の内側の輝度は書込みが検知できる。従って、複数の差分画像を合成すると途切れのない書込み画像（Ｈ）を得ることができる。
【０１１７】
以上に説明したように、本発明の画像共有システムは、投影画像を時系列に変化させて撮影、差分抽出、合成することで、投影画像と書込み画像を重ね合わせて書込み抽出しても書込み画像に途切れが発生しないようにできる。拠点毎の書込みに画像に途切れが無いため、書込み画像の可読性が高まる。
【０１１８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そしてそのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【０１１９】
２３０  差分画像生成部
２６０  書込み画像合成部
【図１】
2015109520.tif 000003
【図２】
2015109520.tif 000004
【図３】
2015109520.tif 000005
【図４】
2015109520.tif 000006
【図５】
2015109520.tif 000007
【図６】
2015109520.tif 000008
【図７】
2015109520.tif 000009
【図８】
2015109520.tif 000010
【図９】
2015109520.tif 000011
【図１０】
2015109520.tif 000012
【図１１】
2015109520.tif 000013
【図１２】
2015109520.tif 000014
【図１３】
2015109520.tif 000015
【図１４】
2015109520.tif 000016
【図１５】
2015109520.tif 000017
【図１６】
2015109520.tif 000018
【図１７】
2015109520.tif 000019
【図１８】
2015109520.tif 000020
【図１９】
2015109520.tif 000021
【図２０】
2015109520.tif 000022
【図２１】
2015109520.tif 000023