(57)【要約】【課題】紙付箋とプロジェクタで投影した電子付箋が混在した盤面から紙付箋を電子化するユースケースがある。その場合、紙付箋を電子化する際にプロジェクタ投影を非表示にした上で撮影すると撮影の度に画面がちらつく。【解決手段】所定の領域の内部に、情報が記載された物理媒体が配置され、かつ、電子情報が表示されるシステムであって、表示部に対し、電子情報を前記所定の領域に表示させる表示制御手段と、前記所定の領域を撮影する撮影手段と、前記撮影手段にて撮影した画像から前記物理媒体の情報を抽出し、電子情報として記録部に保持する処理手段とを有し、前記表示制御手段は、前記所定の領域に前記電子情報を表示させる際に、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報を表示させ、前記処理手段は、前記撮影手段にて撮影した画像において、前記画像情報に基づき前記物理媒体の範囲を判定し、当該物理媒体の情報を抽出する。【選択図】  図１５
2015011402.tif 000002
【特許請求の範囲】
【請求項１】
所定の領域の内部に、情報が記載された物理媒体が配置され、かつ、電子情報が表示されるシステムであって、
表示部に対し、電子情報を前記所定の領域に表示させる表示制御手段と、
前記所定の領域を撮影する撮影手段と、
前記撮影手段にて撮影した画像から前記物理媒体の情報を抽出し、電子情報として記録部に保持する処理手段と
を有し、
前記表示制御手段は、前記所定の領域に前記電子情報を表示させる際に、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報を表示させ、
前記処理手段は、前記撮影手段にて撮影した画像において、前記画像情報に基づき前記物理媒体の範囲を判定し、当該物理媒体の情報を抽出することを特徴とするシステム。
【請求項２】
前記表示部は、プロジェクタであり、
前記表示制御手段は、前記プロジェクタにより前記電子情報を投影することで、前記所定の領域に前記電子情報を表示させることを特徴とする請求項１に記載のシステム。
【請求項３】
前記表示制御手段は、前記所定の領域に前記電子情報を投影して表示させる際に、前記物理媒体が配置されている範囲に前記画像情報を重畳して投影し、前記電子情報を表示する範囲に前記画像情報を投影しないことを特徴とする請求項２に記載のシステム。
【請求項４】
前記処理手段は、前記撮影手段にて撮影した画像において情報が記載された範囲のうち、前記画像情報を含む範囲を前記物理媒体の範囲として判定し、当該物理媒体の情報を抽出することを特徴とする請求項３に記載のシステム。
【請求項５】
前記表示部は、前記電子情報を表示するための表示画面を有するディスプレイ装置であり、
前記所定の領域は、前記ディスプレイ装置の表示画面上であり、
前記物理媒体は、前記ディスプレイ装置の表示画面上に配置されることを特徴とする請求項１に記載のシステム。
【請求項６】
前記表示制御手段は、前記ディスプレイ装置の表示画面により前記電子情報を表示させる際に、前記電子情報を表示させる範囲に前記画像情報を含めることを特徴とする請求項５に記載のシステム。
【請求項７】
前記処理手段は、前記撮影手段にて撮影した画像において情報が記載された範囲のうち、前記画像情報を含まない範囲を前記物理媒体の範囲として判定し、当該物理媒体の情報を抽出することを特徴とする請求項６に記載のシステム。
【請求項８】
前記表示制御手段は、前記画像情報を含む状態と前記画像情報を含まない状態のそれぞれにて前記電子情報を表示させ、
前記撮影手段は、前記画像情報を含む状態と前記画像情報を含まない状態のそれぞれにおいて、前記所定の領域を撮影し、
前記処理手段は、前記撮影手段が撮影した異なる状態の画像を用いて、前記物理媒体の範囲を判定し、当該物理媒体の情報を抽出することを特徴とする請求項１乃至７のいずれか一項に記載のシステム。
【請求項９】
前記所定の領域に表示するための電子情報を受け付ける受付手段を更に有し、
前記処理手段は、前記受付手段にて受け付けた電子情報を更に前記記録部に保持することを特徴とする請求項１乃至８のいずれか一項に記載のシステム。
【請求項１０】
前記画像情報は、罫線の画像であることを特徴とする請求項１乃至９のいずれか一項に記載のシステム。
【請求項１１】
前記画像情報は、所定のパターン画像であることを特徴とする請求項１乃至９のいずれか一項に記載のシステム。
【請求項１２】
前記表示制御手段は、前記所定の領域に物理媒体が配置されている場合、当該配置された物理媒体に対応する電子情報は前記所定の領域に表示させないことを特徴とする請求項１乃至１１のいずれか一項に記載のシステム。
【請求項１３】
所定の領域に、情報が記載された物理媒体が配置され、かつ、電子情報が表示されるシステムの制御方法であって、
表示装置に対し、電子情報を前記所定の領域に表示させる表示制御工程と、
撮影装置により前記所定の領域を撮影する撮影工程と、
前記撮影装置にて撮影した画像から前記物理媒体の情報を抽出し、電子情報として記録部に保持する処理工程と、
を有し、
前記表示制御工程において、前記所定の領域に前記電子情報を表示させる際に、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報を表示させ、
前記処理工程において、前記撮影装置にて撮影した画像において、前記画像情報に基づき前記物理媒体の範囲を判定し、当該物理媒体の情報を抽出することを特徴とするシステムの制御方法。
【請求項１４】
情報が記載された物理媒体が内部に配置されている所定の領域に、電子情報を混在して表示させる情報処理装置であって、
前記所定の領域を撮影する撮影手段と、
前記撮影手段にて撮影した撮影画像を処理装置へ送信する送信手段と、
前記処理装置から電子情報を受信する受信手段と、
表示部に対し、前記電子情報を前記所定の領域に表示させる表示制御手段と
を有し、
前記表示制御手段は、前記所定の領域に前記電子情報を表示させる際に、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報を表示させることを特徴とする情報処理装置。
【請求項１５】
物理媒体が配置され、かつ、電子情報が混在して表示された所定の領域の画像を受信する受信手段と、
前記受信した画像に含まれる物理媒体の範囲から情報を抽出し、電子情報として記録部に保持する処理手段と、
前記記録部に保持された電子情報を送信する送信手段と
を有し、
前記処理手段は、前記受信した画像に含まれる、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報に基づき前記物理媒体の範囲を判定し、情報を抽出することを特徴とする情報処理装置。
【請求項１６】
情報が記載された物理媒体が内部に配置された所定の領域に、電子情報を混在して表示させる情報処理装置の制御方法であって、
撮影装置により前記所定の領域を撮影する撮影工程と、
前記撮影装置にて撮影した撮影画像を処理装置へ送信する送信工程と、
前記処理装置から電子情報を受信する受信工程と、
表示部に対し、前記電子情報を前記所定の領域に表示させる表示制御工程と
を有し、
前記表示制御工程において、前記所定の領域に前記電子情報を表示させる際に、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報を表示させることを特徴とする制御方法。
【請求項１７】
物理媒体が配置され、かつ、電子情報が混在して表示された所定の領域の画像を受信する受信工程と、
前記受信した画像に含まれる物理媒体の範囲から情報を抽出し、電子情報として記録部に保持する処理工程と、
前記記録部に保持された電子情報を送信する送信工程と
を有し、
前記処理工程において、前記受信した撮影画像に含まれる、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報に基づき前記物理媒体の範囲を判定し、情報を抽出することを特徴とする情報処理装置の制御方法。
【請求項１８】
請求項１４に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
【請求項１９】
請求項１５に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システムおよびその制御方法、情報処理装置およびその制御方法、およびプログラムに関し、特にスクリーン上に貼付された紙付箋を電子化した電子付箋データの表示を制御する技術に関する。
【背景技術】
【０００２】
複数人で新しい知識を創出する方法として、ブレインストーミングと呼ばれる方法が知られている。ブレインストーミングでは、アイデアを１つずつカードに書き込み、それらを共有しながらアイデアを発散させていく。また、これらのアイデアを収束する方法として、ＫＪ法と呼ばれる方法が知られている。ＫＪ法では、アイデアの内容について、内容の近いもの同士を集めて分類するグループ化を繰り返し、グループ間の関係性を整理するという方法である。そして、この作業の中で、アイデアの本質の発見や新たなアイデアの創出が行われる。
【０００３】
ブレインストーミングやＫＪ法では、前述のカードとして糊付き紙付箋を用い、その糊付き紙付箋をホワイトボードなどに貼りつけて進める方法が良く用いられる。更に、プロジェクタを用いてプレゼンテーション資料などの画像をホワイトボードに投影しながら、そのホワイトボード上で紙付箋を貼付する場合もある。
【０００４】
特許文献１では、画像が投影されているホワイトボード上に書き込まれた手書きの情報や、該ホワイトボード上に貼り付けられた紙付箋の情報を撮影する技術について開示している。特許文献１では、プロジェクタとデジタルカメラとを連携させ、付加情報（手書きの情報や紙付箋の情報）を撮影するタイミングで、プロジェクタからの投影画像を非表示にすることにより、付加情報のみが撮影された撮影画像を得ている。そして、撮影直前の投影画像と、当該撮影された撮影画像とを対応付けて記録しておくことで、後で再生を行う際にそれらを合成して表示できるようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１８４３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、ホワイトボードに貼り付けられた紙付箋を撮影して得られる電子データ（撮影画像）を投影画像と関連付けて記録しておくことで、後で記録結果を再生する際に投影画像と撮影画像とを合成表示できる。すなわち、特許文献１では、ユーザが再生モードに切り替え、更に再生する投影画像を選択すれば、関連する撮影画像を該投影画像に合成して表示させることができる。
【０００７】
しかしながら、特許文献１では、紙付箋を電子化するためには、必ずプロジェクタ投影を非表示にした上で撮影する必要がある。これは、プロジェクタ投影したままの状態で撮影すると、投影中の投影画像とホワイトボードに貼り付けられた紙付箋との識別が困難になるためである。一方、ブレインストーミングを行うユースケースでは、盤面に貼りつけられた紙付箋をリアルタイムで順次電子化する必要があり、そのための撮影を一定間隔で繰り返す必要がある。撮影を繰り返した場合、撮影の度にプロジェクタ投影を非表示にするので画面がちらつくという課題がある。また撮影画像を再生したい場合、モード切替や画像選択などのユーザからの指示が必要であり、ユーザの手間がかかってしまう。そのため、特許文献１の技術は、ブレインストーミングを行っている最中に電子データを再生するような用途には適していない。
【０００８】
そこで、本発明では、電子情報を投影したままホワイトボード等の投影面を撮影した場合に、撮影画像の中から紙付箋の領域を容易に識別できるようにする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、所定の領域の内部に、情報が記載された物理媒体が配置され、かつ、電子情報が表示されるシステムであって、表示部に対し、電子情報を前記所定の領域に表示させる表示制御手段と、前記所定の領域を撮影する撮影手段と、前記撮影手段にて撮影した画像から前記物理媒体の情報を抽出し、電子情報として記録部に保持する処理手段とを有し、前記表示制御手段は、前記所定の領域に前記電子情報を表示させる際に、前記所定の領域に配置された前記物理媒体の範囲と表示される前記電子情報の範囲とを区別するための画像情報を表示させ、前記処理手段は、前記撮影手段にて撮影した画像において、前記画像情報に基づき前記物理媒体の範囲を判定し、当該物理媒体の情報を抽出する。
【発明の効果】
【００１０】
本発明によれば、電子情報を投影したままの状態で撮影した画像から、貼り付けられている紙付箋等の物理媒体の領域を容易に識別できるようになる。
【図面の簡単な説明】
【００１１】
【図１】情報処理システムの構成例を示す図。
【図２】ＰＣ１０１１の構成例を示す図。
【図３】携帯端末１５１の構成例を示す図。
【図４】表示装置を用いたブレインストーミングの操作と表示を示す図。
【図５】紙付箋を電子付箋に変換する例を説明するための図。
【図６】電子付箋情報を示す図。
【図７】電子付箋情報の具体例を示す図。
【図８】紙付箋を電子化するシーケンス。
【図９】会議端末の盤面画像を表示するフローチャート。
【図１０】罫線付き付箋盤面画像を生成するフローチャート。
【図１１】会議端末の盤面画像を撮影しサーバに送付するフローチャート。
【図１２】付箋画像抽出処理を示すフローチャート。
【図１３】付箋抽出情報を示す図。
【図１４】付箋抽出情報の具体例を示す図。
【図１５】盤面画像の撮影画像から紙付箋部分を電子化するフローチャート。
【図１６】携帯端末を用いたブレインストーミングの操作と表示を示す図。
【図１７】携帯端末で電子付箋を生成するシーケンス。
【図１８】携帯端末の盤面画像を表示するフローチャート。
【図１９】携帯端末から直接電子付箋を生成するフローチャート。
【図２０】電子付箋登録情報を示す図。
【図２１】電子付箋登録情報の具体例を示す図。
【図２２】サーバが電子付箋を登録するフローチャート。
【図２３】実施例２に係る無地背景盤面を示す図。
【図２４】実施例２に係る紙付箋を電子付箋に変換する図。
【図２５】実施例２に係る無地背景付き付箋盤面画像を生成するフローチャート。
【図２６】実施例２に係る会議端末の盤面画像を撮影しサーバに送付するフローチャート。
【図２７】実施例２に係る付箋画像抽出処理を示すフローチャート。
【図２８】実施例２に係る付箋抽出情報を示す図。
【図２９】実施例２に係る付箋抽出情報の具体例を示す図。
【図３０】実施例２に係る盤面画像の撮影画像から紙付箋部分を電子化するフローチャート。
【図３１】実施例３に係る情報処理システムの構成を示す図。
【図３２】実施例３に係る表示装置を用いたブレインストーミングの操作と表示を示す図。
【図３３】実施例３に係る盤面画像の撮影画像から紙付箋部分を電子化するフローチャート。
【発明を実施するための形態】
【００１２】
＜実施例１＞
［システム構成］
図１は、本実施形態における情報処理システムの構成を示す図である。サーバ１０１は、ネットワーク１０２上に設置され、会議室１１０の会議端末１１１や、無線ＬＡＮルータ１５２経由で携帯端末１５１と接続される。
【００１３】
会議室１１０には、表示制御装置としての会議端末１１１、撮影装置としてのデジタルカメラ１１３、および表示装置１１５が配置される。会議端末１１１は、サーバ１０１とのデータの送受信を行い、表示装置１１５での表示を制御する。表示装置１１５は、プロジェクタ１１２とホワイトボード１１４とを備える。そして、プロジェクタ１１２が投影した画像が、ホワイトボード１１４の領域の内部に表示される。また、ホワイトボード１１４にはブレインストーミングにおいてアイデアが書き込まれた紙付箋を貼り付けるためにも用いる。デジタルカメラ１１３はホワイトボード１１４の盤面を撮影し、プロジェクタ１１２で投影した画像と貼り付けられた紙付箋をまとめて撮影する。撮影されたデジタルカメラ１１３の画像のデータは、その画像に含まれる紙付箋の情報を電子化するために会議端末１１１からサーバ１０１に送付される。
【００１４】
なお、図１の構成例では、サーバ１０１をネットワーク１０２上に設けているが、これに限るものではない。例えば、会議端末１１１がサーバとしての機能を兼用するように構成しても構わない。
【００１５】
携帯端末１５１は、会議端末１１１と同様にサーバ１０１とデータの送受信を行い、携帯端末１５１に備えられた表示部の表示制御をする。具体的には、携帯端末１５１は、会議室１１０内のホワイトボード１１４に貼りつけられた紙付箋を電子化した画像を自身の表示部に表示する。また、携帯端末１５１側で電子的に作成した電子付箋の情報をサーバ１０１に送付する。
【００１６】
携帯端末１５１は、会議室１１０の外でも利用可能で、無線ＬＡＮルータ１５２経由でネットワーク１０２に接続されている。もちろん、有線ＬＡＮ（不図示）でネットワーク１０２に接続されても構わない。また、図１において、携帯端末１５１は１台のみが示されているが、複数の携帯端末が用いられていても構わない。更に、会議室１１０とは異なる拠点がネットワーク１０２上に存在し、連携するような構成であっても構わない。
【００１７】
サーバ１０１は、会議端末１１１から送付されたホワイトボード１１４上の盤面を撮影した画像から紙付箋を抽出し、電子化して電子付箋として保持する。また、サーバ１０１は、携帯端末１５１側で電子的に作成された電子付箋の情報も併せて保持する。
【００１８】
会議室１１０の会議端末１１１と携帯端末１５１は、ネットワーク１０２を介して接続されているサーバ１０１を経由して、表示データのやり取りを行う。表示データの具体例としてはホワイトボード１１４に貼付した紙付箋の画像、携帯端末１５１で作成した電子付箋の画像である。
【００１９】
なお、音声については、周知の技術を用いた既存の電話会議システム、ＴＶ会議システム、ＷＥＢ会議システムなどを利用し、会議における音声のやり取りを行う。これらの音声の通信については、周知の技術を応用すればよいので、本実施例では説明を省略する。
【００２０】
なお、本実施形態では、会議室１１０において糊付き紙付箋がホワイトボード１１４などのスクリーンに貼られた場合を用いて説明するが、本発明は、糊付き紙付箋に限るものではない。例えば、紙付箋の代わりに物理媒体として文書やカードがテープ等を用いて貼られた場合や、マグネットなどの吸着手段によって貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材（プラスチックや布など）であってもよい。
【００２１】
以下の説明では、ホワイトボード（スクリーン）に貼られた付箋や文書を、その素材とは無関係に、紙付箋（または紙文書）と呼ぶこととする。また、その紙付箋に対して撮影やスキャン等を行うことにより電子化した付箋データ（電子情報）を電子付箋（または電子文書）と呼んで区別することとする。また、携帯端末１５１側からの指示により電子的に生成された付箋データも電子付箋として記載する。
【００２２】
［会議端末の内部構成］
図２は、本実施形態における会議端末１１１の構成例を示す図である。会議端末１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、外部メモリＩ／Ｆ２０７、および外部Ｉ／Ｆ２０８を含み、それらはシステムバス２０４で接続されている。キーボードＩ／Ｆ２０５を介して接続されているキーボード２０９は、ユーザからの各種操作を受け付ける。ディスプレイＩ／Ｆ２０６にはプロジェクタ１１２が接続され、会議端末１１１はプロジェクタ１１２を介してホワイトボードに画像を投影する。外部Ｉ／Ｆ２０８にはデジタルカメラ１１３が接続され、会議端末１１１はデジタルカメラ１１３で撮影した紙付箋の画像を取り込む。また、本実施形態では、ユーザがキーボード２０９を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ１１２で表示させることができるものとする。
【００２３】
ＣＰＵ（プロセッサ）２０１は、会議端末１１１全体の制御を行うものであり、記録部であるＲＯＭ２０３や外部メモリ２１０などに記憶された本発明を実現するプログラムを、ＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、会議端末１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。尚、サーバ１０１の構成も会議端末１１１と同様であるとし、ここでの詳細な説明は省略する。
【００２４】
［携帯端末の内部構成］
図３は、携帯端末１５１の構成例を示す図である。携帯端末１５１は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ディスプレイＩ／Ｆ３０５、外部メモリＩ／Ｆ３０６、および外部Ｉ／Ｆ３０７を含み、それらはシステムバス３０４で接続されている。さらに、携帯端末１５１は、内蔵のカメラである撮像部３０８、および、タッチパネル機能を有する表示部（内蔵ディスプレイ）３０９を備える。
【００２５】
ＣＰＵ３０１は、携帯端末１５１全体の制御を行うものであり、記録部であるＲＯＭ３０３、ＲＡＭ３０２、外部メモリＩ／Ｆ３０６に接続された外部メモリ（ＨＤＤなど）３１０に記憶された本発明を実現するプログラムを読み込み、各種処理を実行する。ＲＯＭ３０３は、ＣＰＵ３０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ３０２は、ワークメモリとして用いられる。
【００２６】
携帯端末１５１は、携帯端末１５１が備えるディスプレイ（表示部３０９）を用いて、サーバ１０１に記憶される電子付箋の情報を表示するための仮想の電子ホワイトボードを表示する。もちろん、ディスプレイＩ／Ｆ３０５を介してプロジェクタ（不図示）や一般的なモニタ（不図示）に接続し、携帯端末１５１の表示部３０９以外にて電子付箋を表示しても構わない。
【００２７】
［表示装置を用いたブレインストーミングの操作と表示］
図４は、本実施形態における表示装置１１５を用いたブレインストーミングの操作と表示を示す図である。ホワイトボード１１４の盤面状態を追って説明する。図５は、本実施形態における紙付箋を電子付箋に変換する処理を説明するための図である。ホワイトボード１１４の盤面を撮影した画像を画像処理する様子を示す。以下、図４と図５を用いて、ブレインストーミングの進行状況、および紙付箋を電子付箋への変換を説明する。
【００２８】
図４に示すように、ブレインストーミングでは、ユーザはアイデアを紙付箋に書き込み、それらを会議室１１０に設置されたホワイトボード１１４に貼りつけて進める。ホワイトボード１１４に貼られた紙付箋は、ホワイトボード１１４の盤面全体をデジタルカメラ１１３で撮影され、サーバ１０１にてその撮影画像に基づいて電子付箋として変換された後、保存・管理される。本実施形態では盤面全体の撮影画像から紙付箋の情報を抽出して電子付箋に変換する。
【００２９】
また携帯端末１５１で作成した電子付箋の画像が、会議室１１０内のホワイトボード１１４にプロジェクタ１１２によって投影される。デジタルカメラ１１３にて撮影された撮影画像にはホワイトボード１１４に貼られた紙付箋と、プロジェクタ１１２により投影された電子付箋とが混在する。本実施形態においては、ホワイトボード１１４に罫線付き背景画像を投影し、ホワイトボード１１４に貼り付けた紙付箋に背景画像が重畳して投影されるようにする。一方、投影する電子付箋の領域には背景画像が重畳して表示されないように制御する。そして、盤面全体の撮影画像に対して付箋の抽出と、抽出した付箋画像に投影した罫線が含まれるか否かを判定する画像処理とを行うことで紙付箋と電子付箋を区別し、紙付箋のみを電子付箋に変換する。
【００３０】
図４（Ａ）は、会議室１１０に設置した表示装置１１５の初期状態を示す。ホワイトボード１１４には紙付箋が一つも貼られていない。ホワイトボード１１４にはプロジェクタ１１２により会議端末１１１で生成した背景画像５８０を投影する。このとき、投影する画像の中に電子付箋は一つも含まれていない。会議端末１１１は、デジタルカメラ１１３にてホワイトボード１１４の盤面全体の画像を撮影し、サーバ１０１に送付する。この時点では、紙付箋は一つも存在しないので電子付箋として保存されるものは無い。
【００３１】
図４（Ｂ）は、ホワイトボード１１４に紙付箋５０１を一つ貼った状態である。紙付箋５０１上にはプロジェクタ１１２により罫線付きの背景画像５８０が重畳して投影される。よって紙付箋５０１の上に背景画像５８０が重ねて表示される。この状態でホワイトボード１１４を撮影し、その撮影画像から紙付箋５０１を電子付箋に変換する様子を図５（Ａ）に示す。
【００３２】
図５（Ａ）に示すように、まず輪郭抽出処理により紙付箋５０１の画像を撮影画像の中から抽出する。更に紙付箋５０１の画像から背景画像の罫線部のみを抽出し、画像５３１として生成される。画像５３１により、紙付箋５０１に背景画像の罫線部が含まれており、紙付箋５０１は紙付箋であると判定する。紙付箋５０１の画像から背景画像の罫線部を消去処理し、紙付箋５０１を電子変換した画像５５１を得る。本処理の詳細はフローチャートで後述する。
【００３３】
図４（Ｃ）は、ホワイトボード１１４に紙付箋が３つ貼付され（紙付箋５０１、５０２、５０３）、更に携帯端末１５１側で作成された電子付箋５２４がホワイトボード１１４上に投影して表示された状態である。図４（Ｃ）に示すように、電子付箋５２４は背景画像５８０の上に合成される。よって、電子付箋５２４の領域内には罫線が表示されない。一方、各紙付箋の上には背景画像５８０が重ねて表示される。この状態でホワイトボード１１４を撮影し、その撮影画像から紙付箋を電子付箋に変換する様子を図５（Ｂ）に示す。
【００３４】
図５（Ｂ）に示すように、輪郭抽出処理により紙付箋５０１、５０２、５０３、そしてプロジェクタ１１２で投影された電子付箋５２４の画像をそれぞれ抽出する。付箋画像から背景画像の罫線部のみを抽出し、画像５３１、５３２、５３３、５３４としてそれぞれ生成される。そして、これらの付箋背景抽出画像により、背景画像の罫線部が含まれる付箋は、紙付箋であると判定する。ここでは、紙付箋５０１、５０２、５０３が紙付箋であると判定され、それぞれに対して背景画像の罫線部を消去処理し、紙付箋を電子変換した画像５５１、５５２、５５３を得る。
【００３５】
図４（Ｄ）は、図４（Ｃ）の状態から紙付箋５０１をはがした状態を示す。紙付箋５０１は既に図４（Ｃ）で電子付箋に変換している。ホワイトボード１１４上において、電子変換した紙付箋が抽出されないことを検知した場合、図４（Ｅ）に示すように、図５（Ｂ）の画像５５１が電子付箋５２１としてプロジェクタ１１２を用いて投影される。
【００３６】
［電子付箋情報］
図６は、本実施形態における電子付箋情報の構成例を示す図である。一つの電子付箋情報７０１は、ヘッダ部７０２とデータ部７０３を有する。ヘッダ部７０２は、「ＩＤ」、「入力状態」、「貼付時間」、「貼付状態ＯＮ／ＯＦＦ」、「貼付場所」、「付箋配置座標ｐｌｏｔＸ」、「付箋配置座標ｐｌｏｔＹ」、「付箋サイズｓｉｚｅＸ」、および「付箋サイズｓｉｚｅＹ」を含む。「ＩＤ」は、各電子付箋を識別するための識別子である。「入力状態」は、入力状態が紙であるか電子であるかを示す。「貼付時間」は、付箋が貼付された時刻を示す。「貼付状態ＯＮ／ＯＦＦ」は、電子付箋に対応する紙付箋がある場合、紙付箋がホワイトボードに貼付されたままの状態であるか剥がされた状態であるかを示す。「貼付場所」は、付箋の貼付場所を示す。「付箋配置座標ｐｌｏｔＸ」と「付箋配置座標ｐｌｏｔＹ」は、ホワイトボードにおける付箋領域の位置を示す。「付箋サイズｓｉｚｅＸ」と「付箋サイズｓｉｚｅＹ」は、ホワイトボードにおける付箋領域のサイズを示す。
【００３７】
貼付場所には、ホワイトボード上に貼り付けられた紙付箋の取り込みにより電子付箋が作成された場合は紙付箋が貼付された会議室の名前が格納され、携帯端末等により電子付箋が直接作成された場合は携帯端末の名前が格納される。例えば、会議室１１０のホワイトボード１１４に貼付された紙付箋から作成された電子付箋である場合は、格納場所に「会議室１１０」が格納される。一方、携帯端末１５１を操作する事で作成された電子付箋である場合は、格納場所に「携帯端末１５１」が格納される。
【００３８】
貼付状態には、紙付箋の取り込みにより作成された電子付箋で、且つ対応する紙付箋がホワイトボード上に貼付されている状態である場合は「ＯＮ」が格納される。一方、紙付箋が貼付されていない（剥離された）状態である場合は「ＯＦＦ」が貼付状態に格納される。また、対応する紙付箋が無い場合、即ち携帯端末等により直接作成された電子付箋である場合は、「ＯＦＦ」が格納状態に格納される。付箋配置座標は、ホワイトボードの左上を原点とした座標系における付箋の中央位置のＸ軸Ｙ軸上の座標であり、付箋サイズは付箋のＸ軸Ｙ軸上の大きさである。図４においては、横方向をＸ軸、縦方向をＹ軸として定義している。
【００３９】
データ部７０３は、「付箋画像データ」および「テキストデータ」を含む。付箋画像データには、付箋の画像が格納される。ホワイトボード１１４を撮影した画像から抽出した付箋画像または携帯端末等によって直接作成された電子付箋に対応する付箋画像が格納される。ここでの画像の形式は特に限定しない。なお、画像データの格納場所のパスが「付箋画像データ」に格納されていても構わない。テキストデータには、携帯端末等への入力によって作成された電子付箋であれば入力されたテキストデータ、ホワイトボード１１４を撮影した画像から抽出した付箋画像の場合にはＮＵＬＬが格納される。
【００４０】
図７は、本実施形態における電子付箋情報の具体例を示す図である。図７は、図４（Ｃ）のホワイトボード１１４に対応する電子付箋情報を示す。複数の電子付箋情報がひとまとまりのテーブルで構成された電子付箋情報テーブル８２１としてサーバ１０１に保持・管理される。
【００４１】
紙付箋５０１に対応する電子付箋情報８５１のヘッダ部において、ＩＤが「１」、入力状態は紙付箋なので「紙」、貼付された時間が「１０時０分０秒」、紙付箋５０１はホワイトボード１１４に貼付された状態なので貼付状態は「ＯＮ」、貼付場所は「会議室１１０」、付箋配置座標は（ｐｌｏｔｘ１，ｐｌｏｔｙ１）、付箋サイズは（ｓｉｚｅｘ１，ｓｉｚｅｙ１）である。データ部において、付箋画像データがｂｉｔｍａｐ＿ｄａｔ１．ｊｐｇ、テキストデータは（ｎｕｌｌ）である。同様に紙付箋５０２、５０３に対応する電子付箋情報はそれぞれ電子付箋情報８５２、８５３である。
【００４２】
携帯端末１５１で作成した電子付箋５２４に対応する電子付箋情報８５４のヘッダ部において、ＩＤが「４」、入力状態は直接作成した電子付箋なので「電子」、貼付された時間が「１０時２分０秒」、直接作成した電子付箋なので貼付状態は「ＯＦＦ」、貼付場所は「携帯端末１５１」、付箋配置座標は（ｐｌｏｔｘ４，ｐｌｏｔｙ４）、付箋サイズは（ｓｉｚｅｘ４，ｓｉｚｅｙ４）である。データ部において、付箋画像データがｂｉｔｍａｐ＿ｄａｔ４．ｊｐｇ、テキストデータは「ＣＤＥＦ」である。
【００４３】
［紙付箋の電子化シーケンス］
図８は、本実施形態における紙付箋を電子化するシーケンスを示す。図８において盤面画像の表示を定期的に更新するシーケンスがｓｔ５０００とｓｔ５３００である。ｓｔ５０００でサーバ１０１は接続される全ての会議端末１１１、携帯端末１５１に電子付箋情報テーブルを送付する。会議端末１１１、携帯端末１５１は、受信した電子付箋情報テーブルに基づき、各表示部における盤面画像の表示を更新する。
【００４４】
図８において、会議室１１０のホワイトボード１１４の盤面から紙付箋の画像を電子付箋に変換するのがｓｔ５１００からｓｔ５１２０までのシーケンスである。ｓｔ５１００にて会議端末１１１は、電子付箋情報テーブルの最新情報を取得する要求をサーバ１０１に送信する。要求に応じて、ｓｔ５１１０にて、サーバ１０１は電子付箋情報テーブルを会議端末１１１に送信する。会議端末１１１は、盤面画像の表示を更新した上でホワイトボード１１４の盤面を撮影し、ｓｔ５１２０にてサーバ１０１に送信する。サーバ１０１は、会議端末１１１から受信した盤面画像を用いて付箋抽出処理を実行し、紙付箋を電子付箋に変換して電子付箋情報テーブルを更新する。
【００４５】
紙付箋の画像を電子付箋に変換する処理は定期的に実行される。定期的に実行されることをｓｔ５５００からｓｔ５５２０に示す。つまり、ｓｔ５５００からｓｔ５５２０までのシーケンスは、ｓｔ５１００からｓｔ５１２０までのシーケンスと同様である。なお、実行間隔は、ユーザが設定できるように構成しても良いし、システム側で制御できるようにしても構わない。
【００４６】
［会議端末側の盤面の表示］
図９は、会議端末１１１における盤面画像を表示する処理のフローチャートである。図９の処理は会議端末１１１で実行され、サーバ１０１から受信した電子付箋情報に基づきプロジェクタ１１２を用いてホワイトボード１１４に盤面画像を表示するものである。図８のｓｔ５０００のシーケンスに伴って実行される会議端末１１１の処理である。
【００４７】
Ｓ１０００にて、会議端末１１１は、サーバ１０１から電子付箋情報を受信する。Ｓ１０１０にて、会議端末１１１は、罫線付き付箋盤面画像を生成する。Ｓ１０１０の処理については、図１０で後述する。そしてＳ１０２０にて、会議端末１１１は、Ｓ１０１０において生成した罫線付き付箋盤面画像を、プロジェクタ１１２を用いてホワイトボード１１４に投影し表示する。
【００４８】
図１０は、罫線付き付箋盤面画像を生成するフローチャートである。図１０の処理は会議端末１１１で実行され、紙付箋と電子付箋を判別するための罫線付きの背景画像の上に電子付箋を描画合成する処理である。具体的な例として、図７の電子付箋情報テーブル８２１をサーバ１０１から受信した会議端末１１１が、図４（Ｃ）に示したように電子付箋５２４と電子付箋以外の領域に罫線付きの背景画像５８０が含まれる画像とを生成する処理である。
【００４９】
Ｓ１１００にて、会議端末１１１は、ホワイトボード１１４に投影する罫線付き背景画像を生成する。ここで生成される罫線付き背景画像は、図４（Ａ）に示した背景画像５８０に対応する。Ｓ１１１０にて、会議端末１１１は、サーバ１０１から受信した電子付箋情報テーブル８２１に電子付箋情報が含まれるか否かを判定する。電子付箋情報が含まれる場合（Ｓ１１１０にてＹＥＳ）Ｓ１１２０へ進み、含まれていなければ（Ｓ１１１０にてＮＯ）本処理を終了する。電子付箋情報テーブル８２１の具体例は図７で説明した通りであり、４つの電子付箋情報が含まれている例を示す。
【００５０】
Ｓ１１２０にて、会議端末１１１は、電子付箋情報テーブル８２１から１つの電子付箋情報のヘッダを解析する。具体的には、会議端末１１１は、ＩＤの先頭から順に一つずつ解析する。Ｓ１１３０にて、会議端末１１１は、Ｓ１１２０にて解析した電子付箋情報のヘッダ部で示された貼付状態が「ＯＮ」であり、かつ、貼付場所が会議端末１１１の設置場所と一致するか否かを判定する。本条件を満たす場合（Ｓ１１３０にてＹＥＳ）、会議端末１１１は、Ｓ１１５０に処理を進める。これは、プロジェクタ１１２が投影するホワイトボード１１４上に紙付箋が存在するため、対応する電子付箋画像は投影させないようにするための制御である。
【００５１】
一方、上記条件を満たさない場合（Ｓ１１３０にてＮＯ）Ｓ１１４０へ進む。Ｓ１１４０にて、会議端末１１１は、背景画像上において、電子付箋情報で示される付箋画像データを付箋配置座標の位置に付箋サイズで示された大きさで描画する。具体的な例として、図７のＩＤ＝４の電子付箋情報８５４に対し、ｂｉｔｍａｐ＿ｄａｔ４．ｊｐｇという付箋画像データが、付箋配置座標（ｐｌｏｔｘ４，ｐｌｏｔｙ４）の位置に付箋サイズ（ｓｉｚｅｘ４，ｓｉｚｅｙ４）の大きさで描画される。ここで表示される図７のＩＤ＝４の電子付箋情報８５４の付箋画像は、図４（Ｃ）に示した電子付箋５２４に対応する。
【００５２】
また、ＩＤ＝１、ＩＤ＝２、ＩＤ＝３の電子付箋情報８５１、８５２、８５３は貼付状態が「ＯＮ」かつ貼付場所が「会議室１１０」であるため、Ｓ１１３０の判定でＹＥＳとなり、これらの電子付箋情報の付箋画像データは背景画像に描画されない。
【００５３】
Ｓ１１５０にて、会議端末１１１は、電子付箋情報テーブルに未処理の電子付箋情報があるか否かを判定する。未処理の電子付箋情報があれば（Ｓ１１５０にてＹＥＳ）Ｓ１１２０の処理へ戻り、次の未処理の電子付箋情報を処理対象として処理を繰り返す。未処理の電子付箋情報がなければ（Ｓ１１５０にてＮＯ）、本処理を終了する。
【００５４】
［会議端末の盤面の撮影］
図１１は、会議端末１１１がホワイトボード１１４上の盤面画像を撮影し、サーバ１０１に送付するフローチャートである。図１１の処理は会議端末１１１で実行され、罫線付き付箋盤面画像を最新状態に表示した上で盤面全体を撮影した画像をサーバ１０１に送付するものである。図８のｓｔ５１００からｓｔ５１２０までのシーケンスに伴って実行される会議端末１１１の処理である。
【００５５】
Ｓ１２００にて、会議端末１１１は、電子付箋情報をサーバ１０１に要求する。Ｓ１２１０にて、会議端末１１１は、要求に応じて送信された電子付箋情報をサーバ１０１から受信する。Ｓ１２２０にて、会議端末１１１は、罫線付き付箋盤面画像を生成する。本処理の詳細は、図１０にて説明した内容と同じであるため、ここでは説明を省略する。
【００５６】
Ｓ１２３０にて、会議端末１１１は、Ｓ１２２０にて生成した罫線付き付箋盤面画像を、プロジェクタ１１２を用いてホワイトボード１１４に投影し表示する。Ｓ１２４０にて、会議端末１１１は、デジタルカメラ１１３でホワイトボード１１４に投影された罫線付き付箋盤面を撮影する。Ｓ１２５０にて、会議端末１１１は、Ｓ１２４０にて撮影した罫線付き付箋盤面画像をサーバ１０１に送付する。そして、本処理を終了する。
【００５７】
［付箋画像抽出処理］
図１２は、付箋画像抽出処理を示すフローチャートである。サーバ１０１のＣＰＵ２０１がプログラムを実行することにより処理を実現する。本処理は図８で示したｓｔ５１２０のシーケンスに伴って実行されるサーバ１０１の付箋抽出処理である。ここでは会議端末１１１から受信した盤面撮影画像情報に対する付箋抽出処理を説明する。画像の受信から電子付箋情報の更新までの処理は後述する。
【００５８】
Ｓ１３００にて、サーバ１０１は、会議端末１１１から受信した盤面撮影画像情報に対して輪郭抽出処理を行う。輪郭抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に存在するオブジェクトの輪郭（紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など）を抽出する。なおオブジェクトの輪郭を抽出する際には輪郭抽出を容易にするために盤面撮影画像に含まれる罫線を無視するような処理を予め行っても良い。
【００５９】
Ｓ１３１０にて、サーバ１０１は、色判定処理を行う。色判定処理により、各オブジェクト（紙付箋や文字）の色を抽出する。更にＳ１３２０にて、サーバ１０１は、付箋領域判定処理を行う。付箋領域判定処理では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトの領域を付箋領域として判定する。例えば図４（Ｃ）に示した盤面撮影画像情報に対して上記処理を施すと紙付箋５０１、５０２、５０３、および電子付箋５２４の４つの付箋情報を付箋領域として判定する。
【００６０】
Ｓ１３３０にて、サーバ１０１は、Ｓ１３２０にて付箋領域と判定した領域に対して付箋領域切り出し処理を行い、紙付箋の一つ一つに対応した付箋領域の部分画像（付箋画像）を切り出す。具体的には図５（Ｂ）に示すように紙付箋５０１、５０２、５０３の付箋画像、および電子付箋５２４の付箋画像が切り出される。
【００６１】
Ｓ１３４０にて、サーバ１０１は、抽出した抽出情報を保持する付箋抽出情報を生成する。そして、本処理を終了する。付箋抽出情報は、付箋領域の位置とサイズ、そして抽出した付箋画像を含む情報である。
【００６２】
［付箋抽出情報］
図１３を用いて、付箋抽出情報の詳細を説明する。一つの付箋抽出情報７５１は、ヘッダ部７５２とデータ部７５３とを有する。ヘッダ部７５２は、「ＩＤ」、「付箋配置座標ｐｌｏｔＸ」、「付箋配置座標ｐｌｏｔＹ」、「付箋サイズｓｉｚｅＸ」、「付箋サイズｓｉｚｅＹ」を含む。「ＩＤ」は、各電子付箋を識別するための識別子である。「付箋配置座標ｐｌｏｔＸ」と「付箋配置座標ｐｌｏｔＹ」は、ホワイトボードにおける付箋領域の位置を示す。「付箋サイズｓｉｚｅＸ」と「付箋サイズｓｉｚｅＹ」は、付箋領域のサイズを示す。付箋配置座標は、ホワイトボード１１４の左上を原点とした座標系における付箋の中央位置のＸ軸Ｙ軸上の座標であり、付箋サイズは付箋のＸ軸Ｙ軸上の大きさである。
【００６３】
データ部７５３は、「付箋画像データ」を有する。付箋画像データには、付箋の画像が格納される。図１２で説明した付箋画像抽出処理においてホワイトボード１１４を撮影した画像から抽出した付箋画像が格納される。なお、「付箋画像データ」には、画像データが格納されたパスが格納されても構わない。
【００６４】
図１４は、付箋抽出情報の具体例を示す図である。図１４は、図４（Ｃ）のホワイトボード１１４に対して付箋抽出処理を行った結果の付箋抽出情報を示す。複数の付箋抽出情報が、ひとまとまりのテーブルで構成された付箋抽出情報テーブル７７１としてサーバ１０１に保持・管理される。
【００６５】
紙付箋５０１に対応する付箋抽出情報７８１のヘッダ部において、ＩＤが「１」、付箋配置座標は（ｐｌｏｔｘ１，ｐｌｏｔｙ１）、付箋サイズは（ｓｉｚｅｘ１，ｓｉｚｅｙ１）である。データ部において、付箋画像データはｂｉｔｍａｐ＿ｄａｔ１．ｊｐｇである。同様に紙付箋５０２、５０３、および電子付箋５２４に対応する付箋抽出情報はそれぞれ付箋抽出情報７８２、７８３、７８４である。
【００６６】
［紙付箋の電子化処理］
図１５は、盤面画像の撮影画像から紙付箋部分を電子化するフローチャートである。図１５の処理は、サーバ１０１で実行され、会議端末１１１から受信した罫線付き付箋盤面画像から紙付箋部分を抽出し電子化するものである。図８のｓｔ５１２０のシーケンスに伴って実行されるサーバ１０１の処理である。
【００６７】
Ｓ１４００にて、サーバ１０１は、会議端末１１１から罫線付き付箋盤面画像を受信する。Ｓ１４１０にて、サーバ１０１は、電子付箋情報テーブル８２１に含まれる電子付箋情報のうち、Ｓ１４００で受信した会議端末１１１に対応する電子付箋情報の貼付状態を全て「ＯＦＦ」にする。電子付箋情報は、図６、図７にて説明したように、電子付箋の情報を保持するものである。
【００６８】
Ｓ１４２０にて、サーバ１０１は、Ｓ１４００で受信した罫線付き付箋盤面画像から付箋画像を抽出して付箋抽出情報を生成する。なお本工程の詳細な処理は、図１２の付箋画像抽出処理を示すフローチャートにて説明した通りであるため、ここでの詳細な説明は省略する。付箋抽出情報は、図１３、図１４に示した通りである。
【００６９】
Ｓ１４２５にて、サーバ１０１は、図１４に示した付箋抽出情報テーブル７７１に処理対象の付箋抽出情報が存在するか否かを判定する。付箋抽出情報が存在する場合（Ｓ１４２５にてＹＥＳ）Ｓ１４３０へ進み、Ｓ１４２０で抽出された付箋が一つもなく処理対象の付箋抽出情報が存在しない場合（Ｓ１４２５にてＮＯ）は処理を終了する。
【００７０】
Ｓ１４３０にて、サーバ１０１は、付箋抽出情報テーブル７７１から付箋抽出情報を一つ取り出す。具体的には、サーバ１０１は、図１４で示した付箋抽出情報テーブル７７１のＩＤの先頭から順にひとつずつ取り出す。Ｓ１４３５にて、サーバ１０１は、付箋抽出情報の付箋画像データに対して罫線抽出処理を行う。罫線抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に含まれる罫線情報を抽出する。例えば図５（Ｂ）の紙付箋５０１の付箋画像に対して罫線抽出処理を施すと、画像に含まれる罫線部のみを抽出した画像５３１が得られる。一方、電子付箋５２４の付箋画像に対して罫線抽出処理を施すと、電子付箋５２４の画像には罫線が含まれないので罫線が含まれない画像５３４が得られる。
【００７１】
Ｓ１４４０にて、サーバ１０１は、Ｓ１４３５の罫線抽出処理の結果を参照し、付箋画像内に罫線が含まれるか否かを判定する。罫線が含まれる場合（Ｓ１４４０にてＹＥＳ）、サーバ１０１は対象の付箋は紙付箋であると判定し、電子化の処理を行うためにＳ１４４５へ進む。罫線が含まれない場合（Ｓ１４４０にてＮＯ）、サーバ１０１は対象の付箋は電子付箋であると判定し、電子化の処理をスキップしてＳ１４７０へ進む。
【００７２】
Ｓ１４４５にて、サーバ１０１は、付箋抽出情報の付箋画像データに対して罫線消去画像処理を行う。罫線消去画像処理は例えば、付箋画像の輝度を調整し、罫線に対応する色を消去することで、付箋に書かれた情報（ここでは文字列）のみを含む画像を抽出する。例えば図５（Ｂ）の紙付箋５０１の画像に対して罫線消去処理を施すと、画像に含まれる罫線部を消去した画像５５１が得られる。
【００７３】
Ｓ１４５０にて、サーバ１０１は、電子付箋情報テーブル８２１から、（ｉ）Ｓ１４００で受信した会議端末１１１に対応する貼付場所が同一であり、かつ、（ｉｉ）入力状態が「紙」であり、かつ、（ｉｉｉ）付箋抽出情報に含まれる付箋配置座標情報（ｐｌｏｔＸ，ｐｌｏｔＹ）が同一である、電子付箋情報を検索する。なお、上記（ｉｉｉ）の条件において、付箋配置座標が完全に一致するものに限定するものではなく、一定範囲の近傍に存在した場合に一致すると判定するように構成しても構わない。そして、対応する電子付箋情報が電子付箋情報テーブル８２１に存在する場合（Ｓ１４５０にてＹＥＳ）、Ｓ１４６０へ進み、存在しなければ（Ｓ１４５０にてＮＯ）Ｓ１４６５へ進む。
【００７４】
Ｓ１４６０にて、サーバ１０１は、Ｓ１４４５で得た罫線消去画像を、Ｓ１４５０で検索した電子付箋情報の付箋画像データ部に格納する。Ｓ１４６２にて、サーバ１０１は、Ｓ１４５０で検索した電子付箋情報の貼付状態を「ＯＮ」にし、Ｓ１４７０へ進む。
【００７５】
電子付箋情報を更新する処理の具体的な一例を説明する。ここでは、図１４の付箋抽出情報７８１を処理した場合を説明する。図１４の付箋抽出情報７８１には付箋配置座標情報として（ｐｌｏｔｘ１，ｐｌｏｔｙ１）が格納されている。一方、サーバ１０１が管理する図７の電子付箋情報テーブル８２１を参照すると、会議端末１１１に対応した貼付場所が「会議室１１０」で一致し、かつ入力状態が「紙」であり、かつ付箋配置座標（ｐｌｏｔｘ１，ｐｌｏｔｙ１）で一致する電子付箋情報８５１を検索できる。この場合、サーバ１０１は電子付箋情報が存在すると判定し、電子付箋情報８５１の付箋画像データ部に、Ｓ１４４５にて罫線消去処理を施した図５（Ｂ）に示す画像５５１をｂｉｔｍａｐ＿ｄａｔ１．ｊｐｇとして保存し電子付箋情報を更新する。更にサーバ１０１は、電子付箋情報８５１の貼付状態を「ＯＮ」に設定する。
【００７６】
一方、電子付箋情報を新規作成する一例を説明する。具体例として、図１４の付箋抽出情報７８１から図７の電子付箋情報テーブル８２１に新たなＩＤを割り振った電子付箋情報８５１を作成する場合を説明する。図７の電子付箋情報８５１を新規に作成すると、ＩＤは「１」、入力状態には「紙」、貼付時間には電子付箋情報を作成した時刻、貼付状態には「ＯＮ」、貼付場所には会議端末１１１が設置された会議室名である「会議室１１０」がそれぞれ格納される。そして、付箋配置座標と付箋サイズには、付箋抽出情報７８１に含まれる情報がそのまま格納される。更に、電子付箋情報８５１の付箋画像データ部に、Ｓ１４４５で罫線消去処理を施した図５（Ｂ）に示す画像５５１をｂｉｔｍａｐ＿ｄａｔ１．ｊｐｇとして格納する。テキストデータ部には（ｎｕｌｌ）が格納される。
【００７７】
Ｓ１４７０にて、サーバ１０１は、未処理の付箋抽出情報が残っているか否かを判定する。未処理の付箋抽出情報が残っている場合（Ｓ１４７０にてＹＥＳ）、Ｓ１４３０の処理へ戻り、サーバ１０１は、次の付箋抽出情報に対し処理を繰り返す。未処理の付箋抽出情報が残っていない場合（Ｓ１４７０にてＮＯ）、処理を終了する。以上により、図１４の付箋抽出情報テーブル７７１に含まれる全ての付箋抽出情報を処理する。
【００７８】
［携帯端末を用いたブレインストーミングの操作と表示］
図１６は、本実施形態における携帯端末１５１を用いたブレインストーミングの操作と表示を示す図である。携帯端末１５１のタッチパネル機能を有する表示部３０９の盤面状態を追って説明する。
【００７９】
図１６を用いて、サーバ１０１に保存・管理されている電子付箋データを携帯端末１５１の表示部に表示する動作、および、電子付箋を携帯端末１５１から直接作成する動作を説明する。携帯端末１５１は、ユーザ操作に従って、電子付箋を生成または編集し、サーバ１０１に電子付箋を送付する。
【００８０】
図１６（Ａ）は、サーバ１０１に保存・管理されている３つの電子付箋１００１、１００２、１００３を携帯端末１５１の表示部３０９に表示した状態を示す。具体的には、図４（Ｃ）に示す会議室１１０のホワイトボード１１４に３つの紙付箋（紙付箋５０１、５０２、５０３）が貼り付けられ、その紙付箋に対応する電子付箋の付箋画像情報を携帯端末１５１の表示部３０９に表示した状態を示している。
【００８１】
図１６（Ｂ）〜（Ｄ）は、携帯端末１５１から電子付箋を直接作成する動作を説明する。具体的には、この手順で作成した電子付箋はサーバ１０１に電子付箋情報として保存され、図４（Ｃ）に示す会議室１１０のホワイトボード１１４へプロジェクタ１１２を用いて電子付箋５２４として投影される。
【００８２】
［携帯端末における電子付箋の生成シーケンス］
図１７は、本実施形態における携帯端末１５１で電子付箋を生成するシーケンスを示す。図１７において盤面画像の表示を定期的に更新するシーケンスがｓｔ５０００とｓｔ５３００である。ｓｔ５０００にてサーバ１０１は接続される全ての会議端末１１１、携帯端末１５１に電子付箋情報テーブルを送付する。会議端末１１１、携帯端末１５１は、受信した電子付箋情報テーブルに基づき、盤面画像の表示を更新する。図１７において携帯端末１５１にて生成した電子付箋の情報を登録するため、ｓｔ５５００のシーケンスにて、携帯端末１５１が電子付箋登録情報をサーバ１０１に送付する。
【００８３】
［携帯端末側の盤面の表示］
図１８は、携帯端末１５１の盤面画像を表示するフローチャートである。図１８の処理は携帯端末１５１で実行され、サーバ１０１から受信した電子付箋情報に基づき携帯端末１５１の表示部３０９に盤面画像を表示するものである。図１７のｓｔ５０００のシーケンスに伴って実行される携帯端末１５１の処理である。
【００８４】
Ｓ１５００にて、携帯端末１５１は、サーバ１０１から電子付箋情報を受信する。電子付箋情報は、図７で説明した電子付箋情報テーブル８２１の形式で受信するものとする。Ｓ１５１０にて、携帯端末１５１は、表示部３０９に表示する背景画像を生成する。背景画像は、模様無しの単色でも罫線付き画像でも構わず、任意の画像であるものとする。
【００８５】
Ｓ１５２０にて、携帯端末１５１は、サーバ１０１から受信した電子付箋情報テーブルに電子付箋情報が含まれるか否かを判定する。電子付箋情報が含まれる場合（Ｓ１５２０にてＹＥＳ）、Ｓ１５３０へ進み、電子付箋情報が含まれていない場合（Ｓ１５２０にてＮＯ）、Ｓ１５６０へ進む。電子付箋情報テーブルの具体例としては、図７で説明した４つの電子付箋情報が含まれたテーブルを用いる。
【００８６】
Ｓ１５３０にて、サーバ１０１は、電子付箋情報テーブルから一つの電子付箋情報のヘッダを解析する。具体的には、サーバ１０１は、ＩＤの先頭から順に一つずつ電子付箋情報を解析する。Ｓ１５４０にて、サーバ１０１は、背景画像上に電子付箋情報で示される付箋画像データを付箋配置座標の位置に付箋サイズで示された大きさで描画する。具体的な例として、図７のＩＤ＝４の電子付箋情報８５４に対し、ｂｉｔｍａｐ＿ｄａｔ４．ｊｐｇという付箋画像データを、付箋配置座標（ｐｌｏｔｘ４，ｐｌｏｔｙ４）の位置に付箋サイズ（ｓｉｚｅｘ４，ｓｉｚｅｙ４）の大きさで描画する。ここでの付箋画像は、図４（Ｃ）に示した電子付箋５２４に対応する。電子付箋情報テーブルに含まれる全ての電子付箋情報を順に処理を行うことでＩＤ＝１，２，３も同様に描画を行う。
【００８７】
Ｓ１５５０にて、サーバ１０１は、電子付箋情報テーブルに未処理の電子付箋情報があるか否かを判定する。未処理の電子付箋情報がある場合（Ｓ１５５０にてＹＥＳ）、Ｓ１５３０の処理へ戻り、未処理の電子付箋情報がない場合（Ｓ１５５０にてＮＯ）Ｓ１５６０へ進む。Ｓ１５６０にて、サーバ１０１は、生成した付箋盤面画像を表示部３０９に表示する。そして、本処理を終了する。
【００８８】
［携帯端末側の電子付箋の生成］
図１９は、本実施形態における携帯端末１５１から電子付箋を直接生成するフローチャートである。携帯端末１５１のタッチパネル機能を有する表示部３０９を用いて電子付箋を生成し、その電子付箋登録情報をサーバ１０１へ送付する処理を説明する。図１６に示した携帯端末１５１の操作と表示も併せて説明する。本実施例において、本処理により受付手段を実現する。
【００８９】
図１９は、携帯端末１５１の表示部３０９において、電子付箋を生成するフローチャートである。図１９のフローチャートで示す手順は、そのプログラムが携帯端末１５１のＲＯＭ３０３、ＲＡＭ３０２、外部メモリ（ＨＤＤなど）３１０のいずれかに格納され、ＣＰＵ３０１により実行される。
【００９０】
携帯端末１５１の表示部３０９には、図１６（Ａ）に示すように会議室１１０側のホワイトボード１１４を模した画面が表示される。図１６（Ａ）では、前述の携帯端末１５１の盤面画像の表示処理によって３つの電子付箋１００１、１００２、１００３が表示部３０９に示されている。
【００９１】
Ｓ１６００にて、携帯端末１５１のＣＰＵ３０１は、ユーザによる表示部３０９のタッチパネルのタッチ操作による指定位置の入力を受ける。ここでは、図１６（Ｂ）に示す位置１００４をユーザがタッチした例を用いて説明する。Ｓ１６１０にて、ＣＰＵ３０１は、ユーザにより指定された位置の座標を取得する。具体的には、図１６（Ｂ）に示す位置１００４の座標（ｐｌｏｔｘ４，ｐｌｏｔｙ４）が取得される。Ｓ１６２０にて、ＣＰＵ３０１は、表示部３０９の画面上に付箋生成画面を表示する。具体的には、図１６（Ｃ）に示す付箋生成画面１００５が表示される。
【００９２】
Ｓ１６３０にて、ＣＰＵ３０１は、付箋生成画面において新規付箋のテキストデータをユーザに入力させる。具体的には、図１６（Ｃ）に示す付箋生成画面１００５の入力領域１００６にテキストが入力される。ここでは、テキストとして文字列「ＣＤＥＦ」が入力されるものとする。ユーザによるデータ入力が終了すると、Ｓ１６４０にて、ＣＰＵ３０１はＳ１６３０で入力されたデータをテキストデータとして含む電子付箋登録情報を作成する。ここで作成される電子付箋登録情報の構造は図２０、図２１用いて後述する。
【００９３】
Ｓ１６５０にて、ＣＰＵ３０１は、作成した電子付箋を表示部３０９に表示する。図１６（Ｄ）に示すように、ユーザが指定した位置１００４を中心とする座標（ｐｌｏｔｘ４，ｐｌｏｔｙ４）に電子付箋１００７が表示される。Ｓ１６６０にて、ＣＰＵ３０１は、作成した電子付箋登録情報をサーバ１０１に送付する。そして、本処理を終了する。
【００９４】
ここでは携帯端末１５１を用いて説明したが、携帯端末１５１の代わりに、一般的なノートＰＣやデスクトップＰＣであっても構わない。
【００９５】
［電子付箋登録情報］
図２０は、電子付箋登録情報の構成例を示す図である。一つの電子付箋登録情報９２１は、ヘッダ部９５２およびデータ部９５３を有する。ヘッダ部９５２は、「付箋配置座標ｐｌｏｔＸ」、「付箋配置座標ｐｌｏｔＹ」、「付箋サイズｓｉｚｅＸ」、「付箋サイズｓｉｚｅＹ」を含む。「付箋配置座標ｐｌｏｔＸ」と「付箋配置座標ｐｌｏｔＹ」は、盤面における付箋領域の位置を示す。「付箋サイズｓｉｚｅＸ」と「付箋サイズｓｉｚｅＹ」は、付箋領域のサイズを示す。付箋配置座標は、盤面の左上を原点とした座標系における付箋の中央位置のＸ軸Ｙ軸上の座標であり、付箋サイズは盤面の左上を原点とした座標系におけるＸ軸Ｙ軸上の付箋の大きさである。図１６に示す携帯端末１５１の表示部３０９において、横方向をＸ軸とし、縦方向をＹ軸としている。
【００９６】
データ部９５３は、「付箋画像データ」、「テキストデータ」を含む。付箋画像データには、付箋の画像が格納される。具体的には、図１９で説明した電子付箋を生成する処理において生成した電子付箋の付箋画像が格納される。テキストデータには、携帯端末１５１が表示した付箋生成画面１００５に入力されたテキストデータが格納される。
【００９７】
図２１は、電子付箋登録情報の具体例を示す図である。図２１は、図１６（Ｃ）で作成した電子付箋情報をサーバ１０１に登録する場合の例を示す。携帯端末１５１は、一つの電子付箋登録情報を含む電子付箋登録情報テーブル９７１を生成し、サーバ１０１へ送付する。図１６（Ｄ）の電子付箋１００７に対応する電子付箋登録情報９８１のヘッダ部において、付箋配置座標には（ｐｌｏｔｘ４，ｐｌｏｔｙ４）、付箋サイズには（ｓｉｚｅｘ４，ｓｉｚｅｙ４）が格納される。データ部において、付箋画像データにはｂｉｔｍａｐ＿ｄａｔ４．ｊｐｇ、テキストデータには文字列“ＣＤＥＦ”が格納される。
【００９８】
［電子付箋登録処理］
図２２は、サーバ１０１が電子付箋を登録するフローチャートである。図２２の処理はサーバ１０１で実行され、携帯端末１５１から受信した電子付箋登録情報テーブルから電子付箋情報を登録するものである。図１７のｓｔ５５００のシーケンスに伴って実行されるサーバ１０１の処理である。
【００９９】
Ｓ１７００にて、サーバ１０１は、電子付箋登録情報を受信する。電子付箋登録情報は、図２１にて示した電子付箋登録情報テーブル９７１の形式で受信する。Ｓ１７１０にて、サーバ１０１は、電子付箋情報を新規作成する。そして、本処理を終了する。
【０１００】
具体例として、図２１の電子付箋登録情報９８１から図７の電子付箋情報テーブル８２１に新たなＩＤを割り振った電子付箋情報８５４を作成する場合を説明する。図７の電子付箋情報８５４を新規に作成すると、ＩＤ番号には「４」、入力状態には「電子」、貼付時間には電子付箋登録情報を受信した時刻、貼付状態には電子付箋であることを示す「ＯＦＦ」、貼付場所には携帯端末１５１の名称である「携帯端末１５１」が格納される。そして、付箋配置座標と付箋サイズには、電子付箋登録情報９８１に含まれる情報がそのまま格納される。更に、付箋画像データとテキストデータにも電子付箋登録情報９８１に含まれる情報がそのまま格納される。
【０１０１】
以上説明したように、本実施例によれば、ホワイトボードに貼られた紙付箋と、プロジェクタにより投影された電子付箋が混在した盤面撮影画像に対して画像処理をすることで紙付箋と電子付箋を区別し、紙付箋のみを電子付箋に変換することができる。これにより、情報処置システムにおいて、盤面を表示する際のユーザ操作が不要となる。更には撮影時のプロジェクタの画面の切り替えによるちらつきを減少させることができる。その結果、本願発明により、ユーザの利便性を向上させることができる。
【０１０２】
なお、本実施例において紙付箋と電子付箋とを区別するために、罫線を画像内に含めるように表示した。しかし、この構成に限定するものではなく、いずれの種類の付箋であるかを区別できれば他の画像（パターン画像）を用いても構わない。また、ユーザが所定のパターン画像を指定できるようにしても構わない。
【０１０３】
＜実施例２＞
実施例１においては盤面撮影を１回行う方法を説明したが、盤面撮影を罫線付き背景と無地背景の２回にわけて撮影する方法でも同様の処理が可能である。
【０１０４】
［実施例２の表示装置を用いたブレインストーミングの操作と表示］
図２３は、実施例２における無地背景盤面を用いた例を示す図である。実施例１の図４で説明した罫線付き背景盤面状態と組み合わせて、ホワイトボード１１４の盤面状態を追って説明する。
【０１０５】
図２４は、実施例２における紙付箋を電子付箋に変換する例を説明するための図である。ホワイトボード１１４の盤面を撮影した画像を画像処理する様子を示す。以下、図４、図２３、図２４を用いて、本実施例に係るブレインストーミングの進行状況と紙付箋を電子付箋への変換を説明する。
【０１０６】
図２３（Ａ）〜（Ｅ）と図４（Ａ）〜（Ｅ）は、盤面状態のそれぞれ無地背景を投影した場合と、罫線付き背景を投影した場合を示す。図４では背景に罫線付き背景画像５８０を投影するのに対して、図２３では無地背景画像５８５を投影する点が異なる。
【０１０７】
ブレインストーミングでは、ユーザはアイデアを紙付箋に書き込み、それらを会議室１１０に設置されたホワイトボード１１４に貼りつけて進める。ホワイトボード１１４に貼られた紙付箋は、デジタルカメラ１１３で撮影された盤面全体の撮影画像から抽出され、サーバ１０１で電子付箋として保存・管理する。本実施形態では、罫線付き背景画像と無地背景画像を投影した２種類の盤面全体の撮影画像から紙付箋を抽出し、電子付箋に変換する。また、携帯端末１５１で作成した電子付箋の画像をホワイトボード１１４にプロジェクタ１１２で投影する。
【０１０８】
撮影画像にはホワイトボード１１４に貼られた紙付箋と、プロジェクタ１１２により投影された電子付箋が混在する。本実施形態においては２種類の画像を撮影する。１つ目は図２３に示したホワイトボード１１４に無地背景画像を投影して盤面全体を撮影した画像（第１の撮影画像）である。２つ目は図４に示したホワイトボード１１４に罫線付き背景画像を投影し、ホワイトボード１１４に貼りつけた紙付箋に背景画像が投影されるようにして撮影した盤面全体の画像（第２の撮影画像）である。そして、盤面全体の撮影画像に対して付箋の抽出処理と、抽出した付箋画像に罫線が含まれるかを判定する画像処理とにより、紙付箋と電子付箋を区別し、紙付箋のみを電子付箋に変換する。具体的な処理はフローチャートを用いて後述する。
【０１０９】
図２３（Ａ）は、会議室１１０に設置した表示装置１１５の初期状態を示すものである。ホワイトボード１１４には紙付箋が一つも貼られていない。会議端末１１１は、ホワイトボード１１４にはプロジェクタ１１２により会議端末１１１で生成した無地背景画像５８５を投影する。会議端末１１１は、デジタルカメラ１１３を用いてホワイトボード１１４の盤面全体の画像を撮影し、サーバ１０１に送付する。この時点で、ホワイトボード１１４上に紙付箋は一つも存在しないので電子付箋として保存される情報は無い。
【０１１０】
図２３（Ｂ）は、ホワイトボード１１４に紙付箋５０１が貼られた状態である。紙付箋５０１には、プロジェクタ１１２により無地背景画像５８５が重ねて投影される。この状態でホワイトボード１１４を撮影した画像（第１の撮影画像）から紙付箋を電子付箋に変換する様子を図２４（Ａ）に示す。図２４（Ａ）に示したように、輪郭抽出処理により紙付箋に対する画像５４１を抽出する。そして、図４（Ｂ）の罫線付き背景画像（第２の撮影画像）の同じ座標位置から紙付箋５０１の情報を得る。
【０１１１】
更に、紙付箋５０１の画像から背景画像の罫線部のみを抽出したものが画像５３１である。紙付箋５０１に背景画像の罫線部が含まれる場合には、紙付箋であると判定する。処理の詳細はフローチャートで後述する。
【０１１２】
図２３（Ｃ）は、ホワイトボード１１４に３つの紙付箋（紙付箋５０１、５０２、５０３）が貼られ、更に携帯端末１５１で作成された電子付箋５２４が表示された状態を示す。図２３（Ｃ）に示すように、電子付箋５２４は無地背景画像５８５の上に合成される。そのため、電子付箋と紙付箋の画像上の差は無い。この状態でホワイトボード１１４を撮影した画像から紙付箋を電子付箋に変換する様子を図２４（Ｂ）に示す。図２４（Ｂ）に示すように、輪郭抽出処理により紙付箋の画像５４１、５４２、５４３、およびプロジェクタ１１２で投影された電子付箋の画像５４４が抽出される。そして、図４（Ｃ）の罫線付き背景画像の同じ座標位置から、図２４（Ｃ）に示すように紙付箋５０１、５０２、５０３の付箋画像、および電子付箋５２４の付箋画像が得られる。更に、付箋画像から背景画像の罫線部のみの画像（画像５３１、５３２、５３３、５３４）が抽出される。背景画像の罫線部が含まれる場合には、紙付箋であると判定される。なお、画像５３４では、罫線が抽出されないため、紙付箋ではなく、電子付箋であると判定される。
【０１１３】
図２３（Ｄ）は、図２３（Ｃ）の状態から紙付箋５０１をはがした状態を示す。紙付箋５０１は既に図２３（Ｃ）で電子付箋に変換されている。電子変換した付箋が抽出されないことが検知されると、図２３（Ｅ）に示すように、図２４（Ｂ）の紙付箋５０１に対応して生成された電子付箋の画像５４１は電子付箋５２１としてプロジェクタ１１２を用いて投影される。
【０１１４】
［会議端末側の盤面の表示］
図２５は、無地背景付箋盤面画像を生成するフローチャートである。図２５の処理は会議端末１１１で実行され、無地背景画像５８５の上に電子付箋を描画合成する処理である。
【０１１５】
具体的な一例として、図７の電子付箋情報テーブル８２１をサーバ１０１から受信した会議端末１１１が、図２３（Ｃ）に示すように電子付箋５２４と、それ以外の領域には無地背景画像５８５が含まれる画像とを生成する処理である。なお、実施例１にて説明した図１０の罫線付き付箋盤面画像を生成するフローチャートとは、Ｓ１１０５で生成する背景画像を無地背景画像に変更する点が異なるのみである。したがって、重複する箇所については、説明を省略する。
【０１１６】
［会議端末の盤面の撮影］
図２６は、会議端末１１１がホワイトボード１１４の盤面を撮影し、その撮影画像をサーバ１０１に送付するフローチャートである。図２６の処理は会議端末１１１で実行され、会議端末１１１が罫線付き付箋盤面画像を最新状態に表示した上で無地背景と罫線付き背景による盤面を撮影し、その２種類の画像をサーバ１０１に送付する処理である。図８のｓｔ５１００からｓｔ５１２０までのシーケンスに伴って実行される会議端末１１１の処理である。
【０１１７】
Ｓ１２００にて、会議端末１１１は、電子付箋情報をサーバ１０１に要求する。Ｓ１２１０にて、会議端末１１１は、要求に応じた電子付箋情報をサーバ１０１から受信する。Ｓ１２１５にて、会議端末１１１は、無地背景付箋盤面画像を生成する。本工程は、図２５の処理に対応する。Ｓ１２２０にて、会議端末１１１は、罫線付き付箋盤面画像を生成する。本工程は、実施例１にて説明した図１０の処理に対応する。
【０１１８】
Ｓ１２２５にて、会議端末１１１は、Ｓ１２１５で生成した無地背景付箋盤面画像を、プロジェクタ１１２を用いてホワイトボード１１４に投影し表示する。Ｓ１２２６にて、会議端末１１１は、デジタルカメラ１１３を用いてホワイトボード１１４に投影された無地背景付箋盤面を撮影する。Ｓ１２３０にて、会議端末１１１は、Ｓ１２２０で生成した罫線付き付箋盤面画像を、プロジェクタ１１２を用いてホワイトボード１１４に投影し表示する。Ｓ１２４０にて、会議端末１１１は、デジタルカメラ１１３を用いてホワイトボード１１４に投影された罫線付き付箋盤面を撮影する。
【０１１９】
Ｓ１２５０にて、会議端末１１１は、Ｓ１２２６で撮影した無地背景付箋盤面画像と、Ｓ１２４０で撮影した罫線付き付箋盤面画像とをサーバ１０１に送付する。そして、本処理を終了する。
【０１２０】
［付箋画像抽出処理］
図２７は、実施例２における付箋画像抽出処理を示すフローチャートである。サーバ１０１のＣＰＵ２０１がプログラムを実行することにより処理を実現する。本処理は、実施例１にて説明した図８のｓｔ５１２０のシーケンスに伴って実行されるサーバ１０１の付箋抽出処理である。ここでは会議端末１１１から受信した無地背景付箋盤面画像と罫線付き付箋盤面画像の２種類の盤面撮影画像情報に対する付箋抽出処理を説明する。画像の受信から電子付箋情報の更新までの処理は後述する。
【０１２１】
Ｓ１８００にて、サーバ１０１は、会議端末１１１から受信した無地背景付箋盤面画像に対して輪郭抽出処理を行う。輪郭抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に存在するオブジェクトの輪郭（紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など）を抽出する。
【０１２２】
Ｓ１８１０にて、サーバ１０１は、色判定処理を行う。色判定処理により、各オブジェクト（紙付箋や文字）の色を抽出する。更にＳ１８２０にて、サーバ１０１は、付箋領域判定処理を行う。付箋領域判定処理では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトの領域が付箋領域として判定される。例えば図２３（Ｃ）に示した盤面撮影画像情報に対して上記処理を施すと紙付箋５０１、５０２、５０３、および電子付箋５２４の４つの付箋情報が付箋領域として判定される。
【０１２３】
Ｓ１８３０にて、サーバ１０１は、Ｓ１８２０で付箋領域と判定した領域に対し、無地背景付箋盤面画像と罫線付き付箋盤面画像との両方から付箋領域切り出し処理を行い、紙付箋の一つ一つに対応した付箋領域の部分画像（付箋画像）を切り出す。具体的には、無地背景付箋盤面画像から図２４（Ｂ）に示す画像５４１、５４２、５４３、５４４が切り出される。そして、罫線付き付箋盤面画像から図２４（Ｂ）に示す紙付箋５０１、５０２、５０３に対応する画像、および電子付箋５２４に対応する画像が切り出される。
【０１２４】
Ｓ１８４０にて、サーバ１０１は、抽出した抽出情報を保持する付箋抽出情報を生成する。そして、本処理を終了する。付箋抽出情報は、付箋領域の位置とサイズ、そして抽出した付箋画像を含む情報である。
【０１２５】
［付箋抽出情報］
図２８は、実施例２における付箋抽出情報を示す図である。実施例１にて説明した図１３の付箋抽出情報とは、データ部７５３に含まれる付箋画像データが付箋画像データＡと付箋画像データＢの２種類を保持する点が異なる。付箋画像データＡには、無地背景付箋盤面画像から抽出した付箋画像が保持される。付箋画像データＢには、罫線付き付箋盤面画像から抽出した付箋画像が保持される。
【０１２６】
図２９は、実施例２における付箋抽出情報の具体例を示す図である。図２９は、図４（Ｃ）と図２３（Ｃ）のホワイトボード１１４に対して付箋抽出処理を行った結果の付箋抽出情報を示す。複数の付箋抽出情報が、ひとまとまりのテーブルで構成した付箋抽出情報テーブル７７１としてサーバ１０１に保持・管理される。
【０１２７】
紙付箋５０１に対応する付箋抽出情報７８１のヘッダ部において、ＩＤには「１」、付箋配置座標には（ｐｌｏｔｘ１，ｐｌｏｔｙ１）、付箋サイズには（ｓｉｚｅｘ１，ｓｉｚｅｙ１）が格納される。データ部の無地背景付箋盤面画像から抽出した付箋画像データＡはｂｉｔｍａｐ＿ｄａｔ１ａ．ｊｐｇである。具体的には図２４（Ｂ）に示した画像５４１である。また、罫線付き付箋盤面画像から抽出した付箋画像データＢはｂｉｔｍａｐ＿ｄａｔ１ｂ．ｊｐｇである。具体的には図２４（Ｂ）に示した紙付箋５０１の画像データである。
【０１２８】
同様に紙付箋５０２、５０３、および電子付箋５２４に対応する付箋抽出情報はそれぞれ付箋抽出情報７８２、７８３、７８４である。
【０１２９】
［紙付箋の電子化処理］
図３０は、実施例２における盤面画像の撮影画像から紙付箋部分を電子化するフローチャートである。図３０の処理はサーバ１０１で実行され、会議端末１１１から受信した無地背景盤面画像と罫線付き付箋盤面画像から紙付箋部分を抽出し電子化するものである。図８のｓｔ５１２０のシーケンスに伴って実行されるサーバ１０１の処理である。
【０１３０】
Ｓ１９００にて、サーバ１０１は、会議端末１１１から無地背景盤面画像と罫線付き付箋盤面画像を受信する。Ｓ１９１０にて、サーバ１０１は、電子付箋情報テーブル８２１に含まれた電子付箋情報のうち、Ｓ１９００で受信した会議端末１１１に対応する電子付箋情報の貼付状態を全て「ＯＦＦ」にする。電子付箋情報は、図６、図７にて説明したように、電子付箋の情報を保持するものである。
【０１３１】
Ｓ１９２０にて、サーバ１０１は、Ｓ１９００で受信した無地背景盤面画像と罫線付き付箋盤面画像から付箋画像を抽出して付箋抽出情報を生成する。本工程は、図２７の付箋画像抽出処理に対応する。付箋抽出情報は、図２８、図２９に示した通りである。Ｓ１９２５にて、サーバ１０１は、図２９に示した付箋抽出情報テーブル７７１に処理対象の付箋抽出情報が存在するか否かを判定する。処理対象の付箋抽出情報が存在する場合（Ｓ１９２５にてＹＥＳ）Ｓ１９３０へ進み、Ｓ１９２０で抽出された付箋がひとつもない場合には処理対象の付箋抽出情報は存在しないため（Ｓ１９２５にてＮＯ）、処理を終了する。
【０１３２】
Ｓ１９３０にて、サーバ１０１は、付箋抽出情報テーブル７７１から付箋抽出情報をひとつ取り出す。具体的には、サーバ１０１は、図２９で示した付箋抽出情報テーブル７７１のＩＤの先頭から順にひとつずつ取り出す。
【０１３３】
Ｓ１９３５にて、サーバ１０１は、付箋抽出情報のうち、罫線付き付箋盤面画像から抽出した付箋画像データＢに対して罫線抽出処理を行う。罫線抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に含まれる罫線情報を抽出できる。例えば、図２４（Ｂ）に示す紙付箋５０１の画像に対して罫線抽出処理を施した場合、画像に含まれる罫線部のみを抽出した罫線抽出処理結果として画像５３１が得られる。一方、電子付箋５２４の画像に対して罫線抽出処理を施した場合、電子付箋５２４の画像には罫線が含まれないため、罫線抽出処理結果として罫線が含まれない画像５３４が得られる。
【０１３４】
Ｓ１９４０にて、サーバ１０１は、Ｓ１９３５の罫線抽出処理結果を参照し、付箋画像内に罫線が含まれるか否かを判定する。付箋画像内に罫線が含まれている場合（Ｓ１９４０にてＹＥＳ）、サーバ１０１は、対象の付箋が紙付箋であると判定し、電子化の処理を行うためにＳ１９５０へ進む。罫線が含まれていない場合（Ｓ１９４０にてＮＯ）、サーバ１０１は、対象の付箋が電子付箋であると判定し、電子化の処理はスキップしてＳ１９７０の処理へ進む。
【０１３５】
Ｓ１９５０にて、サーバ１０１は、電子付箋情報テーブルから、（ｉ）Ｓ１９００で受信した会議端末に対応した貼付場所が同一であり、かつ、（ｉｉ）入力状態が「紙」であり、かつ、（ｉｉｉ）付箋抽出情報に含まれる付箋配置座標情報（ｐｌｏｔＸ，ｐｌｏｔＹ）が同一である、電子付箋情報を検索する。なお、上記（ｉｉｉ）の条件において、付箋配置座標が完全に一致するものに限定するものではなく、一定範囲の近傍に存在した場合に一致と判定するように構成しても構わない。そして、対応する電子付箋情報が電子付箋情報テーブルに存在する場合（Ｓ１９５０にてＹＥＳ）Ｓ１９６０へ進み、存在しない場合（Ｓ１９５０にてＮＯ）Ｓ１９６５へ進む。
【０１３６】
Ｓ１９６０にて、サーバ１０１は、Ｓ１９３０で取り出した付箋抽出情報のうち、無地背景付箋盤面画像から抽出した付箋画像データＡをＳ１９５０で検索した電子付箋情報の付箋画像データ部に格納する。Ｓ１９６２にて、サーバ１０１は、Ｓ１９５０で検索した電子付箋情報の貼付状態を「ＯＮ」にしてＳ１９７０へ進む。
【０１３７】
電子付箋情報を更新する処理の具体的な一例を説明する。図２９の付箋抽出情報７８１を処理した場合を説明する。図２９の付箋抽出情報７８１には付箋配置座標情報として（ｐｌｏｔｘ１，ｐｌｏｔｙ１）が格納されている。一方、図７の電子付箋情報テーブル８２１を参照すると、会議端末１１１に対応した貼付場所が「会議室１１０」で一致し、かつ、入力状態が「紙」であり、かつ、付箋配置座標が（ｐｌｏｔｘ１，ｐｌｏｔｙ１）で一致する、電子付箋情報８５１を検出することができる。この場合、サーバ１０１は、電子付箋情報が存在すると判定し、付箋抽出情報７８１の付箋データ画像Ａであるｂｉｔｍａｐ＿ｄａｔ１ａ．ｊｐｇを、電子付箋情報８５１の付箋画像データ部にｂｉｔｍａｐ＿ｄａｔ１．ｊｐｇとして保存し、電子付箋情報を更新する。更に、サーバ１０１は、電子付箋情報８５１の貼付状態を「ＯＮ」に設定する。
【０１３８】
一方、電子付箋情報を新規作成する一例を説明する。具体例として、図２９の付箋抽出情報７８１から図７の電子付箋情報テーブル８２１に新たなＩＤを割り振った電子付箋情報８５１を作成する場合を説明する。図７の電子付箋情報８５１を新規に作成すると、ＩＤは「１」、入力状態には「紙」、貼付時間には電子付箋情報を作成した時刻、貼付状態には「ＯＮ」、貼付場所には会議端末１１１が設置された会議室名である「会議室１１０」が格納される。そして、付箋配置座標と付箋サイズには、付箋抽出情報７８１に含まれる情報がそのまま格納される。更に、電子付箋情報８５１の付箋画像データ部に、付箋抽出情報７８１の付箋データ画像Ａであるｂｉｔｍａｐ＿ｄａｔ１ａ．ｊｐｇをｂｉｔｍａｐ＿ｄａｔ１．ｊｐｇとして格納される。テキストデータ部は（ｎｕｌｌ）とする。
【０１３９】
Ｓ１９７０にて、サーバ１０１は、未処理の付箋抽出情報が残っているか否かを判定する。未処理の付箋抽出情報が残っている場合（Ｓ１９７０にてＹＥＳ）Ｓ１９３０の処理へ戻り、次の付箋抽出情報に対して処理を繰り返す。未処理の付箋抽出情報が残っていない場合（Ｓ１９７０にてＮＯ）、本処理を終了する。以上により、図２９の付箋抽出情報テーブル７７１に含まれる全ての付箋抽出情報を処理する。
【０１４０】
本実施例により、実施例１と同様の効果を得ることができる。
【０１４１】
＜実施例３＞
実施例１、２において表示装置１１５はホワイトボード１１４へプロジェクタ１１２で投影する方式を採用していた。これとは別の実地例として、ホワイトボードの代わりに大型の液晶ディスプレイの表示画面上に紙付箋を貼付して盤面をデジタルカメラで撮影する方法も考えられる。この構成では、ディスプレイ装置の表示画面に貼り付けられた紙付箋の上に画像を投影できないため、紙付箋と電子付箋を判別するための罫線の使い方を逆にする。つまり、液晶ディスプレイに表示する盤面画像は、電子付箋に罫線を含むように構成する。そして、盤面全体を撮影した画像から抽出した付箋画像が罫線を含む場合には電子付箋として判定する。一方、抽出した付箋画像が罫線を含まなければ紙付箋と判定する。
【０１４２】
［システム構成］
図３１は、実施例３の情報処理システムの構成を示す図である。図１とは、表示装置１１５を液晶ディスプレイ１１８で構成する点が異なる。
【０１４３】
［表示装置を用いたブレインストーミングの操作と表示］
図３２は、実施例３の表示装置１１５を用いたブレインストーミングの操作と表示を示す図である。本実施例と、図４で説明したプロジェクタ１１２を用いる方法とは、盤面に表示する電子付箋画像における罫線画像の表示方法が異なる。図３２（Ａ）〜（Ｅ）に示すように、罫線付き背景画像５８０を電子付箋に対して前景となるように表示する。具体的には、図３２（Ｃ）に示すように電子付箋５２４の領域に罫線が含まれるように表示する。紙付箋５０１、５０２、５０３は、液晶ディスプレイの盤面に貼付するので紙付箋上には罫線は表示されない。
【０１４４】
［紙付箋電子化処理］
図３３は、サーバ１０１によって実行される、実施例３における盤面画像の撮影画像から紙付箋部分を電子化するフローチャートである。本処理フローと実施例２で説明した図３０の処理とは、Ｓ１９４０で紙付箋と電子付箋を判別する方法のみが異なる。したがって、重複する内容については説明を省略する。
【０１４５】
Ｓ１９４０にて、サーバ１０１は、Ｓ１９３５の罫線抽出処理結果を参照し、付箋画像内に罫線が含まれるか否かを判定する。抽出した付箋画像内に罫線が含まれない場合（Ｓ１９４０にてＮＯ）、サーバ１０１は対象の付箋が紙付箋であると判定し、電子化の処理を行うためにＳ１９５０へ進む。付箋画像内に罫線が含まれる場合（Ｓ１９４０にてＹＥＳ）、サーバ１０１は対象の付箋が電子付箋であると判定し、電子化の処理をスキップしてＳ１９７０の処理へ進む。
【０１４６】
以上の構成により、実施例２と同様の効果を得ることができる。
【０１４７】
なお、本実施例では、表示部を液晶ディスプレイとして説明したが、これに限定するものではなく、他のディスプレイ装置であっても構わない。
【０１４８】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015011402.tif 000003
【図２】
2015011402.tif 000004
【図３】
2015011402.tif 000005
【図４】
2015011402.tif 000006
【図５】
2015011402.tif 000007
【図６】
2015011402.tif 000008
【図７】
2015011402.tif 000009
【図８】
2015011402.tif 000010
【図９】
2015011402.tif 000011
【図１０】
2015011402.tif 000012
【図１１】
2015011402.tif 000013
【図１２】
2015011402.tif 000014
【図１３】
2015011402.tif 000015
【図１４】
2015011402.tif 000016
【図１５】
2015011402.tif 000017
【図１６】
2015011402.tif 000018
【図１７】
2015011402.tif 000019
【図１８】
2015011402.tif 000020
【図１９】
2015011402.tif 000021
【図２０】
2015011402.tif 000022
【図２１】
2015011402.tif 000023
【図２２】
2015011402.tif 000024
【図２３】
2015011402.tif 000025
【図２４】
2015011402.tif 000026
【図２５】
2015011402.tif 000027
【図２６】
2015011402.tif 000028
【図２７】
2015011402.tif 000029
【図２８】
2015011402.tif 000030
【図２９】
2015011402.tif 000031
【図３０】
2015011402.tif 000032
【図３１】
2015011402.tif 000033
【図３２】
2015011402.tif 000034
【図３３】
2015011402.tif 000035