(57)【要約】【課題】紙付箋を電子化する事の出来るシステムに於いて、付箋を重ねるように貼付することで情報を更新したい。【解決手段】情報処理装置であって、第一の画像データに含まれる、情報が記載された第一の領域から当該情報を抽出して保持する保持手段と、前記第一の領域と、情報が記載された第二の領域とを含む第二の画像データを取得する取得手段と、前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっているか否かを検知する検知手段と、前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっている場合、前記第二の領域から抽出した情報を用いて、前記保持手段にて保持する第一の領域から抽出した情報を更新する更新手段とを備える。【選択図】  図３
2014119809.tif 000002
【特許請求の範囲】
【請求項１】
情報が記載された領域を含む画像データから、当該情報を抽出してデータ化する情報処理装置であって、
第一の画像データに含まれる、情報が記載された第一の領域から当該情報を抽出して保持する保持手段と、
前記第一の領域と、情報が記載された第二の領域とを含む第二の画像データを取得する取得手段と、
前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっているか否かを検知する検知手段と、
前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっている場合、前記第二の領域から抽出した情報を用いて、前記保持手段にて保持する第一の領域から抽出した情報を更新する更新手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記検知手段は更に、前記第一の領域に対する前記第二の領域の重なり方を判定し、
前記更新手段は、前記重なり方に応じて更新方法を切り替える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検知手段は、前記第一の領域と前記第二の領域の重なった箇所の面積を判定し、
前記面積が所定の閾値よりも小さい場合、前記更新手段は、前記第一の領域から抽出した情報に前記第二の領域から抽出した情報を追加し、
前記面積が前記所定の閾値以上である場合、前記更新手段は、前記第一の領域から抽出した情報を前記第二の領域から抽出した情報にて上書きする
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記検知手段は、前記第一の領域と前記第二の領域の類似度を判定し、
前記類似度が所定の閾値よりも大きい場合、前記更新手段は、前記第一の領域から抽出した情報に前記第二の領域から抽出した情報を追加し、
前記類似度が前記所定の閾値以下である場合、前記更新手段は、前記第一の領域から抽出した情報を前記第二の領域から抽出した情報にて上書きする
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記検知手段は、前記第一の領域に記載された情報が前記第二の領域によって隠されている割合を判定し、
前記割合が所定の閾値よりも小さい場合、前記更新手段は、前記第一の領域から抽出した情報に前記第二の領域から抽出した情報を追加し、
前記割合が前記所定の閾値以上である場合、前記更新手段は、前記第一の領域から抽出した情報を前記第二の領域から抽出した情報にて上書きする
ことを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記第一および第二の領域は、情報が記載された媒体の画像にて示されることを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
【請求項７】
前記媒体は、付箋であることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
画像を撮影する撮影装置と、
前記撮影装置にて撮影した画像を投影する投影装置と、
に接続され、
前記取得手段は、前記投影装置にて投影された前記第一の画像データの画像上にユーザが媒体を重ねた際に当該画像を前記撮影装置にて撮影することで得られた画像データを、前記第二の画像データとして取得することを特徴とする請求項６または７に記載の情報処理装置。
【請求項９】
情報が記載された領域を含む画像データから、当該情報を抽出してデータ化する情報処理方法であって、
保持手段が、第一の画像データに含まれる、情報が記載された第一の領域から当該情報を抽出して記憶部に保持する保持工程と、
取得手段が、前記第一の領域と、情報が記載された第二の領域とを含む第二の画像データを取得する取得工程と、
検知手段が、前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっているか否かを検知する検知工程と、
更新手段が、前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっている場合、前記第二の領域から抽出した情報を用いて、前記記憶部にて保持する第一の領域から抽出した情報を更新する更新工程と
を有することを特徴とする情報処理方法。
【請求項１０】
コンピュータを、
第一の画像データに含まれる、情報が記載された第一の領域から当該情報を抽出して保持する保持手段、
前記第一の領域と、情報が記載された第二の領域とを含む第二の画像データを取得する取得手段、
前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっているか否かを検知する検知手段、
前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっている場合、前記第二の領域から抽出した情報を用いて、前記保持手段にて保持する第一の領域から抽出した情報を更新する更新手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スクリーン上に貼付された紙付箋を電子化した電子付箋データの表示を制御する情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数人で新しい知識を創出する方法として、ブレインストーミングと呼ばれる方法が知られている。ブレインストーミングでは、アイデアを１つずつカードに書き込み、それらを共有しながらアイデアを発散させていく。また、これらのアイデアを収束する方法として、ＫＪ法と呼ばれる方法が知られている。ＫＪ法では、アイデアの内容について、内容の近いもの同士を集めて分類するグループ化を繰り返し、グループ間の関係性を整理するという方法である。そして、この作業の中で、アイデアの本質の発見や新たなアイデアの創出が行われる。
【０００３】
ブレインストーミングやＫＪ法では、前述のカードとして糊付き付箋紙（ポスト・イット（登録商標）など）を用い、その糊付き付箋紙をホワイトボードなどの盤面に貼りつけて進める方法が良く用いられる。更に、ブレインストーミングの過程で、付箋紙を他の付箋紙に重ねて添付する事で、下になる紙付箋の内容に上の紙付箋の内容を付け足し、又は上書きする意図を表現する事がある。
【０００４】
ブレインストーミングを電子的に支援する手法として、特許文献１では、紙付箋の貼付位置と内容を判別し、紙付箋を電子化する事で盤面を再現する手法が提案されている。この手法では、デジタルカメラで撮影した画像から紙付箋の位置を認識し、当該認識した位置と紙付箋の画像とを関連付けて保存することが開示されている。
【０００５】
一方、特許文献２では、画面上に置かれた物体と、物体が置かれた下に表示されているオブジェクト（ウィンドウなど）を対応付けるシステムが開示されている。例えば、画面に表示されたウィンドウの上に付箋が貼られた場合、該ウィンドウの上に物体が置かれた事を検知し、ウィンドウと付箋を対応づけることにより、付箋を用いてウィンドウの表示を制御（ウィンドウの移動の制限など）する事ができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−０５９０２０号公報
【特許文献２】特開２０１０−１４６３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２の手法を、特許文献１のような紙付箋を電子化する手法に適用した場合、画面に貼付した紙付箋を、画面上に表示されているオブジェクトと対応させつつ電子化することが考えられる。この場合、貼付した紙付箋を電子化して得られる画像（電子付箋）を、既に表示されている別の電子オブジェクト（例えば電子付箋）に対して関連付けることができる。しかしながら、特許文献２の技術は、画面に表示中の電子オブジェクトに対して紙付箋を対応づけるものであって、紙付箋に対して紙付箋を重ねた場合、両者を対応付ける事はできない。また、特許文献１では、複数の紙付箋をグループ化することを開示しているが、紙付箋上に記載された記載内容を簡易な操作で修正するようなことについては考慮されていない。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、情報が記載された領域を含む画像データから、当該情報を抽出してデータ化する情報処理装置であって、第一の画像データに含まれる、情報が記載された第一の領域から当該情報を抽出して保持する保持手段と、前記第一の領域と、情報が記載された第二の領域とを含む第二の画像データを取得する取得手段と、前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっているか否かを検知する検知手段と、前記第二の画像データの画像において、前記第一の領域に前記第二の領域が重なっている場合、前記第二の領域から抽出した情報を用いて、前記保持手段にて保持する第一の領域から抽出した情報を更新する更新手段とを備える。
【発明の効果】
【０００９】
本発明によれば、既に記載内容が電子化データとして登録されている媒体に対し、新たに媒体を重ねた際に、その重ねた媒体の情報を重ねられた媒体に対応する電子データを更新できる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における情報処理システムの構成を示す図。
【図２】サーバ（情報処理装置）１１１の構成を示す図。
【図３】実施例１の処理の流れを示すフローチャート。
【図４】付箋の配置の一例を示す図。
【図５】付箋画像抽出処理（Ｓ３０２）の詳細手順を示す図。
【図６】電子付箋のデータ構造６０１を示す図。
【図７】紙付箋４０１の電子付箋データ７０１の構造を示す図。
【図８】紙付箋４０５の電子付箋データ８０１の構造を示す図。
【図９】追記後の紙付箋４０１の電子付箋データ９０１の構造を示す図。
【図１０】実施例２の処理の流れを示すフローチャート。
【図１１】付箋の重ね方の一例を示す図。
【図１２】上書き後の紙付箋４０１の電子付箋データ１２０１の構造を示す図。
【図１３】実施例３の処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１１】
＜実施例１＞
［システム構成］
図１は本実施形態における情報処理システムの構成を示す図である。本情報処理システムは、情報処理装置としてのサーバ１１１、撮影装置としてのデジタルカメラ１１３、および表示装置１１５から構成される。表示装置１１５はさらにプロジェクタ１１２とホワイトボード１１４から構成され、プロジェクタ１１２から投影した画像が、ホワイトボード１１４上に表示される。なお、本実施例の情報処理システムは、ブレインストーミングなどの会議や、ＫＪ法などで利用可能であるが、利用用途はこれらに限るものではない。
【００１２】
なお、本実施形態では、糊付き付箋（ポスト・イット（登録商標）など）がホワイトボードなどのスクリーンに貼られた場合を用いて説明するが、本願発明は、糊付き付箋に限るものではない。例えば、文書やカードがテープ等を用いて貼られた場合や、マグネットなどの吸着手段によって貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材（プラスチックや布など）の媒体であってもよい。
【００１３】
以下の実施形態では、ホワイトボード（スクリーン）に貼られた付箋や文書を、その素材とは無関係に、紙付箋（または紙文書）と呼ぶこととする。また、その紙付箋に対して撮影やスキャン等を行うことにより電子化した付箋データを電子付箋（または電子文書）と呼んで区別することとする。
【００１４】
図２は、サーバ（情報処理装置）１１１の構成を示す図である。サーバ１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、外部メモリＩ／Ｆ２０７、および外部Ｉ／Ｆ２０８を備え、それらはシステムバス２０４で接続されている。キーボードＩ／Ｆ２０５を介して接続されているキーボード２０９は、ユーザからの各種操作を受け付ける。ディスプレイＩ／Ｆ２０６にはプロジェクタ１１２が接続され、サーバ１１１はプロジェクタ１１２を介してホワイトボード１１４に画像を投影する。ユーザは、プロジェクタ１１２が画像を投影しているホワイトボード１１４（スクリーン）上に紙付箋を貼りつけることができる。
【００１５】
外部Ｉ／Ｆ２０８にはデジタルカメラ１１３が接続され、サーバ１１１はデジタルカメラ１１３で撮影した紙付箋の画像を取りこんで、電子付箋（付箋データ）を作成することができる。また、本実施形態では、ユーザがキーボード２０９を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ１１２で表示させることができるものとする。
【００１６】
ＣＰＵ（プロセッサ）２０１は、サーバ１１１全体の制御を行う。ＣＰＵ２０１は、ＲＯＭ２０３や外部メモリ２１１などに記憶されたプログラムをＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、サーバ１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。
【００１７】
［処理フロー］
次に、本システムの動作について説明する。図３は、本システムの処理の流れを示すフローチャートである。本フローチャートで示す手順は、対応するプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。
【００１８】
一般にブレインストーミングでは、ユーザのアイデアを紙付箋に書き込み、それらをホワイトボード１１４に貼りつけて進める。まず、図４（Ａ）はホワイトボード１１４に紙付箋４０１〜４０３の３枚の付箋紙が貼られた状態を示している。図４（Ａ）に示す画像に対応する画像データを第一の画像データとする。この状態から、新たに紙付箋４０１に重なるように紙付箋４０５が貼られることで、ホワイトボード１１４が図４（Ｂ）のような状態になったという想定で説明する。図４（Ｂ）に示す画像に対応する画像データを第二の画像データとする。従って、処理が始まる段階で既にサーバ１１１の記憶部に紙付箋４０１〜４０３を電子化した電子データが格納されているものとする。図４の例において、紙付箋４０１にて示される領域が第一の領域となり、紙付箋４０１に重ねられた紙付箋４０５の領域が第二の領域となる。
【００１９】
まずユーザからの撮影要求を検知したデジタルカメラ１１３は、ホワイトボード１１４の画像を撮影する（Ｓ３０１）。デジタルカメラ１１３で撮影された画像データは、サーバ１１１の外部Ｉ／Ｆ２０８を通して、ＲＡＭ２０２に格納される。撮影した画像には、紙付箋の画像と、プロジェクタ１１２が投影中の電子付箋の画像とが含まれることになる。
【００２０】
Ｓ３０２では、サーバ１１１は撮影画像データから付箋画像を抽出し、当該抽出した付箋画像から電子付箋データを生成する。この電子付箋データを生成することで、付箋に示された情報（文字情報等）をデータ化する。付箋画像を含む電子付箋のデータ構造に関しては後述する。
【００２１】
図５は、付箋画像抽出処理（Ｓ３０２）の詳細手順を示す図である。サーバのＣＰＵ２０１がプログラムを実行することにより、図５の各処理部５０２〜５０５として機能する。なお、各処理部における処理方法は、特に限定するものではなく、一般的な方法を用いて構わない。
【００２２】
デジタルカメラ１１３で撮影されサーバ１１１のＲＡＭ２０２に格納された撮影画像データ５０１に対して、まず、輪郭抽出部５０２による輪郭抽出処理と、色判定部５０３による色判定処理とを行う。輪郭抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に存在するオブジェクトの輪郭（紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など）を抽出できる。また、色判定処理により、各オブジェクト（紙付箋や文字）の色を抽出できる。
【００２３】
次に、付箋領域判定部５０４による付箋領域判定処理を行う。付箋領域判定処理では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトの領域を付箋領域として判定する。このとき、その矩形状の輪郭の内部に文字サイズの輪郭を含むかどうか判定するように構成すれば、より精度よく付箋領域を判定することが可能である。
【００２４】
そして、付箋領域切り出し部５０５において、紙付箋の１枚１枚に対応した付箋領域の部分画像（付箋画像）を切り出す付箋領域切り出し処理が行われ、当該抽出された付箋画像に基づいて電子付箋データ５０６が生成される。なお、このとき、付箋画像に対してＯＣＲ処理を行って付箋内部に記入された文字画像のテキストデータを求めるように構成してもよい。
【００２５】
図６は、生成された電子付箋のデータ構造６０１を示す。それぞれの電子付箋が、ヘッダー部６０２とデータ部６０３を有する。ヘッダー部６０２は、ＩＤ、貼付時間、貼付状態ＯＮ／ＯＦＦ、貼付場所、付箋領域、文字画像領域、および付箋面積の情報を含む。ＩＤは、各電子付箋を識別するための識別子である。貼付時間は、対応する紙付箋が貼付された時刻を示す。貼付状態ＯＮ／ＯＦＦは、対応する紙付箋がホワイトボードに貼付されたままの状態であるか剥がされた状態であるかを示す。貼付場所は、紙付箋の貼付場所を示す。付箋領域は、ホワイトボードにおける付箋領域の位置を示す。文字画像領域は、文字画像領域の付箋に対する相対的な位置を示す。付箋面積は、付箋の大きさを示す。
【００２６】
付箋領域は、ホワイトボードの左下を原点とした座標系における、付箋の左上、右上、左下、右下それぞれの座標のセットから構成される。文字画像領域は、付箋領域の左下を原点とした座標系における、文字画像の左上、右上、左下、右下それぞれの座標のセットから構成される。
【００２７】
データ部６０３は、デジタルカメラ１１３で撮影された撮影画像データ５０１から切り出した付箋画像の画像データを含む。なお、データ部６０３には、その画像データにＯＣＲ処理を施した場合はそのＯＣＲ処理結果のテキストを示すＯＣＲデータが更に格納されることになる。
【００２８】
電子付箋のデータ構造の具体例を図７及び図８に示す。ここでは、図４（Ａ）の紙付箋４０１の付箋画像から電子付箋データ７０１が生成される。また、図４（Ｂ）の紙付箋４０５の付箋画像から電子付箋データ８０１が生成される。
【００２９】
図７は、紙付箋４０１の電子付箋データ７０１の構造を示す。電子付箋データ７０１のヘッダー部７０２の内容は次の通りである。ＩＤは“１”である。貼付された時間は“１０時０分０秒”である。対応する紙付箋４０１が貼付されたままの状態であるので、貼付状態は“ＯＮ”である。貼付場所は“会議室１”である。付箋領域は付箋の左上が（Ｘ１，Ｙ２）、右上が（Ｘ２，Ｙ２）、左下が（Ｘ１，Ｙ１）、右下が（Ｘ２，Ｙ１）である。文字画像領域は左上が（Ｘ３，Ｙ４）、右上が（Ｘ４，Ｙ４）、左下が（Ｘ３，Ｙ３）、右下が（Ｘ４，Ｙ３）である。付箋面積は“２０”である。また、データ部７０３の内容は、画像データが“ｄａｔａ１．ｊｐｇ”というファイル名で格納されており、ＯＣＲ処理が行われた場合はＯＣＲデータに「ＡＢＣＤ」が格納される。
【００３０】
図８は、紙付箋４０５の電子付箋データ８０１の構造を示す。電子付箋データ８０１のヘッダー部８０２の内容は次の通りである。ＩＤは“２”である。貼付された時間は“１０時５分０秒”である。対応する紙付箋４０５が貼付されたままの状態であるので、貼付状態は“ＯＮ”である。貼付場所は“会議室１”である。付箋領域は、付箋の左上が（Ｘ５，Ｙ６）、右上が（Ｘ６，Ｙ６）、左下が（Ｘ５，Ｙ５）、右下が（Ｘ６，Ｙ５）である。文字画像領域は、左上が（Ｘ７，Ｙ８）、右上が（Ｘ８，Ｙ８）、左下が（Ｘ７，Ｙ７）、右下が（Ｘ８，Ｙ７）である。付箋面積は、“２０”である。また、データ部８０３の内容は、画像データが“ｄａｔａ２．ｊｐｇ”というファイル名で格納されており、ＯＣＲ処理が行われた場合はＯＣＲデータに「ＥＦＧ」が格納される。
【００３１】
図３のＳ３０３では、サーバ１１１は、Ｓ３０２で抽出した全ての電子付箋データについて処理を行ったか判断する。未処理の他の電子付箋データがあると判定した場合は（Ｓ３０３にてＹＥＳ）Ｓ３０３に進む。全ての電子付箋データについて処理を行ったと判定した場合は（Ｓ３０３にてＮＯ）、サーバ１１１は本処理フローを終了する。
【００３２】
Ｓ３０４では、サーバ１１１は、Ｓ３０２で生成した電子付箋に含まれる付箋画像それぞれを順に処理対象として、サーバ１１１の記憶装置（外部メモリもしくはＲＡＭ）に既に登録済みの電子付箋データと比較する。そして、サーバ１１１は、同じ付箋画像の電子付箋データが既に登録されているか否かを照合する。具体的には、互いの貼り付け位置の比較と、公知の類似画像判定技術による互いの付箋画像データの比較を行い、どちらも同一であると判断された場合、登録済みであると判定する。Ｓ３０４の照合結果に基づき、Ｓ３０２で抽出した付箋画像がサーバ１１１の記憶装置に登録済みの電子付箋と異なると判定した場合は（Ｓ３０５にてＹＥＳ）、新たな紙付箋が追加されたとしてＳ３０６に進む。逆に、Ｓ３０２で抽出した付箋画像がサーバ１１１の記憶領域に登録済みの電子付箋データと同じであると判定した場合（Ｓ３０５にてＮＯ）、Ｓ３０３に戻る。
【００３３】
Ｓ３０６〜Ｓ３０９では、サーバ１１１は、新しく追加された紙付箋が他の付箋に重ねられたかを判定する。重ねられたと判定した場合は（Ｓ３０６〜Ｓ３０９のいずれかにてＹＥＳ）、紙付箋が重ねられた下に位置する付箋（以降、下の付箋と呼ぶ）を抽出する。Ｓ３０６では、サーバ１１１は、新しく追加された付箋の電子付箋データのヘッダー部６０２に格納された付箋領域の左上の座標が、サーバ１１１の記憶領域に登録済みであるもののうち、いずれかの電子付箋の付箋領域の内側に含まれるか否かを判定する。含まれると判定した場合（Ｓ３０６にてＹＥＳ）、付箋の左上が他の付箋に重ねられたと判定し、サーバ１１１は、左上の座標を内側に含む付箋領域を持つ電子付箋を下の付箋としてＳ３１１に進む。含まれないと判定した場合（Ｓ３０６にてＮＯ）、Ｓ３０７に進む。
【００３４】
Ｓ３０７では、サーバ１１１は、新しく追加された付箋の電子付箋データのヘッダー部６０２に格納された付箋領域の右上の座標が、サーバ１１１の記憶領域に登録済みであるもののうち、いずれかの電子付箋の付箋領域の内側に含まれるか否かを判定する。含まれると判定した場合（Ｓ３０７にてＹＥＳ）、付箋の右上が他の付箋に重ねられたと判定し、サーバ１１１は、右上の座標を内側に含む付箋領域を持つ電子付箋データを下の付箋としてＳ３１１に進む。含まれないと判定した場合（Ｓ３０７にてＮＯ）、Ｓ３０８に進む。
【００３５】
Ｓ３０８では、サーバ１１１は、新しく追加された付箋の電子付箋データのヘッダー部６０２に格納された付箋領域の左下の座標が、サーバ１１１の記憶領域に登録済みであるもののうち、いずれかの電子付箋の付箋領域の内側に含まれるか否かを判定する。含まれると判定した場合（Ｓ３０８にてＹＥＳ）、付箋の左下が他の付箋に重ねられたと判定し、サーバ１１１は、左下の座標を内側に含む付箋領域を持つ電子付箋を下の付箋としてＳ３１１に進む。含まれないと判定した場合（Ｓ３０８にてＮＯ）、Ｓ３０９に進む。
【００３６】
Ｓ３０９では、サーバ１１１は、新しく追加された付箋の電子付箋データのヘッダー部６０２に格納された付箋領域の右下の座標が、サーバ１１１の記憶領域に登録済みであるもののうち、いずれかの電子付箋の付箋領域の内側に含まれるか否かを判定する。含まれると判定した場合（Ｓ３０９にてＹＥＳ）、付箋の右下が他の付箋に重ねられたと判定し、サーバ１１１は、右下の座標を内側に含む付箋領域を持つ電子付箋データを下の付箋としてＳ３１１に進む。含まれないと判定した場合（Ｓ３０９にてＮＯ）、サーバ１１１は、紙付箋が他の付箋に重ねられなかったと判定し、Ｓ３１０に進む。Ｓ３１０では、サーバ１１１は、当該紙付箋画像に基づいて作成された電子付箋データを、新たな電子付箋データとして登録し、Ｓ３０３に戻る。
【００３７】
新しく追加された紙付箋が他の付箋に重ねられたと判定された場合（Ｓ３０６〜Ｓ３０９のいずれかにてＹＥＳ）、Ｓ３１１にてサーバ１１１は、下の付箋のデータ部６０３に新しく追加された紙付箋（以降、上の付箋と呼ぶ）の内容を追記する。本実施例の想定では、下の紙付箋４０１の電子付箋データ７０１のデータ部７０３に、上の紙付箋４０５のデータ部８０３の内容を追記し、図９に示すような追記後の電子付箋データ９０１を作成する。これにより、保持されている電子付箋データの内容が更新されることとなる。
【００３８】
図９において、ヘッダー部９０２は下の付箋の電子付箋データのヘッダー部７０２から変更されていない。一方、データ部９０３の各要素には、上の付箋の電子付箋データのデータ部８０３の内容が追記されている。Ｓ３１１でサーバのデータに上の付箋のデータを追記した後、Ｓ３０３に戻る。
【００３９】
以上説明したように、本実施例によれば、既に貼付けられ、その記載内容が電子データとして登録されている付箋に対し、新たに紙付箋を重ねる事で、その重ねた紙付箋の内容を重ねられた紙付箋に対応する電子データに追記できる。
【００４０】
＜実施例２＞
実施例１では付箋に対して紙付箋を重ねる事で、重ねられた紙付箋に対応する電子データに追記を行う方法を説明したが、実施例２では付箋の重ね方に応じて電子データへの追記、上書きを切り替えて更新する方法を説明する。
【００４１】
本システムの動作について説明する。図１０は、本システムの処理の流れを示すフローチャートである。尚、Ｓ３０１〜Ｓ３１０及びＳ３１１の処理は図３のフローチャートと同様の処理である為、説明は割愛する。また、本フローチャートでも図４（Ａ）のようにホワイトボード１１４に紙付箋が３枚貼られた状態から、新たに紙付箋４０１に重なるように紙付箋４０５が貼られ、ホワイトボード１１４が図４（Ｂ）のような状態になった想定で説明する。
【００４２】
新しく追加された紙付箋が他の付箋に重ねられたと判定された場合（Ｓ３０６〜Ｓ３０９のいずれかにてＹＥＳ）、Ｓ１００１でサーバ１１１は、二つの付箋が共有している領域を定義する。つまり、二つの付箋が重なった箇所を特定する。例えば紙付箋４０５が図１１（Ａ）のように、下の紙付箋４０１の内容が見えるようずらして重ねられた場合、図１１（Ｂ）に於いて網掛けで表現されている部分（１１０１）が共有領域となる。また、紙付箋４０５が図１１（Ｄ）のように、下の紙付箋４０１の内容が見えないよう上から覆うように重ねられた場合、図１１（Ｅ）に於いて網掛けで表現されている部分（１１０３）が共有領域となる。
【００４３】
その後、サーバ１１１は、Ｓ１００２で共有領域の面積を算出する。続いて、サーバ１１１は、Ｓ１００３にて上の付箋と下の付箋それぞれの電子付箋データのヘッダー部にある付箋面積を比較する。比較の結果、上の付箋の付箋面積の方が小さいと判定された場合（Ｓ１００３にてＹＥＳ）、サーバ１１１はＳ１００４で上の付箋の付箋面積を基準面積として設定し、Ｓ１００６に進む。また、上の付箋の付箋面積の方が小さいと判定されなかった場合（Ｓ１００３にてＮＯ）、サーバ１１１はＳ１００５で下の付箋の付箋面積を基準面積として設定し、Ｓ１００６に進む。基準面積は、Ｓ１００２で算出された共有領域の面積との比較で付箋の重ね方を判定する際に用いられる。
【００４４】
基準面積決定後、サーバ１１１は、Ｓ１００６で共有領域の面積を基準面積で割った値を計算し、その値が予め定めた閾値より小さいかを判定する。閾値より小さい場合（Ｓ１００６にてＹＥＳ）、サーバ１１１は、上の付箋が図１１（Ａ）のように下の付箋の内容が見えるようずらして重ねられたと判定する。
【００４５】
例えば下の紙付箋４０１と上の紙付箋４０５が図１１（Ａ）のように重ねられ、Ｓ１００６で用いられる閾値が“０．５”である場合を考える。基準面積は（二つの付箋の面積が等しいので）Ｓ１００５にて下の紙付箋４０１の面積である“２０”が設定される。共有領域１１０１の面積がＳ１００２で“８”であると算出されたとすると、Ｓ１００６での判定は（８／２０）＜０．５により、上の付箋は下の付箋の内容が見えるようずらして重ねられたと判定される。
【００４６】
その後、サーバ１１１は、Ｓ３１１にて上の付箋の内容を下の付箋の電子付箋データに追記し、Ｓ３０３に戻る。
【００４７】
一方、共有領域の面積を基準面積で割った値が閾値以上である場合（Ｓ１００６にてＮＯ）、サーバ１１１は、上の付箋が図１１（Ｄ）のように下の付箋の内容が見えないよう上から覆うように重ねられたと判定する。例えば下の紙付箋４０１と上の紙付箋４０５が図１１（Ｄ）のように重ねられ、Ｓ１００６で用いられる閾値が“０．５”である場合を考える。基準面積は（二つの付箋の面積が等しいので）Ｓ１００５にて下の紙付箋４０１の面積である“２０”が設定される。共有領域１１０３の面積がＳ１００２で“１６”であると算出されたとすると、Ｓ１００６での判定は（１６／２０）＞０．５により、上の付箋は下の付箋の内容が見えないよう上から覆うように重ねられたと判定される。
【００４８】
その後、サーバ１１１は、Ｓ１００７で下の付箋のデータ部６０３を上の付箋の内容で上書きする。本実施例の想定では、下の紙付箋４０１の電子付箋データ７０１のデータ部７０３に、上の紙付箋４０５のデータ部８０３の内容を上書きし、図１２に示すような追記後の電子付箋データ１２０１を作成する。
【００４９】
図１２において、ヘッダー部１２０２の貼り付け時間は上の付箋の電子付箋データのヘッダー部８０２の貼付時間の内容で上書きされている。一方、データ部１２０３の各要素には、上の付箋の電子付箋データのデータ部８０３の内容で上書きされている。Ｓ１００７でサーバのデータに上の付箋のデータで上書きした後、Ｓ３０３に戻る。
【００５０】
以上説明したように、本実施例によれば、重なった付箋の共有領域の面積を使用して付箋の重ね方（重ね度合い）を判定し、その結果によって電子データに対して重ねた付箋の内容を追記するか、上書きするかを切り替える事ができる。これによって、付箋の重ね方を簡易的に判断しつつ、付箋の重ね方によって付箋の追記と上書きを切り替える事が出来る。
【００５１】
＜実施例３＞
実施例２では付箋の重ね方に応じて電子データへの追記、上書きを切り替える方法を説明した。実施例２では付箋の重ね方の判定の際に重なった付箋の共有領域の面積を使用した。実施例３ではこの判定に付箋が重ねられた後の下の付箋の判読性を用いる方法を説明する。ここでの判読性とは、付箋が重なった状態で、下の付箋の情報がどの程度表面に現れているか（認識できるか）を意味する。
【００５２】
本システムの動作について説明する。図１３は、本システムの処理の流れを示すフローチャートである。尚、Ｓ３０１〜Ｓ３１０及びＳ３１１の処理は図３のフローチャートと、Ｓ１００７は図１０のフローチャートと同様の処理である為、説明は割愛する。また、本フローチャートでも図４（Ａ）のようにホワイトボード１１４に紙付箋が３枚貼られた状態から、新たに紙付箋４０１に重なるように紙付箋４０５が貼られ、ホワイトボード１１４が図４（Ｂ）のような状態になった想定で説明する。
【００５３】
新しく追加された紙付箋が他の付箋に重ねられたと判定された場合（Ｓ３０６〜Ｓ３０９のいずれかにてＹＥＳ）、サーバ１１１は、Ｓ１３０１で下の付箋の電子付箋データのヘッダー部６０２から、文字画像領域の座標を取得する。続いてサーバ１１１は、Ｓ１３０２で下の付箋の電子付箋データのデータ部６０３から、付箋の画像データを取得する。その後、サーバ１１１はＳ１３０３にて、Ｓ１３０１で取得した文字画像情報の座標で、Ｓ１３０２で取得した下の付箋の画像データを切り出す。これにより、例えば紙付箋４０１の場合、付箋が重ねられる前の下の付箋の文字画像領域４０４を画像として切り出す事ができる。
【００５４】
次に、サーバ１１１は、Ｓ１３０４で、下の付箋の文字画像領域を、ホワイトボード１１４の左下を原点とする絶対座標に変換する。具体的には、下の付箋のヘッダー部６０２に含まれる文字画像領域の各座標に、同じくヘッダー部６０２に含まれる付箋領域の左下の座標を加算する事で、ホワイトボード１１４の左下を原点とする絶対座標に変換する。続いてサーバ１１１はＳ１３０５にて、Ｓ３０１で撮影したデジタルカメラ１１３によるホワイトボード１１４の撮影画像データを取得する。その後、サーバ１１１はＳ１３０６にて、Ｓ１３０４で取得した下の付箋の文字画像情報の座標（ホワイトボード１１４左下原点の絶対座標）で、Ｓ１３０５で取得したホワイトボード１１４の撮影画像データを切り出す。これにより、例えば紙付箋が図１１（Ｃ）のように、下の紙付箋４０１の内容が見えるようずらして重ねられた場合、付箋が重ねられた後の下の付箋の文字画像領域１１０２を切り出す事ができる。また、付箋が図１１（Ｆ）のように、下の紙付箋４０１の内容が見えないよう上から覆うように重ねられた場合、付箋が重ねられた後の下の付箋の文字画像領域１１０４を切り出す事ができる。
【００５５】
その後、サーバ１１１はＳ１３０７にて公知の類似度判定処理を行い、Ｓ１３０３で得た付箋が重ねられる前の下の付箋の文字画像領域の画像と、Ｓ１３０６で得た付箋が重ねられた後の下の付箋の文字画像領域の画像との類似度を計算する。続いてサーバ１１１はＳ１３０８にて、Ｓ１３０７で得た類似度が所定の閾値より大きいかを判定する。閾値より大きい場合（Ｓ１３０８にてＹＥＳ）、サーバ１１１は、付箋が重ねられた後でも下の付箋の判読性は高いと判定し、上の付箋は図１１（Ａ）のように下の付箋の内容が見えるようずらして重ねられたと判定する。
【００５６】
例えば下の紙付箋４０１と上の紙付箋４０５が図１１（Ａ）のように重ねられ、Ｓ１３０８で用いられる閾値が“８０”として予め定義されている場合を考える。Ｓ１３０７にて、付箋が重ねられる前の下の付箋の文字画像領域４０４と、付箋が重ねられた後の下の付箋の文字画像領域１１０２の類似度が“９０”と算出されたとする。この場合、９０＞８０により、上の付箋は下の付箋の内容が見えるようずらして重ねられたと判定される。
【００５７】
その後、サーバ１１１はＳ３１１にて上の付箋の内容を下の付箋の電子付箋データに追記し、Ｓ３０３に戻る。
【００５８】
一方、Ｓ１３０７で得た類似度が予め定めた閾値以下である場合（Ｓ１３０８にてＮＯ）、サーバ１１１は付箋が重ねられた後の下の付箋の判読性は低いと判定する。その結果、上の付箋は図１１（Ｄ）のように下の付箋の内容が見えないよう上から覆うように重ねられたと判定される。
【００５９】
例えば下の紙付箋４０１と上の紙付箋４０５が図１１（Ｄ）のように重ねられ、Ｓ１３０８で用いられる閾値が“８０”であった場合を考える。Ｓ１３０７にて、付箋が重ねられる前の下の付箋の文字画像領域４０４と、付箋が重ねられた後の下の付箋の文字画像領域１１０４との類似度が“１０”と算出されたとすると、１０＜９０により、上の付箋は下の付箋の上から覆うように重ねられたと判定される。
【００６０】
その後、サーバ１１１はＳ１００７にて上の付箋の内容で下の付箋の電子付箋データに上書きし、Ｓ３０３に戻る。
【００６１】
以上説明したように、本実施例によれば、付箋が重ねられた後の下の付箋の判読性によって付箋の重ね方を判定し、その結果によって電子データに対して重ねた付箋の内容を追記するか、上書きするかを切り替える事ができる。これによって、付箋の重ね方による付箋の追記と上書きの切り替えを、追記の意図で付箋を重ねる場合は下の付箋が読めるように重ねるというユーザの感覚に近い形で提供できる。
【００６２】
＜その他の実施例＞
上述した実施形態では、重なり具合を文字画像領域の類似度で判断した。この他にも、付箋が重ねられる前後で文字画像領域にＯＣＲを掛けた結果を比較し、付箋が重ねられる前に読み取れた文字列が、付箋が重ねられた後にどの程度残っているか（上の付箋により隠されていないか）で判断しても良い。この場合、文字画像領域の類似度が付箋を重ねる前後で低くても、付箋が重ねられた領域が文字の判読に影響無い範囲（割合）であれば追記として扱う事が出来る。
【００６３】
また、上述した実施形態では、サーバ１１１のＣＰＵ（プロセッサ）がプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。
【００６４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現させるソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014119809.tif 000003
【図２】
2014119809.tif 000004
【図３】
2014119809.tif 000005
【図４】
2014119809.tif 000006
【図５】
2014119809.tif 000007
【図６】
2014119809.tif 000008
【図７】
2014119809.tif 000009
【図８】
2014119809.tif 000010
【図９】
2014119809.tif 000011
【図１０】
2014119809.tif 000012
【図１１】
2014119809.tif 000013
【図１２】
2014119809.tif 000014
【図１３】
2014119809.tif 000015