(57)【要約】      （修正有）【課題】物理媒体および電子情報を併用して情報共有を行うシステムにおいて、物理媒体に対応する電子情報と新たに入力される情報との関連付けを容易にし、システムの利便性を向上させる。【解決手段】物理媒体が配置された投影面に電子情報を投影するシステムであって、前記投影面に配置された物理媒体に対応する電子情報を保持する保持手段と、入力手段を用いたユーザ操作により前記投影面に配置された物理媒体が選択されたことを検知する検知手段と、前記物理媒体が選択された後、前記投影面にて前記入力手段を用いて入力された付加情報を取得し、前記選択された物理媒体に対応する電子情報と前記取得した付加情報とを関連付けて前記保持手段に保持させる手段と、前記物理媒体の前記投影面における配置の状態に応じて、当該物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報の表示を切り替えて投影する制御手段とを有する。【選択図】図１
2015064792.tif 000002
【特許請求の範囲】
【請求項１】
物理媒体が配置された投影面に電子情報を投影するシステムであって、
前記投影面に配置された物理媒体に対応する電子情報を保持する保持手段と、
入力手段を用いたユーザ操作により前記投影面に配置された物理媒体が選択されたことを検知する検知手段と、
前記物理媒体が選択された後、前記投影面にて前記入力手段を用いて入力された付加情報を取得し、前記選択された物理媒体に対応する電子情報と前記取得した付加情報とを関連付けて前記保持手段に保持させる手段と、
前記物理媒体の前記投影面における配置の状態に応じて、当該物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報の表示を切り替えて投影する制御手段と
を有することを特徴とするシステム。
【請求項２】
前記検知手段により物理媒体が選択されたことを検知した場合、前記制御手段は、当該物理媒体が選択されたことを示す情報を投影することを特徴とする請求項１に記載のシステム。
【請求項３】
前記制御手段は、
物理媒体が前記投影面に配置されていない場合、当該物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報を投影し、
物理媒体が前記投影面に配置されている場合、当該物理媒体に対応する電子情報に関連付けられた付加情報のみを投影することを特徴とする請求項１または２に記載のシステム。
【請求項４】
物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報を投影する場合に前記電子情報の画像と前記付加情報の画像を合成して合成画像を生成する合成手段を更に有し、
前記制御手段は、前記合成画像を前記投影面に投影することを特徴とする請求項３に記載のシステム。
【請求項５】
前記合成手段は、前記電子情報の画像と前記付加情報の画像を合成する場合、前記投影面における前記電子情報の位置と前記付加情報が入力された位置から合成の内容を決定して合成することを特徴とする請求項４に記載のシステム。
【請求項６】
前記検知手段は、前記投影面における物理媒体が配置された領域を前記入力手段にて指示された場合に、当該物理媒体が選択されたことを検知することを特徴とする請求項１乃至５のいずれか一項に記載のシステム。
【請求項７】
前記入力手段は、電子ペンであり、
前記付加情報は、前記電子ペンにて入力される文字列情報であることを特徴とする請求項１乃至６のいずれか一項に記載のシステム。
【請求項８】
前記制御手段は、前記検知手段にて前記投影面に配置された物理媒体が選択されたことを検知した場合、前記入力手段にて付加情報の入力を行うための領域を示す表示を投影することを特徴とする請求項１乃至７のいずれか一項に記載のシステム。
【請求項９】
前記投影面の画像を取得する取得手段と、
前記取得手段にて取得した画像から前記投影面に配置された物理媒体の情報を抽出し、当該物理媒体に対応する電子情報として生成する生成手段と
を更に有することを特徴とする請求項１乃至８のいずれか一項に記載のシステム。
【請求項１０】
物理媒体が配置された投影面に電子情報を投影手段に投影させる情報処理装置であって、
前記投影面に配置された物理媒体に対応する電子情報を保持する保持手段と、
入力手段を用いたユーザ操作により前記投影面に配置された物理媒体が選択されたことを検知する検知手段と、
前記物理媒体が選択された後、前記投影面にて前記入力手段を用いて入力された付加情報を取得し、前記選択された物理媒体に対応する電子情報と前記取得した付加情報とを関連付けて前記保持手段に保持させる手段と、
前記物理媒体の前記投影面における配置の状態に応じて、当該物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報の表示を切り替えて前記投影手段に投影させる制御手段と
を有することを特徴とする情報処理装置。
【請求項１１】
物理媒体が配置された投影面に電子情報を投影手段に投影させる情報処理装置における情報処理方法であって、
前記投影面に配置された物理媒体に対応する電子情報を記録部に保持する保持工程と、  入力手段を用いたユーザ操作により前記投影面に配置された物理媒体が選択されたことを検知する検知工程と、
前記物理媒体が選択された後、前記投影面にて前記入力手段を用いて入力された付加情報を取得し、前記選択された物理媒体に対応する電子情報と前記取得した付加情報とを関連付けて前記記録部に保持させる工程と、
前記物理媒体の前記投影面における配置の状態に応じて、当該物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報の表示を切り替えて前記投影手段に投影させる制御工程と
を有することを特徴とする情報処理方法。
【請求項１２】
コンピュータを、
投影面に配置された物理媒体に対応する電子情報を保持する保持手段、
入力手段を用いたユーザ操作により前記投影面に配置された物理媒体が選択されたことを検知する検知手段、
前記物理媒体が選択された後、前記投影面にて前記入力手段を用いて入力された付加情報を取得し、前記選択された物理媒体に対応する電子情報と前記取得した付加情報とを関連付けて前記保持手段に保持させる手段、
前記物理媒体の前記投影面における配置の状態に応じて、当該物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報の表示を切り替えて投影手段に投影させる制御手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム、情報処理装置、情報処理方法、およびプログラムに関する。特に、ホワイトボード等の盤面へ貼り付けられた紙付箋等を撮影装置で撮影して電子化し、またプロジェクタ等で同盤面へ電子化された付箋等を投影装置で投影する機器構成を複数拠点に備え、盤面の状態を複数拠点で共有するシステムに関する。
【背景技術】
【０００２】
複数人で新しい知識を創出する方法として、ブレインストーミング法と呼ばれる方法が広く知られている。ブレインストーミング法では、アイデアを１つずつカードに書き込み、それらを出し合い、共有しながらアイデアを誘発、発散させていく。この方法では前述のカードとして糊付き付箋紙などを用い、その糊付き付箋紙をホワイトボードなどの盤面に貼りつけて進める方法が良く用いられる。更に、ブレインストーミングの過程で、付箋紙を他の付箋紙に重ねて添付する事で、下になる紙付箋の内容に上の紙付箋の内容を付け足し、又は上書きする意図を表現する事がある。
【０００３】
特許文献１では、表示画面の上に置かれた物体と、その物体が置かれた下に表示されているオブジェクトを対応付けるシステムが開示されている。例えば、表示画面に表示されたウィンドウの上に重なるように付箋が貼られた場合、該ウィンドウの上に物体が置かれた事を検知し、その属性（ウィンドウの移動の制限など）を変更している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４６３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の手法を前述した電子ブレインストーミング法に適用した場合、画面に表示されたオブジェクトに対して紙付箋を上から貼付け、それら情報を関連づけて電子化することが考えられる。この画面に表示されている被対象物であるオブジェクトを電子付箋に置き換えて考えると、既に表示されている電子付箋に対し紙付箋を重ねて貼り付ける事で、電子化の際に２つの付箋が互いに関連するという情報を持たせることができる。しかしながら、関連付けの被対象物が電子付箋ではなく紙付箋であった場合は、同様の方法で対応付ける事はできない。また被対象物に対して紙付箋による情報の関連付けを行うのではなく、電子的な書き込みによる情報の関連付けについては触れられていない。このため、電子的な方法によって情報の関連付けを行うことができない。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本願発明は以下の構成を有する。すなわち、物理媒体が配置された投影面に電子情報を投影するシステムであって、前記投影面に配置された物理媒体に対応する電子情報を保持する保持手段と、入力手段を用いたユーザ操作により前記投影面に配置された物理媒体が選択されたことを検知する検知手段と、前記物理媒体が選択された後、前記投影面にて前記入力手段を用いて入力された付加情報を取得し、前記選択された物理媒体に対応する電子情報と前記取得した付加情報とを関連付けて前記保持手段に保持させる手段と、前記物理媒体の前記投影面における配置の状態に応じて、当該物理媒体に対応する電子情報および当該電子情報に関連付けられた付加情報の表示を切り替えて投影する制御手段とを有する。
【発明の効果】
【０００７】
本発明によれば、物理媒体および電子情報を併用して情報共有を行うシステムにおいて、物理媒体に対応する電子情報と新たに入力される情報との関連付けを容易にし、システムの利便性を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る情報処理システムの構成例を示す図。
【図２】サーバのハードウェア構成の例を示す図。
【図３】第一の実施形態に係る処理の流れを示すフローチャート。
【図４】本システムに係る付箋の配置の一例を示す図。
【図５】付箋画像抽出処理の詳細手順を示す図。
【図６】電子付箋のデータ構造の例を示す図。
【図７】紙付箋に対応する電子付箋データの具体例を示す図。
【図８】付加情報を入力、保存する処理の流れを示すフローチャート。
【図９】付加情報の電子データの構造例を示す図。
【図１０】情報が追加された後の電子付箋データの構造例を示す図。
【図１１】電子付箋を表示する処理を示すフローチャート。
【図１２】第二の実施形態に係る電子付箋を表示する処理を示すフローチャート。
【図１３】第二の実施形態の処理による表示結果を示す図。
【図１４】第三の実施形態に係る処理を示すフローチャート。
【図１５】本システムに係る電子付箋の配置の一例を示す図。
【図１６】画像合成の際の位置を決定するための条件と判定結果を説明するための図。
【図１７】第三の実施形態の処理による表示結果を示す図。
【図１８】その他の実施形態に係る入力位置を促す表示の例を説明するための図。
【発明を実施するための形態】
【０００９】
＜第一の実施形態＞
［システム構成］
図１は、本実施形態に係る情報処理システムの構成例を示す図である。本情報処理システムは、同一構成の２つの情報共有システム１００、１０１がネットワーク１０２とで接続されている。情報共有システム１００、１０１の内部構成は同一であり符号が異なるだけであるため、情報共有システム１００を例にとって詳しく説明する。
【００１０】
情報共有システム１００は、情報処理装置であるサーバ１１１、撮影装置としてのデジタルカメラ１１３、および表示装置１１５を含む。表示装置１１５はさらに、投影手段であるプロジェクタ１１２と、投影面であるホワイトボード１１４から構成され、プロジェクタ１１２から投影された画像が、ホワイトボード１１４上に表示される。なお、本実施形態の情報処理システムは、ブレインストーミングなどの会議や、ＫＪ法などで利用可能であるが、利用用途はこれらに限るものではない。
【００１１】
本実施形態では、情報が記述された物理媒体として糊付き付箋（ポスト・イット（商標）など）がホワイトボードなどのスクリーンに配置された場合を用いて説明するが、本発明は、糊付き付箋に限るものではない。例えば、文書やカードがテープ等を用いて貼られた場合や、マグネットなどの吸着手段によって貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材（プラスチックや布など）であってもよい。
【００１２】
以下の実施形態では、ホワイトボードに貼られた付箋や文書を、その素材とは無関係に、紙付箋（または紙文書）と呼ぶ。また、その紙付箋に対して撮影やスキャン等を行うことにより紙付箋の情報を電子化した付箋データを電子付箋（または電子文書）と呼んで区別する。
【００１３】
図２は、サーバ１１１のハードウェア構成の例を示す図である。サーバ１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、電子ペンＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、外部メモリＩ／Ｆ２０７、および外部Ｉ／Ｆ２０８を含み、それらはシステムバス２０４で接続される。電子ペン１１６は、電子ペンＩ／Ｆ２０５を介してサーバ１１１に接続され、ユーザによるユーザ操作に基づいて各種操作・指示を受け付ける入力手段として機能する。プロジェクタ１１２は、ディスプレイＩ／Ｆ２０６を介してサーバ１１１に接続される。サーバ１１１は、プロジェクタ１１２を介してホワイトボードに画像を投影する。デジタルカメラ１１３は、外部Ｉ／Ｆ２０８を介してサーバ１１１に接続される。サーバ１１１は、デジタルカメラ１１３で撮影した紙付箋の画像を取りこんで、その紙付箋に対応する電子付箋（付箋データ）を作成することができる。また、本実施形態では、ユーザが電子ペン１１６を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ１１２で投影して表示させることができるものとする。
【００１４】
ＣＰＵ（プロセッサ）２０１は、サーバ１１１全体を制御し、記録部であるＲＯＭ２０３や外部メモリ２１１などに記憶されたプログラムをＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、サーバ１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。
【００１５】
ＬＡＮ  Ｉ／Ｆ２１０は、他の情報共有システムと相互接続を行うためのネットワークインタフェースであり、図１に示すようにネットワーク１０２を介して情報共有システム１００、１０１を接続するために用いられる。
【００１６】
［処理フロー］
次に、本システムの動作について説明する。図３は、本システムの処理の流れを示すフローチャートである。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。
【００１７】
ブレインストーミングでは、ユーザのアイデアを紙付箋に書き込み、それらをホワイトボード１１４に貼りつけて進める。ここでは、図４（Ａ）に示すように、ホワイトボード１１４上において紙付箋４０２、４０３の２枚が貼られた状態から、新たに紙付箋４０１が貼られた状態になった場合を例にとって説明する。従って、処理が始まる段階で既にサーバ１１１に紙付箋４０２、４０３に対応する情報が電子化した電子付箋データとして格納され、保持されているものとする。文字画像領域４０４は、紙付箋４０１に記載された文字列情報の画像領域を示す。
【００１８】
まず、ＣＰＵ２０１は、ユーザからの撮影要求を検知し、デジタルカメラ１１３によりホワイトボード１１４の画像を撮影する（Ｓ３０１）。ＣＰＵ２０１は、デジタルカメラ１１３で撮影されたデータを、サーバ１１１の外部Ｉ／Ｆ２０８を介してＲＡＭ２０２に格納する。撮影した画像には、ホワイトボード１１４上の、張り付けられた紙付箋の画像と、投影中の電子付箋の画像とが含まれることになる。
【００１９】
Ｓ３０２にて、ＣＰＵ２０１は、撮影画像から付箋画像を抽出し、当該抽出した付箋画像から電子付箋データを生成する。付箋画像を含む電子付箋のデータ構造に関しては後述する。図５は、付箋画像抽出処理（Ｓ３０２）におけるデータに対する処理の流れを示す図である。サーバ１１１のＣＰＵ２０１がプログラムを実行することにより、図５の各処理を実行する処理部として機能する。
【００２０】
デジタルカメラ１１３で撮影されてサーバ１１１のＲＡＭ２０２に格納された撮影画像データ５０１に対して、まず、輪郭抽出部（不図示）による輪郭抽出処理５０２と、色判定部（不図示）による色判定処理５０３とが行われる。輪郭抽出処理５０２では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、撮影画像データ５０１内に存在するオブジェクトの輪郭（紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など）を抽出できる。また、色判定処理５０３により、撮影画像データ５０１内に含まれる各オブジェクト（紙付箋や文字）の色が抽出される。
【００２１】
次に、付箋領域判定部（不図示）による付箋領域判定処理５０４を行う。付箋領域判定処理５０４では、抽出されたオブジェクトのうち、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトの領域を付箋領域として判定する。このとき、その矩形状の輪郭の内部に文字サイズの輪郭を含むか否かを判定するように構成することにより、より精度よく付箋領域を判定することが可能である。そして、付箋領域切り出し部（不図示）において、付箋領域切り出し処理５０５を行い、当該抽出された付箋画像に基づいて電子付箋データ５０６を生成する。付箋領域切り出し処理５０５は、撮影画像データ５０１に含まれる各紙付箋に対応した付箋領域の部分画像（付箋画像）を切り出す処理である。なお、このとき、付箋画像に対してＯＣＲ処理を行って付箋内部に記入された文字画像のテキストデータを求めるように構成してもよい。
【００２２】
図６は、生成された電子付箋６０１のデータ構造の例を示す。各電子付箋は、ヘッダー部６０２とデータ部６０３を有する。ヘッダー部６０２は、ＩＤ、貼付時間、貼付状態ＯＮ／ＯＦＦ、貼付場所、選択場所、付箋領域、文字画像領域、付箋面積、および関連ＩＤを含む。ＩＤは、各電子付箋を識別するため識別子である。貼付時間は、対応する紙付箋が貼付された時刻を示す。貼付状態ＯＮ／ＯＦＦは、対応する紙付箋がホワイトボードに貼付されたままの状態であるか剥がされた状態であるかを示す。貼付場所は、紙付箋の貼付場所を示す。選択場所は、付箋の選択状態を示す。選択場所が示す情報により、当該付箋に対する入力を行っている場所を示す。付箋領域は、ホワイトボードにおける付箋領域の位置を示す。付箋領域は、ホワイトボードの左下を原点とした座標系における、付箋の左上、右上、左下、右下それぞれの座標のセットから構成される。なお、ここでの座標系は一例であり、他の点を基準としてもよい。また、付箋領域を示す座標は、基準点とその基準点からのオフセットにて示しても構わない。文字画像領域は、文字画像領域の付箋に対する相対的な位置を示す。文字画像領域は、付箋領域の左下を原点とした座標系における、文字画像の左上、右上、左下、右下それぞれの座標のセットから構成される。付箋面積は、付箋の大きさを示す。関連ＩＤは、関連する情報が存在するかを示す。
【００２３】
データ部６０３は、デジタルカメラ１１３で撮影された撮影画像から切り出した付箋画像の画像データを含む。なお、データ部６０３には、その付箋画像データにＯＣＲ処理を施した場合はそのＯＣＲ処理結果のテキスト（文字列情報）を示すＯＣＲデータが更に格納される。
【００２４】
電子付箋のデータ構造の具体例を図７に示す。ここでは、図４（Ａ）の紙付箋４０１の付箋画像から電子付箋７０１が生成された例を示す。電子付箋７０１のヘッダー部７０２の内容は次の通りである。ＩＤに「１」、貼付された時間に「１０時０分０秒」が格納される。また、対応する紙付箋４０１がホワイトボード１１４上に貼付されたままの状態であるため貼付状態は「ＯＮ」となる。貼付場所は「会議室１」、選択場所は「選択なし」となる。付箋領域は付箋の左上が「（Ｘ１，Ｙ２）」、右上が「（Ｘ２，Ｙ２）」、左下が「（Ｘ１，Ｙ１）」、右下が「（Ｘ２，Ｙ１）」となる。文字画像領域は、左上が「（Ｘ３，Ｙ４）」、右上が「（Ｘ４，Ｙ４）」、左下が「（Ｘ３，Ｙ３）」、右下が「（Ｘ４，Ｙ３）」となる。そして、付箋面積は「２０」、関連ＩＤは「なし」である。
【００２５】
また、データ部７０３の内容は、画像データが「ｄａｔａ１．ｊｐｇ」というファイル名で格納されており、ＯＣＲ処理が行われた場合はＯＣＲデータに「ＡＢＣＤ」が格納される。
【００２６】
図３のＳ３０３にてＣＰＵ２０１は、Ｓ３０２で抽出した全ての電子付箋について処理を行ったか判定する。未処理の他の電子付箋があると判定した場合は（Ｓ３０３にてＹＥＳ）Ｓ３０４に進む。全ての電子付箋について処理を行ったと判定した場合は（Ｓ３０３にてＮＯ）、本処理フローを終了する。
【００２７】
Ｓ３０４にてＣＰＵ２０１は、Ｓ３０２で生成した電子付箋に含まれる付箋画像それぞれを順に処理対象とし、サーバ１１１の記憶部に既に登録済みの電子付箋と比較し、同じ付箋画像を有する電子付箋データが既に登録されているか否かを照合する。具体的には、互いの貼り付け位置の比較と、公知の類似画像判定技術による互いの付箋画像の比較を行い、どちらの付箋画像も同一であると判定された場合、登録済みであると判定する。Ｓ３０４の照合結果に基づき、Ｓ３０２で抽出した付箋画像がサーバ１１１の記憶装置に登録済みの電子付箋と異なると判定した場合は、新たな紙付箋が追加されたと判定し（Ｓ３０５にてＹＥＳ）、Ｓ３０６に進む。一方、Ｓ３０２で抽出した付箋画像がサーバ１１１の記憶領域に登録済みの電子付箋と同じであると判定した場合（Ｓ３０５にてＮＯ）、Ｓ３０３に戻る。
【００２８】
Ｓ３０６にてＣＰＵ２０１は、紙付箋画像に基づいて作成された電子付箋データを、新たな電子付箋データとしてサーバ１１１に登録し、Ｓ３０３に戻る。
【００２９】
以上の処理を実行することで盤面に対して新規の紙付箋を貼り付けた場合に情報を電子化し、この電子情報を、ネットワーク１０２を介してサーバ１１１とサーバ１２１とが共有することにより多数の拠点で付箋情報（電子付箋）の共有が可能になる。
【００３０】
［書き込み処理］
次にホワイトボード１１４が図４（Ａ）の状態から図４（Ｂ）の状態のように、紙付箋４０１に対する付加情報として電子ペン１１６によって付加情報４０５のような書き込みが行われる場合の処理について説明する。
【００３１】
図８は、サーバ１１１に接続されている電子ペン１１６によってホワイトボード１１４上を触れた時に実行される処理の一部、紙付箋に触れたかを判定する処理のフローチャートである。Ｓ８０１にて、ＣＰＵ２０１は、電子ペン１１６によって紙付箋に触れたかを判定する。この処理は電子ペンが触れた時の座標情報と、サーバ１１１に登録されている電子付箋の座標情報とを比較することで判定可能である。図４（Ａ）の紙付箋４０１を例にすると、先に説明した通り図７に示すデータ構造によって紙付箋の左上が（Ｘ１，Ｙ２）、右上が（Ｘ２，Ｙ２）、左下が（Ｘ１，Ｙ１）、右下が（Ｘ２，Ｙ１）としてそれぞれ保存されている。したがって、この座標情報にて示される領域内を電子ペン１１６で指示されたか否かを検知することで、紙付箋が選択されたか否かを判定できる。紙付箋に触れていないと判定された場合には（Ｓ８０１にてＮＯ）、本処理フローを終了する。
【００３２】
紙付箋４０１に触れたと判定された場合は（Ｓ８０１にてＹＥＳ）その紙付箋を選択したとみなし、ＣＰＵ２０１は、対象になった紙付箋４０１の付加情報を入力する状態に移行する。Ｓ８０２にてＣＰＵ２０１は、対象の紙付箋に対する入力の排他処理を行う。ここでは、図７に示すデータ構造の中の「選択場所」情報を「選択なし」から選択されたユーザが位置する会議室、例えば「会議室１」へ変更することで排他制御を行う。この処理は付箋情報をプロジェクタ１１２で表示を行う場合に用いられるが、具体的な処理については後述する。
【００３３】
Ｓ８０３にてＣＰＵ２０１は、付加情報の入力を受け付ける。具体的にはユーザが電子ペン１１６を用いてホワイトボード１１４に対して付加情報（文字列など）を書き込み、図４（Ａ）の状態から図４（Ｂ）の状態のように追記されたと仮定する。これにより、サーバ１１１は、選択された紙付箋に対する付加情報を取得する。
【００３４】
Ｓ８０４にてＣＰＵ２０１は、Ｓ８０１で行われた紙付箋の選択を解除する入力があったかを判定する。この判定には、例えば電子ペン１１６によって紙付箋４０１に再度触れたか（指示されたか）否かを判定することが可能である。ここで紙付箋４０１に再度触れていなければ（Ｓ８０４にてＮＯ）Ｓ８０３に戻り、ＣＰＵ２０１は、付加情報の入力状態を継続する。紙付箋４０１に触れた場合には（Ｓ８０４にてＹＥＳ）、Ｓ８０５に処理を進める。
【００３５】
Ｓ８０５にてＣＰＵ２０１は、Ｓ８０３で入力された付加情報を選択された紙付箋４０１に対応する電子付箋に関連付けて記録する。図９は、Ｓ８０３で入力された付加情報のデータ構造であり、この情報は図６に示した電子付箋と同じ構造を持ち、付箋領域と文字領域の値が同一内容になる。ここで関連付けられる付加情報のＩＤは「２」とする。さらにこの付加情報と、紙付箋４０１に対応する電子付箋とを関連付けるため、紙付箋の情報は図７の状態から図１０に示すように関連ＩＤの値が「なし」の状態から、付加情報のＩＤを示す「２」に変更される。
【００３６】
Ｓ８０６にてＣＰＵ２０１は、Ｓ８０２で行った紙付箋４０１に対する入力の排他処理を解除する。ここでは、図７に示すデータ構造の中の「選択場所」情報を選択された会議室「会議室１」から「選択なし」へ変更する。この処理は付箋情報をプロジェクタ１１２で表示する場合に用いられるが、具体的な処理については後述する。
【００３７】
以上の一連の処理により、紙付箋に対して電子ペン１１６を用いて付加情報を入力し、関連付けて保存する。
【００３８】
［投影処理］
次にホワイトボード１１４に対してプロジェクタ１１２を用いて各情報を投影する処理について説明する。図１１は、各情報を投影する処理の流れを示すフローチャートである。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。Ｓ１１０１〜Ｓ１１１０の一連の処理は、サーバ１１１の記録装置に格納されている個々の情報に対して繰り返し実行される。以下、サーバ１１１に格納されている電子付箋を付箋情報と記載し、電子ペンを介して入力された情報を付加情報と記載する。  
【００３９】
Ｓ１１０２にてＣＰＵ２０１は、当該付箋情報に排他処理が必要かの判定を行う。これは図６に示すデータに含まれる「選択場所」情報を参照することで行われる。例えば、図７で示されているヘッダー部７０２内で「選択なし」となっている場合は排他不要とし、図１０で示されているヘッダー部１００２内で「会議室１」と、「選択なし」以外になっている場合は排他要と判断する。排他が不要と判定された場合には（Ｓ１１０２にてＮＯ）Ｓ１１０４に進む。排他が必要と判定された場合には（Ｓ１１０２にてＹＥＳ）Ｓ１１０３に進み、ＣＰＵ２０１は当該付箋情報を元に付箋の外枠表示を行う。この外枠表示は、電子付箋に含まれる「付箋領域」情報を用いることで可能である。
【００４０】
Ｓ１１０４にてＣＰＵ２０１は、投影しようとしているホワイトボード１１４に、紙付箋が貼り付けられているかの判定を行う。ここでの判定は、図６に示すデータに含まれる「貼付場所」情報と「貼付状態」情報を参照することで行われる。「貼付情報」がホワイトボード１１４が設置されている場所と同じであり、かつ「貼付け状態情報」が「ＯＮ」である場合は、現状ではホワイトボード１１４上に紙付箋が貼られていることを示す。一方、それ以外の場合は、紙付箋がホワイトボード１１４上に貼られていないことを示す。  
【００４１】
紙付箋が貼り付けられていると判定された場合には（Ｓ１１０４にてＹＥＳ）Ｓ１１０５に進み、当該付箋情報に付加情報が関連付けられているか否かの判定を行う。本処理は、図６に示すデータに含まれる「関連ＩＤ」情報を参照することで行われる。「関連ＩＤ」情報が「なし」の場合は、紙付箋がホワイトボード１１４上に貼り付けられており、かつ、その付箋情報に関連付けられた付加情報が無い（Ｓ１１０５にてＮＯ）。そのため、以後の処理が必要ないことからＳ１１１０へ進む。
【００４２】
図１０のヘッダー部１００２のように「関連ＩＤ」情報が「なし」以外の場合には、紙付箋がホワイトボード１１４上に貼り付けられており、かつ、付加情報がある（Ｓ１１０５にてＹＥＳ）。そのため、紙付箋に対応する付箋情報は表示を行わず、関連情報のみ表示すれば良いため、Ｓ１１０６においてＣＰＵ２０１は、付加情報のみの表示処理を行う。
【００４３】
付加情報の表示には「関連ＩＤ」情報を参照し、付箋のようにホワイトボード１１４上に表示させる。図１０のヘッダー部１００２には「関連ＩＤ」情報に「２」が格納されているため、図９にある「ＩＤ」情報が「２」である付加情報を参照し、「付箋領域」情報に格納されている位置情報を元に、画像データの表示を行う。
【００４４】
Ｓ１１０４にて紙付箋が貼り付けられていないと判定された場合には（Ｓ１１０４にてＮＯ）Ｓ１１０７に進み、ＣＰＵ２０１は、当該付箋情報に付加情報があるか否かの判定を行う。この判定は図６に示すデータ構造内にある「関連ＩＤ」情報を参照することで行われる。「関連ＩＤ」情報が「なし」の場合は、紙付箋が貼り付けられておらず、かつ、その付箋情報に関連付けられた付加情報が無い（Ｓ１１０７にてＮＯ）。したがって、付箋情報のみを表示する必要があるため、Ｓ１１０８においてＣＰＵ２０１は、付箋情報のみの表示処理を行う。ここで、付箋情報の表示では、対象となるデータの「付箋領域」情報および「文字画像領域」情報に格納されている位置情報を元に、画像データの表示が行われる。
【００４５】
図１０のヘッダー部１００２のように「関連ＩＤ」情報が「なし」以外の場合には、紙付箋がホワイトボード１１４上に貼り付けられておらず、かつ、その付箋情報に関連付けられた付加情報がある（Ｓ１１０７にてＹＥＳ）。したがって、付箋情報と、関連付けられた付加情報の両方を表示する必要があるため、Ｓ１１０９においてＣＰＵ２０１は、それら両方の情報の表示処理を行う。付加情報の表示には「関連ＩＤ」情報を参照し、ホワイトボード１１４上に付箋のように表示させる。図１０のヘッダー部１００２には「関連ＩＤ」情報に「２」が格納されているため、ＣＰＵ２０１は、図９にある「ＩＤ」情報が「２」であるデータを参照し、「付箋領域」情報に格納されている位置情報を元に、画像データの表示を行う。
【００４６】
以上説明したように、本実施形態によれば、既に貼付けて電子化されている紙付箋に対して電子ペン等のポインティングデバイスを用いて付加情報を入力し、入力された付加情報を紙付箋と関連付けて格納することが可能になる。また付箋情報の投影時に、紙付箋の貼り付け有無、付加情報の有無を判定することで、必要な情報のみを投影することが可能になる。
【００４７】
＜第二の実施形態＞
第一の実施形態では、図８に示すように紙付箋に対して電子的な方法で編集状態（紙媒体に対する排他状態）へ移行する。そして、編集状態での編集内容を記録し、選択解除動作が行われたら編集された内容を先に選択された紙付箋と関連付けを行う。これにより、紙付箋に対応する電子データに追記を行う方法を説明した。また盤面に紙付箋が貼られているか否かによって表示方法を切り替えることによって、関連した情報を矛盾なく表示することが可能になることを説明した。
【００４８】
第二の実施形態では、電子付箋に付加情報が関連付けられていた場合の表示をより自然に表示するための表示方法について説明する。
【００４９】
図１２は、本実施形態における、付箋の電子情報を投影する処理の流れを示すフローチャートである。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。Ｓ１１０１〜Ｓ１１１０の一連の処理は、サーバ１１１の記録装置に格納されている個々の付箋の電子情報に対して繰り返し実行される。図１２に示すＳ１１０１〜Ｓ１１０８の処理は図１１と同様の処理であるため、詳しい説明は割愛する。
【００５０】
本フローチャートでもホワイトボード１１４が図４（Ａ）の状態から図４（Ｂ）の状態のように、紙付箋４０１に対する付加情報として電子ペン１１６によって付加情報４０５のような書き込みが行われた場合の表示処理について説明する。
【００５１】
盤面に付箋情報に対応する紙付箋が貼り付けられていないと判定され、かつ付加情報が関連付けられていると判定された場合（Ｓ１１０４にてＮＯかつＳ１１０７にてＹＥＳ）、付箋情報と、当該付箋情報に関連付けられた付加情報の両方を表示する必要がある。Ｓ１２０１〜Ｓ１２０３にて、それら両方の情報の表示処理を行う。
【００５２】
Ｓ１２０１にてＣＰＵ２０１は、表示対象となる元の付箋情報のデータ部と、付加情報のデータ部との画像合成を行う。ここでは、元の付箋情報を図１０とし、付加情報を図９である場合の例を用いて説明する。合成の方法については特に特定しない。例えば、データ部１００３とデータ部９０３の画像データであるｄａｔａ１．ｊｐｇとｄａｔａ２．ｊｐｇを単純に上下に連結して画像データを生成する方法でもよい。また、ＯＣＲした結果である「ＡＢＣＤ」と「ＥＦＧ」のテキスト情報を連結して新たに画像データを生成する方法でもよい。また、合成する際に、元の情報と付加情報とが識別できるように表示方法を切り替えて合成してもよい。例えば、文字の色やサイズを使い分けるようにしても構わない。
【００５３】
Ｓ１２０２にてＣＰＵ２０１は、画像合成した情報を表示する位置を算出する。これは元の付箋情報である図１０のヘッダー部１００２に含まれる付箋領域Ｘ１、Ｘ２、Ｙ１、Ｙ２と文字画像領域Ｘ３、Ｘ４、Ｙ３、Ｙ４、および、図９のヘッダー部９０２に含まれる文字画像領域Ｘ５、Ｘ６、Ｙ５、Ｙ６を用いる。
【００５４】
前述した通り画像データであるｄａｔａ１．ｊｐｇとｄａｔａ２．ｊｐｇを単純に上下に連結した場合はｄａｔａ２．ｊｐｇをＸ座標としてはＸ３、Ｘ４の中心とＸ５、Ｘ６の中心が同一になる位置に、Ｙ座標としてはＹ３の直下に表示することが考えられる。このときにＹ３がＹ６−Ｙ５の値よりも小さい場合は、Ｙ５を限度として、付箋領域の下端Ｙ１を適宜調整すればよい。Ｓ１２０３にてＣＰＵ２０１は、前述した合成画像を、前述した算出位置に表示する処理を行う。
【００５５】
本例では、ホワイトボード１１４が図４（Ａ）の状態から図４（Ｂ）の状態のように、紙付箋４０１に対する付加情報として電子ペン１１６によって付加情報４０５のような書き込みが行われた例を挙げている。なお、本実施形態で有効な差が現れる表示盤面は、紙付箋が貼られていない他の拠点にあるホワイトボードである。他の拠点にあるホワイトボード１２４に対する表示としては図１３のような結果が得られる。
【００５６】
以上説明したように、本実施形態によれば、紙付箋の電子情報に対して付加情報が付加されている場合、紙付箋が貼られていない盤面に対してはそれらの画像データ、もしくはＯＣＲデータを合成して表示する。これにより、１つの付箋として表示することができ、より自然に表示することが可能になる。
【００５７】
＜第三の実施形態＞
第二の実施形態では、電子付箋に付加情報が関連付けられていた場合の付箋表示をより自然に表示するために画像を合成する方法を説明した。第二の実施形態では、表示するための画像合成の方法について単純に連結した場合についての説明を行ったが、第三の実施形態では付加情報の書き込み位置によって連結する位置を切り替える方法について説明する。
【００５８】
図１４は、本実施形態に係る付箋の電子情報を投影する処理の流れを示すフローチャートである。本フローチャートで示す手順は、そのプログラムがサーバ１１１のＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤなど）２１１のいずれかに格納され、ＣＰＵ２０１により実行される。Ｓ１１０１からＳ１１１０までの一連の処理は、サーバ１１１の記録装置に格納されている個々の付箋の電子情報に対して繰り返し実行される。図１４のＳ１１０１〜Ｓ１１０８の処理、およびＳ１２０３の処理については第二の実施形態に述べた図１２と同様の処理であるため、詳しい説明は割愛する。
【００５９】
また、本フローチャートでもホワイトボード１１４が図４（Ａ）の状態から図１５の状態のように、紙付箋４０１に対する付加情報として電子ペン１１６によって付加情報４０５のような書き込みが行われた場合の表示処理について説明する。
【００６０】
盤面に付箋情報に対応する紙付箋が貼り付けられていないと判定され、かつ付加情報が関連付けられていると判定された場合には（Ｓ１１０４にてＮＯかつＳ１１０７にてＹＥＳ）、付箋情報と、当該付箋情報に関連付けられた付加情報の両方を表示する必要がある。Ｓ１４０１、Ｓ１４０２、Ｓ１２０３の処理により、それら両方の情報の表示処理を行う。
【００６１】
Ｓ１４０１にてＣＰＵ２０１は、表示対象となる元の付箋情報のデータ部と、付加情報のデータ部との画像合成を行う。ここでは、元の付箋情報を図１０とし、付加情報を図９である場合の例を用いて説明する。合成の方法として、図１６に示す条件１と条件２を用いて、元の付箋情報に対して上下左右どこに付加情報が記載されているかを判定し、その判定結果に従いデータ部１００３とデータ部９０３の合成の位置および内容を変更する。  
【００６２】
例えば、紙付箋４０１と追記した付加情報４０５とが図１５のような位置関係にある場合はＹ５＞Ｙ２、及びＸ１＞Ｘ５＞Ｘ２の条件に合致する。そのため、付加情報４０５の画像であるデータ部９０３が、文字画像領域４０４の画像であるデータ部１００３の上に連結するように合成される。他の場合も同様にＸ１からＸ６、Ｙ１からＹ６の各数値を用いて判定し、画像合成の位置を決定する。データ部１００３とデータ部９０３の画像データであるｄａｔａ１．ｊｐｇとｄａｔａ２．ｊｐｇを単純に連結して画像データを生成してもよく、ＯＣＲした結果である「ＡＢＣＤ」と「ＥＦＧ」のテキスト情報を連結して新たに画像データを生成してもよい。なお、図１６に示す合成時の条件は一例であり、他の条件を用いても構わない。また、図１６では、画像間の合成位置のみを定義しているが、その他にも合成内容を定義しても構わない。
【００６３】
Ｓ１４０２にてＣＰＵ２０１は、画像合成した情報を表示する位置を算出する。これは元の付箋情報である図１０のヘッダー部１００２に含まれる付箋領域Ｘ１、Ｘ２、Ｙ１、Ｙ２と文字画像領域Ｘ３、Ｘ４、Ｙ３、Ｙ４および図９のヘッダー部９０２にある文字画像領域Ｘ５、Ｘ６、Ｙ５、Ｙ６を用いる。
【００６４】
前述した通り画像データであるｄａｔａ１．ｊｐｇとｄａｔａ２．ｊｐｇを単純に上下に連結した場合、ｄａｔａ２．ｊｐｇをＸ座標としてはＸ３、Ｘ４の中心とＸ５、Ｘ６の中心とが同一になる位置となる。また、Ｙ座標としては、Ｙ４を新たな書き出し位置にして表示することが考えられる。このときに、Ｙ３がＹ６−Ｙ５よりも小さい場合は、付箋領域の下端Ｙ１を適宜調整してもよい。
【００６５】
Ｓ１２０３にてＣＰＵ２０１は、前述した合成画像を、前述した算出位置に表示処理を行う。本例では、ホワイトボード１１４が図４（Ａ）の状態から図１５の状態のように、紙付箋４０１に対する付加情報として電子ペン１１６によって付加情報４０５のような書き込みが行われた例を挙げた。しかし、本実施形態で有効な差が現れる表示盤面は、紙付箋が貼られていない他の拠点にあるホワイトボードである。例えば、他の拠点にあるホワイトボード１２４に対する表示としては図１７のような結果が得られる。また図４（Ａ）の状態から図４（Ｂ）の状態のように書き込みが行われた場合には、図１４のフローチャートの処理を行うことで、図１３の結果が得られる。
【００６６】
以上説明したように、本実施形態によれば、紙付箋に対する電子情報に付加情報が関連付けられている場合、紙付箋が貼られていない盤面に対してはそれらの画像データ、もしくはＯＣＲデータを書き込み位置によって合成する位置を変えて表示する。これにより、１つの付箋として表示することができ、より自然に表示することが可能になる。
【００６７】
＜その他の実施形態＞
上述した実施形態では、書き込み位置によって元の付箋情報の直上、もしくは直下に付加情報の画像を連結する例を記載した。一方、ＯＣＲ処理などで文字の記載方向が判定でき、横書きではなく縦書きと判定できた場合は、元付箋情報の右もしくは左に画像を連結してもよい。
【００６８】
また、上述した実施形態では、システムによって紙付箋が選択されたとみなした時に付加情報の入力状態に移行するが、その時に電子ペンによって付加情報を入力する領域を予めシステムで表示し、そこへ入力するよう促すように構成しても良い。図１８にその表示例を示す。この例では紙付箋４０１が選択されたとみなした場合、付加情報を入力する領域１８０１をシステム側から予め表示した例である。
【００６９】
また、上述した実施形態では、サーバ１１１のＣＰＵ（プロセッサ）がプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。
【００７０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015064792.tif 000003
【図２】
2015064792.tif 000004
【図３】
2015064792.tif 000005
【図４】
2015064792.tif 000006
【図５】
2015064792.tif 000007
【図６】
2015064792.tif 000008
【図７】
2015064792.tif 000009
【図８】
2015064792.tif 000010
【図９】
2015064792.tif 000011
【図１０】
2015064792.tif 000012
【図１１】
2015064792.tif 000013
【図１２】
2015064792.tif 000014
【図１３】
2015064792.tif 000015
【図１４】
2015064792.tif 000016
【図１５】
2015064792.tif 000017
【図１６】
2015064792.tif 000018
【図１７】
2015064792.tif 000019
【図１８】
2015064792.tif 000020