(57)【要約】【課題】文字や画像が記載されている紙付箋や紙文書に代表されるシートが存在する投影面に電子情報を投影するシステムにおいて、シートと電子情報の重なりの上下関係をユーザが視覚的に認識することを容易にする。【解決手段】情報が記述された物理媒体が存在する投影面に電子情報を投影するシステムであって、前記投影面に電子情報が投影される際の、前記物理媒体と前記電子情報との重なりに関する情報を管理する管理手段と、前記管理手段が管理する情報により前記物理媒体が前記電子情報の上に重なると示されている場合、前記電子情報の投影される画像から前記物理媒体と前記電子情報とが重なる領域を削除して投影し、前記管理手段が管理する情報により前記物理媒体が前記電子情報の下に重なると示されている場合、前記電子情報の投影される画像に、前記電子情報が前記物理媒体の上に重ねられていることを示す指標情報を含めて投影する制御手段とを有する。【選択図】  図１
2015064793.tif 000002
【特許請求の範囲】
【請求項１】
情報が記述された物理媒体が存在する投影面に電子情報を投影するシステムであって、  前記投影面に電子情報が投影される際の、前記物理媒体と前記電子情報との重なりに関する情報を管理する管理手段と、
前記管理手段が管理する情報により前記物理媒体が前記電子情報の上に重なると示されている場合、前記電子情報の投影される画像から前記物理媒体と前記電子情報とが重なる領域を削除して投影し、前記管理手段が管理する情報により前記物理媒体が前記電子情報の下に重なると示されている場合、前記電子情報の投影される画像に、前記電子情報が前記物理媒体の上に重ねられていることを示す指標情報を含めて投影する制御手段と
を有することを特徴とするシステム。
【請求項２】
前記指標情報は、重なりにおいて下に位置する物理媒体と上に位置する電子情報との重なる領域のうち当該領域の境界から所定の範囲に表示されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記指標情報は、重なりにおいて下に位置する物理媒体を構成する背景色に基づいて決定された色にて示されることを特徴とする請求項２に記載のシステム。
【請求項４】
前記指標情報は、重なりにおいて下に位置する物理媒体を構成する背景色の補色にて示されることを特徴とする請求項３に記載のシステム。
【請求項５】
前記指標情報が示される所定の範囲は、予め定義されたサイズもしくは重なる領域の大きさに基づいて定義されるサイズのいずれかであることを特徴とする請求項２乃至４のいずれか一項に記載のシステム。
【請求項６】
前記管理手段は、前記投影面における、前記電子情報の投影の位置もしくは前記物理媒体の配置の位置が更新されたことに応じて、前記重なりに関する情報を更新し、
前記制御手段は、前記管理手段にて管理する重なりの情報が更新されたことに応じて投影する電子情報の内容を更新することを特徴とする請求項１乃至５のいずれか一項に記載のシステム。
【請求項７】
前記投影面に存在する前記物理媒体を撮像して得られた撮像画像を用いて、前記物理媒体に対応する電子情報を生成する第１の生成手段と、
ユーザに入力された情報を用いて、電子情報を生成する第２の生成手段と、
を有し、
前記管理手段は、前記第１および第２の生成手段で生成された電子情報を同一のデータ構造にて管理することを特徴とする請求項１乃至６のいずれか一項に記載のシステム。
【請求項８】
情報が記述された物理媒体が存在する投影面に電子情報を投影するシステムの制御方法であって、
前記投影面に電子情報が投影される際の、前記物理媒体と前記電子情報との重なりに関する情報を記憶部にて管理する管理工程と、
前記記憶部にて管理する情報により前記物理媒体が前記電子情報の上に重なると示されている場合、前記電子情報の投影される画像から前記物理媒体と前記電子情報とが重なる領域を削除して投影し、前記記憶部にて管理する情報により前記物理媒体が前記電子情報の下に重なると示されている場合、前記電子情報の投影される画像に、前記電子情報が前記物理媒体の上に重ねられていることを示す指標情報を含めて投影する制御工程と
を有することを特徴とする制御方法。
【請求項９】
情報が記述された物理媒体が存在する投影面に電子情報を投影させる情報処理装置であって、
前記投影面に電子情報が投影される際の、前記物理媒体と前記電子情報との重なりに関する情報を管理する管理手段と、
前記管理手段が管理する情報により前記物理媒体が前記電子情報の上に重なると示されている場合、前記電子情報の投影される画像から前記物理媒体と前記電子情報とが重なる領域を削除して投影するように制御し、前記管理手段が管理する情報により前記物理媒体が前記電子情報の下に重なると示されている場合、前記電子情報の投影される画像に、前記電子情報が前記物理媒体の上に重ねられていることを示す指標情報を含めて投影するように制御する制御手段と
を有することを特徴とする情報処理装置。
【請求項１０】
コンピュータを、
情報が記述された物理媒体が存在する投影面に電子情報が投影される際の、前記物理媒体と前記電子情報との重なりに関する情報を管理する管理手段、
前記管理手段が管理する情報により前記物理媒体が前記電子情報の上に重なると示されている場合、前記電子情報の投影される画像から前記物理媒体と前記電子情報とが重なる領域を削除して投影するように制御し、前記管理手段が管理する情報により前記物理媒体が前記電子情報の下に重なると示されている場合、前記電子情報の投影される画像に、前記電子情報が前記物理媒体の上に重ねられていることを示す指標情報を含めて投影するよう制御する制御手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙付箋に代表される文字や図形、画像などの情報を含むシートが貼られた投影面に電子付箋を投影するシステムおよびその制御方法、情報処理装置、プログラムに関する。
【背景技術】
【０００２】
複数人で新しい知識を創出するブレインストーミングと呼ばれる方法が知られている。ブレインストーミングでは、参加者がアイデアを１つずつ紙付箋に書込み、参加者で共有することでアイデアを誘発させる。また、提案したアイデア群を整理する方法として、カードや紙付箋にアイデアを記述し、アイデアの内容が近いもの同士をグループ化する作業を繰り返してグループ間の関係性を整理する。これらの手法では、一般にカードや糊付きの紙付箋をホワイトボードに貼り付けて作業を進める形態が良く用いられる。その際、紙付箋を他の紙付箋に重ねることで、紙付箋間の関係を表現する事がある。
【０００３】
例えば、以下のような例がある。（１）アイデア内容が一致している紙付箋同士をほぼ全体の領域が重なるように重ねて「統合」を表現する。（２）アイデア内容が近い紙付箋同士を互いの一部の領域が重なるように重ねて「グループ化」を表現する。（３）他の紙付箋への補足情報である紙付箋を補足対象の紙付箋の一部の領域に重なるよう重ねて「補足」を表現する。（４）重ねられた紙付箋の内容と重ねた紙付箋の内容が上下関係を有する「階層化」を表現する。紙付箋を重ねることによって、アイデアの誘発と整理を効率的に行うことができる。
【０００４】
上記のようなアイデアの誘発と整理を電子的に行うための技術が開示されている。特許文献１は、情報端末で生成した電子付箋をサーバで管理することで、複数人が並列的に電子付箋の作成や位置移動を行えるようにしている。特許文献２は、プロジェクタでスクリーンやホワイトボードに投影した投影画像上に付加された情報をデジタルカメラで撮像し、撮像画像と投影画像を関連づけて記録している。特許文献２を用いれば、紙付箋を撮像して電子付箋化できる。
【０００５】
また、プロジェクタで物体に投影する投影画像の輝度を補正する技術がある。特許文献３は、投影画像の輝度情報と投影面を撮像した撮像画像の輝度情報との差分から次フレームの投影画像の輝度を画素単位で補正している。そのため、投影面が専用スクリーンのような白面ではなく何かしらの模様が存在する面であっても良好な投影結果をユーザに提供できる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−９０４８６号公報
【特許文献２】特開２００６−１８４３３３号公報
【特許文献３】特開２０１２−２８８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
情報端末で作成された電子付箋を投影し、投影面に貼った紙付箋を撮像して得た電子付箋と関連づけて、アイデアの誘発と整理を行うことが考えられる。しかしながら、特許文献１と特許文献２を組み合わせて、紙付箋を貼った投影面に電子付箋を投影するだけでは、紙付箋と電子付箋の重なりを適切に表現できない場合がある。
【０００８】
紙付箋同士を重ねる場合は、重ねられた側の紙付箋の一部の領域もしくは全領域が物理的に重ねた側の紙付箋で隠されるため、重ねられた紙付箋と重ねた紙付箋をユーザは視覚的に区別して認識可能である。また、電子付箋同士を重ねる場合は、重ねられた側の電子付箋の一部の領域もしくは全領域を重ねた側の電子付箋で隠した結果の映像を投影すれば、重ねられた電子付箋と重ねた電子付箋をユーザは視覚的に区別して認識可能である。
【０００９】
しかし、紙付箋を投影された電子付箋に重ねる場合、もしくは電子付箋を紙付箋に重ねるよう投影した場合では、紙付箋上に電子付箋の画像の少なくとも一部を投影することになる。そのため、紙付箋と電子付箋が重なる領域に、紙付箋の背景色と記載内容、電子付箋の背景色と記載内容とが混在してしまい、重ねられた付箋と重ねた付箋をユーザは視覚的に区別して認識することが困難となる。
【００１０】
特許文献３は、投影画像の輝度を補正するのみであり、ユーザが紙付箋を電子付箋に重ねた結果とユーザが電子付箋を紙付箋に重ねた結果を分別して表示することはできない。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、情報が記述された物理媒体が存在する投影面に電子情報を投影するシステムであって、前記投影面に電子情報が投影される際の、前記物理媒体と前記電子情報との重なりに関する情報を管理する管理手段と、前記管理手段が管理する情報により前記物理媒体が前記電子情報の上に重なると示されている場合、前記電子情報の投影される画像から前記物理媒体と前記電子情報とが重なる領域を削除して投影し、前記管理手段が管理する情報により前記物理媒体が前記電子情報の下に重なると示されている場合、前記電子情報の投影される画像に、前記電子情報が前記物理媒体の上に重ねられていることを示す指標情報を含めて投影する制御手段とを有する。
【発明の効果】
【００１２】
文字や図形、紙付箋や紙文書などの物理媒体が存在する投影面に電子情報を投影するシステムにおいて、物理媒体と電子情報の重なりの上下関係をユーザが視覚的に認識することを容易にする。
【図面の簡単な説明】
【００１３】
【図１】システムの全体構成の例を示す図。
【図２】情報端末の構成例を示す図。
【図３】情報端末から電子付箋の登録する処理のフローチャート。
【図４】情報端末から電子付箋の登録を説明するための図。
【図５】電子付箋のデータ構造の例を示す図。
【図６】情報端末から登録した電子付箋のデータの具体例を示す図。
【図７】紙付箋の登録する処理のフローチャート。
【図８】紙付箋の登録を説明するための図。
【図９】付箋画像抽出処理の流れを示す図。
【図１０】紙付箋を電子付箋化した電子付箋のデータの具体例を示す図。
【図１１】電子付箋の重なりを判定して表示を更新する処理のフローチャート。
【図１２】投影画像の更新処理のフローチャート。
【図１３Ａ】投影画像の更新処理を説明するための図。
【図１３Ｂ】投影画像の更新処理を説明するための図。
【図１３Ｃ】投影画像の更新処理を説明するための図。
【図１４】投影画像の更新処理を説明するための図。
【図１５】境界領域の大きさ例を説明する説明するための図。
【発明を実施するための形態】
【００１４】
＜第１の実施形態＞
以下、本発明を実施するための形態について図面を用いて説明する。
【００１５】
［システム構成］
図１は、本発明の第１の実施形態に係るシステム１１０の構成例を示す図である。システム１１０は、ＰＣ(Personal Computer)などの情報処理装置に代表される情報端末１１１、プロジェクタ１１２、およびデジタルカメラ１１３を含んで構成される。情報端末１１１は、プロジェクタ１１２に映像信号を供給し、プロジェクタ１１２がスクリーンやホワイトボードなどの投影面１１４に投影する。また、情報端末１１１は、デジタルカメラ１１３を制御し、デジタルカメラ１１３が投影面１１４を撮像して得た撮像画像を取得する。
【００１６】
本実施形態では、会議室において、物理媒体として糊付き付箋（ポスト・イット（商標）など）が、ホワイトボードなどの投影面１１４に貼られた場合を用いて説明する。しかし、投影面１１４に配置される物理媒体は、糊付き付箋に限るものではない。例えば、情報が記述される物理媒体としての文書やカードがテープ等を用いて貼られた場合や、マグネットなどの吸着手段によって貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材（プラスチックや布など）であってもよい。
【００１７】
以下、本明細書において、投影面１１４に貼られた付箋や文書を、その素材とは無関係に、「紙付箋」と呼ぶ。また、その紙付箋に対して撮像やスキャン等を行うことにより電子情報とした付箋データを「電子付箋」と呼ぶ。なお、電子付箋は、紙付箋の情報に基づいて生成されるのみならず、システム１１０のユーザによるユーザ入力に基づいても作成可能であるとする。本明細書では、便宜上、紙付箋の画像に基づいて電子付箋を生成することを「第１の生成」と称し、ユーザ入力に基づいて生成することを「第２の生成」と称する。
【００１８】
［ハードウェア構成］
図２は、本実施形態における情報端末１１１の構成を示す図である。情報端末１１１は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、キーボードＩ／Ｆ２０５、ディスプレイＩ／Ｆ２０６、外部メモリＩ／Ｆ２０７、外部Ｉ／Ｆ２０８、およびマウスＩ／Ｆ２１１を含み、それらはシステムバス２０４で接続されている。キーボードＩ／Ｆ２０５にはキーボード２０９が接続され、マウスＩ／Ｆ２１１にはマウス２１２が接続される。情報端末１１１は、キーボード２０９およびマウス２１２からユーザからの各種操作を受け付ける。ディスプレイＩ／Ｆ２０６にはプロジェクタ１１２が接続される。
【００１９】
情報端末１１１は、プロジェクタ１１２を介して投影面１１４に画像を投影する。外部Ｉ／Ｆ２０８にはデジタルカメラ１１３が接続される。情報端末１１１は、デジタルカメラ１１３で撮像した紙付箋の画像を取り込み、電子付箋を作成する。また、本実施形態では、ユーザがキーボード２０９やマウス２１２を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ１１２で表示させることができるものとする。
【００２０】
ＣＰＵ２０１は、情報端末１１１全体の制御を行い、記憶部であるＲＯＭ２０３やＨＤＤ等の外部メモリ２１０などに記憶された本発明を実現するプログラムを、ＲＡＭ２０２に読み込み、各種処理を実行する。すなわち、情報端末１１１のＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部（処理手段）として機能する。ＲＯＭ２０３は、ＣＰＵ２０１を起動するためのプログラムを含む各種データを記憶している。ＲＡＭ２０２は、ワークメモリとして用いられる。
【００２１】
［電子付箋の登録（ユーザ入力に基づく登録）］
図３と図４は、情報端末１１１で電子付箋の登録（新規作成）を説明するための図である。
【００２２】
図３は、情報端末１１１において、電子付箋を登録するフローチャートである。ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに格納された制御コード（プログラム）を呼び出して実行することで実現する。
【００２３】
図４は、情報端末１１１において、電子付箋を登録する際の投影画像３０９の状態を示す。具体的には、図４中の電子付箋４０１が既に作成済みの状態から新規の電子付箋４０３を生成するまでを示す。
【００２４】
投影画像３０９は、投影面１１４に投影される。Ｓ３０１にて、ＣＰＵ２０１は、ユーザがマウス２１２を用いて指定した、電子付箋を作成したい座標（ここでは、図４（ａ）の座標４０６）を取得する。Ｓ３０２にて、ＣＰＵ２０１は、画面上の座標４０６に対応付けて付箋生成画面（ここでは図４（ｂ）の付箋生成画面４０７）を表示する。その後、Ｓ３０３にて、ＣＰＵ２０１は、付箋生成画面４０７でユーザがキーボード２０９を用いて入力した新規付箋のデータ（ここでは、図４（ｂ）の文字列４０８「ｄｅｆ」）を受け付ける。
【００２５】
Ｓ３０４にて、ＣＰＵ２０１は、Ｓ３０３にて入力されたデータを含む付箋画像を作成する。この時、作成された付箋画像は、表示用付箋画像に複製される。Ｓ３０５にて、ＣＰＵ２０１は、Ｓ３０４で作成した付箋画像と表示用付箋画像をデータとして含む電子付箋データを作成して登録する。Ｓ３０６にて、ＣＰＵ２０１は、作成した表示用付箋画像を、プロジェクタ１１２を用いて投影する（図４（ｃ）の電子付箋４０３）。そして、本処理フローを終了する。
【００２６】
なお、Ｓ３０６において、プロジェクタ１１２にて投影面１１４に投影して表示する場合には、対応する紙付箋が張り付けられているものは表示しないようにしても構わない。一方、情報端末１１１が備えるディスプレイ（不図示）上に電子付箋を表示する場合には、すべての電子付箋を表示してもよいし、デジタルカメラ１１３にて撮影した撮像画像に重畳して表示するようにしても構わない。
【００２７】
（データ構造）
図５は、電子付箋６０１のデータ構造の構成例を示す。電子付箋６０１は、ヘッダ部６０２とデータ部６０３を有する。ヘッダ部６０２には、各電子付箋を識別するためのＩＤ（識別子）、投影面１１４における付箋の領域を示す付箋領域、および対応する紙付箋が投影面１１４に貼付されているか否かを示す貼付状態を含む。
【００２８】
付箋領域の情報は、本実施形態では、投影面１１４の左下を原点とした座標系における、付箋の左上、右上、左下、右下それぞれの座標のセットからなる。なお、座標系の定義については、これに限定するものではない。また、付箋領域は、１の座標とその座標を起点とした範囲を示すオフセットの組から構成されても構わない。
【００２９】
貼付状態は、紙付箋の画像の取り込みにより作成された電子付箋で、且つ、対応する紙付箋が投影面１１４に貼付されている状態である場合は「ＯＮ」、貼付されていない（剥離された）状態である場合は「ＯＦＦ」の値が格納される。また、対応する紙付箋が無い場合、即ち情報端末１１１にてユーザ入力により直接作成された電子付箋である場合は、貼付状態には「ＯＦＦ」が格納される。
【００３０】
データ部６０３は、付箋画像と表示用付箋画像を含む。付箋画像は、情報端末１１１への直接入力によって作成された電子付箋であれば、Ｓ３０４で作成された付箋画像となる。一方、デジタルカメラ１１３で紙付箋を撮像し、その撮像画像を用いて作成した電子付箋であれば、付箋画像は、撮像画像から切り出した付箋画像となる。表示用付箋画像は投影面１１４に表示する際に使われる。
【００３１】
図６は、電子付箋データの具体例として、図４（ｃ）の電子付箋４０３の電子付箋データ７０１を示す。ここで電子付箋４０３は、上述したように、ユーザ入力に基づいて作成されたものとする。電子付箋データ７０１のヘッダ部７０２の内容は次の通りである。電子付箋４０３のＩＤは「２」である。付箋領域の各座標は左上が（Ｘ１，Ｙ２）、右上が（Ｘ２，Ｙ２）、左下が（Ｘ１，Ｙ１）、右下が（Ｘ２，Ｙ１）である。貼付状態は、紙付箋に対応付いていないため「ＯＦＦ」である。データ部７０３の内容は次の通りである。付箋画像は「ｄａｔａ２．ｊｐｇ」というファイル名で格納されている。表示用付箋画像は「ｄａｔａ２＿ｐｒｏｊ．ｊｐｇ」というファイル名で格納されている。表示用付箋画像「ｄａｔａ２＿ｐｒｏｊ．ｊｐｇ」は、付箋画像「ｄａｔａ２．ｊｐｇ」から複製されたものであるため、その内容は同一である。
【００３２】
［電子付箋の登録（紙付箋に基づく登録）］
図７と図８は、本実施形態において、情報端末１１１が投影面１１４に貼付された紙付箋を電子付箋として登録する処理の流れを説明する図である。
【００３３】
図７は、情報端末１１１が投影面１１４に貼付された紙付箋を登録するフローチャートである。ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに格納された制御コードを呼び出して実行することで実現する。
【００３４】
図８は、投影面１１４を示し、紙付箋を貼りつけてから登録されるまでを説明するものである。ユーザはアイデアを紙付箋に書込み、投影面１１４に貼り付ける。ここでは、図８（ａ）のように、投影面１１４に図４にて説明した電子付箋４０１および電子付箋４０３が投影された状態から、紙付箋１８０２が新たに貼られて投影面１１４が図８（ｂ）のような状態になった想定で説明する。この場合、処理が始まる時点（すなわち、図８（ａ）の状態）において、既に情報端末１１１に電子付箋４０１、４０３の情報が記憶部に格納されているものとする。
【００３５】
Ｓ８０１にて、情報端末１１１のＣＰＵ２０１は、ユーザからの撮像要求を検知し、プロジェクタ１１２に投影を一時的に消すよう指示を出す。これにより、Ｓ８０２の撮像内容に、投影されている電子付箋の画像が含まれるのを防止する。Ｓ８０２にてＣＰＵ２０１は、デジタルカメラ１１３を用い、投影面１１４の画像を撮像する。ここで撮影される画像には、物理的な紙付箋のみが含まれることとなる。デジタルカメラ１１３で撮像された撮像画像は、情報端末１１１の外部Ｉ／Ｆ２０８を介してＲＡＭ２０２に格納される。  
【００３６】
Ｓ８０３にて、ＣＰＵ２０１は、プロジェクタ１１２に投影を再開するよう指示を出す。Ｓ８０４にて、ＣＰＵ２０１は、撮像画像から付箋画像を抽出し、抽出した付箋画像から電子付箋データを生成する。付箋画像を含む電子付箋のデータ構造も、図５で示したデータ構造と同様である。Ｓ８０４の付箋画像抽出処理については後述する。
【００３７】
Ｓ８０４で付箋画像を抽出した後、Ｓ８０５にてＣＰＵ２０１は、Ｓ８０４で抽出した全ての付箋画像について処理を行ったか否かを判定する。未処理の付箋があると判定した場合は（Ｓ８０５にてＹＥＳ）Ｓ８０６に進む。全ての付箋について処理を行ったと判定した場合は（Ｓ８０５にてＮＯ）、本処理を終了する。
【００３８】
Ｓ８０６にて、ＣＰＵ２０１は、Ｓ８０４で生成した電子付箋に含まれる付箋画像それぞれを順に処理対象として、情報端末１１１の記憶装置（外部メモリ又はＲＡＭ）に登録済みの電子付箋と比較する。そして、ＣＰＵ２０１は、抽出した付箋画像と同じ付箋画像の電子付箋データが既に登録されているかを照合する。具体的には、公知の類似画像判定技術による互いの付箋画像の比較を行い同一であると判定された場合、ＣＰＵ２０１は、登録済みであると判定する。同一でないと判定された場合、ＣＰＵ２０１は、登録済みではないと判定する。
【００３９】
Ｓ８０６の照合結果に基づき、Ｓ８０４で抽出した付箋画像が情報端末１１１の記憶部に登録済みでない判定した場合、ＣＰＵ２０１は新たな紙付箋が追加されたとして（Ｓ８０７にてＹＥＳ）Ｓ８０８に進む。Ｓ８０４で抽出した付箋画像が情報端末１１１の記憶領域に登録済みであると判定した場合（Ｓ８０７にてＮＯ）、Ｓ８０９に進む。Ｓ８０８にて、ＣＰＵ２０１は、紙付箋の画像に基づいて作成された電子付箋データを、新たな電子付箋データとして登録し、Ｓ８０５に戻る。
【００４０】
Ｓ８０９にてＣＰＵ２０１は、Ｓ８０４で抽出した付箋画像の貼り付け位置と、当該抽出した付箋画像と同一であると判定された登録済みの電子付箋の付箋領域とを比較する。位置が同一の場合は（Ｓ８０９にてＮＯ）、Ｓ８０５に戻る。位置が異なる場合は（Ｓ８０９にてＹＥＳ）、ＣＰＵ２０１は、Ｓ８０４で抽出した付箋画像は、同一と判定された登録済みの電子付箋が位置移動されたものであると判定する。そして、Ｓ８１０にてＣＰＵ２０１は、同一と判定された登録済みの電子付箋の付箋領域の情報をＳ８０４で抽出した付箋画像の貼り付け位置の情報に更新し、Ｓ８０５に戻る。
【００４１】
（付箋画像抽出処理）
図９は、付箋画像抽出処理（図７のＳ８０４）の流れを示す図である。各処理は、ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに格納された制御コードを呼び出して実行することで実現する。
【００４２】
デジタルカメラ１１３により撮像され情報端末１１１のＲＡＭ２０２に格納された撮像画像データ９０１に対して、ＣＰＵ２０１は、輪郭抽出部（不図示）による輪郭抽出処理９０２と、色判定部（不図示）による色判定処理９０３とを行う。輪郭抽出処理９０２では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、画像内に存在するオブジェクトの輪郭（紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など）を抽出できる。また、色判定処理９０３により、各オブジェクト（紙付箋や文字）の色を抽出できる。次に、ＣＰＵ２０１は付箋領域判定部（不図示）による付箋領域判定処理９０４を行う。  
【００４３】
付箋領域判定処理９０４では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトの領域が付箋領域として判定される。このとき、その矩形状の輪郭の内部に文字サイズの輪郭を含むかどうか判定するように構成すれば、より精度よく付箋領域を判定することが可能である。そして、ＣＰＵ２０１は付箋領域切り出し部（不図示）において、付箋領域切り出し処理９０５を行う。付箋領域切り出し処理９０５は、紙付箋それぞれに対応した付箋領域の部分画像（付箋画像）を切り出し、当該抽出された付箋画像に基づいて電子付箋データ９０６を生成する処理である。
【００４４】
（データ構造）
図１０は、付箋画像抽出処理（図７のＳ８０４）により作成された電子付箋データ構造の具体例を示す。図１０は、紙付箋１８０２の電子付箋データ１００１の構造を示す。電子付箋データ１００１のヘッダ部１００２の内容は次の通りである。ＩＤが「３」、対応する紙付箋１８０２が貼付されたままの状態であるので貼付状態が「ＯＮ」、付箋領域の各座標は左上が「（Ｘ３，Ｙ４）」、右上が「（Ｘ４，Ｙ４）」、左下が「（Ｘ３，Ｙ３）」、右下が「（Ｘ４，Ｙ３）」である。
【００４５】
また、データ部１００３の内容は、付箋画像が「ｄａｔａ３．ｊｐｇ」というファイル名で格納されている。表示用付箋画像は存在しないので「ＮＵＬＬ」となる。
【００４６】
［再表示処理］
図１１は、本実施形態において、情報端末１１１が付箋同士の重なり情報を更新して再表示する処理を示すフローチャートである。フローチャートで示す手順は、ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに格納された制御コードを呼び出して実行することで実現する。
【００４７】
Ｓ１００１にて、ＣＰＵ２０１は、電子付箋（Ｓ３０５における電子付箋、もしくは、Ｓ８０８における紙付箋を電子付箋化して得た電子付箋）の新規登録や移動などによる電子付箋データの更新有無を判定する。電子付箋データの更新が有る場合（Ｓ１００１にてＹＥＳ）、Ｓ１００２へ進む。電子付箋データの更新がない場合は（Ｓ１００１にてＮＯ）、更新が発生するまで待機する。以下、電子付箋データの更新が有った電子付箋を“更新電子付箋”と記載する。
【００４８】
Ｓ１００２にて、ＣＰＵ２０１は、更新電子付箋と登録済み電子付箋の重なりを判定し、ＲＡＭ２０２に格納されている領域マップを更新する。領域マップは、投影面１１４に対応した２次元マップであり、電子付箋のヘッダ部に格納されている付箋領域の値に基づいて電子付箋を配置した仮想的な配置情報である。領域マップは情報端末１１１のＲＡＭ２０２に格納されている。
【００４９】
更新電子付箋のヘッダ部に格納されている付箋領域が、登録済み電子付箋が配置されている領域に重なる場合、領域マップ内の該重なり領域は更新電子付箋に割り当てる。すなわち、更新に伴い領域マップにおいて領域が変化した登録済み電子付箋は、更新電子付箋の下位となる。このようにして、更新電子付箋が登録される度に領域マップを更新することで電子付箋の重なり状態を管理することができる。
【００５０】
そして、Ｓ１００３にて、ＣＰＵ２０１は更新した領域マップに基づいて投影画像を更新し、プロジェクタ１１２を用いて投影面１１４に投影する。Ｓ１００３の処理の詳細を、図１２を用いて説明する。図１２のフローチャートで示す手順は、ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ２１０のいずれかに格納された制御コードを呼び出して実行することで実現する。
【００５１】
Ｓ１１０１にて、ＣＰＵ２０１は、更新電子付箋の全ての下位に位置する電子付箋に対し、それぞれの表示用付箋画像を領域マップの更新後の領域と同じになるよう変更する。ここで、ヘッダ部の貼付状態が「ＯＮ」である電子付箋（すなわち、紙付箋から電子付箋化された電子付箋）は、表示用付箋画像がないため（表示用付箋画像「ＮＵＬＬ」）変更対象とならない。
【００５２】
Ｓ１１０２にて、ＣＰＵ２０１は、更新電子付箋の貼付状態が「ＯＮ」か「ＯＦＦ」かを判定する。更新電子付箋の貼付状態が「ＯＮ」の場合（Ｓ１１０２にてＹＥＳ）、Ｓ１１０３にて、ＣＰＵ２０１は、下位に位置する各電子付箋の表示用付箋画像から、更新電子付箋との重なり領域を削除する。つまり、電子付箋と紙付箋との重なり部分が重複して表示されないように、電子付箋側の重複部分の画像領域が削除される。
【００５３】
更新電子付箋の貼付状態が「ＯＦＦ」の場合（Ｓ１１０２にてＮＯ）、ＣＰＵ２０１はＳ１１０４にて、更新電子付箋の表示用付箋画像に対し、貼付状態が「ＯＮ」の下位の電子付箋との境界部から表示用付箋画像の内側方向に境界領域を描画する。境界部は、貼付状態が「ＯＮ」の下位電子付箋と更新電子付箋が重なる領域において、更新電子付箋の外枠部にあたる境界を意味する。つまり、投影される電子付箋が貼り付けられている紙付箋よりも上位に位置するため、その旨を示す指標情報である境界領域を紙付箋と投影される電子付箋との重複部分に表示される。
【００５４】
図１５は前述の境界領域を描画する際のその範囲（大きさ）の例を説明する図である。図１５は、紙付箋５００１の上位に電子付箋５００２が投影されている例を示している。５００３は重なり領域であり、境界領域５００４の大きさはＷ１、境界領域５００５の大きさはＷ２である。図１５（ａ）は、Ｗ１およびＷ２を、所定の範囲として予め決定された固定値を設定した例である。図１５（ｂ）は、Ｗ１およびＷ２を、重なり領域５００３の大きさに特定倍率（例：２５％）を乗算して得た値を設定した例である。図１５（ｃ）は、Ｗ１およびＷ２を、重なり領域５００３内には境界領域と紙付箋５００１の背景部のみが存在するような値とした例である。紙付箋５００１の背景部のみとなる領域判定は、公知の領域判定画像処理技術を適用可能である。図１５（ｄ）は、Ｗ１およびＷ２の上限値として、更新電子付箋の重なり領域５００３内のテキストやイメージを上書きしない値としている（図１５（ｄ）中の「○」「×」「＄」という文字を上書きしない）。
【００５５】
Ｓ１１０５にて、ＣＰＵ２０１は、貼付状態が「ＯＮ」である下位に位置する各電子付箋の付箋画像からそれぞれの付箋の背景色を取得する。次に、Ｓ１１０６にて、ＣＰＵ２０１は、貼付状態が「ＯＮ」である下位に位置する電子付箋それぞれとの境界領域の色を、Ｓ１１０５にて取得した各付箋背景色に基づいて決定する。本実施形態では、境界領域の色は付箋背景色の補色とする。ここで用いられる補色は色相環における対向方向の色とし、公知の補色算出方法を適用可能である。補色を用いることによって、ユーザは視覚的に電子付箋と紙付箋の上下関係を認識することが容易となる。なお、プロジェクタ１１２が十分な投影光量を有し、投影環境が適度な暗室状態であり、投影面１１４は黒スクリーンであると一層効果的である。また、色の決定方法は上記に限定するものではなく、ユーザが重複した部分を明確に認識できれば他の色でもよく、また、ユーザが指定できるようにしてもよい。
【００５６】
（第一の表示例）
図１３Ａ〜１３Ｃは、本実施形態において、図１１のＳ１００２およびＳ１００３における表示に関する第一の具体例を示す図である。図１３Ａ（ａ）（ｃ）（ｅ）は、投影面１１４上の投影状態を示し、図１３Ａ（ｂ）（ｄ）は、情報端末１１１にて管理している領域マップ３０００の状態を示している。また、なお、図１３Ｂ（ａ）（ｃ）は、投影面１１４上の投影状態を示し、図１３Ｂ（ｂ）は、情報端末１１１にて管理している領域マップ３０００の状態を示している。また、図１３Ｃ（ａ）（ｃ）は、投影面１１４上の投影状態を示し、図１３Ｃ（ｂ）は、情報端末１１１にて管理している領域マップ３０００の状態を示している。なお、投影面１１４上の付箋と領域マップ３０００上の付箋とにおいて、対応する付箋間は同じ参照番号を付している。
【００５７】
図１３Ａ（ａ）は、投影面１１４にＳ３０５で作成された電子付箋４０１、４０３が投影された状態である。この時の電子付箋４０１のＩＤは「１」である。電子付箋４０３のＩＤは「２」である。図１３Ａ（ｂ）は、図１３Ａ（ａ）における領域マップ３０００を概念的に示したものである。電子付箋４０１と電子付箋４０３はそれぞれの付箋領域に応じた領域に配置されている。
【００５８】
図１３Ａ（ｃ）は、図１３Ａ（ａ）の状態から紙付箋１８０３を貼付した状態を示す。情報端末１１１のＣＰＵ２０１は、Ｓ８０８にて紙付箋１８０３を電子付箋化した電子付箋を登録する。紙付箋１８０３を電子付箋化した電子付箋のＩＤは「３」である。紙付箋１８０３は電子付箋４０３の表示用付箋画像が投影されている領域に重ねて貼付されている。そのため、紙付箋１８０３の上に電子付箋４０３の一部が投影されている（図１３Ａ（ｃ）の重なり領域２００１）。
【００５９】
図１３Ａ（ｄ）は、Ｓ１００１にて紙付箋１８０３が登録されたと判定され、Ｓ１００２にて図１３Ａ（ｂ）の内容から更新された領域マップ３０００を示す。すなわち、図１３Ａ（ｄ）において、紙付箋１８０３を電子付箋化して得た電子付箋データの付箋領域は、電子付箋４０３の付箋領域の重なり領域２００１に対応する領域を上書きするように配置される。
【００６０】
図１３Ａ（ｅ）は、図１３Ａ（ｄ）のように領域マップ３０００が更新された後、Ｓ１００３にて投影画像が更新されて投影された状態を示す。すなわち、重なり領域２００１に対応する領域が削除された電子付箋４０３の表示用付箋画像が投影面１１４に投影された結果である。
【００６１】
図１３Ｂ（ａ）は、図１３Ａ（ｅ）の状態から、ユーザが情報端末１１１から直接新規の電子付箋４０４を登録した状態を示す。したがって、電子付箋４０４に対応する紙付箋は存在しない。電子付箋４０４のＩＤは「４」である。紙付箋１８０３の領域に重なるように、電子付箋４０４の表示用付箋画像が投影されている（図１３Ｂ（ａ）の重なり領域２００２）。
【００６２】
図１３Ｂ（ｂ）は、Ｓ１００１にて電子付箋４０４が登録されたと判定され、Ｓ１００２にて図１３Ａ（ｄ）の内容から更新された領域マップ３０００を示す。すなわち、図１３Ｂ（ｂ）において、電子付箋４０４の付箋領域は、紙付箋１８０３を電子付箋化して得た電子付箋データの付箋領域の重なり領域２００２に対応する領域を上書きするように配置される。
【００６３】
図１３Ｂ（ｃ）は、図１３Ｂ（ｂ）のように領域マップ３０００が更新された後、Ｓ１００３にて投影画像が更新されて投影された状態を示す。すなわち、重なり領域２００２に対応する境界領域４００１を描画し、Ｓ１１０６にて紙付箋１８０３の付箋背景色の補色を適用した結果である。重なり領域２００２には、紙付箋１８０３の背景色と記載内容、電子付箋４０４の背景色と記載内容が混在する。しかしながら、境界領域４００１を描画することにより、ユーザは視覚的に電子付箋４０４が紙付箋１８０３の上位に重なっていることを認識することが容易となる。
【００６４】
図１３Ｃ（ａ）は、図１３Ｂ（ｃ）の状態から、ユーザが情報端末１１１から直接新規の電子付箋４０５を登録した状態を示す。したがって、電子付箋４０４に対応する紙付箋は存在しない。電子付箋４０５のＩＤは「５」である。紙付箋１８０３の領域に重なるように、電子付箋４０５の表示用付箋画像が投影されている（図１３Ｃ（ａ）の重なり領域２００３）。電子付箋４０５と電子付箋４０４が重なる領域は、電子付箋４０５の表示画像付箋画像にて上書き投影されている。
【００６５】
図１３Ｃ（ｂ）は、Ｓ１００１にて電子付箋４０５が登録されたと判定され、Ｓ１００２にて図１３Ｂ（ｂ）の内容から更新された領域マップ３０００を示す。すなわち、図１３Ｃ（ｂ）において、電子付箋４０５の付箋領域は、紙付箋１８０３を電子付箋化して得た電子付箋データの付箋領域の重なり領域２００３に対応する領域を上書きするように配置される。同時に、電子付箋４０５の付箋領域は、電子付箋４０４の付箋領域の一部に上書きするように配置される。
【００６６】
図１３Ｃ（ｃ）は、図１３Ｃ（ｂ）のように領域マップ３０００が更新された後、Ｓ１００３にて投影画像が更新されて投影された状態を示す。すなわち、Ｓ１１０４にて重なり領域２００３に対応する境界領域４００２が描画され、Ｓ１１０６にて紙付箋１８０３の付箋背景色の補色が適用された結果である。重なり領域２００３には、紙付箋１８０３の背景色と記載内容、電子付箋４０５の背景色と記載内容が混在する。しかしながら、境界領域４００２を描画することにより、ユーザは視覚的に電子付箋４０５が紙付箋１８０３の上位に重なっていることを認識することが容易となる。
【００６７】
（第二の表示例）
図１４は、本実施形態における、図１１のＳ１００２およびＳ１００３における表示に関する第二の具体例を示す図である。図１４（ａ）（ｃ）は、投影面１１４上の投影状態を示し、図１４（ｂ）（ｄ）は、情報端末１１１にて管理している領域マップ３０００の状態を示している。なお、投影面１１４上の付箋と領域マップ３０００上の付箋とにおいて、対応する付箋間は同じ参照番号を付している。
【００６８】
図１４（ａ）は、図１３Ｃ（ｃ）の状態から、電子付箋４０３と電子付箋４０４を移動させた後の投影結果を示す。電子付箋の移動は、例えば、情報端末１１１に接続されたマウス２１２を用いてドラッグ＆ドロップすることで実現可能である。図１４（ｂ）は、図１３Ｃ（ｂ）の領域マップ３０００の状態から、図１４（ａ）の電子付箋４０３と電子付箋４０４の移動によって更新された後の状態に更新された領域マップ３０００である。ＣＰＵ２０１は、電子付箋４０３の移動に対応して、重なり領域２００１を復元した電子付箋４０３の表示用付箋画像を電子付箋４０３の付箋画像から生成する。また、ＣＰＵ２０１は、電子付箋４０４の移動に対応して、境界領域４００１を削除した電子付箋４０４の表示用付箋画像を電子付箋４０４の付箋画像から生成する。その結果、図１４（ａ）のように、図１３Ｃ（ｃ）の状態からの更新として、重なり領域２００１が復元された電子付箋４０３と境界領域４００１が削除された電子付箋４０４がそれぞれ投影される。
【００６９】
図１４（ｃ）は、図１３Ｃ（ｃ）の状態から、紙付箋１８０３を移動させ、電子付箋４０１と電子付箋４０４を紙付箋１８０３の上になるよう移動させた後の投影結果を示す。紙付箋１８０３の移動は、ユーザによって投影面１１４上の紙付箋１８０３を剥がして異なる場所に再貼付することで実現される。図１４（ｄ）は、図１４（ｂ）の領域マップ３０００が図１４（ｃ）の紙付箋１８０３と電子付箋４０１、電子付箋４０４の移動に対応して更新された領域マップ３０００である。ＣＰＵ２０１は、紙付箋１８０３の上位となった電子付箋４０１と電子付箋４０４のそれぞれの付箋画像から境界領域を描画した表示用付箋画像を生成する。更に、ＣＰＵ２０１は、境界領域４００２を削除した電子付箋４０５の表示用付箋画像を、電子付箋４０５の付箋画像から生成する。その結果、図１４（ｃ）のように、図１４（ａ）の状態からの更新として、境界領域を有する電子付箋４０１と電子付箋４０４と、境界領域が削除された電子付箋４０５が投影される。
【００７０】
以上のように、本実施形態では、紙付箋が電子付箋に上位に重なるよう貼付した場合、下位の電子付箋の表示用付箋画像から紙付箋と重なる領域を削除して投影する。そして、電子付箋が紙付箋に上位に重なるよう投影する場合は、電子付箋の表示用付箋画像に紙付箋との境界領域を示す情報を付加して投影する。このように表示制御することで、電子付箋と紙付箋とが混在する盤面上において、ユーザは視覚的に電子付箋と紙付箋の上下関係を認識することが容易となる。
【００７１】
また、本実施形態において、情報端末１１１にはプロジェクタ１１２とデジタルカメラ１１３が接続されている例を示したが、情報端末１１１がプロジェクタ１１２やデジタルカメラ１１３を含むようにしてもよい。また、本実施形態において、情報端末１１１にて電子付箋の登録、紙付箋の登録、領域マップの管理、表示用付箋画像の更新を行ったが、情報端末１１１とネットワークで接続されたサーバで上述の処理を行うような構成でもよい。さらには、電子付箋の登録を情報端末１１１と異なる情報端末（例えば、タブレットやＰＣなど）で行う構成でもよい。また、ネットワークを介した複数拠点における複数の情報端末が連携して処理を行うシステムとして構成されてもよい。
【００７２】
＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015064793.tif 000003
【図２】
2015064793.tif 000004
【図３】
2015064793.tif 000005
【図４】
2015064793.tif 000006
【図５】
2015064793.tif 000007
【図６】
2015064793.tif 000008
【図７】
2015064793.tif 000009
【図８】
2015064793.tif 000010
【図９】
2015064793.tif 000011
【図１０】
2015064793.tif 000012
【図１１】
2015064793.tif 000013
【図１２】
2015064793.tif 000014
【図１３Ａ】
2015064793.tif 000015
【図１３Ｂ】
2015064793.tif 000016
【図１３Ｃ】
2015064793.tif 000017
【図１４】
2015064793.tif 000018
【図１５】
2015064793.tif 000019