(57)【要約】【課題】  スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示すること。【解決手段】  投影指示を受け付けたページの画像データをスクリーンに投影するべく出力し、出力している画像データのページ以外のページの投影指示を受け付けた場合にスクリーンを撮像し、撮像された撮像画像データと、出力された画像データとに従って、スクリーンに物理的に書き込まれた付加情報を生成し、当該付加情報と、出力されたページの画像データとを関連付けて登録し、その後、過去に出力されたページの投影指示を受け付けると、当該ページの画像データと、当該ページに関連付けて登録された付加情報と、を組み合わせた画像データを投影するべく出力することを特徴とする。【選択図】図３
2017116900.tif 000002
【特許請求の範囲】
【請求項１】
画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムであって、
複数のページから構成される画像データを記憶する記憶手段と、
ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付手段と、
前記受付手段により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力手段と、
前記受付手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定手段と、
前記判定手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力手段により当該画像データが出力されている前記スクリーンを撮像する撮像手段と、
前記撮像手段により撮像された撮像画像データと、前記出力手段により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成手段と、
前記生成手段により生成された付加情報と、前記出力手段により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録手段と、
を備え、
前記出力手段は、前記受付手段により、前記出力手段により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録手段により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする情報処理システム。
【請求項２】
前記出力手段により出力される画像データの位置、傾き、彩度のいずれかを所定の補正値に従って補正する補正手段と、
前記補正手段により補正された前記画像データを前記スクリーンに投影する投影手段と、
前記撮像手段により撮像された撮像画像データの位置、傾き、彩度のいずれかを前記所定の補正値に従って補正する撮像画像データ補正手段と、
を更に備え、
前記生成手段は、前記撮像画像データ補正手段により補正された撮像画像データと、前記出力手段により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記出力手段は、前記スクリーンに付加情報の位置を特定するためのマーカーを、前記受付手段により投影指示を受け付けたページの画像データに含めて出力し、
前記生成手段は、前記撮像手段により撮像された撮像画像データと、前記出力手段により出力された画像データとに従って、当該撮像画像データに含まれる当該マーカーの位置を基準に前記スクリーンに物理的に書き込まれた付加情報を生成することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
複数のページから構成される画像データを記憶する記憶手段を備え、前記画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムにおける制御方法であって、
前記情報処理システムの受付手段が、ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付工程と、
前記情報処理システムの出力手段が、前記受付工程により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力工程と、
前記情報処理システムの判定手段が、前記受付工程により、前記出力工程により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定工程と、
前記情報処理システムの撮像手段が、前記判定工程により、前記出力工程により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力工程により当該画像データが出力されている前記スクリーンを撮像する撮像工程と、
前記情報処理システムの生成手段が、前記撮像工程により撮像された撮像画像データと、前記出力工程により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成工程と、
前記情報処理システムの登録手段が、前記生成工程により生成された付加情報と、前記出力工程により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録工程と、
を備え、
前記出力工程は、前記受付工程により、前記出力工程により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録工程により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする制御方法。
【請求項５】
複数のページから構成される画像データを記憶する記憶手段を備え、前記画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムで読み取り実行可能なプログラムであって、
前記情報処理システムを、
ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付手段と、
前記受付手段により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力手段と、
前記受付手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定手段と、
前記判定手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力手段により当該画像データが出力されている前記スクリーンを撮像する撮像手段と、
前記撮像手段により撮像された撮像画像データと、前記出力手段により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成手段と、
前記生成手段により生成された付加情報と、前記出力手段により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録手段として機能させ、
前記出力手段は、前記受付手段により、前記出力手段により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録手段により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、及びその制御方法、プログラムに関し、特に、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示する技術に関するものである。
【背景技術】
【０００２】
一般に利用されているプロジェクターは、資料や画像、映像を大型スクリーンなどに投影している。会議等での用途では、投影された資料に、コメントなどを追記し、出席者間で共有したりすることがある。
【０００３】
特許文献１には、プレゼンテーションソフトウェアの電子データ（資料）を、プロジェクターを用いて、スクリーンに投影し、電子ペンで当該スクリーン上に文字などを書く動作を行うと、その電子ペンの軌跡から付加情報を生成して表示することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９５７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１では、電子ペンを使用するため、マジックペン等で紙やホワイトボード等のスクリーンに直接物理的に書くことに比べ、例えば電子ペンの反応速度などが遅く、書き心地が良い。
【０００６】
また、従来、プロジェクターで映像を投影したスクリーンに、マジックペン等で、直接物理的に手書きした内容を、投影した映像（画像データ）と紐付けて管理することが出来なかったため、例えば、１ページ目を投影してマジックペン等でスクリーンに手書きし、その後、２ページ目を投影し、そして、１ページ目を再度表示した際に、過去に１ページ目を投影した際にスクリーンにマジックペン等で手書きした内容を、プロジェクターが表示することはできなかった。
【０００７】
そのため、会議中等で以前のディスカッション内容（手書きの内容）を、プロジェクターが表示することが出来ず、会議の生産性・効率性が低下してしまうおそれがある。
【０００８】
そこで、本発明の目的は、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示する仕組みを提供することである。
【課題を解決するための手段】
【０００９】
本発明は、画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムであって、複数のページから構成される画像データを記憶する記憶手段と、ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付手段と、前記受付手段により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力手段と、前記受付手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定手段と、前記判定手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力手段により当該画像データが出力されている前記スクリーンを撮像する撮像手段と、前記撮像手段により撮像された撮像画像データと、前記出力手段により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成手段と、前記生成手段により生成された付加情報と、前記出力手段により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録手段と、を備え、前記出力手段は、前記受付手段により、前記出力手段により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録手段により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする。
【００１０】
また、本発明は、複数のページから構成される画像データを記憶する記憶手段を備え、前記画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムにおける制御方法であって、前記情報処理システムの受付手段が、ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付工程と、前記情報処理システムの出力手段が、前記受付工程により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力工程と、前記情報処理システムの判定手段が、前記受付工程により、前記出力工程により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定工程と、前記情報処理システムの撮像手段が、前記判定工程により、前記出力工程により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力工程により当該画像データが出力されている前記スクリーンを撮像する撮像工程と、前記情報処理システムの生成手段が、前記撮像工程により撮像された撮像画像データと、前記出力工程により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成工程と、前記情報処理システムの登録手段が、前記生成工程により生成された付加情報と、前記出力工程により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録工程と、を備え、前記出力工程は、前記受付工程により、前記出力工程により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録工程により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする。
【００１１】
また、本発明は、複数のページから構成される画像データを記憶する記憶手段を備え、前記画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像する情報処理システムで読み取り実行可能なプログラムであって、前記情報処理システムを、ユーザの操作に従って、前記記憶手段に記憶されている画像データのページの投影指示を受け付ける受付手段と、前記受付手段により投影指示を受け付けたページの画像データであって前記記憶手段により記憶された画像データを前記スクリーンに投影するべく出力する出力手段と、前記受付手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する判定手段と、前記判定手段により、前記出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、前記出力手段により当該画像データが出力されている前記スクリーンを撮像する撮像手段と、前記撮像手段により撮像された撮像画像データと、前記出力手段により出力された画像データとに従って、前記スクリーンに物理的に書き込まれた付加情報を生成する生成手段と、前記生成手段により生成された付加情報と、前記出力手段により出力されたページの画像データとを関連付けて前記記憶手段に登録する登録手段として機能させ、前記出力手段は、前記受付手段により、前記出力手段により過去に出力されたページの投影指示を受け付けることで、当該ページの画像データと、前記登録手段により当該ページの画像データと関連付けて登録された付加情報と、を組み合わせた画像データを前記スクリーンに投影するべく出力することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る情報処理システムの構成を示す図である。
【図２】図１に示したＰＣ２００と、プロジェクター１００の機能ブロック構成の一例を示す図である。
【図３】本発明の実施形態に係るプロジェクター１００とＰＣ２００とが実行する処理のフローチャートの一例を示す図である。
【図４】頁データ・付加情報関連管理テーブルの一例を示す図である。
【図５】ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。
【図６】ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。
【図７】ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。
【図８】ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。
【図９】ＰＣ２００の表示部に表示される投影指示画面２１０、スクリーン１０に表示される投影映像の一例を示す図である。
【図１０】頁データ（Ａ）、付加情報（Ｂ）、投影画像（Ｃ）の一例を示す図である。
【図１１】付加情報を削除（更新）する処理の流れを説明するための画面遷移図の一例を示す図である。
【図１２】付加情報を削除（更新）する処理の流れを説明するための、撮像画像、投影画像、削除画像、付加情報、更新後の付加情報の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
＜図１の説明＞
図１は、本発明の実施形態に係る情報処理システムの構成を示す図である。
【００１５】
図１に示す情報処理システムは、ＰＣ（投影指示装置）２００と、カメラなどの撮像装置として機能する画像読取り装置１１０を備えたプロジェクター１００とを含み、ＰＣ（投影指示装置）２００とプロジェクター１００とは、接続ケーブル１５０を介して相互に通信可能に接続されている。
【００１６】
ＰＣ（投影指示装置）２００は、パーソナルコンピュータ等の情報処理装置であって、プレゼンテーションソフトウェアがインストールされている。
【００１７】
プロジェクター１００は、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に従って、当該投影指示に含まれる投影画像２０（投影するページの画像）と、予めプロジェクターが記憶している位置判定用マーカー４０の画像とを合成して、当該合成された画像（映像）を、画像投影用のスクリーン１０に対して投影する。
【００１８】
画像読取り装置１１０は、プロジェクター１００により映像が投影されたスクリーン１０を撮像して、撮像された画像を読み取る撮像装置である。
【００１９】
画像読取り装置１１０は、ＰＣ（投影指示装置）２００から、画像読み取り指示を受け付けつけると、スクリーン１０を撮像して、当該撮像することで画像を取得する。
【００２０】
そして、プロジェクター１００は、当該撮像することで得られた画像を解析して得られる位置判定用マーカー４０の情報を基に、当該画像の位置、傾き、彩度の補正を行う。
【００２１】
そして、プロジェクター１００は、補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像）とを同一サイズに変更する。
【００２２】
そして、プロジェクター１００は、当該変更された、当該撮像画像と、投影画像２０（投影したページの画像）とを比較する。この比較処理により、当該撮像することで得られた画像と、投影画像２０（投影したページの画像）との差分の画像データである差分画像データを生成する。
【００２３】
ここで生成された差分画像データは、ユーザにより物理的にスクリーン１０に対して手書きされた情報に対しては色が付いており、他の領域には色が付いていない透明の画像データである。そのため、差分画像データは、ユーザにより物理的にスクリーン１０に対して手書きされた付加情報として用いられる。また、この差分画像データは、投影画像２０（投影したページの画像のデータ）と同一のサイズである。そのため、投影する画像データのどの位置にユーザにより手書きされたのかを特定するための位置情報（ユーザにより手書きされた位置の情報）を管理する必要がなくなる。
【００２４】
そして、プロジェクター１００は、生成された差分画像データを、接続ケーブル１５０を介してＰＣ（投影指示装置）２００に送信し、ＰＣ（投影指示装置）２００は、ＰＣ（投影指示装置）２００の記憶部２３０に、投影画像２０（投影したページの画像の頁データ２３２）と、当該差分画像データとを関連付けて記憶・管理する。
【００２５】
ＰＣ（投影指示装置）２００の記憶部２３０は、本発明の記憶手段の適用例であり、複数のページから構成される画像データ（２３２）を記憶する。
＜図２の説明＞
【００２６】
以下、図２を用いて、図１に示したＰＣ２００と、プロジェクター１００の機能ブロック構成の一例について説明する。
【００２７】
図２は、図１に示したＰＣ２００と、プロジェクター１００の機能ブロック構成の一例を示す図である。
【００２８】
図２に示すＰＣ２００は、通信部２０１と、プレゼンテーションソフトウェア２２０と、記憶部２３０とを備えている。
【００２９】
通信部２０１は、プロジェクター１００の通信部１０２と相互に通信を行う機能を備えている。
【００３０】
記憶部２３０には、投影資料ファイル２３１が記憶されており、投影資料ファイル２３１のページごとに、当該ページのデータ（頁データ２３２）を記憶しており、頁データ２３２毎に、付加情報２３３が関連付けられて記憶されている。図２の２３４は、頁データ２３２と付加情報２３３とが関連付けられていることを示している。図１０に、頁データ（Ａ）、付加情報（Ｂ）、投影画像（Ｃ）の一例を示す。図１０は、頁データ（Ａ）、付加情報（Ｂ）、投影画像（Ｃ）の一例を示す図である。
【００３１】
プレゼンテーションソフトウェア２２０は、付加機能部２２１と、標準機能部２２５とを備えている。
【００３２】
標準機能部２２５は、投影資料再生部２２６を有し投影資料再生部２２６は、記憶部２３０に記憶されている投影資料ファイル２３１の頁データ２３２、及び頁データ２３２に関連付けられた付加情報を合成して、当該合成されたデータをプロジェクター１００の通信部１０２に送信して当該データの投影指示を行う機能を備えている。
【００３３】
また、付加機能部２２１は、プロジェクター１００から受信した付加情報を受信する付加情報受信部２２２と、当該受信した付加情報を、頁データ２３２と関連付けて記憶部２３０に記憶・管理する付加情報管理部２２３とを備えている。
【００３４】
プロジェクター１００は、通信部１０２と、投影部１３０と、記憶部１４０と、付加情報取得部１２０とを備えている。
通信部１０２は、ＰＣ２００の通信部２０１と相互に通信する機能を備えている。
【００３５】
記憶部１４０は、通信部１０２を介してＰＣ２００から受信した当該データの投影指示に含まれるデータ（頁データ）１４４と、投影装置１０１の画像生成部１３１で生成された投影画像データ１４２と、投影画像データに対して行うキーストーン等の補正処理で用いられる値（キーストーン等の画像を補正している補正値）１４１とを記憶している。
【００３６】
また、投影部１３０は、通信部１０２を介してＰＣ２００から受信した当該データの投影指示に含まれるデータ（頁データ）１４４から、投影画像データ（投影画像）を生成する画像生成部１３１と、当該生成された投影画像データをスクリーン１０に投影する投影装置１０１とを備えている。
【００３７】
付加情報取得部１２０は、画像読取り装置１１０と、画像補正部１２１と、画像比較部１２２と、付加情報生成部１２３とを備えている。
【００３８】
画像補正部１２１は、画像読取り装置１１０で撮像された画像を解析して得られる位置判定用マーカー４０の情報を基に、当該画像の位置、傾き、彩度の補正を行う機能を備えている。
【００３９】
画像補正部１２１は、プロジェクター１００に、キーストーン等の画像を補正して投影する設定がなされている場合には、当該投影画像データに対して、キーストーン等の補正の処理を行う。この補正の処理で用いられる値（キーストーン等の画像を補正している補正値）１４１は、記憶部１４０のキーストーン補正値である。
【００４０】
画像比較部１２２は、画像補正部１２１で補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像データ）とを同一サイズになるように当該撮像画像のサイズを変更し、当該変更された当該撮像画像と、投影画像２０（投影したページの画像）とを比較する機能を備えている。
【００４１】
そして、付加情報生成部１２３は、画像比較部１２２による比較処理により、当該撮像画像と、投影画像２０（投影したページの画像）との差分の画像データである差分画像データ（付加情報）を生成する機能を備えている。
＜図３の説明＞
【００４２】
以下、図３を参照して、本発明の実施形態に係るプロジェクター１００とＰＣ２００とが実行する処理について、説明する。
【００４３】
図３は、本発明の実施形態に係るプロジェクター１００とＰＣ２００とが実行する処理のフローチャートの一例を示す図である。
【００４４】
ステップＳ１０１〜Ｓ１０６、ステップＳ３０１〜Ｓ３０５に示す各ステップの処理は、プロジェクター１００のメモリに記憶されているプログラムによる制御に従ってプロジェクター１００のＣＰＵが実行する。
【００４５】
また、ステップＳ２０１〜Ｓ２１１に示すステップの処理は、ＰＣ２００のメモリに記憶されているプログラムによる制御に従ってＰＣ２００のＣＰＵが実行する。
【００４６】
本実施形態では、プロジェクター１００と、ＰＣ２００との筐体を別々に分けて説明するが、プロジェクター１００と、ＰＣ２００との筐体を１つ筐体にして情報処理システムとすることができる。すなわち、プロジェクター１００と、ＰＣ２００と１つの情報処理装置として合体して情報処理システムとすることができる。その場合、図３に示す全ての処理（ステップ）を、１つの情報処理装置として合体した情報処理システムのＣＰＵ（制御部）が実行することで実現される。
【００４７】
情報処理システムは、画像データをスクリーンに投影する投影指示を行い、当該画像データが投影されているスクリーンを撮像するシステムである。
【００４８】
まず、ＰＣ２００のプレゼンテーションソフトウェア２２０は、投影指示画面２１０（例えば図５）をＰＣ２００の表示部に表示し、ユーザから投影するページの指示とそのページの投影指示を受付ける（ステップＳ２０１）。
【００４９】
ステップＳ２０１は、本発明の受付手段の適用例であり、ユーザの操作に従って、記憶手段に記憶されている画像データのページの投影指示を受け付ける。
【００５０】
そして、ＰＣ２００のプレゼンテーションソフトウェア２２０は、ユーザにより指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されているか否かを判定する（ステップＳ２０２）。
【００５１】
記憶部２３０に、図４に示す頁データ・付加情報関連管理テーブルが記憶されている。
図４は、頁データ・付加情報関連管理テーブルの一例を示す図である。
【００５２】
図４に示す投影資料の頁データ・付加情報関連管理テーブルは、頁番号、頁データ（２３２），付加情報（２３３）の情報から構成される。頁データ・付加情報関連管理テーブルの頁番号，頁データ（２３２）、付加情報（２３３）は、それぞれ、関連付けられて登録されている。付加情報は、１頁データに対して複数登録可能である。
【００５３】
付加情報（差分画像データ）は、頁データと同一サイズ（例えば、Ａ４サイズの大きさ）の画像ファイルとなっており、手書きされた領域以外の領域は透過（透明）である。
【００５４】
ステップＳ２０４でプロジェクター１００に送信する（付加情報付き）頁データは、ユーザにより指定された頁データに、該当頁に対応する付加情報をオーバーレイすることにより合成され生成されるが、付加情報を頁データと同サイズの画像ファイルとすることで、付加情報の位置情報を保持しなくても配置を再現することが出来る。また、付加情報の不要部分は透過状態とすることで、複数の付加情報を重ね合わせて表示することができる。
【００５５】
ステップＳ２０４は、本発明の出力手段の適用例であり、受付手段により投影指示を受け付けたページの画像データであって記憶手段により記憶された画像データをスクリーンに投影するべく出力する。
【００５６】
また、ステップＳ２０４では、スクリーンに付加情報の位置を特定するためのマーカー（位置判定用マーカー４０）を、投影指示を受け付けたページの画像データに含めて（合成して）出力する。
【００５７】
ステップＳ２０２では、ユーザにより投影指示されたページのページ番号の頁データに関連付けられて、図４の頁データ・付加情報関連管理テーブルに付加情報が記憶されているか否かを判定することにより、ユーザにより指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されているか否かを判定する。
【００５８】
ＰＣ２００のプレゼンテーションソフトウェア２２０は、ステップＳ２０２で、ステップＳ２０１で指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されていると判定された場合には（ＹＥＳ）、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して、当該合成された画像を投影画像データ（投影画像）とする（ステップＳ２０３）。
【００５９】
そして、ＰＣ２００のプレゼンテーションソフトウェア２２０（投影資料再生部２２６）は、ステップＳ２０３で合成することで得られた画像データ（映像データ）を、画像投影用のスクリーン１０に対して投影するべく、当該画像データ（映像データ）を投影画像として含む投影指示（（付加情報付き）頁データ１４４）をプロジェクター１００に送信する（ステップＳ２０４）。
【００６０】
また、ＰＣ２００のプレゼンテーションソフトウェア２２０は、ステップＳ２０２で、ステップＳ２０１で指示されたページのデータ（頁データ２３２）に関連付けられた付加情報２３３が記憶部２３０に記憶されていないと判定された場合には（ステップＳ２０２：ＮＯ）、ユーザにより指示されたページの頁データを投影画像として含む投影指示をプロジェクター１００に送信する（ステップＳ２０４）。
【００６１】
プロジェクター１００の投影部１３０は、ＰＣ２００から、（付加情報付き）頁データ１４４を受信する（ステップＳ１０１）。
【００６２】
そして、プロジェクター１００の画像生成部１３１は、ＰＣ２００から受信した（付加情報付き）頁データ１４４から、投影装置１０１で投影可能なデータである投影画像データを生成する（ステップＳ１０２）。
【００６３】
そして、プロジェクター１００の画像生成部１３１は、キーストーン等の画像の補正処理を行う設定がなされているかを判定し（ステップＳ１０３）、キーストーン等の画像の補正処理を行う設定がなされているか場合には（ステップＳ１０３：ＹＥＳ）、当該生成した投影画像データに対して、キーストーン補正値１４１に従って補正を行う（ステップＳ１０４）。
【００６４】
ステップＳ１０４の補正処理は、本発明の補正手段の適用例であり、出力手段により出力される画像データの位置、傾き、彩度のいずれかを所定の補正値に従って補正する。
【００６５】
そして、プロジェクター１００の画像生成部１３１は、補正した投影画像データに、投影位置特定用の位置判定用マーカー４０を合成する（ステップＳ１０５）。
【００６６】
なお、投影画像データに、投影位置特定用の位置判定用マーカー４０を合成する処理（投影画像データに、投影位置特定用の位置判定用マーカー４０を含める処理）は、ＰＣ２００がステップＳ２０２からＳ２０４の間に行っても良いし、また、Ｓ２０４で行ってもよい。
【００６７】
ステップＳ１０６、プロジェクター１００は、Ｓ１０４で補正された画像データをスクリーンに投影する投影手段の適用例である。
【００６８】
また、プロジェクター１００の画像生成部１３１は、キーストーン等の画像の補正処理を行う設定がなされていないと判定された場合には（ステップＳ１０３：ＮＯ）、ステップＳ１０２で生成された投影画像データに対して、投影位置特定用の位置判定用マーカー４０を合成する（ステップＳ１０５）。
【００６９】
次に、プロジェクター１００の投影装置１０１は、ステップＳ１０５で合成して得られた投影画像データをスクリーン１０に対し投影する処理を行う（ステップＳ１０６）。
【００７０】
ステップＳ１０６でスクリーン１０に投影画像データを投影した後に、ユーザは、スクリーン１０（ホワイトボード等）に対して、マジック等の物理的にスクリーン１０（ホワイトボード等）に対して書くことができるペンで書く。
【００７１】
その後、ＰＣ２００のプレゼンテーションソフトウェア２２０は、ステップＳ２０４の処理を実行した後、ステップＳ２０５にて、投影指示画面２１０からの次の指示を待ち（ステップＳ２０５）、ユーザからの改頁の指示を受け付けたと判定された場合には（ステップＳ２０６：ＹＥＳ）、投影装置１０１により現在投影画像データが投影されているスクリーン１０を撮像する指示（画像読み取り指示）を、プロジェクター１００の付加情報取得部１２０の画像読取り装置１１０に対して送信する（ステップＳ２０７）。
【００７２】
ステップＳ２０６で、改頁の指示を受け付ける処理は、本発明の受付手段の適用例であり、ユーザの操作に従って、記憶手段に記憶されている画像データのページの投影指示を受け付ける処理である。また、ステップＳ２０６は、本発明の判定手段の適用例であり、受付手段により、出力手段により出力している画像データのページ以外のページの投影指示を受け付けたか否かを判定する。
【００７３】
そして、画像読取り装置１１０は、ＰＣ２００から、スクリーン１０を撮像する指示（画像読み取り指示）を受信すると、スクリーン１０を撮像する（ステップＳ３０１）。
【００７４】
ステップＳ２０７、Ｓ３０１、画像読取り装置１１０は、本発明の撮像手段の適用例であり、判定手段により、出力手段により出力している画像データのページ以外のページの投影指示を受け付けたと判定された場合に、出力手段により当該画像データが出力されているスクリーンを撮像する。
【００７５】
次に、プロジェクター１００の画像補正部１２１は、プロジェクター１００に、キーストーン等の画像の補正処理を行う設定がなされているかを判定し、キーストーン等の画像の補正処理を行う設定がなされているか場合には、当該撮像で得られた画像データに対して、キーストーン補正値１４１に従って補正（傾き補正）を行う（ステップＳ３０２）。
【００７６】
ステップＳ３０２では、さらに、当該撮像で得られた画像データ内の位置判定用マーカー４０の位置を基準にして、画像を切り抜き、及び（付加情報付き）頁データ１４４との位置合わせを行う。また、投影場所の明るさによっては明度・彩度の補正も行う。プロジェクター１００に設定されたキーストーン設定値を傾き補正に用いることにより、傾きを正確に補正する事ができ、次のステップＳ３０２での画像比較の処理の精度を向上させることができる。
【００７７】
ステップＳ３０２は、本発明の撮像画像データ補正手段の適用例であり、撮像手段により撮像された撮像画像データの位置、傾き、彩度のいずれかを前記所定の補正値に従って補正する。
【００７８】
次に、プロジェクター１００の画像比較部１２２は、画像補正部１２１で補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像データ）とを同一サイズになるように当該撮像画像のサイズを変更し、当該変更された当該撮像画像と、投影画像２０（投影したページの画像、すなわち、Ｓ２０４で送信したデータ（画像データ））とを比較する（ステップＳ３０３）。
【００７９】
プロジェクター１００の付加情報生成部１２３は、ステップＳ３０３による比較処理により、当該撮像画像と、投影画像２０（投影したページの画像データ）（（付加情報付き）頁データ１４４）との差分の画像データである差分画像データ（付加情報）を生成する（ステップＳ３０４）。
【００８０】
なお、同一頁に対して複数回の投影と、複数回の付加情報の追記（ペンでの書き込み）が行われた場合は、ステップＳ３０３で比較する（付加情報付き）頁データ１４４は、ステップＳ２０３にてプレゼンテーションソフトウェア２２０により以前の付加情報も合成されている為、ステップＳ３０４では、改頁直前に追記された付加情報のみを抽出（生成）する事が可能となる。
【００８１】
また、ステップＳ２０３で合成する付加情報２３３が、１ページに対して複数、登録されている場合も、重ね合わせて全ての付加情報を合成することが可能となる。
【００８２】
ステップＳ３０４は、本発明の生成手段の適用例であり、撮像手段により撮像された撮像画像データと、出力手段により出力された画像データとに従って、スクリーンに物理的に書き込まれた付加情報を生成する。
【００８３】
また、Ｓ３０４では、Ｓ３０２で補正された撮像画像データと、Ｓ２０４で出力された画像データとに従って、当該撮像画像データに含まれる当該マーカーの位置を基準にスクリーンに物理的に書き込まれた付加情報を生成する。
【００８４】
次に、プロジェクター１００は、ステップＳ３０４で生成された差分画像データ（付加情報）をＰＣ２００に送信する（ステップＳ３０５）。
【００８５】
そして、ＰＣ２００の付加情報受信部２２２は、プロジェクター１００から差分画像データ（付加情報）を受信し（ステップＳ２０８）、ＰＣ２００の付加情報管理部２２３は、当該受信した差分画像データ（付加情報）を、記憶部２３０の、現在投影しているページの頁データ２３２と関連付けて登録（記憶）する。このとき、当該受信した差分画像データ（付加情報）を、図４に示す頁データ・付加情報関連管理テーブルの、現在投影しているページのページ番号、及び頁データに対応する付加情報として登録（記憶）する（ステップＳ２０９）。
【００８６】
その後、ＰＣ２００は、ステップＳ２０９の処理を実行すると、ユーザによる終了指示を受け付けたか否かを判定し（ステップＳ２１０）、終了指示を受け付けたと判定された場合には（ＹＥＳ）、処理を終了し、一方、終了指示を受け付けていないと判定された場合には（ＮＯ）、ユーザによる改頁の指示を受け付けたか否かを判定し、受け付けたと判定された場合には、当該指示を受けた頁が存在するか否かを、投影資料ファイル２３１、又は、図４のテーブルを用いて判定する。そして、当該指示を受けた頁が存在すると判定された場合には、当該頁を処理対象にして（改頁して）、処理をステップＳ２０２に戻す（Ｓ２１１）。
＜図５〜図９の説明＞
【００８７】
以下に、ＰＣ２００の表示部に表示される画面、スクリーン１０に表示される投影映像の具体例について説明する。
【００８８】
図３に示すフローチャートに示す処理を実行することにより、例えば、後述する図５〜図９に示す画面、投影映像が表示されることとなる。
【００８９】
図５〜図９に示す投影指示画面２１０は、ＰＣ２００の表示部に表示される画面であり、スクリーン１０は、スクリーン１０に表示される投影映像である。
【００９０】
図５は、会議等での発表者が投影資料の１頁目を投影した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の１頁目が表示されたスクリーン１０である。プレゼンテーションソフトウェア２２０が発表者のプレゼンテーション実行指示を受け付け、プロジェクター１００に対し投影指示を行う。プロジェクター１００は、受信した投影対象の頁データ２３２に位置判定用マーカー４０を合成し、スクリーン１０へ画像を投影する。頁データ２３２と位置判定用マーカー４０の合成はプレゼンテーションソフトウェア２２０およびプロジェクター１００のいずれで実施しても良い。
【００９１】
図６は、上記図５の状態から会議出席者等がスクリーン１０上にホワイトボード・マーカー等の筆記用具を用い、付加情報３０（後述の付加情報２３３と同じ）を記載した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の１頁目が表示されたスクリーン１０である。会議出席者は電子ペンなどの特殊な機器を用いず任意の筆記用具を用い頁データが投影されたスクリーン上へ文字等の付加情報を追記する事が出来る。
【００９２】
図７は、上記図６の状態から投影資料の改頁（１頁目から２頁目への改頁）を実施した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の２頁目が表示されたスクリーン１０である。
【００９３】
プレゼンテーションソフトウェア２２０は、発表者からの改頁指示を受付け、プロジェクター１００の付加情報取得部１２０に対しスクリーンに記録された画像データの読み取り（撮像）指示を行う。付加情報取得部１２０は、プレゼンテーションソフトウェア２２０からの指示を受付け、画像データが投影されたスクリーンの読み取り（撮像）を実施し、図５で表示していた１頁目の頁データ１４４と比較を行う為にキーストーン補正値・位置判定用マーカーを利用し画像データの傾き補正および位置合わせを実施する。投影場所の明るさによっては彩度の補正も実施する。
【００９４】
補正した画像データと図５で表示していた１頁目の頁データ１４４の画像比較を行い、図６時点で追記された付加情報３０を画像の差分データとして抽出する。付加情報取得部１２０は、抽出した付加情報をプレゼンテーションソフトウェア２２０へ送信する。
【００９５】
プレゼンテーションソフトウェア２２０は、受信した付加情報を投影資料の１頁目頁データと関連付けて付加情報２３３として記憶する。
【００９６】
その後、プレゼンテーションソフトウェア２２０は投影資料の改頁を実施し、２頁目の頁データ１４４の生成およびプロジェクター１００に対し２頁目の投影指示を行う。プロジェクター１００は、受信した投影対象の頁データ２３２に位置判定用マーカー４０を合成し、スクリーン１０へ画像を投影する。
【００９７】
図８は、上記図７の最終状態から会議出席者等がスクリーン１０上にホワイトボード・マーカー等の筆記用具を用い、付加情報３０を追記した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の２頁目が表示されたスクリーン１０である。
【００９８】
図９は、上記図８の状態から投影資料の改頁（２頁目から１頁目への改頁）を実施した際のＰＣ（投影指示装置）２００に表示される投影指示画面２１０および投影資料の２頁目が表示されたスクリーン１０である。
【００９９】
プレゼンテーションソフトウェア２２０、プロジェクター１００および付加情報取得部１２０は、図７での説明と同様に改頁指示を受付け、付加情報を取得・保管（記憶）する。
【０１００】
保管完了後、プレゼンテーションソフトウェア２２０は投影資料の改頁を実施し、プロジェクター１００に対し２頁目の頁データと図７の状態にて保管した１頁目の付加情報を合成し付加情報付き頁データ１４４を生成し投影指示を行う。プロジェクター１００は、受信した投影対象の頁データ２３２に位置判定用マーカー４０を合成し、スクリーン１０へ画像を投影する。
【０１０１】
以上、本発明によれば、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示することが出来る。
【０１０２】
そのため、本発明によれば、たとえば、インタラクティブホワイトボード等の電子的な読み取り装置を備えたスクリーンを必要とせず、ホワイトボード等のアナログなスクリーン上に手書きされた付加情報を読み取り投影資料の頁と関連付けて管理・表示し、ディスカッション情報を記録・再現することが可能となる。
【０１０３】
次に、ステップＳ２０３で、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して得られた投影画像（図１１のＡ）が、プロジェクター投影部がＳ１０６で投影され、当該付加情報を削除（更新）する処理について説明する。
【０１０４】
図１１、図１２を用いて、ステップＳ２０３で、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して得られた投影画像（図１１のＡ）を、プロジェクター投影部がＳ１０６で投影して、その投影された投影面（壁など）に、ユーザが例えば、赤色などの所定の色のマジックペン等で紙やホワイトボード等のスクリーン（投影面）に直接物理的に、削除領域１１０１を書き（図１１（Ｂ））、その後、Ｓ２０５で、改頁指示がなされ、当該指示された頁の投影画像をＳ１０６で投影面（壁など）に投影し（図１１（Ｃ））、その後、Ｓ２０５で、削除領域１１０１が書かれたページへの改頁指示がなされ、当該ページの投影画像（図１１（Ｄ））が表示された場合の一連の流れについて説明する。
【０１０５】
図１１は、付加情報を削除（更新）する処理の流れを説明するための画面遷移図の一例を示す図である。
【０１０６】
図１２は、付加情報を削除（更新）する処理の流れを説明するための、撮像画像、投影画像、削除画像、付加情報、更新後の付加情報の一例を示す図である。
【０１０７】
ＰＣ２００が、ステップＳ２０３で、頁データ２３２と、頁データ２３２に関連付けられている付加情報２３３（１又は複数の付加情報２３３）とを合成して得られた投影画像（図１１のＡ）を、プロジェクター投影部がＳ１０６で投影する。
【０１０８】
その後、ユーザが、その投影された投影面（壁など）に、ユーザが例えば、赤色などの所定の色のマジックペン等で紙やホワイトボード等のスクリーン（投影面）に直接物理的に、削除領域１１０１を書きこむ。ここで、スクリーン（投影面）に直接物理的に、削除領域１１０１が書き込まれたスクリーンを図１１（Ｂ）に示す。
【０１０９】
そして、その後、ＰＣ２００が、Ｓ２０５で、ユーザによる改頁指示を受け付けると、投影装置１０１により現在投影画像データが投影されているスクリーン１０を撮像する指示（画像読み取り指示）を、プロジェクター１００の付加情報取得部１２０の画像読取り装置１１０に対して送信する（ステップＳ２０７）。
【０１１０】
その後、画像読取り装置１１０は、ＰＣ２００から、スクリーン１０を撮像する指示（画像読み取り指示）を受信すると、スクリーン１０を撮像する（ステップＳ３０１）。
【０１１１】
次に、プロジェクター１００の画像補正部１２１は、プロジェクター１００に、キーストーン等の画像の補正処理を行う設定がなされているかを判定し、キーストーン等の画像の補正処理を行う設定がなされているか場合には、当該撮像で得られた画像データに対して、キーストーン補正値１４１に従って補正（傾き補正）を行う（ステップＳ３０２）。
【０１１２】
ステップＳ３０２では、さらに、当該撮像で得られた画像データ内の位置判定用マーカー４０の位置を基準にして、画像を切り抜き、及び（付加情報付き）頁データ１４４との位置合わせを行う。また、投影場所の明るさによっては明度・彩度の補正も行う。プロジェクター１００に設定されたキーストーン設定値を傾き補正に用いることにより、傾きを正確に補正する事ができ、次のステップＳ３０２での画像比較の処理の精度を向上させることができる。
【０１１３】
次に、プロジェクター１００の画像比較部１２２は、画像補正部１２１で補正された画像（撮像画像）と、ＰＣ（投影指示装置）２００のプレゼンテーションソフトウェアからの投影指示に含まれていた投影画像２０（投影したページの画像データ）とを同一サイズになるように当該撮像画像のサイズを変更し、当該変更された当該撮像画像と、投影画像２０（投影したページの画像、すなわち、Ｓ２０４で送信したデータ（画像データ））とを比較する（ステップＳ３０３）。
ここで、当該撮像画像は、例えば、図１２（Ａ）である。
【０１１４】
そして、プロジェクター１００の付加情報生成部１２３は、Ｓ２０４で送信された投影画像１２０２（図１１の（Ａ））は図１２の（Ｂ）であり、ステップＳ３０３では、Ｓ２０４で送信された投影画像１２０２と、当該撮像画像（図１２（Ａ））とを比較して、更に、差分の画像データである差分画像データ（付加情報）を生成する（ステップＳ３０４）。
【０１１５】
そして、プロジェクター１００は、ステップＳ３０４において、ここで生成された差分画像データの１１０１の色が、所定の色であるかを判定して、所定の色であると判定された場合には、１１０１を削除領域として判定し、ここで生成される差分画像データ（図１２の（Ｃ））を、削除画像１２０３としてＰＣ２００に送信する（Ｓ３０５）。
【０１１６】
そして、ＰＣ２００は、Ｓ２０８で、当該削除画像１２０３（付加情報）を受信すると、当該削除画像１２０３（付加情報）と、現在表示しているページ番号に対応付けて図４に登録されている付加情報１２０４とを比較して、付加情報１２０４のうち、削除領域１１０１で囲まれている領域を削除する（透明にする）処理を行い、付加情報１２０４を更新する（Ｓ２０９）。
ここで更新された付加情報が図１２の（Ｅ）に示す付加情報１２０５である。
【０１１７】
そして、その後、Ｓ２０５で、削除領域１１０１が書かれたページへの改頁指示がなされると、ＰＣ２００は、Ｓ２０３で、当該更新された付加情報と、当該ページの頁データとを合成して、図１１の（Ｄ）の投影画像を投影面に表示することができるようになる。
【０１１８】
そのため、スクリーンに物理的に書き込まれた付加情報と、投影されているページの画像データとを関連付けて登録し、その後、再度、当該画像データを投影する際は、当該付加情報もあわせて表示することが出来ると共に、その後、物理的に書き込まれた削除領域を読み取り付加情報を削除（更新）することが可能となり、ユーザの利便性を向上させることができる。
【０１１９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１２０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のカード、ＲＯＭ等を用いることができる。
【０１２２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このプログラムコードを読み出し実行可能な情報処理装置（コンピュータ）が前述した実施形態の機能を実現する。
【０１２３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【符号の説明】
【０１２４】
１０    スクリーン
２０    投影画像
３０    手書きされた付加情報
４０    位置判定用マーカー
１００  プロジェクター
１１０  画像読取り装置
１５０  接続ケーブル
２００  ＰＣ（投影指示装置）
２１０  投影指示画面
【図１】
2017116900.tif 000003
【図２】
2017116900.tif 000004
【図３】
2017116900.tif 000005
【図４】
2017116900.tif 000006
【図５】
2017116900.tif 000007
【図６】
2017116900.tif 000008
【図７】
2017116900.tif 000009
【図８】
2017116900.tif 000010
【図９】
2017116900.tif 000011
【図１０】
2017116900.tif 000012
【図１１】
2017116900.tif 000013
【図１２】
2017116900.tif 000014