(57)【要約】【課題】ホワイトボード等の被投影体に投影画像が表示されている場合において、入力された画像を撮像して投影データと合成する場合に、合成した投影データの判読性を維持することが可能な情報処理システムを提供する。【解決手段】手書きパーツテーブルの確認処理を実行し、手書きパーツを選択する（ステップＳ５６）。そして、関連データかどうかを判断する（ステップＳ５８）。関連データである場合には、投影画像と関連付けて位置を設定する（ステップＳ６０）。選択された手書きパーツが関連データでないと判断した場合には、位置依存が有るかどうかを判断する（ステップＳ６４）。位置依存が有ると判断された場合には、設定されている縮小率に従って手書きパーツを縮小する（ステップＳ６８）。そして、次に、依存する手書きパーツとの相対関係を維持して仮位置を設定する（ステップＳ７０）。【選択図】図１４
2011033936.tif 000002
【特許請求の範囲】
【請求項１】
投影データを被投影体に投影する投影装置と、
前記被投影体に表示された画像を表示画像データとして取得する画像取得装置と、
前記画像取得装置で取得された表示画像データに基づいて、前記投影装置から投影された投影データと前記画像取得装置で取得された前記表示画像データに含まれる入力した画像データとの合成処理を実行する画像処理装置とを備え、
前記画像処理装置は、
前記画像取得装置で取得された画像に含まれる入力した画像データと、前記投影データの一部のデータとの関連性を判断し、
前記一部のデータとの関連性が無いと判断した場合には、入力した画像データを前記投影データが表示される領域内の所定領域に配置して合成する、情報処理システム。
【請求項２】
前記画像処理装置は、前記一部のデータとの関連性があると判断した場合には、関連する前記一部のデータとの位置関係を維持する位置に配置して合成する、請求項１記載の情報処理システム。
【請求項３】
前記投影データは、複数の投影ページデータで構成され、
前記投影装置は、前記複数の投影ページデータを前記被投影体に切り替えてそれぞれ投影し、
前記画像取得装置は、各前記投影ページデータの切り替えの際に、各前記投影ページデータに対応する前記被投影体に表示された画像を表示画像データとして取得し、
前記画像処理装置は、前記被投影体に表示された各前記投影ページデータと、前記対応する前記画像取得装置で取得された表示画像データに含まれる入力した画像データとの合成処理を実行する、請求項１記載の情報処理システム。
【請求項４】
前記画像処理装置は、前記投影データが配置されたレイヤと、前記入力した画像データが配置された別のレイヤとを重ね合わせて合成する、請求項１記載の情報処理システム。
【請求項５】
前記画像処理装置は、前記投影データの領域内の前記所定領域に前記入力した画像データを配置することができるかどうかを判断し、
前記所定領域に前記入力した画像データを配置することができない場合には、指示により前記入力した画像データを表示することが可能なオブジェクト画像データを配置して合成する、請求項１記載の情報処理システム。
【請求項６】
投影データを被投影体に投影する投影装置と、
前記被投影体に表示された画像を表示画像データとして取得する画像取得装置と、
前記画像取得装置で取得された表示画像データに基づいて、前記投影データに対して合成処理を実行する画像処理装置とを備え、
前記投影データは、複数の投影ページデータで構成され、
前記投影装置は、前記複数の投影ページデータを前記被投影体に切り替えてそれぞれ投影し、
前記画像取得装置は、各前記投影ページデータの切り替えの際に、各前記投影ページデータに対応する前記被投影体に表示された画像を表示画像データとして取得し、
前記画像処理装置は、
前記被投影体に表示された、前記複数の投影ページデータにそれぞれ対応して取得された複数の表示画像データに入力した同一の画像データが含まれるかどうかを判断し、
同一の画像データが含まれると判断した場合に、最初の投影ページデータに対応する表示画像データに前記同一の画像データが含まれるか否かを判断し、
前記最初の投影ページデータに対応する表示画像データに前記同一の画像データが含まれる場合には、前記入力した同一の画像データを最初の投影ページデータとして前記投影データに追加する合成処理を実行する、情報処理システム。
【請求項７】
投影データを被投影体に投影する投影装置と、
前記被投影体に表示された画像を表示画像データとして取得する画像取得装置と、
前記画像取得装置で取得された表示画像データに基づいて、前記投影データに対して合成処理を実行する画像処理装置とを備え、
前記投影データは、複数の投影ページデータで構成され、
前記投影装置は、前記複数の投影ページデータを前記被投影体に切り替えてそれぞれ投影し、
前記画像取得装置は、各前記投影ページデータの切り替えの際に、各前記投影ページデータに対応する前記被投影体に表示された画像を表示画像データとして取得し、
前記画像処理装置は、
前記被投影体に表示された、最後の投影ページデータに対応する表示画像データに、入力した画像データが含まれるかどうかを判断し、
前記最後の投影ページデータに対応する表示画像データに入力した画像データが含まれる場合には、前記入力した画像データを最後の投影ページデータとして前記投影データに追加する合成処理を実行する、情報処理システム。
【請求項８】
投影データを被投影体に投影する投影装置と、
前記被投影体とは別に設けられた表示板に表示された画像を表示画像データとして取得する画像取得装置と、
前記画像取得装置で取得された表示画像データに基づいて、前記投影装置から投影された投影データと前記画像取得装置で取得された前記表示画像データに含まれる入力した画像データとの合成処理を実行する画像処理装置とを備え、
前記画像処理装置は、
前記入力した画像データを前記投影データが表示される領域内の所定領域に配置して合成する、情報処理システム。
【請求項９】
前記入力した画像データは、前記被投影体に表示される、手書き入力した文字、図形、前記被投影体に張付けられた写真、紙、別の投影装置から投影された画像の少なくとも１つを前記画像取得装置で取得した画像データに相当する、請求項１〜８のいずれか一項に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムに関し、特に、投影装置により被投影体等に投影された画像と、例えば被投影体等に書込入力した文字等とを合成処理する情報処理システムに関する。
【背景技術】
【０００２】
オフィス等で開催される会議や各種のプレゼンテーションにおいては、一般的にホワイトボード等の被投影体にプロジェクタを用いて投影し、投影表示される画像を参照しながら、会議にかかわる案件の説明若しくは討論がなされる。また、会議中になされた意見交換等については、ホワイトボード上に投影表示される画像に対してコメント等が記入（書込入力）される。
【０００３】
そして、会議開催中に記載したコメント等の書込入力した内容を反映した会議資料を議事録データとして合成することが可能であれば利便性が良い。
【０００４】
そのため、従来より、ホワイトボード上に投影表示される画像とともに記入されたコメント等をカメラ等の撮像装置によりキャプチャして合成するシステムが提案されている（特許文献１〜３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１１４９９６号公報
【特許文献２】特開２００６−５５４５号公報
【特許文献３】特開２００６−１０８８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、例えば、投影データをプロジェクタを用いてホワイトボード等に投影して、当該ホワイトボード等に例えば投影された画像（以下、投影画像とも称する）が表示されている場合に、投影画像の表示領域内に書込入力されている画像を撮像して、そのまま投影データと合成することは難しくないが、例えば、ホワイトボード上であって、投影画像の表示領域外に書込入力された画像を撮像して投影データと合成するような場合には、書込入力された画像の配置を考慮しなければならず、合成した投影データの判読性を維持する必要がある。
【０００７】
この点に関しては、上記特許文献１〜３のいずれにも記載されていない。
本発明は、上記のような問題を解決するためになされたものであって、ホワイトボード等の被投影体に投影画像が表示されている場合において、入力された画像を撮像して投影データと合成する場合に、合成した投影データの判読性を維持することが可能な情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る情報処理システムは、投影データを被投影体に投影する投影装置と、被投影体に表示された画像を表示画像データとして取得する画像取得装置と、画像取得装置で取得された表示画像データに基づいて、投影装置から投影された投影データと画像取得装置で取得された表示画像データに含まれる入力した画像データとの合成処理を実行する画像処理装置とを備える。画像処理装置は、画像取得装置で取得された画像に含まれる入力した画像データと、投影データの一部のデータとの関連性を判断し、一部のデータとの関連性が無いと判断した場合には、入力した画像を投影データが表示される領域内の所定領域に配置して合成する。
【０００９】
好ましくは、画像処理装置は、一部のデータとの関連性があると判断した場合には、関連する一部のデータとの位置関係を維持する位置に配置して合成する。
【００１０】
好ましくは、投影データは、複数の投影ページデータで構成され、投影装置は、複数の投影ページデータを被投影体に切り替えてそれぞれ投影し、画像取得装置は、各投影ページデータの切り替えの際に、各投影ページデータに対応する被投影体に表示された画像を表示画像データとして取得し、画像処理装置は、被投影体に表示された各投影ページデータと、対応する画像取得装置で取得された表示画像データに含まれる入力した画像データとの合成処理を実行する。
【００１１】
好ましくは、画像処理装置は、投影データが配置されたレイヤと、入力した画像データが配置された別のレイヤとを重ね合わせて合成する。
【００１２】
好ましくは、画像処理装置は、投影データの領域内の所定領域に入力した画像データを配置することができるかどうかを判断し、所定領域に入力した画像データを配置することができない場合には、指示により入力した画像データを表示することが可能なオブジェクト画像データを配置して合成する。
【００１３】
本発明に係る別の画像処理装置は、投影データを被投影体に投影する投影装置と、被投影体に表示された画像を表示画像データとして取得する画像取得装置と、画像取得装置で取得された表示画像データに基づいて、投影データに対して合成処理を実行する画像処理装置とを備え、投影データは、複数の投影ページデータで構成され、投影装置は、複数の投影ページデータを被投影体に切り替えてそれぞれ投影し、画像取得装置は、各投影ページデータの切り替えの際に、各投影ページデータに対応する被投影体に表示された画像を表示画像データとして取得し、画像処理装置は、被投影体に表示された、複数の投影ページデータにそれぞれ対応して取得された複数の表示画像データに入力した同一の画像データが含まれるかどうかを判断し、同一の画像データが含まれると判断した場合に、最初の投影ページデータに対応する表示画像データに同一の画像データが含まれるか否かを判断し、最初の投影ページデータに対応する表示画像データに同一の画像データが含まれる場合には、入力した同一の画像データを最初の投影ページデータとして投影データに追加する合成処理を実行する。
【００１４】
本発明に係るさらに別の画像処理装置は、投影データを被投影体に投影する投影装置と、被投影体に表示された画像を表示画像データとして取得する画像取得装置と、画像取得装置で取得された表示画像データに基づいて、投影データに対して合成処理を実行する画像処理装置とを備え、投影データは、複数の投影ページデータで構成され、投影装置は、複数の投影ページデータを被投影体に切り替えてそれぞれ投影し、画像取得装置は、各投影ページデータの切り替えの際に、各投影ページデータに対応する被投影体に表示された画像を表示画像データとして取得し、画像処理装置は、被投影体に表示された、最後の投影ページデータに対応する表示画像データに、入力した画像データが含まれるかどうかを判断し、最後の投影ページデータに対応する表示画像データに入力した画像データが含まれる場合には、入力した画像データを最後の投影ページデータとして投影データに追加する合成処理を実行する。
【００１５】
好ましくは、入力した画像データは、被投影体に表示される、手書き入力した文字、図形、被投影体に張付けられた写真、紙、別の投影装置から投影された画像の少なくとも１つを画像取得装置で取得した画像データに相当する。
【発明の効果】
【００１６】
本発明に係る情報処理システムは、画像取得装置で取得された画像に含まれる入力した画像データと、投影データの一部のデータとの関連性を判断し、一部のデータとの関連性が無いと判断した場合には、入力した画像データを投影データが表示される領域内の所定領域に配置して合成する。したがって、入力した画像データと、投影データとの関連性に基づいて、所定領域に入力した画像データを配置する。すなわち、所定領域として、空白領域に配置することが可能であるため、合成した投影データの判読性を維持することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１に従う情報処理システムの関係を説明する図である。
【図２】ＭＦＰ１５の概略ブロック図について説明する図である。
【図３】ホワイトボード５上に投影された投影画像に書込入力した場合について説明する図である。
【図４】カメラ２０で取得したホワイトボード５に表示された画像を撮像した撮像データに基づく合成処理について説明する図である。
【図５】撮像画像データに含まれる書込入力されたデータについて、投影ページデータとの関連性があるか否かを判断する例を説明する図である。
【図６】カメラ２０で取得したホワイトボード５に表示された画像を撮像した撮像データ（表示画像データ）に基づく別の合成処理について説明する図である。
【図７】加工入力データ２４６と、投影ページデータとの合成処理について説明する図である。
【図８】本発明の実施の形態１に従う合成方式の全体のフローについて説明する図である。
【図９】手書き文字抽出処理のサブルーチン処理について説明する図である。
【図１０】手書き属性判断処理のサブルーチン処理について説明する図である。
【図１１】本発明の実施の形態に従う手書きパーツテーブルを説明する図である。
【図１２】本発明の実施の形態に従う手書きパーツ解析処理について説明する図である。
【図１３】本発明の実施の形態に従う別の手書きパーツテーブルを説明する図である。
【図１４】手書き文字合成処理について説明する図である。
【図１５】本発明の実施の形態２に従うカメラ２０で取得したホワイトボード５に表示された画像を撮像した撮像データについて説明する図である。
【図１６】本発明の実施の形態２に従う撮像データに基づく合成処理について説明する図である。
【図１７】本発明の実施の形態２に従う合成方式の全体のフローについて説明する図である。
【図１８】本発明の実施の形態２に従う関連データ合成処理のサブルーチン処理について説明する図である。
【図１９】本発明の実施の形態２に従う関連データ合成処理の別のサブルーチン処理について説明する図である。
【図２０】本実施の形態３に従う被投影体とは別の例えばホワイトボード等の表示体に書込入力したデータを投影ページデータと合成する方式について説明する図である。
【図２１】本発明の実施の形態３に従う合成方式の全体のフローについて説明する図である。
【図２２】本発明の実施の形態３に従う手書き抽出処理のサブルーチン処理について説明する図である。
【図２３】本発明の実施の形態３に従う手書き属性判断処理のサブルーチン処理について説明する図である。
【図２４】本発明の実施の形態３に従う手書きパーツテーブルを説明する図である。
【図２５】本発明の実施の形態３に従う手書き文字合成処理について説明する。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ本発明の実施の形態１について説明する。以下の説明において同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同一であるものとする。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に従う情報処理システムの関係を説明する図である。
【００２０】
図１を参照して、本発明の実施の形態１に従う情報処理システム１においては、投影装置であるプロジェクタ１０と、プロジェクタ１０から投影される投影画像（投影画像）を表示するための被投影体であるホワイトボード５と、カメラ２０と、ＭＦＰ（Multi Function Peripheral）１５と、情報処理端末（以下、ＰＣ（Personal Computer）と称する）２５，２６とを備える。なお、ＭＦＰ１０は、コピー機能、プリンタ機能、ファックス機能等を備えた多機能デジタル複合機である。これら、各装置はネットワーク３０を介して互いに接続されており各装置間においてデータの授受が可能であるものとする。
【００２１】
本発明の実施の形態１に従う会議システム１においては、プロジェクタ１０と、ＰＣ２５とが互いに接続され、ＰＣ２５が有している投影データがプロジェクタ１０に出力され、そして、プロジェクタ１０は、投影データに従ってホワイトボード５に投影画像を投影するものとする。なお、本例においては、投影データは、複数の投影ページデータで構成され、総括して投影データと称することとする。
【００２２】
なお、本例においては、ＰＣ２５から投影データを構成する投影ページデータがネットワーク３０を介してプロジェクタ１０に出力される場合について説明するが、これに限られず、ＰＣ２６から投影ページデータを出力することも可能であるし、あるいは、ＭＦＰ１５のハードディスクに格納されている投影ページデータをネットワーク３０を介してプロジェクタ１０に出力することも可能である。
【００２３】
カメラ２０は、ホワイトボード５に表示された画像を撮像した撮像データ（表示画像データ）を取得して、後述する画像合成処理のためにネットワーク３０を介してＭＦＰ１５に出力する。なお、本例においては、ＭＦＰ１５において、画像合成処理を実行する場合について説明するが、当該処理をＰＣ２５，２６で実行するようにしても良い。その場合には、カメラ２０は、ＰＣ２５，２６に撮像データを出力するものとする。
【００２４】
また、カメラ２０がホワイトボード５に表示された画像を撮像するタイミングとしては、投影ページデータを切り替える際に、ホワイトボード５に表示された画像を撮像するものとする。
【００２５】
具体的には、１ページずつ投影ページデータを切り替えてホワイトボード５に投影画像を表示することが可能である場合に、ＰＣ２５が、ユーザからの切り替え指示（次の投影画像への切り替え指示）の入力を受け付けた場合、カメラ２０に対してホワイトボード５に表示された画像を撮像するように指示する。そして、当該指示に従ってカメラ２０は、ホワイトボード５に表示された画像を撮像した撮像データ（表示画像データ）を取得する。そして、取得が完了したことをＰＣ２５に通知する。ＰＣ２５は、カメラ２０から撮像が完了したことの通知を受けた後に、プロジェクタ１０に対して、次の投影ページデータを出力するものとする。
【００２６】
なお、本例においては、ＰＣ２５がユーザからの切り替え指示の入力を受け付けた場合に、カメラ２０に対して画像を撮像するように指示する方式について説明したがこれに限られず、例えば、プロジェクタ１０からカメラ２０に対して画像を撮像するように指示するようにしても良い。
【００２７】
また、後述する画像合成処理を実行する場合には、ＭＦＰ１５は、ＰＣ２５から投影データを取得するとともに、上述したカメラ２０からの撮像データを取得して画像合成処理を実行するものとする。
【００２８】
（ＭＦＰの構成）
次に、図２を用いてＭＦＰ１５の概略ブロック図について説明する。
【００２９】
図２を参照して、ＭＦＰ１５は、中央演算装置（ＣＰＵ（Central Processing Unit））１０１と、ネットワーク３０を介してデータの授受を実行するためのネットワークインターフェイス（Ｉ／Ｆ）１０８と、ＭＦＰ１５における所定の機能を実行するための種々のソフトウェアプログラムが格納されたＲＯＭ（Read Only Memory）１０２と、ＣＰＵ１０１の作業領域等として用いられるＲＡＭ（Random Access Memory）１０３と、大容量記憶装置としてのＨＤＤ（Hard disc drive）１０４と、原稿を読み取る画像読取部１０６と、シアン、マゼンタ、イエローおよびブラックの４色のトナーを用いてカラーの画像を形成するあるいはシアン、マゼンタ、イエローおよびブラックのいずれか１色のトナーを用いてモノクロの画像を形成する印刷部１０７と、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Electro Luminescence Display）等のディスプレイおよびキー操作に対応するユーザの操作による各種の指示、文字、数字等のデータ入力を受け付ける複数のキーとを有する操作パネル部１０５とを含む。各部は、内部バス１０９で互いにデータの授受が可能であり、ＣＰＵ１０１は、ＭＦＰ１５全体を制御する。また、後述する画像合成処理は、ＣＰＵ１０１がＨＤＤ１０４に格納されている所定のアプリケーションプログラムを実行することにより実現されるものとする。なお、専用の画像合成処理を実行するハードウェアを別に設けることも可能である。
【００３０】
また、本実施の形態１に従う情報処理システムにおいて、ＭＦＰ１５は、カメラ２０で取得したホワイトボード５に表示された画像を撮像した撮像データ（表示画像データ）の入力を受ける。具体的には、ＭＦＰ１５は、ネットワークインタフェース１０８を介して撮像データ（表示画像データ）の入力を受けて、ＲＡＭ１０３あるいはＨＤＤ１０４に当該データを保存するものとする。また、ＭＦＰ１５は、ネットワークインタフェース１０８を介してＰＣ２５が有する投影データの入力を受けて、ＲＡＭ１０３あるいはＨＤＤ１０４に当該データを保存するものとする。
【００３１】
そして、ＣＰＵ１０１は、上述したようにＨＤＤ１０４に格納されている所定のアプリケーションプログラムを実行することにより、後述する投影データと、撮像データ（表示画像データ）との画像合成処理を実行する。
【００３２】
次に、本実施の形態１に従う情報処理システムにおける投影データと、入力した表示画像データとの合成処理の流れについて説明する。
【００３３】
具体的には、複数の投影ページデータで構成される投影データについて、各投影ページデータと、各投影ページデータに対応して入力される表示画像データとを合成処理する。
【００３４】
本実施の形態１に従う情報処理システムにおける合成処理方式として幾つかの条件がある。
【００３５】
（１）  撮像画像データに含まれる例えば書込入力されたデータについて、投影ページデータとの関連性があるか否かを判断して、投影ページデータと関連性があると判断される場合には、投影ページデータと関連付けて合成する。
【００３６】
（２）  書込入力されたデータが、複数のパーツに分けられる場合に、互いに関連性があるかどうかを判断して、互いに関連性があると判断される場合には、互いに関連づけて合成する。
【００３７】
（３）  書込入力されたデータが投影ページデータとの関連性がない場合には、投影ページデータの空白領域である所定領域に配置して合成する。
【００３８】
（４）  （３）において、合成する際に、投影ページデータの空白領域である所定領域に配置することができないサイズである場合には、アイコンを配置して合成する。
【００３９】
まず、上記（１）および（２）の条件が満たされる場合の合成処理について説明する。
図３を用いて、ホワイトボード５上に投影された投影画像に書込入力した場合について説明する。
【００４０】
図３を参照して、本例においては、ホワイトボード５上に投影される投影画像表示領域５０内に投影画像として「パテント  処置権」の文字が表示されるとともに、「権」の文字について訂正を示す線画とともに、「検」の文字が表示されている場合が示されている。ここで、文字を訂正する線画および「検」の文字は、ホワイトボード５上に直接書込入力したものである。
【００４１】
また、本例において、「権」の文字の訂正を示す線画の一部および「検」の文字は、投影画像表示領域５０外に書込入力したものである。
【００４２】
次に、図４を用いて、カメラ２０で取得したホワイトボード５に表示された画像を撮像した撮像データに基づく合成処理について説明する。本例においては、投影データが複数の投影ページデータで構成される場合の１ページ目が表示されているものとする。
【００４３】
図４（Ａ）を参照して、ここでは、撮像データ２００内に、撮像投影データ２１０が含まれている場合が示されている。
【００４４】
ここで、撮像投影データは、ホワイトボード５上に表示された投影画像をカメラ２０で取得した画像データを意味するものとする。
【００４５】
なお、本例においては、カメラ２０の撮像範囲は、ホワイトボード５全体の領域と等しいものとして説明するが、投影画像を含むことが可能であればホワイトボード５よりも小さくても良い。また、ホワイトボード５よりも広い範囲を撮像する場合には、撮像した範囲の中からホワイトボード５全体の領域を抽出するようにすればよい。ホワイトボード５の抽出は、背景色とのコントラスト差に基づいて判断することが可能であり公知の技術を用いることが可能である。
【００４６】
そして、当該取得した撮像データは、カメラ２０からネットワーク３０を介してＭＦＰ１５のネットワークインタフェース１０８に伝達される。そして、ＭＦＰ１５において取得され、ＲＡＭ１０３あるいはＨＤＤ１０４に当該データが保存される。
【００４７】
なお、画像合成処理を実行するに際し、ＰＣ２５からプロジェクタ１０に出力される投影ページデータがメモリに展開されるデータ領域のサイズと、カメラ２０から被投影体に表示された投影画像を取得した場合の撮像投影データのメモリに展開されるデータ領域のサイズとは実際には異なると考えられるが、本例においては説明を簡易にするために同じ大きさであると仮定して説明するものとする。なお、異なる場合には、両者のサイズを比較して、いずれか一方のサイズを合わせるようにデータ領域を拡大あるいは縮小すれば良い。
【００４８】
図４（Ｂ）は、撮像データから投影ページデータを分離した撮像分離データ２０２を説明する図である。
【００４９】
ここでは、撮像データ２００から撮像投影データ２１０を除去した撮像分離データ２０２が示されている。
【００５０】
具体的には、文字を訂正する線画および「権」の書込入力した画像データ２２０が示されている。
【００５１】
図４（Ｃ）は、画像データ２２０を手書きパーツに分ける場合を説明する図である。
ここでは、画像データ２２０について、３つの手書きパーツ２２２，２２４，２２６に分けた場合が示されている。
【００５２】
具体的には、いわゆる公知のパターンマッチングアルゴリズム等を用いて、文字か線画か等を分類して、手書きパーツに分けることが可能である。本例においては、手書きパーツ２２２，２２４は、線画であり、手書きパーツ２２６は文字である。また、本例においては、当該手書きパーツの位置座標データとして、左上座標と、右下座標とをパラメータ値として有する矩形領域を手書きパーツとして抽出するものとする。
【００５３】
また、手書きパーツ２２２は、図４（Ａ）で示されるように撮像投影データと重なりあう位置に配置されているため投影ページデータと関連性有りと判断される。当該関連性有りの判断に基づいて、後述するが手書きパーツ２２２の合成方式が決定される。すなわち、条件（１）が満たされる場合である。
【００５４】
また、手書きパーツ２２４，２２６は、図４（Ａ）で示されるように、撮像投影データと重なりあう位置に配置されていないため投影ページデータと関連性無しと判断される。
【００５５】
一方、手書きパーツ２２２，２２４，２２６は、互いの位置関係（距離）により互いに関連する位置関係の手書きパーツであると判断される。当該関連性有りの判断に基づいて、後述するが手書きパーツ２２２，２２４，２２６の合成方式が決定される。すなわち、条件（２）が満たされる場合である。
【００５６】
図４（Ｄ）は、３つの手書きパーツ２２２，２２４，２２６を投影ページデータと合成するために加工した加工入力データ２０４を説明する図である。
【００５７】
ここでは、加工入力データ２０４として、「権」を訂正する手書きパーツ２２２については、投影ページデータと関連する手書きパーツであるため撮像投影データ２１０内の「権」との位置関係を維持するように配置される。
【００５８】
一方、線画である手書きパーツ２２４と、「検」の文字である手書きパーツ２２６とについては、投影ページデータと関連する手書きパーツでないため縮小して配置される。
【００５９】
具体的には、撮像データ２００の範囲を撮像投影データ２１０の範囲と一致させるために縮小する縮小率で矩形領域で抽出される手書きパーツ２２４，２２６を縮小する。
【００６０】
また、手書きパーツ２２４，２２６は、手書きパーツ２２２と関連するため、縮小した手書きパーツ２２４，２２６は、手書きパーツ２２２とそれぞれ互いに相対的な位置関係を維持しつつ加工入力データ２０４内に配置される。
【００６１】
図４（Ｅ）は、加工入力データ２０４と、投影ページデータ（撮像投影データ２１０）との合成処理を説明する図である。
【００６２】
図４（Ｅ）に示されるように、加工入力データ２０４と、投影ページデータ（撮像投影データ２１０）とが重ね合わせられて合成データ２０６が生成される。
【００６３】
ここで示されるように、投影ページデータと関連性がある「権」の文字データを訂正する手書きパーツ２２２については、「権」との位置関係を維持するように合成され、手書きパーツ２２２と関連する、手書きパーツ２２４，２２６については、縮小されるとともに、手書きパーツ２２２とそれぞれ互いに相対的な位置関係を維持しつつ合成される。
【００６４】
当該合成方式により、投影画像表示領域５０外に書込入力した場合であっても、投影ページデータに合成することが可能である。
【００６５】
そして、投影ページデータと関連性があると判断される場合には、投影ページデータと関連付けて合成される。また、書込入力されたデータが、複数のパーツに分けられる場合に、互いに関連性があると判断される場合には、互いに関連づけて合成される。
【００６６】
したがって、ホワイトボード等の被投影体に投影画像が表示されている場合において、入力された画像を撮像して投影ページデータと合成する場合に、合成した投影ページデータの判読性を維持することが可能である。
【００６７】
図５は、撮像画像データに含まれる書込入力されたデータについて、投影ページデータとの関連性があるか否かを判断する例を説明する図である。
【００６８】
図５（ａ）に示されるように、図４（ａ）で示されるのと同様に、撮像投影データと重なる手書きパーツ２３０が示されており、重なり合う位置に配置されている場合には、投影ページデータと関連性がありと判断する。
【００６９】
また、図５（ｂ）に示されるように、撮像投影データの一部を囲む手書きパーツ２３２が示されており、手書きパーツ２３２内に撮像投影データの一部が含まれるような場合には、投影ページデータと関連性がありと判断する。
【００７０】
次に、上記（３）および（４）の条件が満たされる場合の合成処理について説明する。
図６を用いて、カメラ２０で取得したホワイトボード５に表示された画像を撮像した撮像データ（表示画像データ）に基づく別の合成処理について説明する。本例においては、投影データが複数の投影ページデータで構成される場合の２ページ目であるものとする。
【００７１】
図６（Ａ）を参照して、ここでは、撮像データ２００＃内に、撮像投影データ２１０＃が含まれている場合が示されている。
【００７２】
ここで、撮像投影データは、ホワイトボード５上に表示された投影画像をカメラ２０で取得した画像データを意味するものとする。
【００７３】
図６（Ｂ）は、撮像データから投影ページデータを分離した撮像分離データ２０２＃を説明する図である。
【００７４】
ここでは、撮像データ２００＃から撮像投影データ２１０＃を除去した撮像分離データ２０２＃が示されている。
【００７５】
具体的には、ホワイトボード５上にコメントデータ２４０が示されている。
図６（Ｃ）は、画像データ２４０を手書きパーツに分ける場合を説明する図である。
【００７６】
ここでは、画像データ２４０について、手書きパーツ２４２に分けた場合が示されている。
【００７７】
具体的には、いわゆる公知のパターンマッチングアルゴリズム等を用いて、文字か線画か等を分類して、手書きパーツに分けることが可能である。本例においては、手書きパーツ２４２は文字であるものとする。また、本例においては、当該手書きパーツの位置座標データとして、左上座標と、右下座標とをパラメータ値として有する矩形領域を手書きパーツとして抽出するものとする。
【００７８】
また、手書きパーツ２４２は、撮像投影データと重なりあう位置に配置されていないため投影ページデータと関連性無しと判断される。当該関連性無しの判断に基づいて、後述するが手書きパーツ２４２の合成方式が決定される。すなわち、条件（３）が満たされる場合である。
【００７９】
図６（Ｄ）は、手書きパーツ２４２を投影ページデータと合成するために加工した加工入力データ２４６を説明する図である。
【００８０】
具体的には、撮像データ２００＃の範囲を撮像投影データ２１０＃の範囲と一致させるために縮小する縮小率で矩形領域で抽出される手書きパーツ２４０を縮小する。
【００８１】
また、手書きパーツ２４０は、撮像投影データと関連性が無いため加工入力データ２４６内の空白領域である所定領域に配置される。
【００８２】
図７を用いて加工入力データ２４６と、投影ページデータ（撮像投影データ２１０＃）との合成処理について説明する。
【００８３】
図７（Ａ）に示されるように、加工入力データ２４６と、投影ページデータ（撮像投影データ２１０＃）とが重ね合わせられて合成データ２５０が生成される。
【００８４】
ここで示されるように、投影ページデータと関連性がない縮小された手書きパーツ２４２については、投影ページデータの空白領域である所定領域に配置される。
【００８５】
当該合成方式により、投影画像表示領域５０外に書込入力した場合であっても、投影ページデータに合成することが可能である。
【００８６】
そして、投影ページデータと関連性がないと判断される場合には、投影ページデータの空白領域である所定領域に配置されて合成される。
【００８７】
したがって、ホワイトボード等の被投影体に投影画像が表示されている場合において、入力された画像を撮像して投影ページデータと合成する場合に、合成した投影ページデータの判読性を維持することが可能である。
【００８８】
図７（ｂ）は、加工入力データ２４６と、投影ページデータ（撮像投影データ２１０＃）との合成処理を説明する図である。
【００８９】
図７（Ａ）に示されるように、加工入力データ２４６と、投影ページデータ（撮像投影データ２１０＃）とが重ね合わせられて合成データ２５２が生成される。
【００９０】
ここでは、縮小された手書きパーツ２４２については、投影ページデータの空白領域である所定領域に配置することができないものとする。したがって、アイコン（オブジェクト画像データ）２４８が合成され、アイコンを指定することにより、手書きパーツ２４２の画像データ（コメントデータ）が表示されるものとする。
【００９１】
当該合成方式により、投影画像表示領域５０外に書込入力した場合であっても、投影ページデータに合成することが可能である。
【００９２】
すなわち、投影ページデータの空白領域である所定領域に書込入力したデータを配置することができない場合であっても、指示することによりコメントデータを表示可能なアイコンを合成することが可能である。
【００９３】
したがって、ホワイトボード等の被投影体に投影画像が表示されている場合において、入力された画像を撮像して投影ページデータと合成する場合に、合成した投影ページデータの判読性を維持することが可能である。
【００９４】
以下、上記の合成方式を実行するフローについて説明する。
図８を用いて、本発明の実施の形態１に従う合成方式の全体のフローについて説明する。
【００９５】
図８を参照して、まず、撮影要求が有るかどうかを判断する（ステップＳ１）。本例においては、投影ページデータを切り替える際に、ユーザからの切り替え指示の入力に従ってＰＣ２５は、カメラ２０に対して画像を撮像するように指示する。なお、最終の投影ページデータを終了する際においても、当該指示の入力に従ってＰＣ２５は、カメラ２０に対して画像を撮像するように指示する。
【００９６】
そして、撮影要求が有る場合には、画像を取得する（ステップＳ２）。具体的には、カメラ２０は、ＰＣ２５からの撮像要求に従って、ホワイトボード５に表示された画像を撮像した撮像データ（表示画像データ）を取得する。
【００９７】
そして、取得された撮像データ（表示画像データ）と、投影ページデータとをＭＦＰ１５に出力する（ステップＳ３）。
【００９８】
そして、ＭＦＰ１５において、当該撮像データ（表示画像データ）と投影ページデータとをＲＡＭ１０３あるいはＨＤＤ１０４に格納する（ステップＳ４）。
【００９９】
そして、次に、ＭＦＰ１５において、全ての投影ページデータに対応する撮像データを取得したかどうかを判断する（ステップＳ５）。ステップＳ５において、取得が完了していない場合には、ステップＳ１に戻り、全ての投影ページデータに対応する撮像データの取得が完了するまで同様の処理を繰り替えす。
【０１００】
そして、ステップＳ５において、取得が完了した場合には、次に、ステップＳ６に進む。
【０１０１】
これにより、ＭＦＰ１５において、画像合成処理を実行する準備が整い、ＣＰＵ１０１が所定のアプリケーションを実行することによりソフト的に以下の処理を実行する。なお、以下の処理は、本例においては、各投影ページデータに対してそれぞれ実行するものとする。
【０１０２】
具体的には、まず、手書き文字抽出処理を実行する（ステップＳ６）。
次に、抽出した手書き文字について手書き文字の属性を判断する手書き属性判断処理を実行する（ステップＳ７）。
【０１０３】
そして、次に手書き文字を合成する手書き文字合成処理を実行する（ステップＳ８）。そして、処理を終了する（エンド）。
【０１０４】
（手書き文字抽出処理）
図９を用いて手書き文字抽出処理のサブルーチン処理について説明する。
【０１０５】
図９を参照して、まず画像比較処理を実行する（ステップＳ１２）。
具体的には、撮像データ（表示画像データ）と、投影ページデータとを比較して、撮像データ（表示画像データ）に含まれる撮像投影データを特定する。
【０１０６】
そして、書込入力が有るかどうかを判断する（ステップＳ１４）。具体的には、撮像データ（表示画像データ）内に、撮像投影データ以外のデータがあるかどうかを判断する。撮像投影データは、投影画像をカメラ２０で取得した画像データである。
【０１０７】
したがって、撮像データに撮像投影データ以外の画像データがあると判断される場合には、書込入力が有ると判断され、無い場合には、書込入力が無いと判断される。
【０１０８】
ステップＳ１４において、書込入力が無いと判断される場合（ステップＳ１４においてＮＯ）には、処理を終了する（リターン）。この場合には、画像合成処理を実行する必要が無いからである。
【０１０９】
一方、ステップＳ１４において、書込入力が有ると判断される場合（ステップＳ１４においてＹＥＳ）には、手書き画像分離処理を実行する（ステップＳ１６）。
【０１１０】
具体的には、撮像データ（表示画像データ）内の特定された撮像投影データ以外のデータを抽出する。例えば、図４の例においては、図４（Ｂ）に示される撮像分離データ２０２を取得する。
【０１１１】
そして、保存する（ステップＳ１８）。具体的には、ＨＤＤ１０４に保存する。
そして、処理を終了する（リターン）。
【０１１２】
なお、当該処理を投影ページデータ毎に実行するものとする。
（手書き属性判断処理）
次に、手書き属性判断処理について説明する。
【０１１３】
図１０を用いて手書き属性判断処理のサブルーチン処理について説明する。
図１０を参照して、まず、手書き画像読み込み処理を実行する（ステップＳ２０）。
【０１１４】
具体的には、上記の手書き画像分離処理により分離された手書き画像のデータをＨＤＤ１０４から取得する。例えば、図４の例においては、図４（Ｂ）に示されるＨＤＤ１０４に格納されている撮像分離データ２０２を取得する。
【０１１５】
そして、手書きパーツに分離する（ステップＳ２２）。
具体的には、いわゆる公知のパターンマッチングアルゴリズム等を用いて、文字か線画か等を分類して、手書きパーツに分ける。
【０１１６】
例えば、図４の例においては、図４（Ｃ）に示される撮像分離データ２０２の画像データ２２０について、３つの手書きパーツ２２２，２２４，２２６に分ける。
【０１１７】
そして、次に、分離された手書きパーツをそれぞれ手書きパーツテーブルに格納する（ステップＳ２３）。
【０１１８】
具体的には、分離された手書きパーツにそれぞれ手書きパーツＩＤが発行され、対応する手書きパーツＩＤに対応して、手書きパーツの属性データ等の情報を格納する。
【０１１９】
本例においては、発行された手書きパーツＩＤに対応して、手書きパーツの属性データ、関連ページデータ、位置座標データ、関連／通常データを示すデータ、また、関連データである場合には、依存する手書きパーツＩＤデータがそれぞれ登録される。
【０１２０】
図１１を用いて本発明の実施の形態に従う手書きパーツテーブルを説明する。
図１１を参照して、ここでは、手書きパーツが手書きパーツテーブルに登録されている場合が示されている。
【０１２１】
具体的には、一例として４つの手書きパーツが登録されている場合が示されている。
まず、図４で示される例における手書きパーツについて説明する。
【０１２２】
本例においては、上記した分離された３つの手書きパーツ２２２，２２４，２２６にそれぞれ対応して手書きパーツＩＤが発行される場合が示されている。具体的には、手書きパーツ２２２に対応して、ＩＤ「００１」が発行され、属性「線画」、関連ページ「１」、位置「（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）」が登録されている場合が示されている。なお、位置座標データは、左上座標と、右下座標とをパラメータ値として有する矩形領域を示すものである。
【０１２３】
また、手書きパーツ２２４に対応して、ＩＤ「００２」が発行され、属性「線画」、関連ページ「１」、位置「（Ｘ３，Ｙ３），（Ｘ４，Ｙ４）」が登録されている場合が示されている。
【０１２４】
また、手書きパーツ２２６に対応して、ＩＤ「００３」が発行され、属性「文字」、関連ページ「１」、位置「（Ｘ５，Ｙ５），（Ｘ６，Ｙ６）」が登録されている場合が示されている。
【０１２５】
なお、他の関連／通常データを示すデータおよび依存ＩＤの欄には、まだ登録されていないが、後述する手書きパーツ解析処理に基づいて、必要に応じて登録される。
【０１２６】
また、図６で示される例における手書きパーツについて説明する。
本例においては、上記した分離された手書きパーツ２４２に対応して手書きパーツが発行される場合が示されている。具体的には、手書きパーツ２４２に対応して、ＩＤ「００４」が発行され、属性「文字」、関連ページ「２」、位置「（Ｘ７，Ｙ７），（Ｘ８，Ｙ８）」が登録されている場合が示されている。
【０１２７】
再び、図１０を参照して、次に、手書きパーツ解析処理を実行する（ステップＳ２４）。
【０１２８】
図１２を用いて、本発明の実施の形態に従う手書きパーツ解析処理について説明する。
図１２を参照して、まず、手書きパーツを選択する（ステップＳ３０）。
【０１２９】
そして、次に、投影画像との関連性が有るかどうかを判断する（ステップＳ３２）。具体的には、投影ページデータ（撮像投影データ）と選択された手書きパーツとが重なり合う位置にあるか、あるいは、手書きパーツ内に投影ページデータ（撮像投影データ）の一部が含まれるか否かが判断される。
【０１３０】
ステップＳ３２において、投影画像との関連性が有ると判断された場合（ステップＳ３２においてＹＥＳ）には、次に、関連データとして登録する（ステップＳ３４）。そして、ステップＳ３８に進む。
【０１３１】
一方、ステップＳ３２において、投影画像との関連性が無いと判断された場合（ステップＳ３２においてＮＯ）には、他の手書きパーツとの位置依存が有るかどうかを判断する（ステップＳ４２）。
【０１３２】
具体的には、手書きパーツＩＤに登録されている他の手書きパーツの位置座標データを確認して、選択された手書きパーツに隣接する手書きパーツＩＤが存在するかどうかを判断する。例えば、選択された手書きパーツＩＤに対応する位置座標データの左上座標と、右下座標であるパラメータ値に対してオフセット値を設けて矩形領域を拡大した場合に当該拡大した矩形領域内に他の手書きパーツの位置座標データにより規定される矩形領域の一部が含まれるかどうかを判断する。含まれるならば隣接する手書きパーツＩＤが存在すると判断する。一方、含まれないならば隣接する手書きパーツＩＤは存在しないと判断する。
【０１３３】
なお、オフセット値は、隣接する手書きパーツを判断するのに適当な値に設定されるものとする。また、本例においては、オフセット値を設ける場合について説明したがオフセット値を０として判断しても良い。また、他の方式に基づいて隣接する手書きパーツＩＤを判断するようにしても良い。
【０１３４】
そして、他の手書きパーツとの位置依存が有ると判断された場合には、位置依存有りの通常データとして登録する（ステップＳ４４）。具体的には、通常データとして登録するとともに、位置依存が有ると判断される他の隣接する手書きパーツＩＤを依存する手書きパーツＩＤデータとして登録する。そして、ステップＳ３８に進む。
【０１３５】
一方、ステップＳ４２において、他の手書きパーツとの位置依存が無いと判断された場合には、位置依存無しの通常データとして登録する（ステップＳ４６）。具体的には、通常データとして登録するとともに、位置依存は無いため依存する手書きパーツＩＤデータについては何も登録しない。そして、ステップＳ３８に進む。
【０１３６】
ステップＳ３８において、全ての手書きパーツの選択が有ったかどうかを判断する。
ステップＳ３８において、全ての手書きパーツの選択が無い場合には、ステップＳ３０に戻る。そして、再び、手書きパーツを選択して同様の処理を繰り返し、全ての手書きパーツの選択が有ったと判断された場合には（ステップＳ３８においてＹＥＳ）には、処理を終了する（リターン）。
【０１３７】
たとえば、上記の図１１の手書きパーツテーブルに登録された手書きパーツについて説明する。
【０１３８】
手書きパーツＩＤ「００１」に対応する手書きパーツ２２２は、上述したように投影ページデータ（撮像投影データ）と重なる位置に配置されているため関連データとして登録される。
【０１３９】
手書きパーツＩＤ「００２」に対応する手書きパーツ２２４は、上述したように投影ページデータ（撮像投影データ）と重なる位置に配置されていない。
【０１４０】
一方、手書きパーツＩＤ「００２」に対応する手書きパーツは、他の手書きパーツＩＤ「００１」，「００３」にそれぞれ対応する手書きパーツと位置依存があると判断され、登録されるものとする。
【０１４１】
また、手書きパーツＩＤ「００３」に対応する手書きパーツ２２６は、上述したように投影ページデータ（撮像投影データ）と重なる位置に配置されていない。
【０１４２】
一方、手書きパーツＩＤ「００３」に対応する手書きパーツは、他の手書きパーツＩＤ「００２」に対応する手書きパーツと位置依存があると判断され、登録されるものとする。
【０１４３】
図１３を用いて本発明の実施の形態に従う別の手書きパーツテーブルを説明する。
図１３を参照して、ここでは、図１１の手書きパーツテーブルと比較して、他の関連／通常データを示すデータおよび依存ＩＤの欄にデータが登録された場合が示されている。
【０１４４】
具体的には、１ページ目に関して、手書きパーツＩＤ「００１」に対応する手書きパーツ２２２について、関連データとして登録されている場合が示されている。
【０１４５】
また、手書きパーツＩＤ「００２」に対応する手書きパーツ２２４について、通常データとして登録されるとともに、手書きパーツＩＤ「００１」，「００３」と位置依存があるとして登録されている場合が示されている。
【０１４６】
また、手書きパーツＩＤ「００３」に対応する手書きパーツ２２６について、通常データとして登録されるとともに、手書きパーツＩＤ「００２」と位置依存があるとして登録されている場合が示されている。
【０１４７】
また、本例においては、上記した分離された手書きパーツ２４２に対応して手書きパーツが発行される場合が示されている。具体的には、手書きパーツ２４２に対応して、手書きパーツＩＤ「００４」が発行され、属性「文字」、関連ページ「２」、位置「（Ｘ７，Ｙ７），（Ｘ８，Ｙ８）」が登録されている場合が示されている。
【０１４８】
具体的には、２ページ目に関して、手書きパーツＩＤ「００４」に対応する手書きパーツ２４２について、通常データとして登録されているとともに、他の手書きパーツの位置依存はないとして登録されている場合が示されている。
【０１４９】
（手書き文字合成処理）
次に、手書き文字合成処理について説明する。
【０１５０】
図１４を用いて手書き文字合成処理について説明する。
図１４を参照して、まず、投影画像および手書き画像の読み込み処理を実行する（ステップＳ５０）。
【０１５１】
具体的には、投影画像である投影ページデータおよび分離した手書き画像の読み込み処理を実行する。
【０１５２】
そして、次に、縮小率を設定する（ステップＳ５２）。
具体的には、撮像データの範囲を投影ページデータ（撮像投影データ）の範囲と一致させるために縮小する縮小率を設定する。
【０１５３】
次に、手書きパーツテーブルの確認処理を実行する（ステップＳ５４）。
次に手書きパーツを選択する（ステップＳ５６）。
【０１５４】
そして、関連データかどうかを判断する（ステップＳ５８）。具体的には、手書きパーツテーブルに登録された関連データか通常データかのデータに基づいて判断することが可能である。
【０１５５】
ステップＳ５８において関連データである場合には、投影画像と関連付けて位置を設定する（ステップＳ６０）。
【０１５６】
具体的には、投影ページデータ（撮像投影データ）との位置関係を維持するような位置に設定する。
【０１５７】
そして、全ての手書きパーツの位置を設定したかどうかを判断する（ステップＳ６２）。
【０１５８】
具体的には、手書きパーツテーブルに登録されている手書きパーツの位置が全て設定されたかどうかを判断する。
【０１５９】
ステップＳ６２において、全ての手書きパーツの位置を設定していないと判断した場合（ステップＳ６２においてＮＯ）には、再びステップＳ５６に戻り、別の手書きパーツを選択する。
【０１６０】
一方、ステップＳ５８において、選択された手書きパーツが関連データでないと判断した場合（ステップＳ５８においてＮＯ）には、位置依存が有るかどうかを判断する（ステップＳ６４）。
【０１６１】
具体的には、選択された手書きパーツが通常データである場合には、依存する手書きパーツＩＤデータの欄に登録された手書きパーツＩＤが存在するかどうかで判断することが可能である。
【０１６２】
そして、ステップＳ６４において、位置依存が有ると判断された場合（ステップＳ６４においてＹＥＳ）には、依存する手書きパーツの位置設定が有るかどうかを判断する（ステップＳ６６）。
【０１６３】
具体的には、依存する手書きパーツの位置が既に設定されているかどうかを判断する。
ステップＳ６６において、依存する手書きパーツの位置設定が有ると判断された場合（ステップＳ６６においてＹＥＳ）には、次に、設定されている縮小率に従って手書きパーツを縮小する（ステップＳ６８）。
【０１６４】
そして、次に、依存する手書きパーツとの相対関係を維持して仮位置を設定する（ステップＳ７０）。
【０１６５】
具体的には、依存する手書きパーツを配置する位置を基準とした場合において、手書きパーツテーブルに登録されている位置座標データに基づいて、手書きパーツとの距離が設定された縮小率で縮小される位置を仮位置に設定する。
【０１６６】
そして、次に、配置が可能であるかどうかを判断する（ステップＳ７２）。具体的には、仮位置に設定された手書きパーツに関して、投影ページデータ（撮像投影データ）と重なる位置に配置されるか、あるいは、投影ページデータ（撮像投影データ）のサイズ内であるかどうかを判断する。投影ページデータ（撮像投影データ）と重なる位置に手書きパーツが配置される、あるいは、仮位置が投影ページデータ（撮像投影データ）のサイズ外である場合には、配置が可能でないと判断する。一方、仮位置が投影ページデータ（撮像投影データ）のサイズ内であり、かつ、投影ページデータ（撮像投影データ）と重なる位置に手書きパーツが配置されない場合には、配置が可能であると判断する。
【０１６７】
ステップＳ７２において、配置が可能であると判断された場合には、位置を設定する（ステップＳ７４）。
【０１６８】
すなわち、ステップＳ７０で設定された仮位置の位置に設定する。
そして、再び、ステップＳ６２に進む。
【０１６９】
一方、ステップＳ７２において、配置が可能でないと判断される場合には（ステップＳ７２においてＮＯ）、次に、アイコンを位置設定する（ステップＳ７６）。そして、再び、ステップＳ６２に進む。
【０１７０】
なお、アイコンの位置設定としては、仮位置の位置に設定するものとする。仮に、投影ページデータ（撮像投影データ）と重なるような場合には、その周辺の空きスペースの位置に設定するものとする。
【０１７１】
一方、ステップＳ６６において、依存する手書きパーツの位置設定が無いと判断された場合（ステップＳ６６においてＮＯ）には、ステップＳ６２に進み、そして、再び、ステップＳ５６に戻って他の手書きパーツの選択を実行するものとする。
【０１７２】
すなわち、依存する手書きパーツの位置設定が無い場合には、他の手書きパーツの位置設定を優先させて、依存する手書きパーツの位置設定を確定してから再度、位置を設定するものとする。
【０１７３】
一方、ステップＳ６４において、位置依存が無いと判断された場合（ステップＳ６４においてＮＯ）には、設定されている縮小率に従って手書きパーツを縮小する（ステップＳ８０）。
【０１７４】
次に、空きスペースを確認する（ステップＳ８２）。
具体的には、投影ページデータ（撮像投影データ）の全体のサイズ内において、空きスペース領域が存在するかどうかを判断する。空きスペース領域は、所定の大きさ以上の領域であるものとする。
【０１７５】
そして、次に、投影ページデータ（撮像投影データ）の全体のサイズ内において、空きスペース領域に手書きパーツを配置可能であるかどうかを判断する（ステップＳ８４）。
【０１７６】
そして、空きスペース領域に手書きパーツを配置可能であると判断した場合（ステップＳ８４においてＹＥＳ）には、空きスペース領域に手書きパーツの位置を設定する（ステップＳ８６）。
【０１７７】
一方、ステップＳ８４において、空きスペース領域に配置可能でないと判断した場合（ステップＳ８４においてＮＯ）には、アイコンを空きスペース領域に位置設定する。
【０１７８】
そして、ステップＳ６２に進む。
そして、ステップＳ６２において、全ての手書きパーツの位置が設定されたと判断した場合（ステップＳ６２においてＹＥＳ）には、ステップＳ６３において、投影ページデータに対して手書きパーツの位置を設定した合成処理を実行する（ステップＳ６３）。
【０１７９】
具体的な、合成処理の一例としては、投影画像である投影ページデータをメモリ領域（第１のレイヤ）に展開し、そして、手書きパーツ等に関して、図４（Ｄ）に示される加工入力データとして、投影ページデータが展開されたメモリ領域と同一のサイズの別のメモリ領域（第２のレイヤ）の設定された位置に展開し、２つのメモリ領域（第１および第２のレイヤ）に展開されたデータを重ね合わせることにより合成するものとする。そして、処理を終了する（リターン）。
【０１８０】
たとえば、上記の図１３の手書きパーツテーブルに登録された手書きパーツについて説明する。
【０１８１】
本例においては、１ページに対応付けられている手書きパーツについて説明する。
手書きパーツＩＤ「００１」に対応する手書きパーツ２２２は、関連データとして登録されているため、投影画像と関連づけて位置が設定される。すなわち、投影ページデータ（撮像投影データ）と関連する手書きパーツであるため投影ページデータ（撮像投影データ）内の「権」との位置関係を維持するように配置される。本例においては、一例として手書きパーツ２２２は、縮小されることなく、そのまま「権」と重なる位置関係を維持して配置される。
【０１８２】
手書きパーツＩＤ「００２」に対応する手書きパーツ２２４は、関連データではなく、通常データとして登録されるとともに、手書きパーツＩＤ「００１」，「００３」と位置依存があるとして登録されているため、例えば、手書きパーツＩＤ「００１」について、配置位置が設定されているものとすると、設定された縮小率で手書きパーツ２２４を縮小する。そして、手書きパーツＩＤ「００１」に対応する手書きパーツとの相対的な位置関係を維持した仮位置に設定する。
【０１８３】
具体的には、手書きパーツＩＤ「００１」に対応する手書きパーツを配置する位置を基準として、手書きパーツテーブルに登録されている位置座標データに基づいて、手書きパーツＩＤ「００１」に対応する手書きパーツと手書きパーツＩＤ「００２」に対応する手書きパーツとの距離が設定された縮小率で縮小する位置を仮位置に設定する。
【０１８４】
そして、仮位置に当該手書きパーツを配置可能であるかどうかを判断して、手書きパーツを配置可能であると判断した場合には、当該手書きパーツの位置を設定する。
【０１８５】
本例においては、配置可能であると判断するものとする。
また、手書きパーツＩＤ「００３」に対応する手書きパーツ２２６は、関連データではなく、通常データとして登録されるとともに、手書きパーツＩＤ「００２」と位置依存があるとして登録されているため、例えば、手書きパーツＩＤ「００２」について、配置位置が設定されているものとすると、設定された縮小率で手書きパーツ２２６を縮小する。そして、手書きパーツＩＤ「００２」に対応する手書きパーツとの相対的な関係を維持した仮位置に設定する。
【０１８６】
具体的には、手書きパーツＩＤ「００２」に対応する手書きパーツを配置する位置を基準として、手書きパーツテーブルに登録されている位置座標データに基づいて、手書きパーツＩＤ「００２」に対応する手書きパーツと手書きパーツＩＤ「００３」に対応する手書きパーツとの距離が設定された縮小率で縮小する位置を仮位置に設定する。
【０１８７】
そして、仮位置に当該手書きパーツを配置可能であるかどうかを判断して、手書きパーツを配置可能であると判断した場合には、当該手書きパーツの位置を設定する。
【０１８８】
本例においては、配置可能であると判断するものとする。
そして、上記処理に従って、位置設定された手書きパーツを合成処理することにより、図４（Ｅ）で説明した合成データを生成することが可能となる。
【０１８９】
次に、上記の図１３の手書きパーツテーブルに登録された別の手書きパーツについて説明する。
【０１９０】
本例においては、２ページに対応付けられている手書きパーツについて説明する。
手書きパーツＩＤ「００４」に対応する手書きパーツ２４２は、通常データとして登録されているとともに、位置依存は無いとして登録されているため、設定された縮小率で手書きパーツ２４２を縮小する。そして、空きスペースを確認して、空きスペースに配置する。
【０１９１】
具体的には、空きスペースを確認して、配置が可能であるかどうかを判断して、手書きパーツを配置可能であると判断した場合には、当該手書きパーツの位置を設定する。
【０１９２】
一方、空きスペースを確認して、配置が可能でないと判断した場合には、アイコンを空きスペースに配置する。
【０１９３】
そして、上記処理に従って、位置設定された手書きパーツを合成処理することにより、図７（Ａ）で説明した合成データを生成することが可能となる。
【０１９４】
すなわち、上述したように、当該合成方式により、ホワイトボード等の被投影体に投影画像が表示されている場合において、入力された画像を撮像して投影ページデータと合成する場合に、投影ページデータと関連性がある場合には、関連付けて配置して合成するとともに、関連性が無い場合には、空きスペースに配置して合成することにより、合成した投影ページデータの判読性を維持することが可能である。
【０１９５】
また、投影ページデータの空白領域である所定領域に書込入力したデータを配置することができない場合には、コメントデータを表示可能なアイコンを合成することが可能であるため、上述したようにアイコン合成した投影ページデータの判読性を維持することが可能である。
【０１９６】
（実施の形態２）
上記の実施の形態１においては、書込入力したデータを投影ページデータと合成する方式について説明した。
【０１９７】
本実施の形態２においては、さらに、書込入力したデータ内容に基づいて、投影ページデータに対して、別紙として表示あるいは印刷可能な投影ページデータを追加（合成）する方式について説明する。
【０１９８】
具体的には、一例として、ホワイトボード５に書込入力する内容としては、投影ページデータを投影する会議等の開催日時や、参加者等の情報等がある。当該情報は、投影ページデータを投影する会議等全体に関連する情報であり、最初の先頭の投影ページデータが投影された際にホワイトボード５に書込入力された場合には、次の投影ページデータが投影された際にも消去されずにそのままの状態が維持されることも多い。
【０１９９】
一方で、当該情報は、投影ページデータを投影する会議等全体に関連する情報であるが、投影ページデータそのものと直接的な関係性は薄いと考えられる。したがって、各投影ページデータにおいて、必ずしも当該情報を合成する必要は無く、また、合成した場合には、かえって投影ページデータの判読性に影響を与える可能性もある。
【０２００】
そこで、本実施の形態２においては、最初から書込入力され、複数の撮像投影データに同一の画像データが含まれるような場合には、当該画像データは、投影ページデータを投影する会議等全体に関連する関連データとして、先頭の投影ページデータとして追加する。
【０２０１】
また、最終に書込入力された画像データは、投影ページデータを投影する会議等の今後の予定あるいは打合せ事項等、会議等全体に関連する関連データとして、最終の投影ページデータとして追加する。
【０２０２】
図１５を用いて、本発明の実施の形態２に従うカメラ２０で取得したホワイトボード５に表示された画像を撮像した撮像データについて説明する。
【０２０３】
図１５（Ａ）を参照して、ここでは、撮像データ３００内に、撮像投影データ４００が含まれている場合が示されている。
【０２０４】
ここで、撮像投影データ４００は、１ページ目の投影ページデータを撮像したものである。
【０２０５】
そして、図１５（Ａ）に示されるように、ホワイトボード５に書込入力してカメラ２０で取得した「２００８／１１／２７」、「１９：００〜」、「出席者」、「Ａ、Ｂ、Ｃ、・・」の画像データ３０４が示されている。当該画像データが、投影ページデータを投影する会議等の開催日時や、参加者等の情報等である。
【０２０６】
図１５（Ｂ）を参照して、ここでは、撮像データ３１０内に、撮像投影データ４０２が含まれている場合が示されている。
【０２０７】
ここで、撮像投影データ４０２は、２ページ目の投影ページデータを撮像したものである。
【０２０８】
そして、図１５（Ｂ）に示されるように、図１５（Ａ）と同様に、ホワイトボード５に書込入力してカメラ２０で取得した「２００８／１１／２７」、「１９：００〜」、「出席者」、「Ａ、Ｂ、Ｃ、・・」の画像データ３０４も示されている。以降の撮像データについても同様に、当該画像データ３０４が含まれる。
【０２０９】
図１５（Ｃ）を参照して、ここでは、撮像データ３２０内に、撮像投影データ４０４が含まれている場合が示されている。
【０２１０】
また、新たにホワイトボード５に書込入力してカメラ２０で取得した画像データ３０６が示されている。
【０２１１】
図１５（Ｄ）を参照して、ここでは、撮像データ３３０内に、撮像投影データ４０６が含まれている場合が示されている。
【０２１２】
図１５（Ｅ）を参照して、ここでは、撮像データ３４０内に、撮像投影データ４０８が含まれている場合が示されている。
【０２１３】
また、新たにホワイトボード５に書込入力してカメラ２０で取得した画像データ３０８が示されている。
【０２１４】
したがって、画像データ３０４は、最初のページに対応する撮像データ３００から最終のページに対応する撮像データ３４０まで含まれている場合が示されている。
【０２１５】
また、画像データ３０８は、最終のページに対応する撮像データ３４０のみに含まれている場合が示されている。
【０２１６】
図１６を用いて、本発明の実施の形態２に従う撮像データに基づく合成処理について説明する。
【０２１７】
本発明の実施の形態２においては、撮像データの書込入力したデータ内容に基づいて、投影ページデータに対して、投影ページデータを追加（合成）する。
【０２１８】
具体的には、議題の日時や、参加者等の情報等、最初から書込入力され、複数の撮像投影データに同一の画像データが含まれるような場合には、当該画像データは、投影ページデータを投影する会議等全体に関連する関連データとして、先頭の投影ページデータとして追加する。
【０２１９】
また、最終に書込入力された画像データは、投影ページデータを投影する会議等の今後の予定あるいは打合せ事項等、投影ページデータを投影する会議等全体に関連する関連データとして、最終の投影ページデータとして追加する。
【０２２０】
図１６（Ａ）を参照して、ここでは、合成データとして、先頭の投影ページデータが追加された場合が示されている。
【０２２１】
具体的には、図１５（Ａ）〜（Ｅ）で説明したように複数の同一の画像データ３０４が撮像データ３００〜３４０に含まれており、画像データ３０４は、最初の撮像データ３００から含まれているため、投影ページデータを投影する会議等全体に関連する関連データとして、投影ページデータ５００として投影ページデータに追加した場合が示されている。なお、ここで、画像データ３０４は、投影ページデータと同一のサイズの大きさとなるように拡大されて合成された場合が示されている。なお、この場合、投影ページデータにおいて、投影ページデータ５００は、１ページ目となる。
【０２２２】
図１６（Ｂ）を参照して、ここでは、撮像投影データ４００と同じ投影ページデータ５０２が示されている。当該投影ページデータは、投影ページデータにおいて、２ページ目となる。
【０２２３】
図１６（Ｃ）を参照して、ここでは、撮像投影データ４０２と同じ投影ページデータ５０４が示されている。当該投影ページデータは、投影ページデータにおいて、３ページ目となる。
【０２２４】
図１６（Ｄ）を参照して、ここでは、投影ページデータ（撮像投影データ４０４）と画像データ３０６とを実施の形態１に従う方式により合成した投影ページデータ５０６が示されている。当該投影ページデータは、投影ページデータにおいて、４ページ目となる。
【０２２５】
図１６（Ｅ）を参照して、ここでは、撮像投影データ４０６と同じ投影ページデータ５０８が示されている。当該投影ページデータは、投影ページデータにおいて、５ページ目となる。
【０２２６】
図１６（Ｆ）を参照して、ここでは、撮像投影データ４０８と同じ投影ページデータ５１０が示されている。当該投影ページデータは、投影ページデータにおいて、６ページ目となる。
【０２２７】
図１６（Ｇ）を参照して、ここでは、合成データとして、最終の投影ページデータが追加された場合が示されている。
【０２２８】
具体的には、図１５（Ｅ）で説明したように、画像データ３０８は、最終の撮像データ３４０に含まれているため、投影ページデータを投影する会議等全体に関連する関連データとして、投影ページデータ５１２として投影ページデータに追加した場合が示されている。なお、ここで、画像データ３０８は、投影ページデータと同一のサイズの大きさとなるように拡大されて合成された場合が示されている。当該投影ページデータは、投影ページデータにおいて、７ページ目となる。
【０２２９】
以下、上記の合成方式を実行するフローについて説明する。
図１７を用いて、本発明の実施の形態２に従う合成方式の全体のフローについて説明する。
【０２３０】
図１７を参照して、図８のフローと比較して異なる点は、ステップＳ６とステップＳ７との間ににおいて、関連データ合成処理（ステップＳ１０）をさらに設けた点が異なる。その他の点については、同様である。
【０２３１】
図１８を用いて、本発明の実施の形態２に従う関連データ合成処理のサブルーチン処理について説明する。
【０２３２】
図１８を参照して、まず、手書き画像を確認する処理を実行する（ステップＳ１００）。具体的には、ステップＳ６における手書き文字抽出処理により抽出された手書き画像について確認する。手書き文字抽出処理の結果として、投影データが複数の投影ページデータで構成される場合においては、各投影ページデータに対応して入力された撮像データ（表示画像データ）について、撮像投影データ（投影ページデータと同じ）以外のデータを抽出して、分離した撮像分離データ（手書き画像のみ）がＨＤＤ１０４に格納されている。したがって、当該複数の投影ページデータにそれぞれ対応する複数の撮像分離データを参照する。
【０２３３】
そして、同一の手書き画像が有るかどうかを判断する（ステップＳ１０２）。
具体的には、複数の撮像分離データの少なくとも２つ以上に同一の画像データ（手書き画像）が有るかどうかを判断する。
【０２３４】
そして、同一の手書き画像が有ると判断した場合（ステップＳ１０２においてＹＥＳ）には、同一の画像データ（手書き画像）が最初のページに対応して存在するかどうかを判断する（ステップＳ１０４）。
【０２３５】
そして、ステップＳ１０４において、最初のページに対応して存在すると判断した場合（ステップＳ１０４においてＹＥＳ）には、同一の画像データ（手書き画像）の抽出処理を実行する（ステップＳ１０６）。
【０２３６】
具体的には、複数の撮像分離データに含まれている同一の画像データを抽出する。
そして、先頭の別紙となる投影ページデータ（すなわち、投影データにおいて最初のページとなる）として、抽出した画像データ（手書き画像）の合成（追加）処理を実行する（ステップＳ１０８）。具体的には、画像データのサイズが投影ページデータと同一のサイズの大きさとなるように拡大して、当該拡大した画像データを先頭の投影ページデータとして投影データに合成（追加）する。
【０２３７】
そして、手書き画像を更新する処理を実行する（ステップＳ１１０）。具体的には、複数の撮像分離データから抽出した同一の画像データを削除して、当該削除した画像データを複数の撮像分離データとして更新して、ＨＤＤ１０４に保存する。
【０２３８】
そして、処理を終了する（リターン）。
したがって、当該処理により、投影データに先頭の投影ページデータを合成（追加）することが可能となる。
【０２３９】
図１５で説明した例について考えると、図１５（Ａ）〜（Ｅ）で説明したように、「２００８／１１／２７」、「１９：００〜」、「出席者」、「Ａ、Ｂ、Ｃ、・・」の画像データ３０４が各投影ページデータに対応する撮像データにそれぞれ含まれている。
【０２４０】
また、当該画像データ３０４は、最初のページに対応して存在している。
したがって、図１６（Ａ）に示されるように、画像データ３０４が抽出され、投影ページデータと同一のサイズの大きさとなるように拡大されて、当該拡大した画像データが先頭の投影ページデータとして投影データに合成（追加）される。
【０２４１】
なお、本例においては、ステップＳ１０４において、同一の画像データが最初のページに対応して存在しているかどうかを判断する場合について説明したが、最初のページに対応して存在していなくても、例えば、全体の総ページ数のうちの前半部分にあれば、同様の処理を実行するようにしても良い。
【０２４２】
図１９を用いて、本発明の実施の形態２に従う関連データ合成処理の別のサブルーチン処理について説明する。
【０２４３】
図１９を参照して、まず、手書き画像を確認する処理を実行する（ステップＳ１１２）。具体的には、上記の図１８の処理を実行した後のＨＤＤ１０４に格納された更新された複数の撮像分離データを参照する。
【０２４４】
そして、手書き画像が最終のページにのみ対応して存在するかどうかを判断する（ステップＳ１１４）。すなわち、複数の撮像分離データの中に同一の画像データが他のページに対応して存在せず、最終のページに対応してのみ存在しているかどうかを判断する。
【０２４５】
ステップＳ１１４において、最終のページにのみ対応して存在すると判断した場合（ステップＳ１１４においてＹＥＳ）には、最終のページに対応して存在する画像データ（手書き画像）の抽出処理を実行する（ステップＳ１１６）。
【０２４６】
そして、最終の別紙となる投影ページデータ（すなわち、投影データにおいて最終のページとなる）として、抽出した画像データ（手書き画像）の合成（追加）処理を実行する（ステップＳ１１８）。具体的には、画像データのサイズが投影ページデータと同一のサイズの大きさとなるように拡大して、当該拡大した画像データを最終の投影ページデータとして投影データに合成（追加）する。
【０２４７】
そして、次に、手書き画像を更新する処理を実行する（ステップＳ１１０）。具体的には、当該抽出した画像データを削除して、撮像分離データを更新して、ＨＤＤ１０４に保存する。
【０２４８】
そして、処理を終了する（リターン）。
したがって、当該処理により、投影データに最終の投影ページデータを合成（追加）することが可能となる。
【０２４９】
図１５で説明した例について考えると、図１５（Ｅ）で説明したように、「Ｂチーム」、「Ａ−１  納期１２／２８」、「Ｃチーム」、「出願せず」の画像データ３０８が最終の投影ページデータに対応する撮像データにのみ存在している。
【０２５０】
したがって、図１６（Ｇ）に示されるように、画像データ３０８が抽出され、投影ページデータと同一のサイズの大きさとなるように拡大されて、当該拡大した画像データが最終の投影ページデータとして投影データに合成（追加）される。
【０２５１】
そして、上記の更新された撮像分離データについて、実施の形態１で説明したのと同様の手書き属性判断処理、手書き文字合成処理が実行される。当該処理については、実施の形態１で説明したのと同様であるのでその詳細な説明は繰り返さない。
【０２５２】
すなわち、例えば、図１５（Ｃ）で示される画像データ３０６は、図１６（Ｄ）で示されるように投影ページデータと合成される。
【０２５３】
したがって、書込入力したデータ内容に基づいて、投影データに対して、別紙として表示あるいは印刷可能な投影ページデータを追加（合成）することにより、投影ページデータの判読性を向上させることが可能である。
【０２５４】
なお、本例においては、ステップＳ１１４において、画像データが最後のページにのみ対応して存在しているかどうかを判断する場合について説明したが、特にこれに限られず、例えば、全体の総ページ数のうちの後半部分に複数の同一の画像データがあれば、同様の処理を実行するようにしても良い。
【０２５５】
なお、本例においては、上記において、ホワイトボード５上に直接、手書き入力した文字、図形等の画像データを合成する場合について説明したが、特に、手書き入力した画像データを合成する場合に限られず、例えば、ホワイトボード５上に張付けた写真、紙等をカメラ２０により撮像して画像データを取得し、当該画像データを合成するようにしても良い。
【０２５６】
また、ホワイトボード５上に張付けた写真等でなくても、例えば、別の投影装置から投影された画像をカメラ２０により撮像して画像データを取得し、当該画像データを合成するようにしても良い。
【０２５７】
（実施の形態３）
上記の実施の形態１においては、被投影体に表示された書込入力したデータを投影ページデータと合成する方式について説明した。
【０２５８】
本実施の形態３においては、被投影体とは別の例えばホワイトボード等の表示体に書込入力したデータを投影ページデータと合成する方式について説明する。
【０２５９】
図２０を参照して、本発明の実施の形態３に従う情報処理システム１＃においては、投影装置であるプロジェクタ１０から投影される投影画像（投影画像）を表示するための被投影体であるスクリーン６が設けられ、書込入力等が可能な表示体であるホワイトボード７とがそれぞれ別々に設けられる。そして、カメラ２０は、表示体であるホワイトボード７に表示された画像を撮像した撮像データ（表示画像データ）を取得するものとする。その他の点については、図１で説明したのと同様であるのでその詳細な説明は繰り返さない。
【０２６０】
次に、本実施の形態３に従う情報処理システムにおける投影データと、入力した表示画像データとの合成処理の流れについて説明する。
【０２６１】
具体的には、複数の投影ページデータで構成される投影データについて、各投影ページデータと、各投影ページデータに対応して入力される表示画像データとを合成処理する。
【０２６２】
本実施の形態３に従う情報処理システムにおける合成処理方式としては、各投影ページデータに対応して入力される表示画像データについて、各投影ページデータの空白領域である所定領域に配置して合成する。
【０２６３】
また、合成する際に、投影ページデータの空白領域である所定領域に配置することができないサイズである場合には、アイコンを配置して合成する。
【０２６４】
以下、上記の合成方式を実行するフローについて説明する。
図２１を用いて、本発明の実施の形態３に従う合成方式の全体のフローについて説明する。
【０２６５】
図２１を参照して、まず、撮影要求が有るかどうかを判断する（ステップＳ１）。本例においては、投影ページデータを切り替える際に、ユーザからの切り替え指示の入力に従ってＰＣ２５は、カメラ２０に対してホワイトボード７に表示された画像を撮像するように指示する。なお、本例においては、初期状態として、ホワイトボード７に書込がなされる前の画像も撮像する必要があるため投影装置であるプロジェクタ１０から被投影体であるスクリーン６に対して最初の投影ページデータを投影した際において、当該指示の入力に従ってＰＣ２５は、カメラ２０に対して画像を撮像するように指示する。これにより、ホワイトボード７に対して書込がなされるまえの初期状態の撮像データ（初期表示画像データ）を取得する。そして、最終の投影ページデータを終了する際においても、当該指示の入力に従ってＰＣ２５は、カメラ２０に対して画像を撮像するように指示する。
【０２６６】
そして、撮影要求が有る場合には、画像を取得する（ステップＳ２）。具体的には、カメラ２０は、ＰＣ２５からの撮像要求に従って、ホワイトボード７に表示された画像を撮像した撮像データ（表示画像データ）を取得する。
【０２６７】
そして、取得された撮像データ（表示画像データ）と、投影ページデータとをＭＦＰ１５に出力する（ステップＳ３）。
【０２６８】
そして、ＭＦＰ１５において、当該撮像データ（表示画像データ）と投影ページデータとをＲＡＭ１０３あるいはＨＤＤ１０４に格納する（ステップＳ４）。
【０２６９】
そして、次に、ＭＦＰ１５において、全ての投影ページデータに対応する撮像データを取得したかどうかを判断する（ステップＳ５）。ステップＳ５において、取得が完了していない場合には、ステップＳ１に戻り、全ての投影ページデータに対応する撮像データの取得が完了するまで同様の処理を繰り替えす。
【０２７０】
そして、ステップＳ５において、取得が完了した場合には、次に、ステップＳ６に進む。
【０２７１】
これにより、ＭＦＰ１５において、画像合成処理を実行する準備が整い、ＣＰＵ１０１が所定のアプリケーションを実行することによりソフト的に以下の処理を実行する。
【０２７２】
なお、以下の処理は、本例においては、各投影ページデータに対してそれぞれ実行するものとする。
【０２７３】
具体的には、まず、手書き文字抽出処理を実行する（ステップＳ６＃）。
次に、抽出した手書き文字について手書き文字の属性を判断する手書き属性判断処理を実行する（ステップＳ７＃）。
【０２７４】
そして、次に手書き文字を合成する手書き文字合成処理を実行する（ステップＳ８＃）。そして、処理を終了する（エンド）。
【０２７５】
（手書き文字抽出処理）
図２２を用いて、本発明の実施の形態３に従う手書き抽出処理のサブルーチン処理について説明する。
【０２７６】
まず画像比較処理を実行する（ステップＳ１２＃）。
具体的には、ホワイトボード７に書込がなされる前の画像を撮像した初期表示画像データと、例えば１ページ目に対応して取得した撮像データ（表示画像データ）とを比較して、一致するかどうかを判断する。また、１ページ目に対応する取得した撮像データを初期表示画像データとして、２ページ目に対応する取得した撮像データ（表示画像データ）とを比較して、一致するかどうかを判断する。以下のページについても同様に実行するものとする。
【０２７７】
そして、書込入力が有るかどうかを判断する（ステップＳ１４＃）。具体的には、初期表示画像データと比較して、初期表示画像データから変更されたデータがあるかどうかを判断する。初期表示画像データは、初期状態として、ホワイトボード７に書込がなされる前の画像を撮像をしたデータ、あるいは、前のページ目に対応する取得した撮像データに対応する。
【０２７８】
したがって、比較に基づいて、変更されたデータが有ると判断した場合には、書込入力が有ると判断され、無い場合には、書込入力が無いと判断される。
【０２７９】
ステップＳ１４＃において、書込入力が無いと判断される場合（ステップＳ１４＃においてＮＯ）には、処理を終了する（リターン）。この場合には、画像合成処理を実行する必要が無いからである。
【０２８０】
一方、ステップＳ１４＃において、書込入力が有ると判断される場合（ステップＳ１４においてＹＥＳ）には、手書き画像分離処理を実行する（ステップＳ１６＃）。
【０２８１】
具体的には、取得した撮像データについて、初期表示画像データ以外のデータを抽出する。すなわち、今回、新たに書込入力された画像データを撮像分離データ２０２として取得する。
【０２８２】
そして、保存する（ステップＳ１８＃）。具体的には、ＨＤＤ１０４に保存する。
そして、処理を終了する（リターン）。
【０２８３】
なお、当該処理を投影ページデータ毎に実行するものとする。
したがって、本例により、例えば、ホワイトボード７上に書込入力した手書き入力画像は消さなくても前回の投影ページデータに対応する画像データ（初期表示画像データ）として判断されるため、新たに書込入力した画像データとはならず、今回、新たに書込入力した画像データのみが撮像分離データとして取得されることになる。
【０２８４】
（手書き属性判断処理）
次に、手書き属性判断処理について説明する。
【０２８５】
図２３を用いて手書き属性判断処理のサブルーチン処理について説明する。
図２３を参照して、図１０で説明した手書き属性判断処理と比較して、手書きパーツ解析処理が実行されない点が異なる。その他の点については同様である。本サブルーチン処理においては、手書きパーツの属性、関連ページ、位置等の手書きパーツテーブルが作成される。
【０２８６】
具体的には、まず、手書き画像読み込み処理を実行（ステップＳ２０）し、上記の手書き画像分離処理により分離された手書き画像のデータをＨＤＤ１０４から取得する。そして、手書きパーツに分離（ステップＳ２２）し、そして、次に、分離された手書きパーツをそれぞれ手書きパーツテーブルに格納（ステップＳ２３）する。そして、処理を終了する（リターン）。
【０２８７】
図２４を用いて本発明の実施の形態３に従う手書きパーツテーブルを説明する。
図２４を参照して、ここでは、手書きパーツが手書きパーツテーブルに登録されている場合が示されている。
【０２８８】
具体的には、一例として４つの手書きパーツが登録されている場合が示されている。
本例においては、上記した方式に従って分離された４つの手書きパーツのＩＤ「０１１」〜「０１４」が発行された場合が示されている。一例として、ＩＤ「０１１」に対応して、属性「文字」、関連ページ「１」、位置「（Ｘ１１，Ｙ１１），（Ｘ１２，Ｙ１２）」が登録されている場合が示されている。なお、位置座標データは、左上座標と、右下座標とをパラメータ値として有する矩形領域を示すものである。
【０２８９】
また、ＩＤ「０１２」が発行され、属性「文字」、関連ページ「１」、位置「（Ｘ１３，Ｙ１３），（Ｘ１４，Ｙ１４）」が登録されている場合が示されている。
【０２９０】
また、ＩＤ「０１３」が発行され、属性「文字」、関連ページ「１」、位置「（Ｘ１５，Ｙ１５），（Ｘ１６，Ｙ１６）」が登録されている場合が示されている。
【０２９１】
また、ＩＤ「０１４」が発行され、属性「文字」、関連ページ「２」、位置「（Ｘ１７，Ｙ１７），（Ｘ１８，Ｙ１８）」が登録されている場合が示されている。
【０２９２】
（手書き文字合成処理）
次に、手書き文字合成処理について説明する。
【０２９３】
図２５を用いて本発明の実施の形態３に従う手書き文字合成処理について説明する。
図２５を参照して、まず、投影画像および手書き画像の読み込み処理を実行する（ステップＳ５０）。
【０２９４】
具体的には、投影画像である投影ページデータおよび分離した手書き画像の読み込み処理を実行する。
【０２９５】
そして、次に、縮小率を設定する（ステップＳ５２）。
具体的には、上述したのと同様の方式に従って、撮像データの範囲を投影ページデータの範囲と一致させるために縮小する縮小率を設定する。
【０２９６】
次に、手書きパーツテーブルの確認処理を実行する（ステップＳ５４）。
次に、手書きパーツを選択する（ステップＳ５６）。
【０２９７】
そして、次に、設定されている縮小率に従って手書きパーツを縮小する（ステップＳ１８０）。
【０２９８】
次に、空きスペースを確認する（ステップＳ１８２）。
具体的には、投影ページデータの全体のサイズ内において、空きスペース領域が存在するかどうかを判断する。空きスペース領域は、所定の大きさ以上の領域であるものとする。
【０２９９】
そして、次に、投影ページデータの全体のサイズ内において、空きスペース領域に手書きパーツを配置可能であるかどうかを判断する（ステップＳ１８４）。
【０３００】
そして、空きスペース領域に手書きパーツを配置可能であると判断した場合（ステップＳ１８４においてＹＥＳ）には、空きスペース領域に手書きパーツの位置を設定する（ステップＳ１８６）。
【０３０１】
一方、ステップＳ１８４において、空きスペース領域に配置可能でないと判断した場合（ステップＳ１８４においてＮＯ）には、アイコンを空きスペース領域に位置設定する。
【０３０２】
そして、ステップＳ６２に進む。
そして、ステップＳ６２において、全ての手書きパーツの位置が設定されたと判断した場合（ステップＳ６２においてＹＥＳ）には、ステップＳ６３において、投影ページデータに対して手書きパーツの位置を設定した合成処理を実行する（ステップＳ６３）。
【０３０３】
具体的な、合成処理の一例としては、投影画像である投影ページデータをメモリ領域（第１のレイヤ）に展開し、そして、手書きパーツ等に関して、投影ページデータが展開されたメモリ領域と同一のサイズの別のメモリ領域（第２のレイヤ）の設定された位置に展開し、２つのメモリ領域（第１および第２のレイヤ）に展開されたデータを重ね合わせることにより合成するものとする。そして、処理を終了する（リターン）。
【０３０４】
本方式により、被投影体とは別の例えばホワイトボード等の表示体に書込入力したデータを投影ページデータと合成する場合には、対応する投影ページデータに手書きパーツを空きスペースに配置することが可能となる。
【０３０５】
また、投影ページデータの空白領域である所定領域に書込入力したデータを配置することができない場合であっても、指示することによりコメントデータを表示可能なアイコンを合成することが可能である。
【０３０６】
したがって、例えば、スクリーンに投影画像が表示されている場合において、入力された画像を撮像して投影ページデータと合成する場合に、合成した投影ページデータの判読性を維持することが可能である。
【０３０７】
なお、上述した本発明の情報処理システムを実現するためにコンピュータを機能させて、上述のフローで説明したような制御を実行させるプログラムを提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【０３０８】
なお、コンピュータのオペレーションシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【０３０９】
また、プログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。
【０３１０】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【０３１１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０３１２】
１  情報処理システム、１０  プロジェクタ、１５  ＭＦＰ、２０  カメラ、２５，２６  ＰＣ、３０  ネットワーク、１０１  ＣＰＵ、１０２  ＲＯＭ、１０３  ＲＡＭ、１０４  ＨＤＤ、１０５  操作パネル部、１０６  画像読取部、１０７  印刷部、１０８  ネットワークインタフェース。
【図１】
2011033936.tif 000003
【図２】
2011033936.tif 000004
【図３】
2011033936.tif 000005
【図４】
2011033936.tif 000006
【図５】
2011033936.tif 000007
【図６】
2011033936.tif 000008
【図７】
2011033936.tif 000009
【図８】
2011033936.tif 000010
【図９】
2011033936.tif 000011
【図１０】
2011033936.tif 000012
【図１１】
2011033936.tif 000013
【図１２】
2011033936.tif 000014
【図１３】
2011033936.tif 000015
【図１４】
2011033936.tif 000016
【図１５】
2011033936.tif 000017
【図１６】
2011033936.tif 000018
【図１７】
2011033936.tif 000019
【図１８】
2011033936.tif 000020
【図１９】
2011033936.tif 000021
【図２０】
2011033936.tif 000022
【図２１】
2011033936.tif 000023
【図２２】
2011033936.tif 000024
【図２３】
2011033936.tif 000025
【図２４】
2011033936.tif 000026
【図２５】
2011033936.tif 000027