(57)【要約】【課題】スクリーンの表面に書き残しなどの汚れが在った場合でも、その汚れによる影響を低減した投影補助画像を得る。【解決手段】投影画像ＧＴを投影しない状態におけるスクリーン１４の表面の画像を撮影装置１３で撮影して第１画像Ｇ１を得るステップと、投影画像に対し補助のために付加される付加物をスクリーンを背景としかつ投影画像を投影しない状態で撮影装置で撮影して第２画像Ｇ２を得るステップと、第１画像と第２画像とを比較してその差分を取得し、付加物ＦＢについての画像である付加画像を含む差分画像ＧＳを取得するステップと、差分画像に基づいて投影補助画像ＧＨを取得するステップとを有する。【選択図】図３
2010217760.tif 000002
【特許請求の範囲】
【請求項１】
投影装置からスクリーンに投影される投影画像に対して補助的に用いられる投影補助画像を生成する方法であって、
前記投影画像を投影しない状態における前記スクリーンの表面の画像を撮影装置で撮影して第１画像を得るステップと、
前記投影画像に対し補助のために付加される付加物を前記スクリーンを背景としかつ前記投影画像を投影しない状態で前記撮影装置で撮影して第２画像を得るステップと、
前記第１画像と前記第２画像とを比較してその差分を取得し、前記付加物についての画像である付加画像を含む差分画像を取得するステップと、
前記差分画像に基づいて前記投影補助画像を取得するステップと、
を有することを特徴とする投影補助画像の生成方法。
【請求項２】
前記付加画像について、その濃度を強調するステップを有する、
請求項１記載の投影補助画像の生成方法。
【請求項３】
前記第１画像と前記第２画像とを比較し、濃度に変化のある部分を付加画像領域であると判断し、濃度に変化のない部分を背景画像領域であると判断するステップを有する、
請求項１または２記載の投影補助画像の生成方法。
【請求項４】
前記判断するステップにおいて、前記第２画像が前記第１画像よりも濃度の低下している部分がある場合に、その部分を背景画像領域であると判断する、
請求項３記載の投影補助画像の生成方法。
【請求項５】
前記背景画像領域における最大濃度を取得するステップと、
前記背景画像領域の全体を前記最大濃度によって均一な濃度とした背景画像と前記付加画像とを合成して第４画像を生成するステップと、
前記第４画像を前記投影装置から前記スクリーンに投影した状態で前記撮影装置で撮影して第５画像を得るステップと、
前記第５画像に基づいて前記投影補助画像を取得するステップと、
を有する請求項３または４記載の投影補助画像の生成方法。
【請求項６】
前記各ステップを、前記投影装置および前記撮影装置を制御する画像形成装置によって実行する、
請求項１ないし５のいずれかに記載の投影補助画像の生成方法。
【請求項７】
投影装置および撮影装置を制御することによって、前記投影装置からスクリーンに投影される投影画像に対して補助的に用いられる投影補助画像を生成する装置であって、
前記投影画像を投影しない状態における前記スクリーンの表面の画像を前記撮影装置に撮影させて第１画像を得る手段と、
前記投影画像に対し補助のために付加される付加物を前記スクリーンを背景としかつ前記投影画像を投影しない状態で前記撮影装置に撮影させて第２画像を得る手段と、
前記第１画像と前記第２画像とを比較してその差分を取得し、前記付加物についての画像である付加画像を含む差分画像を取得する手段と、
前記差分画像に基づいて前記投影補助画像を取得する手段と、
を有することを特徴とする投影補助画像の生成装置。
【請求項８】
前記付加画像について、その濃度を強調する手段を有する、
請求項７記載の投影補助画像の生成装置。
【請求項９】
前記第１画像と前記第２画像とを比較し、濃度に変化のある部分を付加画像領域であると判断し、濃度に変化のない部分を背景画像領域であると判断する手段と、
前記付加画像領域の付加画像と前記背景画像領域の背景画像とについてそれぞれ異なる処理を行った後に合成して第４画像を生成する手段と、
前記第４画像を前記投影装置から前記スクリーンに投影した状態で前記撮影装置に撮影させて第５画像を得る手段と、
前記第５画像に基づいて前記投影補助画像を取得する手段と、
を有する請求項７または８記載の投影補助画像の生成装置。
【請求項１０】
請求項７ないし９のいずれかに記載の投影補助画像の生成装置を備えた、画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置からスクリーンに投影される投影画像に対して補助的に用いられる投影補助画像を生成する方法および装置、並びに画像形成装置に関する。
【背景技術】
【０００２】
一般に、ビジネスの現場などにおいては、プレゼンテーションを行うためにＯＨＰ(Over Head Projector )が用いられる。つまり、例えばパワーポイント（登録商標）などにより作成したプレゼンテーション用の投影画像を予めパソコンに保存して用意しておく。プレゼンテーションに際して、その投影画像をプロジェクタによってスクリーンに投影し、発表や解説を行う。
【０００３】
また、より効果的なプレゼンテーションを行うために、発表者がプレゼンテーションを行いながら投影画像の映し出されたスクリーン上に線や文字を書き込んだり、写真などの画像を張り付けて補足説明を行うことがある。
【０００４】
このようにしてプレゼンテーション中において補足説明のために付加された付加物についても、プレゼンテーション情報として電子化して投影補助画像として保存しておき、後で活用したいという要望がある。投影補助画像の生成について従来よりいくつかの提案がある。
【０００５】
例えば、スクリーン上の画像を撮像し、撮像した画像に対し二値化、パターン抽出といった画像処理を行うことにより、プロジェクタからスクリーンに投影された投影画像に対し、人の指、差し棒、あるいはレーザポインタ等で指し示した箇所を特定することが提案されている（特許文献１）。
【０００６】
また、オリジナル原稿データを識別する識別情報の画像を被投影体に投影した状態で、識別情報の画像を含むアノテーションデータの画像を撮影し、識別情報付きのアノテーションデータの画像を取得する。そして、取得した識別情報付きのアノテーションデータの画像に含まれる識別情報の画像に基づいて、該当オリジナル原稿の画像とアノテーションデータの画像とを合成することが提案されている（特許文献２）。      
【０００７】
また、スクリーンに書き込まれた手書きの書きこみ情報をスキャナ部でスキャンして書き込み画像を電子化し、プロジェクタ部が投影している投影画像と合成することが提案されている（特許文献３）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−２００１４９
【特許文献２】特開２００６−１０８８１３
【特許文献３】特開２００１−１６３８４
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、スクリーンがホワイトボードなどである場合には、サインペンなどによる前回の書込みの消し残しまたは消し忘れなどによる汚れが、スクリーンの表面に付着していることがある。
【００１０】
その場合には、スクリーンを撮影して得た画像には汚れの画像も一緒に取り込まれており、そのような画像をそのまま用いて投影補助画像を生成しても、鮮明な画像を得ることができない。そのため、それをプロジェクタによって再投影し、または表示装置の画面に表示し、または用紙に印刷した際に、画像が見にくい、または汚れが目立って美しくない、などの問題がある。
【００１１】
この問題について、特許文献１には、撮像装置で取り込んだ画像に対して画像処理を行う旨は開示されているが、スクリーンの表面の汚れの画像に対して何らかの画像処理を行うことについては開示がない。また、特許文献２および特許文献３においても、この問題を解消するための方策については開示されていない。
【００１２】
本発明は、上に述べた問題に鑑み、スクリーンの表面に書き残しなどの汚れが在った場合でも、その汚れによる影響を低減した投影補助画像を得ることを目的とする。
【課題を解決するための手段】
【００１３】
本発明の実施形態に係る方法は、投影装置からスクリーンに投影される投影画像に対して補助的に用いられる投影補助画像を生成する方法であって、前記投影画像を投影しない状態における前記スクリーンの表面の画像を撮影装置で撮影して第１画像を得るステップと、前記投影画像に対し補助のために付加される付加物を前記スクリーンを背景としかつ前記投影画像を投影しない状態で前記撮影装置で撮影して第２画像を得るステップと、前記第１画像と前記第２画像とを比較してその差分を取得し、前記付加物についての画像である付加画像を含む差分画像を取得するステップと、前記差分画像に基づいて前記投影補助画像を取得するステップとを有する。
【００１４】
投影画像を投影しない状態におけるスクリーンの表面を撮影した第１画像と、付加物を同じスクリーンを背景として撮影した第２画像との差分を得ることにより、汚れによる画像がキャンセルされる。
【００１５】
好ましくは、前記付加画像について、その濃度を強調するステップを有する。
【００１６】
また、前記第１画像と前記第２画像とを比較し、濃度に変化のある部分を付加画像領域であると判断し、濃度に変化のない部分を背景画像領域であると判断するステップを有する。
【発明の効果】
【００１７】
本発明によると、スクリーンの表面に書き残しなどの汚れが在った場合でも、その汚れによる影響を低減した投影補助画像を得ることができる。  
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態の画像形成装置を適用したプロジェクタ連携システムの全体の概略の構成を示す図である。
【図２】画像形成装置の機能的な構成を示すブロック図である。
【図３】画像形成装置において実現される投影補助画像の生成装置の構成を示すブロック図である。
【図４】投影補助画像の生成処理の具体例を説明するための図である。
【図５】第１の実施形態の画像形成装置における投影補助画像の生成方法の流れを示すフローチャートである。
【図６】第１の実施形態のカメラにおける処理の流れを示すフローチャートである。
【図７】第２の実施形態の投影補助画像の生成装置の構成を示すブロック図である。
【図８】投影補助画像の生成処理の具体例を説明するための図である。
【図９】投影補助画像の生成処理の具体例を説明するための図である。
【図１０】第２の実施形態の画像形成装置における投影補助画像の生成方法の流れを示すフローチャートである。
【発明を実施するための形態】
【００１９】
〔第１の実施形態〕
図１において、第１の実施形態のプロジェクタ連携システム１は、画像形成装置１１、プロジェクタ１２、カメラ１３、スクリーン１４、およびパーソナルコンピュータ（ＰＣ）１５などからなる。
【００２０】
図２をも参照して、画像形成装置１１は、本実施形態においてはいわゆるＭＦＰ( Muliti Function Peripheral) と呼称される複合機である。画像形成装置１１は、コピー機能、ネットワークプリンティング機能、ＦＡＸ機能、スキャナ機能、およびドキュメントサーバ機能などを有する。画像形成装置１１は、プロジェクタ（投影装置）１２およびカメラ（撮影装置）１３を制御し、プロジェクタ１２による投影画像ＧＴの投影、カメラ１３によるスクリーン１４の表面の撮影を行い、投影補助画像ＧＨを生成する。詳しくは後で説明する。
【００２１】
プロジェクタ１２は、画像形成装置１１から送られた投影データ（投影画像データ）ＤＴに基づいて、投影画像ＧＴをスクリーン１４に投影する。プロジェクタ１２は、ビデオケーブル３１によって画像形成装置１１と接続されており、上に述べた投影データＤＴを画像形成装置１１から受信する他、画像形成装置１１によって、投影画像ＧＴの投影のオンオフ、光投射のオンオフ、電源のオンオフなどが制御される。
【００２２】
なお、投影画像ＧＴには、原稿画像ＧＫ、合成画像ＧＰ、および投影補助画像ＧＨなどが含まれる。プロジェクタ１２に入力された投影データＤＴを投影することにより、投影画像ＧＴとなる。投影データＤＴは、例えばカラー画像のためのＲＧＢデータである。なお、本明細書において、視認可能な「画像」とそのデータの状態である「画像データ」とは、内容的には同じものであるので、それらを区別することなく記載することがある。
【００２３】
カメラ１３は、スクリーン１１の表面の画像を撮影（撮像）するものである。本実施形態において、カメラ１３は静止画像を撮影し、撮影した画像（画像データ）Ｇを出力する。画像Ｇを撮影するタイミングに応じて、つまり撮影したときにスクリーン１１の状態に応じて、第１画像Ｇ１、第２画像Ｇ２が得られる。
【００２４】
カメラ１３として、例えばデジタルカメラが用いられるが、動画を撮像することのできる撮像装置であってもよい。カメラ１３は、制御ケーブル３２によって画像形成装置１１と接続されており、撮影のタイミング（シャッタ）およびフラッシュのオンオフなどが画像形成装置１１により制御され、撮影した画像Ｇを画像形成装置１１に送る。カメラ１３は、スクリーン１４の全体を正面から適切に撮影できる位置に設置され、固定される。
【００２５】
スクリーン１４には、プロジェクタ１２からの投影画像ＧＴが投影される。スクリーン１４として、反射型スクリーン、透過型スクリーン、プレゼンテーション用スクリーン、映写用スクリーンなど、種々の種類およびサイズのスクリーンを用いることができる。また、文字などを書き込むためのホワイトボード、または白い壁面をスクリーンとして用いることができる。
【００２６】
なお、スクリーン１４には、後で述べるように、線や文字を書き込んだり、写真や資料などの画像を張り付けるなどして、付加物ＦＢを付加することがあるので、それが可能であってできるだけ容易であることが望ましい。この点、ホワイトボードのような機能を備えていれば、サインペンなどによる手書き文字を直接の書き込むことが可能であり、また書き込みを容易に消すこともできる。しかし、スクリーン上に用紙を張り付け、その用紙上に文字を間接的に書き込むようにしてもよい。また、写真や資料を張り付けるには、例えば、押しピンで止めたり、粘着テープで貼ったり、マグネットで固定したりすればよい。また、スクリーンとしてホワイトボードまたは壁面を用いる場合には、カメラ１３による撮影の際などにハレーションができるだけ発生しないような表面状態のものが好ましい。また、ハレーションを抑えるために、室内の照明およびプロジェクタ１２の発光量を調節するようにしてもよい。
【００２７】
パーソナルコンピュータ１５は、所謂パソコンであり、ＣＰＵ、メモリ、磁気ディスク、入出力インタフェースなどを有する。パーソナルコンピュータ１５には、プレゼンテーションに用いるための種々の投影データＤＴが記憶されている。そのような投影データＤＴは、適当なソフトウエア、例えばパワーポイント（登録商標）などを用いてパーソナルコンピュータ１５の内部で作成され、または外部から入力される。
【００２８】
パーソナルコンピュータ１５は、ビデオケーブル３３によって画像形成装置１１と接続されており、例えばＲＧＢデータを含む投影データＤＴを画像形成装置１１に送信する。パーソナルコンピュータ１５は、ＬＡＮ１７を介して画像形成装置１１と接続することも可能である。
【００２９】
ビデオケーブル３１，３３または制御ケーブル３２として、ＵＳＢケーブル、またはネットワークケーブルなどを用いることとしてもよい。
【００３０】
なお、本実施形態のプロジェクタ連携システム１において、画像形成装置１１の内部に投影データＤＴを取り込むことが可能であればよいので、必ずしもパーソナルコンピュータ１５は必要ではない。例えば、投影データＤＴを記憶したＵＳＢメモリを画像形成装置１１に接続することによって投影データＤＴを取り込むようにしてもよい。また、画像形成装置１１のボックス機能（Ｂｏｘ機能）、スキャン機能など、画像形成装置１１のさまざまな機能を利用して、画像形成装置１１の内部に投影データＤＴを取り込むようにしてもよい。また、画像形成装置１１の内部において投影データＤＴを生成するようにしてもよい。
【００３１】
パーソナルコンピュータ１５の記憶部に記憶された投影データＤＴは、画像形成装置１１の制御によって画像形成装置１１に一旦取り込まれ、プレゼンテーション画像データとして蓄積される。画像形成装置１１に蓄積された投影データＤＴは、ユーザの指令に応じてプロジェクタ１２に送信され、投影画像ＧＴとしてスクリーン１４に投影される。画像形成装置１１の制御により、カメラ１３によってスクリーン１４の表面の画像Ｇが撮影される。カメラ１３により撮影された画像Ｇは、画像形成装置１１に送られ、画像形成装置１１内部で画像処理が行われてメモリに記憶され、必要に応じて外部に出力される。
【００３２】
図２において、画像形成装置１１は、動作制御部２１、メモリ２２、ＨＤＤ２３、投影データ作成部２４、画像演算部２５、ユーザＩＦ２６、投影データ出力部２７、カメラ制御部２８、投影データ入力部２９、ネットワークＩＦ３０、原稿読取部３４、および印刷部３５などからなる。
【００３３】
動作制御部２１は、投影データ作成部２４および画像演算部２５などを制御して必要な処理を行わせるとともに、原稿読取部３４および印刷部３５などを制御して画像形成装置１１の全体の動作を制御する。動作制御部２１は、また、プロジェクタモードにおいて、上に述べたようにプロジェクタ１２およびカメラ１３を制御する。
【００３４】
メモリ２２は、生成しまたは入力された投影データＤＴ、カメラ１３により撮影された画像（画像データ）Ｇ、その他の画像またはデータなどを一時的に記憶する。
【００３５】
ＨＤＤ（ハードディスク装置）２３は、投影データＤＴ、画像Ｇ、その他の画像、データ、またはプログラムなどを記憶する。
【００３６】
投影データ作成部２４は、投影データＤＴを作成する。特に、プロジェクタモードにおいて、投影データＤＴつまりプレゼンテーション画像の一種である投影補助画像ＧＨおよび合成画像ＧＰを作成する。つまり、カメラ１３によって撮影された第１画像Ｇ１および第２画像Ｇ２などに基づいて、投影補助画像ＧＨを作成し、また、投影補助画像ＧＨと原稿画像ＧＫとを合成した合成画像ＧＰを作成する。
【００３７】
画像演算部２５は、カメラ１３で撮影された第１画像Ｇ１と第２画像Ｇ２との差分を演算し、また第２画像Ｇ２または投影補助画像ＧＨなどに含まれる付加画像に対して濃度を強調する処理を行うなど、投影データＤＴの作成に必要な演算処理を行う。また、原稿読取部３４によって読み取られた画像や入力された画像に対して種々の画像処理を行う。
【００３８】
ユーザＩＦ（ユーザインタフェース）２６は、ユーザとの間のインタフェースを行う部分である。ユーザＩＦ２６は、例えば、種々の操作ボタンが表示されるタッチパネルである。ユーザは、ユーザＩＦ２６を介して、画像形成装置１１に種々の指令やデータを入力し、また画像形成装置１１からのメッセージを受け取る。
【００３９】
例えば、ユーザは、ユーザＩＦ２６を介して、プロジェクタモードの設定を行い、プロジェクタモードにおいて、カメラ１３に対して第１画像Ｇ１および第２画像Ｇ２の撮影の指令を行う。また、プロジェクタモードにおいて、カメラ１３による撮影を指示したときに、投影画像ＧＴが写り込まないようにするためプロジェクタ１２による投影画像ＧＴの投影を禁止する。また、カメラ１３による撮影のときの照明のために、必要に応じて、プロジェクタ１２から光量が調整された光投射を行い、またはフラッシュを発光させる。
【００４０】
なお、ユーザは、ユーザＩＦ２６を用いる代わりに、ＬＡＮ１７または他のネットワークなどを経由し、パーソナルコンピュータのブラウザを利用して画像形成装置１１を遠隔操作することもできる。例えば、パーソナルコンピュータ１５，１６または外部の他のパーソナルコンピュータを用い、ブラウザを利用して画像形成装置１１に指令を与え、カメラ１３を制御して第１画像Ｇ１および第２画像Ｇ２などを取り込むことも可能である。
【００４１】
投影データ出力部２７は、パーソナルコンピュータ１５から入力された投影データＤＴおよび画像形成装置１１において作成された投影データＤＴをプロジェクタ１２に出力するための制御を行う。
【００４２】
カメラ制御部２８は、プロジェクタモードにおいて、カメラ１３の制御を行う。
【００４３】
投影データ入力部２９は、パーソナルコンピュータ１５から投影データＤＴを入力するための制御を行う。
【００４４】
ネットワークＩＦ３０は、ＬＡＮ１７などを介して種々のデータの受信および送信を行う。なお、パーソナルコンピュータ１５がＬＡＮ１７に接続されている場合には、投影データＤＴを、投影データ入力部２９を介することなく、ネットワークＩＦ３０を介して入力することも可能である。
【００４５】
原稿読取部３４は、種々のサイズの原稿の画像をスキャンして読み取る。印刷部３５は、原稿読取部３４で読み取られた画像、またはパーソナルコンピュータ１５，１６などから送られてきた画像などを、電子写真プロセスによって用紙に印刷する。
【００４６】
次に、プロジェクタモードにおける処理、特に投影補助画像ＧＨの生成処理について説明する。
【００４７】
上に述べたように、画像形成装置１１は、プロジェクタモードが設定されたときに、投影補助画像ＧＨの作成のための処理を行うことができる。投影補助画像ＧＨとは、プロジェクタ１２からスクリーン１４に投影される投影画像ＧＴに対して補助的に用いられるものである。
【００４８】
すなわち、ユーザが、プロジェクタ１２を用いて投影画像ＧＴをスクリーン１４に投影してプレゼンテーションを行っている際に、投影画像ＧＴの映し出されたスクリーン上に線や文字の書き込みを行ったり、写真や資料などを張り付けて補足説明を行うことがある。このように、投影画像ＧＴに対して付加された付加物ＦＢについて、スクリーン１４を背景として電子化（画像データ化）を行い、これに基づいて投影補助画像ＧＨを生成するのである。
【００４９】
投影補助画像ＧＨは、独立した画像として保存することが可能であり、また、元の投影画像ＧＴ（原稿画像ＧＫ）に付加した状態となるように合成し、合成された画像として保存することも可能である。投影補助画像ＧＨは、プロジェクタ１２によってスクリーン１４上に投影することにより、元の原稿画像ＧＫに対して補助的に用いることができる。したがって、投影補助画像ＧＨを一旦作成すれば、次回のプレゼンテーションにおいてはその投影補助画像ＧＨをプロジェクタ１２により投影することができるので、現物としての付加物ＦＢを準備していなくても、投影補助画像ＧＨによる付加画像ＧＦを用いてプレゼンテーションを行うことができる。
【００５０】
図３には、画像形成装置１１において実現される投影補助画像生成装置ＨＳの機能的な構成が示されている。
【００５１】
図３において、生成装置ＨＳは、第１画像取得部４１、第２画像取得部４２、差分取得部４３、濃度強調処理部４４、合成部４５、および投影データ記憶部４６などを有する。
【００５２】
第１画像取得部４１は、カメラ１３で撮影した第１画像Ｇ１を取得する。第１画像Ｇ１は、投影画像ＧＴを投影しない状態におけるスクリーン１４の表面の画像をカメラ１３で撮影したものである。つまり、スクリーン１４のみを撮影した画像であり、スクリーン１４の表面の状態がそのまま画像となったものである。スクリーン１４の表面に汚れがあった場合には、その汚れが画像として表れる。
【００５３】
第１画像Ｇ１の撮影は、ユーザが画像形成装置１１に指令を与えることによって行われる。ユーザは、画像形成装置１１の動作モードをプロジェクタモードとした後で、第１画像Ｇ１の撮影の指令を与える。撮影に際して、プロジェクタ１２の投影画像ＧＴの投影は禁止される。スクリーン１４の照明ために、必要に応じて、プロジェクタ１２による光投射が行われ、またはカメラ１３のフラッシュが発光される。
【００５４】
第２画像取得部４２は、カメラ１３で撮影した第２画像Ｇ２を取得する。第２画像Ｇ２は、投影画像ＧＴに対して補足説明などのために補助的に付加られる付加物ＦＢを、スクリーン１４を背景としかつ投影画像ＧＴを投影しない状態でカメラ１３により撮影した画像である。つまり、第２画像Ｇ２は、付加物ＦＢのみをスクリーン１４を背景として撮影した画像である。スクリーン１４の表面のうち付加物ＦＢによって隠れない部分は、その状態がそのまま画像として表れる。したがって、スクリーン１４の表面に汚れがあった場合に、その汚れが画像として表れる。
【００５５】
なお、「付加物」は、スクリーン１４に書き込まれた線や文字、スクリーン１４に張り付けられた写真や資料などのように、補足説明などのために投影画像ＧＴに対して付加られるものまたは情報である。「付加物」を、スクリーン１４を背景としてカメラ１３で撮影して得られた画像が、第２画像Ｇ２である。したがって、第２画像Ｇ２には、「付加物」の画像である「付加画像」が含まれることになる。
【００５６】
第２画像Ｇ２の撮影は、ユーザが画像形成装置１１に指令を与えることによって行われる。ユーザは、プレゼンテーションの途中において、投影画像ＧＴに対する付加物ＦＢをスクリーン１４に付加した後で、第２画像Ｇ２の撮影の指令を与える。そうすると、画像形成装置１１は、プロジェクタ１２による投影画像ＧＴの投影を禁止し、第１画像Ｇ１の撮影の場合と同じ照明のための制御を行って、カメラ１３による撮影を行う。
【００５７】
差分取得部４３は、第１画像Ｇ１と第２画像Ｇ２との差分の画像（差分画像）ＧＳを取得する。差分画像ＧＳは、例えば、第２画像Ｇ２から第１画像Ｇ１を減算することによって得られる。したがって、スクリーン１４の表面に汚れがあった場合に、第１画像Ｇ１と第２画像Ｇ２との両方にその汚れによる画像が表れるから、差分画像ＧＳにおいては、汚れによる画像はキャンセル（相殺）されて無くなり、または大幅に低減される。
【００５８】
また、第１画像Ｇ１および第２画像Ｇ２において、通常、スクリーン１４の表面の画像の濃度は、０でなく有為な値を持つ。つまり、真っ白ではない低濃度のグレイ画像が、背景画像の濃度（背景濃度）を示すものとして表れる。しかし、差分画像ＧＳにおいては、背景濃度もキャンセルされる。したがって、差分画像ＧＳにおいて、付加画像ＧＦ以外の部分は濃度値がほぼ０になる。一方、差分画像ＧＳにおいて、付加画像ＧＦの濃度値は、背景濃度に相当する濃度だけ低下することとなる。
【００５９】
なお、差分画像ＧＳにおいて、付加画像ＧＦ以外の画像は背景画像である。
【００６０】
濃度強調処理部４４は、付加画像ＧＦについて、その濃度を強調する処理（濃度強調処理）を行う。つまり、本実施形態では、差分画像ＧＳに含まれる付加画像ＧＦに対して、濃度強調処理を行う。なお、濃度強調処理を、第２画像Ｇ２に含まれる付加画像ＧＦに対して行うようにしてもよく、また、投影補助画像ＧＨに含まれる付加画像ＧＦに対して行うようにしてもよい。
【００６１】
濃度強調処理を行うに際し、まず、濃度強調を行うべき領域（付加画像領域）を検出する。付加画像領域は、付加画像ＧＦの占める領域である。付加画像領域の検出のために、付加画像ＧＦの領域と背景画像ＧＢの領域とが分離され、抽出される。背景画像ＧＢの領域を画定するために、例えば、第１画像Ｇ１と第２画像Ｇ２とを比較し、濃度に変化がない領域を背景領域とし、濃度に変化がある領域を付加画像領域とする。
【００６２】
濃度強調処理として、例えば、付加画像ＧＦの濃度を所定の割合だけ大きくする。または、付加画像ＧＦの濃度に所定の濃度を加算する。その際に、濃度強調処理を行う前の付加画像ＧＦの濃度に応じて、掛け率（乗算係数）または加算値（加算係数）を調整してもよい。例えば、付加画像ＧＦの濃度が所定値よりも低い場合には掛け率または加算値を大きくし、付加画像ＧＦの濃度が所定値よりも高い場合には掛け率または加算値を小さくする。また、付加画像ＧＦの濃度が設定された所定値となるようにしてもよい。なお、この場合の付加画像ＧＦの濃度は、濃度の平均値、中央値、最大値などを用いることができる。濃度強調処理を行うことにより、付加画像ＧＦがより鮮明となる。
【００６３】
したがって、例えば、ユーザによるスクリーン１４の表面への書き込みが薄かったり線が細かったりした場合に、その付加画像ＧＦが薄く不鮮明になる可能性があるが、濃度強調処理を行うことによって濃度が高くなり、鮮明度が高くなる。
【００６４】
合成部４５は、投影補助画像ＧＨと原稿画像ＧＫ１とを合成する処理を行い、合成画像ＧＰを生成する。ここで用いる原稿画像ＧＫ１は、投影補助画像ＧＨの元となった付加物ＦＢの付加対象の原稿画像ＧＫである。生成された合成画像ＧＰは、投影データ記憶部４６に保存され、ユーザの操作指示に応じてプロジェクタ１２に送られ、投影画像ＧＴとしてスクリーン１４に投影される。
【００６５】
投影データ記憶部４６は、プレゼンテーションのために、または投影補助画像ＧＨの生成のために、プロジェクタ１２に送ることが可能な投影データＤＴを記憶する。投影データＤＴとして、原稿画像ＧＫ、合成画像ＧＰ、投影補助画像ＧＨなどのデータが記憶される。原稿画像ＧＫには、原稿を原稿読取部３４で読み取って得た画像、パーソナルコンピュータ１５から送られてきた画像、画像形成装置１１の内部で生成した画像などが含まれる。
【００６６】
次に、投影補助画像ＧＨの生成処理を具体例に基づいて説明する。
【００６７】
図４（Ａ）〜（Ｄ）の上側には、「あ」の文字が汚れ画像ＧＹ１として残ったスクリーン１４を用い、グレイ画像を持った資料を付加物ＦＢ１としてスクリーン領域ＲＳに張り付けた例が示されている。スクリーン領域ＲＳにおいて、ｙ軸における特定の座標ｙ１におけるｘ軸に沿ったｘ座標についての濃度値ＮＴが、図４の（Ａ）〜（Ｄ）の下側に示されている。
【００６８】
図４（Ａ）において、スクリーン１４には、前回のプレゼンテーションにおいて書き込んだと考えられる汚れ画像ＧＹ１が残っている。この状態において、スクリーン１４を撮影して第１画像Ｇ１を得る。したがって、第１画像Ｇ１において、座標ｙ１におけるｘ軸方向の１ラインの濃度値ＮＴは、汚れ画像ＧＹに対応するｘ座標位置では濃度値がＮＴ１であり、それ以外の背景部分では濃度値がＮＴ２である。
【００６９】
図４（Ｂ）において、スクリーン１４に付加物ＦＢ１が張り付けられている。この状態において、スクリーン１４を撮影して第２画像Ｇ２を得る。したがって、第２画像Ｇ２においては、付加物ＦＢ１に対応したｘ座標位置の濃度値はＮＴ３となる。
【００７０】
図４（Ｃ）において、第２画像Ｇ２から第１画像Ｇ１を減算した差分画像ＧＳ１が示されている。差分画像ＧＳでは、背景部分および汚れ画像ＧＹ１については濃度値ＮＴがキャンセルされて０またはほぼ０となり、付加物ＦＢ１についての濃度値はＮＴ４となる。濃度値ＮＴ４は、濃度値ＮＴ３から濃度値ＮＴ１を減算した値となる。
【００７１】
図４（Ｄ）において、差分画像ＧＳの付加画像ＧＦ１に対して濃度強調処理が行われ、投影補助画像ＧＨ１が得られている。投影補助画像ＧＨ１では、元の濃度値がＮＴ４からＮＴ５に増大されている。濃度値ＮＴ５は、例えば、元の濃度値ＮＴ４に対して掛け率Ｋ１を乗じることにより、または所定の濃度値Ｋ２を加算することにより得られる。
【００７２】
次に、投影補助画像ＧＨの生成処理をフローチャートに沿って説明する。
【００７３】
図５において、画像形成装置１１の生成装置ＨＳは、プロジェクタモードがオンになると（＃１１でイエス）、カメラ１３に撮影の指令を送る（＃１２）。カメラ１３で撮影した画像Ｇを第１画像Ｇ１として取り込む（＃１３）。プレゼンテーションを開始し、プロジェクタ１２による投影画像ＧＴの投影を開始する（＃１４）。
【００７４】
プレゼンテーションの途中において、ユーザがスクリーン１４の画像化（電子化）の指示を行うと（＃１５でイエス）、プロジェクタ１２への投影データＤＴの送信を停止し、投影画像ＧＴの投影を中断する（＃１６）。そして、カメラ１３に撮影の指令を送る（＃１７）。カメラ１３で撮影した画像Ｇを第２画像Ｇ２として取り込む（＃１８）。プロジェクタ１２への投影データＤＴの送信を再開し、投影画像ＧＴによるプレゼンテーションを続行する（＃１９）。
【００７５】
プレゼンテーションの続行中において、生成装置ＨＳは、第１画像Ｇ１と第２画像Ｇ２とについての差分画像ＧＳ１を得る（＃２０）。差分画像ＧＳにおいて、付加画像領域を抽出し（＃２１）、付加画像ＧＦに対して濃度強調処理を行う（＃２２）。このようにして得られた画像を投影補助画像ＧＨとする（＃２３）。投影補助画像ＧＨとその元の原稿画像ＧＫとを合成して合成画像ＧＰを得る（＃２４）。なお、ステップ＃２４における合成画像ＧＰの生成は、必要がなければ行わなくてよい。
【００７６】
図６において、カメラ１３は、画像形成装置１１からの撮影の指令の有無を判断する（＃３１）。撮影の指令があった場合に（＃３２でイエス）、シャッタを制御して撮影を行い（＃３３）、撮影により得られた画像Ｇを画像形成装置１１に転送する（＃３４）。
【００７７】
このように、第１の実施形態のプロジェクタ連携システム１によると、投影画像ＧＴを投影しない状態におけるスクリーン１４の表面を撮影した第１画像Ｇ１と、付加物ＦＢを同じスクリーンを背景として撮影した第２画像Ｇ２との差分をとることにより、汚れ画像ＧＹがキャンセルされる。
【００７８】
したがって、スクリーン１４の表面に書き残しなどの汚れが在った場合でも、その汚れによる影響をなくしまたは影響を低減した投影補助画像ＧＨを得ることができる。
【００７９】
また、投影補助画像ＧＨを元の原稿画像ＧＫと合成して合成画像ＧＰを生成し、元の原稿画像ＧＫに代えて合成画像ＧＰを用いることによって、現物としての付加物ＦＢを用いることなく、付加物ＦＢを用いたのと同様のプレゼンテーションを行うことが可能となる。
【００８０】
したがって、ユーザにとって、プレゼンテーションのための準備およびプレゼンテーション自体がやり易くなる。
【００８１】
次に、第２の実施形態のプロジェクタ連携システム１Ｂについて説明する。
〔第２の実施形態〕
第１の実施形態では、汚れ画像ＧＹをキャンセルするために、第１画像Ｇ１と第２画像Ｇ２との差分をとった。これに対し、第２の実施形態においては、さらに、第１画像Ｇ１と第２画像Ｇ２とを比較し、濃度に変化のある部分を付加画像領域ＡＦであると判断し、濃度に変化のない部分を背景画像領域ＡＢであると判断する。そして、背景画像領域ＡＢと付加画像領域ＡＦとで、互いに異なった処理を行う。
【００８２】
つまり、背景画像領域ＡＢにおいては、背景画像領域ＡＢにおける最大濃度ＬＨを取得し、背景画像領域ＡＢの全体を最大濃度ＬＨによって均一な濃度とした背景画像ＧＢを生成する。付加画像領域ＡＦにおいては、付加画像ＧＦに対して、濃度強調処理を行う。
【００８３】
そして、背景画像ＧＢと付加画像ＧＦとを合成し、第４画像Ｇ４を生成する。第４画像Ｇ４をプロジェクタ１２からスクリーン１４に投影した状態で、カメラ１３で撮影して第５画像Ｇ５を得て、この第５画像Ｇ５に基づいて投影補助画像ＧＨを取得する。
【００８４】
背景画像ＧＢを含んだ第４画像Ｇ４をスクリーン１４に投影することにより、スクリーン１４上において、汚れ画像ＧＹが見えなくなるようにまたは見え難くなる。これをカメラ１３で撮影して投影補助画像ＧＨを生成する。
【００８５】
第２の実施形態のプロジェクタ連携システム１Ｂにおいては、画像形成装置１１Ｂの生成装置ＨＳＢにおける処理および制御の一部が第１の実施形態と異なっている。しかし、それ以外の部分については第１の実施形態と同様である。したがって、第２の実施形態の説明において、第１の実施形態と同様の部分については、第１の実施形態で用いた図面および説明を援用することとし、説明を省略しまたは簡略化する。また、第２の実施形態の各要素には第１の実施形態で用いた符号に「Ｂ」を付して示すことがある。以下においては主に相違点について説明する。
【００８６】
図７には、画像形成装置１１Ｂにおいて実現される第２の実施形態の投影補助画像生成装置ＨＳＢの機能的な構成が示されている。
【００８７】
図７において、生成装置ＨＳＢは、第１画像取得部４１、第２画像取得部４２、濃度強調処理部４４、合成部４５、投影データ記憶部４６Ｂ、背景画像取得部４７、第４画像生成部４８、および第５画像取得部４９を有する。
【００８８】
第１画像取得部４１は、第１の実施形態と同様に第１画像Ｇ１を取得する。同じく、第２画像取得部４２は第２画像Ｇ２を取得する。濃度強調処理部４４は、差分画像ＧＳに含まれる付加画像ＧＦに対して、濃度強調処理を行う。
【００８９】
合成部４５Ｂは、原稿画像ＧＫ１と投影補助画像ＧＨとを合成して合成画像ＧＰを生成する。投影データ記憶部４６Ｂは、種々の投影データＤＴを記憶する。但し、第２の実施形態においては、投影データＤＴとして、原稿画像ＧＫ、合成画像ＧＰ、投影補助画像ＧＨの他に、第４画像Ｇ４が追加される。
【００９０】
背景画像取得部４７は、背景画像ＧＢを取得する。背景画像取得部４７は、背景画像ＧＢを取得するために次の処理を行う。すなわち、まず、第１画像Ｇ１と第２画像Ｇ２とを比較し、濃度に変化のある部分を付加画像領域ＡＦであると判断し、濃度に変化のない部分を背景画像領域ＡＢであると判断する。
【００９１】
その場合に、第２画像Ｇ２が第１画像Ｇ１よりも濃度の低下している部分がある場合には、その部分は背景画像領域ＡＢであると判断する。つまり、第１画像Ｇ１においてあった汚れ画像ＧＹが第２画像Ｇ２では消されていた場合に、その部分は第２画像Ｇ２の方が第１画像Ｇ１よりも濃度が低下することとなるが、その部分は背景画像領域ＡＢとして扱うのである。
【００９２】
そして、背景画像領域ＡＢにおける最大濃度ＬＨを取得し、背景画像領域ＡＢの全体を最大濃度ＬＨによって均一な濃度とした背景画像ＧＢを生成する。  
【００９３】
背景画像ＧＢは、その全体が最大濃度ＬＨによって均一な濃度となった画像（例えばグレイ画像）であるので、背景画像ＧＢがスクリーン１４上の汚れ画像ＧＹに投影された場合に、汚れ画像ＧＹが背景画像ＧＢに隠れて見えなくなり、または見え難くなる。
【００９４】
なお、背景画像取得部４７において、濃度に変化のない部分であるか否かを判断するために、差分取得部４３における結果を参照する。
【００９５】
第４画像生成部４８は、背景画像取得部４７で取得された背景画像ＧＢと、濃度強調処理部４４から出力される付加画像ＧＦ（つまり差分画像ＧＳに濃度強調処理を行ったもの）とを合成し、第４画像Ｇ４とする。第４画像Ｇ４は投影データ記憶部４６Ｂに一時的に保存される。
【００９６】
第５画像取得部４９は、第４画像Ｇ４をプロジェクタ１２からスクリーン１４に投影した状態で、カメラ１３による撮影を行って第５画像Ｇ５を取得する。第５画像Ｇ５においては、スクリーン１４に背景画像ＧＢが投影されることによって汚れ画像ＧＹが目立たなくなり、付加画像ＧＦが濃度強調処理されて鮮明となっている。この第５画像Ｇ５が、そのまま、または適当な処理が施された後に、投影補助画像ＧＨとなり、投影データ記憶部４６Ｂに保存される。
【００９７】
なお、第２画像Ｇ２を取得する際にスクリーン１４の表面の汚れが消去された状態で撮影した場合には、背景画像ＧＢにおける濃度を、最大濃度ＬＨとすることなく、それよりも低い濃度とすることでよい。
【００９８】
また、第４画像Ｇ４を生成する際に、背景画像ＧＢと付加画像ＧＦとを単純に合成するのではなく、背景画像ＧＢにおける汚れ画像ＧＹに対応した部分の濃度を減算して低くしておき、スクリーン１４上に投影されたときに、その背景画像ＧＢがスクリーン１４上の汚れ画像ＧＹと合成されることによって背景画像領域ＡＢの全体の濃度が均一になって汚れ画像ＧＹが目立たなくなるようにしてもよい。
【００９９】
次に、第２の実施形態における投影補助画像ＧＨの生成処理を、図８および図９に示す具体例に基づいて説明する。
【０１００】
まず、第１の実施形態において図４で説明したように、第１画像Ｇ１および第２画像Ｇ２を取得し、差分画像ＧＳ１を生成し、濃度強調処理を行う。
【０１０１】
そして、背景画像領域ＡＢにおける最大濃度ＬＨを取得する。例えば、図４（Ａ）または図４（Ｂ）における濃度値ＮＴ２を最大濃度ＬＨとする。
【０１０２】
図８（Ａ）に示すように、得られた最大濃度ＬＨを用い、背景画像領域ＡＢの全体を最大濃度ＬＨによって均一な濃度とした背景画像ＧＢ１を生成する。
【０１０３】
図８（Ｂ）に示すように、背景画像ＧＢ１と付加画像ＧＦ１とを合成して第４画像Ｇ４を生成する。
【０１０４】
第４画像Ｇ４を、プロジェクタ１２からスクリーン１４に投影し、カメラ１３で撮影して第５画像Ｇ５を得る。
【０１０５】
図９（Ａ）には、汚れ画像ＧＹ１を持ったスクリーン１４が示されている。図９（Ｂ）には、汚れ画像ＧＹ１を持ったスクリーン１４に手書きで記入された付加物ＦＢ２が示されている。図９（Ａ）に示されるスクリーン１４上に第４画像Ｇ４が投影されると、図９（Ｃ）に示されるように、背景画像ＧＢによって汚れ画像ＧＹが目立たなくなる。
【０１０６】
また、第４画像Ｇ４を、図９（Ｂ）に示されるように付加物ＦＢが張り付けられたスクリーン１４上に投影してもよい。その場合に、現物としての付加物ＦＢ２と第４画像Ｇ４に含まれる付加画像ＧＦとの位置が一致するようにすればよい。
【０１０７】
なお、図９（Ｂ）においては、付加物ＦＢ２が手書きで記入されたスクリーン１４に汚れ画像ＧＹ１が残っているが、このときまでに汚れ画像ＧＹ１が消去されていた場合には、グレイ画像のような背景画像ＧＢ１を生成する必要はない。その場合には、濃度がもっと低いはまたは濃度が０の背景画像ＧＢを用いて第４画像Ｇ４を生成すればよい。したがって、この場合には、スクリーン１４上に第４画像Ｇ４を投影したときに、図９（Ｃ）のように背景画像ＧＢがグレイ画像となることなく、もっと濃度が低いかまたは濃度が０の明るい背景画像ＧＢとなる。
【０１０８】
次に、第２の実施形態の投影補助画像ＧＨの生成処理をフローチャートに沿って説明する。
【０１０９】
図１０において、ステップ＃３１〜４０は、図５のステップ＃１１〜２０と同様である。ステップ＃４１において、背景画像領域ＡＢと付加画像領域ＡＦとを判別する。背景画像領域ＡＢについて、最大濃度ＬＨを用いて背景画像ＧＢを生成する（＃４２）。
【０１１０】
付加画像領域ＡＦにおける付加画像ＧＦについて、濃度強調処理を行う（＃４３）。背景画像ＧＢと付加画像ＧＦとを合成して第４画像Ｇ４を生成する（＃４４）。第４画像Ｇ４をプロジェクタ１２でスクリーン１４に投影する（＃４５）。カメラ１３に撮影の指令を送る（＃４６）。カメラ１３で撮影した画像Ｇを第５画像Ｇ５として取り込む（＃４７）。第５画像Ｇ５を投影補助画像ＧＨとして記憶する（＃４８）。投影補助画像ＧＨとその元の原稿画像ＧＫとを合成して合成画像ＧＰを得る（＃４９）。
【０１１１】
第２の実施形態においても、スクリーン１４の表面に書き残しなどの汚れが在った場合に、その汚れによる影響をなくしまたは影響を低減した投影補助画像ＧＨを得ることができる。
【０１１２】
上に述べた実施形態において、生成装置ＨＳ，ＨＳＢは、画像形成装置１１，１１Ｂにおけるハードウエア、ソフトウエア、またはそれらの組み合わせによって実現することができる。そのようなソフトウエアつまりプログラム（コンピュータプログラム）は、適当な記録媒体に記録しておき、画像形成装置１１，１１Ｂのメモリ２２またはＨＤＤ２３にインストールし、動作制御部２１および画像演算部２５などに備えられたＣＰＵなどで実行することができる。
【０１１３】
その他、生成装置ＨＳ，ＨＳＢの構成、処理内容、動作などは、上に述べた以外の種々の構成とすることができる。また、画像形成装置１１，１１Ｂ、またはプロジェクタ連携システム１の全体または各部の構成、構造、回路、形状、寸法、個数、材質、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１１４】
１  プロジェクタ連携システム
１１，１１Ｂ  画像形成装置
１２  プロジェクタ
１３  カメラ
１４  スクリーン
１５  パーソナルコンピュータ
２１  動作制御部
２５  画像演算部
２７  投影データ出力部
２８  カメラ制御部
２９  投影データ入力部
４１  第１画像取得部
４２  第２画像取得部
４３  差分取得部
４４  濃度強調処理部
４５  合成部
４６  投影データ記憶部
４７  背景画像取得部
４８  第４画像生成部
４９  第５画像取得部
ＨＳ  生成装置
ＧＴ  投影画像
ＤＴ  投影データ
ＧＨ  投影補助画像
Ｇ１  第１画像
Ｇ２  第２画像
Ｇ４  第４画像
Ｇ５  第５画像
ＧＳ  差分画像
ＧＰ  合成画像
ＧＫ  原稿画像
【図１】
2010217760.tif 000003
【図２】
2010217760.tif 000004
【図３】
2010217760.tif 000005
【図４】
2010217760.tif 000006
【図５】
2010217760.tif 000007
【図６】
2010217760.tif 000008
【図７】
2010217760.tif 000009
【図８】
2010217760.tif 000010
【図９】
2010217760.tif 000011
【図１０】
2010217760.tif 000012