(57)【要約】【課題】解像度の低減を従来よりも抑えてスクリーンの画像を取得する。【解決手段】出力する対象である対象画像をスクリーンへ投影するプロジェクタ１に、対象画像を、スクリーンにおいて形状が長方形になって表示されるように補正することによって、補正画像を生成する、投影画像処理部１０６と、対象画像および補正画像を選択的にスクリーンへ投影する投影部１２と、対象画像がスクリーンに表示されている際にスクリーンを撮影することによって撮影画像を取得する第一の撮影部１３と、を設ける。【選択図】図３
2015220503.tif 000002
【特許請求の範囲】
【請求項１】
出力する対象である対象画像をスクリーンへ投影する画像投影装置であって、
前記対象画像を、前記スクリーンにおいて形状が長方形になって表示されるように補正することによって、補正画像を生成する、補正手段と、
前記対象画像および前記補正画像を選択的に前記スクリーンへ投影する投影手段と、
前記対象画像が前記スクリーンに表示されている際に前記スクリーンを撮影することによって撮影画像を取得する撮影手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記スクリーンに書き込まれた画像である書込画像を前記撮影画像と前記対象画像とを比較することによって検出する検出手段を有する、
請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記補正画像を前記撮影手段の位置と前記スクリーンの位置との関係に基づいて算出する、
請求項１または請求項２に記載の画像処理装置。
【請求項４】
形状が長方形になるように前記書込画像を前記位置関係に基づいて補正することによって第二の補正画像を生成する第二の補正手段、を有する、
請求項３に記載の画像処理装置。
【請求項５】
前記対象画像に前記第二の補正画像を重ね合わせることによって記録用画像を生成する記録用画像生成手段、を有する、
請求項４に記載の画像処理装置。
【請求項６】
較正用のパターンを前記スクリーンへ投影し当該スクリーンを撮影することによって前記関係を表わすデータを生成する関係データ生成手段、を有し、
前記補正手段は、前記データに基づいて前記補正画像を生成し、
前記第二の補正手段は、前記データに基づいて前記第二の補正画像を生成する、
請求項４または請求項５に記載の画像処理装置。
【請求項７】
前記スクリーンに対する前記撮影手段の光軸の角度を検出する角度手段、を有し、
前記補正手段は、前記角度に基づいて前記補正画像を生成し、
前記第二の補正手段は、前記角度に基づいて前記第二の補正画像を生成する、
請求項４または請求項５に記載の画像処理装置。
【請求項８】
前記投影手段および前記撮影手段は、水平方向に隣り合うように設けられている、
請求項１ないし請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記投影手段および前記撮影手段は、共通のレンズを使用する、
請求項１ないし請求項７のいずれかに記載の画像処理装置。
【請求項１０】
出力する対象である対象画像を投影手段によって投影し撮影手段によって撮影する投影および撮影の方法であって、
前記対象画像を、スクリーンにおいて形状が長方形になって表示されるように補正することによって、補正画像を生成し、
前記対象画像および前記補正画像を選択的に前記スクリーンへ前記投影手段によって投影し、
前記対象画像が前記スクリーンに表示されている際に前記スクリーンを撮影手段で撮影することによって撮影画像を取得する、
ことを特徴とする投影および撮影の方法。
【請求項１１】
出力する対象である対象画像をスクリーンへ投影するように投影手段を制御し前記スクリーンを撮影するように撮影手段を制御するコンピュータに用いられるコンピュータプログラムであって、
前記コンピュータに、
前記対象画像を、スクリーンにおいて形状が長方形になって表示されるように補正することによって、補正画像を生成する処理を実行させ、
第一のモードが設定された場合に、前記補正画像が前記スクリーンへ投影されるように前記投影手段を制御する処理を実行させ、
前記第一のモードとは異なる第二のモードが設定された場合に、前記対象画像が前記スクリーンへ投影されるように前記投影手段を制御する処理を実行させ、
前記対象画像が前記スクリーンに表示されている際に前記スクリーンが撮影されるように前記撮影手段を制御することによって撮影画像を取得する処理を実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタなどによる画像の投影およびその画像の撮影の技術に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータまたはスマートフォンなどに表示される画像をスクリーンに投影するプロジェクタ普及している。プロジェクタは、「画像投影装置」と呼ばれることもある。
【０００３】
ＪＰＥＧ（Joint Photographic Experts Group）、ＧＩＦ（Graphics Interchange Format）、またはＴＩＦＦ（Tagged Image File Format）などの画像データのほか、プレゼンテーション用のアプリケーションのフォーマットの画像データを使用して画像を出力することができるプロジェクタも、市販されている。
【０００４】
ホワイトボードをスクリーンとして使用することができる。または、壁に白いビニールを貼り、これをスクリーンとして使用することもできる。これらの場合に、ユーザは、画像がスクリーンに映っているときに、ペンでメモなどを手書きすることができる。そして、ユーザは、デジタルカメラでスクリーンを撮影し、記録しておくことができる。
【０００５】
スクリーンへ画像を投影する技術およびスクリーンを撮影する技術として、次のような技術が提案されている。
【０００６】
特許文献１に記載される技術によると、投影装置によって投影オブジェクトが投影され且つユーザーによって手書きオブジェクトが手書きされた板を撮影して得た入力画像から、前記板の四辺及び投影領域の四辺を検出し、当該検出した各四辺に基づき第１及び第２の枠を抽出し、第１の枠から第１の歪み補正値を、第２の枠から第２の歪み補正値を得る。入力画像からオブジェクトを抽出し、手書きオブジェクトに対しては第１の歪み補正値を用い、投影オブジェクトに対しては第２の歪み補正値を用いて、各オブジェクトの形状の歪み補正を行い、歪み補正された画像データを生成する。
【０００７】
特許文献２に記載される技術によると、方形からスクリーン上で発生する歪みの方向とは逆方向に歪ませた画像をライトバルブ上に表示し、これを投射レンズを介して投射する。これによって、スクリーンに映る映像の歪みが補正され、輪郭が方形をした補正投射映像となって視認される。このとき、補正投射映像を撮像した撮像素子からは、出力として撮影映像が得られる。この撮影映像は歪んでいるため、これを輪郭が方形をした映像に補正するために、撮像映像歪み補正手段を用いて補正撮影映像を得る。
【０００８】
特許文献３に記載される技術によると、投影画像入力部に入力された投影すべき映像情報に対して色補正、輝度補正、台形歪み補正等の補正処理を行う画像補正部と、該画像補正部で補正処理された映像情報に基づく映像をスクリーン面に投影するプロジェクタと、該プロジェクタが投影したスクリーン面上の映像を撮影するカメラとを備える映像表示装置において、上記プロジェクタは、テストチャートの画像を投影し、上記カメラは、この投影されたテストチャートの画像を撮影する。そして、制御部は、上記カメラが撮影したテストチャートの映像情報と上記プロジェクタに投影させたテストチャートの画像情報とを比較することで補正量を求め、その補正量に従って上記画像補正部で、上記投影すべき映像情報に対する補正処理を行わせる。
【０００９】
特許文献４に記載される技術によると、入力される画像信号に応じた光像を形成し、被投影面に向けて投影するマイクロミラー素子、投影レンズを含む投影系と、一定の距離をあけて配置され、共に上記投影系で投影した画像を撮像する、第１の撮像レンズとＣＣＤ、第２の撮像レンズとＣＣＤを含む一対の撮像系と、これら一対の撮像系で撮像した画像の位相差から被投影面までの距離及び角度を算出し、得た被投影面までの距離及び角度により投影系で投影する画像を台形補正させる制御部とを備える。
【００１０】
特許文献５に記載される技術によると、所定の画像を投影面に投影した画像を撮像した撮像画像から、前記所定の画像に対応する画像を探索する探索処理と、前記探索した画像に基づいて前記撮像画像に対するパースペクティブ歪みの補正のパラメータを算出するパラメータ算出処理と、前記算出したパラメータに基づいて、パラメータを算出した後に撮像した撮像画像及び前記撮像画像に対して補正する補正処理と、を実行する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１１−１４１６００号公報  撮影
【特許文献２】特開２００５−６４６６７号公報
【特許文献３】特開２００３−２８３９６４号公報
【特許文献４】特開２００７−９４０３６号公報
【特許文献５】特開２０１３−２５７６４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の技術によると、台形補正が施された画像がスクリーンへ投影されると、スクリーンにおいて元の画像の形状つまり長方形で表示される。しかし、解像度は、元の画像よりも低くなってしまう。
【００１３】
また、スクリーンに表示された画像を撮影して台形補正を施すと、元の画像の形状つまり長方形に調整することができるが、解像度が低くなってしまう。スクリーンに手書きした画像（手書画像）も同様に、台形補正を施す前よりも解像度が低くなってしまう。
【００１４】
すると、スクリーンを撮影して記録しても、その後、何が書いてあるのかをユーザが認識しにくくなることがある。
【００１５】
本発明は、このような問題点に鑑み、解像度の低減を従来よりも抑えてスクリーンの画像を取得することを、目的とする。
【課題を解決するための手段】
【００１６】
本発明の一形態に係る画像投影装置は、出力する対象である対象画像をスクリーンへ投影する画像投影装置であって、前記対象画像を、前記スクリーンにおいて形状が長方形になって表示されるように補正することによって、補正画像を生成する、補正手段と、前記対象画像および前記補正画像を選択的に前記スクリーンへ投影する投影手段と、前記対象画像が前記スクリーンに表示されている際に前記スクリーンを撮影することによって撮影画像を取得する撮影手段と、を有する。
【００１７】
好ましくは、前記スクリーンに書き込まれた画像である書込画像を前記撮影画像と前記対象画像とを比較することによって検出する検出手段を有する。
【００１８】
または、前記補正手段は、前記補正画像を前記撮影手段の位置と前記スクリーンの位置との関係に基づいて算出する。
【００１９】
または、形状が長方形になるように前記書込画像を前記位置関係に基づいて補正することによって第二の補正画像を生成する第二の補正手段、を有する。さらに、前記対象画像に前記第二の補正画像を重ね合わせることによって記録用画像を生成する記録用画像生成手段、を有するのが、好ましい。
【００２０】
または、較正用のパターンを前記スクリーンへ投影し当該スクリーンを撮影することによって前記関係を表わすデータを生成する関係データ生成手段、を有し、前記補正手段は、前記データに基づいて前記補正画像を生成し、前記第二の補正手段は、前記データに基づいて前記第二の補正画像を生成する。または、前記スクリーンに対する前記撮影手段の光軸の角度を検出する角度手段、を有し、前記補正手段は、前記角度に基づいて前記補正画像を生成し、前記第二の補正手段は、前記角度に基づいて前記第二の補正画像を生成する。
【００２１】
または、前記投影手段および前記撮影手段は、水平方向に隣り合うように設けられている。または、前記投影手段および前記撮影手段は、共通のレンズを使用する。
【発明の効果】
【００２２】
本発明によると、解像度の低減を従来よりも抑えてスクリーンの画像を取得することができる。
【図面の簡単な説明】
【００２３】
【図１】会議システムの全体的な構成の例を示す図である。
【図２】第一のプロジェクタおよび第二のプロジェクタの外観の例を示す図である。
【図３】第一のプロジェクタのハードウェア構成の例を示す図である。
【図４】画像の歪みおよび補正の原理について説明するための図である。
【図５】補正用データ取得処理の流れの例を説明するフローチャートである。
【図６】補正用データを取得する処理を説明するための図である。
【図７】投影処理の流れの例を説明するフローチャートである。
【図８】対象画像を投影する処理を説明するための図である。
【図９】撮影処理の際の各画像の形態の例を示す図である。
【図１０】撮影処理の流れの例を説明するフローチャートである。
【図１１】投影および撮影の際の全体的な処理の流れの例を説明するフローチャートである。
【図１２】第二のプロジェクタのハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００２４】
図１は、会議システム４の全体的な構成の例を示す図である。図２は、第一のプロジェクタ１Ａおよび第二のプロジェクタ１Ｂの外観の例を示す図である。
【００２５】
図１に示す会議システム４は、会議の資料の画像を表示したり撮影したりするためのシステムである。会議システム４は、プロジェクタ１、端末装置２、およびスクリーン３などによって構成される。プロジェクタ１と端末装置２とは、有線または無線によって接続されている。
【００２６】
スクリーン３には、プロジェクタ１から出力された画像が表示される。スクリーン３として、専用のボードが用いられるが、ホワイトボードを用いてもよい。または、部屋の壁面を用いてもよい。
【００２７】
以下、スクリーン３としてホワイトボードが用いられる場合を例に説明する。よって、ユーザは、画像が表示されているときに、水性ペンでスクリーン３にメモを書き込むことができる。
【００２８】
プロジェクタ１は、投影部を有し、画像をスクリーン３に投影する。プロジェクタ１は、さらに、撮影部を有し、スクリーン３を撮影することによって、この画像とともにメモを記録することができる。
【００２９】
撮影部の撮影レンズおよび投影部の投影レンズとして図２（Ａ）のように別々のレンズを用いる第一のプロジェクタ１Ａと、図２（Ｂ）のように１枚のレンズを共通に用いる第二のプロジェクタ１Ｂとが、ある。
【００３０】
端末装置２は、スクリーン３に投影する画像の画像データをプロジェクタ１へ提供する。端末装置２として、パーソナルコンピュータ、スマートフォン、またはタブレットコンピュータなどが用いられる。
【００３１】
以下、第一のプロジェクタ１Ａおよび第二のプロジェクタ１Ｂのそれぞれについて、順次説明する。
【００３２】
〔第一のプロジェクタ〕
図３は、第一のプロジェクタ１Ａのハードウェア構成の例を示す図である。図４は、画像の歪みおよび補正の原理について説明するための図である。図５は、補正用データ取得処理の流れの例を説明するフローチャートである。図６は、補正用データ６１を取得する処理を説明するための図である。図７は、投影処理の流れの例を説明するフローチャートである。図８は、対象画像５２ａを投影する処理を説明するための図である。図９は、撮影処理の際の各画像の形態の例を示す図である。図１０は、撮影処理の流れの例を説明するフローチャートである。
【００３３】
プロジェクタ１Ａは、図３に示すように、制御部１０１、入出力インタフェース１０２、操作パネル１０３、投影部１２、第一の撮影部１３、第二の撮影部１０４、補正量算出部１０５、投影画像処理部１０６、記憶部１０７、撮影画像処理部１０８、手書オブジェクト検出部１０９、および記録画像生成部１１０などによって構成される。
【００３４】
補正量算出部１０５、投影画像処理部１０６、撮影画像処理部１０８、手書オブジェクト検出部１０９、および記録画像生成部１１０は、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などの回路である。機能については、後に順次説明する。
【００３５】
制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）などによって構成され、プロジェクタ１Ａの全体的な制御を行う。ＲＡＭには、メインプログラム１Ｐ０、補正用データ取得プログラム１Ｐ１、投影プログラム１Ｐ２、および撮影プログラム１Ｐ３などのコンピュータプログラムが記憶されている。これらのコンピュータプログラムは、必要に応じてＲＡＭにロードされ、ＣＰＵによって実行される。
【００３６】
入出力インタフェース１０２は、端末装置２との間でデータをやり取りするためのインタフェースである。入出力インタフェース１０２として、Ｄ−ＳＵＢ（D-Subminiature）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（High-Definition Multimedia Interface）、ＵＳＢ（Universal Serial Bus）、イーサネット、Ｂｌｕｅｔｏｏｔｈ、または無線ＬＡＮなどの規格のインタフェースが用いられる。ＨＤＭＩ、イーサネット、Ｂｌｕｅｔｏｏｔｈは、登録商標である。
【００３７】
操作パネル１０３は、ユーザが情報およびコマンドを入力するためのボタンを有し、入力された内容を制御部１０１へ通知する。
【００３８】
投影部１２は、透過型液晶方式の投影装置であって、光源１２１、投影素子１２２、および投影レンズ１２３などによって構成され、端末装置２から入力された画像をスクリーン３へ投影する。なお、この画像は、後述する投影画像処理部１０６によって補正される場合がある。
【００３９】
光源１２１は、ランプおよびミラーなどによって構成され、画像に応じた光を投影素子１２２に対して照射する。
【００４０】
投影素子１２２は、液晶パネルである。ランプから照射された光は、投影素子１２２によって量が調整され、投影レンズ１２３へ進む。
【００４１】
投影レンズ１２３は、投影素子１２２からの光を発散させ、スクリーン３へ照射する。これにより、画像がスクリーン３に表示される。
【００４２】
第一の撮影部１３は、スクリーン３を撮影するための撮影装置であって、撮影レンズ１３１および撮影素子１３２などによって構成される。
【００４３】
撮影レンズ１３１は、スクリーン３からの光を撮影素子１３２に収束させる。撮影素子１３２は、受光した光を電気信号に変換する。これにより、スクリーン３が撮影される。撮影素子１３２として、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサが用いられる。
【００４４】
なお、投影レンズ１２３と撮影レンズ１３１とは、図２（Ａ）に示すように水平方向に隣り合うように配置されており、一定の視差αがある。
【００４５】
ところで、画像の形状を補正することなくスクリーン３へ投影すると、画像が歪んで表示されてしまうことがある。その原因は、図４（Ａ）に示すように、第一のプロジェクタ１Ａの投影レンズ１２３の光軸がスクリーン３の投影面に直交しないからである。
【００４６】
例えば、図４（Ｂ）のように、長方形の画像５０ａを、形状を補正することなく投影すると、台形の画像５０ｂが投影される。
【００４７】
そこで、画像５０ａを図４（Ｃ）のような画像５０ｃに予め補正し、これを投影すれば、長方形の画像５０ｄが表示される。
【００４８】
このような公知の原理を用いて、制御部１０１、第二の撮影部１０４、補正量算出部１０５、および投影画像処理部１０６は、画像が歪んでスクリーン３に表示されないように、次のように処理を行う。
【００４９】
ユーザが第一のプロジェクタ１Ａをスクリーン３の前に設置し、操作パネル１０３に対して所定の操作を行うと、制御部１０１は、補正用データ取得プログラム１Ｐ１に基づいて、補正用のデータ（以下、「補正用データ６１」と記載する。）を取得する処理を、図５のフローチャートに示す手順で実行する。
【００５０】
制御部１０１は、較正用パターン画像５１ａを、形状を補正することなく投影するように、投影部１２を制御する（図５の＃７０１）。較正用パターン画像５１ａは、図６（Ａ）に示すように、全体が長方形でありかつ所定の大きさである、格子の模様の画像である。
【００５１】
すると、スクリーン３に較正用パターン画像５１ａが投影される。ただし、図６（Ｂ）のように、較正用パターン画像５１ａが歪んでしまうことが多い。以下、スクリーン３に表示されている較正用パターン画像５１ａを「較正用パターン画像５１ｂ」と記載する。
【００５２】
制御部１０１は、較正用パターン画像５１ｂを撮影するように第二の撮影部１０４を制御する（＃７０２）。しかし、第二の撮影部１０４のレンズの光軸がスクリーン３に垂直に交わらないことが多い。したがって、第二の撮影部１０４によって較正用パターン画像５１ｂを撮影すると、図６（Ｃ）に示すような、投影部１２、スクリーン３、および第二の撮影部１０４の位置関係に応じた形状の較正用パターン画像５１ｃの画像データが得られる。
【００５３】
制御部１０１は、較正用パターン画像５１ａと較正用パターン画像５１ｃとの差異を算出し（＃７０３）、算出した差異および投影部１２と第二の撮影部１０４との位置関係などに基づいて、公知のキーストーン補正の原理に基づいて、スクリーン３に対する投影レンズ１２３の光軸の角度（投影角度θ）を算出する（＃７０４）。このようにして得られた投影角度θが、補正用データ６１として記憶部１０７に記憶される（＃７０５）。
【００５４】
制御部１０１は、プレゼンテーションなどのためにスクリーン３へ投影する対象の画像（以下、「対象画像５２ａ」と記載する。）を投影する処理を、投影プログラム１Ｐ２に基づいて図７のフローチャートに示す手順で実行する。
【００５５】
制御部１０１は、図８（Ａ）のような対象画像５２ａが端末装置２から入力されると、対象画像５２ａの各画素をどれくらい縮小すればよいのか（つまり、補正量）を、補正量算出部１０５に算出させる（図７の＃７１１）。補正量算出部１０５は、補正用データ６１（投影角度θ）に基づいて、キーストーン方式によって補正量を算出する。
【００５６】
制御部１０１は、対象画像５２ａの補正を行うように、投影画像処理部１０６を制御する（＃７１２）。すると、投影画像処理部１０６は、算出された補正量に基づいて対象画像５２ａに対して、補正を行うことによって、図８（Ｂ）のような、台形の補正画像５２ｂを算出する。
【００５７】
そして、制御部１０１は、補正画像５２ｂをスクリーン３へ投影するように投影部１２を制御する（＃７１３）。すると、図８（Ｃ）のような、長方形の対象画像５２ｃが表示される。
【００５８】
このように、投影画像処理部１０６は、長方形の対象画像５２ｃが表示されるように、補正画像５２ｂを補正している。つまり、いわゆる逆の台形補正を行っている。この際に、公知のキーストーン補正の原理が用いられる。なお、対象画像５２ｃは、対象画像５２ａを縮小することによって得られたものなので、対象画像５２ａに比べて解像度が低くなっている。
【００５９】
制御部１０１は、対象画像５２ａの画像データを記憶部１０７に記憶させる（＃７１４）。
【００６０】
ユーザは、対象画像５２ｃがスクリーン３に表示されているときに、図９（Ａ）のように水性ペンでメモなどのオブジェクトをスクリーン３に書き込むことができる。そして、第一の撮影部１３によって、このオブジェクトを対象画像５２ｃとともに記録することができる。以下、手書きされたオブジェクトを「手書オブジェクト５３ｃ」と記載する。
【００６１】
対象画像５２ｃおよび手書オブジェクト５３ｃは、第一の撮影部１３によって撮影される。しかし、撮影された対象画像５２ｃおよび手書オブジェクト５３ｃは、歪んでしまう。そこで、撮影画像処理部１０８は、公知のキーストーン補正の原理を用いて、視差αおよび投影角度θなどに基づいて、撮影された対象画像５２ｃおよび手書オブジェクト５３ｃに対して、遠近法（perspective）に伴う台形歪み補正（以下、「台形補正」と記載する。）を施し、長方形になるように調整する。
【００６２】
ところで、対象画像５２ｃは、図８（Ａ）（Ｃ）に示したように、元の画像つまり対象画像５２ａよりも解像度が低くなっている。したがって、対象画像５２ａに小さな文字が含まれている場合は、対象画像５２ｃにおいて、ユーザがこの文字を認識しにくくなることがある。しかも、対象画像５２ｃを第一の撮影部１３によって撮影し、台形補正すると、対象画像５２ｃがさらに縮小され解像度が低くなってしまうので、なおさら、認識しにくくなる。
【００６３】
そこで、制御部１０１は、操作パネル１０３を介して所定のコマンドが入力された場合は、対象画像５２ｃおよび手書オブジェクト５３ｃを撮影する処理を、撮影プログラム１Ｐ３に基づいて、図１０に示すフローチャートの手順で実行する。
【００６４】
制御部１０１は、台形補正（逆の台形補正）を行うことなく（つまり、台形補正を解除して）対象画像５２ａを投影するように、投影部１２を制御する（図１０の＃７２１）。
【００６５】
すると、スクリーン３に対象画像５２ａが、図９（Ｂ）のように歪んで表示される。以下、表示された対象画像５２ａを「対象画像５２ｄ」と記載する。一方、手書オブジェクト５３ｃは、ユーザがスクリーン３に水性ペンで描いたものなので、台形補正を解除する前と同じ位置にあり、かつ、同じ形状のままである。
【００６６】
制御部１０１は、スクリーン３を撮影するように第一の撮影部１３を制御する（＃７２２）。すると、対象画像５２ｄおよび手書オブジェクト５３ｃが第一の撮影部１３によって１つの画像として撮影される。以下、撮影された画像を「撮影画像５２ｅ」と記載する。
【００６７】
撮影画像５２ｅは、図９（Ｃ）のように、スクリーン３における画像（対象画像５２ｄおよび手書オブジェクト５３ｃ）と比較し、位置および形状が変化している。しかし、撮影画像５２ｅのうち、対象画像５２ｄに相当する部分の形状は、元の画像つまり対象画像５２ａとほぼ同じである。
【００６８】
制御部１０１は、対象画像５２ｄから手書オブジェクト５３ｃに相当する部分（以下、「手書オブジェクト５３ｅ」と記載する。）を検出する処理を、手書オブジェクト検出部１０９に実行させる（＃７２３）。
【００６９】
すると、手書オブジェクト検出部１０９は、対象画像５２ｄと対象画像５２ａとを比較することによって、対象画像５２ｄに含まれているが対象画像５２ａに含まれていない画像を手書オブジェクト５３ｅとして検出（抽出）する。
【００７０】
さらに、手書オブジェクト検出部１０９は、図９（Ｄ）のように、手書オブジェクト５３ｅを投影角度θなどに基づいて台形補正することによって手書オブジェクト５３ｆを生成する（＃７２４）。具体的には、手書オブジェクト５３ｅをスクリーン３へ投影した場合に、スクリーン３に表示される画像を投影角度θなどに基づいて手書オブジェクト５３ｆとして算出する。
【００７１】
そして、制御部１０１は、手書オブジェクト５３ｆを対象画像５２ａに重ね合わせる（マージする）ことによって図９（Ｅ）のような記録画像５２ｆを生成する処理を、記録画像生成部１１０に実行させる（＃７２５）。
【００７２】
対象画像５２ａの中のどの位置に手書オブジェクト５３ｆを重ねればよいのかは、記録画像生成部１１０は、例えば次のように求めることができる。手書オブジェクト５３ｆの任意の点Ｐ１（例えば、左上隅の点）に対応する、撮影画像５２ｅにおける点Ｐ２を検出する。点Ｐ２に対応する、スクリーン３における点Ｐ３を、投影角度θなどに基づいて算出する。そして、点Ｐ３に対応する、対象画像５２ａにおける点Ｐ４を、投影角度θなどに基づいて算出する。記録画像生成部１１０は、手書オブジェクト５３ｆを、点Ｐ１が点Ｐ４に一致するように対象画像５２ａに重ね合わせる。
【００７３】
記録画像５２ｆは、画像データとして入出力インタフェース１０２によって外部の装置へ送信され、または、記憶部１０７に記憶される（＃７２６）。
【００７４】
図１１は、投影および撮影の際の全体的な処理の流れの例を説明するフローチャートである。
【００７５】
次に、第一のプロジェクタ１Ａにおける全体的な処理の流れを、図１１に示すフローチャートを参照しながら説明する。
【００７６】
第一のプロジェクタ１Ａは、電源がオンになると、メインプログラム１Ｐ０が起動する。そして、イベントが発生するごとに、メインプログラム１Ｐ０に基づいて図１１の処理を実行する。
【００７７】
ユーザによってスクリーン３の前に設置され調整用のコマンドが入力されると（図１１の＃１１でＹｅｓ）、第一のプロジェクタ１Ａは、補正用データ６１を生成する処理を行う（＃１２）。この処理の手順は、図５で説明した通りである。補正用データ６１が生成されると、プレゼンテーションモードになる。
【００７８】
プレゼンテーションモードにおいて、端末装置２から対象画像５２ａが入力されると（＃１３でＹｅｓ）、第一のプロジェクタ１Ａは、対象画像５２ａをスクリーン３へ投影する処理を行う（＃１４）。この処理の手順は、図７で説明した通りである。なお、複数のスライドからなる場合は、最初は、１番目のスライドを対象画像５２ａとして投影させる。
【００７９】
ユーザによって手書オブジェクト５３ｃがスクリーン３に書き込まれ撮影のコマンドが入力されると（＃１５でＹｅｓ）、撮影モードに切り換わり、第一のプロジェクタ１Ａは、スクリーン３を撮影する処理を行う（＃１６）。この処理の手順は、前に図１０で説明した通りである。したがって、台形補正（逆の台形補正）が解除されて対象画像５２ａが投影されるので、対象画像５２ａが歪んで表示される。撮影後、プレゼンテーションモードに切り換わり、ステップ＃１４に戻って、再び台形補正を行って投影し直す。
【００８０】
ユーザによって次ページへ進むコマンドが入力された場合は（＃１７でＹｅｓ）、直近に表示したスライドに変えて、次のスライドを対象画像５２ａとして投影する処理を実行する（＃１４）。
【００８１】
〔第二のプロジェクタ１Ｂ〕
図１２は、第二のプロジェクタ１Ｂのハードウェア構成の例を示す図である。
【００８２】
図２（Ａ）に示したように、第一のプロジェクタ１Ａの投影レンズ１２３および撮影レンズ１３１には、水平方向に視差αがある。よって、投影レンズ１２３と撮影レンズ１３１とを結ぶ線がスクリーン３の表示面に平行でなければ、対象画像５２ｄおよび対象画像５２ａの形状が相違し、両画像の比較ができないことがある。
【００８３】
一方、第二のプロジェクタ１Ｂは、図２（Ｂ）に示したように、投影部および撮影部が１枚のレンズを共用するので、第一のプロジェクタ１Ａの正面がスクリーン３の表示面に平行でなくても、第一のプロジェクタ１Ａよりも確実に手書オブジェクト５３ｅを検出することができる。
【００８４】
以下、第二のプロジェクタ１Ｂの仕組みについて、説明する。第一のプロジェクタ１Ａと重複する点については、説明を省略する。
【００８５】
第二のプロジェクタ１Ｂは、図１２に示すように、制御部１５１、入出力インタフェース１５２、操作パネル１５３、投影部１６、第一の撮影部１７、共用光学系１８、第二の撮影部１５４、補正量算出部１５５、投影画像処理部１５６、記憶部１５７、撮影画像処理部１５８、手書オブジェクト検出部１５９、および記録画像生成部１５０などによって構成される。
【００８６】
制御部１５１、入出力インタフェース１５２、および操作パネル１５３の機能は、第一のプロジェクタ１Ａの制御部１０１、入出力インタフェース１０２、および操作パネル１０３と同様である。
【００８７】
投影部１６は、第一のプロジェクタ１Ａの投影部１２と同様、透過型液晶方式の投影装置であって、光源１６１および投影素子１６２などを有する。ただし、光学系を第一の撮影部１７と共用する。光源１６１および投影素子１６２それぞれの機能は、第一のプロジェクタ１Ａの光源１２１および投影素子１２２の機能と同様である。
【００８８】
第一の撮影部１７は、第一のプロジェクタ１Ａの第一の撮影部１３と同様、スクリーン３を撮影するための撮影装置であって、撮影素子１７２などを有する。ただし、光学系を投影部１６と共用する。撮影素子１７２の機能は、第一のプロジェクタ１Ａの撮影素子１３２の機能と同様である。
【００８９】
共用光学系１８は、投影部１６および第一の撮影部１７の共用の光学系であって、ミラー１８１、１８２、１８３、ハーフミラー１８４、およびレンズ１８５などによって構成される。
【００９０】
光源１６１が発した光は、投影素子１６２を透過する。そして、ミラー１８１、１８２で反射し、ハーフミラー１８４を透過し、レンズ１８５によって拡散されてスクリーン３へ照射される。これにより、画像がスクリーン３に表示される。
【００９１】
また、撮影時において、スクリーン３からの光は、レンズ１８５によって収束され、ハーフミラー１８４を透過し、ミラー１８３を反射して撮影素子１３２に届く。そして、撮影素子１７２は、受光した光を電気信号に変換する。これにより、スクリーン３が撮影される。
【００９２】
ハーフミラー１８４の透過率は、５０％である。投影素子１６２からレンズ１８５までの光路の距離とレンズ１８５から撮影素子１７２までの考慮の距離とは、等しい。
【００９３】
補正用データを生成する処理、プレゼンテーションのために対象画像を投影する処理、および記録のために対象画像および手書オブジェクトを撮影する処理の手順は、第一のプロジェクタ１Ａにおけるそれぞれの処理の手順と同様である（図５、図７、図１０参照）。したがって、各処理において、第一のプロジェクタ１Ａを使用した場合と同様の画像がスクリーン３に表示され、同様の画像が撮影される。第二のプロジェクタ１Ｂの全体的な処理の流れも、第一のプロジェクタ１Ａを使用した場合と同様であり、図１１で説明した通りである。つまり、補正量算出部１５５、投影画像処理部１５６、記憶部１５７、撮影画像処理部１５８、手書オブジェクト検出部１５９、および記録画像生成部１５０は、それぞれ、補正量算出部１０５、投影画像処理部１０６、記憶部１０７、撮影画像処理部１０８、手書オブジェクト検出部１０９、および記録画像生成部１１０と同様に機能する。ただし、第一のプロジェクタ１Ａとは異なり、投影部１６と第一の撮影部１７とに視差がないので、台形補正を行う際に視差を考慮しない。
【００９４】
本実施形態によると、解像度の低減を従来よりも抑えつつ、スクリーン３に表示された画像を撮影することができる。さらに、撮影した画像から手書オブジェクトを検出し、元の画像にマージして記録しておくことができる。
【００９５】
本実施形態では、補正用データ６１を生成するために第二の撮影部１０４または１５４によって較正用パターン画像を撮影したが、第一の撮影部１３または１７によって撮影してもよい。または、スクリーン３と第一のプロジェクタ１Ａまたは１Ｂとの位置関係が固定的であり、両者の距離を予め把握することができるのであれば、傾斜角センサによって投影角度θを計測してもよい。
【００９６】
または、ユーザが、スクリーン３に表示された較正用パターン画像を見ながら、較正用パターン画像が長方形で表示されるように手動で調整してもよい。そして、プロジェクタ１は、その調整量を示すデータを、補正用データ６１として記憶し使用すればよい。
【００９７】
投影部１２または１６による投影の範囲が第一の撮影部１３または１７による撮影の範囲と同一であってもよいし、撮影の範囲を広くして投影の範囲が撮影の範囲に含まれるようにしてもよい。
【００９８】
本実施形態では、補正量算出部１０５、１５５、投影画像処理部１０６、１５６、撮影画像処理部１０８、１５８、手書オブジェクト検出部１０９、１５９、および記録画像生成部１１０、１５０をＡＳＩＣまたはＦＰＧＡなどの回路によって実現したが、これらの全部または一部は、ソフトウェアモジュールであってもよい。つまり、各部の処理を記述したコンピュータプログラムを用意し、コンピュータプログラムを制御部１０１に実行させることによって各部を実現してもよい。
【００９９】
本実施形態では、スクリーン３に手書オブジェクト５３ｃが１つだけ書き込まれた場合を例に説明したが、複数書き込まれた場合にも、本発明を適用することができる。この場合は、手書オブジェクト５３ｃごとに台形補正を行い、対象画像５２ａへマージすればよい。
【０１００】
第一のプロジェクタ１Ａの投影角度θだけでなく撮影角度γをも算出し、投影角度θ、撮影角度γ、および視差αに基づいて各画像（較正用パターン画像、対象画像、手書オブジェクト）の台形補正を行ってもよい。
【０１０１】
その他、会議システム４、第一のプロジェクタ１Ａ、第二のプロジェクタ１Ｂの全体または各部の構成、処理内容、処理順序、画像などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【０１０２】
１  プロジェクタ
１２  投影部（投影手段）
１３  第一の撮影部（撮影手段）
１０１  制御部（関係データ生成手段）
１０６  投影画像処理部（補正手段）
１０９  手書オブジェクト検出部（検出手段、第二の補正手段）
１１０  記録画像生成部（記録用画像生成手段）
１８５  レンズ
５２ａ  対象画像
５２ｂ  補正画像
５２ｄ  対象画像（撮影画像）
５２ｆ  記録画像（記録用画像）
手書オブジェクト５３ｅ（書込画像）
【図１】
2015220503.tif 000003
【図２】
2015220503.tif 000004
【図３】
2015220503.tif 000005
【図４】
2015220503.tif 000006
【図５】
2015220503.tif 000007
【図６】
2015220503.tif 000008
【図７】
2015220503.tif 000009
【図８】
2015220503.tif 000010
【図９】
2015220503.tif 000011
【図１０】
2015220503.tif 000012
【図１１】
2015220503.tif 000013
【図１２】
2015220503.tif 000014