(57)【要約】【課題】スクリーン上に表示された投写映像と筆記画像とを１つの画像として良好な画質で再現することが可能な投写型映像表示装置を簡易な構成で提供する。【解決手段】プロジェクタは、スクリーンの撮像画像に基づいて、投写領域をスクリーン領域に合わせるように投写領域の歪みを補正するための画像歪み補正情報を生成する。プロジェクタは、撮像部に撮像を行なわせるための撮像指示を受け付けるための指示受付手段と、撮像指示を受けたときに、撮像部によりスクリーンの撮像画像を生成するための撮像手段と、撮像手段により生成されたスクリーンの撮像画像からスクリーン領域を抽出するための抽出手段と、上記抽出手段によって抽出されたスクリーン領域を、画像歪み補正情報に基づいて補正することにより、スクリーンの表示内容を表わす画像信号を生成するための画像生成手段とを備える。【選択図】図１１
2012220709.tif 000002
【特許請求の範囲】
【請求項１】
入力される映像信号に基づく映像光をスクリーンに投写する投写部と、前記スクリーンを撮像して、撮像画像を生成するための撮像部と、前記撮像画像に基づいて、前記映像光の投写領域をスクリーン領域に合わせるように前記映像信号を補正するための歪み補正部とを備えた投写型映像表示装置であって、
前記歪み補正部は、前記撮像画像に基づいて、前記投写領域を前記スクリーン領域に合わせるように前記映像光の歪みを補正するための画像歪み補正情報を生成するように構成され、
前記撮像部により生成された前記スクリーンの撮像画像から前記スクリーン領域を抽出するための抽出手段と、
前記抽出手段によって抽出された前記スクリーン領域を、前記画像歪み補正情報に基づいて補正することにより、前記スクリーンの表示内容を表わす画像信号を生成するための画像生成手段とを備える、投写型映像表示装置。
【請求項２】
前記歪み補正部は、
前記撮像画像における前記スクリーン領域の位置情報を示すスクリーン領域情報を生成するスクリーン領域情報生成手段と、
前記撮像画像における前記投写領域の位置情報を示す投写領域情報を生成する投写領域情報生成手段と、
前記スクリーン領域情報と、前記投写領域情報とに基づいて、前記画像歪み補正情報を生成する補正情報生成手段とを含み、
前記抽出手段は、前記スクリーン領域情報に基づいて、前記撮像画像から前記スクリーン領域を抽出する、請求項１に記載の投写型映像表示装置。
【請求項３】
前記撮像部に撮像を行なわせるための撮像指示を受け付けるための指示受付手段と、
前記撮像指示を受けたときに、前記撮像部により前記スクリーンの撮像画像を生成するための撮像手段と、
前記撮像指示を受けたときに、前記投写部による前記映像信号に基づく映像光の投写を一時的に停止させるための停止手段と、
前記画像生成手段により生成された前記スクリーンの表示内容を表わす画像信号から、前記スクリーンに筆記された画像を表わす筆記画像信号を抽出する筆記画像抽出手段と、
前記筆記画像抽出手段により抽出された前記筆記画像信号と、前記映像信号とを合成するための画像合成手段とをさらに備える、請求項１または２に記載の投写型映像表示装置。
【請求項４】
前記投写型映像表示装置の配置される位置が変更されたことを検出するための配置変更検出部をさらに備え、
前記歪み補正部は、前記投写型映像表示装置の配置される位置が変更されたことが検出されると、変更後の配置位置に対応する前記画像歪み補正情報を生成する、請求項１に記載の投写型映像表示装置。
【請求項５】
入力される映像信号に基づく映像光をスクリーンに投写する投写部と、前記スクリーンを撮像して、撮像画像を生成するための撮像部とを備えた投写型映像表示装置の制御方法であって、
前記撮像画像に基づいて、前記映像光の投写領域をスクリーン領域に合わせるように前記映像信号を補正するステップを備え、
前記補正するステップは、前記撮像画像に基づいて、前記投写領域を前記スクリーン領域に合わせるように前記映像光の歪みを補正するための画像歪み補正情報を生成し、
前記撮像部により前記スクリーンの撮像画像を生成するステップと、
前記生成されたスクリーンの撮像画像から前記スクリーン領域を抽出するステップと、
前記抽出されたスクリーン領域を、前記画像歪み補正情報に基づいて補正することにより、前記スクリーンの表示内容を表わす画像信号を生成するステップとをさらに備える、投写型映像表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、投写型映像表示装置およびその制御方法に関し、より特定的には、投写画像の状態を自動的に調整する機能を備えた投写型映像表示装置およびその制御方法に関する。
【背景技術】
【０００２】
投写型映像表示装置（以下、プロジェクタという）に入力される映像信号に基づく画像を、ホワイトボードに投写させるとともに、プレゼンタが、補足説明のための文字等をホワイトボードに書込みながら投写画像の説明を行なうプレゼンテーションシステムが広く普及している。
【０００３】
このプレゼンテーションシステムでは、投写画像に文字等の筆記された状態を１つの画像として紙媒体や電子媒体に保管するために、ホワイトボード上に筆記された画像をスキャナによって読み取り、読み取った画像をプリンタに出力するよう構成された電子黒板が利用されていた。あるいは、ホワイトボードに投写されている画像と、ホワイトボード上に筆記された画像とをデジタルカメラで撮像する方法が採られていた。
【０００４】
ホワイトボード上に筆記された画像を複写可能な電子黒板として、たとえば特開２００４−３１２４３６号公報（特許文献１）には、ホワイトボードの前方上方に設置され、ホワイトボードの表示内容を撮像する電子カメラを備えた電子黒板を開示する。この特許文献１の電子黒板は、電子カメラが撮像した画像の画像歪みを補正する歪み補正処理回路と、当該歪み補正処理回路の出力画像を複写するプリンタとを備える。歪み補正処理回路は、ホワイトボードの斜め前方からホワイトボード上の画像を読み取った台形歪みを含んだ画面を、歪みのない画面に補正してプリンタへ送出するように構成される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３１２４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のプレゼンテーションシステムでは、上述した電子黒板のような専用のホワイトボードが必要となる。また、ホワイトボードをデジタルカメラで撮像する方法では、撮像した画像から不要な部分を削除する、画像の歪みを補正するといった修正作業が必要となる。したがって、良好な画質の画像を簡易な構成で取得することが困難となっていた。
【０００７】
それゆえ、この発明は、かかる課題を解決するためになされたものであり、その目的は、スクリーン上に表示された投写映像と筆記画像とを１つの画像として良好な画質で再現することが可能な投写型映像表示装置を簡易な構成で提供することである。
【課題を解決するための手段】
【０００８】
この発明のある局面に従えば、投写型映像表示装置は、入力される映像信号に基づく映像光をスクリーンに投写する投写部と、スクリーンを撮像して、撮像画像を生成するための撮像部と、撮像画像に基づいて、映像光の投写領域をスクリーン領域に合わせるように映像信号を補正するための歪み補正部とを備える。歪み補正部は、撮像画像に基づいて、投写領域をスクリーン領域に合わせるように映像光の歪みを補正するための画像歪み補正情報を生成するように構成される。投写型映像表示装置は、撮像部により生成されたスクリーンの撮像画像からスクリーン領域を抽出するための抽出手段と、抽出手段によって抽出されたスクリーン領域を、画像歪み補正情報に基づいて補正することにより、スクリーンの表示内容を表わす画像信号を生成するための画像生成手段とを備える。
【０００９】
好ましくは、歪み補正部は、撮像画像におけるスクリーン領域の位置情報を示すスクリーン領域情報を生成するスクリーン領域情報生成手段と、撮像画像における投写領域の位置情報を示す投写領域情報を生成する投写領域情報生成手段と、スクリーン領域情報と、投写領域情報とに基づいて、画像歪み補正情報を生成する補正情報生成手段とを含む。抽出手段は、スクリーン領域情報に基づいて、撮像画像からスクリーン領域を抽出する。
【００１０】
好ましくは、投写型映像表示装置は、撮像部に撮像を行なわせるための撮像指示を受け付けるための指示受付手段と、撮像指示を受けたときに、撮像部によりスクリーンの撮像画像を生成するための撮像手段と、撮像指示を受けたときに、投写部による映像信号に基づく映像光の投写を一時的に停止させるための停止手段と、画像生成手段により生成されたスクリーンの表示内容を表わす画像信号から、スクリーンに筆記された画像を表わす筆記画像信号を抽出する筆記画像抽出手段と、筆記画像抽出手段により抽出された筆記画像信号と、映像信号とを合成するための画像合成手段とをさらに備える。
【００１１】
好ましくは、投写型映像表示装置は、投写型映像表示装置の配置される位置が変更されたことを検出するための配置変更検出部をさらに備える。歪み補正部は、投写型映像表示装置の配置される位置が変更されたことが検出されると、変更後の配置位置に対応する画像歪み補正情報を生成する。
【００１２】
この発明の別の局面に従えば、入力される映像信号に基づく映像光をスクリーンに投写する投写部と、スクリーンを撮像して、撮像画像を生成するための撮像部とを備えた投写型映像表示装置の制御方法であって、撮像画像に基づいて、映像光の投写領域をスクリーン領域に合わせるように映像信号を補正するステップを備える。補正するステップは、撮像画像に基づいて、投写領域をスクリーン領域に合わせるように映像光の歪みを補正するための画像歪み補正情報を生成する。制御方法は、撮像部によりスクリーンの撮像画像を生成するステップと、生成されたスクリーンの撮像画像からスクリーン領域を抽出するステップと、抽出されたスクリーン領域を、画像歪み補正情報に基づいて補正することにより、スクリーンの表示内容を表わす画像信号を生成するステップとをさらに備える。
【発明の効果】
【００１３】
この発明によれば、投写映像と筆記画像とを１つの画像として良好な画質で再現することが可能な投写型映像表示装置を簡易な構成で実現することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の実施の形態１に係るプロジェクタの主要部の構成を模式的に示す図である。
【図２】本実施の形態１に係るプロジェクタの概略構成を示すブロック図である。
【図３】本実施の形態１に係るプロジェクタの制御構造を説明する図である。
【図４】本実施の形態における画像歪み補正処理を説明する概念図である。
【図５】画像歪み補正処理における４点補正値の算出処理を説明するフローチャートである。
【図６】較正用パターンの一例を示す図である。
【図７】筆記面とプロジェクタとの位置関係の算出方法を説明する図である。
【図８】筆記面とプロジェクタとの位置関係の算出方法を説明する図である。
【図９】筆記面とプロジェクタとの位置関係の算出方法を説明する図である。
【図１０】本実施の形態１に係る画像生成処理を説明するフローチャートである。
【図１１】図１０の画像生成処理を説明するための概念図である。
【図１２】本実施の形態２に係るプロジェクタの制御構造を説明する図である。
【図１３】本実施の形態２に係る画像生成処理を説明するフローチャートである。
【図１４】図１３の画像生成処理を説明するための概念図である。
【図１５】本実施の形態２の変更例に係るプロジェクタの概略を示す図である。
【図１６】本実施の形態２の変更例に係る画像生成処理を説明するための概念図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当する部分には同一符号を付してその説明は繰返さない。
【００１６】
［実施の形態１］
図１は、この発明の実施の形態に係る投写型映像表示装置（以下、「プロジェクタ」という）がホワイトボード４００に映像光を投写している様子を説明する図である。
【００１７】
図１を参照して、ホワイトボード４００は、文字または図形を筆記可能な面４１０を有している。プロジェクタ１００は、入力された映像信号に基づく画像を、ホワイトボード４００の筆記面４１０上に投写する。同図において、この筆記面４１０上には、プロジェクタ１００によって投写された映像（以下、投写画像という）４２０とともに、投写画像４２０と重畳するように筆記された画像（以下、筆記画像という）Ｄ１〜Ｄ３が表示されている。
【００１８】
プロジェクタ１００は、撮像部３００を備える。撮像部３００は、たとえばＣＣＤ（Charge Couple Device）センサ、あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等からなる撮像素子と、撮像素子の前方に配置された撮像レンズ等を備えている。撮像部３００は、ホワイトボード４００の筆記面４１０および投写画像４２０を少なくとも含む範囲を撮像する。撮像部３００は、その撮像画像を示す画像データ（以下、撮像データという）を生成する。なお、撮像部３００は、図１に示すようにプロジェクタ１００に併設されていてもよく、プロジェクタ１００に内蔵されていてもよい。
【００１９】
本実施の形態では、ホワイトボード４００の筆記面４１０は矩形であり、プロジェクタ１００は、筆記面４１０をスクリーンとして映像光を投写することができる。プロジェクタ１００が映像光を投写可能な範囲（以下、投写領域という）は、矩形状の筆記面４１０の外枠等で囲まれたスクリーン領域内に形成される。
【００２０】
図１に示す構成において、プロジェクタ１００の光軸と筆記面４１０の法線とが一致しない場合には、投写画像の領域である投写領域４２０に歪みが生じる。本実施の形態に係るプロジェクタ１００は、撮像部３００で生成された撮像データに基づいて、この投写領域４２０の歪みを自動的に補正する画像歪み補正処理を実行する。この画像歪み補正処理において、プロジェクタ１００は、後述する方法によって、撮像画像における投写領域４２０の位置およびスクリーン領域（筆記面）４１０の位置に基づいて、投写領域４２０をスクリーン領域４１０に合わせるように画像歪み補正情報を生成する。
【００２１】
さらに、本実施の形態に係るプロジェクタ１００は、画像歪み補正処理において生成された画像歪み補正情報を用いて、筆記面４１０上に表示された投写画像４２０および筆記画像Ｄ１〜Ｄ３を撮像したときの撮像データに基づいて、投写画像４２０および筆記画像Ｄ１〜Ｄ３を１つの画像とする画像データを生成することができる。
【００２２】
（プロジェクタの構成）
以下、本実施の形態１に係るプロジェクタ１００について、図面を参照しながら説明する。図２は、本実施の形態１に係るプロジェクタ１００の概略構成を示すブロック図である。
【００２３】
図２を参照して、プロジェクタ１００は、投写ユニット１１０と、照明装置１２０とを備える。
【００２４】
投写ユニット１１０は、照明装置１２０から出射された映像光をスクリーン領域４１０（図１）に投写する。
【００２５】
照明装置１２０は、光源１０と、ＵＶ／ＩＲカットフィルタ２０と、フライアイレンズユニット３０と、ＰＢＳ（偏光ビームスプリッタ）アレイ４０と、複数の液晶パネル５０（液晶パネル５０Ｒ、液晶パネル５０Ｇおよび液晶パネル５０Ｂ）と、クロスダイクロイックプリズム６０とを含む。照明装置１２０は、ミラー群（ミラー７１〜７６）およびレンズ群（レンズ８１〜８５）をさらに含む。
【００２６】
光源１０は、白色光を発する光源であって、たとえば超高圧水銀ランプ、メタルハライドランプ、キセノンランプなどの光源ランプからなる。
【００２７】
ＵＶ／ＩＲカットフィルタ２０は、光源１０から出射される光のうち可視光波長域の光（以下、可視光という）を透過し、不可視光波長域の光(以下、「不可視光」という）を遮光する。可視光は、赤色波長域の光（以下、「Ｒ光」という）、緑色波長域の光（以下、「Ｇ光」という）および青色波長域の光（以下、「Ｂ光」という）を含む。不可視光の光は、赤外光、遠赤外光および紫外光を含む。
【００２８】
フライアイレンズユニット３０は、蝿の目状のレンズ群からなるフライアイレンズ３１，３２を備え、液晶パネル５０Ｒ，５０Ｇ，５０Ｂに入射する光の光量分布が均一となるよう、ＵＶ／ＩＲカットフィルタ２０を透過した光に光学作用を付与する。
【００２９】
ＰＢＳアレイ４０は、複数のＰＢＳと１／２波長板がアレイ状に配列されたものであり、フライアイレンズユニット３０から入射された光の偏光方向を一方向（Ｓ偏光（またはＰ偏光）に揃える。コンデンサレンズ８１は、ＰＢＳアレイ４０から入射された光に集光作用を付与する。コンデンサレンズ８１を透過した光は、ミラー７３に入射する。
【００３０】
ミラー７３は、コンデンサレンズ８１から入射された光（Ｒ光、Ｇ光、Ｂ光）を反射する。ミラー７３で反射された光は、コンデンサレンズ８２により集光作用を付与された後に、ダイクロイックミラー７１に入射する。
【００３１】
ダイクロイックミラー７１は、コンデンサレンズ８２から入射された光のうち、Ｂ光のみを透過し、Ｒ光およびＧ光を反射する。ダイクロイックミラー７１を透過したＢ光は、ミラー７４に導かれ、そこで反射され、コンデンサレンズ８３Ｂに入射される。
【００３２】
コンデンサレンズ８３Ｂは、Ｂ光がほぼ平行光で液晶パネル５０Ｂに入射するよう、Ｂ光に光学作用を付与する。コンデンサレンズ８３Ｂを透過したＢ光は、入射側偏光板５２Ｂを介して液晶パネル５０Ｂに入射される。液晶パネル５０Ｂは、青色用の映像信号に応じて駆動され、その駆動状態に応じてＢ光を変調する。液晶パネル５０Ｂによって変調されたＢ光は、出射側偏光板５３Ｂを介して、クロスダイクロイックプリズム６０に入射される。
【００３３】
ダイクロイックミラー７１によって反射された光のうちＧ光は、ダイクロイックミラー７２によって反射され、コンデンサレンズ８３Ｇに入射される。コンデンサレンズ８３Ｇは、Ｇ光がほぼ平行光で液晶パネル５０Ｇに入射するよう、Ｇ光に光学作用を付与する。コンデンサレンズ８３Ｇを透過したＧ光は、入射側偏光板５２Ｇを介して液晶パネル５０Ｇに入射される。液晶パネル５０Ｇは、緑色用の映像信号に応じて駆動され、その駆動状態に応じてＧ光を変調する。液晶パネル５０Ｇによって変調されたＧ光は、出射側偏光板５３Ｇを介して、クロスダイクロイックプリズム６０に入射される。
【００３４】
ダイクロイックミラー７２を透過したＲ光は、コンデンサレンズ８４に入射される。コンデンサレンズ８４は、Ｒ光がほぼ平行光で液晶パネル５０Ｒに入射するよう、Ｒ光に光学作用を付与する。コンデンサレンズ８４を透過したＲ光は、光路長調整用のリレーレンズ８５，８３Ｒと２つのミラー７５，７６とからなる光路を進み、入射側偏光板５２Ｒを介して液晶パネル５０Ｒに入射される。液晶パネル５０Ｒは、赤色用の映像信号に応じて駆動され、その駆動状態に応じてＲ光を変調する。液晶パネル５０Ｒによって変調されたＲ光は、出射側偏光板５３Ｒを介して、クロスダイクロイックプリズム６０に入射される。
【００３５】
クロスダイクロイックプリズム６０は、液晶パネル５０Ｂ，５０Ｇ，５０Ｒによって変調されたＢ光、Ｇ光およびＲ光を色合成し、投写ユニット１１０へと入射させる。投写ユニット１１０は、投写光を投写面上に結像させるためのレンズ群と、これらレンズ群の一部を光軸方向に変位させて投写画像のズーム状態およびフォーカス状態を調整するためのアクチュエータを備えている。クロスダイクロイックプリズム６０によって色合成された光は、投写ユニット１１０によって、投写面上に拡大投写される。
【００３６】
図３は、本実施の形態１に係るプロジェクタ１００の制御構造を説明する図である。
図３を参照して、プロジェクタ１００は、投写ユニット１１０（図２）と、照明装置１２０（図２）と、映像信号受信部２００と、素子制御部２１０と、較正部２２０と、投写ユニット制御部２３０と、操作受付部２４０と、メモリ２１２，２２２と、画像生成部２５０と、出力部２９０とを備える。
【００３７】
操作受付部２４０は、ユーザが操作するリモコンから送信される赤外線変調されるリモコン信号を受信する。なお、操作受付部２４０は、リモコン信号を受信するだけでなく、プロジェクタ１００の本体に設けられ、プロジェクタ１００を操作するための複数の操作用ボタンを有する操作部（図示せず）からの信号を受付けることができる。操作受付部２４０は、リモコンあるいは操作部への操作がなされると、当該操作を受付け、制御部３０への各種動作のトリガとなるコマンド信号を送る。
【００３８】
映像信号受信部２００は、図示しない入力部から与えられる映像信号を受信する。映像信号受信部２００は、受信したアナログ映像信号をデジタル信号に変換するＡＤＣ（Analog Digital Converter）機能と、ＨＤＣＰ（High-Bandwidth Digital Content Projection System）に従う認証機能および暗号の復号機能とを有する。なお、ＨＤＣＰとは、ＨＤＭＩ（High Definition Multimedia Interface）に従って伝送されるデータの暗号化を実現するために用いられる。これにより、デジタル伝送路上を伝送される映像信号などのコンテンツが不正にコピーされるのを防止できる。なお、デジタル伝送路は、ＨＤＭＩに従ってデータまたは信号を伝送する経路であるとしているが、ＤＶＩ（Digital Visual Interface）に従う伝送経路であってもよい。
【００３９】
映像信号受信部２００は、受信した映像信号を、表示のための信号に処理して出力する。具体的には、映像信号受信部２００は、受信した映像信号を１フレーム（１画面）ごとにフレームメモリ（図示せず）に書込むとともに、フレームメモリに記憶された映像を読出す。そして、この書込みと読出しとの処理の過程において、各種の画像処理を施すことにより、映像信号受信部２００は、受信した映像信号を変換して投写用の表示映像信号を生成する。なお、映像信号受信部２００が行なう画像処理には、投写領域４２０（図１）のサイズを拡大または縮小させるための画像サイズ調整処理が含まれる。
【００４０】
素子制御部２１０は、映像信号受信部２００から出力される表示映像信号に従って、照明装置１２０による映像の表示動作を制御するための制御信号を生成する。具体的には、素子制御部２１０は、表示映像信号に応じて照明装置１２０内部の液晶パネル５０Ｒ，５０Ｇ，５０Ｂを駆動制御する。これにより、光源１０から出射された光は、液晶パネル５０Ｒ，５０Ｇ，５０Ｂを透過することによって変調され、表示映像信号に応じた映像光が色光ごとに形成される。形成された各色の映像光は、クロスダイクロイックプリズム６０(図２）によって合成されてカラー画像を表わす映像光となった後、投写ユニット１１０によって投写面上に拡大投写される。
【００４１】
また、素子制御部２１０は、照明装置１２０内部の光源１０の出射光量を制御する。これにより、たとえば、視聴者がリモコン（リモートコントローラの略）等を操作して、投写映像の明るさの調整を指示した場合には、素子制御部２１０は、その指示に基づく操作信号に応じた出射光量の指令値を生成して照明装置１２０へ出力する。素子制御部２１０から与えられた出射光量の指令値に従って光源１０が出射光量を調整することにより、投写映像の明るさが変化する。なお、光源１０の出射光量の調整は、視聴者の指示に従って行なう構成とする以外に、表示映像信号の平均的な明るさに応じて自動的に制御する構成としてもよい。
【００４２】
較正部２２０は、操作受付部２４０の指示に従って、投写画像の状態（投写画像の歪み状態、表示位置、ズーム状態およびフォーカス状態など）の自動調整を行なうことによって、最も良好な状態を判定し、その判定結果に基づいて投写画像の状態を補正するための画像補正情報を生成する。具体的には、較正部２２０は、操作受付部２４０を介して投写画像の自動調整が指示されると、所定の較正用パターンを投写面（筆記面４１０）に投写させる。この較正用パターンは、投写画像の状態を認識するために予めメモリ２１２に記憶されている画像である（図６参照）。
【００４３】
なお、較正部２２０は、操作受付部２４０から指示される場合の他に、プロジェクタ１００の配置が変更されたことが図示しない傾斜センサ等によって検出された場合において、投写画像の自動調整を実行することができる。
【００４４】
撮像部３００は、較正部２２０の指示に基づいて、筆記面４１０を撮像する。撮像部３００は、筆記面４１０の撮像画像を表わす画像データ（撮像データ）を生成して較正部２２０へ出力する。
【００４５】
較正部２２０は、撮像データに基づいて、投写画像の調整に必要となる画像補正情報を生成する。この画像補正情報には、スクリーン領域４１０（図１）に投写領域４２０を合わせるための画像歪み補正情報が含まれる。本実施の形態では、較正部２２０は、画像歪み補正用情報として、投写領域４２０の４隅を補正点として投写領域の４２０の歪みを補正するための補正点の移動量（以下、「４点補正値」ともいう）を生成する。
【００４６】
較正部２２０はさらに、画像補正情報として、上記の４点補正値の他に、スクリーン領域４１０内にできるだけ大きな画像を投写するように投写領域４２０のズーム状態を調整するためのズーム倍率および、投写面上における投写領域４２０の位置を垂直方向および水平方向に調整するためのレンズシフト量を生成する。較正部２２０は、画像補正情報のうちのズーム倍率およびレンズシフト量を投写ユニット制御部２３０に与える。また、較正部２２０は、画像補正情報のうちの４点補正値を素子制御部２１０に与える。
【００４７】
素子制御部２１０は、較正部２２０から与えられる４点補正値に基づいて、投写領域４２０（図１）の歪みを補正すべく、表示映像信号を補正する。具体的には、素子制御部２１０は、液晶パネル５０Ｒ，５０Ｇ，５０Ｂの画素領域内に、４点補正値に基づく形状、すなわち画像歪みを相殺可能な形状の画像形成領域を設定する。そして、素子制御部２１０は、この画像形成領域内に入力映像が形成されるように、表示映像信号を補正する。このとき、素子制御部２１０は、画像形成領域の外側の領域を無効とすべく、画像形成領域外の画素については、黒色の画素値、つまり、光透過率が最小となる画素値に設定する。素子制御部２１０は、補正した表示映像信号を照明装置１２０へ出力する。
【００４８】
投写ユニット制御部２３０は、較正部２２０から与えられるズーム倍率およびレンズシフト量に基づいて、投写ユニット１１０の位置を調整する。具体的には、投写ユニット制御部２３０は、ズーム倍率に従って、投写ユニット１１０に含まれるレンズを光軸の方向に移動させる。また、投写ユニット制御部２３０は、レンズシフト量に従って、光軸中心から一定範囲内で当該レンズをシフトさせる。
【００４９】
（画像歪み補正処理）
以下に、本実施の形態に係る画像歪み補正処理において、画像歪み補正情報として用いられる４点補正値について、図面を参照して説明する。
【００５０】
図４は、本実施の形態における画像歪み補正処理を説明する概念図である。図５は、画像歪み補正処理における４点補正値の算出処理を説明するフローチャートである。
【００５１】
図４には、撮像部３００で撮像した画像の一例が示される。撮像部３００は、スクリーン領域であるホワイトボード４００の筆記面４１０と、投写領域４２０とを少なくとも含む範囲を撮像する。同図では、スクリーン領域４１０と比較して投写領域４２０が大きくなっている。なお、本実施の形態では、プロジェクタ１００と筆記面４１０とが正対していないため、スクリーン領域４１０は歪んで見える。一方、プロジェクタ１００の光軸と撮像部３００の光軸とが平行しているため、投写領域４２０は矩形で見える。
【００５２】
図５を参照して、較正部２２０は、ステップＳ０１により、図４の撮像画像を表わす撮像データに基づいて、スクリーン領域４１０を検出する。具体的には、較正部２２０は、所定の読み出し方向に沿って撮像画像を順に読み出すことにより、撮像画像における、スクリーン領域である筆記面４１０の４隅（図４中の点ＣＦ１〜ＣＦ４）の座標を検出する。較正部２２０は、ステップＳ０２により、検出したスクリーン領域４１０の４隅の座標を、撮像画像におけるスクリーン領域４１０の位置を示す較正データとして、メモリ２２２に保存する。
【００５３】
次に、較正部２２０は、ステップＳ０３により、素子制御部２１０に指示をして、較正用パターンをスクリーン領域４１０に投写させる。図６に、較正用パターンの一例を示す。図６を参照して、較正用パターンは、４つの交点（Ｐｓ１〜Ｐｓ４）を構成する４つの線分（Ｌｓ１〜Ｌｓ４）の少なくとも一部分を構成する画像である。同図では、４つの線分（Ｌｓ１〜Ｌｓ４）は、濃淡あるいは明暗の差（エッジ）によって表わされる。
【００５４】
本実施の形態では、較正用パターンは、黒の背景と白抜きの菱形とからなる画像である。白抜きの菱形の４辺は、４つの線分（Ｌｓ１〜Ｌｓ４）の少なくとも一部分を構成する。なお、４つの線分（Ｌｓ１〜Ｌｓ４）は、所定の読出し方向（水平方向）に対して傾きを有する。
【００５５】
撮像部３００は、較正部２２０の指示に基づいて、スクリーン領域４１０に表示された較正用パターン（図６）を撮像して撮像データを生成する。較正部２２０は、ステップＳ０４により、撮像データに基づいて、投写領域４２０を推定する。具体的には、較正部２２０は、撮像画像における、投写領域４２０の４隅（図４中の点ＣＩ１〜ＣＩ４）の座標を推定する。
【００５６】
さらに、較正部２２０は、ステップＳ０５により、撮像データに基づいて、筆記面４１０とプロジェクタ１００との位置関係を算出する。具体的には、較正部２２０は、後述する方法によって、プロジェクタ１００の光軸と筆記面４１０の法線とのずれ量を算出する。
【００５７】
以下に、図７〜図９を参照して、筆記面４１０とプロジェクタ１００との位置関係の算出方法について説明する。
【００５８】
較正部２２０は、最初に、較正用パターンにおける所定の読み出し方向に沿って較正用パターンの撮像画像を順に読み出す。具体的には、較正部２２０は、ラインバッファを有しており、撮像部３００によって生成された撮像画像のうち、較正用パターンを較正する所定ラインごとに、所定ラインに対応する撮像画像をラインバッファに読み出す。
【００５９】
較正部２２０は、ラインバッファに読み出された撮像画像に基づいて、濃淡あるいは明暗の差（エッジ）を有する点Ｐｅｄｇｅを取得する（図７参照）。すなわち、較正部２２０は、較正用パターン（図６）の白抜きの菱形の４辺に対応する点Ｐｅｄｇｅ群を取得する。
【００６０】
次に、較正部２２０は、図８に示すように、点Ｐｅｄｇｅ群に基づいて、撮像画像における４つの線分（Ｌｔ１〜Ｌｔ４）を取得する。すなわち、較正部２２０は、較正用パターンにおける４つの線分（Ｌｓ１〜Ｌｓ４）にそれぞれ対応する４つの線分（Ｌｔ１〜Ｌｔ４）を取得する。
【００６１】
そして、較正部２２０は、４つの線分（Ｌｔ１〜Ｌｔ４）に基づいて、撮像画像における４つの交点（Ｐｔ１〜Ｐｔ４）を取得する。すなわち、較正部２２０は、較正用パターンにおける４つの交点（Ｐｓ１〜Ｐｓ４）に対応する４つの交点（Ｐｔ１〜Ｐｔ４）を取得する。
【００６２】
較正部２２０は、較正用パターンにおける３つ以上の交点（たとえば、Ｐｓ１〜Ｐｓ４）および撮像画像における３つ以上の交点（たとえば、Ｐｔ１〜Ｐｔ４）に基づいて、プロジェクタ１００と筆記面４１０との位置関係を算出する。具体的には、較正部２２０は、プロジェクタ１００（投写ユニット１１０）の光軸と筆記面４１０の法線とのずれ量を算出する。
【００６３】
なお、以下においては、メモリ２１２（図３）に記憶されている較正用パターンを「記憶較正用パターン」と称する。これに対して、撮像画像に含まれる較正用パターンを「撮像較正用パターン」と称する。また、スクリーン領域４１０に投写された較正用パターンを「投写較正用パターン」と称する。
【００６４】
較正部２２０は、最初に、投写較正用パターンにおける４つの交点（Ｐｕ１〜Ｐｕ４）の座標を算出する。ここでは、投写較正用パターンの交点Ｐｕ１の座標の算出方法を例として説明する。投写較正用パターンの交点Ｐｕ１は、記憶較正用パターンの交点Ｐｓ１および撮像較正用パターンの交点Ｐｔ１に互いに対応する交点である。
【００６５】
以下に、交点Ｐｕ１の座標（Ｘｕ１，Ｙｕ１，Ｚｕ１）の算出方法について、図９を用いて説明する。なお、交点Ｐｕ１の座標（Ｘｕ１，Ｙｕ１，Ｚｕ１）は、プロジェクタ１００の焦点Ｏｓを原点とする３次元空間における座標である。
【００６６】
較正部２２０は、記憶較正用パターンの２次元平面における交点Ｐｓ１の座標（ｘｓ１，ｙｓ１）について、プロジェクタ１００の焦点Ｏｓを原点とする３次元空間における交点Ｐｓ１の座標（Ｘｓ１，Ｙｓ１，Ｚｓ１）に変換する。具体的には、交点Ｐｓ１の座標（Ｘｓ１，Ｙｓ１，Ｚｓ１）は、式（１）によって表わされる。
【００６７】
【数１】
2012220709.tif 000003
【００６８】
なお、Ａｓは、３×３の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Ａｓは、既知のパラメータである。
【００６９】
ここでは、プロジェクタ１００の光軸方向に垂直な面がＸｓ軸およびＹｓ軸で表わされており、プロジェクタ１００の光軸方向がＺｓ軸で表されている。
【００７０】
同様に、較正部２２０は、撮像較正用パターンの２次元平面における交点Ｐｔ１の座標（ｘｔ１，ｙｔ１）について、撮像部３００の焦点Ｏｔを原点とする３次元空間における交点Ｐｔ１の座標（Ｘｔ１，Ｙｔ１，Ｚｔ１）に変換する。具体的には、交点Ｐｔ１の座標（Ｘｔ１，Ｙｔ１，Ｚｔ１）は、式（２）によって表わされる。
【００７１】
【数２】
2012220709.tif 000004
【００７２】
なお、Ａｔは、３×３の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Ａｔは、既知のパラメータである。
【００７３】
ここでは、撮像部３００の光軸方向に垂直な面がＸｔ軸およびＹｔ軸で表わされており、撮像部３００の光軸方向がＺt軸で表されている。このような座標空間において、撮像部３００の向き（撮像方向）の傾き（ベクトル）は既知である。
【００７４】
較正部２２０は、交点Ｐｓ１と交点Ｐｕ１とを結ぶ直線Ｌｖの式を算出する。同様に、較正部２２０は、交点Ｐｓ１と交点Ｐｔ１とを結ぶ直線Ｌｗの式を算出する。なお、直線Ｌｖおよび直線Ｌｗは、式（３），（４）によってそれぞれ表わされる。
【００７５】
【数３】
2012220709.tif 000005
【００７６】
次に、較正部２２０は、プロジェクタ１００の焦点Ｏｓを原点とする３次元空間における直線Ｌｗ’に直線Ｌｗを変換する。直線Ｌｗ’は、式（５）により表わされる。
【００７７】
【数４】
2012220709.tif 000006
【００７８】
なお、プロジェクタ１００の光軸および撮像部３００の向き（撮像方向）は既知であるため、回転成分を示すパラメータＲは既知である。同様に、プロジェクタ１００および撮像部３００の相対位置が既知であるため、並進成分を示すパラメータＴも既知である。
【００７９】
較正部２２０は、上記の式（３）および式（５）に基づいて、直線Ｌｖおよび直線Ｌｗ’の交点（すなわち、交点Ｐｕ１）における媒介変数ＫｓおよびＫｔを算出する。そして、較正部２２０は、交点Ｐｓ１の座標（Ｘｓ１，Ｙｓ１，Ｚｓ１）および媒介変数Ｋｓに基づいて、交点Ｐｕ１の座標（Ｘｕ１，Ｙｕ１，Ｚｕ１）の座標を算出する。あるいは、較正部２２０は、交点Ｐｔ１の座標（Ｘｔ１，Ｙｔ１，Ｚｔ１）の座標および媒介変数Ｋｔに基づいて、交点Ｐｕ１の座標（Ｘｕ１，Ｙｕ１，Ｚｕ１）を算出する。
【００８０】
以上によって、較正部２２０は、交点Ｐｕ１の座標（Ｘｕ１，Ｙｕ１，Ｚｕ１）を算出する。同様に、較正部２２０は、交点Ｐｕ２の座標（Ｘｕ２，Ｙｕ２，Ｚｕ２）、交点Ｐｕ３の座標（Ｘｕ３，Ｙｕ３，Ｚｕ３）および、交点Ｐｕ４の座標（Ｘｕ４，Ｙｕ４，Ｚｕ４）を算出する。
【００８１】
そして、較正部２２０は、交点Ｐｕ１〜Ｐｕ４のうちの少なくとも３つの交点の座標を用いて、スクリーン領域４１０の法線ベクトルを算出する。筆記面４１０は、下記の式（６）で表わされる。この式（６）中のパラメータｋ１，ｋ２，ｋ３は、筆記面４１０の法線ベクトルを表わしている。
【００８２】
【数５】
2012220709.tif 000007
【００８３】
これにより、較正部２２０は、プロジェクタ１００の光軸と筆記面４１０の法線とのずれ量を算出することができる。すなわち、較正部２２０は、プロジェクタ１００と筆記面４１０との位置関係を算出することができる。
【００８４】
再び図５を参照して、ステップＳ０５によって筆記面４１０とプロジェクタ１００との位置関係が算出されると、較正部２２０は、ステップＳ０６により、算出された位置関係と、スクリーン領域４１０の４隅の座標および投写領域４２０の４隅の座標とに基づいて、４点補正値を算出する。較正部２２０は、ステップＳ０７により、算出した４点補正値を、較正データとしてメモリ２２２に保存する。
【００８５】
素子制御部２１０は、メモリ２２２に保存されている４点補正値を読み出すと、各液晶パネル５０Ｒ，５０Ｇ，５０Ｂの画素領域内に形成される画像の４隅の補正点を、４点補正値に従ってそれぞれ移動させることにより、歪み画像を形成する。素子制御部２１０は、表示映像信号を補正して歪み画像を表わす補正画像データを生成すると、生成した補正画像データを照明装置１２０へ出力する。この結果、図４の撮像画像上では、投写領域４２０の４隅（点ＣＩ１〜ＣＩ４）はそれぞれ、スクリーン領域４１０の４隅（点ＣＦ１〜ＣＦ４）まで移動される。このようにして、投写領域４２０をスクリーン領域４１０に合わせるように、投写領域４２０の歪みが補正される。
【００８６】
（画像生成処理）
再び図３を参照して、画像生成部２５０は、操作受付部２４０の指示に従って、撮像部３００によりスクリーン領域（筆記面）４１０を撮像し、その撮像データに基づいてスクリーン領域４１０に表示された内容を表わす画像データを生成する。画像生成部２５０は、撮像画像補正部２７０と、画像圧縮部２６０とにより構成される。画像生成部２５０は、生成した画像データを、出力部２９０に接続される外部のデバイス（たとえば、ＰＣ（パーソナルコンピュータ）や記憶媒体など）に送信することができる。
【００８７】
撮像画像補正部２７０は、入力される映像信号に基づく画像を投写ユニット１１０から筆記面４１０に投写している間、操作受付部２４０からのコマンド信号を監視している。撮像部３００に撮像を行なわせるための撮像指示を示すコマンド信号が入力されると、撮像画像補正部２７０および画像圧縮部２６０は、図１０に示すフローに従って動作する。
【００８８】
あるいは、図１０のフローチャートの処理は、操作受付部２４０からの撮像指示によることなく、一定時間ごとまたは所定の条件が成立するごとに実行されるようにしてもよい。
【００８９】
以下、図面を参照して、本実施の形態１に係る画像データの生成処理について説明する。
【００９０】
図１０は、本実施の形態１に係る画像生成処理を説明するフローチャートである。図１１は、図１０の画像生成処理を説明するための概念図である。
【００９１】
図１０を参照して、撮像画像補正部２７０は、ステップＳ１１により、操作受付部２４０から撮像指示を受けると、撮像部３００に指示をして、ホワイトボード４００の筆記面４１０を撮像させることにより、筆記面４１０の撮像画像を取得する。このステップＳ１１の処理によって、図１１（ａ）に示すように、筆記面４１０に投写されている画像４２０と、筆記面４１０に筆記された画像（筆記画像）との撮像画像を取得することができる。
【００９２】
次に、撮像画像補正部２７０は、ステップＳ１２により、較正データを記憶するメモリ２２から、撮像画像におけるスクリーン領域４１０の位置情報を読み出す。このスクリーン領域４１０の位置情報には、撮像画像におけるスクリーン領域４１０の４隅の座標（図４の点ＣＦ１〜ＣＦ４の座標に相当）が含まれる。
【００９３】
撮像画像補正部２７０は、ステップＳ１３により、メモリ２２から読み出したスクリーン領域４１０の位置情報に基づいて、筆記面４１０の撮像画像からスクリーン領域４１０を切り出す（図１１（ｂ）参照）。
【００９４】
ステップＳ１４では、撮像画像補正部２７０は、ステップＳ１３によって切り出したスクリーン領域４１０の形状を矩形に補正する（図１１（ｃ）参照）。具体的には、撮像画像補正部２７０は、較正データを記憶するメモリ２２から画像歪み補正情報（４点補正値）を読み出す。撮像画像補正部２７０は、読み出した４点補正値を用いて、撮像画像から切り出したスクリーン領域４１０（図１１（ｂ）参照）の４隅を移動させる。
【００９５】
なお、４点補正値は、上述した画像歪み補正処理において、図４の撮像画像における投写領域４２０の４隅（点ＣＩ１〜ＣＩ４）を、スクリーン領域４１０の４隅（点ＣＦ１〜ＣＦ４）まで移動させることができるように生成される。上記のステップＳ１４におけるスクリーン領域４１０の補正は、この４点補正値に基づいて、撮像画像から切り出したスクリーン領域４１０の４隅（点ＣＦ１〜ＣＦ４）を、補正前の投写領域４２０の４隅（点ＣＩ１〜ＣＩ４）まで移動させるものである。
【００９６】
この結果、図１１（ｃ）に示すように、投写画像と筆記画像とを１つの画像とする画像データが生成される。撮像画像補正部２７０は、生成した画像データを画像圧縮部２６０へ出力する。
【００９７】
画像圧縮部２６０は、ステップＳ１５により、画像データを、ＪＰＥＧ（Joint Photographic Experts Group）形式等の画像形式に変換した後、出力部２９０へ出力する。出力部２９０は、外部のデバイス（ＰＣや記憶媒体等）を接続可能な端子（たとえばＵＳＢ端子やネットワーク接続端子など）を有している。出力部２９０は、ステップＳ１６により、当該端子に接続された外部のデバイスに対して、画像データを転送する。
【００９８】
以上のように、この発明の実施の形態１によれば、投写画像の自動調整機能を備えたプロジェクタにおいて、自動調整処理の過程で生成される画像歪み補正情報（４点補正値）を用いて、スクリーン領域である筆記面４１０に表示された内容を表わす画像データを生成することができる。これにより、投写画像４２０に重畳するように画像が筆記された状態を、１つの画像として再現することができる。
【００９９】
ここで、画像歪み補正情報は、プロジェクタ１００の配置が変更されるごとに、投写画像の自動調整処理によって更新されるものである。したがって、画像生成処理において、撮像画像補正部２７０は、現在のプロジェクタ１００の配置に適合する最新の画像歪み補正情報を用いて、撮像画像から切り出したスクリーン領域４１０を補正することができる。この結果、画像生成部２５０は、プロジェクタ１００の配置の変更に影響を受けることなく、良好な画質の画像データを簡易に生成することができる。
【０１００】
［実施の形態２］
図１２は、本実施の形態２に係るプロジェクタ１００の制御構造を説明する図である。
【０１０１】
図１２を参照して、本実施の形態２に係るプロジェクタ１００Ａは、図３に示すプロジェクタ１００と比較して、画像生成部２５０に代えて、画像生成部２５０Ａを備える点で異なる。
【０１０２】
画像生成部２５０Ａは、操作受付部２４０の指示に従って、撮像部３００によりスクリーン領域（筆記面）４１０を撮像し、その撮像データに基づいてスクリーン領域４１０に表示された内容を表わす画像データを生成する。画像生成部２５０Ａは、撮像画像補正部２７０と、合成部２８０と、画像圧縮部２６０とにより構成される。画像生成部２５０Ａは、生成した画像データを、出力部２９０に接続される外部のデバイス（ＰＣや記憶媒体など）に送信することができる。
【０１０３】
撮像画像補正部２７０は、入力される映像信号に基づく画像を投写ユニット１１０から筆記面４１０に投写している間、操作受付部２４０からのコマンド信号を監視している。撮像部３００に撮像を行なわせるための撮像指示を示すコマンド信号が入力されると、撮像画像補正部２７０、合成部２８０および画像圧縮部２６０は、図１３に示すフローに従って動作する。
【０１０４】
以下、図面を参照して、本実施の形態２に係る画像データの生成処理について説明する。
【０１０５】
図１３は、本実施の形態２に係る画像生成処理を説明するフローチャートである。図１４は、図１３の画像生成処理を説明するための概念図である。本実施の形態２に係る画像処理は、図１３のフローチャートに示すように撮像部３００に撮像を行なわせるための撮像指示を示すコマンド信号が入力されたとき、もしくは、一定時間ごとまたは所定の条件が成立するごとに実行される。
【０１０６】
図１３を参照して、撮像画像補正部２７０は、ステップＳ２１により、操作受付部２４０から撮像指示を受けると、投写ユニット１１０による入力映像信号に基づく映像光の投写を一時的に停止させる。具体的には、撮像画像補正部２７０は、投写ユニット１１０から全白画像（画像全体が白の単色の画像）を投写させる。あるいは、撮像画像補正部２７０は、投写ユニット１１０を指示して映像光を遮断させる。そして、撮像画像補正部２７０は、ステップＳ２２により、撮像部３００に指示をして、ホワイトボード４００の筆記面４１０を撮像させることにより、筆記面４１０の撮像画像を取得する。このステップＳ２１の処理によって、図１４（ａ）に示すように、筆記面４１０に筆記された画像（筆記画像）のみを含み、投写画像を含まない撮像画像が取得される。
【０１０７】
次に、撮像画像補正部２７０は、ステップＳ２３により、較正データを記憶するメモリ２２から、撮像画像におけるスクリーン領域４１０の位置情報を読み出す。このスクリーン領域４１０の位置情報には、撮像画像におけるスクリーン領域４１０の４隅の座標（図４の点ＣＦ１〜ＣＦ４の座標に相当）が含まれる。
【０１０８】
撮像画像補正部２７０は、ステップＳ２４により、メモリ２２から読み出したスクリーン領域４１０の位置情報に基づいて、筆記面４１０の撮像画像からスクリーン領域４１０を切り出す（図１４（ｂ）参照）。
【０１０９】
ステップＳ２５では、撮像画像補正部２７０は、ステップＳ２４によって切り出したスクリーン領域４１０の形状を矩形に補正する。具体的には、撮像画像補正部２７０は、メモリ２２から読み出した画像歪み補正情報（４点補正値）を用いて、撮像画像から切り出したスクリーン領域４１０（図１４（ｂ）参照）の４隅を移動させる。
【０１１０】
続いて、撮像画像補正部２７０は、ステップＳ２６により、補正後のスクリーン領域４１０から筆記画像を抽出することにより、筆記画像を表わす画像データ（以下、筆記画像データという）を生成する（図１４（ｃ）参照）。具体的には、撮像画像補正部２７０は、補正後のスクリーン領域４１０に２値化処理を施して、スクリーン領域４１０における白色部分と非白色（有色）部分とに区分された２値化画像を生成する。生成された２値化画像は、筆記画像を表わす有色部と、筆記画像の背景となる筆記面４１０を表わす白色部とに区分される。撮像画像補正部２７０は、２値化画像における白色部分をマスクして、撮像画像から筆記画像を表わす有色部分を抽出する。この結果、図１４（ｃ）に示すように、筆記画像が白色部に配置された筆記画像データが生成される。撮像画像補正部２７０は、生成した筆記画像データを合成部２８０へ出力する。
【０１１１】
合成部２８０は、ステップＳ２７により、映像信号受信部２００に指示をして、映像信号受信部２００に入力される映像信号を取得する。そして、合成部２８０は、ステップＳ２８により、入力される映像信号に、筆記画像データを合成させる。この結果、図１４（ｅ）に示すように、入力される映像信号に基づく映像（入力映像）に筆記画像が重畳された合成画像を表わす画像データが生成される。
【０１１２】
画像圧縮部２６０は、ステップＳ２９により、画像データを、ＪＰＥＧ形式等の画像形式に変換した後、出力部２９０へ出力する。出力部２９０は、外部のデバイス（ＰＣや記憶媒体等）を接続可能な端子（たとえばＵＳＢ端子など）を有している。出力部２９０は、ステップＳ１６により、当該端子に接続された外部のデバイスに対して、画像データを送信する。
【０１１３】
以上のように、この発明の実施の形態２によれば、投写画像の自動調整機能を備えたプロジェクタにおいて、自動調整処理の過程で生成される画像歪み補正情報（４点補正値）を用いて、筆記画像のみを含む筆記面４１０を撮像したときの撮像画像から筆記画像データを生成することができる。そして、入力映像を表わす映像信号に筆記画像データを合成することにより、投写画像４２０に重畳するように画像が筆記された状態を、１つの画像として再現することができる。
【０１１４】
先の実施の形態１に係る画像生成処理では、投写画像４２０上に筆記画像が重畳した状態を撮像した撮像画像から投写画像４２０および筆記画像を１つの画像とする画像データを生成した。そのため、撮像部３００の性能や筆記面４１０の周辺の環境によっては、撮像画像における投写画像が本来の投写画像と比較して画質が低下する場合が生じるため、撮像画像を基に生成される画像データの画質にも影響を与える虞があった。
【０１１５】
これに対して、本実施の形態２に係る画像生成処理は、映像信号受信部２００に入力される映像信号に対して筆記画像データを合成する構成であるため、上記のような撮像部３００の性能や周辺環境に影響されることなく、良好な画質の画像データを生成することができる。
【０１１６】
（変更例）
なお、上記の実施の形態１および２では、画像歪み補正処理において、スクリーン領域４１０に投写領域４２０を合わせるように、投写領域４２０を補正する構成としたが、図１５に示すように、スクリーン領域４１０の一部分に投写領域４２０を配置する構成としても、本発明に係る画像生成処理を適用することが可能である。図１６を参照して、本実施の形態２の変更例に係る画像生成処理について説明する。
【０１１７】
まず、撮像画像補正部２７０は、操作受付部２４０から撮像指示を受けると、投写ユニット１１０から全白画像を投写させる。これにより、筆記面４１０には、筆記画像のみが表示された状態となる。撮像画像補正部２７０は、撮像部３００にこの筆記面４１０を撮像させることにより、筆記面４１０の撮像画像を取得する（図１６（ａ）参照）。
【０１１８】
次に、撮像画像補正部２７０は、メモリ２２から読み出したスクリーン領域４１０の位置情報に基づいて、筆記面４１０の撮像画像からスクリーン領域４１０を切り出すと（図１４（ｂ）参照）、メモリ２２から読み出した画像歪み補正情報（４点補正値）を用いて、切り出したスクリーン領域４１０の形状を矩形に補正する。
【０１１９】
さらに、撮像画像補正部２７０は、補正後のスクリーン領域４１０に２値化処理を施すことにより、図１６（ｃ）に示すような、筆記画像が白色部に配置された筆記画像データを生成して合成部２８０へ出力する。
【０１２０】
合成部２８０は、映像信号受信部２００に入力される映像信号を取得すると、投写領域４２０に合わせるように映像信号のサイズおよびアスペクト比を変更する処理を行なう（図１６（ｃ）参照）。この映像信号のサイズおよびアスペクト比を変更する処理は、投写映像の自動調整処理で生成された、サイズおよびアスペクト比の変更量に関する較正データに基づいて行なうことができる。
【０１２１】
最後に、合成部２８０は、変更後の映像信号に、筆記画像データを合成させる。この結果、図１６（ｄ）に示すように、入力される映像信号に基づく映像（入力映像）に筆記画像が重畳された合成画像を表わす画像データが生成される。
【０１２２】
なお、上記の実施の形態１，２では、光源として、白色光源を例示したが、光源は、ＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）であってもよい。また、実施の形態１，２では、光変調素子として、透過型の液晶パネルを例示したが、光変調素子は、反射型の液晶パネルやＤＭＤ（Digital Micro Mirror）であってもよい。
【０１２３】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２４】
１０  光源、２０  カットフィルタ、２２  メモリ、３０  フライアイレンズユニット、３０  制御部、４０  ＰＢＳアレイ、５０Ｒ，５０Ｇ，５０Ｂ  液晶パネル、５２Ｒ，５２Ｇ，５２Ｂ  入射側偏光板、５３Ｒ，５３Ｇ，５３Ｂ  出射側偏光板、６０  クロスダイクロイックプリズム、７１，７２  ダイクロイックミラー、７３〜７６  ミラー、８１，８３Ｇ，８３Ｂ，８４  コンデンサレンズ、８５，８３Ｒ  リレーレンズ、１００，１００Ａ  プロジェクタ、１１０  投写ユニット、１２０  照明装置、２００  映像信号受信部、２１０  素子制御部、２１２，２２２  メモリ、２２０  較正部、２３０  投写ユニット制御部、２４０  操作受付部、２５０，２５０Ａ  画像生成部、２６０  画像圧縮部、２７０  撮像画像補正部、２８０  合成部、２９０  出力部、３００  撮像部、４００  ホワイトボード、４１０  筆記面、４２０  投写画像。
【図１】
2012220709.tif 000008
【図２】
2012220709.tif 000009
【図３】
2012220709.tif 000010
【図４】
2012220709.tif 000011
【図５】
2012220709.tif 000012
【図６】
2012220709.tif 000013
【図７】
2012220709.tif 000014
【図８】
2012220709.tif 000015
【図９】
2012220709.tif 000016
【図１０】
2012220709.tif 000017
【図１１】
2012220709.tif 000018
【図１２】
2012220709.tif 000019
【図１３】
2012220709.tif 000020
【図１４】
2012220709.tif 000021
【図１５】
2012220709.tif 000022
【図１６】
2012220709.tif 000023