(57)【要約】【課題】プロジェクタとホワイトボード等のスクリーンとの間の位置関係によらず、他の拠点において、スクリーンの撮像画像を適切に再現できるようにする。【解決手段】液晶プロジェクタ１は、液晶プロジェクタ２と通信可能な投影装置であって、投影画像をホワイトボード１０に投影する投影光学系１２８と、ホワイトボード１０を撮像する撮像部１１９と、撮像部１１９がホワイトボード１０を撮像した撮像画像、及び撮像部１１９と当該撮像画像が撮像された時のホワイトボード１０との間の位置関係を示す撮像条件を液晶プロジェクタ２に送信する通信部１１８と、を有する。【選択図】図１
2017085261.tif 000002
【特許請求の範囲】
【請求項１】
遠隔投影装置と通信可能な投影装置であって、
投影画像をスクリーンに投影する投影手段と、
前記スクリーンを撮像する撮像手段と、
前記撮像手段が前記スクリーンを撮像した撮像画像、及び前記撮像手段と当該撮像画像が撮像された時の前記スクリーンとの間の位置関係を示す撮像条件を前記遠隔投影装置に送信する送信手段と、
を有することを特徴とする投影装置。
【請求項２】
前記送信手段は、前記撮像手段と前記スクリーンとの間の相対角、距離、及び前記撮像画像における前記撮像手段の光軸の位置のうちの少なくとも１つを含む前記撮像条件を前記遠隔投影装置に送信することを特徴とする、
請求項１に記載の投影装置。
【請求項３】
前記撮像手段が撮像した前記撮像画像の形状に基づいて、前記撮像条件を特定する条件特定手段をさらに有することを特徴とする、
請求項１又は２に記載の投影装置。
【請求項４】
前記投影手段と前記スクリーンとの間の位置関係を示す投影条件、及び前記撮像手段と前記投影手段との間の位置関係に基づいて前記撮像条件を特定する条件特定手段をさらに有することを特徴とする、
請求項１又は２に記載の投影装置。
【請求項５】
前記撮像手段は、前記投影手段が前記投影画像を前記スクリーンに投影していない間に前記スクリーン上の画像を撮像することにより、前記撮像画像を生成することを特徴とする、
請求項１から４のいずれか１項に記載の投影装置。
【請求項６】
前記遠隔投影装置が送信した、前記遠隔投影装置の撮像手段が、前記遠隔投影装置が投影画像を投影する遠隔スクリーンを撮像した遠隔撮像画像、及び前記遠隔撮像画像が撮像された時の前記遠隔投影装置と前記遠隔スクリーンとの位置関係を示す遠隔撮像条件を受信する受信手段と、
前記投影手段と前記スクリーンとの間の位置関係を示す投影条件、及び前記遠隔撮像条件に基づいて、前記遠隔撮像画像を変形させる変形手段と、
を有し、
前記投影手段は、前記変形手段が前記遠隔撮像画像を変形させた後の変形画像を前記スクリーンに投影することを特徴とする、
請求項１から５のいずれか１項に記載の投影装置。
【請求項７】
前記変形手段は、前記投影条件により特定される第１画像変形パラメータ、及び前記遠隔撮像条件により特定される第２画像変形パラメータに基づいて前記遠隔撮像画像に含まれる画素の座標を変換することにより、前記遠隔撮像画像を変形させることを特徴とする、
請求項６に記載の投影装置。
【請求項８】
前記変形手段は、前記第１画像変形パラメータと前記第２画像変形パラメータとを乗算することにより合成変形パラメータを決定し、決定した前記合成変形パラメータに基づいて、前記遠隔撮像画像を変形させることを特徴とする、
請求項７に記載の投影装置。
【請求項９】
前記変形手段は、前記投影条件が変更されたことに応じて、又は前記受信手段が前記遠隔投影装置から新たな前記遠隔撮像条件を受信したことに応じて、前記合成変形パラメータを決定することを特徴とする、
請求項８に記載の投影装置。
【請求項１０】
前記スクリーンに投影するための投影用画像の入力を受ける画像入力手段をさらに有し、
前記投影手段は、前記投影用画像と前記変形画像とを重畳させた前記投影画像を前記スクリーンに投影することを特徴とする、
請求項６から９のいずれか１項に記載の投影装置。
【請求項１１】
コンピュータにより実行される、
投影画像をスクリーンに投影するステップと、
前記スクリーンを撮像するステップと、
前記スクリーンを撮像した撮像画像、及び前記スクリーンを撮像する撮像手段と当該撮像画像が撮像された時の前記スクリーンとの間の位置関係を示す撮像条件を、前記コンピュータと通信する遠隔投影装置に送信するステップと、
を有することを特徴とする投影方法。
【請求項１２】
前記送信するステップにおいて、前記撮像手段と前記スクリーンとの間の相対角、距離、及び前記撮像画像における前記撮像手段の光軸の位置のうちの少なくとも１つを含む前記撮像条件を前記遠隔投影装置に送信することを特徴とする、
請求項１１に記載の投影方法。
【請求項１３】
前記撮像手段が撮像した前記撮像画像の形状に基づいて、前記撮像条件を特定するステップをさらに有することを特徴とする、
請求項１１又は１２に記載の投影方法。
【請求項１４】
前記投影画像を投影する投影手段と前記スクリーンとの間の位置関係を示す投影条件、及び前記撮像手段と前記投影手段との間の位置関係に基づいて前記撮像条件を特定するステップをさらに有することを特徴とする、
請求項１１又は１２に記載の投影方法。
【請求項１５】
前記撮像するステップは、
前記投影画像の投影を停止するステップと、
前記投影画像が前記スクリーンに投影されていない間に前記スクリーン上の画像を撮像することにより、前記撮像画像を生成するステップと、
を有することを特徴とする、
請求項１１から１４のいずれか１項に記載の投影方法。
【請求項１６】
前記遠隔投影装置が送信した、前記遠隔投影装置の撮像手段が、前記遠隔投影装置が投影画像を投影する遠隔スクリーンを撮像した遠隔撮像画像、及び前記遠隔撮像画像が撮像された時の前記遠隔投影装置と前記遠隔スクリーンとの位置関係を示す遠隔撮像条件を受信するステップと、
前記投影画像を投影する投影手段と前記スクリーンとの間の位置関係を示す投影条件、及び前記遠隔撮像条件に基づいて、前記遠隔撮像画像を変形させるステップと、
前記遠隔撮像画像を変形させた後の変形画像を前記スクリーンに投影するステップと、
をさらに有することを特徴とする、
請求項１１から１４のいずれか１項に記載の投影方法。
【請求項１７】
前記遠隔撮像画像を変形させるステップにおいて、前記投影条件により特定される第１画像変形パラメータ、及び前記遠隔撮像条件により特定される第２画像変形パラメータに基づいて前記遠隔撮像画像に含まれる画素の座標を変換することにより、前記遠隔撮像画像を変形させることを特徴とする、
請求項１６に記載の投影方法。
【請求項１８】
前記遠隔撮像画像を変形させるステップは、
前記第１画像変形パラメータと前記第２画像変形パラメータとを乗算することにより、合成変形パラメータを決定するステップと、
前記合成変形パラメータに基づいて、前記遠隔撮像画像を変形させるステップと、
を有することを特徴とする、
請求項１７に記載の投影方法。
【請求項１９】
前記遠隔撮像画像を変形させるステップにおいて、前記投影条件が変更されたことに応じて、又は前記遠隔投影装置から新たな前記遠隔撮像条件を受信したことに応じて、前記合成変形パラメータを決定することを特徴とする、
請求項１８に記載の投影方法。
【請求項２０】
前記スクリーンに投影するための投影用画像の入力を受けるステップをさらに有し、
前記投影するステップにおいて、前記投影用画像と前記変形画像とを重畳させた前記投影画像を前記スクリーンに投影することを特徴とする、
請求項１６から１９のいずれか１項に記載の投影方法。
【請求項２１】
コンピュータに、請求項１１から２０のいずれか１項に記載の各ステップを実行させるための投影用プログラム。
【請求項２２】
投影装置と、前記投影装置と通信する遠隔投影装置とを備える投影システムであって、
前記投影装置は、
第１投影画像を第１スクリーンに投影する投影手段と、
前記第１スクリーンを撮像する撮像手段と、
前記撮像手段が前記第１スクリーンを撮像した撮像画像、及び前記撮像手段と当該撮像画像が撮像された時の前記第１スクリーンとの間の位置関係を示す撮像条件を前記遠隔投影装置に送信する送信手段と、
を有し、
前記遠隔投影装置は、
第２投影画像を第２スクリーンに投影する第２投影手段と、
前記撮像画像及び前記撮像条件を受信する受信手段と、
前記第２投影手段と前記第２スクリーンとの間の位置関係を示す投影条件と、前記撮像条件とに基づいて、前記撮像画像を変形させることにより前記第２投影画像を生成する変形手段と、
を有することを特徴とする投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をスクリーンに投影する投影装置、投影方法及び投影システムに関するものである。
【背景技術】
【０００２】
距離が離れた複数の拠点間で会議を行う場合に、各拠点のホワイトボードに書き込まれた内容を、プロジェクタを用いて他の拠点のホワイトボードに投影するシステムが知られている。特許文献１には、プロジェクタに内蔵された撮像手段がホワイトボードを撮像し、撮像画像を他の拠点のプロジェクタに送信し、他の拠点のプロジェクタで撮像画像を投影する遠隔会議支援システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２０３８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
プロジェクタとホワイトボードとの位置関係が拠点ごとに異なる場合、他拠点から送られてきた撮像画像を投影すると、歪んだ画像が投影されたり、不適切な位置に投影されたりしてしまう。その結果、例えば、各拠点のホワイトボードに書き込まれた内容を撮像した画像を互いに送信し、他の拠点から送信された撮像画像を投影する場合、自拠点で書き込まれた内容の位置と他拠点で書き込まれた内容の位置がずれた状態で投影されてしまうという問題が生じる。
【０００５】
図１３は、従来の投影システムにおける課題を説明するための図である。図１３においては、第１拠点のホワイトボード１０において書き込まれた内容を撮像した画像を第２拠点に送信し、第２拠点のホワイトボード２０で書き込まれた内容の画像を第１拠点で受信してホワイトボード１０に投影している様子を示している。ホワイトボード１０及びホワイトボード２０は床に垂直に設置され、第１拠点のプロジェクタは上向きに投影するように設置され、第２拠点のプロジェクタはホワイトボード２０に正対して設置されているとする。
【０００６】
ここで、第１拠点のホワイトボードに、第１拠点のユーザが図１３（ａ）で示す図を描き、描かれた図が、第１拠点のプロジェクタに内蔵されたカメラで撮像されるものとする。このとき、第１拠点のプロジェクタが上向きに設置されているため、第１拠点のプロジェクタにおいては、図１３（ｂ）に示すように台形に歪んだ画像が撮像される。第２拠点のプロジェクタが、この画像を受信して投影すると、第２拠点のプロジェクタはホワイトボード２０に対して正対しているため、図１３（ｃ）に示すように、図１３（ｂ）と同じ画像が投影される。
【０００７】
この状態で、第２拠点のユーザが、ホワイトボード２０に投影された図１３（ｃ）に示す画像を見ながらグレーの矢印を追記したとする。第２拠点のプロジェクタは、ユーザの操作に応じて、画像の投影を停止した上で、内蔵するカメラでホワイトボード２０を撮像することにより、図１３（ｅ）に示す撮像画像を生成して第１拠点のプロジェクタに送信する。この画像を受信した第１拠点のプロジェクタは、自身の設置状態に対応するキーストーン補正を実施するので、既にホワイトボード１０に書き込まれていた図１３（ａ）に示した画像に対して、第２拠点で書きこまれた矢印の位置がずれてしまう。このように、２つの拠点において、プロジェクタとホワイトボードとの間の位置関係が異なると、２つの拠点のユーザが視認する画像にずれが生じてしまうという課題がある。
【０００８】
そこで、本発明は上述した点に鑑みてなされたものであり、プロジェクタとホワイトボード等のスクリーンとの間の位置関係によらず、他の拠点において、スクリーンの撮像画像を適切に再現できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の投影装置は、遠隔投影装置と通信可能な投影装置であって、投影画像をスクリーンに投影する投影手段と、前記スクリーンを撮像する撮像手段と、前記撮像手段が前記スクリーンを撮像した撮像画像、及び前記撮像手段と当該撮像画像が撮像された時の前記スクリーンとの間の位置関係を示す撮像条件を前記遠隔投影装置に送信する送信手段と、を有することを特徴とする。
【００１０】
本発明の投影方法は、コンピュータにより実行される、投影画像をスクリーンに投影するステップと、前記スクリーンを撮像するステップと、前記スクリーンを撮像した撮像画像、及び前記スクリーンを撮像する撮像手段と当該撮像画像が撮像された時の前記スクリーンとの間の位置関係を示す撮像条件を、前記コンピュータと通信する遠隔投影装置に送信するステップと、を有することを特徴とする。
【００１１】
本発明の投影システムは、投影装置と、前記投影装置と通信する遠隔投影装置とを備える投影システムであって、前記投影装置は、第１投影画像を第１スクリーンに投影する投影手段と、前記第１スクリーンを撮像する撮像手段と、前記撮像手段が前記第１スクリーンを撮像した撮像画像、及び前記撮像手段と当該撮像画像が撮像された時の前記第１スクリーンとの間の位置関係を示す撮像条件を前記遠隔投影装置に送信する送信手段と、を有し、前記遠隔投影装置は、第２投影画像を第２スクリーンに投影する第２投影手段と、前記撮像画像及び前記撮像条件を受信する受信手段と、前記第２投影手段と前記第２スクリーンとの間の位置関係を示す投影条件と、前記撮像条件とに基づいて、前記撮像画像を変形させることにより前記第２投影画像を生成する変形手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、プロジェクタとホワイトボード等のスクリーンとの間の位置関係によらず、他の拠点において、スクリーンの撮像画像を適切に再現できるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る遠隔会議支援システムＳ１の概略構成図である。
【図２】液晶プロジェクタ１の全体の構成を示す図である。
【図３】画像変更部１１６の内部構成の詳細を説明するための図である。
【図４】液晶プロジェクタ１の起動時の動作を説明するためのフローチャートである。
【図５】投影光学系１２８とホワイトボード１０との間の位置関係を説明するための図である。
【図６】合成変形パラメータを算出する処理のフローチャートである。
【図７】液晶パネル１２５上の画像領域と、ホワイトボード１０上に投影される画像領域とを対比させた図である。
【図８】変形パラメータを合成する処理について説明するための図である。
【図９】液晶プロジェクタ２に撮像画像を送信する処理のフローチャートである。
【図１０】通信部１１８が新たに画像を受信したときの動作を示すフローチャートである。
【図１１】他の拠点で撮像された画像を投影する場合の動作について説明するための図である。
【図１２】第２の実施形態に係る遠隔会議支援システムＳ２の概略構成図である。
【図１３】従来の投影システムにおける課題を説明するための図である。
【発明を実施するための形態】
【００１４】
＜第１の実施形態＞
［遠隔会議システムＳの概要］
図１は、第１の実施形態に係る遠隔会議支援システムＳ１の概略構成図である。遠隔会議支援システムＳ１は、インターネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の通信回線３０を介して互いに接続された液晶プロジェクタ１及び液晶プロジェクタ２を有する投影システムである。液晶プロジェクタ１及び液晶プロジェクタ２は同一の機能を有しており、互いに離れた位置に設置されていることが想定されている。液晶プロジェクタ１を本発明の投影装置とした場合、液晶プロジェクタ２は遠隔投影装置に対応する。
【００１５】
液晶プロジェクタ１及び液晶プロジェクタ２は、それぞれスクリーンとして用いられるホワイトボード１０及びホワイトボード２０に投影された投影画像を撮像して得られた撮像画像を、互いに送受信する。本明細書における投影画像及び撮像画像には、映像も含まれる。
【００１６】
また、液晶プロジェクタ１及び液晶プロジェクタ２は、それぞれが有する撮像手段と、撮像画像が撮像された時のホワイトボード１０又はホワイトボード２０との間の位置関係を示す撮像条件を、互いに送受信する。「撮像条件」は、撮像手段とホワイトボード１０又はホワイトボード２０との間の相対角、距離、及び撮像画像における撮像手段の光軸の位置のうちの少なくとも１つを含む情報である。
【００１７】
液晶プロジェクタ１は、液晶プロジェクタ２が送信した撮像画像及び撮像条件を受信すると、自身の投影手段とホワイトボード１０との間の位置関係を示す投影条件と、液晶プロジェクタ２から受信した遠隔撮像条件とに基づいて、受信した遠隔撮像画像を変形させ、変形させた後の変形画像をホワイトボード１０に投影する。同様に、液晶プロジェクタ２は、液晶プロジェクタ１が送信した撮像画像及び撮像条件を受信すると、自身の投影手段とホワイトボード２０との間の位置関係を示す投影条件と、液晶プロジェクタ１から受信した遠隔撮像条件とに基づいて、受信した遠隔撮像画像を変形させ、変形させた後の変形画像をホワイトボード２０に投影する。
【００１８】
ここで、本明細書における「遠隔撮像条件」は、他のプロジェクタから受信した撮像条件であり、「遠隔撮像画像」は、他のプロジェクタから受信した撮像画像である。また、「投影条件」は、投影手段とホワイトボード１０又はホワイトボード２０との間の相対角、距離、及び撮像画像における撮像手段の光軸の位置のうちの少なくとも１つを含む情報であり、例えば、液晶プロジェクタ１及び液晶プロジェクタ２のユーザにより設定されている。
【００１９】
液晶プロジェクタ１が投影する変形画像は、遠隔撮像画像を送信した液晶プロジェクタ２における撮像条件、及び液晶プロジェクタ１の投影条件に基づいて、歪みがないように変形された画像である。また、液晶プロジェクタ２が投影する変形画像は、遠隔撮像画像を送信した液晶プロジェクタ１における撮像条件、及び液晶プロジェクタ２の投影条件に基づいて、歪みがないように変形された画像である。したがって、液晶プロジェクタ１とホワイトボード１０との間の位置関係、及び液晶プロジェクタ２とホワイトボード２０との間の位置関係が異なっている場合であっても、液晶プロジェクタ１及び液晶プロジェクタ２は、他方から受信した撮像画像を、歪みがない状態で投影することができる。
以下、液晶プロジェクタ１及び液晶プロジェクタ２の構成及び動作について、詳細に説明する。
【００２０】
図２は、液晶プロジェクタ１の全体の構成を示す図である。液晶プロジェクタ２も同様の構成なので、以下液晶プロジェクタ１についてのみ説明する。
【００２１】
液晶プロジェクタ１は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、操作部１１４、画像入力部１１５、画像変更部１１６、記録再生部１１７、通信部１１８、撮像部１１９、表示部１２０、及び表示制御部１２１を有する。また、液晶プロジェクタ１は、画像を投影するための構成として、光源１２２、光源制御部１２３、色分離部１２４、液晶パネル１２５、液晶制御部１２６、色合成部１２７、投影光学系１２８及び光学系制御部１２９を有する。液晶パネル１２５は、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の夫々に対応するＲ液晶素子、Ｇ液晶素子及びＢ液晶素子を有している。
【００２２】
ＣＰＵ１１１は、液晶プロジェクタ１の各動作ブロックを制御する。ＲＯＭ１１２は、ＣＰＵ１１１の処理手順を記述した制御プログラムを記憶している。ＲＡＭ１１３は、画像用のフレームメモリとして、又はＣＰＵのワークメモリとして、一時的に制御プログラム及びデータを格納する。ＣＰＵ１１１は、操作部１１４又は通信部１１８から入力された制御信号を受信して、液晶プロジェクタ１の各動作ブロックを制御する。
【００２３】
なお、ＣＰＵ１１１は、記録再生部１１７が記録媒体１３０から読み出したデータに基づいて再生した静止画データ又は動画データを一時的にＲＡＭ１１３に記憶させ、ＲＯＭ１１２に記憶されたプログラムを用いて、それぞれの画像や映像を再生することもできる。また、ＣＰＵ１１１は、通信部１１８より受信した静止画データ及び動画データを一時的に記憶し、ＲＯＭ１１２に記憶されたプログラムを用いて、それぞれの画像や映像を再生することもできる。また、ＣＰＵ１１１は、撮像部１１９により得られた画像又は映像を一時的にＲＡＭ１１３に記憶し、ＲＯＭ１１２に記憶されたプログラムを用いて、画像又は映像を静止画データ又は動画データに変換し、通信部１１８を経由して変換後のデータを他デバイスに送信したり、記録媒体１３０に記録させたりすることもできる。
【００２４】
また、ＣＰＵ１１１は、投影条件及び撮像条件を特定する条件特定手段としても機能する。ＣＰＵ１１１は、例えば、投影光学系１２８の近傍に設けられた不図示の距離センサ及び傾斜センサ等の検出値に基づいて、投影光学系１２８とホワイトボード１０との間の相対角、距離、及び撮像画像における撮像手段の光軸の位置等を検出して、投影条件を特定する。ＣＰＵ１１１は、操作部１１４を介してユーザにより入力される情報に基づいて、投影条件を特定してもよい。
【００２５】
また、ＣＰＵ１１１は、例えば、投影条件と、撮像部１１９と投影光学系１２８との間の位置関係とに基づいて撮像条件を特定する。具体的には、ＣＰＵ１１１は、液晶プロジェクタ１の本体における撮像部１１９と投影光学系１２８との間の位置関係に基づいて投影条件を補正することにより、撮像部１１９とホワイトボード１０との間の相対角、距離、及び撮像画像における撮像手段の光軸の位置を算出して撮像条件を特定する。本実施形態においては、撮像部１１９と投影光学系１２８とがほぼ同じ位置にあり、撮像条件と投影条件とを同一にできる場合について説明する。
【００２６】
操作部１１４は、ユーザの指示を受け付け、ＣＰＵ１１１に指示信号を送信するデバイスであり、例えば、スイッチ、ダイヤル、表示部１２０上に設けられたタッチパネルである。操作部１１４は、例えば、液晶プロジェクタ１とホワイトボード１０との間の位置関係を示す投影条件を取得するために用いられる。操作部１１４は、リモコンからの信号を受信する信号受信用デバイス（例えば赤外線受信デバイス）であり、受信した信号に基づいて所定の指示信号をＣＰＵ１１１に送信してもよい。
【００２７】
画像入力部１１５は、外部装置から映像信号を受信するインタフェースであり、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子等を含む。画像入力部１１５は、アナログ映像信号を受信した場合には、受信したアナログ映像信号をデジタル映像信号に変換する。そして、受信した映像信号を、画像変更部１１６に送信する。ここで、外部装置は、映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機等、どのような装置であってもよい。
【００２８】
画像変更部１１６は、画像入力部１１５から受信した映像信号にフレーム数、画素数、画像形状等を変更する処理を施して、液晶制御部１２６に送信する。画像変更部１１６は、例えば画像処理用のマイクロプロセッサを含む。画像変更部１１６は、フレーム間引き処理、フレーム補間処理、解像度変換処理、歪み補正処理（キーストーン補正処理）といった機能を実施することが可能である。また、画像変更部１１６は、画像入力部１１５から受信した映像信号以外にも、ＣＰＵ１１１によって再生された画像又は映像を変更する処理を施すこともできる。なお、画像変更部１１６は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１１が画像変更部１１６として機能してもよい。
【００２９】
記録再生部１１７は、記録媒体１３０から読み出した静止画データ及び動画データを再生したり、撮像部１１９により得られた画像及び映像に対応する静止画データ及び動画データをＣＰＵ１１１から受信して、記録媒体１３０に記録したりする。記録再生部１１７は、通信部１１８より受信した静止画データ及び動画データを記録媒体１３０に記録してもよい。記録再生部１１７は、例えば、記録媒体１３０と電気的に接続するインタフェース、及び記録媒体１３０と通信するためのマイクロプロセッサを含む。なお、記録再生部１１７は、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１１が記録再生部１１７として機能してもよい。
【００３０】
記録媒体１３０は、静止画データ、動画データ、及び液晶プロジェクタ１が使用する制御データ等を記録することができる媒体である。記録媒体１３０は、磁気ディスク、光学式ディスク、半導体メモリ等のあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。
【００３１】
通信部１１８は、外部機器から制御信号を受信したり、静止画データ及び動画データ等を送受信したりするインタフェースである。通信部１１８は、液晶プロジェクタ２との間で撮像画像及び撮像条件を送受信するための送信手段及び受信手段である。通信部１１８は、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のインタフェースであり、通信方式は特に限定されない。また、画像入力部１１５の端子が、例えばＨＤＭＩ（登録商標）端子であれば、通信部１１８は、ＨＤＭＩ端子を介してＣＥＣ通信を行うインタフェースであってもよい。
【００３２】
撮像部１１９は、液晶プロジェクタ１の周辺を撮像して撮像画像を生成する。撮像部１１９は、液晶プロジェクタ１の方向を撮影することにより、投影光学系１２８を介してホワイトボード１０に投影された投影画像に基づく撮像画像を生成することができる。
【００３３】
撮像部１１９は、生成した撮像画像をＣＰＵ１１１に送信し、ＣＰＵ１１１は、撮像画像を一時的にＲＡＭ１１３に記憶させ、ＲＯＭ１１２に記憶されたプログラムに基づいて、撮像画像を静止画データ又は動画データに変換する。撮像部１１９は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子、及び撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部等を含む。なお、撮像部１１９は、ホワイトボード１０を含む側だけでなく、ホワイトボード１０と逆方向の視聴者側を撮影してもよい。
【００３４】
表示部１２０は、液晶プロジェクタ１を操作するための操作画面やスイッチアイコン等の画像を表示させるためのディスプレイであり、液晶プロジェクタ１のいずれかの側面に設けられている。表示部１２０は、画像を表示できればどのようなデバイスであってもよい。例えば、表示部１２０は、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、又はＬＥＤディスプレイである。また、表示部１２０は、特定のボタンをユーザが認識しやすくするために、各ボタンに対応するＬＥＤ等を発光させる機能を有してもよい。
【００３５】
表示制御部１２１は、液晶プロジェクタ１を操作するための操作画面及びスイッチアイコン等の画像を表示部１２０に表示させるための制御をするものであり、表示制御を行うマイクロプロセッサを含む。表示制御部１２１は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１１が表示制御部１２１として機能してもよい。
【００３６】
光源１２２は、ホワイトボード１０に画像を投影するための光を出力するデバイスである。光源１２２は、例えば、ハロゲンランプ、キセノンランプ又は高圧水銀ランプ等である。
光源制御部１２３は、光源１２２のオン／オフを制御したり、光源１２２の光量を制御したりするものであり、制御用のマイクロプロセッサを含む。光源制御部１２３は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１１が光源制御部１２３として機能してもよい。
【００３７】
色分離部１２４は、光源１２２から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するデバイスであり、例えば、ダイクロイックミラー及びプリズム等を含む。なお、光源１２２が、各色に対応するＬＥＤ等の発光素子を有する場合には、色分離部１２４は不要である。
【００３８】
液晶パネル１２５は、液晶制御部１２６の制御に基づいて、色分離部１２４から入力される光の透過率を調整する。Ｒ液晶素子は、赤色に対応しており、色分離部１２４で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整する。Ｇ液晶素子は、緑色に対応しており、色分離部１２４で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整する。Ｂ液晶素子は、青色に対応しており、色分離部１２４で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整する。
【００３９】
液晶制御部１２６は、画像変更部１１６で処理が施された映像信号に基づいて、液晶パネル１２５の各画素の液晶素子に印可する電圧を制御することにより、各液晶素子の透過率を調整するものであり、制御用のマイクロプロセッサを含む。液晶制御部１２６は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１１が液晶制御部１２６として機能してもよい。画像変更部１１６に映像信号が入力されている場合、液晶制御部１２６は、画像変更部１１６から１フレームの画像を受信するたびに、受信した画像に対応する透過率となるように、液晶パネル１２５を制御する。
【００４０】
色合成部１２７は、液晶パネル１２５を透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するデバイスであり、例えば、ダイクロイックミラー及びプリズム等を含む。色合成部１２７が赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１２８に送られる。このとき、液晶パネル１２５は、画像変更部１１６から入力された画像に対応する光の透過率となるように、液晶制御部１２６により制御されている。そのため、色合成部１２７により合成された光が、投影光学系１２８によりスクリーンに投影されると、画像変更部１１６が出力した画像に対応する投影画像がホワイトボード１０に表示されることになる。
【００４１】
投影光学系１２８は、色合成部１２７から出力された合成光をスクリーンに投影するデバイスである。投影光学系１２８は、複数のレンズ、及びレンズ駆動用のアクチュエータを含み、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、及び焦点調整等を行うことができる。
【００４２】
光学系制御部１２９は、投影光学系１２８を制御するものであり、制御用のマイクロプロセッサを含む。光学系制御部１２９は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１２に記憶されたプログラムによって、ＣＰＵ１１１が光学系制御部１２９として機能してもよい。
【００４３】
ここまで、液晶プロジェクタ１の一例として、透過型液晶パネルを用いたプロジェクタについて説明した。透過型液晶プロジェクタは、表示するべき画像に応じて、液晶素子の光の透過率を制御して、液晶素子を透過した光源からの光をスクリーンに投影することで、画像をユーザに提示するものである。しかし、本実施形態における液晶プロジェクタ１は、表示デバイスとして透過型液晶パネルを用いたプロジェクタに限らず、ＤＬＰ、ＬＣＯＳ（反射型液晶）パネル等の表示デバイスを用いたどのようなものであっても適用可能である。また、液晶プロジェクタとしては、単板式、３板式等が一般に知られているが、液晶プロジェクタ１は、どちらの方式の液晶プロジェクタであってもよい。
【００４４】
図３は、画像変更部１１６の内部構成の詳細を説明するための図である。
画像変更部１１６は、画像セレクタ１６１、画像処理部１６２、変形処理部１６３、メモリ書込制御部１６４、及びメモリ読出制御部１６５を含む。
【００４５】
通信部１１８が受信した受信画像信号ｓ３０１は、ＣＰＵ１１１によって再生信号ｓ３０２に変換され、画像セレクタ１６１に入力される。画像入力部１１５が出力する入力画像信号ｓ３０３も、画像セレクタ１６１に入力される。画像セレクタ１６１には、記録再生部１１７等の他の部位からも不図示の画像信号が入力される。画像入力部１１５は、ＣＰＵ１１１からの指示に基づいて、入力された信号からいずれかの信号を選択し、選択した選択画像信号ｓ３０４を画像処理部１６２に対して出力する。
【００４６】
画像処理部１６２は、ＣＰＵ１１１と連携して、画像信号のヒストグラム及びＡＰＬを始めとする統計情報を取得する。また、画像処理部１６２は、入力された選択画像信号ｓ３０４に基づく画像に、ＩＰ変換、フレームレート変換、解像度変換、γ変換、色域変換、色補正、エッジ強調及びＯＳＤ合成等の各種の画像処理を施して画像処理信号ｓ３０５を生成し、生成した画像処理信号ｓ３０５を変形処理部１６３に対して出力する。これらの画像処理は公知技術であるので、詳細な説明を割愛する。
【００４７】
変形処理部１６３は、ＣＰＵ１１１の制御により変形手段として機能し、画像の形状を変形させるための式に基づいて画像処理信号ｓ３０５に基づく画像を変形した変形後画像を生成し、変形後画像信号ｓ３０６を出力する。変形処理部１６３は、例えば、台形歪みを補正するキーストーン補正を実施する。キーストーン補正は射影変換で実現できるため、変形処理部１６３は、ＣＰＵ１１１から取得した射影変換のためのパラメータに基づいて変形後画像を生成する。元画像の座標を（ｘｓ、ｙｓ）とすると、変形後画像の座標（ｘｄ、ｙｄ）は式（１）で表わされる。
【数１】
2017085261.tif 000003
【００４８】
ここで、Ｍは３×３行列で、元画像から変形後画像への射影変換行列である。（ｘｓｏ、ｙｓｏ）は、元画像の１つの頂点の座標であり、（ｘｄｏ、ｙｄｏ）は、変形後画像における、元画像の頂点（ｘｓｏ、ｙｓｏ）に対応する頂点の座標である。
【００４９】
変形処理部１６３は、式（１）の行列Ｍの逆行列Ｍ-1とオフセット（ｘｓｏ，ｙｓｏ）、（ｘｄｏ，ｙｄｏ）をＣＰＵ１１１から取得し、式（２）に基づいて、変形後の座標（ｘｄ、ｙｄ）に対応する元画像の座標（ｘｓ、ｙｓ）を求めることもできる。
【数２】
2017085261.tif 000004
【００５０】
変形処理部１６３は、式（２）に基づいて求めた元画像の座標が整数になれば、元画像座標（ｘｓ、ｙｓ）が持つ画素値をそのまま変形後の座標（ｘｄ、ｙｄ）が持つ画素値としてもよい。しかし、式（２）に基づいて求めた元画像の座標が整数になるとは限らないので、変形処理部１６３は、周辺画素の値を用いて補間することで、変形後の座標（ｘｄ、ｙｄ）に対応する画素の画素値を求める。変形処理部１６３は、補間の方法として、バイリニア、バイキュービック、その他の任意の補間方法を用いることができる。また、変形処理部１６３は、式（２）に基づいて求めた元画像の画素の座標が、元画像領域の範囲外である場合、その画素の画素値が、黒色又はユーザが設定した背景色であるとする。変形処理部１６３は、このようにして、変形後の座標の全ての画素に対応する画素値を求め、変形後画像を作成する。
【００５１】
変形処理部１６３が出力する変形後画像信号ｓ３０７は、メモリ書込制御部１６４を通して、いったんフレームメモリであるＲＡＭ１１３に蓄えられる。その後、ＲＡＭ１１３に蓄えられた変形後画像信号ｓ３０７は、メモリ読出制御部１６５によって変形後画像信号ｓ３０８として読み出されて液晶制御部１２６に供給され、液晶制御部１２６の制御により投影される。
【００５２】
なお、画像変更部１１６は、液晶プロジェクタ２から受信した撮像画像、及び画像入力部１１５から入力された投影用画像の両方を合成して、投影画像を生成してもよい。この場合、変形処理部１６３は、投影用画像を変形することなく撮像画像のみを遠隔撮像条件に基づいて変形し、投影用画像と変形後の撮像画像とを合成して変形後画像信号ｓ３０６を生成する。このようにすることで、投影光学系１２８からは、投影用画像と変形画像とを重畳させた投影画像をホワイトボード１０に投影することができる。
【００５３】
［液晶プロジェクタ１の起動時の動作］
次に、図４〜図１０を用いて、本実施例の液晶プロジェクタ１の動作について説明する。液晶プロジェクタ２の動作も同様である。
図４は、液晶プロジェクタ１の起動時の動作を説明するためのフローチャートである。図４の動作は、ＣＰＵ１１１が、ＲＯＭ１１２に記憶されたプログラムに基づいて各機能ブロックを制御することにより実行される。図４のフローチャートは、操作部１１４又はリモコンによりユーザが液晶プロジェクタ１の電源のオンを指示したことにより開始する。
【００５４】
操作部１１４又はリモコンによりユーザが液晶プロジェクタ１の電源をオンするように指示すると、ＣＰＵ１１１は、不図示の電源部からプロジェクタ１の各部への電力の供給を開始する。次に、ＣＰＵ１１１は、ユーザによる操作部１１４又はリモコンの操作により選択された表示モードの種別を判定する（Ｓ１１）。プロジェクタ１は、表示モードとして、画像入力部１１５より入力された映像を表示する「入力画像表示モード」、記録再生部１１７により記録媒体１３０から読み出された静止画データ及び動画データの画像及び映像を表示する「ファイル再生表示モード」、及び通信部１１８から受信した静止画データや動画データの画像や映像を表示する「ファイル受信表示モード」を有する。
【００５５】
なお、本実施例では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、液晶プロジェクタ１の前回の投影動作が終了した時の表示モードに設定されていてもよい。また、液晶プロジェクタ１は、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ１１の処理は省略することができる。
【００５６】
ここでは、Ｓ１１で、「ファイル受信表示モード」が選択されたものとして説明する。「ファイル受信表示モード」が選択されると、ＣＰＵ１１１は、投影条件を取得する（Ｓ１２）。投影条件は、プロジェクタ１とホワイトボード１０との間の相対傾斜角、ズームレンズの状態、レンズシフト量等である。
【００５７】
図５は、プロジェクタ１の投影手段である投影光学系１２８とホワイトボード１０との間の位置関係を説明するための図である。図５は、ホワイトボード１０に対応するスクリーン５１０が、液晶プロジェクタ１に対して傾斜角θｖの角度で傾いている状態を示している。実際には、スクリーン５１０が垂直で、液晶プロジェクタ１が上向きに配置されるが、幾何学的には同義なので、便宜上、スクリーン５１０を傾けた図としている。このとき、正対したスクリーン５２０上に投影される画像５３０は、元画像と同じ矩形であるが、傾いたスクリーン５１０上に投影される投影画像５４０は、上部が広がった台形となる。ＣＰＵ１１１は、プロジェクタの光軸を基準とする上側投影角θＴ、下側投影角θＢ、右側投影角θＲ、左側投影角θＬ、及び距離Ｌに基づいて、傾いたスクリーン５１０上に投影される投影画像５４０の形状を、一般的な射影変換により算出することができる。
【００５８】
ＣＰＵ１１１は、例えば、プロジェクタ１の本体に搭載した不図示の傾斜センサの出力値に基づいて傾斜角を取得する。また、ＣＰＵ１１１は、ズームレンズの状態及びレンズシフト量を、例えばエンコーダで検出する。ＣＰＵ１１１は、操作部１１４を介して入力される、ユーザがリモコン又は表示部１２０に表示されたメニュー画面を用いて設定するキーストーン補正値に基づいて傾斜角、ズームレンズの状態及びレンズシフト量等の投影条件を取得してもよい。
【００５９】
ＣＰＵ１１１は、Ｓ１２において投影条件を取得した後に、通信部１１８が受信した撮像画像である受信画像があるか否かを判定する（Ｓ１３）。ＣＰＵ１１１は、受信画像がない場合（Ｓ１３でＮｏ）、受信画像が受信されるまで待機し、受信画像がある場合（Ｓ１３でＹｅｓ）、投影のための処理（Ｓ１４以降）を開始する。
【００６０】
投影のための処理において、ＣＰＵ１１１は、通信部１１８が受信した受信画像に基づいて再生信号ｓ３０２を生成し、画像セレクタ１６１に入力するとともに、画像セレクタ１６１を制御して、画像処理部１６２に入力される信号として再生信号ｓ３０２を選択する（Ｓ１４）。
【００６１】
次に、ＣＰＵ１１１は、通信部１１８が液晶プロジェクタ２から受信した、受信画像の遠隔撮像条件を取得する（Ｓ１５）。遠隔撮像条件は、受信画像を撮像した液晶プロジェクタ２が有する撮像部１１９と被撮影物であるホワイトボード２０との相対位置条件であり、図５を用いて説明した、プロジェクタ１の投影光学系１２８とホワイトボード１０との間の位置関係を、液晶プロジェクタ２の撮像部１１９とホワイトボード２０との位置関係に置き換えたものである。
【００６２】
次に、ＣＰＵ１１１は、受信画像を投影する場合のキーストーン補正用の合成変形パラメータを算出する（Ｓ１６）。これは、第２拠点に設置された液晶プロジェクタ２が有する撮像部１１９の撮像条件に基づく変形パラメータ、及び第１拠点に設置された液晶プロジェクタ１の投影条件に基づく変形パラメータを合成することにより、合成した変形パラメータを求める処理である。ＣＰＵ１１１は、合成変形パラメータを用いることにより、一度の処理で、変形していない投影画像を生成することができる。
【００６３】
図６は、合成変形パラメータを算出する処理（Ｓ１６）のフローチャートである。図６（ａ）は、合成変形パラメータを算出する処理の概要のフローチャートであり、図６（ｂ）は、合成変形パラメータを算出する処理における変形パラメータの算出処理のフローチャートである。以下、図６（ａ）及び図６（ｂ）を参照して、合成変形パラメータを算出する方法について説明する。
【００６４】
まず、ＣＰＵ１１１は、Ｓ１２で取得した投影条件を用いて、投影系の変形パラメータを算出する（Ｓ２１）。次に、ＣＰＵ１１１は、Ｓ１５で取得した撮像条件を用いて、撮像系の変形パラメータを算出する（Ｓ２２）。その後、投影系の変形パラメータと撮像系の変形パラメータとを合成して、合成変形パラメータを生成する（Ｓ２３）。Ｓ２１及びＳ２２の実行順序は任意である。
【００６５】
以下、図６（ｂ）を参照して、投影系の変形パラメータを算出する処理（Ｓ２１）について説明する。ＣＰＵ１１１は、液晶パネル１２５が出力する画像が、ホワイトボード１０上の座標系においてどこに投影されるかを計算するための、座標系変換パラメータを算出する（Ｓ２１１）。このステップでは、ＣＰＵ１１１は、Ｓ１２で取得した投影条件を用いて、上下左右の投影角θＴ、θＢ、θＬ、θＲを計算できる。さらに、ＣＰＵ１１１は、傾斜角θｖを加味することで、液晶パネル１２５の座標系（以下、「パネル座標系」という）からホワイトボード１０上の座標系（以下、「スクリーン座標系」という）へ変換する座標系変換パラメータを求める。
【００６６】
図７は、液晶パネル１２５上の画像領域と、ホワイトボード１０上に投影される投影画像５４０の画像領域とを対比させた図である。図７（ａ）は補正前、図７（ｂ）は補正後の図である。図７（ａ）において、８１０は投影する元画像領域である。パネル座標系はｘｙ座標、スクリーン座標系はｘ'ｙ'座標系で表示することとする。投影画像５４０は、図５で示した配置の場合に、ホワイトボード１０上に投影される補正前投影画像の形状で表されている。
【００６７】
次に、ＣＰＵ１１１は、四隅の投影座標を算出する（Ｓ２１２）。ＣＰＵ１１１は、元画像領域８１０の四隅の座標を、Ｓ２１１で求めた座標系変換パラメータを用いて射影変換することで、スクリーン座標系における投影画像５４０の四隅座標を求める。
【００６８】
次に、ＣＰＵ１１１は、補正後投影画像の四隅座標を算出する（Ｓ２１３）。図７（ｂ）に示すように、ＣＰＵ１１１は、投影画像５４０内で、元画像と同一アスペクトの矩形を形成する。その４つの頂点Ｐ１'〜Ｐ４'の座標を、補正後投影画像の四隅座標とする。図７（ｂ）では、Ｐ３'とＰ４'は投影画像５４０の隅と一致しているが、必ずしも一致する必要はない。
【００６９】
次に、ＣＰＵ１１１は、液晶パネル１２５における補正後投影画像の四隅座標を算出する（Ｓ２１４）。ＣＰＵ１１１は、Ｓ２１１で求めた、パネル座標系からスクリーン座標系へ変換する射影変換パラメータの逆関数を求めて、Ｓ２１３で求めた補正後投影画像の四隅座標Ｐ１'〜Ｐ４'に適用することにより、パネル座標系における補正後投影画像の四隅座標Ｐ１〜Ｐ４を算出する。この４点を頂点に持つ四角形が補正画像領域８３０であり、投影光学系１２８が、補正画像領域８３０の画像をホワイトボード１０上に投影すると、元画像と同一のアスペクトを有する矩形に表示される。
【００７０】
そして、ＣＰＵ１１１は、液晶パネル１２５上の元画像から補正後画像への変形パラメータを算出する（Ｓ２１５）。変形パラメータは、前述のように、式（１）の行列Ｍと、オフセット（ｘｓｏ，ｙｓｏ）、（ｘｄｏ，ｙｄｏ）とにより表され、ＣＰＵ１１１は、これらの値に基づいて、補正後画像を生成する。
【００７１】
撮像系の変形パラメータを生成する処理（Ｓ２２）の詳細も、図７に示した投影系の変形パラメータを生成する処理（Ｓ２１）とほぼ同等である。Ｓ２１の処理とＳ２２の処理との違いは、投影系ではなく撮像系である点に過ぎず、光学的には同等である。
【００７２】
続いて、変形パラメータを合成する処理（Ｓ２３）について説明する。
図８は、変形パラメータを合成する処理について説明するための図である。図８（ａ）は、液晶プロジェクタ１の投影系の補正処理を示しており、図７で説明したように、矩形の元画像を台形に補正するものである。この補正処理に対応する変換行列をＭＪ１とする。図８（ｂ）は、液晶プロジェクタ２の撮像系の補正処理を示しており、わかりやすくするために、水平方向に傾斜角を持っているときの図を示している。図８（ｂ）においては、撮像画像が変形しており、矩形に戻す補正処理が必要である。この補正処理に対応する変換行列をＭＣ２とする。
【００７３】
図８（ｃ）は、撮像系と投影系の補正処理を一度に実施する場合に生じる変形の様子を示している。変形処理部１６３は、例えば、投影条件により特定される第１画像変形パラメータ、及び遠隔撮像条件により特定される第２画像変形パラメータに基づいて決定される合成変形パラメータを用いて遠隔撮像画像に含まれる画素の座標を変換することにより、遠隔撮像画像を変形させる。具体的には、変形処理部１６３は、第１画像変形パラメータの行列と第２画像変形パラメータの行列とを乗算することにより、合成変形パラメータの行列を決定する。例えば、第１画像変形パラメータをＭＪ１、第２画像変形パラメータをＭＣ２とすると、変形処理部１６３は、Ｍ＝ＭＪ１＊ＭＣ２により合成変形パラメータの行列Ｍを算出する。この場合、式（１）及び式（２）のｘｓｏ、ｙｓｏは、撮像画像の１つの頂点の座標値であり、ｘｄｏ、ｙｄｏは、投影系補正後画像の、元画像の頂点（ｘｓｏ、ｙｓｏ）に対応する頂点の座標値である。
【００７４】
図４に戻って、ＣＰＵ１１１は、Ｓ１６の処理を実行した後に、Ｓ１６で算出した合成変形パラメータを、変形処理部１６３に設定する（Ｓ１７）。変形処理部１６３が出力する変形後画像信号ｓ３０７は、メモリ書込制御部１６４を通して、いったんフレームメモリであるＲＡＭ１１３に蓄えられる。その後、ＲＡＭ１１３に蓄えられた変形後画像信号ｓ３０７は、メモリ読出制御部１６５によって変形後画像信号ｓ３０８として読み出されて液晶制御部１２６に供給され、液晶パネル１２５に表示される。本実施形態においては、受信画像が静止画なので、メモリ書込制御部１６４は、１フレーム分の変形後画像信号ｓ３０７をＲＡＭ１１３に書き込んだ時点で処理を中断する。メモリ読出制御部１６５は、同じフレームを継続して読み出して、液晶制御部１２６に供給する。
【００７５】
最後に、ＣＰＵ１１１は、投影処理を行う（Ｓ１８）。ＣＰＵ１１１は、画像変更部１１６に必要な設定をして画像処理を実行させる。また、ＣＰＵ１１１は、液晶制御部１２６を制御して、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶パネル１２５の透過率を制御させる。そして、ＣＰＵ１１１は、光源制御部１２３に、光源１２２からの光の出力を制御させる。このようにして、ＣＰＵ１１１の制御に基づいて変形状態が補正された投影画像が、投影光学系１２８を介して、ホワイトボード１０に投影される。
【００７６】
なお、ＣＰＵ１１１は、Ｓ１１において、「ファイル受信表示モード」ではないと判定した場合（Ｓ１１でＮｏ）、他の表示モードを実施する（Ｓ１９）。表示モードが「入力画像表示モード」である場合、ＣＰＵ１１１は、画像入力部１１５から映像が入力されているかを判断し、入力されていれば通常の投影処理（Ｓ１８）と同様に、画像変更部１１６、液晶制御部１２６、投影制御部１６０を制御することにより、投影画像をホワイトボード１０に投影させる。
【００７７】
また、「ファイル再生表示モード」では、ＣＰＵ１１１は、記録再生部１１７に、記録媒体１３０から静止画データ及び動画データのファイルリスト、並びに各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１３に一時的に記憶する。そして、ＣＰＵ１１１は、ＲＯＭ１１２に記憶されたプログラムに基づいて、ＲＡＭ１１３に一時記憶されたファイルリストに基づく文字画像及び各ファイルのサムネイルデータに基づく画像を生成し、画像変更部１１６に送信する。そして、ＣＰＵ１１１は、通常の投影処理（Ｓ１８）と同様に、画像変更部１１６、液晶制御部１２６、投影制御部１６０を制御することにより、ファイルリストに基づく文字画像及び各ファイルのサムネイルデータに基づく画像を投影する。
【００７８】
次に、記録媒体１３０に記録された静止画データ及び動画データにそれぞれ対応する文字や画像を選択する指示が、操作部１１４を介して入力されると、ＣＰＵ１１１は、選択された静止画データ及び動画データを記録媒体１３０から読み出すように記録再生部１１７を制御する。そして、ＣＰＵ１１１は、読み出された静止画データ及び動画データをＲＡＭ１１３に一時的に記憶し、ＲＯＭ１１２に記憶されたプログラムに基づいて、静止画データ及び動画データに基づく画像や映像を再生する。
【００７９】
そして、ＣＰＵ１１１は、再生した動画データの映像を順次、画像変更部１１６に送信し、通常の投影処理（Ｓ１８）と同様に、画像変更部１１６、液晶制御部１２６、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像変更部１１６に送信し、通常の投影処理（Ｓ１８）と同様に、画像変更部１１６、液晶制御部１２６、投影制御部１６０を制御する。
【００８０】
なお、ＣＰＵ１１１は、投影条件が変更されたことに応じて、又は通信部１１８が液晶プロジェクタ２から新たな遠隔撮像条件を受信したことに応じて、変形処理部１６３を制御することにより新たな合成変形パラメータを決定する。例えば、ＣＰＵ１１１は、投影条件が変更された場合、Ｓ１２の処理を実行して新たな投影条件を取得する。そして、Ｓ１６を実行して合成変形パラメータを算出し、Ｓ１７を実行して変形処理部１６３にパラメータを設定することにより、Ｓ１８において、変更後の投影条件に基づいて、受信した撮像画像を投影することができる。また、ＣＰＵ１１１は、新たな遠隔撮像条件を受信した場合、図４におけるＳ１５からＳ１８までを実行することにより、新たな遠隔撮像条件に基づいて、受信した撮像画像を投影することができる。
【００８１】
［液晶プロジェクタ１の撮像画像送信時の動作］
図９は、液晶プロジェクタ１が有する撮像部１１９でホワイトボード１０を撮像し、他拠点に設置された液晶プロジェクタ２に撮像画像を送信する処理のフローチャートである。図９に示す処理は、ＣＰＵ１１１が、ユーザの指示に基づいて実行してもよく、定期的に実行してもよい。
【００８２】
ＣＰＵ１１１は、撮像部１１９がホワイトボード１０を撮像する間、光学系制御部１２９を制御することにより、投影光学系１２８による投影画像の投影を停止させる（Ｓ３１）。具体的には、ＣＰＵ１１１は、受信画像に基づいて生成される再生信号ｓ３０２の代わりに、全画面が白となる信号を画像セレクタ１６１に供給する。これにより、投影光学系１２８からは、画像情報を含まない白色の照明光のみが照射され、液晶プロジェクタ１のユーザは、ホワイトボード１０に直接書き込まれた画像だけを視認することになる。
【００８３】
このとき、ＣＰＵ１１１は、液晶プロジェクタ１の投影条件に基づいて、白の輝度分布を調整する。例えば、ホワイトボード１０が液晶プロジェクタ１に対して相対的に傾いている場合、ホワイトボード１０における液晶プロジェクタ１からの距離が遠い位置において、光の広がりの影響により光量が落ちるため暗くなる。この光量の低下を補うため、ＣＰＵ１１１は、投影系の変形率に応じて輝度を調整することにより、ホワイトボード１０上で均一となるような照明光を照射することができる。
【００８４】
次に、ＣＰＵ１１１は、撮像部１１９を制御してホワイトボード１０上の画像を撮像し、撮像画像をＲＡＭ１１３に一時的に保存する（Ｓ３２）。そして、ＣＰＵ１１１は、受信画像を再生した再生信号ｓ３０２を、再び画像セレクタ１６１に供給し、画像投影を再開する（Ｓ３３）。最後に、ＣＰＵ１１１は、ＲＡＭ１１３に一時保存した撮像画像及び撮像条件を他拠点の液晶プロジェクタ２へ送信する（Ｓ３４）。撮像部１１９の位置が、投影光学系１２８の位置とほぼ同一である場合、ＣＰＵ１１１は、撮像条件の内容を投影条件と同一の内容にしてもよい。
【００８５】
なお、上記の説明では、ＣＰＵ１１１が、全画面が白となる画像を生成して画像セレクタ１６１に供給する例について説明したが、ＣＰＵ１１１は、画像処理部１６２を制御して、同様の全画面が白となる画像を生成してもよい。
【００８６】
［受信画像を更新する時の動作］
図１０は、液晶プロジェクタ１が液晶プロジェクタ２から受信した撮像画像を投影中に、通信部１１８が新たに撮像画像を受信したときの動作を示すフローチャートである。
まず、ＣＰＵ１１１は、メモリ書込制御部１６４を制御して、ＲＡＭ１１３内の書込みフレームメモリアドレスを変更する（Ｓ４１）。ＣＰＵ１１１は、新たに受信した撮像画像の変形処理が終了して投影画像の準備ができるまで、現在投影中の投影画像を投影し続ける必要があるので、現在投影中の画像が書き込まれているフレームメモリのアドレスと異なるアドレスに、受信した撮像画像を書き込む。
【００８７】
次に、ＣＰＵ１１１は、図４におけるＳ１４、Ｓ１５と同じ処理を実施して、受信画像を再生し、受信画像の撮像条件を取得する。次に、ＣＰＵ１１１は、Ｓ１５で取得した受信画像の撮像条件が、これまで投影していた受信画像の撮像条件と変化しているかどうかを判定する（Ｓ４２）。液晶プロジェクタ２が動かされたことにより、液晶プロジェクタ２とホワイトボード２０との位置関係が変化したことにより撮像条件が変化している場合（Ｓ４２においてＹｅｓ）、図４に示したＳ１６、Ｓ１７の処理を実施して、新しく取得した撮像条件、及び液晶プロジェクタ１の投影条件に基づいた合成変形パラメータを算出し、変形処理部１６３へパラメータを設定する。ＣＰＵ１１１は、撮像条件に変化が無い場合（Ｓ４２においてＮｏ）、Ｓ１６及びＳ１７の処理を実行しない。ＣＰＵ１１１は、新しく受信した画像に適合した変形をして、メモリ書込制御部１６４を制御することにより、変形後の画像に対応する変形後画像信号ｓ３０７を、フレームメモリとしてのＲＡＭ１１３におけるＳ４１で指定されたアドレスに書き込む。
【００８８】
最後に、ＣＰＵ１１１は、メモリ読出制御部１６５を制御して、読み出しアドレスをＳ４１で指定されたフレームメモリに切り替える（Ｓ４３）。これにより、プロジェクタ１は、新しく受信した撮像画像を投影することができる。
【００８９】
［第１の実施形態における効果］
以上の構成及び動作により、ユーザは、液晶プロジェクタ１及び液晶プロジェクタ２を用いて、画像が歪むことなく、２拠点での会議資料を共有することができる。図１１は、２拠点のホワイトボード１０及びホワイトボード２０のそれぞれに、他の拠点で撮像された画像を投影する場合の動作について説明するための図である。ここでは、ホワイトボード１０及びホワイトボード２０が床に垂直に設置され、液晶プロジェクタ１は上向きに投影するように設置され、液晶プロジェクタ２は、ホワイトボード２０に対して左向きに投影するように設置されているとする。
【００９０】
第１拠点のユーザが、ホワイトボード１０に、図１１（ａ）に示す図を描き、液晶プロジェクタ１が内蔵する撮像部１１９が、描かれた図を撮像する。このとき、液晶プロジェクタ１が上向きに設置されているため、撮像部１１９が生成する撮像画像は、図１１（ｂ）のように台形に歪んだ画像となる。液晶プロジェクタ１は、この撮像画像及び上向きの状態に対応する撮像条件を、通信回線３０を通して第２拠点の液晶プロジェクタ２に送信する。
【００９１】
液晶プロジェクタ２は、自身の左向きの状態に対応する投影条件と、液晶プロジェクタ１の上向きの状態に対応する撮像条件とに基づいて算出される変形パラメータを用いてキーストーン補正を実施し、液晶プロジェクタ１から受信した撮像画像を投影する。この場合、ホワイトボード２０には、図１１（ｃ）に示すように、図１１（ａ）と同じ画像が投影される。
【００９２】
ここで、第２拠点のユーザが、ホワイトボード２０に投影された図１１（ｃ）の投影画像を見ながらグレーの矢印を追記したとする。第２拠点の液晶プロジェクタ２は、図９におけるＳ３１の処理を実行して投影画像の投影を一時的に中断し、撮像部１１９でホワイトボード２０を撮像する。この場合、液晶プロジェクタ２はホワイトボード２０に対して左向きに投影するように設置されているため、図１１（ｅ）に示す画像が撮像される。
【００９３】
液晶プロジェクタ２は、この撮像画像及び撮像条件を、通信回線３０を通して第１拠点の液晶プロジェクタ１に送信する。液晶プロジェクタ１は自身の上向きの投影条件と、液晶プロジェクタ２から受信した左向きの撮像条件から求められる変形パラメータとに基づいてキーストーン補正を実行して、変形後の画像を投影する。その結果、ホワイトボード１０には、図１１（ｆ）に示すように、第２拠点のホワイトボード２０に投影された図１１（ｄ）に示す投影画像と同一の投影画像が投影される。
【００９４】
以上説明したように、本実施形態の遠隔会議支援システムＳ１によれば、２拠点で、互いのホワイトボード上に書かれた情報を撮像及び投影し、会議が進行する過程で書き加えられていく資料を歪ませることなく共有することができる。さらに、撮像側の投影条件に基づく変形に対する処理、及び投影側の投影条件に基づく変形に対する処理を、投影側で実施することから、遠隔会議支援システムＳ１においては、撮像側のプロジェクタに台形補正機能を搭載する必要がない。さらに、遠隔会議支援システムＳ１においては、画像処理を繰り返すことによる画質劣化を抑えることができる。
【００９５】
＜第２の実施形態＞
第１の実施形態においては、液晶プロジェクタ１及び液晶プロジェクタ２の本体に内蔵された撮像部１１９を用いて撮像画像を生成する場合について説明したが、第２の実施形態においては、液晶プロジェクタ１及び液晶プロジェクタ２の本体に内蔵されていないカメラを用いて撮像画像を生成する点で、第１の実施形態と異なる。
【００９６】
図１２は、第２の実施形態に係る遠隔会議支援システムＳ２の概略構成図である。図１２において、液晶プロジェクタ１の近傍にカメラ３が設置されており、液晶プロジェクタ２の近傍にカメラ４が設置されている。カメラ３は、ホワイトボード１０を撮影して撮像画像を生成し、カメラ４は、ホワイトボード２０を撮影して撮像画像を生成する。
【００９７】
このような構成においては、投影手段と撮像手段が一体ではないため、ＣＰＵ１１１は、プロジェクタの投影条件に基づいて撮像条件を特定することができない。したがって、カメラ３とホワイトボード１０との間の相対角情報、及びカメラ４とホワイトボード２０との間の相対角情報が必要である。
【００９８】
そこで、例えば、液晶プロジェクタ１のＣＰＵ１１１は、カメラ３を制御することにより、カメラ３に内蔵した距離センサを用いて、ホワイトボード１０上の水平方向の２点（図１２におけるＡ，Ｂ）との距離を計測することで水平方向の傾きを算出し、垂直方向の２点（図１２におけるＡ，Ｃ）との距離を計測することで垂直方向の傾きを算出する。ＣＰＵ１１１は、このようにして取得した撮像条件を、カメラ３において生成された撮像画像とともに第２拠点の液晶プロジェクタ２に送信する。液晶プロジェクタ２においても同様に、カメラ４とホワイトボード２０との間の相対角情報に基づく撮像条件を取得し、カメラ４において生成された撮像画像とともに第１拠点の液晶プロジェクタ１に送信する。
【００９９】
［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る遠隔会議支援システムＳ２においては、撮像系を内蔵しないプロジェクタと、通信手段および距離センサを内蔵したカメラを用いることにより、第１の実施形態と同様に、画質劣化を抑制するとともに、会議資料を歪ませることなく共有することができる。
【０１００】
＜第３の実施形態＞
第３の実施形態においては、第２の実施形態と同様に、撮像系がプロジェクタと一体型ではない図１２に示した構成について説明する。第３の実施形態に係る遠隔会議支援システムＳ２におけるカメラには距離センサが内蔵されておらず、条件特定手段は、撮像画像の形状に基づいて画像処理を実施することにより撮像条件を計算する。
【０１０１】
まず、液晶プロジェクタ１は、アスペクト比が既知の矩形画像を、投影条件によるキーストーン補正を実行した上で投影する。このようにすることで、ホワイトボード１０にはアスペクト比が既知の矩形画像が投影される。液晶プロジェクタ１の制御に基づいて、カメラ３が、投影された矩形画像を撮影すると、撮像条件に応じて変形した矩形画像が撮像される。
【０１０２】
次に、液晶プロジェクタ１は、撮像された矩形画像を取得し、取得した矩形画像の四隅座標を算出する。最後に、液晶プロジェクタ１は、算出した四隅画像に基づいて、撮像条件を決定する。例えば、液晶プロジェクタ１は、撮像条件ごとに、変形した矩形の四隅座標を格納したルックアップテーブルを保持しており、算出した四隅座標に最も相似に近い形状に対応する撮像条件を選択する。
【０１０３】
なお、カメラ３が撮像条件を決定する処理を行い、液晶プロジェクタ１が、カメラ３により決定された撮像条件を取得してもよく、カメラ３が決定した撮像条件を、カメラ３が液晶プロジェクタ２に直接送信してもよい。
また、液晶プロジェクタ１は、液晶プロジェクタ１が投影した矩形画像を用いることなく、カメラ３がホワイトボード１０の枠を撮像した画像に基づいてホワイトボード１０の四隅を検出することにより撮像条件を取得してもよい。この場合、液晶プロジェクタ１は、ホワイトボード１０の縦横比を予め取得するとともに、矩形の縦横比ごとのルックアップテーブルを保持している必要がある。
【０１０４】
［第３の実施形態における効果］
以上説明したように、第３の実施形態の遠隔会議支援システムＳ２においては、カメラ３が距離センサを搭載していない場合であっても、液晶プロジェクタ１は、撮像条件を取得し、液晶プロジェクタ２に送信することができる。
【０１０５】
＜その他の実施の形態＞
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を装置に供給することによっても達成されることは、言うまでもない。このとき、記憶媒体が供給された装置の制御部（例えば、コンピュータ、ＣＰＵ又はＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出して実行する。
【０１０６】
この場合、記憶媒体から読み出されたプログラムコードに基づいて、制御部が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０８】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【０１０９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１１０】
１  プロジェクタ
１１８  通信部
１１９  撮像部
１２８  投影光学系
【図１】
2017085261.tif 000005
【図２】
2017085261.tif 000006
【図３】
2017085261.tif 000007
【図４】
2017085261.tif 000008
【図５】
2017085261.tif 000009
【図６】
2017085261.tif 000010
【図７】
2017085261.tif 000011
【図８】
2017085261.tif 000012
【図９】
2017085261.tif 000013
【図１０】
2017085261.tif 000014
【図１１】
2017085261.tif 000015
【図１２】
2017085261.tif 000016
【図１３】
2017085261.tif 000017