(57)【要約】【課題】三次元形状の投写面に画像を投写する場合に、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを抑制可能な画像投写システム及びその制御方法を提供する。【解決手段】プロジェクター１００は、投写面Ｓｐの三次元形状を測定する測定部１６と、測定部１６で測定された投写面Ｓｐの三次元形状に応じて、入力される画像情報を補正する画像情報補正部１４と、画像情報補正部１４により補正された画像情報に基づく画像を投写面Ｓｐに投写する画像投写部１５と、を備え、画像情報補正部１４は、画像情報として、平行に配置された複数の縦線と、平行に配置された複数の横線とが直交する格子パターンを表す画像情報が入力された場合に、画像投写部１５から投写された複数の縦線及び複数の横線が、三次元形状の投写面Ｓｐ上において直交するように画像情報を補正する。【選択図】図１
2019047312.tif 000002
【特許請求の範囲】
【請求項１】
投写面の三次元形状を測定する測定部と、
前記測定部で測定された前記投写面の三次元形状に応じて、入力される画像情報を補正する補正部と、
前記補正部により補正された画像情報に基づく画像を前記投写面に投写する投写部と、を備え、
前記補正部は、前記画像情報として、平行に配置された複数の第１直線と、平行に配置された複数の第２直線とが直交する格子パターンを表す画像情報が入力された場合に、前記投写部から投写された前記複数の第１直線及び前記複数の第２直線が、前記三次元形状の投写面上において直交するように前記画像情報を補正することを特徴とする画像投写システム。
【請求項２】
請求項１に記載の画像投写システムであって、
前記補正部は、前記画像情報として、等間隔で平行に配置された複数の第１直線と、等間隔で平行に配置された複数の第２直線とが直交する格子パターンを表す画像情報が入力された場合に、前記投写部から投写された前記複数の第１直線及び前記複数の第２直線が、前記三次元形状の投写面上において等間隔で直交するように前記画像情報を補正することを特徴とする画像投写システム。
【請求項３】
請求項１又は２に記載の画像投写システムであって、
前記測定部の測定結果に基づいて、前記投写部から第１基準点を含む画像を投写した場合の前記投写面を平面に展開した二次元展開図を生成し、生成した前記二次元展開図上における前記第１基準点の座標に基づいて、前記補正部で補正を行うための補正情報を生成する補正情報生成部をさらに備えること特徴とする画像投写システム。
【請求項４】
請求項３に記載の画像投写システムであって、
前記補正情報生成部は、第２基準点が配置された本来の形状の画像領域を前記二次元展開図内に設定し、前記二次元展開図上の前記第１基準点の座標に基づいて、前記第２基準点の座標を変換し、座標変換後の前記第２基準点の座標に基づいて前記補正情報を生成することを特徴とする画像投写システム。
【請求項５】
請求項１〜４のいずれか一項に記載の画像投写システムであって、
前記測定部は、撮像部を備え、前記投写部が前記投写面に投写したパターン画像を前記撮像部で撮像した撮像画像に基づいて、前記投写面の三次元形状を測定することを特徴とする画像投写システム。
【請求項６】
請求項３又は４に記載の画像投写システムであって、
前記測定部は、撮像部を備え、前記投写部が前記投写面に投写したパターン画像を前記撮像部で撮像した撮像画像に基づいて、前記投写面の三次元形状を測定し、
前記パターン画像は、前記第１基準点を含む画像と共通であることを特徴とする画像投写システム。
【請求項７】
請求項１〜６のいずれか一項に記載の画像投写システムであって、
前記投写部と前記測定部とが一体的に構成されていることを特徴とする画像投写システム。
【請求項８】
投写面の三次元形状を測定する測定ステップと、
測定された前記投写面の三次元形状に応じて、入力される画像情報を補正する補正ステップと、
補正された画像情報に基づく画像を前記投写面に投写する投写ステップと、を備え、
前記補正ステップでは、前記画像情報として、平行に配置された複数の第１直線と、平行に配置された複数の第２直線とが直交する格子パターンを表す画像情報が入力された場合に、前記投写ステップにて投写される前記複数の第１直線及び前記複数の第２直線が、前記三次元形状の投写面上において直交するように前記画像情報を補正することを特徴とする画像投写システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元形状の投写面に画像を投写する画像投写システム及びその制御方法に関する。
【背景技術】
【０００２】
単純な平面ではない投写面、即ち三次元形状の投写面に画像を投写する場合には、観察者の視点位置によっては、画像が大きく歪んで観察されてしまう。このため、特許文献１では、所定の視点位置から歪みのない画像を観察できるように補正処理を行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−８３９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術により補正された画像を複数の観察者が観察する場合には、所定の視点位置以外の位置にいる観察者からは、画像が不自然に歪んで観察されてしまうという問題を有している。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］本適用例に係る画像投写システムは、投写面の三次元形状を測定する測定部と、前記測定部で測定された前記投写面の三次元形状に応じて、入力される画像情報を補正する補正部と、前記補正部により補正された画像情報に基づく画像を前記投写面に投写する投写部と、を備え、前記補正部は、前記画像情報として、平行に配置された複数の第１直線と、平行に配置された複数の第２直線とが直交する格子パターンを表す画像情報が入力された場合に、前記投写部から投写された前記複数の第１直線及び前記複数の第２直線が、前記三次元形状の投写面上において直交するように前記画像情報を補正することを特徴とする。
【０００７】
この画像投写システムによれば、補正部は、画像情報に基づく格子の角度（直交であること）が、三次元形状の投写面上において維持されるように画像情報を補正するため、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを抑制できる。
【０００８】
［適用例２］上記適用例に係る画像投写システムにおいて、前記補正部は、前記画像情報として、等間隔で平行に配置された複数の第１直線と、等間隔で平行に配置された複数の第２直線とが直交する格子パターンを表す画像情報が入力された場合に、前記投写部から投写された前記複数の第１直線及び前記複数の第２直線が、前記三次元形状の投写面上において等間隔で直交するように前記画像情報を補正することが望ましい。
【０００９】
この画像投写システムによれば、補正部は、画像情報に基づく格子の間隔比（等間隔であること）と角度（直交であること）が、三次元形状の投写面上において維持されるように画像情報を補正するため、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを一層抑制できる。
【００１０】
［適用例３］上記適用例に係る画像投写システムにおいて、前記測定部の測定結果に基づいて、前記投写部から第１基準点を含む画像を投写した場合の前記投写面を平面に展開した二次元展開図を生成し、生成した前記二次元展開図上における前記第１基準点の座標に基づいて、前記補正部で補正を行うための補正情報を生成する補正情報生成部をさらに備えることが望ましい。
【００１１】
この画像投写システムによれば、補正情報生成部は、第１基準点が投写された投写面の二次元展開図を生成し、生成された二次元展開図上における第１基準点の座標に基づいて、補正情報を生成する。これにより、画像投写システムは、二次元展開図上で適切な形状となるように画像を補正することが可能となるため、三次元形状の投写面上においても、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを抑制できる。
【００１２】
［適用例４］上記適用例に係る画像投写システムにおいて、前記補正情報生成部は、第２基準点が配置された本来の形状の画像領域を前記二次元展開図内に設定し、前記二次元展開図上の前記第１基準点の座標に基づいて、前記第２基準点の座標を変換し、座標変換後の前記第２基準点の座標に基づいて前記補正情報を生成することが望ましい。
【００１３】
この画像投写システムによれば、補正情報生成部は、二次元展開図内に本来の形状の画像領域を設定し、二次元展開図上の第１基準点の座標に基づいて、画像領域内の第２基準点の座標を変換し、座標変換後の第２基準点の座標に基づいて補正情報を生成する。これにより、画像投写システムは、二次元展開図上で本来の形状となるように画像を補正することが可能となるため、三次元形状の投写面上においても、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを抑制できる。
【００１４】
［適用例５］上記適用例に係る画像投写システムにおいて、前記測定部は、撮像部を備え、前記投写部が前記投写面に投写したパターン画像を前記撮像部で撮像した撮像画像に基づいて、前記投写面の三次元形状を測定することが望ましい。
【００１５】
この画像投写システムによれば、測定部は、投写部が投写したパターン画像を撮像部で撮像することによって投写面の三次元形状を測定するため、三次元形状を測定するための専用の装置を具備する必要がない。
【００１６】
［適用例６］上記適用例に係る画像投写システムにおいて、前記測定部は、撮像部を備え、前記投写部が前記投写面に投写したパターン画像を前記撮像部で撮像した撮像画像に基づいて、前記投写面の三次元形状を測定し、前記パターン画像は、前記第１基準点を含む画像と共通であることが望ましい。
【００１７】
この画像投写システムによれば、三次元形状の測定と、補正情報の生成とを、共通の画像（パターン画像）を用いて行うため、補正処理を簡略化することが可能となる。
【００１８】
［適用例７］上記適用例に係る画像投写システムにおいて、前記投写部と前記測定部とが一体的に構成されていることが望ましい。
【００１９】
この画像投写システムによれば、投写部と測定部とが一体的に構成されているため、投写部と測定部の配置の調整を都度行う必要がない。
【００２０】
［適用例８］本適用例に係る画像投写システムの制御方法は、投写面の三次元形状を測定する測定ステップと、測定された前記投写面の三次元形状に応じて、入力される画像情報を補正する補正ステップと、補正された画像情報に基づく画像を投写する投写ステップと、を備え、前記補正ステップでは、前記画像情報として、平行に配置された複数の第１直線と、平行に配置された複数の第２直線とが直交する格子パターンを表す画像情報が入力された場合に、前記投写ステップにて投写される前記複数の第１直線及び前記複数の第２直線が、前記三次元形状の投写面上において直交するように前記画像情報を補正することを特徴とする。
【００２１】
この画像投写システムの制御方法によれば、補正ステップにて、画像情報に基づく格子の角度（直交であること）が、三次元形状の投写面上において維持されるように画像情報を補正するため、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを抑制できる。
【図面の簡単な説明】
【００２２】
【図１】プロジェクターの概略構成を示すブロック図。
【図２】投写面の三次元形状を測定するためのパターン画像の一例を示す図。
【図３】歪み補正を行う際のプロジェクターの動作を説明するためのフローチャート。
【図４】歪み補正を行う際のプロジェクターの動作を説明するためのフローチャート。
【図５】鉛直に配設された投写面を上方から見た平面図。
【図６】撮像部で撮像された撮像画像を示す図。
【図７】補正情報生成部が生成する二次元展開図を示す図。
【図８】二次元展開図上に設定した画像領域を示す図。
【図９】第２基準点が配置された基本画像を示す図。
【図１０】投写面に表示画像が投写された様子を示す図。
【図１１】表示画像の一例を示す図。
【図１２】図１１の表示画像を投写面に投写した様子を示す図。
【発明を実施するための形態】
【００２３】
以下、本実施形態のプロジェクターについて、図面を参照して説明する。
図１は、本実施形態のプロジェクター１００の概略構成を示すブロック図である。
図１に示すように、画像投写システムとしてのプロジェクター１００は、制御部１０と、記憶部１１と、入力操作部１２と、画像情報入力部１３と、補正部としての画像情報補正部１４と、投写部としての画像投写部１５と、測定部１６と、補正情報生成部１８とを一体的に備えて構成されている。プロジェクター１００は、画像情報入力部１３に入力される画像情報に基づいて、画像投写部１５から投写面Ｓｐに画像を投写する。
【００２４】
本実施形態のプロジェクター１００は、投写面Ｓｐが単純な平面ではない場合、即ち三次元形状の投写面Ｓｐに画像を投写する場合に生じる画像の歪みを補正することができる。具体的には、プロジェクター１００は、画像投写部１５から所定のパターン画像Ｉｐ（図２参照）を投写面Ｓｐに投写し、測定部１６で投写面Ｓｐの三次元形状を測定する。そして、プロジェクター１００は、この三次元形状の投写面Ｓｐに矩形の紙を貼り付けたような形状で画像が投写されるように、画像を補正するための補正情報を生成する。その後、プロジェクター１００は、本来表示すべき画像、即ち歪みを補正した状態で表示すべき画像（以降、「表示画像」と呼ぶ。）に対して、生成した補正情報に基づく補正処理を施し、処理後の画像を投写面Ｓｐに投写する。
【００２５】
制御部１０は、１つ又は複数のプロセッサーを備えて構成され、記憶部１１に記憶されている制御プログラムに従って動作することによりプロジェクター１００の動作を統括制御する。
【００２６】
記憶部１１は、揮発性のメモリーであるＲＡＭ（Random Access Memory）、及び不揮発性のメモリーであるＲＯＭ（Read Only Memory）等を備えて構成される。ＲＡＭは、各種データ等の一時記憶に用いられ、ＲＯＭは、プロジェクター１００の動作を制御するための制御プログラムや制御データ等を記憶する。本実施形態の記憶部１１は、投写面Ｓｐの三次元形状を測定するためのパターン画像Ｉｐに対応する画像データ（パターン画像データＤｐ）を記憶している。また、記憶部１１は、表示画像用の画像データを記憶していてもよい。
【００２７】
入力操作部１２は、ユーザーがプロジェクター１００に対して各種指示を行うための複数の操作キーを備えている。入力操作部１２が備える操作キーとしては、電源のオンとオフとを切り替えるための「電源キー」、各種設定を行うための設定メニューを表示させる「メニューキー」、設定メニューの項目を選択するための「方向キー」等がある。ユーザーが入力操作部１２の各種操作キーを操作すると、入力操作部１２は、ユーザーの操作内容に応じた操作信号を制御部１０に出力する。なお、遠隔操作が可能なリモコン（図示せず）を、入力操作部１２として用いる構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部１０に伝達する。
【００２８】
画像情報入力部１３は、コンピューターや画像再生装置等の外部の画像供給装置（図示せず）に接続され、画像供給装置から表示画像用の画像情報の供給を受ける。また、画像情報入力部１３は、制御部１０から、記憶部１１に記憶されている画像情報（パターン画像データＤｐ及び表示画像用の画像データ）の供給を受けることができる。画像情報入力部１３は、制御部１０の制御に基づいて、画像供給装置又は制御部１０から入力された画像情報に、必要に応じて様々な処理（例えば、解像度変換処理や画質調整処理等）を施し、処理後の画像情報を画像情報補正部１４に出力する。
【００２９】
画像情報補正部１４は、制御部１０の制御に基づいて、投写面Ｓｐの三次元形状等に起因する画像の歪みを補正する。具体的には、画像情報補正部１４は、画像情報入力部１３から入力される画像情報に対して、制御部１０から入力される補正情報に基づく補正処理を施し、処理後の画像情報を画像投写部１５のライトバルブ駆動部２４に出力する。
【００３０】
画像投写部１５は、光源２１、光変調装置としての３つの液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂ、投写光学系としての投写レンズ２３、ライトバルブ駆動部２４等で構成されている。画像投写部１５は、光源２１から射出された光を、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂで変調して画像光を形成し、この画像光を投写レンズ２３から投写して投写面Ｓｐに画像を表示する。
【００３１】
光源２１は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を含んで構成されている。光源２１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色光成分に分離された後、それぞれ液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂに入射する。
【００３２】
液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂは、それぞれ一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画像形成領域Ａｉが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。
【００３３】
ライトバルブ駆動部２４は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画像形成領域Ａｉに画像を形成する。具体的には、ライトバルブ駆動部２４は、画像情報補正部１４から入力される画像情報に応じた駆動電圧を、画像形成領域Ａｉの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源２１から射出された光は、液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂの画像形成領域Ａｉを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、図示しない色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投写レンズ２３によって投写面Ｓｐに拡大投写される。この結果、投写面Ｓｐ上には、画像情報に基づく画像が表示される。
【００３４】
測定部１６は、制御部１０の制御に従って動作し、投写面Ｓｐの三次元形状を測定する。測定部１６は、パターン画像Ｉｐを撮像するための撮像部１７を有している。撮像部１７は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の撮像素子（図示せず）を備えたカメラである。撮像部１７は、画像投写部１５から投写面Ｓｐに投写されるパターン画像Ｉｐを撮像し、その撮像結果として、撮像画像情報を生成する。
【００３５】
測定部１６は、撮像部１７で生成される撮像画像情報に基づいて、投写面Ｓｐの三次元形状を測定する。具体的には、測定部１６は、撮像画像情報に基づく画像、即ち撮像部１７が撮像した画像（以降、「撮像画像」と呼ぶ。）内に含まれるパターン画像Ｉｐから複数の基準点を検出し、各基準点の三次元座標を導出する。測定部１６は、導出した三次元座標を、測定結果として補正情報生成部１８に出力する。
【００３６】
補正情報生成部１８は、制御部１０の制御に従って動作し、測定部１６の測定結果に基づいて、投写面Ｓｐの三次元形状に応じた画像の歪みを補正するための補正情報を生成する。補正情報生成部１８は、生成した補正情報を制御部１０に出力する。
【００３７】
なお、画像情報入力部１３、画像情報補正部１４、測定部１６及び補正情報生成部１８は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の専用の処理装置によって構成されてもよい。
【００３８】
図２は、投写面Ｓｐの三次元形状を測定するためのパターン画像Ｉｐの一例を示す図である。
図２に示すように、パターン画像Ｉｐは、画像形成領域Ａｉに形成される矩形の画像であり、白色の単位パターンＵｗと、黒色の単位パターンＵｋとが、１５×１１のマトリクス状に配列された画像である。すべての単位パターンＵｗ，Ｕｋは、合同の矩形であり、同色の単位パターンが上下左右に隣接しないように、市松模様状に配置されている。
【００３９】
測定部１６は、撮像部１７によって撮像されたパターン画像Ｉｐから、白色の単位パターンＵｗの頂点（角部）を基準点Ｃ１として検出する。矩形のパターン画像Ｉｐ内において、基準点Ｃ１は、１６×１２のマトリクス状に配置されている。ここで、パターン画像Ｉｐは、各単位パターンＵｗ，Ｕｋの輪郭線で構成される格子状の画像とみなすことも可能である。この場合、パターン画像Ｉｐは、複数の平行な直線（横線）と、これに直交する複数の平行な直線（縦線）とを含んで構成され、これらの交点、即ち格子の交点が基準点Ｃ１である。そして、矩形のパターン画像Ｉｐ内において、縦方向の格子間隔、即ち基準点Ｃ１の縦方向の間隔は等間隔であり、横方向の格子間隔、即ち基準点Ｃ１の横方向の間隔も等間隔であり、格子の角度（縦線と横線がなす角度）は直角である。なお、これ以降、パターン画像Ｉｐ内における基準点Ｃ１を「第１基準点Ｃ１」とも呼ぶ。また、単位パターンＵｗ，Ｕｋに対応する領域、即ち縦、横、斜めに隣り合う４つの基準点Ｃ１を頂点とする四角形の領域を「ブロックＢ１」とも表記する。
【００４０】
次に、プロジェクター１００の動作について説明する。
図３及び図４は、歪み補正を行う際のプロジェクター１００の動作（制御方法）を説明するためのフローチャートである。
ユーザーがプロジェクター１００の入力操作部１２を操作して歪み補正の開始を指示すると、プロジェクター１００の制御部１０は、図３に示すフローに従って動作する。
【００４１】
図３に示すように、ステップＳ１０１では、制御部１０は、画像投写部１５からパターン画像Ｉｐ（図２参照）を投写させる。具体的には、制御部１０は、記憶部１１からパターン画像データＤｐを読み出して、画像情報入力部１３に出力する。また、制御部１０は、画像情報補正部１４に対して補正処理を行わないように指示をする。この結果、画像形成領域Ａｉの全域にパターン画像Ｉｐが形成され、投写面Ｓｐに投写される。そして、投写面Ｓｐが平面ではない場合には、パターン画像Ｉｐは、投写面Ｓｐ上に歪んで表示される。
【００４２】
次いで、ステップＳ１０２では、制御部１０は、測定部１６に指示をして、投写面Ｓｐに投写されたパターン画像Ｉｐを撮像部１７で撮像させる。
【００４３】
図５は、鉛直に配設された投写面Ｓｐを上方から見た平面図であり、図６は、撮像部１７で撮像された撮像画像Ｉｃを示す図である。
図５に示すように、本実施形態では、２つの平面（壁面）Ｗ１，Ｗ２が直角に交わる凹状の角部Ｎを含む範囲に画像を投写する場合について説明する。つまり、直角に交わる２つの平面Ｗ１，Ｗ２が投写面Ｓｐである。この場合、画像投写部１５から投写面Ｓｐまでの距離は、角部Ｎに近い位置ほど長くなる。このため、図６に示すように、画像投写部１５から投写されたパターン画像Ｉｐは、角部Ｎに近い位置ほど大きく拡大されるように歪んで投写され、撮像画像Ｉｃには、このように歪んで表示されたパターン画像Ｉｐが撮像される。
【００４４】
図３に戻って、ステップＳ１０３（測定ステップ）では、制御部１０は、測定部１６に指示をして、撮像部１７が撮像した撮像画像Ｉｃに基づいて、投写面Ｓｐの三次元形状を測定させる。測定部１６は、制御部１０の指示を受けると、撮像画像Ｉｃに含まれるパターン画像Ｉｐから複数の基準点Ｃ１を検出する。ここで、矩形のパターン画像Ｉｐにおける各基準点Ｃ１の座標（以降、「基準座標」と呼ぶ。）は既知であり、予め記憶部１１に記憶されている。測定部１６は、検出した基準点Ｃ１の座標、即ち撮像画像Ｉｃにおける基準点Ｃ１の座標と、記憶部１１に記憶されている基準座標との対応関係に基づいて、三角測量の原理により、投写面Ｓｐ上の基準点Ｃ１の三次元座標を導出する。測定部１６は、例えば、撮像部１７の撮像レンズ（図示せず）の主点を原点とする三次元座標を求めることができる。この三次元座標により、投写面Ｓｐの三次元形状及び投写面Ｓｐ上における画像の歪みが認識可能となる。
【００４５】
ステップＳ１０４では、制御部１０は、補正情報生成部１８に指示をし、導出された基準点Ｃ１の三次元座標に基づいて、投写面Ｓｐの三次元形状に起因する歪みを補正するための補正情報を生成させる。補正情報生成部１８は、この指示を受けると、図４に示すフローに従って動作して、補正情報の生成を開始する。
【００４６】
図４に示すように、まず、ステップＳ１１１では、補正情報生成部１８は、測定部１６により導出された基準点Ｃ１の三次元座標に基づいて、基準点Ｃ１（第１基準点Ｃ１）が配置された三次元形状の投写面Ｓｐを単一の平面上に展開した二次元展開図を生成する。
【００４７】
図７は、補正情報生成部１８が生成する二次元展開図Ｐｄを示す図である。
図７に示すように、二次元展開図Ｐｄは、パターン画像Ｉｐが投写された投写面Ｓｐ上における基準点Ｃ１の位置関係を示す仮想図面であり、投写面Ｓｐ上におけるパターン画像Ｉｐの歪みを示している。図７では、便宜上、縦方向及び横方向に隣り合う基準点Ｃ１同士が直線で接続されている。つまり、二次元展開図Ｐｄは、パターン画像Ｉｐの単位パターンＵｗ，Ｕｋに対応する複数の四角形のブロックＢ１を含んで構成されており、各ブロックＢ１の頂点が基準点Ｃ１である。そして、二次元展開図Ｐｄ上において、各ブロックＢ１の辺の長さ（隣接する基準点Ｃ１間の距離）は、投写面Ｓｐ上の対応する単位パターンＵｗ，Ｕｋの辺の長さと等しく、二次元展開図Ｐｄ上における各ブロックＢ１の頂点の角度は、投写面Ｓｐ上の対応する単位パターンＵｗ，Ｕｋの頂点の角度に等しい。
【００４８】
次いで、ステップＳ１１２では、補正情報生成部１８は、生成した二次元展開図Ｐｄ上に、表示画像を形成するための画像領域を設定する。
【００４９】
図８は、二次元展開図Ｐｄ上に設定した画像領域Ａｓを示す図である。図８において、二次元展開図Ｐｄは破線で表されており、画像領域Ａｓは実線で表されている。
図８に示すように、画像領域Ａｓは、表示画像の本来の形状、即ち画像形成領域Ａｉと相似の形状（矩形）の領域であり、その位置及び大きさは、二次元展開図Ｐｄからはみ出すことなく、且つできるだけ大きくなるように決定される。画像領域Ａｓには、便宜上、パターン画像Ｉｐに対応する格子模様が描画されており、格子によって区切られた矩形のブロックＢ２は、矩形のパターン画像Ｉｐの単位パターンＵｗ，Ｕｋ（ブロックＢ１）に対応する。つまり、画像領域Ａｓにおいて、ブロックＢ２は、１５×１１のマトリクス状に配列されている。そして、パターン画像Ｉｐと同様、縦方向及び横方向の格子間隔は、それぞれ等間隔であり、格子の角度は直角である。また、画像領域Ａｓにおける格子の交点は、パターン画像Ｉｐにおける基準点Ｃ１（第１基準点Ｃ１）に対応する基準点Ｃ２であり、これ以降、この基準点Ｃ２を「第２基準点Ｃ２」とも呼ぶ。このように、補正情報生成部１８は、二次元展開図Ｐｄ上に設定した画像領域Ａｓに、複数の第２基準点Ｃ２を１６×１２のマトリクス状に配置する。
【００５０】
次いで、ステップＳ１１３では、補正情報生成部１８は、二次元展開図Ｐｄ上の第２基準点Ｃ２の座標を、画像形成領域Ａｉに対応する矩形の画像Ｉｂ（以降、「基本画像Ｉｂ」とも呼ぶ。）上の座標に変換する処理を行う。具体的には、補正情報生成部１８は、矩形のパターン画像Ｉｐ上の第１基準点Ｃ１の座標（基準座標）と、二次元展開図Ｐｄ上の第１基準点Ｃ１の座標との対応関係に基づいて、第２基準点Ｃ２が配置された二次元展開図Ｐｄを基本画像Ｉｂの形状（矩形）に変形した場合の第２基準点Ｃ２の座標を導出する。
【００５１】
図９は、第２基準点Ｃ２が配置された基本画像Ｉｂを示す図であり、図９において、隣り合う第２基準点Ｃ２同士は、直線で接続されている。
図９に示すように、第２基準点Ｃ２を含む画像領域Ａｓは、上記の座標変換により、基本画像Ｉｂ上に歪んで配置される。ここで、基本画像Ｉｂ上の第２基準点Ｃ２は、二次元展開図Ｐｄ上に配置された第２基準点Ｃ２を投写面Ｓｐ上に配置し直して、画像投写部１５の位置から観察した場合の画像に相当する。
【００５２】
次いで、ステップＳ１１４では、補正情報生成部１８は、基本画像Ｉｂ上に配置された第２基準点Ｃ２の座標に基づいて、歪みを補正するための補正情報を生成する。
【００５３】
この補正情報は、例えば、単位パターンＵｗ，Ｕｋと同様に１５×１１の複数のブロックＢ１に分割された表示画像の各ブロックＢ１に対して、それぞれの４つの頂点（第１基準点Ｃ１）の座標（基準座標）と、基本画像Ｉｂにおける画像領域Ａｓ内の対応するブロックＢ２の４つの頂点（第２基準点Ｃ２）の座標とに基づいて表示画像の変形（射影変換）を行うための変換テーブルである。補正情報生成部１８は、生成した補正情報（変換テーブル）を制御部１０に出力する。その後、制御部１０は、図３に示すフローに処理を戻す。
【００５４】
図３に戻って、ステップＳ１０５（補正ステップ）では、制御部１０は、入力された補正情報を画像情報補正部１４に出力し、この補正情報に基づいて表示画像の補正を開始させる。これ以降、画像情報補正部１４は、画像情報入力部１３から逐次入力される表示画像用の画像情報に対して、補正情報に応じた補正処理を行う。具体的には、画像情報補正部１４は、基本画像Ｉｂの画像領域Ａｓ内に表示画像を形成するとともに、画像領域Ａｓの外側の領域Ａｏを黒色に設定する処理を行う。この結果、補正された画像情報に基づく画像が画像投写部１５から投写され（投写ステップ）、投写面Ｓｐには、歪みが補正された状態で表示画像が表示される。
【００５５】
図１０は、投写面Ｓｐに表示画像が投写された様子を示す図である。
図１０に示すように、プロジェクター１００から投写される画像の全体（基本画像Ｉｂ）は歪んでいるが、画像領域Ａｓの外側の領域Ａｏが黒色に設定されているため、画像領域Ａｓ内に形成された表示画像のみが観察者に視認される。そして、この画像領域Ａｓは、図８に示したように、二次元展開図Ｐｄ上では歪みのない矩形の領域であるため、実際の投写面Ｓｐ上では、矩形の紙を投写面Ｓｐに沿って貼り付けたような形状で表示される。
【００５６】
図１１は、表示画像の一例を示す図であり、図１２は、この表示画像を投写面Ｓｐに投写した様子を示す図である。
図１１に示すように、表示画像Ｉｓは、矩形の画像であり、平行で等間隔に配置された複数の縦線Ｌｖ（第１直線）と、同じく平行で等間隔に配置された複数の横線Ｌｈ（第２直線）とが直交する格子パターンを含んでいる。表示画像Ｉｓは、図２のパターン画像Ｉｐに対応しており、１５×１１のマトリクス状に配置された複数の矩形のブロックＢ１を含んでいる。すべてのブロックＢ１は合同であるため、基準となる１つのブロックＢ１（例えば、左上の角のブロックＢ１）の辺の長さ（格子の間隔）に対する各ブロックＢ１の辺の長さの比を「間隔比」とすると、すべてのブロックＢ１の間隔比は、横方向も縦方向も１である。また、すべてのブロックＢ１の頂点の角度、即ち格子の角度は、すべて直角である。
【００５７】
この表示画像Ｉｓを表す画像情報が画像情報入力部１３に入力されると、画像情報補正部１４にて、上述した補正処理がなされる。この結果、図１２に示すように、画像投写部１５から歪みが補正された状態で投写面Ｓｐに表示画像Ｉｓ（格子パターン）が投写される。投写面Ｓｐ上、即ち平面Ｗ１，Ｗ２の双方において、格子の間隔は、横方向、縦方向とも等間隔であり、格子の角度、即ち横線Ｌｈと縦線Ｌｖのなす角度は直角である。つまり、投写面Ｓｐ（平面Ｗ１，Ｗ２）上に投写されたブロックＢ１は、平面Ｗ１，Ｗ２の双方において合同の矩形である。言い換えれば、上述の補正により、ブロックＢ１の間隔比は、投写面Ｓｐ上でも１のまま維持され、ブロックＢ１の頂点の角度は、投写面Ｓｐ上でも直角のまま維持される。
【００５８】
一般に、三次元形状の投写面Ｓｐに投写された画像は、観察者の位置に応じて歪んで観察されるが、投写面Ｓｐ上において、表示画像を構成する各ブロックＢ１の間隔比や角度が維持されていれば、観察者には、投写面Ｓｐに沿って印刷物が貼り付けられているように観察され、不自然な印象が軽減される。ここで、間隔比と角度のうち、いずれか一方のみを維持する構成とすることも可能である。例えば、角度のみを維持し、間隔比については、遠い位置の領域が小さく見えてしまうことを抑制するために、観察者から遠い位置ほど（角部Ｎに近い位置ほど）横方向の間隔が広くなるようにしてもよい。
【００５９】
なお、ブロックＢ１のうち角部Ｎに跨るブロックＢ１については、間隔比や頂点の角度に誤差が生じ得るため、必要に応じて適宜補正するようにしてもよい。また、パターン画像Ｉｐにおける格子間隔（基準点Ｃ１の間隔）を小さくすることによって、誤差を低減することも可能である。
【００６０】
以上説明したように、本実施形態のプロジェクター１００によれば、以下の効果を得ることができる。
【００６１】
（１）本実施形態のプロジェクター１００によれば、画像情報補正部１４は、等間隔で平行に配置された複数の縦線と、等間隔で平行に配置された複数の横線とが直交する格子パターンを表す画像情報が入力された場合に、格子の間隔比（等間隔であること）と角度（直交であること）が、三次元形状の投写面Ｓｐ上において維持されるように画像情報を補正する。このため、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを抑制できる。
【００６２】
（２）本実施形態のプロジェクター１００によれば、補正情報生成部１８は、二次元展開図Ｐｄ内に本来の形状（矩形）の画像領域Ａｓを設定し、二次元展開図Ｐｄ上の第１基準点Ｃ１の座標に基づいて、画像領域Ａｓ内の第２基準点Ｃ２の座標を変換し、座標変換後の第２基準点Ｃ２の座標に基づいて補正情報を生成する。これにより、プロジェクター１００は、二次元展開図Ｐｄ上で本来の形状となるように画像を補正することが可能となるため、三次元形状の投写面Ｓｐ上においても、観察者の位置に拘らず、観察者に不自然な印象を与えてしまうことを抑制できる。
【００６３】
（３）本実施形態のプロジェクター１００によれば、測定部１６は、画像投写部１５が投写したパターン画像Ｉｐを撮像部１７で撮像することによって投写面Ｓｐの三次元形状を測定するため、三次元形状を測定するための専用の装置を具備する必要がない。
【００６４】
（４）本実施形態のプロジェクター１００によれば、画像投写部１５と測定部１６とが一体的に構成されているため、画像投写部１５と測定部１６の配置の調整を都度行う必要がない。
【００６５】
（変形例）
また、上記実施形態は、以下のように変更してもよい。
【００６６】
上記実施形態では、測定部１６は、画像投写部１５から投写されたパターン画像Ｉｐを撮像部１７で撮像することにより、投写面Ｓｐの三次元形状を測定しているが、この態様に限定されない。例えば、測定部１６の代わりに、投写面Ｓｐの三次元形状を測定可能な三次元測定装置を備えた構成としてもよい。三次元測定装置としては、構造化光を投写する方式や、ＴＯＦ（Time Of Flight）方式等を採用することができる。また、構造化光を投写する方式については、上記実施形態のように、画像投写部１５から構造化光を投写する態様であってもよいし、三次元測定装置に備わる投写手段から構造化光を投写する態様であってもよい。
【００６７】
ここで、画像投写部１５以外の投写手段から構造化光を投写する態様では、不可視光（例えば、赤外光）の構造化光を投写する構成とすることもできる。この場合には、投写される構造化光が観察者に観察されることがなくなるため、表示画像の投写中に三次元形状の測定を行って補正情報を更新することも可能となる。また、ＴＯＦ方式によって三次元形状を測定する態様では、上記と同様、表示画像の投写中に三次元形状の測定を行って補正情報を更新することが可能であるうえ、不可視光を投写する手段を備える必要がない。
【００６８】
また、上述した三次元測定装置を備えた構成では、測定された投写面Ｓｐの三次元形状と、画像投写部１５と三次元測定装置との配置関係とに基づいて、画像投写部１５からパターン画像Ｉｐを投写した場合の基準点Ｃ１の三次元座標を算出することが可能であるため、実際にパターン画像Ｉｐを投写する必要はない。同様に、上記実施形態のように、画像投写部１５と撮像部１７とを備えた構成においても、例えば、画像投写部１５から構造化光を投写し、これを撮像部１７で撮像することによって投写面Ｓｐの三次元形状を認識すれば、画像投写部１５と撮像部１７との配置関係に基づいて、画像投写部１５からパターン画像Ｉｐを投写した場合の基準点Ｃ１の三次元座標を算出することができる。このため、この構成の場合にも、実際にパターン画像Ｉｐを投写する必要はない。
【００６９】
上記実施形態では、凹状の角部Ｎを有する投写面Ｓｐに画像を投写する態様について説明したが、投写面Ｓｐの三次元形状は、切り開くことなく平面に展開することが可能な形状であれば上記に限定されない。例えば、凸状の角部を有する投写面Ｓｐであってもよいし、円柱状に湾曲した投写面Ｓｐや、波状に歪んだ投写面Ｓｐ等であってもよい。
【００７０】
上記実施形態において、投写面Ｓｐが角部Ｎを有する場合や、湾曲した部位（湾曲部）を有する場合には、角部Ｎや湾曲部において、格子間隔や格子の角度に誤差（不一致）が生じ得る。この場合には、上述したように、適宜補正を行うようにしてもよいし、パターン画像Ｉｐにおける基準点Ｃ１の間隔を小さくすることで、誤差を低減することも可能である。
【００７１】
上記実施形態では、画像投写部１５が、複数の矩形の単位パターンＵｗ，Ｕｋがマトリクス状に配列されたパターン画像Ｉｐを投写し、測定部１６は、矩形の単位パターンＵｗの頂点、即ち格子の交点を基準点Ｃ１として検出しているが、基準点Ｃ１は、単位パターンＵｗの頂点に限定されない。例えば、画像投写部１５が、輝度分布を有する複数の単位パターンが配列されたパターン画像を投写し、測定部１６は、各単位パターンの最大輝度位置又は最小輝度位置を基準点Ｃ１として検出してもよい。また、パターン画像内に配列された複数の図形の重心位置を基準点Ｃ１として検出してもよい。
【００７２】
上記実施形態では、画像投写部１５及び測定部１６等の各構成要素を一体的に備えたプロジェクター１００について説明したが、各構成要素の一部又は全部が分離された構成であってもよい。ただし、画像投写部１５と測定部１６が分離されている場合には、設置の度にそれぞれの配置状態が変化するため、その都度キャリブレーション（矩形のパターン画像Ｉｐ上の座標と撮像画像Ｉｃ上の座標とを対応付ける処理等）を行う必要がある。
【００７３】
上記実施形態では、光変調装置として、透過型の液晶ライトバルブ２２Ｒ，２２Ｇ，２２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源２１から射出された光を変調するデジタルミラーデバイス等を用いることもできる。また、色光別に複数の光変調装置を備える構成に限定されず、１つの光変調装置で複数の色光を時分割で変調する構成としてもよい。
【符号の説明】
【００７４】
１０…制御部、１１…記憶部、１２…入力操作部、１３…画像情報入力部、１４…画像情報補正部、１５…画像投写部、１６…測定部、１７…撮像部、１８…補正情報生成部、２１…光源、２２Ｒ，２２Ｇ，２２Ｂ…液晶ライトバルブ、２３…投写レンズ、２４…ライトバルブ駆動部、１００…プロジェクター、Ａｉ…画像形成領域、Ａｓ…画像領域、Ｂ１，Ｂ２…ブロック、Ｃ１…基準点（第１基準点）、Ｃ２…基準点（第２基準点）、Ｄｐ…パターン画像データ、Ｉｂ…基本画像、Ｉｃ…撮像画像、Ｉｐ…パターン画像、Ｉｓ…表示画像、Ｌｈ…横線、Ｌｖ…縦線、Ｎ…角部、Ｐｄ…二次元展開図、Ｓｐ…投写面、Ｕｗ，Ｕｋ…単位パターン、Ｗ１，Ｗ２…平面（壁面）。
【図１】
2019047312.tif 000003
【図２】
2019047312.tif 000004
【図３】
2019047312.tif 000005
【図４】
2019047312.tif 000006
【図５】
2019047312.tif 000007
【図６】
2019047312.tif 000008
【図７】
2019047312.tif 000009
【図８】
2019047312.tif 000010
【図９】
2019047312.tif 000011
【図１０】
2019047312.tif 000012
【図１１】
2019047312.tif 000013
【図１２】
2019047312.tif 000014