(57)【要約】【課題】モバイルプロジェクタにおいて、投影映像の歪み又は投影面の反射率の低さに起因して生じる投影映像の見にくさを改善し、又は、投影面に柱や素材の違う面等の反射率が低い帯状が存在するような場合に、残された投影に適した領域を効率よく使い、見易い画像を投影すること。【解決手段】位置歪み補正部１０６は、基準パターンから受光パターンへの写像Ｗに応じた位置歪み用補正パラメータを生成し、画面分割補正部１０７は、当該対応関係に基づいて、受光パターンのうち基準パターンに対応する領域が欠損した領域を含む低反射領域を検出し、低反射領域以外の領域に映像が投影されるよう、映像投影画面を分割し、分割前の画像から分割後の画像への写像Ｖを算出し、写像Ｖに応じて画像分割用補正パラメータを生成する。補正部１０９は、これらパラメータを用いて、映像コンテンツを補正する。【選択図】図１
2011050013.tif 000002
【特許請求の範囲】
【請求項１】
基準パターンを出力する基準パターン発生手段と、
前記基準パターンを映像として投影するパターン投影手段と、
投影された前記基準パターンを受像して得られる受光パターンと、前記基準パターンとを比較し、これらパターンの構成要素間の対応関係を特定し、対応関係に基づいて、前記基準パターンから前記受光パターンへの写像Ｗを算出する比較手段と、
位置歪み用補正パラメータを生成する位置歪み補正手段と、画面分割用補正パラメータを生成する画面分割補正手段とを有し、前記対応関係に基づいて、位置歪み補正又は画面分割補正の要否を判断し、判断結果に応じて、前記位置歪み補正手段及び前記分割補正手段を動作させる補正管理手段と、
前記位置歪み用補正パラメータ又は前記画面分割用補正パラメータを用いて、映像コンテンツを補正する補正手段と、
補正された前記映像コンテンツを投影する映像投影手段と、を具備し、
前記位置歪み補正手段は、前記写像Ｗに応じた前記位置歪み用補正パラメータを生成し、
前記画像分割補正手段は、前記受光パターンのうち、前記基準パターンに対応する領域が欠損した領域を含む低反射領域を検出し、前記低反射領域以外の領域に前記映像が投影されるよう、前記映像が投影される画面を分割し、分割前の画像から分割後の画像への写像Ｖを算出し、前記写像Ｖに応じた前記画像分割用補正パラメータを生成する、
映像投影装置。
【請求項２】
前記補正管理手段は、前記基準パターンの光点の位置と、当該基準パターンの光点に対応する受光パターンの光点の位置とが異なる場合、位置歪み補正が必要と判断し、全ての前記基準パターンの光点に対応する前記受光パターンの光点が存在する場合、画面分割補正が不要と判断する、
請求項１に記載の映像投影装置。
【請求項３】
前記基準パターン発生手段は、前記基準パターンとして色彩補正用のパターンを生成し、
前記補正管理手段は、前記対応関係に基づいて、色相彩度明度の補正のための色彩用補正パラメータを計算する色彩補正手段、をさらに有し、
前記補正手段は、前記色彩用補正パラメータをさらに用いて、前記映像コンテンツを補正する、
請求項１に記載の映像投影装置。
【請求項４】
前記映像投影手段の光学イメージの投影部分は、前記パターン投影手段の光学イメージの投影部分を兼ねる、
請求項１に記載の映像投影装置。
【請求項５】
前記パターン投影手段は、複数の部分に分割された前記基準パターンの構成要素を、部分毎に時間をおいて投影する、
請求項１に記載の映像投影装置。
【請求項６】
前記パターン投影手段は、非可視光を利用して前記基準パターンを投影する、
請求項１記載の映像投影装置。
【請求項７】
基準パターンを映像として投影し、
投影された前記基準パターンを受像して得られる受光パターンと、前記基準パターンとを比較し、これらパターンの構成要素間の対応関係を特定し、対応関係に基づいて、前記基準パターンから前記受光パターンへの写像Ｗを算出し、
前記対応関係に基づいて、位置歪み補正又は画面分割補正の要否を判断し、
位置歪み補正が必要と判断した場合に、前記写像Ｗに応じた前記位置歪み用補正パラメータを生成し、
画面分割補正が必要と判断した場合に、前記受光パターンのうち、前記基準パターンに対応する領域が欠損した領域を含む低反射領域を検出し、前記低反射領域以外の領域に前記映像が投影されるよう、前記映像が投影される画面を分割し、分割前の画像から分割後の画像への写像Ｖを算出し、前記写像Ｖに応じた前記画像分割用補正パラメータを生成し、
前記位置歪み用補正パラメータ又は前記画面分割用補正パラメータを用いて、映像コンテンツを補正し、
補正された前記映像コンテンツを投影する、
映像投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像投影装置及び映像投影方法に関する。
【背景技術】
【０００２】
近年の無線通信技術の進歩や、安価な超高輝度白色ＬＥＤ（Light Emitting Diode）の出現等のプラス要因が重なり、小型軽量で持ち運びが簡単にできるようなモバイルプロジェクタと呼ばれる映像投影装置が商品化されてきている。モバイルプロジェクタ製品の中には、手の平に載り、重量も２００グラム未満の製品もある。また、内蔵電源で動作し、外部電源がない環境で動作する製品もある。
【０００３】
このような、モバイルプロジェクタは、ノートパソコンと繋いでビジネスのプレゼンテーションを行なうような場合に利用できる。さらには、携帯電話やＰＤＡ（Personal Digital Assistant）等の小型ディスプレーしか持たない端末の二次的な外部出力装置としても広く使われるようになるだろう。
【０００４】
しかし、現状のモバイルプロジェクタは、サイズこそ小さくなったものの、従来の映像投影装置と同様に、専用の平面投影面への投影を前提にしていることに変りはない。したがって、実際のモバイル環境下では、専用の投影幕を持ち歩くということは、そのサイズ及び重さが劇的に改良される必要がある。
【０００５】
そのため、モバイルプロジェクタの投影面としては、住宅等の璧や戸等、手近な平面を利用しなければならない状況が考えられる。しかし、この場合、映像投影面は、色彩（色相、彩度及び明度）が不均一や不連続であったり、非平面であったり、また平面であってもプロジェクタに正対していない場合が多いであろう。また、さらには、手持ちプロジェクタの場合等、投影面とプロジェクタとの位置関係が時間とともに変化するような場合も考えられる。
【０００６】
では、今挙げたような、投影面の歪み、不均一な反射率及び色彩等を有する投影面に映像を投影する場合、従来用いられた、映像の見難さの解決方法を以下に記す。
【０００７】
特許文献１及び特許文献２では、任意の非平面の画面に投影した映像の歪み補正について検討されている。
【０００８】
具体的には、特許文献１に記載の方法では、補正前の画像（点画像）を投影し、同時に、その点画像が表示されるべき場所にレーザーポインタを投影する。そして、これらをカメラで画像認識することにより、ずれに関する情報を得る。このずれを多くの点で測定し、画像補正全体のゆがみ補正パラメータを得る。
【０００９】
特許文献１以前の方法では、高価な機器（レーザーレンジーファインダー等）を使わない限り、複数の平面からなる投影面に対する投影領域の決定が行えなかったが、特許文献１ではその点が改良されている。
【００１０】
また、特許文献２に記載の方法では、複数の平面からなる投影面（例えば屏風状のスクリーン）に特殊な投影パターンを投影し、それをカメラで捕らえることで、画素と投影ポイントとの対応関係を得る。そして、投影ポイントをクラスタリングして、投影面を複数の平面として認識し、例えば、一番広い平面に映像を表示する。このとき、映像の歪み補正も行う。
【００１１】
以上のように、特許文献１及び特許文献２では、ともに、映像投影装置に正対していないような投影面に対して映像を投影する場合に、自動的に映像の歪みや位置を補正して、本来あるべき映像をユーザに見せることができる。
【００１２】
また、特許文献２に記載の方法では、さらに、投影面に投影に適さない領域がある場合に、その領域を避けて投影することもできる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００１−１６９２１１号公報
【特許文献２】特開２００７−１４２４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、現実のモバイル環境下では、投影面として、例えば住宅の内壁を用いたりする必要がある。この場合、璧が何種類かの色で塗り分けられていたり、色の濃い暗色で塗られた柱が投影面の中を横切るように映像投影装置を設置せざるを得ないことが往々にしてある。
【００１５】
しかし、上記２つの方法によっても、色彩（色相、彩度、明度）が不均一の面に対する補正をすることは困難である。また、特許文献２に記載の方法では、投影しても反射がない投影面の領域を避けつつ、投影できる最大の面を探せるものの、利用できる面が小さくなってしまうことがある。このような場合、上記２つの方法によっても、見易い映像を大きな面に投影することは困難である。
【００１６】
また、時間的にプロジェクタと投影面との相対位置が変化するような場合には、どちらの方法によっても対応が困難となる。
【００１７】
本発明の目的は、モバイルプロジェクタにおいて、投影映像の歪み又は投影面の反射率の低さに起因して生じる投影映像の見にくさを改善し、又は、投影面に柱や素材の違う面等の反射率が低い帯状が存在するような場合に、残された投影に適した領域を効率よく使い、見易い画像を投影することができる映像投影装置及び映像投影方法を提供することである。
【課題を解決するための手段】
【００１８】
本発明の映像投影装置は、基準パターンを出力する基準パターン発生手段と、前記基準パターンを映像として投影するパターン投影手段と、投影された前記基準パターンを受像して得られる受光パターンと、前記基準パターンとを比較し、これらパターンの構成要素間の対応関係を特定し、対応関係に基づいて、前記基準パターンから前記受光パターンへの写像Ｗを算出する比較手段と、位置歪み用補正パラメータを生成する位置歪み補正手段と、画面分割用補正パラメータを生成する画面分割補正手段とを有し、前記対応関係に基づいて、位置歪み補正又は画面分割補正の要否を判断し、判断結果に応じて、前記位置歪み補正手段及び前記分割補正手段を動作させる補正管理手段と、前記位置歪み用補正パラメータ又は前記画面分割用補正パラメータを用いて、映像コンテンツを補正する補正手段と、補正された前記映像コンテンツを投影する映像投影手段と、を具備し、前記位置歪み補正手段は、前記写像Ｗに応じた前記位置歪み用補正パラメータを生成し、前記画像分割補正手段は、前記受光パターンのうち、前記基準パターンに対応する領域が欠損した領域を含む低反射領域を検出し、前記低反射領域以外の領域に前記映像が投影されるよう、前記映像が投影される画面を分割し、分割前の画像から分割後の画像への写像Ｖを算出し、前記写像Ｖに応じた前記画像分割用補正パラメータを生成する。
【００１９】
本発明の映像投影方法は、基準パターンを映像として投影し、投影された前記基準パターンを受像して得られる受光パターンと、前記基準パターンとを比較し、これらパターンの構成要素間の対応関係を特定し、対応関係に基づいて、前記基準パターンから前記受光パターンへの写像Ｗを算出し、前記対応関係に基づいて、位置歪み補正又は画面分割補正の要否を判断し、位置歪み補正が必要と判断した場合に、前記写像Ｗに応じた前記位置歪み用補正パラメータを生成し、画面分割補正が必要と判断した場合に、前記受光パターンのうち、前記基準パターンに対応する領域が欠損した領域を含む低反射領域を検出し、前記低反射領域以外の領域に前記映像が投影されるよう、前記映像が投影される画面を分割し、分割前の画像から分割後の画像への写像Ｖを算出し、前記写像Ｖに応じた前記画像分割用補正パラメータを生成し、前記位置歪み用補正パラメータ又は前記画面分割用補正パラメータを用いて、映像コンテンツを補正し、補正された前記映像コンテンツを投影する。
【発明の効果】
【００２０】
本発明によれば、投影映像の歪み又は投影面の反射率の低さに起因して生じる投影映像の見にくさを改善し、又は、投影面に柱や素材の違う面等の反射率が低い帯状の領域が存在するような場合においても、残された投影に適した領域を効率よく使い、見易い画像を投影することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１に係る映像投影システムの構成を示す図
【図２】映像投影システムにおける投影面と映像投影装置の各部との位置関係を表現した模式図
【図３】実施の形態１における基準パターン
【図４】実施の形態１における他の基準パターン
【図５】実施の形態１における基準パターンの投影順の説明図
【図６】実施の形態１における受光パターン
【図７】実施の形態１における他の受光パターン
【図８】実施の形態１における各パターン間の光点の対応表
【図９】実施の形態１のパターン受光解析部の動作説明図
【図１０】実施の形態１の写像Ｗを図的に表現したもの
【図１１】実施の形態１のパターン受光解析部の動作説明図
【図１２】実施の形態１における基準パターンの投影順の説明図
【図１３】実施の形態１の写像Ｗの効果をあらわした図
【図１４】実施の形態１における写像Ｗ算出のフローチャート図
【図１５】実施の形態１における写像Ｗ算出のフローチャート図
【図１６】実施の形態１における受光パターン
【図１７】実施の形態１における画面分割補正の動作の説明図
【図１８】実施の形態１における画面分割補正の効果をあらわした図
【図１９】実施の形態１の写像Ｗ、Ｖの効果をあらわした図
【図２０】実施の形態１における受光パターン
【図２１】実施の形態１における画面分割補正の動作の説明図
【図２２】実施の形態１における画面分割補正の効果をあらわした図
【図２３】実施の形態１における受光パターン及び画面分割補正の動作の説明図
【図２４】実施の形態１における画面分割補正の動作の説明図
【図２５】実施の形態１における画面分割補正の効果をあらわした図
【図２６】実施の形態１における受光パターン
【図２７】実施の形態１における受光パターン
【図２８】実施の形態１における画面分割補正の動作の説明図
【図２９】実施の形態１における色彩用補正基準パターン
【図３０】実施の形態１における色彩用補正受光パターン
【図３１】実施の形態１の写像Ｗ、Ｖ、Ｕの効果をあらわした図
【図３２】本発明の実施の形態２における基準パターン
【図３３】本発明の実施の形態３における映像投影装置の部品間の位置関係を表現した模式図
【発明を実施するための形態】
【００２２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る映像投影システムの構成図である。
【００２４】
図１において、投影面１２０は、映像投影装置１００が映像を投影する面である。投影面１２０は、専用の投影幕のようなものでもよいし、璧やドア等、映像を投影して映像が映る面を持つ物体の面であれば何でもよい。
【００２５】
映像コンテンツ１３０は、具体的には、映画、写真、或いはビジネス用のプレゼンテーション資料等であり、通常、映像投影装置１００の外部のパソコンやＰＤＡ（Personal Digital Assistant）等の記憶装置に格納されている。そして、パソコン等の記憶装置と映像投影装置１００との間は、適当な規格又はプロトコルの映像転送ケーブル等で結ばれている。もちろん、パソコン等の記憶装置と映像投影装置１００との間は、有線ケーブルではなく、無線の伝送路で結ばれていても構わない。
【００２６】
基準パターン発生部１０１は、１種類以上の基準パターンをパターン投影部１０２及びパターン比較部１０４に出力する。基準パターンの詳細については、後述する。
【００２７】
パターン投影部１０２は、基準パターン発生部１０１から入力される基準パターンを映像として投影する。なお、この映像は、可視光の映像とは限られず、映像には、液晶プロジェクタのような映画のフィルムの役割をする面に背後から強力な光源で照らす仕組のものから、レーザ光（光点）で投影面をラスタースキャンして映像を表示するようなものまで含まれる。
【００２８】
パターン受光解析部１０３は、パターン投影部１０２が投影面１２０に投影した映像を受像し、その受像した映像を解析してパターンへ変換する。この受像した映像を解析した結果得られるパターンを、「受光パターン」と呼ぶ。また、この受像した映像の光学イメージ及び投影面１２０に投影されている映像の光学イメージを、「パターン像」と呼ぶ。
【００２９】
なお、このパターン像は、基準パターンのパターンとは異なる概念である。パターン像は光学的なイメージであり、単にパターンという場合は、光学イメージであるパターン像を解析した結果得られるものである。すなわち、パターンとは、光学イメージを生成する元となるものであって、「点」、「線」又は「四角形」等の幾何学的な概念である。
【００３０】
パターン比較部１０４は、パターン受光解析部１０３が生成した受光パターンと、元の基準パターンとを比較し、これら２つのパターンの構成要素間を対応付けることにより、受光パターンから基準パターンへの写像を生成する。
【００３１】
補正管理部１０５は、パターン比較部１０４により生成された受光パターンと基準パターンとの構成要素間の対応関係に基づいて、位置歪み補正、画面分割補正、及び、色彩補正が必要であるか否かを判断する。そして、補正管理部１０５は、判断結果に応じて、位置歪み補正部１０６、画面分割補正部１０７、又は、色彩補正部１０８を、適切な順序で組み合わせて呼び出し、映像投影用補正パラメータを算出する。補正管理部１０５は、算出した映像投影用補正パラメータを補正部１０９に出力する。
【００３２】
位置歪み補正部１０６は、位置歪み補正のための位置歪み用補正パラメータを計算する。画面分割補正部１０７は、画面の分割のための画面分割用補正パラメータを計算する。色彩補正部１０８は、色彩（色相、彩度、明度）の補正のための色彩用補正パラメータを計算する。補正管理部１０５は、位置歪み用補正パラメータ、画面分割用補正パラメータ、及び、色彩用補正パラメータを総合して、映像投影用補正パラメータを算出する。これら補正パラメータの算出方法については、後述する。
【００３３】
補正部１０９は、補正管理部１０５により生成された映像投影用補正パラメータに応じて、映像コンテンツ１３０の映り具合を補正する。
【００３４】
映像投影部１１０は、補正部１０９により補正された状態で映像コンテンツ１３０を投影面１２０に投影する。
【００３５】
さて、図１のように構成された映像投影装置１００において、位置歪み補正、画面分割補正、及び、色彩補正ができることを示す。
【００３６】
まず、始めに、これら補正の種類に関して定義しておく。なお、具体例は、いずれも以下の説明中に登場する。
【００３７】
［１］位置歪み補正
位置歪みとは、映像投影部１１０が投影面１２０に正対していない場合、投影面１２０が非平面である場合、又は、映像投影部１１０の投影面１２０に対する位置が時間的に変化する場合に発生する、映像投影装置１００のユーザから見た映像歪み及び位置ずれをいう。位置歪み補正とは、映像歪み又は位置ずれをユーザから見て正常状態に戻すことをいう。
【００３８】
［２］画面分割補正
画面分割補正とは、映像を投影したい面に、投影面として適さない領域がある場合に、その不適切な領域を避けるように、投影コンテンツの１画面をいくつかの断片に分割、縮小、移動等を行なう補正をいう。
【００３９】
［３］色彩補正
色彩補正とは、投影面の部分領域毎に、色相、彩度又は明度が異なる場合に、その色相、彩度又は明度の違いを打ち消すようにかける補正をいう。或いは、色彩補正とは、投影面１２０が映像投影装置１１０に正対していない場合や、投影面１２０が曲面である場合に発生する明度のむらを補正するものである。
【００４０】
では、実施例の説明に戻る。
【００４１】
今、図２に示すような位置関係で、パターン投影部１０２、パターン受光解析部１０３、映像投影部１１０、及び、投影面１２０が設置されているとする。すなわち、パターン投影部１０２は投影面１２０を見るユーザの目（頭部）の近くに設置され、さらに、ユーザの視線とパターン投影部１０２の映像投影の軸とがほぼ並行になるように設置されている。ユーザが複数いる場合は、ユーザのうち１人を適当に選んで、そのユーザの目付近にパターン投影部１０２を設置する。なお、このユーザは投影面１２０の正面にいるとする。
【００４２】
パターン受光解析部１０３と映像投影部１１０とは隣接して設置され、そのパターン受光解析部１０３の中心軸と映像投影部１１０の光軸とは並行に、或いは、双方の軸が投影面の中心で交わるように設置されているとする。そして、映像投影部１１０及びパターン受光解析部１０３は、投影面１２０に向かって、左下方に設置されているとする。
【００４３】
さて、設置が終了すると、映像投影装置１００は、映像投影用補正パラメータの計算を開始する。
【００４４】
まず、補正管理部１０５は、基準パターン発生部１０１に対して基準パターンの生成を命ずる。
【００４５】
すると、基準パターン発生部１０１は位置歪み補正及び画像分割補正用の基準パターンを生成する。ここでいうパターンとは、前述したように、点、線、多角形等の幾何学的概念であり、図形の色彩（色相、彩度又は明度）、位置又は大きさ等のグラフィック的な属性も持つ。
【００４６】
図３は、本実施の形態において用いられる基準パターンを、グラフィカルに表現したもの、すなわち基準パターンに対するパターン像（以下「基準パターン像」という）２００である。ここで、本実施の形態において用いられる基準パターンを、以降「基準パターンｄ」と呼ぶ。
【００４７】
この基準パターンｄは、格子状に整列して並べられた点の集合であり、記述的に表現すれば次のようになる。
【００４８】
基準パターンｄ＝｛Ｐｏｉｎｔ（０，０）、Ｐｏｉｎｔ（０，１６０）、Ｐｏｉｎｔ（０，３２０）、（途中略）、Ｐｏｉｎｔ（９６０，１１２０）、Ｐｏｉｎｔ（９６０，１２８０）｝。
【００４９】
ここで、Ｐｏｉｎｔ（ｘ，ｙ）は、二次元平面上の座標（ｘ，ｙ）に位置する点という意味である。これらの点は、投影面上では、明るい点（面積があるので正確には点でなく小さな円である）として表現されるため、これら点を光点と呼ぶ。
【００５０】
また、これら光点をＰｏｉｎｔ（ｘ，ｙ）と座標で表現することを、光点の位置表現と呼ぶこととする。また、基準パターンｄの光点Ｐｏｉｎｔ（ｘ，ｙ）を、ｄ（ｘ，ｙ）と表わすこととする。
【００５１】
さらに、本実施の形態では、基準パターンｄは、矩形で格子上に配置される。そのため、座標で表わす他に、行及び列を用いて表現できると都合がよい。そこで、便宜上、本実施の形態では、基準パターンｄ、もしくは、基準パターンｄから生成されたパターン像上の各点をｄ［ｉ，ｊ］等と表現する。ｉは、ｘ軸の正方向への列番号を示し、ｊは、ｙ軸の正方向への行番号を示す。例えば、Ｐｏｉｎｔ（０，０）は、ｄ［０，０］と表現でき、図３の点２０１は、ｄ［４，５］と表現できる。このｄ［ｉ，ｊ］のような表現を、光点のインデックス表現と呼ぶこととする。
【００５２】
なお、説明の便宜上、基準パターンｄの光点の数を縦７横９としているが、実際には、精密さと計算時間とのトレードオフにより光点の数を決定しなければならない。光点の数を多くするほど、精密に補正をすることができる一方、補正処理全体の処理時間が長くなる。
【００５３】
また、基準パターンｄの縦横の大きさを、横１２８０ピクセル、縦９６０ピクセルとして説明しているが、これも説明の便宜のために用いた大きさであり、特にこの大きさである必要はない。
【００５４】
さて、基準パターンｄにおいて、インデックス表現された光点ｄ［ｉ，ｊ］と位置表示された光点Ｐｏｉｎｔ（ｘ，ｙ）との関係を、次のように定める。
ｄ［ｉ，ｊ］≡Ｐｏｉｎｔ（ｉ×１６０，ｊ×１６０）
ただし、０≦ｉ≦７、０≦ｊ≦５、ｉ，ｊは整数
【００５５】
これらの光点は、左上が原点座標の横１２８０ピクセル、縦９６０ピクセルの長方形内部に収まっている。なお、この長方形は、映像投影部１１０の投影範囲にそのまま対応している。つまり、この場合、映像投影部１１０は、最大横１２８０ピクセル、縦９６０ピクセルの画面の投影を行なうことができる。
【００５６】
基準パターンｄが、縦横整列された点の集合とすると、後の過程におけるパターン受光解析部１０３の解析動作において有利である。基準パターンの形としては、例えば、図４に示すような格子状のパターン、或いは、各種幾何学的模様（図示せぬ）が考えられる。あるパターンが基準パターンとして足り得る必要条件としては、基本的に基準パターンの任意の一部が、受光パターンにおいてどの箇所に対応するか、計算可能であることである。
【００５７】
さて、基準パターン発生部１０１により生成された基準パターンｄは、パターン投影部１０２に渡され、図３に示したような基準パターン像２００に変換され、その映像が投影面１２０に投影される。なお、図３において、基準パターン像２００の各点は、黒丸で示されているが、これは作図上の都合によるものであり、実際には図３の黒い部分が、輝度が高い部分であり、地の白い部分は、輝度が０（真っ暗）な部分である。以下の説明全てにおいても、パターン像に関し特に断らない限り、黒白反転表現しているものとする。
【００５８】
なお、パターン像の投影は、その各構成要素（図３に示す例では、点）を同時に全て投影する必要はない。例えば、図５に示すように、パターン投影部１０２は、４点ずつ時間をおいて投影していってもよい。図５には、パターン投影部１０２が、上下左右で隣り合った４点（ｄ［ｉ，ｊ］，ｄ［ｉ，ｊ＋１］，ｄ［ｉ＋１，ｊ］，ｄ［ｉ＋１，ｊ＋１］）を同時に投影する例を示しているが、同時に投影する点は、上下左右に隣り合っている必要はない。例えば、基準パターンの光点からランダムに４点ずつ投影していく方法、又は、ｄ［ｉ，ｊ］，ｄ［ｉ，ｊ＋１］，ｄ［ｉ，ｊ＋２］，ｄ［ｉ，ｊ＋３］のように、縦に４点ずつ投影したり、また同様に横４点ずつ投影したりしてもよい。また、パターン投影部１０２は、上下左右でいくつかの列（ｎ）を飛ばした４点（ｄ［ｉ，ｊ］，ｄ［ｉ＋ｎ，ｊ］，ｄ［ｉ，ｊ＋ｎ］，ｄ［ｉ＋ｎ，ｊ＋ｎ］）を同時に投影してもよい。
【００５９】
パターン投影部１０２が、どのような形で、光点を投影すると有効であるかに関しては、そもそも基準パターンを投影し、それを受光解析することの目的から考えねばならない。
【００６０】
すなわち、基準パターンを投影して、受光パターンを得ることの目的は、（１）基準パターンから受光パターンへの写像を得る（この写像で投影映像の歪み及び位置ずれを修正する）、（２）投影する光の強弱による補正可能範囲を超えるような、投影面の反射率が低い領域を見つける（見つけて、後の画面分割補正に使う）、の２点である。
【００６１】
しかし、後に詳述するように、（１）の目的に関しては、基準パターン上から受光パターン上への対応関係が、少なくとも４点分かればよい。また（２）の目的に関しては、投影面の反射率が著しく低い領域（基準パターンを投影しても、対応する受光パターンが得られない領域）が分かればよいので、必ずしも基準パターン全点を投影する必要はない。
【００６２】
そこで、例えば、最初は基準パターンのうち、４点のみ投影して、基準パターンから受光パターンへの写像が計算された後、全点投影する方法が考えられる。後に詳述するが、投影面が平面ならば４点の対応さえ分かれば、写像は計算できる。或いは、全点投影せずに、偶数行かつ偶数列の点のみを投影していき、反射率が低そうな領域が発見されたら、その領域だけ詳細に投影する（つまり、奇数行または奇数列の点を投影していく）方法等が考えられる。何点ずつかランダムに投影し、反射率が低い領域が見つかれば、その領域に集中的に光点を投影することも有効な方法である。
【００６３】
なお、同時にどんな点を投影すべきかに関しては、パターン受光解析部１０３の動作説明の中で再度述べる。また、この段階では説明を簡単にするために、投影面１２０は反射率が均一であり、色が白色で均一の平面璧であるとして説明する。なお、反射率或いは色彩が均一でない場合、又は、投影面１２０が平面でない場合については、後述する。
【００６４】
さて、補正管理部１０５は、パターン受像解析部１０３に対し、投影面１２０に投影されているパターン像を受像、解析して受光パターンを算出するよう命令する。
【００６５】
まず、パターン受像解析部１０３は、投影面１２０に写った光学イメージを受像する。この受像したパターン像（受光パターン像）３００を図６に示す。この受光パターン像３００の解析結果を受光パターンｒと呼ぶこととする。
【００６６】
本実施の形態の場合、正面から投影された基準パターンを投影面に向って左下から見上げる形になるため、受光パターン像の形は、長方形でなく、図６の四角形のように歪んで見える。なお、投影面が、平面でなく、例えば中央部がユーザ側に向ってやや膨らんでいる場合には、例えば図７のような形に歪んで見えるだろう。
【００６７】
次に、パターン受光解析部１０３は、受光パターン像３００を得ると、受光パターン像３００を解析して受光パターンｒを生成する。この受光パターンｒの中身は、認識できた点の集合である。例えば、点３０１は、Ｐｏｉｎｔ（９６５、５１２）となる。
【００６８】
画像から点を認識することに関しては、画像解析の一般的な方法を用いてソフトウエア的に点の位置を得ることも可能であるし、また、２次元光点位置検出素子（以下、単に位置検出素子と呼ぶ）を用いて、直接的に点の位置を得てもよい。
【００６９】
ただし、ソフトウエアの画像解析には、比較的高速な演算装置や大量のメモリが必要であり、さらに、必ずしも高速に答を得られるとは限らない。これに対して、位置検出素子を用いる方法は、廉価な部品で高速に各光点の位置を検出することができる。そのため、装置を廉価に作成するには、位置検出素子を利用すると有利である。
【００７０】
反面、位置検出素子では、一度に位置を知ることができる光点の数が２、４、８等に限られること、受光パターン像そのものを取り出せないこと、また、光点の色彩は分からない等の欠点がある。したがって、位置検出素子を用いる場合のように、一度にｎ点の光点の位置しか捕捉しない場合は、上述したように、パターン投影部１０２は、全ての光点を一度に投影せずに、ｎ点ずつ投影し、投影毎に位置検出を行い、光点の位置を検出すればよい。どちらの方法で、光点の位置を算出するかは、コストや必要とされる性能を勘案して決定される。
【００７１】
さて、パターン受光解析部１０３が受光パターンｒを得ると、パターン比較部１０４は、基準パターンｄと受光パターンｒとの比較を開始し、基準パターンｄの光点ｄ［ｉ，ｊ］と受光パターンｒの光点ｒ（ｘ，ｙ）との対応関係を特定する。つまり、パターン比較部１０４は、図８に示したような対応表の「受光パターン光点の位置」の欄（図で網掛部分）を埋めていく。なお、以下では、ｄ［ｉ，ｊ］に対応する受光パターンｒの光点ｒ（ｘ，ｙ）を、ｒ［ｉ，ｊ］と表現する。
【００７２】
この対応関係を特定する方法には、以下に示す３つの方法がある。
【００７３】
［第１の方法］
まず、第１の方法について説明する。
【００７４】
これは、基準パターンの光点ｄ［ｉ，ｊ］を１点ずつ逐次的に投影し、その度に、投影面１２０上の位置Ｐｏｉｎｔ（ｘ，ｙ）を読み取ることで、直接的に、ｄ［ｉ，ｊ］とｒ（ｘ，ｙ）との対応関係を特定する。
【００７５】
例えば、基準パターンを用いる場合、全ての光点を同時に投影するのでなく、１点ずつ投影し、１光点が投影されたところで、パターン受光解析部１０３が、受光動作を行うようにする。すると、基準パターンの光点ｄ［ｉ，ｊ］が、受光パターンの光点ｒ（ｘ，ｙ）のいずれに対応しているか、計算を要せずに直接分かることになる。
【００７６】
この方法は単純であり、投影面に反射率が低い領域があって受光パターン像に部分的な欠損があるような場合にも容易に対処が可能である。その反面、この逐次的投影方法では、光点を１点ずつ投影しなければならないため、時間がかかるという欠点もある。例えば、図３に示すように光点の数が６３の基準パターンを用いる場合に、パターン投影部１０２が１秒間で１０枚（１枚あたり０．１秒）の画像を投影すると、６３点の光点を１点ずつ投影するには、６.３秒かかることになる。そして、精度を上げるためには実際には、光点の数を多くして、光点の間隔をもっと細かくしなければならないし、これに加えてパターン受光解析部１０３の受光部の動作時間を勘案すると、さらに時間を要するであろう。
【００７７】
［第２の方法］
次に第２の方法について説明する。
【００７８】
これは、受光パターンの全ての光点の位置検出を済ませた後に、基準パターンの光点ｄ［ｉ，ｊ］と、位置検出の結果得られた受光パターンの光点ｒ（ｘ，ｙ）との対応関係を算出する。具体的には、以下のステップＡ１からステップＡ４の過程及びステップＢ１からステップＢ６の過程により、対応関係を算出する。ステップＡ１からステップＡ４は、基準パターンの４隅の光点に対応する光点が受光パターンに存在した場合の算出方法である。一方、ステップＢ１からステップＢ６は、基準パターンの４隅の光点に対応する光点のうち、１つ以上の光点の欠損があった場合の算出方法である。
【００７９】
いま、図９のような受光パターン像が得られており、各光点の位置も全て検出されているとする。
【００８０】
（ステップＡ１）
受光パターンｒの中で、ｙ座標値が一番小さな点をｒ０とし、一番大きな点をｒ１とする。
【００８１】
（ステップＡ２）
ｒ０及びｒ１を結ぶ直線ｒ０−ｒ１を求める。そして、ｒ０とｒ１を通る直線４０３を、式（追１）とする。
【数１】
2011050013.tif 000003
ここでｎ、ｍは定数であり、ｙはｘの１次関数となる。
【００８２】
（ステップＡ３）
受光パターンｒの光点のうち、直線ｒ０−ｒ１から最も距離が離れている２点を求める。この２点のうち、直線ｒ０−ｒ１上の領域（ｙ軸でマイナス方向の領域）の点をｒ２とし、下の領域の点をｒ３とする。
【００８３】
具体的には、受光パターンｒの光点のうち、直線４０３から、直線４０３の上の領域と下の領域とで、それぞれもっとも距離が離れている２点を求める。ただし、距離が最大の点が分かればよく、実際の距離は必要ないため、簡易な計算方法で充分である。つまり、受光パターンｒの各光点（ｘｉ，ｙｉ）のうち、式（２）に示される距離Ｒが最小の点（直線４０３の上、すなわちｙ軸のマイナス方向）と、最大の点（直線４０３の下、すなわち軸のプラス方向）を求めればよい。
【数２】
2011050013.tif 000004
【００８４】
例えば、図９に示す例では、ｒ２が光点４０４であり、ｒ３が光点４０５である。
【００８５】
（ステップＡ４）
ステップＡ１からステップＡ３で求めたｒ０，ｒ１、ｒ２、ｒ３は、受光パターン像を形成する矩形の４隅の光点にあたる。つまり、ｒ０またはｒ２が、ｒ［０，０］またはｒ［８，０］、すなわち受光パターン像を形成する矩形の４頂点のうち、上側の２頂点である。そして、ｒ０，ｒ２のうち、座標ｘの値が小さい方が、ｒ［０，０］となる。図９のような受光パターン像の場合は、ｒ０がｒ［０，０］で、ｒ２がｒ［０，８］となる。同様に、ｒ１がｒ［６，８］であり、ｒ３がｒ［０，６］となる。
【００８６】
この結果、図１０に示したような基準パターンの矩形の４隅の光点と受光パターンの矩形４隅の光点との対応関係が特定される。
【００８７】
４点の対応関係が分かれば、基準パターンから受光パターンへの写像が算出でき、その写像を利用することで、残りの点の対応関係も分かるようになる。残りの点の対応関係に関しては、写像の算出方法について説明した後に、再度詳しく説明をする。
【００８８】
上述の光点が欠けていない場合というのは、投影面１２０が、反射率及び色が一様であり、投影された光点が全て読み取ることができるとの前提がある場合に成り立つ。しかし、実際のモバイル環境では、必ずしも反射率又は色彩が一様であるとは限らない。そのため、基準パターンの矩形の４隅が、全て読み取ることが困難な場合がある。
【００８９】
そこで、次に受光パターン像から光点が欠けている場合、特に欠けているのが、基準パターンの矩形の４隅の点に対応する光点を含む場合に関して述べる。この場合、（１）読み取れた点から推測して、読み取れなかった４隅の点を補完するか、或いは、（２）読み取れた点からｄ［ｉ，ｊ］と対応が付く４隅の４点を選択する必要がある。
【００９０】
ここでは、まず前者の（１）の場合から説明する。
【００９１】
今、図１１のように、受光パターン像において、ｒ［８，０］（光点５０５）と、その周辺のいくつかの光点が欠けているとする。ただし、現時点では、光点を数えてそれが６３点に満たないことにより、どこかの点が欠けていること自体は分かるものの、欠けている点の位置が、ｒ［８，０］とその周辺だとまでは分からない。
【００９２】
このような場合において、欠けた光点を見つけ、その受光パターン像上の位置を推定する方法について述べる。
【００９３】
（ステップＢ１）
まず、先程のステップＡ１〜Ａ４と同様の動作を行ない、受光パターン像を形成する矩形の４隅の光点の候補として、ｒ０′、ｒ１′、ｒ２′、ｒ３′を得る。図１１においては、ｒ０′が光点５０１に対応し、ｒ１′が光点５０２に対応し、ｒ２′が光点５０３に対応し、ｒ３′が光点５０４に対応する。ここで、受光パターン像上では、ｒ［０，８］（光点５０５）が、失われているため、ｒ２′は、実際には矩形の４隅の点の１つではない。
【００９４】
さて、ここで、受光パターン像の光点の総数が、基準パターンの光点の総数未満の場合、以下のステップに進む。
【００９５】
（ステップＢ２）
まず、ｒ０′、ｒ１′、ｒ２′、ｒ３′の４点を結ぶ直線を表わす直線の式（３）を求める。
【数３】
2011050013.tif 000005
式（３）は、ｘの１次関数となる。
【００９６】
そして、ｒ０′ｒ２′を結ぶ直線を直線５０６とし、ｒ２′ｒ１′を結ぶ直線を直線５１２とし、以下同様に、ｒ１′ｒ３′を結ぶ直線を直線５０８とし、ｒ３′ｒ０′を結ぶ直線を直線５０９とする。
【００９７】
（ステップＢ３）
今、光点を（ｘ，ｙ）として、各々の直線の式に、受光パターンの光点のｘ座標を代入し、その結果得られるｙ座標の値（Ｙ＝ｌｍｎ′（ｘ））と、実際のｙ座標の値とを比較し、全ての光点を以下の３群に振り分ける。
【００９８】
群１（直線上にあるもの）として、以下が成り立つ交点を選ぶ。
｜ｙ−Ｙ｜≦α（αは、位置検出素子の誤差相当の値）
群２（直線より下にあるもの）として、以下が成り立つ交点を選ぶ。
｜ｙ−Ｙ｜＞α、かつ、ｙ−Ｙ＞０
群３（直線より上にあるもの）として、以下が成り立つ交点を選ぶ。
｜ｙ−Ｙ｜＞α、かつ、ｙ−Ｙ＜０
ここで、群２の要素が空でなく、かつ、群３の要素が空でない直線を選択する。このようにして選択された直線の上下には光点が存在するので、当該直線は、受光パターン像を形成する矩形の辺となっていないということが分かる。
【００９９】
図１１に示す例では、直線５１２（光点５０７）が、群２の要素が空でなく、かつ、群３の要素が空でない直線となる。図１１に示す例では、この段階で、正しい矩形の４隅の各２点が定まる。なお、正しい矩形とは、基準パターンの矩形に対応するパターン像の矩形をいう。
【０１００】
具体的には、群２の要素が空であり、かつ、群３の要素が空の直線をｌｍｎ′とする場合、ｒｉ′のうち、ｉ≠ｎ、かつ、ｉ≠ｍである点が、正しい矩形の４隅の各２点となる。図１１に示す例では、群２の要素が空であり、かつ、群３の要素が空の直線は、直線ｌ２１′であるから、正しい矩形の４隅の各２点の光点は、ｒ０′及びｒ３′である。
【０１０１】
なお、このステップで、このような直線が２本以上ある場合は、光点の欠損が多すぎてしまうため、この方法では、欠けた光点の補正は困難である。
【０１０２】
（ステップＢ４）
次に、残った光点２点のうちから、正しい矩形の４隅の光点を選択する。
【０１０３】
残った２点のうち、どちらの点についても、以下の処理を行なう。
【０１０４】
（ステップＢ４−１）
ステップＢ３において群２及び群３に振り分けられた光点のうち、正しい矩形の４隅の光点を含まない群を群ｇとする。また、ステップＢ３で選択された直線をｌｘとする。具体的には、図１１に示す例では、直線ｌｘは、直線５１２（光点５０７）である。
【０１０５】
群ｇに含まれる光点のうち、直線ｌｘから最も距離が離れた点を選択し、ｖ０とする。そして、正しい矩形の４隅の点と仮定した点と、点ｖ０とを結ぶ直線を求める。この直線をｌｖ０とする。そして、直線ｌｖ０に対して、ステップＢ３において行った処理と同じ処理を行ない、群１、群２及び群３を求める。
【０１０６】
（ステップＢ４−２）
ここで、群２または群３に含まれる光点がなくなれば、直線ｌｖ０は、正しい矩形の辺を表わしている可能性があり、ここで処理を終了して、残りの光点についてステップＢ４−１から実行する。残りの光点がなければ、ステップＢ５に進む。
【０１０７】
一方、群２及び群３がともに空ではない場合は、新たに直線ｌｖ０を直線ｌｘとして、ステップＢ４−１から繰り返す。
【０１０８】
（ステップＢ５）
さて、この場合、正しい矩形の辺の候補が２つ計算できる。このうち、それぞれの直線についての群１の要素数が多い方を正しい矩形の辺とする。
【０１０９】
図１１に示す例では、直線５１３及び直線５１２が正しい矩形の辺の候補として残る。このとき、直線５１３、直線５１２のそれぞれの群１の数（つまり、それぞれの直線上にある光点の数）は、２、３である。従って、直線５１２についての群１の要素数が、直線５１３についての群１の要素数より多いことから、直線５１２が正しい矩形の辺と分かる。また、正しい矩形の４隅ではなかった光点、つまり誤っていた光点は、ｒ２′であることが分かる。
【０１１０】
（ステップＢ６）
残った正しい矩形の辺と、誤って４隅の点とされた光点を含む正しい矩形の辺との交点を求める。この交点が、正しい矩形の４隅の点の最後の１点である。図１１に示す例では、残った正しい矩形の辺、すなわち、直線５１２と、誤って４隅の点とされた光点ｒ２′を含む正しい矩形の辺、すなわち、直線５０６との交点である、光点５０５が求められる点となる。
【０１１１】
［第３の方法］
最後に第３の方法について述べる。第３の方法は、第１の方法と第２の方法との中間的な方法である。第１の方法は、１点ずつ逐次的に投影し、それに対する受光パターンを求める。第２の方法は、全点を投影し、その後に全点の受光パターンを求める。第３の方法は、全点ではない複数の点を同時に投影し、その受光パターンを求める。
【０１１２】
同時に投影する複数の点の数は、パターン受光解析部１０３が同時に位置検出できる光点数以下とする。例えば、パターン受光解析部１０３が同時に位置検出できる光点数が４点までの場合、投影する光点は同時に４点以下とする。この場合には、ｄ［０，０］、ｄ［０，６］、ｄ［０，８］、ｄ［６，８］の光点、つまり、基準パターンの４隅の点を投影する。
【０１１３】
ここで、投影した４点に対する受光パターンの光点がそのまま得られれば、基準パターンから受光パターンへの写像が求められるので、写像が求まった後に、４隅の光点以外で、基準パターンの光点と受光パターンの光点との対応関係を求める。なお、写像の求め方および写像が求まった後の基準パターンの光点と受光パターンの光点との対応関係の求め方については後述する。
【０１１４】
もし、基準パターンの矩形の４隅の点のうち欠けた光点があるなら、基準パターンの欠けた光点の周囲の点を投影して、受光パターン像が得られるかどうかを確かめる。例えば、基準パターンのｄ［０，０］に対する周囲の点とは、ｄ［１，０］、ｄ［０，１］又はｄ［１，１］である。周囲の点としてどの点を選択するかについては、ランダムでもよいし、適当な規則にしたがってもよい。例えば、図１２には、ｄ［０，０］から始まって、ｄ［０，３］までの順序を矢印で示してある。もし、ｄ［０，０］に対する受光パターン像が得られない場合は、例えば、図１２中の矢印の順序で基準パターンの光点１点を投影して、受光パターン像が得られるまで繰り返せばよい。
【０１１５】
以上で、欠けた光点を見つけだし、その受光パターン像上の位置を推定する方法についての説明を終える。
【０１１６】
［写像］
次に、基準パターンから受光パターンへの写像を求める方法について説明する。
【０１１７】
投影面１２０が平面の場合には、基準パターンｄ上の点ｄ（ｘ，ｙ）から受光パターンｒ上の点ｒ（Ｘ，Ｙ）への写像は、射影変換となる。射影変換の場合、その写像は、式（４）及び式（５）と表わすことができる。
【数４】
2011050013.tif 000006
【数５】
2011050013.tif 000007
ただし、（Ｘ，Ｙ）は、受光パターンｒ上の点で、（ｘ，ｙ）は、基準パターンｄ上の点である。
【０１１８】
式（４）及び式（５）において、係数ａ０、ａ１、ａ２、ｂ０，ｂ１、ｂ２、及び定数ｃ０、ｃ１、ｃ２が、この写像、すなわち、射影変換の写像パラメータとなる。そして、この９つの写像パラメータを算出するには、写像の元側である基準パターンｄ上の少なくとも４つの光点が、受光パターンｒ上のどの光点に対応しているのか分かればよい。
【０１１９】
ここではまず、この４つの点として、基準パターン及び受光パターンを形成する矩形の頂点、すなわち、ｄ［０，０］、ｄ［０，６］、ｄ［８，０］、ｄ［８，６］及びｒ［０，０］、ｒ［０，６］、ｒ［８，０］、ｒ［８，６］を選択する。これらの点を選択したのは、写像をなるべく大きな領域で計算する方が、より良好な精度で得られるからである。図１０は、これらの点の対応関係を示している。
【０１２０】
そして、ｄ［ｉ，ｊ］＝（Ｘｉ，ｙｉ）、ｒ［ｉ，ｊ］＝（ｘｉ，ｙｉ）とし、（Ｘｉ，ｙｉ，ｘｉ，ｙｉ）を、式（４）及び式（５）の（Ｘ，Ｙ，ｘ，ｙ）に代入し、連立法定式を解くことにより、写像パラメータａ０、ａ１、ａ２、ｂ０、ｂ１、ｂ２、ｃ０、ｃ１、ｃ２が定まる。
【０１２１】
図１３は、この写像の例を模式的に示した図である。図１３Ａは、元の映像であり、図１３Ｂは、図１３Ａに対し写像変換された映像である。
【０１２２】
このようにして、写像が決定されると、写像パラメータ決定に用いた矩形の４隅の光点以外の点の対応関係をも決定することができる。いま写像をＷとし、ｄ［ｉ，ｊ］に対し射影変換を行った結果（ｘｄｉ，ｙｄｉ）を得るとする。
【０１２３】
（ｘｄｉ，ｙｄｉ）＝Ｗ（ｄ［ｉ，ｊ］）
ここで、ｄｉｓｔ（ｐ１，ｐ２）を、点ｐ１と点ｐ２との距離を算出する関数とする。なお、ｐ１、ｐ２は、点の座標を示す。
【０１２４】
このとき、式（６）を満たす受光パターン上の点（Ｘ，Ｙ）が存在すると、その点は、ｄ［ｉ，ｊ］に対応する点、すなわちｒ［ｉ，ｊ］である。
【数６】
2011050013.tif 000008
なお、αは、位置検出素子の誤差相当の値である。
【０１２５】
そして、全ての受光パターンの光点について、対応するｒ［ｉ，ｊ］が判明したところで、つまり、図８の対応表の網掛け部分に観測できた受光パターンの光点を入力し終わったところで、パターン比較部１０４は動作を一旦終了する。なお、この対応表は、パターン受光解析部１０３に記録され、後の過程で利用されることになる。
【０１２６】
ここで、パターン投影部１０２、パターン受光解析部１０３、パターン比較部１０４及び位置歪み補正部１０６の動作は、比較的複雑な処理であったため、図１４及び図１５にフローチャートとしてまとめておく。
【０１２７】
図１４のフローチャートは、基準パターンの光点のうち、１つずつ投影する第１の方法でのパターン投影部１０２、パターン受光解析部１０３及びの動作を示す。これに対して、図１５のフローチャートは、基準パターンの光点のうち、２つ以上の光点を同時に投影する第３の方法でのパターン投影部１０２、パターン受光解析部１０３及びパターン比較部１０４の動作を示す。
【０１２８】
第１の方法から第３の方法のいずれの方法も、最終的には、図８に示したような、各基準パターンの光点とそれに対する受光パターンの光点との対応表が生成され、生成された対応表に基づいて、補正管理部１０５は、位置歪み補正、画像分割補正又は色彩補正が必要か否か判断する。
【０１２９】
次に、補正管理部１０５における、各種補正が必要か否かの判断方法について説明する。
【０１３０】
まず、補正管理部１０５は、図８に示したような、基準パターンの光点と受光パターンの光点との対応表を確認する。ここで、基準パターンの光点の位置と、当該基準パターンの光点に対応する受光パターンの光点の位置とが異なる場合、補正管理部１０５は、位置歪み補正が必要と判断する。
【０１３１】
また、全ての基準パターンの光点に対して、受光パターンの光点が存在するならば、投影面１２０には、反射率が低く投影に適さない領域がなかったと推測できる。すなわち、全ての基準パターンの光点に対応する受光パターンの光点が存在する場合、補正管理部１０５は、画面分割補正が不要と判断する。この場合、補正管理部１０５は、色彩補正のためのパターン比較動作を行う。色彩補正のためのパターン比較動作については、後程説明する。
【０１３２】
一方、ある基準パターンの光点に対して、受光パターンの光点が欠損していた場合は、どうなるであろうか。
【０１３３】
単純な２つの例を用いて、受光パターンの光点が欠損した時の補正管理部１０５の動作の概略について説明する。その後に、一般的な動作について説明する。
【０１３４】
図１６に１つ目の単純な例の受光パターン像を模式的に示す。受光パターン像は、実際には長方形に見えるとは限らない。しかし、この時点で基準パターンから受光パターンへの写像は決定しているはずであるので、従って、図１６は、得られた受光パターン像に、得られた写像の逆写像を施したものと考えて欲しい。
【０１３５】
図１６において、受光パターン６００上の斜線領域６０１に含まれる光点は欠損している。例えば、璧に黒い色の柱がある場合、その領域に投影した基準パターンの光点が欠損してしまう。なお、図１６では、本来ならあるべき光点を白丸で示している。
【０１３６】
さて、補正管理部１０５は、受光パターン６００と元の基準パターン（図３）との比較から、光点が欠損している領域がある場合、画面補正分割が必要と判断する。補正管理部１０５は、全ての基準パターンの光点に対応する受光パターンの光点が存在しない場合、画面補正分割が必要と判断する。そして、補正管理部１０５は、光点が欠損している領域を大きく見積もって、反射率が低く投影面として適さない領域（以下「低反射領域」という）を検出する。例えば、図１６に示す例では、補正管理部１０５は、領域６０２を低反射領域として検出する。
【０１３７】
次に、補正管理部１０５は、配下の位置歪み補正部１０６、色彩補正部１０８、及び、画面分割補正部１０７を動作させ、各補正パラメータを得る。各々の補正部の出力は、いずれもある画面から画面への写像を行う補正パラメータである。これら３つの補正部の起動順序はどれでもよく、また並列に動作してもよい。
【０１３８】
位置歪み補正部１０６は、基準パターンｄから受光パターンｒへの写像Ｗを用いて、位置歪み用補正パラメータを生成する。写像Ｗは、既にパターン比較部１０４が算出した、基準パターンから受光パターンへの写像である。
【０１３９】
色彩補正部１０８は、色彩（色相、彩度、明度）を補正する色彩用補正パラメータを生成する。具体的には、色彩補正部１０８は、元画面の画素の色明度輝度から補正画面上の同一領域の画素の色明度輝度への補正を行う写像Ｕを生成する。なお、色彩補正についての詳細は、後述する。色彩補正部１０８は、写像Ｕを出力する。
【０１４０】
画面分割補正部１０７は、投影する画面を分割して、さらに、低反射領域６０２を避けて投影するように画面を補正する写像Ｖを生成する。図１７の具体例を用いて、画面分割補正について説明する。
【０１４１】
［画面分割補正］
まず、画面分割補正部１０７は、投影画面を低反射領域７００の中心線によって分割し、さらにその分割された画面を低反射領域７００にかからないように縮小させる。図１７に示す例では、画面分割補正部１０７は、２つに分割された画面のうち、向って左側の画面の領域７０１を、領域７０２まで縮小させる。同様に、画面分割補正部１０７は、右側の画面の領域７０３を、低反射領域７００を避けるように、領域７０４まで縮小させる。
【０１４２】
そして、画面分割補正部１０７は、元の画面（基準パターン）から分割縮小させた画面への写像Ｖを算出する。
【０１４３】
図１８に、この写像Ｖを模式的に示す。なお、図１８は、図１３Ａに示した画像を元画像とした例である。作図の都合上、図中の白部分が実際の画像では暗い部分を示し、図中の黒部分が実際の画像では明るい部分を示している。元画像（図１３Ａ）に写像Ｖを施すことにより、図１８に示すように、低反射領域８００を避けて、元画像が領域８０１及び領域８０２に表示される。
【０１４４】
そして、補正管理部１０５は、以上の写像Ｗ，Ｕ，Ｖを統合して、補正写像Ｈを得る。補正写像Ｈは、元画像（ｇ）から投影すべき画像（Ｇ）への写像であり、補正写像Ｈと、各写像Ｗ，Ｕ，Ｖとの間には、以下の式（７）の関係がある。
【数７】
2011050013.tif 000009
【０１４５】
図１９に、補正写像Ｈを模式的に示す。なお、写像Ｕは色彩補正のための写像であり、図面では表現しにくいため、図１９に示す例では、写像Ｕは何もしないとする。まず、図１９Ｂは、図１９Ａのパターンに対し写像Ｖを用いて画面分割補正を行った結果であり、図１９Ｃは、図１９Ａのパターンに対し写像Ｗを用いて位置歪み補正を行った結果である。
【０１４６】
補正管理部１０５は、式（７）に示す補正写像Ｈを補正部１０９に出力する。
【０１４７】
補正部１０９は、補正写像Ｈの写像パラメータを用いて、投影部１１０が投影する映像を変換し、映像投影部１１０は、変換後の映像を投影する。この結果、ユーザの視点からは、全ての映像を歪みが少ない形で見ることができる。
【０１４８】
図２０に２つ目の単純な例の受光パターン像を模式的に示す。図２０に示す例は、投影面に十字形の低反射領域９００がある場合の例である。図２０に示すように、投影面に十字形の低反射領域９００がある場合、画面分割補正部１０７は、画面を４分割する。そして、画面分割補正部１０７は、各々の分割された画面が低反射領域９００にかからないように各画面を縮小させる。図２１には、画面分割及び画面縮小の様子を示す。図２１に示す例では、４分割された領域のうち、左上の領域９０１は、領域９０２に縮小される。この結果、元画面（図１３Ａ）に示した画像は、図２２のように分割表示されることになる。
【０１４９】
以上、単純な２つの例を用いて、受光パターンの光点が欠損した時のパターン比較部１０４及び補正管理部１０５の動作の概略について説明した。
【０１５０】
最後に一般的な例を示す。
【０１５１】
図２３において、領域１０００は、受光パターンに写像Ｗの逆写像を施した光点群を示し、低反射領域１００１が領域１０００の上を横切り、いくつかの光点の欠損がある様子を示している。図２３において、欠損した光点は白丸で示している。
【０１５２】
まず、欠損領域１００１にかからないような画面を決めるために、矩形ＡＢＦＥの上辺ＡＥと下辺ＢＦ上の光点を左から見ていき、欠損領域１００１に入る最後の点（Ｄ′及びＣ′）と、欠損領域１００１から抜けでた点（Ｅ′、Ｆ′）を求める。すなわち、点Ｃ′、Ｄ′、Ｅ′、Ｆ′は、欠損領域１００１に含まれない光点のうち、欠損領域１００１に最も近い矩形の上辺又は下辺上の光点である。
【０１５３】
そして、Ｄ′Ｅ′及びＣ′Ｆ′の中点を求め、それぞれＤ、Ｃとする。
【０１５４】
ここで、画面分割をするための分割線は、ＤＣとなる。そして、ＤＣが表す直線の式をｙ＝Ｌｄｃ（ｘ）とし、矩形ＡＢＣＤをＡＢＣ′Ｄ′へ変換する射影変換をＶ１とし、矩形ＤＣＦＨからＥ′Ｆ′ＦＥへ変換する射影変換をＶ２とすると、求める写像Ｖは、（ｘ，ｙ）を（Ｘ，Ｙ）に変換する。
Ｖ：（ｘ，ｙ）→（Ｘ，Ｙ）
【０１５５】
ただし、
Ｌｄｃ（ｘ）≦０の場合  Ｖは、Ｖ１
Ｌｄｃ（ｘ）＞０の場合  Ｖは、Ｖ２
とする。
【０１５６】
この変換の一部（Ｖ１）を模式的に示したのが、図２４である。画面ＡＢＦＥのうち、矩形ＡＢＣＤの領域、すなわち、Ｌｄｃ（ｘ）≦０の領域は、矩形ＡＢＣ′Ｄ′に移される。この変換Ｖによれば、例えば、図１３Ａの映像は、図２５に示した図のように分割変形されることになる。
【０１５７】
この分割変換は、欠損領域１００１が十字形の場合、さらに図２６のように縦横複数に分割された場合にも同様に処理できる。図２６の場合は、垂直方向（Ｙ軸に平行な方向）に３分割、水平方向（Ｘ軸に平行な方向）に２分割され、それぞれ反射率の高い領域へ縮小表示されることとなる。
【０１５８】
また、低反射領域が、図２７に示すように台形型の場合も同様に処理可能である。この場合も同様に、図２８に示すように、分割（直線ＣＤで分割）及び変形（写像の一部として、矩形ＡＢＣＤからＡＢＣ′Ｄ′、右半分の写像は略）させる写像Ｖが算出される。
【０１５９】
以上で、画面分割補正部１０７の動作の説明を終える。
【０１６０】
［色彩補正］
次に、色彩補正に関して述べる。
【０１６１】
色紙補正の場合も、基準パターンを投影して、受光パターンを取得し、基準パターンと受光パターンとを比較して、比較結果に基づいて、補正パラメータを算出するという基本的な枠組は、他の補正と同一である。しかし、色彩補正では、位置歪み補正及び画面分割補正に用いる基準パターンとは、異なる基準パターンを用いた方がより適切な写像Ｕが得られる。そこで、以下では、別の基準パターンを用いる方法について説明する。
【０１６２】
図２９に、色彩用補正の基準パターンを示す。なお、図２９には、矩形が描かれているだけである。色彩用補正の基準パターンは、画面一杯の白画素からなるパターンである。つまり、各画素を各色８ビットのＲＧＢ表現を使って表現するなら、基準パターンは、縦９６０ピクセル、横１２８０画素分の画面上の全ての点がＲＧＢ（２５５、２５５、２５５）であるような、パターン（映像）となる。
【０１６３】
なお、上述の基準パターンは、作図上の都合、黒白反転（輝度反転）させて表現していたのに対し、同様に作図上の都合、この色彩用補正の基準パターン１１００の表示は、黒白反転は行なわずに表現する。また、縦横の画素数は、説明のための例であって、プロジェクタの性能等により、変化させてよい。
【０１６４】
この基準パターン１１００は、図３に示した基準パターン像２００に対する位置歪み補正又は画面分割補正のための動作が終了した「直後」に、補正管理部１０５の全体制御のもとに、パターン投影部１０２から投影される。投影面１２０と、パターン投影部１０２及びパターン受光解析部１０３との空間的位置関係は、時間とともに変化する可能性があるため、位置歪み補正又は画面分割補正のための動作が終了した「直後」である必要がある。
【０１６５】
位置歪み補正又は画面分割補正のための動作が終了してから、パターン投影部１０２が基準パターン１１００を投影するまでの時間的間隔は、短ければ短い程よい。さらに、可能であれば、パターン投影部１０２及びパターン受光解析部１０３をそれぞれ二重にして、一方を、基準パターン像２００の投影及び受光解析に用い、他方を基準パターン１１００の投影及び受光解析専用にするよう構成するのが好ましい。
【０１６６】
なお、基準パターン像２００を用いて位置歪み補正及び画面分割補正を行う場合には、パターン受光解析部１０３の受光部には、上述したように、何らかの位置検出素子を使うことが望ましい。一方、基準パターン１１００を用いて色彩補正を行う場合には、パターン受光解析部１０３の受光部として通常のカメラを用いることになるため、位置歪み補正及び画面分割補正に加えて色彩補正を行なう場合には、少なくともパターン受光部を二重構成にする必要がある。
【０１６７】
ただし、この二重構成は、必須というわけではない。つまり、位置歪み補正及び画面分割補正を行う際に、受光部に位置検出素子が望ましいというのは、位置検出素子が比較的安価で、かつ、高速正確に光点の位置を検出できるからである。したがって、通常のカメラで受光し、受光イメージ像から画像解析により、同様の受光解析を行うことも可能である。この場合、パターン受光解析部１０３の受光部は、通常のＣＭＯＳ（Complementary Metal Oxide Semiconductor）或いはＣＣＤ（Charge Coupled Device）カメラで構成することができる。
【０１６８】
ただし、位置検出素子では、光点の位置検出をハードウエアが行うのに対し、ＣＭＯＳ又はＣＣＤカメラを用いる場合には、光点の位置検出をソフトウエア処理することになる。ソフトウエア処理で、位置検出を位置検出素子並に高速に行うためには、比較的高速のＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）が必要となり、装置が高価とならざるを得ない。
【０１６９】
ここで、位置歪み補正及び画面分割補正と、色彩補正との双方の処理を、ともに位置検出素子を使って行うことは、簡単ではないと言える。何故なら、位置検出素子では、ある輝度以上の光点の位置を算出するだけであり、輝度の判断は困難である。そのため、位置検出素子を用いるだけでは、色彩補正を行うために最低限必要な、該当投影面の反射率の情報を算出することが困難となる。
【０１７０】
さて、色彩補正の説明に話を戻す。
【０１７１】
パターン投影部１０２が基準パターン１１００を投影した直後、パターン受光解析部１０３は、投影面に投影された映像を受光し、受光パターンを得る。図３０は、得られた受光パターンを、先の基準パターン像２００の受光解析時に得られた写像Ｖの逆写像で変換した受光パターン像である。念のためにいえば、逆写像で変換する前の受光パターン像は、図３１Ｄの形のように歪んでいるはずである。既に写像Ｖが得られているために、パターン受光解析部１０３は、新たに写像Ｖを計算する必要はない。また写像Ｖは、基準パターン上の光点と、受光パターン上の光点との対応関係そのものであるから、図８に示したような対応表を新たに作る必要もない。そのため、この時点で、パターン受像解析部１０３の動作は終了する。
【０１７２】
次に、パターン比較部１０４が動作を開始する。同様に、写像Ｖは既に算出済みであり、基準パターンと受光のパターンとの比較も受光パターン像の逆写像の像（図２９の１２００）を算出した時点で動作を終了する。
【０１７３】
次に、補正管理部１０５が動作を開始する。
【０１７４】
ここで、補正管理部１０５は、色彩補正部１０８を起動し、色彩補正部１０８に色彩用補正パラメータを計算させる。
【０１７５】
いま、図３０で示すように、受光パターン像の写像Ｖの逆写像の像１２００に、黒い領域１２０１、及び、灰色領域１２０２、１２０３が観察されたとする。なお、その他の領域は、白であるとする。
【０１７６】
さて、先に説明したように、色彩用補正の基準パターンは、画面一杯の白画素からなるパターンである。したがって、基準パターンの光点ｄ［ｉ，ｊ］（０≦ｉ≦１２８０，０≦ｊ≦９６０）を、ＲＧＢ表現で表すと、いずれもＲＧＢ（２５５、２５５、２５５）となる。このとき、受光パターン１２００の光点ｒ［ｉ，ｊ］に関して、以下のような値が得られているとする。
【０１７７】
（１）領域１２０１上の点は、ＲＧＢ（１、１、１）
（２）領域１２０２、１２０３上の点は、ＲＧＢ（１２７、１２７、１２７）
（３）それ以外の点は、ＲＧＢ（２５５、２５５、２５５）
色或いは明度むらを補正するためには、Ｒ、Ｇ、Ｂの各色において反射率が弱い点に関して、反射率の弱さを補うように、強い光を投影してやればよい。
【０１７８】
つまり、基準パターンの光点（画素）ｄ［ｉ，ｊ］及び受光パターンの光点（画素）ｒ［ｉ，ｊ］をそれぞれ、ＲＧＢ表現で、ＲＧＢｄ［ｉ，ｊ］（ｒ、ｇ、ｂ）及びＲＧＢｒ［ｉ，ｊ］（ｒ′、ｇ′、ｂ′）と表現した場合、各点の反射率は、ｒｅｆｒｅｃｔ［ｉ，ｊ］（ｒ′／ｒ、ｇ′／ｇ、ｂ′／ｂ）となる。
【０１７９】
そこで、色彩補正をするためには、投影すべき映像の各画素［ｉ，ｊ］に対して、それぞれＲ、Ｇ、Ｂの強度を、ｒ／ｒ′倍、ｇ／ｇ′倍、ｂ／ｂ′倍してやればよい。基本的に、この全ての点に関して、それぞれのＲＧＢ値に乗算すべき倍係数が色彩用補正パラメータであり、色彩補正部１０８が算出する写像Ｕである。
【０１８０】
つまり、投影すべき映像上の点（ｉ，ｊ）に関して、ＲＧＢそれぞれの倍係数（Ａｒ、Ａｇ、Ａｂ）を決定してやればよい。ここで、Ａｒは、Ｒ（赤）の光の強度を増す係数であり、ＡｇはＧ（緑）の強度を増す係数であり、ＡｂはＢ（青）の強度を増す係数である。
【０１８１】
したがって、領域１２０１に関しては、ＲＧＢ各色とも２５５倍（Ａｒ、Ａｇ、Ａｂ）＝（２５５、２５５、２５５）とし、領域１２０２と１２０３に関しては、ＲＧＢ各色とも２倍の（Ａｒ、Ａｇ、Ａｂ）＝（２、２、２）とし、それ以外の領域については、（Ａｒ、Ａｇ、Ａｂ）＝（１、１、１）、すなわち、何もしないとすればよい。
【０１８２】
ただし、実際には、現在の映像投影装置の場合、通常は光源に対して映像を表示した液晶等の表示部で減算して画面投影を行なう。そのため、通常の白色光より明るい白色を投影面に表示するのは困難であるため、全ての場合において色彩補正は、困難となる。
【０１８３】
例えば、領域１２０１の反射率がほぼ０の場合、事実上、色彩補正は困難であるため、この領域１２０１の補正は、画像分割補正に任せることが考えられる。つまり、反射率がある閾値より小さい領域については、色彩補正を行なわないのがよい。
【０１８４】
そして、この閾値は、画面分割補正との関係で決めることが望ましい。つまり、画面分割補正が働き始める反射率を、この閾値とすればよい。この値は、画面分割補正及び位置歪み補正に用いられるパターン受光解析部１０３の位置検出素子が反応できる光点の明度に関連して決定することができる。
【０１８５】
また、反射率が閾値以上の点であっても、ある一定の光度以下でない場合は、投影困難であるという事情から、例えば、領域１２０２及び領域１２０３に関しては、白色（ＲＧＢ（２５５、２５５、２５５））を再現するのは困難である。つまり、最大光度の光ＲＧＢ（２５５、２５５、２５５）を投影しても、ＲＧＢ（１２７、１２７、１２７）の灰色の再現となるからである。
【０１８６】
そのため、なるべく多くの点で色或いは明度むらの補正を行なうようにするには、（Ａｒ、Ａｇ、Ａｂ）の各係数にある適当な係数定数α（０＜α＜１）をかけて、全体の光度を圧縮する等の処理やガンマ補正のような非線形の補正をさらに行なえばよい。ただし、いずれの方法でも、映像投影装置としての全体のコントラスト又は明度が下がることになるので、補正の自然さと画面の明るさ又はコントラストとのトレードオフでこれら係数α等を決定していく必要がある。
【０１８７】
また、さらに、投影面１２０の反射率は、光点の明度との関係で線形になるとは限らないので、補正できる範囲内においても、実際には微調整が必要となる場合がある。
【０１８８】
以上で、３つの各補正部の動作の説明を終える。
【０１８９】
図３１に、これら補正部が算出した補正結果の組合せの例を示す。図３１は、投影面１２０の中央に、例えば黒い柱等の低反射領域があり、また投影面の下部が、灰色で色が塗られており、ユーザは、映像投影装置を自分の左足あたりに置き、立って投影面を見ているような状況における補正結果の例を示している。
【０１９０】
図３１Ａは、ユーザに提示したい画像である。作図の都合上、白黒反転画像となっていることを留意して欲しい。まず、この画像には、画面分割補正（写像Ｖ）が施される。その結果、図３１Ｂが得られる。
【０１９１】
次に、色彩補正（写像Ｕ）が施されると、図３１Ｃが得られる。これは、全体の光度圧縮の補正係数αを０．５とした場合で、投影面の白色領域に対する投影光は全体として半分に弱められる（図３１Ｃの灰色の領域）。一方、投影面の灰色の領域に関しては（投影面の下部）、２倍の強度になるところ、光度圧縮の補正係数として０．５がかけられて、結果としてそのままの光度で投影される。
【０１９２】
そして、最後に、位置歪み補正（写像Ｗ）が行なわれ、この結果図３１Ｄを得る。
【０１９３】
以上のように、本実施の形態では、パターン比較部１０４は、投影された基準パターンを受像して得られる受光パターンと、基準パターンとを比較し、これらパターンの構成要素間の対応関係を特定し、対応関係に基づいて、基準パターンから受光パターンへの写像Ｗを算出し、補正管理部１０５は、基準パターンと受光パターンとの構成要素間の対応関係に基づいて、位置歪み補正又は画面分割補正の要否を判断し、判断結果に応じて、位置歪み補正部１０６及び画面分割補正部１０７を動作させる。位置歪み補正部１０６は、写像Ｗに応じた位置歪み用補正パラメータを生成し、画面分割補正部１０７は、当該対応関係に基づいて、受光パターンのうち、基準パターンに対応する領域が欠損した領域を含む低反射領域を検出し、低反射領域以外の領域に映像が投影されるよう、映像が投影される画面を分割し、分割前の画像から分割後の画像への写像Ｖを算出し、写像Ｖに応じて画像分割用補正パラメータを生成する。補正部１０９は、位置歪み用補正パラメータ又は画面分割用補正パラメータを用いて、映像コンテンツを補正し、映像投影部１１０は、補正された映像コンテンツを投影する。これにより、投影映像の歪みを補正し、また、投影面に柱や素材の違う面等の反射率が低い帯状の領域が存在するような場合においても、残された投影に適した領域を効率よく使うことで、見易い画像を投影することができる。
【０１９４】
なお、以下に、これら写像の補正パラメータの算出頻度について説明する。位置歪み補正又は画面分割補正の場合、パターン投影部１０２は、基準パターンの投影を、人間には不可視の赤外光等を利用して行なうことも可能である。また、人間には不可視の赤外線等を利用する場合、映像の投影と並行して、随時補正パラメータの算出を行なうことが可能である。したがって、この場合には、映像投影装置１００を例えば手持ちした場合のように、映像投影装置と投影面との位置関係が時間的に変化するような場合においても、リアルタイムで、位置歪み補正及び画面分割補正が可能となる。
【０１９５】
色彩補正に関しては、実際に可視光で投影面を照らさない限り、正確な色彩用補正パラメータの算出が困難である。そのため、補正のために投影する基準パターンがユーザに知覚されてしまい、完全にユーザに気付かれない状況で色彩用補正パラメータを算出するのは難しい。
【０１９６】
このため、１つの解決策としては、映像投影装置１００に、何らかの振動センサ又は３次元の位置センサを搭載し、映像投影装置１００の位置が変更された場合にだけ、補正動作の実行を行なうことで、補正動作の起動を最小限に抑えることが考えらえる。
【０１９７】
または、一定期間（例えば１秒）の間に映像投影装置１００が投影する映像のフレーム中の１フレームだけを、基準パターンの投影に使うことにより、ユーザに基準パターンの投影を気付かれにくくするような手法も考えられる。また基準パターンそのものを、白一色ではなく、灰色にして、目立たなくしたり、また、投影される映像コンテンツの画像それ自体を基準パターンとみなして、色彩用補正パラメータを計算するような工夫も考えられる。
【０１９８】
なお、色彩補正用の基準パターンに代えて、投影される映像自体を基準パターンとして利用してもよい。この場合においても、色彩補正用パラメータの計算方法は、本実施の形態で述べた方法をそのまま利用することができる。ただし、全体的に彩度が低く明度又は色相が均一で、輝度が高い映像（例えば、薄曇りの空や雪景色等）は、色彩用補正パラメータを算出するには、有利であるので、そのような映像が投影される時には集中的に、色彩用補正パラメータを算出する等の工夫も可能である。
【０１９９】
（実施の形態２）
実施の形態１では、投影面が平面の場合を例に説明したが、本発明は、投影面が曲面の場合にも適用可能である。本実施の形態では、投影面が曲面の場合について説明する。
【０２００】
投影面が曲面の場合、パターン比較部１０４における位置歪み補正のための写像Ｗの算出方法が、投影面が平面の場合と異なる。投影面が曲面の場合、パターン比較部１０４は、曲面を微小な矩形平面で近似し、それぞれの微小矩形平面間の写像を射影変換として全体の写像を近似する。
【０２０１】
微小矩形平面としては、ｄ［ｉ，ｊ］、ｄ［ｉ＋１，ｊ］、ｄ［ｉ，ｊ＋１］、ｄ［ｉ＋１，ｊ＋１］の４点で囲まれる微小平面を考える。図３２において、微小平面は、それぞれ破線で囲まれた正方形領域である。例えば、斜線領域１３００は、微小平面の例である。
【０２０２】
パターン比較部１０４は、ｒ［ｉ，ｊ］、ｒ［ｉ＋１，ｊ］、ｒ［ｉ，ｊ＋１］、ｒ［ｉ＋１，ｊ＋１］の４点で囲まれる受光パターン像上の平面への射影変換Ｆ（ｉ，ｊ）を求める。射影変換Ｆ（ｉ，ｊ）の集まりを、全体の写像Ｗとする。
【０２０３】
なお、投影面が平面の場合とは異なり、投影面が曲面の場合、ｄ［ｉ，ｊ］からｒ［ｉ，ｊ］への対応を求める場合に、直線的な補完を行えないため、一度に沢山の光点を投影して、位置を検出するような方法（第２の方法）は使えない。
【０２０４】
このように、投影面が曲面の場合、図１４又は図１５のフローチャートに示したような１点投影方法（第１の方法）又は複数の光点を同時に投影する方法（第３の方法）を用いる。なお、複数の光点を同時に投影する方法において、同時投影する光点の数はせいぜい４点に押えて、４点を投影する毎に、基準パターンの光点と受光パターンの光点との対応を取っていく必要がある。また、受光パターン像に欠損の光点が生じた場合は、その領域だけ１点投影方法に拠って光点の対応を確認せねばならないだろう。
【０２０５】
なお、第３の方法を用いる場合に、最大４点投影とするのは、投影面が曲面の場合であっても、４点の上下左右という位置関係は変わらないためである。
【０２０６】
なお、他の計算及び各部の動作に関しては、実施の形態１と同様であるため説明を省略する。
【０２０７】
以上のように、本実施の形態では、投影面が曲面の場合、パターン比較部１０４は、４点で囲まれる受光パターン像上の平面への射影変換Ｆ（ｉ，ｊ）を求め、射影変換Ｆ（ｉ，ｊ）の集まりを、全体の写像Ｗとする。
【０２０８】
（実施の形態３）
実施の形態１では、パターン受光解析部１０３は、映像投影部１１０に近接して配置され、パターン投影部１０２は、映像投影部１１０とは独立した位置で、かつ、ユーザの目の位置近くに配置されるとした。これに対し、映像投影部１１０とパターン投影部１０３とを近接して配置し、パターン受光解析部１０３をユーザの目の位置近くに配置することで、同様の効果を得ることも可能である。
【０２０９】
本実施の形態では、映像投影部１１０とパターン投影部１０３とを近接して配置し、パターン受光解析部１０３をユーザの目の位置近くに配置する場合について説明する。
【０２１０】
図３３は、本発明の実施の形態３に係る映像投影システムの構成図である。なお、図３３の本実施の形態に係る映像投影システムにおいて、図３と共通する構成部分には、図３と同一の符号を付して説明を省略する。図３３の映像投影システムは、映像投影部１１０とパターン投影部１０３とを近接して配置し、パターン受光解析部１０３をユーザの目の位置近くに配置する。
【０２１１】
図３３に示すような配置とすることにより、本実施の形態では、位置歪み補正のための写像Ｗを、実施の形態１で利用される位置歪み補正のための写像Ｗの逆写像として読みかえることが必要となる。つまり、実施の形態１における手順で基準パターンの光点ｄ［ｉ，ｊ］から受光パターンの光点ｒ［ｉ，ｊ］への写像を算出した上で、本実施の形態では、位置歪み補正のための写像Ｗとして、算出した写像の逆写像を用いる。
【０２１２】
他の計算及び各部の動作に関しては、実施の形態１と同様であるため説明を省略する。
【０２１３】
以上のように、本実施の形態では、映像投影部１１０とパターン投影部１０３とを近接して配置し、パターン受光解析部１０３をユーザの目の位置近くに配置する。これにより、図３３の構成図から分かるように、パターン受光解析部１０３の全部又は一部（位置検出素子部分やカメラ部分）を、これら部分と同等の機能を持つ外部機器に置き替えることができる。
【０２１４】
例えば、本実施の形態に係る映像投影装置１００が無線通信機能を有し、また、ユーザが、カメラ機能付き、かつ、無線通信機能付きの携帯端末を有する場合、映像投影装置１００は、ユーザの携帯端末が取得したカメラ画像をユーザの携帯端末より無線を介して入手することにより、パターン受光解析部１０３の全部又は一部をユーザの携帯端末に置き替えることができる。
【０２１５】
さらに、ユーザの携帯端末が外部からアプリケーションをダウンロードして実行できるような場合、パターン受光解析部１０３が有する各種演算機能を、携帯端末上で実行させることにより、パターン受光解析部１０３の代用として、その携帯端末を利用することが可能である。
【０２１６】
なお、以上の説明では、基準パターンから受光パターンへの写像Ｗをパターン比較部１０４が生成するとして説明したが、対応表に基づいて、位置歪み補正部１０６が、写像Ｗを生成するようにしてもよい。
【産業上の利用可能性】
【０２１７】
本発明に係る映像投影装置及び映像投影方法は、投影面に柱や素材の違う面等の反射率が低い帯状の領域が存在するような場合においても、残された投影に適した領域を効率よく使い、人間に見易い画像を投影することができ、特に、モバイル環境下で利用する場合等、専用投影面が利用困難な場合に、投影映像の歪み又は投影面の反射率の低さに起因して生じる投影映像の見にくさを改善し、見易くする映像投影装置等として有用である。
【符号の説明】
【０２１８】
１００  映像投影装置
１０１  基準パターン発生部
１０２  パターン投影部
１０３  パターン受光解析部
１０４  パターン比較部
１０５  補正管理部
１０６  位置歪み補正部
１０７  画面分割補正部
１０８  色彩補正部
１０９  補正部
１１０  映像投影部
１２０  投影面
１３０  映像コンテンツ
【図１】
2011050013.tif 000010
【図２】
2011050013.tif 000011
【図３】
2011050013.tif 000012
【図４】
2011050013.tif 000013
【図５】
2011050013.tif 000014
【図６】
2011050013.tif 000015
【図７】
2011050013.tif 000016
【図８】
2011050013.tif 000017
【図９】
2011050013.tif 000018
【図１０】
2011050013.tif 000019
【図１１】
2011050013.tif 000020
【図１２】
2011050013.tif 000021
【図１３】
2011050013.tif 000022
【図１４】
2011050013.tif 000023
【図１５】
2011050013.tif 000024
【図１６】
2011050013.tif 000025
【図１７】
2011050013.tif 000026
【図１８】
2011050013.tif 000027
【図１９】
2011050013.tif 000028
【図２０】
2011050013.tif 000029
【図２１】
2011050013.tif 000030
【図２２】
2011050013.tif 000031
【図２３】
2011050013.tif 000032
【図２４】
2011050013.tif 000033
【図２５】
2011050013.tif 000034
【図２６】
2011050013.tif 000035
【図２７】
2011050013.tif 000036
【図２８】
2011050013.tif 000037
【図２９】
2011050013.tif 000038
【図３０】
2011050013.tif 000039
【図３１】
2011050013.tif 000040
【図３２】
2011050013.tif 000041
【図３３】
2011050013.tif 000042