(57)【特許請求の範囲】
【請求項１】
光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置において、
前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、
前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算する投影演算部と、
前記投影演算部により演算された前記光路変換関数に基づいて、前記光路変換素子を制御する光路制御部と、
を有し、
前記投影演算部は、
前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入し、
前記光路変換平面と所定の関係にある仮想投影平面を導入し、
前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算することを特徴とする投影装置。
【請求項２】
前記投影演算部は、
前記二次投影平面における異なる４点を頂点とする校正枠を設定する校正枠設定部と、
前記仮想投影平面に、前記校正枠の４点に前記中心射影変換に基づいて対応する点を頂点とする射影校正枠を設定する射影校正枠設定部と、
前記校正枠及び前記射影校正枠に基づいて、校正値を算出する校正値演算部と、
二次元平面上での平行でない２直線の交点を求める交点関数を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点若しくは前記投影位置に前記中心射影変換に基づいて対応する仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点を求める交点演算部と、
所定の点を介した２直線上の任意の点間の中心射影変換を行う透視関数及び前記校正値を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点と、前記二次投影平面上の投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点とを相互に変換可能な透視演算部と、
前記校正枠若しくは前記射影校正枠の頂点および前記透視演算部により変換した交点に基づき、前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置を演算する仮想投影位置演算部と、
前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置に基づいて、前記二次輻射ベクトルを演算する輻射ベクトル演算部と、
前記一次輻射ベクトルおよび前記二次輻射ベクトルに基づいて、前記光路変換関数を演算する光路変換関数演算部と、
を有することを特徴とする請求項１記載の投影装置。
【請求項３】
前記校正枠設定部、前記射影校正枠設定部、前記校正値演算部、前記交点演算部、前記透視演算部、前記仮想投影位置演算部および前記輻射ベクトル演算部を有し、運用前若しくは要求に応じて、前記二次輻射ベクトルおよび光路変換関数の演算を行うキャリブレーション部を有することを特徴とする請求項２記載の投影装置。
【請求項４】
除震手段を備えた設置機構を有することを特徴とする請求項１〜３のいずれか１項に記載の投影装置。
【請求項５】
前記投影演算部および前記光路制御部との間で、情報の入出力が可能なユーザインタフェースを備えることを特徴とする請求項１〜４のいずれか１項に記載の投影装置。
【請求項６】
請求項１〜５のいずれか１項に記載の投影装置と、
前記投影平面上に投影される映像の投影位置に関する情報を記憶する記憶部と、前記投影位置に関する情報を前記投影演算部に出力する出力部と、を有する映像情報出力装置と、
を有することを特徴とする投影システム。
【請求項７】
光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置を、コンピュータ若しくは電子回路により制御する投影方法において、
前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、
前記コンピュータ若しくは電子回路は、前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算する投影演算部および前記投影演算部により演算された前記光路変換関数に基づいて、前記光路変換素子を制御する光路制御部を有し、
前記投影演算部は、
前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入し、
前記光路変換平面と所定の関係にある仮想投影平面を導入し、
前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算することを特徴とする投影方法。
【請求項８】
光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置を、コンピュータを動作させることにより制御する投影プログラムにおいて、
前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、
前記コンピュータに、
前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算させ、
前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入させ、
前記光路変換平面と所定の関係にある仮想投影平面を導入させ、
前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算させ、
演算された前記光路変換関数に基づいて、前記光路変換素子を制御させることを特徴とする投影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、スクリーンなどの投影平面に対して、レーザ光などの投影媒体によって特定の映像を投影するための投影装置、投影システム、投影方法及び投影プログラムに関する。
【背景技術】
【０００２】
従来から、スクリーン等の投影平面に対して、所望の映像を投影するために、投影装置が用いられている。たとえば、レーザ光源および光走査素子を用いる光走査型プロジェクタや、ランプ光源（たとえば、超高圧水銀ランプ、キセノンランプ等）およびＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）を用いるＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ：登録商標）などの投影装置は、投影平面の大小を問わず、比較的鮮明な映像を投影することができる（特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−８６２６６号公報
【特許文献２】特開２００８−１５８４９５号公報
【特許文献３】特開２００５−０４３８８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような従来技術においては、次のいずれかの制約があった。
（１）投影装置の投影方向と投影平面（スクリーン等）の法線方向を一致させる必要がある。
（２）投影装置の設置位置および姿勢を限定して、投影像の射影歪み補正を行う必要がある。
【０００５】
つまり、投影平面に対して、所望の映像が投影されるようにするためには、投影平面に対する投影装置の設置位置および姿勢が固定されている必要がある。このため、任意の投影場所に投影装置を設置して、投影する場合、正確な映像を投影させることが困難な場合があった。
【０００６】
本発明は、上記のような従来技術の問題点を解決するために提案されたものであり、その目的は、投影装置の設置位置および姿勢への制約をなくしつつ、厳密な射影歪補正を行うことにより、所望の映像を正確に投影させることができる投影装置、投影方法及び投影プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、請求項１の投影装置は、光源部と、前記光源部からの入射光の方向を変換して出射光とする光路変換部とを有し、前記光路変換部からの出射光によって、投影対象となる投影平面に対する投影を行う投影装置において、前記光路変換部は、入射光の進行方向を個別に変換可能な光路変換素子を、複数配列した光路変換平面を有し、前記光源部と前記光路変換平面との間の光路の方向を示す一次輻射ベクトルから、前記光路変換平面と前記投影平面との間の光路の方向を示す二次輻射ベクトルへ光路を変換するための光路変換関数を演算する投影演算部と、前記投影演算部により演算された前記光路変換関数に基づいて、前記光路変換素子を制御する光路制御部と、を有し、前記投影演算部は、前記光路変換平面と前記投影平面との間で相互に対応する２点に対して、前記光路変換平面上および前記投影平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す投影結合の関係にある点を有する仮想的な二次投影平面を導入し、前記光路変換平面と所定の関係にある仮想投影平面を導入し、前記光路変換素子の光路変換点を介した前記二次投影平面上の投影位置と、これに対応する前記仮想投影平面上の位置との相互的な中心射影変換に基づいて、前記二次輻射ベクトルを演算することを特徴とする。
【０００９】
請求項２の発明は、請求項１の投影装置において、前記投影演算部は、前記二次投影平面における異なる４点を頂点とする校正枠を設定する校正枠設定部と、前記仮想投影平面に、前記校正枠の４点に前記中心射影変換に基づいて対応する点を頂点とする射影校正枠を設定する射影校正枠設定部と、前記校正枠及び前記射影校正枠に基づいて、校正値を算出する校正値演算部と、二次元平面上での平行でない２直線の交点を求める交点関数を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点若しくは前記投影位置に前記中心射影変換に基づいて対応する仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点を求める交点演算部と、所定の点を介した２直線上の任意の点間の中心射影変換を行う透視関数及び前記校正値を用いて、前記二次投影平面上の投影位置と前記校正枠のいずれかの頂点を通る直線と前記校正枠の対角線との交点と、前記二次投影平面上の投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置と前記射影校正枠のいずれかの頂点を通る直線と前記射影校正枠の対角線との交点とを相互に変換可能な透視演算部と、前記校正枠若しくは前記射影校正枠の頂点および前記透視演算部により変換した交点に基づき、前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置を演算する仮想投影位置演算部と、前記二次投影平面上の投影位置若しくは前記投影位置に前記中心射影変換に基づいて対応する前記仮想投影平面上の位置に基づいて、前記二次輻射ベクトルを演算する輻射ベクトル演算部と、前記一次輻射ベクトルおよび前記二次輻射ベクトルに基づいて、前記光路変換関数を演算する光路変換関数演算部と、を有することを特徴とする。
【００１０】
また、請求項７の投影方法は、請求項１の発明を方法の観点から捉えたものであり、請求項８の投影プログラムは、請求項１の発明をコンピュータプログラムの観点から捉えたものである。
【００１１】
以上のような請求項１、２、７、８の発明では、投影装置と投影平面の設置位置および姿勢などの位置関係が、あらかじめ固定的に決定されていなくても、一次輻射ベクトルから二次輻射ベクトルへの光路変換関数を求め、これにより、光路変換素子を制御することにより、射影歪補正された映像を、投影平面に正確に投影することができる。
【００１２】
請求項３の発明は、請求項２の投影装置において、前記校正枠設定部、前記射影校正枠設定部、前記校正値演算部、前記交点演算部、前記透視演算部、前記仮想投影位置演算部および前記輻射ベクトル演算部を有し、運用前若しくは要求に応じて、前記二次輻射ベクトルおよび光路変換関数の演算を行うキャリブレーション部を有することを特徴とする。
【００１３】
以上のような請求項３の発明では、投影装置と投影平面との位置関係が変わっても、キャリブレーション部による設定を行うことによって、投影装置の投影平面への正確な投影を担保することができる。
【００１４】
請求項４の発明は、請求項１〜３のいずれか１項の投影装置において、除震手段を備えた設置機構を有することを特徴とする。
【００１５】
以上のような請求項４の発明では、外部環境からの振動が加わっても、その影響を除震手段によって排除できるので、投影装置による正確な投影動作を維持できる。
【００１６】
請求項５の発明は、請求項１〜４のいずれか１項の投影装置において、前記投影演算部および前記光路制御部との間で、情報の入出力が可能なユーザインタフェースを備えることを特徴とする。
【００１７】
以上のような請求項５の発明では、ユーザインタフェースを介して、投影演算部や光路制御部の内部状態の入出力が可能となる。
【００１８】
請求項６の発明である投影システムは、請求項１〜５のいずれか１項の投影装置と、前記投影平面上に投影される映像の投影位置に関する情報を記憶する記憶部と、前記投影位置に関する情報を前記投影演算部に出力する出力部と、を有する映像情報出力装置とを備えることを特徴とする。
【００１９】
以上のような請求項６の発明では、あらかじめ記憶部に記憶された投影位置に関する情報に基づいて、投影装置において光路変換関数を求めて、光路変換素子を正確な方向に制御して、所望の位置に投影させることができる。
【発明の効果】
【００２０】
以上説明したように、本発明によれば、投影装置の設置位置および姿勢への制約をなくしつつ、厳密な射影歪補正を行うことにより、所望の映像を正確に投影させることができる投影装置、投影方法、投影プログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の反射型の光路変換形式による投影動作モデルの一例を示す説明図である。
【図２】本発明の屈折型若しくは回折型の光路変換形式による投影動作モデルの一例を示す説明図である。
【図３】本発明の一実施形態を示す全体構成図である。
【図４】図３に示す実施形態の機能ブロック図である。
【図５】本発明の投影動作原理における光路変換平面及び投影平面の関係を示す説明図である。
【図６】本発明の投影動作原理における光路変換平面上の四角形に対応する投影平面上の四角形との関係を示す説明図（Ａ）、光路変換平面上を原点とする三次元直交座標系と二次投影平面上の四角形との関係を示す説明図（Ｂ）である。
【図７】本発明の投影動作原理における光路変換平面上の任意の点とこれに対応する投影平面上の点を各平面上の四角形を用いて表した説明図（Ａ）、光路変換平面上を原点とする三次元直交座標系と二次投影平面上の任意の点との関係を、二次投影平面上の四角形を用いて表した説明図（Ｂ）である。
【図８】図５の任意の光路変換点を介した投影平面と仮想投影平面との相互的な中心射影変換を説明する説明図である。
【図９】本発明の投影動作原理における投影平面上の校正枠と仮想投影平面上の射影校正枠の頂点および対角線の交点の中心射影変換を示す説明図である。
【図１０】本発明の投影動作原理における投影平面上の投影点から四角形のいずれかの頂点を結ぶ直線と、四角形の対角線との交点を示す説明図である。
【図１１】図１０の交点の仮想投影平面への中心射影変換を示す説明図である。
【図１２】図１１の射影された交点から求める仮想投影点を示す説明図である。
【図１３】図２に示す実施形態の処理手順の一例を示すフローチャートである。
【図１４】本発明のキャリブレーション手法の一例を示す説明図である。
【発明を実施するための形態】
【００２２】
以下、本発明の投影装置を用いた投影システムの一実施形態を、図面を参照して説明する。
［Ａ．投影動作モデル］
はじめに、本実施形態に適用される投影動作モデルを、図１および図２を参照して説明する。この投影動作モデルは、三次元空間において、光源からの光路を変換する平面を介して、二次元的な映像を、投影対象となる平面上へ投影する動作をモデル化したものである。
【００２３】
映像は、光源からの光線の束に含まれる。光線は、一定の方向に一定の広がりをもって投影される。この光源を「映像光源」と呼ぶ。このように投影された映像を含む光を「映像光」と呼ぶ。
【００２４】
映像光源から投影された映像光は、光路変換平面へ入射する。「光路変換平面」とは、複数の光路変換素子が平面的に配列された面である。「光路変換素子」とは、それぞれ入射した光の進む方向を制御可能な素子である。この光路変換素子を用いると、入射光を所望の方向へ変換することができる。ここで、入射光を「一次映像光」、出射光を「二次映像光」と呼ぶ。
【００２５】
各光路変換素子内において、光路変換が行われる代表的な位置を「光路変換点」と呼ぶ。全ての光路変換素子は、光路変換点が光路変換平面上に乗るように配置されている。
【００２６】
光路変換素子が実現する光路変換形式としては、反射、屈折若しくは回折等が考えられる。図１に示した例は、光路変換素子において、反射する形式である。図２で示した例は、光路変換素子内で、屈折若しくは回折する形式である。
【００２７】
光路変換素子から、二次的に投影された映像光は、最終的に投影対象となる平面へ投影される。これにより、目的の映像が、当該平面に表示される。この平面を、「投影平面」と呼ぶ。
【００２８】
二次元的な映像は、画素の集合として構成される。この映像は、仮想的な映像平面上の所望の表示領域に、意図したとおりに表示される。このとき、各画素は、映像平面内に導入された二次元線形座標系ΣＩにおける対応点Ｉｐを用いて、その位置を表現できる。
【００２９】
ある瞬間の映像は、映像ベクトルＩ＝（Ｉｐ，ｃ，ｔ）Ｔの集合として表現することができる。映像ベクトルＩには、一意に対応する映像内の画素が存在する。各映像ベクトルＩを構成する要素は、表示位置ベクトルＩｐ、色強度ベクトルｃ、表示時刻ｔである。表示位置ベクトルＩｐは、同画素のΣＩにおける位置ベクトルである。色強度ベクトルｃは、同画素における発色や光の強度を表す。表示時刻ｔは、映像ベクトルＩを表示する時間に関係する値である。なお、ＭＴは、行列Ｍの転置行列を表す。
【００３０】
任意の映像ベクトルＩには、光路変換平面Ｍにおいて、一意に対応する光路変換素子が存在する。各素子は、上記のように独立して光路変換が可能である。よって、映像内の各画素に、それぞれ一意に対応する光路変換素子を制御することによって、所望の投影像が得られる。
【００３１】
ここで、ある光路変換素子に着目する。同素子の光路変換点を原点ＳＯとする球座標系ΣＳを導入する。同素子に対応する映像ベクトルの映像光は、映像光源における輻射点Ｓｌから出射し、投影平面Ｐ上の投影位置Ｓｐへ入射する。
【００３２】
この光路変換点ＳＯから見たＳｌ，Ｓｐを投影ベクトルと呼ぶ。この投影ベクトルＳｌ，Ｓｐは、ΣＳにおける１つの動径ｒと２つの偏角θ，φを成分とする三次元ベクトルとして表現される。ここで、光路変換点ＳＯから映像光源への投影ベクトルｌを、「一次投影ベクトル」と呼ぶ。光路変換点ＳＯから投影平面Ｐへの投影ベクトルｐを、「二次投影ベクトル」と呼ぶ。
【００３３】
さらに、投影ベクトルＳｌ，Ｓｐについて、２つの偏角θ，φのみを成分とした二次元ベクトルを輻射ベクトルと呼ぶ。輻射ベクトルは、偏角θ，φを成分とするので、投影ベクトルの方向を表現できる。一次投影ベクトルＳｌに対応する二次元ベクトルを「一次輻射ベクトル」と呼ぶ。二次投影ベクトルＳｐに対応する二次元ベクトルを「二次輻射ベクトル」と呼ぶ。
【００３４】
以上を前提とすると、光路変換とは、一次輻射ベクトルを二次輻射ベクトルに変換することに対応する。この変換を行う関数を、「光路変換関数」と呼ぶ。
【００３５】
［Ｂ．実施形態の構成］
［１．全体構成］
上記の投影動作モデルを導入した本実施形態の投影システムの構成例を、図３および図４を参照して説明する。なお、図３は、本実施形態の外観および使用状態の一例を示す説明図である。図４は、本実施形態の構成の一例を示す機能ブロック図である。すなわち、本実施形態の投影システム１００は、大きく分類して、投影平面Ｐ、映像情報出力装置３００および投影装置４００等により構成されている。
【００３６】
［２．投影平面］
投影平面Ｐは、投影装置４００が投影対象とする平面である。投影装置４００から出射された映像光の投影領域は、投影平面Ｐ上の所望の領域に存在する。この投影平面Ｐは、たとえば、多数の観衆を対象とした大型の投影スクリーン等によって構成することが考えられる。
【００３７】
ただし、本発明は、投影平面Ｐに対する投影装置４００の設置位置および姿勢に関して、制約が少ないという利点を有している。これは、投影平面Ｐとしては、人間が投影画像を視認可能な、あらゆる平面を想定できることを意味する。たとえば、投影平面Ｐとして、移動が困難な人造の若しくは天然の壁面を利用することも可能である。
【００３８】
本実施形態においては、投影平面Ｐに対して、任意の映像ベクトルに対応する投影位置を特定するための二次元線形座標系を導入する。投影位置は、当該二次元線形座標系における二次元ベクトルによって表現できる。なお、投影領域は、任意の投影位置に対応する二次元線形座標系での二次元ベクトルを計測でき、その計測情報を出力できる構造であってもよい。このための計測手段としては、たとえば、定規や距離計などの測距器を用いて測定するものや、レーザ光とカメラを用いて位置計測するものなどが考えられるが、特定の手段には限定されない。
【００３９】
［３．映像情報出力装置］
映像情報出力装置３００は、投影するための映像ベクトルを含む映像に関する情報（映像情報）を、投影装置４００、その他の表示装置に対して出力する装置である。この映像情報出力装置３００は、たとえば、所定のオペレーティングシステムおよびアプリケーションプログラム等のプログラムによって動作するコンピュータによって実現することができる。映像情報には、映像ベクトルの他、映像に付帯するその他の情報が含まれる。したがって、映像情報出力装置３００は、投影の際に、映像ベクトルとその他の情報を同期させて出力することもできる。
【００４０】
かかる映像情報出力装置３００においては、映像情報が、たとえば、ハードディスク、メモリ、光ディスク等の記憶媒体に記憶されている。この映像情報が、アプリケーションプログラムによって呼び出されて、外部に出力される。
【００４１】
なお、映像情報出力装置３００は、マウス、キーボード、リモコン、スイッチ、ディスプレイ（タッチパネル）等の入力装置（入力手段）を備えている。この入力装置によって、操作者Ａが、投影装置４００を制御するための投影装置制御情報を入力することができる。映像情報出力装置３００は、この投影装置制御情報も映像情報の一部として出力することができる。また、映像情報を、映像情報出力装置３００が自ら有するディスプレイ等の表示装置に出力して表示させることもできる。
【００４２】
このような映像情報出力装置３００は、上記のプログラムの働き等により、図４に示すように、記憶部３０１、入力部３１０、抽出部３２０、出力部３３０としての機能を有している。
【００４３】
記憶部３０１は、あらかじめ映像情報等を記憶する手段である。この記憶部３０１は、例えば、上記のハードディスク、メモリ、光ディスク等の記憶媒体によって構成することができる。
【００４４】
入力部３１０は、入力手段等の外部からの情報の入力を受け付けるインタフェースである。抽出部３２０は、記憶部３０１に記憶された情報から、映像情報等を抽出する手段である。出力部３３０は、抽出部３２０によって抽出された映像情報等を投影装置４００に出力するインタフェースである。出力部３３０は、映像情報出力装置３００が有する表示装置に、映像情報等を出力する手段でもある。
【００４５】
［４．投影装置］
投影装置４００は、図４に示すように、映像光源４１０、投影機構４２０、投影演算部４３０、投影情報インタフェース４４０、可動筐体４５０、設置機構４６０およびユーザインタフェース４７０等を有している。
【００４６】
［４−１．映像光源］
映像光源４１０は、投影平面Ｐに、所望の映像投影するための映像光を出力する装置である。映像光源４１０としては、現在又は将来において利用可能なあらゆる光源を適用可能である。たとえば、各種照明光源やレーザ光などを選択できる。映像光源４１０は、放射された光が、複数の映像ベクトルにより再構成される映像を形成して投影されるように、たとえば、放射光をフィルタリングする手段を備えていてもよい。
【００４７】
この映像光源４１０における映像光の出力レベル、出力タイミング等は、映像情報、制御情報若しくは内部条件等によって制御される。映像情報は、投影装置４００の外部（たとえば、映像情報出力装置３００）から入力される情報である。制御情報は、ユーザインタフェース４７０を介して入力される情報である。内部条件は、投影装置４００にあらかじめ設定された情報である。
【００４８】
［４−２．投影機構］
投影機構４２０は、与えられた任意の映像ベクトルが、後述する仮想投影平面上に意図したとおりに投影されるように、映像光の投影方向を制御する機構である。この投影機構４２０は、光路変換素子４２１および光路制御部４２２を有している。光路変換素子４２１は、上記のように、光路変換平面Ｍを構成する複数の光路変換手段である。光路制御部４２２は、光路変換素子４２１の投影方向を制御する手段である。
【００４９】
個々の光路変換素子４２１は、２つの投影方向制御軸を有する。光路制御部４２２は、２つの投影方向制御軸の駆動を制御する。この制御は、上記の映像光源４１０や映像ベクトルに対応する輻射ベクトルから求められる光路変換関数に基づいて行われる。このような投影機構４２０としては、たとえば、アクチュエータにより可動する表面鏡によって、入射光の反射方向を変える光路変換二軸制御装置を用いることが考えられる。
【００５０】
光路変換関数は、基本的には、投影演算部４３０により演算されたものが入力される。ただし、映像情報出力装置３００の入力手段から、光路変換関数を直接入力して、各光路変換素子４２１を個別に制御することもできる。また、後述するユーザインタフェース４７０から、映像光の投影方向を制御する情報を直接入力できるように構成してもよい。
【００５１】
投影機構４２０においては、すべての光路変換素子４２１について、現在の光路変換関数が、常にメモリ等の記憶部に記憶される。光路変換関数が外部から入力された場合にも、それが記憶部に記憶される。これらの記憶された光路変換関数に従って、投影機構４２０が動作する。
【００５２】
手動等により各光路変換素子４２１を制御する光路変換関数を変更した場合にも、この光路変換関数が記憶部に記憶される。記憶された光路変換関数が、これに対応する光路変換素子４２１のその時点での光路変換関数として利用可能となる。
【００５３】
［４−３．投影演算部］
投影演算部４３０は、要求判定部４３１、キャリブレーション部４３２、光路変換関数演算部４３３等を有している。要求判定部４３１は、外部からの要求の有無を判定する手段である。外部からの要求には、たとえば、キャリブレーション要求、映像情報の取得による投影要求、光路変換関数更新要求などがある。
【００５４】
キャリブレーション部４３２は、本システム運用前若しくは投影装置４００の位置姿勢の変更後のキャリブレーションを行う手段である。キャリブレーション部４３２は、校正枠設定部４３２ａ、射影校正枠設定部４３２ｂ、校正値演算部４３２ｃ、交点演算部４３２ｄ、透視演算部４３２ｅ、仮想投影位置演算部４３２ｆ、輻射ベクトル演算部４３２ｇ等を有している。
【００５５】
校正枠設定部４３２ａは、後述する投影平面Ｐ（二次投影平面Ｓ）上の正規投影領域に対応する校正枠を設定する手段である。射影校正枠設定部４３２ｂは、後述する仮想投影平面Ｖ上の正規投影領域に対応する射影校正枠を設定する手段である。校正値演算部４３２ｃは、校正枠および射影校正枠に基づいて、校正値を算出する手段である。
【００５６】
交点演算部４３２ｄは、後述する交点関数により交点係数ベクトルを求める手段である。この交点は、校正枠若しくは射影校正枠における２頂点と任意の点とを結ぶ２直線と、校正枠若しくは射影校正枠における対角線との２つの交点である。透視演算部４３２ｅは、校正値および交点係数ベクトルに基づいて、上記２つの交点に対応する投影平面Ｐ（二次投影平面Ｓ）上の射影点若しくは仮想投影平面Ｖ上の射影点を求める手段である。
【００５７】
仮想投影位置演算部４３２ｆは、交点演算部４３２ｄおよび透視演算部４３２ｅの演算結果に基づいて、後述する仮想二次投影ベクトルを求める手段である。輻射ベクトル演算部４３２ｇは、仮想投影位置演算部４３２ｆによって求められ仮想二次投影ベクトルに基づいて、二次輻射ベクトルを求める手段である。このようなキャリブレーション部４３２を構成する各部によるキャリブレーションの詳細については、後述する。
【００５８】
光路変換関数演算部４３３は、一次輻射ベクトルおよび二次輻射ベクトルに基づいて、投影機構４２０の光路変換手段（たとえば、上記の光路変換素子４２１）に適した光路変換関数を求める手段である。一次輻射ベクトルは、投影機構４２０の設計時若しくは投影機構４２０の製造時の校正によって得られる。二次輻射ベクトルは、上記の輻射ベクトル演算部４３２ｇによって求められる。投影装置４００が複数の映像光源４１０を有する場合には、指定された映像光源４１０に対応する一次輻射ベクトルによって、光路変換関数を求める。
【００５９】
求められた全ての光路変換関数は、投影機構４２０へ出力される。このような投影演算部４３０による演算の詳細については、後述する。また、上記の演算を制御する情報を、映像情報出力装置３００以外（たとえば、後述するユーザインタフェース４７０等）から、入力できるように構成してもよい。
【００６０】
なお、投影演算部４３０等は、所定のプログラムによって、上記の各部の機能を実現できるコンピュータによって構成することができる。たとえば、各部の機能を実現するＡＳＩＣやＣＰＵ等のＩＣチップやその他の周辺回路によって構成したり、複数の機能を集約したシステムＬＳＩによって構成する等、種々考えられるものであり、特定のものには限定されない。
【００６１】
［４−４．投影情報インタフェース］
投影情報インタフェース４４０は、投影演算部４３０と外部（映像情報出力装置３００など）との間のインタフェースである。投影情報インタフェース４４０には、映像情報出力装置３００の出力部３３０が接続される。この投影情報インタフェース４４０は、映像情報出力装置３００からの情報の入力を受け付けて、投影演算部４３０へ映像情報等を出力する。なお、投影情報インタフェース４４０は、投影装置４００の内部状態を、外部へ出力することもできる。
【００６２】
［４−５．可動筐体］
可動筐体４５０は、手動若しくはアクチュエータ制御により、その姿勢を変更できる筐体である。この可動筐体４５０は、内部に投影機構４２０を有している。このため、二次映像光の全体的な投影方向を決定する投影機構４２０の姿勢は、可動筐体４５０の可動範囲内で、任意に設定できる。
【００６３】
［４−６．設置機構］
設置機構４６０は、投影装置４００の構成要素を支持し、運用環境内に固定するための構造物である。設置機構４６０として、どのような機構を採用するかは自由である。たとえば、設置機構４６０を、構成要素を据え置くための台座、構成要素を吊り下げるためのフック、構成要素を設置面に吸着させるための吸盤や磁石などにより構成することができる。
【００６４】
ただし、投影装置４００が正確な投影動作を行うためには、外部環境からの振動の影響を受け付けないようにすることが望ましい。したがって、設置機構４６０に、除震機能を備えてもよい。たとえば、バネ、スプリング、ダンパ等の弾性体による支持部材を備えることによって、単純な除震機能を得ることが考えられる。また、加速度センサとアクチュエータのフィードバック制御によって、能動的な除震機能を備えることも可能である。
【００６５】
［４−７．ユーザインタフェース］
ユーザインタフェース４７０は、投影情報インタフェース４４０を介さずに、情報の入出力を行う手段である。このユーザインタフェース４７０には、上記の入力装置と同様の入力手段や、ディスプレイ、プリンタ等の出力手段を接続することが考えられる。操作者Ａは、入力手段を介して、各光路変換素子４２１を制御する情報、投影演算部４３０による演算を制御する情報等を、直接入力することができる。
【００６６】
また、出力手段に投影装置４００の内部状態を出力若しくは表示することにより、操作者Ａが、キャリブレーション進行状況等の内部状態を確認できる。ただし、ユーザインタフェース４７０の実装は必須ではなく、必要に応じて実装すればよい。入力可能な情報についても、自由である。
【００６７】
なお、上記の映像情報出力装置３００および投影装置４００において、入出力される情報、演算値、演算結果等、各種の処理に必要な情報は、コンピュータが備えるレジスタ、メモリ、ハードディスク等の記憶媒体に確保された記憶領域に記憶され、適宜利用される。各記憶領域が、各情報の記憶部を構成するものとなるが、これは、周知の技術により構成可能なため、説明は省略する。記憶部として、どのような種類、容量の記憶媒体を使用するかは自由である。情報の記憶形式として、どのようなものを採用するか等についても自由である。
【００６８】
［Ｃ．投影動作原理］
上記のような投影動作モデルおよび装置構成を前提として行う投影動作の原理を、図５〜１１を参照して説明する。
［１．光路変換平面の定義］
図５に示すように、任意の位置ベクトルを、３つの直交成分（ｘ，ｙ，ｚ）Ｔで表すことができる三次元直交座標系ΣＭを考える。このとき、ｚ＝０となる平面を光路変換平面Ｍとする。ΣＭ上の任意の位置ベクトルをＭｐと表す。
【００６９】
光路変換平面Ｍ上の所望の位置に、光路変換素子４２１（以下、図中のｅで示す）の集合体（光路変換素子群）が配置される。ただし、一次輻射ベクトルｆが二次輻射ベクトルｓへ変換される光路変換点Ｍｄは、光路変換変換平面Ｅ上に乗るように配置されるものとする。また、二次輻射ベクトルｓに対応する投影位置は、ｚ＞０であるものとする。さらに、光路変換が鏡面反射によるものである場合、映像光源４１０もΣＭのｚ＞０に位置するものとする。
【００７０】
多数ある光路変換素子ｅをそれぞれ区別して表現するために、表記ｅ（ｘ，ｙ）を用いる。（ｘ，ｙ）は、対応する光路変換点のΣＭにおける位置ベクトルのうちのｘ，ｙ成分に対応する。また、光路変換素子ｅ（ｘ，ｙ）は、それぞれ独立して光路変換を行うため、各素子ごとに、独立した座標系の導入を考える。
【００７１】
ΣＭにおける光路変換素子ｅ（ｘ，ｙ）の光路変換点をＭｄ＝（ｘ，ｙ，０）Ｔとする。そして、ΣＭの原点を、Ｍｄへ並進変換した三次元直交座標系Σｘ，ｙ（Ｃ）を、光路変換素子ｅ（ｘ，ｙ）に導入する。すなわち、Σｘ，ｙ（Ｃ）は、原点については、ΣＭと異なっている。しかし、Σｘ，ｙ（Ｃ）は、３つの直交成分の方向については、ΣＭと同一である。このため、任意の位置は、三次元直交座標系Σｘ，ｙ（Ｃ）およびΣＭの双方の座標系の位置ベクトルにより、一意に表現可能である。したがって、ΣＭは、Σ０，０（Ｃ）とも表現できる。ここで、Σｘ，ｙ（Ｃ）上の任意の位置ベクトルを、ｘ，ｙ（Ｃ）ｐと表す。
【００７２】
また、同時に、三次元直交座標系Σｘ，ｙ（Ｃ）と原点が同一な球座標系Σｘ，ｙ（Ｓ）を導入する。球座標系Σｘ，ｙ（Ｓ）における任意の位置ベクトルは、１つの動径ｒと、２つの偏角θ，φを成分とする（ｒ，θ，φ）Ｔと表すことができる。なお、ｒ≧０，−π／２≦θ≦π／２, −π≦φ＜πである。また、Σｘ，ｙ（Ｓ）上の任意の位置ベクトルは、ｘ，ｙ（Ｓ）ｐと表す。
【００７３】
さらに、球座標系Σｘ，ｙ（Ｓ）は、三次元直交座標系Σｘ，ｙ（Ｃ）に対して、次のような関係となるように導入される。
・Σｘ，ｙ（Ｓ）のθ成分の回転軸とΣｘ，ｙ（Ｃ）のｘ成分とが一致する。
・Σｘ，ｙ（Ｓ）のφ成分の回転軸とΣｘ，ｙ（Ｃ）のｙ成分とが一致する。
・Σｘ，ｙ（Ｓ）における（１，０，０）Ｔが、Σｘ，ｙ（Ｃ）における（０，０，１）Ｔと一致する。
このとき、ｒ＞０，−π／２＜θ＜π／２である場合、任意の位置は、Σｘ，ｙ（Ｃ）、Σｘ，ｙ（Ｓ）の両座標系の位置ベクトルにより、一意に表現可能である。
【００７４】
［２．光路変換方法］
球座標系Σｘ，ｙ（Ｓ）において、２つの偏角θ，φのみを成分とする二次元ベクトル（θ，φ）Ｔは、Σｘ，ｙ（Ｓ）の原点を端点とする半直線を表す。上記の投影動作モデルの輻射ベクトルは、この二次元ベクトル（θ，φ）Ｔを用いて表すことができる。
【００７５】
ΣＭにおいて、光路変換平面Ｍ上でない任意の位置の映像光源４１０から投影された、任意の一次映像光が、一意に対応する光路変換素子ｅ（ｘ，ｙ）へ投影されるものとする。この投影を表現する一次投影ベクトルＭｆは、映像光源４１０における輻射点Ｍｌと、光路変換点Ｍｄとの差ベクトルＭｆ＝Ｍｌ−Ｍｄである。
【００７６】
この投影をΣｘ，ｙ（Ｓ）上で表現したとき、一次投影ベクトルｘ，ｙ（Ｓ）ｆ（＝Ｍｆ）に対応する一次輻射ベクトルｆは、上記のとおり、ｘ，ｙ（Ｓ）ｆの２つの偏角のみからなる２次元ベクトルで表すことができる。ただし、上記のとおり、Ｍｆとｘ，ｙ（Ｓ）ｆとは、同一の位置を表すものとする。
【００７７】
続いて、この一次輻射ベクトルｆを、光路変換素子ｅの制御要素である光路変換関数により、所望の撮影像に対応する二次輻射ベクトルへ変換する。この二次輻射ベクトルに沿って、光路変換素子ｅの光路変換点から、二次映像光が出射される。
【００７８】
光路変換形式が、たとえば、鏡面反射である場合には、その反射面の法線方向を制御することにより、一次輻射ベクトルｆを、所望の二次輻射ベクトルｓへ変換する。このとき、同平面の法線ベクトルｎを用いて、光路変換関数ＲＭ（ｆ，ｎ）は、式（１）のとおり求めることができる。なお、法線ベクトルｎは、輻射ベクトルと同一次元で表すことができる。
【数１】
0005567424.tif 000002
【００７９】
［３．投影平面の定義］
ΣＭにおける光路変換平面Ｍでない平面のうち、任意の二次映像光の投影位置が、ｚ＞０となる空間に存在する条件を満たす平面を投影平面Ｐとする。
【００８０】
投影平面Ｐには、所望の２次元線形座標系ΣＰが導入される。２次元線形座標系ΣＰ上の任意の位置ベクトルを、Ｐｐと表す。ΣＭに対して、投影平面Ｐが不変であるとき、投影平面Ｐ上の同一位置を表すＭｐとＰｐとの間の一意な写像が存在する。
【００８１】
光路変換点Ｍｄより投影された、二次映像光の投影平面Ｐ上の投影位置がＭｐであるとする。このとき、対応する二次投影ベクトルは、投影位置Ｍｐと光路変換点Ｍｄとの差ベクトルＭｓ＝Ｍｐ−Ｍｄで表される。したがって、ある光路変換素子ｅの光路変換点に対応する適切な二次投影ベクトルＭｓが求められれば、投影平面Ｐ上の所望の投影位置に、光路変換素子ｅに対応する投影像が得られる。
【００８２】
［４．二次投影ベクトルの直線的性質］
同一空間上の２点ａ，ｂを通る直線上の点は、実係数ｎを用いて、式（２）のとおり、関数ｌ（ｎ，ｂ，ａ）で表すことができる。ただし、ａ＝ｂならば、ｌ（ｎ，ｂ，ａ）＝ａ＝ｂである。
【数２】
0005567424.tif 000003
【００８３】
この関数ｌ（ｎ，ｂ，ａ）により、上記ａ，ｂを通る直線は、式（３）のとおり関数Ｌ（ｂ，ａ）で表される。また、ａ，ｂを端点とする線分は式（４）のとおり、関数Ｓ（ｂ，ａ）で表される。
【数３】
0005567424.tif 000004
【数４】
0005567424.tif 000005
【００８４】
ここで、光路変換平面Ｍ上の２点Ｍｄ０，Ｍｄ１を通る直線Ｄ＝Ｌ（Ｍｄ１，Ｍｄ０）と、投影平面Ｐ上の２点Ｍｐ０，Ｍｐ１を通る直線Ｐ＝Ｌ（Ｍｐ１，Ｍｐ０）とを考える。
【００８５】
直線Ｄ上の点Ｍｄ＝ｌ（ｍ，Ｍｄ１，Ｍｄ０）と直線Ｐ上の点Ｍｐ＝ｌ（ｍ，Ｍｐ１，Ｍｐ０）とが一つの実係数ｍで対応付けられるとする。すると、ＭｄからＭｐへの差ベクトルは、式（５）のとおり求めることができる。
【数５】
0005567424.tif 000006
【００８６】
Ｍｐ−Ｍｄは、すなわち二次投影ベクトルＭｓである。よって、Ｍｓｋ＝Ｍｐｋ−Ｍｄｋとおけば、式（５）は、二次投影ベクトルを用いて、式（６）のとおり表すことができる。
【数６】
0005567424.tif 000007
【００８７】
したがって、式（５），（６）を満足するＭｄ，Ｍｐと二次投影ベクトルＭｓとは、一つの実係数ｍで対応付けられていることがわかる。そして、Ｍｓは、Ｍｓ０，Ｍｓ１を通る直線Ｌ（Ｍｓ１，Ｍｓ０）上の点であることがわかる。ただし、Ｍｓ０＝Ｍｓ１の場合には、直線Ｓは、唯一Ｍｓ＝Ｍｓ０＝Ｍｓ１なる点を示す。
【００８８】
［５．二次投影ベクトルの平面的性質］
さらに、図６に示すように、光路変換平面Ｍ上の四角形の４つの頂点Ｍｄｋ（ｋ＝０．．３）を光路変換点とする。このとき、二次投影ベクトルＭｓｋにより、投影平面Ｐ上の投影位置Ｍｐｋが、Ｍｄｋに対応する場合を考える。ただし、Ｍｐｋも、投影平面Ｐ上の四角形の頂点であるとする。
【００８９】
Ｍｄｋによる四角形の２つの対角線Ｄ２０，Ｄ３１を、式（７）とする。
【数７】
0005567424.tif 000008
【００９０】
このとき、対角線Ｄ２０，Ｄ３１同士の交点については、実係数ｎ２０，ｎ２１により、式（８）が成り立つ。
【数８】
0005567424.tif 000009
【００９１】
同様に、Ｍｐｋによる四角形の２つの対角線Ｐ２０，Ｐ３１を式（９）とする。
【数９】
0005567424.tif 000010
【００９２】
このとき、対角線Ｐ２０，Ｐ３１同士の交点について、式（１０）が成り立つものとする。なお、実係数ｎ２０，ｎ３１は、式（８）とそれぞれ同一とする。
【数１０】
0005567424.tif 000011
【００９３】
Ｍｄｋは、３次元ベクトルであるため、それら４点すべてが同一平面上に存在することにより、式（８）が成立している。Ｍｐｋと式（１０）の関係も同様である。対角線を直線に拡張して考えたとき、式（８）（１０）を２直線の交差条件と呼ぶ。交差する２直線は、同一平面上に乗る。
【００９４】
ここで、式（１０）から式（８）を引いて、式（１１）のとおり、二次投影ベクトルＭｓｋを用いてまとめる。
【数１１】
0005567424.tif 000012
【００９５】
式（１１）は、２直線の交差条件を満足するため、Ｍｓｋは、４点すべてが同一平面上に存在し、式（１２）の対角線Ｓ２０，Ｓ３１を有する四角形の頂点であることがわかる。また、式（１１）の実係数ｎ２０，ｎ３１も、同様に式（８）とそれぞれ同一であることがわかる。
【数１２】
0005567424.tif 000013
【００９６】
以上により、上記の条件を満たす４つの二次投影ベクトルＭｓｋは、一つの平面上で四角形の頂点を構成すると言える。この仮想的な平面を「二次投影平面」と呼ぶ。
【００９７】
（四角形を構成できない場合の対処）
ただし、特定の条件では、二次投影ベクトルＭｓｋが、四角形の頂点を構成できない場合が生じる。この場合には、それぞれ以下のように対処すればよい。
【００９８】
（ａ）Ｓ２０，Ｓ３１の少なくとも一方が点となる場合
対角線となるべきＳ２０，Ｓ３１の少なくとも一方が点となってしまう場合には、四角形を構成できない。その条件は、Ｍｓ３＝Ｍｓ１、Ｍｓ２＝Ｍｓ０若しくはＭｓ１＝Ｍｓ０となる場合である。
【００９９】
ただし、これはＭｄｋとＭｐｋとにより対応するいずれかの対角線長が等しく、かつ投影平面Ｐの姿勢が唯一の条件を満たす場合に限られる。このため、投影平面Ｐ若しくは光路変換平面Ｍの姿勢を変更すれば、容易に回避できる。
【０１００】
（ｂ）Ｓ２０，Ｓ３１が平行となる場合
対角線となるべきＳ２０，Ｓ３１が、平行となってしまう場合には、四角形を構成できない。その条件は、Ｍｓ３−Ｍｓ１とＭｓ２−Ｍｓ０の方向が同一となる場合である。
【０１０１】
ただし、この場合、Ｍｓｋは有限の長さを持ち、Ｍｓｋのいずれか３点を固定すれば、残る１点は直線的な自由度を持つ。このことから、かかる条件は、球面と直線との交点を求める問題に帰着できるので、高々２通りに限られる。このため、投影平面Ｐ若しくは光路変換平面Ｍの姿勢を変更すれば、容易に回避できる。
【０１０２】
［６．投影条件と投影結合］
上記の式（７）から式（１２）は、四角形の対角線を対象としている。しかし、当然に、投影平面Ｐおよび光路変換平面Ｍにおいて、それぞれの平面上を交差する任意の２直線に一般化して考えることもできる。
【０１０３】
ここで、図７に示すように、光路変換平面Ｍ上の任意の点Ｍｄを、上記の式（７）の四角形を用いて表現することを試みる。Ｄ２０，Ｄ３１から選択した２つの頂点を、それぞれＭｄｂ，Ｍｄａ（ａ，ｂ∈｛０．．３｝）とする。ただし、四角形の辺Ｓ（Ｍｄａ，Ｍｄｂ）上に、Ｍｄが乗らないように、Ｍｄａ，Ｍｄｂを選択する。
【０１０４】
直線Ｌ（Ｍｄ，Ｍｄａ）とＤ２０との交点について、式（１３）が成り立つとする。また、直線Ｌ（Ｍｄ，Ｍｄｂ）とＤ３１との交点について、式（１４）が成り立つとする。
【数１３】
0005567424.tif 000014
【数１４】
0005567424.tif 000015
【０１０５】
よって、Ｍｄは、直線Ｌ（ｌ（ｍ２０，Ｍｄ２，Ｍｄ０），Ｍｄａ）とＬ（ｌ（ｍ３１，Ｍｄ３，Ｍｄ１），Ｍｄｂ）との交点として、式（７）の四角形を用いて、式（１５）のとおり表現することができる。
【数１５】
0005567424.tif 000016
【０１０６】
同様に、投影平面Ｐ上の点Ｍｐを、式（９）の四角形を用いて表現する。Ｐ２０，Ｐ３１から選択した頂点を、それぞれＭｐｂ，Ｍｐａとする。ただし、添字は、それぞれＭｄｂ，Ｍｄａと同一とする。
【０１０７】
直線Ｌ（Ｍｐ，Ｍｐａ）とＰ２０との交点について、式（１６）が成り立つとする。また、直線Ｌ（Ｍｐ，Ｍｐｂ）とＰ３１との交点について、式（１７）が成り立つとする。ただし、実係数ｍ２０，ｍ３１，ｍａ，ｍｂが、式（１３），（１４）とそれぞれ同一となるように、Ｍｐが選ばれるものとする。
【０１０８】
【数１６】
0005567424.tif 000017
【数１７】
0005567424.tif 000018
【０１０９】
よって、Ｍｐは、直線Ｌ（l（ｍ２０，Ｍｐ２，Ｍｐ０），Ｍｐａ）とＬ（l（ｍ３１，Ｍｐ３，Ｍｐ１），Ｍｐｂ）との交点として、式（１８）のとおり表現することができる。
【数１８】
0005567424.tif 000019
【０１１０】
このとき、二次投影ベクトルの直線的性質および平面的性質から、式（１９）が成り立つ二次投影平面上の点Ｍｓが存在することがわかる。式（１２）の四角形の存在も同様である。ただし、Ｍｓｂ，Ｍｓａは、それぞれＳ２０，Ｓ３１から選択した頂点であり、添字はＭｄｂ，Ｍｄａと同一である。また、実係数ｍ２０，ｍ３１，ｍａ，ｍｂは、式（１３），（１４）とそれぞれ同一である。
【数１９】
0005567424.tif 000020
【０１１１】
このような対応関係は、二次投影ベクトルの定義Ｍｓ＝Ｍｐ−Ｍｄそのものである。よって、上記に限らず、Ｍｄ，Ｍｐ，Ｍｓのうち、２点が決まれば、残りの１点を求めることができる。
【０１１２】
すなわち、光路変換平面Ｍ上の四角形領域および任意の光路変換点Ｍｄと、これらに対応する投影平面Ｐ上の四角形領域および投影位置Ｍｐとの間に、上記のとおり、二次投影ベクトルの直線的性質および平面的性質が言えるとする。すると、仮想的な二次投影平面上に、それらと相互に対応する四角形領域および二次投影ベクトルＭｓが存在する。
【０１１３】
この条件を「投影条件」と呼ぶ。また、上記の四角形領域を「正規投影領域」と呼ぶ。さらに、相互に対応する上記の３つの平面（光路変換平面Ｍ、投影平面Ｐ、二次投影平面）上の点の組｛Ｍｄ，Ｍｐ，Ｍｓ｝の関係を、「投影結合」と呼ぶ。つまり、「投影結合」とは、光路変換平面Ｍと投影平面Ｐとの間で、相互に対応する２点に対して、それらの平面上で相互に対応する２つの四角形により関係付けられる線形結合を表す関係をいう。そして、「二次投影平面」は、光路変換平面Ｍと投影平面Ｐとの間で、上記の投影結合の関係にある点を有する仮想的な平面である。本発明における投影は、すべてこの投影条件を満たすものとする。
【０１１４】
［７．二次投影ベクトルの同定］
よって、投影条件を満足する投影においては、投影結合の関係を用いることにより、任意の光路変換点と、それに対応する投影平面上の投影位置との関係を効率よく求めることができる。
【０１１５】
すなわち、正規投影領域を定めて、同領域と所望の光路変換点との位置関係を求めれば、対応する二次投影ベクトルを求めることができる。このとき、投影に必要なすべての二次投影ベクトルを、設計や測量などの手段を用いて特定する必要がない。
【０１１６】
ただし、正規投影領域を定めることは、同領域の頂点である４つの二次投影ベクトルＭｓｋを特定することに他ならない。すべての二次投影ベクトルを特定する必要はないが、少なくともこれら４つの二次投影ベクトルを特定しなければならない。
【０１１７】
この特定には、投影装置４００に導入されたΣＭにおける投影平面Ｐの位置姿勢および所望の４つの投影位置Ｍｐｋに関する情報が必要となる。投影装置４００および投影平面Ｐの位置姿勢が固定されていて、それらの情報が既知であるならば、それらの情報から二次投影ベクトルを特定することができる。
【０１１８】
しかし、投影システム１００は可搬として、所望の場所に自由に設置して、容易に投影動作を行えることが望ましい。この場合、上記の情報をあらかじめ知っておくことはできない。ただし、投影動作の利便性を考慮するならば、投影装置４００および投影平面Ｐの制約とその正確な設計、投影装置４００および投影平面Ｐの配置とそのための測量などは、極力排除することが便利である。
【０１１９】
［８．投影結合の二次元化」
この問題を解決するために、光路変換平面Ｍ、投影平面Ｐおよび二次投影平面間の投影結合における、二次元的な対応関係に着目する。
【０１２０】
投影平面Ｐ上のΣｐと同様に、二次投影平面には、二次元線形座標系ΣＳが導入され、任意の位置ベクトルはＳｐと表されるものとする。また、光路変換平面Ｍには、Σｘ，ｙ（Ｃ）が正射影された２次元直交座標系Σｘ，ｙが導入される。そして、任意の位置ベクトルは、ｘ，ｙｐと表されるものとする。投影平面Ｐが、ΣＭに対して不変であるならば、各平面上の任意の位置ベクトルＭｐには、それぞれ一意に対応する位置ベクトルｘ，ｙｐ，Ｐｐ，Ｓｐが存在する。
【０１２１】
また、投影条件のいずれの平面とも、法線同士が直交しない平面を考える。その平面へ投影条件で用いられた正規投影領域や直線を正射影した場合、線形写像となる。このため、その二次元的な正射影像においても、また投影条件が成り立つことは明白である。さらに、これらの平面間の正射影は、全単射である。
【０１２２】
すなわち、投影条件の式（１３）から式（１９）までの位置ベクトルを、それぞれの平面上に導入された二次元線形座標系において、相互に対応する位置ベクトルに置き換えて考えることができる。
【０１２３】
［９．仮想投影平面の導入］
さらに、本実施形態においては、図８に示すように、ΣＭにおけるｚ＝１となる仮想的な平面Ｖを導入する。この平面Ｖは、Σｘ，ｙ（Ｃ）における平面ｚ＝１でもある。なお、ｚ＝１としたのは、本発明をこれに限定する趣旨ではなく、後述する相互変換コストが最小となることを理由とする。一般形は、ｚ＝ｋ（ｋ＞０）である。
【０１２４】
Σｘ，ｙ（Ｓ）における任意の二次輻射ベクトルｓに沿って、二次映像光が投影平面Ｐ上のＭｐに投影されたときを考える。このとき、Σｘ，ｙ（Ｃ）の原点である光路変換点ＭｄとＭｐを結ぶ線分は、平面Ｖと唯一Ｍｖで交わる。
【０１２５】
このＭｐとＭｖとの関係は、Σｘ，ｙ（Ｓ）の原点Ｍｄを介した投影平面Ｐと平面Ｖとの相互的な中心射影変換を意味する。この平面Ｖを「仮想投影平面」と呼ぶ。
【０１２６】
仮想投影平面Ｖには、二次元直交座標系ΣＶが導入される。ΣＶ上での任意の位置ベクトルは、Ｖｐで表されるものとする。ΣＶは、対応するΣｘ，ｙ（Ｃ）を，仮想投影平面Ｖへ正射影した座標系とする。よって、投影平面Ｐ上のｘ，ｙ（Ｃ）ｐ＝（ｕ，ｖ，ｋ）Ｔに対応するｖｐ＝（ｕ，ｖ）Ｔが存在する（本例では、ｋ＝１）。
【０１２７】
以上のことから、二次輻射ベクトルｓについて、仮想投影平面Ｖ上のΣｖにおける仮想投影平面Ｖ上の投影位置Ｖｓが、一意に対応付けられることがわかる。よって、ΣＭに対して、所定の位置に固定されている仮想投影平面Ｖにおいて、投影位置Ｖｓは、二次輻射ベクトルｓの別形式の表現と言える。このＶｓを、「仮想二次投影ベクトル」と呼ぶ。
【０１２８】
ｓ＝（θ，φ）Ｔ，Ｖｓ＝（ｘ，ｙ）Ｔとしたとき、ｓとＶｓとの関係は式（２０），（２１）のとおり表される。
なお、上記から、「仮想投影平面」は、次のような平面である。
・任意の光路変換点を介して、投影平面との間で中心射影変換が可能
・ΣＭの原点を介して、二次投影平面との間で中心射影変換が可能
さらに、以下の式（２０），（２１）のごとく、二次輻射ベクトルと仮想二次投影ベクトルとの相互変換コストが小さいことが望ましいと言える（本例では、ｋ＝１としていることにより、相互変換コストが最小となる）。
【数２０】
0005567424.tif 000021
【数２１】
0005567424.tif 000022
【０１２９】
上記の中心射影変換においては、投影平面Ｐの法線と仮想投影平面Ｖ（光路変換平面Ｍ）の法線とが一致しているときに限り、両平面の位置姿勢に関する情報を用いることなく、適切な線形変換により、投影平面Ｐ上の点Ｍｐと仮想投影平面Ｖ上の点Ｖｓとの相互変換ができる。しかし、多くの場合には、両平面の法線は一致しないため、非線形変換となってしまう。このため、従来の手法においては、点Ｖｐと点Ｖｓとを相互変換させるには、両平面の位置姿勢に関する情報が必要となっていた。また、かかる情報がない場合には、線形変換による近似解を求めるにとどまっていた。
【０１３０】
この問題を解決するために、本実施形態においては、新たな中心射影変換の同定方法を用いる。このために、「交点関数」および「透視関数」と呼ぶ２つの重要な関数を導入する。
【０１３１】
［１０．交点関数の導入］
まず、交点関数について述べる。すなわち、ある二次元線形座標系上で、平行でない２つの直線Ｓ，Ｔを考える。両直線Ｓ，Ｔが、式（２２）のとおり表されるものとする。そして、両直線の交点が、式（２３）のとおりに表されるとする。
【数２２】
0005567424.tif 000023
【数２３】
0005567424.tif 000024
【０１３２】
このとき、実係数ｓ，ｔは、Ｉ（Ｓ，Ｔ）なる関数により、式（２４）のとおり求めることができる。
【数２４】
0005567424.tif 000025
ただし、ｄｅｔ［ａ  ｂ］は、ａ，ｂを小行列とする行列の行列式を表す。
【０１３３】
このベクトル関数Ｉ（Ｓ，Ｔ）を、「交点関数」と呼ぶ。また、Ｉ（Ｓ，Ｔ）により求められた解ベクトル（ｓ，ｔ）Ｔを、交点係数ベクトルと呼ぶ。
【０１３４】
［１１．透視関数の導入］
続いて、ΣＭにおいて、異なる２直線間のΣＭの原点を介する中心射影変換を考える。ただし、いずれの直線も、ΣＭの原点を通らないものとする。
【０１３５】
この中心射影変換により、直線Ｌ（ｕ１，ｕ０）上の２点ｕ０, ｕ１が、直線Ｌ（ｖ１，ｖ０）上の２点ｖ０, ｖ１へ射影されるとする。このとき、Ｌ（ｕ１，ｕ０）上の点ｕ（Ｍ）＝ｌ（Ｍ，ｕ１，ｕ０）が、Ｌ（ｖ１，ｖ０）上の点ｖ（ＭI）＝ｌ（ＭＩ，ｖ１，ｖ０）へ射影されるとする。すなわち、Ｍ，ＭＩは既知である。
【０１３６】
さらに、既知のＮによるＬ（ｕ１，ｕ０）上の点ｕ（Ｎ）が、同様にＬ（ｖ１，ｖ０）上の点ｖ（ｎＩ）へ射影されるとする。このとき、ｖ（ｎＩ）を一意に決定するｎＩは、Ｐ（Ｍ，ＭＩ，Ｎ）なる関数により、既知の実係数Ｍ，ＭＩ，Ｎのみを用いて、式（２５）のとおり求めることができる。
【数２５】
0005567424.tif 000026
【０１３７】
この式（２５）の証明は、後述する。この関数Ｐ（Ｍ，ＭＩ，Ｎ）を「透視関数」と呼ぶ。
【０１３８】
［１２．平面間の中心射影変換］
この透視関数Ｐ（Ｍ，ＭＩ，Ｎ）により２つの直線上で対応する任意の点同士の中心射影変換を同定できた。これを拡張して、２つの平面の間で対応する点の中心射影変換を考える。たとえば、二次投影平面Ｓと仮想投影平面Ｖとの間で、対応する任意の点同士のΣＭの原点を介した中心射影変換を同定する。この場合、二次投影ベクトルが未知である。この問題を解決するためには、次の４つのプロセスを実行すればよい。
【０１３９】
［１２−１．第１のプロセス］
図９に示すように、平面Ｓ上の任意の四角形ＳＲを考える。四角形ＳＲは、頂点Ｓｖｎ（ｎ＝０．．３）を有している。２つの対角線ＳＤ２０，ＳＤ３１が、式（２６）で表されるとする。このとき、両対角線の交点に関する交点係数ベクトルは、上記の交点関数により、式（２７）のとおり求めることができる。
【数２６】
0005567424.tif 000027
【数２７】
0005567424.tif 000028
【０１４０】
ここで、上記の中心射影変換により、四角形ＳＲが、仮想投影平面Ｖ上の四角形ＶＲへ射影されたと考える。ＶＲの頂点を、Ｖｖｎ（ｎ＝０．．３）とすれば（すなわち、ＳｖｎがＶｖｎへ射影されたとすれば）、その２つの対角線ＳＤ２０,ＳＤ３１は、式（２８）となる。このとき、両対角線同士の交点に関する交点係数ベクトルは、上記の交点関数により、式（２９）のとおり求めることができる。
【数２８】
0005567424.tif 000029
【数２９】
0005567424.tif 000030
【０１４１】
［１２−２．第２のプロセス］
次に、図１０に示すとおり、二次投影平面Ｓ上の任意の点Ｓｐを導入する。この点Ｓｐと対角線ＳＤ３１のいずれかの端点Ｓｖａとを通る線分ＳＳａが式（３０）で表される。この線分ＳＳａと対角線ＳＤ２０との交点Ｓｃ２０に関する交点係数ベクトルが、式（３１）のとおり求まるとする。
【数３０】
0005567424.tif 000031
【数３１】
0005567424.tif 000032
【０１４２】
なお、Ｓｖａは、次のような基準で選択する。すなわち、線分ＳＳａが、その線分上で対角線ＳＤ２０と交点を結ぶように、Ｓｖａとして、Ｓｖ１またはＳｖ３を選択する。もし、ＳｐがＳＤ３１上にある場合は、Ｓｖ１，Ｓｖ３のどちらを選択してもよい。ただし、ＳｐがＳｖ１上にある場合はＳｖ３を選択する。一方、ＳｐがＳｖ３上にある場合は、Ｓｖ１を選択する。
【０１４３】
同様に、点Ｓｐと対角線ＳＤ２０のいずれかの端点Ｓｖｂとを通る線分ＳＳｂが式（３２）で表される。この線分ＳＳｂと対角線ＳＤ３１との交点Ｓｃ３１に関する交点係数ベクトルが、式（３３）のとおり求まるとする。
【数３２】
0005567424.tif 000033
【数３３】
0005567424.tif 000034
【０１４４】
なお、Ｓｖｂは、次のような基準で選択する。すなわち、線分ＳＳｂが、その線分上で対角線ＳＤ３１と交点を結ぶように、Ｓｖｂとして、Ｓｖ０またはＳｖ２を選択する。もし、ＳｐがＳＤ２０上にある場合は、Ｓｖ０，Ｓｖ２のどちらを選択してもよい。ただし、ＳｐがＳｖ０上にある場合は、Ｓｖ２を選択する。一方、ＳｐがＳｖ２上にある場合は、Ｓｖ０を選択する。
【０１４５】
［１２−３．第３のプロセス］
図１１に示すとおり、上記の中心射影変換により、二次投影平面Ｓ上の点Ｓｃ２０が、仮想投影平面Ｖにおける対角線ＶＤ２０上の点Ｖｃ２０へ射影されたときを考える。このとき、射影された点Ｖｃ２０は、前プロセスまでに求めておいた係数Ｓｍ２０, Ｖｍ２０，Ｓｎ２０により、上記の透視関数を用いて、式（３４）のとおり求めることができる。
【０１４６】
【数３４】
0005567424.tif 000035
【０１４７】
同様に、二次投影平面Ｓ上の点Ｓｃ３１が、仮想投影平面Ｖにおける対角線ＶＤ３１上の点Ｖｃ３１へ射影されたときを考える。このとき、射影された点Ｖｃ３１は、前プロセスまでに求めておいた係数Ｓｍ３１，Ｖｍ３１，Ｓｎ３１により、上記の透視関数を用いて、式（３５）のとおり求めることができる。
【数３５】
0005567424.tif 000036
【０１４８】
［１２−４．第４のプロセス］
図１２に示すとおり、二次投影平面Ｓ上の線分ＳＳａ，ＳＳｂの端点Ｓｖａ，Ｓｖｂが、上記の中心射影変換により、それぞれ仮想投影平面Ｖ上の点Ｖｖａ，Ｖｖｂへ射影されたとする。同じく、線分ＳＳａ，ＳＳｂが、式（３６）の直線ＶＬａ，ＶＬｂ上へそれぞれ射影されたとする。このとき、ＶＬａとＶＬｂとの交点Ｖｐに関する交点係数ベクトルは、式（３７）のとおり求めることができる。
【０１４９】
【数３６】
0005567424.tif 000037
【数３７】
0005567424.tif 000038
【０１５０】
これにより、平面Ｓ上の任意の点Ｓｐが、上記の中心射影変換によって射影された平面Ｖ上の点Ｖｐは、式（３８）のとおり表される。
【数３８】
0005567424.tif 000039
【０１５１】
上記のプロセスによって、問題の中心射影変換を同定することができた。これは、２つの平面Ｓ，Ｖの三次元的な位置姿勢によらず、両平面Ｓ，Ｖ上の対応する既知の四角形に関する情報のみを用いている。すなわち、既知の四角形を正規投影領域とし、ある投影環境下における任意の二次投影ベクトルによる投影位置について、二次投影平面Ｓと仮想投影平面Ｖとの間のΣＭの原点を介した中心射影変換を考える。かかる中心射影変換により、位置姿勢の制約や二次投影ベクトルを同定するための正確な設計および測量などは無くても、上記第１〜４のプロセスを実行することで、一方の平面上の投影位置が決定すれば、他方の平面上の投影位置を求められることがわかる。上記のプロセスを、「透視プロセス」と呼ぶ。
【０１５２】
［１３．キャリブレーション］
透視プロセスにおいて、式(３４），（３５）で用いられる６種類の実係数は、本システムの運用に先立って、一度だけ求めておけばよい。若しくは、運用中に何らかの理由で投影装置４００の位置姿勢など投影環境が変化した際に、一度だけ求め直せばよい。なお、実係数Ｓｎ２０，Ｓｎ３１については、投影に関与するすべての光路変換素子ｅについて、それぞれ求める。それ以外の実係数については、正規投影領域の４つの頂点に対応する光路変換素子ｅについて求める。
【０１５３】
すなわち、これらの実係数は、運用前のキャリブレーションにより得られる係数である。これらの係数に関係する透視プロセスにおいて、光路変換平面Ｍおよび投影平面Ｐ（二次投影平面Ｓ）上の正規投影領域を、「校正枠」と呼ぶ。また、仮想投影平面Ｖ上の正規投影領域を、「射影校正枠」と呼ぶ。さらに、このキャリブレーションにより得られた６種類の実係数を「校正値」と呼ぶ。本システムのキャリブレーションにおいては、さらに、以下に述べるように、校正値を用いて、透視プロセスにより仮想二次投影ベクトルを求め、この仮想二次投影ベクトルから二次輻射ベクトルを求める。
【０１５４】
［１４．二次輻射ベクトルによる投影］
以上を踏まえて、二次投影ベクトルを求めることなく、所望の投影像を得るために、二次投影ベクトルの方向成分のみからなり、光路変換素子ｅが直接制御可能な二次輻射ベクトルに着目する。
【０１５５】
４つの光路変換素子ｅに対応する光路変換点Ｍｄｋ（ｋ＝０．．３）と、それぞれに対応する投影平面Ｐ上の投影位置Ｍｐｋとが、それぞれ正規投影領域を構成し、所望の投影条件を満足しているものとする。
【０１５６】
ただし、ΣＭにおけるＭｐｋを正確に知る必要はない。投影平面ＰをΣＭに対して不変として、投影平面Ｐ上で一意に対応するＰｐｋにより、正規投影領域を特定できればよい。
【０１５７】
光路変換平面Ｍ上の一次投影像と投影平面Ｐ上の二次投影像とが、相似なる必要がある場合には、上記条件に加えて、両正規投影領域の対角線同士のなす角が同一であるとする。
【０１５８】
Ｍｄｋに対応する光路変換素子での二次輻射ベクトルｓｋを制御し、Ｍｐｋへ二次映像光を投影する。このときのＭｄｋ，Ｍｐｋと投影結合の関係にある二次投影ベクトルをＭｓｋとすれば、ｓｋはＭｓｋと一意に対応する。
【０１５９】
ここで、Ｍｓｋが乗る二次投影平面Ｓと仮想投影平面ＶとのΣＭの原点を介した中心射影変換を、透視プロセスにより実現する。このとき、Ｍｓｋは、二次投影平面Ｓ上のＳｓｋに対応し、ｓｋは、仮想投影平面Ｖ上のＶｓｋに対応するものとする。
【０１６０】
任意の光路変換素子ｅに対応する投影平面Ｐ上の所望の投影位置Ｐｓと二次元的に投影結合の関係にある二次投影平面Ｓ上のＳｓを考える。このとき、上記の透視プロセスによって、このＳｓと一意に対応する仮想投影平面Ｖ上の投影位置である仮想二次投影ベクトルＶｓが求まる。ゆえにＶｓは、Ｐｓと一意に対応する。
【０１６１】
つづいて、求められたＶｓから、式（２１）により、二次輻射ベクトルｓを求める。このｓは、所望の投影位置Ｐｓに対応する光路変換素子ｅにおける二次輻射ベクトルである。上記のとおり、投影平面Ｐは、ΣＭに対して不変である。このため、Ｐｓと一意に対応する投影平面Ｐ上のＭｐおよび二次投影平面Ｓ上のＭｓが存在する。すなわち、正確に二次投影ベクトルを求めることなく二次輻射ベクトルの制御のみで、所望の投影を実現できた。また、ここまでのプロセスが、上記のキャリブレーションに相当する。
【０１６２】
投影装置４００の構成要素である映像光源４１０と光路変換平面Ｍおよび光路変換素子ｅとの間の位置姿勢は、設計により既知である。このため、任意の一次投影ベクトルならびに一次輻射ベクトルｆも既知である。すでに、注目すべき光路変換素子ｅに対応する所望の投影像を得るための二次輻射ベクトルｓは求まっている。よって、同光路変換素子ｅに対応する一次輻射ベクトルｆとすれば、光路変換素子ｅの既知の特性から、ｆをｓへ変換する制御要素である光路変換関数を求めればよい。
【０１６３】
例えば、光路変換形式が鏡面反射である場合は、式（１）が満足するように、光路変換素子ｅの反射法線ベクトルｎを求めて、該当する鏡面の姿勢を制御すればよいことになる。以上が、本発明における投影システム１００の投影動作原理である。
【０１６４】
［１５．式(２５)の証明］
任意の三次元直交座標系ΣＣにおいて、その原点ＣＯを通らない任意の平面を、式（３９）のとおり、関数Ｆ（ｎ，ｄ）で表す。ただし、ｎは平面の法線ベクトルであり、ｎ・ｐはｎとｐとの内積を表す。
【数３９】
0005567424.tif 000040
【０１６５】
このとき、ΣＣの原点ＣＯを介した任意の直線Ｌ（ｕ１，ｕ０）から平面Ｆ（ｎ，ｄ）への中心射影変換を考える。ただし、同直線は直線Ｌ（ｎ，ＣＯ）と一致しないものとする。また、ｕ０，ｕ１ともにｎと直交せず、ＣＯではないものとする。さらに、ｎと直交するＬ（ｕ１，ｕ０）上の点は対象としない。
【０１６６】
Ｌ（ｕ１，ｕ０）上の任意の点ｕは、この中心射影変換により、式（４０）のとおり、Ｆ（ｎ，ｄ）上の点ｖへ射影される。式（４０）は、直線L（ｕ，ＣＯ）とＦ（ｎ，ｄ）との交点として求められる。
【数４０】
0005567424.tif 000041
【０１６７】
ここで、この中心射影変換によりｕ０，ｕ１がそれぞれｖ０，ｖ１へ射影されるとき、Ｌ（ｕ１，ｕ０）上の点ｕ（Ｍ）＝ｌ（Ｍ，ｕ１，ｕ０）が直線Ｌ（ｖ１，ｖ０）上の点ｖ（ＭＩ）＝ｌ（ＭＩ，ｖ１，ｖ０）へ射影されることが既知であるとする。すなわち、Ｍ，ＭＩが既知である。
【０１６８】
この関係を式（４０）に代入し、式（４１）のとおりまとめる。
【数４１】
0005567424.tif 000042
【０１６９】
これにより、ＭとＭＩとの間に、式（４２）の関係が言える。
【数４２】
0005567424.tif 000043
【０１７０】
同様に、既知のＮによるｕ（Ｎ）が、この中心射影変換によりｖ（ｎＩ）へ射影されるならば、式（４３）が言える。
【数４３】
0005567424.tif 000044
【０１７１】
この中心射影変換を同定するにあたり、対象とする平面や直線の位置姿勢に関する情報を排除したい。このため、式（４２）を、ｎ・ｕ０について整理すると、式（４４）を得る。
【数４４】
0005567424.tif 000045
【０１７２】
式（４４）を式（４３）へ代入し、整理すれば、式（４５）が得られる。
【数４５】
0005567424.tif 000046
【０１７３】
［Ｄ．実施形態の作用］
本システムの動作手順の詳細を、図１３のフローチャートを参照して説明する。本システムの動作は、主として、１．初期設定、２．キャリブレーション、３．キャリブレーション要求判定、４．映像ベクトル取得、５．光路変換関数更新要求判定、６．光路変換関数更新、７．投影動作等の手順を含んでいる。
【０１７４】
本システム運用の前提として、すべての光路変換素子ｅに対応する一次輻射ベクトルｆは、投影装置４００の設計もしくは製造検査の過程により既知であり、投影装置４００内部に記憶されているものとする。映像光源４１０が複数である場合は、各映像光源４１０に対応する一次輻射ベクトルｆは、区別して記憶されるものとする。
【０１７５】
さらに、光路変換平面Ｍおよび投影平面Ｐ上の正規投影領域（校正枠）は既知であり、それらは投影条件を満足するものとする。なお、校正枠の形状は、一般的な映像と同様の矩形として説明を進める。ただし、原理的には、校正枠は、矩形に限定されず四角形であれば自由に構成できる。
【０１７６】
また、ここでは、投影装置４００の光路変換形式として、例えば、鏡面反射を採用する。すなわち、式（１）の通り、既知の一次輻射ベクトルｆにより、二次輻射ベクトルｓが定まれば反射法線ベクトルｎが求まり、反射法線ベクトルｎが定まれば二次輻射ベクトルｓが求まる形態である。
【０１７７】
［１．初期設定…ステップ１００１］
まず、操作者Ａは、本システムを投影環境下に設置する。たとえば、あらかじめ設置された投影平面Ｐの前方に、投影装置４００を配置する。映像情報出力装置３００等は任意の場所に配置する。つまり、この設置作業においては、投影平面Ｐおよび投影装置４００を、全光路変換素子ｅの二次輻射ベクトルｓの設定範囲内で、二次映像光が、投影平面Ｐの投影対象領域全域を投影可能となるように設置すればよい。
【０１７８】
そして、映像情報出力装置３００を投影装置４００に接続する。これにより、映像情報出力装置３００からの映像ベクトルを含む投影情報が、投影装置４００に与えられるようにする。操作者Ａは、映像情報出力装置３００に接続された入力手段を操作することにより、所望の情報を入力することができる。
【０１７９】
［２．キャリブレーション…ステップ１００２〜１００５］
キャリブレーションは、校正枠設定部４３２ａによる校正枠の設定（ステップ１００３）、射影校正枠設定部４３２ｂによる射影校正枠の設定（ステップ１００４）、校正値演算部４３２ｃによる校正値の算出（ステップ１００５）、交点演算部４３２ｄ、透視演算部４３２ｅおよび仮想投影位置演算部４３２ｆによる仮想二次投影ベクトルの算出（１００６）および輻射ベクトル演算部による二次輻射ベクトルの算出（１００７）を行う処理である。校正枠および射影校正枠は、上記のように、投影システム１００において、中心射影変換を同定するために必要となる。したがって、キャリブレーションは、設置された投影システム１００の運用に先立って若しくはキャリブレーション要求の入力があった場合に行われる。
【０１８０】
キャリブレーションは、上記の動作原理のとおり実行される。このとき、プログラムがキャリブレーション状態に遷移し、投影平面Ｐおよび映像情報出力装置３００におけるディスプレイには、キャリブレーション画面が表示される。
【０１８１】
［２−１．校正枠の設定…ステップ１００３］
キャリブレーションは、校正枠の設定から開始する。この際、校正枠の４つの頂点に対応する光変換素子ｅのそれぞれにおいて、上記の頂点位置に投影する二次輻射ベクトルｓを求める。
【０１８２】
これには、あらかじめ設定（メモリ等の記憶部に記憶）された投影位置（投影領域である校正枠の４頂点）に、それぞれ対応する光路変換素子ｅからの二次映像光が投影されるように、それらの光路変換ベクトルを制御する。このとき、映像光源４１０から一次映像光を投影し、上記４つの光路変換素子ｅからの二次映像光が容易に識別できるように、映像光若しくはその他の光路変換素子ｅを制御する。
【０１８３】
たとえば、図１４に示すように、投影平面上のΣＰにおいて、校正枠の４頂点を（Ｘ０±Ｘ，Ｙ０±Ｙ）Ｔに定める。操作者Ａは、各頂点と投影結合の関係にある光路変換素子ｅの反射法線ベクトルｎを順次制御することにより、各々の光路変換素子ｅからの二次映像光を、対応する投影平面Ｐ上の校正枠頂点位置へ投影させる。このとき、校正枠設定部４３２ａは、制御された反射法線ベクトルｎより、式（１）を用いて、二次輻射ベクトルｓを求め、校正枠の各頂点に対応付けて記憶する。
【０１８４】
操作者Ａによる投影機構４２０の操作方法には、次のいずれかの方法がある。
(a)映像情報出力装置３００の入力手段から、投影機構４２０を制御する情報を入力することにより、映像情報出力装置３００経由で反射法線ベクトルｎを制御する。
(b)投影装置４００のユーザインタフェース４７０から、投影機構４２０を制御する情報を入力し、反射法線ベクトルｎを制御する。
【０１８５】
これらの方法は、投影平面Ｐ上の４点（たとえば、画像表示領域の４隅、画像表示領域に表された４箇所の識別マーク等）に、二次投影光を順次投影していくことで、キャリブレーションを進めることができる。なお、投影平面Ｐに投影された上記４つの二次映像光が、それぞれ校正枠のどの頂点に対応するかについて、正しく決定できなければならない。誤った対応付けは、予想外の投影を招く。これを解決するため、上記の二次映像光を頂点別に色分けすることにより対応付ける方法が考えられる。上記二次映像光に付随した頂点識別映像の投影などの対処が挙げられる。
【０１８６】
［２−２．射影校正枠の設定…ステップ１００４］
射影校正枠設定部４３２ｂは、上記のように、４つの光路変換素子ｅに対応付けられた４つの二次輻射ベクトルｓ０〜ｓ３から、式（２０）により、仮想投影平面Ｖ上の対応する４つの仮想二次投影ベクトルＶｓ０〜Ｖｓ３を求める。そして、これらの４つの仮想二次投影ベクトルを、射影校正枠の各頂点に対応付ける。
【０１８７】
［２−３．校正値の算出…ステップ１００５］
校正値演算部４３２ｃは、各校正値を求める。つまり、上記のように設定された校正枠および射影校正枠に基づいて、式（２６）〜（２９）により、正規投影領域に関する校正値を求める。さらに、前記校正値に基づいて、式（３０）〜式（３５）により、投影に関するすべての光路変換素子ｅにおける投影結合に関する校正値を求める。
【０１８８】
［２−４．仮想二次投影ベクトルの算出…ステップ１００６］
交点演算部４３２ｄ、透視演算部４３２ｅ及び仮想投影位置演算部４３２ｆは、上記により求められたすべての光路変換素子ｅに対応する校正値に基づいて、式（３６）〜式（３８）により、仮想二次投影ベクトルＶｓをそれぞれ求める。
【０１８９】
［２−５．二次輻射ベクトルの算出…ステップ１００７］
輻射ベクトル演算部４３２ｇは、上記により求められたすべての光路変換素子ｅに対応する仮想二次投影ベクトルＶｓに基づいて、式（２１）により、二次輻射ベクトルｓをそれぞれ求める。これにより、キャリブレーションが完了する。ただし、迅速に投影動作を開始するために、この時点で、後述する光路変換関数更新制御を行ってもよい。
【０１９０】
［３．キャリブレーション要求判定…ステップ１００８］
要求判定部４３１は、キャリブレーション要求イベントの有無を判定して、キャリブレーション部４３２のフロー制御を行う。たとえば、投影装置４００と投影平面Ｐとの相対的な位置姿勢など、投影環境が運用中に変化してしまった場合に、二次輻射ベクトルｓの更新が必要になる。
【０１９１】
このとき、操作者Ａが、映像情報出力装置３００の入力手段若しくはユーザインタフェース４７０を介して、キャリブレーション要求イベントを入力する。要求判定部４３１は、入力されたキャリブレーション要求イベントを検出した場合、キャリブレーション部４３２にキャリブレーションを開始させる。
【０１９２】
［４．映像ベクトル取得…ステップ１００９］
映像情報出力装置３００は、所望の動画などの映像を投影するための映像ベクトルの集合（映像ベクトル系列）を、投影装置４００へ逐次出力する。投影装置４００における要求判定部４３１は、映像ベクトルの取得により、投影要求があったと判定して、光路変換ベクトル更新若しくは投影動作のための演算処理を開始させる。このとき、要求判定部４３１は、映像ベクトル系列における各映像ベクトルを順次取得し、各映像ベクトルの時刻要素に関連するタイミングで、後段のステップへ出力してもよい。
【０１９３】
また、映像ベクトル系列は、メモリ等に設定された映像記憶領域に、一時的に記憶してもよい。この際、要求判定部４３１は、記憶した映像ベクトル系列から、各映像ベクトルの時刻要素に従って、現在投影すべき映像ベクトルを取得し、後段のステップへ出力してもよい。
【０１９４】
［５．光路変換関数更新要求判定…ステップ１０１０］
要求判定部４３１は、光路変換関数更新要求イベントの有無を判定する。この判定結果に応じて、光路変換関数演算部４３３が、フロー制御を行う。たとえば、投影装置４００が、複数の映像光源４１０を有し、所望のタイミングでいずれかの映像光源４１０を選択して投影動作を切り替えるなど、一次輻射ベクトルｆが運用中に変化する場合に光路変換関数の更新が必要になる。なお、投影装置４００の設置時などの初期の光路変換関数の算出も、この更新要求に応じて行われる。ただし、上記のように、二次輻射ベクトルｓの算出時に、光路変換関数の算出を行ってもよい。
【０１９５】
このとき、映像情報出力装置３００からの映像ベクトルに従属した映像情報を介して、または操作者Ａが映像情報出力装置３００の入力手段若しくはユーザインタフェースを介して、光路変換関数更新要求イベントを入力する。要求判定部４３１は入力された光路変換関数更新要求イベントを検出した場合、光路変換関数演算部４３３に光路変換状態の更新を開始させる。
【０１９６】
［６．光路変換関数演算・更新…ステップ１０１１，１０１２］
光路変換関数演算部４３３は指定された映像光源に対応する一次輻射ベクトルｆとキャリブレーション部４３２にて求められた二次輻射ベクトルｓとにより、すべての光路変換素子ｅにおける光路変換関数を求める。
【０１９７】
たとえば、光路変換形式が鏡面反射である場合は、式（１）のとおり、光路変換関数を求めて、投影機構４２０に光路変換素子ｅの投影方向制御軸を制御させる。
【０１９８】
なお、迅速に指定された光路変換動作を行うため、上記のように、キャリブレーション時に投影装置が有するすべての映像光源についての光路変換関数を求めて記憶しておき、光路変換関数更新時に、該当するすべての記憶された光路変換関数を引き当ててもよい。
【０１９９】
求められたすべての光路変換関数を入力した投影機構４２０においては、光路制御部４２２が、それらに対応する光路変換素子ｅの投影方向制御軸を制御し、所望の投影動作に備える。
【０２００】
［７．投影動作…ステップ１０１３〜１０１４］
映像光源４１０は、前段のプロセスより入力された映像ベクトル系列より構成される映像に基づいて、一次映像光を光路変換平面Ｍ上の光路変換素子群へ投影する。光路変換素子ｅは、入射された一次映像光をそれぞれ設定された反射法線ベクトルに従って出射する。出射された二次投影光は投影平面Ｐ上へ投影され、上記映像に対応する所望の投影像を得ることができる。
【０２０１】
このとき、映像光源４１０は、映像光の各画素に対応する映像ベクトルの要素である色強度ベクトルに従って発色を制御し、時間値に従って投影時間を制御する。そして、投影を継続する場合には（ステップ１０１４）、キャリブレーション要求判定（ステップ１００８）へ処理フローを戻す。
【０２０２】
［Ｅ．実施形態の効果］
以上のような本実施形態によれば、投影平面Ｐ（二次投影平面Ｓ）と仮想投影平面Ｖとの中心射影変換において、厳密な射影歪補正を行うことにより、意図した通りに正確な映像を投影できる。このとき、投影装置４００に対する投影平面Ｐの位置姿勢を計測する必要も、投影平面Ｐに対して投影装置４００を固定的に設置する必要もない。
【０２０３】
また、投影平面Ｐと投影装置４００との相対的な位置姿勢が変動しても、キャリブレーションを行うことにより、正確な投影動作を維持できる。このため、投影装置４００および投影平面Ｐの双方若しくは一方を持ち運び可能な利便性の高いものとすることができる。また、設置の自由度が高まるので、様々な設置場所に本システムを設置することができる。たとえば、屋外の壁面を投影平面Ｐとする場合であっても、正確な投影を行うことができる。
【０２０４】
［Ｆ．他の実施形態］
本発明は、上記の実施形態に限定されるものではない。図４に示した機能ブロック図は、概念的なものであり、これらの機能を実現する具体的な回路は種々考えられ、特定のものには限定されない。なお、本発明は、上記の処理に対応してコンピュータおよび周辺回路を動作させる投影方法、投影プログラムとしても把握できる。ハードウェア処理によって実現する範囲とソフトウェア処理によって実現する範囲も自由である。上記の投影演算部を実現するコンピュータを、独立した投影演算装置として構成することも可能である。光路制御部も、光路変換素子の駆動を制御できるものであれば、どのような構成の電子回路、コンピュータであってもよい。
【０２０５】
上記の各装置の接続方法は、自由である。たとえば、入力装置と映像情報出力装置とを接続する媒体若しくは映像情報出力装置と投影装置とを接続する媒体を、有線若しくは無線の通信ネットワークを介して実現してもよい。これにより、遠隔地に設置された投影平面および投影装置、映像情報出力装置によって操作することができる。たとえば、複数の遠隔地にある投影平面に、それぞれ同一若しくは異なる映像を投影させることもできる。
【０２０６】
また、投影装置の一部を、映像情報出力装置に構成することもできる。たとえば、投影演算部を、映像情報出力装置に設けてもよい。キャリブレーション部のみを、映像情報出力装置に設けてもよい。さらに、映像情報出力装置を、投影装置と一体に構成することもできる。
【０２０７】
光源部は、映像を含む映像光源に限らず、単純な照明光源であってもよい。そのような形態においては、モノクローム映像では単一光源、カラー映像では光の三原色に相当するような複数光源を有し、映像ベクトル系列と光源とを対応付け、必要に応じて光源を切り替えて投光することが考えられる。
【０２０８】
各光路変換素子は、対応する映像ベクトルの色強度ベクトルに従って、入射光の遮断、出射量制御、投影領域外への光路変換ベクトル制御などの動作を、高速に繰り返すことにより、所望の投影像を形成することができる。たとえば、下記のデジタルマイクロミラーデバイス（ＤＭＤ）では、回転するカラーホイールに同期させて、光路変換素子であるマイクロミラーを上記のように動作させることにより、投影を行う。
【０２０９】
さらに、光源部としては、映像光源もしくは照明光源のごとく二次元的な広がりを特徴とするものには限定されず、レーザー光のごとき強い指向性をもつ光源であってもよい。そのような形態においては、一次映像光が映像ベクトルに応じて各光路変換点に投影されるよう光源の姿勢を繰り返し制御する。
【０２１０】
なお、反射を利用する光路変換素子のより具体的な例としては、電極のＯＮ／ＯＦＦに応じて独立に駆動される微少な反射鏡を、多数配置したＤＭＤや、モータ駆動の反射鏡によって、所望の角度の反射光を得られるガルバノスキャナ等が考えられる。ＤＭＤを利用したデジタルライトプロセッシング（ＤＬＰ）プロジェクタは、反射光によって投影画像を得るため、透過光によって投影画像を得る液晶プロジェクタと比較して、光のロスが少ないという利点がある。また、ガルバノスキャナは、投影画像が巨大で画素のスケールが大きい場合に適しており、太陽光を集光させたものを利用することも可能である。
【０２１１】
光路変換形式は、上記のように鏡面反射によるものではなく、屈折や回折によるものであってもよい。そのような形態においては、光路変換素子に電気光学素子や磁気光学素子もしくは音響光学素子などを適用することが考えられる。つまり、本発明の光路変換素子は、これらの具体例には限定されず、現在又は将来において利用可能なあらゆる素子を適用可能である。
【符号の説明】
【０２１２】
１００…投影システム
３００…映像情報出力装置
３０１…記憶部
３１０…入力部
３２０…抽出部
３３０…出力部
４００…投影装置
４１０…映像光源
４２０…投影機構
４２１…光路変換素子
４２２…光路制御部
４３０…投影演算部
４３１…要求判定部
４３２…キャリブレーション部
４３２ａ…校正枠設定部
４３２ｂ…射影校正枠設定部
４３２ｃ…校正値演算部
４３２ｄ…交点演算部
４３２ｅ…透視演算部
４３２ｇ…輻射ベクトル演算部
４３２ｆ…仮想投影位置演算部
４３３…光路変換関数演算部
４４０…投影情報インタフェース
４５０…可動筐体
４６０…設置機構
４７０…ユーザインタフェース
Ｐ…投影平面
【図１】
0005567424.tif 000047
【図２】
0005567424.tif 000048
【図３】
0005567424.tif 000049
【図４】
0005567424.tif 000050
【図５】
0005567424.tif 000051
【図６】
0005567424.tif 000052
【図７】
0005567424.tif 000053
【図８】
0005567424.tif 000054
【図９】
0005567424.tif 000055
【図１０】
0005567424.tif 000056
【図１１】
0005567424.tif 000057
【図１２】
0005567424.tif 000058
【図１３】
0005567424.tif 000059
【図１４】
0005567424.tif 000060