(57)【要約】【課題】投影面上の画像に対する歪み補正を簡便に行う。【解決手段】画像補正手段２３０で原画像Ｃを補正して表示面Ｓｄ上に表示し、投影面Ｓｐ上に投影する。姿勢把握手段２５０は、東西南北のグローバル座標系上で表示面Ｓｄの姿勢を把握する。プロジェクタ２００を、表示面Ｓｄと投影面Ｓｐが平行になるように置いて投影面設定指示を与えると、投影面姿勢設定手段２６０が、その時点の表示面Ｓｄの姿勢を投影面Ｓｐの姿勢Ａ０に設定する。対応関係定義部２３５は、現在姿勢Ａｔと投影面姿勢Ａ０との関係により、Ｓｄ上の点ＷとＳｐ上の点Ｈとの対応関係を定義する。この対応関係に基づき、表示面Ｓｄの輪郭矩形Ｒ１に対応する投影面Ｓｐ上の外枠四角形Ｒ２を決定し、これに内包される投影用矩形Ｒ３を決定し、表示面Ｓｄ上に補正四角形Ｒ４を決定する。画像縮小部２３１は、輪郭矩形Ｒ１内の画像を補正四角形Ｒ４内の画像に縮小補正する。【選択図】図２９
2014123808.tif 000002
【特許請求の範囲】
【請求項１】
原画像を所定の投影面に投影して表示するプロジェクタであって、
投影対象となる原画像を提供する原画像提供手段と、
前記原画像に対して歪み補正を行って補正画像を作成する画像補正手段と、
所定の表示面上に前記補正画像を表示する表示素子と、
前記表示面に表示されている前記補正画像を投影面に向けて投影する投影光学系と、
前記表示面に固定されたローカル座標系について、地理的な東西南北および上下の方向を示すグローバル座標系上での姿勢を把握する姿勢把握手段と、
ユーザから投影面設定指示が与えられたときに、前記姿勢把握手段によって把握された姿勢を投影面姿勢として設定する投影面姿勢設定手段と、
を備え、
前記画像補正手段が、前記姿勢把握手段が把握した現時点の現在姿勢と、前記投影面姿勢設定手段に設定されている投影面姿勢と、に基づいて、前記投影面上に歪みのない投影像が形成されるように、前記原画像に対する補正を行うことを特徴とするプロジェクタ。
【請求項２】
請求項１に記載のプロジェクタにおいて、
画像補正手段が、
現在姿勢および投影面姿勢に基づいて、表示面上の任意の表示点Ｗの位置と、投影面上の前記表示点Ｗについての投影点Ｈの位置と、を相互に対応づける対応関係を定義する対応関係定義部と、
前記対応関係に基づいて、前記表示面上の表示領域の輪郭を構成する輪郭矩形の４頂点についての投影点を前記投影面上に求め、求めた投影点を４頂点とする外枠四角形を決定する外枠四角形決定部と、
前記投影面上において、前記外枠四角形に内包される所定の矩形を、投影用矩形として決定する投影用矩形決定部と、
前記対応関係に基づいて、投影点が前記投影用矩形の４頂点の位置にくる表示点を前記表示面上に求め、求めた表示点を４頂点とする補正四角形を決定する補正四角形決定部と、
前記表示領域の輪郭内に表示されるべき原画像を、前記補正四角形内に収まるように縮小することにより補正画像を作成する画像縮小部と、
を有することを特徴とするプロジェクタ。
【請求項３】
請求項２に記載のプロジェクタにおいて、
対応関係定義部が、表示面上に定義された二次元ＸＹ直交座標系上の表示点Ｗ（ｘ，ｙ）の座標値と、投影面上に定義された二次元ＩＪ直交座標系上における前記表示点Ｗ（ｘ，ｙ）に対応する投影点Ｈ（ｉ，ｊ）の座標値と、の関係を示す座標変換関数を定義することを特徴とするプロジェクタ。
【請求項４】
請求項３に記載のプロジェクタにおいて、
対応関係定義部が、現在姿勢に基づいて定まるＸＹ座標系のグローバル座標系上での向きと、投影面姿勢に基づいて定まるＩＪ座標系のグローバル座標系上での向きと、の幾何学的な関係に基づいて座標変換関数を定義することを特徴とするプロジェクタ。
【請求項５】
請求項４に記載のプロジェクタにおいて、
対応関係定義部が、ＸＹ座標系の原点Ｐ、ＩＪ座標系の原点Ｌ、グローバル座標系の原点Ｏが互いに重なるように各座標系を配置し、ＸＹ平面上で座標値（ｘ，ｙ）をもつ表示点Ｗ（ｘ，ｙ）をＸＹ平面に対して垂直な方向に投影することによりＩＪ平面上に座標値（ｉ，ｊ）をもつ投影点Ｈ（ｉ，ｊ）が得られる場合に、座標値（ｘ，ｙ）を座標値（ｉ，ｊ）に変換する座標変換関数ｆを定義することを特徴とするプロジェクタ。
【請求項６】
請求項５に記載のプロジェクタにおいて、
外枠四角形決定部が、座標変換関数ｆを用いたＨ（ｉ，ｊ）＝ｆ（Ｗ（ｘ，ｙ））なる式に基づいて、輪郭矩形の４頂点についての投影点を求め、
補正四角形決定部が、前記座標変換関数ｆの逆関数ｆ-1を用いたＷ（ｘ，ｙ）＝ｆ-1（Ｈ（ｉ，ｊ））なる式に基づいて、補正四角形の４頂点を求めることを特徴とするプロジェクタ。
【請求項７】
請求項３〜６のいずれかに記載のプロジェクタにおいて、
投影用矩形決定部が、グローバル座標系の水平方向もしくは垂直方向に平行な四辺をもつ矩形を投影用矩形として決定することを特徴とするプロジェクタ。
【請求項８】
請求項７に記載のプロジェクタにおいて、
投影面姿勢設定手段が、投影面設定指示が与えられたときに、Ｉ軸がグローバル座標系における水平軸となり、Ｊ軸がグローバル座標系における垂直軸となるように、投影面上にＩＪ座標系を定義することを特徴とするプロジェクタ。
【請求項９】
請求項３〜８のいずれかに記載のプロジェクタにおいて、
投影用矩形決定部が、原画像のアスペクト比と同じアスペクト比をもつ矩形を投影用矩形として決定することを特徴とするプロジェクタ。
【請求項１０】
請求項９に記載のプロジェクタにおいて、
投影用矩形決定部が、投影面上に形成された外枠四角形の最短辺を挟む２頂点のそれぞれの位置において、Ｉ軸に平行な補助線およびＪ軸に平行な補助線を定義し、定義された４本の補助線を前記外枠四角形で切り取って部分補助線を形成し、前記外枠四角形の内部に含まれている部分補助線のうち最も短いものを投影用矩形の第１の辺とし、この第１の辺を含み原画像のアスペクト比と同じアスペクト比をもつ矩形もしくは当該矩形を縦横等倍に縮小した矩形を、投影用矩形として決定することを特徴とするプロジェクタ。
【請求項１１】
請求項２〜１０のいずれかに記載のプロジェクタにおいて、
画像縮小部が、
輪郭矩形の上辺、下辺、左辺、右辺にそれぞれ対応させて、補正四角形の上辺、下辺、左辺、右辺を認識し、
任意の四角形について、「左部と右部との比率がａ：ｂとなるように上辺を分割する分割点と、左部と右部との比率がａ：ｂとなるように下辺を分割する分割点と、を結ぶ縦方向参照線」と「上部と下部との比率がｃ：ｄとなるように左辺を分割する分割点と、上部と下部との比率がｃ：ｄとなるように右辺を分割する分割点と、を結ぶ横方向参照線」との交点を当該任意の四角形についての特定分割交点と定義した場合に、
輪郭矩形についての特定分割交点が補正四角形についての特定分割交点の位置にくるような補正を行うことにより補正画像を作成することを特徴とするプロジェクタ。
【請求項１２】
請求項２〜１０のいずれかに記載のプロジェクタにおいて、
画像縮小部が、
輪郭矩形の上辺、下辺、左辺、右辺にそれぞれ対応させて、補正四角形の上辺、下辺、左辺、右辺を認識し、
輪郭矩形について、「左部と右部との比率がａ：ｂとなるように上辺を分割する分割点と、左部と右部との比率がａ：ｂとなるように下辺を分割する分割点と、を結ぶ縦方向参照線」と「上部と下部との比率がｃ：ｄとなるように左辺を分割する分割点と、上部と下部との比率がｃ：ｄとなるように右辺を分割する分割点と、を結ぶ横方向参照線」との交点を輪郭矩形についての特定分割交点と定義し、
補正四角形について、「左辺の延長線と右辺の延長線との交点に形成される角を、ａ：ｂの比率で分割する縦方向参照線」と「上辺の延長線と下辺の延長線との交点に形成される角を、ｃ：ｄの比率で分割する横方向参照線」との交点を、補正四角形についての特定分割交点と定義し、
輪郭矩形についての特定分割交点が補正四角形についての特定分割交点の位置にくるような補正を行うことにより補正画像を作成することを特徴とするプロジェクタ。
【請求項１３】
請求項１〜１２のいずれかに記載のプロジェクタにおいて、
表示素子が、表示面上に形成された輪郭矩形内の表示領域に画像を表示する機能を有し、
投影面姿勢設定手段が、前記輪郭矩形の上下両辺に平行な水平線と左右両辺に平行な垂直線とによって構成される格子パターンを生成し、この格子パターンを表示素子に表示させる機能を有し、前記格子パターンが投影されている状態でユーザから投影面設定指示が与えられたときに、投影面姿勢の設定を行うことを特徴とするプロジェクタ。
【請求項１４】
請求項１〜１３のいずれかに記載のプロジェクタにおいて、
原画像提供手段が、
広域元画像を格納する広域元画像格納部と、
姿勢把握手段が把握した現在姿勢に基づいて切出位置を決定する切出位置決定部と、
前記広域元画像の前記切出位置から、一部の領域を切り出して原画像を生成する原画像切出部と、
を有することを特徴とするプロジェクタ。
【請求項１５】
請求項１４に記載のプロジェクタにおいて、
姿勢把握手段が、グローバル座標系上でのローカル座標系の原点位置を把握する機能を更に有し、
切出位置決定部が、姿勢把握手段が把握した姿勢および位置に基づいて切出位置を決定することを特徴とするプロジェクタ。
【請求項１６】
請求項１４または１５に記載のプロジェクタにおいて、
切出位置決定部が、姿勢把握手段が把握した姿勢もしくは位置またはその双方についての時間変化を認識し、当該時間変化に応じて生じる投影面上での投影位置の移動方向を認識し、広域元画像上の切出位置を前記移動方向に応じて移動させることを特徴とするプロジェクタ。
【請求項１７】
請求項１〜１６のいずれかに記載のプロジェクタにおいて、
投影面姿勢設定手段が、表示面と投影面との間の距離を測定する距離センサを有し、この距離センサによる測定値を利用して、グローバル座標系上の所定位置に配置された複数の投影面を設定する機能を有し、
画像補正手段が、個々の投影面上に歪みのない投影像が形成されるように、原画像に対する補正を行うことを特徴とするプロジェクタ。
【請求項１８】
請求項１〜１７のいずれかに記載のプロジェクタにおいて、
姿勢把握手段が、
表示素子に作用した加速度のローカル座標系上の各座標軸方向成分を検出する加速度センサと、
表示素子に作用した磁気のローカル座標系上の各座標軸方向成分を検出する磁気センサと、
前記加速度センサの検出値に基づいて、表示素子が移動状態もしくは停止状態のいずれにあるかを判定する移動判定部と、
前記移動判定部が停止状態との判定を行っているときに、前記加速度センサの検出値と前記磁気センサの検出値とに基づいて、表示素子の前記グローバル座標系上における姿勢を認識する姿勢認識部と、
を有することを特徴とするプロジェクタ。
【請求項１９】
請求項１８に記載のプロジェクタにおいて、
姿勢把握手段が、北方向を示すＮ軸、東方向を示すＥ軸、上方向を示すＵ軸という互いに直交する３軸と原点ＯとをもったＮＥＵグローバル座標系上における姿勢を把握する機能を有し、
表示素子上には、Ｘ軸、Ｙ軸、Ｚ軸という互いに直交する３軸と原点ＰとをもったＸＹＺローカル座標系が定義されており、前記ＸＹＺローカル座標系は、表示素子の移動とともに移動し、表示素子の回転とともに回転するように表示素子に対して固定された座標系になっており、
加速度センサは、表示素子に作用した加速度のＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚを検出する機能を有し、
磁気センサは、表示素子に作用した磁力のＸ軸方向成分ｍｘ、Ｙ軸方向成分ｍｙ、Ｚ軸方向成分ｍｚを検出する機能を有し、
姿勢認識部が、
移動判定部が停止状態との判定を行っているときに得られた加速度センサの検出値αｘ，αｙ，αｚを、それぞれ重力加速度のＸ軸方向成分ｇｘ、Ｙ軸方向成分ｇｙ、Ｚ軸方向成分ｇｚと認識して、重力ベクトルＧ（ｇｘ，ｇｙ，ｇｚ）を求め、この重力ベクトルＧとは逆向きの上方ベクトルＵの方向をＵ軸方向と認識し、
磁気センサの検出値ｍｘ，ｍｙ，ｍｚを各成分とする磁気ベクトルＭ（ｍｘ，ｍｙ，ｍｚ）を定め、重力ベクトルＧと磁気ベクトルＭとの外積として得られる東方ベクトルＥの方向をＥ軸方向と認識し、
東方ベクトルＥと重力ベクトルＧとの外積として得られる北方ベクトルＮの方向をＮ軸方向と認識し、
ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係として、表示素子の姿勢を認識することを特徴とするプロジェクタ。
【請求項２０】
請求項１〜１７のいずれかに記載のプロジェクタにおいて、
姿勢把握手段が、北方向を示すＮ軸、東方向を示すＥ軸、上方向を示すＵ軸という互いに直交する３軸と原点ＯとをもったＮＥＵグローバル座標系上において、任意の空間位置座標を入力する空間位置座標入力装置によって構成され、
前記空間位置座標入力装置は、
加速度センサと、磁気センサと、信号処理手段と、を備え、少なくとも前記加速度センサおよび前記磁気センサは、表示素子とともに同一の装置筐体内に固定されており、
前記装置筐体上には、Ｘ軸、Ｙ軸、Ｚ軸という互いに直交する３軸と原点ＰとをもったＸＹＺローカル座標系が定義されており、前記ＸＹＺローカル座標系は、前記装置筐体の移動とともに移動し、前記装置筐体の回転とともに回転するように前記装置筐体に対して固定された座標系になっており、
前記加速度センサは、前記装置筐体に作用した加速度のＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚを検出する機能を有し、
前記磁気センサは、前記装置筐体に作用した磁力のＸ軸方向成分ｍｘ、Ｙ軸方向成分ｍｙ、Ｚ軸方向成分ｍｚを検出する機能を有し、
前記信号処理手段は、
前記加速度センサの検出値に基づいて、前記装置筐体が移動状態もしくは停止状態のいずれにあるかを判定する移動判定部と、
前記移動判定部が停止状態との判定を行っているときに、前記加速度センサの検出値と前記磁気センサの検出値とに基づいて、前記装置筐体の前記ＮＥＵグローバル座標系上における姿勢を認識する姿勢認識部と、
前記移動判定部の判定結果によって停止状態から移動状態に遷移したことが認識された場合に、移動直前に前記姿勢認識部が認識した姿勢と前記加速度センサの検出値とに基づいて、前記装置筐体の前記ＮＥＵグローバル座標系上における位置を認識する位置認識部と、
を有することを特徴とするプロジェクタ。
【請求項２１】
請求項２０に記載のプロジェクタにおいて、
姿勢認識部が、
移動判定部が停止状態との判定を行っているときに得られた加速度センサの検出値αｘ，αｙ，αｚを、それぞれ重力加速度のＸ軸方向成分ｇｘ、Ｙ軸方向成分ｇｙ、Ｚ軸方向成分ｇｚと認識して、重力ベクトルＧ（ｇｘ，ｇｙ，ｇｚ）を求め、この重力ベクトルＧとは逆向きの上方ベクトルＵの方向をＵ軸方向と認識し、
磁気センサの検出値ｍｘ，ｍｙ，ｍｚを各成分とする磁気ベクトルＭ（ｍｘ，ｍｙ，ｍｚ）を定め、重力ベクトルＧと磁気ベクトルＭとの外積として得られる東方ベクトルＥの方向をＥ軸方向と認識し、
東方ベクトルＥと重力ベクトルＧとの外積として得られる北方ベクトルＮの方向をＮ軸方向と認識し、
ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係として、表示素子の姿勢を認識することを特徴とするプロジェクタ。
【請求項２２】
請求項１８〜２１のいずれかに記載のプロジェクタにおいて、
表示素子に作用した角速度のＸ軸まわり成分ωｘ、Ｙ軸まわり成分ωｙ、Ｚ軸まわり成分ωｚを検出する角速度センサと、
前記角速度センサの検出値に基づいて、表示素子が回転状態もしくは非回転状態のいずれにあるかを判定する回転判定部と、
を更に備え、
投影面姿勢設定手段が、ユーザから投影面設定指示が与えられたときに、移動判定部が移動状態と判定していた場合、もしくは、回転判定部が回転状態と判定していた場合には、投影面姿勢の設定を行わず、ユーザに対して、表示素子を静止状態に維持した上で投影面設定指示の再入力を行うよう警告することを特徴とするプロジェクタ。
【請求項２３】
請求項１〜２２のいずれかに記載のプロジェクタにおいて、
表示素子として、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、デジタルマイクロミラーデバイスを用いることを特徴とするプロジェクタ。
【請求項２４】
請求項１〜２３のいずれかに記載のプロジェクタにおいて、
原画像提供手段と、画像補正手段と、表示素子と、投影光学系と、姿勢把握手段と、投影面姿勢設定手段と、を同一の装置筐体内に収容したことを特徴とするプロジェクタ。
【請求項２５】
請求項１〜２３のいずれかに記載のプロジェクタにおいて、
少なくとも表示素子と、投影光学系と、姿勢把握手段と、画像補正手段と、を同一の装置筐体内に収容し、
原画像提供手段を前記装置筐体の外部に設け、原画像提供手段から画像補正手段に対して原画像を示す画像データを送信して供給することを特徴とするプロジェクタ。
【請求項２６】
請求項１〜２３のいずれかに記載のプロジェクタにおいて、
少なくとも表示素子と、投影光学系と、姿勢把握手段と、を同一の装置筐体内に収容し、
原画像提供手段と、画像補正手段と、を前記装置筐体の外部に設け、画像補正手段から表示素子に対して補正画像を示す画像データを送信して供給することを特徴とするプロジェクタ。
【請求項２７】
請求項１〜２６のいずれかに記載のプロジェクタにおける画像補正手段としてコンピュータを機能させるプログラム。
【請求項２８】
請求項１〜２６のいずれかに記載のプロジェクタにおける画像補正手段として機能する半導体集積回路。
【請求項２９】
原画像を所定の投影面に投影して表示する画像投影方法であって、
コンピュータが、地理的な東西南北および上下の方向を示す直交座標系として定義されるグローバル座標系上での投影面の姿勢を示す投影面姿勢を設定する投影面姿勢設定段階と、
コンピュータが、投影対象となる原画像を用意する原画像準備段階と、
コンピュータが、前記グローバル座標系上での表示面の現時点での姿勢を示す現在姿勢を把握する現在姿勢把握段階と、
コンピュータが、前記現在姿勢および前記投影面姿勢に基づいて、前記表示面上の任意の表示点Ｗの位置と、前記投影面上の前記表示点Ｗについての投影点Ｈの位置と、を相互に対応づける対応関係を定義する対応関係定義段階と、
コンピュータが、前記対応関係に基づいて、前記表示面上の表示領域の輪郭を構成する輪郭矩形の４頂点についての投影点を前記投影面上に求め、求めた投影点を４頂点とする外枠四角形を決定する外枠四角形決定段階と、
コンピュータが、前記投影面上において、前記外枠四角形に内包される所定の矩形を、投影用矩形として決定する投影用矩形決定段階と、
コンピュータが、前記対応関係に基づいて、投影点が前記投影用矩形の４頂点の位置にくる表示点を前記表示面上に求め、求めた表示点を４頂点とする補正四角形を決定する補正四角形決定段階と、
コンピュータが、前記表示領域の輪郭内に表示されるべき原画像を、前記補正四角形内に収まるように縮小することにより補正画像を作成する画像縮小段階と、
前記補正画像を前記表示面に表示し、これを前記投影面に投影する補正画像投影段階と、
を有することを特徴とする画像投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタに関し、特に、斜め方向に投影した場合に生じる投影画像の歪みを自動的に補正する機能をもったプロジェクタに関する。
【背景技術】
【０００２】
一般にプロジェクタと呼ばれている画像投影装置は、液晶ディスプレイ等の表示素子によって表示された画像を光学的に拡大投影して、スクリーンなどの投影面上に表示する装置である。近年は、携帯式の小型プロジェクタも普及し、会議やプレゼンテーション等に気軽に利用されるようになってきている。
【０００３】
このプロジェクタには、その原理上、表示素子の表示面に対して投影面が平行になっていないと、投影画像に歪みが生じるという問題がある。古くから利用されている大型のプロジェクタの場合、テーブルなどに設置した状態で、スクリーン面に向けて斜め上方に投影する利用形態や、天井から吊り下げて設置した状態で、スクリーン面に向けて斜め下方に投影する利用形態が一般的である。前者の場合は、スクリーンに投影される画像は上方ほど横に広がる台形形状になり、後者の場合は、下方ほど横に広がる台形形状になる。
【０００４】
このような利用形態においても、投影面上に歪みのない投影画像が得られるようにする補正は、一般に台形補正と呼ばれており、従来から、様々な方法が提案されている。たとえば、下記の特許文献１には、内蔵ジャイロにより、プロジェクタ本体の水平面に対する傾斜角を検出し、自動的に台形補正を行う技術が開示されている。また、特許文献２には、予め、スクリーンの傾斜角度を設定しておくことにより、スクリーンが傾斜している場合にも、正しい台形補正を行う技術が開示されており、特許文献３には、スクリーン自体に傾斜計を取り付けることにより、スクリーンの傾斜角を自動的に測定する技術が開示されている。一方、特許文献４には、プロジェクタ内に撮影装置を組み込み、スクリーン上の台形画像を撮影した上で、これを正しい矩形画像に補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２７０９７９号公報
【特許文献２】特開２００１−３３９６７１号公報
【特許文献３】特開２００１−１９６８７８号公報
【特許文献４】特開２０１２−０６５０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、近年は、プロジェクタ本体が小型化してきており、会議やプレゼンテーション等に気軽に利用されるようになってきている。そのため、室内の壁をそのまま投影面として用いる利用形態も増え、任意の向きに配置された投影面上の画像に対して歪み補正を行う技術が求められている。しかしながら、従来提案されている歪み補正の方法では、スクリーンの向きを測定するために傾斜計を取り付けたり、スクリーン上の台形画像を撮影するカメラを設けたりする必要があり、操作が煩雑になったり、構造が複雑になったりする問題が生じる。
【０００７】
そこで本発明は、任意の向きに配置された投影面上の画像に対する歪み補正を、より簡便な方法で行うことが可能なプロジェクタを提供することを目的とする。
【課題を解決するための手段】
【０００８】
(1)   本発明の第１の態様は、原画像を所定の投影面に投影して表示するプロジェクタにおいて、
投影対象となる原画像を提供する原画像提供手段と、
原画像に対して歪み補正を行って補正画像を作成する画像補正手段と、
所定の表示面上に補正画像を表示する表示素子と、
表示面に表示されている補正画像を投影面に向けて投影する投影光学系と、
表示面に固定されたローカル座標系について、地理的な東西南北および上下の方向を示すグローバル座標系上での姿勢を把握する姿勢把握手段と、
ユーザから投影面設定指示が与えられたときに、姿勢把握手段によって把握された姿勢を投影面姿勢として設定する投影面姿勢設定手段と、
を設け、
画像補正手段が、姿勢把握手段が把握した現時点の現在姿勢と、投影面姿勢設定手段に設定されている投影面姿勢と、に基づいて、投影面上に歪みのない投影像が形成されるように、原画像に対する補正を行うようにしたものである。
【０００９】
(2)   本発明の第２の態様は、上述した第１の態様に係るプロジェクタにおいて、
画像補正手段が、
現在姿勢および投影面姿勢に基づいて、表示面上の任意の表示点Ｗの位置と、この表示点Ｗについての投影面上の投影点Ｈの位置と、を相互に対応づける対応関係を定義する対応関係定義部と、
上記対応関係に基づいて、表示面上の表示領域の輪郭を構成する輪郭矩形の４頂点についての投影点を投影面上に求め、求めた投影点を４頂点とする外枠四角形を決定する外枠四角形決定部と、
投影面上において、外枠四角形に内包される所定の矩形を、投影用矩形として決定する投影用矩形決定部と、
上記対応関係に基づいて、投影点が投影用矩形の４頂点の位置にくる表示点を表示面上に求め、求めた表示点を４頂点とする補正四角形を決定する補正四角形決定部と、
表示領域の輪郭内に表示されるべき原画像を、補正四角形内に収まるように縮小することにより補正画像を作成する画像縮小部と、
を有するようにしたものである。
【００１０】
(3)   本発明の第３の態様は、上述した第２の態様に係るプロジェクタにおいて、
対応関係定義部が、表示面上に定義された二次元ＸＹ直交座標系上の表示点Ｗ（ｘ，ｙ）の座標値と、投影面上に定義された二次元ＩＪ直交座標系上における、表示点Ｗ（ｘ，ｙ）に対応する投影点Ｈ（ｉ，ｊ）の座標値と、の関係を示す座標変換関数を定義するようにしたものである。
【００１１】
(4)   本発明の第４の態様は、上述した第３の態様に係るプロジェクタにおいて、
対応関係定義部が、現在姿勢に基づいて定まるＸＹ座標系のグローバル座標系上での向きと、投影面姿勢に基づいて定まるＩＪ座標系のグローバル座標系上での向きと、の幾何学的な関係に基づいて座標変換関数を定義するようにしたものである。
【００１２】
(5)   本発明の第５の態様は、上述した第４の態様に係るプロジェクタにおいて、
対応関係定義部が、ＸＹ座標系の原点Ｐ、ＩＪ座標系の原点Ｌ、グローバル座標系の原点Ｏが互いに重なるように各座標系を配置し、ＸＹ平面上で座標値（ｘ，ｙ）をもつ表示点Ｗ（ｘ，ｙ）をＸＹ平面に対して垂直な方向に投影することによりＩＪ平面上に座標値（ｉ，ｊ）をもつ投影点Ｈ（ｉ，ｊ）が得られる場合に、座標値（ｘ，ｙ）を座標値（ｉ，ｊ）に変換する座標変換関数ｆを定義するようにしたものである。
【００１３】
(6)   本発明の第６の態様は、上述した第５の態様に係るプロジェクタにおいて、
外枠四角形決定部が、座標変換関数ｆを用いたＨ（ｉ，ｊ）＝ｆ（Ｗ（ｘ，ｙ））なる式に基づいて、輪郭矩形の４頂点についての投影点を求め、
補正四角形決定部が、座標変換関数ｆの逆関数ｆ-1を用いたＷ（ｘ，ｙ）＝ｆ-1（Ｈ（ｉ，ｊ））なる式に基づいて、補正四角形の４頂点を求めるようにしたものである。
【００１４】
(7)   本発明の第７の態様は、上述した第３〜第６の態様に係るプロジェクタにおいて、
投影用矩形決定部が、グローバル座標系の水平方向もしくは垂直方向に平行な四辺をもつ矩形を投影用矩形として決定するようにしたものである。
【００１５】
(8)   本発明の第８の態様は、上述した第７の態様に係るプロジェクタにおいて、
投影面姿勢設定手段が、投影面設定指示が与えられたときに、Ｉ軸がグローバル座標系における水平軸となり、Ｊ軸がグローバル座標系における垂直軸となるように、投影面上にＩＪ座標系を定義するようにしたものである。
【００１６】
(9)   本発明の第９の態様は、上述した第３〜第８の態様に係るプロジェクタにおいて、
投影用矩形決定部が、原画像のアスペクト比と同じアスペクト比をもつ矩形を投影用矩形として決定するようにしたものである。
【００１７】
(10)  本発明の第１０の態様は、上述した第９の態様に係るプロジェクタにおいて、
投影用矩形決定部が、投影面上に形成された外枠四角形の最短辺を挟む２頂点のそれぞれの位置において、Ｉ軸に平行な補助線およびＪ軸に平行な補助線を定義し、定義された４本の補助線を外枠四角形で切り取って部分補助線を形成し、外枠四角形の内部に含まれている部分補助線のうち最も短いものを投影用矩形の第１の辺とし、この第１の辺を含み原画像のアスペクト比と同じアスペクト比をもつ矩形もしくは当該矩形を縦横等倍に縮小した矩形を、投影用矩形として決定するようにしたものである。
【００１８】
(11)  本発明の第１１の態様は、上述した第２〜第１０の態様に係るプロジェクタにおいて、
画像縮小部が、
輪郭矩形の上辺、下辺、左辺、右辺にそれぞれ対応させて、補正四角形の上辺、下辺、左辺、右辺を認識し、
任意の四角形について、「左部と右部との比率がａ：ｂとなるように上辺を分割する分割点と、左部と右部との比率がａ：ｂとなるように下辺を分割する分割点と、を結ぶ縦方向参照線」と「上部と下部との比率がｃ：ｄとなるように左辺を分割する分割点と、上部と下部との比率がｃ：ｄとなるように右辺を分割する分割点と、を結ぶ横方向参照線」との交点を当該任意の四角形についての特定分割交点と定義した場合に、
輪郭矩形についての特定分割交点が補正四角形についての特定分割交点の位置にくるような補正を行うことにより補正画像を作成するようにしたものである。
【００１９】
(12)  本発明の第１２の態様は、上述した第２〜第１０の態様に係るプロジェクタにおいて、
画像縮小部が、
輪郭矩形の上辺、下辺、左辺、右辺にそれぞれ対応させて、補正四角形の上辺、下辺、左辺、右辺を認識し、
輪郭矩形について、「左部と右部との比率がａ：ｂとなるように上辺を分割する分割点と、左部と右部との比率がａ：ｂとなるように下辺を分割する分割点と、を結ぶ縦方向参照線」と「上部と下部との比率がｃ：ｄとなるように左辺を分割する分割点と、上部と下部との比率がｃ：ｄとなるように右辺を分割する分割点と、を結ぶ横方向参照線」との交点を輪郭矩形についての特定分割交点と定義し、
補正四角形について、「左辺の延長線と右辺の延長線との交点に形成される角を、ａ：ｂの比率で分割する縦方向参照線」と「上辺の延長線と下辺の延長線との交点に形成される角を、ｃ：ｄの比率で分割する横方向参照線」との交点を、補正四角形についての特定分割交点と定義し、
輪郭矩形についての特定分割交点が補正四角形についての特定分割交点の位置にくるような補正を行うことにより補正画像を作成するようにしたものである。
【００２０】
(13)  本発明の第１３の態様は、上述した第１〜第１２の態様に係るプロジェクタにおいて、
表示素子が、表示面上に形成された輪郭矩形内の表示領域に画像を表示する機能を有し、
投影面姿勢設定手段が、輪郭矩形の上下両辺に平行な水平線と左右両辺に平行な垂直線とによって構成される格子パターンを生成し、この格子パターンを表示素子に表示させる機能を有し、格子パターンが投影されている状態でユーザから投影面設定指示が与えられたときに、投影面姿勢の設定を行うようにしたものである。
【００２１】
(14)  本発明の第１４の態様は、上述した第１〜第１３の態様に係るプロジェクタにおいて、
原画像提供手段が、
広域元画像を格納する広域元画像格納部と、
姿勢把握手段が把握した現在姿勢に基づいて切出位置を決定する切出位置決定部と、
広域元画像の切出位置から、一部の領域を切り出して原画像を生成する原画像切出部と、
を有するようにしたものである。
【００２２】
(15)  本発明の第１５の態様は、上述した第１４の態様に係るプロジェクタにおいて、
姿勢把握手段が、グローバル座標系上でのローカル座標系の原点位置を把握する機能を更に有し、
切出位置決定部が、姿勢把握手段が把握した姿勢および位置に基づいて切出位置を決定するようにしたものである。
【００２３】
(16)  本発明の第１６の態様は、上述した第１４または第１５の態様に係るプロジェクタにおいて、
切出位置決定部が、姿勢把握手段が把握した姿勢もしくは位置またはその双方についての時間変化を認識し、当該時間変化に応じて生じる投影面上での投影位置の移動方向を認識し、広域元画像上の切出位置を、認識した移動方向に応じて移動させるようにしたものである。
【００２４】
(17)  本発明の第１７の態様は、上述した第１〜第１６の態様に係るプロジェクタにおいて、
投影面姿勢設定手段が、表示面と投影面との間の距離を測定する距離センサを有し、この距離センサによる測定値を利用して、グローバル座標系上の所定位置に配置された複数の投影面を設定する機能を有し、
画像補正手段が、個々の投影面上に歪みのない投影像が形成されるように、原画像に対する補正を行うようにしたものである。
【００２５】
(18)  本発明の第１８の態様は、上述した第１〜第１７の態様に係るプロジェクタにおいて、
姿勢把握手段が、
表示素子に作用した加速度のローカル座標系上の各座標軸方向成分を検出する加速度センサと、
表示素子に作用した磁気のローカル座標系上の各座標軸方向成分を検出する磁気センサと、
加速度センサの検出値に基づいて、表示素子が移動状態もしくは停止状態のいずれにあるかを判定する移動判定部と、
移動判定部が停止状態との判定を行っているときに、加速度センサの検出値と磁気センサの検出値とに基づいて、表示素子のグローバル座標系上における姿勢を認識する姿勢認識部と、
を有するようにしたものである。
【００２６】
(19)  本発明の第１９の態様は、上述した第１８の態様に係るプロジェクタにおいて、
姿勢把握手段が、北方向を示すＮ軸、東方向を示すＥ軸、上方向を示すＵ軸という互いに直交する３軸と原点ＯとをもったＮＥＵグローバル座標系上における姿勢を把握する機能を有し、
表示素子上には、Ｘ軸、Ｙ軸、Ｚ軸という互いに直交する３軸と原点ＰとをもったＸＹＺローカル座標系が定義されており、ＸＹＺローカル座標系は、表示素子の移動とともに移動し、表示素子の回転とともに回転するように表示素子に対して固定された座標系になっており、
加速度センサは、表示素子に作用した加速度のＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚを検出する機能を有し、
磁気センサは、表示素子に作用した磁力のＸ軸方向成分ｍｘ、Ｙ軸方向成分ｍｙ、Ｚ軸方向成分ｍｚを検出する機能を有し、
姿勢認識部が、
移動判定部が停止状態との判定を行っているときに得られた加速度センサの検出値αｘ，αｙ，αｚを、それぞれ重力加速度のＸ軸方向成分ｇｘ、Ｙ軸方向成分ｇｙ、Ｚ軸方向成分ｇｚと認識して、重力ベクトルＧ（ｇｘ，ｇｙ，ｇｚ）を求め、この重力ベクトルＧとは逆向きの上方ベクトルＵの方向をＵ軸方向と認識し、
磁気センサの検出値ｍｘ，ｍｙ，ｍｚを各成分とする磁気ベクトルＭ（ｍｘ，ｍｙ，ｍｚ）を定め、重力ベクトルＧと磁気ベクトルＭとの外積として得られる東方ベクトルＥの方向をＥ軸方向と認識し、
東方ベクトルＥと重力ベクトルＧとの外積として得られる北方ベクトルＮの方向をＮ軸方向と認識し、
ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係として、表示素子の姿勢を認識するようにしたものである。
【００２７】
(20)  本発明の第２０の態様は、上述した第１〜第１７の態様に係るプロジェクタにおいて、
姿勢把握手段が、北方向を示すＮ軸、東方向を示すＥ軸、上方向を示すＵ軸という互いに直交する３軸と原点ＯとをもったＮＥＵグローバル座標系上において、任意の空間位置座標を入力する空間位置座標入力装置によって構成され、
空間位置座標入力装置は、
加速度センサと、磁気センサと、信号処理手段と、を備え、少なくとも加速度センサおよび磁気センサは、表示素子とともに同一の装置筐体内に固定されており、
装置筐体上には、Ｘ軸、Ｙ軸、Ｚ軸という互いに直交する３軸と原点ＰとをもったＸＹＺローカル座標系が定義されており、ＸＹＺローカル座標系は、装置筐体の移動とともに移動し、装置筐体の回転とともに回転するように装置筐体に対して固定された座標系になっており、
加速度センサは、装置筐体に作用した加速度のＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚを検出する機能を有し、
磁気センサは、装置筐体に作用した磁力のＸ軸方向成分ｍｘ、Ｙ軸方向成分ｍｙ、Ｚ軸方向成分ｍｚを検出する機能を有し、
信号処理手段は、
加速度センサの検出値に基づいて、装置筐体が移動状態もしくは停止状態のいずれにあるかを判定する移動判定部と、
移動判定部が停止状態との判定を行っているときに、加速度センサの検出値と磁気センサの検出値とに基づいて、装置筐体のＮＥＵグローバル座標系上における姿勢を認識する姿勢認識部と、
移動判定部の判定結果によって停止状態から移動状態に遷移したことが認識された場合に、移動直前に姿勢認識部が認識した姿勢と加速度センサの検出値とに基づいて、装置筐体のＮＥＵグローバル座標系上における位置を認識する位置認識部と、
を有するようにしたものである。
【００２８】
(21)  本発明の第２１の態様は、上述した第２０の態様に係るプロジェクタにおいて、
姿勢認識部が、
移動判定部が停止状態との判定を行っているときに得られた加速度センサの検出値αｘ，αｙ，αｚを、それぞれ重力加速度のＸ軸方向成分ｇｘ、Ｙ軸方向成分ｇｙ、Ｚ軸方向成分ｇｚと認識して、重力ベクトルＧ（ｇｘ，ｇｙ，ｇｚ）を求め、この重力ベクトルＧとは逆向きの上方ベクトルＵの方向をＵ軸方向と認識し、
磁気センサの検出値ｍｘ，ｍｙ，ｍｚを各成分とする磁気ベクトルＭ（ｍｘ，ｍｙ，ｍｚ）を定め、重力ベクトルＧと磁気ベクトルＭとの外積として得られる東方ベクトルＥの方向をＥ軸方向と認識し、
東方ベクトルＥと重力ベクトルＧとの外積として得られる北方ベクトルＮの方向をＮ軸方向と認識し、
ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係として、表示素子の姿勢を認識するようにしたものである。
【００２９】
(22)  本発明の第２２の態様は、上述した第１８〜第２１の態様に係るプロジェクタにおいて、
表示素子に作用した角速度のＸ軸まわり成分ωｘ、Ｙ軸まわり成分ωｙ、Ｚ軸まわり成分ωｚを検出する角速度センサと、
角速度センサの検出値に基づいて、表示素子が回転状態もしくは非回転状態のいずれにあるかを判定する回転判定部と、
を更に設け、
投影面姿勢設定手段が、ユーザから投影面設定指示が与えられたときに、移動判定部が移動状態と判定していた場合、もしくは、回転判定部が回転状態と判定していた場合には、投影面姿勢の設定を行わず、ユーザに対して、表示素子を静止状態に維持した上で投影面設定指示の再入力を行うよう警告するようにしたものである。
【００３０】
(23)  本発明の第２３の態様は、上述した第１〜第２２の態様に係るプロジェクタにおいて、
表示素子として、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、デジタルマイクロミラーデバイスを用いるようにしたものである。
【００３１】
(24)  本発明の第２４の態様は、上述した第１〜第２３の態様に係るプロジェクタにおいて、
原画像提供手段と、画像補正手段と、表示素子と、投影光学系と、姿勢把握手段と、投影面姿勢設定手段と、を同一の装置筐体内に収容するようにしたものである。
【００３２】
(25)  本発明の第２５の態様は、上述した第１〜第２３の態様に係るプロジェクタにおいて、
少なくとも表示素子と、投影光学系と、姿勢把握手段と、画像補正手段と、を同一の装置筐体内に収容し、
原画像提供手段を上記装置筐体の外部に設け、原画像提供手段から画像補正手段に対して原画像を示す画像データを送信して供給するようにしたものである。
【００３３】
(26)  本発明の第２６の態様は、上述した第１〜第２３の態様に係るプロジェクタにおいて、
少なくとも表示素子と、投影光学系と、姿勢把握手段と、を同一の装置筐体内に収容し、
原画像提供手段と、画像補正手段と、を上記装置筐体の外部に設け、画像補正手段から表示素子に対して補正画像を示す画像データを送信して供給するようにしたものである。
【００３４】
(27)  本発明の第２７の態様は、上述した第１〜第２６の態様に係るプロジェクタにおける画像補正手段を、コンピュータにプログラムを組み込むことにより構成したものである。
【００３５】
(28)  本発明の第２８の態様は、上述した第１〜第２６の態様に係るプロジェクタにおける画像補正手段を、半導体集積回路によって構成したものである。
【００３６】
(29)  本発明の第２９の態様は、原画像を所定の投影面に投影して表示する画像投影方法において、
コンピュータが、地理的な東西南北および上下の方向を示す直交座標系として定義されるグローバル座標系上での投影面の姿勢を示す投影面姿勢を設定する投影面姿勢設定段階と、
コンピュータが、投影対象となる原画像を用意する原画像準備段階と、
コンピュータが、グローバル座標系上での表示面の現時点での姿勢を示す現在姿勢を把握する現在姿勢把握段階と、
コンピュータが、現在姿勢および投影面姿勢に基づいて、表示面上の任意の表示点Ｗの位置と、投影面上の表示点Ｗについての投影点Ｈの位置と、を相互に対応づける対応関係を定義する対応関係定義段階と、
コンピュータが、上記対応関係に基づいて、表示面上の表示領域の輪郭を構成する輪郭矩形の４頂点についての投影点を投影面上に求め、求めた投影点を４頂点とする外枠四角形を決定する外枠四角形決定段階と、
コンピュータが、投影面上において、外枠四角形に内包される所定の矩形を、投影用矩形として決定する投影用矩形決定段階と、
コンピュータが、上記対応関係に基づいて、投影点が投影用矩形の４頂点の位置にくる表示点を表示面上に求め、求めた表示点を４頂点とする補正四角形を決定する補正四角形決定段階と、
コンピュータが、表示領域の輪郭内に表示されるべき原画像を、補正四角形内に収まるように縮小することにより補正画像を作成する画像縮小段階と、
補正画像を表示面に表示し、これを投影面に投影する補正画像投影段階と、
を行うようにしたものである。
【発明の効果】
【００３７】
本発明に係るプロジェクタには、地理的な東西南北および上下の方向を示すグローバル座標系上での表示面の姿勢（表示面に固定されたローカル座標系の向き）を把握する姿勢把握手段が設けられている。そこで、ユーザに、表示素子の表示面が投影面に平行になるようにプロジェクタ本体を配置した状態で、投影面設定指示を入力する操作を行ってもらえば、グローバル座標系上での投影面の姿勢を設定することができる。一方、姿勢把握手段は、その後も、グローバル座標系上での表示面の姿勢をリアルタイムで把握することができるので、グローバル座標系を仲介して、表示面と投影面との幾何学的な関係が常に把握でき、画像補正手段は、この幾何学的な関係に基づいて、常に適切な歪み補正を行うことができる。
【００３８】
本発明によれば、投影面の向きを、ユーザによる投影面設定指示によって認識することができるので、投影面に傾斜計などの余分な装置を取り付ける必要はなく、また、投影された台形画像を撮影する装置を設ける必要もない。ユーザは、投影面設定指示を行う必要があるが、当該指示は、投影面の前方にプロジェクタ本体を保持し、設定指示ボタンを押すなどの簡単な作業で行うことができるため、ユーザに大きな作業負担が課されることもない。
【００３９】
このように、本発明に係るプロジェクタでは、任意の向きに配置された投影面上の画像に対する歪み補正を、簡便な方法で行うことが可能になる。
【図面の簡単な説明】
【００４０】
【図１】本発明に係るプロジェクタが配置されたＮＥＵグローバル座標系と、当該装置上に定義されたＸＹＺローカル座標系との関係を示す斜視図である。
【図２】本発明に係るプロジェクタに組み込まれる空間位置座標入力装置１００の構成を示すブロック図である。
【図３】図２に示す加速度センサ１０によって検出された加速度ベクトルαの斜視図である。
【図４】物体に作用した加速度αの二階積分によって当該物体の移動距離ｄを求める一般的な原理を示すグラフである。
【図５】図２に示す姿勢認識部４６によって認識された姿勢Ａの実データ構成を示す斜視図である。
【図６】地球上の所定位置において、地磁気に基づいて検出される磁気ベクトルＭを示す図である。
【図７】重力ベクトルＧと図２に示す磁気センサ３０によって検出された磁気ベクトルＭとを示す斜視図である。
【図８】図２に示す姿勢認識部４６による姿勢認識の基本原理を示す斜視図である。
【図９】図２に示す初期設定部４３によって実行される初期設定処理の手順を示す流れ図である。
【図１０】図２に示す移動判定部４２による移動判定処理の具体的な方法を示すグラフである。
【図１１】図２に示す回転判定部４４による回転判定処理の具体的な方法を示すグラフである。
【図１２】図２に示す姿勢認識部４６によって姿勢認識処理が行われる時点を示すタイミングチャートである。
【図１３】図１２のタイミングチャートに示す移動および回転操作が行われたときの位置認識部４５による位置更新処理の基本原理を示す平面図である。
【図１４】図１０に示すグラフの時間軸方向に関する部分拡大図である。
【図１５】図２に示す装置筐体５０を移動させたときの加速度センサ１０による加速度の検出値αｘの分散状態を示すグラフである。
【図１６】図２に示す装置筐体５０を定位置で回転させたときの角速度センサ１０による加速度の検出値αｘ，αｙ，αｚの分散状態を示すグラフである。
【図１７】図２に示す移動判定部４２による移動判定処理を、加速度の分散値に基づいて行う変形例を示すグラフである。
【図１８】本発明に係るプロジェクタ２００の利用形態を示す斜視図である。
【図１９】本発明に係るプロジェクタ２００を用いた投影面設定操作を示す斜視図である。
【図２０】本発明に係るプロジェクタ２００により、投影面に格子パターンを投影した状態を示す斜視図である。
【図２１】本発明に係るプロジェクタ２００を用いた投影面設定原理を示す斜視図である。
【図２２】本発明に係るプロジェクタ２００に内蔵された表示素子の表示面Ｓｄと投影面Ｓｐとの向きの関係を示す斜視図である。
【図２３】本発明に係るプロジェクタ２００に内蔵された表示素子の表示面Ｓｄ上の表示点Ｗと投影面Ｓｐ上の投影点Ｈとの対応関係を示す平面図である。
【図２４】グローバル座標系上における投影面Ｓｐの姿勢Ａ０と表示面Ｓｄの姿勢Ａｔとを表す行列式を示す図である。
【図２５】表示面Ｓｄ上の輪郭矩形Ｒ１に基づいて、投影面Ｓｐ上に外枠四角形Ｒ２および投影用矩形Ｒ３を定義し、更に、表示面Ｓｄ上に補正四角形Ｒ４を定義する手順を示す平面図である。
【図２６】投影面Ｓｐ上の外枠四角形Ｒ２に基づいて、投影用矩形Ｒ３を定義する具体的なアルゴリズムの一例を示す平面図である。
【図２７】表示面Ｓｄ上の輪郭矩形Ｒ１内の画像を補正四角形Ｒ４内の画像に縮小する具体的なアルゴリズムの一例を示す平面図である。
【図２８】表示面Ｓｄ上の輪郭矩形Ｒ１内の画像を補正四角形Ｒ４内の画像に縮小する具体的なアルゴリズムの別な一例を示す平面図である。
【図２９】本発明の基本的な実施形態に係るプロジェクタの構成を示すブロック図である。
【図３０】本発明の変形例に係るプロジェクタの構成を示すブロック図である。
【図３１】図３０に示す変形例における原画像提供手段２４０′の構成を示すブロック図である。
【図３２】図３１に示す原画像提供手段２４０′による原画像の切り出し態様を示す平面図である。
【図３３】部屋の壁を投影面として用いる本発明の変形例を示す斜視図である。
【図３４】本発明に係るプロジェクタを用いて曲面に投影する態様を示す側面図である。
【図３５】本発明に係る画像投影方法の手順を示す流れ図である。
【発明を実施するための形態】
【００４１】
以下、本発明を図示する実施形態に基づいて説明する。ここで述べる実施形態に係るプロジェクタは、特願２０１２−１２４０７４に開示されている空間位置座標入力装置（以下、単に、先願入力装置という）の姿勢把握機能を利用して構成されるものである。そこで、ここでは、まず、§１〜§４において、この先願入力装置の構成および動作を説明し、§５〜§９において、この先願入力装置の姿勢把握機能を利用して構成した本発明に係るプロジェクタの説明を行うことにする。
【００４２】
＜＜＜  §１．  先願入力装置の基本構成  ＞＞＞
図１は、先願入力装置１００が配置されたＮＥＵグローバル座標系と、先願入力装置１００上に定義されたＸＹＺローカル座標系との関係を示す斜視図である。両座標系は、いずれも３つの座標軸を有する三次元直交座標系であるが、前者が地理的な東西南北および上下の方向を示すことができるように、地球上に固定された座標系であるのに対して、後者は、先願入力装置１００に対して固定された座標系である。
【００４３】
すなわち、ＮＥＵグローバル座標系は、北方向を示すＮ軸、東方向を示すＥ軸、上方向を示すＵ軸という互いに直交する３軸と原点Ｏとをもった三次元直交座標系であり、地球上での利用を前提とする先願入力装置１００の動作を考える上では、位置や向きに変化が生じない普遍的な座標系として取り扱うことができる。ここで、Ｎ軸は「North（北）」の頭文字、Ｅ軸は「East（東）」の頭文字、Ｕ軸は「Up（上）」の頭文字をとったものである。図に示す鉛直方向Ｄ（下方向）は重力が作用する方向であり、Ｕ軸負方向に対応し、ＮＥ平面は水平面を構成する。また、図に破線で示す南方向はＮ軸負方向に対応し、図に破線で示す西方向はＥ軸負方向に対応する。
【００４４】
もちろん、Ｎ軸の代わりに南方向を示すＳ軸を用いたり、Ｅ軸の代わりに西方向を示すＷ軸を用いたり、Ｕ軸の代わりに下方向を示すＤ軸を用いたりすることも可能である。これらのバリエーションは、座標軸の正方向をどちら側に取るかの問題であり、どのような座標軸をとったとしても、グローバル座標系の本質には代わりはない。したがって、以下の説明では、上述したように、Ｎ軸，Ｅ軸，Ｕ軸を定義したＮＥＵグローバル座標系を用いた例を述べることにする。
【００４５】
このＮＥＵグローバル座標系で示される三次元座標空間は、地球上の実空間に対応するものであり、原点Ｏを実空間上の任意の位置に定めてやれば、この実空間上の任意の位置Ｐは、ＮＥＵグローバル座標系上の座標点Ｐ（ｎ，ｅ，ｕ）として示すことができる。ここで、ｎ，ｅ，ｕは、それぞれＮ軸，Ｅ軸，Ｕ軸上の座標値である。
【００４６】
一方、ＸＹＺローカル座標系も、Ｘ軸、Ｙ軸、Ｚ軸という互いに直交する３軸と原点Ｐとをもった三次元直交座標系であるが、先願入力装置１００の装置筐体に固定されているため、過渡的な座標系ということになる。すなわち、ユーザが、先願入力装置１００を移動させたり、回転させたりすると、ＸＹＺローカル座標系も、一緒に移動したり回転したりすることになる。図示の例の場合、先願入力装置１００の装置筐体は直方体の形状をしており、その中心点にＸＹＺローカル座標系の原点Ｐが設定されている。また、Ｘ軸、Ｙ軸、Ｚ軸は、それぞれこの直方体の各辺に沿った方向に定義されている。
【００４７】
もちろん、装置筐体の形状は必ずしも直方体に限定されるものではなく、原点Ｐの位置は必ずしも装置筐体の中心点に限定されるものではなく、各座標軸の方向も図示の方向に限定されるものではない。後述する本発明に係るプロジェクタの基本的な実施形態の場合、先願入力装置１００は、プロジェクタの筐体内に組み込まれることになるので、ＸＹＺローカル座標系は、プロジェクタの移動とともに移動し、プロジェクタの回転とともに回転するように、プロジェクタ本体に対して固定された座標系として定義されることになる。
【００４８】
ここでは、ユーザが、この先願入力装置１００を片手に保持しながら、任意の方向に動かすことにより、ＮＥＵグローバル座標系上における任意の点の位置を空間位置座標として入力する操作を行うものとする。ユーザは、この先願入力装置１００を、いわゆる三次元マウスとして利用して、後述するプロジェクタに関して、点Ｐ（ｎ，ｅ，ｕ）の位置を示す三次元座標値（ｎ，ｅ，ｕ）や、ＸＹＺローカル座標系の姿勢（ＮＥＵグローバル座標系上における座標軸Ｘ，Ｙ，Ｚの向き）を入力することができる。
【００４９】
要するに、先願入力装置１００は、ＮＥＵグローバル座標系上における自分自身の現在位置Ｐ（ｎ，ｅ，ｕ）および現在姿勢（座標軸Ｘ，Ｙ，Ｚの向き）を認識する機能を有している。したがって、この先願入力装置１００をプロジェクタに組み込んでおけば、ユーザがプロジェクタを空間上の任意の位置に動かしたり、任意の向きに回転させたとしても、プロジェクタは、自分自身の位置や姿勢を把握することができる。
【００５０】
続いて、先願入力装置１００の構成を、図２に示すブロック図を参照しながら説明する。この先願入力装置１００は、上述したとおり、北方向を示すＮ軸、東方向を示すＥ軸、上方向を示すＵ軸という互いに直交する３軸と原点ＯとをもったＮＥＵグローバル座標系上において、任意の空間位置座標および任意の姿勢を入力する機能をもった装置であり、図示のとおり、加速度センサ１０、角速度センサ２０、磁気センサ３０、信号処理手段４０、装置筐体５０、を備えている。
【００５１】
図に一点鎖線で囲って示すように、この例の場合、加速度センサ１０、角速度センサ２０、磁気センサ３０、信号処理手段４０は、いずれも装置筐体５０（図１に直方体として示す部材）の内部に組み込まれている。後述するように、信号処理手段４０は、必ずしも装置筐体５０内に組み込む必要はなく、外部の装置に設けておくことも可能であるが、各センサ１０，２０，３０は、装置筐体５０内に組み込んでおく必要がある。これは、センサ１０，２０，３０が、それぞれ装置筐体５０に作用する加速度α，角速度ω，磁気ｍを検出する役割を果たすためである。
【００５２】
図１で説明したとおり、装置筐体５０上には、Ｘ軸、Ｙ軸、Ｚ軸という互いに直交する３軸と原点ＰとをもったＸＹＺローカル座標系が定義されており、このＸＹＺローカル座標系は、装置筐体５０の移動とともに移動し、装置筐体５０の回転とともに回転するように装置筐体５０に対して固定された座標系になっている。ここで、加速度センサ１０は、この装置筐体５０に作用した加速度のＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚをそれぞれ検出する機能を有する。また、角速度センサ２０は、装置筐体５０に作用した角速度のＸ軸まわり成分ωｘ、Ｙ軸まわり成分ωｙ、Ｚ軸まわり成分ωｚを検出する機能を有する。更に、磁気センサ３０は、装置筐体５０に作用した磁力（地磁気）のＸ軸方向成分ｍｘ、Ｙ軸方向成分ｍｙ、Ｚ軸方向成分ｍｚを検出する機能を有する。
【００５３】
いずれのセンサ１０，２０，３０も、検出値を電気信号（たとえば、電圧値）として出力する機能を有している。このような機能をもった三次元の加速度センサ１０、角速度センサ２０、磁気センサ３０としては、様々なタイプのものが市販されているため、ここでは各センサの具体的な構成についての説明は省略する。
【００５４】
信号処理手段４０は、これらセンサ１０，２０，３０から電気信号として出力されてきた検出値をデジタルデータとして取り込み、後述する姿勢認識処理や位置認識処理を実行する機能をもった構成要素である。図示のとおり、この信号処理手段４０には、検出値格納部４１、移動判定部４２、初期設定部４３、回転判定部４４、位置認識部４５、姿勢認識部４６が設けられている。ここでは、この装置の原理を説明する便宜上、これら各構成要素を個々のブロックとして示してあるが、実際には、信号処理手段４０は、後述する処理機能を実行するための専用のプログラムをコンピュータに組み込むことによって構成することができる。あるいは、同等の機能を半導体集積回路によって実現することも可能である。
【００５５】
結局、先願入力装置１００は、装置筐体５０内に、加速度センサ１０、角速度センサ２０、磁気センサ３０を組み込むとともに、これらセンサ１０，２０，３０の検出値を処理するための信号処理手段４０として機能するコンピュータもしくは半導体集積回路を組み込むことによって構成することができる。ここでは、この信号処理手段４０を、図にブロックで示す個々の構成要素の集合体として捉え、その機能を個別に説明することにする。
【００５６】
まず、検出値格納部４１は、各センサ１０，２０，３０の検出値を所定周期で取り込み、これを時系列データとして逐次格納する機能をもった構成要素であり、実際には、メモリやレジスタによって構成される。なお、各センサ１０，２０，３０が電圧値などのアナログ信号として検出値を出力するタイプのものである場合には、検出値格納部４１の入力段に、アナログ信号をデジタル信号に変換して取り込むためのＡ／Ｄ変換器を設けておくようにする。
【００５７】
たとえば、２０Ｈｚで検出値のサンプリングを行うことにすれば、５０ｍｓごとに各検出値がデジタルデータとして取り込まれ、検出値格納部４１内に時系列データとして順番に格納されてゆくことになる。図には、検出値格納部４１内に、加速度αの各座標軸成分αｘ（ｔ），αｙ（ｔ），αｚ（ｔ）、角速度ωの各座標軸成分ωｘ（ｔ），ωｙ（ｔ），ωｚ（ｔ）、磁気ｍの各座標軸成分ｍｘ（ｔ），ｍｙ（ｔ），ｍｚ（ｔ）が格納されている状態が示されている。ここで、ｔは時間を示すパラメータであり、たとえば、時刻ｔ＝０ｍｓから、２０Ｈｚでサンプリングを行った場合、加速度のＸ軸方向成分は、αｘ（０ｍｓ），αｘ（５０ｍｓ），αｘ（１００ｍｓ），... という具合に逐次格納されてゆくことになる。
【００５８】
もちろん、検出値格納部４１のデータ格納容量には制限があるため、実用上は、古いサンプルから順次消去してゆくようにし、常に、最新の一定期間内の検出値のみが格納されている状態になるようにする。移動判定部４２、初期設定部４３、回転判定部４４、位置認識部４５、姿勢認識部４６は、この検出値格納部４１に格納されているデータに基づいて、後述する種々の処理を行うことになる。
【００５９】
まず、移動判定部４２は、加速度センサ１０の検出値αに基づいて、装置筐体５０が移動状態もしくは停止状態のいずれにあるかを判定する移動判定処理を実行する。判定結果は、移動状態／停止状態のいずれかを示す二値情報として、初期設定部４３、位置認識部４５、姿勢認識部４６に与えられる。移動判定処理の具体的な方法については後述する。なお、本願において「停止状態」とは、装置筐体５０の位置基準点Ｐ（ＸＹＺローカル座標系の原点）のＮＥＵグローバル座標系上の座標値（ｎ，ｅ，ｕ）が変化していない状態を指すので、位置基準点Ｐを中心に装置筐体５０が回転している場合も「停止状態」ということになる。
【００６０】
一方、回転判定部４４は、角速度センサ２０の検出値ωに基づいて、装置筐体５０が回転状態もしくは非回転状態のいずれにあるかを判定する回転判定処理を実行する。ここで「回転状態」とは、装置筐体５０が、位置基準点Ｐを中心に回転するように姿勢を変化させている状態を指し、判定結果は、回転状態／非回転状態のいずれかを示す二値情報として、初期設定部４３および姿勢認識部４６に与えられる。このように、本願において、移動状態か停止状態かという判定と、回転状態か非回転状態かという判定とは、全く異なる事象に対する判定であり、それぞれ別個独立して行われることになる。
【００６１】
姿勢認識部４６は、移動判定部４２が停止状態との判定を行っているときに、加速度センサ１０の検出値αと磁気センサ３０の検出値ｍとに基づいて、装置筐体５０のＮＥＵグローバル座標系上における姿勢Ａを認識する姿勢認識処理を行う。ここで、装置筐体５０の姿勢Ａとは、図１に示す例の場合、先願入力装置１００（装置筐体５０）として示す直方体のＮＥＵグローバル座標系上の向きを意味するものであり、ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係を示す情報ということになる。
【００６２】
具体的には、この姿勢Ａは、後述するように、ＮＥＵグローバル座標系上に定義した単位ベクトルＸ→，Ｙ→，Ｚ→の集合体として求められる。そこで、ここでは、姿勢認識部４６が認識した姿勢を、Ａ（Ｘ→，Ｙ→，Ｚ→）と表すことにする。認識された姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は、位置認識部４５および移動判定部４２に与えられる。また、図示のとおり、認識された姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は外部（後述するように、プロジェクタの画像補正手段）に与えられる。姿勢認識処理の具体的な方法については後述する。
【００６３】
なお、電子出願の制約上、図面以外では、記号の上にベクトル符号（矢印）を付記することができないため、たとえば、「ベクトルＸ」については、必要な場合には「ベクトルＸ→」のように、記号の右脇にベクトル符号（矢印）を付記することとし、特に誤解が生じない場合には、ベクトル符号「→」を省略して、単に「ベクトルＸ」のように標記することにする。
【００６４】
位置認識部４５は、移動判定部４２の判定結果によって停止状態から移動状態に遷移したことが認識された場合に、移動直前に姿勢認識部４６が認識した姿勢Ａと加速度センサ１０の検出値αとに基づいて、装置筐体５０のＮＥＵグローバル座標系上における位置Ｐの変化を逐時認識し、認識された位置ＰのＮＥＵグローバル座標系上における座標値Ｐ（ｎ，ｅ，ｕ）を、入力対象となる空間位置座標として、後述するプロジェクタに対して出力する。このように、本発明に係るプロジェクタに対しては、この先願入力装置１００から、姿勢出力Ａ（Ｘ→，Ｙ→，Ｚ→）と位置出力Ｐ（ｎ，ｅ，ｕ）が与えられることになる（後述するように、位置出力Ｐ（ｎ，ｅ，ｕ）は、本発明に係るプロジェクタにとって必須のものではない）。
【００６５】
初期設定部４３は、ユーザからの初期設定指示を入力し、この初期設定指示が入力された時点で姿勢認識部４６および位置認識部４５に初期設定信号を与える役割を果たす。たとえば、初期設定部４３を装置筐体５０に設けられた初期設定ボタンとして用意した場合、ユーザは、この先願入力装置１００の利用を開始する際に、まず、この初期設定ボタンを押すことにより、初期設定部４３に対して初期設定指示を与える操作を行えばよい。後述するように、実用上は、この初期設定ボタンは、プロジェクタに設けられた投影面設定ボタンと兼用させてもかまわない。
【００６６】
初期設定ボタンが押されると、初期設定部４３から、姿勢認識部４６および位置認識部４５に初期設定信号が与えられる。姿勢認識部４６は、初期設定信号が与えられた時点で認識された姿勢を初期姿勢Ａ０として保持し、位置認識部４５は、初期設定信号が与えられた時点の位置を初期位置Ｐ０として保持する。位置認識部４５は、この初期位置Ｐ０を起点として、以後、位置の更新を逐次行っていくことになる。
【００６７】
ここに示す例の場合、移動判定部４２から初期設定部４３に対して判定結果が与えられるとともに、回転判定部４４から初期設定部４３に対して判定結果が与えられる。そして、初期設定部４３は、停止状態かつ非回転状態の場合（以後、静止状態という）に、初期設定信号を与える処理を実行するとともに、加速度センサ１０の検出値αに基づいて、当該静止状態において得られた加速度の大きさを重力加速度の大きさｇとして求め、これを移動判定部４２および位置認識部４５に与える処理を行う。この初期設定部４３によって行われる具体的な初期設定処理については後述する。
【００６８】
＜＜＜  §２．  先願入力装置の動作原理  ＞＞＞
続いて、図２に示す先願入力装置１００の動作原理を説明する。図３は、図２に示す加速度センサ１０によって検出された加速度ベクトルαの斜視図である。§１で述べたとおり、加速度センサ１０は、装置筐体５０に作用した加速度αのＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚをそれぞれ検出する機能を有している。そこで、図３に示すように、ＸＹＺローカル座標系上に点Ｑ（αｘ，αｙ，αｚ）をとり、原点Ｐを始点、点Ｑを終点とするベクトルを定義すれば、当該ベクトルは、作用した加速度αの方向と大きさを示す加速度ベクトルαということになる。
【００６９】
図４は、物体に作用した加速度αの二階積分によって当該物体の移動距離ｄを求める一般的な原理を示すグラフである。いま、図４(a) に示すように、時刻ｔ０〜ｔ１まで静止状態を維持していた物体に対して、時刻ｔ１〜ｔ２の期間、図示のような加速度α（すなわち、当該加速度αに対応する力）が作用したものとしよう。この場合、当該物体は、図４(b) に示すような速度Ｖで加速度αの方向に移動することになり、図４(c) に示す距離ｄだけ移動することになる。
【００７０】
この場合、物理法則によれば、速度Ｖは、Ｖ＝∫αｄｔなる式により加速度αを時間積分することにより求まり、距離ｄは、ｄ＝∫Ｖｄｔなる式により速度Ｖを時間積分することにより求まる。結局、距離ｄは、ｄ＝∫∫αｄｔ２なる式により、加速度αに対する二階積分演算を行うことにより得られることになる。すなわち、加速度センサ１０によって検出された加速度αの値を時間ｔによって二階積分すれば、移動距離ｄを求めることができる。しかも、移動方向は、加速度ベクトルαの示す方向であるから、移動前の位置を、加速度ベクトルαの示す移動方向に沿って移動距離ｄだけ移動することにより移動後の位置を求めることができる。これが、先願入力装置１００が自己の現在位置Ｐ（ＸＹＺローカル座標系の原点）を認識する原理である。
【００７１】
もっとも、ＸＹＺローカル座標系は、ＮＥＵグローバル座標系に対して移動するとともに回転もするため、その向きを変えることができる。§１で述べたとおり、ＸＹＺローカル座標系のＮＥＵグローバル座標系に対する向きは、装置筐体５０の姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）として、姿勢認識部４６によって認識される。したがって、認識した姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）を考慮に入れれば、図３に示すＸＹＺローカル座標系上に定義された加速度ベクトルαの向きを、ＮＥＵグローバル座標系上での向きに変換することができ、ＮＥＵグローバル座標系上での移動方向を把握することができる。
【００７２】
図５は、姿勢認識部４６によって認識された姿勢Ａの実データ構成を示す斜視図である。ＮＥＵグローバル座標系上の１点Ｐ（ｎ，ｅ，ｕ）は、先願入力装置１００の現在位置（たとえば、装置筐体５０の中心点）を示す点であり、当該点Ｐ（ｎ，ｅ，ｕ）を原点として、先願入力装置１００に固定されたＸＹＺローカル座標系が定義されることは、既に§１で述べたとおりである。ここで、原点Ｐから下方に向かうベクトルＧは、重力の作用を示す重力ベクトルである。このＸＹＺローカル座標系は、ユーザが先願入力装置１００の装置筐体５０を手にもって移動させると、装置筐体５０とともに移動し、回転させると（姿勢を変化させると）、装置筐体５０とともに回転することになる。
【００７３】
なお、重力ベクトルＧの方向は、常に鉛直方向Ｄを向くことになり、ＮＥＵグローバル座標系上では、常に−Ｕ軸方向に固定されている。したがって、装置筐体５０の姿勢を変化させてＸＹＺローカル座標系を回転させたとしても、重力ベクトルＧの方向は変化しない。
【００７４】
図５には、Ｘ軸に平行な単位ベクトルＸと、Ｙ軸に平行な単位ベクトルＹと、Ｚ軸に平行な単位ベクトルＺとを、ＮＥＵグローバル座標系の原点Ｏに始点がくるように配置した状態が示されている。ここで、点Ｑｘ（ｎｘ，ｅｘ，ｕｘ），点Ｑｙ（ｎｙ，ｅｙ，ｕｙ），点Ｑｚ（ｎｚ，ｅｚ，ｕｚ）は、それぞれ単位ベクトルＸ，Ｙ，Ｚの終点である。結局、装置筐体５０の姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は、単位ベクトルＸのＮ軸，Ｅ軸，Ｕ軸方向成分（ｎｘ，ｅｘ，ｕｘ）、単位ベクトルＹのＮ軸，Ｅ軸，Ｕ軸方向成分（ｎｙ，ｅｙ，ｕｙ）、単位ベクトルＺのＮ軸，Ｅ軸，Ｕ軸方向成分（ｎｚ，ｅｚ，ｕｚ）を示すデータとして求めることができる。もちろん、姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は、この他にも様々な方法（たとえば、各単位ベクトルの向きを方位角φおよび仰角θで示す方法など）で表現することが可能であり、図５に示す表現方法に限定されるものではない。
【００７５】
さて、図２に示す先願入力装置１００には、加速度センサ１０とともに角速度センサ２０が備わっているため、加速度αの検出値と角速度ωの検出値とを用いれば、位置および姿勢の時間的な変遷を辿ることが可能である。図４を用いて説明したとおり、加速度αの二階積分値として移動距離ｄを求めることができるので、姿勢Ａの情報が得られれば、ＮＥＵグローバル座標系上での位置の時間的変遷を辿ることができる。また、角速度ωの積分値として角度の変位量を求めることができるので、姿勢Ａの時間的変遷を辿ることもできる。
【００７６】
したがって、たとえば、ユーザが、装置筐体５０を、テーブルの上面などの水平面上に所定方向が北を向くように載置し、初期設定部４３を構成する初期設定ボタンを押す操作を行った時点で、装置筐体５０の中心点位置を初期位置Ｐ０に設定し、装置筐体５０の姿勢を初期姿勢Ａ０に設定するようにすれば、理論的には、以後、加速度センサ１０が検出した加速度αと角速度センサ２０が検出した角速度ωとに基づく演算処理により、位置Ｐおよび姿勢Ａの時間的変遷を辿ることができる。
【００７７】
しかしながら、本願発明者が行った実験によると、ユーザが手に保持した装置筐体５０について、上記方法により位置Ｐおよび姿勢Ａの時間的変遷を正確に辿ることは困難であった。その原因は、現在、量産タイプとして市販されている商用の角速度センサでは、ユーザが手に保持した装置筐体５０に作用する角速度ωを十分な応答性および十分な精度をもって検出することが困難であるためと考えられる。
【００７８】
たとえば、大気中を漂う気球のような物体であれば、一般的な商用センサによって検出した加速度αおよび角速度ωに基づいて、当該物体の位置Ｐおよび姿勢Ａの時間的変遷を、ある程度正確に把握することが可能と思われる。しかしながら、先願入力装置１００は、ユーザが装置筐体５０を手に持って動かすことを前提とした装置であり、そのような利用環境下では、一般的な商用センサを用いた加速度αおよび角速度ωの検出値に基づいて、その動きを正確に把握することは困難である。
【００７９】
これは、人間が手で移動させている物体に作用する加速度αや角速度ωには、後に波形図を示すように、振動成分が含まれているため、特にジャイロを利用した一般的な商用角速度センサでは、十分な応答性および精度をもって角速度ωを検出することが困難であるためと考えられる。このような観点から、本願発明者は、装置筐体５０の姿勢Ａを認識する方法として、初期姿勢Ａ０に対して角速度ωの積分値に基づく向きの変動分を加えてゆく方法は好ましくないと考えている。
【００８０】
そこで、先願入力装置１００では、装置筐体５０が停止している状態において、加速度センサ１０の検出値αと磁気センサ３０の検出値ｍとに基づいて、装置筐体５０の姿勢Ａを認識する方法を採用している。この方法によれば、装置筐体５０を人間が手で保持している状態においても、その姿勢Ａを実用上十分な精度で認識することが可能になる。以下、この姿勢認識方法の原理を説明する。
【００８１】
図６は、地球上の所定位置において、地磁気に基づいて検出される磁気ベクトルＭを示す図である。地球の磁北極Ｎと磁南極Ｓとの間には、図に破線で示すような磁力線を描くことができ、地球上の任意の位置では、この磁力線の接線方向を向いた磁気ベクトルＭとして磁力の向きと大きさが検出できる。したがって、先願入力装置１００を地球上の任意の位置に配置すると、磁気センサ３０によって、図示の磁気ベクトルＭの各座標軸方向成分ｍｘ，ｍｙ，ｍｚが検出される（もちろん、磁気的な干渉を及ぼすおそれのあるマグネットなどは遠ざけておく必要がある）。
【００８２】
図７は、このようにして検出された磁気ベクトルＭと重力ベクトルＧとを示す斜視図である。前述したように、先願入力装置１００における姿勢認識は、装置筐体５０が停止している状態においてのみ行われる。装置筐体５０が停止していれば、装置筐体５０に作用する加速度αは重力加速度Ｇのみであり、図７に示す重力ベクトルＧは、加速度ベクトルαに一致する。したがって、重力ベクトルＧの各座標軸成分ｇｘ，ｇｙ，ｇｚは、それぞれ加速度センサ１０の検出値αｘ，αｙ，αｚとして得られることになる。一方、磁気ベクトルＭの各座標軸成分は、磁気センサ３０の検出値ｍｘ，ｍｙ，ｍｚとして得られる。
【００８３】
図７は、ＸＹＺローカル座標系上における重力ベクトルＧおよび磁気ベクトルＭの方向を示すものであるが、この重力ベクトルＧおよび磁気ベクトルＭの方向に基づいて、ＮＥＵグローバル座標系の各座標軸Ｎ，Ｅ，Ｕの方向を決定することができる。すなわち、ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係として、装置筐体の姿勢Ａを認識することができる。以下、この姿勢認識の具体的な方法を図８を参照しながら説明する。
【００８４】
図８の上段の図は、図２に示す姿勢認識部４６による姿勢認識の基本原理を示す斜視図である。この図には、ＮＥＵグローバル座標系を構成するＮ軸（北），Ｅ軸（東），Ｕ軸（上）が既に描かれているが、ここでは、姿勢認識の基本原理を説明する都合上、装置筐体５０の現在位置Ｐ（たとえば、中心点位置）を原点とするＸＹＺローカル座標系上において、図７に示すように、重力ベクトルＧと磁気ベクトルＭの方向のみが与えられているものとしよう。
【００８５】
まず、重力ベクトルＧは、重力の作用する方向を向いたベクトルであるので、図８に示すとおり、鉛直方向Ｄを向いたベクトルになる。したがって、この重力ベクトルＧとは逆向きの方向に上方ベクトルＵを定義すれば、Ｕ軸方向は、この上方ベクトルＵの方向として決定することができる。
【００８６】
上述したとおり、装置筐体５０が停止していれば、装置筐体５０に作用する加速度αは重力加速度Ｇのみであるから、移動判定部４２が停止状態との判定を行っているときに得られた加速度センサ１０の検出値αｘ，αｙ，αｚは、それぞれ重力加速度ＧのＸ軸方向成分ｇｘ、Ｙ軸方向成分ｇｙ、Ｚ軸方向成分ｇｚになる。そこで、これら検出値に基づいて重力ベクトルＧ（ｇｘ，ｇｙ，ｇｚ）を求め、この重力ベクトルＧとは逆向きの上方ベクトルＵを定義すれば、当該上方ベクトルＵの方向としてＵ軸方向を認識することができる。
【００８７】
一方、磁気センサ３０の検出値ｍｘ，ｍｙ，ｍｚを各成分とする磁気ベクトルＭ（ｍｘ，ｍｙ，ｍｚ）を定め、重力ベクトルＧと磁気ベクトルＭとの双方を含む平面ξを求めれば、当該平面ξは南北方向を向いた鉛直面を構成する。これは、磁気ベクトルＭが、図６に示すような磁力線に沿った方向を向いているためである。したがって、重力ベクトルＧと磁気ベクトルＭとの双方に直交するベクトル（別言すれば、鉛直面ξに直交するベクトル）として、東方ベクトルＥを求めることができ、この東方ベクトルＥの方向をＥ軸方向と認識することができる。
【００８８】
最後に、この東方ベクトルＥと重力ベクトルＧとの双方に直交するベクトルとして、北方ベクトルＮを求めることができ、この北方ベクトルＮの方向をＮ軸方向と認識することができる。かくして、ＸＹＺローカル座標系上において、ＮＥＵグローバル座標系を構成するＵ軸（上），Ｅ軸（東），Ｎ軸（北）の各方向を認識することができる。ここで、ＮＥ平面ηは水平面に対応し、北方ベクトルＮおよび東方ベクトルＥは、この水平面ηに平行な方向を向いたベクトル、上方ベクトルＵは、この水平面ηに直交する方向を向いたベクトルということになる。要するに、ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係として、装置筐体５０の姿勢Ａが認識できたことになる。
【００８９】
図８の中段には、上述した原理に基づいて、ＸＹＺローカル座標系上におけるＵ，Ｅ，Ｎ軸の方向をベクトルとして求める方法が数式で示されている。まず、Ｕ軸の方向を示す上方ベクトルＵが、「Ｕ→＝−Ｇ→」、すなわち、重力ベクトルＧに対して逆向きのベクトルとして求められる。続いて、Ｅ軸の方向を示す東方ベクトルＥが、「Ｅ→＝Ｇ→×Ｍ→」なる式、すなわち、重力ベクトルＧと磁気ベクトルＭとの外積として求められ、最後に、Ｎ軸の方向を示す北方ベクトルＮが、「Ｎ→＝Ｅ→×Ｇ→」なる式、すなわち、東方ベクトルＥと重力ベクトルＧとの外積として求められる。
【００９０】
数学上、ベクトルＡとベクトルＢの外積「Ｃ→＝Ａ→×Ｂ→」として得られるベクトルＣは、ベクトルＡをベクトルＢに向けて１８０°より小さい方の角の方向に回転させたときに右ネジの進む方向に定義されるベクトルである。したがって、上記式に基づく外積として、東方ベクトルＥおよび北方ベクトルＮを求めれば、それぞれ正しい方向にＥ軸およびＮ軸が定義されることになる。
【００９１】
こうして、ＸＹＺローカル座標系上におけるＵ，Ｅ，Ｎ軸の方向が定義できれば、逆に、ＮＥＵグローバル座標系上におけるＸ，Ｙ，Ｚ軸の方向を定義することができる。すなわち、図８の下段に示すとおり、ＮＥＵグローバル座標系上におけるＸ，Ｙ，Ｚ軸の方向は、単位ベクトルＸ，Ｙ，Ｚを用いて、姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）という形式で求めることができる。
【００９２】
結局、姿勢認識部４６は、装置筐体５０が停止している状態であれば、加速度センサ１０の検出値αと磁気センサ３０の検出値ｍとに基づいて、装置筐体５０の姿勢Ａを認識することが可能であるが、装置筐体５０が移動している状態では、姿勢認識処理を行うことができない。これは、装置筐体５０の移動中は、加速度センサ１０の検出値αに、重力加速度Ｇの成分とともに、移動によって生じる加速度成分（以下、移動加速度成分という）も含まれてしまうため、図８に示す原理における重力加速度Ｇを決定することができないためである。
【００９３】
そこで、図２に示す姿勢認識部４６は、移動判定部４２から停止状態との判定結果が与えられたときにだけ、上記方法により装置筐体５０の姿勢Ａを認識する処理を実行し、移動状態との判定結果が与えられたときには、姿勢認識処理を休止する。なお、姿勢認識処理の休止中（すなわち、装置筐体５０の移動中）、姿勢認識部４６は、移動直前に認識した姿勢Ａを移動判定部４２および位置認識部４５に与えることになる。
【００９４】
結局、ここに示す例の場合、移動判定部４２および位置認識部４５は、移動中は姿勢の変化がなかったものと想定し、移動直前の姿勢Ａがそのまま維持されているものとして、後に詳述する移動判定処理や位置認識処理を行うことになる。もちろん、実際には、ユーザが装置筐体５０を手に持って移動させると、位置だけでなく姿勢も変化することになるので、移動直前の姿勢Ａが移動中も維持されていると仮定した処理を行うと、移動判定処理や位置認識処理に誤差が生じることになるが、当該誤差は、本願のようなプロジェクタに利用する上では、大きな支障を生じさせるものにはならない。
【００９５】
このように、先願入力装置１００では、「装置筐体５０は移動中は姿勢を変化させない」という前提で位置の認識が行われるため、移動中の姿勢変化が生じた場合には、誤差の混入が避けられないが、そのような誤差の混入は、後述するプロジェクタの動作上、重大な障害を生じさせるものではない。「装置筐体５０は移動中は姿勢を変化させない」という前提を採用すれば、上述したように、装置筐体５０が停止状態にあるときにのみ姿勢認識を行えばよいことになり、加速度センサ１０の検出値αと磁気センサ３０の検出値ｍを用いた姿勢認識が可能になるというメリットが得られる。
【００９６】
前述したとおり、商用の角速度センサでは、ユーザが手に保持した装置筐体５０に作用する角速度ωを十分な応答性および十分な精度をもって検出することが困難であり、角速度ωの検出値を利用して正確な姿勢認識を行うことは困難である。これに対して、加速度αと磁気ｍの検出値を用いた姿勢認識では、実用上、十分な精度を確保することができる。
【００９７】
なお、図２に示す先願入力装置１００には、角速度センサ２０が設けられており、装置筐体５０に作用した角速度ωの検出が行われるが、これは、回転判定部４４における回転判定処理に利用するためである。この回転判定部４４の役割については、§３において詳述する。
【００９８】
＜＜＜  §３．  先願入力装置の具体的な動作  ＞＞＞
さて、§２では、図２に示す先願入力装置１００の動作原理を述べたが、ここでは、ユーザが、この先願入力装置１００を手に保持して、空間上で移動や回転をさせたときに、位置や姿勢の認識がどのようにして行われるかを具体的に説明しよう。
【００９９】
＜３−１．初期設定部４３の動作＞
はじめに、初期設定部４３の動作を説明する。ユーザは、この先願入力装置１００を利用する際に、まず、初期設定の作業を行う。§１で述べたとおり、初期設定処理は、ユーザが初期設定部４３に対して初期設定指示を入力することによって実行される。但し、この初期設定処理は、装置筐体５０が静止状態（停止状態かつ非回転状態）の場合に行われることが前提となっている。そこで、実際には、ユーザは、装置筐体５０をテーブルの上面など、静止状態を維持するのに適した場所に載置して、初期設定部４３に対して初期設定指示を入力する。載置場所は必ずしも水平面である必要はなく、載置時の東西南北の方向も任意でかまわない。
【０１００】
図９は、初期設定部４３によって実行される初期設定処理の手順を示す流れ図である。実際には、ステップＳ１〜Ｓ５までが初期設定部４３自身によって実行される手順であり、ステップＳ６は姿勢認識部４６によって実行され、ステップＳ７は位置認識部４５によって実行される。
【０１０１】
まず、ステップＳ１において、初期設定指示の入力の有無が検知される。ここに示す実施例では、初期設定部４３は、装置筐体５０に設けられた初期設定ボタンを有しており、ユーザからの初期設定指示は、この初期設定ボタンを押すことにより与えられる。ユーザが、装置筐体５０をテーブルなどに載置した状態で初期設定ボタンを押すと、初期設定部４３は、初期設定指示が入力されたことを検知し、処理はステップＳ１からステップＳ２へと進むことになる。
【０１０２】
このステップＳ２では、装置筐体５０が静止状態にあるか否かが判定され、静止状態ではなかった場合には、ステップＳ３を経て、ステップＳ１へと戻ることになる。図２に示すとおり、初期設定部４３には、移動判定部４２から移動状態／停止状態を示す判定結果が与えられ、回転判定部４４から回転状態／非回転状態を示す判定結果が与えられている。そこで、初期設定部４３は、停止状態かつ非回転状態との判定結果が与えられている場合にのみ、装置筐体５０が静止状態にあるものと判断し、ステップＳ２からステップＳ４の処理へと進む。
【０１０３】
一方、静止状態でなかった場合には、ステップＳ３において、ユーザに対して初期設定指示の再入力を促す処理が実行され、ステップＳ１における初期設定指示の入力待ち状態へ戻ることになる。再入力を促す処理は、たとえば、初期設定部４３内に設けた小型のスピーカからエラー警告音を発生させたり、赤色ＬＥＤランプを点灯させたり、小型のディスプレイ上に「テーブルなどの上に静止させた状態で初期設定を行ってください」といったメッセージを表示させたり、様々な方法で行うことができる。
【０１０４】
要するに、初期設定部４３は、ユーザから初期設定指示が与えられた時点で、移動判定部４２が移動状態との判定を行っていた場合、もしくは、回転判定部４４が回転状態との判定を行っていた場合に、与えられた初期設定指示を無視し、ユーザに対して初期設定指示の再入力を促す処理を実行することになる。
【０１０５】
再入力を促されたユーザは、装置筐体５０が静止状態にあることを確認した上で、再び初期設定ボタンを押す操作を行う。ユーザが、必ず装置筐体５０を静止状態にして初期設定ボタンを押すよう心がけてくれれば、このステップＳ２の処理は省略することができるが、後述するようにプロジェクタに組み込んで利用する場合、ユーザは、プロジェクタを手に保持したまま初期設定ボタンを押すことになるので、実用上は、ステップＳ２による静止状態の確認処理を行うようにするのが好ましい。
【０１０６】
続くステップＳ４では、重力加速度Ｇの大きさｇを演算によって求め、これを記憶する処理が行われる。前述したように、この初期設定処理は、装置筐体５０が静止状態にあることを前提として行われる処理であるため、初期設定部４３は、初期設定指示を入力した時点における加速度センサ１０の検出値αｘ，αｙ，αｚを、それぞれ重力加速度ＧのＸ軸方向成分ｇｘ、Ｙ軸方向成分ｇｙ、Ｚ軸方向成分ｇｚとして認識し、重力加速度Ｇの大きさｇを、ｇ＝√（ｇｘ２＋ｇｙ２＋ｇｚ２）なる演算によって求めることができる。そこでステップＳ４では、ｇ＝√（αｘ２＋αｙ２＋αｚ２）なる演算によってｇが算出される。
【０１０７】
図２に示す検出値格納部４１から初期設定部４３へ向かう矢印は、このｇを求める演算のために加速度の検出値αが初期設定部４３に与えられることを示している。初期設定部４３は、こうして求めたｇを記憶し、移動判定部４２および位置認識部４５に与える。後述するように、移動判定部４２は、この大きさｇを参照することにより、重力加速度成分を考慮した判定を行い、位置認識部４５は、この大きさｇを参照することにより、重力加速度成分を考慮した位置認識を行うことになる。
【０１０８】
続くステップＳ５では、初期設定部４３から、姿勢認識部４６および位置認識部４５に対して初期設定信号が与えられる。図２において、初期設定部４３から姿勢認識部４６および位置認識部４５へ向かう矢印は、この初期設定信号が与えられることを示している（前述したとおり、位置認識部４５に対しては、大きさｇも与えられる）。
【０１０９】
このように、初期設定部４３が、ユーザから初期設定指示が与えられたときに、姿勢認識部４６および位置認識部４５に対して初期設定信号を与える処理を行うと、姿勢認識部４６は、ステップＳ６に示すように、この初期設定信号が与えられた時点で認識された姿勢を初期姿勢Ａ０（Ｘ→，Ｙ→，Ｚ→）として保持し、位置認識部４５は、ステップＳ７に示すように、この初期設定信号が与えられた時点の位置を初期位置Ｐ０（ｎ０，ｅ０，ｕ０）として保持する（ステップＳ６，Ｓ７は、必ずしもこの順番で行う必要はなく、逆順で行っても、同時に並行処理として行ってもよい）。
【０１１０】
初期位置Ｐ０（ｎ０，ｅ０，ｕ０）を示す座標値（ｎ０，ｅ０，ｕ０）は、任意の値に設定してかまわないが、位置認識部４５は、以後、この初期位置Ｐ０（ｎ０，ｅ０，ｕ０）を起点として位置の更新を行うことにより、各時点の位置認識を行うことになる。したがって、実用上は、たとえば、ｎ０＝０、ｅ０＝０、ｕ０＝０に設定し、初期位置Ｐ０（０，０，０）を設定すればよい。当該設定は、結局、ＮＥＵグローバル座標系の原点Ｏの位置を初期位置とする設定に他ならない。この場合、位置認識部４５は、原点Ｏを起点として装置筐体５０の位置を更新してゆくことになる。
【０１１１】
＜３−２．移動判定部４２の動作＞
続いて、移動判定部４２の動作を説明する。既に述べたとおり、移動判定部４２は、加速度センサ１０の検出値αに基づいて、装置筐体５０が移動状態もしくは停止状態のいずれにあるかを判定する機能を果たす。基本的に、装置筐体５０は、ユーザが手に保持して操作するものである。したがって、手で持っている以上、空間上の位置には微小な変動が生じており、厳密な意味では停止することがない。ただ、先願入力装置１００における移動判定は、ユーザが意図的に移動させたのか否かを、ある程度の精度をもって判定することができれば十分である。
【０１１２】
そこで、ここに示す例の場合、移動判定部４２は、加速度センサ１０の検出値αの変動量が所定範囲を超えている場合に移動状態、当該所定範囲内の場合に停止状態と判定するようにしている。より具体的には、加速度センサ１０の検出値αｘの振幅値、検出値αｙの振幅値、検出値αｚの振幅値、の少なくとも１つが、所定の閾値Δを超えた場合には移動状態、それ以外の場合には停止状態と判定するようにしている。
【０１１３】
図２に示す例の場合、検出値格納部４１内には、たとえば、２０Ｈｚのサンプリング周期で取り込んだ加速度の検出値αｘ（ｔ），αｙ（ｔ），αｚ（ｔ）が逐次格納されているので、これらの検出値について、時間に関する変動量が所定範囲を超えているか否かを判定することができる。参照期間を０.５秒に設定した場合、２０Ｈｚで直前までにサンプリングした１０組の検出値（αｘ，αｙ，αｚ）に基づいて移動判定処理を行うことが可能である。
【０１１４】
図１０は、上述の方針に基づいて、移動判定部４２によって行われる移動判定処理の具体的な方法を示すグラフである。グラフの横軸は時間ｔ、縦軸は加速度センサ１０によって検出された加速度αｘを示している。図示のとおり、加速度センサ１０の検出値αｘには、重力加速度成分ｇｘと移動加速度成分（移動によって生じる加速度成分）とが混在している。ここで、重力加速度成分ｇｘはバイアス成分となり、移動加速度成分は振動成分となる。図１０に示すグラフは、ユーザが装置筐体５０を手に持って、停止状態から所定方向に移動させ、再び停止させる操作を行ったときに得られたグラフである。加速度αｘの値を２０Ｈｚ程度のサンプリングレートで採取すると、この例のように、重力加速度成分ｇｘを中心とする振動波形グラフが得られる。
【０１１５】
ここで、本願発明者が行った実験によると、ユーザが装置筐体５０を停止状態に維持するように意図して保持している間は、この振動波形の振幅値は所定の閾値Δ以内に収まっているが、装置筐体５０を意図的に移動させると、振幅値は当該閾値Δを超える現象が認められた。そこで、予め適切な閾値Δを設定しておけば、検出値αｘの振幅値が閾値Δを超えた場合には移動状態、それ以外の場合には停止状態と判定することができる。
【０１１６】
図示の例の場合、時刻ｔ０〜ｔ１までの振幅値は閾値Δ以内に収まっているが、時刻ｔ１〜ｔ２の期間は振幅値が閾値Δを超え、時刻ｔ２以降は振幅値が再び閾値Δ以内に収まっている。したがって、加速度のＸ軸方向成分αｘの判定に関しては、時刻ｔ０〜ｔ１の期間は停止、時刻ｔ１〜ｔ２の期間は移動、時刻ｔ２〜の期間は停止と判定することができる。
【０１１７】
なお、一般に、時間的な変動を生じる物理量について、その変動量が所定範囲を超えているか否かを判定するには、所定の参照期間を設定して当該物理量の時間的な変動を解析する必要がある。たとえば、過去０.５秒間を参照期間と設定し、検出値格納部４１に格納されていたこの参照期間内のサンプルを解析すれば、この期間中の振幅値を求めることができる。
【０１１８】
ただ、図１０に示すとおり、加速度αｘの振幅は、重力加速度成分ｇｘの値を中心とする振動波形になるので、ここに示す実施例の場合、図に一点鎖線で示すように、上限値をｇｘ＋Δ／２、下限値をｇｘ−Δ／２と定め、加速度αｘの値が上限値を上まわるか、下限値を下まわる場合に、振幅値が閾値Δを超えたものとする判定方法を採用している。このような判定方法を採用すれば、加速度αｘについて、１つのサンプル値のみに基づいて判定を行うことが可能になる。
【０１１９】
ここで、重力加速度成分ｇｘの値は、装置筐体５０の姿勢Ａの変化に伴って変化する値になるが、姿勢認識部４６から与えられる姿勢Ａと、初期設定部４３から与えられる重力ベクトルＧの大きさｇに基づいて、最新値を算出することができる。すなわち、姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は、図５に示すとおり、ＮＥＵグローバル座標系上におけるＸ軸，Ｙ軸，Ｚ軸の各方向を示す情報であるから、重力ベクトルＧの大きさｇが既知であれば、その各軸方向成分ｇｘ，ｇｙ，ｇｚの値を算出することができる。
【０１２０】
以上、図１０に示す加速度αｘについて、停止／移動を判定する具体的な方法を説明したが、移動判定部４２による実際の移動判定処理は、３つの軸方向成分αｘ，αｙ，αｚのすべてについて、それぞれ同様の判定を行い、少なくとも１つの成分に関して移動と判定された場合は移動状態との判定を行い、３つの成分すべてに関して停止と判定された場合は停止状態との最終判定を行うことになる。したがって、図示する時刻ｔ０〜ｔ１の期間や時刻ｔ２〜の期間であっても、他軸成分について移動との判定がなされた場合には、最終的には、移動状態と判定されることになる。
【０１２１】
なお、実際には、加速度センサ１０は、様々な要因によってイレギュラーな検出値を出力することがある。このようなイレギュラーな検出値によって、停止状態から移動状態への遷移判定もしくは移動状態から停止状態への遷移判定が行われてしまうことは好ましくない。そこで、実用上は、移動判定部４２が、停止状態から移動状態への遷移判定もしくは移動状態から停止状態への遷移判定を行う際に、遷移後の状態としての条件が所定の監視期間にわたって継続して満足された場合に限り、当該遷移判定を行うようにするのが好ましい。
【０１２２】
たとえば、これまで停止状態が維持されていたときに、たまたま、加速度成分αｘについて、何らかのイレギュラー要因により、上限値ｇｘ＋Δ／２を上まわるサンプル値が１つだけ得られたような場合でも、３サンプル分の監視期間を設定しておくようにすれば、上限値ｇｘ＋Δ／２を上まわるサンプル値が３つ連続して得られなければ、移動状態へ遷移する判定が行われることはないので、イレギュラーな検出値の発生により無用な遷移判定が行われるのを防ぐことができる。
【０１２３】
＜３−３．回転判定部４４の動作＞
続いて、回転判定部４４の動作を説明する。既に述べたとおり、回転判定部４４は、角速度センサ２０の検出値ωに基づいて、装置筐体５０が回転状態もしくは非回転状態のいずれにあるかを判定する機能を果たす。ただ、本発明における回転判定も、ユーザが意図的に回転させたのか否かを、ある程度の精度をもって判定することができれば十分であり、上述した移動判定部４２における判定方法とほぼ同様の判定方法を採用することができる。
【０１２４】
ここに示す基本的な実施形態の場合、回転判定部４４は、角速度センサ２０の検出値ωの変動量が所定範囲を超えている場合に回転状態、当該所定範囲内の場合に非回転状態と判定するようにしている。より具体的には、角速度センサ２０の検出値ωｘの振幅値、検出値ωｙの振幅値、検出値ωｚの振幅値、の少なくとも１つが、所定の閾値θを超えた場合には回転状態、それ以外の場合には非回転状態と判定するようにしている。
【０１２５】
図２に示す例の場合、検出値格納部４１内には、たとえば、２０Ｈｚのサンプリング周期で取り込んだ角速度の検出値ωｘ（ｔ），ωｙ（ｔ），ωｚ（ｔ）が逐次格納されているので、これらの検出値について、時間に関する変動量が所定範囲を超えているか否かを判定することができる。参照期間を０.５秒に設定した場合、２０Ｈｚで直前までにサンプリングした１０組の検出値（ωｘ，ωｙ，ωｚ）に基づいて回転判定処理を行うことが可能である。
【０１２６】
図１１は、上述の方針に基づいて、回転判定部４４によって行われる回転判定処理の具体的な方法を示すグラフである。グラフの横軸は時間ｔ、縦軸は角速度センサ２０によって検出された角速度ωｘを示している。ユーザが装置筐体５０を手に持って、非回転状態から回転を開始し、再び回転をやめる操作を行ったときに、作用する角速度ωｘの値を２０Ｈｚ程度のサンプリングレートで採取すると、図示のように、０を中心とする振動波形グラフが得られる。
【０１２７】
本願発明者が行った実験によると、ユーザが装置筐体５０を非回転状態に維持するように意図して保持している間は、この振動波形の振幅値は所定の閾値θ以内に収まっているが、装置筐体５０を意図的に回転させると、振幅値は当該閾値θを超える現象が認められた。そこで、予め適切な閾値θを設定しておけば、検出値ωｘの振幅値が閾値θを超えた場合には回転状態、それ以外の場合には非回転状態と判定することができる。
【０１２８】
図示の例の場合、時刻ｔ０〜ｔ１までの振幅値は閾値θ以内に収まっているが、時刻ｔ１〜ｔ２の期間は振幅値が閾値θを超え、時刻ｔ２以降は振幅値が再び閾値θ以内に収まっている。したがって、角速度のＸ軸まわり成分ωｘの判定に関しては、時刻ｔ０〜ｔ１の期間は非回転、時刻ｔ１〜ｔ２の期間は回転、時刻ｔ２〜の期間は非回転と判定することができる。この角速度ωｘについても、その変動量が所定範囲を超えているか否かを判定するには、所定の参照期間を設定して時間的な変動を解析する必要がある。たとえば、過去０.５秒間を参照期間と設定し、検出値格納部４１に格納されていたこの参照期間内のサンプルを解析すれば、この期間中の振幅値を求めることができる。
【０１２９】
ただ、図１１に示すとおり、角速度ωｘの振幅は、０を中心とする振動波形になるので、ここに示す実施例の場合、図に一点鎖線で示すように、上限値を＋θ／２、下限値を−θ／２と定め、角速度ωｘの値が上限値を上まわるか、下限値を下まわる場合に、振幅値が閾値θを超えたものとする判定方法を採用している。このような判定方法を採用すれば、角速度ωｘについて、１つのサンプル値のみに基づいて判定を行うことが可能になる。
【０１３０】
以上、図１１に示す角速度ωｘについて、非回転／回転を判定する具体的な方法を説明したが、回転判定部４４による実際の回転判定処理は、３つの軸まわり成分ωｘ，ωｙ，ωｚのすべてについて、それぞれ同様の判定を行い、少なくとも１つの成分に関して回転と判定された場合は回転状態との判定を行い、３つの成分すべてに関して非回転と判定された場合は非回転状態との最終判定を行うことになる。したがって、図示する時刻ｔ０〜ｔ１の期間や時刻ｔ２〜の期間であっても、他軸成分について回転との判定がなされた場合には、最終的には、回転状態と判定されることになる。
【０１３１】
なお、実際には、加速度センサ１０と同様に角速度センサ２０も、様々な要因によってイレギュラーな検出値を出力することがある。このようなイレギュラーな検出値によって、非回転状態から回転状態への遷移判定もしくは回転状態から非回転状態への遷移判定が行われてしまうことは好ましくない。そこで、実用上は、回転判定部４４が、非回転状態から回転状態への遷移判定もしくは回転状態から非回転状態への遷移判定を行う際に、遷移後の状態としての条件が所定の監視期間にわたって継続して満足された場合に限り、当該遷移判定を行うようにするのが好ましい。
【０１３２】
たとえば、これまで非回転状態が維持されていたときに、たまたま、角速度成分ωｘについて、何らかのイレギュラー要因により、上限値＋θ／２を上まわるサンプル値が１つだけ得られたような場合でも、３サンプル分の監視期間を設定しておくようにすれば、上限値＋θ／２を上まわるサンプル値が３つ連続して得られなければ、回転状態へ遷移する判定が行われることはないので、イレギュラーな検出値の発生により無用な遷移判定が行われるのを防ぐことができる。
【０１３３】
＜３−４．姿勢認識部４６の動作＞
次に、姿勢認識部４６の動作を説明する。姿勢認識部４６は、移動判定部４２が停止状態との判定を行っているときに、加速度センサ１０の検出値αと磁気センサ３０の検出値ｍとに基づいて、装置筐体５０のＮＥＵグローバル座標系上における姿勢Ａを認識する処理を行う。姿勢Ａを認識する具体的な方法は、図８を参照しながら§２で詳述したとおりである。そこで、ここでは、姿勢認識部４６の動作の補足説明として、姿勢認識処理が行われるタイミングを述べておく。
【０１３４】
先願入力装置１００における姿勢認識処理は、移動判定部４２が停止状態との判定を行っているときにのみ実行される。これは、図８に示す原理に基づいて姿勢認識を行う場合に、加速度センサ１０の検出値（αｘ，αｙ，αｚ）を重力ベクトルＧの各軸成分（ｇｘ，ｇｙ，ｇｚ）とみなす取り扱いを行う必要があるためである。
【０１３５】
ただ、ここで述べる基本的実施形態の場合、演算負担を軽減するために、姿勢認識部４６が姿勢認識処理を実行するタイミングを、次の２通りの場合のみに制限する運用を採っている。
【０１３６】
第１の場合は、初期設定部４３から初期設定信号が与えられたときである。初期設定部４３からの初期設定信号は、装置筐体５０が静止状態にあるとき、すなわち、移動判定部４２が停止状態との判定を行い、かつ、回転判定部４４が非回転状態との判定を行っている初期状態において与えられることになるので、姿勢認識部４６は、まず、この初期状態において初期姿勢Ａ０（Ｘ→，Ｙ→，Ｚ→）を認識する処理を行うことになる。
【０１３７】
そして、第２の場合は、この初期状態の後に、移動判定部４２が停止状態との判定を行い、かつ、回転判定部４４が回転状態との判定を行っているときである。別言すれば、移動判定部４２が停止状態との判定を行っていても、回転判定部４４が非回転状態との判定を行っているときには、姿勢認識処理は実行されないことになる。このような運用を採るのは、回転判定部４４が非回転状態との判定を行っている場合には、姿勢Ａに変化は生じていないと考えられ、姿勢Ａの更新は不要と考えられるためである。この場合、最後に認識した姿勢Ａがそのまま現在の姿勢Ａとして流用されることになる。
【０１３８】
図１２は、上記運用を採用した場合に、姿勢認識部４６によって姿勢認識処理が行われる時点を示すタイミングチャートである。図の横軸は時間ｔを示しており、時間軸ｔは、図のチャート(a) の右端からチャート(b) の左端へと繋がっている。各チャートの上段のバーは移動判定部４２による移動判定処理の判定結果（停止状態／移動状態）を示し、下段のバーは回転判定部４４による回転判定処理の判定結果（非回転状態／回転状態）を示している。また、この下段のバーの更に下方に示されたＡ０〜Ａ７７なる矢印は、姿勢認識部４６による姿勢認識処理が行われた時点および認識された姿勢を示している。
【０１３９】
このタイミングチャートでは、まず、時刻ｔ０において、ユーザによる初期設定指示が与えられ、初期設定処理が実行される。前述したとおり、この時点で、姿勢認識部４６は、初期姿勢Ａ０を認識する処理を行うことになる。続いて、時刻ｔ１において、ユーザは、装置筐体５０を持ち上げ、そのまま水平移動させたため、時刻ｔ１〜ｔ２の期間が移動状態として検知される。そして、時刻ｔ２〜ｔ３の期間は停止かつ非回転状態となり、続く時刻ｔ３〜ｔ４の期間は、装置筐体５０の位置をそのままに保持して姿勢を変える回転操作が行われ、更に、時刻ｔ４〜ｔ５の期間は、装置筐体５０の姿勢をそのまま維持させながら平行移動する操作が行われ、時刻ｔ５〜ｔ６の期間は、移動とともに、姿勢を変える回転操作が行われている。
【０１４０】
続く時刻ｔ６になると、移動操作は中止するが、回転操作はそのまま続行し、やがて時刻ｔ７において、回転操作も中止した状態になる。したがって、時刻ｔ７〜ｔ８の期間は、停止かつ非回転状態になる。更に、時刻ｔ８になると平行移動操作が行われ、時刻ｔ９〜ｔ１０の期間は、移動状態のまま回転操作も加えられる。そして、時刻ｔ１０〜ｔ１１の期間は、移動状態かつ非回転状態になり、最後の時刻ｔ１１において、停止状態かつ非回転状態になる。
【０１４１】
装置筐体５０に対して、このような操作が行われた場合に、上述した運用を採ると、初期姿勢Ａ０が認識された後は、時刻ｔ３〜ｔ４の期間（停止状態かつ回転状態の期間）に所定周期で姿勢認識処理が行われ、初期姿勢Ａ０が、Ａ１〜Ａ３４に更新されることになる。また、時刻ｔ６〜ｔ７の期間（停止状態かつ回転状態の期間）に所定周期で姿勢認識処理が行われ、姿勢がＡ３５〜Ａ７７に更新されることになる。このように、初期姿勢Ａ０が認識された後は、「停止状態かつ回転状態の期間」にのみ、所定周期（たとえば、サンプリング周期と同じ２０Ｈｚ周期）で姿勢の更新処理が行われる。
【０１４２】
このような運用を採れば、姿勢認識部４６は、初期設定後、姿勢に変化が生じたと考えられる期間についてのみ、新たな姿勢認識処理を行って姿勢の更新を行えばよいので、演算負担を低減させることができる。図２に示すように、姿勢認識部４６から移動判定部４２および位置認識部４５に対しては、各時点の姿勢Ａが与えられることになるが、姿勢Ａの更新が行われていない場合には、最後に認識された姿勢Ａが最新の姿勢として与えられることになる。たとえば、図１２のタイミングチャートにおいて、期間ｔ０〜ｔ３は、時刻ｔ０で得られた初期姿勢Ａ０（移動直前の姿勢）が与えられ、期間ｔ４〜ｔ６は、時刻ｔ４で得られた姿勢Ａ３４（移動直前の姿勢）が与えられ、期間ｔ７〜ｔ１１は、時刻ｔ７で得られた姿勢Ａ７７（移動直前の姿勢）が与えられる。
【０１４３】
このタイミングチャートにおいて、上段のバーにおける「移動（Ａ０）」，「移動（Ａ３４）」，「移動（Ａ７７）」なる表記は、それぞれ姿勢Ａ０，Ａ３４，Ａ７７を維持した状態で移動したものとして取り扱われることを示している。ここで、時刻ｔ９〜ｔ１０の期間は、移動しながら回転している状態となっているので、本来は、この期間中にも姿勢認識処理を実行して、姿勢を更新する処理を行う必要があるが、前述した基本原理により、移動中は姿勢認識処理を行うことができないので、時刻ｔ１１に至るまで、移動直前の姿勢Ａ７７が維持されたものとする取り扱いが行われることになる。
【０１４４】
したがって、この先願入力装置１００では、移動中に回転操作が加わると、姿勢認識部４６によって認識された姿勢Ａに誤差が生じることになり、この姿勢Ａを利用して行われる移動判定部４２による移動判定処理や位置認識部４５による位置認識処理にも影響が及ぶことになる。しかしながら、本願発明者が行った実験によると、プロジェクタの移動中に行われる回転操作の操作量は比較的小さく、しかも停止中の回転操作が行われた時点で、姿勢Ａは正しい値に更新されることになるので、プロジェクタの姿勢や位置を入力する処理を行う上では、実用上、重大な支障にはならない。
【０１４５】
＜３−５．位置認識部４５の動作＞
最後に、位置認識部４５の動作を説明する。位置認識部４５は、移動判定部４２の判定結果によって停止状態から移動状態に遷移したことが認識された場合に、移動直前に姿勢認識部４６が認識した姿勢と加速度センサ１０の検出値とに基づいて、装置筐体５０のＮＥＵグローバル座標系上における位置を逐次認識してゆき、認識された位置のＮＥＵグローバル座標系上における座標値Ｐ（ｎ，ｅ，ｕ）を、プロジェクタに対して空間位置座標として出力する機能を果たす。
【０１４６】
ここでは、装置筐体５０に対して、図１２のタイミングチャートに示すような移動および回転操作が行われた場合について、位置認識部４５によって実行される具体的な位置認識処理を説明しよう。図１３は、このような移動および回転操作が行われたときの位置更新処理の基本原理を示す平面図である。図の点Ｐ０は、時刻ｔ０において行われた初期設定処理により設定された初期位置である。この初期設定処理では、前述したように、初期姿勢Ａ０も認識される。
【０１４７】
図１２に示すように、時刻ｔ１になると、移動判定部４２から与えられる判定結果により停止状態から移動状態に遷移したことが認識される。そこで、位置認識部４５は、移動直前の姿勢Ａ０と加速度センサ１０の検出値α（時刻ｔ１以降の検出値）とに基づいて、現在位置を逐次更新する処理を実行する。具体的には、ＮＥＵグローバル座標系上において、装置筐体５０が姿勢Ａ０を維持しつつ、加速度αが示す移動方向に、加速度αが示す移動距離だけ、初期位置Ｐ０から変位したものとして、現在位置の更新を行うことになる。その結果、時刻ｔ２において、現在位置は点Ｐ０から点Ｐ１に更新されることになる。
【０１４８】
続く時刻ｔ２〜ｔ４の期間は停止状態であるため、現在位置は点Ｐ１の位置に留まることになるが、時刻ｔ４〜ｔ６の期間には再び移動を開始する。そこで、位置認識部４５は、移動直前の姿勢Ａ３４と加速度センサ１０の検出値α（時刻ｔ４以降の検出値）とに基づいて、現在位置を逐次更新する処理を実行する。すなわち、装置筐体が姿勢Ａ３４を維持しつつ、加速度αが示す移動方向に、加速度αが示す移動距離だけ、位置Ｐ１から変位したものとして、現在位置の更新を行うことになる。その結果、時刻ｔ６において、現在位置は点Ｐ１から点Ｐ２に更新される。
【０１４９】
次の時刻ｔ６〜ｔ８の期間は停止状態であるため、現在位置は点Ｐ２の位置に留まることになるが、時刻ｔ８〜ｔ１１の期間には再び移動を開始する。そこで、位置認識部４５は、移動直前の姿勢Ａ７７と加速度センサ１０の検出値α（時刻ｔ８以降の検出値）とに基づいて、現在位置を逐次更新する処理を実行する。すなわち、装置筐体が姿勢Ａ７７を維持しつつ、加速度αが示す移動方向に、加速度αが示す移動距離だけ、位置Ｐ２から変位したものとして、現在位置の更新を行うことになる。その結果、時刻ｔ１１において、現在位置は点Ｐ２から点Ｐ３に更新される。
【０１５０】
結局、図１３に示すとおり、点Ｐ０〜Ｐ１への移動中は姿勢Ａ０が維持されたものとした取り扱いがなされ、点Ｐ１〜Ｐ２への移動中は姿勢Ａ３４が維持されたものとした取り扱いがなされ、点Ｐ２〜Ｐ３への移動中は姿勢Ａ７７が維持されたものとした取り扱いがなされる。実際には、姿勢は必ずしも移動中に一定に維持されるものではなく、移動中に回転操作が加わると、姿勢が変化することになるので、図示の点Ｐ１，Ｐ２，Ｐ３の位置は誤差を含むものになる。ただ、前述したとおり、先願入力装置１００をプロジェクタに組み込んで、その空間位置座標を把握する用途に利用する上では、実用上、大きな支障は生じない。
【０１５１】
なお、図１３では、説明の便宜上、点Ｐ０から点Ｐ１への移動経路、点Ｐ１から点Ｐ２への移動経路、点Ｐ２から点Ｐ３への移動経路を、すべて直線で描いているが、実際には、移動方向は各時点の加速度αが示す移動方向として求まる。たとえば、ユーザが装置筐体５０を円弧に沿って移動させた場合、加速度αが示す移動方向はこの円弧の接線方向に沿うように逐次変化することになるので、位置認識部４５によって認識される移動経路も円弧状になる。また、点Ｐの移動距離ｄは、図４のグラフを用いて説明したとおり、加速度の二階積分値として演算によって求めることができる。
【０１５２】
以上、位置認識部４５による現在位置更新処理の基本手順を説明したが、このような処理を行う際には、実際には、重力加速度成分を除外した取り扱いが必要になる。これは、図１０に例示したとおり、加速度センサ１０によって検出される加速度αには、移動加速度成分とともに重力加速度成分が含まれているためである。図１４は、図１０に示すグラフの部分拡大図であり、加速度αｘの時間的変化を示している。既に述べたとおり、装置筐体５０をユーザが手に保持している場合、加速度αｘのグラフは図示のように、重力加速度成分ｇｘを中心とした振動波形になる。
【０１５３】
ここで、移動距離ｄを算出するために必要な移動加速度成分は、加速度センサ１０によって検出された加速度αｘから重力加速度成分ｇｘを差し引いたものになる。すなわち、このグラフにおいて、斜線によるハッチングを施した部分（正の移動加速度成分）についての二階積分値と、ドットによるハッチングを施した部分（負の移動加速度成分）についての二階積分値との符号を考慮した和（前者を正、後者を負とした和）が、Ｘ軸方向についての移動距離ｄｘということになる。式で記述すると、Ｘ軸方向についての移動距離ｄｘは、ｄｘ＝∫∫（αｘ−ｇｘ）・ｄｔ２なる演算によって求まる。
【０１５４】
結局、位置認識部４５は、姿勢認識部４６が認識した移動直前の姿勢Ａに基づいて、重力加速度ＧのＸ軸方向成分ｇｘ，Ｙ軸方向成分ｇｙ，Ｚ軸方向成分ｇｚを求め、移動判定部４２が停止状態から移動状態に遷移してから再び停止状態に遷移したと判定するまでの移動期間中、加速度センサ１０の検出値αから重力加速度成分を差し引いた移動加速度成分についての二階積分値を求め、当該移動期間中に移動直前の姿勢Ａが維持されているものとして、停止状態の位置から、移動加速度成分によって示される方向に、得られた二階積分値に相当する距離だけ移動した位置を装置筐体５０の移動後の位置とする位置更新処理を行うことになる。
【０１５５】
ここで、重力加速度成分ｇｘ，ｇｙ，ｇｚは、装置筐体５０の姿勢Ａの変化に伴って変化する値になるが、姿勢認識部４６から与えられる姿勢Ａと、初期設定部４３から与えられる重力ベクトルＧの大きさｇに基づいて、最新値を算出することができる。すなわち、姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は、図５に示すとおり、ＮＥＵグローバル座標系上におけるＸ軸，Ｙ軸，Ｚ軸の各方向を示す情報であるから、重力ベクトルＧの大きさｇが既知であれば、その各軸方向成分ｇｘ，ｇｙ，ｇｚの値を算出することができる。
【０１５６】
したがって、位置認識部４５は、加速度センサ１０の検出値αｘ，αｙ，αｚと、重力加速度成分ｇｘ，ｇｙ，ｇｚとに基づいて、
ｄｘ＝∫∫（αｘ−ｇｘ）・ｄｔ２
ｄｙ＝∫∫（αｙ−ｇｙ）・ｄｔ２
ｄｚ＝∫∫（αｚ−ｇｚ）・ｄｔ２
なる二階積分演算を行うことにより、ＸＹＺローカル座標系上の各座標軸方向の変位量（ｄｘ，ｄｙ，ｄｚ）を求め、移動直前の姿勢に基づいてこの変位量（ｄｘ，ｄｙ，ｄｚ）をＮＥＵグローバル座標系上の各座標軸方向の変位量（ｄｎ，ｄｅ，ｄｕ）に変換し、ＮＥＵグローバル座標系上における移動直前の位置Ｐ（ｎ，ｅ，ｕ）に対して、位置Ｐ′（ｎ＋ｄｎ，ｅ＋ｄｅ，ｕ＋ｄｕ）で与えられる位置を、装置筐体５０の移動後の位置として認識することができる。
【０１５７】
＜＜＜  §４．  先願入力装置の変形例  ＞＞＞
これまで、先願入力装置１００の基本的な形態について、その構成、動作原理、具体的な動作を述べてきた。ここでは、この先願入力装置１００に対するいくつかの変形例を述べておく。
【０１５８】
＜４−１．分散値を用いた移動判定＞
§３−２では、移動判定部４２の具体的な動作を、図１０の振動波形図を参照しながら説明した。すなわち、加速度センサ１０の検出値αの変動量が所定範囲を超えているか否かを判定するために、検出値αの振幅値が閾値Δを超えているか否かを判定する方法を述べた。ただ、移動判定処理は、必ずしも検出値αの振幅値に基づいて行う必要はない。本願発明者は、本発明における移動判定処理の方法として、検出値αの分散値を用いた方法が非常に有効であることを発見した。以下、この方法を、移動判定部４２が行う移動判定処理の変形例として述べておく。
【０１５９】
図１５は、図２に示す装置筐体５０を移動させたときの加速度センサ１０による加速度の検出値αｘの分散状態を示すグラフである。すなわち、このグラフの横軸は時間ｔ、縦軸は加速度αｘであり、装置筐体５０を手に持ったまま時刻ｔ０〜ｔ１の期間は静止状態を保ち、時刻ｔ１〜ｔ２の期間に１ｍの距離を平行移動させ、時刻ｔ２に再び静止させた場合の検出値αｘの時間変化を示している。より具体的には、２０Ｈｚの周期で加速度αｘをサンプリングし、個々のサンプル値を黒点としてプロットしたグラフになっている。
【０１６０】
ここで、時刻ｔ０〜ｔ１および時刻ｔ２〜の期間は停止状態、時刻ｔ１〜ｔ２の期間は移動状態ということになるが、停止状態／移動状態の別は、プロットした個々の黒点の散らばり具合の差として、グラフ上に明瞭に表現されている。いずれの期間中も、装置筐体５０が手によって保持されている点は変わらないので、加速度αｘは常に変動を生じており、個々の黒点は常に散らばってプロットされているが、停止状態に比べて、移動状態における散らばり具合が激しいことは明白である。
【０１６１】
一方、図１６は、図２に示す装置筐体５０を定位置で回転させたときの加速度センサ１０による加速度の検出値αｘ，αｙ，αｚの分散状態を示すグラフである。具体的には、装置筐体５０を手に持ったまま時刻ｔ０〜ｔ１の期間は静止状態を保ち、時刻ｔ１〜ｔ２の期間は定位置で姿勢を変化させ、時刻ｔ２に静止させた場合の検出値αｘ，αｙ，αｚのサンプル値（サンプリング周期２０Ｈｚ）を黒点としてプロットしたグラフである。
【０１６２】
このグラフに示す例の場合、回転操作のみで移動操作は加えられていないため、加速度の検出値は、基本的には、重力加速度成分のみになる。ここで、時刻ｔ１〜ｔ２の期間は、回転により姿勢が変化するため、ＸＹＺローカル座標系における重力加速度Ｇの向きが変化することになる。時刻ｔ１〜ｔ２の回転期間において、検出値αｘ，αｙ，αｚがゆっくりと変化しているのは、姿勢変化によって重力加速度成分が変化したためである。このように、回転期間中は、検出値αｘ，αｙ，αｚは姿勢変化に応じて徐々に変化はするものの、その分散は小さく抑えられている。別言すれば、非回転状態であっても、回転状態であっても、検出値αｘ，αｙ，αｚの分散に大きな変化は生じていない。
【０１６３】
このことから、加速度の検出値αｘ，αｙ，αｚの分散値を逐次モニタすることにすれば、分散値が所定の閾値δを超えた場合には移動状態と判定することができ、しかも、当該移動判定には、回転のファクターは影響しないことがわかる。すなわち、回転操作が移動操作として誤検出されることはない。
【０１６４】
したがって、移動判定部４２は、ある時刻ｔにおいて移動判定を行う場合、所定の参照期間ｔｒを設定し、時刻ｔ−ｔｒから時刻ｔまでの期間の加速度αｘの合計ｎ個のサンプル値を検出値格納部４１から読み出し、このｎ個のサンプル値の分散値ｓ２を、
ｓ２＝１／ｎ・Σｉ＝１〜ｎ  αｘｉ２−αｘｍ２
なる式で求め（αｘｍは、ｎ個のサンプル値の平均値）、この分散値ｓ２が所定の閾値δを超えた場合には移動状態と判定することができる。
【０１６５】
たとえば、任意の時刻ｔにおける移動判定を行う場合、直前の０．５秒を参照期間ｔｒに設定すれば、加速度の各座標軸成分について、それぞれ２０Ｈｚの周期でサンプリングされた１０個のサンプルについての分散値に基づいて移動状態の判定が行われることになる。図１７は、こうして求められた加速度αｘについての分散値ｓ２の時間的変化の一例を示すグラフであり、横軸は時間ｔ、縦軸（対数尺度）は分散値ｓ２を示している。この例の場合、図示のような閾値δ（一点鎖線で示すレベル）を設定しておけば、分散値ｓ２が閾値δを超えた時刻ｔ１〜ｔ２の期間中を移動状態と判定することができる。
【０１６６】
実際には、加速度は、各軸方向成分αｘ，αｙ，αｚの検出値として得られるので、移動判定部４２は、所定の参照期間について、加速度センサ１０の検出値αｘの分散値、検出値αｙの分散値、検出値αｚの分散値、の少なくとも１つが、所定の閾値δを超えた場合には移動状態、それ以外の場合には停止状態と判定するようにすればよい。なお、この分散値を用いて移動判定処理を行う場合、重力加速度成分ｇｘ，ｇｙ，ｇｚの値は必要ないので、初期設定部４３から移動判定部４２に対して、重力加速度の大きさｇを与える必要はなく、また、姿勢認識部４６から移動判定部４２に対して、姿勢Ａの情報を与える必要もない。
【０１６７】
もちろん、この分散値を用いた移動判定処理を行う場合も、イレギュラーな加速度検出値によって、停止状態から移動状態への遷移判定もしくは移動状態から停止状態への遷移判定が行われてしまうことを防ぐため、停止状態から移動状態への遷移判定もしくは移動状態から停止状態への遷移判定を行う際に、遷移後の状態としての条件が所定の監視期間にわたって継続して満足された場合に限り、当該遷移判定を行うようにするのが好ましい。
【０１６８】
＜４−２．初期設定部の変形例＞
§３−１では、図９の流れ図を参照しながら、初期設定部４３によって実行される初期設定処理の動作を説明した。ここでは、この初期設定部４３の動作の変形例を述べておく。
【０１６９】
まず、図９の流れ図に示す初期設定処理におけるステップＳ２では、静止状態か否かの判定が行われる。図２に示すとおり、初期設定部４３には、移動判定部４２による判定結果と回転判定部４４による判定結果とが与えられている。そこで、前述の説明では、移動判定部４２から停止状態との判定結果が与えられており、かつ、回転判定部４４から非回転状態との判定結果が与えられている場合に、装置筐体５０が静止状態にあるものと判断し、ステップＳ２からステップＳ４の処理へと進むことを述べた。
【０１７０】
このように、ステップＳ２における静止状態の判定を、移動判定部４２および回転判定部４４による判定結果を利用して行うことは、簡便な方法であり、極めて合理的な方法でもある。ただ、ステップＳ２の判定は、必ずしも移動判定部４２および回転判定部４４による判定結果を利用して行う必要はなく、初期設定部４３自身が、検出値格納部４１に格納されている検出値αやωを利用して独自に行うようにしてもかまわない。
【０１７１】
初期設定部４３が独自に静止状態の判定を行う場合でも、その判定手法の基本原理は同じである。すなわち、移動判定部４２において行われる移動判定処理と同等の手法により停止状態／移動状態の判定を行い、回転判定部４４において行われる回転判定処理と同等の手法により回転状態／非回転状態の判定を行い、停止状態かつ非回転状態との判定が行われた場合に、静止状態との判定を行うようにすればよい。ただ、停止状態／移動状態の判定基準（たとえば、これまで述べた例における振幅値の閾値Δや分散値の閾値δの値）や、回転状態／非回転状態の判定基準（たとえば、これまで述べた例における振幅値の閾値θの値）は、別個の値に設定することが可能になる。
【０１７２】
前述したとおり、初期設定処理は、ユーザが装置筐体５０を意図的に静止させた状態で行われることを前提としているため、ステップＳ２における静止状態の基準は、移動判定部４２の判定基準や回転判定部４４の判定基準よりも厳しく設定（閾値を、より小さく設定）した方が好ましい。初期設定部４３が独自に静止状態の判定を行う変形例を採用すれば、より厳しい基準で静止状態の判定を行うことが可能になる。
【０１７３】
続いて、図９の流れ図に示すステップＳ４の処理についての変形例を述べる。このステップＳ４では、重力加速度の大きさｇが求められる。この大きさｇは、初期設定部４３に記憶され、必要に応じて、移動判定部４２における移動判定処理や位置認識部４５における位置認識処理に利用される。
【０１７４】
一般に、重力加速度の大きさｇは、地理的な位置が変わると変化する。たとえば、北極点と赤道上とでは、重力加速度の大きさｇは異なる。したがって、本発明に係る先願入力装置１００を使用する際には、初期設定処理によって、毎回、重力加速度の大きさｇを設定するのが好ましい。
【０１７５】
しかしながら、たとえば、国内向けの製品として提供される空間位置座標入力装置の場合、使用が予想される地域は、たかだか北海道から沖縄の緯度分布に収まる地域にすぎないので、たとえば、東京で測定した重力加速度の大きさｇを用いるようにしても大きな誤差は生じない。したがって、初期設定部４３内に、先願入力装置１００が使用されると予想される地域についての重力加速度Ｇの大きさｇを代表値（たとえば、東京での測定値）として、製品の工場出荷時に予め記憶しておくようにすれば、図９のステップＳ４の処理は省略することができる。
【０１７６】
この場合、移動判定部４２は、必要な場合には、この代表値ｇを参照することにより得られる重力加速度成分を考慮した判定を行うことになり、位置認識部４５も、この代表値ｇを参照することにより得られる重力加速度成分を考慮した位置認識を行うことになる。
【０１７７】
ところで、初期設定部４３は、ユーザから初期設定指示が与えられたときに、図９に示す初期設定処理を実行し、姿勢認識部４６および位置認識部４５に対して初期設定信号を与える役割を果たす構成要素であるが、本発明に係るプロジェクタに先願入力装置１００を組み込んで利用する上では、必須の構成要素ではないので、初期設定部４３を省略した実施形態も可能である。
【０１７８】
もちろん、初期設定部４３を省略すると、ユーザから初期設定指示を入力することができなくなり、この初期設定指示が与えられた時点での姿勢を初期姿勢Ａ０と認識したり、位置を初期位置Ｐ０と認識したりすることができなくなる。しかしながら、姿勢認識部４６は、移動判定部４２が停止状態である判定を行っているときに、随時、姿勢認識処理を行うことができるので、実用上の問題は生じない。
【０１７９】
また、位置認識部４５も、電源投入時の位置を初期位置Ｐ０に設定することが可能であるし、後述する基本的実施形態に係るプロジェクタの場合、そもそも位置の把握は不要である。ただ、後述する変形例に係るプロジェクタにおいて、位置の把握を行う場合には、初期設定部４３を設けて図９に示す初期設定処理を実行し、ステップＳ２において確実に静止状態と判定されたときの姿勢および位置を、初期姿勢Ａ０および初期位置Ｐ０に設定するのが好ましい。
【０１８０】
＜４−３．角速度センサおよび回転判定部の省略＞
これまで述べたとおり、角速度センサ２０および回転判定部４４は、姿勢Ａの認識処理に直接利用されるわけではなく、姿勢認識処理が行われるタイミングを決定するためにのみ利用されている。
【０１８１】
すなわち、前述した例では、角速度センサ２０の検出値ωに基づいて、回転判定部４４による回転判定処理が行われ、初期設定処理が行われた後は、移動判定部４２が停止状態との判定を行い、かつ、回転判定部４４が回転状態との判定を行っているときにのみ姿勢認識処理が行われることになる。その結果、図１２に示す例の場合、時刻ｔ３〜ｔ４の期間および時刻ｔ６〜ｔ７の期間についてのみ、姿勢Ａの認識処理が行われることになる。
【０１８２】
このような運用を採れば、回転判定部４４が非回転状態との判定を行っている場合、すなわち、姿勢Ａに変化が生じていない場合には、無用な姿勢認識処理を省くことができ、演算負担を軽減することができる。ただ、原理上、姿勢認識処理は、停止状態であれば実行可能であるので、移動判定部４２が停止状態との判定を行っているときは、常に、姿勢認識部４６における姿勢認識処理が実行されるような運用を行ってもかまわない。このような運用を採った場合、図１２に示すタイミングチャートにおいて、「停止」と記載された期間中は、常に姿勢認識処理が実行され、姿勢Ａの更新が行われることになる。そして、このような運用を採る場合は、回転状態／非回転状態の判定を行う必要がないので、角速度センサ２０および回転判定部４４は設ける必要がなくなり、これらを省略することができる。
【０１８３】
＜４−４．検出値格納部の省略＞
これまで述べた例では、信号処理手段４０内に、各センサの検出値を所定周期で取り込み、これを時系列データとして逐次格納する機能をもった検出値格納部４１が設けられており、移動判定部４２、初期設定部４３、回転判定部４４、位置認識部４５、姿勢認識部４６は、この検出値格納部４１の中から必要なデータを読み出して、それぞれ必要な処理を実行していたが、先願入力装置１００において、検出値格納部４１は必須の構成要素ではなく、省略することも可能である。
【０１８４】
検出値格納部４１を省略した場合、各センサ１０，２０，３０からの検出値を、移動判定部４２、初期設定部４３、回転判定部４４、位置認識部４５、姿勢認識部４６に直接与えるようにすればよい。移動判定処理や回転判定処理を行う際に、過去のサンプル値を必要とする場合には、移動判定部４２や回転判定部４４内にバッファを設けて一時的にサンプル値を蓄積しておくようにすればよい。
【０１８５】
＜４−５．先願入力装置１００の必須構成＞
結局、地理的な東西南北および上下の方向を示すことができるグローバル座標系上における任意の位置および姿勢を認識する上で、先願入力装置１００に必須の構成要素は、加速度センサ１０、磁気センサ３０、信号処理手段４０、装置筐体５０ということになる。
【０１８６】
そして、この装置筐体５０上には、装置筐体５０の移動とともに移動し、装置筐体５０の回転とともに回転するように、装置筐体５０に対して固定されたローカル座標系が定義され、加速度センサ１０は、装置筐体５０に作用した加速度αのローカル座標系上の各座標軸方向成分αｘ，αｙ，αｚを検出する機能を有し、磁気センサ３０は、装置筐体５０に作用した磁気ｍのローカル座標系上の各座標軸方向成分ｍｘ，ｍｙ，ｍｚを検出する機能を有している。
【０１８７】
また、装置筐体５０の姿勢を把握するために必要な信号処理手段４０の必須構成要素は、加速度センサ１０の検出値αに基づいて、装置筐体５０が移動状態もしくは停止状態のいずれにあるかを判定する移動判定部４２と、移動判定部４２が停止状態との判定を行っているときに、加速度センサ１０の検出値αと磁気センサ３０の検出値ｍとに基づいて、装置筐体５０のグローバル座標系上における姿勢Ａを認識する姿勢認識部４６と、いうことになる。
【０１８８】
装置筐体５０の位置を把握するには、更に、移動判定部４２の判定結果によって停止状態から移動状態に遷移したことが認識された場合に、移動直前に姿勢認識部４６が認識した姿勢Ａと加速度センサ１０の検出値αとに基づいて、装置筐体５０のグローバル座標系上における位置Ｐを認識し、認識された位置Ｐのグローバル座標系上における座標値を、入力対象となる空間位置座標として出力する位置認識部４５が必要になる。
【０１８９】
図２に示す基本的な実施形態は、上記必須構成要素に、更に、角速度センサ２０，検出値格納部４１，初期設定部４３，回転判定部４４を付加することにより、実用性を高めたものである。この図２に示す実施形態では、すべての構成要素が装置筐体５０内に組み込まれているため、装置筐体５０を手に保持することは、先願入力装置１００の構成要素全体を手に保持することと同じことである。したがって、この例の場合、装置筐体５０を移動させたり、回転させたりすることは、先願入力装置１００自身を移動させたり、回転させたりすることと同じである。
【０１９０】
もっとも、先願入力装置１００を構成するにあたっては、必ずしもすべての構成要素を装置筐体５０内に組み込む必要はなく、原理的には、少なくとも加速度センサ１０および磁気センサ３０（回転判定処理を行う場合は、更に角速度センサ２０）を装置筐体５０内に組み込んでおくようにすれば足りる。別言すれば、図２に示す構成において、各センサ１０，２０，３０は、ユーザが保持した装置筐体５０に作用した物理量を検出する必要があるため、装置筐体５０内に組み込んでおく必要があるが、信号処理手段４０は、必ずしも装置筐体５０内に組み込む必要はない。
【０１９１】
したがって、信号処理手段４０の一部もしくは全部を、装置筐体５０とは別体として設けられた外部装置内に設けるようにしてもかまわない。この場合、装置筐体５０内の構成要素と外部装置内の構成要素との間に、無線あるいは有線で相互交信する機能をもたせておくようにし、信号処理手段４０による処理の一部もしくは全部が、当該外部装置内で実行されるようにすればよい。
【０１９２】
たとえば、図２に示す信号処理手段４０をそっくり外部装置（たとえば、コンピュータ）内に設けるようにした場合、装置筐体５０内には、加速度センサ１０，角速度センサ２０，磁気センサ３０のみが組み込まれた状態になる。この場合、装置筐体５０内には、各センサの検出値α，ω，ｍを無線もしくは有線接続された外部装置に送信する送信装置を組み込んでおくようにし、外部装置には、送信されてきた検出値α，ω，ｍを受信する受信装置を組み込んでおくようにすればよい。そうすれば、外部装置に組み込まれた信号処理手段４０は、受信した検出値α，ω，ｍに基づいて種々の処理を実行することができる。
【０１９３】
＜＜＜  §５．  本発明に係るプロジェクタの基本動作原理  ＞＞＞
これまで、§１〜§４において、先願入力装置１００（特願２０１２−１２４０７４に開示されている空間位置座標入力装置）の構成および動作を説明した。本発明に係るプロジェクタは、たとえば、この先願入力装置１００のような姿勢把握機能を有する装置を利用して、任意の向きに配置された投影面上の画像に対する歪み補正を行う機能を有している。ここでは、本発明に係るプロジェクタの基本動作原理を説明する。
【０１９４】
図１８は、本発明に係るプロジェクタ２００の利用形態を示す斜視図である。図示のとおり、このプロジェクタ２００は、ユーザが手に保持して操作することができる程度に小型化されたものであり、スクリーン３００上に画像を投影する機能を有している。プロジェクタ２００をスクリーン３００の真正面に配置して投影すれば、スクリーン３００上には歪みのない投影像が得られるが、斜め方向から投影すると、投影像は歪んでしまうため、補正を行う必要がある。このような補正を行うためには、プロジェクタ２００とスクリーン３００との幾何学的な関係を把握する必要がある。
【０１９５】
本発明の基本的な実施形態に係るプロジェクタ２００には、先願入力装置１００の姿勢把握機能が備わっており、この姿勢把握機能を利用して、ＮＥＵグローバル座標系におけるスクリーン３００およびプロジェクタ２００の姿勢を把握し、投影像に対する歪み補正を行うことができる。プロジェクタ２００の姿勢はリアルタイムで把握することができるため、ユーザがプロジェクタ２００の向きを変えても、各時点において、常に正しい歪み補正を行うことができる。
【０１９６】
図１に示すとおり、先願入力装置１００は、ＮＥＵグローバル座標系において、自分自身の姿勢（ＸＹＺローカル座標系の各座標軸Ｘ，Ｙ，Ｚの向き）を把握することができる。したがって、図１８に示すプロジェクタ２００に、先願入力装置１００を組み込んでおけば、プロジェクタ２００は、ＮＥＵグローバル座標系における自分自身の現在の姿勢をリアルタイムで把握することができる。これに対して、スクリーン３００には、自分自身の姿勢を把握する装置は何ら備わっていない。そこで、本発明では、ユーザによる投影面設定操作という作業の助けを借りて、ＮＥＵグローバル座標系におけるスクリーン３００の姿勢（投影面姿勢）を把握する手法を採用している。
【０１９７】
図１９は、プロジェクタ２００を用いた投影面設定操作を示す斜視図である。プロジェクタ２００およびスクリーン３００が配置された空間には、図示のとおり、ＮＥＵグローバル座標系が定義されている。このグローバル座標系は、図１に示す例と同様に、地理的な東西南北および上下の方向を示す座標系であり、Ｎ軸は地理的な北を示し、Ｅ軸は地理的な東を示し、Ｕ軸は鉛直上方向を示している。
【０１９８】
図１９に破線で囲って示すように、プロジェクタ２００の基本構成要素は、表示素子２１０と投影光学系２２０である。表示素子２１０は、たとえば、小型の液晶ディスプレイなどによって構成され、所定の表示面Ｓｄ上に投影対象となる画像を表示する機能を有する。一方、投影光学系２２０は、表示面Ｓｄに表示されている画像をスクリーン３００上の投影面Ｓｐに向けて投影する機能を有する。図では、便宜上、投影光学系２２０を１つのブロックとして示しているが、実際には、この投影光学系２２０は、投射光を生じさせる光源やレンズなどの光学素子によって構成される。
【０１９９】
ここでは、図示のように、表示面Ｓｄの左下隅点に原点ＰをもつＸＹＺ三次元直交座標系を定義し、表示面Ｓｄが、ＸＹ平面上の平面であるものとし、表示面Ｓｄに直交するＺ軸は、投影光学系２２０の光軸を構成するものとする。したがって、投影光学系２２０は、ＸＹ平面上（表示面Ｓｄ）に表示されている画像を、Ｚ軸方向（表示面Ｓｄに対して垂直な方向）に投影する機能を果たす。
【０２００】
一方、スクリーン３００については、図示のように、投影面Ｓｐの左下隅点に原点ＬをもつＩＪＫ三次元座標系が定義されており、投影面Ｓｐは、ＩＪ平面上の平面になっている。ここで、スクリーン３００は、必ずしもプロジェクタによる画像投影用の専用スクリーンである必要はなく、たとえば、室内の壁の一面をスクリーン３００として利用してもかまわない。この場合、当該壁の形成面がＩＪ平面ということになる。なお、図では、投影面Ｓｐが鉛直軸Ｕに平行になるようにスクリーン３００を配置し、座標軸Ｊが鉛直方向を向き、座標軸Ｉ，Ｋが水平方向を向いた例が示されているが、本発明に係るプロジェクタ２００を利用する上で、投影面Ｓｐは必ずしも鉛直軸Ｕに平行に配置する必要はなく、ＮＥＵグローバル座標系上において任意の姿勢をとるように配置してかまわない。
【０２０１】
上述したとおり、プロジェクタ２００内に先願入力装置１００を内蔵させておけば（プロジェクタ２００の装置筐体に、表示素子２１０，投影光学系２２０，先願入力装置１００を固定しておけば）、この先願入力装置１００の機能により、ＮＥＵグローバル座標系上におけるＸＹＺローカル座標系の姿勢Ａおよび原点Ｐの位置、すなわち、プロジェクタ２００自身の姿勢および位置を把握することが可能である。
【０２０２】
ここで、ＸＹＺローカル座標系の姿勢Ａは、表示素子２１０の表示面Ｓｄの姿勢を示すものであるが、もし、ある時点ｔ０において、Ｘ軸とＩ軸とが平行、Ｙ軸とＪ軸とが平行、Ｚ軸とＫ軸とが平行になっていたとすると、当該時点ｔ０において、ＸＹＺローカル座標系の姿勢は、ＩＪＫローカル座標系の姿勢に一致することになる。そこで、ユーザに、Ｘ軸とＩ軸とが平行、Ｙ軸とＪ軸とが平行、Ｚ軸とＫ軸とが平行になるように、プロジェクタ２００を空間上の所定位置に保ち、その時点で投影面設定指示を与える作業（投影面設定作業）を行うようにしてもらえば、当該時点で先願入力装置１００が把握した表示面Ｓｄの姿勢を、そのまま投影面Ｓｐの姿勢として設定することができる。
【０２０３】
結局、ＮＥＵグローバル座標系上におけるプロジェクタ２００の姿勢については、プロジェクタ２００に内蔵した先願入力装置１００によって入手し、ＮＥＵグローバル座標系上におけるスクリーン３００の姿勢については、プロジェクタ２００を測定装置として利用したユーザの測定作業（投影面設定作業）によって入手することができる。こうして、共通のＮＥＵグローバル座標系上において、プロジェクタ２００の姿勢とスクリーン３００の姿勢とが把握できれば、表示面Ｓｄと投影面Ｓｐとの幾何学的な関係が定義できるので、当該幾何学的な関係に基づいて、表示面Ｓｄ上の画像を投影面Ｓｐに投影したときに得られる投影像に対する適切な歪み補正を行うことができる。
【０２０４】
ユーザが行う投影面設定作業は、それほど難しい作業ではない。プロジェクタ２００に内蔵されている表示素子２１０の表示面Ｓｄがスクリーン３００上の投影面Ｓｐに平行になり、かつ、スクリーン３００の縦横の辺と表示素子２１０の縦横の辺とが同じ向きになる、という設定条件を満たすように、プロジェクタ２００の筐体をスクリーン３００の前方に配置し、上記設定条件が満たされたときに、投影面設定指示を与える操作（たとえば、投影面設定ボタンを押す操作）を行うようにすればよい。
【０２０５】
この投影面設定作業を行う際には、表示素子２１０上に任意の画像を表示して、これを投影光学系２２０を用いて投影した状態にするのが好ましい。ユーザは、スクリーン３００の投影面Ｓｐ上に投影された投影像を見ながら、上記設定条件が満たされるようにプロジェクタ２００の向きを適切に調節することができる。特に、表示素子２１０に、表示面Ｓｄ上の表示領域の輪郭を構成する輪郭矩形の上下両辺に平行な水平線と左右両辺に平行な垂直線とによって構成される格子パターンを表示させる機能をもたせておけば、この格子パターンを投影光学系２２０によってスクリーン３００上に投影することができるので、ユーザは、この格子パターンの投影像を見ながら、プロジェクタ２００の向きの調節を容易に行うことができる。
【０２０６】
図２０は、このような格子パターン表示機能をもったプロジェクタ２００により、投影面Ｓｐに格子パターンを投影した状態を示す斜視図である。表示素子２１０上の表示面Ｓｄ（ＸＹ平面）に表示させた格子パターンは、スクリーン３００上の投影面Ｓｐ（ＩＪ平面）に投影されている。たとえば、スクリーン３００の左下隅点に原点Ｌをとり、スクリーン３００の下辺をＩ軸、左辺をＪ軸に設定して、ＩＪＫ直交座標系を設定するのであれば、図示のとおり、格子パターンの下辺および左辺がスクリーン３００の下辺および左辺に重なるように、プロジェクタ２００の位置や向きを調整すればよい。
【０２０７】
もっとも、この投影面設定作業では、投影面Ｓｐの姿勢（ＮＥＵグローバル座標系上における座標軸Ｉ，Ｊ，Ｋの向き）が設定できれば足り、原点Ｌの位置まで設定する必要はない。これは、投影画像の歪み補正を行う上では、表示面Ｓｄの姿勢（ＸＹ座標系の向き）と投影面Ｓｐの姿勢（ＩＪ座標系の向き）との関係が定義できれば十分であり、両者の位置関係まで把握する必要はないからである。したがって、ユーザは、スクリーン３００上で、格子パターンの位置を合わせる作業を行う必要はなく、スクリーン３００上に投影された格子パターンに歪みが生じていないこと、すなわち、格子を構成する各四角形が矩形（対辺が平行な四角形）になっていること、を確認した上で、投影面設定ボタンを押す操作を行えばよい。
【０２０８】
なお、Ｉ軸およびＪ軸は、投影面Ｓｐの横方向および縦方向を示す軸であるため、投影面Ｓｐが鉛直面となるように配置されたスクリーン３００を用いる場合には、Ｉ軸が水平方向軸となり、Ｊ軸が鉛直軸となるように設定するのが好ましいが、必ずしも厳密な水平方向、鉛直方向に設定する必要はない。もちろん、スクリーン３００が傾斜して配置されているようなケースでは、投影面Ｓｐは鉛直面ではなくなるので、Ｉ軸やＪ軸も任意の方向を向いた軸として設定される。
【０２０９】
要するに、ユーザが時点ｔ０で投影面設定指示を与えた場合、当該時点ｔ０において先願入力装置１００によって認識されたＸ軸，Ｙ軸，Ｚ軸の向きが、それぞれＩ軸，Ｊ軸，Ｋ軸の向きとして設定されることになる。この場合、投影面Ｓｐと表示面Ｓｄとが平行になっていれば、投影面Ｓｐに投影される画像に対する正しい歪み補正を行うことができるので、ユーザは、投影面設定作業を行うにあたり、投影面Ｓｐと表示面Ｓｄとが平行になっていること（上例の場合、投影された格子パターンに歪みが生じていないこと）を確認すれば十分である。
【０２１０】
ユーザが時点ｔ０で投影面設定指示を与えると、先願入力装置１００によって、その時点におけるＸＹＺローカル座標系の姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）を認識することができる。図５で説明したように、Ｘ軸に平行な単位ベクトルＸと、Ｙ軸に平行な単位ベクトルＹと、Ｚ軸に平行な単位ベクトルＺとを、ＮＥＵグローバル座標系の原点Ｏに始点がくるように配置すれば、認識した姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は、個々の単位ベクトルの各座標軸方向成分として表すことができる。
【０２１１】
図２１は、本発明に係るプロジェクタ２００を用いた投影面設定原理を示す斜視図である。ここで、点Ｑｘ０（ｎｘ０，ｅｘ０，ｕｘ０），点Ｑｙ０（ｎｙ０，ｅｙ０，ｕｙ０），点Ｑｚ０（ｎｚ０，ｅｚ０，ｕｚ０）は、ユーザによる投影面設定指示が与えられた時点ｔ０において認識された姿勢Ａ０（Ｘ→，Ｙ→，Ｚ→）を示す単位ベクトルＸ，Ｙ，Ｚの終点であり、姿勢Ａ０（Ｘ→，Ｙ→，Ｚ→）は、単位ベクトルＸのＮ軸，Ｅ軸，Ｕ軸方向成分（ｎｘ０，ｅｘ０，ｕｘ０）、単位ベクトルＹのＮ軸，Ｅ軸，Ｕ軸方向成分（ｎｙ０，ｅｙ０，ｕｙ０）、単位ベクトルＺのＮ軸，Ｅ軸，Ｕ軸方向成分（ｎｚ０，ｅｚ０，ｕｚ０）を示すデータとして求めることができる。
【０２１２】
こうして得られたＸＹＺローカル座標系の姿勢Ａ０（Ｘ→，Ｙ→，Ｚ→）は、そのままＩＪＫローカル座標系の姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）として設定されることになる。すなわち、図２１に示す単位ベクトルＸ→，Ｙ→，Ｚ→は、それぞれ単位ベクトルＩ→，Ｊ→，Ｋ→として設定される。その結果、図にハッチングを施して示す表示面Ｓｄ（ＸＹ平面）は、投影面Ｓｐ（ＩＪ平面）に一致することになる。
【０２１３】
もちろん、実際の表示面Ｓｄと実際の投影面Ｓｐとは、図１９に示すように、離れた位置に存在する平面であるが、ＸＹＺローカル座標系およびＩＪＫローカル座標系を、それぞれの原点Ｐ，Ｌが、ＮＥＵグローバル座標系の原点Ｏの位置にくるように平行移動すると、図２１に示すように、両ローカル座標系は完全に重なることになり、表示面Ｓｄと投影面Ｓｐとは同一平面になる。
【０２１４】
時点ｔ０において、このような投影面設定作業が行われた後、ユーザがプロジェクタ２００を動かすと、プロジェクタ２００の姿勢Ａ（Ｘ→，Ｙ→，Ｚ→）は逐次変化してゆくことになるが、投影面設定作業が行われた時点ｔ０におけるプロジェクタ２００の姿勢（表示面Ｓｄの姿勢）は、スクリーン３００の姿勢（投影面Ｓｐの姿勢）を示すものとして記録される。以下、この時点ｔ０において記録された姿勢を投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）と呼ぶことにする。
【０２１５】
ユーザによる投影面設定作業は、スクリーン３００が動かされない限り、一回だけ行えば十分である。上述した投影面設定作業により、ＮＥＵグローバル座標系上における投影面Ｓｐの姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）が設定されることになるが、この投影面姿勢は、スクリーン３００が動かされない限り変わることはない。したがって、実用上、ユーザは、プロジェクタ２００の電源を投入した後、これから投影を行う予定の投影面Ｓｐについて、上記投影面設定作業を行い、投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）の設定を行えばよい。もちろん、設定した投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）をプロジェクタ２００内の不揮発性メモリなどに格納するようにすれば、毎回電源投入時に投影面設定作業を行うことを省略し、不揮発性メモリなどに格納されている投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）を読み出して利用することも可能である。
【０２１６】
一方、プロジェクタ２００の姿勢は、ユーザがこれを動かすことにより変化することになる。ここでは、任意の時点ｔにおけるプロジェクタ２００の姿勢（表示面Ｓｄの姿勢）を現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）と呼ぶことにする。この現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）は、先願入力装置１００によってリアルタイムで検出される。
【０２１７】
図２２は、ある時点ｔにおける表示素子２１０の表示面Ｓｄと投影面Ｓｐとの向きの関係を示す斜視図である。図に実線で示す投影面Ｓｐは、ＩＪ平面上に定義された平面であり、投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）に基づいて決定することができる。これに対して、図に一点鎖線で示す表示面Ｓｄは、ＸＹ平面上に定義された平面であり、現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）に基づいて決定することができる。この図２２も、ＸＹＺローカル座標系およびＩＪＫローカル座標系を、それぞれの原点Ｐ，Ｌが、ＮＥＵグローバル座標系の原点Ｏの位置にくるように平行移動した状態を示しており、投影面Ｓｐと表示面Ｓｄとの位置関係は、実際のものとは異なっている（両者の実際の位置関係は、一方を他方に対して平行移動した関係になる）。
【０２１８】
このように、本発明では、投影面Ｓｐと表示面Ｓｄとについての実際の位置関係を不問とする取り扱いを行っているが、これは、表示面Ｓｄ上の画像を投影面Ｓｐ上に投影することによって得られる投影像の歪みを補正する上では、両者の姿勢（ＮＥＵグローバル座標系上での向き）の相対関係が把握できれば十分であるためである。別言すれば、ＸＹ座標系とＩＪ座標系との間の回転に関するパラメータが得られれば、平行移動に関するパラメータがなくても、歪みを是正するために必要な画像補正を行うことが可能である。
【０２１９】
実際には、図２２に示す例のように、ＮＥＵグローバル座標系上にＩＪ座標系とＸＹ座標系とを定義し、ＸＹ平面上の表示面Ｓｄに含まれる任意の表示点Ｗ（ｘ，ｙ）を、この表示面Ｓｄに対して直交する方向（Ｚ軸方向）に投影したときに、ＩＪ平面上の投影面Ｓｐに投影点Ｈ（ｉ，ｊ）が得られる場合に、表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）と投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）との関係を示す座標変換関数が求まれば、この座標変換関数を利用して必要な画像補正を行うことが可能になる。具体的な画像補正の方法については、§６で詳述する。
【０２２０】
このように、本発明に係るプロジェクタ２００の特徴は、自分自身の姿勢を把握する手段を組み込むことにより、ＮＥＵグローバル座標系における表示面Ｓｄの現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）をリアルタイムで把握することができるようにしておき、かつ、ユーザによる投影面設定作業の助けを借りて、スクリーン３００の投影面Ｓｐの姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）を設定できるようにし、表示面Ｓｄと投影面Ｓｐとの幾何学的な関係を求め、この幾何学的な関係に基づいて、投影面Ｓｐ上に歪みのない投影像が形成されるように、表示面Ｓｄに表示する画像に対して適切な補正を行う点にあり、これが本発明に係るプロジェクタの基本動作原理である。
【０２２１】
＜＜＜  §６．  本発明に係るプロジェクタにおける画像補正  ＞＞＞
ここでは、図２２に示すように、ＮＥＵグローバル座標系において、投影面Ｓｐの姿勢が投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）として与えられ、ある時点ｔにおける表示面Ｓｄの姿勢が現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）として与えられた場合に、原画像に対して行うべき画像補正の具体的な処理手順を説明する。
【０２２２】
一般的なプロジェクタに内蔵されている投影光学系は、表示面に表示されている画像を当該表示面に対して垂直な方向に投影する機能を有している。そこで、図１９に示す実施形態においても、プロジェクタ２００に内蔵されている投影光学系２２０が、光学素子２１０の表示面Ｓｄに表示されている画像を、表示面Ｓｄに対して垂直方向（すなわち、図のＺ軸方向）に投影する機能を有しているものとしよう。この場合、図２２に示す表示面Ｓｄ上の任意の表示点Ｗ（ｘ，ｙ）に対応する投影面Ｓｐ上の投影点Ｈ（ｉ，ｊ）は、表示点Ｗ（ｘ，ｙ）を通り表示面Ｓｄに直交する投影線（図には破線で示されている）と投影面Ｓｐとの交点として求めることができる。
【０２２３】
図示のように、ＸＹＺローカル座標系の原点Ｐと、ＩＪＫローカル座標系の原点Ｌと、ＮＥＵグローバル座標系の原点Ｏと、が互いに重なるような位置に各座標系を定義すれば、現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）によりＸＹＺローカル座標系の配置は定まり、投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）によりＩＪＫローカル座標系の配置は定まるため、表示点Ｗ（ｘ，ｙ）と投影点Ｈ（ｉ，ｊ）との位置関係は幾何学的に定義することができる。別言すれば、表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）を投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）に変換する座標変換関数を定義することができ、逆に、投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）を表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）に変換する座標変換関数を定義することができる。
【０２２４】
図２３は、こうして定義された表示面Ｓｄ上の表示点Ｗ（ｘ，ｙ）と投影面Ｓｐ上の投影点Ｈ（ｉ，ｊ）との対応関係を示す平面図であり、図の下方に示された式Ｈ（ｉ，ｊ）＝ｆ（Ｗ（ｘ，ｙ））は、表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）に基づいて、投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）を算出するための座標変換式である。すなわち、表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）は、座標変換関数ｆを作用させることにより、投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）に変換される。また、この座標変換関数ｆの逆関数ｆ-1を用いれば、Ｗ（ｘ，ｙ）＝ｆ-1（Ｈ（ｉ，ｊ））なる式により、投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）を表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）に変換することができる。
【０２２５】
ここで、座標変換関数ｆやその逆関数ｆ-1は、投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）と現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）とにより一義的に定義される関数になる。図２１で説明したとおり、投影面姿勢Ａ０（Ｉ→，Ｊ→，Ｋ→）は、各単位ベクトルＩ→，Ｊ→，Ｋ→（時点ｔ０における各単位ベクトルＸ→，Ｙ→，Ｚ→）の終点位置座標（ｎｘ０，ｅｘ０，ｕｘ０），（ｎｙ０，ｅｙ０，ｕｙ０），（ｎｚ０，ｅｚ０，ｕｚ０）によって表現することができる。また、現在姿勢Ａｔ（Ｘ→，Ｙ→，Ｚ→）は、時点ｔにおける各単位ベクトルＸ→，Ｙ→，Ｚ→の終点位置座標（ｎｘｔ，ｅｘｔ，ｕｘｔ），（ｎｙｔ，ｅｙｔ，ｕｙｔ），（ｎｚｔ，ｅｚｔ，ｕｚｔ）によって表現することができる。
【０２２６】
結局、投影面姿勢Ａ０も、現在姿勢Ａｔも、図２４に示すような３行３列の行列式で示すことができる。そして、これらの行列式に基づいて、行列Ａｔを行列Ａ０に変換するための回転行列Ｍを定義することができ、座標変換関数ｆは、この回転行列Ｍの各要素を用いた式として定義することができる（回転行列Ｍの各要素は、三角関数を含む複雑な式になるため、ここでは、座標変換関数ｆや逆関数ｆ-1の具体的な例示は省略する）。
【０２２７】
このように、座標変換関数ｆやその逆関数ｆ-1を用いることにより、表示点Ｗ（ｘ，ｙ）とこれに対応する投影点Ｈ（ｉ，ｊ）との間の相互座標変換が可能になれば、次のような方法で、原画像に対する補正処理を行うことができる。以下、図２５を参照しながら、この画像補正処理の手順を説明する。
【０２２８】
図２５(a) はＩＪ平面上に定義された投影面Ｓｐを示し、図２５(b) はＸＹ平面上に定義された表示面Ｓｄを示している。いま、図２５(b) に示すように、ＸＹ平面上に輪郭矩形Ｒ１を定義する。この輪郭矩形Ｒ１は、表示面Ｓｄ上の表示領域の輪郭を構成する矩形であり、たとえば、表示素子２１０として液晶ディスプレイを用いた場合、この液晶ディスプレイの有効表示領域の外枠を構成する矩形として定義される。別言すれば、表示素子２１０は、この輪郭矩形Ｒ１内の領域について、画像を表示する機能を有していることになる。
【０２２９】
次に、この輪郭矩形Ｒ１の４頂点Ｗ１，Ｗ２，Ｗ３，Ｗ４（図では黒丸で示す）の座標を求める。ここでは、４頂点の座標が、Ｗ１（ｘ１，ｙ１），Ｗ２（ｘ２，ｙ２），Ｗ３（ｘ３，ｙ３），Ｗ４（ｘ４，ｙ４）であったものとしよう。続いて、この輪郭矩形Ｒ１の４頂点Ｗ１，Ｗ２，Ｗ３，Ｗ４のそれぞれに対応する投影点を投影面Ｓｐ上に求める。図２５(a) に黒丸で示す投影点Ｈ１，Ｈ２，Ｈ３，Ｈ４は、こうして求められた投影点である。これら４つの投影点Ｈ１，Ｈ２，Ｈ３，Ｈ４は、ＩＪ平面上に定義された点であり、（ｉ，ｊ）なる座標値をもつ点になる。ここでは、これら４つの投影点の座標が、Ｈ１（ｉ１，ｊ１），Ｈ２（ｉ２，ｊ２），Ｈ３（ｉ３，ｊ３），Ｈ４（ｉ４，ｊ４）であったものとしよう。
【０２３０】
投影点Ｈ１（ｉ１，ｊ１）は、表示面Ｓｄ上の表示点Ｗ１（ｘ１，ｙ１）を投影面Ｓｐ上に投影することによって得られる点であり、その座標値（ｉ１，ｊ１）は、上述したとおり、座標変換関数ｆを用いて、Ｈ１（ｉ１，ｊ１）＝ｆ（Ｗ１（ｘ１，ｙ１））なる演算を行うことにより得られる。投影点Ｈ２（ｉ２，ｊ２），Ｈ３（ｉ３，ｊ３），Ｈ４（ｉ４，ｊ４）の座標値も、同様の演算によって得ることができる。
【０２３１】
続いて、図２５(a) に示すように、ＩＪ平面上において、求められた４つの投影点Ｈ１，Ｈ２，Ｈ３，Ｈ４を４頂点とする外枠四角形Ｒ２を決定する。投影面Ｓｐと表示面Ｓｄとが平行であれば、投影面Ｓｐに得られる投影像は正射影投影像になるため、外枠四角形Ｒ２は輪郭矩形と同様の矩形になるが、両者が平行でなければ、外枠四角形Ｒ２は任意の形状をもった四角形になる。この外枠四角形Ｒ２は、輪郭矩形Ｒ１の投影像であり、表示面Ｓｄ上において輪郭矩形Ｒ１内に表示されていた画像は、投影面Ｓｐ上ではこの外枠四角形Ｒ２内に表示されることになる。したがって、外枠四角形Ｒ２がいびつな四角形であれば、その中に投影される投影画像も歪んだ画像になる。ここで行う画像補正処理は、この投影画像の歪みを補正するための処理である。
【０２３２】
いびつな外枠四角形Ｒ２内に表示される投影画像の歪みを補正するには、この外枠四角形Ｒ２に内包される所定の矩形（各対辺が平行な四角形）を投影用矩形Ｒ３（図には、一点鎖線で示す）と定義し、投影画像がこの投影用矩形Ｒ３内に収まるように、原画像に対する補正を行えばよい。
【０２３３】
そこで、まず、投影用矩形Ｒ３の４頂点Ｈ５，Ｈ６，Ｈ７，Ｈ８（図では白丸で示す）の座標を求める。ここでは、４頂点の座標が、Ｈ５（ｉ５，ｊ５），Ｈ６（ｉ６，ｊ６），Ｈ７（ｉ７，ｊ７），Ｈ８（ｉ８，ｊ８）であったものとしよう。続いて、投影面Ｓｐ上の対応する投影点が、これら４頂点Ｈ５，Ｈ６，Ｈ７，Ｈ８の位置にくるような各表示点を表示面Ｓｄ上に求める。図２５(b) に白丸で示す表示点Ｗ５，Ｗ６，Ｗ７，Ｗ８は、こうして求められた表示点である。これら４つの表示点Ｗ５，Ｗ６，Ｗ７，Ｗ８は、ＸＹ平面上に定義された点であり、（ｘ，ｙ）なる座標値をもつ点になる。ここでは、これら４つの表示点の座標が、Ｗ５（ｘ５，ｙ５），Ｗ６（ｘ６，ｙ６），Ｗ７（ｘ７，ｙ７），Ｗ８（ｘ８，ｙ８）であったものとしよう。
【０２３４】
表示面Ｓｄ上の表示点Ｗ５（ｘ５，ｙ５）は、投影面Ｓｐ上に投影した場合に、投影点Ｈ５（ｉ５，ｊ５）が得られる点であり、その座標値（ｘ５，ｙ５）は、上述したとおり、座標変換関数ｆの逆関数ｆ-1を用いて、Ｗ５（ｘ５，ｙ５）＝ｆ-1（Ｈ５（ｉ５，ｊ５））なる演算を行うことにより得られる。表示点Ｗ６（ｘ６，ｙ６），Ｗ７（ｘ７，ｙ７），Ｗ８（ｘ８，ｙ８）の座標値も、同様の演算によって得ることができる。
【０２３５】
続いて、図２５(b) に示すように、ＸＹ平面上において、求められた４つの表示点Ｗ５，Ｗ６，Ｗ７，Ｗ８を４頂点とする補正四角形Ｒ４（図には、一点鎖線で示す）を決定する。投影面Ｓｐと表示面Ｓｄとが平行であれば、補正四角形Ｒ４は輪郭矩形Ｒ１と合同な四角形になるが、両者が平行でなければ、補正四角形Ｒ４は任意の形状をもった四角形になる。ただ、補正四角形Ｒ４がいびつな形状をもった四角形であったとしても、投影面Ｓｐ上に得られるその投影像は、投影用矩形Ｒ３という矩形になる。
【０２３６】
結局、表示素子２１０において、本来は、その表示領域の輪郭内（輪郭矩形Ｒ１内）に表示されるべき原画像を、補正四角形Ｒ４内に収まるように縮小することにより補正画像を作成し、原画像の代わりに補正画像を表示面Ｓｄに表示するようにすれば、投影面Ｓｐ上では、当該補正画像は、投影用矩形Ｒ３内に表示されることになり、画像の歪みが補正されることになる。これが、ここで行われる画像補正処理の基本原理である。
【０２３７】
続いて、上述した各ステップを実施するための具体的な処理方法の例を述べる。はじめに、図２５(a) に示す外枠四角形Ｒ２に基づいて、これに内包される投影用矩形Ｒ３を決定するための具体的な方法の一例を図２６を参照しながら示そう。
【０２３８】
まず、図２６(a) に示すように、投影面Ｓｐ上に形成された外枠四角形Ｒ２を構成する４辺のうち、最も短い辺を抽出する。図示の例の場合、太線で示す辺Ｈ２−Ｈ３が最短辺として抽出される。続いて、この最短辺を挟む２頂点のそれぞれの位置において、Ｉ軸に平行な補助線およびＪ軸に平行な補助線を定義する。図示の例の場合、頂点Ｈ２の位置においてＩ軸に平行な補助線Ｔ１とＪ軸に平行な補助線Ｔ２とが定義され（図では破線で示す）、頂点Ｈ３の位置においてＩ軸に平行な補助線Ｔ３とＪ軸に平行な補助線Ｔ４とが定義される（図では一点鎖線で示す）。
【０２３９】
次に、定義された４本の補助線を外枠四角形Ｒ２で切り取って部分補助線を形成し、外枠四角形Ｒ２の内部に含まれている部分補助線のうち最も短いものを投影用矩形Ｒ３の第１の辺と決定する。この例の場合、図２６(a) に示す４本の補助線Ｔ１〜Ｔ４を外枠四角形Ｒ２で切り取ると、外枠四角形Ｒ２の内部には、図２６(b) に示すように、３本の部分補助線Ｈ２−Ｈ９，Ｈ３−Ｈ１０，Ｈ２−Ｈ７が含まれることになる。そこで、この３本のうち、最も短い部分補助線Ｈ２−Ｈ７（図には、太破線で示す）を、投影用矩形Ｒ３の第１の辺と決定する。最後に、この第１の辺を含み原画像のアスペクト比と同じアスペクト比をもつ矩形を投影用矩形Ｒ３として決定すればよい。
【０２４０】
図示の例の場合、外枠四角形Ｒ２の頂点Ｈ２がそのまま投影用矩形Ｒ３の頂点Ｈ６となり、ハッチングを施した矩形Ｈ５−Ｈ６−Ｈ７−Ｈ８が投影用矩形Ｒ３として決定されることになる。ここで、頂点Ｈ５，Ｈ８は、投影用矩形Ｒ３のアスペクト比が原画像のアスペクト比（通常は、表示面Ｓｄ上の輪郭矩形Ｒ１のアスペクト比になる）に等しくなるような位置に設定される。
【０２４１】
なお、同一のアスペクト比をもつ矩形を形成したときに、頂点Ｈ５，Ｈ８の位置が外枠四角形Ｒ２の外側に食み出してしまうような場合には、そのような矩形を縦横等倍に縮小して、４頂点すべてが外枠四角形Ｒ２の内部に収まるような縮小矩形を形成し、この縮小矩形を投影用矩形Ｒ３とすればよい。アスペクト比は必ずしも同一にする必要はないが、投影用矩形Ｒ３のアスペクト比が輪郭矩形Ｒ１のアスペクト比と異なると、縦横に変倍された投影像が得られることになる。
【０２４２】
以上、外枠四角形Ｒ２に基づいて投影用矩形Ｒ３を決定する具体的な方法の一例を説明したが、投影用矩形Ｒ３を決定する方法は、上述した例に限定されるものではない。投影用矩形Ｒ３は、投影面上において、外枠四角形Ｒ２に内包される所定の矩形として定義されれば足りるので、この他にも種々の方法で投影用矩形Ｒ３を決定することが可能である。ただ、実用上は、外枠四角形Ｒ２を食み出さない限度において、できるだけ面積の大きな投影用矩形Ｒ３を定義できる方法を採用するのが好ましい。
【０２４３】
続いて、図２５(b) に示す輪郭矩形Ｒ１内に表示されるべき原画像を、補正四角形Ｒ４内に収まるように縮小する縮小処理の具体的な方法を示そう。図２７は、このような具体的な縮小処理方法のアルゴリズムの一例を示す平面図である。図２７(a) は、表示面Ｓｄ上の輪郭矩形Ｒ１内に原画像を表示した状態を示している。図示の黒丸の４点Ｗ１〜Ｗ４は輪郭矩形Ｒ１の４頂点であり、ここでは説明の便宜上、輪郭矩形Ｒ１の左下隅点Ｗ４をＸＹ座標系の原点位置に配置した例を示す。
【０２４４】
前述したとおり、この輪郭矩形Ｒ１は、表示面Ｓｄ上の表示領域の輪郭を構成する矩形であり、表示素子２１０は、この輪郭矩形Ｒ１内の領域について、画像を表示する機能を有している。したがって、矩形フレームを有する通常の原画像を表示素子２１０に与えると、原画像は、輪郭矩形Ｒ１内にそのまま表示されることになる。なお、与えられた原画像のアスペクト比が輪郭矩形Ｒ１のアスペクト比と異なる場合は、通常、食み出した一部分をカットして表示したり、縦横等倍に縮小表示したり、縦横変倍してアスペクト比を揃える処理を行ったり、様々な画像処理を施すことになるが、ここでは原画像のアスペクト比が輪郭矩形Ｒ１のアスペクト比と同一である例について、以下の説明を行うことにする。
【０２４５】
一方、図２７(b) は、表示面Ｓｄ上に定義された補正四角形Ｒ４内に収まるように、原画像を縮小表示した状態を示している。図示の白丸の４点Ｗ５〜Ｗ８は補正四角形Ｒ４の４頂点である。補正四角形Ｒ４は、図２５で説明したとおり、輪郭矩形Ｒ１に基づいて決定される四角形であり、輪郭矩形Ｒ１に内包される四角形になる。図２７(b) では、元の輪郭矩形Ｒ１を実線で示し、これに内包される補正四角形Ｒ４を一点鎖線で示してある。図２７(b) に示す輪郭矩形Ｒ１は、図２７(a) に示す輪郭矩形Ｒ１と全く同じものである。
【０２４６】
ここで行う縮小処理は、本来は輪郭矩形Ｒ１内に表示されるべき原画像を、補正四角形Ｒ４内に収まるように縮小する処理であり、縮小後に得られる補正画像の輪郭は、補正四角形Ｒ４に一致する。表示素子２１０は、本来、輪郭矩形Ｒ１内に画像を表示する機能を有しているが、本発明に係るプロジェクタの場合、原画像は補正四角形Ｒ４内に収まる補正画像に縮小されるため、輪郭矩形Ｒ１の内部の領域であっても補正四角形Ｒ４の外部の領域については、画像の表示は行われないことになる。
【０２４７】
結局、補正四角形Ｒ４の外部の領域については実質的な画像データが与えられず、真っ黒な画像が表示されることになり、表示面Ｓｄ上には、それ自身は歪んだ状態の補正画像が表示されることになる。このように、表示面Ｓｄ上には、補正四角形Ｒ４内に収まる歪んだ補正画像が表示されていても、投影面Ｓｐ上には、図２５(a) に示すように、投影用矩形Ｒ３内に矩形のフレームをもった歪みのない投影像が得られる点は、既に述べたとおりである。投影面Ｓｐ上の投影用矩形Ｒ３の外部の領域には、真っ黒な画像が表示されることになる。
【０２４８】
輪郭矩形Ｒ１内の原画像を、補正四角形Ｒ４内に収まるように縮小するには、図２７(a) に示す輪郭矩形Ｒ１内の任意の表示点Ｗoldを、図２７(b) に示す補正四角形Ｒ４内の対応する表示点Ｗnewの位置に移動させる補正処理を行えばよい。この場合、補正前の表示点Ｗoldの輪郭矩形Ｒ１内の相対位置と、補正後の表示点Ｗnewの補正四角形Ｒ４内の相対位置との間に、所定の対応関係が維持されている必要がある。対応関係が不十分であると、投影面Ｓｐ上に表示される投影像に歪みが生じてしまう。
【０２４９】
基本的には、補正前の表示点Ｗoldの輪郭矩形Ｒ１に対する横方向に関する相対位置が、補正後の表示点Ｗnewの補正四角形Ｒ４に対する横方向に関する相対位置に等しくなり、補正前の表示点Ｗoldの輪郭矩形Ｒ１に対する縦方向に関する相対位置が、補正後の表示点Ｗnewの補正四角形Ｒ４に対する縦方向に関する相対位置に等しくなるように、補正前の表示点Ｗoldに対応する補正後の表示点Ｗnewを設定すればよい。具体的には、次のような方法により、任意の表示点Ｗoldに対応する補正後の表示点Ｗnewを決定することができる。
【０２５０】
ここでは、図２７(a) に示す任意の表示点Ｗoldについて、補正後の表示点Ｗnewを決定する場合を考えよう。まず、図に破線で示すように、表示点Ｗoldを通りＹ軸に平行な縦方向参照線Ｔ５と、表示点Ｗoldを通りＸ軸に平行な横方向参照線Ｔ６と、を定義する。そして、縦方向参照線Ｔ５と輪郭矩形Ｒ１の上辺および下辺との交点をそれぞれ分割点Ｄ１，Ｄ２とし、横方向参照線Ｔ６と輪郭矩形Ｒ１の左辺および右辺との交点をそれぞれ分割点Ｄ３，Ｄ４とする。そして、分割点Ｄ１およびＤ２により、上辺および下辺が左部と右部とに分割される比率ａ：ｂと、分割点Ｄ３およびＤ４により、左辺および右辺が上部と下部とに分割される比率ｃ：ｄと、を求める。
【０２５１】
結局、図２７(a) に示す表示点Ｗoldの輪郭矩形Ｒ１に対する横方向に関する相対位置は、ａ：ｂという比率で表すことができ、縦方向に関する相対位置は、ｃ：ｄという比率で表すことができる。そこで、図２７(b) に示すように、補正四角形Ｒ４に対する横方向に関する相対位置がａ：ｂになり、縦方向に関する相対位置がｃ：ｄになるような表示点を探し出せば、当該表示点は表示点Ｗoldに対応する補正後の表示点Ｗnewということになる。
【０２５２】
図２７(b) に示す例の場合、表示点Ｗnewを通る縦方向参照線Ｔ７と補正四角形Ｒ４の上辺および下辺との交点Ｄ５，Ｄ６は、当該上辺および下辺を比率ａ：ｂにより左部と右部とに分割する分割点になっており、表示点Ｗnewを通る横方向参照線Ｔ８と補正四角形Ｒ４の左辺および右辺との交点Ｄ７，Ｄ８は、当該左辺および右辺を比率ｃ：ｄにより上部と下部とに分割する分割点になっている。したがって、表示点Ｗnewは、補正四角形Ｒ４に対する横方向に関する相対位置がａ：ｂになり、縦方向に関する相対位置がｃ：ｄになる点であり、図２７(a) に示す表示点Ｗoldについての補正後の表示点としての条件を備えている。
【０２５３】
要するに、図２７に示す縮小処理は、輪郭矩形Ｒ１の上辺、下辺、左辺、右辺にそれぞれ対応させて、補正四角形Ｒ４の上辺、下辺、左辺、右辺を認識し、任意の四角形について、「左部と右部との比率がａ：ｂとなるように上辺を分割する分割点（Ｄ１，Ｄ５）と、左部と右部との比率がａ：ｂとなるように下辺を分割する分割点（Ｄ２，Ｄ６）と、を結ぶ縦方向参照線（Ｔ５，Ｔ７）」と「上部と下部との比率がｃ：ｄとなるように左辺を分割する分割点（Ｄ３，Ｄ７）と、上部と下部との比率がｃ：ｄとなるように右辺を分割する分割点（Ｄ４，Ｄ８）と、を結ぶ横方向参照線（Ｔ６，Ｔ８）」との交点を当該任意の四角形についての特定分割交点（Ｗold，Ｗnew）と定義した場合に、輪郭矩形Ｒ１についての特定分割交点（Ｗold）が補正四角形Ｒ４についての特定分割交点（Ｗnew）の位置にくるような補正を行うことにより補正画像を作成する処理ということができる。
【０２５４】
このようなアルゴリズムで縮小処理を行えば、図２７(a) に示す輪郭矩形Ｒ１の４頂点Ｗ１，Ｗ２，Ｗ３，Ｗ４は、図２７(b) に示す補正四角形Ｒ４の４頂点Ｗ５，Ｗ６，Ｗ７，Ｗ８の位置に補正され、図２７(a) に示す任意の表示点Ｗoldは、図２７(b) に示す表示点Ｗnewの位置に補正される。すなわち、補正前の表示点Ｗoldの輪郭矩形Ｒ１に対する縦横の相対位置と、補正後の表示点Ｗnewの補正四角形Ｒ４に対する縦横の相対位置との間に、所定の対応関係が維持されることになる。
【０２５５】
なお、実際には、原画像も補正画像も、多数の画素配列によって構成され、個々の画素についての画素値を示すデータ群によって構成される。したがって、ここで行う画像縮小処理とは、実際には、図２７(b) に示す補正四角形Ｒ４内に位置する個々の画素についての画素値を、図２７(a) に示す輪郭矩形Ｒ１内に表示すべき原画像を構成する画素の画素値を参照して決定する処理ということになる。
【０２５６】
別言すれば、表示点Ｗoldの位置を表示点Ｗnewの位置に移動する補正処理とは、実際には、表示素子２１０上で所定の着目画素が位置する表示点Ｗnewについて、対応する表示点Ｗoldを探し出し、原画像上で表示点Ｗoldの位置もしくはその近傍に存在する画素の画素値に基づいて、当該着目画素の画素値を決定する処理ということになる。表示点Ｗoldの近傍に複数の画素が存在する場合には、これら複数の画素の画素値に基づいて得られた補間値を、当該着目画素の画素値として採用すればよい。
【０２５７】
したがって、上述したアルゴリズムにより縮小処理を行うには、補正四角形Ｒ４内の任意の表示点Ｗnewに対応する点として、輪郭矩形Ｒ１上の表示点Ｗoldを探し出す必要がある。そのためには、図２７(b) に示すように、補正四角形Ｒ４内の任意の表示点Ｗnewについて、縦方向参照線Ｔ７および横方向参照線Ｔ８を定義し、分割比ａ：ｂおよびｃ：ｄを求める必要がある。ここで、縦方向参照線Ｔ７は、表示点Ｗnewを通り、補正四角形Ｒ４の上辺および下辺をともに同じ比率（ａ：ｂ）で分割する線であり、横方向参照線Ｔ８は、表示点Ｗnewを通り、補正四角形Ｒ４の左辺および右辺をともに同じ比率（ｃ：ｄ）で分割する線である。
【０２５８】
このような条件を満たす縦方向参照線Ｔ７および横方向参照線Ｔ８を定義するための最も単純なアルゴリズムは、試行錯誤による方法である。たとえば、図２７(b) に示す縦方向参照線Ｔ７を求めるには、表示点Ｗnewを通る多数の参照線について、それぞれ上辺との交点Ｄ５および下辺との交点Ｄ６を求め、これらの交点Ｄ５，Ｄ６によって分割される上辺および下辺の分割比が等しくなる参照線を縦方向参照線Ｔ７と定めればよい。
【０２５９】
本発明に係る画像補正処理（画像縮小処理）は、実用上は、コンピュータによって実行されるものであるので、参照線の角度を徐々に変化させながら、その都度、分割比を計算してゆき、分割比が等しくなる参照線を縦方向参照線Ｔ７と決定する試行錯誤による処理を行っても、何ら支障は生じない。横方向参照線Ｔ８も同様に試行錯誤による処理で決定することができる。こうして、分割比ａ：ｂおよびｃ：ｄが定まれば、図２７(a) に示すように、原画像上の対応点Ｗoldを決定することができる。
【０２６０】
もちろん、原画像を補正四角形Ｒ４内に収まるように縮小する処理は、上述したアルゴリズムに基づく方法に限定されるものではない。図２８は、本発明における原画像の縮小処理方法の別なアルゴリズムを示す平面図であり、補正四角形Ｒ４内の任意の表示点Ｗnewに対応する原画像上の表示点Ｗoldを求める別な方法を示すものである。
【０２６１】
この図２８に示す方法では、まず、補正四角形Ｒ４の左辺Ｗ５−Ｗ８を延長した延長線Ｌ１と、右辺Ｗ６−Ｗ７を延長した延長線Ｌ２と、を描き、両延長線Ｌ１，Ｌ２の交点Ｂ１を求める。そして、図に破線で示すように、交点Ｂ１と表示点Ｗnewとを結ぶ縦方向参照線Ｔ９を引き、延長線Ｌ１，Ｌ２によって挟まれた角がこの縦方向参照線Ｔ９によって分割される比率ａ：ｂを求める。続いて、補正四角形Ｒ４の上辺Ｗ５−Ｗ６を延長した延長線Ｌ３と、下辺Ｗ７−Ｗ８を延長した延長線Ｌ４と、を描き、両延長線Ｌ３，Ｌ４の交点Ｂ２を求める。そして、図に破線で示すように、交点Ｂ２と表示点Ｗnewとを結ぶ横方向参照線Ｔ１０を引き、延長線Ｌ３，Ｌ４によって挟まれた角がこの横方向参照線Ｔ１０によって分割される比率ｃ：ｄを求める。
【０２６２】
こうして、角の分割比ａ：ｂおよびｃ：ｄが得られたら、図２７(a) に示すように、輪郭矩形Ｒ１の上辺および下辺をａ：ｂに分割する縦方向参照線Ｔ５と、輪郭矩形Ｒ１の左辺および右辺をｃ：ｄに分割する縦方向参照線Ｔ６と、を求め、その交点を対応する表示点Ｗoldとすればよい。なお、補正四角形Ｒ４の対辺が平行であった場合、延長線は交点をもたないことになるが、この場合は、例外的に、表示点Ｗnewを通り当該平行な対辺に平行な参照線を引くようにし、当該各対辺と当該参照線との距離を、上述した角の分割比の代わりに用いるようにすればよい。
【０２６３】
要するに、図２８に示す縮小処理は、輪郭矩形Ｒ１の上辺、下辺、左辺、右辺にそれぞれ対応させて、補正四角形Ｒ４の上辺、下辺、左辺、右辺を認識し、輪郭矩形Ｒ１については、図２７(a) に示すように、「左部と右部との比率がａ：ｂとなるように上辺を分割する分割点Ｄ１と、左部と右部との比率がａ：ｂとなるように下辺を分割する分割点Ｄ２と、を結ぶ縦方向参照線Ｔ５」と「上部と下部との比率がｃ：ｄとなるように左辺を分割する分割点Ｄ３と、上部と下部との比率がｃ：ｄとなるように右辺を分割する分割点Ｄ４と、を結ぶ横方向参照線Ｔ６」との交点を、当該輪郭矩形Ｒ１についての特定分割交点Ｗoldと定義し、補正四角形Ｒ４については、図２８に示すように、「左辺の延長線Ｌ１と右辺の延長線Ｌ２との交点Ｂ１に形成される角を、ａ：ｂの比率で分割する縦方向参照線Ｔ９」と「上辺の延長線Ｌ３と下辺の延長線Ｌ４との交点Ｂ２に形成される角を、ｃ：ｄの比率で分割する横方向参照線Ｔ１０」との交点を、補正四角形Ｒ４についての特定分割交点Ｗnewと定義した場合に、輪郭矩形Ｒ１についての特定分割交点Ｗoldが補正四角形Ｒ４についての特定分割交点Ｗnewの位置にくるような補正を行うことにより補正画像を作成する処理ということができる。
【０２６４】
この図２８に示す方法では、角度の概念が導入されるため、三角関数を含む演算が必要になるが、図２７に示す方法のように試行錯誤を行う必要はない。いずれの方法が効率的かは、演算に用いるプロセッサの構成や利用可能なサブルーチンプログラムの有無によって異なるため、実用上は、演算処理の実行環境を考慮して、最適な方法を採用すればよい。
【０２６５】
＜＜＜  §７．  本発明に係るプロジェクタの構成  ＞＞＞
ここでは、§５および§６で述べてきた基本原理に基づいて動作するプロジェクタの構成を説明する。図２９は、本発明の基本的な実施形態に係るプロジェクタ２００の構成を示すブロック図である。このプロジェクタ２００は、図示のとおり、表示素子２１０、投影光学系２２０、画像補正手段２３０、原画像提供手段２４０、姿勢把握手段２５０、投影面姿勢設定手段２６０によって構成され、原画像提供手段２４０によって提供された原画像を、投影面Ｓｐに投影して表示する機能を有する。
【０２６６】
なお、ここに示す基本的な実施形態では、このプロジェクタ２００を構成するすべての構成要素は、同一の装置筐体内に収容されているものとし、ユーザは、図１８に示すように、このプロジェクタ２００を片手で保持して任意の姿勢を設定できるものとする。
【０２６７】
また、ここでは、前述したとおり、投影面Ｓｐ上に、原点Ｌをもった二次元ＩＪ座標系を定義して以下の説明を行う。この二次元ＩＪ座標系は、図１９に示すように、地理的な東西南北および上下の方向を示すＮＥＵ三次元グローバル座標系上に配置されたＩＪＫ三次元ローカル座標系のＩＪ平面によって構成される座標系である。なお、ここでは、投影面Ｓｐとして、映像投影用の専用スクリーン３００の投影面を用いているが、投影面Ｓｐは、たとえば、室内の壁など、任意の面を利用して構成することができる。
【０２６８】
表示素子２１０は、所定の表示面Ｓｄ上に任意の画像を表示する機能をもった構成要素であり、たとえば、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ、デジタルマイクロミラーデバイスなどの素子を利用して構成することができる。ここでは、前述したとおり、表示面Ｓｄ上に、原点Ｐをもった二次元ＸＹ座標系を定義して以下の説明を行う。この二次元ＸＹ座標系は、図１９に示すように、ＮＥＵ三次元グローバル座標系上に配置されたＸＹＺ三次元ローカル座標系のＸＹ平面によって構成される座標系である。
【０２６９】
表示素子２１０は、表示面Ｓｄ上に形成された輪郭矩形Ｒ１内の表示領域に所望の画像を表示する機能を有する。この輪郭矩形Ｒ１内に表示された画像は、投影光学系２２０によって投影面Ｓｐに向けて投影される。投影光学系２２０は、投射光を生じさせる光源やレンズなどの光学素子の組み合わせによって構成され、焦点調節機能や表示倍率調節機能などが備わっている。図示する投影面Ｓｐ上の投影点Ｈは、表示面Ｓｄ上の表示点Ｗに対応する点であり、表示面Ｓｄ上の表示点Ｗは、投影光学系２２０上によって、投影面Ｓｐ上の投影点Ｈの位置に投影されることになる。
【０２７０】
原画像提供手段２４０は、投影対象となる原画像Ｃを提供する構成要素であり、原画像Ｃを構成するデジタルデータを出力する機能を有する。ここに示す実施形態の場合、原画像提供手段２４０は、外部機器（たとえば、パソコンやＤＶＤプレーヤーなど）から有線もしくは無線を介して、投影対象となる原画像Ｃをデジタルデータとして受信し、これを画像補正手段２３０に提供する機能を果たす。投影対象が動画の場合は、１フレーム分の静止画像を個々の原画像Ｃとして、時系列で並べられた多数の原画像Ｃを時間軸に沿って順次提供することになる。原画像Ｃは、多数の画素の配列によって構成され、原画像Ｃとして提供されるデジタルデータは、カラー画像の場合、各画素についての各色（たとえば、Ｒ，Ｇ，Ｂの三原色成分）の画素値を示すデータによって構成される。
【０２７１】
画像補正手段２３０は、原画像提供手段２４０から提供された原画像Ｃに対して、補正を行って補正画像Ｃ′を作成する構成要素であり、作成された補正画像Ｃ′は、表示素子２１０に与えられる。したがって、表示素子２１０の表示面Ｓｄに表示される画像は、実際には、原画像Ｃではなく補正画像Ｃ′であり、投影光学系２２０は、表示面Ｓｄに表示されている補正画像Ｃ′を投影面Ｓｐに向けて投影することになる。画像補正手段２３０で行われる補正処理は、投影面Ｓｐに投影された投影像に対して歪みを補正する処理であるから、投影面Ｓｐには、理論的には、歪みのない原画像Ｃと同等の画像が表示されることになる。
【０２７２】
姿勢把握手段２５０および投影面姿勢設定手段２６０は、画像補正手段２３０が補正処理を行うために必要な情報を提供する役割を果たす。すなわち、姿勢把握手段２５０は、表示面Ｓｄに固定されたＸＹＺ三次元ローカル座標系について、ＮＥＵ三次元グローバル座標系上での姿勢Ａｔを把握する機能を有し、投影面姿勢設定手段２６０は、ユーザから投影面設定指示が与えられたときに、姿勢把握手段２５０によって把握された姿勢Ａｔを投影面姿勢Ａ０として設定する機能を有する。
【０２７３】
既に§５において図１９を参照して説明したとおり、ユーザは、プロジェクタ２００に内蔵されている表示素子２１０の表示面Ｓｄがスクリーン３００上の投影面Ｓｐに平行になり、かつ、スクリーン３００の縦横の辺と表示素子２１０の縦横の辺（輪郭矩形Ｒ１の縦横の辺）とが同じ向きになる、という設定条件を満たすように、プロジェクタ２００の筐体をスクリーン３００の前方に配置し、上記設定条件が満たされたときに、投影面設定指示を与える操作を行う。投影面姿勢設定手段２６０には、投影面設定ボタンが設けられており、ユーザは、上記設定条件が満たされたときに、この投影面設定ボタンを押す操作を行えばよい。
【０２７４】
なお、実用上は、図２０に示すように、表示面Ｓｄ上に格子パターンを表示し、この格子パターンを投影光学系２２０によってスクリーン３００上に投影しながら、上記投影面設定操作が行われるようにするのが好ましい。そうすれば、ユーザは、この格子パターンの投影像を見ながら、プロジェクタ２００の向きの調節を容易に行うことができる。
【０２７５】
このような格子パターンの投影機能を付加するには、投影面姿勢設定手段２６０に、輪郭矩形Ｒ１の上下両辺に平行な水平線と左右両辺に平行な垂直線とによって構成される格子パターンを生成し、この格子パターンを表示素子２１０に表示させる機能をもたせておけばよい。そして、この格子パターンが投影されている状態でユーザから投影面設定指示が与えられたときに、投影面姿勢の設定を行うようにすればよい。
【０２７６】
具体的には、投影面姿勢設定手段２６０に、格子パターン表示ボタンと投影面設定ボタンとを設けておき、格子パターン表示ボタンが押されたら、投影面姿勢設定手段２６０から表示素子２１０に対して格子パターンの画像データが与えられるようにし、格子パターンの投影が開始するようにする。そして、その状態で、今度は投影面設定ボタンが押されたら、格子パターンの投影を中止し、その時点で姿勢把握手段２５０が把握している現在姿勢Ａｔを、投影面姿勢Ａ０に設定する処理を行えばよい。
【０２７７】
あるいは、投影面姿勢設定手段２６０に、単一の操作ボタンのみを設けておき、この操作ボタンが押されている間は格子パターンの投影が行われ、操作ボタンを離した瞬間に投影面設定指示が与えられたものと認識し、その時点で姿勢把握手段２５０が把握している現在姿勢Ａｔを、投影面姿勢Ａ０に設定する処理を行うようにしてもよい。この場合、ユーザは、プロジェクタ２００の装置筐体を懐中電灯のように保持し、操作ボタンを押しながら格子パターンの投影を行い、格子パターンが正しく投影された瞬間にボタンを離す操作を行えばよい。
【０２７８】
このような投影面設定指示の入力操作は、投影面Ｓｐ上に定義されたＩＪ座標系の姿勢が、表示面Ｓｄ上に定義されたＸＹ座標系の姿勢に一致したことを示す操作であり、その時点において、Ｉ軸がＸ軸に平行になり、Ｊ軸がＹ軸に平行になったことを示している（図２０に示す三次元座標系で考えると、このとき、Ｋ軸はＺ軸に平行になっている）。このため、投影面設定指示が与えられた瞬間に姿勢把握手段２５０が把握した現在姿勢Ａｔは、投影面Ｓｐの姿勢を示しており、投影面姿勢設定手段２６０は、この時点の現在姿勢Ａｔを投影面姿勢Ａ０として設定することになる。
【０２７９】
こうして設定された投影面姿勢Ａ０は、新たな投影面設定指示が与えられるまで、投影面姿勢設定手段２６０内に保持されることになる。これに対して、姿勢把握手段２５０によって把握される現在姿勢Ａｔは、リアルタイムで変化してゆくことになる。結局、投影面姿勢Ａ０は、ＩＪ座標系の姿勢（すなわち、投影面Ｓｐの向き）を示すことになり、現在姿勢Ａｔは、現時点におけるＸＹ座標系の姿勢（すなわち、表示面Ｓｄの向き）を示すことになる。
【０２８０】
画像補正手段２３０は、姿勢把握手段２５０が把握した現時点の現在姿勢Ａｔと、投影面姿勢設定手段２６０に設定されている投影面姿勢Ａ０と、に基づいて、投影面Ｓｐ上に歪みのない投影像が形成されるように、原画像Ｃに対する補正を行い、補正画像Ｃ′を生成する。このような画像補正を行うため、画像補正手段２３０には、図２９に示すとおり、画像縮小部２３１、外枠四角形決定部２３２、投影用矩形決定部２３３、補正四角形決定部２３４、対応関係定義部２３５が設けられている。
【０２８１】
対応関係定義部２３５は、姿勢把握手段２５０から与えられる現在姿勢Ａｔおよび投影面姿勢設定手段２６０から与えられる投影面姿勢Ａ０に基づいて、表示面Ｓｄ上の表示点Ｗの位置と、投影面Ｓｐ上の投影点Ｈの位置と、を相互に対応づける対応関係を定義する処理を行う。すなわち、対応関係定義部２３５は、表示面Ｓｄ上に定義された二次元ＸＹ直交座標系上の表示点Ｗ（ｘ，ｙ）の座標値と、投影面Ｓｐ上に定義された二次元ＩＪ直交座標系上における、表示点Ｗ（ｘ，ｙ）に対応する投影点Ｈ（ｉ，ｊ）の座標値と、の関係を示す座標変換関数ｆを定義する。投影面Ｓｐ上の投影点Ｈの位置は、表示面Ｓｄ上の表示点Ｗの位置に対して座標変換関数ｆを作用させるＨ＝ｆ（Ｗ）なる演算によって求めることができる。
【０２８２】
この座標変換関数ｆは、図２２を用いて説明したように、現在姿勢Ａｔに基づいて定まるＸＹ座標系のＮＥＵグローバル座標系上での向きと、投影面姿勢Ａ０に基づいて定まるＩＪ座標系のＮＥＵグローバル座標系上での向きと、の幾何学的な関係に基づいて定義することができる。すなわち、座標変換関数ｆは、ＸＹ座標系の原点Ｐ、ＩＪ座標系の原点Ｌ、ＮＥＵグローバル座標系の原点Ｏが互いに重なるように各座標系を配置し、ＸＹ平面上で座標値（ｘ，ｙ）をもつ表示点Ｗ（ｘ，ｙ）をＸＹ平面に対して垂直な方向（投影光学系２２０が任意の方向に投影を行う場合は当該投影方向）に投影することによりＩＪ平面上に座標値（ｉ，ｊ）をもつ投影点Ｈ（ｉ，ｊ）が得られる場合に、座標値（ｘ，ｙ）を座標値（ｉ，ｊ）に変換する関数として定義される。
【０２８３】
図２３を用いて説明したように、こうして定義された座標変換関数ｆを用いれば、Ｈ（ｉ，ｊ）＝ｆ（Ｗ（ｘ，ｙ））なる演算により、ＸＹ平面上の任意の表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）に基づいて、ＩＪ平面上で対応する投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）を求めることができる。また、この座標変換関数ｆの逆関数ｆ-1を用いれば、Ｗ（ｘ，ｙ）＝ｆ-1（Ｈ（ｉ，ｊ））なる演算により、ＩＪ平面上の任意の投影点Ｈ（ｉ，ｊ）の座標値（ｉ，ｊ）に基づいて、ＸＹ平面上で対応する表示点Ｗ（ｘ，ｙ）の座標値（ｘ，ｙ）を求めることができる。
【０２８４】
もちろん、対応関係定義部２３５において定義される座標変換関数ｆおよび逆関数ｆ-1の内容は、姿勢把握手段２５０から与えられる現在姿勢Ａｔの変化に応じて変化することになる。したがって、対応関係定義部２３５は、現在姿勢Ａｔがリアルタイムで変化するたびに、新たな座標変換関数ｆおよび逆関数ｆ-1を定義する処理を行うことになる。
【０２８５】
一方、外枠四角形決定部２３２、投影用矩形決定部２３３、補正四角形決定部２３４は、§６において、図２５を参照しながら説明した処理、すなわち、輪郭矩形Ｒ１に基づいて補正四角形Ｒ４を決定する処理を行うための構成要素である。
【０２８６】
まず、外枠四角形決定部２３２は、対応関係定義部２３５によって定義された対応関係に基づいて、表示面Ｓｄ上の表示領域の輪郭を構成する輪郭矩形Ｒ１の４頂点についての投影点を投影面Ｓｐ上に求め、求めた投影点を４頂点とする外枠四角形Ｒ２を決定する処理を行う。具体的には、図２５(b) に示す表示面Ｓｄ上（ＸＹ平面上）の輪郭矩形Ｒ１の４頂点Ｗ１〜Ｗ４について、座標変換関数ｆを用いたＨ（ｉ，ｊ）＝ｆ（Ｗ（ｘ，ｙ））なる式に基づいて、図２５(a) に示すように投影面Ｓｐ上（ＩＪ平面上）に対応する投影点Ｈ１〜Ｈ４を求め、外枠四角形Ｒ２を決定する処理が行われる。
【０２８７】
投影用矩形決定部２３３は、投影面Ｓｐ上（ＩＪ平面上）において、外枠四角形決定部２３２により決定された外枠四角形Ｒ２に内包される所定の矩形を、投影用矩形Ｒ３として決定する処理を行う。実用上は、ＮＥＵグローバル座標系の水平方向もしくは垂直方向に平行な四辺をもつ矩形を投影用矩形Ｒ３として決定し、更に、原画像Ｃのアスペクト比と同じアスペクト比をもつ矩形を投影用矩形Ｒ３として決定するのが好ましい。このような投影用矩形Ｒ３を決定すれば、原画像Ｃに対応した正しい投影像が、縦横が正しい方向を向いた状態で投影されるようになる。
【０２８８】
投影用矩形Ｒ３を決定する具体的な方法は、図２６を参照しながら§６で説明したとおりである。なお、図２６に示す方法によって、ＮＥＵグローバル座標系の水平方向もしくは垂直方向に平行な四辺をもつ投影用矩形Ｒ３を決定するには、投影面姿勢設定手段２６０が、ユーザからの投影面設定指示が与えられたときに、Ｉ軸がＮＥＵグローバル座標系における水平軸（ＮＥ平面に平行な軸）となり、Ｊ軸がＮＥＵグローバル座標系における垂直軸（Ｕ軸に平行な軸）となるように、投影面Ｓｐ上にＩＪ座標系を定義するようにすればよい。
【０２８９】
前述したように、投影面姿勢設定手段２６０が、格子パターンを投影させる機能を有している場合は、ユーザが、この格子パターンの水平線および垂直線が、それぞれ水平方向および鉛直方向に向くように、プロジェクタ２００の姿勢を調整した状態で、投影面設定指示を与えるようにすれば、投影面姿勢設定手段２６０は、水平方向にＩ軸、鉛直方向にＪ軸が向くような姿勢をもったＩＪ座標系として、投影面姿勢Ａ０を設定することができる。
【０２９０】
ただ、姿勢把握手段２５０は、ＮＥＵグローバル座標系上での水平方向および鉛直方向を認識することができるので、ユーザから投影面設定指示が与えられたときのＸ軸およびＹ軸の方向が、水平方向（ＮＥ平面に平行な方向）および鉛直方向（Ｕ軸に平行な方向）からずれていた場合には、Ｚ軸を回転軸として、ＸＹＺ三次元座標系を回転させ、Ｘ軸およびＹ軸の方向が、それぞれ水平方向および鉛直方向を向くように補正し、補正後の姿勢を投影面姿勢Ａ０として設定するようにすれば（すなわち、補正後のＸ軸の方向をＩ軸方向とし、補正後のＹ軸の方向をＪ軸方向とすれば）、水平方向にＩ軸、鉛直方向にＪ軸が向くような正確な姿勢をもったＩＪ座標系を設定することが可能になる。
【０２９１】
補正四角形決定部２３４は、投影用矩形決定部２３３によって決定された投影用矩形Ｒ３に対応する補正四角形Ｒ４を決定する機能を有する。すなわち、補正四角形決定部２３４は、対応関係定義部２３５で定義された対応関係に基づいて、投影点が投影用矩形Ｒ３の４頂点の位置にくる表示点を表示面Ｓｄ上に求め、求めた表示点を４頂点とする補正四角形Ｒ４を決定する処理を行う。具体的には、図２５(a) に示す投影面Ｓｐ上（ＩＪ平面上）の投影用矩形Ｒ３の４頂点Ｈ５〜Ｈ８について、座標変換関数ｆの逆関数ｆ-1を用いたＷ（ｘ，ｙ）＝ｆ-1（Ｈ（ｉ，ｊ））なる式に基づいて、図２５(b) に示すように表示面Ｓｄ（ＸＹ平面）上に対応する表示点Ｗ５〜Ｗ８を求め、補正四角形Ｒ４を決定する処理が行われる。
【０２９２】
こうして、補正四角形決定部２３４により決定された補正四角形Ｒ４の情報は、画像縮小部２３１に与えられる。画像縮小部２３１は、与えられた原画像Ｃを、本来は、表示素子２１０の表示領域の輪郭内（輪郭矩形Ｒ１内）に表示されるべき補正対象画像として取り扱い、当該輪郭矩形Ｒ１内の画像が補正四角形Ｒ４内に収まるように、原画像Ｃを縮小することにより補正画像Ｃ′を作成する処理を行う。このような縮小処理の具体的な方法は、図２７，図２８を参照して、§６で述べたとおりである。
【０２９３】
以上、図２９を参照しながら、画像補正手段２３０の構成および動作を説明したが、実際には、この画像補正手段２３０は、コンピュータに専用のプログラムを組み込むことにより実現することができる。したがって、図にブロックとして示す画像縮小部２３１、外枠四角形決定部２３２、投影用矩形決定部２３３、補正四角形決定部２３４、対応関係定義部２３５は、実際には、コンピュータとプログラムとを協働させる構成によって実現することができる。もちろん、この画像補正手段２３０は、ＬＳＩなどの半導体集積回路により構成することも可能である。
【０２９４】
一方、姿勢把握手段２５０としては、§１〜§４で述べた先願入力装置１００を利用することができる。もちろん、先願入力装置１００は、装置筐体が移動状態である場合には、重力加速度に移動加速度が混じってしまうため、正しい姿勢認識を行うことができない。したがって、姿勢把握手段２５０として先願入力装置１００を利用した場合、現在姿勢Ａｔの把握は停止状態でしか行うことができないが、実用上、大きな支障は生じない。
【０２９５】
これは、プロジェクタ２００という機器の性質上、投影像の提示を行う際には、通常、停止状態に保つ必要があるためである。換言すれば、プロジェクタ２００を移動させれば投影像も移動することになり、視聴者の眼で見た場合、移動中の投影像の歪みはそれほど気にならないのである。したがって、プロジェクタ２００の移動中には正しい歪み補正が行われなくても、実用上、大きな問題にはならない。
【０２９６】
図２に示すように、先願入力装置１００には信号処理手段４０が組み込まれており、この信号処理手段４０も、実際には、コンピュータに専用のプログラムを組み込むことにより実現することができ、ＬＳＩなどの半導体集積回路により構成することも可能である。
【０２９７】
なお、この先願入力装置１００は、もともと空間位置座標入力装置として機能する装置であり、図２に示すとおり、位置出力Ｐ（ｎ，ｅ，ｕ）と姿勢出力Ａ（Ｘ→，Ｙ→，Ｚ→）を得る機能を有している。これに対して、図２９に示す基本的な実施形態に係るプロジェクタ２００における姿勢把握手段２５０は、プロジェクタ２００のＮＥＵグローバル座標系上での姿勢が把握できれば足り、プロジェクタ２００の位置まで把握する必要はない。したがって、図２９に示す姿勢把握手段２５０として、図２に示す空間位置座標入力装置１００を利用する場合、姿勢の把握に必要な構成要素のみをピックアップして用いればよく、それ以外の構成要素は省略することが可能である。
【０２９８】
具体的には、図２９に示す姿勢把握手段２５０は、図２に示す空間位置座標入力装置１００の構成要素のうち、加速度センサ１０、磁気センサ３０、移動判定部４２、姿勢認識部４６のみにより構成することが可能である。この場合、加速度センサ１０は、表示素子２１０（プロジェクタ２００）に作用した加速度のＸＹＺローカル座標系上の各座標軸方向成分αを検出する役割を果たし、磁気センサ３０は、表示素子２１０に作用した磁気のＸＹＺローカル座標系上の各座標軸方向成分ｍを検出する役割を果たす。そして、移動判定部４２は、加速度センサ１０の検出値αに基づいて、表示素子２１０が移動状態もしくは停止状態のいずれにあるかを判定する役割を果たし、姿勢認識部４６は、移動判定部４２が停止状態との判定を行っているときに、加速度センサ１０の検出値αと磁気センサの検出値ｍとに基づいて、表示素子２１０のＮＥＵグローバル座標系上における姿勢Ａを認識する役割を果たす。
【０２９９】
このような構成をもつ姿勢把握手段２５０は、北方向を示すＮ軸、東方向を示すＥ軸、上方向を示すＵ軸という互いに直交する３軸と原点ＯとをもったＮＥＵグローバル座標系上において、各時点の現在姿勢Ａｔを把握することができる。一方、表示素子２１０上には、Ｘ軸、Ｙ軸、Ｚ軸という互いに直交する３軸と原点ＰとをもったＸＹＺローカル座標系が定義されており、このＸＹＺローカル座標系は、表示素子２１０の移動とともに移動し、表示素子２１０の回転とともに回転するように表示素子２１０に対して固定された座標系になる。
【０３００】
そして、加速度センサ１０は、表示素子２１０に作用した加速度のＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚを検出する機能を有し、磁気センサ３０は、表示素子２１０に作用した磁力のＸ軸方向成分ｍｘ、Ｙ軸方向成分ｍｙ、Ｚ軸方向成分ｍｚを検出する機能を有する。
【０３０１】
既に述べたとおり、図２に示す姿勢認識部４６は、移動判定部４２が停止状態との判定を行っているときに得られた加速度センサ１０の検出値αｘ，αｙ，αｚを、それぞれ重力加速度のＸ軸方向成分ｇｘ、Ｙ軸方向成分ｇｙ、Ｚ軸方向成分ｇｚと認識して、重力ベクトルＧ（ｇｘ，ｇｙ，ｇｚ）を求め、この重力ベクトルＧとは逆向きの上方ベクトルＵの方向をＵ軸方向と認識する。また、磁気センサ３０の検出値ｍｘ，ｍｙ，ｍｚを各成分とする磁気ベクトルＭ（ｍｘ，ｍｙ，ｍｚ）を定め、重力ベクトルＧと磁気ベクトルＭとの外積として得られる東方ベクトルＥの方向をＥ軸方向と認識し、東方ベクトルＥと重力ベクトルＧとの外積として得られる北方ベクトルＮの方向をＮ軸方向と認識する。かくして、ＸＹＺローカル座標系を構成するＸ軸，Ｙ軸，Ｚ軸と、ＮＥＵグローバル座標系を構成するＮ軸，Ｅ軸，Ｕ軸と、の相互位置関係として、表示素子２１０の現在姿勢Ａｔの認識が行われる。
【０３０２】
なお、姿勢把握手段２５０内に、角速度センサ２０および回転判定部４４を設けておけば、投影面姿勢Ａ０の設定をより正確に行うことが可能になる。角速度センサ２０は、表示素子２１０（プロジェクタ２００）に作用した角速度のＸ軸まわり成分ωｘ、Ｙ軸まわり成分ωｙ、Ｚ軸まわり成分ωｚを検出する機能を果たし、回転判定部４４は、この角速度センサ２０の検出値に基づいて、表示素子２１０が回転状態もしくは非回転状態のいずれにあるかを判定することができる。
【０３０３】
そこで、姿勢把握手段２５０から投影面姿勢設定手段２６０に対して、移動判定部４２の判定結果および回転判定部４４の判定結果を伝達するようにしておき、投影面姿勢設定手段２６０が、ユーザから投影面設定指示が与えられたときに、移動判定部４２が移動状態と判定していた場合、もしくは、回転判定部４４が回転状態と判定していた場合には、投影面姿勢Ａ０の設定を行わず、ユーザに対して、表示素子２１０（プロジェクタ２００）を静止状態に維持した上で投影面設定指示の再入力を行うよう警告するようにしておけばよい。
【０３０４】
投影面姿勢Ａ０の設定を正確に行うには、表示素子２１０（ここに示す基本的な実施形態の場合は、プロジェクタ２００の装置筐体）が、移動も回転もしていない静止状態に保たれているときに投影面設定指示を与えるようにするのが好ましい。投影面姿勢設定手段２６０に上記機能をもたせておけば、表示素子２１０が静止状態にない場合には、投影面設定指示が与えられても、投影面姿勢Ａ０の設定は行われず警告がなされることになるので、不正確な投影面姿勢Ａ０が設定されるのを防ぐことができる。
【０３０５】
警告は、たとえば、ブザーの鳴動や警告ランプの点灯によって行うことができる。ユーザは、投影面設定ボタンを押したときに、ブザーの鳴動や警告ランプの点灯があれば、設定が失敗したことを認識することができる。このような警告を受けた場合、ユーザは、表示素子２１０が静止状態に維持されるように留意して、設定操作を再度試みるようにすればよい。
【０３０６】
＜＜＜  §８．  本発明に係るプロジェクタの変形例  ＞＞＞
ここでは、§７で述べた本発明に係るプロジェクタの基本的な実施形態に関連して、いくつかの変形例を述べておく。
【０３０７】
＜８−１．プロジェクタの位置の把握＞
§７では、姿勢把握手段２５０として、§１〜§４で述べた先願入力装置１００の構成の中から、姿勢の把握に必要な構成要素のみをピックアップして用い、それ以外の構成要素を省略する例を述べた。この場合、図２に示す空間位置座標入力装置１００の構成要素のうち、加速度センサ１０、磁気センサ３０、移動判定部４２、姿勢認識部４６のみをピックアップして図２９に示す姿勢把握手段２５０を構成することができる。
【０３０８】
そもそも画像補正手段２３０による補正が必要になるのは、投影光学系２２０によって投影面Ｓｐに対して斜め方向から投影が行われた場合に、投影画像に歪みが生じるためである。すなわち、一般的なプロジェクタ２００では、投影光学系２２０の光軸が表示素子２１０の表示面Ｓｄに対して垂直な方向に設定されており、表示面Ｓｄに対して直交する方向（Ｚ軸方向）に投影が行われることになるので、表示面Ｓｄと投影面Ｓｐとが平行でないと、投影像に歪みが生じることになる。
【０３０９】
この投影像の歪みを補正するために必要な情報は、図２２に示すように、ＩＪ平面の姿勢Ａ０（投影面Ｓｐの向き）とＸＹ平面の姿勢Ａｔ（表示面Ｓｄの向き）との相対的な関係の情報（座標系の回転に関するファクター）であり、ＩＪ座標系の原点ＬとＸＹ座標系の原点Ｐとの空間的な位置関係の情報（座標系のオフセットに関するファクター）は不要である。このような点から、画像補正手段２３０には、投影面Ｓｐに対する表示面Ｓｄの現時点の姿勢の情報を与えれば十分である。
【０３１０】
しかしながら、図２に示す先願入力装置１００は、もともと空間位置座標入力装置として機能する装置であり、姿勢出力Ａ（Ｘ→，Ｙ→，Ｚ→）とともに位置出力Ｐ（ｎ，ｅ，ｕ）を得る機能を有している。したがって、図２９に基本的な実施形態として述べたプロジェクタ２００に用いる姿勢把握手段２５０として、図２に示す空間位置座標入力装置１００をそのまま組み込むようにすれば、歪み補正の機能とともに、自分自身の位置を把握する機能をもったプロジェクタを実現することができる。
【０３１１】
図３０は、本発明の変形例に係るプロジェクタ２００′の構成を示すブロック図である。このプロジェクタ２００′は、図２９に示すプロジェクタ２００における姿勢把握手段２５０の代わりに姿勢把握手段２５０′を用い、原画像提供手段２４０の代わりに原画像提供手段２４０′を用いたものであり、その他の構成要素については変わりはない。
【０３１２】
姿勢把握手段２５０′は、姿勢把握機能に加えて位置把握機能をもった構成要素であり、上述したとおり、図２に示す空間位置座標入力装置１００をそのまま利用して構成することができる。図では、この姿勢把握手段２５０′によって把握された各時点の姿勢を現在姿勢Ａｔ、位置を現在位置Ｐｔとして示してある。姿勢把握手段２５０′が把握した現在姿勢Ａｔが、対応関係定義部２３５および投影面姿勢設定手段２６０に与えられ、投影像の歪み補正に利用される点は、前述した基本的な実施形態と全く同じであるが、この変形例では、姿勢把握手段２５０′によって把握された現在姿勢Ａｔおよび現在位置Ｐｔは、原画像提供手段２４０′にも与えられる。原画像提供手段２４０′は、この現在姿勢Ａｔおよび現在位置Ｐｔを利用して、原画像の切出処理を行う機能を有している（この切出処理については、後の§８−２で詳述する）。
【０３１３】
このプロジェクタ２００′では、ユーザによる投影面設定指示が、投影面姿勢設定手段２６０だけでなく、姿勢把握手段２５０′にも与えられる。投影面設定指示は、表示面Ｓｄが投影面Ｓｐに平行になっている旨を伝えるユーザからの合図としての役割を果たし、既に述べたとおり、投影面姿勢設定手段２６０は、この指示が与えられた時点の現在姿勢Ａｔを投影面姿勢Ａ０として設定することになる。これに対して、姿勢把握手段２５０′に与えられる投影面設定指示は、図２に示す初期設定部４３に対する初期設定指示としての役割を果たす。
【０３１４】
図２に示す空間位置座標入力装置１００を利用して位置を把握する際には、図９の流れ図に示す初期設定処理が必要になる。そこで、このプロジェクタ２００′では、ユーザによる投影面設定指示をそのまま、図９の流れ図のステップＳ１に記載されている初期設定指示として流用している。このため、ユーザは、このプロジェクタ２００′を利用するにあたり、図２０に示すように、格子パターンを投影面Ｓｐ上に投影した状態で投影面設定操作を行うだけでよい。この投影面設定操作により、投影面姿勢Ａ０の設定処理が行われるとともに、図９のステップＳ７に示す初期位置Ｐ０の設定処理も行われることになる。
【０３１５】
このように、プロジェクタ２００′の現在姿勢Ａｔとともに現在位置Ｐｔを把握させるには、姿勢把握手段２５０′を、ＮＥＵグローバル座標系上において任意の空間位置座標を入力する空間位置座標入力装置によって構成すればよい。この場合、当該空間位置座標入力装置には、加速度センサ１０と、磁気センサ３０と、信号処理手段４０と、を設け、少なくとも加速度センサ１０および磁気センサ３０は、表示素子２１０とともに同一の装置筐体内に固定されているようにする。
【０３１６】
ここで、この装置筐体上には、装置筐体の移動とともに移動し、装置筐体の回転とともに回転するように装置筐体に対して固定されたＸＹＺローカル座標系を定義しておき、加速度センサ１０は、装置筐体に作用した加速度のＸ軸方向成分αｘ、Ｙ軸方向成分αｙ、Ｚ軸方向成分αｚを検出し、磁気センサ３０は、装置筐体に作用した磁力のＸ軸方向成分ｍｘ、Ｙ軸方向成分ｍｙ、Ｚ軸方向成分ｍｚを検出するようにする。
【０３１７】
また、信号処理手段４０には、加速度センサ１０の検出値に基づいて、装置筐体が移動状態もしくは停止状態のいずれにあるかを判定する移動判定部４２と、この移動判定部４２が停止状態との判定を行っているときに、加速度センサ１０の検出値と磁気センサ３０の検出値とに基づいて、装置筐体のＮＥＵグローバル座標系上における姿勢を認識する姿勢認識部４６と、移動判定部４２の判定結果によって停止状態から移動状態に遷移したことが認識された場合に、移動直前に姿勢認識部４６が認識した姿勢と加速度センサ１０の検出値とに基づいて、装置筐体のＮＥＵグローバル座標系上における位置を認識する位置認識部４５と、を設けておけばよい。
【０３１８】
なお、図９のステップＳ２，Ｓ３に示すように、初期設定処理を行う際に、プロジェクタ２００′が静止状態になっていなかったら、ユーザに対して警告を行って再設定を促すようにするには、表示素子２１０に作用した角速度のＸ軸まわり成分ωｘ、Ｙ軸まわり成分ωｙ、Ｚ軸まわり成分ωｚを検出する角速度センサ２０と、この角速度センサ２０の検出値に基づいて、表示素子２１０が回転状態もしくは非回転状態のいずれにあるかを判定する回転判定部４４と、を更に設けるようにし、ユーザから投影面設定指示が与えられたときに、移動判定部４２が移動状態と判定していた場合、もしくは、回転判定部４４が回転状態と判定していた場合には、投影面姿勢設定手段２６０が、投影面姿勢の設定および初期設定を行わず、ユーザに対して、表示素子２１０を静止状態に維持した上で投影面設定指示の再入力を行うよう警告すればよい。
【０３１９】
＜８−２．原画像の切り出し＞
ここでは、図３０に示すプロジェクタ２００′における原画像提供手段２４０′の機能について説明する。原画像提供手段２４０′は、図２９に示すプロジェクタ２００における原画像提供手段２４０と同様に、投影対象となる原画像Ｃを画像補正手段２３０に提供する役割を果たす。ただ、原画像提供手段２４０′は、原画像Ｃを広域元画像ＣＣの一部から切り出して生成する付加的な機能を備えている。
【０３２０】
図３１は、図３０に示す変形例における原画像提供手段２４０′の構成を示すブロック図である。図示のとおり、この原画像提供手段２４０′は、広域元画像ＣＣを格納する広域元画像格納部２４１と、姿勢把握手段２５０′が把握した現在姿勢Ａｔおよび現在位置Ｐｔに基づいて所定の切出位置を決定する切出位置決定部２４３と、広域元画像ＣＣの当該切出位置から、一部の領域を切り出して原画像Ｃを生成する原画像切出部２４２と、を備えている。
【０３２１】
ここで、広域元画像ＣＣとは、その一部の領域を原画像Ｃとして切り出して利用することが可能な、原画像Ｃよりも広い領域にわたって用意された画像である。もちろん、広域元画像ＣＣは、外部のパソコンなどから原画像提供手段２４０′に対して、有線もしくは無線を介して提供するようにしてもよい。この場合、広域元画像格納部２４１は、外部から提供された広域元画像ＣＣを一時的に保持する機能を果たすことになる。
【０３２２】
図３２は、図３１に示す原画像提供手段２４０′による原画像Ｃの切り出し態様を示す平面図である。この例は、広域元画像ＣＣとして地図の画像を用意した例である。地図の画像は地球上の全領域まで広げることができるが、通常、その一部の領域のみを拡大表示して利用するのが一般的である。図３２に示す例は、ある街の地図画像を広域元画像ＣＣとして用意し、その一部を切り出して原画像Ｃを生成した例を示すものである。図には、切出位置として、切出中心点βの位置を指定し、この切出中心点βを中心として、ハッチングを施して示した所定の領域を原画像Ｃとして切り出した例が示されている。
【０３２３】
この例の場合、街の地図画像は、広域元画像ＣＣとして、図３１に示す広域元画像格納部２４１に格納されており、切出位置決定部２４３によって切出中心点βの位置が指定されると、原画像切出部２４２によって、切出中心点βを中心とした所定領域が原画像Ｃとして切り出されることになる。実用上は、原画像切出部２４２に対して、切り出される原画像Ｃの範囲（図３２にハッチングを施した領域の面積）を、任意に設定できるようにしておき、原画像切出部２４２は、この設定された範囲の領域を原画像Ｃとして切り出すようにするのが好ましい。
【０３２４】
ここで重要な点は、切出位置決定部２４３が、姿勢把握手段２５０′から与えられた現在姿勢Ａｔおよび現在位置Ｐｔに基づいて切出位置βを決定する点である。切出位置βの初期値は、たとえば、広域元画像ＣＣの中心位置のように予め設定しておくことができる。したがって、図３２に例示するような地図の広域元画像ＣＣを投影対象とする投影を開始した時点では、広域元画像ＣＣの中心の一部が原画像Ｃとして切り出され、画像補正手段２３０に与えられる。その結果、投影面Ｓｐには、当該中心部分の地図が投影されることになる。
【０３２５】
その状態で、ユーザが、プロジェクタ２００′の姿勢もしくは位置を変えると、切出位置決定部２４３には、現在姿勢Ａｔもしくは現在位置Ｐｔの変化が伝えられることになる。切出位置決定部２４３が、この姿勢Ａｔや位置Ｐｔの変化に応じて切出位置βを変化させるようにすれば、ユーザが、プロジェクタ２００′の姿勢もしくは位置を変えると、それに応じて切出位置βが変化し、原画像Ｃの内容も変化することになる。
【０３２６】
一方、ユーザが、プロジェクタ２００′の姿勢もしくは位置を変えると、投影面Ｓｐ上の投影位置も変化することになる。たとえば、図１８には、ユーザがプロジェクタ２００を片手に保持しながらスクリーン３００に対する投影を行っている例が示されているが、ユーザが手首をひねれば、プロジェクタ２００の姿勢が変化することになるので、投影光学系２２０の光軸の向きが変化し、スクリーン３００上に形成される投影像の位置も変化することになる。また、ユーザが、スクリーン３００に対して手を平行移動させれば、プロジェクタ２００の位置が変化することになるので、投影光学系２２０の光軸が平行移動し、やはりスクリーン３００上に形成される投影像の位置も変化することになる。
【０３２７】
もちろん、スクリーン３００上の投影面Ｓｐの面積が小さければ、プロジェクタ２００′の姿勢や位置を変えることにより、形成される投影像はスクリーン３００から外れてしまうことになるが、大きなスクリーン３００の一部分にのみ投影像が形成されるように投影倍率を設定しておけば、ユーザはプロジェクタ２００を保持した手を動かすことにより、投影像をスクリーン３００上の任意の部分に移動させることができる。スクリーン３００として、部屋の壁を利用すれば、投影像を壁の任意の位置に移動させることができる。いわば、懐中電灯で部屋の一部を照らすような動作により、壁の任意の場所に投影像を形成させることができ、その位置を自由自在に移動させることができる。
【０３２８】
そこで、スクリーン３００上における投影像の形成位置と、原画像Ｃの切出位置βとに相関関係をもたせておくようにすれば、あたかも、スクリーン３００上に貼付けられた広域元画像ＣＣの一部を懐中電灯で照らすような動作で、原画像Ｃの投影を行うことができるようになる。たとえば、図３２に示すような地図の広域元画像ＣＣが描かれた壁紙を部屋の壁一面に貼り付け、部屋を暗くした状態で、懐中電灯のスポットで壁の一部を照らしたとすれば、懐中電灯からの照明光を受けた一部分の地図が照らし出されることになる。具体的には、図３２に示す広域元画像ＣＣにおける点βの位置に懐中電灯の光軸を合わせて照明を行えば、その周囲の一部分の地図がスポットにより照らし出されることになる。そして、懐中電灯の照射方向を上下左右に動かせば、スポットにより照らし出される地図の部分も上下左右に移動する。
【０３２９】
図３１に示す原画像提供手段２４０′を利用すれば、上述したように、懐中電灯で壁紙の一部を照らしたときに生じる現象と似たような現象を、プロジェクタ２００′を用いて行うことができる。もちろん、この場合、地図はスクリーン３００（例えば、白い無地の壁紙）上に投影像として提示されることになるが、あたかも、スクリーン３００の全面に、図３２に例示するような広域元画像ＣＣが仮想的にマッピングされ、その一部の領域（プロジェクタ２００′の投影方向に位置する領域）のみが原画像Ｃとして提示されているように見える。
【０３３０】
もちろん、地図が描かれた壁紙を懐中電灯で照らした状態を正確にシミュレートするには、切出位置決定部２４３は、投影面Ｓｐまでの距離や投影倍率などを考慮して、投影面Ｓｐ上に形成される投影像の実寸を計算するとともに、投影光学系２２０の光軸と投影面Ｓｐとの交点位置を計算し、投影像上を移動する交点位置の方向および移動距離を求め、適切な切出位置βを決定する必要がある。ただ、実際には、それほど正確なシミュレートを行う必要はなく、投影光学系２２０の光軸を上下左右に移動したら、切出位置βも上下左右に移動する、という程度の相関関係をもたせておけば、十分に実用性をもった利用環境を提供することができる。
【０３３１】
具体的には、切出位置決定部２４３は、姿勢把握手段２５０′が把握した現在姿勢Ａｔおよび現在位置Ｐｔについての時間変化を認識し、当該時間変化に応じて生じる投影面上での投影位置の移動方向を認識し、広域元画像ＣＣ上の切出位置βが、この移動方向に応じて移動するように、当該切出位置βを決定する処理を行えばよい。
【０３３２】
たとえば、ユーザが、プロジェクタ２００′を所定方向に向けて保持している状態において、投影面Ｓｐ上には、図３２にハッチングを施して示す領域が原画像Ｃとして切り出されて投影されていたものとしよう。この場合、もしユーザが、このハッチング領域内の地図の右方向を見たいと考えた場合には、プロジェクタ２００′の投影方向を右方向に向けるようにすればよい。そうすれば、切出位置決定部２４３は、現在姿勢Ａｔもしくは現在位置Ｐｔについての時間変化に基づいて、投影面上での投影位置が右方向に移動していることを認識することができるので、切出位置βを右方向に移動させることができる。その結果、投影面Ｓｐには、若干右にずれた位置から切り出された原画像Ｃが投影されることになり、ユーザの目的は達成されることになる。
【０３３３】
ユーザは、プロジェクタ２００′を片手に保持しながら、投影方向を上下左右に自由に移動させることができる。そして、その移動により、投影像の形成位置も上下左右に移動することになり、更に、原画像Ｃの切出位置βも上下左右に移動して投影像の内容が変化することになる。このように、ユーザは、手の動きによって、投影像の位置および内容が変化する態様をリアルタイムで視覚的に認識することができるので、直感的な操作で所望の地図を投影面Ｓｐ上に表示させることができる。たとえば、図３２に示す例において、ハッチング領域が投影面Ｓｐ上に表示されている状態において、駅を表示させたいのであれば、投影方向が右下に移動するようにプロジェクタ２００′の姿勢や位置を変える操作を行えばよい。
【０３３４】
以上、広域元画像ＣＣとして地図の画像を用いた例を説明したが、もちろん、広域元画像ＣＣとしては任意の画像を利用することが可能である。たとえば、全天の星座の画像を広域元画像ＣＣとして用意しておけば、部屋内に仮想のプラネタリウムを設置し、プロジェクタ２００′による投影位置を変えることにより、部屋の様々な位置に、当該位置に対応した星座を個別に投影するようなことも可能になる。
【０３３５】
あるいは、縦横のセル数が膨大な数にのぼる大規模なスプレッドシートとして用意された統計データなどを用いたプレゼンテーションでは、スクリーン３００の全面に当該スプレッドシートが貼付けられた仮想環境を用意し、実際には、その一部分のみをプロジェクタ２００′によって投影するような利用形態も可能になる。視聴者には、大規模なスプレッドシートの全体像を意識させつつ、注目すべき一部分のみのデータを投影像として提示することができるので、よりインパクトのあるプレゼンテーションが可能になる。
【０３３６】
なお、図３１に示す例の場合、切出位置決定部２４３が、現在姿勢Ａｔおよび現在位置Ｐｔの双方を利用して、切出位置βの決定を行うようにしているが、切出位置βの決定は、必ずしも姿勢Ａｔと位置Ｐｔとの双方を用いる必要はなく、いずれか一方のみを用いるようにしてもかまわない。
【０３３７】
姿勢Ａｔのみを用いて切出位置βの決定を行うようにした場合、ユーザは、手首をひねってプロジェクタ２００′の姿勢を変えることにより原画像Ｃの切出位置を変えることができるが、プロジェクタ２００′を平行移動させた場合には、原画像Ｃの切出位置を変えることはできない。逆に、位置Ｐｔのみを用いて切出位置βの決定を行うようにした場合、ユーザは、手首をひねってプロジェクタ２００′の姿勢を変えることにより原画像Ｃの切出位置を変えることはできないが、プロジェクタ２００′を平行移動させることにより、原画像Ｃの切出位置を変えることができる。
【０３３８】
なお、姿勢Ａｔのみを用いて切出位置βの決定を行うようにした場合は、位置Ｐｔを把握する必要はないので、図３０に示す姿勢把握手段２５０′（姿勢Ａｔだけでなく、位置Ｐｔを把握する機能をもった装置）の代わりに、図２９に示す姿勢把握手段２５０（姿勢Ａｔのみを把握する機能をもった装置）を用いれば十分である。
【０３３９】
＜８−３．投影面に関するバリエーション＞
これまで述べてきた実施形態は、単一の投影面Ｓｐを設定することを前提としたものであったが、投影面姿勢設定手段２６０に複数の投影面に関する姿勢を設定する機能をもたせておけば、本発明に係るプロジェクタは、複数の投影面にも対応することができる。
【０３４０】
たとえば、図３３は、部屋の壁を投影面として用いる本発明の変形例を示す斜視図である。図示の例は部屋の１コーナーを構成する２面の壁と天井とにより、３つの投影面Ｓｐ１，Ｓｐ２，Ｓｐ３が形成されている。これら３つの投影面に投影を行う場合には、ユーザは、個々の投影面のそれぞれについて、投影面設定操作を行っておけばよい。投影面姿勢設定手段２６０には、各投影面のそれぞれについて、投影面姿勢Ａ０（Ｓｐ１），Ａ０（Ｓｐ２），Ａ０（Ｓｐ３）が設定されることになる。
【０３４１】
ただ、歪み補正を行うためには、投影像がいずれの投影面に形成されるのかを認識する必要があるので、投影面姿勢だけを設定するだけでは不十分であり、三次元空間（ＮＥＵグローバル座標系）における各投影面の位置も把握する必要がある。そのためには、投影面姿勢設定手段２６０に、表示面Ｓｄと投影面Ｓｐとの間の距離を測定する距離センサを設けておき、この距離センサによる測定値を利用して、ＮＥＵグローバル座標系上の所定位置に配置された各投影面の設定を行うようにすればよい。そうすれば、各投影面の姿勢だけでなく、ＮＥＵグローバル座標系上での位置まで設定することができるので、図３３に示す例の場合、部屋の壁面や天井面の構造を示す三次元構造が認識できる。
【０３４２】
画像補正手段２３０は、現在位置Ｐｔおよび現在姿勢Ａｔの情報に基づいて、プロジェクタ２００′の位置および光軸方向（投影方向）を認識することができるので、投影像がどの投影面に形成されるかを認識することができ、個々の投影面上に歪みのない投影像が形成されるように、原画像に対する適切な補正を行うことができるようになる。
【０３４３】
もちろん、投影像が複数の投影面に跨がって形成されるケースもあるので、その場合は、個々の投影面に形成される部分投影像ごとに別個の補正処理が施されることになる。
【０３４４】
また、これまで述べてきた実施形態は、投影面として平面を用いた例であるが、本発明に係るプロジェクタは、曲面を投影面とする場合にも利用可能である。図３４は、本発明に係るプロジェクタを用いて曲面に投影する態様を示す側面図である。たとえば、部屋のドーム型天井にプラネタリウム画像を投影する場合、図３４に示すように、投影面Ｓｐ４は曲面になる。この場合、ユーザは、仮想の平面状投影面Ｓｐ５（たとえば、水平面）を想定して、投影面設定操作を行えばよい。
【０３４５】
たとえば、ユーザが、プロジェクタ２００を天井に向け、表示面Ｓｄが水平になるようにした状態で投影面設定ボタンを押せば、投影面姿勢設定手段２６０内には、図示の仮想投影面Ｓｐ５の姿勢が設定されることになる。この場合、画像補正手段２３０は、この仮想投影面Ｓｐ５に歪みのない投影像が形成されるような補正処理を実行することになる。実際の投影面は、仮想投影面Ｓｐ５ではなく、ドーム状の投影面Ｓｐ４ということになるので、厳密に正確な歪み補正を行うことはできないが、実用上、支障のない歪み補正が可能である。
【０３４６】
上述した投影環境では、曲面に平面画像を投影することになるので、どの視点位置から見ても歪みのない投影像を形成することは、そもそも理論的に不可能である。したがって、実際の投影面が曲面の場合は、平面からなる仮想投影面を設定する対応を採れば十分である。
【０３４７】
＜８−４．装置筐体の構成に関するバリエーション＞
図２９や図３０では、ブロジェクタ２００，２００′の構成要素をブロックで示した。これら各ブロックで示されている構成要素は、基本的には、すべて同一の装置筐体内に収容することができる。たとえば、図１８に示すプロジェクタ２００は、片手で保持可能な同一の装置筐体内に、図２９に個々のブロックとして示す表示素子２１０、投影光学系２２０、画像補正手段２３０、原画像提供手段２４０、姿勢把握手段２５０、投影面姿勢設定手段２６０、をすべて収容したものであり、必要な構成要素はすべて、この同一の装置筐体内に収まっている。
【０３４８】
しかしながら、本発明に係るプロジェクタを構成する上では、各構成要素をすべて同一の装置筐体内に収容する必要はない。たとえば、図２９に示すプロジェクタ２００において、少なくとも表示素子２１０と、投影光学系２２０と、姿勢把握手段２５０と、画像補正手段２３０と、を同一の装置筐体内に収容するようにし、原画像提供手段２４０を当該装置筐体の外部に設けるようにしてもかまわない。
【０３４９】
原画像提供手段２４０を装置筐体の外部に設けた場合は、原画像提供手段２４０から画像補正手段２３０に対して原画像Ｃを示す画像データを有線もしくは無線を介して送信して供給すればよい。このような実施形態は、結局、外部に設けたパソコンやＤＶＤプレーヤを原画像提供手段２４０として利用した形態ということができ、パソコンやＤＶＤプレーヤで生成した原画像Ｃが、有線もしくは無線を介して装置筐体内の画像補正手段２３０へと送信されることになる。
【０３５０】
別な実施形態として、更に、画像補正手段２３０を装置筐体の外部に設けることも可能である。すなわち、少なくとも表示素子２１０と、投影光学系２２０と、姿勢把握手段２５０と、を同一の装置筐体内に収容し、原画像提供手段２４０と画像補正手段２３０とを当該装置筐体の外部に設けてもよい。このような実施形態は、外部に設けたパソコンに画像補正手段２３０として機能するプログラムを組み込んだり、外部に設けたＤＶＤプレーヤに画像補正手段２３０として機能するＬＳＩ回路を組み込んだりした形態ということになる。
【０３５１】
この場合、装置筐体内に組み込まれた姿勢把握手段２５０や投影面姿勢設定手段２６０から、外部に設けられた画像補正手段２３０に対して、現在姿勢Ａｔや投影面姿勢Ａ０を有線もしくは無線を介して送信し、外部の画像補正手段２３０によって補正処理を実行し、その結果として得られた補正画像Ｃ′を示す画像データを、画像補正手段２３０から表示素子２１０に対して有線もしくは無線を介して送信して供給することになる。
【０３５２】
また、投影面姿勢設定手段２６０を、装置筐体の外部に設けることも可能である。ただ、ユーザが装置筐体を手で保持しながら、投影面設定操作を行うことを考えると、投影面設定ボタンは装置筐体に組み込まれていた方が好ましいので、実用上は、投影面姿勢設定手段２６０は、装置筐体内に設けるのが好ましい。
【０３５３】
要するに、ユーザによって保持される装置筐体（プロジェクタの本体）内には、少なくとも表示素子２１０と、投影光学系２２０と、姿勢把握手段２５０の一部（センサ部分）が収容されていれば足り、それ以外の構成要素は、必要に応じて、装置筐体の外部に設けることが可能である。
【０３５４】
＜＜＜  §９．  方法発明としての把握  ＞＞＞
最後に、本発明に係るプロジェクタを、画像投影方法という方法発明として把握した場合の発明の構成を説明しておく。図３５は、この画像投影方法の手順を示す流れ図である。この流れ図は、原画像を所定の投影面に投影して表示する画像投影方法の手順であり、次のような各ステップによって構成される。
【０３５５】
まず、ステップＳ１１において、投影面姿勢Ａ０の設定を行うか否かが判断される。設定を行う場合にはステップＳ１２へ進み、不要の場合にはステップＳ１３へと進むことになる。この投影面姿勢の設定の作業は、新たな投影面Ｓｐを設定する際に必要な作業であり、過去に既に投影面設定の作業が行われており、その結果が、投影面姿勢設定手段２６０内に投影面姿勢Ａ０として記憶されていれば、このステップＳ１２の段階はスキップできる。
【０３５６】
投影面姿勢の設定を行う場合には、ステップＳ１２において、投影面姿勢設定段階が実行される。すなわち、地理的な東西南北および上下の方向を示す直交座標系として定義されるＮＥＵグローバル座標系上での投影面Ｓｐの姿勢を示す投影面姿勢Ａ０を設定する処理が行われる。
【０３５７】
具体的には、たとえば、図２０に示す例の場合、ユーザは、投影面Ｓｐに投影された格子パターンを見ながら、表示面Ｓｄが投影面Ｓｐに平行になるように、更に、必要に応じて、格子パターンの水平線および垂直線が水平面および鉛直線の方向に一致するように、プロジェクタ本体の姿勢を調整し、投影面設定指示を与える操作を行えばよい。前述したとおり、投影面姿勢設定手段２６０は、投影面設定指示が与えられた瞬間の現在姿勢Ａｔを、投影面姿勢Ａ０として設定する。この投影面姿勢Ａ０の設定値を不揮発性メモリに格納しておくようにすれば、投影面Ｓｐが変わらない限り、ステップＳ１２を実行する必要はない。
【０３５８】
続くステップＳ１３では、投影対象となる原画像Ｃを用意する原画像準備段階が実行される。動画を提示する場合、１フレームを構成する静止画像が原画像Ｃとして抽出される。また、§８−２で述べた変形例の場合、この段階において、広域元画像ＣＣから原画像Ｃを切り出す処理が行われる。
【０３５９】
次のステップＳ１４では、ＮＥＵグローバル座標系上での表示面Ｓｄの現時点での姿勢を示す現在姿勢Ａｔを把握する現在姿勢把握段階が実行される。前述した例の場合、姿勢把握手段２５０，２５０′によって、現在姿勢Ａｔが把握されることになる。
【０３６０】
そして、ステップＳ１５では、ステップＳ１４で把握された現在姿勢Ａｔが、前回把握された現在姿勢Ａｔに対して変化しているか否かが判定される。現在姿勢Ａｔに変化がなければ、ステップＳ１６〜Ｓ１９の各段階をスキップして、ステップＳ２０へ進むことができる。これは、現在姿勢Ａｔに変化がなければ、ステップＳ１６〜Ｓ１９の各段階を行った結果が同じになるためである。たとえば、プロジェクタの本体部（装置筐体）がテーブルの上に載置されていたような場合や、ユーザがプロジェクタの本体部を静止状態で保持していた場合など、現在姿勢Ａｔに変化が生じていなければ、ステップＳ１６〜Ｓ１９の各段階をスキップして演算負担を軽減することができる。
【０３６１】
現在姿勢Ａｔに変化が生じていた場合には、まず、ステップＳ１６において、対応関係定義段階が実行される。すなわち、ステップＳ１４で把握された現在姿勢ＡｔおよびステップＳ１２で設定された投影面姿勢Ａ０に基づいて、表示面Ｓｄ上の任意の表示点Ｗの位置と、投影面Ｓｐ上の対応する投影点Ｈの位置と、を相互に対応づける対応関係を定義する処理が行われる。その具体的な処理内容は、図２９の対応関係定義部２３５の機能として既に述べたとおりであり、最終的に、座標変換関数ｆおよびその逆関数ｆ-1が定義されることになる。
【０３６２】
続くステップＳ１７では、ステップＳ１６で定義された対応関係（座標変換関数ｆ）に基づいて、表示面Ｓｄ上の表示領域の輪郭を構成する輪郭矩形Ｒ１の４頂点についての投影点を投影面Ｓｐ上に求め、求めた投影点を４頂点とする外枠四角形Ｒ２を決定する外枠四角形決定段階が実行される。その具体的な処理内容は、図２９の外枠四角形決定部２３２の機能として既に述べたとおりである。
【０３６３】
次のステップＳ１８では、投影面Ｓｐ上において、外枠四角形Ｒ２に内包される所定の矩形を、投影用矩形Ｒ３として決定する投影用矩形決定段階が実行される。その具体的な処理内容は、図２９の投影用矩形決定部２３３の機能として既に述べたとおりである。
【０３６４】
そして、ステップＳ１９では、ステップＳ１６で定義された対応関係（逆関数ｆ-1）に基づいて、投影点が投影用矩形Ｒ３の４頂点の位置にくる表示点を表示面Ｓｄ上に求め、求めた表示点を４頂点とする補正四角形Ｒ４を決定する補正四角形決定段階が実行される。その具体的な処理内容は、図２９の補正四角形決定部２３４の機能として既に述べたとおりである。
【０３６５】
こうして、補正四角形Ｒ４が決定できたら、ステップＳ２０における画像縮小段階が実行される。すなわち、表示領域の輪郭内（輪郭矩形Ｒ１内）に表示されるべき原画像Ｃを、補正四角形Ｒ４内に収まるように縮小することにより補正画像Ｃ′を作成する処理が実行される。その具体的な処理内容は、図２９の画像縮小部２３１の機能として既に述べたとおりである。
【０３６６】
最後に、ステップＳ２１の補正画像投影段階が行われる。この段階では、ステップＳ２０で作成された補正画像を、表示素子上の表示面Ｓｄに表示し、これを投影面Ｓｐに投影する処理が行われる。かくして、投影面Ｓｐ上には、投影対象となる原画像Ｃが歪み補正された状態で投影されることになる。
【０３６７】
以上述べたステップＳ１１〜Ｓ２１の処理が、ステップＳ２２を経て、繰り返し実行されることになる。なお、この図３５に示す各ステップのうち、ステップＳ２１の補正画像投影段階以外の処理は、すべてコンピュータ（半導体集積回路も含む）によって実行される処理である。
【符号の説明】
【０３６８】
１０：加速度センサ
２０：角速度センサ
３０：磁気センサ
４０：信号処理手段
４１：検出値格納部
４２：移動判定部
４３：初期設定部
４４：回転判定部
４５：位置認識部
４６：姿勢認識部
５０：装置筐体
１００：空間位置座標入力装置（先願入力装置）
２００：基本的な実施形態に係るプロジェクタ
２００′：変形例に係るプロジェクタ
２１０：表示素子
２２０：投影光学系
２３０：画像補正手段
２３１：画像縮小部
２３２：外枠四角形決定部
２３３：投影用矩形決定部
２３４：補正四角形決定部
２３５：対応関係定義部
２４０：原画像提供手段
２４０′：変形例に係る原画像提供手段
２５０：姿勢把握手段
２５０′：変形例に係る姿勢把握手段（空間位置座標入力装置）
２６０：投影面姿勢設定手段
３００：スクリーン
Ａ：装置筐体５０のＮＥＵグローバル座標系上での姿勢
Ａ（Ｘ→，Ｙ→，Ｚ→）：装置筐体５０の姿勢
Ａ０（Ｘ→，Ｙ→，Ｚ→）：装置筐体５０の初期姿勢／投影面姿勢
Ａ０〜Ａ７８：装置筐体５０の各時点の姿勢
Ａｔ：現在姿勢
Ｂ１，Ｂ２：延長線の交点
Ｃ：原画像
Ｃ′：補正画像
ＣＣ：広域元画像
Ｄ：鉛直方向（Down）
Ｄ１〜Ｄ８：分割点
ｄ：距離
ｄｘ：Ｘ軸方向の移動距離
ｄｙ：Ｙ軸方向の移動距離
ｄｚ：Ｚ軸方向の移動距離
Ｅ：ＮＥＵグローバル座標系上の東方向（East）を示す座標軸
Ｅ→：東方ベクトル
ｅ：座標軸Ｅ上の座標値
ｆ，ｆ-1：座標変換関数
Ｇ→：重力ベクトル
ｇ：重力ベクトルＧの大きさ
ｇｘ：重力のＸ軸方向成分
ｇｙ：重力のＹ軸方向成分
ｇｚ：重力のＺ軸方向成分
Ｈ（ｉ，ｊ），Ｈ１〜Ｈ１０：投影点
Ｉ：ＩＪＫローカル座標系の第１の座標軸
Ｊ：ＩＪＫローカル座標系の第２の座標軸
Ｋ：ＩＪＫローカル座標系の第３の座標軸
Ｌ：ＩＪＫローカル座標系の原点
Ｌ１〜Ｌ４：延長線
Ｍ→：磁気ベクトル
ｍ：磁気
ｍｘ，ｍｘ（ｔ）：磁気のＸ軸方向成分
ｍｙ，ｍｙ（ｔ）：磁気のＹ軸方向成分
ｍｚ，ｍｚ（ｔ）：磁気のＺ軸方向成分
Ｎ：ＮＥＵグローバル座標系上の北方向（North）を示す座標軸／磁北極
Ｎ→：北方ベクトル
ｎ：座標軸Ｎ上の座標値
Ｏ：ＮＥＵグローバル座標系の原点
Ｐ：ＸＹＺローカル座標系の原点
Ｐ（ｎ，ｅ，ｕ）：実空間上の任意の位置
Ｐ０（ｎ０，ｅ０，ｕ０）：空間位置座標入力装置１００の初期位置
Ｐ０〜Ｐ３：空間位置座標入力装置１００の各位置
Ｐｔ：現在位置
Ｑ：ベクトルの終点
Ｑｘ（ｎｘ，ｅｘ，ｕｘ）：単位ベクトルＸの終点
Ｑｙ（ｎｙ，ｅｙ，ｕｙ）：単位ベクトルＹの終点
Ｑｚ（ｎｚ，ｅｚ，ｕｚ）：単位ベクトルＺの終点
Ｒ１：輪郭矩形
Ｒ２：外枠四角形
Ｒ３：投影用矩形
Ｒ４：補正四角形
Ｓ：磁南極
Ｓ１〜Ｓ２２：流れ図の各ステップ
Ｓｄ：表示面
Ｓｐ：投影面
Ｓｐ１〜Ｓｐ５：投影面
Ｔ１〜Ｔ４：補助線
Ｔ５〜Ｔ１０：参照線
ｔ：時間
ｔ０〜ｔ１１：時間軸上の各時点（時刻）
Ｕ：ＮＥＵグローバル座標系上の上方向（Up）を示す座標軸
Ｕ→：上方ベクトル
ｕ：座標軸Ｕ上の座標値
Ｖ：速度
Ｗ（ｘ，ｙ），Ｗ１〜Ｗ８：表示点
Ｗnew：補正後の表示点
Ｗold：補正前の表示点
Ｘ：ＸＹＺローカル座標系の第１の座標軸
Ｘ→：Ｘ軸方向を向いた単位ベクトル
Ｙ：ＸＹＺローカル座標系の第２の座標軸
Ｙ→：Ｙ軸方向を向いた単位ベクトル
Ｚ：ＸＹＺローカル座標系の第３の座標軸
Ｚ→：Ｚ軸方向を向いた単位ベクトル
α：加速度
α→：加速度ベクトル
αｘ，αｘ（ｔ）：加速度のＸ軸方向成分
αｙ，αｙ（ｔ）：加速度のＹ軸方向成分
αｚ，αｚ（ｔ）：加速度のＺ軸方向成分
β：切出位置（切出中心点）
Δ：加速度の振幅の閾値
δ：加速度の分散の閾値
θ：角速度の振幅の閾値
η：水平面
ξ：鉛直面
ω：角速度
ωｘ，ωｘ（ｔ）：角速度のＸ軸まわり成分
ωｙ，ωｙ（ｔ）：角速度のＹ軸まわり成分
ωｚ，ωｚ（ｔ）：角速度のＺ軸まわり成分
【図１】
2014123808.tif 000003
【図２】
2014123808.tif 000004
【図３】
2014123808.tif 000005
【図４】
2014123808.tif 000006
【図５】
2014123808.tif 000007
【図６】
2014123808.tif 000008
【図７】
2014123808.tif 000009
【図８】
2014123808.tif 000010
【図９】
2014123808.tif 000011
【図１０】
2014123808.tif 000012
【図１１】
2014123808.tif 000013
【図１２】
2014123808.tif 000014
【図１３】
2014123808.tif 000015
【図１４】
2014123808.tif 000016
【図１５】
2014123808.tif 000017
【図１６】
2014123808.tif 000018
【図１７】
2014123808.tif 000019
【図１８】
2014123808.tif 000020
【図１９】
2014123808.tif 000021
【図２０】
2014123808.tif 000022
【図２１】
2014123808.tif 000023
【図２２】
2014123808.tif 000024
【図２３】
2014123808.tif 000025
【図２４】
2014123808.tif 000026
【図２５】
2014123808.tif 000027
【図２６】
2014123808.tif 000028
【図２７】
2014123808.tif 000029
【図２８】
2014123808.tif 000030
【図２９】
2014123808.tif 000031
【図３０】
2014123808.tif 000032
【図３１】
2014123808.tif 000033
【図３２】
2014123808.tif 000034
【図３３】
2014123808.tif 000035
【図３４】
2014123808.tif 000036
【図３５】
2014123808.tif 000037