(57)【要約】【課題】任意の投影面に画像を投影する場合に、投影対象となる画像の解像度のまま、その画像を歪みなく投影できるように、投影される画像の画素と投影手段における画素との対応関係を特定する。【解決手段】基準パターン画像群生成手段７３は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する。位相計算手段７５は、その各画像を撮影し解像度変換した後の複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。対応付け手段７６は、その初期位相値を用いて、投影対象画像における画素と投影手段７１における画素との対応関係を特定する。【選択図】図１４
2010124061.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影面に投影する投影手段と、
投影面に投影された画像を撮影する撮影手段と、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、
基準パターン画像群に属する画像を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させる撮影制御手段と、
前記撮影手段が撮影した撮影画像のうち、投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する解像度変換手段と、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、
基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、前記位相計算手段が計算した初期位相値に対して行い、前記逆算によって得られる座標値と解像度変換画像の画素とを対応付け、投影対象画像における画素と前記投影手段における画素との対応関係を特定する対応付け手段とを備え、
前記基準パターン画像生成手段は、
第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、
前記撮影制御手段は、
第１座標軸に関する基準パターン画像群を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、第２座標軸に関する基準パターン画像群を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、
前記位相計算手段は、
第１座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像から変換された複数の解像度変換画像おける画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
前記対応付け手段は、
第１座標軸に関する基準パターン画像群を撮影した撮影画像の解像度変換画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、解像度変換画像の画素に前記第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影した撮影画像の解像度変換画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、解像度変換画像の画素に前記第２座標軸の座標を対応付けることによって、解像度変換画像の画素と、前記投影手段によって投影される画像の画素との対応関係を特定し、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
ことを特徴する画素位置対応関係特定システム。
【請求項２】
解像度変換手段は、撮影画像から切り出した画像を縮小することによって、当該画像の解像度変換画像を生成する請求項１に記載の画素位置対応関係特定システム。
【請求項３】
投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正する補正手段と、
前記補正手段によって補正された画像を、前記投影手段に投影させる投影制御手段とを備える
請求項１または請求項２に記載の画素位置対応関係特定システム。
【請求項４】
基準パターン画像群生成手段は、第１の基準パターン画像群と、前記第１の基準パターン画像群における輝度変化の周期を所定倍とした第２の基準パターン画像群を生成し、
撮影制御手段は、前記第１の基準パターン画像群に属する画像および前記第２の基準パターン画像群に属する画像を前記投影手段に投影させ、その結果前記投影面に投影された画像を前記撮影手段に撮影させ、
位相計算手段は、前記第１の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて各画素の輝度変化における初期位相値を計算し、前記第２の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて各画素の輝度変化における初期位相値を計算し、
対応付け手段は、前記第１の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて計算した初期位相値と、前記第２の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と解像度変換画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
請求項１から請求項３のうちのいずれか１項に記載の画素位置対応関係特定システム。
【請求項５】
投影面における反射率を計算する反射率計算手段を備え、
補正手段は、投影対象画像の画素の輝度値を、当該輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う
請求項３または請求項４に記載の画素位置対応関係特定システム。
【請求項６】
位相の変化に伴い連続して変化する前記連続関数は、関数値の変化が正弦波となる関数である請求項１から請求項５のうちのいずれか１項に記載の画素位置対応関係特定システム。
【請求項７】
投影手段を複数備える
請求項１から請求項６のうちのいずれか１項に記載の画素位置対応関係特定システム。
【請求項８】
投影手段は、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、
撮影手段は、前記画像を撮影して光の波長が異なる色毎に分離する
請求項１から請求項７のうちのいずれか１項に記載の画素位置対応関係特定システム。
【請求項９】
画像を投影面に投影する投影手段と、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、
基準パターン画像群に属する画像を前記投影手段に投影させる基準パターン投影制御手段と、
投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する解像度変換手段と、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、
基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、前記位相計算手段が計算した初期位相値に対して行い、前記逆算によって得られる座標値と解像度変換画像の画素とを対応付け、投影対象画像における画素と前記投影手段における画素との対応関係を特定する対応付け手段とを備え、
前記基準パターン画像生成手段は、
第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、
前記基準パターン投影制御手段は、
第１座標軸に関する基準パターン画像群を前記投影手段に投影させ、第２座標軸に関する基準パターン画像群を前記投影手段に投影させ、
前記位相計算手段は、
第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、
前記対応付け手段は、
第１座標軸に関する基準パターン画像群を撮影して得られた撮影画像の解像度変換画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、解像度変換画像の画素に前記第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影して得られた撮影画像の解像度変換画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、解像度変換画像の画素に前記第２座標軸の座標を対応付けることによって、解像度変換画像の画素と、前記投影手段によって投影される画像の画素との対応関係を特定し、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する
ことを特徴する画素位置対応関係特定システム。
【請求項１０】
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成ステップと、
第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第１撮影制御ステップと、
第１座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第１解像度変換ステップと、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算ステップと、
第１基準パターン画像群生成ステップで第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算ステップで計算した初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付けステップと、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成ステップと、
第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させる第２撮影制御ステップと、
第２座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第２解像度変換ステップと、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算ステップと、
第２基準パターン画像群生成ステップで第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算ステップで計算した初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付けステップと、
解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付けステップとを含む
ことを特徴とする画素位置対応関係特定方法。
【請求項１１】
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成ステップと、
第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第１基準パターン投影制御ステップと、
投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第１解像度変換ステップと、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算ステップと、
第１基準パターン画像群生成ステップで第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算ステップで計算した初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付けステップと、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成ステップと、
第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させる第２基準パターン投影制御ステップと、
投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第２解像度変換ステップと、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算ステップと、
第２基準パターン画像群生成ステップで第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算ステップで計算した初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付けステップと、
解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付けステップとを含む
ことを特徴とする画素位置対応関係特定方法。
【請求項１２】
第１解像度変換ステップで、撮影画像から切り出した画像を縮小することによって当該画像の解像度変換画像を生成し、
第２解像度変換ステップで、撮影画像から切り出した画像を縮小することによって当該画像の解像度変換画像を生成する
請求項１０または請求項１１に記載の画素位置対応関係特定方法。
【請求項１３】
投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正する補正ステップと、
前記補正ステップで補正された画像を、前記投影手段に投影させる投影制御ステップとを含む
請求項１０から請求項１２のうちのいずれか１項に記載の画素位置対応関係特定方法。
【請求項１４】
画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段とを備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、
前記コンピュータに、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、
第１座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させる第１撮影制御処理、
第１座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第１解像度変換処理、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、
第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付け処理、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、
第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させ、その結果投影面に投影された画像を前記撮影手段に撮影させる第２撮影制御処理、
第２座標軸に関する基準パターン画像群の各画像を前記投影手段が投影したときに前記撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第２解像度変換処理、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、
第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付け処理、および、
解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付け処理
を実行させるための画素位置対応関係特定プログラム。
【請求項１５】
画像を投影面に投影する投影手段を備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、
前記コンピュータに、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、
第１座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させる第１基準パターン投影制御処理、
投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第１解像度変換処理、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、
第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付け処理、
位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、
第２座標軸に関する基準パターン画像群に属する画像を前記投影手段に投影させる第２基準パターン投影制御処理、
投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られる複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、当該画像の解像度を変換した解像度変換画像を生成する第２解像度変換処理、
複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、
第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、前記逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付け処理、および、
解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と前記投影手段における画素との対応関係を特定する画素対応付け処理
を実行させるための画素位置対応関係特定プログラム。
【請求項１６】
コンピュータに、
第１解像度変換処理で、撮影画像から切り出した画像を縮小することによって当該画像の解像度変換画像を生成させ、
第２解像度変換処理で、撮影画像から切り出した画像を縮小することによって当該画像の解像度変換画像を生成させる
請求項１４または請求項１５に記載の画素位置対応関係特定プログラム。
【請求項１７】
コンピュータに、
投影対象画像における画素と前記投影手段における画素との対応関係に基づいて、投影対象画像を補正する補正処理、および、
前記補正処理で補正された画像を、前記投影手段に投影させる投影制御処理
を実行させる請求項１４から請求項１６のうちのいずれか１項に記載の画素位置対応関係特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一の画像の画素と他の画像の画素との対応関係を定める画素位置対応関係特定システム、画素位置対応関係特定方法、画素位置対応関係特定プログラム、および画像補正システム、画像補正プログラムに関し、特に、投影対象となる画像の画素と、投影手段における画素との対応関係を定める画素位置対応関係特定システム、画素位置対応関係特定方法、画素位置対応関係特定プログラム、およびその対応関係にもとづいて画像を補正する画像補正システム、画像補正プログラムに関する。
【背景技術】
【０００２】
一般的な平面の投影面（スクリーン）に画像を投影する場合、投影面に対するプロジェクタの位置関係が設計どおりでない場合、投影された画像に歪みが生じる。標準的なプロジェクタは、この歪みを補正する機能を有している。この歪み補正機能では、想定外の位置や方向から投影されることで生じる歪み（画像の変形）とは逆の変形を投影対象画像に施し、その変形が施された補正画像を投影して歪みを打ち消している。この機能を実現するためには、投影面の形状、および投影面とプロジェクタとの位置関係や姿勢によって定まる画像の変形量、すなわち、投影される画像における画素が実際に投影された際の移動量（ずれ）を表す写像を獲得しておく必要がある。
【０００３】
この写像を獲得する方法が種々提案されている。特に、投影面が平面である場合に、写像が、少ないパラメタで決定できる射影変換となることを利用する技術が提案されている。例えば、画像の四隅の点の位置を手動で入力したり、テストパターンを投影し、投影されたテストパターンをカメラで撮影した画像からマーカや、画像の縁、スクリーンの縁などを自動検出して、射影変換のパラメタを求めたりするなどの方法がある。特許文献１には、画像投影装置とスクリーン間の距離を１つ獲得し、その距離とスクリーン形状からスクリーンの四隅の点における距離を推定することによって、スクリーン形状を補正し、投影する画像を補正されたスクリーン形状に合わせて変形して投影する画像投影方法が記載されている。
【０００４】
また、特許文献２には、レーザポインタなどで特徴点を高精度に検出させたり、あおり、回転、シフトのパラメタを逐次的に更新して、高精細な投影画像を得る画像投影システムが記載されている。
【０００５】
また、特許文献３には、所定のパターン画像を生成して投影し、その画像を撮影した撮像画像から、撮像画像点に対応する投影画像点を決定し対応点リストとし、撮像画像点を対応点リストの対応点から求まる平面射影変換行列を用いて空間中の平面毎にクラスタリングし、平面毎にクラスタリングされた撮像画像点から投影領域を決定し、投影領域、平面射影変換行列を用いて画像を幾何変換する平面投影装置が記載されている。
【０００６】
また、特許文献４には、投影面の形状として二次曲面を仮定し、その曲面のパラメタを求める方法が記載されている。そして、特許文献４には、二次曲面スクリーンに複数のプロジェクタからの映像を歪み無く見せる複合映像生成方法が記載されている。特許文献４に記載された方法では、スクリーンに投影された点をプロジェクタの座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数とその逆関数を求め、プロジェクタ毎のマッピングの逆関数により歪みを補正する。マッピング関数とその逆関数を求める場合、基準座標系から視点座標系への変換行列Ｍと、カメラ座標から基準座標系への変換行列Ｓとにより、プロジェクタから二次曲面スクリーン上に投影したテストパターンの所定の点について、視点座標系からカメラ座標系への変換行列Ｈを得る。そして、変換行列Ｈを用いて、カメラ座標系で求めた二次曲面パラメタＱから仮定視点を原点とする視点座標系における二次曲面パラメタＱｖを求める。そして、その二次曲面パラメタＱｖを用いて、スクリーンに投影された点をプロジェクタｉ座標系から見た点と、任意の仮定視点から見た点との対応を示すマッピング関数を求め、マッピング関数からその逆関数を求める。
【０００７】
【特許文献１】特許第３９５１９８４号公報
【特許文献２】特許第３７０９３９５号公報
【特許文献３】特開２００７−１４２４９５号公報
【特許文献４】特開２００６−２２１５９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上記の技術では、例えば複雑な凹凸があるような任意の投影面に対して画像を投影する場合における歪みを補正することができない。例えば、特許文献１に記載された方法では、画像を平面に投影する場合の歪みを補正するが、投影面の形状が任意の場合には適用できない。特許文献３に記載された平面投影装置でも、部分的に平面を含む投影面を対象としている。特許文献４に記載された方法でも、投影面が二次曲線に限定され、任意の形状の面に画像を投影する場合の歪みを補正することはできない。
【０００９】
画像の歪みを補正するには、投影対象となる画像における位置と、実際に投影された時の位置との対応関係を画素単位に高精度に定めておかなくてはならないが、上記の技術では、投影面の形状が任意である場合に画素の対応関係を定めることはできないため、高精度に歪み補正を行えなかった。
【００１０】
また、観察者に見せるために投影する画像である投影対象画像を、投影対象画像の解像度のまま投影するためには、その解像度を実現できるように、投影対象画像の画素と、投影手段における画素との対応関係を特定する必要がある。なお、対応関係を求めた後に、投影対象画像に対して内挿や外挿を行って投影対象画像を変換して、所望の解像度を実現することも考えられるが、その場合には画像の精度が劣化してしまう。そのため、投影対象画像の解像度を実現できるように、投影対象画像の画素と、投影手段における画素との対応関係を特定することが好ましいが、特許文献１等に記載された技術では、そのような対応関係を求めることができない。
【００１１】
そこで、本発明は、任意の形状の投影面に画像を投影する場合に、投影対象となる画像の解像度のまま、その画像を歪みなく投影できるように、投影対象となる画像の画素と、投影手段における画素との対応関係を特定する画素位置対応関係特定システム、画素位置対応関係特定方法および画素位置対応関係特定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による画素位置対応関係特定システムは、画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる撮影制御手段と、撮影手段が撮影した撮影画像のうち、投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する解像度変換手段と、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と解像度変換画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段とを備え、基準パターン画像生成手段が、第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、撮影制御手段が、第１座標軸に関する基準パターン画像群を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、第２座標軸に関する基準パターン画像群を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させ、位相計算手段が、第１座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像から変換された複数の解像度変換画像おける画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第１座標軸に関する基準パターン画像群を撮影した撮影画像の解像度変換画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、解像度変換画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影した撮影画像の解像度変換画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、解像度変換画像の画素に第２座標軸の座標を対応付けることによって、解像度変換画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する。
【００１３】
また、本発明による画素位置対応関係特定システムは、画像を投影面に投影する投影手段と、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する基準パターン画像群生成手段と、基準パターン画像群に属する画像を投影手段に投影させる基準パターン投影制御手段と、投影面に投影された基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する解像度変換手段と、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する位相計算手段と、基準パターン画像群生成手段が座標値から初期位相値を求める計算の逆算を、位相計算手段が計算した初期位相値に対して行い、逆算によって得られる座標値と解像度変換画像の画素とを対応付け、投影対象画像における画素と投影手段における画素との対応関係を特定する対応付け手段とを備え、基準パターン画像生成手段が、第１座標軸に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成し、基準パターン投影制御手段が、第１座標軸に関する基準パターン画像群を投影手段に投影させ、第２座標軸に関する基準パターン画像群を投影手段に投影させ、位相計算手段が、第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、対応付け手段が、第１座標軸に関する基準パターン画像群を撮影して得られた撮影画像の解像度変換画像から計算された初期位相値に対して、第１座標軸の座標から初期位相値を求める計算の逆算を行って第１座標軸の座標を計算し、解像度変換画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影して得られた撮影画像の解像度変換画像から計算された初期位相値に対して、第２座標軸の座標から初期位相値を求める計算の逆算を行って第２座標軸の座標を計算し、解像度変換画像の画素に第２座標軸の座標を対応付けることによって、解像度変換画像の画素と、投影手段によって投影される画像の画素との対応関係を特定し、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定することを特徴する。
【００１４】
また、本発明による画素位置対応関係特定方法は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成ステップと、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第１撮影制御ステップと、第１座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第１解像度変換ステップと、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算ステップと、第１基準パターン画像群生成ステップで第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算ステップで計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付けステップと、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成ステップと、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第２撮影制御ステップと、第２座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第２解像度変換ステップと、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算ステップと、第２基準パターン画像群生成ステップで第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算ステップで計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付けステップと、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付けステップとを含むことを特徴とする。
【００１５】
また、本発明による画素位置対応関係特定方法は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成ステップと、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第１基準パターン投影制御ステップと、投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第１解像度変換ステップと、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算ステップと、第１基準パターン画像群生成ステップで第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算ステップで計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付けステップと、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成ステップと、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第２基準パターン投影制御ステップと、投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第２解像度変換ステップと、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算ステップと、第２基準パターン画像群生成ステップで第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算ステップで計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付けステップと、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付けステップとを含むことを特徴とする。
【００１６】
また、本発明による画素位置対応関係特定プログラムは、画像を投影面に投影する投影手段と、投影面に投影された画像を撮影する撮影手段とを備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、コンピュータに、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第１撮影制御処理、第１座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第１解像度変換処理、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付け処理、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させ、その結果投影面に投影された画像を撮影手段に撮影させる第２撮影制御処理、第２座標軸に関する基準パターン画像群の各画像を投影手段が投影したときに撮影手段が撮影した複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第２解像度変換処理、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付け処理、および、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付け処理を実行させることを特徴とする。
【００１７】
また、本発明による画素位置対応関係特定プログラムは、画像を投影面に投影する投影手段を備えるコンピュータに搭載される画素位置対応関係特定プログラムであって、コンピュータに、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第１座標軸に沿って座標値毎に連続的に変化させた画像群である第１座標軸に関する基準パターン画像群を生成する第１基準パターン画像群生成処理、第１座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第１基準パターン投影制御処理、投影面に投影された第１座標軸に関する基準パターン画像群の各画像を撮影して得られた複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第１解像度変換処理、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第１位相計算処理、第１基準パターン画像群生成処理で第１座標軸の座標から初期位相値を求める計算の逆算を、第１位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第１座標軸の座標と解像度変換画像の画素とを対応付ける第１対応付け処理、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を第２座標軸に沿って座標値毎に連続的に変化させた画像群である第２座標軸に関する基準パターン画像群を生成する第２基準パターン画像群生成処理、第２座標軸に関する基準パターン画像群に属する画像を投影手段に投影させる第２基準パターン投影制御処理、投影面に投影された第２座標軸に関する基準パターン画像群の各画像を撮影して得られる複数の撮影画像からそれぞれ投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する第２解像度変換処理、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する第２位相計算処理、第２基準パターン画像群生成処理で第２座標軸の座標から初期位相値を求める計算の逆算を、第２位相計算処理で計算した初期位相値に対して行い、逆算によって得られる第２座標軸の座標と解像度変換画像の画素とを対応付ける第２対応付け処理、および、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する画素対応付け処理を実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、任意の形状の投影面に画像を投影する場合に、投影対象となる画像の解像度のまま、その画像を歪みなく投影できるように、投影対象となる画像の画素と、投影手段における画素との対応関係を特定することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面を参照して説明する。まず、本発明に関連する参考実施形態を説明した後に、本発明の実施形態を説明する。
【００２０】
参考実施形態１．
図１は、本発明に関連する第１の参考実施形態の画素位置対応関係特定システムの例を示すブロック図である。第１の参考実施形態の画素位置対応関係特定システムは、投影対象となる投影対象画像の画素の位置と、撮影手段１における画素の位置との対応関係を特定する。投影対象画像とは、任意の形状の投影面（スクリーン）７に投影する画像である。本参考実施形態の画素位置対応関係特定システムは、任意の形状の投影面７に対して画像を投影する投影手段１と、その投影面７に投影された画像を撮影する撮影手段２と、投影対象画像の画素と投影手段１における画素との対応付け処理を行う情報処理装置３とを備える。投影手段１は、例えば、プロジェクタによって実現され、撮影手段２は、例えば、カメラによって実現される。
【００２１】
投影手段１は、情報処理装置３の制御により、基準パターン画像群を投影面に投影する。この基準パターン画像群については後述する。投影面７は任意の形状の面であるので、投影面７に投影された画像は歪む。撮影手段２は、画像の観察者８が投影面７を見る方向と同じ方向から、投影面７に投影された基準パターン画像群を撮影する。この撮影によって得られる画像を以下、撮影画像と記す。情報処理装置３は、基準パターン画像群と、各撮影画像とを用いて、投影対象画像の画素と、投影面に実際に投影された画像を撮影した撮影画像の画素との対応関係を特定し、さらに、投影対象画像の画素と投影手段１における画素との対応関係を特定する。
【００２２】
本参考実施形態では、投影手段１が基準パターン画像群を１画像ずつ投影面に投影し、投影された画像を撮影手段２が１画像ずつ撮影する場合を例にして説明する。ただし、投影手段１が複数画像を同時に投影してもよい。投影手段１が複数画像を同時に投影する場合については後述する。
【００２３】
投影対象画像の画素と投影手段１における画素との対応関係が定められると、観察者８に見せるために投影手段１から投影される投影対象画像を、その対応関係に基づいて補正し、観察者８に歪んでいない画像を観察させることができる。本参考実施形態では、このような補正を行うために用いる画像の画素同士の対応関係を定める。
【００２４】
次に、基準パターン画像群について説明する。基準パターン画像群は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である。輝度値を定める関数は、位相の変化に伴って連続して変化する関数であればよく、ここでは、位相の変化に伴う輝度値の変化が正弦波となる関数（正弦関数など）を用いる場合を例にする。
【００２５】
図２は、位相の変化に伴い連続して変化する輝度値を表す関数の例を示す。このような関数をｆと表わすとする。図２に例示するような関数において、ａ，ｂ，ｃなどの初期位相値が座標値に応じてそれぞれ定められる。ここでは画像の画素の位置を表すｘ軸を例に説明する。あるｘ座標に対応する初期位相値がａ、別のｘ座標に対応する初期位相値がｂ、さらに別のｘ座標に対応する初期位相値がｃ、・・・などのように、ｘ座標の値に応じてそれぞれ初期位相値が定められる。例えば、初期位相値ａに対応するｘ座標の各画素の輝度値をｆ（ａ）とし、初期位相値ｂに対応するｘ座標の各座標の輝度値をｆ（ｂ）とし、初期位相値ｃに対応するｘ座標の各画素の輝度値をｆ（ｃ）とする。このように各ｘ座標に応じた初期位相値を定めることによって、基準パターン画像群における最初（０番目）の画像が得られる。ｘ座標に応じて初期位相値が定められ、その初期位相値に応じて図２に例示するような正弦波の関数ｆによって、輝度値が定められるので、ｘ座標の変化とともに輝度が連続的に変化する画像が得られる。
【００２６】
また、各ｘ座標に応じた初期位相値から、同じ位相量だけ位相を変化させて輝度を定めた画像が、基準パターン画像群における他の画像となる。図３は、図２に例示する初期位相値から位相をｄずらしたときの輝度値を示す説明図である。例えば、初期位相値ａに対応するｘ座標の輝度値をｆ（ａ＋ｄ）とし、初期位相値ｂに対応するｘ座標の輝度値をｆ（ｂ＋ｄ）とし、初期位相値ｃに対応するｘ座標の輝度値をｆ（ｃ＋ｄ）とする。同様に、各ｘ座標に応じた輝度値を定めることによって、１枚の画像が得られる。そして、初期位相値から変化させる位相の値（上記のｄ）を変化させることで、同様の画像が複数種類得られる。
【００２７】
基準パターン画像群に属するこれらの画像は、いずれも、一つの座標軸に沿う座標値（上記の例ではｘ座標値）の変化とともに輝度が連続的に変化する。そして、基準パターン画像群に属する各画像を比較すると、初期位相値から変化させる位相量ｄが増えるほど、座標軸に沿って画像全体が移動したように観察される。例えば、ｘ座標毎に初期位相値を定めて生成した基準パターン画像群において各画像を比較すると、画像全体がｘ軸方向に移動したように観察される。また、例えば、ｙ座標毎に初期位相値を定めて生成した基準パターン画像群において各画像を比較すると、画像全体がｙ軸方向に移動したように観察される。
【００２８】
また、基準パターン画像群に属する各画像において、上記の座標軸に沿った個々の座標に着目して、輝度の変化を観察すると、初期位相値から変化させる位相量ｄの変化に伴い明るさが変化する。
【００２９】
情報処理装置３は、２つの座標軸に関して基準パターン画像群を生成する。以下、情報処理装置３がｘ軸に関する基準パターン画像群およびｙ軸に関する基準パターン画像群を生成する場合を例にして説明する。ただし、２つの座標軸はｘ軸およびｙ軸に限定されない。２つの座標軸は、平行でない２つの軸であればよい。また、軸の方向は、水平方向や垂直方向に限定されず、任意の方向でよい。
【００３０】
投影手段１は、このような基準パターン画像群に属する各画像を投影面７に投影し、撮影手段２は、その各画像を撮影する。このとき、投影手段１と、撮影手段２と、投影面７との位置関係は一定に保つ。撮影された各画像において、同じ位置の画素に着目すると、その画素の輝度は、画像毎に変化し、その画像の変化から、その画素の輝度変化における初期位相値を求めることができる。情報処理装置３は、撮影した各画像間における画素の輝度変化から、各画素の輝度変化における初期位相値を求める。そして、情報処理装置３は、撮影手段２が撮影した撮影画像における画素が、投影される基準パターン画像群におけるどの座標値の画素に対応するのかを特定し、さらに投影対象画像の画素と投影手段１における画素との対応関係を特定する。
【００３１】
情報処理装置３がｘ軸方向に着目した基準パターン画像群を作成してその各画像を投影手段１に投影させ、その画像を撮影手段２に撮影させる。そして、情報処理装置３が、その撮影画像における画素が、基準パターン画像群におけるどのｘ座標の画素に対応するのかを特定する。同様に、情報処理装置３がｙ軸方向に着目した基準パターン画像群を作成してその各画像を投影手段１に投影させ、その画像を撮影手段２に撮影させる。そして、情報処理装置３が、その撮影画像における画素が、基準パターン画像群におけるどのｙ座標の画素に対応するのかを特定する。よって、観察者８の向きと同じ方向から撮影手段２が撮影する画像における画素と、投影される画像における画素の座標（ｘ，ｙ）との対応関係が定まり、投影対象画像の画素と投影手段１における画素との対応関係が特定される。
【００３２】
図４は、情報処理装置３の構成例を示すブロック図である。情報処理装置３は、パターン位相シフト手段４と、撮影制御手段５と、位相計算手段６と、対応付け手段９とを備える。
【００３３】
パターン位相シフト手段４は、ｘ座標、ｙ座標それぞれについて、基準パターン画像群を作成する。ｘ座標についての基準パターン画像群を作る場合、パターン位相シフト手段４は、ｘ座標の各値に応じた初期位相値を求め、その初期位相値から各ｘ座標における輝度値を定めることによって、基準パターン画像群の最初（０番目）の画像を生成する。さらに、パターン位相シフト手段４は、各ｘ座標に応じた初期位相値から、同じ位相量ｄだけ位相量を変化させることにより、各ｘ座標に応じた位相値を求め、その位相値から各ｘ座標における輝度値を定めることによって、基準パターン画像群の属する次の画像を生成する。パターン位相シフト手段４は、初期位相値からの位相変化量を増やして、同様に、基準パターン画像群に属する画像を生成していく。
【００３４】
パターン位相シフト手段４は、ｙ座標についての基準パターン画像群についても同様に生成する。
【００３５】
撮影制御手段５は、ｘ座標およびｙ座標のそれぞれの基準パターン画像群に属する個々の画像を投影手段１（図１参照）に投影させ、投影面７上に投影された画像を撮影手段２に撮影させる。本参考実施形態では、撮影制御手段５は、基準パターン画像群に属する画像を１画像ずつ投影手段１に投影させ、投影された画像を撮影手段２に１画像ずつ撮影手段２に撮影させる。
【００３６】
位相計算手段６は、ｘ座標の基準パターン画像群に属する各画像を撮影して得られた各撮影画像間の輝度の変化に基づいて、その撮影画像間の輝度変化における初期位相値を求める。位相計算手段６は、ｙ座標の基準パターン画像群に属する各画像を撮影して得られた各撮影画像についても同様に、その撮影画像間の輝度変化における初期位相値を求める。
【００３７】
対応付け手段９は、ｘ座標の基準パターン画像群の撮影画像から求めた初期位相値から、撮影画像における画素が基準パターン画像群におけるどのｘ座標に対応するのかを特定する。同様に、ｙ座標の基準パターン画像群の撮影画像から求めた初期位相値から、撮影画像における画素が基準パターン画像群におけるどのｙ座標に対応するのかを特定する。対応付け手段９は、さらに投影対象画像の画素と投影手段１における画素との対応関係を特定する。
【００３８】
パターン位相シフト手段４、撮影制御手段５、位相計算手段６、および対応付け手段９は、例えば、プログラム（画素位置対応関係特定プログラム）に従って動作するＣＰＵによって実現される。プログラムは、例えば情報処理装置３が備えるプログラム記憶装置（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、そのプログラムに従って、パターン位相シフト手段４、撮影制御手段５、位相計算手段６、および対応付け手段９として動作してもよい。また、パターン位相シフト手段４、撮影制御手段５、位相計算手段６、および対応付け手段９は、それぞれ別個のハードウェアであってもよい。
【００３９】
次に、動作について説明する。
図５は、第１の参考実施形態の処理経過の例を示すフローチャートである。情報処理装置３は、投影面７に投影された画像を撮影した撮影画像におけるどの画素が、投影される画像（基準パターン画像群）におけるどのｘ座標に対応するのかを定める（ステップＳ１）。続いて、情報処理装置３は、投影面７に投影された画像を撮影した撮影画像におけるどの画素が、投影される画像におけるどのｙ座標に対応するのかを定める（ステップＳ２）。ステップＳ１，Ｓ２を実行することで、撮影画像の画素が、投影される画像ではどの座標値の画像であるのかが定まる。情報処理装置３は、ステップＳ１，Ｓ２で定めた対応関係に基づいて、投影対象画像の画素の位置と、投影手段１における画素の位置との対応関係を定める（ステップＳ３）。
【００４０】
ステップＳ１，Ｓ２の処理は、撮影画像内の画素との対応関係を定める対象がｘ座標であるか、ｙ座標であるかが異なる点以外は、同様の処理である。以下、ｘ座標についての対応関係を定めるステップＳ１を例にして、撮影画像の画素と座標との対応関係を定める処理の詳細について説明する。図６は、ｘ座標に関する対応付け（ステップＳ１）の処理経過の例を示すフローチャートである。
【００４１】
ステップＳ１において、最初に、パターン位相シフト手段４は、基準パターン画像群を生成する（ステップＳ１１)。ｘ座標についての基準パターン画像群を生成する場合、パターン位相シフト手段４は、ｘ座標に応じた初期位相値を求める。初期位相値は、座標値を変数とする関数であって、座標値の変換に伴い連続的に変化する関数の関数値として求めればよい。以下、座標値に応じた初期位相値を求めるための関数をｓ０で表わす。パターン位相シフト手段４は、例えば、以下に示す式（１）で表わされる関数によって各座標値に応じた初期位相値を求めればよい。
【００４２】
ｓ０（ｘ）＝Ｔ／（ｗ−１＋２・ｍ）・（ｘ−ｍ）          式（１）
【００４３】
式（１）において、ｘは基準パターン画像群の画素のｘ座標の値である。ｗは、投影手段１が投影できる画像の幅（画素数）である。Ｔは、位相を変数として輝度値を求める関数ｆにおける周期である。本例では、関数ｆによる輝度変化が正弦波となる場合を例にする。従って、本例では、Ｔ＝２πである。ｍは、位相計算の誤差を考慮して、ｘ＝０の画素と、ｘ＝ｗ−１の画素とで回り込みが生じないように定める定数であり、マージン定数と呼ぶ。マージン定数は、例えば、ｗの１％程度の値として定めておけばよい。
【００４４】
式（１）は、ｘ座標に応じた初期位相値を求める関数の例であり、式（１）以外の関数によって初期位相値を計算してもよい。
【００４５】
パターン位相シフト手段４は、各ｘ座標毎に、ｘ座標値から求めた初期位相値ｓ０（ｘ）に応じた輝度値を関数ｆにより求める。すなわち、ｘ座標毎に、以下に示す式（２）の関数を用いて輝度値を定める。
【００４６】
Ｉ（ｘ）＝ｆ（ｓ０（ｘ））          式（２）
【００４７】
この結果、ｘ座標毎に輝度値を規定した画像が得られる。この画像は基準パターン画像群における最初（０番目）の画像である。式（２）における左辺のＩ（ｘ)は、ｘ座標の値に応じた画素の輝度を意味する。関数ｆは、既に説明したように、位相の変化に伴い連続して変化する関数であり、本例では、輝度変化が正弦波となる関数である。
【００４８】
さらに、パターン位相シフト手段４は、ｘ座標毎に求めたそれぞれの初期位相値に対して、共通の位相値を加算した位相を求める。すなわち、加算する位相量をｄ（ｉ）として、各ｘ座標値に応じた位相を、ｘ座標毎に計算する。そして、パターン位相シフト手段４は、その結果得られた位相を、輝度値を求めるための関数ｆに代入して、各ｘ座標の輝度値を計算する。この結果、ｘ座標毎に輝度値を規定した画像が得られる。パターン位相シフト手段４は、加算する位相値を変化させて、同様に画像を生成する。初期位相値に加算する位相値をｄ（ｉ）として求めた位相を関数ｆに代入して得られる輝度をＩｉ（ｘ）とすると、Ｉｉ（ｘ）は、下記の式（３）のように表すことができる。
【００４９】
Ｉｉ（ｘ）＝ｆ（ｓ０（ｘ）＋ｄ（ｉ））          式（３）
【００５０】
ｄ（ｉ）の値は、例えば、以下に示す式（４）のように予め定めておけばよい。
【００５１】
ｄ（ｉ）＝（Ｔ／Ｎｓ）×ｉ          式（４）
【００５２】
Ｎｓは、基準パターン画像群として求めようとする画像の数である。ｉは、１，２，・・・，Ｎｓ−１である。例えば、Ｎｓ＝４とすると、ｄ（ｉ）＝Ｔ／４，Ｔ／２,３Ｔ／４となる。本例では、Ｔ＝２πであるので、ｄ（ｉ）＝π／２、π、３π／Ｔとなる。すなわち、ｆ（ｓ０（ｘ））として輝度を求めた最初の画像の他に、ｆ（ｓ０（ｘ）＋π／２）として輝度を求めた画像、ｆ（ｓ０（ｘ）＋π）として輝度を求めた画像、ｆ（ｓ０（ｘ）＋３π／２）として輝度を求めた画像をそれぞれ生成する。この結果、０番目から３番目までの４つの画像を含む基準パターン画像群が得られる。ｄ（ｉ）におけるｉは、この順番を表している。
【００５３】
ただし、式（４）は、初期位相値に加算する位相量を求める計算式の一例であり、加算する位相量を他の方法で定めてもよい。また、上記の例では、４つの画像を含む基準パターン画像群を生成する場合を例示したが、求める画像の数は４に限定されず、５以上であってもよい。また、３つであってもよい。関数ｆとして、輝度変化が正弦波となる関数を用いる場合、少なくとも３つの画像を生成すればよい。
【００５４】
基準パターン画像群の生成後、撮影制御手段５は、基準パターン画像群に属する各画像を投影面７に向けて、１画像ずつ投影手段１に投影させる。そして、撮影制御手段５は、投影面７に投影された各画像を、１画像ずつ撮影手段２に撮影させ、撮影画像を撮影手段２から受信する（ステップＳ１２)。
【００５５】
ステップＳ１２の後、位相計算手段６は、画素毎に、各撮影画像間の輝度の変化に基づいて、その変化における初期位相値を求める（ステップＳ１３）。投影面７が任意の形状であることに起因して、投影された画像が歪んだとしても、ある座標値の画素が投影される位置は、投影する画像を切り替えても変化しない。そして、個々のｘ座標値毎に輝度を変化させているので、各撮影画像における同一箇所の画素の輝度も、基準パターン画像群に属する各画像における同一箇所の画像の輝度と同様に変化する。図７は、複数の撮影画像における同一の画素の輝度変化の例を示す説明図である。位相計算手段６は、ステップＳ１２において、図７に例示するような輝度の変化における初期位相を求める。
【００５６】
位相計算手段６は、撮影画像の画素の輝度変化における初期位相値を以下に示すように求めればよい。各撮影画像における共通の位置に該当する画素であって、ｊ番目の撮影画像における画素の輝度Ｉｊは、以下に示す式（５）のように表わされる。
【００５７】
Ｉｊ＝Ａ・ｆ（φ＋ｄ（ｊ））＋Ｂ          式（５）
【００５８】
だたし、ｄ（ｊ）は、ｊ番目の撮影画像において初期位相値に加算されている位相量を表している。０番目の撮影画像（すなわち、基準パターン画像群における最初の画像の撮影画像）に関しては、ｄ（０）＝０である。ｊ＝１以降については、基準パターン画像群生成時に用いたｄ（ｉ）と等しい値をｄ（ｊ）とする。式（５）におけるＡは、各撮影画像毎に変化する輝度値の変化における振幅である。また、式（５）におけるＢは、背景の輝度である。
【００５９】
同じ位置に該当する画素について、撮影画像毎のＩｊ，ｄ（ｊ）の値は既知である。位相計算手段６は、撮影画像毎にＩｊ，ｄ（ｊ）を式（５）に代入し、未知の値であるφを計算する。未知の値として、Ａ，Ｂ，φがあり、撮影画像毎にＩｊ，ｄ（ｊ）を式（５）に代入した連立方程式を解くことによってφを計算すればよい。
【００６０】
また、撮影画像毎にＩｊ，ｄ（ｊ）を式（５）に代入した式が、連立方程式の解の導出に必要な数よりも多く得られているならば、それらの式から最小二乗法によって、φを計算してもよい。例えば、撮影画像がＮ個あり、以下のＮ個の式が得られたならば、そのＮ個の式から最小二乗法によってφの値を求めればよい。
【００６１】
【数１】
2010124061.tif 000003
【００６２】
位相計算手段６は、この処理を撮影画像における画素毎に行えばよい。
【００６３】
また、ステップＳ１１で例として挙げたように、輝度値を求める関数ｆが、輝度変化が正弦波となる関数であり、その周期が２πであり、ｄ（ｉ）を式（４）に示すように求めていたとする。この場合、位相計算手段６は、以下に示す式（６）の計算を行うことによって、着目している画素における初期位相値φを計算してもよい。
【００６４】
φ＝π−ａｒｃｔａｎ（（Ｉｃ（０）−Ｉｃ（２））／（Ｉｃ（３）−Ｉｃ（１）））
式（６）
【００６５】
なお、この場合、Ａ，Ｂは、それぞれ以下の式（７）、式（８）の計算で求めることができる。
【００６６】
Ａ＝０．５×√（（Ｉｃ（０）−Ｉｃ（２））２＋（Ｉｃ（１）−Ｉｃ（３））２）
式（７）
【００６７】
Ｂ＝（Ｉｃ（０）＋Ｉｃ（１）＋Ｉｃ（２）＋Ｉｃ（３））／２．０      式（８）
【００６８】
ここで、Ｉｃ（０），Ｉｃ（１），Ｉｃ（２），Ｉｃ（３）は、それぞれ、位置が共通する画素の画素値であり、Ｉｃ（０）は０番目の撮影画像での画素、Ｉｃ（１）は１番目の撮影画像での画素、Ｉｃ（２）は２番目の撮影画像での画素、Ｉｃ（３）は３番目の撮影画像での画素である。
【００６９】
位相計算手段６は、式（６）によって初期位相値を求める処理を、撮影画像における画素毎に行えばよい。
【００７０】
撮影画像のうち投影された画像に該当する部分（目標画像領域と記す。）を定めておく。この領域がオペレータによって指定される構成であってもよい。例えば、情報処理装置３は、撮影画像を表示する表示装置と、撮影画像中の目標画像領域の指定を受け付けるポインティングデバイスとを備える構成であってもよい。また、あるいは、撮影画像において、輝度値が所定値以上となっている領域を包含する矩形領域が目標画像領域であると位相計算手段６が判定してもよい。
【００７１】
ステップＳ１３の後、対応付け手段９は、撮影画像内の画素について求めた初期位相値から、撮影画像の画素が、投影される画像におけるどのｘ座標値に対応するのかを定める（ステップＳ１４）。
【００７２】
投影面７において画像が歪んだとしても、投影される画像と撮影画像の対応画素の輝度変化は同様となる。よって、対応する画素同士では、輝度変化の初期位相値は等しい。従って、ステップＳ１４において、対応付け手段９は、ステップＳ１３で算出された初期位相値からｘ座標を逆算することによって、撮影画像内の画素について、対応するｘ座標値（すなわち、投影手段１が投影する画像におけるｘ座標値）を計算する。例えば、パターン位相シフト手段４が式（１）の計算を行って初期位相値を算出する場合、対応付け手段９は、ステップＳ１３で算出された初期位相値をｓ０（ｘ）として式（１）に代入し、ｘ座標を逆算すればよい。この処理を各画素毎に行うことで、撮影画像内の画素が、投影される画像におけるどのｘ座標に対応するのかを定める。
【００７３】
ステップＳ１４で、対応付け手段９は、撮影画像内の画素に対応するｘ座標を算出したならば、撮影画像内の画素と投影される画像の画素との対応関係を示すテーブル（以下、中間テーブルと記す）において、撮影画像のｘ，ｙ座標と、対応するｘ座標とを対応付ける。例えば、撮影画像における（５０，１５０）の画素の初期位相値から逆算して求めたｘ座標が“１００”であるとする。この場合、対応付け手段９は、図８（ａ）に示すように、撮影画像の画素（５０，１５０）と、対応する画素におけるｘ座標“１００”とを対応付ける。この時点では、撮影画像の画素に対応する画素のｙ座標は特定されていないので未定とする。図８（ａ）では、撮影画像の画素（５０，１５０）を例示しているが、他の画素についても同様に処理する。
【００７４】
以上のステップＳ１１〜Ｓ１４の処理で、ステップＳ１（図５参照）が終了する。撮影画像の画素がどのｙ座標に対応するのかを定める処理（ステップＳ２）も同様に、ステップＳ１１〜Ｓ１４の処理を行えばよい。
【００７５】
ただし、ステップＳ１１において、パターン位相シフト手段４は、ｙ座標についての基準パターン画像群を生成する。このとき、パターン位相シフト手段４は、ｙ座標に応じた初期位相値を求める。例えば、以下に示す式（９）の関数によって各座標値に応じた初期位相値を求めればよい。
【００７６】
ｓ０（ｙ）＝Ｔ／（ｈ−１＋２・ｍ）・（ｙ−ｍ’）          式（９）
【００７７】
式（９）において、ｙは基準パターン画像群の画素のｙ座標の値である。ｈは、投影手段１が投影できる画像の高さ（画素数）である。Ｔは、式（１）と同様である。ｍ’は、式（１）におけるｍと同様のマージン定数であり、例えば、ｈの１％程度の値として定めておけばよい。なお、式（９）は例示であり、式（９）以外の関数によって初期位相値を定めてもよい。
【００７８】
ｙ座標に応じた初期位相値を求めたならば、その初期位相値に応じた輝度値を定めることで、基準パターン画像群の最初（０番目）の画像を生成する。また、各画素毎に初期位相値に位相ｄ（ｉ）を加算した位相値に応じた輝度値を定めることで、基準パターン画像群に属する他の画像を生成する。
【００７９】
この処理は、ｙ座標値に応じた初期位相値を定めるという点以外は、既に説明したステップＳ１１と同様である。
【００８０】
また、ステップＳ１１の後、ステップＳ１２，Ｓ１３を行う。この処理は、既に説明したステップＳ１２，Ｓ１３と同様である。
【００８１】
ステップＳ１４で、対応付け手段９は、ステップＳ１３で求めた初期位相値から、撮影画像の画素が、投影される画像におけるどのｙ座標に対応するのかを定める。このとき、ｙ座標から初期位相値を求める計算（例えば、式（９））を逆算して、初期位相値からｙ座標値を求めればよい。対応付け手段９は、撮影画像内の画素に対応するｙ座標を算出したならば、そのｙ座標を、その撮影画像内の画素に対応付けて、中間テーブルに追加する。例えば、撮影画像における（５０，１５０）の画素の初期位相値から逆算して求めたｙ座標が“５０”であるとする。この場合、対応付け手段９は、図８（ｂ）に示すように、撮影画像の画素（５０，１５０）に対応付けて、ｙ座標“５０”を追加する。このように、ｙ座標が未定である状態（図８（ａ））に対してｙ座標を追加される（図８（ｂ）参照）。対応付け手段９は、この処理を各画素毎に行い、中間テーブルを完成させる。この中間テーブルは、撮影画像内の画素と投影される画像の画素との対応関係を表す。
【００８２】
ステップＳ２（図５参照）の後、ステップＳ３において、対応付け手段９は、撮影画像における画素に投影すべき投影対象画像中の画素の座標と、その撮影画像における画素に対応する座標とを対応付ける。図９は、ステップＳ３における対応付けの例を示す説明図である。画像が歪み無く観察されるためには、投影対象画像における座標（Ｘａ，Ｙａ）の画素は、撮影画像における座標（Ｘｐ，Ｙｐ）の画素となるように投影されなければならないとする。この歪み無く観察される撮影画像における画素を目標画素と記す。また、中間テーブルでは、撮影画像中の画素（Ｘｐ，Ｙｐ）に対応付けられた座標が（Ｘｂ，Ｙｂ）であるとする。対応付け手段９は、目標画素（Ｘｐ，Ｙｐ）に対応する画素（Ｘｂ，Ｙｂ）を中間テーブルから検索し、目標画素に投影すべき投影対象画像中の画素（Ｘａ，Ｙａ）と、中間テーブルで目標画素に対応付けられている座標（Ｘｂ，Ｙｂ）とを対応づける。この対応付けを、各目標画素に投影すべき投影対象画像中の画素毎に行う。ここで、投影手段１における座標（Ｘｂ，Ｙｂ）の画素の輝度値を、投影対象画像における座標（Ｘａ，Ｙａ）の画素と等しい輝度値に設定し、投影手段１における他の画素の輝度値も同様に設定すれば、投影対象画像における（Ｘａ，Ｙａ）の画素は、（Ｘｂ，Ｙｂ）の位置に変更されたこととなり、その状態で投影面７に投影されると、所望の目標画素（Ｘｐ，Ｙｐ）の位置に投影される。このように、対応付け手段９は、撮影画像における画素に投影すべき投影対象画像中の画素と、その撮影画像における画素に対応する座標とを対応付けることによって、投影対象画像の画素の位置と、投影手段１における画素の位置とを対応付ける。
【００８３】
対応付け手段９は、投影対象画像の画素の位置と投影手段１における画素の位置とを対応付けたならば、その対応関係をテーブル（以下、画素対応テーブルと記す）として記憶または出力する。
【００８４】
本参考実施形態によれば、上記のように、目標となる位置に投影すべき投影対象画像の画素と、中間テーブルにおいてその位置に対応付けられている座標とを対応付けることによって、投影対象画像の画素の位置と、投影手段１における画素の位置との対応関係を特定することができる。
【００８５】
投影手段１と、撮影手段２と、投影面の位置関係を変えない限り、この対応関係は維持される。従って、投影手段１と、撮影手段２と、投影面の位置関係を変えずに観察者８（図１参照）に提示する画像を投影面７に投影する場合、この対応関係を用いて補正を行えば、歪みを抑えた画像を観察者に見せることができる。
【００８６】
また、本参考実施形態では、初期位相値を画素毎に定め、その初期位相値から輝度値を求めた画像と、さらに、初期位相値から位相をずらし、その位相値から輝度値を求めた画像とを基準パターン画像群として生成し、各画像を投影する。さらに、その各画像を撮影する。このとき、撮影によって得られた各撮影画像間において、各画素の輝度は、基準パターン画像群の画像間における輝度変化と同様に変化する。そして、対応する画素同士では、初期位相値が共通する。この性質は、投影面７の形状によらずに成立する。本参考実施形態では、このことを利用し、撮影画像内の画素と投影される画像の画素との対応関係を定める。従って、投影面７の形状が任意の形状であっても、投影対象画像の画素の位置と、投影手段における画素の位置との対応関係を特定することができる。
【００８７】
また、基準パターン画像群を生成して投影面に投影し、その各画像を撮影した撮影画像が得られれば、対応関係を求めることができる。よって、投影面の形状を測定するための３次元形状測定装置などを用いる必要がないため、低コストで対応関係を求めることができる。
【００８８】
上記の参考実施形態では、輝度値を求める関数ｆとして、輝度値の変化が正弦波となる関数を用いる場合を例にして説明したが、関数ｆは、位相の変化に伴い連続して変化する連続関数であればよい。例えば、正弦関数のように関数値が滑らかに変化する関数ではなく、輝度値の変化が三角波となる関数を関数ｆとしてもよい。
【００８９】
関数ｆとして連続関数を用いる理由は以下のとおりである。関数ｆが連続関数でなく、鋸歯状波のように不連続部分があるとすると、隣接する画素同士の輝度値が急激に変化する。すると、撮影手段２の解像度が不足している場合、輝度値が急激に変化している部分がぼやけて撮影され、急激に変化する値の中間値が輝度として認識されてしまうことがある。すると、その画素は、本来対応付けられるべきではない別の画素に対応付けられてしまう可能性がある。
【００９０】
それに対し本参考実施形態では、輝度値を求める関数ｆとして位相の変化に伴い連続して変化する連続関数を用いるので、上記のような誤った対応付けを防止することができる。このことは、画素の対応関係に基づいて、投影する画像を補正する際、補正精度を向上させることができるということを意味する。
【００９１】
また、本参考実施形態では、位相計算手段６が初期位相値を計算できるだけの画像を基準パターン画像群として生成すればよく、基準パターン画像群として多数の画像を生成する必要はない。従って、処理を高速化することができる。一例を挙げると、輝度値を求める関数ｆとして、輝度値の変化が正弦波となる関数を用いれば、一座標軸あたり、最低３つの画像を含む基準パターン画像群を生成すればよい。この場合、基準パターン画像群とする画像数を少なくできるので、処理を高速化することができる。
【００９２】
参考実施形態２．
本発明に関連する第２の参考実施形態の画素位置対応関係特定システムは、第１の実施参考形態と同様に、投影手段１と、撮影手段２と、情報処理装置３とを備える（図１参照）。ここでは、図１を参照して、第２の参考実施形態について説明する。第２の参考実施形態の画素位置対応関係特定システムも第１の参考実施形態と同様に、投影対象画像の画素の位置と投影手段１における画素の位置との対応関係を示す画素対応テーブルを作成する。第２の参考実施形態では、さらに、情報処理装置３が、観察者８に提示するために投影面７に投影する画像を、画素対応テーブルを用いて補正し、補正後の画像を投影手段１に投影させる。
【００９３】
図１０は、第２の参考実施形態における情報処理装置３の構成例を示すブロック図である。第１の参考実施形態と同様の構成要素については図４と同一の符号を付し、詳細な説明を省略する。第２の参考実施形態における情報処理装置３は、パターン位相シフト手段４と、撮影制御手段５と、位相計算手段６と、対応付け手段９と、補正手段１０と、投影制御手段１１とを備える。パターン位相シフト手段４、撮影制御手段５、位相計算手段６、対応付け手段９の動作は、第１の参考実施形態と同様である。
【００９４】
補正手段１０は、観察者８に提示するために投影面７に投影する投影対象画像を、画素対応テーブルを用いて補正する処理を行う。投影制御手段１１は、補正後の画像を投影手段１に投影させる。
【００９５】
次に、本参考実施形態の動作について説明する。
まず、情報処理装置３は、投影対象画像の画素の位置と投影手段１における画素の位置との対応関係を示す画素対応テーブルを生成する。この動作は、第１の参考実施形態と同様であり、説明を省略する。
【００９６】
画素対応テーブル生成後、補正手段１０は、観察者８（図１参照）に提示する投影対象画像を補正する。補正手段１０は、この補正後の画像として、投影手段１における画素の輝度値を、その画素に対応する投影対象画像の画素の輝度値に設定した画像を生成すればよい。図９に示す例のように、座標（Ｘａ，Ｙａ）と座標（Ｘｂ，Ｙｂ）とを対応付けている場合、（Ｘｂ，Ｙｂ）の画素の輝度値に、投影対象画像における画素（Ｘａ，Ｙａ）の輝度値を設定し、他の画素の輝度値についても同様に設定した画像を、補正後の画像として生成すればよい。この結果、投影対象画像における（Ｘａ，Ｙａ）の画素は、（Ｘｂ，Ｙｂ）の位置に変更されたこととなり、その状態で投影面７に投影されると、所望の位置に投影される。この結果、投影面７に投影したときの画像の歪みをなくすことができる。
【００９７】
投影制御手段１１は、補正手段１０によって補正された画像を投影面７に向けて、投影手段１に投影させる。なお、画像投影時において、投影手段１と投影面７の位置関係は、画素対応テーブル作成時から変えないものとする。また、観察者８は、画素対応テーブル作成時における撮影手段２と同方向から投影面７を見る。
【００９８】
画像を補正せずに投影した場合、投影対象画像における画素は所望の位置とは異なる位置に投影され画像が歪んでしまう。しかし、本参考実施形態では、第１の参考実施形態と同様に生成した画素対応テーブルを用いて、投影対象画像を補正し、その補正後の画像を投影する。従って、各位置にそれぞれ所望の輝度値を投影し、観察者に歪みを認識させずに、任意の形状の投影面７に画像を投影することができる。
【００９９】
本参考実施形態によれば、画素対応テーブルを用いて画像を補正し、その画像を投影するので、投影面の形状に起因する歪みを抑えた画像を観察者に見せることができる。
【０１００】
また、第１の参考実施形態と同様に、投影面７の形状が任意の形状であっても、投影対象画像の画素と投影手段１における画素との対応関係を特定するので、投影面の形状によらずに、歪みを抑えた画像を観察者に見せることができる。
【０１０１】
また、第１の参考実施形態と同様に、低コストで、高速、かつ、高精度に中間テーブルを作成することができる。
【０１０２】
また、情報処理装置３は、画素対応テーブルを作成せずに、外部から画素対応テーブルを入力され、その画素対応テーブルを用いて投影対象画像を補正する画像補正システムであってもよい。この場合、画像補正システムは、投影手段１および撮影手段２を備えていなくてよい。そして、情報処理装置３は、補正手段１０を備えていればよい。例えば、第１の参考実施形態と同様の画素位置対応関係特定システムが画素対応テーブルを作成し、その画素対応テーブルを、画像補正システムに入力してもよい。さらに、画像補正システムが投影対象画像を補正するだけでなく、補正後の画像を投影面に投影する構成であってもよい。この場合、画像補正システムは、画素対応テーブル作成時に用いた投影手段と、その投影手段に補正後の画像を投影させる投影制御手段を備えていればよい。
【０１０３】
上記の各参考実施形態や本発明では、輝度が連続的に変化する基準パターン画像群の位相を利用して、投影対象画像の画素の位置と、投影手段１における画素の位置との対応関係（画素対応テーブル）を定める。よって、画素毎に（すなわち高密度に）対応関係を得ることができ、また、対応先の画素を例えば浮動小数点で表した高精度な対応関係を得ることができる。以下に示す本発明の実施形態では、特に、初期位相値の計算前に、撮影画像中において対応関係を求めたい領域（投影対象画像を投影したい領域に相当する領域）の解像度が投影対象画像と同一になるように解像度変換を行い、その上で初期位相値を計算する。
【０１０４】
実施形態１．
本発明の実施形態は、第１の参考実施形態や第２の参考実施形態と同様に、投影手段１と、撮影手段２と、情報処理装置３とを備える（図１参照）。本発明の実施形態の画素位置対応関係特定システムは、撮影画像と、観察者に提示しようとする画像（投影対象画像）とで解像度が異なる場合、撮影画像を拡大したり縮小したりして、撮影画像の解像度を、観察者に提示しようとする画像の解像度に合わせる。そして、解像度変換後（すなわち、拡大または縮小後）の撮影画像について初期位相値を求める処理（ステップＳ１３、図６参照）を行って、解像度変換後の撮影画像の画素の基準パターン画像群の座標とを対応付ける処理（ステップＳ１４、図６参照）を行い、その後に画素対応テーブルを生成する。この処理の結果、撮影画像と投影対象画像の解像度が一致しない場合にも、所望の解像度に合う画素対応テーブルを生成することができる。
【０１０５】
また、特に、撮影画像を縮小する場合には、高精度な画素対応テーブルを得ることができる。一例を挙げると、撮影画像の解像度が投影対象画像より高い場合、初期位相値の計算前に撮影画像の縮小処理を行えば、撮影手段２（カメラ）の性能以上にノイズが少なくコントラストも高い画像が得られる。その画像を用いて、第１の参考実施形態と同様に初期位相値を計算し、画素対応テーブルを求めれば、高精度の画素対応テーブルを得ることができる。
【０１０６】
図１１は、本実施形態における情報処理装置３の構成例を示すブロック図である。第１および第２の参考実施形態と同様の構成要素については、図４や図１０と同一の符号を付し、詳細な説明を省略する。本実施形態における情報処理装置３は、パターン位相シフト手段４と、撮影制御手段５と、解像度変換手段１２と、位相計算手段６と、対応付け手段９と、補正手段１０と、投影制御手段１１とを備える。
【０１０７】
解像度変換手段１２は、撮影画像における目標画像領域の解像度が、観察者に提示する所望の解像度となるように、撮影画像中の目標画像領域を拡大または縮小する。解像度変換手段１２は、撮影画像から目標画像領域を切り出して、その切り出した画像を拡大または縮小すればよい。また、撮影画像において、投影面のうち、撮影対象画像を投影したいというオペレータの所望の領域に相当する部分が、目標画像領域として、例えばオペレータに指定されてもよい。
【０１０８】
パターン位相シフト手段４、撮影制御手段５、位相計算手段６、対応付け手段９、補正手段１０、投影制御手段１１、および解像度変換手段１２は、プログラム（画素位置対応関係特定プログラム）に従って動作するＣＰＵによって実現される。プログラムは、例えば情報処理装置３が備えるプログラム記憶装置（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、そのプログラムに従って、パターン位相シフト手段４、撮影制御手段５、位相計算手段６、対応付け手段９、補正手段１０、投影制御手段１１、および解像度変換手段１２として動作してもよい。また、各手段がそれぞれ別個のハードウェアであってもよい。
【０１０９】
次に、本実施形態の動作について説明する。
まず、情報処理装置３は、ｘ座標に関する対応付け（ステップＳ１、図５参照）およびｙ座標に関する対応付け（ステップＳ２、図５参照）を行う。このステップＳ１，Ｓ２において、それぞれ、基本パターン画像生成処理、撮影処理を行う。この基本パターン画像生成処理、撮影処理は、第１の参考実施形態におけるステップＳ１１，Ｓ１２の処理と同様であり、説明を省略する。
【０１１０】
基本パターン画像生成処理および撮影処理の後、解像度変換手段１２は、撮影画像における目標画像領域の解像度が観察者に提示する所望の解像度の画像と同じになるように、撮影画像内の目標画像領域を拡大または縮小する。拡大または縮小による解像度変換後の画像は、解像度変換画像と呼ぶことができる。
【０１１１】
拡大の場合、解像度変換手段１２は、解像度変換後の座標における輝度値を、対応する解像度変換前の座標の輝度値と定める。また、拡大の場合、画素数が増えるので、拡大後の画像の画素のうち、対応する解像度変換前の座標がない画素については、既に定められている輝度値から線形補間あるいはバイリニア補間などによって補間した輝度値を定めればよい。
【０１１２】
縮小の場合、解像度変換手段１２は、解像度変換後の座標における輝度値を、対応する解像度変換前の座標の輝度値に基づいて定める。縮小の場合、変換後の画像のある一つの画素は、変換前の画像の複数の画素に対応する。解像度変換手段１２は、変換後の画素に対応付けられる複数の変換前の画素の輝度値を、その変換後の画素に相当する面積で重み付け、線形和を求めることによって、変換後の画素の輝度値を求める。変換後の画素とは変換後の画像における画素であり、変換前の画素とは変換前の画像における画素である。図１２は、縮小変換後の画素の輝度決定の例を示す説明図である。縮小後の画像における画素６５は、縮小前の画像における４つの画素６１〜６４に対応しているものとする。そして、画素６１〜６４の輝度値は、それぞれＰ１〜Ｐ４であるとする。また、画素６１は、変換後の画素６５だけに対応するのではなく、画素６５に接する他の画素（図示せず）にも対応し、画素６１において、変換後の画素６５に相当する面積は、１／４であるものとする。変換前の他の画素６２，６３，６４についても同様である。従って、図１２に示す例では、各画素６１〜６４の輝度値を、その面積の割合で重みづけ、線形和を求めると、Ｐ１×（１／４）＋Ｐ２×（１／４）＋Ｐ３×（１／４）＋Ｐ４×（１／４）＝（Ｐ１＋Ｐ２＋Ｐ３＋Ｐ４）／４となる。解像度変換手段１２は、この計算を行って、変換後の画素６５の輝度値を（Ｐ１＋Ｐ２＋Ｐ３＋Ｐ４）／４と定めればよい。解像度変換手段１２は、変換後の画像における各画素毎に、同様に輝度値を決定する。
【０１１３】
解像度変換手段１２は、以上のように個々の輝度値を求め、拡大または縮小後の画像を生成する。また、解像度変換手段１２は、各撮影画像をそれぞれ同様に拡大または縮小する。
【０１１４】
各撮影画像がそれぞれ解像度変換（すなわち拡大または縮小）された後、位相計算手段６は、画素毎に、解像度変換後の各撮影画像（すなわち、各解像度変換画像）間の輝度の変化に基づいて、その変化における初期位相値を求める。この処理は、第１の参考実施形態におけるステップＳ１３と同様である。続いて、対応付け手段９が、解像度変換画像における画素の座標と、投影される画像における画素の座標との対応付けを行う。この処理は、第１の参考実施形態におけるステップＳ１４と同様である。
【０１１５】
情報処理装置３は、ｘ座標に関する対応付け処理（ステップＳ１、図５参照）において、基本パターン画像群生成処理および撮影処理を行ってから、上記のように撮影画像に対する解像度変換を行い、解像度変換画像を用いて、初期位相値を計算し、解像度変換画像の画素の座標と、撮影される画像の画素のｘ座標とを対応付ける。同様に、ｙ座標に関する対応付け処理（ステップＳ２、図５参照）において、基本パターン画像群生成処理および撮影処理を行ってから、上記のように撮影画像に対する解像度変換を行い、解像度変換画像を用いて、初期位相値を計算し、解像度変換画像の画素の座標と、撮影される画像の画素のｙ座標とを対応付ける。対応付け手段９は、この結果を用いて、画素対応テーブルを生成する（図５に示すステップＳ３）。
【０１１６】
補正手段１０は、この画素対応テーブルを用いて、観察者８に提示するために投影面７に投影する画像を補正する。補正手段１０の動作は、第２の参考実施形態と同様である。また、投影制御手段１１は、補正手段１０によって補正された画像を投影面７に向けて、投影手段１に投影させる。なお、画像投影時において、投影手段１と投影面７の位置関係は、画素対応テーブル作成時から変えないものとする。また、観察者８は、画素対応テーブル作成時における撮影手段２と同方向から投影面７を見る。この点は、第２の参考実施形態と同様である。
【０１１７】
本実施形態によれば、観察者に見せたい画像である投影対象画像と撮影画像とで解像度が一致していなくても、所望の投影対象画像の解像度に応じた画素対応テーブルを作成し、所望の解像度で投影対象画像を投影することができる。また、投影面の形状によらずに、歪みを抑えた画像を観察者に見せることができる。
【０１１８】
また、解像度変換手段１２が撮影画像を縮小する場合には、高精度な画素対応テーブルを得ることができる。初期位相値を用いた対応関係（画素対応テーブル）の決定精度は、初期位相値の計測精度に依存し、初期位相値の計測精度は主に、撮影されたパターンのコントラストに対する、撮影画像に生じるノイズの大きさに依存する。撮影されたパターンのコントラストが大きければ、あるいは、ノイズが小さければ、初期位相値の計測精度が向上する。解像度の高いカメラを用いた場合、解像度変換手段１２が基準パターン画像群の撮影画像を縮小すれば、撮影画像を、コントラスト：ノイズの比が大きい画像に変換できる。なぜなら、縮小処理において複数画素の輝度値の加算を行うため、各画素についてランダムであるノイズは互いに打ち消されて小さくなり、コントラストは加算により高くなるためである。そのような変換後の画像を用いて、初期位相値を計算し、画素対応テーブルを生成することで、画素対応テーブルの精度を向上させることができる。
【０１１９】
次に、上記の各参考実施形態および本発明の実施形態の変形例について説明する。
上記の各参考実施形態および本発明の実施形態においてパターン位相シフト手段４は、ｘ軸、ｙ軸の各座標軸に関してそれぞれ、複数種類の基準パターン画像群を生成してもよい。以下、パターン位相シフト手段４が各座標軸毎に２種類の基準パターン画像群を生成する場合について説明する。
【０１２０】
本変形例では、パターン位相シフト手段４は、第１の基準パターン画像群と第２の基準パターン画像群を生成する。第２の基準パターン画像群における座標軸方向の輝度変化の周期は、第１の基準パターン画像群における座標方向の輝度変化の周期の１／ａ倍である。換言すれば、第２の基準パターン画像群は、第１の基準パターン画像群を座標軸方向に１／ａ倍に圧縮した画像群である。ただし、第２の基準パターン画像群に属する各画像は、第１の基準パターン画像群に属する各画像と同じ大きさであり、第２の基準パターン画像群に属する画像は、同じパターンが繰り返し現れる画像となっている。すなわち、第２の基準パターン画像群に属する画像は、第１の基準パターン画像群に属する画像を１／ａ倍に圧縮したパターンをａ回繰り返した画像となっている。ａは、例えば１より大きな値である。ここでは、ａ＝２の場合を例示して説明する。
【０１２１】
図１３は２種類の基準パターン画像群を模式的に示す説明図である。図１３（ａ）は、第１の基準パターン画像群を示し、図１３（ｂ）は、第２の基準パターン画像群を示す。また、図１３では、ｘ軸方向に輝度を変化させた場合を示し、実線は輝度が最小となる箇所（最も暗い場所）を表し、波線は輝度が最高となる箇所（最も明るい場所）を表している。ａ＝２として上記のように各基準パターン画像群を求めた場合、図１３に示すように、第２の基準パターン画像群における輝度変化の周期は、第１の基準パターン画像群における輝度変化の周期の１／２倍となっている。また、第２の基準パターン画像群に属する画像は、第１の基準パターン画像群に属する画像を１／２倍に圧縮したパターンを２回繰り返した画像となっている。
【０１２２】
パターン位相シフト手段４は、第１の参考実施形態で説明した基準パターン画像群と同様に第１の基準パターン画像群を生成すればよい。また、パターン位相シフト手段４は、座標値に応じた初期位相値を求める関数（例えば式（１）、式（９））をａ倍した関数を用いて、第２の基準パターン画像群を求めればよい。例えば、第１の基準パターン画像群を生成する際に、式（１）や式（９）を用いた場合、第２の基準パターン画像群を生成する際には、以下に示す式(１’）や式（９’）を用いればよい。
【０１２３】
ｓ０（ｘ）＝Ｔ／（ｗ−１＋２・ｍ）・（ｘ−ｍ）・ａ            式（１’）
ｓ０（ｙ）＝Ｔ／（ｈ−１＋２・ｍ）・（ｙ−ｍ’）・ａ          式（９’）
【０１２４】
第１の基準パターン画像群の生成処理と第２の基準パターン画像群の生成処理は、座標値に応じた初期位相値を求める関数以外は同じ処理である。
【０１２５】
撮影制御手段５は、第１の基準パターン画像群に属する各画像と第２の基準パターン画像群に属する各画像とをそれぞれ投影面７に向けて、１画像ずつ投影手段１に投影させる。そして、撮影制御手段５は、投影面７に投影された各画像を、１画像ずつ撮影手段２に撮影させ、撮影画像を撮影手段２から受信する。
【０１２６】
次に、位相計算手段６は、第１の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を、画素毎に求める。この処理は、第１の参考実施形態におけるステップＳ１３と同様の処理である。また、位相計算手段６は、同様に、第２の基準パターン画像群に応じた撮影画像に基づいて各画素の輝度変化における初期位相値を、画素毎に求める。
【０１２７】
次に、対応付け手段９は、第１の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値（第１の初期位相値群と記す。）と、第２の基準パターン画像群に応じた撮影画像に基づいて計算した初期位相値（第２の初期位相値群と記す。）とを用いて、初期位相値から求められる座標値と、撮影画像における画素とを対応付ける。具体的には、対応付け手段９は、第２の初期位相値群について、それぞれ、初期位相値から座標を逆算する。第２の基準パターン画像群生成時に初期位相値の計算に用いる式が、式（１’）や式（９’）である場合、それらの式の逆算を行い、座標値を計算すればよい。
【０１２８】
ただし、図１３（ｂ）に示すように、第２の基準パターン画像群に属する各画像は、それぞれ同じパターンを繰り返した画像となっている。そのため、座標値が異なっていても初期位相値が一致して、初期位相値から座標値を一意に求められないという不定性がある。不定性を解消するために、対応付け手段９は、第２の初期位相値群から逆算で求めた座標値に、第２の基準パターン画像群における輝度変化の周期の整数倍を加算した座標値を候補として計算する。例えば、逆算で求めた座標値をｔとし、第２の基準パターン画像群における輝度変化の周期をＱとすると、求める座標値の候補として、ｔ＋Ｑ，ｔ＋２Ｑ，・・・等を計算する。
【０１２９】
また、対応付け手段９は、対応する座標値を求めようとしている第２の基準パターン画像群に応じた撮影画像の画素と同じ位置にある、第１の基準パターン画像群に応じた撮影画像の画素に関しても、その初期位相値から座標値を逆算する。そして、対応付け手段９は、第２の初期位相値群から求めた座標の候補のうち、第１の基準パターン画像群に応じた撮影画像の画素の初期位相値から逆算した座標に最も近い座標を、画素に対応する座標値として決定する。この処理を各画素毎に行えばよい。
【０１３０】
本変形例では、対応付け手段９の対応付け処理の精度を向上させることができる。初期位相値の計測誤差は、どちらの基準パターン画像群でも同じであるが、第２の基準パターン画像群の方では、対応座標に対する初期位相値はａ倍多く変化する。つまり、初期位相値から対応座標を求めたときの誤差は１／ａになる。このため、対応付け処理の精度を向上させることができる。
【０１３１】
また、上記の各参考実施形態および本発明の実施形態やその変形例において、補正手段１０は、投影手段１によって投影される画像の輝度を、反射率を用いて更新してから、その画像に対する補正を行ってもよい。この場合、情報処理装置３は、投影面における反射率を計算する反射率計算手段を備えるが、反射率計算手段は、情報処理装置３が備える手段（例えば、補正手段１０あるいは位相計算手段６など）によって実現されていてもよい。ここでは、補正手段１０が反射率計算手段としても動作する場合を例にして説明する。
【０１３２】
補正手段１０は、パターン位相シフト手段４が生成した基準パターン画像群における輝度の振幅（Ａｐとする）と、撮影手段２が撮影した撮影画像における輝度の振幅（Ａｃとする）とから、反射率Ａｃｐを計算する。補正手段１０は、Ａｃｐ＝Ａｃ／Ａｐを計算することによって、反射率Ａｃｐを求めればよい。
【０１３３】
また、補正手段１０は、撮影画像における輝度の振幅Ａｃを基準パターン画像群の撮影画像から求めるのではなく、基準パターン画像群と別に最大輝度の画像と最小輝度の画像をそれぞれ投影面に投影したときに、その各画像を撮影した撮影画像の輝度値の差分から求めてもよい。この場合、撮影制御手段５が、基準パターン画像群とは別に、全画素の輝度値が最大値に設定された明画像（全体が明るい画像）と、全画素の輝度値が最小値に設定された暗画像（全体が暗い画像）とをそれぞれ、投影手段１に投影させ、投影された明画像、暗画像をそれぞれ撮影手段２に撮影させればよい。補正手段１０は、その二つの撮影画像の輝度値の差分から振幅Ａｃを求めればよい。
【０１３４】
また、補正手段１０は、観察者に提示するために投影手段１によって投影される画像の輝度をＫとした場合、その輝度を反射率Ａｃｐで除算した値（すなわち、Ｋ／Ａｃｐ）に更新する。そして、輝度の更新後、画素対応テーブルを用いて、その画像を補正すればよい。
【０１３５】
上記の各参考実施形態および本発明の実施形態では、投影手段１が一つである場合を例にして説明したが、画素位置対応関係特定システムが投影手段１を複数備えていてもよい。その場合、情報処理装置３は、個々の投影手段１毎に画素対応テーブルを作成すればよい。そして、複数の投影手段１に画像を投影させる場合、投影手段１毎に作成した画素対応テーブルを用いて、ユーザに提示する画像を補正すればよい。
【０１３６】
また、複数の投影手段１は、投影面７における同一領域に画像を投影してもよい。この場合、同一の領域に複数の投影手段１から投影された画像をユーザに提示するので、投影面７に投影された画像を明るくすることができる。
【０１３７】
また、大きな画像を分割した個々の画像の投影を各投影手段１に分担させ、各投影手段１が投影面上の投影位置をずらして投影してもよい。例えば、第１の投影手段１が、ユーザに提示する画像における右半分の投影を分担し、第２の投影手段１が左半分の投影を分担してもよい。そして、第１の投影手段１が画像を投影する領域の隣に、第２の投影手段１が画像を投影してもよい。この場合、一つの投影手段１のみを用いて画像を投影する場合よりも、大きな画像をユーザに提示することができる。
【０１３８】
また、以上の説明では、撮影手段１が基準パターン画像群に属する画像を撮影手段１が１画像ずつ投影し、撮影手段２がその画像を１画像ずつ撮影する場合について説明したが、投影手段１は、複数の画像を同時に投影面に投影してもよい。このとき、撮影手段２は、投影された画像を撮影し、光の波長が異なる色毎に分離すればよい。
【０１３９】
投影手段１が１台だけ設けられているとする。このとき、投影手段１は、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影してもよい。例えば、基準パターン画像群に属する画像が三つあり、投影手段１は、赤、緑、青の３色で投影可能であるとする。この場合、投影手段１は、赤、緑、青の３色でそれぞれの１〜３番目の画像を同時に投影してもよい。この場合、撮影手段２は、赤、緑、青で同時に投影された画像を撮影し、赤、緑、青の各色で分離すればよい。情報処理装置３は、分離された画像に対して処理を行えばよい。
【０１４０】
また、複数台の投影手段が設けられ、各投影手段が、それぞれ光の波長が異なる色で画像を同時に投影してもよい。例えば、投影手段１を３台設け、１台目の投影手段による赤の画像の投影と、２台目の投影手段による緑の画像の投影と、３台目の投影手段による青の画像の投影とを同時に行ってもよい。この場合も、撮影手段２は、赤、緑、青で同時に投影された画像を撮影し、赤、緑、青の各色で分離すればよい。
【０１４１】
また、複数台の投影手段を設け、各投影手段がそれぞれ同時に複数の色で画像を投影する構成であってもよい。例えば、１５種類の波長で光を投影できる投影手段を５台設ける。この場合、個々の投影手段が３種類の画像をそれぞれ異なる波長の色で同時に投影する。また、各投影手段も同時に投影を行う。撮影手段２は、１５種類の波長の色で投影された各画像を撮影し、１５種類の各色に分離すればよい。
【０１４２】
また、上記の各参考実施形態および本発明の実施形態では、画素位置対応関係特定システムが、撮影手段２（図１参照）を備える場合を説明したが、画素位置対応関係特定システムが撮影手段２を備えず、投影面７（図１参照）に投影された画像を投影する投影手段が、画素位置対応関係特定システムとは別に設けられてもよい。このような投影手段として、例えば、カメラ付きの携帯端末等を用いることができる。この場合、情報処理装置３は、撮影制御手段５の代わりに、基準パターン画像群に属する画像を投影手段１に投影させる基準パターン投影制御手段を含んでいればよい。カメラ付き携帯端末は、例えば観察者の操作により、投影面に投影された基準パターン画像群の各画像を撮影し、情報処理装置３に出力する。情報処理装置３は、外部から入力された複数の撮影画像を用いて、上記の各参考実施形態や本発明の実施形態と同様の動作を行えばよい。
【０１４３】
次に、本発明の概要を説明する。図１４は、本発明の概要を示すブロック図である。本発明の画素位置対応関係特定システムは、投影手段７１（例えば、実施形態における投影手段１）と、撮影手段７２（例えば、実施形態における撮影手段２）と、基準パターン画像群生成手段７３（例えば、パターン位相シフト手段４）と、撮影制御手段７４（例えば、実施形態における撮影制御手段５）と、解像度変換手段７７（例えば、実施形態における解像度変換手段１２）と、位相計算手段７５（例えば、実施形態における位相計算手段６）と、対応付け手段７６（例えば、実施形態における対応付け手段９）とを備える。
【０１４４】
投影手段７１は、画像を投影面に投影する。撮影手段７２は、投影面に投影された画像を撮影する。
【０１４５】
基準パターン画像群生成手段７３は、位相の変化に伴い連続して変化する連続関数の関数値として輝度値を定めて、画像毎に位相を変化させて輝度値を決定した画像群であって、初期位相値を一つの座標軸に沿って座標値毎に連続的に変化させた画像群である基準パターン画像群を生成する。
【０１４６】
解像度変換手段７７は、撮影手段２が撮影した撮影画像のうち、投影面における投影対象画像の投影領域に相当する部分を切り出し、切り出した画像を拡大または縮小することによって、その画像の解像度を変換した解像度変換画像を生成する。
【０１４７】
撮影制御手段７４は、基準パターン画像群に属する画像を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させる。
【０１４８】
位相計算手段７５は、複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。
【０１４９】
対応付け手段７６は、基準パターン画像群生成手段が座標値から初期位相値を求める計算（例えば式（１）の計算）の逆算を、位相計算手段７５が計算した初期位相値に対して行い、逆算によって得られる座標値と解像度変換画像の画素とを対応付け、投影対象画像における画素と投影手段７１における画素との対応関係を特定する。
【０１５０】
詳細には、基準パターン画像群生成手段７３は、第１座標軸（例えばｘ軸）に沿って初期位相値を変化させた第１座標軸に関する基準パターン画像群と、第２座標軸（例えばｙ軸）に沿って初期位相値を変化させた第２座標軸に関する基準パターン画像群とを生成する。
【０１５１】
そして、撮影制御手段７４は、第１座標軸に関する基準パターン画像群を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させ、第２座標軸に関する基準パターン画像群を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させる。
【０１５２】
位相計算手段７５は、第１座標軸に関する基準パターン画像群の各画像を投影手段７１が投影したときに撮影手段が撮影した複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算し、第２座標軸に関する基準パターン画像群の各画像を投影手段７１が投影したときに撮影手段７２が撮影した複数の撮影画像から変換された複数の解像度変換画像における画素の輝度変化から、解像度変換画像におけるそれぞれの画素の輝度変化での初期位相値を計算する。
【０１５３】
対応付け手段７６は、第１座標軸に関する基準パターン画像群を撮影した撮影画像の解像度変換画像から計算された初期位相値に対して、第１座標軸の座標（例えばｘ座標）から初期位相値を求める計算（例えば、式（１）の計算）の逆算を行って第１座標軸の座標を計算し、解像度変換画像の画素に第１座標軸の座標を対応付け、第２座標軸に関する基準パターン画像群を撮影した撮影画像の解像度変換画像から計算された初期位相値に対して、第２座標軸の座標（例えばｙ座標）から初期位相値を求める計算（例えば、式（９）の計算）の逆算を行って第２座標軸の座標を計算し、解像度変換画像の画素に第２座標軸の座標を対応付けることによって、解像度変換画像の画素と、投影手段７１によって投影される画像の画素との対応関係を特定し、解像度変換画像の画素と座標との対応関係を用いて投影対象画像における画素と投影手段における画素との対応関係を特定する。
【０１５４】
また、上記の実施形態には、解像度変換手段７７が、撮影画像から切り出した画像を縮小することによって、当該画像の解像度変換画像を生成する構成が開示されている。
【０１５５】
また、上記の実施形態には、投影対象画像における画素と投影手段７１における画素との対応関係に基づいて、投影対象画像を補正する補正手段（例えば、実施形態における補正手段１０）と、補正手段によって補正された画像を、投影手段７１に投影させる投影制御手段（例えば、実施形態における投影制御手段１１）とを備える構成が開示されている。
【０１５６】
また、上記の実施形態には、基準パターン画像群生成手段７３が、第１の基準パターン画像群と、第１の基準パターン画像群における輝度変化の周期を所定倍（例えば、１／ａ倍）とした第２の基準パターン画像群を生成し、撮影制御手段７４が、第１の基準パターン画像群に属する画像および第２の基準パターン画像群に属する画像を投影手段７１に投影させ、その結果投影面に投影された画像を撮影手段７２に撮影させ、位相計算手段７５が、第１の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて各画素の輝度変化における初期位相値を計算し、第２の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて各画素の輝度変化における初期位相値を計算し、対応付け手段７６は、第１の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて計算した初期位相値と、第２の基準パターン画像群に応じた撮影画像の解像度変換画像に基づいて計算した初期位相値とを用いて、初期位相値から得られる座標値と解像度変換画像の画素とを対応付け、その対応関係を用いて投影対象画像における画素と投影手段７１における画素との対応関係を特定する構成が開示されている。そのような構成によれば、対応付けの精度を向上させることができる。
【０１５７】
また、上記の実施形態には、投影面における反射率を計算する反射率計算手段（例えば、補正手段１０）を備え、補正手段が、投影対象画像の画素の輝度値を、その輝度値を反射率で除算した値に更新し、更新後の画像に対して補正を行う構成が開示されている。
【０１５８】
また、位相の変化に伴い連続して変化する連続関数（例えば、ｆ）は、関数値の変化が正弦波となる関数である構成が開示されている。
【０１５９】
また、投影手段を複数備える構成が開示されている。
【０１６０】
また、上記の実施形態には、投影手段１が、基準パターン画像群に属する画像を光の波長が異なる色の画像として同時に投影し、撮影手段２が、その画像を撮影して光の波長が異なる色毎に分離する構成が開示されている。
【産業上の利用可能性】
【０１６１】
本発明は、投影面に画像を投影する際の画像の歪みを補正するために、投影対象となる画像の画素と、実際に投影面に投影された画像の画素との対応関係を定める画素位置対応関係特定システムや、その対応関係を用いて、観察者に提示する画像を補正して投影する画像投影システムに好適に適用される。
【図面の簡単な説明】
【０１６２】
【図１】本発明に関連する第１の参考実施形態の画素位置対応関係特定システムの例を示すブロック図である。
【図２】位相の変化に伴い連続して変化する輝度値を表す関数の例を示す説明図である。
【図３】図２に例示する初期位相値から位相をｄずらしたときの輝度値を示す説明図である。
【図４】情報処理装置の構成例を示すブロック図である。
【図５】第１の参考実施形態の処理経過の例を示すフローチャートである。
【図６】ｘ座標に関する対応付けの処理経過の例を示すフローチャートである。
【図７】複数の撮影画像における同一の画素の輝度変化の例を示す説明図である。
【図８】投影される画像の画素と撮影画像の画素とを対応付けた中間テーブルの例を示す説明図である。
【図９】ステップＳ３における対応付けの例を示す説明図である。
【図１０】第２の参考実施形態における情報処理装置の構成例を示すブロック図である。
【図１１】本発明の実施形態における情報処理装置の構成例を示すブロック図である。
【図１２】縮小変換後の画素の輝度決定の例を示す説明図である。
【図１３】２種類の基準パターン画像群を模式的に示す説明図である。
【図１４】本発明の概要を示すブロック図である。
【符号の説明】
【０１６３】
１  投影手段
２  撮影手段
３  情報処理装置
４  パターン位相シフト手段
５  撮影制御手段
６  位相計算手段
７  投影面
８  観察者
９  対応付け手段
１０  補正手段
１１  投影制御手段
１２  解像度変換手段
【図１】
2010124061.tif 000004
【図２】
2010124061.tif 000005
【図３】
2010124061.tif 000006
【図４】
2010124061.tif 000007
【図５】
2010124061.tif 000008
【図６】
2010124061.tif 000009
【図７】
2010124061.tif 000010
【図８】
2010124061.tif 000011
【図９】
2010124061.tif 000012
【図１０】
2010124061.tif 000013
【図１１】
2010124061.tif 000014
【図１２】
2010124061.tif 000015
【図１３】
2010124061.tif 000016
【図１４】
2010124061.tif 000017