(57)【要約】      （修正有）【課題】パターン画像の一部に撮像されない部分があっても、補正精度の低下を抑制する。【解決手段】第１の線群が撮像された第１の撮像画像と、第１の線群と交差する第２の線群が撮像された第２の撮像画像とを取得する投影画像取得手段１１と、第１の線群の線毎に一部又は全体の欠損を検出し、第２の撮像画像における前記第２の線群の線毎に一部又は全体の欠損を検出する欠損部検出手段１９と、線の欠損を補間する補間手段１５と、欠損が補間された前記第１の線群の線と前記第２の線群の線との第１の交点、及び、前記投影画像の前記第１の線群の線と前記第２の線群の線との第２の交点、を検出する交点検出手段１８と、複数の前記第１の交点により形成される範囲と、複数の前記第２の交点により形成される範囲とを比較して補正係数を算出する補正係数算出手段２０と、前記補正係数を用いて前記投影画像を補正する補正手段２１と、を有する。【選択図】図８
2015139006.tif 000002
【特許請求の範囲】
【請求項１】
投影対象物に投影される投影画像を補正する情報処理装置であって、
投影された第１の線群が撮像された第１の撮像画像と、前記第１の線群と交差する第２の線群が撮像された第２の撮像画像とを取得する投影画像取得手段と、
前記第１の撮像画像における前記第１の線群の線毎に一部又は全体の欠損を検出し、前記第２の撮像画像における前記第２の線群の線毎に一部又は全体の欠損を検出する欠損部検出手段と、
前記第１の線群の線又は前記第２の線群の線の欠損を補間する補間手段と、
欠損が補間された前記第１の線群の線と前記第２の線群の線との第１の交点、及び、前記投影画像の前記第１の線群の線と前記第２の線群の線との第２の交点、を検出する交点検出手段と、
複数の前記第１の交点により形成される範囲と、複数の前記第２の交点により形成される範囲とを比較して補正係数を算出する補正係数算出手段と、
前記補正係数を用いて前記投影画像を補正する補正手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記補間手段は、前記第１の線群の線の欠損部を欠損している線の欠損部以外の座標を用いて補間し、前記第２の線群の線の欠損部を欠損している線の欠損部以外の座標を用いて補間する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の線群は長手方向の少なくとも一部が重畳したほぼ平行な複数の線を有し、
前記第２の線群は長手方向の少なくとも一部が重畳したほぼ平行な複数の線を有し、
前記補間手段は、前記第１の線群の線の欠損部を、前記第１の線群の他の線の座標を用いて補間し、前記第２の線群の線の欠損部を、前記第２の線群の他の線の座標を用いて補間する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記補間手段は、前記第１の線群の線の欠損部を、該欠損部の両端を直線又は曲線で結ぶことで補間し、前記第２の線群の線の欠損部を、該欠損部の両端を直線又は曲線で結ぶことで補間する、ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記補間手段は、前記第１の線群の線が始端又は終端を含んで欠損している場合、欠損している線の欠損していない部分を欠損している始端又は終端の側に外挿することで補間し、
前記第２の線群の線が始端又は終端を含んで欠損している場合、欠損している線の欠損していない部分を欠損している始端又は終端側に外挿することで補間する、
ことを特徴とする請求項４記載の情報処理装置。
【請求項６】
前記補間手段は、欠損している前記第１の線群の線の欠損部を、前記第１の線群の他の線の、線の長手方向と垂直な方向の座標を演算して求めた点で補間し、
欠損している前記第２の線群の線の欠損部を、前記第２の線群の他の線の、線の長手方向と垂直な方向の座標を演算して求めた点で補間する、
ことを特徴とする請求項３に記載の情報処理装置。
【請求項７】
欠損している前記第１の線群の第１の線の欠損部と、前記第１の線群の他の線の欠損部が、線の長手方向で重複しているため、前記第１の線の欠損部の一部を、前記第１の線群の前記他の線の座標から補間できない場合、前記補間手段は、前記第１の線の欠損部の前記一部を、該一部の両端を直線又は曲線で補間し、
欠損している前記第２の線群の第２の線の欠損部と、前記第２の線群の他の線の欠損部が、線の長手方向で重複しているため、前記第２の線の欠損部の一部を、前記第２の線群の前記他の線の座標から補間できない場合、前記補間手段は、前記第２の線の欠損部の前記一部を、該一部の両端を直線又は曲線で補間する、
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記第１の線群の最外の線が欠損している場合、
前記補間手段は、前記第１の線群の最外から２番目と３番目の線の、線の長手方向と垂直な方向の座標を演算して求めた点で、最外の線の欠損部を補間し、
前記第２の線群の最外の線が欠損している場合、
前記第２の線群の最外から２番目と３番目の線の、線の長手方向と素直な方向の座標を演算して求めた点で、最外の線の欠損部を補間する、
ことを特徴とする請求項３に記載の情報処理装置。
【請求項９】
前記投影対象物と当該情報処理装置との距離情報を取得する距離情報取得手段と、
当該情報処理装置を第１の場所に配置した際の前記距離情報を用いて、前記投影対象物上の点を、撮像手段上の点に投影する第１の透視投影行列を算出する算出手段と、を有し、
前記算出手段は、当該情報処理装置が前記第１の場所から第２の場所に配置された際の変位情報を用いて前記第２の場所における第２の透視投影行列を算出し、
前記投影対象物上の点を、前記第２の透視投影行列を用いて前記第２の場所における撮像手段上の点に投影することで前記第１の撮像画像と前記第２の撮像画像を取得し、
前記欠損部検出手段は、前記第１の線群の線毎に一部又は全体の欠損を検出し、前記第２の線群の線毎に一部又は全体の欠損を検出し、
前記補間手段は、前記第１の線群の線又は前記第２の線群の線の欠損を補間し、
前記交点検出手段は、欠損が補間された前記第１の線群の線と前記第２の線群の線との第１の交点、及び、前記投影画像の前記第１の線群の線と前記第２の線群の線との第２の交点を検出し、
前記補正係数算出手段は、複数の前記第１の交点により形成される範囲と、複数の前記第２の交点により形成される範囲とを比較して補正係数を算出し、
前記補正手段は、前記補正係数を用いて前記投影画像を補正する、
ことを特徴とする請求項１〜８いずれか１項記載の情報処理装置。
【請求項１０】
投影対象物に投影される投影画像を補正する情報処理装置に、
投影された第１の線群が撮像された第１の撮像画像と、前記第１の線群と交差する第２の線群が撮像された第２の撮像画像とを取得する投影画像取得ステップと、
前記第１の撮像画像における前記第１の線群の線毎に一部又は全体の欠損を検出し、前記第２の撮像画像における前記第２の線群の線毎に一部又は全体の欠損を検出する欠損部検出ステップと、
前記第１の線群の線又は前記第２の線群の線の欠損を補間する補間ステップと、
欠損が補間された前記第１の線群の線と前記第２の線群の線との第１の交点、及び、前記投影画像の前記第１の線群の線と前記第２の線群の線との第２の交点、を検出する交点検出ステップと、
複数の前記第１の交点により形成される範囲と、複数の前記第２の交点により形成される範囲とを比較して補正係数を算出する補正係数算出ステップと、
前記補正係数を用いて前記投影画像を補正する補正ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影対象物に投影される投影画像を投影前に補正する情報処理装置に関する。
【背景技術】
【０００２】
プロジェクタは、画像をスクリーン等の投影対象物に投影する装置である。プロジェクタには、投影したパターン画像を撮像し、撮像画像に基づいて画像の歪みなどを補正してから投影するものがある（例えば、特許文献１参照。）。特許文献１には、等間隔に配列した特徴点を含むパターン画像を投影し、投射面が撮像された撮像画像の特徴点の歪み量を算出し、算出した歪み量に応じて、投影する画像を補正する技術が開示されている。特許文献１ではさらに、特徴点を抽出するために二値画像を作成する際の閾値を算出することで、環境光が変化しても画像歪みすることを図っている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１では、パターン画像として離散した複数の点を用いているため、パターン画像から１つの点が欠落した際の情報量の低下量が大きく、補正精度が低下するおそれがあるという問題がある。
【０００４】
本発明は上記課題に鑑み、パターン画像の一部に撮像されない部分があっても、補正精度の低下を抑制できる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題に鑑み、本発明は、投影対象物に投影される投影画像を投影前に補正する情報処理装置であって、投影された第１の線群が撮像された第１の撮像画像と、前記第１の線群と交差する第２の線群が撮像された第２の撮像画像とを取得する投影画像取得手段と、  前記第１の撮像画像における前記第１の線群の線毎に一部又は全体の欠損を検出し、前記第２の撮像画像における前記第２の線群の線毎に一部又は全体の欠損を検出する欠損部検出手段と、前記第１の線群の線又は前記第２の線群の線の欠損を補間する補間手段と、欠損が補間された前記第１の線群の線と前記第２の線群の線との第１の交点、及び、前記投影画像の前記第１の線群の線と前記第２の線群の線との第２の交点、を検出する交点検出手段と、複数の前記第１の交点により形成される範囲と、複数の前記第２の交点により形成される範囲とを比較して補正係数を算出する補正係数算出手段と、前記補正係数を用いて前記投影画像を補正する補正手段と、を有することを特徴とする。
【発明の効果】
【０００６】
パターン画像の一部に撮像されない部分があっても、補正精度の低下を抑制できる情報処理装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態のプロジェクタが用いられる画像補正システムの構成例を示す図である。
【図２】本実施形態に係るプロジェクタの一例を示す前面の概略外観図及び背面の概略外観図である。
【図３】情報処理装置の概略外観図の一例である。
【図４】プロジェクタの投影動作の一例を説明する説明図である。
【図５】プロジェクタが補正パラメータを算出する動作の一例を説明する説明図である。
【図６】プロジェクタが補正した投影画像（補正画像）を投影する動作の一例を説明する説明図である。
【図７】プロジェクタと情報処理装置のハードウェア構成を説明する図の一例である。
【図８】情報処理装置の機能ブロック図の一例を示す図である。
【図９】投影パターンＡと投影パターンＢの一例を示す図である。
【図１０】投影パターンＡとＢの合成パターンの一例を示す図である。
【図１１】バイナリーコードの一例を示す図である。
【図１２】プロジェクタが投影した投影画像の歪みを説明する図の一例である。
【図１３】投影パターンが投影された撮像画像の一例を示す図である。
【図１４】準備段階の手順を示すフローチャート図の一例である。
【図１５】投影段階の手順を示すフローチャート図の一例である。
【図１６】図１４のステップＳ４の対応点抽出処理の手順を説明するフローチャート図の一例である。
【図１７】線パターン領域の一例を説明する図である。
【図１８】一部が欠損した水平線の一例を示す図である。
【図１９】合成パターン画像の特徴点の座標と、投影パターンＡとＢの合成パターンの交点の座標の対応を説明する図の一例である。
【図２０】射影変換行列Ｈの算出を説明するための図の一例である。
【図２１】投影画像の補正について説明する図の一例である。
【図２２】図１４のステップＳ４の特徴点抽出処理の手順を説明するフローチャート図の一例である（実施例２）。
【図２３】欠損部よりも手前の途切れていない点の座標値を説明する図の一例である。
【図２４】水平線の欠損部の右側に端点がない水平線の一例を示す図である。
【図２５】欠損部の補間について説明する図の一例である（実施例３）。
【図２６】ｎ番目とｎ＋１番目の水平線が欠損している場合の補間を説明する図の一例である。
【図２７】本実施例と実施例１又は２を組み合わせた場合の補間について説明する図の一例である（実施例３）。
【図２８】最も上又は下の水平線が完全に検出されない場合の補間について説明する図の一例である。
【図２９】図１４のステップＳ４の特徴点抽出処理の手順を説明するフローチャート図の一例である（実施例３）。
【図３０】プロジェクタのハードウェア構成と機能ブロックを説明する図の一例である。
【図３１】本実施例の情報処理装置の処理手順について説明する図の一例である。
【図３２】３次元形状の計測について説明する図の一例である。
【図３３】撮像手段の座標系を模式的に示す図の一例である。
【図３４】プロジェクタを仮想的に動かした場合の透視投影行列を説明する図の一例である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。本実施形態では、投影パターンが投影されている投影対象物を撮像し、撮像したパターン画像を用いて投影画像を補正する情報処理装置を用いて、本発明の限定的でない例示の実施形態について説明する。
【０００９】
本実施形態において画像とは、静止画、動画、連続静止画などを含む。音声は付随してもしなくてもよい。画像を投影するとは、投射、投写、映写、照射などを含む。
【００１０】
画像を撮像するとは、撮影、取得などを含む。また、投影対象物には、スクリーン、壁、及び、ホワイトボート、建物の外壁などの外形表面、並びに、移動する物体の表面で画像を投影することができるものを含む。
【００１１】
本実施形態において、投影画像はプロジェクタ１００が投影する歪みのない画像をいい、撮像画像は投影対象物で投影された歪みがある画像をいい、補正画像は投影対象物に投影された際に歪みが低減されるように補正された投影画像をいう。投影画像には、補正パラメータを算出するための投影パターンがあり、撮像画像には投影パターンが撮像されたパターン画像がある。
【００１２】
［プロジェクタ、並びに、投影動作及び撮像動作］
図１〜図６を用いて、本発明に係るプロジェクタ１００を説明する。図１は、本実施形態のプロジェクタが用いられる画像補正システム２００の構成例を示す図である。図２（ａ）及び図２（ｂ）は、本実施形態に係るプロジェクタ１００の一例を示す前面の概略外観図及び背面の概略外観図である。図３は、情報処理装置９９の概略外観図の一例である。図４は、プロジェクタ１００の投影動作の一例を説明する説明図である。図５（ａ）は、プロジェクタ１００が補正パラメータを算出する動作の一例を説明する説明図である。図５（ｂ）は、プロジェクタ１００が投影画像を補正する動作の一例を説明する説明図である。図６は、プロジェクタ１００が補正した投影画像（補正画像）を投影する動作の一例を説明する説明図である。
【００１３】
図１に示すように、画像補正システム２００はプロジェクタ１００と情報処理装置９９とを有している。画像補正システム２００は以下のように動作する。
(i)  プロジェクタ１００が投影パターンを投影する。
(ii)  情報処理装置９９が投影されたパターン画像を撮像する。
(iii)  情報処理装置９９が射影変換行列Ｈを算出する。
(iv)  情報処理装置９９が射影変換行列Ｈで投影画像を補正する（補正された投影画像を補正画像という）。
(v)   プロジェクタ１００が補正画像を投影する。
【００１４】
なお、画像補正システム２００の構成例や、情報処理装置９９でなくプロジェクタ１００が射影変換行列Ｈを算出する構成も可能である。このような構成については実施例４にて後述する。
【００１５】
情報処理装置９９は、撮像手段と射影変換行列Ｈを算出する機能を備えていればよく、例えば、タブレット型の情報処理装置、スマートフォン、ノートＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、携帯電話、電子書籍端末などどのようなものでもよい。
【００１６】
図２（ａ）に示すように、プロジェクタ１００は、プロジェクタ１００の前面に、投影画像を投影する投影部１００ＰＪを有する。また、図２（ｂ）に示すように、プロジェクタ１００は、プロジェクタ１００の背面に、ユーザーが所望の動作の実施タイミングを入力する開始ボタン１００Ｂａと、ユーザーが所望の動作を設定する設定ボタン１００Ｂｂと、ユーザーが所望の情報を選択する選択ボタン１００Ｂｃと、を有する。
【００１７】
なお、図２（ａ）（ｂ）は説明のために簡略化された外観図にすぎず、本実施形態を用いることができるプロジェクタの外観等は図２に示すものに限定されるものではない。また、プロジェクタ１００は図２に示すようにハード的なキー以外に、投影部１００ＰＪからメニュー画面を投影しメニューの選択を受け付けるソフトキーを有していてもよい。ソフトキーにより、設定ボタン１００Ｂｂと選択ボタン１００Ｂｃと同等以上の操作を受け付けることができる。また、プロジェクタ１００は液晶などの表示装置を有していてもよく、表示装置と一体のタッチパネルから操作を受け付けてもよい。
【００１８】
図３に示すように、情報処理装置９９は投影対象物を撮像するレンズや撮像素子を備えた撮像手段１１０と撮像などのユーザの操作を受け付ける操作ボタン１０６を有している。なお、撮像手段１１０は背面側に設けられてもよく、前面と背面の両方に設けられていてもよい。この情報処理装置９９の外観は主にタブレット型の情報処理装置９９であり、図示する外観には限られない。情報処理装置９９のディスプレイ１２０はタッチパネルと一体であり撮像などの他、ユーザの操作を受け付けることができる。
【００１９】
図４に示すように、プロジェクタ１００は、スクリーン等（以下、「投影対象物」という。）に画像を投影する。プロジェクタ１００は、例えばユーザーが開始ボタン１００Ｂａを押下したときに、画像を投影することを開始する。図４では、プロジェクタ１００は、投影部１００ＰＪを用いて、投影領域Ｒｎｇ−ＰＪに画像を投影している。
【００２０】
また、図４では、情報処理装置９９が、撮像手段１１０を用いて、撮像領域Ｒｎｇ−ＣＭ（投影された領域）を撮像している。情報処理装置９９は、例えばユーザーが操作ボタン１０６を押下したときに、画像を撮像することを開始する。
【００２１】
更に、図４では、プロジェクタ１００は、投影画像を投影させる領域として、投影対象領域Ｒｎｇ−Ｔｇの選択を受け付けることができる。プロジェクタ１００は、例えばユーザーによって選択ボタン１００Ｂｃを用いて投影対象領域Ｒｎｇ−Ｔｇの大きさ及び位置を選択され、設定ボタン１００Ｂｂを用いて投影対象領域Ｒｎｇ−Ｔｇが設定される。
【００２２】
図５（ａ）に示すように、情報処理装置９９は、撮像手段１１０を用いて撮像領域Ｒｎｇ−ＣＭを撮像した場合に、例えば図に示す撮像画像Ｉｍｇ−ＣＭを撮像する。すなわち、撮像手段１１０は、投影対象物の形状（例えば外形）に対応して変形される撮像画像Ｉｍｇ−ＣＭを撮像する。情報処理装置９９は、撮像画像Ｉｍｇ−ＣＭが撮像画像Ｉｍｇ−ＣＭｒとなるように、歪み補正のための後述する射影変換行列Ｈを算出する。
【００２３】
図５（ｂ）に示すように、情報処理装置９９は、算出した射影変換行列Ｈを用いて、投影画像Ｉｍｇ−ＰＪを補正して、補正画像Ｉｍｇ−ＲＶを新たに生成する。情報処理装置９９は、例えば撮像画像Ｉｍｇ−ＣＭの撮像後、自動的に、又は、ユーザーが操作ボタン１０６を押下した場合に、射影変換行列Ｈを算出する。
【００２４】
図６に示すように、プロジェクタ１００は、投影画像Ｉｍｇ−ＰＪとして、新たに生成した補正画像Ｉｍｇ−ＲＶを用いる。すなわち、プロジェクタ１００は、補正画像Ｉｍｇ−ＲＶを投影することによって、投影対象物の形状に対応する変形を相殺する投影画像Ｉｍｇ−ＰＪを投影する。
【００２５】
以後に、本発明の実施形態に係るプロジェクタ１００の構成、機能及び動作を具体的に説明する。
【実施例１】
【００２６】
図７は、プロジェクタ１００と情報処理装置９９のハードウェア構成を説明する図の一例である。
【００２７】
まず、プロジェクタ１００は、通信手段３５、投影制御手段３６、記憶手段３７、投影用レンズ３１、カラーホイール３２、ＤＭＤ（Digital microMirror Device）３３、及び、光源３４を有している。
【００２８】
通信手段３５は、情報処理装置９９と通信して投影パターン、又は、補正画像等を受信する。通信の実現方法はどのようなものでもよいが、例えば無線ＬＡＮ、Bluetooth（登録商標）、赤外線通信、ＩＣ通信、ＷｉＧｉｇ (Wireless Gigabit)などが使用される。なお、有線ＬＡＮやＵＳＢケーブルなどの有線で通信してもよい。
【００２９】
投影制御手段３６は、プロジェクタ１００の全体を制御する制御部として動作する。例えば、プロジェクタ１００が投影パターンや補正画像を受信した場合、又は、例えばユーザーが開始ボタン１００Ｂａを押下したときに投影パターンや補正画像に基づいてＤＭＤ３３を制御し投影画像（補正画像としての投影画像を含む）をスクリーンに投影する。
【００３０】
記憶手段３７は、情報処理装置９９から受信した投影画像（補正画像としての投影画像を含む）を記憶する。
【００３１】
光源３４、ＤＭＤ３３、カラーホイール３２、及び、投影用レンズ３１は、ＤＬＰ（Digital Light Processing）方式の投影手段である。光源３４が照射する白色光は、ＲＧＢに分解された投影画像によりＯＮ／ＯＦＦが制御されるＤＭＤ３３に照射され、カラーホイール３２を通過して投影用レンズ３１で集光された後、投影対象物に投影される。なお、投影手段の実現方法は、ＬＣＤ方式などで実現してもよい。
【００３２】
情報処理装置９９は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ(Solid State Drive)１０４、メディアドライブ１０５、操作ボタン１０６、電源スイッチ１０７、電話通信部１０８、ネットワークＩ／Ｆ１０９、撮像手段１１０、マイク１１１、スピーカ１１２、ディスプレイＩ／Ｆ１１３、外部装置Ｉ／Ｆ１１４、及び、ＧＰＳ受信部１１５を有している。
【００３３】
ＣＰＵ１０１は、ＳＳＤ１０４に記憶されていプログラム１１６を実行して情報処理装置全体の動作を制御する。ＲＯＭ１０２は例えば起動用のプログラムやユーザ設定が記憶されている。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０４はプログラム１１６を記憶している。プログラム１１６は不図示のサーバからダウンロードされる態様で配布されるか、又は、記録メディア１１７に記憶された状態で配布される。
【００３４】
メディアドライブ１０５は、記録メディア１１７に対するデータの読み出し又は書き込みを制御する。記録メディア１１７はフラッシュメモリ等の不揮発性のメモリである。操作ボタン１０６はユーザによる情報処理装置９９への操作を受け付けるボタンであり、後述するタッチパネルが含まれる。電源スイッチ１０７は情報処理装置９９の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。電話通信部１０８は、携帯電話網などの基地局を介してサーバや他の情報処理装置などの情報処理装置９９と通信する。通信により音声データや各種のデータを送受信する。
【００３５】
ネットワークＩ／Ｆ１０９は、無線ＬＡＮ網などのアクセスポイントを介してプロジェクタ１００の通信手段３５と通信する通信カードである。通信により補正画像などを送信する。撮像手段１１０はＣＰＵ１０１の制御に従って撮像画像Ｉｍｇ−ＣＭを撮像する。マイク１１１は、音声を集音して電気的な信号に変換する。スピーカ１１２は、音声を出力する。
【００３６】
ディスプレイＩ／Ｆ１１３は、ＣＰＵ１０１の制御に従ってディスプレイ１２０に撮像画像Ｉｍｇ−ＣＭを出力する。ディスプレイ１２０は液晶素子や有機ＥＬ素子等を用いて構成されている。ディスプレイ１２０はタッチパネルを一体に有しており、操作用アイコン等を表示する他、ユーザの操作を検出する。
【００３７】
外部装置Ｉ／Ｆ１１４は、外部の装置との間で各種データを送受信する、例えば、ＵＳＢホスト、Bluetooth（登録商標）、ＮＦＣ（Near Field Communication）、TransferJet（登録商標）などである。ＧＰＳ（Global Positioning System）受信部１１５は、ＧＰＳ衛星からの電波を受信して情報処理装置９９の位置を推定する。
【００３８】
また、上記各構成要素を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン１１８を備えている。記録メディア１１７は、情報処理装置９９に対して着脱自在な構成となっている。
【００３９】
なお、撮像手段１１０は、情報処理装置９９に内蔵されているほか、例えば外部装置Ｉ／Ｆ１１４を介して外付けされていてもよい。
【００４０】
図８は、情報処理装置９９の機能ブロック図の一例を示す図である。情報処理装置９９は、パターン撮像部１１、通信部１２、二値化部１３、パターン選別部１４、パターン補間部１５、画像加工部１６、撮像制御部１７、対応点抽出部１８、欠損部抽出部１９、補正係数算出部２０、投影対象画像化部２１、及び、記憶部２２を有している。これらの各機能は、図７のＣＰＵ１０１がプログラム１１６を実行しハードウェアと協働することで実現される機能又は手段である。
【００４１】
パターン撮像部１１は、撮像手段１１０を用いて投影対象物に投影された投影パターンを撮像し、パターン画像を作成する。
【００４２】
通信部１２は、ネットワークＩ／Ｆ１０９により実現される機能又は手段であり、プロジェクタ１００の通信手段３５と通信して、投影パターンや歪みが補正された補正画像をプロジェクタ１００に送信する。通信方法は、１対１通信の他、ネットワークを介する通信であってもよい。
【００４３】
二値化部１３は、パターン画像を二値化する。パターン選別部１４は、水平線の投影パターンと垂直線の投影パターンを選別して、通信部１２に対しプロジェクタ１００に送信させる。また、二値化部１３が二値化したパターン画像が水平線の投影パターンか垂直線の投影パターンかを選別する。
【００４４】
パターン補間部１５は、二値化部１３が二値化したパターン画像の水平線又は垂直線の欠損部を補間する。画像加工部１６は、補正係数算出部２０が算出した射影変換行列Ｈを用いて投影画像を補正する。
【００４５】
撮像制御部１７は、例えばユーザの操作ボタン１０６の操作を検出するとパターン撮像部１１に投影パターンを撮像させ撮像画像（後述するパターン画像である）を作成させる。
【００４６】
対応点抽出部１８は、欠損部が補間された水平線と垂直線の撮像画像を合成して、撮像画像における水平線と垂直線の交点を求める。また、この交点と、投影画像の水平線と垂直線の交点とを対応づける。
【００４７】
欠損部抽出部１９は、二値化部が二値化した撮像画像の水平線又は垂直線の欠損部を抽出する。
【００４８】
補正係数算出部２０は、投影画像が投影対象物で歪まないように投影画像を補正する射影変換行列Ｈを算出する。投影対象画像化部２１は、投影対象である投影用コンテンツを画像化する。
【００４９】
記憶部２２は、図７のＲＡＭ１０３、ＳＳＤ１０４又は記録メディア１１７の１つ以上により実現される機能又は手段である。記憶部２２には、投影画像（投影パターンを含む）、及び、後述するバイナリーコードが記憶されている。また、記憶部２２には、投影パターンが撮像された撮像画像であるパターン画像が記憶される。この他、投影用コンテンツや投影画像が記憶される。
【００５０】
＜パターン画像＞
図９、１０を用いてパターン画像について説明する。パターン画像は、射影変換行列Ｈを作成するため（投影対象物における投影画像の歪みを補正するため）に使用される。図９（ａ）は投影画像として投影される投影パターンＡと投影パターンＢの一例を示す。投影パターンＡでは、垂直な同じ長さの線分が等間隔で並んだ線群がパターンを形成している。投影パターンＢでは、水平な同じ長さの線分が等間隔で並んだ線群がパターンを形成している。また、水平線と垂直線は長手方向に重畳した線を有している。
【００５１】
図９（ｂ）は、パターン撮像部１１が投影パターンを撮像した撮像画像であるパターン画像の一例を示す。パターン画像Ａは投影パターンＡが撮像されたものである。パターン画像Ｂは投影パターンＢが撮像されたものである。
【００５２】
図１０（ａ）は投影パターンＡとＢの合成パターンの一例を示す図である。投影パターンＡとＢを合成することで、垂直な線分と水平な線分が交差し、複数の矩形が縦横に整列配置された格子状の合成パターンが得られる。換言すると、投影パターンＡとＢは、図１０（ａ）の合成パターンから垂直な線分と水平な線分がそれぞれ取りだされたものである。格子の１つをメッシュと称する場合がある。
【００５３】
図１０（ｂ）は、パターン画像Ａとパターン画像Ｂが合成された合成パターン画像の一例を示す図である。投影対象物の凹凸に起因して、パターン画像ＡとＢが歪むため、格子状の合成パターン画像に歪みが生じている。
【００５４】
本実施例では、合成パターンの格子の交点と対応する、合成パターン画像の格子の交点を特定し、射影変換行列Ｈを作成する。
【００５５】
なお、投影パターンＡと投影パターンＢは、それぞれ平行線や等間隔である必要はなく、投影パターンＡと投影パターンＢが交差すればよい。いくつかの交点が求められることで対応点を抽出できれば、射影変換可能である。
【００５６】
＜バイナリーコード＞
図１１を用いてバイナリーコードについて説明する。図１１は、バイナリーコードの一例を示す図である。図１１の点線は実際には存在しない説明のための線である。図１１（ａ）はバイナリーコードＡを、図１１（ｂ）はバイナリーコードＢを、図１１（ｃ）はバイナリーコードＣを、それぞれ示す。バイナリーコードは白黒の縞の２値画像であり、水平線と垂直線を検出する領域を決定するために使用される。
【００５７】
バイナリーコードＡ〜Ｃは白黒の縞である。バイナリーコードＡは、投影パターンと同じサイズの領域に、上半分の黒画素と下半分の白画素を有する縞である。バイナリコードＢは、バイナリーコードＡの黒画素を白黒に等分し、白画素を白黒に等分した縞である。バイナリーコードＣは、バイナリーコードＢの黒画素を白黒に等分し、白画素を白黒に等分した縞である。このようにバイナリーコードＡ〜Ｃは、密度が倍ずつ増える縞の画像データである。
【００５８】
なお、図１１ではバイナリーコードＡ〜Ｃは横縞だが、９０度回転することで縦縞を得られる。以下では、バイナリーコードＡ〜Ｃが横縞なので水平線の検出を例に説明するが、垂直線も同様に検出される。
【００５９】
まず、図９（ａ）の投影パターンＢの各水平線は、もっとも細かいバイナリコードＣの縞の境界部に位置する。すなわち、投影パターンＢの各水平線は、バイナリコードＣの縞の境界部に形成されている（又は、バイナリコードＣの縞はの境界に投影パターンＢの各水平線が形成されている）。これにより、情報処理装置９９はバイナリーコードＡ〜Ｃを用いることで、水平線又は垂直線の位置を推定できる。
【００６０】
また、バイナリーコードＡ〜Ｃは、投影パターンＢの線幅の整数倍の幅を有している。バイナリーコードＡは４倍、バイナリーコードＢは２倍、バイナリーコードＡは１倍である。したがって、バイナリコードＡ〜Ｃを重ね合わせると、重ねた方向に重複しない白黒のパターンが得られる。この白黒のパターンの１つを帯領域という。バイナリーコードＡ〜Ｃによれば帯領域１〜８が得られる。バイナリーコードＡ〜Ｃにより得られる帯領域１〜８の白黒のパターンは以下になる。
帯領域１：黒  白  黒
帯領域２：黒  白  白
帯領域３：黒  黒  黒
帯領域４：黒  黒  白
帯領域５：白  白  黒
帯領域６：白  白  白
帯領域７：白  黒  黒
帯領域８：白  黒  白
したがって、この白黒パターンが切り替わる位置に水平線が存在すると予想できる。水平線が存在すると予想された位置に図１７の線パターン領域６１が形成される。
【００６１】
＜撮像画像の歪み＞
図１２を用いて撮像画像の歪みについて説明する。図１２は、プロジェクタ１００が投影した投影画像の歪みを説明する図の一例である。図１２（ａ）は、短焦点（又は、超短焦点）のプロジェクタ１００が投影対象物Ｓｃｒに投影画像を投影している例を示す。図１２（ｂ）は、短焦点（又は、超短焦点）のプロジェクタ１００が投影対象物Ｓｃｒに投影した投影画像を投影対象物Ｓｃｒと正対して撮像した撮像画像の例を示す。図１２（ｃ）は、通常の焦点（又は、焦点距離）のプロジェクタ１００が投影対象物Ｓｃｒに投影画像を投影している例を示す。図１２（ｄ）は、通常の焦点（又は、焦点距離）のプロジェクタ１００が投影対象物Ｓｃｒに投影した投影画像を投影対象物Ｓｃｒと正対して撮像した撮像画像の例を示す。
【００６２】
図１２（ｃ）に示すように、通常の焦点距離のプロジェクタ１００では、投影対象物Ｓｃｒの投影面に投影光（投影画像）Ｌａ、Ｌｂ、Ｌｃを照射（投影）する場合、投影光Ｌａ、Ｌｂ、Ｌｃは反射光Ｌａｒ、Ｌｂｒ、Ｌｃｒで反射する。すなわち、通常のプロジェクタ１００では、図１２（ｄ）に示すように、投影対象物の投影面の形状（歪み）の影響をあまり受けない。
【００６３】
これに対し、図１２（ａ）に示すように、短焦点のプロジェクタ１００では、投影対象物の投影面に投影光（投影画像）Ｌ１、Ｌ２、Ｌ３を照射（投影）する場合に、投影対象物の投影面の形状（歪み）によって、投影光Ｌ２が反射光Ｌ２ｒａで反射する。すなわち、短焦点のプロジェクタ１００では、投影対象物の投影面の形状（歪み）によって、投影光Ｌ２の反射位置がずれて、反射光Ｌ２ｒａではなく、反射光Ｌ２ｒで反射する。これにより、図１２（ｂ）に示すように、短焦点のプロジェクタ１００では、投影対象物Ｓｃｒと正対した位置で、（例えば視覚者が）撮像画像Ｉｍｇ−ＣＭの局所的な部分がＬ２ｒａからＬ２ｒに歪む。なお、プロジェクタ１００では、特に短焦点の場合に投影光の入射角が小さくなるため、投影面のわずかな歪みでも反射位置のずれ（画像の歪み）が大きくなる。
【００６４】
本実施形態に係るプロジェクタ１００は、補正パラメータとして、撮像画像Ｉｍｇ−ＣＭの局所的な部分の歪みを相殺する補正パラメータを算出する。すなわち、プロジェクタ１００は、撮像される図１２（ｂ）の歪みＬ２ｒがＬ２ｒａとなるように変形する補正パラメータを算出する。この補正パラメータが射影変換行列Ｈである。
【００６５】
＜パターン画像の検出＞
図１３は、投影パターンが投影された撮像画像の一例を示す図である。撮像画像には、パターン画像Ｂ、スクリーン５２、スクリーン５２を収納する収納部５４、時計５５、及び、カレンダ５６などが撮影されている。
【００６６】
図１３では投影パターンが四角い黒枠５１で囲まれている。壁に吊り下げられたスクリーン５２にこのような投影パターンが投影される場合を考えると、撮像画像の中心付近にある連結成分の外接矩形（黒枠５１）に囲まれる領域内に投影パターンＢが含まれる。また、このパターン画像Ｂの黒枠５１が定められたサイズ以上であれば、認識可能なサイズのパターン要素が撮影されていると推測できる。また、当然ながらユーザは、スクリーン５２の中心部に投影パターンＢを投影し、撮像画像の中央を占めるようにパターン画像Ｂを撮像すると考えられる。
【００６７】
従って、例えば、所定画素数以上の黒画素連結成分（黒枠５１の部分）が検出できれば、それを黒枠５１として検出でき、黒枠内のパターン画像Ｂを安定して抽出できる。
【００６８】
なお、黒枠５１は、矩形でなく円や楕円などでもよい。また、投影パターンＢを投影して撮像された撮像画像と、投影パターンＢが投影されていない状態で撮像された撮像画像とを比較して、２つの画像を比較してパターン画像Ｂを抽出してもよい。
【００６９】
＜準備段階＞
以下、射影変換行列Ｈの作成について準備段階と投影段階に分けて説明する。
【００７０】
図１４は準備段階の手順を示すフローチャート図の一例である。
Ｓ１：プロジェクタ１００の投影制御手段３６はパターン画像を投影する。パターン画像は情報処理装置９９が記憶しているので、情報処理装置９９の通信部１２がプロジェクタ１００に送信する。
Ｓ２：例えばユーザが操作ボタン１０６を押下することで、情報処理装置９９のパターン撮像部１１が投影パターンを含む領域を撮像する。なお、情報処理装置９９は三脚などで固定され、投影パターンＡ，Ｂ及びバイナリーコードＡ〜Ｃを撮像する間は、撮像位置が固定されている。
Ｓ３：パターン撮像部１１は撮った撮像画像（パターン画像）を記憶部２２に保存する。パターン撮像部１１は、ステップＳ２、Ｓ３を繰り返し、投影パターンＡ，Ｂ及びバイナリーコードＡ〜Ｃを撮像して保存する。
Ｓ４：対応点抽出部１８は、パターン画像Ａ，Ｂを合成した合成パターン画像の交点と、投影パターンＡ，Ｂを合成した合成パターンの水平線と垂直線の交点との対応付けを行い、互いの座標値を対応付けるペアを記録する。この処理を対応点抽出と呼ぶ。対応点抽出について詳しくは後述する。
Ｓ５：合成パターン画像と合成パターンのそれぞれの交点を頂点に見立て、対応する４点で囲まれる領域同士の射影変換の係数（射影変換行列Ｈ）を求める。この係数は、画像変換の係数であり補正係数又は補正パラメータと呼んでも良い。
Ｓ６：パターン画像Ａ、Ｂは図９（ａ）のように撮像されていることが理想的だが、上記のスクリーンの凹凸により図９（ｂ）のように歪んでいる場合を考慮して、投影画像を射影変換行列Ｈを用いて補正する。すなわち、概念的には逆方向の歪みを投影画像に施すことで、スクリーンの凹凸による歪みと打ち消しあって、歪みのない投影画像が投影される。詳しくは後述する。
Ｓ７：射影変換行列Ｈを情報処理装置９９の記憶部２２に保存する。
【００７１】
＜投影段階＞
図１５は投影段階の手順を示すフローチャート図の一例である。
Ｓ１１：画像加工部１６は記憶部２２に記憶されている射影変換行列Ｈを読み出す。
Ｓ１２：投影対象画像化部２１は情報処理装置９９内に用意された、投影用コンテンツを投影画像に画像化する。投影用コンテンツは、例えば静止画、動画、連続静止画などである。
Ｓ１３：画像加工部１６は、投影画像を射影変換行列Ｈに従って加工（変形）する。
Ｓ１４：通信部１２は、変形した投影画像をプロジェクタ１００に投影させるために、プロジェクタ１００に送信する。
Ｓ１５：プロジェクタ１００は受信した投影画像を記憶手段３７に記憶する。
Ｓ１６：プロジェクタ１００の投影制御手段３６は、光源３４、ＤＭＤ３３、カラーホイール３２を制御し、投影用レンズ３１を通して投影対象物に投影画像を投影する。以上のような手順により、ユーザは歪みが低減された投影画像を認識できる。
【００７２】
〔対応点の抽出〕
図１６は、図１４のステップＳ４の対応点抽出処理の手順を説明するフローチャート図の一例である。図９（ｂ）のパターン画像Ａ，Ｂのように歪みながらも水平線や垂直線が欠損することなく撮像される場合、特徴点抽出と射影変換行列Ｈにより歪みを補正することができる。しかしながら、パターン画像Ａ，Ｂの一部が欠損した場合、投影パターンとパターン画像との間で、対応する領域を正しく対応付けられないおそれがある。
【００７３】
そこで、図１６の手順ではパターン画像Ａ，Ｂの一部が欠損していても、射影変換行列Ｈを作成可能なように、欠損部を補間してから特徴点を抽出する。
【００７４】
なお、図１６の処理は投影パターンＢ（水平線）、投影パターンＡ（垂直線）の順で行われているが、順番はどちらが先でもよい。
【００７５】
対応点抽出部１８は、バイナリコードＡ〜Ｃの撮像画像を二値化して、二値画像をバイナリーコードＡ〜Ｃの数だけ作成する（Ｓ４−１）。
【００７６】
次に、二値化した３つのバイナリコード画像の組から帯領域１〜８を特定する（Ｓ４−２）。上記のように、バイナリコードＡ〜Ｃを重ねると重複しない白黒パターンが得られるので、帯領域１〜８を特定できる。
【００７７】
次に、帯領域１〜８の境界部を決定し、境界部から予め定められた画素数分だけ上下に広げた範囲を線パターン領域６１として設定する（Ｓ４−３）。
【００７８】
図１７（ａ）は線パターン領域６１の一例を説明する図である。予め定められた画素数は、歪みにより水平線が移動しうる範囲として設定されている。図示するように線パターン領域６１は、帯領域１〜８の境界を中心に設定される。多くの場合、帯領域１〜８の境界部に水平線が検出されるが、次述するパターン画像の二値化結果や、撮影時の外光の影響などによって、必ずしも境界部に水平線が存在しない場合がある。このため、バイナリーコードで決定された帯領域１〜８の境界に対し水平線が移動しうる範囲として線パターン領域６１を決定する。そして、線パターン領域６１内で水平線を検出する。
【００７９】
図１６に戻り、対応点抽出部はパターン画像Ｂを二値化する（Ｓ４−４）。所定の閾値未満を黒画素、閾値以上を白画素に二値化する。
【００８０】
次に、対応点抽出部１８は、線パターン領域６１内の黒画素を抽出し、連続している黒画素を抽出する（Ｓ４−５）。連続した黒画素は任意の黒画素から出発し、隣接した画素のうち黒画素を検出して連結する。黒画素があれば、その画素に隣接した画素のうち黒画素を検出する処理を繰り返す。隣接した画素に黒画素がない場合、まだ連結されていない黒画素から同じ処理を繰り返す。これにより、水平線が検出される。なお、水平線が欠損している場合、２本以上の水平線が検出される場合がある。
【００８１】
次に、欠損部抽出部１９は、帯領域１〜８の境界の線パターン領域６１から水平線が欠損している線パターン領域６１を検出する（Ｓ４−６）。
【００８２】
図１７（ｂ）は欠損の有無の判定について説明する図の一例である。連続した黒画素の検出により、線パターン領域６１には長手方向に水平線に相当する黒画素が連続していると推定される。欠損部抽出部１９は、線パターン領域６１の始端又は終端から黒画素を探索する。欠損の判断基準は適宜設定されるが、例えば線パターン領域６１の幅方向（行方向）に黒画素が一切ない場合に欠損していると判断する。
(i)  １列目から５列目までは２つ行で黒画素が存在する。
(ii)  ６列目には上から３行目に黒画素がある。
(iii)  ７列目には上から４行目に黒画素がある。
(iv)  ８列目には上から６行目に黒画素がある。
(v)  ９列目には一切、黒画素がないので欠損部抽出部１９は９列目で水平線が欠損していると判断する。
【００８３】
この後、さらに列方向に探索し、１２列目に黒画素があるので１２列目から水平線の探索を再開する。したがって、９〜１１列目が欠損部であると判断される。このように水平線毎に欠損部を全て検出する。
【００８４】
なお、欠損部の判断としては、黒画素がない列が所定数以上の場合に欠損があると判断してもよい。また、１列内に黒画素があっても、手前の列と同じ行に黒画素がない場合には欠損があると判断してもよい。
【００８５】
図１８（ａ）は、一部が欠損した水平線の欠損部３０３の一例を示す図である。図１８（ａ）では帯領域４と５の間の水平線が一部欠損している。このように、途切れている部分がある場合、パターン補間部１５は欠損部以外の水平線３０１と３０２を用いて欠損部を補間する。
【００８６】
図１６に戻り、パターン補間部１５は補間対象となる途切れている水平線を補間する（Ｓ４−７）。すなわち、連続する黒画素の端点同士（水平線３０１と３０２の端点）を直線で結ぶ。これにより、パターン画像は全ての線分が欠損なく撮影された画像となる。図１８（ｂ）は欠損部３０３が補間されたパターン画像の一例を示す。図１８（ｂ）では直線で補間されている。直線による補間は端点を結ぶだけでよいので処理負荷を低減できる。
【００８７】
次に、対応点抽出部１８は、着目している線パターン領域６１について全ての欠損部を補間したか否かを判定する（Ｓ４−８）。
【００８８】
着目している線パターン領域６１について欠損部が残っている場合（Ｓ４−８のＮｏ）、欠損部を補間する。すなわち、複数の欠損部がある場合、全ての欠損部にに対し補間を行う。
【００８９】
次に、対応点抽出部１８は、全ての線パターン領域６１について欠損部を補間したか否かを判定する（Ｓ４−９）。
【００９０】
全ての線パターン領域６１について欠損部を補間していない場合（Ｓ４−９のＮｏ）、次の線パターン領域６１について連続黒画素を検出する処理から繰り返す（Ｓ４−５）。
【００９１】
次に、対応点抽出部１８は垂直線についても同様の処理を行う（Ｓ４−１０）。すなわち、投光パターンＡが撮像されたパターン画像Ａから垂直線を検出し、欠損部を補間する。なお、バイナリーコードＡ〜Ｃは９０°回転させることで、垂直線に対応できる。
【００９２】
次に、対応点抽出部１８は、パターン画像Ａ，Ｂを合成する（Ｓ４−１１）。合成は、水平線のパターン画像Ａと垂直線のパターン画像Ｂの同じ座標の画素値を比較して、両方とも白画素なら白画素に、一方が黒画素なら黒画素に置き換えることで行う。これにより、図１０（ａ）（ｂ）のような合成パターン画像が得られる。なお、水平線の端部が垂直線と交差するように、又は、垂直線の端部が水平線と交差するように、合成前に水平線と垂直線の両端をそれぞれ延長してもよい。
【００９３】
次に、対応点抽出部１８は水平線と垂直線の交点を求め、その座標を特徴点として抽出する（Ｓ４−１２）。
【００９４】
図１９（ａ）は交点の検出について説明する図の一例である。交点の求め方は種々考えられるが、例えば、パターン画像Ａとパターン画像Ｂの黒画素の座標を利用する。パターン画像Ａの黒画素（水平線）の座標と、パターン画像Ｂの黒画素（垂直線）の座標が分かっているので、パターン画像ＡとパターンＢの両方にある重複点が黒画素が交点である（図の黒マス）。
【００９５】
例えば、図のように座標を取ると（ｘ、ｙ）＝（１，１）（１，２）（２，１）（２，２）が交点の１つである。重複点は１画素とは限らないので、これらの交点の例えば重心（複数の重複点ｘ座標の平均と、ｙ座標の平均）を交点として決定する。
【００９６】
同じ処理を合成パターンについて行うことで、合成パターンから特徴点を検出できる。なお、合成パターンには歪みなどが生じないので予め特徴点を検出しておいてもよい。
【００９７】
対応点抽出部１８は、交点を特徴点として補正係数算出部２０に出力する（Ｓ４−１３）。
以上により、図１０（ｂ）に示したような合成パターン画像の交点が特徴点として得られる。
【００９８】
＜交点の対応づけ＞
対応点抽出部１８は、合成パターン画像の特徴点の座標と、図１０（ａ）の合成パターンの交点の座標を対応づける。具体的には、例えば、水平線の始端から水平線に沿って、合成パターン画像の特徴点の座標をＸ方向に順番に読み出し、合成パターンの始端から交点の座標に順番に対応づければよい。右端の特徴点（終端）まで到達したら、１つ下の水平線について同じように対応付けを行う。
【００９９】
図１９（ｂ）は合成パターン画像の特徴点の座標と、投影パターンＡとＢの合成パターンの特徴点の座標の対応を説明する図の一例である。水平線と垂直線が共に９本なので、「８１＝９×９」の座標が対応づけられている。特徴点を対応させることで、４つの特徴点で囲まれる領域同士を対応させ、射影変換行列Ｈを算出することができる。
【０１００】
なお、合成パターン画像の画素数が、合成パターンの画素数と一致しない場合は、合成パターン画像の画素数を合成パターンの画素数に一致させ、両者を同じサイズに正規化しておく。
【０１０１】
〔射影変換行列Ｈの算出〕
図２０は、射影変換行列Ｈの算出を説明するための図の一例である。補正係数算出部２０は、まず、図１９の特徴点の対応に基づき、各領域毎に対応付けを行う。合成パターン画像の１メッシュと合成パターンの１メッシュの対応関係は、射影変換で記述する。パターン画像の点をｍｐ＝（ｘp,ｙp）、撮像画像の点をｍｃ（ｘc,ｙc）とすると射影変換により点ｍｐはｍｃを用いて以下のように表すことができる。
【０１０２】
【数１】
2015139006.tif 000003
ｈ１〜ｈ８は未知の射影変換パラメータである。また、同次座標を用いて次のように表現できる。
【０１０３】
【数２】
2015139006.tif 000004
Hが射影変換行列である。
【０１０４】
また、パターン画像のパターン要素と投影パターン画像のパターン要素同士の１つの対応点から以下の拘束が得られる。
【０１０５】
【数３】
2015139006.tif 000005
この式により、８つの未知パラメータに対して２つの拘束が得られる。したがって、１つのメッシュの頂点である４つの対応点が得られればＨの全ての要素を決定できる。射影変換の式は、全画素の対応関係を記録したテーブルとして保持しておくことができる。
【０１０６】
図２１は、投影画像の補正について説明する図の一例である。投影されるコンテンツの投影画像の補正は、プロジェクタ１００が投影する投影画像を予め変形させることで行う。まず、補正係数算出部２０は、撮像画像内でパターン画像の領域が長方形になるように投影領域を決める。投影領域は、パターン画像の最大内接長方形とする。ただし、投影対象物のアスペクト比と同じとすることが好ましいので、実際には最大内接長方形よりも小さくなる。したがって、補正された投影画像は、元の投影画像よりも小さくなる。
【０１０７】
以下では、補正画像上の点Ａの画素値を、投影画像から読み出して決定する手順を説明する。
（１）まず、点Ａが撮像画像上のどの位置にあたるかを決定する。この点を点Ａｃと呼ぶ。射影変換により点Ａｃの座標（ｘｃ、ｙｃ）をパターン画像の点Ａｐに変換することができたので、射影変換とは逆に点Ａpの座標を撮像画像の点Ａｃの座標に変換できる。点Ａｃの座標（ｘｃ、ｙｃ）は、撮像画像の左上を原点（０，０）とした座標系の座標である。
（２）次に、求めた撮像画像の点Ａｃが、投影領域内ではどの位置に相当するかを算出する。投影領域の左上を原点（ｘ０，ｙ０）とする。この原点に対する点Ａｃの座標を（ｘｃ１，ｙｃ１）とする。
（３）点Ａｃに対応する元の画像（投影画像）の点Ａｐの座標を（ｘｐ、ｙｐ）とする。投影領域は元の画像とアスペクト比が一致し、大きさだけが異なるので、投影画像の横方向の長さＷｐと撮像画像の投影領域の横方向の長さＷｃから、点Ａｐの座標は以下のように表すことができる。
（ｘｐ、ｙｐ）＝Ｗｐ／Ｗｃ（ｘｃ１，ｙｃ１）  …（a）
（４）撮像画像における投影領域の原点は（ｘ０，ｙ０）なので、点Ａｃの座標値は以下のように表すことができる。
（ｘｃ、ｙｃ）＝（ｘ０，ｙ０）＋（ｘｃ１，ｙｃ１）  …（ｂ）
（５）  点Ａｃの座標（ｘｃ、ｙｃ）は求められているので、式（ｂ）により（ｘｃ１，ｙｃ１）が求められ、式（ａ）により点Ａｐの座標（ｘｐ、ｙｐ）を求めることができる。この座標（ｘｐ、ｙｐ）の画素値を、補正画像の点Ａの画素値とする。
【０１０８】
なお、点Ａに対応する点Ａｐの座標は整数とは限らないので、その場合は点Ａｐの周囲の画素の画素値から補間して求める。
【０１０９】
したがって、射影変換の式、投影領域、式（ａ）（ｂ）などが補正情報に相当する。なお、補正情報の算出については、「投影画像の幾何補正に関する実験的検討」，計測自動制御学会東北支部第２３５回研究集会（2007.5.18）に記載がある。
【０１１０】
以上説明したように、本実施例の情報処理装置９９は、点パターンではなく複数の線を有する投影パターンで投影画像の補正係数を算出するので、欠損部があっても補間が可能になる。また、点パターンの点は離散的だが、線は連続しているので、欠損していても近傍にある線の端点を用いて補間することができる。したがって、補正の精度が向上し、スクリーンに凹凸があったり投影パターンを高画質に撮影できなくても安定して射影変換行列Ｈを算出できる。
【実施例２】
【０１１１】
実施例１では欠損部の補間を直線で行ったが、本実施例では３次スプライン曲線で結ぶ情報処理装置９９について説明する。スプライン曲線は滑らかな補間ができることが特徴である。スクリーンの歪みは極端な折れ曲がりがない限り滑らかな変動により生じるので、直線補間の場合に発生しがちな端点部での急な方向変化（線パターンの折れ曲がり）が発生せず、補正の精度を向上させることができる。
【０１１２】
また、本実施例において、実施例１にて説明した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
【０１１３】
図２２は、図１４のステップＳ４の特徴点抽出処理の手順を説明するフローチャート図の一例である。図２２は、図１６のステップＳ４−７の処理がＳ４−７１〜４−７３におき変わっている。
【０１１４】
ステップＳ４−６において線パターン領域６１の線分に欠損部がある場合、パターン補間部１５は欠損部よりも手前の部分の座標値を１つずつ（計２つ）求める（Ｓ４−７１）。
【０１１５】
図２３（ａ）は、欠損部よりも手前の点の座標値を説明する図の一例である。この点を、座標取得点と称す。欠損部を中心に左側の端点３０５よりさらに左側の点が座標取得点３１１であり、欠損部を中心に右の端点３０６よりさらに右側の点が座標取得点３１２である。
【０１１６】
端点からどのくらい離れた点を座標取得点とするかは、例えば、投影パターンの隣接する線同士の距離程度にする。なお、この距離の位置に黒画素がない場合は、該位置から最も近い黒画素を選ぶ。
【０１１７】
次に、パターン補間部１５は２つの端点３０５，３０６と、２つの座標取得点３１１の計４つの座標を使って、３次スプライン曲線を求める（Ｓ４−７２）。３次スプライン曲線は、４つの座標の間にある３つの区間が、それぞれ独立した３次曲線で結ばれる曲線を作成するという考え方に基づく。求める区間は３つ（うち真ん中の区間が補間対象）なので、それぞれの部分区間の両端を通る３次直線の式を３つ求めることを考える。それぞれの直線の式を
y = a1x^3 +b1x^2+c1x+d1
y = a2x^3 +b2x^2+c2x+d2
y = a3x^3 +b3x^2+c3x+d3
などとおき、それぞれの区間の境界点（この場合は端点と座標取得点）で座標値が一致することを使ってa1~a3,b1~b3,c1~c3,d1~d3を変数とする連立方程式を立てる。これにより、６個の式が得られる。
【０１１８】
続いて、３つの曲線が端点と座標取得点で滑らかに接続されるように、それぞれの微分、２階微分が端点又は座標取得点で一致するように式を立てる。これで４個の式が得られる。変数の数に対し式の数が足りないのでさらに端点前後の２点の２次微分が０になる条件を加える。これにより式が１２個できるので１２元１次連立方程式を解くことで変数a1~a3,b1~b3,c1~c3,d1~d3を決定できる。
【０１１９】
なお、スプライン曲線は３次でなく４次以上でもよいし、３次スプライン曲線を算出する際の座標取得点の数を増やしてもよい。
【０１２０】
パターン補間部１５は、求めた３つの曲線の式のうち欠損部の式を使って、欠損部を補間する（Ｓ４−７３）。すなわち、パターン画像Ａ，Ｂの欠損部をスプライン直線の黒画素で埋める。以降の処理は、図１６のステップＳ４−８と同様である。
【０１２１】
図２３（ｂ）はスプライン曲線による欠損部の補間例を示す図の一例である。スプライン曲線で補間することで水平線３０１と３０２を滑らかに補間できる。なお、スプライン曲線以外に、ラグランジュ補間やエルミート補間を使用してもよい。
【０１２２】
また、図２３（ａ）では、欠損部の左右に水平線が検出されていると仮定したが、一方の端点に水平線がない場合も考えられる。すなわち、欠損部３０３があっても端点が１つしかない。
【０１２３】
図２４は、水平線の欠損部３０３の右側に端点がない水平線の一例を示す図である。この場合は、図２４（ａ）に示すように、水平線がある側で端点のほかに３つの座標取得点３１３を求め同じ処理を行う。そして、図２４（ｂ）に示すように、一番外側（端点側）の区間（最右の座標取得点３１３と端点３０５の間）のスプライン曲線により、水平線のＸ座標の最後まで外挿を行う。こうすることで、欠損部の一方に端点３０６がなくても補間することができる。
【０１２４】
なお、実施例１においても、欠損部に端点が１つしかない場合は、例えば水平線の端点にＸ軸方向に平行な直線を外挿することができる。同様に、垂直線の端点にＹ軸方向に平行な直線を外挿することができる。
【０１２５】
以上説明したように、本実施例によれば、実施例１の効果に加え、直線による補間の場合に欠損部で発生しうる水平線の急な方向変化が発生しにくいので補正精度を向上できる。
【実施例３】
【０１２６】
本実施例では、欠損部がある水平線・垂直線だけでなく、隣り合う水平線・垂直線をも用いて欠損部を補間する情報処理装置９９について説明する。
【０１２７】
図２５は、本実施例の欠損部の補間について説明する図の一例である。図示するように上からｎ番目の水平線の一部が欠損しているものとする。この場合、パターン補間部１５は、上側に隣接した上からｎ−１番目の水平線と、下側に隣接した上からｎ＋１番目の水平線を使用して欠損部を補間する。
【０１２８】
欠損している水平線のＸ座標の範囲は既知なので、このＸ座標の範囲で、補間したいＸ座標と同じＸ座標を持つ、n-1番目とn+ 1番目の水平線の参照点３０７のＹ座標を参照し、２つの参照点３０７のＹ座標の中点（平均）を算出する。
【０１２９】
すなわち、欠損部内の任意のＸ座標において、n-1番目の水平線のＹ座標をＹ（ｎ−１）、n+1番目の水平線のＹ座標をＹ（ｎ＋１）とする。したがって、ｎ番目の水平線のＹ座標であるＹ（ｎ）は、以下の演算により表すことができる。
Ｙ（ｎ）＝｛Ｙ（ｎ−１）＋Ｙ（ｎ＋１）｝／２
本実施例の補間方法では、１本の水平線が長く欠損している場合でも、隣接する水平線の座標を使うことで精度よく補間することが可能となる。
【０１３０】
また、図２５（ｂ）に示すように、隣接していない水平線の参照点を用いて補間してもよい。n-2番目の水平線のＹ座標をＹ（ｎ−２）、n+1番目の水平線のＹ座標をＹ（ｎ＋１）とする。水平線の間隔がほぼ等間隔であることを利用して、ｎ番目の水平線のＹ座標であるＹ（ｎ）は以下のように表すことができる。
Ｙ（ｎ）＝｛Ｙ（ｎ−２）＋２Ｙ（ｎ＋１）｝／３
図２５（ｂ）ではｎ−１番目の水平線に欠損部がないので、このような算出は不要であるが、ｎ−１番目の水平線が欠損している場合（隣接した水平線の欠損部が重複している場合）、ｎ−２番目とｎ＋１番目の水平線で補間することができる。したがって、補間には必ずしも隣接した水平線を使用しなければならないわけではない。
【０１３１】
一方、図２６のように隣接した水平線の欠損部が重複している場合、図２７のように補間することも有効である。図２６に示すように、ｎ−１番目又はｎ＋１番目の水平線の片方が、ｎ番目の水平線と共に欠損している場合がある。図２６は、ｎ番目とｎ＋１番目の水平線が欠損している場合の補間を説明する図の一例である。ｎ番目とｎ＋１番目の水平線の欠損部に重複した部分があるため、本実施例の方法ではｎ番目の水平線の欠損部を補間できない（ｎ＋１番目の水平線の欠損部も補間できない。）。
【０１３２】
この場合、パターン補間部１５は、実施例１又は２の方法で補間する。すなわち、本実施例の方法で優先的に補間して、隣接した水平線の欠損部が重複している部分では、補間を行わずに保留にしておく。そして、その後、実施例１又は２の方法（内挿又は外挿）で補間する。
【０１３３】
図２７は、本実施例と実施例１又は２を組み合わせた場合の補間について説明する図の一例である。図２７（ａ）はｎ番目の水平線の欠損部の一部の補間を説明する図の一例である。「ｎ番目の水平線の欠損部の長さ＞ｎ＋１番目の水平線の欠損部の長さ」の関係があるので、ｎ＋１番目の水平線が検出されている範囲３２１，３２２では、図２５の方法でｎ番目の水平線の欠損部を補間できる。
【０１３４】
ｎ番目とｎ＋１番目の水平線の両方が欠損している範囲３２３については保留される。これにより、図２７（ｂ）に示すように、ｎ番目の水平線の欠損部の一部（ｎ＋１番目の水平線がある範囲３２１，３２２）では水平線が補間される。
【０１３５】
こうすることで、水平線が長く欠損している場合でも、ｎ番目の水平線の欠損部の一部は、高精度に補間できる。
【０１３６】
また、パターン補間部１５は、欠損したままの範囲３２３を実施例１又は２の方法で補間するので、ｎ番目の水平線の欠損部の全てとｎ＋１番目の水平線の欠損部を補間することができる。
【０１３７】
ｎ＋１番目の水平線の欠損部については、ｎ番目の水平線と同様に、実施例１又は２の方法で補間される。
【０１３８】
ところで、図２８に示すように、最も上又は下の水平線（最外の水平線）が完全に検出されない場合も生じうる。図２８は、最も上の水平線が完全に検出されない場合の補間について説明する図の一例である。
【０１３９】
１番目の水平線よりも上側には水平線が存在しないので、本実施例の補間が困難になる。そこで、最も上又は下の水平線が完全に検出されない場合は、パターン補間部は、２，３番目の水平線の座標から外挿して１番目の水平線の座標を求める。２番目の水平線のＹ座標はＹ（２）、３番目の水平線のＹ座標はＹ（３）である。したがって、水平線の間隔は「Ｙ（３）−Ｙ（２）」である。１番目の水平線と２番目の水平線のＹ方向の距離も同程度なので、Ｙ（１）は以下のようにして求めることができる。
Ｙ（１）＝Ｙ（２）−｛Ｙ（３）−Ｙ（２）｝
なお、図２８では１番目の全ての水平線が欠損しているが、１番目の水平線の一部が欠損している場合も同様に補間できる。
【０１４０】
図２９は、図１４のステップＳ４の特徴点抽出処理の手順を説明するフローチャート図の一例である。本実施例では、隣り合う水平線又は垂直線を使って補間できるところは全て補間し、その後、改めて欠損部を探して、実施例１又は２のように欠損部の前後の水平線又は垂直線を使って補間を行う。このため、ステップＳ４−７ａとＳ４−２３の２つのステップで補間処理が行われる。以下、主要なステップを説明する。
【０１４１】
ステップＳ４−６において線パターン領域６１の線分に欠損部がある場合、パターン補間部１５は欠損している水平線の両隣の水平線から欠損部を補間する（Ｓ４−７ａ）。この処理を、全ての欠損部と全ての水平線に対して行う（Ｓ４−８、Ｓ４−９）。また、垂直線についても同じ処理を行う（Ｓ４−１０）。
【０１４２】
次に、残っている欠損部を検出し、補間するため、ステップＳ４−５、Ｓ４−６が行われる。すなわち、対応点抽出部１８は、線パターン領域６１内の黒画素を抽出し、連続している黒画素を抽出する（Ｓ４−５）。
【０１４３】
対応点抽出部１８は、帯領域１〜８の境界の線パターン領域６１から水平線が欠損している線パターン領域６１を検出する（Ｓ４−６）。
【０１４４】
そして、パターン補間部１５は、実施例１又は２の方法で欠損部を補間する（Ｓ４−２３）。
【０１４５】
以降は、Ｓ４−２３の処理を、全ての欠損部と全ての水平線に対して行う（Ｓ４−２４、Ｓ４−２５）。また、垂直線についても同じ処理を行う（Ｓ４−２６）。
【０１４６】
対応点抽出部１８は、パターン画像Ａ，Ｂを合成する（Ｓ４−１１）。対応点抽出部１８は、交点を特徴点として補正係数算出部２０に出力する（Ｓ４−１２）。
【０１４７】
したがって、本実施例の情報処理装置９９は、１本の水平線又は垂直線が長く欠損している場合でも、隣接する水平線又は垂直線を使うことにより、精度よく補間することが可能となる。
【実施例４】
【０１４８】
プロジェクタ１００が投影した投影パターンとパターン撮像部１１がパターン画像による歪み補正では、ユーザが情報処理装置９９（パターン撮像部）の位置にいることが前提であった。このため、ユーザの位置が固定されるなどの不都合が生じる場合がある。
【０１４９】
そこで、本実施例では、投影対象物の３次元計測を行い得られた３次元情報を用いた歪み補正を行うことで、ユーザが位置を移動しても視聴可能な歪み補正について説明する。
【０１５０】
３次元計測を行うため、本実施例では、情報処理装置９９の機能が搭載されたプロジェクタ１００による投影画像の補正について説明する。
【０１５１】
図３０は、プロジェクタ１００のハードウェア構成と機能ブロックを説明する図の一例である。なお、プロジェクタ１００は図７の情報処理装置９９と同様のハードウェア構成を有している。
【０１５２】
図示するように、投影画像は、プロジェクタ１００の記憶部２２に記憶されている。記憶部２２は、例えばＵＳＢメモリなどの着脱可能な可搬型のメモリである。また、プロジェクタ１００に接続されたＰＣが投影画像をプロジェクタ１００に送信してもよい。プロジェクタ１００とＰＣは、ＨＤＭＩ（登録商標）などの映像ケーブルで接続されてもよいし、無線ＬＡＮなどの無線通信で接続されてもよい。
【０１５３】
また、プロジェクタ１００は、３次元形状計測部２３及び透視投影行列算出部２４を有している。３次元形状計測部２３は投影対象物の３次元形状の計測を行う（距離情報の取得を行う）。また、透視投影行列算出部２４は透視投影行列を算出する。
【０１５４】
図３１は、本実施例の情報処理装置９９の処理手順について説明する図の一例である。本実施例では、図１４のステップＳ４にて対応点抽出後、３次元形状計測部２３が３次元計測を行い、透視投影行列を算出し、それにより得られた仮想位置のプロジェクタの撮像画像（パターン画像）を用いて、補正係数算出部２０が射影変換行列Ｈを算出する。以下、順に説明する。
【０１５５】
・Ｓ１００
まず、図３２を用いて３次元形状の計測について説明する。図３２（ａ）は、３次元形状の計測について説明する図の一例である。投影素子上の点Ａが、撮像素子上で点Ｂにて撮像されたとすると、点Ａと点Ｂの水平方向の距離の差が視差ｄに相当する。
【０１５６】
図３２（ｂ）に示すように、投影素子（ＤＭＤ）は投影パターン（投影画像）を投影し、パターン撮像部１１はパターン画像（撮像画像）を撮像している。また、上述のようにメッシュの交点同士の対応が検出されている。したがって、視差ｄは対応する交点の水平方向の距離として求められる。交点と交点の間の画素の視差は、隣接した交点の視差を線形補間することなどで求められる。
【０１５７】
基線長（投影素子と撮像素子の距離）をＤとすると三角測量の原理によりスクリーン上の投影点までの距離Ｚを求めることができる。なお、ｆは撮像手段１１０の焦点距離である。
Ｚ = Ｄｆ／ｄ
したがって、プロジェクタから見たスクリーン上の投影画像の画素毎に（又は適当な画素ブロック毎に）三次元座標を算出することができる。
【０１５８】
・Ｓ２００
これで、撮像手段１１０上の撮像画像と投影対象物上の投影画像との対応が得られた。しかし、撮像手段上の撮像画像は、画素間に画素ピッチが配置された画素単位で構成されている。また、投影画像の中心位置や画素の縦横比などは撮像手段１１０に固有である。これらカメラ内部パラメータのため、得られた撮像手段上の撮像画像と投影対象物上の投影画像の対応は、単純に焦点距離ｆだけでは表せないと考えられる。
【０１５９】
そこで、カメラの内部パラメータを考慮して、透視投影行列算出部２４は、撮像手段上の撮像画像と投影対象物上の投影画像の対応関係を求める。
【０１６０】
図３３（ａ）は、撮像手段の座標系を模式的に示している。撮像手段の座標系をカメラ座標系という。まず、上記の焦点距離ｆを用いた撮像手段上の撮像画像と投影対象物上の投影画像の対応について説明する。例えば、撮像手段の中央を原点とする座標系（Ｘｃ，Ｙｃ，Ｚｃ）をカメラ座標系とする。カメラ座標系の三次元空間の点Ｍは、焦点距離ｆにより撮像手段の画素上の点Ｍ'（ｕ'、ｖ'）に対応づけられる。このような関係を投影と称する。
【０１６１】
Ｍ'（ｕ'、ｖ'）  ←  Ｍ（Ｘｃ，Ｙｃ，Ｚｃ）
この変換係数をＡとすると式（４−１）のように表すことができる。なお、行列で取り扱うため式（４−１）は同次座標系で表している。
【０１６２】
次に、カメラ内部パラメータＡによる変換について説明する。図３３（ｂ）に示すように、カメラ内部パラメータＡにより、点Ｍ'（ｕ'、ｖ'）を撮像手段の点ｍに変換できる。したがって、
ｍ＝ＡＭ'
と表せる。カメラ内部パラメータＡについては種々の表現があるが、例えば式（４−２）により点Ｍ'の並進とスケーリング（変倍）で表すことができる。
【０１６３】
ところで、このままではカメラ座標系の点Ｍをカメラ内部パラメータが考慮された画像座標の点ｍに変換できるが、点Ｍをカメラ座標系の中で扱わなければならない。プロジェクタを任意の場所に移動させる場合、プロジェクタの場所に関係ない共通の座標系（以下、ワールド座標系という）で点Ｍを表すことで、プロジェクタを移動させた場合にも適切に歪み補正された投影画像を投影できる。
【０１６４】
そこで、予めワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）をカメラ座標系の点Ｍ（Ｘｃ，Ｙｃ，Ｚｃ）に変換しておく。図３３（ｃ）に示すように三次元座標の変換は回転と並進で表すことができる。式（４−３）によりワールド座標系の点Ｍｗが、回転・並進されたカメラ座標系の点Ｍに変換される。ワールド座標系の点Ｍｗをカメラ座標系の点Ｍに変換する変換行列は回転部分のＲと並進部分のｔにより表す（この行列をＲ｜Ｔと表す）。図のＲはＺ軸周りの回転の回転行列であり、Ｘ軸周り、Ｙ軸周りの回転行列も同様に表すことができる。なお、この説明ではカメラ内部パラメータによる変換前にワールド座標系をカメラ座標系に変換しているが、カメラ内部パラメータによる変換後に、ワールド座標系をカメラ座標系に変換してもよい。
【０１６５】
したがって、「ｍ＝Ａ×（Ｒ｜Ｔ）×Ｍｗ」により、ワールド座標系の点を撮像手段上の点ｍに変換することができる。より詳細には、以下のようになる。
【０１６６】
【数４】
2015139006.tif 000006
また、
Ｐ＝Ａ×（Ｒ｜Ｔ）  …（４−５）
とおけば、ｍ＝Ｐ・Ｍｗと表記できる。Ｐは透視投影行列と呼ばれる３×４の行列である。
【０１６７】
【数５】
2015139006.tif 000007
変数（要素数）が１２個あるが、三次元計測により、少なくとも交点の数（例えば８１）の、Ｍｗとｍの対応が得られているので、１２個全ての要素を求めることができる。
【０１６８】
・Ｓ３００
式（４−６）により三次元空間の点が撮像画像上の点に変換されるが、ユーザが異なる視点から投影対象物を見る場合も、その視点における透視投影行列Ｐを求めれば、その位置で得られる撮像手段上の点を算出できる。
【０１６９】
図３４は、プロジェクタを仮想的に動かした場合の透視投影行列を説明する図の一例である。図ではプロジェクタの他に仮想プロジェクタ１００Ａが図示されている。プロジェクタを仮想プロジェクタ１００Ａの位置に仮想的に移動した場合の透視投影行列Ｐ２は行列（Ｒ｜Ｔ）を、移動位置に応じて更新することで求めることができる。
【０１７０】
カメラ内部パラメータＡがキャリブレーションなどで分かっている場合、プロジェクタ１００の位置を仮想プロジェクタ１００Ａの位置に移動した場合の（Ｒ｜Ｔ）で式（４−５）のＰ＝Ａ×（Ｒ｜Ｔ）を更新することで、仮想プロジェクタ１００Ａの位置にある場合透視投影行列を求めることができる。（Ｒ｜Ｔ）は変位情報の一例である。
【０１７１】
また、カメラ内部パラメータＡが知られていない場合、ワールド座標系に対するカメラ座標系の（Ｒ｜Ｔ）を求め、式（４−５）に代入することでカメラ内部パラメータＡを求めることができる。カメラ内部パラメータＡが分かれば、式（４−５）に仮想プロジェクタ１００Ａの位置に移動した場合の（Ｒ｜Ｔ）を代入して仮想プロジェクタ１００Ａの透視投影行列Ｐ２を求めることができる。
【０１７２】
・Ｓ４００
仮想プロジェクタの透視投影行列Ｐ２が求められたら、透視投影行列算出部２４は、仮想プロジェクタの撮像手段に投影対象物の投影画像を投影し、仮想プロジェクタ１００Ａの撮像手段が撮像した撮像画像を得ることができる。
【０１７３】
以上で、処理は図１４のＳ３の撮像画像の保存までが終了したことになる。したがって、この後、処理は図１４のＳ４に進み、再度、対応点が抽出される。対応点の抽出処理の中で実施例１〜３で説明した、欠損部の検出、欠損部の補間、対応点の抽出が行われる。そして、補正係数算出部２０は対応点に基づき射影変換行列Ｈを算出し（Ｓ５）、画像加工部１６が投影画像を補正する（Ｓ６）。
【０１７４】
したがって、本実施例のプロジェクタは、投影対象物を三次元計測することでユーザの位置を固定することなく歪み補正することが可能である。
【０１７５】
なお、本実施例では投影素子と撮像素子の視差で三次元計測したが、ステレオカメラやＴＯＦ（Time Of Flight）を計測可能なカメラで三次元計測してもよい。
【符号の説明】
【０１７６】
１１      パターン撮像部
１２      通信部
１３      二値化部
１４      パターン選別部
１５      パターン補間部
１６      画像加工部
１７      撮像制御部
１８      対応点抽出部
１９      欠損部抽出部
２０      補正係数算出部
２１      投影対象画像化部
２２      記憶部
９９      情報処理装置
１００    プロジェクタ
２００    画像補正システム
【先行技術文献】
【特許文献】
【０１７７】
【特許文献１】特開2013-065277号公報
【非特許文献】
【０１７８】
【非特許文献１】高橋徹、他３名、「投影画像の幾何補正に関する実験的検討」、計測自動制御学会東北支部第235回研究集会、2007.5.18、資料番号235−5
【図１】
2015139006.tif 000008
【図２】
2015139006.tif 000009
【図３】
2015139006.tif 000010
【図４】
2015139006.tif 000011
【図５】
2015139006.tif 000012
【図６】
2015139006.tif 000013
【図７】
2015139006.tif 000014
【図８】
2015139006.tif 000015
【図９】
2015139006.tif 000016
【図１０】
2015139006.tif 000017
【図１１】
2015139006.tif 000018
【図１２】
2015139006.tif 000019
【図１３】
2015139006.tif 000020
【図１４】
2015139006.tif 000021
【図１５】
2015139006.tif 000022
【図１６】
2015139006.tif 000023
【図１７】
2015139006.tif 000024
【図１８】
2015139006.tif 000025
【図１９】
2015139006.tif 000026
【図２０】
2015139006.tif 000027
【図２１】
2015139006.tif 000028
【図２２】
2015139006.tif 000029
【図２３】
2015139006.tif 000030
【図２４】
2015139006.tif 000031
【図２５】
2015139006.tif 000032
【図２６】
2015139006.tif 000033
【図２７】
2015139006.tif 000034
【図２８】
2015139006.tif 000035
【図２９】
2015139006.tif 000036
【図３０】
2015139006.tif 000037
【図３１】
2015139006.tif 000038
【図３２】
2015139006.tif 000039
【図３３】
2015139006.tif 000040
【図３４】
2015139006.tif 000041