(57)【要約】      （修正有）【課題】初期設定後の較正を従来よりも簡単化した投写型表示装置を提供する。【解決手段】不揮発性記憶装置１０６は、モデル座標系において投写対象物の代表点の座標を示すモデルを格納する。ＣＰＵ１０４は、投写対象物を撮影して投写対象物の代表点を抽出する。ＣＰＵ１０４は、プロジェクタ１００から投写対象物にパターン画像を投写しながら投写対象物及びパターン画像を撮影し、プロジェクタ投写面座標系においてプロジェクタ１００から投写対象物を見たときの投写対象物の代表点の座標を計算する。ＣＰＵ１０４は、モデル座標系をプロジェクタ投写面座標系に変換する変換パラメータを計算し、プロジェクタ１００による投写対象物への画像の投写を制御する制御パラメータを計算する。ＣＰＵ１０４は、異なる時点の制御パラメータの差分を計算し、差分を補償するように画像を補正する。【選択図】図１
2019007995.tif 000002
【特許請求の範囲】
【請求項１】
投写対象物に画像を投写する少なくとも１つの投写型表示装置を較正する制御部を備えた較正装置であって、
前記制御部は、
撮像装置により前記投写対象物を撮影して第１の画像を生成し、前記第１の画像から前記投写対象物の代表点を抽出し、
前記投写型表示装置から前記投写対象物にパターン画像を投写しながら前記撮像装置により前記投写対象物及び前記パターン画像を撮影して第２の画像を生成し、前記第１の画像から抽出された前記投写対象物の代表点の座標と、前記第２の画像とに基づいて、第２の座標系において前記投写型表示装置から前記投写対象物を見たときの前記投写対象物の代表点の座標を計算し、
第１の座標系において前記投写対象物の複数の代表点の座標を示す前記投写対象物のモデルと、第２の座標系における前記投写対象物の代表点の座標とに基づいて、前記第１の座標系を前記第２の座標系に変換する変換パラメータを計算し、前記変換パラメータに基づいて、前記投写型表示装置による前記投写対象物への画像の投写を制御する制御パラメータを計算し、
互いに異なる２つの時点において計算された前記制御パラメータの差分を計算し、前記制御パラメータの差分を補償するように画像を補正する、
較正装置。
【請求項２】
前記パターン画像は、グレイコードを用いて生成された複数の画像を含む、
請求項１記載の較正装置。
【請求項３】
前記パターン画像は、座標に関して連続的かつ周期的に変化する輝度を有する複数の画像であって、互いに同じ周期を有し、かつ、互いに位相差を有して変化する輝度を有する複数の画像を含む、
請求項１記載の較正装置。
【請求項４】
前記変換パラメータは、ビュー変換行列及び射影変換行列の合成行列を含む、
請求項１〜３のうちの１つに記載の較正装置。
【請求項５】
前記制御パラメータは、前記投写型表示装置の位置、回転角、画角、及びレンズシフト量を含む、
請求項１〜４のうちの１つに記載の較正装置。
【請求項６】
前記較正装置は通信部をさらに備え、
前記撮像装置は前記通信部を介して前記較正装置に接続される、
請求項１〜５のうちの１つに記載の較正装置。
【請求項７】
前記撮像装置をさらに備える、
請求項１〜５のうちの１つに記載の較正装置。
【請求項８】
前記較正装置は通信部をさらに備え、
前記投写型表示装置は前記通信部を介して前記較正装置に接続される、
請求項１〜７のうちの１つに記載の較正装置。
【請求項９】
請求項１〜７のうちの１つに記載の較正装置を備える、
投写型表示装置。
【請求項１０】
投写対象物と、
少なくとも１つの投写型表示装置と、
撮像装置と、
請求項１〜６のうちの１つに記載の較正装置とを備える、
投写型表示システム。
【請求項１１】
投写対象物に画像を投写する少なくとも１つの投写型表示装置を較正装置により較正するための較正方法であって、
前記較正装置が、撮像装置により前記投写対象物を撮影して第１の画像を生成し、前記第１の画像から前記投写対象物の代表点を抽出するステップと、
前記較正装置が、前記投写型表示装置から前記投写対象物にパターン画像を投写しながら前記撮像装置により前記投写対象物及び前記パターン画像を撮影して第２の画像を生成し、前記第１の画像から抽出された前記投写対象物の代表点の座標と、前記第２の画像とに基づいて、第２の座標系において前記投写型表示装置から前記投写対象物を見たときの前記投写対象物の代表点の座標を計算するステップと、
前記較正装置が、第１の座標系において前記投写対象物の複数の代表点の座標を示す前記投写対象物のモデルと、第２の座標系における前記投写対象物の代表点の座標とに基づいて、前記第１の座標系を前記第２の座標系に変換する変換パラメータを計算し、前記変換パラメータに基づいて、前記投写型表示装置による前記投写対象物への画像の投写を制御する制御パラメータを計算するステップと、
前記較正装置が、互いに異なる２つの時点において計算された前記制御パラメータの差分を計算し、前記制御パラメータの差分を補償するように画像を補正するステップとを含む、
較正方法。
【請求項１２】
投写対象物に画像を投写する少なくとも１つの投写型表示装置を較正するためのステップをコンピュータに実行させるためのプログラムであって、
撮像装置により前記投写対象物を撮影して第１の画像を生成し、前記第１の画像から前記投写対象物の代表点を抽出するステップと、
前記投写型表示装置から前記投写対象物にパターン画像を投写しながら前記撮像装置により前記投写対象物及び前記パターン画像を撮影して第２の画像を生成し、前記第１の画像から抽出された前記投写対象物の代表点の座標と、前記第２の画像とに基づいて、第２の座標系において前記投写型表示装置から前記投写対象物を見たときの前記投写対象物の代表点の座標を計算するステップと、
第１の座標系において前記投写対象物の複数の代表点の座標を示す前記投写対象物のモデルと、第２の座標系における前記投写対象物の代表点の座標とに基づいて、前記第１の座標系を前記第２の座標系に変換する変換パラメータを計算し、前記変換パラメータに基づいて、前記投写型表示装置による前記投写対象物への画像の投写を制御する制御パラメータを計算するステップと、
互いに異なる２つの時点において計算された前記制御パラメータの差分を計算し、前記制御パラメータの差分を補償するように画像を補正するステップとを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、立体的な構造物に画像を投写する少なくとも１つの投写型表示装置を較正するための較正装置、較正方法、及びプログラムに関する。本開示はまた、そのような較正装置を備えた投写型表示装置に関する。本開示はまた、そのような較正装置及び投写型表示装置を備えた投写型表示システムに関する。
【背景技術】
【０００２】
少なくとも１つの投写型表示装置（プロジェクタ）から立体的な構造物である投写対象物に画像又は映像を投写するプロジェクションマッピングが普及している。
【０００３】
特許文献１は、複数のプロジェクタを備えるマルチプロジェクションシステムにおいて、経時での位置ズレに起因した投影像のズレの較正方法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２２４１７２号公報
【特許文献２】特許第５８１５９４０号公報
【非特許文献】
【０００５】
【非特許文献１】高橋徹ほか、「投影画像の幾何補正に関する実験的検討」、計測自動制御学会東北支部、第２３５回研究集会、２００７年５月１８日
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の較正方法では、経時でのプロジェクタの位置ズレに起因した投写像のズレを較正するために、較正用の特殊なマーカーを使用する必要がある。投写対象物における複数の位置にそれぞれマーカーを予め設置し、カメラにより投写対象物及びマーカーを撮影することにより、投写型表示装置と投写対象物との相対位置のずれを検出する。しかしながら、この較正方法では、投写対象物にマーカーを予め設置する手間がかかる。
【０００７】
本開示は、投写型表示装置の初期設定後の較正を従来よりも簡単化することができる投写型表示装置の較正装置を提供する。本開示はまた、そのような投写型表示装置の較正方法及びプログラムを提供する。本開示はまた、そのような較正装置を備えた投写型表示装置を提供する。本開示はまた、そのような較正装置及び投写型表示装置を備えた投写型表示システムを提供する。
【課題を解決するための手段】
【０００８】
本開示の一様態によれば、
投写対象物に画像を投写する少なくとも１つの投写型表示装置を較正する制御部を備えた較正装置であって、
前記制御部は、
撮像装置により前記投写対象物を撮影して第１の画像を生成し、前記第１の画像から前記投写対象物の代表点を抽出し、
前記投写型表示装置から前記投写対象物にパターン画像を投写しながら前記撮像装置により前記投写対象物及び前記パターン画像を撮影して第２の画像を生成し、前記第１の画像から抽出された前記投写対象物の代表点の座標と、前記第２の画像とに基づいて、第２の座標系において前記投写型表示装置から前記投写対象物を見たときの前記投写対象物の代表点の座標を計算し、
第１の座標系において前記投写対象物の複数の代表点の座標を示す前記投写対象物のモデルと、第２の座標系における前記投写対象物の代表点の座標とに基づいて、前記第１の座標系を前記第２の座標系に変換する変換パラメータを計算し、前記変換パラメータに基づいて、前記投写型表示装置による前記投写対象物への画像の投写を制御する制御パラメータを計算し、
互いに異なる２つの時点において計算された前記制御パラメータの差分を計算し、前記制御パラメータの差分を補償するように画像を補正する。
【発明の効果】
【０００９】
本開示の一様態によれば、投写型表示装置の初期設定後の較正を従来よりも簡単化することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に係る投写型表示システムの構成を示すブロック図である。
【図２】図１の投写型表示システムが使用されるワールド座標系ＸＹＺ（Ｗ）、モデル座標系ＸＹＺ（Ｍ）、及びプロジェクタ座標系ＸＹＺ（Ｐ１）を説明するための概要図である。
【図３】図１の投写型表示システムが使用されるプロジェクタ投写面座標系ＸＹ（Ｐ２）を説明するための概要図である。
【図４】図１のＣＰＵ１０４によって実行される初期設定処理を示すフローチャートである。
【図５】図１のＣＰＵ１０４によって実行される較正処理を示すフローチャートである。
【図６】（ａ）は図４及び図５の処理において使用されるパターン画像の第１の例を示し、（ｂ）は（ａ）のパターン画像を例示的な投写対象物に投写して撮影した画像の例を示す。
【図７】（ａ）は図４及び図５の処理において使用されるパターン画像の第２の例を示し、（ｂ）は（ａ）のパターン画像を例示的な投写対象物に投写して撮影した画像の例を示す。
【図８】（ａ）は図４及び図５の処理において使用されるパターン画像の第３の例を示し、（ｂ）は（ａ）のパターン画像を例示的な投写対象物に投写して撮影した画像の例を示す。
【図９】（ａ）は図４及び図５の処理において使用されるパターン画像の第４の例を示し、（ｂ）は（ａ）のパターン画像を例示的な投写対象物に投写して撮影した画像の例を示す。
【図１０】（ａ）は図４及び図５の処理において使用されるパターン画像の第５の例を示し、（ｂ）は（ａ）のパターン画像を例示的な投写対象物に投写して撮影した画像の例を示す。
【図１１】（ａ）は図４及び図５の処理において使用されるパターン画像の第６の例を示し、（ｂ）は（ａ）のパターン画像を例示的な投写対象物に投写して撮影した画像の例を示す。
【図１２】図６（ｂ）及び図７（ｂ）の画像からプロジェクタ投写面座標系ＸＹ（Ｐ２）を生成するステップを説明する図である。
【図１３】図６（ｂ）及び図７（ｂ）の画像からプロジェクタ投写面座標系ＸＹ（Ｐ２）を生成するステップを説明する図である。
【図１４】実施形態２に係る投写型表示システムの構成を示すブロック図である。
【図１５】実施形態３に係る投写型表示システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１３】
（実施形態１）
本開示の実施形態１の投写型表示システムについて図１〜図１３を参照して説明する。
【００１４】
［１−１．構成］
図１は、実施形態１に係る投写型表示システムの構成を示すブロック図である。図１の投写型表示システムは、プロジェクタ１００及びカメラ２０１を備える。
【００１５】
プロジェクタ１００は、内部バス１０１、ネットワークインターフェース１０２、ＵＳＢインターフェース１０３、ＣＰＵ１０４、メモリ１０５、不揮発性記憶装置１０６、投写装置１０７、及び映像入力インターフェース１０８を備える。内部バス１０１は、プロジェクタ１００の各構成要素を互いに接続する。ネットワークインターフェース１０２及びＵＳＢインターフェース１０３は、カメラ２０１などの外部装置に接続可能な通信部である。ＣＰＵ１０４は、プロジェクタ１００全体の動作を制御する制御部である。メモリ１０５及び不揮発性記憶装置１０６は、ＣＰＵ１０４の動作に必要なデータを格納する記憶装置である。不揮発性記憶装置１０６には、後述する図４の初期設定処理及び図５の較正処理のプログラムが格納されている。プログラムはメモリ１０５に読み込まれてＣＰＵ１０４で実行される。投写装置１０７は、投写対象物に画像又は映像を投写する。映像入力インターフェース１０８は、外部のソース装置に接続され、投写装置１０７により投写対象物に投写する画像又は映像データを取得する。
【００１６】
カメラ２０１は、ネットワークインターフェース１０２又はＵＳＢインターフェース１０３を介してプロジェクタ１００と接続され、立体的な構造物である投写対象物の画像又は映像を取得する撮像装置である。プロジェクタ１００は、複数のカメラを用いて異なる角度から投写対象物の画像又は映像を取得してもよい。
【００１７】
プロジェクタ１００は、投写対象物１に画像を投写する投写型表示装置である。プロジェクタ１００は、プロジェクタ１００の投写装置１０７を較正するための較正装置として、不揮発性記憶装置１０６及びＣＰＵ１０４を備える。
【００１８】
図２は、図１の投写型表示システムが使用されるワールド座標系ＸＹＺ（Ｗ）、モデル座標系ＸＹＺ（Ｍ）、及びプロジェクタ座標系ＸＹＺ（Ｐ１）を説明するための概要図である。図３は、図１の投写型表示システムが使用されるプロジェクタ投写面座標系ＸＹ（Ｐ２）を説明するための概要図である。図２及び図３の例では、投写対象物１は自動車のボディである。投写型表示システムにおいて較正する対象は、プロジェクタ１００の位置、姿勢、画角（焦点距離）、画像の中心とプロジェクタ投写面座標系の原点とのズレであり、これらの制御パラメータを計算するために以下の座標系を定義する。ワールド座標系ＸＹＺ（Ｗ）＝｛ＸＷ，ＹＷ，ＺＷ｝は、基準となるグローバルな座標系である。モデル座標系ＸＹＺ（Ｍ）＝｛ＸＭ，ＹＭ，ＺＭ｝は、投写対象物１のローカルな座標系である。プロジェクタ座標系ＸＹＺ（Ｐ１）＝｛ＸＰ１，ＹＰ１，ＺＰ１｝は、プロジェクタ１００のローカルな座標系である。プロジェクタ投写面座標系ＸＹ（Ｐ２）＝｛ＸＰ２，ＹＰ２｝は、投写対象物１をプロジェクタ座標系ＸＹＺ（Ｐ１）から見て仮想的な２次元の投写面上に射影した座標系である。プロジェクタ投写面座標系ＸＹ（Ｐ２）は、横幅Ｗ（ピクセル）及び縦幅Ｈ（ピクセル）の仮想的な表示範囲を有する。プロジェクタ投写面座標系ＸＹ（Ｐ２）として、横幅Ｗ及び縦幅Ｈを正規化した座標系を用いてもよい。図２の例では、ワールド座標系ＸＹＺ（Ｗ）とモデル座標系ＸＹＺ（Ｍ）の各軸の方向と原点は一致している。座標Ｍ１〜Ｍ６は、投写対象物１の第１から第６の代表点であり、各代表点はモデル座標系ＸＹＺ（Ｍ）における３次元の座標値で表される。
【００１９】
［１−２．動作］
以上のように構成された投写型表示システム動作を以下に説明する。
【００２０】
プロジェクタ１００のＣＰＵ１０４は、図４の初期設定処理及び図５の較正処理を実行する。
【００２１】
［１−２−１．初期設定処理］
図４は、図１のＣＰＵ１０４によって実行される初期設定処理を示すフローチャートである。図４の初期設定処理では、図５の較正処理を実行するために必要なデータを取得する。
【００２２】
不揮発性記憶装置１０６は、モデル座標系ＸＹＺ（Ｍ）において投写対象物１の複数の代表点の座標を示す投写対象物のモデルを予め格納している。
【００２３】
ステップＳ１０１において、ＣＰＵ１０４は、投写対象物１の代表点の座標Ｍ１〜Ｍ６（図２を参照）を不揮発性記憶装置１０６から読み出す。
【００２４】
ステップＳ１０２において、ＣＰＵ１０４は、カメラ２０１により投写対象物１を撮影する。ここで、ステップＳ１０２で撮影された投写対象物１の画像を「第１の画像」ともいう。
【００２５】
ステップＳ１０３において、ＣＰＵ１０４は、ステップＳ１０２で撮影された画像から、座標Ｍ１〜Ｍ６を有する代表点の特徴量を抽出する。特徴量の抽出手段として、例えば、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）を用いてもよい。
【００２６】
ステップＳ１０４〜Ｓ１０５において、撮影された画像における座標と、プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲の座標との対応関係を決定する。以下では、空間コード化法を用いて座標の対応関係を決定する場合について説明する。
【００２７】
ステップＳ１０４において、ＣＰＵ１０４は、予め決められた複数のパターン画像をプロジェクタ１００から投写対象物１に投影しながら、投写対象物１及びパターン画像を撮影する。ここで、ステップＳ１０４で撮影された投写対象物１及びパターン画像を含む画像を「第２の画像」ともいう。
【００２８】
ステップＳ１０４で使用されるパターン画像は、プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲（図３を参照）の座標を、空間コード化法を用いてコード化するように生成される。パターン画像は、例えば、グレイコードを用いて生成される。図３のＸＰ２軸に沿って８個の座標値０，１，２，…，７を設定し、これらの座標値を、以下のようにコード化する。
【００２９】
――――――――
座標値  コード
――――――――
０      ０００
１      ００１
２      ０１１
３      ０１０
４      １１０
５      １１１
６      １０１
７      １００
――――――――
【００３０】
グレイコードを用いることで、隣り合う座標のハミング距離が１になり、測定誤差を最小化することができる。
【００３１】
次に、各コードのビットを、各桁のビットからなる３つのビットプレーン「０１１００１１０」、「００１１１１００」、及び「００００１１１１」に分解する。これらのビットプレーンに基づいて、白黒（２値）のパターン画像及びその白黒反転されたパターン画像を生成する。
【００３２】
図６〜図１１は、図４及び図５の処理において使用されるパターン画像の例と、パターン画像を例示的な立方体の投写対象物に投写して撮影した画像の例とを示す。図６（ａ）〜図１１（ａ）はパターン画像をそれぞれ示し、図６（ｂ）〜図１１（ｂ）は対応するパターン画像を投写対象物に投写して撮影した画像をそれぞれ示す。図６（ａ）及び図７（ａ）のパターン画像はビットプレーン「０１１００１１０」に基づいて生成され、図８（ａ）及び図９（ａ）のパターン画像はビットプレーン「００１１１１００」に基づいて生成され、図１０（ａ）及び図１１（ａ）のパターン画像はビットプレーン「００００１１１１」に基づいて生成される。白黒反転された一対のパターン画像を用いることで、後のステップＳ１０５を実行するとき、投写型表示システムの周辺環境によらず、撮影された画像内の座標を安定的にデコードすることができる。
【００３３】
図６〜図１１では、図３のＸＰ２軸に沿った座標値をコード化したパターン画像のみを示すが、実際には、図３のＹＰ２軸に沿った座標値をコード化したパターン画像も使用する。
【００３４】
図４のステップＳ１０５において、ＣＰＵ１０４は、ステップＳ１０４で撮影された画像に基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）を生成する。
【００３５】
図１２及び図１３は、図６（ｂ）及び図７（ｂ）の画像からプロジェクタ投写面座標系ＸＹ（Ｐ２）を生成するステップを説明する図である。図６（ｂ）の画像及び図７（ｂ）の画像のペアに対して、画像の輝度を比較し（図１２）、画像を２値化する（図１３）。同様の２値化を、図８（ｂ）の画像及び図９（ｂ）の画像のペアと、図１０（ｂ）の画像及び図１１（ｂ）の画像のペアとに対して実行する。白黒反転されたパターン画像の各ペアに対応する撮影された画像の各ペアの２値化された画像を合成することで、座標値をデコードすることができる。これにより、カメラ２０１によって撮影された画像における座標と、プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲の座標との対応関係を示す座標変換の関係式を決定することができる。
【００３６】
投写型表示システムが複数のプロジェクタ及び／又は複数のカメラを備える場合には、プロジェクタ及びカメラのすべての組み合わせについてステップＳ１０４〜Ｓ１０５を繰り返す。
【００３７】
図４のステップＳ１０６において、ＣＰＵ１０４は、ステップＳ１０３において抽出された投写対象物１の代表点の座標に基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）においてプロジェクタ１００から投写対象物１を見たときの投写対象物１の代表点の座標Ｐ１ａ〜Ｐ６ａを計算する。座標Ｐ１ａ〜Ｐ６ａは、ステップＳ１０３で抽出された投写対象物１の座標Ｍ１〜Ｍ６を有する代表点にそれぞれ対応し、ステップＳ１０５で計算された座標変換の関係式を用いて、プロジェクタ投写面座標系ＸＹ（Ｐ２）における２次元の座標値で表される。
【００３８】
投写対象物１の代表点の座標Ｍ１〜Ｍ６がプロジェクタ投写面座標系ＸＹ（Ｐ２）上の座標に変換されたときの対応関係を以下に示す。
【００３９】
座標Ｍ１（Ｍ_ｘ１，Ｍ_ｙ１，Ｍ_ｚ１）→座標Ｐ１ａ（Ｐ_ｘ１ａ，Ｐ_ｙ１ａ）
座標Ｍ２（Ｍ_ｘ２，Ｍ_ｙ２，Ｍ_ｚ２）→座標Ｐ２ａ（Ｐ_ｘ２ａ，Ｐ_ｙ２ａ）
座標Ｍ３（Ｍ_ｘ３，Ｍ_ｙ３，Ｍ_ｚ３）→座標Ｐ３ａ（Ｐ_ｘ３ａ，Ｐ_ｙ３ａ）
座標Ｍ４（Ｍ_ｘ４，Ｍ_ｙ４，Ｍ_ｚ４）→座標Ｐ４ａ（Ｐ_ｘ４ａ，Ｐ_ｙ４ａ）
座標Ｍ５（Ｍ_ｘ５，Ｍ_ｙ５，Ｍ_ｚ５）→座標Ｐ５ａ（Ｐ_ｘ５ａ，Ｐ_ｙ５ａ）
座標Ｍ６（Ｍ_ｘ６，Ｍ_ｙ６，Ｍ_ｚ６）→座標Ｐ６ａ（Ｐ_ｘ６ａ，Ｐ_ｙ６ａ）
【００４０】
ステップＳ１０７において、ＣＰＵ１０４は、投写対象物１のモデルと、プロジェクタ投写面座標系ＸＹ（Ｐ２）における投写対象物１の代表点の座標とに基づいて、モデル座標系ＸＹＺ（Ｍ）をプロジェクタ投写面座標系ＸＹ（Ｐ２）に変換する変換パラメータを計算する。
【００４１】
以下、変換パラメータの計算について、数式を用いて説明する。
【００４２】
前記の通り、ワールド座標系ＸＹＺ（Ｗ）とモデル座標系ＸＹＺ（Ｍ）の各軸の方向と原点は一致している。これは、ワールド座標系ＸＹＺ（Ｗ）とモデル座標系ＸＹＺ（Ｍ）との関係を表すモデル変換の式１により、以下のように表される。
【００４３】
【数１】
2019007995.tif 000003
・・・式１
【００４４】
式１において、各成分の添え字Ｗはワールド座標系ＸＹＺ（Ｗ）の座標であることを意味し、各成分の添字Ｍはモデル座標系ＸＹＺ（Ｍ）の座標であることを意味している。
【００４５】
プロジェクタ座標系ＸＹＺ（Ｐ１）上の投写対象物１の座標は、モデル座標系ＸＹＺ（Ｍ）に配置された投写対象物１に対してどの位置にプロジェクタ１００を配置するのかを決めるビュー変換の式２で定義される。
【００４６】
【数２】
2019007995.tif 000004
・・・式２
【００４７】
式２において、ｒｉｊ（１≦ｉ，ｊ≦３）は回転成分を示し、ｔｘ，ｔｙ，ｔｚは並進成分を示す。
【００４８】
プロジェクタ投写面座標系ＸＹ（Ｐ２）上の投写対象物１の座標は、プロジェクタ座標系ＸＹＺ（Ｐ１）から見た投写対象物１をプロジェクタ投写面座標系ＸＹ（Ｐ２）上に透視投影する射影変換の式３で定義される。
【００４９】
【数３】
2019007995.tif 000005
・・・式３
【００５０】
式３において、ｃｘ，ｃｙは画角を示し、これらの値が大きくなるほど広角になる。また、式３において、ｓｘ，ｓｙはレンズシフト量を示す。
【００５１】
変換パラメータは、ビュー変換行列（式２）及び射影変換行列（式３）の合成行列を含む。式３に式２を代入することにより、モデル座標系ＸＹＺ（Ｍ）をプロジェクタ投写面座標系ＸＹ（Ｐ２）へ変換するモデルビュー変換の変換行列が得られる。
【００５２】
【数４】
2019007995.tif 000006
【００５３】
モデル座標系ＸＹＺ（Ｍ）を第１の座標系ともいい、プロジェクタ投写面座標系ＸＹ（Ｐ２）を第２の座標系ともいう。
【００５４】
変換行列を一意的に決めるために、式Ａの右辺における行列の３行４列成分を１にする。
【００５５】
【数５】
2019007995.tif 000007
・・・式Ｂ
【００５６】
ここで、ｗ＝ＺＰ２／ｔｚとし、変換行列Ｔ＝｛Ｔｍｎ｝と表すと、次式が得られる。
【００５７】
【数６】
2019007995.tif 000008
・・・式Ｃ
【００５８】
ｘｓ，ｙｓは、プロジェクタ投写面座標系ＸＹ（Ｐ２）上の投写対象物１の座標を表す。座標ｘｓ，ｙｓは、次式で表される。
【００５９】
【数７】
2019007995.tif 000009
・・・式Ｄ
【数８】
2019007995.tif 000010
・・・式Ｅ
【００６０】
式Ｄ及び式Ｅにおいて、ＸＭ，ＹＭ，ＺＭは、図４のステップＳ１０１において不揮発性記憶装置１０６から読み出された座標値Ｍ１〜Ｍ６から既知である。また、ｘｓ，ｙｓは、図４のステップＳ１０６において計算された座標値Ｐ１ａ〜Ｐ６ａから既知である。１組の対応点（ＸＭ，ＹＭ，ＺＭ）→（ｘｓ，ｙｓ）から２つの方程式、すなわち式Ｄ及び式Ｅが得られる。１１個の未知数Ｔ１１〜Ｔ３３を含む変換行列Ｔを求めるためには、少なくとも６組の対応点が必要である。実際には、誤差の低減のために、６組よりも多くの対応点を用いて変換行列Ｔを求める。変換行列Ｔは、例えば最小二乗法を用いて計算される。
【００６１】
変換行列Ｔの成分が計算されたとき、式Ｂにより、回転のパラメータｒｉｊ（１≦ｉ，ｊ≦３）、並進のパラメータｔｘ，ｔｙ，ｔｚ、画角のパラメータｃｘ，ｃｙ、レンズシフト量のパラメータｓｘ，ｓｙを計算してもよい。
【００６２】
ステップＳ１０８において、ＣＰＵ１０４は、ステップＳ１０７において計算した変換パラメータに基づいて、プロジェクタ１００による投写対象物１への画像の投写を制御する制御パラメータを計算する。制御パラメータは、プロジェクタ１００の位置、回転角、画角、及びレンズシフト量を含む。
【００６３】
まず、プロジェクタ１００の位置の計算について説明する。
【００６４】
式２によれば、モデル座標系ＸＹＺ（Ｍ）の原点をモデルビュー変換することにより、プロジェクタ座標系ＸＹＺ（Ｐ１）の原点からモデル座標系ＸＹＺ（Ｍ）の原点へのベクトルが得られる。このベクトルを次式のＳ１により表す。
【００６５】
【数９】
2019007995.tif 000011
・・・式４
【００６６】
モデル座標系ＸＹＺ（Ｍ）から見た時のプロジェクタ１００の位置Ｓ２は、ベクトルＳ１の逆ベクトルに対して座標系を逆回転すれば求められる。式２の右辺の行列における回転成分のみを含む行列Ｒ１を次式により定義する。
【００６７】
【数１０】
2019007995.tif 000012
・・・式５
【００６８】
プロジェクタ１００の位置Ｓ２は式６で算出される。
【００６９】
【数１１】
2019007995.tif 000013
・・・式６
【００７０】
次に、プロジェクタ１００の回転角の計算について説明する。
【００７１】
Ｘ，Ｙ，Ｚ軸の各回転行列は、各軸の回転角をα，β，γとすると、次式で定義される。
【００７２】
【数１２】
2019007995.tif 000014
・・・式７
【数１３】
2019007995.tif 000015
・・・式８
【数１４】
2019007995.tif 000016
・・・式９
【００７３】
Ｘ，Ｙ，Ｚ軸の合成回転行列Ｒ２を次式で表す。
【００７４】
【数１５】
2019007995.tif 000017
・・・式１０
【数１６】
2019007995.tif 000018
【００７５】
モデル座標系ＸＹＺ（Ｍ）から見た時のプロジェクタ１００の回転角は、Ｒ１の逆行列を用いて計算できるので、
【数１７】
2019007995.tif 000019
・・・式１２
と定義すると、
【数１８】
2019007995.tif 000020
・・・式１３
【数１９】
2019007995.tif 000021
・・・式１４
より、回転角α，β，γは以下のように算出される。
【００７６】
（１）Ｑ３１≠±１である場合：
【数２０】
2019007995.tif 000022
【数２１】
2019007995.tif 000023
【数２２】
2019007995.tif 000024
【数２３】
2019007995.tif 000025
【数２４】
2019007995.tif 000026
【数２５】
2019007995.tif 000027
【００７７】
（２）Ｑ３１＝±１である場合：
γは任意
（２ａ）Ｑ３１＝−１である場合：
【数２６】
2019007995.tif 000028
【数２７】
2019007995.tif 000029
（２ｂ）Ｑ３１＝＋１である場合：
【数２８】
2019007995.tif 000030
【数２９】
2019007995.tif 000031
【００７８】
各軸の角度は２通り算出されるが、どちらの組で回転させても最終的な姿勢は同じになる。よって、Ｘ，Ｙ，Ｚ軸の回転角は、（α１，β１，γ１）又は（α２，β２，γ２）で算出される。
【００７９】
次に、プロジェクタ１００の画角の計算について説明する。
【００８０】
プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲が横幅Ｗ及び縦幅Ｈを有するとき、式３より、垂直画角及び水平画角は次式で計算される。
【００８１】
【数３０】
2019007995.tif 000032
・・・式１４
【数３１】
2019007995.tif 000033
・・・式１５
【００８２】
プロジェクタ１００のレンズシフト量は、式３よりｓｘ，ｓｙで算出される。
【００８３】
ＣＰＵ１０４は、計算した制御パラメータ（プロジェクタ１００の位置、回転角、画角、及びレンズシフト量）を不揮発性記憶装置１０６に格納する。
【００８４】
これにより、図５の較正処理を実行するために必要なデータとして、代表点の特徴量（ステップＳ１０３）及びプロジェクタ１００の制御パラメータ（ステップＳ１０８）が取得される。
【００８５】
空間コード化法では、プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲の全ての点に対して、撮影された画像における対応点を求められることが理想的である。しかし、このことは、プロジェクタ１００及びカメラ２０１の解像度、プロジェクタ１００から投写された光の広がりなどに依存して、困難である場合がある。
【００８６】
従って、ステップＳ１０４〜Ｓ１０５において、撮影された画像における座標と、プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲の座標との対応関係を決定するために、撮影された画像とプロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲とを複数の領域にそれぞれ分割し、各領域の対応関係を射影変換行列を用いて記述してもよい（非特許文献１を参照）。
【００８７】
この場合、撮影された画像とプロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲との対応点をできるだけ密に求めて、これらの対応点を頂点とする複数の四角形の領域を形成し、各領域ごとに座標を対応付ける。撮影された画像における各領域と、プロジェクタ投写面座標系ＸＹ（Ｐ２）における各領域とのの対応関係は、射影変換で記述できると仮定する。撮影された画像における点ｍｃ＝（ｘｃ，ｙｃ）とし、プロジェクタ投写面座標系ＸＹ（Ｐ２）における点ｍｐ＝（ｘｐ，ｙｐ）とすると、射影変換は以下のように記述される。
【００８８】
【数３２】
2019007995.tif 000034
・・・式１６
【数３３】
2019007995.tif 000035
・・・式１７
【００８９】
ここで、ｈ１，ｈ２，…，ｈ８は未知の射影変換パラメータである。また、射影変換は、同次座標を用いて次のように表現される。
【００９０】
【数３４】
2019007995.tif 000036
・・・式１８
【００９１】
ここで、ｍ’ｐ＝［ｘｐ，ｙｐ，１］Ｔ、ｍ’ｃ＝［ｘｃ，ｙｃ，１］Ｔである。式１８の両辺はスケールを除いて等しい。また、Ｈは射影変換行列であり、次式で記述される。
【００９２】
【数３５】
2019007995.tif 000037
・・・式１９
【００９３】
撮影された画像とプロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲との１つの対応点から、以下の拘束条件が得られる。
【００９４】
【数３６】
2019007995.tif 000038
・・・式２０
【００９５】
式２０により、８つの未知パラメータに対して２つの拘束条件が得られる。したがって、４つの対応点が得られれば、射影変換行列Ｈの全ての要素を決定できる。各四角形領域において、対応点として求めた４つの頂点から、射影変換行列Ｈの未知パラメータを求める。全ての四角形領域に関して射影変換行列Ｈをそれぞれ求めることで、撮影された画像における座標と、プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲の座標との対応関係を決定する。
【００９６】
ステップＳ１０４〜Ｓ１０５において、撮影された画像における座標と、プロジェクタ投写面座標系ＸＹ（Ｐ２）における表示範囲の座標との対応関係を決定するために、空間コード化法に代えて、他の方法、例えば位相シフト法を用いてもよい（特許文献２を参照）。この場合、パターン画像として、グレイコードを用いて生成された画像に代えて、座標に関して連続的かつ周期的に変化する輝度を有する複数の画像であって、互いに同じ周期を有し、かつ、互いに位相差を有して変化する輝度を有する複数の画像を用いる。各パターン画像は、例えば、座標に関する正弦関数として変化する輝度を有する。複数のパターン画像をプロジェクタ１００から投写対象物１に順次に投影しながら投写対象物１及びパターン画像を撮影するとき、撮影された画像のある画素は、各パターン画像の異なる位相に応じて異なる輝度値を有する。これらの輝度値の組み合わせに基づいて、画素に対応する各パターン画像の位相を計算し、計算された位相に基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）において画素に対応する座標を計算することができる。
【００９７】
［１−２−２．較正処理］
図５は、図１のＣＰＵ１０４によって実行される較正処理を示すフローチャートである。
【００９８】
ステップＳ１１１において、ＣＰＵ１０４は、カメラ２０１により投写対象物１を撮影する。
【００９９】
ステップＳ１１２において、ＣＰＵ１０４は、ステップＳ１１１で撮影された画像から、投写対象物１の特徴量を抽出する。
【０１００】
ステップＳ１１３において、ＣＰＵ１０４は、ステップＳ１０３で抽出した特徴量と、ステップＳ１１２で抽出した特徴点とを比較し、ステップＳ１１１で撮影された画像から投写対象物１の代表点を抽出する。
【０１０１】
ステップＳ１１４において、ＣＰＵ１０４は、ステップＳ１０４と同様に、予め決められた複数のパターン画像をプロジェクタ１００から投写対象物１に投影しながら、投写対象物１及びパターン画像を撮影する。
【０１０２】
ステップＳ１１５において、ＣＰＵ１０４は、ステップＳ１０５と同様に、ステップＳ１１４で撮影された画像に基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）を生成する。
【０１０３】
ステップＳ１１６において、ＣＰＵ１０４は、ステップＳ１０６と同様に、ステップＳ１１３において抽出された投写対象物１の代表点の座標に基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）においてプロジェクタ１００から投写対象物１を見たときの投写対象物１の代表点の座標Ｐ１ｂ〜Ｐ６ｂを計算する。
【０１０４】
投写対象物１の代表点の座標Ｍ１〜Ｍ６がプロジェクタ投写面座標系ＸＹ（Ｐ２）上の座標に変換されたときの対応関係を以下に示す。
【０１０５】
座標Ｍ１（Ｍ_ｘ１，Ｍ_ｙ１，Ｍ_ｚ１）→座標Ｐ１ｂ（Ｐ_ｘ１ｂ，Ｐ_ｙ１ｂ）
座標Ｍ２（Ｍ_ｘ２，Ｍ_ｙ２，Ｍ_ｚ２）→座標Ｐ２ｂ（Ｐ_ｘ２ｂ，Ｐ_ｙ２ｂ）
座標Ｍ３（Ｍ_ｘ３，Ｍ_ｙ３，Ｍ_ｚ３）→座標Ｐ３ｂ（Ｐ_ｘ３ｂ，Ｐ_ｙ３ｂ）
座標Ｍ４（Ｍ_ｘ４，Ｍ_ｙ４，Ｍ_ｚ４）→座標Ｐ４ｂ（Ｐ_ｘ４ｂ，Ｐ_ｙ４ｂ）
座標Ｍ５（Ｍ_ｘ５，Ｍ_ｙ５，Ｍ_ｚ５）→座標Ｐ５ｂ（Ｐ_ｘ５ｂ，Ｐ_ｙ５ｂ）
座標Ｍ６（Ｍ_ｘ６，Ｍ_ｙ６，Ｍ_ｚ６）→座標Ｐ６ｂ（Ｐ_ｘ６ｂ，Ｐ_ｙ６ｂ）
【０１０６】
プロジェクタ１００の位置、姿勢、画角（焦点距離）、画像の中心とプロジェクタ投写面座標系の原点とのズレが初期設定時の値から変化した場合、ステップＳ１１６で計算された座標Ｐ１ｂ〜Ｐ６ｂは、ステップＳ１０６で計算された座標Ｐ１ｂ〜Ｐ６ｂとは異なる。従って、投写対象物１に投写されている画像の位置が変化するので、以下のステップで画像の位置ズレを補正する。
【０１０７】
ステップＳ１１７において、ＣＰＵ１０４は、ステップＳ１０７と同様に、プロジェクタ１００の変換パラメータを計算する。
【０１０８】
ステップＳ１１８において、ＣＰＵ１０４は、ステップＳ１０８と同様に、プロジェクタ１００の制御パラメータ、すなわち、プロジェクタ１００の位置、回転角、画角、レンズシフト量を計算する。ＣＰＵ１０４は、計算した制御パラメータを不揮発性記憶装置１０６に格納する。
【０１０９】
ステップＳ１１９において、ＣＰＵ１０４は、ステップＳ１０８及びＳ１１８で計算したプロジェクタ１００の位置、回転角、画角、レンズシフト量の差分を計算する。
【０１１０】
ステップＳ１２０において、ＣＰＵ１０４は、ステップＳ１１９で計算したプロジェクタ１００の位置、回転角、画角、レンズシフト量の差分を補償するように画像を補正する。
【０１１１】
このように、ＣＰＵ１０４は、互いに異なる第１の時点（初期設定時）及び第２の時点（較正時）において計算された制御パラメータの差分を計算し、制御パラメータの差分を補償するように画像を補正する。
【０１１２】
投写対象物１とカメラ２０１との相対位置及び角度は、図４の初期設定処理を実行するときと、図５の較正処理を実行するときとで変化してもよい。図４のステップＳ１０４〜Ｓ１０６を実行して、撮影された画像に基づいてプロジェクタ投写面座標系ＸＹ（Ｐ２）を生成し、また、図５のステップＳ１１４〜Ｓ１１６を実行して、撮影された画像に基づいてプロジェクタ投写面座標系ＸＹ（Ｐ２）を生成している。従って、図４及び図５の処理を通じて投写対象物１とカメラ２０１との相対位置及び角度が一定でなくてもよい。
【０１１３】
なお、図５の較正処理は、投写型表示システムの運用状況に適した時点に実行されてもよい。例えば、投写型表示システムを再起動するごとに較正処理を行ってもよく、１週間ごと又は１ヶ月ごとなど定期的に較正処理を行ってもよい。また、ユーザが投写対象物１に投写された画像を見て再較正が必要であると判断したときに、較正処理を行ってもよい。
【０１１４】
［１−３．効果等］
実施形態１に係る投写型表示装置によれば、プロジェクタ１００は、投写対象物１に画像を投写するプロジェクタ１００を較正するための較正装置を備え、較正装置は不揮発性記憶装置１０６及びＣＰＵ１０４を備える。不揮発性記憶装置１０６は、モデル座標系ＸＹＺ（Ｍ）において投写対象物１の複数の代表点の座標を示す投写対象物１のモデルを予め格納する。ＣＰＵ１０４は、カメラ２０１により投写対象物１を撮影して第１の画像を生成し、第１の画像から投写対象物１の代表点を抽出する。ＣＰＵ１０４は、プロジェクタ１００から投写対象物１にパターン画像を投写しながらカメラ２０１により投写対象物１及びパターン画像を撮影して第２の画像を生成し、第１の画像から抽出された投写対象物１の代表点の座標と、第２の画像とに基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）においてプロジェクタ１００から投写対象物１を見たときの投写対象物１の代表点の座標を計算する。ＣＰＵ１０４は、投写対象物１のモデルと、プロジェクタ投写面座標系ＸＹ（Ｐ２）における投写対象物１の代表点の座標とに基づいて、モデル座標系ＸＹＺ（Ｍ）をプロジェクタ投写面座標系ＸＹ（Ｐ２）に変換する変換パラメータを計算し、変換パラメータに基づいて、プロジェクタ１００による投写対象物１への画像の投写を制御する制御パラメータを計算する。ＣＰＵ１０４は、互いに異なる２つの時点において計算された制御パラメータの差分を計算し、制御パラメータの差分を補償するように画像を補正する。
【０１１５】
実施形態１に係る投写型表示装置によれば、パターン画像は、グレイコードを用いて生成された複数の画像を含んでもよい。
【０１１６】
実施形態１に係る投写型表示装置によれば、パターン画像は、座標に関して連続的かつ周期的に変化する輝度を有する複数の画像であって、互いに同じ周期を有し、かつ、互いに位相差を有して変化する輝度を有する複数の画像を含んでもよい。
【０１１７】
実施形態１に係る投写型表示装置によれば、変換パラメータは、ビュー変換行列及び射影変換行列の合成行列を含んでもよい。
【０１１８】
実施形態１に係る投写型表示装置によれば、制御パラメータは、プロジェクタ１００の位置、回転角、画角、及びレンズシフト量を含んでもよい。
【０１１９】
実施形態１に係る投写型表示装置によれば、プロジェクタ１００はネットワークインターフェース１０２又はＵＳＢインターフェース１０３をさらに備えてもよく、カメラ２０１はネットワークインターフェース１０２又はＵＳＢインターフェース１０３を介して較正装置に接続されてもよい。
【０１２０】
これにより、プロジェクタ１００の初期設定後の較正を従来よりも簡単化することができる。実施形態に係るプロジェクタ１００によれば、較正用の特殊なマーカーを予め設置することが不要になり、また、手作業で煩雑な較正を行うことも不要になる。
【０１２１】
（実施形態２）
本開示の実施形態２のプロジェクタについて図１４を参照して説明する。
【０１２２】
図１４は、実施形態２に係る投写型表示システムの構成を示すブロック図である。
【０１２３】
図１４の投写型表示システムは、一体化されたカメラ１０９を備えたプロジェクタ１００Ａを備える。カメラ１０９がプロジェクタ１００Ａに一体化されていることにより、実施形態１の場合よりも投写型表示システムの利便性を向上することができる。
【０１２４】
実施形態２に係る投写型表示装置によれば、プロジェクタ１００Ａはカメラ１０９をさらに備える。
【０１２５】
これにより、実施形態１の場合よりも投写型表示システムの利便性を向上することができる。
【０１２６】
（実施形態３）
本開示の実施形態３の投写型表示システムについて図１５を参照して説明する。
【０１２７】
図１５は、実施形態３に係る投写型表示システムの構成を示すブロック図である。図１５の投写型表示システムは、プロジェクタ１００、カメラ２０１、及びパーソナルコンピュータ（ＰＣ）３００を備える。
【０１２８】
図１００のプロジェクタ１００は、図１のプロジェクタ１００と同様に構成される。ただし、図４の初期設定処理及び図５の較正処理は、プロジェクタ１００によってではなく、ＰＣ３００によって実行される。プロジェクタ１００には、映像入力インターフェース１０８を介してＰＣ３００から画像又は映像が入力される。
【０１２９】
カメラ２０１は、プロジェクタ１００に代えて、ＰＣ３００に接続される。
【０１３０】
ＰＣ３００は、投写対象物１に画像を投写する少なくとも１つのプロジェクタ１００を較正するための較正装置である。内部バス３０１、ネットワークインターフェース３０２、ＵＳＢインターフェース３０３、ＣＰＵ３０４、メモリ３０５、不揮発性記憶装置３０６、及び映像出力インターフェース３０７を備える。内部バス３０１は、ＰＣ３００の各構成要素を互いに接続する。ネットワークインターフェース３０２及びＵＳＢインターフェース３０３は、カメラ２０１などの外部装置に接続可能な通信部である。ＣＰＵ３０４は、ＰＣ３００全体の動作を制御する制御部である。メモリ３０５及び不揮発性記憶装置３０６は、ＣＰＵ３０４の動作に必要なデータを格納する記憶装置である。不揮発性記憶装置３０６には、図４の初期設定処理及び図５の較正処理のプログラムが格納されている。プログラムはメモリ３０５に読み込まれてＣＰＵ３０４で実行される。映像出力インターフェース３０７は、プロジェクタ１００に接続され、プロジェクタ１００により投写対象物に投写する画像又は映像データを出力する。
【０１３１】
一般に、投写型表示システムでは、ＰＣはメディアサーバとしてプロジェクタとの組み合わせで使用されることがある。
【０１３２】
較正装置は、プロジェクタ１００を較正するためのプログラムを実行するＰＣ３００のような汎用装置であってもよく、プロジェクタ１００の較正のみを行う専用装置であってもよい。
【０１３３】
実施形態３に係る較正装置によれば、投写対象物１に画像を投写する少なくとも１つのプロジェクタ１００を較正するためのＰＣ３００が提供される。ＰＣ３００は不揮発性記憶装置３０６及びＣＰＵ３０４を備える。不揮発性記憶装置３０６は、モデル座標系ＸＹＺ（Ｍ）において投写対象物１の複数の代表点の座標を示す投写対象物１のモデルを予め格納する。ＣＰＵ３０４は、カメラ２０１により投写対象物１を撮影して第１の画像を生成し、第１の画像から投写対象物１の代表点を抽出する。ＣＰＵ３０４は、プロジェクタ１００から投写対象物１にパターン画像を投写しながらカメラ２０１により投写対象物１及びパターン画像を撮影して第２の画像を生成し、第１の画像から抽出された投写対象物１の代表点の座標と、第２の画像とに基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）においてプロジェクタ１００から投写対象物１を見たときの投写対象物１の代表点の座標を計算する。ＣＰＵ３０４は、投写対象物１のモデルと、プロジェクタ投写面座標系ＸＹ（Ｐ２）における投写対象物１の代表点の座標とに基づいて、モデル座標系ＸＹＺ（Ｍ）をプロジェクタ投写面座標系ＸＹ（Ｐ２）に変換する変換パラメータを計算し、変換パラメータに基づいて、プロジェクタ１００による投写対象物１への画像の投写を制御する制御パラメータを計算する。ＣＰＵ３０４は、互いに異なる２つの時点において計算された制御パラメータの差分を計算し、制御パラメータの差分を補償するように画像を補正する。
【０１３４】
実施形態３に係る較正装置によれば、ＰＣ３００はカメラ２０１をさらに備えてもよい。
【０１３５】
実施形態３に係る較正装置によれば、ＰＣ３００は映像出力インターフェース３０７をさらに備え、プロジェクタ１００は映像入力インターフェース１０８を備えてもよい。このとき、プロジェクタ１００は映像出力インターフェース３０７及び映像入力インターフェース１０８を介してＰＣ３００に接続される。
【０１３６】
実施形態３に係る較正装置は、２つ以上のプロジェクタに接続されてもよい。
【０１３７】
実施形態３に係る投写型表示システムによれば、投写対象物１と、少なくとも１つのプロジェクタ１００と、カメラ２０１と、ＰＣ３００とを備える。
【０１３８】
実施形態３に係る較正方法によれば、不揮発性記憶装置３０６及びＣＰＵ３０４を備えた較正装置により、投写対象物１に画像を投写する少なくとも１つのプロジェクタ１００を較正する較正方法が提供される。不揮発性記憶装置３０６は、モデル座標系ＸＹＺ（Ｍ）において投写対象物１の複数の代表点の座標を示す投写対象物１のモデルを予め格納する。較正方法は、カメラ２０１により投写対象物１を撮影して第１の画像を生成し、第１の画像から投写対象物１の代表点を抽出するステップと、プロジェクタ１００から投写対象物１にパターン画像を投写しながらカメラ２０１により投写対象物１及びパターン画像を撮影して第２の画像を生成し、第１の画像から抽出された投写対象物１の代表点の座標と、第２の画像とに基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）においてプロジェクタ１００から投写対象物１を見たときの投写対象物１の代表点の座標を計算するステップと、投写対象物１のモデルと、プロジェクタ投写面座標系ＸＹ（Ｐ２）における投写対象物１の代表点の座標とに基づいて、モデル座標系ＸＹＺ（Ｍ）をプロジェクタ投写面座標系ＸＹ（Ｐ２）に変換する変換パラメータを計算し、変換パラメータに基づいて、プロジェクタ１００による投写対象物１への画像の投写を制御する制御パラメータを計算するステップと、互いに異なる２つの時点において計算された制御パラメータの差分を計算し、制御パラメータの差分を補償するように画像を補正するステップとを含む。
【０１３９】
実施形態３に係るプログラムによれば、投写対象物１に画像を投写する少なくとも１つのプロジェクタ１００を較正するプログラムが提供される。プログラムは、不揮発性記憶装置３０６及びＣＰＵ３０４を備えた較正装置のＣＰＵ３０４によって実行される。不揮発性記憶装置３０６は、モデル座標系ＸＹＺ（Ｍ）において投写対象物１の複数の代表点の座標を示す投写対象物１のモデルを予め格納する。プログラムは、ＣＰＵ３０４によって実行されたとき、カメラ２０１により投写対象物１を撮影して第１の画像を生成し、第１の画像から投写対象物１の代表点を抽出するステップと、プロジェクタ１００から投写対象物１にパターン画像を投写しながらカメラ２０１により投写対象物１及びパターン画像を撮影して第２の画像を生成し、第１の画像から抽出された投写対象物１の代表点の座標と、第２の画像とに基づいて、プロジェクタ投写面座標系ＸＹ（Ｐ２）においてプロジェクタ１００から投写対象物１を見たときの投写対象物１の代表点の座標を計算するステップと、投写対象物１のモデルと、プロジェクタ投写面座標系ＸＹ（Ｐ２）における投写対象物１の代表点の座標とに基づいて、モデル座標系ＸＹＺ（Ｍ）をプロジェクタ投写面座標系ＸＹ（Ｐ２）に変換する変換パラメータを計算し、変換パラメータに基づいて、プロジェクタ１００による投写対象物１への画像の投写を制御する制御パラメータを計算するステップと、互いに異なる２つの時点において計算された制御パラメータの差分を計算し、制御パラメータの差分を補償するように画像を補正するステップとを含む。
【産業上の利用可能性】
【０１４０】
本開示は、初期設定後の較正を簡便化する技術として広く利用可能である。
【符号の説明】
【０１４１】
１…投写対象物、
１００，１００Ａ…プロジェクタ、
１０１…内部バス、
１０２…ネットワークインターフェース、
１０３…ＵＳＢインターフェース、
１０４…ＣＰＵ、
１０５…メモリ、
１０６…不揮発性記憶装置、
１０７…投写装置、
１０８…映像入力インターフェース、
１０９…カメラ、
２０１…カメラ、
３００…パーソナルコンピュータ（ＰＣ）、
３０１…内部バス、
３０２…ネットワークインターフェース、
３０３…ＵＳＢインターフェース、
３０４…ＣＰＵ、
３０５…メモリ、
３０６…不揮発性記憶装置、
３０７…映像出力インターフェース。
【図１】
2019007995.tif 000039
【図２】
2019007995.tif 000040
【図３】
2019007995.tif 000041
【図４】
2019007995.tif 000042
【図５】
2019007995.tif 000043
【図６】
2019007995.tif 000044
【図７】
2019007995.tif 000045
【図８】
2019007995.tif 000046
【図９】
2019007995.tif 000047
【図１０】
2019007995.tif 000048
【図１１】
2019007995.tif 000049
【図１２】
2019007995.tif 000050
【図１３】
2019007995.tif 000051
【図１４】
2019007995.tif 000052
【図１５】
2019007995.tif 000053