(57)【要約】【課題】投影面の三次元座標を変化させても観測者による観測を阻害することなく、また、投影画像の視認性を劣化させることなく投影面の三次元形状を測定し、歪みの少ない投影画像を生成する。【解決手段】投影装置に入力される入力画像と撮像装置が取得する撮像画像を入力し、投影面上に表示される投影画像の幾何学歪みを補正する。  即ち、投影映像補正装置において、入力される入力画像の画素と撮像画像の画素間の対応点を決定する対応付け用パターン情報を有し、その入力画像に該対応付け用パターン情報を埋め込んだ埋込画像を生成するパターン埋め込み部９と、その撮像画像から対応付け用パターン情報を検出するパターン検出部１０と、その対応付け用パターン情報に基づいて前記投影面の三次元形状を測定する投影面形状測定部８と、その投影面の三次元形状を用いて入力画像に対して補正を行なう投影画像補正部５と、によって入力画像を補正する。【選択図】図１
2007295375.tif 000002
【特許請求の範囲】
【請求項１】
投影面に対して画像を投影する投影装置と、
その投影面を撮像範囲内に撮像する位置に設置された撮像装置と、を備え、
入力画像と前記撮像装置によって撮像された撮像画像を取得し、
前記投影面上に表示される投影画像の幾何学歪みを補正する投影映像補正装置であって、
対応付け用パターン情報を前記入力画像に埋め込んだ埋込画像の画素と前記撮像画像の画素間の対応点を決定する対応付け用パターン情報を有し、
前記入力画像に該対応付け用パターン情報を埋め込んだ埋込画像を生成するパターン埋め込み手段と、
前記撮像画像から対応付け用パターン情報を検出するパターン検出手段と、
その対応付け用パターン情報に基づいて前記投影面の三次元形状を測定する投影面形状測定手段と、
前記投影面の三次元形状を用いて入力画像に対して補正を行なう投影画像補正手段と、
を有することを特徴とする投影映像補正装置。
【請求項２】
前記投影面形状測定手段が、前記対応付け用パターン情報に基づいて決定される対応点と、予め与えられた投影装置および撮影装置のそれぞれの内部パラメータおよび外部パラメータと、を用いて、前記投影面の三次元形状を測定する、
ことを特徴とする請求項１に記載の投影映像補正装置。
【請求項３】
前記対応付け用パターン情報に基づいて決定される対応点から、投影装置および撮影装置のそれぞれの外部パラメータを算出する外部パラメータ算出手段を有し、
前記投影面形状測定手段が、前記対応点と予め与えられた投影装置および撮影装置のそれぞれの内部パラメータとを用いて前記投影面の三次元形状を測定する、
ことを特徴とする請求項１に記載の投影映像補正装置。
【請求項４】
前記パターン埋め込み手段が、
投影画像平滑化手段に、前記入力画像を入力し、平滑化された入力画像を取得した後に、その平滑化された入力画像に対してエッジ点の検出を行い、
その検出されたエッジ点の両端画素の画素値を対応付け用パターン情報に基づいて、
そのエッジ点の近傍点における最大画素値に対応付け用パターン情報に応じた所定値を加算し、そのエッジ点の近傍点における最小画素値に対応付け用パターン情報に応じた所定値を減算して、対応付け用パターン情報を埋め込み、
その対応付け用パターン情報を埋め込まれた埋込画像を出力する、
ことを特徴とする請求項１乃至３記載の投影映像補正装置。
【請求項５】
前記投影画像平滑化手段が、
前記入力画像から注目画素を選択し、
注目画素からの距離による重みに加えて、注目画素との画素値の差に応じて、ガウス分布に従う重みを付けた平均化を行うバイラテラルフィルタを有し、
そのバイラテラルフィルタによって該入力画像に対する平滑化を行う、
ことを特徴とする請求項４記載の投影映像補正装置。
【請求項６】
前記パターン検出手段が、
撮像画像を入力し、その撮像画像からエッジ点の検出を行い、
該検出されたエッジ点の両端画素の画素値と前記エッジ点の近傍点の画素値の比較結果に基づいて対応付け用パターン情報を抽出し、該対応付け用パターン情報を出力する、
ことを特徴とする請求項４または５記載の投影映像補正装置。
【請求項７】
コンピュータに、
投影面に対して画像を投影する投影装置と、
その投影面を撮像範囲内に撮像する位置に設置された撮像装置と、を制御させ、
入力画像と前記撮像装置によって撮像された撮像画像を取得し、
前記投影面上に表示される投影画像の幾何学歪みを補正させる投影映像補正プログラムであって、
対応付け用パターン情報を前記入力画像に埋め込んだ埋込画像の画素と前記撮像画像の画素間の対応点を決定する対応付け用パターン情報を使い、
前記入力画像に該対応付け用パターン情報を埋め込んだ埋込画像を生成するパターン埋め込みステップと、
前記撮像画像から対応付け用パターン情報を検出するパターン検出ステップと、
その対応付け用パターン情報に基づいて前記投影面の三次元形状を測定する投影面形状測定ステップと、
前記投影面の三次元形状を用いて入力画像に対して補正を行なう投影画像補正ステップと、
を有することを特徴とする投影映像補正プログラム。
【請求項８】
前記投影面形状測定ステップが、前記対応付け用パターン情報に基づいて決定される対応点と、予め与えられた投影装置および撮影装置のそれぞれの内部パラメータおよび外部パラメータと、を用いて、前記投影面の三次元形状を測定する、
ことを特徴とする請求項７に記載の投影映像補正プログラム。
【請求項９】
前記対応付け用パターン情報に基づいて決定される対応点から、投影装置および撮影装置のそれぞれの外部パラメータを算出する外部パラメータ算出ステップを有し、
前記投影面形状測定ステップが、前記対応点と予め与えられた投影装置および撮影装置のそれぞれの内部パラメータとを用いて前記投影面の三次元形状を測定する、
ことを特徴とする請求項７に記載の投影映像補正プログラム。
【請求項１０】
前記パターン埋め込みステップが、
投影画像平滑化手段に、前記入力画像を入力し、平滑化された入力画像を取得した後に、その平滑化された入力画像に対してエッジ点の検出を行い、
その検出されたエッジ点の両端画素の画素値を対応付け用パターン情報に基づいて、
そのエッジ点の近傍点における最大画素値に対応付け用パターン情報に応じた所定値を加算し、そのエッジ点の近傍点における最小画素値に対応付け用パターン情報に応じた所定値を減算して、対応付け用パターン情報を埋め込み、
その対応付け用パターン情報を埋め込まれた埋込画像を出力する、
ことを特徴とする請求項７乃至９記載の投影映像補正プログラム。
【請求項１１】
前記投影画像平滑化手段が、
前記入力画像から注目画素を選択し、
注目画素からの距離による重みに加えて、注目画素との画素値の差に応じて、ガウス分布に従う重みを付けた平均化を行うバイラテラルフィルタを有し、
そのバイラテラルフィルタによって該入力画像に対する平滑化を行う、
ことを特徴とする請求項１０記載の投影映像補正プログラム。
【請求項１２】
前記パターン検出ステップが、
撮像画像を入力し、その撮像画像からエッジ点の検出を行い、
該検出されたエッジ点の両端画素の画素値と前記エッジ点の近傍点の画素値の比較結果に基づいて対応付け用パターン情報を抽出し、該対応付け用パターン情報を出力する、
ことを特徴とする請求項１０または１１記載の投影映像補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由曲面に対して投影された投影画像の歪みを補正する投影映像補正装置に関するものである。
【背景技術】
【０００２】
一般的に、投影装置（例えば、プロジェクタ等）が該投影装置に入力された画像を投影する際、投影面（例えば、スクリーンの投影面）の凹凸面は、投影装置の光軸と投影面の法線が一致しない部分を生じさせる。即ち、その投影装置の光軸と投影面の法線が一致しない部分は、投影された画像に幾何学歪みを生じさせることになる。
【０００３】
この幾何学歪みに対して、次のような補正方法（即ち、非特許文献１参照）を施して歪みの少ない投影画像を得ている。
【０００４】
まず、パターン画像（例えば、縞模様画像；パターン情報とも言う）を対象（例えば、スクリーン）に投影した様子を撮像装置（例えば、カメラ等）で観測する（即ち、光投影法を行う）。
【０００５】
次に、投影装置の画素と撮像装置の画素間の対応情報を取得する。
【０００６】
次に、その対応点情報から三角測量の原理に基づいて対象座標を測定する方法を利用して、投影面の三次元座標を予め測定する。
【０００７】
そして、その投影面の三次元座標を利用して入力画像に補正処理を施した画像を投影する。
【０００８】
しかしながら、上述の方法では、投影面の形状が変化する場合、その変化の度にパターン画像を投影し直す必要が生じ、観測者が投影映像を観測することを阻害する問題も発生させていた。
【０００９】
この問題に対する解決方法として、例えば、次のような方法が知られている。
【００１０】
その解決方法は、ＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタが、投影された画像の明るさを、特定時間内におけるＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）チップ素子のオンまたはオフ動作の繰り返し回数によって制御することを前提とする。
【００１１】
ます、前述の投影画像の明るさ制御を利用して、投影装置に前記特定時間内の微小時間でパターン画像の情報を投影させる。
【００１２】
次に、その投影された画像を撮像装置で観測した結果、得られた撮像画像からパターンの情報を検出する。
【００１３】
以上の方法によって、観測者が投影映像を観測することを阻害することなく、時系列における投影面の三次元形状を取得できる（例えば、非特許文献２参照）。
【００１４】
なお、映像提示装置における技術としては、投影画像に対する補正方法（例えば、非特許文献３参照）、ステレオ視の原理に基づいて投影装置と撮像装置間の対応点の組から撮像装置の外部パラメータを算出する方法（例えば、非特許文献４参照）、投影装置と撮像装置間の対応点の組から投影面中の平面領域を決定する方法（例えば、非特許文献５参照）などが知られている。
【非特許文献１】向川  康博，西山  正志，尺長  健、「スクリーン物体への光学パターン投影による仮想光学環境の実現」、電子情報通信学会論文誌Ｄ−ＩＩ、２００１年（平成１３年）７月、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．７、ｐｐ．１４４８−１４５５。
【非特許文献２】Ｄａｎｉｅｌ  Ｃｏｔｔｉｎｇ，Ｍａｒｔｉｎ  Ｎａｅｆ，Ｍａｒｋｕｓ  Ｇｒｏｓｓ，Ｈｅｎｒｙ  Ｆｕｃｈｓ、「Ｅｍｂｅｄｄｉｎｇ  Ｉｍｐｅｒｃｅｐｔｉｂｌｅ  Ｐａｔｔｅｒｎｓ  ｉｎｔｏ  Ｐｒｏｊｅｃｔｅｄ  Ｉｍａｇｅｓ  ｆｏｒ  Ｓｉｍｕｌｔａｎｅｏｕｓ  Ａｃｑｕｉｓｉｔｉｏｎ  ａｎｄ  Ｄｉｓｐｌａｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｔｈｉｒｄ  ＩＥＥＥ  ａｎｄ  ＡＣＭ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｍｉｘｅｄ  ａｎｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＩＳＭＡＲ２００４）、Ｎｏｖ．２００４（平成１６年１１月）、ｐｐ．１００−１０９。
【非特許文献３】島村  潤，荒川  賢一、「プロジェクタを用いた動的実環境における観測位置依存映像提示」、日本バーチャルリアリティ学会論文誌、２００５年（平成１７年）９月、Ｖｏｌ．１０、Ｎｏ．２、ｐｐ．１４５−１５３。
【非特許文献４】川崎  洋，古川  亮，大澤  裕、「空間コード化法を用いた未校正ステレオシステムによる密な三次元形状復元」、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）、Ｊｕｌ．２００５（平成１７年７月）、Ｖｏｌ．２００５、Ｎｏ．７、ｐｐ．１２６８−１２７５。
【非特許文献５】島村  潤，荒川  賢一、「プロジェクタ・カメラシステムにおける射影変換行列と直線パターン検出に基づく複数平面の検出」、Ｊｕｌ．２００５（平成１７年７月）、画像の認識・理解シンポジウム（ＭＩＲＵ２００５）、Ｖｏｌ．２００５、Ｎｏ．７、ｐｐ．１２９０−１２９６。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上述の投影映像を補正する方法を実装した装置では、投影画像の明るさを表現するために、特定時間内における特定時間を占有してパターン画像の情報を投影させる。そのため、表現可能な明るさのレンジが減少し、さらに、投影画像のコントラストが低下し、投影画像の視認性を劣化させる、という問題が発生していた。
【００１６】
本発明は、前記課題に基づいてなされたものであって、投影面の三次元座標を変化させても観測者による観測を阻害することなく、また、投影画像の視認性を劣化させることなく投影面の三次元形状を測定し、歪みの少ない投影画像を生成する投影映像補正装置及び投影情報補正方法を提供することにある。
【課題を解決するための手段】
【００１７】
本発明は、前記課題の解決を図るために、請求項１記載の発明は、投影面に対して画像を投影する投影装置と、その投影面を撮像範囲内に撮像する位置に設置された撮像装置と、を備え、入力画像と前記撮像装置によって撮像された撮像画像を取得し、前記投影面上に表示される投影画像の幾何学歪みを補正する投影映像補正装置であって、対応付け用パターン情報を前記入力画像に埋め込んだ埋込画像の画素と前記撮像画像の画素間の対応点を決定する対応付け用パターン情報を有し、前記入力画像に該対応付け用パターン情報を埋め込んだ埋込画像を生成するパターン埋め込み手段と、前記撮像画像から対応付け用パターン情報を検出するパターン検出手段と、その対応付け用パターン情報に基づいて前記投影面の三次元形状を測定する投影面形状測定手段と、前記投影面の三次元形状を用いて入力画像に対して補正を行なう投影画像補正手段と、を有することを特徴とする。
【００１８】
請求項２記載の発明は、請求項１記載の発明において、前記投影面形状測定手段が、前記対応付け用パターン情報に基づいて決定される対応点と、予め与えられた投影装置および撮影装置のそれぞれの内部パラメータおよび外部パラメータと、を用いて、前記投影面の三次元形状を測定する、ことを特徴とする。
【００１９】
請求項３記載の発明は、請求項１記載の発明において、前記対応付け用パターン情報に基づいて決定される対応点から、投影装置および撮影装置のそれぞれの外部パラメータを算出する外部パラメータ算出手段を有し、前記投影面形状測定手段が、前記対応点と予め与えられた投影装置および撮影装置のそれぞれの内部パラメータとを用いて前記投影面の三次元形状を測定する、ことを特徴とする。
【００２０】
請求項４記載の発明は、請求項１乃至３記載の発明において、前記パターン埋め込み手段が、投影画像平滑化手段に、前記入力画像を入力し、平滑化された入力画像を取得した後に、その平滑化された入力画像に対してエッジ点の検出を行い、その検出されたエッジ点の両端画素の画素値を対応付け用パターン情報に基づいて、そのエッジ点の近傍点における最大画素値に対応付け用パターンに応じた所定値を加算し、そのエッジ点の近傍点における最小画素値に対応付け用パターンに応じた所定値を減算して、対応付け用パターンを埋め込み、その対応付け用パターンを埋め込まれた埋込画像を出力する、ことを特徴とする。
【００２１】
請求項５記載の発明は、請求項４記載の発明において、前記投影画像平滑化手段が、前記入力画像から注目画素を選択し、注目画素からの距離による重みに加えて、注目画素との画素値の差に応じて、ガウス分布に従う重みを付けた平均化を行うバイラテラルフィルタを有し、そのバイラテラルフィルタによって該入力画像に対する平滑化を行う、ことを特徴とする。
【００２２】
請求項６記載の発明は、請求項４または５記載の発明において、前記パターン検出手段が、撮像画像を入力し、その撮像画像からエッジ点の検出を行い、該検出されたエッジ点の両端画素の画素値と前記エッジ点の近傍点の画素値の比較結果に基づいて対応付け用パターン情報を抽出し、該対応付け用パターン情報を出力する、ことを特徴とする。
【００２３】
請求項７記載の発明は、コンピュータに、投影面に対して画像を投影する投影装置と、その投影面を撮像範囲内に撮像する位置に設置された撮像装置と、を制御させ、入力画像と前記撮像装置によって撮像された撮像画像を取得し、前記投影面上に表示される投影画像の幾何学歪みを補正させる投影映像補正プログラムであって、対応付け用パターン情報を前記入力画像に埋め込んだ埋込画像の画素と前記撮像画像の画素間の対応点を決定する対応付け用パターン情報を使い、前記入力画像に該対応付け用パターン情報を埋め込んだ埋込画像を生成するパターン埋め込みステップと、前記撮像画像から対応付け用パターン情報を検出するパターン検出ステップと、その対応付け用パターン情報に基づいて前記投影面の三次元形状を測定する投影面形状測定ステップと、前記投影面の三次元形状を用いて入力画像に対して補正を行なう投影画像補正ステップと、を有することを特徴とする。
【００２４】
請求項８記載の発明は、請求項７記載の発明において、前記投影面形状測定ステップが、前記対応付け用パターン情報に基づいて決定される対応点と、予め与えられた投影装置および撮影装置のそれぞれの内部パラメータおよび外部パラメータと、を用いて、前記投影面の三次元形状を測定する、ことを特徴とする。
【００２５】
請求項９記載の発明は、請求項７記載の発明において、前記対応付け用パターン情報に基づいて決定される対応点から、投影装置および撮影装置のそれぞれの外部パラメータを算出する外部パラメータ算出ステップを有し、前記投影面形状測定ステップが、前記対応点と予め与えられた投影装置および撮影装置のそれぞれの内部パラメータとを用いて前記投影面の三次元形状を測定する、ことを特徴とする。
【００２６】
請求項１０記載の発明は、請求項７乃至９記載の発明において、前記パターン埋め込みステップが、投影画像平滑化手段に、前記入力画像を入力し、平滑化された入力画像を取得した後に、その平滑化された入力画像に対してエッジ点の検出を行い、その検出されたエッジ点の両端画素の画素値を対応付け用パターン情報に基づいて、そのエッジ点の近傍点における最大画素値に対応付け用パターンに応じた所定値を加算し、そのエッジ点の近傍点における最小画素値に対応付け用パターンに応じた所定値を減算して、対応付け用パターンを埋め込み、その対応付け用パターンを埋め込まれた埋込画像を出力する、ことを特徴とする。
【００２７】
請求項１１記載の発明は、請求項１０記載の発明において、前記投影画像平滑化手段が、前記入力画像から注目画素を選択し、注目画素からの距離による重みに加えて、注目画素との画素値の差に応じて、ガウス分布に従う重みを付けた平均化を行うバイラテラルフィルタを有し、そのバイラテラルフィルタによって該入力画像に対する平滑化を行う、ことを特徴とする。
【００２８】
請求項１２記載の発明は、請求項１０または１１記載の発明において、前記パターン検出ステップが、撮像画像を入力し、その撮像画像からエッジ点の検出を行い、該検出されたエッジ点の両端画素の画素値と前記エッジ点の近傍点の画素値の比較結果に基づいて対応付け用パターン情報を抽出し、該対応付け用パターン情報を出力する、ことを特徴とする。
【００２９】
前記の請求項１，７の発明によれば、特別な計測装置を用いずに、投影装置と撮像装置を使って投影面の三次元形状を測定できる。
【００３０】
前記の請求項２，８の発明によれば、対応付け用パターン情報に基づいて決定される対応点を取得できる。
【００３１】
前記の請求項３，９の発明によれば、投影装置および撮影装置の外部パラメータを取得できる。
【００３２】
前記の請求項４，１０の発明によれば、投影面に投影された投影画像のコントラストを高めることができる。
【００３３】
前記の請求項５，１１の発明によれば、バイラテラルフィルタによって入力画像を平滑化できる。
【００３４】
前記の請求項６，１２の発明によれば、投影面の三次元形状を測定できる。
【発明の効果】
【００３５】
以上示したように請求項１，７の発明によれば、投影面の三次元形状を用いて補正された投影画像を提供できる。
【００３６】
請求項２，３，８，９の発明によれば、投影面の三次元形状を測定できる。
【００３７】
請求項４，１０の発明によれば、視認性を劣化しない投影画像を生成できる。
【００３８】
請求項５，１１の発明によれば、バイラテラルフィルタによって平滑化された入力画像を取得できる。
【００３９】
請求項６，１２の発明によれば、その三次元形状に応じて、歪みの少ない投影画像を生成できる。
【００４０】
これらを以って映像提示装置分野に貢献できる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施形態における投影映像補正装置及び投影映像補正プログラムを図面等に基づいて詳細に説明する。
【００４２】
［第１実施形態］
第１実施形態は、入力画像にパターン情報を重畳させた埋込画像を投影面に投影し、その投影された画像（以後、投影画像と称する）を撮像し、埋込画像と投影面を撮像した画像（以後、撮像画像と称する）の画素（即ち、画素位置）とを対応づける（即ち、投影面の三次元形状推定を行った）ものであって、画素位置の対応付けをより確実に行うために、エッジ点に強調したパターン情報を重畳させるものである。
【００４３】
第１実施形態を図１乃至図６に基づいて以下に説明する。なお、図１は、第１実施形態における投影映像補正装置の構成を示す概略図である。
【００４４】
図１中の投影映像補正装置は、投影装置１，撮像装置２，投影画像管理３，投影映像補正装置本体５０から構成される。また、投影映像補正装置本体５０は、投影画像入力部４，投影画像補正部５，投影出力部６，撮像画像入力部７，投影面形状測定部８，パターン埋め込み部９，パターン検出部１０から構成されている。なお、投影映像補正装置における様々なデータ（例えば、パターン情報）を格納するメモリ１１は、投影映像補正装置本体５０に内蔵されても良いし、投影映像補正装置本体５０の外部に備えられても良い。
【００４５】
投影装置１は、画像を投影面に対して投影表示する装置であって、例えば、液晶素子やＤＭＤ素子を内蔵する投影装置（即ち、プロジェクタやレーザプロジェクタなど）を含む装置である。
【００４６】
撮像装置２は、投影面を撮像する装置であって、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳカメラ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｎｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを含む装置である。
【００４７】
投影画像管理３は、予め投影する画像（例えば、動画像をフレーム毎の静止画に分解した画像群や静止画など）が格納されたデータベースであって、例えば、パーソナルコンピュータ付属の記録媒体（例えば、ハードディスクなど）を含むものである。
【００４８】
投影画像入力部４は、投影画像管理部３から入力画像を取得し、パターン埋め込み部４や投影画像補正部５に入力する部である。
【００４９】
投影画像補正部５は、入力画像に対して歪み補正処理を施し、補正された入力画像（以後、補正済入力画像と称する）を出力する部である。
【００５０】
投影出力部６は、画像を投影装置１に対して転送する部である。
【００５１】
撮像画像入力部７は、撮像装置２を介して投影面を撮像した画像（即ち、撮像画像）を入力する部である。
【００５２】
投影面形状測定部８は、対応点情報から投影面の三次元形状を測定して出力する部である。
【００５３】
パターン埋め込み部９は、入力画像に対応付け用パターン情報を埋め込んだ埋込画像を出力する部である。例えば、対応付け用パターン情報（或いは、対応付け用パターン画像）は、メモリ１１に一時的に格納されてあって、そのメモリ１１から読み出しても良い。また、投影画像管理３に対応付け用パターン情報を予め格納してあって、その投影画像管理３から読み出して利用しても良い。
【００５４】
パターン検出部１０は、入力された撮像画像から対応付け用パターン情報を検出し出力する部である。
【００５５】
次に、第１実施形態における投影映像補正装置で実行される処理を以下に説明する。なお、図２は、投影映像補正装置で実行される処理を示すフローチャートである。
【００５６】
まず、投影映像補正装置では、投影画像入力部４が起動される。投影画像入力部４では、投影装置１に入力される画像を投影画像管理３から読み込み、処理を終了する（Ｓ１１）。
【００５７】
次に、パターン埋め込み部９が起動される。パターン埋め込み部９では、入力画像に対応付け用パターンを埋め込む処理が行われる（Ｓ１２）。
【００５８】
ここで、そのパターン埋め込み部９で行われる処理の詳細を図３に基づいて以下に説明する。
【００５９】
まず、パターン埋め込み部９は起動された後、投影画像入力部４が出力する入力画像を受信する（Ｓ２１）。
【００６０】
次に、受信した入力画像に対して平滑化処理を施す（Ｓ２２）。この平滑化処理は、例えば、例えば、平均化フィルタやメディアンフィルタを入力画像に対して適用する処理である。また、前記の処理に、注目画素からの距離による重みに加えて、注目画素との画素値の差に応じて、ガウス分布に従う重みを付けた平均化を行うバイラテラルフィルタを適応しても良い。
【００６１】
次に、平滑化された入力画像からエッジ点の検出を行う（Ｓ２３）。このエッジ点検出処理は、例えば、ＳｏｂｅｌフィルタやＣａｎｎｙフィルタを平滑化された入力画像に対して適用する処理である。
【００６２】
次に、検出した全てのエッジ点に対してその両端の画素値を変更する（Ｓ２４）。即ち、画素の対応付けをより確実に行うために、エッジ点で強弱を強調（即ち、強い箇所はさらに強く、弱い箇所はさらに弱く）した対応付け用パターン情報を重畳させる。
【００６３】
これら画素値の変更処理を図４に基づいて以下に詳細に説明する。
【００６４】
まず、エッジ点の位置と平滑化後の入力画像の画素値プロファイルＰＦ１に関して、エッジ点（例えば、図４Ａ中の符号ｅｇ１，ｅｇ２で示される点）の画素値（例えば、最大画素値Ｉhigh（以下、単にＩhighで表記する），最小画素値Ｉlow（以下、単にＩlowで表記する））を選択する。
【００６５】
次に、その両画素の画素値の比較を行い、画素値が小さい方の画素値は、元の画素値（例えば、Ｉlow）から△を減算した値を埋め込み後の画素値（例えば、Ｂlow）と見做し、画素値が大きい方の画素値は、元の画素値（例えば、Ｉhigh）から△を加算した値を埋め込み後の画素値（例えば、Ｂhigh）と見做す。
【００６６】
なお、△の値は、対応付け用パターン情報が「０」の場合はδを設定し、対応付け用パターン情報が「１」の場合はδの定数倍（例えば、２倍である２δ）を設定することによって、平滑化後の入力画像に「０」，「１」の情報（即ち、２値情報）を埋め込むことができる。また、対応付け用パターン情報が「０」の時はδの定数倍を、対応付け用パターン情報が「１」の時はδと設定しても良い。δは、予め定めておいた固定の値でも良いし、式（１）のようにエッジの両端点の値の差に対する定数倍の値としても良い。
【００６７】
【数１】
2007295375.tif 000003
【００６８】
ただし、式（１）では、Ｉhighはエッジの両端点のうち画素値が大きい方の画素の画素値、Ｉlowはエッジの両端点のうち画素値が小さい方の画素の画素値、ｄはユーザによって予め定められた値である。
【００６９】
エッジ点の両端画素の選択は、エッジ点を通りエッジの勾配方向に伸びる直線上に属するエッジ点に最も近いエッジ点以外の画素（即ち、エッジの隣接点）を選択する。また、複数の対応付けパターン情報を埋め込むため、両端点ではないエッジ点近傍画素（例えば、エッジ点の４近傍または８近傍または２４近傍の画素）に対して同様の処理を繰り返し、それぞれの対応付けパターン画像（即ち、対応付けパターン情報）を埋め込んでも良いし、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）各チャネルに対してそれぞれの対応付けパターン画像を埋め込んでも良い。
【００７０】
以上のように対応付けパターン画像を全てのエッジ点に対して埋め込んだ埋込画像を出力してパターン埋め込み部９は処理を終える（Ｓ２５）。
【００７１】
次に、処理を図２中のフローチャートのステップＳ１３に戻って説明を続ける。投影出力部６が起動される。投影出力部６では、埋め込み画像を受信して投影装置用の信号に変換し、これを投影装置１へと転送して処理を終える（Ｓ１３）。
【００７２】
次に、撮像画像入力部７が起動される。撮像画像入力部７では、撮像装置２が出力する投影面を撮影した撮像画像を受け取り、処理を終了する。
【００７３】
次に、パターン検出部１０が起動される。パターン検出部１０では、対応付け用パターン情報を抽出する（Ｓ１５）。
【００７４】
ここで、そのパターン検出部１０で実行される処理の詳細を図５に基づいて以下に説明する。
【００７５】
パターン検出部１０は、起動された後、撮像画像を受信する（Ｓ３１）。
【００７６】
次に、パターン埋め込み部９と同様に、その撮像画像に対してエッジ点の検出を行う（Ｓ３２）。
【００７７】
次に、エッジ両端点とその近傍点（例えば、図４Ｂ中の符号ｎｐ１，ｎｐ２，ｎｐ３，ｎｐ４）を選択し、それらの比較により撮像画像に埋め込まれている対応付け用パターン情報を抽出する（Ｓ３３）。パターン埋め込み部９と同様に、エッジ両端点とその近傍点の選択は、エッジ点を通りエッジの勾配方向に伸びる直線上に属するエッジ点に最も近いエッジ点以外の画素をエッジ両端点と見做し、勾配方向に伸びる直線上に属する該エッジ両端点に隣接するそれぞれの画素を近傍点と見做すことである。
【００７８】
なお、エッジ点と近傍点の間隔（例えば、図４Ｂ中の符号ｍ）は、予め定められた画素数（例えば、１〜１０画素程度）とする。近傍点の画素値は、隣接点の画素値を利用しても良いし、隣接点とその近辺の点の画素値の平均値を採用しても良い。対応付け用パターン情報の抽出は、例えば、次の通りに抽出する。
【００７９】
まず、パターン埋め込み部９において、対応付け用パターン情報が「０」の場合は△の値にδを設定し、対応付け用パターン情報が「１」の場合は△の値に２δを設定する。
【００８０】
そして、式（２）で表されるＰの値が２δ以上であれば対応付け用パターン情報として「１」が埋め込まれていると見做し、予め定められた閾値以上かつ２δ以下であれば対応付け用パターン情報として「０」が埋め込まれていると見做す判定を行う。
【００８１】
【数２】
2007295375.tif 000004
【００８２】
なお、式（２）において、Ｅhighはエッジ両端点のうち画素値が大きい方の画素の画素値、Ｅlowはエッジ両端点のうち画素値が小さい方の画素の画素値、Ｎhighは近傍点のうち画素値が大きい方の画素の画素値、Ｎlowは近傍点のうち画素値が小さい方の画素の画素値、をそれぞれ表している。
【００８３】
また、特定のエッジ点に対して複数の対応付けパターン用画像が埋め込まれている場合、対応付け用パターン画像が埋め込まれている点やチャネルに関して同様の処理を繰り返し、それぞれの対応付け用パターン情報を抽出すれば良い。
【００８４】
以上のように、全てのエッジ点から埋め込まれた対応付けパターン情報を検出し、これを出力してパターン検出部１０は処理を終える（Ｓ３４）。
【００８５】
次に、処理を図２中のフローチャートのステップＳ１６に戻って説明を続ける。ステップＳ１６では、投影面形状測定部８が起動される。投影面形状測定部８は、起動された後、対応付けパターン情報を受信し、その受信した対応付け用パターン情報に基づいて決定される投影装置１と撮像装置２間の対応点の組を決定する。
【００８６】
ここで、対応点の組は、例えば、投影装置１によって２進コードパターン画像（または、２進グレイコード化パターン画像）を投影し、この２進コードパターン画像を撮像装置１にて撮影した画像群を処理する空間コーディング法を用いて取得する。
【００８７】
前述の空間コーディング法を図６に基づいて以下に説明する。
【００８８】
例えば、図６中のパターン画像Ｐ１〜Ｐ３を投影装置（例えば、プロジェクタ）１によってスクリーン１００に投影出力する。
【００８９】
続いて、撮像装置（例えば、カメラ）２がスクリーン１００を撮像し、パターン撮像画像として記録装置へ保存する。なお、図６中では、パターン撮像画像ＰＰ１〜ＰＰ３が得られたものとする。
【００９０】
続いて、パターン撮像画像ＰＰ１〜ＰＰ３全てに対して、パターン画像Ｐ１〜Ｐ３で使用されている２色の色による二値化を行なう。
【００９１】
続いて、その二値化された複数の画像をパターン画像Ｐ１〜Ｐ３を撮像順序に並べて、空間コード画像ＣＰを生成し、その空間コード画像ＣＰからパターン撮像画像ＰＰ１〜ＰＰ３の各画素における２進コード（例えば、２進コードＣＤ１）を復元した結果、復元された２進コード（例えば、２進コードＣＤ２）を得る。なお、復元が正常であれば、２進コードＣＤ１と２進コードＣＤ２は等しい。
【００９２】
そして、縦縞横縞両方向の２進コード（例えば、符号ＣＤ２で示される２進コード）が復元できると、パターン画像Ｐ１〜Ｐ３の全画素とパターン撮像画像ＰＰ１〜ＰＰ３の全画素が対応づけられる。
【００９３】
以上のように、パターン埋め込み部９において、対応付け用パターン（即ち、２進コードパターン画像や２進グレイコード化パターン画像）を埋め込んでおけば、パターン検出部１０で検出した対応付け用パターン情報から上述の空間コーディング処理によって対応点の組を決定することができる。
【００９４】
次に、前述の対応点の組と予め与えられた投影装置１および撮影装置２の内外部パラメータ（例えば、焦点距離や位置関係）を用いて、対応点の三次元座標を決定して投影面の形状を作成し、これを出力して処理を終了する（Ｓ１６）。
【００９５】
次に、投影画像入力部４が起動される。投影画像入力部４は起動された後、次の投影すべき入力画像（例えば、次の単位時間後に投影すべき入力画像）を投影画像管理３から読み出し、その次の投影すべき入力画像を出力して処理を終える（Ｓ１７）。
【００９６】
次に、投影画像補正部５が起動される。投影画像補正部５は起動された後、投影面の三次元形状を用いて入力画像に対して補正を行なう。この投影画像補正処理は、前述の投影画像補正方法（例えば、非特許文献３参照）と特に変わらないため、詳細な記述は省略する。最後に、補正画像を出力して処理を終了する（Ｓ１８）。
【００９７】
以上のステップＳ１１からＳ１８によって、特定時刻における補正済入力画像が投影され、投影面に歪みのない投影画像が映し出される。
【００９８】
また、動画像を投影提示する場合には、動画像中の画像に関する補正処理が完了したか否かを判断し（Ｓ１９）、完了していない場合は、ステップＳ１２へ処理を戻す。なお、静止画像を投影する提示やユーザからの終了要求が発生した場合にも処理を終えて良い。
【００９９】
［第２実施形態］
第２実施形態を図７に基づいて以下に説明する。なお、図７は、第２実施形態における投影映像補正装置の構成を示す概略図である。
【０１００】
図７中の投影映像補正装置の構成は、図１中の投影映像補正装置の構成に加え、外部パラメータ算出部１２を具備する。
【０１０１】
図７中の投影映像補正装置の装置構成では、図１中の投影映像補正装置の構成で手動入力していた投影装置１と撮像装置２の外部パラメータ（例えば、位置関係）を算出する部（以後、外部パラメータ算出部と称する）１２を設けることによって、ユーザへの煩雑な操作を強いることを回避している。
【０１０２】
外部パラメータ算出部１２以外は、図１中の投影映像補正装置の構成と何ら変わるところがないため、ここでの説明を省略する。
【０１０３】
外部パラメータ算出部１２は、パターン検出部１０から対応付け用パターン情報を受信し、該対応付け用パターン情報に基づいて投影装置１と撮像装置２間の対応点の組を決定し、その対応点の組から投影装置１と撮像装置２間の外部パラメータを算出する部である。
【０１０４】
外部パラメータの算出処理は、例えば、対応点の組から直接求めて（例えば、非特許文献４参照）も良いし、または、対応点の組から投影面中の平面領域を決定し、その平面領域の平面射影変換行列を用いて外部パラメータを算出しても良い。
【０１０５】
対応点の組からの平面領域は、例えば、上述の投影装置と撮像装置間の対応点の組から投影面中の平面領域を決定する方法（例えば、非特許文献５参照）によって決定できる。
【０１０６】
以上のように、外部パラメータ算出部１２は、求められた外部パラメータを投影面形状測定部８へと転送出力し、処理を終える。
【０１０７】
［実施例］
第１実施形態の実施例を図８乃至図１０に基づいて以下に説明する。なお、図８乃至図１０中で図１乃至図７中の符号と同じものの説明は省略する。
【０１０８】
まず、図８中のように、三次元空間中に凹凸のある投影面１０１が存在し、この投影面１０１に対して投影装置（例えば、プロジェクタなど）１によって入力画像を投影し、投影された投影画像を撮像装置（例えば、カメラなど）２によって撮像するものとする。
【０１０９】
投影映像補正装置本体５０では、まず、投影画像入力部４が起動され、投影画像管理３から図８中の時刻ｔにおける入力画像Ｌ１を読み込む。なお、時刻ｔは、時刻そのものではなく、単位時間毎に入力画像を取得したときに、その入力画像に付与される番号である。
【０１１０】
次に、パターン埋め込み部９が起動する。パターン埋め込み部９が起動された後、投影画像入力部４が入力画像Ｌ１を受信する。
【０１１１】
次に、受信した入力画像Ｌ１に対して平滑化処理を施す。
【０１１２】
即ち、本実施例では、入力画像Ｌ１全体に平滑化処理を施すことによって、入力画像上のある１ライン（例えば、図９Ａ中のＡ−Ａ線）上の画素値に関する画素値プロファイル（例えば、図９Ｂ中の画素値プロファイルＰＦ４）が、図９Ｃ中の画素値プロファイルＰＦ５のように平滑化されたものとする。
【０１１３】
次に、その平滑化された入力画像からエッジ点の検出を行う。
【０１１４】
次に、検出した全てのエッジ点に対してその両端の画素値を変更する。
【０１１５】
即ち、本実施例では、画素値の変更度合いとして、対応付け用パターン情報が「０」の場合はδを採用し、対応付け用パターン情報に基づいて入力画像の画素値を変更した結果を図９Ｄ中の画素値プロファイルＰＦ６に示す。また、対応付け用パターン情報が「１」の場合は２δを採用し、対応付け用パターン情報に基づいて入力画像の画素値を変更した結果を図９Ｅ中の画素値プロファイルＰＦ７に示す。
【０１１６】
以上のようにして対応付けパターン情報を全てのエッジ点に対して埋め込んだ埋込画像を出力してパターン埋め込み部９は処理を終える。
【０１１７】
次に、撮像画像入力部４が起動される。撮像画像入力部４では、撮像装置２が出力する投影面を撮影した撮像画像を受け取り、処理を終了する。
【０１１８】
本実施例では、図１０Ａ中の撮像画像Ｃ１を取得したものとして以下に説明する。
【０１１９】
次に、パターン検出部１０が起動される。パターン検出部１０は、起動された後、図１０Ａ中の撮像画像Ｃ１を受信する。
【０１２０】
次に、撮像画像Ｃ１に対してパターン埋め込み部９と同様に、エッジ点の検出を行う。
【０１２１】
なお、本実施例では、図１０Ｂ中の破線で囲われた点がエッジ点ＧＰ１及びＧＰ２で示される部分）として検出されたものとし、以下では、エッジ点ＧＰ１に関する説明を進める。
【０１２２】
次に、エッジ両端点とその近傍点を選択し、それらの比較により撮像画像に埋め込まれている対応付け用パターン情報を抽出する。
【０１２３】
なお、本実施例では、図１０Ｃ中の画素値プロファイルＰＦ９に示すように、エッジ両端点のうちで、画素値が大きい方の画素の画素値をＥhigh、画素値が小さい方の画素の画素値をＥlow、と設定する。また、近傍点のうちで、画素値が大きい方の画素の画素値をＮhigh、画素値が小さい方の画素の画素値をＮlowと設定した場合、これらの値を式（２）に代入した結果Ｐが２δ以上であったものとする。
【０１２４】
そのため、本実施例では、埋め込まれていた対応付け用パターン情報が「１」と判定されることになる。このようにして全てのエッジ点から埋め込まれた対応付け用パターン情報を検出し、この検出した対応付け用パターン情報を出力して、パターン検出部１０は処理を終える。
【０１２５】
次に、投影面形状測定部８が起動される。投影面形状測定部８は、起動された後、対応付け用パターン情報を受信し、投影装置１と撮像装置２間の対応点の組の決定と、予め与えられた投影装置１および撮影装置２の内外部パラメータ（例えば、焦点距離や位置関係）と、を用いて対応点の三次元座標を決定して投影面の形状を作成し、その作成された投影面の形状を出力して処理を終了する。
【０１２６】
この処理によって、エッジ点における対応付け情報を埋め込んだ点を頂点とする三次元モデル（即ち、投影面の三次元形状）が作成される。
【０１２７】
次に、投影画像入力部４が起動される。投影画像入力部４は、起動された後、次の時刻（即ち、次の単位時間後）に投影すべき入力画像を投影画像管理３から読み出し、この入力画像を出力して処理を終える。
【０１２８】
なお、本実施例では、図８中の時刻ｔ＋１の入力画像Ｌ２が読み出される。
【０１２９】
次に、投影画像補正部５が起動される。投影画像補正部５は、起動された後、図８中の入力画像Ｌ２，投影面形状測定部８で作成した投影面の三次元形状を用いて、幾何学的な補正を行なう。最後に補正画像を出力して処理を終了する。
【０１３０】
以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。
【０１３１】
例えば、第１または第２実施形態の変形として、上述のδ値を入力する手段（例えば、キーボード装置），外部パラメータ入力手段，内部パラメータ入力手段を備えていても良い。
【図面の簡単な説明】
【０１３２】
【図１】第１実施形態における装置構成図。
【図２】第１実施形態における入力画像補正処理フローチャート。
【図３】第１実施形態におけるパターン埋め込み処理フローチャート。
【図４】第１実施形態におけるパターン埋め込み概略図。
【図５】第１実施形態におけるパターン検出処理フローチャート。
【図６】第１実施形態における空間コーディング法の概略図。
【図７】第２実施形態における装置構成図。
【図８】本実施例における構成図。
【図９】本実施例におけるパターン埋め込み概略図。
【図１０】本実施例における検出概略図。
【符号の説明】
【０１３３】
１…投影装置
２…撮像装置
３…投影画像管理部
４…投影画像入力部
５…投影画像補正部
６…投影出力部
７…撮像画像入力部
８…投影面形状測定部
９…パターン埋め込み部
１０…パターン検出部
１１…メモリ
１２…外部パラメータ算出部
５０…投影映像補正装置本体
１００…スクリーン
１０１…投影面
Ｃ１…撮像画像
ＣＤ１…パターン中に表現された２進コード
ＣＤ２…復元された２進コード
ＣＰ…空間コード画像
Ｌ１，Ｌ２…入力画像
Ｐ１〜Ｐ３…パターン画像
ＰＦ１〜ＰＦ１０…画素値プロファイル
ＰＰ１〜ＰＰ３…パターン撮像画像
ｅｇ１，ｅｇ２，ＧＰ１，ＧＰ２…エッジ点
ｎｐ１〜ｎｐ４…近傍点
ｍ…エッジ点と近傍点の間隔
Ｅhigh，Ｅlow，Ｉhigh，Ｉlow，Ｎhigh，Ｎlow，Ｂhigh，Ｂlow，Ｂ’high，Ｂ’low…画素値
【図１】
2007295375.tif 000005
【図２】
2007295375.tif 000006
【図３】
2007295375.tif 000007
【図４】
2007295375.tif 000008
【図５】
2007295375.tif 000009
【図６】
2007295375.tif 000010
【図７】
2007295375.tif 000011
【図８】
2007295375.tif 000012
【図９】
2007295375.tif 000013
【図１０】
2007295375.tif 000014