(57)【要約】  【課題】  精度の高い形状測定が可能となり、投影面の形状に関わらず美しい像を投影する。  【解決手段】  パターン撮像部１４でパターン画像を生成し、その画像を投影装置１１に転送し、次に、撮像装置１２に撮像命令を出す。撮像装置１２で撮像したパターン撮像画像を記憶装置１３へと保存し、パターン撮像部１４へと出力する。次に、パターン抽出部１５が起動されると、記憶装置１３からパターン撮像部１４で撮影されたパターン撮像画像を読み出す。パターン抽出部１５では、読み出したパターン撮像画像を抽出パターン画像として平面領域抽出部１６、対応座標算出部１７を経て平面射影行列算出部１８に転送する。最後にパラメータ推定部１９が起動されると、平面射影行列推定部１８から平面ＩＤと該平面ＩＤに対応する平面射影行列が受信される。  【選択図】  図１
2005326247.tif 000002
【特許請求の範囲】
【請求項１】
所定のパターン画像を生成し、該パターン画像を投影像として投影装置により投影出力し、その時の投影面の状態を撮像装置によりパターン撮像画像として撮像するパターン撮像手段と、
前記パターン撮像画像から、該画像の画素値を用いて前記パターン画像に該当する画素を抽出して抽出パターン画像とするパターン抽出手段と、
前記抽出パターン画像内の抽出画素同士の幾何とパターン画像内の幾何との関係を用いて抽出パターン画像中から投影面内での平面領域を抽出する平面領域抽出手段と、
前記平面領域抽出手段で抽出された平面領域上の点とパターン画像上で対応付けられる点を少なくとも４点以上決定する処理を、抽出された全ての平面領域に亘って行なう対応座標算出手段と、
前記対応座標から平面上に存在する点同士の関係を表現する平面射影行列を平面領域毎に算出する平面射影行列算出手段と、
少なくとも２つ以上の前記平面射影行列から前記投影装置と前記撮像装置各々の内部特性および相対位置、姿勢を算出するパラメータ推定手段と、
を備えてなることを特徴とする校正装置。
【請求項２】
前記パターン撮像手段において、
生成、投影出力する所定のパターン画像は、１色の画素値が該画素値と異なる画素値で表現される画素上に縦横にすき間をあけて組んだ格子縞模様であること、
を特徴とする請求項１記載の校正装置。
【請求項３】
前記パターン撮像手段において、
生成、投影出力する所定のパターン画像は、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の少なくとも２枚以上の画像であること、
を特徴とする請求項１記載の校正装置。
【請求項４】
前記パターン撮像手段において、
生成、投影出力する所定のパターン画像は、投影出力後の投影面の時系列での色変化が２進グレイコードで表現されるように画像上で２色の色が縦横に縞模様として配置された複数の２進グレイコード化パターン画像であること、
を特徴とする請求項１記載の校正装置。
【請求項５】
前記パターン抽出手段において、
前記パターン撮像画像から、該画像の画素値に対して二値化を行ない、続いて二値化された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすること、
を特徴とする請求項１及び２記載の校正装置。
【請求項６】
前記パターン抽出手段において、
前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した２枚のパターン撮像画像から、
両画像の画素ごとの画素値の差の絶対値を算出して差分画像を生成し、該差分画像の画素値に対して二値化を行ない、
該二値化された画像に対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、
続いて膨張縮小処理された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすること、
を特徴とする請求項１，３及び４のいずれかに記載の校正装置。
【請求項７】
前記パターン抽出手段において、
前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した少なくとも２枚以上のパターン撮像画像から、該パターン撮像画像各々につき画素値に対して二値化を行ない、
該二値化された２枚の画像それぞれに対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、
続いて膨張縮小処理された２枚の画像それぞれに対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出し、
続いて両画像の論理和演算結果を抽出パターン画像とすること、
を特徴とする請求項１，３及び４のいずれかに記載の校正装置。
【請求項８】
前記平面領域抽出手段において、
前記パターン抽出手段から前記抽出パターン画像を受信し、
該抽出パターン画像内に記述されている複数の直線同士の交点を全て検出し、
該抽出された全交点から各交点を頂点とする四角形に分割し、
前記四角形の各辺と前記抽出パターン画像中の直線との重複画素数があらかじめ定められた閾値を越えたら四角平面とする処理を前記分割された全四角形に亘って行ない、
隣接する四角平面を統合し該統合された平面領域の個々に各平面を同定する唯一の平面ＩＤを付与し、
該平面ＩＤと該平面ＩＤに対応する平面領域内の画像座標を記憶すること、
を特徴とする請求項１から７のいずれかに記載の校正装置。
【請求項９】
前記対応座標算出手段において、
前記平面領域抽出手段で抽出された平面領域上の点から前記パターン撮像画像の画素値を用いて該画像上の角や交点となる特徴点を少なくとも４点以上抽出し、
該特徴点を含む領域の画素値を用いて照合パターンを作成し、
該照合パターンを用いて前記パターン画像上で前記特徴点に対応する対応点を決定すること、
を特徴とする請求項１から８のいずれかに記載の校正装置。
【請求項１０】
前記対応座標算出手段において、
前記パターン撮像画像に対し前記２進グレイコード化パターン画像で使用されている２色の色による二値化を行ない、
該二値化された複数の画像をパターン画像投影順序に並べた空間コード画像を生成し、
該空間コード画像から前記パターン撮像画像の各画素のグレイコードを復元し、
該復元されたグレイコードと前記パターン画像で表現された２進グレイコードを用いて前記パターン撮像画像の平面領域上の点に対応する対応点を少なくとも４点以上決定すること、
を特徴とする請求項１，４，６，７及び８のいずれかに記載の校正装置。
【請求項１１】
所定のパターン画像を生成し、該パターン画像を投影像として投影装置により投影出力した後、その時の投影面の状態を撮像装置によりパターン撮像画像として撮像するパターン撮像過程と、
前記パターン撮像画像から、該画像の画素値を用いて前記パターン画像に該当する画素を抽出した後に、抽出パターン画像とするパターン抽出過程と、
前記抽出パターン画像内の抽出画素同士の幾何とパターン画像内の幾何との関係を用いて抽出パターン画像中から投影面内での平面領域を抽出する平面領域抽出過程と、
前記平面領域抽出手段で抽出された平面領域上の点とパターン画像上で対応付けられる点を少なくとも４点以上決定する処理した後、その処理を抽出された全ての平面領域に亘って行なう対応座標算出過程と、
前記対応座標算出過程で得られた対応座標から平面上に存在する点同士の関係を表現する平面射影行列を平面領域毎に算出する平面射影行列算出過程と、
少なくとも２つ以上の前記平面射影行列から前記投影装置と前記撮像装置各々の内部特性および相対位置、姿勢を算出するパラメータ推定過程と、
を備えてなることを特徴とする校正方法。
【請求項１２】
前記パターン撮像過程において、
生成、投影出力する所定のパターン画像は、１色の画素値が該画素値と異なる画素値で表現される画素上に縦横にすき間をあけて組んだ格子縞模様であること、
を特徴とする請求項１１記載の校正方法。
【請求項１３】
前記パターン撮像過程において、
生成、投影出力する所定のパターン画像は、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の少なくとも２枚以上の画像であること、
を特徴とする請求項１１記載の校正方法。
【請求項１４】
前記パターン撮像過程において、
生成、投影出力する所定のパターン画像は、投影出力後の投影面の時系列での色変化が２進グレイコードで表現されるように画像上で２色の色が縦横に縞模様として配置された複数の２進グレイコード化パターン画像であること、
を特徴とする請求項１１記載の校正方法。
【請求項１５】
前記パターン抽出過程において、
前記パターン撮像画像から、該画像の画素値に対して二値化を行なった後、続いて二値化された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすること、
を特徴とする請求項１１及び１２記載の校正方法。
【請求項１６】
前記パターン抽出過程において、
前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した２枚のパターン撮像画像から、
両画像の画素ごとの画素値の差の絶対値を算出して差分画像を生成した後に、該差分画像の画素値に対して二値化を行なった後に、
該二値化された画像に対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、
続いて膨張縮小処理された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすること、
を特徴とする請求項１１，１３及び１４のいずれかに記載の校正方法。
【請求項１７】
前記パターン抽出過程において、
前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した少なくとも２枚以上のパターン撮像画像から、該パターン撮像画像各々につき画素値に対して二値化を行なった後に、
該二値化された２枚の画像それぞれに対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、
続いて膨張縮小処理された２枚の画像それぞれに対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出した後に、
続いて両画像の論理和演算結果を抽出パターン画像とすること、
を特徴とする請求項１１，１３及び１４のいずれかに記載の校正方法。
【請求項１８】
前記平面領域抽出過程において、
前記パターン抽出過程から前記抽出パターン画像を受信した後に、
該抽出パターン画像内に記述されている複数の直線同士の交点を全て検出し、
該抽出された全交点から各交点を頂点とする四角形に分割した後に、
前記四角形の各辺と前記抽出パターン画像中の直線との重複画素数があらかじめ定められた閾値を越えたら四角平面とする処理を前記分割された全四角形に亘って行ない、
その後、隣接する四角平面を統合し該統合された平面領域の個々に各平面を同定する唯一の平面ＩＤを付与してから、
該平面ＩＤと該平面ＩＤに対応する平面領域内の画像座標を記憶すること、
を特徴とする請求項１１から１７のいずれかに記載の校正方法。
【請求項１９】
前記対応座標算出過程において、
前記平面領域抽出過程で抽出された平面領域上の点から前記パターン撮像画像の画素値を用いて該画像上の角や交点となる特徴点を少なくとも４点以上抽出した後に、
該特徴点を含む領域の画素値を用いて照合パターンを作成し、
その後、該照合パターンを用いて前記パターン画像上で前記特徴点に対応する対応点を決定すること、
を特徴とする請求項１１から１８のいずれかに記載の校正方法。
【請求項２０】
前記対応座標算出過程において、
前記パターン撮像画像に対し前記２進グレイコード化パターン画像で使用されている２色の色による二値化を行なった後、
該二値化された複数の画像をパターン画像投影順序に並べた空間コード画像を生成した後に、
該空間コード画像から前記パターン撮像画像の各画素のグレイコードを復元し、
該復元されたグレイコードと前記パターン画像で表現された２進グレイコードを用いて前記パターン撮像画像の平面領域上の点に対応する対応点を少なくとも４点以上決定すること、
を特徴とする請求項１，４，６，７及び８のいずれかに記載の校正方法。
【請求項２１】
請求項１１から２０のいずれかに記載の校正方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする校正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，プロジェクタ（投影装置）により歪みのない投影を行う際に利用される投影面の三次元座標を算出するために必要なカメラ（撮像装置）とプロジェクタの自動校正を可能とするカメラ・プロジェクタにおける校正装置及び校正方法並びに校正プログラムに係わり、特に、空間的な位置拘束のない任意の平面を用いてカメラの特性、及び、プロジェクタの特性を表す内部パラメータと、カメラとプロジェクタ間の位置、回転の関係を表す外部パラメータを算出する校正装置及び校正方法並びに校正プログラムに関するものである。
【背景技術】
【０００２】
プロジェクタ等の投影装置を利用して前記プロジェクタに入力された画像を投影する際、凹凸面など投影装置の光軸と投影面（スクリーン）の法線が一致しない部分では、投影された画像に歪みが生じることになる。
【０００３】
このような歪みを補正する従来技術として、下記文献が開示されている（特許文献１、特許文献２及び特許文献３参照）。
【０００４】
特許文献１に開示されるものでは光学系を手動で調整する構成とされ、特許文献２，３に開示されるものでは歪みに対応した映像を手動で調整して出力する補正機能が備えられている。
【０００５】
また、投影面の三次元形状が任意であっても、投影画面の歪みを自動的に補正するプロジェクタが提案されている（特許文献４参照）。
【０００６】
図２２は、このような機能を有するプロジェクタの全体構成を示すブロック図である。図２２において、パターン画像生成部２２０で所定のパターンを生成し、映像出力部２２１から投影面にパターンを投影する。
【０００７】
カメラ２２２は、この投影面上のパターンを撮影し、投影面獲得部２２３へ送出する。投影面獲得部２２３では光投影法の原理を用いて投影面を構成する各点における投影距離と投影方向を測定し、この測定結果を映像補正部２２４および投影制御部２２５へ出力する。
【０００８】
投影面獲得部２２３からの測定結果を受け付けた映像補正部２２４は、測定結果から投影面を構成する各点における投影距離と投影方向を測定した後、映像入力部２２６から得られる原画像に対して、投影面の投影中心を通り、その法線ベクトルは、投影面の法線ベクトルと水平成分が同じで、かつ、床面と平行な仮想投影面に歪みのない映像が表示されるよう、透視変換モデルに基づいて逆投影シミュレーションによって補正した画像を映像出力部２２１へ出力する。
【０００９】
一方、投影面獲得部２２３からの測定結果を受け付けた投影制御部２２５では、映像出力部２２１が投影出力とする映像を映像補正部２２４からの出力に切り替えさせる。このような構成とすることにより、任意の三次元形状の投影画面であってもその歪みが自動的に補正される映像が出力される。
【００１０】
上述した従来の技術のうち、特許文献１から特許文献４に開示されるものは、光学系を手動で調整する構成であり、調整誤差が生じるという問題点がある。
【００１１】
また、図２２を用いて説明した方法で投影面の形状を測定する場合、カメラとプロジェクタの相対位置姿勢や、透視変換モデルに基づいたカメラとプロジェクタの内部パラメータが、手動調整による誤差で正確に得られていないと、精度の高い形状測定が困難であり、投影される像にも歪みが残ることとなる。
【００１２】
これに対してカメラとプロジェクタの相対位置姿勢とカメラとプロジェクタの内部パラメータを求める校正方法が提案されている（特許文献５参照）。
【００１３】
上記特許文献５に記載の技術によると、まず格子点問距離が既知の市松模様が描かれたボードをカメラによって撮影し、次に撮影した画像からボードとカメラの相対位置姿勢、カメラの内部パラメータを推定する。
【００１４】
次に、ボードにプロジェクタからパターン点を投影してその様子を撮影した画像から、前のステップで推定されたボードの相対位置姿勢に基づき画像中から抽出されたパターン点の空間中での三次元座標を推定する。
【００１５】
最後に該パターン点の空間中での三次元座標と投影したパターン点のプロジェクタの投影面での二次元座標とを用いてゾロジエクタの内部パラメータを算出することにより、カメラとプロジェクタの相対位置姿勢とカメラとプロジェクタの内部パラメータを精度よく求めている。
【特許文献１】特開平４−１３１８１９号公報
【特許文献２】特開平８−３３６０９２号公報
【特許文献３】特開平８一２８９２３７号公報
【特許文献４】特開２００１−０６１１２１公報
【特許文献５】特開２００１−３２０６５２公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら上述した特許文献５に記載の技術によれば、校正時に格子点間距離が既知の市松模様が描かれたボードを準備する必要や該ボードを数回移動させて撮影した画像を準備する必要があるため、手間がかかり煩わしいとともに時間がかかるといった問題があった。
【００１７】
また、格子点間距離が既知の市松模様が描かれたボードと校正時にシステムに与える格子点間距離にずれが生じていると算出されるカメラとプロジェクタの相対位置姿勢や、カメラとプロジェクタの内部パラメータに誤差が生じて、精度の高い形状測定が困難であり、投影される像にも歪みが残るといった問題があった。
【００１８】
本発明は、上述したような従来技術が有する問題点に鑑みてなされたものであり、カメラ・プロジェクタにおける校正装置及びその校正方法並びにその校正プログラムにおいて、空間的な位置拘束のない任意の平面を用いてカメラの特性、及び、プロジェクタの特性を表す内部パラメータと、カメラとプロジェクタ間の位置、回転の関係を表す外部パラメータを自動で精度良く算出する校正装置及びその校正方法並びにその校正プログラムを実現することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するために、本発明に関わる校正装置では、少なくとも２平面以上から構成される投影面に対し入力された投影像を投影出力する投影装置と、前記投影面を含むシーンを撮像する撮像装置と、所定のパターン画像を生成し、該パターン画像を投影像として前記投影装置により投影出力し、その時の投影面の状態を前記撮像装置によりパターン撮像画像として撮像するパターン撮像手段と、前記パターン撮像画像から、該画像の画素値を用いて前記パターン画像に該当する画素を抽出して抽出パターン画像とするパターン抽出手段と、前記抽出パターン画像内の抽出画素同士の幾何とパターン画像内の幾何との関係を用いて抽出パターン画像中から投影面内での平面領域を抽出する平面領域抽出手段と、前記平面領域抽出手段で抽出された平面領域上の点とパターン画像上で対応付けられる点を少なくとも４点以上決定する処理を、抽出された全ての平面領域に亘って行なう対応座標算出手段と、前記対応座標から平面上に存在する点同士の関係を表現する平面射影行列を平面領域毎に算出する平面射影行列算出手段と、少なくとも２つ以上の前記平面射影行列から前記投影装置と前記撮像装置各々の内部特性（各相値の焦点距離）および相対位置、姿勢を算出するパラメータ推定手段とを備えてなることを特徴とする。
【００２０】
あるいは、前記パターン撮像手段において、生成、投影出力する所定のパターン画像が、１色の画素値が該画素値と異なる画素値で表現される画素上に縦横にすき間をあけて組んだ格子縞模様であることを特徴とする。
【００２１】
あるいは、前記パターン撮像手段において、生成、投影出力する所定のパターン画像が、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の少なくとも２枚以上の画像であることを特徴とする。
【００２２】
あるいは、前記パターン撮像手段において、生成、投影出力する所定のパターン画像が、投影出力後の投影面の時系列での色変化が２進グレイコードで表現されるように画像上で２色の色が縦横に縞模様として配置された複数の２進グレイコード化パターン画像であることを特徴とする。
【００２３】
あるいは、前記パターン抽出手段において、前記パターン撮像画像から、該画像の画素値に対して二値化を行ない、続いて二値化された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすることを特徴とする。
【００２４】
あるいは、前記パターン抽出手段において、前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した２枚のパターン撮像画像から、両画像の画素ごとの画素値の差の絶対値を算出して差分画像を生成し、該差分画像の画素値に対して二値化を行ない、該二値化された画像に対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、続いて膨張縮小処理された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすることを特徴とする。
【００２５】
あるいは、前記パターン抽出手段において、前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した少なくとも２枚以上のパターン撮像画像から、該パターン撮像画像各々につき画素値に対して二値化を行ない、該二値化された２枚の画像それぞれに対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、続いて膨張縮小処理された２枚の画像それぞれに対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出し、続いて両画像の論理和演算結果を抽出パターン画像とすることを特徴とする。
【００２６】
あるいは、前記平面領域抽出手段において、前記パターン抽出部から前記抽出パターン画像を受信し、該抽出パターン画像内に記述されている複数の直線同士の交点を全て検出し、該抽出された全交点から各交点を頂点とする四角形に分割し、前記四角形の各辺と前記抽出パターン画像中の直線との重複画素数があらかじめ定められた閾値を越えたら四角平面とする処理を前記分割された全四角形に亘って行ない、隣接する四角平面を統合し該統合された平面領域の個々に各平面を同定する唯一の平面ＩＤを付与し、該平面ＩＤと該平面ＩＤに対応する平面領域内の画像座標を記録することを特徴とする。
【００２７】
あるいは、前記対応座標算出手段において、前記平面領域抽出手段で抽出された平面領域上の点から前記パターン撮像画像の画素値を用いて該画像上の角や交点となる特徴点を少なくとも４点以上抽出し、該特徴点を含む領域の画素値を用いて照合パターンを作成し、該照合パターンを用いて前記パターン画像上で前記特徴点に対応する対応点を決定することを特徴とする。
【００２８】
あるいは、前記対応座標算出手段において、前記パターン撮像画像に対し前記２進グレイコード化パターン画像で使用されている２色の色による二値化を行ない、該二値化された複数の画像をパターン画像投影順序に並べた空間コード画像を生成し、該空間コード画像から前記パターン撮像画像の各画素のグレイコードを復元し、該復元されたグレイコードと前記パターン画像で表現された２進グレイコードを用いて前記パターン撮像画像の平面領域上の点に対応する対応点を少なくとも４点以上決定することを特徴とする。
【００２９】
あるいは、所定のパターン画像を生成し、該パターン画像を投影像として投影装置により投影出力した後、その時の投影面の状態を撮像装置によりパターン撮像画像として撮像するパターン撮像過程と、前記パターン撮像画像から、該画像の画素値を用いて前記パターン画像に該当する画素を抽出した後に、抽出パターン画像とするパターン抽出過程と、前記抽出パターン画像内の抽出画素同士の幾何とパターン画像内の幾何との関係を用いて抽出パターン画像中から投影面内での平面領域を抽出する平面領域抽出過程と、前記平面領域抽出手段で抽出された平面領域上の点とパターン画像上で対応付けられる点を少なくとも４点以上決定する処理した後、その処理を抽出された全ての平面領域に亘って行なう対応座標算出過程と、前記対応座標算出過程で得られた対応座標から平面上に存在する点同士の関係を表現する平面射影行列を平面領域毎に算出する平面射影行列算出過程と、少なくとも２つ以上の前記平面射影行列から前記投影装置と前記撮像装置各々の内部特性および相対位置、姿勢を算出するパラメータ推定過程と、を備えてなることを特徴とする。
【００３０】
あるいは、前記パターン撮像過程において、生成、投影出力する所定のパターン画像は、１色の画素値が該画素値と異なる画素値で表現される画素上に縦横にすき間をあけて組んだ格子縞模様であることを特徴とする。
【００３１】
あるいは、前記パターン撮像過程において、生成、投影出力する所定のパターン画像は、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の少なくとも２枚以上の画像であることを特徴とする。
【００３２】
あるいは、前記パターン撮像過程において、生成、投影出力する所定のパターン画像は、投影出力後の投影面の時系列での色変化が２進グレイコードで表現されるように画像上で２色の色が縦横に縞模様として配置された複数の２進グレイコード化パターン画像であることを特徴とする。
【００３３】
あるいは、前記パターン抽出過程において、前記パターン撮像画像から、該画像の画素値に対して二値化を行なった後、続いて二値化された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすること特徴とする。
【００３４】
あるいは、前記パターン抽出過程において、前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した２枚のパターン撮像画像から、両画像の画素ごとの画素値の差の絶対値を算出して差分画像を生成した後に、該差分画像の画素値に対して二値化を行なった後に、該二値化された画像に対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、続いて膨張縮小処理された画像に対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出して抽出パターン画像とすることを特徴とする。
【００３５】
あるいは、前記パターン抽出過程において、前記縦縞模様と前記横縞模様もしくは前記２進グレイコード化パターン画像の一対の縦横縞模様を投影出力した投影面の状態を撮像した少なくとも２枚以上のパターン撮像画像から、該パターン撮像画像各々につき画素値に対して二値化を行なった後に、該二値化された２枚の画像それぞれに対して連結成分の輪郭画素を外側に１層分増やす膨張処理と連結成分の輪郭画素を取り除いて、１層分小さくする縮小処理をあらかじめ定められた回数行ない、続いて膨張縮小処理された２枚の画像それぞれに対し該画像内に含まれる各々の連結図形に連結性を失うことなく線幅が一の線図形まで細める細線化を行うことにより前記パターン画像に該当する画素を抽出した後に、続いて両画像の論理和演算結果を抽出パターン画像とすること、
を特徴とする。
【００３６】
あるいは、前記平面領域抽出過程において、前記パターン抽出過程から前記抽出パターン画像を受信した後に、該抽出パターン画像内に記述されている複数の直線同士の交点を全て検出し、該抽出された全交点から各交点を頂点とする四角形に分割した後に、前記四角形の各辺と前記抽出パターン画像中の直線との重複画素数があらかじめ定められた閾値を越えたら四角平面とする処理を前記分割された全四角形に亘って行ない、その後、隣接する四角平面を統合し該統合された平面領域の個々に各平面を同定する唯一の平面ＩＤを付与してから、該平面ＩＤと該平面ＩＤに対応する平面領域内の画像座標を記憶すること、
を特徴とする。
【００３７】
あるいは、前記対応座標算出過程において、前記平面領域抽出過程で抽出された平面領域上の点から前記パターン撮像画像の画素値を用いて該画像上の角や交点となる特徴点を少なくとも４点以上抽出した後に、該特徴点を含む領域の画素値を用いて照合パターンを作成し、その後、該照合パターンを用いて前記パターン画像上で前記特徴点に対応する対応点を決定することを特徴とする。
【００３８】
あるいは、前記対応座標算出過程において、前記パターン撮像画像に対し前記２進グレイコード化パターン画像で使用されている２色の色による二値化を行なった後、該二値化された複数の画像をパターン画像投影順序に並べた空間コード画像を生成した後に、該空間コード画像から前記パターン撮像画像の各画素のグレイコードを復元し、該復元されたグレイコードと前記パターン画像で表現された２進グレイコードを用いて前記パターン撮像画像の平面領域上の点に対応する対応点を少なくとも４点以上決定することを特徴とする。
【００３９】
あるいは、校正方法における過程を、コンピュータに実行させるためのプログラムとしたことを特徴とする。
【００４０】
本発明では、撮像装置（カメラ）と投影装置（プロジェクタ）の相対位置姿勢や、カメラとプロジェクタの内部パラメータを精度良く推定でき、精度の高い形状測定が可能となり投影面の形状に関わらず美しい像を投影することが可能となる。
【００４１】
その理由は、プロジェクタで投影したパターンと該パターンをカメラで撮影したパターン撮像画像の特徴を、自動抽出してカメラとプロジェクタの相対位置姿勢およびカメラとプロジェクタの内部パラメータを算出するため、手動による校正誤差が生じないからである。
【００４２】
また本発明では、カメラ及びプロジェクタを交換もしくは、位置姿勢関係を変更しても、即座に校正が行われ、投影面の形状に関わらず美しい像を高速に利用者に提示することが可能となる。
【００４３】
この理由は、プロジェクタで投影したパターンと該パターンをカメラで撮影したパターン撮像画像のみを用いるため、ボードを準備する必要や該ボードを数回移動させて撮影する必要がなくなるからである。
【発明の効果】
【００４４】
以上述べたように、本発明によれば、カメラとプロジェクタの相対位置姿勢や、カメラとプロジェクタの内部パラメータを精度良く推定できる。そして、その結果を用いれば、精度の高い形状測定が可能となり投影面の形状に関わらず美しい像を投影することが可能となる。その理由は、投影装置で投影したパターンと該パターンを撮影したパターン撮像画像の特徴を自動抽出してカメラとプロジェクタの相対位置姿勢およびカメラとプロジェクタの内部パラメータを算出するため、手動による校正誤差が生じないからである。
【００４５】
また、本発明によれば、カメラ及びプロジェクタを交換もしくは、位置姿勢関係を変更しても、即座に校正が行われ、投影面の形状に関わらず美しい像を高速に利用者に提示することが可能となる。この理由は、投影装置で投影したパターンと該パターンを撮影したパターン撮像画像のみを用いるため、ボードを準備する必要や該ボードを数回移動させて撮影する必要がなくなるからである。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態を図面に基づいて説明する。まず、本発明における校正装置（以下カメラ・プロジェクタ校正装置と称す）の構成例について説明する。
【００４７】
図１は、この構成例によるカメラ・プロジェクタ校正装置を説明するためのブロック図である。この図１に示す構成例のカメラ・プロジェクタ校正装置は、投影装置１１、撮像装置１２、記憶装置１３、パターン撮像部１４、パターン抽出部１５、平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９から概略構成されている。
【００４８】
投影装置１１は、入力された投影像を投影面に対して投影表示する装置で、例えば液晶素子やＤＭＤ半導体素子を具備したプロジェクタ及びレーザプロジェクターなどで実現できる。
【００４９】
撮像装置１２は、例えば、ビデオカメラ、高速度カメラ、全方位センサ、赤外線センサ、紫外線センサなどのカメラ内部に２次元ＣＣＤ（Charge Coupled Device）もしくはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を有するエリアセンサカメラで実現され、シーンの撮像を行い、撮像した画像を記憶装置１３へ出力する。
【００５０】
記憶装置１３は、情報処理装置が有する、ＲＡＭやＲＯＭなどの半導体記憶装置、ハードディスクやフレキシブルディスク、光ディスクなどで実現される。
【００５１】
パターン撮像部１４は、所定のパターン画像を生成して前記投影装置１１へ投影像として出力し、その時の投影面の状態を前記撮像装置１２が撮像したパターン撮像画像を記憶装置１３へと記録する。
【００５２】
パターン抽出部１５は、記憶装置１３から前記パターン撮像画像を読み込み、前記パターン画像に該当する画素を抽出して抽出パターン画像として出力する。
【００５３】
平面領域抽出部１６は、パターン抽出部１５から抽出パターン画像を受信し、該パターン画像から撮像した投影面内での平面領域を全て抽出し、個々の平面を唯一に決定付ける平面ＩＤと該平面ＩＤに対応する平面領域内の全画像座標を対応座標算出部１７に転送する。
【００５４】
対応座標算出部１７は、平面ＩＤと該平面ＩＤに対応する平面領域内の全画像座標を受信し、平面領域内の点とパターン画像上で対応付けられる点を少なくとも４点以上決定し、対応座標を平面射影行列算出部１８へと出力する。
【００５５】
平面射影行列算出部１８は、対応座標を受信し、該対応座標から平面上に存在する点同士の関係を表現する平面射影行列を平面領域毎に算出し、出力する。
【００５６】
パラメータ推定部１９は、前記平面射影行列を受信し、該平面射影行列から前記投影装置１１と前記撮像装置１２各々の内部パラメータおよび相対位置、姿勢を算出する。
【００５７】
続いてカメラ・プロジェクタ校正装置で行われる処理フローを詳細に説明する。全体の処理を図２に示す。カメラ・プロジェクタ校正装置では、まずパターン撮像部１４が起動される。パターン撮像部１４が起動すると、まず所定のパターン画像を生成する（Ｓ１）。
【００５８】
ここで、所定のパターン画像とは、例えば、１色の画素値が該画素値と異なる画素値で表現される画素上に縦横にすき間をあけて組んだ格子縞模様等で表現されるパターン画像である。
【００５９】
続いて生成したパターン画像を投影装置１１に転送、投影出力命令を出す。投影装置１１から投影出力完了信号を受信したら、次に撮像装置１２に撮像命令を出す。
【００６０】
撮像装置１２は撮像命令を受信すると、撮像を行ない、次に撮像したパターン撮像画像を記憶装置１３へと保存し、撮像完了信号一をパターン撮像部１４へと出力する。パターン撮像部１４は、撮像装置１２から撮像完了信号を受信にして処理を終了する。
【００６１】
続いてパターン抽出部１５が起動される（Ｓ２）。パターン抽出部１５での処理を図３に示す。パターン抽出部１５では起動すると、まず記憶装置１３からパターン撮像部１４で撮影されたパターン撮像画像を読み出す（Ｓ２１）。
【００６２】
パターン抽出部１５では、読み出したパターン撮像画像の画素値に対して二値化を行ない（Ｓ２２）、続いて該二値化画像に対し該画像内に含まれる各々の連結図形の連結性を失うことなく線幅が一の線図形まで細める細線化を行う（Ｓ２３）。細線化については、従来の技術と特に変わらないので、ここでの詳細な説明は省略する。最後に細線化された画像を抽出パターン画像として平面領域抽出部１６へ転送して処理を終了する（Ｓ２４）。
【００６３】
続いて平面領域抽出部１６が起動される（Ｓ３）。図４は平面領域抽出部１６での処理の流れを示した図である。平面領域抽出部１６では、四角のパターンを投影装置１１のイメージプレーンから空間中に存在する平面の投影面に投影し、その様子を撮像装置１２のイメージプレーンに撮像した時には、撮像装置１２が出力する撮像画像中でも四角に観測されることを利用して平面領域を抽出する（Ｓ４）（Ｓ５）。
【００６４】
なお、空間中に存在する投影面が平面でない場合には、撮像画像中では四角として観測されない。平面領域抽出部１６が起動すると、まずパターン抽出部１５から抽出パターン画像を受信する（Ｓ３１）。
【００６５】
続いて該抽出パターン画像内に表現されている複数の直線同士の全交点を検出する。この処理は例えば、抽出パターン画像に対してHough変換を施して得られた直線同士の交点を求める（Ｓ３２）ことや、コーナー抽出フィルタとして知られるSUSANオペレータなどのフィルタを抽出パターン画像に施すことによって実現できる。
【００６６】
続いて、得られた複数の交点群を対象として、四角形要素に分割する（Ｓ３３）。四角形分割処理は、例えば、Delaunay三角分割を四角形要素に拡張した方法や、抽出されたある直線同士の交点から交点を構成する２直線の方向に近傍領域を探索して他の２交点を決定し、続いて決定された２交点から同様の方法により最後の１点を決定するなどの方法で実現される。
【００６７】
続いて分割された四角形から一つの四角形を選択し（Ｓ３４）、四角形を構成する４辺と抽出パターン画像中の直線との重複画素数が予め定めた閾値を越えたら該四角形を空間中での平面領域を表す四角平面とする（Ｓ３５）。
【００６８】
この処理を全四角形要素に対して施す（Ｓ３６）。続いて、隣接する四角平面を連結統合し（Ｓ３７）、個々に各平面を同定する唯一の平面ＩＤを付与して平面領域とする（Ｓ３８）。この処理は、例えば、四角形の面積もしくは四角形の各角度の違いを閾値としたクラスタリングなどで実現できる。最後に全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域の上の少なくとも４点以上の座標を対応座標算出部１７に転送して処理を終了する（Ｓ３９）。
【００６９】
続いて、対応座標算出部１７が起動される。対応座標算出部１７では、まず、平面領域抽出部１６から全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域内の全画像座標を受信する（Ｓ６）。
【００７０】
次に記憶装置１３から前記パターン画像と前記パターン撮像画像を読み出し、続いて、パターン撮像画像に対して画像上の角や交点となる特徴点の座標を抽出しておく。
【００７１】
この特徴点となる点は、前記平面領域抽出部１６で求めた直線同士の交点をそのまま用いてもよい。次に、パターン撮像画像の平面領域上での特徴点と該特徴点座標近傍の画素値を用いて照合パターンを作成し、該照合パターンを用いて前記パターン画像で前記特徴点に対応する対応点を決定する。
【００７２】
この対応点決定処理を各平面ＩＤに対して少なくとも４点以上に対して行なう。また、少なくとも２つ以上の平面ＩＤに対して行なう。最後に全平面ＩＤと該平面ＩＤ上の画像座標と該画像座標の対応座標を平面射影行列算出部１８に転送して処理を終了する。
【００７３】
続いて、平面射影行列算出部１８が起動される（Ｓ７）。平面射影行列は起動すると、まず対応座標算出部１７から全平面ＩＤと該平面ＩＤ上の画像座標と該画像座標の対応座標を受信する。
【００７４】
続いて、受信した平面ＩＤごとにパターン画像とパターン撮影画像の画像間での４点以上の対応点から平面射影行列Ｈを算出する。平面射影行列Ｈとは、図２３のように同一平面を撮影した２枚の画像間で同一平面上に存在する点の射影的関係を表す行列であり、式（１）のように９つのパラメータ（ｈｉｊ）で表現される。
【００７５】
【数１】
2005326247.tif 000003
【００７６】
４点以上の対応点から平面射影行列Ｈを算出する方法は、例えば「Hartley R.,“In defence of the eightpoint algorithm,”IEEE Transactions of Pattern Analysis and Machine Intelligence, Vol.19, No.6,pp580-593,1997.」に記載の技術により実現される。最後に平面ＩＤと該平面ＩＤに対応する平面射影行列Ｈを、パラメータ推定部１９に転送して処理を終了する。
【００７７】
最後にパラメータ推定部１９が起動される（Ｓ８）。パラメータ推定部１９は起動されると、まず平面射影行列推定部１８から平面ＩＤと該平面ＩＤに対応する平面射影行列Ｈを受信する。
【００７８】
続いて、受信した少なくとも２つ以上の平面射影行列Ｈから前記投影装置１１と前記撮像装置１２各々の内部特性（各装置の焦点距離）および相対位置、姿勢を算出する。
【００７９】
平面射影行列Ｈと前記投影装置１１と前記撮像装置１２各々の内部特性および相対位置、姿勢の関係は以下のように導かれる。まず、投影装置１１及び撮像装置１２の内部特性を表す行列それぞれを、次式Ａ，Ａ’とし（ｆ1，ｆ2は焦点距離）
【００８０】
【数２】
2005326247.tif 000004
【００８１】
空間中に存在する平面の法線ベクトルを次式ｎとし、
【００８２】
【数３】
2005326247.tif 000005
【００８３】
投影装置１１を基準として撮像装置１２の相対位置ベクトルを式Ｔ，相対姿勢行列式Ｒを次式のようにそれぞれ表し、
【００８４】
【数４】
2005326247.tif 000006
【００８５】
【数５】
2005326247.tif 000007
【００８６】
投影装置１１から平面までの距離をｄとすると、平面射影行列Ｈは式（２）で表現される。
【００８７】
【数６】
2005326247.tif 000008
【００８８】
実際に観測される平面射影行列Ｈはスケール成分Ｓを含むことを考慮し式（２）を変換すると、式（３）のようになる。
【００８９】
【数７】
2005326247.tif 000009
【００９０】
また、投影装置１１もしくは撮像装置１２の投影中心を相互に投影した点であるエピポールｅが、式（４）で表す平面射影行列Ｈから求まる。
【００９１】
【数８】
2005326247.tif 000010
【００９２】
ここで、Ｈ1は平面ＩＤ＝１の平面について求めたＨ，Ｈ2は平面ＩＤ＝２の平面について求めたＨをそれぞれ表している。
【００９３】
式（３）、と式（４）で算出されるエピポールの関係から前記投影装置１１と前記撮像装置１２各々の内部特性を示すＡ，Ａ’および相対位置Ｔ，姿勢Ｒが導出可能である。
【００９４】
この導出は「Xu,Gang,Terai Junichi and Shum, Heung-Yeung.,“A linear algorithm for camera self-calibration,motion and structure recovery for multi-planar scenes from two perspective images”,Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,2000.」に記載の方法等で実現可能である。最後にパラメータ推定部１９は、算出した内部特性Ａ，Ａ’および相対位置Ｔ，相対姿勢Ｒを出力して処理を終了する。
【００９５】
続いて、本発明における情報提示装置の第２の構成について説明する。
【００９６】
この例のカメラ・プロジェクタ校正装置は、投影装置１１、撮像装置１２、記憶装置１３、パターン撮像部１４、パターン抽出部１５、平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９とから概略構成されている。
【００９７】
この装置の構成は第１の構成とほぼ同様であるが、パターン撮像部１４において、縦縞模様と横縞模様の２つの画像を生成して投影出力・撮像を行なうステップと、パターン抽出部１５において、両画像の差分画像から抽出パターン画像を生成するステップを新たに設けることにより、投影面の色に影響されない抽出パターン画像の生成を可能とし、その結果、投影装置１１、撮像装置１２の精度の良い校正を実現している点が異なっている。
【００９８】
この例のカメラ・プロジェクタ校正装置の全体の処理は、図２で示した第１の構成の処理と同様である。平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９での処理は、第１の構成の場合の平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９と同様の処理であるので、ここでの詳細な説明は省略する。
【００９９】
パターン撮像部１４で行なわれる処理フローを説明する。パターン撮像部１４は起動すると、まず所定のパターン画像を生成する。ここで所定のパターンとは例えば、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の２つの画像で表現されるパターンである。
【０１００】
続いて、生成したパターン画像を１枚ずつ投影装置１１に転送、投影出力命令を出す。投影装置１１から投影出力完了信号を受信したら、次に撮像装置１２に撮像命令を出す。撮像装置１２は撮像命令を受信すると、各パターン画像について撮像を行い次に撮像したパターン撮像画像を記憶装置１３へと保存し、撮像完了信号をパターン撮像部１４へと出力する。パターン撮像部１４は撮像装置１２から撮像完了信号を受信して処理を終了する。
【０１０１】
続いてパターン抽出部１５での処理フローを図５を用いて説明する。パターン抽出部１５は起動すると、まず記憶装置１３からパターン撮像部１４で撮影された縦縞模様を投影した時のパターン撮像画像と横縞模様を投影した時のパターン撮像画像２枚を読み出す（Ｓ５１，Ｓ５２）。
【０１０２】
次に両画像の差分画像を生成する（Ｓ５３）。差分処理は同一画像座標を有す画素値同士の差の絶対値を算出することにより実現できる。続いて生成した差分画像の画素値に対して二値化を行ない二値化画像を生成する（Ｓ５４）。
【０１０３】
続いて、該二値化画像に対して差分処理、二値化処理によって生じた撮像画像内でパターンを構成する線分のかすれ・途切れを埋めるために膨張縮小処理を行なう（Ｓ５５）。
【０１０４】
この膨張縮小処理は、二値化画像に対して連結成分の輪郭画素を外側に１層分増やす処理と連結成分の輪郭画素を取り除いて１層分小さくする処理をあらかじめ定められた回数行なうことにより実現される。
【０１０５】
続いて，膨張縮小処理後の画像に対し該画像内に含まれる各々の連結図形の連結性を失うことなく線幅が一の線図形まで細める細線化を行う（Ｓ５６）。細線化については従来の技術と特に変わらないので、ここでの詳細な説明は省略する。最後に細線化された画像を抽出パターン画像として平面領域抽出部１６へ転送して処理を終了する（Ｓ５７）。
【０１０６】
続いて、本発明における情報提示装置の第３の構成について説明する。この例のカメラ・プロジェクタ校正装置は、投影装置１１、撮像装置１２、記憶装置１３、パターン撮像部１４、パターン抽出部１５、平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９とから概略構成されている。
【０１０７】
この装置の構成は、第１の構成とほぼ同様であるが、パターン撮像部１４において、縦縞模様と横縞模様の２つの画像を生成して投影出力・撮像を行なうステップと、パターン抽出部１５において、両画像の２値化、膨張縮小処理、細線化をそれぞれ行なった論理和画像から抽出パターン画像を生成するステップを設けることにより、投影面の形状が複雑な際に投影装置１１からの光線が所望の投影面の位置に加え、他の投影面位置まで反射する２次反射の影響を抑えた抽出パターン画像の生成を可能とし、その結果、投影装置１１、撮像装置１２の精度の良い校正を実現している点が異なっている。
【０１０８】
この例のカメラ・プロジェクタ校正装置の全体の処理は図２で示した第１の構成の処理と同様である。平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９での処理は、第１の構成の場合の平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９と同様の処理であるので、ここでの詳細な説明は省略する。
【０１０９】
パターン撮像部１４で行なわれる処理フローを説明する。パターン撮像部１４は起動すると、まず所定のパターン画像を生成する。ここで所定のパターンとは例えば、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と、１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の２枚以上の画像で表現されるパターンである。
【０１１０】
続いて、生成したパターン画像を１枚ずつ投影装置１１に転送、投影出力命令を出す。投影装置から投影出力完了信号を受信したら、次に撮像装置１２に撮像命令を出す。
【０１１１】
撮像装置１２は撮像命令を受信すると、各パターン画像について撮像を行い、次に撮像したパターン撮像画像を記憶装置１３へと保存し、撮像完了信号をパターン撮像部へと出力する。パターン撮像部１４は、撮像装置１２から撮像完了信号を受信して処理を終了する。
【０１１２】
続いて、パターン抽出部１５での処理フローを図６を用いて説明する。パターン抽出部１５は起動すると、まず記憶装置１３からパターン撮像部１４で撮影された縦縞模様を投影した時のパターン撮像画像と横縞模様を投影した時のパターン撮像画像２枚以上を読み出す（Ｓ６１）。
【０１１３】
続いて、縦横縞両方処理済かをステップＳ６２で判定し、ＮＯなら、両パターン撮像画像の画素値に対して二値化を行ない、二値化画像を生成する（Ｓ６３）。
【０１１４】
この二値化処理は、投影面の色の影響を避けるため、両パターン撮像画像から予め撮影しておいたパターン投影前の投影面の画像を減算した差分画像に対して適用しても良い。
【０１１５】
続いて，２枚の該二値化画像に対して二値化処理によって生じた撮像画像内でパターンを構成する線分のかすれ・途切れを埋めるために膨張縮小処理を行なう（Ｓ６４）。
【０１１６】
この膨張縮小処理は，二値化画像に対して連結成分の輪郭画素を外側に１層分増やす処理と連結成分の輪郭画素を取り除いて１層分小さくする処理をあらかじめ定められた回数行なうことにより実現される。
【０１１７】
続いて，膨張縮小処理後の両画像に対し該画像内に含まれる各々の連結図形の連結性を失うことなく線幅が一の線図形まで細める細線化を行う（Ｓ６５）。
【０１１８】
細線化については従来の技術と特に変わらないので、ここでの詳細な説明は省略する。最後に細線化された両画像の論理和画像を生成し抽出パターン画像とする。
【０１１９】
前記Ｓ６２で、ＹＥＳなら、論理和画像生成処理は同一画像座標を有す画素値のいずれかが値を有すれば１とし、そうでなければ「０」とすることにより実現できる（Ｓ６６）。また、両画像が２値画像であれば両画像の加算によっても実現できる。最後に該抽出パターン画像を平面領域抽出部１６へ転送して処理を終了する（Ｓ６７）。
【０１２０】
続いて、本発明におけるカメラ・プロジェクタ校正装置の第４の構成について説明する。この例のカメラ・プロジェクタ校正装置は、投影装置１１、撮像装置１２、記憶装置１３、パターン撮像部１４、パターン抽出部１５、平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメータ推定部１９とから概略構成されている。
【０１２１】
この装置の構成は第２，３の構成とほぼ同様であるが、パターン撮像部１４において、縦縞模様と横縞模様の２つの画像を含む２進グレイコード化パターン画像を生成して投影出力・撮像を行なうステップと、前記２進グレイコード化パターン画像を投影撮像したパターン撮像画像を用いて前記パターン画像とパターン撮像画像の対応点を決定するステップを新たに設けることにより、構成１，２で対応１点の検出時に必要であったパターン画像での照合パターンの生成と該照合パターンとパターン撮像画像との照合処理を不要とし、その結果、計算処理量を削減可能とした投影装置１１、撮像装置１２の精度の良い，校正を実現している点が異なっている。
【０１２２】
この例のカメラ・プロジェクタ校正装置の全体の処理は図２で示した第１の構成の処理と同様である。平面領域抽出部１６、平面射影行列算出部１８とパラメータ推定部１９での処理は、第１の構成の場合の平面領域抽出部１６、対応座標抽出部１７、平面射影行列算出部１８とパラメー夕推定部１９と同様の処理であるので、ここでの詳細な説明は省略する。
【０１２３】
また、パターン抽出部での処理は第２，３の構成とパターン抽出部と同様の処理であるので、ここでの詳細な説明は省略する。
【０１２４】
パターン撮像部１４で行なわれる処理フローを説明する。パターン撮像部１４は起動すると、まず所定のパターン画像を生成する。ここで所定のパターンとは、例えば、投影出力後の投影面の時系列での色変化が２進グレイコードで表現されるように画像上で２色の色が縦横に縞模様として配置された複数の２進グレイコード化パターン画像である。
【０１２５】
続いて生成したパターン画像を１枚ずつ投影装置１１に転送、投影出力命令を出す。投影装置１１から投影出力完了信号を受信したら、次に撮像装置１２に撮像命令を出す。撮像装置１２は撮像命令を受信すると、撮像を行ない、次に撮像したパターン撮像画像を順次記憶装置１３へと保存し、撮像完了信号をパターン撮像部１４へと出力する。
【０１２６】
パターン撮像部１４は、撮像装置１２から撮像完了信号を受信して処理を終了する。
【０１２７】
続いて、対応座標算出部１７で行われる理を、図２４を用いて説明する。対応座標算出部１７では、まず、平面領域抽出部１６から全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域内の全画像座標を受信する（Ｓ７１）。
【０１２８】
次に記憶装置１３から前記パターン画像と前記パターン撮像画像を全て読み出す（Ｓ７２）。続いて、前記パターン撮像画像全てに対して、前記パターン画像で使用されている２色の色による二値化を行なう（Ｓ７３）。
【０１２９】
続いて、該二値化された複数の画像をパターン画像投影順序に並べた空間コード化画像を生成し（Ｓ７４）、該空間コード化画像から前記パターン撮像画像の各画素におけるグレイコードを復元し（Ｓ７５）、該復元されたグレイコードと前記パターン画像で表現された２進グレイコードを用いて（Ｓ７６）、前記パターン撮像画像の平面領域上で前記特徴点に対応する対応点を決定する。この対応点決定処理を各平面ＩＤに対して少なくとも４点以上に対して行ない、全平面ＩＤ処理済かを判断（Ｓ７７）し、ＮＯなら平面ＩＤを１つ選択する（Ｓ７８）。
【０１３０】
その後、指定画像座標数は処理済みかを判断し（Ｓ７９）、ＮＯなら該平面ＩＤ上の画像座標を１つ選択（Ｓ８０）した後、該画像座標のグレイコードとパターン画像の２進グレーコードが一致する点を対応点とし、その座標を対応座標として記憶装置１３に記憶する（Ｓ８１）。
【０１３１】
また、少なくとも２つ以上の平面ＩＤに対して行なう（Ｓ７７でＹｅｓ）。最後に全平面ＩＤと該平面ＩＤ上の画像座標と該画像座標の対応座標を平面射影行列算出部１８に転送して処理を終了する（Ｓ８２）。
【０１３２】
［第１実施の形態］
次に本発明の第１実施の形態を具体的データに即して説明する。まず、三次元空間中に少なくとも２平面以上から構成されるスクリーン２０と、該スクリーン２０に対し入力された投影像を投影出力する投影装置１１と投影像についてその投影面を含むシーンを撮像する投影装置１１がそれぞれ、図７，８に示すように配置されているものとする。
【０１３３】
ここでｆ1，ｆ2はそれぞれ投影装置１１の内部パラメータを決定する焦点距離を示し、Ｔは投影装置の投影中心からの撮像装置１２の投影中心の相対位置、Ｒは投影装置１１内部の液晶などのパネル面に対して撮像装置１２内部のＣＣＤなどの撮像面の相対的な姿勢を示す。本実施の形態では前記ｆ1，ｆ2及びＴ，Ｒを決定するプロジェクタ・カメラ校正装置について以下説明する。
【０１３４】
カメラ・プロジェクタ校正装置では、まずパターン撮像部１４が起動される。パターン撮像部１４は起動すると、まず所定のパターン画像を生成する。この例では図９に示すような白の背景に黒で表現された格子縞模様をパターンして生成するものとする。
【０１３５】
続いて生成したパターン画像を投影装置１１により投影出力する。続いて撮像装置１２が撮像を行ないパターン撮像画像として記憶装置１３へ保存し、処理を終了する。この例では、パターン撮像画像として図１０に示すような画像が撮像されたものとする。
【０１３６】
続いて、パターン抽出部１５が起動される。パターン抽出部１５では、まず記憶装置１３から前記パターン撮像画像を読み出す。次に読み出したパターン撮像画像の画素値に対して二値化を行なう。この例では予め与えられた閾値を用いて二値化した結果、図１１のような二値化画像が得られる。
【０１３７】
続いて、該二値化画像に対し細線化処理を行う。この例では、図１２のように細線化される。最後に細線化された画像を抽出パターン画像として平面領域抽出部１６へ転送して処理を終了する。
【０１３８】
続いて、平面領域抽出部１６が起動される。平面領域抽出部１６は、前記抽出パターン画像内に表現されている複数の直線同士の全交点を検出する。この例では前記抽出パターン画像にコーナー検出フィルタを適用することによって、図１３の丸印で示す位置で交点が得られたものとする。
【０１３９】
続いて、得られた複数の交点群を対象として、四角形要素に分割する。この例では図１２の一部分が、図１３の太線で示した四角Ｐ，Ｑ，Ｒ，Ｓ，Ｔ，Ｕのように分割されたものとして以下の説明を進める。
【０１４０】
続いて分割された四角形から一つの四角形を選択し、四角形を構成する４辺と抽出パターン画像中の直線との重複画素数が予め定めた閾値を越えたら該四角形を空間中での平面領域を表す四角平面とする。この例では前記Ｐ，Ｑ，Ｒ，Ｓ，Ｔ，ＵのうちＱ，Ｒ，Ｓ，Ｔ，Ｕは四角形の４辺と抽出パターン画像内の直線との重複画素が閾値以下であり、ＰとＳが四角平面と判定されたものとする。
【０１４１】
続いて、隣接する四角平面を連結統合し、個々に各平面を同定する唯一の平面ＩＤを付与して、平面領域とする。例えば、図１３の例では四角形の面積の変化すなわち隣接する四角形との面積差を閾値としてクラスタリングを行い、ＰとＳが同一領域として統合される。この処理を全ての四角形要素に対して適用した結果、図１４のように２つの平面領域が得られる。
【０１４２】
最後に全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域の全画像座標を対応座標算出部１７に転送して処理を終了する。
【０１４３】
この例では、図１４中の白色の平面ＩＤが１、淡い灰色の平面ＩＤが２であったとすると、
｛平面ＩＤ：画像座標｝={1:(1,1),(1,2),(2,1),(2,2)…},{2：(10,10),(10,11),(11.10),(11,11)…｝という情報が転送されることとなる。
【０１４４】
続いて、対応座標算出部１７が起動される。対応座標算出部１７では、まず、平面領域抽出部１６から全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域内の全画像座標
｛平面ＩＤ：画像座標｝={1:(1,1),(1,2),(2,1),(2,2)…},{2：(10,10),(10,11),(11.10),(11,11)…｝を受信する。
【０１４５】
次に記憶装置１３から前記パターン画像と前記パターン撮像画像を読み出し、続いてパターン撮像画像に対して画像上の角や交点となる特徴点の座標を抽出しておく。この特徴点となる点は前記平面領域抽出部１６で求めた直線同士の交点をそのまま用いてもよい。
【０１４６】
この例では、特徴点として受信した平面領域抽出部１６から全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域内の全画像座標同様
｛平面ＩＤ：画像座標｝={1:(1,1),(1,2),(2,1),(2,2)…},{2：(10,10),(10,11),(11.10),(11,11)…｝が選択されたものとする。
【０１４７】
次にパターン撮像画像の平面領域上での特徴点と該特徴点座標近傍の画素値を用いて照合パターンを作成し、該照合パターンを用いて前記パター
ン画像で前記特徴点に対応する対応点を決定する。平面ＩＤ１の第一の特徴点の画像座標(1,1)に対して照合パターンを作成し、該照合パターンを用いてパターン画像から対応点を決定した結果を図１５に示す。
【０１４８】
ここで、図１５中の白枠の四角で示した領域が照合パターンを示し、該照合パターンの利用によりパターン画像中で特徴点に対応する対応点として(2,3)が決定された様子を示している。実際には、例えば、格子パターンの線をそれぞれ唯一の種類の破線としたり、あるいは、格子パターン中にマーカーとなるパターンを埋め込むことにより、他の特徴点と区別が付きやすいようにしておき、これを利用して対応付けを実現する。
【０１４９】
この対応点決定処理を各平面ＩＤに属する特徴点座標のうち少なくとも４点以上に対して行なう。また、少なくとも２つ以上の平面ＩＤに対して行なう。最後に全平面ＩＤと該平面ＩＤ上の画像座標と該画像座標の対応座標を平面射影行列算出部１８に転送して処理を終了する。この例では平面ＩＤ上での各特徴点座標と対応点が図１６で示すように決定され、平面射影行列へと転送されるものとする。
【０１５０】
続いて、平面射影行列算出部１８が起動される。平面射影行列は起動すると、まず対応座標算出部１７から全平面ＩＤと該平面ＩＤ上の画像座標と該画像座標の対応座標を受信する。この例では｛平面ＩＤ：画像座標：対応座標｝={1:(1,1),(1,2),(2,1),(2,2)…:(2,3),(2,4),(3,3),(3,4)…},{2：(10,10),(10,11),(11.10),(11,11)…:(12,11),(12,12),(13,11),(13,12)…｝を受信する。
【０１５１】
続いて、受信した平面ＩＤごとにパターン画像とパターン撮像画像の画像間での４点以上の対応点から平面射影行列Ｈを算出する。この例では、式（１）の関係から、平面ＩＤ１に対応する平面射影行列Ｈ1，平面ＩＤ２に対応する平面射影行列Ｈ2はそれぞれ、次式により求まる。
【０１５２】
【数９】
2005326247.tif 000011
【０１５３】
最後に平面ＩＤと該平面ＩＤに対応する平面射影行列Ｈ1，Ｈ2をパラメータ推定部１９に転送して処理を終了する。
【０１５４】
最後にパラメータ推定部１９が起動される。パラメータ推定部１９は起動されると、まず平面射影行列推定部１８から平面ＩＤと該平面ＩＤに対応する平面射影行列Ｈ1，Ｈ2を受信する。
【０１５５】
続いて受信した少なくとも２つ以上の平面射影行列から式（４）と式（３）を用いて前記投影装置１１と前記撮像装置１２各々の内部特性Ａ，Ａ’および相対位置Ｔ，姿勢Ｒを算出し、処理を終了する。
【０１５６】
［第２の実施形態］
次に本発明の第２の構成の実施形態を具体的データに即して説明する。本実施形態では、第１の実施形態におけるパターン抽出時にパターン撮像手段（撮像部）１４が生成する縦縞模様と横縞模様の２つの画像の投影出力結果を撮像した２枚のパターン撮像画像を使用した場合について説明する。
【０１５７】
第１の実施形態はパターン撮像手段（撮像部）１４が生成する格子模様の画像の投影出力結果を撮像したパターン撮像画像を使用してパターン抽出手段（抽出部）１５で２値化して抽出パターンを生成する場合について説明したが、これだと２値化の閾値によってはスクリーン自身に描画されている模様やスクリーン自体の色も抽出パターン画像に含まれる場合があり、校正結果に誤差が含まれてしまう。
【０１５８】
第２の実施形態では、パターン撮像手段１４が生成する縦縞模様と横縞模様の２つの画像の投影出力結果を撮像した２枚のパターン撮像画像の差分をとり、該差分画像からパターンを抽出するものとする。こうすることによってスクリーン自身に描画されている模様やスクリーン自体の色に影響されずに抽出パターン画像の生成が可能となる。
【０１５９】
本実施形態としては、第１の実施形態のパターン撮像部１４において、縦縞模様と横縞模様の２つの画像を生成して投影出力・撮像を行なうステップと、パターン抽出部１５において、両画像の差分画像から抽出パターン画像を生成するステップが新たに設けられている。
【０１６０】
この例のカメラ・プロジェクタ校正装置における投影装置１１、撮像装置１２、スクリーン２０の配置は図６で示した第１の実施形態と同様である。
【０１６１】
本実施形態におけるパターン撮像手段（部）１４での処理について説明する。パターン撮像手段（撮像部）１４は起動すると、まず所定のパターン画像を生成する。ここで所定のパターンとは例えば、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の２つの画像で表現されるパターンである。
【０１６２】
続いて、生成したパターン画像を投影装置１１により投影出力する。続いて、撮像装置１２が撮像を行ないパターン撮像画像として記憶装置１３へ保存し、処理を終了する。この例ではパターン撮像画像として図１７のような画像が得られる。
【０１６３】
次にパターン抽出部１５での処理を説明する。パターン抽出部１５では、まず記憶装置１３から前記パターン撮像画像を２枚読み出す。次に両画像の差分画像を生成する。この例では、図１８のような差分画像が生成される。
【０１６４】
続いて、生成した差分画像の画素値に対して二値化を行ない二値化両像を生成する。続いて、該二値化画像に対して差分処理、二値化処理によって生じた撮像画像内でパターンを構成する線分のかすれ・途切れを埋めるために膨張縮小処理を行なう。
【０１６５】
続いて、膨張縮小処理後の画像に対し細線化を行ない、抽出パターン画像として平面領域抽出部１６へ転送して処理を終了する。
【０１６６】
以下の処理は第１の実施形態と同様であるので、ここでの詳細な説明は省略する。
【０１６７】
［第３の実施形態］
次に本発明の第３の構成の実施形態を具体的データに即して説明する。本実施形態では、第１の実施形態におけるパターン抽出時にパターン撮像手段（撮像部）１４が生成する縦縞模様と横縞模様の２つの画像の投影出力結果を撮像した２枚と、何も投影しない投影面の状態を撮像した１枚の計３枚のパターン撮像画像を使用した場合について説明する。
【０１６８】
第１の実施形態はパターン撮像手段（撮像部）１４が生成する格子模様の画像の投影出力結果を撮像したパターン撮像画像を使用してパターン抽出手段で２値化して抽出パターンを生成する場合について説明したが、これだと２値化の閾値によってはスクリーン自身に描画されている模様やスクリーン自体の色も抽出パターン画像に含まれる場合があり、校正結果に誤差が含まれてしまう。
【０１６９】
また、投影面の形状が複雑な際には、投影装置１１からの光線が、所望の投影面の位置に加え、他の投影面位置まで反射する２次反射の影響により、図２５上段のように撮像画像から投影パターン画像に該当する画素を抽出する時に本来の格子位置とのずれが生じることがあり、校正結果に誤差が含まれてしまう。
【０１７０】
第３の実施形態では、パターン撮像手段（撮像部）１４が生成する縦縞模様と横縞模様の２つの画像の投影出力結果を撮像した２枚のパターン撮像画像と、何も投影しない投影面の状態を撮像した１枚撮像画像の差分をそれぞれとり、該差分画像からパターンを抽出するものとする。こうすることによってスクリーン自身に描画されている模様やスクリーン自体の色に影響されずに抽出パターン画像の生成が可能となる。
【０１７１】
また、差分画像の２値化、膨張縮小処理、細線化をそれぞれ行なった２枚の画像の論理和をとり抽出パターン画像を生成することによって図２５下段のように２次反射に影響されない抽出パターン画像の生成が可能となる。
【０１７２】
本実施形態としては、第１の実施形態のパターン撮像部において縦縞模様と横縞模様の２つの画像を生成して投影出力・撮像を行なうステップと、パターン抽出部において両画像の２値化、膨張縮小処理、細線化をそれぞれ行なった論理和画像から抽出パターン画像を生成するステップが新たに設けられている。
【０１７３】
この例のカメラ・プロジェクタ校正装置における投影装置１１、撮像装置１２、スクリーン２０の配置は、図６で示した第１の実施形態と同様である。本実施形態におけるパターン撮像手段（撮像部）１４での処理について説明する。
【０１７４】
パターン撮像手段（撮像部）１４は起動すると、まず所定のパターン画像を生成する。ここで所定のパターンとは例えば、１色の画素値が該画素値と異なる画素値で表現される画素上に縦にすき間をあけて組んだ縦縞模様と１色の画素値が該画素値と異なる画素値で表現される画素上に横にすき間をあけて組んだ横縞模様の２つの画像で表現されるパターンである。
【０１７５】
続いて、生成したパターン画像を投影装置１１により投影出力する。続いて撮像装置１２がパターン投影結果とパターン投影を行なわない時の投影面の状態の撮像を行ないパターン撮像画像として記憶装置１３へ保存し、処理を終了する。この例ではパターン撮像画像として図１７と同様の画像に加え、図１９に示す画像が得られる。
【０１７６】
次にパターン抽出部１５での処理を説明する。パターン抽出部１５ではまず記憶装置１３から前記パターン撮像画像を３枚読み出す。次に図１７の両画像それぞれに対して図１９の画像との差分画像を生成する。
【０１７７】
続いて、生成した差分画像の画素値に対して二値化を行ない二値化画像を生成する。続いて、該二値化画像に対して差分処理、二値化処理によって生じた撮像画像内でパターンを構成する線分のかすれ・途切れを埋めるために膨張縮小処理を行なう。
【０１７８】
続いて、膨張縮小処理後の画像に対し細線化を行なう。その後、細線化された両画像の論理和をとり、抽出パターン画像を生成する。最後に抽出パターン画像として平面領域抽出部１６へ転送して処理を終了する。以下の処理は第１の実施形態と同様であるので、ここでの詳細な説明は省略する。
【０１７９】
［第４の実施形態］
次に、本発明の第４の構成の実施形態を具体的データに即して説明する。本実施形態では、第１の実施形態における対応点決定時にパターン撮像手段（撮像部）１４が生成する縦縞模様と横縞模様の２つの画像を含む２進グレイコード化パターン画像の投影出力結果を撮像した複数のパターン撮像画像を使用した場合について説明する。
【０１８０】
第１、第２、第３の実施形態では対応座標算出手段（算出部）１７において、パターン撮像画像の画素値を用いて画像上の角や交点となる抽出した特徴点近傍の領域から生成した照合パターンを使用し、該照合パターンを用いてパターン画像上で前記特徴点に対応する対応点を決定する場合について説明したが、これだと１つの照合パターンをパターン画像上で全領域動かして対応点を探索する必要があるため処理時間がかかってしまう。
【０１８１】
また、対応点探索時に対応点以外の場所に照合パターンと類似のパターンが存在すると誤対応となり、その結果、校正結果に誤差が含まれてしまう。
【０１８２】
第４の実施形態では、対応座標算出手段（算出部）１７において、パターン撮像手段が生成する縦縞模様と横縞模様の２つの画像を含む２進グレイコード化パターン画像の投影出力結果を撮像した複数のパターン撮像画像から空間コーディング法により対応座標を決定する。
【０１８３】
こうすることによって、計算処理量を削減可能とした投影装置１１、撮像装置１２の精度の良い校正が可能となる。本実施形態としては、第２、第３の実施形態のパターン撮像部１４において、縦縞模様と横縞模様の２つの画像を含む２進グレイコード化パターン画像を生成して投影出力・撮像を行なうステップと、対応座標算出部１７において、パターン撮像画像から空間コーディング法により対応座標を決定するステップが新たに設けられている。
【０１８４】
この例のカメラ・プロジェクタ校正装置における投影装置１１、撮像装置１２、スクリーン２０の配置は、図７で示した第１の実施形態と同様である。
【０１８５】
本実施形態におけるパターン撮像手段での処理について説明する。パターン撮像手段（撮像部）１４は起動すると、まず所定のパターン画像を生成する。この例では、図２０で示すような投影出力後の投影面の時系列での色変化が２進グレイコードで表現されるように画像上で２色の色が縦横に縞模様として配置された複数の２進グレイコード化パターン画像で表現されるパターンである。
【０１８６】
なお、ここでは以下の説明の簡単化のため、パターン画像として２進グレイコード化パターン画像ではなく、図２１のパターン画像１〜３で示す２進コードパターン画像を用いたものとする。
【０１８７】
続いて生成したパターン画像１〜３を投影装置１１により投影出力する。続いて撮像装置１２が撮像を行ないパターン撮像画像として記憶装置１３へ保存し、処理を終了する。この例ではパターン撮像画像として図２１のパターン撮像画像１〜３のような画像が得られたものとする。
【０１８８】
続いて対応座標算出部１７で行なわれる処理を説明する。対応座標算出部１７では、まず、平面領域抽出部１６から全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域内の全画像座標を受信する。
【０１８９】
次に記憶装置１３からパターン画像１〜３とパターン撮像画像１〜３を全て読み出す。続いて前記パターン撮像画像全てに対して、前記パターン画像で使用されている２色の色による二値化を行なう。
【０１９０】
続いて該二値化された複数の画像をパターン画像１〜３を撮像順序に並べて図２１に示すようなパターン撮像画像を時系列順に並べた空間コード画像を生成し、該空間コード画像から前記パターン撮像画像の各画素におけるグレイコードを復元する。
【０１９１】
縦縞横縞両方向のグレイコードが復元できると、図２１最下段のようにパターン画像とパターン撮像画像が全画素で対応づけられるので，前記パターン撮像画像の平面領域上の点に対応する対応点を対応付けられた点の座標から決定する。
【０１９２】
この対応点決定処理を各平面ＩＤに対して少なくとも４点以上に対して行なう。また、少なくとも２つ以上の平面ＩＤに対して行なう。最後に全平面ＩＤと該平面ＩＤ上の画像座標と該画像座標の対応座標を平面射影行列算出部１８に転送して処理を終了する。
【０１９３】
以上、本発明を実施形態に基づき具体的に説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【０１９４】
例えば、パターン画像生成部、平面領域抽出部では四角形のパターンを投影する方法について説明したが、パターン生成画像中で多角形が構成されるよう複数のパターン画像を生成し、平面領域抽出部において、該多角形を利用して平面領域を抽出しても良い。
【０１９５】
上述した、図１で示した本発明の装置はコンピュータとプログラムによっても実現でき、あるいは図２に示したフローチャートの処理ステップをコンピュータのプログラムで構成したりして、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータでその処理ステップを実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＣＤ，ＤＶＤ，ＭＯ，ＲＯＭ、メモリカード、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。
【０１９６】
また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。これらの記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。
【図面の簡単な説明】
【０１９７】
【図１】本発明による校正装置の構成例を説明するためのブロック図である。
【図２】本発明による校正装置における処理フローを説明するための図である。
【図３】本発明による校正装置における処理フローを説明するための図である。
【図４】本発明による校正装置における処理フローを説明するための図である。
【図５】本発明による校正装置における処理フローを説明するための図である。
【図６】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図７】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図８】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図９】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１０】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１１】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１２】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１３】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１４】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１５】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１６】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１７】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１８】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図１９】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図２０】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図２１】本発明の一実施形態によるカメラ・プロジェクタ校正装置における処理を説明するための図である。
【図２２】従来技術を説明するためのブロック図である。
【図２３】本発明の一実施形態によるカメラ・プロジェクタ校正装置で使用する平面射影行列を説明するための図である。
【図２４】本発明による校正装置における対応座標抽出部処理フローを説明するための図である。
【図２５】本発明による校正装置における二次反射の影響を説明する図である。
【符号の説明】
【０１９８】
１１…投影装置
１２…撮像装置
１３…記憶装置
１４…パターン撮像部
１５…パターン抽出部
１６…平面領域抽出部
１７…対応座標算出部
１８…平面射影行列算出部
１９…パラメータ推定部
【図１】
2005326247.tif 000012
【図２】
2005326247.tif 000013
【図３】
2005326247.tif 000014
【図４】
2005326247.tif 000015
【図５】
2005326247.tif 000016
【図６】
2005326247.tif 000017
【図７】
2005326247.tif 000018
【図９】
2005326247.tif 000019
【図１３】
2005326247.tif 000020
【図１６】
2005326247.tif 000021
【図１８】
2005326247.tif 000022
【図２０】
2005326247.tif 000023
【図２２】
2005326247.tif 000024
【図２３】
2005326247.tif 000025
【図２４】
2005326247.tif 000026
【図２５】
2005326247.tif 000027
【図８】
2005326247.tif 000028
【図１０】
2005326247.tif 000029
【図１１】
2005326247.tif 000030
【図１２】
2005326247.tif 000031
【図１４】
2005326247.tif 000032
【図１５】
2005326247.tif 000033
【図１７】
2005326247.tif 000034
【図１９】
2005326247.tif 000035
【図２１】
2005326247.tif 000036
【手続補正書】
【提出日】平成16年5月18日(2004.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２０
【補正方法】変更
【補正の内容】
【請求項２０】
前記対応座標算出過程において、
前記パターン撮像画像に対し前記２進グレイコード化パターン画像で使用されている２色の色による二値化を行なった後、
該二値化された複数の画像をパターン画像投影順序に並べた空間コード画像を生成した後に、
該空間コード画像から前記パターン撮像画像の各画素のグレイコードを復元し、
該復元されたグレイコードと前記パターン画像で表現された２進グレイコードを用いて前記パターン撮像画像の平面領域上の点に対応する対応点を少なくとも４点以上決定すること、
を特徴とする請求項１１，１４，１６，１７及び１８のいずれかに記載の校正方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
続いて、対応座標算出部１７で行われる処理を、図２４を用いて説明する。対応座標算出部１７では、まず、平面領域抽出部１６から全平面ＩＤと該平面ＩＤにそれぞれ対応する平面領域内の全画像座標を受信する（Ｓ７１）。