(57)【要約】【課題】プロジェクタ・カメラシステムのパラメータを容易に校正し、また、内部・外部パラメータを推定する。【解決手段】画像入力部１２は、スクリーン上の幾何情報が既知であるターゲット点を、カメラ１から入力するとともに、プロジェクタ３からスクリーン上に照射したサンプル点をカメラ１から入力する。サンプル点補正部１４は、サンプル点の位置がスクリーン上のターゲット点の位置と一致するように、プロジェクタ３に設定するサンプル点の２次元座標を補正する。参照点抽出部１５は、ターゲット点及び補正されたサンプル点に対する画像から、カメラ１及びプロジェクタ３のパラメータを推定するための参照点を抽出する。パラメータ推定部１６は、これら参照点の２次元座標から、カメラ１及びプロジェクタ３のパラメータを推定する。【選択図】図５
2011102728.tif 000002
【特許請求の範囲】
【請求項１】
光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置であって、
スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力手段と、
前記画像入力手段により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正手段と、
前記画像入力手段により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正手段によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出手段と、
前記参照点抽出手段により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出手段により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定手段と
を備えることを特徴とする光学系パラメータ校正装置。
【請求項２】
前記光学投影装置から被写体に照射される対応点の２次元座標を変更しながら、その投影像を前記画像入力装置で測定することを逐次的に行わせ、その都度、前記画像入力手段により入力される第１の画像と前記第２の画像とから前記パラメータ推定手段により推定される、前記画像入力装置の第１のパラメータと前記光学投影装置の第２のパラメータ、及び、前記画像入力装置の姿勢・位置情報と前記光学投影装置の姿勢・位置情報に基づいて、前記対応点の３次元座標を計測する３次元計測処理手段を更に備えることを特徴とする請求項１に記載の光学系パラメータ校正装置。
【請求項３】
前記画像入力手段により入力された前記第１の画像と前記第２の画像との２次元座標値を測定し、それら画像座標値の対応関係から、前記スクリーンと前記画像入力装置間、前記光学投影装置と前記スクリーン間の平面射影変換をそれぞれ推定する平面射影推定手段を更に備え、
前記サンプル点補正手段は、
前記平面射影推定手段により推定された平面射影変換に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正する
ことを特徴とする請求項１または２に記載の光学系パラメータ校正装置。
【請求項４】
光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正方法であって、
スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、
前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、
前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、
前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップと
を含むことを特徴とする光学系パラメータ校正方法。
【請求項５】
光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、
スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力機能、
前記画像入力機能により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正機能、
前記画像入力機能により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正機能によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出機能、
前記参照点抽出機能により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出機能により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定機能
を実現させることを特徴とするプログラム。
【請求項６】
光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、
スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、
前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、
前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、
前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタとカメラによって被写体を取り囲むように配置されたプロジェクタ・カメラ系のパラメータを校正する光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来、カメラを校正する、あるいはカメラの内部・外部パラメータを推定するには、カメラキャリブレーションが利用される（例えば、非特許文献１参照）。このキャリブレーションでは、図９に示すように、被写体を平面とし、その平面上の参照点（格子点）の２次元座標を既知とし、カメラ１によりその参照点を観測する。このとき、平面上の参照点とカメラ１で得た画像座標との間には、平面射影変換（ホモグラフィ）と呼ばれる射影関係が成立する。
【０００３】
上記射影関係は、図１０に示すように、プロジェクタ３、スクリーン２、カメラ１の間でも成立するため、プロジェクタ３とカメラ１との双方をキャリブレーションする作業に利用することができる。プロジェクタ３からスクリーン２にパターンを投影し、その投影像をカメラ１で撮影する。プロジェクタ３から照射するパターンの例として、カメラ１で観測可能な程度の点、すなわち、参照点ｐ（ｐ）ｊが用いられる。この参照点を２次元座標：（ｘ（ｐ）ｊ，ｙ（ｐ）ｊ）、ｊ＝１，２，…，Ｎとして表現する。
【０００４】
スクリーン２は、平面であると仮定して、プロジェクタ３で投影されたスクリーン２上での点の３次元座標をＰ（ｓ）ｊ＝（Ｘ（ｓ）ｊ，Ｙ（ｓ）ｊ，０）、ｊ＝１，２，…，Ｎとする。さらに，そのスクリーン２上の点をカメラ１で撮影して得た２次元座標をｐ（ｃ）ｊ＝（ｘ（ｃ）ｊ，ｙ（ｃ）ｊ）、ｊ＝１，２，…，Ｎとする。このとき、プロジェクタ３にセットする参照点ｐ（ｐ）ｊ、スクリーン２上の点Ｐ（ｓ）ｊ、カメラ１で観測した画像座標ｐ（ｃ）ｊは、平面射影によって結び付けることができる。すなわち、プロジェクタ３からスクリーン２への平面射影変換をＨｐｓ、スクリーン２からカメラ１への平面射影変換をＨｓｃとすると、次式（１）、（２）の関係で対応付けることができる。
【０００５】
【数１】
2011102728.tif 000003
【０００６】
【数２】
2011102728.tif 000004
【０００７】
数式（１）、（２）から明らかなように、プロジェクタ３にセットした参照点ｐ（ｐ）ｊとカメラ１によって観測されたその点の画像座標ｐ（ｃ）ｊとの間には、次式（３）の関係が成立する。
【０００８】
【数３】
2011102728.tif 000005
【０００９】
Ｈｐｃは、プロジェクタ３にセットする点とカメラ１で観測した点とを透視投影の関係によって直接に結び付ける平面射影変換と考えることができる。逆に、数式（３）の関係から、プロジェクタ３にセットする参照点の座標とカメラ１で観測したその画像座標とが得られれば、Ｈｐｃは、最小二乗法を使って推定することができる。
【００１０】
よって、プロジェクタ３面上の任意の参照点座標ｐ（ｐ）ｊが与えられれば、Ｈｐｃを用いて、カメラ１で観測される画像座標ｐ（ｃ）ｊと対応付けることができるので、プロジェクタ３とカメラ１との双方をキャリブレーションしたことになる。このように、プロジェクタ３、スクリーン２、並びに、カメラ１の三者の平面射影変換を利用して、プロジェクタ３とカメラ１とのキャリブレーションを行うことができる。
【００１１】
近年、上述した原理を発展させ、複数のプロジェクタ、１つのスクリーン、単眼カメラを用いたプロジェクタ・カメラのキャリブレーションが公知となっている（例えば、非特許文献２参照）。この方法は、プロジェクタの内部幾何（アスペクト比、焦点距離、キーストーンなど）を既知として、スクリーンとカメラとの間の平面射影変換を、複数のプロジェクタによって形成される投影像から計算し、カメラの内部パラメータ、並びに、スクリーンに対する外部パラメータ（姿勢、位置）を推定する。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.
【非特許文献２】T. Okatani and K. Deguchi, “Autocalibration of a Projector-Camera-System”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.27, No.12, pp.1845-1855, 2005.
【非特許文献３】土居謙介，辻徳生，山本健吉，石井抱，“高フレームレート三次元画像計測のためのコード化パターン光投影法”，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９１−Ｄ，Ｎｏ．５，２００８．
【発明の概要】
【発明が解決しようとする課題】
【００１３】
プロジェクタ３とカメラ１の光学的メカニズムは、大まかに逆の構成となっている。すなわち、プロジェクタ３は、光を出すデバイスであり、カメラ１は、光を受光するデバイスである。よって、プロジェクタ３の射影幾何においても、ピンホールカメラモデルと呼ばれるシンプルな投影モデルが扱われる。
【００１４】
従来技術では。プロジェクタ３、スクリーン２、カメラ１の平面射影変換に着目して、プロジェクタ３にセットされる参照点座標とカメラ１で観測される画像座標との間の位置合わせ、あるいは、複数のプロジェクタを用いて、カメラ１の内部パラメータとスクリーン２に対する相対的なカメラ姿勢と位置を推定する。
【００１５】
しかしながら、既知の参照物体を用いたキャリブレーションではないため、スケール（カメラ位置などが実空間での物理量ではない）が不定である。射影幾何の関係上、プロジェクタ３もカメラ１と見なすことができるので、図１０に示すプロジェクタ・カメラは、二眼のステレオカメラと見なすことができる。ステレオカメラは、３次元計測にも応用することができるが、カメラの内部・外部パラメータが既知であることを前提とする。すなわち、外部パラメータのスケールが不定ならば、復元、あるいは計測した３次元情報も不定となる。
【００１６】
一方、プロジェクタ・カメラシステムは、光学パターン投影の原理を用いた３次元形状の復元に応用されている。この方法により、白黒のグレーコードをプロジェクタから投影し、被写体上の像をカメラで観測しながら、被写体の３次元形状を復元する。超高速度カメラと組み合わせた方法（例えば、非特許文献３参照）も公開されており、人の形状を密に、滑らかに復元することもできる。この方法では、スケールの不定性を解消するには、事前に実空間でのプロジェクタ・カメラキャリブレーションが必要である。
【００１７】
このように、プロジェクタ・カメラシステムを用いて、実空間スケールでの３次元形状を、復元、または計測するには、既知の参照物体を利用するか、あるいは、実空間上の何らかの既知の点との対応をとる必要があった。非特許文献１、２では、自動的なプロジェクタ・カメラシステムのキャリブレーションが可能となるが、実空間とのスケールの不定性がある。非特許文献３は、事前のキャリブレーションを前提としており、その具体的な方法は、他の手段に委ねられている。
【００１８】
カメラキャリブレーションと同様に、プロジェクタ・カメラシステムにおけるキャリブレーション作業は、オペレータへの作業負担となる。その作業効率を低下させ、作業量を増加させる要因の一つは、プロジェクタで投影、あるいは、カメラで観測する参照点の量に起因する。より正確に参照点の画像座標を得るには、手動作業に頼ることになる。安定的にカメラパラメータを推定するには、できるだけ多くの参照点を測定することが望ましいため、キャリブレーション作業工程では、多くの時間を必要としていた。
【００１９】
本発明は、このような事情を考慮してなされたものであり、その目的は、プロジェクタ・カメラシステムのパラメータを容易に校正することができ、また、内部・外部パラメータを推定することができる光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体を提供することにある。
【課題を解決するための手段】
【００２０】
上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置であって、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力手段と、前記画像入力手段により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正手段と、前記画像入力手段により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正手段によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出手段と、前記参照点抽出手段により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出手段により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定手段とを備えることを特徴とする光学系パラメータ校正装置である。
【００２１】
本発明は、上記の発明において、前記光学投影装置から被写体に照射される対応点の２次元座標を変更しながら、その投影像を前記画像入力装置で測定することを逐次的に行わせ、その都度、前記画像入力手段により入力される第１の画像と前記第２の画像とから前記パラメータ推定手段により推定される、前記画像入力装置の第１のパラメータと前記光学投影装置の第２のパラメータ、及び、前記画像入力装置の姿勢・位置情報と前記光学投影装置の姿勢・位置情報に基づいて、前記対応点の３次元座標を計測する３次元計測処理手段を更に備えることを特徴とする。
【００２２】
本発明は、上記の発明において、前記画像入力手段により入力された前記第１の画像と前記第２の画像との２次元座標値を測定し、それら画像座標値の対応関係から、前記スクリーンと前記画像入力装置間、前記光学投影装置と前記スクリーン間の平面射影変換をそれぞれ推定する平面射影推定手段を更に備え、前記サンプル点補正手段は、前記平面射影推定手段により推定された平面射影変換に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正する。
【００２３】
また、上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正方法であって、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップとを含むことを特徴とする光学系パラメータ校正方法である。
【００２４】
また、上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力機能、前記画像入力機能により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正機能、前記画像入力機能により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正機能によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出機能、前記参照点抽出機能により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出機能により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定機能を実現させることを特徴とするプログラムである。
【００２５】
また、上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２６】
この発明によれば、プロジェクタ・カメラシステムのパラメータを容易に校正することができ、また、内部・外部パラメータを推定することができる。
【図面の簡単な説明】
【００２７】
【図１】カメラとスクリーン（被写体）の位置関係を定義する概念図である。
【図２】カメラとスクリーン（被写体）の位置関係を定義する概念図である。
【図３】スクリーン上のターゲット点（格子点）を説明する模式図である。
【図４】スクリーン上のターゲット点（格子点）のうち、パラメータを推定するために必要な参照点を示す模式図である。
【図５】本第１実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。
【図６】本第１実施形態によるプロジェクタ・カメラシステム校正装置の動作を説明するためのフローチャートである。
【図７】本第２実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。
【図８】本第２実施形態によるプロジェクタ・カメラシステム校正装置の３次元計測処理部１７の動作を説明するためのフローチャートである。
【図９】２次元物体を使ったカメラ校正作業を説明する模式図である。
【図１０】スクリーン、カメラ、プロジェクタ間の位置関係を説明する模式図である。
【発明を実施するための形態】
【００２８】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２９】
Ａ．発明の原理
まず、プロジェクタ・カメラシステムの射影幾何の基本原理とその原理に基づく計算アルゴリズムとについて説明する。なお、カメラ、スクリーン（被写体）、プロジェクタの位置関係は、前述した図１０に示した通りであるので、図１０を参照して説明する。
【００３０】
まず、カメラ１を用いて、プロジェクタ３から投影される点とスクリーン２上の既知の参照点とを一致させる原理について説明する。スクリーン２上の参照点の３次元座標をＰ（ｑ）ｊ＝（Ｘ（ｑ）ｊ，Ｙ（ｑ）ｊ，０）、ｊ＝１，２，…，Ｎとする（この３次元座標値は、予め何らかの手段で測定され既知である）。この参照点を、カメラ１により画像座標ｐ（ｑ）ｊ＝（ｘ（ｑ）ｊ，ｙ（ｑ）ｊ）、ｊ＝１，２，…，Ｎとして観測されるものとする。このとき、平面射影変換Ｈｓｃにより、この両者を次式（４）により関係付けることができる。
【００３１】
【数４】
2011102728.tif 000006
【００３２】
画像座標ｐ（ｑ）ｊと参照点Ｐ（ｑ）ｊは、既知であるので、平面射影変換Ｈｓｃの３×３の要素は、これらのデータから最小二乗法を用いて推定することができる。
【００３３】
一方、プロジェクタ３に適当にセットされた２次元座標ｐ（ｐ）ｊ＝（ｘ（ｐ）ｊ，ｙ（ｐ）ｊ）、ｊ＝１，２，…，Ｎは、平面のスクリーン２上において、３次元座標Ｐ（ｓ）ｊ＝（Ｘ（ｓ）ｊ，Ｙ（ｓ）ｊ，０）、ｊ＝１，２，…，Ｎの座標に投影されると仮定し、この３次元座標がカメラ１により画像座標ｐ（ｃ）ｊ＝（ｘ（ｃ）ｊ，ｙ（ｃ）ｊ）、ｊ＝１，２，…，Ｎとして観測されるとする。
【００３４】
一般的に、スクリーン２上の既知の参照点Ｐ（ｑ）ｊと、プロジェクタ３により照らされている３次元座標Ｐ（ｓ）ｊとは、異なるので、カメラ１で観測された画像座標も異なる。但し、同じスクリーン２上の３次元座標を、同じカメラ１で観測しているので、３次元座標Ｐ（ｓ）ｊとその画像座標ｐ（ｃ）ｊとの間は、先に求めた平面射影変換Ｈｓｃで関係付けられる。よって、スクリーン２上の３次元座標Ｐ（ｓ）ｊは、次式（５）に従って得られる。
【００３５】
【数５】
2011102728.tif 000007
【００３６】
さらに、得られた３次元座標Ｐ（ｓ）ｊとプロジェクタ３に適当に設定した２次元座標ｐ（ｐ）ｊとは、数式（１）の関係にあるので、これらのデータから、平面射影変換Ｈｐｓは、最小二乗法を用いて求めることができる。スクリーン２とプロジェクタ３との間の平面射影変換Ｈｐｓが得られたので、スクリーン２上の既知の参照点Ｐ（ｑ）ｊへ投影されるプロジェクタ３面上の２次元座標ｐ（ｒ）ｊ＝（ｘ（ｒ）ｊ，ｙ（ｒ）ｊ）は、次式（６）となる。
【００３７】
【数６】
2011102728.tif 000008
【００３８】
つまり、数式（４）、（６）から、次式（７）の関係が得られる。
【００３９】
【数７】
2011102728.tif 000009
【００４０】
平面射影変換Ｈｐｓ、Ｈｓｃを求めた後、数式（７）を用いて、スクリーン２上の既知の参照点Ｐ（ｑ）ｊ＝（Ｘ（ｑ）ｊ，Ｙ（ｑ）ｊ，０）へ投影する２次元座標ｐ（ｒ）ｊ＝（ｘ（ｒ）ｊ，ｙ（ｒ）ｊ）を求めることができる。逆に、この２次元座標ｐ（ｒ）ｊをプロジェクタ３にセットして投影すれば、スクリーン２上の既知の参照点Ｐ（ｑ）ｊに投影される。これにより、プロジェクタ３とカメラ１とを、スクリーン２上の既知の参照点を介して対応付けたことになる。
【００４１】
次に、そのスクリーン２上の参照点から、プロジェクタ３とカメラ１との内部・外部パラメータを計算するための原理を説明する。なお、ここでの解決手段の原理・方法は、単眼カメラに限定した記載になっているが、上記平面射影変換を利用したプロジェクタ３による投影点とカメラ１による観測点とが対応付けられるので、プロジェクタ３についても同様の説明ができる。
【００４２】
図１、図２は、カメラとスクリーン（被写体）の位置関係を定義する概念図である。図３、図４は、スクリーン（被写体）のパターンを示す模式図である。図３に示すスクリーン２（被写体）上のパターンをカメラ１で撮影するとき、図１、図２に示す世界座標系ＸｗＹｗＺｗを参照物体上に設定しても一般性を失わない。スクリーン２には、図３に示すような格子パターンが描かれているとする（必ずしも、格子状に配列されている必要はない）。各格子点を参照点Ｐ（ｑ）ｊ＝（Ｘ（ｑ）ｊ，Ｙ（ｑ）ｊ，０）、ｊ＝１，２，…，Ｎとする（以降、これらをターゲット点と呼ぶ）。
【００４３】
この平面において、図４に示すように、便宜上、点Ｏを世界座標系上の原点とし、点Ｏを通過するように、上下方向に点Ａと点Ｂが配置され、さらに、この線分Ａ−Ｂと直交する方向に点Ｃと点Ｄが配置され、線分Ｃ−Ｄは、点Ｏで線分Ａ−Ｂと垂直に交わっている。線分Ａ−Ｂを世界座標系のＺｗ軸であるとし、各点は、原点Ｏからそれぞれｈ１，ｈ２（＜０）の高さとする。
【００４４】
点Ｃ、点Ｄは、世界座標系のＸｗＹｗ平面上に位置し、原点Ｏからそれぞれｄ３、ｄ４の距離とする。点Ｏ、点Ａ、点Ｂ、点Ｃ、点Ｄ（以降、これら５点を参照点と呼ぶ）が、内部・外部パラメータ推定に用いる参照点となり、これらの点をカメラで、それぞれｐ０＝（ｘ０，ｙ０）、ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）の画像座標として観測できるとする。
【００４５】
一方、カメラ１の視点をローカルな原点としたカメラ座標系ＸＹＺを設定し、このカメラ１による幾何射影を、ピンホールカメラに従った透視投影にモデル化できると仮定する。参照物体上の３次元点をＰｊ＝（Ｘｊ，Ｙｊ，Ｚｊ）、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とすると、画像上で観測されるその点の２次元点ｐｊ＝（ｘｊ，ｙｊ）は、次式（８）、（９）で与えられる。
【００４６】
【数８】
2011102728.tif 000010
【００４７】
【数９】
2011102728.tif 000011
【００４８】
ｆは、焦点距離、Ｒ１１，Ｒ１２，…，Ｒ３３は、３×３の回転行列の要素に対応する。本発明で扱うカメラモデルでは、画像中心は投影中心であるとし、レンズ歪を無視する。
【００４９】
ここで、世界座標系ＸｗＹｗＺｗとカメラ座標系ＸＹＺとの姿勢の関係を表すために、Ｅｕｌｅｒ角θ，φ，ωを用いると、その姿勢の回転行列は、次式（１０）と記述できる。
【００５０】
【数１０】
2011102728.tif 000012
【００５１】
θ，φ，ωは、それぞれＺ軸、Ｘ軸、Ｚｗ軸周り回転角である。図１、図２では、線分Ａ−Ｂを軸として、点Ｃ，ＤがＺｗ軸周りに回転角ωで回転された状態と考えることができるので、カメラ回転行列を、次式（１１）と与えることができる。
【００５２】
【数１１】
2011102728.tif 000013
【００５３】
本発明の基本原理は、スクリーン２上の５つの参照点：Ｏ，Ａ，Ｂ，Ｃ，Ｄの画像上での座標値：ｐ０〜ｐ４が数式（８）、（９）に従って観測されると仮定し、その画像座標と参照点に関する計量情報：ｈ１，ｈ２，ｄ３，ｄ４を用いて、カメラ１の焦点距離ｆ、Ｅｕｌｅｒ回転角：θ，φ，ω、並びに、世界座標系でのカメラ視点の位置（Ｔｘ，Ｔｙ，Ｔｚ）を逆問題として解くことである。その推定に必要となる計算式を、数式（８）、（９）で結び付けられた透視投影の関係式から導出する必要がある。以下、その計算式を導出する。
【００５４】
点Ａ，Ｂの３次元座標を世界座標系においてそれぞれ（０，０，ｈ１），（０，０，ｈ２）と与えることができる。数式（８）、（９）に従えば、点Ｏ，Ａ，Ｂの２次元座標のｘ，ｙ座標値は、それぞれ、次式（１２）、（１３）、（１４）、（１５）となる。
【００５５】
【数１２】
2011102728.tif 000014
【００５６】
【数１３】
2011102728.tif 000015
【００５７】
【数１４】
2011102728.tif 000016
【００５８】
【数１５】
2011102728.tif 000017
【００５９】
数式（１２）と数式（１４）から、次式（１６）を得て、数式（１３）と数式（１５）から、次式（１７）を得る。
【００６０】
【数１６】
2011102728.tif 000018
【００６１】
【数１７】
2011102728.tif 000019
【００６２】
次に、数式（１６）から、次式（１８）、（１９）を得て、数式（１７）から、次式（２０）、（２１）を得る。
【００６３】
【数１８】
2011102728.tif 000020
【００６４】
【数１９】
2011102728.tif 000021
【００６５】
【数２０】
2011102728.tif 000022
【００６６】
【数２１】
2011102728.tif 000023
【００６７】
よって、数式（１８）、（２０）、並びに、数式（１１）から、回転角θについて、次式（２２）を導出することができる。
【００６８】
【数２２】
2011102728.tif 000024
【００６９】
一方、図２の点Ｃ，Ｄの３次元座標は、それぞれ（−ｄ３ｓｉｎ（ω），ｄ３ｃｏｓ（ω），０），（−ｄ４ｓｉｎ（ω），ｄ４ｃｏｓ（ω），０）と与えられるので、数式（８）、（９）に従えば、それぞれの画像座標は、次式（２３）、（２４）と記述できる。
【００７０】
【数２３】
2011102728.tif 000025
【００７１】
【数２４】
2011102728.tif 000026
【００７２】
次に、数式（１２）、（２３）から、次式（２５）を得て、数式（１３）、（２４）から、次式（２６）を得る。
【００７３】
【数２５】
2011102728.tif 000027
【００７４】
【数２６】
2011102728.tif 000028
【００７５】
ここで、数式（２５）から、次式（２７）、（２８）が得られる。
【００７６】
【数２７】
2011102728.tif 000029
【００７７】
【数２８】
2011102728.tif 000030
【００７８】
さらに、数式（２６）から、次式（２９）、（３０）がそれぞれ得られる。
【００７９】
【数２９】
2011102728.tif 000031
【００８０】
【数３０】
2011102728.tif 000032
【００８１】
よって、数式（２７）、（２９）、並びに、数式（１１）から、次式（３１）が得られる。
【００８２】
【数３１】
2011102728.tif 000033
【００８３】
数式（２７）において、数式（１１）と数式（２０）を用いると、次式（３２）が得られるので、数式（３２）に数式（３１）を代入することにより、次式（３３）を得ることができる。
【００８４】
【数３２】
2011102728.tif 000034
【００８５】
【数３３】
2011102728.tif 000035
【００８６】
図１、図２において、Ｘ軸周りの回転角φは、下向きとして−π／２＜φ＜０の範囲と定義したので、数式（３３）では、負の解を採用した（カメラがスクリーンに対して、上向きに固定されている場合には、正の解を採用する）。なお、数式（３３）で明らかなように、γ＝０とき、回転角φを求めることができない。よって、この場合の別解を考える。
【００８７】
数式（３１）にγ＝０を代入すると、次式（３４）を得る。
【００８８】
【数３４】
2011102728.tif 000036
【００８９】
そこで、数式（１１）、数式（２０）、数式（２９）、並びに、数式（３４）から、次式（３５）を得る。
【００９０】
【数３５】
2011102728.tif 000037
【００９１】
よって、数式（３５）から、次式（３６）となる。
【００９２】
【数３６】
2011102728.tif 000038
【００９３】
数式（３３）、または、数式（３６）を用いて、回転角φを計算した後、数式（３１）から、回転角ωが次式（３７）により求められ、数式（２９）から、焦点距離ｆが次式（３８）より得られる。
【００９４】
【数３７】
2011102728.tif 000039
【００９５】
【数３８】
2011102728.tif 000040
【００９６】
最後に、数式（１２）〜数式（１５）、数式（２３）、並びに、数式（２４）を結合させると、次の連立方程式（３９）〜（４３）を得る。
【００９７】
【数３９】
2011102728.tif 000041
【００９８】
【数４０】
2011102728.tif 000042
【００９９】
【数４１】
2011102728.tif 000043
【０１００】
【数４２】
2011102728.tif 000044
【０１０１】
【数４３】
2011102728.tif 000045
【０１０２】
上記連立方程式（３９）〜（４３）を解けば、カメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）が得られる。
【０１０３】
ここで、数式（１９）、数式（２１）、（数式２８）、並びに、数式（３０）の分母に着目すると、いずれかが０になる場合、上記で導出した式を用いてパラメータを得ることができない（但し、α，βの分母が０になっても、次の例外では、導出した式を用いてパラメータを求めることができる。すなわち、ｘ０＝ｘ１＝ｘ２の場合には、α＝ｘ０と置換して計算し、ｘ０＝ｘ３＝ｘ４の場合には、γ＝ｘ０と置換して計算する）。つまり、カメラパラメータを計算する前に、数式（１９）、数式（２１）、数式（２８）、並びに、数式（３０）を用いて、α，β，γ、並びに、εが計算できるかをチェックする必要がある。もし、いずれかの分母が０になる場合には、サンプル点から参照点を抽出し直す。
【０１０４】
以上説明したように、本発明は、平面射影変換を利用したプロジェクタによる投影点とカメラによる観測点とを、スクリーン上のターゲット点を介して位置合わせした後、スクリーン上から抽出した５つの参照点（Ｏ，Ａ，Ｂ，Ｃ，Ｄ）とその画像座標との間の投影関係から導出した式を用いて、プロジェクタのパラメータと、カメラのパラメータとを推定するものである。よって、本発明の基本構成は、これらの処理を実行するための構成となっている。
【０１０５】
Ｂ．第１実施形態
次に、本発明の第１実施形態について説明する。
図５は、本第１実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。プロジェクタ・カメラシステム校正装置１０は、サンプル点設定部１１、画像入力部１２、平面射影推定部１３、サンプル点補正部１４、参照点抽出部１５、パラメータ推定部１６から構成される。
【０１０６】
サンプル点設定部１１は、プロジェクタ３からスクリーン２へ投影するための２次元座標の初期値を設定する。画像入力部１２は、スクリーン２上の既知のターゲット点と、プロジェクタ３によってスクリーン２に投影されたサンプル点とをそれぞれ画像として観測する。平面射影推定部１３は、スクリーン２上のターゲット点の座標とカメラ１によって観測した座標との間の平面射影変換と、プロジェクタ３に設定したサンプル点の座標とプロジェクタ３によりスクリーン２上へ投影された点をカメラ１によって観測して得た座標との間の平面射影変換とを推定する。
【０１０７】
サンプル点補正部１４は、それらの平面射影変換からスクリーン２上の既知のターゲット点へプロジェクタ３から投影されるサンプル点が一致するようにサンプル点の２次元座標を補正する。参照点抽出部１５は、そのサンプル点（または／及びターゲット点）からパラメータ推定に必要な参照点を抽出する。パラメータ推定部１６は、上記参照点の２次元座標からプロジェクタ３のパラメータとカメラ１のパラメータとを推定する。
【０１０８】
上述した構成において、校正対象のプロジェクタ３とカメラ１とは、必ずしも構成要素として接続している必要はなく、校正に必要な画像を画像入力部１２を通して取得すればよい。その画像入力部１２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用してもよいし、あるいは、ネットワークを介して、リモートなデータ資源を利用する形態でもよい。さらに、処理の必要に応じて、リアルタイムで画像を取得する場合も可能であり、本発明は必ずしも記憶装置を必要としない。
【０１０９】
図１０に示すように、スクリーン２に向くように適当にプロジェクタ３とカメラ１とが設置されているとする。このとき、プロジェクタ３に設定するサンプル点の全てがスクリーン２上に投影され、それら全ての点がカメラ１により観測され、さらに、スクリーン２上の既知のターゲット点の全てもカメラ１によって観測されていると仮定する。スクリーン２には、図３のような市松模様のパターンが描かれているとし、本第１実施形態では、ターゲット点が各格子点となる。但し、必ずしも市松模様に限定されるものではなく、ターゲット点の３次元座標が何らかの手段によって既知であればよい。本第１実施形態では、格子間隔が一定で、横方向と縦方向との寸法が事前に分かっているとする。この平面上の任意の点を原点とすると、図３では、縦横方向の格子間隔がｄであるので、各格子点の２次元座標を容易に与えることができる。
【０１１０】
次に、本第１実施形態の動作について説明する。
図６は、本第１実施形態によるプロジェクタ・カメラシステム校正装置の動作を説明するためのフローチャートである。まず、各点の既知の座標値Ｐ（ｑ）ｊ＝（Ｘ（ｑ）ｊ，Ｙ（ｑ）ｊ，０）、ｊ＝１，２，…，Ｎを設定する（ステップＳ１０）。次に、カメラ観測で得た画像からターゲット点の２次元座標ｐ（ｑ）ｊ＝（ｘ（ｑ）ｊ，ｙ（ｑ）ｊ）を測定する（ステップＳ１１）。次に、上記２つの座標の対応点から、数式（４）の関係に基づいて、最小二乗法を用いて、平面射影変換Ｈｓｃを求める（ステップＳ１２）。
【０１１１】
一方、サンプル点設定部１１において、プロジェクタ３からスクリーン２上へ投影するための２次元座標ｐ（ｐ）ｊ＝（ｘ（ｐ）ｊ，ｙ（ｐ）ｊ）、ｊ＝１，２，…，Ｎを設定する（ステップＳ１３）。これらの点は、スクリーン２上において、３次元座標Ｐ（ｓ）ｊ＝（Ｘ（ｓ）ｊ，Ｙ（ｓ）ｊ，０）、ｊ＝１，２，…，Ｎであるとすると、ステップＳ１２により平面射影変換Ｈｓｃが得られているので、平面射影変換Ｈｓｃを用いて、３次元座標Ｐ（ｓ）ｊ＝（Ｘ（ｓ）ｊ，Ｙ（ｓ）ｊ，０）、ｊ＝１，２，…，Ｎを数式（５）に従って算出する（ステップＳ１４）。
【０１１２】
次に、得られた３次元座標Ｐ（ｓ）ｊとプロジェクタ３に適当に設定した２次元座標ｐ（ｐ）ｊとは、数式（１）の関係にあるので、これらのデータから平面射影変換Ｈｐｓを最小二乗法を用いて求める（ステップＳ１５）。スクリーン２とプロジェクタ３間の平面射影変換Ｈｐｓが得られたので、次に、スクリーン２上の既知のターゲット点Ｐ（ｑ）へ投影されるプロジェクタ３面上の２次元座標ｐ（ｒ）ｊ＝（ｘ（ｒ）ｊ，ｙ（ｒ）ｊ）を、数式（６）、または数式（７）により算出する（ステップＳ１６）。
【０１１３】
以上の処理によって、プロジェクタ３からのサンプル点は、スクリーン２の既知のターゲット点（図３の格子点）に投影され、その投影像がカメラ１によって観測されるため、プロジェクタ３とカメラ１とがスクリーン２上への平面射影上において校正されたことになる。
【０１１４】
続いて、スクリーン２上のターゲット点（または／及びサンプル点）の中からパラメータ推定に用いる参照点を抽出する（ステップＳ１７）。例えば、図４において、原点Ｏに対して、縦方向に点Ａ、Ｂを設定する。点Ａ、Ｂの３次元座標は、格子間隔が分かれば与えられるため、便宜上、それぞれ（０，０，ｈ１）、（０，０，ｈ２）とする。さらに、点Ｃ、Ｄを横方向の格子点として設定する。もし、ターゲット点（または／及びサンプル点）が格子状に配置されていなくても、点Ｏ、Ａ、Ｂ、Ｃ、Ｄの参照点の抽出は、線分Ａ−Ｂが原点Ｏで線分Ｃ−Ｄと直交することを満たせば、参照点候補として抽出する。
【０１１５】
また、ステップＳ１７では、各参照点の画像座標：ｐ０＝（ｘ０，ｙ０），ｐ１＝（ｘ１，ｙ１）、ｐ２＝（ｘ２，ｙ２）、ｐ３＝（ｘ３，ｙ３）、ｐ４＝（ｘ４，ｙ４）も得られる。上記ステップＳ１６によって、プロジェクタ３にセットされる２次元座標は、ステップＳ１７によって得られた参照点の座標へ投影されている。よって、スクリーン２上の各参照点へプロジェクタ３によって投影される２次元座標も、それぞれ、ｐ’ ０＝（ｘ’０，ｙ’０）、ｐ’１＝（ｘ’１，ｙ’１）、ｐ’２＝（ｘ’２，ｙ’２）、ｐ’３＝（ｘ’３，ｙ’３）、ｐ’４＝（ｘ’４，ｙ’４）として得られる。これ以降、プロジェクタ３も同様に、画像座標を入れ換えるだけで、同様の計算によってパラメータを推定することができるため、カメラ１の場合について説明する。
【０１１６】
パラメータ推定部１６では、まず、画像座標ｐｋ＝（ｘｋ，ｙｋ）、ｋ＝０，１，２，３，４から参照点適正検査の処理を行う（ステップＳ１８）。すなわち、数式（１９）、（２１）、（２８）、（３０）の分母が０になっていないかをチェックする。但し、ｘ０＝ｘ１＝ｘ２の場合、α＝ｘ０と置換し、ｘ０＝ｘ３＝ｘ４の場合、γ＝ｘ０と置換する。このチェックにより、α、β、γ、εのどれか１つが計算できない場合、計算不可と見なして、他の参照点をスクリーン２上のターゲット点から再び抽出する（ステップＳ１９のＮＯ、Ｓ１７）。
【０１１７】
そして、参照点の画像座標の適正検査が完了すると（ステップＳ１９のＹＥＳ）、パラメータ推定部１６において、カメラパラメータを推定する（ステップＳ２０〜Ｓ２３）。計算式の導出と基本原理は、上記で説明しているので、以降では、既に上記で導出した計算式を用いて、どのようにカメラパラメータを求めるかについて説明する。
【０１１８】
α、βが得られているので、回転角θは、数式（２２）によって算出できる（ステップＳ２０）。次に、γ、εが得られているので、回転角φを数式（３３）により算出する（ステップＳ２１）。なお、γ＝０のときは、数式（３６）を用いる。さらに、γ、ε、θ、並びに、φが得られているので、数式（３７）によって回転パラメータωを算出し、数式（３８）を用いて、焦点距離ｆを算出する（ステップＳ２２）。最後に、これまでに求めたカメラパラメータを用いて、数式（３９）〜（４３）の連立一次方程式を解くことによってカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）を算出する（ステップＳ２３）。
【０１１９】
上述した第１実施形態によれば、プロジェクタ３、カメラ１、スクリーン２間の平面射影変換に基づいて、スクリーン２上の既知のターゲット点にプロジェクタ３からの投影点を合わせた後、そのターゲット点から抽出した適正な参照点から、上記で導出された基本式に従って、カメラ１の焦点距離ｆ、カメラ座標系と世界座標系間の回転角θ、φ、ω、並びに、カメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）を求めることができる。さらに、カメラ観測で得た画像座標をプロジェクタに設定した２次元座標値に置き換え（ｐｋ→ｐ’ｋ）れば、上記と同様の処理を繰り返すことにより、プロジェクタ３の焦点距離ｆ’、プロジェクタ座標系と世界座標系間の回転角θ’、φ’、ω’、並びに、プロジェクタ視点位置（Ｔ’ｘ，Ｔ’ｙ，Ｔ’ｚ）を求めることができる。
【０１２０】
なお、上述した第１実施形態では、単眼のカメラ１と単体のプロジェクタ２との系で説明したが、カメラ１が複数、あるいは、プロジェクタ３が複数あっても、同様の処理により、各カメラのパラメータと各プロジェクタのパラメータとを推定することができる。
【０１２１】
Ｃ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態は、プロジェクタ３から投影された点の位置をカメラ１で観測し、その両者の対応点からプロジェクタ３のパラメータとカメラ１のパラメータとを用いて、３次元計測を行うことを特徴としている。
【０１２２】
図７は、本第２実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。なお、図５に対応する部分には同一の符号を付けて説明を省略する。本第２実施形態では、図７に示すように、第１実施形態と比べて、３次元計測処理部１７を備えている点で異なる。以下では、３次元計測処理部１７についてのみ説明する。
【０１２３】
第１実施形態と同様にして、プロジェクタ３のパラメータとカメラ１のパラメータとが得られているとする。このとき、プロジェクタ３から点が照射されてスクリーン２に投影される現象を、思考的に、スクリーン２上からの任意の点をプロジェクタ３で受けたと考えることができる。すなわち、プロジェクタ３とカメラ１で対応付けられた２次元座標点から、二眼カメラのステレオ計測によって３次元計測することが可能となる。
【０１２４】
数式（１０）に示すように、世界座標系に対するカメラ１、プロジェクタ３のぞれぞれの姿勢は、Ｅｕｌｅｒ角を使って定義されている。つまり、参照点に対するカメラ１、あるいはプロジェクタ３の回転行列は、数式（１１）であるため、上記方法で得たカメラ１とプロジェクタ３の外部パラメータから、カメラ座標系ＸＹＺ軸の回転角へ変換する必要がある。カメラ座標系、あるいはプロジェクタ座標系における回転パラメータω、ω’は、世界座標系のＺｗ軸周りの回転であるため、この回転角を用いて座標変換を行う。以下では、プロジェクタ３についても同様に変換できるので、カメラ１の外部パラメータの変換方法について説明する。
【０１２５】
カメラに関するＥｕｌｅｒ角：θ、φ、ωから、数式（１０）に従って３×３の回転行列を計算し、次式（４４）を得る。
【０１２６】
【数４４】
2011102728.tif 000046
【０１２７】
以降の回転行列要素：Ｒ１１，Ｒ１２，…，Ｒ３３は、数式（４４）で計算された値を用いる。一方、第１実施形態と同様にして得たカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）は、次式（４５）により変換し、以降の（Ｔｘ，Ｔｙ，Ｔｚ）は、数式（４５）の変換による視点位置：（Ｔｘ，Ｔｙ，Ｔｚ）の値を用いる。
【０１２８】
【数４５】
2011102728.tif 000047
【０１２９】
次に、本第２実施形態の動作について説明する。
図８は、本第２実施形態によるプロジェクタ・カメラシステム校正装置の３次元計測処理部１７の動作を説明するためのフローチャートである。３次元計測処理部１７では、まず、プロジェクタ３に２次元座標ｐ’ｊ＝（ｘ’ｊ，ｙ’ｊ）をセットする（ステップＳ３０）。この点は、プロジェクタ３から投影され、被写体のある点へ照射される（ステップＳ３１）。なお、被写体は、スクリーン２以外の任意の静止物体であるとする。プロジェクタ３からのｐ’ｊの光が被写体上の、ある点Ｐｊ＝（Ｘｊ，Ｙｊ，Ｚｊ）に投影されたとする。本第２実施形態では、この３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を計測するものである。
【０１３０】
次に、プロジェクタ３の投影の後に、カメラ１により画像を取得し、何も照射しないときの画像との背景差分などの画像処理を行って、投影された点の画像座標ｐｊ＝（ｘｊ，ｙｊ）を観測する（ステップＳ３２）。次に、投影点が観測できるかどうかをチェックする（ステップＳ３３）。つまり、何も照射しないときの背景画像からの差がなければ、オクルージョン等によりプロジェクタ３からのｐ’ｊの光がカメラ１で観測できないと判定する。この場合（ステップＳ３３のＹＥＳ)、ステップＳ３０に戻り、次の２次元座標がセットされる。
【０１３１】
一方、画像座標が観測できたならば（ステップＳ３３のＮＯ）、次式（４６）、（４７）を用いて、点Ｐｊの３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を計測する（ステップＳ３４）。
【０１３２】
【数４６】
2011102728.tif 000048
【０１３３】
【数４７】
2011102728.tif 000049
【０１３４】
ここで、数式（４６）右辺の［Ｆ］の肩にある†は、行列［Ｆ］の一般化逆行列を意味する。数式（４７）のＲ’１１，Ｒ’１２，…，Ｒ’３３は、プロジェクタのＥｕｌｅｒ角を数式（４４）に代入して得られ、数式（４６）の（Ｔ’ｘ，Ｔ’ｙ，Ｔ’ｚ）は、その回転行列を用いて、数式（４５）で視点位置を変換して得られるものである。以上の処理を、プロジェクタ３にセットできる全ての参照点に対して行い、被写体の３次元形状を計測する（ステップＳ３５のＹＥＳ）。
【０１３５】
上述した第２実施形態によれば、プロジェクタ３とカメラ１で対応付けられた２次元座標点から、二眼カメラのステレオ計測によって３次元計測することができる。
【０１３６】
なお、上述した第２実施形態では、単眼のカメラ１と単体のプロジェクタ３との系で説明したが、カメラ１が複数、あるいは、プロジェクタ３が複数あっても、多視点カメラの原理により、同様に３次元計測することができる。
【０１３７】
また、上述したサンプル点設定部１１、画像入力部１２、平面射影推定部１３、サンプル点１４、参照点抽出部１５、パラメータ推定部１６、３次元計測処理部１７による各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１３８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１３９】
１  カメラ
２  スクリーン
３  プロジェクタ
１０  プロジェクタ・カメラシステム校正装置
１１  サンプル点設定部
１２  画像入力部
１３  平面射影推定部
１４  サンプル点補正部
１５  参照点抽出部
１６  パラメータ推定部
１７  ３次元計測処理部
【図１】
2011102728.tif 000050
【図２】
2011102728.tif 000051
【図３】
2011102728.tif 000052
【図４】
2011102728.tif 000053
【図５】
2011102728.tif 000054
【図６】
2011102728.tif 000055
【図７】
2011102728.tif 000056
【図８】
2011102728.tif 000057
【図９】
2011102728.tif 000058
【図１０】
2011102728.tif 000059