(57)【要約】【課題】ピンホールカメラモデルから乖離した光学系を有する光学装置を使用して３次元計測を実施する。【解決手段】所定のパターン画像が投影された計測対象物の撮影画像を取得し、当該撮影画像において、投影されたパターン画像の注目画素に対応する撮影画素を特定する。その後、注目画素の位置座標、撮影画素の位置座標、パターン画像を投影した投影手段の光学系の焦点距離、撮影手段の光学系の焦点距離、ならびに、投影手段の投影座標系と撮影手段の撮影座標系の相対姿勢および相対位置、から計測対象物上に投影されたパターン画像の３次元位置を算出する。このとき、投影手段の光学系および撮影手段の光学系の少なくとも一方がピンホールカメラモデルから乖離した光学系を有する光学装置である場合、当該光学装置に係る焦点距離は、画素の位置座標を変数とする所定の多項式を使用して位置座標毎に定義して３次元位置を算出する。【選択図】図６
2014178124.tif 000002
【特許請求の範囲】
【請求項１】
計測対象物に所定のパターン画像を投影するための投影手段と、
前記パターン画像が投影された前記計測対象物の撮影画像を取得するための撮影手段と、
投影した前記パターン画像と取得された前記撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段と
を含み、
前記３次元情報生成手段は、
前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定する画素対応付け手段と、
前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出する３次元位置算出手段と、
前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段と
を含む３次元計測システム。
【請求項２】
計測対象物の撮影画像を取得するための第１の撮影手段と、
前記第１の撮影手段とは異なる視点から前記計測対象物の撮影画像を取得するための第２の撮影手段と、
前記第１の撮影手段が取得した第１の撮影画像と前記第２の撮影手段が取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段と
を含み、
前記３次元情報生成手段は、
前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段と、
前記注目画素の位置座標、前記撮影画素の位置座標、前記第１の撮影手段の光学系の焦点距離、前記第２の撮影画像の光学系の焦点距離、ならびに、前記第１の撮影手段の撮影座標系と前記第２の撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段と、
前記第１の撮影手段の光学系および前記第２の撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段と
を含む３次元計測システム。
【請求項３】
２以上の異なる視点から計測対象物を撮影して撮影画像を取得するための撮影手段と、
前記撮影手段が第１の視点から撮影して取得した第１の撮影画像と、該撮影手段が第２の視点から撮影して取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段と
を含み、
前記３次元情報生成手段は、
前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段と、
前記注目画素の位置座標、前記撮影画素の位置座標、前記撮影手段の光学系の焦点距離、ならびに、前記第１の視点における撮影座標系と前記第２の視点における撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段と、
前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段と
を含む３次元計測システム。
【請求項４】
前記仮想焦点距離取得手段は、
前記焦点距離の仮想的な値を、前記位置座標を入力とする所定の関数の出力値として取得し、前記関数は、前記位置座標を変数とする多項式で定義される、
請求項１〜３のいずれか一項に記載の３次元計測システム。
【請求項５】
前記仮想焦点距離取得手段は、
前記焦点距離の仮想的な値を、前記位置座標をエントリとする所定のルックアップテーブルの出力値として取得し、
前記ルックアップテーブルは、前記位置座標に対応付ける前記焦点距離の仮想的な値として、該位置座標を入力とする所定の関数の出力値を格納する、
請求項１〜３のいずれか一項に記載の３次元計測システム。
【請求項６】
前記関数は、前記位置座標を変数とするＮ次の多項式で表される、
請求項４または５に記載の３次元計測システム。
【請求項７】
前記関数は、下記式（１）に示す多項式で表される、請求項６に記載の３次元計測システム。
2014178124.tif 000004
（上記式（１）において、ｘおよびｙは、それぞれ、前記位置座標のｘ成分およびｙ成分を示し、ａ１、ａＸＸ、ａＹＹは、設計パラメータを示す。）
【請求項８】
前記３次元位置算出手段は、再投影誤差の最小化に基づいて前記３次元位置を算出する、請求項１〜７のいずれか一項に記載の３次元計測システム。
【請求項９】
投影手段が計測対象物に投影した所定のパターン画像と、撮影手段が取得した該パターン画像が投影された該計測対象物の撮影画像に基づいて該計測対象物の３次元情報を生成するためのプログラムであって、
コンピュータを、
前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定する画素対応付け手段、
前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出する３次元位置算出手段、
前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段、
として機能させるためのコンピュータ実行可能なプログラム。
【請求項１０】
第１の撮影手段が取得した計測対象物の撮影画像と、前記第１の撮影手段とは異なる視点から第２の撮影手段が取得した該計測対象物の撮影画像に基づいて該計測対象物の３次元情報を生成するためのプログラムであって、
コンピュータを、
前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段、
前記注目画素の位置座標、前記撮影画素の位置座標、前記第１の撮影手段の光学系の焦点距離、前記第２の撮影画像の光学系の焦点距離、ならびに、前記第１の撮影手段の撮影座標系と前記第２の撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段、
前記第１の撮影手段の光学系および前記第２の撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段、
として機能させるためのコンピュータ実行可能なプログラム。
【請求項１１】
前記撮影手段が第１の視点から計測対象物を撮影して取得した第１の撮影画像と、該撮影手段が第２の視点から該計測対象物を撮影して取得した第２の撮影画像に基づいて該計測対象物の３次元情報を生成するためのプログラムであって、
コンピュータを、
前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段、
前記注目画素の位置座標、前記撮影画素の位置座標、前記撮影手段の光学系の焦点距離、ならびに、前記第１の視点における撮影座標系と前記第２の視点における撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段、
前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段、
として機能させるためのコンピュータ実行可能なプログラム。
【請求項１２】
前記仮想焦点距離取得手段は、
前記焦点距離の仮想的な値を、前記位置座標を入力とする所定の関数の出力値として取得し、前記関数は、前記位置座標を変数とする多項式で定義される、
請求項９〜１１のいずれか一項に記載のプログラム。
【請求項１３】
前記仮想焦点距離取得手段は、
前記焦点距離の仮想的な値を、前記位置座標をエントリとする所定のルックアップテーブルの出力値として取得し、
前記ルックアップテーブルは、前記位置座標に対応付ける前記焦点距離の仮想的な値として、該位置座標を入力とする所定の関数の出力値を格納する、
請求項９〜１１のいずれか一項に記載のプログラム。
【請求項１４】
前記関数は、前記位置座標を変数とするＮ次の多項式で表される、
請求項１２または１３に記載のプログラム。
【請求項１５】
前記関数は、下記式（１）に示す多項式で表される、請求項１４に記載のプログラム。
2014178124.tif 000005
（上記式（１）において、ｘおよびｙは、それぞれ、前記位置座標のｘ成分およびｙ成分を示し、ａ１、ａＸＸ、ａＹＹは、設計パラメータを示す。）
【請求項１６】
前記３次元位置算出手段は、再投影誤差の最小化に基づいて前記３次元位置を算出する、請求項９〜１５のいずれか一項に記載のプログラム。
【請求項１７】
計測対象物の３次元情報を生成する方法であって、
計測対象物に所定のパターン画像を投影手段で投影するステップと、
前記パターン画像が投影された前記計測対象物の撮影画像を撮影手段で取得するステップと、
投影した前記パターン画像と取得された前記撮影画像に基づいて前記計測対象物の３次元情報を生成するステップと
を含み、
前記３次元情報を生成するステップは、
前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定するステップと、
前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出するステップであって、前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する、ステップと
を含む方法。
【請求項１８】
計測対象物の３次元情報を生成する方法であって、
計測対象物の撮影画像を第１の撮影手段で取得するステップと、
前記第１の撮影手段とは異なる視点から前記計測対象物の撮影画像を第２の撮影手段で取得するステップと、
前記第１の撮影手段が取得した第１の撮影画像と前記第２の撮影手段が取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成するステップと
を含み、
前記３次元情報を生成するステップは、
前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定するステップと、
前記注目画素の位置座標、前記撮影画素の位置座標、前記第１の撮影手段の光学系の焦点距離、前記第２の撮影画像の光学系の焦点距離、ならびに、前記第１の撮影手段の撮影座標系と前記第２の撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出するステップであって、前記第１の撮影手段の光学系および前記第２の撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する、ステップと
を含む方法。
【請求項１９】
計測対象物の３次元情報を生成する方法であって、
２以上の異なる視点から計測対象物を撮影して撮影画像を撮影手段で取得するステップと、
第１の視点から撮影して取得した第１の撮影画像と、第２の視点から撮影して取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成するステップと
を含み、
前記３次元情報を生成するステップは、
前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定するステップと、
前記注目画素の位置座標、前記撮影画素の位置座標、前記撮影手段の光学系の焦点距離、ならびに、前記第１の視点における撮影座標系と前記第２の視点における撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出するステップであって、前記焦点距離を、仮想的な値として前記位置座標毎に取得する、ステップと
を含む方法。
【請求項２０】
前記３次元位置を算出するステップは、
前記焦点距離の仮想的な値を、前記位置座標を入力とする所定の関数の出力値として取得するステップであって、前記関数は、前記位置座標を変数とする多項式で定義される、ステップを含む、
請求項１７〜１９のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元計測システム、プログラム及び方法に関する。
【背景技術】
【０００２】
従来、ステレオ法による３次元計測技術が広汎な分野で応用されている。ここで、ステレオ法による３次元計測方法は、以下に述べる受動的計測法と能動的計測法に分けることができる。
【０００３】
受動的計測法では、２以上の異なる撮影視点から計測対象物を撮影し、取得した各画像から特徴点を抽出して対応付けを行う。そして、対応する２以上の特徴点の３次元位置に基づいて三角測量の原理により計測対象物までの距離を算出する（例えば、特許文献１）。
【０００４】
一方、能動的計測法では、特定のパターン画像が投影された計測対象物をパターン画像の投影視点と異なる撮影視点から撮影し、撮影されたパターン画像と元のパターン画像の対応付けを行う。そして、各画像の対応点の３次元位置に基づいて三角測量の原理により計測対象物までの距離を算出する（例えば、特許文献２）。
【０００５】
ここで、これらの３次元計測の原理は、使用する光学装置（撮影装置・投影装置）の光学系がピンホールカメラモデル（中心射影方式）で近似できることを前提としてはじめて成立するものであるところ、市販の撮影装置・投影装置の中には、全方位カメラや短焦点プロジェクター（例えば、特許文献３）のように、ピンホールカメラモデルから乖離した光学系を有するものがある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記従来技術に鑑みてなされたものであり、本発明は、ピンホールカメラモデルから乖離した光学系を有する光学装置を使用した３次元計測システム、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明者は、ピンホールカメラモデルから乖離した光学系を有する光学装置を使用して３次元計測を実現するための構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
【０００８】
すなわち、本発明によれば、計測対象物に所定のパターン画像を投影するための投影手段と、前記パターン画像が投影された前記計測対象物の撮影画像を取得するための撮影手段と、投影した前記パターン画像と取得された前記撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段とを含み、前記３次元情報生成手段は、前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定する画素対応付け手段と、前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出する３次元位置算出手段と、前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段とを含む３次元計測システムが提供される。
【発明の効果】
【０００９】
上述したように、本発明によれば、ピンホールカメラモデルから乖離した光学系を有する光学装置を使用して３次元計測を実施することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】ピンホールカメラモデルを説明するための概念図。
【図２】ピンホール光学系を有する光学装置を利用した３次元計測を説明するための概念図。
【図３】ピンホールカメラモデルから乖離した光学系を説明するための概念図である。
【図４】可変焦点モデルを説明するための概念図。
【図５】可変焦点モデルを説明するための概念図。
【図６】本実施形態における能動的計測法の手順を説明するための概念図。
【図７】本実施形態における能動的計測法の手順を表すフローチャート。
【図８】本実施形態における受動的計測法の手順を説明するための概念図。
【図９】本実施形態における受動的計測法の手順を表すフローチャート。
【図１０】本実施形態における中点法に基づく３次元位置推定を説明するための概念図。
【図１１】本実施形態における再投影誤差最小化に基づく３次元位置推定を説明するための概念図。
【発明を実施するための形態】
【００１１】
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１２】
本実施形態の説明を始める前に、ピンホールカメラモデル（中心射影方式）の光学系を有する光学装置（撮影装置・投影装置）を使用した従来のステレオ法による３次元計測方法の原理を説明する。
【００１３】
図１は、ピンホールカメラモデルを説明するための概念図である。ピンホールカメラモデルに近似される光学系においては、図１に示すように、全ての光線が画像平面の中心と垂直に交差する光軸上の１点（視点Ｏ）と交差する。すなわち、ピンホールカメラモデルの光学系を有する投影装置の場合、全ての光は、投影視点Ｏの１点から出射し、投影画像平面を通過した後、計測対象物に投射される。
【００１４】
一方、ピンホールカメラモデルの光学系を有する撮影装置の場合、計測対象物から出射する全ての光は、撮影画像平面を通過した後、撮影視点Ｏの１点に収束する。ここで、ピンホールカメラモデルにおいては、画像平面の中心と視点Ｏの離間距離が光学系の焦点距離Ｆに相当する。
【００１５】
図２は、ピンホールカメラモデルの光学系を有する光学装置を利用した３次元計測を説明するための概念図である。なお、ここでは、能動的計測法を例にとって説明し、受動的計測法については説明を省略する。
【００１６】
図２に示す例においては、所定のパターン画像を投影するための光が投影視点Ｏ１から出射し、投影画像平面上（投影座標系）の画素（ｐｘ,ｐｙ,０）を通過した後、計測対象物上で像ａを結像する。一方、計測対象物上に結像した像ａから出射する光は、撮影画像平面上（撮影座標系）の画素（ｑｘ,ｑｙ,０）を通過した後、撮影視点Ｏ２に収束する。
【００１７】
ここで、投影装置の光学系の焦点距離をＦ１とし、撮影装置の光学系の焦点距離をＦ２とすれば、投影視点Ｏ１の位置座標は（０,０,-Ｆ１）として得られ、撮影視点Ｏ２の位置座標は（０,０,-Ｆ２）として得られる。
【００１８】
そして、投影視点Ｏ１の位置座標（０,０,-Ｆ１）、投影画像平面上の注目画素の位置座標（ｐｘ,ｐｙ,０）、撮影視点Ｏ２の位置座標（０,０,-Ｆ２）、撮影画像平面上の注目画素に対応する撮影画素の位置座標（ｑｘ,ｑｙ,０）、および、事前に与えられる２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理を当てはめることによって、計測対象物（に投影された像ａ）の３次元位置が求まる。
【００１９】
以上、ピンホールカメラモデルの光学系（以下、ピンホール光学系という）を有する光学装置を使用した３次元計測方法の原理について説明したが、続いて、本実施形態のステレオ法による３次元計測方法の原理について説明する。
【００２０】
図３は、ピンホールカメラモデルから乖離した光学系を説明するための概念図である。
【００２１】
例えば、短焦点プロジェクターは、近接して配置されるスクリーンに対して映像を広角投写するために、短焦点の投写レンズを透過した光を非球面反射ミラーに反射させてスクリーンに投射する構成を採用する。このような光学装置の光学系では、図３に示すように、全ての光線が交差する１点を観念することができないため、ピンホールカメラモデルで近似することができない。以下、このような光学系を非ピンホール光学系という。
【００２２】
一方、非ピンホール光学系の中には、図４に示すように、全ての光線が光軸（画像平面の中心と垂直に交差する直線）と交差するモデルによって近似できるものがある。このようなケースでは、例えば、計測対象物上の点ａと画像平面上の画素Ｉａを通る光線、点ｂと画素Ｉｂを通る光線、点ｃと画素Ｉｃを通る光線および点ｄと画素Ｉｄを通る光線は、それぞれ、点Ｏa、点Ｏb、点Ｏcおよび点Ｏｄで光軸と交差する。
【００２３】
ここで、画素Ｉａ、画素Ｉｂ、画素Ｉｃ、画素Ｉｄ…との関係において、光軸上の点Ｏa、点Ｏb、点Ｏc、点Ｏｄ…のそれぞれを、ピンホールカメラモデルでいうところの視点（投影視点・撮影視点）と見なせば、図４に示すモデルは、画素位置に応じて視点の位置が変動するピンホールカメラモデルと見立てることができる。これを換言すれば、図４に示すモデルは、画素位置に応じて焦点距離（Ｆａ、Ｆｂ、Ｆｃ、Ｆｄ…）が変動するように拡張したピンホールカメラモデルとして捉えることができる。
【００２４】
本実施形態では、この発想に基づいて、非ピンホール光学系を有する光学装置について、ピンホールカメラモデルでいうところの焦点距離を画素位置毎に仮想的に定義した上で、当該画素位置と仮想的に定義した焦点距離（以下、仮想焦点距離として参照する）を従来の３次元計測のアルゴリズムに投入して計測対象物の３次元位置を求める。以下の説明においては、本実施形態が採用するピンホールカメラモデルの拡張モデルを“可変焦点モデル”として参照する。
【００２５】
図５は、本実施形態が採用する可変焦点モデルを説明するための概念図である。図５に示すように、可変焦点モデルにおいて、変動する焦点距離は、関数ｆ（ｘ，ｙ）で表現される。関数ｆ（ｘ，ｙ）は、各画素のＸＹ座標値を引数とし、返り値として焦点距離を返す。
【００２６】
本実施形態において、関数ｆ（ｘ，ｙ）は、例えば、下記式（１）のように、画素のｘ座標値およびｙ座標値を変数とする２次の多項式で表現することができる。
【００２７】
【数１】
2014178124.tif 000003
【００２８】
上記式（１）において、“ｘ”および“ｙ”は、それぞれ、画素座標値のｘ成分およびｙ成分を示し、“ａ１”、“ａＸＸ”、“ａＹＹ”は、設計パラメータを示す。なお、各設計パラメータは、事前の校正工程（キャリブレーション）の計測結果に基づいて設定する。
【００２９】
上記式（１）から、ａＸＸ＝ａＹＹ＝０の場合、焦点距離が定数ａ１となることが見て取れる。このことは、本実施形態が採用する可変焦点モデルがピンホールカメラモデルの拡張表現であることの証左である。
【００３０】
なお、本実施形態における焦点距離の算出式は、上記式（１）に限定されるものではなく、より高次の多項式としてもよい。
【００３１】
以上、本実施形態の３次元計測方法の原理について説明してきたが、以下では、本実施形態の３次元計測方法が能動的計測法によって実施される場合の手順について説明する。
【００３２】
図６は、本実施形態の３次元計測方法が能動的計測法によって実施される場合の手順を説明するための概念図を示す。図６は、投影装置として可変焦点モデルで近似される非ピンホール光学系を有する光学装置を使用し、撮影装置としてピンホール光学系を有する光学装置を使用するケースを例示する。以下、図６に示すケースにおいて実施される手順を図７に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図６および図７を参照するものとする。
【００３３】
ステップ１０１では、投影装置（非ピンホール光学系）から所定のパターン画像を計測対象物に投影する一方で、計測対象物に投影されたパターン画像を投影装置と異なる視点から撮影装置（ピンホール光学系）で撮影する。ここで、投影パターンは、注目画素を算出しやすい図形を用いることが好ましく、例えば、方形（頂点を注目画素にする）や円（中心を注目画素にする）を含むパターンとすることができる。
【００３４】
続くステップ１０２では、投影座標系の注目画素Ｉに対応する撮影座標系の画素Ｉ’を特定する。
【００３５】
図６に示す例において、投影座標系の投影画素Ｉａを注目画素とした場合、当該注目画素に対応する計測対象物上の像ａを撮影する画素を、撮影座標系において対応画素Ｉ’ａとして特定する。一方、画素Ｉｂを注目画素とした場合、当該注目画素に対応する計測対象物上に像ｂを撮影する画素を、撮影座標系において対応画素Ｉ’ｂとして特定する。
【００３６】
続くステップ１０３では、予め定義した関数ｆ（ｘ，ｙ）に対して、投影座標系の注目画素ＩのＸＹ座標値（ｐｘ,ｐｙ）を入力として与え、注目画素Ｉに係る投影座標系の焦点距離として仮想焦点距離ＦＶを出力値として取得する。
【００３７】
図６に示す例において、画素Ｉａを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素ＩａのＸＹ座標値（ｐａｘ,ｐａｙ）を入力として与え、仮想焦点距離Ｆａを出力値として取得する。一方、画素Ｉｂを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素ＩｂのＸＹ座標値（ｐｂｘ,ｐｂｙ）を入力として与え、仮想焦点距離Ｆｂを出力値として取得する。
【００３８】
なお、上述したステップ１０３は、以下の手順に代替することができる。すなわち、投影座標系の全画素のＸＹ座標について事前に仮想焦点距離ＦＶを求めておき、これを投影座標系の各画素のＸＹ座標に対応付けてルックアップテーブルに格納しておく。ステップ１０３では、注目画素ＩのＸＹ座標値をエントリとする当該ルックアップテーブルの出力値を仮想焦点距離ＦＶとして取得する。
【００３９】
続くステップ１０４では、下記（１）〜（３）の値に基づいて計測対象物（に投影された像ａ）の３次元位置を算出する。
（１）注目画素ＩのＸＹ座標値（ｐｘ,ｐｙ）と投影光学系の仮想焦点距離ＦＶ
（２）対応画素Ｉ’のＸＹ座標値（ｑｘ,ｑｙ）と撮影光学系の焦点距離Ｆ
（３）２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置
【００４０】
図６に示す例において、投影画素Ｉａを注目画素とした場合、注目画素Ｉａに係る仮想的な投影視点Ｏａの位置座標は（０,０,-Ｆａ）として与えられ、対応画素Ｉ’ａに係る撮影視点Ｏの位置座標は固定値（０,０,-Ｆ）として与えられる。これらに加えて、注目画素ＩａのＸＹ座標値（ｐａｘ,ｐａｙ）、対応画素Ｉ’ａのＸＹ座標値（ｑａｘ,ｑａｙ）、および、２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（に投影された像ａ）の３次元位置が求まる。
【００４１】
一方、図６に示す例において、投影画素Ｉｂを注目画素とした場合、注目画素Ｉｂに係る仮想的な投影視点Ｏｂの位置座標として新たに（０,０,-Ｆｂ）が与えられる。その上で、これに加えて、撮影視点Ｏの位置座標（０,０,-Ｆ）、注目画素ＩｂのＸＹ座標値（ｐｂｘ,ｐｂｙ）、対応画素Ｉ’ｂのＸＹ座標値（ｑｂｘ,ｑｂｙ）、および、２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（に投影された像ｂ）の３次元位置が求まる。
【００４２】
続くステップ１０５では、全ての注目画素について、対応する３次元位置を算出したか否かを判断し、全ての注目画素について３次元位置の算出がなされるまで、ステップ１０２〜ステップ１０５の一連の処理を繰り返す。
【００４３】
以上、本実施形態における能動的計測法の手順について、非ピンホール光学系の投影装置とピンホール光学系の撮影装置を使用したケースに基づいて説明したが、本実施形態における能動的計測法は、ピンホール光学系の投影装置と非ピンホール光学系の撮影装置を使用するケースに対しても同様に適用することができることはいうまでもない。この場合、投影装置の光学系の焦点距離が固定値として与えられ、撮影装置の光学系の焦点距離は画素位置に応じて変動する値をとる。さらに、本実施形態の方法は、投影装置および撮影装置の両方が非ピンホール光学系であるケースに対しても同様に適用できることはいうまでもない。この場合、投影装置および撮影装置の光学系の焦点距離はいずれも画素位置に応じて変動する値をとる。
【００４４】
続いて、本実施形態の３次元計測方法が受動的計測法によって実施される場合の手順について説明する。
【００４５】
図８は、本実施形態の３次元計測方法が受動的計測法によって実施される場合の手順を説明するための概念図を示す。図８は、第１の撮影装置として可変焦点モデルで近似される非ピンホール光学系を有する光学装置を使用し、第２の撮影装置としてピンホール光学系を有する光学装置を使用するケースを例示する。以下、図８に示すケースにおいて実行される手順を図９に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図８および図９を参照するものとする。
【００４６】
ステップ２０１では、第１の撮影装置（非ピンホール光学系）と第２の撮影装置（ピンホール光学系）が計測対象物を撮影する。なお、第２の撮影装置は、第１の撮影装置と異なる視点から計測対象物を撮影する。
【００４７】
続くステップ２０２では、第１の撮影座標系の注目画素Ｉに対応する第２の撮影座標系の画素Ｉ’を特定する。具体的には、第１の撮影装置による撮影画像および第２の撮影装置による撮影画像のそれぞれにおいて、計測対象物のコーナーや変曲点などの特徴点を抽出した後、各画像から抽出された特徴点について、適切なマッチング・アルゴリズムを使用して対応付けを行う。
【００４８】
図８に示す例において、計測対象物のコーナーａを特徴点とし、第１の撮影座標系におけるコーナーａの撮影画素Ｉａを注目画素とした場合、マッチング処理の結果、第２の撮影座標系におけるコーナーａの撮影画素Ｉ’ａが対応画素として特定される。一方、計測対象物のコーナーｂを特徴点とし、第１の撮影座標系におけるコーナーｂの撮影画素Ｉｂを注目画素とした場合、マッチング処理の結果、第２の撮影座標系におけるコーナーｂの撮影画素Ｉ’ｂが対応画素として特定される。
【００４９】
続くステップ２０３では、予め定義した関数ｆ（ｘ，ｙ）に対して、第１の撮影座標系の注目画素ＩのＸＹ座標値（ｐｘ,ｐｙ）を入力として与え、注目画素Ｉに係る第１の撮影座標系の焦点距離として仮想焦点距離ＦＶを出力値として取得する。
【００５０】
図８に示す例において、画素Ｉａを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素ＩａのＸＹ座標値（ｐａｘ,ｐａｙ）を入力として与え、仮想焦点距離Ｆａを出力値として取得する。一方、画素Ｉｂを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素ＩｂのＸＹ座標値（ｐｂｘ,ｐｂｙ）を入力として与え、仮想焦点距離Ｆｂを出力値として取得する。
【００５１】
なお、上述したステップ２０３は、以下の手順に代替することができる。すなわち、第１の撮影座標系の全画素のＸＹ座標について事前に仮想焦点距離ＦＶを求めておき、これを第１の撮影座標系の各画素のＸＹ座標に対応付けてルックアップテーブルに格納しておく。ステップ２０３では、注目画素ＩのＸＹ座標値をエントリとする当該ルックアップテーブルの出力値を仮想焦点距離ＦＶとして取得する。
【００５２】
続くステップ２０４では、下記（１）〜（３）に基づいて計測対象物（のコーナーａ）の３次元位置を算出する。
（１）注目画素ＩのＸＹ座標値（ｐｘ,ｐｙ）と投影光学系の仮想焦点距離ＦＶ
（２）対応画素Ｉ’のＸＹ座標値（ｑｘ,ｑｙ）と撮影光学系の焦点距離Ｆ
（３）２つのカメラ座標系（第１の撮影座標系・第２の撮影座標系）の相対姿勢と相対位置
【００５３】
図８に示す例において、撮影画素Ｉａを注目画素とした場合、注目画素Ｉａに係る仮想的な投影視点Ｏａの位置座標は（０,０,-Ｆａ）として与えられ、対応画素Ｉ’ａに係る撮影視点Ｏの位置座標は固定値（０,０,-Ｆ）として与えられる。これらに加えて、注目画素ＩａのＸＹ座標値（ｐａｘ,ｐａｙ）、対応画素Ｉ’ａのＸＹ座標値（ｑａｘ,ｑａｙ）、および、２つのカメラ座標系（第１の撮影座標系・第２の撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（のコーナーａ）の３次元位置が求まる。
【００５４】
一方、図８に示す例において、投影画素Ｉｂを注目画素とした場合、注目画素Ｉｂに係る仮想的な投影視点Ｏｂの位置座標として新たに（０,０,-Ｆｂ）が与えられる。その上で、これに加えて、撮影視点Ｏの位置座標（０,０,-Ｆ）、注目画素ＩｂのＸＹ座標値（ｐｂｘ,ｐｂｙ）、対応画素Ｉ’ｂのＸＹ座標値（ｑｂｘ,ｑｂｙ）、および、２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（のコーナーｂ）の３次元位置が求まる。
【００５５】
続くステップ２０５では、全ての注目画素について、対応する３次元位置を算出したか否かを判断し、全ての注目画素について３次元位置の算出がなされるまで、ステップ２０２〜ステップ２０５の一連の処理を繰り返す。
【００５６】
以上、本実施形態における受動的計測法の手順について、非ピンホール光学系の第１の撮影装置とピンホール光学系の第２の撮影装置を使用したケースに基づいて説明したが、本実施形態における受動的計測法は、第１の撮影装置および第２の撮影装置の両方が非ピンホール光学系であるケースに対しても同様に適用できることはいうまでもない。この場合、第１および第２の撮影装置の光学系の焦点距離はいずれも画素位置に応じて変動する値をとる。
【００５７】
なお、本実施形態における受動的計測法は、異なる視点を有する３以上の撮影装置を使用して計測対象物を撮影する構成によって実現することもでき、また、１台の撮影装置を使用して２以上の異なる視点から計測対象物を撮影する構成によって実現することもできる。ただし、その際の手順は、従来装置を使用した受動的計測法のそれと同様であるので、これ以上の説明を省略する。
【００５８】
続いて、本実施形態の３次元計測方法に適用される推定手法について説明する。従来の３次元計測では、撮影時のノイズ、特徴点の抽出誤差、撮影部のパラメータ誤差等により２つの光学系の視線が交差しない場合、「中点法」や「再投影誤差最小化」による推定が行われてきたが、本実施形態の３次元計測方法においても、同様の推定手法を適用することができる。
【００５９】
図１０は、中点法に基づいて本実施形態の３次元計測方法を実施する例を示す。中点法においては、２つの光学系の視線を結ぶ最短距離の線分の中点を計測対象物の特徴点の３次元位置として推定する。
【００６０】
一方、図１１は、再投影誤差に最小化に基づいて本実施形態の３次元計測方法を実施する例を示す。図１１に示す例では、注目画素（ｐｘ,ｐｙ）を通る一方の光学系の視線と、対応画素（ｑｘ,ｑｙ）を通る他方の光学系の視線が交差しない場合、一方の画像平面上で点（ｐｘ,ｐｙ）を点（ｐ’ｘ,ｐ’ｙ）に、他方の画像平面上で点（ｑｘ,ｑｙ）を点（ｑ’ｘ,ｑ’ｙ）に最小移動量（再投影誤差という）で移動させて各光学系の視線を再定義する。以降、当該２つの光学系の視線の距離を最小化するよう非線形計画法などに基づいて、画素位置の移動→視線の再定義、の手順を繰り返し、２つの光学系の視線が交差した時点で、その交点を計測対象物の特徴点の３次元位置として推定する。
【００６１】
なお、本実施形態の場合、画素位置（注目画素・対応画素）の移動に伴って仮想焦点距離が変動する（すなわち、仮想視点が移動する）ので、画素位置を移動する度に、仮想焦点距離（すなわち、仮想視点の位置）を再計算した上で２つの光学系の視線を再定義し、以降、当該２つの撮影視線が交差するまで、画素位置の移動→仮想焦点距離（仮想視点の位置）の再計算→視線の再定義、の手順を繰り返すことが好ましい。
【００６２】
以上、本発明の３次元計測方法に説明してきたが、本発明は、上述した３次元計測方法を実装したコンピュータプログラムとして構成することができ、さらに、光学装置と情報処理装置と含む３次元計測システムとして構成することができる。
【００６３】
能動的計測法を採用するケースでは、本発明の３次元計測システムは、計測対象物に所定のパターン画像を投影するための投影装置と、当該パターン画像が投影された計測対象物を撮影するための撮影装置と、投影装置および撮影装置の双方と通信可能に接続された１以上の情報処理装置を含んで構成される。この場合、投影装置および撮影装置の少なくとも一方の装置が可変焦点モデルで近似される非ピンホール光学系を有する。
【００６４】
一方、受動的計測法を採用するケースでは、本発明の３次元計測システムは、２以上の視点から計測対象物を撮影するための撮影装置と、当該撮影装置と通信可能に接続された１以上の情報処理装置を含んで構成される。この場合、２台以上の撮影装置で撮影するように構成してもよいし、１台の撮影装置で視点を変えて撮影するように構成してもよい。システムを２台以上の撮影装置で構成する場合は、その内の少なくとも一台が可変焦点モデルで近似される非ピンホール光学系を有する。システムを１台の撮影装置で構成する場合は、当該撮影装置が可変焦点モデルで近似される非ピンホール光学系を有する。
【００６５】
なお、本発明の３次元計測システムを構成する各装置の接続態様は、有線・無線に限定されず、インターネット、ＬＡＮ、ＶＡＮなどの適切なネットワークを介して接続される場合も含む。
【００６６】
以上、説明したように、本発明によれば、ピンホールカメラモデルから乖離した光学系を有する光学装置（例えば、短焦点プロジェクターや全方位カメラなど）を使用して、三角測量の原理を利用した３次元計測を行うことができる。本発明の３次元測定方法には、例えば、以下のような応用展開が考えられる。
【００６７】
近年、建築物などの立体物に映像を投影して興趣の高いパフォーマンスを実現するプロジェクション・マッピングが注目を集めている。プロジェクション・マッピングでは、事前に立体物の形状を測定しておき、その測定結果をプロジェクターの出力にフィードバックすることによって、立体物と投影画像とがあたかも一体化したような仮想現実を表現する。
【００６８】
本発明の３次元計測方法は、このプロジェクション・マッピングにおける立体物の形状測定に適用することができる。具体的には、プロジェクション・マッピングにおいて投影装置として用いられる短焦点プロジェクターから所定のパターン画像を建築物などの立体物に投影し、その影像を別の視点から撮影することによって立体物の３次元形状を計測する。
【００６９】
同様に、本発明の３次元計測方法は、汎用の短焦点プロジェクターの画像補正に適用することもできる。具体的には、短焦点プロジェクターから所定のパターン画像をスクリーンに投影し、その影像を別の視点から撮影することによって、短焦点プロジェクターで使用するスクリーンの傾きや投影面の凹凸を検出する。
【００７０】
上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【００７１】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【先行技術文献】
【特許文献】
【００７２】
【特許文献１】特許４８１４４４１号公報
【特許文献２】特開２０１１−１４１１７４号公報
【特許文献３】特開２００８−１６５２０２号公報
【図１】
2014178124.tif 000006
【図２】
2014178124.tif 000007
【図３】
2014178124.tif 000008
【図４】
2014178124.tif 000009
【図５】
2014178124.tif 000010
【図６】
2014178124.tif 000011
【図７】
2014178124.tif 000012
【図８】
2014178124.tif 000013
【図９】
2014178124.tif 000014
【図１０】
2014178124.tif 000015
【図１１】
2014178124.tif 000016