(57)【要約】  撮像装置の焦点距離を簡易かつ高速に取得することを図る。該目的を達成するために、情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備えるようにした。
2011132552.tif 000002
【特許請求の範囲】
【請求項１】
撮像系との空間的な関係を保った状態で対象物を、
（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
を取得する画像取得部と、
前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
を備える情報処理装置。
【請求項２】
請求項１に記載された情報処理装置であって、
前記基準画像が、前記対象物を撮像した単一の基準画像である一方、
前記参照画像が、前記対象物を撮像した単一の参照画像である情報処理装置。
【請求項３】
請求項１に記載された情報処理装置であって、
前記基準画像が、前記対象物を異なる撮像距離でそれぞれ撮像して得た第１および第２基準画像を含む一方、
前記参照画像が、前記対象物を前記第１および第２基準画像における撮像距離と同じ撮像距離でそれぞれ撮像して得た第１および第２参照画像を含んでいる情報処理装置。
【請求項４】
請求項１に記載された情報処理装置であって、
前記対象物が、異なる撮像距離に配置されるとともに同一のサイズを有する第１および第２対象物を有しており、
前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像である情報処理装置。
【請求項５】
請求項１に記載された情報処理装置であって、
前記基準画像が、前記対象物を撮像した単一の基準画像である一方、
前記参照画像が、前記対象物を撮像した単一の参照画像であり、
前記焦点距離取得部は、
前記基準焦点距離と、
前記基準画像と前記参照画像とにおける前記対象物の所定部分の像サイズと、
前記対象物の実サイズと、
前記基準画像を撮像した撮像装置の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量とに基づいて前記演算処理を行う情報処理装置。
【請求項６】
請求項１に記載された情報処理装置であって、
前記対象物は、第１および第２対象物を有しており、
前記基準画像は、前記第１および第２対象物を個別に撮像して得た第１および第２基準画像を含む一方、
前記参照画像は、前記第１および第２対象物を個別に撮像して得た第１および第２参照画像を含んでおり、
前記焦点距離取得部は、
前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、
前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、
前記第１および第２対象物のそれぞれの実サイズと、
に基づいて前記演算処理を行う情報処理装置。
【請求項７】
請求項１に記載された情報処理装置であって、
前記対象物は、第１および第２対象物を有しており、
前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
前記焦点距離取得部は、
前記基準画像と前記参照画像とにおける前記第１対象物の第１部分の像サイズと、
前記基準画像と前記参照画像とにおける前記第２対象物の第２部分の像サイズと、
前記第１対象物と前記第２対象物とのそれぞれの実サイズと、
に基づいて前記演算処理を行う情報処理装置。
【請求項８】
請求項６に記載された情報処理装置であって、
前記焦点距離取得部は、
前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、
前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、
前記第１対象物と前記第２対象物とのそれぞれの実サイズと、
に基づいて、
前記基準画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量、
をさらに取得する情報処理装置。
【請求項９】
(ａ)請求項１に記載された情報処理装置と、
(ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラと、
を備えた情報処理システムであって、
前記画像取得部は、
前記第１の撮像装置による撮像に基づいて前記基準画像を取得するとともに、
前記第２の撮像装置による撮像に基づいて前記参照画像を取得する情報処理システム。
【請求項１０】
(ａ)請求項１に記載された情報処理装置と、
(ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラと、
を備えた情報処理システムであって、
前記画像取得部は、前記第２の撮像装置から前記基準画像と前記参照画像とを取得する情報処理システム。
【請求項１１】
請求項９に記載された情報処理システムであって、
前記第１の撮像光学系の光軸である第１の光軸と、前記第２の撮像光学系の光軸である第２の光軸とが平行である情報処理システム。
【請求項１２】
請求項１１に記載された情報処理システムであって、
前記情報処理装置は、請求項２に記載された情報処理装置であり、
前記第１の光軸方向における前記第１の撮像光学系の光学中心の位置と、
前記第２の光軸方向における前記第２の撮像光学系の光学中心の位置と、
が互いに等しい情報処理システム。
【請求項１３】
請求項１０に記載された情報処理システムであって、
前記情報処理装置は、請求項２に記載された情報処理装置であり、
前記基準画像と前記参照画像とを撮像した際における、前記第２の撮像光学系の光軸方向における光学中心の位置が互いに等しい情報処理システム。
【請求項１４】
請求項９または請求項１０に記載された情報処理システムであって、
前記ステレオカメラによって撮像された被写体のステレオ画像から前記被写体の三次元形状を求めるための三次元化パラメータが、
前記第１の撮像装置についての第１カメラパラメータと、
前記第２の撮像装置についての第２カメラパラメータと、
を含み、
前記第２カメラパラメータを前記参照焦点距離に基づいて取得するパラメータ取得部をさらに備えた情報処理システム。
【請求項１５】
請求項１４に記載された情報処理システムであって、
前記第２カメラパラメータが、歪曲収差補正係数、像中心位置、焦点距離、Ｓｋｅｗ、および光学中心の位置ずれ量のうち少なくとも１つを含む情報処理システム。
【請求項１６】
請求項１４に記載された情報処理システムであって、
前記パラメータ取得部は、
前記第２カメラパラメータと前記第２の撮像光学系の焦点距離との対応関係を表現したパラメータ対応情報と、
前記参照焦点距離と、
に基づいて、前記第２カメラパラメータを取得する情報処理システム。
【請求項１７】
請求項９または請求項１０に記載された情報処理システムであって、
前記焦点距離取得部は、
前記第２の撮像装置における駆動制御値と焦点距離との対応関係を表現した駆動制御値対応情報を、前記演算処理によって決定された前記参照焦点距離に基づいて更新する情報処理システム。
【請求項１８】
情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１から請求項８のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。
【請求項１９】
既知の基準焦点距離を持つ撮像部によって対象物を撮像した基準画像と、
未知の参照焦点距離を持つ撮像部によって前記対象物を撮像した参照画像と、
を取得する画像取得工程と、
前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて前記基準焦点距離をスケーリングする演算処理を行うことにより、前記参照焦点距離を取得する焦点距離取得工程と、
を備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用画像組の生成に供される画像を撮像するステレオカメラに関する。
【背景技術】
【０００２】
複数の異なる視点からステレオ画像を撮像することが可能なステレオカメラには、種々のものが提案されており、撮像範囲が等しいステレオ画像は、立体視用の表示画像などに採用されている。【０００３】
例えば、特許文献１のステレオカメラは、焦点距離可変（ズーム駆動可能）の撮像系と、焦点距離固定（単焦点）の撮像系とを備えており、減数処理およびパターンマッチング処理などを適宜用いることによって、撮像倍率が異なった２つの画像からでも撮像範囲が等しいステレオ画像を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２１０２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のステレオカメラにおいては、焦点距離可変の撮像系の焦点距離が取得されないために、ステレオカメラの各撮像系がそれぞれ撮像した画像から三次元形状データを生成することができず、該三次元形状データに基づいた各種処理ができないといった問題がある。【０００６】
本発明は、こうした問題を解決するためになされたもので、焦点距離可変の撮像装置の焦点距離を、簡易かつ高速に取得することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、第１の態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備える。【０００８】
第２の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記基準画像が、前記対象物を撮像した単一の基準画像である一方、前記参照画像が、前記対象物を撮像した単一の参照画像である。【０００９】
第３の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記基準画像が、前記対象物を異なる撮像距離でそれぞれ撮像して得た第１および第２基準画像を含む一方、前記参照画像が、前記対象物を前記第１および第２基準画像における撮像距離と同じ撮像距離でそれぞれ撮像して得た第１および第２参照画像を含んでいる。【００１０】
第４の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記対象物が、異なる撮像距離に配置されるとともに同一のサイズを有する第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像である。【００１１】
第５の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記基準画像が、前記対象物を撮像した単一の基準画像である一方、前記参照画像が、前記対象物を撮像した単一の参照画像であり、前記焦点距離取得部は、前記基準焦点距離と、前記基準画像と前記参照画像とにおける前記対象物の所定部分の像サイズと、前記対象物の実サイズと、前記基準画像を撮像した撮像装置の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量とに基づいて前記演算処理を行う。【００１２】
第６の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記対象物は、第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を個別に撮像して得た第１および第２基準画像を含む一方、前記参照画像は、前記第１および第２対象物を個別に撮像して得た第１および第２参照画像を含んでおり、前記焦点距離取得部は、前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１および第２対象物のそれぞれの実サイズとに基づいて前記演算処理を行う。【００１３】
第７の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記対象物は、第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記焦点距離取得部は、前記基準画像と前記参照画像とにおける前記第１対象物の第１部分の像サイズと、前記基準画像と前記参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１対象物と前記第２対象物とのそれぞれの実サイズとに基づいて前記演算処理を行う。【００１４】
第８の態様に係る情報処理装置は、第６の態様に係る情報処理装置であって、前記焦点距離取得部は、前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１対象物と前記第２対象物とのそれぞれの実サイズと、に基づいて、前記基準画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量をさらに取得する。【００１５】
第９の態様に係る情報処理システムは、(ａ)請求項１に記載された情報処理装置と、(ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラとを備えた情報処理システムであって、前記画像取得部は、前記第１の撮像装置による撮像に基づいて前記基準画像を取得するとともに、前記第２の撮像装置による撮像に基づいて前記参照画像を取得する。【００１６】
第１０の態様に係る情報処理システムは、(ａ)請求項１に記載された情報処理装置と、(ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラとを備えた情報処理システムであって、前記画像取得部は、前記第２の撮像装置から前記基準画像と前記参照画像とを取得する。【００１７】
第１１の態様に係る情報処理システムは、第９の態様に係る情報処理システムであって、前記第１の撮像光学系の光軸である第１の光軸と、前記第２の撮像光学系の光軸である第２の光軸とが平行である。【００１８】
第１２の態様に係る情報処理システムは、第１１の態様に係る情報処理システムであって、前記情報処理装置は、請求項２に記載された情報処理装置であり、前記第１の光軸方向における前記第１の撮像光学系の光学中心の位置と、前記第２の光軸方向における前記第２の撮像光学系の光学中心の位置とが互いに等しい。【００１９】
第１３の態様に係る情報処理システムは、第１０の態様に係る情報処理システムであって、前記情報処理装置は、請求項２に記載された情報処理装置であり、前記基準画像と前記参照画像とを撮像した際における、前記第２の撮像光学系の光軸方向における光学中心の位置が互いに等しい。【００２０】
第１４の態様に係る情報処理システムは、第９または第１０の態様に係る情報処理システムであって、前記ステレオカメラによって撮像された被写体のステレオ画像から前記被写体の三次元形状を求めるための三次元化パラメータが、前記第１の撮像装置についての第１カメラパラメータと、前記第２の撮像装置についての第２カメラパラメータと、を含み、前記第２カメラパラメータを前記参照焦点距離に基づいて取得するパラメータ取得部をさらに備える。【００２１】
第１５の態様に係る情報処理システムは、第１４の態様に係る情報処理システムであって、前記第２カメラパラメータが、歪曲収差補正係数、像中心位置、焦点距離、Ｓｋｅｗ、および光学中心の位置ずれ量のうち少なくとも１つを含む。【００２２】
第１６の態様に係る情報処理システムは、第１４の態様に係る情報処理システムであって、前記パラメータ取得部は、前記第２カメラパラメータと前記第２の撮像光学系の焦点距離との対応関係を表現したパラメータ対応情報と、前記参照焦点距離と、に基づいて、前記第２カメラパラメータを取得する。【００２３】
第１７の態様に係る情報処理システムは、第９または第１０の態様に係る情報処理システムであって、前記焦点距離取得部は、前記第２の撮像装置における駆動制御値と焦点距離との対応関係を表現した駆動制御値対応情報を、前記演算処理によって決定された前記参照焦点距離に基づいて更新する。【００２４】
第１８の態様に係るプログラムは、情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１から請求項８のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とする。【００２５】
第１９の態様に係る情報処理方法は、既知の基準焦点距離を持つ撮像部によって対象物を撮像した基準画像と、未知の参照焦点距離を持つ撮像部によって前記対象物を撮像した参照画像と、を取得する画像取得工程と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて前記基準焦点距離をスケーリングする演算処理を行うことにより、前記参照焦点距離を取得する焦点距離取得工程とを備える。
【発明の効果】
【００２６】
第１から第１９の何れの態様に係る発明によっても、基準画像と参照画像とにおける対象物の像サイズの情報を用いて、基準焦点距離の値をスケーリングする演算処理を行うことによって、簡易かつ高速に参照焦点距離の値を取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。
【図面の簡単な説明】
【００２７】
【図１】図１は、実施形態に係る情報処理システムの主な構成を例示するブロック図である。
【図２】図２は、実施形態に係る情報処理装置の主な機能構成を例示するブロック図である。
【図３】図３は、実施形態に係るステレオカメラの機能構成を例示するブロック図である。
【図４】図４は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。
【図５】図５は、像サイズの１例を示す図である。
【図６】図６は、像サイズの１例を示す図である。
【図７】図７は、像サイズの１例を示す図である。
【図８】図８は、像サイズの１例を示す図である。
【図９】図９は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。
【図１０】図１０は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。
【図１１】図１１は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。
【図１２】図１２は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。
【図１３】図１３は、焦点距離のフィールド校正用のデータの取得の１例を説明する図である。
【図１４】図１４は、実施形態に係る情報処理システムの、校正から立体視用画像の生成までの動作フローの１例を示す図である。
【図１５】図１５は、図１４の動作フローのうちステレオカメラの製造時校正の動作フローの１例を示す図である。
【図１６】図１６は、図１４の動作フローのうち駆動制御値対応情報のフィールド校正の動作フローの１例を示す図である。
【図１７】図１７は、図１４の動作フローのうち立体視用画像の生成に係る動作フローの１例を示す図である。
【図１８】図１８は、図１７の動作フローのうち被写体測定時のズームカメラの焦点距離の取得に係る動作フローの１例を示す図である。
【図１９】図１９は、図１７の動作フローのうち被写体測定時のズームカメラの焦点距離の取得に係る動作フローの１例を示す図である。
【図２０】図２０は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。
【図２１】図２１は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。
【図２２】図２２は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。
【図２３】図２３は、図１６または図１９の動作フローのうちズームカメラの焦点距離のフィールド校正に係る動作フローの１例を示す図である。
【図２４】図２４は、図２０の動作フローのうち基準画像と参照画像との取得に係る動作フローの１例を示す図である。
【図２５】図２５は、図２０の動作フローのうち基準画像と参照画像との取得に係る動作フローの１例を示す図である。
【図２６】図２６は、図２２の動作フローのうち基準画像と参照画像との取得に係る動作フローの１例を示す図である。
【図２７】図２７は、図２１の動作フローのうち第１、第２基準画像と、第１、第２参照画像の取得に係る動作フローの１例を示す図である。
【図２８】図２８は、図２１の動作フローのうち第１、第２基準画像と、第１、第２参照画像の取得に係る動作フローの１例を示す図である。
【図２９】図２９は、図２３の動作フローのうち第１、第２基準画像と、第１、第２参照画像との取得に係る動作フローの１例を示す図である。
【図３０】図３０は、図２０の動作フローのうち第１演算処理に係る動作フローの１例を示す図である。
【図３１】図３１は、図２１の動作フローのうち第２演算処理に係る動作フローの１例を示す図である。
【図３２】図３２は、図２２の動作フローのうち第３演算処理に係る動作フローの１例を示す図である。
【図３３】図３３は、図２３の動作フローのうち第４算処理に係る動作フローの１例を示す図である。
【発明を実施するための形態】
【００２８】
＜実施形態について：＞
＜◎情報処理システム１００Ａについて：＞
図１は、実施形態に係る情報処理システム１００Ａの主な構成を例示するブロック図である。
【００２９】
図１に示されるように、情報処理システム１００Ａは、ステレオカメラ３００Ａ（または３００Ｂ）と情報処理装置２００Ａとを主に備えて構成されている。
【００３０】
ステレオカメラ３００Ａおよび３００Ｂは、焦点距離固定の撮像光学系を備えた単焦点カメラ（「第１カメラ」とも称する）３１と、焦点距離可変の撮像光学系を備えたズームカメラ（「第２カメラ」とも称する）３２とを主に備えて構成されており、１の視点に設置されたステレオカメラ３００Ａ（３００Ｂ）の単焦点カメラ３１およびズームカメラ３２がそれぞれ被写体を撮像した第１画像ｇ１および第２画像ｇ２は、情報処理装置２００Ａに供給される。
【００３１】
情報処理装置２００Ａは、先ず、予め校正され記憶装置４６（図１）に記憶された三次元化パラメータを用いて第１画像ｇ１と第２画像ｇ２とから三角測量の原理によってステレオカメラ３００Ａ（３００Ｂ）が撮影した被写体の三次元形状を表現した距離情報５２（図２）を生成する。
【００３２】
情報処理装置２００Ａは、距離情報５２と、該１の視点とは異なる別視点に設置される仮想カメラの位置、姿勢の情報と、仮想カメラおよびズームカメラ３２の撮影パラメータとに基づいて該別視点から該仮想カメラが撮像する画像と、ズームカメラ３２が撮像した高精細の被写体画像である第２画像ｇ２との対応関係を取得する。
【００３３】
次に、情報処理装置２００Ａは、該対応関係に基づいて第２画像ｇ２を変換することによって該仮想カメラが別視点から被写体を撮像したときの画像に相当する疑似画像５３（図２）を生成し、第２画像ｇ２と疑似画像５３とを立体視用画像組を構成するステレオ画像として、立体視用の表示部４３に表示する。
【００３４】
上述した動作によって、情報処理システム１００Ａは、被写体を実測していない視点を含む複数視点から被写体をステレオ視したときの立体視用画像表示システムを実現している。
【００３５】
ズームカメラ３２の撮像光学系はズーム駆動機構を有しているために三次元化パラメータが経時変化する。高品質の疑似画像５３が取得されるためにはステレオカメラ３００Ａ(３００Ｂ)の三次元化パラメータの値を正確な値に保つことが必要であり、情報処理システム１００Ａでは、被写体の撮像現場において、簡易に取得可能な画像データに基づいて、高速に三次元化パラメータを校正することができる。
【００３６】
なお、撮像現場での校正を「フィールド校正」とも称し、ステレオカメラ３００Ａの製造工程における校正を「製造時校正」とも称する。
【００３７】
以下では、情報処理システム１００Ａの各機能部の構成と動作、ならびにフィールド校正および製造時校正などについて説明する。
【００３８】
＜○ステレオカメラ３００Ａの構成と動作：＞
図３は、実施形態に係るステレオカメラ３００Ａの機能構成を例示するブロック図である。なお、本願の図面においては、説明のために図面に適宜座標軸を設けている。
【００３９】
図３に示されるように、ステレオカメラ３００Ａは、焦点距離固定の撮像光学系９ａを備えたカメラである単焦点カメラ３１と、焦点距離可変の撮像光学系９ｂを備えたカメラであるズームカメラ３２とを主に備えて構成されている。
【００４０】
単焦点カメラ３１は、撮像光学系９ａの他、撮像素子５ａ、制御処理回路２５ａを主に備えて構成されており、ズームカメラ３２は、撮像光学系９ｂの他、撮像素子５ｂ、制御処理回路２５ｂ、駆動機構２６を主に備えて構成されている。
【００４１】
ステレオカメラ３００Ａは、被写体６１からの光を単焦点カメラ３１およびズームカメラ３２で撮影してステレオ画像を構成する第１画像ｇ１および第２画像ｇ２を取得し、情報処理装置２００Ａへと供給する。
【００４２】
撮像光学系９ａは、焦点距離固定のレンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体６１の画像を撮像素子５ａ上に結像させる光学系である。
【００４３】
撮像光学系９ｂは、焦点距離可変のレンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体６１の画像を撮像素子５ｂ上に結像させる光学系であり、駆動機構２６によって撮像光学系９ｂの光学的状態が変更されることによって、撮像光学系９ｂの焦点距離ｆ２が、変更可能に構成されている。
【００４４】
被写体６１上の物点Ｍの像は、光学中心３ａおよび３ｂをそれぞれ通過する主光線６ａおよび６ｂに沿って撮像素子５ａおよび５ｂ上にそれぞれ像点ＰａおよびＰｂとして結像される。
【００４５】
光学中心３ａおよび３ｂは、通常、撮像光学系の主点であるが、例えば、撮像光学系としてテレセントリック光学系が採用された場合には、通常、撮像光学系の焦点が光学中心となる。
【００４６】
単焦点カメラ３１およびズームカメラ３２の像中心位置７ａおよび７ｂは、それぞれ撮像素子５ａと光軸４ａとの交点および撮像素子５ｂと光軸４ｂとの交点であり、また、撮像光学系９ａおよび９ｂ間の基線長ｂは、光軸４ａと光軸４ｂとの距離である。
【００４７】
撮像光学系９ａと撮像素子５ａとの距離は、撮像光学系９ａの焦点距離ｆ１であり、焦点距離ｆ１の値は既知の固定値（定数）である。
【００４８】
また、撮像光学系９ｂと撮像素子５ｂとの距離は、撮像光学系９ｂの焦点距離ｆ２であり、焦点距離ｆ２は、駆動機構２６が撮像光学系９ｂの状態を変動させることに応じて変動する可変の焦点距離である。
【００４９】
なお、像点Ｐａの撮像素子５ａ上の座標と像点Ｐｂの撮像素子５ｂ上の座標との差（視差）、基線長ｂ、焦点距離ｆ１、および焦点距離ｆ２などのステレオカメラ３００Ａに係る三次元化パラメータを用いた三角測量の原理に基づく三次元化処理が、情報処理装置２００Ａにおいて行われることによって物点Ｍの撮像距離Ｄ１その他の距離情報（「三次元座標」とも称する）が取得される。
【００５０】
ここで、ステレオカメラ３００Ａについては、撮像光学系９ａおよび９ｂのそれぞれの光軸４ａおよび４ｂは平行、または略平行である。
【００５１】
また、第１画像ｇ１および第２画像ｇ２の相互間での対応点探索処理が容易に行えるように、撮像素子５ａおよび５ｂは、それぞれの走査線が平行、または略平行になるように設置されている。
【００５２】
実際の構成においては、通常、光軸同士、走査線同士が完全に平行であるように構成することは困難であるため、これらは誤差を有した略平行状態であるが、単焦点カメラ３１および３２から供給される第１画像ｇ１および第２画像ｇ２に対して情報処理装置２００Ａが、単焦点カメラ３１および３２のカメラパラメータなどを用いた処理（「平行化処理」とも称する）を行うことによって、ステレオカメラ３００Ａの各カメラの光軸同士、走査線同士が平行である場合と同等の状態を実現することができる。なお、本願発明における「平行」とは、平行または略平行を意味する。
【００５３】
撮像素子５ａおよび５ｂは、例えば、ＶＧＡ（６４０×４８０画素）サイズの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される撮像素子である。
【００５４】
撮像素子５ａおよび５ｂは、撮像素子５ａおよび５ｂに結像された像の強度に応じた画像信号をそれぞれ生成するとともに、制御処理回路２５ａおよび制御処理回路２５ｂにそれぞれ供給する。
【００５５】
制御処理回路２５ａおよび制御処理回路２５ｂは、撮像素子５ａおよび５ｂから供給される各画像信号を処理してデジタル画像に変換することにより、各撮像素子の有効画素数に応じた第１画像ｇ１および第２画像ｇ２をそれぞれ生成し、情報処理装置２００Ａへと供給する。
【００５６】
また、駆動機構２６は、焦点距離ｆ２を変動させるための、例えば、パルスモータと送りネジなどによって構成された駆動機構である。
【００５７】
制御処理回路２５ｂは、情報処理装置２００Ａから供給される、焦点距離ｆ２を制御するための駆動パルス数などの駆動制御値５１に基づいて駆動機構２６を動作させることによって焦点距離ｆ２の値を変動（「ズーム」）させる。
【００５８】
ここでステレオカメラ３００Ａのずれ量ｄは、光軸４ａ（４ｂ）方向に沿った光学中心３ａと光学中心３ｂとの位置ずれ量であり、ステレオカメラ３００Ａについてのずれ量ｄは、ズームカメラ３２のズーム動作に関わらず一定になるように構成されている。
【００５９】
すなわち、ステレオカメラ３００Ａにおいては、ズーム動作によってズームカメラ３２の焦点距離ｆ２が変動したとしても、光学中心３ｂの位置は、光学中心３ａに対して変動しない。
【００６０】
このようなズーム動作によっても光学中心３ａに対する光学中心３ｂの位置が変動しないズームカメラ３２は、例えば、ズームによる焦点距離ｆ２の変動によって光学中心３ｂが光学中心３ａに対して移動する場合には、別途設定された不図示の駆動機構によってズームカメラ３２全体を、該移動の方向とは反対の方向に該移動の移動量だけ移動をさせることなどによって実現することができる。
【００６１】
また、ステレオカメラ３００Ａの製造工程における製造時校正において生成される、後述する駆動制御値対応情報ｔ１、パラメータ対応情報ｔ２、ステレオカメラ３００Ａの基線長ｂなどの情報は、ステレオカメラ３００Ａ内部に設けられた不図示の記憶部に記憶されており、ステレオカメラ３００Ａに接続された情報処理装置２００Ａに供給される。
【００６２】
＜○ステレオカメラ３００Ｂの構成と動作：＞
図３は、実施形態に係るステレオカメラ３００Ｂの機能構成を例示するブロック図である。図３に示されるように、ステレオカメラ３００Ｂは、焦点距離固定の撮像光学系９ａを備えたカメラである単焦点カメラ３１と、焦点距離可変の撮像光学系９ｂを備えたカメラであるズームカメラ３２とを主に備えて構成されている。
【００６３】
ステレオカメラ３００Ｂは、ステレオカメラ３００Ａと略同様の構成を有し、略同様の動作を行うが、一部の構成・動作においてステレオカメラ３００Ａとの差異を有する。
【００６４】
該差異は、ステレオカメラ３００Ａでは、ズームカメラ３２のズーム動作に関わらず、ずれ量ｄが一定であったのに対して、ステレオカメラ３００Ｂでは、ズームカメラ３２のズーム動作にともなってずれ量ｄが変動することである。
【００６５】
なお、該差異以外のステレオカメラ３００Ｂの構成・動作については、ステレオカメラ３００Ａの構成・動作と同様であるため説明を省略する。
【００６６】
○ステレオカメラのバリエーション：
ステレオカメラ３００Ａとしては、例えば、上述したステレオカメラ３００Ａの構成に加えて、さらに、一定のずれ量ｄの値が零または略零、すなわち光学中心３ａおよび３ｂを結ぶ線分が光軸４ａと直交または略直交する構成を有するものなどが採用され得る。
【００６７】
また、ステレオカメラ３００Ｂとしては、例えば、上述したステレオカメラ３００Ｂの構成に加えて、さらに、駆動制御値５１の値などに基づいて撮像時のずれ量ｄの値を検出し、検出したずれ量ｄの値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なものなどが採用され得る。
【００６８】
また、ステレオカメラ３００Ａおよび３００Ｂとしては、例えば、上述したステレオカメラ３００Ａおよび３００Ｂのそれぞれの構成に加えて、さらに、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの焦点距離ｆ２の値が既知であり、その値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なものなどが採用され得る。
【００６９】
なお、ステレオカメラ３００Ａおよび３００Ｂでは、上述した構造および機能の差異を特定するための特定情報を該記憶部に保持しており、該特定情報は情報処理装置２００Ａへと供給される。
【００７０】
情報処理装置２００Ａが該特定情報を取得して、各ステレオカメラの構成および機能に応じた制御およびフィールド校正などを行うことによって、情報処理システム１００Ａは、機能および構成が異なったステレオカメラ３００Ａ（３００Ｂ）のバリエーションの各ステレオカメラを情報処理装置２００Ａと組み合わせて使用可能に構成されている。
【００７１】
より具体的には、情報処理装置２００Ａは、該特定情報から特定される各種ステレオカメラの構成および機能に応じたフィールド校正等を行うためのプログラムを、該特定情報に基づいて適応選択的に実行することなどによって、各種ステレオカメラに応じたフィールド校正などを行うことができる。
【００７２】
なお、該特定情報により特定されるステレオカメラの構成および機能に対して、複数のフィールド校正手法が採用可能な場合には、ＣＰＵ１１Ａは、表示部４３に採用可能な校正手法を表示し、操作者が操作部４２を用いて採用する校正手法を特定した校正手法特定情報に基づいて、ＣＰＵ１１Ａは、特定された校正手法を行うプログラムを実行する。
【００７３】
＜◎情報処理装置２００Ａの構成について：＞
図１に示されるように、情報処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、例えば、汎用のコンピュータでプログラムを実行することなどによって実現される。
【００７４】
入出力部４１は、例えば、ＵＳＢインタフェースなどの入出力インタフェースによって構成されており、ステレオカメラ３００Ａ（３００Ｂ）から情報処理装置２００Ａへ供給される画像情報等の入力、および情報処理装置２００Ａからステレオカメラ３００Ａ（３００Ｂ）への各種制御信号等の出力を行う。
【００７５】
操作部４２は、例えば、キーボードあるいはマウスなどによって構成されており、操作者が操作部４２を操作することによって、情報処理装置２００Ａへの各種制御パラメータの設定、情報処理装置２００Ａの各種動作モードの設定などが行われる。
【００７６】
表示部４３は、例えば、液晶ディスプレイなどによって構成されており、ステレオカメラ３００Ａ（３００Ｂ）から供給される第２画像ｇ２、および情報処理装置２００Ａが生成する第２画像ｇ２についての疑似画像５３（図２）などの各種画像情報の表示、ならびに情報処理システム１００Ａに関する各種情報および制御用ＧＵＩ（Graphical User Interface）などの表示を行う。
【００７７】
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００７８】
ＲＡＭ（Random Access Memory ）４５は、読み書き自在の揮発性メモリであり、画像取得部１２が取得した各種画像および疑似画像生成部１６が生成する疑似画像などの一時的な記憶装置、およびＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとして機能する。
【００７９】
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、情報処理装置２００Ａに対する設定情報などの各種情報を恒久的に記録する。
【００８０】
また、記憶装置４６には格納部４７が設けられており、格納部４７は、さらにフィールド校正用情報格納部４７ａ、駆動制御値対応情報格納部４７ｂ、パラメータ対応情報格納部４７ｃ、および三次元化パラメータ格納部４７ｄ（それぞれ図２）などの後述する各機能部を有している。
【００８１】
フィールド校正用情報格納部４７ａには、後述するズームカメラ３２の焦点距離についてのフィールド校正に使用される基準焦点距離ｆｓなどの各種情報が、操作部４２またはステレオカメラ３００Ａ（３００Ｂ）などから供給されて記憶されている。
【００８２】
なお、基準焦点距離ｆｓとしては、後述するように、単焦点カメラ３１の既知の焦点距離ｆ１が採用される場合と、ズームカメラ３２の撮像光学系９ｂが、そのズーム動作に係る駆動範囲のうち撮像光学系９ｂの光学的状態の再現性が高い、例えば、駆動範囲の端部の物理的な当り位置にあるときの既知の焦点距離が採用される場合とがある。
【００８３】
また、駆動制御値対応情報格納部４７ｂには、ズームカメラ３２の焦点距離を制御する駆動制御値５１（図１、図２）と、ズームカメラ３２の焦点距離との対応関係を表現した駆動制御値対応情報ｔ１が、情報処理装置２００Ａに接続されたステレオカメラ３００Ａ（３００Ｂ）から供給されて記憶されている。
【００８４】
また、パラメータ対応情報格納部４７ｃには、ステレオカメラ３００Ａ（３００Ｂ）のうちズームカメラ３２の焦点距離と、校正されたズームカメラ３２の各カメラパラメータとの対応関係を表現したパラメータ対応情報ｔ２が、情報処理装置２００Ａに接続されたステレオカメラ３００Ａ（３００Ｂ）から供給されて記憶されている。
【００８５】
なお、パラメータ対応情報ｔ２は、ステレオカメラ３００Ａ（３００Ｂ）の製造工程で行われる製造時校正によって生成されてステレオカメラ３００Ａ（３００Ｂ）に格納された情報である。
【００８６】
また、三次元化パラメータ格納部４７ｄには、単焦点カメラ３１についてのカメラパラメータである第１カメラパラメータｐ１、ステレオカメラ３００Ａ（３００Ｂ）の基線長ｂが、ステレオカメラ３００Ａ（３００Ｂ）から供給されて記憶されている。
【００８７】
第１カメラパラメータｐ１と、基線長ｂとは、予め、ステレオカメラ３００Ａ（３００Ｂ）の製造時校正によって取得され、ステレオカメラ３００Ａ（３００Ｂ）内部の記憶部に記憶されている。
【００８８】
ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。
【００８９】
ＣＰＵ１１Ａは、後述するように、画像取得部１２、焦点距離取得部１３、カメラパラメータ取得部１４、三次元化部１５、疑似画像生成部１６、およびズーム制御部１７としても機能する。
【００９０】
ＣＰＵ１１Ａは、これらの機能部によって、各種校正用の画像および立体視用画像生成の対象である被写体についてのステレオ画像などの取得、ズームカメラ３２の焦点距離を制御する駆動制御値とズームカメラ３２の焦点距離との対応関係を表現した駆動制御値対応情報ｔ１のフィールド校正、ズームカメラ３２の焦点距離のフィールド校正、ならびにステレオカメラ３００Ａ（３００Ｂ）の撮像動作およびズームカメラ３２のズーム動作などの制御を行う。
【００９１】
また、ＣＰＵ１１Ａは、ステレオカメラ３００Ａ（３００Ｂ）が撮像した被写体の距離情報５２の生成、距離情報５２の生成に使用されるズームカメラ３２についてのカメラパラメータである第２カメラパラメータｐ２の取得、ズームカメラ３２が被写体について第２画像ｇ２を撮像した第１の視点とは異なる仮想視点から仮想カメラが被写体を撮像したときの画像に対応した疑似画像５３（図２）の生成、ならびに第２画像ｇ２と疑似画像５３とから成る立体視用画像組の表示部４３への表示なども行う。
【００９２】
ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００Ａ（３００Ｂ）の制御およびステレオカメラ３００Ａ（３００Ｂ）からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００９３】
なお、図１に示される構成例では、画像取得部１２、焦点距離取得部１３、カメラパラメータ取得部１４、三次元化部１５、疑似画像生成部１６、およびズーム制御部１７の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００９４】
＜◎情報処理装置２００Ａの各機能部の動作について：＞
図２は、実施形態に係る情報処理装置２００Ａの主な機能構成を例示するブロック図である。以下では、図２に示される情報処理装置２００Ａの各機能部の動作について説明する。
【００９５】
○画像取得部１２の動作：
画像取得部１２は、焦点距離が固定の単焦点カメラ３１が被写体を撮像した第１画像ｇ１と、焦点距離が可変のズームカメラ３２が被写体を撮像した第２画像ｇ２とを入出力部４１を介して取得する。
【００９６】
立体視画像生成時には、画像取得部１２は、第１画像ｇ１を三次元化部１５へと供給するとともに、第２画像ｇ２を三次元化部１５、疑似画像生成部１６、および表示部４３へと供給する。
【００９７】
また、ズームカメラ３２の焦点距離のフィールド校正時には、画像取得部１２は、単焦点カメラ３１が校正用対象物を撮像した画像、または、その撮像光学系９ｂが、物理的な当り位置に在るなど位置再現性が高い光学的状態にあり、かつ、焦点距離が既知の光学的状態にあるズームカメラ３２が、校正用対象物を撮像した画像を基準画像１ａ（または、第１基準画像１ｂおよび第２基準画像１ｃ）として取得する。
【００９８】
また、ズームカメラ３２の焦点距離のフィールド校正時には、画像取得部１２は、ズームカメラ３２が、ズーム動作によって上述した既知の光学的状態とは異なる光学的状態となったときにズームカメラ３２が校正用対象物を撮像した画像を参照画像２ａ(または、第１参照画像２ｂおよび第２参照画像２ｃ)として取得し、これらの画像を焦点距離取得部１３に供給する。
【００９９】
なお、基準画像についての焦点距離は、ステレオカメラ３００Ａ（３００Ｂ）から情報処理装置２００Ａへと供給されて、焦点距離のフィールド校正に必要な情報の１つである基準焦点距離ｆｓとしてフィールド校正用情報格納部４７ａに記憶され、焦点距離のフィールド校正に使用される。
【０１００】
また、画像取得部１２は、予め撮影されて記録媒体に保存された第１画像ｇ１および第２画像ｇ２を、入出力部４１を介して取得してもよい。
【０１０１】
○焦点距離取得部１３の動作：
(ａ)ズームカメラ３２の焦点距離のフィールド校正での動作：
焦点距離取得部１３は、ズームカメラ３２の「焦点距離のフィールド校正」において、画像取得部１２から供給された各基準画像および各参照画像とにおける校正用対象物の像サイズの情報、およびフィールド校正用情報格納部４７ａから供給された基準焦点距離ｆｓなどの情報を用いて基準焦点距離ｆｓ（図２）の値をスケーリングする演算処理に基づいて、各参照画像が撮像されたときの参照焦点距離ｆｍ（図２）の値を取得する。
【０１０２】
次に、焦点距離取得部１３は、取得した参照焦点距離ｆｍを、各参照画像を撮像したズームカメラ３２についての校正時点の実際の焦点距離として取得する処理を行う。
【０１０３】
(ｂ)駆動制御値対応情報ｔ１のフィールド校正での動作：
情報処理システム１００Ａにおいては、ズームカメラ３２の撮像光学系９ｂの所定位置を検出する位置センサの検出特性の変動、駆動機構２６のギアなどの摩耗、およびステレオカメラの姿勢変化などによる駆動機構２６の変位などに起因して、パルス数または制御電圧などの駆動制御値と、該駆動制御値に対するズームカメラ３２の焦点距離との関係を表現した駆動制御値対応情報ｔ１が変動する。
【０１０４】
そこで、焦点距離取得部１３は、変動した駆動制御値対応情報ｔ１を校正する「駆動制御値対応情報ｔ１のフィールド校正」を行う。
【０１０５】
駆動制御値対応情報ｔ１のフィールド校正において、焦点距離取得部１３は、先ず、所定の駆動制御値５１に従ってズームされたズームカメラ３２に対して焦点距離のフィールド校正を行うことによってズームカメラ３２のフィールド校正時点の焦点距離を取得する。
【０１０６】
次に、焦点距離取得部１３は、ズーム制御部１７から取得した駆動制御値５１と、駆動制御値対応情報格納部４７ｂから取得された駆動制御値対応情報ｔ１とに基づいて駆動制御値５１に対応する焦点距離を推定し、推定した焦点距離と、焦点距離のフィールド校正によって取得された焦点距離との差が、所定範囲内であるか否かをチェックする。
【０１０７】
チェックの結果、この差が所定範囲を超える場合には、焦点距離取得部１３は、ズームカメラ３２の光学的状態が、駆動制御値対応情報ｔ１が生成されたときの光学的状態から大きくずれていると判断し、他の駆動制御値についても同様に焦点距離のフィールド校正を行う。
【０１０８】
焦点距離取得部１３は、一連の焦点距離のフィールド校正によって新たに取得された各焦点距離を各駆動制御値５１に対応させることによって駆動制御値対応情報ｔ１を更新し、更新した駆動制御値対応情報ｔ１を駆動制御値対応情報格納部４７ｂに記憶するとともに、ステレオカメラ３００Ａ（３００Ｂ）の内部の記憶部に記憶された駆動制御値対応情報ｔ１も更新する。
【０１０９】
(ｃ)疑似画像生成時の動作：
焦点距離取得部１３は、疑似画像生成時には、２種類の方法によってズームカメラ３２の焦点距離を取得する。
【０１１０】
・該２種類の方法のうち１つとして、焦点距離取得部１３は、現時点の駆動制御値５１に対応する焦点距離を駆動制御値対応情報ｔ１に基づいて推定し、ズームカメラ３２の焦点距離として取得する処理を行う（図１８の動作フロー）。
【０１１１】
・また、該２種類の方法のうち他の１つとして、焦点距離取得部１３は、疑似画像生成用の画像の撮像時にズームカメラ３２の焦点距離のフィールド校正を行い、得られた焦点距離をズームカメラ３２の焦点距離として取得する処理を行う（図１９の動作フロー）。
【０１１２】
該２種類の方法のうち１つの手法の選択は、例えば、予め操作部４２から設定された動作モードなどに基づいて行われる。
【０１１３】
取得されたズームカメラ３２の焦点距離は、カメラパラメータ取得部１４へと供給され、該焦点距離に対応したズームカメラ３２のカメラパラメータの取得に供される。
【０１１４】
○カメラパラメータ取得部１４の動作：
カメラパラメータ取得部１４は、疑似画像生成用の動作において、焦点距離取得部１３から供給されたズームカメラ３２の焦点距離と、パラメータ対応情報格納部４７ｃに記録されたパラメータ対応情報ｔ２とに基づいて、焦点距離に応じたズームカメラ３２の各種カメラパラメータである第２カメラパラメータｐ２を取得して三次元化部１５へと供給する。
【０１１５】
なお、第２カメラパラメータｐ２としては、具体的には、歪曲収差補正係数、像中心位置７ｂ（図３）、焦点距離、Ｓｋｅｗ（撮像光学系と撮像素子面との傾き）、および単焦点カメラ３１とズームカメラ３２との光学中心の位置ずれ量ｄのうち少なくとも１つが採用される。
【０１１６】
○三次元化部１５の動作：
三次元化部１５は、カメラパラメータ取得部１４からズームカメラ３２についての第２カメラパラメータｐ２を取得するとともに、三次元化パラメータ格納部４７ｄから、単焦点カメラ３１についての各種カメラパラメータである第１カメラパラメータｐ１と、単焦点カメラ３１とズームカメラ３２の基線長ｂとを取得する。
【０１１７】
三次元化部１５は、取得した各パラメータを用いて画像取得部１２から供給された立体視用画像の生成対象の被写体についての第１画像ｇ１および第２画像ｇ２から三角測量の原理によって被写体の距離情報５２を取得し疑似画像生成部１６に供給する。
【０１１８】
○疑似画像生成部１６の動作：
疑似画像生成部１６は、被写体の第２画像ｇ２と、被写体の距離情報５２とを、画像取得部１２と三次元化部１５とからそれぞれ供給されて、これらの情報に基づいて、ズームカメラ３２とは別の仮想視点に置かれた仮想カメラが被写体を撮像した画像に相当する疑似画像５３を取得する。
【０１１９】
より詳細には、疑似画像生成部１６は、ズームカメラ３２と仮想カメラのそれぞれについての焦点距離、画素数、および画素サイズなどの撮影パラメータと、ズームカメラ３２と仮想カメラとの相互の位置および姿勢の関係である座標系情報とに基づいて、第２画像ｇ２の画像上の各座標と、疑似画像５３の画像上の各座標との対応関係を取得する。
【０１２０】
次に、疑似画像生成部１６は、該対応関係と第２画像ｇ２の各画素の画素値に基づいて疑似画像５３の各画素に画素値を付与することなどによって疑似画像５３を生成する。なお、該撮影パラメータおよび該座標系情報は、格納部４７に記憶されている。
【０１２１】
疑似画像生成部１６は、生成した疑似画像５３を表示部４３に供給し、表示部４３においては、疑似画像５３と、第２画像ｇ２とが立体視用画像組としてそれぞれ表示される。
【０１２２】
○ズーム制御部１７の動作：
ズーム制御部１７は、駆動制御値対応情報ｔ１のフィールド校正時には、駆動制御値対応情報ｔ１を規定している各駆動制御値５１を、入出力部４１を介してステレオカメラ３００Ａ（３００Ｂ）へ供給し、ズームカメラ３２の焦点距離を制御する。
【０１２３】
また、ズーム制御部１７は、ズームカメラ３２に供給している駆動制御値５１を焦点距離取得部１３へも供給しており、焦点距離取得部１３は、ズーム制御部１７から供給された駆動制御値に対応する焦点距離を駆動制御値対応情報ｔ１に基づいて取得する。
【０１２４】
＜◎焦点距離のフィールド校正について：＞
次に、焦点距離取得部１３が行うズームカメラ３２の焦点距離のフィールド校正について説明する。
【０１２５】
情報処理システム１００Ａにおいては、上述したように、ステレオカメラ３００Ａおよび３００Ｂ、さらにこれらから派生した構成、機能を有するステレオカメラを対象として、そのズームカメラ３２が対象物の画像を撮像したときのズームカメラ３２の焦点距離を校正する。
【０１２６】
◎焦点距離のフィールド校正ＡおよびＢ：
焦点距離のフィールド校正Ａは、例えば、ずれ量ｄ（図３）が一定であるステレオカメラ３００Ａのうち、ずれ量ｄの値が零または略零であるステレオカメラ３００Ａ（以下、「ステレオカメラ３００Ａ１」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正である。
【０１２７】
また、焦点距離のフィールド校正Ｂは、例えば、ずれ量ｄ（図３）が一定であるステレオカメラ３００Ａのうち、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの焦点距離ｆ２の値が既知であり、その値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なステレオカメラ３００Ａ（以下、「ステレオカメラ３００Ａ２」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正である。
【０１２８】
なお、撮像光学系９ｂの焦点距離ｆ２の値が既知である上述した撮像光学系９ｂの位置（光学的状態）は、撮像光学系９ｂについての位置制御の再現性が高い位置である。
【０１２９】
図４は、ステレオカメラ３００Ａ１における焦点距離のフィールド校正Ａ用のデータの取得の１例を説明する図である。
【０１３０】
図４では、ある未知の撮像距離に設置された実サイズが未知の１つの校正用対象物６２が、ステレオカメラ３００Ａ１の各カメラのうち、焦点距離が既知の基準焦点距離ｆｓ（焦点距離ｆ１）である単焦点カメラ３１と、焦点距離が未知の参照焦点距離ｆｍである該ズームカメラ３２とのそれぞれによって１回ずつ測定されて基準画像１ａおよび参照画像２ａが得られている。
【０１３１】
さらに図４では、ズームカメラ３２の未知の参照焦点距離ｆｍを求めるフィールド校正に使用するために、基準画像１ａおよび参照画像２ａのそれぞれにおける校正用対象物６２の像サイズＷｓおよび像サイズＷｍが取得されている。
【０１３２】
図４に示される主光線６ａおよび６ｂは、校正用対象物６２の外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。
【０１３３】
図４では、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに校正用対象物６２についての位置関係の把握を容易にするために、光軸４ａと４ｂ、光学中心３ａと３ｂ、主光線６ａと６ｂをそれぞれ重ねて表示している。
【０１３４】
図９は、ステレオカメラ３００Ａ２を用いて行われる焦点距離のフィールド校正Ｂ用のデータの取得の１例を説明する図である。
【０１３５】
図９では、ある未知の撮像距離に設置された実サイズが未知の１つの校正用対象物６２が、既知の基準焦点距離ｆｓを持つ光学的状態に設定されたステレオカメラ３００Ａ２のズームカメラ３２と、未知の参照焦点距離ｆｍを持つ光学的状態に設定されたステレオカメラ３００Ａ２のズームカメラ３２とによって１回ずつ測定されて基準画像１ａおよび参照画像２ａが得られている。
【０１３６】
さらに図９では、ズームカメラ３２の未知の参照焦点距離ｆｍを求めるフィールド校正に使用するために、基準画像１ａおよび参照画像２ａのそれぞれにおける校正用対象物６２の像サイズＷｓおよび像サイズＷｍが取得されている。
【０１３７】
なお、図９における基準焦点距離ｆｓは、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの既知の焦点距離である。
【０１３８】
図９に示される主光線６ｂは、校正用対象物６２がズームカメラ３２によって２回撮像されたときの校正用対象物６２の外縁部からの反射光のうち光学中心３ｂを通る各主光線である。
【０１３９】
図９では、焦点距離が既知の基準焦点距離ｆｓであるズームカメラ３２と、焦点距離が未知の参照焦点距離ｆｍである該ズームカメラ３２とのそれぞれの光学中心３ｂ、撮像素子５ｂ、および校正用対象物６２についての位置関係の把握を容易にするために、基準画像１ａと参照画像２ａとのそれぞれの光軸４ｂ、それぞれの光学中心３ｂ、それぞれの主光線６ｂをそれぞれ重ねて表示している。
【０１４０】
ここで、図５〜図８を用いて、図４の像サイズＷｓと像サイズＷｍとの取得について説明する。
【０１４１】
図５および図６は、像サイズＷｓおよびＷｍの１例をそれぞれ示す図である。
【０１４２】
図５および図６にそれぞれ示される基準画像１ａおよび参照画像２ａは、単焦点カメラ３１およびズームカメラ３２がそれぞれ球状の校正用対象物６２（図４）を撮像した画像であり、像６２ｓおよび像６２ｍはそれぞれ、基準画像１ａおよび参照画像２ａにおける校正用対象物６２の円形の像である。
【０１４３】
また、像サイズＷｓは、像６２ｓの直径であり、図６に示される像サイズＷｍは、像６２ｍの直径である。
【０１４４】
なお、像サイズＷｓおよびＷｍは、例えば、像６２ｓおよび６２ｍのそれぞれの外縁に対して円をフィッティングし、フッティングされた円の直径を取得する手法などによって求められる。
【０１４５】
また、図７および図８は、図５および図６に示された例とは異なる像サイズＷｓおよびＷｍの他の１例をそれぞれ示す図である。
【０１４６】
図７および図８にそれぞれ示される基準画像１ａおよび参照画像２ａは、単焦点カメラ３１およびズームカメラ３２がそれぞれ立方体状の校正用対象物６８（図７、図８）を撮像した画像であり、像６８ｓおよび像６８ｍはそれぞれ、基準画像１ａおよび参照画像２ａにおける校正用対象物６８の像である。
【０１４７】
また、像５４ｓおよび５５ｓは、像６８ｓにおける校正用対象物６８の特徴部５４および５５（図７、図８）のそれぞれ像であり、像５４ｍおよび５５ｍは、像６８ｍにおける特徴部５４および５５のそれぞれの像である。
【０１４８】
焦点距離取得部１３は、例えば、基準画像１ａを対象としたエッジ検出処理などの画像処理を行うこと、または、表示部４３に表示された像６８ｓにおいて、操作者が操作部４２を介して指示した像５４ｓおよび５５ｓの座標情報を取得することなどによって像５４ｓおよび５５ｓの座標情報を取得する。
【０１４９】
次に、焦点距離取得部１３は、例えば、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）法などを用いた対応点探索手法用いて像５４ｓおよび５５ｓにそれぞれ対応した参照画像２ａ上の像５４ｍおよび５５ｍを探索することなどによって像５４ｍおよび５５ｍの座標情報を取得する。
【０１５０】
焦点距離取得部１３は、像５４ｓおよび５５ｓのそれぞれの座標情報から像５４ｓおよび５５ｓ間の距離を像サイズＷｓとして取得するとともに、同様に、像５４ｍおよび５５ｍ間の距離を像サイズＷｍとして取得する。
【０１５１】
このように校正用対象物の像の像サイズとして、像の全幅ではなく、像の一部分の像サイズを取得したとしても本発明の有用性を損なうものではない。
【０１５２】
なお、図５〜図８を用いて上述した像サイズＷｓと像サイズＷｍとの取得手法は、本明細書において説明する他のフィールド校正Ｂ〜Ｆにおける各像サイズの取得においても、同様に適用される。
【０１５３】
フィールド校正Ａまたはフィールド校正Ｂにおいて、像サイズＷｓおよび像サイズＷｍが取得されると、参照焦点距離ｆｍは、上述した各手法などによって取得された像サイズＷｓおよび像サイズＷｍと、フィールド校正用情報格納部４７ａに格納された基準焦点距離ｆｓとを用いて（１）式によって与えられる。
【０１５４】
【数１】
2011132552.tif 000003
【０１５５】
なお、フィールド校正Ａにおける参照焦点距離ｆｍの演算式は、（１）式に限定されず、例えば、サイズＷｓおよびＷｍの歪曲収差補正係数、基準画像１ａおよび参照画像２ａの平行化処理のための係数などが、所望される参照焦点距離ｆｍの精度に応じて（１）式に適宜付加して使用したとしても本発明の有用性を損なうものではない。また、後述する（２）式〜（５）式についても同様である。
【０１５６】
次にフィールド校正Ａおよびフィールド校正Ｂに係る情報処理装置２００Ａの動作フローについて説明する。
【０１５７】
図２０は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４０）に係る動作フローの１例を示す図であり、上述したフィールド校正Ａおよびフィールド校正Ｂに対応した動作フローの１例を示す図でもある。
【０１５８】
また、図２４は、図２０の動作フローのうちフィールド校正Ａにおける基準画像１ａと参照画像２ａとの取得（ステップＳ５１０）に係る動作フローの１例を示す図である。
【０１５９】
ステレオカメラ３００Ａ１が情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ａ１についての特定情報に基づいて、ステップＳ５１０の基準画像１ａと参照画像２ａとの取得の処理が開始され、処理は、図２４のステップＳ６１０に移される。
【０１６０】
ステップＳ６１０においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ａ１の各カメラが、ある位置に設置されたサイズが未知の校正用対象物６２を１回ずつ測定する。
【０１６１】
なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。
【０１６２】
また、単焦点カメラ３１とズームカメラ３２との撮像においては、校正用対象物６２と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。
【０１６３】
ステレオカメラ３００Ａ１では、例えば、単焦点カメラ３１とズームカメラ３２との撮像を同時または略同時に行うことなどによって、校正用対象物６２と、撮像系との空間的な関係を保った校正用対象物６２の撮像を行う。
【０１６４】
次に、焦点距離取得部１３は、ステレオカメラ３００Ａ１の単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ基準画像１ａ（図４）と参照画像２ａ（図４）として取得する（ステップＳ６１２）。
【０１６５】
基準画像１ａおよび参照画像２ａが取得されると、第１演算処理（図２０のＳ５２０）が開始され、処理は、図３０のステップＳ１０へと移される。
【０１６６】
図２５は、図２０の動作フローのうちフィールド校正Ｂにおける基準画像１ａと参照画像２ａとの取得（ステップＳ５１２）に係る動作フローの１例を示す図である。
【０１６７】
ステレオカメラ３００Ａ２が情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ａ２についての特定情報に基づいて、ステップＳ５１２の基準画像１ａと参照画像２ａとの取得の処理が開始され、処理は、図２５のステップＳ６１４に移される。
【０１６８】
ステップＳ６１４においては、先ず、ズーム制御部１７は、ステレオカメラ３００Ａ２のズームカメラ３２のズーミングを制御して、撮像光学系９ａの状態を、既知の基準焦点距離ｆｓ（図９）を持つ光学的状態に変動させる。
【０１６９】
次に、ＣＰＵ１１Ａの制御によって該ズームカメラ３２は、ある位置に設置されたサイズが未知の校正用対象物６２を１回測定する。
【０１７０】
次に、焦点距離取得部１３は、該ズームカメラ３２が撮像した画像（第２画像ｇ２）を基準画像１ａ（図９）として取得する。
【０１７１】
次に、ズーム制御部１７は、ズームカメラ３２のズーミングを制御して撮像光学系９ｂを、未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定する。
【０１７２】
次に、ＣＰＵ１１Ａの制御によってズームカメラ３２が校正用対象物６２を測定し、焦点距離取得部１３は、測定された画像（第２画像ｇ２）を参照画像２ａとして取得する（ステップＳ６１６）。
【０１７３】
なお、フィールド校正Ｂにおいても、校正用対象物と、各撮像系との空間的な関係を保った状態で基準画像１ａと参照画像２ａとの取得を行うために、ステレオカメラ３００Ａ２に対して校正用対象物６２が相対的に静止した状態で、撮像が行われる。
【０１７４】
また、ここでは、基準画像１ａを先に撮像する例を説明したが、参照画像２ａを先に撮像しても本発明の有用性を損なうものではない。
【０１７５】
基準画像１ａおよび参照画像２ａが取得されると、処理は、第１演算処理（図２０のＳ５２０）へと移され、さらに図３０のステップＳ１０へと移される。
【０１７６】
図３０は、図２０の動作フローのうち第１演算処理（ステップＳ５２０）に係る動作フローの１例を示す図である。
【０１７７】
先ず、焦点距離取得部１３は、基準画像１ａについての焦点距離である基準焦点距離ｆｓ（図２、図４、図９）をフィールド校正用情報格納部４７ａから取得する（ステップＳ１０）。
【０１７８】
次に、焦点距離取得部１３は、基準画像１ａにおける校正用対象物６２（図４、図９）の像６２ｓ（図４、図９）の像サイズＷｓ（図４、図９）を測定する（ステップＳ１２）。
【０１７９】
また、焦点距離取得部１３は、参照画像２ａのうち像６２ｓに対応した像６２ｍ（図４、図９）の像サイズＷｍ（図４、図９）を測定する（ステップＳ１４）。
【０１８０】
次に、焦点距離取得部１３は、(１)式に基づいて参照画像２ａについての焦点距離である参照焦点距離ｆｍ（図２、図４、図９）を取得する（ステップＳ１６）。
【０１８１】
次に、処理は図２０に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ａ１または３００Ａ２におけるズームカメラ３２の焦点距離として取得する（ステップＳ５３０）。
【０１８２】
フィールド校正Ａまたはフィールド校正Ｂによれば、実サイズが未知の校正用対象物が未知の撮像距離において、撮像系との空間的な関係が保たれた状態で撮像されて基準画像１ａおよび参照画像２ａが取得される。
【０１８３】
そして、基準画像１ａおよび参照画像２ａにおける校正用対象物６２の像サイズＷｓおよびＷｍを用いて、（１）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値が取得される。
【０１８４】
したがって、フィールド校正Ａまたはフィールド校正Ｂによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心との光軸方向における位置が等しい、または略等しくなる場合に、校正対象物の撮像距離および実サイズの情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。
【０１８５】
また、フィールド校正Ａによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、基準画像１ａと第１基準画像１ｂとを同時または略同時に測定することができる。
【０１８６】
したがって、校正用対象物６２と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で基準画像１ａと第１基準画像１ｂを取得することができ、参照焦点距離ｆｍの取得精度を向上させることができる。
【０１８７】
また、フィールド校正Ａによれば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。
【０１８８】
また、フィールド校正Ａによれば、校正用対象物６２における同一サイズの部位をそれぞれ１回ずつ単焦点カメラ３１とズームカメラ３２とで同時または略同時に撮像することによって校正用の画像データが取得できるので、疑似画像５３の生成の対象となる被写体自体が、例えば、図７および図８で説明した手法などを適用可能な特徴部を有している場合には、該被写体自体を校正用対象物として採用することができる。
【０１８９】
◎焦点距離のフィールド校正Ｃ：
焦点距離のフィールド校正Ｃは、例えば、ズームカメラ３２のズームによってずれ量ｄ（図３）が変動するステレオカメラ３００Ｂのうち、撮像時のずれ量ｄの値を検出して情報処理装置２００Ａへと供給可能なステレオカメラ３００Ｂ（以下、「ステレオカメラ３００Ｂ１」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正として行われる。
【０１９０】
なお、フィールド校正Ｃの対象は、ステレオカメラ３００Ｂ１に限定されず、ステレオカメラ３００Ａおよび３００Ｂのうち、撮像時のずれ量ｄの値を情報処理装置２００Ａが取得可能なステレオカメラであれば、フィールド校正Ｃの適用対象となる。
【０１９１】
図１０は、ステレオカメラ３００Ｂ１におけるズームカメラ３２の焦点距離のフィールド校正Ｃ用のデータの取得の１例を説明する図である。
【０１９２】
図１０では、ある未知の撮像距離に設置された実サイズが既知の１つの校正用対象物６３が、ステレオカメラ３００Ｂ１の各カメラのうち、焦点距離が既知の基準焦点距離ｆｓ（焦点距離ｆ１）である単焦点カメラ３１と、焦点距離が未知の参照焦点距離ｆｍである該ズームカメラ３２とのそれぞれによって１回ずつ測定されて基準画像１ａおよび参照画像２ａが得られている。
【０１９３】
さらに、図１０では、ズームカメラ３２の未知の参照焦点距離ｆｍを求めるフィールド校正に使用するために、基準画像１ａおよび参照画像２ａのそれぞれにおける校正用対象物６３の像サイズＷｓおよび像サイズＷｍが取得される様子が示されている。
【０１９４】
図１０に示される主光線６ａおよび６ｂは、校正用対象物６３の外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。
【０１９５】
ここで、ずれ量ｄは、例えば、ズームの駆動制御値５１に応じたずれ量ｄの値を表現した情報と、撮像時の駆動制御値５１とに基づいて推定されるずれ量ｄの値、または、予め操作部４２を介して格納部４７に記憶されたずれ量ｄの既知の値などである。
【０１９６】
なお、図１０〜図１２においては、単焦点カメラ３１の光学中心３ａがズームカメラ３２の光学中心３ｂよりも校正用対象物に近い例が表示されているが、光学中心３ｂが光学中心３ａよりも校正用対象物に近い場合でも本願発明の有用性を損なうものではない。
【０１９７】
また、校正用対象物６３は、実サイズＳが既知である対象物であり、実サイズＳの値は、予めフィールド校正用情報格納部４７ａに格納されている。
【０１９８】
校正用対象物６３としては、具体的には、専用設計された校正用チャートの他、例えば、コインまたはペットボトルのキャップなどの円筒状の大きさ（直径）が規格化されたものを採用することができる。
【０１９９】
校正用対象物６３は、単焦点カメラ３１とズームカメラ３２とのそれぞれによって一回ずつ撮像されており、単焦点カメラ３１が撮像素子５ａを用いて撮像したときには、校正用対象物６３の像６３ｓは、第１基準画像１ｂに形成され、その像サイズは、像サイズＷｓである。
【０２００】
また、校正用対象物６３をズームカメラ３２が撮像素子５ｂを用いて撮像したときには、校正用対象物６３の像６３ｍは、参照画像２ａに形成され、その像サイズは、像サイズＷｍである。
【０２０１】
なお、像サイズＷｓおよびＷｍの取得については、フィールド校正Ａと同様に行うことができる。
【０２０２】
図１０では、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに校正用対象物６３についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。
【０２０３】
フィールド校正Ｃにおいて、像サイズＷｓおよびＷｍ、実サイズＳ、ならびにずれ量ｄが取得されると、参照焦点距離ｆｍは（２）式によって与えられる。
【０２０４】
【数２】
2011132552.tif 000004
【０２０５】
なお、フィールド校正Ａにおける参照焦点距離ｆｍの演算式は、（２）式に限定されず各種補正係数等を追加等可能であることは（１）式と同様である。
【０２０６】
次にフィールド校正Ｃに係る情報処理装置２００Ａの動作フローについて説明する。
【０２０７】
図２１は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４２）に係る動作フローの１例を示す図であり、上述したフィールド校正Ｃに対応した動作フローの１例を示す図でもある。
【０２０８】
また、図２６は、図２１の動作フローのうちフィールド校正Ｃにおける基準画像１ａと参照画像２ａとの取得（ステップＳ５１４）に係る動作フローの１例を示す図である。
【０２０９】
ステレオカメラ３００Ｂ１が情報処理装置２００Ａに接続された状態で、図２１に示される処理が開始されると、ステレオカメラ３００Ｂ１についての特定情報に基づいて、ステップＳ５１４の基準画像１ａと参照画像２ａとの取得の処理が開始され、処理は、図２６のステップＳ６１８に移される。
【０２１０】
ステップＳ６１８においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂ１の各カメラが、ある位置に設置されたサイズが既知の校正用対象物６３を１回ずつ測定する。
【０２１１】
なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。
【０２１２】
また、単焦点カメラ３１とズームカメラ３２との撮像動作においては、フィールド校正Ａと同様に校正用対象物６３と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。
【０２１３】
次に、焦点距離取得部１３は、ステレオカメラ３００Ｂ１の単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ基準画像１ａ（図１０）と参照画像２ａ（図１０）として取得する（ステップＳ６２０）。
【０２１４】
基準画像１ａおよび参照画像２ａが取得されると、第２演算処理（図２１のＳ５２４）が開始され、処理は、図３１のステップＳ３２へと移される。
【０２１５】
図３１は、図２１の動作フローのうち第２演算処理（ステップＳ５２４）に係る動作フローの１例を示す図である。
【０２１６】
先ず、焦点距離取得部１３は、基準画像１ａについての焦点距離である基準焦点距離ｆｓ（図２、図１０）をフィールド校正用情報格納部４７ａから取得する（ステップＳ３２）。
【０２１７】
次に、焦点距離取得部１３は、基準画像１ａを撮像した単焦点カメラ３１の撮像光学系９ａの光軸４ａ方向における光学中心３ａと、参照画像２ａを撮影したズームカメラ３２の撮像光学系９ｂの光軸４ｂ方向の光学中心位置３ｂとのずれ量ｄ（図１０）を、フィールド校正用情報格納部４７ａから取得する（ステップＳ３４）。
【０２１８】
次に、焦点距離取得部１３は、校正用対象物６３（図１０）の所定部分の実サイズＳ（図１０）をフィールド校正用情報格納部４７ａから取得する（ステップＳ３６）。
【０２１９】
次に、焦点距離取得部１３は、基準画像１ａのうち、校正用対象物６３の該所定部分に対応した像６３ｓの像サイズＷｓ（図１０）を測定する（ステップＳ３８）。
【０２２０】
次に、焦点距離取得部１３は、参照画像２ａのうち像６３ｓに対応した像６３ｍの像サイズＷｍ（図１０）を測定する（ステップＳ４０）。
【０２２１】
次に、焦点距離取得部１３は、(２)式に基づいて参照画像２ａについての焦点距離である参照焦点距離ｆｍ（図１０）を取得する（ステップＳ４２）。
【０２２２】
参照焦点距離ｆｍが取得されると、処理は図２１に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ｂ１におけるズームカメラ３２の焦点距離として取得する（ステップＳ５３４）。
【０２２３】
フィールド校正Ｃによれば、実サイズが未知の校正用対象物が未知の撮像距離において、撮像系との空間的な関係が保たれた状態でステレオカメラ３００Ｂ１の単焦点カメラ３１およびズームカメラ３２のそれぞれによって１回ずつ撮像されて基準画像１ａおよび参照画像２ａが取得される。
【０２２４】
そして、基準画像１ａおよび参照画像２ａにおける校正用対象物６２の像サイズＷｓおよびＷｍと、校正用対象物６３の実サイズＳ、ならびに既知のずれ量ｄを用いて（２）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値が取得される。
【０２２５】
したがって、フィールド校正Ｃによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心とのずれ量ｄが既知であり、校正用対象物の実サイズが既知である場合には、校正対象物の撮像距離の情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。
【０２２６】
また、フィールド校正Ｃによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、基準画像１ａと第１基準画像１ｂとを同時または略同時に測定することができる。
【０２２７】
従って、校正用対象物６３と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で基準画像１ａと第１基準画像１ｂを取得することができ、参照焦点距離ｆｍの取得精度を向上させることができる。
【０２２８】
また、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。
【０２２９】
また、フィールド校正Ｃによれば、校正用対象物６３における既知サイズの所定部位をそれぞれ１回ずつ単焦点カメラ３１とズームカメラ３２とで同時または略同時に撮像することによって校正用の画像データが取得できるので、疑似画像５３の生成の対象となる被写体自体が、図７および図８で説明した手法を適用可能な特徴部を有している場合には、該被写体自体を校正用対象物として採用することができる。
【０２３０】
なお、ステレオカメラ３００Ｂ１においては、ステレオカメラ３００Ａ２についてのフィールド校正Ｂと同様に、基準画像１ａを撮像する撮像装置として、単焦点カメラ３１に代えて、撮像光学系９ｂの駆動範囲の端部または、近接スイッチ位置などの撮像光学系９ｂの位置制御の再現性が高いポジションであって、かつ、撮像光学系９ｂの焦点距離が既知であるズームカメラ３２を採用したとしても、本発明の有用性を損なうものではない。
【０２３１】
◎焦点距離のフィールド校正ＤおよびＥ：
焦点距離のフィールド校正Ｄは、例えば、ずれ量ｄ（図３）が変動するステレオカメラ３００Ｂにおけるズームカメラ３２などの焦点距離のフィールド校正である。
【０２３２】
また、焦点距離のフィールド校正Ｅは、例えば、ずれ量ｄ（図３）が変動するステレオカメラ３００Ｂのうち、ズームカメラ３２の撮像光学系９ｂがズームに係る駆動範囲の端部などの構造的な当り位置、または、位置センサ等により撮像光学系９ｂの光学的状態を検出可能な位置などにおける撮像光学系９ｂの焦点距離ｆ２の値が既知であり、その値をステレオカメラ内部に設けられた不図示の記憶部などを介して情報処理装置２００Ａに供給可能なステレオカメラ３００Ｂ（以下、「ステレオカメラ３００Ｂ２」と称する）におけるズームカメラ３２などの焦点距離のフィールド校正である。
【０２３３】
なお、撮像光学系９ｂの焦点距離ｆ２の値が既知である上述した撮像光学系９ｂの位置（光学的状態）は、撮像光学系９ｂについての位置制御の再現性が高い位置である。
【０２３４】
図１１は、ステレオカメラ３００Ｂ（図３）における焦点距離のフィールド校正Ｄ用のデータの取得の１例を説明する図である。
【０２３５】
図１１では、１つの校正用対象物６４が、互いに異なる２つの未知の撮像距離に設置されて、各撮像距離毎にステレオカメラ３００Ｂの各カメラのそれぞれによって１回ずつ測定され、合計４枚の画像がフィールド校正用に測定される様子が、各カメラの光学中心３ａ、３ｂの配置関係を分かりやすく表示するために、１つの図に表示されている。
【０２３６】
さらに、図１１の表示においては、図１１の左側に表示された校正用対象物６４およびステレオカメラ３００Ｂと、図１１の右側に表示された校正用対象物６４およびステレオカメラ３００Ｂとのそれぞれについて、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに校正用対象物６３についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。
【０２３７】
図１１に示される主光線６ａおよび６ｂは、２つの異なる撮像距離に設置された各校正用対象物６４のそれぞれの外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。
【０２３８】
ここでは、先ず、図１１の左側に表示された校正用対象物６４を撮像するステレオカメラ３００Ｂから説明する。
【０２３９】
図１１の左側の図において、第１基準画像１ｂは、単焦点カメラ３１が校正用対象物６４を撮像素子５ａによって撮像した画像であり、像６４ｓ１は、第１基準画像１ｂにおける校正用対象物６４の像である。また、像サイズＷｓ１は、像６４ｓ１の像サイズである。
【０２４０】
また、第１参照画像２ｂは、ズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ１は、第１参照画像２ｂにおける校正用対象物６４の像である。像６４ｍ１の像サイズは像サイズＷｍ１である。
【０２４１】
ここで、第１基準画像１ｂと第１参照画像２ｂとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。
【０２４２】
次に、図１１の右側に表示された校正用対象物６４を撮像するステレオカメラ３００Ｂについて説明する。
【０２４３】
なお、図１１の右側の図に表示された校正用対象物６４は、図１１の左側に表示された校正用対象物６４に対してＺ軸方向の負側に配置されており、図１１の左側の校正用対象物６４よりも近い撮像距離で撮像されている。
【０２４４】
なお、図１１の右側の図に表示された校正用対象物６４が、図１１の左側に表示された校正用対象物６４に対してＺ軸方向の正側に配置されてもよい。
【０２４５】
図１１の右側の図において、第２基準画像１ｃは、単焦点カメラ３１が校正用対象物６４を撮像素子５ａによって撮像した画像であり、像６４ｓ２は、第２基準画像１ｃにおける校正用対象物６４の像である。また、像６４ｓ２の像サイズは像サイズＷｓ２である。
【０２４６】
また、第２参照画像２ｃは、ズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ２は、第２参照画像２ｃにおける校正用対象物６４の像である。像６４ｍ２から測定された像サイズは像サイズＷｍ２である。
【０２４７】
ここで、第２基準画像１ｃと第２参照画像２ｃとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。
【０２４８】
なお、図１１では、１つの校正用対象物６４が２つの異なる撮像距離に設置されて、撮像距離毎に順次に、ステレオカメラ３００Ｂによる撮像が行われているが、相互に異なる撮像距離に設置された同一または略同一サイズの２つの校正用対象物の両方を、ステレオカメラ３００Ｂの単焦点カメラ３１とズームカメラ３２とのそれぞれによって１回ずつ撮像したとしても、撮像された計２つの画像から上述した像サイズＷｓ１およびＷｓ２、ならびに像サイズＷｍ１およびＷｍ２を取得することができるので本発明の有用性を損なうものではない。
【０２４９】
図１２は、ステレオカメラ３００Ｂ２を用いて行われる焦点距離のフィールド校正Ｅ用のデータの取得の１例を説明する図である。
【０２５０】
図１２では、１つの校正用対象物６４が、互いに異なる２つの未知の撮像距離に設置されて、各撮像距離毎に校正用対象物６４がステレオカメラ３００Ｂのうちズームカメラ３２のみによって２回ずつ測定され、合計４枚の画像がフィールド校正用に測定される様子が、各カメラの光学中心３ａ、３ｂの配置関係を分かりやすく表示するために、図１１と同様に１つの図に表示されている。
【０２５１】
なお、ズームカメラ３２は、ズームカメラ３２が撮像光学系９ｂの駆動範囲の端部または、近接スイッチ位置などの撮像光学系９ｂの位置制御の再現性が高いポジションであって、かつ、焦点距離が既知の基準焦点距離ｆｓである光学的状態と、ズーミングによって焦点距離が未知の参照焦点距離ｆｍである光学的状態とのそれぞれの光学的状態において校正用対象物６４の撮像に使用されている。
【０２５２】
さらに、図１２の表示においては、図１２の左側に表示された校正用対象物６４およびズームカメラ３２と、図１２の右側に表示された校正用対象物６４およびズームカメラ３２とのそれぞれについて、異なる２つ焦点距離を持つズームカメラ３２のそれぞれ各光学中心３ｂ、撮像素子５ｂ、ならびに校正用対象物６４についての位置関係の把握を容易にするために、異なる２つの焦点距離についての光軸４ｂが一致するように表示されている。
【０２５３】
図１２の左側の図において、第１基準画像１ｂは、既知の基準焦点距離ｆｓをもつズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｓ１は、第１基準画像１ｂにおける校正用対象物６４の像である。また、像サイズＷｓ１は、像６４ｓ１の像サイズである。
【０２５４】
また、第１参照画像２ｂは、未知の参照焦点距離ｆｍをもつズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ１は、第１参照画像２ｂにおける校正用対象物６４の像である。また、像６４ｍ１の像サイズは像サイズＷｍ１である。
【０２５５】
ここで、第１基準画像１ｂと第１参照画像２ｂとは、例えば、校正用対象物６４がズームカメラ３２に対して相対的に静止した状態で、各焦点距離を持つズームカメラ３２が撮像を行うことによって、校正用対象物６４と、撮像系（ズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。
【０２５６】
次に、図１２の右側に表示された校正用対象物６４を撮像するステレオカメラ３００Ｂについて説明する。
【０２５７】
なお、図１２の右側の図に表示された校正用対象物６４は、図１１の場合と同様に、図１２の左側の校正用対象物６４よりも近い撮像距離で撮像されている。
【０２５８】
図１２の右側の図において、第２基準画像１ｃは、既知の参照焦点距離ｆｍを持つズームカメラ３２が校正用対象物６４を撮像素子５ａによって撮像した画像であり、像６４ｓ２は、第２基準画像１ｃにおける校正用対象物６４の像である。また、像６４ｓ２の像サイズは像サイズＷｓ２である。
【０２５９】
また、第２参照画像２ｃは、既知の参照焦点距離ｆｍを持つズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ２は、第２参照画像２ｃにおける校正用対象物６４の像である。像６４ｍ２から測定された像サイズは像サイズＷｍ２である。
【０２６０】
ここで、図１２の左側の場合と同様にして、校正用対象物６４と、撮像系（ズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。
【０２６１】
また、図１２においても、図１１の場合と同様に、異なる焦点距離を持つズームカメラ３２の光学的状態毎に、それぞれ異なる撮像距離に配置された同一またはほぼ同一サイズの２つの校正用対象物を同時に撮像したとしても本発明の有用性を損なうものではない。
【０２６２】
フィールド校正Ｄまたはフィールド校正Ｅにおいて、像サイズＷｓ１、Ｗｓ２、Ｗｍ１、およびＷｍ２が取得されると、参照焦点距離ｆｍは、各像サイズと、フィールド校正用情報格納部４７ａに格納された基準焦点距離ｆｓとを用いて（３）式によって与えられる。
【０２６３】
【数３】
2011132552.tif 000005
【０２６４】
なお、フィールド校正ＤおよびＥにおける参照焦点距離ｆｍの演算式は、（３）式に限定されず、フィールド校正Ａと同様に、例えば、歪曲収差補正係数、平行化処理のための係数などを、所望される参照焦点距離ｆｍの精度に応じて（３）式に適宜付加したとしても本発明の有用性を損なうものではない。
【０２６５】
次にフィールド校正ＤおよびＥに係る情報処理装置２００Ａの動作フローについて説明する。
【０２６６】
図２２は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４４）に係る動作フローの１例を示す図であり、上述したフィールド校正ＤおよびＥに対応した動作フローの１例を示す図でもある。
【０２６７】
また、図２７は、図２２の動作フローのうちフィールド校正Ｄにおける第１基準画像１ｂ、第２基準画像１ｃ、第２基準画像１ｃおよび第２参照画像２ｃの取得（ステップＳ５１６）に係る動作フローの１例を示す図である。
【０２６８】
ステレオカメラ３００Ｂが情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ｂについての特定情報に基づいて、ＣＰＵ１１Ａがフィールド校正ＤまたはＦ（後述）の実施が可能であることを表示部４３に表示し、操作者がフィールド校正Ｄを選択した校正手法特定情報に従って、ステップＳ５１６における各画像の取得の処理が開始され、処理は、図２７のステップＳ６２２に移される。
【０２６９】
ステップＳ６２２においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂの各カメラが、ある位置に設置されたサイズが未知の校正用対象物６４を１回ずつ測定する。
【０２７０】
なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。
【０２７１】
また、単焦点カメラ３１とズームカメラ３２との撮像においては、例えば、単焦点カメラ３１とズームカメラ３２との撮像を同時または略同時に行うことなどによって、校正用対象物６２と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。
【０２７２】
次に、焦点距離取得部１３は、ステレオカメラ３００Ａ１の単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ第１基準画像１ｂ（図１１）と第１参照画像２ｂ（図１１）として取得する（ステップＳ６２４）。
【０２７３】
次に、ＣＰＵ１１Ａの制御によりステレオカメラ３００Ａの各カメラが設置位置が移動された該校正用対象物を１回ずつ測定する（ステップＳ６２６）。
【０２７４】
次に、焦点距離取得部１３は、単焦点カメラ３１が撮像した画像を第２基準画像１ａとして、ズームカメラ３２が撮像した画像を第２参照画像２ａとして取得する（ステップＳ６２８）。
【０２７５】
第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂ、および第２参照画像２ｃが取得されると、第３演算処理（図２２のステップＳ５２２）が開始され、処理は、図３２のステップＳ２０へと移される。
【０２７６】
また、図２８は、図２２の動作フローのうちフィールド校正Ｅにおける第１基準画像１ｂ、第２基準画像１ｃ、第２基準画像１ｃおよび第２参照画像２ｃの取得（ステップＳ５１７）に係る動作フローの１例を示す図である。
【０２７７】
ステレオカメラ３００Ｂ２が情報処理装置２００Ａに接続された状態で、図２２に示される処理が開始されると、ステレオカメラ３００Ｂ２についての特定情報に基づいて、ステップＳ５１７の第１基準画像１ｂ、第２基準画像１ｃ、第２基準画像１ｃおよび第２参照画像２ｃの取得の処理が開始され、処理は、図２８のステップＳ６３０に移される。
【０２７８】
ステップＳ６３０においては、先ず、ズーム制御部１７は、ステレオカメラ３００Ｂ２のズームカメラ３２のズーミングを制御して、撮像光学系９ｂの状態を、既知の基準焦点距離ｆｓ（図１２）を持つ光学的状態に変動させる。
【０２７９】
次に、ＣＰＵ１１Ａの制御によって該ズームカメラ３２は、ある位置に設置されたサイズが未知の校正用対象物６４を１回測定する。
【０２８０】
次に、焦点距離取得部１３は、該ズームカメラ３２が撮像した画像（第２画像ｇ２）を第１基準画像１ｂ（図１２）として取得する。
【０２８１】
次に、ズーム制御部１７は、ズームカメラ３２のズーミングを制御して撮像光学系９ｂを、未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定する。
【０２８２】
次に、ＣＰＵ１１Ａの制御によってズームカメラ３２が校正用対象物６４を測定し、焦点距離取得部１３は、測定された画像（第２画像ｇ２）を第１参照画像２ｂとして取得する（ステップＳ６３２）。
【０２８３】
なお、フィールド校正Ｅにおいても、校正用対象物と、各撮像系との空間的な関係を保った状態で第１基準画像１ｂと第１参照画像２ｂとの取得を行うために、校正用対象物６４がズームカメラ３２に対して相対的に静止した状態で、第１基準画像１ｂと第１参照画像２ｂとが撮像される。
【０２８４】
また、ここでは、第１基準画像１ｂを先に撮像する例を説明したが、第１参照画像２ｂを先に撮像しても本発明の有用性を損なうものではない。
【０２８５】
次に、ズーム制御部１７は、ステレオカメラ３００Ｂ２のズームカメラ３２のズーミングを制御して、撮像光学系９ｂの状態を、既知の基準焦点距離ｆｓ（図１２）を持つ光学的状態に再度変動させる。
【０２８６】
次に、ＣＰＵ１１Ａの制御によって該ズームカメラ３２は、異なる撮像位置に設置された校正用対象物６４を１回測定し、焦点距離取得部１３は、該ズームカメラ３２が撮像した画像（第２画像ｇ２）を第２基準画像１ｃ（図１２）として取得する（ステップＳ６３４）。
【０２８７】
次に、ズーム制御部１７は、ズームカメラ３２のズーミングを制御して撮像光学系９ｂを、未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に再度設定する。
【０２８８】
次に、ＣＰＵ１１Ａの制御によってズームカメラ３２が校正用対象物６４を測定し、焦点距離取得部１３は、測定された画像（第２画像ｇ２）を第２参照画像２ｃとして取得する（ステップＳ６３６）。
【０２８９】
なお、フィールド校正Ｅにおいても、校正用対象物と、各撮像系との空間的な関係を保った状態で第２基準画像１ｃと第２参照画像２ｃとの取得を行うために、校正用対象物６４がズームカメラ３２に対して相対的に静止した状態で、第２基準画像１ｃと第２参照画像２ｃとが撮像される。
【０２９０】
また、ここでは、第２基準画像１ｃを先に撮像する例を説明したが、第２参照画像２ｃを先に撮像しても本発明の有用性を損なうものではない。
【０２９１】
第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂ、および第２参照画像２ｃが取得されると、第３演算処理（図２２のステップＳ５２２）が開始され、処理は、図３２のステップＳ２０へと移される。
【０２９２】
図３２は、図２２の動作フローのうち第３演算処理（ステップＳ５２２）に係る動作フローの１例を示す図である。
【０２９３】
先ず、焦点距離取得部１３は、第１基準画像１ｂ（図２、図１１、図１２）および第２基準画像１ｃ（図２、図１１、図１２）についての焦点距離である基準焦点距離ｆｓ（図２、図１１、図１２）をフィールド校正用情報格納部４７ａから取得する（ステップＳ２０）。
【０２９４】
次に、焦点距離取得部１３は、第１基準画像１ｂにおける校正用対象物６４（図１１、図１２）の像６４ｓ１（図１１、図１２）の像サイズＷｓ１（図１１、図１２）を測定する（ステップＳ２２）。
【０２９５】
次に、焦点距離取得部１３は、第１参照画像２ｂのうち像６４ｓ１に対応した像６４ｍ１（図１１、図１２）の像サイズＷｍ１（図１１、図１２）を測定する（ステップＳ２４）。
【０２９６】
次に、焦点距離取得部１３は、第２基準画像１ｃにおける校正用対象物６４の像６４ｓ２（図１１、図１２）の像サイズＷｓ２（図１１、図１２）を測定する（ステップＳ２６）。
【０２９７】
次に、焦点距離取得部１３は、第２参照画像２ｃのうち像６４ｓ２に対応した像６４ｍ２の像サイズＷｍ２（図１１、図１２）を測定する（ステップＳ２８）。
【０２９８】
次に、焦点距離取得部１３は、(３)式に基づいて各参照画像についての焦点距離である参照焦点距離ｆｍを取得する（ステップＳ３０）。
【０２９９】
次に、処理は図２２に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ｂまたは３００Ｂ２におけるズームカメラ３２の焦点距離として取得する（ステップＳ５３２）。
【０３００】
フィールド校正Ｄまたはフィールド校正Ｅによれば、実サイズが未知の校正用対象物６４が異なる２つの未知の撮像距離のそれぞれにおいて撮像系との空間的な関係が保たれた状態で撮像されて第１基準画像１ｂおよび第１参照画像２ｂと、第２基準画像１ｃおよび第２参照画像２ｃとが取得される。
【０３０１】
そして、第１基準画像１ｂおよび第１参照画像２ｂにおける校正用対象物６４の像サイズＷｓ１およびＷｍ１と、第２基準画像１ｃおよび第２参照画像２ｃとにおける校正用対象物６４の像サイズＷｓ２およびＷｍ２とを用いて、（３）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値を取得できる。
【０３０２】
したがって、フィールド校正Ｄまたはフィールド校正Ｅによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心とのずれ量ｄが未知である場合でも、校正対象物の撮像距離および実サイズの情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。
【０３０３】
フィールド校正Ｄによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、第１基準画像１ｂおよび第１参照画像２ｂ、ならびに第２基準画像１ｃおよび第２参照画像２ｃのそれぞれを同時または略同時に測定することができる。
【０３０４】
従って、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で基準画像１ａと第１基準画像１ｂを取得することが容易となり、参照焦点距離ｆｍの取得精度を向上させることができる。
【０３０５】
また、フィールド校正Ｄによれば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。
【０３０６】
また、フィールド校正Ｄによれば、校正用対象物６４における同一サイズの部位を、校正用対象物６４が異なる位置に置かれた状態で、それぞれ１回ずつ単焦点カメラ３１とズームカメラ３２とで同時または略同時に撮像することによって校正用の画像データが取得できるので、疑似画像５３の生成の対象となる被写体自体が、例えば、図７および図８で説明した手法を適用可能な特徴部を有している場合などには、該被写体自体を校正用対象物として採用することができ、校正頻度を向上させることができる。
【０３０７】
◎焦点距離のフィールド校正Ｆ：
焦点距離のフィールド校正Ｆは、フィールド校正Ｄと同様に、ずれ量ｄ（図３）が変動するステレオカメラ３００Ｂにおけるズームカメラ３２の焦点距離のフィールド校正である。ただし、フィールド校正Ｆでは、ずれ量ｄの値も取得することができる。
【０３０８】
図１３は、ステレオカメラ３００Ｂ（図３）における焦点距離のフィールド校正Ｆ用のデータの取得の１例を説明する図である。
【０３０９】
図１３では、実サイズが既知の実サイズＳ１である第１第１校正用対象物６６と、実サイズが既知の実サイズＳ２である第２校正用対象物６７とが、互いに異なる２つの未知の撮像距離に設置されて、各校正用対象物毎にステレオカメラ３００Ｂの各カメラのそれぞれによって１回ずつ測定され、合計４枚の画像がフィールド校正用に測定される様子が、各カメラの光学中心３ａ、３ｂの配置関係を分かりやすく表示するために、１つの図に表示されている。
【０３１０】
さらに、図１３の表示においては、図１３の左側に表示された第１第１校正用対象物６６およびステレオカメラ３００Ｂと、図１３の右側に表示された第２校正用対象物６７およびステレオカメラ３００Ｂとのそれぞれについて、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに各校正用対象物についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。
【０３１１】
図１３に示される主光線６ａおよび６ｂは、２つの異なる撮像距離に設置された第１第１校正用対象物６６および６７のそれぞれの外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。
【０３１２】
ここでは、先ず、図１３の左側に表示された第１第１校正用対象物６６を撮像するステレオカメラ３００Ｂから説明する。
【０３１３】
図１３の左側の図において、第１基準画像１ｂは、単焦点カメラ３１が第１第１校正用対象物６６を撮像素子５ａによって撮像した画像であり、像６６ｓ１は、第１基準画像１ｂにおける第１第１校正用対象物６６の像である。また、像サイズＷｓ１は、像６６ｓ１の像サイズである。
【０３１４】
また、第１参照画像２ｂは、ズームカメラ３２が第１第１校正用対象物６６を撮像素子５ｂによって撮像した画像であり、像６６ｍ１は、第１参照画像２ｂにおける第１第１校正用対象物６６の像である。像６６ｍ１の像サイズは像サイズＷｍ１である。
【０３１５】
ここで、第１基準画像１ｂと第１参照画像２ｂとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、第１第１校正用対象物６６と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。
【０３１６】
次に、図１３の右側に表示された第２校正用対象物６７を撮像するステレオカメラ３００Ｂについて説明する。
【０３１７】
図１３の右側の図に表示された第２校正用対象物６７は、図１３の左側に表示された第１第１校正用対象物６６に対してＺ軸方向の負側に配置されており、図１３の左側の第１第１校正用対象物６６よりも近い撮像距離で撮像されている。
【０３１８】
なお、第１第１校正用対象物６６が第２校正用対象物６７に対してＺ軸方向の負側に配置されていてもよい。
【０３１９】
図１３の右側の図において、第２基準画像１ｃは、単焦点カメラ３１が第２校正用対象物６７を撮像素子５ａによって撮像した画像であり、像６７ｓ２は、第２基準画像１ｃにおける第２校正用対象物６７の像である。また、像６７ｓ２の像サイズは像サイズＷｓ２である。
【０３２０】
また、第２参照画像２ｃは、ズームカメラ３２が第２校正用対象物６７を撮像素子５ｂによって撮像した画像であり、像６７ｍ２は、第２参照画像２ｃにおける第２校正用対象物６７の像である。像６７ｍ２から測定された像サイズは像サイズＷｍ２である。
【０３２１】
ここで、第２基準画像１ｃと第２参照画像２ｃとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、第２校正用対象物６７と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。
【０３２２】
なお、図１３では、第１第１校正用対象物６６および６７がそれぞれ異なる撮像距離に設置されて、校正用対象物毎に順次に、ステレオカメラ３００Ｂによる撮像が行われているが、相互に異なる撮像距離に設置された第１第１校正用対象物６６および６７の両方を、ステレオカメラ３００Ｂの単焦点カメラ３１とズームカメラ３２とのそれぞれによって１回ずつ撮像したとしても、撮像された計２つの画像から上述した像サイズＷｓ１およびＷｓ２、ならびに像サイズＷｍ１およびＷｍ２を取得することができるので本発明の有用性を損なうものではない。
【０３２３】
フィールド校正Ｆにおいて、像サイズＷｓ１、Ｗｓ２、Ｗｍ１、およびＷｍ２と、実サイズＳ１およびＳ２と、基準焦点距離ｆｓとが取得されると、参照焦点距離ｆｍは（４）式によって与えられる。
【０３２４】
【数４】
2011132552.tif 000006
【０３２５】
なお、フィールド校正Ｆにおける参照焦点距離ｆｍの演算式は、（４）式に限定されず、フィールド校正Ａと同様に、例えば、歪曲収差補正係数、平行化処理のための係数などを、所望される参照焦点距離ｆｍの精度に応じて（４）式に適宜付加したとしても本発明の有用性を損なうものではない。
【０３２６】
また、ステレオカメラ３００Ｂにおいては、ステレオカメラ３００Ａ２についてのフィールド校正Ｂと同様に、第１基準画像１ｂおよび第２基準画像１ｃを撮像する撮像装置として、単焦点カメラ３１に代えて、撮像光学系９ｂの駆動範囲の端部または、近接スイッチ位置などの撮像光学系９ｂの位置制御の再現性が高いポジションであって、かつ、撮像光学系９ｂの焦点距離が既知であるズームカメラ３２を採用したとしても、本発明の有用性を損なうものではない。
【０３２７】
また、第１校正用対象物６６および第２校正用対象物６７としては、具体的には、専用設計された校正用チャートの他、例えば、コインまたはペットボトルのキャップなどの円筒状の大きさ（直径）が規格化されたものを採用することができる。
【０３２８】
次にフィールド校正Ｆに係る情報処理装置２００Ａの動作フローについて説明する。
【０３２９】
図２３は、後述する図１６または図１９の動作フローのうちズームカメラ３２の焦点距離のフィールド校正（ステップＳ２４６）に係る動作フローの１例を示す図であり、上述したフィールド校正Ｆに対応した動作フローの１例を示す図でもある。
【０３３０】
また、図２９は、図２３の動作フローのうちフィールド校正Ｅにおける第１基準画像１ｂ、第２基準画像１ｃ、第２基準画像１ｃおよび第２参照画像２ｃの取得（ステップＳ５１８）に係る動作フローの１例を示す図である。
【０３３１】
ステレオカメラ３００Ｂが情報処理装置２００Ａに接続された状態で、図２０に示される処理が開始されると、ステレオカメラ３００Ｂについての特定情報に基づいて、ＣＰＵ１１Ａがフィールド校正ＤまたはＦの実施が可能であることを表示部４３に表示し、操作者がフィールド校正Ｆを選択した校正手法特定情報に従って、ステップＳ５１８における各画像の取得の処理が開始され、処理は、図２９のステップＳ６４０に移される。
【０３３２】
ステップＳ６４０においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂの各カメラが、ある未知の撮像距離に設置された第１第１校正用対象物６６を１回ずつ測定する。
【０３３３】
なお、このときズームカメラ３２の撮像光学系９ｂは、ズーム制御部１７の制御によって未知の参照焦点距離ｆｍを持つ撮像時の光学的状態に設定されている。
【０３３４】
また、単焦点カメラ３１とズームカメラ３２との撮像においては、例えば、単焦点カメラ３１とズームカメラ３２との撮像を同時または略同時に行うことなどによって、第１校正用対象物６６と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。
【０３３５】
次に、焦点距離取得部１３は、ステレオカメラ３００Ｂの単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ第１基準画像１ｂ（図１３）と第１参照画像２ｂ（図１３）として取得する（ステップＳ６４２）。
【０３３６】
次に、第１校正用対象物６６に代えて第２校正用対象物６７が第１校正用対象物６６とは異なる未知の撮像距離に設置され、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂの各カメラが、設置された第２校正用対象物６７を１回ずつ測定する（ステップＳ６４４）。
【０３３７】
次に、焦点距離取得部１３は、ステレオカメラ３００Ｂの単焦点カメラ３１が撮像した画像（第１画像ｇ１）と、ズームカメラ３２が撮像した画像（第２画像ｇ２）とをそれぞれ第２基準画像１ｃ（図１３）と第２参照画像２ｃ（図１３）として取得する（ステップＳ６４６）。
【０３３８】
第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂ、および第２参照画像２ｃが取得されると、第４演算処理（図２３のステップＳ５２６）が開始され、処理は、図３３のステップＳ５０へと移される。
【０３３９】
図３３は、図２３の動作フローのうち第４演算処理（ステップＳ５２６）に係る動作フローの１例を示す図である。
【０３４０】
先ず、焦点距離取得部１３は、第１基準画像１ｂ（図２、図１３）および第２基準画像１ｃ（図２、図１３）についての焦点距離である基準焦点距離ｆｓ（図２、図１３）をフィールド校正用情報格納部４７ａから取得する（ステップＳ５０）。
【０３４１】
次に、焦点距離取得部１３は、第１校正用対象物６６の所定部分の実サイズＳ１をフィールド校正用情報格納部４７ａから取得する（ステップＳ５２）。
【０３４２】
次に、焦点距離取得部１３は、第２校正用対象物６７の所定部分の実サイズＳ２をフィールド校正用情報格納部４７ａから取得する（ステップＳ５４）。
【０３４３】
次に、焦点距離取得部１３は、第１基準画像１ｂのうち第１校正用対象物６６の所定部分に対応した像６６ｓ１（図１３）の像サイズＷｓ１（図１３）を測定する（ステップＳ５６）。
【０３４４】
次に、焦点距離取得部１３は、第１参照画像２ｂのうち像６６ｓ１に対応した像６６ｍ１（図１３）の像サイズＷｍ１（図１３）を測定する（ステップＳ５８）。
【０３４５】
次に、焦点距離取得部１３は、第２基準画像１ｃのうち第２校正用対象物６７の所定部分に対応した像６６ｓ２（図１３）の像サイズＷｓ２（図１３）を測定する（ステップＳ６０）。
【０３４６】
次に、焦点距離取得部１３は、第２参照画像２ｃのうち像６６ｓ２に対応した像６６ｍ２の像サイズＷｍ２（図１３）を測定する（ステップＳ６２）。
【０３４７】
次に、焦点距離取得部１３は、（４）式に基づいて各参照画像についての焦点距離である参照焦点距離ｆｍを取得する（ステップＳ６４）。
【０３４８】
次に、処理は図２３に戻されて、焦点距離取得部１３は、得られた参照焦点距離ｆｍをステレオカメラ３００Ｂにおけるズームカメラ３２の焦点距離として取得する（ステップＳ５３６）。
【０３４９】
次に、焦点距離取得部１３は、（５）式に基づいて、光学中心３ａと光学中心３ｂとの光軸４ａ（４ｂ）方向のずれ量ｄ（図３）を取得する。
【０３５０】
【数５】
2011132552.tif 000007
【０３５１】
なお、（５）式に代えて、フィールド校正Ａと同様に、例えば、歪曲収差補正係数、平行化処理のための係数などを、所望されるずれ量ｄの取得精度などに応じて（５）式に適宜付加した演算式を用いたとしても本発明の有用性を損なうものではない。
【０３５２】
フィールド校正Ｆによれば、実サイズが既知の第１校正用対象物６６と第２校正用対象物６７とが異なる未知の撮像距離にそれぞれ設置され、撮像系との空間的な関係が保たれた状態で撮像されて第１基準画像１ｂおよび第１参照画像２ｂと、第２基準画像１ｃおよび第２参照画像２ｃとが取得される。
【０３５３】
そして、第１基準画像１ｂおよび第１参照画像２ｂにおける第１校正用対象物６６の像サイズＷｓ１およびＷｍ１と、第２基準画像１ｃおよび第２参照画像２ｃとにおける第１校正用対象物６６の像サイズＷｓ２およびＷｍ２と、実サイズＳ１と、実サイズＳ２とを用いて、（４）式、すなわち、基準焦点距離ｆｓの値をスケーリングする演算処理を行うことにより、参照焦点距離ｆｍの値を取得できる。
【０３５４】
したがって、フィールド校正Ｆによれば、ズームカメラを備えたステレオカメラにおいて、基準画像を得たとき既知の基準焦点距離ｆｓを持つ撮像光学系の光学中心と、参照画像を得たときの未知の参照焦点距離ｆｍを持つ撮像光学系の光学中心とのずれ量ｄが未知である場合でも、校正対象物の撮像距離の情報を必要としない簡素な測定環境で短時間に取得できる校正用のデータに基づいて、高速に参照焦点距離ｆｍを取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。
【０３５５】
さらにフィールド校正Ｆによれば、取得された参照焦点距離ｆｍに基づいて、簡易かつ高速にカメラパラメータの１つである光学中心３ａと光学中心３ｂとの光軸方向のずれ量ｄを取得することができるので、該ずれ量ｄを用いてパラメータ対応情報ｔ２におけるずれ量ｄの値を更新することなどによって、ステレオカメラの測定画像に基づいて取得される距離情報の精度を向上させることができる。
【０３５６】
フィールド校正Ｆによれば、単焦点カメラ３１とズームカメラ３２とが撮像に用いられるので、第１基準画像１ｂおよび第１参照画像２ｂ、ならびに第２基準画像１ｃおよび第２参照画像２ｃのそれぞれを同時または略同時に測定することができる。
【０３５７】
従って、第１校正用対象物６６および第２校正用対象物６７と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で第１基準画像１ｂおよび第１参照画像２ｂ、ならびに第２基準画像１ｃおよび第２参照画像２ｃを取得することが容易となり、参照焦点距離ｆｍの取得精度を向上させることができる。
【０３５８】
また、フィールド校正Ｆによれば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に校正用対象物を撮像できるので動体を校正用対象物として採用することができる。
【０３５９】
＜◎情報処理システム１００Ａが行う各処理の動作フロー：＞
次に、情報処理システム１００Ａが行う各処理の動作フローを、フローチャートを用いて説明する。
【０３６０】
◎校正から立体視画像生成までの動作フロー：
図１４は、情報処理システム１００Ａの校正から立体視用画像の生成までの動作フローの１例を示す図である。
【０３６１】
図１４に示されるように、情報処理システム１００Ａの校正から立体視用画像の生成までの動作は、例えば、３つの処理ステップによって行われる。
【０３６２】
ステップＳ１００：ステレオカメラの製造時校正。
【０３６３】
ステップＳ２００：駆動制御値対応情報のフィールド校正。
【０３６４】
ステップＳ３００：立体視用画像の生成。
【０３６５】
◎ステレオカメラの製造時校正の動作フロー：
図１５は、図１４の動作フローのうちステップＳ１００に示されるステレオカメラの製造時校正の動作フローの１例を示す図である。ステレオカメラの製造時校正においては、例えば、ステレオカメラ３００Ａ（３００Ｂ）が完成した後、製造時校正用の情報処理装置にステレオカメラ３００Ａ（３００Ｂ）を接続し、ステレオカメラ３００Ａ（３００Ｂ）の校正を行う。
【０３６６】
図１５の動作フローにおいては、該校正用の情報処理装置は、先ず、該ズームカメラ３２のズームの駆動制御値が離散的に設定された駆動制御値テーブルを取得する（ステップＳ１１０）。
【０３６７】
次に、該校正用の情報処理装置は、駆動制御値テーブルの１つの駆動制御値５１をズームカメラ３２のズームの駆動制御値として設定し（ステップＳ１２０）、駆動制御値５１に基づいてズームカメラ３２をズーミング（ステップＳ１３０）する。
【０３６８】
次に、該校正用の情報処理装置は、ステレオカメラ３００Ａ（３００Ｂ）の三次元化パラメータを校正する（ステップＳ１４０）。
【０３６９】
ステレオカメラ３００Ａ（３００Ｂ）のカメラパラメータの校正は、例えば、Zhengyou Zhang: "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11,pp.1330-1334, 2000などに開示された格子パターンを用いた公知のカメラキャリブレーション手法などによって行うことができる。
【０３７０】
ここで、ズームカメラ３２においては、焦点距離可変の範囲の、例えば、広角端と望遠端とにおける校正において、一様なパターンを有する校正用チャートを使用すると、画像中に含まれるパターン数が焦点距離によって異なるため、推定されるカメラパラメータの精度に差が生じてしまう。
【０３７１】
このため、情報処理システム１００Ａにおいては、例えば、中心になればなるほど格子などのパターンが密に描画された校正用チャートが使用される。
【０３７２】
該校正用チャートの中心を予めズームカメラ３２の光軸と合わせておくことで、ズーム駆動にともなってズームカメラ３２の撮像画角が変動したとしても、該校正用チャートを撮像した画像上では、ズームカメラ３２の広角端と望遠端とでほぼ同様のパターン分布を持つ画像が撮影できる。
【０３７３】
従って、該校正用チャートを使用することによって、キャリブレーションで求められるズームカメラ３２のカメラパラメータの精度が、ズームカメラ３２の焦点距離によって異なる現象の発生を抑制することが可能となる。
【０３７４】
全ての駆動制御値についての校正が終了すると、該校正用の情報処理装置は処理をステップＳ１６０へ移し、全ての駆動制御値についての校正が終了していない場合には、ステップＳ１２０に処理を戻して、他の駆動制御値について校正を行う（ステップＳ１５０）。
【０３７５】
処理がステップＳ１６０に移されると、該校正用の情報処理装置は、駆動制御値テーブルの各駆動制御値と、校正されたズームカメラ３２の各焦点距離との対応関係を表現した駆動制御値対応情報ｔ１を生成する（ステップＳ１６０）とともに、校正されたズームカメラ３２の各焦点距離について、焦点距離と、校正されたズームカメラ３２の各カメラパラメータとの対応関係を表現したパラメータ対応情報ｔ２を生成する（ステップＳ１７０）。
【０３７６】
次に、該校正用の情報処理装置は、駆動制御値対応情報ｔ１と、パラメータ対応情報ｔ２その他の三次元化パラメータとをステレオカメラ３００Ａ（３００Ｂ）に保存し（ステップＳ１８０）ステレオカメラの製造時校正を終了する。
【０３７７】
◎駆動制御値対応情報ｔ１のフィールド校正の動作フロー：
図１６は、図１４の動作フローのうち駆動制御値対応情報ｔ１のフィールド校正（ステップＳ２００）の動作フローの１例を示す図である。
【０３７８】
先ず、焦点距離取得部１３は、駆動制御値対応情報格納部４７ｂから駆動制御値対応情報ｔ１を取得する（ステップＳ２１０）。
【０３７９】
また、ズーム制御部１７は、駆動制御値対応情報ｔ１に基づいて、１つの駆動制御値５１をズームカメラ３２のズームの駆動制御値５１として設定する（ステップＳ２２０）とともに、駆動制御値５１に基づいてズームカメラ３２をズーミングする（ステップＳ２３０）。
【０３８０】
次に、焦点距離取得部１３は、ズームカメラ３２の焦点距離について既述したフィールド校正（ステップＳ２４０、Ｓ２４２、Ｓ２４４、Ｓ２４６）を行う。
【０３８１】
焦点距離取得部１３は、取得したズームカメラ３２の焦点距離と、該駆動制御値５１に対応した駆動制御値対応情報ｔ１における焦点距離との差が、記憶装置４６に記憶された所定の閾値以下か否かを判断し（ステップＳ２５０）、該差が、所定の閾値以下であった場合は、駆動制御値対応情報ｔ１により推定される焦点距離と、実際の焦点距離との差は、許容範囲内であると判断して駆動制御値対応情報ｔ１のフィールド校正を終了する。
【０３８２】
該差が、所定の閾値を超える場合には、焦点距離取得部１３は、駆動制御値対応情報ｔ１により推定される焦点距離と、実際の焦点距離との差は、許容範囲を超えていると判断し、処理をステップＳ２６０へと移す。
【０３８３】
焦点距離取得部１３は、駆動制御値対応情報ｔ１の他の駆動制御値についてもズームカメラ３２の焦点距離のフィールド校正を実施（ステップＳ２６０）し、校正されたズームカメラ３２の焦点距離に基づいて駆動制御値対応情報格納部４７ｂに格納された駆動制御値対応情報ｔ１を更新（ステップＳ２７０）して、駆動制御値対応情報ｔ１のフィールド校正を終了する。
【０３８４】
駆動制御値対応情報ｔ１のフィールド校正によれば、駆動制御値５１と、ズームカメラ３２の焦点距離ｆ２との関係における経時変化等による誤差を校正することができ、駆動制御値５１に基づいて真値に近いズームカメラ３２の焦点距離ｆ２を取得することができる。
【０３８５】
◎立体視用画像の生成の動作フロー：
図１７は、図１４の動作フローのうち立体視用画像の生成（ステップＳ３００）に係る動作フローの１例を示す図である。
【０３８６】
先ず、ズーム制御部１７は、ズームカメラ３２をズーミングすることによってズームカメラ３２の画角を設定する（ステップＳ３１０）。
【０３８７】
次に、焦点距離取得部１３は、予め操作部４２から設定された動作モードに基づいてステップＳ３２０またはステップＳ３２２において、被写体測定時のズームカメラ３２の焦点距離の取得を行う。
【０３８８】
○被写体測定時のズームカメラ３２の焦点距離の取得：
図１８は、図１７の動作フローのうち被写体測定時のズームカメラ３２の焦点距離の取得を行う（ステップＳ３２０）に係る動作フローの１例を示す図である。
【０３８９】
動作モードに基づいて、図１７のステップＳ３２０が開始されると、処理は、図１８のステップＳ４１０に移されて、焦点距離取得部１３は、ズーム制御部１７からズームカメラ３２のズームの駆動制御値５１を取得する。
【０３９０】
次に、焦点距離取得部１３は、取得した駆動制御値５１と、駆動制御値対応情報格納部４７ｂに記憶された駆動制御値対応情報ｔ１とからズームカメラ３２の焦点距離ｆ２（図２）を取得し（Ｓ４２０）、処理は、図１７のステップＳ３３０へ移される。
【０３９１】
図１９は、図１７の動作フローのうち被写体測定時のズームカメラ３２の焦点距離の取得を行う（ステップＳ３２２）に係る動作フローの１例を示す図である。
【０３９２】
動作モードに基づいて、図１７のステップＳ３２２が開始されると、処理は、図１９の動作フローに移されて、ＣＰＵ１１Ａは、ステレオカメラの特性情報および操作部４２から設定される動作モードに応じて、既述したズームカメラ３２の焦点距離のフィールド校正を行い（ステップＳ２４０、Ｓ２４２、Ｓ２４４、またはＳ２４６）、処理は、図１７のステップＳ３３０へ移される。
【０３９３】
なお、この場合は、参照焦点距離ｆｍが被写体測定時のズームカメラ３２の焦点距離焦点距離ｆ２となる。
【０３９４】
次に、図１７に戻って、カメラパラメータ取得部１４は、取得された被写体測定時のズームカメラ３２の焦点距離と、パラメータ対応情報ｔ２とからズームカメラ３２の第２カメラパラメータｐ２を推定する（ステップＳ３３０）。
【０３９５】
○カメラパラメータの推定：
なお、焦点距離取得部１３による第２カメラパラメータｐ２の推定は、例えば、以下のように行われる。
【０３９６】
先ず、パラメータ対応情報ｔ２に定義されている焦点距離情報からズームカメラ３２の焦点距離ｆ２よりも小さい焦点距離ｆａと、焦点距離ｆ２よりも大きい焦点距離ｆｂとを取得し、（６）式によって、重みｗを取得する。
【０３９７】
次に、焦点距離ｆａおよびｆｂにそれぞれ対応する第２カメラパラメータｐａおよびｐｂをパラメータ対応情報ｔ２に基づいて取得し、重みｗと、第２カメラパラメータｐａおよびｐｂとを用いて、（７）式によって第２カメラパラメータｐ２が推定される。
【０３９８】
【数６】
2011132552.tif 000008
【０３９９】
図１７に戻って、第２カメラパラメータｐ２が推定されると、ＣＰＵ１１Ａは、ステレオカメラ３００Ａ（３００Ｂ）による被写体の撮像を実施する（ステップＳ３４０）。
【０４００】
被写体の撮像が実施されると、焦点距離取得部１３は、単焦点カメラ３１とズームカメラ３２とがそれぞれが撮像した第１画像ｇ１と第２画像ｇ２とを取得し（ステップＳ３５０）、第１画像ｇ１を三次元化部１５に供給するとともに、第２画像ｇ２を三次元化部１５、疑似画像生成部１６、および表示部４３へと供給する。
【０４０１】
次に、三次元化部１５は、ズームカメラ３２の第２カメラパラメータｐ２と、三次元化パラメータ格納部４７ｄから取得される単焦点カメラ３１の第１カメラパラメータｐ１およびステレオカメラの基線長ｂとを用いて、三角測量の原理によって第１画像ｇ１と第２画像ｇ２から被写体の距離情報５２を取得する（ステップＳ３６０）。
【０４０２】
次に、疑似画像生成部１６は、距離情報５２に基づいて、第２画像ｇ２について、別視点からの撮影に対応した疑似画像５３を生成する（ステップＳ３７０）。
【０４０３】
疑似画像５３が生成されると、ＣＰＵ１１Ａは、第２画像ｇ２と疑似画像５３とを立体視用画像として表示部４３に表示する（ステップＳ３８０）。
【０４０４】
＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０４０５】
実施形態で説明された各ステレオカメラは、単焦点カメラ３１とズームカメラ３２とを備えているが、例えば、単焦点カメラ３１に代えてズームカメラ３２と異なる他のズームカメラを採用し、既知の焦点距離を持つ光学的状態にある該他のズームカメラを用いて基準画像を撮像したとしても本願発明の有用性を損なうものではない。
【符号の説明】
【０４０６】
１００Ａ  情報処理システム
２００Ａ  情報処理装置
３００Ａ，３００Ｂ  ステレオカメラ
１ａ  基準画像
１ｂ  第１基準画像
１ｃ  第２基準画像
２ａ  参照画像
２ｂ  第１参照画像
２ｃ  第２参照画像
３ａ，３ｂ  光学中心
４ａ，４ｂ  光軸
５ａ，５ｂ  撮像素子
６ａ，６ｂ  主光線
７ａ，７ｂ  像中心位置
９ａ，９ｂ  撮像光学系
Ｐａ，Ｐｂ  像点
２６  駆動機構
３１  単焦点カメラ
３２  ズームカメラ
４９  信号線
５１  駆動制御値
５２  距離情報
５３  疑似画像
５４，５５  特徴部
５４ｓ，５５ｓ，５４ｍ，５５ｍ  像
６１  被写体
６２，６３，６４，６８  校正用対象物
６６  第１校正用対象物
６７  第２校正用対象物
６２ｓ，６３ｓ，６４ｓ１，６４ｓ２  像
６６ｓ１，６６ｓ２，６７ｓ２，６８ｓ，６８ｍ  像
６２ｍ，６３ｍ，６４ｍ，６４ｍ１，６４ｍ２  像
Ｄ１  撮像距離
Ｍ  物点
ｆ１  焦点距離
ｆ２  焦点距離
ｆｓ  基準焦点距離
ｆｍ  参照焦点距離
Ｗｍ，Ｗｍ１，Ｗｍ２  像サイズ
Ｗｓ，Ｗｓ１，Ｗｓ２  像サイズ
Ｓ，Ｓ１，Ｓ２  実サイズ
ｇ１  第１画像
ｇ２  第２画像
ｂ  基線長
ｄ  ずれ量
ｐ１  第１カメラパラメータ
ｐ２  第２カメラパラメータ
ｔ１  駆動制御値対応情報
ｔ２  パラメータ対応情報
【図１】
2011132552.tif 000009
【図２】
2011132552.tif 000010
【図３】
2011132552.tif 000011
【図４】
2011132552.tif 000012
【図５】
2011132552.tif 000013
【図６】
2011132552.tif 000014
【図７】
2011132552.tif 000015
【図８】
2011132552.tif 000016
【図９】
2011132552.tif 000017
【図１０】
2011132552.tif 000018
【図１１】
2011132552.tif 000019
【図１２】
2011132552.tif 000020
【図１３】
2011132552.tif 000021
【図１４】
2011132552.tif 000022
【図１５】
2011132552.tif 000023
【図１６】
2011132552.tif 000024
【図１７】
2011132552.tif 000025
【図１８】
2011132552.tif 000026
【図１９】
2011132552.tif 000027
【図２０】
2011132552.tif 000028
【図２１】
2011132552.tif 000029
【図２２】
2011132552.tif 000030
【図２３】
2011132552.tif 000031
【図２４】
2011132552.tif 000032
【図２５】
2011132552.tif 000033
【図２６】
2011132552.tif 000034
【図２７】
2011132552.tif 000035
【図２８】
2011132552.tif 000036
【図２９】
2011132552.tif 000037
【図３０】
2011132552.tif 000038
【図３１】
2011132552.tif 000039
【図３２】
2011132552.tif 000040
【図３３】
2011132552.tif 000041
【手続補正書】
【提出日】平成24年10月5日(2012.10.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像系との空間的な関係を保った状態で対象物を、
（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
を取得する画像取得部と、
前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
を備え、
前記基準画像が、前記対象物を異なる撮像距離でそれぞれ撮像して得た第１および第２基準画像を含む一方、
前記参照画像が、前記対象物を前記第１および第２基準画像における撮像距離と同じ撮像距離でそれぞれ撮像して得た第１および第２参照画像を含んでいる情報処理装置。
【請求項２】
撮像系との空間的な関係を保った状態で対象物を、
（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
を取得する画像取得部と、
前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
を備え、
前記対象物が、異なる撮像距離に配置されるとともに同一のサイズを有する第１および第２対象物を有しており、
前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像である情報処理装置。
【請求項３】
撮像系との空間的な関係を保った状態で対象物を、
（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
を取得する画像取得部と、
前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
を備え、
前記基準画像が、前記対象物を撮像した単一の基準画像である一方、
前記参照画像が、前記対象物を撮像した単一の参照画像であり、
前記焦点距離取得部は、
前記基準焦点距離と、
前記基準画像と前記参照画像とにおける前記対象物の所定部分の像サイズと、
前記対象物の実サイズと、
前記基準画像を撮像した撮像装置の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量とに基づいて前記演算処理を行う情報処理装置。
【請求項４】
撮像系との空間的な関係を保った状態で対象物を、
（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
を取得する画像取得部と、
前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
を備え、
前記対象物は、第１および第２対象物を有しており、
前記基準画像は、前記第１および第２対象物を個別に撮像して得た第１および第２基準画像を含む一方、
前記参照画像は、前記第１および第２対象物を個別に撮像して得た第１および第２参照画像を含んでおり、
前記焦点距離取得部は、
前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、
前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、
前記第１および第２対象物のそれぞれの実サイズと、
に基づいて前記演算処理を行う情報処理装置。
【請求項５】
撮像系との空間的な関係を保った状態で対象物を、
（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、
（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、
を取得する画像取得部と、
前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部と、
を備え、
前記対象物は、第１および第２対象物を有しており、
前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像であり、
前記焦点距離取得部は、
前記基準画像と前記参照画像とにおける前記第１対象物の第１部分の像サイズと、
前記基準画像と前記参照画像とにおける前記第２対象物の第２部分の像サイズと、
前記第１対象物と前記第２対象物とのそれぞれの実サイズと、
に基づいて前記演算処理を行う情報処理装置。
【請求項６】
請求項４に記載された情報処理装置であって、
前記焦点距離取得部は、
前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、
前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、
前記第１対象物と前記第２対象物とのそれぞれの実サイズと、
に基づいて、
前記基準画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量、
をさらに取得する情報処理装置。
【請求項７】
(Ａ)請求項１から請求項５の何れか１つの請求項に記載された情報処理装置と、
(Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラと、
を備えた情報処理システムであって、
前記画像取得部は、
前記第１の撮像装置による撮像に基づいて前記基準画像を取得するとともに、
前記第２の撮像装置による撮像に基づいて前記参照画像を取得する情報処理システム。
【請求項８】
(Ａ)請求項１から請求項５の何れか１つの請求項に記載された情報処理装置と、
(Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラと、
を備えた情報処理システムであって、
前記画像取得部は、前記第２の撮像装置から前記基準画像と前記参照画像とを取得する情報処理システム。
【請求項９】
請求項７に記載された情報処理システムであって、
前記第１の撮像光学系の光軸である第１の光軸と、前記第２の撮像光学系の光軸である第２の光軸とが平行である情報処理システム。
【請求項１０】
請求項９に記載された情報処理システムであって、
前記情報処理装置は、請求項１から請求項５の何れか１つの請求項に記載された情報処理装置であり、
前記第１の光軸方向における前記第１の撮像光学系の光学中心の位置と、
前記第２の光軸方向における前記第２の撮像光学系の光学中心の位置と、
が互いに等しい情報処理システム。
【請求項１１】
請求項８に記載された情報処理システムであって、
前記情報処理装置は、請求項１から請求項５の何れか１つの請求項に記載された情報処理装置であり、
前記基準画像と前記参照画像とを撮像した際における、前記第２の撮像光学系の光軸方向における光学中心の位置が互いに等しい情報処理システム。
【請求項１２】
請求項７または請求項８に記載された情報処理システムであって、
前記ステレオカメラによって撮像された被写体のステレオ画像から前記被写体の三次元形状を求めるための三次元化パラメータが、
前記第１の撮像装置についての第１カメラパラメータと、
前記第２の撮像装置についての第２カメラパラメータと、
を含み、
前記第２カメラパラメータを前記参照焦点距離に基づいて取得するパラメータ取得部をさらに備えた情報処理システム。
【請求項１３】
請求項１２に記載された情報処理システムであって、
前記第２カメラパラメータが、歪曲収差補正係数、像中心位置、焦点距離、Ｓｋｅｗ、および光学中心の位置ずれ量のうち少なくとも１つを含む情報処理システム。
【請求項１４】
請求項１２に記載された情報処理システムであって、
前記パラメータ取得部は、
前記第２カメラパラメータと前記第２の撮像光学系の焦点距離との対応関係を表現したパラメータ対応情報と、
前記参照焦点距離と、
に基づいて、前記第２カメラパラメータを取得する情報処理システム。
【請求項１５】
請求項７または請求項８に記載された情報処理システムであって、
前記焦点距離取得部は、
前記第２の撮像装置における駆動制御値と焦点距離との対応関係を表現した駆動制御値対応情報を、前記演算処理によって決定された前記参照焦点距離に基づいて更新する情報処理システム。
【請求項１６】
情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１から請求項６のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記の課題を解決するために、第１の態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記基準画像が、前記対象物を異なる撮像距離でそれぞれ撮像して得た第１および第２基準画像を含む一方、前記参照画像が、前記対象物を前記第１および第２基準画像における撮像距離と同じ撮像距離でそれぞれ撮像して得た第１および第２参照画像を含んでいる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
第２態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記対象物が、異なる撮像距離に配置されるとともに同一のサイズを有する第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
第３態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記基準画像が、前記対象物を撮像した単一の基準画像である一方、前記参照画像が、前記対象物を撮像した単一の参照画像であり、前記焦点距離取得部は、前記基準焦点距離と、前記基準画像と前記参照画像とにおける前記対象物の所定部分の像サイズと、前記対象物の実サイズと、前記基準画像を撮像した撮像装置の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量とに基づいて前記演算処理を行う。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
第４の態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記対象物は、第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を個別に撮像して得た第１および第２基準画像を含む一方、前記参照画像は、前記第１および第２対象物を個別に撮像して得た第１および第２参照画像を含んでおり、前記焦点距離取得部は、前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１および第２対象物のそれぞれの実サイズとに基づいて前記演算処理を行う。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
第５の態様に係る情報処理装置は、撮像系との空間的な関係を保った状態で対象物を、（ａ）既知の基準焦点距離を持つ撮像条件によって撮像した基準画像と、（ｂ）未知の参照焦点距離を持つ撮像条件によって撮像した参照画像と、を取得する画像取得部と、前記基準画像と前記参照画像とにおける前記対象物の像サイズの情報を用いて、前記基準焦点距離の値をスケーリングする演算処理を行うことにより、前記参照焦点距離の値を取得する焦点距離取得部とを備え、前記対象物は、第１および第２対象物を有しており、前記基準画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記参照画像は、前記第１および第２対象物を同時に撮像して得た画像であり、前記焦点距離取得部は、前記基準画像と前記参照画像とにおける前記第１対象物の第１部分の像サイズと、前記基準画像と前記参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１対象物と前記第２対象物とのそれぞれの実サイズとに基づいて前記演算処理を行う。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
第６態様に係る情報処理装置は、第４態様に係る情報処理装置であって、前記焦点距離取得部は、前記第１基準画像と前記第１参照画像とにおける前記第１対象物の第１部分の像サイズと、前記第２基準画像と前記第２参照画像とにおける前記第２対象物の第２部分の像サイズと、前記第１対象物と前記第２対象物とのそれぞれの実サイズと、に基づいて、前記基準画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置と前記参照画像を撮像した撮像装置の撮像光学系の光軸方向における光学中心位置とのずれ量をさらに取得する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
第７の態様に係る情報処理システムは、(Ａ)第１から第５の何れか１つの態様に係る情報処理装置と、(Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラとを備えた情報処理システムであって、前記画像取得部は、前記第１の撮像装置による撮像に基づいて前記基準画像を取得するとともに、前記第２の撮像装置による撮像に基づいて前記参照画像を取得する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
第８の態様に係る情報処理システムは、(Ａ)第１から第５の何れか１つの態様に係る情報処理装置と、(Ｂ)固定焦点距離の第１の撮像光学系を備えた第１の撮像装置と、可変焦点距離の第２の撮像光学系を備えた第２の撮像装置とを備えたステレオカメラとを備えた情報処理システムであって、前記画像取得部は、前記第２の撮像装置から前記基準画像と前記参照画像とを取得する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
第９の態様に係る情報処理システムは、第７の態様に係る情報処理システムであって、前記第１の撮像光学系の光軸である第１の光軸と、前記第２の撮像光学系の光軸である第２の光軸とが平行である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
第１０の態様に係る情報処理システムは、第９の態様に係る情報処理システムであって、前記情報処理装置は、第１から第５の何れか１つの態様に係る情報処理装置であり、前記第１の光軸方向における前記第１の撮像光学系の光学中心の位置と、前記第２の光軸方向における前記第２の撮像光学系の光学中心の位置とが互いに等しい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
第１１の態様に係る情報処理システムは、第８の態様に係る情報処理システムであって、前記情報処理装置は、第１から第５の何れか１つの態様に係る情報処理装置であり、前記基準画像と前記参照画像とを撮像した際における、前記第２の撮像光学系の光軸方向における光学中心の位置が互いに等しい。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
第１２の態様に係る情報処理システムは、第７または第８の態様に係る情報処理システムであって、前記ステレオカメラによって撮像された被写体のステレオ画像から前記被写体の三次元形状を求めるための三次元化パラメータが、前記第１の撮像装置についての第１カメラパラメータと、前記第２の撮像装置についての第２カメラパラメータと、を含み、前記第２カメラパラメータを前記参照焦点距離に基づいて取得するパラメータ取得部をさらに備える。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
第１３の態様に係る情報処理システムは、第１２の態様に係る情報処理システムであって、前記第２カメラパラメータが、歪曲収差補正係数、像中心位置、焦点距離、Ｓｋｅｗ、および光学中心の位置ずれ量のうち少なくとも１つを含む。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
第１４の態様に係る情報処理システムは、第１２の態様に係る情報処理システムであって、前記パラメータ取得部は、前記第２カメラパラメータと前記第２の撮像光学系の焦点距離との対応関係を表現したパラメータ対応情報と、前記参照焦点距離と、に基づいて、前記第２カメラパラメータを取得する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第１５の態様に係る情報処理システムは、第７または第８の態様に係る情報処理システムであって、前記焦点距離取得部は、前記第２の撮像装置における駆動制御値と焦点距離との対応関係を表現した駆動制御値対応情報を、前記演算処理によって決定された前記参照焦点距離に基づいて更新する。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
第１６の態様に係るプログラムは、情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を第１から第６の何れか１つの態様に係る情報処理装置として機能させることを特徴とする。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
第１から第１６の何れの態様に係る発明によっても、基準画像と参照画像とにおける対象物の像サイズの情報を用いて、基準焦点距離の値をスケーリングする演算処理を行うことによって、簡易かつ高速に参照焦点距離の値を取得することができ、使用現場でのステレオカメラの校正頻度を高めることができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
実際の構成においては、通常、光軸同士、走査線同士が完全に平行であるように構成することは困難であるため、これらは誤差を有した略平行状態であるが、単焦点カメラ３１およびズームカメラ３２から供給される第１画像ｇ１および第２画像ｇ２に対して情報処理装置２００Ａが、単焦点カメラ３１およびズームカメラ３２のカメラパラメータなどを用いた処理（「平行化処理」とも称する）を行うことによって、ステレオカメラ３００Ａの各カメラの光軸同士、走査線同士が平行である場合と同等の状態を実現することができる。なお、本願発明における「平行」とは、平行または略平行を意味する。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０２１７
【補正方法】変更
【補正の内容】
【０２１７】
次に、焦点距離取得部１３は、基準画像１ａを撮像した単焦点カメラ３１の撮像光学系９ａの光軸４ａ方向における光学中心３ａと、参照画像２ａを撮影したズームカメラ３２の撮像光学系９ｂの光軸４ｂ方向の光学中心３ｂとのずれ量ｄ（図１０）を、フィールド校正用情報格納部４７ａから取得する（ステップＳ３４）。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０２２３
【補正方法】変更
【補正の内容】
【０２２３】
フィールド校正Ｃによれば、実サイズが既知の校正用対象物が未知の撮像距離において、撮像系との空間的な関係が保たれた状態でステレオカメラ３００Ｂ１の単焦点カメラ３１およびズームカメラ３２のそれぞれによって１回ずつ撮像されて基準画像１ａおよび参照画像２ａが取得される。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０２３６
【補正方法】変更
【補正の内容】
【０２３６】
さらに、図１１の表示においては、図１１の左側に表示された校正用対象物６４およびステレオカメラ３００Ｂと、図１１の右側に表示された校正用対象物６４およびステレオカメラ３００Ｂとのそれぞれについて、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに校正用対象物６４についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０２５８
【補正方法】変更
【補正の内容】
【０２５８】
図１２の右側の図において、第２基準画像１ｃは、既知の基準焦点距離ｆｓを持つズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｓ２は、第２基準画像１ｃにおける校正用対象物６４の像である。また、像６４ｓ２の像サイズは像サイズＷｓ２である。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０２５９
【補正方法】変更
【補正の内容】
【０２５９】
また、第２参照画像２ｃは、未知の参照焦点距離ｆｍを持つズームカメラ３２が校正用対象物６４を撮像素子５ｂによって撮像した画像であり、像６４ｍ２は、第２参照画像２ｃにおける校正用対象物６４の像である。像６４ｍ２から測定された像サイズは像サイズＷｍ２である。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０２６７
【補正方法】変更
【補正の内容】
【０２６７】
また、図２７は、図２２の動作フローのうちフィールド校正Ｄにおける第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得（ステップＳ５１６）に係る動作フローの１例を示す図である。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０２７１
【補正方法】変更
【補正の内容】
【０２７１】
また、単焦点カメラ３１とズームカメラ３２との撮像においては、例えば、単焦点カメラ３１とズームカメラ３２との撮像を同時または略同時に行うことなどによって、校正用対象物６４と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係を保った状態で撮像が行われる。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０２７４
【補正方法】変更
【補正の内容】
【０２７４】
次に、焦点距離取得部１３は、単焦点カメラ３１が撮像した画像を第２基準画像１ｃとして、ズームカメラ３２が撮像した画像を第２参照画像２ｃとして取得する（ステップＳ６２８）。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０２７６
【補正方法】変更
【補正の内容】
【０２７６】
また、図２８は、図２２の動作フローのうちフィールド校正Ｅにおける第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得（ステップＳ５１７）に係る動作フローの１例を示す図である。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】０２７７
【補正方法】変更
【補正の内容】
【０２７７】
ステレオカメラ３００Ｂ２が情報処理装置２００Ａに接続された状態で、図２２に示される処理が開始されると、ステレオカメラ３００Ｂ２についての特定情報に基づいて、ステップＳ５１７の第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得の処理が開始され、処理は、図２８のステップＳ６３０に移される。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】０３０９
【補正方法】変更
【補正の内容】
【０３０９】
図１３では、実サイズが既知の実サイズＳ１である第１校正用対象物６６と、実サイズが既知の実サイズＳ２である第２校正用対象物６７とが、互いに異なる２つの未知の撮像距離に設置されて、各校正用対象物毎にステレオカメラ３００Ｂの各カメラのそれぞれによって１回ずつ測定され、合計４枚の画像がフィールド校正用に測定される様子が、各カメラの光学中心３ａ、３ｂの配置関係を分かりやすく表示するために、１つの図に表示されている。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】０３１０
【補正方法】変更
【補正の内容】
【０３１０】
さらに、図１３の表示においては、図１３の左側に表示された第１校正用対象物６６およびステレオカメラ３００Ｂと、図１３の右側に表示された第２校正用対象物６７およびステレオカメラ３００Ｂとのそれぞれについて、単焦点カメラ３１およびズームカメラ３２のそれぞれの光学中心３ａおよび３ｂ、撮像素子５ａおよび撮像素子５ｂ、ならびに各校正用対象物についての位置関係の把握を容易にするために、光軸４ａおよび４ｂが一致するように表示されている。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】０３１１
【補正方法】変更
【補正の内容】
【０３１１】
図１３に示される主光線６ａおよび６ｂは、２つの異なる撮像距離に設置された第１および第２校正用対象物６６および６７のそれぞれの外縁部からの反射光のうち光学中心３ａおよび３ｂをそれぞれ通る各主光線である。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】０３１２
【補正方法】変更
【補正の内容】
【０３１２】
ここでは、先ず、図１３の左側に表示された第１校正用対象物６６を撮像するステレオカメラ３００Ｂから説明する。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】０３１３
【補正方法】変更
【補正の内容】
【０３１３】
図１３の左側の図において、第１基準画像１ｂは、単焦点カメラ３１が第１校正用対象物６６を撮像素子５ａによって撮像した画像であり、像６６ｓ１は、第１基準画像１ｂにおける第１第１校正用対象物６６の像である。また、像サイズＷｓ１は、像６６ｓ１の像サイズである。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】０３１４
【補正方法】変更
【補正の内容】
【０３１４】
また、第１参照画像２ｂは、ズームカメラ３２が第１校正用対象物６６を撮像素子５ｂによって撮像した画像であり、像６６ｍ１は、第１参照画像２ｂにおける第１校正用対象物６６の像である。像６６ｍ１の像サイズは像サイズＷｍ１である。
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】０３１５
【補正方法】変更
【補正の内容】
【０３１５】
ここで、第１基準画像１ｂと第１参照画像２ｂとは、例えば、単焦点カメラ３１とズームカメラ３２とが同時または略同時に撮像を行うことによって、第１校正用対象物６６と、撮像系（単焦点カメラ３１およびズームカメラ３２）との空間的な関係が保たれた状態で撮像が行われている。
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】０３１７
【補正方法】変更
【補正の内容】
【０３１７】
図１３の右側の図に表示された第２校正用対象物６７は、図１３の左側に表示された第１校正用対象物６６に対してＺ軸方向の負側に配置されており、図１３の左側の第１校正用対象物６６よりも近い撮像距離で撮像されている。
【手続補正４２】
【補正対象書類名】明細書
【補正対象項目名】０３１８
【補正方法】変更
【補正の内容】
【０３１８】
なお、第１校正用対象物６６が第２校正用対象物６７に対してＺ軸方向の負側に配置されていてもよい。
【手続補正４３】
【補正対象書類名】明細書
【補正対象項目名】０３２２
【補正方法】変更
【補正の内容】
【０３２２】
なお、図１３では、第１および第２校正用対象物６６および６７がそれぞれ異なる撮像距離に設置されて、校正用対象物毎に順次に、ステレオカメラ３００Ｂによる撮像が行われているが、相互に異なる撮像距離に設置された第１第１校正用対象物６６および６７の両方を、ステレオカメラ３００Ｂの単焦点カメラ３１とズームカメラ３２とのそれぞれによって１回ずつ撮像したとしても、撮像された計２つの画像から上述した像サイズＷｓ１およびＷｓ２、ならびに像サイズＷｍ１およびＷｍ２を取得することができるので本発明の有用性を損なうものではない。
【手続補正４４】
【補正対象書類名】明細書
【補正対象項目名】０３３０
【補正方法】変更
【補正の内容】
【０３３０】
また、図２９は、図２３の動作フローのうちフィールド校正Ｅにおける第１基準画像１ｂ、第２基準画像１ｃ、第１参照画像２ｂおよび第２参照画像２ｃの取得（ステップＳ５１８）に係る動作フローの１例を示す図である。
【手続補正４５】
【補正対象書類名】明細書
【補正対象項目名】０３３２
【補正方法】変更
【補正の内容】
【０３３２】
ステップＳ６４０においては、ＣＰＵ１１Ａの制御によってステレオカメラ３００Ｂの各カメラが、ある未知の撮像距離に設置された第１校正用対象物６６を１回ずつ測定する。
【手続補正４６】
【補正対象書類名】明細書
【補正対象項目名】０３４５
【補正方法】変更
【補正の内容】
【０３４５】
次に、焦点距離取得部１３は、第２基準画像１ｃのうち第２校正用対象物６７の所定部分に対応した像６７ｓ２（図１３）の像サイズＷｓ２（図１３）を測定する（ステップＳ６０）。
【手続補正４７】
【補正対象書類名】明細書
【補正対象項目名】０３４６
【補正方法】変更
【補正の内容】
【０３４６】
次に、焦点距離取得部１３は、第２参照画像２ｃのうち像６７ｓ２に対応した像６７ｍ２の像サイズＷｍ２（図１３）を測定する（ステップＳ６２）。
【手続補正４８】
【補正対象書類名】明細書
【補正対象項目名】０３９３
【補正方法】変更
【補正の内容】
【０３９３】
なお、この場合は、参照焦点距離ｆｍが被写体測定時のズームカメラ３２の焦点距離ｆ２となる。
【手続補正４９】
【補正対象書類名】図面
【補正対象項目名】図３１
【補正方法】変更
【補正の内容】
【図３１】
2011132552.tif 000042
【手続補正５０】
【補正対象書類名】図面
【補正対象項目名】図３３
【補正方法】変更
【補正の内容】
【図３３】
2011132552.tif 000043
【国際調査報告】
2011132552.tif 000044
2011132552.tif 000045
2011132552.tif 000046
2011132552.tif 000047