(57)【要約】  無駄な演算をなくし演算時間を短縮して適切なキャリブレーションデータを選択する。  ステレオ画像から測定対象物の三次元位置を測定するのに先立って、撮影光学系のピント位置に応じたキャリブレーションデータをステレオ画像に適用する。キャリブレーションデータを選択する際には、縮小したステレオ画像から得られる視差に基づいて、撮影距離を求め、これをピント位置に対応する推定フォーカス距離とし、この推定フォーカス距離を範囲内に含む適用距離範囲が設定されているキャリブレーションデータを選択する。キャリブレーションデータに対応付けられた各基準フォーカス距離に設定される適用距離範囲のいずれの範囲なるかを識別することができる範囲で各視点画像を縮小する。
2011125937.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影光学系を有する撮影装置で異なる視点から撮影した複数の視点画像を取得する画像取得手段と、
前記撮影光学系の複数の基準フォーカス距離の各々に対応したキャリブレーションデータを入力するキャリブレーションデータ入力手段と、
撮影光学系がフォーカスした測定対象物までの撮影距離がいずれの適用距離範囲内であるかを識別するのに必要な距離分解能であって、各キャリブレーションデータに対応付けられた各々の基準フォーカス距離とそれに設定される適用距離範囲とから決まる最も高い距離分解能に対応した解像度よりも視点画像の解像度が低くならない範囲の第１の縮小率で各視点画像を縮小する画像縮小手段と、
前記画像縮小手段によって縮小された視点画像間の対応点を相関演算によって求め、求められた対応点の視差に基づいて撮影光学系がフォーカスした測定対象物までの撮影距離を求める距離算出手段と、
前記距離算出手段で算出された撮影距離が適用距離範囲内となるキャリブレーションデータを複数のキャリブレーションデータから選択する選択手段とを備えたことを特徴とするキャリブレーションデータ選択装置。
【請求項２】
視点画像上のフォーカス領域を特定するフォーカス領域特定手段を備え、
前記距離算出手段は、前記フォーカス領域特定手段によって特定されたフォーカス領域内の対応点の視差を用いて撮影距離を求めることを特徴とする請求の範囲第１項に記載のキャリブレーションデータ選択装置。
【請求項３】
前記距離算出手段は、前記フォーカス領域特定手段によって特定されたフォーカス領域内に対して対応点を求める処理を行うことを特徴とする請求の範囲第２項に記載のキャリブレーションデータ選択装置。
【請求項４】
視点画像の全域に対して距離算出手段によって求められる対応点の視差の度数分布に基づいて、撮影光学系がフォーカスを合致させたと推定される距離に対応する視差を特定する視差特定手段とを備え、
前記距離算出手段は、前記視差特定手段によって特定される視差から撮影距離を求めることを特徴とする請求の範囲第１項に記載のキャリブレーションデータ選択装置。
【請求項５】
前記画像縮小手段は、視差画像上で撮影光学系が並ぶ第１の方向の縮小率を第１の縮小率に設定し、この第１の方向に直交する第２の方向の視差画像の第２の縮小率を、第１の縮小率よりも小さな値に設定することを特徴とする請求の範囲第１項に記載のキャリブレーションデータ選択装置。
【請求項６】
第１の縮小率と第２の縮小率に応じて、距離算出部の相関演算の際に用いられる相関ウインドウの縦横比を調節する相関ウインドウ補正手段を備えることを特徴とする請求の範囲第５項に記載のキャリブレーションデータ選択装置。
【請求項７】
焦点距離を変更して撮影が可能にされた撮影装置で視差画像を撮影したときの撮影光学系の焦点距離を取得する焦点距離取得手段を備え、
前記キャリブレーションデータ取得手段は、撮影光学系の複数の焦点距離に対応して、各焦点距離のそれぞれについてのキャリブレーションデータを取得し、
前記画像縮小手段は、視点画像の解像度が、前記焦点距離取得手段によって取得した焦点距離に対応した各キャリブレーションデータに対応付けられた各々の基準フォーカス距離とそれに設定される適用距離範囲とから決まる最も高い距離分解能に対応した解像度よりも低くならない範囲の縮小率を第１の縮小率とし、
前記キャリブレーションデータ選択手段は、前記距離算出手段によって得られる撮影距離と焦点距離取得手段によって取得された焦点距離とに対応するキャリブレーションデータを選択することを特徴とする請求の範囲第１項に記載のキャリブレーションデータ選択装置。
【請求項８】
前記画像縮小手段は、撮影時の基線長、焦点距離、画素ピッチからなる撮影装置の基本情報に基づいて、縮小しない各視点画像の視差から距離を測定するときの撮影時測定分解能を基準フォーカス距離ごとに求めるとともに、キャリブレーションデータに対応する基準フォーカス距離及びその適用距離範囲とに基づいて、基準フォーカス距離ごとの距離分解能を求め、各撮影時測定分解能及び各距離分解能から第１の縮小率を算出する縮小率算出手段を有することを特徴とする請求の範囲第１項に記載のキャリブレーションデータ選択装置。
【請求項９】
前記縮小率算出手段は、撮影時測定分解能を求める際に、輻輳角が設定された各撮影光学系の光軸を近似的に平行とみなすための補正を行うことを特徴とする請求の範囲第８項に記載のキャリブレーションデータ選択装置。
【請求項１０】
請求項１ないし９のいずれか１項に記載のキャリブレーションデータ選択装置と、  前記キャリブレーションデータ選択装置によって選択されたキャリブレーションデータを入力された各視点画像に適用して補正する適用手段と、
適用手段で補正された各視点画像間の視差から測定対象物の三次元位置情報を求める演算部とを備えることを特徴とする三次元位置測定装置。
【請求項１１】
複数の撮影光学系を有する撮影装置で異なる視点から撮影した複数の視点画像を取得する画像取得ステップと、
前記撮影光学系の複数の基準フォーカス距離の各々に対応したキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
撮影光学系がフォーカスした測定対象物までの撮影距離がいずれの適用距離範囲内であるかを識別するのに必要な距離分解能であって、各キャリブレーションデータに対応付けられた各々の基準フォーカス距離とそれに設定される適用距離範囲とから決まる最も高い距離分解能に対応した解像度よりも視点画像の解像度が低くならない範囲の第１の縮小率で各視点画像を縮小する画像縮小ステップと、
前記画像縮小ステップによって縮小された視点画像間の対応点を相関演算によって求め、求められた対応点の視差に基づいて撮影光学系がフォーカスした測定対象物までの撮影距離を求める距離算出ステップと、
前記距離算出ステップで算出された撮影距離が適用距離範囲内となるキャリブレーションデータを複数のキャリブレーションデータから選択する選択ステップとを有することを特徴とするキャリブレーションデータ選択方法。
【請求項１２】
請求項１１記載の視差画像取得ステップ、キャリブレーションデータ取得ステップ、画像縮小ステップ、距離算出ステップ、及び選択ステップをコンピュータに実行させることを特徴とするキャリブレーションデータ選択プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元位置を測定する際の視差画像に適用すべきキャリブレーションデータを選択するキャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置に関するものである。
【背景技術】
【０００２】
測定対象物の三次元情報を測定するための三次元位置測定装置として、例えばステレオカメラを用いたものが知られている。ステレオカメラは、一対のカメラ又は撮像ユニットを左右に適当な間隔で配置し、測定対象物の視差画像を測定画像として撮影する。視差画像は、各カメラで撮影された左右一対の視点画像からなる。この一対の視点画像上の対応点の視差に基づいて測定対象物の三次元位置、すなわち三次元空間における測定対象物上の任意の点Ｐｉの座標値（Ｘｉ，Ｙｉ，Ｚｉ）が求められる。【０００３】
三次元位置を高い精度で測定するには、撮影光学系の収差などの特性に起因した歪みを視点画像から除去しておく必要がある。また、撮影時における撮影光学系の正確な焦点距離や位置関係、向き等に応じた情報に基づいた補正を視点画像に行っておく必要もある。このため、各視点画像を解析するのに先立って、撮影光学系の特性に応じて作成されたキャリブレーションデータを各視点画像に適用して補正している。ピントを調節することができる撮影光学系では、その撮影光学系のフォーカス位置に応じて特性が変わるための、撮影時のフォーカス位置に応じたキャリブレーションデータを選択して各視点画像に適用する必要があった。【０００４】
上記のようにフォーカス位置に応じたキャリブレーションデータを選択するためには、撮影時のフォーカス位置を特定する必要がある。この特定する手法として、フォーカスレンズを移動させるステッピングモータのステップ位置から特定するものが知られている（特許文献１参照）。【０００５】
視点画像間の視差を求める場合に、各視点画像上の画素同士の相関性を相関演算によって調べ、その相関性から各視点画像上で同一の撮影対象点、すなわち対応点の探索が行われる。相関演算は、視点画像の解像度が高いほどその計算コストが大きく、解像度の僅かな増加でも計算コストがかなり増大する。そこで、測定対象物の距離が近いほど距離分解能が高くなることに着目して、視点画像をいくつかの距離レンジの領域に分割し、近距離の領域ほど解像度が低くなるように変換し、計算コストを低くしつつ、視点画像全体で必要な距離分解能が得られるようにした装置が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４１４９１号公報
【特許文献２】特開２００１−１２６０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、特許文献１のようにステッピングモータのステップ位置からフォーカス位置を特定する場合、ステッピングモータに供給する駆動パルスをカウントすることになるが、ステッピングモータに一時的な脱調が発生したり、撮影光学系に衝撃が加わってレンズ位置が駆動パルスと関係なく移動したりすると、正確なフォーカス位置を検出できなくなるため好ましくない。また、レンズ位置を直接に検出するエンコーダを用いて正確なフォーカス位置を検出することも可能であるが、このような機構を設けることは、部品点数の増加やコストの上昇を招き、一般ユーザ向けのステレオカメラなどには採用できない、という問題があった。【０００８】
一方、キャリブレーションデータを視点画像に適用せず、あるいは適当なキャリブレーションデータを視点画像に適用してから、各視点画像から求められる視差を用いて、撮影光学系がピントを合致させているフォーカス距離を特定し、そのフォーカス距離に対応するフォーカス位置を検知することも考えられるが、キャリブレーションデータを選択する目的としては必要以上の距離分解能での演算となり、無駄に演算時間が大きく効率的ではなかった。なお、特許文献２のように、距離レンジに応じて解像度を変化させる手法は、計算コストを下げる点で効果的ではあるが、特定の距離分布の視点画像にしか利用することができず、様々な撮影シーンで撮影された視点画像には対応できなかった。【０００９】
本発明は、上記課題を鑑みてなされたものであって、無駄な演算をすることなく、視差画像から適切なキャリブレーションデータを選択することができるキャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を達成するために、本発明のキャリブレーションデータ選択装置では、複数の撮影光学系を有する撮影装置で異なる視点から撮影した複数の視点画像を取得する画像取得手段と、撮影光学系の複数の基準フォーカス距離の各々に対応したキャリブレーションデータを入力するキャリブレーションデータ入力手段と、撮影光学系がフォーカスした測定対象物までの撮影距離がいずれの適用距離範囲内であるかを識別するのに必要な距離分解能であって、各キャリブレーションデータに対応付けられた各々の基準フォーカス距離とそれに設定される適用距離範囲とから決まる最も高い距離分解能に対応した解像度よりも視点画像の解像度が低くならない範囲の第１の縮小率で各視点画像を縮小する画像縮小手段と、画像縮小手段によって縮小された視点画像間の対応点を相関演算によって求め、求められた対応点の視差に基づいて撮影光学系がフォーカスした測定対象物までの撮影距離を求める距離算出手段と、距離算出手段で算出された撮影距離が適用距離範囲内となるキャリブレーションデータを複数のキャリブレーションデータから選択する選択手段とを備える。【００１１】
視点画像上のフォーカス領域を特定するフォーカス領域特定手段を備え、距離算出手段は、フォーカス領域特定手段によって特定されたフォーカス領域内の対応点の視差を用いて撮影距離を求めるのがよい。【００１２】
距離算出手段は、フォーカス領域特定手段によって特定されたフォーカス領域内に対して対応点を求める処理を行うことが望ましい。【００１３】
視点画像の全域に対して距離算出手段によって求められる対応点の視差の度数分布に基づいて、撮影光学系がフォーカスを合致させたと推定される距離に対応する視差を特定する視差特定手段を備え、距離算出手段が、視差特定手段によって特定される視差から撮影距離を求めるもよい。【００１４】
画像縮小手段が、視差画像上で撮影光学系が並ぶ第１の方向の縮小率を第１の縮小率に設定し、この第１の方向に直交する第２の方向の視差画像の第２の縮小率を、第１の縮小率よりも小さな値に設定するのもよい。【００１５】
第１の縮小率と第２の縮小率に応じて、距離算出部の相関演算の際に用いられる相関ウインドウの縦横比を調節する相関ウインドウ補正手段を備えることが望ましい。【００１６】
焦点距離を変更して撮影が可能にされた撮影装置で視差画像を撮影したときの撮影光学系の焦点距離を取得する焦点距離取得手段を備え、キャリブレーションデータ取得手段は、撮影光学系の複数の焦点距離に対応して、各焦点距離のそれぞれについてのキャリブレーションデータを取得し、画像縮小手段は、視点画像の解像度が、前記焦点距離取得手段によって取得した焦点距離に対応した各キャリブレーションデータに対応付けられた各々の基準フォーカス距離とそれに設定される適用距離範囲とから決まる最も高い距離分解能に対応した解像度よりも低くならない範囲の縮小率を第１の縮小率とし、キャリブレーションデータ選択手段が、距離算出手段によって得られる撮影距離と焦点距離取得手段によって取得された焦点距離とに対応するキャリブレーションデータを選択することも好ましい。【００１７】
画像縮小手段が、撮影時の基線長、焦点距離、画素ピッチからなる撮影装置の基本情報に基づいて、縮小しない各視点画像の視差から距離を測定するときの撮影時測定分解能を基準フォーカス距離ごとに求めるとともに、キャリブレーションデータに対応する基準フォーカス距離及びその適用距離範囲とに基づいて、基準フォーカス距離ごとの距離分解能を求めるようにし、各撮影時測定分解能及び各距離分解能から第１の縮小率を算出する縮小率算出手段を有することも望ましい。【００１８】
縮小率算出手段が、撮影時測定分解能を求める際に、輻輳角が設定された各撮影光学系の光軸を近似的に平行とみなすための補正を行うことも望ましい。【００１９】
また、本発明の三次元位置測定装置では、上記のように構成されるキャリブレーションデータ選択装置と、キャリブレーションデータ選択装置によって選択されたキャリブレーションデータを入力された各視点画像に適用して補正する適用手段と、適用手段で補正された各視点画像間の視差から測定対象物の三次元位置情報を求める演算部とを備える。【００２０】
また、本発明のキャリブレーションデータ選択方法では、複数の撮影光学系を有する撮影装置で異なる視点から撮影した複数の視点画像を取得する画像取得ステップと、撮影光学系の複数の基準フォーカス距離の各々に対応したキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、撮影光学系がフォーカスした測定対象物までの撮影距離がいずれの適用距離範囲内であるかを識別するのに必要な距離分解能であって、各キャリブレーションデータに対応付けられた各々の基準フォーカス距離とそれに設定される適用距離範囲とから決まる最も高い距離分解能に対応した解像度よりも視点画像の解像度が低くならない範囲の第１の縮小率で各視点画像を縮小する画像縮小ステップと、画像縮小ステップによって縮小された視点画像間の対応点を相関演算によって求め、求められた対応点の視差に基づいて撮影光学系がフォーカスした測定対象物までの撮影距離を求める距離算出ステップと、距離算出ステップで算出された撮影距離が適用距離範囲内となるキャリブレーションデータを複数のキャリブレーションデータから選択する選択ステップとを有する。【００２１】
また、本発明のキャリブレーションデータ選択プログラムは、上記の視差画像取得ステップ、キャリブレーションデータ取得ステップ、画像縮小ステップ、距離算出ステップ、及び選択ステップをコンピュータに実行させる。
【発明の効果】
【００２２】
本発明によれば、キャリブレーションデータに対応付けられた各基準フォーカス距離に設定される適用距離範囲のいずれの範囲内であるかを識別することができる範囲で各視点画像を縮小し、その縮小された視点画像間の視差から測定対象物の撮影距離を求め、その撮影距離に対応するキャリブレーションデータを選択するようにしたから、無駄な演算をなくし演算時間を短縮して適切なキャリブレーションデータを選択することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明を実施した三次元位置測定装置の構成を示すブロック図である。
【図２】キャリブレーションデータセットと、各キャリブレーションデータの適用距離範囲の一例を示す説明図である。
【図３】測定分解能を説明する説明図である。
【図４】遠距離側の測定分解能と撮影距離との関係、及び縮小率との関係を示すグラフである。
【図５】近遠距離側の測定分解能と撮影距離との関係、及び縮小率との関係を示すグラフである。
【図６】キャリブレーションデータの選択から３Ｄデータの出力までの手順を示すフローチャートである。
【図７】顔領域を検出してフォーカス領域を特定する例の要部構成を示すブロック図である。
【図８】高周波成分の多い区画を検出してフォーカス領域を特定する例の要部構成を示すブロック図である。
【図９】視差の度数分布から推定フォーカス距離を求める視差を特定する例の要部構成を示すブロック図である。
【図１０】キャリブレーションデータからカメラ情報を取得する三次元位置測定装置の構成を示すブロック図である。
【図１１】キャリブレーションデータからカメラ情報を生成する状態を説明する説明図である。
【図１２】複数の焦点距離に対応させた三次元位置測定装置の構成を示すブロック図である。
【図１３】複数の焦点距離に対応させた際のキャリブレーションデータの選択から３Ｄデータの出力までの手順を示すフローチャートである。
【図１４】複数の焦点距離に対応したキャリブレーションデータセットと、各キャリブレーションデータの適用距離範囲の一例を示す説明図である。
【図１５】垂直方向の縮小率を水平方向の縮小率とを別に設定する三次元位置測定装置の構成を示すブロック図である。
【図１６】輻輳角を考慮して縮小率を決めるようにした例の要部構成を示すブロック図である。
【図１７】輻輳角を示す説明図である。
【図１８】相関演算をフォーカス領域に限定して行う例の要部構成を示すブロック図である。
【図１９】相関演算を顔領域から特定されるフォーカス領域に限定して行う例の要部構成を示すブロック図である。
【図２０】相関演算を高周波成分の多い区画として特定されるフォーカス領域に限定して行う例の要部構成を示すブロック図である。
【図２１】ステレオ画像を撮影したときのフォーカス距離を推定して出力するフォーカス距離推定装置の例を示すブロック図である。
【図２２】ステレオ画像を撮影したときのフォーカス距離を推定して出力する際の手順を示すフローチャートである。
【発明を実施するための形態】
【００２４】
［第１実施形態］
本発明を実施した三次元位置測定装置の構成を図１に示す。三次元位置測定装置１０は、ステレオカメラで測定対象物を撮影したステレオ画像から、測定対象物の三次元の位置情報の測定、すなわち三次元空間における測定対象物上の任意の点Ｐｉの座標値（Ｘｉ，Ｙｉ，Ｚｉ）を解析して取得する。この位置情報を取得するのに先立って、測定対象物の撮影時に撮影光学系がピントを合わせた距離（以下、フォーカス距離という）を推定する処理を行い、その推定されたフォーカス距離に対応し、撮影光学系の歪み等を除去するためのキャリブレーションデータによるステレオ画像の補正を行う。この三次元位置測定装置１０は、例えばコンピュータで構成され、このコンピュータでフォーカス距離を推定する処理や三次元の位置を測定する処理のプログラムを実行することにより、各部の機能が実現されている。
【００２５】
ステレオ画像入力部１１は、ステレオカメラで測定対象物を撮影したステレオ画像を取得する。ステレオカメラは、周知のように左右２つの撮影光学系を有しており、それら撮影光学系を介し左右の視点から測定対象物を撮影し視差画像としてのステレオ画像を出力する。ステレオ画像は、左側視点から撮影された左視点画像と右側視点から撮影された右視点画像とからなる。このステレオ画像入力部１１には、ステレオカメラがピントを合わせたステレオ画像上の領域を示すフォーカス領域をタグ情報として付加されたステレオ画像が入力される。なお、撮影光学系が並ぶ方向は、左右方向に限られるものではなく、例えば上下方向であってもよい。また、３視点以上から撮影された各視点画像からなる視差画像であってもよい。
【００２６】
カメラ情報入力部１２は、入力されるステレオ画像を撮影したステレオカメラのカメラ情報（基本情報）を取得するものであり、カメラ情報としては、左右の撮影光学系の間隔である基線長と、焦点距離と、画素ピッチとが入力される。なお、後述する推定フォーカス距離を算出する上では、カメラ情報の各値の精度は低くてもよい。
【００２７】
キャリブレーションデータセット入力部１３には、予め用意されているキャリブレーションデータセットが入力される。キャリブレーションデータセットは、入力されるステレオ画像を撮影したステレオカメラに対応するものが入力される。キャリブレーションデータセットは、撮影光学系の歪みや輻輳角等の影響を除去するための複数のキャリブレーションデータを含んでいる。
【００２８】
撮影光学系の歪み等は、撮影光学系のフォーカス位置、すなわちレンズ位置に応じて異なるため、基準となる複数のフォーカス位置に応じた各キャリブレーションデータが予め用意されている。キャリブレーションデータのそれぞれには、キャリブレーションデータに対応する基準となるフォーカス距離（以下、基準フォーカス距離という）が対応付けされており、その情報がキャリブレーションデータとともにキャリブレーションデータセット入力部１３に入力される。なお、基準フォーカス距離は、上述のように撮影光学系がピントを合わせた距離であり、その距離は撮影光学系の基準となるフォーカス位置によって決まり、基準フォーカス距離と基準となるフォーカス位置とは対応関係にある。
【００２９】
連続的なフォーカス距離に対してキャリブレーションデータを生成することは現実的ではないので、例えば図２に示すように、離散的に設定された、いくつかの基準フォーカス距離に対応する各キャリブレーションデータを生成し、各キャリブレーションデータを対応する基準フォーカス距離以外にも、その基準フォーカス距離に設定される適用距離範囲内のフォーカス距離にも対応させる。この例では三次元位置測定装置１０によって適用距離範囲が各基準フォーカス距離について設定される。この三次元位置測定装置１０では、基準フォーカス距離間の中間値を適用距離範囲の境界値とし、１つの基準フォーカス距離を挟む近距離側の境界値から遠距離側の境界値までを１つのキャリブレーションデータの適用距離範囲とするようにしている。
【００３０】
図２の例では、４種類（５０ｃｍ，１ｍ，２ｍ，５ｍ）の基準フォーカス距離に対応したキャリブレーションデータＣ１〜Ｃ４が用意されている。この三次元位置測定装置１０では、例えば基準フォーカス距離「５０ｃｍ」に対応するキャリブレーションデータＣ１については、至近距離から距離「７５ｃｍ」までが適用距離範囲となっている。境界値の
距離「７５ｃｍ」は、キャリブレーションデータＣ１，Ｃ２の各基準フォーカス距離の中間値として決めてある。
【００３１】
また、基準フォーカス距離「１ｍ」に対応するキャリブレーションデータＣ２については、前述の距離「７５ｃｍ」と、キャリブレーションデータＣ２，Ｃ３の中間値である距離「１．５ｍ」とを境界値として、距離「７５ｃｍ」から距離「１．５ｍ」までが適用距離範囲となっている。同様に、キャリブレーションデータＣ３については、距離「１．５ｍ」から距離「３．５ｍ」が適用距離範囲とされ、キャリブレーションデータＣ４については、距離「３．５ｍ」から無限遠までが適用距離範囲とされている。
【００３２】
なお、適用距離範囲の設定の手法は、上記のものに限られない。例えば、キャリブレーションデータとともに、そのキャリブレーションデータの適用距離範囲を予め決めておき、キャリブレーションデータとともに三次元位置測定装置１０に入力するようにしてもよい。また、手動で適用距離範囲を設定するようにしてもよい。
【００３３】
要求分解能算出部１５は、撮影時分解能算出部１６，縮小率決定部１７，画像縮小部１８とともに、画像縮小手段を構成している。要求分解能算出部１５は、入力されるキャリブレーションデータセットから各基準フォーカス距離を取得し、各基準フォーカス距離のそれぞれについての要求分解能を算出する。この要求分解能は、撮影光学系がフォーカスした測定対象物までの撮影距離がいずれの適用距離範囲内であるかを識別するのに必要な距離分解能として算出される。距離分解能は、１画素ピッチに対応する三次元空間上での長さ（平面（左右又は上下）と、奥行き）である。算出された各要求分解能は、縮小率決定部１７に送られる。
【００３４】
撮影時分解能算出部１６は、カメラ情報を用いて、入力される各視点画像の全画素を用いて三次元位置を演算したときに、得られる奥行き方向の測定分解能（距離分解能）を撮影時分解能として算出する。撮影時分解能は、撮影時の基線長、焦点距離、イメージセンサ上での画素ピッチが同一でも、測定対象物までの撮影距離に応じて異なる。撮影時分解能算出部１６は、キャリブレーションデータに対応する各基準フォーカス距離を撮影距離として、各基準フォーカス距離に対する撮影時分解能をそれぞれ算出する。算出された各撮影時分解能は、縮小率決定部１７に送られる。
【００３５】
縮小率決定部１７は、要求分解能算出部１５からの各要求分解能と、撮影時分解能算出部１６からの各撮影時分解能とに基づいて、各キャリブレーションデータに対応付けられた各々の基準フォーカス距離とそれに設定される適用距離範囲とから決まる最も高い距離分解能に対応した解像度よりも視点画像の解像度が低くならない範囲で、各視点画像の解像度を低くする縮小率を決定する。縮小率は、縮小した各視点画像を用いて測定対象物の撮影距離を求めるときの距離分解能が、各要求分解能のうち最も高い要求分解能を満足させ、かつできるだけ高い縮小効果が得られるように決められる。この例では、縮小率を「１／Ｋ」としたときに、値Ｋを自然数として、最も縮小効果が高くなる縮小率を求める。
【００３６】
画像縮小部１８は、縮小率決定部１７で決定された縮小率で各視点画像を縮小することにより、視点画像の解像度を低くする。この縮小処理では、視点画像の水平方向（視差の生じる方向）とそれに直交する垂直方向の画素数が、縮小後の画素数に対する縮小前の画素数の比が縮小率となるように縮小する。例えば、縮小率を「１／Ｋ」としたときに、縮小前の視点画像における「Ｋ×Ｋ」個の画素からなる領域の平均値を縮小後の１つの画素とするようにする。なお、縮小率に応じた個数で間引き処理を行って視点画像を縮小してもよい。
【００３７】
第１演算部２１は、相関演算処理と、視差算出処理とからなる第１演算処理を行う。相関演算処理では、画像縮小部１８によって縮小された各視点画像に相関演算を行い、例えば左視点画像上の各基準点（画素）に対する右視点画像上の対応点（画素）の探索を行う。視差算出処理では、相関演算処理で検出された各基準点とその対応点の視差を求める。第１演算処理の結果は、距離推定部２２に送られる。視差は、基準点とそれに対応する対応点の画素のずれ量（画素数）として求められる。
【００３８】
フォーカス領域取得部２３は、入力されるステレオ画像に付加されているタグ情報を読み出して解析することによりフォーカス領域を取得する。領域変換部２４は、フォーカス領域取得部２３で取得した縮小前のステレオ画像上でのフォーカス領域の座標を、縮小後のステレオ画像上の座標となるように、縮小率に基づいて変換する。変換されたフォーカス領域は、距離推定部２２に送られる。
【００３９】
距離推定部２２は、第１演算部２１とともに、距離算出手段を構成している。この距離推定部２２は、縮小された視点画像上のフォーカス領域内から得られる視差に基づいて、そのフォーカス領域内に撮影されている測定対象物の部分までの撮影距離を算出し、これを推定フォーカス距離として出力する。推定フォーカス距離を求める際には、第１演算部２１で求められる視差の他、カメラ情報の画素ピッチ、焦点距離、基線長、視点画像の縮小率が用いられる。
【００４０】
キャリブレーションデータ選択部２６は、キャリブレーションデータセットとして入力される各キャリブレーションのうちから、推定フォーカス距離に対応するキャリブレーションデータを選択する。キャリブレーションデータを選択する際には、キャリブレーションデータ選択部２６は、各キャリブレーションデータに対応する適用距離範囲を参照し、適用距離範囲内に推定フォーカス距離が含まれるキャリブレーションデータを選択する。これにより、ステレオ画像の撮影時の撮影光学系のフォーカス位置に対応したキャリブレーションデータを選択する。
【００４１】
キャリブレーションデータ適用部３１は、キャリブレーションデータ選択部２６によって選択されたキャリブレーションデータを、縮小されていない各視点画像に適用することにより、撮影光学系による歪みや輻輳角の影響を除去する。第２演算部３２は、相関演算処理と視差算出処理とからなる第２演算処理を行う。この第２演算処理の各処理は、第１演算処理のそれと同様であるが、縮小されていない各視点画像に対して処理を行う。この第２演算処理の結果は、３Ｄデータ変換部３３に送られる。
【００４２】
３Ｄデータ変換部３３は、左視点画像上の基準点となる画素と、それに対する右視点画像上の対応点となる画素との視差から測定対象物の距離を含む三次元の位置情報である３Ｄデータを算出する。出力部３４は、ステレオ画像の３Ｄデータを、例えば記録メディアに記録する。出力手法としては、これに限らず、例えばモニタに出力するなどしてもよい。
【００４３】
次に縮小率の算出について説明する。撮影したステレオカメラの基線長を「Ｄ」、焦点距離を「ｆ」、画素ピッチを「Ｂ」とし、視差を「ｄ」としたときに、ステレオカメラからその測定点までの撮影距離Ｌは、次式（１）で表すことができる。
Ｌ＝（Ｄ・ｆ）／（Ｂ・ｄ）  ・・・（１）
【００４４】
なお、視差に対応する長さは、その視差に画素ピッチを乗じることにより求めることができるが、視点画像を縮小した場合には、カメラ情報の画素ピッチに縮小率を除した値を用いることで求めることができる。したがって、視差に対応する長さを「Ｐ」、カメラ情報の画素ピッチをＢ、視点画像の縮小率を「１／Ｋ」、縮小前の視差を「ｄ０」、縮小後の視差を「ｄ１」とすれば、「Ｐ＝Ｂ・ｄ０＝Ｋ・Ｂ・ｄ１」の関係がある。
【００４５】
周知のように、測定点が遠距離方向にずれる場合には視差は小さくなり、測定点が近距離方向にずれる場合には視差は大きくなる。任意の撮影距離において、視差が１画素分ずれたときに増減する距離の変化量を、その撮影距離における測定分解能とすれば、図３に示すように、撮影距離Ｌの測定点Ｔ０を基準にして、視差が１画素分小さくなる遠距離側の測定点Ｔ１の距離と撮影距離Ｌとの差分が遠距離側の測定分解能Ｒ１となり、視差が１画素分大きくなる近距離側の測定点Ｔ２の距離と撮影距離Ｌとの差分が近距離側の測定分解能Ｒ２となり、これらは次の式（２），（３）のように表すことができる。そして、それら測定分解能Ｒ１，Ｒ２は、ステレオカメラの基線長Ｄ、焦点距離ｆ、画素ピッチＢ、及び撮影距離Ｌを用いて、上記式（１）の関係より、式（２’），（３’）のように表すことができる。
Ｒ１＝［（Ｄ・ｆ）／（Ｂ・（ｄ−１））］−［（Ｄ・ｆ）／（Ｂ・ｄ）］  ・・・（２）
＝［Ｌ／（１−（Ｂ・Ｌ）／（Ｄ・ｆ））］−Ｌ    ・・・・・・・・・・（２’）
Ｒ２＝［（Ｄ・ｆ）／（Ｂ・ｄ）］−［（Ｄ・ｆ）／（Ｂ・（ｄ＋１））］  ・・・（３）
＝Ｌ−［Ｌ／（１＋（Ｂ・Ｌ）／（Ｄ・ｆ））］    ・・・・・・・・・・（３’）
【００４６】
撮影時分解能は、撮影時の基線長、焦点距離、画素ピッチ、及び撮影距離に基づいて、上記式（２’），（３’）により求められる遠距離側、近距離側の各測定分解能として算出できる。このときに、撮影距離として、各基準フォーカス距離を用いることで、各基準フォーカス距離のそれぞれについての、遠距離側の撮影時分解能と、近距離側の撮影時分解能を求めることができる。
【００４７】
一方、測定される撮影距離が任意のキャリブレーションデータの適用距離範囲内であるか否かを判断するには、当該キャリブレーションデータに対応する基準フォーカス距離と適用距離範囲の上限値との差分をＲｆ、下限値との差分をＲｃとすれば、基準フォーカス距離を撮影距離として上述のようにして求められる遠距離側の測定分解能がＲｆ以下、近距離側の測定分解能がＲｃ以下であることが必要である。結果として、任意の基準フォーカス距離については、その基準フォーカス距離と、それを含む適用距離範囲の上限値との差分が遠距離側の要求分解能であり、下限値との差分が近距離側の要求分解能となる。このようにして、各基準フォーカス距離についての、遠距離側、及び近距離側の要求分解能を求めることができる。
【００４８】
縮小率は、同じ基準フォーカス距離の同じ種類の各分解能を用いた要求分解能に対する撮影時分解能の比率（＝撮影時分解能／要求分解能）のうち最も大きな値を縮小率とする。すなわち、遠距離側の要求分解能に対する遠距離側の撮影時分解能の比率、及び近距離側の要求分解能に対する近距離側の撮影時分解能の比率を各基準フォーカス距離についてそれぞれ求め、そのうち最も大きい比率を縮小率とする。
【００４９】
縮小率（＝「１／Ｋ」）を小さくするほど測定分解能が低下していくが、上記のように縮小率を決定すれば、縮小後のステレオ画像は、いずれの基準フォーカス距離に対する要求分解能を満足させることができ、しかも最もステレオ画像の解像度を低くして相関演算を効率的にすることができる画像を縮小する際の処理を簡単にするために、上述のように縮小率を「１／Ｋ」としたときに値Ｋが自然数となるようにして、縮小率を決める。
【００５０】
なお、この例では、いずれの基準フォーカス距離に対する要求分解能を満足させることができる縮小率として、最も縮小効果ものを採用しているが、必ずしも縮小効果を最大とする必要はない。
【００５１】
図４及び図５にステレオカメラから測定点までの撮影距離Ｌと、その撮影距離Ｌにおける測定分解能の関係の一例を示す。測定分解能は、各視点画像を縮小しない場合でも、撮影距離Ｌが大きくなるほど低下し、また撮影距離Ｌが大きくなるほど縮小による測定分解能の低下の影響も大きくなる。さらに、縮小率が小さくなるほど測定分解能が低下する傾向を示す。
【００５２】
図２に示されるキャリブレーションデータＣ１〜Ｃ４に対応する基準フォーカス距離を符号Ｌ１〜Ｌ４で、また要求分解能を「○」印で図４及び図５に示してある。遠距離側の要求分解能は、キャリブレーションデータＣ１，Ｃ２については、縮小率を「１／４５」より小さくしても、それらの基準フォーカス距離における要求分解能「２５０ｍｍ」、「５００ｍｍ」が満足されるが、キャリブレーションデータＣ３に対する基準フォーカス距離の要求分解能「１５００ｍｍ」は、縮小率を「１／４５」より小さくすると満足されなくなる。
【００５３】
一方、近距離側の要求分解能は、キャリブレーションデータＣ２，Ｃ３については、縮小率を「１／３２」より小さくしても、それらの基準フォーカス距離における要求分解能「２５０ｍｍ」、「５００ｍｍ」が満足されるが、キャリブレーションデータＣ４に対する基準フォーカス距離の要求分解能「１５００ｍｍ」は、縮小率を「１／１８」より小さくすると満足されなくなる。このような場合、要求分解能に対する撮影時分解能の比率、すなわち縮小率が最も大きい「１／１８」が縮小率として決定される。
【００５４】
次に上記構成の作用について図６を参照しながら説明する。まず、三次元位置を測定するステレオ画像を撮影したステレオカメラに対して予め用意されているキャリブレーションデータセットをキャリブレーションデータセット入力部１３から入力する。さらに、そのステレオカメラのカメラ情報をカメラ情報入力部１２から入力する。
【００５５】
キャリブレーションデータセット及びカメラ情報が入力されると、各キャリブレーションデータに対応する基準フォーカス距離が取り出され、これらの基準フォーカス距離に基づいて、要求分解能算出部１５により、各基準フォーカス距離に対応する遠距離側及び近距離側の各要求分解能が求められる。また、各基準フォーカス距離と、カメラ情報とから各基準フォーカス距離に対する遠距離側及び近距離側の撮影時分解能が求められる。
【００５６】
そして、各要求分解能と撮影時分解能とに基づいて、各視点画像の縮小率が縮小率決定部１７によって決定される。このときに、縮小率決定部１７によって、遠距離側の要求分解能に対する遠距離側の撮影時分解能の比率と、近距離側の要求分解能に対する近距離側撮影時分解能の比率とが各基準フォーカス距離のそれぞれについて求められ、それらのうちの最も大きい値が縮小率とされる。
【００５７】
ステレオ画像入力部１１から各視点画像を入力すると、その各視点画像が画像縮小部１８と、キャリブレーションデータ適用部３１に送られる。画像縮小部１８に送られた各視点画像は、縮小率決定部１７によって決定された縮小率で縮小される。これにより、各視点画像は、画素数が少なくなり解像度が低くなるとともに、画素ピッチが大きくなることで、測定分解能が低くなる。
【００５８】
上記のように縮小された各視点画像が第１演算部２１に送られ、その画像全域に対して第１演算処理が行われる。相関演算処理が行われて対応点の探索が行われ、検出される各対応点の基準点に対する視差がそれぞれ求められる。このときに、各視点画像は、縮小されているので、入力された各視点画像そのものに対して相関演算を行うよりも短時間で完了する。また、第１演算の際には、各視点画像にキャリブレーションデータを適用していないが、各視点画像が縮小されているため、キャリブレーションデータを適用していなくても、撮影光学系の歪みや輻輳角等の影響が小さく対応点の探索が失敗し難い。得られる対応点の位置情報やそれらの視差の情報が距離推定部２２に送られる。
【００５９】
一方、フォーカス領域取得部２３がステレオ画像に付加されているタグ情報を解析することにより得られたフォーカス領域が、領域補正部２４によって縮小後の各視点画像上の座標に変換されて距離推定部２２に送られる。
【００６０】
上記のように変換されたフォーカス領域と、第１演算の結果が入力された状態となると、距離推定部２２により、変換されたフォーカス領域内に検出された対応点の視差とカメラ情報とから、その視差の測定対象物の部分までの撮影距離が算出され、これが推定フォーカス距離として出力される。
【００６１】
推定フォーカス距離がキャリブレーションデータ選択部２６に送られると、その推定フォーカス距離を適用距離範囲に含むキャリブレーションデータが各キャリブレーションデータのうちから選択される。
【００６２】
選択されたキャリブレーションデータがキャリブレーションデータ適用部３１に送られると、そのキャリブレーションデータが縮小されていない各視点画像に適用され、撮影したステレオカメラの撮影光学系の歪みなどが除去される。上記のように、キャリブレーションデータは、縮小した各視点画像から求めた推定フォーカス距離に基づいて選択しているが、上記のようにして選択しているので、適切に選択されたキャリブレーションデータが各視点画像に適用される。
【００６３】
キャリブレーションデータが適用された各視点画像は、第２演算部３２によって第２演算が施され、その第２演算の結果に基づいて視点画像の各画素について測定対象物の距離を含む三次元の位置情報である３Ｄデータが算出され、その３Ｄデータが記録メディアに記録される。
【００６４】
続けて同じステレオカメラで撮影されたステレオ画像から三次元の位置情報を測定するときには、共通のキャリブレーションデータと、カメラ情報を使うことができるので、それらを入力することなく、ステレオ画像だけを入力すればよい。
【００６５】
上記実施形態では、ステレオカメラがピントを合わせた部分であるフォーカス領域をステレオ画像に付加されたタグ情報から特定しているが、フォーカス領域を特定するには、この手法に限られるものではない。例えば、視点画像を解析することにより、フォーカス領域を特定してもよい。視点画像の解析によるものとしては、顔領域や高周波成分が多く含まれる領域の検出によるものなどがある。
【００６６】
図７に示す例は、顔領域を利用するものであり、顔領域検出部４１によって視点画像上で各顔領域の検出を行い、顔領域選択部４１により検出された顔領域のいずれかを選択して、その選択した顔領域をフォーカス領域として特定している。フォーカス領域として選択する顔領域は、例えば視点画像の中央に近いもの、顔領域が最も大きいものなどとすることができる。人物を撮影する場合では人物の顔にピントが合わせられることが多いので、そのような場合に有用である。
【００６７】
また、図８の例は、ピントが合致された領域は高周波成分が多くなることを利用したものであり、視点画像をいくつかの領域に区画し、高周波成分領域検出部４３によって、各区画の高周波成分が含まれる程度を調べ、最も高周波成分が多い区画をフォーカス領域として特定する。
【００６８】
フォーカス領域として特定するのではなく、ステレオカメラがピントを合わせたと推定される距離に対応する視差を特定してもよい。図９に示す例では、視差度数分布検出部４４により、第１演算部２１により求められる視点画像の全域の視差の度数分布が調べられ、その度数分布に基づいて、例えば最頻値の視差を、ピントを合わせたと推定される距離に対応する視差を特定している。なお、最頻値ではなく、中央値等を用いてもよい。また、視差に代えて距離の分布を調べてもよい。
【００６９】
なお、図７ないし図９では、要部のみを示しており、その他の部分の図示を省略している。
【００７０】
［第２実施形態］
キャリブレーションデータからカメラ情報を取得する第２実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。
【００７１】
この例では、図１０に示すように、カメラ情報入力部に代えて、カメラ情報算出部５１が、カメラ情報取得手段として設けられている。このカメラ情報算出部５１には、キャリブレーションデータセット入力部１３から各キャリブレーションデータが入力される。カメラ情報算出部５１は、各キャリブレーションデータを解析することによってカメラ情報を取得して出力する。
【００７２】
図１１に示すように、各キャリブレーションデータは、撮影光学系の歪みを記述する歪みパラメータと、三次元空間上の座標とステレオ画像上の画素位置とを対応づけるステレオパラメータ行列で表される。カメラ情報算出部５１は、このようなキャリブレーションデータを解析して個々のパラメータに分解し、左右の撮影光学系の各位置（原点座標位置）と、ピクセル焦点距離を取得する。そして、左右の撮影光学系の各位置から基線長を算出する。なお、ピクセル焦点距離は、撮影光学系の焦点距離を画素ピッチで除した値（焦点距離／画素ピッチ）であり、三次元位置測定では、焦点距離と画素ピッチとを分離できなくても問題ない。
【００７３】
カメラ情報算出部５１は、各キャリブレーションデータのそれぞれから基線長及びピクセル焦点距離を求め、各々を平均した平均基線長と平均ピクセル焦点距離をカメラ情報として出力する。各キャリブレーションデータには、撮影光学系のフォーカス位置に応じた細かな相違があり、各キャリブレーションデータから求めるカメラ情報は、厳密には正しくない。しかしながら、測定分解能が低くされた視点画像から、キャリブレーションデータを選択するために推定フォーカス距離を求める上では問題がない。なお、平均値に代えて、中央値を用いてもよい。第２演算部３２及び３Ｄデータ変換部３３で用いる基本情報としては、例えば選択されたキャリブレーションデータから得られる基線長及びピクセル焦点距離を用いることができる。
【００７４】
［第３実施形態］
撮影光学系としてズームレンズを用いたステレオカメラに対応する第３実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、この第３実施形態では、撮影光学系を広角端と望遠端とのいずれかの焦点距離としてステレオ画像の撮影を行う場合を例にして説明するが、他の各焦点距離に対応させることができ、また３種類以上の焦点距離に対応させることができる。
【００７５】
図１２に第３実施形態の三次元位置測定装置１０の構成を示し、また図１３に処理手順を示す。ステレオ画像入力部１１には、フォーカス領域の他、ステレオ画像を撮影した際に用いられた撮影光学系の焦点距離がタグ情報として付加されたステレオ画像が入力される。焦点距離取得部５３は、この入力されるステレオ画像のタグ情報から撮影時の焦点距離を取得して出力する。この例では、焦点距離取得部５３によって、望遠端、または広角端のいずれかの焦点距離が取得される。
【００７６】
カメラ情報入力部１２には、カメラ情報として、基線長と、画素ピッチと、望遠端と広角端の各焦点距離が入力される。キャリブレーションデータセット入力部１３には、図１４に一例を示すように、基準フォーカス距離ごとのキャリブレーションデータが各焦点距離のそれぞれに用意されたキャリブレーションデータセットが入力される。
【００７７】
要求分解能算出部１５は、キャリブレーションデータに対応する焦点距離ごとに、各基準フォーカス距離のそれぞれについて、遠距離側，近距離側の要求分解能を算出する。また、撮影時分解能算出部１６は、カメラ情報に示される焦点距離ごとに、各基準フォーカス距離のそれぞれについて遠距離側，近距離側の撮影時分解能を算出する。縮小率算出部５４は、焦点距離ごとに、第１実施形態の縮小率決定部１７と同様にして、各要求分解能と撮影時分解能とに基づいて縮小率を決定する。したがって、望遠端の縮小率と、広角端の縮小率とが決定される。各縮小率は、メモリ５４ａに記憶される。
【００７８】
縮小率選択部５５には、ステレオ画像のタグ情報から取得された焦点距離が入力される。この縮小率選択部５５は、焦点距離が入力されると、その焦点距離に対応した縮小率をメモリ５４ａから取得し、その縮小率を画像縮小部１８，領域変換部２４、第１演算部２１に送る。これにより、入力されたステレオ画像を撮影した焦点距離に応じた各要求分解能を満たし、かつ縮小効果が最大となるように各視点画像が縮小され、その視点画像から推定フォーカス距離が求められる。
【００７９】
キャリブレーションデータ選択部２６は、ステレオ画像のタグ情報から取得された焦点距離と、距離推定部２２で算出された推定フォーカス距離とに対応するキャリブレーションデータを選択する。そして、この選択したキャリブレーションデータが入力された各視点画像に適用される。
【００８０】
［第４実施形態］
視点画像の縦横の縮小率を別々に設定する第４実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。
【００８１】
図１５において、水平方向縮小率決定部６１は、第１実施形態の縮小率決定部１７と同じであるが、それが算出する縮小率が視点画像の水平方向の縮小率（以下、横縮小率という）として出力される。なお、この例では、水平方向を、視点画像上で左右の撮影光学系が並ぶ方向とし、垂直方向を視点画像上で水平方向に直交する方向として説明する。
【００８２】
垂直方向の縮小率（以下、縦縮小率という）を入力するための垂直方向縮小率入力部６２を設けてある。各視点画像は、画像縮小部１８によって、水平方向については水平方向縮小率決定部６１からの横縮小率を用いて縮小され、垂直方向については垂直方向縮小率入力部６２からの縦縮小率を用いて縮小される。フォーカス領域についても同様であり、領域変換部２４により、取得したフォーカス領域は、その水平方向のサイズが横縮小率を用いて縮小され、垂直方向のサイズが縦縮小率を用いて縮小され、縦横比が調節される。
【００８３】
ウインドウサイズ補正部６３は、横縮小率と縦縮小率とが異なる場合に、相関演算処理の際に用いる相関ウインドウのサイズを各縮小率に応じて補正する。この補正では、相関ウインドウの垂直方向のサイズＷｖ、水平方向のサイズをＷｈ、縦縮小率をＱｖ、横縮小率をＱｈとしたときに「Ｗｖ＝Ｗｈ・Ｑｖ／Ｑｈ」となるようにする。
【００８４】
奥行き方向の距離の違いは、視差すなわち撮影光学系の並ぶ方向のずれ量として検出されるから、測定分解能は、水平方向の縮小の影響を受けるが、垂直方向の縮小の影響を受けない。このため、視差画像を縮小するときに、水平方向よりも垂直方向により大きく縮小されるように縮小率を設定することで、測定分解能に影響を与えることなく、演算時間のさらなる短縮が可能となる。
【００８５】
上記の例では、絶対的な縦縮小率を入力するようにしているが、縦縮小率を横縮小率に対する相対的な値として入力するようにしてもよい。また、縦縮小率を入力する代わりに、横縮小率よりも縮小されるように縦縮小率が自動的に設定されるようにしてもよい。
【００８６】
［第５実施形態］
輻輳角を考慮して撮影時分解能を算出するようにした第５実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。
【００８７】
図１６に示すように、この例では、輻輳角補正設定部６７が設けられている。この輻輳角補正設定部６７は、カメラ情報として、基線長などとともに入力されるステレオカメラの輻輳角に基づいて、撮影時分解能算出部１６が撮影時分解能を算出する際の演算を補正する。
【００８８】
この例では、図１７に示すように、左右の撮影光学６８Ｌ，Ｒの光軸ＰＬ，ＰＲが平行ではなく、輻輳角θが与えられているときに、輻輳角補正設定部６７は、画素ピッチを補正して、撮影時分解能の演算を行わせる。イメージセンサ６９Ｌ，６９Ｒの画素ピッチである補正前の画素ピッチを「Ｂ０」とし、補正後の画素ピッチを「Ｂ１」としたとき、輻輳角補正設定部６７は、「Ｂ１＝Ｂ０・ｃｏｓ（θ／２）」として補正する。このようにすることで、画素ピッチＢ０を、角度（θ／２）で傾いたイメージセンサ６９Ｌ，６９Ｒをステレオカメラの正面から見たときの見かけ上の画素ピッチＢ１に変換して撮影時分解能を算出させる。
【００８９】
上記では、画素ピッチに対して補正を行っているが、画素のずれ量を補正して撮影時分解能を算出するようにしてもよい。輻輳角θがあるときには、画素のずれ量を「ｄ」、撮影光学系の焦点距離を「ｆ」、画素ピッチを「Ｂ」とすると、「ｄ＝（ｆ／Ｂ）・ｔａｎθ」のときに測定距離が無限遠（Ｌ＝∞）となる。一方、撮影光学系の光軸が平行であって輻輳角がないときには、測定距離が無限遠のときに、「ｄ＝０」となる。すなわち、輻輳角θがある場合には、輻輳角がないときに比べて画素のずれ量が大きくなるので、この分を補正して輻輳角がないものとして取り扱うことができる。したがって、補正前の画素のずれ量を「ｄ０」とし、補正後の画素のずれ量を「ｄ１」としたとき、「ｄ１＝ｄ０−（ｆ／Ｂ）・ｔａｎθ」とし、補正された画素のずれ量ｄ１を使って撮影時分解能を算出すればよい。
【００９０】
上記の各例は、厳密に輻輳角の影響を取り除くものではないが、推定フォーカス距離を求める上での撮影時分解能を算出するには十分である。肉眼による立体視のためのステレオ撮影を行うステレオカメラでは、立体視をしやすくするために輻輳角が与えられていることが多く、このようなステレオカメラからのステレオ画像を取り扱う場合に有用である。
【００９１】
［第６実施形態］
領域を限定して相関演算及び視差を求めるようにした第６実施形態について説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。また、図１８では、要部のみを示しおり、その他の部分の図示を省略している。図１９，図２０についても同様である。
【００９２】
図１８に示すように、演算領域設定部６８が設けられている。この演算領域設定部６８は、領域変換部２４で縮小した視点画像上の領域に変換したフォーカス領域に対してだけ、第１演算部２１が相関演算処理と、視差算出処理を行うようにする。これにより、対応点を探索する処理や視差を求める処理時間が短縮される。
【００９３】
この例では、相関演算処理と視差算出処理を行う領域をタグ情報から特定されるフォーカス領域に限定しているが、図１９や図２０に示すように、視点画像上で検出・選択された顔領域や最も高周波成分が多い区画をフォーカス領域として特定する場合にも利用できる。
【００９４】
［第７実施形態］
ステレオ画像を撮影したときのフォーカス距離を推定して出力するフォーカス距離推定装置の例を第７実施形態として説明する。なお、以下に説明する他は、第１実施形態と同様であり、実質的に同じ構成部材には同一の符号を付してその詳細な説明を省略する。
【００９５】
フォーカス距離推定装置の構成を図２１に示す。フォーカス距離推定装置７０は、ステレオカメラで撮影されたステレオ画像や、ステレオカメラのカメラ情報などを入力することにより、そのステレオ画像が撮影されたときのステレオカメラの撮影光学系のフォーカス距離を推定して出力する。
【００９６】
距離ステップ入力部７１には、ステレオカメラの撮影光学系が取り得る各フォーカス位置に対応する基準フォーカス距離を入力する。例えばステレオカメラの撮影光学系が撮影距離５０ｃｍ、６０ｃｍ、８０ｃｍ、１ｍ、１ｍ２０ｃｍ、１ｍ５０ｃｍ・・・・に対応するフォーカス位置にステップ移動されてピントが調節される場合、それら撮影距離を基準フォーカス距離として入力する。
【００９７】
また、フォーカス領域入力部７２には、ステレオカメラがピントを合致させる領域情報を入力する。ステレオカメラが、例えば撮影画面の中央部にピントを合致するように制御されるのであれば、その中央部の領域の視点画像上での座標としてフォーカス領域入力部７２に入力する。
【００９８】
出力部７３は、距離推定部２２で算出される推定フォーカス距離を例えば記録メディアに記録するなどして、出力する
【００９９】
この例では、図２２に示すように、各基準フォーカス距離、ステレオカメラのカメラ情報を入力すると、縮小率が算出され、その縮小率で入力されるステレオ画像（各視点画像）を縮小する。この後に、縮小したステレオ画像に相関演算処理及び視差算出処理を実施して視差を求め、それら視差のうち、入力され、また縮小に応じて変換されたフォーカス領域内のものを用いて撮影距離を算出し、それを推定フォーカス距離として出力する。
【０１００】
上記のフォーカス距離推定装置７０は、ステレオカメラに接続して利用することができる。この場合には、ステレオカメラに各基準フォーカス距離、カメラ情報、フォーカス領域を記憶したメモリを設けておき、このメモリからそれらの情報を取得し、またステレオ画像が直接に入力される構成とすることもできる。また、フォーカス距離推定装置７０をステレオカメラに接続して撮影を行うときに、撮影時に設定されているフォーカス領域を取得するようにすれば、フォーカス領域が撮影ごとに変化する場合にも対応することができる。さらに、撮影光学系のフォーカス位置を検出するエンコーダに代えて、フォーカス距離推定装置７０の機能をステレオカメラに内蔵させてフォーカス位置を検出するようにすることもできる。
【０１０１】
上記第１〜第６実施形態では、三次元位置測定装置を例にして説明したが、キャリブレーションデータを選択するまでの機能を用いてキャリブレーションデータ選択装置として構成することができる。また、各実施形態では、縮小率を装置の内部で算出しているが、例えばキャリブレーションデータセットともに予め作成しておき、キャリブレーションデータセットとともに入力するようにしてもよい。また、上記各実施形態の構成は、矛盾しない範囲で組み合わせて利用することができる。
【符号の説明】
【０１０２】
１０  三次元位置測定装置
１１  ステレオ画像入力部
１２  カメラ情報入力部
１３  キャリブレーションデータセット入力部
１７  縮小率決定部
１８  画像縮小部
２１  第１演算部
２２  距離推定部
２６  キャリブレーションデータ選択部
【図１】
2011125937.tif 000003
【図２】
2011125937.tif 000004
【図３】
2011125937.tif 000005
【図４】
2011125937.tif 000006
【図５】
2011125937.tif 000007
【図６】
2011125937.tif 000008
【図７】
2011125937.tif 000009
【図８】
2011125937.tif 000010
【図９】
2011125937.tif 000011
【図１０】
2011125937.tif 000012
【図１１】
2011125937.tif 000013
【図１２】
2011125937.tif 000014
【図１３】
2011125937.tif 000015
【図１４】
2011125937.tif 000016
【図１５】
2011125937.tif 000017
【図１６】
2011125937.tif 000018
【図１７】
2011125937.tif 000019
【図１８】
2011125937.tif 000020
【図１９】
2011125937.tif 000021
【図２０】
2011125937.tif 000022
【図２１】
2011125937.tif 000023
【図２２】
2011125937.tif 000024
【国際調査報告】
2011125937.tif 000025
2011125937.tif 000026
2011125937.tif 000027
2011125937.tif 000028