(57)【要約】  本発明に係る測距装置は、異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の２次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得する取得部と、前記注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正部と、前記注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算部と、注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、最適キャリブレーションデータを特定する比較部と、前記視差に基づいて被写体距離を算出する距離演算部と、前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力部とを備える。
2011058876.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算部と、
注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記視差に基づいて被写体距離を算出する距離演算部と、
前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力部と、
を備える測距装置。
【請求項２】
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出する相関度演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項１に記載の測距装置。
【請求項３】
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項４】
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項５】
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項６】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力部と、
を備える測距装置。
【請求項７】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算部と、
注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算部と、
算出された前記被写体距離を測距結果として出力する出力部と、
を備える測距装置。
【請求項８】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較部と、
前記測距結果を出力する出力部と、
を備える測距装置。
【請求項９】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
前記差分と閾値とを比較する比較部と、
前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力部と、
を備える測距装置。
【請求項１０】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出する相関度演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１１】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１２】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１３】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１４】
前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定する代表視差決定部を備え、
前記距離演算部は、前記代表視差に基づいて前記被写体距離を算出する、請求項１から１３のうちいずれか１項に記載の測距装置。
【請求項１５】
前記代表視差決定部は、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項１４に記載の測距装置。
【請求項１６】
前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定する代表距離決定部を備え、
前記距離演算部は、前記各画素の距離を算出し、
前記出力部は、前記代表距離を測距結果として出力する、請求項１から１３のうちいずれか１項に記載の測距装置。
【請求項１７】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項１６に記載の測距装置。
【請求項１８】
前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項１４から１７のうちいずれか１項に記載の測距装置。
【請求項１９】
前記頻度を算出する注目領域を決定する注目領域決定部を備え、
前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項１４から１８のうちいずれか１項に記載の測距装置。
【請求項２０】
前記注目領域決定部は、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
【請求項２１】
前記注目領域決定部は、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
【請求項２２】
前記注目領域決定部は、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項１９から２１のうちいずれか１項に記載の測距装置。
【請求項２３】
前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定する重み決定部を備え、
前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項１４から２２のうちいずれか１項に記載の測距装置。
【請求項２４】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算ステップと、
注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記視差に基づいて被写体距離を算出する距離演算ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力ステップと、
を備える測距方法。
【請求項２５】
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出するステップを備え、
注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項２４に記載の測距方法。
【請求項２６】
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップを備え、
注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２７】
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、
注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２８】
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップを備え、
注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２９】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３０】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算ステップと、
注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３１】
前記注目距離を第１の変更幅よりも大きな第２の変更幅で変更しながら第１の測距を行って第１の被写体距離を取得し、前記注目距離を前記第１の被写体距離の付近で前記第１の変更幅で変更しながら第２の測距を行って第２の被写体距離を取得し、前記第２の被写体距離を測距結果として出力する、請求項２４から３０のうちいずれか１項に記載の測距方法。
【請求項３２】
前記第１の測距と前記第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３１に記載の測距方法。
【請求項３３】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
前記各注目距離ごとに前記被写体距離と前記注目距離との差分を算出し、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較ステップと、
前記測距結果を出力する出力ステップと、
を備える測距方法。
【請求項３４】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離のうちで最初の注目距離を決定するステップと、
複数の前記注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出し、前記差分と閾値とを比較する比較ステップと、
前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３５】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３６】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３７】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３８】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３９】
前記最初の注目距離を決定して初期の前記被写体距離を取得する第１の測距と、前記第１の測距で得られた前記被写体距離を次の前記注目距離と決定して測距結果としての前記被写体距離を取得する第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３３から３８のうちいずれか１項に記載の測距方法。
【請求項４０】
前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定し、前記代表視差に基づいて前記被写体距離を算出する、請求項２４から３９のうちいずれか１項に記載の測距方法。
【請求項４１】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項４０に記載の測距方法。
【請求項４２】
前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定し、前記代表距離を測距結果として出力する、請求項２４から３９のうちいずれか１項に記載の測距方法。
【請求項４３】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項４２に記載の測距方法。
【請求項４４】
前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項４０から４３のうちいずれか１項に記載の測距方法。
【請求項４５】
前記頻度を算出する注目領域を決定し、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項４０から４４のうちいずれか１項に記載の測距方法。
【請求項４６】
前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
【請求項４７】
前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
【請求項４８】
前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項４５から４７のうちいずれか１項に記載の測距方法。
【請求項４９】
前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定し、前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項４０から４８のうちいずれか１項に記載の測距方法。
【請求項５０】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、
前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、
前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、
前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部と、
を備える測距装置。
【請求項５１】
前記測距演算部の演算した距離を評価し、測距演算の成功または失敗を判定する判定部と、
前記判定部の判定結果に応じて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体距離に適合するキャリブレーションパラメータを再設定するキャリブレーションパラメータ再設定部と、
を備える請求項５０に記載の測距装置。
【請求項５２】
前記距離推定部は、前記視点画像の付帯情報に基づいて前記被写体距離を推定し、
前記初期キャリブレーションデータ設定部は、前記距離推定部の推定した被写体距離と、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータとに基づき、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定し、
前記判定部は、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータの信頼性を示す信頼性情報を前記測距演算部による測距演算の結果に基づいて作成し、前記信頼性情報に基づいて測距演算の成功または失敗を判定する、請求項５１に記載の測距装置。
【請求項５３】
前記判定部は、前記信頼性情報に応じて測距演算の成功または失敗を判定する条件を選択する、請求項５２に記載の測距装置。
【請求項５４】
前記距離推定部は、前記付帯情報に含まれる撮影モード情報に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５５】
前記距離推定部は、前記視点画像を解析することにより取得した撮影シーンに関する情報、もしくは前記付帯情報に含まれる撮影シーン情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５６】
前記距離推定部は、前記視点画像を解析することにより取得した被写体のサイズ情報に基づいて、もしくは前記付帯情報に含まれる被写体のサイズ情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５７】
前記距離推定部は、前記視点画像に含まれる人物被写体のサイズと前記人物被写体の標準のサイズとの比較に基づいて前記被写体距離を推定する、請求項５６に記載の測距装置。
【請求項５８】
前記距離推定部は、前記視点画像の合焦評価値算出領域の視差に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５９】
前記距離推定部は、前記撮像装置の輻輳距離に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項６０】
撮像装置の機種ごとの輻輳距離を記憶した輻輳距離記憶部を備え、
前記距離推定部は、前記輻輳距離記憶部に記憶された輻輳距離のうち前記視点画像を撮像した撮像装置の機種に対応する輻輳距離に基づいて前記被写体距離を推定する、請求項５９に記載の測距装置。
【請求項６１】
前記撮像装置の外部パラメータを取得する外部パラメータ取得部を備え、
前記距離推定部は、前記外部パラメータ取得部の取得した撮像装置の外部パラメータから前記撮像装置の輻輳距離を算出し、算出された輻輳距離を被写体距離と推定する、請求項５９に記載の測距装置。
【請求項６２】
前記視点画像の特徴を記憶する特徴記憶部を備え、
前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記比較の結果に応じて前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項６３】
前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する、請求項６２に記載の測距装置。
【請求項６４】
測距演算に関するパラメータの入力を受け付ける測距演算パラメータ入力部を備え、
前記距離推定部は、前記測距演算パラメータ入力部から入力したパラメータから前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項６５】
前記キャリブレーションパラメータ記憶部は、離散的に設定された焦点位置の各々に対応するキャリブレーションパラメータを記憶する、請求項５０から６４のいずれかに記載の測距装置。
【請求項６６】
前記キャリブレーションパラメータ記憶部は、焦点位置に対応するキャリブレーションパラメータを規定する関数を記憶する、請求項５０から６４のいずれかに記載の測距装置。
【請求項６７】
異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、請求項５０から６６のいずれかに記載の測距装置の備える画像入力部に出力可能な撮像部と、
を備える撮像装置。
【請求項６８】
情報処理装置が、
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップと、
前記推定した被写体距離に基づいて、焦点位置を選択するステップと、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップと、
を実行する測距方法。
【請求項６９】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能と、
前記推定した被写体距離に基づいて、焦点位置を選択する機能と、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能と、
を情報処理装置に実現させるための測距プログラム。
【請求項７０】
請求項５０から６６のいずれかに記載の測距装置と、
異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記測距装置の画像入力部に出力可能な撮像部と、
を備える測距システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点画像に基づいて被写体距離を測定する測距装置および測距方法に関し、特に、レンズ位置情報が無くても精度よく被写体距離を測定することができる測距装置および測距方法に関する。
【背景技術】
【０００２】
複数の撮像部を持つステレオカメラ乃至マルチカメラにおいて、各々の撮像画像における被写体の画像情報を比較することで、被写体の３次元情報を計測することが可能である。その際に精度の良い３次元計測を行うためには、ズームレンズやフォーカスレンズの光学的な特性に起因する画像歪みの影響を除去することと、カメラパラメータと呼ばれる、カメラの焦点距離や画像中心やせん断（以下内部パラメータと記す）、及びカメラの空間中における位置・方位（以下外部パラメータと記す）などの幾何的な情報を正確に把握しておくことが必要となる。そこで、カメラ情報格納部は、第一の撮像部及び第２の撮像部のズーム倍率やフォーカス位置に依存して変化する、レンズ歪み補正情報または内部パラメータを格納するため、ズーム倍率とフォーカス位置の組み合わせに対応した複数のレンズ歪み補正情報または内部パラメータを格納する。カメラ情報は事前にカメラキャリブレーション処理を行うことで取得可能であり、例えば工場出荷時や設置後の初期調整時に校正パターンなどを用いた既存のカメラキャリブレーション手法、例えばZhangの用いた手法などで計測し、カメラ情報格納部に格納する。ステレオ画像処理部は、ズーム・フォーカス制御部から第一の撮像部と第２の撮像部のズーム及びフォーカスの情報を取得し、カメラ情報格納部からズーム及びフォーカスの情報に応じたカメラ情報を取得する。ステレオ画像処理部は、このカメラ情報を用いてステレオ画像をステレオ画像処理し、被写体の3次元計測を行って、視差情報や距離情報や3次元位置情報や3次元計測の信頼性を示す評価値などを3次元情報として出力する（特許文献１）。【０００３】
特許文献２には、一方の撮像画像を基準画像、他方の撮像画像を参照画像とし、参照画像を移動すると共に、視差画像を作成して、視差量の分散が最小となる参照画像の移動量を参照画像の補正量として選択する構成が開示されている。【０００４】
特許文献３には、距離画像を生成し、距離画像における各距離ごとの画素の出現頻度を示すヒストグラムを作成し、そのヒストグラムに基づいて、主要被写体の範囲を検出する構成が開示されている。【０００５】
ステレオカメラシステムでは、３次元空間の位置情報を得ようとする対象の物体（対象物体）を、複数のカメラで撮影した時に、各カメラにおける、例えばＣＣＤなどの光電変換素子の受光面（以下、適宜、スクリーンという）上に投射される対象物体の位置情報から、その対象物体の３次元空間における位置情報を特定できる。従って、３次元空間内のある位置に存在する物体の位置情報と、その位置に対象物体があるときに、その対象物体が各カメラのスクリーン上に投影される位置の位置情報との対応関係（位置情報対応関係）を、予め求めておく必要がある。この位置情報対応関係を求めることをキャリブレーションという（特許文献４）。【０００６】
２つのカメラを用いて被写体の３次元情報を求めるステレオカメラ部では、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部パラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータ等が必要であり、これらのパラメータを総合してカメラパラメータと言う。カメラキャリブレーションでは、予め３次元座標位置の分かっている被写体を、複数のカメラから構成されるステレオカメラ部で撮像して複数の投影像を求め、この複数の投影像と３次元座標位置から、カメラパラメータを求めていた。そしてカメラパラメータから投影像内における所定の画像位置の対応する点の３次元情報を求めていた（特許文献５）。【０００７】
奥行き画像生成手段は、ＡＦの合焦距離（撮像レンズから現在焦点が合わせられている被写体までの距離）に対応した奥行き画像生成方法（マッピングテーブル）を読み出し、このマッピングテーブルと、距離情報取得手段にて取得した画素ごとの距離情報とに基づいて、画素ごとに奥行き値をそれぞれ設定していき、奥行き画像を生成する。これにより、撮影時のＡＦの合焦距離によって得られた被写体に適した立体視画像を作成することができるとする（特許文献６）。【０００８】
異なる位置に設けられた２台以上のカメラを用いて被写体を撮像し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で対応する画素である対応点を探索し（ステレオマッチング）、互いに対応する基準画像上の画素と、参照画像上の画素との位置の差（視差）を算出し、視差に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測して、被写体の立体形状を表す距離画像を生成することができる。ステレオマッチングを行う際には、基準画像上のある画素に写像される実空間上の点は、複数存在するため、実空間上の点の写像である直線（エピポーラ線）上に、当該画素に対応する参照画像上の画素が存在することに基づいて、当該画素に対応する参照画像上の画素である対応点が探索される。ステレオマッチングを行う際には、基準画像上に対応点探索の対象となる画素を含む相関ウィンドウを設定し、参照画像上において基準画像に設定したものと同一の相関ウィンドウをエピポーラ線上に沿って移動し、移動位置毎に各画像上の相関ウィンドウ内の各画素についての相関を算出し、参照画像上における相関が所定のしきい値以上となる相関ウィンドウの中央の位置にある画素を、画素の対応点として求めている（特許文献７）。【０００９】
測距センサが搭載されていないカメラであっても、焦点レンズを前後にモータ駆動して被写体に合焦させる機構を持ったカメラであれば、そのモータ駆動のパルス数を計数し、この計数値から距離情報を求めることができる。この場合、パルス数計数値と距離との関係を関数で持っていても、あるいはテーブルデータとして持っていてもよい（特許文献８）。【００１０】
顔検出部は、フレームメモリに記憶された画像データに基づいて、２つの撮像ユニットによって撮像された各画像から顔を検出する。この顔検出方法としては、公知の方法、例えば、顔検出用のパターン画像をＲＯＭに記憶させておき、このパターン画像を参照してパターン認識によって顔検出を行う（特許文献９）。【００１１】
この他、顔検出の方法は様々あり、例えば、画像から肌色を有するとともに人物の顔の形状（例えば長円系）を有する領域を検出し、検出した領域を顔の領域と見なして抽出する手法がある（特許文献１０）。【００１２】
異なる視点画像間の対応点検索の方法としては、絶対値和法（Sum of Absolute Difference：ＳＡＤ法）や位相限定相関法(Phase-Only Correlation: ＰＯＣ法）などがある（特許文献１１）。【００１３】
特許文献１２はディストーション補正式の一例を示す。【００１４】
特許文献１３は、被写体距離に応じたフォーカスレンズの位置（焦点位置）を規定するテーブルの一例を示す。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００８−２４１９１号公報
【特許文献２】特開２００２−３１５３１５号公報
【特許文献３】特開２００８−１１６３０９号公報
【特許文献４】特開平１０−３２０５５８号公報
【特許文献５】特開２００６−９０７５６号公報
【特許文献６】特開２００８−１４１６６６号公報
【特許文献７】特開２００９−２０５１９３号公報
【特許文献８】特開２００４−３３４８３６号公報
【特許文献９】特開２００８−２５２２５４号公報
【特許文献１０】特開２００７−１０９１３０号公報
【特許文献１１】特開２００９−１４４４５号公報
【特許文献１２】特開２００４−３５４２５７号公報
【特許文献１３】特開２００５−２５８４６６号公報（段落００３０、図７）
【発明の概要】
【発明が解決しようとする課題】
【００１６】
特許文献１記載の構成では、撮像デバイスのレンズ位置（フォーカスレンズおよびズームレンズの位置）を取得する必要があるので、撮像デバイスのレンズ位置が不明な状態では、被写体距離を測距することができない。【００１７】
特許文献２、３には、レンズ位置情報が無くても精度よく被写体距離を測定することができる構成について開示がない。【００１８】
また、特許文献３記載の構成では、距離画像の生成が必須である。【００１９】
例えば、複数の撮像デバイスを用いて撮影を行って複数の視点画像を取得した後、その複数の視点画像から被写体距離を取得しようとすると、既に撮影は終わっているので、一般に撮影時のレンズ位置情報を得ることができない。よって、フォーカスレンズのレンズ位置に基づくキャリブレーションを行うことができない。【００２０】
一方、複数のカメラでＡＦ合焦されて得られた被写体画像から適切な３次元情報を取得して距離画像を生成するには、被写体距離に応じたキャリブレーション用のカメラパラメータを用意しておき、実際の被写体距離に対応するカメラパラメータを用いてキャリブレーションすることが有効である。【００２１】
特許文献６の段落００１８では、フォーカス制御部が、撮像部のフォーカス制御位置を取得するとする。すなわち、フォーカス制御位置情報を取得する機能を持つ撮像装置でしか測距できない。【００２２】
特許文献８のようなエンコーダなどのフォーカスレンズ位置検出手段を用いて、合焦時の正確なフォーカスレンズ位置を取得し、その位置から目標被写体までの被写体距離を推測することも考えられるが、コスト面の制約からコンパクトデジタルカメラにこのような手段を設けるのは困難である。【００２３】
本発明はこのような事情に鑑みてなされたもので、レンズ位置情報が無くても精度よく被写体距離を測定することができる測距装置および測距方法を提供することを目的とする。【００２４】
また本発明は、エンコーダなどの機械的な手段を用いて焦点調節時の正確なフォーカスレンズ位置を検出することなく、被写体距離に応じたキャリブレーション用のカメラパラメータを設定する方法を提供する。【００２５】
また本発明は、合焦制御により撮像光学系が変化する状況下で、その光学系の状態に応じた適切なキャリブレーション用のカメラパラメータを設定する方法を提供する。
【課題を解決するための手段】
【００２６】
前記目的を達成するために、本発明の第１の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算部と、注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、前記視差に基づいて被写体距離を算出する距離演算部と、前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力部とを備える。【００２７】
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。【００２８】
本発明の第２の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出する相関度演算部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する。【００２９】
本発明の第３の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。【００３０】
本発明の第４の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。【００３１】
本発明の第５の態様に係る測距装置は、上記第１の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部を備え、前記比較部は、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。【００３２】
また、本発明の第６の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力部とを備える。【００３３】
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。【００３４】
また、本発明の第７の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算部と、注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算部と、算出された前記被写体距離を測距結果として出力する出力部とを備える。【００３５】
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。【００３６】
また、本発明の第８の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較部と、前記測距結果を出力する出力部とを備える。【００３７】
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。【００３８】
また、本発明の第９の態様に係る測距装置は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、前記差分と閾値とを比較する比較部と、前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力部とを備える。【００３９】
即ち、撮像デバイスの合焦可能距離範囲にわたる複数のキャリブレーションデータのうちから最適キャリブレーションデータが特定されて、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を測距結果として得ることができるので、レンズ位置情報が無くても、精度よく被写体距離を測定することができる。【００４０】
また、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。【００４１】
本発明の第１０の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出する相関度演算部とを備え、前記比較部は、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００４２】
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。【００４３】
本発明の第１１の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部とを備え、前記比較部は、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００４４】
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。【００４５】
本発明の第１２の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部とを備え、前記比較部は、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００４６】
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。【００４７】
本発明の第１３の態様に係る測距装置は、上記第１の態様において、複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部とを備え、前記比較部は、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００４８】
即ち、まず最初の注目距離で仮の被写体距離を算出し、その算出した被写体距離を次の注目距離として測距結果としての被写体距離を算出するので、高速且つ高精度で測距結果を出力することができる。【００４９】
本発明の第１４の態様に係る測距装置は、上記第１から第１３の態様において、前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定する代表視差決定部を備え、前記距離演算部は、前記代表視差に基づいて前記被写体距離を算出する。【００５０】
即ち、簡単且つ精度良く代表視差を求めることができる。よって、簡単且つ精度良く測距結果としての被写体距離を得られる。【００５１】
本発明の第１５の態様に係る測距装置は、上記第１４の態様において、前記代表視差決定部は、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する。【００５２】
本発明の第１６の態様に係る測距装置は、上記第１から第１３の態様において、前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定する代表距離決定部を備え、前記距離演算部は、前記各画素の距離を算出し、前記出力部は、前記代表距離を測距結果として出力する。【００５３】
即ち、簡単且つ精度良く代表距離（即ち測距結果としての被写体距離）を得られる。【００５４】
本発明の第１７の態様に係る測距装置は、上記第１６の態様において、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する。【００５５】
本発明の第１８の態様に係る測距装置は、上記第１４から第１７の態様において、前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する。【００５６】
即ち、全ての画素から代表視差または代表距離を求めるのではなく、不正マッチング画素判断等の判断対象を限定して代表視差または代表距離を求めることができるので、高速で測距することが可能になる。【００５７】
本発明の第１９の態様に係る測距装置は、上記第１４から第１８の態様において、前記頻度を算出する注目領域を決定する注目領域決定部を備え、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する。【００５８】
即ち、注目領域に限定して代表視差または代表距離を求めることができるので、高速で測距することが可能になる。【００５９】
本発明の第２０の態様に係る測距装置は、上記第１９の態様において、前記注目領域決定部は、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する。【００６０】
本発明の第２１の態様に係る測距装置は、上記第１９の態様において、前記注目領域決定部は、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する。【００６１】
本発明の第２２の態様に係る測距装置は、上記第１９から第２１の態様において、前記注目領域決定部は、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する。【００６２】
本発明の第２３の態様に係る測距装置は、上記第１４から第２２の態様において、前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定する重み決定部を備え、前記重みに基づく重み付けを行って前記ヒストグラムを作成する。【００６３】
また、本発明の第２４の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算ステップと、注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、前記視差に基づいて被写体距離を算出する距離演算ステップと、前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力ステップとを備える。【００６４】
本発明の第２５の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出するステップを備え、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する。【００６５】
本発明の第２６の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップを備え、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。【００６６】
本発明の第２７の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。【００６７】
なお、上記の態様においては、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定するようにしてもよい。【００６８】
本発明の第２８の態様に係る測距方法は、上記第２４の態様において、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップを備え、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する。【００６９】
また、本発明の第２９の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力ステップとを備える。【００７０】
また、本発明の第３０の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算ステップと、注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算ステップと、算出された前記被写体距離を測距結果として出力する出力ステップとを備える。【００７１】
本発明の第３１の態様に係る測距方法は、上記第２４から第３０の態様において、前記注目距離を第１の変更幅よりも大きな第２の変更幅で変更しながら第１の測距を行って第１の被写体距離を取得し、前記注目距離を前記第１の被写体距離の付近で前記第１の変更幅で変更しながら第２の測距を行って第２の被写体距離を取得し、前記第２の被写体距離を測距結果として出力する。【００７２】
本発明の第３２の態様に係る測距方法は、上記第３１の態様において、前記第１の測距と前記第２の測距とで、最適なキャリブレーションデータの判断基準が異なる。【００７３】
また、本発明の第３３の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、前記各注目距離ごとに前記被写体距離と前記注目距離との差分を算出し、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較ステップと、前記測距結果を出力する出力ステップとを備える。【００７４】
また、本発明の第３４の態様に係る測距方法は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、複数の注目距離のうちで最初の注目距離を決定するステップと、複数の前記注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出し、前記差分と閾値とを比較する比較ステップと、前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力ステップとを備える。【００７５】
本発明の第３５の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００７６】
本発明の第３６の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００７７】
本発明の第３７の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００７８】
本発明の第３８の態様に係る測距方法は、上記第２４の態様において、複数の前記注目距離のうちで最初の注目距離を決定するステップと、前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップと、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する。【００７９】
本発明の第３９の態様に係る測距方法は、上記第３３から第３８の態様において、前記最初の注目距離を決定して初期の前記被写体距離を取得する第１の測距と、前記第１の測距で得られた前記被写体距離を次の前記注目距離と決定して測距結果としての前記被写体距離を取得する第２の測距とで、最適なキャリブレーションデータの判断基準が異なる。【００８０】
本発明の第４０の態様に係る測距方法は、上記第２４から第３９の態様において、前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定し、前記代表視差に基づいて前記被写体距離を算出する。【００８１】
本発明の第４１の態様に係る測距方法は、上記第４０の態様において、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する。【００８２】
本発明の第４２の態様に係る測距方法は、上記第２４から第３９の態様において、前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定し、前記代表距離を測距結果として出力する。【００８３】
本発明の第４３の態様に係る測距方法は、上記第４２の態様において、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する。【００８４】
本発明の第４４の態様に係る測距方法は、上記第４０から第４３の態様において、前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する。【００８５】
本発明の第４５の態様に係る測距方法は、上記第４０から第４４の態様において、前記頻度を算出する注目領域を決定し、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する。【００８６】
本発明の第４６の態様に係る測距方法は、上記第４５の態様において、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する。【００８７】
本発明の第４７の態様に係る測距方法は、上記第４５の態様において、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する。【００８８】
本発明の第４８の態様に係る測距方法は、上記第４５から第４７の態様において、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する。【００８９】
本発明の第４９の態様に係る測距方法は、上記第４５から第４８の態様において、前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定し、前記重みに基づく重み付けを行って前記ヒストグラムを作成する。【００９０】
本発明の第５０の態様に係る測距装置は、異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部とを備える。【００９１】
この発明によると、視点画像またはその付帯情報を用いて簡易に初期キャリブレーションデータを設定できる。【００９２】
本発明の第５１の態様に係る測距装置は、上記第５０の態様において、前記測距演算部の演算した距離を評価し、測距演算の成功または失敗を判定する判定部と、前記判定部の判定結果に応じて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体距離に適合するキャリブレーションパラメータを再設定するキャリブレーションパラメータ再設定部とを備える。【００９３】
この発明によると、初期キャリブレーションデータを設定して、合焦被写体を撮像した視点画像から測距演算を行い、その測距演算を評価し、その結果に応じてキャリブレーションパラメータを再設定する。このため、変動しうる撮像光学系の合焦状態に応じたキャリブレーションパラメータを設定して簡易かつ正確な測距ができる。【００９４】
本発明の第５２の態様に係る測距装置は、上記第５１の態様において、前記距離推定部は、前記視点画像の付帯情報に基づいて前記被写体距離を推定し、前記初期キャリブレーションデータ設定部は、前記距離推定部の推定した被写体距離と、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータとに基づき、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定し、前記判定部は、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータの信頼性を示す信頼性情報を前記測距演算部による測距演算の結果に基づいて作成し、前記信頼性情報に基づいて測距演算の成功または失敗を判定する。【００９５】
この発明によると、測距演算の結果に基づいて作成された信頼性情報に基づいて測距演算の成功または失敗を判定するため、信頼性の低い被写体距離が初期キャリブレーションデータの設定のために安易に使用されることがない。【００９６】
本発明の第５３の態様に係る測距装置は、上記第５２の態様において、前記判定部は、前記信頼性情報に応じて測距演算の成功または失敗を判定する条件を選択する。【００９７】
本発明の第５４の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記付帯情報に含まれる撮影モード情報に基づいて前記被写体距離を推定する。【００９８】
この発明によると、一般的に画像の付帯情報に含まれる撮影モード情報に基づいて簡易に被写体距離を推定できる。【００９９】
本発明の第５５の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記視点画像を解析することにより取得した撮影シーンに関する情報、もしくは前記付帯情報に含まれる撮影シーン情報に基づいて被写体距離を推定する。【０１００】
この発明によると、画像そのものに含まれる撮影シーンの情報に基づいて簡易に被写体距離を推定できる。【０１０１】
本発明の第５６の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記視点画像を解析することにより取得した被写体のサイズ情報に基づいて、もしくは前記付帯情報に含まれる被写体のサイズ情報に基づいて被写体距離を推定する。【０１０２】
本発明の第５７の態様に係る測距装置は、上記第５６の態様において、前記距離推定部は、前記視点画像に含まれる人物被写体のサイズと前記人物被写体の標準のサイズとの比較に基づいて前記被写体距離を推定する。【０１０３】
この発明によると、一般的に画像に含まれる人物被写体のサイズに基づいて簡易に被写体距離を推定できる。【０１０４】
本発明の第５８の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記視点画像の合焦評価値算出領域の視差に基づいて前記被写体距離を推定する。【０１０５】
この発明によると、合焦被写体に限って視差を演算することで、演算時間と演算負荷を抑制できる。【０１０６】
本発明の第５９の態様に係る測距装置は、上記第５０から第５３の態様において、前記距離推定部は、前記撮像装置の輻輳距離に基づいて前記被写体距離を推定する。【０１０７】
この発明は、輻輳点が左右の視点どちらからみても画面中央に写り、被写体はその距離で撮像される可能性が高いことを利用して、被写体距離を推定している。【０１０８】
本発明の第６０の態様に係る測距装置は、上記第５９の態様において、撮像装置の機種ごとの輻輳距離を記憶した輻輳距離記憶部を備え、前記距離推定部は、前記輻輳距離記憶部に記憶された輻輳距離のうち前記視点画像を撮像した撮像装置の機種に対応する輻輳距離に基づいて前記被写体距離を推定する。【０１０９】
本発明の第６１の態様に係る測距装置は、上記第５９の態様において、前記撮像装置の外部パラメータを取得する外部パラメータ取得部を備え、前記距離推定部は、前記外部パラメータ取得部の取得した撮像装置の外部パラメータから前記撮像装置の輻輳距離を算出し、算出された輻輳距離を被写体距離と推定する。【０１１０】
この発明によると、予め撮像装置ごとの輻輳距離が分からなくても撮像装置の輻輳距離を算出することができる。【０１１１】
本発明の第６２の態様に係る測距装置は、上記第５０から第５３の態様において、前記視点画像の特徴を記憶する特徴記憶部を備え、前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記比較の結果に応じて前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する。【０１１２】
この発明は、複数の視点画像に基づき連続して測距を行う場合、それらの視点画像は同様の特徴を有していると推測されるため、前の視点画像についての被写体距離をそのまま現在の被写体距離とすることで、被写体距離の推定処理を簡素化している。【０１１３】
本発明の第６３の態様に係る測距装置は、上記第６２の態様において、前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する。【０１１４】
この発明は、撮影条件が変化した場合、以前の視点画像の被写体距離を現在の視点画像の被写体距離とせず、撮影条件に合わない被写体距離が測距に使用されることを防げる。【０１１５】
本発明の第６４の態様に係る測距装置は、上記第５０から第５３の態様において、測距演算に関するパラメータの入力を受け付ける測距演算パラメータ入力部を備え、前記距離推定部は、前記測距演算パラメータ入力部から入力したパラメータから前記被写体距離を推定する。【０１１６】
この発明は、測距演算に関するパラメータが信頼できる内容でユーザから入力されたものとみなし、これを用いて被写体距離を算出している。【０１１７】
本発明の第６５の態様に係る測距装置は、上記第５０から第６４の態様において、前記キャリブレーションパラメータ記憶部は、離散的に設定された焦点位置の各々に対応するキャリブレーションパラメータを記憶する。【０１１８】
本発明の第６６の態様に係る測距装置は、上記第５０から第６４の態様において、前記キャリブレーションパラメータ記憶部は、焦点位置に対応するキャリブレーションパラメータを規定する関数を記憶する。【０１１９】
本発明の第６７の態様に係る撮像装置は、異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、上記第５０から第６６の態様に係る測距装置の備える画像入力部に出力可能な撮像部とを備える。【０１２０】
本発明の第６８の態様に係る測距方法は、情報処理装置が、異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップと、前記推定した被写体距離に基づいて、焦点位置を選択するステップと、前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップとを実行する。【０１２１】
本発明の第６９の態様に係る測距プログラムは、異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能と、前記推定した被写体距離に基づいて、焦点位置を選択する機能と、前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能とを情報処理装置に実現させる。【０１２２】
本発明の第７０の態様に係る測距システムは、異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記測距装置の画像入力部に出力可能な撮像部とを備える。
【発明の効果】
【０１２３】
本発明によれば、レンズ位置情報が無くても精度よく被写体距離を測定することができる。【０１２４】
また、この発明によると、視点画像または視点画像の付帯情報に基づいて被写体距離を推定し、推定した被写体距離に基づいて焦点位置を選択し、該選択された焦点位置に対応する初期キャリブレーションパラメータを設定して、被写体を撮像した視点画像から測距演算を行う。このため、機械的な手段を用いて焦点調節時の正確なフォーカスレンズ位置を検出することなく、被写体距離に応じたキャリブレーション用のカメラパラメータを設定することができる。【０１２５】
また、この発明によると、初期キャリブレーションデータを設定して、被写体を撮像した視点画像から測距演算を行い、その測距演算を評価し、その結果に応じてキャリブレーションパラメータを再設定する。このため、変動しうる撮像光学系の合焦状態に応じたキャリブレーションパラメータを設定して簡易かつ正確な測距ができる。
【図面の簡単な説明】
【０１２６】
【図１】第１実施形態の実施例１における測距装置のブロック図
【図２】キャリブレーションデータの一例を示す説明図
【図３】キャリブレーションデータ演算関数の一例を示す説明図
【図４Ａ】視差と被写体距離との関係の説明に用いる説明図
【図４Ｂ】視差と被写体距離との関係の説明に用いる説明図
【図５】第１実施形態の実施例１における測距処理のフローチャート
【図６】第１実施形態の実施例１における測距の説明に用いる説明図
【図７Ａ】第１実施形態の実施例２における測距処理のフローチャート
【図７Ｂ】第１実施形態の実施例２における測距処理のフローチャート
【図８】第１実施形態の実施例２における測距の説明に用いる説明図
【図９】第１実施形態の実施例３における測距装置のブロック図
【図１０】第１実施形態の実施例３における測距処理のフローチャート
【図１１Ａ】第１実施形態の実施例４における測距処理のフローチャート
【図１１Ｂ】第１実施形態の実施例４における測距処理のフローチャート
【図１２】第２実施形態の実施例１における測距装置のブロック図
【図１３】第２実施形態の実施例１における測距処理のフローチャート
【図１４】第２実施形態の実施例１における測距の説明に用いる説明図
【図１５Ａ】第２実施形態の実施例２における測距処理のフローチャート
【図１５Ｂ】第２実施形態の実施例２における測距処理のフローチャート
【図１６】第２実施形態の実施例３における測距装置のブロック図
【図１７】第３実施形態の実施例１における測距装置のブロック図
【図１８】第３実施形態の実施例１における測距処理のフローチャート
【図１９Ａ】第２実施形態の実施例２における測距処理のフローチャート
【図１９Ｂ】第２実施形態の実施例２における測距処理のフローチャート
【図２０】第３実施形態の実施例３における測距装置のブロック図
【図２１】第４実施形態の実施例１における測距装置のブロック図
【図２２】第４実施形態の実施例１における測距処理のフローチャート
【図２３Ａ】第４実施形態の実施例２における測距処理のフローチャート
【図２３Ｂ】第４実施形態の実施例２における測距処理のフローチャート
【図２４】第４実施形態の実施例３における測距装置のブロック図
【図２５】第５実施形態の実施例１における測距装置のブロック図
【図２６】第５実施形態の実施例１における測距処理のフローチャート
【図２７】距離のヒストグラムの一例を示す説明図
【図２８Ａ】第５実施形態の実施例２における測距処理のフローチャート
【図２８Ｂ】第５実施形態の実施例２における測距処理のフローチャート
【図２９】第５実施形態の実施例３における測距装置のブロック図
【図３０】第５実施形態の実施例３における測距処理のフローチャート
【図３１】視差ヒストグラムの一例を示す説明図
【図３２】第５実施形態の実施例４における測距装置のブロック図
【図３３】第５実施形態の実施例４における測距処理のフローチャート
【図３４】第６実施形態の実施例１における測距処理の前半処理例のフローチャート
【図３５】第６実施形態の実施例１における測距処理の後半処理例のフローチャート
【図３６Ａ】第６実施形態の実施例１における測距の説明に用いる説明図
【図３６Ｂ】第６実施形態の実施例１における測距の説明に用いる説明図
【図３７Ａ】第６実施形態の実施例２における測距処理の前半処理例のフローチャート
【図３７Ｂ】第６実施形態の実施例２における測距処理の前半処理例のフローチャート
【図３８Ａ】第６実施形態の実施例２における測距処理の後半処理例のフローチャート
【図３８Ｂ】第６実施形態の実施例２における測距処理の後半処理例のフローチャート
【図３９Ａ】第６実施形態の実施例１における測距の説明に用いる説明図
【図３９Ｂ】第６実施形態の実施例１における測距の説明に用いる説明図
【図４０】第７実施形態の実施例１における測距装置のブロック図
【図４１Ａ】第７実施形態の実施例１における測距処理のフローチャート
【図４１Ｂ】第７実施形態の実施例１における測距処理のフローチャート
【図４２】第７実施形態の実施例２における測距装置のブロック図
【図４３Ａ】第７実施形態の実施例２における測距処理のフローチャート
【図４３Ｂ】第７実施形態の実施例２における測距処理のフローチャート
【図４４】第８実施形態の実施例１における測距装置のブロック図
【図４５】第８実施形態の実施例１における測距処理のフローチャート
【図４６】第８実施形態の実施例２における測距装置のブロック図
【図４７】第９実施形態の実施例１における測距装置のブロック図
【図４８Ａ】第９実施形態の実施例１における測距処理のフローチャート
【図４８Ｂ】第９実施形態の実施例１における測距処理のフローチャート
【図４９】第９実施形態の実施例２における測距装置のブロック図
【図５０】第１０実施形態の実施例１における測距装置のブロック図
【図５１Ａ】第１０実施形態の実施例１における測距処理のフローチャート
【図５１Ｂ】第１０実施形態の実施例１における測距処理のフローチャート
【図５２】第１０実施形態の実施例２における測距装置のブロック図
【図５３】第１１実施形態の実施例１における測距装置のブロック図
【図５４Ａ】第１１実施形態の実施例１における測距処理のフローチャート
【図５４Ｂ】第１１実施形態の実施例１における測距処理のフローチャート
【図５５】第１１実施形態の実施例２における測距装置のブロック図
【図５６】第１２実施形態の実施例１における測距装置のブロック図
【図５７Ａ】第１２実施形態の実施例１における測距処理のフローチャート
【図５７Ｂ】第１２実施形態の実施例１における測距処理のフローチャート
【図５８】第１２実施形態の実施例２における測距装置のブロック図
【図５９Ａ】第１３実施形態の実施例１における測距処理のフローチャート
【図５９Ｂ】第１３実施形態の実施例１における測距処理のフローチャート
【図６０】第１３実施形態の実施例２における測距処理のフローチャート
【図６１Ａ】第１３実施形態の実施例３における測距処理のフローチャート
【図６１Ｂ】第１３実施形態の実施例３における測距処理のフローチャート
【図６２】第１４実施形態における測距装置例のブロック図
【図６３】第１４実施形態の実施例１における代表視差決定部の詳細ブロック図
【図６４Ａ】第１４実施形態の実施例１における測距処理のフローチャート
【図６４Ｂ】第１４実施形態の実施例１における測距処理のフローチャート
【図６５】第１４実施形態の実施例２における代表視差決定部の詳細ブロック図
【図６６】第１４実施形態の実施例２における測距処理の要部フローチャート
【図６７Ａ】視差選択の説明図
【図６７Ｂ】フィルタの説明図
【図６８Ａ】第１４実施形態の実施例３における代表視差決定部の詳細ブロック図
【図６８Ｂ】注目領域決定部の詳細ブロック図
【図６９】第１４実施形態の実施例３における測距処理の要部フローチャート
【図７０】注目距離決定処理例のフローチャート
【図７１Ａ】高周波領域を注目領域と決定する場合の説明図
【図７１Ｂ】顔抽出領域を注目領域と決定する場合の説明図
【図７２】第１４実施形態の実施例４における代表視差決定部の詳細ブロック図
【図７３】第１４実施形態の実施例４における測距処理の要部フローチャート
【図７４】注目領域の分割および重み付けの説明に用いる説明図
【図７５】測距装置のブロック図
【図７６】測距処理の概略フローチャート
【図７７】第１実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図７８】演算結果評価処理のフローチャート
【図７９】キャリブレーションデータ更新・再選択処理のフローチャート
【図８０】第２実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８１】第２実施形態の演算結果判定処理のフローチャート
【図８２】第３実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８３】第４実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８４】第５実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８５】第６実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８６】第７実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８７】第８実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８８】第９実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図８９】第１０実施形態の初期キャリブレーションデータ選択処理のフローチャート
【図９０】焦点位置（離散値）に対応するキャリブレーションパラメータの構成を概念的に例示した図
【図９１】焦点位置（関数）に対応するキャリブレーションパラメータの構成を概念的に例示した図
【図９２】カメラの電気的構成を例示した図
【発明を実施するための形態】
【０１２７】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【０１２８】
まず、第１実施形態について説明する。
【０１２９】
図１は、第１実施形態の実施例１における測距装置１００ａのブロック図である。
【０１３０】
図１において、本例の測距装置１００ａは、測距制御部１０、画像入力部１１、メモリ１２、指定番号決定部１３、キャリブレーションデータ取得部１４、キャリブレート部１５、視差演算部１６、距離演算部１７、相関度演算部１８、相関度比較部１９、および、距離記録部２０を備える。
【０１３１】
測距制御部１０は、測距装置１００ａの各部を統括して制御することで、測距処理を実行する。
【０１３２】
画像入力部１１は、複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の撮像画像（以下「視点画像」という）を入力する。画像入力部１１の例としては、メモリカード等の記録媒体から複数の視点画像を入力する記録媒体インタフェース、３Ｄデジタルカメラ（立体撮影装置）と通信して複数の視点画像を受信するカメラインタフェース、ネットワークから複数の視点画像を入力するネットワークインタフェースなどが挙げられる。
【０１３３】
メモリ１２は、各種情報を記憶するデバイスである。例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）によって構成される。
【０１３４】
測距制御部１０、指定番号決定部１３、キャリブレーションデータ取得部１４、キャリブレート部１５、視差演算部１６、距離演算部１７、相関度演算部１８及び相関度比較部１９は、例えばＣＰＵ（Central Processing Unit）によって構成される。
【０１３５】
指定番号決定部１３は、指定番号を決定する。指定番号は、撮像デバイスで合焦可能な距離範囲にわたる複数の指定距離（注目距離）のうち、何れに注目するかを指し示すインデックスである。即ち、指定番号決定部１３は、指定番号により、注目すべき指定距離およびキャリブレーションデータを指定する。
【０１３６】
キャリブレーションデータ取得部１４は、決定された指定番号に対応するキャリブレーションデータ（即ち注目した指定距離に対応するキャリブレーションデータ）を取得する。キャリブレーションデータは、視点画像の二次元座標と実空間の３次元座標とを整合するためのデータである。
【０１３７】
キャリブレート部１５(画像補正手段)は、取得されたキャリブレーションデータに基づいて、複数の視点画像を補正する。
【０１３８】
視差演算部１６は、各指定距離ごとに、補正後の複数の視点画像間で視差を算出する。
【０１３９】
距離演算部１７は、視差演算部１６で算出された視差に基づいて、被写体距離を算出する。
【０１４０】
相関度演算部１８は、各注目距離ごとに、補正後の複数の視点画像間における対応画素間の輝度または色の相関度を算出する。
【０１４１】
相関度比較部１９は、注目した複数の注目距離にわたって相関度を比較することで、複数のキャリブレーションデータのうちから相関度が最大となるキャリブレーションデータを最適キャリブレーションデータとして特定する。
【０１４２】
距離記録部２０は、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果と特定し、記録媒体に記録する。
【０１４３】
次に、キャリブレーションデータ取得の各種態様について、説明する。
【０１４４】
第１に、合焦可能距離とキャリブレーションデータとの対応関係を示すテーブル情報をメモリ１２に予め記憶させておき、注目した合焦可能距離に対応するキャリブレーションデータをメモリ１２から取得する態様がある。
【０１４５】
図２は、メモリ１２に記憶されるキャリブレーションデータの構造例を示す。本例のキャリブレーションデータは、カメラの各撮像デバイスごとに、ディストーションパラメータ（中心座標および係数）、外部パラメータおよび内部パラメータを含んで構成されている。ディストーションパラメータおよび内部パラメータは各撮像デバイスごとの画像補正用パラメータであり、外部パラメータは撮像デバイス間の画像補正用パラメータである。指定距離間のキャリブレーションデータを線形補間により求めてもよい。
【０１４６】
第２に、合焦可能距離とキャリブレーションデータとの対応関係を示す関数をメモリ１２に予め記憶させておき、注目した合焦可能距離に対応するキャリブレーションデータを関数により算出する態様がある。
【０１４７】
図３は、メモリ１２に記憶される関数の構造例を示す。本例の関数は、合焦可能距離Ｌを入力値として、ディストーションパラメータ（中心座標および係数）、外部パラメータおよび内部パラメータを出力する。例えば、各パラメータごとに、関数を構成する多項式の係数をメモリ１２に記憶しておく。
【０１４８】
次に、被写体距離と視差との関係について、図４Ａ及び図４Ｂを用いて説明する。
【０１４９】
まず、理解を容易にするため、複数の視点画像を撮像した３Ｄデジタルカメラ８０において、基線長ＳＢ（撮像デバイス８１Ｌ、８１Ｒの光軸の間隔）および輻輳角θｃ（撮像デバイス８１Ｌ、８１Ｒの光軸同士が成す角度）は、一定であるものとして説明する。複数の撮像デバイス８１Ｌ、８１Ｒにより、同一の特定対象９１（例えば球）を複数の視点から撮像することで、複数の視点画像（左視点画像９２Ｌおよび右視点画像９２Ｒ）が生成される。生成された視点画像９２Ｌ、９２Ｒは、同一の特定対象９１が投影された特定対象像９３Ｌ、９３Ｒを、それぞれ含んでいる。これらの視点画像９２Ｌ、９２Ｒを、立体視表示可能なモニタ８２で重ね合わせて表示することで、すなわち３Ｄ表示することで、３Ｄ表示画像９４が再生される。３Ｄ表示画像９４は左視点画像９２Ｌおよび右視点画像９２Ｒによって構成されている。観察者９５は、モニタ８２上の３Ｄ表示画像９４を両眼９６Ｌ、９６Ｒから観察する。そうすると、観察者９５には特定対象９１（例えば球）の虚像９７が飛び出して見える。尚、図４Ｂでは、光軸が交わる輻輳点９９よりも近い位置に特定対象９１が存在したので虚像９７が手前側に飛び出して見えるが、輻輳点９９よりも遠い位置に特定対象が存在した場合には虚像が奥側に引き込んで見える。図４Ａに示すように被写体距離Ｓが輻輳点９９までの距離よりも小さい範囲内では、被写体距離Ｓが小さいほど、視点画像９２Ｌ、９２Ｒ上で特定対象像９３Ｌ、９３Ｒの中心座標ＸＬＦ、ＸＲＦ（図２ではｘ座標のみ図示）の差分｜ＸＬＦ−ＸＲＦ｜が大きくなる。すなわち、被写体距離Ｓが小さいほど、視点画像間で対応点同士が離れる。ここで、差分｜ＸＬＦ−ＸＲＦ｜はｘ座標のみであり、これを視差ＡＰ（両眼視差量）として表す。つまり、基線長ＳＢおよび輻輳角θｃが一定であれば、被写体距離Ｓが小さいほど、ＡＰが大きくなり、観察者９５が体感する虚像９７の飛び出し量ＡＤも大きくなる。即ち、被写体距離Ｓと視差ＡＰとの間に一定の対応関係が存在する。
【０１５０】
しかし、実際には、３Ｄデジタルカメラの装置間で基線長ＳＢおよび輻輳角θｃにばらつきが存在するため、被写体距離Ｓが同じであっても、装置間で視差ＡＰにもばらつきが生じる。つまり、撮像デバイス間のキャリブレーションが適切に行われていない状態では、視差ＡＰから被写体距離Ｓを精度よく求めることができない。このような撮像デバイス間のばらつきを視点画像において補正するためのキャリブレーションパラメータが、外部パラメータである。
【０１５１】
次に、第１実施形態の実施例１における測距処理の一例について、図５のフローチャートを用いて説明する。
【０１５２】
ステップＳ１００にて、画像入力部１１により、複数の視点画像を取得する。
【０１５３】
ステップＳ１０２にて、指定番号決定部１３により、初期指定番号（本例では「０」）を決定し、キャリブレーションデータ取得部１４により、初期指定番号に対応したキャリブレーションデータを取得する。即ち、初期指定距離（最初の注目距離）に対応するキャリブレーションデータを取得する。
【０１５４】
ステップＳ１０４にて、キャリブレート部１５により、取得されたキャリブレーションデータを用いてキャリブレートを行う。即ち、指定距離に対応するキャリブレーションデータに基づいて、複数の視点画像を補正する。
【０１５５】
ステップＳ１０６にて、視差演算部１６により、補正後の複数の視点画像間で視差を算出する。具体的には、まず、一の視点画像を基準画像として他の視点画像を参照画像とし、基準画像の各画素と参照画像の各画素との対応付け（対応画素検出）を行う。次に、基準画像における各画素の位置と参照画像における対応画素の位置とに基づいて、各画素の視差を算出する。
【０１５６】
本例では、視点画像の全範囲ではなく特定の注目エリア（例えば合焦エリア）にて、各画素の視差を算出する。
【０１５７】
ステップＳ１０８にて、距離演算部１７により、視差に基づいて被写体距離を算出する。
【０１５８】
ステップＳ１１０にて、相関度演算部１８により、補正後の複数の視点画像における、輝度および色のうち少なくとも一方の相関度の合計を算出する。
【０１５９】
なお、視差演算部１６により、対応画素検出にて複数の視点画像間で対応画素同士の輝度および色の差分（各画素ごとの相関度）を既に算出しているので、その差分を特定の注目エリア（例えば、合焦エリア、顔検出エリア）で合計すればよい。注目エリアについては後の実施形態１４で詳説する。
【０１６０】
ステップＳ１１２にて、指定番号＝最大指定番号であるか否かを判定し、指定番号＝最大指定番号でない場合にはステップＳ１１４に進み、指定番号＝最大指定番号である場合にはステップＳ１１６に進む。
【０１６１】
指定番号＝最大指定番号でない場合、ステップＳ１１４にて、指定番号を１増やし、ステップＳ１１５にて、キャリブレーションデータ取得部１４により、指定番号の距離（指定距離）に対応するキャリブレーションデータを取得し、ステップＳ１０４に進む。
【０１６２】
指定番号＝最大指定番号である場合、ステップＳ１１６にて、相関度比較部１９により、注目した全ての指定距離にわたって相関度の合計を比較し、相関度の合計が最大となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、相関度の合計が最大となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０１６３】
ステップＳ１１８にて、距離記録部２０により、選択された指定番号に対応する距離情報を記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として出力する。
【０１６４】
また、本例では、測距結果としての被写体距離を、複数の視点画像を含む画像ファイルに、付加情報として付加する。例えば、画像ファイルのヘッダに被写体距離を書き込む。
【０１６５】
図６に示すように、撮像デバイスのフォーカスレンズが合焦可能な距離（合焦可能距離）の範囲内で、指定距離（合焦可能距離）を最小値から最大値に向けて切り換えながら、各指定距離ごとに相関度を算出する。相関度が最大となる指定距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定する。そして、最適キャリブレーションデータで補正後の視点画像間の視差に基づく被写体距離を、測距結果として記録する。
【０１６６】
次に、第１実施形態の実施例２における測距処理の一例について、図７Ａ及び図７Ｂのフローチャートを用いて説明する。
【０１６７】
ステップＳ１２０〜Ｓ１２８は、第１実施例のステップＳ１００〜Ｓ１０８と同様である。
【０１６８】
ステップＳ１３０にて、相関度演算部１８により、相関度の合計を算出し、その相関度の合計を閾値に設定する（閾値＝相関度）。
【０１６９】
ステップＳ１３２にて、キャリブレーションデータ取得部１４により、指定番号１に対応したキャリブレーションデータを取得する。
【０１７０】
ステップＳ１３４にて、キャリブレート部１５により、キャリブレーションデータによるキャリブレート（画像補正）を行う。
【０１７１】
ステップＳ１３６にて、視差演算部１６により、補正後の視点画像間で視差を算出する。
【０１７２】
ステップＳ１３８にて、距離演算部１７により、視差に基づいて距離を算出する。
【０１７３】
ステップＳ１４０にて、相関度演算部１８により、相関度の合計を算出する。
【０１７４】
ステップＳ１４２にて、相関度比較部１９により、今回算出した相関度の合計と閾値（前回算出した相関度の合計）とを比較する。相関度の合計≧閾値である場合にはステップＳ１４４に進み、相関度の合計＜閾値である場合にはステップＳ１４８に進む。
【０１７５】
ステップＳ１４４にて、今回算出した相関度の合計を閾値に設定する（閾値＝今回算出した相関度の合計）。
【０１７６】
ステップＳ１４６にて、指定番号を１増やし、ステップＳ１４７にて、キャリブレーションデータ取得部１４により、指定番号に対応したキャリブレーションデータを取得して、ステップＳ１３４に進む。
【０１７７】
ステップＳ１４８では、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
【０１７８】
本例では、図８に示すように、撮像デバイスのフォーカスレンズが合焦可能な範囲内で、注目する指定距離を最小距離から最大距離に向けて切り換えながら、各指定距離ごとに相関度を算出する。相関度が極大となる指定距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定する。そして、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として記録する。
【０１７９】
図９は、第１実施形態の実施例３における測距装置１００ｂのブロック図である。なお、図１に示した実施例１の測距装置１００ａと同じ構成要素には、同じ符号を付した。
【０１８０】
次に、第１実施形態の実施例３における測距処理について、図１０のフローチャートを用いて説明する。
【０１８１】
ステップＳ１５０〜Ｓ１５６は第１実施例のステップＳ１００〜Ｓ１０６と同様であり、ステップＳ１６０〜Ｓ１６６は第１実施例のステップＳ１１０〜Ｓ１１６と同様である。
【０１８２】
本実施例３では、実施例１のステップＳ１０８を実行せず、ステップＳ１６８にて、判定結果（即ち相関度が最大となる指定番号）についてのみ被写体距離を算出して、記録する。
【０１８３】
次に、第１実施形態の実施例４における測距処理について、図１１Ａ及び図１１Ｂのフローチャートを用いて説明する。
【０１８４】
ステップＳ１７０〜Ｓ１７６は第２実施例のステップＳ１２０〜Ｓ１２６と同様であり、ステップＳ１８０〜Ｓ１８６は第２実施例のステップＳ１３０〜Ｓ１３６と同様であり、ステップＳ１９０〜Ｓ１９７は第２実施例のステップＳ１４０〜Ｓ１４７と同様である。
【０１８５】
第４実施例では、第２実施例のステップＳ１２８およびＳ１３８を実行せず、ステップＳ１９８にて、判定結果（即ち相関度が最大となる指定番号）についてのみ被写体距離を算出して、記録する。
【０１８６】
次に、第２実施形態について説明する。
【０１８７】
図１２は、第２実施形態の実施例１における測距装置１００ｃのブロック図である。なお、図１の測距装置１００ａ（実施形態１の実施例１）と同じ構成要素は、同じ符号を付してあり、記述済の事項の説明を省略する。
【０１８８】
測距装置１００ｃは、縦ずれ量演算部２１および縦ずれ量比較部２２を備える。
【０１８９】
縦ずれ量演算部２１は、各指定距離ごとに、補正後の複数の視点画像間における対応画素間の縦ずれ量を算出する。
【０１９０】
縦ずれ量比較部２２は、注目した複数の指定距離にわたって縦ずれ量を比較し、縦ずれ量が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０１９１】
次に、第２実施形態の実施例１における測距処理について、図１３のフローチャートを用いて説明する。
【０１９２】
ステップＳ２００〜Ｓ２０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
【０１９３】
ステップＳ２１０にて、縦ずれ量演算部２１により、対応画素間の縦ずれ量の合計を算出する。即ち、一の視点画像を基準画像として他の視点画像を参照画像としたとき、基準画像と参照画像とで対応する画素間の縦方向における差分（各画素の縦ずれ量）を合計する。図４Ａの場合、左視点画像の特定対象像９３Ｌと右視点画像の特定対象像９３Ｒとで対応する点同士のｙ座標の差分が、各画素の縦ずれ量である。
【０１９４】
ステップＳ２１２にて、指定番号＝最大指定番号であるか否かを判定する。
【０１９５】
指定番号＝最大指定番号でない場合、ステップＳ２１４にて、指定番号を１増やし、ステップＳ２１５にて、指定距離に対応するキャリブレーションデータを取得し、ステップＳ２０４に進む。
【０１９６】
指定番号＝最大指定番号である場合、ステップＳ２１６にて、縦ずれ量比較部２２により、注目した全ての指定距離にわたって縦ずれ量の合計を比較し、縦ずれ量の合計が最小となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、縦ずれ量の合計が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０１９７】
ステップＳ２１８にて、距離記録部２０により、選択された指定番号に対応する被写体距離を、記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として出力する。
【０１９８】
正確なキャリブレーションが行われていれば、補正後の視点画像間の対応点同士では縦方向の差分（縦ずれ量）がほとんど無いはずである。つまり、縦ずれ量が最も小さくなるキャリブレーションデータが最も適切なキャリブレーションデータである、と言うことができる。そこで、本例では、図１４に示すように、撮像デバイスの合焦可能距離の範囲内で、注目距離（指定距離）を最小値から最大値に向けて切り換えながら、各注目距離ごとに縦ずれ量を算出する。縦ずれ量が最小となる注目距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定し、その最適キャリブレーションデータで補正後の視点画像間の視差に基づく被写体距離（縦ずれ量の最小値に対応する被写体距離）を、測距結果として記録する。
【０１９９】
次に、第２実施形態の実施例２における測距処理の一例について、図１５Ａ及び図１５Ｂのフローチャートを用いて説明する。
【０２００】
ステップＳ２２０〜Ｓ２２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
【０２０１】
ステップＳ２３０にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出し、その縦ずれ量の合計を閾値に設定する（閾値＝縦ずれ量の合計）。
【０２０２】
ステップＳ２３２〜Ｓ２３８は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
【０２０３】
ステップＳ２４０にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出する。
【０２０４】
ステップＳ２４２にて、縦ずれ量比較部２２により、今回算出した縦ずれ量の合計と閾値（前回算出した縦ずれ量の合計）とを比較する。縦ずれ量の合計≦閾値である場合にはステップＳ２４４に進み、縦ずれ量の合計＞閾値である場合にはステップＳ２４８に進む。
【０２０５】
ステップＳ２４４にて、今回算出した縦ずれ量の合計を閾値に設定する（閾値＝今回算出した縦ずれ量の合計）。ステップＳ２４６にて、指定番号を１増やし、ステップＳ２４７にて、キャリブレーションデータ取得部１４により、指定番号に対応したキャリブレーションデータを取得して、ステップＳ２３４に進む。
【０２０６】
ステップＳ２４８では、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
【０２０７】
本例では、撮像デバイスの合焦可能距離の範囲内で、注目距離（指定距離）を最小値から最大値に向けて切り換えながら、各注目距離ごとに縦ずれ量を算出する。縦ずれ量が極小となる注目距離に対応するキャリブレーションデータを最適キャリブレーションデータと特定し、その最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として記録する。
【０２０８】
図１６は、第２実施形態の実施例３における測距装置１００ｄのブロック図である。なお、図１２に示した本実施形態の実施例１の測距装置１００ｃと同じ構成要素には、同じ符号を付した。
【０２０９】
本実施例３では、各指定番号ごとの距離演算（図１３のステップＳ２０８）を実行せず、縦ずれ量が最小となる指定番号についてのみ被写体距離を算出して、記録する。
【０２１０】
次に、第３実施形態について説明する。
【０２１１】
図１７は、第３実施形態の実施例１における測距装置１００ｅのブロック図である。なお、図１の測距装置１００ａ（実施形態１の実施例１）と同じ構成要素は、同じ符号を付してあり、記述済の事項の説明を省略する。
【０２１２】
測距装置１００ｅは、視差演算画素数演算部２３および視差演算画素数比較部２４を備える。
【０２１３】
視差演算画素数演算部２３は、各指定距離ごとに、補正後の複数の視点画像間で正しく視差演算できた画素数（以下「視差演算画素数」という）を算出する。
【０２１４】
視差演算画素数比較部２４は、注目した複数の指定距離にわたって視差演算画素数を比較し、視差演算画素数が最大となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０２１５】
次に、第３施形態の実施例１における測距処理について、図１８のフローチャートを用いて説明する。
【０２１６】
ステップＳ３００〜Ｓ３０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
【０２１７】
ステップＳ３１０にて、視差演算画素数演算部２３により、視差演算画素数を算出する。
【０２１８】
例えば、次の条件１および条件２の両方に該当する画素は、視差演算画素として、カウントされる。
【０２１９】
条件１：複数の視点画像のうち一方を参照画像としたときの画素間の対応関係（マッチング）と他方を参照画像としたときの画素間の対応関係とが同じであること。
【０２２０】
条件２：基準画像の１画素に参照画像の多数の画素（一定数以上の画素）が対応していないこと。
【０２２１】
視差演算画素数演算部２３は、要するに、正しく視差演算できた画素（視差演算に成功した画素）を、視差演算画素として、カウントする。補正後の視点画像間で対応点検出に成功したか否かを判定し、成功した画素の数をカウントしてもよい。各処理系の判断基準に従い、上記の条件１、２以外の条件で視差演算画素数をカウントしてよいことは、言うまでもない。
【０２２２】
ステップＳ３１２にて、指定番号＝最大指定番号であるか否かを判定する。
【０２２３】
指定番号＝最大指定番号でない場合、ステップＳ３１４にて、指定番号を１増やし、ステップＳ３１５にて、指定距離に対応するキャリブレーションデータを取得し、ステップＳ３０４に進む。
【０２２４】
指定番号＝最大指定番号である場合、ステップＳ３１６にて、視差演算画素数比較部２４により、注目した全ての指定距離にわたって視差演算画素数を比較し、視差演算画素数が最大となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、視差演算画素数が最大となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０２２５】
ステップＳ３２２にて、距離記録部２０により、選択された指定番号に対応する被写体距離を、記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差に基づく被写体距離を、測距結果として出力する。
【０２２６】
次に、第３実施形態の実施例２における測距処理の一例について、図１９Ａ及び図１９Ｂのフローチャートを用いて説明する。
【０２２７】
ステップＳ３２０〜Ｓ３２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
【０２２８】
ステップＳ３３０にて、視差演算画素数演算部２３により、視差演算画素数を算出し、その視差演算画素数を閾値に設定する（閾値＝視差演算画素数）。
【０２２９】
ステップＳ３３２〜Ｓ３３８は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
【０２３０】
ステップＳ３４０にて、視差演算画素数演算部２３により、視差演算画素数を算出する。
【０２３１】
ステップＳ３４２にて、視差演算画素数比較部２４により、今回算出した視差演算画素数と閾値（前回算出した視差演算画素数）とを比較する。
【０２３２】
視差演算画素数≧閾値である場合には、ステップＳ３４４にて、今回算出した視差演算画素数を閾値に設定し（閾値＝視差演算画素数）、ステップＳ３４６にて、指定番号を１増やし、ステップＳ３４７にて、指定番号に対応したキャリブレーションデータを取得して、ステップＳ３３４に進む。
【０２３３】
視差演算画素数＜閾値である場合には、ステップＳ３４８にて、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
【０２３４】
図２０は、第３実施形態の実施例３における測距装置１００ｆのブロック図である。なお、図１７に示した本実施形態の実施例１の測距装置１００ｅと同じ構成要素には、同じ符号を付した。本実施例３では、視差演算画素数が最大となる指定番号についてのみ被写体距離を算出して、記録する。
【０２３５】
次に、第４実施形態について説明する。
【０２３６】
図２１は、第４実施形態の実施例１における測距装置１００ｇのブロック図である。なお、図１の測距装置１００ａ（実施形態１の実施例１）と同じ構成要素は、同じ符号を付してあり、記述済の事項の説明を省略する。
【０２３７】
測距装置１００ｇは、局所ノイズ画素数演算部２５および局所ノイズ画素数比較部２６を備える。
【０２３８】
局所ノイズ画素数演算部２５は、各指定距離ごとに、補正後の複数の視点画像の視差分布で局所的に存在する画素数（以下「局所ノイズ画素数」という）を算出する。
【０２３９】
視差演算画素数比較部２４は、注目した複数の注目距離にわたって局所ノイズ画素数を比較し、局所ノイズ画素数が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０２４０】
次に、第４実施形態の実施例１における測距処理について、図２２のフローチャートを用いて説明する。
【０２４１】
ステップＳ４００〜Ｓ４０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
【０２４２】
ステップＳ４１０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。
【０２４３】
具体的には、補正後の視点画像において、各画素に注目し、その周辺の画素と比較して視差が大きく異なる画素の数をカウントする。要するに、輝度や色の分布ではなくて、視差の分布において、孤立した画素または画素群を検出し、その検出した画素（局所ノイズ画素）の数をカウントする。なお、視差と距離とは対応するので、距離の分布において、孤立した画素または画素群を検出し、カウントしてもよい。
【０２４４】
ステップＳ４１２にて、指定番号＝最大指定番号であるか否かを判定する。
【０２４５】
指定番号＝最大指定番号でない場合には、ステップＳ４１４にて、指定番号を１増やし、ステップＳ４１５にて、指定距離に対応するキャリブレーションデータを取得し、ステップＳ４０２に進む。
【０２４６】
指定番号＝最大指定番号である場合、ステップＳ４１８にて、局所ノイズ画素数比較部２６により、注目した全ての指定距離にわたって局所ノイズ画素数を比較し、局所ノイズ画素数が最小となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、局所ノイズ画素数が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０２４７】
ステップＳ４１８にて、距離記録部２０により、選択された指定番号に対応する被写体距離を、記録する。
【０２４８】
次に、第４実施形態の実施例２における測距処理の一例について、図２３Ａ及び図２３Ｂのフローチャートを用いて説明する。
【０２４９】
ステップＳ４２０〜Ｓ４２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
【０２５０】
ステップＳ４３０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出し、その局所ノイズ画素数を閾値に設定する（閾値＝局所ノイズ画素数）。
【０２５１】
ステップＳ４３２〜Ｓ４３８は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
【０２５２】
ステップＳ４４０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。
【０２５３】
ステップＳ４４２にて、局所ノイズ画素数比較部２６により、今回算出した局所ノイズ画素数と閾値（前回算出した局所ノイズ画素数）とを比較する。
【０２５４】
局所ノイズ画素数≦閾値である場合には、ステップＳ４４４にて、今回算出した局所ノイズ画素数を閾値に設定する（閾値＝局所ノイズ画素数）。ステップＳ４４６にて、指定番号を１増やし、ステップＳ４４７にて、指定番号に対応したキャリブレーションデータを取得して、ステップＳ４３４に進む。
【０２５５】
局所ノイズ画素数＞閾値である場合には、ステップＳ４４８にて、前回の指定番号に対応したキャリブレーションデータを用いて求めた被写体距離を、測距結果として記録する。
【０２５６】
図２４は、第４実施形態の実施例３における測距装置１００ｈのブロック図である。なお、図２１に示した本実施形態の実施例１の測距装置１００ｇと同じ構成要素には、同じ符号を付した。本実施例３では、局所ノイズ画素数が最小となる指定番号についてのみ被写体距離を算出して、記録する。
【０２５７】
次に、第５実施形態について説明する。
【０２５８】
図２５は、第５実施形態の実施例１の測距装置１００ｉを示すブロック図である。なお、図１の測距装置１００ａ（第１実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
【０２５９】
本例の測距装置１００ｉは、代表距離決定部２７、｜指定距離−代表距離｜演算部２８、および、｜指定距離−代表距離｜比較部２９を備える。
【０２６０】
代表距離決定部２７は、各指定距離ごとに、補正後の複数の視点画像間の視差に基づいて算出された各画素ごと（または画素群ごと）の距離の代表値（以下「代表距離」という）を決定する。
【０２６１】
｜指定距離−代表距離｜演算部２８（距離差分演算手段）は、各指定距離ごとに、｜指定距離−代表距離｜を算出する。
【０２６２】
｜指定距離−代表距離｜比較部２９は、注目した複数の指定距離にわたって｜指定距離−代表距離｜を比較し、｜指定距離−代表距離｜が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０２６３】
次に、第５実施形態の実施例１の測距処理について、図２６のフローチャートを用いて説明する。
【０２６４】
ステップＳ５００〜Ｓ５０８は、図５（第１実施形態の第１実施例）のステップＳ１００〜Ｓ１０８と同様である。
【０２６５】
ステップＳ５１０にて、代表距離決定部２７により、距離のヒストグラムを作成する。距離のヒストグラムは、図２７に示すように、補正後の視点画像における各画素ごとの距離と頻度（画素数）との関係を示す。
【０２６６】
ステップＳ５１２にて、代表距離決定部２７により、図２７に示すように、距離のヒストグラムから最頻値を検出し、その最頻値を代表距離と決定する。即ち、距離の最頻値を、被写体距離の候補として選出する。
【０２６７】
ステップＳ５１４にて、指定番号＝最大指定番号であるか否かを判定する。
【０２６８】
指定番号＝最大指定番号でない場合には、ステップＳ５１６にて、指定番号を１増やし、ステップＳ５１７にて、指定番号に対応するキャリブレーションデータを取得する。
【０２６９】
指定番号＝最大指定番号である場合には、ステップＳ５１８にて、｜指定距離−代表距離｜が最小となる指定番号を選択する。具体的には、｜指定距離−代表距離｜演算部２８により、｜指定距離−代表距離｜を算出するとともに、｜指定距離−代表距離｜比較部２９により、注目した複数の指定距離にわたって｜指定距離−代表距離｜を比較し、｜指定距離−代表距離｜が最小となる指定番号を選択する。即ち、複数のキャリブレーションデータのうちから、｜指定距離−代表距離｜が最小となるキャリブレーションデータを、最適キャリブレーションデータとして特定する。
【０２７０】
ステップＳ５１９にて、距離記録部２０により、選択された指定番号に対応する代表距離を記録する。即ち、最適キャリブレーションデータで補正後の視点画像間の視差から算出された被写体距離を、測距結果として出力する。
【０２７１】
なお、本例では距離のヒストグラムの最頻値を代表距離（被写体距離）としているが、本発明はこれに限定されない。代表距離を他の方法により求めてもよい。
【０２７２】
次に、第５実施形態の実施例２の測距処理について、図２８Ａ図２８Ｂのフローチャートを用いて説明する。本測距処理は、図２５に示した測距装置１００ｉにて行われる。
【０２７３】
ステップＳ５２０〜Ｓ５２８は、図７Ａ（第１実施形態の第２実施例）のステップＳ１２０〜Ｓ１２８と同様である。
【０２７４】
ステップＳ５３０にて、距離のヒストグラムを作成し、ステップＳ５３２にて、距離の最頻値を代表距離と決定する。ステップＳ５３４にて、｜指定距離−代表距離｜を算出して閾値に設定する（閾値＝｜指定距離−代表距離｜）。
【０２７５】
ステップＳ５３６〜Ｓ５４２は、図７ＢのステップＳ１３２〜Ｓ１３８と同様である。
【０２７６】
ステップＳ５４４にて、距離のヒストグラムを作成し、ステップＳ５４６にて、距離の最頻値を代表距離と決定し、ステップＳ５４８にて、｜指定距離−代表距離｜を算出する。
【０２７７】
ステップＳ５５８にて、｜指定距離−代表距離｜比較部２９により、今回算出した｜指定距離−代表距離｜と、閾値（前回算出した｜指定距離−代表距離｜）とを比較する。
【０２７８】
｜指定距離−代表距離｜≦閾値である場合には、ステップＳ５５２にて、今回算出した｜指定距離−代表距離｜を閾値に設定する（閾値＝｜指定距離−代表距離｜）。ステップＳ５５４にて、指定番号を１増やし、ステップＳ５５６にて、指定番号に対応したキャリブレーションデータを取得し、ステップＳ５３８に進む。
【０２７９】
｜指定距離−代表距離｜＞閾値である場合には、ステップＳ５５８にて、前回の指定番号に対応した代表距離を、測距結果の被写体距離として記録する。
【０２８０】
図２９は、第５実施形態の実施例３の測距装置１００ｊのブロック図である。以下では、図２５の測距装置１００ｉ（本実施形態の実施例１）と異なる事項のみ説明する。
【０２８１】
本例の測距装置１００ｊは、代表視差決定部３０を備える。代表視差決定部３０は、各指定距離ごとに、補正後の視点画像間の視差の代表値（以下「代表視差」という）を決定する。代表視差は、視差演算部１６で対応画素検出に成功した各画素（または画素群）ごとの視差を、代表する。
【０２８２】
本例の距離演算部１７は、代表視差に基づいて代表距離を算出する。
【０２８３】
次に、第５実施形態の実施例３の測距処理について、図３０のフローチャートを用いて説明する。
【０２８４】
ステップＳ５６０〜Ｓ５６６は、図２６（本実施形態の実施例１）のステップＳ５００〜５０６と同様である。
【０２８５】
ステップＳ５６８にて、代表視差決定部３０により、視差のヒストグラムを作成する。視差のヒストグラムは、図３１に示すように、補正後の視点画像間における各画素ごとの視差と頻度（画素数）との関係を示す。
【０２８６】
ステップＳ５７０にて、代表視差決定部３０により、図３１に示すように、視差のヒストグラムから最頻値を検出し、その最頻値を代表視差と決定する。即ち、視差の最頻値を、主要被写体の視差として選出する。
【０２８７】
ステップＳ５７２にて、距離演算部１７により、代表視差に基づいて代表距離を算出する。即ち、視差の最頻値に対応する距離を、被写体距離の候補として算出する。
【０２８８】
ステップＳ５７４〜Ｓ５７９は、図２６のステップＳ５１４〜Ｓ５１９と同様である。
【０２８９】
図３２は、第５実施形態の実施例４の測距装置１００ｋのブロック図である。以下では、図２９の測距装置１００ｊ（本実施形態の実施例３）と異なる事項のみ説明する。
【０２９０】
本例の測距装置１００ｋは、指定視差演算部３１、および、｜指定視差−代表視差｜演算部３２、｜指定視差−代表視差｜比較部３３を備える。
【０２９１】
指定視差演算部３１は、各指定距離ごとに、指定距離に基づいて視差（以下「指定視差」という）を算出する。
【０２９２】
｜指定視差−代表視差｜演算部３２は、各指定距離ごとに、｜指定視差−代表視差｜を算出する。
【０２９３】
｜指定視差−代表視差｜比較部３３は、注目した複数の指定距離にわたって｜指定視差−代表視差｜を比較し、｜指定視差−代表視差｜が最小となるキャリブレーションデータを最適なキャリブレーションデータとして特定する。
【０２９４】
次に、第５実施形態の実施例４の測距処理について、図３３のフローチャートを用いて説明する。
【０２９５】
ステップＳ５８０〜Ｓ５８２は、図３０（本実施形態の実施例３）のステップＳ５６０〜Ｓ５６２と同じである。
【０２９６】
ステップＳ５８３にて、指定視差演算部３１により、指定距離に基づいて指定視差を算出する。即ち、指定距離を指定視差に変換する。
【０２９７】
ステップＳ５８４〜Ｓ５９０は、図３０のステップＳ５６４〜Ｓ５７０と同様である。本例では、図３０のステップＳ５７２に相当するステップがない。ステップＳ５９４〜Ｓ５９７は、図３０のステップＳ５７４〜Ｓ５７７と同様である。
【０２９８】
ステップＳ５９８にて、｜指定視差−代表視差｜が最小となる指定番号を選択する。即ち、｜指定視差−代表視差｜演算部３２により｜指定視差−代表視差｜を算出し、｜指定視差−代表視差｜比較部３３により、注目した複数の指定距離にわたって｜指定視差−代表視差｜を比較し、｜指定視差−代表視差｜が最も小さくなる指定番号を特定する。即ち、最適キャリブレーションデータを特定する。
【０２９９】
ステップＳ５９９にて、特定した指定番号に対応する指定距離（または対応点距離）を、距離記録部２０により、測距結果の被写体距離として記録する。
【０３００】
以上のように、実施例１〜３では、｜指定距離−代表距離｜を算出し、最小の｜指定距離−代表距離｜を選択することで、最適キャリブレーションデータを特定したが、実施例４では、指定距離を指定視差に変換して｜指定視差−代表視差｜を算出し、最小の｜指定視差−代表視差｜を選択することで、最適キャリブレーションデータを特定する。
【０３０１】
次に、第６実施形態について説明する。
【０３０２】
第６実施形態の実施例１の測距処理について、図３４および図３５のフローチャートを用いて説明する。この測距処理は、図１の測距装置１００ａにて実行される。
【０３０３】
本実施形態では、測距制御部１０の制御により、まず、指定距離（注目距離）を大きな変更幅で変更しながら第１の測距（以下「前半処理」という）を行って第１の被写体距離を取得し、次に、指定距離を前記第１の被写体距離の付近で小さな変更幅で変更しながら第２の測距（以下「後半処理」という）を行って第２の被写体距離を取得する。距離記録部２０は、第２の被写体距離を測距結果として記録する。
【０３０４】
図３４は、前半処理を示す。ステップＳ６００〜Ｓ６１０は、図５（第１実施形態の実施例１）のステップＳ１００〜Ｓ１１０と、同様である。即ち、複数の視点画像を取得し（ステップＳ６００）、指定番号０の指定距離に対応したキャリブレーションデータを取得し（ステップＳ６０２）、キャリブレーションデータにより複数の視点画像を補正し（ステップＳ６０４）、補正後の複数の視点画像での視差を算出し（ステップＳ６０６）、視差に基づいて被写体距離を算出し（ステップＳ６０８）、最適キャリブレーションデータの判断基準として相関度の合計を算出する（ステップＳ６１０）。ステップＳ６１２にて、指定番号＝最大指定番号であるか否かを判定し、指定番号＝最大指定番号でない場合、ステップＳ６１４にて、指定番号をｎ増やす。ここでｎ≧２である。即ち、指定距離（注目距離）を通常の変更幅よりも大きな変更幅で変更しながら、各指定距離で判断基準（本例では相関度の合計）を算出する。指定番号＝最大指定番号である場合、ステップＳ６１８にて、注目した複数の指定距離にわたって相関度の合計を比較し、相関度の合計が最大であった指定番号（ｍとする）を取得する。即ち、相関度の合計が最大となる指定距離およびキャリブレーションデータを特定する。
【０３０５】
図３５は、後半処理を示す。ステップＳ６２２にて、指定番号ｍ−ｎの指定距離に対応したキャリブレーションデータを取得する。ステップＳ６２４〜Ｓ６３０は、前半処理のステップＳ６０４〜６１０と同様である。ステップＳ６３２にて、指定番号＝ｍ＋ｎであるか否かを判定し、指定番号がｍ＋ｎでない場合にはステップＳ６３４に進み、指定番号＝ｍ＋ｎである場合にはステップＳ６３６に進む。ステップＳ６３４にて指定番号を１増やし、ステップＳ６３５にて指定距離に対応したキャリブレーションデータを取得し、ステップＳ６２４に進む。ステップＳ６３６にて、相関度の合計が最大となる指定番号を取得する。即ち、相関度の合計が最大となる指定距離およびキャリブレーションデータを特定する。ステップＳ６３８にて、特定された指定番号に対応した被写体距離（ステップＳ６２８で算出した被写体距離）を、被写体距離として記録する。
【０３０６】
本例では、まず、図３６Ａに示すように、被写体距離のサーチ範囲を合焦可能距離範囲の全てとして、変更幅ｎ（ｎ≧２）で指定番号を変更するラフな測距を行い、相関度の合計が最大となる指定番号ｍを取得する。即ち、注目距離を大きな変更幅で変更しながら第１の被写体距離を検出する。次に、図３６Ｂに示すように、被写体距離のサーチ範囲を指定番号ｍ−ｎ〜ｍ＋ｎに対応する距離範囲に限定するとともに、変更幅＝１で指定番号を変更する詳細な測距を行い、相関度の合計が最大となる指定番号を取得する。即ち、注目距離を小さな変更幅で変更しながら測距結果としての第２の被写体距離を検出する。これにより、高精度で測距し、且つ、測距処理全体での処理時間を短縮することができる。
【０３０７】
次に、第６実施形態の実施例２の測距処理について、図３７Ａ、図３７Ｂ、図３８Ａ及び図３８Ｂのフローチャートを用いて説明する。この測距処理は、図１の測距装置１００ａにて実行される。
【０３０８】
図３７Ａ及び図３７Ｂは、前半処理を示す。ステップＳ６４０〜Ｓ６５０は、図７Ａ（第１実施形態の実施例２）のステップＳ１２０〜Ｓ１３０と、同様である。ステップＳ６５２にて、指定番号ｎの指定距離に対応したキャリブレーションデータを取得する。ステップＳ６５４〜Ｓ６６０は、図７ＢのステップＳ１３４〜Ｓ１４０と、同様である。ステップＳ６６２にて、相関度の合計と閾値とを比較し、相関度の合計≧閾値である場合にはステップＳ６６４に進み、相関度の合計＜閾値である場合にはステップＳ６６８に進む。ステップＳ６６４にて相関度の合計を閾値に設定し、ステップＳ６６６にて指定番号をｎ増やし、ステップＳ６６７にて指定距離に対応したキャリブレーションデータを取得する。ステップＳ６６８にて、一つ前の指定番号（ｍとする）を取得する。
【０３０９】
図３８Ａ及び図３８Ｂは、後半処理を示す。ステップＳ６７２にて、指定番号ｍ−ｎの距離に対応したキャリブレーションデータを取得する。ステップＳ６７４〜Ｓ６８０は、前半処理のステップＳ６４４〜６５０と同様である。ステップＳ６８２にて、指定番号ｍ−ｎ＋１の距離に対応したキャリブレーションデータを取得する。ステップＳ６８４〜Ｓ６９０は、前半処理のステップＳ６５４〜６６０と同様である。ステップＳ６９２にて、相関度の合計と閾値とを比較し、相関度の合計≧閾値である場合にはステップＳ６９４に進み、相関度の合計＜閾値である場合にはステップＳ６９８に進む。ステップＳ６９４にて相関度の合計を閾値に設定し、ステップＳ６９６にて指定番号を１増やし、ステップＳ６９７にて指定距離に対応したキャリブレーションデータを取得する。ステップＳ６９８にて、一つ前の回の指定番号に対応した被写体距離を記録する。
【０３１０】
本例では、まず、図３９Ａに示すように、サーチ開始の指定番号を０（合焦可能距離範囲の至近端）にして、変更幅＝ｎ（ｎ≧２）で指定番号を変更するラフな測距を行い、相関度の合計が極大となる指定番号ｍを取得する。即ち、注目距離を大きな変更幅で変更しながら第１の被写体距離を検出する。次に、図３９Ｂに示すように、サーチ開始の指定番号をｍ−ｎ（第１の被写体距離の付近）にして、変更幅＝１で指定番号を変更する詳細な測距を行い、相関度の合計が最大となる指定番号を取得する。即ち、注目距離を小さな変更幅で変更しながら測距結果としての第２の被写体距離を検出する。これにより、高精度で測距し、且つ、測距処理全体での処理時間を短縮することができる。
【０３１１】
なお、最適なキャリブレーションデータの判断基準として相関度の合計を用いた場合を例に説明したが、他の判断基準（例えば、第２実施形態で説明した縦ずれ量の合計、第３実施形態で説明した視差演算画素数、第４実施形態で説明した局所ノイズ画素数など）を用いてもよいことは、言うまでもない。
【０３１２】
また、前半処理と後半処理で最適なキャリブレーションデータの判断基準が同じ場合（本例ではいずれも相関度の合計）を説明したが、その判断基準を異ならせてもよい。例えば、前半処理では相関度の合計に基づいて判断し、後半処理では局所ノイズ画素数に基づいて判断する。
【０３１３】
次に、第７実施形態について説明する。
【０３１４】
図４０は、第７実施形態の実施例１における測距装置１００ｍのブロック図である。なお、図２５の測距装置１００ｉ（第５実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
【０３１５】
指定距離決定部３４は、撮像デバイス（図４Ａの８１Ｌ、８１Ｒ）の合焦可能距離範囲の全てにわたる複数の指定距離（注目距離）のうちで、最初に注目する指定距離（以下「初期指定距離」という）を決定する。また、指定距離決定部３４は、距離演算部１７および代表距離決定部２７により補正後の視点画像間の視差に基づいて算出された代表距離（被写体距離）を、次に注目する指定距離と決定することで、指定距離を切り換える。
【０３１６】
本実施形態の｜指定距離−代表距離｜比較部３５は、指定距離の切り換え前後の｜指定距離−代表距離｜を比較することで、複数の代表距離（被写体距離）のうちから測距結果を選択する。
【０３１７】
指定距離決定部３４による初期指定距離の決定態様には各種ある。
【０３１８】
第１に、複数の視点画像を含む画像ファイルから視点画像の付帯情報を取得し、その付帯情報に基づいて、初期指定距離を決定する態様がある。例えば、撮像デバイスによる被写体撮影時のモード（人物撮影モード、風景撮影モードなど）を示す撮影モード情報に基づいて、距離決定を行う。
【０３１９】
第２に、視点画像から取得した撮影シーンに関する情報に基づいて、初期指定距離を決定する態様がある。例えば、視点画像を分析して、人物撮影シーンであるか、風景撮影シーンであるかを特定し、そのシーンに基づいて、距離決定を行う。
【０３２０】
第３に、視点画像から取得した被写体のサイズに基づいて、初期指定距離を決定する態様がある。例えば、視点画像中の顔のサイズと標準的な顔のサイズとの比較に基づいて、距離決定を行う。
【０３２１】
第４に、フォーカスエリア（合焦評価値算出領域）の視差に基づいて、初期指定距離を決定する態様がある。例えば、キャリブレーションデータによる補正前の複数の視点画像について視差のヒストグラムを作成し、その視差ヒストグラムの最頻値を距離に変換し、その距離を初期指定距離とする。
【０３２２】
第５に、複数の撮像デバイスの輻輳点（光軸同士の交点）の距離に基づいて、初期指定距離を決定する態様がある。
【０３２３】
次に、第７実施形態の実施例１の測距処理について、図４１Ａ及び図４１Ｂのフローチャートを用いて説明する。
【０３２４】
まず、ステップＳ７００にて、画像入力部１１により、複数の視点画像を取得する。
【０３２５】
次に、ステップＳ７０２にて、指定距離決定部３４により、初期指定距離を決定し、キャリブレーションデータ取得部１４により、初期指定距離に対応したキャリブレーションデータを取得する。
【０３２６】
ステップＳ７０４〜Ｓ７１２は、図２８Ａ（第５実施形態の実施例２）のステップＳ５２４〜Ｓ５３２と同様である。即ち、キャリブレーションデータに基づいて複数の視点画像を補正し（ステップＳ７０４）、補正後の複数の視点画像間で各画素の視差を算出し（ステップＳ７０６）、視点画像間の各画素の視差に基づいて各画素の距離を算出し（ステップＳ７０８）、距離と頻度（画素数）との関係を示す距離のヒストグラムを作成し（ステップＳ７１０）、距離の最頻値を被写体距離の候補としての代表距離と決定する（ステップＳ７１２）。
【０３２７】
ステップＳ７１４にて、｜指定距離−代表距離｜演算部２８により、｜指定距離−代表距離｜を算出し、閾値に設定する（閾値＝｜指定距離−代表距離｜）。
【０３２８】
ステップＳ７１６にて、指定距離決定部３４により、代表距離を、次に注目する指定距離として決定し、キャリブレーションデータ取得部１４により、キャリブレーションデータを取得する。即ち、注目距離を切り換える。
【０３２９】
ステップＳ７１８〜Ｓ７２６は、ステップＳ７０４〜Ｓ７１２と同様である。
【０３３０】
ステップＳ７２８にて、｜指定距離−代表距離｜演算部２８により、｜指定距離−代表距離｜を算出し、｜指定距離−代表距離｜比較部２９により、今回算出した｜指定距離−代表距離｜と、閾値（前回算出した｜指定距離−代表距離｜）とを比較する。
【０３３１】
｜指定距離−代表距離｜≦閾値である場合には、ステップ７３２にて、今回算出した｜指定距離−代表距離｜を閾値に設定し、ステップＳ７１６に進む。ステップＳ７１６では、指定距離決定部３４により、代表距離を、次に注目する指定距離と決定する。即ち、注目距離を切り換える。
【０３３２】
｜指定距離−代表距離｜＞閾値である場合には、ステップＳ７３４にて、距離記録部２０により、前回算出した距離情報（代表距離）を、測距結果として記録する。
【０３３３】
このように本例では、指定距離の切り換えの前後の｜指定距離−代表距離｜を比較し、前回よりも今回の方が大きければ、前回算出した代表距離を測距結果として選択する。即ち、｜指定距離−代表距離｜が極小となる指定距離を検出し、その指定距離に対応するキャリブレーションデータを最適なキャリブレーションデータと特定して、測距結果を決定する。
【０３３４】
図４２は、第７実施形態の実施例２における測距装置１００ｎのブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図４０（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を省略する。
【０３３５】
次に、第７実施形態の実施例２の測距処理について、図４３Ａ及び図４３Ｂのフローチャートを用いて説明する。
【０３３６】
ステップＳ７５０〜Ｓ７５６は、図４１Ａ（本実施形態の実施例１）のステップＳ７００〜Ｓ７０６と同様である。ステップＳ７５８〜Ｓ７６２は、図３０（第５実施形態の実施例３）のステップＳ５６８〜Ｓ５７２と同様である。ステップＳ７６４〜Ｓ７７０は、図４１のステップＳ７１４〜Ｓ７２０と同様である。ステップＳ７７２〜Ｓ７７６は、本実施例のステップＳ７５８〜Ｓ７６２と同様である。ステップＳ７７８〜Ｓ７８４は、図４１のステップＳ７２８〜Ｓ７３４と同様である。
【０３３７】
本実施例２では、視差のヒストグラムを作成し（ステップＳ７５８、Ｓ７７２）、視差の最頻値を代表視差と決定し（ステップＳ７６０、Ｓ７７４）、代表視差に基づいて代表距離を算出する（ステップＳ７６２、Ｓ７７６）。注目距離（指定距離）の切り換えの前後の｜指定距離−代表距離｜を比較し、前回よりも今回の方が大きければ、前回算出した代表距離を測距結果として選択する点は、実施例１と同様である。即ち、｜指定距離−代表距離｜が極小となる指定距離を検出し、その指定距離に対応するキャリブレーションデータを最適なキャリブレーションデータと特定する。
【０３３８】
次に、第８実施形態について説明する。
【０３３９】
図４４は、第８実施形態の実施例１における測距装置１００ｐのブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
【０３４０】
閾値決定部３６は、指定距離に基づいて閾値を決定する。
【０３４１】
｜指定距離−代表距離｜閾値比較部３７は、｜指定距離−代表距離｜と閾値とを比較し、｜指定距離−代表距離｜が閾値よりも小さいとき、その代表距離を測距結果の被写体距離として採用する。
【０３４２】
次に、第８実施形態の実施例１の測距処理について、図４５のフローチャートを用いて説明する。
【０３４３】
ステップＳ８００〜Ｓ８１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。
【０３４４】
ステップＳ８１４にて、閾値決定部３６により、閾値を決定する。例えば、指定距離と閾値との対応関係を示すテーブルデータをメモリ１２から、注目した指定距離に応じた閾値を取得する。関数により、指定距離に対応する閾値を算出してもよい。
【０３４５】
ステップＳ８１６にて、｜指定距離−代表距離｜閾値比較部３７により、｜指定距離−代表距離｜と閾値とを比較する。
【０３４６】
ステップＳ８１８にて、｜指定距離−代表距離｜≧閾値である場合には、ステップＳ８２０に進み、｜指定距離−代表距離｜＜閾値である場合には、ステップＳ８２２に進む。
【０３４７】
ステップＳ８２０にて、指定距離決定部３４により、代表距離を次に注目する指定距離と決定することで、注目距離の切り換えを行い、ステップＳ８０４に進む。
【０３４８】
ステップＳ８２２にて、距離記録部２０により、前回算出した距離情報（代表距離）を、測距結果として記録する。
【０３４９】
このように本例では、｜指定距離−代表距離｜と閾値とを比較し、｜指定距離−代表距離｜＜閾値であれば、前回算出した代表距離を測距結果として採用する。即ち、｜指定距離−代表距離｜＜閾値となる指定距離を検出し、その指定距離に対応するキャリブレーションデータを最適なキャリブレーションデータと特定して、測距結果を決定する。
【０３５０】
図４６は、第８実施形態の実施例２の測距装置１００ｑを示すブロック図である。なお、図４２の測距装置１００ｎ（第７実施形態の実施例２）と同じ構成要素および図４４（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。
【０３５１】
第８実施形態の実施例２の測距処理については、詳細な説明を省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
【０３５２】
次に、第９実施形態について説明する。
【０３５３】
図４７は、第９実施形態の実施例１の測距装置１００ｒを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、相関度演算部１８は、図１（第１実施形態）のものと同様であり、説明を省略する。
【０３５４】
本実施形態の相関度比較部３８は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の相関度の合計を比較し、切り換え前の相関度の合計が切り換え後の算出された相関度の合計よりも大きい場合、切り換え前の代表距離（被写体距離）を測距結果として採用する。
【０３５５】
次に、第９実施形態の実施例１の測距処理について、図４８Ａ及び図４８Ｂのフローチャートを用いて説明する。
【０３５６】
ステップＳ９００〜Ｓ９１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ９１４にて、相関度演算部１８により、相関度の合計を算出する。ステップＳ９１６にて、算出した相関度の合計を閾値に設定する。
【０３５７】
ステップＳ９１８〜Ｓ９２８は、図４１ＢのステップＳ７１６〜Ｓ７２６と同様である。ステップＳ９３０にて、相関度演算部１８により、相関度の合計を算出する。ステップＳ９３２にて、相関度比較部３８により、今回算出した相関度の合計を閾値（前回算出した相関度の合計）と比較する。
【０３５８】
ステップＳ９３４にて、相関度の合計≧閾値である場合には、ステップＳ９３６に進み。相関度の合計＜閾値である場合には、ステップＳ９３８に進む。
【０３５９】
ステップＳ９３６では、今回算出した相関度の合計を閾値に設定する。
【０３６０】
ステップＳ９３８では、前回算出した代表距離を、測距結果として採用し、記録する。
【０３６１】
図４９は、第９実施形態の実施例２の測距装置１００ｓを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図４７（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
【０３６２】
次に、第１０実施形態について説明する。
【０３６３】
図５０は、第１０実施形態の実施例１の測距装置１００ｔを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、縦ずれ量演算部２１は、図１２（第２実施形態）のものと同様であり、説明を省略する。
【０３６４】
本実施形態の縦ずれ量比較部３９は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の縦ずれ量の合計を比較し、切り換え前の縦ずれ量の合計が切り換え後の縦ずれ量の合計よりも小さい場合、切り換え前の代表距離（被写体距離）を測距結果として採用する。
【０３６５】
次に、第１０実施形態の実施例１の測距処理について、図５１Ａ及び図５１Ｂのフローチャートを用いて説明する。
【０３６６】
ステップＳ１０００〜Ｓ１０１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ１０１４にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出する。ステップＳ１０１６にて、算出した縦ずれ量の合計を閾値に設定する。
【０３６７】
ステップＳ１０１８〜Ｓ１０２８は、図４１ＢのステップＳ７１６〜Ｓ７２６と同様である。ステップＳ１０３０にて、縦ずれ量演算部２１により、縦ずれ量の合計を算出する。ステップＳ１０３２にて、縦ずれ量比較部３９により、今回算出した縦ずれ量の合計を閾値（前回算出した縦ずれ量の合計）と比較する。
【０３６８】
ステップＳ１０３４にて、縦ずれ量の合計≦閾値である場合には、ステップＳ１０３６に進み、縦ずれ量の合計＞閾値である場合には、ステップＳ１０３８に進む。
【０３６９】
ステップＳ１０３６では、今回算出した相関度の合計を閾値に設定する。
【０３７０】
ステップＳ１０３８では、前回算出した代表距離を、測距結果として採用し、記録する。
【０３７１】
図５２は、第１０実施形態の実施例２の測距装置１００ｕを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図５０（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
【０３７２】
次に、第１１実施形態について説明する。
【０３７３】
図５３は、第１１実施形態の実施例１の測距装置１００ｖを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、視差演算画素数演算部２３は、図１７（第３実施形態）のものと同様であり、説明を省略する。
【０３７４】
本実施形態の視差演算画素数比較部４０は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の視差演算画素数を比較し、切り換え前の視差演算画素数が切り換え後の視差演算画素数よりも大きい場合、切り換え前の代表距離（被写体距離）を測距結果として採用する。
【０３７５】
次に、第１１実施形態の実施例１の測距処理について、図５４Ａ及び図５４Ｂのフローチャートを用いて説明する。
【０３７６】
ステップＳ１１００〜Ｓ１１１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ１１１４にて、視差演算画素数演算部２３により、視差演算画素数を算出する。ステップＳ１１１６にて、算出した視差演算画素数を閾値に設定する。
【０３７７】
ステップＳ１１１８〜Ｓ１１２８は、図４１ＢのステップＳ７１６〜Ｓ７２６と同様である。ステップＳ１１３０にて、視差演算画素数演算部２３により、視差演算画素数を算出する。
【０３７８】
ステップＳ１１３２にて、視差演算画素数比較部４０により、今回算出した視差演算画素数の合計を閾値（前回算出した視差演算画素数の合計）と比較する。
【０３７９】
ステップＳ１１３４にて、視差演算画素数≧閾値である場合には、ステップＳ１１３６に進み、視差演算画素数＜閾値である場合には、ステップＳ１１３８に進む。
【０３８０】
ステップＳ１１３６では、今回算出した視差演算画素数を閾値に設定する。
【０３８１】
ステップＳ１１３８では、前回算出した代表距離を、測距結果として採用し、記録する。
【０３８２】
図５５は、第１１実施形態の実施例２の測距装置１００ｗを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図５３（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
【０３８３】
次に、第１２実施形態について説明する。
【０３８４】
図５６は、第１２実施形態の実施例１の測距装置１００ｘを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。また、局所ノイズ画素数演算部２５は、図２１（第４実施形態）のものと同様であり、説明を省略する。
【０３８５】
本実施形態の局所ノイズ画素数比較部４１は、指定距離決定部３４による指定距離（注目距離）の切り換えごとに、切り換え前後の局所ノイズ画素数を比較し、切り換え前の局所ノイズ画素数が切り換え後の局所ノイズ画素数よりも小さいとき、切り換え前の代表距離（被写体距離）を測距結果として採用する。
【０３８６】
次に、第１２実施形態の実施例１の測距処理について、図５７Ａ及び図５７Ｂのフローチャートを用いて説明する。
【０３８７】
ステップＳ１２００〜Ｓ１２１２は、図４１Ａ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７１２と同様である。ステップＳ１２１４にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。ステップＳ１２１６にて、算出した局所ノイズ画素数を閾値に設定する。
【０３８８】
ステップＳ１２１８〜Ｓ１２２８は、図４１Ｂ（第７実施形態の実施例１）のステップＳ７１６〜Ｓ７２６と同様である。ステップＳ１２３０にて、局所ノイズ画素数演算部２５により、局所ノイズ画素数を算出する。
【０３８９】
ステップＳ１２３２にて、局所ノイズ画素数比較部４１により、今回算出した局所ノイズ画素数を閾値（前回算出した局所ノイズ画素数）と比較する。ステップＳ１２３４にて、局所ノイズ画素数≦閾値である場合には、ステップＳ１２３６に進み、局所ノイズ画素数＞閾値である場合には、ステップＳ１２３８に進む。ステップＳ１２３６では、今回算出した局所ノイズ画素数を閾値に設定する。ステップＳ１２３８では、前回算出した代表距離を、測距結果として採用し、記録する。
【０３９０】
図５８は、第１２実施形態の実施例２の測距装置１００ｙを示すブロック図である。なお、図２９の測距装置１００ｊ（第５実施形態の実施例２）と同じ構成要素および図５０（本実施形態の実施例１）と同じ構成要素には、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施例では、代表視差のみに基づいて被写体距離を算出する。本実施例では、代表視差のみに基づいて被写体距離を算出する。
【０３９１】
次に、第１３実施形態について説明する。
【０３９２】
第１３実施形態の実施例１の測距処理について、図５９および図６０のフローチャートを用いて説明する。この測距処理は、図４０（第７実施形態の実施例１）の測距装置１００ｍにて実行される。
【０３９３】
本実施形態では、測距制御部１０の制御により、まず、初期指定距離（最初の注目距離）を決定して、第１の測距（以下「前半処理」という）を行い、第１の被写体距離を取得する。次に、第１の被写体距離を次の指定距離と決定し、第２の測距（以下「後半処理」という）を行い、第２の被写体距離を取得する。距離記録部２０は、第２の被写体距離を測距結果として記録する。第１の測距と、第２の測距とで、最適なキャリブレーションデータを判断するための判断基準が異なる。
【０３９４】
図５９は、前半処理の一例を示す。ステップＳ１３００〜Ｓ１３３２は、図４１Ａ及び図４１Ｂ（第７実施形態の実施例１）のステップＳ７００〜Ｓ７３２と、同様である。ステップＳ１３３４にて、前回の指定番号をｍ、今回の指定番号をｍ＋ｎとして取得する。
【０３９５】
図６０は、後半処理の一例を示す。ステップＳ１３４２にて、指定番号ｍ−ｎの距離（指定距離）に対応するキャリブレーションデータを取得する。ステップＳ１３４４〜Ｓ１３５０は、図５（第１実施形態の実施例１）のステップＳ１０４〜Ｓ１１０と同様である。ステップＳ１３５２にて、指定番号＝ｍ＋ｎであるか否かを判定し、指定番号＝ｍ＋ｎでない場合にはステップＳ１３５４に進み、指定番号＝ｍ＋ｎである場合にはステップＳ１３５６に進む。ステップＳ１３５４にて指定番号を１増やし、ステップＳ１３５５にて、指定距離に対応するキャリブレーションデータを取得する。ステップＳ１３５６にて、相関度が最大となる指定番号を選択し、ステップＳ１３５８にて、選択した指定番号に対応する指定距離を測距結果として記録する。
【０３９６】
図６１Ａ及び図６１Ｂは、後半処理の他の例を示す。ステップＳ１３６２にて、指定番号ｍ−ｎの距離（指定距離）に対応するキャリブレーションデータを取得する。ステップＳ１３６４〜Ｓ１３７０は、図７Ａ（第１実施形態の実施例２）のステップＳ１２４〜Ｓ１３０と同様である。ステップＳ１３７２にて、指定番号ｍ−ｎの距離（指定距離）に対応するキャリブレーションデータを取得する。ステップＳ１３７４〜Ｓ１３８８は、図７ＢのステップＳ１３４〜Ｓ１４８と同様である。
【０３９７】
なお、前半処理と後半処理とで判断基準が異なる場合の例として、前半処理で｜指定距離−代表距離｜、後半処理で相関度の合計を用いる場合を説明したが、本発明はこのような場合に特に限定されない。第７実施形態（｜指定距離−代表距離｜）、第８実施形態（｜指定距離−代表距離｜と閾値）、第９実施形態（相関度の合計）、第１０実施形態（縦ずれ量の合計）、第１１実施形態（視差演算画素数）、および、第１２実施形態（局所ノイズ画素数）のいずれで説明した判断基準を用いてもよい。
【０３９８】
次に、第１４実施形態について説明する。
【０３９９】
図６２は、第１４実施形態の実施例１の測距装置１００ｚを示すブロック図である。なお、図４０の測距装置１００ｍ（第７実施形態の実施例１）と同じ構成要素は、同じ符号を付してあり、説明済みの事項の説明を以下では省略する。本実施形態の測距装置１００ｚは、代表視差を決定する代表視差決定部３０を含んで構成されている。代表視差は、視差演算部１６で対応画素検出に成功した各画素（または画素群）ごとの視差を、代表する。
【０４００】
図６３は、本実施形態の実施例１おける代表視差決定部３０の詳細を示すブロック図である。代表視差決定部３０は、複数の視点画像間における各画素ごとの視差と頻度（画素数）との関係を示す視差ヒストグラムを作成する視差ヒストグラム作成部５１と、視差ヒストグラムにおける最頻値を代表視差として検出する最頻値検出部５２とを有する。
【０４０１】
第１４実施形態の実施例１の測距処理を、図６４Ａ及び図６４Ｂのフローチャートに示す。ここで、ステップＳ１４５０〜Ｓ１４８４は、図４３Ａ及び図４３Ｂ（第７実施形態の実施例２）のステップＳ７５０〜Ｓ７８４と同様である。
【０４０２】
ステップＳ１４５８及びＳ１４７２にて、視差ヒストグラム作成部５１により、第５実施形態の実施例３で説明したように、図３１に示すような視差のヒストグラムを作成する。また、ステップＳ１４６０及びＳ１４７４にて、最頻値検出部５２により、視差のヒストグラムにおける最頻値を検出し、その最頻値を代表視差と決定する。ステップＳ１４６２およびステップＳ１４７６にて、距離演算部１７により、代表視差に基づいて代表距離を算出する。即ち、代表視差を測距結果の被写体距離の候補としての代表距離に変換する。
【０４０３】
なお、遠景などの背景や主要被写体の手前の前景が視点画像に写り込んでいる場合には、測定範囲の端に最頻値が存在する場合がある。よって、代表視差決定ステップ（Ｓ１４６０）にて、視差範囲の端（図３１の視差のヒストグラムにて左端側および右端側）に存在する頻度を除外して、最頻値を選択することが、好ましい。また、視差のヒストグラムにて、局所的に存在する頻度に対応する画素は、ノイズ画素である可能性が高い。よって、ヒストグラム作成ステップ（Ｓ１４５８）にて、各視差の頻度の高低を判別し、高頻度の視差を選択して、低頻度の視差をヒストグラムから除外してもよい。
【０４０４】
次に、第１４実施形態の実施例２について説明する。
【０４０５】
図６５は、第１４実施形態の実施例２の測距装置における代表視差決定部３０の詳細を示すブロック図である。それ以外の部分は、図６２に示した通りである。
【０４０６】
本例の代表視差決定部３０は、視差ヒストグラム作成部５１、最頻値検出部５２、視差選択部５３、および、フィルタ５４を含んで構成されている。ここで、視差ヒストグラム作成部５１および最頻値検出部５２は、実施例１と同じである。
【０４０７】
視差選択部５３は、視差のヒストグラムにて各視差の頻度の高低を判別して、高頻度の視差を選択することで、局所的に存在する画素の成分を視差のヒストグラムから除外する。例えば、頻度（画素数）が閾値以上である視差を選択して、頻度（画素数）が閾値未満である視差をヒストグラムから除外する。
【０４０８】
フィルタ５４は、選択した各視差の頻度から視点画像間でのマッチングが適切でない画素の成分（画素数）を除去する。例えば、右視点画像を基準画像として左視点画像を参照画像としたマッチングと、左視点画像を基準画像として右視点画像を参照画像としたマッチングとで、対応関係が同じでない画素を選択して、選択した画素の数を各視差の頻度から減算する。また、例えば、基準画像の１画素に、参照画像の多数の画素が対応している場合、そのような対応関係の画素を選択して、選択した画素の数を各視差の頻度から減算する。なお、本発明におけるフィルタは、上記画素選択には特に限定されない。例えば、適切な視差演算ができているか否かを判断して不適切な視差演算成分を排除する他の画素選択手段を含む。
【０４０９】
第１４実施形態の実施例２の測距処理を、図６６のフローチャートを用いて説明する。ここで、視差のヒストグラム作成以前は、図６４Ａ及び図６４Ｂと同様の処理（ステップＳ１４５０〜Ｓ１４７２と同じ）である。以下では、実施例１と異なる事項のみ説明する。
【０４１０】
ステップＳ１４７３ａにて、視差選択部５３により、図６７Ａに示すように、頻度（画素数）が閾値Ｔｄ以上である視差を選択する。ここで、閾値Ｔｄは、動的であり、最頻値の頻度をＤｍとするとＴｄ＝Ｄｍ−Ｋｍである。Ｋｍは例えば一定値である。つまり、本例視差選択部５３は、最頻値との頻度の差分が一定値Ｋｍ以内である視差を選択する。
【０４１１】
ステップＳ１４７３ｂにて、選択した視差にフィルタをかける。即ち、フィルタ５４により、図６７Ｂにて点線で示すように、選択した各視差の頻度から視点画像間でのマッチングが適切でない画素の成分（画素数）を除去する。
【０４１２】
ステップＳ１４７４以降は、図６４Ｂを用いて説明した通りである。ただし、本例の最頻値検出部５２は、図６７Ｂに示すように、フィルタをかけた後の視差のヒストグラムにおける最頻値を、代表視差とする。
【０４１３】
次に、第１４実施形態の実施例３について説明する。
【０４１４】
図６８Ａは、第１４実施形態の実施例３の測距装置における代表視差決定部３０の詳細を示すブロック図である。それ以外の部分は、図６２に示した通りである。
【０４１５】
本実施例の代表視差決定部３０は、視差ヒストグラム作成部５１、最頻値検出部５２および注目領域決定部５５を含む。ここで、注目領域決定部５５以外は、実施例１と同じである。
【０４１６】
注目領域決定部５５は、視差ごとの頻度（画素数）を算出する注目領域を決定する。即ち、視差ヒストグラムの作成に用いる領域を決定する。
【０４１７】
本例の注目領域決定部５５は、図６８Ｂに示すように、画像分割部５５１、周波数解析部５５２、周波数頻度算出部５５３および領域決定部５５４を含んで構成されている。
【０４１８】
画像分割部５５１は、視点画像をアレイ状の複数の分割領域に分割する。
【０４１９】
周波数解析部５５２は、各分割領域ごとに、フーリエ変換による周波数解析を行う。
【０４２０】
周波数頻度算出部５５３は、各分割領域ごとに、高周波成分の積分値を算出する。本例では、空間周波数が予め決められた高周波数範囲内である画素の数を算出する。
【０４２１】
領域決定部５５４は、高周波成分の積分値が最大である分割領域を注目領域と決定し、注目領域の位置を取得する。
【０４２２】
本実施例の視差ヒストグラム作成部５１は、注目領域に限定して頻度を算出し、視差ヒストグラムを作成する。
【０４２３】
第１４実施形態の実施例３の測距処理を、図６９のフローチャートを用いて説明する。ここで、注目領域決定（ステップＳ１４６９）よりも前は、図６４Ａ及び図６４Ｂと同様の処理（ステップＳ１４５０〜Ｓ１４６８）である。以下では、実施例１と異なる事項のみ説明する。
【０４２４】
ステップＳ１４６９にて、注目領域決定部５５により、頻度を算出する注目領域を決定し、視点画像から抽出する。
【０４２５】
図７０は、注目領域決定（Ｓ１４６９）の詳細を示す詳細フローチャートである。
【０４２６】
ステップＳ１４６９ａにて、画像分割部５５１により、視点画像をＭ×Ｎ個の分割領域に分割する。
【０４２７】
ステップＳ１４６９ｂにて、周波数解析部５５２により、各分割領域ごとに、フーリエ変換による周波数解析を行う。
【０４２８】
ステップＳ１４６９ｃにて、周波数頻度算出部５５３により、各分割領域ごとに、決められた周波数の頻度を算出する。即ち、各分割領域ごとに、高周波成分の積分値を算出する。
【０４２９】
ステップＳ１４６９ｄにて、領域決定部５５４により、頻度が最も高い分割領域の位置を取得する。即ち、高周波成分の積分値が最大である分割領域を注目領域と決定し、その注目領域の位置を取得する。
【０４３０】
ステップＳ１４７０以降は、実施例１と同じである。
【０４３１】
ここでは、高周波領域を注目領域と決定する場合を例に説明したが、本発明は上記態様に特に限定されない。例えば、以下の態様がある。
【０４３２】
第１に、ユーザにより指示入力された領域を、注目領域と決定する態様がある。
【０４３３】
第２に、視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、注目領域と決定する態様がある。例えば、視点画像を含む画像ファイルのヘッダから、撮影時の露出演算領域および合焦演算領域を示す情報（撮影時演算領域情報）を取得する。
【０４３４】
第３に、視点画像から特定対象を抽出した領域（特定対象抽出領域）を、注目領域と決定する態様がある。例えば、図７１Ｂに示すように、顔を特定対象として、顔抽出領域を注目領域と決定する。例えば、視点画像を含む画像ファイルのヘッダから、特定対象抽出領域を示す情報（特定対象抽出領域情報）を取得する。
【０４３５】
他の方法により、主要被写体領域を注目領域と決定してもよい。
【０４３６】
次に、第１４実施形態の実施例４について説明する。
【０４３７】
図７２は、第１４実施形態の実施例４の測距装置における代表視差決定部３０の詳細を示すブロック図である。それ以外の部分は、図６２に示した通りである。
【０４３８】
本実施例の代表視差決定部３０は、視差ヒストグラム作成部５１、最頻値検出部５２、注目領域決定部５５および重み決定部５６を含んで構成されている。ここで、重み決定部５６以外は、実施例３と同じである。重み決定部５６は、視点画像における各画素の位置に基づいて、視差ヒストグラムの頻度に対する重みを決定する。本実施例の視差ヒストグラム作成部５１は、頻度に対し重み付けを行う。
【０４３９】
第１４実施形態の実施例４の測距処理を、図７３のフローチャートを用いて説明する。
【０４４０】
ステップＳ１４６９〜Ｓ１４７０は、実施例３と同様である。
【０４４１】
ステップＳ１４７１にて、重み決定部５６により、重みを決定する。
【０４４２】
ステップＳ１４７２にて、視差ヒストグラム作成部５１により、頻度に対し重み付けを行って、視差ヒストグラムを作成する。
【０４４３】
本例では、図７４に示すように、ひとつの注目領域７４を、更に複数（例えば４×４個）の分割領域７４１に分割し、各分割領域毎に、重み係数を異ならせる。例えば、図７４に示すように、中央の２×２個の領域（太線７４２で囲まれた領域）の重み係数を、その周囲の領域の重み係数よりも大きくする。
【０４４４】
ステップＳ１４７４以降は、実施例３と同じである。
【０４４５】
なお、視差のヒストグラムを作成する場合を例に説明したが、距離のヒストグラムを作成する場合にも、本実施形態の記載事項を適用可能であることは、言うまでもない。
【０４４６】
また、図６２および図６４Ａ、図６４Ｂを用い、｜指定距離−代表距離｜を基準に最適キャリブレーションデータを特定する場合を例に説明したが、他の判断基準（例えば、相関度、縦ずれ量、視差演算画素数、局所ノイズ画素数など）を用いて最適キャリブレーションデータを特定する場合にも、本実施形態の記載事項を適用可能である。
【０４４７】
図７５は本発明の好ましい第１５実施形態に係る測距装置１００のブロック図である。この装置は情報処理装置（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。
【０４４８】
画像入力部１は、メモリカード、フラッシュメモリ、ＣＤＲＯＭ、ＤＶＤＲＯＭなどの各種の記録メディアやなどの記憶媒体から、あるいはカメラと接続されたＵＳＢなどの周辺機器接続用汎用インターフェースから、あるいはインターネットやＬＡＮなどのネットワークから、基準画像（視点の異なる複数の撮像手段を備えたカメラのうち、予め定められた１つの基準撮像手段で被写体を撮像した視点画像）および参照画像（当該カメラの基準撮像手段以外の撮像手段から得られた被写体の視点画像）の組を入力する。画像入力部１が入力した基準画像および参照画像は画像記憶部２に記憶される。
【０４４９】
以下では、基準画像と参照画像とのステレオマッチングを可能にするため、基準画像および参照画像は少なくとも輝度情報を含むものとする。３Ｄ画像に色情報を付加するため、基準画像は色情報を含んでもよい。
【０４５０】
焦点位置テーブル４０はＥＥＰＲＯＭなどの不揮発性記憶媒体で構成され、所望の被写体距離に対応する焦点位置を規定する焦点位置テーブルを記憶する。例えば、焦点位置テーブル４０には、特許文献１１の焦点位置テーブルが記憶される。ここで、被写体距離とはカメラから被写体までの距離である。例えば、カメラの合焦制御機構（ＴＴＬのオートフォーカスや、赤外線三角測距方式や瞳分割位相差検出方式を用いた外部測距方式のオートフォーカスなど）により合焦した被写体までの距離や、視差ベクトルに基づいて算出された距離情報（特許文献４など）を被写体距離とすることができる。
【０４５１】
キャリブレーションデータ入力部３は、メモリカード、フラッシュメモリ、ＣＤＲＯＭ、ＤＶＤＲＯＭなどの各種の記録メディアやなどの記憶媒体から、あるいはパソコンから、あるいはキーボードなどのユーザインターフェースから、あるいはインターネットやＬＡＮなどのネットワークから、キャリブレーションデータを入力する。キャリブレーションデータは、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部バラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータの組を含む。当該組は複数入力される。
【０４５２】
また、パラメータの組の各々は、所定の複数の焦点位置のいずれかと対応づけられている。
【０４５３】
所定の複数の焦点位置は、位置１、位置３、位置５・・のように離散的な値でもよいし、全ての焦点位置でもよい。キャリブレーションデータ入力部３が入力した焦点位置ごとのキャリブレーションデータはキャリブレーションデータ記憶部４に記憶される。
【０４５４】
３Ｄフォーマット変換部７、画像ファイル分析部８、キャリブレーションデータ分析部２３、拡大・縮小部２４、距離初期推定部２５、領域切出部２６、初期キャリブレーションデータ選択部２７、測距演算部２９、測距演算結果評価・判定部３２、キャリブレーションデータ更新選択部３６、焦点位置選択部４１は、コプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１０５の処理動作を補助する。ただしＣＰＵ１０５そのものがこれらの各部の役割を担ってもよい。
【０４５５】
また画像記憶部２、キャリブレーションデータ記憶部４、演算結果記憶部１９、シーン特徴記憶部３７、焦点位置記憶部３８は、ＲＡＭなどの揮発性記憶媒体で構成される。
【０４５６】
測距演算パラメータ入力部３９は、キーボード、マウス、タッチパネル、音声入力インターフェース、視線入力インターフェースなど、ユーザの動作によるデータ入力を受け付ける手段（ユーザインターフェース）である。
【０４５７】
図７６は距離測定装置の実行する測距処理の概略を示すフローチャートを示す。この処理を距離測定装置のＣＰＵ１０５に実行させるためのプログラムは、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ＣＤＲＯＭ、ＤＶＤなどのコンピュータ読み取り可能な記録媒体である記憶部１０１に記録されており、ＣＰＵ１０５がこの記録媒体からこのプログラムを読み出して実行する。
【０４５８】
Ｓ１では、ＣＰＵ１０５はこれまでに基準画像の入力源となったことのない新たなカメラから基準画像が画像入力部１から入力されたか否かを判断する。Ｙｅｓの場合はＳ２、Ｎｏの場合はＳ３に進む。具体的には、例えば、ＥＥＰＲＯＭのような不揮発性記憶媒体に、これまで基準画像の入力源となったカメラの識別情報を格納しておき、ＣＰＵ１０５がその識別情報と、新たに入力された基準画像の付帯情報に格納されているカメラの識別情報とを比較照合して、両者が一致すればＮｏ，両者が一致しなければＹｅｓと判断する。
【０４５９】
Ｓ２では、新たなカメラの種類に対応したキャリブレーションデータをキャリブレーションデータ入力部３から入力する。
【０４６０】
Ｓ３では、基準画像および参照画像を画像入力部１から入力する。
【０４６１】
Ｓ４では、初期キャリブレーションデータ選択部２７は、初期キャリブレーション選択処理を実行する。この処理の詳細は後述する。
【０４６２】
Ｓ５では、測距演算部２９は、初期キャリブレーション選択処理の結果選択されたキャリブレーションデータに基づいて、基準画像の被写体の３次元計測を行い、距離情報、視差情報、３次元位置情報などを含む３次元情報（点群情報）を得る。３次元情報は演算結果記憶部１９に記憶される。
【０４６３】
Ｓ６では、測距演算結果評価・判定部３２は、演算結果評価処理を実行する。この処理の詳細は後述する。
【０４６４】
Ｓ７では、測距演算結果評価・判定部３２は、演算結果判定処理を実行する。この処理の詳細は後述する。演算結果判定処理の結果、演算結果が信頼できると判定された場合はＳ９に進み、演算結果が信頼できないと判定された場合はＳ８に進む。
【０４６５】
Ｓ８では、キャリブレーションデータ更新選択部３６は、キャリブレーションデータ更新・再選択処理を実行する。この処理の詳細は後述する。
【０４６６】
Ｓ９では、３Ｄフォーマット変換部７は、３次元情報に基づき、基準画像を立体視可能な３Ｄ画像（右目用画像および左目用画像）に変換する。
【０４６７】
Ｓ１０では、３Ｄ画像出力部１８は、３Ｄ画像と３次元情報を出力する。３Ｄ画像と３次元情報の出力先は表示装置、記録媒体、ネットワーク上の情報通信機器、３Ｄプリンタなどを含みうる。
【０４６８】
Ｓ１１では、ＣＰＵ１０５は、画像入力部１に新たな基準画像が入力されたか否かを判断する。Ｙｅｓの場合はＳ１に戻り、Ｎｏの場合は処理を終了する。
【０４６９】
図７７は初期キャリブレーションデータ選択処理（Ｓ４）の詳細なフローチャートである。
【０４７０】
Ｓ２１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、被写体距離を取得する。例えば、Exifタグの被写体距離(SubjectDistance)を取得する。
【０４７１】
Ｓ２２では、距離初期推定部２５は、画像ファイル分析部８の取得した被写体距離を、基準画像の被写体に関する被写体距離と推定する。焦点位置選択部４１は、焦点位置テーブル４０の焦点位置テーブルに基づき、推定された被写体距離に対応する焦点位置を選択する。そして、焦点位置選択部４１は、選択された焦点位置であるカレント焦点位置を焦点位置記憶部３８に記憶する。
【０４７２】
Ｓ２３では、初期キャリブレーションデータ選択部２７は、焦点位置記憶部３８に記憶されたカレント焦点位置に近接する上位２組の焦点位置に対応づけられたキャリブレーションデータをキャリブレーションデータ記憶部４から選択する。
【０４７３】
Ｓ２４では、初期キャリブレーションデータ選択部２７は、選択された２組のキャリブレーションデータを内挿して、焦点位置記憶部３８に記憶されたカレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはカレント焦点位置に対応づけられてキャリブレーションデータ記憶部４に記憶される。
【０４７４】
図７８は演算結果評価処理（Ｓ６）および演算結果判定処理（Ｓ７）の詳細フローチャートを示す。
【０４７５】
Ｓ３１では、画像ファイル分析部８は、基準画像の付帯情報から被写体位置情報を取得する。これは例えば、測距演算前に、Exifタグの被写体位置ブロック(SubjectLocation)を参照することで取得することができる。
【０４７６】
Ｓ３２では、測距演算結果評価・判定部３２は、基準画像のＡＦ領域内の各画素の測距結果（３Ｄ座標値）から、ＡＦ領域内の各画素までの距離を計算する。
【０４７７】
Ｓ３３では、測距演算結果評価・判定部３２は、ＡＦ領域内の各画素までの距離に基づくヒストグラムを作成する。このヒストグラムが、初期キャリブレーションデータの信頼性を示す信頼性情報である。
【０４７８】
Ｓ３４では、測距演算結果評価・判定部３２は、Ｓ３３で作成したヒストグラムのピークとその半値幅の対応する距離と、測距演算に使用した推定被写体距離（Ｓ２２）とを比較する。そして、演算結果判定処理（Ｓ３５）に進む。
【０４７９】
Ｓ３５では、測距演算結果評価・判定部３２は、Ｓ３４での比較の結果、推定被写体距離がヒストグラムのピークの半値幅に対応する距離の範囲内にあるか否かを判断する。当該推定被写体距離が当該範囲内にある場合は、演算結果が信頼できると判定してＳ９に進む。当該推定被写体距離が当該範囲内にない場合は、演算結果が信頼できないと判定してＳ８に進む。
【０４８０】
図７９はキャリブレーションデータ更新・再選択処理（Ｓ８）の詳細なフローチャートである。
【０４８１】
Ｓ４１では、焦点位置選択部４１は、Ｓ３３と同様にして作成したヒストグラムのピーク位置に対応する距離を推定被写体距離とみなし、この被写体距離に対応する焦点位置を焦点位置テーブル４０から選択して、該選択された焦点位置をカレント焦点位置として焦点位置記憶部３８に記憶する。
【０４８２】
Ｓ４２では、焦点位置記憶部３８に記憶されたカレント焦点位置に近接する上位２つの焦点位置に対応するキャリブレーションパラメータの組を、キャリブレーションデータ記憶部４から抽出する。
【０４８３】
Ｓ４３では、キャリブレーションパラメータの組を内挿して、カレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはカレント焦点位置に対応づけられてキャリブレーションデータ記憶部４に記憶される。
【０４８４】
図８０は第１６実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７の処理の代わりに実行されることができる。
【０４８５】
Ｓ５１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、撮影時のフォーカスレンズの位置に対応する駆動・BR>Pルス数の位置（カメラ起動時または駆動範囲の端までフォーカスレンズが駆動された時からの駆動パルス設定値の積算値）と、パルス履歴（カメラ起動時または駆動範囲の端までフォーカスレンズが駆動された時からの駆動パルス数の総積算値か、または近側パルスから遠側パルスへの総切り換え回数）を取得する。
【０４８６】
Ｓ５２では、距離初期推定部２５は、Ｓ５１で取得されたパルス数から被写体距離を算出する。パルス数からの被写体距離の算出は特許文献６のようにして行うことができる。距離初期推定部２５は、算出された被写体距離を、基準画像の被写体に対する被写体距離と推定する。
【０４８７】
Ｓ５３では、初期キャリブレーションデータ選択部２７は、総パルス数および総切り換え数がそれぞれ対応する規定の閾値以下であるか否かを判断する。Ｙｅｓの場合はＳ５４、Ｎｏの場合はＳ５６に進む。
【０４８８】
Ｓ５４では、焦点位置選択部４１は、Ｓ５２で推定された被写体距離に対応する焦点位置を焦点位置テーブル４０から選択して、該選択された焦点位置をカレント焦点位置として焦点位置記憶部３８に記憶する。
【０４８９】
初期キャリブレーションデータ選択部２７は、焦点位置記憶部３８に記憶されたカレント焦点位置に近接する上位２組の焦点位置に対応づけられたキャリブレーションデータをキャリブレーションデータ記憶部４から選択する。
【０４９０】
Ｓ５５では、初期キャリブレーションデータ選択部２７は、選択された２組のキャリブレーションデータを内挿して、焦点位置記憶部３８に記憶されたカレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはキャリブレーションパラメータ記憶部４に記憶される。そして処理を終える。
【０４９１】
Ｓ５６では、Ｓ５２で算出されたカレント焦点位置に近接する上位３組の焦点位置に対応するキャリブレーションデータをキャリブレーションデータ記憶部４から選択する。
【０４９２】
Ｓ５７では、初期キャリブレーションデータ選択部２７は、選択された３組のキャリブレーションデータを２次関数でフィッティングして、焦点位置記憶部３８に記憶されたカレント焦点位置に対応するキャリブレーションパラメータを作成する。作成されたキャリブレーションパラメータはカレント焦点位置に対応づけられてキャリブレーションパラメータ記憶部４に記憶される。そして処理を終える。
【０４９３】
図８１は演算結果判定処理（Ｓ７）の他の詳細フローチャートを示す。
【０４９４】
Ｓ６１では、Ｓ５３と同様の判断を行い、Ｙｅｓと判断されればＳ６２、Ｎｏと判断されればＳ６３に進む。
【０４９５】
Ｓ６２では、Ｓ３５と同様の判断を行い、その判断結果に応じてＳ９またはＳ８に進む。
【０４９６】
Ｓ６３では、測距演算結果評価・判定部３２は、総パルス数および総切り換え数がそれぞれ対応する規定の閾値（規定の閾値は２以下の数値）以下であるか否かを判断する。Ｙｅｓの場合はＳ６４、Ｎｏの場合はＳ６５に進む。
【０４９７】
Ｓ６４では、測距演算結果評価・判定部３２は、Ｓ３３で作成したヒストグラムのピークとその半値幅の対応する距離と、測距演算に使用した推定被写体距離とを比較する。そして、推定被写体距離が、ヒストグラムのピークの中央部１０％に対応する距離の範囲内にあるか否かを判断する。当該被写体距離が当該範囲内にある場合は、演算結果が信頼できると判定しＳ９に進む。当該被写体距離が当該範囲内にない場合は、演算結果が信頼できないと判定してＳ８に進む。
【０４９８】
Ｓ６５では、測距演算結果評価・判定部３２は、演算結果が信頼できないと判定してＳ８に進む。
【０４９９】
図８２は第１７実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７または８０の処理の代わりに実行されることができる。
【０５００】
Ｓ７１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、撮影モード情報を取得する。例えば、Exifタグの撮影シーン・タイプSceneCaptureType(風景、人物ポートレート、夜景などを含む)を撮影モード情報として取得する。
【０５０１】
Ｓ７２では、距離初期推定部２５は、Ｓ７１で取得された撮影モード情報が「人物ポートレート」であるか否かを判断する。Ｙｅｓの場合はＳ７３に進み、Ｎｏの場合はＳ７４に進む。
【０５０２】
Ｓ７３では、距離初期推定部２５は、予めＲＯＭなどに格納された撮影モード−撮影距離対応テーブル２０に基づき、「人物ポートレート」に対応する距離＝２ｍを被写体距離と推定する。
【０５０３】
Ｓ７４では、距離初期推定部２５は、Ｓ７１で取得された撮影モード情報が「風景」であるか否かを判断する。Ｙｅｓの場合はＳ７５に進み、Ｎｏの場合はＳ７６に進む。
【０５０４】
Ｓ７５では、距離初期推定部２５は、撮影モード−撮影距離対応テーブル２０に基づき、「風景」に対応する距離＝１０ｍを被写体距離と推定する。
【０５０５】
Ｓ７６では、距離初期推定部２５は、本実施形態以外の任意の初期キャリブレーションデータ選択処理により被写体距離を推定する。
【０５０６】
その後、推定された被写体距離に対応する焦点位置の選択、選択された焦点位置に基づく初期キャリブレーションデータの算出が行われる。これは上述と同様である。
【０５０７】
図８３は第１８実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０または８２の処理の代わりに実行されることができる。
【０５０８】
Ｓ８１では、画像データ分析部１６は、基準画像から被写体検出を行う。被写体検出は周知の手法、例えば特許文献７や８のようにして行えばよい。画像データ分析部１６は、検出された被写体のサイズD（例えば矩形領域の縦横の長さに相当するピクセル数ｎ×ｍ）を検出する。画像データ分析部１６は、検出された被写体が複数存在する場合、その中で所定の基準を満たすもの（例えば最も画面中央に位置する被写体）を代表被写体とし、その代表被写体のサイズを検出する。なお、被写体は顔に限らず、周知の物体検出技術により、顔でなく他の特定の種類の被写体のサイズが検出されてもよい。
【０５０９】
Ｓ８２では、画像データ分析部１６は、被写体サイズ記憶部２２に予め記憶された、標準的被写体サイズを取得する。
【０５１０】
Ｓ８３では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、カメラ機種情報を取得する。例えば、Exifタグのカメラの機種名Modelをカメラ機種情報として取得する。
【０５１１】
Ｓ８４では、距離初期推定部２５は、カメラ画角ＤＢ２１に予め記憶されたカメラ機種情報ごとの撮影画像の画角情報のうち、Ｓ８３で取得されたカメラ機種情報に対応する画角情報を取得する。画角情報は、撮影画角a[rad]、基準画像の画素数w[pixel]を含む。
【０５１２】
Ｓ８５では、距離初期推定部２５は、Ｓ８４の撮影画角a[rad]、基準画像の画素数w[pixel]、Ｓ８２の標準的被写体サイズn[pixel]、Ｓ８１の実際の被写体サイズD[mm]に基づいて、撮影距離L[mm]を算出する。すなわち、
L=Dw/(2ntan(a/2))
とする。距離初期推定部２５は、Lを被写体距離と推定し、以下、当該推定被写体距離に対応する焦点位置の選択、選択された焦点位置に基づく初期キャリブレーションデータの算出が行われる。なお、顔以外の特定の種類の被写体に対応する標準的サイズを用意しておけば、当該種類の被写体のサイズが検出された場合、その標準的サイズと検出サイズとから撮影距離が算出されうる。
【０５１３】
図８４は第１９実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２または８３の処理の代わりに実行されることができる。
【０５１４】
Ｓ９１では、拡大・縮小部２４は、基準画像および基準画像と組をなす参照画像を縮小する。縮小率は予め記憶部１０１に記録された値であり、例えば１／４である。
【０５１５】
Ｓ９２では、距離初期推定部２５は、縮小された基準画像と参照画像に基づいて相関演算を行う。距離初期推定部２５の相関演算はＳＡＤ法など各種の手法により行われる（特許文献９参照）。次に、距離初期推定部２５は、基準画像の各画素に対応する参照画像の対応点検索を行う。そして、互いに対応する基準画像上の画素と、参照画像上の画素との視差を算出する。
【０５１６】
Ｓ９３では、距離初期推定部２５は、画素ごとの視差からヒストグラムを作成する。
【０５１７】
Ｓ９４では、距離初期推定部２５は、作成したヒストグラムのピークを、距離を示す視差d[pixel]とする。
【０５１８】
Ｓ９５では、距離初期推定部２５は、キャリブレーションデータ記憶部４に予め記憶された、所定の初期キャリブレーションパラメータに基づいて、視差dを被写体距離L[mm]へ変換する。所定の初期キャリブレーションパラメータの内容は任意である。距離初期推定部２５は、Lを現在の被写体に対する被写体距離と推定する。以下、焦点位置選択部４１は、推定された被写体距離Lに対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、Lに対応して選択された焦点位置をカレント焦点位置とし、図７７のＳ２３〜２４を実行する。
【０５１９】
図８５は第２０実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３または８４の処理の代わりに実行されることができる。
【０５２０】
Ｓ１０１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、基準画像におけるフォーカスエリアの位置情報（フォーカスエリア情報）を付帯情報から取得する。例えば、画像ファイル分析部８は、ExifタグのＡＦ領域(NKAFFocusPoint)をフォーカスエリア情報として取得する。
【０５２１】
Ｓ１０２では、領域切出部２６は、フォーカスエリア情報によって特定される基準画像のフォーカスエリア内の画像をそれぞれ切り出す。
【０５２２】
Ｓ１０３では、距離初期推定部２５は、相関演算部３０により、切り出された基準画像のフォーカスエリアの画像と参照画像に基づいて相関演算を行う。相関演算部３０の相関演算はＳＡＤ法など各種の手法により行われる。次に、距離初期推定部２５は、基準画像の切り出し画像の各画素に対応する参照画像の対応点検索を行う。そして、互いに対応する基準画像上の画素と、参照画像上の画素との視差を算出する。
【０５２３】
Ｓ１０４では、距離初期推定部２５は、画素ごとの視差からヒストグラムを作成する。距離初期推定部２５は、作成したヒストグラムのピークを、被写体距離を示す視差d[pixel]とする。距離初期推定部２５は、キャリブレーションデータ記憶部４に予め記憶された、所定の初期キャリブレーションパラメータに基づいて、視差dを被写体距離L[mm]へ変換する。これらの処理はＳ９４・９５と同様である。また所定の初期キャリブレーションパラメータの内容は任意である。
【０５２４】
以下、焦点位置選択部４１は、Lに対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、Lに対応して選択された焦点位置をカレント焦点位置とし、図７７のＳ２３〜２４を実行する。
【０５２５】
図８６は第２１実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４または８５の処理の代わりに実行されることができる。
【０５２６】
Ｓ１１１では、画像ファイル分析部８は、入力された基準画像の画像データファイル付帯情報を分析し、カメラ機種情報を取得する。例えば、Exifタグのカメラの機種名Modelを撮影モード情報として取得する。
【０５２７】
Ｓ１１２では、距離初期推定部２５は、予め輻輳距離ＤＢ２８に記憶されたカメラ機種ごとの輻輳距離のうち、取得されたカメラ機種情報に対応する輻輳距離を取得する。
【０５２８】
Ｓ１１３では、距離初期推定部２５は、取得された輻輳距離を被写体距離と推定する。その後、焦点位置選択部４１は、当該被写体距離に対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、当該選択された焦点位置をカレント焦点位置とし、初期キャリブレーションデータ選択部２７は、図７７のＳ２３〜２４を実行する。
【０５２９】
図８７は第２２実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４、８５または８６の処理の代わりに実行されることができる。
【０５３０】
Ｓ１２１では、距離初期推定部２５は、キャリブレーションデータ記憶部４に予め記憶された、所定の初期キャリブレーションパラメータを取得する。
【０５３１】
Ｓ１２２では、距離初期推定部２５は、取得した所定の初期キャリブレーションパラメータに基づいて、カメラの各撮像手段の外部パラメータを取得する。外部パラメータは、ある世界座標系における、カメラの位置座標とカメラの各撮像手段の光軸の方向を記述している。
【０５３２】
Ｓ１２３では、距離初期推定部２５は、取得した外部パラメータに基づき、カメラから輻輳点までの距離である輻輳距離を算出する。例えば、上記世界座標系におけるカメラの撮像手段Ａの位置座標と光軸の方向ベクトルと、カメラの撮像手段Ｂの座標で構成される平面を取得する。次に、撮像手段Ｂの方向ベクトルをこの平面に射影する。次に、撮像手段Ａの方向ベクトルと、射影された撮像手段Ｂの方向ベクトルの交点を、輻輳点とする。そして、撮像手段Ａの位置座標と輻輳点との距離を輻輳距離とする。距離初期推定部２５は、算出された輻輳距離を被写体距離と推定する。
【０５３３】
その後、焦点位置選択部４１は、当該推定被写体距離に対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、当該選択された焦点位置をカレント焦点位置とし、初期キャリブレーションデータ選択部２７は、図７７のＳ２３〜２４を実行する。
【０５３４】
図８８は第２３実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４、８５、８６または８７の処理の代わりに実行されることができる。
【０５３５】
Ｓ１３１では、シーン特徴分析部３５は、今回入力された基準画像の特徴を分析する。特徴とは、撮影モードおよび／または被写体人物の有無を含む。撮影モードは上述のように基準画像の付帯情報から取得されてもよい。分析結果はシーン特徴記憶部３７に記憶される。
【０５３６】
Ｓ１３２では、シーン特徴分析部３５は、前回画像入力部１から入力された基準画像の特徴の分析結果がシーン特徴記憶部３７に記憶されているか否かを判断する。Ｙｅｓの場合はＳ１３３、Ｎｏの場合はＳ１３６に進む。
【０５３７】
Ｓ１３３では、シーン特徴分析部３５は、前回の基準画像の特徴の分析結果をシーン特徴記憶部３７から取得する。
【０５３８】
Ｓ１３４では、シーン特徴分析部３５は、前回の基準画像の特徴の分析結果と、Ｓ１３１で得られた今回の基準画像の特徴の分析結果とを比較し、両者が異なるか否かを判断する。Ｙｅｓの場合はＳ１３６、Ｎｏの場合はＳ１３５に進む。
【０５３９】
Ｓ１３５では、距離初期推定部２５は、前回の基準画像について推定した被写体距離を、今回の基準画像についての被写体距離と推定する。
【０５４０】
Ｓ１３６では、距離初期推定部２５は、前回の基準画像について適用された初期キャリブレーションデータ選択処理（図７７、８０、８２、８３、８４、８５または８６の処理のうちいずれか１つ）とは異なる所望の初期キャリブレーションデータ選択処理を実施し、被写体距離を推定する。どの初期キャリブレーションデータ選択処理を実施するかは、記憶部１０１の記録データで指定されていてもよいし、ユーザインターフェースから任意に指定されてもよい。
【０５４１】
Ｓ１３７では、焦点位置選択部４１は、Ｓ１３５またはＳ１３６で推定された被写体距離に対応する焦点位置を焦点位置テーブル４０に基づいて選択する。初期キャリブレーションデータ選択部２７は、Ｓ２３およびＳ２４の処理を実行し、選択された焦点位置に対応する初期キャリブレーションデータを作成する。
【０５４２】
Ｓ１３８では、シーン特徴分析部３５は、Ｓ１３１で得られた画像データの特徴をシーン特徴記憶部３７に記憶する。
【０５４３】
本処理はＳ１３８で完結する。ただしその後、Ｓ１３９では、測距演算部２９は、選択された初期キャリブレーションデータに従って画素ごとの測距を行う。そして、Ｓ１４０では、作成された初期キャリブレーションデータをキャリブレーションパラメータ記憶部４に記憶し、測距情報をキャリブレーションパラメータ記憶部４に記憶する。
【０５４４】
図８９は第２４実施形態に係る初期キャリブレーションデータ選択処理（Ｓ４）の他の詳細なフローチャートである。この処理は図７７、８０、８２、８３、８４、８５、８６または８８の処理の代わりに実行されることができる。
【０５４５】
Ｓ１５１では、測距演算パラメータ入力部３９は、測距範囲の最小距離zmin[mm]、測距範囲の最大距離zmin[mm]、相関ウィンドウサイズw[pixel]の入力を受け付ける。これらの情報は予め記憶部１０１に設定されていてもよい。
【０５４６】
Ｓ１５２では、距離初期推定部２５は、入力された測距範囲の中央値を被写体距離Lと推定する。すなわち、被写体距離L[mm]=(zmin+zmax)/2である。
【０５４７】
以下、焦点位置選択部４１は、Lに対応する焦点位置を選択し、初期キャリブレーションデータ選択部２７は、Lに対応して選択された焦点位置をカレント焦点位置とし、図７７のＳ２３〜２４を実行する。
【０５４８】
図９０は第２５実施形態に係るキャリブレーションデータ記憶部４に記憶されるキャリブレーションパラメータの構造を例示する。所定の複数の焦点位置に対応するカメラの撮像手段ごとのキャリブレーションパラメータは、ディストーションパラメータの中心座標、係数、外部パラメータ行列、内部パラメータ行列を含む。カレント焦点位置が、所定の複数の焦点位置の間にある場合は、取得された焦点位置に隣接する所定の２つの焦点位置に対応するキャリブレーションパラメータを内挿したりフィッティングするなどの線形補間でそのカレント焦点位置に対応するキャリブレーションパラメータを算出する。
【０５４９】
図９１はキャリブレーションデータ記憶部４に記憶されるキャリブレーションパラメータの他の構造を例示する。
【０５５０】
所定の複数の焦点位置に対応するカメラの撮像手段ごとのキャリブレーションパラメータは、ディストーションパラメータの中心座標の関数、係数、外部パラメータ行列、内部パラメータの焦点距離、光軸中心座標を含む。各パラメータの関数は予め定義された焦点位置Lをパラメータとする多項式で近似的に表現するため、その係数だけがキャリブレーションパラメータとして格納されていれば足りる。例えば、焦点距離fx(L)の関係を示す多項式は、
fx(L)=fx2 * L2+ fx1 * L + fx0
で定義される。
【０５５１】
図９１において、外部パラメータは、３×４行列で表現される。この行列の要素は、１つの３×３回転行列と、１つの３次元ベクトルであり、要素数は１２である。内部パラメータは５つの要素で表現される。ディストーションパラメータは４つの要素で表現される。各パラメータの各要素は焦点位置を変数とするｎ次多項式関数（例えばｎ＝２）で表現されるため、実際には、キャリブレーションパラメータとして当該多項式関数の各次数に対応する係数と定数項を格納しておけば足りる。
【０５５２】
図９２は第２６実施形態に係る基準画像および参照画像を測距装置１００に提供可能なカメラの電気的構成を示す。第１撮像部１０２ａは、レンズ光軸Ｌ１に沿って配列された第１ズームレンズ１１１、第１絞り１１２、第１フォーカスレンズ１１３を含む第１撮像光学系、及び第１撮像素子１１４によって構成されている。図示は省略するが、第１ズームレンズ１１１には第１ズームレンズモータ、第１絞り１１２には第１絞りモータ、第１フォーカスレンズ１１３には第１フォーカスレンズモータが接続されている。また、第１撮像素子１１４にはタイミングジェネレータ（ＴＧ）を含む第１撮像素子制御部１１８が接続されている。各モータ及び第１撮像素子制御部１１８の動作はＣＰＵ１１９によって制御され、モータの実際の駆動開始および終了はＣＰＵ１１９の制御に従って光学系制御１２９が指示する。
【０５５３】
光学系制御１２９は、第１ズームレンズモータを制御し、ボタン（操作部）１０９からのズーム操作に応じて、第１ズームレンズ１１１をレンズ光軸Ｌ１に沿って広角側あるいは望遠側に移動させ、ズーム倍率を変化させる。第１絞りモータは、ＡＥ（Auto Exposure）動作時に第１絞り１１２の開口値（絞り値）を変化させて光束を制限し、露出調整を行う。第１フォーカスレンズレンズモータは、ＡＦ（Auto Focus）動作時に第１フォーカスレンズ１１３をレンズ光軸Ｌ１に沿って無限遠側あるいは至近側に移動させ、ＡＦ評価値のピークに対応する焦点位置である合焦位置を探索し、ピント調整を行う。
【０５５４】
第１撮像素子１１４は、ＣＣＤやＣＭＯＳなどの固体撮像素子で構成され、第１ズームレンズ１１１、第１絞り１１２、及び第１フォーカスレンズ１１３からなる第１撮像光学系によって結像された被写体光を受光し、受光量に応じた光電荷を蓄積する。第１撮像素子１１４の光電荷蓄積・転送動作は、撮像素子制御部１１８によって制御され、撮像素子制御部１１８から入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１撮像素子１１４は、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、アナログ信号処理回路１２８ａに入力する。
【０５５５】
第２撮像部１０２ｂは、第１撮像部１０２ａと略同等の構成であり、レンズ光軸Ｌ２に沿って配列された第２ズームレンズ１２０、第２絞り１２１、第２フォーカスレンズ１２２を含む第２撮像光学系を含む。また、図示は省略するが、第２撮像部１０２ｂは、第２ズームレンズ１２０に接続された第２ズームレンズモータ、第２絞り１２１に接続された第２絞りモータ、第２フォーカスレンズ１２２に接続された第２フォーカスレンズモータと、それらの駆動を制御する第２光学制御部１３０を含む。また、第２撮像部１０２ｂは、第２撮像素子１２３に接続されたタイミングジェネレータ（ＴＧ）である第２撮像素子制御部１２７を含む。各モータ及び第２撮像素子制御部１２７の動作はＣＰＵ１１９によって制御される。
【０５５６】
第２撮像素子１２３は、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、アナログ信号処理回路１２８ａに入力する。
【０５５７】
第１撮像部２ａと第２撮像部２ｂとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。よって、一方で静止画、他方で動画を撮影したり、双方で静止画、あるいは双方で動画を撮影することもできる。
【０５５８】
ただし、第２撮像部１０２ｂは、第１撮像部１０２ａよりも簡素化された構成でもよい。例えば、第２撮像素子１２３は、少なくとも輝度信号を出力できる構成であり、例えばモノクロＣＣＤなどで構成されてもよい。あるいは、第２撮像部１０２ｂには、ズーム機能やＡＦ機能がなくてもよい。
【０５５９】
ＣＰＵ１１９は、操作部１０９のシャッタボタンが押された時点で（あるいはタイマー１５５が所定の時間経過の計時を完了した時点で）撮像素子制御部１１８・１２７に対し、露光開始信号を撮像素子１１４・１２３に向けて供給させるよう指示する。このときに測光結果により撮影補助光の発光が必要であるとＣＰＵ１１９が判定した場合には、シャッタボタンの押下に同期して、ＬＥＤなどで構成された発光部１５０に撮影補助光を発光させるよう発光制御手段１５１に指示する。なお発光部１５０の発光電源はバッテリ１５２から供給される。
【０５６０】
こうして被写界輝度が明るいときには撮影補助光の発光なしに、また被写界輝度が暗いときには撮影補助光が発光され撮影が行なわれたら、ＣＰＵ１１９は、撮像素子制御部１１８・１２７、発生回路１２１に指示を出して所定のシャッタ秒時後に露光終了信号を撮像素子１１４・１２３に向けて供給させ、その露光終了信号に同期して撮像素子１１４・１２３から画像信号を出力させる。
【０５６１】
第１及び第２撮像素子１１４，１２３から出力された撮像信号は、それぞれアナログ信号処理１２８ａ、ｂ（まとめて撮像回路１２８と表記）に含まれる相関二重サンプリング回路（ＣＤＳ）に入力される。ＣＤＳは、第１及び第２撮像素子１１４・１２３の各受光素子の蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを、増幅器（ＡＭＰ）に入力し増幅する。増幅された第１及び第２撮像素子１１４，１２３からの撮像信号は、それぞれＡ／Ｄ変換器１２９ａまたは１２９ｂ（まとめて撮像回路１２９と表記）に入力される。Ａ／Ｄ変換器１２９は、入力された画像データをアナログからデジタルに変換する。撮像回路１２８に含まれるＣＤＳ・ＡＭＰと、Ａ／Ｄ変換器１２９を通して、第１撮像素子１１４の撮像信号は第１画像データ（基準画像）として、第２撮像素子１２３の撮像信号は第２画像データ（参照画像）として出力される。
【０５６２】
デジタル信号処理回路１３１は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理をＡ／Ｄ変換器１２９から入力された第１及び第２画像データに施す。メモリ１３２は、デジタル信号処理回路１３１で各種画像処理が施された第１及び第２画像データを一時的に格納する。
【０５６３】
ＡＦ／ＡＥ制御部１３３は、メモリ１３２に格納された第１及び第２画像データの各々からＡＦ評価値及びＡＥ評価値を算出する。ＡＦ評価値は、各画像データに設定された所定のＡＦ領域（例えば画像の中央部や画像の全領域など）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データに設定された所定のＡＥ領域（例えば画像の中央部や画像の全領域など。ＡＦ領域と同一でもよい）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値及びＡＥ評価値は、上述のＡＦ動作（自動焦点制御）及びＡＥ動作（自動露出制御）においてそれぞれ使用される。
【０５６４】
２Ｄ／３Ｄ表示制御部１３４は、操作部９からパノラマ撮影モードが選択された場合、メモリ１３２に格納されている第１及び第２画像データの重なる領域を繋ぐような関連付けおよび合成を行う。２Ｄ／３Ｄ表示制御部１４０の合成した画像をパノラマ画像という。２Ｄ／３Ｄ表示制御部１４０は、パノラマ画像をメモリ１３２に記憶し、このパノラマ画像データが、２Ｄ／３Ｄ表示制御部１３４を介してＬＣＤ１１０にスルー画として表示される。
【０５６５】
２Ｄ／３Ｄ表示制御部１３４は、操作部９から立体撮影モードが選択された場合、メモリ１３２に格納されている第１及び第２画像データを、表示部１１０が立体表示を行うための３Ｄ画像（立体画像データ）に変換する。その方法はＳ９に示したとおりである。撮影モード時に表示部１１０が電子ビューファインダとして使用される際には、２Ｄ／３Ｄ表示制御部１３４によって合成された立体画像データが、表示部１０にスルー画として表示される。
【０５６６】
２Ｄ／３Ｄ表示制御部１３４は、操作部９から２枚同時撮影モードが選択された場合、第１及び第２画像データをそれぞれ独立した個別画像データに構成し、個別画像データは、図示しないＯＳＤ信号発生回路から供給された区切り枠の映像などで区別された上、表示部１１０にスルー画として表示される。
【０５６７】
カードＩ／Ｏ部１３６は、操作部１０９から撮影指示が入力されたことに応じてメモリ１３２に記憶された第１及び第２画像データ（パノラマ画像データ、立体画像データ、個別画像データ）に対して、ＪＰＥＧやＭＰＥＧ方式等の圧縮形式により圧縮処理を施す。カードＩ／Ｏ部１３６は、デジタル信号処理回路１３１によって圧縮処理された画像データをメモリカード等の記録媒体１３８に記録させる。なお、異なる光学系に対応した画像データを１つの画像ファイル内に記録してもよいし、２つ以上の独立した画像ファイルとしてもよい。
【０５６８】
ただし、２つの独立した画像ファイルの付帯情報（ヘッダ情報、タグ情報その他）には、画像データを撮影した第１撮像部２ａの識別情報（例えば「１」）または第２撮像部２ｂの識別情報（例えば「２」）と撮影日時情報と撮影時に選択されていた撮影モードが記録され、撮影日時情報の同一性によって同時に撮影された２枚の画像の関連づけを行う。
【０５６９】
また、ＣＰＵ１１９は、カードＩ／Ｏ部１３６を介して、撮影モード、被写体距離、被写体位置情報、撮影時のフォーカスレンズ１１３・１２２の位置に対応する駆動パルス数の位置（カメラ起動時または駆動範囲の端までフォーカスレンズ１１３・１２２が駆動された時からの駆動パルス設定値の積算値）と、パルス履歴、カメラ機種、ＡＦ領域の位置情報を画像ファイルの付帯情報に書き込む。
【０５７０】
このようにして記録媒体１３８に記録された画像データを表示部１１０に再生表示する場合、記録媒体１３８の各画像データは、カードＩ／Ｏ部１３６によって読み出され、デジタル信号処理回路１３１によって伸張処理が行われる。
【０５７１】
読み出された画像データに対応する付帯情報の撮影モードが、パノラマ撮影モードの場合、画像データは、２Ｄ／３Ｄ表示制御部１４０によって重複領域が重畳された平面のパノラマ画像に変換された後、表示部１１０に再生画像として表示される。
【０５７２】
読み出された画像データに対応する付帯情報の撮影モードが、立体撮影モードの場合、画像データは、２Ｄ／３Ｄ表示制御部１４０によって立体画像データに変換された後、表示部１１０に３Ｄ再生画像として表示される。立体画像データへの変換方法はＳ９に示したとおりである。
【０５７３】
読み出された画像データに対応する付帯情報の撮影モードが、２枚同時撮影モードの場合、同一の撮影日時情報がヘッダ情報に記録された２枚の画像ファイルの画像データの各々を、表示部１１０の同一画面に、撮像光学系の識別情報に対応した位置（２眼の撮像系では左側または右側）に配置した再生画像として表示される。
【０５７４】
表示部１１０の詳細な構造は図示しないが、表示部１１０は、その表面にパララックスバリア表示層を備えている。表示部１１０は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にする。なお、第１撮像部１０２ａおよび第２撮像部１０２ｂから得られた平面画像を短冊状の画像断片に再構成してこれらを交互に配列せず、第１撮像部１０２ａまたは第２撮像部１０２ｂの一方から得られた右あるいは左の像のみを短冊状の画像断片に再構成してこれらを交互に配列すれば、観者の右目も左目も同一の平面画像を視覚することになる。
【０５７５】
ＣＰＵ１１９は、全体の動作を統括的に制御する。ＣＰＵ１１９には、前述の操作部１０９のほか、ＥＥＰＲＯＭなどの不揮発性メモリで構成された内蔵メモリ１３９が接続されている。内蔵メモリ１３９は、各種制御用のプログラムや設定情報などを格納している。ＣＰＵ１１９は、このプログラムや設定情報に基づいて各種処理を実行する。
【０５７６】
操作部１０９のシャッタボタンは２段押しのスイッチ構造となっている。撮影モード中に、シャッタボタンが軽く押圧（半押し）されると、ＣＰＵ１１９はＡＦ動作及びＡＥ動作を開始し撮影準備処理がなされる。この状態でさらにシャッタボタンが強く押圧（全押し）されると、ＣＰＵ１１９は撮影処理を開始し、１画面分の第１及び第２画像データがメモリ１３２から記録媒体１３８に転送されて記録される。
【０５７７】
ＡＦ動作は、ＣＰＵ１１９が光学系制御部１２９レンズモータを制御して第１及び第２フォーカスレンズ１１３，１２２をそれぞれ所定方向に移動させながら、順次に得られる第１及び第２画像データの各々からＡＦ／ＡＥ制御部１３３が算出したＡＦ評価値の最大値を求めることによりなされる。ＡＥ動作は、ＡＦ動作が完了した後、ＡＦ／ＡＥ制御部１３３が算出したＡＥ評価値に基づいて、ＣＰＵ１１９がアイリスモータ１８，２７及び撮像素子制御部１１８，２７を制御し、第１及び第２絞り１２，２１の開口値（絞り値）、及び第１及び第２撮像素子１１４，１２３の電子シャッタ速度を内蔵メモリ１３９（ＥＥＰＲＯＭなどで構成）に予め格納されたプログラム線図に従って設定することによりなされる。
【０５７８】
測距装置１００は、第１５〜２５実施形態の測距装置１００と同様の構成をとりうる。測距装置１００は、デジタル信号処理回路１３１から出力された、あるいはメモリ１３２に記憶された第１および第２画像データを基準画像および参照画像として入力する。第１および第２画像データのうちいずれを基準画像とするか、換言すると第１撮像部１０２ａおよび第２撮像部１０２ｂのうちいずれを基準撮像手段とするかは任意であるが、いずれにせよ、内蔵メモリ１３９には、基準画像の取得元となる基準撮像手段が第１撮像部１０２ａおよび第２撮像部１０２ｂのうちいずれであるかを指定する情報が記録されており、測距装置１００は、その情報に従って基準画像と参照画像を区別する。
【０５７９】
測距装置１００は、第１撮像部１０２ａおよび第２撮像部１０２ｂによる少なくとも１度の撮影で得られた基準画像および参照画像により、初期キャリブレーションパラメータを選択し、ステレオマッチング、視差算出、各画素に対応する被写体上の点までの距離を計測することができる。また測距装置１００は、２度以降の撮影で得られた基準画像および参照画像により、キャリブレーションパラメータの再選択・更新をすることができる。２Ｄ／３Ｄ表示制御部１３４は、測距装置１００がキャリブレーションパラメータに従って得た３次元情報に従い、被写体の立体形状を表す距離画像を生成して、記録媒体１３８に記録したり、表示部１１０に出力したりすることができる。
【０５８０】
以上、本発明を実施形態１〜２６に分けて説明したが、これらの実施形態のどのような組み合わせにより本発明を実施してもよいことは、言うまでもない。
【０５８１】
また、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０５８２】
１１…画像入力部、１２…メモリ、１３…指定番号決定部、１４…キャリブレーションデータ取得部、１５…キャリブレート部、１６…視差演算部、１７…距離演算部、１８…相関度演算部、１９、３８…相関度比較部、２０…距離比較部、２１、３９…縦ずれ量演算部、２２…縦ずれ量比較部、２３…視差演算画素数演算部、２４、４０…視差演算画素数比較部、２５、４１…局所ノイズ画素数演算部、２６…局所ノイズ画素数比較部、２７…代表距離決定部、２８…｜指定距離−代表距離｜演算部、２９…｜指定距離−代表距離｜比較部、３０…代表視差決定部、３１…指定視差演算部、３２…｜指定視差−代表視差｜演算部、３３…｜指定視差−代表視差｜比較部、３４…指定距離決定部、３５，３７…｜指定視差−代表視差｜比較部、３６…閾値決定部、５１…視差ヒストグラム作成部、５２…最頻値検出部、５３…視差選択部、５４…フィルタ、５５…注目領域決定部、５６…重み決定部
【図１】
2011058876.tif 000003
【図２】
2011058876.tif 000004
【図３】
2011058876.tif 000005
【図４Ａ】
2011058876.tif 000006
【図４Ｂ】
2011058876.tif 000007
【図５】
2011058876.tif 000008
【図６】
2011058876.tif 000009
【図７Ａ】
2011058876.tif 000010
【図７Ｂ】
2011058876.tif 000011
【図８】
2011058876.tif 000012
【図９】
2011058876.tif 000013
【図１０】
2011058876.tif 000014
【図１１Ａ】
2011058876.tif 000015
【図１１Ｂ】
2011058876.tif 000016
【図１２】
2011058876.tif 000017
【図１３】
2011058876.tif 000018
【図１４】
2011058876.tif 000019
【図１５Ａ】
2011058876.tif 000020
【図１５Ｂ】
2011058876.tif 000021
【図１６】
2011058876.tif 000022
【図１７】
2011058876.tif 000023
【図１８】
2011058876.tif 000024
【図１９Ａ】
2011058876.tif 000025
【図１９Ｂ】
2011058876.tif 000026
【図２０】
2011058876.tif 000027
【図２１】
2011058876.tif 000028
【図２２】
2011058876.tif 000029
【図２３Ａ】
2011058876.tif 000030
【図２３Ｂ】
2011058876.tif 000031
【図２４】
2011058876.tif 000032
【図２５】
2011058876.tif 000033
【図２６】
2011058876.tif 000034
【図２７】
2011058876.tif 000035
【図２８Ａ】
2011058876.tif 000036
【図２８Ｂ】
2011058876.tif 000037
【図２９】
2011058876.tif 000038
【図３０】
2011058876.tif 000039
【図３１】
2011058876.tif 000040
【図３２】
2011058876.tif 000041
【図３３】
2011058876.tif 000042
【図３４】
2011058876.tif 000043
【図３５】
2011058876.tif 000044
【図３６Ａ】
2011058876.tif 000045
【図３６Ｂ】
2011058876.tif 000046
【図３７Ａ】
2011058876.tif 000047
【図３７Ｂ】
2011058876.tif 000048
【図３８Ａ】
2011058876.tif 000049
【図３８Ｂ】
2011058876.tif 000050
【図３９Ａ】
2011058876.tif 000051
【図３９Ｂ】
2011058876.tif 000052
【図４０】
2011058876.tif 000053
【図４１Ａ】
2011058876.tif 000054
【図４１Ｂ】
2011058876.tif 000055
【図４２】
2011058876.tif 000056
【図４３Ａ】
2011058876.tif 000057
【図４３Ｂ】
2011058876.tif 000058
【図４４】
2011058876.tif 000059
【図４５】
2011058876.tif 000060
【図４６】
2011058876.tif 000061
【図４７】
2011058876.tif 000062
【図４８Ａ】
2011058876.tif 000063
【図４８Ｂ】
2011058876.tif 000064
【図４９】
2011058876.tif 000065
【図５０】
2011058876.tif 000066
【図５１Ａ】
2011058876.tif 000067
【図５１Ｂ】
2011058876.tif 000068
【図５２】
2011058876.tif 000069
【図５３】
2011058876.tif 000070
【図５４Ａ】
2011058876.tif 000071
【図５４Ｂ】
2011058876.tif 000072
【図５５】
2011058876.tif 000073
【図５６】
2011058876.tif 000074
【図５７Ａ】
2011058876.tif 000075
【図５７Ｂ】
2011058876.tif 000076
【図５８】
2011058876.tif 000077
【図５９Ａ】
2011058876.tif 000078
【図５９Ｂ】
2011058876.tif 000079
【図６０】
2011058876.tif 000080
【図６１Ａ】
2011058876.tif 000081
【図６１Ｂ】
2011058876.tif 000082
【図６２】
2011058876.tif 000083
【図６３】
2011058876.tif 000084
【図６４Ａ】
2011058876.tif 000085
【図６４Ｂ】
2011058876.tif 000086
【図６５】
2011058876.tif 000087
【図６６】
2011058876.tif 000088
【図６７Ａ】
2011058876.tif 000089
【図６７Ｂ】
2011058876.tif 000090
【図６８Ａ】
2011058876.tif 000091
【図６８Ｂ】
2011058876.tif 000092
【図６９】
2011058876.tif 000093
【図７０】
2011058876.tif 000094
【図７１Ａ】
2011058876.tif 000095
【図７１Ｂ】
2011058876.tif 000096
【図７２】
2011058876.tif 000097
【図７３】
2011058876.tif 000098
【図７４】
2011058876.tif 000099
【図７５】
2011058876.tif 000100
【図７６】
2011058876.tif 000101
【図７７】
2011058876.tif 000102
【図７８】
2011058876.tif 000103
【図７９】
2011058876.tif 000104
【図８０】
2011058876.tif 000105
【図８１】
2011058876.tif 000106
【図８２】
2011058876.tif 000107
【図８３】
2011058876.tif 000108
【図８４】
2011058876.tif 000109
【図８５】
2011058876.tif 000110
【図８６】
2011058876.tif 000111
【図８７】
2011058876.tif 000112
【図８８】
2011058876.tif 000113
【図８９】
2011058876.tif 000114
【図９０】
2011058876.tif 000115
【図９１】
2011058876.tif 000116
【図９２】
2011058876.tif 000117
【手続補正書】
【提出日】平成23年5月30日(2011.5.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算部と、
注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記視差に基づいて被写体距離を算出する距離演算部と、
前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力部と、
を備える測距装置。
【請求項２】
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出する相関度演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項１に記載の測距装置。
【請求項３】
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項４】
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項５】
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項６】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力部と、
を備える測距装置。
【請求項７】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算部と、
注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算部と、
算出された前記被写体距離を測距結果として出力する出力部と、
を備える測距装置。
【請求項８】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較部と、
前記測距結果を出力する出力部と、
を備える測距装置。
【請求項９】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
前記差分と閾値とを比較する比較部と、
前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力部と、
を備える測距装置。
【請求項１０】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出する相関度演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１１】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１２】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１３】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１４】
前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定する代表視差決定部を備え、
前記距離演算部は、前記代表視差に基づいて前記被写体距離を算出する、請求項１から１３のうちいずれか１項に記載の測距装置。
【請求項１５】
前記代表視差決定部は、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項１４に記載の測距装置。
【請求項１６】
前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定する代表距離決定部を備え、
前記距離演算部は、前記各画素の距離を算出し、
前記出力部は、前記代表距離を測距結果として出力する、請求項１から１３のうちいずれか１項に記載の測距装置。
【請求項１７】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項１６に記載の測距装置。
【請求項１８】
前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項１４から１７のうちいずれか１項に記載の測距装置。
【請求項１９】
前記頻度を算出する注目領域を決定する注目領域決定部を備え、
前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項１４から１８のうちいずれか１項に記載の測距装置。
【請求項２０】
前記注目領域決定部は、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
【請求項２１】
前記注目領域決定部は、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
【請求項２２】
前記注目領域決定部は、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項１９から２１のうちいずれか１項に記載の測距装置。
【請求項２３】
前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定する重み決定部を備え、
前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項１４から２２のうちいずれか１項に記載の測距装置。
【請求項２４】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算ステップと、
注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記視差に基づいて被写体距離を算出する距離演算ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力ステップと、
を備える測距方法。
【請求項２５】
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出するステップを備え、
注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項２４に記載の測距方法。
【請求項２６】
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップを備え、
注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２７】
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、
注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２８】
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップを備え、
注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２９】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３０】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算ステップと、
注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３１】
前記注目距離を第１の変更幅よりも大きな第２の変更幅で変更しながら第１の測距を行って第１の被写体距離を取得し、前記注目距離を前記第１の被写体距離の付近で前記第１の変更幅で変更しながら第２の測距を行って第２の被写体距離を取得し、前記第２の被写体距離を測距結果として出力する、請求項２４から３０のうちいずれか１項に記載の測距方法。
【請求項３２】
前記第１の測距と前記第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３１に記載の測距方法。
【請求項３３】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
前記各注目距離ごとに前記被写体距離と前記注目距離との差分を算出し、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較ステップと、
前記測距結果を出力する出力ステップと、
を備える測距方法。
【請求項３４】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離のうちで最初の注目距離を決定するステップと、
複数の前記注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出し、前記差分と閾値とを比較する比較ステップと、
前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３５】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３６】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３７】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３８】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３９】
前記最初の注目距離を決定して初期の前記被写体距離を取得する第１の測距と、前記第１の測距で得られた前記被写体距離を次の前記注目距離と決定して測距結果としての前記被写体距離を取得する第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３３から３８のうちいずれか１項に記載の測距方法。
【請求項４０】
前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定し、前記代表視差に基づいて前記被写体距離を算出する、請求項２４から３９のうちいずれか１項に記載の測距方法。
【請求項４１】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項４０に記載の測距方法。
【請求項４２】
前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定し、前記代表距離を測距結果として出力する、請求項２４から３９のうちいずれか１項に記載の測距方法。
【請求項４３】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項４２に記載の測距方法。
【請求項４４】
前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項４０から４３のうちいずれか１項に記載の測距方法。
【請求項４５】
前記頻度を算出する注目領域を決定し、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項４０から４４のうちいずれか１項に記載の測距方法。
【請求項４６】
前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
【請求項４７】
前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
【請求項４８】
前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項４５から４７のうちいずれか１項に記載の測距方法。
【請求項４９】
前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定し、前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項４０から４８のうちいずれか１項に記載の測距方法。
【請求項５０】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、
前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、
前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、
前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、
前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部と、
を備える測距装置。
【請求項５１】
前記測距演算部の演算した距離を評価し、測距演算の成功または失敗を判定する判定部と、
前記判定部の判定結果に応じて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体距離に適合するキャリブレーションパラメータを再設定するキャリブレーションパラメータ再設定部と、
を備える請求項５０に記載の測距装置。
【請求項５２】
前記距離推定部は、前記視点画像の付帯情報に基づいて前記被写体距離を推定し、
前記初期キャリブレーションデータ設定部は、前記距離推定部の推定した被写体距離と、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータとに基づき、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定し、
前記判定部は、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータの信頼性を示す信頼性情報を前記測距演算部による測距演算の結果に基づいて作成し、前記信頼性情報に基づいて測距演算の成功または失敗を判定する、請求項５１に記載の測距装置。
【請求項５３】
前記判定部は、前記信頼性情報に応じて測距演算の成功または失敗を判定する条件を選択する、請求項５２に記載の測距装置。
【請求項５４】
前記キャリブレーションパラメータ再設定部は、前記判定部が前記測距演算を失敗と判定した場合に、前記焦点位置に近接する上位２つの焦点位置に対応するキャリブレーションパラメータの組を抽出し、前記抽出したキャリブレーションパラメータの組を内挿して、前記焦点位置に対応するキャリブレーションパラメータに対応するキャリブレーションパラメータを作成して再設定する、請求項５１に記載の測距装置。
【請求項５５】
前記距離推定部は、前記視点画像を解析することにより取得した撮影シーンに関する情報、もしくは前記付帯情報に含まれる撮影シーン情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５６】
前記距離推定部は、前記視点画像を解析することにより取得した被写体のサイズ情報に基づいて、もしくは前記付帯情報に含まれる被写体のサイズ情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５７】
前記距離推定部は、前記視点画像に含まれる人物被写体のサイズと前記人物被写体の標準のサイズとの比較に基づいて前記被写体距離を推定する、請求項５６に記載の測距装置。
【請求項５８】
前記距離推定部は、前記視点画像の合焦評価算出領域の視差に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５９】
前記距離推定部は、前記撮像装置の輻輳距離に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項６０】
撮像装置の機種ごとの輻輳距離を記憶した輻輳距離記憶部を備え、
前記距離推定部は、前記輻輳距離記憶部に記憶された輻輳距離のうち前記視点画像を撮像した撮像装置の機種に対応する輻輳距離に基づいて前記被写体距離を推定する、請求項５９に記載の測距装置。
【請求項６１】
前記撮像装置の外部パラメータを取得する外部パラメータ取得部を備え、
前記距離推定部は、前記外部パラメータ取得部の取得した撮像装置の外部パラメータから前記撮像装置の輻輳距離を算出し、算出された輻輳距離を被写体距離と推定する、請求項５９に記載の測距装置。
【請求項６２】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、
前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、
前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、
前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部と、
前記視点画像の特徴を記憶する特徴記憶部を備え、
前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する、測距装置。
【請求項６３】
（削除）
【請求項６４】
測距演算に関するパラメータの入力を受け付ける測距演算パラメータ入力部を備え、
前記距離推定部は、前記測距演算パラメータ入力部から入力したパラメータから前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項６５】
前記キャリブレーションパラメータ記憶部は、離散的に設定された焦点位置の各々に対応するキャリブレーションパラメータを記憶する、請求項５０から６２および請求項６４のいずれかに記載の測距装置。
【請求項６６】
前記キャリブレーションパラメータ記憶部は、焦点位置に対応するキャリブレーションパラメータを規定する関数を記憶する、請求項５０から６２および請求項６４のいずれかに記載の測距装置。
【請求項６７】
異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、請求項５０から６２および請求項６４から６６のいずれかに記載の測距装置の備える画像入力部に出力可能な撮像部と、
を備える撮像装置。
【請求項６８】
情報処理装置が、
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、
前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップと、
前記推定した被写体距離に基づいて、焦点位置を選択するステップと、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップと、
を実行する測距方法。
【請求項６９】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、
前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能と、
前記推定した被写体距離に基づいて、焦点位置を選択する機能と、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能と、
を情報処理装置に実現させるための測距プログラム。
【請求項７０】
請求項５０から６２および請求項６４から６６のいずれかに記載の測距装置と、
異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記測距装置の画像入力部に出力可能な撮像部と、
を備える測距システム。
【請求項７１】
情報処理装置が、
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、
前記視点画像の特徴を記憶するステップと、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップであって、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定するステップと、
前記推定した被写体距離に基づいて、焦点位置を選択するステップと、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップと、
を実行する測距方法。
【請求項７２】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、
前記視点画像の特徴を記憶する機能と、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能であって、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する機能と、
前記推定した被写体距離に基づいて、焦点位置を選択する機能と、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能と、
を情報処理装置に実現させるための測距プログラム。
【手続補正書】
【提出日】平成24年12月13日(2012.12.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算部と、
注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記視差に基づいて被写体距離を算出する距離演算部と、
前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力部と、
を備える測距装置。
【請求項２】
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出する相関度演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項１に記載の測距装置。
【請求項３】
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項４】
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項５】
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部を備え、
前記比較部は、注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項１に記載の測距装置。
【請求項６】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力部と、
を備える測距装置。
【請求項７】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算部と、
注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較部と、
前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算部と、
算出された前記被写体距離を測距結果として出力する出力部と、
を備える測距装置。
【請求項８】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較部と、
前記測距結果を出力する出力部と、
を備える測距装置。
【請求項９】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力部と、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得部と、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正部と、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算部と、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算部と、
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出する距離差分演算部と、
前記差分と閾値とを比較する比較部と、
前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力部と、
を備える測距装置。
【請求項１０】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出する相関度演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１１】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出する縦ずれ量演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１２】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出する視差演算画素数算出部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１３】
複数の前記注目距離のうちで最初の注目距離を決定するとともに、算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換える注目距離決定部と、
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出する局所ノイズ画素数演算部とを備え、
前記比較部は、前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項１に記載の測距装置。
【請求項１４】
前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定する代表視差決定部を備え、
前記距離演算部は、前記代表視差に基づいて前記被写体距離を算出する、請求項１から１３のうちいずれか１項に記載の測距装置。
【請求項１５】
前記代表視差決定部は、前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項１４に記載の測距装置。
【請求項１６】
前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定する代表距離決定部を備え、
前記距離演算部は、前記各画素の距離を算出し、
前記出力部は、前記代表距離を測距結果として出力する、請求項１から１３のうちいずれか１項に記載の測距装置。
【請求項１７】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項１６に記載の測距装置。
【請求項１８】
前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項１４から１７のうちいずれか１項に記載の測距装置。
【請求項１９】
前記頻度を算出する注目領域を決定する注目領域決定部を備え、
前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項１４から１８のうちいずれか１項に記載の測距装置。
【請求項２０】
前記注目領域決定部は、前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
【請求項２１】
前記注目領域決定部は、前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項１９に記載の測距装置。
【請求項２２】
前記注目領域決定部は、前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項１９から２１のうちいずれか１項に記載の測距装置。
【請求項２３】
前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定する重み決定部を備え、
前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項１４から２２のうちいずれか１項に記載の測距装置。
【請求項２４】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて前記複数の視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差を算出する視差演算ステップと、
注目した前記複数の注目距離にわたって補正後の前記視点画像を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記視差に基づいて被写体距離を算出する距離演算ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像間の前記視差から算出された被写体距離を、測距結果として出力する出力ステップと、
を備える測距方法。
【請求項２５】
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度および色のうち少なくとも一方の相関度を算出するステップを備え、
注目した複数の前記注目距離にわたって前記相関度を比較し、前記相関度が最大となるキャリブレーションデータを前記最適キャリブレーションデータとして特定する、請求項２４に記載の測距方法。
【請求項２６】
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップを備え、
注目した複数の前記注目距離にわたって前記縦ずれ量を比較し、前記縦ずれ量が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２７】
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップを備え、
注目した複数の前記注目距離にわたって前記視差演算画素数を比較し、前記視差演算画素数が最大となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２８】
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップを備え、
注目した複数の前記注目距離にわたって前記局所ノイズ画素数を比較し、前記局所ノイズ画素数が最小となるキャリブレーションデータを前記最適キャリブレーションデータと特定する、請求項２４に記載の測距方法。
【請求項２９】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
注目した複数の前記注目距離にわたって前記被写体距離と前記注目距離との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像の前記視差から算出された前記被写体距離を、測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３０】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記注目距離に基づいて第１の視差を算出する第１の視差演算ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で第２の視差を算出する第２の視差演算ステップと、
注目した複数の前記注目距離にわたって前記第１の視差と前記第２の視差との差分を比較することで、前記複数のキャリブレーションデータのうちから最適キャリブレーションデータを特定する比較ステップと、
前記最適キャリブレーションデータで補正後の前記視点画像の前記第２の視差に基づいて、被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３１】
前記注目距離を第１の変更幅よりも大きな第２の変更幅で変更しながら第１の測距を行って第１の被写体距離を取得し、前記注目距離を前記第１の被写体距離の付近で前記第１の変更幅で変更しながら第２の測距を行って第２の被写体距離を取得し、前記第２の被写体距離を測距結果として出力する、請求項２４から３０のうちいずれか１項に記載の測距方法。
【請求項３２】
前記第１の測距と前記第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３１に記載の測距方法。
【請求項３３】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
前記各注目距離ごとに前記被写体距離と前記注目距離との差分を算出し、前記注目距離の切り換えの前後の前記差分を比較することで、複数の算出された前記被写体距離のうちから測距結果を選択する比較ステップと、
前記測距結果を出力する出力ステップと、
を備える測距方法。
【請求項３４】
複数の撮像デバイスにより異なる視点から被写体を撮像して得られた複数の視点画像を入力する画像入力ステップと、
複数の注目距離のうちで最初の注目距離を決定するステップと、
複数の前記注目距離の各々に注目し、前記視点画像の二次元座標と実空間の３次元座標とを整合するための複数のキャリブレーションデータのうちから前記各注目距離に対応するキャリブレーションデータを取得するキャリブレーションデータ取得ステップと、
前記各注目距離ごとに、前記各キャリブレーションデータに基づいて複数の前記視点画像を補正する画像補正ステップと、
前記各注目距離ごとに、補正後の複数の前記視点画像間で視差を算出する視差演算ステップと、
前記各注目距離ごとに、前記視差に基づいて被写体距離を算出する距離演算ステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップと、
前記各注目距離ごとに、前記被写体距離と前記注目距離との差分を算出し、前記差分と閾値とを比較する比較ステップと、
前記差分が前記閾値よりも小さい場合、算出された前記被写体距離を測距結果として出力する出力ステップと、
を備える測距方法。
【請求項３５】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間における輝度または色のうち少なくとも一方の相関度を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記相関度を比較し、前記注目距離の切り換え前に算出された前記相関度よりも前記注目距離の切り換え後に算出された前記相関度が小さい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３６】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間における対応画素間の縦ずれ量を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記縦ずれ量を比較し、前記注目距離の切り換え前に算出された前記縦ずれ量よりも前記注目距離の切り換え後に算出された前記縦ずれ量が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３７】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像間で視差演算できた視差演算画素数を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記視差演算画素数を比較し、前記注目距離の切り換え前に算出された前記視差演算画素数よりも前記注目距離の切り換え後に算出された前記視差演算画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３８】
複数の前記注目距離のうちで最初の注目距離を決定するステップと、
前記各注目距離ごとに、補正後の前記複数の視点画像の視差分布で局所的に存在する局所ノイズ画素数を算出するステップと、
算出された前記被写体距離を次の注目距離と決定することで前記注目距離を切り換えるステップとを備え、
前記注目距離の切り換えごとに前記局所ノイズ画素数を比較し、前記注目距離の切り換え前に算出された前記局所ノイズ画素数よりも前記注目距離の切り換え後に算出された前記局所ノイズ画素数が大きい場合、前記注目距離の切り換え前に算出された前記被写体距離を測距結果として採用する、請求項２４に記載の測距方法。
【請求項３９】
前記最初の注目距離を決定して初期の前記被写体距離を取得する第１の測距と、前記第１の測距で得られた前記被写体距離を次の前記注目距離と決定して測距結果としての前記被写体距離を取得する第２の測距とで、最適なキャリブレーションデータの判断基準が異なる、請求項３３から３８のうちいずれか１項に記載の測距方法。
【請求項４０】
前記視点画像間の視差と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表視差を決定し、前記代表視差に基づいて前記被写体距離を算出する、請求項２４から３９のうちいずれか１項に記載の測距方法。
【請求項４１】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表視差と決定する、請求項４０に記載の測距方法。
【請求項４２】
前記視点画像の各画素の距離と頻度との関係を示すヒストグラムを作成し、前記ヒストグラムにおける前記頻度に基づいて代表距離を決定し、前記代表距離を測距結果として出力する、請求項２４から３９のうちいずれか１項に記載の測距方法。
【請求項４３】
前記ヒストグラムから最頻値を検出し、該最頻値を前記代表距離と決定する、請求項４２に記載の測距方法。
【請求項４４】
前記ヒストグラムにて前記頻度の高低を判別し、前記ヒストグラムから局所的に存在する画素の成分を除外する、請求項４０から４３のうちいずれか１項に記載の測距方法。
【請求項４５】
前記頻度を算出する注目領域を決定し、前記注目領域に限定して前記頻度を算出し前記ヒストグラムを作成する、請求項４０から４４のうちいずれか１項に記載の測距方法。
【請求項４６】
前記視点画像の撮影時に露出制御または合焦制御にて用いられた演算領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
【請求項４７】
前記視点画像をアレイ状の複数の分割領域に分割し、前記各分割領域ごとに周波数解析を行って、高周波成分を有する分割領域を、前記注目領域と決定する、請求項４５に記載の測距方法。
【請求項４８】
前記視点画像から特定対象を抽出した特定対象抽出領域を、前記注目領域と決定する、請求項４５から４７のうちいずれか１項に記載の測距方法。
【請求項４９】
前記視点画像における各画素の位置に基づいて、前記頻度に対する重みを決定し、前記重みに基づく重み付けを行って前記ヒストグラムを作成する、請求項４０から４８のうちいずれか１項に記載の測距方法。
【請求項５０】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、
前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、
前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、
前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、
前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部と、
を備える測距装置。
【請求項５１】
前記測距演算部の演算した距離を評価し、測距演算の成功または失敗を判定する判定部と、
前記判定部の判定結果に応じて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体距離に適合するキャリブレーションパラメータを再設定するキャリブレーションパラメータ再設定部と、
を備える請求項５０に記載の測距装置。
【請求項５２】
前記距離推定部は、前記視点画像の付帯情報に基づいて前記被写体距離を推定し、
前記初期キャリブレーションデータ設定部は、前記距離推定部の推定した被写体距離と、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータとに基づき、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定し、
前記判定部は、前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータの信頼性を示す信頼性情報を前記測距演算部による測距演算の結果に基づいて作成し、前記信頼性情報に基づいて測距演算の成功または失敗を判定する、請求項５１に記載の測距装置。
【請求項５３】
前記判定部は、前記信頼性情報に応じて測距演算の成功または失敗を判定する条件を選択する、請求項５２に記載の測距装置。
【請求項５４】
前記キャリブレーションパラメータ再設定部は、前記判定部が前記測距演算を失敗と判定した場合に、前記焦点位置に近接する上位２つの焦点位置に対応するキャリブレーションパラメータの組を抽出し、前記抽出したキャリブレーションパラメータの組を内挿して、前記焦点位置に対応するキャリブレーションパラメータに対応するキャリブレーションパラメータを作成して再設定する、請求項５１に記載の測距装置。
【請求項５５】
前記距離推定部は、前記視点画像を解析することにより取得した撮影シーンに関する情報、もしくは前記付帯情報に含まれる撮影シーン情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５６】
前記距離推定部は、前記視点画像を解析することにより取得した被写体のサイズ情報に基づいて、もしくは前記付帯情報に含まれる被写体のサイズ情報に基づいて被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５７】
前記距離推定部は、前記視点画像に含まれる人物被写体のサイズと前記人物被写体の標準のサイズとの比較に基づいて前記被写体距離を推定する、請求項５６に記載の測距装置。
【請求項５８】
前記距離推定部は、前記視点画像の合焦評価算出領域の視差に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項５９】
前記距離推定部は、前記撮像装置の輻輳距離に基づいて前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項６０】
撮像装置の機種ごとの輻輳距離を記憶した輻輳距離記憶部を備え、
前記距離推定部は、前記輻輳距離記憶部に記憶された輻輳距離のうち前記視点画像を撮像した撮像装置の機種に対応する輻輳距離に基づいて前記被写体距離を推定する、請求項５９に記載の測距装置。
【請求項６１】
前記撮像装置の外部パラメータを取得する外部パラメータ取得部を備え、
前記距離推定部は、前記外部パラメータ取得部の取得した撮像装置の外部パラメータから前記撮像装置の輻輳距離を算出し、算出された輻輳距離を被写体距離と推定する、請求項５９に記載の測距装置。
【請求項６２】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力する画像入力部と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶部と、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する距離推定部と、
前記距離推定部で推定した被写体距離に基づいて、焦点位置を選択する焦点位置選択部と、
前記焦点位置選択部で選択された前記焦点位置に基づいて、前記キャリブレーションパラメータ記憶部に記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する初期キャリブレーションデータ設定部と、
前記初期キャリブレーションデータ設定部の設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する測距演算部と、
前記視点画像の特徴を記憶する特徴記憶部を備え、
前記距離推定部は、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記特徴記憶部に記憶された以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する、測距装置。
【請求項６３】
測距演算に関するパラメータの入力を受け付ける測距演算パラメータ入力部を備え、
前記距離推定部は、前記測距演算パラメータ入力部から入力したパラメータから前記被写体距離を推定する、請求項５０から５３のいずれかに記載の測距装置。
【請求項６４】
前記キャリブレーションパラメータ記憶部は、離散的に設定された焦点位置の各々に対応するキャリブレーションパラメータを記憶する、請求項５０から６３のいずれかに記載の測距装置。
【請求項６５】
前記キャリブレーションパラメータ記憶部は、焦点位置に対応するキャリブレーションパラメータを規定する関数を記憶する、請求項５０から６３のいずれかに記載の測距装置。
【請求項６６】
異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、請求項５０から６５のいずれかに記載の測距装置の備える画像入力部に出力可能な撮像部と、
を備える撮像装置。
【請求項６７】
情報処理装置が、
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、
前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップと、
前記推定した被写体距離に基づいて、焦点位置を選択するステップと、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップと、
を実行する測距方法。
【請求項６８】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、
前記視点画像または前記視点画像の付帯情報に含まれる撮影モード情報を取得し、予め格納された撮影モード情報と撮影距離との関係に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能と、
前記推定した被写体距離に基づいて、焦点位置を選択する機能と、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能と、
を情報処理装置に実現させるための測距プログラム。
【請求項６９】
請求項５０から６５のいずれかに記載の測距装置と、
異なる撮像光学系の各々のフォーカスレンズの焦点位置を制御する焦点位置制御部と、
前記焦点位置制御部の制御に応じ、前記撮像光学系を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記測距装置の画像入力部に出力可能な撮像部と、
を備える測距システム。
【請求項７０】
情報処理装置が、
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像を入力するステップと、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶するステップと、
前記視点画像の特徴を記憶するステップと、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定するステップであって、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定するステップと、
前記推定した被写体距離に基づいて、焦点位置を選択するステップと、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定するステップと、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算するステップと、
を実行する測距方法。
【請求項７１】
異なる視点から同一の被写体を焦点調節が可能な撮像装置により撮像した複数の視点画像の入力を受け付ける機能と、
前記撮像装置における、焦点位置に対応したキャリブレーションパラメータを記憶する機能と、
前記視点画像の特徴を記憶する機能と、
前記視点画像または前記視点画像の付帯情報に基づいて前記撮像装置から前記被写体までの距離である被写体距離を推定する機能であって、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とを比較し、前記記憶した以前の視点画像の特徴と現在の視点画像の特徴とが一致した場合に限り、前記以前の視点画像の被写体距離を現在の視点画像の被写体距離と推定する機能と、
前記推定した被写体距離に基づいて、焦点位置を選択する機能と、
前記選択された前記焦点位置に基づいて、前記記憶されたキャリブレーションパラメータの中から、前記被写体の初期の測距演算に用いる初期キャリブレーションデータを設定する機能と、
前記設定した初期キャリブレーションデータと前記複数の視点画像間の視差とに基づいて被写体距離を演算する機能と、
を情報処理装置に実現させるための測距プログラム。
【国際調査報告】
2011058876.tif 000118
2011058876.tif 000119
2011058876.tif 000120
2011058876.tif 000121
2011058876.tif 000122
2011058876.tif 000123
2011058876.tif 000124