(57)【特許請求の範囲】
【請求項１】
中心軸周りに回転曲面が形成され、円柱、直円錐台、直円錐のいずれかである回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、第１の画像および第２の画像からなる前記一対の画像を読み出す画像読み出し手段と、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出する対応点検出手段と、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する三次元情報算出手段とを備え、
前記対応点検出手段が、前記少なくとも１つの対応点の一方の像として前記第１の画像の二等分線上に定められる少なくとも１つの第１の像点に従い、前記少なくとも１つの像点に応じた少なくとも一本のエピポーララインを前記第２の画像に設定し、前記少なくとも一本のエピポーララインと前記第２の画像における二等分線との交点を、前記少なくとも１つの対応点の他方の像である少なくとも１つの第２の像点として定めることを特徴とする画像処理装置。
【請求項２】
前記物体が、円柱、直円錐台のいずれかであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像記録可能な記録媒体が携帯可能であって前記カメラに着脱可能に装着される補助記憶装置であるとともに、前記撮像素子に形成される前記一対の画像が前記補助記憶装置にデジタルの静止画像データとして記録され、
前記画像読み出し手段が、前記補助記憶装置から前記一対の画像を読み出すことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像読み出し手段によって読み出された前記一対の画像を前記少なくとも１つの対応点が同一座標となるようにアフィン変換する平行ステレオ修正手段をさらに有し、
前記対応点検出手段が、アフィン変換された前記一対の画像から前記少なくとも１つの対応点を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
映像を表示する表示装置が接続されるとともに、
前記画像読み出し手段に従って読み出された前記一対の画像を前記表示装置に表示する表示手段と、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有し、
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記一対の二等分線を算出し、前記第１の画像における前記第１の二等分線と前記二対の指定点を通る２本の直線との２つの交点を求め、該２つの交点のうち少なくとも１つの交点を前記少なくとも１つの第１の像点と定めることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記三次元情報算出手段が、前記少なくとも１つの対応点の座標を前記表示装置のスクリーン座標から前記撮像素子の撮像素子座標に変換するとともに、前記第１の画像に応じた撮影方向での前記カメラの中心を原点とした３次元座標を規定して、前記少なくとも１つの対応点に基づき、三角測量の原理を適用して前記少なくとも１つの測定点の３次元座標を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記物体の径の長さを算出する径算出手段をさらに有し、
前記対応点検出手段が、２つの対応点を検出し、
前記三次元情報算出手段が、２つの測定点を算出し、
前記径算出手段が、
前記一対の画像の一方に応じた撮影方向における前記カメラの中心を通り前記物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって前記物体の中心軸が載る径算出用平面を前記２つの測定点に基いて算出し、
前記径算出用平面と前記物体の表面上にあるとともに前記２つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、該一対の画像の一方にある前記一対の遮蔽輪郭上にある像であって前記端点の像である像点に基いて算出し、
前記物体の径の長さを前記２つの測定点の一方と前記端点に基づいて算出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
中心軸周りに回転曲面が形成され、円柱、直円錐台、直円錐のいずれかである回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、第１の画像および第２の画像からなる前記一対の画像を読み出し、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出し、
前記少なくとも１つの対応点の一方の像として前記第１の画像の二等分線上に定められる少なくとも１つの第１の像点に従い、前記少なくとも１つの像点に応じた少なくとも一本のエピポーララインを前記第２の画像に設定し、前記少なくとも一本のエピポーララインと前記第２の画像における二等分線との交点を、前記少なくとも１つの対応点の他方の像である少なくとも１つの第２の像点として定めることを特徴とする３次元情報計測方法。
【請求項１０】
中心軸周りに回転曲面が形成され、円柱、直円錐台、直円錐のいずれかである回転体である物体の３次元情報を計測するプログラムを格納した記録媒体であって、
前記物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、第１の画像および第２の画像からなる前記一対の画像を読み出し、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出し、
前記少なくとも１つの対応点の一方の像として前記第１の画像の二等分線上に定められる少なくとも１つの第１の像点に従い、前記少なくとも１つの像点に応じた少なくとも一本のエピポーララインを前記第２の画像に設定し、前記少なくとも一本のエピポーララインと前記第２の画像における二等分線との交点を、前記少なくとも１つの対応点の他方の像である少なくとも１つの第２の像点として定めることを特徴とする３次元情報計測処理のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【請求項１１】
中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、前記一対の画像を読み出す画像読み出し手段と、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出する対応点検出手段と、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する三次元情報算出手段とを備え、
前記一対の画像が第１の画像および第２の画像とからなり、前記一対の二等分線が前記第１の画像にある第１の二等分線と前記第２の画像にある第２の二等分線とからなり、また、前記少なくとも１つの対応点が前記第１の画像にある少なくとも１つの第１の像点と前記第２の画像にある少なくとも１つの第２の像点とからなり、
前記対応点検出手段が、前記少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを前記第２の画像において設定し、前記少なくとも一本のエピポーララインと前記第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を前記少なくとも１つの第２の像点と定め、
映像を表示する表示装置が接続されるとともに、
前記画像読み出し手段に従って読み出された前記一対の画像を前記表示装置に表示する表示手段と、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有し、
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする画像処理装置。
【請求項１２】
前記画像読み出し手段によって読み出された前記一対の画像を前記少なくとも１つの対応点が同一座標となるようにアフィン変換する平行ステレオ修正手段をさらに有し、
前記対応点検出手段が、アフィン変換された前記一対の画像から前記少なくとも１つの対応点を検出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記一対の二等分線を算出し、前記第１の画像における前記第１の二等分線と前記二対の指定点を通る２本の直線との２つの交点を求め、該２つの交点のうち少なくとも１つの交点を前記少なくとも１つの第１の像点と定めることを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記三次元情報算出手段が、前記少なくとも１つの対応点の座標を前記表示装置のスクリーン座標から前記撮像素子の撮像素子座標に変換するとともに、前記第１の画像に応じた撮影方向での前記カメラの中心を原点とした３次元座標を規定して、前記少なくとも１つの対応点に基づき、三角測量の原理を適用して前記少なくとも１つの測定点の３次元座標を算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１５】
前記物体の径の長さを算出する径算出手段をさらに有し、
前記対応点検出手段が、２つの対応点を検出し、
前記三次元情報算出手段が、２つの測定点を算出し、
前記径算出手段が、
前記一対の画像の一方に応じた撮影方向における前記カメラの中心を通り前記物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって前記物体の中心軸が載る径算出用平面を前記２つの測定点に基いて算出し、
前記径算出用平面と前記物体の表面上にあるとともに前記２つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、該一対の画像の一方にある前記一対の遮蔽輪郭上にある像であって前記端点の像である像点に基いて算出し、
前記物体の径の長さを前記２つの測定点の一方と前記端点に基づいて算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１６】
中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、前記一対の画像を読み出し、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する３次元情報計測方法であって、
前記一対の画像が第１の画像および第２の画像とからなり、前記一対の二等分線が前記第１の画像にある第１の二等分線と前記第２の画像にある第２の二等分線とからなり、また、前記少なくとも１つの対応点が前記第１の画像にある少なくとも１つの第１の像点と前記第２の画像にある少なくとも１つの第２の像点とからなり、
前記少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを前記第２の画像において設定し、前記少なくとも一本のエピポーララインと前記第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を前記少なくとも１つの第２の像点と定め、
読み出された前記一対の画像を表示装置に表示し、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定め、
前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを備えたことを特徴とする３次元情報計測方法。
【請求項１７】
中心軸周りに回転曲面が形成された回転体である物体の３次元情報を計測するプログラムを格納した記録媒体であって、
前記物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、前記一対の画像を読み出し、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する３次元情報計測処理のプログラムを格納した記録媒体であって、
前記一対の画像が第１の画像および第２の画像とからなり、前記一対の二等分線が前記第１の画像にある第１の二等分線と前記第２の画像にある第２の二等分線とからなり、また、前記少なくとも１つの対応点が前記第１の画像にある少なくとも１つの第１の像点と前記第２の画像にある少なくとも１つの第２の像点とからなり、
前記少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを前記第２の画像において設定し、前記少なくとも一本のエピポーララインと前記第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を前記少なくとも１つの第２の像点と定め、
読み出された前記一対の画像を表示装置に表示し、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定め、
前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする３次元情報計測処理のプログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、計測対象の物体を異なる２方向から撮影し、この２方向からの一対の画像に基づいてその物体の三次元情報を求める３次元情報計測処理システムおよびその方法に関する。
【０００２】
【従来の技術】
従来、３次元物体の撮影画像からその物体の位置（距離）や形状など３次元情報を求める方法の一つとして、両眼立体視（ステレオ）が知られている。両眼立体視では、まず、物体を異なる２方向から撮影し、２枚の物体画像を得る。そして、異なる方向から見た２枚の画像から、物体の同一部分の像である対応点を検出する。対応点が検出されると、２台のカメラ間距離と対応点から三角測量の原理に基づいて対象物の３次元位置が求められる。両眼立体視は、例えば、写真測量の分野においても利用されており、航空写真や交通事故の事故現場の測量図作成において両眼立体視により３次元情報が計測される。
【０００３】
両眼立体視において一対の画像から対応点を検出する場合、物体のある特定点の像、すなわち対応点が一対の画像の中でどの位置にあるのか誤りなく検出しなければならない。この対応点決定問題は、両眼立体視において従来から重要な技術的課題であり、様々な手法が提案されている。
【０００４】
その一つして、物体の特徴的な部分の像を対応点として検出する方法があり、物体が直方体であれば、エッジや稜線などの２枚の画像から同一点の像と認識できる物体の特徴部分の像を対応点として検出する。しかしながら、対象物が円柱など表面が曲面形状を有する物体であると、エッジや稜線に対応するような特徴部が画像に存在しないため、対応付けに誤りが生じる。
【０００５】
曲面形状の物体に対しても対応点を検出できる方法として、例えば、円柱形状の物体である場合、２枚の画像に映し出される物体画像の上面の輪郭線を楕円関数として算出し、その輪郭線から物体上面の中心を対応点として検出する方法がある（特公平６−２９６９５参照）。これによれば、円柱のような曲面形状の物体に対しても、三次元位置（距離）を求めることが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の方法では、得られる２枚の画像の中で円柱の上面（もしくは底面）が写し出されていないと、上面の輪郭線を求めることができない。したがって、例えばパイプなど側面部分が長く続いている物体に対しては、物体の３次元位置を計測することができない。また、円柱以外の曲面形状の物体に対して適用するのが難しい。
【０００７】
そこで、本発明では、曲面形状の物体像が写された一対の画像から３次元情報を求める両眼立体視において、一対の画像から誤りなく対応点を検出し、正確な物体の３次元情報を得ることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮影して両眼立体視により物体の三次元位置を求める装置であり、この画像処理装置は、撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出し手段と、物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって一対の画像から一意に決まる少なくとも１つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出する対応点検出手段と、少なくとも１つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも１つの測定点の三次元位置を算出する三次元情報算出手段とを備えたことを特徴とする。
【０００９】
計測対象である物体が回転体である場合、すなわち中心軸周りに回転曲面が形成され、回転対称な物体である場合、物体の中心軸の仮想的な像は、一対の画像それぞれにおいて物体像を二等分する線となる。したがって、物体の３次元位置を代表して表す点として物体の中心軸上の点を測定点を定め、その測定点の仮想的な像である対応点を中心軸の像に応じた一対の二等分線上において検出することにより、同一点からの像である対応点を検出することができる。このように二等分線上において対応点を検出することにより、表面が曲面である物体に対しても両眼立体視を適用することができ、物体の三次元位置を誤りなく正確に計測できる。また、一対の二等分線上において対応点を検出するため、細長いパイプのような上面や底面を写すことができない回転体に対しても、一対の遮蔽輪郭が写っていれば対応点を検出することができる。物体は、例えば、円柱あるいは直円錐台である。
【００１０】
写真測量の場合、始めに物体をカメラで撮像してから画像処理装置において物体の３次元位置を算出するため、画像記録可能な記録媒体は、携帯可能であってカメラに着脱可能に装着される補助記憶装置であるとともに、撮像素子に形成される一対の画像が補助記憶装置にデジタルの静止画像データとして記録されることが望ましい。この場合、画像読み出し手段は、補助記憶装置から一対の画像をデータとして読み出す。
【００１１】
画像処理装置は、画像読み出し手段によって読み出された一対の画像を少なくとも１つの対応点が同一座標となるようにアフィン変換する平行ステレオ修正手段をさらに有していることが望ましく、２方向から物体をカメラで撮像する時にカメラの光軸方向が互いに平行とならない場合でも三角測量の原理を適用して物体の三次元位置を求めることができる。この場合、対応点検出手段は、アフィン変換された一対の画像から少なくとも１つの対応点を検出する。
【００１２】
一対の画像を第１の画像および第２の画像とし、一対の二等分線を第１の画像にある第１の二等分線と第２の画像にある第２の二等分線とし、また、少なくとも１つの対応点を第１の画像にある少なくとも１つの第１像点と第２の画像にある少なくとも１つの第２像点と定めた場合、対応点検出手段は、例えば、少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを第２の画像において設定し、少なくとも一本のエピポーララインと第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を少なくとも１つの第２像点と定める。
【００１３】
対応点を検出するのにオペレータの操作を伴う場合、画像処理装置に映像を表示する表示装置を接続し、画像処理装置は、画像画像読み出し手段に従って読み出された一対の画像を表示装置に表示する表示手段と、表示装置に表示される一対の画像それぞれに対し、入力操作に従って一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有することが望ましい。この場合、対応点検出手段は、一対の画像それぞれの二対の指定点に基づいて少なくとも１つの対応点の位置を表示装置のスクリーン座標で検出する。
【００１４】
対応点検出手段は、二対の指定点に基づいて対応点を検出する場合、例えば、一対の画像それぞれの二対の指定点に基づいて一対の二等分線を算出し、第１の画像における第１の二等分線と二対の指定点を通る２本の直線との２つの交点を求め、該２つの交点のうち少なくとも１つの交点を少なくとも１つの第１の像点と定める。
【００１５】
表示装置に表示された一対の画像において対応点をスクリーン座標で検出した場合、三次元情報算出手段は、少なくとも１つの対応点の座標を表示装置のスクリーン座標から撮像素子の撮像素子座標に変換するとともに、第１の画像に応じた撮影方向でのカメラの中心を原点とした３次元座標を規定して、少なくとも１つの対応点に基づき、三角測量の原理を適用して少なくとも１つの測定点の３次元座標を算出することが望ましい。
【００１６】
さらに、求められた物体の三次元位置から物体の径の長さを算出するため、画像処理装置は、物体の径の長さを算出する径算出手段をさらに有することが望ましい。この場合、対応点検出手段が２つの対応点を検出し、三次元情報算出手段が２つの測定点を算出する。径算出手段は、一対の画像の一方に画像に応じた撮影方向におけるカメラの中心を通り物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって物体の中心軸が載る径算出用平面を２つの測定点に基いて算出し、径算出用平面と物体の表面上にあるとともに２つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、法線ベクトルに応じた一対の画像の一方にある一対の遮蔽輪郭上にある像であって端点の像である像点に基いて算出し、物体の径の長さを２つの測定点の一方と端点に基づいて算出する。物体と撮影地点との距離が物体の径の長さに比べて十分長い場合、一対の輪郭線上にある少なくとも１つの端点と一つの撮影地点におけるカメラの中心とを結ぶ直線は、径算出用平面と物体との交線上にあり、かつ物体の表面上にある接点と交わる。この交点と求められた少なくとも１つの測定点から、物体の径の長さを算出することができる。
【００１７】
本発明の３次元情報計測方法は、中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出すステップと、物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって一対の画像から一意に決まる少なくとも１つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出するステップと、少なくとも１つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも１つの測定点の三次元位置を算出するステップとを備えたことを特徴とする。
【００１８】
本発明の中心軸周りに回転曲面が形成された回転体である物体の３次元情報を計測するプログラムは、物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出し、物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって一対の画像から一意に決まる少なくとも１つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出し、少なくとも１つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも１つの測定点の三次元位置を算出することを特徴とする。このプログラムはプログラム作成に関わったコンピュータのメモリに格納されるか、あるいはＣＤ−ＲＯＭなどの記録媒体に格納可能である。また、このプログラムをインターネットなどのネットワークによって他のコンピュータに送受信することも可能である。
【００１９】
【発明の実施の形態】
以下では、図面を参照して、本発明の実施形態である写真測量システムおよび曲面形状を有する物体の三次元情報計測処理方法について説明する。
【００２０】
図１は、本発明の実施形態である写真測量用のカメラと３次元情報を算出する画像処理装置およびその周辺機器を概略的に示した図である。
【００２１】
まず、計測対象である物体Ｓをカメラ４２によって異なる２方向から撮像する。このとき、物体Ｓの輪郭像となる遮蔽輪郭が写るように、第１撮影地点ＰＡおよび第２撮影地点ＰＢから物体Ｓが撮像される。本実施形態では、物体Ｓは円柱である。なお、第１および第２撮影地点ＰＡ、ＰＢは、カメラ４２の中心（レンズ中心）が位置する場所である。
【００２２】
カメラ４２は撮像素子の１つであるＣＣＤ４１を備えたデジタルスチルカメラであり、物体Ｓの像はカメラ４２の撮影光学系（図示せず）を介してＣＣＤ４１に結像される。ＣＣＤ４１から物体Ｓの像に応じた画像信号が読み出されると、第１および第２撮影地点ＰＡ、ＰＢにおける物体Ｓの画像はデジタルの静止画像データとしてメモリカード３６に記録される。メモリカード３６は、必要に応じてカメラ４２に装着され、あるいはカメラ４２から取り外される携帯可能な補助記憶装置あり、ここではフラッシュメモリなどのＩＣカードが使用される。
【００２３】
撮影が終了すると、物体Ｓの像が記録されたメモリカード３６がカメラ４２から取り出され、物体Ｓの像が写し出された一対の画像から物体Ｓの３次元情報を算出するために画像処理装置１０が使用される。
【００２４】
画像処理装置１０には、モニタ３０、キーボード３２、マウス３４が接続されており、メモリカード３６などの画像データを記録可能な記録媒体を取り入れるカードスロット１１を正面のパネルに備えている。すなわち、画像処理装置１０は、パーソナルコンピュータの本体に相当する装置である。一対の画像が記録されたメモリカード３６は、ＰＣカード規格などに基づいたインターフェイスを介してカードスロット１１に装着され、これにより物体Ｓの静止画像データが読み出される。なお、撮影時において、第１および第２撮影地点ＰＡ、ＰＢの距離などの撮影データがあらかじめ静止画像データとともにメモリカード３６に記憶されており、これら撮影データも静止画像データとともに読み出される。
【００２５】
オペレータがキーボード３２を操作することにより、第１および第２撮影地点ＰＡ、ＰＢに応じた一対の物体Ｓの画像がモニタ３０に表示される。そして、オペレータによってマウス３４の操作など所定の操作が実行されると、物体Ｓの３次元位置情報が算出される。
【００２６】
図２は、画像処理装置１０およびキーボード３２などの周辺機器のブロック図である。ただし、図２では、３次元情報計測に必要な構成要素のみ示す。
【００２７】
システムコントロール回路１２内のＣＰＵ１２Ａは、画像処理装置１０全体を制御しており、物体Ｓの三次元情報を算出する処理を実行する。ＲＯＭ１４には、その三次元情報計測処理のためのプログラムがあらかじめ格納されている。キーボード３２、マウス３４、モニタ３０およびカードスロット１１に装着されたメモリカード３６とシステムコントロール回路１２との間の信号伝達は、画像処理装置１０内の入出力制御部１６を介して行われる。
【００２８】
メモリカード３６がカードスロット１１に装着されると、物体Ｓの一対の画像データおよび撮影データがメモリカード３６から読み出され、入出力制御部１６、システムコントロール回路１２を介してＲＡＭ１８に一時的に格納される。
【００２９】
モニタ３０に物体Ｓの画像を表示するためのキーボード３２の操作が行われると、ＲＡＭ１８に一時的に格納された静止画像データがＣＰＵ１２Ａによって読み出され、所定の処理が施される。そして、処理された一対の画像データが入出力制御部１６を介してモニタ３０に送られると、第１および第２撮影地点ＰＡ、ＰＢから撮影された一対の画像がモニタ３０に表示される。物体Ｓの３次元位置などの３次元情報を計測するための処理がＣＰＵ１２Ａによって実行され、物体Ｓの３次元情報が算出されると、その３次元情報はモニタ３０に表示されるとともにＲＡＭ１８に一時的に格納される。
【００３０】
図３は、物体Ｓをカメラ４２で撮像することによって得られる一対の画像を示した図である。図３を用いて、円柱である物体Ｓを計測対象としたときの対応点の検出について説明する。
【００３１】
従来知られているように、両眼立体視（ステレオ）においては、物体Ｓの同一点からの像であって一対の画像から一意に決まる対応点を決定する必要があるが、計測対象である物体Ｓの表面が曲面である場合、一対の画像から対応点を誤りなく検出することが難しい。
【００３２】
第１の撮影地点ＰＡの撮像によって得られる画像を画像π１、第２の撮影地点ＰＢにおける画像を画像π２とすると、例えば、物体Ｓの上面ＵＡの周上にある点ＪＡの像ＪＡ’は画像π１において中心軸ＳＵに沿った輪郭像となる遮蔽輪郭ＭＡ２の線上にあり、一方、同じ上面ＵＡの周上にある点ＪＢの像ＪＢ’は第２の画像π２において遮蔽輪郭ＭＢ２の線上にある。物体Ｓにおいて点ＪＡと点ＪＢが同一点ではないにも関わらず、画像π１と画像π２において像ＪＡ’と像ＪＢ’はともに遮蔽輪郭ＭＡ２およびＭＢ２の線上にある。したがって、像ＪＡ’およびＪＢ’を対応点に決定すると、誤った物体Ｓの３次元情報が算出される。
【００３３】
ところで、円柱である物体Ｓは、中心軸ＳＵに関して回転対称な形状を有する物体である。したがって、物体Ｓの投影像および中心軸ＳＵの仮想的な投影像を、画像面π１においてＳ１、ＳＵ１、画像π２においてＳ２、ＳＵ２とすると、物体像Ｓ１、Ｓ２は、中心軸の像ＳＵ１、ＳＵ２に関して線対称な像となる。具体的に画像π１を取り上げると、物体像Ｓ１において対である遮蔽輪郭ＭＡ１、ＭＡ２は中心軸の像ＳＵ１に関して線対称であり、物体像Ｓ１は中心軸の像ＳＵ１によって二等分される。
【００３４】
このことは、画像π２においても同じであり、さらには円柱である物体Ｓをどの方向から撮影しても同じである。すなわち、任意の位置から撮影した画像に関し、中心軸ＳＵの投影像は物体の投影像を常に２等分し、また、輪郭像である一対の遮蔽輪郭はその中心軸の像に関して線対称となる。したがって、図３に示すように、物体Ｓの中心軸ＳＵ上にある任意の点Ｃの仮想的な像Ｃ１、Ｃ２は、画像π１および画像π２においてともに中心軸の像ＳＵ１、ＳＵ２の線上にある。
【００３５】
そこで、本実施形態では、この物体Ｓの中心軸ＳＵ上にある任意の点を対応点検出のための点とし、この点の像であって、画像π１および画像π２において中心軸の像ＳＵ１、ＳＵ２の線上にある対応点を一対の画像から一意に検出する。
【００３６】
図４は、３次元情報算出処理動作を示すフローチャートである。三次元情報算出処理動作は、オペレータがキーボード３２に対して所定の操作を施すことによって開始される。
【００３７】
ステップ１０１では、メモリカード３６から一対の画像データが順次読み出され、一時的にＲＡＭ１８に格納される。そして、ステップ１０２では、撮影時において画像データとともにあらかじめ記録されたカメラ４２のカメラ位置、カメラ姿勢（光軸方向）に関する撮影データが読み出される。
【００３８】
ステップ１０３では、読み出された一対の画像データに対して、ディストーション補正および平行ステレオ修正が施される。ディストーション補正は、カメラ４２の撮影光学系によって生じる歪曲収差等を考慮した画像補正である。また、平行ステレオ修正では、図３に示すような平行関係にない画像π１、π２が平行ステレオな関係となるようにアフィン変換が実行される。平行ステレオ修正が実行されると、記録された一対の画像は、第１および第２撮影地点ＰＡ、ＰＢにおけるカメラ４２が平行ステレオ関係、すなわち、第１および第２撮影地点ＰＡ、ＰＢを結ぶベクトル（移動ベクトル）が第１および第２撮影地点ＰＡ、ＰＢそれぞれの３次元座標のＸ軸方向のベクトルが一致する関係（図５参照）である時に得られる画像に変換される。ただし、この時のアフィン変換は回転のみの変換である。このようなアフィン変換により、すべての対応点は同一座標上に位置することになる。なお、ディストーション補正および平行ステレオ修正は従来公知である。
【００３９】
ステップ１０４では、ＲＡＭ１８に一時的に記録された画像データに基づいて、図６に示すように、一対の画像ＩＡ、ＩＢがモニタ３０に表示される。なお、以下では、第１撮影地点ＰＡにより記録された画像π１に対応し、モニタ３０に表示される画像を第１の画像ＩＡ、第２撮影地点ＰＢにより記録された画像π２に対応し、モニタ３０に表示される画像を第２の画像ＩＢと定める。第２の画像ＩＢは第２撮影地点ＰＢによる撮像画像である。モニタ３０に表示される一対の画像ＩＡ、ＩＢは、平行ステレオ修正された画像である。
【００４０】
一対の画像ＩＡ、ＩＢが表示されると、オペレータがマウス３４を操作することによって、指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２が入力される。第１の画像ＩＡに対しては、物体Ｓの輪郭像となる一対の遮蔽輪郭ＭＡ１、ＭＡ２にそれぞれ任意の位置にある指示点Ｐａ１，Ｐｂ１、Ｐｃ１、Ｐｄ１が入力され、画像ＩＢに対しては、輪郭線である一対の遮蔽輪郭ＭＢ１、ＭＢ２にそれぞれ指示点Ｐａ２、Ｐｂ２、Ｐｃ２、Ｐｄ２が入力される。ただし、指示点Ｐａ１，Ｐｃ１およびＰｂ１、Ｐｄ１はそれぞれ対になっており、指示点Ｐａ２、Ｐｃ２およびＰｂ２、Ｐｄ２も同様にそれぞれ対である。
【００４１】
ステップ１０５では、後述するように、入力された指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２に基づいて、物体Ｓの三次元座標位置が算出される。そして、ステップ１０６では、後述するように、ステップ１０５において算出された物体Ｓの三次元位置と基づいて、物体Ｓの半径が算出される。
【００４２】
図７は、図４のステップ１０５のサブルーチンである。図７とともに図８、図９、図１０を用いて、物体Ｓの三次元位置座標の算出処理について説明する。
【００４３】
ステップ２０１では、画像ＩＡにおいて、物体像Ｓ１の指示点Ｐａ１、Ｐｂ１を通る直線Ｌａ１が算出される（図８参照）。この直線Ｌａ１は、一対の遮蔽輪郭ＭＡ１、ＭＡ２のうち輪郭線ＭＡ１を通る直線である。同じように、ステップ２０２では、物体像Ｓ２の指示点Ｐｃ１、Ｐｄ１を通る、すなわち輪郭線ＭＡ２を通る直線Ｌｂ１が算出される。なお、一対の画像ＩＡ、ＩＢそれぞれにおいて、画像領域の左上隅を原点とし、Ｘ方向、Ｙ方向の画素数がそれぞれ「Ｗ」、「Ｈ」であるスクリーン座標（Ｘ、Ｙ）を定めており、直線Ｌａ１などはスクリーン座標（Ｘ、Ｙ）に従って算出される。ステップ２０２が実行されると、ステップ２０３に進む。
【００４４】
ステップ２０３では、指示点Ｐａ１と指示点Ｐｃ１とを結ぶ直線Ｑ１が算出される（図８参照）。同様に、ステップ２０４では、指示点Ｐｂ１と指示点Ｐｄ１とを結ぶ直線Ｑ２が算出される。ステップ２０４が実行されると、ステップ２０５に進む。
【００４５】
ステップ２０５では、直線Ｌａ１と直線Ｌｂ１に基づいて二等分線Ｌｅ１が求められる。二等分線Ｌｅ１は、物体像Ｓ１を二等分する線であり、図３に示した物体Ｓの中心軸ＳＵの投影像に対応する。直線Ｌａ１と直線Ｌｂ１は、二等分線Ｌｅ１に平行であるとともに、二等分線Ｌｅ１に関して線対称な関係にある。ステップ２０５が実行されると、ステップ２０６に進む。
【００４６】
ステップ２０６では、図９に示すように、画像ＩＢにおいて指示点Ｐａ２、Ｐｂ２を通る直線Ｌａ２が算出され、ステップ２０７では、指示点Ｐｃ２、Ｐｄ２を通る直線Ｌｂ２が算出される。直線Ｌａ２、Ｌｂ２は、画像ＩＢにおいて物体像Ｓ２の一対の遮蔽輪郭ＭＢ１、ＭＢ２を通る直線である。そして、ステップ２０８では、直線Ｌａ２と直線Ｌｂ２に基づいて物体像Ｓ２を二等分する二等分線Ｌｅ２が求められる。二等分線Ｌｅ２も、二等分線Ｌｅ１と同じように物体Ｓの中心軸ＳＵの投影像に相当する。ステップ２０８が実行されると、ステップ２０９に進む。
【００４７】
ステップ２０９では、図１０に示すように、第１の画像ＩＡにおいて直線Ｌｅ１と直線Ｑ１との交点Ｐｅ１の座標（Ｘａ１、Ｙａ１）が求められる。また、ステップ２１０では、直線Ｌｅ１と直線Ｑ２との交点Ｐｆ１（Ｘｂ１、Ｙｂ１）が求められる。そして、ステップ２１１では、第２の画像ＩＢにおいて交点Ｐｅ１に応じたエピポーララインＥＰ１が設定され、エピポーララインＥＰ１と二等分線Ｌｅ２との交点Ｐｅ２の座標（Ｘａ２、Ｙａ２）が求められる。交点Ｐｅ２は、算出された交点Ｐｅ１とともに対応点を構成する点であり、交点Ｐｅ１、Ｐｅ２は同一点の像である。なお、モニタ３０に表示される一対の画像ＩＡ、ＩＢが平行ステレオ修正された画像であることから、エピポーララインＥＰ１はＸ軸に平行で交点Ｐｅ１のＹ座標「Ｙａ１」を通る直線となる。
【００４８】
同様に、ステップ２１２では、画像ＩＡ内の交点Ｐｆ１のＹ座標「Ｙｂ１」とＹ座標が等しいエピポーララインＥＰ２が画像ＩＢにおいて設定され、二等分線Ｌｅ２とエピポーララインＥＰ２との交点Ｐｆ２の位置座標（Ｘｂ２、Ｙｂ２）が算出される。交点Ｐｆ１、Ｐｆ２は、交点Ｐｅ１、Ｐｅ２と異なるもう１つの対応点である。対応点Ｐｅ１、Ｐｅ２および対応点Ｐｆ１、Ｐｆ２が一対の画像ＩＡ、ＩＢからそれぞれ算出されると、ステップ２１３に進む。
【００４９】
ステップ２１３では、三角測量の原理を適用して物体Ｓの３次元位置を求めるために座標変換が施される。具体的には、まず、モニタ３０のスクリーン座標（Ｘ、Ｙ）からカメラ４２の第１および第２撮影地点ＰＡ、ＰＢそれぞれのＣＣＤ４１の画像形成面において規定されるＣＣＤ座標（ｕ、ｖ）に変換される。この変換では、原点位置合わせのための平行移動や縦横のスケール変換処理が施され、これにより、対応点Ｐｅ１、Ｐｅ２および対応点Ｐｆ１、Ｐｆ２は、モニタ３０における画素単位のスクリーン座標（Ｘａ１、Ｙａ１）（Ｘａ２、Ｙａ２）および（Ｘｂ１、Ｙｂ１）（Ｘｂ２、Ｙｂ２）からＣＣＤ４１の画像形成面における位置座標（ｕａ１、ｖａ１）（ｕａ２、ｖａ２）および（ｕｂ１、ｖｂ１）（ｕｂ２、ｖｂ２）で表される。ＣＣＤ座標への変換は次式によって行われる。
【００５０】
【数式１】
0003842988.tif 000002
【００５１】
（１）式において、「ＰｉｔｃｈＸ」は、ＣＣＤ４１の横方向サイズと画像ＩＡ（ＩＢ）の画素単位の横方向サイズ（＝Ｗ）との比を表し、「ＰｉｔｃｈＹ」は、ＣＣＤ４１の縦方向サイズと画像ＩＡ（ＩＢ）の画素単位の縦方向サイズ（＝Ｈ）との比を表す。また、「Ｆ」は、カメラ４２の焦点距離を示す。ＣＣＤ座標（ｕ，ｖ）は、カメラ４２の撮影光学系の光軸とＣＣＤ４１の画像形成面の中心を原点とする座標系であり、mm単位で表される座標系であるが、（１）式で示すようにカメラ４２の焦点距離Ｆ（mm）に関する奥行き方向の座標も考慮されている。他方の対応点Ｐｆ１、Ｐｆ２についても、（１）式により座標変換が施される。
【００５２】
ステップ２１４では、ステップ２１３で求められた対応点Ｐｅ１、Ｐｅ２のＣＣＤ座標（ｕａ１、ｖａ１）（ｕａ２、ｖａ２）と、第１および第２撮影地点ＰＡ、ＰＢ間の距離とに基づき、物体Ｓの中心軸Ｕ上の点であってその像が対応点となる測定点Ｐ１の位置が（２）式により算出される。ただし、（２）式において、「Ｃ」は第１および第２撮影地点ＰＡ、ＰＢ間の距離を表し、撮影データとしてメモリカード３６にあらかじめ記録されている。
【００５３】
【数式２】
0003842988.tif 000003
【００５４】
（２）式は、いわゆる三角測量の原理に基づく式であり、第１撮影地点ＰＡでのカメラ４２の中心を原点とするカメラ座標系を３次元座標（ｘ、ｙ、ｚ）として定めると、測定点Ｐ１の位置（ｘ１、ｙ１、ｚ１）がその３次元座標で算出される。測定点Ｐ１のｚ座標は、第１および第２撮影地点ＰＡ、ＰＢから物体Ｓまでの奥行きを表す。同様に、ステップ２１５では、対応点Ｐｅ２、Ｐｆ２に応じた物体Ｓの中心軸ＳＵ上にある測定点Ｐ２の位置（ｘ２、ｙ２、ｚ２）が（２）式により求められる。測定点Ｐ１、Ｐ２の３次元座標は、モニタ３０に表示されるとともに、ＲＡＭ１８に一時的にデータとして格納される。ステップ２１５が実行されると、このサブルーチンは終了し、図４のメインルーチンに戻る。
【００５５】
なお、ステップ２０１〜２１５の実行において、算出された点や直線などのデータは算出される度にＲＡＭ１８に格納され、必要に応じて読み出される。
【００５６】
図１１は、図４のステップ１０６のサブルーチンである。図１１とともに図１２〜１５を用いて、円柱Ｓの半径の算出処理について説明する。
【００５７】
ステップ３０１では、図７のステップ２１４、２１５で求められ、ＲＡＭ１８に格納された物体Ｓの中心軸ＳＵ上にある測定点Ｐ１、Ｐ２の座標（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）に基づいて、中心軸ＳＵを３次元座標で表した直線ｌが算出される。直線ｌの方程式は、次の（３）式で表される。
【００５８】
【数式３】
0003842988.tif 000004
【００５９】
そして、図１２に示すように、測定点Ｐ１、Ｐ２および直線ｌに基づき、第１撮影地点ＰＡにおけるカメラ４２の中心、すなわち３次元座標の原点Ｏから直線ｌへ垂直に延ばした線のベクトルＶ（ｅ、ｆ、ｇ）が求められる。ただし、ベクトルＶは、（３）式および直線ｌとベクトルＶとの直交関係を示す次の（４）式に基づいて算出される。ベクトルＶが求められると、ステップ３０２へ進む。
【００６０】
【数式４】
0003842988.tif 000005
【００６１】
ステップ３０２では、直線ｌ（中心軸ＳＵ）を通り、ベクトルＶ（ｅ、ｆ、ｇ）を法線ベクトルとする平面Ｒが算出される（図１２参照）。次の（５）式は、平面Ｒを表した式である。
【数式５】
0003842988.tif 000006
平面Ｒが算出されると、ステップ３０３に移る。
【００６２】
ここで、図１３を用いて、平面Ｒと交差する物体Ｓの表面上にある点と、第１撮影地点ＰＡにおける物体像Ｓ１の一対の輪郭ＭＡ１、ＭＡ２上にある点との関係について説明する。ただし、ここでは、法線ベクトルＶの向きは第１撮影地点ＰＡにおけるカメラ４２の中心を３次元座標の原点Ｏとしたときのｚ方向と一致するものとする。また、モニタ３０に表示される画像ＩＡにおいて輪郭線ＭＡ１上の点を境界点Ｔ１と定め、ＣＣＤ４１の画像形成面において境界点Ｔ１に応じた位置にある像点Ｔ１’と原点Ｏを通る直線Ｎを設定する。ただし、第１および第２撮影地点ＰＡ、ＰＢから物体Ｓまでの距離が物体Ｓの径の大きさ（奥行き方向の長さ）に比べて十分長いものとする。
【００６３】
ＣＣＤ４１の画像形成面に形成される画像に関しては、原点Ｏと円柱Ｓとの距離Ｍが円柱Ｓの径の大きさに比べて十分長い場合、いわゆる弱中心射影を適用することができる。弱中心射影は正射影と中心射影を組み合わせた射影であり、物体Ｓは、平面τに正射影された後原点Ｏに向けて中心射影される。平面τへの正射影は、第１撮影地点ＰＡにおけるカメラ４２の光軸方向、すなわち法線ベクトルＶ方向に沿って射影されるため、平面Ｒと平面τは平行関係にある。
【００６４】
物体Ｓの表面と平面Ｒとの交差する直線上にある点を端点Ｔと定め、端点Ｔの平面τにおける像をＴ’とすると、直線Ｎは平面τの像Ｔ’を通る。弱中心射影が適用されていることを考慮すれば、直線Ｎは物体Ｓの端点Ｔを通る直線とみなすことができる（直線Ｎ’参照）。したがって、物体Ｓの端点Ｔの中心軸ＳＵ方向（３次元座標のｙ方向）に沿った位置座標が測定点Ｐ１あるいはＰ２の位置と等しければ、直線Ｎを算出し、端点Ｔの３次元位置座標を算出することによって円柱Ｓの半径が求められる。
【００６５】
そこでまず、ステップ３０３では、図１４に示すように、画像ＩＡにおいて二等分線Ｌｅ１と垂直で交点Ｐｅ１を通る直線Ｌｇ１が算出され、ステップ３０４では、直線Ｌｅ１と垂直で点Ｐｆ１を通る直線Ｌｈ１が算出される。そして、ステップ３０５では、直線Ｌｇ１と直線Ｌａ１との交点が境界点Ｐｇ１として求められ、ステップ３０６では、直線Ｌｈ１と直線Ｌａ１との交点が境界点Ｐｈ１とし求められる。
【００６６】
ステップ３０７では、交点Ｐｇ１、Ｐｈ１に対して座標変換が施される。すなわち、図７のステップ２１３と同じように、スクリーン座標（Ｘ、Ｙ）からＣＣＤ座標（ｕ、ｖ、Ｆ）に変換される。ステップ３０８では、ＣＣＤ４１の画像形成面にある境界点Ｐｇ１に応じた像点Ｐ’ｇ１と原点Ｏとを通る直線ＬＡが３次元座標に基づいて算出される。同様に、ステップ３０９では、ＣＣＤ４１の画像形成面にある境界点Ｐｈ１に応じた像点Ｐ’ｈ１と中心Ｏとを通る直線ＬＢが算出される。直線ＬＡ、直線ＬＢは、図１３の直線Ｎ（Ｎ’）に相当する。直線ＬＡ、ＬＢが求められると、ステップ３１０に進む。
【００６７】
ステップ３１０では、直線ＬＡと物体Ｓとの交点であって平面Ｒ上にある端点ＰＣの３次元座標が算出される。ただし、端点ＰＣは、平面Ｒを示す（５）式と直線ＬＡの式に基づいて算出される。同様に、ステップ３１１では、（５）式と直線ＬＢに基づいて直線ＬＢと平面Ｒとの交点である端点ＰＤが算出される。端点ＰＣ、ＰＤは、図１３の端点Ｔに相当し、中心軸ＳＵ上に沿ったｙ方向の位置座標は、測定点Ｐ１およびＰ２に等しい。
【００６８】
ステップ３１２では、端点ＰＣと先に求められた中心軸ＳＵ（直線ｌ）上にある測定点Ｐ１との距離ｒ１が算出される。この距離ｒ１が物体Ｓの半径となる。同じように、ステップ３１３では、端点ＰＤと測定点ＰＢとの距離ｒ２が算出される。物体Ｓが円柱であるため、距離ｒ１と距離ｒ２は等しい。ステップ３１３が実行されると、このサブルーチンは終了する。
【００６９】
このように本実施形態によれば、カメラ４２によって第１および第２撮影地点ＰＡ、ＰＢから円柱である物体Ｓを撮影することにより、異なるから撮影された一対の画像がメモリカード３６に記録され、その後画像処理装置１０において読み出される。読み出されたモニタ３０に表示された一対の画像ＩＡ、ＩＢに対してオペレータが操作することにより、一対の画像ＩＡ、ＩＢそれぞれの一対の遮蔽輪郭ＭＡ１、ＭＡ２およびＭＢ１、ＭＢ２の上に指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２が設定される。そして、この設定された指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２に基づいて、２つの対応点Ｐｅ１、Ｐｅ２およびＰｆ１、Ｐｆ２を一対の二等分線Ｌｅ１、Ｌｅ２の線上において検出する。
【００７０】
表面が曲面である物体Ｓの中心軸ＳＵの投影像が一対の画像ＩＡ、ＩＢにおいて物体Ｓの投影像Ｓ１、Ｓ２を２等分する一対の二等分線Ｌｅ１、Ｌｅ２に対応するため、一対の二等分線Ｌｅ１、Ｌｅ２上において検出される対応点は、物体Ｓの中心軸ＳＵ上にある同一点からの像となる。このように、本来写らない中心軸ＳＵの像を考慮することにより、正確に物体Ｓの３次元位置を求めることができる。
【００７１】
このような対応点検出処理によれば、図１５に示すように、円柱Ｓの上面、底面の輪郭が一対の画像ＩＡ、ＩＢに写っていなくても３次元位置を測定することができ、長さのある円柱形状の物体でも両眼立体視できる。
【００７２】
物体Ｓと第１および第２撮影地点ＰＡ、ＰＢとの距離が物体Ｓの径（半径ｒ）に比べて十分長い場合には弱中心射影モデルが適用できることから、物体Ｓの測定点Ｐ１、Ｐ２と、平面Ｒと物体Ｓの表面の交線上にある端点ＰＣ、ＰＤに基づいて物体Ｓの半径ｒが算出される。
【００７３】
なお、物体Ｓの半径ｒを求めず、物体Ｓの３次元位置のみ測定する場合、１つの対応点Ｐｅ１、Ｐｅ２（あるいはＰｆ１、Ｐｆ２）のみ算出し、測定点Ｐ１（あるいはＰ２）の３次元位置のみ算出すればよい。また、物体Ｓの半径ｒ１（あるいはｒ２）のみ算出する場合、境界点Ｐｇ１（あるいはＰｈ１）に応じた端点ＰＣ（あるいはＰＤ）のみ求めればよい。また、一対の画像ＩＡ、ＩＢから対応点Ｐｅ１、Ｐｅ２を検出する場合、エピポーララインを画像ＩＢに設定せず、スクリーン座標（Ｘ、Ｙ）でＹ座標が交点Ｐｅ１と等しい二等分線Ｌｅ２上の点を交点Ｐｅ２としてもよい。
【００７４】
物体Ｓの半径ｒを算出する時に弱中心射影モデルを適用しているが、擬似中心射影モデルを適用して半径ｒを算出してもよい。
【００７５】
本実施形態では、表面に曲面が形成されている物体として円柱である物体Ｓが適用されているが、円柱以外の曲面形状の物体に対しても両眼立体視により３次元位置を測定することができる。例えば、図１６に示すように、中心軸ＥＳ周りに回転対称な直円錐台Ｅが計測対象であってもよい。この場合、直線Ｑ１、Ｑ２において指定点Ｐａ１、Ｐｃ１の中点と指定点Ｐｂ１、Ｐｄ１の中点とを通る直線を二等分線Ｌｅ１とし、交点Ｐｅ１を算出すればよい。画像ＩＢにおいても、指定点Ｐａ２、Ｐｃ２の中点と指定点Ｐｂ２、Ｐｄ２の中点とを通る直線を二等分線Ｌｅ２を求めればよい。また、平行ステレオ修正をせずに対応点を求めてもよい。
【００７６】
さらに、図１７に示すように、物体Ｓは、円柱、直円錐台だけでなく直円錐、球体などを含む、中心軸ＲＳ周りに回転曲面が形成された回転体ＲＯであればよい。ただし、回転体ＲＯは、中心軸ＲＳ周りに回転対称な物体であり、中心軸ＲＳに垂直な任意の断面は円になる。回転体ＲＯの場合でも、直線Ｑ１、Ｑ２において指定点Ｐａ１、Ｐｃ１の中点と指定点Ｐｂ１、Ｐｄ１の中点とを通る直線を二等分線Ｌｅ１とし、指定点Ｐａ２、Ｐｃ２の中点と指定点Ｐｂ２、Ｐｄ２の中点とを通る直線を二等分線Ｌｅ２とする。これにより、対応点Ｐｅ１、Ｐｅ２およびＰｆ１、Ｐｆ２が算出される。
【００７７】
本実施形態では、写真測量において両眼立体視を利用しているが、それ以外の分野、例えばコンピュータビジョンなどの自動形状復元処理においても利用可能である。この場合、画像処理装置１０に２台のカメラを接続して異なる方向から同時撮影し、一度メモリに記録された一対の画像データから物体の３次元位置を測定する処理システムを構成する。また、オペレータの操作を伴わないで自動的に画像処理装置１０が交点Ｐｅ１、Ｐｅ２を検出する処理システムを構成してもよい。この場合、一対の画像ＩＡ、ＩＢはモニタ３０に表示されることなく、自動的に一対の遮蔽輪郭ＭＡ１、ＭＡ２およびＭＢ１、ＭＢ２がエッジ追跡などの線検出処理によって検出され、対応点Ｐｅ１、Ｐｅ２が求められる。
【００７８】
【発明の効果】
以上のように本発明によれば、曲面形状の物体像が写された一対の画像から３次元情報を求める両眼立体視において、一対の画像から誤りなく対応点を検出し、正確な物体の３次元情報を得ることができる。
【図面の簡単な説明】
【図１】写真測量用のカメラと本実施形態である画像処理装置およびその周辺機器を示した図である。
【図２】画像処置装置のブロック図である。
【図３】円柱である物体の２方向からの投影像を示した図である。
【図４】３次元情報算出処理動作を示したフローチャートである。
【図５】平行ステレオ関係を示した図である。
【図６】モニタに表示される一対の画像を示した図である。
【図７】物体の３次元位置算出処理動作を示した図４のステップ１０５のサブルーチンである。
【図８】二等分線を求める時の一対の画像のうちの一方の画像を示した図である。
【図９】二等分線を求める時の一対の画像のうちの他方の画像を示した図である。
【図１０】対応点を求める際の一対の画像を示した図である。
【図１１】物体の半径を求める径算出処理動作を示した図４のステップ１０６のサブルーチンである。
【図１２】物体と原点を通るベクトルを法線ベクトルとする平面とを示した図である。
【図１３】弱中心射影モデルにおける物体の投影像を示した図である。
【図１４】一対の画像のうちの一方の画像を示した図である。
【図１５】一対の遮蔽輪郭のみ写る一対の画像を示した図である。
【図１６】直円錐台およびその投影像となる一対の画像を示した図である。
【図１７】回転体およびその投影像となる一対の画像を示した図である。
【符号の説明】
１０        画像処理装置
１２Ａ          ＣＰＵ
１４            ＲＯＭ（記録媒体）
１８            ＲＡＭ（画像記録可能な記録媒体）
３０            モニタ（表示装置）
３６            メモリカード（補助記憶装置、画像記録可能な記録媒体）
４１            ＣＣＤ（撮像素子）
４２            カメラ
ＩＡ，ＩＢ      一対の画像
ＩＡ            第１の画像
π１            第１の画像
ＩＢ            第２の画像
π２            第２の画像
Ｌｅ１，Ｌｅ２  二等分線（一対の二等分線）
Ｌｅ１          二等分線（第１の二等分線）
Ｌｅ２          二等分線（第２の二等分線）
ＭＡ１，ＭＡ２  一対の遮蔽輪郭
ＭＢ１，ＭＢ２  一対の遮蔽輪郭
Ｐｅ１，Ｐｅ２  対応点（少なくとも１つの対応点）
Ｐｅ１          交点（少なくとも１つの第１の像点）
Ｐｅ２          交点（少なくとも１つの第２の像点）
Ｐｆ１，Ｐｆ２  対応点（少なくとも１つの対応点）
Ｐｆ１          交点（少なくとも１つの第１の像点）
Ｐｆ２          交点（少なくとも１つの第２の像点）
ＥＰ１          エピポーラライン（少なくとも一本のエピポーラライン）
ＥＰ２          エピポーラライン（少なくとも一本のエピポーラライン）
Ｐａ１，Ｐｃ１、Ｐｂ１，Ｐｄ１  指定点（二対の指定点）
Ｐａ２，Ｐｃ２、Ｐｂ２，Ｐｄ２  指定点（二対の指定点）
ＰＡ            第１撮影地点
ＰＢ            第２撮影地点
ＰＣ            端点（少なくとも１つの端点）
ＰＤ            端点（少なくとも１つの端点）
Ｒ              平面（径算出用平面）
ｒ              半径（径の長さ）
Ｓ              物体
ＳＵ            中心軸
Ｖ              法線ベクトル
【図１】
0003842988.tif 000007
【図２】
0003842988.tif 000008
【図３】
0003842988.tif 000009
【図４】
0003842988.tif 000010
【図５】
0003842988.tif 000011
【図６】
0003842988.tif 000012
【図７】
0003842988.tif 000013
【図８】
0003842988.tif 000014
【図９】
0003842988.tif 000015
【図１０】
0003842988.tif 000016
【図１１】
0003842988.tif 000017
【図１２】
0003842988.tif 000018
【図１３】
0003842988.tif 000019
【図１４】
0003842988.tif 000020
【図１５】
0003842988.tif 000021
【図１６】
0003842988.tif 000022
【図１７】
0003842988.tif 000023