(57)【要約】【課題】被検体までの距離情報、被検体の大きさを自動でモニター上に描画可能にする立体計測装置。【解決手段】本発明による立体計測装置では、一組の撮像手段に用いられる固体撮像素子の水平走査位置を予め選択し、計測に用いる空間を２次元に限定することで被検体上の計測点を抽出し、被検体上の計測点に対応する一組の撮像手段に含まれる固体撮像素子上の対応点を自動的の検出し、計測用画像処理回路で距離情報を算出するとともに、距離情報に応じて目盛巾の変わる計測用目盛をモニター上に描画可能にした。【選択図】  図１
2007187590.tif 000002
【特許請求の範囲】
【請求項１】
披検体を撮像する、第１の撮影レンズと第１の固体撮像素子を含んだ第１の撮像手段と、第２の撮影レンズと第２の固体撮像素子を含んだ第２の撮像手段を視差を有するように配置した立体計測装置において、第１の固体撮像素子で撮像された画像から水平走査線位置を指定した走査線の映像信号を取り出し、前記走査線の映像信号を信号処理し被検体上の計測点を抽出する計測点抽出手段と、前記計測点に対応する第１の固体撮像素子上の対応座標点と第２の固体撮像素子上の対応座標点を検出する対応座標点検出手段と、被検体上の計測点までの距離を算出する距離算出手段を有することを特徴とした立体計測装置。
【請求項２】
前記第１の撮像手段による画像と第２の撮像手段による画像を同一方法で画像処理し、この画像処理をした画像を用い被検体上の計測点を抽出する計測点抽出手段と、前記計測点に対応する第１の固体撮像素子上の対応座標点と第２の固体撮像素子上の対応座標点を検出することを特徴とした請求項１記載の立体計測装置。
【請求項３】
被検体までの算出された距離に対応して、目盛り巾の異なった計測用目盛をモニター画面上に描画する目盛描画手段を有することを特徴とした請求項１、２記載の立体計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の立体計測をおこなう装置に関するもので、特に被検体までの距離が容易に計測でき、さらに被検体の大きさを容易に計測できる立体計測装置に関する。
【背景技術】
【０００２】
被検体を立体視しようとする試みは内視鏡の分野をはじめ産業用分野でも行われてきており、これまでもいろいろな立体撮像装置が提案されている。
立体撮像装置では立体視しようとする画像は、撮影レンズとＣＣＤやＣＭＯＳの様な固体撮像素子を含んだ第１の撮像手段と、第２の撮像手段を視差を持つように左右一対として配置し撮像された左右一対の画像で構成されており、モニター上に左右画像を時分割で交互に表示し、液晶シャッター等を持った眼鏡を用い左右画像を交互に観察する等の方式がとられている。
【０００３】
さらに立体撮像装置には立体画像の観察だけでなく、立体撮像装置の特徴を生かし被検体までの距離や被検体の大きさの計測を無接触で可能にしたいとの要求がある。この様な要求に対して、立体撮像装置の特徴を生かし、被検物までの距離や被検物の大きさの計測を可能にする立体計測装置が提案されているが、これらの多くは立体撮像装置で撮像された画像上で被検体の測定点を観察者が決める手順を必用とするものが多く、複雑な手順と装置を必用としていた。
【０００４】
一般に計測機能を持った立体撮像装置は、三角測量の原理によって被検物までの距離や、被検物の測定対象部分の大きさを算出する技術が基礎となるが、基本的には左右一対の撮像手段による一組の２次元画像上で、希望する測定点を決める手順を必用としている。また被検物までの距離が計測されたら、目盛板をモニター画面上に描画することで計測の簡便さを図る提案もなされている。
【特許文献１】特開平６−３３９４５４号公報
【特許文献２】特開平１１−３７７２０号公報
【特許文献３】特開平２００２−３３６１８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述のように立体撮像装置に計測機能を持たせる場合には、対物レンズと固体撮像素子を含んだ第１の撮像手段と第２の撮像手段を視差を持つように所定の光軸間隔を持って配置した立体撮像手段と、各撮像手段よりの映像信号を処理する信号処理装置、立体画像表示装置の他に、計測用画像処理装置が必用になる。特に計測画像処理装置には、計測点を指示するポインティング装置、ポインティングから距離情報を得るための演算装置が必用になってくる。通常は計測点を指示するポインティング装置は一対の撮像手段からの画像上でおこなうので、被検物と撮像装置の距離が常時変わる様な場合などの迅速な計測には向いていないと言う欠点を有していた。このために画面をポインティングせずに常時、リアルタイムで被検物までの距離や被検物の大きさが検出できる装置が望まれている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に関わる発明は、披検体を撮像する、第１の撮影レンズと第１の固体撮像素子を含んだ第１の撮像手段と、第２の撮影レンズと第２の固体撮像素子を含んだ第２の撮像手段を視差を有するように配置した立体撮像装置において、第１の固体撮像素子で撮像された画像から水平走査線位置を指定した走査線の映像信号を取り出し、前記走査線の映像信号を信号処理し被検体上の計測点を抽出する計測点抽出手段と、前記計測点に対応する第１の固体撮像素子上の対応座標点と第２の固体撮像素子上の対応座標点を検出する対応座標点検出手段と、被検体上の計測点までの距離を算出する距離算出手段を有することを特徴とした立体計測装置に関するものである。
【０００７】
本発明は被検体のある３次元空間の中より、計測空間を２次元の平面に限定することで計測手段の単純化を図ったものある。一例として撮像レンズＬ１，Ｌ２の中心をＸ軸上に、それぞれの光軸をＺ軸に平行なるように配置し、固体撮像素子ＣＣＤ１とＣＣＤ２をそれぞれの中心を撮像レンズＬ１とＬ２光軸上に合致させ水平の走査方向をＸ軸に平行になるように配置した状態を図１に示す。ＣＣＤ１とＣＣＤ２の水平走査線の位置を光軸の下方に5で示す直線上に選択すると、計測平面は図１に示された直線５とＸ軸を含む平面（直線５，６，７で示す平面）として選択され、この場合は被検体上の計測点Ｐは直線５とＸ軸を含む平面上で選択されるが、測定精度を高めるには直線5の位置はＸ−Ｚ平面上にあることがのぞましい。
【０００８】
またＣＣＤ１とＣＣＤ２の水平走査線の位置をＸ−Ｚ平面上にとると、計測平面は２で表すＸ−Ｚ平面として選択され被検体上の計測点ＰはＸ−Ｚ平面上で選択される。実施例を含めた本発明の詳細な説明では、計測平面をＸ−Ｚ平面として選択した場合についておこなうことにする。
【０００９】
請求項２に関わる発明は、前記第１の撮像手段による画像と第２の撮像手段による画像を同一方法で画像処理し、この画像処理をした画像を用い被検体上の計測点を抽出する計測点抽出手段と、前記計測点に対応する第１の固体撮像素子上の対応座標点と第２の固体撮像素子上の対応座標点を検出することを特徴とする。
【００１０】
被検体の図柄によっては、請求範囲1で開示した方法では被検体上の計測点を決めるのが難しい場合がある。一例として画像の輪廓を抽出する画像処理をおこなうと画像の特徴が単純化されるので、この輪廓を抽出した画像より水平走査線位置を指定した走査線で走査した映像信号を取り出し、前記映像信号を信号処理し被検体上の計測点を抽出する計測点抽出をおこなうと計測点が容易に抽出可能となる。
【００１１】
請求項３に関わる発明は、被検体までの算出された距離に対応して、目盛り巾の異なった計測用目盛をモニター画面上に描画する目盛描画手段を有することを特徴とする。
【００１２】
この計測用目盛として、撮像レンズの歪曲に合わせて目盛を描画することで撮像された画像の歪曲補正をおこなうことなく被検体の大きさを計測することが出来る。
【発明の効果】
【００１３】
本発明による立体計測装置では、限定された範囲であるが被検体までの距離計測を自動的におこなうことが出来るので、被検体までの距離が変わっても常に更新された距離情報を得ることが出来る。この距離情報はモニター画面上に被検体距離として表示でき、他の機材の制御情報として使用が可能である。また被検物距離がわかれば倍率が容易に算出出来るので、倍率に合わせた目盛をモニター画面上に常時表示させることも可能であるので実用上の効果は非常に大きい。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。なお実施例の説明で使用する図面は理解を容易にするために、被検体とその像の関係を容易に把握出来るよう撮影レンズ、固体撮像素子の大きさ等は実際のものを誇張したスケールで示してある。なお以下の説明ではＣＣＤをもって固体撮像素子を代表し説明する。
【実施例】
【００１５】
図1は本発明による立体計測装置の基本的な測定原理を示すものである。図1では一般的な立体計測に用いる空間をＸ−Ｙ−Ｚの座標空間１で表している。図中Ｌ１は第１の撮影レンズ、Ｌ２は第２の撮像レンズ、ＣＣＤ１は第１の固体撮像素子、ＣＣＤ２は第２の固体撮像素子を示しており、第１の撮影レンズＬ１とＣＣＤ１で第１の撮像手段３を構成し、第２の撮影レンズＬ２とＣＣＤ２で第２の撮像手段４を構成している。図に見られるようにＣＣＤ１，ＣＣＤ２は撮像面中心が撮像レンズＬ１，Ｌ２の光軸上に焦点を結ぶ位置ｆだけ離して配置されており、ＣＣＤ１とＣＣＤ２は水平走査方向が同一直線上に並ぶよう配置されている。また第１の撮像手段３と第２の撮像手段４は視差を有するように光軸間隔２ｄ（ｄ＋ｄ）をもって、水平方向に平行に配置されている。
【００１６】
被検体Ｐ−Ｑの像は、第１の撮像手段によってＣＣＤ１上ではＰ１−Ｑ１として、第２の撮像手段によってＣＣＤ２上ではＰ２−Ｑ２として結像される。
ＣＣＤ１上の点Ｐ１とＣＣＤ２上の点Ｐ２の座標が決まれば、点Ｐ１と撮像レンズＬ１の中心を通る直線Ｗ１と点Ｐ２と撮像レンズＬ２の中心を通る直線Ｗ２が決まりこの２直線の交点として点Ｐの座標が決まる。同様にして点Ｑ１とＱ２から点Ｑの座標が決まるので、計算で被検体までの距離ｓを求めることが出来る。
【００１７】
これまでは立体計測をおこなう場合には第１の撮像手段による画像上と、第２の撮像手段による画像上で点Ｐ１−Ｑ１、点Ｐ２−Ｑ２をポインティングして計測点を明確に指示する必用があった。この様な計測方法は、計測範囲が広く精度も高く採ることが出来るが第１の撮像手段と第２の撮像手段による画像上から被検体の計測位置を選択するのにポインティングするという操作が必用なため、撮像手段と被検体の位置が相対的に移動する場合には瞬時の計測結果を得ることが困難であった。
【００１８】
たとえば立体撮像装置として内視鏡を考ええた場合、通常測定したい被検体は画面中央部に写るようにする場合が多く、また被検体の大きさを計測する場合でもあまり高い精度を必用としない場合が多い。どちらかといえば、内視鏡操作中に常に被検体の距離が自動で表示されたり、被検体上に目盛が描画されていて目盛を使用して被検体の大きさが読み取れれば十分という使用上の要求も多い。
【００１９】
本発明はこの点に着目してなされたもので、被検体のある計測空間を２次元の平面に限定することで計測手段の単純化を図ったもので、図１に示されたＸ−Ｙ−Ｚ空間１から２で示すＸ−Ｙ平面に計測空間を限定し、特にＣＣＤの水平走査位置を予め指定しておくことで変数の数を減らし計測を自動化したものである。
【００２０】
図２は図１におけるＸ−Ｙ平面２を取り出したもので、構成要素と符号は図１と同じであり、第１の撮像手段３と第２の撮像手段４はＺ軸からそれぞれの光軸をｄだけ離して平行に配置されている。なおＣＣＤ１の中心は０１、ＣＣＤ２の中心は０２で表し、被検体の計測点ＰはＺ軸よりｈだけ、Ｘ軸よりｓだけ離れているとする。被検物点ＰのＣＣＤ１、ＣＣＤ２上における対応点をそれぞれＰ１、Ｐ２としそれぞれのＣＣＤ中心０１，０２からの距離をｘ１、ｘ２とする。
【００２１】
この様に計測区間をＸ−Ｙ平面２に限定すると、定数はｆ、ｄ、変数はｘ１，ｘ２、ｓ、ｈとなり次の関係が成立する。
ｓ×ｘ１＝ｆ×（ｈ＋ｄ）
ｓ×ｘ２＝ｆ×（ｈ−ｄ）
この式からｈを消去すると
ｓ＝（２ｆｄ）÷（ｘ１−ｘ２）
となり容易に被検体までの距離ｓが求められる。
【００２２】
従来の立体計測の概念から言えば、点Ｐは第１の撮像手段３と第２の撮像手段４の画面上でポインティングすることになるがこれでは計測の自動化につながらない。本発明は点Ｐに対応するＣＣＤ１，ＣＣＤ２上の対応点Ｐ１、Ｐ２を自動的に検出する計測点抽出手段を設けている。
【００２３】
図３は図２における被検体の計測点Ｐの検出方を示している。図中のＣＣＤ１，ＣＣＤ２上の座標軸をそれぞれ（Ｘ１，Ｙ１）、（Ｘ２、Ｙ２）で表し被検物のＣＣＤ上の像をＡ１，Ａ２で表し、被検物の計測点Ｐの像をＰ１（ｘ１，０），Ｐ２（ｘ２，０）で表している。すでに説明したように計測空間をＸ−Ｚ平面に限定しているので、図３では３ａで示すようにＣＣＤ１、ＣＣＤ２の走査線位置をＸ１，Ｘ２軸上に指定している。
【００２４】
ＣＣＤ１、ＣＣＤ２をＸ１，Ｘ２軸上で走査した場合の出力の例を３ｂに示す。ここで縦軸Ｂは信号の強さを示している。一例としてＣＣＤ１のＸ１軸上の走査で得られた信号ｇ１より一番出力の大きい点Ｐ１を選択して走査線のスタート位置からの時間ｔ１を計測する。次にＣＣＤ２のＸ２軸上の走査で得られた信号ｇ２を信号ｇ１と照合してＰ１の対応点Ｐ２を求め走査線のスタート位置からの時間ｔ２を計測しＣＣＤ１，ＣＣＤ２上の座標点に換算しｘ１，ｘ２の座標を求める。照合する信号は1次元の時系列信号なので信号ｇ１とｇ２の照合は容易に行える。
【００２５】
この様にして被検体上の計測点ＰのＣＣＤ１，ＣＣＤ２の対応点が決まれば前述の説明の用に被検体までの距離が容易に求められる。この例では計測点Ｐの対応点をＣＣＤ１，ＣＣＤ２の映像信号の波形から求めたが、被検体の図柄によっては予めＣＣＤ１とＣＣＤ２の画像を同じ方式で輪廓抽出した画像に処理しておくことにより計測点ＰのＣＣＤ１，ＣＣＤ２の対応点Ｐ１，Ｐ２の検出が容易になる。
【００２６】
これまでは被検体の像が座標原点０よりＺ軸方向にｓだけ離れたＸ−Ｙ平面上にあるような状態で説明をしてきたが、一般の被検体は表面に凸凹があり奥行き方向の距離が変化している。この例を図４に示す。図４の符号はほとんど図３と同一であるが表面に凸凹を持った被検物の状態を１０で示している。計測範囲を中心（Ｚ軸）付近に巾Ｕで示す範囲に選択し、巾Ｕを狭くすることで必用とする被検体までの距離を精度よく得られる。
図４に示したように、被検体の計測範囲をＵで示す様に画面中心近傍に限定して選択すると、この範囲では被検体の表面に凸凹があっても被検体までの距離は実用上問題になることはない。
【００２７】
この様にして、被検物までの距離が計測出来れば容易に倍率が計算出来る。倍率が求められれば倍率に合わせた計測目盛りをモニター上に描画すると常に被検物までの距離に合わせた計測目盛りが画面上にあるので容易に被検物の大きさがわかる。この場合計測目盛りは図５に示すように撮像レンズの歪曲に合わせて作成しておくことで撮像レンズの歪曲補正をせずに被検物の大きさが測定できる。図中、５ａは歪みのない計測目盛りの例を示し５Ｂは負の歪曲を持った撮影レンズの歪曲量で計測目盛りを補正した例を示す。
【００２８】
図６は本発明による立体計測装置の構成を示すもので、図中３は撮像レンズＬ１，ＣＣＤ１を含んだ第１の撮像手段を示しており、４は撮像レンズＬ２，ＣＣＤ２を含んだ第２の撮像手段を示している。ＣＣＤ１はＳＳＧ／ＴＧを含んだ駆動回路１１で駆動され、映像出力は信号処理回路１２で映像信号に処理される。ＣＣＤ２は同様にＳＳＧ/ＴＧを含んだ駆動回路２１で駆動され映像出力は信号処理回路２２で映像信号に処理される。なをＣＣＤ１とＣＣＤ２は同期をとって駆動され信号処理回路１２，２２も同期がとられている。通常の立体映像装置では上記映像出力を立体画像処理回路３０で立体画像信号に処理し３次元モニターに表示している。
【００２９】
本発明による立体計測装置では、第１の撮像手段３と、第２の撮像手段４よりの映像信号は計測用画像処理回路３１にも加えられ、第１の撮像手段３と、第２の撮像手段４による被検物の画像の予め決められた走査位置の信号の合致位置を検出する手段から被検物までの距離を算出している。被検物までの距離情報は信号処理回路１２、２２と立体画像処理回路３０の間に設けられた加算回路３２，３３に加えられリアルタイムで画面上に距離情報を表示出来る。
【００３０】
本発明による立体撮像装置はこのほかに計測用目盛発生回路３４を持っており、目盛情報はスケーラー３５に加えられた計測用画像処理回路３１からの距離情報、倍率情報によって最適なサイズの計測用目盛が加算回路３２，３３に加えられモニター上に計測用目盛りが描画される。
【００３１】
一般に撮像レンズは歪曲収差を持つので、目盛発生回路で作られる計測用目盛は中心から周辺に行くに従って撮影レンズの歪曲量に対応して図５に示すように目盛巾を変えている。
【００３２】
この様に構成された立体映像装置は、観察したい被検物を画像中心部に持ってくると被検物までの距離が自動的に表示され、同時に被写体の撮影倍率に対応した計測用目盛がモニター上に表示されるので利用価値が大きく、特に内視鏡等ではその効果が大きい。
【００３３】
この実施例では、被写体までの距離、計測用目盛は立体表示装置に自動で表示されるが必用に応じて表示しないように出来ることは言うまでもなく、また表示装置が２次元モニターの場合も有効に距離情報、計測用目盛がモニター上に描画出来る。
【００３４】
また本発明による立体計測装置は、画像は表示せず計測機能のみを使用しても機器の制御等への広い応用が考えられる。
【００３５】
本発明の説明では、ＣＣＤの中心を撮像レンズの光軸上に配置した例を用いたが、予め設定された基準距離に対応する位置にＣＣＤセンターを配置する例や、一組の撮像レンズの前に共通の凸レンズを配置する例のように通常の立体撮像装置で用いられる撮像手段に適用できることは言うまでもなく、本発明の技術範囲に含まれる。
【図面の簡単な説明】
【００３６】
【図１】本発明の立体計測装置の基本的な測定原理を示す概略説明図である。
【図２】基本的な距離算出を図式化した概略説明図である。
【図３】距離算出に用いる一組のＣＣＤ１、ＣＣＤ２上の対応点を求める概略説明図である。
【図４】被検物は表面に凸凹がある場合の説明図である。
【図５】本発明に使われる計測用目盛を説明する概略図である。
【図６】本発明による立体計測装置の構成説明図である。
【符号の説明】
【００３７】
１  Ｘ−Ｙ−Ｚ座標系で示される３次元空間        
２  Ｘ−Ｚ座標系で示される２次元空間    
３  対物レンズＬ１，ＣＣＤ１を含んだ第１の撮像手段    
４  対物レンズＬ２，ＣＣＤ２を含んだ第２の撮像手段
１０  被検体の表面
１１，２１  駆動回路
１２，２２  信号処理回路
３０  立体画像処理回路
３１  計測用画像処理回路
３２，３３  加算回路
３４  計測用目盛発生回路
３５  スケーラー
【図１】
2007187590.tif 000003
【図２】
2007187590.tif 000004
【図３】
2007187590.tif 000005
【図４】
2007187590.tif 000006
【図５】
2007187590.tif 000007
【図６】
2007187590.tif 000008