(57)【要約】  【課題】対象物に既知の位置からスポット光を照射し、反射光をカメラで受けて三角測量を行う三次元計測において、ベースライン距離が短いにもかかわらず、量子化誤差を軽減し、距離分解能を向上させる。  【解決手段】１回の計測において、レンズ単体を移動させるか、レンズ及び撮像素子をともに移動させるか、カメラのレンズは固定したまま、撮像面を元の平面と平行に移動させることにより２以上の計測値を得て、これらの数値の統計的処理により量子化誤差を軽減する。  【選択図】  図２
2006271503.tif 000002
【特許請求の範囲】
【請求項１】
距離を測定するための光パターンを対象物にむけて照射する投光器(１)と、対象物からの反射光を撮像素子上に結像させる撮像レンズ(３)と、結像された像を光−電気変換する撮像素子(４)と、撮像素子及び／またはレンズを微小距離移動させるアクチュエータ(８)とを具備する三次元計測機能つき内視鏡装置。
【請求項２】
距離を測定するための光パターンを対象物にむけて照射する投光器(１)と、対象物からの反射光を撮像素子上に結像させる撮像レンズ(３)と、結像された像を光−電気変換する２つ以上の撮像素子(４)と、撮像素子上の像を画素のｋ／ｎピッチ(但しｋは１からｎ−１までの整数、ｎは２以上の整数)ずらして２つ以上の撮像素子に結像させるハーフミラー(１４)とを具備する三次元計測機能つき内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、内視鏡における三次元計測技術に関する。
【背景技術】
【０００２】
三次元計測において、アクティブな方法として様々な方法が提案されている。ここでは、光のパターンを投光する方法について述べる。
（１）ストライプパターンを投影する方法（特許文献１参照）
マルチスリット光として平行光線を投光し、既知のスリット幅と投影されたストライプを撮像して得られる画角とから対象物への距離を知る。
（２）スポット光を照射する方法（特許文献２参照）
スポット光を位置を変えながら順次照射し、既知のスポット光の光軸と、撮像された照射位置情報とから三角測量の原理により、対象物への距離を知る。
【特許文献１】特開２００２−１３１０１６号公報
【特許文献２】特開平５−０５２５３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の技術において、撮像素子としてＣＣＤやＣＭＯＳを利用することにより小型化が図れるが、これらの素子は離散的に配置されているため量子化誤差が発生し、この誤差の軽減はこれまで困難であった。
この発明は、ベースライン距離が短いにもかかわらず、量子化誤差を軽減し、距離分解能を向上させることを目的とする。
まず計測の原理を説明する。
ドットパターンの投光による場合を例にとり説明する。図１(ａ)は、投光器(１)、カメラ(２)、カメラの撮像レンズ(３)、カメラの撮像素子(４)及び対象物(５)の配置を示す概念図である。
ただ一つのドットのみを投光器(１)から照射し、カメラ(２)でその位置を捉える。撮像レンズ(３)の開口部を通過してきた対象物(５)からの反射光が撮像素子(４)の上で結像し、それぞれのベクトルＯＡ，ＯＢが得られる。既知の投光器の射出孔(Ａ)とカメラのレンズ中心(Ｂ)との距離ＡＢ(ベースライン距離)と、ベクトルの交点とから対象物(５)のある一点(Ｏ)の三次元位置が求められる。
【０００４】
ラインパターンの投光の場合も、光源が存在する平面とカメラで取得したベクトルとの交点により、三次元位置が求められる。パターンマッチング技術と併用することにより、複数のラインパターンすなわちストライプパターンや格子状のパターンであっても三次元位置を求めることが可能である。複数のドットであっても同様である。
ＣＣＤやＣＭＯＳデバイスを用いた撮像素子により光−電気変換を行うため、素子の離散的配置のため、角ＡＢＯの値は連続した値となり得ない。
図１(ｂ)において、対象物(５)の元の点(Ｏ)は撮像素子の点Ｐ１に結像しているため対象物までの距離は、ＡＯとなる。対象物(５’)が近づいてきたために撮像素子の点Ｐ２に点(Ｏ’)が結像すると、三角測量の原理によって現在の位置は点(Ｏ’)にあるものと推測される。すなわち、撮像素子上で点Ｐ１と点Ｐ２の間を細分化しない限り、距離ＯＡの次に近い距離は距離Ｏ’Ａとなり、この間の距離は計測できない。
【課題を解決するための手段】
【０００５】
カメラ及び／またはパターン投光装置の移動により、ベースライン距離が小さくても計測精度を向上することができる。
【発明を実施するための最良の形態】
【０００６】
内視鏡のような小型化が要求されるカメラにおいては、ＣＣＤやＣＭＯＳデバイスを用いた撮像素子により光−電気変換を行うため、素子の離散的配置により量子化誤差が生じる。
この誤差を軽減するために、撮像素子の画素数を増やすことができればよいが、画素数を無限に増やすことはできない。そこで、実質的に画素数を増やしたかのように、量子化誤差を軽減できる構造を提案する。
問題点解決の基本的概念は以下のとおりである。
（１）カメラ（またはパターン投光装置）の内視鏡径方向への移動
（２）カメラ（またはパターン投光装置）の内視鏡前後方向への移動
（３）カメラ及びパターン投光装置の移動
【０００７】
撮像面である撮像素子を移動させる構成を、図２に示す。図２において、内視鏡の挿入部(２０)の先端が示されており、投光器としてライトガイド(６)及び投光レンズ(７)が設けられている。投光レンズ(７)からはマルチビームのスポット(ドット)光が投光され、対象物(５)を照射する。対象物(５)から反射した光は撮像レンズ(３)により、ＣＣＤやＣＭＯＳによる撮像素子(４)上に像を結ぶ。撮像素子(４)はフローティング状態に保持されており、アクチュエータ(８)の一端と結合することにより微小距離移動可能になっている。
アクチュエータ(８)の他端は適当な箇所に固定されている。また、撮像素子からの画像信号は、信号線(９)を経由して信号処理回路(１０)に接続されている。信号処理回路では距離の演算や画像のコントラストなどを必要により調整する。
ドット状の照明では目視による観察がしづらい場合には、全体照明とドット照明とを時分割して交互に使用することや、光の波長を異ならせて、赤外光で距離測定を行うとともに可視光で観察を行うよう構成することも考慮されるべきである。
【実施例１】
【０００８】
概念を説明すると、カメラを第１の位置に置き対象物を撮像する。第１の位置は、図３(ａ)におけるレンズ(Ｌ２)の位置である。次にカメラを内視鏡径方向へ移動させ、第２の位置で対象物を再撮像する。第２の位置は、図３(ａ)におけるレンズ(Ｌ３)の位置である。この移動により対象物(１１)は、最初は像(１２)として、次に像(１３)として結像する。
図３(ａ)ではレンズＬ２を左方のＬ３の位置に移動した場合を示している。レンズを左右方向に微小距離移動させると対象物の結像位置が変化し、結像は像(１２)から像(１３)へと移動する。この場合、撮像素子をレンズ移動と同じ距離だけ同方向に移動させてもよいし、移動させなくてもよい。また、撮像素子のみを右方向へ移動しても同等の効果が得られる。
これによりパターンの結像位置が異なり、同一ポイントで２通りの距離が得られる。単純には、これらの値を平均化処理する。さらには内視鏡のヘッドが移動していることを利用して、前の画像フレームと今回の画像フレームとの平均移動量を求め、これにより補正する。レンズ単体を移動しても、レンズ及び撮像素子をともに移動してもよいが、実際上は、カメラのレンズは固定したまま、撮像面を元の平面と平行に移動させる形態が望ましい。いずれにしても撮像素子上で結像位置が異なれば、精度は向上する。結像位置が撮像素子の画素において１／２ピッチずれれば精度は約２倍となる。
【０００９】
さらには、１／３ピッチずつずらせながら３回の撮像を行うと、さらに精度は向上する。
拡張すればｋ／ｎピッチ(ｋ＝０，１，…，ｎ−１であり，ｎは１以上の整数)ずらしすることが可能である。
ここでの移動はアクチュエータなどにより物理的に行っても良いが、ハーフミラーにより入射光を分割し、２つ以上の撮像素子により撮像することにより行っても良い。アクチュエータによれば１／２画素シフトや１／３，２／３画素シフトなど多種の移動位置で画像が得られる。ハーフミラーによれば可動部がないなどそれぞれの構成により得失があるので、状況により選択する。ハーフミラー(１４)を用いる場合の構造を図４に示す。図４(ａ)は左右方向にずらせる例である。
ここまで、単一ドット光の例で示したが、逐次点灯によるスキャンであっても適用可能であるし、常時点灯のマルチドットであってもパターン・マッチングの手法を採用すれば、単一ドット光と同様に距離計側が行えることは明らかである。
【実施例２】
【００１０】
先の実施例では撮像面を元の平面と平行に移動させたが、他の実施例として撮像面を元の平面と垂直の方向すなわち内視鏡の前後方向に移動させる。
図３(ｂ)は、その概念図である。第１の位置におけるレンズ(Ｌ２)で対象物(１１)を撮像すると、対象物(１１)は像(１２)の位置及び大きさで結像する。
次にレンズを移動させる。第２の位置におけるレンズ(Ｌ３)で対象物(１１)を撮像すると、対象物(１１)は像(１３)の位置及び大きさで結像する。
図３(ｂ)はレンズ(Ｌ２)を後方のＬ３の位置に移動した場合を示している。
レンズを前後方向に微小距離移動させると対象物の結像位置及び大きさが変化し、結像は像(１２)から像(１３)へと移動する。この場合、撮像素子をレンズ移動と同じ距離だけ同方向に移動させるものとするが、ピントのずれが問題にならなければ、撮像素子は移動させなくてもよい。
この場合には、パターンの一部で結像位置が変化しないため、部分的に量子化誤差を軽減できない領域が存在する。
前後の移動においても物理的な移動に代えて、ハーフミラー(１４)による入射光分割が利用できる。この場合にはピント合わせの問題が生じるが、一方の撮像素子に補正レンズ(Ｌ４)を設けることにより解決することができる。
図４はハーフミラー(１４)を用いる場合の構造であり、図４(ｂ)及び図４(ｃ)は前後方向にずらせる例である。図４(ｂ)においては、焦点距離調整のために補正レンズ(Ｌ４)を挿入してある。この場合には焦点距離が撮像素子ごとに異なるので、厳密にいえばカメラを前後方向にずらしたものではないが小型化が可能である。図４(ｃ)の構造はカメラ全体を前後方向にずらせたものとなるが構造上やや大きくなる。光路を変更するために全反射ミラー(１５)を用いているが、省略する構造も可能である。
【実施例３】
【００１１】
ここまで、カメラ(レンズ単体または撮像素子のみの移動を含む)を移動させるものとして説明したが、カメラに代えてパターン投光器を移動させることによっても、カメラの移動と同様に量子化誤差が軽減できることは理解できよう。
さらに、カメラとパターン投光装置の双方を移動させることによっても同様に量子化誤差が軽減できることも理解できよう。
また、撮像素子上の異なる画素へ結像できて計測すれば誤差が軽減できるのであるから、カメラを傾けること、レンズまたは撮像素子を傾けること、投光器を傾けることなど他の形態も考えられる。
【実施例４】
【００１２】
先に述べたレンズの前後方向への移動により、距離を求めることができる。結像位置の変化の影響など補正要素はあるが、概略を述べる。
図３(ｂ)に示すように、カメラ全体をｘｃｍ後ろに移動した際に対象物の大きさ(または画角)がｙ％減少したとすると、
対象物の大きさ×焦点距離＝像(１２)の大きさ×最初の距離(Ｄ１２)  -----（１）
対象物の大きさ×焦点距離＝像(１３)の大きさ×移動後の距離(Ｄ１３)-----（２）
移動後の距離(Ｄ１３)−最初の距離(Ｄ１２)＝ｘ                    -----（３）
像(１３)の大きさ／像(１２)の大きさ＝（１００−ｙ）／１００      -----（４）
の４つの式から
対象物までの最初の距離＝ｘ・（１００−ｙ）／ｙ
となる。
これにより求めた距離も量子化誤差の影響を含むものであるが、実施例１乃至３による三角測量を補完するものとして、あるいは単独で距離測定可能なものである。ハーフミラーを用いる場合には、図４(ｃ)の構造が望ましい。
【産業上の利用可能性】
【００１３】
ここで述べた量子化誤差を低減する手法は広く利用可能なものであるが、ベースラインを大きく取れない分野、すなわち内視鏡に適用すればカメラ(撮像素子)の移動に用いるアクチュエータも小型の圧電素子たとえばピエゾ素子を用いることができ、小型化が可能である。
【図面の簡単な説明】
【００１４】
【図１】距離計測の原理を示す図。（ａ）は装置概念図であり、（ｂ）は量子化誤差を説明する図である。
【図２】内視鏡の挿入部先端を示す図。
【図３】量子化誤差を軽減するためのカメラ移動を示す図。（ａ）は左右方向への移動を示し、（ｂ）は前後方向への移動を示している。
【図４】ハーフミラーによる撮像素子の配置を示す図。（ａ）は左右方向への配置を示し、（ｂ）及び(ｃ)は前後方向への配置を示している。
【符号の説明】
【００１５】
１  投光器
２  カメラ
３  レンズ開口部
４  撮像素子
５，１１  対象物
１２  レンズ(Ｌ２)による像
１３  レンズ(Ｌ３)による像
【図１】
2006271503.tif 000003
【図２】
2006271503.tif 000004
【図３】
2006271503.tif 000005
【図４】
2006271503.tif 000006
【手続補正書】
【提出日】平成17年10月12日(2005.10.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
距離を測定するための光パターンを対象物にむけて照射する投光器(１)と、対象物からの反射光を撮像素子上に結像させる撮像レンズ(３)と、結像された像を光−電気変換する撮像素子(４)と、撮像素子及び／またはレンズを微小距離移動させるアクチュエータ(８)とを具備する三次元計測機能つき内視鏡装置。
【請求項２】
前記アクチュエータ(８)は、撮像素子(４)及び／またはレンズ(３)を光軸方向に微小距離移動させることを特徴とする請求項１記載の三次元計測機能つき内視鏡装置。
【請求項３】
前記アクチュエータ(８)は、撮像素子(４)及び／またはレンズ(３)を光軸と直交する方向に微小距離移動させることを特徴とする請求項１記載の三次元計測機能つき内視鏡装置。
【請求項４】
距離を測定するための光パターンを対象物にむけて照射する投光器(１)と、対象物からの反射光を撮像素子上に結像させる撮像レンズ(３)と、結像された像を光−電気変換する２つ以上の撮像素子(４)と、撮像素子上の像を画素のｋ／ｎピッチ(但しｋは１からｎ−１までの整数、ｎは２以上の整数)ずらして２つ以上の撮像素子に結像させるハーフミラー(１４)とを具備する三次元計測機能つき内視鏡装置。
【請求項５】
前記ハーフミラー(１４)は、等価的に各レンズ(３)及び／または撮像素子(４)を光軸方向に特定距離ずらすことにより、撮像素子上の像を画素のｋ／ｎピッチ(但しｋは１からｎ−１までの整数、ｎは２以上の整数)ずらして２つ以上の撮像素子に結像させることを特徴とする請求項４記載の三次元計測機能つき内視鏡装置。
【請求項６】
前記ハーフミラー(１４)は、等価的に各レンズ(３)及び／または撮像素子(４)を光軸と直交する方向に特定距離ずらすことにより、撮像素子上の像を画素のｋ／ｎピッチ(但しｋは１からｎ−１までの整数、ｎは２以上の整数)ずらして２つ以上の撮像素子に結像させることを特徴とする請求項４記載の三次元計測機能つき内視鏡装置。
【請求項７】
距離を測定するための光パターンを対象物にむけて照射する投光器(１)と、対象物からの反射光を撮像素子上に結像させる撮像レンズ(３)と、結像された像を光−電気変換する撮像素子(４)と、前記投光器を微小距離移動させるアクチュエータとを具備する三次元計測機能つき内視鏡装置。
【請求項８】
前記アクチュエータは、前記投光器を光軸方向に微小距離移動させることを特徴とする請求項７記載の三次元計測機能つき内視鏡装置。
【請求項９】
前記アクチュエータは、前記投光器を光軸と直交する方向に微小距離移動させることを特徴とする請求項７記載の三次元計測機能つき内視鏡装置。