(57)【要約】【課題】パターン投影による３次元計測と立体視を行う内視鏡では、オクルージョンによる３次元計測の精度低下が生じ、かつ光学系が大型化する。【解決手段】独立した少なくとも２つの光学系と、前記光学系それぞれに接続された少なくとも1つの撮像素子と、変調可能な少なくとも1つの光源とを有し、前記光学系のうち第一の光学系に接続された撮像素子が撮像を行う際に、前記光学系のうち第二の光学系が照明を行い、前記第二の光学系に接続された撮像素子が撮像を行う際に、前記第一の光学系が照明を行う複数の光学系を有する内視鏡において、前記第一と第二の光学系による照明は対象物表面に複数の計測点を含むパターンを投影するパターン照明である。【選択図】図５
2015231498.tif 000002
【特許請求の範囲】
【請求項１】
独立した少なくとも２つの光学系と、前記光学系それぞれに接続された少なくとも２つの撮像素子と、変調可能な少なくとも1つの光源とを有し、前記光学系のうち第一の光学系に接続された撮像素子が撮像を行う際に、前記光学系のうち第二の光学系が照明を行い、前記第二の光学系に接続された撮像素子が撮像を行う際に、前記第一の光学系が照明を行う複数の光学系を有する内視鏡において、前記第一と第二の光学系による照明は対象物表面に複数の計測点を含むパターンを投影するパターン照明であることを特徴とする内視鏡装置。
【請求項２】
前記パターン照明は、可視光とは異なる波長で照明されることを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記第一の光学系による照明のパターンと、前記第二の光学系による照明のパターンは、異なるパターン照明を行うことを特徴とする請求項１又は請求項２に記載の内視鏡装置。
【請求項４】
前記第一の光学系により取得された３次元計測データと、前記第二の光学系により取得された３次元計測データから、オクルージョン領域を補完する補完回路を有することを特徴とする請求項１乃至請求項３の何れか一項に記載の内視鏡装置。
【請求項５】
独立した少なくとも２つの光学系と、少なくとも２つの撮像素子と、少なくとも一つのパターン表示素子と、光源とを有する内視鏡システムにおいて、前記光源と撮像素子は前記２つの光学系に接続されるとともに前記パターン表示素子に複数の計測点を含むパターンを表示し前記光源により前記パターン表示素子を照明するとともに前記光学系の一方を用いて観察対象表面に前記パターンを投影し、前記光学系のもう一方を用いて前記投影パターンを撮像し、かつ前記撮像と前記投影を光学系を入れ替えながら行うことで、前記観察対象の３次元形状を計測することを特徴とする３次元計測内視鏡システム。
【請求項６】
前記内視鏡システムは、内視鏡以外の手段により取得された３次元データと、内視鏡により計測された３次元データのマッチングを行うマッチング回路を有することを特徴とする請求項５に記載の３次元計測内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置に属し、特に観察対象の３次元計測が可能な医療用、工業用に適用可能な内視鏡に関する。
【背景技術】
【０００２】
内視鏡として、体内の臓器を観察・診断・治療する医療内視鏡や、機械装置や設備のパイプ内部・機器の隙間などの観察困難な場所を観察や修理するための工業用内視鏡などが知られている。以上の内視鏡の多くは１つの観察光学系を有するものであり、立体的な形状観察や、形状計測は困難なものとなる。
【０００３】
これに対し、複数の光学系もしくは撮像機器を有し、観察対象の立体的観察を可能にした３Ｄ内視鏡を呼ばれる内視鏡が開発されている。このような３Ｄ内視鏡は、主に立体観察に用いられる。特に診断・治療する際に患部の立体視が可能であることは、非常に有利に働く。
【０００４】
また、２つの画像から特徴点抽出を行い、画面上に現れる視差と２つの光学系の距離から、三角測量の原理で３次元計測を行うことも可能である(特許文献１)。しかし一般的に、画像上の特徴点の抽出は難しく、単に２つの画像から３次元形状測定を行った場合、大きな誤差が発生しやすい。
【０００５】
これに対し、特許文献２のように計測点を含むパターンを観察対象に投影し、高精度な測定を行う３次元計測可能な内視鏡が提案されている。この場合計測点が投影されているため特徴点抽出が容易であるため、３次元計測の精度が向上する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平２−２１６４０４号公報
【特許文献２】特開２００５−２８７９００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献２のように複数の撮像系とともに計測点投影の投影光学系を有する場合、光学系の数が増加し、結果として内視鏡装置が大型化する。特に医療用内視鏡においては、患者への負担を可能な限り低減するため、内視鏡装置は小型であることが求められており、内視鏡装置が大型化することは好ましくない。
【０００８】
また、特許文献２の場合、投影する光学系は１つであり、投影パターンが観察対象により隠されてしまい、パターンが投影されない現象(オクルージョン)が発生し、３次元情報を記録できない場合がある。
【０００９】
このため、本発明の目的は内視鏡装置を小型化し、かつ高精度でオクルージョンの少ない３次元計測を可能にする３次元計測内視鏡を提供することにある。
【課題を解決するための手段】
【００１０】
本発明に係る内視鏡装置の構成は、独立した少なくとも２つの光学系と、前記光学系それぞれに接続された少なくとも1つの撮像素子と、変調可能な少なくとも1つの光源とを有する内視鏡において、前記光学系のうち少なくとも第一の光学系に接続された撮像素子が撮像を行う際に、前記光学系のうち第二の光学系が照明を行い、前記第二の光学系に接続された撮像素子が撮像を行う際には、前記第一の光学系もしくは前記第二の光学系少なくとも一方が照明を行い、前記第一と第二の光学系による照明は対象物表面に複数の計測点にあたる特長点を有するパターンを投影するパターン照明であることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、立体視可能な内視鏡において、パターン照明の照明光学系と画像取得する観察光学系を共用する(同軸照明する)ことで、照明光学系を別途用意することがなくなり、内視鏡装置を小型化できる。また、２眼立体視の画像情報に加え、パターン照明を２つの光学系それぞれで行うため、オクルージョンの発生を低減させることが可能になる。さらに、複数の３次元計測データが得られるため、３次元計測の精度を向上させ、観察対象のより詳細な３次元情報を得ることが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明における、第一の実施例を説明する図である。
【図２】第一の実施例における、撮像の手順を表すフローチャートである。
【図３】オクルージョンの発生を説明する図である。
【図４】オクルージョンの回避を説明する図である。
【図５】本発明における第二の実施例を説明する図である。
【図６】３次元計測に用いる投影パターンを説明する図である。
【図７】第二の実施例における、撮像の手順を表すフローチャートである。
【図８】本発明における、第三の実施例を説明するブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態を図面に基づいて説明する。
【実施例１】
【００１４】
図１を用いて、本発明における第一の実施例の説明を行う。図１は本実施例における内視鏡装置の構成図である。図１の内視鏡は第一及び第二の光学系１０１と１０２、それぞれ光学系１０１と１０２に接続された撮像素子１０５と１０６、及び照明装置１０３と１０４で構成されている。光学系１０１及び１０２は複数の光学素子１１３及びハーフミラー１１１、１１２により構成されている。照明装置１０３及び１０４は、光源１０７及び１０８、パターン表示素子１０９及び１１０、光学素子１１３により構成されている。照明装置１０３を射出した照明光は、ハーフミラー１１１により第一の光学系１０１内に導かれ、同軸照明として不図示の観察対象上に、パターン表示素子１０９に表示されたパターンを投影する。ここで、ハーフミラー１１１、１１２は光学系１０１、１０２の瞳に配置することが望ましい。また、リレー光学系で瞳が多数形成される場合には、内視鏡装置の挿入部分を補足するため、なるべく撮像素子１０５、１０６に近い瞳に配置することが好ましい。
【００１５】
同様に、照明装置１０４を射出した照明光は、第二の光学系１０２により同軸照明され観察対象上にパターンを投影する。
【００１６】
ここで、パターンの投影と撮像について説明を行う。図２は、図１で示された内視鏡装置を用いて３次元計測撮影を行う際のフローチャートである。図１に不図示の撮像開始信号が入力されると、パターン表示素子１０９に３次元計測に必要な計測点を含んだパターンが表示される。ここで、パターン表示素子としては、例えば液晶素子などの表示されるパターンが可変である素子が用いられる。必要なパターンがパターン表示素子１０９に表示されると、光源１０７を点灯させ、パターン表示素子１０９を照明する。もちろん、投影する明るさが十分であれば有機EL素子のような自発光素子を用いてパターン表示素子１０９と光源１０７を統合してもよい。また、光源１０７は点灯と消灯を繰り返すため、LEDなどの変調に対応した光源が望ましい。もちろん、ハロゲンランプなどの光源と、変調のためのシャッター素子などを組み合わせたものでも構わない。光源１０７が点灯されると、第一の光学系１０１が照明・投影光学系として機能し、観察対象上にパターン表示素子１０９に表示されたパターンが投影される。ここで、第二の光学系１０２に接続された撮像素子１０６を駆動、撮像することで観察対象上に投影されたパターンを取り込む。
【００１７】
ここで、立体視を同時に行う場合、パターン表示素子１０９を全白表示に切り替え、同様に照明を行う。このとき、撮像素子１０６により取り込まれた画像は、パターン照明されていない、全体が均一に照明された画像となる。
【００１８】
立体視が不要な場合、パターン照明を第二の光学系で、撮像を第一の光学系で行うように切り替えを行う。具体的にはパターン表示素子１１０にパターンを表示、光源１０８を点灯させ、その後撮像素子１０５を駆動させ画像の取り込みを行う。このとき、パターン表示素子１１０に表示するパターンは、パターン表示素子１０９に表示したものと異なってもよい。もちろん、同一のパターンを表示しても構わない。
【００１９】
立体視が必要な場合、さらにパターン表示素子１１０に全白色の表示を行い、同様の撮像を行う。こうすることにより、第一の光学系１０１と第二の光学系１０２により撮像された均一照明の画像を取り込むことになり、第一の光学系１０１と第二の光学系１０２の入射瞳中心の距離を基線長とした立体画像を得ることができる。
【００２０】
図２のフローチャートに従い撮像されたパターン画像をもとに、３次元計測を行うことが可能になる。具体的には、パターン画像にある計測点を基準とした特徴点抽出を行い、２つの画像における特徴点のずれから、三角測量の要領で各点までの距離を計測できる。
【００２１】
また、単に１つの光学系からパターンを投影し、それを複数の撮像光学系で撮像する場合、図３に示すように、パターンが投影されない部分が発生し(オクルージョン)、その部分の正確な３次元情報を得ることができない。しかし、本方式では図４(a)、(b)に示すように、第一の光学系４０１でパターン投影する場合と、第二の光学系４０２でパターン投影する場合で、オクルージョンの発生領域が異なる。このため、２つの撮影結果を相互に利用することで、オクルージョンを回避しながら３次元情報を取得することが可能になる。具体的には、２つの画像の中で計測点が見られない場所を抽出し、それぞれの画像で補完を行う補完回路(不図示)にて補完処理を行うことで、オクルージョン領域の３次元データを再構築する。
【００２２】
また、照明光学系を別途用意せず、観察用/計測用の光学系と共用しているため、内視鏡を細径化、小型化することが可能になる。
【００２３】
以上のように、本実施例の構成を用いることで、小型で３次元計測と立体視を行い、かつオクルージョンの発生が少なく、高精度な３次元計測を行う内視鏡を構成できる。
【実施例２】
【００２４】
図５を用いて、本発明における第二の実施例の説明を行う。第二の実施例では、第一の実施例と異なり、立体視画像と、３次元計測画像を同時撮影を行うことができる。
【００２５】
内視鏡装置５２６は、第一、第二の光学系５０１、５０２と、第一から第三の照明装置５０３、５０４及び５１７、第一から第四の撮像素子５０５、５０６、５１８、５１９から構成される。ここで、第三の照明装置５１７の光源５１４は、400-700nmの可視光を発振する。同様に第一、第二の照明装置５０３、５０４の光源５０７、５０８はより長く不可視な波長、例えば1060nmの赤外光を発振する。
【００２６】
ここで、図６を用いて本実施例において、３次元計測と立体視画像の取得を同時に行う方法について説明する。図６は本実施例における３次元情報取得のためのパターン投影から撮像までと、立体視のための撮像の順序を示すフローチャートである。
【００２７】
撮像開始の信号が入力されると、立体視のための撮像と、３次元計測のための撮像が平行して開始される。ここで、パターン投影から３次元計測の撮像を行う手順を説明する。不図示の撮像開始信号が入力されると、まずパターン表示素子５０９に必要なパターンを表示させる。続いて光源５０７を点灯させ、パターン表示素子５０９を照明、不図示の観察対象上にパターン表示素子に表示されたパターンを投影する。続いて撮像素子５１９を駆動させ、観察対象及び観察対象上に投影されたパターンを撮像する。なお、このパターンの投影及び撮像は、後述する方法のため、パターンを切り替えながら少なくとも２回の撮像を行う。撮像終了後、光源５０７及び撮像素子５１９を停止する。続いて同様にパターン表示素子５１０、光源５０８、撮像素子５１８を順に駆動し、パターン表示素子５１０に表示されたパターンを観察対象上に投影、その画像を取り込む。ここで、光源５０７、５０８は可視光以外の波長を発する光源であり、例えば1060nmや850nmの赤外光を発する光源である。なお、上記のようにONとOFFを繰り返す変調を行うため、変調に対応したレーザやLEDなどの光源が好ましい。また、このように波長の異なる光を第一及び第二の光学系に導くため、光学素子５１１及び５１２は赤外光のみ反射するダイクロイックミラーであることが望ましい。もちろん、ハーフミラーでも構わない。また、撮像素子５１８、５１９は光源５０７、５０８が発する光の波長に対応した感度を持つ撮像素子である。例えば光源５０７、５０８が赤外光源である場合、IRカットフィルタを搭載したCCDなどではなく、赤外帯域に感度を持つモノクロのCCDなどを用いる。
【００２８】
これに対し、立体視のための撮像は、ちょうど３次元計測と入れ替わった形での撮像を行う。３次元計測の撮像同様、不図示の撮像開始信号入力後、まず光源５１４を点灯する。この光源は白色光源や、RGB3色のLEDなど、可視光の光源を用いる。光源５１４点灯後、シャッター５１６を開く。ここで、シャッター５１６はメカニカルなシャッターでも、液晶などを用いたシャッターでも構わない。シャッター５１６をオープンにすることで、第二の光学系５０２は照明光学系の働きをするようになり、不図示の観察対象を照明する。この照明された観察対象を、撮像光学系として働く第一の光学系５０１を介して撮像素子５０６を用いて画像として取り込む。その後、撮像素子５０５の取り込みを停止させ、シャッター５１６をクローズする。このとき、シャッター５１６のオープンからクローズまでの一連を、３次元計測のパターン表示素子５０９の表示から光源５０７の停止までの一連の流れと同期させる。第一の光学系５０１と第二の光学系５０２の役割を入れ替え、同様の作業を行う。この入れ替えは少なくとも１秒間に１０回程度、可能であれば３０回程度(30fps)以上であることが望ましい。
【００２９】
ここで、３次元計測のためのパターン投影及び撮像、３次元計測処理について説明を行う。図６(a)は撮像に用いるパターン、図７はその処理のフローチャートである。
【００３０】
図６(a)に示すように、投影するパターンは白黒のパターン画像であり、原画像(ポジ)と、白黒入れ替えた画像(ネガ)の２枚をセットにして用いる。このため、先に述べたように最低２回の撮像を行う。ネガポジ２枚の画像を取得後、明暗の境界位置を２枚の画像から演算、パターンエッジの位置を決める(図６(b))。その境界位置までの距離を三角測量の原理から算出、画像内の３次元的な距離を計算する。空間符号化法と呼ばれるこれらの処理については、特許外文献１に詳しい。
【００３１】
［特許外文献１］液晶レンジファインダ  液晶シャッタによる高速距  離画像計測システム  電子情報通信学会論文誌  D巻：７１号：７貢：1249-1257
なお、例えば第一の光学系の1フレーム目で601のパターン、第二の光学系の1フレーム目603のパターン、その後再び第一の光学系で602、第二の光学系で604というように、交互に異なるパターンを投影しても構わない。もちろん、第一の光学系で601〜606の画像を取得したのち、第二の光学系で同様に601〜606の画像を投影するように、同じパターンを投影しても構わない。
【００３２】
以上の一連の流れにより、例えば３次元撮像は第一の光学系を照明投影系として用い、第二の光学系を撮像系として用いる。逆に立体視撮像は第二の光学系を照明系として用い、第一の光学系を撮像系として用いるという構成を取るという、３次元撮像と立体視を相互に入れ替える形を取ることができる。このため、３次元計測と立体視に必要な画像を同時に、かつそれぞれの画像に投影パターンなどの影響を与えることなく、必要な画像を取得することが可能になる。また、２つの光学系で投影/撮像を交互に行うため、オクルージョンの低減を行うことができる。
【００３３】
さらに、例えば人体臓器に用いた場合、臓器は表面が光沢をもつことが考えられ、３次元計測に用いる投影パターンが正反射の位置となってしまい、パターンを検出できない場合が考えられる。しかし本発明の場合、２つの光学系で検出を行うため、正反射の影響を抑えることも可能になる。さらに２つの光学系を撮像と投影の共用化することで、内視鏡装置の小型化を行うこともできる。
【００３４】
なお、本実施例では空間符号化法による３次元計測を用いているが、３次元計測手法はこれに限るものではなく、例えば特許文献３や４に示すような手法を用いても構わない。
［特許文献３］特開２０１１−１２８１１７号公報
［特許文献４］特開２０１１−１８５８７２号公報
この手法の場合、光源５０７、５０８それぞれを2つの光源で形成し、2種類の波長で投影を行ったり、光源５０７と５０８を異なる波長の光源で構成するなどしても構わない。
【００３５】
また、光源５０７、５０８は赤外光源としたが、これに限るものではなく、可視光による立体視を妨げない波長であれば自由に選んで構わない。
【実施例３】
【００３６】
図８を用いて、本発明における第三の実施例について説明を行う。第三の実施例では、第二の実施例における内視鏡装置を、医療用内視鏡システムとして構築した場合の実施例である。ここで、図８において実施例２と同じ符号が付けられたものは、同じ機能を有するものとする。
【００３７】
実施例２で示したように、本実施例でも立体視と３次元計測を同時に行う。このため、可視光及び赤外光の光源を用い、２つの光学系を切り替えることによって同時撮像を可能にしている。
【００３８】
立体視を行うために、照明コントローラ８０１からの信号によりシャッター５１６をオープンにする。ここで、シャッターの駆動と撮像素子の駆動を同期させるため、同期回路８０３により照明コントローラと８０１撮像素子コントローラ８０２の駆動を同期させる。これにより、例えばシャッター５１５をオープンにするのと同期し、撮像素子５０６の撮像を開始させ、立体視用の画像を撮像する。さらにこれと同期し光源５０８を点灯させ、パターン表示素子  及び撮像素子５１８を同期させる。これにより撮像素子５１８では３次元計測用の画像を、立体視用の画像と同時に撮像できる。以上の撮像が終了したのち、シャッター５１５のクローズ、光源５１９の消灯、及び撮像素子５０５、５１８の撮像停止を同期して行う。続いてシャッター５１６、光源５０７、及び撮像素子５０５、５１９とそれぞれの素子を入れ替えて、同様の駆動を行う。これにより、立体視用の画像及び３次元計測用の画像がそれぞれ１セット撮像される。
【００３９】
撮像された画像は、画像処理回路に送られる。可視光画像処理回路８０４では、撮像された画像のゲイン、ホワイトバランスなどを調節し、立体視画像処理回路８０５にデータを送る。立体視画像処理回路８０５では、立体視用の2枚の画像の輻輳角や上下方向の画像のずれ、ディストーションの補正などを行い、1セットの立体視画像を生成する。生成された画像は、立体画像メモリ８０６に保存され、同時にディスプレイ８０７に表示される。ディスプレイ８０７は立体視用のディスプレイであり、例えば偏光メガネをかけて立体視を行うものや、裸眼立体視が可能なディスプレイなどが用いられる。
【００４０】
３次元計測用の画像は、赤外画像処理回路８０８へ送られ、可視光画像同様にゲイン補正などを加えられ３次元計測処理回路８０９へ送られる。３次元計測処理回路８０９では、実施例２で説明したパターンエッジ検出などを行った後、三角測量原理から観察対象の３次元形状を検出する。
【００４１】
ここで、計算された３次元形状データは、例えばMRIやX線CTなど他の検査手段で得られた３次元データ８１０との一致を、データマッチング回路８１１にて行う。X線CTなどによる３次元データは、実際に内視鏡で得られた画像より低解像度で、かつ体の向きなどにより異なる形状を示すことがある。これに対し内視鏡装置にて計測されたデータを重ねることにより、患部の位置や大きさなどの情報をさらに多く取得することが可能になり、診断の精度が向上する。マッチングなどの処理を行われたデータは、３次元形状データメモリ８１２に保存され、さらにディスプレイ８０７に表示されている立体視画像に重ねる、もしくが並列に表示される。立体視可能な臓器の画像と、患部の３次元データが揃って表示されることで、診断精度の向上や、手術精度の向上などを図ることが可能になる。
【符号の説明】
【００４２】
１０１，１０２，３０１，３０２，４０１，４０２，５０１，５０２  光学系、
１０３，１０４，５０３，５０４  パターン照明系、
１０５，１０６，５０５，５０６，５１８，５１９  撮像素子、
１０７，１０８，５０７，５０８，５１４  光源、
１０９，１１０，５０９，５１０  パターン表示素子、
１１１，１１２，５２２，５２３，５２４，５２５  ハーフミラー、
１１３，５１３  光学素子、１１４，５２６  内視鏡装置、
３０３  照明光学系、３０４，４０３  観察対象、
３０５，４０４，４０４’  照明範囲、
３０６，４０５，４０５’  影（オクルージョン）、
５１１，５１２  ダイクロイックミラー、５１５，５１６  シャッター、
５１７  照明系、６０１〜６０６  投影パターン、８０１  照明コントローラ、
８０２  撮像素子コントローラ、８０３  同期回路、
８０４  可視光画像処理回路、８０５  立体視画像処理回路、
８０６  立体画像メモリ、８０７  ディスプレイ、
８０８  赤外画像処理回路、８０９  ３次元計測処理回路、
８１０  ３次元データ、８１１  データマッチング回路、
８１２  ３次元形状データメモリ
【図１】
2015231498.tif 000003
【図２】
2015231498.tif 000004
【図３】
2015231498.tif 000005
【図４】
2015231498.tif 000006
【図５】
2015231498.tif 000007
【図６】
2015231498.tif 000008
【図７】
2015231498.tif 000009
【図８】
2015231498.tif 000010