(57)【特許請求の範囲】
【請求項１】
被検物を観察するための観察光を前記被検物に照射する照明部と、
前記被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光を前記被検物に照射するパターン投影部と、
前記照明部による前記観察光の前記被検物への照射と、前記パターン投影部による前記計測光の前記被検物への照射とを制御する照射光制御部と、
前記被検物の計測画像に基づいて、指定された測定点に応じた前記被検物に対する３次元の計測を行う３次元計測部と、
設定用画像及び前記測定点を表示する表示部と、
を備え、
前記３次元計測部は、前記観察光及び前記計測光を同時に照射して得た前記被検物の計測画像に基づいて前記設定用画像を生成し、前記設定用画像に設定された前記測定点の位置に対応する前記計測画像の情報に基づいて前記被検物に対する前記３次元の計測を行う、
ことを特徴とする内視鏡システム。
【請求項２】
前記３次元計測部は、
前記３次元の計測を行う際に、
前記計測画像に含まれる前記計測光と同じ波長帯域の光の反射による前記被検物の映像である第１の波長帯域計測画像に基づいて、前記３次元の計測に用いる３次元画素情報を生成し、生成した前記３次元画素情報を含んだ３次元計測画像を生成する３次元形状復元処理と、
前記３次元計測画像に含まれる、前記設定用画像に設定された前記測定点の位置に対応する前記３次元画素情報に基づいて、前記３次元の計測を行う３次元計測処理と、
を実行する、
ことを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記照射光制御部は、
前記３次元の計測を行う際に、前記観察光と前記計測光とを同時に前記被検物に照射させ、
前記３次元計測部は、
前記３次元形状復元処理を実行する前に、
前記計測画像を、前記第１の波長帯域計測画像と、前記計測画像に含まれる前記計測光と異なる波長帯域の光の反射による前記被検物の映像である第２の波長帯域計測画像とに分離する画像分離処理を実行し、
前記３次元形状復元処理と並列に、
前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理と、
前記計測光除去画像と、前記第２の波長帯域計測画像とを合成した合成画像を生成する合成画像生成処理と、
を順次実行する、
ことを特徴とする請求項２に記載の内視鏡システム。
【請求項４】
前記照射光制御部は、
前記計測光と同時に前記被検物に照射させる前記観察光の光量を、前記計測光の光量に応じて調光する、
ことを特徴とする請求項３に記載の内視鏡システム。
【請求項５】
前記３次元計測部は、
前記合成画像を前記設定用画像とする、
ことを特徴とする請求項３または請求項４に記載の内視鏡システム。
【請求項６】
前記３次元計測部は、
前記３次元計測画像に前記合成画像を重畳した画像を前記設定用画像とする、
ことを特徴とする請求項３または請求項４に記載の内視鏡システム。
【請求項７】
前記３次元計測部は、
前記３次元形状復元処理と並列に、
前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理、
を実行し、
前記計測光除去画像を前記設定用画像とする、
ことを特徴とする請求項２に記載の内視鏡システム。
【請求項８】
前記３次元計測部は、
前記３次元計測画像を前記設定用画像とする、
ことを特徴とする請求項２に記載の内視鏡システム。
【請求項９】
前記３次元計測部は、
前記３次元計測画像に、事前に前記観察光を照射して得た映像に応じた前記被検物の観察画像を重畳した画像を前記設定用画像とする、
ことを特徴とする請求項２に記載の内視鏡システム。
【請求項１０】
前記計測光は、
構造化したパターンが、光の強度が正弦波状に変化する縞状のパターンである、
ことを特徴とする請求項１から請求項９のいずれか１の項に記載の内視鏡システム。
【請求項１１】
前記パターン投影部は、
前記計測光における前記構造化したパターンの位相を予め定めたシフト量だけ位相シフトして前記被検物に複数回照射し、
前記３次元計測部は、
前記位相シフトされたそれぞれの前記計測光の照射によって得たそれぞれの映像に応じた複数の前記計測画像に基づいて、前記３次元の計測を行う、
ことを特徴とする請求項１から請求項１０のいずれか１の項に記載の内視鏡システム。
【請求項１２】
前記計測光は、
レーザー光である、
ことを特徴とする請求項１から請求項１１のいずれか１の項に記載の内視鏡システム。
【請求項１３】
前記計測光は、
前記波長帯域が、可視光の波長帯域である、
ことを特徴とする請求項１から請求項１２のいずれか１の項に記載の内視鏡システム。
【請求項１４】
前記計測光は、
前記波長帯域が、赤色の波長帯域である、
ことを特徴とする請求項１３に記載の内視鏡システム。
【請求項１５】
前記観察光は可視光の波長帯域であり、
前記３次元計測部は、
前記画像分離処理において、前記計測画像を、赤色の波長帯域の光の反射による前記計測画像と、緑色の波長帯域の光の反射による前記計測画像と、青色の波長帯域の光の反射による前記計測画像とに分離し、前記計測光と同じ波長帯域の光の反射による前記計測画像を前記第１の波長帯域計測画像とし、前記計測光と異なる波長帯域の光の反射による前記計測画像のそれぞれを前記第２の波長帯域計測画像とする、
ことを特徴とする請求項３から請求項６のいずれか１の項、または請求項３から請求項６のいずれか１の項を引用する請求項１０から請求項１４のいずれか１の項に記載の内視鏡システム。
【請求項１６】
前記３次元計測部は、
前記構造化パターン除去処理において、前記複数の前記計測画像のそれぞれに対応する複数の前記第１の波長帯域計測画像に含まれる同じ位置のそれぞれの画素の値同士を加算平均して１つの前記計測光除去画像を生成する、
ことを特徴とする請求項３から請求項７のいずれか１の項を引用する請求項１１、または請求項３から請求項７のいずれか１の項を引用する請求項１１を引用する請求項１２から請求項１５のいずれか１の項に記載の内視鏡システム。
【請求項１７】
前記３次元計測部は、
前記３次元形状復元処理において、生成した前記３次元画素情報に基づいて前記被検物の奥行きを表した深さ画像を生成し、生成した前記深さ画像を前記３次元計測画像とする、
ことを特徴とする請求項６、請求項８、請求項９のいずれか１の項、または請求項６、請求項８、請求項９のいずれか１の項を引用する請求項１０から請求項１６のいずれか１の項に記載の内視鏡システム。
【請求項１８】
内視鏡装置の作動方法であって、
被検物を観察するための観察光を前記被検物に出射する照明部と、
前記被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光を前記被検物に出射するパターン投影部と、
前記照明部による前記観察光の前記被検物への出射と、前記パターン投影部による前記計測光の前記被検物への出射とを制御する出射光制御部と、
少なくとも前記計測光を出射して得た映像に応じた前記被検物の計測画像に基づいて、指定された測定点に応じた前記被検物に対する３次元の計測を行う３次元計測部と、
を備えた内視鏡装置において、
前記３次元計測部が、前記計測画像に基づいて前記測定点を設定するための設定用画像を生成して表示部に表示させるステップと、
前記３次元計測部が、前記設定用画像に設定された前記測定点の位置に対応する前記計測画像の情報に基づいて前記被検物に対する前記３次元の計測を行うステップと、
前記３次元の計測を行う際に、前記出射光制御部が、前記観察光と前記計測光とを同時に前記被検物に出射させるステップと、
前記３次元の計測を行う際に、前記３次元計測部が、前記計測画像に含まれる前記計測光と同じ波長帯域の光の反射による前記被検物の映像である第１の波長帯域計測画像に基づいて、前記３次元の計測に用いる３次元画素情報を生成し、かつ、生成した前記３次元画素情報を含んだ３次元計測画像を生成する３次元形状復元処理と、前記３次元計測画像に含まれる、前記設定用画像に設定された前記測定点の位置に対応する前記３次元画素情報に基づいて、前記３次元の計測を行う３次元計測処理と、を実行するステップと、
前記３次元計測部は、前記３次元形状復元処理を実行する前に、前記計測画像を、前記第１の波長帯域計測画像と、前記計測画像に含まれる前記計測光と異なる波長帯域の光の反射による前記被検物の映像である第２の波長帯域計測画像とに分離する画像分離処理を実行するステップと、
前記３次元計測部は、前記３次元形状復元処理と並列に、前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理と、前記計測光除去画像と、前記第２の波長帯域計測画像とを合成した合成画像を生成する合成画像生成処理と、を順次実行するステップとからなる、
ことを特徴とする内視鏡装置の作動方法。
【請求項１９】
被検物を観察するための観察光を前記被検物に照射する照明部と、
前記被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光を前記被検物に照射するパターン投影部と、
前記照明部による前記観察光の前記被検物への照射と、前記パターン投影部による前記計測光の前記被検物への照射とを制御する照射光制御部と、
少なくとも前記計測光を照射して得た映像に応じた前記被検物の計測画像に基づいて、指定された測定点に応じた前記被検物に対する３次元の計測を行う３次元計測部と、
を備え、
前記３次元計測部は、前記計測画像に基づいて前記測定点を設定するための設定用画像を生成して表示部に表示させ、前記設定用画像に設定された前記測定点の位置に対応する前記計測画像の情報に基づいて前記被検物に対する前記３次元の計測を行い、
前記３次元の計測を行う際に、前記照射光制御部は、前記観察光と前記計測光とを同時に前記被検物に照射させ、
前記３次元の計測を行う際に、前記３次元計測部は、前記計測画像に含まれる前記計測光と同じ波長帯域の光の反射による前記被検物の映像である第１の波長帯域計測画像に基づいて、前記３次元の計測に用いる３次元画素情報を生成し、生成した前記３次元画素情報を含んだ３次元計測画像を生成する３次元形状復元処理と、前記３次元計測画像に含まれる、前記設定用画像に設定された前記測定点の位置に対応する前記３次元画素情報に基づいて、前記３次元の計測を行う３次元計測処理と、を実行し、
前記３次元計測部は、前記３次元形状復元処理を実行する前に、前記計測画像を、前記第１の波長帯域計測画像と、前記計測画像に含まれる前記計測光と異なる波長帯域の光の反射による前記被検物の映像である第２の波長帯域計測画像とに分離する画像分離処理を実行し、
前記３次元計測部は、前記３次元形状復元処理と並列に、前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理と、前記計測光除去画像と、前記第２の波長帯域計測画像とを合成した合成画像を生成する合成画像生成処理と、を順次実行する、
ことを特徴とする内視鏡システム。
【請求項２０】
前記照射光制御部は、
前記計測光と同時に前記被検物に照射させる前記観察光の光量を、前記計測光の光量に応じて調光する、
ことを特徴とする請求項１９に記載の内視鏡システム。
【請求項２１】
前記３次元計測部は、
前記合成画像を前記設定用画像とする、
ことを特徴とする請求項１９または請求項２０に記載の内視鏡システム。
【請求項２２】
前記３次元計測部は、
前記３次元計測画像に前記合成画像を重畳した画像を前記設定用画像とする、
ことを特徴とする請求項１９または請求項２０に記載の内視鏡システム。
【請求項２３】
前記観察光は可視光の波長帯域であり、
前記３次元計測部は、
前記画像分離処理において、前記計測画像を、赤色の波長帯域の光の反射による前記計測画像と、緑色の波長帯域の光の反射による前記計測画像と、青色の波長帯域の光の反射による前記計測画像とに分離し、前記計測光と同じ波長帯域の光の反射による前記計測画像を前記第１の波長帯域計測画像とし、前記計測光と異なる波長帯域の光の反射による前記計測画像のそれぞれを前記第２の波長帯域計測画像とする、
ことを特徴とする請求項１９から請求項２２のいずれか１の項に記載の内視鏡システム。
【請求項２４】
前記３次元計測部は、
前記構造化パターン除去処理において、前記複数の前記計測画像のそれぞれに対応する複数の前記第１の波長帯域計測画像に含まれる同じ位置のそれぞれの画素の値同士を加算平均して１つの前記計測光除去画像を生成する、
ことを特徴とする請求項１９から請求項２２のいずれか１の項に記載の内視鏡システム。
【請求項２５】
前記３次元計測部は、
前記３次元形状復元処理において、生成した前記３次元画素情報に基づいて前記被検物の奥行きを表した深さ画像を生成し、生成した前記深さ画像を前記３次元計測画像とする、
ことを特徴とする請求項２２に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡システムおよび内視鏡装置の作動方法に関し、特に、測定点の設定方法に関する。
【背景技術】
【０００２】
従来から、工業分野や医療分野において、長尺の挿入部を被検物内に挿入し、挿入部の先端に位置する先端部内に備えた撮像素子によって被検物内を撮影する内視鏡装置が実用化されている。また、近年では、撮影した被写体の形状を把握するために、３次元の計測技術を搭載した内視鏡装置のシステム（内視鏡システム）も製品化されている。
【０００３】
３次元の計測技術を大きく分類すると、パッシブ方式とアクティブ方式とがある。パッシブ方式は、例えば、被写体を撮影した右目に相当する画像と左目に相当する画像とから生成した３次元画像に基づいて計測する、いわゆる、ステレオ計測に代表されるような方式である。また、アクティブ方式は、例えば、縞状などに構造化したパターンの光を被写体に照射し、撮影した画像に含まれる縞の間隔などの変化の情報を利用して計測する、いわゆる、縞投影計測に代表されるような方式である。
【０００４】
パッシブ方式の計測では、右目に相当する撮像素子と左目に相当する撮像素子とを備える。ステレオ計測では、左目に相当する画像と右目に相当する画像とから対応点を探索するのが一般的であるが、被写体の表面の凹凸に応じたテクスチャ（質感や手触りなど）が少ないと、対応点を正確に探索することが難しい。これ対してアクティブ方式の計測は、構造化したパターンの光を照射する構成を内視鏡装置の先端部内に備えることで実現することができる。そして、アクティブ方式の計測は、テクスチャに依存することなく計測を行うことができる、撮影した画像の全画面で計測を行う場合には処理時間が短い、などの利点をもっている。
【０００５】
このため、例えば、特許文献１や特許文献２のように、３次元の計測を行う構成として、アクティブ方式の計測、つまり、縞投影計測を行う構成を搭載した内視鏡システムの技術が提案されている。特許文献１や特許文献２に開示された技術では、構造化したパターンの光に位相差をもたせる位相シフトを行って被写体に複数回照射し、それぞれの位相で撮影した複数の画像から３次元画像を生成して３次元の計測を行っている。
【０００６】
また、例えば、特許文献３には、３次元の計測を行う内視鏡システムにおける被写体の撮影時の制御方法や処理手順（処理フロー）が開示されている。特許文献３に開示された技術では、まず、検査モードにおいて縞状のパターンが含まれない通常の光を照射して被写体を撮影し、このときに撮影された画像に対して内視鏡システムの使用者（ユーザ）が、３次元の計測を行いたい測定点の位置を設定する。その後、計測モードにおいて構造化したパターンの光を照射して被写体を撮影し、このときに撮影された画像から３次元画像を生成して、設定された測定点に対応する位置での３次元の計測を行う。例えば、２点間の距離を計測する場合、特許文献３に開示された技術では、検査モードで撮影された画像に対して長さの計測を行うための２つの測定点を設定し、計測モードで撮影された画像から生成した３次元画像に含まれる２つの測定点に対応した位置（例えば、座標）に基づいて、２点間の距離の計測を行っている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−０８７５４３号公報
【特許文献２】米国特許第７８２１６４９号明細書
【特許文献３】米国特許第８１０７０８３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献３に開示された技術では、上述したように、検査モードで撮影した画像に対して測定点を設定した後に、計測モードで撮影した画像から３次元画像を生成し、ここで、生成した３次元画像に基づいて計測を行っている。つまり、特許文献３に開示された技術では、測定点を設定する画像と、計測を行う画像とが異なる画像であり、それぞれの画像を撮影するタイミングに時間差がある。このため、測定点を設定する画像と計測を行う画像との間で被写体のブレや見え方の違いなどがあると、これらの要因によって計測性能が低下する。
【０００９】
より具体的には、例えば、計測モードにおいて構造化したパターンの光を照射して被写体を撮影するときに、検査モードで撮影したときと異なる位置に先端部が動いてしまうと、モーションブラーが発生する。つまり、測定点を設定するために検査モードで撮影を行った画像に含まれる被写体の位置と、計測を行うために計測モードで撮影を行った画像に含まれる被写体の位置とにずれが生じしまう。この被写体の位置のずれが発生すると、ユーザが所望する位置、つまり、測定点を設定した位置とは異なる位置の計測が行われることになり、正しい計測値を得ることができない。なお、計測を行う画像に含まれる被写体の位置が測定点を設定した画像に含まれる被写体の位置と異なる場合には、例えば、計測を行う画像に含まれる被写体の位置を画像処理によって補正し、測定点を設定した画像に含まれる被写体の位置と合わせた後に計測を行う方法を採用することも考えられる。しかし、画像処理による被写体の位置の補正処理では、例えば、被写体の表面に凸凹が少ない（テクスチャが少ない）場合、合わせた位置に誤差が含まれてしまうことがあり、この誤差によって被写体の位置を正確に合わせることができず、位置合わせの補正処理の効果を十分に得ることができない。
【００１０】
また、例えば、被写体の表面の凸凹があると、計測を行う画像に、ハレーションによる白飛びや凸凹の影による黒つぶれなどが発生する。このハレーションなどが発生した画像からは、正しい計測値を得ることができない。例えば、測定点を設定する画像に２つの測定点を設定し、被検物の表面の凸凹に沿った２点間の距離を計測する場合、計測を行う画像にハレーションなどが発生していると、被検物の表面であるのか、表面の凸凹による影であるのかを判定することができず、被検物の表面にある凸凹の幅を正確に計測することができない。
【００１１】
本発明は、上記の課題認識に基づいてなされたものであり、３次元の計測技術を搭載した内視鏡システムにおいて、正確な計測結果を得ることができる内視鏡システムおよび内視鏡装置の作動方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の第１の態様によれば、内視鏡システムは、被検物を観察するための観察光を前記被検物に照射する照明部と、前記被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光を前記被検物に照射するパターン投影部と、前記照明部による前記観察光の前記被検物への照射と、前記パターン投影部による前記計測光の前記被検物への照射とを制御する照射光制御部と、前記被検物の計測画像に基づいて、指定された測定点に応じた前記被検物に対する３次元の計測を行う３次元計測部と、設定用画像及び前記測定点を表示する表示部と、を備えた内視鏡システムであって、前記３次元計測部は、前記観察光及び前記計測光を同時に照射して得た前記被検物の計測画像に基づいて前記設定用画像を生成し、前記設定用画像に設定された前記測定点の位置に対応する前記計測画像の情報に基づいて前記被検物に対する前記３次元の計測を行う。
【００１３】
本発明の第２の態様によれば、上記第１の態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元の計測を行う際に、前記計測画像に含まれる前記計測光と同じ波長帯域の光の反射による前記被検物の映像である第１の波長帯域計測画像に基づいて、前記３次元の計測に用いる３次元画素情報を生成し、生成した前記３次元画素情報を含んだ３次元計測画像を生成する３次元形状復元処理と、前記３次元計測画像に含まれる、前記設定用画像に設定された前記測定点の位置に対応する前記３次元画素情報に基づいて、前記３次元の計測を行う３次元計測処理と、を実行してもよい。
【００１４】
本発明の第３の態様によれば、上記第２の態様の内視鏡システムにおいて、前記照射光制御部は、前記３次元の計測を行う際に、前記観察光と前記計測光とを同時に前記被検物に照射させ、前記３次元計測部は、前記３次元形状復元処理を実行する前に、前記計測画像を、前記第１の波長帯域計測画像と、前記計測画像に含まれる前記計測光と異なる波長帯域の光の反射による前記被検物の映像である第２の波長帯域計測画像とに分離する画像分離処理を実行し、前記３次元形状復元処理と並列に、前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理と、前記計測光除去画像と、前記第２の波長帯域計測画像とを合成した合成画像を生成する合成画像生成処理と、を順次実行してもよい。
【００１５】
本発明の第４の態様によれば、上記第３の態様の内視鏡システムにおいて、前記照射光制御部は、前記計測光と同時に前記被検物に照射させる前記観察光の光量を、前記計測光の光量に応じて調光してもよい。
【００１６】
本発明の第５の態様によれば、上記第３の態様または上記第４の態様の内視鏡システムにおいて、前記３次元計測部は、前記合成画像を前記設定用画像としてもよい。
【００１７】
本発明の第６の態様によれば、上記第３の態様または上記第４の態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元計測画像に前記合成画像を重畳した画像を前記設定用画像としてもよい。
【００１８】
本発明の第７の態様によれば、上記第２の態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元形状復元処理と並列に、前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理、を実行し、前記計測光除去画像を前記設定用画像としてもよい。
【００１９】
本発明の第８の態様によれば、上記第２の態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元計測画像を前記設定用画像としてもよい。
【００２０】
本発明の第９の態様によれば、上記第２の態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元計測画像に、事前に前記観察光を照射して得た映像に応じた前記被検物の観察画像を重畳した画像を前記設定用画像としてもよい。
【００２１】
本発明の第１０の態様によれば、上記第１の態様から上記第９の態様のいずれか一態様の内視鏡システムにおいて、前記計測光は、構造化したパターンが、光の強度が正弦波状に変化する縞状のパターンであってもよい。
【００２２】
本発明の第１１の態様によれば、上記第１の態様から上記第１０の態様のいずれか一態様の内視鏡システムにおいて、前記パターン投影部は、前記計測光における前記構造化したパターンの位相を予め定めたシフト量だけ位相シフトして前記被検物に複数回照射し、前記３次元計測部は、前記位相シフトされたそれぞれの前記計測光の照射によって得たそれぞれの映像に応じた複数の前記計測画像に基づいて、前記３次元の計測を行ってもよい。
【００２３】
本発明の第１２の態様によれば、上記第１の態様から上記第１１の態様のいずれか一態様の内視鏡システムにおいて、前記計測光は、レーザー光であってもよい。
【００２４】
本発明の第１３の態様によれば、上記第１の態様から上記第１２の態様のいずれか一態様の内視鏡システムにおいて、前記計測光は、前記波長帯域が、可視光の波長帯域であってもよい。
【００２５】
本発明の第１４の態様によれば、上記第１３の態様の内視鏡システムにおいて、前記計測光は、前記波長帯域が、赤色の波長帯域であってもよい。
【００２６】
本発明の第１５の態様によれば、上記第３の態様から上記第６の態様のいずれか一態様、または上記第３の態様から上記第６の態様のいずれか一態様を引用する上記第１０の態様から上記第１４の態様のいずれか一態様の内視鏡システムにおいて、前記観察光は可視光の波長帯域であり、前記３次元計測部は、前記画像分離処理において、前記計測画像を、赤色の波長帯域の光の反射による前記計測画像と、緑色の波長帯域の光の反射による前記計測画像と、青色の波長帯域の光の反射による前記計測画像とに分離し、前記計測光と同じ波長帯域の光の反射による前記計測画像を前記第１の波長帯域計測画像とし、前記計測光と異なる波長帯域の光の反射による前記計測画像のそれぞれを前記第２の波長帯域計測画像としてもよい。
【００２７】
本発明の第１６の態様によれば、上記第３の態様から上記第７の態様のいずれか一態様を引用する上記第１１の態様、または上記第３の態様から上記第７の態様のいずれか一態様を引用する上記第１１の態様を引用する上記第１２の態様から上記第１５の態様のいずれか一態様の内視鏡システムにおいて、前記３次元計測部は、前記構造化パターン除去処理において、前記複数の前記計測画像のそれぞれに対応する複数の前記第１の波長帯域計測画像に含まれる同じ位置のそれぞれの画素の値同士を加算平均して１つの前記計測光除去画像を生成してもよい。
【００２８】
本発明の第１７の態様によれば、上記第６の態様、上記第８の態様、上記第９の態様のいずれか一態様、または上記第６の態様、上記第８の態様、上記第９の態様のいずれか一態様を引用する上記第１０の態様から上記第１６の態様のいずれか一態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元形状復元処理において、生成した前記３次元画素情報に基づいて前記被検物の奥行きを表した深さ画像を生成し、生成した前記深さ画像を前記３次元計測画像としてもよい。
【００２９】
本発明の第１８の態様によれば、内視鏡装置の作動方法は、被検物を観察するための観察光を前記被検物に出射する照明部と、前記被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光を前記被検物に出射するパターン投影部と、前記照明部による前記観察光の前記被検物への出射と、前記パターン投影部による前記計測光の前記被検物への出射とを制御する出射光制御部と、少なくとも前記計測光を出射して得た映像に応じた前記被検物の計測画像に基づいて、指定された測定点に応じた前記被検物に対する３次元の計測を行う３次元計測部と、を備えた内視鏡装置において、前記３次元計測部が、前記計測画像に基づいて前記測定点を設定するための設定用画像を生成して表示部に表示させるステップと、前記３次元計測部が、前記設定用画像に設定された前記測定点の位置に対応する前記計測画像の情報に基づいて前記被検物に対する前記３次元の計測を行うステップと、前記３次元の計測を行う際に、前記出射光制御部が、前記観察光と前記計測光とを同時に前記被検物に出射させるステップと、前記３次元の計測を行う際に、前記３次元計測部が、前記計測画像に含まれる前記計測光と同じ波長帯域の光の反射による前記被検物の映像である第１の波長帯域計測画像に基づいて、前記３次元の計測に用いる３次元画素情報を生成し、かつ、生成した前記３次元画素情報を含んだ３次元計測画像を生成する３次元形状復元処理と、前記３次元計測画像に含まれる、前記設定用画像に設定された前記測定点の位置に対応する前記３次元画素情報に基づいて、前記３次元の計測を行う３次元計測処理と、を実行するステップと、前記３次元計測部は、前記３次元形状復元処理を実行する前に、前記計測画像を、前記第１の波長帯域計測画像と、前記計測画像に含まれる前記計測光と異なる波長帯域の光の反射による前記被検物の映像である第２の波長帯域計測画像とに分離する画像分離処理を実行するステップと、前記３次元計測部は、前記３次元形状復元処理と並列に、前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理と、前記計測光除去画像と、前記第２の波長帯域計測画像とを合成した合成画像を生成する合成画像生成処理と、を順次実行するステップとからなる。
本発明の第１９の態様によれば、内視鏡システムは、被検物を観察するための観察光を前記被検物に照射する照明部と、前記被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光を前記被検物に照射するパターン投影部と、前記照明部による前記観察光の前記被検物への照射と、前記パターン投影部による前記計測光の前記被検物への照射とを制御する照射光制御部と、少なくとも前記計測光を照射して得た映像に応じた前記被検物の計測画像に基づいて、指定された測定点に応じた前記被検物に対する３次元の計測を行う３次元計測部と、を備え、前記３次元計測部は、前記計測画像に基づいて前記測定点を設定するための設定用画像を生成して表示部に表示させ、前記設定用画像に設定された前記測定点の位置に対応する前記計測画像の情報に基づいて前記被検物に対する前記３次元の計測を行い、前記３次元の計測を行う際に、前記照射光制御部は、前記観察光と前記計測光とを同時に前記被検物に照射させ、前記３次元の計測を行う際に、前記３次元計測部は、前記計測画像に含まれる前記計測光と同じ波長帯域の光の反射による前記被検物の映像である第１の波長帯域計測画像に基づいて、前記３次元の計測に用いる３次元画素情報を生成し、生成した前記３次元画素情報を含んだ３次元計測画像を生成する３次元形状復元処理と、前記３次元計測画像に含まれる、前記設定用画像に設定された前記測定点の位置に対応する前記３次元画素情報に基づいて、前記３次元の計測を行う３次元計測処理と、を実行し、前記３次元計測部は、前記３次元形状復元処理を実行する前に、前記計測画像を、前記第１の波長帯域計測画像と、前記計測画像に含まれる前記計測光と異なる波長帯域の光の反射による前記被検物の映像である第２の波長帯域計測画像とに分離する画像分離処理を実行し、前記３次元計測部は、前記３次元形状復元処理と並列に、前記第１の波長帯域計測画像に含まれる前記計測光の成分を除去した計測光除去画像を生成する構造化パターン除去処理と、前記計測光除去画像と、前記第２の波長帯域計測画像とを合成した合成画像を生成する合成画像生成処理と、を順次実行する。
本発明の第２０の態様によれば、上記第１９の態様の内視鏡システムにおいて、前記照射光制御部は、前記計測光と同時に前記被検物に照射させる前記観察光の光量を、前記計測光の光量に応じて調光してもよい。
本発明の第２１の態様によれば、上記第１９の態様または第２０の態様の内視鏡システムにおいて、前記３次元計測部は、前記合成画像を前記設定用画像としてもよい。
本発明の第２２の態様によれば、上記第１９の態様または第２０の態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元計測画像に前記合成画像を重畳した画像を前記設定用画像としてもよい。
本発明の第２３の態様によれば、上記第１９の態様から第２２の態様のいずれか１つの態様の内視鏡システムにおいて、前記観察光は可視光の波長帯域であり、前記３次元計測部は、前記画像分離処理において、前記計測画像を、赤色の波長帯域の光の反射による前記計測画像と、緑色の波長帯域の光の反射による前記計測画像と、青色の波長帯域の光の反射による前記計測画像とに分離し、前記計測光と同じ波長帯域の光の反射による前記計測画像を前記第１の波長帯域計測画像とし、前記計測光と異なる波長帯域の光の反射による前記計測画像のそれぞれを前記第２の波長帯域計測画像としてもよい。
本発明の第２４の態様によれば、上記第１９の態様から第２２の態様のいずれか１つの態様の内視鏡システムにおいて、前記３次元計測部は、前記構造化パターン除去処理において、前記複数の前記計測画像のそれぞれに対応する複数の前記第１の波長帯域計測画像に含まれる同じ位置のそれぞれの画素の値同士を加算平均して１つの前記計測光除去画像を生成してもよい。
本発明の第２５の態様によれば、上記第２２の態様の内視鏡システムにおいて、前記３次元計測部は、前記３次元形状復元処理において、生成した前記３次元画素情報に基づいて前記被検物の奥行きを表した深さ画像を生成し、生成した前記深さ画像を前記３次元計測画像としてもよい。
【発明の効果】
【００３０】
本発明によれば、３次元の計測技術を搭載した内視鏡システムにおいて、正確な計測結果を得ることができるという効果が得られる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１の実施形態による内視鏡システムの概略構成の一例を示した図である。
【図２】本第１の実施形態の内視鏡システムにおける光の照射タイミングの一例を示したタイミングチャートである。
【図３】本第１の実施形態の内視鏡システムにおける処理の概略を示した図である。
【図４】本第１の実施形態の内視鏡システムにおける処理手順を示したフローチャートである。
【図５】本発明の第２の実施形態による内視鏡システムにおける処理手順を示したフローチャートである。
【図６】本発明の第３の実施形態による内視鏡システムにおける処理手順を示したフローチャートである。
【図７】本発明の第４の実施形態による内視鏡システムにおける処理手順を示したフローチャートである。
【図８】本発明の第５の実施形態による内視鏡システムにおける処理手順を示したフローチャートである。
【図９】本発明の第６の実施形態による内視鏡システムにおける処理手順を示したフローチャートである。
【発明を実施するための形態】
【００３２】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、本発明の内視鏡システムが、工業用の内視鏡装置である場合について説明する。図１は、本発明の第１の実施形態による内視鏡システムである工業用の内視鏡装置（以下、単に「内視鏡装置」という）の概略構成の一例を示した図である。図１に示した内視鏡装置１は、被検物の内部の観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用される。
【００３３】
内視鏡装置１は、長尺で軟性の挿入部３と、挿入部３の基端が接続された本体部２とを備えている。また、本体部２と接続された基端と反対側の挿入部３の先端に位置する先端部４には、被検物を撮影するための撮像部５と、撮像部が撮影する範囲に光を照射するための照明部６と、明暗に構造化したパターンの光を被検物に投影するためのパターン投影部７との一部の構成要素が配置されている。先端部４の端面４０には、撮像部５に外部からの光を入射させるための開口部４５と、照明部６からの光を前面に照射するための照明窓４６と、パターン投影部７が構造化したパターンの光を前面に照射するための投影窓４７とが設けられている。
【００３４】
挿入部３は、図１に示したように、管状に形成されており、被検物の内部または被検物までのアクセス経路に挿入されて、先端部４を撮影する被検物の近傍に導く。なお、以下の説明においては、パターン投影部７が被検物に投影する光を構造化するパターンが、光の明暗、つまり、光の強度が水平方向の正弦波状に変化する縞状のパターン（縦縞のパターン）であるものとして説明する。
【００３５】
撮像部５は、本体部２内に配置された撮像制御部５１と、先端部４内に配置された撮像素子５２および対物光学系５３とを含んで構成される。対物光学系５３は、先端部４の端面４０に設けられた開口部４５に正対する所定の画角をもった光学レンズ群である。なお、図１に示した内視鏡装置１の構成では、対物光学系５３が１つの光学レンズで構成されている場合を示しているが、対物光学系５３は、複数の光学レンズで構成されてもよい。対物光学系５３は、開口部４５から入射された所定の画角によって規定される観察範囲内の被検物からの反射光を撮像素子５２に入射させ、被検物の像を撮像素子５２の撮像面に結像させる。なお、図１に示した内視鏡装置１の構成では、対物光学系５３に、開口部４５の開口を塞ぐための光の透過性を有するカバー部材５４を備えている場合を示している。
【００３６】
撮像素子５２は、２次元の行列状に画素が複数配置され、対物光学系５３によって結像された被検物の映像を撮影し、撮影した映像に応じた画素信号を出力する、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表されるイメージセンサである。撮像素子５２は、挿入部３内に備えた信号線５５を介して伝送された、本体部２内の撮像制御部５１から出力された駆動信号によって駆動される。また、撮像素子５２は、撮影した映像に応じたそれぞれの画素信号を映像信号として、信号線５５を介して撮像制御部５１に出力する。なお、撮像素子５２は、イメージセンサを含む公知の技術を適宜選択して構成することができる。
【００３７】
撮像制御部５１は、メイン制御部８１からの制御に応じて、撮像素子５２の駆動および映像信号を取得する際の設定など、種々の制御を行う。より具体的には、撮像制御部５１は、挿入部３内の信号線５５を介して先端部４内に配置された撮像素子５２を駆動する。また、撮像制御部５１は、撮像素子５２が撮影した映像に応じた映像信号の信号線５５への出力、つまり、映像信号の信号線５５を介した伝送を制御する。また、撮像制御部５１は、信号線５５を介して撮像素子５２から取得した映像信号を、本体部２内に配置された映像処理部８６に出力する。
【００３８】
照明部６は、本体部２内に配置された照明光源６１およびカップリングレンズ６２と、挿入部３内を通るファイババンドル６３と、先端部４内に配置された照明光学系６４とを含んで構成される。照明光源６１は、一般的な白色の光源である。照明光源６１は、光源として、白色ＬＥＤやレーザーなどの発光素子、ハロゲンランプなどの電灯を用いることができる。
【００３９】
カップリングレンズ６２は、照明光源６１から発せられた光を、ファイババンドル６３の径と同程度まで収束させる光学レンズである。カップリングレンズ６２は、収束させた光をファイババンドル６３に導入する。ファイババンドル６３は、カップリングレンズ６２から導入された光を、挿入部３を通して照明光学系６４まで導く光ファイバである。なお、本発明においては、ファイババンドル６３の構成や種類には、特に制限はなく、例えば、一般的なライトガイドなどをファイババンドル６３として用いることもできる。
【００４０】
照明光学系６４は、先端部４の端面４０に設けられた照明窓４６に正対する光学レンズ群である。なお、図１に示した内視鏡装置１の構成では、照明光学系６４が１つの光学レンズで構成されている場合を示しているが、照明光学系６４は、複数の光学レンズで構成されてもよい。照明光学系６４は、照明光源６１から発せられてファイババンドル６３によって導かれた光を、対物光学系５３における所定の画角によって規定される観察範囲にまで広げて照明窓４６から出射させる。これにより、照明光源６１から発せられた光が、先端部４の前面、つまり、内視鏡装置１における被検物の観察範囲にまんべんなく照射される。なお、照明光学系６４には、照明窓４６の開口を塞ぐため、光の透過性を有するカバー部材（不図示）を有していてもよい。
【００４１】
パターン投影部７は、本体部２内に配置されたパターン投影光源７１、カップリングレンズ７２、およびパターン制御部７６と、挿入部３内を通る光ファイバ７３と、先端部４内に配置された縞生成部７４および投影光学系７５とを含んで構成される。パターン投影光源７１は、予め定めた特定の波長帯域の光源である。パターン投影光源７１は、光源として、レーザーや予め定めた色のＬＥＤなどの発光素子を用いることができる。なお、パターン投影光源７１が発光する光の波長帯域は、可視光の波長帯域であっても赤外光の波長帯域であってもよい。
【００４２】
カップリングレンズ７２は、パターン投影光源７１から発せられた特定の波長帯域のレーザー光を、光ファイバ７３の径と同程度まで収束させる光学レンズである。カップリングレンズ７２は、収束させたレーザー光を光ファイバ７３に導入する。光ファイバ７３は、カップリングレンズ７２から導入されたレーザー光を、挿入部３を通して縞生成部７４まで導く光ファイバである。なお、本発明においては、光ファイバ７３の構成や種類も、ファイババンドル６３と同様に、特に制限はない。
【００４３】
縞生成部７４は、挿入部３内に備えた信号線７７を介して伝送された、本体部２内のパターン制御部７６から出力された制御信号に応じて、パターン投影部７から発せられて光ファイバ７３によって導かれたレーザー光から、被検物に投影するために構造化したパターンに変換した光（以下、「パターン光」という）を生成する。また、縞生成部７４は、パターン制御部７６から出力された制御信号に応じて、生成したパターン光に予め定めた位相差をもたせる。そして、縞生成部７４は、位相差をもたせた、つまり、位相シフトを行ったパターン光を投影光学系７５に出射する。なお、内視鏡装置１では、パターン投影部７が被検物に投影するために変換する構造化のパターンが、縦縞のパターンである。従って、縞生成部７４は、レーザー光を縦縞のパターン光に変換し、さらに予め定めた位相シフトを行ったパターン光を投影光学系７５に出射する。
【００４４】
パターン制御部７６は、メイン制御部８１からの制御に応じて、縞生成部７４が投影光学系７５に出射するパターン光の構造化パターンと位相差とを制御する。より具体的には、パターン制御部７６は、信号線７７を介して縞生成部７４に出力する制御信号によって、縞生成部７４が生成する縦縞のパターンにおける縞の強度、つまり、レーザー光の強度を水平方向の正弦波状に変化させる際の位相を制御する。また、パターン制御部７６は、信号線７７を介して縞生成部７４に出力する制御信号によって、縞生成部７４が生成したパターン光にもたせる位相差、つまり、被検物に投影するパターン光の位相シフト量を制御する。
【００４５】
投影光学系７５は、先端部４の端面４０に設けられた投影窓４７に正対する光学レンズ群である。なお、図１に示した内視鏡装置１の構成では、投影光学系７５が１つの光学レンズで構成されている場合を示しているが、投影光学系７５は、複数の光学レンズで構成されてもよい。投影光学系７５は、縞生成部７４がレーザー光を変換して位相シフトした後に出射したパターン光を、対物光学系５３における所定の画角によって規定される観察範囲にまで広げて投影窓４７から出射させる。これにより、位相シフトしたパターン光が、先端部４の前面の内視鏡装置１における被検物の観察範囲にまんべんなく照射される。なお、投影光学系７５にも、照明光学系６４と同様に、投影窓４７の開口を塞ぐために、光の透過性を有するカバー部材（不図示）を有していてもよい。
【００４６】
その他、内視鏡装置１では、本体部２内に、光源制御部８０と、映像処理部８６と、操作部８２と、モニタ８７と、メイン制御部８１と、主記憶装置（ＲＡＭ）８３と、補助記憶部８４と、ＲＯＭ８５と、を備えている。
【００４７】
光源制御部８０は、メイン制御部８１からの制御に応じて、照明光源６１およびパターン投影光源７１のオン、オフを制御することによって光の発光、つまり、被検物への光の照射を制御する。なお、光源制御部８０における照明光源６１およびパターン投影光源７１の発光制御の方法に関する詳細な説明は、後述する。
【００４８】
映像処理部８６は、メイン制御部８１からの制御に応じて、撮像制御部５１から出力された映像信号に対して種々の処理を行い、映像信号に基づいた映像（画像）、すなわち、撮像部５に備えた撮像素子５２が撮影した被検物の画像を生成する。そして、映像処理部８６は、生成した被検物の画像をメイン制御部８１に出力する。
【００４９】
操作部８２は、内視鏡装置１の動作を制御するために使用者（ユーザ）によって操作されるユーザーインターフェースやコントローラである。ユーザは、操作部８２を操作することによって、内視鏡装置１に所望の動作や処理を実行させる。例えば、操作部８２の操作によって、ユーザは、挿入部３を被検物内に挿入する際に先端部４が向かう方向の変更や、被検物の撮影を指示する。また、操作部８２の操作によって、ユーザは、３次元の計測を行う際の測定点の位置を、所望の位置に設定する。操作部８２は、ユーザによって操作された内容を表す情報を、メイン制御部８１に出力する。
【００５０】
モニタ８７は、内視鏡装置１の動作や操作内容、撮影した被検物の画像を表示する表示部である。モニタ８７は、メイン制御部８１から入力された画像を表示する。ユーザは、モニタ８７に表示された画像を確認しながら、操作部８２を操作することによって、内視鏡装置１を使用した被検物の観察を行う。
【００５１】
メイン制御部８１は、内視鏡装置１の構成要素、すなわち、内視鏡装置１全体を制御する。例えば、内視鏡装置１が被検物を観察する際の撮像部５による撮影動作や、被検物の画像のモニタ８７への表示動作などに応じて、内視鏡装置１内の各構成要素の動作を制御する。メイン制御部８１には、ＲＡＭ８３、補助記憶部８４、およびＲＯＭ８５などの外部記憶部が接続されている。メイン制御部８１は、接続されたＲＡＭ８３、補助記憶部８４、またはＲＯＭ８５に記憶されたデータに基づいて、種々の処理を行う。
【００５２】
ＲＡＭ８３は、例えば、ＤＲＡＭなどの書き換え可能な揮発性メモリであり、メイン制御部８１が処理を実行するために用いるデータや、処理の途中で生成したデータなどが、一時的に格納される。ＲＡＭ８３には、映像処理部８６が生成してメイン制御部８１に出力した被検物の画像が一時的に格納される。また、ＲＡＭ８３に格納された被検物の画像は、メイン制御部８１によって読み出されて、モニタ８７に出力される。
【００５３】
補助記憶部８４は、例えば、書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などの記憶装置であり、メイン制御部８１が処理を実行した最終的な結果のデータなどを格納する。ＲＯＭ８５は、例えば、ＥＰＲＯＭやＥＥＰＲＯＭなどの書き換え可能な不揮発性メモリであり、内視鏡装置１（メイン制御部８１）を起動するためのファームウェアなどのプログラムや、メイン制御部８１が実行する処理のプログラムなどが格納されている。
【００５４】
また、メイン制御部８１は、映像処理部８６が生成した被検物の画像に基づいて、内視鏡装置１における３次元の計測の処理を行う。このとき、メイン制御部８１は、３次元の計測を行う際の測定点を設定するための被検物の画像をモニタ８７に表示させる。そして、メイン制御部８１は、操作部８２から入力された操作の内容を表す情報に含まれる、ユーザによって指定された測定点の位置の情報に基づいて、ユーザが所望する３次元の計測を行い、計測結果をモニタ８７に表示させる。なお、メイン制御部８１における３次元の計測の処理手順に関する詳細な説明は、後述する。
【００５５】
このような構成によって、内視鏡装置１では、パターン光を位相シフトして被検物に複数回照射し、それぞれの位相で撮影した複数の画像から３次元画像を生成して３次元の計測を行う。なお、内視鏡装置１には、内視鏡装置１のユーザがモニタ８７に表示された画像を確認しながら操作部８２を操作することによって先端部４を観察する被検物の近傍に導く観察モードと、モニタ８７に表示された画像を確認しながら操作部８２を操作して所望の測定点を設定して３次元の計測を行う計測モードとの２つの動作モードがある。この動作モードの切り替えは、例えば、ユーザが操作部８２を操作することによって行う。
【００５６】
内視鏡装置１の動作モードが観察モードのとき、照明部６は、白色の照明光（以下、「観察光」という）を照射し、撮像部５が予め定めた周期で被検物を順次撮影する。そして、映像処理部８６が、撮像部５から順次出力された映像信号に基づいた被検物の映像（画像）（以下、「観察モード画像」という）を順次生成する。そして、メイン制御部８１が、映像処理部８６から出力された観察モード画像を一旦ＲＡＭ８３に格納した後、再度読み出してモニタ８７に表示させる。これにより、内視鏡装置１のユーザは、観察モードにおいてモニタ８７に表示された観察モード画像を確認しながら操作部８２を操作して、先端部４を観察する被検物の近傍に導くことができる。
【００５７】
一方、内視鏡装置１の動作モードが計測モードのとき、パターン投影部７は、パターン光（以下、「計測光」という）を照射し、撮像部５が予め定めた数の被検物の映像を撮影する。そして、映像処理部８６が、撮像部５から出力された予め定めた数の映像信号に基づいた被検物の映像（画像）（以下、「計測モード画像」という）を生成する。そして、メイン制御部８１が、映像処理部８６から出力された計測モード画像を一旦ＲＡＭ８３に格納した後、再度読み出して３次元の計測の処理を行う。この３次元の計測の処理では、上述したように、計測モード画像に基づいて生成した、測定点を設定するための被検物の画像をモニタ８７に表示される。これにより、内視鏡装置１のユーザは、計測モードにおいてモニタ８７に表示された画像を確認しながら操作部８２を操作して所望の測定点を設定することができる。つまり、内視鏡装置１では、計測モード画像に設定された測定点の位置での３次元の計測を行うことができる。
【００５８】
なお、図１に示した内視鏡装置１の構成では、挿入部３の先端に位置する先端部４内に撮像部５と、照明部６と、パターン投影部７との一部の構成要素が配置されている構成を示した。しかし、内視鏡装置１は、先端部４内に備えた構成要素を交換可能な構成にすることもできる。例えば、撮像部５を構成する対物光学系５３の一部と、照明部６を構成する照明光学系６４の一部と、パターン投影部７を構成する縞生成部７４および投影光学系７５の一部とを、光学アダプタとして形成する。このとき、先端部４には、撮像部５を構成する撮像素子５２および対物光学系５３の他の一部と、照明部６を構成する照明光学系６４の他の一部と、パターン投影部７を構成する投影光学系７５の他の一部とを配置した構成にする。そして、先端部４と光学アダプタとを着脱可能な構成にする。このような構成にすることによって、観測する被検物に応じた適切な光学アダプタに交換することができる。
【００５９】
次に、内視鏡装置１の動作について説明する。まず、照明光源６１およびパターン投影光源７１が発光する光の制御について説明する。図２は、第１の実施形態の内視鏡システム（内視鏡装置１）における光の照射タイミングの一例を示したタイミングチャートである。なお、図２に示したタイミングチャートは、計測モードにおいて、９０°（π／２）ずつ位相シフトしたパターン光（計測光）を被検物に４回照射して４つの計測モード画像を撮影する場合、つまり、内視鏡装置１が４つの計測モード画像から３次元画像を生成する動作を行う場合の一例を示している。
【００６０】
内視鏡装置１が観察モードの動作をしているとき、光源制御部８０は、照明光源６１のみオン状態に制御することによって、観察光のみを被検物に照射するように制御する。このとき、光源制御部８０は、撮像部５が被検物を撮影するのに適した光量に、観察光の光量を調光する。例えば、被検物の像が暗い場合や被検物が遠くにある場合には観察光の光量を多くし、被検物の像が明るい場合や被検物が近くにある場合には観察光の光量を少なくするように調光する。なお、光源制御部８０における観察光の調光方法は、光量と露光時間とに基づいた既存の方法を用いることができるため、詳細な説明は省略する。これにより、撮像部５は、観察光が被検物に照射されたそれぞれのタイミングで撮影を行った映像信号を映像処理部８６に出力し、映像処理部８６が生成した観察モード画像をモニタ８７に表示させる。
【００６１】
また、内視鏡装置１が計測モードの動作をしているとき、光源制御部８０は、照明光源６１およびパターン投影光源７１をオン状態に制御することによって、観察光と計測光との両方を被検物に照射するように制御する。このとき、光源制御部８０は、観察光の光量を、計測光の光量に応じた光量に調光する。ただし、内視鏡装置１では、計測モードのときであっても、観測光の照射を行う。つまり、内視鏡装置１では、計測モードのときであっても、照明光源６１を消灯しない。より具体的には、光源制御部８０は、パターン投影部７が照射する計測光の構造化パターン（縦縞のパターン）を判別することができるように、観察光の光量を観察モードのときの光量よりも少なくし、観察光と計測光とを合わせた光量が、撮像部５が被検物を撮影するのに適した光量になるように調光する。図２に示したタイミングチャートでは、例えば、ＰＷＭ（Ｐｕｌｓｅ  Ｗｉｄｔｈ  Ｍｏｄｕｌａｔｉｏｎ）制御によって、パターン投影光源７１が発光する時間、すなわち、計測光の照射時間を長くし、例えば、電圧制御によって、照明光源６１が発光する光の強度を低く、すなわち、観測光の明るさを暗くして、計測光と観測光とを調光している場合を示している。これにより、撮像部５は、観察光と計測光とを合わせた光が被検物に照射されたそれぞれのタイミングで撮影を行ったそれぞれの映像信号を映像処理部８６に出力し、映像処理部８６が生成した計測モード画像に基づいて、測定点の設定や３次元の計測を行う。
【００６２】
なお、計測モードにおいてパターン投影部７が照射する計測光の構造化パターンを判別することができるようにする方法として、計測光の波長帯域の光と同じ波長帯域の光のみを調光する方法であってもよい。例えば、パターン投影光源７１が赤色の波長帯域の光源である場合、計測モードのときに、赤色の波長帯域の光を減衰させ、赤色以外の波長帯域の光を透過する光学フィルタを観察光の光路に挿入する構成にすることによって、赤色の計測光の構造化パターンを判別することができるように調光してもよい。また、例えば、照明光源６１が赤色と緑色と青色とのそれぞれのＬＥＤによって構成されている白色の光源であり、パターン投影光源７１が赤色の波長帯域の光源である場合、赤色のＬＥＤの光量のみを観察モードのときよりも少なくし、緑色のＬＥＤと青色のＬＥＤとの光量は観察モードのときと同じにすることによって、赤色の計測光の構造化パターンを判別することができるように調光してもよい。
【００６３】
このように、内視鏡装置１では、計測モードにおいても、観察光を消灯することなく、被検物に照射する。これにより、内視鏡装置１では、観察光と計測光とを合わせた光で撮影した複数の計測モード画像を得ることができる。そして、内視鏡装置１では、複数の計測モード画像に対して種々の処理を行い、被検物の３次元形状の復元と、被検物の色再現とを行う。
【００６４】
次に、内視鏡装置１において計測モード画像に対して行う処理について説明する。図３は、第１の実施形態の内視鏡システム（内視鏡装置１）における処理の概略を示した図である。内視鏡装置１において計測モード画像に対して行う処理は、被検物の３次元形状を復元する処理（以下、「３次元形状復元処理」という）と、被検物の色再現をする処理（以下、「色再現処理」という）とがある。図３に示した概略図は、４つの計測モード画像に基づいて行う、３次元形状復元処理と、色再現処理との概略を示している。なお、以下の説明においては、照明光源６１が白色ＬＥＤ光源であり、パターン投影光源７１が赤色の波長帯域のレーザー光源であるものとして説明する。
【００６５】
内視鏡装置１は、計測モードにおいて、光量を少なくした観察光と位相を９０°（π／２）ずつシフトした計測光とが混合された光を被検物に４回照射し、それぞれの光の照射において被検物を撮影することによって、図３に示したような４つの計測モード画像を取得する。メイン制御部８１は、４つの計測モード画像を取得した後、まず、取得したそれぞれの計測モード画像に含まれるそれぞれの画素信号を色ごとに分離する。これにより、メイン制御部８１は、赤色（Ｒ）の波長帯域に対応する画素信号のみが含まれる赤色計測モード画像と、緑色（Ｇ）の波長帯域に対応する画素信号のみが含まれる緑色計測モード画像と、青色（Ｂ）の波長帯域に対応する画素信号のみが含まれる青色計測モード画像とのそれぞれを生成する。そして、メイン制御部８１は、赤色計測モード画像と、緑色計測モード画像と、青色計測モード画像とのそれぞれに基づいて、３次元形状復元処理と色再現処理とのそれぞれを並列に行う。
【００６６】
３次元形状復元処理は、赤色計測モード画像に基づいて行う。赤色計測モード画像は、赤色の波長帯域の光を反射した被検物の画像であり、図３に示したように、計測光として照射された構造化パターン（縦縞のパターン）が含まれている画像である。メイン制御部８１は、４つの赤色計測モード画像に対して、例えば、下式（１）のような既存の３次元画像の演算を行って、赤色計測モード画像に含まれるそれぞれの画素の位相φを高速に算出する。
【００６７】
φ（ｘ，ｙ）  ＝  ｔａｎ−１（（Ｉ３−Ｉ１）／（Ｉ０−Ｉ２））    ・・・（１）
【００６８】
上式（１）において、φ（ｘ，ｙ）は、撮像素子５２に２次元の行列状に配置された画素の水平方向（列が並ぶ方向：列方向）ｘ、垂直方向（行が並ぶ方向：行方向）ｙの座標位置に位置する画素（ｘ，ｙ）の位相を表す。また、上式（１）において、Ｉ０は１枚目の赤色計測モード画像に含まれる画素（ｘ，ｙ）の輝度を表し、Ｉ１は２枚目の赤色計測モード画像に含まれる画素（ｘ，ｙ）の輝度を表し、Ｉ２は３枚目の赤色計測モード画像に含まれる画素（ｘ，ｙ）の輝度を表し、Ｉ３は４枚目の赤色計測モード画像に含まれる画素（ｘ，ｙ）の輝度を表す。
【００６９】
そして、メイン制御部８１は、算出した位相φと相対関係がある高さを、赤色計測モード画像に含まれるそれぞれの画素ごとに求める。これにより、メイン制御部８１は、赤色計測モード画像に含まれる全ての画素が、水平方向、垂直方向、および高さの座標で表された画素群のデータ（以下、「３次元点群データ」という）を生成する。
【００７０】
このようにして、メイン制御部８１は、４つの計測モード画像に基づいて３次元形状復元処理を行う。そして、メイン制御部８１は、３次元形状復元処理によって生成した３次元点群データに基づいて、３次元の計測の処理を行う。なお、図３に示した概略図では、４つの計測モード画像に基づいて３次元形状復元処理を行う場合を示したが、一般的に、３次元形状復元処理を行うために必要な計測モード画像の数は、３つ以上であればよい。従って、内視鏡装置１において３次元形状復元処理を行う、つまり、３次元点群データを生成するために用いる計測モード画像（図３では、赤色計測モード画像）の数は、特に規定しない。
【００７１】
一方、色再現処理は、赤色計測モード画像と、緑色計測モード画像と、青色計測モード画像とのそれぞれに基づいて行う。なお、緑色計測モード画像は、緑色の波長帯域の光を反射した被検物の画像であり、計測光として照射された構造化パターン（縦縞のパターン）が含まれていない画像である。また、青色計測モード画像は、青色の波長帯域の光を反射した被検物の画像であり、緑色計測モード画像と同様に、計測光として照射された構造化パターン（縦縞のパターン）が含まれていない画像である。
【００７２】
色再現処理において、メイン制御部８１は、４つの緑色計測モード画像および青色計測モード画像のそれぞれに対して、例えば、ノイズ除去処理などの既存の画像処理を行って、Ｓ／Ｎ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）が高い１つの緑色の画像（以下、「緑色画像」という）、および１つの青色の画像（以下「青色画像」という）のそれぞれを生成する。以下の説明において、緑色画像と青色画像とを区別せずに表すときには、「縞なし画像」という。なお、メイン制御部８１は、緑色画像を生成する際に、４つの緑色計測モード画像に含まれる同じ座標位置の画素の値同士を加算平均してもよい。同様に、メイン制御部８１は、青色画像を生成する際に、４つの青色計測モード画像に含まれる同じ座標位置の画素の値同士を加算平均してもよい。
【００７３】
また、色再現処理において、メイン制御部８１は、４つの赤色計測モード画像に基づいて、構造化パターン（縦縞のパターン）を除去した１つの赤色の画像（以下、「赤色画像」という）を生成する。より具体的には、４つの赤色計測モード画像に含まれる同じ座標位置の画素の値同士を加算平均する。これにより、それぞれの赤色計測モード画像に含まれる構造化パターン（縦縞のパターン）の位相の成分が除去（キャンセル）される。以下の説明においては、赤色画像を「縞消し画像」ともいう。なお、メイン制御部８１は、赤色画像を生成する際に、赤色画像に含まれるそれぞれの画素の値、つまり、赤色のレベルを、緑色画像における緑色のレベルや青色画像における青色のレベルと同等になるように補正する処理を行ってもよい。
【００７４】
このようにして、メイン制御部８１は、色再現処理において、４つの計測モード画像に基づいたそれぞれの色ごとの画像（赤色画像、緑色画像、および青色画像）を生成する。そして、メイン制御部８１は、生成した縞なし画像（緑色画像および青色画像）と縞消し画像（赤色画像）とを合成して、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）が再現された色再現画像を生成する。
【００７５】
メイン制御部８１は、色再現処理によって生成した色再現画像を、３次元の計測を行う際の測定点を設定するための被検物の画像としてモニタ８７に表示させる。そして、メイン制御部８１は、ユーザによって測定点の位置（座標）が指定された後に、指定された測定点に対応する３次元点群データの座標に基づいて、ユーザが所望する３次元の計測を行う。
【００７６】
次に、内視鏡装置１における３次元の計測の処理手順について説明する。図４は、第１の実施形態の内視鏡システム（内視鏡装置１）における処理手順を示したフローチャートである。図４には、計測モードにおける処理手順を示している。
【００７７】
内視鏡装置１の動作モードが計測モードになると、メイン制御部８１は、まず、光源制御部８０を制御して、照明部６とパターン投影部７とに、計測モードにおける光の発光を行わせる。そして、メイン制御部８１は、撮像部５を制御して被検物を複数撮影させ、映像処理部８６に複数の計測モード画像を生成させてＲＡＭ８３に格納させることによって、複数の計測モード画像を取得する（ステップＳ０１）。
【００７８】
続いて、メイン制御部８１は、ＲＡＭ８３に格納したそれぞれの計測モード画像を読み出して、読み出した計測モード画像を色ごとに分離する（ステップＳ０２）。これにより、それぞれの計測モード画像が、赤色計測モード画像と、緑色計測モード画像と、青色計測モード画像とのそれぞれに分離される。そして、メイン制御部８１は、３次元形状復元処理と色再現処理とのそれぞれを並列に行う。なお、メイン制御部８１は、ステップＳ０２において分離した赤色計測モード画像と、緑色計測モード画像と、青色計測モード画像とのそれぞれを、再度ＲＡＭ８３に一時的に格納し、次の処理に必要な計測モード画像をＲＡＭ８３から再度読み出して以降の処理を行ってもよい。
【００７９】
３次元形状復元処理では、メイン制御部８１は、まず、複数の赤色計測モード画像のそれぞれに対してノイズ除去処理を行う（ステップＳ１１）。続いて、メイン制御部８１は、上式（１）のような既存の３次元画像の演算を行って、赤色計測モード画像に含まれるそれぞれの画素の位相φを算出する（ステップＳ１２）。続いて、メイン制御部８１は、算出したそれぞれの画素の位相φに含まれるノイズ成分を除去するノイズ除去処理を行う（ステップＳ１３）。そして、メイン制御部８１は、算出した位相φと高さとの相対関係に基づいて、赤色計測モード画像に含まれるそれぞれの画素における空間座標（高さを表す座標）を算出し、水平方向ｘおよび垂直方向ｙの座標と、算出した高さ（以下、「高さ方向ｚ」という）を表す座標とをそれぞれの画素ごとに対応付けた３次元の画素群データ（ｘ，ｙ，ｚ）である３次元点群データを生成する（ステップＳ１４）。そして、メイン制御部８１は、生成した３次元点群データを、ＲＡＭ８３に格納する。
【００８０】
一方、色再現処理では、メイン制御部８１は、まず、複数の赤色計測モード画像に基づいて、構造化パターン（縦縞のパターン）を除去する縞消し処理を行い、１つの縞消し画像を生成する（ステップＳ２１）。続いて、メイン制御部８１は、複数の緑色計測モード画像および青色計測モード画像のそれぞれに対してノイズ除去処理を行い、１つの縞なし画像を生成する（ステップＳ２２）。続いて、メイン制御部８１は、生成した縞消し画像と縞なし画像とのそれぞれを合成し、色再現画像を生成する（ステップＳ２３）。そして、メイン制御部８１は、生成した色再現画像を、ＲＡＭ８３に格納する。なお、メイン制御部８１は、ステップＳ２１において生成した縞消し画像や、ステップＳ２２において生成した縞なし画像を一時的にＲＡＭ８３に格納し、色再現画像を生成する際に、格納した縞消し画像や縞なし画像をＲＡＭ８３から再度読み出して、ステップＳ２３の処理を行ってもよい。
【００８１】
続いて、メイン制御部８１は、ステップＳ２３において生成した色再現画像をＲＡＭ８３から読み出して、モニタ８７に出力する（ステップＳ２４）。これにより、モニタ８７は、メイン制御部８１から入力された色再現画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。そして、内視鏡装置１のユーザは、モニタ８７に表示された色再現画像を確認しながら操作部８２を操作して、所望する３次元の計測を行うための測定点を設定する。その後、メイン制御部８１は、ユーザによって測定点の設定が行われると、操作部８２から、ユーザの操作によって設定された測定点の位置を表す情報を取得する（ステップＳ２５）。
【００８２】
続いて、メイン制御部８１は、ステップＳ２５においてユーザによって設定された測定点の位置の情報を取得すると、取得した測定点の位置（座標（ｘ，ｙ））と３次元点群データ内の画素の座標（ｘ，ｙ）とを照合し、測定点の位置（座標（ｘ，ｙ））に対応する３次元点群データの画素データ（ｘ，ｙ，ｚ）を取得する（ステップＳ３１）。なお、メイン制御部８１が取得する３次元点群データの画素データは、測定点の位置に位置する画素の画素データに限定されるものではなく、実行する３次元の計測において用いる全ての画素データを取得する。例えば、設定された２つの測定点の間の距離（２点間の距離）を計測する３次元の計測を行う場合には、２つの測定点の間に位置する全ての画素データを取得する。
【００８３】
続いて、メイン制御部８１は、取得した３次元点群データの画素データ（ｘ，ｙ，ｚ）のそれぞれに基づいて、３次元の計測を実行する（ステップＳ３２）。そして、メイン制御部８１は、実行した３次元の計測結果を表す画像、例えば、表示している色再現画像に、計測結果を示すためのＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）用のデータを重畳する処理を行った画像をモニタ８７に出力して表示させる（ステップＳ３３）。そして、メイン制御部８１は、計測モードにおける処理を終了する。
【００８４】
これにより、ユーザは、所望する３次元の計測の結果を確認することができる。なお、メイン制御部８１は、３次元の計測結果をモニタ８７に表示させてユーザに提示するのみではなく、例えば、補助記憶部８４に、設定された測定点の位置を表す情報と３次元の計測結果とを対応付けて格納してもよい。これにより、ユーザは、以前行った３次元の計測結果を確認することができる。
【００８５】
本第１の実施形態によれば、被検物を観察するための観察光（白色の照明光）を被検物に照射する照明部（照明部６）と、被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光（縦縞のパターンのパターン光）を被検物に照射するパターン投影部（パターン投影部７）と、照明部６による観察光の被検物への照射と、パターン投影部７による計測光の被検物への照射とを制御する照射光制御部（光源制御部８０）と、少なくとも計測光を照射して得た映像に応じた被検物の計測画像（計測モード画像）に基づいて、指定された測定点に応じた被検物に対する３次元の計測を行う３次元計測部（メイン制御部８１）と、を備えた内視鏡システム（内視鏡装置１）であって、メイン制御部８１は、計測モード画像に基づいて測定点を設定するための設定用画像（被検物の画像：色再現画像）を生成して表示部（モニタ８７）に表示させ、被検物の画像に設定された測定点の位置に対応する計測モード画像の情報（３次元点群データ）に基づいて被検物に対する３次元の計測を行う内視鏡システム（内視鏡装置１）が構成される。
【００８６】
また、本第１の実施形態によれば、メイン制御部８１は、３次元の計測を行う際に、計測モード画像に含まれる計測光と同じ波長帯域（赤色の波長帯域）の光の反射による被検物の映像である第１の波長帯域計測画像（赤色計測モード画像）に基づいて、３次元の計測に用いる３次元画素情報（３次元点群データの画素データ）を生成し、生成した画素データを含んだ３次元計測画像（３次元点群データ）を生成する３次元形状復元処理（ステップＳ１１〜ステップＳ１４）と、３次元点群データに含まれる、被検物の画像に設定された測定点の位置に対応する画素データに基づいて、３次元の計測を行う３次元計測処理（ステップＳ３１〜ステップＳ３３）と、を実行する内視鏡装置１が構成される。
【００８７】
また、本第１の実施形態によれば、光源制御部８０は、３次元の計測を行う際に、観察光と計測光とを同時に被検物に照射させ、メイン制御部８１は、３次元形状復元処理を実行する前に、計測モード画像を、赤色計測モード画像と、計測モード画像に含まれる計測光と異なる波長帯域の光の反射による被検物の映像である第２の波長帯域計測画像（緑色計測モード画像および青色計測モード画像）とに分離する画像分離処理（ステップＳ０２）を実行し、３次元形状復元処理と並列に、赤色計測モード画像に含まれる計測光の成分（縦縞のパターン）を除去した計測光除去画像（赤色画像：縞消し画像）を生成する構造化パターン除去処理（縞消し処理：ステップＳ２１）と、縞消し画像と、第２の波長帯域計測画像（ノイズ除去処理後の緑色画像および青色画像：縞なし画像）とを合成した合成画像（色再現画像）を生成する合成画像生成処理（ステップＳ２２〜ステップＳ２３）と、を順次実行する内視鏡装置１が構成される。
【００８８】
また、本第１の実施形態によれば、光源制御部８０は、計測光と同時に被検物に照射させる観察光の光量を、計測光の光量に応じて調光する内視鏡装置１が構成される。
【００８９】
また、本第１の実施形態によれば、メイン制御部８１は、色再現画像を被検物の画像とする（ステップＳ２４〜ステップＳ２５）内視鏡装置１が構成される。
【００９０】
また、本第１の実施形態によれば、計測光は、構造化したパターンが、光の強度が（水平方向の）正弦波状に変化する縞状のパターン（縦縞のパターン）である内視鏡装置１が構成される。
【００９１】
また、本第１の実施形態によれば、  パターン投影部７は、計測光における構造化したパターン（縦縞のパターン）の位相を予め定めたシフト量だけ位相シフトして被検物に複数回照射し、メイン制御部８１は、位相シフトされたそれぞれの計測光の照射によって得たそれぞれの映像に応じた複数の計測モード画像に基づいて、３次元の計測を行う内視鏡装置１が構成される。
【００９２】
また、本第１の実施形態によれば、計測光は、レーザー光である内視鏡装置１が構成される。
【００９３】
また、本第１の実施形態によれば、計測光は、波長帯域が、可視光の波長帯域である内視鏡装置１が構成される。
【００９４】
また、本第１の実施形態によれば、計測光は、波長帯域が、赤色の波長帯域である内視鏡装置１が構成される。
【００９５】
また、本第１の実施形態によれば、観察光は可視光の波長帯域であり、メイン制御部８１は、画像分離処理において、計測モード画像を、赤色の波長帯域の光の反射による計測画像（赤色計測モード画像）と、緑色の波長帯域の光の反射による計測画像（緑色計測モード画像）と、青色の波長帯域の光の反射による計測画像（青色計測モード画像）とに分離し、計測光と同じ波長帯域（赤色の波長帯域）の光の反射による計測画像を赤色計測モード画像とし、計測光と異なる波長帯域の光の反射による計測画像のそれぞれを緑色計測モード画像および青色計測モード画像とする内視鏡装置１が構成される。
【００９６】
また、本第１の実施形態によれば、メイン制御部８１は、構造化パターン除去処理において、複数の計測モード画像のそれぞれに対応する複数の赤色計測モード画像に含まれる同じ位置（座標位置）のそれぞれの画素の値同士を加算平均して１つの縞消し画像を生成する内視鏡装置１が構成される。
【００９７】
また、本第１の実施形態によれば、被検物を観察するための観察光（白色の照明光）を被検物に照射する照明部（照明部６）と、被検物を３次元で計測するために構造化したパターンの予め定めた波長帯域の計測光（縦縞のパターンのパターン光）を被検物に照射するパターン投影部（パターン投影部７）と、照明部６による観察光の被検物への照射と、パターン投影部７による計測光の被検物への照射とを制御する照射光制御部（光源制御部８０）と、少なくとも計測光を照射して得た映像に応じた被検物の計測画像（計測モード画像）に基づいて、指定された測定点に応じた被検物に対する３次元の計測を行う３次元計測部（メイン制御部８１）と、を備えた内視鏡システム（内視鏡装置１）における計測方法であって、メイン制御部８１が、計測モード画像に基づいて測定点を設定するための設定用画像（被検物の画像：色再現画像）を生成して表示部（モニタ８７）に表示させ、被検物の画像に設定された測定点の位置に対応する計測モード画像の情報（３次元点群データ）に基づいて被検物に対する３次元の計測を行う計測方法が構成される。
【００９８】
上記に述べたように、内視鏡装置１では、計測モードにおいて取得した計測モード画像から生成した色再現画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。これにより、内視鏡装置１では、表示された被検物の画像を確認しながら、３次元の計測を行うために計測モードにおいて取得した計測モード画像に１対１で対応する位置に測定点を設定することができる。つまり、従来の内視鏡装置では、測定点を設定する画像と３次元の計測を行う画像とが異なるタイミングで撮影された異なる画像であったのに対し、内視鏡装置１では、３次元の計測を行う画像と同じ画像から生成した画像に測定点を設定することができる。このことにより、内視鏡装置１では、３次元の計測を正確に行った計測結果を得ることができる。
【００９９】
例えば、内視鏡装置１では、観察モードから計測モードに動作モードが切り替わった際に先端部４が動いてしまった場合でも、モニタ８７に表示された色再現画像から、ユーザが画角の変化を確認することができる。これにより、内視鏡装置１では、モーションブラーに起因する異なる位置の計測を行うことなく、設定された測定点の位置に基づいた正しい計測結果を得ることができる。また、例えば、内視鏡装置１では、計測モード画像にハレーションなどが発生していた場合でも、モニタ８７に表示された色再現画像から、発生しているハレーションなどを、ユーザが観測点を設定する前に確認することができる。そして、ユーザは、発生しているハレーションなどの状態に応じて、所望の測定点を設定することができる。つまり、ユーザが測定点を設定したい位置が、発生しているハレーションなどとは関係ない位置である場合には、現在の色再現画像に測定点を設定し、ユーザが測定点を設定したい位置にハレーションなどが発生している場合には、計測モードにおける被検物の撮影をやり直して、ハレーションなどが発生していない状態で測定点を設定することができる。これにより、内視鏡装置１では、ハレーションなどに起因する誤った計測を行うことなく、設定された測定点の位置に基づいた正しい計測結果を得ることができる。
【０１００】
＜第２の実施形態＞
次に、本発明の第２の実施形態の内視鏡システムについて説明する。第１の実施形態の内視鏡システム（内視鏡装置１）では、３次元の計測を行う際の測定点を設定するための被検物の画像として、色再現画像をモニタ８７に表示する場合について説明した。つまり、第１の実施形態の内視鏡システム（内視鏡装置１）では、３次元の計測を行う際の測定点を設定するための被検物の画像が２次元の画像であり、３次元形状復元処理によって生成した３次元点群データは、３次元の計測の際に使用する場合について説明した。しかし、３次元点群データは、３次元の計測を行う際の測定点を設定するための被検物の画像に含める、つまり、ユーザが３次元画像に対して測定点を設定するようにすることもできる。第２の実施形態の内視鏡システムは、ユーザが３次元画像に対して測定点を設定することができる内視鏡システムである。なお、第２の実施形態の内視鏡システムも、工業用の内視鏡装置である場合について説明する。
【０１０１】
第２の実施形態の内視鏡装置の構成は、図１に示した第１の実施形態の内視鏡装置１の構成と同様である。従って、第２の実施形態の内視鏡装置の構成に関する詳細な説明は省略し、以下の説明においては、第２の実施形態の内視鏡装置における３次元の計測の処理について説明する。なお、以下の説明において、第２の実施形態の内視鏡装置の構成要素を表すときには、図１に示した第１の実施形態の内視鏡装置１の構成要素と同一の符号を用いて説明する。
【０１０２】
図５は、本発明の第２の実施形態による内視鏡システム（内視鏡装置１）における処理手順を示したフローチャートである。図５には、図４に示した第１の実施形態の内視鏡装置１における処理手順と同様に、計測モードにおける処理手順を示している。なお、以下の説明においては、第１の実施形態の内視鏡装置１と同様に、照明光源６１が白色ＬＥＤ光源であり、パターン投影光源７１が赤色の波長帯域のレーザー光源であるものとして説明する。
【０１０３】
内視鏡装置１の動作モードが計測モードになると、メイン制御部８１は、ステップＳ０１〜ステップＳ０２において、第１の実施形態の内視鏡装置１における処理手順と同様に、複数の計測モード画像を取得し、取得した計測モード画像を色ごとに分離する。そして、メイン制御部８１は、第１の実施形態の内視鏡装置１と同様に、３次元形状復元処理と色再現処理とのそれぞれを並列に行う。
【０１０４】
３次元形状復元処理では、メイン制御部８１は、ステップＳ１１〜ステップＳ１４において、第１の実施形態の内視鏡装置１における処理手順と同様の３次元形状復元処理を行って、複数の赤色計測モード画像から３次元点群データを生成し、生成した３次元点群データをＲＡＭ８３に格納する。一方、色再現処理では、メイン制御部８１は、ステップＳ２１〜ステップＳ２３において、第１の実施形態の内視鏡装置１における処理手順と同様の色再現処理を行って、縞消し処理を行った１つの縞消し画像と、ノイズ除去処理を行った１つの縞なし画像とを生成し、縞消し画像と縞なし画像とのそれぞれを合成した色再現画像を生成してＲＡＭ８３に格納する。
【０１０５】
続いて、メイン制御部８１は、ステップＳ１４において生成した３次元点群データと、ステップＳ２３において生成した色再現画像とのそれぞれをＲＡＭ８３から読み出し、３次元点群データに含まれるそれぞれの画素データに色再現画像に含まれる色の情報を重畳した３次元画像を生成し、生成した３次元画像を再びＲＡＭ８３に格納する（ステップＳ３１１）。より具体的には、メイン制御部８１は、３次元点群データに含まれるそれぞれの画素データの水平方向ｘおよび垂直方向ｙの座標と、色再現画像に含まれるそれぞれの画素の水平方向ｘおよび垂直方向ｙの座標とを照合し、同じ座標（ｘ，ｙ）に位置する３次元点群データの画素データ（ｘ，ｙ，ｚ）に、対応する色の情報（ｒ，ｇ，ｂ）を付加する。これにより、３次元点群データは、水平方向ｘ、垂直方向ｙ、および高さ方向ｚに加えて、赤色の情報ｒ、緑色の情報ｇ、および青色の情報ｂを含んだカラーの３次元画像の画素データとなる。
【０１０６】
なお、３次元点群データの画素データには、色の情報以外にも、例えば、可視度の情報を付加してもよい。この可視度の情報は、それぞれの画像における画素ごと、または予め定めた矩形の範囲ごとに、透明（場合によっては半透明）であるか否かを表した情報であり、被検物の表面の凸凹によって影になる部分を表す際の表示方法を示す情報である。これにより、３次元点群データは、水平方向ｘ、垂直方向ｙ、高さ方向ｚ、赤色の情報ｒ、緑色の情報ｇ、および青色の情報ｂに、さらに可視度ａを含んだ画素データとなる。
【０１０７】
続いて、メイン制御部８１は、ステップＳ３１１においてＲＡＭ８３に格納した３次元点群データ（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ）を読み出して、モニタ８７に出力する（ステップＳ３１２）。これにより、モニタ８７は、メイン制御部８１から入力された３次元点群データの画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。そして、内視鏡装置１のユーザは、モニタ８７に表示された３次元点群データの画像を確認しながら操作部８２を操作して、所望する３次元の計測を行うための測定点を設定する。なお、ステップＳ３１２においてモニタ８７に表示される３次元点群データの画像は、３次元画像である。従って、ユーザは、操作部８２を操作することによって、モニタ８７に表示された被検物の３次元画像を回転させるなど、被検物の形状を確認しながら所望の位置に測定点を設定することができる。その後、メイン制御部８１は、ユーザによって測定点の設定が行われると、第１の実施形態の内視鏡装置１における処理手順におけるステップＳ２５と同様に、操作部８２から、ユーザの操作によって設定された測定点の位置を表す情報を取得する（ステップＳ３１３）。
【０１０８】
続いて、メイン制御部８１は、ステップＳ３１３においてユーザによって設定された測定点の位置の情報を取得すると、ステップＳ３１〜ステップＳ３３において、第１の実施形態の内視鏡装置１における処理手順と同様に、測定点の位置（座標（ｘ，ｙ））に対応する３次元点群データの画素データ（ｘ，ｙ，ｚ）を取得して３次元の計測を実行し、実行した３次元の計測結果をモニタ８７に出力して計測モードにおける処理を終了する。これにより、ユーザは、第１の実施形態の内視鏡装置１における処理手順と同様に、所望する３次元の計測の結果を確認することができる。
【０１０９】
本第２の実施形態によれば、３次元計測部（メイン制御部８１）は、３次元計測画像（３次元点群データ）に合成画像（色再現画像）を重畳した画像（３次元画像）を設定用画像（被検物の画像）とする内視鏡システム（内視鏡装置１）が構成される。
【０１１０】
上記に述べたように、第２の実施形態の内視鏡装置１では、計測モードにおいて取得した計測モード画像に対する３次元形状復元処理によって生成した３次元点群データに、同じ計測モード画像から生成した色再現画像に含まれる色の情報を重畳して３次元画像を生成する。そして、第２の実施形態の内視鏡装置１では、生成した被検物の３次元画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。つまり、第２の実施形態の内視鏡装置１でも、第１の実施形態の内視鏡装置１と同様に、３次元の計測を行う画像と同じ画像から生成した画像を、測定点を設定するための被検物の画像として表示する。そして、第２の実施形態の内視鏡装置１では、表示された被検物の３次元画像を回転させるなど、ユーザによる測定点の設定を補助する機能によって被検物の形状を確認しながら、より詳細な位置に測定点を設定することができる。このことにより、第２の実施形態の内視鏡装置１でも、第１の実施形態の内視鏡装置１と同様に、３次元の計測を正確に行った計測結果を得ることができる。
【０１１１】
＜第３の実施形態＞
次に、本発明の第３の実施形態の内視鏡システムについて説明する。第３の実施形態の内視鏡システムも、第２の実施形態の内視鏡システム（内視鏡装置１）と同様に、ユーザが３次元画像に対して測定点を設定することができる内視鏡システムである。ただし、第３の実施形態の内視鏡システムは、生成する被検物の３次元画像が、第２の実施形態の内視鏡システム（内視鏡装置１）と異なる。なお、第３の実施形態の内視鏡システムも、工業用の内視鏡装置である場合について説明する。
【０１１２】
第３の実施形態の内視鏡装置の構成は、図１に示した第１の実施形態の内視鏡装置１の構成と同様である。従って、第３の実施形態の内視鏡装置の構成に関する詳細な説明は省略し、以下の説明においては、第３の実施形態の内視鏡装置における３次元の計測の処理について説明する。なお、以下の説明においても、第３の実施形態の内視鏡装置の構成要素を表すときには、図１に示した第１の実施形態の内視鏡装置１の構成要素と同一の符号を用いて説明する。
【０１１３】
図６は、本発明の第３の実施形態による内視鏡システム（内視鏡装置１）における処理手順を示したフローチャートである。図６には、図４に示した第１の実施形態の内視鏡装置１における処理手順や、図５に示した第２の実施形態の内視鏡装置１における処理手順と同様に、計測モードにおける処理手順を示している。なお、以下の説明においても、第１の実施形態および第２の実施形態の内視鏡装置１と同様に、照明光源６１が白色ＬＥＤ光源であり、パターン投影光源７１が赤色の波長帯域のレーザー光源であるものとして説明する。
【０１１４】
内視鏡装置１の動作モードが計測モードになると、メイン制御部８１は、ステップＳ０１〜ステップＳ０２において、第１の実施形態および第２の実施形態の内視鏡装置１における処理手順と同様に、複数の計測モード画像を取得し、取得した計測モード画像を色ごとに分離する。そして、メイン制御部８１は、第１の実施形態および第２の実施形態の内視鏡装置１と同様に、３次元形状復元処理と色再現処理とのそれぞれを並列に行う。
【０１１５】
３次元形状復元処理では、メイン制御部８１は、ステップＳ１１〜ステップＳ１４において、第１の実施形態および第２の実施形態の内視鏡装置１における処理手順と同様の３次元形状復元処理を行って、複数の赤色計測モード画像から３次元点群データを生成し、生成した３次元点群データをＲＡＭ８３に格納する。さらに、メイン制御部８１は、生成した３次元点群データに基づいて、既存の画像処理技術の演算を行って、被検物の奥行きの情報を可視化して画像に表した深さ画像（デプスマップ）を生成し、生成したデプスマップをＲＡＭ８３に格納する（ステップＳ１５１）。
【０１１６】
一方、色再現処理では、メイン制御部８１は、ステップＳ２１〜ステップＳ２３において、第１の実施形態および第２の実施形態の内視鏡装置１における処理手順と同様の色再現処理を行って、縞消し処理によって生成した縞消し画像と、ノイズ除去処理によって生成した縞なし画像とのそれぞれを合成した色再現画像を生成してＲＡＭ８３に格納する。
【０１１７】
続いて、メイン制御部８１は、ステップＳ１５１において生成したデプスマップと、ステップＳ２３において生成した色再現画像とのそれぞれをＲＡＭ８３から読み出し、デプスマップに色再現画像をテクスチャ（質感）として貼り付けた、色の情報を含むデプスマップを生成し、生成したデプスマップを再びＲＡＭ８３に格納する（ステップＳ３２１）。より具体的には、メイン制御部８１は、既存の画像処理技術の演算を行って、３次元点群データに基づいて生成したモノクロのデプスマップの表面に当たるそれぞれの画素に、色再現画像に含まれる色の情報を重畳することによって、被検物のテクスチャ（質感）を表したカラーのデプスマップを生成する。
【０１１８】
続いて、メイン制御部８１は、ステップＳ３２１においてＲＡＭ８３に格納したカラーのデプスマップを読み出して、モニタ８７に出力する（ステップＳ３２２）。これにより、モニタ８７は、メイン制御部８１から入力されたカラーのデプスマップの画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。そして、内視鏡装置１のユーザは、モニタ８７に表示されたカラーのデプスマップの画像を確認しながら操作部８２を操作して、所望する３次元の計測を行うための測定点を設定する。なお、ステップＳ３１２においてモニタ８７に表示されるカラーのデプスマップの画像も、第２の実施形態の内視鏡装置１と同様に、３次元画像である。従って、ユーザは、第２の実施形態の内視鏡装置１と同様に、モニタ８７に表示された被検物の形状を確認しながら、所望の位置に測定点を設定することができる。その後、メイン制御部８１は、ユーザによって測定点の設定が行われると、第１の実施形態の内視鏡装置１の処理手順におけるステップＳ２５や、第２の実施形態の内視鏡装置１の処理手順におけるステップＳ３１３と同様に、操作部８２から、ユーザの操作によって設定された測定点の位置を表す情報を取得する（ステップＳ３２３）。
【０１１９】
続いて、メイン制御部８１は、ステップＳ３１〜ステップＳ３３において、第１の実施形態および第２の実施形態の内視鏡装置１における処理手順と同様に、ユーザによって設定された測定点の位置（座標（ｘ，ｙ））に対応する３次元点群データの画素データ（ｘ，ｙ，ｚ）を取得して３次元の計測を実行し、実行した３次元の計測結果をモニタ８７に出力して計測モードにおける処理を終了する。これにより、ユーザは、第１の実施形態および第２の実施形態の内視鏡装置１における処理手順と同様に、所望する３次元の計測の結果を確認することができる。
【０１２０】
本第３の実施形態によれば、３次元計測部（メイン制御部８１）は、３次元形状復元処理において、生成した３次元画素情報（３次元点群データの画素データ）に基づいて被検物の奥行きを表した深さ画像（デプスマップ）を生成し、生成したデプスマップを３次元計測画像とする内視鏡システム（内視鏡装置１）が構成される。
【０１２１】
上記に述べたように、第３の実施形態の内視鏡装置１では、計測モードにおいて取得した計測モード画像に対する３次元形状復元処理によって生成した３次元点群データに基づいて、デプスマップを生成する。さらに、第３の実施形態の内視鏡装置１では、生成したデプスマップに、このデプスマップを生成した計測モード画像と同じ計測モード画像から生成した色再現画像に含まれる色の情報を重畳してカラーのデプスマップ（３次元画像）を生成する。そして、第３の実施形態の内視鏡装置１では、生成した被検物のカラーのデプスマップの画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。つまり、第３の実施形態の内視鏡装置１でも、第１の実施形態および第２の実施形態の内視鏡装置１と同様に、３次元の計測を行う画像と同じ画像から生成した画像を、測定点を設定するための被検物の画像として表示する。そして、第３の実施形態の内視鏡装置１でも、第２の実施形態の内視鏡装置１と同様に、表示された被検物の３次元画像を回転させるなど、ユーザによる測定点の設定を補助する機能によって被検物の形状を確認しながら、詳細な位置に測定点を設定することができる。このことにより、第３の実施形態の内視鏡装置１でも、第１の実施形態および第２の実施形態の内視鏡装置１と同様に、３次元の計測を正確に行った計測結果を得ることができる。
【０１２２】
＜第４の実施形態＞
次に、本発明の第４の実施形態の内視鏡システムについて説明する。第１の実施形態〜第３の実施形態の内視鏡システム（内視鏡装置１）では、３次元の計測を行う際の測定点を設定するためにモニタ８７に表示する被検物の画像が、カラーの画像である場合について説明した。しかし、３次元の計測を行う際の測定点を設定するための被検物の画像は、カラーの画像に限定されるものではなく、モノクロの画像、つまり、グレースケールの画像であってもよい。第４の実施形態の内視鏡システムは、ユーザがモノクロの画像に対して測定点を設定する内視鏡システムである。なお、第４の実施形態の内視鏡システムも、工業用の内視鏡装置である場合について説明する。
【０１２３】
第４の実施形態の内視鏡装置の構成は、図１に示した第１の実施形態の内視鏡装置１の構成と同様である。従って、第４の実施形態の内視鏡装置の構成に関する詳細な説明は省略し、以下の説明においては、第４の実施形態の内視鏡装置における３次元の計測の処理について説明する。なお、以下の説明においても、第４の実施形態の内視鏡装置の構成要素を表すときには、図１に示した第１の実施形態の内視鏡装置１の構成要素と同一の符号を用いて説明する。
【０１２４】
図７は、本発明の第４の実施形態による内視鏡システム（内視鏡装置１）における処理手順を示したフローチャートである。図７には、図４〜図６に示した第１の実施形態〜第３の実施形態の内視鏡装置１における処理手順と同様に、計測モードにおける処理手順を示している。なお、以下の説明においても、第１の実施形態〜第３の実施形態の内視鏡装置１と同様に、照明光源６１が白色ＬＥＤ光源であり、パターン投影光源７１が赤色の波長帯域のレーザー光源であるものとして説明する。
【０１２５】
内視鏡装置１の動作モードが計測モードになると、メイン制御部８１は、ステップＳ０１〜ステップＳ０２において、第１の実施形態〜第３の実施形態の内視鏡装置１における処理手順と同様に、複数の計測モード画像を取得して、それぞれの計測モード画像を色ごとに分離する。そして、メイン制御部８１は、第１の実施形態〜第３の実施形態の内視鏡装置１と同様に、３次元形状復元処理と色再現処理とのそれぞれを並列に行う。
【０１２６】
３次元形状復元処理では、メイン制御部８１は、ステップＳ１１〜ステップＳ１４において、第１の実施形態〜第３の実施形態の内視鏡装置１における処理手順と同様の３次元形状復元処理を行って、複数の赤色計測モード画像から３次元点群データを生成し、生成した３次元点群データをＲＡＭ８３に格納する。
【０１２７】
一方、色再現処理では、メイン制御部８１は、ステップＳ２１において、第１の実施形態〜第３の実施形態の内視鏡装置１における処理手順と同様の縞消し処理を行って、複数の赤色計測モード画像に基づいて構造化パターン（縦縞のパターン）を除去した１つの縞消し画像（モノクロの画像）を生成し、生成した縞消し画像をＲＡＭ８３に格納する。なお、第４の実施形態の内視鏡装置１では、モノクロの画像を３次元の計測を行う際の測定点を設定するための被検物の画像とするため、メイン制御部８１は、第１の実施形態〜第３の実施形態の内視鏡装置１における処理手順で行っていたステップＳ２２の処理とステップＳ２３の処理とを、色再現処理において行わない。つまり、第４の実施形態の内視鏡装置１では、メイン制御部８１は、色再現処理において、ノイズ除去処理を行った縞なし画像の生成処理と、縞消し画像と縞なし画像とのそれぞれを合成する色再現画像の生成処理とを行わない。
【０１２８】
続いて、メイン制御部８１は、ステップＳ２１において生成した縞消し画像をＲＡＭ８３から読み出して、モニタ８７に出力する（ステップＳ２４１）。これにより、モニタ８７は、メイン制御部８１から入力されたモノクロの縞消し画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。そして、内視鏡装置１のユーザは、モニタ８７に表示されたモノクロの縞消し画像を確認しながら操作部８２を操作して、所望する３次元の計測を行うための測定点を設定する。その後、メイン制御部８１は、ユーザによって測定点の設定が行われると、ステップＳ２５において、第１の実施形態の内視鏡装置１における処理手順と同様に、操作部８２から、ユーザの操作によって設定された測定点の位置を表す情報を取得する。
【０１２９】
続いて、メイン制御部８１は、ステップＳ２５においてユーザによって設定された測定点の位置の情報を取得すると、ステップＳ３１〜ステップＳ３３において、第１の実施形態〜第３の実施形態の内視鏡装置１における処理手順と同様に、測定点の位置（座標（ｘ，ｙ））に対応する３次元点群データの画素データ（ｘ，ｙ，ｚ）を取得して３次元の計測を実行し、実行した３次元の計測結果をモニタ８７に出力して計測モードにおける処理を終了する。これにより、ユーザは、第１の実施形態〜第３の実施形態の内視鏡装置１における処理手順と同様に、所望する３次元の計測の結果を確認することができる。
【０１３０】
本第４の実施形態によれば、３次元計測部（メイン制御部８１）は、３次元形状復元処理と並列に、第１の波長帯域計測画像（赤色計測モード画像）に含まれる計測光の成分を除去した計測光除去画像（赤色画像：縞消し画像）を生成する構造化パターン除去処理（縞消し処理：ステップＳ２１）、を実行し、縞消し画像を設定用画像（被検物の画像）とする内視鏡システム（内視鏡装置１）が構成される。
【０１３１】
上記に述べたように、第４の実施形態の内視鏡装置１では、モノクロの画像ではあるものの、第１の実施形態〜第３の実施形態の内視鏡装置１と同様に、３次元の計測を行う計測モード画像と同じ画像から生成した画像（縞消し画像）を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。これにより、第４の実施形態の内視鏡装置１でも、第１の実施形態〜第３の実施形態の内視鏡装置１と同様に、被検物の画像を確認しながら、所望の位置に測定点を設定することができる。このことにより、第４の実施形態の内視鏡装置１でも、第１の実施形態〜第３の実施形態の内視鏡装置１と同様に、３次元の計測を正確に行った計測結果を得ることができる。
【０１３２】
さらに、第４の実施形態の内視鏡装置１では、測定点を設定するための被検物の画像がモノクロの縞消し画像であるため、第１の実施形態〜第３の実施形態の内視鏡装置１のようにカラーの画像を生成する色再現処理の演算負荷を小さくすることができる。これにより、第４の実施形態の内視鏡装置１では、第１の実施形態〜第３の実施形態の内視鏡装置１よりも早いタイミングで、測定点を設定するための被検物の画像を表示させることができる。
【０１３３】
なお、第４の実施形態の内視鏡装置１では、上述したように、色再現処理において、縞なし画像と色再現画像との生成を行わない。つまり、第４の実施形態の内視鏡装置１では、緑色計測モード画像および青色計測モード画像のそれぞれに基づいた処理を行わない。このため、第４の実施形態の内視鏡装置１では、計測モードにおいて、照明部６による観察光を、計測光と同時に被検物に照射しなくてもよい。すなわち、第４の実施形態の内視鏡装置１では、計測モードの動作をしているとき、光源制御部８０は、照明光源６１をオフ状態に制御して（消灯して）観察光の被検物への照射を行わないようにしてもよい。この場合、第４の実施形態の内視鏡装置１が計測モードの動作をしているときに被検物に照射される光は計測光のみとなり、計測モードにおいて取得した計測モード画像に対する３次元形状復元処理において、それぞれの赤色計測モード画像に含まれる計測光の階調の変化をより高い精度で判別することができ、３次元点群データを生成する際の空間座標（高さ）の演算をより高い精度で行うことができる。また、この場合に第４の実施形態の内視鏡装置１の計測モードにおいて取得する計測モード画像は、赤色計測モード画像であるため、図７に示した処理手順内のステップＳ０２の処理を行わなくてもよく、処理手順を容易にすることができる。
【０１３４】
なお、第４の実施形態の内視鏡装置１では、３次元の計測を行う際の測定点を設定するための被検物の画像として、モノクロの縞消し画像をモニタ８７に表示する場合について説明した。つまり、第４の実施形態の内視鏡装置１では、３次元の計測を行う際の測定点を設定するための被検物の画像が２次元の画像である場合について説明した。しかし、第４の実施形態の内視鏡装置１では、モノクロの画像ではあるが、第２の実施形態または第３の実施形態の内視鏡装置１と同様に、ユーザが３次元画像に対して測定点を設定するようにすることもできる。この場合の処理手順は、メイン制御部８１が、色再現処理における全ての処理を行わず、３次元形状復元処理によって生成した３次元点群データやデプスマップに対して色再現画像に含まれる色の情報を重畳せずに画像をモニタ８７に表示する処理となり、その他の処理手順は、図５に示した第２の実施形態の内視鏡装置１の処理手順、または図６に示した第３の実施形態の内視鏡装置１の処理手順と同様である。なお、計測モードにおいて計測光のみを被検物に照射する場合には、上述したように、ステップＳ０２の処理も行わない処理手順となる。従って、第４の実施形態の内視鏡装置１において、３次元の計測を行う際の測定点を設定するための被検物の画像としてモノクロの３次元画像をモニタ８７に表示する場合の処理手順に関する詳細な説明は省略する。
【０１３５】
本第４の実施形態によれば、メイン制御部８１は、３次元計測画像（３次元画像：３次元点群データまたはデプスマップ）を被検物の画像とする内視鏡装置１が構成される。
【０１３６】
＜第５の実施形態＞
次に、本発明の第５の実施形態の内視鏡システムについて説明する。第１の実施形態〜第３の実施形態の内視鏡システム（内視鏡装置１）では、３次元の計測を行う際の測定点を設定するためにモニタ８７に表示する被検物の画像の色の情報として、３次元の計測を行う画像と同じ画像から生成した色再現画像に含まれる色の情報を使用する場合について説明した。しかし、３次元の計測を行う際の測定点を設定するための被検物の画像における色の情報として、観察モードで撮影した観察モード画像に含まれる色の情報を使用することもできる。第５の実施形態の内視鏡システムは、観察モード画像に含まれる色の情報を、３次元の計測を行う際の測定点を設定するための被検物の画像の色の情報として使用する内視鏡システムである。なお、第５の実施形態の内視鏡システムも、工業用の内視鏡装置である場合について説明する。
【０１３７】
第５の実施形態の内視鏡装置の構成は、図１に示した第１の実施形態の内視鏡装置１の構成と同様である。従って、第５の実施形態の内視鏡装置の構成に関する詳細な説明は省略し、以下の説明においては、第５の実施形態の内視鏡装置における３次元の計測の処理について説明する。なお、以下の説明においても、第５の実施形態の内視鏡装置の構成要素を表すときには、図１に示した第１の実施形態の内視鏡装置１の構成要素と同一の符号を用いて説明する。
【０１３８】
図８は、本発明の第５の実施形態による内視鏡システム（内視鏡装置１）における処理手順を示したフローチャートである。図８には、図４〜図７に示した第１の実施形態〜第４の実施形態の内視鏡装置１における処理手順と同様に、計測モードにおける処理手順を示している。なお、以下の説明においても、第１の実施形態〜第４の実施形態の内視鏡装置１と同様に、照明光源６１が白色ＬＥＤ光源であり、パターン投影光源７１が赤色の波長帯域のレーザー光源であるものとして説明する。
【０１３９】
内視鏡装置１の動作モードが計測モードになると、メイン制御部８１は、ステップＳ０１において、第１の実施形態〜第４の実施形態の内視鏡装置１における処理手順と同様に、複数の計測モード画像を取得する。続いて、メイン制御部８１は、事前に取得した観察モード画像、例えば、計測モードに移行する前の観察モードの期間において最後に撮影されてＲＡＭ８３に格納された観察モード画像を読み出す（取得する）（ステップＳ０１１）。続いて、メイン制御部８１は、ステップＳ０２において、第１の実施形態〜第４の実施形態の内視鏡装置１における処理手順と同様に、ＲＡＭ８３に格納したそれぞれの計測モード画像を読み出して、それぞれの計測モード画像を色ごとに分離する。そして、メイン制御部８１は、第１の実施形態〜第４の実施形態の内視鏡装置１と同様に、３次元形状復元処理と色再現処理とのそれぞれを並列に行う。
【０１４０】
３次元形状復元処理では、メイン制御部８１は、ステップＳ１１〜ステップＳ１４において、第１の実施形態〜第４の実施形態の内視鏡装置１における処理手順と同様の３次元形状復元処理を行って、複数の赤色計測モード画像から３次元点群データを生成し、生成した３次元点群データをＲＡＭ８３に格納する。
【０１４１】
一方、色再現処理では、メイン制御部８１は、取得した観察モード画像に含まれるそれぞれの画素の色の情報（以下、「色情報」という）を抽出し、抽出した画素ごとの色情報をＲＡＭ８３に格納する（ステップＳ２６１）。
【０１４２】
続いて、メイン制御部８１は、ステップＳ１４において生成した３次元点群データと、ステップＳ２６１において抽出した色情報とのそれぞれをＲＡＭ８３から読み出し、３次元点群データに含まれるそれぞれの画素データと、色情報との位置のずれを検出する。そして、メイン制御部８１は、検出した位置のずれに基づいて、色情報の位置を３次元点群データに含まれるそれぞれの画素データの位置に合わせる補正を行い、補正後の色情報を再びＲＡＭ８３に格納する（ステップＳ３３１）。例えば、ステップＳ３３１の処理では、メイン制御部８１は、ずれの検出処理において、３次元点群データに含まれる被検物において特徴的な形状を表している画素の位置（座標）と、色情報を抽出した観察モード画像に含まれる被検物において特徴的な形状を表している画素の位置（座標）との差を、画素データと色情報との位置のずれとして検出する。そして、メイン制御部８１は、ずれの補正処理において、全ての色情報の位置（座標）を、ずれをなくした位置（座標）に変更し、再びＲＡＭ８３に格納する。
【０１４３】
続いて、メイン制御部８１は、３次元点群データに含まれるハレーションなどの領域（以下、「ハレーション領域」という）を抽出し、抽出したハレーション領域の情報を、ＲＡＭ８３に格納する（ステップＳ３３２）。
【０１４４】
続いて、メイン制御部８１は、ステップＳ３３１においてずれを補正した色情報と、ステップＳ３３２において抽出したハレーション領域の情報とをＲＡＭ８３から読み出し、読み出したハレーション領域の情報に基づいて、ハレーション領域内に位置する色情報を補正する。そして、メイン制御部８１は、補正後の色情報を再びＲＡＭ８３に格納する（ステップＳ３３３）。より具体的には、メイン制御部８１は、ハレーション領域の範囲内（座標で表される範囲内）に位置する色情報を、ハレーションなどが発生していることを表す色の情報、例えば、白色または黒色に変更し、再びＲＡＭ８３に格納する。これにより、内視鏡装置１のユーザは、モニタ８７に表示された画像から、ハレーションによる白飛びや黒つぶれなどを確認することができる。
【０１４５】
続いて、メイン制御部８１は、ステップＳ１４において生成した３次元点群データと、ステップＳ３３３において補正した色情報とのそれぞれをＲＡＭ８３から読み出し、３次元点群データに含まれるそれぞれの画素データに色情報を重畳した３次元画像を生成し、生成した３次元画像を再びＲＡＭ８３に格納する（ステップＳ３３４）。より具体的には、メイン制御部８１は、３次元点群データに含まれるそれぞれの画素データの水平方向ｘおよび垂直方向ｙの座標と、それぞれの色情報の水平方向ｘおよび垂直方向ｙの座標とを照合し、同じ座標（ｘ，ｙ）に位置する３次元点群データの画素データ（ｘ，ｙ，ｚ）に、対応する色情報（ｒ，ｇ，ｂ）を付加する。これにより、３次元点群データは、第２の実施形態の内視鏡装置１における３次元点群データと同様に、水平方向ｘ、垂直方向ｙ、および高さ方向ｚに加えて、赤色の情報ｒ、緑色の情報ｇ、および青色の情報ｂを含んだカラーの３次元画像の画素データとなる。なお、３次元点群データの画素データには、第２の実施形態の内視鏡装置１における３次元点群データと同様に、例えば、可視度の情報などの色以外の情報を付加してもよい。
【０１４６】
続いて、メイン制御部８１は、ステップＳ３３４においてＲＡＭ８３に格納した３次元画像を読み出して、モニタ８７に出力する（ステップＳ３１２）。これにより、モニタ８７は、メイン制御部８１から入力された３次元画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。そして、内視鏡装置１のユーザは、モニタ８７に表示された３次元画像を確認しながら操作部８２を操作して、所望する３次元の計測を行うための測定点を設定する。なお、ユーザは、第２の実施形態の内視鏡装置１と同様に、表示された被検物の３次元画像を回転させるなどによって被検物の形状を確認しながら、所望の位置に測定点を設定することができる。その後、メイン制御部８１は、ユーザによって測定点の設定が行われると、操作部８２から、ユーザの操作によって設定された測定点の位置を表す情報を取得する（ステップＳ３１３）。
【０１４７】
続いて、メイン制御部８１は、ステップＳ３１〜ステップＳ３３において、第１の実施形態〜第４の実施形態の内視鏡装置１における処理手順と同様に、ユーザによって設定された測定点の位置（座標（ｘ，ｙ））に対応する３次元点群データの画素データ（ｘ，ｙ，ｚ）を取得して３次元の計測を実行し、実行した３次元の計測結果をモニタ８７に出力して計測モードにおける処理を終了する。これにより、ユーザは、第１の実施形態〜第４の実施形態の内視鏡装置１における処理手順と同様に、所望する３次元の計測の結果を確認することができる。
【０１４８】
本第５の実施形態によれば、３次元計測部（メイン制御部８１）は、３次元計測画像（３次元点群データ）に、事前に観察光を照射して得た映像に応じた被検物の観察画像（観察モード画像）を重畳した画像（３次元画像）を設定用画像（被検物の画像）とする内視鏡システム（内視鏡装置１）が構成される。
【０１４９】
上記に述べたように、第５の実施形態の内視鏡装置１では、事前に取得した観察モード画像に含まれる色情報を、計測モードにおいて取得した計測モード画像に対する３次元形状復元処理によって生成した３次元点群データに重畳して３次元画像を生成する。そして、第５の実施形態の内視鏡装置１では、生成した被検物の３次元画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。つまり、第５の実施形態の内視鏡装置１でも、第１の実施形態〜第４の実施形態の内視鏡装置１と同様に、３次元の計測を行う画像と同じ画像から生成した画像を、測定点を設定するための被検物の画像として表示する。そして、第５の実施形態の内視鏡装置１では、表示された被検物の３次元画像を回転させるなど、ユーザによる測定点の設定を補助する機能によって被検物の形状を確認しながら、３次元の計測を行うために計測モードにおいて取得した計測モード画像に１対１で対応する位置に測定点を設定することができる。このことにより、第５の実施形態の内視鏡装置１でも、第１の実施形態〜第４の実施形態の内視鏡装置１と同様に、３次元の計測を正確に行った計測結果を得ることができる。
【０１５０】
しかも、第５の実施形態の内視鏡装置１では、測定点を設定するための被検物の画像の色情報を、観察モードにおいて事前に取得した観察モード画像から抽出するため、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）のそれぞれの色のレベルが、白色の照明光（観察光）を被検物が反射したときの色のレベルである。このため、第５の実施形態の内視鏡装置１では、観察モード画像と同等の色のレベルで、測定点を設定するための被検物の画像を表示させることができる。
【０１５１】
なお、第５の実施形態の内視鏡装置１では、上述したように、観察モードにおいて事前に取得した観察モード画像から抽出した色情報を、計測モードにおいて取得した計測モード画像に対する３次元形状復元処理によって生成した３次元点群データに重畳して表示している。つまり、第５の実施形態の内視鏡装置１では、計測モードにおいて取得した計測モード画像に基づいた色再現処理を行っていない。このため、第５の実施形態の内視鏡装置１では、計測モードにおいて、照明部６による観察光を、計測光と同時に被検物に照射しなくてもよく、計測モードの動作をしているときに光源制御部８０は、照明光源６１をオフ状態に制御して（消灯して）観察光の被検物への照射を行わないようにしてもよい。すなわち、第５の実施形態の内視鏡装置１が計測モードの動作をしているときに被検物に照射される光を計測光のみとすることができる。このことにより、第５の実施形態の内視鏡装置１では、計測モードにおいて取得した計測モード画像に対して３次元形状復元処理を行う際に、それぞれの赤色計測モード画像に含まれる計測光の階調の変化をより高い精度で判別することができ、３次元点群データを生成する際の空間座標（高さ）の演算をより高い精度で行うことができる。また、図８に示した第５の実施形態の内視鏡装置１の処理手順内のステップＳ０２の処理を行わなくてもよく、処理手順を容易にすることができる。
【０１５２】
なお、第５の実施形態の内視鏡装置１では、ステップＳ０１１において取得する観察モード画像が、計測モードに移行する前の観察モードの期間において最後に撮影されてＲＡＭ８３に格納された観察モード画像である場合について説明した。しかし、ステップＳ０１１において取得する観察モード画像は、観察モードにおいてＲＡＭ８３に格納された観察モード画像に限定されるものではない。例えば、計測モードに移行した後、最初に観察光を被検物に照射することによって、観察モードの期間に取得する観察モード画像と同様の画像を、ステップＳ０１１において取得する観察モード画像としてもよい。この場合、図８に示したフローチャートにおけるステップＳ０１とステップＳ０１１との順番を入れ替えてもよい。
【０１５３】
＜第６の実施形態＞
次に、本発明の第６の実施形態の内視鏡システムについて説明する。第６の実施形態の内視鏡システムも、第５の実施形態の内視鏡システム（内視鏡装置１）と同様に、観察モード画像に含まれる色情報を、３次元の計測を行う際の測定点を設定するための被検物の画像の色の情報として使用する内視鏡システムである。ただし、第６の実施形態の内視鏡システムは、被検物の画像の色の情報として観察モード画像を使用する形式が、第５の実施形態の内視鏡システム（内視鏡装置１）と異なる。なお、第６の実施形態の内視鏡システムも、工業用の内視鏡装置である場合について説明する。
【０１５４】
第６の実施形態の内視鏡装置の構成は、図１に示した第１の実施形態の内視鏡装置１の構成と同様である。従って、第６の実施形態の内視鏡装置の構成に関する詳細な説明は省略し、以下の説明においては、第６の実施形態の内視鏡装置における３次元の計測の処理について説明する。なお、以下の説明においても、第６の実施形態の内視鏡装置の構成要素を表すときには、図１に示した第１の実施形態の内視鏡装置１の構成要素と同一の符号を用いて説明する。
【０１５５】
図９は、本発明の第６の実施形態による内視鏡システム（内視鏡装置１）における処理手順を示したフローチャートである。図９には、図４〜図８に示した第１の実施形態〜第５の実施形態の内視鏡装置１における処理手順と同様に、計測モードにおける処理手順を示している。なお、以下の説明においても、第１の実施形態〜第５の実施形態の内視鏡装置１と同様に、照明光源６１が白色ＬＥＤ光源であり、パターン投影光源７１が赤色の波長帯域のレーザー光源であるものとして説明する。
【０１５６】
内視鏡装置１の動作モードが計測モードになると、メイン制御部８１は、ステップＳ０１〜ステップＳ０２において、図８に示した第５の実施形態の内視鏡装置１における処理手順と同様に、複数の計測モード画像と、事前に取得した観察モード画像とのそれぞれを取得し、取得した計測モード画像を色ごとに分離する。そして、メイン制御部８１は、第５の実施形態の内視鏡装置１と同様に、３次元形状復元処理と色再現処理とのそれぞれを並列に行う。
【０１５７】
３次元形状復元処理では、メイン制御部８１は、ステップＳ１１〜ステップＳ１４において、第１の実施形態〜第５の実施形態の内視鏡装置１における処理手順と同様の３次元形状復元処理を行って、複数の赤色計測モード画像から３次元点群データを生成し、生成した３次元点群データをＲＡＭ８３に格納する。
【０１５８】
一方、色再現処理では、メイン制御部８１は、取得した観察モード画像に対してノイズ除去処理などの既存の画像処理を行い、処理後の観察モード画像をＲＡＭ８３に格納する（ステップＳ２７１）。
【０１５９】
続いて、メイン制御部８１は、ステップＳ１４において生成した３次元点群データと、ステップＳ２６１において処理した観察モード画像とのそれぞれをＲＡＭ８３から読み出し、３次元点群データに含まれるそれぞれの画素データと、観察モード画像との位置のずれを検出する。そして、メイン制御部８１は、検出した位置のずれに基づいて、観察モード画像の位置を３次元点群データに含まれるそれぞれの画素データの位置に合わせる補正を行い、補正後の観察モード画像を再びＲＡＭ８３に格納する（ステップＳ３４１）。例えば、ステップＳ３４１の処理では、メイン制御部８１は、ずれの検出処理において、３次元点群データに含まれる被検物において特徴的な形状を表している画素の位置（座標）と、処理した観察モード画像に含まれる被検物において特徴的な形状を表している画素の位置（座標）との差を、画素データと観察モード画像との位置のずれとして検出する。そして、メイン制御部８１は、ずれの補正処理において、観察モード画像内の全ての画素の位置（座標）を、ずれをなくした位置（座標）に変更し、再びＲＡＭ８３に格納する。
【０１６０】
続いて、メイン制御部８１は、ステップＳ３３２において、図８に示した第５の実施形態の内視鏡装置１における処理手順と同様に、３次元点群データに含まれるハレーション領域を抽出し、抽出したハレーション領域の情報を、ＲＡＭ８３に格納する。
【０１６１】
続いて、メイン制御部８１は、ステップＳ３４１においてずれを補正した観察モード画像と、ステップＳ３３２において抽出したハレーション領域の情報とをＲＡＭ８３から読み出し、読み出したハレーション領域の情報に基づいて、観察モード画像上にハレーション領域を表示する。そして、メイン制御部８１は、ハレーション領域が表示された観察モード画像を再びＲＡＭ８３に格納する（ステップＳ３４３）。より具体的には、メイン制御部８１は、観察モード画像に含まれるそれぞれの画素の内、ハレーション領域の範囲内（座標で表される範囲内）に位置する画素の輝度の値を、ハレーションなどが発生していることを表す輝度の値、例えば、白飛びや黒つぶれのレベルの値に変更し、再びＲＡＭ８３に格納する。これにより、内視鏡装置１のユーザは、モニタ８７に表示された画像から、ハレーションによる白飛びや黒つぶれなどを確認することができる。
【０１６２】
続いて、メイン制御部８１は、ステップＳ１４において生成した３次元点群データと、ステップＳ３４３においてハレーション領域を表示した観察モード画像とのそれぞれをＲＡＭ８３から読み出し、３次元点群データに観察モード画像をテクスチャ（質感）として貼り付けた３次元点群データを生成し、生成した３次元点群データを再びＲＡＭ８３に格納する（ステップＳ３４４）。より具体的には、メイン制御部８１は、既存の画像処理技術の演算を行って、モノクロの３次元点群データに含まれるそれぞれの画素データに、観察モード画像に含まれるそれぞれの画素の色の情報を重畳することによって、被検物のテクスチャ（質感）を表したカラーの３次元点群データを生成する。
【０１６３】
続いて、メイン制御部８１は、ステップＳ３３４においてＲＡＭ８３に格納した３次元点群データを読み出して、モニタ８７に出力する（ステップＳ３４５）。これにより、モニタ８７は、メイン制御部８１から入力された３次元点群データの画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。そして、内視鏡装置１のユーザは、モニタ８７に表示された３次元点群データの画像を確認しながら操作部８２を操作して、所望する３次元の計測を行うための測定点を設定する。なお、ステップＳ３４５においてモニタ８７に表示される３次元点群データの画像も、第５の実施形態の内視鏡装置１と同様に、被検物の３次元画像である。従って、ユーザは、第５の実施形態の内視鏡装置１と同様に、モニタ８７に表示された被検物の形状を確認しながら所望の位置に測定点を設定することができる。その後、メイン制御部８１は、ユーザによって測定点の設定が行われると、操作部８２から、ユーザの操作によって設定された測定点の位置を表す情報を取得する（ステップＳ３４６）。
【０１６４】
続いて、メイン制御部８１は、ステップＳ３１〜ステップＳ３３において、第１の実施形態〜第５の実施形態の内視鏡装置１における処理手順と同様に、ユーザによって設定された測定点の位置（座標（ｘ，ｙ））に対応する３次元点群データの画素データ（ｘ，ｙ，ｚ）を取得して３次元の計測を実行し、実行した３次元の計測結果をモニタ８７に出力して計測モードにおける処理を終了する。これにより、ユーザは、第１の実施形態〜第５の実施形態の内視鏡装置１における処理手順と同様に、所望する３次元の計測の結果を確認することができる。
【０１６５】
上記に述べたように、第６の実施形態の内視鏡装置１では、事前に取得した観察モード画像を、計測モードにおいて取得した計測モード画像に対する３次元形状復元処理によって生成した３次元点群データに、テクスチャ（質感）として貼り付けてカラーの３次元点群データ（３次元画像）を生成する。そして、第６の実施形態の内視鏡装置１では、生成した３次元点群データの画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示する。つまり、第６の実施形態の内視鏡装置１でも、第１の実施形態〜第５の実施形態の内視鏡装置１と同様に、３次元の計測を行う画像と同じ画像から生成した画像を、測定点を設定するための被検物の画像として表示する。しかも、第６の実施形態の内視鏡装置１でも、表示する３次元点群データの画像は、第５の実施形態の内視鏡装置１と同様に、観察モード画像と同等の色のレベルの画像である。そして、第６の実施形態の内視鏡装置１でも、第５の実施形態の内視鏡装置１と同様に、表示された被検物の３次元画像を回転させるなど、ユーザによる測定点の設定を補助する機能によって被検物の形状を確認しながら、所望の位置に測定点を設定することができる。このことにより、第６の実施形態の内視鏡装置１でも、第１の実施形態〜第５の実施形態の内視鏡装置１と同様に、３次元の計測を正確に行った計測結果を得ることができる。
【０１６６】
なお、第６の実施形態の内視鏡装置１でも、上述したように、観察モードにおいて事前に取得した観察モード画像を３次元点群データに貼り付けて表示している。つまり、第６の実施形態の内視鏡装置１でも、第５の実施形態の内視鏡装置１と同様に、計測モードにおいて取得した計測モード画像に基づいた色再現処理を行っていない。このため、第６の実施形態の内視鏡装置１でも、計測モードにおいて観察光を被検物に照射せず、被検物に計測光のみを照射することができる。このことにより、第６の実施形態の内視鏡装置１でも、第５の実施形態の内視鏡装置１と同様に、計測モードにおいて取得した計測モード画像に対して３次元形状復元処理を行う際に計測光の階調の変化をより高い精度で判別することができ、３次元点群データを生成する際の空間座標（高さ）の演算をより高い精度で行うことができる。そして、図９に示した第６の実施形態の内視鏡装置１の処理手順内のステップＳ０２の処理を行わずに、処理手順を容易にすることができる。
【０１６７】
なお、第６の実施形態の内視鏡装置１では、観察モード画像を３次元点群データに貼り付けて、３次元の計測を行う際の測定点を設定するための被検物の画像としてモニタ８７に表示する場合について説明した。しかし、第６の実施形態の内視鏡装置１では、図６に示した第３の実施形態の内視鏡装置１と同様に、３次元形状復元処理によって生成したデプスマップの表面に当たるそれぞれの画素に観察モード画像をテクスチャ（質感）として貼り付けてモニタ８７に表示させるようにすることもできる。この場合の処理手順は、メイン制御部８１が、図６に示した第３の実施形態の内視鏡装置１と同様に、３次元形状復元処理においてデプスマップを生成し、ステップＳ３４４の処理においてデプスマップに観察モード画像を貼り付ける処理を行うのみで、その他の処理手順は、上述した第６の実施形態の内視鏡装置１の処理手順と同様に考えることができる。従って、第６の実施形態の内視鏡装置１において、観察モード画像を貼り付けたデプスマップを３次元の計測を行う際の測定点を設定するための被検物の画像として表示する場合の処理手順に関する詳細な説明は省略する。
【０１６８】
上記に述べたように、本発明を実施するための形態によれば、計測モードにおいて取得した計測モード画像に基づいて３次元の計測を行う。このとき、本発明を実施するための形態では、３次元の計測を行う計測モード画像に基づいて、３次元の計測を行う際の測定点を設定するための被検物の画像を生成して表示する。これにより、本発明を実施するための形態では、３次元の計測を行う画像に含まれるそれぞれの画素の位置に１対１で対応する位置に、測定点を設定することができる。つまり、本発明を実施するための形態では、従来の内視鏡装置のように、３次元の計測を行う画像が異なるタイミングで撮影された画像（実施形態においては、観察モード画像）に対して測定点を設定するのではなく、３次元の計測を行う画像と同じ画像に基づいて生成した画像に測定点を設定することができる。このことにより、本発明を実施するための形態では、３次元の計測を正確に行った計測結果を得ることができる。
【０１６９】
また、本発明を実施するための形態では、３次元の計測を行う画像と同じ画像に基づいて生成した画像、すなわち、３次元の計測を行う画像を、３次元の計測を行う際の測定点を設定するための被検物の画像として表示するため、測定点を設定する前に、３次元の計測を行う画像自体を確認することができる。このため、本発明を実施するための形態では、観察モードから計測モードに動作モードが切り替わった際に先端部が動いてしまったことにより計測モード画像の画角が観察モード画像の画角から変化してしまった、つまり、モーションブラーが発生している場合でも、モーションブラーに起因した異なる測定点の位置での３次元の計測を行ってしまうことがなく、所望の測定点の位置での正しい計測結果を得ることができる。また、本発明を実施するための形態では、計測モード画像にハレーションなどが発生していた場合でも、測定点を設定する前に、計測モード画像にハレーションなどが発生していることを確認することができる。これにより、本発明を実施するための形態では、発生しているハレーションなどの状態に応じて、計測モード画像の再撮影やハレーションなどが発生している位置を避けた位置への測定点の設定などを行うことができ、ハレーションなどに起因した誤った３次元の計測を行ってしまうことがなく、所望の測定点の位置での正しい計測結果を得ることができる。
【０１７０】
なお、本実施形態においては、内視鏡システム（内視鏡装置１）に備えたパターン投影光源７１が赤色の波長帯域のレーザー光源である、つまり、パターン光（計測光）が赤色である場合について説明した。しかし、光源の種類やパターン光の色（波長帯域）は、本発明を実施するための形態で示したものに限定されるものではなく、上述したように、予め定めた色（波長帯域）のＬＥＤや赤外光であってもよい。
【０１７１】
また、本実施形態においては、パターン光を位相シフトして複数の計測モード画像を取得することによって、３次元の計測を行うための３次元点群データを生成する場合について説明した。しかし、３次元の計測を行うためのデータを生成する方法は、本発明を実施するための形態で示したパターン光を位相シフトする方法に限定されるものではなく、何らかの構造化したパターンの光を被写体に照射することによって３次元の計測を行うためのデータを生成する方法であれば同様に、本発明の考え方を適用することができる。
【０１７２】
また、本実施形態においては、パターン光における構造化のパターンが、光の強度が水平方向の正弦波状に変化する縦縞のパターンである場合について説明した。しかし、パターン光における構造化のパターンは、本発明を実施するための形態で示した構造化のパターンに限定されるものではない。例えば、パターン光の構造化のパターンが、光の強度が垂直方向の正弦波状に変化する横縞のパターンである場合や、光の強度が水平方向および垂直方向のそれぞれに正弦波状に変化する格子状のパターンである場合であっても同様に、本発明の考え方を適用することができる。
【０１７３】
また、本実施形態においては、メイン制御部８１が、図４〜図９に示した処理手順による処理を実行する場合について説明した。しかし、それぞれの処理手順を実行する構成要素は、本発明を実施するための形態で示した構成要素に限定されるものではない。例えば、映像処理部８６や、３次元の計測を行うために専用に備えた不図示の構成要素が、メイン制御部８１からの制御に応じて、それぞれの処理手順を実行する構成であってもよい。この場合、それぞれの処理を実行するために用いるデータを一時的に格納する記憶部は、本発明を実施するための形態で示したＲＡＭ８３ではなく、映像処理部８６や不図示の構成要素に内蔵または接続された他の記憶部であってもよい。
【０１７４】
また、本実施形態においては、本発明の内視鏡システム（内視鏡装置）が、工業用の内視鏡装置である場合について説明した。しかし、本発明の考え方は、工業用の内視鏡装置への適用に限定されるものではなく、例えば、医療用の内視鏡装置にも適用することもできる。
【０１７５】
また、本実施形態においては、本体部２内に操作部８２とモニタ８７とを備えた構成について説明した。しかし、操作部８２やモニタ８７は、本体部２内に備える構成に限定されるものではなく、例えば、本体部２の外部に配置され、本体部２と接続される構成であってもよい。
【０１７６】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１７７】
１・・・内視鏡装置（内視鏡システム）
２・・・本体部
３・・・挿入部
４・・・先端部
４０・・・端面
４５・・・開口部
４６・・・照明窓（照明部）
４７・・・投影窓（パターン投影部）
５・・・撮像部
５１・・・撮像制御部
５２・・・撮像素子
５３・・・対物光学系
５４・・・カバー部材
５５・・・信号線
６・・・照明部
６１・・・照明光源（照明部）
６２・・・カップリングレンズ（照明部）
６３・・・ファイババンドル（照明部）
６４・・・照明光学系（照明部）
７・・・パターン投影部
７１・・・パターン投影光源（パターン投影部）
７２・・・カップリングレンズ（パターン投影部）
７３・・・光ファイバ（パターン投影部）
７４・・・縞生成部（パターン投影部）
７５・・・投影光学系（パターン投影部）
７６・・・パターン制御部（パターン投影部）
７７・・・信号線（パターン投影部）
８０・・・光源制御部（照射光制御部）
８１・・・メイン制御部（３次元計測部）
８２・・・操作部
８３・・・ＲＡＭ（３次元計測部）
８４・・・補助記憶部（３次元計測部）
８５・・・ＲＯＭ（３次元計測部）
８６・・・映像処理部
８７・・・モニタ（表示部）
【図１】
0006706026.tif 000002
【図２】
0006706026.tif 000003
【図３】
0006706026.tif 000004
【図４】
0006706026.tif 000005
【図５】
0006706026.tif 000006
【図６】
0006706026.tif 000007
【図７】
0006706026.tif 000008
【図８】
0006706026.tif 000009
【図９】
0006706026.tif 000010