(57)【要約】  内視鏡装置は、内視鏡挿入部と、撮像光学系と、計測処理部と、信頼度判定部と、報知制御部とを有する。前記撮像光学系は、前記内視鏡挿入部の先端に配置されている。前記計測処理部は、前記撮像光学系を介して得られた光学像に対応する画像と、第１の位置を含む第１のカメラパラメータと、前記第１の位置とは異なる第２の位置を含む第２のカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。前記信頼度判定部は、前記第１の位置において前記撮像光学系を介して得られた前記光学像に対応する前記画像において設定された計測点に基づく前記計測処理の信頼度を判定する。前記報知制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記第２の位置側から前記第１の位置側に向かって前記先端を移動させる操作をユーザに促す報知を行う。
2016208664.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡挿入部と、
前記内視鏡挿入部の先端において、視差方向に互いに離間して配置された第１の撮像光学系および第２の撮像光学系と、
前記第１の撮像光学系を介して得られた第１の光学像に対応する第１の画像および前記第２の撮像光学系を介して得られた第２の光学像に対応する第２の画像を生成する撮像素子と、
計測処理部と、
を有し、
前記計測処理部は、
前記第１の画像において計測点を設定する計測点設定部と、
前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する対応点探索部と、
前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する３次元座標算出部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記視差方向の前記第１の撮像光学系側に向かって前記先端を移動させる操作をユーザに促す報知を行う報知制御部と、
を有する内視鏡装置。
【請求項２】
前記信頼度判定部は、
前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する相関値算出部と、
前記相関値または前記相違度と第１の所定値とを比較し、その比較結果に基づいて前記信頼度を判定する比較判定部と、
を有する請求項１に記載の内視鏡装置。
【請求項３】
前記信頼度判定部は、オクルージョンが発生しているか否かを判定するオクルージョン発生判定部を有し、
前記信頼度判定部は、前記オクルージョン発生判定部によって前記オクルージョンが発生していると判定された場合に、前記信頼度が低いと判定する
請求項１に記載の内視鏡装置。
【請求項４】
前記信頼度判定部は、
前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する相関値算出部と、
オクルージョンが発生しているか否かを判定するオクルージョン発生判定部と、
前記相関値または前記相違度と第１の所定値とを比較した比較結果と、前記オクルージョン発生判定部による判定結果とに基づいて、前記信頼度を判定する比較判定部と、
を有する請求項１に記載の内視鏡装置。
【請求項５】
前記オクルージョン発生判定部は、
少なくとも前記第１の画像に対応する映像信号を処理することにより、前記第１の画像において、エピポーラ線上であって前記計測点の左側に第１の計測補助点を設定し、かつ前記エピポーラ線上であって前記計測点の右側に第２の計測補助点を設定する計測補助点設定部と、
前記第１の計測補助点における第１の物体距離と、前記第２の計測補助点における第２の物体距離とを算出する物体距離算出部と、
前記第１の物体距離と前記第２の物体距離との差分を算出する差分算出部と、
前記差分と第２の所定値とを比較し、前記差分が前記第２の所定値よりも大きい場合に、前記オクルージョンが発生していると判定する差分判定部と、
を有する請求項３または請求項４に記載の内視鏡装置。
【請求項６】
内視鏡挿入部と、
前記内視鏡挿入部の先端において、視差方向に互いに離間して配置された第１の撮像光学系および第２の撮像光学系と、
前記第１の撮像光学系を介して得られた第１の光学像に対応する第１の画像および前記第２の撮像光学系を介して得られた第２の光学像に対応する第２の画像を生成する撮像素子と、
計測処理部と、
前記先端に配置され、かつ前記先端を湾曲させる湾曲部と、
を有し、
前記計測処理部は、
前記第１の画像において計測点を設定する計測点設定部と、
前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する対応点探索部と、
前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する３次元座標算出部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記視差方向の前記第１の撮像光学系側に移動するように前記湾曲部を制御する湾曲制御部と、
を有する内視鏡装置。
【請求項７】
前記信頼度判定部は、
前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する相関値算出部と、
前記相関値または前記相違度と第１の所定値とを比較し、その比較結果に基づいて前記信頼度を判定する比較判定部と、
を有する請求項６に記載の内視鏡装置。
【請求項８】
前記信頼度判定部は、オクルージョンが発生しているか否かを判定するオクルージョン発生判定部を有し、
前記信頼度判定部は、前記オクルージョン発生判定部によって前記オクルージョンが発生していると判定された場合に、前記信頼度が低いと判定する
請求項６に記載の内視鏡装置。
【請求項９】
前記信頼度判定部は、
前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する相関値算出部と、
オクルージョンが発生しているか否かを判定するオクルージョン発生判定部と、
前記相関値または前記相違度と第１の所定値とを比較した比較結果と、前記オクルージョン発生判定部による判定結果とに基づいて、前記信頼度を判定する比較判定部と、
を有する請求項６に記載の内視鏡装置。
【請求項１０】
前記オクルージョン発生判定部は、
少なくとも前記第１の画像に対応する映像信号を処理することにより、前記第１の画像において、エピポーラ線上であって前記計測点の左側に第１の計測補助点を設定し、かつ前記エピポーラ線上であって前記計測点の右側に第２の計測補助点を設定する計測補助点設定部と、
前記第１の計測補助点における第１の物体距離と、前記第２の計測補助点における第２の物体距離とを算出する物体距離算出部と、
前記第１の物体距離と前記第２の物体距離との差分を算出する差分算出部と、
前記差分と第２の所定値とを比較し、前記差分が前記第２の所定値よりも大きい場合に、前記オクルージョンが発生していると判定する差分判定部と、
を有する請求項８または請求項９に記載の内視鏡装置。
【請求項１１】
計測点確認部と、報知制御部とを有し、
前記湾曲制御部は、
少なくとも前記第１の画像に対応する映像信号および少なくとも前記第２の画像に対応する前記映像信号を処理することにより、前記計測点の３次元座標を推定する計測点推定部と、
前記計測点の推定された３次元座標における被写体点が前記第２の撮像光学系の視野に含まれるための湾曲量を算出する湾曲量算出部と、
を有し、
前記湾曲制御部が前記湾曲量に基づく湾曲制御を行う前に、前記計測点確認部は、前記先端が前記湾曲量だけ仮想的に湾曲したときに前記被写体点が前記第１の撮像光学系の視野に含まれるか否かを判定し、
前記報知制御部は、前記先端が前記湾曲量だけ仮想的に湾曲したときに前記被写体点が前記第１の撮像光学系の視野に含まれないと判定された場合に、前記先端を被写体から離間させる操作をユーザに促す報知を行う
請求項６に記載の内視鏡装置。
【請求項１２】
前記視差方向は、前記第１の撮像光学系の第１の光学中心から前記第２の撮像光学系の第２の光学中心に向かう方向であり、
前記湾曲制御部は、
少なくとも前記第１の画像に対応する映像信号および少なくとも前記第２の画像に対応する前記映像信号を処理することにより、前記計測点の３次元座標を推定する計測点推定部と、
少なくとも前記第１の画像に対応する前記映像信号を処理することにより、前記第１の画像において画像濃度の変化が相対的に大きいエッジを検出し、前記エッジは、前記第１の画像において前記計測点に対して前記視差方向側にあるエッジ検出部と、
少なくとも前記第１の画像に対応する前記映像信号および前記第２の画像に対応する前記映像信号を処理することにより、前記三角測量の原理で前記エッジにおけるエッジ点の３次元座標を算出するエッジ位置算出部と、
前記計測点の推定された３次元座標と前記エッジ点の３次元座標とを通る仮想直線を算出する仮想直線算出部と、
前記第２の光学中心が、仮想直線上の位置または当該仮想直線に対して前記視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出する湾曲量算出部と、
を有する請求項６に記載の内視鏡装置。
【請求項１３】
前記視差方向は、前記第１の撮像光学系の第１の光学中心から前記第２の撮像光学系の第２の光学中心に向かう方向であり、
前記内視鏡装置は、前記先端に配置され、かつ前記第１の撮像光学系および前記第２の撮像光学系の結像位置に配置された受光面を有し、
前記湾曲制御部は、
前記受光面における計測点位置と前記第１の光学中心とを通る仮想直線を算出する仮想直線算出部と、
前記第２の光学中心が、仮想直線上の位置または当該仮想直線に対して前記視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出する湾曲量算出部と、を有する
請求項６に記載の内視鏡装置。
【請求項１４】
前記湾曲制御部は、前記先端が所定の湾曲量だけ湾曲するように前記湾曲部を制御し、
前記計測処理部は、前記所定の湾曲量に基づく前記湾曲部の制御が行われた後の少なくとも前記第１の画像に対応する映像信号を処理することにより、前記所定の湾曲量に基づく前記湾曲部の制御が行われる前に指定された前記計測点の位置と同一の位置を探索し、かつ探索された位置に前記計測点を設定する計測点探索部を有し、
前記信頼度判定部は、前記計測点探索部によって探索された前記計測点に対応する前記対応点に基づいて前記信頼度を再度判定する
請求項６に記載の内視鏡装置。
【請求項１５】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置され、かつ空間的な位相が異なる複数の周期的なパターンを被写体に順次投影する投影光学系と、
前記パターンの空間的な位相をシフトさせるパターン制御部と、
前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ複数の前記パターンが投影された前記被写体の複数の光学像を順次結像する撮像光学系と、
前記撮像光学系を介して得られた前記複数の光学像に対応する複数の画像を生成する撮像素子と、
前記複数の画像のうち少なくとも１つにおいて計測点を設定し、かつ前記複数の画像を使用して、位相シフト法により前記計測点の３次元座標を算出する計測処理部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記投影光学系側から前記撮像光学系側に向かって前記先端を移動させる操作をユーザに促す報知を行う報知制御部と、
を有する内視鏡装置。
【請求項１６】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置され、かつ空間的な位相が異なる複数の周期的なパターンを被写体に順次投影する投影光学系と、
前記パターンの空間的な位相をシフトさせるパターン制御部と、
前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ複数の前記パターンが投影された前記被写体の複数の光学像を順次結像する撮像光学系と、
前記撮像光学系を介して得られた前記複数の光学像に対応する複数の画像を生成する撮像素子と、
前記複数の画像のうち少なくとも１つにおいて計測点を設定し、かつ前記複数の画像を使用して、位相シフト法により前記計測点の３次元座標を算出する計測処理部と、
前記先端に配置され、かつ前記先端を湾曲させる湾曲部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記投影光学系側から前記撮像光学系側に向かって移動するように前記湾曲部を制御する湾曲制御部と、
を有する内視鏡装置。
【請求項１７】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置され、かつ被写体にランダムパターンを投影する投影光学系と、
前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ前記ランダムパターンが投影された前記被写体の光学像を結像する撮像光学系と、
前記撮像光学系を介して得られた光学像に対応する第１の画像を生成する撮像素子と、
計測処理部と、
を有し、
前記計測処理部は、
前記第１の画像において計測点を設定する計測点設定部と、
前記ランダムパターンに関する第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する対応点探索部と、
前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する３次元座標算出部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記投影光学系側から前記撮像光学系側に向かって前記先端を移動させる操作をユーザに促す報知を行う報知制御部と、
を有する内視鏡装置。
【請求項１８】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置され、かつランダムパターンを被写体に投影する投影光学系と、
前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ前記ランダムパターンが投影された前記被写体の光学像を結像する撮像光学系と、
前記撮像光学系を介して得られた光学像に対応する第１の画像を生成する撮像素子と、
計測処理部と、
前記先端に配置され、かつ前記先端を湾曲させる湾曲部と、
を有し、
前記計測処理部は、
前記第１の画像において計測点を設定する計測点設定部と、
前記ランダムパターンに関する第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する対応点探索部と、
前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する３次元座標算出部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記投影光学系側から前記撮像光学系側に向かって移動するように前記湾曲部を制御する湾曲制御部と、
を有する内視鏡装置。
【請求項１９】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置され、かつ第１の位置および前記第１の位置と異なる第２の位置の各々において被写体の光学像を結像する撮像光学系と、
前記第１の位置において前記撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の位置において前記撮像光学系を介して得られた第２の光学像に対応する第２の画像とを生成する撮像素子と、
計測処理部と、
を有し、
前記計測処理部は、
前記第１の画像において計測点を設定する計測点設定部と、
前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する対応点探索部と、
前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する３次元座標算出部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記第２の位置側から前記第１の位置側に向かって前記先端を移動させる操作をユーザに促す報知を行う報知制御部と、
を有する内視鏡装置。
【請求項２０】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置され、かつ第１の位置および前記第１の位置と異なる第２の位置の各々において被写体の光学像を結像する撮像光学系と、
前記第１の位置において前記撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の位置において前記撮像光学系を介して得られた第２の光学像に対応する第２の画像とを生成する撮像素子と、
計測処理部と、
前記先端に配置され、かつ前記先端を湾曲させる湾曲部と、
を有し、
前記計測処理部は、
前記第１の画像において計測点を設定する計測点設定部と、
前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する対応点探索部と、
前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する３次元座標算出部と、
を有する内視鏡装置において、
前記計測点に基づく計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記第２の位置側から前記第１の位置側に向かって移動するように前記湾曲部を制御する湾曲制御部と、
を有する内視鏡装置。
【請求項２１】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置された少なくとも１つの撮像光学系と、
前記撮像光学系を介して得られた光学像に対応する画像を生成する撮像素子と、
前記画像と、第１の位置および前記第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う計測処理部と、
を有する内視鏡装置において、
前記第１の位置において前記撮像光学系を介して得られた前記光学像に対応する前記画像において設定された計測点に基づく前記計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記第２の位置側から前記第１の位置側に向かって前記先端を移動させる操作をユーザに促す報知を行う報知制御部と、
を有する内視鏡装置。
【請求項２２】
前記撮像光学系は、第１の撮像光学系と第２の撮像光学系とを含み、
前記第１の撮像光学系は前記第１の位置に配置され、
前記第２の撮像光学系は前記第２の位置に配置され、かつ前記第２の撮像光学系は前記第１の撮像光学系に対して視差を有し、
前記画像は、前記第１の撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の撮像光学系を介して得られた第２の光学像に対応する第２の画像とを含み、
前記計測処理部は、前記第１の画像と前記第２の画像とに基づいて前記計測処理を行う
請求項２１に記載の内視鏡装置。
【請求項２３】
前記撮像光学系は前記第１の位置に配置され、
前記内視鏡装置は、前記第２の位置に配置され、かつ所定のパターンを被写体に投影する投影光学系を有する
請求項２１に記載の内視鏡装置。
【請求項２４】
前記画像は、前記第１の位置において前記撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の位置において前記撮像光学系を介して得られた第２の光学像に対応する第２の画像とを含み、
前記計測処理部は、前記第１の画像と前記第２の画像とに基づいて前記計測処理を行う
請求項２１に記載の内視鏡装置。
【請求項２５】
前記信頼度判定部は、オクルージョンが発生しているか否かを判定するオクルージョン発生判定部を有し、
前記信頼度判定部は、前記オクルージョン発生判定部によって前記オクルージョンが発生していると判定された場合に、前記信頼度が低いと判定する
請求項２１に記載の内視鏡装置。
【請求項２６】
内視鏡挿入部と、
前記内視鏡挿入部の先端に配置された少なくとも１つの撮像光学系と、
前記撮像光学系を介して得られた光学像に対応する画像を生成する撮像素子と、
前記画像と、第１の位置および前記第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う計測処理部と、
前記先端に配置され、かつ前記先端を湾曲させる湾曲部と、
を有する内視鏡装置において、
前記第１の位置において前記撮像光学系を介して得られた前記光学像に対応する前記画像において設定された計測点に基づく前記計測処理の信頼度を判定する信頼度判定部と、
前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記第２の位置側から前記第１の位置側に向かって移動するように前記湾曲部を制御する湾曲制御部と、
を有する内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置に関する。
本願は、２０１５年６月２５日に日本に出願された特願２０１５−１２７４１５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年、ボイラ、タービン、エンジン、および化学プラント等の内部の傷および腐食等の観察および検査に工業用内視鏡が広く用いられている。最近の工業用内視鏡は、異なる視点から被写体を撮像するステレオ光学アダプタを内視鏡の先端に取り付けることが可能である。このため、三角測量の原理で被写体の様々な空間特性を計測（ステレオ計測）することが可能である（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２００８−２２９２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ステレオ計測が可能な内視鏡に使用されるステレオ光学アダプタは、左右に２つの対物光学系を有する。これら２つの対物光学系は、互いに視差方向に離間している。このため、被写体の形状によっては、オクルージョンが発生する場合がある。オクルージョンは、一方の対物光学系により得られた光学像では視認でき、他方の対物光学系により得られた光学像では視認できない領域が発生する状態である。オクルージョンは、一方の対物光学系により得られた光学像では視認できる領域が、他方の対物光学系により得られた光学像では死角に含まれるときに発生する。例えば、視差方向にまたがる段差がある被写体を観察する場合、オクルージョンが発生する可能性がある。【０００５】
ステレオ計測では、２つの対物光学系により得られた２つの光学像に基づく２つの画像の一方に対して計測点が指定される。また、２つの画像の他方に対して、計測点に対応する対応点が探索される。オクルージョンが発生している場合、計測点に対応する対応点を探索できない。または、対応点を探索できたとしても、その対応点の信頼度が低い可能性がある。このため、パターンマッチングの精度が低下する。その結果、計測精度が低下する。【０００６】
また、内視鏡のユーザは、計測精度が低下しているにもかかわらず、その原因がオクルージョンであるということに気づかない場合がある。仮にその原因がオクルージョンであることにユーザが気づいたとしても、ユーザは、内視鏡をどのように操作すればそのオクルージョンを解消できるのか分からない場合もある。【０００７】
本発明は、オクルージョンの発生による計測精度の低下を抑制することができる内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、内視鏡装置は、内視鏡挿入部と、第１の撮像光学系と、第２の撮像光学系と、撮像素子と、計測処理部とを有する。前記第１の撮像光学系および前記第２の撮像光学系は、前記内視鏡挿入部の先端において、視差方向に互いに離間して配置されている。前記撮像素子は、前記第１の撮像光学系を介して得られた第１の光学像に対応する第１の画像および前記第２の撮像光学系を介して得られた第２の光学像に対応する第２の画像を生成する。前記計測処理部は、計測点設定部と、対応点探索部と、３次元座標算出部とを有する。前記計測点設定部は、前記第１の画像において計測点を設定する。前記対応点探索部は、前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する。前記３次元座標算出部は、前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する。前記内視鏡装置は、信頼度判定部と、報知制御部とを有する。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記報知制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記視差方向の前記第１の撮像光学系側に向かって前記先端を移動させる操作をユーザに促す報知を行う。【０００９】
本発明の第２の態様によれば、第１の態様において、前記信頼度判定部は、相関値算出部と、比較判定部とを有してもよい。前記相関値算出部は、前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する。前記比較判定部は、前記相関値または前記相違度と第１の所定値とを比較し、その比較結果に基づいて前記信頼度を判定する。【００１０】
本発明の第３の態様によれば、第１の態様において、前記信頼度判定部は、オクルージョンが発生しているか否かを判定するオクルージョン発生判定部を有してもよい。前記信頼度判定部は、前記オクルージョン発生判定部によって前記オクルージョンが発生していると判定された場合に、前記信頼度が低いと判定してもよい。【００１１】
本発明の第４の態様によれば、第１の態様において、前記信頼度判定部は、相関値算出部と、オクルージョン発生判定部と、比較判定部とを有してもよい。前記相関値算出部は、前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する。前記オクルージョン発生判定部は、オクルージョンが発生しているか否かを判定する。前記比較判定部は、前記相関値または前記相違度と第１の所定値とを比較した比較結果と、前記オクルージョン発生判定部による判定結果とに基づいて、前記信頼度を判定する。【００１２】
本発明の第５の態様によれば、第３または第４の態様において、前記オクルージョン発生判定部は、計測補助点設定部と、物体距離算出部と、差分算出部と、差分判定部とを有してもよい。前記計測補助点設定部は、少なくとも前記第１の画像に対応する映像信号を処理することにより、前記第１の画像において、エピポーラ線上であって前記計測点の左側に第１の計測補助点を設定し、かつ前記エピポーラ線上であって前記計測点の右側に第２の計測補助点を設定する。前記物体距離算出部は、前記第１の計測補助点における第１の物体距離と、前記第２の計測補助点における第２の物体距離とを算出する。前記差分算出部は、前記第１の物体距離と前記第２の物体距離との差分を算出する。前記差分判定部は、前記差分と第２の所定値とを比較し、前記差分が前記第２の所定値よりも大きい場合に、前記オクルージョンが発生していると判定する。【００１３】
本発明の第６の態様によれば、内視鏡装置は、内視鏡挿入部と、第１の撮像光学系と、第２の撮像光学系と、撮像素子と、計測処理部と、湾曲部とを有する。前記第１の撮像光学系および前記第２の撮像光学系は、前記内視鏡挿入部の先端において、視差方向に互いに離間して配置されている。前記撮像素子は、前記第１の撮像光学系を介して得られた第１の光学像に対応する第１の画像および前記第２の撮像光学系を介して得られた第２の光学像に対応する第２の画像を生成する。前記湾曲部は、前記先端に配置され、かつ前記先端を湾曲させる。前記計測処理部は、計測点設定部と、対応点探索部と、３次元座標算出部とを有する。前記計測点設定部は、前記第１の画像において計測点を設定する。前記対応点探索部は、前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する。前記３次元座標算出部は、前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する。前記内視鏡装置は、信頼度判定部と、湾曲制御部とを有する。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記湾曲制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記視差方向の前記第１の撮像光学系側に移動するように前記湾曲部を制御する。【００１４】
本発明の第７の態様によれば、第６の態様において、前記信頼度判定部は、相関値算出部と、比較判定部とを有してもよい。前記相関値算出部は、前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する。前記比較判定部は、前記相関値または前記相違度と第１の所定値とを比較し、その比較結果に基づいて前記信頼度を判定する。【００１５】
本発明の第８の態様によれば、第６の態様において、前記信頼度判定部は、オクルージョンが発生しているか否かを判定するオクルージョン発生判定部を有してもよい。前記信頼度判定部は、前記オクルージョン発生判定部によって前記オクルージョンが発生していると判定された場合に、前記信頼度が低いと判定してもよい。【００１６】
本発明の第９の態様によれば、第６の態様において、前記信頼度判定部は、相関値算出部と、オクルージョン発生判定部と、比較判定部とを有してもよい。前記相関値算出部は、前記第１の画像における前記計測点の位置と前記第２の画像における前記対応点の位置との相関値または相違度を算出する。前記オクルージョン発生判定部は、オクルージョンが発生しているか否かを判定する。前記比較判定部は、前記相関値または前記相違度と第１の所定値とを比較した比較結果と、前記オクルージョン発生判定部による判定結果とに基づいて、前記信頼度を判定する。【００１７】
本発明の第１０の態様によれば、第８または第９の態様において、前記オクルージョン発生判定部は、計測補助点設定部と、物体距離算出部と、差分算出部と、差分判定部とを有してもよい。前記計測補助点設定部は、少なくとも前記第１の画像に対応する映像信号を処理することにより、前記第１の画像において、エピポーラ線上であって前記計測点の左側に第１の計測補助点を設定し、かつ前記エピポーラ線上であって前記計測点の右側に第２の計測補助点を設定する。前記物体距離算出部は、前記第１の計測補助点における第１の物体距離と、前記第２の計測補助点における第２の物体距離とを算出する。前記差分算出部は、前記第１の物体距離と前記第２の物体距離との差分を算出する。前記差分判定部は、前記差分と第２の所定値とを比較し、前記差分が前記第２の所定値よりも大きい場合に、前記オクルージョンが発生していると判定する。【００１８】
本発明の第１１の態様によれば、第６の態様において、前記内視鏡装置は、計測点確認部と、報知制御部とを有してもよい。前記湾曲制御部は、計測点推定部と、湾曲量算出部とを有してもよい。前記計測点推定部は、少なくとも前記第１の画像に対応する映像信号および少なくとも前記第２の画像に対応する前記映像信号を処理することにより、前記計測点の３次元座標を推定する。前記湾曲量算出部は、前記計測点の推定された３次元座標における被写体点が前記第２の撮像光学系の視野に含まれるための湾曲量を算出する。前記湾曲制御部が前記湾曲量に基づく湾曲制御を行う前に、前記計測点確認部は、前記先端が前記湾曲量だけ仮想的に湾曲したときに前記被写体点が前記第１の撮像光学系の視野に含まれるか否かを判定してもよい。前記報知制御部は、前記先端が前記湾曲量だけ仮想的に湾曲したときに前記被写体点が前記第１の撮像光学系の視野に含まれないと判定された場合に、前記先端を被写体から離間させる操作をユーザに促す報知を行ってもよい。【００１９】
本発明の第１２の態様によれば、第６の態様において、前記視差方向は、前記第１の撮像光学系の第１の光学中心から前記第２の撮像光学系の第２の光学中心に向かう方向であってもよい。前記湾曲制御部は、計測点推定部と、エッジ検出部と、エッジ位置算出部と、仮想直線算出部と、湾曲量算出部とを有してもよい。前記計測点推定部は、少なくとも前記第１の画像に対応する映像信号および少なくとも前記第２の画像に対応する前記映像信号を処理することにより、前記計測点の３次元座標を推定する。前記エッジ検出部は、少なくとも前記第１の画像に対応する前記映像信号を処理することにより、前記第１の画像において画像濃度の変化が相対的に大きいエッジを検出する。前記エッジは、前記第１の画像において前記計測点に対して前記視差方向側にある。前記エッジ位置算出部は、少なくとも前記第１の画像に対応する前記映像信号および前記第２の画像に対応する前記映像信号を処理することにより、前記三角測量の原理で前記エッジにおけるエッジ点の３次元座標を算出する。前記仮想直線算出部は、前記計測点の推定された３次元座標と前記エッジ点の３次元座標とを通る仮想直線を算出する。前記湾曲量算出部は、前記第２の光学中心が、仮想直線上の位置または当該仮想直線に対して前記視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出する。【００２０】
本発明の第１３の態様によれば、第６の態様において、前記視差方向は、前記第１の撮像光学系の第１の光学中心から前記第２の撮像光学系の第２の光学中心に向かう方向であってもよい。前記内視鏡装置は、前記先端に配置され、かつ前記第１の撮像光学系および前記第２の撮像光学系の結像位置に配置された受光面を有してもよい。前記湾曲制御部は、仮想直線算出部と、湾曲量算出部とを有してもよい。前記仮想直線算出部は、前記受光面における計測点位置と前記第１の光学中心とを通る仮想直線を算出する。前記湾曲量算出部は、前記第２の光学中心が、仮想直線上の位置または当該仮想直線に対して前記視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出する。【００２１】
本発明の第１４の態様によれば、第６の態様において、前記湾曲制御部は、前記先端が所定の湾曲量だけ湾曲するように前記湾曲部を制御してもよい。前記計測処理部は、計測点探索部を有してもよい。前記計測点探索部は、前記所定の湾曲量に基づく前記湾曲部の制御が行われた後の少なくとも前記第１の画像に対応する映像信号を処理することにより、前記所定の湾曲量に基づく前記湾曲部の制御が行われる前に指定された前記計測点の位置と同一の位置を探索し、かつ探索された位置に前記計測点を設定する。前記信頼度判定部は、前記計測点探索部によって探索された前記計測点に対応する前記対応点に基づいて前記信頼度を再度判定してもよい。【００２２】
本発明の第１５の態様によれば、内視鏡装置は、内視鏡挿入部と、投影光学系と、パターン制御部と、撮像光学系と、撮像素子と、計測処理部とを有する。前記投影光学系は、前記内視鏡挿入部の先端に配置され、かつ空間的な位相が異なる複数の周期的なパターンを被写体に順次投影する。前記パターン制御部は、前記パターンの空間的な位相をシフトさせる。前記撮像光学系は、前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ複数の前記パターンが投影された前記被写体の複数の光学像を順次結像する。前記撮像素子は、前記撮像光学系を介して得られた前記複数の光学像に対応する複数の画像を生成する。前記計測処理部は、前記複数の画像のうち少なくとも１つにおいて計測点を設定し、かつ前記複数の画像を使用して、位相シフト法により前記計測点の３次元座標を算出する。前記内視鏡装置は、信頼度判定部と、報知制御部とを有する。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記報知制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記投影光学系側から前記撮像光学系側に向かって前記先端を移動させる操作をユーザに促す報知を行う。【００２３】
本発明の第１６の態様によれば、内視鏡装置は、内視鏡挿入部と、投影光学系と、パターン制御部と、撮像光学系と、撮像素子と、計測処理部と、湾曲部とを有する。前記投影光学系は、前記内視鏡挿入部の先端に配置され、かつ空間的な位相が異なる複数の周期的なパターンを被写体に順次投影する。前記パターン制御部は、前記パターンの空間的な位相をシフトさせる。前記撮像光学系は、前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ複数の前記パターンが投影された前記被写体の複数の光学像を順次結像する。前記撮像素子は、前記撮像光学系を介して得られた前記複数の光学像に対応する複数の画像を生成する。前記計測処理部は、前記複数の画像のうち少なくとも１つにおいて計測点を設定し、かつ前記複数の画像を使用して、位相シフト法により前記計測点の３次元座標を算出する。前記湾曲部は、前記先端に配置され、かつ前記先端を湾曲させる。前記内視鏡装置は、信頼度判定部と、湾曲制御部とを有する。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記湾曲制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記投影光学系側から前記撮像光学系側に向かって移動するように前記湾曲部を制御する。【００２４】
本発明の第１７の態様によれば、内視鏡装置は、内視鏡挿入部と、投影光学系と、撮像光学系と、撮像素子と、計測処理部とを有する。前記投影光学系は、前記内視鏡挿入部の先端に配置され、かつ被写体にランダムパターンを投影する。前記撮像光学系は、前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ前記ランダムパターンが投影された前記被写体の光学像を結像する。前記撮像素子は、前記撮像光学系を介して得られた光学像に対応する第１の画像を生成する。前記計測処理部は、計測点設定部と、対応点探索部と、３次元座標算出部とを有する。前記計測点設定部は、前記第１の画像において計測点を設定する。前記対応点探索部は、前記ランダムパターンに関する第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する。前記３次元座標算出部は、前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する。前記内視鏡装置は、信頼度判定部と、報知制御部とを有してもよい。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記報知制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記投影光学系側から前記撮像光学系側に向かって前記先端を移動させる操作をユーザに促す報知を行う。【００２５】
本発明の第１８の態様によれば、内視鏡装置は、内視鏡挿入部と、投影光学系と、撮像光学系と、撮像素子と、計測処理部と、湾曲部とを有する。前記投影光学系は、前記内視鏡挿入部の先端に配置され、かつ被写体にランダムパターンを投影する。前記撮像光学系は、前記先端において、前記投影光学系が配置された位置とは異なる位置に配置され、かつ前記ランダムパターンが投影された前記被写体の光学像を結像する。前記撮像素子は、前記撮像光学系を介して得られた光学像に対応する第１の画像を生成する。前記湾曲部は、前記先端に配置され、かつ前記先端を湾曲させる。前記計測処理部は、計測点設定部と、対応点探索部と、３次元座標算出部とを有する。前記計測点設定部は、前記第１の画像において計測点を設定する。前記対応点探索部は、前記ランダムパターンに関する第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する。前記３次元座標算出部は、前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する。前記計測処理部は、計測点設定部と、対応点探索部と、３次元座標算出部とを有する。前記計測点設定部は、前記第１の画像において計測点を設定する。前記対応点探索部は、前記ランダムパターンに関する第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する。前記３次元座標算出部は、前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する。前記内視鏡装置は、信頼度判定部と、湾曲制御部とを有する。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記湾曲制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記投影光学系側から前記撮像光学系側に向かって移動するように前記湾曲部を制御する。【００２６】
本発明の第１９の態様によれば、内視鏡装置は、内視鏡挿入部と、撮像光学系と、撮像素子と、計測処理部とを有する。前記撮像光学系は、前記内視鏡挿入部の先端に配置され、かつ第１の位置および前記第１の位置と異なる第２の位置の各々において被写体の光学像を結像する。前記撮像素子は、前記第１の位置において前記撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の位置において前記撮像光学系を介して得られた第２の光学像に対応する第２の画像とを生成する。前記計測処理部は、計測点設定部と、対応点探索部と、３次元座標算出部とを有する。前記計測点設定部は、前記第１の画像において計測点を設定する。前記対応点探索部は、前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する。前記３次元座標算出部は、前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する。前記内視鏡装置は、信頼度判定部と、報知制御部とを有する。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記報知制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記第２の位置側から前記第１の位置側に向かって前記先端を移動させる操作をユーザに促す報知を行う。【００２７】
本発明の第２０の態様によれば、内視鏡装置は、内視鏡挿入部と、撮像光学系と、撮像素子と、計測処理部と、湾曲部とを有する。前記撮像光学系は、前記内視鏡挿入部の先端に配置され、かつ第１の位置および前記第１の位置と異なる第２の位置の各々において被写体の光学像を結像する。前記撮像素子は、前記第１の位置において前記撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の位置において前記撮像光学系を介して得られた第２の光学像に対応する第２の画像とを生成する。前記湾曲部は、前記先端に配置され、かつ前記先端を湾曲させる。前記計測処理部は、計測点設定部と、対応点探索部と、３次元座標算出部とを有する。前記計測点設定部は、前記第１の画像において計測点を設定する。前記対応点探索部は、前記第２の画像において、前記計測点設定部によって設定された前記計測点に対応する対応点を探索する。前記３次元座標算出部は、前記対応点探索部によって探索された前記対応点と、前記計測点とを用いて三角測量の原理で前記計測点の３次元座標を算出する。前記内視鏡装置は、信頼度判定部と、湾曲制御部とを有する。前記信頼度判定部は、前記計測点に基づく計測処理の信頼度を判定する。前記湾曲制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記第２の位置側から前記第１の位置側に向かって移動するように前記湾曲部を制御する。【００２８】
本発明の第２１の態様によれば、内視鏡装置は、内視鏡挿入部と、少なくとも１つの撮像光学系と、撮像素子と、計測処理部とを有する。前記少なくとも１つの撮像光学系は、前記内視鏡挿入部の先端に配置されている。前記撮像素子は、前記撮像光学系を介して得られた光学像に対応する画像を生成する。前記計測処理部は、前記画像と、第１の位置および前記第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。前記内視鏡装置は、信頼度判定部と、報知制御部とを有する。前記信頼度判定部は、前記第１の位置において前記撮像光学系を介して得られた前記光学像に対応する前記画像において設定された計測点に基づく前記計測処理の信頼度を判定する。前記報知制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記第２の位置側から前記第１の位置側に向かって前記先端を移動させる操作をユーザに促す報知を行う。【００２９】
本発明の第２２の態様によれば、第２１の態様において、前記撮像光学系は、第１の撮像光学系と第２の撮像光学系とを含んでもよい。前記第１の撮像光学系は前記第１の位置に配置されてもよい。前記第２の撮像光学系は前記第２の位置に配置され、かつ前記第２の撮像光学系は前記第１の撮像光学系に対して視差を有してもよい。前記画像は、前記第１の撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の撮像光学系を介して得られた第２の光学像に対応する第２の画像とを含んでもよい。前記計測処理部は、前記第１の画像と前記第２の画像とに基づいて前記計測処理を行ってもよい。【００３０】
本発明の第２３の態様によれば、第２１の態様において、前記撮像光学系は前記第１の位置に配置されてもよい。前記内視鏡装置は、投影光学系を有してもよい。前記投影光学系は、前記第２の位置に配置され、かつ所定のパターンを被写体に投影する。【００３１】
本発明の第２４の態様によれば、第２１の態様において、前記画像は、前記第１の位置において前記撮像光学系を介して得られた第１の光学像に対応する第１の画像と、前記第２の位置において前記撮像光学系を介して得られた第２の光学像に対応する第２の画像とを含んでもよい。前記計測処理部は、前記第１の画像と前記第２の画像とに基づいて前記計測処理を行ってもよい。【００３２】
本発明の第２５の態様によれば、第２１の態様において、前記信頼度判定部は、オクルージョンが発生しているか否かを判定するオクルージョン発生判定部を有してもよい。前記信頼度判定部は、前記オクルージョン発生判定部によって前記オクルージョンが発生していると判定された場合に、前記信頼度が低いと判定してもよい。【００３３】
本発明の第２６の態様によれば、内視鏡装置は、内視鏡挿入部と、少なくとも１つの撮像光学系と、撮像素子と、計測処理部と、湾曲部とを有する。前記少なくとも１つの撮像光学系は、前記内視鏡挿入部の先端に配置されている。前記撮像素子は、前記撮像光学系を介して得られた光学像に対応する画像を生成する。前記計測処理部は、前記画像と、第１の位置および前記第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。前記湾曲部は、前記先端に配置され、かつ前記先端を湾曲させる。前記内視鏡装置は、信頼度判定部と、湾曲制御部とを有する。前記信頼度判定部は、前記第１の位置において前記撮像光学系を介して得られた前記光学像に対応する前記画像において設定された計測点に基づく前記計測処理の信頼度を判定する。前記湾曲制御部は、前記信頼度判定部によって前記信頼度が低いと判定された場合に、前記先端が前記第２の位置側から前記第１の位置側に向かって移動するように前記湾曲部を制御する。
【発明の効果】
【００３４】
上記の各態様によれば、オクルージョンの発生による計測精度の低下を抑制することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施形態の計測内視鏡装置の斜視図である。
【図２】本発明の第１の実施形態の計測内視鏡装置における内視鏡挿入部の先端とステレオ光学アダプタとの構成を示す斜視図である。
【図３】本発明の第１の実施形態の計測内視鏡装置における内視鏡挿入部の先端とステレオ光学アダプタとの構成を示す断面図である。
【図４】本発明の第１の実施形態の計測内視鏡装置の構成を示すブロック図である。
【図５】本発明の第１の実施形態の計測内視鏡装置における計測処理部の構成を示すブロック図である。
【図６】本発明の第１の実施形態のステレオ計測による計測点の３次元座標の求め方を説明するための参考図である。
【図７】本発明の第１の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図８】本発明の第１の実施形態の計測内視鏡装置における表示部によって表示される画像を示す参考図である。
【図９】本発明の第１の実施形態の計測内視鏡装置における表示部によって表示される画像を示す参考図である。
【図１０】本発明の第１の実施形態の計測内視鏡装置における信頼度判定部の構成を示すブロック図である。
【図１１】本発明の第１の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図１２】本発明の第１の実施形態の計測内視鏡装置における信頼度判定部の構成を示すブロック図である。
【図１３】本発明の第１の実施形態の計測内視鏡装置におけるオクルージョン発生判定部の構成を示すブロック図である。
【図１４】本発明の第１の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図１５】本発明の第１の実施形態の計測内視鏡装置における信頼度判定部によって処理される画像を示す参考図である。
【図１６】本発明の第１の実施形態の計測内視鏡装置における信頼度判定部の構成を示すブロック図である。
【図１７】本発明の第１の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図１８】本発明の第２の実施形態の計測内視鏡装置の構成を示すブロック図である。
【図１９】本発明の第２の実施形態の計測内視鏡装置における湾曲制御部の構成を示すブロック図である。
【図２０】本発明の第２の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図２１】本発明の第２の実施形態の計測内視鏡装置における湾曲制御部によって処理される画像を示す参考図である。
【図２２】本発明の第２の実施形態の計測内視鏡装置における内視鏡挿入部の先端と被写体との位置を示す参考図である。
【図２３】本発明の第２の実施形態の計測内視鏡装置における内視鏡挿入部の先端が湾曲する様子を示す参考図である。
【図２４】本発明の第２の実施形態の計測内視鏡装置における内視鏡挿入部の先端と被写体との位置を示す参考図である。
【図２５】本発明の第２の実施形態の計測内視鏡装置における内視鏡挿入部の先端と被写体との位置を示す参考図である。
【図２６】本発明の第２の実施形態の計測内視鏡装置における表示部によって表示される画像を示す参考図である。
【図２７】本発明の第３の実施形態の計測内視鏡装置の構成を示すブロック図である。
【図２８】本発明の第３の実施形態の計測内視鏡装置における計測処理部の構成を示すブロック図である。
【図２９】本発明の第３の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図３０】本発明の第３の実施形態の計測内視鏡装置における表示部によって表示される画像を示す参考図である。
【図３１】本発明の第１から第３の実施形態の変形例の計測内視鏡装置におけるステレオ光学アダプタの構成を示すブロック図である。
【図３２】本発明の第４の実施形態の計測内視鏡装置の構成を示すブロック図である。
【図３３】本発明の第４の実施形態の計測内視鏡装置における内視鏡挿入部の先端の正面図である。
【図３４】本発明の第４の実施形態の計測内視鏡装置における撮像光学系の画角と投影光学系の照射角度との関係を示す模式図である。
【図３５】本発明の第４の実施形態において被写体に投影される縞パターンを示す参考図である。
【図３６】本発明の第４の実施形態の計測内視鏡装置における表示部によって表示される画像を示す参考図である。
【図３７】本発明の第４の実施形態の計測内視鏡装置における表示部によって表示される画像を示す参考図である。
【図３８】本発明の第４の実施形態の計測内視鏡装置における内視鏡挿入部の先端と被写体との位置を示す参考図である。
【図３９】本発明の第４の実施形態の計測内視鏡装置における撮像光学系の光学中心から見える被写体像を示す参考図である。
【図４０】本発明の第４の実施形態の計測内視鏡装置における投影光学系の光学中心から見える被写体像を示す参考図である。
【図４１】本発明の第４の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図４２】本発明の第５の実施形態の計測内視鏡装置の構成を示すブロック図である。
【図４３】本発明の第５の実施形態の計測内視鏡装置における内視鏡挿入部の先端とステレオ光学アダプタとの構成を示すブロック図である。
【図４４】本発明の第５の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図４５】本発明の第６の実施形態の計測内視鏡装置の構成を示すブロック図である。
【図４６】本発明の第６の実施形態の計測内視鏡装置における内視鏡挿入部の先端と光学アダプタとの構成を示すブロック図である。
【図４７】本発明の第６の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。
【図４８】本発明の第７の実施形態の計測内視鏡装置の構成を示すブロック図である。
【図４９】本発明の第７の実施形態の計測内視鏡装置における内視鏡挿入部の先端と光学アダプタとの構成を示すブロック図である。
【図５０】本発明の第７の実施形態の計測内視鏡装置における内視鏡挿入部の先端と被写体との位置を示す参考図である。
【図５１】本発明の第７の実施形態の計測内視鏡装置におけるレンズの光学中心から見える被写体像を示す参考図である。
【図５２】本発明の第７の実施形態の計測内視鏡装置におけるレンズの光学中心から見える被写体像を示す参考図である。
【図５３】本発明の第７の実施形態の計測内視鏡装置における表示部によって表示される画像を示す参考図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照し、本発明の実施形態を説明する。
【００３７】
（第１の実施形態）
図１は、本発明の第１の実施形態の計測内視鏡装置１の外観を示している。計測内視鏡装置１は、被写体を撮像し、画像から被写体の幾何学的特徴を計測する。検査者は、種々の被写体の観察と計測とを行うために、内視鏡挿入部の先端に装着される光学アダプタの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。
【００３８】
図１に示すように、計測内視鏡装置１は、内視鏡挿入部２と、ステレオ光学アダプタ３（ステレオ光学系）と、コントロールユニット４と、操作部５と、表示部６とを有する。
【００３９】
内視鏡挿入部２は、被写体の内部に挿入される。内視鏡挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。内視鏡挿入部２は、計測部分を撮像し、撮像信号１００（図４参照）をコントロールユニット４に出力する。内視鏡挿入部２の先端２０には、ステレオ光学アダプタ３が装着される。
【００４０】
コントロールユニット４は、計測内視鏡装置１を制御する。コントロールユニット４による制御は、映像に対する映像処理と計測のための演算処理とを含む。
【００４１】
操作部５は、ユーザインターフェースである。例えば、ユーザインターフェースは、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。操作部５は、計測内視鏡装置１に対するユーザの操作を受ける。操作部５はコントロールユニット４に接続されている。例えば、操作部５が受ける操作は、第１から第８の操作の少なくとも１つである。第１の操作は、電源のオン／オフに関する。第２の操作は、キャリブレーション設定に関する。第３の操作は、撮像動作に関する。第４の操作は、照明に関する。第５の操作は、内視鏡挿入部２の湾曲駆動に関する。第６の操作は、計測に関する。第７の操作は、記憶媒体などへの映像記録に関する。第８の操作は、記憶媒体などに記録された映像の読み出しに関する。ユーザは、操作部５を介してこれらの操作を行うことができる。
【００４２】
表示部６は、モニタ（ディスプレイ）である。表示部６は、コントロールユニット４から出力される表示用映像信号１０３（図４参照）に基づいて、被写体の映像とその他の情報とを表示する。これらの映像と情報とは、それぞれ必要に応じて単独に表示される。またはこれらの映像と情報とは、合成されて表示される。ステレオ計測が行われる場合には、表示用映像信号１０３は、視差を有する２つの画像の少なくとも１つを含む。
【００４３】
例えば、表示部６によって表示される、映像以外の情報は、操作部５からの操作入力情報と、操作メニューと、操作用のグラフィカルユーザインタフェース（ＧＵＩ）と、計測用情報１０４（図４参照）との少なくとも１つである。計測用情報１０４は、計測時に使用される照準の画像および計測結果などである。
【００４４】
図２と図３とは、内視鏡挿入部２の先端２０とステレオ光学アダプタ３との構成を示している。図２は、内視鏡挿入部２の先端２０とステレオ光学アダプタ３との外観を示している。図３は、内視鏡挿入部２の先端２０とステレオ光学アダプタ３との断面を示している。図３では、第１の光学系３１と第２の光学系３２とを含む断面が示されている。
【００４５】
ステレオ光学アダプタ３が内視鏡挿入部２の先端２０に装着されている。ステレオ光学アダプタ３は、固定リング７１の雌ねじ７２により内視鏡挿入部２の先端２０の雄ねじ２３と螺合されて固定される。ステレオ光学アダプタ３の先端には、第１の光学系３１と、第２の光学系３２と、照明窓３３とが設けられている。第１の光学系３１と第２の光学系３２とは、対物レンズを含む。第１の光学系３１と第２の光学系３２とは、視差方向Ｄｒ１に離間している。被写体に向かって左側に第１の光学系３１が配置され、右側に第２の光学系３２が配置されている。第１の光学系３１の光軸Ａｘ１と第２の光学系３２の光軸Ａｘ２とは、視差方向Ｄｒ１に交差する方向Ｄｒ２に配置されている。つまり、第１の光学系３１の光軸Ａｘ１と第２の光学系３２の光軸Ａｘ２とは、方向Ｄｒ２を向くように配置されている。視差方向Ｄｒ１は、第１の光学系３１の第１の光学中心（主点）と第２の光学系３２の第２の光学中心（主点）とを通る直線の方向である。方向Ｄｒ２は、視差方向Ｄｒ１に直交する。第１の光学系３１と第２の光学系３２とは、内視鏡挿入部２の先端２０内に設けられた撮像素子２１上に被写体の２つの像を結像する。第１の光学系３１は第１の光学像を結像し、第２の光学系３２は第２の光学像を結像する。
【００４６】
第１の光学像と第２の光学像とは、互いに視差を有する。第１の光学像に対応する第１の画像において計測点が指定される。被写体に向かって右側に第１の光学系３１が配置され、左側に第２の光学系３２が配置されてもよい。
【００４７】
撮像素子２１は、イメージセンサである。撮像素子２１は、内視鏡挿入部２の先端２０に配置される。撮像素子２１は、第１の光学系３１および第２の光学系３２の結像位置に配置された受光面２４を有する。撮像素子２１は、第１の光学系３１を介して受光面２４に結像された第１の光学像と、第２の光学系３２を介して受光面２４に結像された第２の光学像との少なくとも１つから撮像信号１００を生成する。つまり、撮像素子２１は、第１の光学系３１を介して得られた第１の光学像に対応する第１の画像および第２の光学系３２を介して得られた第２の光学像に対応する第２の画像を生成する。
【００４８】
撮像素子２１は信号線８０に接続され、撮像信号１００が撮像素子２１から信号線８０に出力される。内視鏡挿入部２の先端２０の端面には、撮像素子２１を保護するためのカバーガラス３５が配置されている。
【００４９】
図４は、計測内視鏡装置１の構成を示している。図４に示すように、ステレオ光学アダプタ３は、第１の光学系３１と第２の光学系３２とを有する。第１の光学系３１と第２の光学系３２との光軸は、視差方向に交差する方向に配置される。ステレオ光学アダプタ３は、内視鏡挿入部２の先端２０に配置される。内視鏡挿入部２の先端２０において、第１の光学系３１と第２の光学系３２とは、視差方向に互いに離間して配置される。図４に示す構成では、ステレオ光学アダプタ３は、内視鏡挿入部２の先端２０に近接して配置される。ステレオ光学アダプタ３を構成する第１の光学系３１と第２の光学系３２とが内視鏡挿入部２の先端２０の内部に配置されてもよい。
【００５０】
内視鏡挿入部２は、撮像素子２１と湾曲部２２とを有する。撮像素子２１は、第１の光学像と第２の光学像とに基づく撮像信号１００を出力する。または、撮像素子２１は、第１の光学像のみに基づく撮像信号１００と、第２の光学像のみに基づく撮像信号１００とを出力する。湾曲部２２は、湾曲機構である。湾曲部２２は、内視鏡挿入部２の先端２０に配置される。湾曲部２２は、内視鏡挿入部２の先端２０を湾曲させる。
【００５１】
操作部５は、表示部６に表示された画像（第１の画像）に対するステレオ計測に関する操作指示と、内視鏡挿入部２の先端２０を湾曲させるための湾曲指示とをユーザから受ける。ステレオ計測に関する操作指示は、計測の開始／終了の指示と、画像記録の指示と、計測点の指示とを含む。操作部５が計測開始の指示をユーザから受けた場合、操作部５は計測開始信号１０５を出力する。操作部５が画像記録の指示を受けた場合、操作部５は、画像記録指示信号１０６を出力する。操作部５が計測点の指示を受けた場合、操作部５は、計測入力情報１０７を出力する。操作部５が湾曲指示を受けた場合、操作部５は、湾曲指示信号１０８を出力する。
【００５２】
コントロールユニット４は、映像信号処理部３４と、信号変換部３８と、画像記憶部４２と、計測処理部４３と、信頼度判定部４４と、制御部４５とを有する。
【００５３】
映像信号処理部３４および信号変換部３８は、信号処理回路である。映像信号処理部３４は、計測開始信号１０５が入力された後、撮像信号１００に映像処理を施す。これによって、映像信号処理部３４は、撮像信号１００から、第１の光学像に基づく第１の画像と第２の光学像に基づく第２の画像との少なくとも１つに対応する出力用映像信号１０１と出力用映像信号１０２とを生成する。第１の光学像と第２の光学像とに基づく撮像信号１００が撮像素子２１から出力された場合、映像信号処理部３４は、第１の画像と第２の画像とに対応する出力用映像信号１０１と出力用映像信号１０２とを生成する。第１の光学像のみまたは第２の光学像のみに基づく撮像信号１００が撮像素子２１から出力された場合、映像信号処理部３４は、第１の画像のみに基づく撮像信号１００と第２の画像のみに基づく撮像信号１００とを合成する。これによって、映像信号処理部３４は、第１の画像と第２の画像とに対応する出力用映像信号１０１と出力用映像信号１０２とを生成する。映像信号処理部３４は、第１の画像のみに対応する出力用映像信号１０１と出力用映像信号１０２とを生成してもよい。出力用映像信号１０１は信号変換部３８に出力される。出力用映像信号１０２は、画像記憶部４２に出力される。出力用映像信号１０１と出力用映像信号１０２とは、異なる信号とは限らない。出力用映像信号１０１と出力用映像信号１０２とは、同一の映像処理が施された同一の信号であってもよい。
【００５４】
信号変換部３８は、映像信号処理部３４から出力された出力用映像信号１０１を表示用映像信号１０３として表示部６に出力する。信号変換部３８は、必要に応じて、出力用映像信号１０１に対して操作画面画像などの他の画像データを合成することにより、出力用映像信号１０１を表示用映像信号１０３に変換する。また、制御部４５から計測用情報１０４が出力された場合、信号変換部３８は、出力用映像信号１０１に対して計測用情報１０４を合成することにより表示用映像信号１０３を生成する。
【００５５】
ユーザは、操作部５を介して、表示部６の画面上の照準を操作することにより計測点などを指定する。計測点などの情報は、計測入力情報１０７として計測処理部４３に出力される。ステレオ計測の計測結果は、計測点のマークなどを含む計測用のＧＵＩ画像と共に、計測用情報１０４として、信号変換部３８に出力される。計測用情報１０４は、信号変換部３８によって出力用映像信号１０１に合成される。
【００５６】
表示部６は、少なくとも第１の画像に対応する表示用映像信号１０３に基づいて、少なくとも第１の画像を表示する。表示用映像信号１０３は第１の画像と第２の画像とに対応するので、表示部６は第１の画像と第２の画像とを表示する。表示用映像信号１０３が第１の画像のみに対応する場合、表示部６は第１の画像を表示する。
【００５７】
画像記憶部４２は、揮発性または不揮発性のメモリである。例えば、メモリは、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。画像記憶部４２は、映像信号処理部３４から出力される出力用映像信号１０２を記憶する。画像記憶部４２に記憶される出力用映像信号１０２は、１フレームの静止画データまたは複数フレームのライブ画像のデータ（動画データ）である。操作部５から画像記録指示信号１０６が入力された場合、制御部４５による制御に従って、画像データが画像記憶部４２から読み出される。読み出された画像データは外部記憶媒体４６に出力され、外部記憶媒体４６に記憶される。また、画像記憶部４２に記憶された画像データは、画像データ１０９として計測処理部４３に出力される。
【００５８】
計測処理部４３、信頼度判定部４４、および制御部４５は、１つまたは複数のプロセッサで構成されている。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。計測処理部４３、信頼度判定部４４、および制御部４５は、特定用途向け集積回路（ＡＳＩＣ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）で構成されてもよい。
【００５９】
計測処理部４３は、画像記憶部４２から出力された画像データ１０９を用いて計測処理を行う。また、計測処理部４３は、ユーザによる計測の操作に必要な計測用のＧＵＩ画像を生成する。計測処理部４３は、周知のアルゴリズムによりステレオ計測を行う。
【００６０】
図５は、計測処理部４３の構成を示している。図５に示すように、計測処理部４３は、計測点指定部４３１（計測点設定部）と、対応点探索部４３２と、３次元座標算出部４３３とを有する。
【００６１】
計測点指定部４３１は、操作部５が受けた操作指示に基づいて第１の画像の計測点を指定する。つまり、計測点指定部４３１は、操作部５からの計測入力情報１０７に基づいて計測点を指定する。言い換えると、計測点指定部４３１は、第１の光学系３１を介して得られた第１の光学像に対応する第１の画像において計測点を設定する。対応点探索部４３２は、少なくとも第１の画像に対応する映像信号（画像データ１０９）および少なくとも第２の画像に対応する映像信号（画像データ１０９）を処理することにより計測点に対応する第２の画像の対応点を探索する。つまり、対応点探索部４３２は、第１の画像と第２の画像とのパターンマッチングにより対応点を探索する。言い換えると、対応点探索部４３２は、第２の光学系３２を介して得られた第２の光学像に対応する第２の画像において、計測点指定部４３１によって設定された計測点に対応する対応点を探索する。３次元座標算出部４３３は、対応点探索部４３２によって探索（特定）された対応点と、計測点とを用いて三角測量の原理で計測点の３次元座標を算出する。
【００６２】
少なくとも第１の画像に対応する映像信号および少なくとも第２の画像に対応する映像信号の処理は、第１の画像と第２の画像とに対応する映像信号において第１の画像に対応する部分の映像信号の処理と第２の画像に対応する部分の映像信号の処理とを含む。あるいは、少なくとも第１の画像に対応する映像信号および少なくとも第２の画像に対応する映像信号の処理は、第１の画像のみに対応する映像信号の処理と、第２の画像のみに対応する映像信号の処理とを含む。
【００６３】
計測点は、第１の画像における点である。計測点の３次元座標は、計測点に対応する被写体上の空間点の３次元座標である。同様に、第１の画像の点の３次元座標は、その点に対応する被写体上の空間点の３次元座標である。
【００６４】
計測処理部４３は、３次元座標算出部４３３によって算出された３次元座標に基づいて、被写体の寸法に関する距離および面積等を算出する。計測処理部４３は、対応点の情報などの計測情報１１０を信頼度判定部４４に出力する。また、計測処理部４３は、計測結果を示す計測結果情報１１１を制御部４５に出力する。
【００６５】
信頼度判定部４４は、対応点探索部４３２によって探索（特定）された対応点の信頼度を判定する。言い換えると、信頼度判定部４４は、計測点に基づく計測処理の信頼度を判定する。信頼度判定部４４は、信頼度の判定結果を示す判定結果情報１１２を制御部４５に出力する。
【００６６】
制御部４５は、計測内視鏡装置１の各部を制御する。制御部４５は、報知制御部４５１を有する。報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように内視鏡挿入部２の先端２０を湾曲させる湾曲操作をユーザに促す報知を行う。言い換えると、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、視差方向の第１の光学系３１側に向かって内視鏡挿入部２の先端２０を移動させる操作をユーザに促す報知を行う。つまり、報知制御部４５１は、湾曲操作をユーザに促すメッセージを含む計測用情報１０４を出力する。
【００６７】
第１の光学系３１を介して結像された第１の光学像に基づく第１の画像において計測点が指定される。この場合、計測点は、第１の画像において視認できる被写体上の点である。オクルージョンが発生した場合、計測点に対応する第２の画像の対応点が死角に含まれることがある。この場合、視点を第１の光学系３１側すなわち左側に移動させることにより、ユーザが対応点を視認できるようになることが期待される。このため、オクルージョンの発生による計測精度の低下を抑制することができる。
【００６８】
オクルージョンが発生した場合、視点を移動させるために湾曲操作が行われる。内視鏡挿入部２の先端２０を湾曲させる方向は、幾何学的な関係から推定できる。第１の画像において計測点が指定される場合、オクルージョンを回避するための視点の移動方向は、第２の光学系３２から第１の光学系３１に向かう方向である。つまり、視点の移動方向は、左方向である。第１の光学系３１が第２の光学系３２の右側に配置された場合、視点の移動方向は、右方向である。
【００６９】
図６を参照し、ステレオ計測の原理を説明する。ステレオ計測では、被写体像を２つの光学系で捉えたときの２つの光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元座標を求めることにより、計測が可能である。以下では、ステレオ計測により計測点の３次元座標を求める方法を説明する。左の光学中心（第１の光学中心６３）と右の光学中心（第２の光学中心６４）とを結ぶ線分の中点が原点Ｏとして定義される。また、右方向が正であるｘ軸と、下方向が正であるｙ軸とが定義される。ｘ軸は、左の光学中心（第１の光学中心６３）と右の光学中心（第２の光学中心６４）とを通る直線である。また、光軸と平行に光学系から遠ざかる方向が正であるｚ軸が定義される。
【００７０】
左の光学系（第１の光学系３１）と右の光学系（第２の光学系３２）とを介して得られた被写体像を含む画像に対して、三角測量の方法により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左の画像面の計測点６１と、歪み補正が施された右の画像面の対応点６２との２次元座標はそれぞれ、（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）である。これらの２次元座標の原点はそれぞれ、左の光学系および右の光学系の光軸と、画像面との交点ＯＬ、交点ＯＲである。第１の光学中心６３と第２の光学中心６４との距離はＤである。焦点距離はＦである。ｔは、ｔ＝Ｄ／（ＸＲ−ＸＬ）を満たす。
Ｘ＝ｔ×ＸＲ＋Ｄ／２  ・・・（１）
Ｙ＝−ｔ×ＹＲ  ・・・（２）
Ｚ＝ｔ×Ｆ  ・・・（３）
【００７１】
上記のように画像面上での計測点６１と対応点６２との座標が決定されると、パラメータＤとパラメータＦとを用いて計測点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、第１の光学中心６３または第２の光学中心６４から被写体までの距離（物体距離）を求めることも可能である。上記のステレオ計測を行うためには、内視鏡挿入部２の先端２０とステレオ光学アダプタ３とを含む光学系の特性を示す光学データが必要である。例えば、マッチング処理および光学データの詳細は日本国特開２００４−４９６３８号公報に記載されているので、その説明を省略する。
【００７２】
光学データは、一般的なカメラパラメータである。カメラパラメータは、第１の位置および第１の位置とは異なる第２の位置に関するパラメータＤを含む。第１の位置は第１の光学中心６３であり、かつ第２の位置は第２の光学中心６４である。第１の位置の座標は（ｘ，ｙ，ｚ）＝（−Ｄ／２，０，０）であり、かつ第２の位置の座標は（ｘ，ｙ，ｚ）＝（Ｄ／２，０，０）である。計測処理部４３は、撮像素子２１によって生成された画像と、第１の位置および第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。ここで、カメラパラメータはパラメータＤを含み、そのパラメータＤは第１の位置と第２の位置との間の距離Ｄである。報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、第２の位置側から第１の位置側に向かって内視鏡挿入部２の先端２０を移動させる操作をユーザに促す報知を行う。
【００７３】
計測内視鏡装置１の動作を説明する。図７は、測距時の計測内視鏡装置１の動作の手順を示している。被写体のライブ画像が表示されている状態で、測距が行われる。測距では、被写体までの物体距離が計測される。撮像素子２１は、連続的に撮像信号１００を生成する。つまり、撮像素子２１は、ライブ画像を構成する各フレームの撮像信号１００を生成する。
【００７４】
測距が開始された後、映像信号処理部３４は、撮像信号１００から出力用映像信号１０１と出力用映像信号１０２とを生成する。信号変換部３８は、出力用映像信号１０１に基づく表示用映像信号１０３を表示部６に出力する（ステップＳ１００）。ステップＳ１００の後、表示部６は、表示用映像信号１０３に基づいて画像を表示する（ステップＳ１０５）。
【００７５】
図８は、表示部６によって表示される画像の例を示している。表示部６は、第１の画像Ｇ１Ｌと第２の画像Ｇ１Ｒとを表示する。第１の画像Ｇ１Ｌは、第１の光学系３１を介して結像された第１の光学像に基づく。第２の画像Ｇ１Ｒは、第２の光学系３２を介して結像された第２の光学像に基づく。被写体ＯＢが第１の画像Ｇ１Ｌと第２の画像Ｇ１Ｒとに写っている。物体距離の計測結果である測距結果ＲＳ１が第２の画像Ｇ１Ｒに重畳される。第１の画像Ｇ１Ｌに照準が重畳される。図８では、照準は省略されている。
【００７６】
ステップＳ１０５の後、ユーザが操作部５を介して計測点を指定する。操作部５は、計測入力情報１０７を出力する（ステップＳ１１０）。計測入力情報１０７は、ユーザによって指定された照準の位置情報を含む。ステップＳ１１０の後、計測点指定部４３１は、操作部５からの計測入力情報１０７に基づいて第１の画像の計測点を指定する。これによって、計測点指定部４３１は、第１の画像において計測点を設定する。つまり、計測点指定部４３１は、計測点の位置における２次元座標を取得する（ステップＳ１１５）。例えば、照準の位置と計測点の位置とは一致する。
【００７７】
ステップＳ１１５の後、対応点探索部４３２は、テンプレート画像データと、第２の画像に対応する画像データ１０９とのパターンマッチングを行い、計測点に対応する第２の画像の対応点を探索する（ステップＳ１２０）。テンプレート画像データは、第１の画像に対応する画像データ１０９において、計測点の位置を含む所定の大きさのデータである。対応点探索部４３２は、第２の画像においてテンプレート画像データと比較する領域の位置をずらしながらパターンマッチングを行う。対応点が探索された後、対応点探索部４３２は、計測点と対応点との位置情報を含む計測情報１１０を信頼度判定部４４に出力する。
【００７８】
ステップＳ１２０の後、３次元座標算出部４３３は、測距に関する処理を行う（ステップＳ１２５）。ステップＳ１２５では、３次元座標算出部４３３は、対応点探索部４３２によって探索された対応点と、計測点とを用いて三角測量の原理で計測点の３次元座標を算出する。図６に示す計測点６０のＺ座標の値は物体距離である。つまり、３次元座標算出部４３３は、計測点の３次元座標を算出することにより物体距離を算出する。３次元座標算出部４３３は、算出された物体距離を含む計測結果情報１１１を制御部４５に出力する。
【００７９】
図８は、オクルージョンが発生した状態における画像を示している。第１の画像Ｇ１Ｌにおいて被写体ＯＢの領域に計測点Ｐ１Ｌが指定されている。内視鏡挿入部２の先端２０から被写体ＯＢまでの距離は、被写体ＯＢの領域によって異なる。つまり、被写体ＯＢは、段差を有する。計測点Ｐ１Ｌは、段差のある領域上に指定されている。第２の画像Ｇ１Ｒにおいて、計測点Ｐ１Ｌに対応する対応点Ｐ１Ｒは、被写体ＯＢの表面における段差によって生じる死角に含まれる。このため、第２の画像Ｇ１Ｒにおいて、計測点Ｐ１Ｌに対応する対応点Ｐ１Ｒは視認できない。計測点Ｐ１Ｌが指定された場合、対応点探索部４３２は、対応点を探索する。計測点Ｐ１Ｌに対応する対応点Ｐ１Ｒが第２の画像Ｇ１Ｒにおいて視認できないため、対応点探索部４３２は、誤った対応点を探索する可能性がある。しかし、視点が左側に移動した場合、対応点Ｐ１Ｒが第２の画像Ｇ１Ｒにおいて視認できることが期待される。
【００８０】
ステップＳ１２５の後、信頼度判定部４４は、計測情報１１０に基づいて、パターンマッチングの信頼度を算出する（ステップＳ１３０）。ステップＳ１３０の後、信頼度判定部４４は、ステップＳ１３０で算出された信頼度が低いか否かを判定する（ステップＳ１３５）。ステップＳ１３０とステップＳ１３５とによって、信頼度判定部４４は、信頼度を判定する。信頼度判定部４４は、判定結果情報１１２を制御部４５に出力する。
【００８１】
ステップＳ１３５において、信頼度が低いと判定された場合、報知制御部４５１は、内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように内視鏡挿入部２の先端２０を湾曲させる湾曲操作をユーザに促すメッセージを含む計測用情報１０４を出力する。これによって報知制御部４５１は、湾曲操作をユーザに促す報知を行う。信号変換部３８は、出力用映像信号１０１に対して計測用情報１０４を合成することにより表示用映像信号１０３を生成する。表示部６は、表示用映像信号１０３に基づいて、上記のメッセージを含む画像を表示する（ステップＳ１４０）。ステップＳ１４０の後、ステップＳ１００における処理が行われる。
【００８２】
図９は、ステップＳ１４０において表示部６によって表示される画像の例を示している。図９について、図８と異なる点を説明する。表示部６は、メッセージウィンドウＷ１を表示する。メッセージウィンドウＷ１は、オクルージョンの発生を示すメッセージＭＳ１と、湾曲操作をユーザに促すメッセージＭＳ２とを含む。また、メッセージウィンドウＷ１は、湾曲操作の方向を示す矢印ＡＲ１を含む。矢印ＡＲ１は、左方向を示している。矢印ＡＲ１が示す方向は、第２の光学系３２から第１の光学系３１に向かう方向である。メッセージＭＳ２と矢印ＡＲ１とが表示されることによって、ユーザは、オクルージョンを回避するために内視鏡挿入部２の先端２０を左側に湾曲させればよいことを知ることができる。ユーザは、表示されたメッセージに従って操作部５を操作することにより内視鏡挿入部２の先端２０を湾曲させることができる。この結果、ユーザは、オクルージョンが発生しない位置に計測点を指定することができる。上記の点以外の点については、図９に示す画像は、図８に示す画像と同様である。
【００８３】
ステップＳ１３５において、信頼度が高いと判定された場合、報知制御部４５１は、測距結果を含む計測用情報１０４を出力する。これによって報知制御部４５１は、測距結果をユーザに報知する。信号変換部３８は、出力用映像信号１０１に対して計測用情報１０４を合成することにより表示用映像信号１０３を生成する。表示部６は、表示用映像信号１０３に基づいて、測距結果を含む画像を表示する（ステップＳ１４５）。ステップＳ１４５における処理が行われる直前に１つ前のフレームの画像に対する測距結果を含む画像が表示されている場合、ステップＳ１４５では、更新された測距結果を含む画像が表示される。測距結果が表示されることによって、ユーザは精度が高い計測結果を知ることができる。ステップＳ１４５の後、ステップＳ１００における処理が行われる。
【００８４】
ステップＳ１４０において、内視鏡挿入部２の先端２０を湾曲させる方向を示すメッセージのみが表示されてもよい。あるいは、内視鏡挿入部２の先端２０を湾曲させる方向を示すマーク（矢印など）のみが表示されてもよい。ユーザに対する報知は、表示部６以外の手段により行われてもよい。例えば、計測内視鏡装置１が音声出力機能を有する場合、計測内視鏡装置１が音声を出力することによってユーザに対する報知を行ってもよい。
【００８５】
信頼度が高い場合のみ測距が行われてもよい。例えば、ステップＳ１２０における処理が行われた後、ステップＳ１３０における処理が行われ、かつ、ステップＳ１３５において信頼度が高いと判定された場合にステップＳ１２５における処理が行われてもよい。
【００８６】
上記のように、計測内視鏡装置１は、オクルージョンが発生している場合にオクルージョンの発生とオクルージョンの回避方法とをユーザに報知する。これによって、ユーザは、オクルージョンの発生により正しく計測できないことを知ることができる。また、ユーザは、オクルージョンを回避するためにどのような湾曲操作が必要であるのかを知ることができる。
【００８７】
第１の画像において計測点が指定される場合、内視鏡挿入部２の先端２０の移動方向は、第２の光学系３２の第２の光学中心６４から第１の光学系３１の第１の光学中心６３に向かう方向である。内視鏡挿入部２の先端２０の移動方向は、この方向に完全に一致していなくてもよい。内視鏡挿入部２の先端２０の移動方向は、第２の光学系３２が、内視鏡挿入部２の先端２０が移動する前の第１の光学系３１の位置に近づくような方向であればよい。
【００８８】
信頼度判定部４４の詳細な構成を説明する。図１０は、信頼度判定部４４の第１の例である信頼度判定部４４ａの構成を示している。図１０に示すように、信頼度判定部４４ａは、相関値算出部４４１と、比較判定部４４２とを有する。
【００８９】
相関値算出部４４１は、第１の画像における計測点の位置と第２の画像における対応点の位置との相関値または相違度を算出する。比較判定部４４２は、相関値または相違度と第１の所定値とを比較し、その結果に基づいて、信頼度を判定する。例えば、比較判定部４４２は、相関値と第１の所定値とを比較し、相関値が第１の所定値よりも小さい場合に、信頼度が低いと判定する。あるいは、比較判定部４４２は、相違度と第１の所定値とを比較し、相違度が第１の所定値よりも大きい場合に、信頼度が低いと判定する。
【００９０】
図１１は、測距時の計測内視鏡装置１の動作の手順を示している。計測内視鏡装置１が信頼度判定部４４ａを有する場合、計測内視鏡装置１は、図１１に示す処理を行う。図１１について、図７と異なる点を説明する。
【００９１】
ステップＳ１２５の後、相関値算出部４４１は、計測処理部４３からの計測情報１１０に基づいて、第１の画像における計測点の位置と第２の画像における対応点の位置との相関値を算出する（ステップＳ１３０ａ）。ステップＳ１３０ａは、図７におけるステップＳ１３０に対応する。計測情報１１０は、計測点と対応点との位置情報を含む。また、計測情報１１０は、第１の画像における計測点の位置を含む領域の画像データと、第２の画像における対応点の位置を含む領域の画像データとを含む。相関値は、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）およびゼロ平均化正規化相互相関（ＺＮＣＣ：Ｚｅｒｏ−ｍｅａｎ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）などの値である。相関値は、類似度を示す値であり得る。また、第１の実施形態では相関値を用いて説明したが、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）およびＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などの相違度を用いてもよい。相違度が用いられる場合、後述するステップＳ１３５ａにおける判定では、相違度が第１の所定値よりも大きいか否かが判定される。相違度は、非類似度を示す値であり得る。
【００９２】
ステップＳ１３０ａの後、比較判定部４４２は、ステップＳ１３０ａで算出された相関値と第１の所定値とを比較し、相関値が第１の所定値よりも小さいか否かを判定する（ステップＳ１３５ａ）。ステップＳ１３５ａは、図７におけるステップＳ１３５に対応する。これによって、比較判定部４４２は、信頼度を判定する。比較判定部４４２は、判定結果を示す判定結果情報１１２を制御部４５に出力する。
【００９３】
ステップＳ１３５ａにおいて、相関値が第１の所定値よりも小さい場合、ステップＳ１４０における処理が行われる。ステップＳ１３５ａにおいて、相関値が第１の所定値よりも大きい場合、ステップＳ１４５における処理が行われる。
【００９４】
上記の点以外の点については、図１１に示す処理は、図７に示す処理と同様である。
【００９５】
図１２は、信頼度判定部４４の第２の例である信頼度判定部４４ｂの構成を示している。図１２に示すように、信頼度判定部４４ｂは、オクルージョン発生判定部４４３を有する。オクルージョン発生判定部４４３は、オクルージョンが発生しているか否かを判定する。信頼度判定部４４ｂは、オクルージョン発生判定部４４３によってオクルージョンが発生していると判定された場合に、信頼度が低いと判定する。
【００９６】
図１３は、オクルージョン発生判定部４４３の構成を示している。図１３に示すように、オクルージョン発生判定部４４３は、計測補助点設定部４４３１と、物体距離算出部４４３２と、差分算出部４４３３と、差分判定部４４３４とを有する。
【００９７】
計測補助点設定部４４３１は、少なくとも第１の画像に対応する映像信号（画像データ１０９）を処理することにより、第１の画像において計測点の左側に第１の計測補助点を設定し、かつ計測点の右側に第２の計測補助点を設定する。物体距離算出部４４３２は、第１の計測補助点における第１の物体距離と、第２の計測補助点における第２の物体距離とを算出する。差分算出部４４３３は、第１の物体距離と第２の物体距離との差分を算出する。差分判定部４４３４は、差分と第２の所定値とを比較し、差分が第２の所定値よりも大きい場合に、オクルージョンが発生していると判定する。
【００９８】
オクルージョンが発生しているか否かは、エピポーラ平面上に遮蔽物があるか否かに因る。このため、第１の計測補助点および第２の計測補助点は、第１の画像（左画面）上のエピポーラ線上で計測点を挟んだ両側に設定される。ただし、平行化（レクティフィケーション）が施されている場合には、エピポーラ線は画面の水平方向と平行になるので、上述した第１の計測補助点および第２の計測補助点は単に計測点の左右に設定されればよい。第１の実施形態では、後者の平行化が施された場合について説明する。
【００９９】
図１４は、測距時の計測内視鏡装置１の動作の手順を示している。計測内視鏡装置１が信頼度判定部４４ｂを有する場合、計測内視鏡装置１は、図１４に示す処理を行う。図１４について、図７と異なる点を説明する。
【０１００】
ステップＳ１２５の後、計測補助点設定部４４３１は、計測処理部４３からの計測情報１１０に基づいて、第１の画像において計測点の左側に第１の計測補助点を設定し、かつ計測点の右側に第２の計測補助点を設定する（ステップＳ１３０ｂ）。計測情報１１０は、計測点と対応点との位置情報を含む。また、計測情報１１０は、第１の画像における計測点の位置を含む領域の画像データと、第２の画像における対応点の位置を含む領域の画像データとを含む。
【０１０１】
図１５は、信頼度判定部４４ｂによって処理される画像の例を示している。第１の画像Ｇ１Ｌと第２の画像Ｇ１Ｒとは、被写体ＯＢの画像である。第１の画像Ｇ１Ｌにおいて被写体ＯＢの領域に計測点Ｐ１Ｌが指定されている。計測点Ｐ１Ｌは、段差のある領域上に指定されている。第２の画像Ｇ１Ｒにおいて、計測点Ｐ１Ｌに対応する対応点Ｐ１Ｒは、被写体ＯＢの表面における段差によって生じる死角に含まれる。このため、第２の画像Ｇ１Ｒにおいて、計測点Ｐ１Ｌに対応する対応点Ｐ１Ｒは視認できない。
【０１０２】
ステップＳ１３０ｂにおいて、計測補助点設定部４４３１は、計測点Ｐ１Ｌの左側に第１の計測補助点Ｐ２Ｌを設定し、かつ計測点Ｐ１Ｌの右側に第２の計測補助点Ｐ３Ｌを設定する。つまり、計測補助点設定部４４３１は、計測点Ｐ１Ｌを挟むように第１の計測補助点Ｐ２Ｌと第２の計測補助点Ｐ３Ｌとを設定する。第１の計測補助点Ｐ２Ｌと第２の計測補助点Ｐ３Ｌとは、計測点Ｐ１Ｌの近傍の点である。第１の計測補助点Ｐ２Ｌは、計測点Ｐ１Ｌを通る垂直ラインに対して左側の点である。第２の計測補助点Ｐ３Ｌは、計測点Ｐ１Ｌを通る垂直ラインに対して右側の点である。例えば、第１の計測補助点Ｐ２Ｌと第２の計測補助点Ｐ３Ｌとは、第１の画像Ｇ１Ｌにおいて計測点Ｐ１Ｌを通る水平ライン上の点である。例えば、第１の画像Ｇ１Ｌにおいて計測点Ｐ１Ｌと第１の計測補助点Ｐ２Ｌとの距離および計測点Ｐ１Ｌと第２の計測補助点Ｐ３Ｌとの距離は所定距離である。被写体ＯＢにおいて、第２の計測補助点Ｐ３Ｌにおける点は段差上にある。このため、第１の計測補助点Ｐ２Ｌまでの物体距離は、第２の計測補助点Ｐ３Ｌまでの物体距離よりも大きい。
【０１０３】
ステップＳ１３０ｂの後、物体距離算出部４４３２は、計測処理部４３からの計測情報１１０に基づいて、第１の計測補助点における第１の物体距離と、第２の計測補助点における第２の物体距離とを算出する（ステップＳ１３０ｃ）。ステップＳ１３０ｃにおいて、物体距離算出部４４３２は、ステップＳ１２０における処理と同様の処理により、第１の計測補助点に対応する第２の画像の第１の対応補助点と、第２の計測補助点に対応する第２の画像の第２の対応補助点とを算出する。さらに、物体距離算出部４４３２は、ステップＳ１２５における処理と同様の処理により、第１の計測補助点の３次元座標と第２の計測補助点の３次元座標とを算出する。第１の計測補助点のＺ座標の値は第１の計測補助点における第１の物体距離であり、第２の計測補助点のＺ座標の値は第２の計測補助点における第２の物体距離である。
【０１０４】
図１５において、第１の対応補助点Ｐ２Ｒは第１の計測補助点Ｐ２Ｌに対応し、第２の対応補助点Ｐ３Ｒは第２の計測補助点Ｐ３Ｌに対応する。第１の対応補助点Ｐ２Ｒと第２の対応補助点Ｐ３Ｒとは、第２の画像Ｇ１Ｒにおいて視認できる。
【０１０５】
ステップＳ１３０ｃの後、差分算出部４４３３は、ステップＳ１３０ｂにおいて算出された第１の物体距離と第２の物体距離との差分を算出する（ステップＳ１３０ｄ）。ステップＳ１３０ｄにおいて算出される差分は、第１の物体距離から第２の物体距離を減算した値の絶対値である。ステップＳ１３０ｂと、ステップＳ１３０ｃと、ステップＳ１３０ｄとは、図７におけるステップＳ１３０に対応する。
【０１０６】
ステップＳ１３０ｄの後、差分判定部４４３４は、ステップＳ１３０ｄで算出された差分と第２の所定値とを比較し、差分が第２の所定値よりも大きいか否かを判定する（ステップＳ１３５ｂ）。ステップＳ１３５ｂは、図７におけるステップＳ１３５に対応する。これによって、差分判定部４４３４は、信頼度を判定する。差分判定部４４３４は、判定結果を示す判定結果情報１１２を制御部４５に出力する。
【０１０７】
差分判定部４４３４は、物体距離の差分に基づいて、オクルージョンが発生しているか否かを判定することができる。計測点の両側に設定された２つの計測補助点における物体距離の差分が大きい場合、計測点の近傍において奥行き方向の高さが異なる大きな段差が存在する可能性が高い。つまり、オクルージョンが発生している可能性が高い。
【０１０８】
ステップＳ１３５ｂにおいて、差分が第２の所定値よりも大きい場合、ステップＳ１４０における処理が行われる。ステップＳ１３５ｂにおいて、差分が第２の所定値よりも小さい場合、ステップＳ１４５における処理が行われる。
【０１０９】
上記の点以外の点については、図１４に示す処理は、図７に示す処理と同様である。
【０１１０】
計測補助点設定部４４３１は、複数の第１の計測補助点と複数の第２の計測補助点とを設定してもよい。つまり、計測補助点設定部４４３１は、計測点の左側に複数の第１の計測補助点を設定し、かつ計測点の右側に複数の第２の計測補助点を設定してもよい。複数の第１の計測補助点は、計測点を通る垂直ラインに対して左側の点である。複数の第２の計測補助点は、計測点を通る垂直ラインに対して右側の点である。例えば、複数の第１の計測補助点と複数の第２の計測補助点とは、第１の画像において計測点を通る水平ライン上の点である。例えば、第１の画像において複数の第１の計測補助点の間隔と複数の第２の計測補助点の間隔とは等しい。
【０１１１】
複数の第１の計測補助点と複数の第２の計測補助点とが設定された場合、物体距離算出部４４３２は、複数の第１の計測補助点のそれぞれにおける第１の物体距離と、複数の第２の計測補助点のそれぞれにおける第２の物体距離とを算出する。物体距離算出部４４３２は、複数の第１の計測補助点のそれぞれにおける第１の物体距離の平均値を算出する。また、物体距離算出部４４３２は、複数の第２の計測補助点のそれぞれにおける第２の物体距離の平均値を算出する。
【０１１２】
複数の第１の計測補助点と複数の第２の計測補助点とが設定された場合、差分算出部４４３３は、第１の物体距離の平均値と第２の物体距離の平均値との差分を算出する。差分判定部４４３４は、この差分が第２の所定値よりも大きいか否かを判定する。
【０１１３】
図１６は、信頼度判定部４４の第３の例である信頼度判定部４４ｃの構成を示している。図１６に示すように、信頼度判定部４４ｃは、相関値算出部４４１と、オクルージョン発生判定部４４３と、比較判定部４４４とを有する。
【０１１４】
図１６における相関値算出部４４１は、図１０における相関値算出部４４１と同一である。つまり、相関値算出部４４１は、第１の画像における計測点の位置と第２の画像における対応点の位置との相関値を算出する。図１６におけるオクルージョン発生判定部４４３は、図１３におけるオクルージョン発生判定部４４３と同一である。つまり、オクルージョン発生判定部４４３は、オクルージョンが発生しているか否かを判定する。比較判定部４４４は、相関値または相違度と第１の所定値とを比較した比較結果と、オクルージョン発生判定部４４３による判定結果とに基づいて、信頼度を判定する。例えば、比較判定部４４４は、相関値と第１の所定値とを比較する。比較判定部４４４は、相関値が第１の所定値よりも小さく、かつオクルージョン発生判定部４４３によってオクルージョンが発生していると判定された場合に、信頼度が低いと判定する。あるいは、比較判定部４４４は、相違度と第１の所定値とを比較する。比較判定部４４４は、相違度が第１の所定値よりも大きく、かつオクルージョン発生判定部４４３によってオクルージョンが発生していると判定された場合に、信頼度が低いと判定する。
【０１１５】
図１７は、測距時の計測内視鏡装置１の動作の手順を示している。計測内視鏡装置１が信頼度判定部４４ｃを有する場合、計測内視鏡装置１は、図１７に示す処理を行う。図１７について、図１１および図１４と異なる点を説明する。
【０１１６】
ステップＳ１２５の後、ステップＳ１３０ａにおける処理が行われる。ステップＳ１３０ａの後、ステップＳ１３０ｂとステップＳ１３０ｃとステップＳ１３０ｄとにおける処理が順次行われる。ステップＳ１３０ｄの後、ステップＳ１３５ａにおける処理が行われる。
【０１１７】
ステップＳ１３５ａにおいて、相関値が第１の所定値よりも小さい場合、ステップＳ１３５ｂにおける処理が行われる。ステップＳ１３５ａにおいて、相関値が第１の所定値よりも大きい場合、ステップＳ１４５における処理が行われる。
【０１１８】
ステップＳ１３５ｂにおいて、差分が第２の所定値よりも大きい場合、ステップＳ１４０における処理が行われる。ステップＳ１３５ｂにおいて、差分が第２の所定値よりも小さい場合、ステップＳ１４５における処理が行われる。
【０１１９】
上記の点以外の点については、図１７に示す処理は、図１１および図１４に示す処理と同様である。
【０１２０】
図１７において、図１１に示すステップＳ１３０ａおよびステップＳ１３５ａにおける処理と、図１４に示すステップＳ１３０ｂ、ステップＳ１３０ｃ、ステップＳ１３０ｄ、およびステップＳ１３５ｂにおける処理とが組み合わされている。このため、信頼度判定部４４ｃは、オクルージョンが発生しているか否かをより高精度に判定することができる。
【０１２１】
第１の実施形態によれば、計測内視鏡装置１は、内視鏡挿入部２と、第１の光学系３１（第１の撮像光学系）と、第２の光学系３２（第２の撮像光学系）と、撮像素子２１と、計測処理部４３と、信頼度判定部４４と、報知制御部４５１とを有する。
【０１２２】
本発明の各態様の内視鏡装置は、操作部５と、表示部６と、映像信号処理部３４と、信号変換部３８と、画像記憶部４２と、外部記憶媒体４６とに対応する構成を有していなくてもよい。
【０１２３】
第１の実施形態では、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように内視鏡挿入部２の先端２０を湾曲させる湾曲操作をユーザに促す報知を行う。これによって、オクルージョンの発生による計測精度の低下を抑制することができる。
【０１２４】
（第２の実施形態）
本発明の第２の実施形態では、第１の実施形態における計測内視鏡装置１が図１８に示す計測内視鏡装置１ａに変更される。計測内視鏡装置１ａの外観は、図１に示す計測内視鏡装置１の外観と同様である。内視鏡挿入部２の先端２０とステレオ光学アダプタ３との構成は、図２と図３とに示す構成と同様である。
【０１２５】
図１８は、第２の実施形態の計測内視鏡装置１ａの構成を示している。図１８について、図４と異なる点を説明する。
【０１２６】
図４におけるコントロールユニット４がコントロールユニット４ａに変更される。コントロールユニット４ａにおいて、図４における制御部４５が制御部４５ａに変更される。制御部４５ａは、報知制御部４５１と、湾曲制御部４５２と、計測点確認部４５３とを有する。湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように湾曲部２２を制御する。言い換えると、湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が第２の光学系３２の第２の光学中心６４の位置（第２の位置）側から第１の光学系３１の第１の光学中心６３の位置（第１の位置）側に向かって移動するように湾曲部２２を制御する。つまり、第２の実施形態では、オクルージョンが発生した場合、計測内視鏡装置１ａは、オクルージョンが回避される方向に内視鏡挿入部２の先端２０を自動的に湾曲させる。
【０１２７】
湾曲制御部４５２は、被写体点が第２の光学系３２の視野に含まれるための湾曲量を算出する。湾曲制御部４５２が湾曲量に基づく湾曲制御を行う前に、計測点確認部４５３は、内視鏡挿入部２の先端２０が上記湾曲量だけ仮想的に湾曲したときに被写体点が第１の光学系３１の視野に含まれるか否かを判定する。報知制御部４５１は、内視鏡挿入部２の先端２０が上記湾曲量だけ仮想的に湾曲したときに被写体点が第１の光学系３１の視野に含まれないと判定された場合に、内視鏡挿入部２の先端２０を被写体から離間させる操作をユーザに促す報知を行う。被写体点は、計測点の推定された３次元座標における被写体上の空間点である。
【０１２８】
上記の点以外の点については、図１８に示す構成は、図４に示す構成と同様である。
【０１２９】
図１９は、湾曲制御部４５２の構成を示している。図１９に示すように、湾曲制御部４５２は、計測点推定部４５２１と、エッジ検出部４５２２と、エッジ位置算出部４５２３と、仮想直線算出部４５２４と、湾曲量算出部４５２５とを有する。
【０１３０】
計測点推定部４５２１は、少なくとも第１の画像に対応する映像信号（画像データ１０９）および少なくとも第２の画像に対応する映像信号（画像データ１０９）を処理することにより、計測点の３次元座標を推定する。エッジ検出部４５２２は、少なくとも第１の画像に対応する映像信号（画像データ１０９）を処理することにより、第１の画像において画像濃度の変化が相対的に大きいエッジを検出する。エッジは、第１の画像において計測点に対して視差方向側にある。視差方向は、第１の光学系３１の第１の光学中心（図６の第１の光学中心６３）から第２の光学系３２の第２の光学中心（図６の第２の光学中心６４）に向かう方向である。
【０１３１】
エッジ位置算出部４５２３は、少なくとも第１の画像に対応する映像信号（画像データ１０９）および第２の画像に対応する映像信号（画像データ１０９）を処理することにより、三角測量の原理でエッジにおけるエッジ点の３次元座標を算出する。仮想直線算出部４５２４は、計測点の推定された３次元座標とエッジ点の３次元座標とを通る仮想直線を算出する。
【０１３２】
湾曲量算出部４５２５は、計測点の推定された３次元座標における被写体点が第２の光学系３２の視野に含まれるための湾曲量を算出する。つまり、湾曲量算出部４５２５は、第２の光学系３２の第２の光学中心が、仮想直線上の位置または当該仮想直線に対して視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出する。言い換えると、湾曲量算出部４５２５は、第２の光学系３２の第２の光学中心の投影点が、仮想投影直線上の位置または当該仮想投影直線に対して視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出する。第２の光学系３２の第２の光学中心の投影点は、視差方向と第１の光学系３１および第２の光学系３２の光軸方向とに広がるエピポーラ平面上に第２の光学系３２の第２の光学中心を投影することによりできる点である。仮想投影直線は、エピポーラ平面上に仮想直線を投影することによりできる直線である。
【０１３３】
仮想直線算出部４５２４は、撮像素子２１の受光面２４における計測点位置と第１の光学系３１の第１の光学中心とを通る仮想直線を算出してもよい。つまり、湾曲量算出部４５２５は、第２の光学系３２の第２の光学中心が、仮想直線上の位置または当該仮想直線に対して視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出してもよい。言い換えると、湾曲量算出部４５２５は、第２の光学系３２の第２の光学中心の投影点が、仮想投影直線上の位置または当該仮想投影直線に対して視差方向の反対方向側にある位置に移動するために必要な湾曲量を算出してもよい。
【０１３４】
少なくとも第１の画像に対応する映像信号および少なくとも第２の画像に対応する映像信号の処理は、第１の画像と第２の画像とに対応する映像信号において第１の画像に対応する部分の映像信号の処理と第２の画像に対応する部分の映像信号の処理とを含む。あるいは、少なくとも第１の画像に対応する映像信号および少なくとも第２の画像に対応する映像信号の処理は、第１の画像のみに対応する映像信号の処理と、第２の画像のみに対応する映像信号の処理とを含む。
【０１３５】
計測点推定部４５２１は、少なくとも第１の画像に対応する映像信号（画像データ１０９）を処理することにより、第１の画像において計測点の近傍に複数の計測補助点を設定する。計測点推定部４５２１は、少なくとも第１の画像に対応する映像信号（画像データ１０９）および少なくとも第２の画像に対応する映像信号（画像データ１０９）を処理することにより複数の計測補助点に対応する第２の画像の複数の対応補助点を探索する。計測点推定部４５２１は、探索（特定）された複数の対応補助点と複数の計測補助点とを用いて三角測量の原理で複数の計測補助点の３次元座標を算出する。計測点推定部４５２１は、撮像素子２１の受光面２４における計測点位置と第１の光学系３１の第１の光学中心（図６の第１の光学中心６３）とを通る仮想直線と複数の計測補助点の３次元座標に基づく平面との交点の３次元座標を算出することにより、計測点の３次元座標を推定する。
【０１３６】
図２０は、測距時の計測内視鏡装置１ａの動作の手順を示している。図２０について、図７と異なる点を説明する。
【０１３７】
ステップＳ１３５において、信頼度が低いと判定された場合、計測点推定部４５２１は、計測点の３次元座標を推定する（ステップＳ１５０）。ステップＳ１５０における詳細な処理を説明する。
【０１３８】
図２１は、湾曲制御部４５２によって処理される画像の例を示している。第１の画像Ｇ１Ｌと第２の画像Ｇ１Ｒとは、被写体ＯＢの画像である。第１の画像Ｇ１Ｌにおいて被写体ＯＢの領域に計測点Ｐ１Ｌが指定されている。計測点Ｐ１Ｌは、段差のある領域上に指定されている。第２の画像Ｇ１Ｒにおいて、計測点Ｐ１Ｌに対応する対応点Ｐ１Ｒは、被写体ＯＢの表面における段差によって生じる死角に含まれる。このため、第２の画像Ｇ１Ｒにおいて、計測点Ｐ１Ｌに対応する対応点Ｐ１Ｒは視認できない。
【０１３９】
ステップＳ１５０において、計測点推定部４５２１は、計測点Ｐ１Ｌの左側に計測補助点Ｐ４Ｌと計測補助点Ｐ５Ｌと計測補助点Ｐ６Ｌと計測補助点Ｐ７Ｌとを設定する。計測補助点Ｐ４Ｌと計測補助点Ｐ５Ｌと計測補助点Ｐ６Ｌと計測補助点Ｐ７Ｌとは、計測点Ｐ１Ｌを通る垂直ラインに対して左側の点である。例えば、計測補助点Ｐ４Ｌと計測補助点Ｐ５Ｌと計測補助点Ｐ６Ｌと計測補助点Ｐ７Ｌとは、第１の画像Ｇ１Ｌにおいて計測点Ｐ１Ｌを通る水平ライン（エピポーラ線）上の点である。例えば、第１の画像Ｇ１Ｌにおいて各計測補助点の間隔は等しい。
【０１４０】
計測点推定部４５２１は、ステップＳ１２０における処理と同様の処理により、各計測補助点に対応する第２の画像の各対応補助点を算出する。さらに、計測点推定部４５２１は、ステップＳ１２５における処理と同様の処理により、各計測補助点の３次元座標を算出する。
【０１４１】
図２２は、内視鏡挿入部２の先端２０と被写体ＯＢとの位置を模式的に示している。図２２では、内視鏡挿入部２の先端２０と被写体ＯＢとを図６に示すｘｚ平面に投影した状態が示されている。図２２において空間上の点は、ｘｚ平面に投影された点として示されている。
【０１４２】
被写体ＯＢの表面上の点からの光は、第１の光学系３１の第１の光学中心６３を通り、撮像素子２１の受光面２４に結像される。同様に、被写体ＯＢの表面上の点からの光は、第２の光学系３２の第２の光学中心６４を通り、撮像素子２１の受光面２４に結像される。受光面２４における計測点位置の点Ｐ１０と第１の光学中心６３とを通る仮想直線Ｌ１と被写体ＯＢの表面とが交わる点Ｐ１１が、計測点に対応する被写体上の空間点として推定される点である。点Ｐ１２は、計測補助点Ｐ４Ｌに対応する被写体上の空間点である。点Ｐ１３は、計測補助点Ｐ５Ｌに対応する被写体上の空間点である。点Ｐ１４は、計測補助点Ｐ６Ｌに対応する被写体上の空間点である。点Ｐ１５は、計測補助点Ｐ７Ｌに対応する被写体上の空間点である。例えば、計測点推定部４５２１は、点Ｐ１２と点Ｐ１３と点Ｐ１４と点Ｐ１５とのそれぞれの３次元座標を算出する。
【０１４３】
計測点推定部４５２１は、複数の計測補助点のうち信頼度が高い２つ以上の点の３次元座標を使用する。例えば、図２２において、点Ｐ１２と第２の光学中心６４とを通る仮想直線Ｌ２は、被写体ＯＢのエッジによって遮られる。つまり、点Ｐ１２は、第２の画像において視認できない。このため、対応点探索部４３２は、第２の画像において点Ｐ１２に対応する対応点を探索することができない。一方、点Ｐ１３と点Ｐ１４と点Ｐ１５とは、第２の画像において視認できる。このため、対応点探索部４３２が第２の画像において点Ｐ１３と点Ｐ１４と点Ｐ１５とのそれぞれに対応する対応点を探索することができる。
【０１４４】
上記のため、計測点推定部４５２１は、計測補助点Ｐ５Ｌと計測補助点Ｐ６Ｌと計測補助点Ｐ７Ｌとの３次元座標すなわち点Ｐ１３と点Ｐ１４と点Ｐ１５との３次元座標を使用する。これによって、計測点推定部４５２１は、計測点の３次元座標を高精度に推定することができる。例えば、計測補助点の信頼度は、第１の画像における計測補助点の位置と第２の画像において計測補助点に対応する対応点の位置との相関値として得られる。計測点推定部４５２１は、複数の計測補助点のうち相関値が高い２つ以上の点の３次元座標を使用してもよい。
【０１４５】
計測点推定部４５２１は、２つ以上の計測補助点の３次元座標に基づいて、計測点の近傍において、エピポーラ平面で被写体ＯＢを切断した際の被写体ＯＢの表面形状を算出する。例えば、計測点推定部４５２１は、図２２における点Ｐ１３と点Ｐ１４と点Ｐ１５との３次元座標に基づいて、エピポーラ平面上における、点Ｐ１３と点Ｐ１４と点Ｐ１５との３点を通る近似直線Ｓ１を算出する。計測点推定部４５２１は、この近似直線Ｓ１を被写体ＯＢの外表面におけるエピポーラ線上の形状とみなす。
【０１４６】
計測点推定部４５２１は、撮像素子２１の受光面２４における計測点位置と第１の光学系３１の第１の光学中心とを通る仮想直線を算出する。例えば、計測点推定部４５２１は、図２２における点Ｐ１０と第１の光学中心６３とを通るエピポーラ平面上の仮想直線Ｌ１を算出する。図６に示す座標系における受光面２４の位置は既知である。このため、受光面２４上の位置の３次元座標は、予め得られている。受光面２４の位置と第１の画像における位置との関係は既知である。第１の画像において計測点が指定された場合、計測点推定部４５２１は、撮像素子２１の受光面２４における計測点位置の点Ｐ１０の３次元座標を算出することができる。また、第１の光学中心６３の３次元座標は、予め算出されている。
【０１４７】
計測点推定部４５２１は、仮想直線と近似直線とが交わる点の３次元座標を算出する。これによって、計測点推定部４５２１は、計測点の３次元座標を推定する。例えば、計測点推定部４５２１は、図２２におけるエピポーラ平面上の仮想直線Ｌ１と、エピポーラ平面上の近似直線Ｓ１とが交わる点Ｐ１１の３次元座標を算出する。点Ｐ１１の３次元座標は、計測点の推定された３次元座標である。
【０１４８】
ステップＳ１５０の後、エッジ検出部４５２２は、第１の画像において、段差のある遮蔽部のエッジを検出する。さらに、エッジ位置算出部４５２３は、エッジにおけるエッジ点の３次元座標を算出する（ステップＳ１５５）。ステップＳ１５５における詳細な処理を説明する。
【０１４９】
エッジ検出部４５２２は、第１の画像に対して画像処理を行う。これによって、エッジ検出部４５２２は、画像濃度の急激な変化があるエッジ部分を抽出する。例えば、エッジ検出部４５２２は、左右に隣接する画素の信号値の差が相対的に大きい部分をエッジ部分として検出する。第１の画像においてエッジ部分の抽出が行われる領域は、計測点に対して視差方向側の領域である。例えば、図２２において、視差方向はｘ方向すなわち右方向である。つまり、エッジ部分の抽出が行われる領域は、計測点に対して右方向側の領域である。
【０１５０】
エッジ位置算出部４５２３は、抽出されたエッジ部分においてエッジ点を設定する。エッジ位置算出部４５２３は、ステップＳ１２０における処理と同様の処理により、エッジ点に対応する第２の画像のエッジ対応点を算出する。さらに、エッジ位置算出部４５２３は、ステップＳ１２５における処理と同様の処理により、エッジ点の３次元座標を算出する。例えば、エッジ位置算出部４５２３は、図２２における点Ｐ１６の３次元座標を算出する。点Ｐ１６は、被写体ＯＢの表面にある段差の頂点部分にある。
【０１５１】
ステップＳ１５５の後、仮想直線算出部４５２４は、計測点の推定された３次元座標とエッジ点の３次元座標とを通る仮想直線を算出する。湾曲量算出部４５２５は、必要な湾曲量を算出する（ステップＳ１６０）。ステップＳ１６０における詳細な処理を説明する。
【０１５２】
例えば、仮想直線算出部４５２４は、図２２における点Ｐ１１と点Ｐ１６とを通る仮想直線Ｌ３を算出する。点Ｐ１１は、計測点に対応する被写体上の空間点として推定された点である。点Ｐ１６は、エッジ点である。
【０１５３】
計測点に対応する被写体上の空間点が第２の光学系３２を介して観察できるためには、第２の光学系３２の第２の光学中心６４の投影点が以下の仮想投影直線上の位置または仮想投影直線に対して視差方向の反対方向側にある位置に移動する必要がある。第２の光学系３２の第２の光学中心６４の投影点は、視差方向と第１の光学系３１および第２の光学系３２の光軸方向とに広がるエピポーラ平面上に第２の光学系３２の第２の光学中心６４の投影点を投影することによりできる点である。仮想投影直線は、エピポーラ平面上に仮想直線を投影することによりできる直線である。
【０１５４】
例えば、図２２において、視差方向はｘ方向であり、第１の光学系３１および第２の光学系３２の光軸方向はｚ方向である。つまり、エピポーラ平面はｘｚ平面である。図２２において、第２の光学系３２の第２の光学中心６４の投影点は、第２の光学系３２の第２の光学中心６４をｘｚ平面に投影してできる点である。図２２において、仮想投影直線は、仮想直線Ｌ３をｘｚ平面に投影してできる直線である。図２２において、空間上の直線はｘｚ平面に投影された状態で示されている。このため、図２２において、第２の光学系３２の第２の光学中心６４の投影点は第２の光学系３２の第２の光学中心６４の位置にある。図２２において、仮想投影直線は仮想直線Ｌ３の位置にある。図２２において、視差方向の反対方向は左方向である。したがって、第２の光学系３２の第２の光学中心６４の投影点は、仮想投影直線上の位置または仮想投影直線に対して左方向側にある位置に移動する必要がある。
【０１５５】
図２３は、内視鏡挿入部２の先端２０が湾曲する様子を示している。内視鏡挿入部２の先端２０が移動したときの内視鏡挿入部２の先端２０の軌跡は、湾曲中心Ｃ１を中心とする円として近似することができる。湾曲中心Ｃ１は、内視鏡挿入部２に対して固定された点である。湾曲量算出部４５２５は、内視鏡挿入部２の先端２０が上記の円を描くように移動すると仮定した場合に、第２の光学系３２の第２の光学中心６４の投影点が仮想投影直線上の位置または仮想投影直線に対して左方向側にある位置に移動するための湾曲量を算出する。
【０１５６】
ステップＳ１６０において、以下の処理により湾曲量が算出されてもよい。仮想直線算出部４５２４は、撮像素子２１の受光面２４における計測点位置と第１の光学系３１の第１の光学中心とを通る仮想直線（図２２における仮想直線Ｌ１）を算出する。前述したように、計測点推定部４５２１は、撮像素子２１の受光面２４における計測点位置（図２２における点Ｐ１０）の３次元座標を算出することができる。また、第１の光学系３１の第１の光学中心の３次元座標は、予め算出されている。この仮想直線の算出において、計測点推定部４５２１によって推定された計測点の３次元座標は必須ではない。
【０１５７】
第２の光学系３２の第２の光学中心６４の投影点が以下の仮想投影直線上の位置または仮想投影直線に対して視差方向の反対方向側にある位置に移動することにより、計測点に対応する被写体上の空間点が第２の光学系３２を介して観察できる。第２の光学系３２の第２の光学中心６４の投影点は、視差方向と第１の光学系３１および第２の光学系３２の光軸方向とに広がるエピポーラ平面上に第２の光学系３２の第２の光学中心６４の投影点を投影することによりできる点である。仮想投影直線は、エピポーラ平面上に仮想直線を投影することによりできる直線である。
【０１５８】
例えば、前述したように、図２２において、エピポーラ平面はｘｚ平面である。図２２において、第２の光学系３２の第２の光学中心６４の投影点は、第２の光学系３２の第２の光学中心６４をｘｚ平面に投影してできる点である。図２２において、仮想投影直線は、仮想直線Ｌ１をｘｚ平面に投影してできる直線である。図２２において、空間上の直線はｘｚ平面に投影された状態で示されている。このため、図２２において、第２の光学系３２の第２の光学中心６４の投影点は第２の光学系３２の第２の光学中心６４の位置にある。図２２において、仮想投影直線は仮想直線Ｌ１の位置にある。図２２において、視差方向の反対方向は左方向である。したがって、湾曲量算出部４５２５は、第２の光学系３２の第２の光学中心６４の投影点が、仮想投影直線上の位置または仮想投影直線に対して左方向側にある位置に移動するための湾曲量を算出する。
【０１５９】
ステップＳ１６０の後、計測点確認部４５３は、内視鏡挿入部２の先端２０がステップＳ１６０で算出された湾曲量だけ仮想的に湾曲したときに、計測点の推定された３次元座標における被写体点が第１の光学系３１の視野（左視野）に含まれるか否かを判定する（ステップＳ１６５）。
【０１６０】
図２４と図２５とは、内視鏡挿入部２の先端２０と被写体ＯＢとの位置を模式的に示している。図２４と図２５とでは、内視鏡挿入部２の先端２０と被写体ＯＢとを図６に示すｘｚ平面に投影した状態が示されている。図２４と図２５とにおいて空間上の点は、ｘｚ平面に投影された点として示されている。図２４と図２５とでは、内視鏡挿入部２の先端２０が湾曲した後の状態が示されている。
【０１６１】
図２４に示すように、第２の光学系３２の第２の光学中心６４の投影点は仮想投影直線Ｌ４よりも左側にある。仮想投影直線Ｌ４は、計測点の推定された３次元座標とエッジ点の３次元座標とを通る仮想直線Ｌ３をｘｚ平面に投影してできる直線である。点Ｐ１１は、計測点に対応する被写体上の空間点として推定された点すなわち被写体点である。点Ｐ１１と第２の光学中心６４とを通る仮想直線Ｌ５は、受光面２４と点Ｐ２０で交わる。このため、点Ｐ１１からの光は、第２の光学系３２によって受光面２４上の点Ｐ２０の位置に結像される。つまり、点Ｐ１１は、第２の光学系３２の視野に含まれる。したがって、点Ｐ１１が第２の画像において視認できる。
【０１６２】
一方、図２４に示すように、点Ｐ１１と第１の光学中心６３とを通る仮想直線Ｌ６は、受光面２４と点Ｐ２１で交わる。このため、点Ｐ１１からの光は、第１の光学系３１によって受光面２４上の点Ｐ２１の位置に結像される。つまり、点Ｐ１１は、第１の光学系３１の視野に含まれる。したがって、点Ｐ１１が第１の画像において視認できる。上記のように、図２４では、点Ｐ１１が計測点として第１の画像において視認でき、かつ点Ｐ１１が対応点として第２の画像において視認できる。このため、精度が高い計測結果を得ることができる。
【０１６３】
図２５では、内視鏡挿入部２の先端２０が被写体ＯＢに近い場合の状態が示されている。図２５に示すように、第２の光学系３２の第２の光学中心６４の投影点は仮想投影直線Ｌ４よりも左側にある。被写体点である点Ｐ１１と第２の光学中心６４とを通る仮想直線Ｌ７は、受光面２４と点Ｐ２２で交わる。このため、点Ｐ１１からの光は、第２の光学系３２によって受光面２４上の点Ｐ２２の位置に結像される。つまり、点Ｐ１１は、第２の光学系３２の視野に含まれる。したがって、点Ｐ１１が第２の画像において視認できる。
【０１６４】
一方、図２５に示すように、点Ｐ１１と第１の光学中心６３とを通る仮想直線Ｌ８は、受光面２４と交わらない。このため、点Ｐ１１からの光は、第１の光学系３１によって受光面２４に結像されない。つまり、点Ｐ１１は、第１の光学系３１の視野に含まれない。したがって、点Ｐ１１が第１の画像において視認できない。この結果、図２５では、点Ｐ１１に対応する点を第１の画像において計測点として指定することができない。つまり、点Ｐ１１における計測結果を得ることができない。内視鏡挿入部２の先端２０が被写体ＯＢに近い場合、点Ｐ１１は、第１の光学系３１の視野に含まれにくい。
【０１６５】
ステップＳ１６５において、計測点確認部４５３は、湾曲後の内視鏡挿入部２の先端２０と被写体ＯＢとの状態が、図２４に示す状態であるか否かを確認する。ステップＳ１６５における詳細な処理を説明する。
【０１６６】
計測点確認部４５３は、湾曲後の第１の光学系３１の第１の光学中心の３次元座標を算出する。湾曲後の第１の光学系３１の第１の光学中心の３次元座標は、湾曲前の第１の光学系３１の第１の光学中心の３次元座標と湾曲量とに基づいて算出することができる。計測点確認部４５３は、計測点の推定された３次元座標と湾曲後の第１の光学系３１の第１の光学中心の３次元座標とを通る仮想直線（図２４における仮想直線Ｌ６および図２５における仮想直線Ｌ８）を算出する。計測点確認部４５３は、この仮想直線と受光面２４とが交わるか否かを判定する。湾曲後の受光面２４の位置は、湾曲前の受光面２４の位置と湾曲量とに基づいて算出することができる。
【０１６７】
仮想直線と受光面２４とが交わる場合、計測点の推定された３次元座標における被写体点が第１の光学系３１の視野に含まれる。仮想直線と受光面２４とが交わらない場合、計測点の推定された３次元座標における被写体点が第１の光学系３１の視野に含まれない。
【０１６８】
計測点確認部４５３は、計測点の推定された３次元座標における被写体点が第１の光学系３１の視野に含まれるか否かを以下の処理により確認してもよい。計測点確認部４５３は、上記と同様の処理により、計測点の推定された３次元座標と湾曲後の第１の光学系３１の第１の光学中心の３次元座標とを通る第１の仮想直線を算出する。さらに、計測点確認部４５３は、受光面２４の左端の１つの点の３次元座標と湾曲後の第１の光学系３１の第１の光学中心の３次元座標とを通る第２の仮想直線を算出する。計測点確認部４５３は、第１の仮想直線をｘｚ平面に投影してできる第１の仮想投影直線と第２の仮想直線をｘｚ平面に投影してできる第２の仮想投影直線との幾何学的な関係を確認する。
【０１６９】
第１の光学系３１の第１の光学中心に対して受光面２４側の領域において第１の仮想投影直線が第２の仮想投影直線の右側にある場合、計測点の推定された３次元座標における被写体点は第１の光学系３１の視野に含まれる。第１の光学中心に対して受光面２４側の領域において第１の仮想投影直線が第２の仮想投影直線の左側にある場合、計測点の推定された３次元座標における被写体点は第１の光学系３１の視野に含まれない。
【０１７０】
ステップＳ１６５において、計測点の推定された３次元座標における被写体点が第１の光学系３１の視野に含まれる場合、湾曲制御部４５２は、ステップＳ１６０で算出された湾曲量だけ内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように湾曲部２２を制御する。これによって、湾曲部２２は、内視鏡挿入部２の先端２０を視差方向の第１の光学系３１側に移動させる（ステップＳ１７０）。この結果、ユーザが指定した計測点の位置においてオクルージョンが回避される。ステップＳ１７０の後、ステップＳ１００における処理が行われる。
【０１７１】
ステップＳ１６５において、計測点の推定された３次元座標における被写体点が第１の光学系３１の視野に含まれない場合、報知制御部４５１は、警告を含む計測用情報１０４を出力する。これによって報知制御部４５１は、警告をユーザに報知する。信号変換部３８は、出力用映像信号１０１に対して計測用情報１０４を合成することにより表示用映像信号１０３を生成する。表示部６は、表示用映像信号１０３に基づいて、警告を含む画像を表示する（ステップＳ１７５）。警告は、内視鏡挿入部２の先端２０を被写体から離間させる操作をユーザに促すメッセージを含む。ステップＳ１７５の後、ステップＳ１００における処理が行われる。
【０１７２】
図２６は、ステップＳ１７５において表示部６によって表示される画像の例を示している。図２６について、図８と異なる点を説明する。表示部６は、メッセージウィンドウＷ２を表示する。メッセージウィンドウＷ２は、オクルージョンの発生を示すメッセージＭＳ３と、内視鏡挿入部２の先端２０を被写体から離間させる操作をユーザに促すメッセージＭＳ４とを含む。メッセージＭＳ３とメッセージＭＳ４とが表示されることによって、ユーザは、オクルージョンを回避するために内視鏡挿入部２の先端２０を被写体から離間させればよいことを知ることができる。ユーザは、表示されたメッセージに従って操作部５を操作することにより内視鏡挿入部２の先端２０を被写体から離間させることができる。上記の点以外の点については、図２６に示す画像は、図８に示す画像と同様である。
【０１７３】
上記の点以外の点については、図２０に示す処理は、図７に示す処理と同様である。
【０１７４】
計測内視鏡装置１ａは、内視鏡挿入部２の先端２０を軸方向に前後に移動させる機構を有していてもよい。この場合、ステップＳ１６５において、計測点の推定された３次元座標における被写体点が第１の光学系３１の視野に含まれない場合、計測内視鏡装置１ａは、内視鏡挿入部２の先端２０を自動的に被写体から離間させてもよい。
【０１７５】
図２０において、ステップＳ１６５とステップＳ１７５とは、必須ではない。例えば、ステップＳ１６０における処理が行われた後、ステップＳ１６５における処理が行われずにステップＳ１７０における処理が行われてもよい。
【０１７６】
図２０において、ステップＳ１３０が図１１におけるステップＳ１３０ａに変更され、かつステップＳ１３５が図１１におけるステップＳ１３５ａに変更されてもよい。あるいは、図２０において、ステップＳ１３０が図１４におけるステップＳ１３０ｂとステップＳ１３０ｃとステップＳ１３０ｄとに変更され、かつステップＳ１３５が図１４におけるステップＳ１３５ｂに変更されてもよい。
【０１７７】
第２の実施形態によれば、計測内視鏡装置１ａは、内視鏡挿入部２と、第１の光学系３１（第１の撮像光学系）と、第２の光学系３２（第２の撮像光学系）と、撮像素子２１と、計測処理部４３と、湾曲部２２と、信頼度判定部４４と、湾曲制御部４５２とを有する。計測内視鏡装置１ａは、これらに加えて、報知制御部４５１と、計測点確認部４５３とを有する。第２の実施形態では、報知制御部４５１と計測点確認部４５３とは、必須ではない。
【０１７８】
第２の実施形態では、湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように湾曲部２２を制御する。これによって、オクルージョンの発生による計測精度の低下を抑制することができる。
【０１７９】
また、内視鏡挿入部２が自動的に湾曲することによって計測点の推定された３次元座標における被写体点が第１の光学系３１の視野に含まれないことが想定される場合、報知制御部４５１は、内視鏡挿入部２の先端２０を被写体から離間させる操作をユーザに促す報知を行う。これによって、内視鏡挿入部２の先端２０と被写体との距離を適切に保つことができる。
【０１８０】
（第３の実施形態）
本発明の第３の実施形態では、第１の実施形態における計測内視鏡装置１が図２７に示す計測内視鏡装置１ｂに変更される。計測内視鏡装置１ｂの外観は、図１に示す計測内視鏡装置１の外観と同様である。内視鏡挿入部２の先端２０とステレオ光学アダプタ３との構成は、図２と図３とに示す構成と同様である。
【０１８１】
図２７は、第３の実施形態の計測内視鏡装置１ｂの構成を示している。図２７について、図１８と異なる点を説明する。
【０１８２】
図１８におけるコントロールユニット４ａがコントロールユニット４ｂに変更される。コントロールユニット４ｂにおいて、図１８における計測処理部４３が計測処理部４３ｂに変更される。また、コントロールユニット４ｂにおいて、図１８における制御部４５ａが制御部４５ｂに変更される。制御部４５ｂは、報知制御部４５１と、湾曲制御部４５２とを有する。湾曲制御部４５２は、内視鏡挿入部２の先端２０が所定の湾曲量だけ湾曲するように湾曲部２２を制御する。信頼度判定部４４は、所定の湾曲量に基づく湾曲部２２の制御が行われる前と後とにおいて信頼度の判定を行う。
【０１８３】
上記の点以外の点については、図２７に示す構成は、図１８に示す構成と同様である。
【０１８４】
図２８は、計測処理部４３ｂの構成を示している。図２８に示すように、計測処理部４３ｂは、計測点指定部４３１と、対応点探索部４３２と、３次元座標算出部４３３と、計測点探索部４３４とを有する。図２８について、図５と異なる点を説明する。
【０１８５】
計測点探索部４３４は、所定の湾曲量に基づく湾曲部２２の制御が行われた後の少なくとも第１の画像に対応する映像信号（画像データ１０９）を処理する。これによって、計測点探索部４３４は、所定の湾曲量に基づく湾曲部２２の制御が行われる前に指定された計測点の位置と同一の位置を探索する。さらに、計測点探索部４３４は、探索された位置に計測点を設定する。
【０１８６】
第２の実施形態では、オクルージョンを回避するために必要な湾曲量が算出され、かつその湾曲量だけ内視鏡挿入部２の先端２０を湾曲させる制御が行われる。しかし、軟性内視鏡において、時間の経過に応じて内視鏡挿入部２の剛性が変化することにより、所望の湾曲量の制御が困難な場合がある。あるいは、軟性内視鏡において、湾曲を開始するときの内視鏡挿入部２の湾曲状態に応じて同一の駆動量に対する湾曲量が異なるため、所望の湾曲量の制御が困難な場合がある。第３の実施形態では、上記を考慮して、内視鏡挿入部２の先端２０を微小量だけ湾曲させる処理と、オクルージョン発生の判定とが繰り返し行われる。これによって、オクルージョンを回避することができる。
【０１８７】
計測点探索部４３４によって計測点が設定された場合、対応点探索部４３２は、その計測点に対応する第２の画像の対応点を探索する。信頼度判定部４４は、計測点探索部４３４によって探索された計測点に対応する対応点に基づいて信頼度を再度判定する。
【０１８８】
上記の点以外の点については、図２８に示す構成は、図５に示す構成と同様である。
【０１８９】
図２９は、測距時の計測内視鏡装置１ｂの動作の手順を示している。図２９について、図７と異なる点を説明する。
【０１９０】
ステップＳ１３５において、信頼度が低いと判定された場合、報知制御部４５１は、警告を含む計測用情報１０４を出力する。これによって報知制御部４５１は、警告をユーザに報知する。信号変換部３８は、出力用映像信号１０１に対して計測用情報１０４を合成することにより表示用映像信号１０３を生成する。表示部６は、表示用映像信号１０３に基づいて、警告を含む画像を表示する（ステップＳ２００）。警告は、内視鏡挿入部２の先端２０を自動的に湾曲させることをユーザに報知するメッセージを含む。
【０１９１】
図３０は、ステップＳ２００において表示部６によって表示される画像の例を示している。図３０について、図８と異なる点を説明する。表示部６は、メッセージウィンドウＷ３を表示する。メッセージウィンドウＷ３は、オクルージョンの発生を示すメッセージＭＳ５と、内視鏡挿入部２の先端２０を自動的に湾曲させることを示すメッセージＭＳ６とを含む。また、メッセージウィンドウＷ３は、自動湾曲の方向を示す矢印ＡＲ２を含む。矢印ＡＲ２は、左方向を示している。矢印ＡＲ２が示す方向は、第２の光学系３２から第１の光学系３１に向かう方向である。メッセージＭＳ６と矢印ＡＲ２とが表示されることによって、ユーザは、オクルージョンを回避するために内視鏡挿入部２の先端２０が左側に自動的に湾曲することを知ることができる。上記の点以外の点については、図３０に示す画像は、図８に示す画像と同様である。
【０１９２】
ステップＳ２００の後、湾曲制御部４５２は、所定の湾曲量だけ内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように湾曲部２２を制御する。これによって、湾曲部２２は、内視鏡挿入部２の先端２０を視差方向の第１の光学系３１側に移動させる（ステップＳ２０５）。所定の湾曲量は、微小な湾曲量でよい。例えば、所定の湾曲量は、第１の光学系３１の第１の光学中心と第２の光学系３２の第２の光学中心との距離よりも小さい。
【０１９３】
ステップＳ２０５の後、映像信号処理部３４は、撮像信号１００から出力用映像信号１０１と出力用映像信号１０２とを生成する。信号変換部３８は、出力用映像信号１０１に基づく表示用映像信号１０３を表示部６に出力する（ステップＳ２１０）。ステップＳ２１０で使用される撮像信号１００は、ステップＳ１００で使用される撮像信号１００が出力された後に新たに出力された信号である。
【０１９４】
ステップＳ２１０の後、表示部６は、表示用映像信号１０３に基づいて画像を表示する（ステップＳ２１５）。ステップＳ２１５において表示される画像は、図８に示す画像と同様である。ステップＳ２１５において表示される画像は、図３０に示すメッセージウィンドウＷ３を含んでもよい。
【０１９５】
ステップＳ２１５の後、計測処理部４３ｂは、２フレームの画像データ１０９を処理することにより、先のフレームの第１の画像において計測点の位置と一致する位置を後のフレームの第１の画像において検出する。これによって、計測処理部４３ｂは、所定の湾曲量に基づく湾曲部２２の制御が行われる前に指定された計測点の位置と同一の位置を探索する。つまり、計測処理部４３ｂは、計測点の位置を追跡する。さらに、計測処理部４３ｂは、探索された位置に計測点を設定することにより計測点を更新する（ステップＳ２２０）。計測処理部４３ｂは、更新された計測点の位置に照準が表示されるように照準の位置を修正する。
【０１９６】
ステップＳ２２０の後、ステップＳ１２０における処理が行われる。つまり、対応点探索部４３２は、更新された計測点に対応する第２の画像の対応点を探索する。ステップＳ１２０における処理が行われた後、ステップＳ１２５とステップＳ１３０とにおける処理が行われる。さらに、ステップＳ１３５における判定が行われる。ステップＳ１３５において、信頼度判定部４４は、計測点探索部４３４によって探索された計測点に対応する対応点に基づいて信頼度を判定する。
【０１９７】
上記の点以外の点については、図２９に示す処理は、図７に示す処理と同様である。
【０１９８】
図２９において、ステップＳ２００は、必須ではない。例えば、ステップＳ１３５において、信頼度が低いと判定された場合、ステップＳ２００における処理が行われずにステップＳ２０５における処理が行われてもよい。
【０１９９】
図２９において、ステップＳ１３０が図１１におけるステップＳ１３０ａに変更され、かつステップＳ１３５が図１１におけるステップＳ１３５ａに変更されてもよい。あるいは、図２９において、ステップＳ１３０が図１４におけるステップＳ１３０ｂとステップＳ１３０ｃとステップＳ１３０ｄとに変更され、かつステップＳ１３５が図１４におけるステップＳ１３５ｂに変更されてもよい。
【０２００】
第３の実施形態によれば、計測内視鏡装置１ｂは、内視鏡挿入部２と、第１の光学系３１（第１の撮像光学系）と、第２の光学系３２（第２の撮像光学系）と、撮像素子２１と、計測処理部４３ｂと、湾曲部２２と、信頼度判定部４４と、湾曲制御部４５２とを有する。計測内視鏡装置１ｂは、これらに加えて、報知制御部４５１を有する。第３の実施形態では、報知制御部４５１は、必須ではない。
【０２０１】
第３の実施形態では、湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が視差方向の第１の光学系３１側に移動するように湾曲部２２を制御する。これによって、オクルージョンの発生による計測精度の低下を抑制することができる。
【０２０２】
第３の実施形態では、内視鏡挿入部２の先端２０を微小量だけ湾曲させる処理と、オクルージョン発生の判定とが繰り返される。このため、内視鏡挿入部２の状態に応じて所望の湾曲量の制御が困難な場合においても、ユーザが指定した計測点の位置においてオクルージョンを回避することができる。
【０２０３】
（第１から第３の実施形態の変形例）
第１から第３の実施形態の変形例を説明する。図３に示すステレオ光学アダプタ３が使用される場合、第１の光学系３１と第２の光学系３２とによって、第１の光学像と第２の光学像とが同時に受光面２４に結像される。このため、撮像素子２１は、第１の光学像と第２の光学像とに基づく撮像信号１００を生成する。しかし、光路を切り替えることができ、第１の光学像と第２の光学像とが交互に受光面２４に結像されるステレオ光学アダプタが使用されてもよい。
【０２０４】
図３１は、光路を切り替えることができるステレオ光学アダプタ３ａの構成を示している。内視鏡挿入部２の先端２０に撮像素子２１が配置されている。内視鏡挿入部２の先端２０にステレオ光学アダプタ３ａが装着される。ステレオ光学アダプタ３ａは、第１の光学系３１ａと、第２の光学系３２ａと、メカニカルシャッター３６と、レンズ３７とを有する。
【０２０５】
第１の光学系３１ａは第１の光路に配置されている。第２の光学系３２ａは第２の光路に配置されている。メカニカルシャッター３６は、第１の光学系３１ａと第２の光学系３２ａとの配列方向に移動可能である。メカニカルシャッター３６は、第１の光路と第２の光路との一方に配置される。例えば、メカニカルシャッター３６が第２の光路に配置された場合、第２の光学系３２ａを通過した光はメカニカルシャッター３６によって遮られる。このため、第１の光学系３１ａとレンズ３７とを通過した光のみが撮像素子２１の受光面２４に入射する。また、メカニカルシャッター３６が第１の光路に配置された場合、第１の光学系３１ａを通過した光はメカニカルシャッター３６によって遮られる。このため、第２の光学系３２ａとレンズ３７とを通過した光のみが撮像素子２１の受光面２４に入射する。
【０２０６】
メカニカルシャッター３６が第２の光路に配置された場合、第１の光学系３１ａとレンズ３７とを通過した光により、第１の光学像が撮像素子２１の受光面２４に結像される。撮像素子２１は、第１の光学像に基づく撮像信号１００を生成する。メカニカルシャッター３６が第１の光路に配置された場合、第２の光学系３２ａとレンズ３７とを通過した光により、第２の光学像が撮像素子２１の受光面２４に結像される。撮像素子２１は、第２の光学像に基づく撮像信号１００を生成する。
【０２０７】
（第４の実施形態）
本発明の第１から第３の実施形態では、図３に示す内視鏡挿入部２の先端２０およびステレオ光学アダプタ３が使用される。第１から第３の実施形態では、第１の光学系３１と第２の光学系３２とによって、第１の光学像と第２の光学像とが同時に受光面２４に結像される。撮像素子２１は、第１の光学像と第２の光学像とに基づく撮像信号１００を生成する。計測内視鏡装置１、計測内視鏡装置１ａ、および計測内視鏡装置１ｂは、２つの撮像光学系を介して得られた光学像に基づく３次元計測を行う。第１から第３の実施形態における計測方式は、パッシブステレオ方式と呼ばれる。しかし、アクティブステレオ方式と呼ばれる計測方式が計測内視鏡装置に適用されてもよい。本発明の第４の実施形態は、アクティブステレオ方式が適用された計測内視鏡装置に関する。第４の実施形態における計測方式は、アクティブステレオ方式の１つである位相シフト法である。
【０２０８】
本発明の第４の実施形態では、第１の実施形態における計測内視鏡装置１が図３２に示す計測内視鏡装置１ｃに変更される。図３２は、第４の実施形態の計測内視鏡装置１ｃの構成を示している。図３２について、図４と異なる点を説明する。
【０２０９】
図４における内視鏡挿入部２が内視鏡挿入部２ｃに変更され、かつ図４におけるコントロールユニット４がコントロールユニット４ｃに変更される。コントロールユニット４ｃにおいて、図４における計測処理部４３が計測処理部４３ｃに変更され、かつ図４における制御部４５が制御部４５ｃに変更される。
【０２１０】
内視鏡挿入部２ｃは、撮像部３０と、照明部４０と、パターン投影部５０と、湾曲部２２とを有する。撮像部３０は、被写体の画像を取得する。照明部４０は、内視鏡挿入部２ｃの前方の観察視野を照明する。パターン投影部５０は、周期的なパターンを被写体に投影する。パターン投影部５０は、周期的なパターンとして、縞パターンを披検物に投影する。縞パターンは、空間的に周期的な輝度分布を有する。
【０２１１】
図３３は、内視鏡挿入部２ｃの先端２０ｃの正面を示している。図３３に示すように、内視鏡挿入部２ｃの先端２０ｃには、開口１１と、照明窓１２と、投影窓１３とが設けられている。開口１１は、撮像部３０の撮像光学系３９に外光を入射させる。照明窓１２は、照明部４０からの照明光を内視鏡挿入部２ｃの前方に照射する。投影窓１３は、パターン投影部５０からの縞パターンを内視鏡挿入部２ｃの前方に照射する。
【０２１２】
撮像部３０は、撮像素子２１と、撮像光学系３９とを有する。撮像素子２１は、内視鏡挿入部２ｃの先端２０ｃに配置される。撮像光学系３９は、内視鏡挿入部２ｃの先端２０ｃにおいて、撮像素子２１の前方に配置されている。撮像光学系３９は、内視鏡挿入部２ｃの開口１１内に配置されている。撮像光学系３９は、対物レンズを含む。内視鏡挿入部２ｃの先端２０ｃにおいて、撮像光学系３９は、投影光学系５２が配置された位置とは異なる位置に配置されている。撮像光学系３９は、観察視野内の反射光を撮像素子２１に入射させ、かつ被写体の光学像を結像する。撮像光学系３９は、開口１１を封止する光透過性のカバー部材３９ａを有する。
【０２１３】
照明部４０は、第１の光源４１と、照明光学系４７と、第１のファイバーバンドル４８と、第１の入射光学系４９とを有する。第１の光源４１は、白色光を生成する光源である。第１の光源４１は、コントロールユニット４ｃの内部に配置されている。第１の光源４１によって生成された光は、被写体を照明するための照明光となる。第１のファイバーバンドル４８は、第１の光源４１によって生成された光を照明光学系４７に導く。第１の入射光学系４９は、第１の光源４１と第１のファイバーバンドル４８との間に配置されている。第１の入射光学系４９は、第１の光源４１によって生成された光を第１のファイバーバンドル４８に入射させる。
【０２１４】
照明光学系４７は、内視鏡挿入部２ｃの先端２０ｃに配置されている。照明光学系４７は、光透過性のカバー部材４７ａと、図示しないレンズ群とを有する。カバー部材４７ａは、内視鏡挿入部２ｃの照明窓１２内に配置されている。照明光学系４７は、第１の光源４１によって生成された光を照明窓１２から出射させることにより、観察視野を照明する。第１の光源４１は、内視鏡挿入部２ｃの先端２０ｃに配置されてもよい。その場合、第１のファイバーバンドル４８と第１の入射光学系４９とは、不要である。
【０２１５】
パターン投影部５０は、第２の光源５１と、投影光学系５２と、第２のファイバーバンドル５３と、第２の入射光学系５４と、パターン生成部５５とを有する。第２の光源５１は、第１の光源４１が生成する光とは異なる光を発する光源である。第２の光源５１は、コントロールユニット４ｃの内部に配置されている。第２の光源５１によって生成された光は、縞パターンを投影するための投影光となる。第２のファイバーバンドル５３は、第２の光源５１によって生成された光を投影光学系５２に導く。第２の入射光学系５４は、第２の光源５１と第２のファイバーバンドル５３との間に配置されている。第２の入射光学系５４は、第２の光源５１によって生成された光を第２のファイバーバンドル５３に入射させる。パターン生成部５５は、第２の光源５１から出射された光の光路上に配置されている。パターン生成部５５は、周期的なパターンを生成する。
【０２１６】
投影光学系５２は、内視鏡挿入部２ｃの先端２０ｃに配置されている。投影光学系５２は、投影レンズを含む。投影光学系５２は、内視鏡挿入部２ｃの投影窓１３内に設けられた光透過性のカバー部材５２ａを有する。図３３に示すように、内視鏡挿入部２ｃの先端２０ｃの正面を見たとき、投影窓１３の中心と投影光学系５２の第２の光学中心６４ｃとが一致し、かつ開口１１の中心と撮像光学系３９の第１の光学中心６３ｃとが一致する。内視鏡挿入部２ｃの先端２０ｃの正面を見たとき、投影窓１３の中心は、開口１１の中心に対して、距離ｄだけ離間している。つまり、投影光学系５２が配置された位置と、撮像光学系３９とが配置された位置とは、異なる。第２の光源５１は、内視鏡挿入部２ｃの先端２０ｃに配置されてもよい。その場合、第２のファイバーバンドル５３と第２の入射光学系５４とは、不要である。
【０２１７】
図３４は、撮像光学系３９の画角と投影光学系５２の照射角度との関係を示している。図３４において、撮像光学系３９の位置Ｏと投影光学系５２の位置Ｐとが示されている。位置Ｏは、撮像光学系３９の第１の光学中心６３ｃの位置である。位置Ｐは、投影光学系５２の第２の光学中心６４ｃの位置である。撮像光学系３９の画角θｖは、撮像光学系３９の光軸方向の中心線Ａ１を中心として等角度に広がる。また、投影光学系５２の照射角度θｐは、中心線Ａ１と平行な中心線Ａ２を中心として等角度に広がる。撮像光学系３９における近点側の深度がＬｎであり、かつ遠点側の深度がＬｆである場合、投影される全ての縞が視野内に入る最短の物体距離Ｌａは、Ｌｎ≧Ｌａという条件を満たす。焦点が合っているとき、すなわち物体距離がＬｎからＬｆまでの深度内であるとき、縞パターンは撮像光学系３９の画角内に位置している。また、撮像光学系３９の位置Ｏと投影光学系５２の位置Ｐとの距離ｄは、計測可能な物体距離の最小値である深度Ｌａよりも小さく設定されている。このため、距離ｄは、物体距離Ｌｎよりも十分に小さい。このため、撮像部３０において焦点が合っている範囲では画像に写る縞の位置は大きくは変わらない。
【０２１８】
パターン生成部５５は、内視鏡挿入部２ｃの先端２０ｃに配置されている。パターン生成部５５は、縞パターンを形成する素子である。例えば、パターン生成部５５は、複数のスリットを有するスリット板である。パターン生成部５５は、ガラスまたは樹脂等で構成され、かつ縞パターンが描かれた透明な板であってもよい。パターン生成部５５は、光を透過できる状態と光を透過できない状態とを液晶素子ごとに切り替えることができる液晶シャッターモジュールであってもよい。パターン生成部５５は、微細な反射ミラーを備えるＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）ミラーモジュールであってもよい。
【０２１９】
図３５は、投影光学系５２によって投影された縞パターンＰＴ１を示している。縞パターンＰＴ１は、明るい第１の部分ＰＴ１ａと暗い第２の部分ＰＴ１ｂとを含む。第１の部分ＰＴ１ａおよび第２の部分ＰＴ１ｂは、第１の方向Ｄｒ３に細長く、かつ第１の方向Ｄｒ３に垂直な第２の方向Ｄｒ４に交互に並ぶ。つまり、縞パターンＰＴ１は、明暗のパターンが第２の方向Ｄｒ４に周期的に並ぶパターンである。さらに、縞パターンＰＴ１の光強度は第２の方向Ｄｒ４に正弦波状に変化する。第２の方向Ｄｒ４は、パターンの配置方向である。内視鏡挿入部２ｃの先端２０ｃと正対する平面に縞パターンが投影されたときに、図３４に示す縞パターンＰＴ１がその平面に写る。
【０２２０】
撮像光学系３９の画角θｖと投影光学系５２の照射角度θｐとは、図３４に示す関係を満たす。被写体に対して縞パターンＰＴ１が投影されているとき、撮像部３０の撮像視野内で縞パターンの縞が並ぶ第２の方向Ｄｒ４の両端に、縞パターンが投影されていない領域Ｘが生じる。領域Ｘは、右側領域Ｘ１と左側領域Ｘ２とを含む。
【０２２１】
パターン生成部５５は、制御部４５ｃのパターン制御部４５５による制御に従って、空間的な位相が異なる複数の周期的なパターンを順次生成する。図３４に示す縞パターンＰＴ１の位相は、第２の方向Ｄｒ４における第１の部分ＰＴ１ａおよび第２の部分ＰＴ１ｂの位置である。投影光学系５２は、空間的な位相が異なる複数の周期的なパターンを被写体に順次投影する。例えば、投影光学系５２は、空間的な位相が異なる少なくとも３つの周期的なパターンを被写体に投影する。撮像光学系３９は、複数のパターンが投影された被写体の複数の光学像を順次結像する。撮像素子２１は、撮像光学系３９を介して受光面２４に順次結像された複数の光学像に基づく複数の撮像信号１００を順次生成する。つまり、撮像素子２１は、撮像光学系３９を介して得られた複数の光学像に対応する複数の画像を生成する。
【０２２２】
計測処理部４３ｃは、撮像素子２１によって生成された複数の画像のうち少なくとも１つにおいて計測点を設定し、かつ複数の画像を使用して、位相シフト法により計測点の３次元座標を算出する。計測処理部４３ｃは、撮像素子２１によって生成された画像と、第１の位置および第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。第１の位置は、撮像光学系３９の第１の光学中心６３ｃの位置である。第２の位置は、投影光学系５２の第２の光学中心６４ｃの位置である。また、カメラパラメータは、第１の位置に関する位置パラメータと第２の位置に関する位置パラメータとを含んでもよいし、または第１の位置と第２の位置との間の距離に関する距離パラメータを含んでもよい。
【０２２３】
制御部４５ｃは、報知制御部４５１と、光源制御部４５４と、パターン制御部４５５とを有する。光源制御部４５４は、第１の光源４１および第２の光源５１のオンおよびオフを制御する。パターン制御部４５５は、パターン生成部５５によって生成されるパターンの空間的な位相をシフトさせる。例えば、パターン生成部５５がスリット板または縞パターンが描かれた板で構成されている場合、パターン制御部４５５は、パターン生成部５５をパターンの配置方向に移動させることにより、パターンの空間的な位相をシフトさせる。パターン生成部５５が液晶シャッターモジュールまたはＭＥＭＳミラーモジュールで構成されている場合、パターン制御部４５５は、液晶素子または反射ミラーの状態を制御することにより、パターンの空間的な位相をシフトさせる。パターン制御部４５５がパターンの空間的な位相をシフトさせることにより、図３４に示す縞パターンＰＴ１は、第２の方向Ｄｒ４またはその反対方向に移動する。報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｃの先端２０ｃが投影光学系５２側から撮像光学系３９側に移動するように内視鏡挿入部２ｃの先端２０ｃを湾曲させる湾曲操作をユーザに促す報知を行う。言い換えると、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、投影光学系５２側から撮像光学系３９側に向かって内視鏡挿入部２ｃの先端２０ｃを移動させる操作をユーザに促す報知を行う。さらに言い換えると、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、投影光学系５２の第２の光学中心６４ｃの位置（第２の位置）側から撮像光学系３９の第１の光学中心６３ｃの位置（第１の位置）側に向かって内視鏡挿入部２ｃの先端２０ｃを移動させる操作をユーザに促す報知を行う。
【０２２４】
図３６と図３７とは、表示部６に表示される画像を示している。制御部４５ｃは、縞パターンＰＴ１が被写体に投影される予定位置を示す枠Ｆ１の画像を生成する。この枠Ｆ１によって囲まれる画像の領域が、３次元計測の対象領域Ｔ（図３４）である。縞パターンＰＴ１が横方向に最大に移動した場合でも縞パターンＰＴ１が表示される領域の少なくとも一部を囲むように枠Ｆ１の位置が設定される。これにより、表示部６に表示される画像における実際の縞パターンＰＴ１の位置にかかわらず、縞パターンＰＴ１の少なくとも一部は枠Ｆ１内に位置する。表示部６は、被写体の画像と、枠Ｆ１とを表示画面に表示する。
【０２２５】
計測処理部４３ｃおよび制御部４５ｃは、１つまたは複数のプロセッサで構成されている。計測処理部４３ｃおよび制御部４５ｃは、ＡＳＩＣまたはＦＰＧＡで構成されてもよい。
【０２２６】
上記の点以外の点については、図３２に示す構成は、図４に示す構成と同様である。
【０２２７】
計測内視鏡装置１ｃの動作を説明する。計測内視鏡装置１ｃのモードは、観察モードと計測モードとを含む。観察モードは、被写体の所望の部分を観察するためのモードである。計測モードは、被写体の３次元形状を計測するためのモードである。ユーザは、操作部５を操作することにより、観察モードと、計測モードとを必要に応じて切り替えることができる。
【０２２８】
モードを計測モードに設定する指示がユーザによって入力された場合、枠Ｆ１の画像を表示部６に表示させるための制御信号が制御部４５ｃから映像信号処理部３４に出力される。これによって、枠Ｆ１の画像が表示部６に表示される。この状態では、縞パターンＰＴ１はまだ投影されていない。この状態では、ユーザは、照明光によって照明された被写体を観察することができる。ユーザは、被写体において３次元形状の計測を希望する部分が表示部６に表示された枠Ｆ１内に入るように、内視鏡挿入部２ｃの位置などを調整する。計測対象の部分が枠Ｆ１内に位置している状態で、ユーザは操作部５を操作することにより、３次元形状の計測を開始する。
【０２２９】
３次元形状の計測が開始されたとき、照明部４０からの照明光が照射されている状態で少なくとも１つの画像が撮像素子２１によって取得される。続いて、照明部４０の第１の光源４１による照明光の生成が光源制御部４５４によって停止され、かつパターン投影部５０の第２の光源５１による投影光の生成が光源制御部４５４によって開始される。第２の光源５１によって生成された投影光は、パターン生成部５５および投影光学系５２を透過する。投影光学系５２によって縞パターンが被写体に投影される。
【０２３０】
縞パターンが被写体に投影されている状態で、撮像素子２１は被写体の画像を生成する。縞パターンが投影された被写体の画像は、映像信号処理部３４によって処理され、かつ画像記憶部４２に記憶される。パターン制御部４５５は、被写体に投影される縞パターンの位相を順次変更する。これによって、パターン生成部５５は、空間的な位相が異なる複数の縞パターンを順次生成し、かつ投影光学系５２は、複数の縞パターンを被写体に順次投影する。撮像部３０は、複数の縞パターンを順次撮像することにより、複数の画像を生成する。計測処理部４３ｃは、撮像部３０によって生成された複数の画像に写った縞パターンの位相を時間的位相シフト法により算出し、かつ被写体の３次元形状の計測を行う。
【０２３１】
第４の実施形態では、複数の画像の各々は、縞パターンが投影されていない領域Ｘを含む。このため、計測処理部４３ｃは、縞パターンが投影されている領域と領域Ｘとの境界を基準に、画像に写っている縞と、被写体に投影された縞パターンの縞とを比較的容易に対応付けることができる。これによって、計測処理部４３ｃは、算出された位相から実空間上の３次元座標を算出することができる。計測処理部４３ｃは、３次元座標の分布を生成することにより、被写体の３次元形状を算出することができる。計測結果が表示部６に表示されることにより、ユーザは、枠Ｆ１内における被写体の３次元形状を知ることができる。
【０２３２】
図３８は、内視鏡挿入部２ｃの先端２０ｃと被写体ＯＢとの位置を模式的に示している。図３８では、内視鏡挿入部２ｃの先端２０ｃと被写体ＯＢとを図６に示すｘｚ平面に投影した状態が示されている。図３８において空間上の点は、ｘｚ平面に投影された点として示されている。計測内視鏡装置１ｃでは、撮像光学系３９の第１の光学中心６３ｃの位置Ｏと、投影光学系５２の第２の光学中心６４ｃの位置Ｐとが、距離ｄだけ離間している。このため、位置Ｏと位置Ｐとでは被写体ＯＢの見え方が異なる。
【０２３３】
図３９は、縞パターンが被写体ＯＢに投影されたときに撮像光学系３９の第１の光学中心６３ｃ（位置Ｏ）から見える被写体像ＳＩ１を示している。図４０は、縞パターンが被写体ＯＢに投影されたときに投影光学系５２の第２の光学中心６４ｃ（位置Ｐ）から見える被写体像ＳＩ２を示している。図３９に示すように、被写体像ＳＩ１において視認できる被写体ＯＢの表面に、縞パターンが投影されていない領域ＲＧ１が発生する。これが、第４の実施形態におけるオクルージョンが発生した状態である。オクルージョンを回避するための内視鏡挿入部２ｃの先端２０ｃの移動方向は、投影光学系５２から撮像光学系３９に向かう方向である。内視鏡挿入部２ｃの先端２０ｃの移動方向は、この方向に完全に一致していなくてもよい。内視鏡挿入部２ｃの先端２０ｃの移動方向は、投影光学系５２が、内視鏡挿入部２ｃの先端２０ｃが移動する前の撮像光学系３９の位置に近づくような方向であればよい。
【０２３４】
図４１は、測距時の計測内視鏡装置１ｃの動作の手順を示している。図４１について、図７と異なる点を説明する。
【０２３５】
測距が開始された後、第１の光源４１からの照明光が照明光学系４７によって被写体に照射された状態で撮像素子２１は画像を生成する。このとき、縞パターンは被写体に投影されていない。さらに、パターン生成部５５によって生成された縞パターンが投影光学系５２によって被写体に投影された状態で撮像素子２１は複数の画像（パターン画像）を生成する（ステップＳ１００Ａ）。ステップＳ１００Ａは、図７におけるステップＳ１００に対応する。
【０２３６】
ステップＳ１００Ａの後、表示部６は、照明光が被写体に照射されたときの画像を表示する（ステップＳ１０５Ａ）。ステップＳ１０５Ａは、図７におけるステップＳ１０５に対応する。
【０２３７】
ステップＳ１１０の後、計測処理部４３ｃは、照明光が被写体に照射されたときの画像に対して指定された計測点に基づいて、複数のパターン画像のうち少なくとも１つに計測点を設定する。つまり、計測処理部４３ｃは、計測点の位置における２次元座標を取得する（ステップＳ１１５Ａ）。例えば、ステップＳ１１５Ａでは、複数のパターン画像のうち１つに計測点が設定される。計測点が設定された１つのパターン画像以外のパターン画像では、計測点の座標と同一の座標の点が設定される。計測点が設定された１つのパターン画像以外のパターン画像に設定された点は、計測点とみなしてもよい。つまり、複数のパターン画像に計測点が設定されてもよい。計測処理部４３ｃは、少なくとも３つのパターン画像のうち少なくとも１つに計測点を設定してもよい。ステップＳ１１５Ａは、図７におけるステップＳ１１５に対応する。
【０２３８】
ステップＳ１１５Ａの後、計測処理部４３ｃは、測距に関する処理を行う（ステップＳ１２５Ａ）。ステップＳ１２５Ａでは、計測点が設定された画像を含む複数の画像を使用して、位相シフト法により計測点の３次元座標を算出する。例えば、計測処理部４３ｃは、複数のパターン画像の各々の計測点およびそれと同一の点の座標における画素値に基づいて位相を算出する。計測処理部４３ｃは、算出された位相に基づいて三角測量の原理で計測点の３次元座標を算出する。これによって、計測処理部４３ｃは、物体距離を算出する。３次元座標算出部４３３は、算出された物体距離を含む計測結果情報１１１を制御部４５に出力する。ステップＳ１２５Ａは、図７におけるステップＳ１２５に対応する。
【０２３９】
ステップＳ１２５Ａの後、信頼度判定部４４は、計測処理の信頼度を算出する（ステップＳ１３０Ａ）。例えば、ステップＳ１３０Ａでは、信頼度判定部４４は、複数のパターン画像の各々の計測点およびそれと同一の点の座標における画素値の最大値と最小値との差を算出することにより、信頼度を算出する。ステップＳ１３０Ａは、図７におけるステップＳ１３０に対応する。
【０２４０】
ステップＳ１３０Ａの後、信頼度判定部４４は、ステップＳ１３０Ａで算出された信頼度が低いか否かを判定する（ステップＳ１３５Ａ）。例えば、ステップＳ１３５Ａでは、信頼度判定部４４は、ステップＳ１３０Ａで算出された画素値の最大値と最小値との差が閾値よりも小さいか否かを判定する。ステップＳ１３０Ａで算出された画素値の最大値と最小値との差が閾値よりも小さい場合、計測点の位置にパターンが投影されていないと考えられる。このため、信頼度判定部４４は、信頼度が低いと判定する。この場合、ステップＳ１４０における処理が行われる。ステップＳ１３０Ａで算出された画素値の最大値と最小値との差が閾値よりも大きい場合、ステップＳ１４５における処理が行われる。ステップＳ１３５Ａは、図７におけるステップＳ１３５に対応する。
【０２４１】
上記の点以外の点については、図４１に示す処理は、図７に示す処理と同様である。
【０２４２】
ステップＳ１０５Ａでは、表示部６は、照明光が被写体に照射されたときの画像を表示する。照明光が被写体に照射されたときの画像に対してユーザが計測点を指定する場合、ユーザは被写体の視認性が高い画像上で計測点を指定することができる。ステップＳ１０５Ａでは、表示部６は、縞パターンが被写体に投影されたときのパターン画像を表示してもよい。
【０２４３】
第４の実施形態によれば、計測内視鏡装置１ｃは、内視鏡挿入部２ｃと、投影光学系５２と、パターン制御部４５５と、撮像光学系３９と、撮像素子２１と、計測処理部４３ｃと、信頼度判定部４４と、報知制御部４５１とを有する。
【０２４４】
本発明の各態様の内視鏡装置は、照明部４０に対応する構成を有していなくてもよい。
【０２４５】
第４の実施形態では、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｃの先端２０ｃが投影光学系５２側から撮像光学系３９側に移動するように内視鏡挿入部２ｃの先端２０ｃを湾曲させる湾曲操作をユーザに促す報知を行う。これによって、オクルージョンの発生による計測精度の低下を抑制することができる。
【０２４６】
計測内視鏡装置１ｃが、第２の実施形態の計測内視鏡装置１ａが行う制御と同様の制御を行ってもよい。つまり、オクルージョンが発生した場合、計測内視鏡装置１ｃは、オクルージョンが回避される方向に内視鏡挿入部２ｃの先端２０ｃを自動的に湾曲させてもよい。この場合、制御部４５ｃは、図１８および図１９に示す湾曲制御部４５２を有する。湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｃの先端２０ｃが投影光学系５２側から撮像光学系３９側に向かって移動するように湾曲部２２を制御する。言い換えると、湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｃの先端２０ｃが投影光学系５２の第２の光学中心６４ｃの位置（第２の位置）側から撮像光学系３９の第１の光学中心６３ｃの位置（第１の位置）側に向かって移動するように湾曲部２２を制御する。
【０２４７】
計測内視鏡装置１ｃが、第３の実施形態の計測内視鏡装置１ｂが行う制御と同様の制御を行ってもよい。つまり、内視鏡挿入部２ｃの先端２０ｃを微小量だけ湾曲させる処理と、オクルージョン発生の判定とが繰り返されてもよい。この場合、湾曲制御部４５２は、内視鏡挿入部２ｃの先端２０ｃが所定の湾曲量だけ湾曲するように湾曲部２２を制御する。信頼度判定部４４は、所定の湾曲量に基づく湾曲部２２の制御が行われる前と後とにおいて信頼度の判定を行う。
【０２４８】
（第５の実施形態）
本発明の第５の実施形態は、アクティブステレオ方式が適用された計測内視鏡装置に関する。第５の実施形態における計測方式は、アクティブステレオ方式の１つであり、かつランダムパターンを被写体に投影する方式である。
【０２４９】
第５の実施形態では、第１の実施形態における計測内視鏡装置１が図４２に示す計測内視鏡装置１ｄに変更される。計測内視鏡装置１ｄの外観は、図１に示す計測内視鏡装置１の外観と同様である。
【０２５０】
図４２は、第５の実施形態の計測内視鏡装置１ｄの構成を示している。図４２について、図４と異なる点を説明する。
【０２５１】
図４における内視鏡挿入部２が内視鏡挿入部２ｄに変更され、かつ図４におけるステレオ光学アダプタ３がステレオ光学アダプタ３ｄに変更される。内視鏡挿入部２ｄは、撮像素子２１と、湾曲部２２と、投影光源２５とを有する。ステレオ光学アダプタ３ｄは、撮像光学系３９ｄと、投影光学系５２ｄとを有する。図４２に示す構成では、ステレオ光学アダプタ３ｄは、内視鏡挿入部２ｄの先端２０ｄ（図４３）に近接して配置される。ステレオ光学アダプタ３ｄを構成する撮像光学系３９ｄと投影光学系５２ｄとが内視鏡挿入部２ｄの先端２０ｄの内部に配置されてもよい。
【０２５２】
投影光源２５は、内視鏡挿入部２ｄの先端２０ｄに配置されている。例えば、投影光源２５は、半導体レーザである。投影光源２５は、レーザ光を生成する。投影光源２５がコントロールユニット４に配置され、かつ投影光源２５によって生成されたレーザ光が光ファイバによって内視鏡挿入部２ｄの先端２０ｄに導かれてもよい。
【０２５３】
投影光学系５２ｄは、内視鏡挿入部２ｄの先端２０ｄに配置されている。投影光学系５２ｄは、ランダムパターンを被写体に投影する。撮像光学系３９ｄは、内視鏡挿入部２ｄの先端２０ｄにおいて、投影光学系５２ｄが配置された位置とは異なる位置に配置されている。撮像光学系３９ｄは、ランダムパターンが投影された被写体の光学像を結像する。撮像素子２１は、撮像光学系３９ｄを介して受光面２４に結像された光学像に基づく撮像信号１００を生成する。つまり、撮像素子２１は、撮像光学系３９ｄを介して得られた光学像に対応する第１の画像を生成する。
【０２５４】
上記の点以外の点については、図４２に示す構成は、図４に示す構成と同様である。
【０２５５】
図４３は、内視鏡挿入部２ｄの先端２０ｄとステレオ光学アダプタ３ｄとの構成を示している。投影光源２５から出射されたレーザ光ＬＳは、投影光学系５２ｄに入射する。例えば、投影光学系５２ｄは、回折光学素子（ＤＯＥ：Ｄｉｆｆｒａｃｔｉｖｅ  Ｏｐｔｉｃａｌ  Ｅｌｅｍｅｎｔ）である。レーザ光がＤＯＥに入射することによりランダムパターンが生成される。ランダムパターンは、空間的にランダムな輝度分布を有する。投影光源２５の出力強度は、制御部４５によって制御される。投影光学系５２ｄの中心６４ｄは、回折光の主光束ＤＬが集まる点である。投影光学系５２ｄから出射された回折光は、ランダムパターンを形成する。投影光学系５２ｄは、ランダムパターンを生成し、かつランダムパターンを被写体に投影する。液晶シャッターモジュールまたはＭＥＭＳミラーモジュールによってランダムパターンが生成されてもよい。投影光学系５２ｄは、投影レンズを含んでもよい。
【０２５６】
撮像光学系３９ｄは、対物レンズを含む。撮像光学系３９ｄの光学中心６３ｄの位置は、投影光学系５２ｄの中心６４ｄの位置と異なる。少なくとも撮像光学系３９ｄの光軸ＡＸ３に垂直な方向において、撮像光学系３９ｄの光学中心６３ｄの位置は、投影光学系５２ｄの中心６４ｄの位置と異なる。
【０２５７】
図５に示すように、計測処理部４３は、計測点指定部４３１（計測点設定部）と、対応点探索部４３２と、３次元座標算出部４３３とを有する。計測点指定部４３１は、ランダムパターンが被写体に投影されたときに撮像光学系３９ｄを介して得られた光学像に対応する第１の画像において計測点を設定する。第２の画像は、投影されるランダムパターンの画像であり、かつ予め画像記憶部４２に記憶されている。対応点探索部４３２は、第１の画像に対応する映像信号およびランダムパターンに関する第２の画像に対応する映像信号を処理することにより計測点に対応する第２の画像の対応点を探索する。つまり、対応点探索部４３２は、ランダムパターンに関する第２の画像において、計測点指定部４３１によって設定された計測点に対応する対応点を探索する。３次元座標算出部４３３は、対応点探索部４３２によって探索された対応点と、計測点とを用いて三角測量の原理で計測点の３次元座標を算出する。日本国特許第５００１２８６号公報に開示されているように、ランダムパターンが投影された被写体の画像における局所的なパターンの位置に基づいて３次元計測を行うことができる。
【０２５８】
上記の構成により、計測処理部４３は、撮像素子２１によって生成された画像と、第１の位置および第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。第１の位置は、撮像光学系３９ｄの光学中心６３ｄの位置である。第２の位置は、投影光学系５２ｄの中心６４ｄの位置である。また、カメラパラメータは、第１の位置に関する位置パラメータと第２の位置に関する位置パラメータとを含んでもよいし、または第１の位置と第２の位置との間の距離に関する距離パラメータを含んでもよい。
【０２５９】
信頼度判定部４４は、対応点の信頼度すなわち計測処理の信頼度を判定する。報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｄの先端２０ｄが投影光学系５２ｄ側から撮像光学系３９ｄ側に移動するように内視鏡挿入部２ｄの先端２０ｄを湾曲させる湾曲操作をユーザに促す報知を行う。言い換えると、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、投影光学系５２ｄ側から撮像光学系３９ｄ側に向かって内視鏡挿入部２ｄの先端２０ｄを移動させる操作をユーザに促す報知を行う。さらに言い換えると、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、投影光学系５２ｄの中心６４ｄの位置（第２の位置）側から撮像光学系３９ｄの光学中心６３ｄの位置（第１の位置）側に向かって内視鏡挿入部２ｄの先端２０ｄを移動させる操作をユーザに促す報知を行う。
【０２６０】
例えば、第２の画像は、単一色の平面にランダムパターンが投影されたときに撮像されたそのランダムパターンの画像である。例えば、製品出荷の前または後において、撮像素子２１によって第２の画像が取得され、かつ第２の画像が画像記憶部４２に記憶される。第２の画像が外部記憶媒体４６に予め記憶され、かつ計測時に第２の画像が外部記憶媒体４６から画像記憶部４２に読み出されてもよい。
【０２６１】
撮像光学系３９ｄの光学中心６３ｄの位置（第１の位置）と投影光学系５２ｄの中心６４ｄの位置（第２の位置）とが異なる。このため、撮像光学系３９ｄを介して得られた光学像に対応する第１の画像において視認できる被写体の表面に、ランダムパターンが投影されていない領域が発生しうる。これが、第５の実施形態におけるオクルージョンが発生した状態である。オクルージョンを回避するための内視鏡挿入部２ｄの先端２０ｄの移動方向は、投影光学系５２ｄから撮像光学系３９ｄに向かう方向である。内視鏡挿入部２ｄの先端２０ｄの移動方向は、この方向に完全に一致していなくてもよい。内視鏡挿入部２ｄの先端２０ｄの移動方向は、投影光学系５２ｄが、内視鏡挿入部２ｄの先端２０ｄが移動する前の撮像光学系３９ｄの位置に近づくような方向であればよい。
【０２６２】
図４４は、測距時の計測内視鏡装置１ｄの動作の手順を示している。図４４について、図７と異なる点を説明する。
【０２６３】
測距が開始された後、ランダムパターンが被写体に投影されていない状態で撮像素子２１は画像を生成する。さらに、投影光学系５２ｄによってランダムパターンが生成され、かつランダムパターンが被写体に投影された状態で撮像素子２１は第１の画像を生成する（ステップＳ１００Ｂ）。ステップＳ１００Ｂは、図７におけるステップＳ１００に対応する。
【０２６４】
ステップＳ１００Ｂの後、表示部６は、照明光が被写体に照射されたときの画像を表示する（ステップＳ１０５Ｂ）。ステップＳ１０５Ｂは、図７におけるステップＳ１０５に対応する。
【０２６５】
ステップＳ１１０の後、計測点指定部４３１は、ランダムパターンが被写体に投影されていないときの画像に対して指定された計測点に基づいて、ランダムパターンが投影された被写体の第１の画像に計測点を設定する。つまり、計測点指定部４３１は、計測点の位置における２次元座標を取得する（ステップＳ１１５Ｂ）。ステップＳ１１５Ｂは、図７におけるステップＳ１１５に対応する。
【０２６６】
ステップＳ１１５Ｂの後、対応点探索部４３２は、テンプレート画像データと、第２の画像に対応する画像データ１０９とのパターンマッチングを行い、計測点に対応する第２の画像の対応点を探索する（ステップＳ１２０Ｂ）。テンプレート画像データは、ランダムパターンが投影された被写体の第１の画像に対応する画像データ１０９において、計測点の位置を含む所定の大きさのデータである。第２の画像は、ランダムパターンの画像である。ステップＳ１２０Ｂは、図７におけるステップＳ１２０に対応する。
【０２６７】
ステップＳ１２０Ｂの後、３次元座標算出部４３３は、測距に関する処理を行う（ステップＳ１２５Ｂ）。ステップＳ１２５Ｂでは、３次元座標算出部４３３は、対応点探索部４３２によって探索された対応点と、計測点とを用いて三角測量の原理で計測点の３次元座標を算出する。ステップＳ１２５Ｂは、図７におけるステップＳ１２５に対応する。
【０２６８】
ステップＳ１２５Ｂの後、信頼度判定部４４は、パターンマッチングの信頼度を算出する（ステップＳ１３０Ｂ）。ステップＳ１３０Ｂでは、ランダムパターンが投影された被写体の第１の画像と、ランダムパターンの第２の画像とが使用される。ステップＳ１３０Ｂは、図７におけるステップＳ１３０に対応する。
【０２６９】
上記の点以外の点については、図４４に示す処理は、図７に示す処理と同様である。
【０２７０】
ステップＳ１０５Ｂでは、表示部６は、ランダムパターンが被写体に投影されていないときの画像を表示する。ランダムパターンが被写体に投影されていないときの画像に対してユーザが計測点を指定する場合、ユーザは被写体の視認性が高い画像上で計測点を指定することができる。ステップＳ１０５Ｂでは、表示部６は、ランダムパターンが被写体に投影されたときの第１の画像を表示してもよい。
【０２７１】
第５の実施形態によれば、計測内視鏡装置１ｄは、内視鏡挿入部２ｄと、投影光学系５２ｄと、撮像光学系３９ｄと、撮像素子２１と、計測処理部４３と、信頼度判定部４４と、報知制御部４５１とを有する。
【０２７２】
第５の実施形態では、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｄの先端２０ｄが投影光学系５２ｄ側から撮像光学系３９ｄ側に移動するように内視鏡挿入部２ｄの先端２０ｄを湾曲させる湾曲操作をユーザに促す報知を行う。これによって、オクルージョンの発生による計測精度の低下を抑制することができる。
【０２７３】
計測内視鏡装置１ｄが、第２の実施形態の計測内視鏡装置１ａが行う制御と同様の制御を行ってもよい。つまり、オクルージョンが発生した場合、計測内視鏡装置１ｄは、オクルージョンが回避される方向に内視鏡挿入部２ｄの先端２０ｄを自動的に湾曲させてもよい。この場合、制御部４５は、図１８および図１９に示す湾曲制御部４５２を有する。湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｄの先端２０ｄが投影光学系５２ｄ側から撮像光学系３９ｄ側に向かって移動するように湾曲部２２を制御する。言い換えると、湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２ｄの先端２０ｄが投影光学系５２ｄの中心６４ｄの位置（第２の位置）側から撮像光学系３９ｄの光学中心６３ｄの位置（第１の位置）側に向かって移動するように湾曲部２２を制御する。
【０２７４】
計測内視鏡装置１ｄが、第３の実施形態の計測内視鏡装置１ｂが行う制御と同様の制御を行ってもよい。つまり、内視鏡挿入部２ｄの先端２０ｄを微小量だけ湾曲させる処理と、オクルージョン発生の判定とが繰り返されてもよい。この場合、湾曲制御部４５２は、内視鏡挿入部２ｄの先端２０ｄが所定の湾曲量だけ湾曲するように湾曲部２２を制御する。信頼度判定部４４は、所定の湾曲量に基づく湾曲部２２の制御が行われる前と後とにおいて信頼度の判定を行う。
【０２７５】
（第６の実施形態）
本発明の第１から第３の実施形態では、図３に示す内視鏡挿入部２の先端２０およびステレオ光学アダプタ３が使用される。第１から第３の実施形態では、第１の光学系３１と第２の光学系３２とによって、第１の光学像と第２の光学像とが同時に受光面２４に結像される。撮像素子２１は、第１の光学像と第２の光学像とに基づく撮像信号１００を生成する。計測内視鏡装置１、計測内視鏡装置１ａ、および計測内視鏡装置１ｂは、２つの撮像光学系を介して得られた光学像に基づく３次元計測を行う。しかし、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳｆＭ）と呼ばれる３次元形状推定法が計測内視鏡装置に適用されてもよい。ＳｆＭでは、異なる視点で撮影された複数の画像を使用することにより、被写体とカメラとの相対的な位置および姿勢と、被写体の３次元形状とが同時に推定される。本発明の第６の実施形態は、ＳｆＭが適用された計測内視鏡装置に関する。
【０２７６】
本発明の第６の実施形態では、第１の実施形態における計測内視鏡装置１が図４５に示す計測内視鏡装置１ｅに変更される。計測内視鏡装置１ｅの外観は、図１に示す計測内視鏡装置１の外観と同様である。
【０２７７】
図４５は、第６の実施形態の計測内視鏡装置１ｅの構成を示している。図４５について、図４と異なる点を説明する。
【０２７８】
図４におけるステレオ光学アダプタ３が光学アダプタ３ｅに変更される。光学アダプタ３ｅは、撮像光学系３９ｅを有する。図４５に示す構成では、光学アダプタ３ｅは、内視鏡挿入部２の先端２０（図４６）に近接して配置される。光学アダプタ３ｅを構成する撮像光学系３９ｅが内視鏡挿入部２の先端２０の内部に配置されてもよい。
【０２７９】
撮像光学系３９ｅは、内視鏡挿入部２の先端２０に配置されている。撮像光学系３９ｅは、第１の位置および第１の位置と異なる第２の位置の各々において被写体の光学像を結像する。撮像素子２１は、第１の位置において撮像光学系３９ｅを介して受光面２４に結像された第１の光学像に基づく撮像信号１００を生成する。また、撮像素子２１は、第２の位置において撮像光学系３９ｅを介して受光面２４に結像された第２の光学像に基づく撮像信号１００を生成する。つまり、撮像素子２１は、第１の位置において撮像光学系３９ｅを介して得られた第１の光学像に対応する第１の画像と、第２の位置において撮像光学系３９ｅを介して得られた第２の光学像に対応する第２の画像とを生成する。
【０２８０】
上記の点以外の点については、図４５に示す構成は、図４に示す構成と同様である。
【０２８１】
図４６は、内視鏡挿入部２の先端２０と光学アダプタ３ｅとの構成を示している。撮像光学系３９ｅは、対物レンズを含む。撮像光学系３９ｅの光学中心６３ｅの位置が第１の位置であるときに第１の画像が生成され、かつ撮像光学系３９ｅの光学中心６３ｅの位置が第２の位置であるときに第２の画像が生成される。
【０２８２】
図５に示すように、計測処理部４３は、計測点指定部４３１（計測点設定部）と、対応点探索部４３２と、３次元座標算出部４３３とを有する。計測点指定部４３１は、第１の位置において撮像光学系３９ｅを介して得られた第１の光学像に対応する第１の画像において計測点を設定する。対応点探索部４３２は、第１の画像に対応する映像信号および第２の画像に対応する映像信号を処理することにより計測点に対応する第２の画像の対応点を探索する。つまり、対応点探索部４３２は、第２の画像において、計測点指定部４３１によって設定された計測点に対応する対応点を探索する。第２の画像は、第２の位置において撮像光学系３９ｅを介して得られた第２の光学像に対応する。３次元座標算出部４３３は、対応点探索部４３２によって探索された対応点と、計測点とを用いて三角測量の原理で計測点の３次元座標を算出する。
【０２８３】
上記の構成により、計測処理部４３は、撮像素子２１によって生成された画像と、第１の位置および第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。第１の位置と第２の位置とは、内視鏡挿入部２の先端２０（撮像光学系３９ｅ）の異なる位置である。一方、計測処理部４３は、ＳｆＭにより被写体とカメラとの相対的な位置および姿勢と、被写体の３次元形状とを算出する。ここで推定されるカメラの位置は光学中心６３ｅの位置であり、かつ推定されるカメラの姿勢は光軸の向きである。推定されたカメラの位置および姿勢はカメラパラメータの一部である。つまり、第６の実施形態では、カメラパラメータには、第１の位置に関するカメラ位置パラメータと、第１の位置に関するカメラ姿勢パラメータと、第２の位置に関するカメラ位置パラメータと、第２の位置に関するカメラ姿勢パラメータとが含まれる。計測処理部４３は、３次元形状を算出するが、３次元の実寸法（スケール）を算出できない。
【０２８４】
信頼度判定部４４は、対応点の信頼度すなわち計測処理の信頼度を判定する。報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が第２の位置側から第１の位置側に移動するように内視鏡挿入部２の先端２０を湾曲させる湾曲操作をユーザに促す報知を行う。言い換えると、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、第２の位置側から第１の位置側に向かって内視鏡挿入部２の先端２０を移動させる操作をユーザに促す報知を行う。
【０２８５】
第１の画像が生成されたときの撮像光学系３９ｅの光学中心６３ｅの位置（第１の位置）と、第２の画像が生成されたときの撮像光学系３９ｅの光学中心６３ｅの位置（第２の位置）とが異なる。このため、第１の画像において視認できるが、第２の画像において視認できない領域が発生しうる。これが、第６の実施形態におけるオクルージョンが発生した状態である。オクルージョンを回避するための内視鏡挿入部２の先端２０の移動方向は、第２の位置から第１の位置に向かう方向である。内視鏡挿入部２の先端２０の移動方向は、この方向に完全に一致していなくてもよい。内視鏡挿入部２の先端２０の移動方向は、撮像光学系３９ｅが第１の位置に近づくような方向であればよい。
【０２８６】
内視鏡挿入部２の先端２０が移動した後、撮像光学系３９ｅの光学中心６３ｅの位置は、第１の位置および第２の位置と異なる第３の位置である。撮像光学系３９ｅは、第３の位置において被写体の光学像を結像する。撮像素子２１は、第３の位置において撮像光学系３９ｅを介して得られた第３の光学像に対応する第３の画像を生成する。計測処理部４３は、第１の画像と第３の画像とを使用して計測処理を行う。
【０２８７】
第１の画像と第２の画像とが生成される順番は、任意である。例えば、１回目に第１の位置において第１の画像が生成され、その後、２回目に第２の位置において第２の画像が生成される。あるいは、１回目に第２の位置において第２の画像が生成され、その後、２回目に第１の位置において第１の画像が生成される。いずれの場合も、第１の画像において計測点が設定される。
【０２８８】
図４７は、測距時の計測内視鏡装置１ｅの動作の手順を示している。図４７について、図７と異なる点を説明する。
【０２８９】
測距が開始された後、撮像光学系３９ｅの光学中心６３ｅの位置が第１の位置にある状態で撮像光学系３９ｅは、被写体の光学像を結像する。撮像素子２１は、撮像光学系３９ｅを介して受光面２４に結像された第１の光学像に基づく撮像信号１００を生成する。つまり、撮像素子２１は、撮像光学系３９ｅを介して得られた第１の光学像に対応する第１の画像を生成する。映像信号処理部３４は、撮像信号１００から出力用映像信号１０２を生成する（ステップＳ３００）。
【０２９０】
ステップＳ３００の後、ユーザは、操作部５を操作することにより内視鏡挿入部２の先端２０を湾曲させる（ステップＳ３０５）。ステップＳ３０５では、制御部４５は、ユーザによる操作部５の操作に基づいて湾曲部２２を制御する。湾曲部２２は、内視鏡挿入部２の先端２０を湾曲させる。ステップＳ３０５では、制御部４５は、内視鏡挿入部２の先端２０が所定量だけ湾曲するように湾曲部２２を制御してもよい。内視鏡挿入部２の先端２０が湾曲することにより、撮像光学系３９ｅの光学中心６３ｅの位置は第１の位置から第２の位置に移動する。
【０２９１】
ステップＳ３０５の後、撮像光学系３９ｅの光学中心６３ｅの位置が第２の位置にある状態で撮像光学系３９ｅは、被写体の光学像を結像する。撮像素子２１は、撮像光学系３９ｅを介して受光面２４に結像された第２の光学像に基づく撮像信号１００を生成する。つまり、撮像素子２１は、撮像光学系３９ｅを介して得られた第２の光学像に対応する第２の画像を生成する。映像信号処理部３４は、撮像信号１００から出力用映像信号１０２を生成する（ステップＳ３１０）。
【０２９２】
ステップＳ３１０の後、計測処理部４３は、被写体とカメラとの相対的な位置および姿勢と、被写体の３次元形状とを算出する（ステップＳ３１５）。ステップＳ３１５では、被写体の３次元形状として、仮想的な空間における特徴点の３次元座標が算出される。
【０２９３】
ステップＳ３１５の後、第１の画像に対応する出力用映像信号１０２が画像記憶部４２から読み出される。映像信号処理部３４は、画像記憶部４２から読み出された出力用映像信号１０２を出力用映像信号１０１として信号変換部３８に出力する。信号変換部３８は、出力用映像信号１０１に基づく表示用映像信号１０３を表示部６に出力する（ステップＳ１００Ｃ）。ステップＳ１００Ｃは、図７におけるステップＳ１００に対応する。
【０２９４】
ステップＳ１２０の後、３次元座標算出部４３３は、測距に関する処理を行う（ステップＳ１２５Ｃ）。ステップＳ１２５Ｃでは、３次元座標算出部４３３は、対応点探索部４３２によって探索された対応点と、計測点とを用いて三角測量の原理で計測点の３次元座標を算出する。このとき、３次元座標算出部４３３は、ステップＳ３１５で算出された被写体とカメラとの相対的な位置および姿勢の情報を使用する。つまり、第１の位置と第２の位置との距離に対応するパラメータＤは、ステップＳ３１５で算出された被写体とカメラとの相対的な位置および姿勢から算出される。ステップＳ１２５Ｃで算出された３次元座標は、仮想的な空間における座標である。３次元座標算出部４３３は、計測点の３次元座標を算出することにより、仮想的な空間における物体距離を算出する。３次元座標算出部４３３は、算出された物体距離を含む計測結果情報１１１を制御部４５に出力する。ステップＳ１２５Ｃは、図７におけるステップＳ１２５に対応する。
【０２９５】
ステップＳ１２０では、ステップ３００で生成された第１の画像に対応するテンプレート画像データと、ステップＳ３１０で生成された第２の画像に対応する画像データ１０９とのパターンマッチングが行われる。ステップＳ１４０またはステップＳ１４５の後、ステップＳ３０５における処理が行われる。２回目のステップＳ３１０では、新たな第２の画像（第３の画像）が生成される。
【０２９６】
上記の点以外の点については、図４７に示す処理は、図７に示す処理と同様である。
【０２９７】
第６の実施形態では、３つ以上の画像が使用されてもよい。被写体とカメラとの相対的な位置および姿勢と、被写体の３次元形状との全てのデータを調整する処理（バンドル調整）が行われてもよい。
【０２９８】
第６の実施形態によれば、計測内視鏡装置１ｅは、内視鏡挿入部２と、撮像光学系３９ｅと、撮像素子２１と、計測処理部４３と、信頼度判定部４４と、報知制御部４５１とを有する。
【０２９９】
第６の実施形態では、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が第２の位置側から第１の位置側に移動するように内視鏡挿入部２の先端２０を湾曲させる湾曲操作をユーザに促す報知を行う。これによって、オクルージョンの発生による計測精度の低下を抑制することができる。
【０３００】
計測内視鏡装置１ｅが、第２の実施形態の計測内視鏡装置１ａが行う制御と同様の制御を行ってもよい。つまり、オクルージョンが発生した場合、計測内視鏡装置１ｅは、オクルージョンが回避される方向に内視鏡挿入部２の先端２０を自動的に湾曲させてもよい。この場合、制御部４５は、図１８および図１９に示す湾曲制御部４５２を有する。湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が第２の位置側から第１の位置側に向かって移動するように湾曲部２２を制御する。
【０３０１】
計測内視鏡装置１ｅが、第３の実施形態の計測内視鏡装置１ｂが行う制御と同様の制御を行ってもよい。つまり、内視鏡挿入部２の先端２０を微小量だけ湾曲させる処理と、オクルージョン発生の判定とが繰り返されてもよい。この場合、湾曲制御部４５２は、内視鏡挿入部２の先端２０が所定の湾曲量だけ湾曲するように湾曲部２２を制御する。信頼度判定部４４は、所定の湾曲量に基づく湾曲部２２の制御が行われる前と後とにおいて信頼度の判定を行う。
【０３０２】
（第７の実施形態）
本発明の第７の実施形態は、ＳｆＭが適用された計測内視鏡装置に関する。
【０３０３】
本発明の第７の実施形態では、第６の実施形態における計測内視鏡装置１ｅが図４８に示す計測内視鏡装置１ｆに変更される。計測内視鏡装置１ｆの外観は、図１に示す計測内視鏡装置１の外観と同様である。
【０３０４】
図４８は、第７の実施形態の計測内視鏡装置１ｆの構成を示している。図４８について、図４５と異なる点を説明する。
【０３０５】
図４５における光学アダプタ３ｅが光学アダプタ３ｆに変更される。光学アダプタ３ｆは、撮像光学系３９ｆを有する。図４８に示す構成では、光学アダプタ３ｆは、内視鏡挿入部２の先端２０（図４９）に近接して配置される。光学アダプタ３ｆを構成する撮像光学系３９ｆが内視鏡挿入部２の先端２０の内部に配置されてもよい。
【０３０６】
撮像光学系３９ｆは、内視鏡挿入部２の先端２０に配置されている。撮像光学系３９ｆは、第１の位置および第１の位置と異なる第２の位置の各々において被写体の光学像を結像する。撮像素子２１は、第１の位置において撮像光学系３９ｆを介して受光面２４に結像された第１の光学像に基づく撮像信号１００を生成する。また、撮像素子２１は、第２の位置において撮像光学系３９ｆを介して受光面２４に結像された第２の光学像に基づく撮像信号１００を生成する。つまり、撮像素子２１は、第１の位置において撮像光学系３９ｆを介して得られた第１の光学像に対応する第１の画像と、第２の位置において撮像光学系３９ｆを介して得られた第２の光学像に対応する第２の画像とを生成する。
【０３０７】
上記の点以外の点については、図４８に示す構成は、図４５に示す構成と同様である。
【０３０８】
図４９は、内視鏡挿入部２の先端２０と光学アダプタ３ｆとの構成を示している。撮像光学系３９ｆは、レンズ５６と、プリズム５７とを有する。レンズ５６は撮像素子２１の前方に配置され、かつプリズム５７はレンズ５６の前方に配置されている。図示しない窓が光学アダプタ３ｆの側面に設けられ、かつプリズム５７はその窓に配置されている。プリズム５７は、光学アダプタ３ｆの側面に入射した光をレンズ５６に入射させる。レンズ５６は、プリズム５７によって導かれた光を撮像素子２１に入射させ、かつ被写体の光学像を結像する。光学アダプタ３ｆは、内視鏡挿入部２の挿入方向に対して９０度垂直な方向を観察するための側視光学アダプタである。レンズ５６の光学中心６３ｆの位置が第１の位置であるときに第１の画像が生成され、かつレンズ５６の光学中心６３ｆの位置が第２の位置であるときに第２の画像が生成される。
【０３０９】
上記の構成により、計測処理部４３は、撮像素子２１によって生成された画像と、第１の位置および第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。第１の位置と第２の位置とは、内視鏡挿入部２の先端２０（撮像光学系３９ｆ）の異なる位置である。計測処理部４３は、被写体とカメラとの相対的な位置および姿勢と、被写体の３次元形状とを算出する。ここで推定されるカメラの位置は光学中心６３ｆの位置であり、かつ推定されるカメラの姿勢は光軸の向きである。推定されたカメラの位置および姿勢はカメラパラメータの一部である。つまり、第７の実施形態では、カメラパラメータには、第１の位置に関するカメラ位置パラメータと、第１の位置に関するカメラ姿勢パラメータと、第２の位置に関するカメラ位置パラメータと、第２の位置に関するカメラ姿勢パラメータとが含まれる。計測処理部４３は、３次元形状を算出するが、３次元の実寸法（スケール）を算出しない。
【０３１０】
信頼度判定部４４は、対応点の信頼度すなわち計測処理の信頼度を判定する。報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が第２の位置側から第１の位置側に移動するように内視鏡挿入部２の先端２０を湾曲させる湾曲操作をユーザに促す報知を行う。言い換えると、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、第２の位置側から第１の位置側に向かって内視鏡挿入部２の先端２０を移動させる操作をユーザに促す報知を行う。
【０３１１】
図５０は、内視鏡挿入部２の先端２０と被写体ＯＢとの位置を模式的に示している。図５０では、内視鏡挿入部２の先端２０と被写体ＯＢとを図６に示すｘｚ平面に投影した状態が示されている。図５０において空間上の点は、ｘｚ平面に投影された点として示されている。第１の画像が生成されたときのレンズ５６の光学中心６３ｆの位置（第１の位置）と、第２の画像が生成されたときのレンズ５６の光学中心６３ｆの位置（第２の位置）とが異なる。例えば、第１の位置と第２の位置とは、内視鏡挿入部２の挿入方向に異なる位置である。レンズ５６の光学中心６３ｆの位置が第１の位置である場合、被写体ＯＢ上の点Ｐ３０からの光は、被写体ＯＢによって遮られることなく、プリズム５７に入射する。レンズ５６の光学中心６３ｆの位置が第２の位置である場合、被写体ＯＢ上の点Ｐ３０からの光は、被写体ＯＢによって遮られる。このため、点Ｐ３０からの光はプリズム５７に入射しない。
【０３１２】
図５１は、撮像光学系３９ｆの位置すなわちレンズ５６の光学中心６３ｆの位置が第１の位置であるときにレンズ５６の光学中心６３ｆから見える被写体像ＳＩ３を示している。図５２は、撮像光学系３９ｆの位置すなわちレンズ５６の光学中心６３ｆの位置が第２の位置であるときにレンズ５６の光学中心６３ｆから見える被写体像ＳＩ４を示している。図５１に示すように、被写体像ＳＩ３において点Ｐ３０は視認できる。図５２に示すように、被写体像ＳＩ４において点Ｐ３０は視認できない。これが、第７の実施形態におけるオクルージョンが発生した状態である。オクルージョンを回避するための内視鏡挿入部２の先端２０の移動方向は、第２の位置から第１の位置に向かう方向である。例えば、オクルージョンを回避するための内視鏡挿入部２の先端２０の移動方向は、内視鏡挿入部２の挿入方向と反対の方向である。内視鏡挿入部２の先端２０の移動方向は、この方向に完全に一致していなくてもよい。内視鏡挿入部２の先端２０の移動方向は、撮像光学系３９ｆが第１の位置に近づくような方向であればよい。
【０３１３】
内視鏡挿入部２の先端２０が移動した後、撮像光学系３９ｆの光学中心６３ｆの位置は、第１の位置および第２の位置と異なる第３の位置である。撮像光学系３９ｆは、第３の位置において被写体の光学像を結像する。撮像素子２１は、第３の位置において撮像光学系３９ｆを介して得られた第３の光学像に対応する第３の画像を生成する。計測処理部４３は、第１の画像と第３の画像とを使用して計測処理を行う。
【０３１４】
第１の画像と第２の画像とが生成される順番は、任意である。例えば、１回目に第１の位置において第１の画像が生成され、その後、２回目に第２の位置において第２の画像が生成される。あるいは、１回目に第２の位置において第２の画像が生成され、その後、２回目に第１の位置において第１の画像が生成される。いずれの場合も、第１の画像において計測点が設定される。
【０３１５】
測距時の計測内視鏡装置１ｆの動作の手順は、図４７に示す手順と同様である。このため、測距時の計測内視鏡装置１ｆの動作の手順についての説明を省略する。
【０３１６】
図５３は、ステップＳ１４０において表示部６によって表示される画像の例を示している。表示部６は、画像Ｇ２を表示する。画像Ｇ２は、撮像光学系３９ｆを介して結像された第１の光学像に基づく。被写体ＯＢが画像Ｇ２に写っている。表示部６は、メッセージウィンドウＷ４を表示する。メッセージウィンドウＷ４は、オクルージョンの発生を示すメッセージＭＳ７と、内視鏡挿入部２の先端２０を移動させることを示すメッセージＭＳ８とを含む。また、メッセージウィンドウＷ４は、移動方向を示す矢印ＡＲ３を含む。矢印ＡＲ３は、下方向を示している。矢印ＡＲ３が示す方向は、内視鏡挿入部２の挿入方向と反対の方向を模式的に示している。メッセージＭＳ８と矢印ＡＲ３とが表示されることによって、ユーザは、オクルージョンを回避するために内視鏡挿入部２の挿入方向と反対の方向に引けばよいことを知ることができる。ユーザは、表示されたメッセージに従って操作部５を操作することにより内視鏡挿入部２を移動させることができる。この結果、ユーザは、オクルージョンが発生しない位置に計測点を指定することができる。
【０３１７】
第７の実施形態によれば、計測内視鏡装置１ｆは、内視鏡挿入部２と、撮像光学系３９ｆと、撮像素子２１と、計測処理部４３と、信頼度判定部４４と、報知制御部４５１とを有する。
【０３１８】
第７の実施形態では、報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が第２の位置側から第１の位置側に移動するように内視鏡挿入部２の先端２０を移動させる操作をユーザに促す報知を行う。これによって、オクルージョンの発生による計測精度の低下を抑制することができる。
【０３１９】
（第１から第７の実施形態の追加説明）
第１の実施形態の計測内視鏡装置１は、内視鏡挿入部２と、少なくとも１つの撮像光学系（第１の光学系３１および第２の光学系３２）と、撮像素子２１と、計測処理部４３とを有する。少なくとも１つの撮像光学系は、内視鏡挿入部２の先端２０に配置されている。撮像素子２１は、撮像光学系を介して得られた光学像に対応する画像を生成する。計測処理部４３は、画像と、第１の位置および第１の位置とは異なる第２の位置に関するカメラパラメータとに基づいて、三角測量の原理で計測処理を行う。計測内視鏡装置１は、信頼度判定部４４と、報知制御部４５１とをさらに有する。信頼度判定部４４は、第１の位置において撮像光学系を介して得られた光学像に対応する画像において設定された計測点に基づく計測処理の信頼度を判定する。報知制御部４５１は、信頼度判定部４４によって信頼度が低いと判定された場合に、第２の位置側から第１の位置側に向かって内視鏡挿入部２の先端２０を移動させる操作をユーザに促す報知を行う。
【０３２０】
第２の実施形態の計測内視鏡装置１ａまたは第３の実施形態の計測内視鏡装置１ｂは、第１の実施形態の計測内視鏡装置１と同様に、内視鏡挿入部２と、少なくとも１つの撮像光学系（第１の光学系３１および第２の光学系３２）と、撮像素子２１と、計測処理部４３と、信頼度判定部４４とを有する。計測内視鏡装置１ａまたは計測内視鏡装置１ｂは、湾曲制御部４５２をさらに有する。湾曲制御部４５２は、信頼度判定部４４によって信頼度が低いと判定された場合に、内視鏡挿入部２の先端２０が第２の位置側から第１の位置側に向かって移動するように湾曲部２２を制御する。
【０３２１】
第１から第３の実施形態において、撮像光学系は、第１の撮像光学系（第１の光学系３１）と第２の撮像光学系（第２の光学系３２）とを含む。第１の撮像光学系は第１の位置に配置されている。第２の撮像光学系は第２の位置に配置され、かつ第２の撮像光学系は第１の撮像光学系に対して視差を有する。画像は、第１の撮像光学系を介して得られた第１の光学像に対応する第１の画像と、第２の撮像光学系を介して得られた第２の光学像に対応する第２の画像とを含む。計測処理部４３（計測処理部４３ｂ）は、第１の画像と第２の画像とに基づいて計測処理を行う。
【０３２２】
第４の実施形態の計測内視鏡装置１ｃは、内視鏡挿入部２ｃと、撮像光学系３９と、撮像素子２１と、計測処理部４３ｃと、信頼度判定部４４と、報知制御部４５１とを有する。撮像光学系３９は第１の位置に配置されている。計測内視鏡装置１ｃは、投影光学系５２をさらに有する。投影光学系５２は、第２の位置に配置され、かつ所定のパターンを被写体に投影する。
【０３２３】
第５の実施形態の計測内視鏡装置１ｄは、内視鏡挿入部２ｄと、撮像光学系３９ｄと、撮像素子２１と、計測処理部４３と、信頼度判定部４４と、報知制御部４５１とを有する。撮像光学系３９ｄは第１の位置に配置されている。計測内視鏡装置１ｄは、投影光学系５２ｄをさらに有する。投影光学系５２ｄは、第２の位置に配置され、かつ所定のパターンを被写体に投影する。
【０３２４】
第６の実施形態の計測内視鏡装置１ｅは、内視鏡挿入部２と、撮像光学系３９ｅと、撮像素子２１と、計測処理部４３と、信頼度判定部４４と、報知制御部４５１とを有する。画像は、第１の位置において撮像光学系３９ｅを介して得られた第１の光学像に対応する第１の画像と、第２の位置において撮像光学系３９ｅを介して得られた第２の光学像に対応する第２の画像とを含む。計測処理部４３は、第１の画像と第２の画像とに基づいて計測処理を行う。
【０３２５】
第７の実施形態の計測内視鏡装置１ｆは、内視鏡挿入部２と、撮像光学系３９ｆと、撮像素子２１と、計測処理部４３と、信頼度判定部４４と、報知制御部４５１とを有する。画像は、第１の位置において撮像光学系３９ｆを介して得られた第１の光学像に対応する第１の画像と、第２の位置において撮像光学系３９ｆを介して得られた第２の光学像に対応する第２の画像とを含む。計測処理部４３は、第１の画像と第２の画像とに基づいて計測処理を行う。
【０３２６】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【０３２７】
本発明の各実施形態によれば、オクルージョンの発生による計測精度の低下を抑制することができる。
【符号の説明】
【０３２８】
１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ，１ｆ  計測内視鏡装置
２，２ｃ，２ｄ  内視鏡挿入部
３，３ａ，３ｄ  ステレオ光学アダプタ
３ｅ，３ｆ  光学アダプタ
４，４ａ，４ｂ，４ｃ  コントロールユニット
５  操作部
６  表示部
２０，２０ｃ，２０ｄ  先端
２１  撮像素子
２２  湾曲部
２５  投影光源
３０  撮像部
３１，３１ａ  第１の光学系
３２，３２ａ  第２の光学系
３４  映像信号処理部
３８  信号変換部
３９，３９ｄ，３９ｅ，３９ｆ  撮像光学系
４０  照明部
４１  第１の光源
４２  画像記憶部
４３，４３ｂ，４３ｃ  計測処理部
４４，４４ａ，４４ｂ，４４ｃ  信頼度判定部
４５，４５ａ，４５ｂ，４５ｃ  制御部
４７  照明光学系
４８  第１のファイバーバンドル
４９  第１の入射光学系
５０  パターン投影部
５１  第２の光源
５２，５２ｄ  投影光学系
５３  第２のファイバーバンドル
５４  第２の入射光学系
５５  パターン生成部
５６  レンズ
５７  プリズム
４３１  計測点指定部
４３２  対応点探索部
４３３  ３次元座標算出部
４３４  計測点探索部
４４１  相関値算出部
４４２，４４４  比較判定部
４４３  オクルージョン発生判定部
４５１  報知制御部
４５２  湾曲制御部
４５３  計測点確認部
４５４  光源制御部
４５５  パターン制御部
４４３１  計測補助点設定部
４４３２  物体距離算出部
４４３３  差分算出部
４４３４  差分判定部
４５２１  計測点推定部
４５２２  エッジ検出部
４５２３  エッジ位置算出部
４５２４  仮想直線算出部
４５２５  湾曲量算出部
【図１】
2016208664.tif 000003
【図２】
2016208664.tif 000004
【図３】
2016208664.tif 000005
【図４】
2016208664.tif 000006
【図５】
2016208664.tif 000007
【図６】
2016208664.tif 000008
【図７】
2016208664.tif 000009
【図８】
2016208664.tif 000010
【図９】
2016208664.tif 000011
【図１０】
2016208664.tif 000012
【図１１】
2016208664.tif 000013
【図１２】
2016208664.tif 000014
【図１３】
2016208664.tif 000015
【図１４】
2016208664.tif 000016
【図１５】
2016208664.tif 000017
【図１６】
2016208664.tif 000018
【図１７】
2016208664.tif 000019
【図１８】
2016208664.tif 000020
【図１９】
2016208664.tif 000021
【図２０】
2016208664.tif 000022
【図２１】
2016208664.tif 000023
【図２２】
2016208664.tif 000024
【図２３】
2016208664.tif 000025
【図２４】
2016208664.tif 000026
【図２５】
2016208664.tif 000027
【図２６】
2016208664.tif 000028
【図２７】
2016208664.tif 000029
【図２８】
2016208664.tif 000030
【図２９】
2016208664.tif 000031
【図３０】
2016208664.tif 000032
【図３１】
2016208664.tif 000033
【図３２】
2016208664.tif 000034
【図３３】
2016208664.tif 000035
【図３４】
2016208664.tif 000036
【図３５】
2016208664.tif 000037
【図３６】
2016208664.tif 000038
【図３７】
2016208664.tif 000039
【図３８】
2016208664.tif 000040
【図３９】
2016208664.tif 000041
【図４０】
2016208664.tif 000042
【図４１】
2016208664.tif 000043
【図４２】
2016208664.tif 000044
【図４３】
2016208664.tif 000045
【図４４】
2016208664.tif 000046
【図４５】
2016208664.tif 000047
【図４６】
2016208664.tif 000048
【図４７】
2016208664.tif 000049
【図４８】
2016208664.tif 000050
【図４９】
2016208664.tif 000051
【図５０】
2016208664.tif 000052
【図５１】
2016208664.tif 000053
【図５２】
2016208664.tif 000054
【図５３】
2016208664.tif 000055
【国際調査報告】
2016208664.tif 000056
2016208664.tif 000057
2016208664.tif 000058
2016208664.tif 000059