(57)【要約】  内視鏡システム１は、第１のピント位置を有する左光学系３１と、左光学系３１の第１のピント位置とは異なる第２のピント位置を有する右光学系３２と、左光学系３１及び右光学系３２で得られた被写体の像からそれぞれ第１の画像及び第２の画像を生成するための撮像素子３５と、第１の画像または第２の画像を表示する表示部５と、表示部５に表示される所定の領域の被写体の位置と、第１のピント位置と第２のピント位置との間に設定された少なくとも１つの閾値Thと、の大小関係を判定する適正画像判定部４５と、適正画像判定部４５の判定結果に応じて、第１の画像または第２の画像を切り替えて、表示部５に表示する映像信号処理部４１と、を備える。
2017221507.tif 000002
【特許請求の範囲】
【請求項１】
第１のピント位置を有する第１の光学系と、
前記第１の光学系の前記第１のピント位置とは異なる第２のピント位置を有する第２の光学系と、
前記第１の光学系及び第２の光学系で得られた被写体の像からそれぞれ第１の画像及び第２の画像を生成するための撮像素子と、
前記第１の画像または前記第２の画像を表示する表示部と、
前記表示部に表示される所定の領域の前記被写体の位置と、前記第１のピント位置と前記第２のピント位置との間に設定された少なくとも１つの閾値と、の大小関係を判定する判定部と、
前記判定部の判定結果に応じて、前記第１の画像または前記第２の画像を切り替えて、前記表示部に表示する表示制御部と、を備えたことを特徴とする内視鏡システム。
【請求項２】
前記所定の領域は、ユーザによる前記表示部の画像上のカーソルにより設定または変更することができることを特徴とする請求項１に記載の内視鏡システム。
【請求項３】
前記第１の光学系の光路と前記第２の光学系の光路とを時分割で切り替える光路切替部と、
前記第１の光学系と前記第２の光学系の結像位置は前記撮像素子上の同じ撮像領域であって、前記撮像素子が前記光路切替部で切り替えられた前記第１の光学系によって結像された被写体像と、前記第２の光学系によって結像された被写体像とを同じ撮像領域に時分割で撮像することで、前記第１の画像及び前記第２の画像を取得する映像信号処理部とを有することを特徴とする請求項１に記載の内視鏡システム。
【請求項４】
前記第１の光学系と前記第２の光学系の結像位置は前記撮像素子上の異なる撮像領域であって、前記撮像素子が前記第１の光学系によって結像された被写体像と、前記第２の光学系によって結像された被写体像とを同時刻に異なる撮像領域に撮像することで、前記第１の画像及び前記第２の画像を取得する映像信号処理部を有することを特徴とする請求項１に記載の内視鏡システム。
【請求項５】
前記判定部は、前記撮像素子の撮像面に入射された光量を用いて前記表示部に表示される所定の領域の前記被写体の位置を算出し、前記被写体の位置と、前記第１のピント位置と前記第２のピント位置との間に設定された少なくとも１つの閾値と、の大小関係を判定することを特徴とする請求項１に記載の内視鏡システム。
【請求項６】
前記判定部は、前記第１の画像または前記第２の画像の領域特徴量を用いて、前記表示部に表示される所定の領域の前記被写体の位置を算出し、前記被写体の位置と、前記第１のピント位置と前記第２のピント位置との間に設定された少なくとも１つの閾値と、の大小関係を判定することを特徴とする請求項１に記載の内視鏡システム。
【請求項７】
前記表示制御部は、前記第１の画像と前記第２の画像とのうち、前記判定部の判定結果に応じて、前記第１の画像または前記第２の画像を前記表示部に強調表示することを特徴とする請求項１に記載の内視鏡システム。
【請求項８】
前記表示制御部は、前記表示部に表示される画像が前記第１の画像から前記第２の画像、または、前記第２の画像から前記第１の画像に切り替わった際に、前記強調表示する画像の表示位置が同じ表示位置になるように制御することを特徴とする請求項１に記載の内視鏡システム。
【請求項９】
前記第１の光学系及び前記第２の光学系は、互いに視差を有する光学系であって、
前記第１の画像と、前記第２の画像とのステレオ計測を行うことで、前記所定の領域までの距離を計測する測距部を有することを特徴とする請求項１に記載の内視鏡システム。
【請求項１０】
前記判定部は、前記測距部の測距結果を用いて、前記表示部に表示される所定の領域の前記被写体の位置を算出し、前記被写体の位置と、前記第１のピント位置と前記第２のピント位置との間に設定された少なくとも１つの閾値と、の大小関係を判定することを特徴とする請求項９に記載の内視鏡システム。
【請求項１１】
前記表示制御部により前記表示部に表示された画像上で前記被写体の計測を行わせることを特徴とする請求項９に記載の内視鏡システム。
【請求項１２】
前記第１の画像または前記第２の画像のいずれか一方の画像にボケ除去処理を行った画像を生成する画像生成部を有し、
前記測距部は、前記画像生成部で生成された前記ボケ除去処理を行った一方の画像と、前記ボケ除去処理を行っていない他方の画像とを用いて、前記ステレオ計測を行うことを特徴とする請求項９に記載の内視鏡システム。
【請求項１３】
前記第１の画像または前記第２の画像のいずれか一方の画像にボカシ処理を行った画像を生成する画像生成部を有し、
前記測距部は、前記画像生成部で生成された前記ボカシ処理を行った一方の画像と、前記ボカシ処理を行っていない他方の画像とを用いて、前記ステレオ計測を行うことを特徴とする請求項９に記載の内視鏡システム。
【請求項１４】
前記第１の画像または前記第２の画像のいずれか一方の画像にボケ除去処理を行った画像を生成し、他方の画像にボカシ処理を行った画像を生成する画像生成部を有し、
前記測距部は、前記画像生成部で生成された前記ボケ除去処理を行った一方の画像と、前記ボカシ処理を行った他方の画像とを用いて、前記ステレオ計測を行うことを特徴とする請求項９に記載の内視鏡システム。
【請求項１５】
前記表示制御部は、前記判定部により判定された前記表示部に表示される所定の領域の前記被写体の位置を算出し、前記被写体の位置と、前記第１のピント位置と前記第２のピント位置との間に設定された少なくとも１つの閾値と、の大小関係が複数回連続で同じ結果であった場合に、前記第１の画像または前記第２の画像を切り替えて、前記表示部に表示することを特徴とする請求項１に記載の内視鏡システム。
【請求項１６】
前記所定の閾値にヒステリシスを設けたことを特徴とする請求項１に記載の内視鏡システム。
【請求項１７】
前記所定の閾値は、前記第１のピント位置と前記第２のピント位置の中間の位置に設定されることを特徴とする請求項１に記載の内視鏡システム。
【請求項１８】
前記表示制御部は、ライブ画像を観察している場合、前記第１の画像及び前記第２の画像を前記表示部に表示し、フリーズ指示があった場合、前記撮像素子で撮像された前記第１の画像と前記第２の画像のうち、前記判定部の判定結果に応じて、前記第１の画像または前記第２の画像を前記表示部の全体に表示することを特徴とする請求項１に記載の内視鏡システム。
【請求項１９】
前記第１の光学系の前記第１のピント位置と、前記第２の光学系の前記第２のピント位置とは、製造上のばらつきにより異なっていることを特徴とする請求項１に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡システムに関し、特に、異なる光路の画像を取得する内視鏡システムに関するものである。
【背景技術】
【０００２】
従来、被検体の内部の被写体を撮像する内視鏡と、内視鏡により撮像された被写体の観察画像を生成するビデオプロセッサと、ビデオプロセッサにより生成された観察画像を表示するモニタとを備えた内視鏡システムが、医療分野及び工業分野等において広く用いられている。特に、ボイラ、タービン、エンジン、化学プラント等の内部の傷や腐食等の観察及び検査に工業用内視鏡が広く用いられている。【０００３】
近年の工業用内視鏡においては、異なる視点から被写体を撮像するステレオ光学アダプタを内視鏡の先端に取り付けることが可能となっており、三角測量の原理で被写体の様々な空間特性を計測（ステレオ計測）することができるステレオ計測用内視鏡が用いられている。【０００４】
従来のステレオ計測用内視鏡は、１つの撮像素子の撮像面上の別々な領域に、視差のある左右の２つの像を投影し、ライブ画像を観察する場合、左右の２つの像の両方を含む画像を表示する双眼表示を行っている。この場合、表示部に２つの画像が表示されるため、個々の画像が小さく表示されてしまい、観察性能が低下してしまう。そのため、観察性能を向上させるために、ライブ画像を観察する場合には、左右の２つの像のうち一方のみを含む画像を表示する単眼表示を行う内視鏡も提案されている。また、観察性能を向上させるために、時分割で２つの光路を切り替えて１つの撮像素子の撮像面の共通の領域に投影し、単眼表示を行う内視鏡も提案されている。【０００５】
また、観察性能を向上させるために、例えば、日本国特開２０１４−２２８８５１号公報には、異なるピント位置を持つ複数の光学系から撮影した画像を合成することで被写界深度を拡大する内視鏡が提案されている。【０００６】
さらに、観察性能を向上させるために、例えば、日本国特開２００６−２８０４２５号公報には、フォーカス調整のレンズを駆動するための駆動機構を先端部に備え、観察領域に対するオートフォーカス動作を行う内視鏡が提案されている。【０００７】
しかしながら、日本国特開２０１４−２２８８５１号公報の内視鏡は、異なるピント位置で撮像された画像を合成処理するために、多大な演算時間が必要となり、ＣＰＵ等の制御部の負荷が大きくなってしまう。内視鏡は、リアルタイムで撮影画像を表示する必要があるため、多大な演算時間が必要な合成処理を適用することは困難である。【０００８】
また、日本国特開２００６−２８０４２５号公報の内視鏡のように、オートフォーカス機構を備える場合、先端部にレンズを駆動するための駆動機構を備える必要があり、先端部が太径化してしまう。内視鏡は、観察対象によっては小さな隙間に挿入部を挿入する必要があり、先端部が太径化すると、観察対象の細部への到達性及び観察性が損なわれてしまう。【０００９】
そこで、本発明は、ＣＰＵの負荷の増大、及び、先端部の太径化を招くことなく、ピントのより合っている画像を表示することができる内視鏡システムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【００１０】
本発明の一態様の内視鏡システムは、第１のピント位置を有する第１の光学系と、前記第１の光学系の前記第１のピント位置とは異なる第２のピント位置を有する第２の光学系と、前記第１の光学系及び第２の光学系で得られた被写体の像からそれぞれ第１の画像及び第２の画像を生成するための撮像素子と、前記第１の画像または前記第２の画像を表示する表示部と、前記表示部に表示される所定の領域の被写体の位置と、前記第１のピント位置と前記第２のピント位置との間に設定された少なくとも１つの閾値と、の大小関係を判定する判定部と、前記判定部の判定結果に応じて、前記第１の画像または前記第２の画像を切り替えて、前記表示部に表示する表示制御部と、を備える。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係わる内視鏡システムの構成を示す構成図である。
【図２】挿入部の先端部の光学系の構成を説明するための図である。
【図３】内視鏡システムの詳細な構成を示すブロック図である。
【図４】左光学系及び右光学系のピント位置と閾値の関係を示す図である。
【図５Ａ】左光学系で取得された画像の表示画面の例を示す図である。
【図５Ｂ】右光学系で取得された画像の表示画面の例を示す図である。
【図６】左右の画像のうち、ピントがより合っている画像を表示する表示処理の一例を示すフローチャートである。
【図７】左光学系及び右光学系のピント位置と閾値の関係を示す図である。
【図８】左右の画像のうち、ピントがより合っている画像を表示する表示処理の一例を示すフローチャートである。
【図９】左右の画像のうち、ピントがより合っている画像を表示する表示処理の一例を示すフローチャートである。
【図１０】第２の実施形態に係る挿入部の先端部の光学系の構成を説明するための図である。
【図１１Ａ】表示部に表示される画像の一例を示す図である。
【図１１Ｂ】表示部に表示される画像の一例を示す図である。
【図１２】フリーズ指示があった際に適正画像を表示する表示処理の一例を示すフローチャートである。
【図１３Ａ】強調表示の一例を説明するための図である。
【図１３Ｂ】強調表示の一例を説明するための図である。
【図１４Ａ】強調表示の他の例を説明するための図である。
【図１４Ｂ】強調表示の他の例を説明するための図である。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。  
（第１の実施形態）
図１は、第１の実施形態に係わる内視鏡システムの構成を示す構成図である。図１に示すように、本実施形態の内視鏡システム１は、内視鏡２と、この内視鏡２が接続される光源装置３と、カメラコントロールユニット（以下、CCUという）などを含む本体装置４と、表示部５とを備えている。【００１３】
内視鏡２は、細長で可撓性を有する挿入部１１と、この挿入部１１の基端に接続された操作部１２と、この操作部１２から延出するユニバーサルケーブル１３を有する電子内視鏡である。挿入部１１の先端には、光学アダプタ２Aが装着可能となっている。【００１４】
操作部１２から延出されたユニバーサルケーブル１３の先端に設けられたコネクタ１４は、光源装置３に対して着脱自在に装着することができるようになっている。このコネクタ１４から信号ケーブル１５が延出している。信号ケーブル１５の端部に設けたコネクタ１６は、本体装置４に着脱自在に装着することができるようになっている。【００１５】
内視鏡２の挿入部１１は、その先端に硬質の先端部２１を有し、この先端部２１に隣接して湾曲自在の湾曲部２２が設けられ、さらにこの湾曲部２２の基端側に長尺の可撓管部２３が設けられている。内視鏡システム１のユーザは、操作部１２に設けた湾曲ノブ２４を操作することにより、湾曲部２２を湾曲させることができる。【００１６】
また、先端部２１は、撮像素子３５（図２）を内蔵しており、撮像素子３５において得られた撮像信号は、挿入部１１、操作部１２、ユニバーサルケーブル１３及び信号ケーブル１５内に挿通された信号線を介して本体装置４へ供給される。【００１７】
光源装置３は、ユニバーサルケーブル１３及び挿入部１１内に挿通された光ファイバ（図示せず）の基端面に入射して、挿入部１１の先端から出射して被検体を照明する照明光を生成するランプ等の光源を含む。【００１８】
本体装置４は、CCUに加えて、内視鏡システム１全体を制御するための制御部を内蔵している。本体装置４は、図示しない中央処理装置（CPU）、ROM、RAM等を含み、ユーザは、操作パネル４ａに対して各種操作を行うことができる。本体装置４は、操作に応じた機能を実現するために、その機能に応じたプログラムを実行する。本体装置４は、内視鏡２からの撮像信号を入力して、CCUにおいて生成された被検体画像である内視鏡画像の画像信号を表示部５へ出力して、内視鏡画像が表示部５に表示される。【００１９】
図２は、挿入部の先端部の光学系の構成を説明するための図である。図２に示すように、挿入部１１の先端部２１は、左光学系３１と、右光学系３２と、遮光部３３と、結像光学系３４と、撮像素子３５とを備えて構成されている。【００２０】
左光学系３１は、レンズ３１ａ及び３１ｂを備えて構成されている。また、右光学系３２は、レンズ３２ａ及び３２ｂを備えて構成されている。左光学系３１及び右光学系３２は、それぞれピント位置が異なって設計されている。本実施形態では、第１の光学系としての左光学系３１は、ピント位置が近点側（第１のピント位置）に設計され、右光学系３２は、ピント位置が遠点側（第２のピント位置）に設計されている。すなわち、第２の光学系としての右光学系３２は、第１の光学系としての左光学系３１の第１のピント位置とは異なる第２のピント位置を有している。そして、左光学系３１及び右光学系３２の像は、１つの撮像素子３５の同一の領域に結像するように設計されている。すなわち、撮像素子３５は、左光学系３１及び右光学系３２で得られた被写体の像からそれぞれ第１の画像及び第２の画像を生成する。【００２１】
なお、左光学系３１のピント位置が近点側、右光学系３２のピント位置が遠点側に設計されているが、左光学系３１のピント位置が遠点側、右光学系３２のピント位置が近点側に設計されていてもよい。【００２２】
また、内視鏡システム１で用いる光学系は小さな光学系であるため、製造上のばらつきにより左光学系３１のピント位置と右光学系３２のピント位置が異なることがある。そのため、本実施形態では、左光学系３１及び右光学系３２のピント位置がそれぞれ異なるように設計されている場合について説明するが、例えば、製造上のばらつきによりピント位置が異なっている左光学系３１及び右光学系３２を内視鏡システム１を適用してもよい。【００２３】
光路切替部としての遮光部３３は、左光学系３１及び右光学系３２の２つの光路に対応して配置された２つの開口部３３ａ及び３３ｂを有している。遮光部３３は、図示しない遮蔽部材を備えており、開口部３３ａ及び３３ｂを時分割で交互に遮蔽することができるように構成されている。【００２４】
結像光学系３４は、左光学系３１及び右光学系３２の２つの光路を通過する光を撮像素子３５の共通の領域に結像するように構成されている。撮像素子３５は、結像光学系３４の結像位置に配置されており、遮光部３３により時分割で交互に遮蔽されることにより、時差を有して結像された左光学系３１及び右光学系３２の２つの光路からの像を撮像する。撮像素子３５により撮像された撮像信号は、本体装置４に供給される。【００２５】
このように、本実施形態の内視鏡システム１は、左光学系３１及び右光学系３２の２つの光路を時分割に切り替えて、視差を有する複数の画像を取得することができる装置である。【００２６】
なお、先端部２１に光学アダプタ２Aが装着される場合、光学アダプタ２Aが左光学系３１、右光学系３２及び遮光部３３を備える構成であればよい。この場合、挿入部１１の先端部２１は、結像光学系３４及び撮像素子３５のみを備えていればよい。【００２７】
図３は、内視鏡システム１の本体装置４の詳細な構成を示すブロック図である。図３に示すように、本体装置４は、CCUとしての映像信号処理部４１と、信号変換部４２と、画像記憶部４３と、画像計測処理部４４と、適正画像判定部４５と、制御部４６とを有して構成されている。また、本体装置４には、外部記憶媒体４７が着脱自在に構成されており、内視鏡画像や各種情報を外部記憶媒体４７に記憶することができる。【００２８】
映像信号処理部４１は、撮像素子３５から入力された撮像信号に所定の映像処理を施し、映像信号を生成して信号変換部４２及び画像記憶部４３に出力する。【００２９】
信号変換部４２は、映像信号処理部４１から出力された映像信号から表示用の映像信号を生成して、表示部５に出力する。また、信号変換部４２は、必要に応じて、表示用の映像信号に操作画面画像等の他の画像データを合成することができる。また、信号変換部４２は、画像計測処理部４４から計測情報が出力された場合には、計測情報を表示用の映像信号に合成した映像信号を生成し、表示部５に出力する。【００３０】
画像記憶部４３は、映像信号処理部４１から出力された映像信号を静止画または動画として記憶する。また、画像記憶部４３は、操作部１２から画像記録指示が入力されると、制御部４６による制御に応じて、記憶した画像を読み出して外部記憶媒体４７に出力する。【００３１】
測距部としての画像計測処理部４４は、画像記憶部４３に記憶された静止画像データを用いて計測処理を行う。表示部５の表示画面上で計測点（例えば、後述するカーソル）が設定されると、画像計測処理部４４は、計測点に対応する左光学系３１及び右光学系３２からの視差を有する画像の対応点の位置情報を取得し、三角測量の原理により計測点の３次元座標を算出し、計測点までの距離を計測する。画像計測処理部４４は、その測距結果を信号変換部４２及び適正画像判定部４５に出力する。【００３２】
適正画像判定部４５は、画像計測処理部４４からの測距結果が所定の閾値Thより大きいか否かを判定し、左光学系３１及び右光学系３２からの左右の画像のうち、いずれの画像にピントがより合っているかを判定する。より具体的には、判定部としての適正画像判定部４５は、表示部５に表示される所定の領域の被写体の位置と、左光学系３１のピント位置と右光学系３２のピント位置との間に設定された少なくとも１つの閾値Thと、の大小関係を判定する。適正画像判定部４５により判定された判定結果は、映像信号処理部４１に入力される。【００３３】
映像信号処理部４１は、適正画像判定部４５からの判定結果に基づき、左光学系３１及び右光学系３２からの左右の画像のうち、ピントがより合っている画像を信号変換部４２に出力する。信号変換部４２は、上述したように、必要に応じて、計測情報等を映像信号処理部４１からの画像に合成した内視鏡画像を生成し、表示部５に出力する。【００３４】
図４は、左光学系及び右光学系のピント位置と閾値の関係を示す図であり、図５Ａは、左光学系で取得された画像の表示画面の例を示す図であり、図５Ｂは、右光学系で取得された画像の表示画面の例を示す図である。【００３５】
図４に示すように、左光学系３１のピント位置は、物体「Ａ」が配置されている近点寄りの位置となっている。一方、右光学系３２のピント位置は、物体「Ｂ」が配置されている遠点寄りの位置となっている。閾値Thは、左光学系３１の最も良いピント位置と右光学系３２の最も良いピント位置との中間の物体距離に設定される。なお、本実施形態では、左右のピント位置の中心位置（左右の最も良いピント位置の中間）に閾値Thを設定したが、左右のピント位置の間であれば中心位置に閾値Thを設定しなくても良い。【００３６】
適正画像判定部４５は、画像計測処理部４４により計測された測距結果が閾値Thより大きい場合、左右の画像のうち、遠点側のピント位置の右光学系３２から作成した画像にピントが合っていると判定する。一方、適正画像判定部４５は、画像計測処理部４４により計測された測距結果が閾値Th以下の場合、左右の画像のうち、近点側のピント位置の左光学系３１から作成した画像にピントが合っていると判定する。【００３７】
左光学系３１では、物体「Ａ」にピントが合っており、物体「Ｂ」にピントが合っていない。そのため、左光学系３１からは、図５Ａに示すように、物体「Ａ」にピントが合っており、物体「Ｂ」がボケている画像が取得さる。【００３８】
一方、右光学系３２では、物体「Ａ」にピントが合っておらず、物体「Ｂ」にピントが合っている。そのため、右光学系３２からは、図５Ｂに示すように、物体「Ａ」がボケており、物体「Ｂ」にピントが合っている画像が取得される。【００３９】
ユーザが操作部１２を用いて表示部５上に計測点としてのカーソル５１を設定すると、画像計測処理部４４によりカーソル５１が設定されている物体までの距離が計測される。適正画像判定部４５は、画像計測処理部４４の測距結果が閾値Thより大きいか否かを判定することで、左右の画像のうち、ピントがより合っている画像を判定する。なお、以下の説明では、左右の画像のうち、ピントがより合っている画像を適正画像ともいう。このように、適正画像判定部４５は、表示部５に表示される所定の領域の被写体の位置が左光学系３１のピント位置または右光学系３２のピント位置のいずれに近いかを判定する判定部を構成する。【００４０】
例えば、物体「Ａ」の近辺にカーソル５１が設定されている場合、画像計測処理部４４の測距結果が閾値Th以下となるため、適正画像判定部４５は、左光学系３１で取得された画像にピントがより合っていると判定する。映像信号処理部４１は、適正画像判定部４５の判定結果に基づき、左光学系３１で取得された図５Ａに示す画像を表示部５に表示する。【００４１】
一方、例えば、物体「Ｂ」の近辺にカーソル５１が設定されている場合、画像計測処理部４４の測距結果が閾値Thより大きくなるため、適正画像判定部４５は、右光学系３２で取得された画像にピントがより合っていると判定する。映像信号処理部４１は、適正画像判定部４５の判定結果に基づき、右光学系３２で取得された図５Ｂに示す画像を表示部５に表示する。【００４２】
このように、映像信号処理部４１は、適正画像判定部４５の判定結果に応じて、左光学系３１で得られた画像または右光学系３２で得られた画像を切り替えて、表示部５に表示する表示制御部を構成する。これにより、表示部５は、左光学系３１で得られた被写体像が撮像素子３５の撮像領域に結像されることで取得される画像（第１の画像）または右光学系３２で得られた被写体像が撮像素子３５の撮像領域に結像されることで取得される画像（第２の画像）を表示する。【００４３】
次に、左右の画像のうち、ピントがより合っている画像を表示する表示処理について説明する。図６は、左右の画像のうち、ピントがより合っている画像を表示する表示処理の一例を示すフローチャートである。【００４４】
まず、装置が起動されると、遮光部３３により２つの光路を切り替えて左光学系３１及び右光学系３２からの撮像画像を取得する（S1）。次に、左光学系３１からの画像を作成し（S2）、表示部５に画像を表示する（S3）。このS2の処理では、デフォルトで設定されている一方の光学系、すなわち、左光学系３１と右光学系３２のいずれか一方からの画像を作成する。本実施形態では、一例として左光学系３１がデフォルトに設定されているものとするが、右光学系３２がデフォルトに設定されていてもよい。【００４５】
次に、ユーザが操作部１２を用いて表示部５の画面上にカーソル５１を設定すると、カーソル位置を取得し（S4）、ステレオ計測により画面上のカーソル位置を測距する（S5）。【００４６】
本実施形態では、ステレオ計測を行う場合、左光学系３１と右光学系３２のピント位置が異なるため、左光学系３１からの画像と右光学系３２からの画像とのボケ方が異なり、ステレオマッチングの精度が落ちる。そのため、一度ステレオ計測を行った後、その物体距離情報に対応したPSF（Point Spread Function）を用いて、テンプレート画像及び探索範囲の画像をデコンボリューション処理によって、一方の画像のボケ除去処理を行った画像を作成し、その画像上でステレオマッチングを行う。これにより、左右の画像の解像度が近くなるため、ステレオマッチングの精度が上がり、より正確な測距結果を得ることができる。【００４７】
なお、左右の画像の解像度を合わせるために、一方の画像をデコンボリューション処理によりボケ除去処理を行っているが、これに限定されることなく、他方の画像をコンボリューション処理によりボカシ処理を行ってもよい。【００４８】
また、例えば、左光学系３１からの画像にボケ除去処理、右光学系３２からの画像にボカシ処理等を行い、ボケ除去処理及びボカシ処理を組み合わせて、左右の画像の解像度を合わせるようにしてもよい。なお、左右の画像の解像度を近付ける画像処理は、上述した処理以外であってもよい。【００４９】
次に、測距結果が閾値Thよりも大きいか否かを判定する（S6）。測距結果が閾値Thよりも大きくないと判定した場合（S6:NO）、すなわち、測距結果が閾値Th以下と判定した場合、左光学系３１からの画像を作成し（S7）、表示部５に画像を表示する（S9）。一方、測距結果が閾値Thよりも大きいと判定した場合（S6:YES）、右光学系３２からの画像を作成し（S8）、表示部５に画像を表示する（S9）。次に、S9の処理が実行されると、遮光部３３により２つの光路を切り替えて左光学系３１及び右光学系３２からの撮像画像を取得し（S10）、S4に戻り同様の処理を繰り返す。【００５０】
以上の処理により、内視鏡システム１は、取得した２つの画像を合成処理する必要がなく、また、先端部２１にピント調節機構を設ける必要もなく、左光学系３１及び右光学系３２で取得された画像のうち、ユーザが注目している領域にピントがより合っている画像を自動で表示部５に表示することができ、観察性能を向上させることができる。内視鏡システム１は、取得した２つの画像を合成処理する必要がないため、例えばＣＰＵの負荷が増大することがない。また、内視鏡システム１は、先端部２１にピント調節機構を設ける必要がないため、先端部２１の太径化を招くことがない。【００５１】
よって、本実施形態の内視鏡システムによれば、ＣＰＵの負荷の増大、及び、先端部の太径化を招くことなく、ピントのより合っている画像を表示することができる。【００５２】
なお、本実施形態では、測距結果に応じて右画像及び左画像の一方を自動で切り替えて表示する表示モードを有しているが、例えば、常に右画像のみを表示する、あるいは、常に左画像のみを表示する等の他の表示モードを有し、各表示モードをユーザが操作部１２等を用いて選択できるようにしてもよい。【００５３】
（変形例１）
次に、第１の実施形態の変形例１について説明する。【００５４】
上述した実施形態では、ステレオ計測により物体までの距離を計測しているが、これに限定されることなく、TOF（Time of Flight）法、あるいは、レーザースポットを被写体に照射しての三角測量法等の他の測距方法を用いて物体までの距離を計測するようにしてもよい。【００５５】
また、上述した実施形態では、測距点をカーソル５１が設定されている１点としているが、これに限定されることなく、複数点を測距して、それらの測距結果に応じて適正画像を判定するようにしてもよい。また、ある点を測距することに限定されることなく、画像全体、あるいは、ある区切られた所定の領域を測距するようにしてもよい。【００５６】
さらになお、上述した実施形態では、測距結果に応じて適正画像を判定しているが、これに限定されることなく、画像の輝度あるいは領域特徴量により適正画像を判定するようにしてもよい。【００５７】
画像の輝度により適正画像を判定する場合、撮像素子３５への入射光量を判定する。入射光量が所定の閾値より多い場合、物体距離が近いと推定し、入射光量が所定の閾値以下の場合、物体距離が遠いと推定する。そして、適正画像判定部４５は、物体距離が近いと推定した場合、近点側のピント位置の左光学系３１からの画像を適正画像と判定し、物体距離が遠いと推定した場合、遠点側のピント糸の右光学系３２からの画像を適正画像と判定する。【００５８】
また、画像内の領域特徴量により適正画像を判定する場合、左右の画像の所定の物体のエッジを検出する。画像がボケている場合、エッジの境界でコントラストが小さくなり、画像がボケていない場合、エッジの境界でコントラストが大きくなる。そのため、エッジの境界でコントラストが小さい場合、画像がボケていると推定し、エッジの境界でコントラストが大きい場合、画像がボケていないと推定する。適正画像判定部４５は、左右の画像のうち、エッジの境界でコントラストが大きい画像を適正画像と判定する。【００５９】
本実施形態では、所定の物体のエッジ検出を行い、コントラストを算出する位置を決めたが、簡易的に左画像や右画像の中央などの所定の領域内でコントラストを算出するようにしても良い。【００６０】
さらに、本実施形態では、領域特徴量としてエッジのコントラストを用いたが、所定の領域内の画素値の分散や同時生起行列に基づいた特徴量など他の指標を用いても良い。【００６１】
（変形例２）
次に、第１の実施形態の変形例２について説明する。【００６２】
上述した実施形態では、測距結果に応じて表示画像が毎回切り替えることになるが、測距結果が閾値Thの近辺で安定しない場合、表示画面に表示される画像が頻度に切り替わることになり、煩わしくなる。そのため、複数回連続（N回連続：Nは２以上の整数）で測距結果が閾値Thより大きい場合、あるいは、複数回連続で測距結果が閾値Th以下の場合のみに表示画像を切り替えるようにしてもよい。例えば、近点側のピント位置の左光学系３１からの画像を表示しているときに、測距結果が複数回連続で閾値Thより大きいと判定された場合、遠点側のピント位置の右光学系３２からの画像を表示するように切り替える。【００６３】
この結果、測距結果が閾値Thの近辺で不安定な場合に表示画像が頻繁に切り替わることがなくなり、観察性能を向上させることができる。【００６４】
また、上述した実施形態では、閾値Thにより適正画像を判定して表示画像を切り替えているが、２つの閾値Th1及び閾値Th2を用いて適正画像を判定して表示画像を切り替えるようにしてもよい。【００６５】
図７は、左光学系及び右光学系のピント位置と閾値の関係を示す図である。図７に示すように、閾値Th1は、右光学系のピント位置側に設定され、閾値Th2は、左光学系のピント位置側に設定される。すなわち、２つの閾値Th1及び閾値Th2は、閾値Th1＞閾値Th2の関係になっている。このように、ヒステリシスを持たせることで、測距結果が不安定な場合に表示画像が頻度に切り替わることを防ぐようにしてもよい。【００６６】
まず、デフォルトとして左光学系からの画像を表示する。適正画像判定部４５は、左光学系３１からの画像を表示している際に、測距結果が閾値Th1以下と判定した場合、左光学系３１からの画像を適正画像と判定する。一方、適正画像判定部４５は、左光学系３１からの画像を表示している際に、測距結果が閾値Th1より大きいと判定した場合、右光学系３２からの画像を適正画像と判定する。【００６７】
また、適正画像判定部４５は、右光学系３２からの画像を表示している際に、測距結果が閾値Th2以上と判定した場合、右光学系３２からの画像を適正画像と判定する。一方、適正画像判定部４５は、右光学系３２からの画像を表示している際に、測距結果が閾値Th1より小さいと判定した場合、左光学系３１からの画像を適正画像と判定する。【００６８】
次に、左右の画像のうち、ピントがより合っている画像を表示する表示処理について説明する。図８及び図９は、左右の画像のうち、ピントがより合っている画像を表示する表示処理の一例を示すフローチャートである。なお、図８において、図６と同様の処理については、同一の符号を付している。【００６９】
まず、装置が起動されると、遮光部３３により２つの光路を切り替えて左光学系３１及び右光学系３２からの撮像画像を取得する（S1）。次に、左光学系３１からの画像を作成し（S2）、表示部５に画像を表示する（S3）。このS2の処理では、デフォルトで設定されている一方の光学系、すなわち、左光学系３１と右光学系３２のいずれか一方からの画像を作成する。本変形例では、一例として左光学系３１がデフォルトに設定されているものとするが、右光学系３２がデフォルトに設定されていてもよい。【００７０】
次に、ユーザが操作部１２を用いて表示部５の画面上にカーソル５１を設定すると、カーソル位置を取得し（S4）、ステレオ計測により画面上のカーソル位置を測距する（S5）。【００７１】
S5においてカーソル位置を測距すると、測距結果が閾値Th1より大きいか否かを判定する（S11）。測距結果が閾値Th1よりも大きくない（すなわち、測距結果が閾値Th1以下）と判定した場合（S11:NO）、左光学系３１からの画像を作成し（S12）、作成した画像を表示部５に表示する（S13）。そして、遮光部３３により２つの光路を切り替えて左光学系３１及び右光学系３２からの撮像画像を取得し（S14）、S4の処理に戻る。【００７２】
一方、測距結果が閾値Th1よりも大きいと判定した場合（S11:YES）、右光学系３２からの画像を作成し（S15）、作成した画像を表示部５に表示する（S16）。そして、遮光部３３により２つの光路を切り替えて左光学系３１及び右光学系３２からの撮像画像を取得し（S17）、図９の処理に移る。【００７３】
S17で撮像画像を取得すると、図９に移り、カーソル位置を取得し（S18）、カーソル位置を測距する（S19）。次に、測距結果が閾値Th2よりも小さいか否かを判定する（S20）。測距結果が閾値Th2よりも小さくない（すなわち、測距結果が閾値Th2以上）と判定した場合、右光学系３２からの画像を作成し（S21）、作成した画像を表示部５に表示する（S22）。そして、遮光部３３により２つの光路を切り替えて左光学系３１及び右光学系３２からの撮像画像を取得し（S23）、S18の処理に戻る。【００７４】
一方、測距結果が閾値Th1よりも小さいと判定した場合（S20:YES）、左光学系３１からの画像を作成し（S24）、作成した画像を表示部５に表示する（S25）。そして、遮光部３３により２つの光路を切り替えて左光学系３１及び右光学系３２からの撮像画像を取得し（S26）、図８のS4の処理に戻る。【００７５】
以上のように、閾値にヒステリシスを持たせることで、測距結果が不安定な場合に表示部５に表示される表示画像が頻繁に切り替わることがなくなり、観察性能を向上させることができる。【００７６】
（変形例３）
次に、第１の実施形態の変形例３について説明する。【００７７】
図６に示すように、第１の実施形態では毎回測距を行い、表示画像を切り替えるかを判定していた。しかし、表示画像切り替え判定をするためには、光路を切り替えて撮影した左右の光学像を取得し、測距のための演算をする必要があるため、処理時間をかかる。そのため、ライブ状態で動作させる場合に、フレームレートが落ちてしまう。そこで、フレームレートを低下させないように、測距のための演算（図６のS4及びS5）を複数回（複数フレーム）の１回行い、複数回に１回だけ表示画像切り替え判定（図６のS6）を行うようにしても良い。【００７８】
（第２の実施形態）
次に、第２の実施形態について説明する。【００７９】
第１の実施形態では、左右の画像を切り替えて取得する切り替え式ステレオ計測の内視鏡システムについて説明したが、第２の実施形態では、左右の画像を同時に取得する同時式ステレオ計測の内視鏡システムについて説明する。なお、第２の実施形態の内視鏡システムの全体構成は、第１の実施形態と同様である。【００８０】
図１０は、第２の実施形態に係る挿入部の先端部の光学系の構成を説明するための図である。なお、図１０において、図２と同様の構成については、同一の符号を付して説明を省略する。【００８１】
図１０に示すように、挿入部１１の先端部２１ａは、図２の先端部２１に対して遮光部３３が削除されて構成されている。また、先端部２１ａは、図２の左光学系３１及び右光学系３２に代わり、それぞれ、左光学系６１及び右光学系６２を有して構成されている。【００８２】
左光学系６１は、レンズ６１ａ及び６１ｂを備えて構成されている。右光学系６２は、レンズ６２ａ及び６２ｂを備えて構成されている。左光学系６１及び右光学系６２は、それぞれピント位置が異なって設計されている。本実施形態では、左光学系６１は、ピント位置が近点側に設計され、右光学系６２は、ピント位置が遠点側に設計されている。【００８３】
左光学系６１及び右光学系６２の像は、１つの撮像素子３５の異なる領域に同時刻に結像するように設計されている。すなわち、本実施形態の内視鏡システム１は、視差を有する複数の画像を同時に取得することができる装置である。なお、本実施形態では、左光学系６１及び右光学系６２の像は、１つの撮像素子３５の異なる領域に同時刻に結像する場合について説明するが、例えば、２つの撮像素子を有し、一方の撮像素子に左光学系６１の像を、他方の撮像素子に右光学系６２の像を同時に結像するようにしてもよい。【００８４】
結像光学系３４は、左光学系６１及び右光学系６２の２つの光路を通過する光を撮像素子３５の異なる領域に結像するように構成されている。撮像素子３５は、結像光学系３４の結像位置に配置されており、視差を持って結像された２つの光路からの像を撮像する。撮像素子３５により撮像された撮像信号は、本体装置４に供給される。【００８５】
本体装置４は、撮像素子３５により撮像された左光学系６１からの画像または右光学系６２からの画像の一方の画像を選択して、表示部５に表示する。より具体的には、ライブ画像（動画）を観察している際に、測距結果に応じて、同時に撮像された左光学系６１からの画像と右光学系６２からの画像の一方を選択して表示部５に表示している。表示処理は、第１の実施形態と同様である。【００８６】
すなわち、映像信号処理部４１は、撮像素子３５の異なる領域に同時に撮像された撮像画像から左光学系６１からの画像を生成し、表示部５に表示する。画像計測処理部４４は、表示部５上に設定されたカーソル５１までの距離を計測し、測距結果を適正画像判定部４５に出力する。そして、適正画像判定部４５は、その測距結果を閾値Thと比較し、測距結果が閾値Thより大きい場合、右光学系６２からの画像を適正画像と判定し、測距結果が閾値Th以下の場合、左光学系６１からの画像を適正画像と判定し、判定結果を映像信号処理部４１に出力する。映像信号処理部４１は、適正画像判定部４５の判定結果に基づいて、左右の画像のうち、ピントのより合っている画像を表示部５に出力する。【００８７】
この結果、本実施形態の内視鏡システムによれば、第１の実施形態の内視鏡システムと同様に、ＣＰＵの負荷の増大、及び、先端部の太径化を招くことなく、ピントのより合っている画像を表示することができる。【００８８】
（変形例１）
次に、第２の実施形態の変形例１について説明する。【００８９】
第２の実施形態では、ライブ画像（動画）を観察している際に、測距結果に応じて、同時に撮像された左光学系６１からの画像と右光学系６２からの画像の一方を選択して表示している。【００９０】
これに対して、変形例では、ライブ画像（動画）を観察している際に、左光学系６１からの画像と右光学系６２からの画像とを同時に表示部５に表示し、フリーズ指示があった場合、測距結果に応じて、同時に撮像された左光学系６１からの画像と右光学系６２からの画像の一方を選択して表示部５に表示する。【００９１】
図１１Ａ、図１１Ｂは、表示部に表示される画像の一例を示す図である。ライブ画像を観察している場合、図１１Ａに示すように、左光学系６１及び右光学系６２により取得された左右の画像を表示し、フリーズ指示があった場合、図１１Ｂに示すように、左光学系６１及び右光学系６２により取得された左右の画像のうちピントがより合っている一方の画像を表示する。なお、フリーズ指示は、操作部１２に設けられている図示しないフリーズボタン等によりユーザが指示することができる。【００９２】
次に、フリーズ指示があった際に適正画像を表示する表示処理について説明する。図１２は、フリーズ指示があった際に適正画像を表示する表示処理の一例を示すフローチャートである。【００９３】
まず、装置が起動されると、左光学系６１及び右光学系６２からの撮像画像を取得し（S31）、取得した左光学系６１及び右光学系６２からの撮像画像から双眼ライブ画像を生成し（S32）、双眼ライブ画像を表示部５に表示する（S33）。【００９４】
次に、ユーザからフリーズ指示があったか否かを判定する（S34）。ユーザは、例えば、操作部１２に設けられているフリーズボタン等によりフリーズ指示を行う。フリーズ指示がないと判定された場合（S34:NO）、S41に戻り、同様の処理を繰り返す。一方、フリーズ指示があると判定された場合（S34:YES）、カーソル位置を取得する（S35）。カーソル位置は、ユーザが操作部１２を用いて表示部５の画面上に設定される。【００９５】
次に、ステレオ計測により画面上のカーソル位置を測距し（S36）、測距結果が閾値Thよりも大きいか否かを判定する（S37）。測距結果が閾値Thよりも大きくないと判定した場合（S37:NO）、すなわち、測距結果が閾値Th以下と判定した場合、左光学系６１からの画像を作成する（S38）。一方、測距結果が閾値Thよりも大きいと判定した場合（S37:YES）、右光学系６２からの画像を作成する（S39）。【００９６】
最後に、S38で作成された左光学系６１からの画像、または、S39で作成された右光学系６２からの画像の一方を単眼静止画像として表示部５に表示し（S40）、処理を終了する。【００９７】
以上のように、ライブ画像では、ピント位置の異なる右光学系及び左光学系からの画像を両方表示することで、近点側は左画像、遠点側は右画像で観察することができ、ライブ画像時の被写界深度を深くすることができる。【００９８】
一方、ユーザによりフリーズ指示が行われて静止画を表示する場合、左画像及び右画像のうち、ピントがより合っている画像を表示することで、静止画上での計測機能に適した画像を表示することができる。例えば、検査対象物の傷等を計測する場合、この静止画上で三次元計測を行う点をユーザにより指定させることで、ピントがより合った観察性能がよい画像を用いて正確な計測点の指定が行えるようになる。さらに、静止画を片方の画像のみを表示させることにより、視認性が向上し、より正確な計測点の指定が可能となり、計測誤差を抑制することができる。【００９９】
（変形例２）
次に、第２の実施形態の変形例２について説明する。【０１００】
本変形例２では適正画像を強調表示する内視鏡システムについて説明する。すなわち、本変形例２では、適正画像の表示方法が第２の実施形態とは異なる。【０１０１】
図１３Ａ、図１３Ｂは、強調表示の一例を説明するための図であり、図１４Ａ、図１４Ｂは、強調表示の他の例を説明するための図である。【０１０２】
図１３Ａに示すように、ライブ表示中は１つの撮像素子３５の異なる領域で撮像された左光学系６１からの画像及び右光学系６２からの画像の両方を表示部５に表示する。ここで、適正画像判定部４５は、画像計測処理部４４からの測距結果に応じて適正画像を判定し、判定結果を映像信号処理部４１に出力する。なお、適正画像の判定方法は、第２の実施形態と同様である。そして、映像信号処理部４１は、適正画像判定部４５の判定結果に基づき、図１３Ｂに示すように、適正画像と判定された画像を枠６３で囲って強調表示する。さらに、映像信号処理部４１は、適正画像でないと判定された画像をグレイアウト（符号６４）することで、ユーザに適正画像でないことを示すようにしてもよい。【０１０３】
また、図１４Ａに示すように、映像信号処理部４１は、適正画像と判定された画像のサイズを拡大して表示するようにしてもよい。図１４Ａの例では、左画像が適正画像と判定され、拡大表示されている。このとき、図１３Ｂと同様に、適正画像と判定された画像を枠６３で囲って強調表示してもよい。このような構成とすることによって、ユーザが注目している領域にピントがより合っている画像を大きな画像で観察することができ、観察性能が向上する。【０１０４】
さらに、映像信号処理部４１は、適正画像が左画像から右画像、または、右画像から左画像に変更になった場合に、適正画像の表示位置が変わらないようにしてもよい。例えば図１４Ａでは、左画像が適正画像として拡大表示されている。映像信号処理部４１は、測距結果に応じて適正画像が左画像から右画像に代わったと適正画像判定部４５が判定した場合、図１４Ｂに示すように、適正画像である左画像が表示されていた表示位置に、新たに適正画像と判定された右画像を表示する。これにより、表示部５の画面内の同じ領域に常に適正画像が表示された状態となり、ユーザは、画面内の同じ領域を観察しながら検査を行うことができる。【０１０５】
なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。【０１０６】
本発明は、上述した実施形態及び変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。【０１０７】
本出願は、２０１６年６月２１日に日本国に出願された特願２０１６−１２２７４７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
【図１】
2017221507.tif 000003
【図２】
2017221507.tif 000004
【図３】
2017221507.tif 000005
【図４】
2017221507.tif 000006
【図５Ａ】
2017221507.tif 000007
【図５Ｂ】
2017221507.tif 000008
【図６】
2017221507.tif 000009
【図７】
2017221507.tif 000010
【図８】
2017221507.tif 000011
【図９】
2017221507.tif 000012
【図１０】
2017221507.tif 000013
【図１１Ａ】
2017221507.tif 000014
【図１１Ｂ】
2017221507.tif 000015
【図１２】
2017221507.tif 000016
【図１３Ａ】
2017221507.tif 000017
【図１３Ｂ】
2017221507.tif 000018
【図１４Ａ】
2017221507.tif 000019
【図１４Ｂ】
2017221507.tif 000020
【国際調査報告】
2017221507.tif 000021
2017221507.tif 000022
2017221507.tif 000023