(57)【要約】  内視鏡装置において、信頼度マップ生成部は、観察画像上の複数の位置のそれぞれに対応する信頼度情報を示す信頼度マップを生成する。計測用指標表示制御部は、計測用指標を前記観察画像上に表示させ、かつ入力部を介して入力されるユーザーの指示に基づいて前記観察画像上で前記計測用指標を移動させる。信頼度マップ表示制御部は、表示部において前記計測用指標が表示される位置と異なる位置に、前記観察画像の表示サイズに対する前記信頼度マップの表示サイズの比率が所定値となるように前記信頼度マップを表示させる。
2017199657.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、かつ撮像信号を生成する撮像部と、
前記撮像信号に基づいて観察画像を生成する観察画像生成部と、
前記観察画像における複数の位置のそれぞれに対応する３次元座標の算出結果の信頼度に関する信頼度情報を算出する信頼度算出部と、
前記観察画像上の前記複数の位置のそれぞれに対応する前記信頼度情報を示す信頼度マップを生成する信頼度マップ生成部と、
前記観察画像および前記信頼度マップを表示する表示部と、
前記観察画像上でユーザーが計測点の位置を指定するための計測用指標を前記観察画像上に表示させ、かつ入力部を介して入力される前記ユーザーの指示に基づいて前記観察画像上で前記計測用指標を移動させる計測用指標表示制御部と、
前記計測用指標の位置に基づいて、前記計測点の位置を決定する計測点決定部と、
前記計測点決定部によって決定された前記計測点の前記位置の３次元座標を算出する計測部と、
前記表示部において前記計測用指標が表示される位置と異なる位置に、前記観察画像の表示サイズに対する前記信頼度マップの表示サイズの比率が所定値となるように前記信頼度マップを表示させる信頼度マップ表示制御部と、
を有する内視鏡装置。
【請求項２】
前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の対応位置を算出する対応位置算出部と、
前記対応位置算出部によって算出された前記対応位置における前記信頼度情報を前記ユーザーに対して通知する信頼度情報通知部と、
をさらに有する請求項１に記載の内視鏡装置。
【請求項３】
前記信頼度情報通知部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置に参照用指標を表示させる参照用指標表示制御部を有する
請求項２に記載の内視鏡装置。
【請求項４】
前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する
請求項３に記載の内視鏡装置。
【請求項５】
前記参照用指標の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであり、
前記参照用指標表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記参照用指標を表示させる
請求項４に記載の内視鏡装置。
【請求項６】
前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成し、
前記参照用指標表示制御部は、前記参照用指標を複数の色のいずれか１つで表示させ、かつ前記参照用指標の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色とは異ならせる
請求項４に記載の内視鏡装置。
【請求項７】
前記信頼度情報通知部は、前記計測用指標表示制御部を有する請求項２に記載の内視鏡装置。
【請求項８】
前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する
請求項７に記載の内視鏡装置。
【請求項９】
前記計測用指標の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであり、
前記計測用指標表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記計測用指標を表示させる
請求項８に記載の内視鏡装置。
【請求項１０】
前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成し、
前記計測用指標表示制御部は、前記計測用指標を複数の色のいずれか１つで表示させ、かつ前記計測用指標の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色と同一にさせる
請求項８に記載の内視鏡装置。
【請求項１１】
前記信頼度情報通知部は、前記観察画像および前記信頼度マップの少なくとも一方の表示領域外縁の表示形態を制御する外縁表示制御部を有する
請求項２に記載の内視鏡装置。
【請求項１２】
前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する
請求項１１に記載の内視鏡装置。
【請求項１３】
前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであり、
前記外縁表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁を表示させる
請求項１２に記載の内視鏡装置。
【請求項１４】
前記外縁表示制御部は、前記観察画像の表示領域外縁と前記信頼度マップの表示領域外縁とのそれぞれの表示形態を同一にさせる
請求項１３に記載の内視鏡装置。
【請求項１５】
前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成し、
前記外縁表示制御部は、前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁を複数の色のいずれか１つで表示させ、かつ前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色と同一にさせる
請求項１２に記載の内視鏡装置。
【請求項１６】
前記外縁表示制御部は、前記観察画像の表示領域外縁と前記信頼度マップの表示領域外縁とのそれぞれの表示色を同一にさせる
請求項１５に記載の内視鏡装置。
【請求項１７】
前記信頼度情報通知部は、前記信頼度マップ表示制御部を有し、
前記信頼度マップ表示制御部は、前記信頼度マップの表示サイズを制御する
請求項２に記載の内視鏡装置。
【請求項１８】
前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する
請求項１７に記載の内視鏡装置。
【請求項１９】
前記比率は、前記複数の信頼度レベルに対応する複数の値のいずれか１つであり、
前記信頼度マップ表示制御部は、前記比率が、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する値となるように前記信頼度マップを表示させる
請求項１８に記載の内視鏡装置。
【請求項２０】
前記観察画像上の第１の位置に第１のグリッド線を表示させ、かつ前記第１の位置に対応する前記信頼度マップ上の第２の位置に第２のグリッド線を表示させるグリッド線表示制御部をさらに有する
請求項１に記載の内視鏡装置。
【請求項２１】
前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の対応位置を算出する対応位置算出部をさらに有し、
前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する
請求項２０に記載の内視鏡装置。
【請求項２２】
前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の位置を算出する対応位置算出部をさらに有し、
前記第１のグリッド線および前記第２のグリッド線の少なくとも一方の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであり、
前記グリッド線表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記第１のグリッド線および前記第２のグリッド線の少なくとも一方を表示させる
請求項２１に記載の内視鏡装置。
【請求項２３】
前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の位置を算出する対応位置算出部をさらに有し、
前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成し、
前記グリッド線表示制御部は、前記第１のグリッド線を複数の色のいずれか１つで表示させ、かつ前記第１のグリッド線の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色と同一にさせる
請求項２１に記載の内視鏡装置。
【請求項２４】
被写体を撮像し、かつ撮像信号を生成する撮像ステップと、
前記撮像信号に基づいて観察画像を生成する観察画像生成ステップと、
前記観察画像における複数の位置のそれぞれに対応する３次元座標の算出結果の信頼度に関する信頼度情報を算出する信頼度算出ステップと、
前記観察画像上の前記複数の位置のそれぞれに対応する前記信頼度情報を示す信頼度マップを生成する信頼度マップ生成ステップと、
前記観察画像および前記信頼度マップを表示部に表示させる表示ステップと、
前記観察画像上でユーザーが計測点の位置を指定するための計測用指標を前記観察画像上に表示させ、かつ入力部を介して入力される前記ユーザーの指示に基づいて前記観察画像上で前記計測用指標を移動させる計測用指標表示ステップと、
前記計測用指標の位置に基づいて、前記計測点の位置を決定する計測点決定ステップと、
前記計測点決定ステップによって決定された前記計測点の前記位置の３次元座標を算出する計測ステップと、
を有し、前記表示ステップは、前記表示部において前記計測用指標が表示される位置と異なる位置に、前記観察画像の表示サイズに対する前記信頼度マップの表示サイズの比率が所定値となるように前記信頼度マップを表示させる
計測方法。
【請求項２５】
被写体の観察画像を取得する観察画像取得機能と、
前記観察画像における複数の位置のそれぞれに対応する３次元座標の算出結果の信頼度に関する信頼度情報を算出する信頼度算出機能と、
前記観察画像上の前記複数の位置のそれぞれに対応する前記信頼度情報を示す信頼度マップを生成する信頼度マップ生成機能と、
前記観察画像および前記信頼度マップを表示部に表示させる表示機能と、
前記観察画像上でユーザーが計測点の位置を指定するための計測用指標を前記観察画像上に表示させ、かつ入力部を介して入力される前記ユーザーの指示に基づいて前記観察画像上で前記計測用指標を移動させる計測用指標表示機能と、
前記計測用指標の位置に基づいて、前記計測点の位置を決定する計測点決定機能と、
前記計測点決定機能によって決定された前記計測点の前記位置の３次元座標を算出する計測機能と、
前記表示部において前記計測用指標が表示される位置と異なる位置に、前記観察画像の表示サイズに対する前記信頼度マップの表示サイズの比率が所定値となるように前記信頼度マップを表示させる信頼度マップ表示制御機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置、計測方法、およびプログラムに関する。
本願は、２０１６年５月２０日に日本に出願された特願２０１６−１０１３３９号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
近年、ボイラー、タービン、エンジン、および化学プラントなどの検査において、内部の傷および腐食を観察するために工業用内視鏡が広く用いられている。工業用内視鏡の例として、計測内視鏡装置が特許文献１に開示されている。計測内視鏡装置において、内視鏡の先端に２個の光学系が設けられている。計測内視鏡装置は、三角測量の原理を利用したステレオ計測により３次元計測を行う。検査において検査対象物の内部に傷などの不具合箇所が発見されたとき、ユーザーはこのような計測内視鏡装置を用いて傷の大きさ等を計測する。これにより、ユーザーは、検査対象物の分解および修理が必要であるか否かを判断することができる。そのため、計測内視鏡装置ができるだけ正確に３次元計測を行えることが非常に重要である。ステレオ計測以外の３次元計測を行う装置も利用されている。例えば、パターン光を投影する手段が挿入部の先端に設けられた装置が利用されている。この装置は、被写体に投影されたパターンを解析することにより３次元計測を行うことができる。【０００３】
上記のように、計測内視鏡装置ができるだけ正確に計測を行えることが非常に重要である。一般的に、ユーザーはできるだけ計測精度の高い状態で計測が行われることを望んでいる。計測時には、ユーザーは、被写体において計測したい位置が確実に撮像されるように挿入部の位置を調整する。ユーザーは、観察している映像を静止させた後、静止画像に対して計測点を指定することにより計測を実行する。【０００４】
特許文献２において、イメージャが取得した計測画像に対して、計測信頼度をオーバーレイ表示する計測内視鏡装置が開示されている。ユーザーは、計測信頼度がオーバーレイ表示された計測画像上で計測点を指定することにより計測を実行する。特許文献２に開示された計測内視鏡装置によれば、ユーザーは、計測点を指定する段階で、計測画像上の計測信頼度を把握することができる。【０００５】
特許文献３において、固体撮像素子が取得した画像に対して、計測値の不確かさを示す情報が合成された不確かさ推定画像を表示する内視鏡装置が開示されている。特許文献３に開示された内視鏡装置によれば、ユーザーは、計測値の精度を事前に知ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】日本国特開２００４−３３４８７号公報
【特許文献２】日本国特開２０１２−２２０４９６号公報
【特許文献３】日本国特開２０１３−２５２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２において、イメージャが取得した計測画像に対して、計測信頼度がオーバーレイ表示される。そのため、ユーザーは、計測信頼度を確認できる。しかし、計測信頼度がオーバーレイ表示された部分において計測画像が隠れるため、視認性が低下する。ユーザーは、計測信頼度がオーバーレイ表示された部分がどのような状態であるのかを確認するのが困難である。また、計測画像において計測信頼度が計測位置付近にオーバーレイ表示された場合、計測位置付近の視認性が低下する。【０００８】
特許文献３において、計測信頼度に相当する不確かさ推定画像を表示することについては開示されているが、計測点の指定については言及されていない。仮に、ユーザーが計測点を不確かさ推定画像上で指定する場合、特許文献２と同様に視認性が低下する。このため、ユーザーにとって使い勝手が悪くなる。【０００９】
本発明は、観察画像において計測位置の視認性の低下を抑制することができる内視鏡装置、計測方法、およびプログラムを提供する。
【課題を解決するための手段】
【００１０】
本発明の第１の態様によれば、内視鏡装置は、撮像部と、観察画像生成部と、信頼度算出部と、信頼度マップ生成部と、表示部と、計測用指標表示制御部と、計測点決定部と、計測部と、信頼度マップ表示制御部とを有する。前記撮像部は、被写体を撮像し、かつ撮像信号を生成する。前記観察画像生成部は、前記撮像信号に基づいて観察画像を生成する。前記信頼度算出部は、前記観察画像における複数の位置のそれぞれに対応する３次元座標の算出結果の信頼度に関する信頼度情報を算出する。前記信頼度マップ生成部は、前記観察画像上の前記複数の位置のそれぞれに対応する前記信頼度情報を示す信頼度マップを生成する。前記表示部は、前記観察画像および前記信頼度マップを表示する。前記計測用指標表示制御部は、前記観察画像上でユーザーが計測点の位置を指定するための計測用指標を前記観察画像上に表示させ、かつ入力部を介して入力される前記ユーザーの指示に基づいて前記観察画像上で前記計測用指標を移動させる。前記計測点決定部は、前記計測用指標の位置に基づいて、前記計測点の位置を決定する。前記計測部は、前記計測点決定部によって決定された前記計測点の前記位置の３次元座標を算出する。前記信頼度マップ表示制御部は、前記表示部において前記計測用指標が表示される位置と異なる位置に、前記観察画像の表示サイズに対する前記信頼度マップの表示サイズの比率が所定値となるように前記信頼度マップを表示させる。【００１１】
本発明の第２の態様によれば、第１の態様において、前記内視鏡装置は、対応位置算出部と、信頼度情報通知部とをさらに有してもよい。前記対応位置算出部は、前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の対応位置を算出する。前記信頼度情報通知部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度情報を前記ユーザーに対して通知する。【００１２】
本発明の第３の態様によれば、第２の態様において、前記信頼度情報通知部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置に参照用指標を表示させる参照用指標表示制御部を有してもよい。【００１３】
本発明の第４の態様によれば、第３の態様において、前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応してもよい。【００１４】
本発明の第５の態様によれば、第４の態様において、前記参照用指標の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであってもよい。前記参照用指標表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記参照用指標を表示させてもよい。【００１５】
本発明の第６の態様によれば、第４の態様において、前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成してもよい。前記参照用指標表示制御部は、前記参照用指標を複数の色のいずれか１つで表示させ、かつ前記参照用指標の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色とは異ならせてもよい。【００１６】
本発明の第７の態様によれば、第２の態様において、前記信頼度情報通知部は、前記計測用指標表示制御部を有してもよい。【００１７】
本発明の第８の態様によれば、第７の態様において、前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応してもよい。【００１８】
本発明の第９の態様によれば、第８の態様において、前記計測用指標の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであってもよい。前記計測用指標表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記計測用指標を表示させてもよい。【００１９】
本発明の第１０の態様によれば、第８の態様において、前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成してもよい。前記計測用指標表示制御部は、前記計測用指標を複数の色のいずれか１つで表示させ、かつ前記計測用指標の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色と同一にさせてもよい。【００２０】
本発明の第１１の態様によれば、第２の態様において、前記信頼度情報通知部は、前記観察画像および前記信頼度マップの少なくとも一方の表示領域外縁の表示形態を制御する外縁表示制御部を有してもよい。【００２１】
本発明の第１２の態様によれば、第１１の態様において、前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応してもよい。【００２２】
本発明の第１３の態様によれば、第１２の態様において、前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであってもよい。前記外縁表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁を表示させてもよい。【００２３】
本発明の第１４の態様によれば、第１３の態様において、前記外縁表示制御部は、前記観察画像の表示領域外縁と前記信頼度マップの表示領域外縁とのそれぞれの表示形態を同一にさせてもよい。【００２４】
本発明の第１５の態様によれば、第１２の態様において、前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成してもよい。前記外縁表示制御部は、前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁を複数の色のいずれか１つで表示させ、かつ前記観察画像および前記信頼度マップの少なくとも一方の前記表示領域外縁の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色と同一にさせてもよい。【００２５】
本発明の第１６の態様によれば、第１５の態様において、前記外縁表示制御部は、前記観察画像の表示領域外縁と前記信頼度マップの表示領域外縁とのそれぞれの表示色を同一にさせてもよい。【００２６】
本発明の第１７の態様によれば、第２の態様において、前記信頼度情報通知部は、前記信頼度マップ表示制御部を有してもよい。前記信頼度マップ表示制御部は、前記信頼度マップの表示サイズを制御してもよい。【００２７】
本発明の第１８の態様によれば、第１７の態様において、前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応してもよい。【００２８】
本発明の第１９の態様によれば、第１８の態様において、前記比率は、前記複数の信頼度レベルに対応する複数の値のいずれか１つであってもよい。前記信頼度マップ表示制御部は、前記比率が、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する値となるように前記信頼度マップを表示させてもよい。【００２９】
本発明の第２０の態様によれば、第１の態様において、前記内視鏡装置は、前記観察画像上の第１の位置に第１のグリッド線を表示させ、かつ前記第１の位置に対応する前記信頼度マップ上の第２の位置に第２のグリッド線を表示させるグリッド線表示制御部をさらに有してもよい。【００３０】
本発明の第２１の態様によれば、第２０の態様において、前記内視鏡装置は、前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の対応位置を算出する対応位置算出部をさらに有してもよい。前記対応位置算出部によって算出された前記対応位置における前記信頼度情報は、前記信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応してもよい。【００３１】
本発明の第２２の態様によれば、第２１の態様において、前記内視鏡装置は、前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の位置を算出する対応位置算出部をさらに有してもよい。前記第１のグリッド線および前記第２のグリッド線の少なくとも一方の表示形態は、前記複数の信頼度レベルに対応する複数の表示形態のいずれか１つであってもよい。前記グリッド線表示制御部は、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する表示形態で前記第１のグリッド線および前記第２のグリッド線の少なくとも一方を表示させてもよい。【００３２】
本発明の第２３の態様によれば、第２１の態様において、前記内視鏡装置は、前記観察画像における前記計測用指標の位置に対応する前記信頼度マップ上の位置を算出する対応位置算出部をさらに有してもよい。前記信頼度マップ生成部は、前記信頼度マップにおいて前記対応位置算出部によって算出された前記対応位置のそれぞれが、前記対応位置における前記信頼度レベルに対応する色で表示されるような前記信頼度マップを生成してもよい。前記グリッド線表示制御部は、前記第１のグリッド線を複数の色のいずれか１つで表示させ、かつ前記第１のグリッド線の表示色を、前記対応位置算出部によって算出された前記対応位置における前記信頼度レベルに対応する色と同一にさせてもよい。【００３３】
本発明の第２４の態様によれば、計測方法は、撮像ステップと、観察画像生成ステップと、信頼度算出ステップと、信頼度マップ生成ステップと、表示ステップと、計測用指標表示ステップと、計測点決定ステップと、計測ステップとを有する。前記撮像ステップは、被写体を撮像し、かつ撮像信号を生成する。前記観察画像生成ステップは、前記撮像信号に基づいて観察画像を生成する。前記信頼度算出ステップは、前記観察画像における複数の位置のそれぞれに対応する３次元座標の算出結果の信頼度に関する信頼度情報を算出する。前記信頼度マップ生成ステップは、前記観察画像上の前記複数の位置のそれぞれに対応する前記信頼度情報を示す信頼度マップを生成する。前記表示ステップは、前記観察画像および前記信頼度マップを表示部に表示させる。前記計測用指標表示ステップは、前記観察画像上でユーザーが計測点の位置を指定するための計測用指標を前記観察画像上に表示させ、かつ入力部を介して入力される前記ユーザーの指示に基づいて前記観察画像上で前記計測用指標を移動させる。前記計測点決定ステップは、前記計測用指標の位置に基づいて、前記計測点の位置を決定する。前記計測ステップは、前記計測点決定ステップによって決定された前記計測点の前記位置の３次元座標を算出する。前記表示ステップは、前記表示部において前記計測用指標が表示される位置と異なる位置に、前記観察画像の表示サイズに対する前記信頼度マップの表示サイズの比率が所定値となるように前記信頼度マップを表示させる。【００３４】
本発明の第２５の態様によれば、プログラムは、観察画像取得機能と、信頼度算出機能と、信頼度マップ生成機能と、表示機能と、計測用指標表示機能と、計測点決定機能と、計測機能と、信頼度マップ表示制御機能とをコンピュータに実現させる。前記観察画像取得機能は、被写体の観察画像を取得する。前記信頼度算出機能は、前記観察画像における複数の位置のそれぞれに対応する３次元座標の算出結果の信頼度に関する信頼度情報を算出する。前記信頼度マップ生成機能は、前記観察画像上の前記複数の位置のそれぞれに対応する前記信頼度情報を示す信頼度マップを生成する。前記表示機は、前記観察画像および前記信頼度マップを表示部に表示させる。前記計測用指標表示機能は、前記観察画像上でユーザーが計測点の位置を指定するための計測用指標を前記観察画像上に表示させ、かつ入力部を介して入力される前記ユーザーの指示に基づいて前記観察画像上で前記計測用指標を移動させる。前記計測点決定機能は、前記計測用指標の位置に基づいて、前記計測点の位置を決定する。前記計測機能は、前記計測点決定機能によって決定された前記計測点の前記位置の３次元座標を算出する。前記信頼度マップ表示制御機能は、前記表示部において前記計測用指標が表示される位置と異なる位置に、前記観察画像の表示サイズに対する前記信頼度マップの表示サイズの比率が所定値となるように前記信頼度マップを表示させる。
【発明の効果】
【００３５】
上記の各態様によれば、内視鏡装置、計測方法、およびプログラムは、観察画像において計測位置の視認性の低下を抑制することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。
【図２】本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。
【図３】本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図４】本発明の第１の実施形態のステレオ計測による計測点の３次元座標の算出方法を説明するための参考図である。
【図５】本発明の第１の実施形態における計測処理の手順を示すフローチャートである。
【図６】本発明の第１の実施形態における計測処理の手順を示すフローチャートである。
【図７】本発明の第１の実施形態における信頼度マップを示す参考図である。
【図８】本発明の第１の実施形態における信頼度マップを示す参考図である。
【図９】本発明の第１の実施形態における観察画像および信頼度マップを示す参考図である。
【図１０】本発明の第１の実施形態における観察画像および信頼度マップを示す参考図である。
【図１１】本発明の第１の実施形態における観察画像および信頼度マップを示す参考図である。
【図１２】本発明の第１の実施形態における観察画像および信頼度マップを示す参考図である。
【図１３】本発明の第１の実施形態における信頼度マップを示す参考図である。
【図１４】本発明の第１の実施形態における信頼度マップを示す参考図である。
【図１５】本発明の第１の実施形態における信頼度マップを示す参考図である。
【図１６】本発明の第１の実施形態における信頼度マップを示す参考図である。
【図１７】本発明の第１の実施形態の変形例における計測処理の手順を示すフローチャートである。
【図１８】本発明の第１の実施形態の変形例における観察画像および信頼度マップを示す参考図である。
【図１９】本発明の第１の実施形態の変形例における観察画像および信頼度マップを示す参考図である。
【図２０】本発明の第１の実施形態の変形例における観察画像および信頼度マップを示す参考図である。
【図２１】本発明の第２の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図２２】本発明の第２の実施形態における計測処理の手順を示すフローチャートである。
【図２３】本発明の第２の実施形態における観察画像および信頼度マップを示す参考図である。
【図２４】本発明の第２の実施形態における観察画像および信頼度マップを示す参考図である。
【図２５】本発明の第２の実施形態における観察画像および信頼度マップを示す参考図である。
【図２６】本発明の第３の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図２７】本発明の第３の実施形態における計測処理の手順を示すフローチャートである。
【図２８】本発明の第３の実施形態における観察画像および信頼度マップを示す参考図である。
【図２９】本発明の第３の実施形態における観察画像および信頼度マップを示す参考図である。
【図３０】本発明の第３の実施形態における観察画像および信頼度マップを示す参考図である。
【図３１】本発明の第４の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図３２】本発明の第４の実施形態における計測処理の手順を示すフローチャートである。
【図３３】本発明の第４の実施形態における観察画像および信頼度マップを示す参考図である。
【図３４】本発明の第４の実施形態における観察画像および信頼度マップを示す参考図である。
【図３５】本発明の第５の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図３６】本発明の第５の実施形態における計測処理の手順を示すフローチャートである。
【図３７】本発明の第５の実施形態における観察画像および信頼度マップを示す参考図である。
【図３８】本発明の第５の実施形態における観察画像および信頼度マップを示す参考図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照し、本発明の実施形態を説明する。
【００３８】
（第１の実施形態）
図１は、本発明の第１の実施形態による内視鏡装置１の全体構成を示している。図２は、内視鏡装置１の内部構成を示している。図１に示すように、内視鏡装置１は、内視鏡２と、装置本体３とを有する。内視鏡２は、細長な挿入部２０と、ユーザーが装置全体の制御に必要な操作を行うための操作部６（入力部）とを有する。装置本体３は、内視鏡２に接続されている。装置本体３は、モニタ４と、筐体５とを有する。モニタ４は、内視鏡２で撮像された被写体の画像および操作メニュー等を表示する。筐体５は、内部に制御ユニット１０（図２参照）を有する。
【００３９】
挿入部２０は、被検体の内部に挿入される。挿入部２０は、硬質な先端部２１と、湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを有する。挿入部２０において先端側に先端部２１が配置されている。挿入部２０において本体側に可撓管部２３が配置されている。先端部２１と可撓管部２３との間に湾曲部２２が配置されている。先端部２１には、被写体像を結像するための光学アダプタが着脱可能である。
【００４０】
図２に示すように、筐体５は、内視鏡ユニット８と、ＣＣＵ（カメラコントロールユニット）９と、制御ユニット１０とを有する。内視鏡ユニット８は、観察に必要な照明光を供給する光源装置と、湾曲部２２を湾曲させる湾曲装置とを有する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、前処理が行われた撮像信号をＮＴＳＣ信号等の映像信号に変換する。
【００４１】
制御ユニット１０は、映像信号処理回路１２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１４と、カードインタフェース１５と、外部機器インタフェース１６と、制御インタフェース１７と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１８ａとを有する。
【００４２】
映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａによって生成されるグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、計測用指標の画像、参照用指標の画像、および計測結果等を含む。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。
【００４３】
ＲＯＭ１３は、ＣＰＵ１８ａが内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８ａが内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８ａは、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。
【００４４】
着脱可能な記録媒体であるメモリカード３２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード３２に記憶されている制御処理情報および画像情報等を制御ユニット１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード３２に記録する。
【００４５】
ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ３１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、パーソナルコンピュータ３１への情報の送信とパーソナルコンピュータ３１からの情報の受信とを行う。これによって、パーソナルコンピュータ３１のモニタが情報を表示することができる。また、ユーザーがパーソナルコンピュータ３１を介して、内視鏡装置１の制御に関する操作を行うことができる。
【００４６】
制御インタフェース１７は、操作部６、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、操作部６を介してユーザーによって入力された指示をＣＰＵ１８ａに通知する。制御インタフェース１７は、光源装置および湾曲装置の制御のための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８の制御のための制御信号をＣＣＵ９に出力する。
【００４７】
ＣＰＵ１８ａが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、パーソナルコンピュータ３１がプログラムを読み込んで実行してもよい。パーソナルコンピュータ３１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、パーソナルコンピュータ３１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を用いて計測を行ってもよい。
【００４８】
上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル（差分プログラム）であってもよい。
【００４９】
上記のように、内視鏡装置１は、撮像素子２８（撮像部）と、ＣＣＵ９（観察画像生成部）と、モニタ４（表示部）と、ＣＰＵ１８ａとを有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。ＣＣＵ９は、撮像信号に基づいて映像信号を生成する。映像信号は、被写体の画像すなわち観察画像を含む。したがって、ＣＣＵ９は、観察画像を生成する。モニタ４は、映像信号に基づく観察画像と、後述する信頼度マップとを表示する。
【００５０】
図３は、ＣＰＵ１８ａの機能構成を示している。信頼度算出部７０、信頼度マップ生成部７１、計測用指標表示制御部７２、制御部７３、計測点決定部７４、計測部７５、対応位置算出部７６、信頼度マップ表示制御部７７、および信頼度情報通知部７８ａによってＣＰＵ１８ａの機能が構成されている。図３に示すブロックの少なくとも１つがＣＰＵ１８ａとは別の回路で構成されてもよい。
【００５１】
信頼度算出部７０は、映像信号に基づく観察画像における複数の位置のそれぞれに対応する３次元座標の算出結果の信頼度に関する信頼度情報を算出（生成）する。信頼度マップ生成部７１は、観察画像上の複数の位置のそれぞれに対応する信頼度情報を示す信頼度マップを生成する。具体的には、信頼度マップ生成部７１は、最初に、信頼度算出部７０から制御部７３を介して信頼度情報を取得する。信頼度マップ生成部７１は、取得された信頼度情報に基づいて、観察画像上の各位置における信頼度を各レベルに分類する。例えば、信頼度は、２種類のレベルすなわち低レベルおよび高レベルに分類される。信頼度マップ生成部７１は、ユーザーが各レベルに分類された信頼度を視覚的に確認できるような信頼度マップを生成する。例えば、信頼度マップ生成部７１は、信頼度のレベルに応じた色で各位置が示された信頼度マップを生成する。
【００５２】
信頼度マップは、信頼度情報の２次元分布を示す画像である。観察画像上の複数の位置が信頼度マップ上のどこに対応するのかをユーザーが確認できるように、観察画像と信頼度マップとの位置は互いに対応している。例えば、観察画像上の２次元座標を信頼度マップ上の２次元座標に変換するための変換式がＲＡＭ１４に記憶される。観察画像上の２次元座標と信頼度マップ上の２次元座標とが関連付けられたテーブルがＲＡＭ１４に記憶されてもよい。上記の変換式またはテーブルに基づいて、観察画像上の位置に対応する信頼度マップ上の位置が算出される。
【００５３】
計測用指標表示制御部７２は、観察画像上でユーザーが計測点の位置を指定するための計測用指標を観察画像上に表示させる。ユーザーは、操作部６を操作することにより、計測用指標を自由に移動できる。計測用指標表示制御部７２は、操作部６を介して入力されるユーザーの指示に基づいて観察画像上で計測用指標を移動させる。計測用指標は、画面上の特定の場所をユーザーが指定するためのマークである。計測用指標の形状等に限定はない。制御部７３は、各部が行う処理を制御する。計測点決定部７４は、計測用指標の位置に基づいて、計測点の位置を決定する。例えば、ユーザーは、計測用指標を移動させた後、操作部６を介して計測点の指定を指示する。このとき、計測点決定部７４は、観察画像における計測用指標の位置を計測点の位置として決定する。計測部７５は、計測点決定部７４によって決定された計測点の位置の３次元座標を算出する。計測部７５は、算出された３次元座標に基づいて被写体の３次元形状のサイズを計測する。
【００５４】
対応位置算出部７６は、観察画像における計測用指標の位置に対応する信頼度マップ上の対応位置を算出する。観察画像と信頼度マップとの位置関係は予め求められている。このため、対応位置算出部７６は、観察画像上の所定の位置に対応する信頼度マップ上の対応位置を容易に算出することができる。信頼度マップ表示制御部７７は、モニタ４において計測用指標が表示される位置と異なる位置に、観察画像の表示サイズに対する信頼度マップの表示サイズの比率が所定値となるように信頼度マップを表示させる。観察画像上の複数の位置のそれぞれにおける信頼度情報が信頼度マップに表示される。
【００５５】
特許文献３に開示されている内視鏡装置において、計測画像と不確かさ推定画像とが別々に表示される場合、計測画像上の計測点が不確かさ推定画像上のどの位置にあるのかをユーザーが頻繁に確認する必要がある。このため、ユーザーにとって使い勝手が悪くなる。したがって、第１の実施形態は、観察画像において計測位置の視認性の低下を抑制することができ、かつ計測位置が計測に適しているか否かをユーザーに容易に判断させることができる内視鏡装置１およびプログラムを提供することを目的とする。
【００５６】
信頼度情報通知部７８ａは、対応位置算出部７６によって算出された対応位置における信頼度情報をユーザーに対して通知する。信頼度情報は信頼度マップに表示されるため、信頼度情報通知部７８ａは、信頼度マップを表示する手段以外の手段により信頼度情報をユーザーに対して通知する。信頼度情報通知部７８ａは、信頼度情報を補助情報としてユーザーに提供するための構成要素である。補助情報の提供によって、ユーザーが計測しようとしている点の信頼度状態がユーザーに容易に伝達される。例えば、補助情報は、視覚情報、聴覚情報、および触覚情報などである。視覚情報は、表示画面の変化などを含む。聴覚情報は、警告音などを含む。触覚情報は、警告振動などを含む。第１の実施形態の信頼度情報通知部７８ａは、信頼度マップにおいて対応位置算出部７６によって算出された対応位置に参照用指標を表示させる参照用指標表示制御部７９を有する。
【００５７】
信頼度マップを表示する手段以外の手段による信頼度情報の通知は必須ではない。このため、ＣＰＵ１８ａは、対応位置算出部７６および信頼度情報通知部７８ａの機能を有していなくてもよい。
【００５８】
計測部７５が３次元座標を算出する方法について説明する。計測部７５は、映像信号処理回路１２に入力される映像信号（画像データ）に基づく観察画像上で指定された位置に対応する３次元座標を計算する。３次元座標を計算する位置は、観察画像内でユーザーが指定する計測位置（計測点）である。ユーザーが指定する計測点の３次元座標は、被写体の３次元形状のサイズ（計測結果）を求めるために使用される。一例としてステレオ計測による３次元座標の計算方法について説明する。
【００５９】
左右の２つの観察視野を有するステレオ光学アダプタが先端部２１に装着された状態で画像が取得される。ステレオ光学アダプタは、ステレオ計測を実行するための専用レンズである。被写体からの光がステレオ光学アダプタに入射する。ステレオ光学アダプタによって、同一の被写体に対応する左右の２つの被写体像が形成される。２つの被写体像は撮像素子２８に入射し、かつ撮像素子２８によって撮像される。取得された画像は、２つの被写体像を含む。取得された画像のうち、２つの被写体像に対応する領域の画像を左画像および右画像と定義する。
【００６０】
図４を参照し、ステレオ計測の原理を説明する。ステレオ計測では、被写体像を２つの光学系で捉えたときの２つの光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元座標が算出される。左の光学中心（第１の光学中心６３）と右の光学中心（第２の光学中心６４）とを結ぶ線分の中点が原点Ｏとして定義される。また、右方向が正であるｘ軸と、下方向が正であるｙ軸とが定義される。また、光軸と平行に光学系から遠ざかる方向が正であるｚ軸が定義される。
【００６１】
左の光学系および右の光学系を介して得られた被写体像を含む画像に対して、三角測量の原理により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式から（３）式で計算される。ただし、歪み補正が施された左の画像面の計測点６１と、歪み補正が施された右の画像面の対応点６２との２次元座標はそれぞれ、（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）である。これらの２次元座標の原点はそれぞれ、左の光学系および右の光学系の光軸と画像面との交点ＯＬ、交点ＯＲである。第１の光学中心６３と第２の光学中心６４との距離はＤである。焦点距離はＦである。パラメータｔは、Ｄ／（ＸＲ−ＸＬ）である。
Ｘ＝ｔ×ＸＲ＋Ｄ／２・・・（１）
Ｙ＝−ｔ×ＹＲ・・・（２）
Ｚ＝ｔ×Ｆ・・・（３）
【００６２】
上記のように画像面上での計測点６１と対応点６２との座標が決定された場合、パラメータＤとパラメータＦとを用いて計測点６０の３次元座標を求めることができる。一般的に、ステレオ計測において対応点はマッチング処理によって算出される。マッチング処理において、被写体の第１の位置に対応する、その被写体の第２の位置が検出される。被写体の第１の位置は、一方の光学系を通った光に基づく画像における被写体の位置である。被写体の第２の位置は、他方の光学系を通った光に基づく画像における被写体の位置である。マッチング処理には様々な手法がある。例えば、テンプレートマッチングを行うマッチング手法がある。濃淡のエッジ部分などの特徴点でマッチングを行うマッチング手法もある。画像をフーリエ変換した位相成分の相関を計算する位相限定相関法（ＰＯＣ：Ｐｈａｓｅ  Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ）を用いたマッチング手法もある。本発明の実施形態に適用されるマッチング手法は、上記のマッチング手法に限らない。
【００６３】
いくつかの点の３次元座標を求めることによって、様々な計測機能が実現可能である。例えば、２点間の距離、２点を結ぶ線と１点の距離、複数点を結ぶ線で囲まれた領域の面積、基準面の深さ、および表面形状等が計測される。ユーザーは、様々な計測機能から所望の計測機能を選択することができる。また、第１の光学中心６３または第２の光学中心６４から被写体までの距離（物体距離）を求めることも可能である。上記のステレオ計測を行うためには、挿入部２０の先端部２１とステレオ光学アダプタとを含む光学系の特性を示す光学データが必要である。例えば、マッチング処理および光学データの詳細は日本国特開２００４−４９６３８号公報に記載されているので、その説明を省略する。
【００６４】
本発明の実施形態に適用できる計測方法は、ステレオ計測に限らない。例えば、被写体に投影されたパターン光を撮像することにより取得されたパターン画像を解析し、かつ３次元座標を算出するパターン投影方式等が本発明の実施形態に適用されてもよい。
【００６５】
第１の実施形態における計測処理の詳細を説明する。第１の実施形態において、図５および図６に示す手順に従って計測処理が行われる。映像信号に基づく観察画像は、様々な観察状況で取得される。観察状況によって、計測しやすい画像が取得され、あるいは計測しにくい画像が取得される。取得される観察画像は、計測のためにメモリカード３２に記録された画像、または装置本体３内に一時的に記録された画像（フリーズ画像）である。観察画像は、静止画に限らない。例えば、観察画像は、リアルタイムに取得される映像信号（ＬＩＶＥ動画）であってもよい。第１の実施形態において、観察画像が静止画である場合における計測処理の流れを説明する。
【００６６】
ユーザーの指示により、ＣＰＵ１８ａは、ユーザーが計測したい対象物が撮像された状態で観察画像を取得する（ステップＳ１）。このとき、撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。ＣＣＵ９は、撮像信号に基づいて映像信号すなわち観察画像を生成する。ＣＰＵ１８ａは、映像信号すなわち観察画像をＣＣＵ９から取得する。
【００６７】
観察画像が取得された後、信頼度算出部７０は、観察画像に基づいて、３次元座標の算出結果の信頼度に関する信頼度情報を算出する（ステップＳ２）。例えば、信頼度算出部７０は、マッチング処理に適していない状態を検出する。具体的には、観察画像における輝度値が所定値以上のピクセル、およびテクスチャが薄いピクセルはマッチング処理に適していない。オクルージョンによって左右の見え方が異なるピクセルもマッチング処理に適していない。似た模様が連続しているピクセルもマッチング処理に適していない。信頼度算出部７０は、上記のようにマッチング処理に適していないピクセルの信頼度が低いと判断し、かつ低信頼度に対応する信頼度情報をピクセルごとに生成する。信頼度算出部７０は、マッチング処理に適していないピクセル以外のピクセルについては、高信頼度に対応する信頼度情報をピクセルごとに生成する。生成された信頼度情報は、ＲＡＭ１４に記憶される。
【００６８】
マッチング処理において、ユーザーが第１の画像において指定した計測点に対応する第２の画像上の複数の対応位置候補が検出される。例えば、第１の画像は、ステレオ光学アダプタにおける左の観察視野に対応する画像すなわち左画像である。例えば、第２の画像は、ステレオ光学アダプタにおける右の観察視野に対応する画像すなわち右画像である。複数の対応位置候補のそれぞれに対して、計測位置との類似度が算出される。類似度が最も高い対応位置候補が対応位置として決定される。信頼度算出部７０は、決定された対応位置の類似度が所定値以下である場合、計測点のピクセルの信頼度が低いと判断してもよい。
【００６９】
信頼度算出部７０は、挿入部２０の先端部２１と被写体との距離が遠いピクセルの信頼度が低いと判断してもよい。信頼度算出部７０は、３次元座標の算出結果が周囲のピクセルで取得された算出結果と大きく異なるピクセルの信頼度が低いと判断してもよい。信頼度算出部７０は、上記のような信頼度に関する情報を総合的に評価し、かつ観察画像のピクセルごとに信頼度情報を算出してもよい。
【００７０】
パターン投影法による計測方式において、被写体表面の拡散反射率が小さい場合、被写体に投影されたパターンが不明瞭な画像が取得される。画像からパターンを検出できる場合、信頼度算出部７０は、そのパターンが投影された領域のピクセルの信頼度が高いと判断してもよい。画像からパターンの少なくとも一部を検出できない場合、信頼度算出部７０は、不明確な部分を含むパターンが投影された領域のピクセルの信頼度が低いと判断してもよい。
【００７１】
上記のように、各計測方式によって信頼度情報は様々である。信頼度情報は、上記の例に限らない。
【００７２】
信頼度情報が算出された後、信頼度マップ生成部７１は、信頼度算出部７０によって算出された信頼度情報をユーザーに提示するための信頼度マップを生成する（ステップＳ３）。観察画像上の各位置と信頼度マップ上の各位置とは、互いに関連付けられている。対応位置算出部７６によって算出された対応位置における信頼度情報は、信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応してもよい。例えば、複数の信頼度レベルは、第１および第２の信頼度レベルを含む。第１の信頼度レベルは、信頼度が高く、かつ計測できる状態である。第２の信頼度レベルは、信頼度が著しく低く、かつ計測できない状態である。
【００７３】
図７は、信頼度マップ１００の第１の例を示している。図７に示す信頼度マップ１００において、領域１１０および領域１１１は、第２の信頼度レベルに対応する信頼度情報を有するピクセルで構成されている。つまり、領域１１０および領域１１１内の各ピクセルにおける信頼度は著しく低い。信頼度マップ１００において、領域１１０および領域１１１以外の領域は、第１の信頼度レベルに対応する信頼度情報を有するピクセルで構成されている。つまり、領域１１０および領域１１１以外の領域内の各ピクセルにおける信頼度は高い。
【００７４】
信頼度マップ生成部７１は、信頼度マップにおいて対応位置算出部７６によって算出された対応位置のそれぞれが、対応位置における信頼度レベルに対応する色で表示されるような信頼度マップを生成する。例えば、図７に示す信頼度マップ１００において、信頼度が著しく低い領域１１０および領域１１１における計測の実施を避けることをユーザーに促すため、領域１１０および領域１１１内の各ピクセルは、赤色で表示される。図７に示す信頼度マップ１００において、領域１１０および領域１１１以外の領域内の各ピクセルは、赤色以外の色、例えば白色で表示される。
【００７５】
３つ以上の信頼度レベルがあってもよい。例えば、複数の信頼度レベルは、第１から第３の信頼度レベルを含む。第１の信頼度レベルは、信頼度が高く、かつ計測できる状態である。第２の信頼度レベルは、信頼度がある程度低い状態である。観察画像において、第２の信頼度レベルに対応する領域では計測が可能であるが計測精度は低い。第３の信頼度レベルは、信頼度が著しく低く、かつ計測できない状態である。
【００７６】
図８は、信頼度マップ１００の第２の例を示している。図８に示す信頼度マップ１００において、領域１１０は、第３の信頼度レベルに対応する信頼度情報を有するピクセルで構成されている。つまり、領域１１０内の各ピクセルにおける信頼度は著しく低い。信頼度マップ１００において、領域１１１および領域１１２は、第２の信頼度レベルに対応する信頼度情報を有するピクセルで構成されている。つまり、領域１１１および領域１１２内の各ピクセルにおける信頼度は低い。信頼度マップ１００において、領域１１０、領域１１１、および領域１１２以外の領域は、第１の信頼度レベルに対応する信頼度情報を有するピクセルで構成されている。つまり、領域１１０、領域１１１、および領域１１２以外の領域内の各ピクセルにおける信頼度は高い。
【００７７】
例えば、図８に示す信頼度マップ１００において、信頼度が著しく低い領域１１０における計測の実施を避けることをユーザーに促すため、領域１１０内の各ピクセルは、赤色で表示される。図８に示す信頼度マップ１００において、信頼度がある程度低い領域１１１および領域１１２における計測の実施をできるだけ避けるため、領域１１１および領域１１２内の各ピクセルは、黄色で表示される。図８に示す信頼度マップ１００において、領域１１０、領域１１１、および領域１１２以外の領域内の各ピクセルは、赤色および黄色以外の色、例えば白色で表示される。
【００７８】
複数の信頼度レベルは、少なくとも２つの信頼度レベルを含んでいればよい。２つの信頼度レベルの一方は、信頼度が相対的に低い状態である。２つの信頼度レベルの他方は、信頼度が相対的に高い状態である。観察画像全体について信頼度マップ上の対応位置における信頼度が高い場合、または観察画像全体について信頼度マップ上の対応位置における信頼度が低い場合、信頼度レベルは１つのみである。各信頼度レベルに対応する色は上記の例に限らない。
【００７９】
信頼度マップにおいて信頼度に応じて各領域が色以外の表示形態により区別されてもよい。例えば、信頼度に応じた模様で各領域が表示されてもよい。あるいは、信頼度に応じた文字、記号、またはマークが各領域に表示されてもよい。
【００８０】
信頼度マップが生成された後の処理の流れを説明する。信頼度マップが生成された後、モニタ４は、映像信号に基づく観察画像を表示する（ステップＳ４）。ステレオ計測の場合、左右２枚の画像が取得されるが、２枚の画像のいずれか１つが観察画像として表示される。
【００８１】
計測用指標表示制御部７２は、観察画像に計測用指標を表示させる（ステップＳ５）。具体的には、計測用指標表示制御部７２は、計測用指標のグラフィック画像信号を生成する。計測用指標表示制御部７２は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これによって、計測用指標が観察画像に重畳される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、計測用指標が重畳された観察画像を表示する。例えば、観察画像の中心に計測用指標が表示される。計測用指標が最初に表示される位置は、観察画像の中心以外の位置であってもよい。例えば、計測用指標は、観察画像内でのみ移動できる。
【００８２】
計測用指標が表示された後、信頼度マップ表示制御部７７は、モニタ４において計測用指標が表示される位置と異なる位置に信頼度マップを表示させ、かつ観察画像の表示サイズに対する信頼度マップの表示サイズの比率（割合）が所定値となるように信頼度マップを表示させる（ステップＳ６）。具体的には、信頼度マップ表示制御部７７は、信頼度マップ生成部７１によって生成された信頼度マップを表示するためのグラフィック画像信号を生成する。信頼度マップ表示制御部７７は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これによって、信頼度マップが観察画像に重畳される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、信頼度マップが重畳された観察画像を表示する。
【００８３】
例えば、観察画像および信頼度マップの表示サイズは、表示領域の面積または画素数である。観察画像および信頼度マップの表示サイズは、表示領域の縦または横の長さであってもよい。観察画像および信頼度マップの表示サイズは、表示領域の縦または横の画素数であってもよい。観察画像の表示サイズに対する信頼度マップの比率は所定値であり、特に制限はない。したがって、観察画像の表示サイズに対する信頼度マップの表示サイズの比率は、０よりも大きな任意の値であってもよい。ただし、観察画像の表示サイズに対する信頼度マップの表示サイズの比率は、０よりも大きく、かつ１以下であることが好ましい。観察画像の視認性が損なわれないためには、信頼度マップが観察画像と同じ大きさで表示される、または観察画像よりも小さく表示されることが好ましい。例えば、信頼度マップの表示サイズが観察画像の表示サイズよりも小さい場合、信頼度マップ生成部７１は、表示サイズが観察画像の表示サイズよりも小さい信頼度マップを生成する。信頼度マップ生成部７１は、表示サイズが観察画像の表示サイズと同一である信頼度マップを生成し、かつ信頼度マップ表示制御部７７は、信頼度マップの表示サイズが観察画像の表示サイズよりも小さくなるように信頼度マップを表示させてもよい。信頼度マップの表示サイズが観察画像の表示サイズを超えないように観察画像の表示領域が確保されるため、観察画像の視認性が低下しない。
【００８４】
例えば、観察画像および信頼度マップの形状は、矩形である。例えば、観察画像の縦および横の長さの比と、信頼度マップの縦および横の長さの比とは等しい。観察画像および信頼度マップの形状は、矩形に限らない。
【００８５】
例えば、信頼度マップは、観察画像全体の各位置に対応する領域を含む。信頼度マップは、観察画像の中心を含み、かつ観察画像全体よりも小さい領域の各位置に対応する領域のみを含んでもよい。観察画像の一部と信頼度マップの少なくとも一部とが重なってもよい。観察画像と信頼度マップとが重なる場合、モニタ４の画面において観察画像の手前に信頼度マップが表示される。観察画像において、信頼度マップと重なる部分は視認できない。観察画像と信頼度マップとが重なる場合、計測用指標が信頼度マップで隠れないように信頼度マップが表示される。
【００８６】
観察画像の中央領域外において、観察画像の一部と信頼度マップの一部とが重なるように信頼度マップが表示されてもよい。例えば、観察画像の中央領域は、観察画像における端から３０ピクセル程度の領域を除いた内側の領域である。光学系によって光学的な歪みおよびシェーディング等の発生状況は異なる。このため、中央領域は、上記の領域に限らない。図５および図６に示す動作の例として、計測用指標の移動範囲は観察画像の中央領域内であり、かつ信頼度マップは観察画像の中央領域外に表示される例を説明する。この場合、計測用指標と信頼度マップとは重ならない。信頼度マップは、観察画像の外側に表示されてもよい。
【００８７】
図９および図１０は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。計測用指標１３０が観察画像１２０に重畳される。観察画像１２０において、被写体の表面に輝度が飽和した領域がある。つまり、観察画像１２０において、ハレーションが発生している。
【００８８】
図９は第１の例を示している。図９において、信頼度マップ１００は、観察画像１２０の外側に表示される。図９に示すように、観察画像１２０と信頼度マップ１００とは、重ならない。図１０は第２の例を示している。図１０に示すように、信頼度マップ１００は、観察画像１２０の端部において、観察画像１２０の中央領域１２５の外側に表示される。図１０において、観察画像１２０の一部と信頼度マップ１００の一部とが重なる。信頼度マップ１００が表示される位置は、図９および図１０において信頼度マップ１００が表示される位置に限らない。
【００８９】
図９および図１０に示すように、信頼度マップ１００および観察画像１２０がモニタ４に表示される。このため、ユーザーは、観察画像１２０上の計測位置における信頼度を信頼度マップ１００上で把握することができる。図９および図１０に示すように、計測用指標１３０が表示される位置と異なる位置に信頼度マップ１００が表示される。このため、ユーザーは、観察画像１２０上の計測位置における被写体の状態を把握することができる。
【００９０】
ステップＳ２からステップＳ６のそれぞれにおける処理が実行される順番は、図５に示す順番に限らない。最終的に観察画像および信頼度マップが表示される限り、各処理の順番が入れ替わってもよい。あるいは、各処理が同時に実行されてもよい。
【００９１】
信頼度マップが表示された後、対応位置算出部７６は、計測用指標表示制御部７２から制御部７３を介して観察画像における計測用指標の位置情報を取得する。対応位置算出部７６は、取得された計測用指標の位置情報が示す位置に対応する信頼度マップ上の対応位置を算出する（ステップＳ７）。
【００９２】
信頼度マップ上の対応位置が算出された後、参照用指標表示制御部７９は、その対応位置の信頼度を取得する（ステップＳ８）。例えば、参照用指標表示制御部７９は、対応位置の信頼度情報をＲＡＭ１４から取得し、かつその信頼度情報に基づいて信頼度を判断する。
【００９３】
参照用指標の表示形態（表示パターン）は、複数の信頼度レベルに対応する複数の表示形態のいずれか１つである。参照用指標表示制御部７９は、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する表示形態で参照用指標を表示させる。
【００９４】
参照用指標表示制御部７９は、信頼度マップにおいて対応位置算出部７６によって算出された対応位置に参照用指標を表示させる。対応位置の信頼度が高い場合、参照用指標表示制御部７９は、高信頼度に対応する表示形態で参照用指標を表示させる（ステップＳ９）。対応位置の信頼度が低い場合、参照用指標表示制御部７９は、低信頼度に対応する表示形態で参照用指標を表示させる（ステップＳ１０）。具体的には、参照用指標表示制御部７９は、参照用指標のグラフィック画像信号を生成する。参照用指標表示制御部７９は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これによって、信頼度マップが観察画像に重畳され、かつ参照用指標が信頼度マップに重畳される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、参照用指標を含む信頼度マップが重畳された観察画像を表示する。
【００９５】
対応位置における信頼度レベルに応じて参照用指標の表示形態が変化する例を説明する。図１１および図１２は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。計測用指標１３０が観察画像１２０に重畳され、かつ参照用指標１４０が信頼度マップ１００に重畳される。
【００９６】
図１１において、計測用指標１３０は、ハレーションが発生していない領域にある。図１１において、参照用指標１４０は、信頼度が高い領域にある。この場合、参照用指標１４０は、丸の形で表示される。図１２において、計測用指標１３０は、ハレーションが発生している領域にある。図１２において、参照用指標１４０は、信頼度が著しく低い領域１１０にある。この場合、参照用指標１４０は、Ｘの形で表示される。図１１および図１２において、参照用指標１４０の形は異なる。図１１および図１２に示す例では、参照用指標表示制御部７９は、対応位置における信頼度レベルに応じて、参照用指標１４０の形を変化させる。
【００９７】
図１１および図１２に示すように、信頼度マップ１００上に参照用指標１４０が表示される。このため、ユーザーは、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置を容易に認識することができる。したがって、ユーザーは、計測用指標１３０の位置における信頼度情報を容易に把握することができる。
【００９８】
計測用指標が表示された後、ユーザーは、操作部６を操作することにより計測用指標を所望の計測位置に移動させることができる。また、ユーザーは、操作部６を操作することにより所望の計測位置において計測点を指定することができる。計測点決定部７４は、操作部６の状態を監視することにより、ユーザーによって計測点が指定されたか否かを判断する（ステップＳ１１）。
【００９９】
ステップＳ１１において、ユーザーによって計測点が指定されていない場合、計測用指標表示制御部７２は、操作部６の状態を監視することにより、ユーザーによって計測用指標の移動が指示されたか否かを判断する（ステップＳ１２）。ステップＳ１２において、ユーザーによって計測用指標の移動が指示されていない場合、ステップＳ１１における処理が行われる。
【０１００】
ステップＳ１２において、ユーザーによって計測用指標の移動が指示された場合、計測用指標表示制御部７２は、操作部６を介して入力されるユーザーの指示に基づいて観察画像上で計測用指標を移動させる（ステップＳ１９）。計測用指標が移動した後、ステップＳ７における処理が行われる。ステップＳ７において、対応位置算出部７６は、計測用指標の移動に応じて、計測用指標の位置に対応する信頼度マップ上の対応位置を算出する。ステップＳ９およびステップＳ１０において、参照用指標表示制御部７９は、信頼度マップにおいて対応位置算出部７６によって算出された対応位置に参照用指標を表示させる。このため、計測用指標の移動に応じて、参照用指標は信頼度マップ上で移動する。
【０１０１】
ステップＳ１１において、ユーザーによって計測点が指定された場合、計測点決定部７４は、計測用指標の位置を計測点の位置として決定する（ステップＳ１３）。計測点の位置が決定された後、計測部７５は、３次元計測を実行する。ステレオ計測の場合、図４を参照して説明した計測原理に従って３次元計測が実行される。まず、計測部７５は、観察画像に基づいて、計測点決定部７４によって決定された計測点の位置の３次元座標を算出する（ステップＳ１４）。続いて、計測部７５は、ユーザーによる計測点の指定が終了したか否かを判断する（ステップＳ１５）。例えば、２点間の距離の計測において、２つの計測点が指定された場合、計測部７５は、ユーザーによる計測点の指定が終了したと判断することができる。例えば、面積の計測において、ユーザーによって計測点の指定の終了指示が操作部６を介して入力された場合、計測部７５は、ユーザーによる計測点の指定が終了したと判断することができる。
【０１０２】
ステップＳ１５において、計測点の指定が終了していない場合、計測用指標表示制御部７２は、観察画像に次の計測用指標を表示させる（ステップＳ１６）。ステップＳ１６における処理は、ステップＳ５における処理と同様である。次の計測用指標が表示された後、ステップＳ７における処理が行われる。
【０１０３】
ステップＳ１５において、計測点の指定が終了した場合、計測部７５は、各計測点の位置の３次元座標に基づいて、３次元計測を実行する（ステップＳ１７）。このとき、ユーザーが予め選択した計測機能に従って３次元計測が行われる。これによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、および表面形状等が算出される。
【０１０４】
３次元計測が終了した後、計測部７５は、計測結果を表示させる（ステップＳ１８）。具体的には、計測部７５は、計測結果を表示するためのグラフィック画像信号を生成する。計測部７５は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これによって、計測結果が観察画像に重畳される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、計測結果が重畳された観察画像を表示する。ステップＳ１８における処理が終了することにより、計測処理が終了する。
【０１０５】
参照用指標表示制御部７９は、対応位置における信頼度レベルに応じて、参照用指標の色を変化させてもよい。例えば、信頼度が高い領域に参照用指標がある場合、参照用指標表示制御部７９は、参照用指標を青色で表示させる。信頼度が低い領域に参照用指標がある場合、参照用指標表示制御部７９は、参照用指標を赤色で表示させる。参照用指標表示制御部７９は、対応位置における信頼度レベルに応じて、参照用指標の大きさを変化させてもよい。例えば、信頼度が高い領域に参照用指標がある場合、参照用指標表示制御部７９は、参照用指標を小さく表示させる。信頼度が低い領域に参照用指標がある場合、参照用指標表示制御部７９は、参照用指標を大きく表示させる。参照用指標表示制御部７９は、対応位置における信頼度レベルが低い場合のみ、参照用指標を点滅させてもよい。
【０１０６】
上記のように、信頼度マップ生成部７１は、信頼度マップにおいて対応位置算出部７６によって算出された対応位置のそれぞれが、対応位置における信頼度レベルに対応する色で表示されるような信頼度マップを生成する。参照用指標表示制御部７９は、参照用指標を複数の色のいずれか１つで表示させ、かつ参照用指標の表示色を、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する色とは異ならせてもよい。
【０１０７】
図１３から図１６は、モニタ４に表示された信頼度マップ１００を示している。図１３から図１６において、領域１１０内の各ピクセルは赤色で表示され、かつ領域１１１および領域１１２内の各ピクセルは、黄色で表示される。図１３において、参照用指標１４０は領域１１１と重なった状態である。この状態において、参照用指標１４０が黄色で表示された場合、領域１１１および参照用指標１４０の色が黄色で同一となる。このため、参照用指標１４０が領域１１１にあることをユーザーが気付きにくい可能性がある。したがって、例えば図１４に示すように、参照用指標１４０が領域１１１と重なった場合、参照用指標１４０の色が領域１１１の色（黄色）と異なる色、例えば緑色となるように参照用指標１４０の色が変更される。
【０１０８】
また、図１５において、参照用指標１４０は領域１１０と重なった状態である。この状態において、参照用指標が赤色で表示された場合、領域１１０および参照用指標１４０の色が赤色で同一となる。このため、参照用指標１４０が領域１１０にあることをユーザーが気付きにくい可能性がある。したがって、例えば図１６に示すように、参照用指標１４０が領域１１０と重なった場合、参照用指標の色が領域１１０の色（赤色）と異なる色、例えば緑色となるように参照用指標１４０の色が変更される。
【０１０９】
参照用指標表示制御部７９は、参照用指標の表示形態に応じて参照用指標のグラフィック画像信号を生成する。観察画像における計測用指標の位置に応じて参照用指標の表示形態はリアルタイムに変化する。参照用指標の表示形態の変化は、上記の例に限らない。信頼度レベルの変化をユーザーに容易に通知できる限り、参照用指標の表示形態の変化は、どのような変化であってもよい。参照用指標の表示形態が変化することにより、ユーザーは、対応位置における信頼度レベルの変化に容易に気付くことができる。
【０１１０】
第１の実施形態の計測方法は、撮像ステップ（ステップＳ１）と、観察画像生成ステップ（ステップＳ１）と、信頼度算出ステップ（ステップＳ２）と、信頼度マップ生成ステップ（ステップＳ３）と、表示ステップ（ステップＳ４およびステップＳ６）と、計測用指標表示ステップ（ステップＳ５）と、計測点決定ステップ（ステップＳ１３）と、計測ステップ（ステップＳ１７）とを有する。
【０１１１】
上記のように、様々な要因による信頼度を示す信頼度マップを観察画像と共に表示することにより、ユーザーは信頼度を確認しながら観察画像上に計測点を指定できる。ユーザーは、信頼度マップを確認することにより、所望の計測位置の信頼度を即座に把握することができる。また、ユーザーは、容易に、信頼度が低い領域を避けて計測を行うことができる。また、モニタ４において計測用指標が表示される位置と異なる位置に信頼度マップが表示される。このため、観察画像において計測位置の視認性の低下を抑制することができる。
【０１１２】
上記のように、観察画像における計測用指標の位置に対応する信頼度マップ上の対応位置が算出され、かつ対応位置に参照用指標が表示される。ユーザーは、信頼度マップにおいて参照用指標の位置を確認することにより、計測用指標の位置における３次元座標の算出結果の信頼度を容易に把握することができる。また、計測用指標と連動して参照用指標が移動するため、ユーザーは、計測用指標の位置における信頼度を正確に把握することができる。このため、ユーザーは、容易に、信頼度が低い領域を避けて計測を行うことができる。
【０１１３】
上記のように、信頼度情報は、信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応し、かつ対応位置のそれぞれが、対応位置における信頼度レベルに対応する色で表示されるような信頼度マップが生成される。このため、ユーザーは、観察画像全体における信頼度を容易に把握することができる。ユーザーは、上記のように視覚的にわかりやすい信頼度マップを確認することにより、信頼度マップ上の各対応位置における信頼度を容易に把握することができる。したがって、内視鏡装置１は、計測位置が計測に適しているか否かをユーザーに容易に判断させることができる。
【０１１４】
上記のように、参照用指標が、対応位置における信頼度レベルに対応する表示形態で表示されることにより、ユーザーは、計測用指標の位置に応じた信頼度の変化に気づきやすい。特に、計測用指標が信頼度の低い領域にあるときに参照用指標の表示形態が変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを即座に知ることができる。このとき、参照用指標の色が変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを容易に認識することができる。これにより、ユーザーは、容易に、信頼度が低い領域を避けて計測を行うことができる。
【０１１５】
上記のように、対応位置における信頼度レベルに対応する色と異なる色で参照用指標が表示されることにより、参照用指標と、信頼度が低い領域とが視覚的に区別しやすくなる。このため、信頼度が低い領域に参照用指標がある場合、ユーザーは、参照用指標の位置を明確に把握することができる。
【０１１６】
（第１の実施形態の変形例）
第１の実施形態の変形例において、信頼度マップが表示される位置が固定される場合、信頼度マップが表示されている位置にユーザーが計測用指標を移動させることができない事態が発生する。このため、信頼度マップ表示制御部７７は、計測用指標および信頼度マップが互いに干渉しないように信頼度マップを表示させる。つまり、計測用指標と信頼度マップとが重なる場合、信頼度マップ表示制御部７７は、計測用指標と信頼度マップとが重ならないように信頼度マップを移動させる。
【０１１７】
第１の実施形態の変形例において、図５および図１７に示す手順に従って計測処理が行われる。第１の実施形態の変形例において、図６に示す処理は、図１７に示す処理に変更される。第１の実施形態の変形例において、図５に示す処理は変更されない。図１７に示す処理について、図６に示す処理と異なる点を説明する。
【０１１８】
図１７において、図６との相違点は、ステップＳ２０およびステップＳ２１である。ステップＳ１９において計測用指標が移動した後、信頼度マップ表示制御部７７は、計測用指標と信頼度マップとが重なるか否かを判断する（ステップＳ２０）。ステップＳ２０において、計測用指標と信頼度マップとが重ならない場合、ステップＳ７における処理が行われる。
【０１１９】
ステップＳ２０において、計測用指標と信頼度マップとが重なる場合、信頼度マップ表示制御部７７は、信頼度マップを計測用指標と重ならない位置に移動させる（ステップＳ２１）。例えば、信頼度マップ表示制御部７７は、計測用指標が表示される位置を含む所定の領域と異なる位置に信頼度マップを表示させる。所定の領域は、観察画像において計測用指標を含み、かつ観察画像の中央領域よりも小さい領域である。信頼度マップが移動した後、ステップＳ７における処理が行われる。
【０１２０】
上記以外の点について、図１７に示す処理は、図６に示す処理と同様である。
【０１２１】
図１８から図２０は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。計測用指標１３０が観察画像１２０に重畳され、かつ参照用指標１４０が信頼度マップ１００に重畳される。
【０１２２】
図１８において、信頼度マップ１００は、計測用指標１３０の右側に表示されている。計測用指標１３０が図１８に示す位置から図１９に示す位置に、すなわち下方向に移動した場合、計測用指標１３０は、信頼度マップ１００と重ならない。このため、図１９において信頼度マップ１００が表示される位置は、図１８において信頼度マップ１００が表示される位置と同一である。これに対して、図２０に示すように、計測用指標１３０が右方向に移動し、図１８における信頼度マップ１００と重なる位置に移動した場合、信頼度マップ１００は移動する。このとき、信頼度マップ１００は、計測用指標１３０の位置を中心とする領域１３１と重ならない位置に移動する。
【０１２３】
第１の実施形態の変形例は、後述する第２から第５の実施形態にも適用できる。
【０１２４】
上記のように、計測用指標と信頼度マップとが重ならないように信頼度マップが移動する。このため、観察画像において計測用指標周辺の領域の視認性の低下を抑制し、かつ観察画像の表示領域を確保することができる。ユーザーが計測点を指定するときに計測用指標周辺の領域が視認できることは重要である。また、観察画像の表示領域が広いことは、内視鏡検査において重要である。
【０１２５】
（第２の実施形態）
本発明の第２の実施形態において、第１の実施形態におけるＣＰＵ１８ａが、図２１に示すＣＰＵ１８ｂに変更される。図２１は、ＣＰＵ１８ｂの機能構成を示している。図２１に示す構成について、図３に示す構成と異なる点を説明する。
【０１２６】
ＣＰＵ１８ｂにおいて、図３に示すＣＰＵ１８ａにおける信頼度情報通知部７８ａが信頼度情報通知部７８ｂに変更される。信頼度情報通知部７８ｂは、計測用指標表示制御部７２を有する。第１の実施形態と同様に、計測用指標表示制御部７２は、観察画像上でユーザーが計測点の位置を指定するための計測用指標を観察画像上に表示させる。第１の実施形態と同様に、計測用指標表示制御部７２は、操作部６を介して入力されるユーザーの指示に基づいて観察画像上で計測用指標を移動させる。
【０１２７】
第１の実施形態と同様に、対応位置算出部７６によって算出された対応位置における信頼度情報は、信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する。第２の実施形態において、計測用指標の表示形態（表示パターン）は、複数の信頼度レベルに対応する複数の表示形態のいずれか１つである。第２の実施形態において、計測用指標表示制御部７２は、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する表示形態で計測用指標を表示させる。
【０１２８】
上記以外の点について、図２１に示す構成は、図３に示す構成と同様である。
【０１２９】
第２の実施形態における計測処理の詳細を説明する。第２の実施形態において、図２２および図６に示す手順に従って計測処理が行われる。第２の実施形態において、図５に示す処理は、図２２に示す処理に変更される。第２の実施形態において、図６に示す処理は変更されない。図２２に示す処理について、図５に示す処理と異なる点を説明する。
【０１３０】
図２２において、図５におけるステップＳ９はステップＳ２２に変更される。図２２において、図５におけるステップＳ１０はステップＳ２３に変更される。
【０１３１】
対応位置算出部７６によって算出された対応位置の信頼度が高い場合、計測用指標表示制御部７２は、高信頼度に対応する表示形態で計測用指標を表示させる（ステップＳ２２）。対応位置の信頼度が低い場合、計測用指標表示制御部７２は、低信頼度に対応する表示形態で計測用指標を表示させる（ステップＳ２３）。具体的には、計測用指標表示制御部７２は、計測用指標のグラフィック画像信号を生成する。計測用指標表示制御部７２は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｂから出力されたグラフィック画像信号とを合成する。これによって、計測用指標が観察画像に重畳される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、計測用指標が重畳された観察画像を表示する。
【０１３２】
上記以外の点について、図２２に示す処理は、図５に示す処理と同様である。
【０１３３】
対応位置における信頼度レベルに応じて計測用指標の表示形態が変化する例を説明する。図２３および図２４は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。計測用指標１３０が観察画像１２０に重畳される。
【０１３４】
図２３において、計測用指標１３０は、ハレーションが発生していない領域にある。図２３において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が高い領域にある。この場合、計測用指標１３０は、丸の形で表示される。図２４において、計測用指標１３０は、ハレーションが発生している領域にある。図２４において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が著しく低い領域１１０にある。この場合、計測用指標１３０は、Ｘの形で表示される。図２３および図２４において、計測用指標１３０の形は異なる。図２３および図２４に示す例では、計測用指標表示制御部７２は、対応位置における信頼度レベルに応じて、計測用指標１３０の形を変化させる。
【０１３５】
第１の実施形態と同様に、信頼度マップ生成部７１は、信頼度マップにおいて対応位置算出部７６によって算出された対応位置のそれぞれが、対応位置における信頼度レベルに対応する色で表示されるような信頼度マップを生成する。計測用指標表示制御部７２は、計測用指標を複数の色のいずれか１つで表示させてもよい。計測用指標表示制御部７２は、計測用指標の表示色を、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する色と同一にさせてもよい。
【０１３６】
計測用指標表示制御部７２は、対応位置における信頼度レベルに応じて、計測用指標の色を変化させてもよい。図２５は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。計測用指標１３０が観察画像１２０に重畳される。
【０１３７】
図２５において、計測用指標１３０は、ハレーションが発生している領域にある。図２５において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が著しく低い領域１１０にある。例えば、信頼度マップ１００の領域１１０が赤色で表示される場合、計測用指標１３０が赤色で表示されるように計測用指標１３０の表示色が変更される。同様に、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置が領域１１１または領域１１２にある場合、計測用指標１３０が領域１１１または領域１１２の色と同一の色で表示されるように計測用指標１３０の表示色が変更される。例えば、領域１１１および領域１１２が黄色で表示される場合、計測用指標１３０の表示色も黄色に変更される。計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置が領域１１０、領域１１１、および領域１１２のいずれとも異なる領域にある場合、計測用指標１３０は、これらの領域の色と異なる色、例えば青色で表示される。
【０１３８】
計測用指標表示制御部７２は、対応位置における信頼度レベルに応じて、計測用指標の大きさを変化させてもよい。例えば、信頼度が高い領域に計測用指標がある場合、計測用指標表示制御部７２は、計測用指標を小さく表示させる。信頼度が低い領域に計測用指標がある場合、計測用指標表示制御部７２は、計測用指標を大きく表示させる。計測用指標表示制御部７２は、対応位置における信頼度レベルが低い場合のみ、計測用指標を点滅させてもよい。
【０１３９】
計測用指標表示制御部７２は、計測用指標の表示形態に応じて計測用指標のグラフィック画像信号を生成する。観察画像における計測用指標の位置に応じて計測用指標の表示形態はリアルタイムに変化する。計測用指標の表示形態の変化は、上記の例に限らない。信頼度レベルの変化をユーザーに容易に通知できる限り、計測用指標の表示形態の変化は、どのような変化であってもよい。計測用指標の表示形態が変化することにより、ユーザーは、対応位置における信頼度レベルの変化に容易に気付くことができる。
【０１４０】
上記のように、計測用指標が、対応位置における信頼度レベルに対応する表示形態で表示されることにより、ユーザーは、計測用指標の位置に応じた信頼度の変化に気づきやすい。特に、計測用指標が信頼度の低い領域にあるときに計測用指標の表示形態が変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを即座に知ることができる。このとき、計測用指標の色が変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを容易に認識することができる。これにより、ユーザーは、容易に、信頼度が低い領域を避けて計測を行うことができる。
【０１４１】
上記のように、対応位置における信頼度レベルに対応する色と同一の色で計測用指標が表示されることにより、ユーザーは計測用指標の色から信頼度を容易に把握することができる。ユーザーは、信頼度マップによって観察画像全体の信頼度を容易に把握することができ、かつユーザーが計測したい位置の信頼度を計測用指標のみから把握することができる。ユーザーは、計測用指標の色が信頼度の低い領域の色と同一になったときのみ信頼度マップを確認すればよい。このため、ユーザーが観察画像と信頼度マップとを常に比較するという煩雑な作業が不要である。
【０１４２】
（第３の実施形態）
本発明の第３の実施形態において、第１の実施形態におけるＣＰＵ１８ａが、図２６に示すＣＰＵ１８ｃに変更される。図２６は、ＣＰＵ１８ｃの機能構成を示している。図２６に示す構成について、図３に示す構成と異なる点を説明する。
【０１４３】
ＣＰＵ１８ｃにおいて、図３に示すＣＰＵ１８ａにおける信頼度情報通知部７８ａが信頼度情報通知部７８ｃに変更される。信頼度情報通知部７８ｃは、観察画像および信頼度マップの少なくとも一方の表示領域外縁の表示形態を制御する外縁表示制御部８０を有する。
【０１４４】
第１の実施形態と同様に、対応位置算出部７６によって算出された対応位置における信頼度情報は、信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する。第３の実施形態において、観察画像および信頼度マップの少なくとも一方の表示領域外縁の表示形態（表示パターン）は、複数の信頼度レベルに対応する複数の表示形態のいずれか１つである。外縁表示制御部８０は、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する表示形態で観察画像および信頼度マップの少なくとも一方の表示領域外縁を表示させる。
【０１４５】
上記以外の点について、図２６に示す構成は、図３に示す構成と同様である。
【０１４６】
第３の実施形態における計測処理の詳細を説明する。第３の実施形態において、図２７および図６に示す手順に従って計測処理が行われる。第３の実施形態において、図５に示す処理は、図２７に示す処理に変更される。第３の実施形態において、図６に示す処理は変更されない。図２７に示す処理について、図５に示す処理と異なる点を説明する。
【０１４７】
図２７において、図５におけるステップＳ９はステップＳ２４に変更される。図２７において、図５におけるステップＳ１０はステップＳ２５に変更される。
【０１４８】
対応位置算出部７６によって算出された対応位置の信頼度が高い場合、外縁表示制御部８０は、高信頼度に対応する表示形態で観察画像および信頼度マップの少なくとも一方の表示領域外縁を表示させる（ステップＳ２４）。対応位置の信頼度が低い場合、外縁表示制御部８０は、低信頼度に対応する表示形態で観察画像および信頼度マップの少なくとも一方の表示領域外縁を表示させる（ステップＳ２５）。具体的には、外縁表示制御部８０は、表示領域外縁のグラフィック画像信号を生成する。外縁表示制御部８０は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｃから出力されたグラフィック画像信号とを合成する。これによって、観察画像および信頼度マップの少なくとも一方の表示領域外縁の表示形態が制御される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、観察画像および信頼度マップを表示する。
【０１４９】
上記以外の点について、図２７に示す処理は、図５に示す処理と同様である。
【０１５０】
外縁表示制御部８０は、観察画像の表示領域外縁と信頼度マップの表示領域外縁とのそれぞれの表示形態を同一にさせてもよい。例えば、外縁表示制御部８０は、観察画像の表示領域外縁と信頼度マップの表示領域外縁とのそれぞれの表示色を同一にさせてもよい。この場合、観察画像および信頼度マップの表示領域外縁は、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する同一の表示形態で表示される。
【０１５１】
第１の実施形態と同様に、信頼度マップ生成部７１は、信頼度マップにおいて対応位置算出部７６によって算出された対応位置のそれぞれが、対応位置における信頼度レベルに対応する色で表示されるような信頼度マップを生成する。外縁表示制御部８０は、観察画像および信頼度マップの少なくとも一方の表示領域外縁を複数の色のいずれか１つで表示させてもよい。外縁表示制御部８０は、観察画像および信頼度マップの少なくとも一方の表示領域外縁の表示色を、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する色と同一にさせてもよい。
【０１５２】
対応位置における信頼度レベルに応じて観察画像および信頼度マップの少なくとも一方の表示領域外縁の表示形態が変化する例を説明する。図２８から図３０は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。計測用指標１３０が観察画像１２０に重畳される。
【０１５３】
図２８において、計測用指標１３０は、ハレーションが発生していない領域にある。図２８において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が高い領域にある。この場合、観察画像１２０の表示領域外縁１２１は、高い信頼度に対応する第１の色で表示される。第１の色は、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における色と同一であってもよい。図２９において、計測用指標１３０は、ハレーションが発生している領域にある。図２９において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が著しく低い領域１１０にある。この場合、観察画像１２０の表示領域外縁１２１は、著しく低い信頼度に対応する第２の色で表示される。第２の色は、第１の色と異なる。第２の色は、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における色と同一であってもよい。例えば、領域１１０が赤色で表示される場合、観察画像１２０の表示領域外縁１２１は、赤色で表示されてもよい。
【０１５４】
図２８および図２９に示す例では、観察画像１２０の表示領域外縁１２１のみが、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における信頼度に対応する色で表示される。信頼度マップ１００の表示領域外縁のみが、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における信頼度に対応する色で表示されてもよい。
【０１５５】
図３０において、計測用指標１３０は、ハレーションが発生している領域にある。図３０において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が著しく低い領域１１０にある。この場合、観察画像１２０の表示領域外縁１２１および信頼度マップ１００の表示領域外縁１０１は、著しく低い信頼度に対応する第２の色で表示される。図３０に示す例では、観察画像１２０の表示領域外縁１２１および信頼度マップ１００の表示領域外縁１０１が、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における信頼度に対応する色で表示される。上記のように、第２の色は、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における色と同一であってもよい。例えば、領域１１０が赤色で表示される場合、観察画像１２０の表示領域外縁１２１および信頼度マップ１００の表示領域外縁１０１は、赤色で表示されてもよい。
【０１５６】
図３０に示す例では、外縁表示制御部８０は、対応位置における信頼度レベルに応じて、観察画像１２０および信頼度マップ１００の少なくとも一方の表示領域外縁の色を変化させる。
【０１５７】
外縁表示制御部８０は、対応位置における信頼度レベルに応じて、表示領域外縁を構成する線の種類を変化させてもよい。例えば、信頼度が高い領域に計測用指標がある場合、外縁表示制御部８０は、表示領域外縁を構成する線を実線で表示させる。信頼度が低い領域に計測用指標がある場合、表示領域外縁を構成する線は、表示領域外縁を構成する線を破線で表示させる。外縁表示制御部８０は、対応位置における信頼度レベルに応じて、表示領域外縁の太さを変化させてもよい。例えば、信頼度が高い領域に計測用指標がある場合、外縁表示制御部８０は、表示領域外縁を構成する線を細く表示させる。信頼度が低い領域に計測用指標がある場合、外縁表示制御部８０は、表示領域外縁を構成する線を太く表示させる。外縁表示制御部８０は、対応位置における信頼度レベルが低い場合のみ、表示領域外縁を点滅させてもよい。
【０１５８】
外縁表示制御部８０は、観察画像および信頼度マップの少なくとも一方の表示領域外縁の表示形態に応じてその表示領域外縁のグラフィック画像信号を生成する。観察画像における計測用指標の位置に応じて観察画像および信頼度マップの少なくとも一方の表示形態はリアルタイムに変化する。表示領域外縁の表示形態の変化は、上記の例に限らない。信頼度レベルの変化をユーザーに容易に通知できる限り、観察画像および信頼度マップの少なくとも一方の表示領域外縁の表示形態の変化は、どのような変化であってもよい。表示領域外縁の表示形態が変化することにより、ユーザーは、対応位置における信頼度レベルの変化に容易に気付くことができる。
【０１５９】
上記のように、観察画像および信頼度マップの少なくとも一方の表示領域外縁が、対応位置における信頼度レベルに対応する表示形態で表示されることにより、ユーザーは、計測用指標の位置に応じた信頼度の変化に気づきやすい。特に、計測用指標が信頼度の低い領域にあるときに表示領域外縁の表示形態が変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを即座に知ることができる。このとき、表示領域外縁の色が変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを容易に認識することができる。これにより、ユーザーは、容易に、信頼度が低い領域を避けて計測を行うことができる。
【０１６０】
上記のように、対応位置における信頼度レベルに対応する色と同一の色で表示領域外縁が表示されることにより、ユーザーは表示領域外縁の色から信頼度を容易に把握することができる。ユーザーは、信頼度マップによって観察画像全体の信頼度を容易に把握することができ、かつユーザーが計測したい位置の信頼度を表示領域外縁のみから把握することができる。ユーザーは、表示領域外縁の色が信頼度の低い領域の色と同一になったときのみ信頼度マップを確認すればよい。
【０１６１】
上記のように、観察画像の表示領域外縁と信頼度マップの表示領域外縁とのそれぞれの表示形態が同一になることにより、ユーザーが信頼度をより容易に把握することができる。例えば、観察画像の表示領域外縁と信頼度マップの表示領域外縁とのそれぞれの表示色が同一になることにより、ユーザーが信頼度をより容易に把握することができる。
【０１６２】
（第４の実施形態）
本発明の第４の実施形態において、第１の実施形態におけるＣＰＵ１８ａが、図３１に示すＣＰＵ１８ｄに変更される。図３１は、ＣＰＵ１８ｄの機能構成を示している。図３１に示す構成について、図３に示す構成と異なる点を説明する。
【０１６３】
ＣＰＵ１８ｄにおいて、図３に示すＣＰＵ１８ａにおける信頼度情報通知部７８ａが信頼度情報通知部７８ｄに変更される。信頼度情報通知部７８ｄは、信頼度マップ表示制御部７７を有する。第１の実施形態と同様に、信頼度マップ表示制御部７７は、モニタ４において計測用指標が表示される位置と異なる位置に、観察画像の表示サイズに対する信頼度マップの表示サイズの比率が所定値となるように信頼度マップを表示させる。第４の実施形態において、信頼度マップ表示制御部７７は、信頼度マップの表示サイズを制御する。具体的には、信頼度マップ表示制御部７７は、観察画像の表示サイズに対する信頼度マップの表示サイズの比率を制御する。
【０１６４】
第１の実施形態と同様に、対応位置算出部７６によって算出された対応位置における信頼度情報は、信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する。第４の実施形態において、観察画像の表示サイズに対する信頼度マップの表示サイズの比率は、複数の信頼度レベルに対応する複数の値のいずれか１つである。信頼度マップ表示制御部７７は、上記の比率が、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する値となるように信頼度マップを表示させる。
【０１６５】
上記以外の点について、図３１に示す構成は、図３に示す構成と同様である。
【０１６６】
第４の実施形態における計測処理の詳細を説明する。第４の実施形態において、図３２および図６に示す手順に従って計測処理が行われる。第４の実施形態において、図５に示す処理は、図３２に示す処理に変更される。第４の実施形態において、図６に示す処理は変更されない。図３２に示す処理について、図５に示す処理と異なる点を説明する。
【０１６７】
図３２において、図５におけるステップＳ９はステップＳ２６に変更される。図３２において、図５におけるステップＳ１０はステップＳ２７に変更される。
【０１６８】
対応位置算出部７６によって算出された対応位置の信頼度が高い場合、信頼度マップ表示制御部７７は、高信頼度に対応する表示サイズで信頼度マップを表示させる（ステップＳ２６）。対応位置の信頼度が低い場合、信頼度マップ表示制御部７７は、低信頼度に対応する表示サイズで信頼度マップを表示させる（ステップＳ２７）。具体的には、信頼度マップ表示制御部７７は、信頼度に対応する表示サイズで信頼度マップを表示するためのグラフィック画像信号を生成する。計測用指標表示制御部７２は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｄから出力されたグラフィック画像信号とを合成する。これによって、信頼度マップが観察画像に重畳される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、信頼度マップが重畳された観察画像を表示する。
【０１６９】
上記以外の点について、図３２に示す処理は、図５に示す処理と同様である。
【０１７０】
対応位置における信頼度レベルに応じて信頼度マップの表示サイズが変化する例を説明する。図３３および図３４は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。計測用指標１３０が観察画像１２０に重畳される。
【０１７１】
図３３において、計測用指標１３０は、ハレーションが発生していない領域にある。図３３において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が高い領域にある。この場合、信頼度マップ１００は、高い信頼度に対応する第１の表示サイズで表示される。この場合、観察画像１２０の表示サイズに対する信頼度マップ１００の表示サイズの比率は、第１の値である。図３４において、計測用指標１３０は、ハレーションが発生している領域にある。図３４において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が著しく低い領域１１０にある。この場合、信頼度マップ１００は、著しく低い信頼度に対応する第２の表示サイズで表示される。第２の表示サイズは、第１の表示サイズと異なる。例えば、第２の表示サイズは、第１の表示サイズよりも大きい。この場合、観察画像１２０の表示サイズに対する信頼度マップ１００の表示サイズの比率は、第２の値である。第２の値は、第１の値と異なる。例えば、第２の値は、第１の値よりも大きい。
【０１７２】
第４の実施形態において、図３３における観察画像１２０の表示サイズと図３４における観察画像１２０の表示サイズとは、共に一定値に固定されている。つまり、観察画像１２０の表示サイズは変更されず、信頼度マップ１００の表示サイズのみが変更される。しかし、これに限らない。つまり、内視鏡装置１は、信頼度マップ１００のみならず、観察画像１２０の表示サイズも変更することにより、観察画像に対する信頼度マップの表示サイズの比率を変更させてもよい。
【０１７３】
信頼度マップ表示制御部７７は、信頼度マップの表示サイズに応じて信頼度マップのグラフィック画像信号を生成する。観察画像における計測用指標の位置に応じて信頼度マップの表示サイズはリアルタイムに変化する。信頼度マップの表示サイズが変化することにより、ユーザーは、対応位置における信頼度レベルの変化に容易に気付くことができる。
【０１７４】
上記のように、信頼度マップが、対応位置における信頼度レベルに対応する表示サイズで表示されることにより、ユーザーは、計測用指標の位置に応じた信頼度の変化に気づきやすい。特に、計測用指標が信頼度の低い領域にあるときに信頼度マップの表示サイズが変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを即座に知ることができる。これにより、ユーザーは、容易に、信頼度が低い領域を避けて計測を行うことができる。ユーザーは、信頼度マップの表示サイズが変化したときのみ信頼度マップを確認すればよい。このため、ユーザーが観察画像と信頼度マップとを常に比較するという煩雑な作業が不要である。
【０１７５】
（第５の実施形態）
本発明の第５の実施形態において、第１の実施形態におけるＣＰＵ１８ａが、図３５に示すＣＰＵ１８ｅに変更される。図３５は、ＣＰＵ１８ｅの機能構成を示している。図３５に示す構成について、図３に示す構成と異なる点を説明する。
【０１７６】
ＣＰＵ１８ｅは、図３に示すＣＰＵ１８ａにおける信頼度情報通知部７８ａの代わりにグリッド線表示制御部８１を有する。グリッド線表示制御部８１は、観察画像上の第１の位置に第１のグリッド線を表示させる。また、グリッド線表示制御部８１は、第１の位置に対応する信頼度マップ上の第２の位置に第２のグリッド線を表示させる。
【０１７７】
第１の実施形態と同様に、対応位置算出部７６によって算出された対応位置における信頼度情報は、信頼度の度合いに応じて区分された複数の信頼度レベルのいずれか１つに対応する。第５の実施形態において、第１のグリッド線および第２のグリッド線の少なくとも一方の表示形態（表示パターン）は、複数の信頼度レベルに対応する複数の表示形態のいずれか１つである。第５の実施形態において、グリッド線表示制御部８１は、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する表示形態で第１のグリッド線および第２のグリッド線の少なくとも一方を表示させる。
【０１７８】
上記以外の点について、図３５に示す構成は、図３に示す構成と同様である。
【０１７９】
第５の実施形態における計測処理の詳細を説明する。第５の実施形態において、図３６および図６に示す手順に従って計測処理が行われる。第５の実施形態において、図５に示す処理は、図３６に示す処理に変更される。第５の実施形態において、図６に示す処理は変更されない。図３６に示す処理について、図５に示す処理と異なる点を説明する。
【０１８０】
図３６において、図５におけるステップＳ９はステップＳ２８に変更される。図３６において、図５におけるステップＳ１０はステップＳ２９に変更される。
【０１８１】
対応位置算出部７６によって算出された対応位置の信頼度が高い場合、グリッド線表示制御部８１は、高信頼度に対応する表示形態で第１のグリッド線および第２のグリッド線の少なくとも一方を表示させる（ステップＳ２８）。対応位置の信頼度が低い場合、グリッド線表示制御部８１は、低信頼度に対応する表示形態で第１のグリッド線および第２のグリッド線の少なくとも一方を表示させる（ステップＳ２９）。ステップＳ２８およびステップＳ２９において、グリッド線表示制御部８１は、観察画像上の第１の位置に第１のグリッド線を表示させ、かつ第１の位置に対応する信頼度マップ上の第２の位置に第２のグリッド線を表示させる。具体的には、グリッド線表示制御部８１は、第１のグリッド線および第２のグリッド線のグラフィック画像信号を生成する。グリッド線表示制御部８１は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ｅから出力されたグラフィック画像信号とを合成する。これによって、第１のグリッド線が観察画像に重畳され、かつ第２のグリッド線が信頼度マップに重畳される。映像信号処理回路１２は、合成された映像信号をモニタ４に出力する。モニタ４は、第１のグリッド線が重畳された観察画像と、第２のグリッド線が重畳された信頼度マップとを表示する。観察画像と信頼度マップとの位置関係は予め求められているため、グリッド線表示制御部８１は、観察画像上の第１の位置に対応する信頼度マップ上の第２の位置を容易に算出することができる。
【０１８２】
観察画像の表示サイズと信頼度マップの表示サイズとが異なる場合、第１のグリッド線の間隔と第２のグリッド線の間隔とは異なる。例えば、第１のグリッド線の間隔と第２のグリッド線の間隔との比率は、観察画像の表示サイズと信頼度マップの表示サイズとの比率と同一である。例えば、信頼度マップの縦または横の長さが観察画像の縦または横の長さの１／２であった場合、第２のグリッド線の間隔は第１のグリッド線の間隔の１／２である。
【０１８３】
上記以外の点について、図３６に示す処理は、図５に示す処理と同様である。
【０１８４】
対応位置における信頼度レベルに応じて第１のグリッド線および第２のグリッド線の少なくとも一方の表示形態が変化する例を説明する。図３７および図３８は、モニタ４に表示された観察画像１２０および信頼度マップ１００を示している。
【０１８５】
観察画像１２０において、計測用指標１３０、複数の第１のグリッド線１６０、および複数の第１のグリッド線１６１が表示される。信頼度マップ１００において、複数の第２のグリッド線１７０および複数の第２のグリッド線１７１が表示される。第１のグリッド線１６０、第１のグリッド線１６１、第２のグリッド線１７０、および第２のグリッド線１７１は、観察画像１２０および信頼度マップ１００のそれぞれにおける位置の指標である。
【０１８６】
第１のグリッド線１６０および第２のグリッド線１７０は、垂直方向に配置されたグリッド線である。第１のグリッド線１６１および第２のグリッド線１７１は、水平方向に配置されたグリッド線である。第２のグリッド線１７０は、第１のグリッド線１６０が表示された観察画像１２０上の第１の位置に対応する信頼度マップ１００上の第２の位置に表示される。第２のグリッド線１７１は、第１のグリッド線１６１が表示された観察画像１２０上の第１の位置に対応する信頼度マップ１００上の第２の位置に表示される。観察画像１２０において第１のグリッド線１６０および第１のグリッド線１６１のそれぞれは等間隔に表示される。信頼度マップ１００において第２のグリッド線１７０および第２のグリッド線１７１のそれぞれは等間隔に表示される。信頼度マップ１００の表示サイズは、観察画像１２０の表示サイズよりも小さい。このため、信頼度マップ１００における第２のグリッド線１７０および第２のグリッド線１７１のそれぞれの間隔は、観察画像１２０における第１のグリッド線１６０および第１のグリッド線１６１のそれぞれの間隔よりも小さい。
【０１８７】
図３７において、計測用指標１３０は、ハレーションが発生していない領域にある。図３７において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が高い領域にある。この場合、第１のグリッド線１６０および第１のグリッド線１６１は、高い信頼度に対応する第１の太さで表示される。図３８において、計測用指標１３０は、ハレーションが発生している領域にある。図３８において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置は、信頼度が著しく低い領域１１０にある。この場合、第１のグリッド線１６０および第１のグリッド線１６１は、著しく低い信頼度に対応する第２の太さで表示される。第２の太さは、第１の太さと異なる。例えば、第２の太さは、第１の太さよりも太い。
【０１８８】
観察画像１２０において第１のグリッド線１６０および第１のグリッド線１６１のうち第１のグリッド線１６０のみが表示され、かつ信頼度マップ１００において第２のグリッド線１７０および第２のグリッド線１７１のうち第２のグリッド線１７０のみが表示されてもよい。あるいは、観察画像１２０において第１のグリッド線１６０および第１のグリッド線１６１のうち第１のグリッド線１６１のみが表示され、かつ信頼度マップ１００において第２のグリッド線１７０および第２のグリッド線１７１のうち第２のグリッド線１７１のみが表示されてもよい。観察画像１２０において第１のグリッド線１６０または第１のグリッド線１６１が１本のみ表示されてもよい。信頼度マップ１００において第２のグリッド線１７０または第２のグリッド線１７１が１本のみ表示されてもよい。図３７および図３８に示す例では、第１のグリッド線１６０、第１のグリッド線１６１、第２のグリッド線１７０、および第２のグリッド線１７１は、直線である。第１のグリッド線１６０、第１のグリッド線１６１、第２のグリッド線１７０、および第２のグリッド線１７１は、直線以外の線であってもよい。第１のグリッド線１６０および第１のグリッド線１６１は、観察画像１２０の表示領域を少なくとも２つに分割する線であればよい。第２のグリッド線１７０および第２のグリッド線１７１は、信頼度マップ１００の表示領域を少なくとも２つに分割する線であればよい。
【０１８９】
図３７および図３８に示す例では、観察画像１２０の第１のグリッド線の太さのみが、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における信頼度に応じて変化する。信頼度マップ１００の第２のグリッド線の太さのみが、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における信頼度に応じて変化してもよい。観察画像１２０の第１のグリッド線および信頼度マップ１００の第２のグリッド線の太さが、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置における信頼度に応じて変化してもよい。
【０１９０】
図３７および図３８に示す例では、グリッド線表示制御部８１は、対応位置における信頼度レベルに応じて、第１のグリッド線および第２のグリッド線の少なくとも一方の太さを変化させる。
【０１９１】
第１の実施形態と同様に、信頼度マップ生成部７１は、信頼度マップにおいて対応位置算出部７６によって算出された対応位置のそれぞれが、対応位置における信頼度レベルに対応する色で表示されるような信頼度マップを生成する。グリッド線表示制御部８１は、第１のグリッド線を複数の色のいずれか１つで表示させてもよい。グリッド線表示制御部８１は、第１のグリッド線の表示色を、対応位置算出部７６によって算出された対応位置における信頼度レベルに対応する色と同一にさせてもよい。
【０１９２】
例えば、図３７に示す信頼度マップ１００において、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置が領域１１０にある場合、第１のグリッド線１６０および第１のグリッド線１６１は、領域１１０の色と同一の色で表示される。例えば、領域１１０が赤色で表示される場合、第１のグリッド線１６０および第１のグリッド線１６１は、赤色で表示される。同様に、計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置が領域１１１または領域１１２にある場合、第１のグリッド線１６０および第１のグリッド線１６１は、領域１１１または領域１１２の色と同一の色で表示される。例えば、領域１１１および領域１１２が黄色で表示される場合、第１のグリッド線１６０および第１のグリッド線１６１は、黄色で表示される。計測用指標１３０の位置に対応する信頼度マップ１００上の対応位置が領域１１０、領域１１１、および領域１１２のいずれとも異なる領域にある場合、第１のグリッド線１６０および第１のグリッド線１６１は、これらの領域の色と異なる色で表示される。上記のいずれの場合においても、第２のグリッド線１７０および第２のグリッド線１７１は、第１のグリッド線１６０および第１のグリッド線１６１と同一の色で表示されてもよい。
【０１９３】
グリッド線表示制御部８１は、対応位置における信頼度レベルに応じて、第１のグリッド線および第２のグリッド線の少なくとも一方の種類を変化させてもよい。例えば、信頼度が高い領域に計測用指標がある場合、グリッド線表示制御部８１は、第１のグリッド線および第２のグリッド線の少なくとも一方を破線で表示させる。信頼度が低い領域に計測用指標がある場合、グリッド線表示制御部８１は、第１のグリッド線および第２のグリッド線の少なくとも一方を実線で表示させる。グリッド線表示制御部８１は、対応位置における信頼度レベルに応じて、第１のグリッド線および第２のグリッド線の少なくとも一方の間隔を変化させてもよい。例えば、信頼度が高い領域に計測用指標がある場合、グリッド線表示制御部８１は、第１のグリッド線および第２のグリッド線の少なくとも一方の間隔を広くする。信頼度が低い領域に計測用指標がある場合、グリッド線表示制御部８１は、第１のグリッド線および第２のグリッド線の少なくとも一方の間隔を狭くする。グリッド線表示制御部８１は、対応位置における信頼度レベルが低い場合のみ、第１のグリッド線および第２のグリッド線の少なくとも一方を点滅させてもよい。
【０１９４】
計測用指標の周辺の領域のみにおいて、第１のグリッド線の色が他の領域における第１のグリッド線の色と異なってもよい。第１のグリッド線および第２のグリッド線は、信頼度の状況によっては表示されなくてもよい。
【０１９５】
グリッド線表示制御部８１は、グリッド線の表示形態に応じてグリッド線のグラフィック画像信号を生成する。観察画像における計測用指標の位置に応じてグリッド線の表示形態はリアルタイムに変化する。グリッド線の表示形態の変化は、上記の例に限らない。信頼度レベルの変化をユーザーに容易に通知できる限り、グリッド線の表示形態の変化は、どのような変化であってもよい。グリッド線の表示形態が変化することにより、ユーザーは、対応位置における信頼度レベルの変化に容易に気付くことができる。
【０１９６】
上記のように、第１のグリッド線および第２のグリッド線が表示されることにより、ユーザーは、観察画像上の位置と信頼度マップ上の位置との対応関係を第１のグリッド線および第２のグリッド線から把握することができる。つまり、ユーザーは、観察画像および信頼度マップにおいてグリッド線によって分割される領域の対応関係を容易に把握することができる。ユーザーは、グリッド線を参考にすることにより、観察画像上の計測用指標に対応する信頼度マップ上の対応位置を把握することができる。
【０１９７】
上記のように、第１のグリッド線および第２のグリッド線の少なくとも一方が、対応位置における信頼度レベルに対応する表示形態で表示されることにより、ユーザーは、計測用指標の位置に応じた信頼度の変化に気づきやすい。特に、計測用指標が信頼度の低い領域にあるときにグリッド線の表示形態が変化することにより、ユーザーは、計測用指標の位置における信頼度が低いことを即座に知ることができる。これにより、ユーザーは、容易に、信頼度が低い領域を避けて計測を行うことができる。
【０１９８】
上記のように、対応位置における信頼度レベルに対応する色と同一の色で第１のグリッド線が表示されることにより、ユーザーは第１のグリッド線の色から信頼度を容易に把握することができる。ユーザーは、信頼度マップによって観察画像全体の信頼度を容易に把握することができ、かつユーザーが計測したい位置の信頼度を第１のグリッド線のみから把握することができる。ユーザーは、第１のグリッド線の色が信頼度の低い領域の色と同一になったときのみ信頼度マップを確認すればよい。このため、ユーザーが観察画像と信頼度マップとを常に比較するという煩雑な作業が不要である。
【０１９９】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【０２００】
本発明の各実施形態によれば、内視鏡装置、計測方法、およびプログラムは、観察画像において計測位置の視認性の低下を抑制することができる。
【符号の説明】
【０２０１】
１  内視鏡装置
２  内視鏡
３  装置本体
４  モニタ
５  筐体
６  操作部
８  内視鏡ユニット
９  ＣＣＵ
１０  制御ユニット
１２  映像信号処理回路
１３  ＲＯＭ
１４  ＲＡＭ
１５  カードインタフェース
１６  外部機器インタフェース
１７  制御インタフェース
１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅ  ＣＰＵ
２０  挿入部
２１  先端部
２２  湾曲部
２３  可撓管部
２８  撮像素子
７０  信頼度算出部
７１  信頼度マップ生成部
７２  計測用指標表示制御部
７３  制御部
７４  計測点決定部
７５  計測部
７６  対応位置算出部
７７  信頼度マップ表示制御部
７８ａ，７８ｂ，７８ｃ，７８ｄ  信頼度情報通知部
７９  参照用指標表示制御部
８０  外縁表示制御部
８１  グリッド線表示制御部
【図１】
2017199657.tif 000003
【図２】
2017199657.tif 000004
【図３】
2017199657.tif 000005
【図４】
2017199657.tif 000006
【図５】
2017199657.tif 000007
【図６】
2017199657.tif 000008
【図７】
2017199657.tif 000009
【図８】
2017199657.tif 000010
【図９】
2017199657.tif 000011
【図１０】
2017199657.tif 000012
【図１１】
2017199657.tif 000013
【図１２】
2017199657.tif 000014
【図１３】
2017199657.tif 000015
【図１４】
2017199657.tif 000016
【図１５】
2017199657.tif 000017
【図１６】
2017199657.tif 000018
【図１７】
2017199657.tif 000019
【図１８】
2017199657.tif 000020
【図１９】
2017199657.tif 000021
【図２０】
2017199657.tif 000022
【図２１】
2017199657.tif 000023
【図２２】
2017199657.tif 000024
【図２３】
2017199657.tif 000025
【図２４】
2017199657.tif 000026
【図２５】
2017199657.tif 000027
【図２６】
2017199657.tif 000028
【図２７】
2017199657.tif 000029
【図２８】
2017199657.tif 000030
【図２９】
2017199657.tif 000031
【図３０】
2017199657.tif 000032
【図３１】
2017199657.tif 000033
【図３２】
2017199657.tif 000034
【図３３】
2017199657.tif 000035
【図３４】
2017199657.tif 000036
【図３５】
2017199657.tif 000037
【図３６】
2017199657.tif 000038
【図３７】
2017199657.tif 000039
【図３８】
2017199657.tif 000040
【国際調査報告】
2017199657.tif 000041
2017199657.tif 000042
2017199657.tif 000043
2017199657.tif 000044