(57)【要約】【課題】被写体の画像上で指定された点の妥当性の判断を容易化することができる３次元画像表示方法、３次元画像表示装置、およびプログラムを提供する。【解決手段】表示制御部は、第２の画像をディスプレイに表示する。前記第２の画像は、第１の視点から第１の方向に見た被写体の画像である。基準図形算出部は、少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出する。視点算出部は、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する。画像生成部は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である第３の画像を生成する。前記表示制御部は、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する。【選択図】図４
2020126208.tif 000002
【特許請求の範囲】
【請求項１】
画像取得部が、被写体の２次元画像である第１の画像を取得する画像取得ステップと、
座標算出部が、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、
表示制御部が、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、
受け付け部が少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、
基準図形算出部が、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、
視点算出部が、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、
画像生成部が、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、
前記表示制御部が、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、
を有することを特徴とする３次元画像表示方法。
【請求項２】
前記基準図形は、直線、線分、および平面の１つであり、
前記第２の方向は、直線軸に平行であり、
前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行である
ことを特徴とする請求項１に記載の３次元画像表示方法。
【請求項３】
前記基準図形は、前記直線および前記線分の１つであり、
前記直線軸は、前記基準図形に垂直である
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項４】
前記基準図形は、前記直線および前記線分の１つであり、
前記直線軸は、前記基準図形に平行である
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項５】
前記基準図形は、前記平面であり、
前記直線軸は、前記基準図形に平行である
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項６】
前記基準図形は、前記直線および前記線分の１つであり、
前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、
前記近似平面は、前記被写体の表面を近似する平面であり、
前記少なくとも３つの点の各々は前記複数の点の１つであり、
前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、
前記直線軸は、前記近似平面に平行である
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項７】
前記基準図形は、前記直線および前記線分の１つであり、
前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、
前記近似平面は、前記被写体の表面を近似する平面であり、
前記少なくとも３つの点の各々は前記複数の点の１つであり、
前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、
前記直線軸は、前記近似平面に垂直である
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項８】
前記第２の方向は、第１の領域から第２の領域へ進む方向であり、
前記直線軸は、前記第１の領域および前記第２の領域を通り、
前記第１の領域の体積と、前記第２の領域の体積とは同じであり、
前記第１の領域に含まれる前記被写体の体積は、前記第２の領域に含まれる前記被写体の体積よりも少ない
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項９】
前記視点算出部はさらに、前記視点算出ステップにおいて、前記基準図形に基づいて、第３の方向および第３の視点を算出し、前記第３の方向は、前記第１の方向および前記第２の方向のいずれとも異なり、前記第３の視点は、前記第１の視点および前記第２の視点のいずれとも異なり、
前記画像生成部はさらに、前記画像生成ステップにおいて、前記複数の点の前記３次元座標に基づいて、第４の画像を生成し、前記第４の画像は、前記第３の視点から前記第３の方向に見た前記被写体の３次元画像であり、
前記表示制御部はさらに、前記第２の表示ステップにおいて、前記基準図形の位置を示す情報が重畳された前記第４の画像を前記ディスプレイに表示する
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１０】
前記被写体を基準にした前記第２の方向および前記第２の視点が変更された場合、前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第２の方向および変更された前記第２の視点に基づいて、前記第２の画像を再度生成し、
前記被写体を基準にした前記第２の視点が変更されたとき、前記第２の視点と前記第３の視点との相対関係を保つように、前記被写体を基準にした前記第３の視点は変更され、
前記被写体を基準にした前記第２の方向が変更されたとき、前記第２の方向と前記第３の方向との相対関係を保つように、前記被写体を基準にした前記第３の方向は変更され、
前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第３の方向および変更された前記第３の視点に基づいて、前記第４の画像を再度生成し、
前記表示制御部はさらに、前記第２の表示ステップにおいて、再度生成された前記第２の画像と、再度生成された前記第４の画像とを前記ディスプレイに表示する
ことを特徴とする請求項９に記載の３次元画像表示方法。
【請求項１１】
前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像の少なくとも一部が前記第２の画像と重なるように前記第３の画像を前記ディスプレイに表示する
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１２】
前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像が前記第２の画像と重ならないように前記第３の画像を前記ディスプレイに表示する
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１３】
前記表示制御部が、前記第２の視点および前記第２の方向を示す情報を前記ディスプレイに表示する第３の表示ステップをさらに有する
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１４】
前記基準図形は、前記直線および前記線分の１つであり、
前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
前記少なくとも３つの点の各々は前記複数の点の１つであり、
前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面上にある
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１５】
前記基準図形は、前記直線および前記線分の１つであり、
前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
前記少なくとも３つの点の各々は前記複数の点の１つであり、
前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面よりも前記第２の方向側にある
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１６】
前記基準図形は、前記直線および前記線分の１つであり、
前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
前記少なくとも３つの点の各々は前記複数の点の１つであり、
前記少なくとも３つの点は、第１の平面と第２の平面とに挟まれた領域にあり、
前記第１の平面は、前記基準図形を通り前記直線軸に垂直であり、
前記第２の平面は、前記直線軸に垂直であり、かつ前記第１の平面よりも前記第２の方向側にある
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１７】
前記基準図形は、前記平面であり、
前記表示制御部は、前記第２の表示ステップにおいて、前記複数の点の各々から前記平面までの距離の統計量を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する
ことを特徴とする請求項２に記載の３次元画像表示方法。
【請求項１８】
前記基準図形算出部は、前記基準図形算出ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記基準図形を算出し、
前記基準図形は、前記被写体の表面を近似する平面であり、
前記少なくとも３つの点の各々は前記複数の点の１つであり、
前記少なくとも３つの点は、前記少なくとも１つの基準点に基づいて決定され、
前記第２の方向は、直線軸に平行であり、
前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行である
ことを特徴とする請求項１に記載の３次元画像表示方法。
【請求項１９】
被写体の２次元画像である第１の画像を取得する画像取得部と、
前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出部と、
第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである表示制御部と、
少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである受け付け部と、
前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出部と、
前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出部と、
前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成部と、
を有し、
前記表示制御部はさらに、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する
ことを特徴とする３次元画像表示装置。
【請求項２０】
被写体の２次元画像である第１の画像を取得する画像取得ステップと、
前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、
第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、
少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、
前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、
前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、
前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、
前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像表示方法、３次元画像表示装置、およびプログラムに関する。
【背景技術】
【０００２】
ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の欠陥および傷の大きさを定量的に計測したいという要望がある。この要望に応えるために、３次元計測機能が搭載された内視鏡装置が存在する。
【０００３】
例えば、ユーザーによって画像上で指定された点の情報に基づいて幾何学的な寸法を計測する機能が内視鏡装置に搭載されている。例えば、２点間計測では、ユーザーによって指定された２つの計測点間の３次元距離が計測される。線基準計測では、ユーザーによって指定された２つの基準点に基づいて基準線が設定され、かつユーザーによって指定された計測点から基準線までの３次元距離が計測される。面基準計測では、ユーザーによって指定された３つの基準点に基づいて基準面が設定され、かつユーザーによって指定された計測点から基準面までの３次元距離が計測される。
【０００４】
ユーザーは、ディスプレイに表示された２次元画像上の点を指定する。計測の精度は、ユーザーによって指定された点の位置の精度に依存する。ユーザーが正しい位置に点を指定したと自ら判断した場合であっても、画像の奥行き方向にずれた位置にある点が指定されることがある。そのような点の位置のずれを２次元画像に基づいて目視で判断することが難しい。
【０００５】
ユーザーが画像上で指定した位置の確認を容易化する技術が特許文献１に開示されている。特許文献１に開示された技術では、ユーザーによって指定された複数の点の周辺領域の３次元画像が表示される。ユーザーは、その３次元画像を回転させることができる。そのため、ユーザーは、複数の視点から見た被写体の画像上で点の位置を確認することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第６０３０８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ユーザーは、被写体の画像上で指定された点の妥当性を判断するために、被写体を複数の視点から見る必要がある。特許文献１は、点の妥当性の判断に適した観察方向を基準線または基準面に基づいて決定する方法を開示していない。特許文献１に開示された技術を使用することにより表示された画像は、必ずしも点の妥当性の判断に適していない。特許文献１に開示された技術では、ユーザーは、３次元画像を回転させることにより、複数の視点から点の位置を確認することができる。しかしながら、検査中にユーザーが、視点を変更するための操作を行うことは面倒である。工業用の内視鏡装置が検査に使用されるとき、作業場所の制約があり、かつ検査中にユーザーが手で内視鏡の位置および姿勢を維持する必要がある。そのため、ユーザーが視点を変更するための操作を行うことは難しい。
【０００８】
本発明は、被写体の画像上で指定された点の妥当性の判断を容易化することができる３次元画像表示方法、３次元画像表示装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、画像取得部が、被写体の２次元画像である第１の画像を取得する画像取得ステップと、座標算出部が、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、表示制御部が、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、受け付け部が少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、基準図形算出部が、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、視点算出部が、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、画像生成部が、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、前記表示制御部が、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、を有することを特徴とする３次元画像表示方法である。
【００１０】
本発明の３次元画像表示方法において、前記基準図形は、直線、線分、および平面の１つであり、前記第２の方向は、直線軸に平行であり、前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行であることを特徴とする。
【００１１】
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記直線軸は、前記基準図形に垂直であることを特徴とする。
【００１２】
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記直線軸は、前記基準図形に平行であることを特徴とする。
【００１３】
本発明の３次元画像表示方法において、前記基準図形は、前記平面であり、前記直線軸は、前記基準図形に平行であることを特徴とする。
【００１４】
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、前記近似平面は、前記被写体の表面を近似する平面であり、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、前記直線軸は、前記近似平面に平行であることを特徴とする。
【００１５】
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、前記近似平面は、前記被写体の表面を近似する平面であり、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、前記直線軸は、前記近似平面に垂直であることを特徴とする。
【００１６】
本発明の３次元画像表示方法において、前記第２の方向は、第１の領域から第２の領域へ進む方向であり、前記直線軸は、前記第１の領域および前記第２の領域を通り、前記第１の領域の体積と、前記第２の領域の体積とは同じであり、前記第１の領域に含まれる前記被写体の体積は、前記第２の領域に含まれる前記被写体の体積よりも少ないことを特徴とする。
【００１７】
本発明の３次元画像表示方法において、前記視点算出部はさらに、前記視点算出ステップにおいて、前記基準図形に基づいて、第３の方向および第３の視点を算出し、前記第３の方向は、前記第１の方向および前記第２の方向のいずれとも異なり、前記第３の視点は、前記第１の視点および前記第２の視点のいずれとも異なり、前記画像生成部はさらに、前記画像生成ステップにおいて、前記複数の点の前記３次元座標に基づいて、第４の画像を生成し、前記第４の画像は、前記第３の視点から前記第３の方向に見た前記被写体の３次元画像であり、前記表示制御部はさらに、前記第２の表示ステップにおいて、前記基準図形の位置を示す情報が重畳された前記第４の画像を前記ディスプレイに表示することを特徴とする。
【００１８】
本発明の３次元画像表示方法において、前記被写体を基準にした前記第２の方向および前記第２の視点が変更された場合、前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第２の方向および変更された前記第２の視点に基づいて、前記第２の画像を再度生成し、前記被写体を基準にした前記第２の視点が変更されたとき、前記第２の視点と前記第３の視点との相対関係を保つように、前記被写体を基準にした前記第３の視点は変更され、前記被写体を基準にした前記第２の方向が変更されたとき、前記第２の方向と前記第３の方向との相対関係を保つように、前記被写体を基準にした前記第３の方向は変更され、前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第３の方向および変更された前記第３の視点に基づいて、前記第４の画像を再度生成し、前記表示制御部はさらに、前記第２の表示ステップにおいて、再度生成された前記第２の画像と、再度生成された前記第４の画像とを前記ディスプレイに表示することを特徴とする。
【００１９】
本発明の３次元画像表示方法において、前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像の少なくとも一部が前記第２の画像と重なるように前記第３の画像を前記ディスプレイに表示することを特徴とする。
【００２０】
本発明の３次元画像表示方法において、前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像が前記第２の画像と重ならないように前記第３の画像を前記ディスプレイに表示することを特徴とする。
【００２１】
本発明の３次元画像表示方法は、前記表示制御部が、前記第２の視点および前記第２の方向を示す情報を前記ディスプレイに表示する第３の表示ステップをさらに有することを特徴とする。
【００２２】
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面上にあることを特徴とする。
【００２３】
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面よりも前記第２の方向側にあることを特徴とする。
【００２４】
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、第１の平面と第２の平面とに挟まれた領域にあり、前記第１の平面は、前記基準図形を通り前記直線軸に垂直であり、前記第２の平面は、前記直線軸に垂直であり、かつ前記第１の平面よりも前記第２の方向側にあることを特徴とする。
【００２５】
本発明の３次元画像表示方法において、前記基準図形は、前記平面であり、前記表示制御部は、前記第２の表示ステップにおいて、前記複数の点の各々から前記平面までの距離の統計量を示す情報が重畳された前記第３の画像を前記ディスプレイに表示することを特徴とする。
【００２６】
本発明の３次元画像表示方法において、前記基準図形算出部は、前記基準図形算出ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記基準図形を算出し、前記基準図形は、前記被写体の表面を近似する平面であり、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、前記少なくとも１つの基準点に基づいて決定され、前記第２の方向は、直線軸に平行であり、前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行であることを特徴とする。
【００２７】
本発明は、被写体の２次元画像である第１の画像を取得する画像取得部と、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出部と、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである表示制御部と、少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである受け付け部と、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出部と、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出部と、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成部と、を有し、前記表示制御部はさらに、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示することを特徴とする３次元画像表示装置である。
【００２８】
本発明は、被写体の２次元画像である第１の画像を取得する画像取得ステップと、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２９】
本発明によれば、３次元画像表示方法、３次元画像表示装置、およびプログラムは、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。
【図２】本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。
【図３】本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。
【図４】本発明の第１の実施形態における３次元計測の手順を示すフローチャートである。
【図５】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図６】本発明の第１の実施形態における被写体を含む３次元空間を模式的に示す図である。
【図７】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図８】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図９】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図１０】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図１１】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図１２】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図１３】本発明の第１の実施形態による表示部に表示される画像の例を示す図である。
【図１４】本発明の第１の実施形態の第１の変形例における３次元計測の手順を示すフローチャートである。
【図１５】本発明の第１の実施形態の第２の変形例における３次元計測の手順を示すフローチャートである。
【図１６】本発明の第１の実施形態の第２の変形例における３次元計測の手順を示すフローチャートである。
【図１７】本発明の第１の実施形態の第２の変形例による表示部に表示される画像の例を示す図である。
【図１８】本発明の第１の実施形態の第２の変形例による表示部に表示される画像の例を示す図である。
【図１９】本発明の第１の実施形態の第３の変形例による表示部に表示される画像の例を示す図である。
【図２０】本発明の第１の実施形態の第３の変形例による表示部に表示される画像の例を示す図である。
【図２１】本発明の第２の実施形態における３次元計測の手順を示すフローチャートである。
【図２２】本発明の第２の実施形態による表示部に表示される画像の例を示す図である。
【図２３】本発明の第２の実施形態による表示部に表示される画像の例を示す図である。
【図２４】本発明の第２の実施形態による表示部に表示される画像の例を示す図である。
【図２５】本発明の第３の実施形態における３次元計測の手順を示すフローチャートである。
【図２６】本発明の第３の実施形態による表示部に表示される画像の例を示す図である。
【図２７】本発明の第３の実施形態による表示部に表示される画像の例を示す図である。
【図２８】本発明の第３の実施形態による表示部に表示される画像の例を示す図である。
【図２９】本発明の第３の実施形態の変形例による表示部に表示される画像の例を示す図である。
【図３０】本発明の第４の実施形態における３次元計測の手順を示すフローチャートである。
【図３１】本発明の第４の実施形態による表示部に表示される画像の例を示す図である。
【図３２】本発明の第４の実施形態による表示部に表示される画像の例を示す図である。
【図３３】本発明の第５の実施形態における３次元計測の手順を示すフローチャートである。
【図３４】本発明の第５の実施形態による表示部に表示される画像の例を示す図である。
【図３５】本発明の第５の実施形態による表示部に表示される画像の例を示す図である。
【図３６】本発明の第５の実施形態による表示部に表示される画像の例を示す図である。
【図３７】本発明の第５の実施形態による表示部に表示される画像の例を示す図である。
【図３８】本発明の第６の実施形態における３次元計測の手順を示すフローチャートである。
【図３９】本発明の第６の実施形態による表示部に表示される画像の例を示す図である。
【図４０】本発明の第６の実施形態による表示部に表示される画像の例を示す図である。
【図４１】本発明の第６の実施形態による表示部に表示される画像の例を示す図である。
【図４２】本発明の第７の実施形態における３次元計測の手順を示すフローチャートである。
【図４３】本発明の第７の実施形態による表示部に表示される画像の例を示す図である。
【図４４】本発明の第７の実施形態による表示部に表示される画像の例を示す図である。
【図４５】本発明の第７の実施形態による表示部に表示される画像の例を示す図である。
【図４６】本発明の第８の実施形態による表示部に表示される画像の例を示す図である。
【図４７】本発明の第８の実施形態における３次元画像の例を示す図である。
【図４８】本発明の第８の実施形態における３次元画像の例を示す図である。
【図４９】本発明の第８の実施形態における３次元画像の例を示す図である。
【図５０】本発明の第８の実施形態における３次元画像の例を示す図である。
【図５１】本発明の第９の実施形態における視線の方向を算出する手順を示すフローチャートである。
【図５２】本発明の第９の実施形態による表示部に表示される画像の例を示す図である。
【図５３】本発明の第９の実施形態による表示部に表示される画像の例を示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照し、本発明の実施形態を説明する。以下では、３次元画像表示装置が内視鏡装置である例を説明する。３次元画像表示装置は、画像表示機能を有する装置でありさえすればよく、内視鏡装置に限らない。被写体は、工業製品である。
【００３２】
（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡装置１（３次元画像表示装置）の全体構成を示す。図２は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を使用して被写体の幾何学的特徴を計測する。検査者は、種々の被写体の観察と計測とを行うために、挿入部２の先端２０に装着される光学アダプターの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。
【００３３】
図１に示す内視鏡装置１は、挿入部２、本体３、操作部４、および表示部５を有する。
【００３４】
挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、計測部分を撮像し、かつ撮像信号を本体３に出力する。挿入部２の先端２０には、光学アダプターが装着される。本体３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対する操作をユーザーから受ける。表示部５は、表示画面を有し、かつ挿入部２によって取得された被写体の画像および操作メニュー等を表示画面に表示する。
【００３５】
操作部４は、ユーザーインタフェースである。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つを含む。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。
【００３６】
図２に示す本体３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、図示していない湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体像（光学像）を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８によって取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、処理された撮像信号をＮＴＳＣ信号等の映像信号に変換する。
【００３７】
制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１８を有する。
【００３８】
映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、計測実行時には、計測性能を向上させるための処理も行う。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に基づく画像データをＣＰＵ１８に出力する。
【００３９】
ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。
【００４０】
着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。
【００４１】
ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、パーソナルコンピュータ４１へ情報を送信し、かつパーソナルコンピュータ４１から情報を受信する。これによって、パーソナルコンピュータ４１のモニタが情報を表示することができる。また、ユーザーは、パーソナルコンピュータ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を行うことができる。
【００４２】
制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。
【００４３】
ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、パーソナルコンピュータ４１がプログラムを読み込んで実行してもよい。パーソナルコンピュータ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、パーソナルコンピュータ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を使用して計測を実行してもよい。
【００４４】
上述したプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
【００４５】
上記のように、内視鏡装置１は、撮像素子２８（画像取得部）およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。撮像素子２８は、画像取得ステップにおいて、第１の視点から第１の方向に見た被写体の２次元画像（第１の画像）を取得する。撮像素子２８によって取得された画像は映像信号処理回路１２を経由してＣＰＵ１８に入力される。
【００４６】
撮像素子２８は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、パーソナルコンピュータ４１が３次元画像表示装置として動作する場合、画像取得部は、内視鏡装置１と通信を実行する通信インタフェース（通信機）である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。
【００４７】
第１の実施形態の内視鏡装置１は、線基準計測機能を有する。第１の実施形態において、２つの基準点および１つの計測点がユーザーによって指定される。２つの基準点の各々は、線基準計測における基準線を算出するための基準位置を示す。計測点は、被写体の寸法を計測する位置を示す。
【００４８】
例えば、内視鏡装置１はステレオ計測を実行する。ステレオ計測では、２つの異なる視点に対応する２つの被写体像に基づいて三角測量の原理で被写体の計測が行われる。内視鏡装置１に適用される計測方式は、ステレオ計測に限らない。例えば、内視鏡装置１は、空間的な位相が異なる複数の縞パターンが投影された被写体の画像を使用する位相シフト法による計測を行ってもよい。あるいは、内視鏡装置１は、ランダムパターンが投影された被写体の画像を使用する計測を行ってもよい。
【００４９】
図３は、ＣＰＵ１８の機能構成を示す。制御部１８０、表示制御部１８１、点設定部１８２、座標算出部１８３、基準図形算出部１８４、視点算出部１８５、画像生成部１８６、および計測部１８７によってＣＰＵ１８の機能が構成されている。図３に示すブロックの少なくとも１つがＣＰＵ１８とは別の回路で構成されてもよい。
【００５０】
図３に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）の少なくとも１つである。図３に示す各部は、１つまたは複数のプロセッサを含むことができる。図３に示す各部は、１つまたは複数の論理回路を含むことができる。
【００５１】
図３に示す構成の概略を説明する。座標算出部１８３は、座標算出ステップにおいて、撮像素子２８によって取得された第１の画像に基づいて被写体上の複数の点の３次元座標を算出する。表示制御部１８１は、第１の表示ステップにおいて、第２の画像を表示部５に表示する。第２の画像は、第１の視点から第１の方向に見た被写体の画像である。第２の画像は、第１の画像と、複数の点の３次元座標に基づいて生成された被写体の３次元画像との１つである。操作部４は、入力ステップにおいて、少なくとも１つの基準点の入力を受け付ける。少なくとも１つの基準点の各々は、第２の画像に含まれる領域上にあり、かつ被写体上の複数の点の１つである。基準図形算出部１８４は、基準図形算出ステップにおいて、少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出する。少なくとも２つの点の各々は被写体上の複数の点の１つである。基準線が第１の実施形態における基準図形である。視点算出部１８５は、視点算出ステップにおいて、基準図形に基づいて、第１の方向と異なる第２の方向と、第１の視点と異なる第２の視点とを算出する。画像生成部１８６は、画像生成ステップにおいて、被写体上の複数の点の３次元座標に基づいて、第３の画像を生成する。第３の画像は、第２の視点から第２の方向に見た被写体の３次元画像である。表示制御部１８１は、第２の表示ステップにおいて、基準図形の位置を示す情報が重畳された第３の画像を表示部５に表示する。
【００５２】
基準図形は、直線、線分、および平面の１つである。線分は、直線の一部である。第２の方向は、直線軸に平行である。直線軸は、基準図形に垂直であり、または基準図形に平行である。第２の視点は、直線軸上にある。
【００５３】
直線軸は、第２の視点および第２の方向を規定する仮想的な軸であり、かつ直線である。第１の実施形態において、基準図形は直線であり、かつ直線軸は基準図形に垂直である。操作部４は、２つの基準点の入力を受け付ける。基準図形算出部１８４は、２つの基準点の３次元座標に基づいて、基準図形を算出する。
【００５４】
図３に示す構成の詳細を説明する。制御部１８０は、各部が実行する処理を制御する。表示制御部１８１は、２Ｄ画像または３Ｄ画像を表示部５に表示する。２Ｄ画像は、撮像素子２８によって取得された２次元画像である。３Ｄ画像は、画像生成部１８６によって生成された３次元画像である。
【００５５】
例えば、表示制御部１８１は、映像信号処理回路１２によって実行される処理を制御する。表示制御部１８１は、映像信号処理回路１２によって処理された映像信号を映像信号処理回路１２から表示部５へ出力させる。その映像信号は、２Ｄ画像の各画素のカラーデータを含む。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて２Ｄ画像を表示する。あるいは、表示制御部１８１は、３Ｄ映像信号を、映像信号処理回路１２を経由して表示部５へ出力する。３Ｄ映像信号は、３Ｄ画像の各画素のカラーデータを含む。３Ｄ画像の各画素は、３次元座標と関連付けられている。表示部５は、映像信号処理回路１２から出力された３Ｄ映像信号に基づいて３Ｄ画像を表示する。
【００５６】
表示制御部１８１は、各種情報を表示部５に表示する。つまり、表示制御部１８１は、画像上に各種情報を表示する。各種情報は、カーソル、マーク、基準図形、および計測結果等を含む。カーソルは、ユーザーが画像上の特定の位置を指定するためのポインターである。マークは、ユーザーが画像上で指定した位置を示す。基準図形は、基準線および基準面等である。各種情報は、基準図形以外の線を含む場合がある。各種情報は、イラスト等を含む場合がある。
【００５７】
例えば、表示制御部１８１は、各種情報のグラフィック画像信号を生成する。表示制御部１８１は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が２Ｄ画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された２Ｄ画像を表示する。あるいは、画像生成部１８６は、各種情報のグラフィック画像信号を生成し、かつそのグラフィック画像信号を３Ｄ映像信号に重畳する。これにより、各種情報が３Ｄ画像に重畳される。表示制御部１８１は、グラフィック画像信号が重畳された３Ｄ映像信号を、映像信号処理回路１２を経由して表示部５に出力する。表示部５は、各種情報が重畳された３Ｄ画像を表示する。
【００５８】
ユーザーは、操作部４を操作することにより、カーソルの位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、入力部である制御インタフェース１７に入力される。制御インタフェース１７に入力された位置情報は、ＣＰＵ１８に入力される。表示制御部１８１は、操作部４に入力された位置情報が示す位置を検出する。表示制御部１８１は、操作部４に入力された位置情報が示す位置にカーソルを表示する。表示部５がタッチパネルである場合、つまり表示部５および操作部４が一体化されている場合、ユーザーは表示部５の画面をタッチすることによりカーソルの位置情報を操作部４に入力する。
【００５９】
基準点および計測点の設定に使用される２Ｄ画像または３Ｄ画像が表示部５に表示される。その２Ｄ画像および３Ｄ画像は、３次元空間において、第１の視点から第１の方向に見た被写体の画像（第２の画像）である。２Ｄ画像または３Ｄ画像が表示部５に表示された後、点設定部１８２は、２Ｄ画像または３Ｄ画像に少なくとも２つの基準点を設定する。具体的には、ユーザーは、操作部４を操作することにより、基準点の位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を制御インタフェース１７に出力する。位置情報は、制御インタフェース１７を経由してＣＰＵ１８に入力される。点設定部１８２は、撮像素子２８によって取得され、かつ表示部５に表示された２Ｄ画像において位置情報が示す位置に基準点を設定する。あるいは、点設定部１８２は、画像生成部１８６によって生成され、かつ表示部５に表示された３Ｄ画像において位置情報が示す位置に基準点を設定する。点設定部１８２によって設定された基準点の位置情報は、ＲＡＭ１４に保持される。基準点が特定の画像に関連付けられることにより、基準点が設定される。
【００６０】
２Ｄ画像または３Ｄ画像が表示部５に表示された後、点設定部１８２は、２Ｄ画像または３Ｄ画像に１つの計測点を設定する。具体的には、ユーザーは、操作部４を操作することにより、計測点の位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、制御インタフェース１７を経由してＣＰＵ１８に入力される。点設定部１８２は、撮像素子２８によって取得され、かつ表示部５に表示された２Ｄ画像において位置情報が示す位置に計測点を設定する。あるいは、点設定部１８２は、画像生成部１８６によって生成され、かつ表示部５に表示された３Ｄ画像において位置情報が示す位置に計測点を設定する。点設定部１８２によって設定された計測点の位置情報は、ＲＡＭ１４に保持される。計測点が特定の画像に関連付けられることにより、計測点が設定される。
【００６１】
基準点および計測点は、ユーザーの指示によって決定された注目位置の座標情報である。基準点または計測点の指定は、ユーザーが基準点または計測点を内視鏡装置１に指示することを意味する。ユーザーは、基準点または計測点をカーソルで指定することにより基準点または計測点を指定する。あるいは、ユーザーは、表示部５の画面において基準点または計測点をタッチすることにより基準点または計測点を指定する。基準点の設定は、点設定部１８２が基準点を画像に関連付けることを意味する。計測点の設定は、点設定部１８２が計測点を画像に関連付けることを意味する。
【００６２】
座標算出部１８３は、２Ｄ画像を使用して、その２Ｄ画像上の複数の点の各々の３次元座標を算出する。例えば、座標算出部１８３は、２Ｄ画像の各画素に対応する３次元座標を算出する。
【００６３】
基準図形算出部１８４は、点設定部１８２によって設定された複数の基準点の３次元座標に基づいて基準線を算出する。基準線は、３次元空間において２つの基準点の各々の３次元座標を通る直線である。
【００６４】
視点算出部１８５は、基準点の確認に使用される３Ｄ画像を表示するための第２の視点および第２の方向を算出する。第２の視点および第２の方向の具体的な算出方法については後述する。
【００６５】
画像生成部１８６は、複数の点の３次元座標に基づいて、第２の視点から第２の方向に見た被写体の３Ｄ画像（第３の画像）を生成する。３Ｄ画像は、ユーザーが３次元空間における被写体の表面を特定の視点から見たときにユーザーの目に映る被写体の光学像に相当する。３Ｄ画像が基準点および計測点の設定に使用される場合、画像生成部１８６は、第１の視点から第１の方向に見た被写体の３Ｄ画像を生成する。
【００６６】
計測部１８７は、被写体の３次元計測を実行する。第１の実施形態において計測部１８７は、基準線を使用して、被写体の３次元計測を実行する。具体的には、計測部１８７は、３次元の基準線と計測点の３次元座標との３次元距離を算出する。
【００６７】
図４を使用して、第１の実施形態における３次元計測について説明する。図４は、３次元計測の手順を示す。
【００６８】
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点（第１の視点）から初期方向（第１の方向）に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ１０１）。ステップＳ１０１は、画像取得ステップに対応する。
【００６９】
ステップＳ１０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ１０２）。ステップＳ１０２は、座標算出ステップに対応する。
【００７０】
ステップＳ１０２の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ１０３）。ステップＳ１０３は、第１の表示ステップに対応する。ステップＳ１０３における初期視点および初期方向は、ステップＳ１０１における視点および方向とそれぞれ異なっていてもよい。ステップＳ１０１における視点とステップＳ１０３における視点とが異なる場合、ステップＳ１０３における視点が初期視点と定義される。ステップＳ１０１における方向とステップＳ１０３における方向とが異なる場合、ステップＳ１０３における方向が初期方向と定義される。
【００７１】
ステップＳ１０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第１の基準点を設定する。表示制御部１８１は、第１の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１０４）。
【００７２】
ステップＳ１０４の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第２の基準点を設定する。表示制御部１８１は、第２の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１０５）。ステップＳ１０４およびステップＳ１０５は、入力ステップに対応する。
【００７３】
ステップＳ１０５の後、基準図形算出部１８４は、第１の基準点および第２の基準点の各々の３次元座標を通る基準線を算出する。表示制御部１８１は、基準線を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１０６）。ステップＳ１０６は、基準図形算出ステップに対応する。
【００７４】
図５は、ステップＳ１０６において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１が表示部５に表示される。３Ｄ画像Ｇ１１は、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。計測モードを示す文字ＣＨ１１が３Ｄ画像Ｇ１１上に表示される。文字ＣＨ１１は、計測モードが線基準計測であることを示す。第１の基準点Ｐ１１、第２の基準点Ｐ１２、および基準線Ｌ１１が３Ｄ画像Ｇ１１上に表示される。各基準点は、基準点の位置を示すマークとして表示される。図５に示す例では、被写体ＯＢ１１のエッジの近傍に第１の基準点Ｐ１１および第２の基準点Ｐ１２が設定される。
【００７５】
ステップＳ１０６の後、視点算出部１８５は、基準線に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ１０７）。ステップＳ１０７は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１０７において、以下の方法で視点Ａおよび方向Ａを算出する。
【００７６】
図６は、被写体ＯＢ１１を含む３次元空間を模式的に示す。３Ｄ画像Ｇ１１に含まれる範囲内の被写体ＯＢ１１が図６に示されている。視点算出部１８５は、基準線Ｌ１１が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、基準線Ｌ１１と一致する。視点算出部１８５は、Ｘ’軸に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。カメラ位置は、挿入部２の先端２０に装着された光学アダプター内の光学系の光学中心である。ステレオ計測に使用されるステレオ計測アダプターは、左右の２つの視点に対応する２つの光学系を有する。ステレオ計測アダプターが挿入部２の先端２０に装着された場合、カメラ位置は、２つの光学系の２つの光学中心の中間点である。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々に垂直な方向に伸びるＹ’軸（直線軸）を設定する。
【００７７】
視点算出部１８５は、Ｘ’軸の周辺に第１の領域ＲＧ１および第２の領域ＲＧ２を設定する。第１の領域ＲＧ１および第２の領域ＲＧ２は、Ｘ’軸を中心とする円筒ＴＵ１に含まれる。第１の領域ＲＧ１および第２の領域ＲＧ２の境界は、Ｘ’−Ｚ’平面である。方向Ａは、第１の領域ＲＧ１から第２の領域ＲＧ２へ進む方向である。Ｙ’軸は、第１の領域ＲＧ１および第２の領域ＲＧ２を通る。第１の領域ＲＧ１の体積と、第２の領域ＲＧ２の体積とは同じである。第１の領域ＲＧ１に含まれる被写体の体積は、第２の領域ＲＧ２に含まれる被写体の体積よりも少ない。つまり、第１の領域ＲＧ１における被写体ＯＢ１１の３次元座標のデータ数は、第２の領域ＲＧ２における被写体ＯＢ１１の３次元座標のデータ数よりも少ない。視点算出部１８５は、第１の領域ＲＧ１から第２の領域ＲＧ２へ進む方向をＹ’軸の正の方向に設定する。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々の正の方向をＹ’軸の正の方向に基づいて設定する。
【００７８】
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体ＯＢ１１を方向Ａに見たときに被写体ＯＢ１１が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の基準点Ｐ１１のＸ’座標と第２の基準点Ｐ１２のＸ’座標との平均である。視点ＡのＹ’座標は、被写体ＯＢ１１の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の基準点Ｐ１１および第２の基準点Ｐ１２が視野に入る位置であってもよい。例えば、視点ＡのＹ’座標は、３Ｄ画像（第３の画像）の表示領域の水平方向の長さの８０％を占める部分に第１の基準点Ｐ１１および第２の基準点Ｐ１２が表示される位置である。
【００７９】
Ｚ’軸は、カメラ位置を通り、かつ基準線Ｌ１１に垂直である。方向ＡはＺ’軸に垂直である。方向Ａは、カメラ位置から基準線Ｌ１１を垂直に見たときの視線の方向に垂直であるため、ユーザーは画像Ｇ１２における視線の方向を直感的に理解しやすい。
【００８０】
ステップＳ１０７の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１０８）。ステップＳ１０８において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ１０８は、画像生成ステップおよび第２の表示ステップに対応する。
【００８１】
図７は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ａおよび３Ｄ画像Ｇ１２が表示部５に表示される。表示制御部１８１は、ステップＳ１０８において、３Ｄ画像Ｇ１２が３Ｄ画像Ｇ１１ａと重ならないように３Ｄ画像Ｇ１２を表示部５に表示する。３Ｄ画像Ｇ１１ａは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１、第２の基準点Ｐ１２、基準線Ｌ１１、およびイラストＩＴ１１が３Ｄ画像Ｇ１１ａ上に表示される。
【００８２】
３Ｄ画像Ｇ１２は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２が３Ｄ画像Ｇ１２上に表示される。基準線Ｌ１２は、視点Ａから方向Ａに見た基準線を示す。被写体ＯＢ１１の表面に平行な方向に近い方向に見た被写体ＯＢ１１のエッジが３Ｄ画像Ｇ１２に映っている。
【００８３】
ユーザーは、３Ｄ画像Ｇ１２に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの基準点の位置が妥当であるか否かを確認することができる。方向Ａは基準線に垂直であるため、ユーザーは、２つの基準点の位置が妥当であるか否かを容易に確認することができる。図７に示す例では、基準線Ｌ１２は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
【００８４】
表示制御部１８１は、視点Ａおよび方向Ａを示す情報を表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ１０８において、挿入部２の先端２０のイラストＩＴ１１を表示部５に表示する。ステップＳ１０８は、第３の表示ステップに対応する。イラストＩＴ１１は３Ｄ画像Ｇ１１ａ上に表示される。イラストＩＴ１１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。例えば、イラストＩＴ１１は、筒状の図形である。その図形の先端は、挿入部２の先端２０に対応する。その図形の中心軸の方向は、内視鏡装置１の光学系の光軸方向に対応する。イラストＩＴ１１が表示されるとき、表示制御部１８１は、その図形の先端を視点Ａと一致させ、かつその図形の中心軸の方向を方向Ａと一致させる。イラストＩＴ１１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。
【００８５】
視点Ａが３Ｄ画像Ｇ１１ａにおける視野内にない場合がある。その場合、方向Ａを示す矢印などが３Ｄ画像Ｇ１１ａ上に表示されてもよい。
【００８６】
３Ｄ画像Ｇ１２が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ａおよび３Ｄ画像Ｇ１２を表示させてもよい。
【００８７】
図８は、ステップＳ１０８において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｂおよび３Ｄ画像Ｇ１２ｂが表示部５に表示される。３Ｄ画像Ｇ１１ｂは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｂ、第２の基準点Ｐ１２ｂ、基準線Ｌ１１ｂ、およびイラストＩＴ１１ｂが３Ｄ画像Ｇ１１ｂ上に表示される。第１の基準点Ｐ１１ｂは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂは被写体ＯＢ１１上にない位置に設定される。
【００８８】
３Ｄ画像Ｇ１２ｂは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｂが３Ｄ画像Ｇ１２ｂ上に表示される。図８に示す例では、基準線Ｌ１２ｂは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
【００８９】
ステップＳ１０８の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に計測点を設定する。表示制御部１８１は、計測点を、ステップＳ１０２において表示された３Ｄ画像上に表示する（ステップＳ１０９）。
【００９０】
ステップＳ１０９の後、計測部１８７は、基準線と計測点の３次元座標とに基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、基準線と計測点の３次元座標との３次元距離を算出する（ステップＳ１１０）。
【００９１】
ステップＳ１１０の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ１１１）。ステップＳ１１１が実行されたとき、３次元計測が終了する。
【００９２】
図９は、ステップＳ１１１において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｃおよび３Ｄ画像Ｇ１２が表示部５に表示される。３Ｄ画像Ｇ１１ｃは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１、第２の基準点Ｐ１２、基準線Ｌ１１、およびイラストＩＴ１１が３Ｄ画像Ｇ１１ｃ上に表示される。さらに、計測点Ｐ１３、計測線Ｌ１３、および計測結果Ｒ１１が３Ｄ画像Ｇ１１ｃ上に表示される。計測点Ｐ１３は、被写体ＯＢ１１の欠けの最深点に設定される。計測線Ｌ１３は、計測点を通り基準線に垂直な直線を示す。基準図形算出部１８４は、ステップＳ１０８において、計測点および基準線に基づいて計測線を算出する。計測結果Ｒ１１は、基準線と計測点の３次元座標との３次元距離を示す。３Ｄ画像Ｇ１２は、図６に示す３Ｄ画像Ｇ１２と同じである。
【００９３】
ステップＳ１０４における第１の基準点の表示、ステップＳ１０５における第２の基準点の表示、およびステップＳ１０９における計測点の表示は必須ではない。ステップＳ１０６における基準線の表示は必須ではない。
【００９４】
ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１０７が実行されてもよい。ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１０８が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行された後にステップＳ１０８が実行される場合、ユーザーは、計測に使用された２つの基準点の位置が妥当であるか否かを確認することができる。
【００９５】
ステップＳ１０９からステップＳ１１１の各々は必須ではない。ステップＳ１０９からステップＳ１１１の各々が実行されなくてもよい。例えば、被写体の形状が所望の形状であるか否かを検査するために、ステップＳ１０１からステップＳ１０８の各々が実行されてもよい。例えば、検査対象の部位が直線状であるか否かを検査するために、ユーザーは３Ｄ画像上のその部位に２つの基準点を指定する。例えば、その部位は、検査対象のエッジである。２つの基準点を通る基準線が３Ｄ画像上に表示される。
【００９６】
ユーザーは、その３Ｄ画像に基づいて、基準線がその部位上に表示されているか否かを確認する。これにより、ユーザーは、２つの基準点の位置が妥当であるか否かを確認する。２つの基準点の位置が妥当であることが確認された後、ユーザーは、基準線とその部位の形状とを比較することにより、検査を実施する。
【００９７】
第１の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像が表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【００９８】
座標算出部１８３は、撮像素子２８によって取得された２Ｄ画像の各画素に対応する３次元座標を算出する。画像生成部１８６は、被写体の表面上の全ての３次元座標の各々に対応するデータを含む３Ｄ画像を生成する。画像生成部１８６は、座標算出部１８３によって算出された３次元座標の一部のみに対応するデータを含む３Ｄ画像を生成してもよい。例えば、ユーザーは、操作部４を操作することにより、基準点の位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、制御インタフェース１７を経由してＣＰＵ１８に入力される。
【００９９】
画像生成部１８６は、表示部５に表示された３Ｄ画像において位置情報が示す位置を含む領域を設定する。例えば、画像生成部１８６は、各基準点を中心とする球に含まれる領域を設定する。その球の半径は、所定値である。例えば、所定値は３ｍｍである。画像生成部１８６は、その球内の領域の各画素に対応する３次元座標を含む３Ｄ画像を生成する。２つの基準点が設定されるため、２つの３Ｄ画像が生成される。ユーザーが基準線を指定するために必要な部分のみが拡大され、かつその部分が表示部５に表示される。そのため、ユーザーは、基準線が被写体のエッジ上に設定されているか否かを効率的に確認することができる。
【０１００】
視野内に障害物が存在する場合に表示部５に表示される３Ｄ画像について説明する。図１０は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄが表示部５に表示される。３Ｄ画像Ｇ１１ｄは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。被写体ＯＢ１１の欠けが凹部ＯＢ１１ａとして３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄに写っている。文字ＣＨ１１、第１の基準点Ｐ１１ｄ、第２の基準点Ｐ１２ｄ、および基準線Ｌ１１ｄが３Ｄ画像Ｇ１１ｄ上に表示される。
【０１０１】
３Ｄ画像Ｇ１２ｄは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｄが３Ｄ画像Ｇ１２ｄ上に表示される。基準線Ｌ１２ｄは、視点Ａから方向Ａに見た基準線を示す。被写体ＯＢ１１の表面に平行な方向に近い方向に見た被写体ＯＢ１１のエッジが３Ｄ画像Ｇ１２ｄに映っている。３Ｄ画像Ｇ１２ｄにおいて、被写体ＯＢ１１の手前に被写体ＯＢ１２がある。そのため、３Ｄ画像Ｇ１２ｄにおいて、被写体ＯＢ１１の一部は被写体ＯＢ１２に隠れている。ユーザーは、基準線Ｌ１２ｄの一部が被写体ＯＢ１１のエッジ上に設定されているか否かを確認することができない。
【０１０２】
画像生成部１８６は、少なくとも３つの点の３次元座標に基づいて、第３の画像を生成してもよい。第３の画像は、第２の視点から第２の方向に見た被写体の３次元画像である。少なくとも３つの点の各々は被写体上の複数の点の１つである。少なくとも３つの点は、基準線を通り直線軸に垂直な平面上にある。例えば、画像生成部１８６は、基準線を含むＸ’−Ｚ’平面の３Ｄ画像を生成する。具体的には、画像生成部１８６は、Ｘ’−Ｚ’平面上の３次元座標を被写体の表面上の全ての３次元座標から抽出する。画像生成部１８６は、抽出された３次元座標の各々を点として表示するための３Ｄ画像を表示する。この３Ｄ画像は、Ｘ’−Ｚ’平面を通る被写体の断面図である。Ｘ’軸は、基準線と一致する。Ｙ’軸は直線軸である。Ｘ’−Ｚ’平面は、基準線を通り、かつ直線軸に垂直である。
【０１０３】
図１１は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄ１が表示部５に表示される。３Ｄ画像Ｇ１１ｄは、図１０に示す３Ｄ画像Ｇ１１ｄと同じである。３Ｄ画像Ｇ１２ｄ１は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。Ｘ’−Ｚ’平面上の被写体ＯＢ１１の断面が３Ｄ画像Ｇ１２ｄ１上に表示される。基準線Ｌ１２ｄが３Ｄ画像Ｇ１２ｄ１上に表示される。被写体ＯＢ１２はＸ’−Ｚ’平面上にない。そのため、被写体ＯＢ１２は３Ｄ画像Ｇ１２ｄ１に映っていない。ユーザーは、基準線Ｌ１２ｄが被写体ＯＢ１１のエッジ上に設定されているか否かを確認することができる。
【０１０４】
ユーザーが注目する領域以外の部分はユーザーには見えなくなる。そのため、その部分がユーザーによる確認作業を妨げない。
【０１０５】
第３の画像を生成するための少なくとも３つの点は、基準線を通り直線軸に垂直な平面よりも第２の方向側にあってもよい。例えば、画像生成部１８６は、基準線から奥側の領域を含み、かつ基準線から手前側の領域を含まない３Ｄ画像を生成する。具体的には、画像生成部１８６は、Ｘ’−Ｚ’平面よりもＹ’軸の正の方向側にある３次元座標を被写体の表面上の全ての３次元座標から抽出する。画像生成部１８６は、抽出された３次元座標の各々を点として表示するための３Ｄ画像を表示する。Ｘ’軸は、基準線と一致する。Ｙ’軸は直線軸である。Ｘ’−Ｚ’平面は、基準線を通り、かつ直線軸に垂直である。Ｙ’軸の正の方向は、第２の方向である。
【０１０６】
図１２は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄ２が表示部５に表示される。３Ｄ画像Ｇ１１ｄは、図１０に示す３Ｄ画像Ｇ１１ｄと同じである。３Ｄ画像Ｇ１２ｄ２は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。Ｘ’−Ｚ’平面よりも奥側の被写体ＯＢ１１が３Ｄ画像Ｇ１２ｄ２上に表示される。基準線Ｌ１２ｄが３Ｄ画像Ｇ１２ｄ２上に表示される。被写体ＯＢ１２はＸ’−Ｚ’平面上にない。そのため、被写体ＯＢ１２は３Ｄ画像Ｇ１２ｄ２に映っていない。ユーザーは、基準線Ｌ１２ｄが被写体ＯＢ１１のエッジ上に設定されているか否かを確認することができる。
【０１０７】
ユーザーが注目する領域以外の部分はユーザーには見えなくなる。そのため、その部分がユーザーによる確認作業を妨げない。
【０１０８】
第３の画像を生成するための少なくとも３つの点は、第１の平面と第２の平面とに挟まれた領域にあってもよい。第１の平面は、基準線を通り直線軸に垂直である。第２の平面は、直線軸に垂直であり、かつ第１の平面よりも第２の方向側にある。例えば、画像生成部１８６は、基準線から奥側の所定範囲の領域を含み、かつ基準線から手前側の領域を含まない３Ｄ画像を生成する。具体的には、第１の平面はＸ’−Ｚ’平面である。第２の平面は、Ｘ’−Ｚ’平面からＹ’軸の正の方向側に所定の距離だけ離れている。画像生成部１８６は、これらの２つの平面に挟まれた領域にある３次元座標を被写体の表面上の全ての３次元座標から抽出する。画像生成部１８６は、抽出された３次元座標の各々を点として表示するための３Ｄ画像を表示する。Ｘ’軸は、基準線と一致する。Ｙ’軸は直線軸である。Ｘ’−Ｚ’平面は、基準線を通り、かつ直線軸に垂直である。Ｙ’軸の正の方向は、第２の方向である。
【０１０９】
ユーザーが注目する領域以外の部分はユーザーには見えなくなる。そのため、その部分がユーザーによる確認作業を妨げない。ユーザーが注目している領域の近傍のみがユーザーには見えるため、ユーザーは基準線が被写体のエッジ上に設定されているか否かを確認しやすい。
【０１１０】
ステップＳ１０８において３Ｄ画像が表示された後、画像生成部１８６は、視点Ａの位置をわずかに変更してもよく、変更された視点Ａから方向Ａに見た被写体の３Ｄ画像を生成してもよい。表示制御部１８１は、その３Ｄ画像を表示部５に表示してもよい。これにより、ユーザーは、視点を変更するための操作を行うことなく、複数の視点から見た被写体の画像に基づいて、基準線が被写体のエッジ上に設定されているか否かを確認することができる。視点の位置は、複数回、順次変更されてもよい。
【０１１１】
表示制御部１８１は、ステップＳ１０８において、第３の画像の少なくとも一部が第２の画像と重なるように第３の画像を表示部５に表示してもよい。第３の画像は、第２の視点から第２の方向に見た被写体の３次元画像である。第２の画像は、第１の視点から第１の方向に見た被写体の画像である。
【０１１２】
図１３は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ａ１および３Ｄ画像Ｇ１２ａ１が表示部５に表示される。第１の基準点Ｐ１１ａ１、第２の基準点Ｐ１２ａ１、および基準線Ｌ１１ａ１が３Ｄ画像Ｇ１１ａ１上に表示される。３Ｄ画像Ｇ１２ａ１が３Ｄ画像Ｇ１１ａ１上に表示される。３Ｄ画像Ｇ１２ａ１は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１１ａ１が３Ｄ画像Ｇ１２ａ１上に表示される。表示制御部１８１は、３Ｄ画像Ｇ１２ａ１が３Ｄ画像Ｇ１１ａ１上の各点および各線のいずれとも重ならないように３Ｄ画像Ｇ１２ａ１を表示部５に表示する。
【０１１３】
３Ｄ画像Ｇ１１ａ１が表示される領域は、図７に示す３Ｄ画像Ｇ１１ａが表示される領域よりも大きい。３Ｄ画像Ｇ１２ａ１が表示される領域は、図７に示す３Ｄ画像Ｇ１２が表示される領域よりも大きい。表示部５の画面が小さい場合であっても、３Ｄ画像Ｇ１２ａ１の表示に必要な領域が確保される。そのため、表示制御部１８１は、表示部５の画面を有効に使用することができる。表示制御部１８１は、拡大された３Ｄ画像Ｇ１２ａ１を表示してもよい。ユーザーは、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを容易に判断することができる。つまり、ユーザーは、２つの基準点の位置が妥当であるか否かを容易に確認することができる。
【０１１４】
図１３に示す例では、３Ｄ画像Ｇ１２ａ１が３Ｄ画像Ｇ１１ａ１上に表示される。３Ｄ画像Ｇ１１ａ１が３Ｄ画像Ｇ１２ａ１上に表示されてもよい。その場合、３Ｄ画像Ｇ１１ａ１の一部のみが３Ｄ画像Ｇ１２ａ１と重なってもよい。
【０１１５】
操作部４が計測点の入力を受け付けたとき、表示制御部１８１は、視点Ａから方向Ａに見た被写体の３Ｄ画像を非表示にしてもよい。ユーザーが基準点を確認する必要がないときに３Ｄ画像は表示されない。そのため、ユーザーが操作または確認に迷うことがなくなる。
【０１１６】
（第１の実施形態の第１の変形例）
本発明の第１の実施形態の第１の変形例において、２つの基準点および１つの計測点は２Ｄ画像に設定される。
【０１１７】
図１４を使用して、第１の実施形態の第１の変形例における３次元計測について説明する。図１４は、３次元計測の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０１１８】
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する。表示制御部１８１は、２Ｄ画像を表示部５に表示する（ステップＳ１２１）。ステップＳ１２１は、画像取得ステップに対応する。
【０１１９】
ステップＳ１２１の後、ステップＳ１０２が実行される。ステップＳ１０２の後、ステップＳ１０４が実行される。点設定部１８２は、ステップＳ１０４において、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断する。点設定部１８２は、表示部５に表示された２Ｄ画像において、ユーザーによって指定された位置に第１の基準点を設定する。表示制御部１８１は、第１の基準点を、表示部５に表示された２Ｄ画像上に表示する。
【０１２０】
点設定部１８２は、ステップＳ１０５において、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断する。点設定部１８２は、表示部５に表示された２Ｄ画像において、ユーザーによって指定された位置に第２の基準点を設定する。表示制御部１８１は、第２の基準点を、表示部５に表示された２Ｄ画像上に表示する。
【０１２１】
基準図形算出部１８４は、ステップＳ１０６において、第１の基準点および第２の基準点の各々の３次元座標を通る基準線を算出する。表示制御部１８１は、基準線を、表示部５に表示された２Ｄ画像上に表示する。
【０１２２】
点設定部１８２は、ステップＳ１０９において、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断する。点設定部１８２は、表示部５に表示された２Ｄ画像において、ユーザーによって指定された位置に計測点を設定する。表示制御部１８１は、計測点を、表示部５に表示された２Ｄ画像上に表示する。
【０１２３】
ステップＳ１０４からステップＳ１０６のいずれか１つが実行された後、ステップＳ１０２が実行されてもよい。ステップＳ１０６が実行された後にステップＳ１０２が実行される場合、少なくとも２つの基準点の各々に対応する３次元座標がステップＳ１０６において算出される必要がある。
【０１２４】
（第１の実施形態の第２の変形例）
本発明の第１の実施形態の第２の変形例において、内視鏡装置１は、基準点を修正する機能を有する。操作部４は、修正された少なくとも１つの基準点の入力を受け付ける。以前に設定された２つの基準点の少なくとも１つは、修正された基準点によって置き換えられる。基準図形算出部１８４は、修正された少なくとも１つの基準点を含む２つの基準点の３次元座標に基づいて、基準線を算出する。
【０１２５】
図１５および図１６を使用して、第１の実施形態の第２の変形例における３次元計測について説明する。図１５および図１６は、３次元計測の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０１２６】
ステップＳ１０８の後、制御部１８０は、ステップＳ１０４において設定された第１の基準点が修正されたか否かを判断する（ステップＳ１３１）。例えば、表示部５はタッチパネルである。ユーザーは、ドラッグ操作により第１の基準点を３Ｄ画像上で移動させることができる。ユーザーが第１の基準点を移動させた場合、制御部１８０は、第１の基準点が修正されたと判断する。ユーザーが第１の基準点を移動させていない場合、制御部１８０は、第１の基準点が修正されていないと判断する。基準点の修正を開始するためのメニューが表示部５に表示されてもよい。ユーザーがメニューから基準点の修正を選択し、かつ第１の基準点を３Ｄ画像上で修正したとき、制御部１８０は、第１の基準点が修正されたと判断する。
【０１２７】
ステップＳ１３１において第１の基準点が修正されたと制御部１８０が判断した場合、点設定部１８２は、第１の基準点の移動が終了した位置を判断し、かつその位置に新たな第１の基準点を設定する。このとき、以前に設定された第１の基準点はキャンセルされる。表示制御部１８１は、第１の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１３２）。ステップＳ１３２の後、ステップＳ１０６が実行される。
【０１２８】
ステップＳ１３１において第１の基準点が修正されていないと制御部１８０が判断した場合、制御部１８０は、ステップＳ１０５において設定された第２の基準点が修正されたか否かを判断する（ステップＳ１３３）。ステップＳ１３３における判断の方法は、ステップＳ１３１における判断の方法と同じである。
【０１２９】
ステップＳ１３３において第２の基準点が修正されたと制御部１８０が判断した場合、点設定部１８２は、第２の基準点の移動が終了した位置を判断し、かつその位置に新たな第２の基準点を設定する。このとき、以前に設定された第２の基準点はキャンセルされる。表示制御部１８１は、第２の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１３４）。ステップＳ１３４の後、ステップＳ１０６が実行される。
【０１３０】
ステップＳ１３３において第２の基準点が修正されていないと制御部１８０が判断した場合、制御部１８０は、基準点の修正が終了したか否かを判断する（ステップＳ１３５）。例えば、表示部５はタッチパネルであり、かつ基準点の修正を終了するためのボタンが表示部５に表示される。ユーザーがそのボタンをタッチした場合、制御部１８０は、基準点の修正が終了したと判断する。ユーザーがそのボタンをタッチしていない場合、制御部１８０は、基準点の修正が終了していないと判断する。
【０１３１】
ステップＳ１３５において基準点の修正が終了したと制御部１８０が判断した場合、ステップＳ１０９が実行される。ステップＳ１３５において基準点の修正が終了していないと制御部１８０が判断した場合、ステップＳ１３１が実行される。
【０１３２】
図１７は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂおよび３Ｄ画像Ｇ１２ｂが表示部５に表示される。３Ｄ画像Ｇ１１ｂは、図８に示す３Ｄ画像Ｇ１１ｂと同じである。３Ｄ画像Ｇ１２ｂは、図８に示す３Ｄ画像Ｇ１２ｂと同じである。第１の基準点Ｐ１１ｂは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂは被写体ＯＢ１１上にない位置に設定される。
【０１３３】
基準線Ｌ１２ｂが３Ｄ画像Ｇ１２ｂ上に表示される。図１７に示す例では、基準線Ｌ１２ｂは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。ユーザーは、３Ｄ画像Ｇ１１ｂ上の２つの基準点の少なくとも１つを修正することができる。図１７に示す例では、ユーザーは、第２の基準点Ｐ１２ｂを修正すると判断する。
【０１３４】
図１８は、第２の基準点Ｐ１２ｂが修正された後にステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂ１および３Ｄ画像Ｇ１２ｂ１が表示部５に表示される。図１７に示す第２の基準点Ｐ１２ｂの代わりに、第２の基準点Ｐ１２ｂ１が３Ｄ画像Ｇ１１ｂ１上の被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂが修正された後、ステップＳ１０６において、第１の基準点Ｐ１１ｂと、修正された第２の基準点Ｐ１２ｂ１とに基づいて基準線が算出される。図１７に示す基準線Ｌ１１ｂの代わりに、基準線Ｌ１１ｂ１が３Ｄ画像Ｇ１１ｂ１上に表示される。
【０１３５】
基準線が算出された後、ステップＳ１０７において視点Ａおよび方向Ａが算出される。ステップＳ１０８において視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像Ｇ１２ｂ１が表示部５に表示される。基準線Ｌ１２ｂ１が３Ｄ画像Ｇ１２ｂ１上に表示される。図１８に示す例では、基準線Ｌ１２ｂ１は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。図１７に示すイラストＩＴ１１ｂの代わりに、イラストＩＴ１１ｂ１が３Ｄ画像Ｇ１１ｂ１上に表示される。
【０１３６】
ユーザーは、ボタンＢＴ１１をタッチすることにより、基準点の修正の終了を内視鏡装置１に通知する。ボタンＢＴ１１がタッチされた場合、制御部１８０は、ステップＳ１３５において基準点の修正が終了したと判断する。制御部１８０は、基準点の修正が終了したことを他の方法で判断してもよい。例えば、ユーザーが基準点以外の位置をタッチした場合、制御部１８０は、基準点の修正が終了し、ユーザーが計測点の設定を指示したと判断してもよい。その場合、点設定部１８２は、ユーザーがタッチした位置に計測点を設定してもよい。
【０１３７】
第１の実施形態の第２の変形例において、内視鏡装置１は、２つの基準点の少なくとも１つを修正することができる。基準点の位置が、ユーザーが意図した位置と異なる場合、ユーザーは、基準点の修正を内視鏡装置１に容易に指示することができる。ユーザーは、視点Ａから方向Ａに見た被写体の３Ｄ画像に基づいて基準点の位置を検討することができる。そのため、内視鏡装置１は、基準点の妥当性の判断を容易化することができる。
【０１３８】
（第１の実施形態の第３の変形例）
本発明の第１の実施形態の第３の変形例において、内視鏡装置１は、基準点を修正する機能を有する。ユーザーは、視点Ａから方向Ａに見た被写体の３Ｄ画像上で基準点を修正することができる。
【０１３９】
第１の実施形態の第３の変形例における３次元計測について説明する。第１の実施形態の第２の変形例における処理と異なる処理について説明する。
【０１４０】
画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成する。画像生成部１８６は、基準線、第１の基準点、および第２の基準点を３Ｄ画像に重畳する。表示制御部１８１は、基準線、第１の基準点、および第２の基準点が重畳された３Ｄ画像を表示部５に表示する。
【０１４１】
ユーザーは、第１の３Ｄ画像上の２つの基準点を移動させることができる。第１の３Ｄ画像は、初期視点から初期方向に見た被写体の３Ｄ画像である。また、ユーザーは、第２の３Ｄ画像上の２つの基準点を移動させることができる。第２の３Ｄ画像は、視点Ａから方向Ａに見た被写体の３Ｄ画像である。
【０１４２】
制御部１８０は、２枚の３Ｄ画像のうちの１つにおける第１の基準点が修正されたか否かを判断する。第１の３Ｄ画像上の第１の基準点が修正された場合、第１の実施形態の第２の変形例における処理と同様の処理が実行され、かつ第１の基準点が修正される。
【０１４３】
第２の３Ｄ画像上の第１の基準点が修正された場合、点設定部１８２は、第１の基準点の移動が終了した位置を判断し、かつその位置に新たな第１の基準点を設定する。このとき、以前に設定された第１の基準点はキャンセルされる。第１の３Ｄ画像および第２の３Ｄ画像の各々に新たな第１の基準点が設定される。新たな第１の基準点の３次元座標は、座標算出部１８３によって算出された３次元座標の１つである。表示制御部１８１は、新たな第１の基準点を第２の３Ｄ画像上に表示する。また、表示制御部１８１は、新たな第１の基準点を第１の３Ｄ画像上に表示する。
【０１４４】
制御部１８０は、２つの３Ｄ画像のうちの１つにおける第２の基準点が修正されたか否かを判断する。第１の３Ｄ画像上の第２の基準点が修正された場合、第１の実施形態の第２の変形例における処理と同様の処理が実行され、かつ第２の基準点が修正される。第２の３Ｄ画像上の第２の基準点が修正された場合、第１の基準点の修正のための処理と同様の処理が実行される。
【０１４５】
図１９は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂおよび３Ｄ画像Ｇ１２ｂ２が表示部５に表示される。３Ｄ画像Ｇ１１ｂは、図８に示す３Ｄ画像Ｇ１１ｂと同じである。第１の基準点Ｐ１１ｂは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂは被写体ＯＢ１１上にない位置に設定される。
【０１４６】
３Ｄ画像Ｇ１２ｂ２は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。第１の基準点Ｐ１１ｂ２、第２の基準点Ｐ１２ｂ２、および基準線Ｌ１２ｂ２が３Ｄ画像Ｇ１２ｂ２上に表示される。図１９に示す例では、基準線Ｌ１２ｂ２は被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。ユーザーは、３Ｄ画像Ｇ１２ｂ２上の２つの基準点の少なくとも１つを修正することができる。図１９に示す例では、ユーザーは、第２の基準点Ｐ１２ｂ２を修正すると判断する。
【０１４７】
図２０は、第２の基準点Ｐ１２ｂ２が修正された後に表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂ３および３Ｄ画像Ｇ１２ｂ３が表示部５に表示される。図１９に示す第２の基準点Ｐ１２ｂ２の代わりに、第２の基準点Ｐ１２ｂ３が３Ｄ画像Ｇ１２ｂ３上の被写体ＯＢ１１のエッジ上に設定される。図１９に示す第２の基準点Ｐ１２ｂの代わりに、第２の基準点Ｐ１２ｂ４が３Ｄ画像Ｇ１１ｂ３上に表示される。第２の基準点Ｐ１２ｂ２が修正された後、第１の基準点Ｐ１１ｂと、修正された第２の基準点Ｐ１２ｂ４とに基づいて基準線が算出される。図１９に示す基準線Ｌ１１ｂの代わりに、基準線Ｌ１１ｂ３が３Ｄ画像Ｇ１１ｂ３上に表示される。
【０１４８】
３Ｄ画像Ｇ１２ｂ３は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。第１の基準点Ｐ１１ｂ２、第２の基準点Ｐ１２ｂ３、および基準線Ｌ１２ｂ３が３Ｄ画像Ｇ１２ｂ３上に表示される。図２０に示す例では、基準線Ｌ１２ｂ３は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。図１９に示すイラストＩＴ１１ｂの代わりに、イラストＩＴ１１ｂ２が３Ｄ画像Ｇ１１ｂ３上に表示される。
【０１４９】
（第２の実施形態）
本発明の第２の実施形態を説明する。第２の実施形態において、基準図形は直線（基準線）である。視点算出部１８５は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。近似平面は、被写体の表面を近似する平面である。少なくとも３つの点の各々は被写体上の複数の点の１つである。少なくとも３つの点の各々は、基準図形の近傍にあり、または基準図形上にある。第２の視点および第２の方向を規定する直線軸は、近似平面に平行である。
【０１５０】
２つの基準点の位置の確認のための２つの３次元画像が表示部５に表示される。１つの３次元画像は、第２の視点から第２の方向に見た被写体の第３の画像である。視点算出部１８５はさらに、基準図形に基づいて、第３の方向および第３の視点を算出する。第３の方向は、第１の方向および第２の方向のいずれとも異なる。第３の方向は、第２の方向に垂直である。第３の視点は、第１の視点および第２の視点のいずれとも異なる。画像生成部１８６はさらに、複数の点の３次元座標に基づいて、第４の画像を生成する。第４の画像は、第３の視点から第３の方向に見た被写体の３次元画像である。表示制御部１８１はさらに、基準図形の位置を示す情報が重畳された第４の画像を表示部５に表示する。
【０１５１】
第２の方向および第２の視点は、第１の直線軸に基づいて設定される。第１の直線軸は、近似平面に平行であり、かつ基準図形に垂直である。第３の方向および第３の視点は、第２の直線軸に基づいて設定される。第２の直線軸は、上記の近似平面に垂直である。
【０１５２】
第２の視点および第２の方向を規定する第１の直線軸は、上記の近似平面に垂直であってもよい。第３の視点および第３の方向を規定する第２の直線軸は、近似平面に平行であってもよい。
【０１５３】
図２１を使用して、第２の実施形態における３次元計測について説明する。図２１は、３次元計測の手順を示す。図４に示す処理と同じ処理の説明を省略する。
【０１５４】
ステップＳ１０６の後、視点算出部１８５は、基準線に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ１０７ａ）。ステップＳ１０７ａは、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１０７ａにおいて、以下の方法で視点Ａおよび方向Ａを算出する。
【０１５５】
視点算出部１８５は、基準線が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、基準線と一致する。視点算出部１８５は、基準線の周辺の少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。例えば、視点算出部１８５は、最小二乗法を使用することにより、近似平面を算出する。例えば、視点算出部１８５は、基準線から所定距離以内にある少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。少なくとも３つの点は、基準線の近傍にある。少なくとも３つの点は、２つの基準点の少なくとも１つを含んでもよい。少なくとも３つの点は、２つの基準点を含まなくてもよい。少なくとも３つの点が少なくとも１つの基準点を含む場合、少なくとも３つの点は、基準線上の点を含む。視点算出部１８５は、近似平面に平行であってＸ’軸に垂直な方向に伸びるＹ’軸（第１の直線軸）を設定する。
【０１５６】
視点算出部１８５は、被写体の３次元座標のデータ数が少ない第１の領域から被写体の３次元座標のデータ数が多い第２の領域へ進む方向をＹ’軸の正の方向に設定する。第１の領域および第２の領域は、Ｙ’軸の周辺に設定される。視点算出部１８５は、Ｘ’軸およびＹ’軸の各々に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。
【０１５７】
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体を方向Ａに見たときに被写体が視野に入るような視点Ａを算出する。具体的には、視点算出部１８５は、視点Ａから方向Ａに進む視線が通る位置を算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の基準点のＸ’座標と第２の基準点のＸ’座標との平均である。視点ＡのＹ’座標は、被写体の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の基準点および第２の基準点が視野に入る位置であってもよい。
【０１５８】
方向Ａは、上記の近似平面に平行でなくてもよい。方向Ａは、近似平面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ａは、近似平面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。
【０１５９】
ステップＳ１０７ａの後、視点算出部１８５は、基準線に基づいて視点Ｂ（第３の視点）および方向Ｂ（第３の方向）を算出する（ステップＳ１４１）。ステップＳ１４１は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１４１において、以下の方法で視点Ｂおよび方向Ｂを算出する。
【０１６０】
視点算出部１８５は、方向ＢをＺ’軸（第２の直線軸）の正の方向に設定する。方向Ｂは、方向Ａに垂直である。視点算出部１８５は、Ｚ’軸上に視点Ｂを設定する。例えば、視点算出部１８５は、３Ｄ画像の拡大倍率に基づいて視点ＢのＺ’座標を設定する。
【０１６１】
ステップＳ１４１の後、ステップＳ１０８が実行される。ステップＳ１０８の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ｂから方向Ｂに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１４２）。ステップＳ１４２において表示された３Ｄ画像（第４の画像）は、視点Ｂから方向Ｂに見た被写体の状態を示す。ステップＳ１４２は、画像生成ステップおよび第２の表示ステップに対応する。ステップＳ１４２の後、ステップＳ１０９が実行される。
【０１６２】
図２２は、ステップＳ１４２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｅ、３Ｄ画像Ｇ１２ｅ、および３Ｄ画像Ｇ１３が表示部５に表示される。表示制御部１８１は、ステップＳ１４２において、３Ｄ画像Ｇ１３が３Ｄ画像Ｇ１１ｅおよび３Ｄ画像Ｇ１２ｅのいずれとも重ならないように３Ｄ画像Ｇ１３を表示部５に表示する。３Ｄ画像Ｇ１１ｅは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｅ、第２の基準点Ｐ１２ｅ、基準線Ｌ１１ｅ、イラストＩＴ１１ｅ、およびイラストＩＴ１２が３Ｄ画像Ｇ１１ｅ上に表示される。
【０１６３】
図２２において、被写体ＯＢ１１の表面が傾いている状態が示されている。３Ｄ画像Ｇ１１ｅにおいて被写体ＯＢ１１の上側の部分は、被写体ＯＢ１１の下側の部分と比較して、視野の奥側に向かって傾いている。
【０１６４】
３Ｄ画像Ｇ１２ｅは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｅが３Ｄ画像Ｇ１２ｅ上に表示される。基準線Ｌ１２ｅは、視点Ａから方向Ａに見た基準線を示す。被写体ＯＢ１１の表面に平行な方向に見た被写体ＯＢ１１のエッジが３Ｄ画像Ｇ１２ｅに映っている。
【０１６５】
３Ｄ画像Ｇ１３は、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１４が３Ｄ画像Ｇ１３上に表示される。基準線Ｌ１４は、視点Ｂから方向Ｂに見た基準線を示す。被写体ＯＢ１１の表面に垂直な方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１３に映っている。
【０１６６】
ユーザーは、３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの視点から見た被写体の２枚の画像に基づいて、２つの基準点の位置が妥当であるか否かを確認することができる。図２２に示す例では、基準線Ｌ１２ｅおよび基準線Ｌ１４は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
【０１６７】
表示制御部１８１は、ステップＳ１４２において、挿入部２の先端２０のイラストＩＴ１２を表示部５に表示する。ステップＳ１４２は、第３の表示ステップに対応する。イラストＩＴ１２は３Ｄ画像Ｇ１１ｅ上に表示される。イラストＩＴ１２は、視点Ｂに配置され方向Ｂを向く挿入部２の先端２０を示す。イラストＩＴ１２が表示されるため、ユーザーは視点Ｂおよび方向Ｂを確認することができる。
【０１６８】
３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ｅを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ｅのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ｅ、３Ｄ画像Ｇ１２ｅ、および３Ｄ画像Ｇ１３を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ１３の少なくとも一部が３Ｄ画像Ｇ１１ｅおよび３Ｄ画像Ｇ１２ｅの少なくとも１つと重なるように３Ｄ画像Ｇ１３を表示部５に表示してもよい。
【０１６９】
図２３は、ステップＳ１４２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｆ、３Ｄ画像Ｇ１２ｆ、および３Ｄ画像Ｇ１３ｆが表示部５に表示される。３Ｄ画像Ｇ１１ｆは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｆ、第２の基準点Ｐ１２ｆ、基準線Ｌ１１ｆ、イラストＩＴ１１ｆ、およびイラストＩＴ１２ｆが３Ｄ画像Ｇ１１ｆ上に表示される。第１の基準点Ｐ１１ｆは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｆは被写体ＯＢ１１上にない位置に設定される。
【０１７０】
３Ｄ画像Ｇ１２ｆは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｆが３Ｄ画像Ｇ１２ｆ上に表示される。３Ｄ画像Ｇ１３ｆは、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１４ｆが３Ｄ画像Ｇ１３ｆ上に表示される。図２３に示す例では、基準線Ｌ１２ｆは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
【０１７１】
実際には、３Ｄ画像Ｇ１３ｆにおいて基準線Ｌ１４ｆは被写体ＯＢ１１のエッジと一致しない。そのことがユーザーに分かりにくい。複数の視点から見た被写体の３Ｄ画像が表示されるため、２つの基準点の位置が妥当ではない状態をユーザーが見逃す可能性が減る。
【０１７２】
図２４は、ステップＳ１４２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｇ、３Ｄ画像Ｇ１２ｇ、および３Ｄ画像Ｇ１３ｇが表示部５に表示される。３Ｄ画像Ｇ１１ｇは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｇ、第２の基準点Ｐ１２ｇ、基準線Ｌ１１ｇ、イラストＩＴ１１ｇ、およびイラストＩＴ１２ｇが３Ｄ画像Ｇ１１ｇ上に表示される。第１の基準点Ｐ１１ｇは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｇは被写体ＯＢ１１のエッジの近傍に設定される。
【０１７３】
３Ｄ画像Ｇ１２ｇは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｇが３Ｄ画像Ｇ１２ｇ上に表示される。３Ｄ画像Ｇ１３ｇは、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１４ｇが３Ｄ画像Ｇ１３ｇ上に表示される。図２４に示す例では、基準線Ｌ１４ｇは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
【０１７４】
３Ｄ画像Ｇ１１ｇにおいて、被写体ＯＢ１１の表面が傾いているため、被写体ＯＢ１１のエッジと基準線Ｌ１１ｇとのずれの量が実際のずれの量よりも小さく見える。ユーザーがそのずれにユーザーに気づきにくい。被写体ＯＢ１１の表面に垂直な方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１３ｇに映っている。そのため、被写体ＯＢ１１のエッジと基準線Ｌ１４ｇとのずれがユーザーに分かりやすい。
【０１７５】
ステップＳ１０７ａが実行される前にステップＳ１４１が実行されてもよい。ステップＳ１０８が実行される前にステップＳ１４２が実行されてもよい。ステップＳ１０７ａが実行される前にステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１０８が実行された後にステップＳ１４１が実行されてもよい。
【０１７６】
ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１４１が実行されてもよい。ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１４２が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行された後にステップＳ１４２が実行される場合、ユーザーは、計測に使用された２つの基準点の位置が妥当であるか否かを確認することができる。
【０１７７】
視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とのいずれか１つのみが表示部５に表示されてもよい。
【０１７８】
ステップＳ１０７ａは、図４に示すステップＳ１０７に変更されてもよい。つまり、視点算出部１８５は、第１の実施形態において説明した方法と同じ方法でＸ’軸、Ｙ’軸、およびＺ’軸を設定してもよい。視点算出部１８５は、第１の実施形態と同様に方向ＡをＹ’軸の正の方向に設定し、かつ第１の実施形態と同様にＹ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ１４１において、方向ＢをＺ’軸の正の方向に設定し、かつＺ’軸上に視点Ｂを設定してもよい。
【０１７９】
第２の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０１８０】
表示制御部１８１は、被写体の表面を近似する平面に平行な方向Ａに見た被写体の３Ｄ画像を表示部５に表示する。また、表示制御部１８１は、被写体の表面を近似する平面に垂直な方向Ｂに見た被写体の３Ｄ画像を表示部５に表示する。ユーザーは、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを容易に判断することができる。つまり、ユーザーは、２つの基準点の位置が妥当であるか否かを容易に確認することができる。
【０１８１】
（第３の実施形態）
本発明の第３の実施形態を説明する。２つの基準点の位置の確認のための２つの３次元画像が表示部５に表示される。１つの３次元画像は、第２の視点から第２の方向に見た被写体の第３の画像である。他の３次元画像は、第３の視点から第３の方向に見た被写体の第４の画像である。
【０１８２】
第３の実施形態において、基準図形は直線（基準線）である。第２の方向および第２の視点は、第１の直線軸に基づいて設定される。第３の方向および第３の視点は、第２の直線軸に基づいて設定される。第１の直線軸は、被写体の表面を近似する近似平面に平行であり、かつ基準図形に垂直である。第２の直線軸は、近似平面に平行であり、かつ基準図形に平行である。
【０１８３】
第１の直線軸は、上記の近似平面に平行であり、かつ基準図形に平行であってもよい。第２の直線軸は、近似平面に平行であり、かつ基準図形に垂直であってもよい。
【０１８４】
図２５を使用して、第３の実施形態における３次元計測について説明する。図２５は、３次元計測の手順を示す。図２１に示す処理と同じ処理の説明を省略する。
【０１８５】
ステップＳ１０７ａの後、視点算出部１８５は、基準線に基づいて視点Ｃ（第３の視点）および方向Ｃ（第３の方向）を算出する（ステップＳ１５１）。ステップＳ１５１は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１５１において、以下の方法で視点Ｃおよび方向Ｃを算出する。
【０１８６】
ステップＳ１０７ａにおいて、Ｘ’軸（第２の直線軸）、Ｙ’軸、およびＺ’軸が設定される。視点算出部１８５は、方向ＣをＸ’軸の正の方向に設定する。方向Ｃは、方向Ａに垂直である。視点算出部１８５は、Ｘ’軸上に視点Ｃを設定する。例えば、視点算出部１８５は、３Ｄ画像の拡大倍率に基づいて視点ＣのＸ’座標を設定する。
【０１８７】
ステップＳ１５１の後、ステップＳ１０８が実行される。ステップＳ１０８の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ｃから方向Ｃに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１５２）。ステップＳ１５２において表示された３Ｄ画像（第４の画像）は、視点Ｃから方向Ｃに見た被写体の状態を示す。ステップＳ１５２は、画像生成ステップおよび第２の表示ステップに対応する。ステップＳ１５２の後、ステップＳ１０９が実行される。
【０１８８】
図２６は、ステップＳ１５２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｈ、３Ｄ画像Ｇ１２ｈ、および３Ｄ画像Ｇ１４が表示部５に表示される。表示制御部１８１は、ステップＳ１５２において、３Ｄ画像Ｇ１４が３Ｄ画像Ｇ１１ｈおよび３Ｄ画像Ｇ１２ｈのいずれとも重ならないように３Ｄ画像Ｇ１４を表示部５に表示する。
【０１８９】
３Ｄ画像Ｇ１１ｈは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｈ、第２の基準点Ｐ１２ｈ、基準線Ｌ１１ｈ、およびイラストＩＴ１１ｈが３Ｄ画像Ｇ１１ｈ上に表示される。３Ｄ画像Ｇ１２ｈは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｈが３Ｄ画像Ｇ１２ｈ上に表示される。３Ｄ画像Ｇ１４は、視点Ｃから方向Ｃに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１５が３Ｄ画像Ｇ１４上に表示される。基準線Ｌ１５は、視点Ｃから方向Ｃに見た基準線を示す。基準線が伸びる方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１４に映っている。基準線Ｌ１５が被写体ＯＢ１１のエッジと一致する場合、基準線Ｌ１５は点状である。
【０１９０】
ユーザーは、３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの視点から見た被写体の２枚の画像に基づいて、２つの基準点の位置が妥当であるか否かを確認することができる。図２６に示す例では、基準線Ｌ１２ｈおよび基準線Ｌ１５は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
【０１９１】
表示制御部１８１は、ステップＳ１５２において、挿入部２の先端２０のイラストＩＴ１３を表示部５に表示する。ステップＳ１５２は、第３の表示ステップに対応する。イラストＩＴ１３は、視点Ｃに配置され方向Ｃを向く挿入部２の先端２０を示す。イラストＩＴ１３が表示されるため、ユーザーは視点Ｃおよび方向Ｃを確認することができる。
【０１９２】
３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ｈを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ｈのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ｈ、３Ｄ画像Ｇ１２ｈ、および３Ｄ画像Ｇ１４を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ１４の少なくとも一部が３Ｄ画像Ｇ１１ｈおよび３Ｄ画像Ｇ１２ｈの少なくとも１つと重なるように３Ｄ画像Ｇ１４を表示部５に表示してもよい。
【０１９３】
図２７は、ステップＳ１５２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｉ、３Ｄ画像Ｇ１２ｉ、３Ｄ画像Ｇ１４ｉ、およびイラストＩＴ１３ｉが表示部５に表示される。３Ｄ画像Ｇ１１ｉは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｉ、第２の基準点Ｐ１２ｉ、基準線Ｌ１１ｉ、およびイラストＩＴ１１ｉが３Ｄ画像Ｇ１１ｉ上に表示される。第１の基準点Ｐ１１ｉは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｉは被写体ＯＢ１１上にない位置に設定される。
【０１９４】
３Ｄ画像Ｇ１２ｉは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｉが３Ｄ画像Ｇ１２ｉ上に表示される。３Ｄ画像Ｇ１４ｉは、視点Ｃから方向Ｃに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１５ｉが３Ｄ画像Ｇ１４ｉ上に表示される。図２７に示す例では、基準線Ｌ１２ｉは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。３Ｄ画像Ｇ１２ｉにおいて、被写体ＯＢ１１が基準線Ｌ１２ｉに対して傾いていることが示されている。このような場合、３Ｄ画像Ｇ１４ｉにおいて、被写体ＯＢ１１は上下に長くなる。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
【０１９５】
図２８は、ステップＳ１５２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｊ、３Ｄ画像Ｇ１２ｊ、３Ｄ画像Ｇ１４ｊ、およびイラストＩＴ１３ｊが表示部５に表示される。３Ｄ画像Ｇ１１ｊは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｊ、第２の基準点Ｐ１２ｊ、基準線Ｌ１１ｊ、およびイラストＩＴ１１ｊが３Ｄ画像Ｇ１１ｊ上に表示される。第１の基準点Ｐ１１ｊは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｊは被写体ＯＢ１１のエッジの近傍に設定される。
【０１９６】
３Ｄ画像Ｇ１２ｊは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｊが３Ｄ画像Ｇ１２ｊ上に表示される。３Ｄ画像Ｇ１４ｊは、視点Ｃから方向Ｃに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１５ｊが３Ｄ画像Ｇ１４ｉ上に表示される。基準線Ｌ１５ｊは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
【０１９７】
３Ｄ画像Ｇ１１ｊにおいて、被写体ＯＢ１１の表面が傾いているため、被写体ＯＢ１１のエッジと基準線Ｌ１１ｊとのずれの量が実際のずれの量よりも小さく見える。ユーザーがそのずれにユーザーに気づきにくい。基準線が伸びる方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１４ｊに映っている。基準線Ｌ１５ｊよりも左側に被写体ＯＢ１１が伸びている。そのため、ユーザーは、基準線Ｌ１５ｊが被写体ＯＢ１１のエッジと一致しないと判断することができる。
【０１９８】
ステップＳ１０７ａが実行される前にステップＳ１５１が実行されてもよい。ステップＳ１０８が実行される前にステップＳ１５２が実行されてもよい。ステップＳ１０７ａが実行される前にステップＳ１５１およびステップＳ１５２が実行されてもよい。ステップＳ１０８が実行された後にステップＳ１５１が実行されてもよい。
【０１９９】
ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１５１が実行されてもよい。ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１５２が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行された後にステップＳ１５２が実行される場合、ユーザーは、計測に使用された２つの基準点の位置が妥当であるか否かを確認することができる。
【０２００】
視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｃから方向Ｃに見た被写体の３Ｄ画像とのいずれか１つのみが表示部５に表示されてもよい。
【０２０１】
ステップＳ１０７ａは、図４に示すステップＳ１０７に変更されてもよい。つまり、視点算出部１８５は、第１の実施形態において説明した方法と同じ方法でＸ’軸、Ｙ’軸、およびＺ’軸を設定してもよい。視点算出部１８５は、第１の実施形態と同様に方向ＡをＹ’軸の正の方向に設定し、かつ第１の実施形態と同様にＹ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ１５１において、方向ＣをＸ’軸の正の方向に設定し、かつＸ’軸上に視点Ｃを設定してもよい。
【０２０２】
第３の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｃから方向Ｃに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０２０３】
（第３の実施形態の変形例）
本発明の第３の実施形態の変形例において、３つの視点の各々から見た被写体の３Ｄ画像が表示部５に表示される。
【０２０４】
視点算出部１８５は、基準線に基づいて視点Ａおよび方向Ａを算出する。視点Ａおよび方向Ａの算出方法は、第２の実施形態において説明した方法と同じである。画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。
【０２０５】
視点算出部１８５は、基準線に基づいて視点Ｂおよび方向Ｂを算出する。視点Ｂおよび方向Ｂの算出方法は、第２の実施形態において説明した方法と同じである。画像生成部１８６は、視点Ｂから方向Ｂに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。
【０２０６】
視点算出部１８５は、基準線に基づいて視点Ｃおよび方向Ｃを算出する。視点Ｃおよび方向Ｃの算出方法は、第３の実施形態において説明した方法と同じである。画像生成部１８６は、視点Ｃから方向Ｃに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。
【０２０７】
図２９は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｋ、３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、３Ｄ画像Ｇ１４、およびイラストＩＴ１３が表示部５に表示される。３Ｄ画像Ｇ１１ｋは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。第１の基準点Ｐ１１ｈ、第２の基準点Ｐ１２ｈ、基準線Ｌ１１ｈ、イラストＩＴ１１ｈ、およびイラストＩＴ１２ｈが３Ｄ画像Ｇ１１ｈ上に表示される。３Ｄ画像Ｇ１２ｈは、図２６に示す３Ｄ画像Ｇ１２ｈと同じである。３Ｄ画像Ｇ１３ｋは、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１４ｋが３Ｄ画像Ｇ１３ｋ上に表示される。３Ｄ画像Ｇ１４は、図２６に示す３Ｄ画像Ｇ１４と同じである。３Ｄ画像Ｇ１４は、３Ｄ画像Ｇ１１ｋ上に表示される。
【０２０８】
３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、および３Ｄ画像Ｇ１４は、第３角法または第１角法で表示されてもよい。ユーザーが機械図面を見慣れている場合、ユーザーは画像を直感的に理解しやすい。３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、および３Ｄ画像Ｇ１４は、平行投影で表示されてもよい。３Ｄ画像が平行投影で表示された場合、ユーザーが３Ｄ画像と機械図面とを比較しやすい。
【０２０９】
ユーザーは、３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、および３Ｄ画像Ｇ１４に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの基準点の位置が妥当であるか否かを詳細に確認することができる。図２９に示す例では、基準線Ｌ１２ｈは被写体ＯＢ１１のエッジと一致し、基準線Ｌ１４ｋは被写体ＯＢ１１のエッジと一致し、かつ基準線Ｌ１５は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。
【０２１０】
ユーザーが３つの３Ｄ画像の視点を同時に変更できてもよい。例えば、ユーザーが１つの３Ｄ画像の視点を変更したとき、他の２つの３Ｄ画像の各々の視点が変更される。例えば、表示部５はタッチパネルである。ユーザーは、スワイプ操作により視点の位置および視線の方向を変更することができる。
【０２１１】
被写体を基準にした方向Ａおよび視点Ａが変更された場合、画像生成部１８６はさらに、変更された方向Ａおよび変更された視点Ａに基づいて、第２の画像を再度生成する。被写体を基準にした視点Ａが変更されたとき、視点Ａと視点Ｂ（視点Ｃ）との相対関係を保つように、被写体を基準にした視点Ｂ（視点Ｃ）は変更される。被写体を基準にした方向Ａが変更されたとき、方向Ａと方向Ｂ（方向Ｃ）との相対関係を保つように、被写体を基準にした方向Ｂ（方向Ｃ）は変更される。画像生成部１８６はさらに、変更された方向Ｂ（方向Ｃ）および変更された視点Ｂ（視点Ｃ）に基づいて、第４の画像を再度生成する。表示制御部１８１はさらに、再度生成された第２の画像と、再度生成された第４の画像とを表示部５に表示する。
【０２１２】
例えば、ユーザーが３Ｄ画像Ｇ１２ｈ上でスワイプ操作を行う。座標算出部１８３は、スワイプ操作に基づいて、被写体の表面上の全ての３次元座標の各々を変更する。Ｘ’軸、Ｙ’軸、およびＺ’軸は変更されない。Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された座標系における視点Ａ、視点Ｂ、および視点Ｃは変更されない。これらの視点間の相対関係は保たれる。これらの視点のうち任意の２点間の距離は変更されない。Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された座標系における方向Ａ、方向Ｂ、および方向Ｃは変更されない。これらの方向間の相対関係は保たれる。これらの方向のうち任意の２方向間の角度は変更されない。
【０２１３】
Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された３次元空間において、スワイプ操作に基づいて、被写体が回転する。画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１２ｈが変更される。
【０２１４】
画像生成部１８６は、視点Ｂから方向Ｂに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１３ｋが変更される。画像生成部１８６は、視点Ｃから方向Ｃに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１４が変更される。
【０２１５】
被写体が回転する場合、被写体上の各位置から見た各視点の位置は変更される。そのため、被写体を基準にした各視点の位置は変更される。被写体が回転する場合、被写体上の各位置から各視点を見るときの角度は変更される。そのため、被写体を基準にした各方向は変更される。
【０２１６】
被写体が回転せずに、視点Ａ、視点Ｂ、および視点Ｃの各々の座標が変更されてもよい。各座標間の相対関係が保たれるように、各視点の座標が変更される。各視点の変更に伴って、各方向が変更されてもよい。各方向間の相対関係が保たれるように、各方向が変更される。
【０２１７】
被写体を基準にした方向Ｂ（方向Ｃ）および視点Ｂ（視点Ｃ）が変更された場合、画像生成部１８６はさらに、変更された方向Ｂ（方向Ｃ）および変更された視点Ｂ（視点Ｃ）に基づいて、第４の画像を再度生成してもよい。被写体を基準にした視点Ｂ（視点Ｃ）が変更されたとき、視点Ａと視点Ｂ（視点Ｃ）との相対関係を保つように、被写体を基準にした視点Ａは変更される。被写体を基準にした方向Ｂ（方向Ｃ）が変更されたとき、方向Ａと方向Ｂ（方向Ｃ）との相対関係を保つように、被写体を基準にした方向Ａは変更される。画像生成部１８６はさらに、変更された方向Ａおよび変更された視点Ａに基づいて、第２の画像を再度生成する。表示制御部１８１はさらに、再度生成された第２の画像と、再度生成された第４の画像とを表示部５に表示する。
【０２１８】
例えば、ユーザーが３Ｄ画像Ｇ１３ｋ上でスワイプ操作を行う。座標算出部１８３は、スワイプ操作に基づいて、被写体の表面上の全ての３次元座標の各々を変更する。Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された３次元空間において、スワイプ操作に基づいて、被写体が回転する。画像生成部１８６は、視点Ｂから方向Ｂに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１３ｋが変更される。
【０２１９】
画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１２ｈが変更される。画像生成部１８６は、視点Ｃから方向Ｃに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１４が変更される。
【０２２０】
視点Ａ、視点Ｂ、および視点Ｃの相対的な位置関係が維持されたまま、各視点から見た被写体の３Ｄ画像が変更される。ユーザーは、様々な方向に見た被写体の画像に基づいて、２つの基準点の位置が妥当であるか否かを確認することができる。
【０２２１】
（第４の実施形態）
本発明の第４の実施形態を説明する。２つの基準点の位置の確認のための２つの３次元画像が表示部５に表示される。１つの３次元画像は、第２の視点から第２の方向に見た被写体の第３の画像である。他の３次元画像は、第３の視点から第３の方向に見た被写体の第４の画像である。
【０２２２】
第４の実施形態において、基準図形は直線（基準線）である。第２の方向および第２の視点は、第１の直線軸に基づいて設定される。第４の方向および第４の視点は、第２の直線軸に基づいて設定される。第１の直線軸および第２の直線軸は基準図形に垂直である。第１の実施形態と同様に、第２の視点は視点Ａであり、第２の方向は方向Ａであり、かつ第１の直線軸はＹ’軸である。
【０２２３】
図３０を使用して、第４の実施形態における３次元計測について説明する。図３０は、３次元計測の手順を示す。図２１に示す処理と同じ処理の説明を省略する。
【０２２４】
ステップＳ１１１の後、視点算出部１８５は、基準線に基づいて視点Ｄ（第３の視点）および方向Ｄ（第３の方向）を算出する（ステップＳ１６１）。ステップＳ１６１は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１６１において、以下の方法で視点Ｄおよび方向Ｄを算出する。
【０２２５】
視点算出部１８５は、基準線および計測線に垂直な方向に伸びるＺ’’軸（第２の直線軸）を設定する。計測線は、２つの端点を結ぶ線分である。２つの端点の一方は、計測点である。２つの端点の他方は、基準線上の点である。Ｚ’’軸は、カメラ位置を通る。
【０２２６】
Ｚ軸がＸ軸を中心に第１の回転量だけ回転し、かつＺ軸がＹ軸を中心に第２の回転量だけ回転したとき、Ｚ軸はＺ’’軸と一致する。視点算出部１８５は、第１の回転量および第２の回転量を算出する。Ｘ軸、Ｙ軸、およびＺ軸は、初期視点および初期方向を規定する座標軸である。例えば、Ｚ軸は、内視鏡装置１の光学系の光軸方向に伸びる。Ｘ軸およびＹ軸は、光軸方向に垂直な方向に伸びる。
【０２２７】
視点算出部１８５は、Ｙ軸を中心に第２の回転量だけＸ軸を回転させることにより、Ｘ’’軸を得る。視点算出部１８５は、Ｘ軸を中心に第１の回転量だけＹ軸を回転させることにより、Ｙ’’軸を得る。これにより、Ｘ軸に近いＸ’’軸が得られ、かつＹ軸に近いＹ’’軸が得られる。視点Ｄおよび方向Ｄがユーザーに分かりやすい。視点算出部１８５は、Ｘ’’軸の正の方向をＸ軸の正の方向と同様に設定する。視点算出部１８５は、Ｙ’’軸の正の方向をＹ軸の正の方向と同様に設定する。視点算出部１８５は、Ｚ’’軸の正の方向をＺ軸の正の方向と同様に設定する。
【０２２８】
視点算出部１８５は、方向ＤをＺ’’軸の正の方向に設定する。視点算出部１８５は、被写体を方向Ｄに見たときに被写体が視野に入るような視点Ｄを算出する。具体的には、視点算出部１８５は、視点Ｄから方向Ｄに進む視線が通る位置を算出する。例えば、視点ＤのＹ’’座標は０である。視点ＤのＸ’’座標は、第１の基準点のＸ’’座標と第２の基準点のＸ’’座標と第３の基準点のＸ’’座標との平均である。視点ＤのＺ’’座標は、被写体の全体が視野に入る位置である。視点ＤのＺ’’座標は、少なくとも第１の基準点、第２の基準点、および第３の基準点が視野に入る位置であってもよい。
【０２２９】
ステップＳ１６１の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ｄから方向Ｄに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線および計測線を３Ｄ画像に重畳する。表示制御部１８１は、基準線および計測線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１６２）。ステップＳ１６２において表示された３Ｄ画像（第４の画像）は、視点Ｄから方向Ｄに見た被写体の状態を示す。ステップＳ１６２は、画像生成ステップおよび第２の表示ステップに対応する。ステップＳ１６２が実行されたとき、３次元計測が終了する。
【０２３０】
図３１は、ステップＳ１６２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｌ、３Ｄ画像Ｇ１２ｌ、および３Ｄ画像Ｇ１５が表示部５に表示される。表示制御部１８１は、ステップＳ１６２において、３Ｄ画像Ｇ１５が３Ｄ画像Ｇ１１ｌおよび３Ｄ画像Ｇ１２ｌのいずれとも重ならないように３Ｄ画像Ｇ１５を表示部５に表示する。
【０２３１】
３Ｄ画像Ｇ１１ｌは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｌ、第２の基準点Ｐ１２ｌ、基準線Ｌ１１ｌ、イラストＩＴ１１ｌ、およびイラストＩＴ１４が３Ｄ画像Ｇ１１ｌ上に表示される。さらに、計測点Ｐ１３ｌ、計測線Ｌ１３ｌ、および計測結果Ｒ１１ｌが３Ｄ画像Ｇ１１ｌ上に表示される。３Ｄ画像Ｇ１２ｌは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｌが３Ｄ画像Ｇ１２ｌ上に表示される。
【０２３２】
３Ｄ画像Ｇ１５は、視点Ｄから方向Ｄに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１６および計測線Ｌ１７が３Ｄ画像Ｇ１５上に表示される。基準線Ｌ１６は、視点Ｄから方向Ｄに見た基準線を示す。計測線Ｌ１７は、視点Ｄから方向Ｄに見た計測線を示す。基準線および計測線に垂直な方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１５に映っている。方向Ｄは、ユーザーが計測線の位置を最も確認しやすいと考えられる方向である。
【０２３３】
ユーザーは、３Ｄ画像Ｇ１５に基づいて、計測点が被写体ＯＢ１１の欠けの最深点に設定されているか否かを判断する。これにより、ユーザーは、計測点の位置が妥当であるか否かを確認することができる。図３１に示す例では、計測線Ｌ１７の端点は被写体ＯＢ１１の欠けの最深点と一致する。そのため、ユーザーは、計測点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
【０２３４】
表示制御部１８１は、ステップＳ１６２において、挿入部２の先端２０のイラストＩＴ１４を表示部５に表示する。ステップＳ１６２は、第３の表示ステップに対応する。イラストＩＴ１４は、視点Ｄに配置され方向Ｄを向く挿入部２の先端２０を示す。イラストＩＴ１４が表示されるため、ユーザーは視点Ｄおよび方向Ｄを確認することができる。
【０２３５】
３Ｄ画像Ｇ１２ｌおよび３Ｄ画像Ｇ１５が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ｌを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２ｌおよび３Ｄ画像Ｇ１５を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ｌのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２ｌおよび３Ｄ画像Ｇ１５のみが表示部５に表示される。ユーザーが２つの基準点の位置および計測点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ｌ、３Ｄ画像Ｇ１２ｌ、および３Ｄ画像Ｇ１５を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ１５の少なくとも一部が３Ｄ画像Ｇ１１ｌおよび３Ｄ画像Ｇ１２ｌの少なくとも１つと重なるように３Ｄ画像Ｇ１５を表示部５に表示してもよい。
【０２３６】
ステップＳ１１０またはステップＳ１１１が実行される前にステップＳ１６１が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行される前にステップＳ１６２が実行されてもよい。
【０２３７】
ステップＳ１０７ａは、図４に示すステップＳ１０７に変更されてもよい。つまり、視点算出部１８５は、第１の実施形態において説明した方法と同じ方法でＸ’軸、Ｙ’軸、およびＺ’軸を設定してもよい。視点算出部１８５は、第１の実施形態と同様に方向ＡをＹ’軸の正の方向に設定し、かつ第１の実施形態と同様にＹ’軸上に視点Ａを設定してもよい。
【０２３８】
視点Ｄおよび方向Ｄは以下のように変更されてもよい。方向Ｄは、基準線に平行であってもよい。計測線は基準線に垂直であるため、方向Ｄは計測線に垂直である。例えば、視点Ｄは、計測線の中心を通り方向Ｄに伸びる直線上に設定される。
【０２３９】
ステップＳ１０７ａにおいて、Ｘ’軸、Ｙ’軸、およびＺ’軸が設定される。例えば、視点算出部１８５は、方向ＤをＸ’軸の正の方向に設定する。視点算出部１８５は、Ｘ’軸に平行であり、かつ計測線の中間点を通る軸上に視点Ｄを設定する。
【０２４０】
図３２は、ステップＳ１６２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｍ、３Ｄ画像Ｇ１２ｌ、および３Ｄ画像Ｇ１５ｌが表示部５に表示される。３Ｄ画像Ｇ１１ｍは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｌ、第２の基準点Ｐ１２ｌ、計測点Ｐ１３ｌ、基準線Ｌ１１ｌ、計測線Ｌ１３ｌ、計測結果Ｒ１１ｌ、およびイラストＩＴ１１ｌが３Ｄ画像Ｇ１１ｍ上に表示される。イラストＩＴ１４ｌが表示部５に表示される。３Ｄ画像Ｇ１２ｌは、図３１に示す３Ｄ画像Ｇ１２ｌと同じである。
【０２４１】
３Ｄ画像Ｇ１５ｌは、視点Ｄから方向Ｄに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１６ｌおよび計測線Ｌ１７ｌが３Ｄ画像Ｇ１５ｌ上に表示される。基準線Ｌ１６ｌおよび計測線Ｌ１７ｌは、一体化している。
【０２４２】
第４の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｄから方向Ｄに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０２４３】
（第５の実施形態）
本発明の第５の実施形態を説明する。操作部４は、少なくとも３つの基準点の入力を受け付ける。基準図形は、平面である。第２の方向は、直線軸に平行である。直線軸は、基準図形に平行である。第２の視点は、直線軸上にある。
【０２４４】
第５の実施形態の内視鏡装置１は、面基準計測機能を有する。３つの基準点および１つの計測点がユーザーによって指定される。３つの基準点の各々は、面基準計測における基準面を算出するための基準位置を示す。計測点は、被写体の寸法を計測する位置を示す。
【０２４５】
基準図形算出部１８４は、３つの基準点の３次元座標に基づいて、基準図形を算出する。基準面が第５の実施形態における基準図形である。基準面は、３次元空間上の平面であり、かつ３つの基準点の各々の３次元座標を通る。
【０２４６】
第５の実施形態において計測部１８７は、基準面を使用して、被写体の３次元計測を実行する。具体的には、計測部１８７は、３次元の基準面と計測点の３次元座標との３次元距離を算出する。
【０２４７】
図３３を使用して、第５の実施形態における３次元計測について説明する。図３３は、３次元計測の手順を示す。
【０２４８】
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ２０１）。ステップＳ２０１は、画像取得ステップに対応する。
【０２４９】
ステップＳ２０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ２０２）。ステップＳ２０２は、座標算出ステップに対応する。
【０２５０】
ステップＳ２０２の後、画像生成部１８６は、ステップＳ２０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ２０３）。ステップＳ２０３は、第１の表示ステップに対応する。
【０２５１】
ステップＳ２０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第１の基準点を設定する。表示制御部１８１は、第１の基準点を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０４）。
【０２５２】
ステップＳ２０４の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第２の基準点を設定する。表示制御部１８１は、第２の基準点を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０５）。
【０２５３】
ステップＳ２０５の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第３の基準点を設定する。表示制御部１８１は、第３の基準点を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０６）。ステップＳ２０４、ステップＳ２０５、およびステップＳ２０６は、入力ステップに対応する。
【０２５４】
ステップＳ２０６の後、基準図形算出部１８４は、第１の基準点、第２の基準点、および第３の基準点の各々の３次元座標を通る基準面を算出する。基準図形算出部１８４は、３本の基準線を算出する。３本の基準線の１つは、第１の基準点および第２の基準点の各々の３次元座標を結ぶ。３本の基準線の１つは、第２の基準点および第３の基準点の各々の３次元座標を結ぶ。３本の基準線の１つは、第３の基準点および第１の基準点の各々の３次元座標を結ぶ。表示制御部１８１は、３本の基準線を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０７）。ステップＳ２０７は、基準図形算出ステップに対応する。
【０２５５】
図３４は、ステップＳ２０７において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ２１が表示部５に表示される。３Ｄ画像Ｇ２１は、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。計測モードを示す文字ＣＨ２１が３Ｄ画像Ｇ２１上に表示される。文字ＣＨ２１は、計測モードが面基準計測であることを示す。第１の基準点Ｐ２１、第２の基準点Ｐ２２、および第３の基準点Ｐ２３が３Ｄ画像Ｇ２１上に表示される。各基準点は、基準点の位置を示すマークとして表示される。基準線Ｌ２１、基準線Ｌ２２、および基準線Ｌ２３が３Ｄ画像Ｇ２１上に表示される。基準線Ｌ２１は、第１の基準点Ｐ２１と第２の基準点Ｐ２２とを結ぶ。基準線Ｌ２２は、第２の基準点Ｐ２２と第３の基準点Ｐ２３とを結ぶ。基準線Ｌ２３は、第３の基準点Ｐ２３と第１の基準点Ｐ２１とを結ぶ。
【０２５６】
ステップＳ２０７の後、視点算出部１８５は、基準面に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ２０８）。ステップＳ２０８は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ２０８において、以下の方法で視点Ａおよび方向Ａを算出する。
【０２５７】
視点算出部１８５は、基準面に垂直なＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。Ｚ軸がＸ軸を中心に第１の回転量だけ回転し、かつＺ軸がＹ軸を中心に第２の回転量だけ回転したとき、Ｚ軸はＺ’軸と一致する。視点算出部１８５は、第１の回転量および第２の回転量を算出する。Ｘ軸、Ｙ軸、およびＺ軸は、初期視点および初期方向を規定する座標軸である。例えば、Ｚ軸は、内視鏡装置１の光学系の光軸方向に伸びる。Ｘ軸およびＹ軸は、光軸方向に垂直な方向に伸びる。
【０２５８】
視点算出部１８５は、Ｙ軸を中心に第２の回転量だけＸ軸を回転させることにより、Ｘ’軸を得る。視点算出部１８５は、Ｘ軸を中心に第１の回転量だけＹ軸を回転させることにより、Ｙ’軸を得る。これにより、Ｘ軸に近いＸ’軸が得られ、かつＹ軸に近いＹ’軸が得られる。視点Ａおよび方向Ａがユーザーに分かりやすい。
【０２５９】
Ｘ軸、Ｙ軸、およびＺ軸が互いに直交するため、Ｘ’軸、Ｙ’軸、およびＺ’軸は互いに直交する。Ｚ’軸は、基準面に垂直である。視点算出部１８５は、Ｘ軸を回転させることにより得られたＸ’軸をＺ’軸に平行な方向に移動させる。視点算出部１８５は、基準面上にＸ’軸を設定する。視点算出部１８５は、Ｙ軸を回転させることにより得られたＹ’軸をＺ’軸に平行な方向に移動させる。視点算出部１８５は、基準面上にＹ’軸を設定する。視点算出部１８５は、Ｘ’軸の正の方向をＸ軸の正の方向と同様に設定する。視点算出部１８５は、Ｙ’軸の正の方向をＹ軸の正の方向と同様に設定する。視点算出部１８５は、Ｚ’軸の正の方向をＺ軸の正の方向と同様に設定する。
【０２６０】
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体ＯＢ２１を方向Ａに見たときに被写体が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の基準点Ｐ２１のＸ’座標と第２の基準点Ｐ２２のＸ’座標と第３の基準点Ｐ２３のＸ’座標との平均である。視点ＡのＹ’座標は、被写体ＯＢ２１の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の基準点Ｐ２１、第２の基準点Ｐ２２、および第３の基準点Ｐ２３が視野に入る位置であってもよい。
【０２６１】
方向Ａは、基準面に平行でなくてもよい。方向Ａは、基準面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ａは、基準面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。
【０２６２】
ステップＳ２０８の後、視点算出部１８５は、基準面に基づいて視点Ｂ（第３の視点）および方向Ｂ（第３の方向）を算出する（ステップＳ２０９）。ステップＳ２０９は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ２０９において、以下の方法で視点Ｂおよび方向Ｂを算出する。
【０２６３】
ステップＳ２０８において、Ｘ’軸、Ｙ’軸、およびＺ’軸が設定される。視点算出部１８５は、方向ＢをＸ’軸の正の方向に設定する。方向Ｂは、方向Ａに垂直である。視点算出部１８５は、被写体ＯＢ２１を方向Ｂに見たときに被写体が視野に入るような視点Ｂを算出する。例えば、視点ＢのＺ’座標は０である。視点ＢのＹ’座標は、第１の基準点Ｐ２１のＹ’座標と第２の基準点Ｐ２２のＹ’座標と第３の基準点Ｐ２３のＹ’座標との平均である。視点ＢのＸ’座標は、被写体ＯＢ２１の全体が視野に入る位置である。視点ＢのＸ’座標は、少なくとも第１の基準点Ｐ２１、第２の基準点Ｐ２２、および第３の基準点Ｐ２３が視野に入る位置であってもよい。
【０２６４】
方向Ｂは、基準面に平行でなくてもよい。方向Ｂは、基準面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ｂは、基準面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。
【０２６５】
ステップＳ２０９の後、画像生成部１８６は、ステップＳ２０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準面を３Ｄ画像に重畳する。ステップＳ２０７において算出された３本の基準線は基準面上にある。例えば、画像生成部１８６は、その３本の基準線を３Ｄ画像に重畳することにより、基準面を３Ｄ画像に重畳する。表示制御部１８１は、基準面が重畳された３Ｄ画像を表示部５に表示する（ステップＳ２１０）。ステップＳ２１０において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ２１０は、画像生成ステップおよび第２の表示ステップに対応する。
【０２６６】
ステップＳ２１０の後、画像生成部１８６は、ステップＳ２０２において算出された３次元座標に基づいて、視点Ｂから方向Ｂに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準面を３Ｄ画像に重畳する。例えば、画像生成部１８６は、ステップＳ２０７において算出された３本の基準線を３Ｄ画像に重畳することにより、基準面を３Ｄ画像に重畳する。表示制御部１８１は、基準面が重畳された３Ｄ画像を表示部５に表示する（ステップＳ２１１）。ステップＳ２１１において表示された３Ｄ画像（第４の画像）は、視点Ｂから方向Ｂに見た被写体の状態を示す。ステップＳ２１１は、画像生成ステップおよび第２の表示ステップに対応する。
【０２６７】
図３５は、ステップＳ２１０およびステップＳ２１１において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ２１ａ、３Ｄ画像Ｇ２２、３Ｄ画像Ｇ２３、およびイラストＩＴ２２が表示部５に表示される。表示制御部１８１は、ステップＳ２１０において、３Ｄ画像Ｇ２２が３Ｄ画像Ｇ２１ａと重ならないように３Ｄ画像Ｇ２２を表示部５に表示する。表示制御部１８１は、ステップＳ２１１において、３Ｄ画像Ｇ２３が３Ｄ画像Ｇ２１ａおよび３Ｄ画像Ｇ２２のいずれとも重ならないように３Ｄ画像Ｇ２３を表示部５に表示する。
【０２６８】
３Ｄ画像Ｇ２１ａは、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。文字ＣＨ２１、第１の基準点Ｐ２１、第２の基準点Ｐ２２、第３の基準点Ｐ２３、基準線Ｌ２１、基準線Ｌ２２、基準線Ｌ２３、およびイラストＩＴ２１が３Ｄ画像Ｇ２１ａ上に表示される。３Ｄ画像Ｇ２２は、視点Ａから方向Ａに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２２が３Ｄ画像Ｇ２２上に表示される。基準面ＰＬ２２は、視点Ａから方向Ａに見た基準面を示す。基準面に平行な方向に基準面を見たとき、基準面は直線として見える。被写体ＯＢ２１の表面に平行な方向に見た被写体ＯＢ２１のエッジが３Ｄ画像Ｇ２２に映っている。
【０２６９】
３Ｄ画像Ｇ２３は、視点Ｂから方向Ｂに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２３が３Ｄ画像Ｇ２３上に表示される。基準面ＰＬ２３は、視点Ｂから方向Ｂに見た基準面を示す。被写体ＯＢ２１の表面に平行な方向に見た被写体ＯＢ２１のエッジが３Ｄ画像Ｇ２３に映っている。
【０２７０】
ユーザーは、３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３に基づいて、基準面が被写体ＯＢ２１のエッジ上に設定されているか否かを判断する。基準面が被写体ＯＢ２１のエッジ上に設定されている場合、基準面は被写体ＯＢ２１の表面を高精度に近似する。これにより、ユーザーは、３つの基準点の位置が妥当であるか否かを確認することができる。図３５に示す例では、基準面ＰＬ２２および基準面ＰＬ２３は被写体ＯＢ２１のエッジと一致する。そのため、ユーザーは、３つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
【０２７１】
表示制御部１８１は、視点Ａおよび方向Ａを示す情報と、視点Ｂおよび方向Ｂを示す情報とを表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ２１０において、挿入部２の先端２０のイラストＩＴ２１を表示部５に表示し、かつステップＳ２１１において、挿入部２の先端２０のイラストＩＴ２２を表示部５に表示する。イラストＩＴ２１は３Ｄ画像Ｇ２１ａ上に表示される。イラストＩＴ２１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。イラストＩＴ２１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。イラストＩＴ２２は、視点Ｂに配置され方向Ｂを向く挿入部２の先端２０を示す。イラストＩＴ２２が表示されるため、ユーザーは視点Ｂおよび方向Ｂを確認することができる。
【０２７２】
３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ２１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ２１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ２１ａ、３Ｄ画像Ｇ２２、および３Ｄ画像Ｇ２３を表示させてもよい。
【０２７３】
表示制御部１８１は、３Ｄ画像Ｇ２２の少なくとも一部が３Ｄ画像Ｇ２１ａと重なるように３Ｄ画像Ｇ２２を表示部５に表示してもよい。表示制御部１８１は、３Ｄ画像Ｇ２３の少なくとも一部が３Ｄ画像Ｇ２１ａおよび３Ｄ画像Ｇ２２の少なくとも１つと重なるように３Ｄ画像Ｇ２３を表示部５に表示してもよい。
【０２７４】
図３６は、ステップＳ２１０およびステップＳ２１１において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ２１ａ１、３Ｄ画像Ｇ２２ａ、３Ｄ画像Ｇ２３ａ、およびイラストＩＴ２２ａが表示部５に表示される。３Ｄ画像Ｇ２１ａ１は、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。文字ＣＨ２１、第１の基準点Ｐ２１ａ、第２の基準点Ｐ２２、第３の基準点Ｐ２３、基準線Ｌ２１ａ、基準線Ｌ２２、基準線Ｌ２３ａ、およびイラストＩＴ２１ａが３Ｄ画像Ｇ２１ａ１上に表示される。第２の基準点Ｐ２２および第３の基準点Ｐ２３は被写体ＯＢ２１の表面上に設定される。第１の基準点Ｐ２１ａは被写体ＯＢ２１の表面ではない位置に設定される。
【０２７５】
３Ｄ画像Ｇ２２ａは、視点Ａから方向Ａに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２２ａが３Ｄ画像Ｇ２２ａ上に表示される。３Ｄ画像Ｇ２３ａは、視点Ｂから方向Ｂに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２３ａが３Ｄ画像Ｇ２３ａ上に表示される。図３６に示す例では、基準面ＰＬ２２ａおよび基準面ＰＬ２３ａは被写体ＯＢ２１のエッジと一致しない。そのため、ユーザーは、３つの基準点の位置が妥当ではないと判断することができる。
【０２７６】
ステップＳ２１１の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に計測点を設定する。表示制御部１８１は、計測点を、ステップＳ２０２において表示された３Ｄ画像上に表示する（ステップＳ２１２）。
【０２７７】
ステップＳ２１２の後、計測部１８７は、基準面と計測点の３次元座標とに基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、基準面と計測点の３次元座標との３次元距離を算出する（ステップＳ２１３）。
【０２７８】
ステップＳ２１３の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ２１４）。ステップＳ２１４が実行されたとき、３次元計測が終了する。
【０２７９】
図３７は、ステップＳ２１４において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ２１ｂ、３Ｄ画像Ｇ２２ｂ、３Ｄ画像Ｇ２３ｂ、およびイラストＩＴ２２が表示部５に表示される。文字ＣＨ２１、第１の基準点Ｐ２１、第２の基準点Ｐ２２、第３の基準点Ｐ２３、基準線Ｌ２１、基準線Ｌ２２、基準線Ｌ２３、およびイラストＩＴ２１が３Ｄ画像Ｇ２１ｂ上に表示される。さらに、計測点Ｐ２４および計測結果Ｒ２１が３Ｄ画像Ｇ２１ｂ上に表示される。計測点Ｐ２４は、被写体ＯＢ２１の凸部に設定される。計測結果Ｒ２１は、基準面と計測点の３次元座標との３次元距離を示す。
【０２８０】
３Ｄ画像Ｇ２２ｂは、視点Ａから方向Ａに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２２および計測線Ｌ２４が３Ｄ画像Ｇ２２ｂ上に表示される。計測線Ｌ２４は、視点Ａから方向Ａに見た計測線を示す。３Ｄ画像Ｇ２３ｂは、視点Ｂから方向Ｂに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２３および計測線Ｌ２５が３Ｄ画像Ｇ２３ｂ上に表示される。計測線Ｌ２５は、視点Ｂから方向Ｂに見た計測線を示す。
【０２８１】
ステップＳ２０３において、３Ｄ画像の代わりに、初期視点から初期方向に見た被写体の２Ｄ画像が表示部５に表示されてもよい。第１の基準点、第２の基準点、および第３の基準点は、その２Ｄ画像に設定されてもよい。
【０２８２】
ステップＳ２０４における第１の基準点の表示、ステップＳ２０５における第２の基準点の表示、ステップＳ２０６における第３の基準点の表示、およびステップＳ２１２における計測点の表示は必須ではない。ステップＳ２０７における基準線の表示は必須ではない。
【０２８３】
ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２０８が実行されてもよい。ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２１０が実行されてもよい。ステップＳ２１３またはステップＳ２１４が実行された後にステップＳ２１０が実行される場合、ユーザーは、計測に使用された３つの基準点の位置が妥当であるか否かを確認することができる。
【０２８４】
ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２０９が実行されてもよい。ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２１１が実行されてもよい。ステップＳ２１３が実行された後にステップＳ２１１が実行される場合、ユーザーは、計測に使用された３つの基準点の位置が妥当であるか否かを確認することができる。
【０２８５】
ステップＳ２１２からステップＳ２１４の各々は必須ではない。ステップＳ２１２からステップＳ２１４の各々が実行されなくてもよい。例えば、被写体の形状が所望の形状であるか否かを検査するために、ステップＳ２０１からステップＳ２１１の各々が実行されてもよい。例えば、検査対象の部位が平面状であるか否かを検査するために、ユーザーは３Ｄ画像上のその部位に３つの基準点を指定する。例えば、その部位は、検査対象の表面である。３つの基準点に基づく基準面が３Ｄ画像上に表示される。
【０２８６】
ユーザーは、その３Ｄ画像に基づいて、基準面がその部位上に表示されているか否かを確認する。これにより、ユーザーは、３つの基準点の位置が妥当であるか否かを確認する。３つの基準点の位置が妥当であることが確認された後、ユーザーは、基準面とその部位の形状とを比較することにより、検査を実施する。
【０２８７】
視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とのいずれか１つのみが表示部５に表示されてもよい。
【０２８８】
ユーザーが２つの３Ｄ画像の視点を同時に変更できてもよい。例えば、ユーザーが１つの３Ｄ画像の視点を変更したとき、他の３Ｄ画像の視点が変更される。視点を変更する方法は、第３の実施形態の変形例で説明した方法と同様である。
【０２８９】
第５の実施形態の内視鏡装置１は、基準点を修正する機能を有してもよい。操作部４は、修正された少なくとも１つの基準点の入力を受け付けてもよい。以前に設定された３つの基準点の少なくとも１つは、修正された基準点によって置き換えられてもよい。基準図形算出部１８４は、修正された少なくとも１つの基準点を含む３つの基準点の３次元座標に基づいて、基準面を算出してもよい。
【０２９０】
第５の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０２９１】
（第６の実施形態）
本発明の第６の実施形態を説明する。第６の実施形態の内視鏡装置１は、２点間計測機能を有する。２つの計測点がユーザーによって指定される。２つの計測点の各々は、被写体の寸法を計測する位置を示す。また、２つの計測点の各々は、計測点の位置の確認に使用される基準図形を算出するための基準位置を示す。したがって、２つの計測点の各々は、本発明の各態様の基準点に対応する。
【０２９２】
第６の実施形態において、基準図形は線分である。第２の視点および第２の方向を規定する直線軸は、基準図形に垂直である。
【０２９３】
基準図形算出部１８４は、２つの計測点の３次元座標に基づいて、計測線を算出する。計測線が第６の実施形態における基準図形である。計測線は、３次元空間上の線分であり、かつ２つの計測点の各々の３次元座標を結ぶ。２つの計測点が計測線の２つの端点である。第６の実施形態において計測部１８７は、２つの計測点の３次元座標間の３次元距離を算出する。
【０２９４】
図３８を使用して、第６の実施形態における３次元計測について説明する。図３８は、３次元計測の手順を示す。
【０２９５】
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ３０１）。ステップＳ３０１は、画像取得ステップに対応する。
【０２９６】
ステップＳ３０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ３０２）。ステップＳ３０２は、座標算出ステップに対応する。
【０２９７】
ステップＳ３０２の後、画像生成部１８６は、ステップＳ３０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ３０３）。ステップＳ３０３は、第１の表示ステップに対応する。
【０２９８】
ステップＳ３０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に第１の計測点を設定する。表示制御部１８１は、第１の計測点を、ステップＳ３０３において表示された３Ｄ画像上に表示する（ステップＳ３０４）。
【０２９９】
ステップＳ３０４の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に第２の計測点を設定する。表示制御部１８１は、第２の計測点を、ステップＳ３０３において表示された３Ｄ画像上に表示する（ステップＳ３０５）。
【０３００】
ステップＳ３０５の後、基準図形算出部１８４は、第１の計測点および第２の計測点の各々の３次元座標を結ぶ計測線を算出する。表示制御部１８１は、計測線を、ステップＳ３０３において表示された３Ｄ画像上に表示する（ステップＳ３０６）。ステップＳ３０６は、基準図形算出ステップに対応する。
【０３０１】
図３９は、ステップＳ３０６において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ３１が表示部５に表示される。３Ｄ画像Ｇ３１は、初期視点から初期方向に見た被写体ＯＢ３１の３Ｄ画像である。計測モードを示す文字ＣＨ３１が３Ｄ画像Ｇ３１上に表示される。文字ＣＨ３１は、計測モードが２点間計測であることを示す。第１の計測点Ｐ３１、第２の計測点Ｐ３２、および計測線Ｌ３１が３Ｄ画像Ｇ３１上に表示される。各計測点は、計測点の位置を示すマークとして表示される。図３９に示す例では、被写体ＯＢ３１の欠けの２つの端部に第１の計測点Ｐ３１および第２の計測点Ｐ３２が設定される。
【０３０２】
ステップＳ３０６の後、視点算出部１８５は、計測線に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ３０７）。ステップＳ３０７は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ３０７において、以下の方法で視点Ａおよび方向Ａを算出する。
【０３０３】
視点算出部１８５は、計測線が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、計測線と一致する。視点算出部１８５は、Ｘ’軸に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々に垂直な方向に伸びるＹ’軸（直線軸）を設定する。
【０３０４】
視点算出部１８５は、Ｙ’軸の周辺に第１の領域および第２の領域を設定する。方向Ａは、第１の領域から第２の領域へ進む方向である。Ｙ’軸は、第１の領域および第２の領域を通る。第１の領域の体積と、第２の領域の体積とは同じである。第１の領域に含まれる被写体の体積は、第２の領域に含まれる被写体の体積よりも少ない。つまり、第１の領域における被写体ＯＢ３１の３次元座標のデータ数は、第２の領域における被写体ＯＢ３１の３次元座標のデータ数よりも少ない。視点算出部１８５は、第１の領域から第２の領域へ進む方向をＹ’軸の正の方向に設定する。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々の正の方向をＹ’軸の正の方向に基づいて設定する。
【０３０５】
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体ＯＢ３１を方向Ａに見たときに被写体ＯＢ３１が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の計測点Ｐ３１のＸ’座標と第２の計測点Ｐ３２のＸ’座標との平均である。視点ＡのＹ’座標は、被写体ＯＢ３１の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の計測点Ｐ３１および第２の計測点Ｐ３２が視野に入る位置であってもよい。
【０３０６】
ステップＳ３０７の後、画像生成部１８６は、ステップＳ３０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、計測線を３Ｄ画像に重畳する。表示制御部１８１は、計測線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ３０８）。ステップＳ３０８において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ３０８は、画像生成ステップおよび第２の表示ステップに対応する。
【０３０７】
図４０は、ステップＳ３０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ３１ａおよび３Ｄ画像Ｇ３２が表示部５に表示される。表示制御部１８１は、ステップＳ３０８において、３Ｄ画像Ｇ３２が３Ｄ画像Ｇ３１ａと重ならないように３Ｄ画像Ｇ３２を表示部５に表示する。３Ｄ画像Ｇ３１ａは、初期視点から初期方向に見た被写体ＯＢ３１の３Ｄ画像である。文字ＣＨ３１、第１の計測点Ｐ３１、第２の計測点Ｐ３２、計測線Ｌ３１、およびイラストＩＴ３１が３Ｄ画像Ｇ３１ａ上に表示される。
【０３０８】
３Ｄ画像Ｇ３２は、視点Ａから方向Ａに見た被写体ＯＢ３１の３Ｄ画像である。計測線Ｌ３２が３Ｄ画像Ｇ３２上に表示される。計測線Ｌ３２は、視点Ａから方向Ａに見た計測線を示す。被写体ＯＢ３１の表面に平行な方向に見た被写体ＯＢ３１のエッジが３Ｄ画像Ｇ３２に映っている。
【０３０９】
ユーザーは、３Ｄ画像Ｇ３２に基づいて、計測線が被写体ＯＢ３１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの計測点の位置が妥当であるか否かを確認することができる。図４０に示す例では、計測線Ｌ３２は被写体ＯＢ３１のエッジと一致する。そのため、ユーザーは、２つの計測点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
【０３１０】
表示制御部１８１は、視点Ａおよび方向Ａを示す情報を表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ３０８において、挿入部２の先端２０のイラストＩＴ３１を表示部５に表示する。イラストＩＴ３１は３Ｄ画像Ｇ３１ａ上に表示される。イラストＩＴ３１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。イラストＩＴ３１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。
【０３１１】
３Ｄ画像Ｇ３２が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ３１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ３２を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ３１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ３２のみが表示部５に表示される。ユーザーが２つの計測点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ３１ａおよび３Ｄ画像Ｇ３２を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ３２の少なくとも一部が３Ｄ画像Ｇ３１ａと重なるように３Ｄ画像Ｇ３２を表示部５に表示してもよい。
【０３１２】
図４１は、ステップＳ３０８において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ３１ｂおよび３Ｄ画像Ｇ３２ｂが表示部５に表示される。３Ｄ画像Ｇ３１ｂは、初期視点から初期方向に見た被写体ＯＢ３１の３Ｄ画像である。文字ＣＨ３１、第１の計測点Ｐ３１ｂ、第２の計測点Ｐ３２ｂ、計測線Ｌ３１ｂ、およびイラストＩＴ３１ｂが３Ｄ画像Ｇ３１ｂ上に表示される。第１の計測点Ｐ３１ｂは被写体ＯＢ３１の欠けの１つの端部に設定される。第２の計測点Ｐ３２ｂは被写体ＯＢ３１の表面ではない位置に設定される。３Ｄ画像Ｇ３１ｂにおいて、第２の計測点Ｐ３２ｂの実際の位置がユーザーに分かりにくい。
【０３１３】
３Ｄ画像Ｇ３２ｂは、視点Ａから方向Ａに見た被写体ＯＢ３１の３Ｄ画像である。計測線Ｌ３２ｂが３Ｄ画像Ｇ３２ｂ上に表示される。図４１に示す例では、計測線Ｌ３２ｂは被写体ＯＢ３１のエッジと一致しない。そのため、ユーザーは、２つの計測点の位置が妥当ではないと判断することができる。
【０３１４】
ステップＳ３０８の後、計測部１８７は、２つの計測点の３次元座標に基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、２つの計測点間の３次元距離を算出する（ステップＳ３０９）。
【０３１５】
ステップＳ３０９の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ３１０）。ステップＳ３１０が実行されたとき、３次元計測が終了する。
【０３１６】
ステップＳ３０３において、３Ｄ画像の代わりに、初期視点から初期方向に見た被写体の２Ｄ画像が表示部５に表示されてもよい。第１の計測点および第２の計測点は、その２Ｄ画像に設定されてもよい。
【０３１７】
ステップＳ３０４における第１の計測点の表示、ステップＳ３０５における第２の計測点の表示、およびステップＳ３０６における計測線の表示は必須ではない。
【０３１８】
ステップＳ３０９またはステップＳ３１０が実行された後、ステップＳ３０７が実行されてもよい。ステップＳ３０９またはステップＳ３１０が実行された後、ステップＳ３０８が実行されてもよい。ステップＳ３０９またはステップＳ３１０が実行された後にステップＳ３０８が実行される場合、ユーザーは、計測に使用された２つの計測点の位置が妥当であるか否かを確認することができる。
【０３１９】
視点算出部１８５は、ステップＳ３０７において、方向ＡをＺ’軸の正の方向に設定し、かつＺ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ３０７において、方向ＡをＸ’軸の正の方向に設定し、かつＸ’軸上に視点Ａを設定してもよい。視点Ａから方向Ａに見た被写体の３Ｄ画像と、他の視点から他の方向に見た被写体の３Ｄ画像とが表示部５に表示されてもよい。
【０３２０】
視点Ａおよび方向Ａを規定する直線軸は、被写体の表面を近似する近似平面に平行であってもよい。例えば、視点算出部１８５は、計測線が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、計測線と一致する。視点算出部１８５は、計測線の周辺の少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。例えば、視点算出部１８５は、最小二乗法を使用することにより、近似平面を算出する。例えば、視点算出部１８５は、計測線から所定距離以内にある少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。少なくとも３つの点は、計測線の近傍にある。少なくとも３つの点は、２つの計測点の少なくとも１つを含んでもよい。少なくとも３つの点は、２つの計測点を含まなくてもよい。少なくとも３つの点が少なくとも１つの計測点を含む場合、少なくとも３つの点は、計測線上の点を含む。視点算出部１８５は、近似平面に平行であってＸ’軸に垂直な方向に伸びるＹ’軸を設定する。
【０３２１】
視点算出部１８５は、被写体の３次元座標のデータ数が少ない第１の領域から被写体の３次元座標のデータ数が多い第２の領域へ進む方向をＹ’軸の正の方向に設定する。第１の領域および第２の領域は、Ｙ’軸の周辺に設定される。視点算出部１８５は、Ｘ’軸およびＹ’軸の各々に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。
【０３２２】
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体を方向Ａに見たときに被写体が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の計測点のＸ’座標と第２の計測点のＸ’座標との平均である。視点ＡのＹ’座標は、被写体の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の計測点および第２の計測点が視野に入る位置であってもよい。
【０３２３】
方向Ａは、上記の近似平面に平行でなくてもよい。方向Ａは、近似平面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ａは、近似平面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。方向Ａは、近似平面に垂直であってもよい。
【０３２４】
第６の実施形態の内視鏡装置１は、計測点を修正する機能を有してもよい。操作部４は、修正された少なくとも１つの計測点の入力を受け付けてもよい。以前に設定された２つの計測点の少なくとも１つは、修正された計測点によって置き換えられてもよい。基準図形算出部１８４は、修正された少なくとも１つの計測点を含む２つの計測点の３次元座標に基づいて、計測線を算出してもよい。
【０３２５】
第６の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像が表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０３２６】
（第７の実施形態）
本発明の第７の実施形態を説明する。第７の実施形態の内視鏡装置１は、面積／全長計測機能を有する。少なくとも３つの計測点がユーザーによって指定される。少なくとも３つの計測点の各々は、被写体の寸法を計測する位置を示す。また、少なくとも３つの計測点の各々は、計測点の位置の確認に使用される基準図形を算出するための基準位置を示す。したがって、少なくとも３つの計測点の各々は、本発明の各態様の基準点に対応する。
【０３２７】
第７の実施形態において、基準図形は平面である。第２の視点および第２の方向を規定する直線軸は、基準図形に平行である。操作部４は、少なくとも３つの計測点の入力を受け付ける。基準図形算出部１８４は、少なくとも３つの計測点の３次元座標に基づいて、基準図形を算出する。基準面が第７の実施形態における基準図形である。
【０３２８】
計測部１８７は、少なくとも３つの計測点を頂点とする図形の面積を算出する。例えば、計測部１８７は、その図形を複数の三角形に分割し、かつ複数の三角形の面積の合計を算出する。計測部１８７はさらに、少なくとも３つの計測点を頂点とする図形の全長を算出する。例えば、Ｎ角形の全長はＮ個の辺の長さの合計である。数字Ｎは３以上の整数である。１つの辺の長さは、ユーザーが指定した計測点の順番において連続する２つの計測点の３次元座標間の距離である。
【０３２９】
図４２を使用して、第７の実施形態における３次元計測について説明する。図４２は、３次元計測の手順を示す。
【０３３０】
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ４０１）。ステップＳ４０１は、画像取得ステップに対応する。
【０３３１】
ステップＳ４０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ４０２）。ステップＳ４０２は、座標算出ステップに対応する。
【０３３２】
ステップＳ４０２の後、画像生成部１８６は、ステップＳ４０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ４０３）。ステップＳ４０３は、第１の表示ステップに対応する。
【０３３３】
ステップＳ４０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に計測点を設定する。点設定部１８２は、少なくとも３つの計測点を設定する。表示制御部１８１は、少なくとも３つの計測点を、ステップＳ４０３において表示された３Ｄ画像上に表示する（ステップＳ４０４）。
【０３３４】
ステップＳ４０４の後、基準図形算出部１８４は、少なくとも３つの計測点の３次元座標に基づいて、基準面を算出する。例えば、基準図形算出部１８４は、最小二乗法を使用することにより、基準面を算出する。基準図形算出部１８４は、少なくとも３本の計測線を算出する。各計測線は、ユーザーが指定した計測点の順番において連続する２つの計測点の各々の３次元座標を結ぶ。表示制御部１８１は、少なくとも３本の計測線を、ステップＳ４０４において表示された３Ｄ画像上に表示する（ステップＳ４０５）。表示された少なくとも３本の計測線は、基準面の位置を示す。ステップＳ４０５は、基準図形算出ステップに対応する。
【０３３５】
図４３は、ステップＳ４０５において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ４１が表示部５に表示される。３Ｄ画像Ｇ４１は、初期視点から初期方向に見た被写体ＯＢ４１の３Ｄ画像である。計測モードを示す文字ＣＨ４１が３Ｄ画像Ｇ４１上に表示される。文字ＣＨ４１は、計測モードが面積／全長計測であることを示す。７つの計測点Ｐ４１が３Ｄ画像Ｇ４１上に表示される。図４３において、代表として１つの計測点Ｐ４１の符号が示されている。各計測点は、計測点の位置を示すマークとして表示される。７本の計測線Ｌ４１が３Ｄ画像Ｇ４１上に表示される。図４３において、代表として１本の計測線Ｌ４１の符号が示されている。
【０３３６】
ステップＳ４０５の後、視点算出部１８５は、基準面に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ４０６）。ステップＳ４０６は、視点算出ステップに対応する。ステップＳ４０６における視点Ａおよび方向Ａの算出方法は、図３３に示すステップＳ２０８における視点Ａおよび方向Ａの算出方法と同じである。視点算出部１８５は、ステップＳ４０６において、方向ＡをＹ’軸の正の方向に設定し、かつＹ’軸上に視点Ａを設定する。
【０３３７】
ステップＳ４０６の後、画像生成部１８６は、ステップＳ４０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準面を３Ｄ画像に重畳する。ステップＳ４０４において算出された少なくとも３本の計測線は基準面の概略位置を示す。例えば、画像生成部１８６は、その少なくとも３本の計測線を３Ｄ画像に重畳することにより、基準面を３Ｄ画像に重畳する。表示制御部１８１は、基準面が重畳された３Ｄ画像を表示部５に表示する（ステップＳ４０７）。ステップＳ４０７において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ４０７は、画像生成ステップおよび第２の表示ステップに対応する。
【０３３８】
図４４は、ステップＳ４０７において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ４１ａおよび３Ｄ画像Ｇ４２が表示部５に表示される。表示制御部１８１は、ステップＳ４０７において、３Ｄ画像Ｇ４２が３Ｄ画像Ｇ４１ａと重ならないように３Ｄ画像Ｇ４２を表示部５に表示する。
【０３３９】
３Ｄ画像Ｇ４１ａは、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。文字ＣＨ４１、７つの計測点Ｐ４１、７本の計測線Ｌ４１、およびイラストＩＴ４１が３Ｄ画像Ｇ４１ａ上に表示される。３Ｄ画像Ｇ４２は、視点Ａから方向Ａに見た被写体ＯＢ４１の３Ｄ画像である。基準面ＰＬ４２が３Ｄ画像Ｇ４２上に表示される。基準面ＰＬ４２は、視点Ａから方向Ａに見た基準面を示す。基準面に平行な方向に基準面を見たとき、基準面は直線として見える。被写体ＯＢ４１の表面に平行な方向に見た被写体ＯＢ４１のエッジが３Ｄ画像Ｇ４２に映っている。
【０３４０】
ユーザーは、３Ｄ画像Ｇ４２に基づいて、基準面が被写体ＯＢ４１のエッジ上に設定されているか否かを判断する。基準面が被写体ＯＢ４１のエッジ上に設定されている場合、基準面は被写体ＯＢ４１の表面を高精度に近似する。これにより、ユーザーは、７つの計測点の位置が妥当であるか否かを確認することができる。図４４に示す例では、基準面ＰＬ４２は被写体ＯＢ４１のエッジと一致する。そのため、ユーザーは、７つの計測点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
【０３４１】
表示制御部１８１は、視点Ａおよび方向Ａを示す情報を表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ４０７において、挿入部２の先端２０のイラストＩＴ４１を表示部５に表示する。イラストＩＴ４１は３Ｄ画像Ｇ４１ａ上に表示される。イラストＩＴ４１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。イラストＩＴ４１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。
【０３４２】
３Ｄ画像Ｇ４２が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ４１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ４２を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ４１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ４２のみが表示部５に表示される。ユーザーが７つの計測点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ４１ａおよび３Ｄ画像Ｇ４２を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ４２の少なくとも一部が３Ｄ画像Ｇ４１ａと重なるように３Ｄ画像Ｇ４２を表示部５に表示してもよい。
【０３４３】
図４５は、ステップＳ４０７において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ４１ｂおよび３Ｄ画像Ｇ４２ｂが表示部５に表示される。３Ｄ画像Ｇ４１ｂは、初期視点から初期方向に見た被写体ＯＢ４１の３Ｄ画像である。文字ＣＨ４１、７つの計測点Ｐ４１、７本の計測線Ｌ４１、およびイラストＩＴ４１ｂが３Ｄ画像Ｇ４１ｂ上に表示される。１つの計測点Ｐ４１ｂは、被写体ＯＢ４１のエッジにおいて、他の６つの計測点Ｐ４１が設定された高さと異なる高さに設定される。３Ｄ画像Ｇ４１ｂにおいて、計測点Ｐ４１ｂの実際の位置がユーザーに分かりにくい。
【０３４４】
３Ｄ画像Ｇ４２ｂは、視点Ａから方向Ａに見た被写体ＯＢ４１の３Ｄ画像である。基準面ＰＬ４２ｂが３Ｄ画像Ｇ４２ｂ上に表示される。基準面ＰＬ４２ｂは、７本の計測線として表示される。図４５に示す例では、被写体ＯＢ４１の表面に垂直な方向における計測点Ｐ４１ｂの高さがずれているため、７本の計測線の一部は被写体ＯＢ４１のエッジに平行ではない。そのため、ユーザーは、７つの計測点の一部の位置が妥当ではないと判断することができる。
【０３４５】
ステップＳ４０７の後、計測部１８７は、少なくとも３つの計測点の３次元座標に基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、少なくとも３つの計測点を頂点とする図形の面積と、その図形の全長とを算出する（ステップＳ４０８）。
【０３４６】
ステップＳ４０８の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ４０９）。ステップＳ４０９が実行されたとき、３次元計測が終了する。
【０３４７】
ステップＳ４０３において、３Ｄ画像の代わりに、初期視点から初期方向に見た被写体の２Ｄ画像が表示部５に表示されてもよい。少なくとも３つの計測点は、その２Ｄ画像に設定されてもよい。
【０３４８】
ステップＳ４０４における計測点の表示およびステップＳ４０５における基準面の表示は必須ではない。
【０３４９】
ステップＳ４０８またはステップＳ４０９が実行された後、ステップＳ４０６が実行されてもよい。ステップＳ４０８またはステップＳ４０９が実行された後、ステップＳ４０７が実行されてもよい。ステップＳ４０８またはステップＳ４０９が実行された後にステップＳ４０７が実行される場合、ユーザーは、計測に使用された少なくとも３つの計測点の位置が妥当であるか否かを確認することができる。
【０３５０】
視点算出部１８５は、ステップＳ４０６において、方向ＡをＺ’軸の正の方向に設定し、かつＺ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ４０６において、方向ＡをＸ’軸の正の方向に設定し、かつＸ’軸上に視点Ａを設定してもよい。視点Ａから方向Ａに見た被写体の３Ｄ画像と、他の視点から他の方向に見た被写体の３Ｄ画像とが表示部５に表示されてもよい。
【０３５１】
第７の実施形態の内視鏡装置１は、計測点を修正する機能を有してもよい。操作部４は、修正された少なくとも１つの計測点の入力を受け付けてもよい。以前に設定された少なくとも３つの計測点の一部は、修正された計測点によって置き換えられてもよい。基準図形算出部１８４は、修正された少なくとも１つの計測点を含む少なくとも３つの計測点の３次元座標に基づいて、基準面を算出してもよい。
【０３５２】
第７の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像が表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０３５３】
（第８の実施形態）
本発明の第８の実施形態を説明する。操作部４は、１つの計測点の入力を受け付ける。点設定部１８２は、表示部５に表示された被写体の画像（第２の画像）におけるカーソルの位置に計測点を設定する。計測点は、本発明の各態様の基準点に対応する。画像生成部１８６は、基準点の３次元座標に基づいて、第２の視点から第２の方向に見た被写体の３Ｄ画像（第３の画像）を生成する。画像生成部１８６は、計測点の３次元座標に基づいて、第２の視点と異なる第３の視点から第２の方向と異なる第３の方向に見た被写体の３Ｄ画像（第４の画像）を生成する。表示制御部１８１は、計測点の位置を示す情報が重畳された２つの３Ｄ画像を表示部５に表示する。
【０３５４】
視点算出部１８５は、第２の方向をＸ軸の正の方向に設定し、かつ第２の視点をＸ軸上に設定する。視点算出部１８５は、第３の方向をＹ軸の正の方向に設定し、かつ第３の視点をＹ軸上に設定する。Ｘ軸、Ｙ軸、およびＺ軸は、初期視点および初期方向を規定する座標軸である。例えば、Ｚ軸は、内視鏡装置１の光学系の光軸方向に伸びる。Ｘ軸およびＹ軸は、光軸方向に垂直な方向に伸びる。
【０３５５】
図４６は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ５１が表示部５に表示される。３Ｄ画像Ｇ５１は、初期視点から初期方向に見た被写体ＯＢ５１の３Ｄ画像である。カーソルＣＲ５１が３Ｄ画像Ｇ５１上に表示される。ユーザーは、操作部４を操作することにより、カーソルＣＲ５１を移動させることができる。カーソルＣＲ５１の位置に計測点が設定される。
【０３５６】
３Ｄ画像Ｇ５２および３Ｄ画像Ｇ５３が３Ｄ画像Ｇ５１上に表示される。３Ｄ画像Ｇ５２は、第２の視点から第２の方向に見た被写体ＯＢ５１の３Ｄ画像である。３Ｄ画像Ｇ５３は、第３の視点から第３の方向に見た被写体ＯＢ５１の３Ｄ画像である。計測点Ｐ５１が３Ｄ画像Ｇ５２上に表示される。計測点Ｐ５１は、第２の視点から第２の方向に見た計測点を示す。計測点Ｐ５２が３Ｄ画像Ｇ５３上に表示される。計測点Ｐ５２は、第３の視点から第３の方向に見た計測点を示す。
【０３５７】
撮像素子２８は、被写体ＯＢ５１の２Ｄ画像を取得する。座標算出部１８３は、ステレオ計測の原理に基づいて、２Ｄ画像における全画素の３次元座標を算出する。画像生成部１８６は、座標算出部１８３によって算出された３次元座標に基づいて、３Ｄ画像Ｇ５１、３Ｄ画像Ｇ５２、および３Ｄ画像Ｇ５３を生成する。
【０３５８】
図４７および図４８は、画像生成部１８６によって生成された３Ｄ画像を示す。図４７に示す３Ｄ画像Ｇ５４は、第２の視点から第２の方向に見た被写体ＯＢ５１の３Ｄ画像である。図４８に示す３Ｄ画像Ｇ５５は、第３の視点から第３の方向に見た被写体ＯＢ５１の３Ｄ画像である。３Ｄ画像Ｇ５４および３Ｄ画像Ｇ５５は、３Ｄ画像Ｇ５１に映っている被写体ＯＢ５１の全体に対応する複数の点を含む。画像生成部１８６は、計測点Ｐ５１の周辺の領域を含む画像を３Ｄ画像Ｇ５４から切り出す。切り出された画像は、３Ｄ画像Ｇ５２である。画像生成部１８６は、計測点Ｐ５２の周辺の領域を含む画像を３Ｄ画像Ｇ５５から切り出す。切り出された画像は、３Ｄ画像Ｇ５３である。
【０３５９】
３次元座標の算出結果が誤差を含む場合がある。Ｘ座標およびＹ座標の各々の算出結果と比較して、Ｚ座標の算出結果は、より大きな誤差を含みやすい。Ｚ軸に平行な方向は、画像の奥行き方向である。ユーザーが３Ｄ画像Ｇ５１において被写体のエッジ上の計測点を指定したと考えた場合であっても、その計測点が被写体のエッジ上にないことがある。計測点Ｐ５１は、３Ｄ画像Ｇ５２上の被写体ＯＢ５１の大きな点群から離れている。計測点Ｐ５２は、３Ｄ画像Ｇ５３上の被写体ＯＢ５１の大きな点群から離れている。そのため、ユーザーは、カーソルＣＲ５１が示す計測点の位置が妥当ではないと判断することができる。
【０３６０】
図４６に示す例では、２枚の３Ｄ画像Ｇ５２および３Ｄ画像Ｇ５３が表示部５に表示される。３Ｄ画像Ｇ５２のみ、あるいは３Ｄ画像Ｇ５３のみが表示部５に表示されてもよい。
【０３６１】
第８の実施形態において、第２の視点から第２の方向に見た被写体の３Ｄ画像と、第３の視点から第３の方向に見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０３６２】
（第９の実施形態）
本発明の第９の実施形態を説明する。第８の実施形態において説明した方法で３Ｄ画像が表示された場合、３Ｄ画像内の被写体の表面の角度に起因して、計測点の妥当性の判断が難しい場合がある。
【０３６３】
図４９および図５０は、第８の実施形態において説明した方法で生成された３Ｄ画像を示す。図４９は、被写体の表面を近似する平面がＺ軸に対して４５度の角度を持つ場合にＸ軸に平行な方向に見た被写体の３Ｄ画像Ｇ５６を示す。図５０は、被写体の表面を近似する平面がＺ軸に対して４５度の角度を持つ場合にＹ軸に平行な方向に見た被写体の３Ｄ画像Ｇ５７を示す。
【０３６４】
３Ｄ画像Ｇ５６および３Ｄ画像Ｇ５７において、大きな誤差を含む３次元座標を持つ点が被写体の表面上の他の点と重なる場合がある。そのため、計測点の位置が妥当であるか否かをユーザーが判断することが難しい。また、計測点が被写体のエッジの近傍に設定された場合、エッジと計測点との間のずれの方向がユーザーに分かりにくい。
【０３６５】
第９の実施形態において、視点算出部１８５は、計測点の周辺の領域における被写体の状態に基づいて第２の方向および第２の視点を算出する。具体的には、基準図形算出部１８４は、少なくとも３つの点の３次元座標に基づいて、基準図形を算出する。第９の実施形態において基準図形は、被写体の表面を近似する平面である。少なくとも３つの点の各々は被写体上の複数の点の１つである。少なくとも３つの点は、少なくとも１つの計測点に基づいて決定される。第２の方向は、直線軸に平行である。直線軸は、基準図形に垂直であり、または基準図形に平行である。第２の視点は、直線軸上にある。
【０３６６】
視点算出部１８５は、計測点の周辺の領域に被写体のエッジがあるか否かを判断する。計測点の周辺の領域に被写体のエッジがあると視点算出部１８５が判断した場合、視点算出部１８５は、エッジの位置に基づいて第２の方向および第２の視点を算出する。
【０３６７】
図５１を使用して、第９の実施形態における視線の方向の算出方法について説明する。図５１は、視線の方向を算出する手順を示す。座標算出部１８３は、撮像素子２８によって取得された２Ｄ画像における全画素の３次元座標を算出する。３次元座標が算出された後、図５１に示す処理が実行される。
【０３６８】
視点算出部１８５は、座標算出部１８３によって算出された３次元座標を持つ複数の点から計測点の周辺の少なくとも３つの点を抽出する。例えば、視点算出部１８５は、計測点から所定距離以内にある少なくとも３つの点を抽出する。計測点の周辺の少なくとも３つの点は、計測点を含んでもよい。計測点の周辺の少なくとも３つの点は、計測点を含まなくてもよい（ステップＳ５０１）。
【０３６９】
ステップＳ５０１の後、視点算出部１８５は、抽出された少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。例えば、視点算出部１８５は、最小二乗法を使用することにより、近似平面を算出する（ステップＳ５０２）。
【０３７０】
ステップＳ５０２の後、視点算出部１８５は、被写体の表面が平面であるか否かを判断する。例えば、視点算出部１８５は、ステップＳ５０１において抽出された少なくとも３つの点の各々と近似平面との距離の２乗和を算出する。視点算出部１８５は、２乗和と所定のしきい値とを比較する。２乗和がしきい値以下である場合、視点算出部１８５は、被写体の表面が平面であると判断する。２乗和がしきい値よりも大きい場合、視点算出部１８５は、被写体の表面が平面ではないと判断する（ステップＳ５０３）。
【０３７１】
ステップＳ５０３において、被写体の表面が平面であると視点算出部１８５が判断した場合、視点算出部１８５は、計測点の周辺にエッジがあるか否かを判断する（ステップＳ５０４）。エッジを検出するための様々なアルゴリズムが使用できる。例えば、２次元的なフィルタを２Ｄ画像に適用することによりエッジを検出する方法がある。２次元的なフィルタは、Ｃａｎｎｙ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ、Ｓｏｂｅｌフィルタ、またはＰｒｅｗｉｔｔフィルタ等である。Ｃａｎｎｙ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒを距離画像に適用することによりエッジを検出する方法がある。距離画像は、２Ｄ画像における各画素の値として、その画素における距離を含む画像である。Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｎｏｒｍａｌオペレータを３次元点群に適用することによりエッジを検出する方法がある。視点算出部１８５は、上記の方法以外の方法を使用することによりエッジを検出してもよい。
【０３７２】
ステップＳ５０４において、計測点の周辺にエッジがあると視点算出部１８５が判断した場合、視点算出部１８５は、Ｘ’軸およびＹ’軸を設定する。Ｘ’軸は、近似平面に平行な方向であって、エッジに垂直な方向に伸びる。Ｙ’軸は、近似平面に平行な方向であって、エッジに平行な方向に伸びる（ステップＳ５０５）。エッジが直線状ではない場合、エッジに最も近い近似直線が使用されてもよい。
【０３７３】
ステップＳ５０５の後、視点算出部１８５は、第２の方向をＸ’軸に平行な方向に設定する（ステップＳ５０６）。ステップＳ５０６の後、視点算出部１８５は、第３の方向をＹ’軸に平行な方向に設定する（ステップＳ５０７）。ステップＳ５０７が実行されたとき、視線の方向を算出する処理が終了する。
【０３７４】
ステップＳ５０４において、計測点の周辺にエッジがないと視点算出部１８５が判断した場合、視点算出部１８５は、Ｘ’軸およびＹ’軸を設定する。Ｘ’軸は、近似平面に平行な方向に伸びる。Ｙ’軸は、近似平面に平行な方向に伸びる（ステップＳ５０８）。ステップＳ５０８の後、ステップＳ５０６が実行される。
【０３７５】
ステップＳ５０３において、被写体の表面が平面ではないと視点算出部１８５が判断した場合、視点算出部１８５は、第２の方向を、初期視点および初期方向を規定するＸ軸に平行な方向に設定する（ステップＳ５０９）。ステップＳ５０９の後、視点算出部１８５は、第３の方向を、初期視点および初期方向を規定するＹ軸に平行な方向に設定する（ステップＳ５１０）。ステップＳ５１０が実行されたとき、視線の方向を算出する処理が終了する。
【０３７６】
図５１に示す手順において、Ｚ’軸の説明は省略されている。Ｚ’軸は、近似平面に垂直な方向に伸びる。
【０３７７】
図５１に示す手順において、第２の視点および第３の視点の説明は省略されている。例えば、第２の視点はＸ’軸上またはＸ軸上に設定される。例えば、第３の視点はＹ’軸上またはＹ軸上に設定される。
【０３７８】
図５２は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ６１が表示部５に表示される。３Ｄ画像Ｇ６１は、初期視点から初期方向に見た被写体ＯＢ６１の３Ｄ画像である。カーソルＣＲ６１が３Ｄ画像Ｇ６１上に表示される。カーソルＣＲ６１の位置に計測点が設定される。
【０３７９】
３Ｄ画像Ｇ６２および３Ｄ画像Ｇ６３が３Ｄ画像Ｇ６１上に表示される。３Ｄ画像Ｇ６２は、第２の視点から第２の方向に見た被写体ＯＢ６１の３Ｄ画像である。３Ｄ画像Ｇ６３は、第３の視点から第３の方向に見た被写体ＯＢ６１の３Ｄ画像である。計測点Ｐ６１が３Ｄ画像Ｇ６２上に表示される。計測点Ｐ６１は、第２の視点から第２の方向に見た計測点を示す。計測点Ｐ６２が３Ｄ画像Ｇ６３上に表示される。計測点Ｐ６２は、第３の視点から第３の方向に見た計測点を示す。３Ｄ画像Ｇ６２および３Ｄ画像Ｇ６３は、被写体の表面が平面であると判断され、かつ計測点の周辺にエッジがないと判断された場合に生成された３Ｄ画像の例である。
【０３８０】
画像生成部１８６は、ステップＳ５０２において算出された近似平面を３Ｄ画像に重畳する。表示制御部１８１は、近似平面が重畳された３Ｄ画像を表示部５に表示する。近似平面ＰＬ６１が３Ｄ画像Ｇ６２上に表示される。近似平面ＰＬ６２が３Ｄ画像Ｇ６３上に表示される。
【０３８１】
表示制御部１８１は、３Ｄ画像上の複数の点の各々から近似平面までの距離の統計量を示す情報が重畳された３Ｄ画像を表示部５に表示する。例えば、視点算出部１８５は、ステップＳ５０１において抽出された少なくとも３つの点の各々と近似平面との距離の標準偏差σを算出する。視点算出部１８５は、近似平面から２σだけ離れた２つの平面を算出する。２つの平面は、近似平面に平行である。画像生成部１８６は、２つの平面を３Ｄ画像に重畳する。表示制御部１８１は、２つの平面が重畳された３Ｄ画像を表示部５に表示する。平面ＰＬ６３ａおよび平面ＰＬ６３ｂが３Ｄ画像Ｇ６２上に表示される。平面ＰＬ６３ａおよび平面ＰＬ６３ｂは、統計量を示す。平面ＰＬ６４ａおよび平面ＰＬ６４ｂが３Ｄ画像Ｇ６３上に表示される。平面ＰＬ６４ａおよび平面ＰＬ６４ｂは、統計量を示す。
【０３８２】
ユーザーは、計測点Ｐ６１と近似平面ＰＬ６１との距離に基づいて、計測点Ｐ６１の妥当性を判断する。あるいは、ユーザーは、計測点Ｐ６２と近似平面ＰＬ６２との距離に基づいて、計測点Ｐ６２の妥当性を判断する。ユーザーは、平面ＰＬ６３ａおよび平面ＰＬ６３ｂを参考にして計測点Ｐ６１の妥当性を判断することができる。ユーザーは、平面ＰＬ６４ａおよび平面ＰＬ６４ｂを参考にして計測点Ｐ６２の妥当性を判断することができる。
【０３８３】
計測点Ｐ６１は、平面ＰＬ６３ａおよび平面ＰＬ６３ｂの間にない。つまり、計測点Ｐ６１と近似平面ＰＬ６１との距離は大きい。計測点Ｐ６２は、平面ＰＬ６４ａおよび平面ＰＬ６４ｂの間にない。つまり、計測点Ｐ６２と近似平面ＰＬ６２との距離は大きい。これは、カーソルＣＲ６１が示す計測点の３次元座標が大きな誤差を含むことを示す。そのため、ユーザーは、カーソルＣＲ６１が示す計測点の位置が妥当ではないと判断することができる。
【０３８４】
図５３は、表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ６１ａが表示部５に表示される。３Ｄ画像Ｇ６１ａは、初期視点から初期方向に見た被写体ＯＢ６１の３Ｄ画像である。カーソルＣＲ６１ａが３Ｄ画像Ｇ６１ａ上に表示される。カーソルＣＲ６１ａの位置に計測点が設定される。カーソルＣＲ６１ａが示す計測点の近傍に被写体ＯＢ６１のエッジがある。
【０３８５】
３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａが３Ｄ画像Ｇ６１ａ上に表示される。３Ｄ画像Ｇ６２ａは、第２の視点から第２の方向に見た被写体ＯＢ６１の３Ｄ画像である。３Ｄ画像Ｇ６３ａは、第３の視点から第３の方向に見た被写体ＯＢ６１の３Ｄ画像である。計測点Ｐ６１ａが３Ｄ画像Ｇ６２上に表示される。計測点Ｐ６１ａは、第２の視点から第２の方向に見た計測点を示す。計測点Ｐ６２ａが３Ｄ画像Ｇ６３ａ上に表示される。計測点Ｐ６２ａは、第３の視点から第３の方向に見た計測点を示す。３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａは、被写体の表面が平面であると判断され、かつ計測点の周辺にエッジがあると判断された場合に生成された３Ｄ画像の例である。
【０３８６】
近似平面ＰＬ６１ａが３Ｄ画像Ｇ６２ａ上に表示される。近似平面ＰＬ６２ａが３Ｄ画像Ｇ６３ａ上に表示される。３Ｄ画像上の複数の点の各々から近似平面までの距離の統計量を示す情報が３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａ上に表示されてもよい。
【０３８７】
計測点Ｐ６１ａは、近似平面ＰＬ６１ａ上にある。計測点Ｐ６２ａは、近似平面ＰＬ６２ａ上にある。そのため、ユーザーは、カーソルＣＲ６１ａが示す計測点の位置が妥当であると判断することができる。
【０３８８】
図５２に示す例では、２枚の３Ｄ画像Ｇ６２および３Ｄ画像Ｇ６３が表示部５に表示される。３Ｄ画像Ｇ６２のみ、あるいは３Ｄ画像Ｇ６３のみが表示部５に表示されてもよい。図５３に示す例では、２枚の３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａが表示部５に表示される。３Ｄ画像Ｇ６２ａのみ、あるいは３Ｄ画像Ｇ６３ａのみが表示部５に表示されてもよい。
【０３８９】
第９の実施形態において、第２の視点から第２の方向に見た被写体の３Ｄ画像と、第３の視点から第３の方向に見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
【０３９０】
計測点の周辺の領域において被写体の表面が平面である場合、視線の方向はその平面に平行な方向に設定される。そのため、計測点の位置が妥当であるか否かをユーザーが判断することが容易である。
【０３９１】
計測点の周辺の領域において被写体の表面が平面であり、かつ計測点の近傍に被写体のエッジがある場合、視線の方向はその平面に平行であり、かつそのエッジに平行である。あるいは、視線の方向はその平面に平行であり、かつそのエッジに垂直である。そのため、計測点の位置が妥当であるか否かをユーザーが判断することが容易である。
【０３９２】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【０３９３】
１  内視鏡装置
２  挿入部
３  本体
４  操作部
５  表示部
８  内視鏡ユニット
９  ＣＣＵ
１０  制御装置
１２  映像信号処理回路
１３  ＲＯＭ
１４  ＲＡＭ
１５  カードインタフェース
１６  外部機器インタフェース
１７  制御インタフェース
１８  ＣＰＵ
２０  先端
２８  撮像素子
１８０  制御部
１８１  表示制御部
１８２  点設定部
１８３  座標算出部
１８４  基準図形算出部
１８５  視点算出部
１８６  画像生成部
１８７  計測部
【図１】
2020126208.tif 000003
【図２】
2020126208.tif 000004
【図３】
2020126208.tif 000005
【図４】
2020126208.tif 000006
【図５】
2020126208.tif 000007
【図６】
2020126208.tif 000008
【図７】
2020126208.tif 000009
【図８】
2020126208.tif 000010
【図９】
2020126208.tif 000011
【図１０】
2020126208.tif 000012
【図１１】
2020126208.tif 000013
【図１２】
2020126208.tif 000014
【図１３】
2020126208.tif 000015
【図１４】
2020126208.tif 000016
【図１５】
2020126208.tif 000017
【図１６】
2020126208.tif 000018
【図１７】
2020126208.tif 000019
【図１８】
2020126208.tif 000020
【図１９】
2020126208.tif 000021
【図２０】
2020126208.tif 000022
【図２１】
2020126208.tif 000023
【図２２】
2020126208.tif 000024
【図２３】
2020126208.tif 000025
【図２４】
2020126208.tif 000026
【図２５】
2020126208.tif 000027
【図２６】
2020126208.tif 000028
【図２７】
2020126208.tif 000029
【図２８】
2020126208.tif 000030
【図２９】
2020126208.tif 000031
【図３０】
2020126208.tif 000032
【図３１】
2020126208.tif 000033
【図３２】
2020126208.tif 000034
【図３３】
2020126208.tif 000035
【図３４】
2020126208.tif 000036
【図３５】
2020126208.tif 000037
【図３６】
2020126208.tif 000038
【図３７】
2020126208.tif 000039
【図３８】
2020126208.tif 000040
【図３９】
2020126208.tif 000041
【図４０】
2020126208.tif 000042
【図４１】
2020126208.tif 000043
【図４２】
2020126208.tif 000044
【図４３】
2020126208.tif 000045
【図４４】
2020126208.tif 000046
【図４５】
2020126208.tif 000047
【図４６】
2020126208.tif 000048
【図４７】
2020126208.tif 000049
【図４８】
2020126208.tif 000050
【図４９】
2020126208.tif 000051
【図５０】
2020126208.tif 000052
【図５１】
2020126208.tif 000053
【図５２】
2020126208.tif 000054
【図５３】
2020126208.tif 000055