(57)【要約】【課題】画像取得部の移動量の判定を、コストや大きさに制約を受けない構成に依って実現する。【解決手段】測定対象物の画像を取得するために用いられる画像取得部の相対的な移動量を判定する移動量判定装置は、特定のタイミング以降に画像取得部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を判定する重なり判定部と、特定のタイミング以降に画像取得部を用いて取得された複数の画像を、重なり判定部が判定した重なり部分で重ねて合成画像を生成する合成画像生成部と、合成画像生成部が生成した合成画像に基づいて、画像取得部の測定対象物に対する相対移動量を判定する移動量判定部と、を備える。【選択図】図２
2020067592.tif 000002
【特許請求の範囲】
【請求項１】
測定対象物の画像を取得するために用いられる画像取得部の相対的な移動量を判定する移動量判定装置であって、
特定のタイミング以降に前記画像取得部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を判定する重なり判定部と、
前記特定のタイミング以降に前記画像取得部を用いて取得された複数の画像を、前記重なり判定部が判定した重なり部分で重ねて合成画像を生成する合成画像生成部と、
前記合成画像生成部が生成した合成画像に基づいて、前記画像取得部の前記測定対象物に対する相対移動量を判定する移動量判定部と、
を備えることを特徴とする移動量判定装置。
【請求項２】
前記移動量判定部に依り判定された移動量を表示する表示部、
を更に備えることを特徴とする請求項１に記載の移動量判定装置。
【請求項３】
前記重なり判定部は、推論モデルを用いて前記重なり部分を判定する、
ことを特徴とする請求項１又は２に記載の移動量判定装置。
【請求項４】
前記推論モデルは、対象物に沿って既知のずらし量をもって撮像した複数画像と、その重なり部の関係を少なくとも一つの入出力ペアを教師データとして行った機械学習によって得られる、
ことを特徴とする請求項３に記載の移動量判定装置。
【請求項５】
前記推論モデルは、対象物に沿って既知のずらし量をもって撮像した２画像と、これらの２画像の重なり部の幅の関係を少なくとも一つの入出力ペアを教師データとして行った機械学習によって得られる、
ことを特徴とする請求項３に記載の移動量判定装置。
【請求項６】
前記推論モデルは、対象物に沿って既知のずらし量をもって撮像した複数画像と、当該対象物の画像を取得した時の画像取得部の相対的な移動量を少なくとも一つの入出力ペアを教師データとして行った機械学習によって得られる、
ことを特徴とする請求項３に記載の移動量判定装置。
【請求項７】
外部機器と通信を行う通信部を更に備え、
前記推論モデルは、前記外部機器から前記通信部を経由して取得される、
ことを特徴とする請求項３乃至６の何れか1項に記載の移動量判定装置。
【請求項８】
前記画像取得部は、画像を取得するために用いられる撮像部である、
ことを特徴とする請求項１乃至７の何れか１項に記載の移動量判定装置。
【請求項９】
前記撮像部が一方向に移動する場合において、前記合成画像生成部が生成する合成画像は、前記特定のタイミング以降に前記撮像部を用いて取得された複数の画像が前記一方向と直交する方向に配置された画像である、
ことを特徴とする請求項８に記載の移動量判定装置。
【請求項１０】
前記移動量判定部は、前記合成画像生成部が生成した合成画像の長さを、前記撮像部の移動量に換算することに依り、前記撮像部の移動量を判定する、
ことを特徴とする請求項９に記載の移動量判定装置。
【請求項１１】
前記移動量判定部は、前記合成画像生成部が生成した合成画像と、基準合成画像とに基づいて、前記撮像部の移動量を判定し、
前記基準合成画像は、前記撮像部が前記一方向に基準移動量移動する間に前記撮像部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を前記重なり判定部が判定し、前記撮像部が前記一方向に前記基準移動量移動する間に前記撮像部を用いて取得された複数の画像を、前記合成画像生成部が前記重なり部分で重ねて合成画像を生成することに依り、作成される、
ことを特徴とする請求項９に記載の移動量判定装置。
【請求項１２】
前記画像取得部は、超音波画像を取得するために用いられる超音波探触子である、
ことを特徴とする請求項１乃至７の何れか１項に記載の移動量判定装置。
【請求項１３】
前記移動量判定部が判定する前記超音波探触子の移動量は、中空の円筒形状を有する被検体に対する前記超音波探触子の回転角度である、
ことを特徴とする請求項１２に記載の移動量判定装置。
【請求項１４】
前記移動量判定部は、前記合成画像生成部が生成した合成画像の長さと、当該合成画像に含まれる、前記被検体に対する前記超音波探触子の一回転分の部分合成画像の長さとに基づいて、前記被検体に対する前記超音波探触子の回転角度を判定する、
ことを特徴とする請求項１３に記載の移動量判定装置。
【請求項１５】
測定対象物の画像を取得するために用いられる画像取得部の相対的な移動量を判定する移動量判定装置において実行される移動量判定方法であって、
特定のタイミング以降に前記画像取得部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を判定し、
前記特定のタイミング以降に前記画像取得部を用いて取得された複数の画像を、前記重なり部分で重ねて合成画像を生成し、
前記合成画像に基づいて、前記画像取得部の前記測定対象物に対する相対移動量を判定する、
ことを特徴とする移動量判定方法。
【請求項１６】
測定対象物の画像を取得するために用いられる画像取得部の相対的な移動量を判定する移動量判定装置のコンピュータに、
特定のタイミング以降に前記画像取得部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を判定し、
前記特定のタイミング以降に前記画像取得部を用いて取得された複数の画像を、前記重なり部分で重ねて合成画像を生成し、
前記合成画像に基づいて、前記画像取得部の前記測定対象物に対する相対移動量を判定する、
という処理を実行させることを特徴とする移動量判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を取得するために用いられる画像取得部の移動量を判定する移動量判定装置、移動量判定装置において実行される移動量判定方法、及び移動量判定装置のコンピュータに実行される移動量判定プログラムに関する。
【背景技術】
【０００２】
従来、距離を測定する装置が知られている。
例えば、特許文献１には、超音波探触子を体内に挿入して超音波診断を行う超音波診断装置において、超音波探触子の超音波振動子を用いて超音波の送受信を行い、挿入方向前方側の対象物との距離を測定すること等が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−８２６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、画像を取得するために用いられる画像取得部が移動したときの移動量の計測を、コストや大きさに制約を受けない構成に依って実現したい、という要望がある。
本発明は、上記実状に鑑み、画像取得部の移動量の判定を、コストや大きさに制約を受けない構成に依って実現することができる移動量判定装置、移動量判定方法、及び移動量判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、測定対象物の画像を取得するために用いられる画像取得部の相対的な移動量を判定する移動量判定装置であって、特定のタイミング以降に前記画像取得部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を判定する重なり判定部と、前記特定のタイミング以降に前記画像取得部を用いて取得された複数の画像を、前記重なり判定部が判定した重なり部分で重ねて合成画像を生成する合成画像生成部と、前記合成画像生成部が生成した合成画像に基づいて、前記画像取得部の前記測定対象物に対する相対移動量を判定する移動量判定部と、を備える。
【０００６】
本発明の第２の態様は、第１の態様において、前記移動量判定部に依り判定された移動量を表示する表示部、を更に備える。
本発明の第３の態様は、第１又は２の態様において、前記重なり判定部は、推論モデルを用いて前記重なり部分を判定する。
【０００７】
本発明の第４の態様は、第３の態様において、前記推論モデルは、対象物に沿って既知のずらし量をもって撮像した複数画像と、その重なり部の関係を少なくとも一つの入出力ペアを教師データとして行った機械学習によって得られる。
【０００８】
本発明の第５の態様は、第３の態様において、前記推論モデルは、対象物に沿って既知のずらし量をもって撮像した２画像と、これらの２画像の重なり部の幅の関係を少なくとも一つの入出力ペアを教師データとして行った機械学習によって得られる。
【０００９】
本発明の第６の態様は、第３の態様において、前記推論モデルは、対象物に沿って既知のずらし量をもって撮像した複数画像と、当該対象物の画像を取得した時の画像取得部の相対的な移動量を少なくとも一つの入出力ペアを教師データとして行った機械学習によって得られる。
【００１０】
本発明の第７の態様は、第３乃至６の何れか１つの態様において、外部機器と通信を行う通信部を更に備え、前記推論モデルは、前記外部機器から前記通信部を経由して取得される。
本発明の第８の態様は、第１乃至７の何れか１つの態様において、前記画像取得部は、画像を取得するために用いられる撮像部である。
【００１１】
本発明の第９の態様は、第８の態様において、前記撮像部が一方向に移動する場合において、前記合成画像生成部が生成する合成画像は、前記特定のタイミング以降に前記撮像部を用いて取得された複数の画像が前記一方向と直交する方向に配置された画像である。
【００１２】
本発明の第１０の態様は、第９の態様において、前記移動量判定部は、前記合成画像生成部が生成した合成画像の長さを、前記撮像部の移動量に換算することに依り、前記撮像部の移動量を判定する。
【００１３】
本発明の第１１の態様は、第９の態様において、前記移動量判定部は、前記合成画像生成部が生成した合成画像と、基準合成画像とに基づいて、前記撮像部の移動量を判定し、前記基準合成画像は、前記撮像部が前記一方向に基準移動量移動する間に前記撮像部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を前記重なり判定部が判定し、前記撮像部が前記一方向に前記基準移動量移動する間に前記撮像部を用いて取得された複数の画像を、前記合成画像生成部が前記重なり部分で重ねて合成画像を生成することに依り、作成される。
【００１４】
本発明の第１２の態様は、第１乃至７の何れか１つの態様において、前記画像取得部は、超音波画像を取得するために用いられる超音波探触子である。
本発明の第１３の態様は、第１２の態様において、前記移動量判定部が判定する前記超音波探触子の移動量は、中空の円筒形状を有する被検体に対する前記超音波探触子の回転角度である。
【００１５】
本発明の第１４の態様は、第１３の態様において、前記移動量判定部は、前記合成画像生成部が生成した合成画像の長さと、当該合成画像に含まれる、前記被検体に対する前記超音波探触子の一回転分の部分合成画像の長さとに基づいて、前記被検体に対する前記超音波探触子の回転角度を判定する。
【００１６】
本発明の第１５の態様は、測定対象物の画像を取得するために用いられる画像取得部の相対的な移動量を判定する移動量判定装置において実行される移動量判定方法であって、特定のタイミング以降に前記画像取得部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を判定し、前記特定のタイミング以降に前記画像取得部を用いて取得された複数の画像を、前記重なり部分で重ねて合成画像を生成し、前記合成画像に基づいて、前記画像取得部の前記測定対象物に対する相対移動量を判定する。
【００１７】
本発明の第１６の態様は、測定対象物の画像を取得するために用いられる画像取得部の相対的な移動量を判定する移動量判定装置のコンピュータに、特定のタイミング以降に前記画像取得部を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を判定し、前記特定のタイミング以降に前記画像取得部を用いて取得された複数の画像を、前記重なり部分で重ねて合成画像を生成し、前記合成画像に基づいて、前記画像取得部の前記測定対象物に対する相対移動量を判定する、という処理を実行させる移動量判定プログラムである。
【発明の効果】
【００１８】
本発明に依れば、画像を取得するために用いられる画像取得部の移動量の判定を、コストや大きさに制約を受けない構成に依って実現することができる、という効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態に係る移動量判定装置である工業用内視鏡装置の外観構成例を示す図である。
【図２】内視鏡装置、及び内視鏡装置と通信可能な外部機器の構成例を示す図である。
【図３】機械学習部が入出力モデルを生成する過程を模式的に示す図である。
【図４】内視鏡装置において実行される撮像アクセス制御処理の一例を示すフローチャートである。
【図５】撮像アクセス制御処理において、アクセスモード期間中に挿入部が被検体内部へ一方向に挿入されたときに生成される合成画像の一例を示す図である。
【図６】外部機器において実行される処理の一例を示すフローチャートである。
【図７】内視鏡装置において実行される撮像アクセス制御処理の他の例を示すフローチャートである。
【図８Ａ】図７に示した撮像アクセス制御処理において、キャリブレーションモードが設定されているときに表示部に表示された画面例を示す図（その１）である。
【図８Ｂ】図７に示した撮像アクセス制御処理において、キャリブレーションモードが設定されているときに表示部に表示された画面例を示す図（その２）である。
【図９】第２の実施形態に係る移動量判定装置である超音波検査装置の構成例を示す図である。
【図１０】被検体へ送信された超音波（送信波）と被検体で反射された超音波（反射波）の一例を模式的に示す図である。
【図１１】被検体を回転させたときの反射波検出時間の推移の一例を示す図である。
【図１２】超音波検査装置において実行される探傷アクセス制御処理の一例を示すフローチャートである。
【図１３】ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら、本発明の実施の形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る移動量判定装置である工業用内視鏡装置（以下単に「内視鏡装置」という）の外観構成例を示す図である。
【００２１】
図１に示したとおり、内視鏡装置１は、内視鏡挿入部（以下単に「挿入部」という）１０１、表示部１０２、及び湾曲操作部１０３を備える。
挿入部１０１は、被検体とされる構造物の内部に挿入される部分であって、その先端部に後述する撮像部１０４を有する。挿入部１０１は、所謂軟性内視鏡の挿入部でもある。
【００２２】
表示部１０２は、画像や情報を表示する。例えば、撮像部１０４を用いて取得された画像や、後述する挿入部１０１の挿入距離（撮像部１０４の移動量でもある）を表示する。
湾曲操作部１０３は、挿入部１０１の先端部を湾曲させるための操作を受け付ける。これに依り、ユーザは、湾曲操作部１０３を操作して挿入部１０１の先端部を自由に湾曲させることができ、撮像部１０４が撮像する被写体領域を変更することができる。
【００２３】
図２は、内視鏡装置１、及び内視鏡装置１と通信可能な外部機器の構成例を示す図である。
図２に示したとおり、内視鏡装置１は、撮像部１０４、時計部１０５、制御部１０６、推論エンジン１０７、通信部１０８、表示部１０２、操作部１０９、及び記録部１１０を備える。なお、撮像部１０４は、画像を取得するために用いられる画像取得部の一例である。
【００２４】
撮像部１０４は、上述のとおり挿入部１０１の先端部に備えられており、光学系１０４ａ、撮像素子１０４ｂ、及び湾曲部１０４ｃを備える。
光学系１０４ａは、被写体の光学像（被写体像）を撮像素子１０４ｂに結像させる。
【００２５】
撮像素子１０４ｂは、光学系１０４ａに依り結像された被写体像を電気信号に変換する。この電気信号に基づいて撮像部１０４では画像が生成（取得）される。撮像素子１０４ｂは、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。
【００２６】
湾曲部１０４ｃは、湾曲操作部１０３が受け付けた操作に応じて、挿入部１０１の先端部を湾曲させる機構である。
時計部１０５は、時刻データ又は日時データを生成する。
【００２７】
制御部１０６は、内視鏡装置１の全体を制御する。制御部１０６は、重なり判定部１０６ａ、合成処理部１０６ｂ、駆動部１０６ｃ、通信制御部１０６ｄ、記録制御部１０６ｅ、移動量判定部１０６ｆ、及び表示制御部１０６ｇを備える。
【００２８】
重なり判定部１０６ａは、特定のタイミング以降に撮像部１０４を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回（１つ前）に取得された画像との重なり部分を判定する。本実施形態では、この判定が、推論エンジン１０７と協働して行われる。
【００２９】
合成処理部１０６ｂは、特定のタイミング以降に撮像部１０４を用いて取得された複数の画像を、重なり判定部１０６ａが判定した重なり部分で重ねて合成画像を生成する。例えば、特定のタイミング以降に撮像部１０４が被検体内部へ一方向に挿入されている場合に生成される合成画像は、その特定のタイミング以降に撮像部１０４を用いて取得された複数の画像が、その一方向に対して直交する方向に配置された画像となる。
【００３０】
駆動部１０６ｃは、撮像部１０４を駆動する。
通信制御部１０６ｄは、通信部１０８を経由して行われる外部機器２等との通信を制御する。
【００３１】
記録制御部１０６ｅは、記録部１１０への画像ファイル等の記録を制御する。
移動量判定部１０６ｆは、合成処理部１０６ｂが生成した合成画像に基づいて、撮像部１０４の移動量を判定する。例えば、移動量判定部１０６ｆは、合成処理部１０６ｂが生成した合成画像の長さを撮像部１０４の移動量に換算することに依り、撮像部１０４の移動量を判定してもよい。あるいは、例えば、移動量判定部１０６ｆは、合成処理部１０６ｂが生成した合成画像と、基準合成画像とに基づいて、撮像部１０４の移動量を判定してもよい。この場合、基準合成画像は、例えば、撮像部１０４が一方向に基準移動量移動する間に撮像部１０４を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を重なり判定部１０６ａが判定し、撮像部１０４が一方向に基準移動量移動する間に撮像部１０４を用いて取得された複数の画像を、合成処理部１０６ｂが重なり部分で重ねて合成画像を生成することに依り、作成される。
【００３２】
表示制御部１０６ｇは、表示部１０２への画像や情報の表示を制御する。
推論エンジン１０７は、推論モデルを用いて、２つの画像の入力に対して、その２つの画像の重なり部分を推論して出力する。本実施形態では、特定のタイミング以降に撮像部１０４を用いて取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像という２つの画像の入力に対して、その２つの画像の重なり部分を推論して重なり判定部１０６ａに出力する。ここで、重なり部分の推論は、例えば、２つの画像の粒状性の類似度に基づいて行われてもよい。
【００３３】
また、推論エンジン１０７は、推論モデル１０７ａを記憶する記憶部１０７ｂを備える。記憶部１０７ｂは、複数の推論モデル１０７ａを記憶してもよい。この場合、複数の推論モデル１０７ａは、例えば、被検体とされる構造物別の推論モデルあってもよいし、被検体とされる構造物の内部の材質別の推論モデルであってもよい。また、この場合は、被検体とされる構造物の種類や、被検体とされる構造物の内部の材質に応じて、使用する推論モデル１０７ａをユーザが選択してもよい。この選択は、操作部１０９の操作に依って行うことができる。
【００３４】
通信部１０８は、外部機器２等との間で通信を行う通信インターフェースである。通信部１０８は、例えば、記憶部１０７ｂに記憶される推論モデルを外部機器２から受信する。なお、近年、こうした学習を内視鏡装置１など端末内で行う試みも生まれており、機械学習を行う部分が必ずしも外部にある必要はない。また、推論エンジン１０７が逆に外部にあるような設計が可能であることは言うまでもない。
【００３５】
また、内蔵の学習装置と外部にある学習装置が連携してもよい。外部の学習装置は消費電力などを気にせず高速で稼働できるので、ここでの豊富な計算リソースで、大掛かりな機械学習を行い、そこで得られた情報をもとに、小規模な内蔵学習装置を使って効率的な学習を行うことも可能である。例えば、ニューラル・ネットワークの層を減らしたり寄与度の小さい情報を刈り込むなどの調整で、小規模でも実用的で高精度な推論モデルを作ることが出来る。
【００３６】
表示部１０２は、画像や情報を表示する。表示部１０２は、例えば、ＬＣＤ（Liquid Crystal Display）である。あるいは、表示部１０２は、タッチパネル付きの表示部であってもよい。
【００３７】
操作部１０９は、上述の湾曲操作部１０３を含み、内視鏡装置１に対する各種の入力操作を受け付ける。なお、表示部１０２がタッチパネル付き表示部である場合、そのタッチパネルは、操作部１０９の一部である。
【００３８】
記録部１１０は、ＨＤＤ（hard disk drive）等の不揮発性メモリであり、例えば、撮像部１０４を用いて取得された撮影画像（静止画又は動画）の画像ファイルを記録する。画像ファイルは、撮影画像を表す画像データと、その撮影画像に関する補助データとを有する。補助データは、その撮影画像が撮影された日時データ等を含む。
【００３９】
なお、内視鏡装置１において、時計部１０５、制御部１０６、及び推論エンジン１０７等は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の回路に依って構成されてもよい。
【００４０】
外部機器２は、外部画像ＤＢ（database）２０１、及び機械学習部２０２を備える。なお、外部画像ＤＢ２０１と機械学習部２０２は別々の機器として構成されてもよい。
外部画像ＤＢ２０１は、画像記録部２０１ａ、及び通信部２０１ｂを備える。
【００４１】
画像記録部２０１ａは、ＨＤＤ等の不揮発性メモリであり、複数の連続取得画像群を記録する。連続取得画像群は、連続して取得された複数の画像であり、例えば、連写された複数の画像や、複数のフレーム画像を有する動画である。また、連続取得画像群は、付随情報を有する。付随情報は、連続取得画像群に表されている被写体の種類や材質等といった被写体に関する情報を含む。
【００４２】
通信部２０１ｂは、機械学習部２０２等との間で通信を行う通信インターフェースである。通信部２０１ｂは、例えば、画像記録部２０１ａに記録された連続取得画像群を、機械学習部２０２へ送信する。
【００４３】
機械学習部２０２は、母集合作成部２０２ａ、出力設定部２０２ｂ、入出力モデル化部２０２ｃ、及び通信部２０２ｄを備える。
母集合作成部２０２ａは、教師データとする複数の入出力ペアを作成する。本実施形態では、外部画像ＤＢ２０１から取得された連続取得画像群から、複数の入出力ペアを作成する。ここで、入出力ペアは、２つの画像を入力とし、その２つの画像の重なり部分を出力とする、入力と出力のペアである。出力とされる重なり部分は、例えば、入力とされる２つの画像の一方を他方に対して重ねてゆっくり移動させながら画像の粒状性の類似部分を探索することに依って得られる。
【００４４】
出力設定部２０２ｂは、入出力モデル化部２０２ｃに生成させる入出力モデルの出力を設定する。本実施形態では、入力とされる２つの画像の重なり部分（２画像対共通部分）を、その出力として設定する。
【００４５】
入出力モデル化部２０２ｃは、母集合作成部２０２ａが作成した複数の入出力ペアと、出力設定部２０２ｂが設定した出力とに基づいて、入出力モデルを生成する。これに依り、本実施形態では、２つの画像の入力に対して、その２つの画像の重なり部分を出力する、という入出力モデルが生成される。なお、ここで生成される入出力モデルは、推論モデルでもある。
【００４６】
通信部２０２ｄは、外部画像ＤＢ２０１や内視鏡装置１等との間で通信を行う通信インターフェースである。通信部２０２ｄは、例えば、連続取得画像群を外部画像ＤＢ２０１から受信し、また、生成された入出力モデル（推論モデル）を内視鏡装置１へ送信する。
【００４７】
なお、外部機器２において、母集合作成部２０２ａ、出力設定部２０２ｂ、及び入出力モデル化部２０２ｃ等は、例えば、ＡＳＩＣやＦＰＧＡ等の回路に依って構成されてもよい。
【００４８】
図３は、機械学習部２０２が入出力モデルを生成する過程を模式的に示す図である。
図３に示したとおり、機械学習部２０２は、母集合作成部２０２ａが作成した複数の入出力ペアと出力設定部２０２ｂが設定した出力とに基づいて、入出力モデルを生成する。詳しくは、機械学習部２０２は、複数の入出力ペアから、入力と出力の関係を機械学習し、更に、２つの画像の入力に対してその２つの画像の重なり部分を出力する、といった機械学習を行う。そして、その機械学習の結果として、機械学習済みの入出力モデルが得られる。このときに得られた入出力モデルは、回路やプログラムとして機器（例えば内視鏡装置１）に組み込むことができる。なお、近年では、機械学習が、ＳＬＡＭ（Simultaneous Localization and Mapping）と組み合わされて使用されていることが知られている。
【００４９】
非検体が製造されたものである場合、材質や設計その製造時の工程や環境などに従って、その非検体特有の表面状態が現れることがある。こうした、被検体とされる対象物（構造物）の特徴は、人間の目で見ても単調なパターンであることが多く、その繰り返しの情報量が多すぎて判別しきれないことが多い。もちろん、製造されたもの以外の生物なども成長時の条件で同様の個体差が現れ、これも同様のことが言える。このような微細な差異でも近年の大量のデータを扱った機械学習による画像認識技術の強みであるパターン分析によって測定場所に応じた差異の検出が可能となる。前述のように、あらかじめ同じ対象物の画像を既知のずらした位置から撮像した複数画像があれば、当該既知のずらし量と画像の重なり部の関係を入出力ペアとして教師データとして、２つの画像の入力に対してその２つの画像の重なり部分を出力する、といった機械学習が可能となる。つまり、ここで得る推論モデルは、対象物に沿って既知のずらし量をもって撮像した複数画像と、その重なり部の関係を入出力ペアとして教師データとして行った機械学習によって得られる。また、その素材特有の表面パターンの粒状性の大きさの情報をもとにした移動距離の判定も簡単に推論で可能となる。もちろん、対象物までの距離を略一定と考えて、画角から換算して対象物の幅の情報に変換したり重なりの情報に変換したりして移動距離を判定してもよい。重なり部位が判定できれば、そこから移動の距離の判定が推測可能でもある。得られた画像内に特定の粒状性を持つパターンがいくつ検出できるかによっても移動距離の換算が可能となる。また、前述の既知のずらし量と画像の重なり部の関係を入出力ペアとして教師データとして、２つの画像の入力に対してその２つの画像の重なり部分ではなく、重なり部分の距離（幅）を出力する、といった機械学習や、それによって進行した量を推論するための機械学習も可能となる。こうしたデータが同時に出てくる学習のさせ方もあり、複数の位置ずらし画像から重なり位置を推論し、かつその重なり幅や装置の移動量を推論する推論エンジンを得ることもできる。つまり、この推論モデルは、対象物に沿って既知のずらし量をもって撮像した複数画像と、当該対象物の画像を取得した時の画像取得部の相対的な移動量を少なくとも一つを入出力ペアとした教師データとして行った機械学習によって得られるものと表現が可能である。
【００５０】
この教師データとなる対象物は、あらかじめ非検体に類似の構造物や生物の器官などを用意して、それに対して撮影、その表面に沿ってずらした撮像位置で撮影、といったプロセスで得られた複数撮影画像の重なり部を正解となるように、教師データを用意したものでもよい。また、その測定現場で、非検体に対して、規定のずらし量で複数回撮像を行い、重なり画像部をパターンマッチング等で探させるようにしてもよい。規定のずらし量なので、単調なパターンの中でも、特徴的な部分を探しだして重なり部分を高精度で判定することができる。これまでもパノラマ合成のように、撮像位置の変更方向に沿って得られた画像を前の画像の変更方向側、後の画像の変更方向の反対側の画像部分の重なりを判定するものはあったが、これは、例えば長方形画像の一辺同志の類似部位を探せばよかったので一致部分の判定の処理が単純であったが、この実施例のように、画像撮像方向と進行方向とが一致して、画像の周辺部の共通部分（重なり）を判定するのは、対象部位の距離がどんどん変わるので画像の共通部分も単純には重ならず、また、進行距離の判定が困難であったが機械学習の結果で推論することで簡単に重なり判定、進行距離判定が可能となる。さらには、対象物までの距離が進行するにつれて偏って近づいたりすることもあり、単純なロジックによる判定を行うには変動要因が多すぎるので、こうした状況においても有効な手段として機械学習を使った本発明のような構成が有利となる。
【００５１】
なお、「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。
情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。
【００５２】
これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。
【００５３】
そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。
簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。
【００５４】
近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。
また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い「畳み込み型ニューラル・ネットワーク」や、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
【００５５】
その他、教師あり学習を用いるパターン認識モデルとして、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルタ係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。
【００５６】
これらの技術の実現のためには、ＣＰＵやＦＰＧＡといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（ＴＰＵ）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００５７】
ここで、教師データと同じ条件にする工夫への言及をしておく。例えばここでは「同じ材質の同じ方向からの検査」の例である。 
条件をそろえることで、推論の結果が向上することがあるので、学習時の教師データもこうした条件をそろえる等して工夫してもよく、撮像時に、学習時の教師データに合わせた条件で撮像して推論を行うことにより、正しい測定が可能となる。推論モデルを用いた推論を行う前に材質や測定物の情報、あるいは測定環境の情報を入力したり判定させたりする工夫は有効であり、この条件の情報や、環境要因などを補正するためのセンサを有してもよい。学習時にこのような制約を入れるかどうかで、推論エンジンの仕様や性能が変わるので、アノテーション作業を進めながら、このような試行錯誤ができてもよいし、その試行錯誤を表示させてもよい。
【００５８】
ここで、更に、カメラ用の小型推論エンジンの説明をしておく。
カメラや携帯機器等の情報端末製品に搭載するコンパクトタイプの推論エンジンは、少ない層で高精度判断するための学習は困難であり、また時間がかかるため、正確なアノテーションや学習のさせ方に工夫することが望まれる。推論モデルを生成する時、学習に使用した画像によって推論モデルの仕様が変わるので、学習時の情報と連携して効率的な学習を行ってもよい。そこで、どのような学習をさせたかを示す情報をアノテーション作業時に設定し、この情報を情報取得装置の記録部に推論情報の一部として記録しておいてもよい。
【００５９】
また、すでに説明したように、外部、内部の学習部の連携や、複数の学習部の連携を行って、より効率的な学習が可能である。大規模で豊富な計算リソースの学習器を使って大量の教師データで推論モデルを作成した情報を利用して、重要な情報をえりすぐって、より小型な推論モデルに変換できるようにする手法なども、本願は想定しており、この時、小規模な学習器を使って小型推論モデルを作成する。教師データを用いた推論と表現したものは、これらのどれかを行っておれば、何段階で行ってもよい。
【００６０】
ここで、更に、「教師なし学習」「強化学習」など教師データなし、その他への言及をしておく。
これまで説明したように、「教師あり学習」が、アノテーションによって出力を定められた教師データを使って「入力と出力の関係」を学習するもので、特定の条件下での信頼性の高い推論を行うものであるのに対し、「データの構造」を学習する「教師なし学習」の手法を用いることによって、より複雑な状況に対応できる推論モデルを取得してもよい。
【００６１】
また、「強化学習」と呼ばれる、「価値や効果を最大化するような行動」を学習する手法を用いても良い。これは、状態行動価値が増大化するような法則を見つけるように学習させるもので、現在ではなく次の状態の価値を見積もって高めたり、特定の報酬が得られたりするまで試行錯誤した結果を学習に反映させる。学習結果の検証には、教師データを使ってもよい。アノテーションによって得られた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるもので、未知の状況に対応できるようにしたものである。
【００６２】
これらは教師あり学習と併用してもよく、教師なし学習による推論のあと、教師あり学習による推論を行ってもよい。アノテーション用データは、こうした「教師なし学習」、「強化学習」の検証用データとしても利用が可能である。
【００６３】
機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、ここでは画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【００６４】
図４は、内視鏡装置１において実行される撮像アクセス制御処理の一例を示すフローチャートである。
図４に示したとおり、撮像アクセス制御処理では、まず、制御部１０６は、アクセスモードが設定されているか否かを判定する（Ｓ４０１）。アクセスモードは、ユーザが挿入部１０１を被検体内部へ一方向に挿入させたときの挿入部１０１の挿入距離（撮像部１０４の移動量でもある）をユーザに提示することができるモードである。アクセスモードは、ユーザが操作部１０９を操作することに依って設定することができる。
【００６５】
Ｓ４０１の判定結果がＹＥＳの場合、制御部１０６は、湾曲操作部１０３の操作に応じて挿入部１０１の先端部を湾曲させる等の制御を行う（Ｓ４０２）。なお、このＳ４０２は、その後、Ｓ４０１の判定結果がＮＯになるまでの間は実行されない。
【００６６】
次に、制御部１０６は、当該時点から、その後、Ｓ４０１の判定結果がＮＯになるまでの間（以下、「アクセスモード期間」という）に撮像部１０４を用いて時系列に取得される画像において、２つ目以降の画像が取得される毎に、Ｓ４０３乃至Ｓ４１４を行う。なお、アクセスモード期間は、Ｓ４０２の後にユーザが操作部１０９に対して所定の操作を行ったタイミングに開始してもよい。
【００６７】
詳しくは、制御部１０６は、その２つ目以降の画像が取得されると、取得された画像と前回に取得された画像とを比較し（Ｓ４０３）、その重なり部分を判定し（Ｓ４０４）、その重なり部分が有るか否かを判定する（Ｓ４０５）。
【００６８】
Ｓ４０５の判定結果がＮＯの場合、制御部１０６は、警告メッセージを表示部１０２に表示する等して、警告を行う（Ｓ４０６）。
一方、Ｓ４０５の判定結果がＹＥＳの場合、制御部１０６は、取得された画像と前回に取得された画像を、判定された重なり部分で重ねて合成画像を生成する（Ｓ４０７）。但し、アクセスモード期間において２回目以降に行われるＳ４０７では、取得された画像と前回のＳ４０７で生成された合成画像とを、判定された重なり部分で重ねて新たな合成画像を生成する。
【００６９】
Ｓ４０６又はＳ４０７の後、制御部１０６は、生成された合成画像に基づいて、アクセスモード期間が開始してからの挿入部１０１の挿入距離を判定可能か否かを判定する（Ｓ４０８）。
Ｓ４０８の判定結果がＮＯの場合、制御部１０６は、警告メッセージを表示部１０２に表示する等して、警告を行う（Ｓ４０９）。
【００７０】
一方、Ｓ４０８の判定結果がＹＥＳの場合、制御部１０６は、生成された合成画像の長さを、アクセスモード期間が開始してからの挿入部１０１の挿入距離に換算することに依り、挿入部１０１の挿入距離を判定し、その挿入距離を表示部１０２に表示する（Ｓ４１０）。なお、合成画像の長さは、例えば、その合成画像の生成に使用された複数の画像の配置方向の長さである。また、合成画像の長さから挿入距離への換算は、例えば、合成画像の長さと挿入部１０１の挿入距離との関係を機械学習させた結果に基づいて行われてもよい。
【００７１】
Ｓ４０９、又はＳ４１０の後、制御部１０６は、動画又は静止画の撮影開始指示が有るか否かを判定する（Ｓ４１１）。但し、この判定タイミングにおいて動画の撮影処理中である場合は、Ｓ４１１の判定結果がＹＥＳとして処理される。撮影開始指示は、ユーザが操作部１０９を操作することに依って行うことができる。
【００７２】
Ｓ４１１の判定結果がＮＯの場合は、処理がＳ４０１に戻る。
一方、Ｓ４１１の判定結果がＹＥＳの場合、制御部１０６は、撮像部１０４を用いて取得された撮影画像を表す画像データを、記録部１１０に記録する（Ｓ４１２）。
【００７３】
Ｓ４１２の後、制御部１０６は、動画又は静止画の撮影処理が終了したか否かを判定する（Ｓ４１３）。なお、動画の場合は、撮影終了指示が行われた後に撮影処理が終了する。撮影終了指示は、ユーザが操作部１０９を操作することに依って行うことができる。
【００７４】
Ｓ４１３の判定結果がＮＯの場合は、処理がＳ４０１に戻る。
一方、Ｓ４１３の判定結果がＹＥＳの場合、制御部１０６は、Ｓ４１２で記録部１１０に記録された撮影画像を表す画像データと、その撮影画像に関する補助データとをファイル化する（Ｓ４１４）。これに依り、その画像データと補助データとを含む画像ファイルが記録部１１０に記録される。
【００７５】
Ｓ４１４の後は、処理がＳ４０１に戻る。
一方、Ｓ４０１の判定結果がＮＯの場合、制御部１０６は、推論モデルの取得指示が有るか否かを判定する（Ｓ４１５）。推論モデルの取得指示は、ユーザが操作部１０９を操作することに依って行うことができる。
【００７６】
Ｓ４１５の判定結果がＮＯの場合は、処理がＳ４０１に戻る。
一方、Ｓ４１５の判定結果がＹＥＳの場合、制御部１０６は、被検体とされる対象物（構造物）の特徴を設定し、その特徴を含む、推論モデルの取得依頼を、外部機器２に対して行う（Ｓ４１６）。ここで、対象物の特徴は、材質等を含み、その特徴の設定は、ユーザが操作部１０９を操作することに依って行うことができる。
【００７７】
Ｓ４１６の後、制御部１０６は、その取得依頼に応じた推論モデルを外部機器２から取得して記憶部１０７ｂに記憶する（Ｓ４１７）。
Ｓ４１７の後は、処理がＳ４０１に戻る。
【００７８】
図５は、撮像アクセス制御処理において、アクセスモード期間中に挿入部１０１が被検体内部へ一方向に挿入されたときに生成される合成画像の一例を示す図である。なお、この例では、被検体が鉄パイプであるとする。
【００７９】
図５の（Ａ）は、アクセスモード期間の開始タイミングにおける、被検体内部に挿入された挿入部１０１の位置と、その時に撮像部１０４を用いて取得された画像１２１を示している。この時は、アクセスモード期間の開始タイミングであるので、挿入部１０１の挿入距離Ｄは、０とされる。
【００８０】
図５の（Ｂ）は、その後、更に被検体内部へ挿入されたときの挿入部１０１の位置と、その時に生成された合成画像１２２を示している。この時の挿入距離Ｄは、例えば、生成された合成画像１２２の幅方向の長さを挿入距離に換算することに依り、Ｄ１と判定される。ここで、合成画像１２２の幅方向は、合成画像１２２の生成に使用された複数の画像の配置方向でもある。ここでは、素材、設計、製造方法、製造環境に従って変化する、その対象物ごとに異なるユニークな構造的な非一様性があり、それが対象物の表面に生じて、パターンとして現れるものを検出して、図３で説明したような考え方で推論を行う。
【００８１】
図５の（Ｃ）は、その後、更に被検体内部へ挿入されたときの挿入部１０１の位置と、その時に生成された合成画像１２３の一例を示している。この時の挿入距離Ｄは、例えば、生成された合成画像１２３の幅方向の長さを挿入距離に換算することに依り、２×Ｄ１と判定される。ここで、合成画像１２３の幅方向は、合成画像１２３の生成に使用された複数の画像の配置方向でもある。
【００８２】
なお、図５において、合成画像１２２、１２３は、パノラマ化された画像ということもできる。このような画像から各画像の幅が画角などで既知、あるいは重なり部が推論可能であれば、移動距離は画像幅＋画像幅−重なり幅で算出することが出来るし、このような算出を行わずとも、学習のさせ方によっては、移動距離を画像の変化から直接推論することも可能となる。また、ここで既知の移動距離だけ移動を繰り返して教師データとしてその場で学習させることも可能である。この既知の挿入量（移動距離）と推論結果が異なる時には、操作者が想定していない条件の変化が起こっている場合もあり得るので、再度、学習のやり直しを行ってもよい。また、画像そのものからも、それが正しい推論に向いているかどうかを判定することが可能となる。検出された表面パターンや管の大きさや形状などが学習に用いたものと異なるかどうかを判定して、最初に警告を出すような工夫が可能であることは言うまでもない。
【００８３】
図６は、外部機器２において実行される処理の一例を示すフローチャートである。
図６に示したとおり、この処理では、まず、外部機器２は、学習依頼が有るか否かを判定する（Ｓ６０１）。学習依頼は、図４のＳ４１６で内視鏡装置１が外部機器２に対して行う推論モデルの取得依頼でもある。
【００８４】
Ｓ６０１の判定結果がＮＯの場合は、本判定が繰り返される。
一方、Ｓ６０１の判定結果がＹＥＳの場合、外部機器２は、対象物種別の設定を行う（Ｓ６０２）。この設定は、例えば、推論モデルの取得依頼に含まれる対象物の特徴に基づいて行われる。
【００８５】
Ｓ６０２の後、外部機器２は、対象物種別の設定に基づいて学習母体の設定を行う（Ｓ６０３）。この学習母体の設定では、例えば、対象物とされる構造物の指定等が行われる。
【００８６】
Ｓ６０３の後、外部機器２は、学習母体の設定に基づいて画像記録部２０１ａから取得した連続取得画像群から、画像の重なり部分の探索（Ｓ６０４）、及び、教師データである複数の入出力ペアの作成（Ｓ６０５）を行う。ここで、入出力ペアは、２つの画像を入力とし、その２つの画像の重なり部分を出力とする、入出力ペアである。
【００８７】
Ｓ６０５の後、外部機器２は、作成された教師データから、２つの画像の入力に対して、その２つの画像の重なり部分を出力する、という推論モデルを生成して、その推論モデルの信頼性が所定の閾値以上であるか否かを判定する（Ｓ６０６）。
【００８８】
Ｓ６０６の判定結果がＮＯの場合、外部機器２は、学習母体の再設定等を行う（Ｓ６０７）。
Ｓ６０７の後、外部機器２は、Ｓ６０１の判定結果がＹＥＳになってからＳ６０６の判定結果がＹＥＳになる前までの間に、学習母体の再設定が所定回数以上行われたか否かを判定する（Ｓ６０８）。
【００８９】
Ｓ６０８の判定結果がＮＯの場合は、処理がＳ６０４に戻る。
一方、Ｓ６０６又はＳ６０８の判定結果がＹＥＳの場合、外部機器２は、最後に生成された推論モデルを内視鏡装置１へ送信し（Ｓ６０９）、処理がＳ６０１に戻る。
【００９０】
図７は、内視鏡装置１において実行される撮像アクセス制御処理の他の例を示すフローチャートである。
図７に示したとおり、他の例の撮像アクセス制御処理では、まず、制御部１０６は、キャリブレーションモードが設定されているか否かを判定する（Ｓ７０１）。キャリブレーションモードは、ユーザが被検体内部に挿入部１０１を基準距離挿入させることに依って、挿入部１０１の挿入距離の換算に使用される基準合成画像を内視鏡装置１に作成させることができるモードである。キャリブレーションモードは、ユーザが操作部１０９を操作することに依って設定することができる。
【００９１】
Ｓ７０１の判定結果がＹＥＳの場合、制御部１０６は、基準距離挿入開始が通知されたか否かを判定する（Ｓ７０２）。基準距離挿入開始の通知は、ユーザが操作部１０９を操作することに依って行うことができる。
【００９２】
Ｓ７０２の判定結果がＮＯの場合は、処理がＳ７０１に戻る。
一方、Ｓ７０２の判定結果がＹＥＳの場合、制御部１０６は、連続撮像画像合成処理を開始する（Ｓ７０３）。連続撮像画像合成処理が開始すると、制御部１０６は、連続撮像画像合成処理の開始から終了までの間に撮像部１０４を用いて時系列に取得される画像において、２つ目以降の画像が取得される毎に、取得された画像と前回に取得された画像との重なり部分を重なり判定部１０６ａが判定し、連続撮像画像合成処理の開始以降に取得された複数の画像を、合成処理部１０６ｂが重なり部分で重ねて合成画像を生成する、という処理を繰り返す（Ｓ７０４、Ｓ７０５がＮＯ）。なお、連続撮像画像合成処理は、Ｓ７０５の判定結果がＹＥＳになると終了する。Ｓ７０５では、基準距離挿入終了が通知されたか否かが判定される。基準距離挿入終了の通知は、ユーザが操作部１０９を操作することに依って行うことができる。
【００９３】
なお、ユーザは、基準距離挿入開始の通知を行うと、被検体内部への挿入部１０１の基準距離の挿入を開始し、その後、挿入部１０１を基準距離挿入させたところで、基準距離挿入終了の通知を行うとする。
【００９４】
そして、Ｓ７０５の判定結果がＹＥＳになると、制御部１０６は、連続撮像画像合成処理に依って生成された合成画像を基準合成画像として決定し（Ｓ７０６）、処理がＳ７０１に戻る。
【００９５】
一方、Ｓ７０１の判定結果がＮＯの場合、制御部１０６は、基本的に、図４に示したＳ４０２乃至Ｓ４０９と同様の処理を行う。
そして、Ｓ４０８の判定結果がＹＥＳの場合、制御部１０６は、生成された合成画像と基準合成画像とを比較し（Ｓ７０７）、夫々の画像の長さと基準距離とから挿入部１０１の挿入距離を換算することに依って、挿入部１０１の挿入距離を判定し、その挿入距離を表示部１０２に表示する（Ｓ７０８）。
【００９６】
Ｓ７０８又はＳ４０９の後、制御部１０６は、静止画の撮影開始指示が有るか否かを判定し（Ｓ７０９）、その判定結果がＮＯの場合は、処理がＳ７０１に戻る。
一方、Ｓ７０９の判定結果がＹＥＳの場合、制御部１０６は、撮像部１０４を用いて取得された撮影画像を表す画像データと、この撮影画像に関する補助データとをファイル化し、画像ファイルとして記録部１１０に記録する（Ｓ７１０）。
【００９７】
Ｓ７１０の後は、処理がＳ７０１に戻る。
図８Ａ及び図８Ｂは、図７に示した撮像アクセス制御処理において、キャリブレーションモードが設定されているときに表示部１０２に表示された画面例を示す図である。
図８Ａに示した表示部１０２に表示された画面は、図７のＳ７０１がＹＥＳになった時に表示された画面である。この画面が表示されると、ユーザは、画面内の「開始」を選択することに依って、Ｓ７０２の判定基準となる基準距離挿入開始の通知を行うことができる。例えば、ユーザは、挿入部１０１の被検体内部への挿入準備が整ったところで、その「開始」を選択する。
【００９８】
図８Ｂに示した表示部１０２に表示された画面は、図７のＳ７０２がＹＥＳになった時に表示された画面である。この画面が表示されると、ユーザは、画面内の「終了」を選択することに依って、Ｓ７０５の判定基準となる基準距離挿入終了の通知を行うことができる。例えば、ユーザは、挿入部１０１を被検体内部へ基準距離挿入させたところで、その「終了」を選択する。
【００９９】
なお、図８Ａ及び図８Ｂの各々に示した表示部１０２に表示された画面内の画像は、撮像部１０４を用いて取得された最新の画像である。また、図８Ｂに示した表示部１０２に表示された画面内の「１０ｃｍ」は、基準距離を示している。
【０１００】
以上のとおり、第１の実施形態に係る内視鏡装置１に依れば、挿入部１０１を被検体内部へ挿入させたときの挿入部１０１の挿入距離の判定を、コストや大きさに制約を受けない構成に依って実現することができる。
＜第２の実施形態＞
【０１０１】
図９は、第２の実施形態に係る移動量判定装置である超音波検査装置の構成例を示す図である。
図９に示したとおり、超音波検査装置３は、超音波探触子３０１、送受信回路３０２、送受信制御回路３０３、画像変換回路３０４、表示制御回路３０５、表示部３０６、制御回路３０７、記録回路３０８、操作部３０９、及び通信部３１０を備える。なお、超音波探触子３０１は、画像を取得するために用いられる画像取得部の一例である。
【０１０２】
超音波探触子３０１は、鉄パイプ等の中空の円筒形状の構造物である被検体Ｓに対して超音波を送信し、被検体Ｓで反射した超音波をエコー信号として受信する圧電体振動子が配列された構成を有する。なお、被検体Ｓと超音波探触子３０１との間には、超音波の伝達を効率的に行うために、グリセリン等の接触媒体３１１が設けられる。例えば、接触媒体３１１は、被検体Ｓの外周面に塗布される。また、被検体Ｓの検査領域は、例えば、被検体Ｓを回転させることに依って変更される。
【０１０３】
送受信回路３０２は、超音波探触子３０１に電気信号を供給して超音波を発生させると共に、超音波探触子３０１の各圧電体振動子が受信したエコー信号を受信し、重畳された高調波成分をフィルタに依り分離する機能を備える。
【０１０４】
送受信制御回路３０３は、送受信回路３０２の送受信制御を行う。
画像変換回路３０４は、送受信回路３０２が受信したエコー信号を被検体Ｓの超音波画像に変換する。
【０１０５】
表示制御回路３０５は、画像変換回路３０４が変換した超音波画像等を表示部３０６に表示させるための制御を行う。
表示部３０６は、例えばＬＣＤであり、超音波画像や情報を表示する。例えば、超音波探触子３０１を用いて取得された超音波画像や、後述する超音波探触子３０１の回転角度を表示する。なお、表示部３０６は、タッチパネル付きの表示部であってもよい。
【０１０６】
制御回路３０７は、超音波検査装置３の全体を制御する。
また、制御回路３０７は、第１の実施形態に係る内視鏡装置１が備えていた重なり判定部１０６ａ、合成処理部１０６ｂ、移動量判定部１０６ｆ、及び推論エンジン１０７の機能と同様の機能を備える。
【０１０７】
記録回路３０８は、不揮発性メモリを備え、画像変換回路３０４が変換した超音波画像等を記録する。
操作部３０９は、超音波検査装置３に対する各種の入力操作を受け付ける。なお、表示部３０６がタッチパネル付き表示部である場合、そのタッチパネルは、操作部３０９の一部となる。
【０１０８】
通信部３１０は、外部機器２等との間で通信を行う通信インターフェースである。
図１０は、被検体Ｓへ送信された超音波（送信波）と被検体Ｓで反射された超音波（反射波）の一例を模式的に示す図である。ここでは、被検体Ｓが、直方体形状の構造物であるとする。
【０１０９】
図１０の左側に示したとおり、被検体Ｓの内部に傷が無い場合は、送信波の後に、被検体Ｓの底面からの反射波が戻ってくる。これに対し、図１０の右側に示したとおり、被検体Ｓの内部に傷Ｓａが有る場合は、送信波の後、被検体Ｓの底面からの反射波が戻ってくる前に、傷Ｓａからの反射波が発生する。超音波検査装置３では、例えば、この傷Ｓａからの反射波を検出することに依り、被検体Ｓ内部の欠陥を発見することができる。
【０１１０】
図１１は、被検体Ｓを回転させたときの反射波検出時間の推移の一例を示す図である。
図１１の左側に示したとおり、ここでは、被検体Ｓが、鉄パイプ等の中空の円筒形状の構造物であるとする。但し、この被検体Ｓは、本来、内周面と外周面との間の厚みが均一であるべきところ、それが不均一であるとする。また、この被検体Ｓの内周面は、本来、滑らかであるべきところ、腐食等に依り、滑らかでないとする。
【０１１１】
図１１の右側に示した、被検体Ｓを回転させたときの反射波検出時間において、反射波検出時間は、超音波探触子３０１から被検体Ｓへ超音波を送信してから、その超音波が被検体Ｓの内周面で反射して超音波探触子３０１に戻ってくるまでの時間である。
【０１１２】
図１１に示したとおり、被検体Ｓは、内周面と外周面との間の厚みが均一ではないため、内周面と外周面との間の距離が短くなる回転位置では反射波検出時間が短くなり、その距離が長くなる回転位置では反射波検出時間が長くなる。また、被検体Ｓの内周面は滑らかではないため、反射波検出時間の推移も滑らかにはならない。一方、反射波検出時間の推移のパターンは、被検体Ｓが１回転する毎に、同じものとなる。例えば、図１１の右側に示した推移のパターンにおけるＡ部分とＢ部分は、被検体Ｓにおける同じ位置における推移のパターンを示している。ここでは、図５のような実施例で説明したような素材、設計、製造方法、製造環境に従って変化する、その対象物ごとに異なるユニークな構造的な非一様性があり、それが対象物の表面や内部に生じて、パターンとして現れる。これを検出して、図３で説明したような考え方で推論をおこなう。
【０１１３】
図１２は、超音波検査装置３において実行される探傷アクセス制御処理の一例を示すフローチャートである。このフローチャートは、第１の実施形態に係る内視鏡装置１において実行される撮像アクセス制御処理に対応するフローチャートでもある。
【０１１４】
図１２に示したとおり、探傷アクセス制御処理では、まず、制御回路３０７は、アクセスモードが設定されているか否かを判定する（Ｓ１２０１）。超音波検査装置３において、アクセスモードは、鉄パイプ等の中空の円筒形状の構造物である被検体Ｓに対して超音波探触子３０１を回転させたときの、超音波探触子３０１の回転角度をユーザに提示することができるモードである。ここで、被検体Ｓに対して超音波探触子３０１を回転させるとは、被検体Ｓに対して超音波探触子３０１を相対的に回転させる場合も含む。従って、例えば、図１１の左側に示したとおり、超音波探触子３０１に対して被検体Ｓが回転する場合も含まれる。アクセスモードは、ユーザが操作部３０９を操作することに依って設定することができる。
【０１１５】
Ｓ１２０１の判定結果がＹＥＳの場合は、次に、被検体Ｓへの超音波探触子３０１の当て付けが行われる（Ｓ１２０２）。この当て付けは、例えば、制御回路３０７の制御の下に、機械的に行われてもよい。また、被検体Ｓの外周面には予めグリセリン等の接触媒体３１１が塗布されており、被検体Ｓへ超音波探触子３０１が当て付けられたときには、被検体Ｓと超音波探触子３０１との間に接触媒体３１１が設けられる。なお、このＳ１２０２は、その後、Ｓ１２０１の判定結果がＮＯになるまでの間は実行されない。
【０１１６】
次に、制御回路３０７は、当該時点から、その後、Ｓ１２０１の判定結果がＮＯになるまでの間（以下、「アクセスモード期間」という）に超音波探触子３０１を用いて時系列に取得される超音波画像において、２つ目以降の超音波画像が取得される毎に、Ｓ１２０３乃至Ｓ１２１４を行う。なお、アクセスモード期間は、Ｓ１２０２の後にユーザが操作部３０９に対して所定の操作を行ったタイミングに開始してもよい。
【０１１７】
詳しくは、制御回路３０７は、その２つ目以降の超音波画像が取得されると、取得された超音波画像と前回に取得された超音波画像とを比較し（Ｓ１２０３）、その重なり部分を判定し（Ｓ１２０４）、その重なり部分が有るか否かを判定する（Ｓ１２０５）。
【０１１８】
Ｓ１２０５の判定結果がＮＯの場合、制御回路３０７は、警告メッセージを表示部３０６に表示する等して、警告を行う（Ｓ１２０６）。
一方、Ｓ１２０５の判定結果がＹＥＳの場合、制御回路３０７は、一回転判定処理を行う（Ｓ１２０７）。一回転判定処理では、取得された超音波画像と前回に取得された超音波画像を、判定された重なり部分で重ねて合成画像を生成する。但し、アクセスモード期間において２回目以降に行われるＳ１２０７では、取得された超音波画像と前回のＳ１２０７で生成された合成画像とを、判定された重なり部分で重ねて新たな合成画像を生成する。そして、生成した合成画像から、被検体Ｓに対して超音波探触子３０１が一回転（３６０°回転）したか否かを判定する。この判定では、例えば、生成した合成画像の対向する端部において同一の部分画像が検出されたときに、一回転したと判定される。ここで、合成画像の対向する端部とは、例えば、その合成画像の生成に使用された複数の超音波画像の配置方向において対向する端部である。
【０１１９】
Ｓ１２０６又はＳ１２０７の後、制御回路３０７は、アクセスモード期間が開始してからの、被検体Ｓに対する超音波探触子３０１の回転角度を判定可能か否かを判定する（Ｓ１２０８）。
【０１２０】
Ｓ１２０８の判定結果がＮＯの場合、制御回路３０７は、警告メッセージを表示部１０２に表示する等して、警告を行う（Ｓ１２０９）。
一方、Ｓ１２０８の判定結果がＹＥＳの場合、制御回路３０７は、例えば、生成された合成画像の特定方向の長さと、その合成画像に含まれる一回転分（３６０°分）の部分合成画像の特定方向の長さとに基づいて、アクセスモード期間が開始してからの、被検体Ｓに対する超音波探触子３０１の回転角度を判定し、その回転角度を表示部３０６に表示する（Ｓ１２１０）。ここで、特定方向は、例えば、合成画像の生成に使用された複数の超音波画像の配置方向である。
【０１２１】
Ｓ１２０９、又はＳ１２１０の後、制御回路３０７は、超音波画像の記録指示が有るか否かを判定する（Ｓ１２１１）。この記録指示は、ユーザが操作部３０９を操作することに依って行うことができる。
【０１２２】
Ｓ１２１１の判定結果がＮＯの場合は、処理がＳ１２０１に戻る。
一方、Ｓ１２１１の判定結果がＹＥＳの場合、制御回路３０７は、超音波探触子３０１を用いて取得された超音波画像を、記録回路３０８に記録させる（Ｓ１２１２）。
【０１２３】
Ｓ１２１２の後、制御回路３０７は、超音波画像の記録が終了したか否かを判定する（Ｓ１２１３）。
Ｓ１２１３の判定結果がＮＯの場合は、処理がＳ１２０１に戻る。
【０１２４】
一方、Ｓ１２１３の判定結果がＹＥＳの場合、制御回路３０７は、Ｓ１２１２で記録回路３０８に記録させた超音波画像をファイル化する（Ｓ１２１４）。すなわち、超音波画像を表す画像データと、この超音波画像に関する補助データとをファイル化して、画像ファイルとして記録回路３０８に記録させる。なお、補助データは、Ｓ１２１０で判定された回転角度を含んでもよい。
【０１２５】
Ｓ１２１４の後は、処理がＳ１２０１に戻る。
一方、Ｓ１２０１の判定結果がＮＯの場合、制御回路３０７は、推論モデルの取得指示が有るか否かを判定する（Ｓ１２１５）。推論モデルの取得指示は、ユーザが操作部３０９を操作することに依って行うことができる。
【０１２６】
Ｓ１２１５の判定結果がＮＯの場合は、処理がＳ１２０１に戻る。
一方、Ｓ１２１５の判定結果がＹＥＳの場合、制御回路３０７は、被検体とされる対象物（構造物）の特徴を設定し、その特徴を含む、推論モデルの取得依頼を、外部機器２に対して行う（Ｓ１２１６）。ここで、対象物の特徴は、材質等を含み、その特徴の設定は、ユーザが操作部３０９を操作することに依って行うことができる。
【０１２７】
Ｓ１２１６の後、制御回路３０７は、その取得依頼に応じた推論モデルを外部機器２から取得して、内部の不揮発性メモリに記憶する（Ｓ１２１７）。
Ｓ１２１７の後は、処理がＳ１２０１に戻る。
【０１２８】
以上のとおり、第２の実施形態に係る超音波検査装置３に依れば、被検体Ｓに対して超音波探触子３０１を回転させたときの超音波探触子３０１の回転角度の判定を、コストや大きさに制約を受けない構成に依って実現することができる。
【０１２９】
以上、第１及び第２の実施形態について説明したが、上述の内視鏡装置１、外部機器２、及び超音波検査装置３の各々は、例えば、図１３に示すハードウェア構成に依り実現されてもよい。
【０１３０】
図１３は、ハードウェア構成の一例を示す図である。
図１３に示したハードウェア構成は、ＣＰＵ（Central Processing Unit）４０１、メモリ４０２、入出力装置４０３、入出力ＩＦ（interface）４０４、記憶装置４０５、可搬記録媒体４０８が収納される可搬記録媒体駆動装置４０６、及び通信ＩＦ４０７を備え、これらはバス４０９を経由して互いに接続されている。
【０１３１】
ＣＰＵ４０１は、内視鏡装置１、外部機器２、又は超音波検査装置３が行う処理のためのプログラムを実行する演算装置である。メモリ４０２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）であり、ＲＡＭはＣＰＵ４０１のワークエリア等として使用され、ＲＯＭはプログラムやプログラムの実行に必要な情報を不揮発的に記憶する。
【０１３２】
入出力装置４０３は、タッチパネル、キーボード等の入力装置と、ディスプレイ装置等の出力装置である。
入出力ＩＦ４０４は、挿入部１０１（撮像部１０４）又は超音波探触子３０１等が接続され、接続されたものとの間で信号の送受信を行うためのインターフェースである。
【０１３３】
記憶装置４０５は、プログラム及びプログラムの実行に必要な情報や、プログラムの実行に依り取得された情報等を不揮発的に記憶するストレージである。記憶装置４０５は、例えば、ＨＤＤである。可搬記録媒体駆動装置４０６は、可搬記録媒体４０８を駆動し、その記録内容にアクセスする。可搬記録媒体４０８は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬記録媒体４０８には、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等も含まれる。可搬記録媒体４０８も記憶装置４０５と同様に、プログラム及びプログラムの実行に必要な情報や、プログラムの実行に依り取得された情報等を不揮発的に記憶するストレージである。
【０１３４】
通信ＩＦ４０７は、ネットワークに接続され、そのネットワークを経由して内視鏡装置１、外部機器２、又は超音波検査装置３等との間で通信を行うためのインターフェースである。
【０１３５】
以上のとおり実施形態について説明したが、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３６】
１            内視鏡装置
２            外部機器
３            超音波検査装置
１０１        挿入部
１０２        表示部
１０３        湾曲操作部
１０４        撮像部
１０４ａ      光学系
１０４ｂ      撮像素子
１０４ｃ      湾曲部
１０５        時計部
１０６        制御部
１０６ａ      重なり判定部
１０６ｂ      合成処理部
１０６ｃ      駆動部
１０６ｄ      通信制御部
１０６ｅ      記録制御部
１０６ｆ      移動量判定部
１０６ｇ      表示制御部
１０７        推論エンジン
１０７ａ      推論モデル
１０７ｂ      記憶部
１０８        通信部
１０９        操作部
１１０        記録部
１２１        画像
１２２、１２３  合成画像
２０１        外部画像ＤＢ
２０１ａ      画像記録部
２０１ｂ      通信部
２０２        機械学習部
２０２ａ      母集合作成部
２０２ｂ      出力設定部
２０２ｃ      入出力モデル化部
２０２ｄ      通信部
３０１        超音波探触子
３０２        送受信回路
３０３        送受信制御回路
３０４        画像変換回路
３０５        表示制御回路
３０６        表示部
３０７        制御回路
３０８        記録回路
３０９        操作部
３１０        通信部
３１１        接触媒体
４０１        ＣＰＵ
４０２        メモリ
４０３        入出力装置
４０４        入出力ＩＦ
４０５        記憶装置
４０６        可搬記録媒体駆動装置
４０７        通信ＩＦ
４０８        可搬記録媒体
４０９        バス
【図１】
2020067592.tif 000003
【図２】
2020067592.tif 000004
【図３】
2020067592.tif 000005
【図４】
2020067592.tif 000006
【図５】
2020067592.tif 000007
【図６】
2020067592.tif 000008
【図７】
2020067592.tif 000009
【図８Ａ】
2020067592.tif 000010
【図８Ｂ】
2020067592.tif 000011
【図９】
2020067592.tif 000012
【図１０】
2020067592.tif 000013
【図１１】
2020067592.tif 000014
【図１２】
2020067592.tif 000015
【図１３】
2020067592.tif 000016