(57)【要約】  内視鏡で測長を行った被写体の撮像画像を機械学習の教師データとして使用することができる内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラムを提供する。  内視鏡用プロセッサ装置の信号処理部（３９）は、観察距離検出部（５２）と、学習部（５６）とを備えている。信号処理部（３９）により信号処理された第１撮像画像及び第２撮像画像は、静止画保存制御部（４３）により保存される。第１撮像画像は、計測補助光が照射された状態の被写体を撮像して取得された撮像画像であり、第２撮像画像は、計測補助光が照射されていない状態の被写体を撮像して取得された撮像画像である。
2020189334.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサを備える内視鏡用プロセッサ装置であって、
前記プロセッサは、
内視鏡で撮像された撮像画像を取得し、
前記内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、前記計測補助光の照射前後に取得され、前記計測補助光が照射されていない状態の前記被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得する内視鏡用プロセッサ装置。
【請求項２】
前記プロセッサは、予め設定された発光パターンに従って前記計測補助光の点灯及び減光を交互に行うマルチフレームモードにおいて前記第１撮像画像又は前記第２撮像画像を取得し、
前記第１撮像画像は、前記計測補助光の点灯時に取得される撮像画像であり、
前記第２撮像画像は、前記計測補助光の減光時に取得される撮像画像である請求項１記載の内視鏡用プロセッサ装置。
【請求項３】
前記プロセッサは、予め設定された発光パターンに従って前記計測補助光の点灯及び減光を交互に行うマルチフレームモードにおいて前記第１撮像画像又は前記第２撮像画像を取得し、
前記第１撮像画像は、前記計測補助光の点灯時、且つ、フリーズスイッチの操作の際に取得される撮像画像であり、
前記第２撮像画像は、前記計測補助光の減光時、且つ、フリーズスイッチの操作の際に取得される撮像画像である請求項１記載の内視鏡用プロセッサ装置。
【請求項４】
前記プロセッサは、前記計測補助光を常時点灯する常時点灯モードにおいて前記第１撮像画像又は前記第２撮像画像を取得し、
前記第１撮像画像は、フリーズスイッチの操作の際に前記計測補助光が照射されている状態で取得された画像、又は、フリーズスイッチの操作前後に前記計測補助光が照射されている状態で取得され、且つ、フリーズスイッチの操作の際と観察対象の形状が類似する画像であり、
前記第２撮像画像は、前記常時点灯モードに切り替える前、又は前記常時点灯モードを他のモードに切り替えた後に取得される撮像画像である請求項１記載の内視鏡用プロセッサ装置。
【請求項５】
前記プロセッサは、前記第１撮像画像又は前記第２撮像画像のうち、前記計測補助光によって前記被写体上に形成される特定領域を含む範囲を切り取った病変部候補画像を前記教師データ候補として取得する請求項３又は４記載の内視鏡用プロセッサ装置。
【請求項６】
前記プロセッサは、
前記計測補助光によって前記被写体上に形成される特定領域の位置を特定し、
前記第１撮像画像又は第２撮像画像とともに、前記特定領域の位置情報を取得する請求項１ないし５のいずれか１項記載の内視鏡用プロセッサ装置。
【請求項７】
前記プロセッサは、
特定した前記特定領域の位置から観察距離を検出し、
前記第１撮像画像又は第２撮像画像とともに、前記観察距離を取得する請求項６記載の内視鏡用プロセッサ装置。
【請求項８】
前記プロセッサは、
第１撮像画像又は第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得し、
前記第１撮像画像又は第２撮像画像とともに、前記診断情報を取得する請求項１ないし５のいずれか１項記載の内視鏡用プロセッサ装置。
【請求項９】
プロセッサを備える医療画像処理装置であって、
前記プロセッサは、
内視鏡で撮像された撮像画像を取得するとともに、医療画像に画像処理を施し、
前記内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、前記計測補助光の照射前後に取得され、前記計測補助光が照射されていない状態の前記被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得し、
医療画像に対して病変部を認識し、
前記第１撮像画像又は前記第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得し、
前記教師データ候補と前記診断情報を用いて、前記病変部の前記認識で用いる判別モデルを生成するために学習させる医療画像処理装置。
【請求項１０】
内視鏡で撮像された撮像画像を取得するとともに、医療画像に画像処理を施す医療画像処理装置の作動方法であって、
前記内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、前記計測補助光の照射前後に取得され、前記計測補助光が照射されていない状態の前記被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得するステップと、
医療画像に対して病変部を認識するステップと、
前記第１撮像画像又は前記第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得するステップと、
前記教師データ候補と前記診断情報を用いて、前記病変部の前記認識で用いる判別モデルを生成するために学習させるステップとを有する医療画像処理装置の作動方法。
【請求項１１】
内視鏡で撮像された撮像画像を取得するとともに、医療画像に画像処理を施す医療画像処理装置にインストールされる医療画像処理装置用プログラムにおいて、
コンピュータに、
前記内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、前記計測補助光の照射前後に取得され、前記計測補助光が照射されていない状態の前記被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得する機能と、
医療画像に対して病変部を認識する機能と、
前記第１撮像画像又は前記第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得する機能と、
前記教師データ候補と前記診断情報を用いて、前記病変部の前記認識で用いる判別モデルを生成するために学習させる機能とを実現させるための医療画像処理装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラムに関する。
【背景技術】
【０００２】
内視鏡の分野では、観察対象物までの距離又は観察対象物の大きさなどを取得することが行われている。例えば、特許文献１では、内視鏡に設けられた補助光照射部から被写体に対して計測補助光を照射し、被写体上にスポットを形成する。これにより、内視鏡用プロセッサ装置では、被写体を撮像して得られる撮像画像からスポットの位置を特定する。そして、スポットの位置から観察距離を検出する。また、観察距離に応じて、被写体に含まれる観察対象における実寸サイズを示す計測用マーカを設定し、設定した計測用マーカを撮像画像上に表示する。撮像画像上に表示された計測用マーカを用いることで、観察対象物の大きさを計測することが可能となる。【０００３】
一方、医用画像を用いた画像診断の分野では、臓器名、病名、病状など関心領域の名称とその関心領域の画像とを、ディープラーニングなどの機械学習を用いて、学習させた上で、医用画像から関心領域の検出及び関心領域の名称を判定することが行われつつある。関心領域の検出及び名称の判定を精度良くするためには、機械学習において、目的に沿った大量かつ良質の教師データによる学習が不可欠である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２０１８／０５１６８０号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
内視鏡の分野においても、被写体を撮像して得られる撮像画像を機械学習の教師データとして用いることが検討されている。特に、上記特許文献１記載の内視鏡用プロセッサ装置で測長を行うような被写体は、関心領域を含んでいる可能性が高く、機械学習の対象となる被写体でもあるため、このような被写体の撮像画像を機械学習の教師データとして用いることが求められている。【０００６】
しかしながら、上記特許文献１記載の内視鏡用プロセッサ装置では、被写体上に計測補助光を照射したスポットが写り込んでおり、機械学習の教師データとして用いることができない。機械学習の教師データとしては、計測補助光のスポットが無い、通常の内視鏡画像が求められている。【０００７】
本発明は、内視鏡で測長を行った被写体の撮像画像を機械学習の教師データとして使用することができる内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、プロセッサを備える内視鏡用プロセッサ装置であって、プロセッサは、内視鏡で撮像された撮像画像を取得し、内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、計測補助光の照射前後に取得され、計測補助光が照射されていない状態の被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得する。【０００９】
プロセッサは、予め設定された発光パターンに従って計測補助光の点灯及び減光を交互に行うマルチフレームモードにおいて第１撮像画像又は第２撮像画像を取得し、第１撮像画像は、計測補助光の点灯時に取得される撮像画像であり、第２撮像画像は、計測補助光の減光時に取得される撮像画像であることが好ましい。【００１０】
プロセッサは、予め設定された発光パターンに従って計測補助光の点灯及び減光を交互に行うマルチフレームモードにおいて第１撮像画像又は第２撮像画像を取得し、第１撮像画像は、計測補助光の点灯時、且つ、フリーズスイッチの操作の際に取得される撮像画像であり、第２撮像画像は、計測補助光の減光時、且つ、フリーズスイッチの操作の際に取得される撮像画像であることが好ましい。【００１１】
プロセッサは、計測補助光を常時点灯する常時点灯モードにおいて第１撮像画像又は第２撮像画像を取得し、第１撮像画像は、フリーズスイッチの操作の際に計測補助光が照射されている状態で取得された画像、又は、フリーズスイッチの操作前後に計測補助光が照射されている状態で取得され、且つ、フリーズスイッチの操作時と観察対象の形状が類似する画像であり、第２撮像画像は、常時点灯モードに切り替える前、又は常時点灯モードを他のモードに切り替えた後に取得される撮像画像であることが好ましい。【００１２】
プロセッサは、第１撮像画像又は第２撮像画像のうち、計測補助光によって被写体上に形成される特定領域を含む範囲を切り取った病変部候補画像を教師データ候補として取得することが好ましい。【００１３】
プロセッサは、計測補助光によって被写体上に形成される特定領域の位置を特定し、第１撮像画像又は第２撮像画像とともに、特定領域の位置情報を取得することが好ましい。【００１４】
プロセッサは、特定した特定領域の位置から観察距離を検出し、第１撮像画像又は第２撮像画像とともに、観察距離を取得することが好ましい。【００１５】
プロセッサは、第１撮像画像又は第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得し、第１撮像画像又は第２撮像画像とともに、診断情報を取得することが好ましい。【００１６】
本発明は、プロセッサを備える医療画像処理装置であって、プロセッサは、内視鏡で撮像された撮像画像を取得するとともに、医療画像に画像処理を施し、内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、計測補助光の照射前後に取得され、計測補助光が照射されていない状態の被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得し、医療画像に対して病変部を認識し、第１撮像画像又は第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得し、教師データ候補と診断情報を用いて、病変部の認識で用いる判別モデルを生成するために学習させる。【００１７】
本発明の医療画像処理装置の作動方法は、内視鏡で撮像された撮像画像を取得するとともに、医療画像に画像処理を施す医療画像処理装置の作動方法であって、内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、計測補助光の照射前後に取得され、計測補助光が照射されていない状態の被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得するステップと、医療画像に対して病変部を認識するステップと、第１撮像画像又は第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得するステップと、教師データ候補と診断情報を用いて、病変部の認識で用いる判別モデルを生成するために学習させるステップとを有する。【００１８】
本発明の医療画像処理装置用プログラムは、内視鏡で撮像された撮像画像を取得するとともに、医療画像に画像処理を施す医療画像処理装置にインストールされる医療画像処理装置用プログラムにおいて、コンピュータに、内視鏡の撮像画像のうち、計測補助光が照射された状態の被写体を撮像して取得された第１撮像画像、及び、計測補助光の照射前後に取得され、計測補助光が照射されていない状態の被写体を撮像して取得された第２撮像画像の少なくともいずれか１つを機械学習用の教師データ候補として取得する機能と、医療画像に対して病変部を認識する機能と、第１撮像画像又は第２撮像画像に関する診断情報を管理する診断情報管理装置から診断情報を取得する機能と、教師データ候補と診断情報を用いて、病変部の認識で用いる判別モデルを生成するために学習させる機能とを実現させる。
【発明の効果】
【００１９】
本発明によれば、内視鏡で測長を行った被写体の撮像画像を機械学習の教師データとして使用することができる。
【図面の簡単な説明】
【００２０】
【図１】内視鏡システムの外観図である。
【図２】内視鏡の先端部を示す平面図である。
【図３】内視鏡システムの機能を示すブロック図である。
【図４】計測補助光出射部を示すブロック図である。
【図５】内視鏡の先端部と観察距離の範囲Ｒ１内の近端ＰＮ、中央付近ＰＭ、及び遠端ＰＦとの関係を示す説明図である。
【図６】信号処理部の機能を示すブロック図である。
【図７】マルチフレーム画像の構成の概略を示す説明図である。
【図８】測長モードにおいて静止画取得指示が行われた場合の光源制御、撮像制御、保存制御を示す説明図である。
【図９】第１撮像画像、第２撮像画像の保存方法を示す説明図である。
【図１０】第１撮像画像を表示する一例を示す説明図である。
【図１１】第２実施形態において静止画取得指示が行われた場合の光源制御、撮像制御、保存制御を示す説明図である。
【図１２】第２実施形態の変形例で静止画取得指示が行われた場合の光源制御、撮像制御、保存制御を示す説明図である。
【図１３】第１実施形態及び第２実施形態の変形例で特定領域を含む範囲を切り取った病変部候補画像を教師データ候補として取得する方法を示す説明図である。
【発明を実施するための形態】
【００２１】
［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。プロセッサ装置１６は、画像を表示するモニタ１８（表示部）に電気的に接続されている。ユーザーインターフェース１９は、プロセッサ装置１６に接続されており、プロセッサ装置１６に対する各種設定操作等に用いられる。なお、ユーザーインターフェース１９は図示したキーボードの他、マウスなどが含まれる。
【００２２】
各機器は、内視鏡システム１０の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
【００２３】
内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられる湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作に伴って、先端部１２ｄが所望の方向に向けられる。
【００２４】
内視鏡１２は、通常モードと、測長モードとを備えており、これら２つのモードは内視鏡１２の操作部１２ｂに設けられたモード切替スイッチ１３ａによって切り替えられる。通常モードは、照明光によって観察対象を照明するモードである。測長モードは、照明光又は計測補助光を観察対象に照明し、且つ、観察対象の撮像により得られる撮像画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示する。計測補助光は、被写体の計測に用いられる光である。
【００２５】
また、内視鏡１２の操作部１２ｂには、撮像画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ１３ｂ（静止画取得指示部）が設けられている。ユーザーがフリーズスイッチ１３ｂを操作することにより、モニタ１８の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音（例えば「ピー」）を発する。そして、フリーズスイッチ１３ｂの操作タイミング前後に得られる撮像画像の静止画が、プロセッサ装置１６内の静止画保存部４２（図３参照）に保存される。
【００２６】
なお、静止画保存部４２はハードディスクやＵＳＢ（Universal Serial Bus）メモリなどの記憶部である。プロセッサ装置１６がネットワークに接続可能である場合には、静止画保存部４２に代えて又は加えて、ネットワークに接続された静止画保存サーバ（図示しない）に撮像画像の静止画を保存するようにしてもよい。
【００２７】
なお、フリーズスイッチ１３ｂ以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置１６にフットペダルを接続し、ユーザーが足でフットペダル（図示しない）を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてもフットペダルで行うようにしてもよい。また、音声入力、視線入力、ジェスチャ入力等により、静止画取得指示またはモード切替を行うようにしてもよい。
【００２８】
図２に示すように、内視鏡１２の先端部は略円形となっており、内視鏡１２の撮像光学系を構成する光学部材のうち最も被写体側に位置する対物レンズ２１と、被写体に対して照明光を照射するための２つの照明レンズ２２と、後述する計測補助光を被写体に照明するための計測補助用レンズ２３と、処置具を被写体に向けて突出させるための開口２４と、送気送水を行うための送気送水ノズル２５とが設けられている。
【００２９】
対物レンズ２１の光軸ＬＩ（図５参照）は、紙面に対して垂直な方向に延びている。縦の第１方向Ｄ１は、光軸ＬＩに対して直交しており、横の第２方向Ｄ２は、光軸ＬＩ及び第１方向Ｄ１に対して直交する。対物レンズ２１と計測補助用レンズ２３とは、第１方向Ｄ１に沿って配列されている。
【００３０】
図３に示すように、光源装置１４は、光源部２６と、光源制御部２７とを備えている。光源部２６（照明光光源部）は、被写体を照明するための照明光を発生する。光源部２６から出射された照明光は、ライトガイド２８に入射され、照明レンズ２２を通って被写体に照射される。光源部２６としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源（例えば青色光を出射する青色光源）を含む複数の光源等が用いることが好ましい。光源制御部２７は、プロセッサ装置１６のシステム制御部４１と接続されている。光源制御部２７は、システム制御部４１からの指示に基づいて光源部２６を制御する。システム制御部４１（発光用制御部）は、光源制御部２７に対して、光源制御に関する指示を行う他に、計測補助光出射部３０の光源３０ａ（図４参照）も制御する。システム制御部４１による光源制御の詳細については後述する。
【００３１】
内視鏡１２の先端部１２ｄには、照明光学系２９ａ、撮像光学系２９ｂ、及び計測補助光出射部３０が設けられている。照明光学系２９ａは照明レンズ２２を有しており、この照明レンズ２２を介して、ライトガイド２８からの光が観察対象に照射される。撮像光学系２９ｂは、対物レンズ２１及び撮像素子３２を有している。観察対象からの反射光は、対物レンズ２１を介して、撮像素子３２に入射する。これにより、撮像素子３２に観察対象の反射像が結像される。
【００３２】
撮像素子３２はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子３２は、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等であることが好ましい。本発明で用いられる撮像素子３２は、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３色のＲＧＢ画像信号を得るためのカラーの撮像センサである。撮像素子３２は、撮像制御部３３によって制御される。なお、撮像素子３２として、補色のＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｇ（緑）のカラーフィルタが設けられた補色系の撮像素子を用いてもよい。
【００３３】
撮像素子３２から出力される画像信号は、ＣＤＳ／ＡＧＣ回路３４に送信される。ＣＤＳ／ＡＧＣ回路３４は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路３４を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog／Digital）コンバータ）３５により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、通信Ｉ／Ｆ（Interface）３６を介して、プロセッサ装置１６に入力される。
【００３４】
プロセッサ装置１６は、内視鏡１２の通信Ｉ／Ｆ３６と接続される通信Ｉ／Ｆ（Interface）３８と、信号処理部３９と、表示制御部４０と、システム制御部４１とを備えている。通信Ｉ／Ｆは、内視鏡１２の通信Ｉ／Ｆ３６から伝送されてきた画像信号を受信して信号処理部３９に伝達する。信号処理部３９は、通信Ｉ／Ｆ３８から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、撮像画像を生成する。
【００３５】
プロセッサ装置１６は、医療画像処理装置としての機能を含んでおり、後述するように、信号処理部３９では、内視鏡の撮像画像を取得するとともに、撮像画像に関する診断情報を取得して機械学習を行う。なお、信号処理部３９では、測長モードに設定されている場合には、撮像画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。
【００３６】
表示制御部４０は、信号処理部３９によって生成された撮像画像をモニタ１８に表示する。システム制御部４１は、内視鏡１２に設けられた撮像制御部３３を介して、撮像素子３２の制御を行う。撮像制御部３３は、撮像素子３２の制御に合わせて、ＣＤＳ／ＡＧＣ３４及びＡ／Ｄ３５の制御も行う。静止画保存制御部４３は、静止画保存部４２に保存する撮像画像の静止画に関する制御を行う。静止画保存制御部４３は、測長モードにおいて１回の静止画取得指示が行われることにより、後述する制御をする。
【００３７】
図４に示すように、計測補助光出射部３０（計測補助光光源部）は、光源３０ａと、ＧＲＩＮ（ＧｒａｄｉｅｎｔＩｎｄｅｘ；屈折率分布型）レンズ３０ｂと、プリズム３０ｃと、光ファイバ３０ｄと、計測補助用レンズ２３とを備える。光源３０ａは、撮像素子３２の画素によって検出可能な色の光（具体的には可視光）を出射するものであり、レーザー光源ＬＤ（Laser Diode）又はＬＥＤ（Light Emitting Diode）等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。
【００３８】
光源３０ａが出射する光の波長は、例えば、６００ｎｍ以上７５０ｎｍ以下であることが好ましく、６００ｎｍ以上７００ｎｍ以下であることがさらに好ましく、６３０ｎｍ以上６６０ｎｍ以下の赤色光であることが最も好ましい。もしくは、４９５ｎｍ以上５７０ｎｍ以下の緑色光を用いてもよい。光源３０ａはシステム制御部４１によって制御され、システム制御部４１からの指示に基づいて光出射を行う。光ファイバ３０ｄは、光源３０ａからの光をＧＲＩＮレンズ３０ｂに導光する。ＧＲＩＮレンズ３０ｂは、光源３０ａから出射した光を、被写体の計測に用いられる計測補助光に変換するために、光ファイバ３０ｄによって光源３０ａから導光された光を再度コヒーレント性の高い光に変換するものである。
【００３９】
プリズム３０ｃは、ＧＲＩＮレンズ３０ｂで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム３０ｃは、対物レンズ２１及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細についても、後述する。プリズム３０ｃから出射した計測補助光は、計測補助用レンズ２３を通って、被写体へと照射される。計測補助光が被写体に照射されることにより、被写体において、円状領域（特定領域）としてのスポットＳＰが形成される（図７（Ｂ）参照）。このスポットＳＰの位置は、位置特定部５１によって特定され、また、スポットＳＰの位置に応じて、実寸サイズを表す計測用マーカが設定される。設定された計測用マーカは、撮像画像上に重畳表示される。
【００４０】
なお、計測補助用レンズ２３に代えて、内視鏡の先端部１２ｄに形成される計測補助用スリットとしてもよい。また、計測補助用レンズ２３には、反射防止コート（ＡＲ（Anti-Reflection）コート）（反射防止部）を施すことが好ましい。このように反射防止コートを設けるのは、計測補助光が計測補助用レンズ２３を透過せずに反射して、被写体に照射される計測補助光の割合が低下すると、後述する位置特定部５１が、計測補助光により被写体上に形成されるスポットＳＰの位置を認識し難くなるためである。
【００４１】
なお、計測補助光出射部３０は、計測補助光を撮像光学系の視野に向けて出射できるものであればよい。例えば、光源３０ａが光源装置に設けられ、光源３０ａから出射された光が光ファイバ３０ｄによってＧＲＩＮレンズ３０ｂにまで導光されるものであってもよい。また、プリズム３０ｃを用いずに、ＧＲＩＮレンズ３０ｂに代えてＤＯＥ（Diffractive Optical Element；回折光学素子）を使用し、光源３０ａ、ＤＯＥ、及び光源３０ａからの光をＤＯＥに導光する光ファイバの向きを光軸ＬＩに対して斜めに設置することで、撮像光学系の視野を横切る方向に計測補助光を出射させる構成としてもよい。
【００４２】
計測補助光の進行方向については、図５に示すように、計測補助光の光軸ＬＭが対物レンズ２１の光軸ＬＩと交差する状態で、計測補助光を出射する。観察距離の範囲Ｒ１において観察可能であるとすると、範囲Ｒ１の近端ＰＮ、中央付近ＰＭ、及び遠端ＰＦでは、各点での撮像範囲（矢印ＱＮ、ＱＭ、ＱＦで示す）における計測補助光によって被写体上に形成されるスポットＳＰの位置（各矢印ＱＮ、ＱＭ、ＱＦが光軸ＬＭと交わる点）が異なることが分かる。なお、撮像光学系の撮影画角は２つの実線４５で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域（２つの点線４６で挟まれる領域）で計測を行うようにしている。
【００４３】
以上のように、計測補助光の光軸ＬＭを光軸ＬＩと交差する状態で、計測補助光を出射することによって、観察距離の変化に対するスポット位置の移動の感度が高いことから、被写体の大きさを高精度に計測することができる。そして、計測補助光が照明された被写体を撮像素子３２で撮像することによって、スポットＳＰを含む撮像画像が得られる。撮像画像では、スポットＳＰの位置は、対物レンズ２１の光軸ＬＩと計測補助光の光軸ＬＭとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ（例えば５ｍｍ）を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
【００４４】
図６に示すように、プロセッサ装置１６の信号処理部３９は、位置特定部５１と、観察距離検出部５２と、計測用マーカ設定部５３と、病変認識部５４と、診断情報取得部５５と、学習部５６とを備えている。
【００４５】
信号処理部３９により信号処理された第１撮像画像及び第２撮像画像は、後述するように静止画保存制御部４３により保存される。なお、第１撮像画像は、測長モード下で計測補助光が照射された状態の被写体を撮像して取得された撮像画像であり、第２撮像画像は、測長モード下で計測補助光が照射されていない状態の被写体を撮像して取得された撮像画像である。
【００４６】
本実施形態では、第１撮像画像及び第２撮像画像は、マルチフレーム画像と呼ばれるデータで静止画保存部４２に保存される。これは、図７に示すように複数フレームの画像データが１つのデータセットＤＳを構成する医用画像データであり、動画などの保存に用いられる。このデータセットＤＳには、第１撮像画像及び第２撮像画像の画像データと、画像データに付属する付属データが含まれている。
【００４７】
静止画保存制御部４３は、特許請求の範囲における教師データ候補取得部に相当する。すなわち、静止画保存制御部４３は、第１撮像画像及び第２撮像画像を診断等に使用する医療画像として静止画保存部４２に保存するとともに、第２撮像画像を機械学習用の教師データ候補として取得するために機能し、例えば、第２撮像画像が教師データ候補であることを示す情報をデータセットＤＳの付属データとして静止画保存部４２に保存する。あるいは、静止画保存制御部４３は、静止画保存部４２とは別に、教師データ候補として取得した第２撮像画像を診断情報管理装置４４が含む記憶デバイス（図示しない）などに、保存してもよい。
【００４８】
位置特定部５１は、第１撮像画像に基づいて、スポットＳＰの位置を特定する。具体的には、スポットＳＰの位置に関する座標情報を特定する。スポットＳＰは、第１撮像画像において、計測補助光の色に対応する成分を多く含む略円状の赤色領域で表示される。したがって、略円状の赤色領域からスポットＳＰの位置を特定する。位置の特定方法としては、例えば、撮像画像を二値化し、二値化画像のうち白部分（信号強度が二値化用閾値より高い画素）の重心を、スポットＳＰの位置として特定する。
【００４９】
観察距離検出部５２は、スポットＳＰの位置に基づいて観察距離を検出する。観察距離検出部５２は、第１撮像画像におけるスポットＳＰの位置と観察距離との関係を記憶した観察距離テーブル５７を参照して、スポットＳＰの位置から観察距離を検出する。計測用マーカ設定部５３は、観察距離検出部５２で検出した観察距離に対応する実寸サイズの計測用マーカを設定する。
【００５０】
計測用マーカ設定部５３は、第１撮像画像に対して、観察距離検出部５２で検出した観察距離に対応する計測用マーカのデータを作成する。この計測用マーカは、第１撮像画像に重畳表示させた場合、例えば「５ｍｍ」及び「１０ｍｍ」の実寸サイズを表している円形状の計測用マーカＭ１（図１０参照）である。
【００５１】
なお、位置特定部５１が特定したスポットＳＰの位置に関する座標情報、観察距離検出部５２が検出した観察距離、又は計測用マーカ設定部５３が作成した計測用マーカが、データセットＤＳの付属データとして保存されることが好ましい。
【００５２】
病変認識部５４は、信号処理部３９が取得した第２撮像画像を画像解析し、認識処理を行う。病変認識部５４が行う認識処理としては、第２撮像画像から関心領域を検出する検出処理を行う。本実施形態では、病変認識部５４は、第２撮像画像から関心領域である病変部を検出する認識処理を行う。この場合、病変認識部５４は、先ず第２撮像画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した第２撮像画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを判断する。このような判断手法としては、人工知能（ＡＩ（Artificial Intelligence））、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムであることが好ましい。
【００５３】
なお、病変認識部５４が行う認識処理としては、第２撮像画像から認識した病変部に対して病変の種類などを鑑別する鑑別処理を行ってもよく、あるいは、第２撮像画像全体に対して鑑別処理を行うことにより鑑別結果を取得してもよい。
【００５４】
診断情報取得部５５は、第１撮像画像又は第２撮像画像に関する診断情報を診断情報管理装置４４から取得する。診断情報管理装置４４から取得する診断情報としては、検査対象である患者のカルテを取得する。カルテとは、患者に関して診療または検査の経過等を記録した情報であり、例えば、患者の氏名、性別及び年齢、病名、主要な症状、処方もしくは処置の内容、または、既往歴等の記録を含む。病変認識部５４が認識処理した病変部の情報、および診断情報取得部５５が取得した第１撮像画像又は第２撮像画像に関する診断情報は、データセットＤＳの付属データとして保存される。
【００５５】
学習部５６は、静止画保存制御部４３により教師データ候補としての第２撮像画像が取得されると、第２撮像画像、付属データとして保存された病変部の情報及び診断情報を複数用いて、機械学習を行う。具体的には、学習部５６は、第２撮像画像、認識処理された病変部の情報、診断情報を複数用いて、深層学習などの機械学習手法を用いて判別モデルを生成する。第２撮像画像は、観察対象となる関心領域が含まれる撮像画像であるとともに、計測補助光が照射されていない通常の内視鏡画像であるため、機械学習の教師データとして使用することができる。また、付属データとして病変部の情報及び診断情報なども付属されているため、機械学習を行う際、ユーザーが入力しなくてもよい。生成された判別モデルは、病変認識部５４での病変部の認識処理に用いられる。これにより、教師データ候補としての第２撮像画像が蓄積される程、病変認識部５４での認識処理の精度が向上する。
【００５６】
システム制御部４１による光源制御及び撮像制御と静止画保存制御部４３による静止画保存制御について説明する。通常モードに設定されている場合には、システム制御部４１は、光源装置１４の光源部２６に対して、照明光を常時発するように指示する。これにより、光源部２６からは照明光が発せられる。照明光は、ライトガイド２８を介して、被写体に照射される。なお、通常モードの場合には、計測補助光出射部３０の光源３０ａは停止している。また、静止画保存制御部４３は、通常モードにおいて１回の静止画取得指示が行われることにより、照明光で照明された被写体を撮像して得られる第２撮像画像を静止画保存部４２に保存する。
【００５７】
一方、測長モードに設定されている場合には、システム制御部４１は、光源装置１４の光源部２６及び計測補助光出射部３０の光源３０ａに対して、照明光及び計測補助光を予め設定された発光パターンに従って制御する。具体的には、図８に示すように、照明光を常時点灯するとともに、計測補助光の点灯及び減光を交互に行うマルチフレームモードにおいて、フリーズスイッチ１３ｂが操作された際、第１撮像画像及び第２撮像画像を取得する。
【００５８】
測長モードにおいて、フリーズスイッチ１３ｂが操作されて静止画取得指示が行われた場合には、図８に示すように、静止画取得指示を含む第１タイミングにおいては、照明光を点灯（on）し、かつ計測補助光を点灯（on）にした状態で第１撮像画像を撮像する。第１タイミングが経過した後の第２タイミングにおいては、照明光を点灯（on）にしたままで、計測補助光の光強度を一定値以下にする減光（off）にした状態で第２撮像画像を撮像する。
【００５９】
なお、図８に示す例では、静止画取得指示が第１タイミングに含まれるため、第１撮像画像、第２撮像画像の順番で撮像しているが、静止画取得指示が第２タイミングに含まれる場合は、第２撮像画像を撮像した後に、第１撮像画像を撮像してもよい。
【００６０】
そして、静止画保存制御部４３は、静止画保存部４２に保存する保存画像として、第１撮像画像の静止画と第２撮像画像の静止画とを含むマルチフレーム画像を保存する。なお、図７に示す例では、マルチフレーム画像として、静止画取得指示の際、撮像された１つの第１撮像画像と１つの第２撮像画像とから構成されているが、これに限らず、動画を取得する場合のように、静止画取得指示の前後に撮像された複数の第１撮像画像又は複数の第２撮像画像を１つのマルチフレーム画像に含めてもよい。
【００６１】
また、静止画取得指示が行われてから一定時間の間は、静止画が記録されていることを報知するために、第１撮像画像と第２撮像画像をモニタ１８に表示することが好ましい。第１撮像画像及び第２撮像画像の保存後は、そのまま測長モードを維持するが、通常モードに自動で切り替えるようにしてもよい。
【００６２】
図９（Ａ）に示すように、第１撮像画像は、スポットＳＰが写り込んでいる画像である。一方、図９（Ｂ）に示すように、第２撮像画像は、通常の内視鏡画像であり、色、形、範囲などに基づいて、腫瘍ｔｍに対する形態観察や診断に用いられる。
【００６３】
なお、表示制御部４０が第１撮像画像をモニタ１８に表示する場合は、図９（Ａ）に示す例に限らず、例えば、図１０に示すように、計測用マーカＭ１を重畳表示してもよい。
計測用マーカＭ１は、１つのスポットＳＰの位置に基づいて、大きさが異なる２つの同心円から構成する同心円型の計測用マーカであり、計測用マーカＭ１を構成する２つの同心円Ｍ１１、Ｍ１２であり、左下に付された「５」、「１０」は実寸サイズの「５ｍｍ」、「１０ｍｍ」を表している。この場合、第１撮像画像は、手技後など内視鏡診断の後において、腫瘍ｔｍに対して、計測用マーカＭ１を後処理で重畳表示することにより、詳細に大きさ、距離を計測したい場合に用いられる。内視鏡システム１０の他、ＰＣ（Personal Computer）などによって後処理を行うようにしてもよい。
【００６４】
また、第１撮像画像をモニタ１８に表示させる場合、表示制御部４０は、病変認識部５４で認識処理した結果を表示させてもよい。例えば、図１０に示すように、病変認識部５４で認識した病変部である腫瘍ｔｍのみを色の変更により強調表示させることや、認識した病変の種類（図示せず）を表示させてもよい。また、計測用マーカＭ１を重畳表示させた第１撮像画像は、例えば、腫瘍を切除する際に、その腫瘍を捨ててよいと判断した場合の証拠画像としてカルテに残すことが好ましい（所定の基準よりも大きい又は小さい場合の腫瘍など）。
【００６５】
上述したように、１回の静止画取得指示により、スポットＳＰが写り込んでいる第１撮像画像と、通常の内視鏡画像である第２撮像画像とを取得することができるので、第１撮像画像を用いて観察対象の大きさなどの計測を可能とするとともに、第２撮像画像を機械学習の教師データとして用いることができる。
【００６６】
なお、静止画保存制御部４３は、第１撮像画像及び第２撮像画像を含むマルチフレーム画像を保存しているが、これに限らず、第１撮像画像及び第２撮像画像を、それぞれ単一画像ファイルで保存してもよい。なお、撮像画像のデータ形式として、例えば、Exif、DICOM形式などからなる単一画像ファイルを採用する場合には、スポットＳＰの位置に関する座標情報は、第１撮像画像、第２撮像画像のメタデータとすることが好ましい。また、スポットＳＰの位置に関する座標情報、病変部の情報及び診断情報を、iniファイルなどの別ファイルとする場合には、スポットＳＰの位置に関する座標情報、病変部の情報及び診断情報を第１撮像画像、第２撮像画像と関連付けて保存する。
【００６７】
［第２実施形態］
上記第１実施形態では、計測補助光の点灯及び減光を交互に行うマルチフレームモードにおいて第１撮像画像及び第２撮像画像を取得しているが、第２実施形態では、常時点灯モードで第１撮像画像を取得し、通常モードで第２撮像画像を取得する。図１１に示すように、常時点灯モードの場合、システム制御部４１は、計測補助光を常時点灯する。なお、システム制御部４１による光源制御及び撮像制御と静止画保存制御部４３による静止画保存制御以外の構成は、上記第１実施形態と同様であり、説明を省略する。
【００６８】
通常モードに設定されている場合には、システム制御部４１は、上記第１実施形態と同様に、光源装置１４の光源部２６に対して、照明光を常時発するように指示する。そして、モード切替スイッチ１３ａを操作することにより、通常モードから測長モードに切り替えられた場合、システム制御部４１は、照明光及び計測補助光を常時点灯する常時点灯モードおいてフリーズスイッチ１３ｂが操作された際、第１撮像画像を撮像する。
【００６９】
図１１に示すように、測長モードにおいて、フリーズスイッチ１３ｂが操作されて静止画取得指示が行われた場合には、静止画取得指示を含む第１タイミングにおいては、照明光を点灯（on）し、かつ計測補助光を点灯（on）にした状態のままで第１撮像画像を撮像する。
【００７０】
一方、第２撮像画像は、測長モードに切り替える前、又は測長モードを他のモードに切り替えた後で取得される。図１１に示す例では、測長モードを通常モードに切り替えた後の第２タイミングにおいて、照明光を点灯（on）にしたままで、計測補助光の光強度を一定値以下にする減光（off）にした状態で第２撮像画像を撮像する。静止画保存制御部４３が第１撮像画像及び第２撮像画像を取得した後、保存するまでの流れは上記第１実施形態と同様である。なお、本実施形態では、第１撮像画像の撮像後は、測長モードから通常モードに自動で切り替わることが好ましい。これにより、第１撮像画像を撮像した第１タイミングから短時間で第２タイミングとなり第２撮像画像を撮像することができる。
【００７１】
なお、図１１に示す例では、測長モードを通常モードに切り替えた後の第２タイミングにおいて、第２撮像画像を撮像しているが、図１２に示すように、測長モードに切り替える前の通常モードにおける第２タイミングで第２撮像画像を撮像したものをメモリなどに一旦仮保存しておく。そして、測長モードに切り替えられた後、フリーズスイッチ１３ｂが操作されて静止画取得指示が行われた際、撮像した第１撮像画像とともに仮保存しておいた第２撮像画像を取得してもよい。あるいは、測長モードに切り替える前、測長モードを通常モードに切り替えた後の両方の第２撮像画像を取得してもよい。
【００７２】
以上のように、１回の静止画取得指示により、スポットＳＰが写り込んでいる第１撮像画像と、通常の内視鏡画像である第２撮像画像とを取得することができるので、上記第１実施形態と同様の効果を有する。
【００７３】
なお、第２実施形態では、静止画保存制御部４３は、測長モードにおいて、静止画取得指示を含む第１タイミングで撮像した第１撮像画像のみを取得しているが、これに限らず、静止画取得指示の前後に計測補助光が照射されている状態で取得され、且つ、第１タイミングで撮像した場合と観察対象の形状が類似する撮像画像を第１撮像画像として取得してもよい。
【００７４】
具体的には、測長モードにおいて、第１タイミングで撮像した第１撮像画像（図１１における保存画像のなかで、実戦で囲んでいるもの）以外の第１撮像画像（図１１における保存画像のなかで、破線で囲んでいるもの）が該当する。これらの測長モードにおいて取得した第１撮像画像を全て取得してもよいし、第１タイミングで撮像した第１撮像画像の特徴量と、第１タイミングで撮像した第１撮像画像以外の第１撮像画像の特徴量とを算出し、第１タイミングで撮像した第１撮像画像と観察対象の形状が最も類似するものを取得してもよい。また、測長モードを通常モードに切り替えた後に、第２撮像画像を取得している場合、第１撮像画像についても第２タイミングに近いもの、すなわち、第１タイミングよりも後に撮像された第１撮像画像を取得することが好ましい。さらにまた、測長モードに切り替える前に第２撮像画像を取得している場合は、第１タイミングよりも前に撮像された第１撮像画像を取得することが好ましい。
【００７５】
上記各実施形態では、病変認識部５４と、教師データ候補取得部（静止画保存制御部４３）と、診断情報取得部５５と、学習部５６とは、全て内視鏡システム１０に設ける例を説明したが、それらのいずれかを内視鏡システムに設け、その他は、内視鏡システムに接続された外部の医療画像処理装置に設けてもよい。例えば、内視鏡システムには病変認識部のみを設け、外部の医療画像処理装置には、教師データ候補取得部と、診断情報取得部と、学習部とを設ける。そして、外部の医療画像処理装置の学習部によって、内視鏡システムの病変認識部を学習するようにする。
【００７６】
上記各実施形態では、第２撮像画像を撮像する際は、計測補助光の光強度を一定値以下にする減光を行っているが、計測補助光を減光するのではなく、消灯するようにしてもよい。また、上記各実施形態では、教師データ候補取得部（静止画保存制御部４３）は、スポットＳＰが写り込んでいる第１撮像画像と、通常の内視鏡画像である第２撮像画像とを取得し、第２撮像画像を教師データ候補として取得しているが、これに限らず、第１撮像画像及び第２撮像画像の少なくともいずれか１つを教師データ候補として取得すればよい。第１撮像画像を教師データ候補として取得した場合、例えば、学習部による機械学習ではスポットＳＰが写り込んでいる部分以外の部分を使用すればよい。
【００７７】
また、教師データ候補取得部（静止画保存制御部４３）が取得する教師データ候補としては、上述した第１撮像画像又は第２撮像画像の画像全体ではなく、スポットＳＰの周辺を切り取った病変部候補画像を教師データ候補として取得してもよい。この場合、フリーズスイッチ１３ｂが操作されて静止画取得指示が行われた際、図１３に示すように、教師データ候補取得部（静止画保存制御部４３）は、第１撮像画像又は第２撮像画像（図１３（Ａ）及び図１３（Ｂ）参照）に対して、スポットＳＰの位置情報を用いて、その周辺を切り取った病変部候補画像（図１３（Ｃ）及び図１３（Ｄ）参照）を作成する。
【００７８】
図１３に示す例では、スポットＳＰの周辺として、スポットＳＰの位置を中心とし、所定のピクセル数を直径とする円形状の範囲を切り取っているが、これに限らず、スポットＳＰの位置を含む所定の形状からなる範囲であればよい。あるいは、病変認識部５４で認識処理した腫瘍ｔｍの範囲のみを切り取ってもよい。そして、切り取った病変部候補画像を静止画保存部４２等に保存する。スポットＳＰが写り込んでいる部分は、すなわち、ユーザーである医師が観察したい箇所であり、当然学習対象になり得る。よって、スポットＳＰの周辺を切り取った病変部候補画像を用いて、上記各実施形態と同様に、学習部５６が機械学習を行う。これにより、医師による選択性を持った病変部候補画像に基づいて機械学習を行うことができるので、病変認識部５４での認識処理の精度がさらに向上する。なお、教師データ候補取得部が取得する教師データ候補としては、第１撮像画像に対してスポットＳＰの周辺を切り取った病変部候補画像、及び第２撮像画像に対してスポットＳＰの周辺を切り取った病変部候補画像のうち、いずれか一方でもよい。
【００７９】
上記各実施形態において、信号処理部３９、表示制御部４０、システム制御部４１といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【００８０】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００８１】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
【符号の説明】
【００８２】
１０  内視鏡システム
１２  内視鏡
１２ａ  挿入部
１２ｂ  操作部
１２ｃ  湾曲部
１２ｄ  先端部
１２ｅ  アングルノブ
１３ａ  モード切替スイッチ
１３ｂ  フリーズスイッチ
１４  光源装置
１６  プロセッサ装置
１８  モニタ
１９  ユーザーインターフェース
２１  対物レンズ
２２  照明レンズ
２３  計測補助用レンズ
２４  開口
２５  送気送水ノズル
２６  光源部
２７  光源制御部
２８  ライトガイド
２９ａ  照明光学系
２９ｂ  撮像光学系
３０  計測補助光出射部
３０ａ  光源
３０ｂ  ＧＲＩＮレンズ
３０ｃ  プリズム
３０ｄ  光ファイバ
３２  撮像素子
３３  撮像制御部
３４  ＣＤＳ／ＡＧＣ回路
３５  Ａ／Ｄ
３６  通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）
３８  通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）
３９  信号処理部
４０  表示制御部
４１  システム制御部
４２  静止画保存部
４３  静止画保存制御部
４４  診断情報管理装置
４５  実線
４６  点線
５１  位置特定部
５２  観察距離検出部
５３  計測用マーカ設定部
５４  病変認識部
５５  診断情報取得部
５６  学習部
５７  観察距離テーブル
Ｄ１  第１方向
Ｄ２  第２方向
ＤＳ  データセット
ＬＩ  光軸
ＬＭ  光軸
Ｍ１  計測用マーカ
Ｍ１１  同心円
Ｍ１２  同心円
ＰＦ  遠端
ＰＭ  中央付近
ＰＮ  近端
ＱＦ  矢印
ＱＭ  矢印
ＱＮ  矢印
Ｒ１  範囲
ＳＰ  スポット
ｔｍ  腫瘍
【図１】
2020189334.tif 000003
【図２】
2020189334.tif 000004
【図３】
2020189334.tif 000005
【図４】
2020189334.tif 000006
【図５】
2020189334.tif 000007
【図６】
2020189334.tif 000008
【図７】
2020189334.tif 000009
【図８】
2020189334.tif 000010
【図９】
2020189334.tif 000011
【図１０】
2020189334.tif 000012
【図１１】
2020189334.tif 000013
【図１２】
2020189334.tif 000014
【図１３】
2020189334.tif 000015
【手続補正書】
【提出日】令和3年11月5日(2021.11.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
撮像素子３２から出力される画像信号は、ＣＤＳ／ＡＧＣ回路３４に送信される。ＣＤＳ／ＡＧＣ回路３４は、アナログ信号である画像信号に相関二重サンプリング（ＣＤＳ（Correlated Double Sampling））や自動利得制御（ＡＧＣ（Auto Gain Control））を行う。ＣＤＳ／ＡＧＣ回路（ＣＤＳ／ＡＧＣ）３４を経た画像信号は、Ａ／Ｄ変換器（Ａ／Ｄ（Analog／Digital）コンバータ（Ａ／Ｄ））３５により、デジタル画像信号に変換される。Ａ／Ｄ変換されたデジタル画像信号は、通信Ｉ／Ｆ（Interface）３６を介して、プロセッサ装置１６に入力される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
プリズム３０ｃは、ＧＲＩＮレンズ３０ｂで変換後の計測補助光の進行方向を変えるための光学部材である。プリズム３０ｃは、対物レンズ２１及びレンズ群を含む撮像光学系の視野と交差するように、計測補助光の進行方向を変更する。計測補助光の進行方向の詳細についても、後述する。プリズム３０ｃから出射した計測補助光は、計測補助用レンズ２３を通って、被写体へと照射される。計測補助光が被写体に照射されることにより、被写体において、円状領域（特定領域）としてのスポットＳＰが形成される（図９（Ａ）参照）。このスポットＳＰの位置は、位置特定部５１によって特定され、また、スポットＳＰの位置に応じて、実寸サイズを表す計測用マーカが設定される。設定された計測用マーカは、撮像画像上に重畳表示される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
具体的には、測長モードにおいて、第１タイミングで撮像した第１撮像画像（図１１における保存画像のなかで、実線で囲んでいるもの）以外の第１撮像画像（図１１における保存画像のなかで、破線で囲んでいるもの）が該当する。これらの測長モードにおいて取得した第１撮像画像を全て取得してもよいし、第１タイミングで撮像した第１撮像画像の特徴量と、第１タイミングで撮像した第１撮像画像以外の第１撮像画像の特徴量とを算出し、第１タイミングで撮像した第１撮像画像と観察対象の形状が最も類似するものを取得してもよい。また、測長モードを通常モードに切り替えた後に、第２撮像画像を取得している場合、第１撮像画像についても第２タイミングに近いもの、すなわち、第１タイミングよりも後に撮像された第１撮像画像を取得することが好ましい。さらにまた、測長モードに切り替える前に第２撮像画像を取得している場合は、第１タイミングよりも前に撮像された第１撮像画像を取得することが好ましい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
１０  内視鏡システム
１２  内視鏡
１２ａ  挿入部
１２ｂ  操作部
１２ｃ  湾曲部
１２ｄ  先端部
１２ｅ  アングルノブ
１３ａ  モード切替スイッチ
１３ｂ  フリーズスイッチ
１４  光源装置
１６  プロセッサ装置
１８  モニタ
１９  ユーザーインターフェース
２１  対物レンズ
２２  照明レンズ
２３  計測補助用レンズ
２４  開口
２５  送気送水ノズル
２６  光源部
２７  光源制御部
２８  ライトガイド
２９ａ  照明光学系
２９ｂ  撮像光学系
３０  計測補助光出射部
３０ａ  光源
３０ｂ  ＧＲＩＮレンズ
３０ｃ  プリズム
３０ｄ  光ファイバ
３２  撮像素子
３３  撮像制御部
３４  ＣＤＳ／ＡＧＣ回路（ＣＤＳ／ＡＧＣ）
３５  Ａ／Ｄ変換器（Ａ／Ｄ）
３６  通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）
３８  通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）
３９  信号処理部
４０  表示制御部
４１  システム制御部
４２  静止画保存部
４３  静止画保存制御部
４４  診断情報管理装置
４５  実線
４６  点線
５１  位置特定部
５２  観察距離検出部
５３  計測用マーカ設定部
５４  病変認識部
５５  診断情報取得部
５６  学習部
５７  観察距離テーブル
Ｄ１  第１方向
Ｄ２  第２方向
ＤＳ  データセット
ＬＩ  光軸
ＬＭ  光軸
Ｍ１  計測用マーカ
Ｍ１１  同心円
Ｍ１２  同心円
ＰＦ  遠端
ＰＭ  中央付近
ＰＮ  近端
ＱＦ  矢印
ＱＭ  矢印
ＱＮ  矢印
Ｒ１  範囲
ＳＰ  スポット
ｔｍ  腫瘍
【国際調査報告】
2020189334.tif 000016
2020189334.tif 000017
2020189334.tif 000018
2020189334.tif 000019