(57)【要約】  本発明の超音波内視鏡システムおよび超音波内視鏡システムの作動方法においては、超音波画像認識部が、学習用超音波画像と学習用超音波画像に表示されている臓器の名称との関係と、学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端部の位置と、の関係と、の少なくとも一方を複数の学習用超音波画像について予め学習しておく。超音波画像認識部が、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称と、超音波内視鏡の先端部の位置と、の少なくとも一方を認識し、表示制御部が、臓器の名称および超音波内視鏡の先端部の位置の少なくとも１つをモニタに表示させる。
2020174778.tif 000002
【特許請求の範囲】
【請求項１】
超音波振動子を先端に有する超音波内視鏡と、
前記超音波振動子により超音波を送受信させ、前記超音波の受信信号から診断用超音波画像を生成する超音波観測装置と、
学習用超音波画像と前記学習用超音波画像に表示されている臓器の名称との関係と、前記学習用超音波画像と前記学習用超音波画像の撮影時の前記超音波内視鏡の先端部の位置との関係と、の少なくとも一方を複数の前記学習用超音波画像について予め学習しておき、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像に表示されている臓器の名称と、前記超音波内視鏡の先端部の位置と、の少なくとも一方を認識する超音波画像認識部と、
前記超音波画像認識部によって認識された前記臓器の名称および前記超音波内視鏡の先端部の位置の少なくとも１つをモニタに表示させる表示制御部と、を備える、超音波内視鏡システム。
【請求項２】
さらに、ユーザから入力される指示を取得する指示取得部を備え、
前記表示制御部は、前記ユーザからの指示に応じて、前記診断用超音波画像に前記臓器の名称を重ねて表示し、解剖学シェーマ図に前記超音波内視鏡の先端部の位置を重ねて表示する、請求項１に記載の超音波内視鏡システム。
【請求項３】
前記表示制御部は、前記ユーザからの指示に応じて、前記臓器の名称が表示されていない前記診断用超音波画像、前記臓器の名称が重ねて表示された前記診断用超音波画像、前記超音波内視鏡の先端部の位置が表示されていない解剖学シェーマ図、および前記超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の中から、前記臓器の名称が重ねて表示された前記診断用超音波画像および前記超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の少なくとも一方を含む２以上の画像を前記モニタの画面内に並べて表示させる、請求項２に記載の超音波内視鏡システム。
【請求項４】
前記超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、前記照明部から照射される照明光の反射光を前記撮像部によって受信させ、前記反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサと、
ユーザから入力される指示を取得する指示取得部と、を備え、
前記表示制御部は、前記ユーザからの指示に応じて、前記診断用内視鏡画像を前記モニタの画面内に表示させる、請求項１ないし３のいずれか一項に記載の超音波内視鏡システム。
【請求項５】
さらに、前記診断用内視鏡画像から、前記診断用内視鏡画像に表示されている病変領域を認識する内視鏡画像認識部を備え、
前記表示制御部は、前記ユーザからの指示に応じて、前記病変領域が重ねて表示された前記診断用内視鏡画像を前記モニタに表示させる、請求項４に記載の超音波内視鏡システム。
【請求項６】
前記表示制御部は、前記ユーザからの指示に応じて、前記病変領域が表示されていない前記診断用内視鏡画像、前記病変領域が重ねて表示された前記診断用内視鏡画像、前記臓器の名称が表示されていない前記診断用超音波画像、前記臓器の名称が重ねて表示された前記診断用超音波画像、前記超音波内視鏡の先端部の位置が表示されていない解剖学シェーマ図、および前記超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の中から、前記臓器の名称が重ねて表示された前記診断用超音波画像および前記超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の少なくとも一方を含む２以上の画像を前記モニタの画面内に並べて表示させる、請求項５に記載の超音波内視鏡システム。
【請求項７】
前記モニタに表示された２以上の画像の中から、１の画像を注目画像として他の画像よりも大きく表示させる、請求項３または６に記載の超音波内視鏡システム。
【請求項８】
前記表示制御部は、前記ユーザからの指示に応じて、前記注目画像を前記１の画像から前記他の画像のうちの１つに切り替えて表示させる、請求項７に記載の超音波内視鏡システム。
【請求項９】
前記表示制御部は、前記ユーザからの指示に応じて、前記臓器の名称が表示されていない前記診断用超音波画像、前記臓器の名称が重ねて表示された前記診断用超音波画像、および前記超音波内視鏡の先端部の位置が重ねて表示された前記解剖学シェーマ図を前記モニタの画面内に並べて表示させる、請求項３、６ないし８のいずれか一項に記載の超音波内視鏡システム。
【請求項１０】
前記診断用超音波画像または解剖学シェーマ図が前記モニタの画面内に表示される場合に前記超音波画像認識部が動作し、前記診断用内視鏡画像が前記モニタの画面内に表示される場合に前記内視鏡画像認識部が動作する、請求項５または６に記載の超音波内視鏡システム。
【請求項１１】
前記超音波画像認識部は、前記学習用超音波画像と前記学習用超音波画像に表示されている臓器の名称との関係と、前記学習用超音波画像と前記学習用超音波画像の撮影時の前記超音波内視鏡の先端部の位置および向きとの関係と、の少なくとも一方を前記複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像に表示されている臓器の名称と、前記超音波内視鏡の先端部の位置および向きと、の少なくとも一方を認識し、
前記表示制御部は、前記超音波画像認識部によって認識された前記臓器の名称と、前記超音波画像認識部によって認識された前記超音波内視鏡の先端部の位置および向きと、の少なくとも１つを前記モニタに表示させる、請求項１ないし１０のいずれか一項に記載の超音波内視鏡システム。
【請求項１２】
さらに、ユーザから入力される指示を取得する指示取得部を備え、
前記表示制御部は、前記ユーザからの指示に応じて、前記超音波内視鏡の先端部の位置および向きが重ねて表示された解剖学シェーマ図を前記モニタに表示させる、請求項１１に記載の超音波内視鏡システム。
【請求項１３】
前記超音波画像認識部は、さらに、前記学習用超音波画像と前記学習用超音波画像に表示されている臓器の範囲との関係を前記複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像に表示されている臓器の範囲を認識し、
前記表示制御部は、さらに、前記超音波画像認識部によって認識された前記臓器の範囲をモニタに表示させる、請求項１ないし１２のいずれか一項に記載の超音波内視鏡システム。
【請求項１４】
前記表示制御部は、前記超音波画像認識部によって認識された前記臓器の範囲の内部領域を着色し、前記内部領域が着色された前記臓器の範囲を前記モニタに表示させるか、または、前記超音波画像認識部によって認識された前記臓器の範囲を示す枠を設けて前記枠を着色し、前記枠が着色された前記臓器の範囲を前記モニタに表示させる、請求項１３に記載の超音波内視鏡システム。
【請求項１５】
前記表示制御部は、前記超音波画像認識部によって範囲が認識された臓器の種類毎に、前記内部領域または前記枠を異なる色に着色する、請求項１４に記載の超音波内視鏡システム。
【請求項１６】
さらに、ユーザから入力される指示を取得する指示取得部と、
前記ユーザからの指示に応じて、前記臓器の種類と前記内部領域または前記枠の色との関係を登録する色登録部と、を備え、
前記表示制御部は、前記内部領域または前記枠を、前記ユーザからの指示によって指定された色に着色するか、あるいは、前記色登録部に登録された前記臓器の種類に対応する前記内部領域または前記枠の色に着色する、請求項１５に記載の超音波内視鏡システム。
【請求項１７】
前記超音波画像認識部は、さらに、前記超音波画像認識部によって認識された前記臓器の名称の確信度を算出し、
前記表示制御部は、前記確信度に応じて、前記モニタに表示させる前記臓器の名称の表示方法、および、前記内部領域または前記枠の着色方法の少なくとも一方を決定する、請求項１４ないし１６のいずか一項に記載の超音波内視鏡システム。
【請求項１８】
前記表示制御部は、前記診断用超音波画像に前記臓器の名称を重ねて表示させる場合、前記臓器の名称の表示領域の背後に表示されている前記診断用超音波画像の輝度に応じて、前記臓器の名称の色、および、前記内部領域または前記枠の色の少なくとも一方を決定する、請求項１４ないし１７のいずれか一項に記載の超音波内視鏡システム。
【請求項１９】
さらに、ユーザから入力される指示を取得する指示取得部を備え、
前記表示制御部は、前記ユーザからの指示に応じて、前記超音波画像認識部によって認識された前記臓器の名称、および、前記内部領域または前記枠が着色された前記臓器の範囲の一方のみを表示させるか、両方を表示させるか、両方とも表示させないか、を切り替える、請求項１４ないし１８のいずれか一項に記載の超音波内視鏡システム。
【請求項２０】
前記表示制御部は、前記超音波画像認識部によって認識された前記臓器の範囲に応じて、前記超音波画像認識部によって認識された前記臓器の名称を前記モニタに表示させる位置を決める、請求項１３ないし１９のいずれか一項に記載の超音波内視鏡システム。
【請求項２１】
前記表示制御部は、前記超音波画像認識部によって認識された前記臓器の範囲に応じて、前記超音波画像認識部によって認識された前記臓器の名称を前記モニタに表示させるか否かを決める、請求項１３ないし２０のいずれか一項に記載の超音波内視鏡システム。
【請求項２２】
さらに、ユーザから入力される指示を取得する指示取得部と、
前記ユーザからの指示に応じて、範囲を表示させる臓器の種類を登録する臓器登録部と、を備え、
前記表示制御部は、前記超音波画像認識部によって範囲が認識された臓器が、前記臓器登録部に登録されている臓器である場合に、前記超音波画像認識部によって認識された臓器の範囲を前記モニタに表示させる、請求項１３ないし２１のいずれか一項に記載の超音波内視鏡システム。
【請求項２３】
さらに、ユーザから入力される指示を取得する指示取得部を備え、
前記表示制御部は、前記ユーザからの指示に応じて、範囲を表示させる臓器の種類を順次切り替える、請求項１３ないし２２のいずれか一項に記載の超音波内視鏡システム。
【請求項２４】
前記超音波画像認識部は、前記超音波観測装置に内蔵されている、請求項１ないし２３のいずれか一項に記載の超音波内視鏡システム。
【請求項２５】
前記超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、前記照明部から照射される照明光の反射光を前記撮像部によって受信させ、前記反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
前記超音波画像認識部は、前記内視鏡プロセッサに内蔵されている、請求項１ないし２３のいずれか一項に記載の超音波内視鏡システム。
【請求項２６】
前記超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、前記照明部から照射される照明光の反射光を前記撮像部によって受信させ、前記反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
前記超音波画像認識部は、前記超音波観測装置および前記内視鏡プロセッサの外部に設けられている、請求項１ないし２３のいずれか一項に記載の超音波内視鏡システム。
【請求項２７】
超音波画像認識部が、学習用超音波画像と前記学習用超音波画像に表示されている臓器の名称との関係と、前記学習用超音波画像と前記学習用超音波画像の撮影時の超音波内視鏡の先端部の位置との関係と、の少なくとも一方を複数の前記学習用超音波画像について予め学習しておくステップと、
超音波観測装置が、前記超音波内視鏡の先端に有する超音波振動子により超音波を送受信させ、前記超音波の受信信号から診断用超音波画像を生成するステップと、
前記超音波画像認識部が、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像に表示されている臓器の名称と、前記超音波内視鏡の先端部の位置と、の少なくとも一方を認識するステップと、
表示制御部が、前記超音波画像認識部によって認識された前記臓器の名称および前記超音波内視鏡の先端部の位置の少なくとも１つをモニタに表示させるステップと、を含む、超音波内視鏡システムの作動方法。
【請求項２８】
ユーザからの指示に応じて、前記診断用超音波画像に前記臓器の名称を重ねて表示し、解剖学シェーマ図に前記超音波内視鏡の先端部の位置を重ねて表示する、請求項２７に記載の超音波内視鏡システムの作動方法。
【請求項２９】
前記ユーザからの指示に応じて、前記臓器の名称が表示されていない前記診断用超音波画像、前記臓器の名称が重ねて表示された前記診断用超音波画像、前記超音波内視鏡の先端部の位置が表示されていない解剖学シェーマ図、および前記超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の中から、前記臓器の名称が重ねて表示された前記診断用超音波画像および前記超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の少なくとも一方を含む２以上の画像を前記モニタの画面内に並べて表示させる、請求項２８に記載の超音波内視鏡システムの作動方法。
【請求項３０】
前記モニタに表示された２以上の画像の中から、１の画像を注目画像として他の画像よりも大きく表示させる、請求項２９に記載の超音波内視鏡システムの作動方法。
【請求項３１】
前記ユーザからの指示に応じて、前記注目画像を前記１の画像から前記他の画像のうちの１つに切り替えて表示させる、請求項３０に記載の超音波内視鏡システムの作動方法。
【請求項３２】
前記学習用超音波画像と前記学習用超音波画像に表示されている臓器の名称との関係と、前記学習用超音波画像と前記学習用超音波画像の撮影時の前記超音波内視鏡の先端部の位置および向きとの関係と、の少なくとも一方を前記複数の学習用超音波画像について予め学習しておき、
学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像に表示されている臓器の名称と、前記超音波内視鏡の先端部の位置および向きと、の少なくとも一方を認識し、
前記超音波画像認識部によって認識された前記臓器の名称と、前記超音波画像認識部によって認識された前記超音波内視鏡の先端部の位置および向きと、の少なくとも１つを前記モニタに表示させる、請求項２７ないし３０のいずれか一項に記載の超音波内視鏡システムの作動方法。
【請求項３３】
さらに、前記超音波画像認識部が、前記学習用超音波画像と前記学習用超音波画像に表示されている臓器の範囲との関係を前記複数の学習用超音波画像について予め学習しておくステップと、
前記超音波画像認識部が、学習結果に基づいて、前記診断用超音波画像から、前記診断用超音波画像に表示されている臓器の範囲を認識するステップと、
前記表示制御部が、前記超音波画像認識部によって認識された前記臓器の範囲をモニタに表示させるステップと、を含む、請求項２７ないし３２のいずれか一項に記載の超音波内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波を用いて、被検体の体内の観察対象部位の状態を観察する超音波内視鏡システムおよび超音波内視鏡システムの作動方法に関する。
【背景技術】
【０００２】
超音波内視鏡システムは、経消化管による膵臓又は胆嚢等の観察を主な目的として、内視鏡観察部および超音波観察部を先端に有する超音波内視鏡を被検体の消化管内へ挿入し、消化管内の内視鏡画像、および消化管壁の外側にある部位の超音波画像を撮像する。【０００３】
超音波内視鏡システムでは、超音波内視鏡の先端に有する照明部から消化管内の観察対象隣接部位に照明光を照射し、その反射光を超音波内視鏡の先端に有する撮像部によって受信し、反射光の撮像信号から内視鏡画像が生成される。また、超音波内視鏡の先端に有する複数の超音波振動子により、消化管壁の外側にある臓器等の観察対象部位に超音波を送受信し、超音波の受信信号から超音波画像が生成される。【０００４】
内視鏡画像を観察する場合、超音波内視鏡を被検体の消化管内に挿入すると、例えば食道の内壁が見えてきて、さらに超音波内視鏡の先端部を押し進めると、胃の内壁が見えてくるというように、術者（超音波内視鏡システムのユーザ）は、今現在、超音波内視鏡の先端部が被検体の消化器内のどの位置にあって、どの方向を向いていて、どの部位を観察しているのかが比較的分かりやすい。【０００５】
これに対し、超音波画像に不慣れな術者は、超音波画像に何が表示されているのか、例えば膵臓なのか胆嚢なのか、あるいは血管なのか胆管なのか膵管なのか、さらに、超音波画像に表示されている膵臓および胆嚢等の臓器の範囲がどこなのか等が非常に分かりづらいという問題がある。また、超音波画像に不慣れな術者は、超音波画像の観察中に、今現在、超音波内視鏡の先端部がどの位置にあって、どの方向を向いていて、どの部位を観察しているのかが分からなくなり、被検体の体内において迷うという問題がある。【０００６】
ここで、本発明に関連性のある先行技術文献として、特許文献１〜４がある。【０００７】
特許文献１には、被検体内の診断部位の画像中の目的部位を大まかに抽出し、ニューラルネットワークを用いて目的部位を認識するための大局情報を予測し、大局情報を用いて目的部位の輪郭を認識し、原画像と共にその認識結果を表示することが記載されている。【０００８】
特許文献２には、コイルからの電気信号に基づいて、超音波内視鏡の先端部の位置・配向データを生成し、この位置・配向データから、超音波内視鏡の挿入形状を示すための挿入形状データを生成し、被検者の臓器群等の組織構造の３次元生体組織モデルデータと組み合わせることによりガイド画像を生成し、超音波画像とガイド画像とを合成した合成画像の映像信号を生成してモニタに表示することが記載されている。
また、特許文献２には、立体ガイド画像及び断面ガイド画像が画面の左側の領域に配置され、超音波画像が画面の右側の領域に配置されつつ表示されることが記載されている。
さらに、特許文献２には、超音波画像の表示レンジを拡大または縮小するためのボタンが記載されている。【０００９】
特許文献３には、表示装置の画面内に被検体の超音波断層像とその光学的画像とを一箇所に隣接表示し、両画像を同時に観察しうるようにすることが記載されている。【００１０】
特許文献４には、超音波画像と、模式図とが同一画面に表示され、模式図が、シェーマ図もしくは人体の実際の光学画像であり、模式図において、超音波内視鏡の走査面と挿入形状をあわせて表示することが記載されている。
また、特許文献４には、コイルを用いて検出された超音波内視鏡の位置及び方向の信号から、超音波内視鏡の走査位置の領域を検出して超音波走査領域データを出力し、部位名記憶部から超音波走査領域データに対応した部位名データを読み出し、超音波画像上に部位名を重畳して表示することが記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平０６−２３３７６１号公報
【特許文献２】特開２０１０−０６９０１８号公報
【特許文献３】特開平０２−０４５０４５号公報
【特許文献４】特開２００４−１１３６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１には、診断部位の画像中の目的部位の輪郭を認識することが記載されているが、画像から、目的部位の名称を認識することは記載されていない。
特許文献２、４には、コイルを用いて超音波内視鏡の先端部の位置および向きを検出することが記載されているが、コイル等の追加の部品を必要とせず、超音波画像から、超音波内視鏡の先端部の位置および向きを検出することは記載されていない。
特許文献２〜４には、シェーマ図等のガイド画像、内視鏡画像、及び超音波画像を組み合わせて表示させることが記載されているが、ユーザからの指示に応じて、これらの画像の組み合わせを切り替えて見やすく表示させることは記載されていない。また、例えばシェーマ図等のガイド画像、内視鏡画像、及び超音波画像を組み合わせて表示させることは記載されていない。
特許文献４には、超音波画像上に部位名を重畳して表示することが記載されているが、部位名データ等の追加のデータを用いることなく、超音波画像から、その超音波画像に表示されている部位の名称を認識して表示させることは記載されていない。
さらに、特許文献１〜４には、超音波画像に表示されている臓器の名称と臓器の範囲とを同時に表示させたり、超音波内視鏡の先端部の位置さらには向きと臓器の範囲とを同時に表示させたり、超音波画像に表示されている臓器の名称と、超音波内視鏡の先端部の位置さらには向きと、超音波画像に表示されている臓器の範囲とを同時に表示させたりすることは記載されていない。【００１３】
従って、本発明の第１の目的は、超音波画像から、超音波画像に表示されている臓器の名称さらには臓器の範囲と、超音波内視鏡の先端部の位置さらには向きと、を認識し、モニタに表示させることができる超音波内視鏡システムおよび超音波内視鏡システムの作動方法を提供することにある。
また、本発明の第２の目的は、ユーザからの指示に応じて、内視鏡画像、超音波画像、及び解剖学シェーマ図を切り替えて見やすく表示させることができる超音波内視鏡システムおよび超音波内視鏡システムの作動方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明は、超音波振動子を先端に有する超音波内視鏡と、
超音波振動子により超音波を送受信させ、超音波の受信信号から診断用超音波画像を生成する超音波観測装置と、
学習用超音波画像と学習用超音波画像に表示されている臓器の名称との関係と、学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端部の位置との関係と、の少なくとも一方を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称と、超音波内視鏡の先端部の位置と、の少なくとも一方を認識する超音波画像認識部と、
超音波画像認識部によって認識された臓器の名称および超音波内視鏡の先端部の位置の少なくとも１つをモニタに表示させる表示制御部と、を備える、超音波内視鏡システムを提供する。【００１５】
ここで、さらに、ユーザから入力される指示を取得する指示取得部を備え、
表示制御部は、ユーザからの指示に応じて、診断用超音波画像に臓器の名称を重ねて表示し、解剖学シェーマ図に超音波内視鏡の先端部の位置を重ねて表示することが好ましい。【００１６】
また、表示制御部は、ユーザからの指示に応じて、臓器の名称が表示されていない診断用超音波画像、臓器の名称が重ねて表示された診断用超音波画像、超音波内視鏡の先端部の位置が表示されていない解剖学シェーマ図、および超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の中から、臓器の名称が重ねて表示された診断用超音波画像および超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の少なくとも一方を含む２以上の画像をモニタの画面内に並べて表示させることが好ましい。【００１７】
超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、照明部から照射される照明光の反射光を撮像部によって受信させ、反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサと、
ユーザから入力される指示を取得する指示取得部と、を備え、
表示制御部は、ユーザからの指示に応じて、診断用内視鏡画像をモニタの画面内に表示させることが好ましい。【００１８】
さらに、診断用内視鏡画像から、診断用内視鏡画像に表示されている病変領域を認識する内視鏡画像認識部を備え、
表示制御部は、ユーザからの指示に応じて、病変領域が重ねて表示された診断用内視鏡画像をモニタに表示させることが好ましい。【００１９】
また、表示制御部は、ユーザからの指示に応じて、病変領域が表示されていない診断用内視鏡画像、病変領域が重ねて表示された診断用内視鏡画像、臓器の名称が表示されていない診断用超音波画像、臓器の名称が重ねて表示された診断用超音波画像、超音波内視鏡の先端部の位置が表示されていない解剖学シェーマ図、および超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の中から、臓器の名称が重ねて表示された診断用超音波画像および超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の少なくとも一方を含む２以上の画像をモニタの画面内に並べて表示させることが好ましい。【００２０】
また、モニタに表示された２以上の画像の中から、１の画像を注目画像として他の画像よりも大きく表示させることが好ましい。【００２１】
また、表示制御部は、ユーザからの指示に応じて、注目画像を１の画像から他の画像のうちの１つに切り替えて表示させることが好ましい。【００２２】
また、表示制御部は、ユーザからの指示に応じて、臓器の名称が表示されていない診断用超音波画像、臓器の名称が重ねて表示された診断用超音波画像、および超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図をモニタの画面内に並べて表示させることが好ましい。【００２３】
また、診断用超音波画像または解剖学シェーマ図がモニタの画面内に表示される場合に超音波画像認識部が動作し、診断用内視鏡画像がモニタの画面内に表示される場合に内視鏡画像認識部が動作することが好ましい。【００２４】
また、超音波画像認識部は、学習用超音波画像と学習用超音波画像に表示されている臓器の名称との関係と、学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端部の位置および向きとの関係と、の少なくとも一方を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称と、超音波内視鏡の先端部の位置および向きと、の少なくとも一方を認識し、
表示制御部は、超音波画像認識部によって認識された臓器の名称と、超音波画像認識部によって認識された超音波内視鏡の先端部の位置および向きと、の少なくとも１つをモニタに表示させることが好ましい。【００２５】
さらに、ユーザから入力される指示を取得する指示取得部を備え、
表示制御部は、ユーザからの指示に応じて、超音波内視鏡の先端部の位置および向きが重ねて表示された解剖学シェーマ図をモニタに表示させることが好ましい。【００２６】
超音波画像認識部は、さらに、学習用超音波画像と学習用超音波画像に表示されている臓器の範囲との関係を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の範囲を認識し、
表示制御部は、さらに、超音波画像認識部によって認識された臓器の範囲をモニタに表示させることが好ましい。【００２７】
また、表示制御部は、超音波画像認識部によって認識された臓器の範囲の内部領域を着色し、内部領域が着色された臓器の範囲をモニタに表示させるか、または、超音波画像認識部によって認識された臓器の範囲を示す枠を設けて枠を着色し、枠が着色された臓器の範囲をモニタに表示させることが好ましい。【００２８】
また、表示制御部は、超音波画像認識部によって範囲が認識された臓器の種類毎に、内部領域または枠を異なる色に着色することが好ましい。【００２９】
さらに、ユーザから入力される指示を取得する指示取得部と、
ユーザからの指示に応じて、臓器の種類と内部領域または枠の色との関係を登録する色登録部と、を備え、
表示制御部は、内部領域または枠を、ユーザからの指示によって指定された色に着色するか、あるいは、色登録部に登録された臓器の種類に対応する内部領域または枠の色に着色することが好ましい。【００３０】
超音波画像認識部は、さらに、超音波画像認識部によって認識された臓器の名称の確信度を算出し、
表示制御部は、確信度に応じて、モニタに表示させる臓器の名称の表示方法、および、内部領域または枠の着色方法の少なくとも一方を決定することが好ましい。【００３１】
また、表示制御部は、診断用超音波画像に臓器の名称を重ねて表示させる場合、臓器の名称の表示領域の背後に表示されている診断用超音波画像の輝度に応じて、臓器の名称の色、および、内部領域または枠の色の少なくとも一方を決定することが好ましい。【００３２】
さらに、ユーザから入力される指示を取得する指示取得部を備え、
表示制御部は、ユーザからの指示に応じて、超音波画像認識部によって認識された臓器の名称、および、内部領域または枠が着色された臓器の範囲の一方のみを表示させるか、両方を表示させるか、両方とも表示させないか、を切り替えることが好ましい。【００３３】
また、表示制御部は、超音波画像認識部によって認識された臓器の範囲に応じて、超音波画像認識部によって認識された臓器の名称をモニタに表示させる位置を決めることが好ましい。【００３４】
また、表示制御部は、超音波画像認識部によって認識された臓器の範囲に応じて、超音波画像認識部によって認識された臓器の名称をモニタに表示させるか否かを決めることが好ましい。【００３５】
さらに、ユーザから入力される指示を取得する指示取得部と、
ユーザからの指示に応じて、範囲を表示させる臓器の種類を登録する臓器登録部と、を備え、
表示制御部は、超音波画像認識部によって範囲が認識された臓器が、臓器登録部に登録されている臓器である場合に、超音波画像認識部によって認識された臓器の範囲をモニタに表示させることが好ましい。【００３６】
さらに、ユーザから入力される指示を取得する指示取得部を備え、
表示制御部は、ユーザからの指示に応じて、範囲を表示させる臓器の種類を順次切り替えることが好ましい。【００３７】
また、超音波画像認識部は、超音波観測装置に内蔵されていることが好ましい。【００３８】
超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、照明部から照射される照明光の反射光を撮像部によって受信させ、反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
超音波画像認識部は、内視鏡プロセッサに内蔵されていることが好ましい。【００３９】
超音波内視鏡が、さらに照明部および撮像部を先端に有し、
さらに、照明部から照射される照明光の反射光を撮像部によって受信させ、反射光の撮像信号から診断用内視鏡画像を生成する内視鏡プロセッサを備え、
超音波画像認識部は、超音波観測装置および内視鏡プロセッサの外部に設けられていることが好ましい。【００４０】
また、本発明は、超音波画像認識部が、学習用超音波画像と学習用超音波画像に表示されている臓器の名称との関係と、学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端部の位置との関係と、の少なくとも一方を複数の学習用超音波画像について予め学習しておくステップと、
超音波観測装置が、超音波内視鏡の先端に有する超音波振動子により超音波を送受信させ、超音波の受信信号から診断用超音波画像を生成するステップと、
超音波画像認識部が、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称と、超音波内視鏡の先端部の位置と、の少なくとも一方を認識するステップと、
表示制御部が、超音波画像認識部によって認識された臓器の名称および超音波内視鏡の先端部の位置の少なくとも１つをモニタに表示させるステップと、を含む、超音波内視鏡システムの作動方法を提供する。【００４１】
ここで、ユーザからの指示に応じて、診断用超音波画像に臓器の名称を重ねて表示し、解剖学シェーマ図に超音波内視鏡の先端部の位置を重ねて表示することが好ましい。【００４２】
また、ユーザからの指示に応じて、臓器の名称が表示されていない診断用超音波画像、臓器の名称が重ねて表示された診断用超音波画像、超音波内視鏡の先端部の位置が表示されていない解剖学シェーマ図、および超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の中から、臓器の名称が重ねて表示された診断用超音波画像および超音波内視鏡の先端部の位置が重ねて表示された解剖学シェーマ図の少なくとも一方を含む２以上の画像をモニタの画面内に並べて表示させることが好ましい。【００４３】
また、モニタに表示された２以上の画像の中から、１の画像を注目画像として他の画像よりも大きく表示させることが好ましい。【００４４】
また、ユーザからの指示に応じて、注目画像を１の画像から他の画像のうちの１つに切り替えて表示させることが好ましい。【００４５】
また、学習用超音波画像と学習用超音波画像に表示されている臓器の名称との関係と、学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端部の位置および向きとの関係と、の少なくとも一方を複数の学習用超音波画像について予め学習しておき、
学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称と、超音波内視鏡の先端部の位置および向きと、の少なくとも一方を認識し、
超音波画像認識部によって認識された臓器の名称と、超音波画像認識部によって認識された超音波内視鏡の先端部の位置および向きと、の少なくとも１つをモニタに表示させることが好ましい。【００４６】
さらに、超音波画像認識部が、学習用超音波画像と学習用超音波画像に表示されている臓器の範囲との関係を複数の学習用超音波画像について予め学習しておくステップと、
超音波画像認識部が、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の範囲を認識するステップと、
表示制御部が、超音波画像認識部によって認識された臓器の範囲をモニタに表示させるステップと、を含むことが好ましい。【００４７】
また、超音波画像認識部、表示制御部、指示取得部および内視鏡画像認識部は、ハードウェア、または、プログラムを実行するプロセッサであることが好ましく、色登録部および臓器登録部は、ハードウェア、または、メモリであるのが好ましい。
【発明の効果】
【００４８】
本発明によれば、診断用超音波画像に表示されている臓器の名称さらには臓器の範囲がモニタに表示されるため、たとえ超音波画像に不慣れなユーザであっても、超音波画像に何が表示され、超音波画像に表示されている臓器の範囲がどこなのかを正しく認識することができる。また、超音波内視鏡の先端部の位置および向きがモニタに表示されるため、たとえ超音波画像に不慣れなユーザであっても、今現在、超音波内視鏡の先端部がどの位置にあって、どの方向を向いていて、どの部位を観察しているのかを正しく認識することができ、被検体の体内において迷うことがなくなる。
また、本発明によれば、内視鏡画像、超音波画像および解剖学シェーマ図を切り替えて見やすく表示させることができる。ユーザが関心のある注目画像は、その時々によって変化するが、ユーザは、注目画像を任意のタイミングで切り替えることができるため、その時々に関心のある画像を注目画像して他の画像よりも大きく表示させて閲覧することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の第１実施形態に係る超音波内視鏡システムの概略構成を示す図である。
【図２】超音波内視鏡の挿入部の先端部及びその周辺を示す平面図である。
【図３】超音波内視鏡の挿入部の先端部を図２に図示のＩ−Ｉ断面にて切断したときの断面を示す図である。
【図４】内視鏡画像認識部の構成を表す一実施形態のブロック図である。
【図５】超音波観測装置の構成を示すブロック図である。
【図６】超音波画像認識部の構成を表す一実施形態のブロック図である。
【図７Ａ】大動脈、腹腔動脈、上腸間膜動脈の合流部を表す一実施形態の解剖学シェーマ図である。
【図７Ｂ】図７Ａに示す、大動脈、腹腔動脈、上腸間膜動脈の合流部の超音波画像を表す一実施形態の概念図である。
【図８Ａ】膵尾部を表す一実施形態の解剖学シェーマ図である。
【図８Ｂ】図８Ａに示す、膵尾部の超音波画像を表す一実施形態の概念図である。
【図９Ａ】脾静脈、上腸間膜静脈、及び門脈の合流部を表す一実施形態の解剖学シェーマ図である。
【図９Ｂ】図９Ａに示す、脾静脈、上腸間膜静脈、及び門脈の合流部の超音波画像を表す一実施形態の概念図である。
【図１０Ａ】膵頭部を表す一実施形態の解剖学シェーマ図である。
【図１０Ｂ】図１０Ａに示す、膵頭部の超音波画像を表す一実施形態の概念図である。
【図１１】超音波内視鏡システムを用いた診断処理の流れを示す図である。
【図１２】診断処理中の診断ステップの手順を示す図である。
【図１３Ａ】診断用超音波画像および解剖学シェーマ図の表示位置を表す一実施形態の概念図である。
【図１３Ｂ】図１３Ａに示す、診断用超音波画像および解剖学シェーマ図を表す一実施形態の概念図である。
【図１４Ａ】第１の診断用超音波画像、第２の診断用超音波画像および解剖学シェーマ図の表示位置を表す一実施形態の概念図である。
【図１４Ｂ】図１４Ａに示す、第１の診断用超音波画像、第２の診断用超音波画像および解剖学シェーマ図を表す一実施形態の概念図である。
【図１５Ａ】内視鏡画像、診断用超音波画像および解剖学シェーマ図の表示位置を表す一実施形態の概念図である。
【図１５Ｂ】図１５Ａに示す、内視鏡画像、診断用超音波画像および解剖学シェーマ図を表す一実施形態の概念図である。
【図１６】モニタに表示された画像の中から、注目画像が、１の画像から他の画像のうちの１つに切り替えられて表示される場合の様子を表す一実施形態の概念図である。
【図１７】超音波画像認識部が超音波観測装置に内蔵されている場合の超音波内視鏡システムの構成を表す一実施形態のブロック図である。
【図１８】超音波画像認識部が内視鏡プロセッサに内蔵されている場合の超音波内視鏡システムの構成を表す一実施形態のブロック図である。
【図１９】超音波画像認識部が超音波観測装置および内視鏡プロセッサの外部に設けられている場合の超音波内視鏡システムの構成を表す一実施形態のブロック図である。
【図２０】第２実施形態の超音波観測装置の構成を示すブロック図である。
【図２１】第２実施形態の超音波画像認識部の構成を表すブロック図である。
【図２２Ａ】臓器の範囲を着色させずに、臓器の名称のみを表示させた超音波画像を表す一実施形態の概念図である。
【図２２Ｂ】臓器の名称を表示させずに、臓器の範囲のみを着色させた超音波画像を表す一実施形態の概念図である。
【発明を実施するための形態】
【００５０】
本発明の一実施形態（本実施形態）に係る超音波内視鏡システムについて、添付の図面に示す好適な実施形態を参照しながら、以下に詳細に説明する。
なお、本実施形態は、本発明の代表的な実施態様であるが、あくまでも一例に過ぎず、本発明を限定するものではない。
【００５１】
＜＜超音波内視鏡システムの概要＞＞
本実施形態に係る超音波内視鏡システム１０について、図１を参照しながら、その概要を説明する。図１は、超音波内視鏡システム１０の概略構成を示す第１実施形態の図である。
【００５２】
超音波内視鏡システム１０は、超音波を用いて、被検体である患者の体内の観察対象部位の状態を観察（以下、超音波診断ともいう）するために用いられる。ここで、観察対象部位は、患者の体表側からは検査が困難な部位であり、例えば膵臓又は胆嚢等である。超音波内視鏡システム１０を用いることにより、患者の体腔である食道、胃、十二指腸、小腸、及び大腸等の消化管を経由して、観察対象部位の状態及び異常の有無を超音波診断することが可能である。
【００５３】
超音波内視鏡システム１０は、超音波画像および内視鏡画像を取得するものであり、図１に示すように、超音波内視鏡１２と、超音波観測装置１４と、内視鏡プロセッサ１６と、光源装置１８と、モニタ２０と、送水タンク２１ａと、吸引ポンプ２１ｂと、操作卓１００と、を有する。
【００５４】
超音波内視鏡１２は、患者の体腔内に挿入される挿入部２２と、医師又は技師等の術者（ユーザ）によって操作される操作部２４と、挿入部２２の先端部４０に取り付けられた超音波振動子ユニット４６（図２および図３を参照）と、を備える。超音波内視鏡１２は、超音波観察部３６として、超音波振動子ユニット４６が備える複数の超音波振動子４８を先端に有する（図２および図３参照）。また、超音波内視鏡１２は、内視鏡観察部３８として、照明窓８８等を含む照明部と、観察窓８２、対物レンズ８４および固体撮像素子８６等を含む撮像部と、を先端に有する（図２および図３参照）。術者は、超音波内視鏡１２の機能によって、内視鏡画像および超音波画像を取得する。
【００５５】
ここで、「内視鏡画像」は、患者の体腔内壁を光学的手法によって撮影することで得られる画像である。また、「超音波画像」は、患者の体腔内から観察対象部位に向かって送信された超音波の反射波（エコー）を受信し、その受信信号を画像化することで得られる画像である。
なお、超音波内視鏡１２については、後の項で詳しく説明する。
【００５６】
超音波観測装置１４は、ユニバーサルコード２６及びその端部に設けられた超音波用コネクタ３２ａを介して超音波内視鏡１２に接続される。超音波観測装置１４は、超音波内視鏡１２の超音波振動子ユニット４６を制御して超音波を送信させる。また、超音波観測装置１４は、送信された超音波の反射波（エコー）を超音波振動子ユニット４６が受信したときの受信信号を画像化して超音波画像を生成する。言い換えると、超音波観測装置１４は、超音波振動子ユニット４６が備える複数の超音波振動子４８により超音波を送受信させ、超音波の受信信号から診断用超音波画像（以下、単に超音波画像ともいう）を生成する。
なお、超音波観測装置１４については、後の項で詳しく説明する。
【００５７】
内視鏡プロセッサ１６は、ユニバーサルコード２６及びその端部に設けられた内視鏡用コネクタ３２ｂを介して超音波内視鏡１２に接続される。内視鏡プロセッサ１６は、超音波内視鏡１２（詳しくは、後述する固体撮像素子８６）によって撮像された観察対象隣接部位の画像データを取得し、取得した画像データに対して所定の画像処理を施して内視鏡画像を生成する。言い換えると、内視鏡プロセッサ１６は、超音波内視鏡１２の先端に有する照明部から照射される照明光の反射光を、同じく超音波内視鏡１２の先端に有する撮像部によって受信させ、反射光の撮像信号から診断用内視鏡画像（以下、単に内視鏡画像ともいう）を生成する。
ここで、「観察対象隣接部位」とは、患者の体腔内壁のうち、観察対象部位と隣り合う位置にある部分である。
【００５８】
なお、本実施形態では、超音波観測装置１４及び内視鏡プロセッサ１６が、別々に設けられた２台の装置（コンピュータ）によって構成されている。ただし、これに限定されるものではなく、１台の装置によって超音波観測装置１４及び内視鏡プロセッサ１６の双方が構成されてもよい。
【００５９】
光源装置１８は、ユニバーサルコード２６及びその端部に設けられた光源用コネクタ３２ｃを介して超音波内視鏡１２に接続される。光源装置１８は、超音波内視鏡１２を用いて観察対象隣接部位を撮像する際に、赤光、緑光及び青光の３原色光からなる白色光又は特定波長光を照射する。光源装置１８が照射した光は、ユニバーサルコード２６に内包されたライトガイド（不図示）を通じて超音波内視鏡１２内を伝搬し、超音波内視鏡１２（詳しくは、後述する照明窓８８）から出射される。これにより、観察対象隣接部位が光源装置１８からの光によって照らされる。
【００６０】
モニタ２０は、超音波観測装置１４及び内視鏡プロセッサ１６に接続されており、超音波観測装置１４により生成された超音波画像、内視鏡プロセッサ１６により生成された内視鏡画像の他、解剖学シェーマ図等を表示する。
超音波画像及び内視鏡画像の表示方式としては、１の画像を他の画像のうちの１つに切り替えてモニタ２０に表示する方式でもよく、２以上の画像を同時に並べて表示する方式でもよい。
なお、本実施形態では、一台のモニタ２０に超音波画像及び内視鏡画像を表示するが、超音波画像表示用のモニタと、内視鏡画像表示用のモニタと、解剖学シェーマ図用のモニタと、が別々に設けられてもよい。また、モニタ２０以外の表示形態、例えば、術者が携帯する端末のディスプレイに表示する形態にて超音波画像及び内視鏡画像を表示してもよい。
【００６１】
操作卓１００は、術者（ユーザ）から入力される指示を取得する指示取得部の一例であり、超音波診断に際して術者が必要な情報を入力したり、超音波観測装置１４に対して超音波診断の開始指示を行ったりするためなどに設けられた装置である。操作卓１００は、例えば、キーボード、マウス、トラックボール、タッチパッド及びタッチパネル等によって構成されている。操作卓１００が操作されると、その操作内容に応じて超音波観測装置１４のＣＰＵ（制御回路）１５２（図５参照）が装置各部（例えば、後述の受信回路１４２及び送信回路１４４）を制御する。
【００６２】
具体的に説明すると、術者は、超音波診断を開始する前段階で、検査情報（例えば、年月日及びオーダ番号等を含む検査オーダ情報、及び、患者ＩＤ及び患者名等を含む患者情報）を操作卓１００にて入力する。検査情報の入力完了後、術者が操作卓１００を通じて超音波診断の開始を指示すると、超音波観測装置１４のＣＰＵ１５２が、入力された検査情報に基づいて超音波診断が実施されるように超音波観測装置１４各部を制御する。
【００６３】
また、術者は、超音波診断の実施に際して、各種の制御パラメータを操作卓１００にて設定することが可能である。制御パラメータとしては、例えば、ライブモード及びフリーズモードの選択結果、表示深さ（深度）の設定値、及び、超音波画像生成モードの選択結果等が挙げられる。
ここで、「ライブモード」は、所定のフレームレートにて得られる超音波画像（動画像）を逐次表示（リアルタイム表示）するモードである。「フリーズモード」は、過去に生成された超音波画像（動画像）の１フレームの画像（静止画像）を、後述のシネメモリ１５０から読み出して表示するモードである。
【００６４】
本実施形態において選択可能な超音波画像生成モードは、複数存在し、具体的には、Ｂ（Ｂｒｉｇｈｔｎｅｓｓ）モード、ＣＦ（Ｃｏｌｏｒ Ｆｌｏｗ）モード及びＰＷ（Ｐｕｌｓｅ Ｗａｖｅ）モードである。Ｂモードは、超音波エコーの振幅を輝度に変換して断層画像を表示するモードである。ＣＦモードは、平均血流速度、フロー変動、フロー信号の強さ又はフローパワー等を様々な色にマッピングしてＢモード画像に重ねて表示するモードである。ＰＷモードは、パルス波の送受信に基づいて検出される超音波エコー源の速度（例えば、血流の速度）を表示するモードである。
なお、上述した超音波画像生成モードは、あくまでも一例であり、上述した３種類のモード以外のモード、例えば、Ａ（Ａｍｐｌｉｔｕｄｅ）モード、Ｍ（Ｍｏｔｉｏｎ）モード及び造影モード等が更に含まれてもよい。
【００６５】
＜＜超音波内視鏡１２の構成＞＞
次に、超音波内視鏡１２の構成について、既出の図１、および図２、図３および図５を参照しながら説明する。図２は、超音波内視鏡１２の挿入部２２の先端部及びその周辺を拡大して示した平面図である。図３は、超音波内視鏡１２の挿入部２２の先端部４０を図２に図示のＩ−Ｉ断面にて切断したときの断面を示す断面図である。
【００６６】
超音波内視鏡１２は、前述したように挿入部２２及び操作部２４を有する。挿入部２２は、図１に示すように先端側（自由端側）から順に、先端部４０、湾曲部４２及び軟性部４３を備える。先端部４０には、図２に示すように超音波観察部３６及び内視鏡観察部３８が設けられている。超音波観察部３６には、図３に示すように、複数の超音波振動子４８を備える超音波振動子ユニット４６が配置されている。
【００６７】
また、図２に示すように先端部４０には処置具導出口４４が設けられている。処置具導出口４４は、鉗子、穿刺針、若しくは高周波メス等の処置具（不図示）の出口となる。また、処置具導出口４４は、血液及び体内汚物等の吸引物を吸引する際の吸引口にもなる。
【００６８】
湾曲部４２は、先端部４０よりも基端側（超音波振動子ユニット４６が設けられている側とは反対側）に連設された部分であり、湾曲自在である。軟性部４３は、湾曲部４２と操作部２４との間を連結している部分であり、可撓性を有し、細長く延びた状態で設けられている。
【００６９】
挿入部２２及び操作部２４の各々の内部には、送気送水用の管路及び吸引用の管路が、それぞれ複数形成されている。さらに、挿入部２２及び操作部２４の各々の内部には、一端が処置具導出口４４に通じる処置具チャンネル４５が形成されている。
【００７０】
次に、超音波内視鏡１２の構成要素のうち、超音波観察部３６、内視鏡観察部３８、送水タンク２１ａ及び吸引ポンプ２１ｂ、並びに操作部２４に関して詳しく説明する。
【００７１】
（超音波観察部３６）
超音波観察部３６は、超音波画像を取得するために設けられた部分であり、挿入部２２の先端部４０において先端側に配置されている。超音波観察部３６は、図３に示すように超音波振動子ユニット４６と、複数の同軸ケーブル５６と、ＦＰＣ（Ｆｌｅｘｉｂｌｅ Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ）６０とを備える。
【００７２】
超音波振動子ユニット４６は、超音波探触子（プローブ）に相当し、患者の体腔内において、後述する複数の超音波振動子４８が配列された超音波振動子アレイ５０を用いて超音波を送信し、且つ、観察対象部位にて反射した超音波の反射波（エコー）を受信して受信信号を出力する。本実施形態に係る超音波振動子ユニット４６は、コンベックス型であり、放射状（円弧状）に超音波を送信する。ただし、超音波振動子ユニット４６の種類（型式）については特にこれに限定されるものではなく、超音波を送受信できるものであれば他の種類でもよく、例えば、ラジアル型、リニア型等であってもよい。
【００７３】
超音波振動子ユニット４６は、図３に示すようにバッキング材層５４と、超音波振動子アレイ５０と、音響整合層７４と、音響レンズ７６とを積層させることで構成されている。
【００７４】
超音波振動子アレイ５０は、一次元アレイ状に配列された複数の超音波振動子４８（超音波トランスデューサ）からなる。より詳しく説明すると、超音波振動子アレイ５０は、Ｎ個（例えばＮ＝１２８）の超音波振動子４８が先端部４０の軸線方向（挿入部２２の長手軸方向）に沿って凸湾曲状に等間隔で配列されることで構成されている。なお、超音波振動子アレイ５０は、複数の超音波振動子４８を二次元アレイ状に配置して構成されたものであってもよい。
【００７５】
Ｎ個の超音波振動子４８の各々は、圧電素子（圧電体）の両面に電極を配置することで構成されている。圧電素子としては、チタン酸バリウム（BaTiO3）、チタン酸ジルコン酸鉛（PZT）、ニオブ酸カリウム（KNｂO3）等が用いられる。
電極は、複数の超音波振動子４８の各々に対して個別に設けられた個別電極（不図示）と、複数の超音波振動子４８に共通の振動子グランド（不図示）とからなる。また、電極は、同軸ケーブル５６及びＦＰＣ６０を介して超音波観測装置１４と電気的に接続される。
【００７６】
各超音波振動子４８には、パルス状の駆動電圧が、入力信号（送信信号）として超音波観測装置１４から同軸ケーブル５６を通じて供給される。この駆動電圧が超音波振動子４８の電極に印加されると、圧電素子が伸縮して超音波振動子４８が駆動（振動）する。この結果、超音波振動子４８からパルス状の超音波が出力される。このとき、超音波振動子４８から出力される超音波の振幅は、その超音波振動子４８が超音波を出力した際の強度（出力強度）に応じた大きさとなっている。ここで、出力強度は、超音波振動子４８から出力された超音波の音圧の大きさとして定義される。
【００７７】
また、各超音波振動子４８は、超音波の反射波（エコー）を受信すると、これに伴って振動（駆動）し、各超音波振動子４８の圧電素子が電気信号を発生する。この電気信号は、超音波の受信信号として各超音波振動子４８から超音波観測装置１４に向けて出力される。このとき、超音波振動子４８から出力される電気信号の大きさ（電圧値）は、その超音波振動子４８が超音波を受信した際の受信感度に応じた大きさとなっている。ここで、受信感度は、超音波振動子４８が送信する超音波の振幅に対する、その超音波振動子４８が超音波を受信して出力した電気信号の振幅の比として定義される。
【００７８】
本実施形態では、Ｎ個の超音波振動子４８をマルチプレクサ１４０（図５参照）などの電子スイッチで順次駆動させることで、超音波振動子アレイ５０が配された曲面に沿った走査範囲、例えば曲面の曲率中心から数十ｍｍ程度の範囲で超音波が走査される。より詳しく説明すると、超音波画像としてＢモード画像（断層画像）を取得する場合には、マルチプレクサ１４０の開口チャンネル選択により、Ｎ個の超音波振動子４８のうち、連続して並ぶｍ個（例えば、ｍ＝Ｎ／２）の超音波振動子４８（以下では、駆動対象振動子と言う）に駆動電圧が供給される。これにより、ｍ個の駆動対象振動子が駆動され、開口チャンネルの各駆動対象振動子から超音波が出力される。ｍ個の駆動対象振動子から出力された超音波は、直後に合成され、その合成波（超音波ビーム）が観察対象部位に向けて送信される。その後、ｍ個の駆動対象振動子の各々は、観察対象部位にて反射された超音波（エコー）を受信し、その時点での受信感度に応じた電気信号（受信信号）を出力する。
【００７９】
そして、上記一連の工程（すなわち、駆動電圧の供給、超音波の送受信、及び電気信号の出力）は、Ｎ個の超音波振動子４８における駆動対象振動子の位置を１つずつ（１個の超音波振動子４８ずつ）ずらして繰り返し行われる。具体的に説明すると、上記一連の工程は、Ｎ個の超音波振動子４８のうち、一方の端に位置する超音波振動子４８を中心とする、その両側のｍ個の駆動対象振動子から開始される。そして、上記一連の工程は、マルチプレクサ１４０による開口チャンネルの切り替えによって駆動対象振動子の位置がずれる度に繰り返される。最終的に、上記一連の工程は、Ｎ個の超音波振動子４８のうち、他端に位置する超音波振動子４８を中心とする、その両側のｍ個の駆動対象振動子に至るまで、計Ｎ回繰り返して実施される。
【００８０】
バッキング材層５４は、超音波振動子アレイ５０の各超音波振動子４８を裏面側から支持する。また、バッキング材層５４は、超音波振動子４８から発せられた超音波、若しくは観察対象部位にて反射された超音波（エコー）のうち、バッキング材層５４側に伝播した超音波を減衰させる機能を有する。なお、バッキング材は、硬質ゴム等の剛性を有する材料からなり、超音波減衰材（フェライト及びセラミックス等）が必要に応じて添加されている。
【００８１】
音響整合層７４は、超音波振動子アレイ５０の上に重ねられており、患者の人体と超音波振動子４８との間の音響インピーダンス整合をとるために設けられている。音響整合層７４が設けられていることにより、超音波の透過率を高めることが可能となる。音響整合層７４の材料としては、音響インピーダンスの値が超音波振動子４８の圧電素子に比して、より患者の人体のものの値に近い様々な有機材料を用いることができる。音響整合層７４の材料としては、具体的にはエポキシ系樹脂、シリコンゴム、ポリイミド及びポリエチレン等が挙げられる。
【００８２】
音響整合層７４上に重ねられた音響レンズ７６は、超音波振動子アレイ５０から発せられる超音波を観察対象部位に向けて収束させるためのものである。なお、音響レンズ７６は、例えば、シリコン系樹脂（ミラブル型シリコンゴム（ＨＴＶゴム）、液状シリコンゴム（ＲＴＶゴム）等）、ブタジエン系樹脂、及びポリウレタン系樹脂等からなり、必要に応じて酸化チタン、アルミナ若しくはシリカ等の粉末が混合される。
【００８３】
ＦＰＣ６０は、各超音波振動子４８が備える電極と電気的に接続される。複数の同軸ケーブル５６の各々は、その一端にてＦＰＣ６０に配線されている。そして、超音波内視鏡１２が超音波用コネクタ３２ａを介して超音波観測装置１４に接続されると、複数の同軸ケーブル５６の各々は、その他端（ＦＰＣ６０側とは反対側）にて超音波観測装置１４と電気的に接続される。
【００８４】
（内視鏡観察部３８）
内視鏡観察部３８は、内視鏡画像を取得するために設けられた部分であり、挿入部２２の先端部４０において超音波観察部３６よりも基端側に配置されている。内視鏡観察部３８は、図２および図３に示すように観察窓８２、対物レンズ８４、固体撮像素子８６、照明窓８８、洗浄ノズル９０及び配線ケーブル９２等によって構成されている。
【００８５】
観察窓８２は、挿入部２２の先端部４０において軸線方向（挿入部２２の長手軸方向）に対して斜めに傾けられた状態で取り付けられている。観察対象隣接部位にて反射されて観察窓８２から入射された光は、対物レンズ８４で固体撮像素子８６の撮像面に結像される。
【００８６】
固体撮像素子８６は、観察窓８２及び対物レンズ８４を透過して撮像面に結像された観察対象隣接部位の反射光を光電変換して、撮像信号を出力する。固体撮像素子８６としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）、及びＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭｅｔａｌＯｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補形金属酸化膜半導体）等が利用可能である。固体撮像素子８６で出力された撮像画像信号は、挿入部２２から操作部２４まで延設された配線ケーブル９２を経由して、ユニバーサルコード２６により内視鏡プロセッサ１６に伝送される。
【００８７】
照明窓８８は、観察窓８２の両脇位置に設けられている。照明窓８８には、ライトガイド（不図示）の出射端が接続されている。ライトガイドは、挿入部２２から操作部２４まで延設され、その入射端は、ユニバーサルコード２６を介して接続された光源装置１８に接続されている。光源装置１８で発せられた照明光は、ライトガイドを伝わり、照明窓８８から観察対象隣接部位に向けて照射される。
【００８８】
洗浄ノズル９０は、観察窓８２及び照明窓８８の表面を洗浄するために挿入部２２の先端部４０に形成された噴出孔であり、洗浄ノズル９０からは、空気又は洗浄用液体が観察窓８２及び照明窓８８に向けて噴出される。なお、本実施形態において、洗浄ノズル９０から噴出される洗浄用液体は、水、特に脱気水である。ただし、洗浄用液体については、特に限定されるものではなく、他の液体、例えば、通常の水（脱気されていない水）であってもよい。
【００８９】
（送水タンク２１ａ及び吸引ポンプ２１ｂ）
送水タンク２１ａは、脱気水を貯留するタンクであり、送気送水用チューブ３４ａにより光源用コネクタ３２ｃに接続されている。なお、脱気水は、洗浄ノズル９０から噴出される洗浄用液体として用いられる。
【００９０】
吸引ポンプ２１ｂは、処置具導出口４４を通じて体腔内の吸引物（洗浄用に供給された脱気水を含む）を吸引する。吸引ポンプ２１ｂは、吸引用チューブ３４ｂにより光源用コネクタ３２ｃに接続されている。なお、超音波内視鏡システム１０は、所定の送気先に空気を送気する送気ポンプなどを備えていてもよい。
【００９１】
挿入部２２及び操作部２４内には、処置具チャンネル４５と送気送水管路（不図示）が設けられている。
【００９２】
処置具チャンネル４５は、操作部２４に設けられた処置具挿入口３０と処置具導出口４４との間を連絡している。また、処置具チャンネル４５は、操作部２４に設けられた吸引ボタン２８ｂに接続している。吸引ボタン２８ｂは、処置具チャンネル４５のほかに、吸引ポンプ２１ｂに接続されている。
送気送水管路は、その一端側で洗浄ノズル９０に通じており、他端側では、操作部２４に設けられた送気送水ボタン２８ａに接続している。送気送水ボタン２８ａは、送気送水管路のほかに、送水タンク２１ａに接続されている。
【００９３】
（操作部２４）
操作部２４は、超音波診断の開始時、診断中及び診断終了時等において術者によって操作される部分であり、その一端にはユニバーサルコード２６の一端が接続されている。また、操作部２４は、図１に示すように、送気送水ボタン２８ａ、吸引ボタン２８ｂ、一対のアングルノブ２９、並びに処置具挿入口（鉗子口）３０を有する。
【００９４】
一対のアングルノブ２９の各々を回動すると、湾曲部４２が遠隔的に操作されて湾曲変形する。この変形操作により、超音波観察部３６及び内視鏡観察部３８が設けられた挿入部２２の先端部４０を所望の方向に向けることが可能となる。
処置具挿入口３０は、鉗子等の処置具（不図示）を挿通するために形成された孔であり、処置具チャンネル４５を介して処置具導出口４４と連絡している。処置具挿入口３０に挿入された処置具は、処置具チャンネル４５を通過した後に処置具導出口４４から体腔内に導入される。
【００９５】
送気送水ボタン２８ａ及び吸引ボタン２８ｂは、２段切り替え式の押しボタンであり、挿入部２２及び操作部２４の各々の内部に設けられた管路の開閉を切り替えるために操作される。
【００９６】
＜＜内視鏡プロセッサ１６の概略構成＞＞
ここでは、内視鏡プロセッサ１６の詳細構成の説明は省略するが、内視鏡プロセッサ１６は、内視鏡画像を撮像する従来公知の一般的な構成要素に加えて、内視鏡画像認識部１７０を備えている。
【００９７】
内視鏡画像認識部１７０は、学習用内視鏡画像と、学習用内視鏡画像に表示されている病変領域と、の関係を複数の学習用内視鏡画像について予め学習しておき、学習結果に基づいて、内視鏡プロセッサ１６によって生成された診断用内視鏡画像から、この診断用内視鏡画像に表示されている病変領域を認識する。
学習用内視鏡画像は、内視鏡画像認識部１７０が、内視鏡画像と、内視鏡画像に表示されている病変領域と、の関係を学習するための既存の内視鏡画像であり、例えば過去に撮影された各種の内視鏡画像を利用することができる。
【００９８】
内視鏡画像認識部１７０は、図４に示すように、病変領域検出部１０２と、位置情報取得部１０４と、選択部１０６と、病変領域検出制御部１０８と、を備えている。
【００９９】
病変領域検出部１０２は、学習結果に基づいて、診断用内視鏡画像から病変領域を検出する。病変領域検出部１０２は、体腔内の複数の位置にそれぞれ対応した複数の検出部を備えている。ここでは、一例として、図４に示すように、第１〜第１１検出部１０２Ａ〜１０２Ｋを備えている。第１検出部１０２Ａは直腸に、第２検出部１０２ＢはＳ字結腸に、第３検出部１０２Ｃは下行結腸に、第４検出部１０２Ｄは横行結腸に、第５検出部１０２Ｅは上行結腸に、第６検出部１０２Ｆは盲腸に、第７検出部１０２Ｇは回腸に、第８検出部１０２Ｈは空腸に、第９検出部１０２Ｉは十二指腸に、第１０検出部１０２Ｊは胃に、第１１検出部１０２Ｋは食道に、それぞれ対応している。
【０１００】
第１〜第１１検出部１０２Ａ〜１０２Ｋは、それぞれ学習済みモデルである。この複数の学習済みモデルは、それぞれ異なる学習用内視鏡画像からなるデータセットを用いて学習したモデルである。詳しくは、複数の学習済みモデルは、それぞれ体腔内の異なる位置を撮影した学習用内視鏡画像からなるデータセットを用いて、学習用内視鏡画像と、学習用内視鏡画像に表示されている病変領域と、の関係を予め学習したモデルである。
【０１０１】
すなわち、第１検出部１０２Ａは直腸の学習用内視鏡画像からなるデータセット、第２検出部１０２ＢはＳ字結腸の学習用内視鏡画像からなるデータセット、第３検出部１０２Ｃは下行結腸の学習用内視鏡画像からなるデータセット、第４検出部１０２Ｄは横行結腸の学習用内視鏡画像からなるデータセット、第５検出部１０２Ｅは上行結腸の学習用内視鏡画像からなるデータセット、第６検出部１０２Ｆは盲腸の学習用内視鏡画像からなるデータセット、第７検出部１０２Ｇは回腸の学習用内視鏡画像からなるデータセット、第８検出部１０２Ｈは空腸の学習用内視鏡画像からなるデータセット、第９検出部１０２Ｉは十二指腸の学習用内視鏡画像からなるデータセット、第１０検出部１０２Ｊは胃の学習用内視鏡画像からなるデータセット、第１１検出部１０２Ｋは食道の学習用内視鏡画像からなるデータセットを用いて学習したモデルである。
【０１０２】
学習方法は、複数の学習用内視鏡画像から、内視鏡画像と、病変領域と、の関係を学習し、学習済みモデルを生成することができるものであれば特に限定されない。
学習方法としては、例えば人工知能（AI：Artificial Intelligence）の技術の１つである機械学習（マシンラーニング）の一例としての、階層構造型のニューラルネットワークを用いるディープラーニング（深層学習）等を利用することができる。
なお、ディープラーニング以外の機械学習を利用してもよいし、機械学習以外の人工知能の技術を利用してもよいし、人工知能の技術以外の学習方法を利用してもよい。
【０１０３】
また、学習用内視鏡画像だけを使用して学習済みモデルを生成してもよい。この場合、学習済みモデルは更新されず、常に同じ学習済みモデルを使用することができる。
あるいは、学習用内視鏡画像に加えて、診断用内視鏡画像を使用して学習済みモデルを生成するように構成してもよい。この場合、診断用内視鏡画像と、この診断用内視鏡画像に表示されている病変領域と、の関係を学習して学習済みモデルが随時更新される。
【０１０４】
続いて、位置情報取得部１０４は、内視鏡画像の体腔内の位置の情報を取得する。ここでは、医師等の術者が操作卓１００を用いて位置の情報を入力する。位置情報取得部１０４は、操作卓１００から入力された位置の情報を取得する。
【０１０５】
画像の体腔内の位置の情報として、直腸、Ｓ字結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、空腸、十二指腸、胃、及び食道等の情報が入力される。これらの位置候補を選択可能にモニタ２０に表示し、医師等の術者が操作卓１００を用いて選択するように構成してもよい。
【０１０６】
続いて、選択部１０６は、病変領域検出部１０２から、位置情報取得部１０４が取得した位置の情報に対応した検出部を選択する。即ち、選択部１０６は、位置の情報が直腸の場合は第１検出部１０２Ａを、Ｓ字結腸の場合は第２検出部１０２Ｂを、下行結腸の場合は第３検出部１０２Ｃを、横行結腸の場合は第４検出部１０２Ｄを、上行結腸の場合は第５検出部１０２Ｅを、盲腸の場合は第６検出部１０２Ｆを、回腸の場合は第７検出部１０２Ｇを、空腸の場合は第８検出部１０２Ｈを、十二指腸の場合は第９検出部１０２Ｉを、胃の場合は第１０検出部１０２Ｊを、食道の場合は第１１検出部１０２Ｋを選択する。
【０１０７】
続いて、病変領域検出制御部１０８は、選択部１０６が選択した検出部によって、内視鏡画像から病変領域を検出させる。ここでの病変領域とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変領域としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕又はＥＳＤ（Endoscopic Submucosal Dissection）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等を例示することができる。
【０１０８】
内視鏡画像認識部１７０においては、位置情報取得部１０４により、内視鏡画像の体腔内の位置の情報が取得される。
続いて、選択部１０６により、病変領域検出部１０２から、位置情報取得部１０４が取得した位置の情報に対応した検出部が選択される。
続いて、病変領域検出制御部１０８により、選択部１０６が選択した検出部が、学習結果に基づいて、診断用内視鏡画像から病変領域を検出するように制御される。
【０１０９】
＜＜超音波観測装置１４の構成＞＞
超音波観測装置１４は、超音波振動子ユニット４６に超音波を送受信させ、且つ、超音波受信時に超音波振動子４８（詳しくは駆動対象素子）が出力した受信信号を画像化して超音波画像を生成する。また、超音波観測装置１４は、生成した超音波画像に加え、内視鏡プロセッサ１６から転送される内視鏡画像、および解剖学シェーマ図等をモニタ２０に表示する。
【０１１０】
超音波観測装置１４は、図５に示すように、マルチプレクサ１４０、受信回路１４２、送信回路１４４、Ａ／Ｄコンバータ１４６、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１４８、シネメモリ１５０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５２、ＤＳＣ（Ｄｉｇｉｔａｌ Ｓｃａｎ Ｃｏｎｖｅｒｔｅｒ）１５４、超音波画像認識部１６８、及び表示制御部１７２を有する。
【０１１１】
受信回路１４２及び送信回路１４４は、超音波内視鏡１２の超音波振動子アレイ５０と電気的に接続する。マルチプレクサ１４０は、Ｎ個の超音波振動子４８の中から最大ｍ個の駆動対象振動子を選択し、そのチャンネルを開口させる。
送信回路１４４は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、パルサー（パルス発生回路１５８）、及びＳＷ（スイッチ）等からなり、ＭＵＸ（マルチプレクサ１４０）に接続される。なお、ＦＰＧＡの代わりにＡＳＩＣ（特定用途向け集積回路）を用いても良い。
【０１１２】
送信回路１４４は、超音波振動子ユニット４６から超音波を送信するために、ＣＰＵ１５２から送られてくる制御信号に従って、マルチプレクサ１４０により選択された駆動対象振動子に対して超音波送信用の駆動電圧を供給する回路である。駆動電圧は、パルス状の電圧信号（送信信号）であり、ユニバーサルコード２６及び同軸ケーブル５６を介して駆動対象振動子の電極に印加される。
【０１１３】
送信回路１４４は、制御信号に基づいて送信信号を生成するパルス発生回路１５８を有しており、ＣＰＵ１５２の制御により、パルス発生回路１５８を用いて、複数の超音波振動子４８を駆動して超音波を発生させる送信信号を生成して複数の超音波振動子４８に供給する。より詳しくは、送信回路１４４は、ＣＰＵ１５２の制御により、超音波診断を行う場合に、パルス発生回路１５８を用いて、超音波診断を行うための駆動電圧を有する送信信号を生成する。
【０１１４】
受信回路１４２は、超音波（エコー）を受信した駆動対象振動子から出力される電気信号、すなわち受信信号を受信する回路である。また、受信回路１４２は、ＣＰＵ１５２から送られてくる制御信号に従って、超音波振動子４８から受信した受信信号を増幅し、増幅後の信号をＡ／Ｄコンバータ１４６に引き渡す。Ａ／Ｄコンバータ１４６は、受信回路１４２と接続しており、受信回路１４２から受け取った受信信号をアナログ信号からデジタル信号に変換し、変換後のデジタル信号をＡＳＩＣ１４８に出力する。
【０１１５】
ＡＳＩＣ１４８は、Ａ／Ｄコンバータ１４６と接続しており、図５に示すように、位相整合部１６０、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４、ＣＦモード画像生成部１６６及びメモリコントローラ１５１を構成している。
なお、本実施形態では、ＡＳＩＣ１４８のようなハードウェア回路によって上述の機能（具体的には、位相整合部１６０、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４、ＣＦモード画像生成部１６６及びメモリコントローラ１５１）を実現しているが、これに限定されるものではない。中央演算装置（ＣＰＵ）と各種データ処理を実行させるためのソフトウェア（コンピュータプログラム）とを協働させることで上記の機能を実現させてもよい。
【０１１６】
位相整合部１６０は、Ａ／Ｄコンバータ１４６によりデジタル信号化された受信信号（受信データ）に対して遅延時間を与えて整相加算する（受信データの位相を合わせてから加算する）処理を実行する。整相加算処理により、超音波エコーの焦点が絞り込まれた音線信号が生成される。
【０１１７】
Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４及びＣＦモード画像生成部１６６は、超音波振動子ユニット４６が超音波を受信した際に複数の超音波振動子４８のうちの駆動対象振動子が出力する電気信号（厳密には、受信データを整相加算することで生成された音線信号）に基づいて、超音波画像を生成する。
【０１１８】
Ｂモード画像生成部１６２は、患者の内部（体腔内）の断層画像であるＢモード画像を生成する画像生成部である。Ｂモード画像生成部１６２は、順次生成される音線信号に対し、ＳＴＣ（Ｓｅｎｓｉｔｉｖｉｔｙ Ｔｉｍｅ ｇａｉｎ Ｃｏｎｔｒｏｌ）によって、超音波の反射位置の深度に応じて伝搬距離に起因する減衰の補正を施す。また、Ｂモード画像生成部１６２は、補正後の音線信号に対して包絡線検波処理及びＬｏｇ（対数）圧縮処理を施して、Ｂモード画像（画像信号）を生成する。
【０１１９】
ＰＷモード画像生成部１６４は、所定方向における血流の速度を表示する画像を生成する画像生成部である。ＰＷモード画像生成部１６４は、位相整合部１６０によって順次生成される音線信号のうち、同一方向における複数の音線信号に対して高速フーリエ変換を施すことで周波数成分を抽出する。その後、ＰＷモード画像生成部１６４は、抽出した周波数成分から血流の速度を算出し、算出した血流の速度を表示するＰＷモード画像（画像信号）を生成する。
【０１２０】
ＣＦモード画像生成部１６６は、所定方向における血流の情報を表示する画像を生成する画像生成部である。ＣＦモード画像生成部１６６は、位相整合部１６０によって順次生成される音線信号のうち、同一方向における複数の音線信号の自己相関を求めることで、血流に関する情報を示す画像信号を生成する。その後、ＣＦモード画像生成部１６６は、上記の画像信号に基づき、Ｂモード画像生成部１６２によって生成されるＢモード画像信号に血流に関する情報を重畳させたカラー画像としてのＣＦモード画像（画像信号）を生成する。
【０１２１】
メモリコントローラ１５１は、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４又はＣＦモード画像生成部１６６が生成した画像信号をシネメモリ１５０に格納する。
【０１２２】
ＤＳＣ１５４は、ＡＳＩＣ１４８に接続されており、Ｂモード画像生成部１６２、ＰＷモード画像生成部１６４又はＣＦモード画像生成部１６６が生成した画像の信号を通常のテレビジョン信号の走査方式に従う画像信号に変換（ラスター変換）し、画像信号に階調処理等の各種の必要な画像処理を施した後に超音波画像認識部１６８に出力する。
【０１２３】
超音波画像認識部１６８は、学習用超音波画像と学習用超音波画像に表示されている臓器の名称（観察対象部位の名称）との関係と、学習用超音波画像と学習用超音波画像の撮影時の超音波内視鏡の先端部４０の位置および向きとの関係と、の少なくとも一方を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、超音波観測装置１４によって生成される診断用超音波画像から、この診断用超音波画像に表示されている臓器の名称と、超音波内視鏡１２の先端部４０の位置および向きと、の少なくとも一方を認識する。
学習用超音波画像は、超音波画像認識部１６８が、超音波画像と、臓器の名称と、超音波内視鏡１２の先端部４０の位置および向きと、の関係を学習するための既存の超音波画像であり、例えば過去に撮影された各種の超音波画像を利用することができる。
【０１２４】
超音波画像認識部１６８は、図６に示すように、臓器名称検出部１１２と、位置及び向き検出部１１４と、選択部１１６と、臓器名称検出制御部１１８と、を備えている。
【０１２５】
臓器名称検出部１１２は、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称を検出する。臓器名称検出部１１２は、被検体の体内の観察対象部位となる複数の位置にそれぞれ対応した複数の検出部を備えている。ここでは、一例として、第１〜第１１検出部１１２Ａ〜１１２Ｋを備えている。第１検出部１１２Ａは大動脈、腹腔動脈、及び上腸間膜動脈の合流部に、第２検出部１１２Ｂは膵体部に、第３検出部１１２Ｃは膵尾部に、第４検出部１１２Ｄは脾静脈、上腸間膜静脈、及び門脈の合流部（コンフルエンス）に、第５検出部１１２Ｅは膵頭部に、第６検出部１１２Ｆは胆嚢に、第７検出部１１２Ｇは門脈に、第８検出部１１２Ｈは総胆管に、第９検出部１１２Ｉは胆嚢に、第１０検出部１１２Ｊは膵鉤部に、第１１検出部１１２Ｋは乳頭に、それぞれ対応している。
【０１２６】
第１〜第１１検出部１１２Ａ〜１１２Ｋは、それぞれ学習済みモデルである。この複数の学習済みモデルは、それぞれ異なる学習用超音波画像からなるデータセットを用いて学習したモデルである。詳しくは、複数の学習済みモデルは、それぞれ被検体の体内の観察対象部位となる異なる位置を撮影した学習用超音波画像からなるデータセットを用いて、学習用超音波画像と、学習用超音波画像に表示されている臓器の名称と、の関係を予め学習したモデルである。
【０１２７】
即ち、第１検出部１１２Ａは大動脈、腹腔動脈、及び上腸間膜動脈の合流部の学習用超音波画像からなるデータセット、第２検出部１１２Ｂは膵体部の学習用超音波画像からなるデータセット、第３検出部１１２Ｃは膵尾部の学習用超音波画像からなるデータセット、第４検出部１１２Ｄは脾静脈、上腸間膜静脈、及び門脈の合流部の学習用超音波画像からなるデータセット、第５検出部１１２Ｅは膵頭部の学習用超音波画像からなるデータセット、第６検出部１１２Ｆは胆嚢の学習用超音波画像からなるデータセット、第７検出部１１２Ｇは門脈の学習用超音波画像からなるデータセット、第８検出部１１２Ｈは総胆管の学習用超音波画像からなるデータセット、第９検出部１１２Ｉは胆嚢の学習用超音波画像からなるデータセット、第１０検出部１１２Ｊは膵鉤部の学習用超音波画像からなるデータセット、第１１検出部１１２Ｋは乳頭の学習用超音波画像からなるデータセットを用いて学習したモデルである。
【０１２８】
超音波画像を撮像する場合の体内の観察ルート（超音波内視鏡１２の先端部４０の移動経路）、及び代表的な観察ポイント（超音波内視鏡１２の先端部４０の位置および向き）は大体決められている。そのため、代表的な観察ポイントにおける超音波画像と、その超音波画像に表示されている臓器の名称と、その観察ポイントにおける超音波内視鏡１２の先端部４０の位置および向きと、を関連付けて学習することができる。
【０１２９】
以下、超音波画像を撮像する場合の体内の代表的な観察ポイント（超音波内視鏡１２の先端部４０の位置および向き）について説明する。
【０１３０】
体内の代表的な観察ポイントとしては、例えば以下の（１）〜（１１）などがある。
（１）大動脈、腹腔動脈、上腸間膜動脈の合流部
（２）膵体部
（３）膵尾部
（４）脾静脈、上腸間膜静脈、及び門脈の合流部（コンフルエンス）
（５）膵頭部
（６）胆嚢
（７）門脈
（８）総胆管
（９）胆嚢
（１０）膵鉤部
（１１）乳頭
ここで、（１）大動脈、腹腔動脈、上腸間膜動脈の合流部、（２）膵体部、（３）膵尾部、（４）脾静脈、上腸間膜静脈、及び門脈の合流部、（５）膵頭部および（６）胆嚢は、胃内からの代表的な観察ポイントであり、（７）門脈、（８）総胆管および（９）胆嚢は、十二指腸球部からの代表的な観察ポイントであり、（１０）膵鉤部および（１１）乳頭は、十二指腸下行部からの代表的な観察ポイントである。
【０１３１】
例えば、観察ポイントとして、（１）大動脈、腹腔動脈、上腸間膜動脈の合流部、（３）膵尾部、（４）脾静脈、上腸間膜静脈、及び門脈の合流部、および（５）膵頭部の順に観察を行う場合の観察手順を説明する。
【０１３２】
図７Ａは、大動脈、腹腔動脈、上腸間膜動脈の合流部を表す一実施形態の解剖学シェーマ図であり、図７Ｂは、その超音波画像を表す一実施形態の概念図である。図８Ａは、膵尾部を表す一実施形態の解剖学シェーマ図であり、図８Ｂは、その超音波画像を表す一実施形態の概念図である。図９Ａは、脾静脈、上腸間膜静脈、及び門脈の合流部を表す一実施形態の解剖学シェーマ図であり、図９Ｂは、その超音波画像を表す一実施形態の概念図である。図１０Ａは、膵頭部を表す一実施形態の解剖学シェーマ図であり、図１０Ｂは、その超音波画像を表す一実施形態の概念図である。
【０１３３】
図７Ａおよび図７Ｂにおいて、HVは肝静脈、IVCは下大静脈、Aoは大動脈、CAは腹腔動脈、SMAは上腸間膜動脈、SVは脾静脈を表す。
（１）大動脈、腹腔動脈、上腸間膜動脈の合流部を観察する場合、肝静脈を追いながら、超音波内視鏡１２の挿入部２２の先端部４０を時計回りに回転させると、下大静脈が描出される。さらに、先端部４０を時計回りに回転させると、大動脈が描出される。大動脈に沿って先端部４０を押し進めると、図７Ａおよび図７Ｂに示すように、腹腔動脈、及び上腸間膜動脈が抽出される。
【０１３４】
図８Ａおよび図８Ｂにおいて、SAは脾動脈、SVは脾静脈、Pancは膵臓、Spleenは脾臓を表す。
続いて、（３）膵尾部を観察する場合、さらに、先端部４０を時計回りに回転させると、膵体部、脾動脈、及び脾静脈が描出される。さらに、先端部４０を時計回りに回転させると、膵体尾部、及び左腎臓が描出される。脾動脈、及び脾静脈を追いながら、先端部４０を時計回りに回転させ、アップアングルにすると、図８Ａおよび図８Ｂに示すように、膵尾部から脾門部までが描出される。
【０１３５】
図９Ａおよび図９Ｂにおいて、SVは脾静脈、SMVは上腸間膜静脈、PVは門脈、PDは膵管を表す。
続いて、（４）脾静脈、上腸間膜静脈、及び門脈の合流部を観察する場合、アップアングルをかけた状態で先端部４０を反時計回りに回転させると、左副腎が描出される。膵尾部から脾静脈を追って先端部４０を反時計回りに配点させると、膵体部までが描出される。さらに脾静脈を追っていくと、図９Ａおよび図９Ｂに示すように、脾静脈、上腸間膜静脈、及び門脈の合流部が描出される。
【０１３６】
図１０Ａおよび図１０Ｂにおいて、PDは膵管、CBDは総胆管、Pancは膵臓を表す。
続いて、（５）膵頭部を観察する場合、先端部４０を反時計回りに回転させながら押し進めて、脾静脈、上腸間膜静脈、及び門脈の合流部から膵管を追っていくと、図１０Ａおよび図１０Ｂに示すように、膵頭体移行部、主膵管、及び総胆管が描出される。
【０１３７】
なお、観察を行う場合の観察ポイントの一例を挙げて説明したが、これに限定されず、術者は、所望の観察ポイントを所望の順序で観察することができる。
【０１３８】
続いて、位置及び向き検出部１１４は、学習結果に基づいて、診断用超音波画像から、超音波内視鏡１２の先端部４０の位置および向きを検出する。
超音波内視鏡１２の先端部４０の位置として、例えば上記の観察ポイント、つまり、（１）大動脈、腹腔動脈、及び上腸間膜動脈の合流部、（２）膵体部、（３）膵尾部、（４）脾静脈、上腸間膜静脈、及び門脈の合流部、（５）膵頭部および（６）胆嚢（胃内からの代表的な観察ポイント）、（７）門脈、（８）総胆管および（９）胆嚢（十二指腸球部の代表的な観察ポイント）、（１０）膵鉤部および（１１）乳頭（十二指腸下行部からの代表的な観察ポイント）等が検出される。
また、超音波内視鏡１２の先端部４０の向きとして、上記の（１）〜（１１）の部位を観察する場合の超音波内視鏡１２の先端部４０の向きが検出される。
【０１３９】
位置及び向き検出部１１４は、学習済みモデルである。この学習済みモデルは、それぞれ被検体の体内の観察対象部位となる異なる位置を撮影した学習用内視鏡画像からなるデータセットを用いて、学習用超音波画像と、学習用超音波画像の撮影時の超音波内視鏡の先端部４０の位置および向きと、の関係を複数の学習用超音波画像について予め学習したモデルである。
【０１４０】
学習方法は、複数の学習用超音波画像から、超音波画像と、臓器の名称と、超音波内視鏡１２の先端部４０の位置および向きと、の関係を学習し、学習済みモデルを生成することができるものであれば特に限定されない。
学習方法としては、例えば人工知能（AI：Artificial Intelligence）の技術の１つである機械学習（マシンラーニング）の一例としての、階層構造型のニューラルネットワークを用いるディープラーニング（深層学習）等を利用することができる。
なお、ディープラーニング以外の機械学習を利用してもよいし、機械学習以外の人工知能の技術を利用してもよいし、人工知能の技術以外の学習方法を利用してもよい。
【０１４１】
また、学習用超音波画像だけを使用して学習済みモデルを生成してもよい。この場合、学習済みモデルは更新されず、常に同じ学習済みモデルを使用することができる。
あるいは、学習用超音波画像に加えて、診断用超音波画像を使用して学習済みモデルを生成するように構成してもよい。この場合、診断用超音波画像と、この診断用超音波画像に表示されている臓器の名称と、この診断用超音波画像が撮影された時の超音波内視鏡１２の先端部４０の位置および向きと、の関係を学習して学習済みモデルが随時更新される。
【０１４２】
なお、超音波画像認識部１６８、さらに言えば、位置及び向き検出部１１４が超音波内視鏡１２の先端部４０の向きを検出することは必須ではない。
本実施形態のように、超音波振動子ユニット４６がコンベックス型である場合、超音波内視鏡１２の先端部４０の向きに応じて超音波の送信方向が変わるため、超音波内視鏡１２の先端部４０の向きを検出するのが望ましい。
一方、超音波振動子ユニット４６がラジアル型である場合、超音波内視鏡１２の先端部４０の向きに関わらず超音波が超音波内視鏡１２の径方向の全周にわたって送信されるため、超音波内視鏡１２の先端部４０の向きを検出する必要はない。
【０１４３】
続いて、選択部１１６は、臓器名称検出部１１２から、位置及び向き検出部１１４が検出した超音波内視鏡１２の先端部４０の位置に対応した検出部を選択する。
すなわち、選択部１１６は、超音波内視鏡１２の先端部４０の位置が、（１）大動脈、腹腔動脈、及び上腸間膜動脈の合流部の場合は第１検出部１１２Ａを、（２）膵体部の場合は第２検出部１１２Ｂを、（３）膵尾部の場合は第３検出部１１２Ｃを、（４）脾静脈、上腸間膜静脈、及び門脈の合流部の場合は第４検出部１１２Ｄを、（５）膵頭部の場合は第５検出部１１２Ｅを、（６）胆嚢の場合は第６検出部１１２Ｆを、（７）門脈の場合は第７検出部１１２Ｇを、（８）総胆管の場合は第８検出部１１２Ｈを、（９）胆嚢の場合は第９検出部１１２Ｉを、（１０）膵鉤部の場合は第１０検出部１１２Ｊを、（１１）乳頭の場合は第１１検出部１１２Ｋを選択する。
【０１４４】
続いて、臓器名称検出制御部１１８は、選択部１１６が選択した検出部によって、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称を検出させる。臓器の名称としては、超音波観測装置１４を用いて観測可能な被検体の体内のあらゆる観察対象部位が含まれるが、例えば、肝臓、膵臓、脾臓、腎臓、副腎、大動脈、腹腔動脈、脾動脈、上腸間膜動脈、下大静脈、肝静脈、門脈、脾静脈、上腸間膜静脈、胆嚢、総胆管、膵管、乳頭等を例示することができる。
【０１４５】
超音波画像認識部１６８においては、位置及び向き検出部１１４により、学習結果に基づいて、診断用超音波画像から、超音波内視鏡１２の先端部４０の位置および向きが検出される。
続いて、選択部１１６により、臓器名称検出部１１２から、位置及び向き検出部１１４が検出した超音波内視鏡１２の先端部４０の位置に対応した検出部が選択される。
続いて、臓器名称検出制御部１１８により、選択部１１６が選択した検出部が、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称を検出するように制御される。
【０１４６】
続いて、表示制御部１７２は、超音波画像認識部１６８によって認識された臓器の名称および超音波内視鏡１２の先端部４０の位置の少なくとも１つをモニタ２０に表示させる。あるいは、表示制御部１７２は、超音波画像認識部１６８によって認識された臓器の名称と、同じく超音波画像認識部１６８によって認識された超音波内視鏡１２の先端部４０の位置および向きと、の少なくとも１つをモニタ２０に表示させる。
【０１４７】
また、表示制御部１７２は、術者からの指示に応じて、内視鏡画像に病変領域を重ねて表示したり、超音波画像に臓器の名称を重ねて表示したり、解剖学シェーマ図に超音波内視鏡１２の先端部４０の位置および向きを重ねて表示したりする。
言い換えると、表示制御部１７２は、術者からの指示に応じて、病変領域が表示されていない内視鏡画像、病変領域が重ねて表示された内視鏡画像、臓器の名称が表示されていない超音波画像、臓器の名称が重ねて表示された超音波画像、超音波内視鏡１２の先端部４０の位置が表示されていない解剖学シェーマ図、および超音波内視鏡１２の先端部４０の位置が重ねて表示された解剖学シェーマ図の中から、１の画像または２以上の画像をモニタ２０の画面内に並べて表示させる。
表示制御部１７２は、一実施形態として、臓器の名称が重ねて表示された超音波画像および超音波内視鏡１２の先端部４０の位置が重ねて表示された解剖学シェーマ図の少なくとも一方を含む２以上の画像をモニタ２０の画面内に並べて表示させる。
【０１４８】
臓器の名称は、例えば超音波画像の上に重ねてその臓器の近傍、例えばその臓器の上に表示され、超音波内視鏡１２の先端部４０の位置および向きは、例えば解剖学シェーマ図の上に重ねて表示される。病変領域は、例えば内視鏡画像の上に重ねて病変領域を枠線で囲んで表示される。
【０１４９】
シネメモリ１５０は、１フレーム分又は数フレーム分の画像信号を蓄積するための容量を有する。ＡＳＩＣ１４８が生成した画像信号は、ＤＳＣ１５４に出力される一方で、メモリコントローラ１５１によってシネメモリ１５０にも格納される。フリーズモード時には、メモリコントローラ１５１がシネメモリ１５０に格納された画像信号を読み出し、ＤＳＣ１５４に出力する。これにより、モニタ２０には、シネメモリ１５０から読み出された画像信号に基づく超音波画像（静止画像）が表示されるようになる。
【０１５０】
ＣＰＵ１５２は、超音波観測装置１４の各部を制御する制御部として機能し、受信回路１４２、送信回路１４４、Ａ／Ｄコンバータ１４６、及びＡＳＩＣ１４８等と接続しており、これらの機器を制御する。具体的に説明すると、ＣＰＵ１５２は、操作卓１００と接続しており、操作卓１００にて入力された検査情報および制御パラメータ等に従って超音波観測装置１４各部を制御する。
【０１５１】
また、ＣＰＵ１５２は、超音波内視鏡１２が超音波用コネクタ３２ａを介して超音波観測装置１４に接続されると、ＰｎＰ（Ｐｌｕｇ ａｎｄ Ｐｌａｙ）等の方式により超音波内視鏡１２を自動認識する。
【０１５２】
＜＜超音波内視鏡システム１０の動作例について＞＞
次に、超音波内視鏡システム１０の動作例として、超音波診断に関する一連の処理（以下、診断処理とも言う）の流れを、図１１および図１２を参照しながら説明する。図１１は、超音波内視鏡システム１０を用いた診断処理の流れを示す図である。図１２は、診断処理中の診断ステップの手順を示す図である。
【０１５３】
超音波内視鏡１２が超音波観測装置１４、内視鏡プロセッサ１６及び光源装置１８に接続された状態で超音波内視鏡システム１０各部の電源が投入されると、それをトリガとして診断処理が開始される。診断処理では、図１１に示すように、先ず入力ステップが実施される（Ｓ００１）。入力ステップでは、術者が操作卓１００を通じて検査情報及び制御パラメータ等を入力する。入力ステップが完了すると、診断開始の指示があるまで、待機ステップが実施される（Ｓ００２）。
【０１５４】
続いて、術者からの診断開始指示があると（Ｓ００３でＹｅｓ）、ＣＰＵ１５２が超音波観測装置１４各部を制御して診断ステップを実施する（Ｓ００４）。診断ステップは、図１２に図示の流れに沿って進行し、指定された画像生成モードがＢモードである場合には（Ｓ０３１でＹｅｓ）、Ｂモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３２）。また、指定された画像生成モードがＢモードではなく（Ｓ０３１でＮｏ）ＣＦモードである場合には（Ｓ０３３でＹｅｓ）、ＣＦモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３４）。さらに、指定された画像生成モードがＣＦモードではなく（Ｓ０３３でＮｏ）ＰＷモードである場合には（Ｓ０３５でＹｅｓ）、ＰＷモード画像を生成するように超音波観測装置１４各部を制御する（Ｓ０３６）。なお、指定された画像生成モードがＰＷモードではない場合には（Ｓ０３５でＮｏ）、ステップＳ０３７へ進む。
【０１５５】
続いて、ＣＰＵ１５２は、超音波診断が終了したか否かを判定する（Ｓ０３７）。超音波診断が終了していない場合（Ｓ０３７でＮｏ）、診断ステップＳ０３１へ戻り、各画像生成モードによる超音波画像の生成は、診断終了条件が成立するまで繰り返し実施される。診断終了条件としては、例えば、術者が操作卓１００を通じて診断終了を指示すること等が挙げられる。
【０１５６】
一方、診断終了条件が成立して超音波診断が終了すると（Ｓ０３７でＹｅｓ）、診断ステップが終了する。
続いて、図１１に戻って、超音波内視鏡システム１０各部の電源がオフとなると（Ｓ００６でＹｅｓ）、診断処理が終了する。一方で、超音波内視鏡システム１０各部の電源がオン状態で維持される場合には（Ｓ００５でＮｏ）、入力ステップＳ００１に戻り、上述した診断処理の各ステップを繰り返すことになる。
【０１５７】
＜＜内視鏡画像、超音波画像および解剖学シェーマ図の表示方法＞＞
次に、内視鏡画像、超音波画像および解剖学シェーマ図の表示方法について説明する。
【０１５８】
術者は、操作卓１００を操作して指示を与えることにより、内視鏡画像、超音波画像、及び解剖学シェーマ図の少なくとも１つをモニタ２０の画面内に表示させることができる。
この場合、表示制御部１７２により、術者からの指示に応じて、内視鏡画像（病変領域の表示のあり／なし）、超音波画像（臓器の名称の表示のあり／なし）、及び解剖学シェーマ図（超音波内視鏡１２の先端部４０の位置および向きの表示のあり／なし）の中から、１の画像、もしくは２以上の画像がモニタ２０の画面内に並べて表示される。また、表示制御部１７２により、モニタ２０に表示された２以上の画像の中から、１の画像が注目画像として他の画像よりも大きく表示される。
【０１５９】
超音波内視鏡システム１０では、超音波画像または解剖学シェーマ図がモニタ２０の画面内に表示される場合に超音波画像認識部１６８が動作し、内視鏡画像がモニタ２０の画面内に表示される場合に内視鏡画像認識部１７０が動作する。
これにより、術者からの指示に応じて、その上に病変領域が重ねて表示された内視鏡画像をモニタ２０に表示させたり、その上に臓器の名称が重ねて表示された超音波画像をモニタ２０に表示させたり、その上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図をモニタ２０に表示させることができる。
【０１６０】
なお、超音波画像の上に臓器の名称を重ねて表示したり、解剖学シェーマ図の上に超音波内視鏡１２の先端部４０の位置および向きを重ねて表示したりすることは必須ではない。例えば、超音波画像とは別に臓器の名称をモニタ２０に表示させてもよいし、解剖学シェーマ図とは別に超音波内視鏡１２の先端部４０の位置および向きをモニタ２０に表示させてもよい。
【０１６１】
超音波内視鏡システム１０においては、例えば超音波画像の上に重ねて、超音波画像に表示されている臓器の名称がモニタ２０に表示されるため、たとえ超音波画像に不慣れな術者であっても、超音波画像に何が表示されているのかを正しく認識することができる。また、例えば解剖学シェーマ図の上に重ねて、超音波内視鏡１２の先端部４０の位置および向きがモニタ２０に表示されるため、たとえ超音波画像に不慣れな術者であっても、今現在、超音波内視鏡１２の先端部４０がどの位置にあって、どの方向を向いていて、どの部位を観察しているのかを正しく認識することができ、被検体の体内において迷うことがなくなる。さらに、内視鏡画像の上に重ねて、病変領域がモニタ２０に表示されるため、病変領域を正しく認識することができる。
【０１６２】
例えば、術者は、超音波画像および解剖学シェーマ図をモニタ２０の画面内に並べて表示させることができる。
【０１６３】
この場合、表示制御部１７２により、術者からの指示に応じて、例えばその上に臓器の名称が重ねて表示された超音波画像、およびその上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図がモニタ２０の画面内に並べて表示される。また、モニタ２０に表示された超音波画像および解剖学シェーマ図の中から、１の画像が注目画像として他の画像よりも大きく表示される。
【０１６４】
図１３Ａは、超音波画像および解剖学シェーマ図の表示位置を表す一実施形態の概念図であり、図１３Ｂは、その超音波画像および解剖学シェーマ図を表す一実施形態の概念図である。
図１３Ａおよび図１３Ｂに示すように、初期画面として、例えばその上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図がモニタ２０の画面内の左上部に表示され、その上に臓器の名称が重ねて表示された超音波画像がモニタ２０の画面内の右部に表示される。また、初期画面として、例えば超音波画像が解剖学シェーマ図よりも大きく表示される。
【０１６５】
また、術者は、その上に臓器の名称が重ねて表示された超音波画像（第１の診断用超音波画像）、第１の診断用超音波画像と同じ超音波画像であり、臓器の名称が表示されていない超音波画像（第２の診断用超音波画像）、およびその上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図をモニタ２０の画面内に表示させることができる。
【０１６６】
この場合、表示制御部１７２により、術者からの指示に応じて、例えば第１の診断用超音波画像、第２の診断用超音波画像、およびその上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図がモニタ２０の画面内に並べて表示される。また、モニタ２０に表示された第１の診断用超音波画像、第２の診断用超音波画像、および解剖学シェーマ図の中から、１の画像が注目画像として他の画像よりも大きく表示される。
【０１６７】
図１４Ａは、第１の診断用超音波画像、第２の診断用超音波画像および解剖学シェーマ図の表示位置を表す一実施形態の概念図であり、図１４Ｂは、第１の診断用超音波画像、第２の診断用超音波画像および解剖学シェーマ図を表す一実施形態の概念図である。
図１４Ａおよび図１４Ｂに示すように、初期画面として、例えばその上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図がモニタ２０の画面内の左上部に表示され、第１の診断用超音波画像がモニタ２０の画面内の左下部に表示され、第２の診断用超音波画像がモニタ２０の画面内の右部に表示される。また、初期画面として、例えば第２の診断用超音波画像が解剖学シェーマ図および第１の診断用超音波画像よりも大きく表示される。
【０１６８】
また、術者は、内視鏡画像、超音波画像および解剖学シェーマ図をモニタ２０の画面内に表示させることができる。
【０１６９】
この場合、表示制御部１７２により、術者からの指示に応じて、例えば内視鏡画像、その上に臓器の名称が重ねて表示された超音波画像、およびその上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図がモニタ２０の画面内に並べて表示される。また、モニタ２０に表示された内視鏡画像、超音波画像および解剖学シェーマ図の中から、１の画像が注目画像として他の画像よりも大きく表示される。
【０１７０】
図１５Ａは、内視鏡画像、超音波画像および解剖学シェーマ図の表示位置を表す一実施形態の概念図であり、図１５Ｂは、内視鏡画像、超音波画像および解剖学シェーマ図を表す一実施形態の概念図である。
図１５Ａおよび図１５Ｂに示すように、初期画面として、例えばその上に超音波内視鏡１２の先端部４０の位置および向きが重ねて表示された解剖学シェーマ図がモニタ２０の画面内の左上部に表示され、病変領域が表示されていない内視鏡画像がモニタ２０の画面内の左下部に表示され、その上に臓器の名称が重ねて表示された超音波画像がモニタ２０の画面内の右部に表示される。また、初期画面として、例えば超音波画像が解剖学シェーマ図および内視鏡画像よりも大きく表示される。
【０１７１】
なお、内視鏡画像、超音波画像および解剖学シェーマ図の表示方法について説明したが、これに限定されず、１の画像、または２以上の画像を任意に組み合わせてモニタ２０の画面内に並べて表示させることができる。
また、初期画面として、内視鏡画像、超音波画像および解剖学シェーマ図をどの位置に配置し、モニタ２０に表示されている画像のうち、どの１の画像を他の画像よりも大きく表示するのかは任意に設定することができる。例えば、初期画像として、図１４Ａおよび図１４Ｂに示す、第１の診断用超音波画像と、第２の診断用超音波画像と、を入替えて表示させてもよい。
【０１７２】
また、術者は、モニタ２０に表示されている画像の中から、注目画像を切り替えて表示させることができる。
例えば、内視鏡画像、超音波画像および解剖学シェーマ図がモニタ２０の画面内に表示されているとする。
この場合、表示制御部１７２により、術者からの指示に応じて、モニタ２０に表示された内視鏡画像、超音波画像および解剖学シェーマ図の中から、注目画像が、１の画像から他の画像のうちの１つに切り替えて表示される。
【０１７３】
図１６の左上部に示すように、初期画面として、解剖学シェーマ図がモニタ２０の画面内の左上部に表示され、内視鏡画像がモニタ２０の画面内の左下部に表示され、超音波画像がモニタ２０の画面内の右部に表示されているとする。また、初期画面として、超音波画像が注目画像として解剖学シェーマ図および内視鏡画像よりも大きく表示されているとする。
【０１７４】
例えば、図１６の左上部の状態から、術者により、内視鏡画像が注目画像として選択された場合、図１６の右上部に示すように、解剖学シェーマ図がモニタ２０の画面内の左上部に表示され、超音波画像がモニタ２０の画面内の左下部に表示され、内視鏡画像がモニタ２０の画面内の右部に表示される。また、内視鏡画像が解剖学シェーマ図および超音波画像よりも大きく表示される。
【０１７５】
また、図１６の左上部の状態から、術者により、解剖学シェーマ図が注目画像として選択された場合、図１６の下部に示すように、内視鏡画像がモニタ２０の画面内の左上部に表示され、超音波画像がモニタ２０の画面内の左下部に表示され、解剖学シェーマ図がモニタ２０の画面内の右部に表示される。また、解剖学シェーマ図が内視鏡画像および超音波画像よりも大きく表示される。
【０１７６】
図１６の右上部の状態から、術者により、解剖学シェーマ図が注目画像として選択された場合の動作も、図１６の左上部の状態から、解剖学シェーマ図が注目画像として選択された場合の動作と同様である。
【０１７７】
図１６の右上部の状態から、術者により、超音波画像が注目画像として選択された場合、図１６の左上部に示すように、超音波画像が解剖学シェーマ図および内視鏡画像よりも大きく表示される。
【０１７８】
図１６の下部の状態から、術者により、超音波画像が注目画像として選択された場合の動作も、図１６の右上部の状態から、超音波画像が注目画像として選択された場合の動作と同様である。
【０１７９】
超音波内視鏡システム１０においては、内視鏡画像、超音波画像および解剖学シェーマ図を切り替えて見やすく表示させることができる。術者が関心のある注目画像は、その時々によって変化するが、術者は、注目画像を任意のタイミングで切り替えることができるため、その時々に関心のある画像を注目画像して他の画像よりも大きく表示させて閲覧することができる。
【０１８０】
なお、モニタ２０に表示された内視鏡画像、超音波画像および解剖学シェーマ図の中から注目画像を切り替える場合を例に挙げて説明したが、これに限定されず、モニタ２０に表示された２以上の画像の中から注目画像を切り替える場合も同様に動作する。
【０１８１】
＜＜超音波画像認識部１６８および内視鏡画像認識部１７０の配置場所＞＞
次に、超音波画像認識部１６８および内視鏡画像認識部１７０の配置場所について説明する。
【０１８２】
超音波画像認識部１６８は、本実施形態の場合、超音波観測装置１４に内蔵されているが、これに限らず、例えば内視鏡プロセッサ１６に内蔵されていてもよいし、あるいは、超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられていてもよい。
【０１８３】
本実施形態のように、超音波画像認識部１６８が超音波観測装置１４に内蔵されている場合、図１７に示すように、内視鏡画像が、内視鏡プロセッサ１６から、超音波観測装置１４へ転送される。
【０１８４】
また、超音波画像認識部１６８が内視鏡プロセッサ１６に内蔵されている場合、図１８に示すように、超音波画像が、超音波観測装置１４から、内視鏡プロセッサ１６へ転送される。
【０１８５】
超音波画像認識部１６８が超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられている場合、図１９に示すように、内視鏡画像が、内視鏡プロセッサ１６から超音波観測装置１４へ転送され、さらに、内視鏡画像および超音波画像が、超音波観測装置１４から、超音波画像認識部１６８へ転送される。
この場合、超音波画像を、超音波観測装置１４から内視鏡プロセッサ１６へ転送し、さらに、内視鏡画像および超音波画像を、内視鏡プロセッサ１６から超音波画像認識部１６８へ転送してもよい。あるいは、内視鏡画像を、内視鏡プロセッサ１６から超音波観測装置１４へ転送し、さらに、超音波観測装置１４から超音波画像認識部１６８へ転送するのではなく、内視鏡プロセッサ１６から超音波画像認識部１６８へ転送してもよい。
【０１８６】
表示制御部１７２は、モニタ２０へ出力される最終的な画像信号と、モニタ２０と、の間に配置される。
【０１８７】
表示制御部１７２は、超音波画像認識部１６８が超音波観測装置１４に内蔵されている場合、例えば超音波観測装置１４に内蔵されるか、あるいは、超音波観測装置１４とモニタ２０との間に設けることができる。
また、表示制御部１７２は、超音波画像認識部１６８が内視鏡プロセッサ１６に内蔵されている場合、例えば内視鏡プロセッサ１６に内蔵されるか、あるいは、内視鏡プロセッサ１６とモニタ２０との間に設けることができる。
さらに、表示制御部１７２は、超音波画像認識部１６８が超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられている場合、例えば超音波観測装置１４および内視鏡プロセッサ１６の外部に設けることができる。
【０１８８】
表示制御部１７２は、術者からの指示に応じて、内視鏡画像（病変領域の表示のあり／なし）、超音波画像（臓器の名称の表示のあり／なし）、および解剖学シェーマ図（超音波内視鏡１２の先端部４０の位置および向きの表示のあり／なし）の中から、１の画像または２以上の画像を並べてモニタ２０の画面内に表示させる。
【０１８９】
内視鏡画像認識部１７０の配置場所も、超音波画像認識部１６８の配置場所と同様に決定することができる。つまり、内視鏡画像認識部１７０は、本実施形態の場合、内視鏡プロセッサ１６に内蔵されているが、これに限らず、例えば超音波観測装置１４に内蔵されていてもよいし、あるいは、超音波観測装置１４および内視鏡プロセッサ１６の外部に設けられていてもよい。
【０１９０】
このように、超音波内視鏡システム１０において、超音波画像認識部１６８および内視鏡画像認識部１７０の配置場所は固定的ではなく、超音波画像認識部１６８および内視鏡画像認識部１７０を任意の配置場所に設けることができる。
【０１９１】
次に、図２０および図２１を参照しながら、第２実施形態に係る超音波内視鏡システムについて説明する。図２０は、第２実施形態の超音波観測装置１４Ｂの構成を示すブロック図であり、図２１は、第２実施形態の超音波画像認識部１６８Ｂの構成を示すブロック図である。
【０１９２】
＜＜超音波内視鏡システムの概要＞＞
第２実施形態の超音波内視鏡システムの構成は、第１実施形態の超音波内視鏡システム１０が備える超音波観測装置１４の代わりに、超音波観測装置１４Ｂを備えていること以外、第１実施形態の超音波内視鏡システム１０と同じであるから、これ以外の同一の構成要素の詳細な説明を省略する。
以下、超音波観測装置１４Ｂについて説明を続ける。
【０１９３】
＜＜超音波観測装置１４Ｂの構成＞＞
図２０に示す超音波観測装置１４Ｂの構成は、第１実施形態の超音波観測装置１４が備える超音波画像認識部１６８および表示制御部１７２の代わりに、超音波画像認識部１６８Ｂおよび表示制御部１７２Ｂを備え、さらに、色登録部１７４および臓器登録部１７６を備えていること以外、第１実施形態の超音波観測装置１４と同じであるから、これ以外の同一の構成要素には同一の符号を付与して、その詳細な説明を省略する。
【０１９４】
超音波画像認識部１６８Ｂは、診断用超音波画像に表示されている臓器の名称と、超音波内視鏡１２の先端部４０の位置および向きと、に関する学習および認識に関して、第１実施形態の超音波画像認識部１６８と同様に機能する。
これに加え、超音波画像認識部１６８Ｂは、学習用超音波画像と学習用超音波画像に表示されている臓器の範囲（臓器の領域）との関係を複数の学習用超音波画像について予め学習しておき、学習結果に基づいて、診断用超音波画像から、この診断用超音波画像に表示されている臓器の範囲を認識する。
学習用超音波画像は、超音波画像認識部１６８Ｂが、超音波画像と、臓器の範囲と、の関係を学習するための既存の超音波画像であり、例えば過去に撮影された各種の超音波画像を利用することができる。
【０１９５】
図２１に示す超音波画像認識部１６８Ｂの構成は、第１実施形態の超音波画像認識部１６８が備える選択部１１６と、臓器名称検出制御部１１８と、の代わりに、選択部１１６Ｂと、臓器名称及び範囲検出制御部１１８Ｂと、を備え、さらに、臓器範囲検出部１２０を備えていること以外、第１実施形態の超音波画像認識部１６８と同じであるから、これ以外の同一の構成要素には同一の符号を付与して、その詳細な説明を省略する。
【０１９６】
臓器範囲検出部１２０は、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の範囲を検出する。臓器範囲検出部１２０は、被検体の体内の観察対象部位となる複数の位置にそれぞれ対応した複数の検出部を備えている。ここでは、一例として、第１〜第１１検出部１２０Ａ〜１２０Ｋを備えている。第１検出部１２０Ａは大動脈、腹腔動脈、及び上腸間膜動脈の合流部に、第２検出部１２０Ｂは膵体部に、第３検出部１２０Ｃは膵尾部に、第４検出部１２０Ｄは脾静脈、上腸間膜静脈、及び門脈の合流部（コンフルエンス）に、第５検出部１２０Ｅは膵頭部に、第６検出部１２０Ｆは胆嚢に、第７検出部１２０Ｇは門脈に、第８検出部１２０Ｈは総胆管に、第９検出部１２０Ｉは胆嚢に、第１０検出部１２０Ｊは膵鉤部に、第１１検出部１２０Ｋは乳頭に、それぞれ対応している。
【０１９７】
第１〜第１１検出部１２０Ａ〜１２０Ｋは、それぞれ学習済みモデルである。この複数の学習済みモデルは、それぞれ異なる学習用超音波画像からなるデータセットを用いて学習したモデルである。詳しくは、複数の学習済みモデルは、それぞれ被検体の体内の観察対象部位となる異なる位置を撮影した学習用超音波画像からなるデータセットを用いて、学習用超音波画像と、学習用超音波画像に表示されている臓器の範囲と、の関係を予め学習したモデルである。
【０１９８】
即ち、第１検出部１２０Ａは大動脈、腹腔動脈、及び上腸間膜動脈の合流部の学習用超音波画像からなるデータセット、第２検出部１２０Ｂは膵体部の学習用超音波画像からなるデータセット、第３検出部１２０Ｃは膵尾部の学習用超音波画像からなるデータセット、第４検出部１２０Ｄは脾静脈、上腸間膜静脈、及び門脈の合流部の学習用超音波画像からなるデータセット、第５検出部１２０Ｅは膵頭部の学習用超音波画像からなるデータセット、第６検出部１２０Ｆは胆嚢の学習用超音波画像からなるデータセット、第７検出部１２０Ｇは門脈の学習用超音波画像からなるデータセット、第８検出部１２０Ｈは総胆管の学習用超音波画像からなるデータセット、第９検出部１２０Ｉは胆嚢の学習用超音波画像からなるデータセット、第１０検出部１２０Ｊは膵鉤部の学習用超音波画像からなるデータセット、第１１検出部１２０Ｋは乳頭の学習用超音波画像からなるデータセットを用いて学習したモデルである。
【０１９９】
前述のように、超音波画像を撮像する場合の体内の観察ルート、及び代表的な観察ポイントは大体決められている。そのため、代表的な観察ポイントにおける超音波画像と、その超音波画像に表示されている臓器の範囲と、を関連付けて学習することができる。
【０２００】
学習方法は、複数の学習用超音波画像から、超音波画像と、臓器の範囲と、の関係を学習し、学習済みモデルを生成することができるものであれば特に限定されない。学習方法および学習済みモデルの更新方法等は、前述の通りである。
【０２０１】
選択部１１６Ｂは、臓器名称検出部１１２からの検出部の選択に関して、第１実施形態の選択部１１６と同様に機能する。
これに加え、選択部１１６Ｂは、臓器範囲検出部１２０から、位置及び向き検出部１１４が検出した超音波内視鏡１２の先端部４０の位置に対応した検出部を選択する。
すなわち、選択部１１６Ｂは、超音波内視鏡１２の先端部４０の位置が、（１）大動脈、腹腔動脈、及び上腸間膜動脈の合流部の場合は第１検出部１２０Ａを、（２）膵体部の場合は第２検出部１２０Ｂを、（３）膵尾部の場合は第３検出部１２０Ｃを、（４）脾静脈、上腸間膜静脈、及び門脈の合流部の場合は第４検出部１２０Ｄを、（５）膵頭部の場合は第５検出部１２０Ｅを、（６）胆嚢の場合は第６検出部１２０Ｆを、（７）門脈の場合は第７検出部１２０Ｇを、（８）総胆管の場合は第８検出部１２０Ｈを、（９）胆嚢の場合は第９検出部１２０Ｉを、（１０）膵鉤部の場合は第１０検出部１２０Ｊを、（１１）乳頭の場合は第１１検出部１２０Ｋを選択する。
【０２０２】
臓器名称及び範囲検出制御部１１８Ｂは、臓器名称検出部１１２の制御に関して、第１実施形態の臓器名称検出制御部１１８と同様に機能する。
これに加え、臓器名称及び範囲検出制御部１１８Ｂは、選択部１１６Ｂが臓器範囲検出部１２０から選択した検出部によって、診断用超音波画像から、この診断用超音波画像に表示されている臓器の範囲を検出させる。
なお、臓器範囲検出部１２０によって範囲が検出される臓器としては、超音波観測装置１４を用いて観測可能な被検体の体内のあらゆる観察対象部位が含まれる。
【０２０３】
超音波画像認識部１６８Ｂにおいては、位置及び向き検出部１１４により、学習結果に基づいて、診断用超音波画像から、超音波内視鏡１２の先端部４０の位置および向きが検出される。
続いて、選択部１１６Ｂにより、臓器名称検出部１１２および臓器範囲検出部１２０から、位置及び向き検出部１１４が検出した超音波内視鏡１２の先端部４０の位置に対応した検出部が選択される。
続いて、臓器名称及び範囲検出制御部１１８Ｂにより、選択部１１６Ｂが選択した検出部が、学習結果に基づいて、診断用超音波画像から、診断用超音波画像に表示されている臓器の名称および臓器の範囲を検出するように制御される。
【０２０４】
第２実施形態の超音波内視鏡システムにおいては、例えば超音波画像の上に重ねて、超音波画像に表示されている臓器の名称さらには臓器の範囲がモニタ２０に表示され、解剖学シェーマ図の上に重ねて、超音波内視鏡１２の先端部４０の位置および向きがモニタ２０に表示される。このため、たとえ超音波画像に不慣れな術者であっても、超音波画像に何が表示され、超音波画像に表示されている臓器の範囲がどこなのかを正しく認識することができる。また、今現在、超音波内視鏡１２の先端部４０がどの位置にあって、どの方向を向いていて、どの部位を観察しているのかを正しく認識することができ、被検体の体内において迷うことがなくなる。
【０２０５】
図２０に戻って、表示制御部１７２Ｂは、第１実施形態の表示制御部１７２と同様に機能する。
これに加え、表示制御部１７２Ｂは、超音波画像認識部１６８Ｂによって認識された臓器の範囲をモニタ２０に表示させる。
【０２０６】
色登録部１７４は、術者からの指示に応じて、臓器の種類と、臓器の範囲の色との関係を登録する。さらに詳しくは、臓器の種類と、臓器の範囲の内部領域または臓器の範囲を示す枠の色との関係を登録する。色登録部１７４に登録された臓器の種類と臓器の内部領域または枠の色との関係は、表示制御部１７２Ｂへ出力される。
臓器の範囲を示す枠（以下、臓器の枠ともいう）とは、臓器の輪郭であり、他の臓器との境界線でもある。
臓器の範囲の内部領域（以下、臓器の内部領域ともいう）とは、臓器の枠によって囲まれた閉空間内の領域である。
【０２０７】
臓器登録部１７６は、術者からの指示に応じて、範囲を表示させる臓器の種類を登録する。臓器登録部１７６に登録された範囲を表示させる臓器の種類は、表示制御部１７２Ｂへ出力される。
【０２０８】
＜＜臓器の名称および臓器の範囲の表示方法＞＞
次に、臓器の名称および臓器の範囲の表示方法について説明する。
【０２０９】
術者は、超音波画像において表示されている臓器の範囲を表示させるか否かを指定することができる。
術者からの指示に応じて、臓器の範囲を表示させることが指定されると、図２２Ｂに示すように、表示制御部１７２Ｂにより、例えば超音波画像認識部１６８Ｂによって認識された臓器の範囲の内部領域が定められた色に着色され、この内部領域が着色された臓器の範囲がモニタ２０に表示される。あるいは、超音波画像認識部１６８Ｂによって認識された臓器の範囲を示す枠が設けられて、この枠が定められた色に着色され、枠が着色された臓器の範囲がモニタ２０に表示される。
一方、術者からの指示に応じて、臓器の範囲を表示させないことが指定されると、表示制御部１７２Ｂにより、臓器の範囲は表示されない。
臓器の内部領域または枠を着色して表示させることにより、術者は、臓器の範囲を明確に認識することができる。
なお、定められた色は、表示制御部１７２Ｂに予め設定されている色であり、特に限定されないが、術者が超音波画像において臓器の範囲を認識しやすいように白または黒以外の色であることが望ましい。
【０２１０】
また、表示制御部１７２Ｂは、超音波画像認識部１６８Ｂによって範囲が認識された臓器の種類毎に、臓器の内部領域または枠を異なる色に着色することが望ましい。
表示制御部１７２Ｂは、術者が色の違いを識別しやすいように、例えば互いに隣接する２以上の臓器の内部領域または枠を、色相が均等に離れている色ないし色相が均等に離れている色を含む定められた色相範囲の色に着色することができる。また、表示制御部１７２Ｂは、血管の内部領域または枠と、血液以外の体液が流れる脈管の内部領域または枠と、血管および脈管以外の臓器の内部領域または枠とを、同様に色相が均等に離れている色ないし色相が均等に離れている色を含む定められた色相範囲の色に着色することができる。
例えば、２つの臓器が隣接している場合、一方の臓器の内部領域または枠の色を、他方の臓器の内部領域または枠の色の補色またはこの補色を含む定められた色相範囲の色に着色する。また、３つの臓器が隣接している場合、これら３つの臓器の内部領域または枠の色を、Ｒ（赤）、Ｇ（緑）およびＢ（青）のように、色相が均等に離れている色に着色する。
これにより、術者は、たとえ２以上の臓器が隣接している場合であっても、各々の臓器の範囲を色の違いによって明確に認識することができる。
【０２１１】
また、術者は、臓器の範囲を術者が指定した色に着色したり、術者が予め登録した色に着色したりすることができる。
術者からの指示に応じて、臓器の範囲を着色する色が指定されると、表示制御部１７２Ｂにより、臓器の内部領域または枠が、術者からの指示によって指定された色に着色される。あるいは、臓器の種類と臓器の内部領域または枠の色との関係が色登録部１７４に登録されている場合、表示制御部１７２Ｂにより、臓器の内部領域または枠が、色登録部１７４に登録された臓器の種類に対応する臓器の内部領域または枠の色に着色される。
このように、術者は、臓器の範囲を術者の所望の色に着色することができるため、例えば赤色は肝臓であるというように、色によって臓器の種類を容易に識別することができる。
【０２１２】
また、超音波画像認識部１６８Ｂの臓器名称検出部１１２は、診断用超音波画像に表示されている臓器の名称を検出する場合に、臓器名称検出部１１２によって認識された臓器の名称の確信度を算出することができる。
臓器の名称の確信度とは、臓器名称検出部１１２によって認識された臓器の名称が正しい名称である確率を表す。例えば、臓器の名称が肝臓であることが検出された場合、診断用超音波画像に表示されている臓器の名称が肝臓である確率が９０％であるというように、臓器の名称の確信度が算出される。
この場合、表示制御部１７２Ｂは、超音波画像認識部１６８Ｂによって算出された確信度に応じて、モニタ２０に表示させる臓器の名称の表示方法、および、臓器の内部領域または枠の着色方法の少なくとも一方を決定することができる。
【０２１３】
臓器の名称を表示させる場合、表示制御部１７２Ｂは、確信度に応じて、例えばモニタ２０に表示させる臓器の名称の大きさを決定する、臓器の内部領域または枠を着色する色を決定する、および、特定の文字を表示させるか否かを決定するの少なくとも１つを行うことができる。
表示制御部１７２Ｂは、例えば確信度が比較的低い場合には、確信度が比較的高い場合よりも、臓器の名称の大きさを小さくしたり、臓器の内部領域または枠を着色する色の濃度を薄くしたり、あるいは、臓器の名称が肝臓であるとすると、「肝臓？」というように、臓器の名称が肝臓である確率が比較的低いことを表現するために、「？」のような特定の文字を表示させたりする。
【０２１４】
臓器の内部領域または枠を着色する場合、表示制御部１７２Ｂは、確信度に応じて、例えば臓器の内部領域または枠を着色する色の濃度を決定することができる。
例えば確信度が比較的低い場合には、臓器の内部領域または枠を着色する色の濃度を薄くしたり、確信度が比較的高い場合には、臓器の内部領域または枠を着色する色の濃度を濃くしたりする。
このように、臓器の名称の表示方法、および、臓器の内部領域または枠の着色方法を決定することにより、術者は、超音波画像認識部１６８Ｂによって認識された臓器の名称が正しいのか否かを判断することができる。
【０２１５】
また、表示制御部１７２Ｂは、診断用超音波画像に臓器の名称を重ねて表示させる場合、臓器の名称の表示領域の背後に表示されている診断用超音波画像の輝度に応じて、臓器の名称の色、および、臓器の内部領域または枠の色の少なくとも一方を決定することが望ましい。
表示制御部１７２Ｂは、臓器の名称の表示領域の背後の超音波画像の輝度が比較的高い場合、臓器の名称の色の濃度を高くしたり、臓器の内部領域または枠の色の濃度を低くしたりする。
これにより、臓器の名称と、その背景の超音波画像とが重ね合わされたり、臓器の名称と、その背景の着色された臓器の内部領域または枠とが重ね合わされたりした場合であっても、術者が臓器の名称を見やすくすることができる。
【０２１６】
また、術者は、臓器の名称を表示させるか否か、および、臓器の範囲を着色するか否かを指定することができる。
表示制御部１７２Ｂは、術者からの指示に応じて、超音波画像認識部１６８Ｂによって認識された臓器の名称、および、内部領域または枠が着色された臓器の範囲の一方のみを表示させるか、両方を表示させるか、両方とも表示させないか、を切り替える。
例えば、術者からの指示に応じて、臓器の名称のみを表示させることが指定されると、表示制御部１７２Ｂは、図２２Ａに示すように、臓器の範囲を着色させずに、臓器の名称のみを表示させ、臓器の範囲の着色のみを行うことが指定されると、図２２Ｂに示すように、臓器の名称を表示させずに、臓器の範囲のみを着色させる。また、臓器の名称および臓器の範囲の着色の両方を行うことが指定されると、臓器の名称を表示させ、かつ臓器の範囲を着色させる。一方、臓器の名称および臓器の範囲の着色の両方とも行わないことが指定されると、臓器の名称を表示させず、かつ臓器の範囲を着色させない。
【０２１７】
また、表示制御部１７２Ｂは、超音波画像認識部１６８Ｂによって認識された臓器の範囲に応じて、超音波画像認識部１６８Ｂによって認識された臓器の名称をモニタ２０に表示させる位置を決めたり、モニタ２０に表示させるか否かを決めたりすることができる。
表示制御部１７２Ｂは、例えば超音波画像認識部１６８Ｂによって認識された臓器の範囲が比較的小さい場合には、臓器の名称を表示させず、臓器の範囲が比較的大きい場合には、臓器の名称を表示させる。また、臓器の範囲が比較的小さい場合には、臓器の名称を臓器の範囲の範囲内ではなくその近傍に表示させ、臓器の範囲が比較的大きい場合には、臓器の名称を臓器の範囲内に表示させる。
【０２１８】
また、術者は、予め術者が登録した種類の臓器のみの範囲を表示させることができる。
範囲を表示させる臓器の種類が臓器登録部１７６に登録されている場合、超音波画像認識部１６８Ｂによって範囲が認識された臓器が、臓器登録部１７６に登録されている臓器である場合に限り、表示制御部１７２Ｂにより、超音波画像認識部１６８Ｂによって認識された臓器の範囲がモニタ２０に表示される。
このように、術者は、所望の種類の臓器のみの範囲を表示させることができるため、この所望の種類の臓器を容易に認識することができる。
【０２１９】
また、術者は、範囲を表示させる臓器の種類を指定することができる。
例えば、術者からの指示に応じて、範囲を表示させる臓器の種類が順次指定されると、これに応じて、表示制御部１７２Ｂにより、範囲を表示させる臓器の種類が順次切り替えられる。
【０２２０】
本発明の装置において、例えば、内視鏡画像認識部１７０（病変領域検出部１０２、位置情報取得部１０４、選択部１０６、および病変領域検出制御部１０８）、超音波画像認識部１６８、１６８Ｂ（臓器名称検出部１１２、臓器範囲検出部１２０、位置及び向き検出部１１４、選択部１１６、選択部１１６Ｂ、臓器名称検出制御部１１８、および臓器名称及び範囲検出制御部１１８Ｂ）、表示制御部１７２、１７２Ｂ、および操作卓（指示取得部）１００等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。また、シネメモリ１５０、色登録部１７４、および臓器登録部１７６のハードウェア的な構成は、専用のハードウェアであってもよいし、あるいは半導体メモリ等のメモリであってもよい。
【０２２１】
各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【０２２２】
１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。
【０２２３】
例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
【０２２４】
さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。
【０２２５】
また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【０２２６】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良および変更をしてもよいのはもちろんである。
【符号の説明】
【０２２７】
１０  超音波内視鏡システム
１２  超音波内視鏡
１４、１４Ｂ  超音波観測装置
１６  内視鏡プロセッサ
１８  光源装置
２０  モニタ
２１ａ  送水タンク
２１ｂ  吸引ポンプ
２２  挿入部
２４  操作部
２６  ユニバーサルコード
２８ａ  送気送水ボタン
２８ｂ  吸引ボタン
２９  アングルノブ
３０  処置具挿入口
３２ａ  超音波用コネクタ
３２ｂ  内視鏡用コネクタ
３２ｃ  光源用コネクタ
３４ａ  送気送水用チューブ
３４ｂ  吸引用チューブ
３６  超音波観察部
３８  内視鏡観察部
４０  先端部
４２  湾曲部
４３  軟性部
４４  処置具導出口
４５  処置具チャンネル
４６  超音波振動子ユニット
４８  超音波振動子
５０  超音波振動子アレイ
５４  バッキング材層
５６  同軸ケーブル
６０  ＦＰＣ
７４  音響整合層
７６  音響レンズ
８２  観察窓
８４  対物レンズ
８６  固体撮像素子
８８  照明窓
９０  洗浄ノズル
９２  配線ケーブル
１００  操作卓
１０２  病変領域検出部
１０４  位置情報取得部
１０６、１１６  選択部
１０８  病変領域検出制御部
１０２Ａ〜１０２Ｋ  第１〜第１１検出部
１１２  臓器名称検出部
１１４  位置及び向き検出部
１１８  臓器名称検出制御部
１１２Ａ〜１１２Ｋ  第１〜第１１検出部
１４０  マルチプレクサ
１４２  受信回路
１４４  送信回路
１４６  Ａ／Ｄコンバータ
１４８  ＡＳＩＣ
１５０  シネメモリ
１５１  メモリコントローラ
１５２  ＣＰＵ
１５４  ＤＳＣ
１５８  パルス発生回路
１６０  位相整合部
１６２  Ｂモード画像生成部
１６４  ＰＷモード画像生成部
１６６  ＣＦモード画像生成部
１６８、１６８Ｂ  超音波画像認識部
１７０  内視鏡画像認識部
１７２、１７２Ｂ  表示制御部
１７４  色登録部
１７６  臓器登録部
【図１】
2020174778.tif 000003
【図２】
2020174778.tif 000004
【図３】
2020174778.tif 000005
【図４】
2020174778.tif 000006
【図５】
2020174778.tif 000007
【図６】
2020174778.tif 000008
【図７Ａ】
2020174778.tif 000009
【図７Ｂ】
2020174778.tif 000010
【図８Ａ】
2020174778.tif 000011
【図８Ｂ】
2020174778.tif 000012
【図９Ａ】
2020174778.tif 000013
【図９Ｂ】
2020174778.tif 000014
【図１０Ａ】
2020174778.tif 000015
【図１０Ｂ】
2020174778.tif 000016
【図１１】
2020174778.tif 000017
【図１２】
2020174778.tif 000018
【図１３Ａ】
2020174778.tif 000019
【図１３Ｂ】
2020174778.tif 000020
【図１４Ａ】
2020174778.tif 000021
【図１４Ｂ】
2020174778.tif 000022
【図１５Ａ】
2020174778.tif 000023
【図１５Ｂ】
2020174778.tif 000024
【図１６】
2020174778.tif 000025
【図１７】
2020174778.tif 000026
【図１８】
2020174778.tif 000027
【図１９】
2020174778.tif 000028
【図２０】
2020174778.tif 000029
【図２１】
2020174778.tif 000030
【図２２Ａ】
2020174778.tif 000031
【図２２Ｂ】
2020174778.tif 000032
【国際調査報告】
2020174778.tif 000033
2020174778.tif 000034
2020174778.tif 000035
2020174778.tif 000036