(57)【要約】【課題】量産時の製造誤差により撮像面に対する超音波プローブの相対位置がばらついたとしても、観察画像中に超音波プローブを確実に映り込ませることができる超音波内視鏡用の画像処理装置及び画像処理方法を得る。【解決手段】超音波プローブ検出部２２４は、撮影画像入力部２２２に入力した撮影画像中の超音波プローブ１７０の映り込み位置を検出する。電子マスクパターン生成部２２５は、超音波プローブ検出部２２４が検出した超音波プローブ１７０の映り込み位置に応じて、観察画像中にその映り込んだ超音波プローブ１７０の少なくとも一部を視認できるような電子マスクパターンを生成する。電子マスク処理部２２６は、撮影画像入力部２２２に入力した撮影画像に対して、電子マスクパターン生成部２２５が生成した電子マスクパターンの電子マスク処理を施して、超音波プローブ１７０の少なくとも一部を視認できるような観察画像を生成する。【選択図】図１
2016129576.tif 000002
【特許請求の範囲】
【請求項１】
体内挿入部の先端部に撮像素子と超音波プローブを設けた超音波内視鏡用の画像処理装置であって、
前記撮像素子によって撮像した前記超音波プローブが映り込んだ撮影画像を入力する撮影画像入力部と、
前記撮影画像入力部に入力した撮影画像に対して電子マスク処理を施すことにより観察画像を生成する観察画像生成部と、
を有し、
前記観察画像生成部は、
前記撮影画像入力部に入力した撮影画像中の前記超音波プローブの映り込み位置を検出する超音波プローブ検出部と、
前記超音波プローブ検出部が検出した前記超音波プローブの映り込み位置に応じて、前記観察画像中にその映り込んだ超音波プローブの少なくとも一部を視認できるような電子マスクパターンを生成する電子マスクパターン生成部と、
前記撮影画像入力部に入力した撮影画像に対して、前記電子マスクパターン生成部が生成した電子マスクパターンの電子マスク処理を施して、前記超音波プローブの少なくとも一部を視認できるような前記観察画像を生成する電子マスク処理部と、
を有することを特徴とする超音波内視鏡用の画像処理装置。
【請求項２】
請求項１記載の超音波内視鏡用の画像処理装置において、
前記超音波プローブ検出部は、前記超音波プローブの映り込み位置として、前記撮影画像における前記超音波プローブの端部位置を検出する超音波内視鏡用の画像処理装置。
【請求項３】
請求項２記載の超音波内視鏡用の画像処理装置において、
前記超音波プローブ検出部は、前記超音波プローブの映り込み位置として、前記撮影画像における前記超音波プローブの異なる三方向の端部位置を検出する超音波内視鏡用の画像処理装置。
【請求項４】
請求項２または３記載の超音波内視鏡用の画像処理装置において、
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの端部位置に応じて、少なくともその端部位置を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターンを生成する超音波内視鏡用の画像処理装置。
【請求項５】
請求項２または３記載の超音波内視鏡用の画像処理装置において、
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの端部位置に応じて、少なくともその端部位置を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成する超音波内視鏡用の画像処理装置。
【請求項６】
請求項１記載の超音波内視鏡用の画像処理装置において、
前記超音波プローブ検出部は、前記超音波プローブの映り込み位置として、前記撮影画像における前記超音波プローブの輪郭を検出する超音波内視鏡用の画像処理装置。
【請求項７】
請求項６記載の超音波内視鏡用の画像処理装置において、
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの輪郭に応じて、その輪郭を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターン上に前記超音波プローブの輪郭を描画した電子マスクパターンを生成する超音波内視鏡用の画像処理装置。
【請求項８】
請求項６記載の超音波内視鏡用の画像処理装置において、
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの輪郭に応じて、その輪郭を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成する超音波内視鏡用の画像処理装置。
【請求項９】
請求項１ないし８のいずれか１項記載の超音波内視鏡用の画像処理装置において、
前記電子マスクパターン生成部は、デフォルトの電子マスクパターンを予め生成してこれを記憶しており、前記撮影画像入力部に入力した撮影画像に対して前記デフォルトの電子マスクパターンの電子マスク処理を施したときに前記超音波プローブを視認できるか否かを判定し、前記超音波プローブを視認できると判定したときは、前記デフォルトの電子マスクパターンをそのまま使用し、前記超音波プローブを視認できないと判定したときは、前記超音波プローブを視認できるような新たな電子マスクパターンを生成する超音波内視鏡用の画像処理装置。
【請求項１０】
請求項１ないし９のいずれか１項記載の超音波内視鏡用の画像処理装置において、
前記電子マスクパターン生成部は、複数の電子マスクパターン生成モードのいずれかに滞在可能であり、
前記電子マスクパターン生成部が前記複数の電子マスクパターン生成モードのいずれに滞在するかを切り替えるモード切替部をさらに有する超音波内視鏡用の画像処理装置。
【請求項１１】
体内挿入部の先端部に撮像素子と超音波プローブを設けた超音波内視鏡用の画像処理装置による画像処理方法であって、
前記撮像素子によって撮像した前記超音波プローブが映り込んだ撮影画像を入力する撮影画像入力ステップと、
前記撮影画像入力ステップで入力した撮影画像に対して電子マスク処理を施すことにより観察画像を生成する観察画像生成ステップと、
を有し、
前記観察画像生成ステップは、
前記撮影画像入力ステップで入力した撮影画像中の前記超音波プローブの映り込み位置を検出する超音波プローブ検出ステップと、
前記超音波プローブ検出ステップで検出した前記超音波プローブの映り込み位置に応じて、前記観察画像中にその映り込んだ超音波プローブの少なくとも一部を視認できるような電子マスクパターンを生成する電子マスクパターン生成ステップと、
前記撮影画像入力ステップで入力した撮影画像に対して、前記電子マスクパターン生成ステップで生成した電子マスクパターンの電子マスク処理を施して、前記超音波プローブの少なくとも一部を視認できるような前記観察画像を生成する電子マスク処理ステップと、
を有することを特徴とする超音波内視鏡用の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超音波内視鏡用の画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
超音波内視鏡は、体内挿入部の先端部に位置させて、観察対象部位の電子画像信号を取得する撮像素子（ＣＣＤ）と、観察対象部位の超音波画像信号を取得する超音波プローブ（超音波素子）とを有している。撮像素子が取得した電子画像信号には電子内視鏡用プロセッサ（電子画像処理用プロセッサ）により電子画像処理が施され、超音波プローブが取得した超音波画像信号には超音波スキャナ（超音波画像処理用プロセッサ）により超音波画像処理が施されて、モニタ装置（電子画像表示部、超音波画像表示部）に、電子画像と超音波画像がそれぞれ表示される。
【０００３】
電子内視鏡用プロセッサにおける電子画像信号への電子画像処理の１つとして、電子マスク処理が挙げられる。図１０は、従来の一般的な電子マスク処理を示しており、撮像素子によって撮像した撮影画像に対して、該撮影画像の周縁部を覆う枠状の電子マスクを掛けることで、観察画像を生成するものである。ここで、超音波プローブは、術者が精度良く手技を行うための重要な目安（指標）になるものであるため、図１０に示すように、観察画像中に超音波プローブが映り込むことが要求され、実際にそのように設計されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−４９４５０号公報
【特許文献２】特開２００３−３２５４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、量産時の製造誤差により撮像面に対する超音波プローブの相対位置がずれると、図１１に示すように、観察画像中に超音波プローブが映り込まなくなってしまう（超音波プローブが電子マスクによって完全に隠されてしまう）ことがある。この場合、術者の精度良い手技の妨げとなってしまう。
【０００６】
図１２に示すように、電子マスクの形状を工夫して（枠状の電子マスクの一部を切り欠いて）超音波プローブを映り込み易くするような提案もなされているが、やはり、量産時の製造誤差により撮像面に対する超音波プローブの相対位置がずれると、観察画像中の正しい位置に超音波プローブが映り込まなくなってしまう（超音波プローブが電子マスクによって虫食い状態にされてしまう）。
【０００７】
図１１や図１２の事態を防止するためには、量産時に超音波プローブの位置を精密かつ細やかに調整する、あるいは、量産後に超音波プローブの位置を修正することが必要になり、いずれの場合も、手間やコストが非常に大きくなってしまう。
【０００８】
本発明は、以上の問題意識に基づいてなされたものであり、量産時の製造誤差により撮像面に対する超音波プローブの相対位置がばらついたとしても、観察画像中に超音波プローブを確実に映り込ませることができる超音波内視鏡用の画像処理装置及び画像処理方法を得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明者は、鋭意研究の結果、電子マスクのパターンを固定（一律）とする従来の技術常識を見直し、撮影画像中の超音波プローブの映り込み位置を自動検出し、その検出結果に応じて、撮影画像に施す電子マスクのパターンを動的に設定するという着眼に基づいて本発明を完成させた。
【００１０】
本発明の超音波内視鏡用の画像処理装置は、体内挿入部の先端部に撮像素子と超音波プローブを設けた超音波内視鏡用の画像処理装置であって、前記撮像素子によって撮像した前記超音波プローブが映り込んだ撮影画像を入力する撮影画像入力部と、前記撮影画像入力部に入力した撮影画像に対して電子マスク処理を施すことにより観察画像を生成する観察画像生成部と、を有し、前記観察画像生成部は、前記撮影画像入力部に入力した撮影画像中の前記超音波プローブの映り込み位置を検出する超音波プローブ検出部と、前記超音波プローブ検出部が検出した前記超音波プローブの映り込み位置に応じて、前記観察画像中にその映り込んだ超音波プローブの少なくとも一部を視認できるような電子マスクパターンを生成する電子マスクパターン生成部と、前記撮影画像入力部に入力した撮影画像に対して、前記電子マスクパターン生成部が生成した電子マスクパターンの電子マスク処理を施して、前記超音波プローブの少なくとも一部を視認できるような前記観察画像を生成する電子マスク処理部と、を有することを特徴としている。
【００１１】
前記超音波プローブ検出部は、前記超音波プローブの映り込み位置として、前記撮影画像における前記超音波プローブの端部位置を検出することができる。
【００１２】
前記超音波プローブ検出部は、前記超音波プローブの映り込み位置として、前記撮影画像における前記超音波プローブの異なる三方向の端部位置を検出することができる。
【００１３】
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの端部位置に応じて、少なくともその端部位置を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターンを生成することができる。
【００１４】
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの端部位置に応じて、少なくともその端部位置を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成することができる。
【００１５】
前記超音波プローブ検出部は、前記超音波プローブの映り込み位置として（に加えて）、前記撮影画像における前記超音波プローブの輪郭を検出することができる。
【００１６】
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの輪郭に応じて、その輪郭を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターン上に前記超音波プローブの輪郭を描画した電子マスクパターンを生成することができる。
【００１７】
前記電子マスクパターン生成部は、前記超音波プローブ検出部が検出した前記超音波プローブの輪郭に応じて、その輪郭を視認できるように、前記撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成することができる。
【００１８】
前記電子マスクパターン生成部は、デフォルトの電子マスクパターンを予め生成してこれを記憶しており、前記撮影画像入力部に入力した撮影画像に対して前記デフォルトの電子マスクパターンの電子マスク処理を施したときに前記超音波プローブを視認できるか否かを判定し、前記超音波プローブを視認できると判定したときは、前記デフォルトの電子マスクパターンをそのまま使用し、前記超音波プローブを視認できないと判定したときは、前記超音波プローブを視認できるような新たな電子マスクパターンを生成することができる。
【００１９】
前記電子マスクパターン生成部は、複数の電子マスクパターン生成モードのいずれかに滞在可能であり、前記電子マスクパターン生成部が前記複数の電子マスクパターン生成モードのいずれに滞在するかを切り替えるモード切替部をさらに有することができる。
【００２０】
本発明の超音波内視鏡用の画像処理方法は、体内挿入部の先端部に撮像素子と超音波プローブを設けた超音波内視鏡用の画像処理装置による画像処理方法であって、前記撮像素子によって撮像した前記超音波プローブが映り込んだ撮影画像を入力する撮影画像入力ステップと、前記撮影画像入力ステップで入力した撮影画像に対して電子マスク処理を施すことにより観察画像を生成する観察画像生成ステップと、を有し、前記観察画像生成ステップは、前記撮影画像入力ステップで入力した撮影画像中の前記超音波プローブの映り込み位置を検出する超音波プローブ検出ステップと、前記超音波プローブ検出ステップで検出した前記超音波プローブの映り込み位置に応じて、前記観察画像中にその映り込んだ超音波プローブの少なくとも一部を視認できるような電子マスクパターンを生成する電子マスクパターン生成ステップと、前記撮影画像入力ステップで入力した撮影画像に対して、前記電子マスクパターン生成ステップで生成した電子マスクパターンの電子マスク処理を施して、前記超音波プローブの少なくとも一部を視認できるような前記観察画像を生成する電子マスク処理ステップと、を有することを特徴としている。
【発明の効果】
【００２１】
本発明によれば、量産時の製造誤差により撮像面に対する超音波プローブの相対位置がばらついたとしても、観察画像中に超音波プローブを確実に映り込ませることができる超音波内視鏡用の画像処理装置及び画像処理方法が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明による超音波内視鏡システムの全体構成を概念的に示すブロック図である。
【図２】電子内視鏡用プロセッサの電子画像処理部（画像処理装置）の詳細な構成を示す機能ブロック図である。
【図３】撮像素子によって撮像した超音波プローブが映り込んだ撮影画像を示す図である。
【図４】超音波プローブ検出部が撮影画像中の超音波プローブの映り込み位置（及び輪郭）を検出する様子を示す図である。
【図５】電子マスクパターン生成部が＜第１モード＞で生成する電子マスクパターンの一例を示す図である。
【図６】電子マスクパターン生成部が＜第２モード＞で生成する電子マスクパターンの一例を示す図である。
【図７】電子マスクパターン生成部が＜第３モード＞で生成する電子マスクパターンの一例を示す図である。
【図８】電子マスクパターン生成部が＜第４モード＞で生成する電子マスクパターンの一例を示す図である。
【図９】電子内視鏡用プロセッサの電子画像処理部（画像処理装置）による電子マスク処理を示すフローチャートである。
【図１０】従来の一般的な電子マスク処理を示す図である。
【図１１】従来の一般的な電子マスク処理の技術課題を示す第１の図である。
【図１２】従来の一般的な電子マスク処理の技術課題を示す第２の図である。
【発明を実施するための形態】
【００２３】
図１〜図９を参照して、本発明による超音波内視鏡システム１０について説明する。
【００２４】
図１に示すように、超音波内視鏡システム１０は、大きな構成要素として、超音波内視鏡１００と、電子内視鏡用プロセッサ（電子画像処理用プロセッサ）２００と、超音波スキャナ（超音波画像処理用プロセッサ）３００とを有している。
【００２５】
超音波内視鏡１００は、操作者が把持する把持操作部１１０と、把持操作部１１０から延出する可撓性のある体内挿入部１２０と、把持操作部１１０から体内挿入部１２０とは異なる方向に延出するユニバーサルチューブ１３０とを有している。ユニバーサルチューブ１３０は、先端部が二股に分岐しており、その二股の先端部にコネクタプラグ１４０とコネクタプラグ１５０がそれぞれ設けられている。コネクタプラグ１４０を電子内視鏡用プロセッサ２００のコネクタソケット２１０に嵌め込むことで、超音波内視鏡１００と電子内視鏡用プロセッサ２００が電気的に接続される。コネクタプラグ１５０を超音波スキャナ３００のコネクタソケット３１０に嵌め込むことで、超音波内視鏡１００と超音波スキャナ３００が電気的に接続される。
【００２６】
超音波内視鏡１００にはライトガイドファイバ（図示せず）が内蔵されており、このライトガイドファイバは、体内挿入部１２０、把持操作部１１０及びユニバーサルチューブ１３０を通って、ユニバーサルチューブ１３０の二股の先端部の一方に設けられたコネクタプラグ１４０の側方から突出するライトガイドスリーブ（図示せず）の内部まで延びている。コネクタソケット２１０の側方にはライトガイドスリーブ挿入孔（図示せず）が形成されており、コネクタプラグ１４０がコネクタソケット２１０に嵌込接続されると、ライトガイドスリーブ挿入孔にライトガイドスリーブが挿入され、超音波内視鏡１００と電子内視鏡用プロセッサ２００が光学的に接続される。そして、電子内視鏡用プロセッサ２００に内蔵された光源ランプ（図示せず）から発せられた照明光が、ライトガイドファイバ内を導かれ、体内挿入部１２０の先端部に設けられた照明レンズ（図示せず）によって所定の配光で外方に出射される。
【００２７】
体内挿入部１２０の先端部には、観察対象部位（被写体）からの光を取り込む対物レンズ（図示せず）が設けられており、その直後に、観察対象部位（被写体）の電子画像信号を取得する撮像素子（ＣＣＤ）１６０が設けられている。撮像素子１６０が取得した電子画像信号は、電子画像信号伝送ケーブル１６２を介してコネクタプラグ１４０に伝送され、さらに嵌込接続されたコネクタプラグ１４０とコネクタソケット２１０を介して、超音波内視鏡１００から電子内視鏡用プロセッサ２００に伝送される。電子内視鏡用プロセッサ２００は、撮像素子１６０が取得した電子画像信号に電子画像処理を施す電子画像処理部（画像処理装置）２２０を有している。電子画像処理部２２０による電子画像（観察画像）は、電子内視鏡用プロセッサ２００に接続されたモニタ装置２３０に表示される。電子画像処理部２２０の具体的な構成及び動作については後に詳細に説明する。
【００２８】
体内挿入部１２０の先端部には、観察対象部位（被写体）の超音波画像信号を取得する超音波プローブ（超音波素子）１７０が設けられている。超音波プローブ１７０が取得した超音波画像信号は、超音波画像信号伝送ケーブル１７２を介してコネクタプラグ１５０に伝送され、さらに嵌込接続されたコネクタプラグ１５０とコネクタソケット３１０を介して、超音波内視鏡１００から超音波スキャナ３００に伝送される。超音波スキャナ３００は、超音波プローブ１７０が取得した超音波画像信号に超音波画像処理を施す超音波画像処理部３２０を有している。超音波画像処理部３２０による超音波画像は、超音波スキャナ３００に接続されたモニタ装置３３０に表示される。
【００２９】
超音波内視鏡１００の把持操作部１１０には、モニタ装置２３０に表示する電子画像（観察画像）とモニタ装置３３０に表示する超音波画像をフリーズさせるためのフリーズ操作スイッチ１１２と、同画像をキャプチャするためのキャプチャ操作スイッチ１１４が設けられている。
【００３０】
図２は、電子内視鏡用プロセッサ２００の電子画像処理部（画像処理装置）２２０の詳細な構成を示す機能ブロック図である。
【００３１】
電子画像処理部２２０は、Ａ／Ｄ変換部２２１と、撮影画像入力部２２２と、観察画像生成部２２３とを有している。
【００３２】
Ａ／Ｄ変換部２２１は、撮像素子１６０が取得した電子画像信号にＡ／Ｄ変換処理を施して撮影画像を生成する。図３に示すように、この撮影画像は、撮像素子１６０の全撮像領域を使用したものであり、量産時の製造誤差により撮像面に対する超音波プローブ１７０の相対位置がばらついたとしても、必ず、超音波プローブ１７０が映り込んだものとなっている（超音波プローブ１７０が撮像素子１６０の全撮像領域から完全に外れることはない）。この撮影画像には、超音波プローブ１７０の他に、被検者の体腔内の観察対象部位が含まれているが、図３（及び後述の図４−図８）では、その観察対象部位を省略して描いている。また図３（及び後述の図４−図８）における上下左右方向は、図中に示した矢線方向を意味するものとする。
【００３３】
撮影画像入力部２２２は、Ａ／Ｄ変換部２２１が出力した撮像素子１６０によって撮像した超音波プローブ１７０が映り込んだ撮影画像（図３）を入力するものである。
【００３４】
観察画像生成部２２３は、撮影画像入力部２２２に入力した撮影画像に対して電子マスク処理を施すことにより観察画像を生成する。本実施形態では、観察画像生成部２２３が電子マスク処理を施す前の画像を「撮影画像」と呼び、観察画像生成部２２３が電子マスク処理を施した後の画像を「観察画像」と呼ぶ。つまり本実施形態の「観察画像」は、超音波プローブ１７０や被検者の体腔内の観察対象部位が映り込んだ部分と電子マスク処理が施された部分の双方を含んだ概念で使用するものである。
【００３５】
観察画像生成部２２３は、超音波プローブ検出部２２４と、電子マスクパターン生成部２２５と、電子マスク処理部２２６とを有している。
【００３６】
超音波プローブ検出部２２４は、撮影画像入力部２２２に入力した撮影画像中の超音波プローブ１７０の映り込み位置を検出する。より具体的に、超音波プローブ検出部２２４は、図４に示すように、超音波プローブ１７０の映り込み位置として、撮影画像における超音波プローブ１７０の上端位置と左端位置と右端位置（異なる三方向の端部位置）を検出する。また超音波プローブ検出部２２４は、図４に示すように、超音波プローブ１７０の映り込み位置として（に加えて）、撮影画像における超音波プローブ１７０の輪郭を検出する。超音波プローブ検出部２２４による超音波プローブ１７０の映り込み位置（及び輪郭）の検出は、例えば、パターンマッチング等の画像認識技術によって自動で行うことができ、その手法には自由度がある（各種が知られている）。
【００３７】
電子マスクパターン生成部２２５は、超音波プローブ検出部２２４が検出した超音波プローブ１７０の映り込み位置（及び輪郭）に応じて、観察画像中にその映り込んだ超音波プローブ１７０の少なくとも一部を視認できるような電子マスクパターンを生成する。
【００３８】
電子マスクパターン生成部２２５は、図４に破線で示す、撮影画像の周縁部を覆う枠状の電子マスクパターン（以下では「デフォルトの電子マスクパターン」と呼ぶ）を予め生成してこれを記憶している。電子マスクパターン生成部２２５は、撮影画像入力部２２２に入力した撮影画像に対してデフォルトの電子マスクパターンの電子マスク処理を施したときに超音波プローブ１７０を視認できるか否か（超音波プローブ１７０が電子マスクによって完全に隠されるか否か）を判定する。電子マスクパターン生成部２２５は、超音波プローブ１７０を視認できる（超音波プローブ１７０が電子マスクによって完全に隠されない）と判定したときは、デフォルトの電子マスクパターンをそのまま使用する。電子マスクパターン生成部２２５は、超音波プローブ１７０を視認できない（超音波プローブ１７０が電子マスクによって完全に隠される）と判定したときは、本実施形態のように、超音波プローブ１７０を視認できるような新たな電子マスクパターンを生成する。
【００３９】
従来の一般的な電子マスク処理においては、撮影画像の周縁部を覆う枠状の電子マスクパターンを固定で（一律に）デフォルト設定しており、このデフォルト設定された電子マスクパターンが変化することはない。このため、量産時の製造誤差により撮像面に対する超音波プローブの位置がずれると、観察画像中に超音波プローブが映り込まなくなってしまうことがある。例えば、図４中に破線で描いた電子マスクパターンが固定で（一律に）デフォルト設定されていると、超音波プローブ１７０が電子マスクパターンの下端開始位置より下方に位置しているため、超音波プローブ１７０が電子マスクによって完全に隠されていてこれを視認することができない。この場合、術者の精度良い手技の妨げとなってしまう。
【００４０】
本実施形態ではこの点を重大な技術課題として捉えて、超音波プローブ検出部２２４が、撮影画像中の超音波プローブ１７０の映り込み位置（及び輪郭）を自動検出し、その検出結果に応じて、電子マスクパターン生成部２２５が、撮影画像に施す電子マスクのパターンを動的に設定することで、量産時の製造誤差により撮像面に対する超音波プローブ１７０の相対位置がばらついたとしても、観察画像中に超音波プローブ１７０を確実に映り込ませることに成功している。
【００４１】
本実施形態では、電子マスクパターン生成部２２５は、複数の電子マスクパターン生成モードとして、＜第１モード＞、＜第２モード＞、＜第３モード＞及び＜第４モード＞のいずれかに滞在可能となっている。電子画像処理部２２０は、電子マスクパターン生成部２２５が＜第１モード＞から＜第４モード＞のいずれに滞在するかを切り替えるためのモード切替部２２７を有している。モード切替部２２７は、例えば、電子内視鏡用プロセッサ２００に設けられたボタンやタッチパネルによって操作される。
【００４２】
以下、図５−図８を参照して、電子マスクパターン生成部２２５が生成する電子マスクパターンの具体的な態様を＜第１モード＞から＜第４モード＞のそれぞれについて説明する。
【００４３】
＜第１モード＞
図５に示すように、電子マスクパターン生成部２２５は、超音波プローブ検出部２２４が検出した超音波プローブ１７０の上端位置（端部位置）に応じて、少なくともその上端位置（端部位置）を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターンを生成する。この電子マスクパターンは、図４に破線で描いたデフォルトの電子マスクパターンの下端開始位置をさらに下方にずらしたものに相当する。
【００４４】
＜第２モード＞
図６に示すように、電子マスクパターン生成部２２５は、超音波プローブ検出部２２４が検出した超音波プローブ１７０の左端位置と右端位置（異なる二方向の端部位置）に応じて、少なくともその左端位置と右端位置（異なる二方向の端部位置）を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成する。この電子マスクパターンは、図４に破線で描いたデフォルトの電子マスクパターンの下端部のうち超音波プローブ１７０の左端位置と右端位置の間を切り欠いたものに相当する。
【００４５】
＜第３モード＞
図７に示すように、電子マスクパターン生成部２２５は、超音波プローブ検出部２２４が検出した超音波プローブ１７０の輪郭に応じて、その輪郭を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターン上に超音波プローブ１７０の輪郭を描画した電子マスクパターンを生成する。この電子マスクパターンは、図４に破線で描いたデフォルトの電子マスクパターンの下端部に超音波プローブ１７０の輪郭を描画したものに相当する。超音波プローブ１７０をそのまま画像として取り込んで表示すると、超音波プローブ１７０で光が反射して眩しく感じる場合があるが、この＜第３モード＞によれば、そのような眩しさを感じることはない。
【００４６】
＜第４モード＞
図８に示すように、電子マスクパターン生成部２２５は、超音波プローブ検出部２２４が検出した超音波プローブ１７０の輪郭に応じて、その輪郭を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成する。この電子マスクパターンは、図４に破線で描いたデフォルトの電子マスクパターンの下端部を超音波プローブ１７０の輪郭に沿って切り欠いたものに相当する。
【００４７】
電子マスク処理部２２６は、撮影画像入力部２２２に入力した撮影画像に対して、電子マスクパターン生成部２２５が上記＜第１モード＞から＜第４モード＞のいずれかで生成した電子マスクパターンの電子マスク処理を施して、超音波プローブ１７０の少なくとも一部を視認できるような観察画像を生成する。このようにして生成された観察画像は、電子内視鏡用プロセッサ２００に接続されたモニタ装置２３０に表示される。
【００４８】
続いて、図９のフローチャートを参照して、電子内視鏡用プロセッサ２００の電子画像処理部（画像処理装置）２２０による電子マスク処理について説明する。電子マスク処理は、例えば、超音波内視鏡システム１０の起動時（電源オン時）のキャリブレーション処理として実行される。
【００４９】
ステップＳ１では、撮像素子１６０によって撮像した電子マスクの掛かっていない撮影画像（超音波プローブ１７０が映り込んだ撮影画像）（図３）が撮影画像入力部２２２に入力する。
【００５０】
ステップＳ２では、超音波プローブ検出部２２４が、撮影画像入力部２２２に入力した撮影画像中の超音波プローブ１７０の映り込み位置、すなわち撮影画像における超音波プローブ１７０の上端位置と左端位置と右端位置（異なる三方向の端部位置）及び輪郭を検出する（図４）。
【００５１】
ステップＳ３では、電子マスクパターン生成部２２５が＜第１モード＞から＜第４モード＞のいずれの電子マスクパターン生成モードに滞在しているかを判定する。判定の結果、＜第１モード＞に滞在していればステップＳ４に進み、＜第２モード＞に滞在していればステップＳ５に進み、＜第３モード＞に滞在していればステップＳ６に進み、＜第４モード＞に滞在していればステップＳ７に進む。ここでは、撮影画像入力部２２２に入力した撮影画像に対してデフォルトの電子マスクパターン（図４の破線）の電子マスク処理を施したときに超音波プローブ１７０を視認できない（超音波プローブ１７０が電子マスクによって完全に隠される）ことを前提としている。
【００５２】
ステップＳ４では、電子マスクパターン生成部２２５が、＜第１モード＞において、超音波プローブ検出部２２４が検出した超音波プローブ１７０の上端位置（端部位置）に応じて、少なくともその上端位置（端部位置）を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターンを生成する（図５）。
【００５３】
ステップＳ５では、電子マスクパターン生成部２２５が、＜第２モード＞において、超音波プローブ検出部２２４が検出した超音波プローブ１７０の左端位置と右端位置（異なる二方向の端部位置）に応じて、少なくともその左端位置と右端位置（異なる二方向の端部位置）を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成する（図６）。
【００５４】
ステップＳ６では、電子マスクパターン生成部２２５が、＜第３モード＞において、超音波プローブ検出部２２４が検出した超音波プローブ１７０の輪郭に応じて、その輪郭を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターン上に超音波プローブ１７０の輪郭を描画した電子マスクパターンを生成する（図７）。
【００５５】
ステップＳ７では、電子マスクパターン生成部２２５が、＜第４モード＞において、超音波プローブ検出部２２４が検出した超音波プローブ１７０の輪郭に応じて、その輪郭を視認できるように、撮影画像の周縁部を覆う枠状の電子マスクパターンからその一部を切り欠いた電子マスクパターンを生成する（図８）。
【００５６】
ステップＳ８では、電子マスク処理部２２６が、撮影画像入力部２２２に入力した撮影画像に対して、電子マスクパターン生成部２２５が＜第１モード＞から＜第４モード＞のいずれか（ステップＳ４からステップＳ７のいずれか）で生成した電子マスクパターンの電子マスク処理を施して、超音波プローブ１７０の少なくとも一部を視認できるような観察画像を生成する。このようにして生成された観察画像は、電子内視鏡用プロセッサ２００に接続されたモニタ装置２３０に表示される。
【００５７】
このように本実施形態によれば、超音波プローブ検出部２２４が、撮影画像入力部２２２に入力した撮影画像中の超音波プローブ１７０の映り込み位置を検出し、電子マスクパターン生成部２２５が、超音波プローブ検出部２２４が検出した超音波プローブ１７０の映り込み位置に応じて、観察画像中にその映り込んだ超音波プローブ１７０の少なくとも一部を視認できるような電子マスクパターンを生成し、電子マスク処理部２２６が、撮影画像入力部２２２に入力した撮影画像に対して、電子マスクパターン生成部２２５が生成した電子マスクパターンの電子マスク処理を施して、超音波プローブ１７０の少なくとも一部を視認できるような観察画像を生成する。これにより、量産時の製造誤差により撮像面に対する超音波プローブ１７０の相対位置がばらついたとしても、観察画像中に超音波プローブ１７０を確実に映り込ませることができる。
【００５８】
以上の実施形態では、超音波プローブ検出部２２４が、超音波プローブ１７０の映り込み位置として、撮影画像における超音波プローブ１７０の上端位置と左端位置と右端位置（異なる三方向の端部位置）及び輪郭を検出する場合を例示して説明した。しかし、超音波プローブ検出部２２４が検出する超音波プローブ１７０の映り込み位置はこれらに限定されることはなく、種々の設計変更が可能である。
【００５９】
以上の実施形態では、電子マスクパターン生成部２２５が、複数の電子マスクパターン生成モードとして、＜第１モード＞、＜第２モード＞、＜第３モード＞及び＜第４モード＞のいずれかに滞在可能な場合を例示して説明したが、電子マスクパターン生成部２２５が滞在可能な電子マスクパターン生成モードの種類や数はこれらに限定されるものではなく、種々の設計変更が可能である。
【符号の説明】
【００６０】
１０  超音波内視鏡システム
１００  超音波内視鏡
１１０  把持操作部
１１２  フリーズ操作スイッチ
１１４  キャプチャ操作スイッチ
１２０  体内挿入部
１３０  ユニバーサルチューブ
１４０  コネクタプラグ
１５０  コネクタプラグ
１６０  撮像素子（ＣＣＤ）
１６２  電子画像信号伝送ケーブル
１７０  超音波プローブ（超音波素子）
１７２  超音波画像信号伝送ケーブル
２００  電子内視鏡用プロセッサ（電子画像処理用プロセッサ）
２１０  コネクタソケット
２２０  電子画像処理部（画像処理装置）
２２１  Ａ／Ｄ変換部
２２２  撮影画像入力部
２２３  観察画像生成部
２２４  超音波プローブ検出部
２２５  電子マスクパターン生成部
２２６  電子マスク処理部
２２７  モード切替部
２３０  モニタ装置
３００  超音波スキャナ（超音波画像処理用プロセッサ）
３１０  コネクタソケット
３２０  超音波画像処理部
３３０  モニタ装置
【図１】
2016129576.tif 000003
【図２】
2016129576.tif 000004
【図３】
2016129576.tif 000005
【図４】
2016129576.tif 000006
【図５】
2016129576.tif 000007
【図６】
2016129576.tif 000008
【図７】
2016129576.tif 000009
【図８】
2016129576.tif 000010
【図９】
2016129576.tif 000011
【図１０】
2016129576.tif 000012
【図１１】
2016129576.tif 000013
【図１２】
2016129576.tif 000014