(57)【要約】  内視鏡装置は、入力部を介して入力された外科画像及び消化器画像の一方を選択的に出力するか又は前記外科画像及び前記消化器画像の両方を出力する表示画像選択部と、前記表示画像選択部によって前記外科画像及び前記消化器画像の両方が出力された場合には、前記外科画像及び前記消化器画像による２画面表示を行うための合成画像を生成する合成部と、前記外科画像中に、前記消化器内視鏡の撮像時に照射される照明光による高輝度領域が存在するか否かを検知する検知部と、前記外科画像の１画面表示時に、前記外科画像中に前記高輝度領域が存在することが前記検知部によって検知されると、前記合成画像に基づく２画面表示を表示させる表示方式決定部とを具備する。
2017212811.tif 000002
【特許請求の範囲】
【請求項１】
処置対象臓器の外側から観察する外科内視鏡により得られる外科画像と前記処置対象臓器の内側から観察する消化器内視鏡により得られる消化器画像とが入力される入力部と、
前記入力部を介して入力された前記外科画像及び前記消化器画像の一方を選択的に出力するか又は前記外科画像及び前記消化器画像の両方を出力する表示画像選択部と、
前記表示画像選択部によって前記外科画像及び前記消化器画像の両方が出力された場合には、前記外科画像及び前記消化器画像による２画面表示を行うための合成画像を生成する合成部と、
前記外科画像中に、前記消化器内視鏡の撮像時に照射される照明光による高輝度領域が存在するか否かを検知する検知部と、
前記表示画像選択部により選択された前記外科画像の１画面表示時に、前記外科画像中に前記高輝度領域が存在することが前記検知部によって検知されると、前記表示画像選択部に前記外科画像及び前記消化器画像の両方を選択させ、前記合成画像に基づく２画面表示を表示させる表示方式決定部と
を具備したことを特徴とする内視鏡装置。
【請求項２】
前記検知部は、前記外科画像の輝度分布を検出し、輝度が所定の閾値を超える領域を前記高輝度領域として検出する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記検知部は、前記外科画像の輝度分布を検出し、周囲の輝度よりも高い輝度を有する領域を前記高輝度領域として検出する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項４】
前記検知部は、前記外科画像の輝度の差分を求めてエッジ処理を行うことで、前記周囲の輝度よりも高い輝度を有する領域を検出する
ことを特徴とする請求項３に記載の内視鏡装置。
【請求項５】
前記検知部は、前記外科画像の色の分析を行い、所定の彩度より低い低彩度領域を抽出し、前記低彩度領域内において前記高輝度領域を検出する
ことを特徴とする請求項１乃至４のいずれか１つに記載の内視鏡装置。
【請求項６】
前記検知部は、前記低彩度領域のうち輝度が所定の輝度範囲内の部分を前記高輝度領域を検出する検出範囲に設定する
ことを特徴とする請求項１乃至５のいずれか１つに記載の内視鏡装置。
【請求項７】
前記検知部は、前記高輝度領域の形状と所定の形状とのパターン認識によって前記高輝度領域が前記消化器内視鏡の撮像時に照射される照明光によるものであるか否かを判定する
ことを特徴とする請求項１乃至６のいずれか１つに記載の内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外科内視鏡及び消化器内視鏡を用いた手技に好適な内視鏡装置に関する。
【背景技術】
【０００２】
従来、患者への侵襲を小さくする目的として、開腹することなく、治療処置を行う腹腔鏡下外科手術（以下、外科手術ともいう）が行われている。この外科手術においては患者の腹部に穿刺したトラカールを介して観察用の内視鏡（以下、外科内視鏡という）が体腔内に挿入される。更に、トラカールを介して腹腔内に挿入される外科内視鏡に加えて、例えば大腸等の管腔内に挿入される内視鏡（以下、消化器内視鏡という）が採用されることがある。例えば、胃や十二指腸等の消化器の手術に際して、消化器内視鏡と外科内視鏡とが同時に使用されることがある。外科内視鏡で管腔の外側から観察し、消化器内視鏡で管腔の内側から観察することで、侵襲の少ない手技を行うことができる。【０００３】
内視鏡によって撮像して得られた撮像信号は画像処理を行うカメラコントロールユニット（以下、ＣＣＵという）に供給される。ＣＣＵは内視鏡からの撮像信号に所定の画像信号処理を施して、内視鏡画像を得る。ＣＣＵからの内視鏡画像をモニタに供給することで、モニタの表示画面上において内視鏡画像を見ることができる。通常、２つの内視鏡からの撮像信号は別々のＣＣＵに供給されて各々信号処理されるようになっている。【０００４】
各ＣＣＵからの外科内視鏡画像（外科画像）と消化器内視鏡画像（消化器画像）とは、医者が手技に際して簡単に確認することができるように共通のモニタに供給される。モニタは、外科画像と消化器画像とをそれぞれ選択して別々に表示することもでき、また、２つの画像をピクチャインピクチャ（ＰＩＰ）方式又はピクチャアウトピクチャ（ＰＯＰ）方式によって合成して表示することもできる。【０００５】
また、日本国特開２００９−３９２４３号公報においては、外科内視鏡の画像処理を行うＣＣＵに、消化器内視鏡からの画像を入力して、ＣＣＵにおいて２画面合成を行ってモニタに出力する装置も開発されている。この場合においては、ＣＣＵを操作することで、１画面表示及び２画面表示を切換えることが可能である。【０００６】
ところで、外科内視鏡と消化器内視鏡とを用いた手技においては、外科手術担当医が外科内視鏡を用いて管腔を外側から観察しながら、スコピストによって消化器内視鏡が口等から目的部位まで挿入される。なお、消化器内視鏡を挿入するスコピストは、スコピスト専用のモニタの表示を見ながら挿入作業を行う。消化器内視鏡が目的部位に到達するまでは、外科手術担当医は、見やすさを考慮して、通常モニタの画面全域に外科画像を表示させる。そして、スコピストにより消化器内視鏡が目的部位に到達すると、外科手術担当医は外科画像と消化器画像とを２画面表示するように指示を出す。２画面表示することで、侵襲の少ない手技が可能となる。【０００７】
なお、外科手術担当医は、例えば、消化器内視鏡による照明光が外科画像内に観察されることで、消化器内視鏡が目的部位に到達したものと判断する。【０００８】
しかしながら、脂肪や血液等により消化器内視鏡による照明光部分が見にくいことがあり、術者が消化器内視鏡が目的部位に到達したことを見逃してしまうことがある。また、外科画像の１画面表示から外科画像と消化器画像との２画面表示への切換え操作は、キーボードのテンキーやシステムコントローラや内視鏡のスコープスイッチを用いて、外科手術担当医以外の外回り看護師やスコピスト等が行う必要がある。このため、実際に２画面に切換るまでに比較的長い時間を要する。これらの理由により、手技を円滑に進行させることができないことがあるという問題があった。【０００９】
本発明は、術者が煩雑な操作を行うことなく、消化器内視鏡が目的部位に到達すると、自動的に外科画像と消化器画像とを合成して同時に表示することができる内視鏡装置を提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【００１０】
本発明の一態様による内視鏡装置は、処置対象臓器の外側から観察する外科内視鏡により得られる外科画像と前記処置対象臓器の内側から観察する消化器内視鏡により得られる消化器画像とが入力される入力部と、前記入力部を介して入力された前記外科画像及び前記消化器画像の一方を選択的に出力するか又は前記外科画像及び前記消化器画像の両方を出力する表示画像選択部と、前記表示画像選択部によって前記外科画像及び前記消化器画像の両方が出力された場合には、前記外科画像及び前記消化器画像による２画面表示を行うための合成画像を生成する合成部と、前記外科画像中に、前記消化器内視鏡の撮像時に照射される照明光による高輝度領域が存在するか否かを検知する検知部と、前記表示画像選択部により選択された前記外科画像の１画面表示時に、前記外科画像中に前記高輝度領域が存在することが前記検知部によって検知されると、前記表示画像選択部に前記外科画像及び前記消化器画像の両方を選択させ、前記合成画像に基づく２画面表示を表示させる表示方式決定部とを具備する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態に係る内視鏡装置を示すブロック図。
【図２】図１の内視鏡装置を含む医療システムの全体構成を示す説明図。
【図３】消化器画像を判定する画像判定フローを示すフローチャート。
【図４】実施の形態の動作を説明するためのフローチャート。
【図５】モニタ６の表示画面上の表示の一例を示す説明図。
【図６】モニタ６の表示画面上の表示の一例を示す説明図。
【図７】モニタ６の表示画面上の表示の一例を示す説明図。
【図８】モニタ６の表示画面上の表示の一例を示す説明図。
【図９】モニタ６の表示画面上の表示の一例を示す説明図。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態について詳細に説明する。【００１３】
図１は本発明の一実施の形態に係る内視鏡装置を示すブロック図である。また、図２は図１の内視鏡装置を含む医療システムの全体構成を示す説明図である。【００１４】
本実施の形態は、外科内視鏡による観察時において、消化器内視鏡が目的部位に到達したことを検知することにより、術者等による操作を要することなく、自動的に外科画像と消化器画像との合成画像を表示することを可能にするものである。【００１５】
まず、図２を用いて手術室に配置される医療システム１の全体構成を説明する。図２に示すように、手術室内には、患者１０が横たわる患者ベッド１１及びカート９に搭載された各種医療機器が配置される。図２に示すように本実施形態の医療システム１は、外科内視鏡２１による外科内視鏡システム２と、消化器内視鏡３１による消化器内視鏡システム３とを備えている。【００１６】
外科内視鏡２１は、例えば挿入部が硬性な硬性内視鏡等により構成されており、基端側に内視鏡用カメラ２４を有する。外科内視鏡システム２は、外科内視鏡２１の外に、カート９上に載置された第１光源装置２２及び第１のカメラコントロールユニット（以下、第１ＣＣＵという）２３により構成されている。【００１７】
外科内視鏡２１の挿入部（不図示）は、第１トラカール１４に挿通され、腹腔内に配置される。挿入部内には被写体像を伝送するリレーレンズ（不図示）等によって構成される観察光学系やライトガイド（不図示）等によって構成される照明光学系が設けられている。挿入部の基端部には観察光学系によって伝送された光学像を観察する接眼部２５が設けられている。接眼部２５には内視鏡用カメラ２４が着脱自在に配設される。内視鏡用カメラ２４の内部には撮像素子（不図示）が備えられている。【００１８】
第１光源装置２２は、ライトガイドケーブル２６を介して外科内視鏡２１に照明光を供給する。被写体からの反射光は、被写体光学像として内視鏡用カメラ２４の撮像素子の結像面に結像する。内視鏡用カメラ２４は、撮像ケーブル２７を介して被写体光学像に基づく撮像信号を第１ＣＣＵ２３に供給する。第１ＣＣＵ２３は、内視鏡用カメラ２４からの撮像信号に対する所定の映像信号処理によって内視鏡画像（外科画像）を得て、例えばモニタ６及び集中表示パネル７にその映像信号を出力する。これにより、モニタ６又は集中表示パネル７の画面上には、外科内視鏡２１で捕らえた被写体の内視鏡画像（外科画像）が表示される。【００１９】
消化器内視鏡３１は、大腸等の管腔内に挿入される軟性な挿入部３４と、操作部３５と、ユニバーサルコード３６とを備えて構成されている。操作部３５には送気送水スイッチ３５ａ及び吸引スイッチ３５ｂ、図示しない湾曲部を湾曲動作させる湾曲操作ノブ３７、図示しない処置具チャンネルに連通する処置具挿通口３８が設けられている。ユニバーサルコード３６の基端部には光源コネクタ３６ａが設けられている。【００２０】
消化器内視鏡システム３は、消化器内視鏡３１の外に、カート９上に載置された第２光源装置３２及び第２のカメラコントロールユニット（以下、第２ＣＣＵという）３３により構成されている。第２光源装置３２には、光源コネクタ３６ａが着脱自在に接続される。光源コネクタ３６ａを介して、第２光源装置３２から消化器内視鏡３１に照明光が供給される。消化器内視鏡３１内において、照明光は図示しないライトガイドファイバを伝送されて挿入部３４の図示しない先端部に設けられている照明窓から出射される。【００２１】
被写体からの反射光は、被写体光学像として挿入部３４の先端部に設けられた撮像素子の結像面に結像する。撮像素子は、被写体光学像を電気信号に変換して、撮像信号をユニバーサルコード３６から電気コネクタ３６ｂ及びケーブル３９を介して第２ＣＣＵ３３に供給する。第２ＣＣＵ３３は、消化器内視鏡３１からの撮像信号に対して所定の映像信号処理を行って内視鏡画像（消化器画像）を得て、例えばモニタ６及び集中表示パネル７にその映像信号を出力する。これにより、モニタ６又は集中表示パネル７の画面上には、消化器内視鏡３１で捕らえた被写体の内視鏡画像（消化器画像）が表示される。【００２２】
なお、医療システム１には、送気システム４も設けられている。送気システム４は、送気装置４１、炭酸ガス供給部である供給源のガスボンベ４２及びシステムコントローラ５によって主に構成されている。ガスボンベ４２には、炭酸ガスが液化した状態に貯留されている。【００２３】
送気装置４１には、第１の供給口金である腹腔供給用口金（以下、第１口金と記載する）４１ａと、第２の供給口金である管腔供給用口金（以下、第２口金と記載する）４１ｂとが設けられている。第１口金４１ａには、第１のチューブである腹腔用チューブ４５ａの一端部が連結され、この腹腔用チューブ４５ａの他端部は第３トラカール１６に連結される。【００２４】
第２口金４１ｂには、第２のチューブである管腔用チューブ４５ｂの一端部が連結され、この管腔用チューブ４５ｂの他端部は消化器内視鏡３１に接続される。管腔用チューブ４５ｂの他端部には、消化器内視鏡３１の処置具チャンネル開口部に接続するコネクタ４３の口金４３ａに接続されている。【００２５】
すなわち、送気装置４１からの炭酸ガスは、管腔用チューブ４５ｂ、コネクタ４３を介して、消化器内視鏡３１の処置具チャンネルを通って、管腔内へ供給される。なお、送気装置４１とガスボンベ４２とは高圧用ガスチューブ４６によって連結されている。【００２６】
電気メス装置１２には、手術器具である電気メス１３が接続される。第１トラカール１４は、内視鏡を腹腔内に導くトラカールである。第２トラカール１５は、組織の切除や処置を行う電気メス１３等の処置具を腹腔内に導くトラカールである。第３トラカール１６は、送気システム４を構成する送気装置４１から供給される気腹用気体である、例えば生体に吸収され易い二酸化炭素ガス（以下、炭酸ガスと記載する）を腹腔内に導くためのトラカールである。なお、炭酸ガスを第１トラカール１４又は第２トラカール１５から腹腔内に導くようにしてもよい。【００２７】
システムコントローラ５は、医療システム１の全体を一括して制御を行う。システムコントローラ５には、図示しない通信回線を介して、集中表示パネル７、集中操作パネル８、内視鏡周辺装置である電気メス装置１２、光源装置２２、３２、ＣＣＵ２３、３３、送気装置４１等が双方向通信を行えるように接続されている。【００２８】
モニタ６の画面上には、第１ＣＣＵ２３及び第２ＣＣＵ３３から出力される映像信号を受けて、外科内視鏡２１及び消化器内視鏡３１で撮影された被写体の内視鏡画像が表示されるようになっている。【００２９】
集中表示パネル７には液晶ディスプレイ等の表示画面が設けられている。集中表示パネル７はシステムコントローラ５に接続されていることにより、表示画面上に被写体の内視鏡画像とともに内視鏡周辺装置の動作状態の集中表示が可能になっている。【００３０】
集中操作パネル８は、液晶ディスプレイ等の表示部と、この表示部の表示面上に一体的に設けられたタッチセンサ部とで構成されている。集中操作パネル８の表示部には、各内視鏡周辺装置の操作スイッチ等を設定画面として表示させる表示機能と共に、タッチセンサ部の所定領域を触れることによって操作スイッチを操作する操作機能とを有している。【００３１】
集中操作パネル８は、システムコントローラ５に接続され、表示部に表示されているタッチセンサ部を適宜操作することによって、各内視鏡周辺装置にそれぞれ設けられている操作スイッチを直接操作したのと同様に、この集中操作パネル８上で遠隔的に各種操作、設定等を行える。【００３２】
図１において、本実施の形態における内視鏡装置は画像表示を制御する画像表示制御装置５０を備える。画像表示制御装置５０は図２の医療システム１内のいずれの位置にも配置することが可能である。例えば、画像表示制御装置５０をモニタ６内に設けてもよい。画像表示制御装置５０の入力部５１は、映像信号を取り込む２つの入力端子ａ，ｂを備えており、各入力端子ａ，ｂのいずれか一方に第１ＣＣＵ２３からの内視鏡画像が供給され、他方に第２ＣＣＵ３３からの内視鏡画像が供給されるようになっている。入力部５１は各入力端子ａ，ｂを介して入力された内視鏡画像（映像信号）を取込み、表示画像選択部５２及び２画面表示条件検知部５３に与えるようになっている。【００３３】
表示画像選択部５２は、入力部５１の２つの入力端子ａ，ｂを介して入力された内視鏡画像の一方又は両方を選択して合成部５４に出力する。表示画像選択部５２は、入力部５１の２つの入力端子ａ，ｂのいずれか一方に対応する映像信号のみを選択的に合成部５４に出力する場合には、いずれの入力端子ａ，ｂに入力された映像信号を選択したかを示す選択信号を２画面表示条件検知部５３に与えるようになっている。なお、表示画像選択部５２は、術者の操作に従って、選択する画像を決定することもできるようになっている。【００３４】
合成部５４は、表示画像選択部５２が入力部５１の２つの入力端子ａ，ｂを介して入力された内視鏡画像の一方のみを選択的に出力した場合には、選択した内視鏡画像（以下、選択画像という）をそのまま表示制御部５５に与える。また、合成部５４は、表示画像選択部５２が入力部５１の２つの入力端子ａ，ｂを介して入力された２つの内視鏡画像の両方を出力した場合には、これらの内視鏡画像を合成して合成画像を生成し、その映像信号を表示制御部５５に与えるようになっている。表示制御部５５は、モニタ６の表示を制御して、合成部５４からの映像信号に基づく画像表示を行うようになっている。【００３５】
ところで、第１ＣＣＵ２３及び第２ＣＣＵ３３が入力部５１の入力端子ａ，ｂのいずれの端子に接続されるかは決まっていない。また、外科内視鏡２１及び消化器内視鏡３１以外の内視鏡、例えば超音波内視鏡等に基づく内視鏡画像が入力端子ａ，ｂに供給されることも考えられる。本実施の形態においては、外科画像の一画面表示時に、自動的に２画面表示に設定するものであり、１画面表示のために選択されている画像が外科画像であるか否かを判定する必要がある。この判定機能のために、２画面表示条件検知部５３は、画像解析部５３ａを有している。【００３６】
画像解析部５３ａは、表示画像選択部５２による選択画像又は表示のために選択されていない画像（以下、非選択画像という）が、消化器内視鏡３１からの画像であるか否を判定するようになっている。【００３７】
図３は消化器画像を判定する画像判定フローを示すフローチャートである。消化器画像は、８角形の非マスク部を除く部分が例えば黒レベルのマスク画像によるマスク処理が施されている。画像解析部５３ａは、画像解析によってマスク画像を検出することで、画像解析を行った画像が消化器画像であることを判定することができる。【００３８】
図３のステップＳ１において、２画面表示条件検知部５３の画像解析部５３ａは、入力画像の画像解析を開始する。入力部５１には外科画像及び消化器画像の２つの内視鏡画像のみが入力されると仮定すると、画像解析部５３ａは、選択画像又は非選択画像の一方の画像解析を行うことで、両方の画像の種類を判定することができる。【００３９】
入力部５１のいずれの入力端子ａ，ｂに入力された映像信号が表示のために選択されているかは選択信号によって明らかであり、画像解析部５３ａは、選択信号によって明らかとなった選択画像又は非選択画像について画像解析を行う。【００４０】
画像解析部５３ａは、ステップＳ２において、例えば、非選択画像について輝度分布の解析を行う。次に、画像解析部５３ａは、ステップＳ３において、非選択画像の高輝度部を抽出し、抽出した高輝度部のパターン認識を実施する（ステップＳ４）。画像解析部５３ａは、パターン認識の結果、高輝度部が８角形をしているか否か、即ち、非マスク部が８角形状であるマスク画像を有するか否かを判定する（ステップＳ５）。解析した画像に、このマスク画像が含まれる場合には、画像解析部５３ａは、非選択画像は消化器画像であるものと判定する（ステップＳ６）。また、画像解析部５３ａは、解析した画像にこのマスク画像が含まれない場合には、非選択画像は消化器画像以外の画像であるものと判定する（ステップＳ７）。【００４１】
本実施の形態においては、選択画像及び非選択画像の一方を消化器画像と判定した場合には、他方の画像は外科画像であるものとして扱っても特には問題はない。また、消化器画像以外の画像として判定した画像については、更に、画像解析部５３ａにおいて、白黒画像であるか否かを判定することによって、消化器画像以外の画像が超音波画像であるか否かの判定を行うようになっていてもよい。【００４２】
本実施の形態においては、外科画像が一画面表示されている状態において、外科画像中に消化器内視鏡３１による照明光の画像部分を検出することで、外科画像と消化器画像との合成画像を自動的に表示させるものであり、２画面表示条件検知部５３は、非選択画像が消化器画像である場合には、選択画像は外科画像であるものと判定して、外科画像と消化器画像とを２画面表示する条件を更に判定するようになっている。なお、２画面表示条件検知部５３は、選択画像についても画像解析を行うことで、少なくとも選択画像は消化器画像ではないことを判定するようになっていてもよい。これにより、２入力がいずれも消化器画像である場合の誤動作を防止することができる。【００４３】
管腔内部に消化器内視鏡３１の照明光が照射された場合には、外科画像中においては、照明光が照射された部分は周囲の輝度よりも高い輝度を有する高輝度領域（以下、照明光領域という）として現れる。【００４４】
画像解析部５３ａは、非選択画像が消化器画像である場合には、選択画像に対する画像解析、即ち外科画像に対する画像解析により、照明光領域が存在するか否かを検出する。画像解析部５３ａは、外科画像の各部の色の分析を行う。消化器以外の脂肪、血液、肝臓、腹壁表層は、所定の彩度よりも高い彩度の画像になるものと考えられる。これらの画像部分には照明光は存在することはないので、これらの領域を照明光領域の検出領域から除外して照明光を検出するようにしてもよく、これにより検出精度を向上させることができる。画像解析部５３ａは、以後、所定の彩度よりも低い彩度の領域（以下、低彩度領域という）を検出領域に設定する。低彩度領域には、彩度が低い消化管粘膜やガーゼや鉗子等の画像部分が含まれる。【００４５】
内視鏡観察では、照明光の照射の状態等によって、照明光の反射により明るすぎたり、逆に光量が限りなく低い部分が生じる。このため、外科画像中には、ハレーション等の高輝度部分や著しく輝度が低い低輝度部分が存在する。これらの高輝度部及び低輝度部についても照明光領域の検出範囲から除外するようにしてもよく、これによりハレーション内に存在する略円形や暗部の輝点が誤検出されることを防止することができ、検出精度を向上させることができる。画像解析部５３ａは、低彩度領域に対して輝度分布解析を行って高輝度部及び低輝度部を検出し、低彩度領域からこれらの高輝度部及び低輝度部を除外した領域を照明光領域の検出領域に設定する。【００４６】
消化器内視鏡が消化管粘膜の内側に存在する場合には、内視鏡先端部から照射される照明光が消化管粘膜を透過し、透過部分が明るくなる。この透過部分は、外科画像中においては、透過部分の粘膜周囲に比べて輝度が高い領域となる。例えば、画像解析部５３ａは、検出領域について、輝度の差分を求めてエッジ処理を行う。このエッジ処理により、画像解析部５３ａは、周囲の輝度よりも高い輝度を有する領域（高輝度領域）を抽出することができる。なお、画像解析部５３ａは、照明環境によっては、検出領域について、所定の輝度を超える画像部分を高輝度領域として検出するようになっていてもよい。【００４７】
更に、画像解析部５３ａは、検出領域中の高輝度領域の形状が照明光による形状に類似しているか否かを判定するためのパターン認識を行う。例えば、画像解析部５３ａは、予め照明光領域の形状として推定される形状の情報を図示しないメモリに記録しておき、メモリから読出した情報と高輝度領域の形状の情報との比較によって、高輝度領域が照明光領域の形状に類似しているか否かを検出する。なお、照明光領域の形状は、略円形である場合が多い。画像解析部５３ａは、パターン認識の結果、検出領域中の高輝度領域の形状が例えば略円形の場合には、当該高輝度領域が消化器内視鏡３１の照明光による照明光領域であるものと判定する。【００４８】
なお、照明光領域の形状として推定される形状としては、照明光が管腔臓器の壁面に対して斜めに照射される場合も考慮して、円形に限らず、一部に円弧や放物線を有する形状であってもよい。【００４９】
２画面表示条件検知部５３は、表示方式決定部５３ｂを有している。画像解析部５３ａは、外科画像中に照明光領域を検出した場合には、その旨を示す検出結果を表示方式決定部５３ｂに与える。表示方式決定部５３ｂは、表示画像選択部５２からの選択信号及び画像解析部５３ａの検出結果に基づいて表示方式を１画面表示にするか２画面表示するかを決定するための画面表示指令を出力するようになっている。即ち、表示方式決定部５３ｂは、選択信号及び画像解析部５３ａの検出結果によって選択画像が外科画像であるか否かを判定する。更に、表示方式決定部５３ｂは、選択画像が外科画像である場合において、画像解析部５３ａの検出結果によって、外科画像中に消化器内視鏡３１による照明光の領域が存在することが示されたときには、２画面表示指令を表示画像選択部５２に出力するようになっている。【００５０】
表示画像選択部５２は、１画面表示中において、２画面表示指令が入力されると、入力部５１の入力端子ａ，ｂを介して入力された外科画像及び消化器画像を構成する映像信号の両方を合成部５４に出力するようになっている。【００５１】
次に、このように構成された実施の形態の動作について図４乃至図９を参照して説明する。図４は実施の形態の動作を説明するためのフローチャートである。また、図５乃至図９はモニタ６の表示画面上の表示の一例を示す説明図である。【００５２】
入力部５１の入力端子ａ，ｂのいずれか一方のみに外科画像が入力されている場合には、表示画像選択部５２は入力された外科画像をそのまま合成部５４を介して表示制御部５５に出力する。表示制御部５５によって、モニタ６の表示画面に外科画像が表示される。図５は外科内視鏡２１によって得られる外科画像の一例を示している。図５に示すように、モニタ６の表示画面６ａ上には、外科内視鏡２１により撮像された外科画像６１が表示されている。外科画像６１は、管腔臓器を外側から見たものであり、画像中には管腔臓器６２及び鉗子６３の画像が含まれる。【００５３】
また、入力部５１の入力端子ａ，ｂのいずれか一方のみに消化器画像が入力されている場合には、表示画像選択部５２は入力された消化器画像をそのまま合成部５４を介して表示制御部５５に出力する。表示制御部５５によって、消化器画像が表示される。図６は消化器内視鏡３１によって得られる消化器画像の一例を示しており、管腔臓器をその内側から見たものである。図６に示すように、モニタ６の表示画面６ａ上には、第２ＣＣＵ３３から出力された消化器画像７１（破線部分）が中央に表示されている。消化器画像７１は、８角形の非マスク部７３を除く領域が略黒レベルのマスク画像７２によりマスクされている。また、マスク画像７２の一部には患者情報等を表示する表示領域７５が設けられている。【００５４】
次に、入力部５１の入力端子ａ，ｂの両方に内視鏡画像が入力されているものとする。表示画像選択部５２は、例えばユーザ操作によって、入力端子ａ，ｂを介して入力された２つの内視鏡画像のいずれか一方又は両方を出力することができる。表示画像選択部５２が入力された両方の画像を出力すると、合成部５４は入力された２つの内視鏡画像を合成して合成画像を表示制御部５５によって表示させる。また、表示画像選択部５２が入力された両方の画像のうちのいずれか一方のみを選択して出力すると、合成部５４は選択された内視鏡画像を表示制御部５５によって表示画面上に一画面表示させる。この場合には、表示画像選択部５２は、入力端子ａ，ｂのうちいずれの入力端子に入力された映像信号を選択したかを示す選択信号を２画面表示条件検知部５３に出力する。【００５５】
２画面表示条件検知部５３は、図４のステップＳ１１において、選択画像は外科画像か否かを判定する。例えば、２画面表示条件検知部５３は、画像解析部５３ａによって非選択画像が消化器画像であることを示す判定結果が得られた場合には、選択画像は外科画像であるものと判定する。なお、非選択画像が消化器画像である場合でも、選択画像に対する画像解析によって、更に、選択画像として外科画像以外の画像が表示されているか否かを判定するようになっていてもよい。選択画像が消化器画像である場合には、２画面表示条件検知部５３は処理をステップＳ１８に移行して、表示画像選択部５２を制御して、消化器画像の一画面表示を維持させる。【００５６】
いま、例えば術者の選択操作によって、表示画像選択部５２が外科内視鏡２１からの映像信号のみを選択して合成部５４に供給しているものとする。この場合には、２画面表示条件検知部５３は、選択画像が外科画像であるという判定結果が与えられて、処理をステップＳ１２に移行する。【００５７】
２画面表示条件検知部５３は、ステップＳ１２において、選択画像中の低彩度領域を抽出する。消化器以外の画像部分は、所定の彩度よりも高い彩度になると考えられる。２画面表示条件検知部５３は、所定の彩度より高い彩度の画像部分は、照明光による高輝度領域が現れるはずのない判定不要な部分であるものと判定して、所定の彩度よりも低い彩度の画像部分を低彩度領域として抽出する。以後低彩度領域において照明光部分を検出することで、検出精度を向上させることができる。なお、２画面表示条件検知部５３は、低彩度領域を抽出することができなかった場合には、ステップＳ１８に移行して１画面表示を維持する。【００５８】
次に、２画面表示条件検知部５３は、ステップＳ１３において、低彩度領域から高輝度部及び低輝度部を除外して、照明光の検出領域を設定する。次に、２画面表示条件検知部５３は、ステップＳ１４において、検出領域について輝度の差分を求めて所定の閾値を用いたエッジ処理を行う。２画面表示条件検知部５３は、ステップＳ１５において、ステップＳ１４のエッジ処理の結果、周囲の輝度よりも高い輝度を有する領域が存在するか否かを判定する。【００５９】
２画面表示条件検知部５３は、周囲の輝度よりも高い輝度を有する領域が存在しないと判定した場合には、処理をステップＳ１８に移行して１画面表示を維持する。また、２画面表示条件検知部５３は、周囲の輝度よりも高い輝度を有する領域が存在すると判定した場合には、処理をステップＳ１６に移行する。【００６０】
２画面表示条件検知部５３は、検出領域中の高輝度領域に対するパターン認識を行う（ステップＳ１６）。２画面表示条件検知部５３は、次のステップＳ１７において、パターン認識の結果が照明光領域の形状として登録されている形状に一致（又は類似）するか否かを判定する。パターンが一致した場合には、２画面表示条件検知部５３は、高輝度領域は消化器内視鏡３１による照明光領域であるものと判定して、処理をステップＳ１９に移行する。なお、２画面表示条件検知部５３は、パターンが一致しない場合には、処理をステップＳ１８に移行して、１画面表示を維持させる。【００６１】
いま、モニタ６の表示画面６ａ上において外科画像の一画面表示が行われている場合において、管腔臓器に挿入された消化器内視鏡３１の先端部が目的部位、即ち、外科内視鏡２１において観察されている管腔臓器に到達するものとする。図７はこの場合にモニタ６の表示画面６ａ上に表示される外科画像を示している。図７に示すように、外科画像６１には、消化器内視鏡３１の照明光による照明光領域６４が現れる。【００６２】
２画面表示条件検知部５３は、ステップＳ１７において照明光領域６４を検出すると、ステップＳ１９に移行して、２画面表示指令を発生して表示画像選択部５２に出力する。表示画像選択部５２は、２画面表示指令が与えられると、入力部５１の入力端子ａ，ｂを介して入力されている映像信号の両方を合成部５４に出力する。合成部５４は、２入力を合成する。例えば、合成部５４は、２つの内視鏡画像の一方を親画面に表示し他方を子画面に表示するＰＩＰ方式で合成して合成画像を表示制御部５５に出力する。【００６３】
図８はこの場合における画像表示の一例を示している。図８に示すように、モニタ６の表示画面６ａの略全域に外科画像６１が親画面表示されており、表示画面６ａの右上の一部の領域に消化器画像７１ａが子画面表示されている。消化器画像７１ａ中の非マスク部７３ａの画像は、消化器内視鏡３１によって撮像されている画像であり、この消化器内視鏡３１の照明光による高輝度部分が照明光領域６４として外科画像６１中に画像表示されている。また、例えば、合成部５４は、２つの内視鏡画像を、並べて２画面表示するＰＯＰ方式で合成して合成画像を表示制御部５５に出力してもよい。【００６４】
図９はこの場合における画像表示の一例を示している。図９に示すように、モニタ６の表示画面６ａの左側の領域に外科画像６１ｂが表示されており、表示画面６ａの右側の領域に消化器画像７１ｂが表示されている。外科画像６１ｂ中には、外科内視鏡２１によって撮像されている管腔臓器６２ｂ、鉗子６３ｂ及び照明光領域６４ｂの画像を含む。消化器画像７１ｂ中の非マスク部７３ｂの画像は、消化器内視鏡３１によって撮像されている画像であり、この消化器内視鏡３１の照明光による高輝度部分が照明光領域６４ｂとして外科画像６１ｂ中に画像表示されている。【００６５】
なお、２画面表示条件検知部５３は、ステップＳ１８，Ｓ１９の処理が終了すると、処理をステップＳ２０に移行して、２画面表示が行われているか否かを判定する。１画面表示の場合には処理をステップＳ１１に戻して処理を繰り返し、２画面表示の場合には処理をステップＳ１２に戻して処理を繰り返す。消化器内視鏡３１を目的部位の管腔臓器から移動させると、照明光による高輝度部分が外科画像からなくなり、２画面表示条件検知部５３は、ステップＳ１８において、１画面表示に表示を戻す。なお、この場合には、ユーザ設定によって選択されていた内視鏡画像の１画面表示に戻してもよい。【００６６】
このように本実施の形態においては、外科内視鏡による観察時において、外科画像中に消化器内視鏡の照明光による高輝度領域を検出することで消化器内視鏡が目的部位に到達したことを検知することにより、術者等による操作を要することなく、自動的に外科画像と消化器画像との合成画像を表示する。これにより、消化器内視鏡が目的部位に到達したことを確実に検出することができると共に、術者が煩雑な操作を行うことなく、短時間に２画面表示に切換えることができ、手技の円滑な進行を促進させることができる。【００６７】
なお、消化器内視鏡３１としては、白色光による照明を行う通常（白色光）観察モードと狭帯域光による照明を行う狭帯域観察モードとの両方のモードが可能な内視鏡を採用してもよい。白色光観察時及び狭帯域観察時のいずれの場合にも、照明光領域は周囲に比べて高い輝度となる。従って、白色光観察時及び狭帯域観察時のいずれの場合にも照明光領域の検出が可能である。なお、図４のステップＳ１４におけるエッジ処理の閾値を狭帯域観察時に合わせて設定することにより、白色光観察時においても設定を変更することなく照明光領域の検出が可能となる。【００６８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。【００６９】
本出願は、２０１６年６月６日に日本国に出願された特願２０１６−１１２６１５号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
【図１】
2017212811.tif 000003
【図２】
2017212811.tif 000004
【図３】
2017212811.tif 000005
【図４】
2017212811.tif 000006
【図５】
2017212811.tif 000007
【図６】
2017212811.tif 000008
【図７】
2017212811.tif 000009
【図８】
2017212811.tif 000010
【図９】
2017212811.tif 000011
【手続補正書】
【提出日】平成29年11月6日(2017.11.6)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、外科内視鏡及び消化器内視鏡を用いた手技に好適な内視鏡装置及び制御装置に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は、術者が煩雑な操作を行うことなく、消化器内視鏡が目的部位に到達すると、自動的に外科画像と消化器画像とを合成して同時に表示することができる内視鏡装置及び制御装置を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の一態様による内視鏡装置は、処置対象臓器の外側から観察する外科内視鏡により得られる外科画像と前記処置対象臓器の内側から観察する消化器内視鏡により得られる消化器画像とが入力される入力部と、前記入力部を介して入力された前記外科画像及び前記消化器画像の一方を選択的に出力するか又は前記外科画像及び前記消化器画像の両方を出力する表示画像選択部と、前記表示画像選択部によって前記外科画像及び前記消化器画像の両方が出力された場合には、前記外科画像及び前記消化器画像による２画面表示を行うための合成画像を生成する合成部と、前記外科画像中に、前記消化器内視鏡の撮像時に照射される照明光による高輝度領域が存在するか否かを検知する検知部と、前記表示画像選択部により選択された前記外科画像の１画面表示時に、前記外科画像中に前記高輝度領域が存在することが前記検知部によって検知されると、前記表示画像選択部に前記外科画像及び前記消化器画像の両方を選択させ、前記合成画像に基づく２画面表示を表示させる表示方式決定部とを具備する。
また、本発明の一態様による制御装置は、処置対象臓器の外側から観察する外科内視鏡により得られる外科画像と前記処置対象臓器の内側から観察する消化器内視鏡により得られる消化器画像とが入力される入力部と、前記入力部を介して入力された前記外科画像及び前記消化器画像の一方を選択的に出力するか又は前記外科画像及び前記消化器画像の両方を出力する表示画像選択部と、前記表示画像選択部によって前記外科画像及び前記消化器画像の両方が出力された場合には、前記外科画像及び前記消化器画像による２画面表示を行うための合成画像を生成する合成部と、前記外科画像中に、前記消化器内視鏡の撮像時に照射される照明光による高輝度領域が存在するか否かを検知する検知部と、前記表示画像選択部により選択された前記外科画像の１画面表示時に、前記外科画像中に前記高輝度領域が存在することが前記検知部によって検知されると、前記表示画像選択部に前記外科画像及び前記消化器画像の両方を選択させ、前記合成画像に基づく２画面表示を表示させる表示方式決定部とを具備する。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処置対象臓器の外側から観察する外科内視鏡により得られる外科画像と前記処置対象臓器の内側から観察する消化器内視鏡により得られる消化器画像とが入力される入力部と、
前記入力部を介して入力された前記外科画像及び前記消化器画像の一方を選択的に出力するか又は前記外科画像及び前記消化器画像の両方を出力する表示画像選択部と、
前記表示画像選択部によって前記外科画像及び前記消化器画像の両方が出力された場合には、前記外科画像及び前記消化器画像による２画面表示を行うための合成画像を生成する合成部と、
前記外科画像中に、前記消化器内視鏡の撮像時に照射される照明光による高輝度領域が存在するか否かを検知する検知部と、
前記表示画像選択部により選択された前記外科画像の１画面表示時に、前記外科画像中に前記高輝度領域が存在することが前記検知部によって検知されると、前記表示画像選択部に前記外科画像及び前記消化器画像の両方を選択させ、前記合成画像に基づく２画面表示を表示させる表示方式決定部と
を具備したことを特徴とする内視鏡装置。
【請求項２】
前記検知部は、前記外科画像の輝度分布を検出し、輝度が所定の閾値を超える領域を前記高輝度領域として検出する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記検知部は、前記外科画像の輝度分布を検出し、周囲の輝度よりも高い輝度を有する領域を前記高輝度領域として検出する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項４】
前記検知部は、前記外科画像の輝度の差分を求めてエッジ処理を行うことで、前記周囲の輝度よりも高い輝度を有する領域を検出する
ことを特徴とする請求項３に記載の内視鏡装置。
【請求項５】
前記検知部は、前記外科画像の色の分析を行い、所定の彩度より低い低彩度領域を抽出し、前記低彩度領域内において前記高輝度領域を検出する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項６】
前記検知部は、前記低彩度領域のうち輝度が所定の輝度範囲内の部分を前記高輝度領域を検出する検出範囲に設定する
ことを特徴とする請求項５に記載の内視鏡装置。
【請求項７】
前記検知部は、前記高輝度領域の形状と所定の形状とのパターン認識によって前記高輝度領域が前記消化器内視鏡の撮像時に照射される照明光によるものであるか否かを判定する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項８】
処置対象臓器の外側から観察する外科内視鏡により得られる外科画像と前記処置対象臓器の内側から観察する消化器内視鏡により得られる消化器画像とが入力される入力部と、
前記入力部を介して入力された前記外科画像及び前記消化器画像の一方を選択的に出力するか又は前記外科画像及び前記消化器画像の両方を出力する表示画像選択部と、
前記表示画像選択部によって前記外科画像及び前記消化器画像の両方が出力された場合には、前記外科画像及び前記消化器画像による２画面表示を行うための合成画像を生成する合成部と、
前記外科画像中に、前記消化器内視鏡の撮像時に照射される照明光による高輝度領域が存在するか否かを検知する検知部と、
前記表示画像選択部により選択された前記外科画像の１画面表示時に、前記外科画像中に前記高輝度領域が存在することが前記検知部によって検知されると、前記表示画像選択部に前記外科画像及び前記消化器画像の両方を選択させ、前記合成画像に基づく２画面表示を表示させる表示方式決定部と
を有する制御装置。
【国際調査報告】
2017212811.tif 000012
2017212811.tif 000013