(57)【要約】  内視鏡システムは、内視鏡画像信号を表示部６８に表示可能な信号に変換する映像信号処理部６１と、周辺機器のステータス情報の告知要否を判定するステータス情報告知要否判定部６５と、内視鏡画像中の術者の視線位置を検出する視線検出部６２と、術者の観察対象領域を設定する観察領域設定部６３と、観察領域中における鉗子の存在する領域を検知する鉗子検知部６４と、観察領域内の領域にステータス情報を表示させるステータス表示領域を設定するステータス表示制御部６６と、内視鏡画像におけるステータス表示領域にステータス情報を重畳するステータス表示重畳部６７と、を有する。
2017183353.tif 000002
【特許請求の範囲】
【請求項１】
入力された内視鏡画像信号を表示部に表示可能な信号に変換する映像信号処理部と、
周辺機器のステータス情報を受け、前記ステータス情報が術者への告知が必要であるか否かを判定するステータス情報告知要否判定部と、
内視鏡画像における前記術者の観察位置を、前記術者の視線検知により検出する視線検出部と、
前記視線検出部の検出結果に基づき、前記術者の観察対象領域を設定する観察領域設定部と、
前記観察領域中における鉗子の存在する領域を画像処理によって検知する鉗子検知部と、
前記ステータス情報告知要否判定部により前記術者への告知が必要と判定された場合、前記観察位置の周辺に設定された表示禁止領域と、前記鉗子検知部によって検知された領域とを除く、前記観察領域内の領域に、前記ステータス情報を表示させるステータス表示領域を設定するステータス表示制御部と、
前記映像信号処理部から出力された前記信号に、前記ステータス表示領域に前記ステータス情報を重畳するステータス表示重畳部と、
を有することを特徴する、内視鏡システム。
【請求項２】
前記ステータス表示領域は、前記表示禁止領域の近傍に配置されることを特徴とする、請求項１に記載の内視鏡システム。
【請求項３】
前記ステータス表示制御部は、前記観察領域の下半分の領域内に前記ステータス表示領域を設定可能な場合、前記観察領域の下半分の領域の辺縁であって、前記観察位置と水平方向の位置が最も近い位置に、前記ステータス表示領域を設定することを特徴とする、請求項１に記載の内視鏡システム。
【請求項４】
前記ステータス表示制御部は、前記観察領域の下半分の領域内に前記ステータス表示領域を設定することができない場合、前記観察領域の上半分の領域の辺縁であって、前記観察位置と水平方向の位置が最も近い位置に、前記ステータス表示領域を設定することを特徴とする、請求項１に記載の内視鏡システム。
【請求項５】
前記周辺機器から入力される前記ステータス情報が警告又はアラームである場合は、前記ステータス情報が入力されている間は、前記ステータス表示領域に、継続的に前記ステータス情報を表示させることを特徴とする、請求項１乃至請求項４のいずれか１項に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、内視鏡システムに関し、特に、周辺機器の情報を内視鏡モニタに重畳して表示可能な内視鏡システムに関する。
【背景技術】
【０００２】
従来、医療分野において、体腔内の臓器の観察や、処置具を用いての治療処置、内視鏡観察下における外科手術などに、内視鏡装置が広く用いられている。一般的に、内視鏡装置は、挿入部の先端に電荷結合素子（ＣＣＤ）などの撮像素子を搭載した電子内視鏡によって得られた被写体の撮像信号を、プロセッサに伝送して画像処理を施す。画像処理により得られた内視鏡画像は、プロセッサから内視鏡モニタに出力され、表示される。【０００３】
内視鏡観察下における治療処置あるいは外科手術では、この種の内視鏡装置と、これに付随する光源装置、プロセッサ、内視鏡モニタの他に、気腹装置や電気メス装置などの複数の周辺機器を用いた内視鏡システムが構築され、実用化されている。【０００４】
これらの周辺機器は、機器ごとに表示手段を有している。従来の内視鏡システムでは、各機器における設定値やエラーや警告などのステータス情報は、機器ごとに設けられた表示手段に表示される。しかしながら、周辺機器は手術室の中に点在しているため、術者がそれらの機器の表示手段を個別に確認することは煩雑であり、手術の円滑な遂行を妨げていた。【０００５】
これに対し、内視鏡モニタ上に周辺機器のステータス情報も集約して表示させる内視鏡システムが提案されている。また、内視鏡画像を解析して、患部に処置具が接近していることを検出した場合に、内視鏡画像に警告メッセージを重畳して表示させる内視鏡システムも提案されている（例えば、日本国特開２０１１−２１２２４５号公報参照）。【０００６】
このような提案においては、周辺機器の情報や警告メッセージが内視鏡モニタ上に集約されているので、術者は内視鏡モニタから必要な情報を取得することができる。【０００７】
しかしながら、これらの提案においては、周辺機器の情報や警告メッセージなどステータス情報の表示位置は、内視鏡モニタ上に設けられた特定の位置（固定位置）、又は、患部近傍とされている。従って、内視鏡モニタ上に表示されている処置領域の位置が変化し、術者が注視している観察領域の位置が変化した場合、該観察領域とステータス情報の表示位置とが交錯したり離散したりしてしまうため、視認性が低下してしまうという問題があった。【０００８】
そこで本発明は、視認性を低下させることなく、周辺機器のステータス情報を内視鏡画像に重畳して表示することができる、内視鏡システムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００９】
本発明の一態様の内視鏡システムは、入力された内視鏡画像信号を表示部に表示可能な信号に変換する映像信号処理部と、周辺機器のステータス情報を受け、前記ステータス情報が術者への告知が必要であるか否かを判定するステータス情報告知要否判定部と、内視鏡画像における前記術者の観察位置を、前記術者の視線検知により検出する視線検出部と、前記視線検出部の検出結果に基づき、前記術者の観察対象領域を設定する観察領域設定部と、前記観察領域中における鉗子の存在する領域を画像処理によって検知する鉗子検知部と、を有する。また内視鏡システムは、前記ステータス情報告知要否判定部により前記術者への告知が必要と判定された場合、前記観察位置の周辺に設定された表示禁止領域と前記鉗子検知部によって検知された領域とを除く、前記観察領域内の領域に、前記ステータス情報を表示させるステータス表示領域を設定するステータス表示制御部と、前記映像信号処理部から出力された前記信号に、前記ステータス表示領域に前記ステータス情報を重畳するステータス表示重畳部とも有する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係わる内視鏡システムの全体構成の一例を説明する図。
【図２】内視鏡表示画像生成部の構成の一例を説明するブロック図。
【図３】視線検出部の構成の一例を説明するブロック図。
【図４】観察領域を設定する手順を説明するフローチャート。
【図５】鉗子領域を検出する手順を説明するフローチャート。
【図６】表示対象ステータス情報、及び表示内容の一例を説明する表。
【図７】ステータス表示の要否を判定する手順を説明するフローチャート。
【図８】ステータス表示位置を設定する手順を説明するフローチャート。
【図９】内視鏡表示画像を生成する手順を説明するフローチャート。
【図１０】内視鏡表示画像におけるステータス表示位置の一例を説明する図。
【図１１】ステータス表示が重畳された内視鏡表示画像の一例を説明する図。
【図１２】ステータス表示が重畳された内視鏡表示画像の一例を説明する図。
【図１３】ステータス表示が重畳された内視鏡表示画像の一例を説明する図。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して実施形態を説明する。【００１２】
図１は、本発明の実施形態に係わる内視鏡システムの全体構成の一例を説明する図である。本実施形態の内視鏡システムは、例えば、内視鏡観察下、炭酸ガスなどを送気することにより拡張された患者の腹腔内の患部を、電気メスなどの処置具などを用いて処置する手術に用いられる。【００１３】
図１に示すように、内視鏡システムは、体腔内に挿入し患部を観察あるいは処置する内視鏡１と、内視鏡１により撮像された映像信号に所定の信号処理を施す内視鏡プロセッサ２と、光源装置３とを有して構成されている。内視鏡プロセッサ２には、信号処理が施された映像を表示する表示装置６が接続されている。また、内視鏡システムは、患部の処置を行うために必要な周辺機器として、電気メス装置４と、気腹装置５とも有している。電気メス装置４と気腹装置５とは表示装置６に接続されており、機器の設定や状態、警告やエラーを示す、各種ステータス情報を送信可能になされている。なお、周辺機器は、電気メス装置４と気腹装置５とに限定されるものでなく、例えば超音波凝固切開装置など、手術に必要な他の機器を含んでもよい。【００１４】
内視鏡１は、患者の体腔内等に挿入可能な細長の挿入部を有しており、挿入部の先端には例えばCCD等の撮像素子が配設されている。なお、挿入部は、軟性であってもよいし、硬性（外科手術に用いられる硬性内視鏡）であってもよい。また、内視鏡１には、挿入部の先端へ照明光を導くライトガイドも設けられている。【００１５】
内視鏡プロセッサ２は、撮像素子から出力される映像信号に各種の処理を施して、表示装置６に表示させる内視鏡画像を生成する。具体的には、撮像素子から出力されるアナログの映像信号に対して、AGC処理（オートゲインコントロール処理）やCDS処理（相関二重サンプリング処理）などの所定の処理を施した後に、デジタルの映像信号に変換する。そして、デジタルの映像信号に対し、ホワイトバランス処理、色補正処理、歪み補正処理、強調処理などを施して、表示装置６へ出力する。【００１６】
光源装置３は、照明光を生成する例えばランプ等の光源を有する。光源から照射される照明光は、内視鏡１のライトガイドの入射端面に集光される。なお、光源としては、ランプの他に、例えばLEDやレーザーダイオードに代表される半導体光源を用いてもよい。また、半導体光源を用いる場合、白色光を出射する半導体光源を用いてもよいし、R（赤）、G（緑）、B（青）の色成分ごとに半導体光源を設け、これらの半導体光源から出射される各色成分の光を合成して白色光を得るものであってもよい。【００１７】
表示装置６は、内視鏡プロセッサ２から入力された内視鏡画像の所定位置に、電気メス装置４や気腹装置５から入力されたステータス情報を、必要に応じて重畳して内視鏡表示画像を生成する内視鏡表示画像生成部６０と、内視鏡表示画像を表示する表示部６８とを有する。【００１８】
図２は、内視鏡表示画像生成部の構成の一例を説明するブロック図である。図２に示すように、内視鏡表示画像生成部６０は、映像信号処理部６１と、視線検出部６２と、観察領域設定部６３と、鉗子検知部６４とを有する。また、内視鏡表示画像生成部６０は、ステータス情報告知要否判定部６５と、ステータス表示制御部６６と、ステータス表示重畳部６７とも有する。【００１９】
映像信号処理部６１は、内視鏡プロセッサ２から入力された映像信号に対し、表示部６８に表示可能な信号形式に変換する等、所定の処理を施す。【００２０】
視線検出部６２は、内視鏡画像における術者の視線位置を検出する。視線位置の検出には、従来から行われている方法（目の基準点と動点を検出し、基準点に対する動点の位置を求めることにより視線を検出する方法）を用いることができる。例えば、基準点として角膜反射の位置、動点として瞳孔の位置を検出し、視線方向を特定する方法を用いる場合の視線検出部６２の構成について説明する。【００２１】
図３は、視線検出部の構成の一例を説明するブロック図である。図３に示すように、視線検出部６２は、赤外線発光部６２１と、眼球画像撮像部６２２と、視線算出部６２３とから構成される。赤外線発光部６２１は、例えば赤外線LEDから構成され、術者の顔に向かって赤外線を照射する。眼球画像撮像部６２２は、例えば赤外線カメラなどで構成され、赤外線の照射によって術者の眼球から反射した光を受光し、眼球画像を取得する。視線算出部６２３は、眼球画像を分析し、反射光の角膜上の位置（角膜反射の位置）と、瞳孔の位置とを算出して、視線方向を特定する。そして、視線方向を用いて、内視鏡画像における術者の視線位置を算出する。視線位置は、通常、内視鏡画像の水平方向をｘ軸、垂直方向をｙ軸とする二次元空間における座標位置（ｘｅ、ｙｅ）として算出される。【００２２】
観察領域設定部６３は、内視鏡画像において、術者が瞬時に情報を識別できる領域（観察領域）を設定する。図４は、観察領域を設定する手順を説明するフローチャートである。まず、視線検出部６２から入力された、内視鏡画像における視線位置（ｘｅ、ｙｅ）を認識する（ステップS1）。次に、表示部６８の水平方向及び垂直方向の大きさ、術者から表示部６８までの距離、術者が瞬時に情報を識別できる視野範囲（例えば、人間が眼球運動なしに詳細まで認識可能な視野範囲である弁別視野：視線方向から水平方向に５°、垂直方向に５°の範囲の視野範囲）、の諸情報を用い、映像信号処理部６１から入力された内視鏡画像において、視線位置を中心とした観察領域を設定する（ステップS2）。術者から表示部６８までの距離は、図示しない設定手段によって実使用状況の距離を選択することや、視線検出部６２に備えられる眼球画像撮像部６２２を２つ設けて距離を計測することで求まる。最後に、設定した観察領域を、鉗子検知部６４とステータス表示制御部６６とに出力する（ステップS3）。このようにして、観察領域設定部６３は、内視鏡画像において、視線位置（ｘｅ、ｙｅ）を中心とする観察領域を設定する。【００２３】
鉗子検知部６４は、観察領域内における鉗子が存在するか否かを識別し、存在する場合はその場所（鉗子領域）を特定する。図５は、鉗子領域を検出する手順を説明するフローチャートである。まず、映像信号処理部６１から入力された内視鏡画像において、観察領域設定部６３から入力された観察領域を特定する。そして、観察領域内を対象として、無彩色の領域を抽出する（ステップS11）。次に、抽出された無彩色エリアの形状を識別する。無彩色エリアの形状が略長方形の場合（ステップS12、Yes）、当該無彩色エリアは鉗子領域であると特定する（ステップS13）。無彩色エリアの形状が略長方形以外の形状である場合（ステップS12、No）、当該無彩色エリアは鉗子領域でないと特定する（ステップS14）。最後に、観察領域内で特定された鉗子領域を、ステータス表示制御部６６に出力する（ステップS15）。【００２４】
なお、観察領域に無彩色エリアが複数存在する場合は、全ての無彩色エリアについて、形状の識別を行う。また、上述の一例では、鉗子は灰色（銀色）〜黒色であり、直線的な外観を有する一方、体腔内表面（人体組織）は暗赤色〜橙色が多く、曲線的な外観を有する点に着目し、色（彩度）と形状とに着目して鉗子領域を抽出しているが、他の方法を用いて鉗子領域を抽出してもよい。【００２５】
ステータス情報告知要否判定部６５は、周辺機器から入力されたステータス情報が、内視鏡画像と重畳して表示する必要があるか否かを判定する。内視鏡システムには、通常、種々の周辺機器が接続されており、これらの機器から多岐にわたる情報が出力される。しかし、これらの情報全てを表示装置６に表示すると、真に必要な情報がその他の情報に埋もれて見落とされてしまったり、表示内容が頻繁に切り替わるため術者が手技に集中できなかったりするおそれがある。そこで、周辺機器から出力される情報のうち、手技を行うために術者が必要とする優先度の高い情報を予め設定しておき、設定されたステータス情報のみを抽出して、内視鏡画像と共に表示装置６に表示させる。【００２６】
図６は、表示対象ステータス情報、及び表示内容の一例を説明する表である。ステータス情報は、周辺機器の設定や状態に関する情報と、警告やエラーに関する情報とに大別される。それぞれの情報種別について、周辺機器ごとに、表示装置６に表示させるステータス情報（表示対象ステータス情報）と、当該ステータス情報が入力された場合の表示内容とを、術前に設定しておく。【００２７】
図６に示すように、例えば、気腹装置の場合、設定・状態に関しては、設定圧、送気流量、流量モード、排煙モード、送気開始／停止、の各項目についてのステータス情報を表示対象ステータス情報として設定する。また、警告・エラーに関しては、送気不可、チューブ詰まり、過圧注意、の各アラームについてのステータス情報を、表示対象ステータス情報として設定する。電気メスや超音波凝固切開装置、その他、必要な周辺機器についても、気腹装置と同様に、表示対象ステータス情報を設定する。【００２８】
ステータス情報告知要否判定部６５は、周辺機器から入力されるステータス情報を表示装置６に表示させるか否かを、事前に設定された表示対象ステータス情報を参照して判定する。【００２９】
図７は、ステータス表示の要否を判定する手順を説明するフローチャートである。まず、周辺機器から入力されたステータス情報と、保存されているステータス情報とを比較する（ステップS21）。ステータス情報は、周辺機器から表示装置６へリアルタイム（または一定間隔）で入力される。入力されたステータス情報は、図示しないメモリなどに、最新（直近）の内容が保存される。ステップS21では、周辺機器から入力されたステータス情報について、メモリなどに保存されているステータス情報と、入力されたステータス情報とを比較する。例えば、気腹装置５から設定圧に関するステータス情報が入力された場合、メモリなどに保存されている気腹装置５の設定圧の直近の値と、入力された設定圧の値とを比較する。【００３０】
入力されたステータス情報が、保存されているステータス情報と異なる場合（ステップS22、Yes）、入力されたステータス情報が、設定・状態に関する表示対象ステータス情報に該当するか否かを判定する（ステップS23）。例えば、ステップS22において、気腹装置５から設定圧が8mmHgである旨のステータス情報が入力され、保存されている直近の気腹装置５の設定圧が6mmHgである場合、入力されたステータス情報と保存されているステータス情報が異なると判定する。【００３１】
入力されたステータス情報が、設定・状態に関する表示対象ステータス情報に該当する場合（ステップS23、Yes）、当該ステータス情報を表示させる必要があると判定し、ステータス表示指令を出力する（ステップS25）。【００３２】
一方、入力されたステータス情報が、設定・状態に関する表示対象ステータス情報に該当しない場合（ステップS23、No）、入力されたステータス情報が、警告・エラーに関する表示対象ステータス情報に該当するか否かを判定する（ステップS24）。なお、入力されたステータス情報が保存されているステータス情報と等しいと判定した場合も（ステップS22、No）、ステップS24に進み、入力されたステータス情報が、警告・エラーに関する表示対象ステータス情報に該当するか否かを判定する。【００３３】
入力されたステータス情報が、警告・エラーに関する表示対象ステータス情報に該当する場合（ステップS24、Yes）、当該ステータス情報を表示させる必要があると判定し、ステータス表示指令を出力する（ステップS25）。ステータス表示指令と共に、ステータス情報の表示内容も併せて出力する。一方、入力されたステータス情報が、警告・エラーに関する表示対象ステータス情報に該当しない場合（ステップS24、No）、当該ステータス情報を表示させる必要がないと判定し、ステータス表示指令は非出力とする（ステップS26）。【００３４】
なお、周辺機器から複数のステータス情報が同時に入力された場合、それぞれのステータス情報について、図７に示すステップS21からステップS26の一連の処理を独立して実施し、ステータス表示指示を出力するか否かを判定する。【００３５】
例えば、気腹装置５から設定圧が8mmHgである旨のステータス情報が入力され、また同時に、電気メス装置４から断線異常の警告が入力された場合、気腹装置５の設定圧に関するステータス情報の表示要否を判定し、また、電気メス装置４の断線異常の警告に関するステータス情報の表示要否を判定する。例えば、気腹装置５の設定圧は保存されている直近の値から変化しておらず、電気メス装置４の断線異常の警告は継続して入力されている場合、気腹装置５の設定圧については表示する必要なしと判定し、電気メス装置４の断線異常の警告については表示する必要ありと判定する。従って、この場合、電気メス装置４の断線異常の警告についてのみステータス表示指令を出力する。【００３６】
ステータス表示制御部６６は、内視鏡画像に重畳するステータス情報の表示位置を設定する。そして、ステータス情報告知要否判定部６５からステータス表示指令が入力されると、表示位置と表示内容とをステータス表示重畳部６７に出力する。図８は、ステータス表示位置を設定する手順を説明するフローチャートである。まず、観察領域設定部６３から入力される観察領域において、手技の妨げとなり得るためにステータス情報を表示させてはいけない領域（以下、表示禁止領域と示す）を設定する（ステップS31）。例えば、観察領域を水平方向に三等分に分割し、更に、垂直方向に三等分に分割して九つの領域に分割する。この九つの領域のうち、視線位置を含む中央の領域を、表示禁止領域として設定する。【００３７】
次に、観察領域を垂直方向に二等分に分割し、下半分の領域にステータス情報を表示可能なスペースがあるか否かを判定する（ステップS32）。一般的に、人が目線を上下に動かす場合、上方向よりも下方向に動かすほうが目にかかる負荷が少ない。従って、観察領域の下半分の領域から先に、ステータス情報を表示可能スペースの有無を探索する。観察領域の下半分の領域において、ステップS31で設定された表示禁止領域と、鉗子検知部６４から入力された鉗子領域とを除き、ステータス情報を表示可能な領域を特定する。そして、同領域内に、予め設定された大きさのステータス表示領域を配置するスペースが存在するか否かを判定する。【００３８】
観察領域の下半分の領域に、ステータス情報を表示可能なスペースがあると判定された場合（ステップS32、Yes）、同領域内にステータス情報表示位置を設定する（ステップS33）。ステータス情報表示位置は、視線を極力左右にずらすことなく、かつ、注視している視線位置の妨げとなりにくい位置であることが望ましい。従って、例えば、視線位置に最も近い水平位置であって、かつ、観察領域の辺縁に近い垂直位置を、ステータス情報表示位置とする。【００３９】
一方、観察領域の下半分の領域に、ステータス情報を表示可能なスペースがないと判定された場合（ステップS32、No）、観察領域の上半分の領域に、ステータス情報表示位置を設定する（ステップS34）。観察領域の下半分の領域に設定する場合と同様に、ステータス情報表示位置は、視線を極力左右にずらすことなく、かつ、注視している視線位置の妨げとなりにくい位置であることが望ましい。従って、例えば、視線位置に最も近い水平位置であって、かつ、観察領域の辺縁に近い垂直位置を、ステータス情報表示位置とする。【００４０】
最後に、ステップS33、またはステップS34で設定したステータス情報表示位置を出力する（ステップS35）。【００４１】
ステータス表示重畳部６７は、ステータス表示制御部６６からステータス情報の表示内容と表示位置とが入力されると、映像信号処理部６１から入力される内視鏡画像にステータス表示を重畳し、内視鏡表示画像を生成して出力する。なお、ステータス表示制御部６７からの入力がない場合、映像信号処理部６１から入力される内視鏡画像をそのまま内視鏡表示画像として出力する。【００４２】
表示部６８は、ステータス表示重畳部６７から入力された内視鏡表示画像を表示する。【００４３】
内視鏡表示画像生成部６０において、内視鏡プロセッサ２から入力された内視鏡画像に基づき、表示部６８に表示させる内視鏡表示画像を生成する一連の手順について、図９及び図１０を用いて説明する。図９は、内視鏡表示画像を生成する手順を説明するフローチャート、図１０は、内視鏡表示画像におけるステータス表示位置の一例を説明する図である。【００４４】
まず、視線検出部６２において、映像信号処理部６１に入力された内視鏡画像における術者の視線位置を検出する（ステップS41）。次に、観察領域設定部６３において、同内視鏡画像における観察領域を設定する（ステップS42）。具体的には、図４に示す一連の手順を実行することにより、観察領域を設定する。例えば、図１０において、視線位置６０３が×印で示す位置にある場合、観察領域６０４は、太線で囲んだ略矩形状の領域で設定される。【００４５】
次に、鉗子検知部６４において、観察領域内における鉗子領域を検知する（ステップS43）。具体的には、図５に示す一連の手順を実行することにより、鉗子領域を設定する。例えば、図１０において、鉗子領域６０５は、斜線で網掛けされた領域（観察領域の左側中央部の領域と、右上隅部の領域の２か所の領域）で設定される。【００４６】
続いて、ステータス表示制御部６６において、ステータス表示位置を設定する（ステップS44）。具体的には、図８に示す一連の手順を実行することより、ステータス表示位置を設定する。例えば、図１０において、観察領域の下半分の領域に、表示禁止領域６０６（点線で囲んだ略矩形状の領域）と鉗子領域６０５とを除く領域において、ステータス表示可能な領域が存在するので、ステータス表示位置６０７は、一点鎖線で囲んだ略矩形状領域の位置に設定される。【００４７】
次に、ステータス表示制御部６６は、ステータス情報告知要否判定部６５からステータス表示指令が入力されているか否かを判定する（ステップS44）。ステータス表示指令が入力されている場合（ステップS44、Yes）、ステータス表示重畳部６７は、映像信号処理部６１から入力される内視鏡画像に対し、ステータス表示位置（ステップS44で設定されたステータス表示位置）に、ステータス表示制御部６６から入力されたステータス表示内容を重畳し、内視鏡表示画像を生成して表示部６８に出力する。そして、ステップS41に戻り、次の内視鏡表示画像を生成する。【００４８】
図１１、図１２、図１３は、ステータス表示が重畳された内視鏡表示画像の一例を説明する図である。図１１は、周辺機器である電気メス装置４からステータス情報告知要否判定部６５に対し、ステータス情報として対極板接触不良のエラーが入力されている場合の、内視鏡表示画像の一例を示している。【００４９】
図１２は、周辺機器である超音波凝固切開装置からステータス情報告知要否判定部６５に対し、超音波の出力レベルが３である旨のステータス情報が入力されている場合の内視鏡表示画像の一例を示している。なお、超音波の出力レベルが３以外の数値から３に変更された場合は、図１２に示すようにステータス情報が表示されるが、出力レベルが３を保持している場合には、ステータス情報は表示されない。【００５０】
図１３は、周辺機器である気腹装置５からステータス情報告知要否判定部６５に対し、設定圧が8mmHgである旨のステータス情報が入力されている場合の内視鏡表示画像の一例を示している。図１３では、鉗子領域によって観察領域の下半分の領域にステータス表示領域を確保できないため、観察領域の上半分の領域にステータス表示位置を設定する場合について示している。なお、気腹装置５の設定圧が8mmHg以外の数値から8mmHgに変更された場合は、図１３に示すようにステータス情報が表示されるが、設定圧が8mmHgを保持している場合には、ステータス情報は表示されない。【００５１】
一方、ステータス表示指令が入力されていない場合（ステップS44、No）、ステータス表示重畳部６７は、映像信号処理部６１から入力される内視鏡画像をそのまま内視鏡表示画像として表示部６８に出力し、ステップS41に戻って次の内視鏡表示画像を生成する。【００５２】
このように、本実施形態によれば、周辺機器から設定・状態や警告メッセージなどステータス情報が入力されると、予め設定された表示対象ステータス情報であるか否かを判定する。表示対象ステータス情報である場合、内視鏡画像において、術者が瞬時に情報を識別できる視野範囲（観察領域）を特定し、観察領域内の鉗子領域を除く領域にステータス表示位置を設定し、ステータス情報を表示させる。従って、視認性を低下させることなく、周辺機器のステータス情報を内視鏡画像に重畳して表示することができる。【００５３】
なお、周辺機器から入力されたステータス情報が、設定・状態に関する情報である場合、設定値や状態が変化した場合にのみステータス情報を表示させることとしているが、その表示時間をタイマーなどで設定し、術者が所望する時間だけ連続して表示させるようにしてもよい。【００５４】
また、上述の説明では、ステータス情報を内視鏡画像に重畳して表示するか否かを、ステータス情報告知要否判定部６５において判定し、表示が必要であると判定されたステータス情報のみ自動的に表示されるようにしているが、ステータス情報表示ボタンなどを設け、自動表示に加え、術者が所望のタイミングでステータス情報を表示させることも可能な構成にしてもよい。【００５５】
更に、上述の説明では、表示装置６内に内視鏡表示画像生成部６０を設けているが、内視鏡プロセッサ２内に設けるように構成してもよい。【００５６】
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。【００５７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。【００５８】
本出願は、２０１６年４月１９日に日本国に出願された特願２０１６−８３７９６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
【図１】
2017183353.tif 000003
【図２】
2017183353.tif 000004
【図３】
2017183353.tif 000005
【図４】
2017183353.tif 000006
【図５】
2017183353.tif 000007
【図６】
2017183353.tif 000008
【図７】
2017183353.tif 000009
【図８】
2017183353.tif 000010
【図９】
2017183353.tif 000011
【図１０】
2017183353.tif 000012
【図１１】
2017183353.tif 000013
【図１２】
2017183353.tif 000014
【図１３】
2017183353.tif 000015
【手続補正書】
【提出日】平成30年4月5日(2018.4.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の一態様の内視鏡システムは、入力された内視鏡画像信号を表示部に表示可能な信号に変換する映像信号処理部と、周辺機器のステータス情報を受け、前記ステータス情報が術者への告知が必要であるか否かを判定するステータス情報告知要否判定部と、内視鏡画像における前記術者の観察位置を、前記術者の視線検知により検出する視線検出部と、前記視線検出部の検出結果に基づき、前記術者の観察領域を設定する観察領域設定部と、前記観察領域中における処置具の存在する領域を画像処理によって検知する処置具検知部と、前記ステータス情報告知要否判定部により前記術者への告知が必要と判定された場合、前記観察位置の周辺に設定された表示禁止領域と前記処置具検知部によって検知された領域とを除く、前記観察領域内の領域に、前記ステータス情報を表示させるステータス表示領域を設定するステータス表示制御部と、前記映像信号処理部から出力された前記信号に、前記ステータス表示領域に前記ステータス情報を重畳するステータス表示重畳部とを有する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された内視鏡画像信号を表示部に表示可能な信号に変換する映像信号処理部と、
周辺機器のステータス情報を受け、前記ステータス情報が術者への告知が必要であるか否かを判定するステータス情報告知要否判定部と、
内視鏡画像における前記術者の観察位置を、前記術者の視線検知により検出する視線検出部と、
前記視線検出部の検出結果に基づき、前記術者の観察領域を設定する観察領域設定部と、
前記観察領域中における処置具の存在する領域を画像処理によって検知する処置具検知部と、
前記ステータス情報告知要否判定部により前記術者への告知が必要と判定された場合、前記観察位置の周辺に設定された表示禁止領域と、前記処置具検知部によって検知された領域とを除く、前記観察領域内の領域に、前記ステータス情報を表示させるステータス表示領域を設定するステータス表示制御部と、
前記映像信号処理部から出力された前記信号に、前記ステータス表示領域に前記ステータス情報を重畳するステータス表示重畳部と、
を有することを特徴する、内視鏡システム。
【請求項２】
前記ステータス表示領域は、前記表示禁止領域の近傍に配置されることを特徴とする、請求項１に記載の内視鏡システム。
【請求項３】
前記ステータス表示制御部は、前記観察領域の下半分の領域内に前記ステータス表示領域を設定可能な場合、前記観察領域の下半分の領域の辺縁であって、前記観察位置と水平方向の位置が最も近い位置に、前記ステータス表示領域を設定することを特徴とする、請求項１に記載の内視鏡システム。
【請求項４】
前記ステータス表示制御部は、前記観察領域の下半分の領域内に前記ステータス表示領域を設定することができない場合、前記観察領域の上半分の領域の辺縁であって、前記観察位置と水平方向の位置が最も近い位置に、前記ステータス表示領域を設定することを特徴とする、請求項１に記載の内視鏡システム。
【請求項５】
前記周辺機器から入力される前記ステータス情報が警告又はアラームである場合は、前記ステータス情報が入力されている間は、前記ステータス表示領域に、継続的に前記ステータス情報を表示させることを特徴とする、請求項１に記載の内視鏡システム。
【国際調査報告】
2017183353.tif 000016
2017183353.tif 000017
2017183353.tif 000018
2017183353.tif 000019