(57)【特許請求の範囲】
【請求項１】
内視鏡によって撮影される体腔内の内視鏡画像を取得する内視鏡画像取得部と、
前記体腔内に処置具を挿入するためのトロカールに設けられたトロカールカメラによって撮影される前記体腔内のトロカール画像を取得するトロカール画像取得部と、
前記処置具および／または前記トロカールの変位を表す変位情報を取得する変位情報取得部と、
前記内視鏡画像と前記トロカール画像を合成して合成画像を生成する画像合成部であって、前記変位情報に基づいて、前記合成画像における前記トロカール画像の表示態様を変更する画像合成部とを備える、画像合成装置。
【請求項２】
前記画像合成部は、前記表示態様として、前記合成画像内における前記トロカール画像の挿入位置を変更する請求項１に記載の画像合成装置。
【請求項３】
前記トロカールは複数有り、
前記トロカール画像取得部は、複数の前記トロカールのそれぞれに設けられた前記トロカールカメラから複数のトロカール画像を取得し、
前記画像合成部は、１つの前記内視鏡画像と複数のトロカール画像を合成する請求項２に記載の画像合成装置。
【請求項４】
前記変位情報には、前記内視鏡画像内における、複数の前記トロカールカメラの撮影光軸の交差の有無を表す情報が含まれており、
前記画像合成部は、前記撮影光軸の交差の有無に応じて、前記合成画像内における、複数の前記トロカール画像の挿入位置を変更する請求項３に記載の画像合成装置。
【請求項５】
画像合成部は、前記内視鏡画像を親画像、前記トロカール画像を子画像として、ピクチャーインピクチャーの手法で前記内視鏡画像内に前記トロカール画像を挿入する請求項２ないし４のいずれか１項に記載の画像合成装置。
【請求項６】
前記内視鏡画像内において前記処置具が変位した場合において、前記画像合成部は、トロカール画像の挿入位置を前記処置具と重ならない位置に移動する請求項５に記載の画像合成装置。
【請求項７】
前記画像合成部は、前記内視鏡画像内における前記トロカール画像の挿入位置を、前記トロカールまたは前記処置具の長軸上において前記トロカールまたは前記処置具の先端部よりも基端側の位置に決定し、
さらに、前記内視鏡画像内において前記トロカールまたは前記処置具が変位した場合には、前記挿入位置を前記変位に追従させる請求項５に記載の画像合成装置。
【請求項８】
前記画像合成部は、前記処置具が前記内視鏡画像の視野外に移動した場合には、前記合成画像において、前記トロカール画像を非表示にする機能を有している請求項５に記載の画像合成装置。
【請求項９】
前記画像合成部は、前記トロカールと前記トロカールから突出する前記処置具とが前記内視鏡画像に表示されている場合において、前記処置具が前記トロカール内に退避した場合には、前記処置具が前記視野外に移動したと判定して、前記トロカール画像を非表示にする機能を有している請求項８に記載の画像合成装置。
【請求項１０】
前記画像合成部は、前記処置具とともに前記トロカールも前記視野外に移動した場合には、前記トロカール画像を非表示にすることなく、表示を継続する機能を有している請求項９に記載の画像合成装置。
【請求項１１】
前記画像合成部は、前記トロカール画像の表示サイズおよび表示倍率の少なくとも一方を変更する機能を有している請求項５ないし１０のいずれか１項に記載の画像合成装置。
【請求項１２】
前記画像合成部は、前記合成画像における、前記処置具と前記トロカール画像の接近状態に応じて前記トロカール画像の表示サイズを変更する機能を有している請求項１１に記載の画像合成装置。
【請求項１３】
前記画像合成部は、前記トロカールの長軸回りの回転により前記トロカールカメラが回転した場合に、前記合成画像内の前記トロカール画像の表示姿勢を、前記内視鏡画像の表示姿勢と一致させる姿勢補正を行う請求項１ないし１２のいずれか１項に記載の画像合成装置。
【請求項１４】
複数の前記トロカール画像の挿入位置の初期位置は、前記合成画像の四隅のいずれかである、請求項３を引用する請求項４ないし１３のいずれか１項に記載の画像合成装置。
【請求項１５】
前記画像合成部は、患者の体に設けられ複数の前記トロカールがそれぞれ挿入される各ポートを識別するためのポート識別情報を、前記合成画像内の各前記トロカール画像に表示する請求項１ないし１４のいずれか１項に記載の画像合成装置。
【請求項１６】
前記内視鏡画像を解析して、前記トロカールおよび／または処置具の変位を検知して、前記変位情報を出力する変位検知部を有している請求項１ないし１５のいずれか１項に記載の画像合成装置。
【請求項１７】
画像合成装置の作動方法であって、
内視鏡によって撮影される体腔内の内視鏡画像を取得する内視鏡画像取得ステップと、
前記体腔内に処置具を挿入するためのトロカールに設けられたトロカールカメラによって撮影される前記体腔内のトロカール画像を取得するトロカール画像取得ステップと、
前記処置具および／または前記トロカールの変位を表す変位情報を取得する変位情報取得ステップと、
前記内視鏡画像と前記トロカール画像を合成して合成画像を生成する画像合成ステップであって、前記変位情報に基づいて、前記合成画像における前記トロカール画像の表示態様を変更する画像合成ステップとを備える、画像合成装置の作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、平成２７年度、国立研究開発法人日本医療研究開発機構、「医工連携事業化
推進事業実証事業」委託研究、産業技術力強化法第１９条の適用を受ける特許出願であっ
て、内視鏡画像を合成する画像合成装置および画像合成装置の作動方法に関する。
【背景技術】
【０００２】
医療分野において、内視鏡、超音波装置、Ｘ線撮影装置、術場カメラなど各種の医療画像を撮影する医療用撮影機器が知られている。患者の診療においては、これらの各種医療機器によって撮影された複数種類の医療画像を比較対照しながら診療が行われる場合も多い。特に、手術においては、複数種類の医療画像をリアルタイムで観察できるように、複数種類の医療画像の合成をリアルタイムで行う画像合成装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１の画像合成装置は、複数種類の医療用撮影機器からの複数種類の医療画像を入力する複数の入力インタフェース（入力Ｉ／Ｆ）を有し、各入力Ｉ／Ｆから入力された複数種類の医療画像を合成して合成画像を作成する（段落００１９から段落００２６、図１）。合成画像は、例えば、画像内に別の画像を重ねて挿入するピクチャーインピクチャー（ＰｉｎＰ）や、１つの画面内に複数の画像を重ならないように配置して合成を行うピクチャーアウトピクチャー（ＰｏｕｔＰ）などの手法を用いて作成される（段落００２７）。
【０００４】
また、特許文献１の画像合成装置は、入力された医療画像の種類を例えば色に基づいて自動判定して、判定された医療画像の種類に応じて、予め設定された合成パターンを選択する合成パターン選択機能を有している。合成画像は、選択された合成パターンに従って作成される（段落００５４〜００７０）。特許文献１においては、こうした画像合成装置の使用例の１つとして、腹腔鏡手術において、術者の教育目的のため、硬性内視鏡と術場カメラとを組み合わせる場合が例示されている。
【０００５】
硬性内視鏡の被写体は腹腔内の臓器であるため、内視鏡画像は赤を基調としているのに対して、術場カメラは、術者や助手など、術場で作業を行っている医療スタッフの様子を俯瞰的に撮影するので、被写体は、医療スタッフの外観や手技の手元となる。そのため、術場カメラによる術場画像は、医療スタッフが着用している被服の色である緑や青が基調となる。こうした色の違いによって、内視鏡画像と術場画像が識別される（段落００５９）。
【０００６】
このような教育用途の場合、合成パターンとしては、重要な内視鏡画像を親画像として、術場画像を子画像として内視鏡画像内に挿入するＰｉｎＰ手法による合成パターンが選択される（段落００８８）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許５３４７０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
周知のように、腹腔鏡手術や胸腔鏡手術などの鏡視下手術においては、腹腔や胸腔などの体腔内の視野を確保するための硬性内視鏡に加えて、鉗子、電気メス、ステープラーなどの処置具や、処置具を体腔内に挿入するための挿入補助具としてトロカールが用いられる。処置対象の部位を肉眼で観察することができる開腹手術と比べて、肉眼観察ができない鏡視下手術においては視野が著しく制限される。適切な手技を行うには死角ができるだけ少ないことが好ましいため、広い視野を確保することが課題となっている。特に、処置対象の部位に直接接して手技を行う処置具については、その位置や姿勢を正確に確認できる視野が求められている。
【０００９】
こうした要望に応えるため、発明者らは、トロカールの先端部にカメラを設けたカメラ付きトロカールの開発に取り組んでいる。トロカールは、処置具の挿入補助具であるため、トロカールの先端部のトロカールカメラによって処置具の位置や姿勢を撮影することが可能となる。
【００１０】
こうしたトロカールカメラによる撮影画像（トロカール画像と呼ぶ）は、内視鏡画像と同時にリアルタイムで閲覧できることが好ましい。そこで、発明者らは、ＰｉｎＰ手法あるいはＰｏｕｔＰ手法によって、トロカール画像と内視鏡画像とを合成して、作成した合成画像を表示することを検討している。
【００１１】
しかしながら、トロカール画像と内視鏡画像とを合成する場合には、特許文献１のように予め設定された合成パターンに基づいて合成画像を作成するだけでは、問題が生じることが分かってきた。
【００１２】
例えば、腹腔鏡手術においては、硬性内視鏡の視野は、原則として、腹腔内において処置対象の部位全体を俯瞰できる位置に固定される。この場合、内視鏡画像を親画像、トロカール画像を子画像として、内視鏡画像内にトロカール画像を挿入して合成画像を作成する場合、トロカール画像の挿入位置が固定されていると、親画像内においてトロカール画像の挿入位置が常に死角になってしまう。内視鏡画像内の死角となる位置に処置具の先端部がある場合には、トロカール画像によって、内視鏡画像内の処置具の先端部が隠れてしまうことになり、処置具の先端部の位置を確認できないという問題が生じる。
【００１３】
また、複数の処置具を使用するために、各処置具用の複数のカメラ付きトロカールを使用する場合が考えられる。複数のカメラ付きトロカールは、例えば、硬性内視鏡に対して左右にそれぞれ配置される。このように配置された左右のトロカールカメラの視野は、それぞれの撮影光軸が交差している場合と交差していない場合とでは、内視鏡画像内において左右が逆転する。例えば、撮影光軸が交差していない場合には、右配置のトロカールカメラの視野は内視鏡画像内においても右側を対象とし、左配置のトロカールカメラの視野は内視鏡画像内においても左側を対象とする。これに対して、撮影光軸が交差している場合には、右配置のトロカールカメラの視野は、内視鏡画像内において左側が対象となり、左配置のトロカールカメラの視野は、内視鏡画像内において右側が対象となる。そのため、撮影光軸の交差の有無によって、トロカール画像の挿入位置の左右と視野の左右が一致しない。
【００１４】
特許文献１のように、予め表示態様が決められている場合には、親画像となる内視鏡画像内において、左右に配置されたトロカールカメラのそれぞれのトロカール画像の挿入位置は、左右のいずれかに固定される。そのため、撮影光軸の交差の有無によって左右の視野に逆転が生じても、内視鏡画像内の左右のトロカール画像の挿入位置は固定されているため、挿入位置と視野の左右の関係が直感的に把握しづらいという問題がある。
【００１５】
このように、内視鏡画像とトロカール画像とを合成する場合には、従来技術の手法を用いるだけでは、合成画像の表示態様について解決すべき問題があり、改良が求められていた。
【００１６】
本発明は、内視鏡による内視鏡画像とトロカールカメラによるトロカール画像とを合成する場合において、合成画像におけるトロカール画像の表示態様を適切にする画像合成装置および画像合成装置の作動方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の画像合成装置は、内視鏡画像取得部、トロカール画像取得部、変位情報取得部および画像合成部を備える。内視鏡画像取得部は、内視鏡によって撮影される体腔内の内視鏡画像を取得する。トロカール画像取得部は、体腔内に処置具を挿入するためのトロカールに設けられたトロカールカメラによって撮影される体腔内のトロカール画像を取得する。変位情報取得部は、処置具および／またはトロカールの変位を表す変位情報を取得する。画像合成部は、内視鏡画像とトロカール画像を合成して合成画像を生成する画像合成部であって、変位情報に基づいて、合成画像におけるトロカール画像の表示態様を変更する。
【００１８】
画像合成部は、表示態様として、合成画像内におけるトロカール画像の挿入位置を変更することが好ましい。
【００１９】
トロカールは複数有り、トロカール画像取得部は、複数のトロカールのそれぞれに設けられたトロカールカメラから複数のトロカール画像を取得し、画像合成部は、１つの内視鏡画像と複数のトロカール画像を合成することが好ましい。
【００２０】
変位情報には、内視鏡画像内における、複数のトロカールカメラの撮影光軸の交差の有無を表す情報が含まれており、画像合成部は、撮影光軸の交差の有無に応じて、合成画像内における、複数のトロカール画像の挿入位置を変更することが好ましい。
【００２１】
画像合成部は、内視鏡画像を親画像、トロカール画像を子画像として、ピクチャーインピクチャーの手法で内視鏡画像内にトロカール画像を挿入することが好ましい。
【００２２】
内視鏡画像内において処置具が変位した場合において、画像合成部は、トロカール画像の挿入位置を処置具と重ならない位置に移動することが好ましい。
【００２３】
画像合成部は、内視鏡画像内におけるトロカール画像の挿入位置を、トロカールまたは処置具の長軸上においてトロカールまたは処置具の先端部よりも基端側の位置に決定し、さらに、内視鏡画像内においてトロカールまたは処置具が変位した場合には、挿入位置を変位に追従させることが好ましい。
【００２４】
前記画像合成部は、前記処置具が前記内視鏡画像の視野外に移動した場合には、前記合成画像において、前記トロカール画像を非表示にする機能を有していることが好ましい。
【００２５】
前記画像合成部は、前記トロカールと前記トロカールから突出する前記処置具とが前記内視鏡画像に表示されている場合において、前記処置具が前記トロカール内に退避した場合には、前記処置具が前記視野外に移動したと判定して、前記トロカール画像を非表示にする機能を有していることが好ましい。
【００２６】
前記画像合成部は、前記処置具とともに前記トロカールも前記視野外に移動した場合には、前記トロカール画像を非表示にすることなく、表示を継続する機能を有していることが好ましい。
【００２７】
前記画像合成部は、前記トロカール画像の表示サイズおよび表示倍率の少なくとも一方を変更する機能を有していることが好ましい。
【００２８】
前記画像合成部は、前記合成画像における、前記処置具と前記トロカール画像の接近状態に応じて前記トロカール画像の表示サイズを変更する機能を有していることが好ましい。
【００２９】
画像合成部は、トロカールの長軸回りの回転によりトロカールカメラが回転した場合に、合成画像内のトロカール画像の表示姿勢を、内視鏡画像の表示姿勢と一致させる姿勢補正を行うことが好ましい。
【００３０】
複数のトロカール画像の挿入位置の初期位置は、合成画像の四隅のいずれかであることが好ましい。
【００３１】
画像合成部は、患者の体に設けられ複数のトロカールがそれぞれ挿入される各ポートを識別するためのポート識別情報を、合成画像内の各トロカール画像に表示することが好ましい。
【００３２】
内視鏡画像を解析して、トロカールおよび／または処置具の変位を検知して、変位情報を出力する変位検知部を有していることが好ましい。
【００３３】
本発明の画像合成装置の作動方法は、内視鏡画像取得ステップ、トロカール画像取得ステップ、変位情報取得ステップ、および画像合成ステップを備える。内視鏡画像取得ステップは、内視鏡によって撮影される体腔内の内視鏡画像を取得する。トロカール画像取得ステップは、体腔内に処置具を挿入するためのトロカールに設けられたトロカールカメラによって撮影される体腔内のトロカール画像を取得する。変位情報取得ステップは、処置具および／またはトロカールの変位を表す変位情報を取得する。画像合成ステップは、内視鏡画像とトロカール画像を合成して合成画像を生成する画像合成ステップであって、変位情報に基づいて、合成画像におけるトロカール画像の表示態様を変更する。
【発明の効果】
【００３４】
本発明によれば、内視鏡による内視鏡画像とトロカールカメラによるトロカール画像とを合成する場合において、合成画像におけるトロカール画像の表示態様を適切にする画像合成装置及びその作動方法を提供することができる。
【図面の簡単な説明】
【００３５】
【図１】腹腔鏡システムの概要図である。
【図２】トロカールを挿入した状態の腹腔内の断面図である。
【図３】内視鏡用のポート孔と処置具用のポート孔の位置関係の説明図である。
【図４】カメラを展開した状態のカメラ付きトロカールの外観斜視図である。
【図５】カメラを格納した状態のカメラ付きトロカールの外観斜視図である。
【図６】格納式カメラの格納機構の説明図である。
【図７】腹腔鏡システムの電気構成の概略を示すブロック図である。
【図８】設定情報の説明図である。
【図９】合成条件設定画面の説明図である。
【図１０】トロカール左右設定画面の説明図である。
【図１１】内視鏡画像とトロカール画像の説明図である。
【図１２】合成画像生成処理の説明図である。
【図１３】合成画像表示画面の説明図である。
【図１４】トロカール画像と処置具が重なった状態の合成画像の説明図である。
【図１５】処置具の位置からトロカール画像を退避した合成画像の説明図である。
【図１６】処置具の変位に連動して表示態様を変更する処理の説明図である。
【図１７】変位情報対応付け処理の説明図である。
【図１８】表示態様変更処理のフローチャートである。
【図１９】第２実施形態における合成画像の説明図である。
【図２０】第２実施形態における表示態様変更後の合成画像の説明図である。
【図２１】ポート識別情報を表示した合成画像の説明図である。
【図２２】撮影光軸が交差した状態の合成画像の説明図である。
【図２３】図２２の状態からトロカール画像の左右を入れ替えた後の合成画像の説明図である。
【図２４】トロカール画像の左右入れ替え処理の説明図である。
【図２５】トロカール画像を１８０°回転させる姿勢補正の説明図である。
【図２６】トロカール画像を９０°回転させる姿勢補正の説明図である。
【図２７】第６実施形態の実施例１の合成画像の説明図である。
【図２８】処置具が視野外に移動した場合の合成画像の説明図である。
【図２９】第６実施形態の処理手順を示すフローチャートである。
【図３０】第６実施形態の実施例２の合成画像の説明図である。
【図３１】トロカール内に処置具が退避した場合の合成画像の説明図である。
【図３２】処置具とトロカールが視野外に移動した場合の合成画像の説明図である。
【図３３】第７実施形態のトロカール画像の表示サイズ変更機能の説明図である。
【図３４】トロカール画像の表示倍率変更機能の説明図である。
【図３５】処置具との接近状態に応じてトロカール画像の表示サイズを変更する例の説明図である。
【図３６】図３５の合成画像の変更後の状態を示す説明図である。
【図３７】図３５、３６の処理のフローチャートの説明図である。
【図３８】ピクチャーアウトピクチャーの合成画像の説明図である。
【発明を実施するための形態】
【００３６】
［第１実施形態］
図１に示すように、体腔内観察システムの一例である腹腔鏡システム１０は、腹腔鏡手術に際して、医師を含む医療スタッフＳＴが患者Ｐの腹腔内を観察するために用いられる。腹腔鏡システム１０は、内視鏡システムとトロカールカメラシステムで構成される。内視鏡システムは、内視鏡１１、プロセッサ１８は、第１カメラ付きトロカール（以下、第１トロカールという）１６、第２カメラ付きトロカール（以下、第２トロカールという）１７、プロセッサ１８、モニタ１９およびコンソール２０を備えている。
【００３７】
第１トロカール１６および第２トロカール１７は、鉗子などの処置具２２を腹腔内に挿入するための挿入ポートとして利用される挿入器具に、カメラ機能を付加したものである。なお、以下において、第１トロカール１６および第２トロカール１７について、両者を明確に区別する必要が無い場合には、第１および第２の修飾を省略して、単に各トロカール１６、１７という場合もある。
【００３８】
プロセッサ１８は、内視鏡１１によって撮影される腹腔内の内視鏡画像と、第１トロカール１６および第２トロカール１７のカメラによって撮影される腹腔内のトロカール画像のそれぞれに対する画像処理を実行する。プロセッサ１８は、内視鏡画像と各トロカール画像とを合成する画像合成機能を有しており、本発明の画像合成装置として機能する。図１に示すように、プロセッサ１８のモニタ１９には、内視鏡画像とトロカール画像の合成画像が表示される。こうした合成画像によって腹腔内の視野が医療スタッフＳＴに提供される。
【００３９】
図２および図３にも示すように、内視鏡１１はトロカール２１を通じて患者Ｐの腹腔内に挿入される。内視鏡１１用のトロカール２１は、第１トロカール１６および第２トロカール１７と異なり、カメラが設けられていない通常のトロカールである。トロカール２１は内視鏡１１を腹腔内に挿入するための挿入ポートとして利用される挿入器具である。トロカール２１は、略円筒形状のパイプ部と、パイプ部の基端側に設けられ、パイプ部よりも大径のハンドル部とを有している。トロカール２１には、内部を軸方向に貫通する挿通孔が設けられており、挿通孔に内視鏡１１が挿通される。
【００４０】
また、後述するように、腹腔内は炭酸ガスの注入によって気腹が行われるため、ハンドル部には、挿通孔を通じたガス漏れを防止するバルブが設けられている。バルブには、内視鏡１１が挿通されるため、内視鏡１１を挿通孔に通しつつ、挿通孔を気密に封止する機能が求められる。そのため、バルブとしては例えばダックビルバルブなどが用いられる。
【００４１】
腹腔鏡手術において、患者Ｐの腹壁２３（図２参照）には、各トロカール２１、１６、１７を挿入するための複数のポート孔２６、２７が切開によって開けられる。図３に示すように、本例においては、ポート孔２６、２７の数は、例えば、内視鏡１１用の１つのポート孔２６と、処置具２２用の２つのポート孔２７の合計３つである。３つのポート孔２６、２７の位置は、例えば、内視鏡１１用のポート孔２６を中央に、その左右に処置具２２用のポート孔２７が設けられる。なお、本例のポート孔２６、２７の数や位置は一例であり、手術の対象部位、使用する処置具の数などによって適宜決められる。
【００４２】
トロカール２１は、ポート孔２６に挿入されて、腹壁２３に固定される。第１トロカール１６および第２トロカール１７は、２つのポート孔２７のそれぞれに挿入されて腹壁２３に固定される。これにより、トロカール２１は、内視鏡１１用の挿入ポートとして利用可能になり、第１トロカール１６および第２トロカール１７は、処置具２２用の挿入ポートとして利用可能となる。
【００４３】
図１のモニタ１９の画面に示すように、中央の挿入ポート（トロカール２１）に挿入される内視鏡１１によって、腹腔内において処置対象の部位全体を俯瞰した視野が提供され、内視鏡１１の両側に位置する第１および第２トロカール１６、１７によって、処置具２２の先端部２２Ａを中心としたその周辺の視野が提供される。
【００４４】
図２に示すように、腹腔鏡手術に際しては、炭酸ガスの注入により腹腔を拡張する気腹処置が行われる。第１トロカール１６および第２トロカール１７には、ガス供給装置（図示せず）の送気管が接続される接続口４９（図４および図５参照）が設けられている。ガス供給装置から供給される炭酸ガスは、第１トロカール１６および第２トロカール１７を通じて腹腔内に注入される。
【００４５】
内視鏡１１は、例えば、挿入部１１Ａが金属などの硬質部材で形成された硬性内視鏡である。挿入部１１Ａの先端部には、腹腔内の被写体（内臓など）に照明光を照射する照明窓と、被写体で反射した反射光を受光して被写体を撮影するカメラユニット２８（図２、図７参照）とが設けられている。カメラユニット２８は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサなど、受光した光を光電変換する撮像素子（図示せず）と、撮像素子の撮像面に被写体の光学像を結像させる撮影レンズ（図示せず）とを有する。
【００４６】
撮像素子は、例えば、撮像面に、Ｒ（red）、Ｇ（green）、Ｂ（blue）のマイクロカラーフィルタが設けられたカラー撮像素子である。三色のマイクロカラーフィルタは、例えば、ベイヤー配列で、各画素にいずれか一色が割り当てられる。カメラユニット２８は、撮像素子が光電変換した電気信号を、ＲＧＢの三色の画像信号として出力する。撮像素子は、動画撮影が可能であり、所定のフレームレートで画像信号を出力する。画像信号は信号線を介してプロセッサ１８に順次出力される。
【００４７】
挿入部１１Ａ内には、信号線やライトガイドなどが配設される。ライトガイドは、照明窓に光源装置（図示せず）から供給される照明光を導光する。内視鏡１１の基端部には、信号線やライトガイドを内部に配設するユニバーサルケーブル（図示せず）の一端が設けられている。ユニバーサルケーブルの他端には、ライトガイドを光源装置に接続するコネクタや、信号線をプロセッサ１８に接続するコネクタが設けられている。内視鏡１１は、ユニバーサルケーブルを介して、光源装置およびプロセッサ１８と接続される。
【００４８】
図４〜図６に示すように、第１および第２の各トロカール１６、１７は、通常のトロカール２１と同様に、パイプ部３１とパイプ部３１の基端側に設けられたハンドル部３２とを備えている。各トロカール１６、１７には、パイプ部３１およびハンドル部３２内を軸方向に貫通する挿通孔３３が設けられており、挿通孔３３に処置具２２が挿通される。図４および図５に示すように、処置具２２の先端部２２Ａは、パイプ部３１の先端部３１Ａに形成された、挿通孔３３の出口から突没する。
【００４９】
パイプ部３１の先端部３１Ａには、格納式のカメラ部３６が設けられている。カメラ部３６は、図５に示すように、パイプ部３１の内部に格納される格納位置と、図４に示すように、パイプ部３１から径方向に突出して展開する展開位置とに移動自在に設けられている。
【００５０】
カメラ部３６は、カメラユニット３７（図７参照）と、カメラユニット３７を収容するハウジング３８とで構成される。カメラユニット３７はトロカールカメラに相当する。カメラユニット３７は、内視鏡１１のカメラユニット３７と同様に撮像素子（図示せず）や撮影レンズ３７Ａを有する。また、カメラユニット３７の撮影レンズ３７Ａの両脇には、被写体に照射する照明光の光源としてＬＥＤ（Light Emitting Diode）などの発光素子３７Ｂが設けられている。
【００５１】
図６に示すように、パイプ部３１は、外筒４１と内筒４２の二重構造になっている。内筒４２は、外筒４１に対して軸方向にスライド自在に設けられている。内筒４２は、ハンドル部３２の基端側まで延びており、内筒４２の基端側には、内筒４２をスライド操作するためのフランジ形状の操作部４２Ａが設けられている。操作部４２Ａを基端側に引くと、内筒４２が基端側に後退し、操作部４２Ａを先端側に押し込むと、内筒４２が先端側に前進する。こうした操作部４２Ａによる内筒４２のスライド操作によってカメラ部３６の格納と展開が行われる。
【００５２】
カメラ部３６の両側面には、軸方向と直交する水平方向に突出するボス４３が設けられている。内筒４２には、ボス４３と係合する係合溝４６Ａが形成された係合板４６が設けられており、係合板４６は、内筒４２とともに軸方向にスライドする。係合溝４６Ａは、軸方向に対して傾斜しており、ボス４３と協働して、軸方向にスライドする係合板４６のスライド運動を、軸方向と直交する上下方向にカメラ部３６を昇降させる昇降運動に変換するカム機構として機能する。
【００５３】
カメラ部３６が展開位置にある状態で、操作部４２Ａを基端側に引く操作により係合板４６が基端側に後退すると、係合溝４６Ａとボス４３の係合により、カメラ部３６が下降して展開位置から格納位置に移動する。反対に、カメラ部３６が格納位置にある状態で、操作部４２Ａを先端側に押し込む操作により係合板４６が先端側に前進すると、係合溝４６Ａとボス４３の係合により、カメラ部３６が格納位置から展開位置に移動する。
【００５４】
ポート孔２７に対するパイプ部３１の挿抜は、カメラ部３６を格納した状態で行われて、パイプ部３１が腹腔内に挿入された後、カメラ部３６は展開される。
【００５５】
カメラ部３６が格納位置にある状態では、カメラ部３６のハウジング３８の一部は、パイプ部３１の先端部３１Ａの外周面の一部を構成し、パイプ部３１の他の部分と段差が生じないように形成される。これにより、パイプ部３１のポート孔２７への挿抜の際に引っ掛かりが生じないようにしている。
【００５６】
また、パイプ部３１において、先端部３１Ａの後方には、滑り止め３１Ｂが形成されている。滑り止め３１Ｂは、所望の挿入位置でパイプ部３１を腹壁２３に確実に固定するためのものである。滑り止め３１Ｂは、軸方向と直交する周方向に形成された複数の凹凸からなり、他の部分よりも摩擦係数が高くなっている。滑り止め３１Ｂと腹壁２３の位置を合わせると、滑り止め３１Ｂの作用により、腹壁２３に対してパイプ部３１が固定される。
【００５７】
ハンドル部３２には、トロカール２１と同様に挿入孔からのガス漏れを防止するためのダックビルバルブ（図示せず）が設けられている。また、ハンドル部３２には、プロセッサ１８と接続するためのケーブル（図示せず）が着脱自在に接続されるコネクタ部４８が設けられている。コネクタ部４８には、カメラユニット３７から延びる信号線や電源供給線と接続し、接続された配線が接続される端子が設けられている。
【００５８】
また、ハンドル部３２には、ガス供給装置の送気管が接続される接続口４９が設けられている。信号線、電源供給線、および接続口４９を通じて供給される炭酸ガスの送気路は、外筒４１と内筒４２の間に配設されている。
【００５９】
図７に示すように、腹腔鏡システム１０のプロセッサ１８は、制御部７１、画像処理部７２、ビデオ信号処理部７３、第１〜第３の入力Ｉ／Ｆ７４Ａ、７４Ｂ、７４Ｃ、メモリ７６を備えている。制御部７１は、プロセッサ１８の各部を統括的に制御する。コンソール２０は、キーボード、マウス、フットスイッチなどの操作部であり、制御部７１に対して操作信号を入力する。
【００６０】
制御部７１は、プロセッサ１８の各部を統括的に制御する。制御部７１は、コンソール２０の操作を受け付けて、操作内容に応じた処理や各種設定を行う。また、制御部７１は、図示しないドライバを介して、内視鏡１１のカメラユニット２８に対して駆動信号を出力して、カメラユニット２８の駆動を制御する。また、制御部７１は、図示しないドライバを介して、第１および第２のトロカール１６、１７のカメラユニット３７に対して駆動信号を出力して、カメラユニット３７の駆動を制御する。
【００６１】
第３入力Ｉ／Ｆ７４Ｃは、内視鏡１１のケーブルと接続されて、内視鏡１１が出力する画像信号を取得するインタフェースである。第１および第２の入力Ｉ／Ｆ７４Ａ、７４Ｂは、第１および第２の各トロカール１６、１７のそれぞれのケーブルと接続されて、各トロカール１６、１７のカメラユニット３７が出力する画像信号を取得するインタフェースである。
【００６２】
プロセッサ１８は、各入力Ｉ／Ｆ７４Ａ〜７４Ｃから順次入力される、内視鏡画像とトロカール画像とをリアルタイムで合成する。そのため、制御部７１は、カメラユニット３７とカメラユニット２８の駆動タイミングを同期させる同期制御を行う。これにより、合成される内視鏡画像とトロカール画像の入力タイミングを同期させることができる。
【００６３】
内視鏡１１には、カメラユニット２８から出力されるアナログの画像信号を信号処理するＡＦＥ（Analog Front End）回路６８が設けられる。ＡＦＥ回路６８は、イメージセンサのリセットノイズを除去するＣＤＳ(correlated double sampling：相関２重サンプリング回路)、イメージセンサからの出力信号のゲインの増幅を行い、一定の出力レベルが維持されるように補正するＡＧＣ（Auto Gain Control：自動ゲイン補正）回路、アナログ信号をデジタル信号に変換するＡＤＣ（Analog Digital Converter）変換回路などからなる。第３入力Ｉ／Ｆ７４Ｃには、デジタル信号に変換された内視鏡画像の画像信号が入力される。
【００６４】
各トロカール１６、１７のコネクタ部４８内には、カメラユニット３７が出力する画像信号に対して信号処理を施すＡＦＥ回路が設けられている。ＡＦＥ回路の構成および機能は、内視鏡１１のＡＦＥ回路６８と同様である。第１および第２の各入力Ｉ／Ｆ７４Ａ、７４Ｂには、デジタル信号に変換されたトロカール画像の画像信号が入力される。
【００６５】
画像処理部７２には、第３入力Ｉ／Ｆ７４Ｃを通じて、内視鏡画像のＲＧＢの画像信号が入力される。加えて、画像処理部７２には、第１入力Ｉ／Ｆ７４Ａ、７４Ｂを通じて、トロカール画像のＲＧＢの画像信号が入力される。画像処理部７２は、内視鏡画像のＲＧＢの画像信号およびトロカール画像のＲＧＢの画像信号に対して、デモザイク（同時化）処理、ホワイトバランス処理、ガンマ処理、ＹＣ処理などの画像処理を施す。
【００６６】
デモザイク処理では、各画素当たりＲＧＢのいずれか１色の色信号しか持たない画像信号を、補間処理により各画素当たりＲＧＢの三色の色信号を持つ画像信号に変換する。ホワイトバランス処理では、白に対するＲＧＢの色信号のバランスを調整し、ガンマ処理では、カメラユニット２８、３７やモニタ１９に応じた入出力特性を補正する。ＹＣ処理では、ＲＧＢの画像信号を、輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）に変換する。
【００６７】
画像処理部７２は、こうした一般的な画像処理機能に加えて、画像合成機能を有している。画像処理部７２は、画像合成部７７と変位検知部７８を備えている。画像合成部７７は、内視鏡１１によって撮影された１つの内視鏡画像と各トロカール１６、１７によって撮影された２つのトロカール画像とを合成して合成画像を生成する。
【００６８】
画像合成部７７は、第１および第２の各入力Ｉ／Ｆ７４Ａ、７４Ｂから画像処理済みの第１および第２のトロカール画像を、第３入力Ｉ／Ｆ７４Ｃから画像処理済みの内視鏡画像をそれぞれ取得する。本例において、画像合成部７７は、内視鏡画像を取得する内視鏡画像取得部、各トロカール画像を取得するトロカール画像を取得するトロカール画像取得部として機能する。
【００６９】
画像合成部７７は、予め設定された合成条件に基づいて合成画像を生成する。メモリ７６には、合成条件を含む設定情報７９が記録される。また、画像合成部７７は、いったん生成した合成画像の表示態様を、内視鏡画像内の処置具２２の変位に応じて変更する機能を有している。
【００７０】
図８に示すように、合成条件には、例えば、表示態様設定とトロカール左右設定が含まれている。表示態様設定は、合成画像におけるトロカール画像の表示態様に関する設定である。表示態様設定には、例えば、挿入位置の初期設定と変更条件が含まれる。
【００７１】
本例では、合成画像は、内視鏡画像を親画像、トロカール画像を子画像として、ＰｉｎＰ手法で内視鏡画像内にトロカール画像を挿入する（図１３参照）。挿入位置の初期設定は、トロカール画像を内視鏡画像内のどこに挿入するかを示す挿入位置に関する初期設定である。本例では、トロカール画像がそれぞれ入力される第１および第２の入力Ｉ／Ｆ７４Ａ、７４Ｂともに「画面下隅」が設定されており、この初期設定では、合成画像の四隅のうち画面の下側の隅が初期挿入位置となる。
【００７２】
なお、挿入位置の初期設定としては、合成画像の四隅でなくてもよい。ただし、内視鏡画像の主要被写体は画面中央に位置する場合が多いので、初期設定としては、主要被写体と重なるおそれが低い四隅であることが好ましい。
【００７３】
また、変更条件は、トロカール画像の表示態様を変更する条件である。本例においては、トロカール画像の挿入位置を合成画像内で変更する条件である。変更条件には、例えば「処置具連動」が含まれる。「処置具連動」とは、合成画像内におけるトロカール画像の挿入位置を、内視鏡画像内の処置具の変位に連動して変更するものである。
【００７４】
トロカール左右設定は、第１および第２のトロカール１６、１７の左右と、第１および第２の入力Ｉ／Ｆ７４Ａ、７４Ｂから入力される２つのトロカール画像の左右とを対応させるための設定である。本例においては、図３に示すように、内視鏡１１のポート孔２６の右側のポート孔２７に、第１トロカール１６が挿入され、左側のポート孔２７に第２トロカール１７が挿入される。このため、内視鏡１１に対して、右側に第１トロカール１６が、左側に第２トロカール１７がそれぞれ配置される。
【００７５】
内視鏡画像においては、内視鏡１１の右側に位置する第１トロカール１６に挿入される処置具２２は右側に描出され、左側に位置する第２トロカール１７に挿入される処置具２２は左側に描出される。そのため、各トロカール１６、１７の左右（ポート孔２７の左右）と、合成画像内におけるトロカール画像の挿入位置の左右とが対応していないと、合成画像が見にくい。このような左右の対応を設定するのがトロカール左右設定である。
【００７６】
本例では、内視鏡１１の右側のポート孔２７に位置する第１トロカール１６は、第１入力Ｉ／Ｆ７４Ａに設定されているため、第１入力Ｉ／Ｆ７４Ａが右（Ｒ）に設定される。そして、内視鏡１１の左側のポート孔２７に位置する第２トロカール１７は、第２入力Ｉ／Ｆ７４Ｂに設定されているため、第２入力Ｉ／Ｆ７４Ｂが左（Ｌ）に設定される。
【００７７】
トロカール左右設定において、ポート番号（ポートＮｏ１、Ｎｏ２）は、患者Ｐの体に設けられる複数のポート孔２７を識別するために、それぞれに任意に付与されるポート識別情報である。例えば、図３に示す２つのポート孔２７の位置を識別するために、病院毎に任意のポート番号を各ポート孔２７に付与して、ポート番号で各ポート孔２７を呼称する場合がある。ポート番号は、病院毎に付与ルールが異なる場合があるため、ユーザが任意に設定することができる。本例では、右側のポート孔２７がポートＮｏ１と設定され、左側のポート孔２７がポートＮｏ２と設定される。
【００７８】
合成条件の設定は、図９に示す合成条件設定画面８１によって行われる。合成条件設定画面８１は、モニタ１９に表示され、コンソール２０のキーボードやマウスによって操作される操作画面である。合成条件設定画面８１には、表示態様設定領域８２と、トロカール左右設定ボタン８３とが設けられている。
【００７９】
表示態様設定領域８２には、挿入位置の初期設定を行う入力ボックス８２Ａと変更条件の設定を行う入力ボックス８２Ｂが設けられている。各入力ボックス８２Ａ、８２Ｂは、ポインタ８４で指定されてマウスによってクリック操作が行われると、複数の項目（画面上隅、画面下隅、初期位置固定、処置具連動など）を表示するプルダウンメニューを表示する。このメニューの中から選択された項目が各入力ボックス８２Ａ、８２Ｂに設定される。
【００８０】
トロカール左右設定ボタン８３が操作されると、図１０に示すトロカール設定画面８６が表示される。トロカール設定画面８６には、内視鏡画像９１を表示する第１領域８６Ａと、各入力Ｉ／Ｆ７４Ａ、７４Ｂから入力される、第１および第２の各トロカール画像９２、９３を表示する第２領域８６Ｂとが設けられている。なお、以下において、第１および第２トロカール１６、１７と同様に、第１トロカール画像９２と第２トロカール画像９３については、両者を明確に区別する必要が無い場合には、第１および第２の修飾を省略して、単に各トロカール画像９２、９３という場合もある。
【００８１】
第１領域８６Ａの内視鏡画像９１には、各トロカール画像９２、９３を挿入する挿入位置を示す挿入枠９４が表示される。２つの挿入枠９４の挿入位置は、挿入位置の初期設定に従って設定される。本例においては、初期挿入位置として、「画面下隅」が設定されている例を示しており、内視鏡画像９１の画面下隅に２つの挿入枠９４が表示されている。
【００８２】
各挿入枠９４内には、内視鏡画像９１内の左右を示すＬ、Ｒの文字と、左右の各ポート孔２７に病院内で設定されたポート番号（Ｎｏ１、Ｎｏ２）とが表示される。また、第１領域８６Ａには、手術対象部位である腹部の模式図に、図３に示すポート孔２６、２７の位置と、それぞれのポート番号とを示した番号案内図９６が表示される。番号案内図９６により、各ポート孔２６、２７に付与されたポート番号と、トロカール１６、１７が挿入される２つのポート孔２７の左右の位置関係を確認することができる。本例に示すとおり、２つの挿入枠９４内の左右（Ｌ、Ｒ）の位置と、ポート番号（Ｎｏ２、Ｎｏ１）の表示は対応している。
【００８３】
こうした挿入枠９４内の表示や番号案内図９６などの案内表示に従って、トロカールの左右設定が行われる。例えば、本例では、図３に示すように、患者Ｐの正面と対峙する医療スタッフＳＴから見て右側のポート孔２７（Ｎｏ１）に第１トロカール１６が挿入されている。そして、その第１トロカール１６は第１入力Ｉ／Ｆ７４Ａに接続されているため、第１入力Ｉ／Ｆ７４Ａから入力される第１トロカール画像９２の挿入位置は、内視鏡画像９１の右側に設定される。
【００８４】
具体的な操作は、例えば、トロカール設定画面８６において、ポインタ８４によって、第１入力Ｉ／Ｆ７４Ａから入力される第１トロカール画像９２を指定して、ドラッグ操作により、第１トロカール画像９２を右側の挿入枠９４へ移動する。この操作により、第１入力Ｉ／Ｆ７４Ａと右側の挿入枠９４とが関連付けられて、第１トロカール画像９２の挿入位置が設定される。
【００８５】
一方、図３に示すように、医療スタッフＳＴから見て左側のポート孔２７（Ｎｏ２）には第２トロカール１７が挿入されている。そして、その第２トロカール１７は第２入力Ｉ／Ｆ７４Ｂに接続されているため、第２入力Ｉ／Ｆ７４Ｂから入力される第２トロカール画像９３の挿入位置は、内視鏡画像９１の左側に設定される。上述のポインタ８４のドラッグ操作により、第２トロカール画像９３を左側の挿入枠９４へ移動する。この操作により、第２入力Ｉ／Ｆ７４Ｂと左側の挿入枠９４とが関連付けられて、第２トロカール画像９３の挿入位置が設定される。こうしたトロカール左右設定の内容は、図８に示す設定情報７９に記録される。
【００８６】
図１１に示すように、内視鏡１１の視野は、病変などの処置対象となる対象部位９７（ハッチングで示す）を中心に、術野を俯瞰できる位置に設定される。内視鏡画像９１において、画面の両側には、左右の各トロカール１６、１７から突出して、画面中心の対象部位９７にアクセスする各処置具２２が位置する。
【００８７】
これに対して、各トロカール１６、１７の視野９８は、各トロカール１６、１７の先端から突出する処置具２２の先端部２２Ａが、各トロカール画像９２、９３の撮影範囲に含まれるように設定される。トロカール画像を撮影する主目的は、対象部位９７にアクセスする処置具２２の先端部２２Ａとその周辺の視野を確保することにあるからである。
【００８８】
画像合成部７７は、図１２に示す手順で、合成画像９９を生成する。画像合成部７７は、画像合成の際に、設定情報７９から、トロカール画像９２、９３の挿入位置の初期設定の内容とトロカール左右設定の内容を読み出して、トロカール画像９２、９３の表示態様を決定する。画像合成部７７は、本例（図８に示す例）では、読み出した設定内容に従って、第１入力Ｉ／Ｆ７４Ａから入力される第１トロカール画像９２の挿入位置を、内視鏡画像９１の画面下隅の右側と判定し、第２入力Ｉ／Ｆ７４Ｂから入力される第２トロカール画像９３の挿入位置を、画面下隅の左側と判定する。
【００８９】
画像合成部７７は、決定した表示態様に従って、第３入力Ｉ／Ｆ７４Ｃから入力される内視鏡画像９１と、第１および第２入力Ｉ／Ｆ７４Ａ、７４Ｂから入力される各トロカール画像９２、９３とを画像合成して、合成画像９９を生成する。画像合成部７７は、生成した合成画像９９を、ビデオ信号処理部７３に出力する。
【００９０】
ビデオ信号処理部７３は、画像合成された合成画像の画像信号を、コンポジット信号やコンポーネント信号など、モニタ１９に出力するためのビデオ信号に変換する。このような画像合成およびビデオ信号処理は、カメラユニット２８、３７のフレームレートに同期して順次行われる。
【００９１】
図１３は、合成画像９９を表示する合成画像表示画面１０１の例である。また、プロセッサ１８は、合成画像９９をモニタ１９に出力する他、保存用に合成画像９９をメモリに出力することも可能である。さらに、合成画像表示画面１０１において、合成画像９９の出力に加えて、トロカール画像９２、９３の拡大画像を表示できるようにしてもよい。また、合成画像９９を出力せずに、内視鏡画像９１やトロカール画像９２、９３を単独でモニタ１９に出力するモードを備えてもよい。
【００９２】
また、図１４〜図１７に示すように、画像合成部７７は、内視鏡画像９１内における処置具２２の変位に連動して、各トロカール画像９２、９３の表示態様を変更する機能を備えている。図１４〜図１７に示すように、内視鏡画像９１において、画面の左右に２つの処置具２２が描出されている場合には、画像合成部７７は、処置具２２の左右を判別して、各処置具２２の変位を検知する。ここで、図１４〜図１７の内視鏡画像９１、トロカール画像９２、９３において、処置具２２の符号に追加的に付される（Ｒ）、（Ｌ）の符号は、各処置具２２が、内視鏡画像９１の画面において、右（Ｒ）、左（Ｌ）のどちらに描出されているかという左右の相対的な描出位置を表す細別符号である。以下において、処置具２２および先端部２２Ａに対して、必要に応じて、左右の細別符号を付す。
【００９３】
画像合成部７７が有する表示態様を変更する機能について、例えば、図１４に示すように、内視鏡画像９１において、右側の処置具２２（Ｒ）が、画面下向きの矢印で示すように、画面右側の中央部分から画面下右隅に移動した場合を考える。処置具２２の移動先である画面下右隅は、第１トロカール画像９２の初期挿入位置に設定されているので、移動後の処置具２２（Ｒ）は、第１トロカール画像９２と重なって、その影に隠れてしまう。
【００９４】
このような場合に、図１５に示すように、画像合成部７７は、内視鏡画像９１内において、処置具２２（Ｒ）と第１トロカール画像９２が重ならない位置に、第１トロカール画像９２を移動する。画像合成部７７は、左側の処置具２２（Ｌ）が内視鏡画像９１内で移動した場合には、右側の場合と同様に、第２トロカール画像９３を移動する。画像合成部７７は、このような各処置具２２（Ｒ）、（Ｌ）の変位に連動して、トロカール画像９２、９３の表示態様を変更する。こうした表示態様の変更は、変位検知部７８が出力する変位情報に基づいて行われる。なお、こうした表示態様の変更機能は、設定によりオンオフが可能であり、図７および図８で示した設定情報７９に示したとおり、変更条件を処置具連動に設定している場合に有効になる。
【００９５】
図７に示したように、第３入力Ｉ／Ｆ７４Ｃから入力される内視鏡画像９１は、画像合成部７７に加えて、変位検知部７８にも入力される。変位検知部７８は、内視鏡画像９１を画像解析することにより、処置具２２の変位を検知する。
【００９６】
図１６に示すように、具体的には、変位検知部７８は、まず、内視鏡画像９１から処置具２２を抽出する抽出処理を行う。処置具２２の抽出は、例えば、周知のパターンマッチングの手法により行われる。パターンマッチングによる抽出は、予め設定された処置具２２の形状を表す特徴量と、内視鏡画像９１内の各部の特徴量とを照合して、内視鏡画像９１内に予め設定された特徴量を持つ処置具２２が存在するか否かを判定することにより行う。
【００９７】
また、処置具２２の抽出においては、色によって処置具２２を識別する手法を用いてもよい。処置具２２は、ステンレスなどの金属や樹脂で構成されているため、処置具２２の色は、血管の色である赤を基調とした生体組織の色とは明確に異なる。内視鏡画像９１において、このような色の違いに基づいて処置具２２を識別することができる。もちろん、パターンマッチングの手法や、色による識別手法を組み合わせてもよい。
【００９８】
変位検知部７８は、次に、抽出した処置具２２の位置を判定する。位置情報は、内視鏡画像９１内において、抽出された処置具２２が位置する座標情報として出力される。変位検知部７８は、本例のように抽出した処置具２２が２つある場合には、座標情報に基づいて、抽出した各処置具２２の右（Ｒ）、左（Ｌ）の相対的な位置を判別する。
【００９９】
変位検知部７８は、カメラユニット２８から所定のフレームレートで出力され、プロセッサ１８を通じて順次入力される内視鏡画像９１の各フレームについて、処置具２２の位置を判定し、フレーム間において処置具２２の位置が変化した場合に処置具２２の変位を検知する。そして、変位検知部７８は、処置具２２の変位を検知した場合には、変位情報を画像合成部７７に出力する。変位情報には、変位後の処置具２２の位置情報が含まれる。ここで、画像合成部７７は、変位情報取得部に相当する。こうした処置具２２の変位検知は、抽出された左右の各処置具２２（Ｒ）、（Ｌ）に対して個別に行われる。
【０１００】
例えば、図１６に示す内視鏡画像９１において示すように、右側の処置具２２（Ｒ）の位置が、変位前の実線で示す位置から、画面下の波線で示す位置に移動した場合には、変位検知部７８は、変位後の波線で示す処置具２２（Ｒ）の位置情報を含む変位情報を出力する。この変位情報は、右側の処置具２２（Ｒ）に関するものであるため、変位情報には、右側の処置具２２（Ｒ）の情報であることを示す左右識別情報が含まれる。こうした変位情報は、処置具２２（Ｒ）、（Ｌ）毎に生成されて、変位検知部７８から画像合成部７７に出力される。
【０１０１】
画像合成部７７は、設定情報７９の変更条件として処置具連動が設定されている場合には、入力された変位情報に基づいて、合成画像９９の表示態様を変更する。この変更に際して、画像合成部７７は、まず、入力された変位情報と、その変位情報に基づいて表示態様を変更する対象となる、各トロカール画像９２、９３とを対応付ける変位情報対応付け処理を実行する。
【０１０２】
変位情報対応付け処理において、画像合成部７７は、変位情報に含まれている左右識別情報に基づいて、入力された変位情報が、内視鏡画像９１内において左右のどちらの処置具２２（Ｒ）、（Ｌ）に関するものか否かを判別する。そして、画像合成部７７は、変位情報の左右の判別結果に基づいて、入力された変位情報と、各トロカール画像９２、９３との対応付けを行う。
【０１０３】
本例のように、内視鏡画像９１において、右側の処置具２２（Ｒ）が移動した場合には、図１７に示すように、変位検知部７８が出力する変位情報には、右（Ｒ）を表す左右識別情報が含まれる。一方、設定情報７９のトロカール左右設定を参照すると、内視鏡画像９１における初期挿入位置が右側（Ｒ）に設定されているのは、第１入力Ｉ／Ｆ７４Ａから入力される第１トロカール画像９２であることが分かる。そのため、画像合成部７７は、入力された変位情報と第１トロカール画像９２を対応付ける。これにより、入力された変位情報に基づく表示態様の変更対象は第１トロカール画像９２であると特定される。
【０１０４】
同様に、入力された変位情報に、左（Ｌ）を表す左右識別情報が含まれている場合には、画像合成部７７は、変位情報と、第２トロカール画像９３とを対応付ける。画像合成部７７は、こうした左右の対応付けを行った上で、左右の各変位情報に基づいて、各トロカール画像９２、９３の表示態様の変更を行う。
【０１０５】
図１６において、変位情報対応付け処理の後、画像合成部７７は、変位情報に基づいて、表示態様の変更が必要か否かの要否を判定する。要否判定を行う理由は、処置具２２が変位した場合でも、変位情報によって特定される変位後の処置具２２の位置と、合成画像９９内におけるトロカール画像９２、９３の挿入位置とが重ならない場合には、表示態様を変更する必要が無いからである。
【０１０６】
要否判定において、画像合成部７７は、変位情報によって特定される変位後の処置具２２の位置と、合成画像９９における、トロカール画像９２、９３のいずれかの挿入位置が重なるか否かを判定する。本例では、右側の処置具２２（Ｒ）の変位後の位置が右側のトロカール画像９２と重なるため、画像合成部７７は、表示態様の変更が必要と判定する。その場合には、合成画像９９に示すように、トロカール画像９２を処置具２２（Ｒ）と重ならないように、トロカール画像９２の挿入位置を右上方に移動する。
【０１０７】
一方、変位情報によって特定される変位後の処置具２２の位置と、合成画像９９内におけるトロカール画像９２、９３の挿入位置とが重ならない場合には、画像合成部７７は、表示態様の変更は不要と判定する。この場合には、画像合成部７７は、トロカール画像９２、９３の移動を行わず、合成画像９９の表示態様を変更しない。この場合には、初期設定で決定された表示態様に従って、合成画像９９を生成する。
【０１０８】
以上で説明した構成による作用について、図１８に示すフローチャートを参照しながら説明する。腹腔鏡手術を行う際には、まず、患者Ｐの腹部に、例えば図３に示すように３つのポート孔２６、２７が開けられる。
【０１０９】
中央のポート孔２６には、カメラ機能の無い通常のトロカール２１が挿入される。ポート孔２６の両脇の２つのポート孔２７には、カメラ機能を備えた第１および第２の各トロカール１６、１７が挿入される。本例では、患者Ｐの腹部と対峙する医療スタッフＳＴから見て、右側のポート孔２７には第１トロカール１６が挿入され、左側のポート孔２７には第２トロカール１７が挿入される。
【０１１０】
この後、内視鏡１１がプロセッサ１８の第３入力Ｉ／Ｆ７４Ｃに接続される。第１トロカール１６はプロセッサ１８の第１入力Ｉ／Ｆ７４Ａに接続され、第２トロカール１７は第２入力Ｉ／Ｆ７４Ｂに接続される。
【０１１１】
接続完了後、プロセッサ１８が起動される。これにより、内視鏡１１のカメラユニット２８と第１および第２の各トロカール１６、１７のカメラユニット３７の駆動が開始されて、撮影が開始される。カメラユニット２８は、所定のフレームレートで画像信号を出力し、ＡＦＥ回路６８による信号処理済みの画像信号がプロセッサ１８に入力される。カメラユニット３７も所定のフレームレートで画像信号を出力し、コネクタ部４８内のＡＦＥ回路による信号処理済みの画像信号がプロセッサ１８に入力される。
【０１１２】
プロセッサ１８において、第３入力Ｉ／Ｆ７４Ｃから入力される内視鏡画像９１の画像信号は、画像処理部７２に入力されて画像処理が施される。同様に、第１および第２入力Ｉ／Ｆ７４Ａ、７４Ｂから入力される第１および第２のトロカール画像９２、９３の画像信号は、画像処理部７２に入力されて画像処理が施される。これにより、プロセッサ１８の画像処理部７２において、内視鏡画像９１およびトロカール画像９２、９３の取得が開始される（Ｓ１０１、Ｓ１０２）。
【０１１３】
画像合成部７７は、内視鏡画像９１とトロカール画像９２、９３が入力されると、合成画像９９を生成する画像合成処理を開始する（Ｓ１０３）。この段階では、合成条件についてユーザによる設定がなされていない場合があるため、合成条件としては、製造時にプリセットされた条件を使用したり、前回起動時に設定された条件が引き継がれる。画像合成部７７が生成した合成画像９９は、ビデオ信号処理部７３を介してモニタ１９に出力される。
【０１１４】
医療スタッフＳＴは、モニタ１９に表示される合成画像９９を確認しながら、内視鏡１１とトロカール１６、１７の腹腔内への挿入作業を行う。まず、トロカール２１を挿入ポートとして、内視鏡１１が腹腔内に挿入される。そして、トロカール１６、１７を挿入ポートとして、処置具２２が腹腔内に挿入される。
【０１１５】
この後、プロセッサ１８において、コンソール２０から図８に示す合成条件設定画面８１が操作されて合成条件設定が行われる。表示態様設定において、例えば、初期挿入位置は「画面下隅」が設定され、変更条件は「処置具連動」が選択される。
【０１１６】
また、トロカール設定画面８６を通じてトロカール左右設定が行われる。本例では、右側のポート孔２７（ポートＮｏ１）に挿入された第１トロカール１６が、第１入力Ｉ／Ｆ７４Ａに接続されているため、第１トロカール画像９２が右側に設定される。一方、左側のポート孔２７（ポートＮｏ２）に挿入された第２トロカール１７が、第２入力Ｉ／Ｆ７４Ｂに接続されているため、第２トロカール画像９３が左側に設定される。
【０１１７】
画像合成部７７は、合成条件の設定が行われた場合には、設定された合成条件に従って画像合成を行う。また、内視鏡画像９１は、画像合成部７７に加えて変位検知部７８にも入力される。変位検知部７８は、内視鏡画像９１が入力されると、内視鏡画像９１の画像解析による、処置具２２の変位検知を開始する（Ｓ１０４）。変位検知部７８は、処置具２２の変位を検知した場合には、変位後の処置具２２の位置情報を含む変位情報を画像合成部７７に出力する（Ｓ１０５でＹ）。
【０１１８】
変位検知部７８は、内視鏡画像９１内に２つの処置具２２が描出されている場合には、座標情報に基づいて、内視鏡画像９１から抽出された各処置具２２の右（Ｒ）、左（Ｌ）の相対的な位置を判定する。そして、変位検知部７８は、抽出された処置具２２毎に変位情報を出力する。この変位情報には、図１７に示すように、右（Ｒ）、左（Ｌ）の左右識別情報が含められる。
【０１１９】
画像合成部７７は、図１７に示すように入力された変位情報の対応付けを行った後、変位情報に基づいて表示態様の変更の要否を判定する（Ｓ１０６）。画像合成部７７は、変位情報に含まれる、変位後の処置具２２の位置情報に基づいて、内視鏡画像９１内において、変位後の処置具２２の位置と、トロカール画像９２、９３の初期挿入位置とが重なるか否かを判定する。
【０１２０】
図１４に示すように、内視鏡画像９１において、変位後の処置具２２（Ｒ）の位置が第１トロカール画像９２の初期挿入位置と重なる場合には、画像合成部７７は、表示態様の変更が必要と判定する（Ｓ１０６でＹ）。
【０１２１】
この場合には、画像合成部７７は、図１５に示すように、第１トロカール画像９２の挿入位置を第１トロカール画像９２と重ならない位置に移動することにより、合成画像９９の表示態様を変更する。
【０１２２】
一方、処置具２２が変位しても、各トロカール画像９１、９２のいずれの初期挿入位置とも重ならない場合は、表示態様の変更は不要と判定する（Ｓ１０６でＮ）。画像合成部７７は、合成画像９９の表示が終了するまで、こうした処理を繰り返す（Ｓ１０８）。
【０１２３】
医療スタッフＳＴは、モニタ１９に表示される合成画像９９を通じて腹腔内を観察しながら、処置具２２を操作して手技を行う。医療スタッフＳＴは、合成画像９９内の内視鏡画像９１によって、対象部位９７を中心とする全体的な視野を確保することができる。
【０１２４】
また、合成画像９９内のトロカール画像９２、９３によって、処置具２２の先端部２２Ａを中心とする視野を確保することができる。これにより、内視鏡画像９１のみでは死角になってしまう部分の視野をトロカール画像９２、９３によって補うことができる。特に、トロカール画像９２、９３により、処置具２２の先端部２２Ａの位置や姿勢など、対象部位９７にアクセスする先端部２２Ａの様子を正確に確認することができる。これにより、適切な手技が可能になる。
【０１２５】
そして、合成画像９９により、内視鏡画像９１とトロカール画像９２、９３の両方を、１つのモニタ１９で、かつ、画面の切り替えなどを行うことなく確認することができる。また、内視鏡画像９１と各トロカール画像９２、９３の画像合成を行わずに別々のモニタに表示する場合と比較して、合成画像９９を表示する場合は、視線移動も減らすことができる。このため、合成画像９９を表示しない場合と比べて、視認性が向上する。
【０１２６】
さらに、プロセッサ１８においては、内視鏡画像９１内において処置具２２が変位して、変位後の処置具２２が、各トロカール画像９２、９３のいずれかの初期挿入位置と重なる場合には、各トロカール画像９２、９３の少なくとも一方の挿入位置を重ならない位置に移動することにより、表示態様を変更する。そのため、合成画像９９において、処置具２２の先端部２２Ａの位置が死角になってしまうことがない。
【０１２７】
このように、プロセッサ１８によれば、合成画像９９を生成する場合において、手技において重要な、処置具２２の先端部２２Ａの視野を可能な限り確保できるという意味で、合成画像９９におけるトロカール画像９２、９３の表示態様を適切にすることができる。
【０１２８】
［第２実施形態］
図１９、２０に示す第２実施形態は、第１実施形態とは異なる態様で、トロカール画像９２、９３の表示態様を変更する例である。第２実施形態においても、処置具に連動して表示態様を変更する点では第１実施形態と同様である。
【０１２９】
第１実施形態では処置具２２とトロカール画像９２、９３が重ならないようにトロカール画像９２、９３を退避している。これに対して、第２実施形態の方式は、図１９に示すように、内視鏡画像９１内におけるトロカール画像９１、９２の挿入位置を、処置具２２の長軸上において先端部２２Ａよりも基端側の位置に決定する。そして、図２０に示すように、内視鏡画像９１内で処置具２２が変位した場合に、処置具２２と各トロカール画像９１、９２の相対的な位置関係を維持したまま、各トロカール画像９１、９２の挿入位置を処置具２２に追従させる方式である。
【０１３０】
図１９では、内視鏡画像９１において、左右の各処置具２２は、画面の両側からそれぞれの先端部２２Ａが中央の対象部位９７に向く横向きの姿勢で表示されている。この状態では、各処置具２２の先端部２２Ａの基端側は、画面の左右の端に位置するため、その位置に各トロカール画像９１、９２が挿入される。
【０１３１】
図２０において、左右の処置具２２が点線で示す横向きの姿勢から、実線で示すように先端部２２Ａが画面の上方を向く姿勢に変化した場合には、処置具２２の先端部２２Ａの基端側は、画面の下方に位置することになる。この変位に追従してトロカール画像９２、９３は挿入位置も画面の下方に移動する。
【０１３２】
内視鏡画像９１において、トロカール画像９１、９２の挿入位置を、先端部２２Ａよりも基端側にすることで、対象部位９７にアクセスする先端部２２Ａがトロカール画像９１、９２の影になることがない。そして、トロカール画像９１、９２と処置具２２の相対的な位置関係を維持したまま、トロカール画像９１、９２は、処置具２２の変位に追従する。そのため、処置具２２が変位しても、変位後の先端部２２Ａの基端側にトロカール画像９１、９２が位置するので、先端部２２Ａが常に表示される。
【０１３３】
また、図１１に示すように、各トロカール１６、１７のカメラ部３６は、処置具２２の長軸上において先端部２２Ａの基端側に位置する。このような処置具２２とカメラ部３６の実際上の位置関係と、処置具２２の表示位置とトロカール画像９２、９３の挿入位置の内視鏡画像９１内における位置関係とがほぼ一致するため、違和感が少ないというメリットもある。しかも、第１実施形態と比較して、各トロカール画像９２、９３は、先端部２２Ａと同じ方向に追従するため、内視鏡画像９１内の先端部２２Ａの様子と、トロカール画像９２、９３の先端部２２Ａの様子を交互に確認する場合でも、視線移動が少ないというメリットもある。
【０１３４】
第２実施形態のような表示態様の変更を行う場合には、画像処理部７２において、例えば、次のような処理が行われる。まず、第１実施形態と同様に、内視鏡画像９１内の処置具２２の位置情報は、変位検知部７８による画像解析により取得される。そして、第２実施形態において、変位検知部７８は、処置具２２の位置情報に加えて、処置具２２の姿勢情報も取得する。
【０１３５】
姿勢情報は、処置具２２の先端部２２Ａが、内視鏡画像９１の上下左右のどの方向を向いているかを表す情報であり、例えば、先端部２２Ａが、内視鏡画像９１において上を向いている場合を基準角度（０°）として、右回りに回転するほど値が大きくなるように現在の角度が出力される。
【０１３６】
図１９の例では、右側の処置具２２の先端部２２Ａは、内視鏡画像９１の左方向を向いているので、現在の角度としては、約２７０°前後の値が出力される。左側の処置具２２の先端部２２Ａは、内視鏡画像９１の右方向を向いているので、約９０°前後の値が出力される。同様に、図２０の実線で示す処置具２２の向きは、処置具２２の先端部２２Ａが内視鏡画像９１において上方向を向いているので、約１８０°前後の値が出力される。こうした姿勢情報が分かれば、処置具２２の先端部２２Ａの向きがわかる。
【０１３７】
姿勢情報は、位置情報とともに変位情報として、画像合成部７７に入力される。画像合成部７７は、位置情報で処置具２２の位置を把握する。そして、姿勢情報により、先端部２２Ａの向きを把握することにより、トロカール画像９２、９３の挿入位置となる、先端部２２Ａの基端側の位置を特定する。
【０１３８】
［第３実施形態］
図２１に示す第３実施形態は、複数のポート孔２７のポート識別情報であるポート番号（ポートＮｏ１、Ｎｏ２）を、合成画像９９内の各トロカール画像９２、９３に表示する例である。これにより、合成画像９９を見るだけで、各トロカール画像９２、９３とポート番号との対応関係を簡単に確認することが可能になる。
【０１３９】
図２１に示す例では、右側のトロカール画像９２は、ポートＮｏ１が付与された右側のポート孔２７に挿入された第１トロカール１６から取得される画像であるので、トロカール画像９２の近傍にポートＮｏ１が表示される。また、左側のトロカール画像９３は、ポートＮｏ２が付与された左側のポート孔２７に挿入された第２トロカール１７から取得される画像であるので、トロカール画像９３の近傍にポートＮｏ２が表示される。本例では、ポート番号に加えて、左右を示す「Ｒ」、「Ｌ」の記号も合わせて表示している。
【０１４０】
なお、ポート番号の表示位置は、トロカール画像９２、９３の近傍ではなく、各トロカール画像９２、９３内でもよい。また、ポート識別情報としては、番号以外でもよく、文字、記号、あるいは文字や記号と番号の組み合わせでもよい。また、ポート識別情報として、色情報を用いてもよい。色情報を用いる場合には、例えば各トロカール画像９２、９３を色付きの枠で囲むといった方法が考えられる。
【０１４１】
こうしたポート識別情報の表示は、第１および第２トロカール１６、１７の数が増加するほど有効である。理由は次のとおりである。すわなち、各トロカール１６、１７が３つ以上になると、トロカール画像も３つ以上となる。その場合、２つのトロカール画像の場合と異なり、左右だけではトロカール画像の区別がしにくい。ポート識別情報を表示すれば、トロカール画像が３つ以上になっても、どのポート孔２７に対応する画像かを識別できるからである。
【０１４２】
［第４実施形態］
図２２〜２４に示す第４実施形態は、合成画像９９内における、複数のトロカール１６、１７のカメラ部３６の撮影光軸ＬＡの交差の有無に応じて、トロカール画像９２、９３の挿入位置を変更する形態である。
【０１４３】
図２２に示すように、左右に２つの各トロカール１６、１７が配置される場合、各トロカール１６、１７および処置具２２の位置や姿勢によっては、右側の第１トロカール１６のカメラ部３６の撮影光軸ＬＡと、左側の第２トロカール１７のカメラ部３６の撮影光軸ＬＡとが、交差する場合がある。点ＸＰは２つの撮影光軸ＬＡの交差点を示す。
【０１４４】
撮影光軸ＬＡが交差する場合、右配置の第１トロカール１６のカメラ部３６の視野９８Ｒは、内視鏡画像９１内において相対的に左側の領域を対象とし、左側の第２トロカール１７のカメラ部３６の視野９８Ｌは、内視鏡画像９１内において相対的に右側の領域を対象とすることになる。一方、各トロカール画像９２、９３の挿入位置は、左右の各トロカール１６、１７の配置に従って、右の第１トロカール１６に対応するトロカール画像９２の挿入位置は右側に、左の第２トロカール１７のトロカール画像９３の挿入位置は左側になる。
【０１４５】
そのため、撮影光軸ＬＡが交差している場合には、内視鏡画像９１内における、各トロカール１６、１７のカメラ部３６の視野９８Ｒ、９８Ｌの左右と、各トロカール画像９２、９３の挿入位置の左右とが逆転する。
【０１４６】
これは、撮影光軸ＬＡが交差しない図１１、図１９、２０の態様と比較すると、より明確になる。図１１、図１９、図２０においては、右配置の第１トロカール１６のカメラ部３６の視野は、内視鏡画像９１内において相対的に右側の領域を対象とし、左配置の第２トロカール１７のカメラ部３６の視野は、相対的に左側の領域を対象としている。そして、右配置の第１トロカール１６に対応する第１トロカール画像９２の挿入位置は右側であり、左配置の第２トロカール１７に対応する第２トロカール画像９３の挿入位置は左側である。
【０１４７】
そのため、内視鏡画像９１内における、各トロカール１６、１７のカメラ部３６の視野９８Ｒ、９８Ｌの左右と、各トロカール画像９２、９３の挿入位置の左右は一致する。
【０１４８】
図２２に示すように撮影光軸ＬＡの交差によって、各トロカール画像９２、９３の挿入位置と視野９８Ｒ、９８Ｌの左右が逆転すると、挿入位置と視野の左右の関係が直感的に把握しづらい。そこで、画像合成部７７は、撮影光軸ＬＡが交差している場合には、図２３に示すように、各トロカール画像９２、９３の挿入位置の左右を入れ替えて、挿入位置と視野９８Ｒ、９８Ｌの左右の逆転状態を解消する。
【０１４９】
本例のような表示態様の変更を行う場合には、図２４に示すように、画像処理部７２において、例えば、次のような処理が行われる。まず、変位検知部７８は、第１および第２実施形態と同様に、内視鏡画像９１の画像解析により処置具の変位を検知する。そして、第４実施形態においては、さらに、変位検知部７８は、画像解析により、撮影光軸ＬＡの交差状況を判定する。
【０１５０】
撮影光軸ＬＡの交差状況の判定は、例えば、次のように行われる。図２２に示すように、内視鏡画像９１においては、処置具２２は表示されるが、処置具２２の挿入ポートとして使用されるトロカール１６、１７については表示されない場合も多い。そのため、変位検知部７８は、処置具２２の位置および姿勢から、処置具２２に対応する各トロカール１６、１７のカメラ部３６の撮影光軸ＬＡの位置および方向を推定する。
【０１５１】
処置具２２は各トロカール１６、１７の先端部から突出するため、処置具２２の位置と姿勢が分かれば、それに基づいてカメラ部３６のおおよその位置と向きを推定することができる。例えば、図２２に示すように、右側の処置具２２が画面右上方に位置し、先端部２２Ａが画面左下を向いていることがわかれば、処置具２２の長軸方向における延長線上のどの辺りにカメラ部３６が位置するかはおおよそ推定することができる。トロカール１６、１７の先端部においてカメラ部３６が固定される向きは決まっているため、カメラ部３６の位置が分かれば、向きについても推定することができる。
【０１５２】
そして、カメラ部３６の位置および向きがわかれば、撮影光軸ＬＡの位置および方向を推定することができる。こうした処理を、左右のトロカール１６、１７の撮影光軸ＬＡについてそれぞれ行って、撮影光軸ＬＡの交差の有無を表す交差状況を判定することができる。
【０１５３】
変位検知部７８は、処置具２２の位置情報および姿勢情報に加えて、撮影光軸ＬＡの交差状況を含めた変位情報を画像合成部７７に出力する。画像合成部７７は、変位情報に基づいて撮影光軸ＬＡの交差状況を判定して、図２２に示すように、撮影光軸ＬＡが交差している場合は、各トロカール画像９２、９３の挿入位置について左右の入れ替えを行う。
【０１５４】
これにより、図２３に示すように、各トロカール画像９２、９３の挿入位置と視野９８Ｒ、９８Ｌの左右の逆転状態が解消されるため、合成画像９９において、両者の左右の位置関係を直感的に把握しやすくなる。これにより、合成画像９９におけるトロカール画像９２、９３の表示態様が適切になる。
【０１５５】
［第５実施形態］
図２５、２６に示す第５実施形態は、トロカール１６の長軸回りの回転によりカメラ部３６が回転した場合に、合成画像９９内のトロカール画像９１、９２の表示姿勢を、内視鏡画像９１の表示姿勢と一致する姿勢補正を行う形態である。
【０１５６】
図２５に示すように、カメラ部３６はトロカール１６の先端部に固定されているため、トロカール１６の長軸ＡＸ回りにトロカール１６が回転すると、カメラ部３６の天地左右（Ｔ（Ｔｏｐ）、Ｂ（Ｂｏｔｔｏｍ）、Ｌ（Ｌｅｆｔ）、Ｒ（Ｒｉｇｈｔ））も変化する。
【０１５７】
図２５は、内視鏡画像９１（内視鏡１１の視野）の画面上方に位置しているカメラ部３６が、その初期位置から、長軸ＡＸ回りに１８０°回転する例である。初期位置では、カメラ部３６が撮影するトロカール画像９２Ａの天地左右（ＴＡ、ＢＡ、ＬＡ、ＲＡ）は、内視鏡画像９１の天地左右とほぼ一致している。この状態からトロカール１６が１８０°回転すると、カメラ部３６が撮影するトロカール画像９２Ｂの天地左右（ＴＢ、ＢＢ、ＬＡ、ＲＢ）は、トロカール画像９２Ａに対して１８０°回転する。
【０１５８】
トロカール画像９２Ａと内視鏡画像９１の天地左右（ＴＡ、ＢＡ、ＬＡ、ＲＡ）はほぼ一致しているため、トロカール画像９２Ｂをこのままの表示姿勢で内視鏡画像９１に挿入すると、内視鏡画像９１の天地左右とトロカール画像９２Ｂの天地左右が一致しないため、両者の天地左右の関係を直感的に把握しづらい。
【０１５９】
そこで、画像合成部７７は、入力されるトロカール画像９２Ｂの表示姿勢を１８０°回転して、内視鏡画像９１の表示姿勢と一致させる姿勢補正を行う。
【０１６０】
この場合、トロカール１６の姿勢情報を取得するために、例えば、位置計測システム１０６を設ける。位置計測システム１０６は、例えば、磁気センサを利用した周知の３次元位置計測システムである。位置計測システム１０６は、磁界を発生するトランスミッタと、磁界の変化を受けるレシーバとで構成されている。トランスミッタとレシーバはそれぞれ３方向の直交コイルで構成される。トランスミッタの励磁によりレシーバに起電力を発生させ、起電力を計測することで３次元の位置情報を計測する。
【０１６１】
位置計測システム１０６は、トロカール１６が初期位置からどの程度回転したかを表すトロカール姿勢情報を、トロカール１６の変位を表す変位情報として出力する変位検知部を構成する。トロカール１６の初期位置の設定は、例えば、次の手順で行われる。まず、トロカール１６をマニュアルで回転させることにより、トロカール１６のカメラ部３６が、内視鏡画像９１の天地左右とほぼ一致するトロカール画像９２Ａを出力する姿勢に合わせる。その状態で位置計測システム１０６の操作部（設定ボタンなど）を操作して、現在の状態が初期位置であることを位置計測システム１０６に記憶させる。これ以降、位置計測システム１０６は、初期位置を基準とした回転角度をトロカールの姿勢情報として出力する。
【０１６２】
図２６は、トロカール１６を初期位置から９０°回転させた例である。トロカール１６が初期位置から９０°回転した状態で、カメラ部３６が撮影したトロカール画像９２Ｃに対して姿勢補正が行われる。トロカール画像９２Ｃの天地左右（ＴＣ、ＢＣ、ＬＣ、ＲＣ）は、初期位置で撮影されたトロカール画像９２Ａに対して、９０°ずれている。
【０１６３】
画像合成部７７は、位置計測システム１０６からのトロカール姿勢情報に基づいて、トロカール画像９２Ｃの表示姿勢を９０°回転させることにより、トロカール画像９２Ｃの表示姿勢と内視鏡画像９１の表示姿勢を一致させる姿勢補正を行う。
【０１６４】
なお、トロカール画像９２Ｃは、例えば、正姿勢において、４：３や１６：９などの横長のアスペクト比を有するため、９０°回転させた場合には、縦長になってしまう。そのため、画像合成部７７は、トロカール画像９２Ｃの表示姿勢を９０°回転させた後、トリミング処理により、アスペクト比を横長に補正する。そして、トリミング後の画像は、両側が余白になってしまうため、電子ズームによって拡大処理を行う。こうした補正を行った後、トロカール画像９２Ｃと内視鏡画像９１が合成される。
【０１６５】
このようにトロカール１６が回転して変位した場合でも、トロカール画像に対する姿勢補正による表示態様の変更により、内視鏡画像９１と、トロカール画像９２Ｂ（図２５）やトロカール画像９２Ｃの表示姿勢が一致する。このため、内視鏡画像９１とトロカール画像の天地左右の関係が直感的に把握しやすくなる。これにより、合成画像９９におけるトロカール画像の表示態様が適切になる。
【０１６６】
本例において、トロカールの変位検知部として機能する位置計測システム１０６として、磁気センサを利用した３次元位置計測システムを例に説明したが、これ以外でもよい。位置計測システム１０６としては、トロカールの回転角度を検知できるものであればよく、例えば、超音波や加速度センサなどを利用した３次元位置計測システムでもよい。
【０１６７】
また、手術室の天井などに、医療スタッフＳＴの手元や処置具２２やトロカール１６、１７を俯瞰位置から撮影可能な術場カメラを設けて、術場カメラで撮影した画像に基づいてトロカール１６、１７の回転角度を検知してもよい。この場合には、術場カメラがトロカールの回転角度を検知する変位検知部として機能する。
【０１６８】
上記各実施形態において、処置具２２の変位を検知する変位検知部として、画像解析により処置具２２の変位を検知する変位検知部７８を例に説明したが、画像解析による変位検知部７８の代わりに、第５実施形態で示した位置計測システム１０６を、処置具２２の変位を検知する変位検知部として利用してもよい。
【０１６９】
また、トロカールが内視鏡画像に写っている場合には、画像解析による変位検知部７８を使用して、画像解析によりトロカールの回転角度を検知してもよい。画像解析による変位検知部７８を利用することにより、３次元位置計測システムを使用する場合と比較して、簡便な構成にすることができる。
【０１７０】
［第６実施形態］
図２７〜図３２に示す第６実施形態は、処置具２２が内視鏡画像９１の視野内にあるか視野外にあるかに応じて、合成画像９９におけるトロカール画像９２、９３の表示態様を変更する態様を示す。
【０１７１】
（実施例１）
図２７〜図２９に示す実施例１では、まず、図２７に示すように、内視鏡画像９１に処置具２２が表示され、合成画像９９にトロカール画像９２、９３が表示されている状態を考える。この状態から、図２８に示すように、右側の処置具２２（Ｒ）が内視鏡画像９１の視野外に移動することにより、内視鏡画像９１から処置具２２（Ｒ）が消失した場合に、視野外の処置具２２（Ｒ）に対応するトロカール画像９２を非表示にする。
【０１７２】
この場合の表示態様変更は、図２９のフローチャートに示す手順に従って実行される。図２９において、変位検知部７８は、内視鏡画像９１の視野内から視野外へ処置具２２が移動したか否かを監視する（Ｓ２０１）。そして、処置具２２が視野外に移動した場合には、変位検知部７８は、その旨を表す情報を含めた変位情報を画像合成部７７に出力する。画像合成部７７は、入力された変位情報とトロカール画像との対応付けを行って、視野外に移動した処置具２２に対応するトロカール画像を特定する。そして、合成画像９９において、特定したトロカール画像を非表示にする（Ｓ２０２）。図２８の例では、右側の処置具２２（Ｒ）が内視鏡画像９１の視野外に移動しているため、画像合成部７７は、右側の第１トロカール画像９２を非表示にする。
【０１７３】
さらに、変位検知部７８は、視野外に移動した処置具２２が内視鏡画像９１の視野内に再度進入したか否かを監視する（Ｓ２０３）。視野内に再度進入した場合には、その旨の変位情報を画像合成部７７に出力する。画像合成部７７は、合成画像９９において、進入した処置具に対応するトロカール画像を再表示する（Ｓ２０４）。こうした処理は、表示終了まで繰り返される（Ｓ２０５）。
【０１７４】
実施例１の処理を行うことで、合成画像９９におけるトロカール画像９２、９３の表示を必要最小限に留めることができる。ＰｉｎＰ手法による合成画像９９の場合、トロカール画像９２、９３の挿入位置は、内視鏡画像９１の視野にとっては死角になるので、内視鏡画像９１の死角を少なくするという観点からは、内視鏡画像９１の視野の一部と重なるトロカール画像９２、９３は無い方が好ましい。また、内視鏡画像９１に処置具２２が表示されていない場合には、処置具２２の先端部２２Ａの周辺を表示するトロカール画像９２、９３を表示する必要性は少ない。そのため、実施例１の処理を行うことで、トロカール画像９２、９３の表示を最小限に留めることが可能となり、内視鏡画像の死角を少なくすることができる。
【０１７５】
（実施例２）
図３０、３１に示す実施例２のように、内視鏡画像９１には、処置具２２に加えてトロカール１６、１７の先端部分が表示される場合もある。このような場合には、トロカール１６、１７から処置具２２が突出しているときには、処置具２２が内視鏡画像９１の視野内にあると判定し、処置具２２がトロカール１６、１７内に退避したときに、視野外にあると判定してもよい。このような実施例２の判定によっても、実施例１と同様にトロカール画像９２、９３の表示と非表示を切り替えることができる。
【０１７６】
図３０に示すように、右側の処置具２２（Ｒ）が第１トロカール１６から突出している場合には、変位検知部７８は、処置具２２（Ｒ）は内視鏡画像９１の視野内にあると判定する。この場合には、画像合成部７７は、合成画像９９において第１トロカール画像９２を表示する。
【０１７７】
このような状態から、例えば、処置具２２（Ｒ）の交換が行われる場合には、処置具２２（Ｒ）は第１トロカール１６から引き抜かれる。この場合には、図３０のように第１トロカール１６から突出していた処置具２２（Ｒ）は、図３１に示すように、第１トロカール１６内に退避する。処置具２２（Ｒ）が第１トロカール１６内に退避した場合には、変位検知部７８は、内視鏡画像９１の視野外に移動した旨の変位情報を出力する。画像合成部７７は、入力される変位情報に基づいて処置具２２（Ｒ）が視野外に移動したと判定して、処置具２２（Ｒ）に対応する第１トロカール画像９２を非表示にする。
【０１７８】
そして、別の処置具２２（Ｒ）が第１トロカール１６に挿入されて、第１トロカール１６から突出すると、挿入された処置具２２（Ｒ）が内視鏡画像９１内に再度進入する。この場合には、第１トロカール画像９２が再表示される。
【０１７９】
（実施例３）
図３２に示す実施例３は、実施例２と同様に、内視鏡画像９１に処置具２２とトロカールの両方が表示されていることを前提とするものである。実施例２においては、処置具２２が内視鏡画像９１の視野内にあるか視野外にあるかに応じて、トロカール画像９２（または９３）の表示と非表示を変更している。これに対して、実施例３は、処置具２２に加えて、トロカール１６（または１７）が視野内にあるか視野外にあるかをも考慮して、トロカール画像９２（または９３）の表示と非表示を変更する。
【０１８０】
具体的には、図３０、３１に示すように、例えば、トロカール１６、１７が内視鏡画像９１の視野内にある場合の処理は、実施例２と同様に、処置具２２が視野内にある場合には、視野内にある処置具２２に対応するトロカール画像９２、９３を表示し、例えば、処置具２２（Ｒ）が視野外に移動した場合には、視野外の処置具２２（Ｒ）に対応するトロカール画像９２を非表示にする。
【０１８１】
一方、例えば、図３０の状態から、図３２に示すように、右側の処置具２２（Ｒ）とともに、第１トロカール１６も内視鏡画像９１の視野外に移動した場合には、画像合成部７７は、視野外の処置具２２（Ｒ）に対応する第１トロカール画像９２を非表示にすることなく、表示を継続する。処置具２２（Ｒ）とともにその処置具２２（Ｒ）に対応する第１トロカール１６が視野外に移動した場合には、内視鏡画像９１からは、処置具２２（Ｒ）やトロカール１６が体腔内のどこにあるかを把握できない。処置具２２（Ｒ）やトロカール１６が体腔内のどこにあるかを把握しておくことは、手技の安全性の向上につながる。
【０１８２】
そのため、図３２に示すように、右側の処置具２２（Ｒ）とそれに対応する右側のトロカール１６の両方が内視鏡画像９１の視野外に移動した場合に、第１トロカール画像９２の表示を継続する。これにより、第１トロカール画像９２の視野を通じて、処置具２２（Ｒ）やトロカール１６が体腔内のどこにあるかについておおよその位置を把握することが可能となり、手技の安全性が向上する。なお、図３２では右側の処置具２２（Ｒ）を例示しているが、左側の処置具２２（Ｌ）とそれに対応する左側のトロカール１７の両方が視野外に移動した場合も同様であり、第２トロカール画像９３が非表示にならずに、表示が継続される。
【０１８３】
［第７実施形態］
図３３〜図３７に示す第７実施形態は、合成画像９９内のトロカール画像の表示サイズや表示倍率を変更する機能を有する形態である。
【０１８４】
図３３に示すように、トロカール画像９２の表示サイズの指定は、例えば、コンソール２０を通じて行われる。表示サイズの指定情報は、制御部７１を通じて設定情報７９に記録される。画像合成部７７は、設定情報７９の表示サイズの指定情報を参照して、合成画像９９におけるトロカール画像９２の表示サイズを変更する。これにより、例えば、図３３の合成画像９９に示すように、トロカール画像９２Ｓ０（普通サイズ）、９２Ｓ１（大サイズ）、９２Ｓ２（小サイズ）のように、表示サイズが変更される。表示サイズの指定は、大、中、小のように段階的に指定できてもよいし、無段階で指定できてもよい。
【０１８５】
トロカール画像の表示サイズを変更可能とすることで、必要に応じて適切な表示サイズを選択できるため、合成画像９９において、トロカール画像によって生じる内視鏡画像９１の死角を必要最小限に留めることができる。
【０１８６】
図３４に示すように、トロカール画像９２の表示倍率の変更も、例えば、コンソール２０を通じて行われる。表示倍率の変更は、トロカール画像９２の表示サイズを変更することなく、トロカール画像９２Ｚ１に示すように表示倍率を拡大（ズームイン）したり、トロカール画像９２Ｚ２に示すように表示倍率を縮小（ズームアウト）することにより行われる。
【０１８７】
例えば、処置具２２として、超音波凝固切開装置などを使用して、血管切除などを行う場合には、処置対象部分以外に損傷を与えないように細心の注意が払われる。このような場合に、トロカール画像９２の表示倍率を変更できれば、処置対象部分を拡大観察するといったことが可能となるため、表示倍率変更機能は非常に有効である。
【０１８８】
また、図３５〜図３７に示すように、合成画像９９における、処置具２２とトロカール画像９２の接近状態に応じて、トロカール画像９２の表示サイズを変更してもよい。例えば、図３５に示すように、合成画像９９内において、トロカール画像９２の上方に処置具２２が表示されている。この状態から、図３６に示すように、処置具２２が下方に移動してトロカール画像９２の挿入位置に接近すると、トロカール画像９２の表示サイズが縮小される。
【０１８９】
図３７に示すように、画像合成部７７は、まず、変位検知部７８からの変位情報に基づいて、合成画像９９内における、処置具２２とトロカール画像９２の接近状態を判定する。変位情報には、内視鏡画像９１内の処置具２２の座標情報が含まれている。また、上述のとおり、トロカール画像９２の初期挿入位置およびその後の移動位置については、画像合成部７７が把握している。画像合成部７７は、これらの情報に基づいて処置具２２とトロカール画像９２の間隔がどの程度か、処置具２２がどの方向からトロカール画像９２に接近しているかといった接近状態を把握する。こうした把握した接近状態に応じてトロカール画像の表示サイズを変更する。
【０１９０】
処置具２２とトロカール画像９２の接近状態に応じて、トロカール画像９２の表示サイズを変更すれば、内視鏡画像９１内における処置具２２が、トロカール画像９２の死角に入ることを低減することができる。
【０１９１】
上記第１実施形態においては、処置具２２とトロカール画像９２が重ならないように、処置具２２の移動に応じてトロカール画像９２を移動する。このようなトロカール画像の挿入位置の移動機能と表示サイズの変更機能を組み合わせてもよい。例えば、トロカール画像９２の表示サイズを所定のサイズまで縮小した後は、トロカール画像９２の挿入位置を移動するといった組み合わせが考えられる。
【０１９２】
また、上記各実施形態では、一台のプロセッサ１８に内視鏡画像およびトロカール画像の画像合成機能を内蔵して、プロセッサ１８を画像合成装置として機能させる例で説明したが、画像合成装置は、プロセッサ１８とは独立した形態としてもよい。独立した形態とすれば、既存のプロセッサの改造（画像合成機能の組み込みなど）が少なくて済むというメリットが得られる場合もある。
【０１９３】
また、一台のプロセッサ１８で内視鏡画像とトロカール画像の画像処理を実行する例で説明したが、例えば、内視鏡画像の画像処理を実行する内視鏡プロセッサと、トロカール画像の画像処理を実行するトロカールカメラプロセッサの二台に分けてもよい。この場合には、内視鏡プロセッサまたはトロカールカメラプロセッサに画像合成機能を内蔵することにより、画像合成機能を内蔵したプロセッサを画像合成装置として機能させてもよい。トロカールカメラプロセッサに画像合成機能を内蔵すれば、上述の画像合成装置を完全に独立させる形態と同様に、既存の内視鏡プロセッサの改造が少なくて済むというメリットが得られる場合もある。
【０１９４】
また、上記各実施形態において、本発明の画像処理装置が適用される体腔内観察システムとして、腹腔鏡手術に用いる腹腔鏡システム１０を例に説明したが、胸腔鏡手術に用いる胸腔鏡システムでもよい。また、内視鏡１１は、硬性内視鏡の代わりに軟性内視鏡でもよい。
【０１９５】
また、上記各実施形態では、本発明を、内視鏡画像９１内にトロカール画像９２、９３を挿入するＰｉｎＰ手法で合成画像９９を生成する例で説明したが、図３８に示すように、内視鏡画像９１の周辺にトロカール画像９２、９３を合成するＰｏｕｔＰ手法で合成画像１０８を生成する場合にも適用可である。この場合には、トロカール画像９２、９３は内視鏡画像９１の外側に位置するため、第１実施形態や第２実施形態で示した、内視鏡画像９１内においてトロカール画像９２、９３を移動する態様を適用することはできない。しかし、第４実施形態で示した撮影光軸ＬＡの交差状況に応じたトロカール画像９２、９３の左右入れ替えや、第５実施形態で示したトロカールの回転に応じたトロカール画像の姿勢補正を適用することは可能である。
【０１９６】
また、上記各実施形態では、内視鏡画像に対して２つのトロカール画像を合成する例で説明したが、合成するトロカール画像の数は１つでもよいし、３つ以上でもよい。トロカール画像の数は、使用するカメラ付きトロカールの数に応じて適宜変更が可能である。
【０１９７】
また、本発明は上記各実施形態に限定されず、例えば、上記各実施形態の組み合わせなど、本発明を逸脱しない範囲で上記各実施形態を適宜変更した形態にも及ぶことはもちろんである。なお、本発明は、画像合成装置及び方法の他、コンピュータを画像合成装置として機能させる画像合成プログラムや画像合成プログラムを記憶する記憶媒体にも及ぶ。
【符号の説明】
【０１９８】
１０  腹腔鏡システム
１６、１７  カメラ付きトロカール
１８  プロセッサ
１９  モニタ
２０  コンソール
３６  カメラ部
３７  カメラユニット
７２  画像処理部
７４Ａ、７４Ｂ、７４Ｃ  入力Ｉ／Ｆ
７７  画像合成部
７８  変位検知部
９１  内視鏡画像
９２、９３  トロカール画像
【図１】
0006629047.tif 000002
【図２】
0006629047.tif 000003
【図３】
0006629047.tif 000004
【図４】
0006629047.tif 000005
【図５】
0006629047.tif 000006
【図６】
0006629047.tif 000007
【図７】
0006629047.tif 000008
【図８】
0006629047.tif 000009
【図９】
0006629047.tif 000010
【図１０】
0006629047.tif 000011
【図１１】
0006629047.tif 000012
【図１２】
0006629047.tif 000013
【図１３】
0006629047.tif 000014
【図１４】
0006629047.tif 000015
【図１５】
0006629047.tif 000016
【図１６】
0006629047.tif 000017
【図１７】
0006629047.tif 000018
【図１８】
0006629047.tif 000019
【図１９】
0006629047.tif 000020
【図２０】
0006629047.tif 000021
【図２１】
0006629047.tif 000022
【図２２】
0006629047.tif 000023
【図２３】
0006629047.tif 000024
【図２４】
0006629047.tif 000025
【図２５】
0006629047.tif 000026
【図２６】
0006629047.tif 000027
【図２７】
0006629047.tif 000028
【図２８】
0006629047.tif 000029
【図２９】
0006629047.tif 000030
【図３０】
0006629047.tif 000031
【図３１】
0006629047.tif 000032
【図３２】
0006629047.tif 000033
【図３３】
0006629047.tif 000034
【図３４】
0006629047.tif 000035
【図３５】
0006629047.tif 000036
【図３６】
0006629047.tif 000037
【図３７】
0006629047.tif 000038
【図３８】
0006629047.tif 000039