(57)【要約】【課題】立体内視鏡装置において、処置器具が撮像部に近接することによる視野妨害感を軽減する仕組みを提供する。【解決手段】操作可能な処置器具と、対象物体を撮影する少なくとも２つの撮像手段と、撮像手段の一方で撮影された第１の画像内の処置器具が写っている第１の領域において、第１の領域の画像及び複数の撮像部の他方で撮影された第２の画像内の処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成する、透かし合成手段とを備える立体内視鏡装置。【選択図】図１
2014147630.tif 000002
【特許請求の範囲】
【請求項１】
操作可能な処置器具と、
対象物体を撮影する少なくとも２つの撮像部と、
前記撮像部の一方で撮影された第１の画像内の前記処置器具が写っている第１の領域において、該第１の領域の画像及び前記撮像部の他方で撮影された第２の画像内の前記処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成する透かし合成部と、を備える立体内視鏡装置。
【請求項２】
前記透かし合成部は、前記第１の領域の少なくとも一部において、前記第１の領域の画像の合成比率を変更する、請求項１に記載の立体内視鏡装置。
【請求項３】
前記第１の画像から前記処置器具の先端領域を検出する先端領域検出部をさらに備え、
前記透かし合成部は、前記第１の領域の少なくとも一部において、前記検出された先端領域の位置に基づいて前記第１の領域の画像の合成比率を変更する、請求項２に記載の立体内視鏡装置。
【請求項４】
前記第１の領域のサイズ及び位置のうちの少なくとも一方が変更されるように制御される、請求項１乃至３のいずれか一項に記載の立体内視鏡装置。
【請求項５】
前記透かし合成部は、前記第１の領域の画像の合成比率を、時間の経過とともに徐々に所定の値まで低くなるように変更する、請求項１乃至４のいずれか一項に記載の立体内視鏡装置。
【請求項６】
前記第１の領域に前記第２の領域の画像をコピーして第３の画像を作成する処置器具消去部をさらに備え、
前記透かし合成部は、前記第３の画像内の前記第２の領域の画像がコピーされた第３の領域において、前記第３の領域の画像及び前記第１の領域の画像を、所定の合成比率で重ね合せて画像合成する請求項１乃至５のいずれか一項に記載の立体内視鏡装置。
【請求項７】
前記透かし合成部は、前記第１の領域の境界領域の画像の合成比率が、前記第１の領域の境界から中心領域に近づくにつれ所定の値から徐々に低くなるように、画像合成する、請求項１乃至６のいずれか一項に記載の立体内視鏡装置。
【請求項８】
前記処置器具消去部は、第３の画像を生成する際に、前記第１の領域の境界領域において、前記第１の領域の境界領域の画像及び前記第２の領域の境界領域の画像を、前記第１の領域の境界領域の画像の合成比率が、前記第１の領域の境界から中心領域に近づくにつれ所定の値から徐々に低くなるように、重ね合せて画像合成して前記第３の領域の境界領域の画像を生成する、請求項６に記載の立体内視鏡装置。
【請求項９】
操作可能な処置器具と、
対象物体を撮影する少なくとも２つの撮像部と、
前記撮像部の一方で撮影された第１の画像内の前記処置器具が写っている第１の領域の画像の一部を変形させて処置器具画像を生成する、処置器具画像生成部と、
前記第１の領域において、前記処置器具画像及び前記撮像部の他方で撮影された第２の画像内の前記処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成する透かし合成部と、を備える立体内視鏡装置。
【請求項１０】
操作可能な処置器具と、
対象物体を撮影する少なくとも２つの撮像部と、
コンピュータグラフィックス技術を用いて処置器具画像を作成する、処置器具画像生成部と、
前記撮像部の一方で撮影された第１の画像内の前記処置器具が写っている第１の領域において、前記処置器具画像及び前記撮像部の他方で撮影された第２の画像内の前記処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成する透かし合成部と、を備える立体内視鏡装置。
【請求項１１】
操作可能な処置器具を備える立体内視鏡装置における画像処理方法であって、
少なくとも２つの撮像部で対象物体を撮影することと、
前記撮像部の一方で撮影された第１の画像内の前記処置器具が写っている第１の領域において、該第１の領域の画像及び前記撮像部の他方で撮影された第２の画像内の前記処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成することと、を備えること画像処理方法。
【請求項１２】
前記第１の領域の少なくとも一部において、前記第１の領域の画像の合成比率が変更される、請求項１１に記載の画像処理方法。
【請求項１３】
前記第１の領域から前記処置器具の先端領域を検出することをさらに備え、
前記第１の領域の少なくとも一部において、前記検出された先端領域の位置に基づいて前記第１の領域の画像の合成比率が変更される、請求項１２に記載の画像処理方法。
【請求項１４】
前記第１の領域のサイズ及び位置の少なくとも一方が変更される、請求項１１乃至１３のいずれか一項に記載の画像処理方法。
【請求項１５】
前記第１の領域の画像の合成比率が、時間の経過と共に所定の値まで徐々に低くなるように変更される、請求項１１乃至１４のいずれか一項に記載の画像処理方法。
【請求項１６】
前記第１の領域に、前記第２の領域の画像をコピーした第３の画像を生成することをさらに備え、
前記画像合成することでは、前記第３の画像内の前記第２の領域の画像がコピーされた第３の領域において、該第３の領域の画像及び前記第１の領域の画像を、所定の合成比率で重ね合せて画像合成する、請求項１１乃至１５のいずれか一項に記載の画像処理方法。
【請求項１７】
前記画像合成することでは、前記第１の領域の境界領域の画像の合成比率が、前記第１の領域の画像の境界から中心領域に近づくにつれ所定の値から徐々に低くなるように、画像合成する、請求項１１乃至１６のいずれか一項に記載の画像処理方法。
【請求項１８】
前記第３の画像を生成することでは、前記第１の領域の境界領域において、前記第１の領域の境界領域の画像及び前記第２の領域の境界領域の画像を、前記第１の領域の画像の境界領域の合成比率が、前記第１の領域の境界から中心領域へ近づくにつれ所定の値から徐々に低くなるように、重ね合せて画像合成し第３の領域の境界領域の画像を生成する、請求項１６に記載の画像処理方法。
【請求項１９】
操作可能な処置器具を備える立体内視鏡装置における画像処理方法であって、
少なくとも２つの撮像部で対象物体を撮影することと、
前記撮像部の一方で撮影された第１の画像内の前記処置器具が写っている第１の領域の画像の少なくとも一部を変形させて処置器具画像を生成することと、
前記第１の領域において、前記処置器具画像及び前記撮像部の他方で撮影された第２の画像内の前記処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成することと、を備える画像処理方法。
【請求項２０】
操作可能な処置器具を備える立体内視鏡装置における画像処理方法であって、
少なくとも２つの撮像部で対象物体を撮影することと、
コンピュータグラフィックス技術を用いて処置器具画像を生成することと、
前記撮像部の一方で撮影された第１の画像内の前記処置器具が写っている第１の領域において、前記処置器具画像及び前記撮像部の他方で撮影された第２の画像内の前記処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成することと、を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体内視鏡装置に関する。
【背景技術】
【０００２】
図２に示すように、従来の立体内視鏡は、被観察体内へ挿入される内視鏡の先端にステレオカメラ（１０１Ｒ、１０１Ｌ）と処置器具を挿入するためのチャネル２３、照明２４及び２５が配置されている。医師はモニタに映し出された立体映像を観察しながら、処置器具等を利用して手術を行う。
【０００３】
このような立体内視鏡では、処置器具のように非常に近接するものに対して、ステレオカメラによって決定される輻輳角が大きくなりすぎるため、立体視が困難になる。この問題に対して、予め決定された領域のみを２次元画像化する方法やマスク画像を生成して重畳する方法が従来から知られている。また、特許文献１には、左右の画像を入れ替えることによって問題となる処置器具の領域を削除する、あるいは、表示する際に画像を変形させて視差が少なくなるように調整することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２２３４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来から知られる方法では、立体視が困難な領域を予め求め、その部分に関して単眼の画像のみを表示する、またはマスク画像を重畳する。そのため、処置器具がチャネルから少ししか出ていないにも関わらず、それ以外の領域も２次元画像化あるいはマスクされるという問題があった。また、特許文献１に開示された方法では、常に処置器具の先端部が見えるように制御されるため、その部分が立体視困難な領域に来ると視野妨害感が強くなることがあった。
【０００６】
本発明は上記の課題に鑑みてなされたものである。すなわち、視野妨害感を強く感じる領域において、処置器具が写った画像及び処置器具が写っていない画像を透かし合成処理することにより、観察者が処置器具を確認しつつも視野妨害感が軽減されることができる立体内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明の第１の態様による立体内視鏡装置は、操作可能な処置器具と、対象物体を撮影する少なくとも２つの撮像部と、撮像部の一方で撮影された第１の画像内の処置器具が写っている第１の領域において、第１の領域の画像及び複数の撮像部の他方で撮影された第２の画像内の処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成する、透かし合成部とを備える。
【０００８】
また、本発明の第２の態様による画像処理方法は、操作可能な処置器具を備える立体内視鏡装置における画像処理方法であって、少なくとも２つの撮像部で対象物体を撮影することと、撮像部の一方で撮影された第１の画像内の処置器具が写っている第１の領域において、第１の領域の画像及び撮像部の他方で撮影された第２の画像内の処置器具が写っていない第２の領域の画像を、所定の合成比率で重ね合せて画像合成することと、を備える。
【発明の効果】
【０００９】
本発明によれば、視差量の多い所定の領域が合成比率に応じて透明化されることで、視野妨害感の少ない立体映像を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施例による処理システムの機能ブロック図である。
【図２】従来の立体内視鏡の例（先端部のみ）の拡大図である。
【図３】第１実施例による透かし合成部の処理を模式的に示す図である。
【図４】第１実施例による処理のフローチャートである。
【図５】第２実施例による処理システムの機能ブロック図である。
【図６】第２実施例による先端領域検出部で行われる処理を説明するための図である。
【図７】第２実施例による先端領域検出部で行われる処理を説明するための図である。
【図８】第２実施例による処理のフローチャートである。
【図９】第６実施例による処理システムの機能ブロック図である。
【図１０】第６実施例による画像の変形処理の一例を模式的に示す図である。
【図１１】第６実施例による処理のフローチャートである。
【図１２】第６実施例による画像の変形処理の別例を模式的に示す図である。
【図１３】第７実施例による処理システムの機能ブロック図である。
【図１４】処置器具の幾何形状モデルの一例を示す図である。
【図１５】第７実施例による処理のフローチャートである。
【図１６】第８実施例による処理システムの機能ブロック図である。
【図１７】第８実施例による処置器具消去処理を模式的に示す図である。
【図１８】第８実施例による処理のフローチャートである。
【図１９】第９実施例による処置器具消去処理を説明するための図である。
【図２０】別実施例で用いるコンピュータのブロック図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明に係る立体内視鏡装置及び方法の実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
【００１２】
（第１実施例）
本実施例に係る立体内視鏡装置は、視野妨害感を強く感じる領域において、処置器具が写っている画像及び処置器具が写っていない画像を、透かし合成するように構成したものである。ここで、透かし合成とは、画像どうしを所定の合成比率で重ね合せて画像合成することをいう。
【００１３】
図１は本実施例による処理システムの機能ブロック図を示している。図中、１０１Ｒ及び１０１Ｌはそれぞれ対象物体を撮影する内視鏡の撮像部、１１はメモリである。１２は撮影した画像を処理する画像処理部であり、処置器具の写った画像及び処置器具が写っていない画像を透かし合成する透かし合成部１３を有する。１４は透かし合成された画像を表示する立体画像表示部を示す。ここで、画像処理部１２は例えばＣＰＵなどを用いて実現されることができる。かかる構成により、少なくとも２つの撮像部１０１Ｒ及び１０１Ｌで取り込まれた画像は、一旦メモリ１１に保持される。メモリ１１に保持された画像は透かし合成部１３に送られる。透かし合成部１３では、保持された画像内の視野妨害感の強い領域において、当該領域の画像及び他の撮像部で撮影された画像内の当該領域に最も相関の高い領域を透かし合成する。表示部１４は透かし合成された画像を立体表示する。なお、表示部１４としては既存の立体表示装置が利用することができる。
【００１４】
図２は立体内視鏡の先端部分を示している。１００は内視鏡の先端部分、１０１Ｒは右目用カメラ、１０１Ｌは左目用カメラ、２３は操作可能な処置器具が通るチャネル、２４及び２５は照明を示す。
【００１５】
図３を参照し、透かし合成部１３の処理を説明する。図３（ａ）において、３３は右目画像３１内（第１の画像内）の視野妨害感の強い領域（第１の領域）、領域３４は領域３３に最も相関の高い左目画像３２内（第２の画像内）の領域（第２の領域）である。ここで、図３（ａ）を参照すると、領域３３に最も相関の高い領域３４には、処置器具が写っていないことがわかる。撮像部のカメラとチャネルの位置関係は固定であるため、処置器具が送出される軌跡はほぼ一定である。したがって、視野妨害感の強い領域３３はあらかじめ決定しておくことができる。次に、領域３３内の処置器具が写っている領域をマスクした画像を作成し、マスクした後の画像と左目画像３２の相関をとる。ただし、マスクした処置器具の領域は相関計算から除外する。マスクした後の画像と左目画像３２の相関をとる方法に関しては、マスクした後の画像を用いて左目画像３２内を領域ベースマッチングする方法などを用いることができる。なお、領域ベースマッチングには、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）やＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）などを用いることができる。そして、図３（ａ）に示すように、最も相関の高い領域３４を特定する。相関の高い領域３４の特定に関しては、画像が撮影される度に行われてもよいし、一度特定した領域の位置を記憶しておき、以後の処理において当該記憶した領域の位置を共通して用いて、領域を特定してもよい。相関の高い領域３４を特定したら、右目画像３１内の領域３３において、領域３３の画像及び領域３４の画像を透かし合成する。当該透かし合成は、領域３３の画像及び領域３４の画像の各画素に対して、所定の合成比率でそれぞれの画素値を合成することによって達成される。ここでは、例えば１：９の合成比率で画素値を合成する。これにより、図３（ｃ）に示すように、領域３３内の処置器具が写っている領域が領域３５のように透明化された画像を生成できる。ここで透明の度合いとして「透明度」を定義する。透明度は、０≦透明度≦１の実数で表され、０が完全不透明、１が完全透明を示す。前述の例では、透かし合成される領域３３の画像の透明度は０．９となる。ただし、各画素を合成する比率はこれに限られず、任意に設定できる。例えば、領域３３の画像の透明度が０．４であっても、領域３４の画像と透かし合成されるため、透かし合成後の領域３３の画像は視野妨害感が低減される。なお、画像の透明度に関しては、上記のように透かし合成の合成比率を変えることで変更することができる。また、左目画像３２に対しても、図３（ｂ）及び（ｃ）に示すように同様の処理を行う。すなわち、左目画像３２の視野妨害感の多い領域３６をあらかじめ決定し、領域３６の画像と相関が高い右目画像３１内の領域３７を特定する。領域３７を特定したら、左目画像３２の領域３６において、領域３６の画像及び領域３７の画像を、透かし合成する。これにより、視野妨害感の強い領域３６内の処置器具が写っている領域が領域３８のように、合成比率に応じて透明化された画像を生成でき、立体視をしたときの視野妨害感を軽減できる。なお、ここでは、視野妨害感の強い領域の画像と相関の高い領域の画像を直接に透かし合成したが、一旦、視野妨害感の強い領域から処置器具を消去した上で、処置器具が消去された領域の画像と処置器具が写っている領域の画像を透かし合成することもできる。
【００１６】
図４に本実施例による処理のフローチャートを示す。
【００１７】
まず、ステップＳ３０１において、撮像部１０１Ｒ及び１０１Ｌによって両眼の画像を取得し、取得した画像をメモリ１１に格納する。
【００１８】
次に、ステップＳ３０２において、メモリ１１に格納された両眼画像のそれぞれに対して、透かし合成を行う。ここで、透かし合成は、視野妨害感の強い領域において、当該領域の画像及び当該領域に相関の高い他方の目の画像内の領域の画像を所定の合成比率で重ね合せて画像合成することで行われる。
【００１９】
透かし合成された画像を作成したら、ステップ３０３において、透かし合成された画像を表示部に表示する。
【００２０】
以上述べたように、視野妨害感を強く感じる領域において、処置器具が写っている画像及び処置器具が写っていない画像を透かし合成することにより、処置器具が合成比率に応じて透明化された画像を生成できる。そのため、観察者は、処置器具の存在を確認しながらも、視野妨害感が軽減されるとともに疲労感も低減されることができる。なお、処置器具が写っている画像の合成比率を低く設定すると、処置器具がより透明に近い態様で確認でき、観察者は焦点を無理なく背景に合わせられるため、視野妨害感がより軽減される。
【００２１】
（第２実施例）
本実施例は、第一実施例で行っていた透かし合成処理を、処置器具の先端をトラッキングし、当該先端の位置に応じて透かし合成処理を行う範囲と合成比率（透明度）を変更するようにしたものである。
【００２２】
図５は本実施例による処理システムの機能ブロック図を示している。図中、１０２Ｒ及び１０２Ｌはそれぞれ右目用及び左目用の撮像部、５１はメモリである。５２は画像処理を行う画像処理部であり、撮像部で撮影した画像から処置器具の先端領域を検出する先端領域検出部５３、及び透かし合成部５４を有する。５５は表示部を示す。ここで、画像処理部５２は例えばＣＰＵなどを用いて実現されることができる。撮像部１０２Ｒ、１０２Ｌ、メモリ５１及び表示部５５に関しては第１実施例において説明したものと同等であるため、説明を割愛する。
【００２３】
本実施例の動作を説明するために、まず立体内視鏡の撮像部について詳述する。図６（ａ）は立体内視鏡の撮像部を示している。６１は撮像部１０２Ｒの中心、６２は撮像部１０２Ｌの中心、６３はチャネル２３の中心を示す。また、６１と６２を結ぶ直線１１１と６３との距離をｙｄ、６３から直線１１１に降ろした垂線と直線１１１との交点から６１及び６２までの距離をそれぞれｘｄ１、ｘｄ２とする。図６（ｂ）は処置器具６４がチャネルからＬだけ送出されたときに図６（ａ）の矢印１１２の方向から見た模式図である。図６（ｃ）は撮像部１０２Ｒで獲得される画像を示している。６８は画像の中心画素、６９は画像に写っている処置器具の先端の位置を示し、ｎ及びｍは中心画素６８から見たときの処置器具の先端６９の画素位置を表している。
【００２４】
話を簡単にするために、カメラはピンホールカメラであると仮定し、処置器具の太さを無視する。また、カメラの画像面までの距離をｆ、撮像面の画素ピッチをｐ、処置器具６４がＬだけ送出された時の先端部の画像面上で位置（画像面の中心画素６８からの距離）をｙとする。この時、
【数１】
2014147630.tif 000003
同様に、
【数２】
2014147630.tif 000004
という関係が導かれる。
【００２５】
先端領域検出部５３の動作について説明する。先端領域検出部５３は、メモリ５１に保持された画像について、処置器具の画像のテンプレートを予め作成しておき、数式１及び数式２で示される（ｍ，ｎ）の軌跡上をテンプレートマッチングすることで、保持された画像内の処置器具の先端位置を検出する。ここでは、撮像部１０２Ｒの画像のみを利用したが、１０２Ｌの画像上でも同様の検出を行い、照合することで更なる精度向上が期待できる。そして、先端領域検出部５３は、検出した処置器具の先端領域の情報を透かし合成部５４に通知する。例えば、図７（ｂ）に示すように、求められた処置器具の先端から、所定距離にある領域（先端領域）７２と当該所定距離よりさらに遠い距離にある領域７３を決定し、その情報を通知することができる。この際、領域７０（第１実施例における視野妨害感が強い領域３３に相当する）のうち、領域７２と領域７３を除いた領域７１の情報も透かし合成部５４に通知することもできる。
【００２６】
次に透かし合成部５４の動作を説明する。透かし合成部５４は、先端領域検出部５３から通知された処置器具の先端領域の位置に基づいて、視野妨害感の強い領域７０内の領域ごとに画像合成の合成比率を制御して透かし合成処理を行う。例えば、領域７１、７２及び７３に相当する領域において、異なる合成比率で、透かし合成処理を行う。この際、処置器具の先端位置に近い領域７０内の領域ほど、その領域の画像の合成比率を高くして、透かし合成を行うことができる。すなわち、領域７２の画像の合成比率を領域７１及び７３の画像の合成比率よりも高い値に設定して、透かし合成を行うことにより、処置器具の出現を確認しやすくすることができる。なお、領域７１には処置器具が写っておらず視野妨害感が生じないため、透かし合成を行う領域から省くこともできる。この場合、透かし処理を行う領域を縮小することができるため、処理を高速化することができる。また、画像に写っている処置器具の領域の大きさが、処置器具の先端からの所定距離に満たない場合は、当該処置器具の領域の合成比率をあらかじめ決めておいた合成比率に設定することもできる。なお、処置器具の先端位置が領域７０よりも先に搬出されている場合においても、処置器具の先端位置に近い領域７０内の領域ほど、その領域の画像の合成比率を高くして透かし合成を行うことにより、処置器具の位置や軌跡を確認しやすくすることができる。
【００２７】
図８に本実施例による処理のフローチャートを示す。図中のＳ４０１及びＳ４０４の処理は、第１実施例のＳ３０１及びＳ３０３の処理とそれぞれ同様であるため説明を割愛する。
【００２８】
ステップＳ４０２では、メモリ５１に格納された画像から処置器具の先端位置を検出し、検出した処置器具の先端領域の情報を透かし合成部５４に通知する。
【００２９】
ステップＳ４０３では、先端領域検出部５３から通知された処置器具の先端領域の位置に基づいて、視野妨害感の強い領域７０内の領域ごとに画像合成の合成比率を制御して透かし合成処理を行う。透かし合成の方法は、第１実施例で述べた方法を利用する。
【００３０】
本実施例では、以上述べたように、撮影された画像に写る処置器具の先端位置を検出し、当該先端領域の位置に基づいて、視野妨害感の強い領域内の領域ごとに画像合成の合成比率を制御して、相関の高い領域の対応する領域と透かし合成処理を行う。これにより、それぞれの領域で合成比率に応じて処置器具が透明化された画像を生成できる。また、先端領域の画像の合成比率が、先端領域以外の領域の画像の合成比率に比べて、当該領域の画像の合成比率が高くなるように透かし合成することにより、チャネルからの処置器具の出現を確認しやすくすることができる。同様に、先端領域に近い領域ほど、当該領域の画像の合成比率を高くなるように透かし合成することにより、チャネルからの処置器具の出現や処置器具の位置及び軌跡などを確認しやすくすることができる。
【００３１】
（第３実施例）
第１実施例では、透かし合成処理の合成比率をあらかじめ決めておくようにしたが、スライダースイッチやボリュームスイッチを利用して、観察者が手元でリアルタイムに合成比率を変更するように操作することも可能である。これにより、当初は観察画面内の処置器具の先端領域の合成比率を上げて、すなわち透明度を下げて、処置器具の先端を見えるようにしておき、見る必要のない状況では合成比率を下げて、すなわち透明度を上げておくことができる。チャネルに処置器具を挿入する場合には、意図せずに臓器に接触しないように、処置器具の先端を内視鏡の先端から搬出させる時に特に気をつける必要がある。そのため、視野妨害感の強い領域の少なくとも一部において、合成比率を任意に変更できるように、状況に応じて自由に手元で合成比率を設定できることは有用である。さらに、観察画面内の任意の領域の合成比率を変更できるようにするために、観察画面にタッチパネルを装着しておき、観察者に透かし合成すべき領域のサイズや位置を直接指定させることができる。また、市販されているジェスチャー認識システム等を利用して入力することも可能である。このように、任意の領域の合成比率を任意に設定できることにより、処置器具の先端位置や軌跡を確認し易くしたり、処置器具が引き起こす視野妨害感だけでなく、例えば、手術中に臓器を吊っている糸が引き起こす視野妨害感も減少させたりすることができる。
【００３２】
（第４実施例）
本実施例では、内視鏡の観察画面内に処置器具が出現するときには、視野妨害感が強い領域の合成比率が高く設定され、時間の経過とともに徐々に所定の値まで合成比率が低くなるように、すなわち所定の値まで当該領域の透明度が上がっていくように制御される。観察者は処置器具が内視鏡から出ていることを一旦認識すれば、後は透明度を上げても処置器具を認識できる。最も注意しなければいけないのは、まったく観察画面内に処置器具がない状態から処置器具が出現する時である。この時に、透明度を上げておくと、処置器具が出現したことに気がつかない恐れがあり、出現した処置器具が意図せずに臓器に触れてしまう場合がある。しかしながら、視野妨害感が強い領域に透明度が低い状態で処置器具を長くとどめておくと、処置器具を立体画像として認識できない（融像できない）ため、観察者が疲労感を感じやすい。したがって、観察者が処置器具の出現に気づくように当初は透明度を低く設定し、時間の経過とともに透明度を上げることで、観察者に処置器具の出現を気づかせつつ、視野妨害感を軽減することができる。なお、透明度の下限と上限をあらかじめ設定してもよいし、観察者が内視鏡の画像を観察しながらキーボードやタッチパネル等を利用して設定してもよい。また、手術等で処置器具が見えていることが重要な領域にはそのまま処置器具が表示されるようにしてもよい。
【００３３】
（第５実施例）
第２実施例では、処置器具の画像のテンプレートを予め作成しておき、処置器具の軌道上をテンプレートマッチングすることで、処置器具の先端位置を検出した。しかしながら、処置器具の先端位置の検出方法は当該方法に限られるものではなく、例えば、処置器具がチャネルからどの程度送出されているかを検知するセンサを内視鏡本体に設置しておき、その情報をもとに処置器具の先端位置を検出する方法もある。センサとしては、光学マウスに用いられているような光学的に移動量を検出する光学センサなどを利用することができる。また、センサ情報を使って、処置器具の先端位置を検出する際のテンプレートマッチングの探索範囲を限定することもできる。センサを使わない方法としては、処置器具が画像に最初に写る場所は一意に決まるため、その部分を常に監視しておき、一度見つけたらその部分を追跡するという方法がある。
【００３４】
（第６実施例）
第１乃至第５実施例までは、透かし合成処理の際に、合成する領域の画像として視野妨害感の強い画像をそのまま利用したが、本実施例では視野妨害感の強い画像を変形処理してさらに見やすい状態にし、透かし合成に利用する。
【００３５】
図９は第６実施例による処理システムの機能ブロック図を示している。図中、１０３Ｒ及び１０３Ｌはそれぞれ右目用及び左目用の撮像部、９１はメモリである。９２は画像処理部であって、撮像部で撮影された画像を変形処理して処置器具画像を生成する処置器具画像生成部９３及び透かし合成部９４を有する。９５は表示部を示す。ここで、画像処理部９２は例えばＣＰＵなどを用いて実現されることができる。撮像部１０３Ｒ、１０３Ｌ、メモリ９１及び表示部９５に関しては第１実施例で述べたものと同等であるため、説明を割愛する。
【００３６】
図１０を用いて、処置器具画像生成部９３の動作について説明する。図１０は処置器具画像生成部９３の処理を模式的に表したものである。図１０（ａ）は図３（ａ）で示した領域３３及び図３（ｂ）で示した領域３６と同じ領域を示す。まず、メモリ９１に保持された両眼の画像の視野妨害感の強い領域３３、３４の画像から、図１０（ｂ）に示すように、処置器具（もしくは、処置器具が通過する領域）以外の部分（以下、背景とする。）を取り除いた画像３３１、３６１を生成する。次に、図１０（ｃ）のように、画像３３１、３６１を底部が狭い台形となるように変形して処置器具画像３３２、３６２を生成する。
【００３７】
透かし合成部９４では、処置器具画像生成部９３で生成された画像３３２、３６２と、変形される前の領域に相関の高い領域３４、３７の画像とを透かし合成する。これにより、図１０（ｄ）に示すように、処置器具が写っている領域の視差が少なくされ、かつ、当該領域が領域３５１のように合成比率に応じて透明化された画像が生成される。なお、領域３３、３６の画像を変形したことにより画像の端が欠けた状態になるが、この部分については、相関の高い領域３４、３６の対応する部分の画像を、透かし合成せずにそのままコピーすることができる。また、透かし合成を行わず、そのまま画像３３２を領域３４の画像に上乗せして画像合成してもよい。ただし、いずれの場合も、画像３３２、３６２の背景は気にならない程度に透明化する（背景領域の透明度を１もしくはそれに近い値に設定する）。なお、透かし合成する際には、画像３３２、３６２において透明化されている領域の画像については透かし合成を行わずに領域３４の対応する領域をコピーし、処置器具が写っている領域の画像のみについて領域３４の画像と透かし合成することもできる。
【００３８】
図１１に、第６実施例による処理のフローチャートを示す。ステップＳ５０１及びステップＳ５０４の処理は、第１実施例のステップＳ３０１及びステップＳ３０３の処理とそれぞれ同等であるため、説明を割愛する。
【００３９】
ステップＳ５０２において、処置器具画像生成部９３によって、メモリ９１に格納された画像内の視野妨害感が強い領域の画像から、背景の部分を取り除き、底部が狭い台形となるように変形させた処置器具画像３３２、３６２を生成する。
【００４０】
処置器具画像３３２、３６２が生成されたら、ステップＳ５０３において、メモリ９１に格納された画像内の視野妨害感が強い領域において、処置器具画像３３２、３６２と領域３４、３７の画像とを、それぞれ所定の合成比率で透かし合成する。
【００４１】
また、ステップＳ５０２に別の処理を適用することもできる。この場合の一例を図１２に模式的に示す。図１２（ａ）及び（ｂ）は図１０（ａ）及び（ｂ）と同等のものを示す。ステップＳ５０２の別の処理として、例えば、画像３３１及び３６１を図１０（ｃ）のように台形変形する代わりに、図１２（ｃ）のように曲面を持つように変形して画像３３３及び３６３を生成して、当該画像を用いて透かし合成する。これにより元の画像に写っている処置器具部分と曲面変形された処置器具部分との接続が滑らかになり、台形変形を利用する場合に比べて違和感が軽減される。当該変形処理された画像を用いて透かし合成処理した画像を図１２（ｄ）に示す。
【００４２】
本実施例では、以上述べたように、視野妨害感が高い領域の画像から、視差が小さくなるように変形を行った処置器具画像を生成し、当該処置器具画像及び視野妨害感が高い領域に相関の高い領域の画像を、透かし合成する。これにより、視差妨害感を低減し、かつ視差が小さく観察しやすい立体像を提供することができる。
【００４３】
（第７実施例）
第６実施例では、撮影された画像の少なくとも一部を視差が小さくなるように変形し、合成していた。これに対して、本実施例では、コンピュータグラフィックス（以下、ＣＧとする。）技術を用いて、観察しやすい（観察時の視差が小さい）処置器具画像を生成し、透かし合成処理を行うようにしたものである。
【００４４】
図１３に本実施例の機能ブロック図を示す。図中、１０４Ｒ及び１０４Ｌはそれぞれ右目及び左目用の撮像部、１３１はメモリである。１３２は画像処理部であって、処置器具の先端領域検出部１３３、処置器具画像生成部１３４、及び透かし合成部１３５を有する。１３６は表示部を示す。ここで、画像処理部１３２は例えばＣＰＵなどを用いて実現されることができる。撮像部１０４Ｒ、１０４Ｌ、メモリ１３１、先端領域検出部１３３及び表示部１３６は第２実施例で述べたものとそれぞれ同等であるため、説明を割愛する。
【００４５】
図１４を用いて、処置器具画像生成部１３４の動作を説明する。図１４は、処置器具画像を生成する際にＣＧ技術で利用する幾何形状モデルの一例を示したものであり、幾何形状モデル１４１は、先端部が曲がったパイプ状のものである。この幾何形状モデル１４１に対して、内視鏡の光学系とほぼ同じになるように光源と視点を設定してシェーディングを施して描画し、処置器具画像を生成する。ここで、シェーディングではなく、テクスチャマッピング等を利用してもよい。処置器具画像を生成したら、先端領域検出部１３３で検出された処置器具の先端領域の位置に基づいて、視野妨害感の強い領域に写っている処置器具の部分に対応する処置器具画像の部分を特定する。なお、当該決定処理は透かし合成部で行ってもよい。
【００４６】
透かし合成部１３５は、特定された処置器具画像の部分及び視野妨害感の強い領域に相関の高い領域の画像を、検出された特定領域の位置に基づいて、透かし合成する。この際には、ユーザが観察し易くなるように処置器具画像に関する視差量を調整して透かし合成することができる。
【００４７】
図１５に本実施例の処理のフローチャートを示す。ステップＳ６０１、ステップＳ６０２及びステップＳ６０５の処理は、第２実施例のステップＳ４０１、ステップＳ４０２及びステップＳ４０４の処理と同等であるため、説明を割愛する。
【００４８】
ステップＳ６０３において、ＣＧの技法を用いて、内視鏡の光学系とほぼ同じになるように光源と視点を設定し、幾何形状モデル１４１にシェーディングを施して描画し、処置器具画像を生成する。処置器具画像を作成したら、ステップ６０２で求めた処置器具の先端領域の位置に基づいて、視野妨害感の強い領域に写っている処置器具の部分に対応する処置器具画像の部分を特定する。
【００４９】
次にステップＳ６０４ において、メモリ１３１に格納された両眼の画像の視野妨害感が強い領域において、処置器具画像の特定した部分及び視野妨害感の強い領域に相関の高い領域の画像を、検出された処置器具の先端領域の位置に基づいて、透かし合成する。
【００５０】
本実施例では、以上述べたように、実写画像を使うのではなく、ＣＧ技術を用いて生成された処置器具画像を、撮影された画像内の処置器具の先端位置に基づいて、視野妨害感の強い領域に相関の高い領域の画像と、所定の合成比率で透かし合成処理する。これにより、視野妨害感が軽減され、かつ視差の少ない、より観察しやすい立体像を提供することができる。
【００５１】
（第８実施例）
第１実施例では、視野妨害感の強い領域の画像及び当該領域に相関の高い領域の画像を直接に透かし合成したが、本実施例では、一旦、視野妨害感の強い領域から処置器具を消去した上で、透かし合成処理を行う。
【００５２】
図１６は本実施例による処理システムの機能ブロック図を示している。図中、１０５Ｒ及び１０５Ｌはそれぞれ右目用及び左目用の撮像部、１６１はメモリである。１６２は画像処理を行う画像処理部であり、撮像部で撮影した画像から処置器具を消去する処置器具消去部１６３、及び透かし合成部１６４を有する。１６５は表示部を示す。ここで、画像処理部１６２は例えばＣＰＵなどを用いて実現されることができる。撮像部１０５Ｒ、１０５Ｌ、メモリ１６１及び表示部１６５に関しては第１実施例において説明したものと同等であるため、説明を割愛する。
【００５３】
図１７を用いて、処置器具消去部１６３の処理を説明する。まず、図１７（ａ）に示すように、右目画像（第１の画像）３１における視野妨害感の強い領域（第１の領域）３３を、第１実施例と同様に、予め決めておく。この際に、視野妨害感の強い領域３３の画像を画像３３４として、メモリ１６１に格納しておく。次に、領域３３に相関の高い左目画像（第２の領域）３２内の領域（第２の領域）３４を特定する。領域３４を特定する方法としては、第１実施例で述べたように、領域ベースマッチングなどを用いることができる。領域３４を特定したら、画像３１内の領域３３に、相関の高い領域３４の画像をコピーすることで、図１７（ｃ）に示すように、領域３３５において処置器具が消去された画像（第３の画像）３１１を生成することができる。また、左目画像３２についても同様の処理を行う。すなわち、図１７（ｂ）に示すように、左目画像３２における視野妨害感の強い領域３６を決めておき、領域３６の画像を画像３６４としてメモリに格納しておく。次に、領域３６に相関の高い右目画像３１内の領域３７を特定して、画像３２内の領域３６に領域３７の画像をコピーすることで、図１７（ｃ）に示すように、領域３６５において処置器具が消去された画像３２１を生成することができる。
【００５４】
次に、透かし合成部１６４の処理について説明する。透かし合成部１６４では、処置器具が消去された画像３１１内（第３の画像内）の領域３４をコピーした領域（第３の領域）３３５において、領域３３５の画像及びメモリ１６１に格納しておいた視野妨害感の強い領域の画像３３４を、透かし合成する。また、左目画像についても同様に、処置器具が消去された画像３２１内の領域３６５において、領域３６５の画像及びメモリ１６１に格納しておいた視野妨害感の強い領域の画像３６４を、透かし合成する。これにより、図３（ｃ）に示すような、視野妨害感の強い領域において、合成比率に応じて処置器具が透明化され、視野妨害感が低減された画像を生成することができる。
【００５５】
図１８に本実施例の処理のフローチャートを示す。ステップＳ７０１、ステップＳ７０４の処理は、第１実施例のステップＳ３０１、及びステップＳ３０４の処理と同等であるため、説明を割愛する。
【００５６】
ステップＳ７０２において、メモリ１６１に格納された両眼の画像において視野妨害感の強い領域の画像３３４及び３６４をメモリ１６１に格納しておく。さらに両眼の画像の視野妨害感が強い領域に対し、当該領域に相関の高い他眼の画像内の領域の画像をコピーして、視野妨害感の強い領域から処置器具を消去した画像３１１及び３２１を生成する。
【００５７】
次にステップＳ７０３ において、画像３１１及び３２１内の処置器具が消去された領域３３５及び３６５において、領域３３５及び３６５の画像及びメモリ１６１に格納しておいた元の視野妨害感の強い領域の画像３３４及び３６４を、それぞれ透かし合成する。
【００５８】
本実施例では、以上述べたように、視野妨害感の強い領域において、当該領域に相関の高い処置器具が写っていない画像をコピーして、視野妨害感の強い領域から処置器具を消去した画像を生成する。その後、処置器具が消去された領域の画像及び元の処置器具が写った視野妨害感の強い領域の画像を透かし合成することにより、処置器具が合成比率に応じて透明化された画像を提供することができる。そのため、観察者は、処置器具の存在を確認しながらも、視野妨害感が軽減されるとともに疲労感も低減されることができる。
【００５９】
（第９実施例）
第１実施例においては、視野妨害感の強い領域とその相関の高い領域を透かし合成した場合に、透かし合成された領域の画像と透かし合成されなかった領域の画像との輝度差等の影響で領域の接合（境界）部でエッジを生じることがある。本実施例では、これに対処するため、透かし合成する際に、所定の幅（画像のサイズの１／１０程度）を有する境界領域において境界から離れるにしたがって、視野妨害感の強い領域の透明度が徐々に高くなるようにして透かし合成する。これによって、透かし合成された領域の境界部分を目立たなくすることができる。この処理の様子を図１９に示す。ここで、図中の１９１は第１実施例で示した画像３１に、１９２は領域３３に、１９５は領域３４にそれぞれ相当する。１９３は領域１９２の境界領域を、１９４は領域１９２から境界領域１９３を除いた領域（中心領域）をそれぞれ示している。同様に、１９６は領域１９５の境界領域を、１９７は領域１９５から境界領域１９６を除いた領域（中心領域）をそれぞれ示している。本実施例では、領域１９２の画像及び領域１９５の画像を透かし合成する際に、境界領域１９３の合成比率が、境界から中心領域１９４に近づくにつれ、所定の値から徐々に低くなるように透かし合成する。すなわち、境界領域１９３の画像及び境界領域１９６の画像を透かし合成する際に、境界領域１９３の透明度が、境界から中心領域１９４に近づくにつれ、所定の値から例えば中心領域１９４の透明度まで高くなるように透かし合成する。これにより、単に領域１９２の画像の全体を所定の合成比率で透かし合成するよりも境界部分を目立たなくすることができる。
【００６０】
また、第８実施例においては、透かし合成処理を行う際ではなく、視野妨害感の強い領域１９２に対して相関の高い領域１９５をコピーする際に上記のエッジを目立たなくする処理を行ってもよい。すなわち、相関の高い領域１９５の画像をコピーする際に、境界領域１９３の画像及び境界領域１９６の画像を、境界領域１９３の合成比率が境界から中心領域１９４に近づくにつれ、所定の値から徐々に低くなるように透かし合成を行う。また、中心領域に関しては、中心領域１９７を中心領域１９４にコピーする。その後、領域１９７の画像がコピーされ処置器具が消去された後の中心領域の画像及び予め記憶しておいた処置器具が消去される前の中心領域１９４の画像を透かし合成する。これにより、単にコピーするよりも境界部分を目立たなくすることができる。
【００６１】
（第１０実施例）
第８及び第９実施例では、両眼の画像の視野妨害感の強い領域において、処置器具消去処理を行った上で、処置器具が消去された領域の画像及び処置器具が写っている領域の画像を透かし合成していた。本実施例では、左目及び右目のいずれか一方の画像のみ処置器具消去処理を行い、かつ、他眼の画像についてのみ透かし合成処理を行うように構成する。また、両眼の画像について処置器具消去処理を行った上で、左目及び右目のいずれか一方の画像のみを透かし合成を行うように構成することもできる。なお、この際、第１実施例と同様に透かし合成の合成比率は任意に設定でき、それにより、処置器具の透明度は任意に設定できる。これにより、融像が難しい領域が２Ｄ化され、かつ、処置器具が合成比率に応じて透明化される。そのため、ほとんどの領域で立体視が可能となり、観察者は背景に無理なく焦点を合わせることができるため、視野妨害感を少なくすることができる。また、左目及び右目のいずれか一方の目の画像の処置器具消去処理のみを行い、他眼の画像について透かし合成を行わないように構成してもよい。なお、両目画像について処置器具消去処理を行い、左目及び右目のいずれか一方の目の画像のみについて視野妨害感の強い領域の画像をコピーするように構成することもできる。これら透かし合成を行わないいずれの場合であっても、融像が難しい領域が２Ｄ化され、さらに他の領域では立体視が可能となるため、観察者は背景に無理なく焦点を合わせることができるので、視野妨害感を少なくすることができる。これにより、観察者は、処置器具の存在を確認しながらも、視野妨害感が軽減されるとともに疲労感も低減されることができる。また、処置器具消去処理や処置器具消去処理を行う際に、第９実施例による処理を行うことにより、境界領域が目立たなくなるため、さらに処置器具を観察し易い画像を提供できる。
【００６２】
また、各実施例に対して、それぞれの実施例で利用した手法を組み合わせて適用することも可能である。
【００６３】
上述の各実施例に関しては、内視鏡装置の図示しないコントロールボックスなどを用いて処理を行うことができるが、例えば図２０に示すような構成を有するコンピュータを用いて、同様の処理を実現することもできる。なお、図中、２１１はＣＰＵ、２１２は主メモリ、２１３は磁気ディスク、２１４は表示メモリ、２１８は共通バス、１４０は表示装置、１５０はマウス、１６０はキーボードである。また、１０６Ｒ及び１０６Ｌはそれぞれ立体内視鏡の撮像部である。
【００６４】
上述の各実施例に関して、立体内視鏡装置について話を進めてきたが、画像処理分野の専門家が見れば、本発明の適用範囲が立体内視鏡装置に限らないことは明らかである。例えば、通常のステレオカメラで風景を撮影しているとき、視野妨害感が強い（カメラに近接した）領域に物体が存在する場合などにも各実施例で利用した手法を適用可能である。すなわち、各実施例の透かし合成処理を行うことにより、当該物体の視野妨害感を軽減することができる。
【００６５】
以上述べたように、各実施例によれば、視野妨害感を強く感じる領域において、処置器具が写った画像及び処置器具が写っていない画像を、所定の合成比率で透かし合成する。これにより、処置器具が所定の合成比率に応じて透明化される。そのため、観察者は、処置器具の存在を確認しながらも視野妨害感を軽減されるとともに疲労感も低減されることができる。さらに、各実施例は立体内視鏡に限らず、立体撮像・表示システムにおいても、同様の効果をもたらすことができる。
【符号の説明】
【００６６】
１３            透かし合成部
１０１Ｒ        撮像部（右目用）
１０１Ｌ        撮像部（左目用）
【図１】
2014147630.tif 000005
【図２】
2014147630.tif 000006
【図３】
2014147630.tif 000007
【図４】
2014147630.tif 000008
【図５】
2014147630.tif 000009
【図６】
2014147630.tif 000010
【図７】
2014147630.tif 000011
【図８】
2014147630.tif 000012
【図９】
2014147630.tif 000013
【図１０】
2014147630.tif 000014
【図１１】
2014147630.tif 000015
【図１２】
2014147630.tif 000016
【図１３】
2014147630.tif 000017
【図１４】
2014147630.tif 000018
【図１５】
2014147630.tif 000019
【図１６】
2014147630.tif 000020
【図１７】
2014147630.tif 000021
【図１８】
2014147630.tif 000022
【図１９】
2014147630.tif 000023
【図２０】
2014147630.tif 000024