(57)【要約】【課題】広視野角の内視鏡によって取得された内視鏡画像の中心画像の視認性を向上しつつ、周辺画像の歪みを補正して病変部位の発見を容易にする。【解決手段】広角撮影可能な内視鏡により取得された内視鏡画像を中心画像とその周囲の中空の周辺画像とに分離する画像分離部４と、該画像分離部４により中心画像から分離された周辺画像を周方向に分割して複数の扇形の周辺画像片を生成する周辺画像分割部５と、該周辺画像分割部５により生成された各周辺画像片の周方向の長さ寸法を中心画像の最大幅寸法と略同等の長さ寸法となるように歪曲補正を施す画像補正部６とを備える内視鏡画像処理装置２を提供する。【選択図】図１
2011131023.tif 000002
【特許請求の範囲】
【請求項１】
広角撮影可能な内視鏡により取得された内視鏡画像を中心画像とその周囲の中空の周辺画像とに分離する画像分離部と、
該画像分離部により中心画像から分離された周辺画像を周方向に分割して複数の扇形の周辺画像片を生成する周辺画像分割部と、
該周辺画像分割部により生成された各周辺画像片の周方向の長さ寸法を前記中心画像の最大幅寸法と略同等の長さ寸法となるように歪曲補正を施す画像補正部とを備える内視鏡画像処理装置。
【請求項２】
前記内視鏡画像が円形状であり、前記中心画像が前記内視鏡画像の中央の円形領域の画像であり、前記周辺画像が円環状である請求項１に記載の内視鏡画像処理装置。
【請求項３】
前記周辺画像分割部が、前記周辺画像を分割して２つの扇形の周辺画像片を生成する請求項１に記載の内視鏡画像処理装置。
【請求項４】
前記画像補正部が、前記扇形の周辺画像片を略矩形状となるように歪曲補正する請求項１に記載の内視鏡画像処理装置。
【請求項５】
前記内視鏡画像が、１４０°を超える画角を有する請求項１に記載の内視鏡画像処理装置。
【請求項６】
前記周辺画像は、画角が１４０°を超える領域の画像である請求項５に記載の内視鏡画像処理装置。
【請求項７】
前記中心画像と前記周辺画像片とを並べて配列した合成画像を生成する画像合成部を備える請求項１から請求項６のいずれかに記載の内視鏡画像処理装置。
【請求項８】
前記画像合成部は、縦横比が９：１６〜１０：１６となるように前記合成画像を生成する請求項７に記載の内視鏡画像処理装置。
【請求項９】
請求項１から請求項８のいずれかに記載の内視鏡画像処理装置と、
該内視鏡画像処理部により生成された前記中心画像および前記周辺画像片を表示する画像表示装置とを備える内視鏡画像表示システム。
【請求項１０】
前記画像表示装置が、前記中心画像を表示する第１の表示装置と、前記周辺画像片を表示する第２の表示装置とを備える請求項９に記載の内視鏡画像表示システム。
【請求項１１】
前記第１または第２の表示装置が、頭部装着型表示装置である請求項１０に記載の内視鏡画像表示システム。
【請求項１２】
請求項８に記載の内視鏡画像処理装置と、
該内視鏡画像処理部により生成された前記合成画像を表示する画面縦横比が９：１６〜１０：１６である画像表示装置とを備える内視鏡画像表示システム。
【請求項１３】
前記画像表示装置が、頭部装着型表示装置である請求項１２に記載の内視鏡画像表示システム。
【請求項１４】
広角撮影可能な内視鏡により取得された内視鏡画像を中心画像とその周囲の中空の周辺画像とに分離する画像分離ステップと、
該画像分離ステップにより中心画像から分離された周辺画像を周方向に分割して複数の扇形の周辺画像片を生成する周辺画像分割ステップと、
該周辺画像分割ステップにより生成された各周辺画像片を前記中心画像の最大幅寸法と略同等の長さ寸法となるように歪曲補正を施す画像補正ステップとを含む内視鏡画像処理方法。
【請求項１５】
前記内視鏡画像が円形状であり、前記中心画像が前記内視鏡画像の中央の円形領域の画像であり、前記周辺画像が円環状である請求項１４に記載の内視鏡画像処理方法。
【請求項１６】
前記周辺画像分割ステップが、前記周辺画像を分割して２つの扇形の周辺画像片を生成する請求項１４に記載の内視鏡画像処理方法。
【請求項１７】
前記画像補正ステップが、前記扇形の周辺画像片を略矩形状となるように歪曲補正する請求項１４に記載の内視鏡画像処理方法。
【請求項１８】
前記内視鏡画像が、１４０°を超える画角を有する請求項１４に記載の内視鏡画像処理方法。
【請求項１９】
前記周辺画像は、画角が１４０°を超える領域の画像である請求項１８に記載の内視鏡画像処理方法。
【請求項２０】
前記中心画像と前記周辺画像片とを並べて配列した合成画像を生成する画像合成ステップを含む請求項１４から請求項１９のいずれかに記載の内視鏡画像処理方法。
【請求項２１】
前記画像合成部は、縦横比が９：１６〜１０：１６となるように前記合成画像を生成する請求項２０に記載の内視鏡画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡画像処理装置、内視鏡画像表示システムおよび内視鏡画像処理方法に関するものである。
【背景技術】
【０００２】
従来、内視鏡として、視野角が１８０°を超えるような広角の光学系を有する内視鏡が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００７−５３６９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような広視野角の内視鏡によって取得される内視鏡画像においては、通常視野の内視鏡と比較して、一度に広範囲にわたる内視鏡画像を観察することができるものの、画角が大きい（外周部に近い）領域の画像（周辺画像）が画角方向に圧縮されてしまうので、この領域に存在する病変部位が歪んでしまい、病変部位を発見することが困難になるという問題がある。また、取得された内視鏡画像を単一画面に表示する場合に、周辺画像によって画角が小さい（中心部に近い）領域の画像（中心画像）の全体画像に占める表示比率が小さくなってしまい、目視での視認が困難になるという不都合もある。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、広視野角の内視鏡によって取得された内視鏡画像の中心画像の視認性を向上しつつ、周辺画像の歪みを補正して病変部位の発見を容易にすることができる内視鏡画像処理装置、内視鏡画像表示システムおよび内視鏡画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、広角撮影可能な内視鏡により取得された内視鏡画像を中心画像とその周囲の中空の周辺画像とに分離する画像分離部と、該画像分離部により中心画像から分離された周辺画像を周方向に分割して複数の扇形の周辺画像片を生成する周辺画像分割部と、該周辺画像分割部により生成された各周辺画像片を前記中心画像の最大幅寸法と略同等の長さ寸法となるように歪曲補正を施す画像補正部とを備える内視鏡画像処理装置を提供する。
なお、本発明に述べる撮影とは、光学系により結像された画像をＣＣＤ等の撮像素子で取得することを示している。撮像素子で取得された画像はその場で画像表示システムに表示するのに用いられたり、また記録媒体に記録することも可能である。
【０００７】
本発明によれば、画像分離部によって内視鏡画像から分離された周辺画像が、周辺画像分割部によって複数の扇形の周辺画像片に分割された後、画像補正部によって、中心画像の最大幅寸法と略同等の長さ寸法となるように歪曲補正される。これにより、一辺が中心画像の最大幅寸法より若干大きな表示画面に中心画像と周辺画像片とを並べて表示することが可能となり、中心画像を表示画面一杯に表示して視認性を向上し、歪曲補正された周辺画像片における病変部位の発見の容易性を向上することができる。
【０００８】
上記発明においては、前記内視鏡画像が円形状であり、前記中心画像が前記内視鏡画像の中央の円形領域の画像であり、前記周辺画像が円環状であってもよい。
このようにすることで、円環状の周辺画像については、その歪曲の度合いが全周にわたって均一であるため、そのような周辺画像から切り出した扇形の周辺画像片に対しては、均等な歪曲補正を施すことで、歪曲を簡易に補正することができる。
【０００９】
また、上記発明においては、前記周辺画像分割部が、前記周辺画像を分割して２つの扇形の周辺画像片を生成してもよい。
このようにすることで、画角方向の圧縮率を変更することなく、２分割した周辺画像片を中心画像の最大幅寸法とほぼ同等の長さを有するまで周方向に圧縮するだけで、簡易に歪曲補正を行うことができる。
【００１０】
また、上記発明においては、前記画像補正部が、前記扇形の周辺画像片を略矩形状となるように歪曲補正してもよい。
このようにすることで、周辺画像片に含まれる被写体についても、まるで中心画像として取得したかのような歪みの少ない画像として取得することができる。
【００１１】
また、上記発明においては、前記内視鏡画像が、１４０°を超える画角を有していてもよい。
また、上記発明においては、前記周辺画像は、画角が１４０°を超える領域の画像であってもよい。
このようにすることで、画角が１４０°を超えるような広角で撮影される領域における歪みを見やすく補正することができ、この領域に存在する病変部位を見やすくして見落としを防止することができる。
【００１２】
また、上記発明においては、前記中心画像と前記周辺画像片とを並べて配列した合成画像を生成する画像合成部を備えていてもよい。
このようにすることで、中心画像と歪みを補正した周辺画像片とを並べた状態の合成画像を１画面で観察することができる。
【００１３】
また、上記発明においては、前記画像合成部は、縦横比が９：１６〜１０：１６となるように前記合成画像を生成してもよい。
このようにすることで、縦横比が９：１６〜１０：１６の表示装置によって、無駄なく配列された中心画像と歪みを補正した周辺画像片とを並べた状態の合成画像を１画面で観察することができる。
【００１４】
また、本発明は、上記いずれかの内視鏡画像処理装置と、該内視鏡画像処理部により生成された前記中心画像および前記周辺画像片を表示する画像表示装置とを備える内視鏡画像表示システムを提供する。
本発明によれば、内視鏡画像処理装置によって生成された中心画像および周辺画像片を画像表示装置に表示して、広角で撮影される領域に存在する病変部位を見やすくして見落としを防止することができる。
【００１５】
上記発明においては、前記画像表示装置が、前記中心画像を表示する第１の表示装置と、前記周辺画像片を表示する第２の表示装置とを備えていてもよい。
このようにすることで、中心画像および周辺画像片を相互に影響されることなく別個の表示装置に表示できる。したがって、中心画像を第１の表示装置に最大限の大きさで表示でき、歪曲補正された周辺画像片を第２の表示装置に最大限の大きさで表示することができる。
【００１６】
また、上記発明においては、前記第１または第２の表示装置が、頭部装着型表示装置であってもよい。
また、本発明は、上記内視鏡画像処理装置と、該内視鏡画像処理部により生成された前記合成画像を表示する画面縦横比が９：１６〜１０：１６である画像表示装置とを備える内視鏡画像表示システムを提供する。
また、上記発明においては、前記画像表示装置が、頭部装着型表示装置であってもよい。
【００１７】
また、本発明は、広角撮影可能な内視鏡により取得された内視鏡画像を中心画像とその周囲の中空の周辺画像とに分離する画像分離ステップと、該画像分離ステップにより中心画像から分離された周辺画像を周方向に分割して複数の扇形の周辺画像片を生成する周辺画像分割ステップと、該周辺画像分割ステップにより生成された各周辺画像片の周方向の長さ寸法を前記中心画像の最大幅寸法と略同等の長さ寸法となるように歪曲補正を施す画像補正ステップとを含む内視鏡画像処理方法を提供する。
【００１８】
上記発明においては、前記内視鏡画像が円形状であり、前記中心画像が前記内視鏡画像の中央の円形領域の画像であり、前記周辺画像が円環状であってもよい。
また、上記発明においては、前記周辺画像分割ステップが、前記周辺画像を分割して２つの扇形の周辺画像片を生成してもよい。
【００１９】
また、上記発明においては、前記画像補正ステップが、前記扇形の周辺画像片を略矩形状となるように歪曲補正してもよい。
さらに、上記発明においては、前記内視鏡画像が、１４０°を超える画角を有していてもよい。
また、上記発明においては、前記周辺画像は、画角が１４０°を超える領域の画像であってもよい。
【００２０】
また、上記発明においては、前記中心画像と前記周辺画像片とを並べて配列した合成画像を生成する画像合成ステップを含んでいてもよい。
また、上記発明においては、前記画像合成部は、縦横比が９：１６〜１０：１６となるように前記合成画像を生成してもよい。
【発明の効果】
【００２１】
本発明によれば、広視野角の内視鏡によって取得された内視鏡画像の中心画像の視認性を向上しつつ、周辺画像の歪みを補正して病変部位の発見を容易にすることができるという効果を奏する。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る内視鏡画像表示システムを示すブロック図である。
【図２】図１の内視鏡画像表示システムにより内視鏡画像から分離される中心画像および周辺画像をそれぞれ示す図である。
【図３】周辺画像を分離して２つの周辺画像片を生成する場合を示す図である。
【図４】半円の扇形の周辺画像片を長方形の領域に写像する画像補正処理を説明するための図である。
【図５】図１の内視鏡画像表示システムにより生成された合成画像を示す図である。
【図６】本発明の一実施形態に係る内視鏡画像処理方法を示すフローチャートである。
【図７】図５の合成画像の第１の変形例を示す図である。
【図８】図５の合成画像の第２の変形例を示す図である。
【図９】図５の合成画像の第３の変形例を示す図である。
【図１０】図５の合成画像の第４の変形例を示す図である。
【図１１】図５の合成画像の第５の変形例を示す図である。
【図１２】図１の内視鏡画像表示システムにより生成された中心画像および補正後の周辺画像片を別個の表示画面に表示する一例を示す図である。
【図１３】図１２の他の表示例を示す図である。
【図１４】図１２のさらに他の表示例を示す図である。
【発明を実施するための形態】
【００２３】
本発明の一実施形態に係る内視鏡画像処理装置、内視鏡画像表示システムおよび内視鏡画像処理方法について、図面を参照して説明する。
本実施形態に係る内視鏡画像表示システム１は、広角撮影可能な内視鏡によって取得された内視鏡画像を処理する内視鏡画像処理装置２と、該内視鏡画像処理装置２によって生成された画像を表示する画像表示装置３とを備えている。
【００２４】
広角撮影可能な内視鏡は、体腔内に挿入される細長い挿入部の先端に、例えば、２００°の視野角を有する撮像光学系を有している。すなわち、挿入部が体腔内に挿入された場合について説明すると、体腔に沿って奥側に向かう挿入部の正面前方、体腔内壁に対向する挿入部の半径方向外方（測方）および挿入部の基端側に向かう斜め後方にわたる広範囲の内視鏡画像を取得することができるようになっている。体腔が、例えば、内壁に多くの襞を有する腸管等の場合に、襞の裏側についても撮影することができる。
【００２５】
しかしながら、このような広角撮影可能な内視鏡により取得されたままの内視鏡画像は、その中心領域においては歪みは少ないが、画角が大きくなるに従って、画角方向に圧縮されるような歪みが発生している。
【００２６】
本実施形態に係る内視鏡画像処理装置２は、図１に示されるように、内視鏡によって取得された内視鏡画像を、中心画像とその周囲の周辺画像とに分離する画像分離部４と、周辺画像を周方向に２分割して２つの扇形の周辺画像片を生成する周辺画像分割部５と、生成された２つの周辺画像片に対して画像補正を施す画像補正部６と、中心画像と周辺画像片とを合成した合成画像を生成する画像合成部７とを備えている。
【００２７】
内視鏡により取得される内視鏡画像Ｇ１は、図２に示されるように円形の画像であり、挿入部の正面前方を撮影した中心画像Ｇ２と挿入部の測方および斜め後方を撮影した周辺画像Ｇ３とが連続して含まれている。画像分離部４は、そのような内視鏡画像Ｇ１から、１４０°より小さい画角を有する中心画像Ｇ２と、１４０°以上の画角を有する周辺画像Ｇ３とを分離するようになっている。中心画像Ｇ２は、円形の画像となり、周辺画像Ｇ３は中空の円環状の画像となる。
【００２８】
画像分割部５は、図３に示されるように、円環状の周辺画像Ｇ３を２つの半円の扇形の周辺画像片Ｇ３１，Ｇ３２に分割するようになっている。
そして、画像補正部６は、図４に示されるように、各周辺画像片Ｇ３１，Ｇ３２に対して、扇形領域を中心画像Ｇ２の直径寸法と同等の高さ寸法を有する長方形領域に写像するような歪曲補正を行うようになっている。
【００２９】
これにより、周辺画像片Ｇ３１，Ｇ３２を構成する各部の画像は、周方向に圧縮されるとともに半径方向に広げられ、かつ、円弧状の領域ＡＢＣＤＥＦを長方形領域Ａ’Ｂ’Ｃ’Ｅ’Ｆ’に写像することで、画像に発生していた歪みが補正される。補正後の周辺画像片Ｇ３１’，Ｇ３２’は、あたかも挿入部の半径方向外方を正面に配置したかのように歪みの少ない画像となっている。
【００３０】
画像合成部７は、図５に示されるように、分離された円形の中心画像Ｇ２の両側に、長方形に補正された周辺画像片Ｇ３１’，Ｇ３２’を並べた形態の合成画像Ｇ４を生成するようになっている。画像補正部６は、合成画像Ｇ４の縦横比が、例えば、９：１６となるように、周辺画像片Ｇ３１’，Ｇ３２’を補正するようになっている。
画像表示装置３は、縦横比が９：１６の表示画面を有している。
【００３１】
このように構成された本実施形態に係る内視鏡画像処理装置２および内視鏡画像処理システム１を用いた内視鏡画像処理方法について、以下に説明する。
本実施形態に係る内視鏡画像処理方法は、図６に示されるように、内視鏡により取得された内視鏡画像Ｇ１を中心画像Ｇ２とその周囲の中空の周辺画像Ｇ３とに分離する画像分離ステップＳ１と、中心画像Ｇ２から分離された周辺画像Ｇ３を周方向に２分割して２つの扇形の周辺画像片Ｇ３１，Ｇ３２を生成する周辺画像分割ステップＳ２と、生成された２つの周辺画像片Ｇ３１，Ｇ３２をそれぞれ中心画像Ｇ２の直径寸法と略同等の長さ寸法となるように歪曲補正を施す画像補正ステップＳ３と、中心画像Ｇ２の両側に、それぞれ周辺画像片Ｇ３１，Ｇ３２を並べて配列した合成画像Ｇ４を生成する画像合成ステップＳ４とを含んでいる。
【００３２】
内視鏡画像Ｇ１を中心画像Ｇ２と周辺画像Ｇ３とに分離することで、歪みの少ない中心画像Ｇ２についてはそのまま表示し、歪みの大きな周辺画像Ｇ３については、適正な歪曲補正を施して見やすくすることができる。
また、周辺画像Ｇ３を分離した中心画像Ｇ２は、その周辺に配置されている周辺画像Ｇ３を表示するために小さく表示しなければならなかった制約を除かれるので、画像表示装置３の表示画面の高さによって制限される限りの最大限の大きさで表示することができる。さらに、周辺画像Ｇ３についても、中心画像Ｇ２の直径寸法とほぼ同等の高さ寸法を有する長方形領域に写像されるので、縦横比６：１９の表示画面の中心画像Ｇ２以外の空き領域を利用して、１画面で表示することができる。
【００３３】
円環状の領域に取得されていた内視鏡画像Ｇ１における周辺画像Ｇ３では、画角が大きくなるに従って強く圧縮された画像となって、周辺画像Ｇ３内に存在する病変部位も大きく歪んで見難かったが、長方形領域に写像されることにより、歪みが修正されて見やすくなっている。したがって、表示画面上において、病変部位を発見し易くなり、観察中における見落としの発生を防止することができるという利点がある。
【００３４】
なお、本実施形態においては、周辺画像Ｇ３を２分割した半円の扇形の周辺画像片Ｇ３１，Ｇ３２をそれぞれ長方形領域に写像することとしたが、これに限定されるものではなく、図７および図８に示されるように、長方形以外の領域に写像して、画角方向の画像の歪みを軽減するような補正を施すことにしてもよい。
また、図９に示されるように、周辺画像片Ｇ３１，Ｇ３２を合成画像Ｇ４における中心画像Ｇ２以外の空き領域全体に写像することとして、無駄なく表示することにしてもよい。
【００３５】
また、図１０に示されるように、中心画像Ｇ２についても歪曲を修正するような補正を施すことにしてもよい。
また、図１１に示されるように、合成画像Ｇ４中における中心画像Ｇ２の比率を小さくして、その分、周辺画像片Ｇ３１’，Ｇ３２’の表示領域を大きく確保することにしてもよい。
【００３６】
また、中心画像Ｇ２と周辺画像片Ｇ３１’，Ｇ３２’とを同一の合成画像Ｇ４に合成することに代えて、図１２に示されるように、別個の表示画面に表示することにしてもよい。
この場合、周辺画像片Ｇ３１’，Ｇ３２’の配列方向は、図１２のように上下に配列してもよいし、図１３に示されるように左右に配列することにしてもよい。
また、図１４に示されるように、周辺画像片Ｇ３１’，Ｇ３２’についても別個の表示画面に表示することにしてもよい。
【００３７】
さらに、画像表示装置３としては、固定式の通常のモニタに代えて、頭部装着型のモニタを採用することにしてもよい。２以上の表示画面によって表示する例においては、いずれかの表示画面を頭部装着型にすることにしてもよい。
また、本実施形態においては、周辺画像Ｇ３を２つの周辺画像片Ｇ３１，Ｇ３２に分割することとしたが、これに代えて、３つ以上に分割することにしてもよい。
【００３８】
また、中心画像Ｇ２として円形の画像、周辺画像として円環状の画像を例示したが、正多角形の中心画像と、その周囲の台形状の周辺画像に適用することにしてもよい。
また、合成画像Ｇ４の縦横比を９：１６としたが、これに代えて、他の任意の縦横比の合成画像Ｇ４を採用してもよい
【００３９】
また、画像を分割する際、周辺画像片Ｇ３１，Ｇ３２はその境界域で共通の部分を含んでいてもよい。例えば、図３に示すように１８０°の円弧２つに分割するのではなく、１８０°以上、例えば、１８０〜２４０°の円弧にすることにより、０〜３０°のオーバラップ領域を周辺画像の両端に持つことになる。また、その場合、周辺画像片Ｇ３１’，Ｇ３２’も一部共通の部分を含んでいてもよい。
【符号の説明】
【００４０】
Ｇ１  内視鏡画像
Ｇ２  中心画像
Ｇ３  周辺画像
Ｇ３１，Ｇ３２  周辺画像片
Ｇ４  合成画像
Ｓ１  画像分離ステップ
Ｓ２  周辺画像分割ステップ
Ｓ３  画像補正ステップ
Ｓ４  画像合成ステップ
１  内視鏡画像表示システム
２  内視鏡画像処理装置
３  画像表示装置
４  画像分離部
５  画像分割部（周辺画像分割部）
６  画像補正部
７  画像合成部
【図１】
2011131023.tif 000003
【図２】
2011131023.tif 000004
【図３】
2011131023.tif 000005
【図４】
2011131023.tif 000006
【図５】
2011131023.tif 000007
【図６】
2011131023.tif 000008
【図７】
2011131023.tif 000009
【図８】
2011131023.tif 000010
【図９】
2011131023.tif 000011
【図１０】
2011131023.tif 000012
【図１１】
2011131023.tif 000013
【図１２】
2011131023.tif 000014
【図１３】
2011131023.tif 000015
【図１４】
2011131023.tif 000016