(57)【要約】【課題】大小の撮像部によって挿入部を細径化しつつ、長時間観察時の疲労を低減する。【解決手段】被検体に挿入可能な挿入部に配置され、解像度の異なる２つの画像Ａ１，Ａ２を取得可能な撮像部と、該撮像部により取得された２つの画像Ａ１．Ａ２を処理する画像処理部４と、該画像処理部４により処理された画像Ｇ１，Ｇ２を表示する画像表示部とを備え、画像処理部４が、画像Ｇ，Ｇ２の内、解像度の低い一方の画像Ｇの解像度を他方の画像Ｇ２の解像度に近づけるように変換する解像度変換部１０を備える立体視内視鏡システムを提供する。【選択図】図２
2014033932.tif 000002
【特許請求の範囲】
【請求項１】
被検体に挿入可能な挿入部に配置され、解像度の異なる２つの画像を取得可能な撮像部と、
該撮像部により取得された２つの画像を処理する画像処理部と、
該画像処理部により処理された画像を表示する画像表示部とを備え、
前記画像処理部が、前記画像の内、解像度の低い一方の画像の解像度を他方の画像の解像度に近づけるように変換する解像度変換部を備える立体視内視鏡システム。
【請求項２】
前記解像度変換部により解像度が近づけられた２つの画像間において対応する点の情報を取得する対応点探索部と、該対応点探索部により取得された対応点について、解像度の低かった一方の画像の情報を解像度の高かった他方の画像の情報に置き換える置換処理部とを備える請求項１に記載の立体視内視鏡システム。
【請求項３】
前記置換処理部が、画素単位で画像の情報を置き替える請求項２に記載の立体視内視鏡システム。
【請求項４】
前記置換処理部が、複数画素からなるブロック単位で画像の情報を置き替える請求項２に記載の立体視内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視内視鏡システムに関するものである。
【背景技術】
【０００２】
従来、２つの対物光学系と２つのイメージセンサとを備える立体視内視鏡が知られている（例えば、特許文献１参照。）。
この特許文献１の立体視内視鏡は、一方の対物光学系を他方の対物光学系より細く構成し、細い方の対物光学系の解像度を太い方の対物光学系の解像度より小さく構成することにより、内視鏡の挿入部をより細く構成している。
【０００３】
この場合に、特許文献１の立体視内視鏡は、観察者の両眼には異なる解像度の画像が提示されるが、一方の眼に鮮明に提示された高解像度の画像が他方の眼に不鮮明に提示された低解像度の画像に優先するように脳が自然に処理するので、一方の画像が他方の画像より不鮮明なものとなっても観察に支障は無いという考え方に立って構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表平１１−５１０６１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の立体視内視鏡では、観察者の両眼に提示される画像の解像度の相違は、観察中に観察者の脳内で自然に補間されるため、観察者の脳には常に負担がかかり、長時間見続けていると疲労するという問題がある。
【０００６】
本発明は、上述した事情に鑑みてなされたものであって、大小の撮像部によって挿入部を細径化しつつ、長時間観察しても疲れにくい立体視内視鏡システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被検体に挿入可能な挿入部に配置され、解像度の異なる２つの画像を取得可能な撮像部と、該撮像部により取得された２つの画像を処理する画像処理部と、該画像処理部により処理された画像を表示する画像表示部とを備え、前記画像処理部が、前記画像の内、解像度の低い一方の画像の解像度を他方の画像の解像度に近づけるように変換する解像度変換部を備える立体視内視鏡システムを提供する。
【０００８】
本態様によれば、被検体に挿入部を挿入し、撮像部によって解像度の異なる２つの画像が取得されると、取得された２つの画像が画像処理部に送られて、画像処理部内の解像度変換部によって、解像度の低い一方の画像の解像度を他方の画像の解像度に近づけるように変換する処理が行われる。画像処理部において処理された画像は画像表示部に送られて表示される。
【０００９】
このようにすることで、２つの画像の内の一方を低い解像度で取得するので、対応する光学系を細く構成することができて、挿入部を細径化することができる。そして、得られた解像度の異なる２つの画像をそのまま画像表示部に表示するのではなく、解像度を近づけて表示するので、観察者の両眼に提示される画像の解像度の相違が低減され、脳内で補間する必要がなくなって脳の負担を軽減でき、長時間見続けることにより発生する疲労を低減することができる。
【００１０】
上記態様においては、前記解像度変換部により解像度が近づけられた２つの画像間において対応する点の情報を取得する対応点探索部と、該対応点探索部により取得された対応点について、解像度の低かった一方の画像の情報を解像度の高かった他方の画像の情報に置き換える置換処理部とを備えていてもよい。
【００１１】
このようにすることで、解像度変換部に２つの画像が入力されると、対応点探索部が２つの画像間の対応する点の情報を取得し、置換処理部が、各対応点について、解像度の低い一方の画像の情報を解像度の高い他方の画像の情報に置き換えることにより、低い方の解像度を高い方の解像度に近づけることができる。
【００１２】
また、上記態様においては、前記置換処理部が、画素単位で画像の情報を置き替えてもよいし、複数画素からなるブロック単位で画像の情報を置き替えてもよい。
【発明の効果】
【００１３】
本発明によれば、大小の撮像部によって挿入部を細径化しつつ、長時間観察しても疲れにくくすることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る立体視内視鏡システムを示す全体構成図である。
【図２】図１の立体視内視鏡システムに備えられる画像処理部を示すブロック図である。
【図３】本発明の第２の実施形態に係る立体視内視鏡システムの画像処理部を示すブロック図である。
【図４】図３の画像処理部における対応点探索部の動作を説明するフローチャートである。
【図５】図３の画像処理部における置換処理部の動作を説明するフローチャートである。
【図６】図５の置換処理部による置換処理を説明する図である。
【図７】図６の置換処理の第１の変形例を示す図である。
【図８】図６の置換処理の第２の変形例を示す図である。
【発明を実施するための形態】
【００１５】
本発明の第１の実施形態に係る立体視内視鏡システム１について図面を参照して以下に説明する。
本実施形態に係る立体視内視鏡システム１は、図１に示されるように、患者の体内に挿入される挿入部２を有する内視鏡３と、該内視鏡３により取得された画像を処理する画像処理部４と、該画像処理部４により処理された画像を表示する画像表示部５とを備えている。
【００１６】
内視鏡３は、挿入部２の先端に配置された２つの対物光学系６ａ，６ｂと、該対物光学系６ａ，６ｂにより集光された患部からの光を撮影する２つの撮像素子７ａ，７ｂとを備える撮像部８を有している。一方の対物光学系６ａは他方の対物光学系６ｂよりも細径に形成され、該細径の対物光学系６ａにより集光された光は、他方の対物光学系６ｂにより集光された光を撮影する撮像素子７ｂよりも低分解能の撮像素子７ａを用いて撮影されるようになっている。
【００１７】
２つの対物光学系６ａ，６ｂは、光軸に交差する方向に並んで配置されており、これにより、同一の患部を異なる方向から観察することができるようになっている。
これにより、挿入部２は、太径の対物光学系６ｂおよび大きい撮像素子７ｂを２つ備える場合と比較して、外径を十分に細径化することができ、体内への挿入性を容易にすることができるようになっている。
【００１８】
画像処理部４は、図２に示されるように、２つの撮像素子７ａ，７ｂにより取得された第１，第２の画像信号Ａ１，Ａ２から２つの画像Ｇ，Ｇ２をそれぞれ生成する画像生成部９ａ，９ｂと、低解像度の撮像素子７ａにより取得された第１の画像信号Ａ１から生成された画像Ｇに対し、該画像Ｇの解像度を増加させる処理を施す解像度変換部１０とを備えている。解像度変換部１０は、低解像度の画像Ｇに対して、バイリニア補間やバイキュービック補間のような公知の画素補間処理を行うことにより、該低解像度の画像Ｇの解像度を高解像度の画像Ｇ２の解像度に近づけるようになっている。
【００１９】
低解像度の画像信号Ａ１から生成された画像Ｇは、解像度変換部１０によって解像度を向上されて、第１の画像Ｇ１として、画像処理部４から出力されるようになっている。
他方、高解像度の画像信号Ａ２から生成された画像Ｇ２は、そのまま第２の画像Ｇ２として画像処理部４から出力されるようになっている。
なお、解像度変換部１０は、低解像度の画像Ｇを高解像度の画像Ｇ２と同一の解像度まで向上することが好ましい。
【００２０】
画像表示部５は、観察者の両眼に第１の画像Ｇ１と第２の画像Ｇ２とをそれぞれ区別して提示することができる装置であり、ヘッドマウントディスプレイや３Ｄモニタあるいは３Ｄプロジェクタである。
【００２１】
このように構成された本実施形態に係る立体視内視鏡システム１によれば、患者の体内に挿入部２が挿入され、その先端が患部に対向して配置された状態で、図示しない照明部から患部に照明光が照射されると、患部からの光あるいは患部において発生した蛍光等が、２つの対物光学系６ａ，６ｂによって結像され、それぞれ別個の撮像素子７ａ，７ｂによって撮影される。
【００２２】
２つの対物光学系６ａ，６ｂは、光軸方向に交差する方向に並んで配置されているので、取得される２つの画像信号Ａ１，Ａ２は、視差を有する画像信号となっている。
細径の対物光学系６ａにより結像され、低解像度の撮像素子７ａにより撮影されることにより取得された第１の画像信号Ａ１は、画像処理部４内の画像生成部９ａに入力されて低解像度の画像Ｇが生成される。一方、太径の対物光学系６ｂにより結像され、高解像度の撮像素子７ｂにより撮影されることにより取得された第２の画像信号Ａ２は、画像処理部４内の画像生成部９ｂに入力されて高解像度の画像Ｇ２が生成される。
【００２３】
低解像度の画像Ｇは、解像度変換部１０に入力されることにより画素補間処理が施され、解像度が向上させられた第１の画像Ｇ１として画像表示部５に出力される。高解像度の画像Ｇ２は、そのまま第２の画像Ｇ２として画像表示部５に出力される。
画像表示部５は、例えば、第１の画像Ｇ１を観察者の右眼に、第２の画像Ｇ２を観察者の左眼に入射させるように表示する。
【００２４】
これにより、観察者の脳内においては第１の画像Ｇ１と第２の画像Ｇ２とが融像されて、患部を立体的に観察することができる。
この場合において、本実施形態に係る立体視内視鏡システム１においては、一方の対物光学系６ａおよび撮像素子７ａを他方の対物光学系６ｂおよび撮像素子７ｂに対して細径に構成したので、挿入部２を細径化でき、挿入性を向上することができることは前に述べたとおりである。
【００２５】
しかし、本実施形態においては２つの異なる解像度の画像Ｇ，Ｇ２を観察者の両眼にそのまま提示するのではなく、解像度を近づける処理を行った後に表示するので、観察者の脳内で行われる融像処理を少ない負担で行わせることができ、長時間観察時の疲労を大幅に低減することができるという利点がある。
【００２６】
なお、本実施形態においては、撮像部８として細径、太径２つの対物光学系６ａ，６ｂと大小２つの撮像素子７ａ，７ｂとを備えるものを例示したが、これに代えて、太径の対物光学系６ｂと、細径の内視鏡（図示略：例えば、鉗子チャネルを経由して挿入する。）とにより撮像部８を構成してもよい。
また、単一の対物光学系で集光した光を瞳分割手段（図示略）によって分割し、大小２つの撮像素子によりそれぞれ撮影する方式の撮像部８を採用してもよい。
【００２７】
次に、本発明の第２の実施形態に係る立体視内視鏡システム１１について説明する。
本実施形態の説明において第１の実施形態に係る立体視内視鏡システム１と構成を共通とする箇所には同一符号を付して説明を省略する。
【００２８】
本実施形態に係る立体視内視鏡システム１１は、画像処理部１２において第１の実施形態に係る立体視内視鏡システム１と相違している。
本実施形態における画像処理部１２は、図３に示されるように、解像度変換部１０から出力された第１の画像Ｇ１と、画像生成部９ｂから出力された第２の画像Ｇ２とに基づいて、対応点を探索する対応点探索部１３と、対応点が発見された場合にその情報を記憶するメモリ１４と、第２の画像Ｇ２内に第１の画像Ｇ１の各画素との対応点（以下、対応画素とも言う。）が存在する場合に、第１の画像Ｇ１内の各画素を第２の画像Ｇ２内の対応画素に置き換える置換処理部１５とを備えている。
【００２９】
本実施形態に係る立体視内視鏡システム１１の作用について以下に説明する。
第１の実施形態と同様にして、第１の画像Ｇ１および第２の画像Ｇ２が生成されると、これらの画像Ｇ１，Ｇ２は対応点探索部１３に入力され、図４に示されるように、対応点探索部１３において低解像度の画像Ｇから生成された第１の画像Ｇ１内の画素が選択される（ステップＳ１）。
【００３０】
次いで、対応点探索部１３においては、選択された第１の画像Ｇ１内の画素に対応する第２の画像Ｇ２内の対応画素が探索される（ステップＳ２）。対応画素の探索は、公知のブロックマッチングの手法により、マッチングの相関値が所定の閾値より高い画素を選出する。選択された第１の画像Ｇ１内の画素に対して、第２の画像Ｇ２内の全ての画素の相関値を順次求めるとともに、相関値が閾値より高い画素を選出し、複数の画素が選出された場合には、相関値が最も高い画素を対応画素として決定する。
【００３１】
そして、探索の結果、対応画素が存在したか否かが判定され（ステップＳ３）、存在した場合には、その対応点情報がメモリ１４に記憶される（ステップＳ４）。対応点情報としては、第１の画像Ｇ１および第２の画像Ｇ２の対応する画素のアドレスを挙げることができる。
また、対応点探索部１３において、第１の画像Ｇ１内の全ての画素について相関値を算出した結果、所定の閾値より高い相関値の画素が発見できなかった場合には、第１の画像Ｇ１内のその画素をオクルージョン領域としてメモリ１４内に記憶する（ステップＳ５）。この後に、第１の画像Ｇ１の全ての画素について、対応点の探索がなされたか否かが判定され（ステップＳ６）、終了していない場合にはステップＳ１からの工程が繰り返される。
【００３２】
そして、対応点探索が終了した後には、第１の画像Ｇ１が置換処理部１５に入力され、置換処理部１５において、対応点が存在した第１の画像Ｇ１内の各画素を、第２の画像Ｇ２内の対応画素に置き換える処理が行われる。
置換処理部１５においては、図５に示されるように、第１の画像Ｇ１内の画素が選択され（ステップＳ１１）、メモリ１４内の対応点情報が参照され（ステップＳ１２）、対応点が存在するか否かが判定され（ステップＳ１３）、存在しない場合、すなわち、オクルージョン領域として記憶されている場合には、そのままの画素値が使用される。
【００３３】
一方、対応点が存在する場合には、図６に示されるように、第１の画像Ｇ１内の画素Ｐ１が第２の画像Ｇ２内の対応画素Ｐ２と置き換えられる（ステップＳ１４）。そして、第１の画像Ｇ１内の全ての画素Ｐ１について処理が行われたか否かが判定され（ステップＳ１５）、終了していない場合にはステップＳ１１からの工程が繰り返される。
【００３４】
このようにして、第１の画像Ｇ１の全ての画素Ｐ１について処理が行われた後に、画像処理部１２からは第２の画像Ｇ２および置換処理された第１の画像Ｇ１’が出力され、画像表示部５に表示される。
このように、本実施形態に係る立体視内視鏡システム１１によれば、第１の画像Ｇ１の解像度を向上するだけでなく、精細な画素情報を有する第２の画像Ｇ２の画素Ｐ２に置き換えることで精細度を向上することができ、より疲労の少ない観察を行うことができるという利点がある。
【００３５】
なお、本実施形態においては、対応点探索の方法としてブロックマッチングの手法を用いたが、これに限定されるものではない。
また、本実施形態においては、画素毎に置換処理を行うこととしたが、図７および図８に示されるようにブロック（図中にハッチングで示す。図では例えば、３×３画素を１ブロックとしている。）毎に置換処理を行うことにしてもよい。
【００３６】
図７に示す例では、第２の画像Ｇ２内に対応画素Ｐ２が発見された場合に、その対応画素Ｐ２を含む複数画素からなるブロックＢ２単位で、第１の画像Ｇ１のブロックＢ１を置換している。これにより置換処理にかかる時間を短縮することができる。
【００３７】
また、図８に示す例では、第１の画像Ｇ１内の全ての画素Ｐ１について対応画素Ｐ２を探索するのではなく、複数に区画したブロックＢ１毎に代表画素Ｐ１の対応画素Ｐ２を探索し、探索された対応画素Ｐ２を含むブロックＢ２単位で置換することとしている。このようにすることで、対応点探索に要する時間をさらに短縮することができるとともに、置換したブロックＢ２どうしが重なり合わずに済むという利点がある。
【符号の説明】
【００３８】
Ｂ１，Ｂ２  ブロック
Ｇ  画像
Ｇ１  第１の画像
Ｇ２  第２の画像
Ｐ１  画素
Ｐ２  対応画素（対応点）
１  立体視内視鏡システム
２  挿入部
４，１２  画像処理部
５  画像表示部
８  撮像部
１０  解像度変換部
１３  対応点探索部
１５  置換処理部
【図１】
2014033932.tif 000003
【図２】
2014033932.tif 000004
【図３】
2014033932.tif 000005
【図４】
2014033932.tif 000006
【図５】
2014033932.tif 000007
【図６】
2014033932.tif 000008
【図７】
2014033932.tif 000009
【図８】
2014033932.tif 000010