(57)【要約】【課題】手ぶれを利用して超解像処理に必要な撮像位置がずれた複数の低解像度画像を取得する場合に、超解像処理における位置合わせの精度を高めることができるようにする。【解決手段】観察対象の内部に挿入される挿入部１１と、この挿入部に設けられて観察対象の内部の被写体Ｓを照明する照明窓１６と、挿入部に設けられて被写体を撮像する撮像部１４と、挿入部に設けられて被写体にマーカ材Ｍを付着させるマーキング部１７と、を備えたものとする。特に、マーキング部は、作動流体の圧力で被写体に向けてマーカ材を射出するものとする。さらに、マーカ材は、蛍光材料を含み、照明窓から出射される光により発光するものとする。【選択図】図１
2014000120.tif 000002
【特許請求の範囲】
【請求項１】
観察対象の内部に挿入される挿入部と、
この挿入部に設けられて前記観察対象の内部の被写体を照明する照明部と、
前記挿入部に設けられて前記被写体を撮像する撮像部と、
前記挿入部に設けられて前記被写体にマーカ材を付着させるマーキング部と、を備えたことを特徴とする内視鏡。
【請求項２】
前記マーキング部は、作動流体の圧力で前記被写体に向けてマーカ材を射出することを特徴とする請求項１に記載の内視鏡。
【請求項３】
前記マーカ材は、蛍光材料を含み、前記照明部から出射される光により発光することを特徴とする請求項１または請求項２に記載の内視鏡。
【請求項４】
前記マーカ材は、液体であり、
前記マーキング部は、メニスカス状に前記マーカ材の液塊を形成するメニスカス形成部を有することを特徴とする請求項１から請求項３のいずれかに記載の内視鏡。
【請求項５】
前記マーキング部は、前記挿入部に進退自在に設けられたことを特徴とする請求項１から請求項４のいずれかに記載の内視鏡。
【請求項６】
請求項１から請求項５のいずれかに記載の内視鏡と、前記撮像部による撮像で取得した複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置とを、備え、
前記画像処理装置は、前記超解像処理において複数の前記低解像度画像の位置合わせを行う際に、前記低解像度画像内の前記マーカ材に対応する位置で特徴点を抽出することを特徴とする内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムに関し、特に、撮像で得られた画像に対して超解像処理を行う場合に適した内視鏡およびこれを備えた内視鏡システムに関するものである。
【背景技術】
【０００２】
内視鏡には、人の身体などの観察対象の内部に挿入される挿入部の先端部に撮像素子を配置して、この撮像素子による撮像で得られた画像をモニターに表示させるようにした、いわゆる電子内視鏡が広く普及している。この種の内視鏡においても、挿入部をできるだけ細く形成することが望まれるが、これには、撮像素子の寸法が制約を受けることから、解像度の高い撮像素子を採用することができないため、人体の内臓などの体内組織を精細な画像で観察したい要望を十分に満足することができないという難点があった。
【０００３】
このような要望に対して、撮像により得られた複数の低解像度画像から高解像度画像を生成する、いわゆるフレーム間超解像の技術を利用して、内視鏡で撮像された画像の解像度を高めることが行われている（特許文献２）。また、超解像処理には、撮像位置がずれた複数の画像が必要になるため、撮像素子と対物レンズとをアクチュエータで相対的に振動させる画素ずらし機構を用いて、撮像位置がずれた複数の画像を取得する技術も知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１７８２１４号公報
【特許文献２】特表２０１０−５１２１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、前記のフレーム間超解像の技術では、複数の低解像度画像の位置合わせのために、低解像度画像相互の位置ずれ量を把握する必要があるが、前記特許文献１に記載のように画素ずらし機構を用いた場合には、例えば画素ずらし機構に用いる積層型圧電素子の伸縮量のヒステリシス特性を考慮した上で印加する電圧を制御することで、画像相互の位置ずれ量を管理できるため、これに基づいてサブピクセル精度の位置合わせを行うことができる利点が得られる。ただし、画素ずらし機構を用いる構成では、撮像素子とともに画素ずらし機構を挿入部に設ける必要があるため、挿入部が太くなるという問題があった。
【０００６】
一方、内視鏡では手ぶれ、すなわち内視鏡を持つ手が振れることで挿入部がゆれ動くことが避けられないが、この手ぶれにより撮像位置がずれることから、この手ぶれを利用すれば、画素ずらし機構を設けずとも、撮像位置がずれた複数の画像を取得することができる。
【０００７】
しかしながら、このように手ぶれを利用して撮像位置がずれた複数の画像を取得する場合には、前記の画素ずらし機構による場合とは異なり、画像相互の位置ずれ量がわからない。そこで、画像自体から位置ずれ量を取得する必要があり、これには、画像から特徴点を抽出して、その特徴点の対応関係から位置ずれ量を取得する、いわゆる特徴点マッチングの手法を用いればよい。一般的なフレーム間超解像処理では、撮像した複数のフレームに対して所定の基準画像と他の参照画像を定め、基準画像に対する参照画像の位置ずれ量を、例えばＳＵＲＦ（Speeded Up Robust Features）やＳＩＦＴ（Scale-invariant feature transform）といった特徴点マッチング手法を用いて求め、位置合わせ後の複数の画像を畳み込んで画像の再構成を行なう。しかし、被写体が臓器などの体内組織である場合、被写体には特徴的なテクスチャが殆ど存在せず、また色や形状が大きく変化するところが少ないため、特徴点を抽出することが難しく、位置合わせを精度良く行うことができないことにより、フレーム間超解像処理による高解像度化の効果が小さい、という問題があった。
【０００８】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、手ぶれを利用して超解像処理に必要な撮像位置がずれた複数の低解像度画像を取得する場合に、超解像処理における位置合わせの精度を高めることができるように構成された内視鏡およびこれを備えた内視鏡システムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の内視鏡は、観察対象の内部に挿入される挿入部と、この挿入部に設けられて前記観察対象の内部の被写体を照明する照明部と、前記挿入部に設けられて前記被写体を撮像する撮像部と、前記挿入部に設けられて前記被写体にマーカ材を付着させるマーキング部と、を備えた構成とする。
【００１０】
また、本発明の内視鏡システムは、前記のように構成された内視鏡と、前記撮像部による撮像で取得した複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置とを、備え、前記画像処理装置は、前記超解像処理において複数の前記低解像度画像の位置合わせを行う際に、前記低解像度画像内の前記マーカ材に対応する位置で特徴点を抽出する構成とする。
【発明の効果】
【００１１】
本発明によれば、被写体にマーカ材を付着させることで、撮像部により被写体とともにマーカ材が撮像される。これにより、超解像処理において撮像部での撮像により取得した複数の低解像度画像の位置合わせを行う際に、低解像度画像内のマーカ材に対応する位置で特徴点が確実に抽出されるため、位置合わせの精度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る内視鏡システムを示す全体構成図
【図２】内視鏡１の挿入部１１の先端部１２を示す断面図
【図３】圧力発生部２２の概略構成を示す模式図
【図４】マーキング部１７の断面図
【図５】マーキング部１７の要部を拡大して示す断面図
【図６】圧力発生部２２で発生させる作動流体の圧力ｐの状況（圧力プロファイル）を示す説明図
【図７】被写体Ｓにマーカ材Ｍを付着させるマーキングの状況を示す側面図
【図８】超解像処理部３２を示す機能ブロック図
【図９】超解像処理部３２の再構成処理部４３で行われる再構成処理の概要を説明する説明図
【図１０】被写体Ｓにマーカ材Ｍを付着させるマーキングの状況を示す斜視図
【図１１】内視鏡１による撮像で得られる低解像度画像（撮像画像）を示す説明図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、観察対象の内部に挿入される挿入部と、この挿入部に設けられて前記観察対象の内部の被写体を照明する照明部と、前記挿入部に設けられて前記被写体を撮像する撮像部と、前記挿入部に設けられて前記被写体にマーカ材を付着させるマーキング部と、を備えた構成とする。
【００１４】
これによると、被写体にマーカ材を付着させることで、撮像部により被写体とともにマーカ材が撮像される。これにより、超解像処理において撮像部での撮像により取得した複数の低解像度画像の位置合わせを行う際に、低解像度画像内のマーカ材に対応する位置で特徴点が確実に抽出されるため、位置合わせの精度を高めることができる。
【００１５】
また、第２の発明は、前記マーキング部は、作動流体の圧力で前記被写体に向けてマーカ材を射出する構成とする。
【００１６】
これによると、マーキング部を被写体に接触させることなく、マーカ材を被写体に付着させることができるため、被写体にマーカ材を付着させる操作が容易になり、さらに被写体がマーキング部との接触で損傷することを避けることができる。
【００１７】
また、第３の発明は、前記マーカ材は、蛍光材料を含み、前記照明部から出射される光により発光する構成とする。
【００１８】
これによると、撮像画像に写ったマーカ材の像が周辺より明度が高くなり、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ材に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００１９】
また、第４の発明は、前記マーカ材は、液体であり、前記マーキング部は、メニスカス状に前記マーカ材の液塊を形成するメニスカス形成部を有する構成とする。
【００２０】
これによると、均一な大きさのマーカ材の液塊を形成することができる。この場合、メニスカス形成部を等間隔をおいて複数配置すると、マーカ材の液塊を一定のタイミングで連続して射出することができる。
【００２１】
また、第５の発明は、前記マーキング部は、前記挿入部に進退自在に設けられた構成とする。
【００２２】
これによると、マーキング部を前進させることで、挿入部自体を動かすことなく、マーキング部を被写体に近づけることができるため、被写体上の所要の位置にマーカ材を精度良く付着させることができる。また、マーキング部を後退させることで、マーキング部で観察対象を傷つけたりマーキング部を破損したりすることなく、観察対象に対する挿入部の挿入や取り出しの作業を円滑に行うことができる。
【００２３】
また、第６の発明は、前記のように構成された内視鏡と、前記撮像部による撮像で取得した複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置とを、備え、前記画像処理装置は、前記超解像処理において複数の前記低解像度画像の位置合わせを行う際に、前記低解像度画像内の前記マーカ材に対応する位置で特徴点を抽出する構成とする。
【００２４】
これによると、低解像度画像内のマーカ材に対応する位置で特徴点が確実に抽出されるため、位置合わせの精度を高めることができる。
【００２５】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２６】
図１は、本実施形態に係る内視鏡システムを示す全体構成図である。この内視鏡システムは、人の身体（観察対象）の内部に挿入されて身体の内部の臓器などの被写体Ｓ（内臓の外表面や消化管の内壁面）を撮像する内視鏡１と、内視鏡１を制御するコントローラ（制御装置）２と、内視鏡１により撮像された画像に対して超解像処理を行う画像処理ユニット（画像処理装置）３と、画像処理ユニット３で生成した画像を表示するモニター（表示装置）４と、を備えている。
【００２７】
内視鏡１は、身体の内部に挿入される挿入部１１を備えている。本実施形態では、主に挿入部１１が硬く棒状に構成された、いわゆる硬性内視鏡について説明するが、本発明は挿入部分に柔軟な素材を用いた軟性内視鏡に応用してもよい。硬性内視鏡の代表例である腹腔鏡を用いた内視鏡手術では、例えば腹部の一部に微小な穴をあけ、そこから挿入部１１を挿入して体腔内部を観察しながら、治療や手術を行う。この挿入部１１の先端部１２には、撮像窓１３を介して身体の内部の被写体（臓器など）Ｓを撮像する撮像部１４が設けられている。また、挿入部１１の先端部１２には、被写体Ｓを照明するために光ファイバー１５により導かれた光を出射する照明窓（照明部）１６が設けられている。
【００２８】
さらに、この内視鏡１の挿入部１１の先端部１２には、マーカ材Ｍを被写体Ｓに付着させるマーキング部１７が設けられている。特に本実施形態では、マーカ材Ｍが液体をなしており、マーキング部１７では、マーカ材Ｍの液塊を所要の大きさに形成して、作動流体（空気）の圧力で被写体Ｓに向けてマーカ材Ｍを射出するようになっている。また、マーカ材Ｍは蛍光材料を含んでおり、被写体Ｓを照明するために照明窓１６から出射される光によりマーカ材Ｍが発光するようになっている。
【００２９】
コントローラ２は、内視鏡１の挿入部１１に設けられた照明窓１６に光ファイバー１５を介して照明用の光を送る光源部２１と、内視鏡１の挿入部１１に設けられたマーキング部１７でマーカ材Ｍを射出するための作動流体の圧力を発生する圧力発生部２２と、マーカ材Ｍを貯留するマーカ材貯留部２３と、各種の動作を指示する操作スイッチ２４と、撮像部１４を動作させて撮像部１４からの画像データを受信する撮像制御部２５と、各部を総括的に制御する主制御部２６と、を備えている。
【００３０】
なお、主制御部２６は撮像制御部２５と光源部２１を同期して動作させる。本実施形態では撮像部１４に設けられた撮像センサ５２（図２参照）は例えば３０ｆｐｓ（Frames Per Second）でグローバルシャッタ動作を行うが（シャッタ周期は３３．３ｍｓ）、電荷蓄積期間（シャッタ開放時間）は約１ｍｓ程度に設定されている。主制御部２６は、このタイミングと同期して光源部２１に発光指示を出力し、結果的に光源部２１は電荷蓄積期間に対応する期間だけ発光する。これによって光源部２１に搭載された光源（例えば白色ＬＥＤ）の高輝度発光を実現すると共に、ブラーの少ない低解像度画像を取得し、超解像効果の抑制要因を排除している。
【００３１】
内視鏡１には、マーキング部１７でのマーカ材Ｍの射出を指示するトリガスイッチ１８が設けられており、トリガスイッチ１８が出力するトリガ信号がコントローラ２の主制御部２６に入力され、トリガスイッチ１８の操作に応じて圧力発生部２２が動作してマーキング部１７からマーカ材Ｍが射出される。また、コントローラ２に設けられた操作スイッチ２４では、光源部２１の点灯、撮像部１４での撮像、画像処理ユニット３での画像処理の実行、および動画および静止画の切替えなどの指示が行われる。
【００３２】
内視鏡１に設けられたマーキング部１７と、コントローラ２に設けられた圧力発生部２２およびマーカ材貯留部２３とは接続パイプ２７を介して接続されている。この接続パイプ２７には、圧力発生部２２から作動流体をマーキング部１７に供給する作動流体供給路２８と、マーカ材貯留部２３からマーカ材Ｍをマーキング部１７に供給するマーカ材供給路２９とが設けられている。
【００３３】
接続パイプ２７は、挿入部１１の基部側に設けられた引き出し部１９から外部に引き出されてコントローラ２に接続されている。この引き出し部１９に設けられた接続パイプ２７の挿通孔は、鉗子を差し込むための鉗子孔と兼用するものであってもよく、また、鉗子孔とは別に接続パイプ２７専用のものであってもよい。
【００３４】
また、本実施形態では、マーキング部１７が、挿入部１１の長手方向に進退自在に挿入部１１に設けられており、挿入部１１の引き出し部１９から引き出された接続パイプ２７の部分を手で摘んで押し引きすることで、マーキング部１７を進退させることができるようになっている。
【００３５】
画像処理ユニット３は、ＰＣなどで構成され、内視鏡１の挿入部１１に設けられた撮像部１４で取得した撮像画像を記憶する記憶部３１と、撮像画像から高解像度画像を生成する超解像処理部３２と、モニター４を制御する表示制御部３３と、各部を総括的に制御する主制御部３４と、を備えている。この画像処理ユニット３には、キーボード等で構成された入力部３５が接続されており、ここでは、撮像部１４の駆動制御（フレームレート、露光時間、ホワイトバランスなど）や、超解像処理部３２での超解像処理に関するパラメータの設定などが行われる。コントローラ２の主制御部２５と画像処理ユニット２４の主制御部３４は図示しない信号線（シリアル通信）によって双方向に情報伝達が可能であり、画像処理ユニット２４の主制御部３４は、コントローラ２を介して、既に撮像部１４（撮像センサ５２、図２参照）に設定されている制御用パラメータの値を参照することができ、撮像部１４の特定の駆動制御に関する制御用パラメータに該当するビットのみを書き換えて、再度撮像部１４に設定することができる。
【００３６】
図２は、内視鏡１の挿入部１１の先端部１２を示す断面図である。挿入部１１の先端部１２では、円筒状のケーシング５１の内部に、撮像部１４と、照明用の光ファイバー１５と、マーキング部１７と、が収容されている。光ファイバー１５により導かれた照明光はカバーガラスによる照明窓１６を介して出射される。撮像部１４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成される撮像センサ５２と、複数のレンズからなる光学系５３と、を有しており、照明光により照明された被写体Ｓからの反射光がカバーガラスによる撮像窓１３を介して光学系５３に入射する。マーキング部１７は挿入部１１の長手方向に伸びたガイド孔５５内に挿通されて進退自在となっている。
【００３７】
図３は、圧力発生部２２の概略構成を示す模式図である。圧力発生部２２は、ダイアフラムポンプで構成され、作動流体供給路２８が接続されたダイアフラム６１と、ダイアフラム６１を駆動するボイスコイルモータ６２と、ダイアフラム６１に接続された逆止弁６３とを有している。この圧力発生部２２では、ボイスコイルモータ６２の出力軸の往復運動で、作動流体が逆止弁６３を経てダイアフラム６１内に吸入される吸入工程と、ダイアフラム６１内の作動流体を吐出する吐出工程とが繰り返され、吐出工程において作動流体供給路２８を介して内視鏡１のマーキング部１７に作動流体が送られる。
【００３８】
本実施形態では、作動流体に空気が用いられており、逆止弁６３の入口側を雰囲気中に開放して、ダイアフラム６１に外気を直接取り入れるようにしてもよいが、清浄な空気を貯留するタンクを設けて、このタンク内の空気をダイアフラム６１に取り入れるようにしてもよい。
【００３９】
また、圧力発生部２２の２次側圧力（背圧）、すなわち内視鏡１の挿入部１１が挿入された体腔内の圧力が大気圧より高い場合には、その圧力差を考慮してマーカ材Ｍが適切に射出されるように圧力発生部２２の圧力を制御する必要がある。そこで、挿入部１１におけるマーキング部１７の近傍に背圧取得用の開口を設け、この開口を背圧導入路を介して圧力発生部２２の逆止弁６３に接続するようにするとよい。これにより、圧力発生部２２の圧力制御が容易になる。この場合、図１に示したように、マーキング部１７とコントローラ２とを結ぶ接続パイプ２７に、作動流体供給路２８およびマーカ材供給路２９の他に背圧導入路が設けられる。
【００４０】
なお、圧力発生部２２は、作動流体の吐出圧および吐出量を精密に制御することが可能な容積型のポンプで構成することが望ましく、ダイアフラムポンプの他、ロータリーポンプやシリンジポンプなども可能である。また、ダイアフラムポンプとして円形の金属振動板上に圧電体素子を積層形成したアクチュエータを採用してもよいし、ボイスコイルモータ６２の代わりに積層型圧電体素子を用いてもよい。
【００４１】
図４は、マーキング部１７の断面図であり、マーカ材Ｍの液塊の遷移状態を示す。図５は、マーキング部１７の要部を拡大して示す断面図である。
【００４２】
図４に示すように、マーキング部１７は、管状をなし、マーカ材Ｍの液塊をメニスカス状に形成するメニスカス形成部７１が等間隔をおいて複数配置されている。このメニスカス形成部７１には内向きに突出した環状凸部７２が形成され、内径が他の部分より小さくなっている。
【００４３】
ここで、マーカ材Ｍが水性の場合には、図５に示すように、メニスカス形成部７１においてマーカ材Ｍの液塊を形成する表面部分７３に撥油（親水）処理が施され、それ以外の表面部分７４と、マーカ材Ｍの液塊を体腔中に放出させる先端部分とには撥水（親油）処理が施される。一方、マーカ材Ｍが油性の場合には、撥油（親水）処理と撥水（親油）処理とが逆になる。これにより、所要の大きさの液塊を安定して形成することができる。
【００４４】
このように構成されたマーキング部１７では、マーカ材Ｍが供給されることで、図４（Ａ）に示すように、メニスカス形成部７１でマーカ材Ｍの液塊がメニスカス状に形成される。そして、作動流体の圧力を上げると、図４（Ｂ）に示すように、マーカ材Ｍの液塊が押し出され、さらに図４（Ｃ）に示すように、マーカ材Ｍの液塊がメニスカス形成部７１から離れて飛翔する。ここで、先端のメニスカス形成部７１から離れたマーカ材Ｍの液塊は体腔内を飛翔して被写体Ｓに付着し、その他のメニスカス形成部７１から離れたマーカ材Ｍの液塊は隣のメニスカス形成部７１に到達して、図４（Ａ）に示す状態に復帰し、各メニスカス形成部７１でマーカ材Ｍの液塊がメニスカス状に形成される。
【００４５】
このようにメニスカス形成部７１から離れたマーカ材Ｍの液塊を隣のメニスカス形成部７１に到達させて、図４（Ａ）から図４（Ｃ）の状態を安定して繰り返すようにするには、メニスカス形成部７１の配置間隔Ｌ１、環状凸部７２の長さＬ２、および環状凸部７２の内径ｒの関係を適切に設定する必要があり、また、圧力発生部２２で発生させる作動流体の圧力を適切に設定する必要がある。
【００４６】
図６は、圧力発生部２２で発生させる作動流体の圧力ｐの状況（圧力プロファイル）を示す説明図である。圧力発生部２２では、基本的にはパルス状に圧力を発生させればよいが、図６に示す例では、図４に示したマーカ材Ｍの液塊の状態に応じて圧力ｐを変化させるようにしている。
【００４７】
具体的には、まず、圧力ｐを、背圧に等しい圧力ｐ０から立ち上げる。これにより、マーカ材Ｍの液塊がメニスカス形成部７１から離れて飛翔する（図４（Ｂ），（Ｃ）参照）。このとき、圧力ｐを、最大圧力ｐ１の近傍の所定の圧力ｐ２まで上げ、圧力ｐが圧力ｐ２に到達すると、圧力ｐを最大圧力ｐ１まで徐々に上げる。これにより、隣のメニスカス形成部７１の近傍で飛翔する液塊を減速させることができる。ついで、背圧より低い所定の圧力ｐ３まで圧力ｐを下げた後に圧力ｐを圧力ｐ０に復帰させる。これにより、隣のメニスカス形成部７１に到達した液塊をそのメニスカス形成部７１で確実に捕捉することができる（図４（Ａ）参照）。
【００４８】
このようにマーキング部１７にメニスカス形成部７１を設けることで、均一な大きさのマーカ材Ｍの液塊を形成することができる。特に、メニスカス形成部７１を等間隔をおいて複数配置することで、マーカ材Ｍの液塊を一定のタイミングで連続して射出することができる。これにより、被写体Ｓにマーカ材Ｍを付着させるマーキングが失敗した場合や次の撮像のためのマーキングを速やかに行うことができる。
【００４９】
図７は、被写体Ｓにマーカ材Ｍを付着させるマーキングの状況を示す側面図である。前記のように、挿入部１１の先端部１２に設けられたマーキング部１７は、作動流体の圧力で被写体Ｓに向けてマーカ材Ｍを射出するようになっている。このため、マーキング部１７を被写体Ｓに接触させることなく、マーカ材Ｍを被写体Ｓに付着させることができるため、被写体Ｓにマーカ材Ｍを付着させる操作が容易になり、さらに被写体Ｓがマーキング部１７との接触で損傷することを避けることができる。
【００５０】
また、マーキング部１７は、前記のように、挿入部１１に進退自在に設けられており、マーキング部１７を前進させることで、挿入部１１自体を動かすことなく、マーキング部１７を被写体Ｓに近づけることができるため、被写体Ｓ上の所要の位置にマーカ材Ｍを精度良く付着させることができる。また、マーキング部１７を後退させることで、マーキング部１７で人体を傷つけたりマーキング部１７を破損したりすることなく、人体に対する挿入部１１の挿入や取り出しの作業を円滑に行うことができる。
【００５１】
図８は、超解像処理部３２を示す機能ブロック図である。図９は、超解像処理部３２の再構成処理部４３で行われる再構成処理の概要を説明する説明図である。
【００５２】
図８に示すように、超解像処理部３２は、低解像度画像取得部４１と、位置合わせ部４２と、再構成処理部４３と、高解像度画像生成部４４とを備えている。なお、この超解像処理部３２は、プログラムをＣＰＵで実行することで実現されるものである。
【００５３】
操作スイッチ２４（図１参照）で静止画撮影が指示されると、コントローラ２の主制御部２６は画像処理ユニット３の主制御部３４を介して、超解像処理部３２に対して超解像処理を実行するように指示を与える。低解像度画像取得部４１は、超解像処理に必要となる複数（１６〜３２枚程度）の低解像度画像（撮像画像）を記憶部３１から取得する。この複数の低解像度画像は、内視鏡１に設けられた撮像部１４で複数回の撮影を行なって生成したもの（フレーム画像）である。
【００５４】
位置合わせ部４２は、複数の低解像度画像のうちの１つを基準画像に選択して、その基準画像に対して基準画像以外の低解像度画像が位置合わせされるように、基準画像以外の各低解像度画像の座標変換を行うための変換行列を求める。この位置合わせでは、特徴点マッチングが行われ、具体的には、基準画像および基準画像以外の低解像度画像について特徴点を抽出して、各画像間の特徴点の対応関係に基づいて、基準画像以外の低解像度画像ごとに射影変換行列を求める。
【００５５】
この特徴点マッチングでは、特徴点を４点以上抽出することが望まれ、したがって４点以上の特徴点が抽出されるようにマーカ材Ｍを被写体Ｓに付着させるようにするとよいが、通常の特徴点マッチングでは、例えば勾配法やＳＩＦＴ等として知られる公知のアルゴリズムを用いて特徴点を抽出することができる場合も多く、特徴点を４点以上抽出することは絶対的な要件ではない。
【００５６】
再構成処理部４３では、図９に示すように、まず、基準画像を超解像の拡大率で拡大し、基準画像の画素が離散的に配置されたマッピング画像を生成する。そして、位置合わせ部４２で取得した変換行列を用いて、基準画像以外の低解像度画像を基準画像の座標系に変換し、その変換された座標に基づいて、基準画像以外の低解像度画像の画素をマッピング画像にプロットしていく。これにより再構成画像が得られる。
【００５７】
ここで、一般的には、すべての低解像度画像の画素をマッピング画像にプロットしても、マッピング画像のすべての画素に低解像度画像の画素がプロットされるわけではなく、再構成画像には、低解像度画像の画素がプロットされていない画素が存在する。
【００５８】
なお、図９では、図示の便宜上、低解像度画像を４画素×４画素のサイズとし、また、超解像の拡大率を縦横各４倍としたが、実際の低解像度画像のサイズおよび超解像の拡大率は、これに限定されるものではない。
【００５９】
図８に示した高解像度画像生成部４４では、再構成処理部４３で取得した再構成画像から高解像度画像を生成する。ここではまず、再構成処理部４３で取得した再構成画像において低解像度画像の画素がプロットされていない画素を補間により穴埋めする処理が行われ、さらに、画像のぼけ量（ＰＳＦ：Point Spread Function）を推定して、逆変換によりぼけの復元処理も施して、高解像度画像として出力する。
【００６０】
さて、図７に示したように、内視鏡１の挿入部１１の先端部１２に設けられた撮像部１４では、所定の画角による撮像範囲内の被写体Ｓが撮像され、撮像範囲内の被写体Ｓ上にマーカ材Ｍを付着させることで、マーカ材Ｍが被写体Ｓとともに撮像されて、被写体Ｓ上にマーカ材Ｍが写った撮像画像が得られる。
【００６１】
ここで、被写体Ｓを撮像する際に内視鏡１に手ぶれが発生する、すなわち内視鏡１を持つ手が振れることで挿入部１１がゆれ動くと、挿入部１１の先端部１２が移動するのに応じて撮像範囲も移動するが、マーカ材Ｍは被写体Ｓに付着しているため、被写体Ｓとマーカ材Ｍとの位置関係は変化しない。
【００６２】
図１０は、被写体Ｓにマーカ材Ｍを付着させるマーキングの状況を示す斜視図である。被写体Ｓにマーカ材Ｍを付着させるマーキングでは、超解像処理での位置合わせにおいて画像の回転成分を検出するために、撮像範囲内にマーキングを複数箇所行う、より望ましくは観察部位を中心にしてその周囲の複数箇所（例えば４箇所）にマーキングを行うようにするとよい。これにより、正確に射影変換パラメータを求めて、位置合わせの精度を高めることができる。
【００６３】
図１０に示す例では、４点にマーキングを行っている。まず、図１０（Ａ）に示すように、マーキング点Ｐ１のマーキングを行う。ついで、内視鏡１の挿入部１１をその中心軸を中心にして９０°回転させて、図１０（Ｂ）に示すように、マーキング点Ｐ２のマーキングを行う。以下、これと同様に、挿入部１１を９０°ずつ回転させながらマーキング点Ｐ３，Ｐ４のマーキングを行う。なお、この図１０に示した例ではマーキングを４点行うようにしたが、これに限定されるものではない。
【００６４】
図１１は、内視鏡１による撮像で得られる低解像度画像（撮像画像）を示す説明図である。内視鏡１による撮像で得られる低解像度画像には、被写体Ｓに付着したマーカ材Ｍの像が被写体Ｓの像とともに現れる。各低解像度画像は、手ぶれにより撮像範囲がずれているが、被写体Ｓの像とマーカ材Ｍの像との位置関係に相違はない。したがって、マーカ材Ｍマの像の位置を基準にすれば、低解像度画像を精度よく位置合わせすることができる。
【００６５】
前記のように、超解像処理部３２の位置合わせ部４２では、特徴点マッチングにより基準画像に対するその他の低解像度画像の位置合わせが行われ、この位置合わせでは、低解像度画像から特徴点を抽出する処理が行われるが、マーカ材Ｍの像は周辺の被写体Ｓの像と大きく異なるため、マーカ材Ｍの像の位置で特徴点が確実に抽出される。このため、位置合わせの処理を精度よく行うことができる。
【００６６】
特に本実施形態では、マーカ材Ｍが蛍光材料を含んでいるため、被写体Ｓを照明する光によりマーカ材Ｍが発光する。これにより、撮像画像に写ったマーカ材Ｍの像が周辺より明度が高くなり、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ材Ｍに対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００６７】
なお、本実施形態では、マーカ材を液体としたが、本発明はこれに限定されるものではなく、液体および固体のいずれでも可能である。もっとも、マーカ材は人体内に残されるものであるため、液体および固体のいずれにおいても、人体に悪影響を及ぼさない材料（例えば粉砂糖、生理食塩水、食用油ゲルなど）が用いられる。
【００６８】
ここで、マーカ材を固体とした場合も、液体の場合と同様に、マーキング部は、作動流体の圧力でマーカ材を射出する構成とするとよく、この場合、ガイド孔内に複数個のマーカ材が等間隔に配置されるように構成して、作動流体にパルス状に圧力をかけるようにすると、マーカ材を一定のタイミングで連続して射出することができる。
【００６９】
また、本実施形態では、作動流体を気体としたが、本発明はこれに限定されるものではなく、気体および液体のいずれでも可能である。
【００７０】
また、本実施形態では、単一の種類のマーカ材を射出するものとしたが、本発明はこれに限定されるものではなく、色が異なる複数の種類のマーカ材を射出するように構成してもよい。この場合、複数箇所にマーキングを行う際に、マーキング箇所ごとにマーカ材の色を変えることで、特徴点の抽出が容易になる。
【００７１】
また、本実施形態では、マーキング部を、マーカ材の液塊をメニスカス状に形成して射出するものとしたが、本発明はこれに限定されるものではなく、例えばインクジェットプリンタのヘッドに用いられているＭＥＭＳデバイスで構成することも可能である。
【００７２】
また、本実施形態では、マーキング部からマーカ材を投射して被写体に付着させるようにしたが、本発明はこれに限定されるものではなく、マーキング部を被写体に接触させてマーカ材を被写体に付着させ、あるいはマーキング部を被写体に近接させた状態で表面張力で膨出したマーカ材を被写体に付着させるようにしてもよい。
【００７３】
また、本実施形態では、マーカ材が蛍光材料を含むものとしたが、蛍光材料を含まない構成も可能である。この場合、被写体となる臓器などの体内組織の色と大きく異なる色、例えば体内組織の色に対して補色の関係にある色（例えば赤の補色であるシアン色）にマーカ材を着色すると、特徴点の抽出が容易になる。
【００７４】
また、本実施形態では、超解像処理によって複数の低解像度画像から高解像度の静止画を得る場合について説明したが、例えば、撮影した複数のフレーム画像に対して、基準画像を時間軸方向に順に選択して超解像処理を実行すれば、結果的に動画像が得られる。即ち、本発明を動画に応用することが可能である。
【００７５】
また、本実施形態では、手振れによって位置ずれを起した複数枚の低解像度画像を用いて超解像処理を行なう前提で説明したが、手振れに限らず、例えば内視鏡自体を振動させたり、撮像光学系とイメージセンサの相対的な位置関係をバイモルフ等の簡易な機構で変化させて、強制的に画素ずれを与えて低解像度画像を得るようにしてもよい。いずれの場合も、本発明によるマーカを用いた位置合わせを行えば、従来の画素ずらしのような高精度な位置合わせ機構を用いることなく、高解像度画像を得ることができる。
【産業上の利用可能性】
【００７６】
本発明にかかる内視鏡およびこれを備えた内視鏡システムは、手ぶれを利用して超解像処理に必要な撮像位置がずれた複数の低解像度画像を取得する場合に、超解像処理における位置合わせの精度を高めることができる効果を有し、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムに関し、特に、撮像で得られた画像に対して超解像処理を行う場合に適した内視鏡およびこれを備えた内視鏡システムなどとして有用である。
【符号の説明】
【００７７】
１  内視鏡
２  コントローラ
３  画像処理ユニット（画像処理装置）
４  モニター
１７  マーキング部
１１  挿入部
１２  先端部
１３  撮像窓
１４  撮像部
１６  照明窓（照明部）
３２  超解像処理部
４２  位置合わせ部
７１  メニスカス形成部
Ｍ  マーカ材
Ｓ  被写体
【図１】
2014000120.tif 000003
【図２】
2014000120.tif 000004
【図３】
2014000120.tif 000005
【図４】
2014000120.tif 000006
【図５】
2014000120.tif 000007
【図６】
2014000120.tif 000008
【図７】
2014000120.tif 000009
【図８】
2014000120.tif 000010
【図９】
2014000120.tif 000011
【図１０】
2014000120.tif 000012
【図１１】
2014000120.tif 000013