(57)【要約】【課題】手ぶれを利用して超解像処理に必要な撮像位置がずれた複数の低解像度画像を取得する場合に、超解像処理における位置合わせの精度を高めることができるようにする。【解決手段】観察対象の内部に挿入される挿入部１１と、この挿入部に設けられて観察対象の内部の被写体Ｓを照明する照明窓１６と、挿入部に設けられて被写体を撮像する撮像部１４と、被写体上に配置されるマーカ部１７および挿入部から突出してマーカ部を支持する支持ワイヤ１８を有するマーキング部材１９と、を備えたものとする。特に、支持ワイヤは、挿入部に進退自在に設けられたものとする。さらに、支持ワイヤは、弾性材料で形成されて、この支持ワイヤの撓みによる弾性力によってマーカ部を被写体に押し当てるようにしたものとする。【選択図】図１
2014000119.tif 000002
【特許請求の範囲】
【請求項１】
観察対象の内部に挿入される挿入部と、
この挿入部に設けられて前記観察対象の内部の被写体を照明する照明部と、
前記挿入部に設けられて前記被写体を撮像する撮像部と、
前記被写体上に配置されるマーカ部および前記挿入部から突出して前記マーカ部を支持する支持部を有するマーキング部材と、を備えたことを特徴とする内視鏡。
【請求項２】
前記支持部は、前記挿入部に進退自在に設けられたことを特徴とする請求項１に記載の内視鏡。
【請求項３】
前記支持部は、弾性材料で形成されて、この支持部の撓みによる弾性力によって前記マーカ部を前記被写体に押し当てるようにしたことを特徴とする請求項１または請求項２に記載の内視鏡。
【請求項４】
前記支持部は、光源からの光を前記マーカ部に導く導光材料で形成され、
前記マーカ部は、前記支持部により導かれた光を出射する出光面を有することを特徴とする請求項１から請求項３のいずれかに記載の内視鏡。
【請求項５】
前記支持部は、光源からの光を前記マーカ部に導く導光材料で形成され、
前記マーカ部は、前記支持部により導かれた光により発光する蛍光部材を有することを特徴とする請求項１から請求項３のいずれかに記載の内視鏡。
【請求項６】
前記マーカ部は、前記支持部から略Ｔ字形状に延出された状態に形成された接触部を有し、この接触部は、略円形の断面をなし、その外周面で前記被写体に接触するようにしたことを特徴とする請求項１から請求項５のいずれかに記載の内視鏡。
【請求項７】
前記マーカ部は、前記支持部から略Ｌ字形状に屈曲した状態に形成された接触部を有し、この接触部は、略円形の断面をなし、その外周面で前記被写体に接触するようにしたことを特徴とする請求項１から請求項５のいずれかに記載の内視鏡。
【請求項８】
前記マーカ部は、複数の前記蛍光部材と、この複数の蛍光部材を一体的に保持する保持部と、を有し、この保持部が、光透過性材料により形成され、前記支持部により導かれた光が前記保持部を通って前記蛍光部材に入射するようにしたことを特徴とする請求項５に記載の内視鏡。
【請求項９】
請求項１から請求項８のいずれかに記載の内視鏡と、前記撮像部による撮像で取得した複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置とを、備え、
前記画像処理装置は、前記超解像処理において複数の前記低解像度画像の位置合わせを行う際に、前記低解像度画像内の前記マーカ部に対応する位置で特徴点を抽出することを特徴とする内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムに関し、特に、撮像で得られた画像に対して超解像処理を行う場合に適した内視鏡およびこれを備えた内視鏡システムに関するものである。
【背景技術】
【０００２】
内視鏡には、人の身体などの観察対象の内部に挿入される挿入部の先端部に撮像素子を配置して、この撮像素子による撮像で得られた画像をモニターに表示させるようにした、いわゆる電子内視鏡が広く普及している。この種の内視鏡においても、挿入部をできるだけ細く形成することが望まれるが、これには、撮像素子の寸法が制約を受けることから、解像度の高い撮像素子を採用することができないため、人体の内臓などの体内組織を精細な画像で観察したい要望を十分に満足することができないという難点があった。
【０００３】
このような要望に対して、撮像により得られた複数の低解像度画像から高解像度画像を生成する、いわゆるフレーム間超解像の技術を利用して、内視鏡で撮像された画像の解像度を高めることが行われている（特許文献２）。また、超解像処理には、撮像位置がずれた複数の画像が必要になるため、撮像素子と対物レンズとをアクチュエータで相対的に振動させる画素ずらし機構を用いて、撮像位置がずれた複数の画像を取得する技術も知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１７８２１４号公報
【特許文献２】特表２０１０−５１２１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、前記のフレーム間超解像の技術では、複数の低解像度画像の位置合わせのために、低解像度画像相互の位置ずれ量を把握する必要があるが、前記特許文献１に記載のように画素ずらし機構を用いた場合には、例えば画素ずらし機構に用いる積層型圧電素子の伸縮量のヒステリシス特性を考慮した上で印加する電圧を制御することで、画像相互の位置ずれ量を管理できるため、これに基づいてサブピクセル精度の位置合わせを行うことができる利点が得られる。ただし、画素ずらし機構を用いる構成では、撮像素子とともに画素ずらし機構を挿入部に設ける必要があるため、挿入部が太くなるという問題があった。
【０００６】
一方、内視鏡では手ぶれ、すなわち内視鏡を持つ手が振れることで挿入部がゆれ動くことが避けられないが、この手ぶれにより撮像位置がずれることから、この手ぶれを利用すれば、画素ずらし機構を設けずとも、撮像位置がずれた複数の画像を取得することができる。
【０００７】
しかしながら、このように手ぶれを利用して撮像位置がずれた複数の画像を取得する場合には、前記の画素ずらし機構による場合とは異なり、画像相互の位置ずれ量がわからない。そこで、画像自体から位置ずれ量を取得する必要があり、これには、画像から特徴点を抽出して、その特徴点の対応関係から位置ずれ量を取得する、いわゆる特徴点マッチングの手法を用いればよい。一般的なフレーム間超解像処理では、撮像した複数のフレームに対して所定の基準画像と他の参照画像を定め、基準画像に対する参照画像の位置ずれ量を、例えばＳＵＲＦ（Speeded Up Robust Features）やＳＩＦＴ（Scale-invariant feature transform）といった特徴点マッチング手法を用いて求め、位置合わせ後の複数の画像を畳み込んで画像の再構成を行なう。しかし、被写体が臓器などの体内組織である場合、被写体には特徴的なテクスチャが殆ど存在せず、また色や形状が大きく変化するところが少ないため、特徴点を抽出することが難しく、位置合わせを精度良く行うことができないことにより、フレーム間超解像処理による高解像度化の効果が小さい、という問題があった。
【０００８】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、手ぶれを利用して超解像処理に必要な撮像位置がずれた複数の低解像度画像を取得する場合に、超解像処理における位置合わせの精度を高めることができるように構成された内視鏡およびこれを備えた内視鏡システムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の内視鏡は、観察対象の内部に挿入される挿入部と、この挿入部に設けられて前記観察対象の内部の被写体を照明する照明部と、前記挿入部に設けられて前記被写体を撮像する撮像部と、前記被写体上に配置されるマーカ部および前記挿入部から突出して前記マーカ部を支持する支持部を有するマーキング部材と、を備えた構成とする。
【００１０】
また、本発明の内視鏡システムは、前記のように構成された内視鏡と、前記撮像部による撮像で取得した複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置とを、備え、前記画像処理装置は、前記超解像処理において複数の前記低解像度画像の位置合わせを行う際に、前記低解像度画像内の前記マーカ部に対応する位置で特徴点を抽出する構成とする。
【発明の効果】
【００１１】
本発明によれば、被写体上にマーカ部を配置することで、撮像部により被写体とともにマーカ部が撮像される。これにより、超解像処理において撮像部による撮像で取得した複数の低解像度画像の位置合わせを行う際に、低解像度画像内のマーカ部に対応する位置で特徴点が確実に抽出されるため、位置合わせの精度を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る内視鏡システムを示す全体構成図
【図２】内視鏡１の挿入部１１の先端部１２を示す断面図
【図３】第２の光源部２２を示す側面図
【図４】マーカ部１７を示す斜視図
【図５】マーカ部１７を被写体Ｓに接触させた状況を示す側面図
【図６】内視鏡１の挿入部１１の先端部１２を示す斜視図
【図７】超解像処理部３２を示す機能ブロック図
【図８】超解像処理部３２の再構成処理部４３で行われる再構成処理の概要を説明する説明図
【図９】内視鏡１による撮像で得られる低解像度画像（撮像画像）を示す説明図
【図１０】マーカ部の別の実施形態を示す斜視図
【図１１】マーカ部の別の実施形態を示す斜視図および断面図
【図１２】マーカ部の別の実施形態を示す斜視図
【図１３】マーカ部の別の実施形態を示す斜視図
【図１４】マーカ部の別の実施形態を示す斜視図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、観察対象の内部に挿入される挿入部と、この挿入部に設けられて前記観察対象の内部の被写体を照明する照明部と、前記挿入部に設けられて前記被写体を撮像する撮像部と、前記被写体上に配置されるマーカ部および前記挿入部から突出して前記マーカ部を支持する支持部を有するマーキング部材と、を備えた構成とする。
【００１４】
これによると、被写体上にマーカ部を配置することで、撮像部により被写体とともにマーカ部が撮像される。これにより、超解像処理において撮像部による撮像で取得した複数の低解像度画像の位置合わせを行う際に、低解像度画像内のマーカ部に対応する位置で特徴点が確実に抽出されるため、位置合わせの精度を高めることができる。
【００１５】
また、第２の発明は、前記支持部は、前記挿入部に進退自在に設けられた構成とする。
【００１６】
これによると、支持部を挿入部から繰り出すことで、挿入部自体を動かすことなく、マーカ部を被写体に接触させることができる。また、支持部を挿入部に引き込むことで、マーキング部材で観察対象を傷つけたりマーキング部材を破損したりすることなく、観察対象に対する挿入部の挿入や取り出しの作業を円滑に行うことができる。
【００１７】
また、第３の発明は、前記支持部は、弾性材料で形成されて、この支持部の撓みによる弾性力によって前記マーカ部を前記被写体に押し当てるようにした構成とする。
【００１８】
これによると、手ぶれ、すなわち内視鏡を持つ手が振れることで挿入部がゆれ動いた場合に、支持部が適宜に撓むとともに、支持部の弾性力でマーカ部が被写体に押し当てられるため、マーカ部を被写体上に静止した状態に保持させることができる。
【００１９】
また、第４の発明は、前記支持部は、光源からの光を前記マーカ部に導く導光材料で形成され、前記マーカ部は、前記支持部により導かれた光を出射する出光面を有する構成とする。
【００２０】
これによると、マーカ部から出射した光を直接撮像窓に入射させるようにすれば、撮像画像内に写ったマーカ部の像内に明度の高い領域が現れ、また、マーカ部から出射した光を被写体に入射させるようにすれば、被写体上に輝度の高い領域が出現して、撮像画像に写ったマーカ部の像の近傍に周辺より明度が高い領域が現れる。このようにして撮像画像内に明度が高い領域が現れると、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ部に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００２１】
また、第５の発明は、前記支持部は、光源からの光を前記マーカ部に導く導光材料で形成され、前記マーカ部は、前記支持部により導かれた光により発光する蛍光部材を有する構成とする。
【００２２】
これによると、撮像画像に写った蛍光部材の像が周辺より明度が高くなり、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ部に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００２３】
また、第６の発明は、前記マーカ部は、前記支持部から略Ｔ字形状に延出された状態に形成された接触部を有し、この接触部は、略円形の断面をなし、その外周面で前記被写体に接触するようにした構成とする。
【００２４】
これによると、接触部において略円弧状の断面をなす接触面で被写体に接触するため、被写体（臓器など）がマーカ部との接触で損傷することを避けることができる。また、接触部の両端にそれぞれ出光面や蛍光部材を設けることができるため、特徴点を複数抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００２５】
また、第７の発明は、前記マーカ部は、前記支持部から略Ｌ字形状に屈曲した状態に形成された接触部を有し、この接触部は、略円形の断面をなし、その外周面で前記被写体に接触するようにした構成とする。
【００２６】
これによると、接触部において略円弧状の断面をなす接触面で被写体に接触するため、被写体（臓器など）がマーカ部との接触で損傷することを避けることができる。また、略円形断面をなす１本の線状部材を屈曲成形するだけで、マーカ部を形成することができるため、製造が容易になる。
【００２７】
また、第８の発明は、前記マーカ部は、複数の前記蛍光部材と、この複数の蛍光部材を一体的に保持する保持部と、を有し、この保持部が、光透過性材料により形成され、前記支持部により導かれた光が前記保持部を通って前記蛍光部材に入射するようにした構成とする。
【００２８】
これによると、蛍光部材の配置数に応じて多数の特徴点を抽出することができるため、位置合わせの精度をより一層高めることができる。また、保持部を板状に形成することで、大きな接触面積で被写体に接触させるようにできるため、被写体（臓器など）がマーカ部との接触で損傷することを避けることができる。
【００２９】
また、第９の発明は、前記のように構成された内視鏡と、前記撮像部による撮像で取得した複数の低解像度画像から高解像度画像を生成する超解像処理を行う画像処理装置とを、備え、前記画像処理装置は、前記超解像処理において複数の前記低解像度画像の位置合わせを行う際に、前記低解像度画像内の前記マーカ部に対応する位置で特徴点を抽出する構成とする。
【００３０】
これによると、低解像度画像内のマーカ部に対応する位置で特徴点が確実に抽出されるため、位置合わせの精度を高めることができる。
【００３１】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３２】
図１は、本実施形態に係る内視鏡システムを示す全体構成図である。この内視鏡システムは、人の身体（観察対象）の内部に挿入されて身体の内部の臓器などの被写体Ｓ（内臓の外表面や消化管の内壁面）を撮像する内視鏡１と、内視鏡１を制御するコントローラ（制御装置）２と、内視鏡１により撮像された画像に対して超解像処理を行う画像処理ユニット（画像処理装置）３と、画像処理ユニット３で生成した画像を表示するモニター（表示装置）４と、を備えている。
【００３３】
内視鏡１は、身体の内部に挿入される挿入部１１を備えている。本実施形態では、主に挿入部１１が硬く棒状に構成された、いわゆる硬性内視鏡について説明するが、本発明は挿入部分に柔軟な素材を用いた軟性内視鏡に応用してもよい。硬性内視鏡の代表例である腹腔鏡を用いた内視鏡手術では、例えば腹部の一部に微小な穴をあけ、そこから挿入部１１を挿入して体腔内部を観察しながら、治療や手術を行う。この挿入部１１の先端部１２には、撮像窓１３を介して身体の内部の被写体（臓器など）Ｓを撮像する撮像部１４が設けられている。また、挿入部１１の先端部１２には、被写体Ｓを照明するために光ファイバー１５により導かれた光を出射する照明窓（照明部）１６が設けられている。
【００３４】
さらに、この内視鏡１は、被写体Ｓ上に配置されるマーカ部１７と、挿入部１１の先端部１２から突出してマーカ部１７を支持する支持ワイヤ（支持部）１８とを有するマーキング部材１９を備えている。
【００３５】
支持ワイヤ１８は、挿入部１１の基部側に設けられた引き出し部２０から外部に引き出されてコントローラ２に接続されている。この引き出し部２０に設けられた支持ワイヤ１８の挿通孔は、鉗子を差し込むための鉗子孔と兼用するものであってもよく、また、鉗子孔とは別の支持ワイヤ１８専用のものであってもよい。
【００３６】
特に本実施形態では、支持ワイヤ１８が、挿入部１１の長手方向に進退自在に挿入部１１に設けられており、挿入部１１の引き出し部２０から引き出された支持ワイヤ１８の部分を手で摘んで押し引きすることで、マーカ部１７を進退させることができるようになっている。
【００３７】
さらに、支持ワイヤ１８は、先端のマーカ部１７にマーカ用の光を送る光ファイバーで構成され、挿入部１１内で円滑に進退動作させるとともに光ファイバーを保護するシース（鞘）で光ファイバーが覆われた構造となっている。
【００３８】
コントローラ２は、内視鏡１の挿入部１１に設けられた照明窓１６に光ファイバー１５を介して照明用の光を送る第１の光源部２１と、マーキング部材１９のマーカ部１７に支持ワイヤ１８を構成する光ファイバーを介してマーカ用の光を送る第２の光源部２２と、各種の動作を指示する操作スイッチ２３と、内視鏡１の挿入部１１に設けられた撮像部１４を動作させて撮像部１４からの画像データを受信する撮像制御部２４と、各部を総括的に制御する主制御部２５と、を備えている。
【００３９】
なお、主制御部２５は撮像制御部２４、第１の光源部２１、第２の光源部２２を同期して動作させる。本実施形態では撮像部１４に設けられた撮像センサ５２（図２参照）は例えば３０ｆｐｓ（Frames Per Second）でグローバルシャッタ動作を行うが（シャッタ周期は３３．３ｍｓ）、電荷蓄積期間（シャッタ開放時間）は約１ｍｓ程度に設定されている。主制御部２５は、このタイミングと同期して第１の光源部２１、第２の光源部２２に発光指示を出力し、結果的に第１の光源部２１、第２の光源部２２は、電荷蓄積期間に対応する期間だけ発光する。これによってＬＥＤの高輝度発光を実現すると共に、ブラーの少ない低解像度画像を取得し、超解像効果の抑制要因を排除している。
【００４０】
操作スイッチ２３では、第１の光源部２１および第２の光源部２２の点灯、撮像部１４での撮像、画像処理ユニット３での画像処理の実行、および動画および静止画の切替えなどの指示が行われる。
【００４１】
画像処理ユニット３は、ＰＣなどで構成され、内視鏡１の挿入部１１に設けられた撮像部１４で取得した撮像画像を記憶する記憶部３１と、撮像画像から高解像度画像を生成する超解像処理部３２と、モニター４を制御する表示制御部３３と、各部を総括的に制御する主制御部３４と、を備えている。この画像処理ユニット３には、キーボード等で構成された入力部３５が接続されており、ここでは、撮像部１４の駆動制御（フレームレート、露光時間、ホワイトバランスなど）や、超解像処理部３２での超解像処理に関するパラメータの設定などが行われる。コントローラ２の主制御部２５と画像処理ユニット２４の主制御部３４は双方向に情報伝達が可能であり、画像処理ユニット２４の主制御部３４は、コントローラ２を介して、既に撮像部１４（撮像センサ５２、図２参照）に設定されている制御用パラメータの値を参照することができ、撮像部１４の特定の駆動制御に関する制御用パラメータに該当するビットのみを書き換えて、再度撮像部１４に設定することができる。
【００４２】
図２は、内視鏡１の挿入部１１の先端部１２を示す断面図である。挿入部１１の先端部１２では、円筒状のケーシング５１の内部に、撮像部１４と、照明用の光ファイバー１５と、マーキング部材１９と、が収容されている。光ファイバー１５により導かれた照明光はカバーガラスによる照明窓１６を介して出射される。撮像部１４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成される撮像センサ５２と、複数のレンズからなる光学系５３と、を有しており、照明光により照明された被写体Ｓからの反射光がカバーガラスによる撮像窓１３を介して光学系５３に入射する。マーキング部材１９の支持ワイヤ１８は挿入部１１の長手方向に伸びたガイド孔５５内に挿通されて進退自在となっている。
【００４３】
後述するように、マーキング部材１９の先端には略Ｔ字形状のマーカ部１７が設けられている。そしてマーカ部１７は、その不使用時において、撮像窓１３や照明窓１６と同一面に設けられた凹部８１に収納される（図６参照）。
【００４４】
図３は、第２の光源部２２を示す側面図である。第２の光源部２２は、光源となるＬＥＤ素子を有する白色ＬＥＤモジュール６１と、白色ＬＥＤモジュール６１が発する熱を放熱する放熱部（ヒートシンク）６２と、白色ＬＥＤモジュール６１から出射された光を集光させるカップリング光学系６３と、光ファイバーで構成された支持ワイヤ１８を保持して、カップリング光学系６３で集光された光を光ファイバーの端面に入射させるカップリング部６４と、を備えている。
【００４５】
なお、第１の光源部２１もこれと同様である。また、光路を２つに分岐させる構造を設けて、第１の光源部２１と第２の光源部２２とを１つの光源部で兼用することも可能である。
【００４６】
図４は、マーカ部１７を示す斜視図である。マーカ部１７は、支持ワイヤ１８から略Ｔ字形状に延出された状態に形成された接触部７１を有し、この接触部７１は、略円形の断面をなし、その外周面で被写体Ｓに接触するようになっている。すなわち、接触部７１は、支持ワイヤ１８に略直交する態様で設けられており、支持ワイヤ１８が挿入部１１から繰り出されることで、接触部７１における支持ワイヤ１８と相反する側の面が被写体Ｓに接触する。この接触面は、略円弧状の断面をなし、鋭利な部分がないため、被写体Ｓがマーカ部１７との接触で損傷することを避けることができる。
【００４７】
特に本実施形態では、マーカ部１７が、光ファイバーからなる支持ワイヤ１８により導かれた光により発光する蛍光部材７２を有しており、接触部７１の両端にそれぞれ蛍光部材７２が設けられている。この蛍光部材７２は、光透過性材料ならかる基材中に蛍光材料を分散させたものである。接触部７１も導光材料で形成されており、支持ワイヤ１８により導かれた光が接触部７１を通って蛍光部材７２に入射して蛍光部材７２が発光する。
【００４８】
図５は、マーカ部１７を被写体Ｓに接触させた状況を示す側面図である。前記のように、支持ワイヤ１８は、内視鏡１の挿入部１１に進退自在に設けられており、支持ワイヤ１８を繰り出すことで、挿入部１１自体を動かすことなく、マーカ部１７を被写体Ｓに接触させることができる。
【００４９】
また、支持ワイヤ１８は、弾性材料で形成され、具体的には、弾性を有する合成樹脂製の光ファイバーおよびシースで構成されており、この支持ワイヤ１８が撓むことで生じる弾性力によってマーカ部１７を被写体Ｓに押し当てるようになっている。
【００５０】
このため、手ぶれ、すなわち内視鏡１を持つ手が振れることで挿入部１１がゆれ動いた場合に、支持ワイヤ１８が適宜に撓むとともに、支持ワイヤ１８の弾性力でマーカ部１７が被写体Ｓに押し当てられるため、マーカ部１７を被写体Ｓ上に静止した状態に保持させることができる。
【００５１】
なお、図５に示すように、撮像部１４の撮像範囲を示す画角は、照明部１６の照明範囲に含まれる。従って、マーカ部１７は照明部１６が出射する照射光によっても照射されるが、マーカ部１７は自発光又は被写体Ｓをごく近傍から照射して高輝度でマーキングするため、取得した画像上では位置を示す標識として十分に機能する。
【００５２】
図６は、内視鏡１の挿入部１１の先端部１２を示す斜視図である。挿入部１１の先端部１２には、マーカ部１７を格納する凹部８１が設けられており、人体に挿入部１１を挿入したり、人体から挿入部１１を取り出したりする際には、マーカ部１７を凹部８１に格納する。これにより、マーキング部材１９で人体を傷つけたりマーキング部材１９を破損したりすることなく、人体に対する挿入部の挿入や取り出しの作業を円滑に行うことができる。
【００５３】
図７は、超解像処理部３２を示す機能ブロック図である。図８は、超解像処理部３２の再構成処理部４３で行われる再構成処理の概要を説明する説明図である。
【００５４】
図７に示すように、超解像処理部３２は、低解像度画像取得部４１と、位置合わせ部４２と、再構成処理部４３と、高解像度画像生成部４４とを備えている。なお、この超解像処理部３２は、プログラムをＣＰＵで実行することで実現されるものである。
【００５５】
操作スイッチ２３（図１参照）で静止画撮影が指示されると、コントローラ２の主制御部２５は画像処理ユニット３の主制御部３４を介して、超解像処理部３２に対して超解像処理を実行するように指示を与える。低解像度画像取得部４１は、超解像処理に必要となる複数（１６〜３２枚程度）の低解像度画像（撮像画像）を記憶部３１から取得する。この複数の低解像度画像は、内視鏡１に設けられた撮像部１４で複数回の撮影を行なって生成したもの（フレーム画像）である。
【００５６】
位置合わせ部４２は、複数の低解像度画像のうちの１つを基準画像に選択して、その基準画像に対して基準画像以外の低解像度画像が位置合わせされるように、基準画像以外の各低解像度画像の座標変換を行うための変換行列を求める。この位置合わせでは、特徴点マッチングが行われ、具体的には、基準画像および基準画像以外の低解像度画像について特徴点を抽出して、各画像間の特徴点の対応関係に基づいて、基準画像以外の低解像度画像ごとに射影変換行列を求める。
【００５７】
この特徴点マッチングでは、特徴点を４点以上抽出することが望まれ、したがって４点以上の特徴点が抽出されるようにマーカ部１７を構成するとよいが、通常の特徴点マッチングでは、例えば勾配法やＳＩＦＴ等として知られる公知のアルゴリズムを用いて特徴点を抽出することができる場合も多く、特徴点を４点以上抽出することは絶対的な要件ではない。
【００５８】
再構成処理部４３では、図８に示すように、まず、基準画像を超解像の拡大率で拡大し、基準画像の画素が離散的に配置されたマッピング画像を生成する。そして、位置合わせ部４２で取得した変換行列を用いて、基準画像以外の低解像度画像を基準画像の座標系に変換し、その変換された座標に基づいて、基準画像以外の低解像度画像の画素をマッピング画像にプロットしていく。これにより再構成画像が得られる。
【００５９】
ここで、一般的には、すべての低解像度画像の画素をマッピング画像にプロットしても、マッピング画像のすべての画素に低解像度画像の画素がプロットされるわけではなく、再構成画像には、低解像度画像の画素がプロットされていない画素が存在する。
【００６０】
なお、図８では、図示の便宜上、低解像度画像を４画素×４画素のサイズとし、また、超解像の拡大率を縦横各４倍としたが、実際の低解像度画像のサイズおよび超解像の拡大率は、これに限定されるものではない。
【００６１】
図７に示した高解像度画像生成部４４では、再構成処理部４３で取得した再構成画像から高解像度画像を生成する。ここではまず、再構成処理部４３で取得した再構成画像において低解像度画像の画素がプロットされていない画素を補間により穴埋めする処理が行われ、さらに、画像のぼけ量（ＰＳＦ：Point Spread Function）を推定して、逆変換によりぼけの復元処理も施して、高解像度画像として出力する。
【００６２】
さて、図５に示したように、内視鏡１の挿入部１１の先端部１２に設けられた撮像部１４では、所定の画角による撮像範囲内の被写体Ｓが撮像され、撮像範囲内の被写体Ｓ上にマーカ部１７を配置することで、マーカ部１７が被写体Ｓとともに撮像されて、被写体Ｓ上にマーカ部１７が写った撮像画像が得られる。
【００６３】
ここで、被写体Ｓを撮像する際に内視鏡１に手ぶれが発生する、すなわち内視鏡１を持つ手が振れることで挿入部１１がゆれ動くと、挿入部１１の先端部１２が移動するのに応じて撮像範囲も移動するが、前記のように、支持ワイヤ１８の弾性力でマーカ部１７は被写体Ｓ方向に付勢・押圧され、静止した状態に保持されるため、被写体Ｓとマーカ部１７との位置関係は変化しない。
【００６４】
図９は、内視鏡１による撮像で得られる低解像度画像（撮像画像）を示す説明図である。内視鏡１による撮像で得られる低解像度画像には、被写体Ｓ上に配置されたマーカ部１７の像が被写体Ｓの像とともに現れる。各低解像度画像は、手ぶれにより撮像範囲がずれているが、マーカ部１７の像と被写体Ｓの像との位置関係に相違はない。したがって、マーカ部１７の像の位置を基準にすれば、低解像度画像を精度よく位置合わせすることができる。
【００６５】
前記のように、超解像処理部３２の位置合わせ部４２では、特徴点マッチングにより基準画像に対するその他の低解像度画像の位置合わせが行われ、この位置合わせでは、低解像度画像から特徴点を抽出する処理が行われるが、マーカ部１７の像は周辺の被写体Ｓの像と大きく異なるため、マーカ部１７の像の位置で特徴点が確実に抽出される。このため、位置合わせの処理を精度よく行うことができる。
【００６６】
特に本実施形態では、マーカ部１７に蛍光部材７２を設けて、支持ワイヤ１８で導かれた光で蛍光部材７２を発光させるようにしたため、撮像画像に写った蛍光部材７２の像が周辺より明度が高くなり、この明度が高い領域の位置で特徴点が抽出される。特に蛍光部材７２は、全体的に且つ均一に発光するため、蛍光部材７２の像は均一な明度で現れる。このため、マーカ部１７に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００６７】
次に、マーカ部の別の実施形態について説明する。
【００６８】
図１０は、マーカ部の別の実施形態を示す斜視図である。この例では、マーカ部１０１が、図４に示した例と同様に、支持ワイヤ１８から略Ｔ字形状に延出された状態に形成された接触部１０２を有し、この接触部１０２は、略円形の断面をなし、その外周面で被写体Ｓに接触するようになっており、また、接触部１０２が導光材料で形成されているが、特にここでは、支持ワイヤ１８により導かれた光が接触部１０２を通ってその両端部の出光面１０３から出射されるようになっている。
【００６９】
この構成では、出光面１０３から出射した光が被写体Ｓに入射して、被写体Ｓ上に輝度の高い領域Ａが出現する。これにより、撮像画像に写ったマーカ部１０１の像の近傍に周辺より明度が高い領域が現れ、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ部１０１に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００７０】
また、この構成では、図４に示した例と同様に、接触部１０２において略円弧状の断面をなす接触面で被写体Ｓに接触するため、被写体Ｓがマーカ部１０１との接触で損傷することを避けることができる。
【００７１】
図１１（Ａ）は、マーカ部の別の実施形態を示す斜視図である。図１１（Ｂ）は、図１１（Ａ）に示したマーカ部の断面図である。この実施形態では、マーカ部１１１が、支持ワイヤ１８から略Ｌ字形状に屈曲した状態に形成された接触部１１２を有し、この接触部１１２は、略円形の断面をなし、その外周面で被写体Ｓに接触するようになっている。さらに、接触部１１２の先端側には面取り部１１３が形成されている。
【００７２】
この構成では、支持ワイヤ１８により導かれた光が反射しながら接触部１１２に進入し、接触部１１２の先端の面取り部１１３で反射して、被写体Ｓと相反する側の出光面１１４から光が出射する。これにより、撮像画像内に写ったマーカ部１１１の像内に明度の高い領域が現れ、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ部１１１に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００７３】
また、この構成では、接触部１１２の外周面における略円弧状の断面をなす接触面で被写体Ｓに接触し、また接触部１１２の先端側にも面取り部１１３が形成されているため、被写体Ｓがマーカ部１１１との接触で損傷することを避けることができる。
【００７４】
図１２は、マーカ部の別の実施形態を示す斜視図である。この実施形態では、図１１に示した例と同様に、マーカ部１２１が、支持ワイヤ１８から略Ｌ字形状に屈曲した状態に形成された接触部１２２を有し、この接触部１２２は、略円形の断面をなし、その外周面で被写体Ｓに接触するようになっているが、特にここでは、図１０に示した例と同様に、支持ワイヤ１８により導かれた光が接触部１２２を通ってその先端の出光面１２３から出射されるようになっている。
【００７５】
この構成では、図１０に示した例と同様に、出光面１２３から出射した光が被写体Ｓに入射して、被写体Ｓ上に輝度の高い領域Ａが出現し、撮像画像に写った被写体Ｓの像の中に周辺より明度が高い領域が現れ、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ部１２１に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００７６】
また、この構成では、図１１に示した例と同様に、接触部１２２の外周面における略円弧状の断面をなす接触面で被写体Ｓに接触するため、被写体Ｓがマーカ部１２１との接触で損傷することを避けることができる。
【００７７】
また、この構成では、略円形断面をなす１本の線状の導光部材（光ファイバーを保護用のシースで被覆したもの）を屈曲成形するだけで、マーカ部１２１を形成することができるため、製造が容易になる。
【００７８】
図１３は、マーカ部の別の実施形態を示す斜視図である。この実施形態では、図１２に示した例と同様に、マーカ部１３１が、支持ワイヤ１８から略Ｌ字形状に屈曲した状態に形成された接触部１３２を有し、この接触部１３２は、略円形の断面をなし、その外周面で被写体Ｓに接触するようになっているが、特にここでは、接触部１３２に蛍光部材１３３が取り付けられている。この蛍光部材１３３は、平板状をなし、接触面側に面取り部１３４が形成されている。
【００７９】
この構成では、図４に示した例と同様に、支持ワイヤ１８により導かれた光が接触部１３２を通って蛍光部材１３３に入射して蛍光部材１３３が発光することで、撮像画像に写った蛍光部材１３３の像が周辺より明度が高くなり、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ部１３１に対応する位置で特徴点をより一層確実に抽出することができるようになり、位置合わせの精度をより一層高めることができる。
【００８０】
また、この構成では、図１２に示した例と同様に、接触部１３２の外周面における略円弧状の断面をなす接触面で被写体Ｓに接触し、また蛍光部材１３３の接触面側にも面取り部１３４が形成されているため、被写体Ｓがマーカ部１３１との接触で損傷することを避けることができる。
【００８１】
図１４は、マーカ部の別の実施形態を示す斜視図である。この実施形態では、マーカ部１４１が、複数（ここでは４つ）の蛍光部材１４２と、この複数の蛍光部材１４２を一体的に保持する保持部１４３と、を有し、この保持部１４３が光透過性材料により形成されて、支持ワイヤ１８により導かれた光が保持部１４３を通って蛍光部材１４２に入射するようになっている。
【００８２】
保持部１４３は、円形の板状に形成され、中心部に支持ワイヤ１８が連結されており、支持ワイヤ１８と相反する側の面が被写体Ｓに接触する接触面となる。複数の蛍光部材１４２は、保持部１４３の外周部分における接触面と相反する側の面に等間隔をおいて配置されている。なお、この例では、蛍光部材１４２を４つ配置したが、蛍光部材１４２の配置数はこれに限定されるものではない。
【００８３】
この構成では、図４に示した例と同様に、保持部１４３から蛍光部材１４２に入射する光により蛍光部材１４２が発光することで、撮像画像に写った蛍光部材１４２の像が周辺より明度が高くなり、この明度が高い領域の位置で特徴点が抽出される。このため、マーカ部１４１に対応する位置で特徴点をより一層確実に抽出することができるようになり、さらに、蛍光部材１４２の配置数に応じて多数の特徴点を抽出することができるため、位置合わせの精度をより一層高めることができる。
【００８４】
また、この構成では、保持部１４３が板状に形成され、大きな接触面積で被写体Ｓに接触させるようにできるため、被写体Ｓがマーカ部１４１との接触で損傷することを避けることができる。
【００８５】
なお、本実施形態では、マーキング部材を１つ設けるようにしたが、マーキング部材を複数設けることも可能である。これにより、撮像により得られた低解像度画像から特徴点をより多く抽出することができるため、位置合わせの精度より一層を高めることができる。
【００８６】
また、本実施形態では、支持ワイヤを構成する光ファイバーでマーカ部に光を導くようにしたが、マーカ部自体に光源を設けることも可能である。
【００８７】
また、本実施形態では、マーカ部に蛍光部材を設けて、支持ワイヤを構成する光ファイバーで導かれた光で蛍光部材を発光させるものとしたが、マーカ部に蛍光部材又は反射部材を設けて、照明部１６から出射される照明用の光で蛍光を発生させ、又は照明用の光を反射させ、これを検出するようにしてもよい。即ち、図５に示すように、撮像部１４の撮像範囲は、照明部１６によって照明されているから、マーカ部１７に反射部材（例えば白色のセラミック材料）や蛍光部材を設けると、これらの部材の位置を検出することができる。このように構成すると、マーカ部１７に光を供給する光源が不要となるため、より低コスト化が達成できる。
【００８８】
また、本実施形態では、画像処理ユニットがコントローラを介して内視鏡と接続された例を示したが、内視鏡から出力される画像データを通信ネットワークを介して画像処理ユニットに送信する構成も可能であり、また、内視鏡で得られた画像データを記録メディアに記録し、この記録メディアの画像データを画像処理ユニットで読み出す構成としてもよい。
【００８９】
また、本実施形態では、マーカ部を蛍光部材で発光させるなどして、マーカ部自体が光を出射するものとしたが、マーカ部自体は光を出射しないものとしてもよい。この場合、被写体となる臓器などの体内組織の色と大きく異なる色、例えば体内組織の色に対して補色の関係にある色（例えば赤の補色であるシアン色）にマーカ部を着色すると、特徴点の抽出が容易になる。
【００９０】
また、本実施形態では、超解像処理によって複数の低解像度画像から高解像度の静止画を得る場合について説明したが、例えば、撮影した複数のフレーム画像に対して、基準画像を時間軸方向に順に選択して超解像処理を実行すれば、結果的に動画像が得られる。即ち、本発明を動画に応用することが可能である。
【００９１】
また、本実施形態では、手振れによって位置ずれを起した複数枚の低解像度画像を用いて超解像処理を行なう前提で説明したが、手振れに限らず、例えば内視鏡自体を振動させたり、撮像光学系とイメージセンサの相対的な位置関係をバイモルフ等の簡易な機構で変化させて、強制的に画素ずれを与えて低解像度画像を得るようにしてもよい。いずれの場合も、本発明によるマーカを用いた位置合わせを行えば、従来の画素ずらしのような高精度な位置合わせ機構を用いることなく、高解像度画像を得ることができる。
【産業上の利用可能性】
【００９２】
本発明にかかる内視鏡およびこれを備えた内視鏡システムは、手ぶれを利用して超解像処理に必要な撮像位置がずれた複数の低解像度画像を取得する場合に、超解像処理における位置合わせの精度を高めることができる効果を有し、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムに関し、特に、撮像で得られた画像に対して超解像処理を行う場合に適した内視鏡およびこれを備えた内視鏡システムなどとして有用である。
【符号の説明】
【００９３】
１  内視鏡
２  コントローラ
３  画像処理ユニット（画像処理装置）
４  モニター
１１  挿入部
１２  先端部
１３  撮像窓
１４  撮像部
１６  照明窓（照明部）
１７、１０１、１１１、１２１、１３１、１４１  マーカ部
１８  支持ワイヤ（支持部）
１９  マーキング部材
３２  超解像処理部
４２  位置合わせ部
７１、１０２、１１２、１２２、１３２  接触部
７２、１３３、１４２  蛍光部材
１０３、１１４、１２３  出光面
１４３  保持部
Ｓ  被写体
【図１】
2014000119.tif 000003
【図２】
2014000119.tif 000004
【図３】
2014000119.tif 000005
【図４】
2014000119.tif 000006
【図５】
2014000119.tif 000007
【図６】
2014000119.tif 000008
【図７】
2014000119.tif 000009
【図８】
2014000119.tif 000010
【図１０】
2014000119.tif 000011
【図１１】
2014000119.tif 000012
【図１２】
2014000119.tif 000013
【図１３】
2014000119.tif 000014
【図１４】
2014000119.tif 000015
【図９】
2014000119.tif 000016