(57)【要約】画像処理装置（２）は、観察光の検出値および検出位置を対応付けたデータを記憶する記憶部（１４）と、画像内の注目画素に対応する被写体における画素領域を含み、かつ、少なくとも１つの検出位置を含む計算領域を設定する計算領域設定部（１５）と、計算領域内の検出位置と対応付けられている検出値をデータから取得する検出値取得部（１６）と、取得された検出値に基づいて注目画素の画素値を算出する画素値算出部（１８）と、画素値を注目画素に割り当てて画像を形成する画像形成部（２０）とを備える。
2017104002.tif 000002
【特許請求の範囲】
【請求項１】
照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理装置であって、
前記データを記憶する記憶部と、
前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定部と、
該計算領域設定部によって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得部と、
該検出値取得部によって取得された前記検出値に基づいて前記注目画素の画素値を算出する画素値算出部と、
該画素値算出部によって算出された画素値を前記注目画素に割り当てて前記画像を形成する画像形成部とを備え、
前記計算領域設定部が、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理装置。
【請求項２】
照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理装置であって、
前記データを記憶する記憶部と、
前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定部と、
該計算領域設定部によって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得部と、
該検出値取得部によって取得された前記検出値に重みを付ける重み付け部と、
該重み付け部によって重みを付けられた前記検出値に基づいて前記注目画素の画素値を算出する画素値算出部と、
該画素値算出部によって算出された画素値を前記注目画素に割り当てて前記画像を形成する画像形成部とを備え、
前記計算領域設定部が、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理装置。
【請求項３】
前記重み付け部が、前記画素領域の中心により近い検出位置に対して、より大きな重みを付ける請求項２に記載の画像処理装置。
【請求項４】
前記画素値算出部が、前記重み付け部によって重みが付けられた前記検出値の和および前記検出値に付けられた重みの和を算出し、前記検出値の和を前記重みの和で除算することによって、前記注目画素の画素値を算出する請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記計算領域設定部が、前記画素領域よりも広い前記計算領域を設定する請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記データにおける前記検出位置の空間分解能が、前記被写体における前記画素領域の空間分解能よりも高い請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記計算領域設定部が、前記計算領域内に含まれる前記検出位置の数に応じて前記計算領域の寸法を変更可能である請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
照明光を走査しながら被写体に向かって射出する光走査部と、
前記照明光の照射によって前記被写体において発生した観察光を検出し、該観察光の検出値を得る光検出部と、
請求項１から請求項７のいずれかに記載の画像処理装置とを備える光走査型観察システム。
【請求項９】
照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理方法であって、
前記データを記憶する記憶ステップと、
前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定ステップと、
該計算領域設定ステップによって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得ステップと、
該検出値取得ステップによって取得された前記検出値に基づいて前記注目画素の画素値を算出する画素値算出ステップと、
該画素値算出ステップによって算出された画素値を前記注目画素に割り当てて前記画像を形成する画像形成ステップとを含み、
前記計算領域設定ステップにおいて、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理方法。
【請求項１０】
照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理方法であって、
前記データを記憶する記憶ステップと、
前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定ステップと、
該計算領域設定ステップによって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得ステップと、
該検出値取得ステップによって取得された前記検出値に重みを付ける重み付けステップと、
該重み付けステップによって重みを付けられた前記検出値に基づいて前記注目画素の画素値を算出する画素値算出ステップと、
該画素値算出ステップによって算出された画素値を前記注目領域に割り当てて前記画像を形成する画像形成ステップとを含み、
前記計算領域設定ステップにおいて、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、光走査型観察システムおよび画像処理方法に関するものである。
【背景技術】
【０００２】
従来、照明光を渦巻状の軌跡に沿って被写体上でスパイラル走査する光走査型内視鏡が知られている（例えば、特許文献１参照。）。光走査型内視鏡は、照明光の照射によって被写体において生じる観察光（例えば、反射光または蛍光）を検出し、観察光の検出値と、観察光が検出された時刻における照明光の照射位置（検出位置）とを対応付けることによって、画像を形成する。被写体上の検出位置の配列と画像内の画素の配列とは互いに異なり、１つの画素に対応する被写体上の画素領域内に複数の検出位置が含まれ得る。特許文献１では、１つの画素領域内に含まれる複数の検出位置における検出値の平均値を、対応する画素の画素値として算出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２４６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
照明光を等角速度で走査するスパイラル走査において、走査軌跡の外周側において検出位置の密度が小さくなる。検出位置の密度が画素領域の密度よりも小さい場合には、検出位置を含まない画素領域が生じる。同様に、モニタ表示画像の走査線に平行でない走査軌跡の撮影や、走査速度が一定でない走査の撮影においても、上記のように検出位置を含まない画素領域を生じる可能性がある。特許文献１の場合、検出位置を含まない画素領域に対応する画素の画素値はゼロと算出される。このような画素値が欠損した欠損画素の画素値を、周囲の画素値から推定して補間する補間処理が知られている。【０００５】
ＣＣＤ等のイメージセンサを用いて取得される画像においては、欠損画素がまばらに生じるため、補間処理によって欠損画素の画素値を補間することができる。しかしながら、スパイラル走査方式の画像においては、欠損画素の数が多くなるため、補間処理で欠損画素の画素値を補間することが難しいという問題がある。【０００６】
本発明は、上述した事情に鑑みてなされたものであって、欠損画素の無い画像を得ることができる画像処理装置、光走査型観察システムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１の態様は、照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理装置であって、前記データを記憶する記憶部と、前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定部と、該計算領域設定部によって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得部と、該検出値取得部によって取得された前記検出値に基づいて前記注目画素の画素値を算出する画素値算出部と、該画素値算出部によって算出された画素値を前記注目画素に割り当てて前記画像を形成する画像形成部とを備え、前記計算領域設定部が、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理装置である。【０００８】
本発明によれば、被写体上の画素領域を含む計算領域が計算領域設定部によって設定され、計算領域内に含まれる検出位置における観察光の検出値が検出値取得部によって記憶部内のデータから取得され、取得された検出値から画像を構成する注目画素の画素値が画素値算出部によって算出される。画像内の各画素を注目画素として画素値が算出され、算出された画素値が画像形成部によって対応する画素に割り当てられることによって、画像が形成される。【０００９】
この場合に、少なくとも１つの検出位置が計算領域内に含まれるように、画素領域を含む領域が計算領域として計算領域設定部によって設定されるので、検出位置を含む画素領域に対応する画素の画素値のみならず、検出位置を含まない画素領域に対応する画素の画素値も算出される。これにより、欠損画素の無い画像を得ることができる。【００１０】
本発明の第２の態様は、照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理装置であって、前記データを記憶する記憶部と、前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定部と、該計算領域設定部によって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得部と、該検出値取得部によって取得された前記検出値に重みを付ける重み付け部と、該重み付け部によって重みを付けられた前記検出値に基づいて前記注目画素の画素値を算出する画素値算出部と、該画素値算出部によって算出された画素値を前記注目画素に割り当てて前記画像を形成する画像形成部とを備え、前記計算領域設定部が、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理装置である。【００１１】
上記第２の態様においては、前記重み付け部が、前記画素領域の中心により近い検出位置に対して、より大きな重みを付けてもよい。
このようにすることで、画素領域の中心により近い検出位置における検出値が、計算領域の中心からより遠い検出位置における検出値よりも強く画素値に反映される。これにより、画素領域の中心位置における観察光の検出値を画素値として算出することができる。【００１２】
上記第２の態様においては、前記画素値算出部が、前記重み付け部によって重みが付けられた前記検出値の和および前記検出値に付けられた重みの和を算出し、前記検出値の和を前記重みの和で除算することによって、前記注目画素の画素値を算出してもよい。
計算領域内に含まれる検出位置の数は一定ではないため、画素値の算出に使用される検出値の数も一定ではない。したがって、重みを付けた検出値の和は、検出値の数によって大きくばらつく。そこで、重みを付けた検出値の和を、検出値に付けた重みの和で除算することによって、規格化された画素値を得ることができる。【００１３】
上記第１および第２の態様においては、前記計算領域設定部が、前記画素領域よりも広い前記計算領域を設定してもよい。
上記第１および第２の態様においては、前記データにおける前記検出位置の空間分解能が、前記被写体における前記画素領域の空間分解能よりも高くてもよい。
このようにすることで、画素値の計算精度を向上することができる。【００１４】
上記第１および第２の態様においては、前記計算領域設定部が、前記計算領域内に含まれる前記検出位置の数に応じて前記計算領域の寸法を変更可能であってもよい。
このようにすることで、画素領域および該画素領域の周辺における検出位置の数が少ない場合には、より広い計算領域を設定して、画素値の計算精度を向上することができる。一方、画素領域および該画素領域の周辺における検出位置の数が多い場合には、より狭い計算領域を設定して、画像の解像度の低下を防ぐことができる。【００１５】
本発明の第３の態様は、照明光を走査しながら被写体に向かって射出する光走査部と、
前記照明光の照射によって前記被写体において発生した観察光を検出し、該観察光の検出値を得る光検出部と、上記いずれかに記載の画像処理装置とを備える光走査型観察システムである。【００１６】
本発明の第４の態様は、照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理方法であって、前記データを記憶する記憶ステップと、前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定ステップと、該計算領域設定ステップによって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得ステップと、該検出値取得ステップによって取得された前記検出値に基づいて前記注目画素の画素値を算出する画素値算出ステップと、該画素値算出ステップによって算出された画素値を前記注目画素に割り当てて前記画像を形成する画像形成ステップとを含み、前記計算領域設定ステップにおいて、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理方法である。【００１７】
本発明の第５の態様は、照明光の照射によって被写体において生じた観察光の検出値および検出位置を対応付けたデータから前記被写体の画像を形成する画像処理方法であって、前記データを記憶する記憶ステップと、前記画像内の注目画素に対応する前記被写体における画素領域を含む計算領域を設定する計算領域設定ステップと、該計算領域設定ステップによって設定された前記計算領域内に含まれる前記検出位置を選択し、選択された前記検出位置と対応付けられている前記検出値を前記データから取得する検出値取得ステップと、該検出値取得ステップによって取得された前記検出値に重みを付ける重み付けステップと、該重み付けステップによって重みを付けられた前記検出値に基づいて前記注目画素の画素値を算出する画素値算出ステップと、該画素値算出ステップによって算出された画素値を前記注目領域に割り当てて前記画像を形成する画像形成ステップとを含み、前記計算領域設定ステップにおいて、前記計算領域内に少なくとも１つの前記検出位置が含まれるように前記計算領域を設定する画像処理方法である。
【発明の効果】
【００１８】
本発明によれば、欠損画素の無い画像を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る光走査型観察システムの全体構成図である。
【図２】図１の光走査型観察システムが備える画像処理装置の機能を示すブロック図である。
【図３】検出値用フレームメモリに記憶される、観察光の検出位置および検出値のデータを示す図である。
【図４】図３のデータから生成される２次元データを示す図である。
【図５】被写体上の画素領域を示す図である。
【図６】計算領域設定部によって設定される計算領域を示す図である。
【図７】検出値取得部によってデータから取得された検出値セットの一例を示す図である。
【図８】重み付け部によって用いられる重み付けフィルタの一例を示す図である。
【図９】図７の検出値セットから生成される検出値有無セットを示す図である。
【図１０】図２の画像処理装置による画像処理方法を示すフローチャートである。
【図１１】図１０のフローチャートにおける画素値演算ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下に、本発明の一実施形態に係る光走査型観察システム１００について図面を参照して説明する。
本実施形態に係る光走査型観察システム１００は、図１に示されるように、光走査型内視鏡装置１と、該光走査型内視鏡装置１に接続された画像処理装置２と、該画像処理装置２に接続された表示装置３とを備えている。
【００２１】
光走査型内視鏡装置１は、レーザ光（照明光）Ｌを走査しながら被写体Ａに向かって射出する光走査部４と、被写体Ａからの観察光Ｌ’を検出する光検出部５と、光走査部４および光検出部５を制御する制御部６とを備えている。符号７は、体内に挿入される細長い挿入部を示し、符号８は、挿入部７の基端に接続された筐体を示している。
【００２２】
光走査部４は、筐体８内に設けれレーザ光Ｌを出力する光源９と、挿入部７内に設けられた照射用の光ファイバ１０およびアクチュエータ１１とを備えている。
光ファイバ１０は、挿入部７内に長手方向に沿って配置されている。光ファイバ１０は、光源９から供給されたレーザ光Ｌを導光し、先端から射出するようになっている。
【００２３】
アクチュエータ１１は、例えば、圧電素子を備える圧電アクチュエータであり、光ファイバ１０の先端部に取り付けられている。アクチュエータ１１は、制御部６から供給される駆動信号に従って、光ファイバ１０の先端を該光ファイバ１０の長手方向に直交する略平面内において渦巻状の軌跡に沿って振動させる。これにより、挿入部７の先端から射出されたレーザ光Ｌが、被写体Ａ上において渦巻状の走査軌跡Ｂに沿って走査されるようになっている。なお、走査軌跡は、渦巻状に限定されるものではなく、他の形状、例えばラスタ状またはリサージュ状であってもよい。
【００２４】
光検出部５は、挿入部７内に配置された受光用の光ファイバ１２の基端と接続されている。光ファイバ１２の先端は挿入部７の先端面に配置されている。レーザ光Ｌの照射によって被写体Ａにおいて発生した観察光Ｌ’（例えば、レーザ光Ｌの反射光またはレーザ光Ｌによって励起された蛍光）は、光ファイバ１２の先端面において受光されて、光ファイバ１２によって光検出部５まで導光される。図１には光ファイバ１２が１本のみ図示されているが、複数本の光ファイバ１２が挿入部７内に設けられていてもよい。
【００２５】
光検出部５は、光ファイバ１２を介して受光した観察光Ｌ’を光電変換し、生成された電気信号を、制御部６から一定の時間間隔で送信されてくるサンプリング信号に応答してサンプリングしてデジタル値に変換することによって、観察光Ｌ’の強度を示す検出値を得る。検出値は、画像処理装置２内の検出値用フレームメモリ１４に送信される。
【００２６】
制御部６は、アクチュエータ１１を駆動させるための駆動信号を発生し、該駆動信号をアクチュエータ１１に送信する。また、制御部６は、一定の時間間隔でサンプリング信号を発生し、該サンプリング信号を光検出部５に送信する。制御部６は、駆動信号およびサンプリング信号を画像処理装置２内の検出位置算出部１３にも送信する。
【００２７】
画像処理装置２は、図２に示されるように、駆動信号およびサンプリング信号に基づいて観察光Ｌ’の検出位置を算出する検出位置算出部１３と、検出位置と検出値とを対応付けたデータを記憶する検出値用フレームメモリ（記憶部）１４と、画素値の算出に用いられる計算領域Ｅを設定する計算領域設定部１５と、計算領域Ｅ内に含まれる検出位置と対応する検出値を検出値用フレームメモリ１４内のデータから取得する検出値取得部１６と、データから取得された検出値に重みを付ける重み付け部１７と、重みが付けられた検出値から画素値を算出する画素値算出部１８と、画素値を記憶する画素値用フレームメモリ１９と、画像を形成する画像形成部２０とを備えている。
【００２８】
観察光Ｌ’の検出位置は、観察光Ｌ’の電気信号が光検出部５によってサンプリングされた時刻における、レーザ光Ｌの被写体Ａ上の照射位置を表す座標（Ｘ，Ｙ）である。光ファイバ１０の振動振幅は、駆動信号の振幅に対応しているので、駆動信号の振幅からレーザ光Ｌの照射位置を計算することができる。検出位置算出部１３は、制御部６から駆動信号およびサンプリング信号を受信し、サンプリング信号の出力時刻におけるレーザ光Ｌの照射位置を駆動信号から演算する。次に、検出位置算出部１３は、算出された照射位置を２次元的な位置座標（Ｘ，Ｙ）に変換し、座標（Ｘ，Ｙ）を検出位置として検出値用フレームメモリ１４に送信する。
【００２９】
検出値用フレームメモリ１４は、光検出部５から観察光Ｌ’の検出値を受信し、検出位置算出部１３から観察光Ｌ’の検出位置（Ｘ，Ｙ）を受信し、観察光Ｌ’の検出値を、該検出値がサンプリングされたときの検出位置（Ｘ，Ｙ）と対応付けて記憶する。これにより、検出値用フレームメモリ１４には、図３に示されるように、検出位置（Ｘ，Ｙ）を各検出値のアドレスとするデータが生成される。
【００３０】
図４は、データを２次元画像化したものである。図４に示されるように、データは、Ｘ方向（横方向）およびＹ方向（縦方向）に配列する区画Ｃからなる２次元データであり、各座標は１つの区画Ｃに対応する。図４において、検出値を有する区画Ｃは黒で表し、検出値を有しない区画Ｃは白で表している。
【００３１】
計算領域設定部１５は、画像の画素の内の１つを注目画素に設定し、画素領域Ｄを含む計算領域Ｅを設定する。画素領域Ｄとは、図５に示されるように、注目画素に対応する被写体Ａ上の領域である。図５において、黒丸は、検出値のサンプリング時刻における照明光の照射位置を示している。計算領域Ｅの寸法は、図６に示されるように、画素領域Ｄの寸法よりも大きく設定されている。また、計算領域Ｅの寸法は、走査軌跡Ｂにおける検出位置の最小の密度に基づいて、少なくとも１つの検出位置が計算領域Ｅに含まれるように設定されている。走査軌跡Ｂにおける検出位置の密度は、後述するように走査軌跡Ｂ内の位置に応じて異なり、光走査型内視鏡装置１の設計値から計算で求めることができる。
【００３２】
ここで、検出位置算出部１３は、検出位置である座標（Ｘ，Ｙ）の空間分解能が、画素領域Ｄの空間分解能よりも高くなるように、検出位置（Ｘ，Ｙ）を算出する。したがって、１つの画素領域Ｄ内には複数の区画Ｃが含まれる。図６に示される例においては、座標（Ｘ，Ｙ）の空間分解能が画素領域Ｄの空間分解能の３倍であり、１つの画素領域Ｄ内に３×３の区画Ｃが含まれている。
計算領域設定部１５は、画素領域Ｄ内の中心に位置する区画Ｃを中心とする所定の数の区画Ｃからなる領域を計算領域Ｅに設定するようになっている。図６に示される例においては、計算領域Ｅは、７×７の区画Ｃからなる。
【００３３】
検出値取得部１６は、計算領域設定部１５によって設定された計算領域Ｅ内に含まれる検出位置（Ｘ，Ｙ）を検出値用フレームメモリ１４内のデータの中から選択し、選択された検出位置（Ｘ，Ｙ）に対応する検出値である検出値セットＩ０，Ｉ１，…，Ｉ１０をデータから取得する。図７は、取得された検出値セットＩ０，Ｉ１，…，Ｉ１０を２次元画像化した一例を表している。検出値取得部１６は、取得された検出値セットを重み付け部１７および画素値算出部１８に送信する。
【００３４】
重み付け部１７は、図８に示される重み付けフィルタを有している。重み付けフィルタは、計算領域Ｅ内の区画Ｃの配列と同一の配列を有する重み係数Ｗｉｊ（ｉ＝０，１，２，…，ｎ、ｊ＝０，１，２，…，ｍ）からなる。図８に示される例においては、ｎ＝ｍ＝６である。重み付け部１７は、検出値Ｉ０，Ｉ１，…，Ｉ１０に対して、重み付けフィルタを用いて畳み込み演算を行う。畳み込み演算は、下式で表される。下式において、Ｉｉｊは、計算領域Ｅ内の位置（ｉ，ｊ）における検出値を表している。例えば、図７に示される例において、Ｉ０は、Ｉ０７と表される。
【００３５】
【数１】
2017104002.tif 000003
【００３６】
ここで、重み付けフィルタにおいて、中心から外側に向かって重み係数Ｗｉｊが順番に小さくなるように、重み係数Ｗｉｊが設定されている。したがって、画素領域Ｄの中心により近い検出値に対して、より大きな重みが付けられるようになっている。
【００３７】
畳み込み演算により、重みＷｉｊがそれぞれ付けられた検出値Ｉ０，Ｉ１，…，Ｉ１０の和Ｓｉが算出される。すなわち、図７および図８の例において、
Ｓｉ＝Ｉ０×Ｗ０６＋Ｉ１×Ｗ１２＋Ｉ２×Ｗ１５＋Ｉ３×Ｗ２１＋Ｉ４×Ｗ２４＋Ｉ５×Ｗ４２
＋Ｉ６×Ｗ４５＋Ｉ７×Ｗ５１＋Ｉ８×Ｗ５４＋Ｉ９×Ｗ６０＋Ｉ１０×Ｗ６６
である。重み付け部１７は、算出された和Ｓｉの値を画素値算出部１８に送信する。
【００３８】
画素値算出部１８は、検出値取得部１６から、計算領域Ｅ内に含まれる検出位置（Ｘ，Ｙ）を受信する。次に、画素値算出部１８は、受信した検出位置（Ｘ，Ｙ）に基づいて、図９に示される検出値有無セットを生成する。検出値有無セットは、計算領域Ｅ内の区画Ｃの配列と同一の配列を有する「０」および「１」の値からなる。画素値算出部１８は、検出値有無セットにおいて、検出位置（Ｘ，Ｙ）に対応する位置には「１」を割り当て、それ以外の位置には「０」を割り当てる。
【００３９】
次に、画素値算出部１８は、検出値有無セットに、重み付けフィルタを用いて畳み込み演算を行う。ここでの畳み込み演算で使用される重み付けフィルタは、重み付け部１７で使用される重み付けフィルタと同一である。畳み込み演算により、検出値Ｉ０，Ｉ１，…，Ｉ１０に付けられた重み係数と同一の重み係数の和Ｓｗが算出される。すなわち、図８および図９の例において、
Ｓｗ＝Ｗ０６＋Ｗ１２＋Ｗ１５＋Ｗ２１＋Ｗ２４＋Ｗ４２＋Ｗ４５＋Ｗ５１＋Ｗ５４＋Ｗ６０＋Ｗ６６
である。
【００４０】
次に、画素値算出部１８は、重み付け部１７から受信した和Ｓｉを、和Ｓｗで除算することによって、注目画素の画素値Ｓｉ／Ｓｗを算出する。画素値算出部１８は、算出された画素値を画素値用フレームメモリ１９に送信する。
【００４１】
画素値用フレームメモリ１９は、画素値算出部１８から受信した画素値を、注目画素の番号Ｎと対応付けて記憶することによって、画像データを生成する。ここで、計算領域設定部１５は、画像内の全ての画素を順番に注目画素に設定する。これにより、全ての画素に対して検出値取得部１６、重み付け部１７および画素値算出部１８による上述した処理が実行され、画素値用フレームメモリ１９には、全ての画素の画素値が記憶される。
【００４２】
画像形成部２０は、画素値用フレームメモリ１９から画像データを読み出し、画像データに基づき、各画素に対応する画素値を割り当てることによって画像を形成する。画像形成部２０は、形成した画像を表示装置３に送信し、該表示装置３に表示させる。
【００４３】
画像処理装置２は、例えば、中央演算処理装置（ＣＰＵ）と、ＲＡＭのような主記憶装置と、補助記憶装置とを備える汎用または専用のコンピュータからなる。補助記憶装置は、ハードディスクまたは各種のメモリのような非一時的な記憶媒体であり、上述した処理をＣＰＵに実行させるための画像処理プログラムを格納している。画像処理プログラムが、補助記憶装置から主記憶装置にロードされて起動されることによって、ＣＰＵが、画像処理プログラムに従って、検出位置算出部１３、計算領域設定部１５、検出値取得部１６、重み付け部１７、画素値算出部１８および画像形成部２０の上述した処理を実行するようになっている。
あるいは、画像処理装置２は、ＣＰＵではなく、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等の集積回路を用いて構成されていてもよい。
【００４４】
次に、このように構成された光走査型観察システム１００の作用について説明する。
本実施形態に係る光走査型観察システム１００において、制御部６からアクチュエータ１１および光検出部５へ駆動信号およびサンプリング信号の送信がそれぞれ開始されると、光源９から出力されたレーザ光Ｌが、光ファイバ１０を介して被写体Ａへ照射され、被写体Ａ上においてスパイラル状の走査軌跡Ｂに沿って走査される。レーザ光Ｌの照射位置において発生した観察光Ｌ’は、光ファイバ１２によって受光され、光検出部５によって検出され、観察光Ｌ’の検出値が画像処理装置２に送信される。一方、駆動信号およびサンプリング信号も、制御部６から画像処理装置２へ送信される。
【００４５】
図１０および図１１は、画像処理装置２内で実行される画像処理プロセスを示している。
画像処理装置２内において、まず、図１０に示されるように、観察光Ｌ’の検出値と検出位置とを対応付けたデータが検出用フレームメモリ１４内に生成および記憶される（記憶ステップＳ１）。すなわち、検出位置算出部１３において、制御部６からの駆動信号およびサンプリング信号が受信され、駆動信号から検出値のサンプリング時刻におけるレーザ光Ｌの照射位置が算出され、さらに照射位置を表す座標（Ｘ，Ｙ）が検出位置として算出され、座標（Ｘ，Ｙ）が、光検出部５からの検出値と対応付けて検出用フレームメモリ１４に記憶される。
【００４６】
次に、検出用フレームメモリ１４内のデータを用いて各画素の画素値が演算される（ステップＳ２）。すなわち、図１１に示されるように、まず、計算領域設定部１５において、注目画素が設定され（ステップＳ２１）、注目画素に対応する画素領域Ｄを含み該画素領域Ｄよりも広い計算領域Ｅが設定される（計算領域設定ステップＳ２２）。
【００４７】
次に、検出値取得部１６において、計算領域Ｅ内に含まれる検出位置が選択され（ステップＳ２３）、選択された検出位置に対応する検出値セットＩ０，Ｉ１，…，Ｉ１０が検出用フレームメモリ１４内のデータから読み出される（検出値取得ステップＳ２４）。
次に、重み付け部１７において、読み出された検出値セットＩ０，Ｉ１，…，Ｉ１０が、重み付けフィルタを用いて畳み込み演算される（重み付けステップＳ２５）。これにより、画素領域Ｄの中心により近い検出位置における検出値にはより大きな重みが付けられるとともに、重みが付けられた検出値の和Ｓｉが算出される。
【００４８】
次に、画素値算出部１８において、読み出された検出値セットＩ０，Ｉ１，…，Ｉ１０から検出値有無セットが生成され（ステップＳ２６）、検出値有無セットが、ステップＳ２５において用いた重み付けフィルタと同一の重み付けフィルタを用いて畳み込み演算される（ステップＳ２７）。これにより、検出値に付けられた重みの和Ｓｗが算出される。次に、和Ｓｉを和Ｓｗで除算することによって、注目画素の画素値Ｓｉ／Ｓｗが算出される（画素値算出ステップＳ２８）。算出された画素値は、注目画素の番号と対応付けて画素値用フレームメモリ１９に記憶される（ステップＳ２９）。
【００４９】
次に、他の画素を注目画素に設定して、画像内の全ての画素が注目画素に設定されるまで（ステップＳ３０のＮＯ、ステップＳ３１）、ステップＳ２１〜Ｓ２９が繰り返される。全ての画素に対する画素値が画素値用フレームメモリ１９に記憶されると（ステップＳ３０のＹＥＳ）、画像形成部２０によって、画素値用フレームメモリ１９から画像データを読み出され、画像データ内の番号に基づいて画素値が対応する画素に割り当てられることによって、画像が形成される（画像形成ステップＳ３）。形成された画像は、表示装置３に表示される。
【００５０】
この場合に、レーザ光Ｌをスパイラル走査する光走査内視鏡装置１において、レーザ光Ｌは光走査部４によって等角速度で走査され、かつ、観察光Ｌ’は光検出部５によって一定の時間間隔で検出される。したがって、走査軌跡Ｂのうち、中心側において検出位置の密度が高くなり、外周側において検出位置の密度が低くなる。その結果、走査軌跡Ｂの外周側において、検出位置を含まない画素領域Ｄが生じ得る。
【００５１】
本実施形態によれば、少なくとも１つの検出位置を含むように計算領域Ｅが設定され、計算領域Ｅ内に含まれる検出位置の検出値から、対応する画素の画素値が算出される。これにより、画素値が存在しない欠損画素が生じることがなく、全ての画素が画素値を有する画像を形成することができるという利点がある。
【００５２】
さらに、計算領域Ｅ内において、検出位置が画素領域Ｄの中心に位置するとは限らず、検出位置の分布が画素領域Ｄ内で偏り得る。各画素の正確な画素値を得るためには、計算領域Ｅ内における検出値の分布を考慮し、画素領域Ｄの中心における観察光Ｌ’の検出値を算出する必要がある。計算領域Ｅ内に含まれる検出位置の検出値の平均を画素値として算出した場合、画素領域Ｄの中心から外れた位置における観察光Ｌ’の検出値に相当する値が算出され、このような画素値を画像の形成に用いた場合には、画像内にモアレが生じる等、画質の低下を招く。
【００５３】
本実施形態によれば、画素値の計算において、画素領域Ｄの中心に近い検出位置の検出値に対してより大きな重みが付される。これにより、各画素の正確な画素値を算出することができ、質の高い画像を得ることができるという利点がある。
【００５４】
さらに、図７および図８に示されるように、一部の重み係数Ｗｉｊには、対応する検出値が存在しない。このように部分的に検出値が存在しない検出値セットに対して重み付けフィルタを適用する際に、検出値セット内の検出値の数に応じて畳み込み演算結果Ｓｉが大きくばらつく。本実施形態によれば、この畳み込み演算結果Ｓｉが、検出値有無セットと重み付けフィルタとの畳み込み演算結果Ｓｗで除算されることによって、規格化される。これにより、重み付けフィルタを用いて検出値の重み付けを適切に行うことができるという利点がある。
【００５５】
本実施形態においては、重み付け部１７によって検出値に重みを付け、その後に画素値算出部１８によって規格化することにより画素値を算出することとしたが、これに代えて、検出値の重み付けを行わず、画素値算出部１８が、検出値セットＩ０，Ｉ１，…，Ｉ１０の加算平均を画素値として算出してもよい。これは、重み付け部１７および画素値算出部１８において、全ての重み係数Ｗｉｊの値を１にすることと同義である。
このようにしても、部分的に検出値が存在しない検出値セットに対して、画素値の演算結果のばらつきを排除することができる。
【００５６】
本実施形態においては、計算領域設定部１５が、固定の寸法の計算領域Ｅを設定することとしたが、これに代えて、検出位置の数に応じて計算領域Ｅの寸法を変更可能であってもよい。
例えば、計算領域設定部１５は、最初に小さな寸法（例えば、画素領域Ｄと等しい寸法）の計算領域Ｅを設定し、該計算領域Ｅ内に含まれる検出位置の数が所定の数以上である場合には、この小さな寸法の計算領域Ｅを適用する。一方、小さな寸法の計算領域Ｅ内に含まれる検出位置の数が所定の数未満である場合には、計算領域Ｅ内に含まれる検出位置の数が所定の数以上となるまで、計算領域Ｅの寸法を段階的に拡大する。
【００５７】
計算領域Ｅの寸法が大きい程、画像の解像度は低下する。したがって、計算領域Ｅの寸法を、欠損画素の発生を防ぐことができる最小限の寸法に抑えることによって、画像の解像度の低下を防ぐことができる。
【符号の説明】
【００５８】
１  光走査型内視鏡装置
２  画像処理装置
３  表示装置
４  光走査部
５  光検出部
６  制御部
７  挿入部
８  筐体
９  光源
１０，１２  光ファイバ
１１  アクチュエータ
１３  検出位置算出部
１４  検出値用フレームメモリ（記憶部）
１５  計算領域設定部
１６  検出値取得部
１７  重み付け部
１８  画素値算出部
１９  画素値用フレームメモリ
２０  画像形成部
１００  光走査型観察システム
Ａ  被写体
Ｂ  走査軌跡
Ｃ  区画
Ｄ  画素領域
Ｅ  計算領域
Ｌ  レーザ光（照明光）
Ｌ’  観察光
【図１】
2017104002.tif 000004
【図２】
2017104002.tif 000005
【図３】
2017104002.tif 000006
【図４】
2017104002.tif 000007
【図５】
2017104002.tif 000008
【図６】
2017104002.tif 000009
【図７】
2017104002.tif 000010
【図８】
2017104002.tif 000011
【図９】
2017104002.tif 000012
【図１０】
2017104002.tif 000013
【図１１】
2017104002.tif 000014
【国際調査報告】
2017104002.tif 000015
2017104002.tif 000016