(57)【要約】  観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供する。画像処理装置４は、通常観察の場合、第１マスク部を画像に合成して表示装置５が有する画像より小さい矩形状の表示領域の形状に対応させて成型した第１表示画像を表示装置５に出力する一方、拡大観察の場合、第２マスク部を電子ズーム部４４３によって拡大された画像に合成して表示領域の形状に対応させて成型した第２表示画像を表示装置５に出力する出力部４４４を備える。
2017212768.tif 000002
【特許請求の範囲】
【請求項１】
被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、
前記取得部が取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部と、
前記電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成部と、
前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ領域を遮蔽することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
請求項１〜６のいずれか一つに記載の画像処理装置と、
前記内視鏡と、
前記表示装置と、
を備えたことを特徴とする内視鏡システム。
【請求項８】
画像処理装置が実行する画像処理方法であって、
被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、
前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
画像処理装置に、
被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、
前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対して画像処理を行う画像処理装置、内視鏡システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、内視鏡において、被検体に挿入される挿入部の先端側に設けられた側方観察部によって挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、この側方観察部よりも挿入部の先端側に設けられた直視観察部によって挿入部の挿入方向の前方視野を撮像して生成された円形をなす直視観察像と、を取得する技術が知られている（特許文献１参照）。この技術では、直視観察像の周方向に側方観察像を合成した合成画像に、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部を重畳するとともに、合成画像の四隅に面取り用のマスク部をさらに重畳して矩形状に成形して表示モニタに表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／０８８０７６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１では、観察状態に関わらず、マスク部の遮蔽領域が常に一定であるため、通常観察を行う場合、側方観察像の一部を遮蔽してしまい、観察視野が狭くなるという問題点があった。具体的には、上述した特許文献１では、図６Ａに示すように、マスク部Ｍ１、マスク部Ｍ２およびマスク部Ｍ３の各々の面取り領域が常に一定である。このため、通常観察を行う場合において、直視観察像Ｆ１と側方観察像Ｌ１とを合成した合成画像Ｐ１を表示領域Ｄ１の表示モニタに表示させたとき、図６Ｂに示すように、マスク部Ｍ３が側方観察像Ｌ１の一部Ｋ１を遮蔽された画像Ｐ２となり、観察視野が狭くなるという問題点があった。【０００５】
さらに、上述した特許文献１では、電子ズームによって拡大観察を行う場合、直視観察像と側方観察像との境界線や遮蔽マスク部とマスク部との段差等の不明瞭な領域が電子ズームのズーム倍率に伴って表示モニタにおける表示領域の中心付近から外縁側に向けて移動することによって、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。具体的には、上述した特許文献１では、図７Ａおよび図７Ｂに示すように、電子ズームによって拡大観察を行う場合において、直視観察像Ｆ１と側方観察像Ｌ１とを合成した合成画像Ｐ３を表示領域Ｄ１の表示モニタに表示させたとき、直視観察像Ｆ１と側方観察像Ｌ１との境界線Ｋ３やマスク部同士の段差Ｋ２等の不明瞭な領域が表示領域Ｄ１の中心付近から外縁側に向けて移動した画像Ｐ４となり、ユーザが観察する際に病変であるか境界であるかを判別することが難しいという問題点があった。【０００６】
本発明は、上記に鑑みてなされたものであって、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる画像処理装置、内視鏡システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、前記取得部が取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部と、前記電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成部と、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、を備えたことを特徴とする。【０００８】
また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ領域を遮蔽することを特徴とする。【０００９】
また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする。【００１０】
また、本発明に係る画像処理装置は、上記発明において、前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする。【００１１】
また、本発明に係る画像処理装置は、上記発明において、前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする。【００１２】
また、本発明に係る画像処理装置は、上記発明において、前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする。【００１３】
また、本発明に係る内視鏡システムは、上記発明の画像処理装置と、前記内視鏡と、前記表示装置と、を備えたことを特徴とする。【００１４】
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、を含むことを特徴とする。【００１５】
また、本発明に係るプログラムは、画像処理装置に、被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、前記取得ステップにおいて取得した前記画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行可能な電子ズーム部が前記電子ズームを行っていない通常観察の場合、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記電子ズーム部が前記電子ズームを行っている拡大観察の場合、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成ステップと、前記通常観察の場合、前記第１マスク部を前記画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示領域の形状に対応させて成型した第２表示画像を生成する画像生成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の一実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。
【図２】図２は、本発明の一実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。
【図３Ａ】図３Ａは、本発明の一実施の形態１に係る内視鏡が生成した画像データに対応する画像の一例を模式的に示す図である。
【図３Ｂ】図３Ｂは、本発明の一実施の形態１に係る画像処理装置のマスク生成部が生成するマスク部の形状を模式的に示す図である。
【図３Ｃ】図３Ｃは、本発明の一実施の形態１に係る画像処理装置の出力部がマスク部を画像に合成した状態を模式的に示す図である。
【図３Ｄ】図３Ｄは、本発明の一実施の形態１に係る表示装置が表示する画像の一例を示す図である。
【図４Ａ】図４Ａは、本発明の一実施の形態１に係る画像処理装置の出力部が内視鏡の電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。
【図４Ｂ】図４Ｂは、本発明の一実施の形態１に係る表示装置が内視鏡の電子ズーム時に表示する画像の一例を示す図である。
【図５Ａ】図５Ａは、本発明の一実施の変形例に係る画像処理装置の出力部が内視鏡システムの電子ズーム時にマスク部を画像に合成した状態を模式的に示す図である。
【図５Ｂ】図５Ｂは、本発明の一実施の形態の変形例に係る表示装置が内視鏡システムの電子ズーム時に表示する画像の一例を示す図である。
【図６Ａ】図６Ａは、従来技術に係る内視鏡がマスク部を重畳した画像の一例を示す図である。
【図６Ｂ】図６Ｂは、従来技術に係る表示モニタがマスク部を重畳した画像の一例を示す図である。
【図７Ａ】図７Ａは、従来技術に係る内視鏡が電子ズーム時にマスク部を合成した画像の一例を示す図である。
【図７Ｂ】図７Ｂは、従来技術に係る表示モニタが電子ズーム時にマスク部を合成した画像の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明に係る画像処理装置を含む内視鏡システムを一例に説明する。なお、この実施の形態により、本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
【００１９】
〔内視鏡システムの構成〕
図１は、本発明の一実施の形態に係る内視鏡システムの機能構成を示すブロック図である。図１に示す内視鏡システム１は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する内視鏡２（内視鏡スコープ）と、内視鏡２を介して被検体内に照明光を照射する光源装置３と、内視鏡２から入力された画像データに対して各種処理を行う画像処理装置４（プロセッサ）と、画像処理装置４から入力された画像データに対応する画像を表示する表示装置５と、を備える。
【００２０】
〔内視鏡の構成〕
まず、内視鏡２の詳細な構成について説明する。
内視鏡２は、被検体内に挿入されることによって、被検体の体内を撮像して画像データを生成する。内視鏡２は、光学系２０と、撮像素子２１と、識別情報記録部２２と、内視鏡操作部２３と、を有する。
【００２１】
光学系２０は、被検体内に挿入される挿入部の先端側に設けられ、挿入部の周方向の側方視野の観察対象の被写体像（以下、「側方観察像」という）を撮像素子２１の受光面に結像する側方観察光学系２０１と、側方観察光学系２０１よりも挿入部の先端側に設けられ、挿入部の挿入方向の前方視野の観察対象の被写体像（以下、「直視観察像」という）を撮像素子２１の受光面に結像する直視観察光学系２０２と、を有する。側方観察像は、円環状をなす。また、直視観察像は、側方観察像の中心から内円までに形成された円形をなす。なお、本実施の形態１では側方観察光学系２０１が側方観察部として機能し、直視観察光学系２０２が直視観察部として機能する。
【００２２】
撮像素子２１は、側方観察像および直視観察像の各々を受光面で受光して光電変換を行うことによって画像データを生成する。撮像素子２１は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像センサを用いて構成される。
【００２３】
識別情報記録部２２は、内視鏡２を識別する識別情報を記録する。ここで、識別情報には、内視鏡２を識別するための内視鏡ＩＤ、内視鏡２の画角、内視鏡２の年式、内視鏡２の種別を示す種別情報、内視鏡２のスペック情報、内視鏡２の画像データの伝送方法、内視鏡２の画像データの伝送レート、内視鏡２に対応する光源装置３の観察光に関する情報、および内視鏡２が対応可能な画像処理装置４の種別情報が含まれる。識別情報記録部２２は、例えばＲＯＭ（Reaｄ  Only  Memory）やＦｌａｓｈメモリ等を用いて実現される。
【００２４】
内視鏡操作部２３は、内視鏡２に関する各種操作の入力を受け付ける。例えば、内視鏡操作部２３は、光源装置３の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡２によるフリーズ画像（静止画像）を指示する指示信号等の入力を受け付け、この受け付けた指示信号を画像処理装置４へ出力する。内視鏡操作部２３は、複数のスイッチを用いて構成される。
【００２５】
〔光源装置の構成〕
次に、光源装置３の構成について説明する。
光源装置３は、画像処理装置４の制御のもと、内視鏡２を介して、互いに異なる複数の照明光を順次切り替えて出射する。光源装置３は、白色ＬＥＤ（Light  Emitting  Diode）、赤色、緑色および青色の各々の光を透過するカラーフィルタを用いて構成される。なお、光源装置３は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを用いて構成されてもよい。
【００２６】
〔画像処理装置の構成〕
次に、画像処理装置４の構成について説明する。
画像処理装置４は、取得部４１と、識別情報取得部４２と、操作部４３と、画像処理部４４と、記録部４５と、制御部４６と、を備える。
【００２７】
取得部４１は、内視鏡２から画像データを取得し、取得した画像データを画像処理部４４へ出力する。
【００２８】
識別情報取得部４２は、画像処理装置４に接続される内視鏡２の識別情報を内視鏡２の識別情報記録部２２から取得し、取得した識別情報を制御部４６へ出力する。
【００２９】
操作部４３は、内視鏡システム１に関する各種操作の入力を受け付ける。例えば、操作部４３は、光源装置３の観察光を切り替える指示信号、電子ズームによる拡大観察を指示する指示信号および内視鏡２によるフリーズ画像（静止画像）を指示する指示信号等の入力を受け付け、この受け付けた指示信号を制御部４６へ出力する。操作部４３は、複数のスイッチを用いて構成される。
【００３０】
記録部４５は、ＲＯＭを用いて実現され、内視鏡２から入力された画像データおよび内視鏡システム１の動作に必要な各種パラメータ等を含むデータ等を記録する。また、記録部４５は、内視鏡システム１が実行する各種プログラムを記録するプログラム記録部４５１を有する。
【００３１】
画像処理部４４は、ＦＰＧＡ等を用いて実現され、取得部４１から入力された画像データに対して、各種画像処理を行って表示装置５へ出力する。画像処理部４４は、信号処理部４４１と、マスク生成部４４２と、電子ズーム部４４３と、出力部４４４と、を有する。
【００３２】
信号処理部４４１は、画像データに対して所定の信号処理を行う。ここで、所定の画像処理とは、同時化処理、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理およびフォーマット変換処理等である。
【００３３】
マスク生成部４４２は、制御部４６の制御のもと、信号処理部４４１によって信号処理が施された画像データに対応する画像の四隅をマスクするマスク部を生成する。具体的には、マスク生成部４４２は、電子ズーム部４４３が電子ズームを行っていない通常観察の場合、側方観察像の外周から外側を遮蔽する第１マスク部を生成する。また、マスク生成部４４２は、電子ズーム部４４３が電子ズームを行っている拡大観察の場合、側方観察像と直視観察像との境界を遮蔽する第２マスク部を生成する。例えば、マスク生成部４４２は、直視観察像および表示装置６の表示領域が交差する２点と表示装置６の表示領域の各頂点とを結ぶ領域を遮蔽する第２マスク部を生成する。
【００３４】
電子ズーム部４４３は、制御部４６の制御のもと、信号処理部４４１によって信号処理が施された画像データに対応する画像に対して、トリミング処理を行うことによって、所定の倍率に拡大する電子ズームを実行する。
【００３５】
出力部４４４は、制御部４６の制御のもと、信号処理部４４１が信号処理を施した体内画像に、マスク生成部４４２が生成したマスク部を合成して表示装置５が有する画像より小さい矩形状の表示領域の形状に対応させた成型した第１表示画像を生成し、この生成した第１表示画像を表示装置５へ出力する。また、出力部４４４は、内視鏡２が電子ズームによる拡大観察を行っている場合、制御部４６の制御のもと、電子ズーム部４４３が電子ズームによって拡大した画像に、マスク生成部４４２が電子ズームに応じて生成した遮蔽領域を有する第２マスク部を合成して表示装置５が有する表示領域の形状に対応させて成型した第２表示画像を生成し、この生成した第２表示画像を表示装置５へ出力する。なお、本実施の形態１では、出力部４４４が画像生成部として機能する。
【００３６】
制御部４６は、ＣＰＵ（Central  Processing  Unit）等を用いて構成され、内視鏡システム１の各部を統括的に制御する。制御部４６は、内視鏡操作部２３から入力される指示信号または操作部４３から入力される指示信号に応じて、内視鏡システム１の各部を制御する。
【００３７】
〔表示装置の構成〕
次に、表示装置５の構成について説明する。
表示装置５は、画像処理装置４によって画像処理が施された画像や内視鏡システム１に関する各種情報を表示する。表示装置５は、内視鏡２が撮像して生成した画像データに対応する画像より小さい矩形状の表示領域を有する。表示装置５は、液晶または有機ＥＬ（Electro  Luminescence）等を有する表示モニタを用いて実現される。
【００３８】
〔画像処理装置の処理〕
次に、画像処理装置４が実行する処理について説明する。図２は、画像処理装置４が実行する処理の概要を示すフローチャートである。
【００３９】
図２に示すように、まず、識別情報取得部４２は、画像処理装置４に接続された内視鏡２から識別情報を取得し、取得した識別情報を制御部４６へ出力する（ステップＳ１０１）。
【００４０】
続いて、取得部４１は、内視鏡２の撮像素子２１から画像データを取得し、取得した画像データを画像処理部４４へ出力する（ステップＳ１０２）。具体的には、図３Ａに示すように、取得部４１は、内視鏡２の撮像素子２１から側方観察像Ｌ１と直視観察像Ｆ１とを含む画像データに対応する画像を取得する。
【００４１】
その後、マスク生成部４４２は、制御部４６の制御のもと、内視鏡２の識別情報に応じたマスク部を生成する（ステップＳ１０３）。具体的には、図３Ｂに示すように、マスク生成部４４２は、側方観察部によって撮像できなかった周方向の視野領域を遮蔽する遮蔽マスク部Ｍ１と、側方観察像Ｌ１の周方向を面取りする円環状のマスク部Ｍ２と、を生成する。なお、本実施の形態では、マスク部Ｍ２が第１マスクとして機能する。
【００４２】
続いて、出力部４４４は、マスク生成部４４２が生成したマスク部を画像データに対応する画像に合成して表示装置５へ出力する（ステップＳ１０４）。具体的には、図３Ｃに示すように、出力部４４４は、側方観察像Ｌ１と直視観察像Ｆ１とを含む画像データに対応する画像Ｐ１０に、マスク生成部４４２が生成した遮蔽マスク部Ｍ１およびマスク部Ｍ２を合成し、表示装置５が有する画像Ｐ１０より小さい矩形状の表示領域Ｄ１の形状に対応させて成型（トリミング処理）した第１表示画像を出力する。これにより、図３Ｄに示すように、表示装置５は、側方視野の側方観察像Ｌ１がマスク部Ｍ２によって遮蔽されていない領域Ｋ１０を有する第１表示画像Ｐ１１を表示することができる。この結果、内視鏡２の観察視野を維持することができる。
【００４３】
その後、内視鏡操作部２３または操作部４３から電子ズームを指示する指示信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、画像処理装置４は、後述するステップＳ１０６へ移行する。これに対して、内視鏡操作部２３または操作部４３から電子ズームを指示する指示信号が入力されていない場合（ステップＳ１０５：Ｎｏ）、画像処理装置４は、後述するステップＳ１０９へ移行する。
【００４４】
ステップＳ１０６において、電子ズーム部４４３は、画像データに対して、トリミング処理を行うことによって所定の倍率に拡大する電子ズーム処理を行う。
【００４５】
続いて、マスク生成部４４２は、電子ズームのズーム倍率に応じた、側方観察像と前記直視観察像との境界を遮蔽して画像を面取りするマスク部を生成する（ステップＳ１０７）。
【００４６】
その後、出力部４４４は、マスク生成部４４２が生成したマスク部を電子ズーム部４４３によって電子ズーム処理された画像に合成して表示装置５に出力する（ステップＳ１０８）。具体的には、図４Ａに示すように、出力部４４４は、マスク生成部４４２が生成したマスク部Ｍ３を、電子ズーム部４４３によって電子ズーム処理された画像Ｐ２０に合成し、表示装置５が有する画像Ｐ２０より小さい矩形状の表示領域Ｄ１の形状に対応させて成型した第２表示画像を生成して出力する。より具体的には、出力部４４４は、マスク生成部４４２によって生成された直視観察像Ｆ１および表示領域Ｄ１が交差する２点（点Ｔ１，点Ｔ２）と表示領域Ｄ１とによって形成された領域を遮蔽する三角形をなすマスク部Ｍ３（第２マスク部）を表示領域Ｄ１の四隅それぞれに合成する。これにより、図４Ｂに示すように、表示装置５は、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域Ｋ２０がマスク部Ｍ３によって遮蔽された第２表示画像Ｐ２１を表示することができる。この結果、ユーザが観察する際に、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域で診断の判断を行うことを防止することができる。
【００４７】
続いて、内視鏡操作部２３または操作部４３から観察の終了を指示する終了信号が入力された場合（ステップＳ１０９：Ｙｅｓ）、画像処理装置４は、本処理を終了する。これに対して、内視鏡操作部２３または操作部４３から観察の終了を指示する終了信号が入力されていない場合（ステップＳ１０９：Ｎｏ）、画像処理装置４は、上述したステップＳ１０５へ移行する。
【００４８】
以上説明した本発明の一実施の形態によれば、出力部４４４が通常観察の場合、マスク部Ｍ２を画像Ｐ１０に合成して表示装置５が有する矩形状の表示領域の形状に対応させて成型した第１表示画像Ｐ１１を生成して表示する一方、拡大観察の場合、マスク部Ｍ３を電子ズーム部４４３によって拡大された画像Ｐ２０に合成して表示領域Ｄ１の形状に対応させて成型した第２表示画像Ｐ２１を生成して表示装置５に出力するので、観察状態に関わらず、観察視野が狭くなることを防止するとともに、電子ズーム時において不明瞭な領域を遮蔽することができる。
【００４９】
（変形例）
次に、本発明の一実施の形態では、内視鏡システム１が電子ズームを行っている場合、マスク生成部４４２が画像データに対応する内視鏡画像の四隅を遮蔽することによって表示画像の形状が八角形をなしていたが、内視鏡システム１が電子ズームを行っている場合、側方視野の全てを遮蔽する円環状のマスク部を生成して合成して出力してもよい。具体的には、図５Ａに示すように、出力部４４４は、マスク生成部４４２が生成した円環状のマスク部Ｍ１０を、電子ズーム部４４３によって電子ズーム処理された画像Ｐ３０に合成して表示装置５に出力する。これにより、図５Ｂに示すように、表示装置５は、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域Ｋ３０が遮蔽された画像Ｐ３１を表示する。さらに、側方観察像Ｌ１がマスク部Ｍ１０によって全て遮蔽される。これにより、ユーザが観察する際に、側方観察像Ｌ１と直視観察像Ｆ１との不明瞭な境界領域で診断の判断を行うことを防止することができる。
【００５０】
（その他の実施の形態）
また、本発明の実施の形態では、伝送ケーブルを介して画像データを画像処理装置へ送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、画像データ等を画像処理装置へ送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
【００５１】
また、本発明の実施の形態では、画像処理装置と光源装置とが別体であったが、これに限定されることなく、例えば画像処理装置と光源装置を一体的に形成してもよい。
【００５２】
また、本発明の実施の形態では、面順次式の内視鏡を例に説明したが、同時式の内視鏡であっても適用することができる。
【００５３】
また、本発明の実施の形態では、被検体に挿入される内視鏡であったが、例えばカプセル型の内視鏡または被検体を撮像する撮像装置であっても適用することができる。
【００５４】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いて各処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【００５５】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【００５６】
１  内視鏡システム
２  内視鏡
３  光源装置
４  画像処理装置
５  表示装置
２０  光学系
２１  撮像素子
２２  識別情報記録部
２３  内視鏡操作部
４１  取得部
４２  識別情報取得部
４３  操作部
４４  画像処理部
４５  記録部
４６  制御部
２０１  側方観察光学系
２０２  直視観察光学系
４４１  信号処理部
４４２  マスク生成部
４４３  電子ズーム部
４４４  出力部
４５１  プログラム記録部
Ｆ１    直視観察像
Ｋ２０  境界領域
Ｋ３０  境界領域
Ｌ１  側方観察像
Ｍ１  遮蔽マスク部
Ｍ１０  マスク部
Ｍ２  マスク部
Ｍ３  マスク部
【図１】
2017212768.tif 000003
【図２】
2017212768.tif 000004
【図３Ａ】
2017212768.tif 000005
【図３Ｂ】
2017212768.tif 000006
【図３Ｃ】
2017212768.tif 000007
【図３Ｄ】
2017212768.tif 000008
【図４Ａ】
2017212768.tif 000009
【図４Ｂ】
2017212768.tif 000010
【図５Ａ】
2017212768.tif 000011
【図５Ｂ】
2017212768.tif 000012
【図６Ａ】
2017212768.tif 000013
【図６Ｂ】
2017212768.tif 000014
【図７Ａ】
2017212768.tif 000015
【図７Ｂ】
2017212768.tif 000016
【手続補正書】
【提出日】平成29年11月20日(2017.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、
所定の倍率に拡大する電子ズーム処理を実行可能であり、前記電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、
前記電子ズーム処理を行う電子ズーム部と、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記拡大観察の場合には、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成部と、
前記通常観察の場合に、前記第１マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合には、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ領域を遮蔽することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
請求項１に記載の画像処理装置と、
前記内視鏡と、
表示装置と、
を備えたことを特徴とする内視鏡システム。
【請求項９】
画像処理装置が実行する画像処理方法であって、
被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
画像処理装置に、
被検体に挿入される内視鏡の挿入部の先端側に設けられた側方観察部によって前記挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記側方観察部よりも前記挿入部の先端側に設けられた直視観察部によって前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理ステップと、
を実行させることを特徴とするプログラム。
【手続補正書】
【提出日】平成30年4月19日(2018.4.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得部と、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を実行可能であり、前記電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記取得部は、前記内視鏡に設けられた撮像部から前記画像データを取得し、
前記撮像部は、前記側方観察像および前記直視観察像の各々を受光面で受光して光電変換を行うことによって前記画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、
前記電子ズーム処理を行う電子ズーム部と、
前記通常観察の場合に、前記側方観察像の外周から外側を遮蔽する第１マスク部を生成する一方、前記拡大観察の場合には、前記側方観察像と前記直視観察像との境界を遮蔽する第２マスク部を生成するマスク生成部と、
前記通常観察の場合に、前記第１マスク部を前記画像データに対応する画像に合成して表示装置が有する矩形状の表示領域の形状に対応させて成型した第１表示画像を生成する一方、前記拡大観察の場合には、前記第２マスク部を前記電子ズーム部によって拡大された前記画像に合成して前記表示装置が有する矩形状の表示領域の形状に対応させて成型した第２表示画像を生成する画像生成部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ領域を遮蔽することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２マスク部は、前記直視観察像と前記表示領域とが交差する２点を結ぶ直線と前記表示領域によって形成された領域を遮蔽することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記第２マスク部は、前記側方観察像を遮蔽する円環状をなすことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記マスク生成部は、前記電子ズーム部による倍率に基づいて、前記第２マスク部の遮蔽領域を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記画像生成部は、前記第１表示画像および前記第２表示画像を前記表示装置へ出力することを特徴とする請求項３に記載の画像処理装置。
【請求項９】
請求項１に記載の画像処理装置と、
前記内視鏡と、
表示装置と、
を備えたことを特徴とする内視鏡システム。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
画像処理装置に、
被検体に挿入される内視鏡の挿入部の周方向の側方視野を撮像して生成された円環状をなす側方観察像と、前記挿入部の挿入方向の前方視野を撮像して生成された直視観察像であって、前記側方観察像の中心から内円までに形成された円をなす直視観察像と、を含む画像データを取得する取得ステップと、
前記画像データに対して、所定の倍率に拡大する電子ズーム処理を行っていない通常観察の場合に、前記側方観察像と前記直視観察像との境界部分を表示領域に含む第１表示画像を生成し、更に前記電子ズーム処理を行っている拡大観察の場合には、前記側方観察像と前記直視観察像との境界部分をマスクにより遮蔽した第２表示画像を生成可能な画像処理ステップと、
を実行させることを特徴とするプログラム。
【国際調査報告】
2017212768.tif 000017
2017212768.tif 000018
2017212768.tif 000019
2017212768.tif 000020