(57)【要約】【課題】２種類の画像が併せて表示され、かつ、病変部の視認性が高い画像の画像データを生成することができる画像生成装置、コンピュータプログラム及び画像生成方法を提供する。【解決手段】プロセッサ装置では、システムコントローラ３０は、生体組織の通常画像データに基づき、複数の病変部を検出した場合、通常画像データの通常画像において、複数の病変部の中で面積が最も大きい最大病変部を特定する。画像処理回路３５は、システムコントローラ３０が特定した最大病変部を含む病変領域とは異なる通常画像の領域に、生体組織の特殊光画像が重畳された重畳画像データを生成する。【選択図】図２
2020171599.tif 000002
【特許請求の範囲】
【請求項１】
生体組織の第１画像データに基づき、前記生体組織における病変部を検出する病変検出部と、
前記病変検出部が複数の病変部を検出した場合、前記第１画像データの第１画像にて、前記複数の病変部の中で面積が最も大きい最大病変部を特定する最大病変特定部と、
前記最大病変特定部が特定した最大病変部を含む病変領域とは異なる前記第１画像の領域に、前記生体組織の第２画像が重畳された重畳画像の重畳画像データを生成する画像生成部と
を備える画像生成装置。
【請求項２】
前記病変検出部が複数の病変部を検出した場合、前記第１画像にて、前記複数の病変部の中で面積が２番目に大きい２番病変部を特定する２番病変特定部を備え、
前記病変領域には、前記最大病変部と、前記２番病変特定部が特定した２番病変部とが含まれる
請求項１に記載の画像生成装置。
【請求項３】
前記重畳画像では、前記病変領域とは異なる前記第１画像の領域と、前記第１画像外の領域とにわたって前記第２画像が配置されている
請求項１又は請求項２に記載の画像生成装置。
【請求項４】
前記第１画像データを取得する第１画像取得部を備え、
前記画像生成部は、前記第１画像取得部の取得時点から画素数が変更されてない前記第１画像データを用いて前記重畳画像データを生成する
請求項１から請求項３のいずれか１つに記載の画像生成装置。
【請求項５】
前記第２画像の第２画像データを取得する第２画像取得部と、
前記第２画像取得部が取得した第２画像データを縮小する縮小部と
を備え、
前記画像生成部は、前記病変領域とは異なる前記第１画像の領域に、前記縮小部が縮小した第２画像データの第２画像が重畳された重畳画像の重畳画像データを生成する
請求項１から請求項３のいずれか１つに記載の画像生成装置。
【請求項６】
前記病変領域とは異なる前記第１画像の領域への前記第２画像の重畳が可能であるか否かを判定する判定部と、
前記判定部によって前記重畳が可能であると判定された場合に前記画像生成部が生成した重畳画像データを出力し、前記判定部によって前記重畳が可能ではないと判定された場合に、前記第２画像の第２画像データを出力する出力部と
を備える請求項１から請求項５のいずれか１つに記載の画像生成装置。
【請求項７】
前記病変領域とは異なる前記第１画像の領域にて暗部を検出する暗部検出部を備え、
前記画像生成部は、前記暗部検出部が検出した前記第１画像の暗部に前記第２画像が重畳された重畳画像の重畳画像データを生成する
請求項１から請求項６のいずれか１つに記載の画像生成装置。
【請求項８】
前記画像生成部は、矩形状の画像領域にて、前記病変領域及び第２画像が対角に配置された重畳画像、又は、前記画像領域にて、前記病変領域及び第２画像が縦方向若しくは横方向に隣接した重畳画像の重畳画像データを生成する
請求項１から請求項６のいずれか１つに記載の画像生成装置。
【請求項９】
前記第１画像データと前記第２画像の第２画像データとは、光が照射されている前記生体組織を撮影することによって生成され、
前記第１画像データ及び第２画像データの生成で用いる２つの光に含まれる波長成分は、相互に異なっている
請求項１から請求項８のいずれか１つに記載の画像生成装置。
【請求項１０】
前記第１画像データと前記第２画像の第２画像データとは、光が照射されている前記生体組織を撮影することによって生成され、
前記第１画像データは、前記生体組織で反射した反射光に含まれる第１波長成分に対応する画像データであり、
前記第２画像データは、前記反射光に含まれ、前記第１波長成分とは異なる第２波長成分に対応する画像データである
請求項１から請求項８のいずれか１つに記載の画像生成装置。
【請求項１１】
前記第２画像への前記第１画像の重畳の指示を受け付ける受付部を備え、
前記画像生成部は、前記受付部が指示を受け付けている場合、前記第２画像の領域に前記第１画像が重畳されている重畳画像の重畳画像データを生成する
請求項１から請求項１０のいずれか１つに記載の画像生成装置。
【請求項１２】
コンピュータに、
生体組織の第１画像データに基づき、前記生体組織における病変部を検出し、
複数の病変部を検出した場合、前記第１画像データの第１画像にて、前記複数の病変部の中で面積が最も大きい最大病変部を特定し、
特定した最大病変部を含む病変領域とは異なる前記第１画像の領域に、前記生体組織の第２画像が重畳された重畳画像の重畳画像データの生成を指示する
処理を実行させるためのコンピュータプログラム。
【請求項１３】
コンピュータが、
生体組織の第１画像データに基づき、前記生体組織における病変部を検出し、
複数の病変部を検出した場合、前記第１画像データの第１画像にて、前記複数の病変部の中で面積が最も大きい最大病変部を特定し、
特定した最大病変部を含む病変領域とは異なる前記第１画像の領域に、前記生体組織の第２画像が重畳された重畳画像の重畳画像データの生成を指示する
画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、コンピュータプログラム及び画像生成方法に関する。
【背景技術】
【０００２】
電子スコープを人体の腔内に挿入し、電子スコープが撮影した生体組織の画像を表示する内視鏡システム（特許文献１を参照）が普及している。特許文献１に記載の内視鏡システムでは、電子スコープは、赤色、青色及び緑色の成分を含む白色光を生体組織に照射する。生体組織で反射した反射光は電子スコープに入射される。反射光の中で、赤色、青色及び緑色の波長成分に対応する通常画像データと、赤色、青色及び緑色中の２つに対応する特殊光画像データとを生成する。通常画像データの通常画像と、特殊光画像データの特殊光画像とを併せて表示する画像データを生成する。生成した画像データの画像において、生体組織に形成されている病変部を観察する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／０５７６８０号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００４】
通常画像及び特殊光画像を併せて表示する画像データを生成するために、通常画像データ及び特殊光画像データの両方を縮小した場合、病変部の視認性が低下し、病変部の詳細な観察を行うことができない。縮小幅が大きい程、縮小することによって生成される画像データの画素数が少ないので、病変部の視認性は低い。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、２種類の画像が併せて表示され、かつ、病変部の視認性が高い画像の画像データを生成することができる画像生成装置、コンピュータプログラム及び画像生成方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像生成装置は、生体組織の第１画像データに基づき、前記生体組織における病変部を検出する病変検出部と、前記病変検出部が複数の病変部を検出した場合、前記第１画像データの第１画像にて、前記複数の病変部の中で面積が最も大きい最大病変部を特定する最大病変特定部と、前記最大病変特定部が特定した最大病変部を含む病変領域とは異なる前記第１画像の領域に、前記生体組織の第２画像が重畳された重畳画像の重畳画像データを生成する画像生成部とを備える。
【０００７】
本発明の一態様に係るコンピュータプログラムは、コンピュータに、生体組織の第１画像データに基づき、前記生体組織における病変部を検出し、複数の病変部を検出した場合、前記第１画像データの第１画像にて、前記複数の病変部の中で面積が最も大きい最大病変部を特定し、特定した最大病変部を含む病変領域とは異なる前記第１画像の領域に、前記生体組織の第２画像が重畳された重畳画像の重畳画像データの生成を指示する処理を実行させる。
【０００８】
本発明の一態様に係る画像生成方法では、コンピュータが、生体組織の第１画像データに基づき、前記生体組織における病変部を検出し、複数の病変部を検出した場合、前記第１画像データの第１画像にて、前記複数の病変部の中で面積が最も大きい最大病変部を特定し、特定した最大病変部を含む病変領域とは異なる前記第１画像の領域に、前記生体組織の第２画像が重畳された重畳画像の重畳画像データの生成を指示する。
【発明の効果】
【０００９】
上記の態様によれば、２種類の画像が併せて表示され、かつ、病変部の視認性が高い画像の画像データを生成することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における内視鏡システムの要部構成を示すブロック図である。
【図２】画像処理回路の動作の説明図である。
【図３】画像表示処理の手順を示すフローチャートである。
【図４】病変部検出処理の説明図である。
【図５】病変部の数の特定の説明図である。
【図６】病変領域の特定の説明図である。
【図７】重畳画像の説明図である。
【図８】重畳画像の変化の説明図である。
【図９】実施の形態２における画像表示処理の手順を示すフローチャートである。
【図１０】実施の形態２における画像表示処理の手順を示すフローチャートである。
【図１１】最大病変部及び２番病変部の特定の説明図である。
【図１２】重畳画像の説明図である。
【図１３】実施の形態３における重畳画像の説明図である。
【図１４】実施の形態４における重畳画像の説明図である。
【図１５】実施の形態５における重畳画像の説明図である。
【図１６】実施の形態６における画像表示処理の手順を示すフローチャートである。
【図１７】通常画像及び重畳画像の説明図である。
【図１８】実施の形態７における重畳位置の決定の説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。実施の形態の具体例として、画像生成装置として機能するプロセッサ装置を備える内視鏡システムを説明する。
（実施の形態１）
＜内視鏡システムの概要＞
図１は、実施の形態１における内視鏡システム１の要部構成を示すブロック図である。内視鏡システム１は、電子スコープ１０、プロセッサ装置１１及びモニタ装置１２を備える。電子スコープ１０及びモニタ装置１２は、プロセッサ装置１１に着脱可能に接続される。電子スコープ１０は人体の腔内に挿入される。電子スコープ１０は、腔内の生体組織を撮影し、撮影した画像の画像データをプロセッサ装置１１に出力する。プロセッサ装置１１は、電子スコープ１０から入力された画像データに画像処理を施し、画像処理を施した画像データをモニタ装置１２に出力する。モニタ装置１２は、プロセッサ装置１１から入力された画像データの画像を表示する。画像データは、画像を表示するために用いるデータであり、例えば、画像を構成する複数の画素の階調値である。
【００１２】
＜電子スコープ１０の構成＞
電子スコープ１０は、可撓性を有する細長い可撓管２０を有する。可撓管２０の外側はシース（外皮）によって覆われている。可撓管２０の一端はプロセッサ装置１１に装着されている。可撓管２０の他端部、即ち、可撓管２０の先端部は、硬質性を有する樹脂製の筐体によって構成されている。
【００１３】
可撓管２０の外側において、プロセッサ装置１１側に操作部２１が設置されている。可撓管２０は、操作部２１で行われた操作に従って湾曲し、可撓管２０の先端面の向きが、上方向、下方向、左方向又は右方向等の方向に変わる。この湾曲機構は、一般的な電子スコープに組み込まれる周知の機構である。可撓管２０内には、操作ワイヤが配置されている。可撓管２０は、操作部２１の操作に連動した操作ワイヤの牽引によって湾曲する。
【００１４】
電子スコープ１０では、可撓管２０の先端面から光を、腔内の生体組織に照射し、生体組織で反射した反射光が可撓管２０の先端面に入射される。電子スコープ１０では、先端面から入射された反射光によって画像が形成され、画像が撮影される。使用者は、操作部２１を操作することによって、可撓管２０の先端面の向きを変更し、電子スコープ１０が撮影する画像の領域を変更する。
【００１５】
操作部２１には、湾曲操作ノブが設けられている。使用者は、操作部２１の湾曲操作ノブを操作することによって、可撓管２０を湾曲させる。操作部２１には、更に、可撓管２０の先端面から空気を噴射させるための送気ボタン、可撓管２０の先端面から水を噴射させるための送水ボタン、モニタ装置１２が行う画像表示を動画表示又は静止表示に切換えるための表示切替えボタンが設けられていてもよい。操作部２１には、更に、モニタ装置１２に表示された画像の拡大又は縮小を指示する倍率調整ボタン、可撓管２０の先端面から照射する光を、通常光又は治療光に切替えるための光切替えボタンが設けられていてもよい。操作部２１で操作が行われた場合、操作部２１は、操作部２１で行われた操作を示す操作信号はプロセッサ装置１１に出力する。
【００１６】
電子スコープ１０では、可撓性を有する細長いライトガイド２２が可撓管２０内に配置されている。ライトガイド２２は、例えば、複数の石英製光ファイバによって構成される。ライトガイド２２の一方の端部は可撓管２０の先端部に配置されている。ライトガイド２２の他方の端部は、プロセッサ装置１１側に配置されている。可撓管２０の先端面には照明窓が設けられており、照明窓には、照明レンズ２３が配置されている。照明レンズ２３は、ライトガイド２２の一方の端面に対向している。プロセッサ装置１１は、ライトガイド２２の端面に光を出射する。ライトガイド２２において、プロセッサ装置１１側の端面から入射された光は、可撓管２０の先端面に向かって伝播し、先端面から出射する。ライトガイド２２の先端面から出射した光は、照明レンズ２３によって拡散される。照明レンズ２３によって拡散された光は、腔内の生体組織に照射される。
【００１７】
可撓管２０の先端面には、更に、入射窓が設けられている。可撓管２０内の先端側には、対物光学系２４が配置されている。対物光学系２４は、対物レンズを含むレンズ群及びプリズム等によって構成され、入射窓に配置されている。可撓管２０内において、対物光学系２４のプロセッサ装置１１側に固体撮像素子２５が配置されている。
【００１８】
生体組織で反射した反射光は、対物光学系２４に入射される。入射された反射光は、対物光学系２４を介して、固体撮像素子２５の撮像面に結像する。対物光学系２４は、固体撮像素子２５の撮像面に生体組織の画像を形成する。固体撮像素子２５は、撮像面に形成された光の画像の光電変換を行う。
【００１９】
固体撮像素子２５は、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)である。可撓管２０内には、ドライバ回路２６が設置されている。ドライバ回路２６は、ＣＰＵ(Central Processing Unit)、タイミングジェネレータ及びアナログ信号処理回路等を備える。
【００２０】
プロセッサ装置１１はドライバ回路２６に制御信号を出力する。ドライバ回路２６では、ＣＰＵは、プロセッサ装置１１から入力された制御信号に従って、タイミングジェネレータの動作を制御する。タイミングジェネレータは、固体撮像素子２５にクロック信号を出力する。固体撮像素子２５は、タイミングジェネレータから入力されたクロック信号に応じて、赤色、青色及び緑色それぞれの波長成分の信号電荷を蓄積し、所定のフィールド周期で生体組織の撮影動作を行い、撮像面に形成された画像の画像信号をドライバ回路２６に出力する。
【００２１】
固体撮像素子２５からドライバ回路２６に出力される画像信号は、アナログ信号である。ドライバ回路２６が有するアナログ信号処理回路は、固体撮像素子２５から入力された画像信号に、ノイズ処理及びゲイン補正処理等を施す。アナログ信号処理回路は、相関二重サンプリング回路、自動ゲイン調節回路及びＡ／Ｄ(Analog/Digital)変換器等を有する。
【００２２】
相関二重サンプリング回路は、固体撮像素子２５が出力した画像信号に対して相関二重サンプリング処理を施し、固体撮像素子２５を駆動することによって生じるノイズを除去する。自動ゲイン調節回路は、相関二重サンプリング回路によってノイズが除去された画像信号を増幅する。Ａ／Ｄ変換器は、自動ゲイン調節回路によって増幅された画像信号を、所定ビット数を有するデジタル形式の画像データに変換する。ドライバ回路２６は、Ａ／Ｄ変換器が変換したデジタル形式の画像データをプロセッサ装置１１に出力する。
【００２３】
なお、別の形態として、電子スコープ１０は、固体撮像素子２５が出力したアナログ形式の画像信号をプロセッサ装置１１に出力してもよい。この場合、プロセッサ装置１１内において、固体撮像素子２５から入力されたアナログ形式の画像信号をデジタル形式の画像データに変換する。
【００２４】
＜プロセッサ装置１１の構成＞
プロセッサ装置１１は、システムコントローラ３０、メモリ３１、操作パネル３２、光源制御回路３３、信号処理回路３４、画像処理回路３５、出力インタフェース３６を有する。
【００２５】
システムコントローラ３０は、ＣＰＵ、ＲＯＭ(Read Only Memory)及びＲＡＭ(Random Access Memory)等を有する。システムコントローラ３０が有するＣＰＵは、ＲＯＭ又はメモリ３１に格納されたコンピュータプログラムＰをＲＡＭ上に展開して実行することにより、プロセッサ装置１１を画像生成装置として機能させる。システムコントローラ３０は、ドライバ回路２６に前述した制御信号を出力する。
【００２６】
なお、システムコントローラ３０は、上記の構成に限定されるものではなく、シングルコアＣＰＵ、マルチコアＣＰＵ、マイクロコンピュータ、又は、揮発性若しくは不揮発性のメモリ等を含む１又は複数の処理回路であればよい。また、システムコントローラ３０は、現在の時刻に係る情報を出力するクロック、計測の開始指示を与えてから計測の終了指示を与えるまでの経過時間を計測するタイマ、又は、カウンタ等の機能を有していてもよい。
【００２７】
また、コンピュータプログラムＰは、コンピュータプログラムＰを読み取り可能に記録した非一時的な記録媒体Ａを用いて、プロセッサ装置１１に提供されてもよい。記録媒体Ａは、例えば、ＣＤ−ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード又はコンパクトフラッシュ（登録商標）等の可搬型メモリである。この場合、システムコントローラ３０は、不図示の読取装置を用いて記録媒体ＡからコンピュータプログラムＰを読み取り、読み取ったコンピュータプログラムＰをメモリ３１にインストールしてもよい。更に、プロセッサ装置１１が外部装置と通信する通信部を備える場合、コンピュータプログラムＰは、通信部を介した通信によって、プロセッサ装置１１に提供されてもよい。この場合、システムコントローラ３０は、通信部を通じてコンピュータプログラムＰを取得し、取得したコンピュータプログラムＰをメモリ３１にインストールしてもよい。
【００２８】
メモリ３１は、例えば、不揮発性メモリ又はハードディスクを有する記録装置によって構成される。不揮発性メモリは、例えば、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）である。メモリ３１には、プロセッサ装置１１内で生成されたデータ、及び外部から入力されたデータ等が記憶される。
別の形態として、メモリ３１は、ＵＳＢメモリ又はＳＤカード等の可搬型の記録媒体であってもよい。この場合、メモリ３１は、プロセッサ装置１１内において、システムコントローラ３０に着脱可能に接続される。
【００２９】
操作パネル３２は、プロセッサ装置１１の構成部が収容される筐体に設けられた各種スイッチ若しくはボタン等の操作具、又は、プロセッサ装置１１に接続されたマウス、キーボード若しくはタッチパネル等の入力デバイスである。操作パネル３２で操作が行われた場合、操作パネル３２は、操作パネル３２で行われた操作を示す操作信号をシステムコントローラ３０に出力する。また、電子スコープ１０の操作部２１も、操作部２１で行われた操作を示す操作信号をシステムコントローラ３０に出力する。システムコントローラ３０は、操作部２１及び操作パネル３２から入力された操作信号に応じて、プロセッサ装置１１が有する構成部の動作を制御する。
【００３０】
プロセッサ装置１１は、更に、光源３７、モータ３８、集光レンズ３９及びターレット４０を有する。システムコントローラ３０は、指示を光源制御回路３３に出力する。光源制御回路３３は、システムコントローラ３０から入力された指示に従って、光源３７及びモータ３８の動作を制御する。光源３７は、キセノンランプ、ハロゲンランプ、メタルハイドランプ又はＬＥＤ（Light Emitting Diode）等の高輝度ランプであり、可視光領域から赤外光領域に広がるスペクトルを有する光を出射する。光源３７が出射した光は、集光レンズ３９によって集光されるとともに、フィルタを有する回転式のターレット４０を介して適宜の光学特性を有する光に変換される。
【００３１】
ターレット４０は、例えば円周方向に交互に配置した特殊光用フィルタ及び通常光（白色光）用フィルタを備える。これらの光学フィルタは、例えば扇形状をなし、内視鏡画像を取得するフィールド周期（又はフレーム周期）に応じた角度ピッチで配置される。ターレット４０には、アーム及びギヤ等の伝達機構（不図示）を介してモータ３８が接続されている。モータ３８は、例えばＤＣモータであり、光源制御回路３３の指示に従って、ターレット４０を回転させ、出射する光に対して適用すべきフィルタを順次切り替える。
【００３２】
ターレット４０を通過した光は、電子スコープ１０が有するライトガイド２２の端面に入射され、前述したように、可撓管２０の先端面から生体組織に照射される。生体組織で反射した反射光は、可撓管２０の先端面から入射され、固体撮像素子２５の撮像面で生体組織の画像が形成される。ドライバ回路２６は、撮像面で形成された画像の画像データを信号処理回路３４に出力する。
【００３３】
ターレット４０からライトガイド２２の端面に通常光が出射された場合に信号処理回路３４が生成する画像データを通常画像データと記載する。通常画像データは、通常光が可撓管２０の先端面から照射されている生体組織を固体撮像素子２５が撮影することによって生成される画像データである。
ターレット４０からライトガイド２２の端面に特殊光が出射された場合に信号処理回路３４が生成する画像データを特殊光画像データと記載する。特殊光画像データは、特殊光が可撓管２０の先端面から照射されている生体組織を固体撮像素子２５が撮影することによって生成される画像データである。
【００３４】
通常光は、赤色、青色及び緑色の波長成分を含む光である。特殊光は、赤色、青色及び緑色の波長成分中の２つを含む光、例えば、赤色及び緑色の波長成分を含み、かつ、青色の波長成分を含まない光である。通常画像データ及び特殊光画像データの生成で用いる通常光及び特殊光に含まれる波長成分は相互に異なっている。通常画像及び特殊光画像は、生体組織に形成された病変部の観察に用いられる。
【００３５】
信号処理回路３４は、例えば、ＤＳＰ(Digital Signal Processor)である。ターレット４０からライトガイド２２の端面に通常光が出射された場合、電子スコープ１０のドライバ回路２６は、通常画像データを信号処理回路３４に出力する。ターレット４０からライトガイド２２の端面に特殊光が出射された場合、ドライバ回路２６は、特殊光画像データを信号処理回路３４に出力する。
【００３６】
信号処理回路３４は、電子スコープ１０のドライバ回路２６から通常画像データ又は特殊光画像データが入力された場合、通常画像データ又は特殊光画像データに対して、色分離、色補間、ゲイン補正、ホワイトバランス調整又はガンマ補正等の各種信号処理を施し、信号処理を施した画像データをシステムコントローラ３０及び画像処理回路３５に出力する。従って、信号処理回路３４は、通常画像データ及び特殊光画像データを、システムコントローラ３０及び画像処理回路３５に出力する。
【００３７】
別の形態として、ターレット４０からライトガイド２２の端面に出射される光は、通常光のみであってもよい。この場合、信号処理回路３４は、固体撮像素子２５から入力された画像信号の中で、赤色、青色及び緑色の波長成分に対応する画像信号に基づいて通常画像データを生成する。更に、信号処理回路３４は、固体撮像素子２５から入力された画像信号の中で、赤色、青色及び緑色の波長成分中の２つに対応する画像信号に基づいて特殊光画像データを生成する。信号処理回路３４は、生成した通常画像データ及び特殊光画像データをシステムコントローラ３０及び画像処理回路３５に出力する。
【００３８】
この形態では、通常画像データ及び特殊光画像データは、通常光が照射されている生体組織を、固体撮像素子２５が撮影することによって生成される。赤色、青色及び緑色の波長成分全体は第１波長成分に相当する。赤色、青色及び緑色の波長成分中の２つの波長成分全体は、第２波長成分に相当し、第１波長成分とは異なる。通常画像データは、生体組織で反射した反射光に含まれる第１波長成分に対応する画像データである。特殊光画像データは、生体組織で反射光に含まれる第２波長成分に対応する画像データである。
【００３９】
システムコントローラ３０は、信号処理回路３４から入力された通常画像データ及び特殊光画像データを取得する。同様に、画像処理回路３５も、信号処理回路３４から入力された通常画像データ及び特殊光画像データを取得する。システムコントローラ３０及び画像処理回路３５は、信号処理回路３４から共通の通常画像データを取得するとともに、信号処理回路３４から共通の特殊光画像データを取得する。画像処理回路３５は、第１画像取得部及び第２画像取得部として機能する。
【００４０】
図２は、画像処理回路３５の動作の説明図である。システムコントローラ３０は、信号処理回路３４から取得した通常画像データ及び特殊光画像データに基づき、種々の指示を画像処理回路３５に出力する。
【００４１】
画像処理回路３５は、通常画像データ及び特殊光画像データを一時的に保持する画像メモリ、及び、ＤＩＰ(Digital Image Processor)等を有する。画像処理回路３５は、システムコントローラ３０の指示に従って、通常画像データの通常画像の領域に特殊光画像データの特殊光画像を重畳した重畳画像の重畳画像データを生成し、生成した重畳画像データを出力インタフェース３６に出力する。画像処理回路３５は、更に、信号処理回路３４から入力された通常画像データ又は特殊光画像データを出力インタフェース３６に出力する。
【００４２】
なお、信号処理回路３４が実行する信号処理と、画像処理回路３５とが実行する画像処理とを１つの処理回路内で実行してもよい。また、画像処理回路３５は、生成した画像データの各画素の平均輝度等を算出し、光源３７の自動制御に必要な制御データを生成してもよい。画像処理回路３５によって生成された光源３７の制御データはシステムコントローラ３０に出力される。
【００４３】
出力インタフェース３６は、ビデオプロセッサ等の処理回路を有する。出力インタフェース３６は、画像処理回路３５から入力される画像データに基づき、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）又はＤＶＩ（Digital Visual Interface）等の所定の規格に準拠した画像データを生成する。出力インタフェース３６は、生成した画像データをモニタ装置１２に出力する。モニタ装置１２は表示画面を有する。モニタ装置１２は、出力インタフェース３６から画像データが入力された場合、表示画面に、入力された画像データの画像を表示する。従って、重畳画像、通常画像又は特殊光画像が表示される。
【００４４】
また、出力インタフェース３６は、画像処理回路３５から入力された画像データから所定の圧縮方式で圧縮した静止画データ又は動画データを生成し、生成した静止画データ又は動画データをメモリ３１に記憶してもよい。
【００４５】
更に、プロセッサ装置１１は、通信部を備えていてもよい。プロセッサ装置１１は、通信部に接続された外部装置から、患者の電子カルテ情報又は術者の情報等の内視鏡検査に関する情報を取得し、操作パネル３２又はモニタ装置１２に表示してもよい。また、プロセッサ装置１１は、通常画像データ、画像解析結果又は術者の所見等の検査結果に関する情報を外部装置へ送信し、これらの情報を外部装置に蓄積させてもよい。
【００４６】
システムコントローラ３０のＣＰＵ（コンピュータ）は、コンピュータプログラムＰを実行することによって、モニタ装置１２に画像を表示させる画像表示処理を実行する。
【００４７】
＜画像表示処理の説明＞
図３は画像表示処理の手順を示すフローチャートである。システムコントローラ３０は、例えば、信号処理回路３４から通常画像データ及び特殊光画像データを取得する都度、画像表示処理を実行する。まず、システムコントローラ３０は、信号処理回路３４から取得した通常画像データの通常画像に設けられた各検出領域において病変部を検出する（ステップＳ１）。
【００４８】
図４は病変部検出処理の説明図である。図４には、通常画像Ｇｎが示されている。通常画像Ｇｎは矩形状の画像である。通常光が照射されている通常光領域Ａｎは、白色の領域で示され、円形状をなしている。通常光が照射されていない領域は横線のハッチングで示されている。生体組織に形成された病変部Ｂは、網目のハッチングで示されている。図４の通常画像Ｇｎでは、３つの病変部Ｂが写っている。
【００４９】
図４の中央に示すように、通常画像Ｇｎには、病変部Ｂを検出するための複数の検出領域Ａｄが予め設定されている。検出領域Ａｄは矩形状をなす。複数の検出領域Ａｄはマトリックス状に配置されている。各検出領域Ａｄには、複数の画素が含まれている。システムコントローラ３０は、通常画像データにおいて各検出領域Ａｄに対応する複数の画素の階調値に基づいて、生体組織における病変部Ｂを検出する。システムコントローラ３０は、病変検出部としても機能する。
【００５０】
病変部Ｂの検出には、公知の検出手法、例えば、国際公開第２０１７／０５７６８０号パンフレットに記載されている検出手法を用いることができる。この検出手法では、３つ以上の色成分のうち少なくとも２つ色成分によって定義される色平面内において、色平面内に設定された基準点と各画素の対応点とを結ぶ線分、及び対象疾患に相関を有する基準軸がなす角度に基づいて、各画素の対応疾患に関する評価結果を求め、病変部Ｂが存在するか否かを判定する。
図４の下側には検出結果が示されている。病変部Ｂが検出されていない領域は白領域で示されている。病変部Ｂが検出された領域は黒領域で示されている。
【００５１】
なお、システムコントローラ３０が検出する病変部Ｂは、病変として確定される部位である必要はなく、病変の可能性がある部位であってもよい。また、システムコントローラ３０は、通常画像Ｇｎではなく、特殊光画像に基づき、病変部Ｂを検出してもよい。特殊光画像に基づく病変部Ｂの検出は、通常画像Ｇｎに基づく病変部Ｂの検出と同様である。
【００５２】
また、システムコントローラ３０は、強化学習を含む機械学習のフレームワークを利用して、病変部Ｂを検出してもよい。例えば、病変部Ｂを持たない正常な生体組織の複数の画像から所定の特徴量（例えば高次局所自己相関に基づく特徴量）を抽出し、特徴空間において正常な生体組織の画像を示す部分空間を学習により求めておく。システムコントローラ３０は、新たな画像を取得した場合、学習により得られた部分空間に属するか否かを判断することによって、病変部Ｂを検出してもよい。また、システムコントローラ３０は、機械学習の実行するためにＧＰＵ（Graphics Processing Unit）を備えていてもよい。
【００５３】
システムコントローラ３０は、ステップＳ１を実行した後、病変部Ｂの検出結果に基づいて、通常画像Ｇｎにおいて、病変部Ｂが存在するか否かを判定する（ステップＳ２）。少なくとも１つの検出領域Ａｄにおいて、病変部Ｂが検出された場合、システムコントローラ３０は病変部Ｂが存在すると判定する。全ての検出領域Ａｄにおいて、病変部Ｂが検出されなかった場合、システムコントローラ３０は病変部Ｂが存在しないと判定する。
【００５４】
システムコントローラ３０は、病変部Ｂが存在しないと判定した場合（Ｓ２：ＮＯ）、出力インタフェース３６への通常画像データの出力を画像処理回路３５に指示する（ステップＳ３）。これにより、通常画像データはモニタ装置１２に出力され、モニタ装置１２において、通常画像データの通常画像Ｇｎが表示される。システムコントローラ３０は、ステップＳ３を実行した後、画像表示処理を終了する。
【００５５】
システムコントローラ３０は、病変部Ｂが存在すると判定した場合（Ｓ２：ＹＥＳ）、ステップＳ１で行った病変部Ｂの検出結果に基づいて、検出した病変部Ｂの数を特定する（ステップＳ４）。
【００５６】
図５は、病変部Ｂの数の特定の説明図である。図５には、病変部Ｂの検出結果が示されている。システムコントローラ３０は、ステップＳ４では、病変部Ｂが存在する検出領域Ａｄの位置に基づいて病変部Ｂの数を特定する。隣接している２つの検出領域Ａｄにおいて、病変部Ｂが存在している場合、システムコントローラ３０は、共通の病変部Ｂが検出されているとみなす。従って、病変部Ｂが存在する検出領域Ａｄについて、連続している一群が１つの病変部Ｂとみなされる。図５の例では、病変部Ｂの数は３つであると特定される。
【００５７】
次に、システムコントローラ３０は、ステップＳ４で特定した病変部Ｂの数が２以上であるか否かを判定する（ステップＳ５）。システムコントローラ３０は、病変部Ｂの数が２以上であると判定した場合（Ｓ５：ＹＥＳ）、病変部Ｂが存在する検出領域Ａｄの数に基づいて、検出した複数の病変部Ｂの中で面積が最も大きい最大病変部を特定する（ステップＳ６）。病変部Ｂの面積は、検出領域Ａｄの数によって表される。図５の例では、左上の病変部Ｂの面積は５である。右の病変部Ｂの面積は２である。左下の病変部Ｂの面積は４である。ステップＳ６では、最大病変部は、システムコントローラ３０によって、左上の病変部Ｂに特定される。システムコントローラ３０は最大病変特定部としても機能する。
【００５８】
システムコントローラ３０は、病変部Ｂの数が１であると判定した場合（Ｓ５：ＮＯ）、又は、ステップＳ６を実行した後、モニタ装置１２で表示する表示病変部を決定する（ステップＳ７）。ステップＳ７において、病変部Ｂの数が１つである場合、システムコントローラ３０は、表示病変部を、通常画像Ｇｎに写っている病変部Ｂに決定する。病変部Ｂの数が２以上である場合、システムコントローラ３０は、表示病変部を、ステップＳ６で特定した最大病変部に決定する。システムコントローラ３０は、ステップＳ７を実行した後、通常画像Ｇｎにおいて、表示病変部を含む病変領域を設定する（ステップＳ８）。
【００５９】
図６は、病変領域Ａｂの特定の説明図である。図６には、病変部Ｂの検出結果が示されている。図４の中央に示すように、検出結果の枠線は通常画像Ｇｎの枠線と一致している。ステップＳ８で設定される病変領域Ａｂは斜線のハンチングによって示されている。図６に示すように病変領域Ａｂは、枠線の一部が検出結果の枠線、即ち、通常画像Ｇｎの枠線の一部と一致し、かつ、表示病変部に対応する検出領域Ａｄが含まれる矩形状の領域に設定される。
【００６０】
システムコントローラ３０は、ステップＳ８を実行した後、病変領域Ａｂとは異なる通常画像Ｇｎの領域において、特殊光画像を重畳する重畳領域が存在するか否かを判定する（ステップＳ９）。ステップＳ９では、重畳画像を表示する表示領域が考慮される。表示領域は矩形状をなす。図６に示すように、表示領域の縦及び横それぞれの長さをＨｄ及びＷｄで表す。病変領域Ａｂの縦及び横それぞれの長さをＨｂ及びＷｂで表す。表示領域の縦及び横それぞれの長さは、通常画像Ｇｎの縦及び横の長さと一致している。
【００６１】
ステップＳ９では、システムコントローラ３０は、（Ｈｄ−Ｈｂ）及び（Ｗｄ−Ｗｂ）の値に基づいて重畳領域が存在するか否かを判定する。一例として、システムコントローラ３０は、（Ｈｄ−Ｈｂ）の値が、縦の長さに係る閾値以上であり、かつ、（Ｗｄ−Ｗｂ）の値が、横の長さに係る閾値以上である場合に重畳領域があると判定する。他の場合においては、システムコントローラ３０は重畳領域が存在しないと判定する。
【００６２】
他例として、システムコントローラ３０は、縦の長さが一定の第１基準値であり、かつ、横の長さが一定の第２基準値である矩形状の基準領域が、表示領域から病変領域Ａｂを除いた領域に存在する場合に、重畳領域が存在すると判定する。第１基準値及び第２基準値は予め設定されている。基準領域が、表示領域から病変領域Ａｂを除いた領域に存在しない場合に、重畳領域が存在しないと判定する。
【００６３】
ステップＳ９において行う判定は、病変領域Ａｂとは異なる通常画像Ｇｎの領域への特殊光画像の重畳が可能であるか否かに相当する。重畳領域が存在することは重畳が可能であることに相当する。重畳領域が存在しないことは重畳領域が不可能であることに相当する。システムコントローラ３０は判定部としても機能する。
【００６４】
システムコントローラ３０は、重畳領域が存在しないと判定した場合（Ｓ９：ＮＯ）、出力インタフェース３６への特殊光画像データの出力を画像処理回路３５に指示する（ステップＳ１０）。これにより、画像処理回路３５は、信号処理回路３４から取得した特殊光画像データをモニタ装置１２に出力し、モニタ装置１２において、特殊光画像データの特殊光画像が表示される。特殊光画像は、表示に用いられる色の種類が、通常画像Ｇｎの表示に用いられる色の種類よりも少ない画像である。例えば、通常画像Ｇｎの表示には、赤色、青色及び緑色が用いられ、特殊光画像の表示には、赤色、青色及び緑色中の２つが用いられる。通常画像Ｇｎ及び特殊光画像について、枠の大きさ、画素数、及び、写っている生体組織の形状は同じである。
システムコントローラ３０は、ステップＳ１０を実行した後、画像表示処理を終了する。
【００６５】
システムコントローラ３０は、重畳領域が存在すると判定した場合（Ｓ９：ＹＥＳ）、通常画像Ｇｎに重畳する特殊光画像の重畳サイズを算出する（ステップＳ１１）。一例として、システムコントローラ３０は、（Ｈｄ−Ｈｂ）及び（Ｗｄ−Ｗｂ）の値に基づいて重畳サイズを算出する。他例として、システムコントローラ３０は、表示領域から病変領域Ａｂを除いた領域に収まり、かつ、アスペクト比が通常画像Ｇｎと同じ矩形状の領域の中で最大の領域のサイズを重畳サイズとして算出する。重畳サイズは、矩形状の領域の縦及び横の長さである。
【００６６】
次に、システムコントローラ３０は、通常画像Ｇｎにおいて特殊光画像を重畳する重畳位置を決定する（ステップＳ１２）。ステップＳ１２では、システムコントローラ３０は、矩形状の表示領域において、特殊光画像及び病変領域Ａｂが対角に配置されるように、又は、特殊光画像及び病変領域Ａｂが表示領域の縦方向若しくは横方向に隣接するように、特殊光画像の重畳位置を決定する。
【００６７】
次に、システムコントローラ３０は、通常画像Ｇｎに特殊光画像が重畳した重畳画像の重畳画像データの生成を画像処理回路３５に指示する（ステップＳ１３）。これにより、画像処理回路３５は、ステップＳ１１で算出された重畳画像サイズに基づいて、通常画像Ｇｎに重畳する特殊光画像を決定し、決定した特殊光画像が、ステップＳ１２で決定された通常画像Ｇｎの重畳位置に重畳された重畳画像の重畳画像データを生成する。重畳画像では、病変領域Ａｂとは異なる通常画像Ｇｎの領域に、信号処理回路３４から取得した特殊光画像データの特殊光画像が重畳されている。画像処理回路３５は画像生成部として機能する。
【００６８】
システムコントローラ３０は、ステップＳ１３を実行した後、出力インタフェース３６への重畳画像データの出力を画像処理回路３５に指示する（ステップＳ１４）。これにより、画像処理回路３５は、生成した重畳画像データはモニタ装置１２に出力し、モニタ装置１２において、重畳画像データの重畳画像が表示される。画像処理回路３５は出力部としても機能する。
【００６９】
図７は重畳画像の説明図である。図７の例では、通常画像Ｇｎに特殊光画像Ｇｓが重畳されている。重畳画像及び特殊光画像Ｇｓそれぞれは矩形状の画像である。特殊光が照射されている特殊光領域Ａｓは灰色で示されている。特殊光が照射されていない領域は横線のハッチングで示されている。前述したように、生体組織に形成された病変部Ｂは、網目のハッチングで示されている。
【００７０】
前述したように、画像処理回路３５は、ステップＳ１１で算出された重畳画像サイズに基づいて、通常画像Ｇｎに重畳する特殊光画像Ｇｓを決定する。図７の例では、画像処理回路３５は、信号処理回路３４から入力された特殊光画像データの特殊光画像Ｇｓにおいて、表示病変部を含む領域を切出すことによって、通常画像Ｇｎに重畳する特殊光画像Ｇｓの特殊光画像データを生成している。
【００７１】
図７に示すように、重畳画像においては、通常画像Ｇｎ及び特殊光画像Ｇｓの表示病変部が表示されている。重畳画像データの生成過程においては、画像処理回路３５は、システムコントローラ３０の取得時点から画素数が変更されていない通常画像データを用いて、重畳画像データを生成している。このため、重畳画像の通常画像Ｇｎに写っている表示病変部の視認性は高い。更に、特殊光画像データも縮小されておらず、特殊光画像データにおいて、表示病変部の画像データに係る画素数は、信号処理回路３４から取得した特殊光画像データの画素数と同じである。従って、重畳画像の特殊光画像Ｇｓに写っている表示病変部の視認性も高い。
【００７２】
＜重畳画像の変化の説明＞
図８は重畳画像の変化の説明図である。図８には、可撓管２０の先端部を腔内で奥に進めた場合における通常画像Ｇｎ及び重畳画像の変化を示している。可撓管２０の先端部を奥に進めた場合、通常画像Ｇｎ及び重畳画像それぞれは、上側、中央及び下側の画像に順次変化する。通常画像Ｇｎ及び特殊光画像Ｇｓそれぞれに写っている複数の病変部Ｂに関して、大きさが同一である場合、可撓管２０の先端部に近い病変部Ｂの面積は大きい。可撓管２０の先端部を奥に進めた場合、面積が最大である病変部Ｂは順次変更される。
【００７３】
重畳画像においては、面積が最も大きい病変部Ｂ、即ち、可撓管２０の先端部に近い病変部Ｂが通常画像Ｇｎ及び特殊光画像Ｇｓにおいて表示されている。図８の上側及び中央に示す重畳画像では、重畳画像を表示する矩形状の表示領域において、表示病変部を含む病変領域Ａｂ及び特殊光画像Ｇｓは対角に配置されている。図８の下側に示す重畳画像では、表示領域において、病変領域Ａｂ及び特殊光画像Ｇｓは、横方向に隣接している。
なお、通常画像Ｇｎにおいて表示病変部が中央の上側に位置している場合、画像処理回路３５は、病変領域Ａｂ及び特殊光画像Ｇｓが縦方向に隣接している重畳画像の重畳画像データを生成する。
【００７４】
前述したように、通常画像Ｇｎにおいて、病変部Ｂが検出されなかった場合、通常画像がモニタ装置１２に表示される。通常画像Ｇｎにおいて、表示病変部の面積が大きいために、表示領域において、特殊光画像Ｇｓを重畳する領域が存在しない場合、特殊光画像Ｇｓがモニタ装置１２に表示される。
【００７５】
プロセッサ装置１１では、病変領域Ａｂとは異なる通常画像Ｇｎの領域に特殊光画像Ｇｓが重畳される。このため、画像処理回路３５は、重畳画像データを生成する場合において、通常画像Ｇｎ、即ち、通常画像データの縮小が不要であるか、又は、通常画像データの縮小幅は小さい。従って、通常画像Ｇｎ及び特殊光画像Ｇｓを表示し、かつ、表示病変部の視認性が高い重畳画像の重畳画像データが、画像処理回路３５によって生成される。また、複数の病変部Ｂが検出された場合、面積が最も大きい病変部Ｂが表示病変部として重畳画像において表示されるので、使用者の利便性が高い。
【００７６】
また、重畳画像において、病変領域Ａｂ及び特殊光画像Ｇｓが対角に表示されているか、又は、病変領域Ａｂ及び特殊光画像Ｇｓが縦方向若しくは横方向に隣接している。このため、特殊光画像Ｇｓを見ながら通常画像Ｇｎを容易に観察することができる。
【００７７】
（実施の形態２）
複数の病変部Ｂが検出された場合、重畳画像において表示される病変部Ｂの数は多いことが好ましい。
以下では、実施の形態２について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通しているため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
【００７８】
＜画像表示処理の説明＞
図９及び図１０は、実施の形態２における画像表示処理の手順を示すフローチャートである。システムコントローラ３０は、例えば、信号処理回路３４から通常画像データ及び特殊光画像データを取得する都度、画像表示処理を実行する。実施の形態２における画像表示処理では、システムコントローラ３０は、まず、ステップＳ２１を実行する。実施の形態２における画像表示処理のステップＳ２１〜Ｓ２５，Ｓ３４〜Ｓ４１それぞれは、実施の形態１における画像表示処理のステップＳ１〜Ｓ５，Ｓ７〜Ｓ１４と同様である。更に、実施の形態２における画像表示処理のステップＳ２８，Ｓ２９，Ｓ３０〜Ｓ３３それぞれは、実施の形態１における画像表示処理のステップＳ８，Ｓ９，Ｓ１１〜Ｓ１４と同様である。このため、ステップＳ２１〜Ｓ２５，Ｓ２８〜Ｓ４１の詳細な説明を省略する。
【００７９】
システムコントローラ３０は、ステップＳ２４で特定した病変部Ｂの数が２以上であると判定した場合（Ｓ２５：ＹＥＳ）、実施の形態１における画像表示処理のステップＳ６と同様に、病変部Ｂが存在する検出領域Ａｄの数に基づいて、面積が最も大きい最大病変部と、面積が２番目に大きい２番病変部とを特定する（ステップＳ２６）。システムコントローラ３０は２番病変特定部としても機能する。
【００８０】
図１１は、最大病変部及び２番病変部の特定の説明図である。図１１の上側部分は、図４の中央部分に対応する。実施の形態１と同様に、通常画像Ｇｎには、病変部Ｂを検出するための複数の検出領域Ａｄが予め設定され、システムコントローラ３０は各検出領域Ａｄにおいて病変部Ｂを検出する。図１１の下側部分は、図６に対応する。図１１の下側には、病変部Ｂの検出結果が示されている。
【００８１】
図１１の例では、左上の病変部Ｂの面積が３であり、右の病変部Ｂの面積が２であり、左下の病変部Ｂの面積が１である。ステップＳ２６では、最大病変部は、システムコントローラ３０によって、左上の病変部Ｂに特定され、２番病変部は、システムコントローラ３０によって、右の病変部Ｂに特定される。
【００８２】
次に、システムコントローラ３０は、モニタ装置１２で表示する表示病変部を、ステップＳ２７で特定した最大病変部及び２番病変部に決定する（ステップＳ２７）。システムコントローラ３０は、ステップＳ２７を実行した後、通常画像Ｇｎにおいて、表示病変部を含む病変領域Ａｂを設定する（ステップＳ２８）。
【００８３】
図１１の上側に示すように、検出結果の枠線は通常画像Ｇｎの枠線と一致している。図１１では、図６と同様に、病変領域Ａｂは斜線のハンチングによって示されている。図１１の下側に示すように、ステップＳ２８で設定される病変領域Ａｂは、枠線の一部が検出結果の枠線、即ち、通常画像Ｇｎの枠線の一部と一致し、かつ、表示病変部に対応する検出領域Ａｄが含まれる矩形状の領域に設定される。ステップＳ２８で設定される病変領域Ａｂには、ステップＳ２６で特定した最大病変部及び２番目病変部が含まれる。
【００８４】
システムコントローラ３０は、ステップＳ２８を実行した後、ステップＳ２９を実行する。ステップＳ２９では、病変領域Ａｂとは異なる通常画像Ｇｎの領域において、特殊光画像Ｇｓを重畳する重畳領域が存在するか否かを判定する。システムコントローラ３０は、重畳領域が存在すると判定した場合（Ｓ２９：ＹＥＳ）、ステップＳ３０〜Ｓ３３を順次実行し、画像表示処理を終了する。システムコントローラ３０がステップＳ３３を実行した場合、重畳画像データはモニタ装置１２に出力し、モニタ装置１２において、重畳画像データの重畳画像が表示される。
【００８５】
図１２は重畳画像の説明図である。図１２には、システムコントローラ３０がステップＳ３３を実行することによって、モニタ装置１２に表示される重畳画像が表示されている。図１２は図７に対応する。システムコントローラ３０がステップＳ３２，Ｓ３３を実行することによって、画像処理回路３５は、表示病変部を含む病変領域Ａｂが写っている重畳画像の重畳画像データを生成し、生成した重畳画像データをモニタ装置１２に出力する。この場合、重畳画像には、面積が最も大きい病変部Ｂに加えて、面積が２番目に大きい病変部Ｂも表示されるので、使用者の利便性が更に高い。
【００８６】
システムコントローラ３０は、重畳領域が存在しないと判定した場合（Ｓ２９：ＮＯ）、最大病変部及び２番目病変部が写っている重畳画像の重畳画像データを生成することができないとして、ステップＳ３４を実行する。ステップＳ３４において、病変部Ｂの数が１つである場合、システムコントローラ３０は、表示病変部を、通常画像Ｇｎに写っている病変部Ｂに決定する。病変部Ｂの数が２以上である場合、システムコントローラ３０は、表示病変部を、ステップＳ２６で特定した最大病変部に決定し、表示病変部から２番目病変部を除く。
【００８７】
以上のように、実施の形態２における内視鏡システム１では、病変部Ｂの数が２以上である場合において、最大病変部及び２番目病変部を重畳画像上に表示すことが可能であるとき、この重畳画像をモニタ装置１２に表示する。病変部Ｂの数が２以上である場合において、最大病変部及び２番目病変部を重畳画像上に表示することが不可能であるとき、最大病変部を重畳画像上に表示することが可能か否かを判定する。最大病変部を重畳画像上に表示することが可能である場合、この重畳画像をモニタ装置１２に表示する。最大病変部を重畳画像上に表示することが不可能である場合、特殊光画像Ｇｓをモニタ装置１２に表示する。
実施の形態２におけるプロセッサ装置１１は、実施の形態１におけるプロセッサ装置１１が奏する効果を同様に奏する。
【００８８】
（実施の形態３）
実施の形態１においては、通常画像Ｇｎに特殊光画像Ｇｓを重畳した重畳画像を生成し、生成した重畳画像をモニタ装置１２に表示している。モニタ装置１２に表示する重畳画像は、通常画像Ｇｎに特殊光画像Ｇｓを重畳した重畳画像に限定されない。
以下では、実施の形態３について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通しているため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
【００８９】
＜プロセッサ装置１１の構成＞
操作パネル３２は、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳する第１重畳指示と、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳する第２重畳指示とを受け付ける。使用者は、操作パネル３２を操作することによって、第１重畳指示及び第２重畳指示を行う。操作パネル３２は受付部として機能する。
【００９０】
＜画像表示処理の説明＞
操作パネル３２が第１重畳指示を受け付けている場合、システムコントローラ３０は、実施の形態１と同様の画像表示処理を実行する。操作パネル３２が第２重畳指示を受け付けている場合、システムコントローラ３０は、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳した重畳画像を、画像処理回路３５が生成する画像表示処理を実行する。実施の形態１における画像表示処理の説明において、通常画像Ｇｎ及び特殊光画像Ｇｓそれぞれを特殊光画像Ｇｓ及び通常画像Ｇｎに置き換えることによって、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳した重畳画像の重畳画像データを、画像処理回路３５が生成する画像表示処理を説明することができる。
【００９１】
図１３は、実施形態３における重畳画像の説明図である。操作パネル３２が第１重畳指示を受け付けている場合、画像処理回路３５は、システムコントローラ３０の指示に従って、図１３の上側に示す重畳画像の重畳画像データを生成する。この重畳画像は、図７に示す重畳画像と同様である。
【００９２】
操作パネル３２が第２重畳指示を受け付けている場合、画像処理回路３５は、システムコントローラ３０の指示に従って、特殊光画像Ｇｓの領域に通常画像Ｇｎが重畳されている重畳画像の重畳画像データを生成する。図１３の下側に示すように、病変部Ｂの数が２以上である場合、面積が最も大きい病変部Ｂである最大病変部が、特殊光画像Ｇｓ及び通常画像Ｇｎ上に表示される。
【００９３】
使用者は、操作パネル３２が受け付けている重畳指示を切替えることによって、モニタ装置１２に表示される重畳画像が切替わる。このため、使用者は、最大病変部について種々の観察を行うことができる。
実施の形態３におけるプロセッサ装置１１は、実施の形態１におけるプロセッサ装置１１が奏する効果を同様に奏する。
【００９４】
＜なお書き＞
操作パネル３２が第１重畳指示及び第２重畳指示を受け付ける構成を、実施の形態２におけるプロセッサ装置１１の構成に追加してもよい。操作パネル３２が第１重畳指示を受け付けている場合、システムコントローラ３０は、実施の形態２と同様の画像表示処理を実行する。操作パネル３２が第２重畳指示を受け付けている場合、画像処理回路３５は、特殊光画像Ｇｓの領域に通常画像Ｇｎが重畳されている重畳画像の重畳画像データを生成する。
【００９５】
実施の形態２における画像表示処理の説明において、通常画像Ｇｎ及び特殊光画像Ｇｓそれぞれを特殊光画像Ｇｓ及び通常画像Ｇｎに置き換えることによって、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳した重畳画像の重畳画像データを、画像処理回路３５が生成する画像表示処理を説明することができる。
【００９６】
また、第１重畳指示及び第２重畳指示を受け付ける構成部は、プロセッサ装置１１の操作パネル３２に限定されず、例えば、電子スコープ１０の操作部２１であってもよい。例えば、操作部２１はボタンを有し、使用者は、操作部２１のボタンを操作することによって、第１重畳指示及び第２重畳指示を行う。
【００９７】
（実施の形態４）
実施の形態３において、通常画像Ｇｎに重畳する特殊光画像Ｇｓは、信号処理回路３４から画像処理回路３５が取得した特殊光画像データの特殊光画像Ｇｓにおいて、表示病変部を含む領域を切出すことによって生成される特殊光画像Ｇｓに限定されない。更に、特殊光画像Ｇｓに重畳する通常画像Ｇｎは、信号処理回路３４から画像処理回路３５が取得した通常画像データの通常画像Ｇｎにおいて、表示病変部を含む領域を切出すことによって生成される通常画像Ｇｎに限定されない。
以下では、実施の形態４について、実施の形態３と異なる点を説明する。後述する構成を除く他の構成については、実施の形態３と共通しているため、実施の形態３と共通する構成部には実施の形態３と同一の参照符号を付してその説明を省略する。
【００９８】
＜画像表示処理の説明＞
システムコントローラ３０は、ステップＳ１３で重畳画像データの生成を画像処理回路３５に指示した場合、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳した重畳画像の重畳画像データ、又は、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳した重畳画像の重畳画像データを生成し、生成した重畳画像データをモニタ装置１２に出力する。モニタ装置１２は、入力された重畳画像データの重畳画像を表示する。
【００９９】
図１４は、実施の形態４における重畳画像の説明図である。操作パネル３２が第１重畳指示を受け付けている場合、図１４の上側に示すように、通常画像Ｇｎの領域に特殊光画像Ｇｓが重畳されている重畳画像が表示されている。操作パネル３２が第２重畳指示を受け付けている場合、図１４の下側に示すように、特殊光画像Ｇｓの領域に通常画像Ｇｎが重畳されている重畳画像が表示されている。
【０１００】
図１４に示すように、画像処理回路３５は、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳する場合、信号処理回路３４から取得した特殊光画像データを縮小し、縮小した特殊光画像データの特殊光画像Ｇｓを、病変領域Ａｂとは異なる通常画像Ｇｎの領域に重畳する。同様に、画像処理回路３５は、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳する場合、信号処理回路３４から取得した通常画像データを縮小し、縮小した通常画像データの通常画像Ｇｎを病変領域Ａｂとは異なる特殊光画像Ｇｓの領域に重畳する。画像処理回路３５は縮小部としても機能する。
【０１０１】
以上のように、モニタ装置１２では、縮小された特殊光画像Ｇｓ又は通常画像Ｇｎが表示されるので、縮小された画像を見ることによって、生体組織を広範囲にわたって確認することができる。
実施の形態４におけるプロセッサ装置１１は、実施の形態３におけるプロセッサ装置１１が奏する効果の中で、表示病変部を含む領域を切出すことによって得られる効果を除く他の効果を同様に奏する。
【０１０２】
＜なお書き＞
実施の形態２におけるプロセッサ装置１１の構成に、操作パネル３２が第１重畳指示及び第２重畳指示を受け付ける構成を追加した上で、更に、縮小された特殊光画像Ｇｓ又は通常画像Ｇｎが重畳する構成を追加してもよい。
【０１０３】
（実施の形態５）
前述したように、実施の形態３において、通常画像Ｇｎに重畳する特殊光画像Ｇｓは、信号処理回路３４から画像処理回路３５が取得した特殊光画像データの特殊光画像Ｇｓにおいて、表示病変部を含む領域を切出すことによって生成される特殊光画像Ｇｓに限定されない。更に、特殊光画像Ｇｓに重畳する通常画像Ｇｎは、信号処理回路３４から画像処理回路３５が取得した通常画像データの通常画像Ｇｎにおいて、表示病変部を含む領域を切出すことによって生成される通常画像Ｇｎに限定されない。
以下では、実施の形態５について、実施の形態３と異なる点を説明する。後述する構成を除く他の構成については、実施の形態３と共通しているため、実施の形態３と共通する構成部には実施の形態３と同一の参照符号を付してその説明を省略する。
【０１０４】
＜画像表示処理の説明＞
システムコントローラ３０は、ステップＳ１３で重畳画像データの生成を画像処理回路３５に指示した場合、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳した重畳画像の重畳画像データ、又は、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳した重畳画像の重畳画像データを生成し、生成した重畳画像データをモニタ装置１２に出力する。モニタ装置１２は、入力された重畳画像データの重畳画像を表示する。
【０１０５】
図１５は、実施の形態５における重畳画像の説明図である。操作パネル３２が第１重畳指示を受け付けている場合、図１５の上側に示すように、通常画像Ｇｎの領域に特殊光画像Ｇｓが重畳されている重畳画像が表示されている。操作パネル３２が第２重畳指示を受け付けている場合、図１５の下側に示すように、特殊光画像Ｇｓの領域に通常画像Ｇｎが重畳されている重畳画像が表示されている。
【０１０６】
図１５に示すように、画像処理回路３５は、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳する場合、信号処理回路３４から取得した特殊光画像データの特殊光画像Ｇｓにおいて、表示病変部を含む領域を切出し、切出した領域を拡大する。これにより、通常画像Ｇｎに重畳する特殊光画像Ｇｓの特殊光画像データを生成する。同様に、信号処理回路３４から取得した通常画像データの通常画像Ｇｎにおいて、表示病変部を含む領域を切出し、切出した領域を拡大する。これにより、特殊光画像Ｇｓに重畳する通常画像Ｇｎの通常画像データを生成する。
【０１０７】
以上のように、モニタ装置１２では、拡大された特殊光画像Ｇｓ又は通常画像Ｇｎが表示されるので、最大病変部を詳細に観察することができる。
実施の形態５におけるプロセッサ装置１１は、実施の形態３におけるプロセッサ装置１１が奏する効果を同様に奏する。
【０１０８】
＜なお書き＞
実施の形態２におけるプロセッサ装置１１の構成に、操作パネル３２が第１重畳指示及び第２重畳指示を受け付ける構成を追加した上で、更に、拡大された特殊光画像Ｇｓ又は通常画像Ｇｎが重畳する構成を追加してもよい。
【０１０９】
（実施の形態６）
実施の形態１における画像表示処理では、システムコントローラ３０は、特殊光画像Ｇｓを重畳する重畳位置を、矩形状の表示領域において、特殊光画像及び病変領域Ａｂが対角に配置される位置、又は、特殊光画像及び病変領域Ａｂが表示領域の縦方向若しくは横方向に隣接する位置に決定する。しかしながら、重畳位置はこれらの位置に限定されない。
以下では、実施の形態６について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通しているため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
【０１１０】
＜画像表示処理の説明＞
図１６は、実施の形態６における画像表示処理の手順を示すフローチャートである。実施の形態５の画像表示処理で実行される多くのステップの内容は、実施の形態１の画像表示処理で実行されるステップの内容と同様である。このため、実施の形態５の画像表示処理で実行されるステップの中で、実施の形態１の画像表示処理で実行されるステップと内容が同じステップには、実施の形態１と同様の番号を付してその説明を省略する。
【０１１１】
内視鏡システム１では、可撓管２０の先端面から光を照射して生体組織を撮像する。可撓管２０の先端面から生体組織に照射する光の角度、又は、生体組織の構造に応じて、可撓管２０の先端面から照射された照射光が十分に当たらない暗部が生じる可能性がある。
【０１１２】
システムコントローラ３０は、ステップＳ１１を実行した後、病変領域Ａｂとは異なる通常画像Ｇｎの領域において暗部を検出する（ステップＳ４１）。通常画像データにおける各画素の階調値を閾値と比較し、閾値以下の階調値を持つ画素が連続するような領域を求めることにより、暗部を検出することができる。システムコントローラ３０は暗部検出部としても機能する。
システムコントローラ３０は、ステップＳ４１を実行した後、ステップＳ１２を実行し、特殊光画像Ｇｓの重畳位置を決定する。
【０１１３】
ステップＳ４１で暗部が検出されていない場合においては、システムコントローラ３０は、実施の形態１と同様に重畳位置を決定する。ステップＳ４１で暗部が検出されている場合においては、システムコントローラ３０は、重畳位置を、通常画像Ｇｎの暗部が特殊光画像Ｇｓによって隠れる位置に決定する。
【０１１４】
図１７は、通常画像Ｇｎ及び重畳画像の説明図である。図１７に示すように、通常画像Ｇｎにおいて、暗部Ａｋが検出された場合、システムコントローラ３０は、特殊光画像Ｇｓを重畳する重畳位置を、病変領域Ａｂとは異なる通常画像Ｇｎにおいて暗部Ａｋが特殊光画像Ｇｓによって隠れる位置に決定する。画像処理回路３５は、システムコントローラ３０が検出した通常画像Ｇｎの暗部Ａｋに特殊光画像Ｇｓが重畳された重畳画像の重畳画像データを生成し、生成した重畳画像データをモニタ装置１２に出力する。
【０１１５】
以上のように、生体組織の観察に不要な通常画像Ｇｎの暗部Ａｋに、特殊光画像Ｇｓが重畳されているため、重畳画像では、生体組織の観察に不要な部分は少ない。
実施の形態６におけるプロセッサ装置１１は、実施の形態１におけるプロセッサ装置１１が奏する効果を同様に奏する。
【０１１６】
＜なお書き＞
暗部Ａｋが隠れるように重畳位置を決定する構成を、実施の形態２〜５におけるプロセッサ装置１１の構成に追加してもよい。この場合、システムコントローラ３０は、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳する重畳位置だけではなく、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳する重畳位置も、暗部Ａｋが隠れる位置に決定してもよい。
【０１１７】
（実施の形態７）
実施の形態１において、重畳画像を表示する表示領域の縦及び横の長さは、通常画像Ｇｎの縦及び横の長さと一致している。しかしながら、表示領域は、信号処理回路３４から取得した通常画像Ｇｎの領域よりも広くてもよい。
以下では、実施の形態７について、実施の形態１と異なる点を説明する。後述する構成を除く他の構成については、実施の形態１と共通しているため、実施の形態１と共通する構成部には実施の形態１と同一の参照符号を付してその説明を省略する。
【０１１８】
＜画像表示処理の説明＞
図１８は、実施の形態７における重畳位置の決定の説明図である。システムコントローラ３０は、画像表示処理のステップＳ１２において、実施の形態１と同様に、特殊光画像Ｇｓを重畳する重畳位置を決定する。ステップＳ１２では、システムコントローラ３０は、矩形状の表示領域において、特殊光画像Ｇｓ及び病変領域Ａｂが対角に配置されるように、又は、特殊光画像Ｇｓ及び病変領域Ａｂが表示領域の縦方向若しくは横方向に隣接するように、特殊光画像Ｇｓの重畳位置を決定する。
図１８の上側に示すように、表示領域の縦の長さＨｄ及び横の長さＷｄそれぞれは、信号処理回路３４から取得した通常画像Ｇｎの縦の長さ及び横の長さよりも長い。病変領域Ａｂは、通常画像Ｇｎの左上に設定されている。
【０１１９】
画像処理回路３５は、システムコントローラ３０の指示に従って重畳画像データを生成する。重畳画像データの重畳画像では、図１８の下側に示すように、病変領域Ａｂとは異なる通常画像Ｇｎの領域と、通常画像Ｇｎ外の領域とにわたって特殊光画像Ｇｓが配置されている。
【０１２０】
以上のように、重畳画像では、病変領域Ａｂとは異なる通常画像Ｇｎの領域と、通常画像Ｇｎ外の領域とにわたって特殊光画像Ｇｓが配置されるので、病変部Ｂの観察がし易い重畳画像の重畳画像データが画像処理回路３５によって生成される。
実施の形態７におけるプロセッサ装置１１は、実施の形態１におけるプロセッサ装置１１が奏する効果を同様に奏する。
【０１２１】
＜なお書き＞
実施の形態２〜６において、表示領域は、実施の形態７と同様に、信号処理回路３４から取得した通常画像Ｇｎ又は特殊光画像Ｇｓの領域よりも広くてもよい。
【０１２２】
＜実施の形態１〜７全体のなお書き＞
実施の形態１〜７において、システムコントローラ３０は、病変部Ｂを検出した場合、使用者の指示を受け付けることなく、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳した重畳画像、又は、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳した重畳画像の生成を画像処理回路３５に指示してもよい。画像処理回路３５は、システムコントローラ３０の指示に従って重畳画像を生成し、モニタ装置１２はこの重畳画像を表示する。
【０１２３】
また、実施の形態１〜７において、操作パネル３２は、重畳画像データの生成を停止する停止指示と、重畳画像データの生成を指示する生成指示とを受けてもよい。操作パネル３２は停止指示を受け付けた場合、画像処理回路３５は、信号処理回路３４から取得した通常画像データ又は特殊光画像データを出力する。これにより、モニタ装置１２には、通常画像Ｇｎ又は特殊光画像Ｇｓが単独で表示される。操作パネル３２は生成指示を受け付けた場合、重畳画像データを生成し、生成した重畳画像データを出力する。
【０１２４】
更に、実施の形態１〜７において、画像処理回路３５が生成する重畳画像データの重畳画像は、通常画像Ｇｎの領域に特殊光画像Ｇｓを重畳した画像、又は、特殊光画像Ｇｓの領域に通常画像Ｇｎを重畳する画像に限定されない。一例として、画像処理回路３５が生成する重畳画像データの重畳画像は、一時停止した通常画像Ｇｎ又は特殊光画像Ｇｓの領域にリアルタイムで表示が切替わる通常画像Ｇｎ又は特殊光画像Ｇｓを重畳した重畳画像であってもよい。他例として、画像処理回路３５が生成する重畳画像データの重畳画像は、リアルタイムで表示が切替わる通常画像Ｇｎ又は特殊光画像Ｇｓの領域に一時停止した通常画像Ｇｎ又は特殊光画像Ｇｓを重畳した重畳画像であってもよい。
【０１２５】
また、実施の形態１〜７において、表示病変部として決定される病変部Ｂの数の最大値は、２に限定されず、３以上であってもよい。例えば、表示病変部として、最大病変部、２番病変部、及び、面積が３番目に大きい病変部を決定してもよい。また、通常画像Ｇｎ、特殊光画像Ｇｓ及び重畳画像それぞれの形状は矩形状に限定されない。
【０１２６】
実施の形態１〜７で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
開示された実施の形態１〜７はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２７】
１  内視鏡システム
１１  プロセッサ装置（画像生成装置）
３０  システムコントローラ（病変検出部、最大病変特定部、２番病変特定部、判定部、暗部検出部）
３５  画像処理回路（画像生成部、第１画像取得部、第２画像取得部、縮小部、出力部）
３２  操作パネル（受付部）
Ｐ  コンピュータプログラム
【図１】
2020171599.tif 000003
【図２】
2020171599.tif 000004
【図３】
2020171599.tif 000005
【図４】
2020171599.tif 000006
【図５】
2020171599.tif 000007
【図６】
2020171599.tif 000008
【図７】
2020171599.tif 000009
【図８】
2020171599.tif 000010
【図９】
2020171599.tif 000011
【図１０】
2020171599.tif 000012
【図１１】
2020171599.tif 000013
【図１２】
2020171599.tif 000014
【図１３】
2020171599.tif 000015
【図１４】
2020171599.tif 000016
【図１５】
2020171599.tif 000017
【図１６】
2020171599.tif 000018
【図１７】
2020171599.tif 000019
【図１８】
2020171599.tif 000020