(57)【要約】  本発明に係る内視鏡システムは、被検体を撮像して撮像信号を出力する内視鏡と、内視鏡から入力される撮像信号に対して画像処理を施す画像処理装置と、画像処理装置によって画像処理が施された撮像信号に基づいて前記被検体の画像を表示する表示装置と、を備え、内視鏡、画像処理装置および表示装置のいずれかに設けられ、内視鏡において撮像信号を生成して出力するまでに要する第１の処理時間と、画像処理装置において撮像信号が入力されてから表示装置に出力するまでの処理に要する第２の処理時間と、表示装置において撮像信号が入力されてから撮像信号に基づき画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部を有する。
2020178962.tif 000002
【特許請求の範囲】
【請求項１】
被検体を撮像して撮像信号を出力する内視鏡と、
前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、
前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、
を備え、
前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、
を有する内視鏡システム。
【請求項２】
前記内視鏡は、
受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、
前記撮像素子が生成した前記撮像信号に対して信号処理を施す第１の処理部と、
を有し、
前記画像処理装置は、
前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第２の処理部、
を有し、
前記表示装置は、
前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第３の処理部、
を有し、
前記総処理時間検出部は、前記撮像素子および前記第１の処理部が処理に要する第１の処理時間と、前記第２の処理部が処理に要する第２の処理時間と、前記第３の処理部が処理に要する第３の処理時間とを総和する
請求項１に記載の内視鏡システム。
【請求項３】
前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、
をさらに備える請求項１に記載の内視鏡システム。
【請求項４】
前記画像処理装置は、
前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第２の処理部に、当該第２の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、
をさらに備える請求項２に記載の内視鏡システム。
【請求項５】
前記画像処理装置は、
予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、
前記表示装置の前記第３の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第１の基準画像データと、前記表示装置から取得した第２の基準画像データとの位相を比較することによって、前記第３の処理部が処理に要する前記第３の処理時間を取得する位相比較部と、
を備え、
前記総処理時間検出部は、前記第１および第２の処理時間と、前記位相比較部が取得した、前記第３の処理時間との総和を算出する
請求項２に記載の内視鏡システム。
【請求項６】
前記総処理時間検出部は、前記内視鏡に格納された前記第１の処理時間と、前記画像処理装置に格納された前記第２の処理時間と、前記表示装置に格納された前記第３の処理時間との総和を算出する
請求項１に記載の内視鏡システム。
【請求項７】
被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、
前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡を備える内視鏡システムおよび画像処理装置に関する。
【背景技術】
【０００２】
従来、医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から光源装置によって供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって体内画像を撮像する。内視鏡の撮像部によって撮像された体内画像は、内視鏡システムの処理装置において所定の画像処理が施された後に、内視鏡システムのディスプレイに表示される。医師等のユーザは、ディスプレイに表示される体内画像に基づいて、被検体の臓器を観察する。【０００３】
ところで、処理装置では、画像の種類や画像処理の種別によって体内画像を取得してから、表示用の画像データが生成されるまでの処理時間が異なる。処理時間が長いと、内視鏡で撮像されてから表示装置に表示されるまでのタイムラグも長くなる。タイムラグが長くなると、被検体内における内視鏡の実際の位置と、表示装置を見て術者が認識する内視鏡の位置とにずれが生じ、適切な位置への処置ができない場合がある。【０００４】
表示のタイムラグに関しては、装置の処理遅延を考慮して信号処理する技術が知られている（例えば、特許文献１を参照）。特許文献１では、画像処理装置とプロセッサとを同期することによって、それぞれに接続される表示装置が表示する画像を同期している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−０３６４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、異なる処理装置に接続される表示装置の表示画像を揃えているだけであり、内視鏡の実際の位置と、術者が認識した位置とのずれを抑制することはできない。また、特許文献１では、内視鏡や表示装置における処理時間については考慮されていなかった。内視鏡システムにおける処理では、内視鏡や表示装置においても処理装置と同様に信号処理に要する時間が画像の種類や装置の種別によって異なる。【０００７】
本発明は、上記に鑑みてなされたものであって、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制することができる内視鏡システムおよび画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体を撮像して撮像信号を出力する内視鏡と、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、を備え、前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、を有することを特徴とする。【０００９】
また、本発明に係る内視鏡システムは、上記発明において、前記内視鏡は、受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、前記撮像素子が生成した前記撮像信号に対して信号処理を施す第１の処理部と、を有し、前記画像処理装置は、前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第２の処理部、を有し、前記表示装置は、前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第３の処理部、を有し、前記総処理時間検出部は、前記撮像素子および前記第１の処理部が処理に要する第１の処理時間と、前記第２の処理部が処理に要する第２の処理時間と、前記第３の処理部が処理に要する第３の処理時間とを総和することを特徴とする。【００１０】
また、本発明に係る内視鏡システムは、上記発明において、前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、をさらに備えることを特徴とする。【００１１】
また、本発明に係る内視鏡システムは、上記発明において、前記画像処理装置は、前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第２の処理部に、当該第２の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、をさらに備えることを特徴とする。【００１２】
また、本発明に係る内視鏡システムは、上記発明において、前記画像処理装置は、予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、前記表示装置の前記第３の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第１の基準画像データと、前記表示装置から取得した第２の基準画像データとの位相を比較することによって、前記第３の処理部が処理に要する前記第３の処理時間を取得する位相比較部と、を備え、前記総処理時間検出部は、前記第１および第２の処理時間と、前記位相比較部が取得した、前記第３の処理時間との総和を算出することを特徴とする。【００１３】
また、本発明に係る内視鏡システムは、上記発明において、前記総処理時間検出部は、前記内視鏡に格納された前記第１の処理時間と、前記画像処理装置に格納された前記第２の処理時間と、前記表示装置に格納された前記第３の処理時間との総和を算出することを特徴とする。【００１４】
また、本発明に係る画像処理装置は、被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、を備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。
【図２】図２は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１にかかる内視鏡システムが備える画像処理部の構成を説明する図である。
【図４】図４は、本発明の実施の形態１にかかる内視鏡システムが行う画像処理によって表示される画像について説明する図である。
【図５】図５は、本発明の実施の形態１にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。
【図６】図６は、本発明の実施の形態２にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。
【図７】図７は、本発明の実施の形態３にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。
【図８】図８は、本発明の実施の形態４にかかる内視鏡システムの概略構成を示すブロック図である。
【図９】図９は、本発明の実施の形態４にかかる内視鏡システムが行う遅延時間取得処理について説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる内視鏡システムの一例として、患者等の被検体を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態によって、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態１にかかる内視鏡システムの概略構成を示すブロック図である。
【００１９】
図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する照明部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３の信号処理によって生成された体内画像を表示する表示装置４と、を備える。
【００２０】
内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（照明部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。
【００２１】
挿入部２１は、光を受光して光電変換することによって信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。
【００２２】
先端部２４は、グラスファイバ等を用いて構成されて照明部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換する撮像素子２４４と、相関二重サンプリング（Correlated  Double  Sampling：ＣＤＳ）法を用いてアナログの撮像信号に含まれるノイズ成分を低減するＣＤＳ部２４５と、ＣＤＳ部２４５を経て出力されたアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換部２４６と、メモリ２４７とを有する。
【００２３】
光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
【００２４】
撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（画像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂとを有する。撮像素子２４４からは、表示画像の情報を構成する画像データを含む撮像信号が出力される。撮像素子２４４は、例えばＣＣＤ（Charge  Coupled  Device）イメージセンサや、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサを用いて実現される。
【００２５】
メモリ２４７は、撮像素子２４４が各種動作を実行するための実行プログラム及び制御プログラムや、内視鏡２の識別情報、内視鏡２における信号処理に要する遅延時間を記憶する。識別情報には、内視鏡２の固有情報（ＩＤ）、年式、スペック情報、および伝送方式等が含まれる。また、メモリ２４７は、撮像素子２４４が生成した画像データ等を一時的に記憶してもよい。遅延時間は、信号処理に起因するデータ伝送の遅延時間に相当し、ここではフレーム数で設定される。具体的に、遅延時間は、読み出し部２４４ｂによって読出しを開始してから、Ａ／Ｄ変換部２４６の変換処理が完了するまでの時間をフレーム数に換算した値である。メモリ２４７は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ等によって構成される。
【００２６】
操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入出力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。
【００２７】
ユニバーサルコード２３は、ライトガイド２４１と、複数の信号線をまとめた集合ケーブル２４８と、を少なくとも内蔵している。集合ケーブル２４８は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信によって内視鏡２と処理装置３との間で信号を伝送するものであってもよい。
【００２８】
次に、処理装置３の構成について説明する。処理装置３は、照明部３ａと、プロセッサ部３ｂとを備える。プロセッサ部３ｂは、画像処理部３１と、第１通信部３２と、総遅延時間検出部３３と、同期信号生成部３４と、第２通信部３５と、入出力部３６と、制御部３７と、記憶部３８と、を備える。プロセッサ部３ｂは、画像処理装置に相当する。
【００２９】
まず、照明部３ａの構成について説明する。照明部３ａは、光源部３１０と、照明制御部３２０と、を備える。
【００３０】
光源部３１０は、照明光を出射する光源や、複数のレンズ、所定の波長帯域の光を通過させるフィルタ等を用いて構成され、所定の波長帯域の光の照明光を出射する。光源部３１０は、光源３１０ａと、光源ドライバ３１０ｂと、回転フィルタ３１０ｃと、駆動部３１０ｄと、駆動ドライバ３１０ｅと、を有する。
【００３１】
光源部３１０は、白色ＬＥＤおよび一または複数のレンズ等を用いて構成され、光源ドライバ３１０ｂの制御のもと、白色光を回転フィルタ３１０ｃへ出射する。光源３１０ａが発生させた白色光は、回転フィルタ３１０ｃおよびライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。
【００３２】
光源ドライバ３１０ｂは、照明制御部３２０の制御のもと、光源３１０ａに対して電流を供給することによって、光源３１０ａに白色光を出射させる。
【００３３】
回転フィルタ３１０ｃは、光源３１０ａが出射する白色光の光路上に配置され、回転することによって、光源３１０ａが出射した白色光のうち所定の波長帯域の光のみを透過させる。具体的には、回転フィルタ３１０ｃは、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）それぞれの波長帯域を有する光を透過させる赤色フィルタ３１１、緑色フィルタ３１２および青色フィルタ３１３を有する。回転フィルタ３１０ｃは、回転することによって、赤、緑および青の波長帯域（例えば、赤：６００ｎｍ〜７００ｎｍ、緑：５００ｎｍ〜６００ｎｍ、青：４００ｎｍ〜５００ｎｍ）の光を順次透過させる。これによって、光源３１０ａが出射する白色光（Ｗ照明）を用いて、赤色光（Ｒ照明）、緑色光（Ｇ照明）および青色光（Ｂ照明）いずれかの光を内視鏡２に順次出射することができる（面順次方式）。
【００３４】
駆動部３１０ｄは、ステッピングモータやＤＣモータ等を用いて構成され、回転フィルタ３１０ｃを回転動作させる。
【００３５】
駆動ドライバ３１０ｅは、照明制御部３２０の制御のもと、駆動部３１０ｄに所定の電流を供給する。
【００３６】
照明制御部３２０は、制御部３７からの制御信号に基づいて、光源３１０ａに供給する電流量を制御する。また、照明制御部３２０は、制御部３７の制御のもと、光源ドライバ３１０ｂを経て駆動部３１ｄを駆動することによって、回転フィルタ３１０ｃを回転させる。
【００３７】
なお、光源３１０ａを赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤで構成し、光源ドライバ３１０ｂが各ＬＥＤに対して電流を供給することによって赤色光、緑色光または青色光を順次出射させるものであってもよい。また、白色ＬＥＤや、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤから同時に光を出射させるものや、レーザ、キセノンランプなどの放電灯等によって白色光を被検体に照射して画像を取得するものであってもよい。
【００３８】
画像処理部３１は、内視鏡２から、撮像素子２４４が撮像した各色の照明光の撮像信号を受信する。画像処理部３１は、内視鏡２から受信した撮像信号に対して所定の画像処理を施して表示用の撮像信号を生成して表示装置４へ出力する。画像処理部３１は、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサや、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、処理内容を書き換え可能なプログラマブルロジックデバイスであるＦＰＧＡ（Field  Programmable  Gate  Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを、一つ、または複数を組み合わせて構成される。
【００３９】
図３は、本発明の実施の形態１にかかる内視鏡システムが備える画像処理部の構成を説明する図である。画像処理部３１は、Ｄ／Ａ変換部５０１と、調光検波部５０２と、ＡＧＣ（Automatic  Gain  Control）部５０３と、ノイズ除去部５０４と、ホワイトバランス（ＷＢ）処理部５０５と、フリーズ処理部５０６と、ガンマ処理部５０７と、カラーマトリクス処理部５０８と、拡大縮小処理部５０９と、強調処理部５１０と、Ａ／Ｄ変換部５１１と、第１フレームメモリ５２１と、第２フレームメモリ５２２と、第３フレームメモリ５２３とを有する。
【００４０】
Ｄ／Ａ変換部５０１は、内視鏡２から入力されたデジタルの撮像信号をアナログ信号に変換する。以下、画像処理部５１では、撮像信号に含まれるデータのうち、画像表示に関するデータ（画像データ）に対して各種の処理を実施する。
【００４１】
調光検波部５０２は、Ｄ／Ａ変換部５０１から入力される画像データに含まれるＲＧＢ画像情報に基づいて、各画像に対応する明るさレベルを検出する。調光検波部５０２は、検出した明るさレベルに基づいて、照明部３ａが発生する光量や発光タイミング等の発光条件を設定する。
【００４２】
ＡＧＣ部５０３は、画像データに対して、信号値の増幅率（ゲイン）を調整して一定の出力レベルを維持する処理を施す。ＡＧＣ部５０３は、調光検波部５０２が設定した発光条件に応じたゲイン調整を実施する。
【００４３】
ノイズ除去部５０４は、ＡＧＣ部５０３から入力された画像データに対してノイズ低減処理を施す。ノイズ除去部５０４は、例えば第１フレームメモリ５２１を参照して前のフレームの画像データを取得し、取得した画像データと、ノイズ除去処理対象の画像データとを用いてノイズを除去する。ノイズ低減処理は、公知の手法を用いることができる。
【００４４】
ＷＢ処理部５０５は、ノイズ除去処理後の画像データに対してホワイトバランスを補正する処理を施す。ホワイトバランスの補正処理は、公知の手法を用いることができる。
【００４５】
フリーズ処理部５０６は、スイッチ２２３の押下によってフリーズ指示信号の入力を受け付けた場合に、第２フレームメモリ５２２を参照して、表示装置４にフリーズ表示させる画像データを選択する。フリーズ処理部５０６は、選択した画像データをガンマ処理部５０７に出力する。フリーズ処理部５０６は、例えば、第２フレームメモリ５２２に記憶されている画像データからぶれの小さい画像データを選択する。
一方、フリーズ処理部５０６は、フリーズ指示信号の入力を受け付けていない場合、第２フレームメモリ５２２における所定の画像データ、例えば取得（撮像）時刻が最新の画像データをガンマ処理部５０７に出力する。ここで、フリーズ処理部５０６は、最新の画像データを取得する際には、ＷＢ処理部５０５から画像データを取得してもよい。
なお、フリーズ処理部５０６は、フリーズ対象の画像データを選択後、フリーズ処理による静止画表示期間内では、ＷＢ処理部５０５から入力される画像データを第２フレームメモリ５２２に出力する処理のみを行う。フリーズ処理部５０６は、フリーズ処理が解除された後、ＷＢ処理部５０５から新たに入力される画像データを含めて、第２フレームメモリ５２２から最新の画像データの選択を行う。このため、フリーズ処理後において表示装置４に表示される画像は、フリーズ処理による静止画表示期間における最新の画像データが抜けた、フリーズ処理前とは時系列で間があいた画像が表示されることになる。所定のフレーム数の画像データが抜けることによって、フリーズ処理前後に表示される画像において、時系列で隣り合う画像を動画表示する場合と比して、被写体像の変化が大きくなる場合がある。
【００４６】
ガンマ処理部５０７は、フリーズ処理部５０６から入力された画像データに対してガンマ補正処理を施す。ガンマ処理部５０７は、画像データに対して、予め設定されているγ値を用いて、輝度の小さい暗い部分の明るさを明るくする階調補正を行う。ガンマ補正処理は、公知の手法を用いることができる。
【００４７】
カラーマトリクス処理部５０８は、ガンマ処理部５０７から入力された画像データに対し、色再現性を向上するための色補正を行う。カラーマトリクス処理部５０８は、画像データに対して、機器間で異なる色を統一的に管理する。カラーマトリクス処理部５０８は、例えば、内視鏡２、処理装置３および表示装置４の間の色を統一的に管理する。カラーマトリクス処理部５０８は、ＣＭＳ（Color  Management  System）を用いて構成される。カラーマトリクス処理は、公知の手法を用いることができる。
【００４８】
拡大縮小処理部５０９は、予め設定された拡大率もしくは縮小率、または入出力部３６を経て入力された拡大率もしくは縮小率に応じて、画像データのサイズを変更する処理を施す。なお、拡大縮小処理部５０９の処理は、設定によって拡大または縮小できなくすることもできる。ズーム処理の可否は、例えば入出力部３６が受け付けた情報によって切り替えてもよい。
【００４９】
強調処理部５１０は、拡大縮小処理後の画像データに対し、輪郭強調処理を施す。強調処理部５１０の強調処理によって、輪郭が一層明確に表現された画像データが生成される。輪郭強調処理は、公知の手法を用いることができる。
【００５０】
Ａ／Ｄ変換部５１１は、強調処理部５１０を経て出力されたアナログの画像データをデジタル信号に変換する。Ａ／Ｄ変換部５１１は、デジタル変換後の画像データを、画像表示用の撮像信号として表示装置４に出力する。
【００５１】
第１フレームメモリ５２１、第２フレームメモリ５２２、第３フレームメモリ５２３は、接続する各部によって生成された画像データを設定されたフレーム分記憶する。本実施の形態１では、各フレームメモリは、数フレーム分の画像データを記憶する。各フレームメモリは、新たな画像データが入力されると、現在記憶している画像データのうち、最も古い画像データを、新たな画像データで上書きすることで、取得時間の新しい方から順に数フレーム分の画像データを順次更新しながら記憶する。第１フレームメモリ５２１、第２フレームメモリ５２２および第３フレームメモリ５２３は、ＲＡＭ（Random  Access  Memory）、例えばＶＲＡＭ（Video  RAM）を用いて構成される。
【００５２】
第１通信部３２は、内視鏡２が接続された際に、内視鏡２のメモリ２４７に記憶されている処理時間を取得する。第１通信部３２は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００５３】
総遅延時間検出部３３は、内視鏡２、処理装置３および表示装置４において１フレーム分の撮像信号の生成から画像データを表示装置４に表示するまでの信号処理に要する遅延時間を検出する。具体的に、総遅延時間検出部３３は、内視鏡２の遅延時間、処理装置３の遅延時間、および表示装置４の遅延時間の総和を算出する。本実施の形態１において総遅延時間検出部３３が算出する値は、総遅延時間をフレーム数に換算した値である。総遅延時間検出部３３は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００５４】
同期信号生成部３４は、処理装置３の動作の基準となるクロック信号（同期信号）を生成するとともに、生成した同期信号を照明部３ａや、画像処理部３１、制御部３７、内視鏡２へ出力する。ここで、同期信号生成部３４が生成する同期信号は、水平同期信号と垂直同期信号とを含む。
このため、照明部３ａ、画像処理部３１、制御部３７、内視鏡２は、生成された同期信号によって、互いに同期をとって動作する。
【００５５】
第２通信部３５は、表示装置４が接続された際に、表示装置４のメモリ４４に記憶されている、表示装置４における信号処理に要する処理時間を取得する。第２通信部３５は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００５６】
入出力部３６は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。また、入出力部３６は、スピーカー、光源のうちの少なくとも一つを用いて実現され、音または光を出力する。なお、入出力部３６は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。
【００５７】
制御部３７は、撮像素子２４４および照明部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部３７は、記憶部３８に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４８に含まれる所定の信号線を経由して駆動信号として撮像素子２４４へ送信する。制御部３７は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００５８】
記憶部３８は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータ、ならびに、処理装置３における信号処理に要する遅延時間を記憶する。また、記憶部３８は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。処理時間は、処理装置３における信号処理に起因するデータ伝送の遅延時間に相当し、内視鏡２から画像データが入力されてから、画像データが表示装置４に出力されるまでの時間をフレーム数に換算した値である。また、記憶部３８は、内視鏡２や表示装置４を含むシステム全体における信号処理を制御するための信号処理条件を記憶する信号処理情報記憶部３８１を有する。信号処理情報記憶部３８１には、例えば、総遅延時間検出部３３が検出した総遅延時間に対して設定される一つまたは複数の閾値が記憶される。
【００５９】
また、記憶部３８は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを経由してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）などによって実現されるものであり、有線、無線を問わない。
【００６０】
以上の構成を有する記憶部３８は、各種プログラム等が予めインストールされたＲＯＭ（Read  Only  Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭやハードディスク等を用いて実現される。
【００６１】
表示装置４は、映像ケーブルを経由して処理装置３（画像処理部３１）から受信した画像データに対応する表示画像を表示する。表示装置４は、表示処理部４１と、表示部４２と、メモリ４４とを備える。
【００６２】
表示処理部４１は、処理装置３から受信した画像データに対して所定の処理、例えば同時化処理や形式変換等を施して表示部４２へ出力する。同時化処理は、光源部３１０がＲ照明光の照射時に撮像素子２４４が生成した画像データに基づくＲ画像データ、光源部３１０がＧ照明光の照射時に撮像素子２４４が生成した画像データに基づくＧ画像データ、および光源部３１０がＢ照明光の照射時に撮像素子２４４が生成した画像データに基づくＢ画像データの各々を同時化する処理である。
【００６３】
表示部４２は、液晶または有機ＥＬ（Electro  Luminescence）等のモニタを用いて構成される。
【００６４】
報知部４３は、スピーカー、光源のうちの少なくとも一つを用いて実現され、音または光を出力する。報知部４３は、表示遅延の度合いに応じて音、光を発する。
【００６５】
メモリ４４は、表示装置４が各種動作を実行するための実行プログラム及び制御プログラムや、表示装置４における信号処理に要する処理時間を記憶する処理時間は、信号処理に起因するデータ伝送の遅延時間に相当し、処理装置３から画像データが入力されてから、表示部４２に表示するまでの時間をフレーム数に換算した値である。メモリ４４は、ＲＡＭ、ＲＯＭ、フラッシュメモリ等によって構成される。
【００６６】
ここで、内視鏡システム１において、信号処理に遅延が生じた場合の、内視鏡２によって撮像されたときの像と、表示装置４に表示される画像とについて、図４を参照して説明する。図４は、本発明の実施の形態１にかかる内視鏡システムが行う画像処理によって表示される画像について説明する図であって、撮像タイミングおよび表示タイミングを示すタイミングチャートである。図４において、横軸は時間経過を示す。図４の（ａ）は、内視鏡２の撮像素子２４４によって撮像された際の像を示す。図４の（ｂ）は、遅延なく表示装置４に表示される画像を示す。図４の（ｃ）は、１フレーム分の表示時間だけ遅延した場合に表示装置４に表示される画像を示す。図４の（ｄ）は、２フレーム分の表示時間だけ遅延した場合に表示装置４に表示される画像を示す。
【００６７】
内視鏡２では、１フレーム分の画像データが、順次撮像される（図４の（ａ）参照）。具体的には、像Ｆ11、Ｆ12、Ｆ13、・・・、Ｆ16、Ｆ17、・・・の順で像が順次撮像される。像Ｆ12、Ｆ13、・・・、Ｆ16には、被写体Ｓが写っている。
【００６８】
内視鏡２で撮像された画像データが、上述した処理を経て表示装置４に表示される際、各処理において遅延が生じなければ、各フレームの画像データが、順次表示される（図４の（ｂ）参照）。具体的には、像Ｆ11、Ｆ12、Ｆ13、・・・、Ｆ16、Ｆ17に対応する画像Ｆ21、Ｆ22、Ｆ23、・・・、Ｆ26、Ｆ27が順次表示される。各画像（画像Ｆ21、Ｆ22、Ｆ23、・・・、Ｆ26、Ｆ27、・・・）は、内視鏡２において撮像されたタイミングと同じタイミングで表示装置４に表示される。
【００６９】
これに対し、内視鏡２で撮像されてから上述した処理を経て表示装置４に表示されるまでの間に遅延が生じると、各フレームの画像データが、遅延した分遅れて順次表示される（図４の（ｂ）、（ｃ）参照）。例えば、１フレーム分の遅延が生じた場合、像Ｆ11、Ｆ12、Ｆ13、・・・、Ｆ16に対応する画像Ｆ31、Ｆ32、Ｆ33、・・・、Ｆ36は、内視鏡２において撮像されたタイミングに対して１フレーム分遅れて表示装置４に表示される（図４の（ｂ）参照）。また、２フレーム分の遅延が生じた場合、像Ｆ11、Ｆ12、Ｆ13、Ｆ14、Ｆ15に対応する画像Ｆ41、Ｆ42、Ｆ43、Ｆ44、Ｆ45は、内視鏡２において撮像されたタイミングに対して２フレーム分遅れて表示装置４に表示される（図４の（ｃ）参照）。
フレーム単位で表示に遅延が生じる場合、例えば、２フレーム分遅延する場合、内視鏡２の先端部２４が、像Ｆ13が写る位置にある一方で、表示装置４の表示部４２には、像Ｆ11に応じた画像Ｆ41が表示される。この場合、内視鏡２の実際の位置と、術者が認識する内視鏡２の位置であって、表示部４２に表示される画像から識別される内視鏡２の位置とにずれが発生する。遅延フレーム数が大きくなれば、その分ずれも大きくなる。
【００７０】
本実施の形態１では、上述した表示遅延が発生する際に、その遅延度合いに応じて報知部４３に報知処理を実行させる。
【００７１】
続いて、内視鏡システム１が行う遅延検出処理について説明する。図５は、本発明の実施の形態１にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。
処理装置３は、電源投入後、内視鏡２および表示装置４が接続されると、メモリ２４７、４４から各装置の処理情報（遅延時間）を取得する（ステップＳ１０１）。
【００７２】
ステップＳ１０１に続くステップＳ１０２において、総遅延時間検出部３３は、記憶部３８を参照して処理装置３における処理時間（遅延時間）を取得し、各装置の遅延時間の総和を算出する。
【００７３】
ステップＳ１０２に続くステップＳ１０３において、制御部３７は、各装置の遅延時間の総和と、閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの閾値は、予め設定され、記憶部３８が記憶するものであり、フレーム数によって決定される値である。閾値としては、例えば、３以上のフレーム数が設定される。なお、入出力部３６が受け付けた情報であって、術者等のユーザが設定した閾値に関する情報に応じて、閾値を設定（変更）してもよい。
ここで、制御部３７は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。一方、制御部３７は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ１０３：Ｎｏ）、遅延検出処理を終了する。
【００７４】
ステップＳ１０４において、制御部３７は、表示装置４の報知部４３に、表示される画像に遅延が生じる旨を報知させる。報知部４３は、音または光を出力することによって、術者に対し、内視鏡２の実際の位置と、術者が認識した内視鏡２の位置とにずれが発生している旨を報知する。
この際、報知の強度を段階的に変化させてもよい。例えば、報知用の複数の閾値を設定しておき、総遅延時間（フレーム数）が大きくなるほど、音の大きさや、光の強度を変化させてもよい。
また、報知部４３のほか、入出力部３６が報知処理を実行してもよい。
【００７５】
以上説明した実施の形態１では、内視鏡２、処理装置３および表示装置４の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて報知部４３が報知する。術者は、報知部４３の報知処理によって、表示画像から自身が認識する内視鏡２の先端部２４の位置が、実際の位置とずれていることを判断できる。本実施の形態１によれば、内視鏡２の実際の位置と、表示画像を観察する術者が認識する内視鏡２の位置とのずれを抑制することができる。
【００７６】
なお、実施の形態１では、遅延度合いに応じて報知部４３が報知処理を実施する例を説明したが、表示部４２に、内視鏡２の実際の位置と、術者が認識した内視鏡２の位置とにずれが発生している旨の情報を表示する構成としてもよい。
【００７７】
（実施の形態２）
次に、本発明の実施の形態２について、図６を参照して説明する。図６は、本発明の実施の形態２にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態２にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態１とは異なる処理について説明する。
【００７８】
処理装置３は、電源投入後、内視鏡２および表示装置４が接続されると、メモリ２４７、４４から各装置の処理情報（遅延時間）を取得する（ステップＳ２０１）。
【００７９】
ステップＳ２０１に続くステップＳ２０２において、総遅延時間検出部３３は、記憶部３８を参照して処理装置３における処理時間（遅延時間）を取得し、各装置の遅延時間の総和を算出する。
【００８０】
ステップＳ２０２に続くステップＳ２０３において、制御部３７は、各装置の遅延時間の総和と、閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの閾値は、実施の形態１と同じである。
ここで、制御部３７は、各装置の遅延時間の総和が閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４に移行する。一方、制御部３７は、各装置の遅延時間の総和が閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ２０３：Ｎｏ）、ステップＳ２０５に移行する。
【００８１】
ステップＳ２０４において、制御部３７は、画像処理部３１に対して、間欠処理を実施させる。間欠処理では、総遅延時間（フレーム数）に応じて、一部の処理を間引く。間引き対象の処理としては、例えば、フリーズ処理や強調処理等が挙げられる。総遅延時間が長い（フレーム数が大きい）ほど、間引く処理数も多くなる。この際、各処理の間引き優先順位が予め設定され、記憶部３８に記憶される。制御部３７は、総遅延時間と、この優先順位を参照して、間引く処理を決定する。
なお、異なる焦点の画像を合成して全焦点画像を生成する処理や、三次元画像を生成する処理、４Ｋ解像度に対応させる処理、動画の色ずれ補正処理等を実施する場合には、これらの処理が間引き対象の処理となる。
このほか、モニタ出力フォーマットに制約を加えて遅延時間を削減してもよいし、Display  Portや、ＨＤＭＩ、ＤＶＩを用いている場合は、ＳＤＩ等への変更を促してもよい。ＳＤＩに変更することによって、Display  Portや、ＨＤＭＩ、ＤＶＩと比して、遅延時間を削減できる。
【００８２】
これに対し、ステップＳ２０５において、制御部３７は、画像処理部３１に対して、通常処理を実施させる。通常処理は、上述した画像処理部３１の各部（図３参照）に、それぞれ処理を実行させる。
【００８３】
以上説明した実施の形態２では、内視鏡２、処理装置３および表示装置４の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて画像処理の内容を変更する。本実施の形態２によれば、画像処理の一部を間引くことによって、遅延が解消され、その結果、内視鏡２の実際の位置と、表示画像を観察する術者が認識する内視鏡２の位置とのずれを抑制することができる。
【００８４】
（実施の形態３）
次に、本発明の実施の形態３について、図７を参照して説明する。図７は、本発明の実施の形態３にかかる内視鏡システムが行う遅延検出処理を示すフローチャートである。なお、本実施の形態３にかかる内視鏡システムは、上述した内視鏡システムと構成が同じであるため、説明を省略する。以下、実施の形態１、２とは異なる処理について説明する。実施の形態３では、遅延時間に基づいて、報知処理、または画像処理の変更処理を実行する。
【００８５】
処理装置３は、電源投入後、内視鏡２および表示装置４が接続されると、メモリ２４７、４４から各装置の処理情報（遅延時間）を取得する（ステップＳ３０１）。
【００８６】
ステップＳ３０１に続くステップＳ３０２において、総遅延時間検出部３３は、記憶部３８を参照して処理装置３における処理時間（遅延時間）を取得し、各装置の遅延時間の総和を算出する。
【００８７】
ステップＳ３０２に続くステップＳ３０３において、制御部３７は、各装置の遅延時間の総和と、第１閾値とを比較して、報知または処理変更すべき遅延が生じ得るか否かを判断する。ここでの第１閾値は、実施の形態１等と同様に、フレーム数で決まる数値である。
ここで、制御部３７は、各装置の遅延時間の総和が第１閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０４に移行する。一方、制御部３７は、各装置の遅延時間の総和が第１閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ３０３：Ｎｏ）、遅延検出処理を終了する。
【００８８】
ステップＳ３０４において、制御部３７は、各装置の遅延時間の総和と、第２閾値とを比較して、報知すべき遅延が生じ得るか否かを判断する。ここでの第２閾値は、フレーム数で決まる数値であって、第１閾値よりも大きい数値である。
ここで、制御部３７は、各装置の遅延時間の総和が第２閾値以上である、すなわち、総和によって、報知すべき遅延が生じ得ると判断した場合（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０５に移行する。一方、制御部３７は、各装置の遅延時間の総和が第２閾値未満である、すなわち、総和によって、報知すべき遅延は生じないと判断した場合（ステップＳ３０４：Ｎｏ）、ステップＳ３０６に移行する。
【００８９】
ステップＳ３０５において、制御部３７は、実施の形態１のステップＳ１０４と同様にして、表示装置４の報知部４３に、表示される画像に遅延が生じる旨を報知させる。この際、制御部３７は、画像処理部３１に対して、上述した画像処理部３１の各部（図３参照）に、それぞれ処理を実行させる通常処理を実施させる。
【００９０】
ステップＳ３０６において、制御部３７は、実施の形態２のステップＳ２０４と同様にして、画像処理部３１に対して、間欠処理を実施させる。
【００９１】
以上説明した実施の形態３では、内視鏡２、処理装置３および表示装置４の各装置における画像生成処理によって発生する遅延時間を検出し、検出結果に応じて、報知部４３が報知するか、画像処理の内容を変更するかを選択する。本実施の形態３によれば、遅延の報知、または遅延の解消によって、内視鏡２の実際の位置と、表示画像を観察する術者が認識する内視鏡２の位置とのずれを抑制することができる。
【００９２】
（実施の形態４）
次に、本発明の実施の形態４について、図８、９を参照して説明する。図８は、本発明の実施の形態４にかかる内視鏡システムの概略構成を示すブロック図である。
【００９３】
図８に示す内視鏡システム１Ａは、被検体内に先端部を挿入することによって被検体を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する照明部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３Ａと、処理装置３Ａの信号処理によって生成された体内画像を表示する表示装置４Ａと、を備える。本実施の形態２にかかる内視鏡システム１Ａは、上述した内視鏡システム１の処理装置３を処理装置３Ａ、表示装置４を表示装置４Ａに変えた以外は、同じ構成である。以下、実施の形態１とは構成が異なる構成について説明する。
【００９４】
表示装置４Ａは、映像ケーブルを経由して処理装置３（画像処理部３１）から受信した画像データに対応する表示画像を表示する。表示装置４は、表示処理部４１と、表示部４２と、報知部４３とを備える。本実施の形態３にかかる表示装置４Ａは、上述したメモリ４４を有しない構成である。このため、処理装置３は、表示装置４Ａから遅延時間を取得することができない。メモリ４４を有する構成としてもよいが、本実施の形態２では、遅延時間を記憶していないものとする。
【００９５】
処理装置３Ａは、照明部３ａと、画像処理部３１と、第１通信部３２と、総遅延時間検出部３３と、同期信号生成部３４と、第２通信部３５と、入出力部３６と、制御部３７と、記憶部３８と、遅延時間取得部３９とを備える。処理装置３Ａは、上述した処理装置３に対し、第２通信部３５に代えて遅延時間取得部３９を備えた構成である。以下、遅延時間取得部３９について説明する。
【００９６】
遅延時間取得部３９は、テストパターン出力部３９１と、位相比較部９２とを備える。遅延時間取得部３９は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。
【００９７】
テストパターン出力部３９１は、予め設定された所定のパターンの画像データを表示装置４Ａに出力する。
位相比較部３９２は、テストパターン出力部３９１が出力したパターンの画像と、表示装置４Ａにおいて処理された表示画像のパターンとの位相を比較する。ここでの位相は、順次出力される画像の明度の出現パターンをさす。位相比較部３９２は、テストパターン出力部３９１が出力したパターンの画像と、表示装置４Ａにおいて処理された表示画像のパターンとの位相の差を、遅延時間として求める。
【００９８】
図９は、本発明の実施の形態４にかかる内視鏡システムが行う遅延時間取得処理について説明する図であって、パターン出力タイミングおよび表示タイミングを示すタイミングチャートである。図９において、横軸は時間経過を示す。図９の（ａ）は、テストパターン出力部３９１から出力されたパターンに対応する画像を示す。図９の（ｂ）は、表示装置４Ａにおいて処理され、位相比較部に入力されたパターン画像を示す。表示装置４Ａでは、処理装置３Ａからテストパターンが入力されると、表示処理部４１によって表示用の処理が施される。位相比較部３９２は、表示処理部４１によって処理が施された後の画像データが入力される。この画像データは、表示部４２によって表示されるフレームと同じフレームの画像として認識される。
【００９９】
テストパターン出力部３９１は、制御部３７から表示装置４Ａの遅延時間取得処理の実行指示を受けると、テストパターンを順次表示装置４Ａに出力する（図９の（ａ）参照）。具体的には、パターン画像Ｆ51、Ｆ52、Ｆ53、・・・、Ｆ59、Ｆ60、・・・、Ｆ65の順でテストパターンが順次出力される。パターン画像Ｆ51、Ｆ52、Ｆ53、・・・、Ｆ59、Ｆ60、・・・、Ｆ65では、予め設定された間隔で、明度の異なるテストパターンが出力される。図９の（ａ）では、パターン画像Ｆ55、Ｆ60、Ｆ65が、明度の異なるテストパターンに該当する。
【０１００】
表示装置４Ａにおいて処理されたテストパターンは、表示処理部４１から位相比較部３９２に順次入力される（図９の（ｂ）参照）。具体的には、パターン画像Ｆ71、Ｆ72、Ｆ73、・・・、Ｆ79、Ｆ80、・・・、Ｆ83の順でテストパターンが順次出力される。パターン画像Ｆ71、Ｆ72、Ｆ73、・・・、Ｆ79、Ｆ80、・・・、Ｆ83においても、明度の異なるテストパターンが出現する。図９の（ｂ）では、パターン画像Ｆ75、Ｆ80が、明度の異なるテストパターンに該当する。
【０１０１】
図９の（ａ）、（ｂ）からも分かる通り、表示装置４Ａの処理によって、２フレーム分の遅延が生じている。位相比較部３９２は、テストパターン出力部３９１が表示装置４Ａに出力したテストパターンと、表示装置４Ａから返ってくるテストパターンとの明度から位相を比較することによって、遅延時間を算出する。
【０１０２】
本実施の形態４にかかる遅延検出処理は、上述した実施の形態１または２の処理に準じて実施される。この際、総遅延時間検出部３３は、位相比較部３９２が算出した遅延時間を取得する（ステップ１０１、Ｓ２０１）。
【０１０３】
以上説明した実施の形態４では、表示装置４Ａの遅延時間が不明の場合であってもテストパターンを出力して、位相を比較することによって遅延時間を取得する。実施の形態３によれば、遅延時間が不明な装置であっても、その装置の遅延時間を取得して、遅延時間に応じた処理を実施することができる。
【０１０４】
なお、上述した実施の形態１〜４では、照明部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３、３Ａの機能を付与してもよい。
【０１０５】
また、上述した実施の形態１〜４では、照明部３ａが、処理装置３、３Ａとは一体であるものとして説明したが、照明部３ａおよび処理装置３が別体であって、例えば処理装置３、３Ａの外部に光源部３１０および照明制御部３２０が設けられているものであってもよい。
【０１０６】
また、上述した実施の形態１〜４において、プロセッサ部３ｂの機能の一部を、内視鏡２または表示装置４で実行してもよい。例えば、総遅延時間検出部３３を、内視鏡２または表示装置４に設けて、処理装置３、３Ａ以外において遅延時間を検出する構成としてもよい。
【０１０７】
また、上述した実施の形態１〜４では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。
【産業上の利用可能性】
【０１０８】
以上、本発明に係る内視鏡システムおよび画像処理装置は、内視鏡の実際の位置と、表示画像をみた術者が認識する内視鏡の位置とのずれを抑制するのに有用である。
【符号の説明】
【０１０９】
１  内視鏡システム
２  内視鏡
３  処理装置
３ａ  照明部
３ｂ  プロセッサ部
４  表示装置
２１  挿入部
２２  操作部
２３  ユニバーサルコード
２４  先端部
２５  湾曲部
２６  可撓管部
３１  画像処理部
３２  第１通信部
３３  総遅延時間検出部
３４  同期信号生成部
３５  第２通信部
３６  入出力部
３７  制御部
３８  記憶部
３９  遅延時間取得部
４１  表示処理部
４２  表示部
４３  報知部
４４、２４７  メモリ
２４１  ライトガイド
２４２  照明レンズ
２４３  光学系
２４４  撮像素子
２４５  ＣＤＳ部
２４６、５１１  Ａ／Ｄ変換部
５０１  Ｄ／Ａ変換部
５０２  調光検波部
５０３  ＡＧＣ部
５０４  ノイズ除去部
５０５  ＷＢ処理部
５０６  フリーズ処理部
５０７  ガンマ処理部
５０８  カラーマトリクス処理部
５０９  拡大縮小処理部
５１０  強調処理部
５２１  第１フレームメモリ
５２２  第２フレームメモリ
５２３  第３フレームメモリ
【図１】
2020178962.tif 000003
【図２】
2020178962.tif 000004
【図３】
2020178962.tif 000005
【図４】
2020178962.tif 000006
【図５】
2020178962.tif 000007
【図６】
2020178962.tif 000008
【図７】
2020178962.tif 000009
【図８】
2020178962.tif 000010
【図９】
2020178962.tif 000011
【手続補正書】
【提出日】令和3年5月19日(2021.5.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被検体を撮像して撮像信号を出力する内視鏡と、
前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置と、
前記画像処理装置によって画像処理が施された前記撮像信号に基づいて前記被検体の画像を表示する表示装置と、
を備え、
前記内視鏡、前記画像処理装置および前記表示装置のいずれかに設けられ、前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、
を有する内視鏡システム。
【請求項２】
前記内視鏡は、
受光した光を光電変換し、該光電変換した電気信号を読み出すことによって前記撮像信号を生成する撮像素子と、
前記撮像素子が生成した前記撮像信号に対して信号処理を施す第１の処理部と、
を有し、
前記画像処理装置は、
前記内視鏡から入力される前記撮像信号に対して複数種類の処理を施す第２の処理部、
を有し、
前記表示装置は、
前記画像処理装置から入力される前記撮像信号に基づいて、画像表示にかかる処理を施す第３の処理部、
を有し、
前記総処理時間検出部は、前記撮像素子および前記第１の処理部が処理に要する第１の処理時間と、前記第２の処理部が処理に要する第２の処理時間と、前記第３の処理部が処理に要する第３の処理時間とを総和する
請求項１に記載の内視鏡システム。
【請求項３】
前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記内視鏡の現在位置と、前記表示装置において表示される被検体の画像から認識される前記内視鏡の位置とにずれが生じていることを報知する報知部、
をさらに備える請求項１に記載の内視鏡システム。
【請求項４】
前記画像処理装置は、
前記総処理時間検出部によって算出された前記総和が、所定の閾値以上である場合に、前記第２の処理部に、当該第２の処理部が実施する処理の一部を間引いた間欠処理を実施させる制御部、
をさらに備える請求項２に記載の内視鏡システム。
【請求項５】
前記画像処理装置は、
予め設定されている基準画像データを前記表示装置に出力する基準画像データ出力部と、
前記表示装置の前記第３の処理部によって処理された前記基準画像データを取得して、前記基準画像データ出力部が前記表示装置に出力した第１の基準画像データと、前記表示装置から取得した第２の基準画像データとの位相を比較することによって、前記第３の処理部が処理に要する前記第３の処理時間を取得する位相比較部と、
を備え、
前記総処理時間検出部は、前記第１および第２の処理時間と、前記位相比較部が取得した、前記第３の処理時間との総和を算出する
請求項２に記載の内視鏡システム。
【請求項６】
前記総処理時間検出部は、前記内視鏡に格納された前記第１の処理時間と、前記画像処理装置に格納された前記第２の処理時間と、前記表示装置に格納された前記第３の処理時間との総和を算出する
請求項１に記載の内視鏡システム。
【請求項７】
被検体を撮像して撮像信号を出力する内視鏡と、前記被検体の画像を表示する表示装置とに接続し、前記内視鏡から入力される前記撮像信号に対して画像処理を施す画像処理装置であって、
前記内視鏡において前記撮像信号を生成して出力するまでに要する第１の処理時間と、前記画像処理装置において前記撮像信号が入力されてから前記表示装置に出力するまでの処理に要する第２の処理時間と、前記表示装置において前記撮像信号が入力されてから前記撮像信号に基づき前記画像が表示されるまでの処理に要する第３の処理時間との総和を算出する総処理時間検出部、
を備える画像処理装置。
【請求項８】
内視鏡における撮像信号を生成して出力するまでに要する第１の処理時間を取得するステップと、
画像処理装置における前記撮像信号が入力されてから表示装置に出力するまでの処理に要する第２の処理時間を取得するステップと、
前記表示装置における前記撮像信号が入力されてから前記撮像信号に基づき画像が表示されるまでの処理に要する第３の処理時間を取得するステップと、
前記第１の処理時間と、前記第２の処理時間と、前記第３の処理時間との総和を算出するステップと、
を含む総処理時間検出方法。
【請求項９】
処理装置であって、以下を備える、
内視鏡から撮像信号が入力される入力部、
表示装置へ表示画像を出力する出力部、
以下を実行するように構成されたプロセッサ、
前記入力部に前記撮像信号が入力されてから、前記出力部へ前記表示画像を出力するまで、の処理時間を取得し、
前記処理時間が所定の閾値以上である場合に、報知処理する。
【請求項１０】
処理装置であって、以下を有する、
撮像信号に対して、第１画像処理と、該第１画像処理と一部が異なる第２画像処理とを実行可能な画像処理回路、
前記第２画像処理は、前記第１画像処理よりも処理に要する時間が短い、
以下を実行するように構成された制御回路、
撮像素子から撮像信号が出力されてから、表示装置に画像が表示されるまで、の処理時間を取得し、
前記処理時間が所定の閾値以上であるか否かを判断し、
前記処理時間が前記所定の閾値以上である場合に、前記画像処理回路が実行する画像処理を前記第１画像処理から前記第２画像処理に切替させる。
【請求項１１】
処理装置であって、以下を有する、
以下を実行するように構成されたプロセッサ、
撮像素子から撮像信号が出力されてから、前記撮像信号に基づいて生成された画像が表示装置に表示されるまで、の時間を取得し、
前記時間が所定の閾値以上である場合に、報知する。
【請求項１２】
処理装置であって、以下を有する、
以下を実行するように構成されたプロセッサ、
撮像信号を画像処理して画像を生成し、
前記撮像信号が撮像素子から出力されてから、前記画像が表示装置に表示されるまで、の時間を取得し、
前記時間が所定の閾値以上である場合に、前記画像処理を第１画像処理から第２画像処理に切り替え、
前記第２画像処理は、前記第１画像処理の一部の処理を間引いた画像処理である。
【国際調査報告】
2020178962.tif 000012
2020178962.tif 000013