(57)【要約】【課題】電子内視鏡システムにおいて、記録した動画ファイルの中から再生表示させたい再生用動画を短時間に抽出して再生表示する。【解決手段】電子内視鏡システムは、生体組織を撮像する撮像素子を備える電子内視鏡と、撮像した前記生体組織の画像を画像処理するプロセッサと、前記画像処理した前記画像を表示するディスプレイと、生体組織の動画ファイルを記録した記録装置と、を備える。前記動画ファイルは、生体組織の動画データと、前記動画データから得られる、生体組織の撮像部位の特徴量を、前記動画データの時間タイミングに対応して表した特徴量時系列データと、を含む。前記プロセッサは、前記特徴量時系列データのうち、前記特徴量の値が設定した条件を満足する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する画像抽出部と、前記ディスプレイに前記再生用動画を再生表示させる制御部と、を備える。【選択図】  図４
2019180807.tif 000002
【特許請求の範囲】
【請求項１】
生体組織を撮像する撮像素子を備える電子内視鏡と、
撮像した前記生体組織の画像を画像処理するプロセッサと、
画像処理した前記画像を表示するディスプレイと、
前記プロセッサと別に設けられ、あるいは前記プロセッサ内に設けられ、生体組織の動画ファイルを記録保持した記録装置と、を備え、
前記動画ファイルは、生体組織の動画データと、前記動画データから得られる、生体組織の撮像部位の特徴量を、前記動画データの時間タイミングに対応して表した特徴量時系列データと、を含み、
前記プロセッサは、前記特徴量時系列データにおいて、前記特徴量の値が設定した条件を満足する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する画像抽出部と、前記ディスプレイに前記再生用動画を再生表示させる制御部と、を備える、ことを特徴とする電子内視鏡システム。
【請求項２】
前記記録装置に記録保持した前記動画データは、前記撮像素子によって撮像された生体組織の撮像画像データであり、
前記動画ファイルは、前記撮像画像データから作成されたファイルであり、
前記プロセッサは、前記撮像画像データから、生体組織の撮像部位の前記特徴量を算出して前記特徴量時系列データを作成する特徴量算出部を、備える、請求項１に記載の電子内視鏡システム。
【請求項３】
前記制御部は、前記撮像素子で撮像した現在の生体組織のライブ画像と、前記再生用動画と、を前記ディスプレイの同一画面内に表示させるように制御する、請求項１または２に記載の電子内視鏡システム。
【請求項４】
前記プロセッサは、前記撮像素子によって撮像された生体組織のライブ画像の撮像画像データから、生体組織の撮像部位の前記特徴量を算出して前記特徴量時系列データを作成する特徴量算出部を、備える、請求項１に記載の電子内視鏡システム。
【請求項５】
前記制御部は、前記ライブ画像を前記ディスプレイに表示させるように制御し、
前記特徴量算出部は、前記ライブ画像における前記特徴量をライブ特徴量として算出し、
前記プロセッサは、前記ライブ画像中の一画像における前記ライブ特徴量の値を閾値とする前記特徴量の値の範囲を、前記条件として設定する条件設定部を備える、請求項４に記載の電子内視鏡システム。
【請求項６】
前記プロセッサは、オペレータにより入力された入力値を閾値とする前記特徴量の値の範囲を、前記条件として設定する条件設定部を備える、請求項１〜４のいずれか１項に記載の電子内視鏡システム。
【請求項７】
前記特徴量算出部は、前記ライブ画像における前記特徴量をライブ特徴量として算出し、
前記制御部は、前記ライブ画像における前記ライブ特徴量の値が前記条件を満足するタイミングで、前記条件を満足する前記再生用動画を前記ディスプレイに再生表示させる、請求項４に記載の電子内視鏡システム。
【請求項８】
前記記録装置は、互いに異なる人体の生体組織、あるいは互いに異なる日時の同一人体の生体組織に関する、前記動画データに対応する動画データと、前記特徴量時系列データに対応する特徴量時系列データを含む、動画ファイル群を記録し、
前記動画ファイルは、前記動画ファイル群に含まれ、
前記画像抽出部は、前記動画ファイル群の中から、前記再生用動画を抽出する、請求項１〜７のいずれか１項に記載の電子内視鏡システム。
【請求項９】
前記動画データは、複数の色成分に対応した複数の色データを含み、
前記特徴量の値は、前記色データのうち、２つの色データの値の、所定の基準値からの差分同士の比率に基づいて算出された値である、請求項１〜８のいずれか１項に記載の電子内視鏡システム。
【請求項１０】
前記動画ファイルに含まれる前記特徴量時系列データとして、前記動画データから得られる、生体組織の撮像部位の互いに異なる第１特徴量及び第２特徴量を、前記動画データの時間タイミングに対応して表した特徴量時系列データＡ及び特徴量時系列データＢのそれぞれを、前記動画ファイルは含み、
前記画像抽出部は、前記特徴量時系列データＡ及び前記特徴量時系列データＢにおいて前記特徴量の値が設定した条件を満足する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する、請求項１〜３のいずれか１項に記載の電子内視鏡システム。
【請求項１１】
前記特徴量時系列データＡは、前記第１特徴量の時系列データであり、
前記特徴量時系列データＢは、前記第２特徴量の時系列データであり、
前記条件は、前記第１特徴量の値について設定した第１範囲に、前記特徴量時系列データＡにおける前記第１特徴量の値が含まれ、かつ、前記第２特徴量の値について設定した第２範囲に、前記特徴量時系列データＢにおける前記第２特徴量の値が含まれることである、請求項１０に記載の電子内視鏡システム。
【請求項１２】
前記特徴量時系列データＡは、前記第１特徴量の時系列データであり、
前記特徴量時系列データＢは、前記第２特徴量の時系列データであり、
前記条件は、前記特徴量時系列データＡにおける前記第１特徴量の値と前記特徴量時系列データＢにおける前記第２特徴量の値とを演算することにより算出される演算値が、設定された第３範囲に含まれることである、請求項１０に記載の電子内視鏡システム。
【請求項１３】
前記動画データは、カラー画像のデータであり、
前記第１特徴量及び前記第２特徴量の少なくとも１つは、前記動画データを構成する複数の成分のうち、所定の成分の値同士を用いて算出した成分間の比率の値に基づいて定まる量である、請求項１０〜１２のいずれか１項に記載の電子内視鏡システム。
【請求項１４】
前記電子内視鏡システムは、生体組織を照明するために、波長域が互いに異なる第１の光及び第２の光を少なくとも射出する光源ユニットを備え、
前記第１特徴量及び第２特徴量の少なくとも一方は、前記第１の光及び第２の光のそれぞれで照明された生体組織の２つの撮像画像データの複数の成分のうち、所定の成分の値同士の比率から算出された量を含む、請求項１０〜１３のいずれか１項に記載の電子内視鏡システム。
【請求項１５】
生体組織を撮像する撮像素子を備える電子内視鏡と、
撮像した前記生体組織の画像を画像処理するプロセッサと、
画像処理した前記画像を表示するディスプレイと、
前記プロセッサと別に設けられ、あるいは前記プロセッサ内に設けられ、生体組織の動画ファイルを記録保持した記録装置と、を備え、
前記動画ファイルは、前記電子内視鏡で撮像された生体組織の動画データと、前記動画データから得られる、生体組織の撮像部位の特徴量を、前記動画データの時間タイミングに対応して表した少なくとも１つの特徴量時系列データと、前記撮像の際に、生体組織の施術機器あるいは前記電子内視鏡から取得できる物理量を、前記動画データの時間タイミングに対応して表した物理量時系列データと、を含み、
前記プロセッサは、前記特徴量時系列データと前記物理量時系列データにおいて前記特徴量及び前記物理量の値のそれぞれが設定した対応する条件を満足する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する画像抽出部と、前記ディスプレイに前記再生用動画を再生表示させる制御部と、を備えることを特徴とする電子内視鏡システム。
【請求項１６】
生体組織を撮像する撮像素子を備える電子内視鏡と、
撮像した前記生体組織の撮像画像データを画像処理するプロセッサと、
前記プロセッサと別に設けられ、あるいは、前記プロセッサ内に設けられ、前記画像処理した前記撮像画像データを動画データとして含む生体組織の動画ファイルを記録保持する記録装置と、を備え、
前記プロセッサは、前記撮像画像データから、生体組織の撮像部位の特徴量を算出して、前記撮像画像データの時間タイミングに対応した特徴量時系列データを作成する特徴量算出部を、備え、
前記記録装置は、前記撮像画像データと前記特徴量時系列データを前記動画ファイルとして記録保持する、ことを特徴とする電子内視鏡システム。
【請求項１７】
前記特徴量算出部は、前記撮像素子による撮像の際に、生体組織の施術機器あるいは前記電子内視鏡から取得できる物理量を、前記動画データの時間タイミングに対応して表した物理量時系列データを作成し、
前記記録装置は、前記撮像画像データと前記特徴量時系列データと前記物理量時系列データを前記動画ファイルとして記録保持する、請求項１６に記載の電子内視鏡システム。
【請求項１８】
撮像した生体組織の画像の再生表示を制御するプロセッサと、
前記画像を再生表示するディスプレイと、
前記プロセッサと別に設けられ、あるいは、前記プロセッサ内に設けられ、生体組織の前記画像を含む動画ファイルを記録した記録装置と、を備え、
前記動画ファイルは、生体組織の動画データと、前記動画データから得られる、生体組織の撮像部位の特徴量を、前記動画データの時間タイミングに対応して表した特徴量時系列データと、を含み、
前記プロセッサは、前記特徴量時系列データのうち、前記特徴量の値が設定した条件を満足する値を有する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する画像抽出部と、前記ディスプレイに前記再生用動画を再生表示させる制御部を備える、ことを特徴とする画像再生装置。
【請求項１９】
撮像した生体組織の撮像画像データを画像処理するプロセッサと、
前記プロセッサと別に設けられ、あるいは、前記プロセッサ内に設けられ、画像処理した前記撮像画像データを動画データとして含む生体組織の動画ファイルを記録保持する記録装置と、を備え、
前記プロセッサは、前記撮像画像データから、生体組織の撮像部位の特徴量を算出して、前記撮像画像データの時間タイミングに対応した特徴量時系列データを作成する特徴量算出部を、備え、
前記記録装置は、前記撮像画像データと前記特徴量時系列データを前記動画ファイルとして記録保持する、ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子内視鏡システム、画像再生装置、及び画像処理装置に関する。
【背景技術】
【０００２】
人体内部の生体組織の観察や治療に電子内視鏡が使用されている。電子内視鏡を用いて生体組織を撮像して得られる画像と、この画像から、撮像部位の特徴量とを同時に表示して撮像部位の状態を観察することがある。
このような場合、現在撮像している生体組織のライブ動画を表示しても、表示された動画から撮像部位の状態（例えば、炎症の程度）を適切に判断することは難しい。このため、ライブ動画を、種々の参照画像と比較しながら撮像部位の状態を評価することが行われる。
しかし、記録媒体に記録した動画の中から、ライブ動画に対応した適切な参照画像を短時間に抽出することは困難である。
【０００３】
一般に、記録媒体に記録した動画の中から、所望の画像を抽出するための技術として、短時間かつ簡単な操作で有益な画像を再生することができる医療画像記録装置が知られている（特許文献１）。
この医療画像記録装置は、医療用の動画を取得するとともに、医療用の情報を取得する。さらに、医療画像記録装置は、医療用の情報から特徴点を検出し、動画及び検出した特徴点の情報を、同期つけて記憶部に記憶させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３６３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記医療画像記録装置では、手術時の画像を動画として記録している場合、特徴点となる時点は、例えば特定の手術具を用いる時点である。すなわち、特徴点は、記録された動画の中の、予め設定された行為に関する点となっている。このため、後日、画像を再生して、別の手術具を取り扱う開始時点や別の行為の開始時点の画像を、動画の中から短時間に抽出して再生表示させることはできない。
すなわち、上記医療画像記録装置では、特徴点は、画像を記録する際に設定されるので、後日画像を再生表示する場合、特徴点に対応した画像とは異なる画像を再生表示させたい場合、再生表示させた画像を短時間に抽出して再生表示することは難しい。
【０００６】
そこで、本発明は、記録した動画ファイルの中から再生表示させたい再生用動画を短時間に抽出して再生表示することができる電子内視鏡システム及び画像再生装置、さらに、記録した動画ファイルの中から再生表示させたい画像を短時間に抽出して再生表示することを支援することができる電子内視鏡システム及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、電子内視鏡システムである。当該電子内視鏡システムは、
生体組織を撮像する撮像素子を備える電子内視鏡と、
撮像した前記生体組織の画像を画像処理するプロセッサと、
画像処理した前記画像を表示するディスプレイと、
前記プロセッサと別に設けられ、あるいは前記プロセッサ内に設けられ、生体組織の動画ファイルを記録保持した記録装置と、を備える。
前記動画ファイルは、生体組織の動画データと、前記動画データから得られる、生体組織の撮像部位の特徴量を、前記動画データの時間タイミングに対応して表した特徴量時系列データと、を含む。
前記プロセッサは、前記特徴量時系列データにおいて、前記特徴量の値が設定した条件を満足する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する画像抽出部と、前記ディスプレイに前記再生用動画を再生表示させる制御部と、を備える。
【０００８】
前記記録装置に記録保持した前記動画データは、前記撮像素子によって撮像された生体組織の撮像画像データであり、
前記動画ファイルは、前記撮像画像データから作成されたファイルであり、
前記プロセッサは、前記撮像画像データから、生体組織の撮像部位の前記特徴量を算出して前記特徴量時系列データを作成する特徴量算出部を、備えることが好ましい。
【０００９】
前記制御部は、前記撮像素子で撮像した現在の生体組織のライブ画像と、前記再生用動画と、を前記ディスプレイの同一画面内に表示させるように制御する、ことが好ましい。
【００１０】
前記プロセッサは、前記撮像素子によって撮像された生体組織のライブ画像の撮像画像データから、生体組織の撮像部位の前記特徴量を算出して前記特徴量時系列データを作成する特徴量算出部を、備える、ことが好ましい。
【００１１】
前記制御部は、前記ライブ画像を前記ディスプレイに表示させるように制御し、
前記特徴量算出部は、前記ライブ画像における前記特徴量をライブ特徴量として算出し、
前記プロセッサは、前記ライブ画像中の一画像における前記ライブ特徴量の値を閾値とする前記特徴量の値の範囲を、前記条件として設定する条件設定部を備える、ことが好ましい。
【００１２】
前記プロセッサは、オペレータにより入力された入力値を閾値とする前記特徴量の値の範囲を、前記条件として設定する条件設定部を備える、ことが好ましい。
【００１３】
前記特徴量算出部は、前記ライブ画像における前記特徴量をライブ特徴量として算出し、
前記制御部は、前記ライブ画像における前記ライブ特徴量の値が前記条件を満足するタイミングで、前記条件を満足する前記再生用動画を前記ディスプレイに再生表示させる、ことが好ましい。
【００１４】
前記記録装置は、互いに異なる人体の生体組織、あるいは互いに異なる日時の同一人体の生体組織に関する、前記動画データに対応する動画データと、前記特徴量時系列データに対応する特徴量時系列データを含む、動画ファイル群を記録し、
前記動画ファイルは、前記動画ファイル群に含まれ、
前記画像抽出部は、前記動画ファイル群の中から、前記再生用動画を抽出する、ことが好ましい。
【００１５】
前記動画データは、複数の色成分に対応した複数の色データを含み、
前記特徴量の値は、前記色データのうち、２つの色データの値の、所定の基準値からの差分同士の比率に基づいて算出された値である、ことが好ましい。
【００１６】
前記動画ファイルに含まれる前記特徴量時系列データとして、前記動画データから得られる、生体組織の撮像部位の互いに異なる第１特徴量及び第２特徴量を、前記動画データの時間タイミングに対応して表した特徴量時系列データＡ及び特徴量時系列データＢのそれぞれを、前記動画ファイルは含み、
前記画像抽出部は、前記特徴量時系列データＡ及び前記特徴量時系列データＢにおいて前記特徴量の値が設定した条件を満足する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する、ことが好ましい。
【００１７】
前記特徴量時系列データＡは、前記第１特徴量の時系列データであり、
前記特徴量時系列データＢは、前記第２特徴量の時系列データであり、
前記条件は、前記第１特徴量の値について設定した第１範囲に、前記特徴量時系列データＡにおける前記第１特徴量の値が含まれ、かつ、前記第２特徴量の値について設定した第２範囲に、前記特徴量時系列データＢにおける前記第２特徴量の値が含まれることである、ことが好ましい。
【００１８】
前記特徴量時系列データＡは、前記第１特徴量の時系列データであり、
前記特徴量時系列データＢは、前記第２特徴量の時系列データであり、
前記条件は、前記特徴量時系列データＡにおける前記第１特徴量の値と前記特徴量時系列データＢにおける前記第２特徴量の値とを演算することにより算出される演算値が、設定された第３範囲に含まれることである、ことが好ましい。
【００１９】
前記動画データは、カラー画像のデータであり、
前記第１特徴量及び前記第２特徴量の少なくとも１つは、前記動画データを構成する複数の成分のうち、所定の成分の値同士を用いて算出した成分間の比率の値に基づいて定まる量である、ことが好ましい。
【００２０】
前記電子内視鏡システムは、生体組織を照明するために、波長域が互いに異なる第１の光及び第２の光を少なくとも射出する光源ユニットを備え、
前記第１特徴量及び第２特徴量の少なくとも一方は、前記第１の光及び第２の光のそれぞれで照明された生体組織の２つの撮像画像データの複数の成分のうち、所定の成分の値同士の比率から算出された量を含む、ことが好ましい。
【００２１】
本発明の他の一態様は、電子内視鏡システムである。当該電子内視鏡システムは、
生体組織を撮像する撮像素子を備える電子内視鏡と、
撮像した前記生体組織の画像を画像処理するプロセッサと、
画像処理した前記画像を表示するディスプレイと、
前記プロセッサと別に設けられ、あるいは前記プロセッサ内に設けられ、生体組織の動画ファイルを記録保持した記録装置と、を備える。
前記動画ファイルは、前記電子内視鏡で撮像された生体組織の動画データと、前記動画データから得られる、生体組織の撮像部位の特徴量を、前記動画データの時間タイミングに対応して表した少なくとも１つの特徴量時系列データと、前記撮像の際に、生体組織の施術機器あるいは前記電子内視鏡から取得できる物理量を、前記動画データの時間タイミングに対応して表した物理量時系列データと、を含む。
前記プロセッサは、前記特徴量時系列データと前記物理量時系列データにおいて前記特徴量及び前記物理量の値のそれぞれが設定した対応する条件を満足する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する画像抽出部と、前記ディスプレイに前記再生用動画を再生表示させる制御部と、を備える。
【００２２】
本発明のさらに他の一態様は、電子内視鏡システムである。当該電子内視鏡システムは、
生体組織を撮像する撮像素子を備える電子内視鏡と、
撮像した前記生体組織の撮像画像データを画像処理するプロセッサと、
前記プロセッサと別に設けられ、あるいは、前記プロセッサ内に設けられ、前記画像処理した前記撮像画像データを動画データとして含む生体組織の動画ファイルを記録保持する記録装置と、を備える。
前記プロセッサは、前記撮像画像データから、生体組織の撮像部位の特徴量を算出して、前記撮像画像データの時間タイミングに対応した特徴量時系列データを作成する特徴量算出部を、備える。
前記記録装置は、前記撮像画像データと前記特徴量時系列データを前記動画ファイルとして記録保持する。
【００２３】
前記特徴量算出部は、前記撮像素子による撮像の際に、生体組織の施術機器あるいは前記電子内視鏡から取得できる物理量を、前記動画データの時間タイミングに対応して表した物理量時系列データを作成し、
前記記録装置は、前記撮像画像データと前記特徴量時系列データと前記物理量時系列データを前記動画ファイルとして記録保持する、ことが好ましい。
【００２４】
本発明のさらに他の一態様は、画像再生装置である。当該画像再生装置は、
撮像した生体組織の画像の再生表示を制御するプロセッサと、
前記画像を再生表示するディスプレイと、
前記プロセッサと別に設けられ、あるいは、前記プロセッサ内に設けられ、生体組織の前記画像を含む動画ファイルを記録した記録装置と、を備える。
前記動画ファイルは、生体組織の動画データと、前記動画データから得られる、生体組織の撮像部位の特徴量を、前記動画データの時間タイミングに対応して表した特徴量時系列データと、を含む。
前記プロセッサは、前記特徴量時系列データのうち、前記特徴量の値が設定した条件を満足する値を有する部分の時間タイミングに対応した前記動画データの動画を再生用動画として抽出する画像抽出部と、前記ディスプレイに前記再生用動画を再生表示させる制御部を備える。
【００２５】
本発明のさらに他の一態様は、画像処理装置である。当該画像処理装置は、
撮像した生体組織の撮像画像データを画像処理するプロセッサと、
前記プロセッサと別に設けられ、あるいは、前記プロセッサ内に設けられ、画像処理した前記撮像画像データを動画データとして含む生体組織の動画ファイルを記録保持する記録装置と、を備える。
前記プロセッサは、前記撮像画像データから、生体組織の撮像部位の特徴量を算出して、前記撮像画像データの時間タイミングに対応した特徴量時系列データを作成する特徴量算出部を、備える。
前記記録装置は、前記撮像画像データと前記特徴量時系列データを前記動画ファイルとして記録保持する。
【発明の効果】
【００２６】
上述の電子内視鏡システム及び画像再生装置によれば、記録した動画ファイルの中から再生表示させたい再生用動画を短時間に抽出して再生表示することができる。上述の電子内視鏡システム及び画像処理装置によれば、記録した動画ファイルの中から再生表示させたい画像を短時間に抽出して再生表示することを支援することができる。
【図面の簡単な説明】
【００２７】
【図１】第１実施態様の電子内視鏡システムの記録装置に記録される動画ファイルの構成の一例を示す図である。
【図２】第２実施態様の電子内視鏡システムの記録装置に記録される動画ファイルの構成の一例を示す図である。
【図３】第１実施態様態及び第２実施態様の電子内視鏡システムの一例の外観斜視図である。
【図４】第１実施態様及び第２実施態様の電子内視鏡システムの一例のブロック構成図である。
【図５】図４に示す電子内視鏡システムの特殊画像処理部の構成の一例を示すブロック構成図である。
【図６】第１実施態様の電子内視鏡システムにおいて用いる特徴量の算出方法を説明する図である。
【図７】第１実施態様の電子内視鏡システムが行う、動画の記録のフローの一例を示す図である。
【図８】第１実施態様の電子内視鏡システムが行う、再生用動画の抽出のために用いる条件の設定のフローの一例を示す図である。
【図９】第１実施態様の電子内視鏡システムが行う、画像抽出・再生のフローの一例を示す図である。
【図１０】第１実施態様の電子内視鏡システムが行う、抽出した再生用動画の表示のフローの一例を示す図である。
【図１１】第１実施態様の電子内視鏡システムが行う、抽出した再生用動画の表示のフローの一例を示す図である。
【図１２】第１実施態様の電子内視鏡システムが行う、抽出した再生用動画の表示のフローの一例を示す図である。
【図１３】ヘモグロビンの光の吸収率の波長依存性の一例を示す図である。
【図１４】第２実施態様の電子内視鏡システムで用いる第１比率とヘモグロビンの濃度との関係の一例を示す図である。
【図１５】第２実施態様の電子内視鏡システムで用いる第２比率の上限値及び下限値とヘモグロビンの濃度の関係の一例を示す図である。
【図１６】第２実施態様の電子内視鏡システムが行う動画の記録のフローの一例を示す図である。
【図１７】第２実施態様の電子内視鏡システムが行う再生用動画の抽出のために用いる条件の設定のフローの一例を示す図である。
【図１８】第２実施態様の電子内視鏡システムの画像抽出部及びディスプレイが行う画像抽出・再生のフローの一例を示す図である。
【発明を実施するための形態】
【００２８】
［第１実施態様の電子内視鏡システムの概要説明］
第１実施態様の電子内視鏡システムは、生体組織を撮像する撮像素子を備える電子内視鏡と、撮像した生体組織の画像を画像処理するプロセッサと、画像処理した画像を表示するディスプレイと、生体組織の動画ファイルを記録した記録装置と、を備える。
図１は、第１実施態様の電子内視鏡システムの記録装置に１つのファイルとして記録保持される動画ファイル１の構成の一例を示す図である。図１に示すように、記録装置に記録した動画ファイル１は、生体組織の動画データＤ１と、この動画データＤ１から得られる、生体組織の撮像部位の特徴量、例えば撮像部位の炎症の程度を示す評価値を、動画データの時間タイミングに対応して表した特徴量時系列データＤ２と、を含む。更に、動画ファイル１は、音声データＤ３を含む。
【００２９】
プロセッサは、画像抽出部を備える。この画像抽出部は、動画ファイル中の特徴量時系列データＤ２のうち、特徴量の値が設定した条件を満足する部分の時間タイミングに対応した動画データの動画を再生用動画として抽出する。プロセッサの制御部は、ディスプレイに再生用動画を再生表示させる。例えば、条件が、特徴量の値Ｖ１以上である場合、特徴量の値がＶ１以上を満足する時間範囲、図示の例では、時間Ｔ１〜Ｔ２及びＴ３以降の時間範囲に対応する動画データの動画を再生用動画として抽出し、この抽出用画像がディスプレイに再生表示される。
このため、第１実施態様では、オペレータが設定した条件を満足する特徴量の値を有する画像を動画の中から短時間に抽出して再生表示させることができる。
【００３０】
［第２実施態様の電子内視鏡システムの概要説明］
第２実施態様の電子内視鏡システムも、第１実施態様の電子内視鏡システムと同様に、生体組織を撮像する撮像素子を備える電子内視鏡と、撮像した生体組織の画像を画像処理するプロセッサと、画像処理した画像を表示するディスプレイと、生体組織の動画ファイルを記録した記録装置と、を備える。
図２は、第２実施態様の電子内視鏡システムの記録装置に１つのファイルとして記録される動画ファイル１の構成の一例を示す図である。図２に示すように、記録装置に記録した動画ファイル１は、生体組織の動画データＤ１と、この動画データＤ１から得られる、生体組織の撮像部位の少なくとも２つの特徴量、例えば撮像部位のヘモグロビンの濃度や酸素飽和度を表す評価値を、動画データの時間タイミングに対応して表した第１，２特徴量時系列データＤ２Ａ、Ｄ２Ｂと、を含む。更に、動画ファイル１は、音声データＤ３を含む。
【００３１】
プロセッサは、画像抽出部を備える。この画像抽出部は、動画ファイル１中の第１、第２特徴量時系列データＤ２Ａ，Ｄ２Ｂにおいて、２つの特徴量それぞれの値が設定した条件を満足する部分の時間タイミングに対応した動画データの動画を再生用動画として抽出する。プロセッサの制御部は、ディスプレイに再生用動画を再生表示させる。例えば、条件が、第１特徴量の値Ｖ１以上であり、第２特徴量の値Ｖ２以上である場合、第１特徴量の値がＶ１以上を満足する時間範囲、図示の例では、時間Ｔ１〜Ｔ２及びＴ３〜Ｔ４の時間範囲と、第２特徴量の値がＶ２以上を満足する時間範囲、図示の例では、時間Ｔ５〜Ｔ６の時間範囲との共通する共通時間範囲、例えば、時間Ｔ５〜Ｔ４の時間範囲に対応する動画データの動画を再生用動画として抽出し、この抽出用画像がディスプレイに再生表示される。
このため、第２実施態様では、オペレータが設定した条件を満足する特徴量の値を有する画像を動画の中から短時間に抽出して再生表示させることができる。
【００３２】
このような特徴量時系列データは、電子内視鏡で撮像した撮像部位の撮像画像データから求めることができる。
すなわち、プロセッサは特徴量算出部を備え、特徴量算出部は、電子内視鏡で撮像した撮像部位の撮像画像データから、生体組織の撮像部位の互いに異なる複数の特徴量を算出して、撮像画像データの時間タイミングに対応した少なくとも２つの特徴量時系列データを作成する。記録装置は、この撮像画像データと第１，２特徴量時系列データＤ２Ａ，Ｄ２Ｂを動画ファイル１として記録保持する。
このため、第２実施態様では、オペレータが設定した条件を満足する特徴量の値を有する画像を動画の中から短時間に抽出して再生表示することを支援することができる。
このような処理を行う第１実施態様及び第２実施態様の電子内視鏡システムについて以下詳細に説明する。
【００３３】
［第１実施態様及び第２実施態様の電子内視鏡システムの構成］
図３は、第１実施態様及び第２実施態様の電子内視鏡システム１０の外観斜視図である。電子内視鏡システム１０は、生体組織を撮影する電子内視鏡１００と、プロセッサ２００と、ディスプレイ３００と、記録装置３２０と、を有する。
電子内視鏡１００は、可撓性を有するシースによって外装された可撓管１１０を備えている。可撓管１１０の先端には、硬質性を有する樹脂製筐体によって外装された先端部１２０が連結されている。可撓管１１０と先端部１２０との連結箇所に湾曲部１４０が設けられている。湾曲部１４０は、可撓管１１０の基端に連結された手元操作部１３０からの遠隔操作（回転操作）によって自在に湾曲あるいは屈曲するように構成されている。屈曲部１４０の屈曲機構は、一般的な電子内視鏡に組み込まれている周知の機構であり、遠隔操作に連動した操作ワイヤの牽引によって湾曲部１４０を湾曲あるいは屈曲させるように構成されている。先端部１２０の方向が上記操作に応じて変わることにより、電子内視鏡１００による撮影領域が移動する。
【００３４】
プロセッサ２００は、電子内視鏡１００からの信号を処理する信号処理装置と、自然光の届かない体腔内を電子内視鏡１００を介して照射する光源装置とを一体に備えた装置である。他の一実施形態によれば、信号処理装置と光源装置とを別体で構成される。
ディスプレイ３００は、電子内視鏡１００で撮像した生体組織の撮像画像を表示するほか、記録装置３２０に記録された動画データを再生表示する。例えば、電子内視鏡１００で現在撮像している生体組織のライブ画像と、記録装置３２０から呼び出した動画のうち条件を満足する動画の一部とを、同一の画面内で表示及び再生表示する。
記録装置３２０には、電子内視鏡１００で撮像した生体組織のライブ画像の動画データが、動画ファイルに記録され保持されるほか、過去に電子内視鏡１００あるいは別の電子内視鏡等を用いて撮像した生体組織の動画データが動画ファイルに記録され保持される。
なお、図３に示す例では、動画データの記録保持される場所は、プロセッサ２００に外付けされて設けられた記録装置３２０であるが、プロセッサ２００内に設けられたメモリであってもよい。すなわち、プロセッサ２００内に設けられたメモリは、生体組織の動画ファイルを記録保持した記録装置とすることができる。以降、図３に示すように、プロセッサ２００に対して外付けの記録装置３２０を用いて説明する。
【００３５】
図４は、第１実施態様及び第２実施態様の電子内視鏡１００及びプロセッサ２００の概略の構成の一例を示すブロック図である。
プロセッサ２００は、システムコントローラ（制御部）２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２２２に記憶された各種プログラムを実行し、電子内視鏡システム１０全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１８に接続されている。システムコントローラ２０２は、操作パネル２１８より入力されるオペレータからの指示に応じて、電子内視鏡システム１０の各動作、各動作のためのパラメータを変更する。オペレータによる入力指示には、後述する特徴量の値に基づいて再生用動画を抽出するための条件を設定する値を入力する入力指示、あるいは、電子内視鏡システム１０の動作モードの切替指示が含まれる。一実施形態によれば、動作モードとして、後述する通常モードと特殊モードがある。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１０内の各部分に出力する。
【００３６】
光源２０８は、ランプ電源イグナイタ２０６による始動後、照明光（白色光）Ｌを射出する。光源２０８には、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが用いられる。光源２０８より射出された照明光Ｌは、集光レンズ２１０によって集光されつつ絞り２１２を介して適正な光量に制限される。
【００３７】
絞り２１２には、図示されないアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、ディスプレイ３００の表示画面に表示される映像を適正な明るさにするため、モータ２１４により動作され開度が変えられる。光源２０８より照射された照明光Ｌの光量は、絞り２１２の開度に応じて制限される。適正とされる映像の明るさの基準は、オペレータによる操作パネル２１８の輝度調節操作に応じて設定変更される。
なお、光源２０８は、白色光を射出する白色光源であるが、波長域が互いに異なる第１の光及び第２の光を少なくとも射出する光源ユニットを用いることもできる。光源ユニットは、例えば、白色光源の全面に通過波長帯域を所定の範囲に制限する種々の光学フィルタを用い、白色光源の全面に配置する光学フィルタを種々変更しながら所定の波長域の照明光を射出するように構成したユニットである。あるいは、光源ユニットは、発光ダイオードやレーザーダイオード等の波長域の異なる光を発する複数の半導体発光素子の発光を切り替えながら所定の波長域の照明光を射出するように構成したユニットである。
【００３８】
絞り２１２を通過した照明光Ｌは、ライトガイド１０２の入射端面に集光されてライトガイド１０２内に入射される。ライトガイド１０２内に入射された照明光Ｌは、ライトガイド１０２内を伝播し、先端部１２０にあるライトガイド１０２の射出端面より射出される。
【００３９】
先端部１２０には、配光レンズ１０４と、対物レンズ１０６と、固体撮像素子１０８が設けられている。
照明光Ｌは、配向レンズ１０４を介して生体組織を照明する。
対物レンズ１０６は、照明光Ｌにより照射された生体組織からの戻り光を、固体撮像素子１０８の受光面上で結像させる。
固体撮像素子１０８は、例えば、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。単板式カラーＣＣＤイメージセンサは、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色成分に対応した画像信号を生成して出力する。固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置を用いることもできる。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。
【００４０】
電子内視鏡１００のコネクタ部は、ドライバ信号処理回路１１２を備える。
ドライバ信号処理回路１１２には、生体組織の画像信号が固体撮像素子１０８より所定のフレーム周期で入力される。ドライバ信号処理回路１１２は、固体撮像素子１０８より入力される画像信号をプロセッサ２００の前段信号処理回路２２０に出力する。フレーム周期は、例えば、１／３０秒、１／６０秒である。
【００４１】
ドライバ信号処理回路１１２はまた、メモリ１１４にアクセスして電子内視鏡１００の固有情報を読み出す。メモリ１１４に記録される電子内視鏡１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４より読み出された固有情報をシステムコントローラ２０２に出力する。
【００４２】
システムコントローラ２０２は、電子内視鏡１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子内視鏡１００に適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
【００４３】
タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【００４４】
プロセッサ２００は、さらに、前段信号処理回路２２０、特殊画像処理部２３０、及び、後段信号処理回路２４０を備える。一実施形態によれば、前段信号処理回路２２０及び後段信号処理回路２４０は、専用の回路で構成され、特殊画像処理部２３０は、システムコントローラ２０２が、メモリ２２２に記録されたプログラムを読み出して実行することにより機能を発揮するソフトウェアモジュールで構成される。したがって、システムコントローラ２０２が、特殊画像処理部２３０の機能を実質的に司る。また、他の一実施形態によれば、特殊画像処理部２３０は、デジタルシグナルプロセッサ（ＤＳＰ）を用いた専用回路で構成される。なお、図４では、特殊画像処理部２３０は、システムコントローラ２０２とは別に設けるように図示しているが、特殊画像処理部２３０をシステムモジュールとして構成する場合、特殊画像処理部２３０はシステムコントローラ２０２内に設けられる。
【００４５】
前段信号処理回路２２０は、ドライバ信号処理回路１１２よりフレーム周期で入力されるＲ，Ｇ，Ｂの各画像信号に対してデモザイク処理を施す。具体的には、Ｒの各画像信号についてＧ，Ｂの周辺画素による補間処理が施され、Ｇの各画像信号についてＲ，Ｂの周辺画素による補間処理が施され、Ｂの各画像信号についてＲ、Ｇの周辺画素による補間処理が施される。これにより、画像信号が全て、Ｒ、Ｇ、Ｂの３つの色成分の情報を持つ動画の画像データに変換される。さらに、前段信号処理回路２２０は、色補正、マトリックス演算、及びホワイトバランス補正等の周知の処理を施す。
【００４６】
後段信号処理回路２４０は、特殊画像処理回路２３０より入力される画像データに所定の信号処理を施して動画データを生成し、生成されたディスプレイ表示用の動画データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、ディスプレイ３００に出力される。また、生成された動画データは、システムコントローラ２０２を介して、記録装置３２０に出力される。記録装置３２０に出力された動画データは、１つの動画ファイルに纏められて記録保持される。ディスプレイ３００に出力されたビデオフォーマット信号は、ディスプレイ３００で動画の表示のために用いられる。これにより、生体組織の動画がディスプレイ３００の表示画面に表示される。
特殊画像処理部２３０は、第１実施態様及び第２実施態様で異なる処理を行う。以下、第１実施態様及び第２実施態様毎に、特殊画像処理部２３０の処理内容を説明する。
【００４７】
［第１実施態様の説明］
図５は、特殊画像処理部２３０の構成の一例を示すブロック構成図である。特殊画像処理部２３０は、メモリ２２２に記録されたプログラムを呼び出して起動することにより形成される。特殊画像処理部２３０は、特徴量算出部２３０Ａ、条件設定部２３０Ｂ、及び画像抽出部２３０Ｃを備える。
特殊画像処理部２３０は、オペレータによる操作パネル２１８の切換指示により、動作モードを通常モードと特殊モードとの間で切り換える。通常モードは、特殊画像処理部２３０の機能をＯＦＦにして、前段信号処理回路２２０から出力された動画の画像データが特殊画像処理部２３０を介して後段信号処理回路２４０に送られるモード、あるいは、特殊画像処理部２３０の機能をＯＮにして、前段信号処理回路２２０から出力された動画の画像データと後述する特殊画像処理部２３０で生成された特徴量時系列データが後段信号処理回路２４０に送られるが、ディスプレイ３００における特徴量の表示及び特徴量を用いた各種操作が機能しないモードである。特殊モードは、特殊画像処理部２３０の機能をＯＮにして、特殊画像処理部２３０による処理結果のデータが後段信号処理回路２４０に送られるモードであり、ディスプレイ３００における特徴量の表示及び特徴量を用いた各種処理が機能するモードである。特殊モードでは、ディスプレイ３００は、後述するように算出した特徴量の値をディスプレイに画像とともに表示する。
【００４８】
特徴量算出部２３０Ａは、生体組織の撮像部位の特徴量を算出する部分である。撮像部位の特徴量は、一実施形態によれば、生体組織の撮像部位の炎症の程度を示す評価値である。具体的には、特徴量算出部２３０Ａで処理される動画の各画素に対応した画像データは、複数の色成分、すなわち、Ｒ，Ｇ，Ｂの色成分に対応したＲ，Ｇ，Ｂデータを含む。このとき特徴量は、Ｒ，Ｇ，Ｂデータのうち、２つの色データ、例えばＧデータ及びＲデータの値の、所定の基準値からの差分同士の比率に基づいて算出された値、あるいは、Ｂデータ及びＲデータの値の、所定の基準値からの差分同士の比率に基づいて算出された値（評価値）である。
【００４９】
より具体的には、図６に示すように、Ｒ，Ｇ，Ｂの各色成分を持つ動画の色データを構成する各画素に対応する画素対応点を、その色成分に応じて、Ｒ成分の軸であるＲ軸と、Ｇ成分又はＢ成分の軸であるＧ軸又はＢ軸とを有する直交座標系のＲ−Ｇ平面又はＲ−Ｂ平面内に配置することを想定する。図６は、第１実施態様において用いる特徴量の算出方法を説明する図である。このとき、特徴量算出部２３０Ａは、Ｒ−Ｇ平面又はＲ−Ｂ平面内において、撮像部位の炎症の程度が最も高い部分と相関の高いＡＸ１軸を設定する。画素対応点それぞれについて、ＡＸ１軸上に位置する所定の基準点Ｏと画素対応点とを結ぶ線分Ｌと、ＡＸ１軸とがなす角度θを算出する。算出された各画素対応点の角度θをＡＸ１軸とＡＸ２軸との間の角度θ０で規格化することにより、撮像部位の炎症の程度を示す評価値を算出する。ここで、ＡＸ２軸は、撮像部位の炎症の程度が最も低い部分と相関の高い軸であり、予め設定されている。基準点Ｏは、Ｒ−Ｇ平面上における、ＡＸ１軸とＡＸ２軸の交点である。
特徴量算出部２３０Ａは、各画素対応点の規格化した角度θの、画素対応点全体（画像全体）における統計的な代表値、例えば平均値あるいは中央値を算出し、この代表値を撮像部位の炎症の程度を示す評価値とする。
角度θに基づく評価値を用いるのは、炎症が強い撮像部位ほどＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなり、ＡＸ１軸に近づき、炎症が低い撮像部位ほどＧ成分あるいはＢ成分がＲ成分に対して強くなり、ＡＸ２軸に近づくことを利用するためである。また、角度θを算出するのは、照明光の当たり具合によって、画素対応点が移動しても、角度θが殆ど変化しないことを利用するためである。なお、上記実施形態では、特徴量算出部２３０Ａは、画素対応点全体（画像全体）における角度θの平均値を算出するが、一実施形態によれば、予め定めた画像の一部の領域における角度θの平均値を算出することも好ましい。
【００５０】
特徴量算出部２３０Ａは、特殊画像処理部２３０に逐次入力される動画の各フレームの画像データに対して、動画データの時間タイミングに対応して表した特徴量時系列データを作成する。
特徴量算出部２３０Ａで算出された特徴量時系列データは、後段信号処理回路２４０及びシステムコントローラ２０２を経由して、動画データとともに記録装置３２０に記録保持される。記録保持される動画データは、図１に示す動画データＤ１に対応し、記録される特徴量時系列データは、図１に示す特徴量時系列データＤ２に対応する。動画データＤ１及び特徴量時系列データＤ２は、動画ファイル１に纏められて記録装置３２０に記録保持される。
【００５１】
条件設定部２３０Ｂは、記録装置３２０から呼び出された動画ファイルの中から、撮像部位の特徴量の値が条件を満たす動画を再生用動画として抽出するための条件を設定するための部分である。条件は、例えば、特徴量の設定した範囲に含まれること、あるいは、特徴量の設定した範囲からはずれること、である。条件設定部２３０Ｂは、特徴量の設定した範囲を定める上限値及び下限値の少なくとも一方を閾値として設定する。したがって、特徴量の設定した範囲は、下限値以上の範囲、下限値以上上限値以下の範囲、上限値以下の範囲、を含む。このような設定は、オペレータによる操作パネル２１８や図示されない入力ボタンを介して行われる入力設定である。入力設定は、オペレータが直接入力した値を閾値として設定すること、及び、ディスプレイ３００に表示されている生体組織の撮像部位のライブ画像を見ながらオペレータが入力ボタンを押したときの表示画像における撮像部位の特徴量の値を、閾値として設定すること、を含む。
【００５２】
画像抽出部２３０Ｃは、記録装置３２０に記録され蓄積された複数の動画ファイルの内のある動画ファイルを、システムコントローラ２０２を介して記録装置３２０から呼び出す。さらに、画像抽出部２３０Ｃは、呼び出した動画ファイル中の特徴量時系列データＤ２のうち、特徴量の値が条件設定部２３０Ｂで設定した条件を満足する部分を抽出し、この部分の時間タイミングに対応した動画データの動画を再生用動画として抽出する。図１に示す例では、特徴量の値が値Ｖ１以上の範囲にあることを条件としているので、画像抽出部２３０Ｃは、時間Ｔ１〜Ｔ２の時間タイミングに対応した動画データの動画を再生用動画として抽出し、さらに、時間Ｔ３以降の条件を満たす時間領域の時間タイミングに対応した動画データの動画を再生画像用画像として抽出する。このように抽出した再生用動画を、システムコントローラ２０２は、後段信号処理回路２４０を介してディスプレイ３００に再生表示するように制御する。
【００５３】
なお、システムコントローラ２０２が、再生用動画を、ディスプレイ３００で再生表示する形態は、再生用動画の再生表示を繰り返し行う形態、及び、再生用動画が終了すると再生表示を停止する形態を含む。
以上説明した第１実施態様における電子内視鏡システム１０では、以下の動画の記録、条件設定、画像抽出：再生、再生表示が行われる。
【００５４】
（動画の記録）
図７は、第１実施態様における動画の記録のフローの一例を示す図である。
前段信号処理回路２２０は、電子内視鏡１００の固体撮像素子１０８で撮像した生体組織の画像信号から画像データを生成し、後段信号処理回路２４０は、生成した画像データから所定の形式の動画データを生成する。記録装置３２０には、この動画データ１が動画ファイル内のビデオストリームに順次保存（格納）される（ステップＳＴ１０）。
さらに、特殊画像処理部２３０は、前段信号処理回路２２０が生成した画像データを用いて撮像部位の特徴量の値を算出することにより、特徴量時系列データを生成する。記録装置３２０では、この特徴量時系列データが、動画ファイル１のデータストリームに順次保存（格納）される（ステップＳＴ１２）。記録装置３２０では、必要に応じて、電子内視鏡１００の図示されない音響マイクを介して得られる音声データが、動画ファイル１のオーディオストリームに保存（格納）される。こうして、記録装置３２０において、図１に示す、少なくとも動画データＤ１と特徴量時系列データＤ２を有する動画ファイル１が記録保持される。
なお、特徴量算出部２３０Ａの機能は、特殊モードにおいてＯＮにするだけでなく、通常モードにおいてもＯＮにしてもよい。この場合、通常モードで、ライブ画像をディスプレイ３００に表示するが、特徴量の値をディスプレイ３００に表示しない。しかし、この場合、特徴量算出部２３０Ａは、ライブ画像の動画データから特徴量時系列データを生成し、動画データと特徴量時系列データを、記録装置３２０に記録保持させることができる。
【００５５】
（条件設定）
図８は、第１実施態様における、再生用動画の抽出のために用いる条件の設定のフローの一例を示す図である。
オペレータは、操作パネル２１８を介して特徴量の値の範囲を定めるための基準としたい値を入力する。特殊画像処理部２３０の条件設定部２３０Ｂは、オペレータにより入力された基準としたい値を、特徴量の値の範囲を定める閾値として設定し、特徴量の値の範囲を設定する（ステップＳＴ２０）。特徴量の値の範囲は、例えば、閾値以上の範囲、閾値以下の範囲、あるいは、閾値が２つ入力された（閾値１、閾値２）場合、閾値１以上閾値２以下の範囲を含む。「閾値以上」及び「閾値以下」の設定も、必要に応じて、操作パネル２１８を介してオペレータにより入力されてもよい。
閾値の入力は、ディスプレイ３００に表示されている生体組織の撮像部位のライブ画像を見ながらオペレータが入力ボタンを押したときの表示画像における撮像部位の特徴量の値を、閾値として入力することを含む。
条件設定部２３０Ｂは、設定した閾値は、メモリ２２２に記憶させる（ステップＳＴ２２）。記憶された閾値は、必要に応じて、画像抽出部２３０Ｃから呼び出され、生成用画像の抽出に用いられる。なお、閾値のメモリ２２の記憶に際しては、「閾値以上」及び「閾値以下」の少なくとも一方の情報が、閾値とともに記憶され、画像抽出部２３０Ｃから閾値とともに呼び出される。
【００５６】
（画像抽出・再生）
図９は、第１実施態様における、画像抽出部２３０Ｃ及びディスプレイ３００が行う画像抽出・再生のフローの一例を示す図である。
画像抽出部２３０Ｃは、メモリ２２２に記憶された閾値を呼び出して条件を設定する。画像抽出部２３０Ｃは、記録装置３２０からある動画ファイルのデータストリーム内の特徴量時系列データＤ２とビデオストリーム内の動画データＤ１を呼び出し、呼び出した特徴量時系列データＤ２のうち、特徴量の値が設定した条件を満足する部分を抽出する。さらに、画像抽出部２３０Ｃは、抽出した部分の時間タイミングに対応した動画データの動画を再生用動画として抽出する。抽出した再生用動画は、後段信号処理回路２４０を介してディスプレイ３００で再生表示される。
【００５７】
具体的には、画像抽出部２３０Ｃは、動画ファイル１のデータストリーム内の特徴量時系列データＤ２の先頭フレームに対応する特徴量の値を照会する（ステップＳＴ３０）。
次に、画像抽出部２３０Ｃは、照会した特徴量の値が条件を満たすか否かを判断する（ステップＳＴ３２）。
照会した特徴量の値が条件を満たす場合（ＹＥＳの場合）、画像抽出部２３０Ｃは、この値に対応した時間タイミングにある動画データを抽出し、抽出した動画データを再生用動画の動画データとする。この動画データは、後段信号処理回路２４０でビデオフォーマット信号に変換され、このビデオフォーマット信号はシステムコントローラ２０２を介してディスプレイ３００に送られる。これにより、ディスプレイ３００は、再生用動画の１フレームを再生表示する（ステップＳＴ３４）。
【００５８】
画像抽出部２３０Ｃは、特徴量の値の照会を、動画ファイル中の最終フレームまで順番に行う。画像抽出部２３０Ｃは、最終フレームまで照会が進んだか否かを判定する（ステップＳＴ３６）。照会先が動画ファイルの最終フレームまで進んだ場合（ＹＥＳの場合）、画像抽出・再生は終了する。照会先が動画ファイルの最終フレームまで進んでいない場合（ＮＯの場合）、画像抽出部２３０Ｃは、次のフレームに対応する特徴量の値を照会する（ステップＳＴ３８）。
なお、ステップＳＴ３２において、照会した特徴量の値が条件を満たさない場合（ＮＯの場合）、画像抽出部２３０Ｃは、動画ファイルの最終フレームまで照会が進んだか否かを判定する（ステップＳＴ３６）。
【００５９】
このようにして、画像抽出部２３０Ｃは、先頭フレームから最終フレームまで順番に各フレームに対応した特徴量の値の照会を行う。
なお、上記実施形態では、先頭フレームから順番に行う照会が最終フレームに到達すると、再生表示を停止するが、一実施形態によれば、先頭フレームから順番に行う照会が最終フレームに到達すると、再度先頭フレームに戻って、ステップＳＴ３０から各ステップを繰り返し行うことも好ましい。
【００６０】
図１０〜１２は、抽出した再生用動画の表示の種々の形態のフローを示す図である。
図１０〜１２に示す例は、電子内視鏡１００で撮像された生体組織の撮像部位のライブ画像の表示と同時に同一画面内で、再生用動画を再生表示することを行う。
【００６１】
（再生表示１）
図１０に示す例では、まず、プロセッサ２００の前段信号処理回路２２０は、電子内視鏡１００の固体撮像素子１０８で撮像した生体組織の画像信号から画像データを生成し、後段信号処理回路２４０は、生成した画像データからビデオフォーマット信号を生成する。ディスプレイ３００は、ビデオフォーマット信号を受けて、撮像部位のライブ画像を表示する（ステップＳＴ４０）。
【００６２】
画像抽出部２３０Ｃは、ディスプレイ３００に表示されている生体組織の撮像部位のライブ画像を見ているオペレータが入力ボタンを押下した否かを監視する（ステップＳＴ４２）。画像抽出部２３０Ｃは、オペレータが入力ボタンを押下すると、特徴量の値が予め設定されていた条件を満足する再生用動画の動画データを、動画データＤ１から抽出して後段信号処理回路２４０に送る。後段信号処理回路２４０は、ライブ画像の動画データと再生用動画の動画データを１つに纏めてビデオフォーマット信号を生成し、ディスプレイ３００にビデオフォーマット信号を送る。これにより、ディスプレイ３００は、ライブ画像と再生用動画を同時に同一画面内で表示する（ステップＳＴ４４）。再生用動画が終了すると、再生用動画の再生表示は停止状態になる。
【００６３】
画像抽出部２３０Ｃは、ディスプレイ３００によるライブ画像の表示が終了したか否かを判定する（ステップＳＴ４６）。こうして、ライブ画像の表示が終了するまで、ステップＳＴ４０〜４６が繰り返される。
【００６４】
（再生表示２）
図１１に示す例では、再生用動画を抽出するための条件を定めるための閾値が予め設定されており、条件が設定されている。
この状態で、まず、プロセッサ２００の前段信号処理回路２２０は、電子内視鏡１００の固体撮像素子１０８で撮像した生体組織の画像信号から画像データを生成し、後段信号処理回路２４０は、生成した画像データからビデオフォーマット信号を生成する。ディスプレイ３００は、ビデオフォーマット信号を受けて、撮像部位のライブ画像を表示する。このとき、特徴量算出部２３０Ａは、前段信号処理回路２２０から送られるライブ画像の画像データから撮像部位の特徴量の値を算出する（ステップＳＴ５０）。
画像抽出部２３０Ｃは、ライブ画像の表示中、ライブ画像中の撮像部位の特徴量の値が条件を満たすか否かを監視する（ステップＳ５２）。撮像部位の特徴量の値が条件を満たす場合（ＹＥＳの場合）、画像抽出部２３０Ｃは、特徴量の値が予め設定されていた条件を満足する再生用動画の動画データを、動画データＤ１から抽出して後段信号処理回路２４０に送る。後段信号処理回路２４０は、ライブ画像の動画データと再生用動画の動画データを１つに纏めてビデオフォーマット信号を生成し、ディスプレイ３００にビデオフォーマット信号を送る。これにより、ディスプレイ３００は、ライブ画像と再生用動画を同時に同一画面内で表示する（ステップＳＴ５４）。再生用動画が終了すると、再生用動画の再生表示は停止状態になる。
ステップＳＴ５２において、撮像部位の特徴量の値が条件を満たさない（ＮＯの場合）、ライブ画像の表示が終了するまで、ステップＳＴ５０を繰り返す。
画像抽出部２３０Ｃは、ディスプレイ３００によるライブ画像の表示が終了したか否かを判定する（ステップＳＴ５６）。こうして、ライブ画像の表示が終了するまで、ステップＳＴ５０〜５６が繰り返される。
【００６５】
（再生表示３）
図１２に示す例では、再生用動画を抽出するための条件を定めるための閾値が、オペレータが希望した、表示されるライブ画像中の撮像部位の特徴量の値によって設定される。
まず、プロセッサ２００の前段信号処理回路２２０は、電子内視鏡１００の固体撮像素子１０８で撮像した生体組織の画像信号から画像データを生成し、後段信号処理回路２４０は、生成した画像データからビデオフォーマット信号を生成する。ディスプレイ３００は、ビデオフォーマット信号を受けて、撮像部位のライブ画像を表示する。このとき、特徴量算出部２３０Ａは、前段信号処理回路２２０から送られるライブ画像の画像データをから撮像部位の特徴量の値を算出する（ステップＳＴ６０）。
画像抽出部２３０Ｃは、ディスプレイ３００に表示されている生体組織の撮像部位のライブ画像を見ているオペレータが入力ボタンを押下した否かを監視する（ステップＳＴ６２）。
画像抽出部２３０Ｃは、オペレータが入力ボタンを押下すると、入力ボタンを押したときの表示画像における撮像部位の特徴量の値を、閾値として設定する（ステップＳＴ６４）。
次に、画像抽出部２３０Ｃは、設定された閾値により定まる条件を満足する再生用動画の動画データを、動画データＤ１から抽出して後段信号処理回路２４０に送る。後段信号処理回路２４０は、ライブ画像の動画データと再生用動画の動画データを１つに纏めてビデオフォーマット信号を生成し、ディスプレイ３００にビデオフォーマット信号を送る。これにより、ディスプレイ３００は、ライブ画像と再生用動画を同時に同一画面内で表示する（ステップＳＴ６６）。
画像抽出部２３０Ｃは、ディスプレイ３００によるライブ画像の表示が終了したか否かを判定する（ステップＳＴ６８）。こうして、ライブ画像の表示が終了するまで、ステップＳＴ６０〜６８が繰り返される。
なお、ステップＳＴ６２においてオペレータが入力ボタンを押下しない場合、ステップＳＴ６８に進む。
【００６６】
以上説明したように、画像抽出部２３０Ｃは、特徴量時系列データＤ２のうち、特徴量の値が設定した条件を満足する部分の時間タイミングに対応した動画データの動画を再生用動画として抽出し、システムコントローラ２０２は、ディスプレイ３００に再生用動画を再生表示させるので、記録した動画ファイル１の中から再生表示させたい再生用動画を短時間に抽出して再生表示することができる。
【００６７】
記録装置３２０に記録した動画データは、電子内視鏡１００の固体撮像素子１０８によって撮像された生体組織の撮像画像データであり、特徴量算出部２３０Ａは、この撮像画像データから、生体組織の撮像部位の特徴量を算出して特徴量時系列データＤ２を作成することが好ましい。生体組織のライブ画像と比較対象用の再生用動画をディスプレイ３００に同時に表示する場合、生体組織のライブ画像と同じ電子内視鏡１００で撮像した再生用動画を、ディスプレイ３００で同時に表示するので、電子内視鏡１００の特性に影響されずに、再生用画像をライブ画像と比較することができ、現在の撮像部位の状態を効率よく判断することができる。
【００６８】
システムコントローラ（制御部）２０２は、固体撮像素子１０８で撮像した現在の生体組織のライブ画像と、再生用動画と、をディスプレイ３００の同一画面内に表示させるように制御することが好ましい。これにより、ライブ画像中の撮像部位の状態を、比較対象の再生用画像と比較しながら、現在の撮像部位の状態を効率よく判断することができる。
【００６９】
特徴量算出部２３０Ａは、電子内視鏡１００で撮像した生体組織の撮像部位のライブ画像における特徴量をライブ特徴量として算出することが好ましい。これにより、生体組織の撮像部位のライブ画像から、図１に示す動画ファイル１を容易に作成することができる。
【００７０】
条件設定部２３０Ｂは、ライブ画像中の一画像におけるライブ特徴量の値を閾値とする特徴量の値の範囲を、条件として設定することが好ましい。ライブ画像中の撮像部位の状態に合わせて条件を設定するので、記録されている動画の中から特徴量の所望の値を持つ再生用動画を抽出して、ライブ画像と再生用動画とを比較することができるので、現在の撮像部位の状態を効率よく判断することができる。
【００７１】
また、条件設定部２３０Ｂは、オペレータにより入力された入力値を閾値とする特徴量の値の範囲を、再生用動画を抽出するための条件として設定することが好ましい。オペレータが閾値を入力するので、オペレータが希望する再生用動画を記録した動画の中から効率よく抽出することができる。
【００７２】
特徴量算出部２３０Ａは、ライブ画像における特徴量をライブ特徴量として算出し、システムコントローラ２０２は、ライブ画像におけるライブ特徴量の値が、再生用動画を抽出するための条件を満足するタイミングで、条件を満足する再生用動画をディスプレイ３００に再生表示させることが好ましい。これにより、ライブ画像中の撮像部位の特徴量の値が条件を満たすタイミングで同じ条件を満たす再生用動画をライブ画像に合わせて同時に再生表示するので、ライブ画像と再生用動画とを効率よく比較することができ、現在の撮像部位の状態を効率よく判断することができる。
【００７３】
一実施形態によれば、図１に示す動画ファイル１は、複数の動画ファイルを有する動画ファイル群の１つのファイルであることも好ましい。すなわち、記録装置３２０には、互いに異なる人体の生体組織、あるいは互いに異なる日時の同一人体の生体組織に関する、動画データＤ１に対応する動画データと特徴量時系列データＤ２に対応する特徴量時系列データを含む、動画ファイル群が記録保持される。このとき、画像抽出部２３０Ｃは、動画ファイル群の中から、再生用動画を抽出することが好ましい。これにより、ライブ画像中の撮像部位を、異なる人の撮像部位の動画や、異なる日時に検査した同じ人の撮像部位の動画と比較することができ、現在の撮像部位の状態を効率よく判断することができる。
【００７４】
一実施形態によれば、撮像部位の状態を評価するための特徴量の値は、色データのうち、２つの色データの値の、所定の基準値からの差分同士の比率に基づいて算出された値である、ことが好ましい。特徴量の値は、上述したように撮像部位の炎症の程度を評価する場合、図６に示す角度θ、すなわち２つの色データ（Ｒデータ、Ｇデータ）の値の、所定の基準値（基準点ＯのＲ−Ｇ平面における座標値）からの差分同士の比率に基づいて算出された角度θの平均値が例示される。このような特徴量の値は、撮像部位の炎症の程度を表す指標となるので、撮像部位の状態を、再生用動画と比較することにより効率よく判断することができる。
【００７５】
なお、図１に示す例では、データストリームに格納されるデータは、特徴量時系列データＤ２であるが、一実施形態によれば、特徴量時系列データＤ２の他に、電子内視鏡１００が生体組織を撮像する際の撮像条件の時系列データを、データストリームに格納してもよい。撮像条件は、例えば、撮像における結像レンズ１０６のズームの倍率の値や画像の輝度を調節するための絞り２１２の開度を含む。特徴量の値と撮像条件の値を利用して、細かい条件を設定して、希望する再生用動画を正確に抽出することができる。
【００７６】
上述した実施形態で行う、再生用動画を再生表示するための処理は、いずれも、電子内視鏡１００を用いた処理であるが、一実施形態では、この処理は、電子内視鏡１００を備えない画像再生装置及び画像処理装置にも適用することができる。
すなわち、画像処理装置は、図１に示す動画ファイル１を記録装置に記録させることができ、画像再生装置は、図１に示す動画ファイル１を用いて、再生用画像を抽出して再生用画像をディスプレイに再生表示させることができる。
この場合、画像再生装置は、
撮像した生体組織の画像の再生表示を制御するプロセッサと、
画像を再生表示するディスプレイと、
生体組織の画像を含む動画ファイルを記録した記録装置と、を備える。
このとき、動画ファイルは、図１に示すように、生体組織の動画データＤ１と、動画データＤ１から得られる、生体組織の撮像部位の特徴量を、動画データＤ１の時間タイミングに対応して表した特徴量時系列データＤ２と、を含む。
プロセッサは、特徴量時系列データＤ２のうち、特徴量の値が設定した条件を満足する値を有する部分の時間タイミングに対応した動画データＤ１の動画を再生用動画として抽出する画像抽出部と、ディスプレイに再生用動画を再生表示させる制御部を備える。
記録装置は、プロセッサ外に別に設けられてもよいし、プロセッサ内に設けられてもよい。
【００７７】
また、画像処理装置は、
撮像した生体組織の撮像画像データを画像処理するプロセッサと、
画像処理した撮像画像データを動画データとして含む生体組織の動画ファイルを記録する記録装置と、を備える。
このとき、プロセッサは、撮像画像データから、生体組織の撮像部位の特徴量を算出して、撮像画像データの時間タイミングに対応した特徴量時系列データを作成する特徴量算出部を、備える。
記録装置は、撮像画像データと特徴量時系列データを動画ファイルとして記録する。
記録装置は、プロセッサ外に別に設けられてもよいし、プロセッサ内に設けられてもよい。
【００７８】
このような画像再生装置においても、記録装置に記録した動画ファイルの中から再生表示させたい再生用動画を短時間に抽出して再生表示することができる。画像処理装置は、記録装置に記録した動画ファイルの中から再生表示させたい画像を短時間に抽出して再生表示することを支援することができる。
【００７９】
［第２実施態様の説明］
第２実施態様においても、図５に示す特徴量算出部２３０Ａ、条件設定部２３０Ｂ、及び画像抽出部２３０Ｃを備える特殊画像処理部２３０が用いられる。以下、第２実施態様における特徴量算出部２３０Ａ、条件設定部２３０Ｂ、及び画像抽出部２３０Ｃを説明する。
特殊画像処理部２３０は、オペレータによる操作パネル２１８の切換指示により、動作モードを通常モードと特殊モードとの間で切り換える。通常モードは、特殊画像処理部２３０の機能をＯＦＦにして、前段信号処理回路２２０から出力された動画の画像データが特殊画像処理部２３０を介して後段信号処理回路２４０に送られるモードである。特殊モードは、特殊画像処理部２３０の機能をＯＮにして、特殊画像処理部２３０による処理結果のデータが後段信号処理回路２４０に送られるモードであり、ディスプレイ３００における特徴量の表示及び特徴量を用いた各種処理が機能するモードである。特殊モードでは、ディスプレイ３００は、後述するように算出した特徴量の値をディスプレイに画像とともに表示する。
【００８０】
特徴量算出部２３０Ａは、生体組織の撮像部位の特徴量（第１特徴量、第２特徴量）を算出する部分である。撮像部位の特徴量は、一実施形態によれば、生体組織の撮像部位のヘモグロビンの濃度及び酸素飽和度である。ヘモグロビンの濃度及び酸素飽和度を組み合わせることにより、撮像部位の悪性腫瘍の存在の有無を判断することができる。例えば、ヘモグロビンの濃度が予め設定された値以上であり、酸素飽和度が予め設定された値以下である場合、悪性腫瘍であると判断することができる。このような２つの特徴量の組み合わせを用いた第２実施態様では、撮像部位の状態を判断でき、撮像部位の画像と同様の動画を、動画データの中から抽出して再生用動画として再生表示することができる。以下、ヘモグロビンの濃度及び酸素飽和度の算出について説明する。
【００８１】
（特徴量であるヘモグロビンの濃度及び酸素飽和度の説明）
ヘモグロビンの濃度及び酸素飽和度は、波長域の異なる光を撮像部位に照明光Ｌとして照射し、このときの撮像画像における所定の成分の画像データの値間の比率を用いることにより、算出される。したがって、光源２０８には、異なる波長域の複数の光を射出する光源ユニットが用いられる。光源ユニットは、上述したように、例えば、白色光源の全面に通過波長帯域を所定の範囲に制限する種々の光学フィルタを用い、白色光源の全面に配置する光学フィルタを種々変更しながら所定の波長域の照明光を射出するように構成したユニットである。あるいは、光源ユニットは、発光ダイオードやレーザーダイオード等の波長域の異なる光を発する複数の半導体発光素子の発光を切り替えながら所定の波長域の照明光を射出するように構成したユニットである。
【００８２】
光源２０８（光源ユニット）が射出する複数の光の波長域は、後述する図１３に示される例によれば、等吸収点Ｅ１からＥ４までの波長域Ｒ０（Ｗ帯）であり、等吸収点Ｅ２からＥ３までの波長域Ｒ２（Ｎ帯）であり、可視光波長域全体である。波長域Ｒ０の波長成分からなる光を、Ｗｉｄｅ光といい、波長域Ｒ２の波長成分からなる光を、以降Ｎａｒｒｏｗ光といい、可視光波長域の波長成分を有し、白色を呈する光を、以降白色光ＷＬという。なお、白色光ＷＬは、波長域全体において一定の強度の波長成分を有する光に限定されず、波長域で光強度分布を有し、一部分の波長において波長成分を有さないが、全体として白色を呈する擬似白色光も含む。
このように光源ユニットは、波長域の異なる光、すなわちＷｉｄｅ光、Ｎａｒｒｏｗ光、及び白色光ＷＬを照明光Ｌとして別別に出射する。
【００８３】
ところで、生体内にあるヘモグロビンは、図１３に示す５５０ｎｍ付近にポルフィリンに由来するＱ帯と呼ばれる強い吸収帯を有する。図１３は、ヘモグロビンの光の吸収率の波長依存性の一例を示す図である。ヘモグロビンの吸収スペクトルは、全ヘモグロビンのうち酸素化ヘモグロビンＨｂＯが占める割合を表す酸素飽和度に応じて変化する。図１３における実線の波形は、酸素飽和度が１００％、すなわち、酸素化ヘモグロビンＨｂＯの吸収スペクトルであり、長破線の波形は、酸素飽和度が０％、すなわち、還元ヘモグロビンＨｂの吸収スペクトルである。また、短破線は、その中間の酸素飽和度＝１０、２０、３０、・・・９０％におけるヘモグロビン、すなわち酸素化ヘモグロビンＨｂＯと還元ヘモグロビンＨｂの混合物の吸収スペクトルである。
【００８４】
図１３に示すように、Ｑ帯において、酸素化ヘモグロビンＨｂＯと還元ヘモグロビンＨｂは互いに異なるピーク波長を有する。具体的には、酸素化ヘモグロビンＨｂＯは、波長５４２ｎｍ付近の吸収ピークＰ１と、波長５７６ｎｍ付近の吸収ピークＰ３を有している。一方、還元ヘモグロビンＨｂは、５５６ｎｍ付近に吸収ピークＰ２を有している。図１３は、酸素化ヘモグロビンＨｂＯ、還元ヘモグロビンＨｂの濃度の和が一定となる場合の吸収スペクトルであるため、酸素化ヘモグロビンＨｂＯ及び還元ヘモグロビンＨｂの比率、すなわち、酸素飽和度によらず吸光度が一定となる等吸収点Ｅ１、Ｅ２、Ｅ３、Ｅ４が現れる。以下の説明では、等吸収点Ｅ１とＥ２とで挟まれた波長領域は、波長域Ｒ１であり、等吸収点Ｅ２とＥ３とで挟まれた波長領域は波長域Ｒ２であり、等吸収点Ｅ３とＥ４とで挟まれた波長領域は波長域Ｒ３であり、等吸収点Ｅ１とＥ４とで挟まれた波長領域、すなわち波長域Ｒ１、Ｒ２及びＲ３を合わせた帯域は、波長域Ｒ０である。したがって、光源２０８から放射された光のうち光学フィルタ２１２を透過した透過光であるＷｉｄｅ光の波長域は、３つの吸収ピークＰ１、Ｐ２、Ｐ３の各ピーク波長が含まれる波長域Ｒ０であり、光源２０８から放射された光のうち光学フィルタ２１２ｂを透過した透過光であるＮａｒｒｏｗ光の波長域は、還元ヘモグロビンに由来する吸収ピークＰ２のピーク波長が含まれる波長域Ｒ２である。
【００８５】
図１３に示されるように、波長域Ｒ１，Ｒ２，Ｒ３では、ヘモグロビンの吸収は酸素飽和度に対して線形的に増加又は減少する。具体的には、波長域Ｒ１，Ｒ３におけるヘモグロビンの吸光率の合計値は、酸素化ヘモグロビンの濃度、すなわち酸素飽和度に対して線形的に増加する。また、波長域Ｒ２におけるヘモグロビンの吸光率の合計値は、還元ヘモグロビンの濃度に対して線形的に増加する。
【００８６】
ここで、酸素飽和度は次の式（１）により定義される。
【００８７】
式（１）：
【数１】
2019180807.tif 000003
但し、
Ｓａｔ：酸素飽和度
［Ｈｂ］：還元ヘモグロビンの濃度
［ＨｂＯ］：酸素化ヘモグロビンの濃度
［Ｈｂ］＋［ＨｂＯ］：ヘモグロビンの濃度（ｔＨｂ）
【００８８】
また、式（１）より、酸素化ヘモグロビンＨｂＯ及び還元ヘモグロビンＨｂの濃度を表す式（２）、式（３）が得られる。
【００８９】
式（２）：
【数２】
2019180807.tif 000004
【００９０】
式（３）：
【数３】
2019180807.tif 000005
【００９１】
したがって、波長域Ｒ１，Ｒ２，Ｒ３におけるヘモグロビンの吸光率の合計値は、酸素飽和度とヘモグロビンの濃度の両方に依存する特徴量となる。
【００９２】
ここで、波長域Ｒ０における吸光率の合計値は、酸素飽和度には依存せず、ヘモグロビンの濃度によって決まる値となることが判明している。したがって、波長域Ｒ０における吸光率の合計値に基づいてヘモグロビンの濃度を定量することができる。また、波長域Ｒ１、波長域Ｒ２、あるいは波長域Ｒ３における吸光率の合計値と、波長域Ｒ０の吸光率の合計値に基づいて定量したヘモグロビンの濃度とに基づいて、酸素飽和度を定量することができる。
【００９３】
特殊画像処理部２３０の特徴量算出部２３０Ａは、生体組織の撮像部位のヘモグロビンの濃度に対して感度を有する後述する第１比率に基づいてヘモグロビンの濃度を算出し取得すること、及び、算出したヘモグロビンの濃度とヘモグロビンの酸素飽和度に対して感度を有する後述する第２比率に基づいて生体組織の撮像部位のヘモグロビンの酸素飽和度を算出し取得することを行う。
【００９４】
具体的には、上述したＷｉｄｅ光（波長域Ｒ０の光）で照明した撮像部位のカラー画像データの輝度成分の値が、上述の波長域Ｒ０における吸光度の合計値に対応することから、特徴量算出部２３０Ａは、波長域Ｒ０のカラー画像データの輝度成分に基づいてヘモグロビンの濃度を算出する。ここで、輝度成分は、カラー画像データのＲ成分に所定の係数を掛け算し、カラー画像データのＧ成分に所定の係数を掛け算し、カラー画像データのＢ成分の値に所定の係数を掛け算し、これらの掛け算した結果を合算することで算出することができる。
より具体的には、特徴量算出部２３０Ａは、Ｗｉｄｅ光（第２の光）を照明光Ｌとして用いた撮像部位のカラー画像データの輝度成分Ｗｉｄｅ（以降、単にＷｉｄｅともいう）を、白色光ＷＬを照明光Ｌとして用いた撮像部位のカラー画像データのＲ成分ＷＬ（Ｒ）、あるいはＲ成分ＷＬ（Ｒ）及びＧ成分ＷＬ（Ｇ）の合計成分ＷＬ（Ｒ）＋ＷＬ（Ｇ）で割った比率Ｗｉｄｅ／ＷＬ（Ｒ）またはＷｉｄｅ／｛ＷＬ（Ｒ）＋ＷＬ（Ｇ）｝を第１比率とし、この第１比率に基づいてヘモグロビンの濃度を算出する。
一実施形態によれば、所定の濃度のヘモグロビンの吸光特性を再現した試料における第１比率の情報とヘモグロビンの濃度の対応関係を表した参照テーブルをメモリ２２２に予め記憶しておき、特徴量算出部２３０Ａは、この参照テーブルを用いて、撮像部位のカラー画像データにおける第１比率の値に基づいてヘモグロビンの濃度を算出する。
【００９５】
さらに、上述したように、酸素飽和度の上昇とともに波長域Ｒ２における吸光度の合計値が低下すること、及び、波長域Ｒ０における吸光度の合計値はヘモグロビンの濃度に応じて変化するが、酸素飽和度の変化に係わらず一定であることから、特徴量算出部２３０Ａは、以下に定める第２比率に基づいて酸素飽和度を算出する。すなわち、特徴量算出部２３０Ａは、波長域Ｒ２の光であるＮａｒｒｏｗ光で照明した撮像部位のカラー画像データの輝度成分Ｎａｒｒｏｗ（以降、単にＮａｒｒｏｗともいう）と、Ｗｉｄｅ光（波長域Ｒ０の光）で照明した撮像部位のカラー画像データの輝度成分Ｗｉｄｅとの比率Ｎａｒｒｏｗ／Ｗｉｄｅを、第２比率として算出する。一方、ヘモグロビンの濃度と、酸素飽和度＝０％における第２比率の下限値及び酸素飽和度＝１００％における第２比率Ｎａｒｒｏｗ／Ｗｉｄｅの上限値との関係を表した対応関係を、試料から求めてメモリ２２２に予め記憶しておく。特徴量算出部２３０Ａは、撮像部位のカラー画像データから得られるヘモグロビンの濃度の算出結果と上記対応関係を用いて、第２比率の下限値及び上限値を求める。さらに、特徴量算出部２３０Ａは、求めた下限値と上限値の間で酸素飽和度は第２比率に応じて線形的に変化することを利用して、撮像部位の第２比率Ｎａｒｒｏｗ／Ｗｉｄｅの値がどの酸素飽和度の位置にあるかを算出する。このようにして、特徴量算出部２３０Ａは、酸素飽和度の算出を行う。
また、ヘモグロビンの濃度及び第２比率の値とヘモグロビンの酸素飽和度との対応関係を表した参照テーブルを試料から求めて予めメモリ２２２に記憶しておき、この参照テーブルを参照して、算出した第２比率からヘモグロビンの酸素飽和度を算出することもできる。
【００９６】
図１４は、第１比率とヘモグロビンの濃度との関係の一例を示す図である。特徴量算出部２３０Ａは、上述したように第１比率を求めると、図１４に示すような対応関係を表した参照テーブルを参照して、求めた第１比率に基づいてヘモグロビンの濃度を求める。図１４は、第１比率の値に基づいてヘモグロビンの濃度Ｈ１を求めたことを表している。図１４の横軸及び縦軸の数値は、便宜的に０〜１０２４の値で表されている。
【００９７】
図１５は、第２比率の上限値及び下限値とヘモグロビンの濃度の関係の一例を示す図である。図１５の横軸及び縦軸の数値は、便宜的に０〜１０２４の値で表されている。
特徴量算出部２３０Ａは、上述したように第２比率を求めると、求めたヘモグロビンの濃度と第２比率とに基づいて、図１５に示す対応関係を用いて、求めたヘモグロビンの濃度における第２比率の上限値及び下限値を求める。この上限値が酸素飽和度＝１００％を示し、下限値が酸素飽和度＝０％を示す。この上限値と下限値の間のどの位置に求めた第２比率はあるかを求めることで、特徴量算出部２３０Ａは、酸素飽和度の値を求める。図１５では、第２比率の値がＹであり、ヘモグロビンの濃度Ｈ１であるときの上限値Ｍａｘ（１００％）と下限値Ｍｉｎ（０％）を求めている。この上限値Ｍａｘ（１００％）と下限値Ｍｉｎ（０％）と第２比率の値Ｙから、酸素飽和度の値が求められる。
特徴量算出部２３０Ａは、このようにして画素毎に算出されたヘモグロビンの濃度の値と酸素飽和度の値に基づいて階調処理して得られる画素値によってヘモグロビンの濃度の分布画像及び酸素飽和度の分布画像を生成する。
【００９８】
特徴量算出部２３０Ａは、さらに、ヘモグロビンの濃度の分布画像及び酸素飽和度の分布画像における、ヘモグロビンの濃度及び酸素飽和度の値の統計量（平均値、標準偏差・歪度・尖度・中央値・四分位点・最小値・最大値・最頻値）を算出する。例えば、画像全体におけるヘモグロビンの濃度の平均値、及び、画像全体における酸素飽和度の平均値を算出する。なお、第２実施態様によれば、統計量として、画像全体における統計量を用いるが、一実施形態によれば、画像全体に代えて、画像の中の予め定めた領域における平均値等の統計量を算出することも好ましい。また、第２実施態様では、特徴量は、ヘモグロビンの濃度及び酸素飽和度といった異なる評価値であるが、一実施形態によれば、特徴量は、同じ評価値から得られる量であって、例えば、同じ評価値の平均値と標準偏差といった異なる統計量であることも好ましい。
【００９９】
特徴量算出部２３０Ａは、特殊画像処理部２３０に逐次入力される動画の各フレームの画像データに対して、上述した方法により２つの特徴量（ヘモグロビンの濃度及び酸素飽和度）を算出し、動画データの時間タイミングに対応して表した特徴量の２つの特徴量時系列データを作成する。
特徴量算出部２３０Ａで算出された特徴量時系列データは、後段信号処理回路２４０及びシステムコントローラ２０２を経由して、動画データとともに記録装置３２０に記録される。記録される動画データは、図２に示す動画データＤ１に対応し、記録される特徴量時系列データは、図２に示す第１、２特徴量時系列データＤ２Ａ，Ｄ２Ｂに対応する。動画データＤ１及び第１，２特徴量時系列データＤ２Ａ，Ｄ２Ｂは、動画ファイル１に纏められて記録装置３２０に記録される。
【０１００】
条件設定部２３０Ｂは、記録装置３２０から呼び出された動画ファイル１の中から、撮像部位の特徴量の値が条件を満たす動画を再生用動画として抽出するための条件を設定するための部分である。条件は、例えば、第１特徴量及び第２特徴量の設定した範囲に含まれること、あるいは、第１特徴量及び第２特徴量の設定した範囲からはずれること、である。条件設定部２３０Ｂは、第１特徴量及び第２特徴量の設定した範囲を定める上限値及び下限値の少なくとも一方を閾値として設定する。したがって、第１特徴量及び第２特徴量の設定した範囲は、下限値以上の範囲、下限値以上上限値以下の範囲、上限値以下の範囲、を含む。このような設定は、オペレータによる操作パネル２１８や図示されない入力ボタンを介して行われる入力設定である。入力設定は、オペレータが直接入力した値を閾値として設定すること、及び、ディスプレイ３００に表示されている生体組織の撮像部位のライブ画像を見ながらオペレータが入力ボタンを押したときの表示画像における撮像部位の特徴量の値を、閾値として設定すること、を含む。一実施形態によれば、設定される条件は、第１特徴量の値について設定した第１範囲に、第１特徴量時系列データＤ２Ａにおける第１特徴量の値が含まれ、かつ、第２特徴量の値について設定した第２範囲に、第２特徴量時系列データＤ２Ｂにおける第２特徴量の値が含まれることである。また、一実施形態によれば、設定される条件は、第１特徴量時系列データＤ２Ａにおける第１特徴量の値と第２特徴量時系列データＤ２Ｂにおける第２特徴量の値とを演算することによって算出される演算値（例えば、和、関、差、商）が、設定された第３範囲に含まれることである。条件設定部２３０Ｂは、このように設定された条件をメモリ２２２に記録させる。
【０１０１】
画像抽出部２３０Ｃは、記録装置３２０に記録され蓄積された複数の動画ファイルの内のある動画ファイル１を、システムコントローラ２０２を介して記録装置３２０から呼び出す。さらに、画像抽出部２３０Ｃは、呼び出した動画ファイル１中の第１，２特徴量時系列データＤ２Ａ，Ｄ２Ｂのうち、第１特徴量及び第２特徴量の値が条件設定部２３０Ｂで設定した条件を満足する部分を抽出し、この部分の時間タイミングに対応した動画データの動画を再生用動画として抽出する。図２に示す例では、第１特徴量の値が値Ｖ１以上の範囲にあり、かつ、第２特徴量の値が値Ｖ２以上の範囲にあることを条件としているので、画像抽出部２３０Ｃは、時間Ｔ５〜Ｔ４の時間タイミングに対応した動画データの動画を再生用動画として抽出し、さらに、時間Ｔ４以降の条件を満たす時間領域の時間タイミングに対応した動画データの動画を再生画像用画像として抽出する。このように抽出される再生用動画を、システムコントローラ２０２は、後段信号処理回路２４０を介してディスプレイ３００に再生表示するように制御する。
【０１０２】
なお、システムコントローラ２０２が、再生用動画を、ディスプレイ３００で再生表示する形態は、再生用動画の再生表示を繰り返し行う形態、及び、再生用動画が終了すると再生表示を停止する形態を含む。
以上説明した電子内視鏡システム１０では、第２実施態様によれば、以下の動画の記録、条件設定、画像抽出：再生、再生表示が行われる。
【０１０３】
（動画の記録）
図１６は、第２実施態様における動画の記録のフローの一例を示す図である。
電子内視鏡システム１０は、施術開始に合わせて、電子内視鏡１００による撮像を開始する（ステップＳＴ１１０）。前段信号処理回路２２０は、電子内視鏡１００の固体撮像素子１０８で撮像した撮像部位の画像信号から撮像画像データを生成した後、後段信号処理回路２４０は動画データを生成する。
【０１０４】
前段信号処理回路２２０が撮像画像データを生成した後、後段信号処理回路２４０で動画データが生成される前、システムコントローラ２０２は、現在設定されている動作モードが、通常モードか、特殊モードかを判定する（ステップＳＴ１１２）。通常モードにおける撮像は、白色光ＷＬの照明による撮像部位の撮像であるので、特殊光の照明による撮像部位の画像から特徴量を算出することはできない。特殊モードは、特殊光（Ｗｉｄｅ光、Ｎａｒｒｏｗ光）及び白色光ＷＬを順次切換ながら撮像部位を照明するので、撮像部位の画像からヘモグロビンの濃度及び酸素飽和度等の特徴量を算出することはできる。動作モードが特殊モードである場合、特徴量算出部２３０Ａは、前段信号処理回路２２０から送られてくる画像データを用いて、上述した第１比率、すなわち、比率Ｗｉｄｅ／ＷＬ（Ｒ）またはＷｉｄｅ／｛ＷＬ（Ｒ）＋ＷＬ（Ｇ）｝を画素毎に算出する。さらに、特徴量算出部２３０Ａは、この第１比率から、ヘモグロビンの濃度を画素毎に算出する。具体的には、特徴量算出部２３０Ａは、所定の濃度のヘモグロビンの吸光特性を再現した試料における第１比率の情報とヘモグロビンの濃度の対応関係を表した参照テーブルをメモリ２２から呼び出し、特徴量算出部２３０Ａは、この参照テーブルを用いて、撮像部位のカラー画像データにおける第１比率の値に基づいてヘモグロビンの濃度を第１特徴量として算出する（ステップＳＴ１１４）。
【０１０５】
さらに、特徴量算出部２３０Ａは、前段信号処理回路２２０から送られてくる画像データを用いて、上述した第２比率、すなわち、比率Ｎａｒｒｏｗ／Ｗｉｄｅを画素毎に算出する。特徴量算出部２３０Ａは、ヘモグロビンの濃度と、酸素飽和度＝０％における第２比率の下限値及び酸素飽和度＝１００％における第２比率Ｎａｒｒｏｗ／Ｗｉｄｅの上限値との関係を表した対応関係をメモリ２２２から呼び出す。特徴量算出部２３０Ａは、算出した撮像部位の第１比率から得られるヘモグロビンの濃度の算出結果と上記対応関係を用いて、第２比率の下限値及び上限値を求める。さらに、特徴量算出部２３０Ａは、求めた下限値と上限値の間で酸素飽和度は第２比率に応じて線形的に変化することを利用して、撮像部位の第２比率の値がどの酸素飽和度の位置にあるかを算出する。こうして、特徴量算出部２３０Ａは、第２の特徴量として酸素飽和度の算出を画素毎に行う（ステップＳＴ１１４）。
こうして算出されたヘモグロビンの濃度及び酸素飽和度の画像全体における統計量（例えば平均値）である評価値は、第１特徴量時系列データ及び第２特徴量時系列データの値として、撮像画像データとともに後段信号処理回路２４０に送られる。
【０１０６】
記録装置３２０には、後段信号処理回路２４０で生成される動画データが動画ファイル１内のビデオストリームに順次保存（格納）されるとともに、第１特徴量を表した第１特徴量時系列データと第２特徴量を表した第２特徴量時系列データの値が、データスリームに順次保存される（ステップＳＴ１１６）。さらに、記録装置３２０には、電子内視鏡１００の図示されない音響マイクを介して得られる手技中の音声データが、動画ファイル１のオーディオストリームに保存される（ステップＳＴ１１６）。こうして、記録装置３２０には、図２に示す、少なくとも動画データＤ１と第１，２特徴量時系列データＤ２Ａ，Ｄ２Ｂを有する動画ファイル１が記録保持される。
【０１０７】
ステップＳＴ１１２における判定で、動作モードが通常モードである場合、特徴量算出部２３０Ａは、第１，２特徴量を算出しないので、後段信号処理回路２４０で生成される動画データを動画ファイル１内のビデオストリームに順次保存（格納）するとともに、電子内視鏡１００の図示されない音響マイクを介して得られる手技中の音声データが、必要に応じて、動画ファイル１のオーディオストリームに保存される（ステップＳＴ１１８）。
【０１０８】
次に、システムコントローラ２０２は、撮像が終了するボタンが操作パネル２１８から押されたか否かを判定する（ステップＳＴ１２０）。こうして、ステップＳＴ１２０において、撮像が終了するまで、ステップＳＴ１１０〜１２０を繰り返し行う。こうして、図２に示す、撮像の開始から終了までの動画データ、及び第１，２特徴量時系列データ、必要に応じて音声データが、順次、動画ファイル１に保存されて、記録装置３２０に記録保持される。
【０１０９】
なお、撮像中、操作パネル２１８のボタンが押されることにより、特殊モードから通常モードに切り替わり、あるいは、通常モードから特殊モードに切り換わる。特殊モードから通常モードに切り替わる時、今まで特徴量時系列データの値として保存されていた第１特徴量及び第２特徴量の値は算出されない。この場合においても、動画ファイル１に第１，２特徴量時系列データの値が順次保存されるが、データが無効であることを識別できる、予め設定された値が入力される。
【０１１０】
（条件設定）
図１７は、再生用動画の抽出のために用いる条件の設定の第２実施態様のフローを示す図である。
オペレータは、操作パネル２１８を介して第１，２特徴量の値の範囲（第１範囲、第２範囲）を定めるための基準としたい値を入力する。特殊画像処理部２３０の条件設定部２３０Ｂは、オペレータにより入力された基準としたい値を、第１，２特徴量の値の範囲を定める閾値として設定し、第１,２特徴量の値の範囲を条件として設定する（ステップＳＴ１３０）。第１,２特徴量それぞれの値の範囲は、例えば、閾値以上の範囲、閾値以下の範囲、あるいは、閾値が２つ入力された（閾値１、閾値２）場合、閾値１以上閾値２以下の範囲を含む。「閾値以上」及び「閾値以下」の設定も、必要に応じて、操作パネル２１８を介してオペレータにより入力されてもよい。
【０１１１】
一実施形態によれば、閾値の入力は、ディスプレイ３００に表示されている生体組織の撮像部位のライブ画像を見ながらオペレータが入力ボタンを押したときの表示画像における撮像部位の第１，２特徴量の値を、閾値として入力することが好ましい。
条件設定部２３０Ｂは、設定した閾値を、メモリ２２２に保存させる（ステップＳＴ１３２）。記憶された閾値は、必要に応じて、画像抽出部２３０Ｃから呼び出され、生成用画像の抽出に用いられる。なお、閾値のメモリ２２の記憶に際しては、「閾値以上」及び「閾値以下」の少なくとも一方の情報が、閾値とともに記憶され、画像抽出部２３０Ｃから閾値とともに呼び出される。
なお、設定する条件が、第１特徴量時系列データにおける第１特徴量の値と第２特徴量時系列データにおける第２特徴量の値を演算することにより算出される演算値が、所定の第３範囲に含まれることである場合、条件設定部２３０Ｂは、どのような演算を行って演算値を得るかに関する定義と、上記第３範囲を条件として設定し、メモリ２２２に記憶させる。記憶された上記定義と第３範囲を含む条件は、必要に応じて、画像抽出部２３０Ｃから呼び出される。
【０１１２】
（動画抽出・再生）
図１８は、画像抽出部２３０Ｃ及びディスプレイ３００が行う第２実施態様の画像抽出・再生のフローを示す図である。
画像抽出部２３０Ｃは、メモリ２２２に記憶された閾値を呼び出して条件を設定する（ステップＳＴ１４０）。次に、画像抽出部２３０Ｃは、操作パネル２１８等により指示された動画ファイル１を、記録装置３２０に保存されている複数の動画ファイルから選択する（ステップＳＴ１４２）。画像抽出部２３０Ｃは、選択された動画ファイル１を呼び出し、さらに、動画データの先頭フレームからディスプレイ３００において動画の早送り再生で表示されるように、システムコントローラ２０２を介して、ディスプレイ３００を制御する。こうして、選択された動画ファイル１の動画データ中の動画は、先頭フレームから順に早送りで再生表示される（ステップＳＴ１４４）。この早送りの再生表示の期間中に、画像抽出部２３０Ｃは、動画ファイル１の第１，２特徴量時系列データＤ２Ａ，Ｄ２Ｂにおいて第１，２特徴量の値が設定した条件を満足する部分の時間タイミングに対応した動画データの動画を再生用動画として抽出できたか否かを判定する（ステップＳＴ１４６）。画像抽出部２３０Ｃが再生用動画を抽出した場合、抽出した再生用動画をディスプレイ３００に再生表示させるように後段信号処理回路２４０を介してディスプレイ３００に指示する。この再生表示では、早送りの再生表示ではなく、通常の表示速度で抽出用動画は再生表示される。こうして、ディスプレイ３００に、設定した条件を満足する抽出した動画が再生表示される（ステップＳＴ１４８）。画像抽出部２３０Ｃは、設定した条件を満足する抽出した動画が終了するまで再生表示を続ける。
【０１１３】
この後、画像抽出部２３０Ｃは、選択した動画データが終了したか否か、すなわち、操作するフレームが動画データの最終フレームに到達したか否かを判定する（ステップＳＴ１５０）。最終フレームに到達している場合、再生用動画の抽出と再生表示は終了する。一方、最終フレームに到達していない場合、ステップＳ４４に戻り、動画の早送りの再生表示が行われる。すなわち、動画のうち、設定された条件を満たさない部分は、早送りの再生表示が行われる。なお、ステップＳＴ１４６の判定において、再生用動画を抽出しない場合、ステップＳＴ１５０に進む。
このように、画像抽出部２３０Ｃは、選択した動画ファイル１の中から、設定した条件を満たす再生用動画を抽出し、抽出した再生用動画を再生表示する。
【０１１４】
再生用動画の抽出と生成表示については、一実施形態によれば、電子内視鏡１００の撮像素子１０８で撮像した現在の生体組織のライブ画像と、上記抽出した再生用動画と、がディスプレイ３００の同一画面内で表示されるように、システムコントローラ２０２は制御することが好ましい。これにより、ライブ画像の撮像部位を、再生用動画中の撮像部位と比較することができるので、現在の撮像部位の状態を適切に判断することができる。例えば、設定する条件として悪性腫瘍の存在の有無を判断できるヘモグロビンの濃度と酸素飽和度の値の範囲が定められる。この範囲は、悪性腫瘍の進行状況に応じて変化するので、悪性腫瘍の進行の程度に応じて設定することが好ましい。このように、電子内視鏡システム１０において、撮像部位の悪性腫瘍の存在の有無及びその進行の程度を調べる場合、１つの特徴量だけでは判断できないので、２つの特徴量の値が、条件を満たすことが必要である。この点で、第２実施態様の電子内視鏡システム１０は有効に用いることができる。
また、一実施形態によれば、再生用動画が抽出されるとき、再生用動画の始まる時間タイミングよりも一定時間前のフレームの動画（以前の動画）から通常速度で再生表示させることが好ましい。これにより、前触れ無く見たい再生用動画が再生表示されることはなくなる。この場合、再生用動画と、それ以前の動画とが区別できるように、以前の動画の表示形態を暗くする、色味を変える等の画像処理が施されてもよい。
また、一実施形態によれば、抽出用動画で無い動画を早送りをする代わりに、動画の表示を停止してもよい。
このような再生用動画の抽出と再生表示は繰り返し行われてもよく、１回だけ行われてもよく、オペレータの操作パネル２１８からの入力により、再度行われるようにしてもよい。
【０１１５】
第２実施態様では、２つの特徴量で構成された第１，２特徴量時系列データを動画ファイル１に保存させるとともに、この２つの特徴量を利用して、動画ファイル１から、再生用動画を抽出して再生表示をが、特徴量は２つに限定されず、３つ、４つ、あるいは５つであってもよい。
【０１１６】
上述したように、記録装置３２０に記録保持した動画データは、撮像素子１０８によって撮像された生体組織の撮像画像データであり、記録装置３２０に記録される動画ファイル１は、撮像素子１０８から得られる撮像画像データから作成されたファイルである。このとき、特徴量算出部２３０Ａは、撮像画像データから、生体組織の撮像部位の特徴量それぞれを算出して特徴量時系列データを作成する。このため、電子内視鏡１００の撮像により得られるライブ画像と同じ撮像素子１０８及び画像処理を経て得られる再生用動画を抽出することができ、ディスプレイ３００に同時に再生表示しても、画像の色味等に差異が無く、違和感なくライブ画像と再生用動画を見比べることができる。
【０１１７】
上述したように、設定される条件に関する第１，２特徴量は、同じ評価値から得られる別の特徴量であってもよい。例えば、異なる統計量（平均値、標準偏差・歪度・尖度・中央値・四分位点・最小値・最大値・最頻値））であってもよい。例えば、評価値が酸素飽和度である場合、第１特徴量は酸素飽和度の平均値とし、第２特徴量は酸素飽和度の標準偏差とする。一実施形態によれば、２つの特徴量の重み付け加算した値の範囲を、再生用動画の抽出のための条件として定める。例えば、２つの特徴量から、例えば、平均値−ａ・標準偏差〜平均値＋ｂ・標準偏差（ａ，ｂは定数）を、再生用動画の抽出のための条件として定めることが好ましい。この場合、閾値として、ａ，ｂの値が入力される。したがって、設定される条件は、第１特徴量の第１特徴量時系列データにおける第１特徴量の値と第２特徴量の第２特徴量時系列データにおける第２特徴量の値とを演算することによって算出される演算値（例えば、和、関、差、商）が、設定された第３範囲に含まれることである。
第１，２特徴量が同じ評価値の異なる統計量であり、この２つの統計量の特徴量時系列データを第１，２特徴量時系列データＤ２Ａ，Ｄ２Ｂとして動画ファイル１に保存することにより、将来技術の進歩に伴って撮像部位の状態を評価、判断（例えば、悪性腫瘍の部位の存在を判断）するための条件が変更されても、条件設定部２３０Ｂが設定する条件を変更するだけで、再生表示させた再生用動画を短時間に抽出して再生表示することができる。
【０１１８】
一実施形態によれば、第１，２特徴量の少なくとも１つは、画像データの複数の成分、例えばＲ，Ｇ，Ｂの色成分や輝度成分等のうち、所定の成分の値同士を用いて算出した成分間の比率の値に基づいて定まる量であることが好ましい。成分の値同士の比率を用いることにより、画像データの明度や輝度に依存しない撮像部位の特徴を表すことができ、電子内視鏡システム１０は、撮像部位の状態を参照できる再生用動画を適切に抽出して再生表示することができる。
【０１１９】
電子内視鏡システム１０は、生体組織を照明するために、波長域が互いに異なる第１の光及び第２の光を少なくとも射出する光源装置２０１を備え、第１，２特徴量は、第１の光及び第２の光のそれぞれで照明された生体組織の２つの撮像画像データの複数の成分のうち、所定の成分の値同士の比率から算出された量を含む。このような形態は、上述した特殊モードにおいてヘモグロビンの濃度と酸素飽和度の値を算出して、悪性腫瘍の存在の有無や、悪性腫瘍の進行の程度を調べる上で有効に用いることができる。
【０１２０】
第２実施態様では、撮像部位の画像から得られる特徴量で構成された少なくとも２つの特徴量時系列データを動画ファイル１のデータストリームに保存するが、１つの特徴量時系列データと、電子内視鏡１００や外部機器における時間的に変化する物理量を表した物理量時系列データを動画ファイル１のデータストリームに保存してもよい。
【０１２１】
すなわち、一実施形態によれば、電子内視鏡１００の撮像素子１０８が、施術対象の生体組織を撮像する場合、記録装置３２０に記録される動画ファイル１は、電子内視鏡１００で撮像された生体組織の動画データと、動画データから得られる、生体組織の撮像部位の特徴量を、動画データの時間タイミングに対応して表した少なくとも１つの特徴量時系列データと、撮像の際に、生体組織の施術機器あるいは電子内視鏡１００から取得できる物理量を、動画データの時間タイミングに対応して表した物理量時系列データと、を含む。そして、プロセッサ２００の画像抽出部２３０Ｃは、特徴量時系列データと物理量時系列データにおいて特徴量及び物理量の値のそれぞれが設定した対応する条件を満足する部分の時間タイミングに対応した動画データの動画を再生用動画として抽出し、システムコントローラ２０２は、ディスプレイ３００に再生用動画を再生表示させるように構成される。
ここで、物理量には、施術中に機器によって計測された計測量である人体データ、例えば、脈拍、心拍数、血圧、体温、脳波、血中酸素濃度、及び血中二酸化炭素濃度が含まれる。また、手術の際の電気メスや超音波メス等の手術具に電力を供給して駆動させたときの電流量も物理量に含まれる。また、電子内視鏡１００の対物レンズ１０６が可変焦点レンズである場合、焦点距離の情報も物理量に含まれる。また、電子内視鏡１００のうち、生体内に挿入された部分の長さの情報も物理量に含まれる。
【０１２２】
記録装置３２０は、このような計測時系列データと撮像部位の特徴量時系列データを動画ファイル１のデータストリームに保存して記録するので、所定の条件を満足する特徴量の値を持った撮像部位の状態を、所定の条件を満たす物理量によって制限して、施術中の計測結果に対応した撮像部位の状態を再生用動画として抽出できるので、施術者が参照したい撮像部位の状態を短時間に抽出して再生表示することができる。
【０１２３】
以上、本発明の電子内視鏡システム、画像再生装置、及び画像処理装置について詳細に説明したが、本発明の電子内視鏡システム、画像再生装置、及び画像処理装置は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１２４】
１  動画ファイル
１０  電子内視鏡システム
１００  電子内視鏡
１０２  ガイドケーブル
１０４  配光レンズ
１０６  対物レンズ
１０８  固体撮像素子
１１２  ドライバ信号処理回路
１１４  メモリ
２００  プロセッサ
２０２  システムコントローラ
２０４  タイミングコントローラ
２０６  ランプ電源イグナイタ
２０８  光源
２１０  集光レンズ
２１２  絞り
２１４  モータ
２１６  ドライバ
２１８  操作パネル
２２０  前段信号処理回路
２２２  メモリ
２３０  特殊画像処理部
２３０Ａ  特徴量算出部
２３０Ｂ  条件設定部
２３０Ｃ  画像抽出部
２４０  後段信号処理回路
３００  ディスプレイ
３２０  記録装置
【図１】
2019180807.tif 000006
【図２】
2019180807.tif 000007
【図３】
2019180807.tif 000008
【図４】
2019180807.tif 000009
【図５】
2019180807.tif 000010
【図６】
2019180807.tif 000011
【図７】
2019180807.tif 000012
【図８】
2019180807.tif 000013
【図９】
2019180807.tif 000014
【図１０】
2019180807.tif 000015
【図１１】
2019180807.tif 000016
【図１２】
2019180807.tif 000017
【図１３】
2019180807.tif 000018
【図１４】
2019180807.tif 000019
【図１５】
2019180807.tif 000020
【図１６】
2019180807.tif 000021
【図１７】
2019180807.tif 000022
【図１８】
2019180807.tif 000023