(57)【要約】  特徴領域の認識結果の報知を遅らせる場合において、認識結果が表示されるまでの期間について、ユーザーが、認識処理が正常に動いているのか、認識処理に失敗しているのかを把握することができる医療画像処理システムを提供する。  残り時間算出部（４４）は、特徴領域（ＳＰ）を認識してから特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と時間カウント部（４２）でカウントしたカウント時間に基づいて、特徴領域の認識結果を報知するまでの残り時間を算出する。表示制御部（３７）は、少なくとも残り時間に基づいて得られる残り時間報知情報をモニタ（３４）に表示する。
2020040086.tif 000002
【特許請求の範囲】
【請求項１】
観察対象を撮像して得られる医療画像を取得する医療画像取得部と、
前記医療画像のうち特徴領域を認識する特徴領域認識部と、
前記特徴領域を認識したタイミングから時間をカウントする時間カウント部と、
前記特徴領域を認識してから前記特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と前記時間カウント部でカウントしたカウント時間に基づいて、前記特徴領域の認識結果を報知するまでの残り時間を算出する残り時間算出部と、
少なくとも前記残り時間に基づいて得られる残り時間報知情報を表示部に表示する表示制御部とを備える医療画像処理システム。
【請求項２】
前記残り時間報知情報は、前記残り時間を図形で表す残り時間報知用図形で表され、前記残り時間報知用図形は、前記残り時間に従って変化する請求項１記載の医療画像処理システム。
【請求項３】
前記残り時間報知用図形はタイムバーである請求項２記載の医療画像処理システム。
【請求項４】
前記残り時間報知情報は、前記残り時間を数値で表す残り時間報知用数値である請求項１ないし３いずれか１項記載の医療画像処理システム。
【請求項５】
前記残り時間報知情報は、前記残り時間を音声で表す残り時間報知用音声である請求項１ないし４いずれか１項記載の医療画像処理システム。
【請求項６】
前記残り時間報知情報は、前記残り時間に従って変化する前記特徴領域の認識結果の表示態様である請求項１ないし５いずれか１項記載の医療画像処理システム。
【請求項７】
前記認識結果の表示態様は前記特徴領域の強調表示である請求項６記載の医療画像処理システム。
【請求項８】
前記認識結果には前記特徴領域を鑑別する鑑別処理の結果が含まれる請求項１ないし７いずれか１項記載の医療画像処理システム。
【請求項９】
前記時間カウント部は、前記観察対象の撮像に関する撮影時間に基づいて、時間をカウントする請求項１ないし８いずれか１項記載の医療画像処理システム。
【請求項１０】
前記時間カウント部は、前記医療画像を取得した枚数を示す取得フレーム数に基づいて、時間をカウントする請求項１ないし８いずれか１項記載の医療画像処理システム。
【請求項１１】
第１タイミングの医療画像において前記特徴領域を認識した場合において、第１タイミングと異なる第Ｎタイミングの医療画像においても、前記特徴領域と同一の特徴領域があるか否かを判定する同一領域判定部を有し、
前記時間カウント部は、前記同一の特徴領域があると判定された場合には、時間のカウントを継続する請求項１ないし１０いずれか１項記載の医療画像処理システム。
【請求項１２】
前記表示制御部は、前記カウント時間が前記報知待機時間に達した場合に、前記特徴領域の認識結果を前記表示部に表示する請求項１ないし１１いずれか１項記載の医療画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療画像の解析結果を用いる医療画像処理システムに関する。
【背景技術】
【０００２】
現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、医療画像から病変部の可能性のある特徴領域を認識し、認識した特徴領域に対して画像解析を行うことによって、病態に関する診断情報を取得することが行われている。【０００３】
例えば、特許文献１では、医療画像についての特定の特徴量に基づいて、医療画像における特徴領域を検出している。そして、特徴領域の検出に基づいて、画面外に特徴領域が検出されたことを報知する報知画像を表示し、また、報知画像による報知とは異なるタイミングで、画面内の特徴領域を強調して表示している。また、特許文献２では、特徴領域を検出した場合において、直ぐに特徴領域を強調表示するのではなく、所定時間経過後に入力される観察画像に対して、特徴領域の強調表示を行うようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１７／０７３３３８号
【特許文献２】国際公開第２０１７／０８１９７６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、医療画像から特徴領域を認識し、その認識結果をユーザーに提供することで、ユーザーによる診断の精度を向上させることができる。その一方で、ユーザーが特徴領域を発見し、鑑別を行う前に、医療画像に基づく特徴領域の認識結果が提供されると、ユーザーの注意力を低下させる恐れがある。【０００６】
この問題に対しては、特許文献２のように、特徴領域の強調表示を所定時間経過後に行うことのように、特徴領域の認識結果の報知を遅らせることで、ユーザーの注意力の低下を防ぐことができる。ただし、この場合には、認識結果が表示されるまでの期間について、ユーザーは、認識処理が正常に動いているのか、認識処理に失敗しているのかが分からなくなる。【０００７】
本発明は、特徴領域の認識結果の報知を遅らせる場合において、認識結果が表示されるまでの期間について、ユーザーが、認識処理が正常に動いているのか、認識処理に失敗しているのかを把握することができる医療画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の医療画像処理システムは、医療画像取得部と、特徴領域認識部と、時間カウント部と、残り時間算出部と、表示制御部とを備える。医療画像取得部は、観察対象を撮像して得られる医療画像を取得する。特徴領域認識部は、医療画像のうち特徴領域を認識する。時間カウント部は、特徴領域を認識したタイミングから時間をカウントする。残り時間算出部は、特徴領域を認識してから特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と時間カウント部でカウントしたカウント時間に基づいて、特徴領域の認識結果を報知するまでの残り時間を算出する。表示制御部は、少なくとも残り時間に基づいて得られる残り時間報知情報を表示部に表示する。【０００９】
残り時間報知情報は、残り時間を図形で表す残り時間報知用図形で表され、残り時間報知用図形は、残り時間に従って変化することが好ましい。残り時間報知用図形はタイムバーであることが好ましい。残り時間報知情報は、残り時間を数値で表す残り時間報知用数値であることが好ましい。残り時間報知情報は、残り時間を音声で表す残り時間報知用音声であることが好ましい。残り時間報知情報は、残り時間に従って変化する特徴領域の認識結果の表示態様であることが好ましい。認識結果表示態様は特徴領域の強調表示であることが好ましい。【００１０】
認識結果には特徴領域を鑑別する鑑別処理の結果が含まれることが好ましい。時間カウント部は、観察対象の撮像に関する撮影時間に基づいて、時間をカウントすることが好ましい。時間カウント部は、医療画像を取得した枚数を示す取得フレーム数に基づいて、時間をカウントすることが好ましい。【００１１】
第１タイミングの医療画像において特徴領域を認識した場合において、第１タイミングと異なる第Ｎタイミングの医療画像においても、特徴領域と同一の特徴領域があるか否かを判定する同一領域判定部を有し、時間カウント部は、同一の特徴領域があると判定された場合には、時間のカウントを継続することが好ましい。表示制御部は、カウント時間が報知待機時間に達した場合に、特徴領域の認識結果を表示部に表示することが好ましい。
【発明の効果】
【００１２】
本発明によれば、特徴領域の認識結果の報知を遅らせる場合において、認識結果が表示されるまでの期間について、ユーザーは、認識処理が正常に動いているのか、認識処理に失敗しているのかを把握することができるようになる。
【図面の簡単な説明】
【００１３】
【図１】画像処理システムと内視鏡システムなどを示すブロック図である。
【図２】内視鏡システムを示すブロック図である。
【図３】医療画像解析処理部の機能を示すブロック図である。
【図４】撮影時間が表示された医療画像の画像図である。
【図５】第１〜第Ｎタイミングの医療画像の画像図である。
【図６】残り時間報知用タイムバーが表示された医療画像の画像図である。
【図７】鑑別結果及び残り時間報知用タイムバーが表示された医療画像の画像図である。
【図８】残り時間報知用数値が表示された医療画像の画像図である。
【図９】鑑別結果及び残り時間報知用数値が表示された医療画像の画像図である。
【図１０】スピーカを有するモニタを示す平面図である。
【図１１】特徴領域に対して施す強調表示のレベルによって残り時間を報知することを示す説明図であり、（Ａ）は強調表示のレベルが小さいことを、（Ｂ）は強調表示のレベルが大きいことを示す説明図である。
【図１２】強調表示された特徴領域と鑑別結果を表示する医療画像の画像図である。
【図１３】画像処理システムを含む診断支援装置である。
【図１４】画像処理システムを含む医療業務支援装置である。
【発明を実施するための形態】
【００１４】
図１に示すように、画像処理システム１０は、医療画像取得部１１、医療画像解析処理部１２、表示部１３、表示制御部１５、入力受信部１６、統括制御部１７、及び、保存部１８を備える。
【００１５】
医療画像取得部１１は、医療装置である内視鏡システム２１等から直接に、または、ＰＡＣＳ（Picture Archiving and Communication System）２２等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は静止画像または動画（いわゆる検査動画）である。医療画像が動画である場合、医療画像取得部１１は、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する１つの代表フレームの静止画像を表示することのほか、動画を１または複数回、再生することを含む。また、医療画像取得部１１が取得する医療画像には、内視鏡システム２１等の医療装置を用いて医師が撮影した画像の他、内視鏡システム２１等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。なお、本実施形態では、画像処理システム１０及び内視鏡システム２１ともに医療画像を用いて画像処理を行うことから、画像処理システム１０及び内視鏡システム２１はいずれも医療画像処理システムに相当する。
【００１６】
医療画像取得部１１は、複数の医療画像を取得し得る場合、これらの医療画像のうち１または複数の医療画像を選択的に取得できる。また、医療画像取得部１１は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部１１は、任意に医療画像を取得できる。
【００１７】
本実施形態においては、被写体像を含む医療画像を複数取得する。より具体的には、１回の特定の検査において撮影した医療画像を取得し、かつ、１回の特定の検査において撮影した医療画像が複数ある場合には、一連の医療画像のうち複数の医療画像を取得する。また、本実施形態においては、画像処理システム１０は、内視鏡システム２１と接続し、内視鏡システム２１から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。
【００１８】
表示部１３は、医療画像取得部１１が取得した医療画像、及び、医療画像解析処理部１２の解析結果を表示するディスプレイである。画像処理システム１０が接続するデバイス等が含むモニタまたはディスプレイを共用し、画像処理システム１０の表示部１３として使用できる。表示制御部１５は、表示部１３における医療画像及び解析結果の表示態様を制御する。
【００１９】
入力受信部１６は、画像処理システム１０に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。画像処理システム１０の各部の動作はこれらの操作デバイスを用いて制御できる。
【００２０】
統括制御部１７は、画像処理システム１０の各部の動作を統括的に制御する。入力受信部１６が操作デバイスを用いた操作入力を受信した場合には、統括制御部１７は、その操作入力にしたがって画像処理システム１０の各部を制御する。
【００２１】
保存部１８は、画像処理システム１０が含むメモリ等の記憶デバイス（図示しない）、または、内視鏡システム２１等の医療装置もしくはＰＡＣＳ２２が含む記憶デバイス（図示しない）に、医療画像の静止画等を保存する。
【００２２】
図２に示すように、本実施形態において画像処理システム１０が接続する内視鏡システム２１は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより画像を取得する内視鏡３１、内視鏡３１を介して被写体内に照明光を照射する光源装置３２、プロセッサ装置３３、及び、内視鏡３１を用いて撮影した内視鏡画像等を表示するモニタ３４を有する。内視鏡３１が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。
【００２３】
プロセッサ装置３３は、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７を備えている。医療画像取得部３５は、内視鏡３１から出力される医療画像を取得する。医療画像解析処理部３６は、医療画像取得部３５で取得した医療画像に対して、解析処理を行う。医療画像解析処理部３６での処理内容は、画像処理システム１０の医療画像解析処理部１２での処理内容と同様である。表示制御部３７は、医療画像解析処理部３６で得られた医療画像をモニタ３４に表示する。プロセッサ装置３３は画像処理システム１０と接続される。なお、医療画像取得部３５は医療画像取得部１１と同様であり、医療画像解析処理部３６は医療画像解析処理部１２と同様であり、表示制御部３７は表示制御部１５と同様である。
【００２４】
医療画像解析処理部３６は、医療画像取得部１１が取得した医療画像を用いて解析処理をする。図３に示すように、医療画像解析処理部１２は、特徴領域認識部４１と、時間カウント部４２と、同一領域判定部４３と、残り時間算出部４４と、残り時間報知情報生成部４５と、を含む。
【００２５】
特徴領域認識部４１では、医療画像から特徴領域を認識する特徴領域認識処理を行う。特徴領域認識処理には、医療画像から特徴領域を検出する特徴領域検出処理と、特徴領域に対して鑑別を行う鑑別処理が含まれる。これら特徴領域検出処理の結果と鑑別処理の結果については、後述するように、報知待機時間が経過した後に、特徴領域の認識結果として、モニタ３４に表示される。なお、特徴領域検出処理の結果の報知方法としては、特徴領域を矩形状のバウンディングボックスで囲むなどにより、検出結果を報知するようにしてもよい。
【００２６】
鑑別処理では、特徴領域が含む異常（以下、病変等という）の悪性度を鑑別する。より具体的には、病変等の種類または病変等の進行度を鑑別し、かつ、鑑別した病変等の種類または進行度を用いて悪性度を定める。悪性度とは、病変等の診断における重要性を示す評価であって、少なくとも病変等の種類または病変等の進行度（「病変等」が治療痕等である場合には経過状況）を反映する評価である。なお、悪性度は、例えば、「０」〜「１００」で段階的に表すことができ、「０」は良性であることを示し、数字が大きくなる程、悪性度が高くなる。
【００２７】
例えば、鑑別処理では、病変等がポリープである場合、病変等の種類として、過形成ポリープ、ＳＳＡ／Ｐ、腺腫、または、癌のいずれかに鑑別する。また、病変等が癌である場合、病変等の進行度を内視鏡所見分類により鑑別する。たとえば、大腸腫瘍の場合は、内視鏡所見分類として、ＮＩＣＥ（The Narrow-band imaging International Colorectal Endoscopic）分類、または、ＪＮＥＴ（The Japan NBI(Narrow Band Imaging) Expert Team）分類等がある。また、病変等が炎症性腸疾患である場合においても、病変等の進行度を内視鏡所見分類により鑑別する。例えば、炎症性腸疾患の１つである潰瘍性大腸炎においては、内視鏡所見分類は、例えば、Ｍａｙｏ分類、または、Ｍａｔｔｓ分類等がある。
【００２８】
鑑別処理では、１または複数の所定の特徴量を算出し、算出した特徴量を用いて、病変等の種類または進行度を鑑別する。また、鑑別処理では、特徴量を使用する代わりに、テクスチャ解析または規則形状を用いたパターンマッチングによって病変等の種類または進行度を鑑別できる。
【００２９】
なお、特徴領域認識処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストなどを用いてもよい。また、特徴領域認識処理として、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、特徴領域の認識を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。
【００３０】
なお、特徴領域認識部４１で認識される特徴領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップや鉗子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が特徴領域になり得る。内視鏡システム２１においては、特徴領域認識部４１は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を特徴領域として検出する。
【００３１】
時間カウント部４２は、特徴領域認識部４１で特徴領域を認識したタイミングから時間をカウントする。カウントした時間（カウント時間）は、後述するように、特徴領域の認識結果を報知するまでの特定所要時間を算出するために用いられる。内視鏡システム２１においては、観察対象の撮影開始からの時間を示す撮影時間を表示していることから、時間カウント部４２は、撮影時間を用いて時間をカウントすることが好ましい。例えば、図４に示すように、撮影時間が「１分５０秒」の時点で、特徴領域を認識した場合には、撮影時間が「１分５１秒」となった時点で、時間カウント部４２は「１秒」をカウントする。以後同様にして時間のカウントを行う。なお、カウント時間の単位としては、例えば「秒」があるが、その他の単位を用いてもよい。
【００３２】
また、内視鏡システム２１において、観察対象を内視鏡３１で撮像して得られる医療画像の枚数を示すフレーム数を、取得フレーム数として、カウントしている場合には、時間カウント部４２は、フレーム数を用いて時間をカウントすることが好ましい。例えば、フレームレートが６０ＦＰＳ（Flame Per Second）である場合において、取得フレーム数が「１００枚」の時点で、特徴領域を認識した場合には、フレーム数が「１６０」枚になった時点で、時間カウント部４２は「１秒」をカウントする。以後同様にして時間のカウントを行う。
【００３３】
同一領域判定部４３は、図５に示すように、第１タイミングの医療画像Ｐ１において特徴領域ＳＰを認識した場合において、第１タイミングと異なる第Ｎタイミング（Ｎは２以上の自然数）の医療画像ＰＮにおいても、同一の特徴領域が有るか否かを判定する。同一領域判定部４３は、例えば、第２タイミングの医療画像Ｐ２で、同一の特徴領域ＳＰを検出しなかった場合でも、その後の第３タイミングの医療画像Ｐ３で、同一の特徴領域ＳＰを検出した場合には、同一の特徴領域が有ると判定する。同一領域判定部４３で同一の特徴領域ＳＰが有ると判定した場合には、時間カウント部４２は、同一の特徴領域ＳＰに対するカウント時間のカウントを継続する。一方、同一領域判定部４３は、第２〜第Ｎタイミングの医療画像Ｐ２〜ＰＮの全てにおいて、同一の特徴領域ＳＰが無いと判定した場合には、時間カウント部４２でカウントしている時間をリセットする。なお、同一領域判定部４３で、同一の特徴領域が無いと判定した場合には、時間カウント部４２での時間のカウントを一時的に停止することが好ましい。
【００３４】
残り時間算出部４４は、特徴領域を認識してから特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と時間カウント部４２でカウントしたカウント時間に基づいて、特徴領域の認識結果を報知するまでの残り時間を算出する。具体的には、残り時間算出部４４は、報知待機時間からカウント時間を減算することにより、残り時間を算出する。例えば、報知待機時間が「５秒」で、カウント時間が「１秒」の場合には、残り時間は「４秒」となる（「５秒」−「１秒」）。なお、報知待機時間については、予め設定しておくことが好ましく、ユーザーによって適宜変更可能（図示しないユーザーインターフェースにより行われる）としてもよい。
【００３５】
残り時間報知情報生成部４５は、残り時間算出部４４で算出した残り時間に基づいて、残り時間を報知するための残り時間報知情報を生成する。生成された残り時間報知情報は、表示制御部３７によってモニタ３４に表示される。ここで、残り時間報知情報としては、図６に示すように、例えば、残り時間を表す残り時間報知用タイムバー５０としてもよい。残り時間報知用タイムバー５０は、残り時間が少なくなる程、バーの長さが長くなる。ここで、長さとは、バーの横方向の長さのことをいう。また、残り時間報知用タイムバー５０に対応する位置において、報知待機時間を表す報知待機時間用タイムバー５１を表示することが好ましい。残り時間報知用タイムバー５０の長さがカウント時間とともに大きくなって、残り時間報知用タイムバー５０の長さが報知待機時間用タイムバー５１の長さに一致した場合には、図７に示すように、特徴領域ＳＰの認識結果として、鑑別結果５２（悪性度「２０」）がモニタ３４に表示される。なお、鑑別結果５２は、観察対象を示す画像が表示される画面内５３ａとは別の画面外５３ｂに表示しているが、鑑別結果５２を画面内５３ａに表示してもよい。
【００３６】
なお、特徴領域を認識した時点で、残り時間報知用タイムバー５０の長さと報知待機時間用タイムバー５１の長さを同じにして表示し、残り時間が少なくなる程、残り時間報知用タイムバー５０の長さを短くするようにしてもよい。また、残り時間又は報知待機時間を棒状のバーで表す他に、円形などのその他の残り時間報知用図形又は報知待機時間用図形によって残り時間又は報知待機時間を表すようにしてもよい。
【００３７】
以上のように、報知待機時間の間、認識結果の報知をせずに待機させた場合において、残り時間報知用タイムバー５０で、認識結果報知までの残り時間を報知することによって、ユーザーは、特徴領域認識処理が失敗せずに正常に動いていることを把握することができる。そして、認識結果の報知後は、ユーザーによる診断結果と認識結果とを比較検討することにより、診断精度を向上させることができる。
【００３８】
また、残り時間報知情報としては、図８に示すように、例えば、残り時間を表す残り時間報知用数値としてもよい。残り時間報知用数値は、残り時間を数値で表したものである。例えば、残り時間が「４秒」であれば、残り時間報知用数値５４として「４秒」がモニタ３４に表示される。この場合、報知待機時間５５（例えば「５秒」）も合わせてモニタ３４に表示することが好ましい。そして、残り時間が「０秒」になった場合（カウント時間が報知待機時間に達した場合）には、図９に示すように、特徴領域ＳＰの認識結果として、鑑別結果５２がモニタ３４に表示される。なお、残り時間報知用数値で表示する場合には、残り時間報知用数値の色やフォントを、残り時間によって変化させたり、また、残り時間報知用数値を点滅させてもよい。残り時間報知用数値を点滅させる場合には、点滅する間隔を残り時間によって変化させることが好ましい。
【００３９】
また、残り時間報知情報としては、残り時間を表す残り時間報知用音声としてもよい。残り時間報知用音声としては、例えば、残り時間そのものを報知する音声を含めた音声とすることが好ましい。例えば、「認識結果の報知開始まで「４秒です」」とすることが好ましい。また、残り時間報知用音声として、ピッピッなどの機械音とした場合には、残り時間が多い場合には、音の鳴る間隔を長くし、残り時間が少なくなるにつれて、音の鳴る間隔を短くすることが好ましい。そして、残り時間が「０秒」になったこと（カウント時間が報知待機時間に達した場合）を、残り時間報知用音声で報知した場合には、特徴領域ＳＰの認識結果として、鑑別結果５２がモニタ３４に表示される。なお、残り時間報知用音声は、例えば、図１０に示すように、モニタ３４に設けられたスピーカ５６から発することが好ましい。
【００４０】
また、残り時間報知情報としては、残り時間に従って変化する特徴領域の認識結果のモニタ３４での表示態様であることが好ましい。認識結果表示態様としては、特徴領域に対して施される、疑似カラーなどの強調表示であることが好ましい。例えば、図１１（Ａ）に示すように、残り時間が大きい場合（図１１（Ａ）では「４秒」）には、特徴領域ＳＰに対する強調表示のレベルを小さくしておくことで、残り時間がまだ十分あることを報知する。強調表示レベルは、ハッチングの尺度によって表され、ハッチングの尺度が小さくなる程、強調表示レベルは大きくなる。そして、図１１（Ｂ）に示すように、残り時間が少なくなる（図１１（Ｂ）では「１秒」）につれて、特徴領域ＳＰに対する強調表示のレベルを大きくすることで、残り時間があとわずかで、特徴領域の認識結果がもうすぐであることを報知する。そして、残り時間が「０秒」になった場合（カウント時間が報知待機時間に達した場合）に、図１２に示すように、特徴領域に対する強調表示レベルを最大限にするとともに、特徴領域ＳＰの認識結果として、鑑別結果５２をモニタ３４に表示する。以上のように、特徴領域の表示態様を変化させることにより、残り時間を報知することで、ユーザーは、特徴領域から視線を外すことなく残り時間を把握することができる。
【００４１】
なお、図１３に示すように、内視鏡システム２１その他モダリティやＰＡＣＳ２２とを組み合わせて使用する診断支援装置６１０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。また、図１４に示すように、例えば内視鏡システム２１を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６３３等の各種検査装置と任意のネットワーク６２６を介して接続する医療業務支援装置６３０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。
【００４２】
この他、画像処理システム１０、内視鏡システム２１、及び、画像処理システム１０を含む各種装置またはシステムは、以下の種々の変更等をして使用できる。
【００４３】
医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
【００４４】
医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
【００４５】
特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
【００４６】
特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。
【００４７】
特定の波長帯域は、例えば、可視域の赤色帯域である。
【００４８】
特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍまたは６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。
【００４９】
特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
【００５０】
特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。
【００５１】
医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
【００５２】
また、蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る蛍光を利用できる。
【００５３】
医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
【００５４】
医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍまたは９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。
【００５５】
医療画像取得部１１は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。
【００５６】
特定の波長帯域の信号は、通常光画像に含むＲＧＢまたはＣＭＹの色情報に基づく演算により得ることができる。
【００５７】
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。
【００５８】
内視鏡システム２１については、内視鏡３１としてカプセル内視鏡を使用できる。この場合、光源装置３２と、プロセッサ装置３３の一部と、はカプセル内視鏡に搭載できる。
【００５９】
上記実施形態及び変形例において、医療画像取得部１１、医療画像解析処理部１２及び医療画像解析処理部１２を構成する各部、表示制御部１５、入力受信部１６、統括制御部１７、並びに、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７、特徴領域認識部４１、時間カウント部４２、同一領域判定部４３、残り時間算出部４４、残り時間報知情報生成部４５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、ＧＰＵ(Graphical Processing Unit)などが含まれる。
【００６０】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、ＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００６１】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
【００６２】
なお、本発明の別の形態は以下の通りである。
本発明の医療画像処理システムは、プロセッサ装置が、医療画像取得部によって、観察対象を撮像して得られる医療画像を取得し、特徴領域認識部によって、前記医療画像のうち特徴領域を認識し、時間カウント部によって、前記特徴領域を認識したタイミングから時間をカウントし、残り時間算出部によって、前記特徴領域を認識してから前記特徴領域の認識結果の報知を開始するまでの間の時間を示す報知待機時間と前記時間カウント部でカウントしたカウント時間に基づいて、前記特徴領域の認識結果を報知するまでの残り時間を算出し、表示制御部によって、少なくとも前記残り時間に基づいて得られる残り時間報知情報を表示部に表示する。
【符号の説明】
【００６３】
１０  画像処理システム
１１  医療画像取得部
１２  医療画像解析処理部
１３  表示部
１５  表示制御部
１６  入力受信部
１７  統括制御部
１８  保存部
２１  内視鏡システム
２２  ＰＡＣＳ
３１  内視鏡
３２  光源装置
３３  プロセッサ装置
３４  モニタ
３５  医療画像取得部
３６  医療画像解析処理部
３７  表示制御部
４１  特徴領域認識部
４２  時間カウント部
４３  同一領域判定部
４４  残り時間算出部
４５  残り時間報知情報生成部
５０  時間報知用タイムバー
５１  報知待機時間用タイムバー
５２  鑑別結果
５３ａ  画面内
５３ｂ  画面外
５４  時間報知用数値
５５  報知待機時間
５６  スピーカ
６１０  診断支援装置
６２１  第１検査装置
６２２  第２検査装置
６２３  第３検査装置
６２６  ネットワーク
６３０  医療業務支援装置
ＳＰ  特徴領域
Ｐ１  第１タイミングの医療画像
Ｐ２  第２タイミングの医療画像
Ｐ３  第３タイミングの医療画像
Ｐ４  第４タイミングの医療画像
ＰＮ  第Ｎタイミングの医療画像
【図１】
2020040086.tif 000003
【図２】
2020040086.tif 000004
【図３】
2020040086.tif 000005
【図４】
2020040086.tif 000006
【図５】
2020040086.tif 000007
【図６】
2020040086.tif 000008
【図７】
2020040086.tif 000009
【図８】
2020040086.tif 000010
【図９】
2020040086.tif 000011
【図１０】
2020040086.tif 000012
【図１１】
2020040086.tif 000013
【図１２】
2020040086.tif 000014
【図１３】
2020040086.tif 000015
【図１４】
2020040086.tif 000016
【国際調査報告】
2020040086.tif 000017
2020040086.tif 000018
2020040086.tif 000019
2020040086.tif 000020