(57)【要約】ユーザーによる画像の観察を阻害せず、かつ観察の際に要するユーザーの注意力を損ねずに、診断を支援することができる医療画像処理装置及び方法、内視鏡システム、診断支援装置、並びにプログラムを提供する。医療画像処理装置（１６０）は、被写体像を含む時系列の複数の画像を取得する画像取得部（１６２）と、得られた画像が認識に不適な画像であるか否かを判定する可否判定部（１６４）と、２つ以上の画像から動き推定を行う動き推定部（１６６）と、動き情報を基にユーザーの所作を判定する所作判定部（１６８）と、画像を認識して分類処理を行う分類部（１７０）と、所作判定部（１６８）から得られた所作情報及び分類部（１７０）から得られた分類結果を基に、報知情報を制御する報知制御部（１７２）と、を備える。
2020054543.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を含む時系列の複数の画像を取得する画像取得部と、
前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
を備える医療画像処理装置。
【請求項２】
前記不適な画像は、被写体がボケている画像である請求項１に記載の医療画像処理装置。
【請求項３】
前記不適な画像は、被写体がブレている画像である請求項１に記載の医療画像処理装置。
【請求項４】
前記不適な画像は、被写体に水がかぶっている画像である請求項１に記載の医療画像処理装置。
【請求項５】
前記不適な画像は、被写体に残渣がある画像である請求項１に記載の医療画像処理装置。
【請求項６】
前記可否判定部は、前記画像取得部から得られた画像が認識に不適な画像であるか否かを認識する認識部を含む請求項１から５のいずれか一項に記載の医療画像処理装置。
【請求項７】
前記可否判定部が前記不適な画像であると判定した画像について、前記動き推定部及び前記所作判定部における処理を不実施とする請求項１から６のいずれか一項に記載の医療画像処理装置。
【請求項８】
前記可否判定部が前記不適な画像であると判定した画像について、前記分類部における前記分類処理を不実施とする請求項１から７のいずれか一項に記載の医療画像処理装置。
【請求項９】
前記動き情報は、動きベクトルを含み、
前記所作判定部は、前記動きベクトルの大きさを基にユーザーの所作を判定する請求項１から８のいずれか一項に記載の医療画像処理装置。
【請求項１０】
前記所作判定部は、前記動き情報とユーザーの所作との対応関係が規定されたデータベースを用いて前記所作を判定する請求項１から９のいずれか一項に記載の医療画像処理装置。
【請求項１１】
前記データベースを記憶しておく記憶部を備える請求項１０に記載の医療画像処理装置。
【請求項１２】
前記所作は、鑑別の所作を含む請求項１から１１のいずれか一項に記載の医療画像処理装置。
【請求項１３】
前記報知制御部は、前記所作判定部の判定結果が前記鑑別の所作に非該当の画像について、前記分類部の分類結果を非報知とする請求項１２に記載の医療画像処理装置。
【請求項１４】
前記分類部は、前記画像取得部から得られた画像から病変の領域を認識し、かつ、前記病変のクラス分類を行う請求項１から１３のいずれか一項に記載の医療画像処理装置。
【請求項１５】
前記分類部は、畳み込みニューラルネットワークを用いて構成される請求項１から１４のいずれか一項に記載の医療画像処理装置。
【請求項１６】
前記報知制御部の制御に基づき、前記分類部の分類結果を報知する報知部を備える請求項１から１５のいずれか一項に記載の医療画像処理装置。
【請求項１７】
前記時系列の複数の画像の各々は、電子内視鏡を用いて撮影される内視鏡画像である請求項１から１６のいずれか一項に記載の医療画像処理装置。
【請求項１８】
被写体像を含む時系列の複数の画像を取得する画像取得工程と、
前記画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、
前記画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、
前記動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、
前記画像取得工程から得られた画像を認識して分類処理を行う分類工程と、
前記所作判定工程から得られた所作情報及び前記分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、
を含む医療画像処理方法。
【請求項１９】
体腔内を撮影する電子内視鏡と、
前記電子内視鏡から得られる画像信号を処理するプロセッサ装置と、
を含む内視鏡システムであって、
前記プロセッサ装置は、
前記電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、
前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
を備える内視鏡システム。
【請求項２０】
電子内視鏡から得られる画像信号を処理するプロセッサ装置であって、
前記電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、
前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
を備えるプロセッサ装置。
【請求項２１】
被写体像を含む時系列の複数の画像を取得する画像取得部と、
前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
前記報知制御部の制御に基づき、前記分類部の分類結果を含む情報を報知する報知部と、
を備える診断支援装置。
【請求項２２】
コンピュータに、
被写体像を含む時系列の複数の画像を取得する画像取得工程と、
前記画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、
前記画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、
前記動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、
前記画像取得工程から得られた画像を認識して分類処理を行う分類工程と、
前記所作判定工程から得られた所作情報及び前記分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、
を実行させるプログラム。
【請求項２３】
非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
被写体像を含む時系列の複数の画像を取得する画像取得工程と、
前記画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、
前記画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、
前記動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、
前記画像取得工程から得られた画像を認識して分類処理を行う分類工程と、
前記所作判定工程から得られた所作情報及び前記分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、
をコンピュータに実行させる記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラムに係り、特に、時系列の医療画像を処理することにより、診断を支援する情報を提供する画像処理技術に関する。
【背景技術】
【０００２】
医療分野において、内視鏡システムを用いた検査が行われている。近年は画像解析の技術を用いることにより、医療画像に含まれる病変の認識を行うシステムが知られている。特許文献１及び特許文献２に示されているように、内視鏡システムにおいて、スコープの先端にあるカメラを用いて体腔を撮影し、得られた観察画像に対して、プロセッサ装置が認識処理を行い、認識結果をユーザーに報知することがある。ユーザーは、報知された認識結果に応じて適切な処置を講じることができる。【０００３】
例えば、病変が撮影されている場合であれば、プロセッサ装置は、画像解析を行うことによって画像から病変の領域を認識し、かつ、癌性であるか非癌性であるかを認識して、認識結果をユーザーに報知する。ユーザーは報知された情報を参考にして、病変を更に詳細に観察し、癌性であると判断できた際には、病変を切除するなどの処置を講じることができる。このような機能を持つシステムは、医師などによる診断所見などの意思決定を支援する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６１５０５５４号公報
【特許文献２】国際公開第２０１７／００２１８４号
【特許文献３】特公平７−２７４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した内視鏡システムのような診断支援機能において、非癌性の病変を癌性と誤認識したり、又は、癌性の病変を非癌性と誤認識したりして、誤った認識結果をユーザーに報知することは問題である。しかし、内視鏡検査においては、スコープの操作、胎動、又は残渣などにより病変の部位が隠れたり、観察画像がぼけたりすることがあり、画像解析によって病変の認識を正確に行うことが困難な場合がある。【０００６】
そのような場合には、例えば、特許文献３に記載されているように、異常を検出した際に通常の画像表示から異常メッセージの表示に切り替える異常表示処理方式の技術を応用して、画像認識には不適な画像であることを報知することが考えられる。【０００７】
しかし、内視鏡操作は複雑であり、ユーザーはスコープの操作と観察画像の確認などを並行して行う必要がある。診断支援機能による認識結果の報知は、ユーザーの鑑別作業を効率化する一方で、例えば、画像を観察しているユーザーに病変を鑑別する意図が無いような場合でも画像認識の結果が報知されると、却ってユーザーの注意力を損ない、観察の阻害に繋がり、また別の病変領域などの注目領域の見落としに繋がるおそれがある。【０００８】
かかる課題は、内視鏡システムに限らず、超音波診断装置など、時系列に撮影される医療画像を処理して支援を行うシステムについて共通する課題である。【０００９】
本発明はこのような事情に鑑みてなされたものであり、ユーザーによる画像の観察を阻害せず、かつ観察の際に要するユーザーの注意力を損ねずに、診断を支援することができる医療画像処理装置及び方法、内視鏡システム、診断支援装置、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示の一態様に係る医療画像処理装置は、被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、を備える。【００１１】
本態様に係る医療画像処理装置によれば、取得された画像からユーザーの所作を判定し、その所作の意図に合わせた形で画像認識による分類結果の報知、又は、非報知などの支援を行うことができる。また、本態様によれば、認識に不適な画像について分類結果の報知を回避するなどの対応が可能となり、誤った情報が提供されてしまうことを抑制でき、時系列の画像群の中で精度の高い分類結果の情報を提供することができる。【００１２】
時系列の複数の画像は、動画であってもよいし、連写若しくはインターバル撮影などのように、特定の時間間隔で撮影される画像群であってもよい。また、時系列による撮影の時間間隔は必ずしも一定でなくてもよい。【００１３】
医療画像処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、医療画像処理装置は、１台又は複数台のコンピュータを用いて実現し得る。「装置」は、「システム」及び「モジュール」の概念を含む。【００１４】
「不適な画像」は、例えば、被写体がボケている画像、被写体がブレている画像、被写体に水がかぶっている画像、又は、被写体に残渣がある画像のいずれかであってよい。【００１５】
本開示の他の態様に係る医療画像処理装置において、可否判定部は、画像取得部から得られた画像が認識に不適な画像であるか否かを認識する認識部を含む構成であってよい。【００１６】
「認識」という用語は、識別、判別、推論、推定、検出、分類、及び領域抽出などの概念を含む。「認識部」は、認識器、識別器、判別器、検出器、分類器及び認識モデルなどの概念を含む。「認識モデル」は、例えば、機械学習によって認識性能を獲得した学習済みモデルであってよい。【００１７】
本開示の更に他の態様に係る医療画像処理装置において、可否判定部が不適な画像であると判定した画像について、動き推定部及び所作判定部における処理を不実施とする構成であってよい。【００１８】
本開示の更に他の態様に係る医療画像処理装置において、可否判定部が不適な画像であると判定した画像について、分類部における分類処理を不実施とする構成であってよい。【００１９】
かかる態様によれば、不正確な分類結果の提供を回避することができる。【００２０】
本開示の更に他の態様に係る医療画像処理装置において、動き情報は、動きベクトルを含み、所作判定部は、動きベクトルの大きさを基にユーザーの所作を判定する構成であってよい。【００２１】
本開示の更に他の態様に係る医療画像処理装置において、所作判定部は、動き情報とユーザーの所作との対応関係が規定されたデータベースを用いて所作を判定する構成であってよい。【００２２】
本開示の更に他の態様に係る医療画像処理装置において、データベースを記憶しておく記憶部を備える構成であってよい。【００２３】
本開示の更に他の態様に係る医療画像処理装置において、所作は、鑑別の所作を含む構成であってよい。【００２４】
本開示の更に他の態様に係る医療画像処理装置において、報知制御部は、所作判定部の判定結果が鑑別の所作に非該当の画像について、分類部の分類結果を非報知とする構成であってよい。【００２５】
本開示の更に他の態様に係る医療画像処理装置において、分類部は、画像取得部から得られた画像から病変の領域を認識し、かつ、病変のクラス分類を行う構成であってよい。【００２６】
本開示の更に他の態様に係る医療画像処理装置において、分類部は、畳み込みニューラルネットワークを用いて構成されてよい。【００２７】
本開示の更に他の態様に係る医療画像処理装置において、報知制御部の制御に基づき、分類部の分類結果を報知する報知部を備える構成であってよい。【００２８】
本開示の更に他の態様に係る医療画像処理装置において、時系列の複数の画像の各々は、電子内視鏡を用いて撮影される内視鏡画像であってよい。【００２９】
本開示の更に他の態様に係る医療画像処理方法は、被写体像を含む時系列の複数の画像を取得する画像取得工程と、画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、画像取得工程から得られた画像を認識して分類処理を行う分類工程と、所作判定工程から得られた所作情報及び分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、を含む。【００３０】
本態様の医療画像処理方法において、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作の工程（ステップ）の要素として把握することができる。また、本態様の医療画像処理方法は、医療画像処理装置の作動方法と理解することができる。【００３１】
本開示の更に他の態様に係る内視鏡システムは、体腔内を撮影する電子内視鏡と、電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、プロセッサ装置は、電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、を備える。【００３２】
本態様の内視鏡システムにおいて、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。【００３３】
本開示の更に他の態様に係るプロセッサ装置は、電子内視鏡から得られる画像信号を処理するプロセッサ装置であって、電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、を備える。【００３４】
本態様のプロセッサ装置において、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。【００３５】
本開示の更に他の態様に係る診断支援装置は、被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、報知制御部の制御に基づき、分類部の分類結果を含む情報を報知する報知部と、を備える。【００３６】
本態様の診断支援装置において、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。分類部の分類結果を表示する表示部は、報知部の一形態となり得る。【００３７】
本開示の更に他の態様に係るプログラムは、コンピュータに、被写体像を含む時系列の複数の画像を取得する画像取得工程と、画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、画像取得工程から得られた画像を認識して分類処理を行う分類工程と、所作判定工程から得られた所作情報及び分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、を実行させる。【００３８】
本態様のプログラムにおいて、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作の工程若しくは機能を実現するプログラム要素として把握することができる。
【発明の効果】
【００３９】
本発明によれば、時系列の画像からユーザーの所作を判定し、得られた所作情報を基に報知情報を制御するため、ユーザーの所作に合わせた支援を実現することが可能である。本発明によれば、ユーザーによる画像の観察を阻害せずに、かつ観察の際に要するユーザーの注意力を損ねることなく、画像の分類結果などの有益な支援情報を提供することができる。
【図面の簡単な説明】
【００４０】
【図１】図１は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。
【図２】図２は、電子内視鏡の先端硬質部の先端面を示した正面図である。
【図３】図３は、内視鏡システムの制御系を示したブロック図である。
【図４】図４は、本発明の第１実施形態に係る医療画像処理装置の機能を示すブロック図である。
【図５】図５は、病変が映っていない画像の例である。
【図６】図６は、ピントずれによって病変がボケている画像の例である。
【図７】図７は、動きブレによって病変がボケている画像の例である。
【図８】図８は、時系列で得られる３枚の画像群の例である。
【図９】図９は、画像の動きが小さい場合の画像例である。
【図１０】図１０は、画像の動きが大きい場合の画像例である。
【図１１】図１１は、動き情報とユーザーの所作との対応関係を規定したデータベースの例を示す説明図である。
【図１２】図１２は、分類部から得られる分類結果の報知例を示す図である。
【図１３】図１３は、分類結果を非報知とした場合の報知例を示す図である。
【図１４】図１４は、分類処理が起動していない旨を報知する情報を提示する報知例を示す図である。
【図１５】図１５は、第１実施形態に係る医療画像処理装置の動作の例を示すフローチャートである。
【図１６】図１６は、第２実施形態に係る医療情報管理システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００４１】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００４２】
《内視鏡システムの構成例》
図１は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。内視鏡システム１０は、電子内視鏡１２と、光源装置１４と、プロセッサ装置１６と、を含む。プロセッサ装置１６には、表示装置１８と入力装置１９とが接続される。電子内視鏡１２は、「スコープ」、「電子スコープ」、或いは単に「内視鏡」と呼ばれる場合がある。
【００４３】
本例の電子内視鏡１２は、軟性内視鏡である。電子内視鏡１２は、挿入部２０と、操作部３０と、ユニバーサルコード４０と、を備えている。挿入部２０は、検査対象者の体腔内に挿入される部分である。挿入部２０は、先端側から順に、手元側に向かって、先端硬質部２２、湾曲部２４、及び軟性部２６を含んで構成される。先端硬質部２２の内部には、照明光学系と対物光学系と撮像素子等が配置されている。湾曲部２４は、アングルノブ３１の操作に応じて、基準の位置から上下左右の４方向へ円滑に曲がる構造になっている。軟性部２６の手元側を挿入部２０の基端部という。
【００４４】
操作部３０は、挿入部２０の基端部に設けられている。操作部３０は、術者によって操作される各種操作部材を含む。例えば、操作部３０には、湾曲部２４の湾曲操作に用いられるアングルノブ３１と、送気送水の操作を行うための送気送水ボタン３２と、吸引操作を行うための吸引ボタン３３と、が設けられている。術者（ユーザーの一例）は、アングルノブ３１を操作することにより、湾曲部２４を湾曲させて先端硬質部２２の向きを自在に変えることができる。操作部３０には、他に、観察モードの切り替え操作に用いられるモード切替スイッチ３４、ズーム操作部３５、及び被観察部位の静止画の撮影指示を行うための図示せぬ静止画撮影指示部が設けられている。
【００４５】
また、操作部３０には、処置具導入口３６が設けられている。処置具導入口３６は、挿入部２０内を挿通している図示せぬ処置具挿通路内に、図示せぬ処置具を挿入するための開口部である。処置具としては、例えば、生検鉗子、カテーテル、高周波スネアなどがあり得る。また、処置具には、カイドチューブ、トラカールチューブ、スライディングチューブなども含まれる。処置具導入口３６は、鉗子口と呼ばれる場合がある。
【００４６】
ユニバーサルコード４０は、電子内視鏡１２を光源装置１４及びプロセッサ装置１６に接続するためのコードである。ユニバーサルコード４０には、挿入部２０から延設されるケーブル及びライトガイドが挿通されている。挿入部２０から延設されるケーブルには、信号の伝達に用いる通信ケーブルと、電力供給に用いる給電ケーブルとが含まれる。ユニバーサルコード４０の一端には、コネクタ４２が設けられている。
【００４７】
コネクタ４２は、ビデオコネクタ４２Ａとライトガイドコネクタ４２Ｂとを備えた複合タイプのコネクタである。ビデオコネクタ４２Ａには、ケーブルの一端が配置されている。ビデオコネクタ４２Ａはプロセッサ装置１６に対して着脱自在に接続される。ライトガイドコネクタ４２Ｂには、ライトガイドの一端が配置されている。ライトガイドコネクタ４２Ｂは光源装置１４に対して着脱自在に接続される。また、ライトガイドコネクタ４２Ｂには、送水コネクタ４２Ｃが設けられ、送水コネクタ４２Ｃを介して送水タンク４４が接続される。
【００４８】
プロセッサ装置１６は、コネクタ４２を介して光源装置１４と電気的に接続されている。プロセッサ装置１６は、光源装置１４を含む内視鏡システム１０の動作を統括的に制御する。プロセッサ装置１６は、ユニバーサルコード４０内に挿通されたケーブルを介して電子内視鏡１２に給電を行い、かつ、撮像素子の駆動を制御する。また、プロセッサ装置１６は、電子内視鏡１２からケーブルを介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。プロセッサ装置１６で変換された画像データは、表示装置１８に内視鏡撮影画像（観察画像）として表示される。
【００４９】
図２は、電子内視鏡１２の先端硬質部２２の先端面２２Ａを示した正面図である。先端硬質部２２の先端面２２Ａには、照明窓５０と、観察窓５２と、鉗子出口５４と、送気送水用ノズル５６とが設けられている。図２には示されていないが、照明窓５０の奥には、光源装置１４からの光を導くライトガイド１２０の出射端１２２が配置されている（図３参照）。照明窓５０から被観察領域へ照明光が照射される。照明窓５０は、観察窓５２を挟んで対称な位置に２個配置されている。
【００５０】
観察窓５２は、被観察領域からの反射光を取り込み、被観察領域を撮像するための窓である。図２には示されていないが、観察窓５２の奥には、体腔内の被観察領域の像光を取り込むための対物光学系６０と撮像素子６２とが配置されている（図３参照）。
【００５１】
鉗子出口５４は、挿入部２０内に配置された図示せぬ鉗子チャンネルに接続され、操作部３０に設けられた処置具導入口３６（図１参照）に連通している。処置具導入口３６から挿入された処置具が鉗子出口５４から体腔内に出される。
【００５２】
送気送水用ノズル５６は、操作部３０に設けられた送気送水ボタン３２（図１参照）の操作に応じて、洗浄水又は空気を、観察窓５２及び／又は体腔内に向けて噴射する。なお、洗浄水及び空気は、光源装置１４に内蔵された送気送水装置から供給される。
【００５３】
図３は、内視鏡システム１０の制御系を示したブロック図である。電子内視鏡１２の先端硬質部２２には、対物光学系６０と、撮像素子６２と、アナログフロントエンド（ＡＦＥ：Analog Front End）回路６４と、タイミングジェネレータ（ＴＧ：Timing Generator）６５と、ＣＰＵ（Central Processing Unit）６６と、が設けられている。
【００５４】
対物光学系６０は、ズームレンズを用いて構成される。対物光学系６０と撮像素子６２の間に、図示しない導光用のプリズムが配置される。撮像素子６２は、ＣＭＯＳ（complementary metal oxide semiconductor）型の撮像素子であってもよいし、ＣＣＤ（Charged Coupled Device）型の撮像素子であってもよい。ここではＣＭＯＳ型の撮像素子を用いる例を説明する。
【００５５】
図示は省略するが、撮像素子６２は、複数の色セグメントからなるカラーフィルタを備えた単板カラー撮像方式の固体撮像素子である。カラーフィルタは、例えば、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）を含むベイヤー配列の原色カラーフィルタであってよい。
【００５６】
撮像素子６２の撮像面には、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサが設けられている。撮像素子６２の撮像面に入射した光は各画素のフォトセンサに電荷として蓄積される。各画素のフォトセンサに蓄積された信号電荷量は、垂直走査回路及び水平走査回路（いずれも不図示）による垂直方向と水平方向の走査によって、画素信号として順次読み出され、所定のフレームレートで出力される。
【００５７】
タイミングジェネレータ６５は、ＣＰＵ６６の制御に基づき、撮像素子６２の駆動パルスと、アナログフロントエンド回路６４への同期パルスとを発生する。撮像素子６２の駆動パルスには、垂直走査パルス、水平走査パルス、及びリセットパルス等が含まれる。
【００５８】
撮像素子６２は、タイミングジェネレータ６５から入力される駆動パルスにより駆動され、対物光学系６０を介して撮像面に結像された光学像を光電変換して撮像信号として出力する。
【００５９】
アナログフロントエンド回路６４は、相関二重サンプリング（ＣＤＳ：correlated double sampling）回路と、自動ゲイン制御（ＡＧＣ：Automatic Gain Control）回路と、Ａ／Ｄ変換器とを含む。ＣＤＳ回路は、撮像素子６２から出力される撮像信号に対して相関二重サンプリング処理を施し、撮像素子６２で生じるリセット雑音及びアンプ雑音の除去を行う。
【００６０】
ＡＧＣ回路は、ＣＤＳ回路によりノイズ除去が行われた撮像信号を、ＣＰＵ６６から指定されたゲイン（増幅率）で増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路により増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。アナログフロントエンド回路６４にてデジタル化されて出力された撮像信号は、信号線を通してプロセッサ装置１６に入力される。
【００６１】
なお、撮像素子６２、アナログフロントエンド回路６４及びタイミングジェネレータ６５は、モノリシック集積回路として構成することができ、これらの各回路素子は、１つの撮像チップ６８に含まれる。本例の電子内視鏡１２に搭載される撮像チップ６８は、いわゆる「ＣＭＯＳセンサチップ」であり、図示せぬ支持基板上に実装されている。
【００６２】
プロセッサ装置１６は、ＣＰＵ７０と、ＲＯＭ（read-only memory）７２と、ＲＡＭ（Random Access Memory）７４と、デジタル信号処理回路（ＤＳＰ：Digital Signal Processor）７６と、表示制御回路７８とを備える。
【００６３】
ＣＰＵ７０は、プロセッサ装置１６内の各部を制御し、かつ内視鏡システム１０の全体を統括的に制御する。ＲＯＭ７２には、プロセッサ装置１６の動作を制御するための各種プログラムや制御用データが記憶される。ＲＡＭ７４には、ＣＰＵ７０により実行されるプログラム及びデータなどが一時記憶される。
【００６４】
デジタル信号処理回路７６は、ＣＰＵ７０の制御に基づき、アナログフロントエンド回路６４から入力された撮像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等の各種信号処理を施して、画像データを生成する。また、デジタル信号処理回路７６は、画像認識の処理を行う。デジタル信号処理回路７６は、画像処理部として機能する。また、デジタル信号処理回路７６は、画像認識の処理を行う画像認識部の機能を含んでいる。
【００６５】
デジタル信号処理回路７６から出力された画像データは、表示制御回路７８に入力される。表示制御回路７８は、デジタル信号処理回路７６から入力された画像データを、表示装置１８に対応した信号形式に変換し、表示装置１８の画面に表示させる。
【００６６】
表示装置１８は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。表示装置１８は、プロセッサ装置１６の処理に必要な各種設定情報、又は、処理結果を示す情報などの各種情報を表示し得る。
【００６７】
表示装置１８と入力装置１９は、ユーザーインターフェースとして機能する。入力装置１９は、例えば、キーボード、マウス、タッチパネル、操作ボタン、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザーは、入力装置１９を用いて各種の指示及び／又は情報を入力することができる。プロセッサ装置１６は、入力装置１９から入力された指示及び／又は情報に応じて各種処理を実行し得る。
【００６８】
光源装置１４は、電子内視鏡１２内に挿通されたライトガイド１２０を通して体腔内を照明する光を発生する。光源装置１４は、第１光源１００と、第１光源駆動回路１０１と、第２光源１０２と、第２光源駆動回路１０３と、ＣＰＵ１０４と、合波部１０５とを含む。ＣＰＵ１０４は、プロセッサ装置１６のＣＰＵ７０と通信を行い、第１光源駆動回路１０１及び第２光源駆動回路１０３の制御を行う。
【００６９】
第１光源駆動回路１０１は、ＣＰＵ１０４からの指示に従い、第１光源１００を発光させる。第２光源駆動回路１０３は、ＣＰＵ１０４からの指示に従い、第２光源１０２を発光させる。
【００７０】
第１光源１００は、例えば、波長４４５ｎｍの青色レーザを発光するレーザダイオードである。第１光源１００は、第１光源駆動回路１０１によりパルス駆動されて発光量が制御される。第２光源１０２は、例えば、波長４０５ｎｍの青色レーザを発光するレーザダイオードである。第２光源１０２は、第２光源駆動回路１０３によりパルス駆動されて発光量が制御される。波長４０５ｎｍの青色光は、特殊光観察の際に使用される。
【００７１】
合波部１０５は、第１光源１００と第２光源１０２のそれぞれの出射光を合波してライトガイド１２０の入射端１２１に出射する。
【００７２】
ライトガイド１２０の出射端１２２と、電子内視鏡１２の照明窓５０との間には、蛍光体１２４が設けられている。ライトガイド１２０を通った青色レーザ光は蛍光体１２４に照射され、蛍光体１２４を励起状態にすると共に、その一部は蛍光体１２４を透過して青色光として照明窓５０から出射される。
【００７３】
蛍光体１２４は、青色レーザ光で励起され、光の波長帯域でいうと、青色と緑色の境界当たりの波長域から赤色の波長域までの広範囲の光（色としては黄色）を発光する。この黄色光と蛍光体１２４を透過する青色光とが混合されて白色光となり、照明窓５０を通して被写体を照明することになる。なお、蛍光体１２４を透過する青色光には、蛍光体１２４で発光する青色光も一部含む。
【００７４】
蛍光体１２４は、上述のように、波長４４５ｎｍの青色レーザ光の照射を受けた場合に黄色光を発光すると共に波長４４５ｎｍの青色光を透過するが、波長４０５ｎｍの青色レーザ光の照射を受けた場合にはその殆どを透過する性質を持つ。
【００７５】
即ち、波長４４５ｎｍの青色レーザ光と波長４０５ｎｍの青色レーザ光との混合割合を制御することで、蛍光体１２４を透過する青色光と、蛍光体１２４で発光する黄色光との割合を制御することが可能である。
【００７６】
白色光を用いて照明された被写体からの反射光を、撮像素子６２を用いて受光することにより、被写体のカラー画像が再現される。
【００７７】
上述のように構成された内視鏡システム１０を用いて体腔内を観察する際には、電子内視鏡１２と、光源装置１４と、プロセッサ装置１６と、表示装置１８の各電源をオンにして、電子内視鏡１２の挿入部２０を体腔内に挿入し、光源装置１４からの照明光で体腔内を照明しながら、撮像素子６２により撮像される体腔内の画像を表示装置１８の画面で観察することになる。
【００７８】
本例の内視鏡システム１０は、白色光観察モードと狭帯域光観察モードを有する。白色光観察モードは、照明光に白色光を用いて観察対象を撮像して得られる撮影画像を用いて、自然な色合いの観察画像を表示装置１８に表示するモードである。白色光観察モードで観察対象を撮像して得られる画像を「白色光観察画像」という。照明光は「観察光」と言い換えてもよい。
【００７９】
狭帯域光観察モードは、特定の波長帯域の狭帯域光を照明光として観察対象を撮像して得られる画像信号を用いて、例えば、観察対象の特定深さ領域に在る血管を強調した可視化画像を生成し、血管の観察に適した画像を表示装置１８に表示するモードである。狭帯域光観察モードで観察対象を撮像して得られる画像を「狭帯域光観察画像」という。
【００８０】
内視鏡システム１０は、使用する狭帯域光の波長帯域の種類又はその組み合わせが異なる複数種類の狭帯域光観察モードを有していてもよい。
【００８１】
《内視鏡システム１０における診断支援機能の概要》
内視鏡検査では、ユーザーである医師がスコープを操作して病変を検出するスクリーニング処理と、検出された病変の状態を詳細に確認する鑑別処理とが行われており、病変の見落としを防ぐことが重要な課題の１つである。例えば、ある病変の鑑別が終了した際に、ユーザーが周囲の病変の存在を忘れてしまう恐れがある。ユーザーは、スクリーニング作業から鑑別作業への移行、及び、鑑別作業からスクリーニング作業への移行をシームレスに実施しており、診断支援のシステムもそのようなユーザーの操作に合わせた動作が求められる。
【００８２】
スクリーニング作業と鑑別作業とを切り替える手段として、光源の種類が切り替わるタイミングなどが考えられるが、同一光源のまま作業が移行している場合に対応できない。
【００８３】
本発明の実施形態に係る医療画像処理装置は、時系列で取得される複数の画像からユーザーの所作を判定し、その所作の意図に合わせた形で支援を行うように動作する。時系列で取得される複数の画像を「時系列画像」という。時系列画像は、例えば、動画であってよい。また、時系列で取得される複数の画像の各々は、一定の時間間隔で得られる動画のフレーム画像であってよい。
【００８４】
《第１実施形態に係る医療画像処理装置の構成》
プロセッサ装置１６は、本発明の実施形態に係る医療画像処理装置の一例である。図４は、第１実施形態に係る医療画像処理装置の機能を示すブロック図である。図４に示す医療画像処理装置１６０は、画像取得部１６２と、可否判定部１６４と、動き推定部１６６と、所作判定部１６８と、分類部１７０と、報知制御部１７２と、報知部１７４と、を備える。
【００８５】
画像取得部１６２、可否判定部１６４、動き推定部１６６、所作判定部１６８及び分類部１７０の機能は、図３で説明したデジタル信号処理回路７６、若しくは、ＣＰＵ７０、又はこれらの組み合わせによって実現できる。また、報知制御部１７２は、図３で説明した表示制御回路７８を含んでよい。
【００８６】
図４に示す画像取得部１６２は、電子内視鏡１２を用いて撮影された時系列の画像ＩＭ１、ＩＭ２、ＩＭ３・・・を取得するインターフェースである。画像取得部１６２は、例えば、ビデオコネクタ４２Ａが接続されるコネクタ端子であってもよいし、デジタル信号処理回路７６の信号入力端子であってもよい。また、画像取得部１６２は、プロセッサ装置１６に設けられた通信ネットワーク端子、外部記憶メディア用のメディアインターフェース端子、若しくは、外部機器の接続用端子、又は、これらの適宜の組み合わせであってもよい。
【００８７】
医療画像処理装置１６０は、電子内視鏡１２を介して時系列で取得される画像から病変の自動分類を行い、分類結果を報知することでユーザーによる診断を支援する。しかし、内視鏡検査において取得される画像には、図５から図７に例示するように、分類困難な画像が含まれ得る。
【００８８】
図５は、病変が映っていない画像の例である。図６は、ピントずれによって病変１８２がボケている画像の例である。図７は、動きブレによって病変１８２がボケている画像の例である。図７は「ブレている画像」の一例である。
【００８９】
可否判定部１６４は、画像取得部１６２から取得された画像が認識に不適な画像であるか否かを判定する。可否判定部１６４は認識部１６４Ａを含む。認識部１６４Ａは、入力された画像が画像認識に適切であるか不適切であるかの認識を行う。ここでの「画像認識に適切である」とは、認識の主目的である病変の分類等を行う認識の処理に適する画像であることを意味する。「画像認識に不適切である」とは、主目的である病変の分類等の認識に不適な画像であることを意味する。認識に不適な画像を例示すると、例えば、ボケている画像、ブレている画像、被写体に水がかぶっている画像、被写体に残渣がある画像などである。認識に不適な画像を「不適切画像」という。
【００９０】
認識部１６４Ａは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。認識部１６４Ａは、例えば、認識に適する画像であるか、認識に不適な画像であるかの２分類のタスクを行うように、機械学習によって学習した第１の学習済みモデルを用いて構成される。認識部１６４Ａは、動画の各フレーム画像、又は間引かれた一定間隔のフレーム画像の特徴量を算出し、算出された特徴量を用いて認識に不適な画像であるか否かを判定し得る。
【００９１】
認識に不適な画像は、分類部１７０の分類処理にて分類が困難な画像である。また、認識に不適な画像は、動き推定部１６６での動き推定の処理にも適さない画像である。
【００９２】
したがって、可否判定部１６４にて分類困難と判断された場合は、動き推定部１６６、所作判定部１６８及び分類部１７０による処理を行わずに、報知制御部１７２の処理に移行する。
【００９３】
動き推定部１６６は、時系列で取得される画像群の動き情報を検出する。画像の動きを推定する方法の例としては、例えば、オプティカルフロー、ブロックマッチング、又は、テンプレートマッチングなどを挙げることができる。動きを推定する手法は、ここに例示した手法に限らず、様々なアルゴリズムを適用できる。
【００９４】
また、動きを推定する際に使用する画像の枚数は２枚（現在の画像と１枚前の過去画像）に限らない。図８には、時系列で得られる３枚の画像群の例が示されている。図８は、一定の時間間隔で撮影される動画のフレーム画像を示している。図８に示す３枚のフレーム画像の各々に対して画像解析を行うことによって、画像ごとにクラス分類は可能である。
【００９５】
しかし、例えば、現在の時刻ｔにおける画像ＩＭ（ｔ）に泡１８４などが映っており、泡１８４などによって画像が覆われている場合、現在の画像ＩＭ（ｔ）と１枚前の過去画像ＩＭ（ｔ−１）との２枚のみでは正確な動きを推定することが困難である。そのため、現在の画像ＩＭ（ｔ）から見て過去の画像又は未来の画像を含め２枚以上のフレーム画像を選択することにより、動きの推定精度を向上させることが好ましい。
【００９６】
また、可否判定部１６４により認識された画像の状態情報を、動き推定部１６６での動きの推定に用いてもよい。例えば、入力された画像がブレれている場合に、テンプレートマッチングのテンプレート自体をブレ画像化してもよい。また、例えば、入力された画像がブレている場合に、動き推定の対象画像におけるブレの成分を除去する処理を実施してもよい。
【００９７】
所作判定部１６８は、動き推定部１６６にて検出された動き情報に応じてユーザーの所作を判定する。図９及び図１０は、動き推定結果に基づくユーザー所作の判定例を示す。図９は、画像の動きが小さい場合の画像例を示す。図９において観察画像内に表示した矢印Ａは、画像ＩＭ（ｔ）と、次のフレームの画像ＩＭ（ｔ＋１）との画像間における病変１８２の領域の動きベクトルを表している。
【００９８】
図１０は、画像の動きが大きい場合の画像例を示す。図１０において観察画像内に表示した矢印Ｂは、画像ＩＭ（ｔ）と、次のフレームの画像ＩＭ（ｔ＋１）との画像間における病変１８２の領域の動きベクトルを表している。例えば、図９に示すように、動きベクトルが小さい場合は、ユーザーの鑑別中にスコープの位置が動いたと判定できる。その一方、図１０に示すように、動きベクトルが大きい場合は、ユーザーに鑑別の意図が無いと判定できる。
【００９９】
所作判定部１６８は、動きベクトルの大きさを閾値と比較するなどして、ユーザーの所作を判定する。動きベクトルの大きさは、画像の移動量を反映している。つまり、動きベクトルの大きさから、ユーザーの所作が鑑別を意図しているか、否かを判定することができる。なお、動きベクトルは、画像全体での動きとして取得してもよいし、ある注目領域のみの動きとして取得してもよい。
【０１００】
また、所作判定部１６８は、画像の移動量に基づいてユーザーの所作を判定する態様に限らず、予め定義されたデータベース、若しくは時系列上で更新されるデータベースと照らし合わせてユーザーの所作を判定してもよい。
【０１０１】
図１１は、動き情報とユーザーの所作との対応関係を規定したデータベースの例である。医療画像処理装置１６０は、データベース１６７を格納しておく記憶部１６９を含んでよい。記憶部１６９は、半導体メモリ、ハードディスクドライブ、ソリッドステートドライブ、若しくは光ディスクなどに例示される記憶装置であってよく、又はこれらの適宜の組み合わせであってよい。記憶部１６９は、医療画像処理装置１６０に内蔵された内部記憶装置であってもよいし、医療画像処理装置１６０に接続される外部記憶装置であってもよい。
【０１０２】
所作判定部１６８は、動き推定部１６６から得られる動き情報を基にデータベース１６７と照合してユーザーの所作の意図を判定し得る。例えば、動き情報の示す画像の動きが停止している場合、若しくは動きは非常に小さい場合には鑑別中であると判定される。また、動き情報の示す画像の動きが等速運動又は回転運動である場合には鑑別中であると判定される。動き情報の示す画像の動きが等加速度運動である場合にはスクリーニング中であると判定される。所作判定部１６８の判定結果は、報知制御部１７２に送られる（図４参照）。所作判定部１６８の判定結果は、ユーザーの所作意図を推定した所作情報に相当する。
【０１０３】
図４に示す分類部１７０は、可否判定部１６４にて分類可能と判定された画像を対象に、ある特定のクラスへの分類処理が行われる。分類方法としては例えば、下記の分類クラスが挙げられる。
【０１０４】
〈分類クラスの具体例〉
［例１］腫瘍性であるか、非腫瘍性であるかの２分類のクラス分けを採用し得る。
【０１０５】
［例２］内視鏡所見分類、具体的にはＮＩＣＥ分類、又はＪＮＥＴ分類などを採用し得る。
【０１０６】
［例３］病種による分類、例えば、過形成性ポリープ、腺腫、粘膜内癌、高度浸潤癌、炎症性ポリープなどに分類する態様を採用し得る。
【０１０７】
なお、「ＮＩＣＥ」は、NBI（Narrow band imaging） International Colorectal Endoscopic の略語である。「ＪＮＥＴ」は、「the Japan NBI Expert Team」の略語である。
【０１０８】
ＮＩＣＥ分類は、非拡大のＮＢＩによる分類であり、病変の色調（Color）、微小血管模様（Vessels）、及び表面模様（Surface pattern）の３項目の各項目について、Type1、Type２及びType３に分類される。Type1は過形成病変、Type2は腺腫〜粘膜内癌、Type3はＳＭ（submucosa）深部浸潤癌の診断指標である。ＪＮＥＴ分類は、大腸腫瘍に対するＮＢＩ拡大内視鏡所見の分類である。ＪＮＥＴ分類は、「vessel pattern」と「surface pattern」の各項目について、Type1、Type2A、Type2B、及びType3に分類される。
【０１０９】
分類部１７０は、ＮＩＣＥ分類などの詳細な分類に代えて、又は、これと組み合わせて、単に「癌性」であるか「非癌性」であるかの２分類の認識を行ってもよい。
【０１１０】
図４に示す分類部１７０の分類処理には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）が用いられる。分類部１７０は、［例１］〜［例３］に例示したような特定のクラスに分類する画像分類のタスクを行うように、機械学習によって学習した第２の学習済みモデルを用いて構成することができる。
【０１１１】
可否判定部１６４から得られた判定結果が「認識に適する画像」である場合に、分類部１７０による分類処理が実行される。分類部１７０は、画像から特徴量を抽出し、画像の分類を行う。分類部１７０は、算出された特徴量を基に注目領域（例えば、病変の領域）の検出及び病変の領域の検出、及び／又は、セグメンテーションを実施してもよい。また、分類部１７０は、認識部１６４Ａで算出した特徴量を利用して分類処理を実施してもよい。
【０１１２】
報知制御部１７２は、可否判定部１６４から得られる判定結果と、所作判定部１６８から得られる判定結果と、分類部１７０から得られる分類結果と、に基づき、報知部１７４での動作を制御する。報知部１７４は、表示装置１８を含んで構成されてよい（図１及び図２参照）。また、報知部１７４は、表示装置１８とは別の表示装置であってもよい。報知制御部１７２は、報知部１７４に出力する情報内容を制御し得る。
【０１１３】
図１２は、分類部１７０から得られる分類結果の報知例を示す図である。図１２の例では、観察画像内に病変１８２であるポリープが検出されており、内視鏡撮影画像の表示領域の右横に、分類結果を示す報知情報としての「result:  neoplasm」（腫瘍）という文字情報が表示されている。分類結果を示す報知情報は、内視鏡撮影画像と共に同一画面内に表示されることが好ましい。
【０１１４】
その一方で、所作判定部１６８によりユーザーに鑑別の意図が無いと判定された場合にも、自動分類結果などを報知すると、ユーザーの注意力を損ない、観察の阻害、また別の病変の見落としに繋がる恐れがある。そこで、報知制御部１７２は、所作判定部１６８によりユーザーに鑑別の意図が無いと判定された場合には、図１３又は図１４に示すような表示を行うよう報知制御を実施する。
【０１１５】
図１３は、分類結果を報知させないようにした例である。図１３に示す例では、内視鏡撮影画像の表示領域の右横に、分類結果が報知されないことを明示する情報としての「result:  −  」という情報が表示されている。
【０１１６】
図１４は、分類結果を示す文字情報に代えて、分類処理が起動していない旨を報知する情報を提示する報知例である。図１４に示す例では内視鏡撮影画像の表示領域の右横に、分類処理が起動していないことを明示する情報としての「classification  off」という情報が表示され、「on」の文字は非表示又はグレーアウト表示となっている。図１３に示すような報知形態に代えて、図１４に示すような報知形態を採用してもよい。また、図１３に示す報知形態と図１４に示す報知形態とを組み合わせた報知形態を採用してもよい。
【０１１７】
《第１実施形態に係る医療画像処理装置の動作の例》
医療画像処理装置１６０を用いた医療画像処理方法について説明する。図１５は、第１実施形態に係る医療画像処理装置１６０の動作の例を示すフローチャートである。医療画像処理装置の動作は、医療画像処理装置の作動方法と理解してもよいし、若しくはプロセッサ装置の作動方法と理解してもよい。
【０１１８】
ステップＳ１１において、医療画像処理装置１６０は、画像取得部１６２を介して現在の画像を受信する。画像取得部１６２が取得する画像は、電子内視鏡１２を用いて撮影された被写体像を含む医療画像であり、時系列で順次に撮影される時系列画像の１つの画像である。例えば、画像は、動画を構成する１フレームの画像である。ステップＳ１１は本開示における「画像取得工程」の一例である。
【０１１９】
ステップＳ１２において、可否判定部１６４は、入力された現在の画像について画像の状態を認識する処理を行う。具体的には、可否判定部１６４は、分類処理に適した画像であるか否かを認識する処理を行う。
【０１２０】
ステップＳ１４において、可否判定部１６４は、分類が可能であるか否かを判定する。ステップＳ１２とステップＳ１４は本開示における「可否判定工程」の一例である。ステップＳ１４の判定処理において可否判定部１６４が分類可能と判定した場合には、ステップＳ１６及びステップＳ２０に移行する。
【０１２１】
ステップＳ１６において、動き推定部１６６は、過去又は未来の画像を含む２枚以上の複数の画像を用いて画像の動きを推定する。ステップＳ１６は本開示における「動き推定工程」の一例である。
【０１２２】
ステップＳ１６の後、ステップＳ１８において、所作判定部１６８は、動き推定部１６６の推定結果である動き情報を基にユーザーの所作を判定する。ステップＳ１８は本開示における「所作判定工程」の一例である。
【０１２３】
また、ステップＳ１６及びステップＳ１８の処理と並行して、ステップＳ２０において、分類部１７０は、画像内から病変の領域を認識して所定のクラスに分類する処理を行う。ステップＳ２０は本開示における「分類工程」の一例である。
【０１２４】
ステップＳ１８及びステップＳ２０の後、ステップＳ２２に移行する。またステップＳ１４の判定結果が「Ｎｏ判定」すなわち、分類不能と判定された場合は、ステップＳ１６からステップＳ２０の処理を省略して、ステップＳ２２に移行する。
【０１２５】
ステップＳ２２において、報知制御部１７２は、報知部１７４に出力する報知情報の設定を行う。報知制御部１７２は、所作判定部１６８の判定結果が「鑑別」の所作に該当する場合には、分類部１７０の分類結果を報知するよう報知情報を設定する（図１２参照）。その一方、報知制御部１７２は、所作判定部１６８の判定結果が「鑑別」の所作に非該当である場合には、分類部１７０の分類結果を非報知とするよう報知情報を設定する（図１３及び図１４参照）。ステップＳ２２は本開示における「報知制御工程」の一例である。
【０１２６】
ステップＳ２２の後、図１５のフローチャートを終了する。時系列で取得される画像ごとに、図１５に示すフローチャートの処理が繰り返される。
【０１２７】
なお、図１５に示すフローチャートの処理は、時系列で取得される画像ごとに実施する態様に限らず、時系列で取得される画像の一部の画像のみについて実施してもよい。
【０１２８】
《第１実施形態による利点》
上述した第１実施形態の構成によれば、次のような利点がある。
【０１２９】
（１）医療画像処理装置１６０によれば、時系列で得られる複数の画像からユーザーの所作の意図を判定し、鑑別の意図があると判定した画像について分類結果を報知する一方、鑑別の意図が無いと判定した画像について分類結果を非報知とすることができる。これにより、不必要なタイミングでの過剰な報知を抑制でき、支援が必要なタイミングで適切な情報を提供することができる。
【０１３０】
（２）医療画像処理装置１６０によれば、ユーザーによる画像の観察を阻害せずに、観察の際に要するユーザーの注意力を持続させることできる。医療画像処理装置１６０によれば、病変領域などの注目領域の見落としを抑制することができる。
【０１３１】
（３）医療画像処理装置１６０によれば、時系列で得られる画像の中に、認識に不適な画像が一時的に含まれた場合に、その不適な画像についての動き推定の処理、所作判定の処理、及び分類処理が省略され、これらの処理が不実施となる。このため、認識に不適な画像から真実性の低い分類結果（誤った認識結果）が生成されてユーザーに提供されてしまうことを回避できる。また、認識に不適な画像について分類結果の報知を回避することができ、時系列の画像群の中で正確性のある分類結果の情報を提供することができる。
【０１３２】
（４）医療画像処理装置１６０によれば、検査中の連続的な撮影によって得られる動画の表示中に、分類結果をリアルタイムでユーザーに報知することができる。
【０１３３】
（５）医療画像処理装置１６０によれば、医師等のユーザーにとって有益な診断支援を行うことができる。
【０１３４】
《第２実施形態：医療情報管理システムへの応用例》
本発明に係る医療画像処理装置は、図１に例示した内視鏡システム１０のプロセッサ装置１６に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。
【０１３５】
図１６は、医療情報管理システムの構成例を示すブロック図である。医療情報管理システム２００は、画像取込端末２０２と、画像保存サーバ２０４と、情報管理装置２１０と、表示装置２１８と、入力装置２１９と、を備える。画像取込端末２０２、画像保存サーバ２０４及び情報管理装置２１０の各々は、電気通信回線２３０に接続される。「接続」という用語は、有線接続に限らず、無線接続の概念も含む。
【０１３６】
電気通信回線２３０は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよい。電気通信回線２３０は、有線及び無線の適宜の組み合わせによって構成される。
【０１３７】
内視鏡システム１０のプロセッサ装置１６は、電気通信回線２３０に接続される。プロセッサ装置１６によって生成された医療画像は、電気通信回線２３０を介して、画像取込端末２０２、画像保存サーバ２０４、及び情報管理装置２１０のうち少なくとも１つに取り込まれる。例えば、プロセッサ装置１６によって生成された医療画像は、画像取込端末２０２に送られる。画像取込端末２０２は、プロセッサ装置１６から医療画像を受信する。
【０１３８】
画像取込端末２０２は、プロセッサ装置１６から受信した医療画像を画像保存サーバ２０４に送る。また、画像取込端末２０２は、プロセッサ装置１６から受信した医療画像を情報管理装置２１０に送信してもよい。
【０１３９】
画像保存サーバ２０４は、様々な医療画像のデータベースを格納しておく記憶装置の役割を果たす。画像保存サーバ２０４に代えて、クラウドストレージであってもよい。画像保存サーバ２０４には、医療画像の他に、医療画像に含まれる注目領域（関心領域）、注目すべき対象の有無、画像分類の結果などの画像解析結果を記憶してもよい。
【０１４０】
なお、図１６には、１つの内視鏡システム１０を示したが、電気通信回線２３０には、複数の内視鏡システムを接続し得る。また、電気通信回線２３０には、内視鏡システムに限らず、超音波診断装置など、他の医療画像撮影装置が接続されてもよい。超音波診断装置から得られる超音波画像は「医療画像」の一例である。医療画像撮影装置は、例えば、Ｘ線撮影装置、ＣＴ撮影装置、ＭＲＩ（magnetic resonance imaging）撮影装置、核医学診断装置、若しくは、眼底カメラのうちの１つ又は組み合わせであってよい。
【０１４１】
情報管理装置２１０は、例えば、コンピュータのハードウェア及びソフトウェアによって実現される。情報管理装置２１０には、表示装置２１８と入力装置２１９が接続されている。情報管理装置２１０は、図４に示した医療画像処理装置１６０の機能の一部又は全部を含んでよい。例えば、情報管理装置２１０は、図４に示した画像取得部１６２、可否判定部１６４、動き推定部１６６、所作判定部１６８、分類部１７０及び報知制御部１７２の機能を含む。
【０１４２】
図１６に示す表示装置２１８は、報知部１７４として機能し得る。情報管理装置２１０の機能は、１台又は複数台のコンピュータによって実現することができ、また、クラウドコンピューティングによって実現することもできる。情報管理装置２１０は、画像保存サーバ２０４の機能を含んでいてもよい。また、画像取込端末２０２は、画像取得部１６２として機能し得る。なお、画像取込端末２０２を省略した構成も可能であり、その場合、画像保存サーバ２０４及び／又は情報管理装置２１０がプロセッサ装置１６から医療画像を取り込むよう構成される。
【０１４３】
本実施形態に係る医療情報管理システム２００によれば、電子内視鏡１２からリアルタイムで得られる医療画像に限らず、画像保存サーバ２０４に保存されている動画等の再生の際にも、図１５で説明したフローチャートの処理を行うことができる。
【０１４４】
情報管理装置２１０は、例えば、病院内の手術室、検査室、若しくは、カンファレンス室などに設置してもよいし、院外施設の医療機関、若しくは研究機関などに設置してもよい。情報管理装置２１０は、診察、治療、診断などの支援を行うワークステーションであってもよいし、医療業務を支援する業務支援装置であってもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。情報管理装置２１０は本開示における「医療画像処理装置」の一例である。医療情報管理システム２００は本開示における「診断支援装置」の一例である。
【０１４５】
《各処理部及び制御部のハードウェア構成について》
図４で説明した医療画像処理装置１６０の画像取得部１６２、可否判定部１６４、動き推定部１６６、所作判定部１６８、分類部１７０、及び報知制御部１７２などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。
【０１４６】
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【０１４７】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、若しくは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１４８】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【０１４９】
《変形例１》
電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。また、被写体像を含む時系列の医療画像を生成する装置は、電子内視鏡に限らず、例えば、超音波診断装置などであってもよい。
【０１５０】
《変形例２》
本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び／又は治療支援の概念を含む。
【０１５１】
《内視鏡システムの観察光について》
観察光は、白色光、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
【０１５２】
〈第１例〉
特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
【０１５３】
〈第２例〉
特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
【０１５４】
〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。
【０１５５】
〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、３９０ｎｍから４７０ｎｍである。
【０１５６】
〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。
【０１５７】
《観察光の切り替えについて》
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び／又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
【０１５８】
電子内視鏡に用いる撮像素子は、各画素に対しカラーフィルタが配置されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。
【０１５９】
《特殊光画像の生成例》
プロセッサ装置１６は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置１６は、特殊光画像取得部として機能する。プロセッサ装置１６は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）、或いはシアン（Ｃ）、マゼンタ（Ｍ）、及びイエロー（Ｙ）の色情報に基づく演算を行うことで得ることができる。
【０１６０】
《特徴量画像の生成例》
プロセッサ装置１６は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。
【０１６１】
《コンピュータに医療画像処理装置の機能を実現させるプログラムについて》
上述の実施形態で説明した医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
【０１６２】
また、上述の実施形態で説明した医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
【０１６３】
《実施形態及び変形例等の組み合わせについて》
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
【０１６４】
《付記》
本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の発明の開示を含む。
【０１６５】
（付記１）
医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【０１６６】
医療画像解析処理部は、画像認識部を含んでよい。
【０１６７】
（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
【０１６８】
（付記３）
医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。
【０１６９】
（付記４）
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
【０１７０】
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
【０１７１】
（付記６）
特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。
【０１７２】
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【０１７３】
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
【０１７４】
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
【０１７５】
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
【０１７６】
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【０１７７】
（付記１２）
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
【０１７８】
（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
【０１７９】
（付記１４）
医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
【０１８０】
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
【０１８１】
（付記１６）
医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
【０１８２】
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ或いはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
【０１８３】
（付記１８）
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
【０１８４】
（付記１９）
付記１から付記１８のいずれか１つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
【０１８５】
（付記２０）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
【０１８６】
（付記２１）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
【０１８７】
［その他］
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【０１８８】
１０  内視鏡システム
１２  電子内視鏡
１４  光源装置
１６  プロセッサ装置
１８  表示装置
１９  入力装置
２０  挿入部
２２  先端硬質部
２２Ａ  先端面
２４  湾曲部
２６  軟性部
３０  操作部
３１  アングルノブ
３２  送気送水ボタン
３３  吸引ボタン
３４  モード切替スイッチ
３５  ズーム操作部
３６  処置具導入口
４０  ユニバーサルコード
４２  コネクタ
４２Ａ  ビデオコネクタ
４２Ｂ  ライトガイドコネクタ
４２Ｃ  送水コネクタ
４４  送水タンク
５０  照明窓
５２  観察窓
５４  鉗子出口
５６  送気送水用ノズル
６０  対物光学系
６２  撮像素子
６４  アナログフロントエンド回路
６５  タイミングジェネレータ
６６  ＣＰＵ
６８  撮像チップ
７０  ＣＰＵ
７２  ＲＯＭ
７４  ＲＡＭ
７６  デジタル信号処理回路
７８  表示制御回路
１００  第１光源
１０１  第１光源駆動回路
１０２  第２光源
１０３  第２光源駆動回路
１０５  合波部
１２０  ライトガイド
１２１  入射端
１２２  出射端
１２４  蛍光体
１６０  医療画像処理装置
１６２  画像取得部
１６４  可否判定部
１６４Ａ  認識部
１６６  動き推定部
１６７  データベース
１６８  所作判定部
１６９  記憶部
１７０  分類部
１７２  報知制御部
１７４  報知部
１８２  病変
１８４  泡
２００  医療情報管理システム
２０２  画像取込端末
２０４  画像保存サーバ
２１０  情報管理装置
２１８  表示装置
２１９  入力装置
２３０  電気通信回線
ＩＭ１、ＩＭ２、ＩＭ３  画像
ＩＭ（ｔ）  現在の画像
ＩＭ（ｔ−１）  過去画像
ＩＭ（ｔ＋１）  次のフレームの画像
Ｓ１１〜Ｓ２２  医療画像処理装置における処理のステップ
【図１】
2020054543.tif 000003
【図２】
2020054543.tif 000004
【図３】
2020054543.tif 000005
【図４】
2020054543.tif 000006
【図５】
2020054543.tif 000007
【図６】
2020054543.tif 000008
【図７】
2020054543.tif 000009
【図８】
2020054543.tif 000010
【図９】
2020054543.tif 000011
【図１０】
2020054543.tif 000012
【図１１】
2020054543.tif 000013
【図１２】
2020054543.tif 000014
【図１３】
2020054543.tif 000015
【図１４】
2020054543.tif 000016
【図１５】
2020054543.tif 000017
【図１６】
2020054543.tif 000018
【国際調査報告】
2020054543.tif 000019
2020054543.tif 000020
2020054543.tif 000021
2020054543.tif 000022