(57)【要約】【課題】医療用画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】表示に関する用途を示す用途情報を取得する取得部と、前記用途情報に基づく画像処理を行って出力画像を取得する画像処理部と、を備える医療用画像処理装置。【選択図】図４
2018038503.tif 000002
【特許請求の範囲】
【請求項１】
表示に関する用途を示す用途情報を取得する取得部と、
前記用途情報に基づく画像処理を行って出力画像を取得する画像処理部と、
を備える医療用画像処理装置。
【請求項２】
前記用途情報は、前記表示に係るユーザの認識に基づいて取得される、請求項１に記載の医療用画像処理装置。
【請求項３】
前記用途情報は、前記表示に係る表示装置の情報に基づいて取得される、請求項１に記載の医療用画像処理装置。
【請求項４】
前記画像処理部が行う前記画像処理は、入力画像から注目領域を切り出す処理を含む、請求項１に記載の医療用画像処理装置。
【請求項５】
前記注目領域は、ユーザの操作位置に基づいて特定される、請求項４に記載の医療用画像処理装置。
【請求項６】
前記注目領域は、前記表示に係るユーザの視線に基づいて特定される、請求項４に記載の医療用画像処理装置。
【請求項７】
前記画像処理部が行う前記画像処理は、画素加算処理を含む、請求項１に記載の医療用画像処理装置。
【請求項８】
前記画像処理部が行う前記画像処理は、画素平均化処理を含む、請求項１に記載の医療用画像処理装置。
【請求項９】
前記画像処理部が行う前記画像処理は、付加情報を画像に重畳させる処理を含む、請求項１に記載の医療用画像処理装置。
【請求項１０】
前記付加情報は、患者の生体情報を含む、請求項９に記載の医療用画像処理装置。
【請求項１１】
前記画像処理部が行う前記画像処理は、入力画像から得られる異なる解像度の画像の画素を混合させて前記出力画像を取得する処理を含む、請求項１に記載の医療用画像処理装置。
【請求項１２】
前記画像処理部は、注目位置に近い程、解像度が高い画像の画素が用いられるように前記出力画像を取得する、請求項１１に記載の医療用画像処理装置。
【請求項１３】
前記注目位置は、ユーザの操作位置に基づいて特定される、請求項１２に記載の医療用画像処理装置。
【請求項１４】
前記注目位置は、前記表示に係るユーザの視線に基づいて特定される、請求項１２に記載の医療用画像処理装置。
【請求項１５】
前記用途情報は、主治医用、助手用、医療従事者用のうち、少なくともいずれか一つを含む、請求項１に記載の医療用画像処理装置。
【請求項１６】
前記画像処理部が行う前記画像処理は、内視鏡画像を対象とする処理である、請求項１に記載の医療用画像処理装置。
【請求項１７】
表示に関する用途を示す用途情報を取得することと、
プロセッサが前記用途情報に基づく画像処理を行って出力画像を取得することと、
を含む、画像処理方法。
【請求項１８】
コンピュータに、
表示に関する用途を示す用途情報を取得する機能と、
前記用途情報に基づく画像処理を行って出力画像を取得する機能と、
を実現させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
内視鏡手術システムのような医療システムでは、複数のモニタ（表示装置）が用いられているようになってきた。上記のようなシステムにおいて、画像を表示させるモニタを適切に選択して切り替えることは、ユーザにとって負担であった。そこで、例えば、特許文献１には、入力画像の次元に応じたモニタを自動的に選択して表示させる医療システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−３６５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記のような医療システムでは、より柔軟な画像表示が望まれていた。例えば、医療システムを用いる個々のユーザの役割や状況に応じて、モニタ表示の用途が異なるため、用途に応じた画像表示が望まれていた。
【課題を解決するための手段】
【０００５】
本開示によれば、表示に関する用途を示す用途情報を取得する取得部と、前記用途情報に基づく画像処理を行って出力画像を取得する画像処理部と、を備える医療用画像処理装置が提供される。
【０００６】
また、本開示によれば、表示に関する用途を示す用途情報を取得することと、プロセッサが前記用途情報に基づく画像処理を行って出力画像を取得することと、を含む、画像処理方法が提供される。
【０００７】
また、本開示によれば、コンピュータに、表示に関する用途を示す用途情報を取得する機能と、前記用途情報に基づく画像処理を行って出力画像を取得する機能と、を実現させるための、プログラム。
【発明の効果】
【０００８】
以上説明したように本開示によれば、より柔軟な画像表示が可能である。
【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る手術室システム１００の全体構成を概略的に示す図である。
【図２】同実施形態に係る内視鏡手術システム１の構成を概略的に示す図である。
【図３】同実施形態に係るＡＶコントローラ１１０による表示制御の一例を示す説明図である。
【図４】同実施形態に係るＣＣＵ（カメラコントロールユニット）５の機能構成例を示すブロック図である。
【図５】内視鏡照明によって生じる明るさの違いとダイナミックレンジの広さを説明するための説明図である。
【図６】内視鏡照明によって生じる明るさの違いとダイナミックレンジの広さを説明するための説明図である。
【図７】同実施形態に係るＡＶコントローラ１１０の機能構成例を示すブロック図である。
【図８】同実施形態に係る全体的な処理を示すフローチャート図である。
【図９】同実施形態に係る認識部５４２による用途認識処理の一例を示すフローチャート図である。
【図１０】用途情報として、「主治医用」が取得された場合の画像処理の一例を示すフローチャート図である。
【図１１】用途情報として、「助手用」が取得された場合の画像処理の一例を示すフローチャート図である。
【図１２】用途情報として、「医療従事者用」が取得された場合の画像処理の一例を示すフローチャート図である。
【図１３】変形例１に係る画像処理を説明するための説明図である。
【図１４】変形例１に係る画像処理を説明するための説明図である。
【図１５】変形例１に係る画像処理を説明するための説明図である。
【図１６】変形例２に係る構成例を示すブロック図である。
【図１７】変形例２に係る構成例を示すブロック図である。
【図１８】変形例２に係る構成例を示すブロック図である。
【図１９】ハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜＜２．構成＞＞
＜＜３．動作＞＞
＜＜４．変形例＞＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞＞
【００１３】
＜＜１．概要＞＞
まず、図１を参照して、本開示の一実施形態に係る手術室システムの概略構成について説明する。
【００１４】
図１は、本開示の一実施形態に係る手術室システム１００の全体構成を概略的に示す図である。図１を参照すると、手術室システム１００は、手術室内に設置される装置群がＡＶ（Audio  Visual）コントローラ１１０（スイッチャ―）を介して互いに連携可能に接続されることにより構成される。
【００１５】
手術室には、様々な装置が設置され得る。図１では、一例として、内視鏡下手術のための各種の装置群１０１と、複数のモニタ（表示装置の一例）１２２〜１２８と、患者１８８のバイタル情報（生体情報の一例）を取得するバイタル情報計測機器１３０と、モニタ１２２に取り付けられたモニタカメラ１５２と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ１５４と、を図示している。
【００１６】
モニタ１２２〜１２８は、３Ｄ表示機能を有してもよい。また、モニタカメラ１５２、及び術場カメラ１５４は、距離情報を取得可能なステレオカメラであってもよい。
【００１７】
ここで、これらの装置のうち、装置群１０１は、内視鏡手術システム１に属するものである。図２は、内視鏡手術システム１の構成を概略的に示す図である。
【００１８】
近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。例えば、腹部の手術が行われる場合、図２で示されるような手術室に配置される内視鏡手術システム１が用いられる。従来のように腹壁を切って開腹する代わりに、トロッカ１２a,１２bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２a,１２bに設けられている孔から内視鏡２、エネルギ処置具３や鉗子４等が体内に挿入される。そして、生体を撮像する内視鏡２によってビデオ撮像され、表示装置９に表示された患部（腫瘍等の生体）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト（内視鏡の操作者）、またはロボット等が保持している。
【００１９】
このような内視鏡下手術が行われる手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１０及びプリンタ１１等の装置類を載置している。
【００２０】
内視鏡２の観察光学系を通じて撮像されて取得された患部１６の画像像信号がカメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。
【００２１】
光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。処置具用装置７は、例えば電気熱を用いて患部１６を切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する装置である。フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御するようになっている。
【００２２】
上述した内視鏡手術システム１に属する各装置、及び図１に示すバイタル情報計測機器１３０は医療用機器とも呼称される。一方、モニタ１２２〜１２８、モニタカメラ１５２、及び術場カメラ１５４は、例えば手術室に備え付けられている装置であり、非医療用機器とも呼称される。
【００２３】
近年、上記のような医療現場で用いられるモニタ（例えばモニタ１２２〜１２８）、または撮像装置（例えば内視鏡２）に係る空間解像度は、放送の規格に準じ、ＳＤ、ＨＤ、４Ｋ解像度、８Ｋ解像度といった形で垂直・水平方向に２倍ずつ向上しつつある。以下では、一例として、内視鏡２が８Ｋ解像度で撮像可能な撮像装置であり、モニタ１２２〜１２８は４Ｋ解像度で表示可能な表示装置である例を説明する。
【００２４】
ＡＶコントローラ１１０は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。例えば、ＡＶコントローラ１１０は、モニタカメラ１５２、及び術場カメラ１５４により撮像された画像を、内視鏡手術システム１に属する装置群１０１に伝送してもよい。また、ＡＶコントローラ１１０は、内視鏡手術システム１に属する内視鏡２によって撮像された画像を、モニタ１２２〜１２８に表示させてもよい。なお、ＡＶコントローラ１１０による画像表示の制御は上記に限定されず、ＡＶコントローラ１１０に接続された各装置からの画像の取得、及び各装置への画像の表示を多様に制御し得る。
【００２５】
図３は、本実施形態に係るＡＶコントローラ１１０による表示制御の一例を示す説明図である。図３に示すように、内視鏡２で取得された８Ｋ解像度の入力画像（ＩＮＰＵＴ  ＩＭＡＧＥ）が、ＣＣＵ５に入力される。ＣＣＵ５は入力画像から、モニタ１２２〜１２８で表示される４Ｋ解像度の画像（ＩＭＡＧＥ  Ａ〜Ｄ）を生成する。ＣＣＵ５が４Ｋ解像度の画像を生成するための画像処理については、後述する。
【００２６】
ＣＣＵ５は、図３に示すように、複数の４Ｋ解像度の画像をまとめて８Ｋ解像度の画像として、ＡＶコントローラ１１０へ出力（送信）してもよいし、複数の４Ｋ解像度の画像をそれぞれ独立に出力してもよい。
【００２７】
ＡＶコントローラ１１０は、ＣＣＵ５から取得した画像を、モニタ１２２〜１２８に分配する。ＡＶコントローラ１１０は、例えば図３に示すように、複数の４Ｋ解像度の画像をまとめた８Ｋ解像度における予め定められた４つの領域の画像（ＩＭＡＧＥ  Ａ〜Ｄ）を、それぞれモニタ１２２〜１２８に分配するように制御してもよい。
【００２８】
ここで、モニタ１２２〜１２８に表示すべき画像は、手術室システムの個々のユーザの役割や状況に応じた用途によって異なり得る。例えば手術執刀医等の主治医と、手術助手、スコピスト、麻酔科医等の助手と、コ・メディカル、つまり看護師、臨床工学技士等の医療従事者とが複数のモニタを利用するチーム医療では、各々の役割に応じて必要となる情報やその粒度は異なる場合がある。
【００２９】
例えば、精緻な術式を実施する手術執刀医にとっては、術部や縫合糸・針といった注目する物体に対する高い空間分解能・没入感が重要であろう。また、手術助手にとっては、没入感よりも自身が操作する術具の位置や、その術具が把持する臓器等生体の状態を知るための俯瞰的な視野が重要かもしれない。また、看護師にとっては、器具出し等のタイミングを計る目的で手術の進行状態を把握することが重要となり、一方で患者のバイタル情報（生体情報の一例）等、カメラ画像だけでは取得できない患者情報への配慮も重要である。また、臨床工学技士にとっては、自身の管理する機器、例えば送気装置やエネルギーデバイス、の状態が手術に及ぼす影響への配慮が重要である。また、看護師、臨床工学技士等のコ・メディカルにとっては医師等が必要とする水準の画像解像度を必ずしも要さないかもしれない。
【００３０】
また、術式や手術の進捗あるいは状況によって、モニタの表示に係るユーザ（モニタを見ているユーザ）が変化する場合があるため、全てのモニタをユーザと対応付けて管理することは難しく、また好ましくない。
【００３１】
例えば、図１に示す例では、主治医ユーザ（以下、単に主治医と呼ぶ場合もある）１８２がモニタ１２２を利用し、助手（以下、単に助手、または助手医と呼ぶ場合もある）ユーザ１８４はモニタ１２４を利用している。しかし、手術の状況によって、主治医ユーザ１８２と助手ユーザ１８４の位置が変化する場合もあり、係る場合には主治医ユーザ１８２、及び助手ユーザ１８４が利用するモニタも変化し得る。また、看護師ユーザ１８６は、手術の状況に応じて、モニタ１２２、１２６、１２８を使い分けるかもしれない。
【００３２】
そこで、上記事情を一着眼点にして本開示の一実施形態に係る手術室システム１００を創作するに至った。本実施形態による内視鏡手術システム１は、表示に係る用途を取得し、用途に応じた画像処理を行う事で、手術の進捗、状況によって変化する用途に応じた画像表示が可能である。以下、このような効果を有する本実施形態の構成について詳細に説明する。
＜＜２．構成＞＞
以下では、図４〜図１０を参照して、本開示の一実施形態に係る手術室システム１００に含まれるＣＣＵ５、及びＡＶコントローラ１１０の構成例を順に説明する。
【００３３】
＜２−１．ＣＣＵの構成＞
図４は、本実施形態に係るＣＣＵ（カメラコントロールユニット）５の機能構成例を示すブロック図である。図４に示すように、ＣＣＵ５は入出力部５２、及び制御部５４を備える医療用画像処理装置である。
【００３４】
入出力部５２は、例えば図１に示したＡＶコントローラ１１０、バイタル情報計測機器１３０、及び図２を参照して説明した内視鏡２、フットスイッチ１５等と接続され、様々な信号、及び情報の入出力を行う。
【００３５】
例えば、入出力部５２には、モニタカメラ１５２、術場カメラ１５４、及び内視鏡２により撮像された画像が入力されてもよい。また、入出力部５２には、バイタル情報計測機器１３０により計測された患者のバイタル情報（生体情報の一例）が入力されてもよい。また、入出力部５２にはＡＶコントローラ１１０に接続された、表示装置（モニタ１２２〜１２８等）の情報が入力されてもよい。表示装置の情報は、例えば出力可能な解像度、表示装置の位置、表示装置のサイズを含んでもよい。また、表示装置が予めユーザと対応付けられている場合（例えば、表示装置が特定のユーザが所持している端末である場合や、特定のユーザが装着しているヘッドマウントディスプレイのようなウェアラブルデバイスである場合等）には、表示装置の情報は、対応付けられたユーザの情報を含んでもよい。また、表示装置が特定の用途専用の表示装置である場合には、表示装置の情報は、用途を示す用途情報を含んでもよい。
【００３６】
また、入出力部５２は、表示装置に表示させる出力画像に係る画像信号をＡＶコントローラ１１０へ出力する。出力画像は、表示させるべき表示装置と対応付けられて出力されてもよいし、図３に示したように、出力画像より大きなサイズの画像における所定の領域に含まれて出力されてもよい。係る構成により、ＡＶコントローラ１１０は、出力画像を各表示装置へ分配することが可能となる。
【００３７】
制御部５４は、ＣＣＵ５全体の制御を行う。また、本実施形態による制御部５４は、図４に示すように、認識部５４２、及び画像処理部５４４としても機能する。
【００３８】
認識部５４２は、様々な認識処理を行う。また、認識部５４２は、表示に関する用途を示す用途情報を取得する取得部としても機能する。例えば、認識部５４２は、用途情報を表示装置ごとに取得してもよい。
【００３９】
用途情報は、例えば、主治医が当該表示を利用することを示す「主治医用」、助手が当該表示を利用することを示す「助手用」、その他の医療従事者が当該表示を利用することを示す「医療従事者用」等であってもよい。また、用途情報は、手術室内の医療従事者ではなく手術室外の管理者が当該表示を利用することを示す「管理者用」であってもよい。なお、用途情報は上記の例に限定されず、例えばより詳細なユーザの動作や、手術の状況に応じた用途を示す情報を含んでもよい。
【００４０】
認識部５４２は、例えば表示に係るユーザの認識に基づいて用途情報を取得してもよい。例えば、認識部５４２は、モニタカメラ１５２、及び術場カメラ１５４から取得された画像に基づいて、画像内から検出された人物の立ち位置、顔の向き、視線等を認識し、表示に係る表示装置のユーザを認識してもよい。例えば、図１に示す例において、モニタ１２２に向かう主治医１８２の視線が検知された場合、モニタ１２２のユーザは主治医１８２であると認識されてもよく、係る場合、認識部５４２は「主治医用」という用途情報を取得してもよい。
【００４１】
係る構成によれば、自動的に用途が認識され、用途に応じた表示が行われ得るため、ユーザが表示装置の表示を切り替える、または画像の表示先（表示装置）を切り替えるための動作を行わなくてもよい。
【００４２】
なお、ユーザの役割（主治医、助手、その他医療従事者等）は、例えばユーザの動作から認識部５４２により認識されてもよいし、各ユーザの役割と個人識別情報（例えば顔等）が予め対応付けられることで、ユーザの役割が取得されてもよい。また、各ユーザが認識用のデバイスやマーカ等を装着し、当該デバイスやマーカの情報を用いることで、ユーザの役割が取得されてもよい。
【００４３】
また、複数の人物が同一の表示装置のユーザとして認識された場合、認識部５４２は、予め設定された役割の優先度に基づいて、用途情報を取得してもよい。例えば、主治医、助手、その他医療従事者、の順で優先度が高く設定されていてもよい。
【００４４】
なお、認識部５４２によるユーザの認識、及び用途情報の取得は、上記の例に限定されない。例えば、認識部５４２は、不図示のマイクロフォン等の音声入力デバイスから取得されたユーザ音声の認識処理や、図２に示したフットスイッチ１５のような入力デバイスからの入力（割り込み操作）に基づいてユーザを認識してもよい。
【００４５】
また、用途情報は、表示に係る表示装置の情報に基づいて取得されてもよい。例えば、表示装置の情報に、表示装置に対応付けられたユーザの情報が含まれる場合、当該ユーザの情報に基づいて用途情報が取得されてもよい。また、認識部５４２は、上記のユーザの認識と、表示装置の情報に含まれるユーザの情報と、の組み合わせに基づいて用途情報を取得してもよい。例えば、表示装置がその他医療従事者に対応付けられていたが、ユーザの視線認識により認識された表示装置のユーザが主治医である場合、認識部５４２は「主治医用」という用途情報を取得してもよい。
【００４６】
また、用途情報は、表示装置の場所、表示装置の位置、または画像の送信（分配）先に基づいて取得されてもよい。例えば、表示に係る表示装置が手術室に存在するメインモニタである場合、認識部５４２は「主治医用」という用途情報を取得してもよい。また、ＡＶコントローラ１１０による画像の送信先が手術室の外である場合、認識部５４２は「管理者用」という用途情報を取得してもよい。
【００４７】
上述した用途情報の取得は一例であって、上記に限定されない。例えば認識部５４２は、ユーザの動作の認識、手術状況の認識等に基づいて、用途情報を取得してもよい。
【００４８】
また、認識部５４２は、内視鏡２から取得された内視鏡画像である入力画像から、ユーザが注目する注目位置（注目点）を特定してもよい。
【００４９】
例えば、認識部５４２は、ユーザの操作位置を取得し、ユーザの操作位置に基づいて、注目位置を特定してもよい。例えば、認識部５４２は、入力画像から、ユーザの操作位置を検出、または追跡して取得し、当該操作位置を注目位置として特定してもよい。例えば、認識部５４２は、ユーザの操作する術具を物体認識技術により認識し、当該術具の先端を操作位置として認識してもよい。例えば、認識部５４２は、ユーザが縫合針（術具の一例）の向きを確認する動作（例えば縫合針をクローズする動作）をトリガとして縫合針を検出し、縫合針の追跡を開始してもよい。
【００５０】
また、認識部５４２は、モニタカメラ１５２、または術場カメラ１５４から取得される画像から、ユーザの操作位置を検出、または追跡して取得し、入力画像において当該操作位置に対応する位置を注目位置として特定してもよい。
【００５１】
また、認識部５４２は、モニタカメラ１５２、または術場カメラ１５４から取得される画像から、表示に係るユーザの視線を認識し、当該視線に基づいて注目位置を特定してもよい。例えば、認識部５４２は、表示装置に表示された画像におけるユーザの視線位置に対応する入力画像における位置を、注目位置として特定してもよい。
【００５２】
画像処理部５４４は、内視鏡２から取得された内視鏡画像である入力画像を対象（入力）として、用途情報に基づく画像処理を行って出力画像を取得する。以下では、画像処理部５４４が行う用途情報に基づく画像処理の一例として、認識部５４２により「主治医用」、「助手用」、及び「医療従事者用」の用途情報が取得された場合に行われる画像処理を順次説明する。
【００５３】
まず、用途情報として、「主治医用」が取得された場合の例について説明する。用途情報として、「主治医用」が取得された場合、画像処理部５４４は、内視鏡画像である入力画像から注目領域を切り出す処理を行ってもよい。例えば、画像処理部５４４は、入力画像から、注目位置を中心とした所定解像度の領域を、注目領域として切り出してもよいし、入力画像の中心位置を中心とした所定解像度の領域を、注目領域として切り出してもよい。なお、上記所定解像度は、表示装置が表示可能な解像度（例えば４Ｋ解像度）であってもよい。
【００５４】
係る構成によれば、高解像度（例えば８Ｋ解像度）で取得された画像のうち、ユーザが注目している重要な領域が高い空間解像度のまま切り出されて、ユーザに提示され得る。
【００５５】
上記のような注目領域の切り出し処理により得られた画像の表示は、執刀医や主観察医等の主治医ユーザにとって特に有効である。例えば、術中において常時から内視鏡画像を注視しているユーザであっても、手術野の大局的な観察や把持操作などを行う場合には必ずしも画像の鮮鋭感は必要としない。一方で縫合や膜剥離などの精緻な手技を行うとする執刀医等にとって、重要となるのは画像情報の精細感となるため、内視鏡２が捉える画角全体ではなく、ある特定の注目部位を注視したい場合がある。係る場合、内視鏡２を注目対象に近づける、あるいは注目対象を内視鏡２に近づけることで、つまりカメラと被写体の距離を縮めることで画像の拡大を試みるのが一般的である。しかし、係る操作は手術野を狭め、また内視鏡や鉗子などの挿入物のブラインド操作による患部への思わぬ損傷や合併症を生じ得るため好ましくない。一方で、撮像した画像の空間解像度を高く表示することできれば、必ずしも上記のような物理的な拡大操作を行う必要がなくなるため、上記リスクを低減できる。
【００５６】
続いて、用途情報として、「助手用」が取得された場合の例について説明する。用途情報として、「助手用」が取得された場合、画像処理部５４４は、入力画像における複数の画素の画素値を加算して、出力画像における１の画素の画素値を算出する画素加算処理を行ってもよい。例えば、８Ｋ解像度で撮像された入力画像における水平及び垂直に隣接する４画素の画素値を加算して、出力画像における１の画素の画素値を算出する画素加算処理により、４Ｋ解像度の出力画像を取得する（ダウンコンバートする）ことが可能である。
【００５７】
上記のような画素加算処理により得られた４Ｋ解像度の出力画像は、単純にダウンコンバート（縮小処理）を行って得られる４Ｋ解像度の出力画像よりもＳＮ（Signal  Noise）比が高く、視認性が改善される。
【００５８】
上記のような画素加算処理により得られた４Ｋ解像度の出力画像は、特に手術助手やスコピストなど、俯瞰的な視野を重要視するユーザに対してメリットが期待できる。図５，６は内視鏡照明によって生じる明るさの違いとダイナミックレンジの広さを説明するための説明図である。
【００５９】
図５に示す自然環境Ｔ１では、太陽等の照明により反射率が同一である物体Ｂ１１〜Ｂ１３が均一に照らせれている。なお、図５に示す破線の矢印は、カメラＣ１の視線方向を示す。図５に示すように、カメラＣ１により取得される画像Ｖ１において、物体Ｂ１１〜Ｂ１３は、カメラＣ１からの距離によらず同じ明るさである。
【００６０】
図６に示す内視鏡撮像環境Ｔ２では、内視鏡Ｃ２が有する光源によって、反射率が同一である物体Ｂ２１〜Ｂ２３が不均一に照らされている。なお、図６に示す破線の矢印は、内視鏡Ｃ２の視線方向、及び照明方向を示す。図６に示すように内視鏡Ｃ２により取得される画像Ｖ２において、物体Ｂ２１〜Ｂ２３は、内視鏡Ｃ２からの距離よって明るさが異なる。
【００６１】
すなわち、内視鏡による撮像においては、光源と被写体との距離によって照度が変化するためダイナミックレンジが非常に広い画像が取得される。図６に示す例では、物体Ｂ２１は露出オーバーで明部の白飛びが発生し、物体Ｂ２３は露出アンダーで暗部の黒潰れが発生し得る。このような黒潰れや白飛びは観察における視認性を著しく低下させる。
【００６２】
ゲイン補正処理やガンマ補正処理などの画像処理によってＳＮ比の低い暗部の表示輝度を高くすることも可能であるが、ノイズが顕著化し、また、白飛びする箇所に関しては情報が欠如してしまう。
【００６３】
したがって、精緻な手技等で精細感を必要としない状況においては、空間解像度を低下させたとしても、上述した画素加算処理によって一画素あたりの感度・ダイナミックレンジを高くすることで、内視鏡画像の視認性が大きく向上する効果が期待できる。
【００６４】
なお、上述したように画素加算処理により一画素あたりの量子化精度を増加させる事が好ましいが、画素加算処理の代わりに、画素平均化処理によって量子化精度を変えずにノイズの分散を小さくすることで、画像のＳＮ比を向上させてもよい。係る構成によれば、データサイズを削減することが可能である。
【００６５】
続いて、用途情報として、「医療従事者用」が取得された場合の例について説明する。用途情報として、「医療従事者用」が取得された場合、画像処理部５４４は、入力画像にダウンコンバート（縮小処理）を施した縮小入力画像と付加情報を同時に視認させるための出力画像を生成してもよい。例えば、画像処理部５４４は、縮小入力画像に対して、付加情報を重畳させる処理を行ってもよい。
【００６６】
付加情報は、例えば、図１を参照して説明したバイタル情報計測機器１３０により取得される、患者の血圧、酸素飽和度、心電図等のバイタル情報（生体情報の一例）を含んでもよい。なお、付加情報は上記に限定されず、例えば各種装置（例えば送気装置やエネルギーデバイス等）の状態を示す情報を含んでもよい。
【００６７】
付加情報が画像情報である場合、画像処理部５４４は、PinP(Picture  in  Picture)の形で縮小入力画像に付加情報を重畳させてもよい。また、付加情報が文字情報である場合、画像処理部５４４は、付加情報を所定のフォントでレンダリングして、縮小入力画像に重畳させてもよい。
【００６８】
上述したように、縮小入力画像と付加情報を同時に視認することは、例えば、医師以外のコ・メディカルユーザに対して特に有効であろう。例えば、看護士や臨床工学技士などの医療従事者にとって、内視鏡画像の精細感や全体の視認性はそれほど重要ではなく、むしろ術中に医師への器具出しや医療機器及び患者状態の確認・管理を行うために必要な、状況の把握のために表示が利用されている。そのため、上記のようなユーザは、常に内視鏡画像だけでなく様々な機器についても注意を払う必要があり、可能な限り一元的に情報が集約されることが望ましい。
【００６９】
そのため、一つの表示装置に、例えば患者の血圧、酸素飽和度、心電図などといったバイタル情報、及び機器や術具の状態を観察できる程度の解像度を有する内視鏡画像が表示されることで上記ユーザの負担を軽減する効果が期待できる。
【００７０】
なお、画像処理部５４４は、入力画像に対して単純なダウンコンバート（例えば間引き処理）を行ってもよいし、補間によるダウンコンバートを行ってもよいし、上述した画素加算処理、または画素平均処理によるダウンコンバートを行ってもよい。
【００７１】
また、画像処理部５４４は、付加情報を重畳させる代わりに、入力画像を表示装置の表示解像度未満にダウンコンバートした画像と、付加情報を並べて出力画像を生成してもよい。
【００７２】
以上、画像処理部５４４による、用途情報に基づく画像処理の例を説明した。なお、画像処理部５４４による、用途情報に基づく画像処理は上記の例に限定されず、取得される用途情報に応じて多様な画像処理が想定され得る。
【００７３】
また、画像処理部５４４は、さらにデモザイキング処理、ゲイン補正処理、ガンマ補正処理等を含む現像処理を行う。例えば、画像処理部５４４は、上述した用途情報に基づく画像処理の後に、現像処理を行ってもよい。上述したように用途情報に基づく画像処理により画像サイズ（解像度）が小さくなる場合、用途情報に基づく画像処理の後に現像処理を行うことで、処理量を削減できる場合がある。
【００７４】
＜２−２．ＡＶコントローラの構成＞
続いて、図７を参照してＡＶコントローラ１１０の構成例について説明する。図７は、本実施形態に係るＡＶコントローラ１１０の機能構成例を示すブロック図である。図７に示すように、ＡＶコントローラ１１０は入出力部１１２、及び制御部１１４を備える医療用画像処理装置である。
【００７５】
入出力部１１２は、図１に示した医療機器及び非医療機器と接続され、様々な信号、及び情報の入出力を行う。
【００７６】
例えば、入出力部１１２には、モニタカメラ１５２、術場カメラ１５４、及び内視鏡２により撮像された画像が入力されてもよい。また、入出力部１１２には、表示装置（モニタ１２２〜１２８等）の情報が入力されてもよい。また、入出力部１１２には、ＣＣＵ５からの画像信号が入力されてもよい。
【００７７】
制御部１１４は、ＡＶコントローラ１１０全体の制御を行う。また、本実施形態による制御部１１４は、図７に示すように、分配制御部１１４４としても機能する。
【００７８】
分配制御部１１４４は、入出力部１１２により入力された信号、及び情報の分配先（出力先）を制御する。例えば、分配制御部１１４４は、図３を参照して説明したように、ＣＣＵ５から入力された画像信号を、モニタ１２２〜１２８に分配してもよい。
【００７９】
＜＜３．動作＞＞
以上、本実施形態の構成例について説明した。続いて、本実施形態の動作例について、図８〜１２を参照して説明する。まず、図８を参照して、本実施形態の全体的な処理を説明した後、図９を参照して用途認識処理、図１０〜１２を参照して各用途に応じた画像処理、についてそれぞれ説明する。
【００８０】
図８は本実施形態の全体的な処理を示すフローチャート図である。図８に示すように、まず、ＣＣＵ５は、内視鏡２により撮像された入力画像、及びモニタカメラ１５２、及び術場カメラ１５４により撮像された画像を取得する（Ｓ１０２）。
【００８１】
続いて、ＣＣＵ５の認識部５４２は、各表示装置の用途を認識して用途情報を取得する（Ｓ１０４）。用途認識処理の一例については図９を参照して後述する。
【００８２】
続いて、ＣＣＵ５の画像処理部５４４が、取得された用途情報に基づき、入力画像に対して画像処理を行って出力画像を生成する（Ｓ１０６）。続いて、ＣＣＵ５の入出力部５２から出力画像、または出力画像に係る画像信号が出力される（Ｓ１０８）。
【００８３】
以上、本実施形態の全体的な処理を説明した。続いて、図９を参照して上記ステップＳ１０４の用途認識処理の一例について説明を行う。図９は、認識部５４２による用途認識処理の一例を示すフローチャート図である。なお、図９に示す例において、用途Ａは取得される用途情報が「主治医用」であること、用途Ｂは取得される用途情報が「助手用」であること、用途Ｃは取得される用途情報が「医療従事者用」であることを示す。
【００８４】
図９に示すように、まず主治医の割り込み操作（音声による入力、フットスイッチ１５の操作等）の有無が判定される（Ｓ２０２）。主治医の割り込み操作があった場合（Ｓ２０２においてＹＥＳ）、または主治医の割り込み操作がないが、表示装置への主治医の視線が検知された場合（Ｓ２０２においてＮＯかつＳ２０４においてＹＥＳ）、用途情報として「主治医用」が取得される（Ｓ２０６）。
【００８５】
続いて、主治医の視線が検知されず、表示装置への助手医の視線が検知された場合（Ｓ２０４においてＮＯかつＳ２０８においてＹＥＳ）、用途情報として「助手用」が取得される（Ｓ２１０）。
【００８６】
続いて、助手の視線が検知されず、表示装置への、医師以外の医療従事者の視線が検知された場合（Ｓ２０４においてＮＯかつＳ２０８においてＹＥＳ）、用途情報として「医療従事者用」が取得される（Ｓ２１４）。
【００８７】
また、医師以外の医療従事者の視線が検知されない場合（Ｓ２１２においてＹＥＳ）、予め設定された所定の用途情報が取得される（Ｓ２１６）。なお、所定の用途情報は、例えば、表示装置毎に設定され、表示装置の情報に含まれていてもよい。
【００８８】
以上、用途情報の認識処理について説明した。なお、上述したステップＳ２０２〜Ｓ２１６の処理は、随時、または所定時間ごとに繰り返されてもよい。
【００８９】
また、ある表示装置（第一の表示装置）に係る新たな用途情報が、それ以前の用途情報から変化した場合には、当該新たな用途情報が取得されていた他の表示装置（第二の表示装置）の用途情報として、当該それ以前の用途情報が取得されてもよい。係る構成によれば、第一の表示装置にかかる用途情報が変化した場合に、第一の表示装置に当該時点以前に表示されていた情報が第二の表示装置に続けて表示されるため、当該情報を必要としていたユーザが存在した場合に、当該ユーザは当該情報を取得し続けることが可能となる。
【００９０】
続いて、図１０〜１２を参照して、用途情報として、ぞれぞれ「主治医用」、「助手用」、「医療従事者用」が取得された場合の処理について説明する。
【００９１】
図１０は、用途情報として、「主治医用」が取得された場合の画像処理の一例を示すフローチャート図である。図１０に示すように、まず、認識部５４２が、ユーザが注目する注目位置（注目点）を決定する（Ｓ３０２）。続いて、画像処理部５４４は、注目位置に基づく注目領域を入力画像から切り出す処理を行う（Ｓ３０４）。続いて、画像処理部５４４は、現像処理を行う（Ｓ３０６）。
【００９２】
図１１は、用途情報として、「助手用」が取得された場合の画像処理の一例を示すフローチャート図である。図１１に示すように、まず、画像処理部５４４は、入力画像に対して、画素加算によるダウンコンバートを行う（Ｓ４０２）。続いて、画像処理部５４４は、現像処理を行う（Ｓ４０４）。
【００９３】
図１２は、用途情報として、「医療従事者用」が取得された場合の画像処理の一例を示すフローチャート図である。図１２に示すように、まず、画像処理部５４４は、入力画像に対して、ダウンコンバートを行う（Ｓ５０２）。続いて、画像処理部５４４は、現像処理を行う（Ｓ５０４）。さらに、画像処理部５４４は、ステップＳ５０４の現像処理により得られた画像に付加情報を重畳させる処理を行う（Ｓ５０６）。
【００９４】
＜＜４．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
【００９５】
＜４−１．変形例１＞
上記実施形態では、用途情報として、「主治医用」が取得された場合に、画像処理部５４４が入力画像から注目領域を切り出す処理を行う例を説明したが、本実施形態は係る例に限定されない。例えば、画像処理部５４４は、注目領域を切り出す処理に代えて、入力画像から得られる異なる解像度の画像の画素を混合させて出力画像を取得する処理を行ってもよい。以下、変形例１として係る例について説明する。
【００９６】
図１３〜図１５は本変形例に係る画像処理を説明するための説明図である。本変形例に係る画像処理部５４４は、８Ｋ解像度の入力画像）に対してダウンコンバート処理を行い、４Ｋ解像度の画像，及びＨＤ解像度の画像を生成する。さらに、本変形例に係る画像処理部５４４は、８Ｋ解像度の入力画像、４Ｋ解像度の画像、及びＨＤ解像度の画像を用いて注目位置に近い程、解像度が高い画像の画素が用いられるように、出力画像を生成（取得）する。以下、本変形例に係る画像処理部５４４が、入力８Ｋ（８Ｋ解像度の入力画像）、入力４Ｋ（４Ｋ解像度の画像）、及び入力ＨＤ（ＨＤ解像度の画像）を用いて、出力４Ｋ（４Ｋ解像度の出力画像）の各画素の画素値を特定する処理について図１３を参照して説明する。なお、図１３では、説明を容易にするため、各画像における一部の画素だけを取り出して示している。また、図１３では、簡単のため注目点（注目位置）が入力画像の中心位置である例を示しているが、注目位置は係る例に限定されず、上述したように認識部５４２により多様に特定され得る。
【００９７】
まず、図１３に示すように、注目点（注目位置）に近い位置の入力８Ｋの画素が所定の数参照されて、注目点から近い順に出力４Ｋにおける画素Ｐ１〜Ｐ５の画素値が特定される。続いて、既に特定された画素の内、最も注目点から遠い画素Ｐ５に対応する入力８Ｋの画素の位置より注目点から遠い入力４Ｋの画素が順に所定の数参照されて、出力４Ｋにおける画素Ｐ６〜Ｐ９の画素値が特定される。続いて、既に特定された画素の内、最も注目点から遠い画素Ｐ９に対応する入力４Ｋの画素の位置より注目点から遠い入力ＨＤの画素が、画像の端まで順に参照されて、出力４Ｋにおける画素Ｐ１０、Ｐ１１の画素値が特定される。
【００９８】
なお、入力８Ｋから参照される画素の数は、予め設定される出力４Ｋの画素数に対する入力８Ｋを用いる割合により決定されてもよい。例えば、出力４Ｋにおける全ての画素に、入力８Ｋの画素を用いてしまうと、入力サイズが出力サイズの範囲に収まりきらないため、上述のように一部の画素は入力４Ｋ、及び入力ＨＤから参照されることで、出力と入力の座標関係が一致するように調整される。そのため、入力４Ｋから参照される画素の数、及び入力ＨＤから参照される画素の数も、入力４Ｋの画素数に対する入力８Ｋを用いる割合から特定され得る。
【００９９】
上述したように出力画像を生成することで、注目位置に近い被写体程、より大きく表示され得る。
【０１００】
また、４Ｋ解像度の画像、ＨＤ解像度の画像を生成することなく、８Ｋ解像度の入力画像から直接的に、同様の性質の出力画像を生成ことも可能である。係る方法について、図１４を参照して説明する。
【０１０１】
図１４に示すように注目点から遠くなるに従い、入力８Ｋ（入力画像）における参照される画素の間隔が増加することで、出力４Ｋ（出力画像）における画素から知覚される解像度が低下する。例えば、入力８Ｋにおける画素間の間隔が１で参照される画素Ｐ２１〜Ｐ２５の画素値は、８Ｋ解像度相当として知覚される。また、入力８Ｋにおける画素間の間隔が２で参照される画素Ｐ２６〜Ｐ２９の画素値は、４Ｋ解像度相当として知覚される。また、入力８Ｋにおける画素間の間隔が４で参照される画素Ｐ３０、Ｐ３１の画素値は、ＨＤ解像度相当として知覚される。なお、出力４Ｋにおける画素値は、上記のように入力８Ｋを直接参照して得た値でもよいし、線形補間等により求められた値であってもよい。
【０１０２】
図１３、または図１４を参照して説明した方法で出力画像を生成することで、注目位置に近い被写体程、より大きく表示され得る。図１５は、上述した画像処理により得られる出力画像のイメージを示す模式図である。図１５に示す画像Ｇ２２は、入力画像を単純にダウンコンバートした画像である。図１５に示す画像Ｇ２４は、図１３、または図１４を参照して説明した画像処理により得られる出力画像である。図１５に示すように、画像Ｇ２４では、より画像中心（注目位置）に近い被写体が大きく表示され得る。係る構成によれば、ユーザは、画像全体を俯瞰しつつ、注目位置に近い被写体をより注目して観察することが可能となる。
【０１０３】
＜４−２．変形例２＞
上記実施形態では、ＣＣＵ５が用途の認識処理、及び用途に応じた画像処理を行う構成例を説明したが、本開示は係る例に限定されない。以下では、変形例２として、図１６〜図１８を参照して、他の構成例について説明を行う。図１６〜図１８は、変形例２に係る機能構成例を示すブロック図である。
【０１０４】
図１６、図１７は、ＡＶコントローラが用途の認識処理を行い、ＣＣＵが用途に応じた画像処理を行う場合のＣＣＵ５−２、及びＡＶコントローラ１１０−２の機能構成例を示すブロック図である。
【０１０５】
図１６に示すように、ＣＣＵ５−２は、制御部５５の機能構成が図４の制御部５４の機能構成と一部異なる点で、図４のＣＣＵ５と異なる。なお、図１６に示す各構成のうち、図４に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。
【０１０６】
図１６に示す取得部５５２は、入出力部５２を介して、後述するＡＶコントローラ１１０−２から、用途情報を取得し、画像処理部５５４に提供する。
【０１０７】
図１７に示すように、ＡＶコントローラ１１０−２は、制御部１１５の機能構成が図７の制御部１１４の機能構成と一部異なる点で、図７のＡＶコントローラ１１０と異なる。なお、図１７に示す各構成のうち、図７に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。
【０１０８】
図１７に示す認識部１１５２は、図４を参照して説明した認識部５４２と同様に、様々な認識処理を行い、例えば表示に関する用途を示す用途情報を認識して取得する。認識部１１５２により取得された用途情報は、入出力部１１２から、ＣＣＵ５−２へ出力される。
【０１０９】
上述した構成によれば、ＡＶコントローラ１１０−２は用途を認識するための情報（例えばモニタカメラ１５２、及び術場カメラ１５４により撮像された画像）の代わりに、用途情報をＣＣＵ５−２に伝送するため、伝送量が抑制される。
【０１１０】
また、ＡＶコントローラが用途の認識処理、及び用途に応じた画像処理を行うことも可能である。図１８は、ＡＶコントローラが用途の認識処理、及び用途に応じた画像処理を行う場合のＡＶコントローラ１１０−３の機能構成例を示すブロック図である。
【０１１１】
図１８に示すように、ＡＶコントローラ１１０−３は、制御部１１６の機能構成が図６の制御部１１５の機能構成と一部異なる点で、図１７のＡＶコントローラ１１０−２と異なる。なお、図１８に示す各構成のうち、図１７に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。
【０１１２】
認識部１１６２は、図１７を参照して説明した認識部１１５２と同様に、様々な認識処理を行い、例えば表示に関する用途を示す用途情報を認識して取得する。認識部１１６２により取得された用途情報は、画像処理部１１６４に提供される。
【０１１３】
画像処理部１１６４は、ＣＣＵから入力される入力画像に対して、図４を参照して説明した画像処理部５４４と同様に、用途に基づく画像処理を行って出力画像を生成する。なお、現像処理がＣＣＵにより行われる場合、画像処理部１１６４は、現像処理を行わなくてもよい。
【０１１４】
分配制御部１１６８は、図７を参照して説明した分配制御部１１４４と同様に、入出力部１１２により入力された信号、及び情報の分配先（出力先）を制御する。さらに、分配制御部１１６８は、画像処理部１１６４により生成された出力画像を、認識部１１６２により取得された用途情報に対応する表示装置へ分配する。
【０１１５】
＜＜５．ハードウェア構成例＞＞
以上、本開示の実施形態と各変形例を説明した。上述した制御部５４，５５による認識処理、画像処理などの情報処理は、例えばソフトウェアと、以下に説明するＣＣＵ５（ＣＣＵ５、ＣＣＵ５−２）のハードウェアとの協働により実現される。
【０１１６】
図１９は、ＣＣＵ５のハードウェア構成の一例を示す説明図である。ＣＣＵ５は、例えば、ＦＰＧＡボード５０１と、ＣＰＵ５０２と、ＧＰＵボード５０３１、５０３２と、メモリ５０４と、ＩＯコントローラ５０５と、記録媒体５０６と、インタフェース５０７とを備える。また、ＦＰＧＡボード５０１、ＣＰＵ５０２、及びＧＰＵボード５０３１、５０３２は、例えば、バス５０８で接続される。ＦＰＧＡボード５０１は、例えば、ＦＰＧＡと、ＡＶコントローラ１１０や内視鏡２から入力画像信号が入力される入力インタフェースと、ＡＶコントローラ１１０や表示装置９へ出力画像信号が出力される出力インタフェースを含む。
【０１１７】
ＣＰＵ５０２と、ＧＰＵボード５０３１、５０３２とは、例えば、関連するソフトフェアなどの各種ソフトウェアを実行して、様々な処理を行う。ＣＰＵ５０２は、プロセッサを備えている。ＧＰＵボード５０３１、５０３２それぞれは、ＧＰＵ（Graphics  Processing  Unit）とＤＲＡＭ（Dynamic  Random  Access  Memory）を備えている。
【０１１８】
メモリ５０４には、例えば、入力画像信号に対応するデータや、出力画像信号に対応するデータなど、様々なデータが記憶される。ＣＰＵ５０２は、メモリ５０４への各種データの書き込みや読み出しを制御する役目を果たす。
【０１１９】
ＣＰＵ５０２は、メモリ５０４に記憶させたデータと、ＧＰＵボード５０３１、５０３２の処理能力と、処理内容に応じて、メモリ５０４に記憶された画像データを分割する。そして、ＧＰＵボード５０３１、５０３２のそれぞれのＧＰＵは、分割されて供給されてくるデータに所定の処理を施し、処理結果をＣＰＵ５０２に出力する。
【０１２０】
ＩＯコントローラ５０５は、例えば、ＣＰＵ５０２と、記録媒体５０６、及びインタフェース５０７との間の信号の伝達を制御する役目を果たす。
【０１２１】
記録媒体５０６は、記憶部（図示せず）として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体５０６としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体５０６は、ＣＣＵ５から着脱可能であってもよい。
【０１２２】
インタフェース５０７としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子、及び処理回路や、ＬＡＮ（Local  Area  Network）端子、及び送受信回路などが挙げられる。
【０１２３】
なお、ＣＣＵ５のハードウェア構成は、図１９に示す構成に限られない。例えば、図１９では、ＧＰＵボード５０３１、５０３２の２枚である例が示されているが、２枚以上の枚数であってもよい。また、ＣＰＵ５０２がＧＰＵの機能を有している場合には、ＣＣＵ５は、ＧＰＵボード５０３１、５０３２を備えていなくてもよい。
【０１２４】
また、上記ではＣＣＵ５のハードウェア構成を説明したが、ＡＶコントローラ１１０（ＡＶコントローラ１１０、１１０−２、１１０−３）も、ＣＣＵ５と同様に、ＣＰＵ５０２、メモリ５０４などに相当するハードウェアを有する。そして、ＡＶコントローラ１１０のハードウェアとソフトウェアとの協働により例えば制御部１１４、１１５、１１６の機能が実現される。また、上述のような本実施形態に係るＣＣＵ５、ＡＶコントローラ１１０の機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１２５】
＜＜６．むすび＞＞
以上、説明したように本開示の実施形態によれば、自動的に取得される用途情報に基づく画像処理により、表示される画像が取得されるため、より柔軟な画像表示が可能となる。
【０１２６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２７】
例えば、本開示に係る画像処理は、上記実施形態で説明した画像処理に限定されない。例えば、以下のような画像処理が行われてもよい。
【０１２８】
例えば、認識部により、内視鏡が抜去されたことが認識された場合、フレームレートを低下させる画像処理がおこなわれてもよい。上記構成によれば、伝送量と処理量を低減させることが可能である。
【０１２９】
また、内視鏡（カメラ）の検波処理等により、入力画像における低域成分が支配的であると判定された場合、表示装置が表示可能な最大解像度より解像度の低い画像へダウンコンバートする画像処理が行われてもよい。なお、入力画像における低域成分が支配的となる原因としては、汚れ、フォーカスのズレ、ピントずれ（ピンボケ）が挙げられ、係る場合には、より低解像度の画像を表示させても、ユーザの違和感が小さいと考えられる。係る構成によれば、伝送量と処理量を低減させることが可能である。
【０１３０】
また、画像の輝度平均値が所定値未満の場合、用途情報によらず、画素加算処理が行われてもよい。係る構成によれば、例えば光量が低いために暗い画像が取得された場合に、明るく、ＳＮ比を向上させた画像を表示させることが可能である。
【０１３１】
また、画像処理部は、２Ｄ画像と３Ｄ画像との間の変換を行ってもよい。例えば、用途情報として、「主治医用」が取得された場合、画像処理部は、入力画像を３Ｄ画像に変換して出力画像を取得してもよい。また、用途情報として、「主治医用」以外の用途情報が取得された場合、画像処理部は、２Ｄ画像を出力画像として取得してもよい。係る構成によれば、主治医には没入感を与えつつ、主治医と比較して高い没入感を求めない他のユーザ用のモニタの表示に係る処理量を抑制することが可能である。
【０１３２】
また、直接的な手術操作を目的としないライブ映像（リアルタイム映像）を手術室の外へ配信する場合、伝送効率を向上させる目的や、画質改善を目的として、上述した画像処理が単独で、または組み合わせて行われてもよい。
【０１３３】
また、手術ロボットを用いた遠隔操作等、直接的な手術操作を目的としたライブ映像を手術室の外へ配信する場合、低レイテンシであることが非常に重要となるため、例えば解像度やフレームレートを低下させる画像処理が行われてもよい。係る構成によれば、伝送量と処理量を低減させることが可能である。
【０１３４】
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１３５】
また、上記実施形態では、医療用の内視鏡に本技術が適用された例について説明したが、本技術は係る例に限定されず、多様な画像処理装置に適用可能である。
【０１３６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示に関する用途を示す用途情報を取得する取得部と、
前記用途情報に基づく画像処理を行って出力画像を取得する画像処理部と、
を備える医療用画像処理装置。
（２）
前記用途情報は、前記表示に係るユーザの認識に基づいて取得される、前記（１）に記載の医療用画像処理装置。
（３）
前記用途情報は、前記表示に係る表示装置の情報に基づいて取得される、前記（１）または（２）に記載の医療用画像処理装置。
（４）
前記画像処理部が行う前記画像処理は、入力画像から注目領域を切り出す処理を含む、前記（１）〜（３）のいずれか一項に記載の医療用画像処理装置。
（５）
前記注目領域は、ユーザの操作位置に基づいて特定される、前記（４）に記載の医療用画像処理装置。
（６）
前記注目領域は、前記表示に係るユーザの視線に基づいて特定される、前記（４）に記載の医療用画像処理装置。
（７）
前記画像処理部が行う前記画像処理は、画素加算処理を含む、前記（１）〜（６）のいずれか一項に記載の医療用画像処理装置。
（８）
前記画像処理部が行う前記画像処理は、画素平均化処理を含む、前記（１）〜（７）のいずれか一項に記載の医療用画像処理装置。
（９）
前記画像処理部が行う前記画像処理は、付加情報を画像に重畳させる処理を含む、前記（１）〜（８）のいずれか一項に記載の医療用画像処理装置。
（１０）
前記付加情報は、患者の生体情報を含む、前記（９）に記載の医療用画像処理装置。
（１１）
前記画像処理部が行う前記画像処理は、入力画像から得られる異なる解像度の画像の画素を混合させて前記出力画像を取得する処理を含む、前記（１）〜（１０）のいずれか一項に記載の医療用画像処理装置。
（１２）
前記画像処理部は、注目位置に近い程、解像度が高い画像の画素が用いられるように前記出力画像を取得する、前記（１１）に記載の医療用画像処理装置。
（１３）
前記注目位置は、ユーザの操作位置に基づいて特定される、前記（１２）に記載の医療用画像処理装置。
（１４）
前記注目位置は、前記表示に係るユーザの視線に基づいて特定される、前記（１２）に記載の医療用画像処理装置。
（１５）
前記用途情報は、主治医用、助手用、医療従事者用のうち、少なくともいずれか一つを含む、前記（１）〜（１４）のいずれか一項に記載の医療用画像処理装置。
（１６）
前記画像処理部が行う前記画像処理は、内視鏡画像を対象とする処理である、前記（１）〜（１５）のいずれか一項に記載の医療用画像処理装置。
（１７）
表示に関する用途を示す用途情報を取得することと、
プロセッサが前記用途情報に基づく画像処理を行って出力画像を取得することと、
を含む、画像処理方法。
（１８）
コンピュータに、
表示に関する用途を示す用途情報を取得する機能と、
前記用途情報に基づく画像処理を行って出力画像を取得する機能と、
を実現させるための、プログラム。
【符号の説明】
【０１３８】
１  内視鏡手術システム
２  内視鏡
３  エネルギ処置具
４  鉗子
５  ＣＣＵ（カメラコントロールユニット）
６  光源装置
７  処置具用装置
８  気腹装置
９  表示装置
１０  レコーダ
１１  プリンタ
５２  入出力部
５４  制御部
１００  手術室システム
１１０  ＡＶコントローラ
１１２  入出力部
１１４  制御部
１３０  バイタル情報計測機器
【図１】
2018038503.tif 000003
【図２】
2018038503.tif 000004
【図３】
2018038503.tif 000005
【図４】
2018038503.tif 000006
【図５】
2018038503.tif 000007
【図６】
2018038503.tif 000008
【図７】
2018038503.tif 000009
【図８】
2018038503.tif 000010
【図９】
2018038503.tif 000011
【図１０】
2018038503.tif 000012
【図１１】
2018038503.tif 000013
【図１２】
2018038503.tif 000014
【図１３】
2018038503.tif 000015
【図１４】
2018038503.tif 000016
【図１５】
2018038503.tif 000017
【図１６】
2018038503.tif 000018
【図１７】
2018038503.tif 000019
【図１８】
2018038503.tif 000020
【図１９】
2018038503.tif 000021