(57)【要約】照明状態を調整する必要性の有無をすばやく把握することができる、手術用情報処理装置、情報処理方法及びプログラムにおいて、照明装置(30)によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部(110)と、前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部(130)と、を備えるように構成した。
2019225231.tif 000002
【特許請求の範囲】
【請求項１】
照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部と、  前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、を備える、  手術用情報処理装置。
【請求項２】
解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記提示部は、前記第１照明情報と前記第２照明情報とを比較した結果に基づいて、前記ユーザへ提示を行う、  請求項１に記載の手術用情報処理装置。
【請求項３】
前記解析部は、学習用の前記術野画像と該学習用の前記術野画像における理想的な照明状態とが紐づいた学習データを予め機械学習することで生成された分類器に、前記術野画像を入力して前記第２照明情報を算出する、  請求項２に記載の手術用情報処理装置。
【請求項４】
前記提示部は、前記術野画像において輝度が所定の閾値以下の領域である暗部が生じている場合に、前記術野画像および前記第１照明情報に基づいた提示を前記ユーザへ行う、  請求項１に記載の手術用情報処理装置。
【請求項５】
前記提示部は、複数の前記暗部を選択可能に提示し、前記ユーザによって選択された前記暗部についての第２照明情報を提示する、  請求項４に記載の手術用情報処理装置。
【請求項６】
解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記提示部は、前記ユーザによって発せられた音声に基づいて前記暗部の位置及び前記暗部についての前記第２照明情報の少なくともいずれかを提示する、  請求項５に記載の手術用情報処理装置。
【請求項７】
前記提示部は、前記術野画像の前記暗部の位置に応じて、前記暗部の位置を示す表示を変更して外部の出力装置によって表示する、  請求項４に記載の手術用情報処理装置。
【請求項８】
前記提示部は、前記暗部が生じたと判定された時点前後の画像を提示する、  請求項４に記載の手術用情報処理装置。
【請求項９】
解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記解析部は、前記術野における前記ユーザによって指定された位置についての前記第２照明情報を算出する、  請求項２に記載の手術用情報処理装置。
【請求項１０】
解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記解析部は、前記第１照明情報と前記第２照明情報との差分を算出し、  前記提示部は、前記差分が所定の閾値を超えたときに前記ユーザへの提示を行う、  請求項２に記載の手術用情報処理装置。
【請求項１１】
前記提示部は、前記差分が前記閾値を超えたときに、前記照明装置の操作を喚起する信号を出力する、  請求項１０に記載の手術用情報処理装置。
【請求項１２】
前記提示部は、前記術野画像が取得されたときの前記第１照明情報を所定の提示方法で提示する、  請求項１に記載の手術用情報処理装置。
【請求項１３】
解析部をさらに備え、  前記解析部は、前記照明装置の照明状態が異なる場合を模擬した前記術野の画像であるシミュレーション画像を複数生成し、  前記提示部は、前記照明装置の照明状態がそれぞれ異なる場合の複数の前記術野の前記シミュレーション画像を提示する、  請求項１に記載の手術用情報処理装置。
【請求項１４】
前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記取得部は、前記術野における術具を検出することで、前記第２照明情報を算出する領域を取得する、  請求項２に記載の手術用情報処理装置。
【請求項１５】
前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記取得部は、前記ユーザ又は前記ユーザと異なるユーザの視線を検出することで、前記第２照明情報を算出する領域を取得する、  請求項２に記載の手術用情報処理装置。
【請求項１６】
プロセッサが、  照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得することと、  取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うことと、を含む、  情報処理方法。
【請求項１７】
コンピュータを、  照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得する取得部、及び、  前記取得部によって取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うこと提示部、として機能させるための、  プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、手術用情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】  外科手術においては、術者が手術をしやすいように無影灯のような照明装置によって術野が照らされている。手術の進行に合わせて術者が必要とする照明位置や照明量は変化するため、術野における照明の状態の調整が必要となる。【０００３】  例えば、以下の特許文献１には、照明機器を支えるアームの関節部の駆動状態や位置状態を検出するとともに患者の座っているチェアの位置状態を検出し、それらの状態に基づいて最適な照明位置を算出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１２９９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  しかしながら、外科手術では患者によって術野箇所は異なり、また、手術の進行状況に応じて照明が必要とされる場所はリアルタイムで変化する。このとき、照明装置の照明状態の調整のため、術者だけでなく、術者以外の人間、例えば看護師も術野の照明状態を調整する必要性の有無を素早く把握することが望まれる。【０００６】  そこで、本開示では、上記事情に鑑みて、照明状態を調整する必要性の有無をすばやく把握することができる、手術用情報処理装置、情報処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００７】  本開示によれば、照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部と、前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、を備える、手術用情報処理装置が提供される。【０００８】  また、本開示によれば、プロセッサが、照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得することと、取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うことと、を含む、情報処理方法が提供される。【０００９】  また、本開示によれば、コンピュータを、照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す照明情報と、を取得する取得部、及び前記取得部によって取得された前記術野画像および前記照明情報に基づいた提示をユーザへ行うこと提示部、として機能させるための、プログラムが提供される。【００１０】  本開示によれば、照明装置の設定を変更すべき場合に、照明装置の操作を促す提示がなされる。
【発明の効果】
【００１１】  以上説明したように本開示によれば、ユーザは、術野の照明状態を調整する必要性の有無を素早く把握することが可能となる。【００１２】  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施形態に係る手術用情報処理システムの構成を示すブロック図である。
【図２】同実施形態に係る提示された表示を説明するための模式図である。
【図３】同実施形態に係る手術用情報処理装置の動作を説明するための流れ図である。
【図４】本開示の第２の実施形態に係る手術用情報処理システムの構成を示すブロック図である。
【図５】同実施形態に係る提示された表示を説明するための模式図である。
【図６】同実施形態に係る手術用情報処理装置の動作を説明するための流れ図である。
【図７】同実施形態に係る手術用情報処理装置における最適な照明状態を算出するための機械学習の流れを説明するための流れ図である。
【図８】同実施形態に係る手術用情報処理装置における最適な照明状態を算出するための機械学習の流れを説明するための流れ図である。
【図９】同実施形態に係る提示された表示を説明するための模式図である。
【図１０】同実施形態に係る提示された表示を説明するための模式図である。
【図１１】同実施形態に係る提示された表示を説明するための模式図である。
【図１２】同実施形態に係る提示された表示を説明するための模式図である。
【図１３】本開示の第３の実施形態に係る提示された表示を説明するための模式図である。
【図１４】同実施形態に係る手術用情報処理装置の動作を説明するための流れ図である。
【図１５】本開示に係る手術用情報処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１４】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】  なお、説明は以下の順序で行うものとする。  ＜１．背景＞  ＜２．第１の実施形態＞  ＜３．第２の実施形態＞  ＜４．第３の実施形態＞  ＜５．ハードウェア構成＞  ＜６．結び＞
【００１６】  ＜１．背景＞  外科手術において、医師などの術者が手術をしやすいように術野を照らす照明装置として、無影灯が用いられる。通常、無影灯は滅菌されていないため、術者がその無影灯に触れて操作することは好ましくない。そのため、一般的には、直接手術にかかわる術者の補助、手術時の記録や手術環境の調節などを行う看護師（以下、外回り看護師と称する）が、無影灯による照射位置や照射角度、絞り等を物理的に操作して明るい視野を術者に提供する。しかし、外回り看護師には、無影灯の操作以外にも上記のように術者の補助、手術時の記録など様々な役割がある。そのため、外回り看護師は、無影灯の近くで常時作業が出来るわけではない。また、外回り看護師は、常に術野を見て術野の明るさを確認することができるとは限らない。そのため、手術展開によっては手術の進行に応じて術創が深くなったときや術野の位置が変わったときに、術野が暗くなったことに外回り看護師が気づくのが遅れ、手術の進行の遅延が生じることがある。手術が行われる術部が暗い状態であると、術者の注意力の低下等が生じることがある。また、照明装置を操作して術野に適切な光を照射するには熟練の技術が必要である。そのため、手術操作を行う術者自身が滅菌された照明装置を操作するとしても、適切な光を術野に照射するのに時間を要することがあり、手術操作の中断や遅れが生じる可能性がある。これに加えて、術者の注意力が低下する可能性があり、この術者の注意力の低下が手術の進行に影響する場合がある。
【００１７】  このような手術の進行の遅延や医師の注意力の低下などを抑制するために、外回り看護師は、短時間で正確に照明装置を操作して他の作業の時間を確保することが重要である。そのため、外回り看護師には、照明状態の変更が必要かどうかを迅速に判断することが求められる。また、術者が外回り看護師に明るくしたいと所望する箇所を精度よく伝達することは、手術の円滑な進行に重要である。
【００１８】  そこで、本発明者らは、術野画像および照明装置の照明状態を示す照明情報に基づいた提示を術者や看護師等のユーザに提示することに着想し、本技術を発明するに至った。
【００１９】＜２．第１の実施形態＞［２−１．構成］  ここまで、本技術を発明する至った背景を説明した。続いて、図１及び図２を参照しながら、本開示に係る手術用情報処理装置の構成について説明する。
【００２０】  まず、本開示に係る技術が適用され得る手術用情報処理システム１の概略構成を説明する。図１は、本開示に係る技術が適用され得る手術用情報処理システム１の概略的な構成の一例を示す図である。図２は、本実施形態に係る提示された表示を説明するための模式図である。
【００２１】  手術用情報処理システム１は、本実施形態に係る手術用情報処理装置１０、カメラ２０、照明装置３０、及び出力装置４０を備える。
【００２２】  本実施形態に係る手術用情報処理装置１０は、照明装置３０によって照明された術野がカメラ２０により撮像された術野画像と、照明装置３０の設定値を取得し、術野画像および照明装置３０の設定値に基づいた提示をユーザへ行う。照明装置３０の設定値とは、照明装置３０の照明光の調整に用いられる調整因子の設定値であり、例えば、照明装置３０が配置されている位置を示す座標値、照度値、絞り値、色温度等がある。なお、本開示の実施形態に係る手術用情報処理装置１０は、図１に示したような手術用情報処理システム１におけるカメラ２０、照明装置３０、及び出力装置４０ではなく、これらカメラ２０、照明装置３０、及び出力装置４０と同様の機能を有するものと相互に連携を取りながら、各種の処理を実施することも可能である。
【００２３】  本実施形態に係る手術用情報処理装置１０は、取得部１１０と、解析部１２０と、提示部１３０と、記憶部１４０とを備える。
【００２４】  取得部１１０は、ネットワークを介して、後述するカメラ２０及び照明装置３０との情報通信を行う機能を有しており、カメラ２０で撮像された画像、及び照明装置３０の設定値を取得する。また、取得部１１０は、外部の入力装置に入力された情報の通信を行う機能を有していてもよい。取得部１１０は、カメラ２０および照明装置３０に対して制御信号を送信し、カメラ２０及び照明装置３０の駆動を制御する機能を有してもよい。当該制御信号には、カメラ２０の倍率や焦点距離、及び照明装置３０の照明強度、絞りや照明強度等、撮像条件及び照明条件に関する情報が含まれ得る。取得部１１０は、画像情報取得部１１１と、照明情報取得部１１２を有する。
【００２５】  画像情報取得部１１１は、カメラ２０によって撮影された術野画像、及び術野画像が撮影されたときのカメラ２０の設定情報を含む術野画像情報をカメラ２０から取得する機能を有する。画像情報取得部１１１が取得する術野画像情報には、例えば、術野画像の輝度、術野画像を構成する色情報、焦点距離等が含まれる。画像情報取得部１１１によって取得された術野画像情報は、解析部１２０に送信される。
【００２６】  照明情報取得部１１２は、術野画像が取得されたときの照明装置３０の設定値（以下では、「術野画像が取得されたときの照明装置３０の設定値」を「現在の設定値」と呼称することもある。）を照明装置３０から取得する。照明情報取得部１１２で取得された現在の設定値は、解析部１２０に送信される。この術野画像が取得されたときの照明装置３０の設定値は、第１照明情報に相当する。
【００２７】  解析部１２０は、取得部１１０で取得された術野画像情報、及び術野画像が取得されたときの照明装置３０の設定値に基づいて、ユーザに照明装置３０の設定を変更すべき提示を行うか否かの判定を行う。解析部１２０は、算出部１２１及び判定部１２２を有する。
【００２８】  算出部１２１は、取得された術野画像の輝度分布を解析し、術部を照明する照明装置３０について、術部を照明するのに最適な照明装置３０の設定値（以下では、「術部を照明するのに最適な照明装置３０の設定値」を「最適な設定値」と呼称することもある。）の算出を行う。この術部を照明するのに最適な照明装置３０の設定値は、第２照明情報に相当する。輝度分布の解析は、例えば、公知の画像処理技術が適用可能である。算出部１２１が行う術野画像の輝度分布の解析領域は、術野画像全体であってもよいし、術野画像に表示された領域の一部、例えば、手術が行われている術部の輝度分布、又はユーザによって指定される領域であってもよい。また、算出部１２１が行う最適な設定値の算出は、例えば、機械学習により生成された分類器を用いて行われてもよい。本実施形態に適用され得る機械学習方法には、公知の方法が適用されてよく、例えば、ニューラルネットワークを用いた機械学習方法が適用されてもよい。ニューラルネットワークを用いた機械学習手法は、例えばそれぞれのデータに分類ラベルが付与されている複数のデータを学習データとして用いる。ニューラルネットワークを用いた機械学習モデルに学習データを入力することで分類用のパラメータを生成する。そして生成された分類用のパラメータをセットした機械学習モデルに入力データを入力することで、入力データに対する分類を行う。このとき、分類と、分類の尤度を出力するのが好ましい。かかる機械学習方法により、ユーザや手術機器等によって生じる影等の術野への照明を阻害する因子に関する情報がない場合でも、算出部１２１によって統計的な処理が施されることで、最適な設定値が算出される。
【００２９】  また、算出部１２１は、公知の術具検出技術により術野画像に表示された術具を検出し、術具が検出された箇所近傍の領域の輝度分布を解析してもよい。この術具検出には、例えば、特開２０１７−１６４００７号や、ＷＯ２０１５／０３７３４０号公報に開示された術具検出技術を使用することができる。また、算出部１２１は、公知の視野位置推定技術を適用して視野位置を検出し、当該視野位置を含む領域の輝度分布を解析してもよい。この視野位置推定には、例えば特開２０１６−１８２２２８号に開示された視野位置推定技術を使用することができる。算出部１２１は、公知の画像処理技術を用いてユーザによってレーザ等で用いてポインティングされた部分を検出し、当該部分含む領域の輝度分布を解析してもよい。
【００３０】  判定部１２２は、現在の設定値と最適な設定値とを比較して、ユーザに対して、照明装置３０の設定変更を促す提示を行うか否かを判定する。詳細には、現在の設定値と最適な設定値との差分を算出し、この差分が所定の閾値より大きい場合、判定部１２２は、提示部１３０に照明装置３０の設定を変更すべき信号を送信する。判定部１２２は、例えば、設定値の一つである照度について、術野画像が取得されたときの照明装置３０の照度値と、最適な照度値との差分が所定の閾値より大きくなった場合に、提示部１３０に照明装置３０の設定を変更すべき信号を送信する。なお、判定部１２２は、照明装置３０の全ての調整因子について設定値の差分を算出してもよいし、予め選択された調整因子について設定値の差分を算出してもよい。また、上記の閾値は、ユーザによって設定されてもよいし、機械学習により生成された分類器に基づいて閾値が設定されてもよい。
【００３１】  提示部１３０は、照明装置３０の設定条件変更を促す通知を提示する機能を有する。また、提示部１３０は、術野画像および術野画像が取得されたときの照明装置３０の設定値をユーザに提示する機能を有する。提示部１３０は、出力装置４０が出力する情報及び出力方法を制御する。例えば、提示部１３０は、照明装置３０の設定条件変更を促す通知、カメラ２０により取得された画像情報、照明装置３０の照明情報等を出力装置４０に送信して、出力装置４０に出力させる。また、提示部１３０は、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）を適宜提示してもよい。
【００３２】  記憶部１４０には、カメラ２０により取得された画像、取得部１１０、解析部１２０及び提示部１３０が上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。また、記憶部１４０には、上記のような取得部１１０が取得した各種の情報が履歴情報として記録されていてもよい。更に、記憶部１４０には、例えば、算出部１２１及び判定部１２２がそれぞれの処理を行う際に、保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。また、算出部１２１及び判定部１２２が実行する処理に限られず、本実施形態に係る手術用情報処理装置１０が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部１４０は、取得部１１０及び解析部１２０が、自由にリード／ライト処理を実施することが可能である。
【００３３】  カメラ２０は、手術が行われている術野を撮像して術野画像を取得する機能を有する医療用観察装置である。カメラ２０は、例えば、手術用ビデオ顕微鏡や術野カメラである。カメラ２０には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。カメラ２０は、照明装置３０として用いられる無影灯の下で術野を撮像可能であれば特段制限されない。例えば、カメラ２０は、照明装置３０に一体化されていてもよい。
【００３４】  例えば、カメラ２０の撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、ユーザは、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【００３５】  また、カメラ２０の撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。
【００３６】  カメラ２０には通信部が備えられ（図示せず）、取得部１１０との間で各種の情報を送受信する。カメラ２０の通信部は、取得された画像信号をＲＡＷデータとして取得部１１０に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。
【００３７】  また、カメラ２０は、取得部１１０から、カメラ２０の駆動を制御するための制御信号を受信する機能を有する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【００３８】  なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいて取得部１１０によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）機能がカメラ２０に搭載される。
【００３９】  照明装置３０は、術部に光を照射する機能を有する。照明装置３０は、手術室の天井に設けられ、少なくとも術者の手元を照射する。照明装置３０は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。照明装置３０は、光源として、例えば、複数のＬＥＤ光源を有している。照明装置３０には、可動するアームが備えられており、ユーザの操作によって任意に光源の位置が定められる。照明装置３０は、照明装置３０から照射される照明光の焦点深度、光野径の調節が可能に構成されることが好ましい。照明装置３０は、例えば、無影灯によって構成され、複数の無影灯によって構成されてもよい。
【００４０】  出力装置４０は、手術用情報処理装置１０に備えられる提示部１３０の指示によって、術野画像、ユーザに操作方法を支援する情報であるアシスト情報、所定の音声等を出力する機能を有する。アシスト情報には、術野画像が取得されたときの照明装置３０の設定値に関する情報が含まれる。出力装置４０の表示画面は、例えば、術野画像を表示する術野画像表示エリア４１０と、アシスト情報を表示するアシスト情報表示エリア４２０を有している。例えば、図２では、カメラ２０により取得されたリアルタイムの画像が術野画像表示エリア４１０に表示されている。また、アシスト情報表示エリア４２０には、照明装置３０の照度及び絞りが出力装置４０に表示されている。アシスト情報表示エリア４２０は、ユーザによって照明装置３０の状態が把握されやすいような表示方法でアシスト情報を表示する。例えば、照明装置３０の照度値や絞り値をメータ表示で表示してもよいし、数値表示してもよい。また、出力装置４０には、図２に示すように、照明装置３０のＯＮ／ＯＦＦを制御するためのスイッチ４３０、ユーザへの照明装置３０の設定を促す際に発せられるアラームを解除するアラーム解除ボタン４４０が備えられてもよい。ユーザは、出力装置４０に表示された術野画像及び照明装置３０の照明情報を確認することで、照明装置３０の調整が必要かどうかを素早く把握することができる。
【００４１】  出力装置４０は、提示部１３０からの制御により、提示部１３０によって画像処理が施された画像信号に基づく画像を表示する。カメラ２０が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、出力装置４０としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、出力装置４０として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の出力装置４０が設けられてもよい。
【００４２】  ここまで、本開示に係る技術が適用され得る手術用情報処理システム１及び手術用情報処理装置１０の概略構成について説明した。
【００４３】［２−２．動作］  続いて、図３を参照して、本実施形態に係る手術用情報処理装置１０の動作を説明する。図３は、本実施形態に係る手術用情報処理装置１０の動作を説明するための流れ図である。
【００４４】  まず、取得部１１０は、カメラ２０で取得された術野画像情報、及び術野画像が取得されたときの照明装置３０の設定値を取得する（Ｓ１０１）。具体的には、取得部１１０が有する画像情報取得部１１１が、カメラ２０によって撮影された術野画像、及び術野画像が撮影されたときのカメラ２０の設定情報を含む画像情報を取得する。このとき、画像情報取得部１１１は、例えば、公知の術具検出技術や視野位置推定技術等を適用して、処置を進めている術部を検出する。これにより、ユーザが術野画像において明るくしたい術部が検出される。取得された術野画像、術野画像情報及び照明情報は解析部１２０に送信される。
【００４５】  続いて、解析部１２０が有する算出部１２１は、術野画像及び照明状態を解析する（Ｓ１０３）。具体的には、算出部１２１は、術野画像を解析して術野の輝度分布を算出する。このとき算出部１２１は、術野全体の輝度分布を解析してもよいし、術野画像の一部の表示領域の輝度分布を解析してもよい。詳細には、算出部１２１は、術具近傍の領域の輝度分布を解析してもよいし、視野位置を検出することで当該視野位置を含む領域の輝度分布を解析してもよいし、ユーザによって指定された領域の輝度分布を解析してもよい。
【００４６】  次いで、算出部１２１は、取得された画像情報及び輝度分布を基に、照明装置３０の最適な設定値を算出する（Ｓ１０５）。具体的には、算出部１２１は、機械学習により学習させた分類器を用いて、照明装置３０の調整すべき術野画像を解析して術部の最適な設定値を算出する。
【００４７】  その後、解析部１２０が有する判定部１２２は、現在の設定値と最適な設定値とを比較して、ユーザに対して、照明装置３０の設定変更を促す提示を行うか否かを判定する（Ｓ１０７）。具体的には、判定部１２２は、現在の設定値と最適な設定値との差分を算出し、この差分と所定の閾値を比較して、この差分が所定の閾値より大きい場合、判定部１２２は、提示部１３０へ術野画像及び現在の設定値を含む情報を送信する（Ｓ１０７／ＹＥＳ）。一方、上記差分が所定の閾値以下の場合、繰り返しＳ１０１から動作が繰り返される（Ｓ１０７／ＮＯ）。
【００４８】  そして、提示部１３０は、判定部１２２から術野画像及び現在の設定値に関する情報を受信した後、ユーザに対して照明装置３０の操作を促す信号を出力装置４０に送信する。そして、出力装置４０は、照明装置３０の操作を促す出力を行う（Ｓ１０９）。照明装置３０の操作を促す出力は、例えば、警告音を発することで行われてもよい。提示部１３０は、上記術野画像及び術野画像が取得されたときの照明装置３０の設定値の情報を出力装置に送信し、出力装置４０は、受信した術野画像及び設定値の情報を出力してもよい。上記の動作により、ユーザは、術野の照明状態を調整する必要性の有無を素早く把握することが可能となる。
【００４９】＜３．第２の実施形態＞［３−１．構成］  続いて、図４及び図５を参照して、本開示に係る第２の実施形態について説明する。図４は、本実施形態に係る技術が適用され得る手術用情報処理システム１ａの概略的な構成の一例を示す図である。図５は、本実施形態に係る提示された表示を説明するための模式図である。本実施形態に係る技術が適用され得る手術用情報処理システム１ａは、本実施形態に係る手術用情報処理装置１０ａ、カメラ２０ａ、照明装置３０ａ、出力装置４０ａ、入力装置５０を備える。カメラ２０ａ、照明装置３０ａ、及び出力装置４０ａは第１の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。本実施形態に係る技術が適用され得る手術用情報処理システム１ａは、第１の実施形態に係る手術用情報処理システム１に、入力装置５０が更に備えられている。本実施形態に係る手術用情報処理装置１０ａは、図４に示したような手術用情報処理システム１ａにおけるカメラ２０ａ、照明装置３０ａ、出力装置４０ａ、及び入力装置５０と相互に連携を取りながら各種の処理を実施することが可能である。また、本実施形態に係る手術用情報処理装置１０ａは、図４に示したような手術用情報処理システム１ａにおけるカメラ２０ａ、照明装置３０ａ、出力装置４０ａ、及び入力装置５０ではなく、これらカメラ２０ａ、照明装置３０ａ、出力装置４０ａ、及び入力装置５０と同様の機能を有するものと相互に連携を取りながら、各種の処理を実施することも可能である。
【００５０】  手術用情報処理装置１０ａは、取得部１１０ａと、解析部１２０ａと、提示部１３０ａと、記憶部１４０ａと、制御部１５０とを備える。記憶部１４０ａは、第１の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
【００５１】  本実施形態に係る取得部１１０ａは、第１の実施形態に係る判定部１２２が有する機能に加え、後述する機械学習に用いる分類器を作製する際の参照データの登録を行う機能を有する。
【００５２】  本実施形態に係る解析部１２０ａは、算出部１２１ａ及び判定部１２２ａを備える。判定部１２２ａは、第１の実施形態に係る判定部１２２が有する機能に加え、術野画像に表示された術野に暗い領域である暗部が存在するか否かを判定する。算出部１２１ａは、判定部１２２ａによって術野に暗部が存在すると判定された場合に、照明装置３０ａの最適な設定値を算出する。暗部の有無の判定は、算出部１２１ａにより算出された術野画像に表示された領域の輝度分布を利用して判定される。詳細には、術野画像に表示された領域において、輝度が所定の閾値以下の領域が存在する場合に、判定部１２２ａは、暗部が存在すると判定する。また、判定部１２２ａは、後述する機械学習に用いる分類器を作製する際の教師データの登録を行う機能を有する。
【００５３】  提示部１３０ａは、第１の実施形態に係る提示部１３０が有する機能に加え、照明装置３０ａの最適な設定値、術野の暗部に関する表示を提示する機能を有する。また、提示部１３０ａは、判定部１２２ａによって術野に暗部が生じている判定された場合に、照明装置３０ａの設定条件変更を促す通知を提示する。これにより、ユーザは、適切なタイミングで照明装置３０ａの設定を適切に変更することが可能となる。
【００５４】  本実施形態に係る制御部１５０は、照明装置３０ａを制御する機能を有する。制御部１５０は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成される。制御部１５０は、例えば、入力装置５０によって入力された情報を受信し、受信した情報に応じて照明装置３０ａの設定値を制御する。制御部１５０は、カメラ２０ａに対して制御信号を送信し、その駆動を制御してもよい。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５０を介して入力され得る。
【００５５】  出力装置４０ａの出力画面には、術野画像表示エリア４１０ａ、アシスト情報表示エリア４２０ａ、スイッチ４３０ａ及びアラーム解除ボタン４４０ａが備えられる。出力装置４０ａは、図５に示すように、第１の実施形態に係る出力装置４０が有する機能に加え、術野画像表示エリア４１０ａに表示されたリアルタイムの画像に暗部を示す表示を重畳させる機能を有する。また、出力装置４０ａは、アシスト情報表示エリア４２０ａに、現在の設定値及び照明装置３０ａの最適な設定値を表示する機能を有する。例えば、アシスト情報表示エリア４２０ａには、現在の設定値に含まれるリアルタイムの照明装置３０ａの照度及び絞りに加え、算出部１２１ａによって算出された照明装置３０ａの最適な設定値が表示される。具体的には、図５では、アシスト情報表示エリア４２０ａには、リアルタイムの照度Ａと術野画像表示エリア４１０ａに示された暗部についての最適な設定値である照度Ａ０が表示されている。また、アシスト情報表示エリア４２０ａには、リアルタイムの照明装置３０の配置Ｓと最適な照明状態である照明装置３０の配置Ｓ０が表示されている。出力装置４０ａの出力画面には、暗部の位置、及び照明装置３０ａの現在の設定値と最適な設定値とが表示されるので、ユーザは、視覚的に照明の改善の余地を把握することができる。ユーザは、出力装置４０ａに示された照明の改善の余地を確認することで、照明装置３０ａの設定をどのように変更すればよいか迅速に判断することが可能となる。なお、アシスト情報表示エリア４２０ａに表示されるアシスト情報は、照明装置３０ａの調整されるべき設定条件に応じて表示されてもよい。また、予めユーザによって選択された装置の設定条件がアシスト情報として表示されてもよい。出力装置４０ａとしては、例えば、手術室に備えられるモニタ、情報処理端末、ＯＲシステムのユーザインタフェース（ＵＩ）等が挙げられる。情報処理端末としては、タブレット、ＰＣ等が挙げられる。出力装置４０ａには、音声入力機能を有するものが用いられてもよい。スイッチ４３０ａは、照明装置３０ａのＯＮ／ＯＦＦを制御する機能を有し、アラーム解除ボタン４４０ａは、ユーザへの照明装置３０ａの設定を促す際に発せられるアラームを解除する機能を有する。
【００５６】  入力装置５０は、ユーザによって操作され、手術用情報処理装置１０ａに対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、カメラ２０ａによる撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、照明装置３０ａの設定値を変更する旨の指示等を入力する。
【００５７】  入力装置５０の種類は限定されず、入力装置５０は各種の公知の入力装置であってよい。入力装置５０としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５０としてタッチパネルが用いられる場合には、当該タッチパネルは出力装置４０ａの表示面上に設けられてもよい。
【００５８】  あるいは、入力装置５０は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザが、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【００５９】［３−２．動作］  続いて、図６を参照して、本実施形態に係る手術用情報処理装置１０ａの動作を説明する。図６は、本実施形態に係る手術用情報処理装置１０ａの動作を説明するための流れ図である。本実施形態に係る手術用情報処理装置１０ａの動作は、図３に示した流れ図の術野画像、照明状態を解析するステップ（Ｓ１０３）の後に暗部を判定するステップ（Ｓ１０４）が追加され、また、照明装置３０の操作を促す提示を行うステップ（Ｓ１０９）の後に、照明装置３０ａを制御するステップ（Ｓ１１１）が追加されている。Ｓ１０１及びＳ１０３は第１の実施形態に係る手術用情報処理装置１０の動作と同様であるため、ここでの詳細な説明は省略する。
【００６０】  Ｓ１０４において、判定部１２２ａは、Ｓ１０３で算出部１２１ａによって解析された輝度分布を利用し、術野画像上に輝度が所定の閾値より小さい領域がある場合に、暗部が存在すると判定する（Ｓ１０４／ＹＥＳ）。暗部が存在すると判定された場合、算出部１２１ａは、暗部に対して最適な光が照射されるように、取得された画像情報及び輝度分布を基に照明装置３０ａの最適な設定値を算出する（Ｓ１０５）。具体的には、算出部１２１ａは、機械学習により生成された分類器を用いて、照明装置３０ａの変更すべき設定値を算出する。次いで、判定部１２２ａは、暗部についての照明装置３０ａの現在の設定値と照明装置３０ａの最適な設定値とを比較して、ユーザに対して、照明装置３０ａの設定変更を促す提示を行うか否かを判定する（Ｓ１０７）。具体的には、判定部１２２ａは、照明装置３０ａの現在の設定値と、算出部１２１により算出された照明装置３０ａの最適な設定値とを比較し、現在の設定値と最適な設定値の差分が所定の閾値より大きい場合、判定部１２２ａは、照明装置３０ａの設定を変更すべきであると判定する（Ｓ１０７／ＹＥＳ）。判定部１２２ａは、提示部１３０ａへ判定結果を送信する。
【００６１】  そして、提示部１３０ａは、判定部１２２ａから判定結果を受信し、照明装置３０ａの設定を変更すべき場合は、ユーザに対して照明装置３０ａの操作を促す信号を出力装置４０ａに送信し、出力装置４０ａは、照明装置３０ａの操作を促す出力を行う（Ｓ１０９）。
【００６２】  その後、ユーザによって、入力装置５０が操作されることにより照明装置３０ａの設定値が変更され、入力された設定値は制御部１５０に送信される。そして制御部１５０は、入力された設定値に基づいて、照明装置３０ａの設定値を変更するように制御する（Ｓ１１１）。上記のＳ１０１〜Ｓ１１１は随時繰り返される。これにより、ユーザは提示された術野画像やアシスト情報を確認しながら、その場で照明装置３０ａの設定値を変更し、最適な照明を術野に当てることが可能となる。一方、Ｓ１０４において、判定部１２２ａによって輝度が所定の閾値より小さい領域は存在しないと判定された場合、繰り返しＳ１０１から動作が繰り返される（Ｓ１０４／ＮＯ）。また、Ｓ１０７において、照明装置３０ａ現在の設定値と照明装置３０ａの最適な設定値の差分が所定の閾値以下の場合、判定部１２２ａによる提示が行われることなく、繰り返しＳ１０１から動作が繰り返される（Ｓ１０７／ＮＯ）。
【００６３】  ここで、図７及び図８を参照して、照明装置３０ａの最適な設定値を算出するための機械学習方法について詳細に説明する。図７は、本実施形態に係る手術用情報処理装置１０ａにおける、照明装置３０ａの最適な設定値を算出するための機械学習の流れを説明するための流れ図である。図８は、本実施形態に係る手術用情報処理装置１０ａにおける照明装置３０ａの最適な設定値を算出するための機械学習の別の流れを説明するための流れ図である。
【００６４】  まず、図７を参照して、ユーザの操作によって学習データが登録されることによる照明装置３０ａの最適な設定値を算出するために用いられる分類器を生成する機械学習方法を説明する。
【００６５】  解析部１２０ａは、術野画像上の暗部を検知する（Ｓ２０１）。暗部の検知は、上記のＳ１０１、Ｓ１０３及びＳ１０４の流れと同様の流れで行われる。次いで、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値が取得部１１０ａによって取得される（Ｓ２０３）。提示部１３０ａは、出力装置４０ａによって、ユーザに対して照明装置３０ａの操作を促す信号を出力装置４０ａに送信する。出力装置４０ａは、照明装置３０ａの操作を促す出力（アラート）を行う（Ｓ２０５）。ユーザ、例えば外回り看護師は、取得部１１０ａによって取得された術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を参照データとしてラベル登録する（Ｓ２０７）。その参照データは記憶部１４０ａに保存される（Ｓ２０９）。続いて、ユーザは、手術に適した術野となるように照明装置３０ａを調整する（Ｓ２１１）。調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値が取得部１１０ａによって取得される（Ｓ２１３）。ユーザは、取得部１１０ａによって取得された調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値を教師データとしてラベル登録する（Ｓ２１５）。その教師データは記憶部１４０ａに保存される（Ｓ２１７）。上記Ｓ２０１〜Ｓ２１７を繰り返すことで、照明装置３０ａの最適な照明状態を算出するための分類器が作製される。なお、Ｓ２０５のアラートは省略されてもよく、出力装置４０ａによる照明装置３０ａの操作を促す出力がされないように、手術用情報処理装置１０ａを設定しておいてもよい。ユーザは、アラートを切った状態で照明装置３０ａを操作して、参照データとなる、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を収集して、参照データをラベル登録してもよい。また、判定部１２２ａが暗部を検知しない場合においても、ユーザが術野に暗い領域があると判断したときは、ユーザは、そのときの術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を参照データとしてラベル登録してもよい。
【００６６】  次いで、図８を参照して、手術用情報処理装置１０ａよって学習データが登録されることによる照明装置３０ａの最適な設定値を算出するために用いられる分類器を生成するための機械学習方法を説明する。本方法では、ユーザが参照データ及び教師データをラベル登録するのではなく、手術用情報処理装置１０ａが術中に学習データを収集する。具体的には、以下の手順で行われる。解析部１２０ａは、術野画像上の暗部を検知する（Ｓ２０１）。次いで、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値が取得部１１０ａによって取得される（Ｓ２０３）。提示部１３０ａは、出力装置４０ａによって、ユーザに対して照明装置３０の操作を促す信号を出力装置４０ａに送信する。出力装置４０ａは、照明装置３０の操作を促す出力（アラート）を行う（Ｓ２０５）。提示部１３０ａが出力装置４０ａによってアラートを出した後、取得部１１０ａは、術野画像、術野画像情報、及び照明装置３０ａの現在の設定値を参照データとしてラベル登録する（Ｓ２０７Ａ）。その参照データは記憶部１４０に保存される（Ｓ２０９）。続いて、ユーザは、手術に適した術野となるように照明装置３０を調整する（Ｓ２１１）。調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値が取得部１１０によって取得される（Ｓ２１３）。その後、所定の時間、照明装置３０ａの設定値に変化がなければ、判定部１２２ａは、照明装置３０が最適な状態に調整されたとみなし、調整後の術野画像、術野画像情報、及び照明装置３０ａの設定値を教師データとしてラベル登録する（Ｓ２１５Ａ）。その教師データは記憶部１４０ａに保存される（Ｓ２１７）。上記Ｓ２０１〜Ｓ２１７を繰り返すことで、照明装置３０ａの最適な設定値を算出するための分類器が作製される。
【００６７】  上記のようにして、学習用術野画像と、当該学習用術野画像における照明装置３０の最適な照明状態とが紐づけられた学習データを機械学習することで分類器が生成される。本実施形態に係る手術用情報処理装置１０ａは、この分類器にカメラ２０で取得された術野画像を入力することにより、照明装置３０の最適な設定値を算出することができる。上記方法で、照明装置３０ａの最適な設定値が算出されることにより、提示部１３０ａは、ユーザに対してより適切なタイミングで提示を行うことができ、また、より精度を高くして照明装置３０ａの最適な設定値を提示することが可能となる。なお、上記では、分類器が、ユーザの操作によって学習データが登録されることによる機械学習、又は、術中に手術用情報処理装置１０ａよって学習データが登録されることによる機械学習により生成される場合を説明した。しかしながら、分類器は、術前に手術用情報処理装置１０ａよって学習データが登録されることによる機械学習により生成されてもよいし、予めユーザ以外の操作によって学習データが登録されることによる機械学習により生成されてもよい。
【００６８】［３−３．第１の変形例］  続いて、図９及び図１０を参照して、第２の実施形態に係る手術用情報処理装置１０ａに係る第１の変形例について説明する。図９は、本実施形態に係る暗部の提示方法を説明するための模式図である。図１０は、本実施形態に係る暗部の提示方法を説明するための模式図である。
【００６９】  判定部１２２ａは、上述したように、算出部１２１ａによって解析された輝度分布を利用し、術野画像上に輝度が所定の閾値より小さい領域がある場合に、暗部が存在すると判定する。図５では、術部に暗い領域が１つ存在する場合を示したが、提示部１３０ａは、図９に示すように、出力装置４０ａによって術野画像に表示された領域中の複数の暗部を提示してもよい。このとき、提示部１３０ａが出力装置４０ａによって提示するアシスト情報は、複数の暗部のうちのいずれかの暗部についての照明装置３０ａの設定値を表示してもよい。複数の暗部のうちユーザが明るさを調整したい暗部は、ユーザによって入力装置５０が操作されることで選択されてもよい。例えば、入力装置５０としてタッチパネルが用いられる場合、ユーザが明るくしたい暗部にタッチすることで当該暗部が選択されてもよい。また、ユーザは、提示部１３０ａが提示する暗部以外の領域を選択して、その選択された位置を、輝度を調整すべき位置とすることも可能である。そして、解析部１２０ａは、選択された暗部に対して、先立って説明した機械学習により照明装置３０ａの最適な設定値を算出する。その結果、例えば、図１０に示すように、出力装置４０ａは、術野画像表示エリア４１０ａに表示されたリアルタイムの画像に、選択された暗部を示す表示を重畳して表示する。また、アシスト情報表示エリア４２０ａには、リアルタイムの照度Ａと術野画像表示エリア４１０ａに示された暗部についての最適な設定値である照度Ａ０が表示されている。また、アシスト情報表示エリア４２０ａには、リアルタイムの照明装置３０の配置Ｓと最適な照明状態である照明装置３０の配置Ｓ０が表示されている。上記のように、術野に生じた複数の暗部が提示されることで、ユーザは、手術が行われている術部以外の注視したい部分についても輝度の調整が可能となり、当該部分についての処置の有無を迅速に判断することが可能となる。また、提示された暗部以外の部分をユーザが選択することで、ユーザが注視したい部分の輝度を迅速に調整することができ、手術時間を短縮することが可能となる。
【００７０】［３−４．第２の変形例］  続いて、図１１を参照して、第２の実施形態に係る手術用情報処理装置１０ａの第２の変形例について説明する。図１１は、本変形例に係る暗部の提示方法を説明するための模式図である。
【００７１】  本変形例では、図１１に示すように、出力装置４０ａによって術野画像に表示された領域中の複数の暗部が提示されているが、提示部１３０ａは、検出された複数の暗部を選択可能に提示してもよい。図１１では、検出された複数の暗部に対して、それぞれ番号が割り振られている。例えば、入力装置５０として、例えばユーザの音声を認識するマイクが用いられる場合、暗部に割り振られた番号がユーザによって読み上げられることで、明るくしたい暗部が選択されてもよい。また、例えば、入力装置５０としてのマイクがユーザの音声を認識することにより、照明装置３０ａは、最適な設定値となるように調整されてもよい。暗部の選択、照明装置３０ａの調整が音声によって行われることで、照明装置３０や入力装置５０が滅菌されていない場合でも、滅菌されていない不潔領域を触れることができないユーザ、例えば術者は、照明装置３０ａを操作して、最適な照明状態を実現することが可能となる。
【００７２】［３−５．第３の変形例］  続いて、図１２を参照して、第３の実施形態に係る手術用情報処理装置１０ａの第３の変形例について説明する。図１２は、本変形例に係る暗部の提示方法を説明するための模式図である。
【００７３】  第１の変形例では、図９に示すように、提示部１３０ａは、出力装置４０ａによって術野画像に表示された領域中の複数の暗部を提示しているが、提示部１３０ａは、図１２に示すように、検出された複数の暗部に対して、明るさを調整すべき暗部を推奨度に応じて暗部の表示方法を変更して提示してもよい。例えば、図１２では、明るさを調整すべき暗部の推奨度に応じて、暗部の表示方法が変更されて提示されている。明るさを調整すべき暗部の推奨度は、例えば、公知の画像処理技術によって算出された術部の位置と暗部との間の距離に応じて設定されてもよい。具体的には、提示部１３０ａは、出力装置４０ａによって術部に近い暗部に対して高い推奨度を示す表示を提示してもよい。また、明るさを調整すべき暗部の推奨度は、機械学習によって生成された分類器に基づいて設定されてもよい。機械学習によって生成された分類器には、例えば、暗部と術野に挿入された反射率が低い物体とを区別する分類器を適用することで、暗部検出の精度を向上することができる。この明るさを調整すべき暗部の推奨度は、判定部１２２ａによって先立って説明した方法にて算出される。また、判定部１２２ａは、取得部１１０ａで取得されるあらゆる情報、及び取得部１１０ａで取得される情報を基に解析部１２０ａで算出され得るあらゆる情報に基づいて、明るさを調整すべき暗部の推奨度を設定することができる。なお、明るさを調整すべき暗部の推奨度は、図１２に示したような表示方法限られず、推奨度を示す数値をリアルタイムの画像上のそれぞれの暗部近傍に表示してもよいし、アシスト情報として、アシスト情報表示エリア４２０ａにその推奨度と暗部の座標値を表示してもよい。このような提示がされることで、ユーザは、明るさを調整すべき暗部を迅速に認識することができる。
【００７４】  また、提示部１３０は、図１２の下部に示すように、暗部が検出される時点の前後の画像を、動画像としてＰｉｎＰ（Ｐｉｃｔｕｒｅ  ｉｎ  Ｐｉｃｕｔｕｒｅ）提示してもよい。提示部１３０によって暗部が検出される時点前後の動画像が提示されることで、ユーザは暗部が生じた原因を特定することが可能となる。
【００７５】＜４．第３の実施形態＞［４−１．構成］  続いて、本開示に係る第３の実施形態について説明する。本実施形態に係る技術が適用され得る手術用情報処理システム１ｂは、本実施形態に係る手術用情報処理装置１０ｂ、カメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、入力装置５０ｂを備える。カメラ２０ｂ及び照明装置３０ｂは第１の実施形態で説明したものと同様であり、出力装置４０ｂ及び入力装置５０ｂは、第２の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。本実施形態に係る手術用情報処理装置１０ｂは、手術用情報処理システム１ｂにおけるカメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、及び入力装置５０ｂと相互に連携を取りながら各種の処理を実施することが可能である。また、本実施形態に係る手術用情報処理装置１０ｂは、手術用情報処理システム１ｂにおけるカメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、及び入力装置５０ｂではなく、これらカメラ２０ｂ、照明装置３０ｂ、出力装置４０ｂ、及び入力装置５０ｂと同様の機能を有するものと相互に連携を取りながら、各種の処理を実施することも可能である。
【００７６】  本実施形態に係る手術用情報処理装置１０ｂは、取得部１１０ｂと、解析部１２０ｂと、提示部１３０ｂと、記憶部１４０ｂと、制御部１５０ｂとを備える。取得部１１０ｂと、記憶部１４０ｂと、制御部１５０ｂは、第２の実施形態で説明したものと同様であるため、ここでの詳細な説明は省略する。
【００７７】  解析部１２０ｂは、第２の実施形態に係る解析部１２０ａが有する機能に加え、照明装置３０ｂの設定値が変更された場合の術野を模擬したシミュレーション画像を生成するためのシミュレーション画像情報を生成する機能を更に有する。シミュレーション画像情報は、照明装置３０ｂの調整されるべき設定値に応じて複数生成されてもよい。照明装置３０ｂの調整されるべき設定値は、機械学習により、ユーザが術部を視認するのに適した明るさとなるように決定されてもよい。
【００７８】  提示部１３０ｂは、第２の実施形態に係る提示部１３０ａが有する機能に加え、照明装置３０ｂの設定値が変更されたときの術野のシミュレーション画像を提示する機能を更に有する。提示されるシミュレーション画像は、解析部１２０ｂが生成するシミュレーション画像情報に応じて複数提示されてもよい。また、ユーザによって予め定められた数のシミュレーション画像が提示されてもよい。
【００７９】  ここで、図１３を参照して、提示部１３０ｂが出力装置４０ｂに出力させる情報について説明する。図１３は、本実施形態に係る提示された表示を説明するための模式図である。出力装置４０ｂは、術野画像表示エリア４１０ｂ、アシスト情報表示エリア４２０ｂ、スイッチ４３０及びアラーム解除ボタン４４０ｂを備える。スイッチ４３０ｂは、照明装置３０のＯＮ／ＯＦＦを制御する機能を有し、アラーム解除ボタン４４０ｂは、ユーザへの照明装置３０ｂの設定を促す際に発せられるアラームを解除する機能を有する。
【００８０】  術野画像表示エリア４１０ｂは、例えば、カメラ２０ｂにより取得された現在の画像、および照明装置３０ｂの設定値が変更されたときに得られる術野のシミュレーション画像を表示する。また、アシスト情報表示エリア４２０ｂには、現在の画像について照明装置３０ｂの照度Ａと照明装置３０ｂの絞りＢが表示されている。具体的には、術野画像表示エリア４１０ｂは、図１３では、術野のリアルタイムの術野画像１つと、３つのシミュレーション画像を提示している。これら４つの画像は、提示部１３０ａから送信された画像情報に対応するものである。提示されたリアルタイムの術野画像は、照明装置３０ｂの照度がＡ、絞りがＢに調整されて照明されたリアルタイムの術野画像Ｉである。また、提示部１３０ｂは、照明装置３０ｂの照度がＡ１及び絞りがＢ１に調整された場合の術野画像を候補Ａとして提示し、照明装置３０ｂの照度がＡ２及び絞りがＢ２に調整された場合の術野画像を候補Ｂとして提示し、照明装置３０ｂの照度がＡ３及び絞りがＢ３に調整された場合の術野画像を候補Ｃとして提示している。そして、ユーザによって入力装置５０ｂが操作されることによって上記の３つの術野画像の候補のうちから、１つの術野画像が選択され、制御部１５０ｂによって、照明装置３０ｂは候補画像の照度と絞りに調整される。シミュレーション画像が候補画像として提示されることで、本変形例に係る手術用情報処理装置１０ｂは、術者に応じた術野の明るさを提供することが可能となる。
【００８１】  なお、４つの画像のうち、リアルタイムの術野画像はメイン画像として比較的大きく表示され、残りの３つのシミュレーション画像はサブ画像として比較的小さく表示されてもよい。
【００８２】［４−２．動作］  続いて、図１４を参照して、本実施形態に係る手術用情報処理装置１０ｂの動作を説明する。図１４は、本実施形態に係る手術用情報処理装置１０ｂの動作を説明するための流れ図である。本実施形態に係る手術用情報処理装置１０ｂの動作は、図６に示した流れ図の、最適な設定値を算出するステップ（Ｓ１０５Ａ）の後に、シミュレーション画像情報が生成されるステップ（Ｓ１０６）が追加される。本実施形態に係る手術用情報処理装置１０ｂの動作の流れにおいて、Ｓ１０１〜Ｓ１０４、及びＳ１０７〜Ｓ１１１は第２の実施形態に係る手術用情報処理装置１０ａの動作と同様であるため、ここでの詳細な説明は省略する。
【００８３】  Ｓ１０５Ａにおいて、算出部１２１ｂは、暗部に対して最適な光が照射されるように、取得された画像情報及び輝度分布を基に照明装置３０の最適な設定値を複数算出する。具体的には、算出部１２１ｂは、機械学習により生成された分類器を用いて、術野画像を解析して術部の照明状態を算出し、変更されるべき設定値を複数算出する。
【００８４】  続いて、解析部１２０ｂは、複数算出された照明装置３０ｂの最適な設定値に基づいて、術野のシミュレーション画像情報を複数生成する（Ｓ１０６）。このとき生成されるシミュレーション画像情報としては、例えば、術野の明るさは同等であっても、色味が異なる画像が生成されてもよい。
【００８５】  その後、解析部１２０ｂが有する判定部１２２ｂは、術野画像が取得された時点の照明装置３０ｂの設定値と照明装置３０ｂの複数の最適な設定値とを比較して、ユーザに対して、照明装置３０ｂの設定変更を促す提示を行うか否かを判定する（Ｓ１０７）。具体的には、判定部１２２ｂは、照明装置３０ｂの現在の設定値と、算出部１２１ｂにより算出された照明装置３０ｂの最適な設定値とを比較し、現在の設定値と最適な設定値との差分が所定の閾値より大きい場合、判定部１２２ｂは、照明装置３０ｂの設定を変更すべきであると判定する（Ｓ１０７／ＹＥＳ）。判定部１２２ｂが照明装置３０ｂの設定を変更すべきであると判定した場合、解析部１２０ｂは、提示部１３０ｂへ生成されたシミュレーション画像情報を送信する。一方、Ｓ１０７において、現在の設定値と照明装置３０ｂの最適な設定値の差分が所定の閾値以下の場合、繰り返しＳ１０１から動作が繰り返される（Ｓ１０７／ＮＯ）。
【００８６】  続いて、出力装置４０ｂによる照明装置３０ｂの操作を促す出力がされる（Ｓ１０９）。ここでは、リアルタイムの術野画像と、解析部１２０ｂで生成された複数のシミュレーション画像情報に基づいた複数のシミュレーション画像が提示される。例えば、図１３では、出力装置４０ｂは、リアルタイムの術野画像１つと、３つのシミュレーション画像を表示している。表示された術野画像の一つは、照明装置３０ｂの照度がＡ、絞りがＢに調整されて照明されたリアルタイムの術野画像である。また、提示部１３０ｂは、照明装置３０ｂの照度がＡ１及び絞りがＢ１に調整された場合の術野画像を候補Ａとして提示し、照明装置３０ｂの照度がＡ２及び絞りがＢ２に調整された場合の術野画像を候補Ｂとして提示し、照明装置３０ｂの照度がＡ３及び絞りがＢ３に調整された場合の術野画像を候補Ｃとして提示している。また、出力装置４０ｂは、アシスト情報として、リアルタイムの照明装置３０ｂの照度Ａ及び絞りＢを表示している。
【００８７】  その後、入力装置５０ｂがユーザに操作されることによって上記の３つの術野画像の候補のうちから、１つのシミュレーション画像が選択され、選択されたシミュレーション画像の画像情報が制御部１５０ｂに送信される。そして、制御部１５０ｂによって、選択された術野画像に応じて術野が照明されるように、照明装置３０ｂの設定値が変更される（Ｓ１１１）。例えば、図１３では、候補２がユーザによって選択された場合には、照明装置３０ｂの照度は照度Ａから照度Ａ２に調整され、絞りは絞りＢから絞りＢ２に調整される。上記のＳ１０１〜Ｓ１１１は随時繰り返される。これにより、ユーザが手術毎に異なる場合でも、そのユーザに応じて最適な照明を術野に当てることが可能となる。
【００８８】＜５．ハードウェア構成＞  以上、本開示に係る実施形態について説明した。上述した画像処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。
【００８９】  次に、本開示の一実施形態に係る手術用情報処理装置１０のハードウェア構成例について説明する。図１５は、本開示の一実施形態に係る手術用情報処理装置１０のハードウェア構成例を示すブロック図である。図１５を参照すると、手術用情報処理装置１０は、例えば、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、表示装置９０９と、音声出力装置９１０と、ストレージ装置９１１と、ドライブ９１２と、接続ポート９１３と、リムーバブル記憶媒体９１４と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、手術用情報処理装置１０は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【００９０】  ＣＰＵ９０１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１１、又はリムーバブル記憶媒体９１４に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【００９１】  ＲＯＭ９０２は、ＣＰＵ９０１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０３には、例えば、ＣＰＵ９０１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【００９２】  ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３は、例えば、高速なデータ伝送が可能なホストバス９０４を介して相互に接続される。一方、ホストバス９０４は、例えば、ブリッジ９０５を介して比較的データ伝送速度が低速な外部バス９０６に接続される。また、外部バス９０６は、インタフェース９０７を介して種々の構成要素と接続される。
【００９３】  入力装置９０８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられ得る。さらに、入力装置９０８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置９０８には、マイクロフォンなどの音声入力装置が含まれる。本開示の一実施形態に係る手術用情報処理装置１０では、入力装置９０８は、先立って説明した入力装置５０に相当する。
【００９４】  表示装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、プリンタ等であり、音声出力装置９１０は、スピーカー、ヘッドホン等のオーディオ出力装置等である。表示装置９０９及び音声出力装置９１０は、いずれも取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【００９５】  ストレージ装置９１１は、各種のデータを格納するための装置である。ストレージ装置９１１としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【００９６】  ドライブ９１２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体９１４に記録された情報を読み出し、又はリムーバブル記憶媒体９１４に情報を書き込む装置である。
【００９７】リムーバブル記憶媒体９１４は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記憶媒体９１４は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【００９８】  接続ポート９１３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器を接続するためのポートである。
【００９９】＜６．結び＞  以上説明したように、本開示によれば、照明装置の設定を変更すべき場合は、照明装置３０の操作を促す提示がなされる。その結果、ユーザは、術野の照明状態を調整する必要性の有無をすばやく把握することが可能となる。
【０１００】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０１】  また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は、上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１０２】  また、本明細書において流れ図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【０１０３】  なお、以下のような構成も本開示の技術的範囲に属する。（１）  照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部と、  前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、を備える、  手術用情報処理装置。（２）  解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記提示部は、前記第１照明情報と前記第２照明情報とを比較した結果に基づいて、前記ユーザへ提示を行う、  （１）に記載の手術用情報処理装置。（３）  前記解析部は、学習用の前記術野画像と該学習用の前記術野画像における理想的な照明状態とが紐づいた学習データを予め機械学習することで生成された分類器に、前記術野画像を入力して前記第２照明情報を算出する、  （２）に記載の手術用情報処理装置。（４）  前記提示部は、前記術野画像において輝度が所定の閾値以下の領域である暗部が生じている場合に、前記術野画像および前記第１照明情報に基づいた提示を前記ユーザへ行う、  （１）〜（３）のいずれか１項に記載の手術用情報処理装置。（５）  前記提示部は、複数の前記暗部を選択可能に提示し、前記ユーザによって選択された前記暗部についての第２照明情報を提示する、  （４）に記載の手術用情報処理装置。（６）  解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記提示部は、前記ユーザによって発せられた音声に基づいて前記暗部の位置及び前記暗部についての前記第２照明情報の少なくともいずれかを提示する、  （４）又は（５）に記載の手術用情報処理装置。（７）  前記提示部は、前記術野画像の前記暗部の位置に応じて、前記暗部の位置を示す表示を変更して外部の出力装置によって表示する、  （４）〜（６）のいずれか１項に記載の手術用情報処理装置。（８）  前記提示部は、前記暗部が生じたと判定された時点前後の画像を提示する、  （４）〜（７）のいずれか１項に記載の手術用情報処理装置。（９）  解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記解析部は、前記術野における前記ユーザによって指定された位置についての前記第２照明情報を算出する、  （２）〜（８）のいずれか１項に記載の手術用情報処理装置。（１０）  解析部をさらに備え、  前記解析部は、前記術野画像から機械学習により前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記解析部は、前記第１照明情報と前記第２照明情報との差分を算出し、  前記提示部は、前記差分が所定の閾値を超えたときに前記ユーザへの提示を行う、  （２）〜（９）のいずれか１項に記載の手術用情報処理装置。（１１）  前記提示部は、前記差分が前記閾値を超えたときに、前記照明装置の操作を喚起する信号を出力する、  （１０）に記載の手術用情報処理装置。（１２）  前記提示部は、前記術野画像が取得されたときの前記第１照明情報を所定の提示方法で提示する、  （１）〜（１１）のいずれか１��に記載の手術用情報処理装置。（１３）  解析部をさらに備え、  前記解析部は、前記照明装置の照明状態が異なる場合を模擬した前記術野の画像であるシミュレーション画像を複数生成し、  前記提示部は、前記照明装置の照明状態がそれぞれ異なる場合の複数の前記術野の前記シミュレーション画像を提示する、  （１）〜（１２）のいずれか１項に記載の手術用情報処理装置。（１４）  前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記取得部は、前記術野における術具を検出することで、前記第２照明情報を算出する領域を取得する、  （２）〜（１３）のいずれか１項に記載の手術用情報処理装置。（１５）  前記解析部は、前記術野画像から機械学習により、ある領域に対する前記照明装置の理想的な照明状態を示す第２照明情報を算出し、  前記取得部は、前記ユーザ又は前記ユーザと異なるユーザの視線を検出することで、前記第２照明情報を算出する領域を取得する、  （２）〜（１４）のいずれか１項に記載の手術用情報処理装置。（１６）  照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得することと、  取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行うことと、を含む、  情報処理方法。（１７）  コンピュータを、  照明装置によって照明された術野を含む術野画像と、前記照明装置の照明状態を示す第１照明情報と、を取得する取得部、及び、  前記取得部によって取得された前記術野画像および前記第１照明情報に基づいた提示をユーザへ行う提示部と、として機能させるための、  プログラム。
【符号の説明】
【０１０４】  １、１ａ、１ｂ                  手術用情報処理システム  １０、１０ａ、１０ｂ            手術用情報処理装置  ２０、２０ａ、２０ｂ            カメラ  ３０、３０ａ、３０ｂ            照明装置  ４０、４０ａ、４０ｂ            出力装置  ５０、５０ｂ                    入力装置  １１０、１１０ａ、１１０ｂ      取得部  １１１、１１１ａ、１１１ｂ      画像情報取得部  １１２、１１２ａ、１１２ｂ      照明情報取得部  １２０、１２０ａ、１２０ｂ      解析部  １２１、１２１ａ、１２１ｂ      算出部  １２２、１２２ａ、１２２ｂ      判定部  １３０、１３０ａ、１３０ｂ      提示部  １４０、１４０ａ、１４０ｂ      記憶部  １５０、１５０ｂ                制御部
【図１】
2019225231.tif 000003
【図２】
2019225231.tif 000004
【図３】
2019225231.tif 000005
【図４】
2019225231.tif 000006
【図５】
2019225231.tif 000007
【図６】
2019225231.tif 000008
【図７】
2019225231.tif 000009
【図８】
2019225231.tif 000010
【図９】
2019225231.tif 000011
【図１０】
2019225231.tif 000012
【図１１】
2019225231.tif 000013
【図１２】
2019225231.tif 000014
【図１３】
2019225231.tif 000015
【図１４】
2019225231.tif 000016
【図１５】
2019225231.tif 000017
【国際調査報告】
2019225231.tif 000018
2019225231.tif 000019
2019225231.tif 000020
2019225231.tif 000021