(57)【要約】【課題】判別の困難な対象物を識別することの可能な情報処理システムおよび情報処理プログラムを提供する。【解決手段】本発明の一実施形態に係る情報処理システムは、取得部と、表示部とを備えている。取得部は、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。表示部は、取得部で取得された位置情報に基づいて生成したマーカを撮像画像に重ね合わせた映像を表示する。【選択図】図３
2020137103.tif 000002
【特許請求の範囲】
【請求項１】
識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、前記識別対象、もしくは、前記識別対象を含む領域の、前記撮像画像における位置情報を取得する取得部と、
前記取得部で取得された前記位置情報に基づいて生成したマーカを前記撮像画像に重ね合わせた画像を表示する表示部と
を備えた
情報処理システム。
【請求項２】
前記表示部は、前記画像として、さらに、前記撮像画像に含まれる前記識別対象の識別結果を含む画像を表示する
請求項１に記載の情報処理システム。
【請求項３】
識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、前記識別対象、もしくは、前記識別対象を含む領域の、前記撮像画像における位置情報を取得する取得部と、
前記取得部で取得された前記位置情報に基づいて生成したマーカを、光学系によって形成される、前記識別対象を含む視野の像に重ね合わせる合成部と
を備えた
情報処理システム。
【請求項４】
前記合成部は、前記マーカと、前記撮像画像に含まれる前記識別対象の識別結果と、前記視野の像とを含む像を生成する
請求項３に記載の情報処理システム。
【請求項５】
識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、前記識別対象、もしくは、前記識別対象を含む領域の、前記撮像画像における位置情報を取得する取得部と、
前記取得部で取得された前記位置情報を、表示部を備えた情報処理装置に送信する送信部と
を備えた
情報処理システム。
【請求項６】
前記取得部は、前記Ｓｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、前記Ｓｅｇｍｅｎｔａｔｉｏｎ画像からＤｅｔｅｃｔｉｏｎ画像を切り出し、切り出した前記Ｄｅｔｅｃｔｉｏｎ画像の、前記撮像画像における位置情報を、前記識別対象、もしくは、前記識別対象を含む領域の、前記撮像画像における位置情報とする
請求項１から請求項５のいずれか一項に記載の情報処理システム。
【請求項７】
前記表示部は、前記マーカが所定の領域からはみ出している場合には、前記画像として、さらに、前記マーカが前記所定の領域からはみ出していることを意味する情報を含む画像を表示する
請求項１または請求項２に記載の情報処理システム。
【請求項８】
前記合成部は、前記マーカが所定の領域からはみ出している場合には、前記マーカと、前記マーカが前記所定の領域からはみ出していることを意味する情報と、前記視野の像とを含む像を生成する
請求項３または請求項４に記載の情報処理システム。
【請求項９】
前記マーカが所定の領域内に収まっているときに得られた前記撮像画像を外部機器に送信し、前記識別結果を前記外部機器から受信する第１通信部を更に備えた
請求項１から請求項４のいずれか一項に記載の情報処理システム。
【請求項１０】
前記マーカが所定の領域内に収まっているときに得られた前記撮像画像に含まれる前記識別対象の識別を行う識別部を更に備えた
請求項２または請求項４に記載の情報処理システム。
【請求項１１】
前記第１通信部は、撮像装置から送信された前記撮像画像を受信する
請求項９に記載の情報処理システム。
【請求項１２】
無線通信により撮像装置から送信された前記撮像画像を受信する第２通信部を更に備えた
請求項９に記載の情報処理システム。
【請求項１３】
識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、前記識別対象、もしくは、前記識別対象を含む領域の、前記撮像画像における位置情報を取得する取得ステップと、
前記取得ステップで取得された前記位置情報に基づいて生成したマーカを前記撮像画像に重ね合わせた画像を表示するための映像信号を生成する生成ステップと
をコンピュータに実行させる
情報処理プログラム。
【請求項１４】
識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、前記識別対象、もしくは、前記識別対象を含む領域の、前記撮像画像における位置情報を取得する取得ステップと、
前記取得ステップで取得された前記位置情報に基づいて生成したマーカを、光学系によって形成される、前記識別対象を含む視野の像に重ね合わせるための投射光生成用の映像信号を生成する生成ステップと
をコンピュータに実行させる
情報処理プログラム。
【請求項１５】
識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、前記識別対象、もしくは、前記識別対象を含む領域の、前記撮像画像における位置情報を取得する取得ステップと、
前記取得ステップで取得された前記位置情を、表示部を備えた情報処理装置に送信する送信ステップと
をコンピュータに実行させる
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、識別の困難な対象物を識別する情報処理システムおよび情報処理プログラムに関する。
【背景技術】
【０００２】  白内障などの眼の疾患を治療するには、眼の手術を行うことが一般的である。眼の手術を行う際、医療従事者は、患者の顔をドレープで覆い、手術を行う眼をドレープの開口から露出させる（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ｈｔｔｐｓ：／／ｗｗｗ．ｔｓｕｋａｚａｋｉ−ｈｐ．ｊｐ／ｃａｒｅ／ｏｐｈｔｈａｌｍｏｌｏｇｙ／ａｉ
【発明の概要】
【発明が解決しようとする課題】
【０００４】  患者の顔がドレープで覆われている場合、ドレープから露出している眼が左眼か右眼か識別が難しいことがある。そのため、医療従事者は、手術を行わない方の眼が誤って露出しているときに、手術を行う方の眼が露出していると誤認してしまう可能性がある。このような誤認の問題は、医療の現場以外の現場においても、起こり得る問題である。従って、識別の困難な対象物を識別することの可能な情報処理システムおよび情報処理プログラムを提供することが望ましい。
【課題を解決するための手段】
【０００５】  本発明の一実施形態に係る第１の情報処理システムは、取得部と、表示部とを備えている。取得部は、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。表示部は、取得部で取得された位置情報に基づいて生成したマーカを撮像画像に重ね合わせた画像を表示する。【０００６】  本発明の一実施形態に係る第２の情報処理システムは、取得部と、合成部とを備えている。取得部は、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。合成部は、取得部で取得された位置情報に基づいて生成したマーカを、光学系によって形成される、識別対象を含む術野の像に重ね合わせる。【０００６】  本発明の一実施形態に係る第３の情報処理システムは、取得部と、送信部とを備えている。取得部は、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する。送信部は、取得部で取得された位置情報を、表示部を備えた情報処理装置に送信する。【０００７】  本発明の一実施形態に係る第１の情報処理プログラムは、以下の２つのステップをコンピュータに実行させる。
（１）識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
（２）取得ステップで取得された位置情報に基づいて生成したマーカを撮像画像に重ね合わせた画像を表示するための映像信号を生成する生成ステップ【０００８】  本発明の一実施形態に係る第２の情報処理プログラムは、以下の２つのステップをコンピュータに実行させる。
（１）識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
（２）取得ステップで取得された位置情報に基づいて生成したマーカを、光学系によって形成される、識別対象を含む術野の像に重ね合わせるための投射光生成用の映像信号を生成する生成ステップ【０００８】  本発明の一実施形態に係る第３の情報処理プログラムは、以下の２つのステップをコンピュータに実行させる。
（１）識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報を取得する取得ステップ
（２）取得ステップで取得された位置情報を、表示部を備えた情報処理装置に送信する送信ステップ【０００９】  本発明の一実施形態に係る第１の情報処理システム、第２の情報処理システム、第３の情報処理システム、第１の情報処理プログラム、第２の情報処理プログラムおよび第３の情報処理プログラムでは、識別対象を含む撮像画像から得られたＳｅｇｍｅｎｔａｔｉｏｎ画像に対して物体検出を行うことにより、識別対象もしくは識別対象を含む領域の、撮像画像における位置情報が取得される。これにより、例えば、取得された位置情報に基づいて生成したマーカを、撮像画像に重ね合わせた画像を表示したり、光学系によって形成される、識別対象を含む術野の像に重ね合わせたりすることが可能となる。その結果、識別対象を識別するのに必要な要素を撮像画像に確実に含ませることができるので、識別の困難な対象物を識別することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像領域の位置調整用のマーカが重ね合わされた術野画像の一例を表す図である。
【図２】撮像領域の位置調整用のマーカが重ね合わされた術野画像の一例を表す図である。
【図３】本発明の第１の実施の形態に係る左右眼識別システムの概略構成の一例を表す図である。
【図４】図３の左右眼識別システムの機能ブロックの一例を表す図である。
【図５】サーバ装置のメモリに記憶された画像データの一例を表す図である。
【図６】Ｓｅｇｍｅｎｔａｔｉｏｎ画像の一例を表す図である。
【図７】図４の左右眼識別システムにおける左右眼識別手順の一例を表す流れ図である。
【図８】図６のＳｅｇｍｅｎｔａｔｉｏｎ画像から得られるＤｅｔｅｃｔｉｏｎ画像の一例を表す図である。
【図９】図３の表示面に表示される画像の一例を表す図である。
【図１０】図３の表示面に表示される画像の一例を表す図である。
【図１１】図３の表示面に表示される画像の一例を表す図である。
【図１２】図３の表示面に表示される画像の一例を表す図である。
【図１３】図３の表示面に表示される画像の一例を表す図である。
【図１４】図３の表示面に表示される画像の一例を表す図である。
【図１５】図４の左右眼識別システムの機能ブロックの一変形例を表す図である。
【図１６】図１５の左右眼識別システムにおける左右眼識別手順の一例を表す流れ図である。
【図１７】図３の左右眼識別システムの概略構成の一変形例を表す図である。
【図１８】図１７の左右眼識別システムの機能ブロックの一例を表す図である。
【図１９】図１８の左右眼識別システムにおける左右眼識別手順の一例を表す流れ図である。
【図２０】図３の左右眼識別システムの概略構成の一変形例を表す図である。
【図２１】図２０の左右眼識別システムの機能ブロックの一例を表す図である。
【図２２】図２０の左右眼識別システムの機能ブロックの一例を表す図である。
【図２３】図３の左右眼識別システムの概略構成の一変形例を表す図である。
【図２４】図２３の左右眼識別システムの機能ブロックの一例を表す図である。
【図２５】本発明の第２の実施の形態に係る左右眼識別システムの概略構成の一例を表す図である。
【図２６】図２５の左右眼識別システムの機能ブロックの一例を表す図である。
【図２７】図２６の投射部から出射される画像の一例を表す図である。
【図２８】図２６の投射部から出射される画像の一例を表す図である。
【図２９】図２６の投射部から出射される画像の一例を表す図である。
【図３０】図２６の投射部から出射される画像の一例を表す図である。
【図３１】図２６の投射部から出射される画像の一例を表す図である。
【図３２】図２５の接眼部で視認される画像の一例を表す図である。
【図３３】図２６の左右眼識別システムにおける左右眼識別手順の一例を表す流れ図である。
【図３４】図２６の左右眼識別システムの機能ブロックの一変形例を表す図である。
【図３５】図３４の左右眼識別システムにおける左右眼識別手順の一例を表す流れ図である。
【図３６】図２５の左右眼識別システムの概略構成の一変形例を表す図である。
【図３７】図３６の左右眼識別システムの機能ブロックの一例を表す図である。
【図３８】図３７の左右眼識別システムにおける左右眼識別手順の一例を表す流れ図である。
【発明を実施するための形態】
【００１１】  以下、本発明を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本発明の一具体例であって、本発明は以下の態様に限定されるものではない。また、本発明は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。また、以下の説明において、上下、左右、前後等の方向は、特に言及しない限り医療従事者側から見た方向とする。なお、上下方向については、後述の対物レンズから術野に向かう方向を下方とし、これの反対方向を上方とする。一般に患者は仰向け状態で手術を受けるので、上下方向と垂直方向とは同じになる。なお、説明は、以下の順序で行う。
１．発明の背景
２．第１の実施の形態（図１〜図１４）
Ｓｅｇｍｅｎｔａｔｉｏｎ画像の生成や左右眼識別をサーバ装置で行い、
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定を情報        処理装置で行う例
３．第１の実施の形態の変形例
変形例Ａ（図１５、図１６）
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定もサー        バ装置で行う例（情報処理装置がインターフェースとして機能する例）
変形例Ｂ（図１７〜図１９）
サーバ装置を省略した例
変形例Ｃ（図２０〜図２２）
第１の実施の形態および変形例Ａにおいて、
情報処理装置とサーバ装置との通信とは異なる通信で、撮像画像を情報処理装置        に送信する例
変形例Ｄ（図２３、図２４）
変形例Ｃにおいてサーバ装置を省略した例
４．第２の実施の形態（図２５〜図３３）
Ｓｅｇｍｅｎｔａｔｉｏｎ画像の生成や左右眼識別をサーバ装置で行い、
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定をカメ        ラ付き情報処理装置で行う例
５．第２の実施の形態の変形例
変形例Ｅ（図３４、図３５）
明るさ判定、ピント判定、Ｄｅｔｅｃｔｉｏｎ画像の生成および位置判定もサー        バ装置で行う例
（カメラ付き情報処理装置がインターフェースとして機能する例）
変形例Ｆ（図３６〜図３８）
サーバ装置を省略した例
【００１２】＜１．発明の背景＞
図１、図２は、撮像領域の位置調整用のマーカＭｃが重ね合わされた術野画像Ｉａ（撮像画像）の一例を表したものである。図１、図２に記載の術野画像Ｉａには、本発明の一実施の形態に係る左右眼識別システム（以下、単に「左右眼識別システム」と称する。）における識別対象である眼１０が含まれている。眼１０は、眼球１１と、涙丘１２とを含んで構成されている。涙丘１２は、眼１０のうち、鼻に近い端部（目頭）に存在している。図１、図２に記載の術野画像Ｉａは、例えば、医療従事者が患者の頭の傍に立ち、患者の頭上に設置された顕微鏡を覗いたときの術野の様子に対応している。従って、図１に示したように、術野画像Ｉａに対して物体検出（Ｄｅｔｅｃｔｉｏｎ）を行うことにより得られた画像（Ｄｅｔｅｃｔｉｏｎ画像Ｉｂ）の中に、涙丘１２や目頭が含まれている場合には、例えば、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂの枠をマーカとして術野画像Ｉａに重ね合わせて表示することによって、医療従事者は、眼１０全体が撮像領域内に入っているか否かを直感的に把握することができる。この場合、医療従事者が、マーカが術野画像Ｉａにおける所定の領域内に位置するように撮像領域を調整することで、眼１０全体が術野画像Ｉａにおける所定の領域内に入るので、術野画像Ｉａに写っている眼１０が左眼であるか、右眼であるかを左右眼識別システムにおいて正しく識別することが可能となる。
【００１３】  ところが、実際に、術野画像Ｉａに対して物体検出を行うと、例えば、図２に示したように、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂには、眼球１１が含まれるが、涙丘１２や目頭が含まれない。そのため、図２に示したように、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂの枠をマーカとして術野画像Ｉａに重ね合わせて表示した場合に、医療従事者が、眼１０全体が撮像領域内に入っているか否かを直感的に把握することが難しいことがある。この場合、医療従事者が、マーカが術野画像Ｉａにおける所定の領域内に位置するように撮像領域を調整したとしても、眼１０の一部が術野画像Ｉａにおける所定の領域から外れてしまい、術野画像Ｉａに写っている眼１０が左眼であるか、右眼であるかを左右眼識別システムにおいて正しく識別することができないおそれがある。そこで、本発明では、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）が確実に含まれるようにする手法を提案する。
【００１４】＜２．第１の実施の形態＞
［構成］
図３は、本発明の第１の実施の形態に係る左右眼識別システム１００の概略構成の一例を表したものである。左右眼識別システム１００は、本発明の「情報処理システム」の一具体例に相当する。図４は、左右眼識別システム１００の機能ブロックの一例を表したものである。図３には、医療従事者が術野を拡大して視認するための眼科手術用顕微鏡システム２００が、左右眼識別システム１００とともに例示されている。本実施の形態において、術野は、患者４００の顔のうち、患者４００の顔に被せたドレープ６００の開口６１０内に露出している領域である。術野には、手術を行う眼が含まれている。患者４００は、手術台３００に仰向け状態で寝ており、患者４００の身体には、シーツ５００が被されており、患者４００の顔にはドレープ６００が被されている。
【００１５】（眼科手術用顕微鏡システム２００）
眼科手術用顕微鏡システム２００は、例えば、支柱２１０と、第１アーム２２０と、第２アーム２３０と、駆動装置２４０と、医療従事者用顕微鏡２５０と、フットスイッチ２６０とを備えている。
【００１６】  支柱２１０は、眼科手術用顕微鏡システム２００の全体を支持する。支柱２１０の上端には、第１アーム２２０の一端が接続されている。第１アーム２２０の他端には、第２アーム２３０の一端が接続されている。第２アーム２３０の他端には、駆動装置２４０が接続されている。医療従事者用顕微鏡２５０は、駆動装置２４０により懸架されている。左右眼識別システム１００に用いられるカメラ１２０が、医療従事者用顕微鏡２５０に付設されている。フットスイッチ２６０は、各種操作を医療従事者等の足で行うために用いられる。駆動装置２４０は、医療従事者等による操作に応じて、医療従事者用顕微鏡２５０とカメラ１２０とを上下方向および水平方向に３次元的に移動させる。
【００１７】  医療従事者用顕微鏡２５０は、各種光学系や駆動系などを収納する鏡筒部２５１と、左右一対の接眼部２５２とを有している。医療従事者は、接眼部２５２を覗き込んで、鏡筒部２５１を介して術野を両眼で観察する。鏡筒部２５１は、例えば、対物レンズと、照明光学系と、観察光学系と、撮影光学系とを含んで構成されている。観察光学系は、対物レンズに連結される光学系であり、撮影光学系は、カメラ１２０に連結される光学系である。
【００１８】  照明光学系は、対物レンズを介して術野を照明する。観察光学系は、照明光学系により照明されている術野を、対物レンズを介して医療従事者用顕微鏡２５０により観察するために用いられる。観察光学系は、左右一対設けられており、右側の観察光学系は、右側の接眼部２５２に連結され、左側の観察光学系は、左側の接眼部２５２に連結されている。右側の観察光学系には、例えば、ビームスプリッタが設けられており、術野から右側の観察光学系を導光する光の一部がビームスプリッタによって撮影光学系に導かれる。
【００１９】（左右眼識別システム１００）
左右眼識別システム１００は、例えば、情報処理装置１１０と、カメラ１２０と、サーバ装置１３０とを備えている。情報処理装置１１０およびサーバ装置１３０は、ネットワーク１４０を介して接続されている。情報処理装置１１０は、ネットワーク１４０を介してサーバ装置１３０と通信することができるように構成されている。サーバ装置１３０は、ネットワーク１４０を介して情報処理装置１１０と通信することができるように構成されている。情報処理装置１１０およびカメラ１２０は、ネットワーク１４０を介して接続されている。情報処理装置１１０は、ネットワーク１４０を介してカメラ１２０と通信することができるように構成されている。カメラ１２０は、ネットワーク１４０を介して情報処理装置１１０と通信することができるように構成されている。
【００２０】  ネットワーク１４０は、例えば、インターネットで標準的に利用されている通信プロトコル（ＴＣＰ／ＩＰ）を用いて通信を行うネットワークである。ネットワーク１４０は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワーク１４０は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワーク１４０と、情報処理装置１１０、サーバ装置１３０またはカメラ１２０との接続は、例えば、イーサネット等の有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）であってもよいし、Ｗｉ−Ｆｉ等の無線ＬＡＮや、携帯電話回線などであってもよい。
【００２１】  情報処理装置１１０は、例えば、制御部１１１、メモリ１１２、表示部１１３、入力部１１４およびネットワークＩＦ（Ｉｎｔｅｒｆａｃｅ）１１５を含んで構成されている。本実施の形態において、制御部１１１は、本発明の「取得部」の一具体例に相当する。表示部１１３は、本発明の「表示部」の一具体例に相当する。制御部１１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを含んで構成され、例えば、メモリ１１２に記憶されたウェブブラウザプログラムや、オペレーティングシステムなど（図示せず）を実行する。制御部１１１は、さらに、例えば、メモリ１１２に記憶されたプログラム１１２Ａを実行する。プログラム１１２Ａは、本発明の「情報処理プログラム」の一具体例に相当する。プログラム１１２Ａは、術野に含まれる眼の種類（左眼または右眼）を識別するための一連の手順を制御部１１１に実行させる。プログラム１１２Ａが制御部１１１に実行させる一連の手順については、後に詳述する。
【００２２】  メモリ１１２は、制御部１１１によって実行されるプログラム（例えば、ウェブブラウザプログラムや、オペレーティングシステム）などを記憶している。メモリ１１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、補助記憶装置（ハードディスク等）等によって構成される。メモリ１１２は、さらに、プログラム１１２Ａを記憶している。
【００２３】  表示部１１３は、例えば、液晶パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示装置からなる。表示部１１３は、制御部１１１からの映像信号に基づく画像を表示面１１０Ａに表示する。入力部１１４は、外部（例えば、ユーザ）からの指示を受け付け、受け付けた指示を制御部１１１に出力する。入力部１１４は、例えば、ボタンやダイヤルなどを含む機械的な入力インターフェースであってもよいし、マイクロフォンなどを含む音声入力インターフェースであってもよい。入力部１１４は、例えば、情報処理装置１１０の表示面１１０Ａに設けられたタッチパネルであってもよい。ネットワークＩＦ１１５は、ネットワーク１４０を介してサーバ装置１３０と通信するための通信インターフェースである。
【００２４】  カメラ１２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサもしくはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含んで構成されている。カメラ１２０は、例えば、情報処理装置１１０による制御に従って撮像を行い、それにより得られた画像（術野画像Ｉａ）を、ネットワーク１４０を介して情報処理装置１１０に出力する。
【００２５】  サーバ装置１３０は、例えば、制御部１３１、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２、左右眼識別学習モデル１３３、メモリ１３４およびネットワークＩＦ１３５などを含んで構成されている。左右眼識別学習モデル１３３は、本発明の「識別部」の一具体例に相当する。制御部１３１は、ＣＰＵおよびＧＰＵなどを含んで構成され、例えば、メモリ１３４に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。制御部１３１は、さらに、例えば、左右眼識別学習モデル１３３で得られた識別結果などを、ネットワークＩＦ１３５を介して情報処理装置１１０に送信する。
【００２６】  ネットワークＩＦ１３５は、ネットワーク１４０を介して情報処理装置１１０と通信するための通信インターフェースである。メモリ１３４は、制御部１３１によって実行されるプログラム（例えば、ウェブサーバプログラムや、オペレーティングシステム）などを記憶する。メモリ１３４は、例えば、ＲＡＭ、ＲＯＭ、補助記憶装置（ハードディスク等）等によって構成される。メモリ１３４には、さらに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃが記憶されている。
【００２７】  各画像データ１３４Ａは、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に対して入力される２種類の学習データのうちの１つであるとともに、左右眼識別学習モデル１３３に対して入力される２種類の学習データのうちの１つである。各画像データ１３４Ａは、例えば、図１、図２に示したような、カメラ１２０で得られた術野画像Ｉａである。各画像データ１３４Ｂは、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に対して入力される２種類の学習データのうちの１つであり、例えば、図５に示したような、各画像データ１３４Ａのピクセルが示す意味がラベル付けされたＳｅｇｍｅｎｔａｔｉｏｎ画像である。なお、図５に示した画像データ１３４Ｂは、眼領域Ｒａであるとラベル付けされたピクセルと、周辺領域Ｒｂであるとラベル付けされたピクセルとによって構成されている。各手術データ１３４Ｃは、患者の手術データであり、例えば、患者氏名、患者ＩＤ、病名、手術日時、術眼（左眼、右眼）、術式、担当医などを含んでいる。
【００２８】  Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習プロセスでは、一組の画像データ１３４Ａ，１３４Ｂを学習データとして機械学習を行う。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、機械学習の結果、画像データ１３４Ａと画像データ１３４Ｂとの対応関係についての情報を学習結果として生成し、保有する。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換プロセスでは、カメラ１２０で得られた術野画像Ｉａが入力されると、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。
【００２９】  左右眼識別学習モデル１３３は、学習プロセスでは、画像データ１３４Ａと、画像データ１３４Ａに含まれる眼の種類（左眼または右眼）とを学習データとして機械学習を行う。左右眼識別学習モデル１３３は、機械学習の結果、画像データ１３４Ａと、眼の種類との対応関係についての情報を学習結果として生成し、保有する。左右眼識別学習モデル１３３は、識別プロセスでは、術野画像Ｉａを取得すると、学習結果を利用して、術野画像Ｉａに含まれる眼の種類（左眼または右眼）を識別する。
【００３０】［動作］
次に、本実施の形態に係る左右眼識別システム１００の動作の一例について説明する。
【００３１】（機械学習）
ユーザは、入力部１１４を介して、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に対して学習開始を指示する。すると、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、メモリ１３４に記憶された複数組の画像データ１３４Ａおよび画像データ１３４Ｂを学習データとして、機械学習を行う。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、機械学習の結果、画像データ１３４Ａと画像データ１３４Ｂとの対応関係についての情報を学習結果として生成し、保有する。このようにして、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２による機械学習が終了する。
【００３２】  次に、ユーザは、入力部１１４を介して、左右眼識別学習モデル１３３に対して学習開始を指示する。すると、左右眼識別学習モデル１３３は、学習プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、メモリ１３４に記憶された複数の画像データ１３４Ａのサムネイルおよび識別子とともに、各画像データ１３４Ａに対する眼の種類（左眼、右眼）の入力要請を情報処理装置１１０に送信する。なお、通信速度等の問題がない場合には、左右眼識別学習モデル１３３は、サムネイルではなくオリジナルの画像データ１３４Ａを情報処理装置１１０に送信してもよい。情報処理装置１１０は、左右眼識別学習モデル１３３から、複数の画像データ１３４Ａのサムネイルおよび識別子とともに、各画像データ１３４Ａに対する眼の種類（左眼、右眼）の入力要請を受信すると、受信した複数の画像データ１３４Ａのサムネイルを表示部１１３に表示するとともに、ユーザに対して眼の種類（左眼、右眼）の入力を促す表示を表示部１１３に表示する。ユーザは、表示部１１３の表示に従い、画像データ１３４Ａごとに、眼の種類（左眼、右眼）を入力部１１４に入力する。入力部１１４は、ユーザから入力された、画像データ１３４Ａごとの眼の種類（左眼、右眼）を、画像データ１３４Ａの識別子とともに左右眼識別学習モデル１３３に送信する。左右眼識別学習モデル１３３は、情報処理装置１１０から、画像データ１３４Ａごとの眼の種類（左眼、右眼）を、画像データ１３４Ａの識別子とともに受信すると、眼の種類（左眼、右眼）と、画像データ１３４Ａの識別子との対応関係を生成し、保有する。このようにして、左右眼識別学習モデル１３３による機械学習が終了する。
【００３３】（左右眼識別）
図７は、左右眼識別システム１００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、情報処理装置１１０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを情報処理装置１１０に送信する。
【００３４】  情報処理装置１１０（制御部１１１）は、受信した術野画像Ｉａに対して明るさ判定を行う。情報処理装置１１０（制御部１１１）は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。情報処理装置１１０（制御部１１１）は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。情報処理装置１１０（制御部１１１）は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。情報処理装置１１０（制御部１１１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像Ｉａをサーバ装置１３０に送信する。
【００３５】  サーバ装置１３０が情報処理装置１１０から術野画像Ｉａを受信すると、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２が変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信したＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。情報処理装置１１０（制御部１１１）は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。
【００３６】  情報処理装置１１０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。情報処理装置１１０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、情報処理装置１１０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。
【００３７】  なお、情報処理装置１１０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。情報処理装置１１０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、後述のマーカＭｃの位置情報としてもよい。この場合、情報処理装置１１０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。
【００３８】  情報処理装置１１０（制御部１１１）は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図９に示したように、制御部１１１からの映像信号に基づいて、術野画像ＩａにマーカＭｃを重ね合わせた画像（マーカ画像Ｉｅ）を表示面１１０Ａに表示する。
【００３９】  左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面１１０Ａに表示された画像を参照しながら、カメラ１２０の撮像領域を微調整する。情報処理装置１１０（制御部１１１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、情報処理装置１１０（制御部１１１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１０に示したように、「顕微鏡位置がずれています。」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。
【００４０】  一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、情報処理装置１１０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１１に示したように、「顕微鏡位置ＯＫ」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを医療従事者に知らせてもよい。
【００４１】  情報処理装置１１０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０内の左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを情報処理装置１１０に送信する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１２に示したように、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１２に示したように、識別結果ＤＲを術野画像Ｉａ上に重ね合わせて表示してもよいし、例えば、図１３に示したように、識別結果ＤＲを術野画像Ｉａとは別の領域に表示してもよい。
【００４２】  医療従事者は、表示面１１０Ａに表示された識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。
【００４３】  情報処理装置１１０（制御部１１１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較する。情報処理装置１１０（制御部１１１）は、その比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１４に示したように、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、図１４には、比較結果ＣＲとして、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとが一致したときの表示が例示されている。
【００４４】［効果］
次に、本実施の形態に係る左右眼識別システム１００の効果について説明する。
【００４５】  白内障などの眼の疾患を治療するには、眼の手術を行うことが一般的である。眼の手術を行う際、医療従事者は、患者の顔をドレープで覆い、手術を行う眼をドレープの開口から露出させる。患者の顔がドレープで覆われている場合、ドレープから露出している眼が左眼か右眼か識別が難しいことがある。そのため、医療従事者は、手術を行わない方の眼が誤って露出しているときに、手術を行う方の眼が露出していると誤認してしまう可能性がある。
【００４６】  一方、本実施の形態では、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本実施の形態では、取得された位置情報に基づいて生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）が表示される。これにより、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【００４７】  また、本実施の形態では、左右眼識別学習モデル１３３による識別結果ＤＲが表示部１１３の表示面１１０Ａに表示される。また、本実施の形態では、術野画像Ｉａとともに、左右眼識別学習モデル１３３による識別結果ＤＲが表示部１１３の表示面１１０Ａに表示される。これにより、見過ごしの無い確実な確認作業を行うことができる。
【００４８】  また、本実施の形態では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【００４９】  また、本実施の形態では、マーカＭｃが術野画像Ｉａにおける所定の領域からはみ出している場合には、マーカＭｃが所定の領域からはみ出していることを意味する情報（例えば、ステータスＳＴ）を含む画像が表示部１１３の表示面１１０Ａに表示される。これにより、医療従事者に対して、カメラ１２０の撮像領域の微調整が必要なことを確実に知らせることができる。
【００５０】  また、本実施の形態では、マーカＭｃが術野画像Ｉａにおける所定の領域内に収まっているときに得られた術野画像Ｉａをサーバ装置１３０に送信した後、左右眼の識別結果をサーバ装置１３０から受信するネットワークＩＦ１１５が情報処理装置１１０に設けられている。これにより、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２や左右眼識別学習モデル１３３などで行われる負荷の大きな処理を、情報処理装置１１０とは別の装置（サーバ装置１３０）に担わせることができる。その結果、例えば、手術室ごとに設置した各情報処理装置１１０が１つのサーバ装置１３０を共有することができるので、左右眼識別システム１００を手術室ごとに設置する場合と比べて、左右眼識別システム１００の設置コストを低減することができる。
【００５１】  また、本実施の形態では、ネットワークＩＦ１１５において、カメラ１２０から送信された術野画像Ｉａが受信される。これにより、カメラ１２０との通信用に、ネットワークＩＦ１１５とは別個のネットワークＩＦを設ける必要がないので、情報処理装置１１０として廉価なものを用いることができる。その結果、左右眼識別システム１００のコストを低減することができる。
【００５２】＜３．第１の実施の形態の変形例＞
次に、第１実施の形態に係る左右眼識別システム１００の変形例について説明する。
【００５３】［［変形例Ａ］］
図１５は、上記実施の形態に係る左右眼識別システム１００の機能ブロックの一変形例を表したものである。本変形例に係る情報処理装置１１０は、メモリ１１２に、プログラム１１２Ａの代わりに、プログラム１１２Ｂを記憶している。本変形例に係るサーバ装置１３０は、メモリ１３４に、さらに、プログラム１３４Ｄを記憶している。プログラム１３４Ｄは、本発明の「識別プログラム」の一具体例に相当する。
【００５４】  プログラム１１２Ｂは、情報処理装置１１０を左右眼識別システム１００におけるユーザーインターフェースとして機能させるための手順を制御部１１１に実行させる。プログラム１３４Ｄは、術野に含まれる眼の種類（左眼または右眼）を識別するための一連の手順を制御部１３１に実行させる。
【００５５】（左右眼識別）
図１６は、本変形例に係る左右眼識別システム１００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ｂ，１３４Ｄの起動を指示する。すると、情報処理装置１１０（制御部１１１）は、メモリ１１２からプログラム１１２Ｂを読み出して、制御部１１１にロードする。プログラム１１２Ｂがロードされた制御部１１１は、情報処理装置１１０を左右眼識別システム１００におけるユーザーインターフェースとして機能させるための手順を実行する。サーバ装置１３０（制御部１３１）は、メモリ１３４からプログラム１３４Ｄを読み出して、制御部１３１にロードする。プログラム１３４Ｄがロードされた制御部１３１は、左右眼の識別をするための一連の手順を実行する。
【００５６】  具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを情報処理装置１１０に送信する。
【００５７】  情報処理装置１１０（制御部１１１）は、受信した術野画像Ｉａをサーバ装置１３０に送信する。サーバ装置１３０（制御部１３１）は、受信した術野画像Ｉａに対して明るさ判定を行う。サーバ装置１３０（制御部１３１）は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示させる信号を情報処理装置１１０に送信する。情報処理装置１１０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。
【００５８】  サーバ装置１３０（制御部１３１）は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。サーバ装置１３０（制御部１３１）は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示させる信号を情報処理装置１１０に送信する。情報処理装置１１０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。サーバ装置１３０（制御部１３１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。
【００５９】  Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１３１に入力する。制御部１３１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。制御部１３１は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。
【００６０】  制御部１３１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。制御部１３１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、制御部１３１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。
【００６１】  なお、制御部１３１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。制御部１３１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、制御部１３１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。
【００６２】  制御部１３１は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）を情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信したマーカ画像Ｉｅを含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図９に示したように、制御部１１１からの映像信号に基づいて、術野画像ＩａにマーカＭｃを重ね合わせた画像を表示面１１０Ａに表示する。
【００６３】  左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面１１０Ａに表示された画像を参照しながら、カメラ１２０の撮像領域を微調整する。サーバ装置１３０（制御部１３１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、サーバ装置１３０（制御部１３１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信した情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１０に示したように、「顕微鏡位置がずれています。」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。
【００６４】  一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す情報を情報処理装置１１０に送信する。情報処理装置１１０（制御部１１１）は、受信した情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、情報処理装置１１０（制御部１１１）は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを医療従事者に知らせてもよい。
【００６５】  サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果を制御部１３１に送信する。制御部１３１は、識別結果ＤＲを情報処理装置１１０に送信する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１２に示したように、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１２に示したように、識別結果ＤＲを術野画像Ｉａ上に重ね合わせて表示してもよいし、例えば、図１３に示したように、識別結果ＤＲを術野画像Ｉａとは別の領域に表示してもよい。
【００６６】  医療従事者は、表示面１１０Ａに表示された識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。
【００６７】  情報処理装置１１０（制御部１１１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較し、その比較結果ＣＲを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１４に示したように、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、識別結果ＤＲと、ステータスＳＴと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、図１４には、比較結果ＣＲとして、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとが一致したときの表示が例示されている。
【００６８】  本変形例では、サーバ装置１３０において、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本変形例では、取得された位置情報に基づいて生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像（マーカ画像Ｉｅ）が情報処理装置１１０に送信される。これにより、情報処理装置１１０において、マーカ画像Ｉｅを表示することができるので、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【００６９】  また、本変形例では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【００７０】［［変形例Ｂ］］
上記実施の形態において、例えば、図１７に示したように、サーバ装置１３０が省略されるとともに、情報処理装置１１０がサーバ装置１３０の機能を備えていてもよい。このとき、情報処理装置１１０は、例えば、図１８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２および左右眼識別学習モデル１３３を備えるとともに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃをメモリ１１２に記憶している。
【００７１】（左右眼識別）
図１９は、本変形例に係る左右眼識別システム１００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、情報処理装置１１０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。
【００７２】  具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを情報処理装置１１０に送信する。
【００７３】  制御部１１１は、受信した術野画像Ｉａに対して明るさ判定を行う。制御部１１１は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。
【００７４】  制御部１１１は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。制御部１１１は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。制御部１１１は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。
【００７５】  Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１１１に入力する。制御部１１１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。制御部１１１は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。
【００７６】  制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報をマーカＭｃの位置情報とする。つまり、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。
【００７７】  なお、制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。
【００７８】  制御部１１１は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを術野画像Ｉａに重ね合わせた画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図９に示したように、制御部１１１からの映像信号に基づいて、術野画像ＩａにマーカＭｃを重ね合わせた画像を表示面１１０Ａに表示する。
【００７９】  左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、表示面１１０Ａに表示された画像を参照しながら、カメラ１２０の撮像領域を微調整する。制御部１１１は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、制御部１１１は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１０に示したように、「顕微鏡位置がずれています。」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、制御部１１１は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。
【００８０】  一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１１に示したように、「顕微鏡位置ＯＫ」といったようなステータスＳＴと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、制御部１１１は、表示面１１０Ａへの画像表示以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを医療従事者に知らせてもよい。
【００８１】  制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを制御部１１１に入力する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１２に示したように、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。表示部１１３は、例えば、図１２に示したように、識別結果ＤＲを術野画像Ｉａ上に重ね合わせて表示してもよいし、例えば、図１３に示したように、識別結果ＤＲを術野画像Ｉａとは別の領域に表示してもよい。
【００８２】  医療従事者は、表示面１１０Ａに表示された識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。
【００８３】  制御部１１１は、さらに、例えば、メモリ１１２に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較し、その比較結果ＣＲを表示面１１０Ａに表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、図１４に示したように、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、識別結果ＤＲと、ステータスＳＴと、術野画像Ｉａとを含む画像を表示面１１０Ａに表示する。なお、図１４には、比較結果ＣＲとして、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとが一致したときの表示が例示されている。
【００８４】  本変形例では、情報処理装置１１０が上記実施の形態に係るサーバ装置１３０の機能を備えている。これにより、情報処理装置１１０とカメラ１２０を用意し、これらをネットワーク１４０に接続するだけで、左右眼識別を行うことができる。従って、サーバ装置１３０が不要な分だけ、左右眼識別システム１００を設置する手間を削減することができる。
【００８５】［［変形例Ｃ］］
上記実施の形態において、例えば、図２０、図２１に示したように、情報処理装置１１０とカメラ１２０との通信が、ネットワーク１４０とは別のネットワーク１５０を介して行われてもよい。また、上記変形例Ａにおいて、例えば、図２０、図２２に示したように、情報処理装置１１０とカメラ１２０との通信が、ネットワーク１４０とは別のネットワーク１５０を介して行われてもよい。このとき、ネットワーク１５０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信であってもよい。このような構成となっている場合であっても、上記実施の形態と同様の効果を有している。
【００８６】［［変形例Ｄ］］
上記実施の形態において、例えば、図２３、図２４に示したように、情報処理装置１１０が、サーバ装置１３０の機能を備え、さらに、情報処理装置１１０とカメラ１２０との通信が、ネットワーク１５０を介して行われてもよい。このとき、情報処理装置１１０は、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２および左右眼識別学習モデル１３３を備えるとともに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃをメモリ１１２に格納している。また、情報処理装置１１０は、ネットワーク１５０を介してカメラ１２０と通信を行うネットワークＩＦ１１６を有している。
【００８７】  本変形例において、ネットワーク１５０がＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信である場合、上記実施の形態と比べて、情報処理装置１１０とカメラ１２０との通信の確立が容易となる。
【００８８】＜４．第２の実施の形態＞
［構成］
図２５は、本発明の第２の実施の形態に係る左右眼識別システム７００の概略構成の一例を表したものである。左右眼識別システム７００は、本発明の「情報処理システム」の一具体例に相当する。図２６は、左右眼識別システム７００の機能ブロックの一例を表したものである。図２５には、医療従事者が術野を拡大して視認するための眼科手術用顕微鏡システム２００が、左右眼識別システム７００とともに例示されている。
【００８９】（左右眼識別システム７００）
左右眼識別システム７００は、例えば、カメラ付き情報処理装置１６０と、サーバ装置１３０とを備えている。カメラ付き情報処理装置１６０およびサーバ装置１３０は、ネットワーク１４０を介して接続されている。カメラ付き情報処理装置１６０は、ネットワーク１４０を介してサーバ装置１３０と通信することができるように構成されている。サーバ装置１３０は、ネットワーク１４０を介してカメラ付き情報処理装置１６０と通信することができるように構成されている。
【００９０】  カメラ付き情報処理装置１６０は、例えば、制御部１１１、メモリ１１２、入力部１１４、ネットワークＩＦ１１５、投射部１１７およびカメラ１２０を含んで構成されている。投射部１１７は、接眼部２５２に連結されており、制御部１１１からの映像信号に基づいて生成した映像光を、接眼部２５２に入射させる。
【００９１】  投射部１１７によって生成される映像光は、例えば、図２７、図２８に示したように、マーカＭｃと、ステータスＳＴとを含む画像を生成する光束であってもよい。投射部１１７によって生成される映像光は、例えば、図２９、図３０に示したように、マーカＭｃと、ステータスＳＴと、識別結果ＤＲとを含む画像を生成する光束であってもよい。このとき、投射部１１７によって生成される映像光において、例えば、図２９に示したように、識別結果ＤＲがマーカＭｃに重ね合わされていてもよいし、例えば、図３０に示したように、識別結果ＤＲがマーカＭｃとは別の箇所に配置されていてもよい。投射部１１７によって生成される映像光は、例えば、図３１に示したように、マーカＭｃと、ステータスＳＴと、識別結果ＤＲと、比較結果ＣＲとを含む画像を生成する光束であってもよい。
【００９２】  接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。つまり、接眼部２５２は、ステータスＳＴ、識別結果ＤＲまたは比較結果ＣＲと、マーカＭｃとを、観察光学系によって形成される、術野の像とともに表示する。その結果、医療従事者は、例えば、図３２に示したような画像を視認する。なお、図３２には、マーカＭｃが術野の像に重ね合わせて表示されるとともに、ステータスＳＴ、識別結果ＤＲおよび比較結果ＣＲが術野の像とは別個に（つまり術野の像には重ね合わさないで）表示されている場合が例示されている。なお、ステータスＳＴ、識別結果ＤＲおよび比較結果ＣＲが術野の像に重ね合わせて表示されてもよい。
【００９３】（左右眼識別）
図３３は、左右眼識別システム７００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、カメラ付き情報処理装置１６０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを制御部１１１に出力する。
【００９４】  制御部１１１は、カメラ１２０から入力された術野画像Ｉａに対して明るさ判定を行う。制御部１１１は、例えば、術野画像ＩａをＨＳＶに変換し、変換により得られた各ピクセルのＶ値が所定の範囲外にある場合には、術野画像Ｉａが明るさ不足もしくは明る過ぎであることを表示部１１３に表示する。制御部１１１は、例えば、得られた各ピクセルのＶ値が所定の範囲内にある場合には、ピント判定を実施する。制御部１１１は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。情報処理装置１１０（制御部１１１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像Ｉａをサーバ装置１３０に送信する。
【００９５】  サーバ装置１３０がカメラ付き情報処理装置１６０から術野画像Ｉａを受信すると、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２が変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃをカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、受信したＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。
【００９６】  カメラ付き情報処理装置１６０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、カメラ付き情報処理装置１６０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。
【００９７】  なお、カメラ付き情報処理装置１６０（制御部１１１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、カメラ付き情報処理装置１６０（制御部１１１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。
【００９８】  カメラ付き情報処理装置１６０（制御部１１１）は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、マーカＭｃを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、術野の像にマーカＭｃが重ね合わされた画像を視認する。つまり、接眼部２５２は、マーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。
【００９９】  左右眼識別システム７００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部２５２を介して見える視野（術野）の像を参照しながら、カメラ１２０の撮像領域を微調整する。カメラ付き情報処理装置１６０（制御部１１１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、カメラ付き情報処理装置１６０（制御部１１１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２７に示した像が重ね合わされた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。
【０１００】  一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、カメラ付き情報処理装置１６０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを意味する情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２８に示した像が重ね合わされた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。
【０１０１】  カメラ付き情報処理装置１６０（制御部１１１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０内の左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲをカメラ付き情報処理装置１６０に送信する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２９または図３０に示した像が重ね合わされた画像を視認する。
【０１０２】  医療従事者は、接眼部２５２を介して見える視野（術野）の像内の識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。
【０１０３】  カメラ付き情報処理装置１６０（制御部１１１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較する。カメラ付き情報処理装置１６０（制御部１１１）は、その比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、比較結果ＣＲと、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、図３２に示したように、比較結果ＣＲと、識別結果ＤＲと、ステータスＳＴと、マーカＭｃとを、接眼部２５２を介して見える視野（術野）の像内に視認する。
【０１０４】［効果］
次に、本実施の形態に係る左右眼識別システム７００の効果について説明する。
【０１０５】  本実施の形態では、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本実施の形態では、取得された位置情報に基づいて生成したマーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。これにより、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【０１０６】  また、本実施の形態では、医療従事者用顕微鏡２５０において、識別結果ＤＲが、観察光学系によって形成される、術野の像に重ね合わせて表示される。また、本実施の形態では、医療従事者用顕微鏡２５０において、マーカＭｃとともに、識別結果ＤＲが、観察光学系によって形成される、術野の像に重ね合わせて表示される。これにより、見過ごしの無い確実な確認作業を行うことができる。
【０１０７】  また、本実施の形態では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【０１０８】  また、本実施の形態では、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域からはみ出している場合には、マーカＭｃと、マーカＭｃが所定の領域からはみ出していることを意味する情報（例えば、ステータスＳＴ）とを含む画像が、観察光学系によって形成される、術野の像に重ね合わされる。これにより、医療従事者に対して、カメラ１２０の撮像領域の微調整が必要なことを確実に知らせることができる。
【０１０９】  また、本実施の形態では、マーカＭｃが術野画像Ｉａにおける所定の領域内に収まっているときに得られた術野画像Ｉａをサーバ装置１３０に送信した後、左右眼の識別結果をサーバ装置１３０から受信するネットワークＩＦ１１５がカメラ付き情報処理装置１６０に設けられている。これにより、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２や左右眼識別学習モデル１３３などで行われる負荷の大きな処理を、カメラ付き情報処理装置１６０とは別の装置（サーバ装置１３０）に担わせることができる。その結果、例えば、手術室ごとに設置した各カメラ付き情報処理装置１６０が１つのサーバ装置１３０を共有することができるので、左右眼識別システム７００を手術室ごとに設置する場合と比べて、左右眼識別システム７００の設置コストを低減することができる。
【０１１０】＜５．第２の実施の形態の変形例＞
次に、第２の実施の形態に係る左右眼識別システム７００の変形例について説明する。
【０１１１】［［変形例Ｅ］］
図３４は、第２の実施の形態に係る左右眼識別システム７００の機能ブロックの一変形例を表したものである。本変形例に係るカメラ付き情報処理装置１６０は、メモリ１１２に、プログラム１１２Ａの代わりに、プログラム１１２Ｂを記憶している。本変形例に係るサーバ装置１３０は、メモリ１３４に、さらに、プログラム１３４Ｄを記憶している。
【０１１２】  プログラム１１２Ｂは、カメラ付き情報処理装置１６０を左右眼識別システム１００におけるユーザーインターフェースとして機能させるための手順を制御部１１１に実行させる。プログラム１３４Ｄは、術野に含まれる眼の種類（左眼または右眼）を識別するための一連の手順を制御部１３１に実行させる。
【０１１３】（左右眼識別）
図３５は、本変形例に係る左右眼識別システム７００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ｂ，１３４Ｄの起動を指示する。すると、カメラ付き情報処理装置１６０（制御部１１１）は、メモリ１１２からプログラム１１２Ｂを読み出して、制御部１１１にロードする。プログラム１１２Ｂがロードされた制御部１１１は、カメラ付き情報処理装置１６０を左右眼識別システム７００におけるユーザーインターフェースとして機能させるための手順を実行する。サーバ装置１３０（制御部１３１）は、メモリ１３４からプログラム１３４Ｄを読み出して、制御部１３１にロードする。プログラム１３４Ｄがロードされた制御部１３１は、左右眼の識別をするための一連の手順を実行する。
【０１１４】  具体的には、まず、カメラ付き情報処理装置１６０（制御部１１１）は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを制御部１１１に出力する。
【０１１５】  カメラ付き情報処理装置１６０（制御部１１１）は、カメラ１２０から入力された術野画像Ｉａをサーバ装置１３０に送信する。サーバ装置１３０（制御部１３１）は、受信した術野画像Ｉａに対して明るさ判定を行う。サーバ装置１３０（制御部１３１）は、例えば、術野画像Ｉａの各ピクセルの明るさの平均値を導出し、導出した平均値が所定の閾値を下回る場合には、術野画像Ｉａが明るさ不足であることを表示部１１３に表示させる信号をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａが明るさ不足であることを表示部１１３に表示する。
【０１１６】  サーバ装置１３０（制御部１３１）は、例えば、導出した平均値が所定の範囲内にある場合には、ピント判定を実施する。サーバ装置１３０（制御部１３１）は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示させる信号をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０は、サーバ装置１３０からの信号に基づいて、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。サーバ装置１３０（制御部１３１）は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。
【０１１７】  Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１３１に入力する。制御部１３１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行う。制御部１３１は、例えば、図１０に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。
【０１１８】  サーバ装置１３０（制御部１３１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。サーバ装置１３０（制御部１３１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報とする。つまり、サーバ装置１３０（制御部１３１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。
【０１１９】  なお、サーバ装置１３０（制御部１３１）は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。サーバ装置１３０（制御部１３１）は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、サーバ装置１３０（制御部１３１）は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。
【０１２０】  サーバ装置１３０（制御部１３１）は、取得した位置情報をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０は、サーバ装置１３０からの位置情報をに基づいてマーカＭｃを生成した後、生成したマーカＭｃを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、マーカＭｃを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像にマーカＭｃが重ね合わされた画像を視認する。このとき、マーカＭｃの位置や大きさは、制御部１１１から投射部１１７に入射される映像信号によって規定される。つまり、接眼部２５２は、マーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。
【０１２１】  左右眼識別システム７００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部２５２を介して見える視野（術野）の像を参照しながら、カメラ１２０の撮像領域を微調整する。サーバ装置１３０（制御部１３１）は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、サーバ装置１３０（制御部１３１）は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、受信した情報を含む画像を表示するための映像信号を生成し、表示部１１３に出力する。表示部１１３は、例えば、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２７に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。
【０１２２】  一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す情報をカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、受信した情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２８に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。
【０１２３】  サーバ装置１３０（制御部１３１）は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを制御部１３１に送信する。サーバ装置１３０（制御部１３１）は、識別結果ＤＲをカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２９または図３０に示した像を重ね合わせた画像を視認する。
【０１２４】  医療従事者は、接眼部２５２を介して見える視野（術野）の像内の識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。
【０１２５】  サーバ装置１３０（制御部１３１）は、さらに、例えば、メモリ１３４に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較し、その比較結果ＣＲをカメラ付き情報処理装置１６０に送信する。カメラ付き情報処理装置１６０（制御部１１１）は、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図３１に示した像を重ね合わせた画像を視認する。
【０１２６】  本変形例では、サーバ装置１３０において、識別対象である眼を含む術野画像Ｉａから得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報が取得される。さらに、本変形例では、取得された位置情報がカメラ付き情報処理装置１６０に送信される。これにより、カメラ付き情報処理装置１６０において、位置情報に基づいたマーカＭｃを術野の像に重ね合わせて表示することができるので、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが観察光学系によって形成される、術野の像における所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【０１２７】  また、本変形例では、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、Ｓｅｇｍｅｎｔａｔｉｏｎ画像ＩｃからＤｅｔｅｃｔｉｏｎ画像Ｉｄが切り出された後、切り出されたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報が、識別対象である眼、もしくは識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報となる。これにより、術野画像Ｉａに対して、単純に物体検出を行い、それにより得られたＤｅｔｅｃｔｉｏｎ画像に基づいて、識別対象である眼の、術野画像Ｉａにおける位置情報を導出した場合と比べて、マーカＭｃの中に、左右眼の識別を容易にする要素（例えば涙丘１２や目頭）を確実に含ませることができる。その結果、医療従事者が、マーカＭｃが術野画像Ｉａにおける所定の領域内に位置するようにカメラ１２０の撮像領域を調整することにより、術野画像Ｉａに写っている眼が左眼であるか、右眼であるかを左右眼識別システム１００において正しく識別することができる。従って、識別の困難な眼の種類を識別することができる。
【０１２８】［［変形例Ｆ］］
第２の実施の形態において、例えば、図３６に示したように、サーバ装置１３０が省略されるとともに、カメラ付き情報処理装置１６０がサーバ装置１３０の機能を備えていてもよい。このとき、カメラ付き情報処理装置１６０は、例えば、図３７に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２、左右眼識別学習モデル１３３を備えるとともに、複数の画像データ１３４Ａ、複数の画像データ１３４Ｂおよび複数の手術データ１３４Ｃをメモリ１１２に記憶している。
【０１２９】（左右眼識別）
図３８は、本変形例に係る左右眼識別システム７００における左右眼識別手順の一例を表す流れ図である。まず、ユーザは、入力部１１４を介して、左右眼識別の開始を指示する。ユーザは、例えば、入力部１１４を介して、プログラム１１２Ａの起動を指示する。すると、カメラ付き情報処理装置１６０（制御部１１１）は、メモリ１１２からプログラム１１２Ａを読み出して、制御部１１１にロードする。プログラム１１２Ａがロードされた制御部１１１は、左右眼の識別をするための一連の手順を実行する。
【０１３０】  具体的には、まず、制御部１１１は、撮像指示をカメラ１２０に出力する。カメラ１２０は、撮像指示に従ってドレープ６００の開口内を撮像し、それにより得られた術野画像Ｉａを制御部１１１に送信する。
【０１３１】  制御部１１１は、受信した術野画像Ｉａに対して明るさ判定を行う。制御部１１１は、例えば、術野画像Ｉａの各ピクセルの明るさの平均値を導出し、導出した平均値が所定の閾値を下回る場合には、術野画像Ｉａが明るさ不足であることを表示部１１３に表示する。
【０１３２】  制御部１１１は、例えば、導出した平均値が所定の閾値以上の場合には、ピント判定を実施する。制御部１１１は、例えば、術野画像Ｉａに対してラプラシアン微分を行い、それにより得られたスコアが所定の閾値を下回る場合には、術野画像Ｉａのピントがずれていることを表示部１１３に表示する。制御部１１１は、例えば、導出したスコアが所定の閾値以上の場合には、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２に入力する。
【０１３３】  Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、術野画像Ｉａが入力されると、変換プロセスを実行する。具体的には、Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、学習結果を利用して、術野画像ＩａをＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに変換する（図６参照）。Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル１３２は、変換により得られたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃを制御部１３１に入力する。制御部１１１は、入力されたＳｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して、物体検出を行う。制御部１１１は、例えば、図８に示したように、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃから、眼領域Ｒａを含む矩形状の領域（例えば、眼領域Ｒａに接する矩形状の領域）を切り出す。このようにして得られた画像を、Ｄｅｔｅｃｔｉｏｎ画像Ｉｄとする。
【０１３４】  制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報とする。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの外縁部分の、術野画像Ｉａにおける位置情報をマーカＭｃの位置情報とする。つまり、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼を含む領域の、術野画像Ｉａにおける位置情報を取得する。
【０１３５】  なお、制御部１１１は、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの、術野画像Ｉａにおける位置情報を、識別対象である眼の、術野画像Ｉａにおける位置情報としてもよい。制御部１１１は、例えば、得られたＤｅｔｅｃｔｉｏｎ画像Ｉｄの眼領域Ｒａの外縁部分の、術野画像Ｉａにおける位置情報を、マーカＭｃの位置情報としてもよい。この場合、制御部１１１は、Ｓｅｇｍｅｎｔａｔｉｏｎ画像Ｉｃに対して物体検出を行うことにより、識別対象である眼の、術野画像Ｉａにおける位置情報を取得する。
【０１３６】  制御部１１１は、取得した位置情報に基づいてマーカＭｃを生成した後、生成したマーカＭｃを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、マーカＭｃを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像にマーカＭｃが重ね合わされた画像を視認する。このとき、マーカＭｃの位置や大きさは、制御部１１１から投射部１１７に入射される映像信号によって規定される。つまり、接眼部２５２は、マーカＭｃを、観察光学系によって形成される、術野の像に重ね合わせて表示する。
【０１３７】  左右眼識別システム１００は、上述した撮像指示からマーカＭｃ表示までの一連の手順を定期的に行う。このとき、医療従事者は、接眼部２５２を介して見える視野（術野）の像を参照しながら、カメラ１２０の撮像領域を微調整する。制御部１１１は、例えば、上述した撮像指示からマーカＭｃ表示までの一連の手順を実行するたびに、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出しているか否かを判定する。その結果、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出している場合には、制御部１１１は、例えば、術野画像ＩａにおいてマーカＭｃの位置が所定の領域からはみ出していることを意味する情報を含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２７に示した像を重ね合わせた画像を視認する。なお、制御部１１１は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域から外れていることを医療従事者に知らせてもよい。
【０１３８】  一方、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内にあることを示す情報を含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを意味する情報と、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に図２８に示した像を重ね合わせた画像を視認する。なお、カメラ付き情報処理装置１６０（制御部１１１）は、接眼部２５２を介して見える視野（術野）にマーカＭｃを表示する以外の方法（例えば、音や、パトランプ点灯など）で、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっていることを医療従事者に知らせてもよい。
【０１３９】  制御部１１１は、術野画像ＩａにおいてマーカＭｃの位置が所定の領域内に収まっている場合には、左右眼識別学習モデル１３３に対して、左右眼識別指示を出力する。左右眼識別学習モデル１３３が左右眼識別指示を受信すると、左右眼識別学習モデル１３３が識別プロセスを実行する。具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の識別を行う。より具体的には、左右眼識別学習モデル１３３は、学習結果を利用して、Ｄｅｔｅｃｔｉｏｎ画像Ｉｂに含まれる眼の種類（左眼、右眼）を識別する。左右眼識別学習モデル１３３は、識別結果ＤＲを制御部１１１に入力する。制御部１１１は、ステータスＳＴと、識別結果ＤＲと、マーカＭｃと含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図２９または図３０に示した像を重ね合わせた画像を視認する。
【０１４０】  医療従事者は、接眼部２５２を介して見える視野（術野）の像内の識別結果ＤＲを見ることで、ドレープ６００の開口６１０内に露出している眼が右眼か左眼か、ひいては手術対象の眼であるか否かを確認することができる。このようにして、左右眼識別が行われる。
【０１４１】  制御部１１１は、さらに、例えば、メモリ１１２に記憶された複数の手術データ１３４Ｃの中から、患者４００に該当する手術データ１３４Ｃを読み出し、読み出したおよび手術データ１３４Ｃに含まれる術眼と、識別結果ＤＲとを比較する。制御部１１１は、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成するための映像信号を生成し、投射部１１７に出力する。投射部１１７は、制御部１１１からの映像信号に基づいて、ステータスＳＴと、比較結果ＣＲと、識別結果ＤＲと、マーカＭｃとを含む映像光を生成し、接眼部２５２に出射する。その結果、接眼部２５２に入射された映像光と、術野から観察光学系を導光する光とが、接眼部２５２において合成され、医療従事者の眼に入射する。その結果、医療従事者は、例えば、術野の像に、図３１に示した像を重ね合わせた画像を視認する。
【０１４２】  本変形例では、カメラ付き情報処理装置１６０が上記第２の実施の形態に係るサーバ装置１３０の機能を備えている。これにより、カメラ付き情報処理装置１６０を用意するだけで、左右眼識別を行うことができる。従って、サーバ装置１３０が不要な分だけ、左右眼識別システム７００を設置する手間を削減することができる。
【０１４３】  以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明は実施の形態等に限定されるものではなく、種々変形が可能である。実施の形態等では、本発明は眼の手術に適用されていたが、識別の困難な対象物を識別する必要のある分野に好適に適用可能である。なお、本明細書中に記載された効果は、あくまで例示である。本発明の効果は、本明細書中に記載された効果に限定されるものではない。本発明が、本明細書中に記載された効果以外の効果を持っていてもよい。
【符号の説明】
【０１４４】  １０…眼、１１…眼球、１２…涙丘、１００…左右眼識別システム、１１０…情報処理装置、１１０Ａ…表示面、１１１…制御部、１１２…メモリ、１１２Ａ，１１２Ｂ…プログラム、１１３…表示部、１１４…入力部、１１５，１１６…ネットワークＩＦ、１１７…投射部、１２０…カメラ、１３０…サーバ装置、１３１…制御部、１３２…Ｓｅｇｍｅｎｔａｔｉｏｎ学習モデル、１３３…左右眼識別学習モデル、１３４…メモリ、１３４Ａ，１３４Ｂ…画像データ、１３４Ｃ…手術データ、１３４Ｄ…プログラム、１３５…ネットワークＩＦ、１４０，１５０…ネットワーク、１６０…カメラ付き情報処理装置、２００…眼科手術用顕微鏡システム、２１０…支柱、２２０…第１アーム、２３０…第２アーム、２４０…駆動装置、２５０…医療従事者用顕微鏡、２５１…鏡筒部、２５２…接眼部、２６０…フットスイッチ、３００…手術台、４００…患者、５００…シーツ、６００…ドレープ、６１０…開口、７００…左右眼識別システム、ＣＲ…比較結果、ＤＲ…識別結果、Ｉａ…術野画像、Ｉｂ…Ｄｅｔｅｃｔｉｏｎ画像、Ｉｃ…Ｓｅｇｍｅｎｔａｔｉｏｎ画像、Ｉｄ…Ｄｅｔｅｃｔｉｏｎ画像、Ｍｃ…マーカ、Ｒａ…眼領域、Ｒｂ…周辺領域、ＳＴ…ステータス。
【図１】
2020137103.tif 000003
【図２】
2020137103.tif 000004
【図３】
2020137103.tif 000005
【図４】
2020137103.tif 000006
【図５】
2020137103.tif 000007
【図６】
2020137103.tif 000008
【図７】
2020137103.tif 000009
【図８】
2020137103.tif 000010
【図９】
2020137103.tif 000011
【図１０】
2020137103.tif 000012
【図１１】
2020137103.tif 000013
【図１２】
2020137103.tif 000014
【図１３】
2020137103.tif 000015
【図１４】
2020137103.tif 000016
【図１５】
2020137103.tif 000017
【図１６】
2020137103.tif 000018
【図１７】
2020137103.tif 000019
【図１８】
2020137103.tif 000020
【図１９】
2020137103.tif 000021
【図２０】
2020137103.tif 000022
【図２１】
2020137103.tif 000023
【図２２】
2020137103.tif 000024
【図２３】
2020137103.tif 000025
【図２４】
2020137103.tif 000026
【図２５】
2020137103.tif 000027
【図２６】
2020137103.tif 000028
【図２７】
2020137103.tif 000029
【図２８】
2020137103.tif 000030
【図２９】
2020137103.tif 000031
【図３０】
2020137103.tif 000032
【図３１】
2020137103.tif 000033
【図３２】
2020137103.tif 000034
【図３３】
2020137103.tif 000035
【図３４】
2020137103.tif 000036
【図３５】
2020137103.tif 000037
【図３６】
2020137103.tif 000038
【図３７】
2020137103.tif 000039
【図３８】
2020137103.tif 000040