(57)【要約】【課題】複数ユーザで画像を共有して手術を進める際の相互のコミュニケーションを円滑にすることの可能な情報処理装置を提供する。【解決手段】頭部装着ディスプレイを装着するユーザのユーザ属性に基づいて、頭部装着ディスプレイの表示領域にユーザの指定位置に応じて表示されるポインタのポインタ属性を変更する処理部を備える、情報処理装置が提供される。【選択図】図１
2016158000.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着ディスプレイを装着するユーザのユーザ属性に基づいて、前記頭部装着ディスプレイの表示領域にユーザの指定位置に応じて表示されるポインタのポインタ属性を変更する処理部を備える、情報処理装置。
【請求項２】
前記処理部は、複数のユーザがそれぞれ装着する頭部装着ディスプレイの表示領域に、前記ユーザ間で共有される同一の画像と、前記複数のユーザのうち少なくとも一部のユーザのポインタとを表示させる、請求項１に記載の情報処理装置。
【請求項３】
前記処理部は、前記ユーザ間のユーザ属性の関係に基づいて、他のユーザのポインタの表示可否が決定される、請求項２に記載の情報処理装置。
【請求項４】
前記処理部は、前記ユーザ間のユーザ属性の関係に基づいて、他のユーザのポインタの操作可否を決定する、請求項２に記載の情報処理装置。
【請求項５】
前記ユーザ間で共有される同一の画像は、医療用画像である、請求項２に記載の情報処理装置。
【請求項６】
前記ユーザ属性は、ユーザの権限情報である、請求項１に記載の情報処理装置。
【請求項７】
前記ユーザの権限情報は、医療従事者の間での権限情報である、請求項６に記載の情報処理装置。
【請求項８】
前記ユーザ属性は、生体認証により取得される、請求項１に記載の情報処理装置。
【請求項９】
前記ユーザ属性は、近距離無線通信により取得される、請求項１に記載の情報処理装置。
【請求項１０】
前記ポインタ属性は、ポインタの表示形式情報である、請求項１に記載の情報処理装置。
【請求項１１】
前記ポインタの表示形式情報は、ポインタの形状又は色に関する情報である、請求項１０に記載の情報処理装置。
【請求項１２】
前記ユーザの指定位置は、前記ユーザの視線により決定される、請求項１に記載の情報処理装置。
【請求項１３】
前記ユーザの指定位置は、前記ユーザのジェスチャにより決定される、請求項１に記載の情報処理装置。
【請求項１４】
頭部装着ディスプレイを装着するユーザのユーザ属性を取得すること、
前記ユーザ属性に基づいて、前記頭部装着ディスプレイの表示領域に、ユーザの指定位置に応じて表示されるポインタのポインタ属性を変更すること、
とを含む、情報処理方法。
【請求項１５】
頭部装着ディスプレイと、
前記頭部装着ディスプレイを装着するユーザのユーザ属性に基づいて、前記頭部装着ディスプレイの表示領域にユーザの指定位置に応じて表示されるポインタのポインタ属性を変更する処理部と、
を備える、情報処理システム。
【請求項１６】
前記頭部装着ディスプレイは視線センサを有する、請求項１５に記載の情報処理システム。
【請求項１７】
前記頭部装着ディスプレイはジェスチャセンサを有する、請求項１５に記載の情報処理システム。
【請求項１８】
患部を撮像する撮像装置をさらに備える、請求項１５に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及び情報処理システムに関する。
【背景技術】
【０００２】
ユーザが装着して使用するウェアラブル端末の１つとして、ヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ、頭部装着ディスプレイ；以下「ＨＭＤ」とする。）がある。ＨＭＤは、ユーザの頭部に装着して使用する表示装置であり、近年、ＡＶ機器やコンピュータゲーム等の表示装置の他、作業環境において作業しながらユーザが情報を確認するための表示装置としても使用されている。【０００３】
医療現場においては、例えば、内視鏡の映像を映し出すための表示装置としてＨＭＤが使用されている。術者は、ＨＭＤを装着し、ＨＭＤに映し出された映像を見ながら手術を行う。これまで内視鏡の映像は術者の近くに設置されたモニタに表示されるのが一般的であったため、術者はモニタと患部との間で視線を頻繁に動かす必要があった。内視鏡の映像をＨＭＤに映し出すことにより、術者は視線を大きく動かすことなくＨＭＤの表示部に表示された内視鏡の映像と患部とを確認することが可能となる。【０００４】
ここで、手術室内で複数のユーザがＨＭＤを使用する場合、ユーザ間で円滑にコミュニケーションを図ることができることが望ましい。例えば、ＨＭＤを装着する複数のユーザ間で同一の画像（以下、「共有画像」ともいう。）を共通する場合、共有画像中の特定部分を指し示すポインタを表示することで、他のユーザに対して適切に指示することが可能となる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１１７０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、共有画像を見ている複数のユーザのポインタを各ユーザのＨＭＤの表示領域にすべて表示させると、どのポインタがどのユーザに紐付いているのか把握が困難であり、ユーザ間の意思疎通が困難となる。一方で、例えば表示領域に表示されるポインタを各ユーザが容易に操作可能とすると、操作すべきポインタの区別が困難であり、かつ、操作すべきでないポインタを操作してしまう可能性もある。【０００７】
そこで、本開示は、複数ユーザで画像を共有して手術を進める際の相互のコミュニケーションを円滑とすることの可能な、新規かつ改良された情報処理装置、情報処理方法及び情報処理システムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、頭部装着ディスプレイを装着するユーザのユーザ属性に基づいて、頭部装着ディスプレイの表示領域にユーザの指定位置に応じて表示されるポインタのポインタ属性を変更する処理部を備える、情報処理装置が提供される。【０００９】
また、本開示によれば、頭部装着ディスプレイを装着するユーザのユーザ属性を取得すること、ユーザ属性に基づいて、頭部装着ディスプレイの表示領域に、ユーザの指定位置に応じて表示されるポインタのポインタ属性を変更することとを含む、情報処理方法が提供される。【００１０】
また、本開示によれば、頭部装着ディスプレイと、頭部装着ディスプレイを装着するユーザのユーザ属性に基づいて、頭部装着ディスプレイの表示領域にユーザの指定位置に応じて表示されるポインタのポインタ属性を変更する処理部と、を備える、情報処理システムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、複数ユーザで画像を共有して手術を進める際の相互のコミュニケーションを円滑とすることが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】ＨＭＤを装着する複数のユーザにより内視鏡手術を行う様子を示す説明図である。
【図２】本開示の一実施形態に係る情報処理システムを構成するＨＭＤおよびプロセッサユニットの機能構成を示す機能ブロック図である。
【図３】同実施形態に係るポインタ表示処理を示すフローチャートである。
【図４】ポインタの表示形式の他の例を示す説明図である。
【図５】ポインタ近傍に付加情報を表示させた例を示す説明図である。
【図６】同実施形態に係るポインタ操作処理を示すフローチャートである。
【図７】同実施形態に係るポインタ操作処理を説明する説明図である。
【図８】ペイント機能を備える場合のＨＭＤの表示例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．概要
２．構成
２．１．ＨＭＤ
２．２．プロセッサユニット
３．表示制御処理
３．１．ポインタ表示処理
３．２．ポインタ操作処理
【００１５】
＜１．概要＞
まず、図１を参照して、本開示の一実施形態に係る情報処理装置により行われる処理の概要について説明する。なお、図１は、ＨＭＤ１００を装着する複数のユーザにより内視鏡手術を行う様子を示す説明図である。
【００１６】
術者がＨＭＤ１００を装着して行う内視鏡手術では、例えば図１に示すように、ＨＭＤ１００の表示部には内視鏡装置により撮像された患部の様子の画像３００が表示され、術者は、表示された画像３００を視認しながら手術する。ＨＭＤ１００のユーザＰ１〜Ｐ３である各術者が画像３００を共有して観察しているとき、図１に示すように、各ユーザが操作可能なポインタ３１１、３１２、３１３を表示させることで、それぞれ画像３００中の特定部分を指し示すことが可能となる。本実施形態において、ポインタ３１１、３１２、３１３は、例えば、対応するユーザの視線やジェスチャ等の非接触の操作手法によって操作される。医療現場においては、ＨＭＤ１００を非接触で操作可能であり、作業の妨げにもなりにくいことから、視線やジェスチャ等による操作入力は有効である。
【００１７】
ここで、画像中に複数のポインタが表示される場合、各ポインタの表示がすべて同一であると、自分が操作可能なポインタがどれであるか分かり難く、スムーズな作業を行うことができない。そこで、本実施形態に係る情報処理装置は、ユーザＰ１〜Ｐ３のユーザ属性に応じて、対応するポインタ３１１、３１２、３１３のポインタ属性を変更する。ここで、ユーザ属性とは、ＨＭＤを使用するユーザを識別するためのユーザ識別情報であって、ユーザのＩＤや所属、職種、階級等の情報を含む。また、ポインタ属性とは、形状や色等のポインタ表示に関する仕様を表す情報である。
【００１８】
例えば、図１に示すように、ユーザ属性に応じて、画像３００中に表示されたポインタ３１１、３１２、３１３の色を異ならせる。これにより、ユーザＰ１〜Ｐ３は自分が操作可能なポインタを明確に認識できるとともに、他のポインタがどのユーザによって操作されているものかを明確に認識することができる。このとき、表示されているポインタの近傍に、ユーザ名等のポインタの操作者を特定できる付加情報を表示させてもよい。
【００１９】
また、本実施形態に係る情報処理装置は、ユーザ属性に含まれる権限情報に応じて、他のユーザのポインタを操作可能としてもよい。権限情報は、他のユーザのポインタの操作可否を表す情報である。例えば、自身より下位の権限を有するユーザのポインタは操作可能としてもよい。これにより、上位の権限を有するユーザが、下位の権限を有するユーザのポインタを操作して、下位の権限を有するユーザに直接的に作業の指示や指導を行うことができる。以下、本実施形態に係るＨＭＤ１００の構成と、それによる処理について、詳細に説明する。
【００２０】
＜２．構成＞
まず、図２に基づいて、情報処理システム１を構成するＨＭＤ１００及びプロセッサユニット２００の構成について説明する。なお、図２は、本実施形態に係る情報処理システム１を構成するＨＭＤ１００およびプロセッサユニット２００の機能構成を示す機能ブロック図である。なお、図２では、ＨＭＤ１００の表示部の表示制御を行う際に機能する機能部を示しており、実際には、他の機能部を備えているものとする。プロセッサユニット２００は、ＨＭＤ１００への操作入力に基づき、ＨＭＤ１００の表示制御を行う表示制御装置として機能する。
【００２１】
［２．１．ＨＭＤ］
ＨＭＤ１００は、例えば内視鏡装置等の外部機器からの入力映像等の情報を表示する表示装置である。ＨＭＤ１００は、例えばゴーグル形状の非透過型のＨＭＤであって、ユーザが頭部に装着した状態で使用される。ＨＭＤ１００は、当該ＨＭＤ１００の装着者に情報を提示する表示部を備える本体部と、本体部を頭部に固定させるための上部固定部および後部固定部とからなる。固定部で装着者の頭部に固定されると、本体部の表示部が装着者の左右の眼の前に位置するようになる。
【００２２】
本体部は、装着者の両眼を覆う部位である。本体部は、例えば装着者の左右のこめかみ付近まで覆うように構成されてもよい。このような形状とすることで、装着時に装着者の眼前をほぼ完全に被覆することができ、装着者の眼に外光が入射せずより画像を見やすくすることができる。本体部の側部には、例えば周辺環境を撮影するためのカメラを備えてもよい。これにより、ＨＭＤ１００の装着者は、プロセッサユニット２００を介して内視鏡装置等から提供される情報以外に、ＨＭＤ１００を装着していないときに見える周辺環境の情報も認識できるようになる（ビデオシースルー）。
【００２３】
本体部の内部には、第１の表示部に左眼用画像を提示する第１の表示素子（図２の符号１３２）と、第２の表示部に右眼用画像を提示する第２の表示素子（図２の符号１３４）とが設けられている。各表示素子は、例えばプロセッサユニット２００より提供される内視鏡装置の画像や、本体部のカメラにより撮像された画像等を提示する。また、本体部には、プロセッサユニット２００との情報の送受信を行うため、プロセッサユニット２００に接続されるケーブル（図示せず。）が設けられている。ＨＭＤ１００とプロセッサユニット２００との情報通信は、有線通信であってもよく、無線通信であってもよい。
【００２４】
ＨＭＤ１００の表示部に表示される情報は、例えば、装着者が足で踏み入力操作を行うフットスイッチ等のリモートコントローラ１０２や、ＨＭＤ１００の装着者の視線、ジェスチャ等より操作可能である。リモートコントローラ１０２からの入力情報や、視線検出機能により取得された装着者の視線方向やジェスチャ検出機能により取得された装着者のジェスチャ等の入力情報は、プロセッサユニット２００へ出力される。
【００２５】
ＨＭＤ１００の表示処理機能についてみると、図２に示すように、ＨＭＤ１００は、ディスプレイポート１１０と、画像生成部１２０と、表示素子１３２、１３４と、センサ部１４０と、を備える。
【００２６】
ディスプレイポート１１０は、プロセッサユニット２００からの入力情報を受けるインタフェースである。ディスプレイポート１１０には、プロセッサユニット２００との情報通信を可能にするケーブルが接続される。ディスプレイポート１１０には、例えば表示素子１３２、１３４へそれぞれ出力する画像信号や、ＨＭＤ１００の装着者が視認している情報が入力される。ディスプレイポート１１０から入力された情報は、画像生成部１２０へ出力される。
【００２７】
画像生成部１２０は、プロセッサユニット２００を介して取得された情報に基づき、表示素子１３２、１３４へそれぞれ出力する画像信号を生成する。装着者に提示する画像が３Ｄ画像である場合には、画像生成部１２０は、第１の表示素子１３２へ出力される左眼用画像信号と第２の表示素子１３４へ出力される右眼用画像信号とにずれを生じさせるずらし処理を行う。ずらし処理では、例えば表示素子１３２、１３４と装着者の眼との距離や装着者の眼の間隔、虚像位置等に応じて、左眼用画像信号と右眼用画像信号とのずらし量が決定される。画像生成部１２０は、生成した画像信号を、第１の表示素子１３２および第２の表示素子１３４へ出力する。
【００２８】
また、画像生成部１２０は、後述する視線センサ１４２あるいはジェスチャセンサ１４６の検出結果に基づいて、ポインタ画像信号を生成する。ポインタ画像信号は、ユーザにより指定された指定位置を示すポインタを、表示領域に表示させるための信号である。画像生成部１２０は、共有画像を観察している複数のユーザのポインタ画像に関する情報が入力された場合には、他のユーザのポインタ画像信号も生成する。画像生成部１２０は、プロセッサユニット２００からの情報に基づき生成された画像信号に、ポインタ画像信号を重畳して、表示素子１３２、１３４へ出力する。
【００２９】
表示素子１３２、１３４は、画像生成部１２０から入力される画像信号に基づいて、表示部に向かって画像光を出射する。表示素子１３２、１３４は、例えばＨＭＤ１００の装着時に装着者の顔の前後方向に表示部と対向するように配置される。これにより、表示素子１３２、１３４から出射される画像光の光軸は、装着者が正面を向いたときの視線の方向と略平行になる。
【００３０】
表示素子１３２、１３４は、例えば有機ＥＬ（Electroluminescence）素子で構成される。表示素子１３２、１３４として有機ＥＬ素子を採用することで、小型で、高コントラスト、迅速な応答性等を実現することができる。表示素子１３２、１３４は、例えば複数の赤色有機ＥＬ素子、緑色有機ＥＬ素子、青色有機ＥＬ素子等がマトリクス状に配置された構成を有する。これらの各素子は、アクティブマトリクス型、あるいはパッシブマトリクス型等の駆動回路によって駆動されることで、それぞれ所定のタイミング、輝度等にて自発光する。この駆動回路が画像生成部１２０で生成された画像信号に基づいて制御されることで、表示素子１３２、１３４には全体として所定の画像が表示され、表示部を介して装着者に画像が提供される。
【００３１】
なお、表示素子１３２、１３４と表示部との間には、光学系として、例えば複数の接眼レンズ（図示せず。）をそれぞれ配置させてもよい。これらの接眼レンズと装着者の眼とを所定距離で対向させることにより、装着者に対し、画像が所定位置（虚像位置）に表示されるように見える虚像を観察させることが可能となる。このような虚像を提示することで、３Ｄ画像を提供することができる。なお、虚像位置及び虚像の大きさは、表示素子１３２、１３４及び光学系の構成等によって設定される。
【００３２】
センサ部１４０は、ＨＭＤ１００において各種情報を取得する各種センサから構成される。例えば、ＨＭＤ１００に設けられるセンサとしては、視線センサ１４２、虹彩センサ１４４、ジェスチャセンサ１４６等がある。
【００３３】
視線センサ１４２は、ＨＭＤ１００を装着するユーザの視線方向を検出する。視線センサ１４２は、ＨＭＤ１００の本体部の、装着者の眼前と対向する側に設けられる。視線センサ１４２は、例えば、装着者の眼球に赤外帯域の光（赤外光）を照射する光源と、装着者の眼球を撮影する撮像部とからなる。視線センサ１４２は、表示部の表示面を観察する装着者の眼球に対して光源から光を照射し、撮像部により光が照射された眼球を撮影する。視線センサ１４２の撮像部により撮影された撮影画像は、プロセッサユニット２００へ出力される。
【００３４】
虹彩センサ１４４は、ＨＭＤ１００を装着するユーザの眼球の虹彩を検出する。虹彩センサ１４４は、例えば、ＣＭＯＳやＣＣＤ等の撮像素子と、撮像された眼球の画像から虹彩画像を取得し、極座標変換、特徴抽出を行い、虹彩認証を行うための虹彩認証情報を演算する演算処理部とからなる。虹彩センサ１４４により取得される虹彩認証情報は、ＨＭＤ１００を装着するユーザのユーザ属性を表すユーザ識別情報を取得するために用いられる。虹彩センサ１４４は、例えば、ユーザがＨＭＤ１００を装着したことが検知されたとき、自動的に作動してもよい。
【００３５】
ジェスチャセンサ１４６は、ＨＭＤ１００を装着するユーザが行うジェスチャを検出する。ジェスチャセンサ１４６は、例えばＨＭＤ１００の本体部に、外界を検出するように設けられる。ジェスチャセンサ１４６は、例えば３Ｄモーションセンサ等である。ジェスチャセンサ１４６は、当該センサを基準として検出した物体の位置を表す３次元情報を取得し、プロセッサユニット２００へ出力する。
【００３６】
［２．２．プロセッサユニット］
プロセッサユニット２００は、当該プロセッサユニット２００に接続された機器を制御する制御装置である。プロセッサユニット２００には、例えば図１に示すユーザＰ１〜Ｐ３が装着する各ＨＭＤ１００のうち１または複数のＨＭＤ１００や、内視鏡装置等の外部機器、不特定のユーザが情報を見るためのディスプレイ等が接続される。例えば、プロセッサユニット２００は、外部機器から入力された情報を、ＨＭＤ１００の表示部やディスプレイに表示可能な情報に処理し、各表示装置へ出力する。また、プロセッサユニット２００は、各ＨＭＤ１００のリモートコントローラや視線検出機能、ジェスチャ検出機能からの操作入力に基づいて、ＨＭＤ１００の表示部に表示する情報を切り替える。
【００３７】
次いで、プロセッサユニット２００の表示処理機能についてみる。プロセッサユニット２００は、図２に示すように、画像入力部２１１と、検出情報入力部２１２と、検出情報処理部２１３と、画像処理部２１４と、表示制御部２１５と、出力部２１６と、操作入力部２１７と、設定記憶部２１８と、を備える。
【００３８】
画像入力部２１１は、外部機器からプロセッサユニット２００に入力される画像を受けるインタフェースである。図２の例では、外部機器として内視鏡装置１０が示されており、このとき画像入力部２１１には、内視鏡装置１０のカメラ（図示せず。）により患部が撮像された画像が入力される。画像入力部２１１は、入力された画像を画像処理部２１４へ出力する。なお、画像入力部２１１には、内視鏡装置１０により取得される患部が撮像された画像のような医療用画像として、例えば、顕微鏡により取得される顕微鏡画像や超音波検査装置により取得される超音波画像等が入力されてもよい。これらの医療用画像は、ＨＭＤ１００を装着する複数のユーザ間で共有される同一の画像として利用してもよい。また、画像入力部２１１には、例えば、生体情報モニタから血圧、体温、脈拍数、呼吸速度等のバイタルサイン情報等が入力されてもよい。
【００３９】
検出情報入力部２１２は、プロセッサユニット２００に接続されているＨＭＤ１００のセンサ部１４０から検出情報が入力されるインタフェースである。検出情報入力部２１２に入力された検出情報は、検出情報処理部２１３へ出力される。
【００４０】
検出情報処理部２１３は、プロセッサユニット２００に接続されているＨＭＤ１００から入力された検出情報に基づいて、ユーザ識別情報を取得するための演算処理を行う。まず、検出情報処理部２１３は、虹彩センサ１４４により取得された虹彩認証情報に基づいて、虹彩認証処理を行う。虹彩認証処理では、検出情報処理部２１３は、予め記憶された各ユーザの虹彩マスタ情報と虹彩認証情報とを比較し、ユーザを特定する。認証されると、虹彩マスタ情報に関連付けられているユーザ固有の情報（例えば、ユーザＩＤ）に基づき、ユーザ属性を表す情報としてユーザ識別情報の取得が可能となる。なお、各ユーザの虹彩マスタ情報を記憶する虹彩マスタＤＢは、プロセッサユニット２００内に保持してもよく、ネットワークを介して接続可能なサーバ上にあってもよい。また、各ユーザのユーザ識別情報は、設定記憶部２１８に記憶されていてもよく、ネットワークを介して接続可能なサーバ上にあってもよい。検出情報処理部２１３は、特定されたユーザＩＤ、または、当該ユーザＩＤにより取得した各ユーザのユーザ識別情報を、画像処理部２１４へ出力する。
【００４１】
画像処理部２１４は、プロセッサユニット２００に入力された画像を、ＨＭＤ１００に表示させるための画像に処理する。画像処理部２１４では、例えば、内視鏡装置１０のカメラにより撮像された画像から、ＨＭＤ１００の第１の表示部に表示させる左眼用画像と第２の表示部に表示させる右眼用画像とを生成する。画像処理部２１４により画像処理された画像は、表示制御部２１５へ出力される。また、画像処理部２１４は、各ユーザについて、ユーザ識別情報に基づいてポインタの表示形式情報を取得してポインタ画像をそれぞれ生成し、表示制御部２１５へ出力する。
【００４２】
表示制御部２１５は、ＨＭＤ１００の表示部に表示させる情報を制御する。表示制御部２１５は、リモートコントローラ１０２あるいはセンサ部１４０の検出情報から得られた表示切替指示に基づき、指示された情報を表示するように制御する。例えば、表示切替指示に基づき、表示制御部２１５は、内視鏡装置１０の画像やビデオシースルー画像等、表示可能な情報のうちどの画像を表示させるかを決定する。表示制御部２１５は、各ＨＭＤ１００に表示させる情報およびその表示設定を決定すると、出力部２１６を介して当該情報を各ＨＭＤ１００へ情報を出力する。
【００４３】
操作入力部２１７は、ＨＭＤ１００の装着者からの操作入力を受ける入力部である。本実施形態において、ＨＭＤ１００の表示部に表示される情報は、例えばリモートコントローラ１０２によって切替可能である。リモートコントローラ１０２に対する操作入力は操作入力部２１７へ出力され、操作入力部２１７はこの操作入力情報を表示制御部２１５に出力する。表示制御部２１５は、リモートコントローラ１０２からの表示切替指示に基づき、指示された情報を、出力部２１６を介してＨＭＤ１００へ出力する。
【００４４】
設定記憶部２１８は、各ユーザ識別情報に対応するＨＭＤ１００の表示設定情報を記憶する記憶部である。設定記憶部２１８に記憶されている表示設定情報は、例えば、画質や画像の向き、画像の配置等の各種設定情報を含んで構成される。例えば、画質の設定情報は、画像の明るさや色合い等の設定値を表す情報である。画像の向きの情報は、表示部に表示される画像の表示向きを表す情報である。ここで、画像の表示向きとは、基準とする画像の表示状態に対する変化を表す。
【００４５】
また、設定記憶部２１８は、各ユーザのユーザ識別情報を記憶する。ユーザ識別情報は、ユーザＩＤとユーザの所属や職種、階級等の情報とを関連付けた情報である。また、ユーザ識別情報は、他のユーザのポインタの操作可否を表す権限情報を含む。権限情報は、ユーザの職種や階級、役割等に応じて設定される。さらに、設定記憶部２１８は、ポインタ属性として、ユーザ識別情報に含まれる少なくとも１つの情報と関連付けられた、例えば色や形状、ポインタとともに表示される表示ユーザ名等のポインタの表示形式情報を記憶する。これにより、画像処理部２１４は、ポインタの表示形式情報を参照して各ユーザのポインタ画像を生成することができる。
【００４６】
以上、本実施形態に係る情報処理システム１の構成について説明した。
【００４７】
＜３．表示制御処理＞
以下、図３〜図７に基づいて、図２に示した本実施形態に係る情報処理システム１におけるポインタの表示制御処理について説明する。
【００４８】
［３．１．ポインタ表示処理］
まず、図３〜図５に基づいて、本実施形態に係る情報処理システム１におけるポインタ表示処理について説明する。図３は、本実施形態に係るポインタ表示処理を示すフローチャートである。図４は、ポインタの表示形式の他の例を示す説明図である。図５は、ポインタ近傍に付加情報を表示させた例を示す説明図である。
【００４９】
本実施形態に係る情報処理システム１では、まずユーザがＨＭＤ１００を装着すると、ユーザの認証が行われる（Ｓ１００）。ユーザの認証は、ＨＭＤ１００の虹彩センサ１４４の検出結果に基づいて取得された虹彩認証情報により、プロセッサユニット２００の検出情報処理部２１３にて行われる。検出情報処理部２１３は、予め記憶された各ユーザの虹彩マスタ情報と虹彩認証情報とを比較してユーザを特定し、特定されたユーザのユーザＩＤを取得する。
【００５０】
次いで、ユーザが特定されると、画像処理部２１４により、ユーザ属性を表すユーザ識別情報に基づいて、当該ユーザのポインタ画像が生成される（Ｓ１１０）。画像処理部２１４は、設定記憶部２１８を参照して、入力されたユーザＩＤのポインタの表示形式情報を取得し、当該ユーザのポインタ画像を生成する。
【００５１】
ポインタの表示形式情報では、色や形状、表示ユーザ名等が規定されており、画像処理部２１４は、特定されたユーザのユーザ属性に対応するポインタの表示形式情報を特定し、ポインタ画像を生成する。ポインタの表示形式情報を決定するユーザ識別情報は、予め設定されており、例えば、ユーザ識別情報に含まれる権限情報に基づいてポインタの表示形式情報を決定してもよい。権限情報が、例えば上位、中位、下位の３段階に分かれている場合、上位の権限を有するユーザのポインタ画像は、上位の権限を有するものに対して設定されるポインタの表示形式情報に基づき作成される。なお、ポインタの表示形式情報は、権限情報がない場合やユーザ間に上下関係がない場合もあるため、権限情報に限らず、１または複数のユーザ識別情報に基づき決定してもよい。複数のユーザ識別情報を用いると、同一のポインタ画像が表示されないように設定することができる。
【００５２】
ステップＳ１１０にて生成されたポインタ画像は、ＨＭＤ１００の表示部に表示させる画像とともにＨＭＤ１００へ出力される。ＨＭＤ１００の画像生成部１２０は、入力された画像に対して所定の処理を行うとともに、センサ部１４０の検出結果からポインタ画像の表示位置を演算し、画像信号にポインタ画像信号を重畳して、表示素子１３２、１３４へ出力する。ポインタ画像の初期表示位置は、表示領域の中央等のように予め設定されていてもよく、このとき視線の向きやジェスチャ等によりユーザにより指定された指定位置であってもよい。このように、ＨＭＤ１００の表示部に、画像が表示されるとともに、当該ユーザのユーザ属性に応じた形状等のポインタが表示される。
【００５３】
ポインタの表示形式情報では、複数の色を設定して、図１に示すように同一形状（矢印）でもユーザを区別できるようにしてもよく、図４に示すように、ポインタの形状（星型、丸、四角、等）を設定して、ユーザを区別できるようにしてもよい。さらに、ユーザを具体的に示すポインタの付加情報をポインタの表示形式情報に設定してもよい。例えば、図５に示すように、ポインタ付加情報３１１ａ、３１２ａ、３１３ａとしてユーザ名を表示し、それぞれのポインタ近傍に表示させることで、より明確にユーザを区別できるようにすることができる。なお、図５では、ポインタ付加情報としてユーザの名前を表示したが、例えば、術者や助手等の手術での担当名等をポインタ付加情報として表示してもよい。
【００５４】
ポインタ表示処理により、ＨＭＤ１００の表示部にポインタが表示されるようになるが、このとき、表示部に表示されている画像を複数ユーザが観察している場合には、他のユーザのポインタも表示部に表示される。つまり、観察している画像が複数ユーザで共有されている共有画像である場合には複数のポインタが表示されるが、上述のように、各ポインタはユーザ属性に応じて表示が異なる。したがって、複数ユーザで画像を共有している場合にも、各ユーザに対応するポインタは明確であり、ユーザ間のコミュニケーションを円滑に行うことができる。
【００５５】
［３．２．ポインタ操作処理］
本実施形態では、複数ユーザで画像を共有している場合に、ユーザの権限情報に基づいて、他のユーザのポインタも操作可能としてもよい。以下、図６及び図７に基づいて、本実施形態に係る情報処理システム１におけるポインタ操作処理について説明する。なお、図６は、本実施形態に係るポインタ操作処理を示すフローチャートである。図７は、本実施形態に係るポインタ操作処理を説明する説明図である。
【００５６】
本実施形態に係るポインタ操作処理は、例えば検出情報処理部２１３により、ユーザの権限情報に基づいて他のユーザのポインタも操作可能かを判定する処理である。かかる処理は、例えば、画像が複数のユーザで共有され、複数のポインタが表示部に表示されている場合に、ユーザが操作するポインタを変更する指示を行った際に行われる。操作対象とするポインタを変更する指示は、例えばフットスイッチやジェスチャによって行うことができる。以下では、図７に示すような、ユーザＰ１〜Ｐ３が画像３００を共有している状況に沿って説明する。図７において、ユーザＰ１、Ｐ２、Ｐ３のポインタは、それぞれポインタ３１１、ポインタ３１２、ポインタ３１３に対応する。このとき、ユーザＰ１が他のユーザＰ３のポインタ３１３を操作する場合について考える。
【００５７】
かかる状況において、まず、検出情報処理部２１３は、ユーザＰ１が、他のユーザＰ３のポインタ３１３を操作可能か否かを判定する（Ｓ２００）。ユーザＰ１にユーザＰ３のポインタ３１３の操作意思があるか否かについては、例えば、ユーザＰ１が指定する指定位置が、ユーザＰ３のポインタ３１３の表示位置にあるか否かにより判定してもよい。ユーザＰ１による指定位置は、例えば、視線センサ１４２やジェスチャセンサ１４６の検出結果により特定される。検出情報処理部２１３は、ユーザＰ１が装着しているＨＭＤ１００の視線センサ１４２またはジェスチャセンサ１４６の検出結果より、ユーザＰ１の指定位置がユーザＰ３のポインタ３１３の表示位置にあり、ユーザＰ１がユーザＰ３のポインタ３１３を指定していることを検知したとする。すると、検出情報処理部２１３は、ユーザＰ１及びユーザＰ３の権限情報を確認する。権限情報は、設定記憶部２１８のユーザ識別情報から取得される。検出情報処理部２１３は、ユーザＰ１とユーザＰ３との権限情報を比較して、上位の権限を有するユーザを特定する。ユーザＰ１がユーザＰ３よりも上位の権限を有する場合、ユーザＰ１は、ユーザＰ３のポインタ３１３の操作権限があるとして、ステップＳ２２０の処理に進む。
【００５８】
一方、ユーザＰ１がユーザＰ３と同一または下位の権限を有する場合、ユーザＰ１は、ユーザＰ３のポインタ３１３の操作権限はない。この場合、操作対象のポインタ３１３の操作はできず（Ｓ２１０）、当該処理を終了する。このとき、検出情報処理部２１３は、ユーザＰ３のポインタ３１３を操作できないことを通知する情報を生成して出力部２１６を介してＨＭＤ１００へ出力し、ユーザＰ１に対してメッセージや音声等により通知してもよい。
【００５９】
次に、検出情報処理部２１３は、ユーザＰ１にユーザＰ３のポインタ３１３の操作権限がある場合、ユーザＰ１以外のユーザがポインタ３１３を操作中であるか否かを判定する（Ｓ２２０）。ポインタ３１３の本来のユーザであるユーザＰ３以外のユーザが、ポインタ３１３を操作している場合もあり得る。そこで、検出情報処理部２１３は、ユーザＰ３がポインタ３１３を操作中であれば、当該ポインタ３１３を操作中のユーザよりもユーザＰ１が上位の権限を有するか否かを判定する（Ｓ２３０）。
【００６０】
ポインタ３１３を操作中のユーザよりもユーザＰ１が上位の権限を有する場合には、検出情報処理部２１３は、操作中である他のユーザが代わってユーザＰ１がポインタ３１３を操作できることを決定する（Ｓ２４０）。一方、ステップＳ２３０にて、ユーザＰ１の権限が、ポインタ３１３を操作中のユーザの権限と同一または下位である場合には、検出情報処理部２１３は、ユーザＰ１は操作対象のポインタ３１３の操作はできないと判定し（Ｓ２１０）、当該処理を終了する。
【００６１】
なお、ステップＳ２２０にて、ポインタ３１３が操作されていないと判定された場合には、ユーザＰ１は、ポインタ３１３を操作することができる（Ｓ２４０）。
【００６２】
このような処理により、他のユーザのポインタの操作可否が判定されると、その操作可否情報は表示制御部２１５で生成された画像及びポインタ画像とともに、出力部２１６を介してＨＭＤ１００へ出力される。ＨＭＤ１００の画像生成部１２０は、これらの情報に基づき、表示素子１３２、１３４へそれぞれ出力する画像信号と、共有画像を観察している各ユーザのポインタ画像信号とを生成する。
【００６３】
ここで、画像生成部１２０は、操作対象とするポインタを変更する指示があったときには、図６の処理の判定結果に基づき、当該他のユーザのポインタの表示位置を変更可能か否か確認する。他のユーザのポインタの表示位置を変更可能な場合には、画像生成部１２０は、他のユーザのポインタの表示位置を、自身の視線位置あるいはジェスチャに基づき変更する。このとき、自身のポインタは移動させない。画像生成部１２０は、プロセッサユニット２００からの情報に基づき生成された画像信号に、ポインタ画像信号を重畳して、表示素子１３２、１３４へ出力する。操作可能となった他のユーザのポインタの操作は、ユーザから操作対象とするポインタを元に戻す指示や、さらに他のユーザのポインタを操作対象とする指示があるまで継続される。
【００６４】
以上、本実施形態に係るポインタ操作処理について説明した。このように、ユーザの権限情報に応じて、他のユーザのポインタを操作可能とすることで、上位の権限を有するユーザが、下位の権限を有するユーザのポインタを操作して、下位の権限を有するユーザに対して直接的に作業の指示や指導を行うことができる。
【００６５】
権限の上下関係としては、例えば、内視鏡手術等の手術においては、術者が上位の権限を有し、助手が下位の権限を有する。超音波診断等の医療診断時には、医師が最上位の権限を有し、続いて検査技師、患者の順に権限が下がる。遠隔医療時には、遠隔地の患者を指導する医療従事者が上位の権限を有し、遠隔地の患者が下位の権限を有する。また、教育現場においては、教育者が上位の権限を有し、生徒が下位の権限を有する。
【００６６】
また、上述の例では、権限情報に応じて他のユーザのポインタの操作可否を決定する場合について説明したが、本開示はかかる例に限定されず、例えば、権限情報に応じて、各ユーザのＨＭＤ１００の表示部に表示されるポインタの数を変化させてもよい。例えば、内視鏡手術においては、術者や助手、内視鏡装置を操作するスコピストらがＨＭＤ１００を装着することが想定され、術中、すべてのユーザが同一画像を共有し、観察している状況もある。
【００６７】
ここで、術者、助手、スコピストの順に上位の権限を有するが、例えば、スコピストより上位の権限を有する術者や助手にとっては、スコピストのポインタは表示されなくともよい場合が多い。このとき、術者、助手、スコピストの権限情報に基づき、自身より下位の権限を有するユーザのポインタを表示させないようにしてもよい。これにより、より必要な情報のみを表示部に表示させることができ、ユーザが表示部に表示されている情報を認識しやすくなる。したがって、複数人で画像を共有して手術を進める際の相互のコミュニケーションが円滑となり、スムーズに手術を進行できるようになる。
【００６８】
＜４．まとめ＞
以上、本実施形態に係るＨＭＤ１００を備える情報処理システム１について説明した。本実施形態によれば、ＨＭＤ１００を装着する複数のユーザが画像を共有して観察しているとき、各ユーザのユーザ属性に基づいて、各ユーザがそれぞれ操作するポインタの表示形式を変化させて表示領域に表示させる。これにより、表示領域に複数のポインタが表示されている場合であっても、異なる色や形状で表示されるため、ユーザは自分が操作可能なポインタを明確に認識できるとともに、他のポインタがどのユーザによって操作されているものかを明確に認識することができる。
【００６９】
また、本実施形態に係る情報処理システム１は、ユーザ属性に含まれる権限情報に応じて、他のユーザのポインタを操作可能としてもよい。これにより、上位の権限を有するユーザが、下位の権限を有するユーザのポインタを操作して、下位の権限を有するユーザに直接的に作業の指示や指導を行うことができる。
【００７０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７１】
例えば、上記実施形態では、ユーザ属性であるユーザ識別情報は、虹彩センサにより取得された虹彩認証情報に基づき取得されたが、本開示はかかる例に限定されない。例えば、虹彩認証情報以外の生体認証情報により取得してもよく、近距離無線通信技術（ＮＦＣ；Near Field Communication）を用いて、ユーザ識別情報を記憶するＩＣカード等からユーザ識別情報を取得してもよい。
【００７２】
また、上記実施形態では、ＨＭＤの表示領域にポインタを表示して特定部分を指し示すことが可能な情報処理システムについて説明したが、本開示はかかる例に限定されない。例えば、図８に示すように、表示領域に線や図形を重畳して表示させるペイント機能を更に備えてもよい。図８では、表示領域の右上に、ペイントオブジェクト３３０として、線を引くことを可能にするペンアイコン３３１や、図形の挿入を可能にする図形アイコン３３３等がある。これにより、ユーザは、例えば視線によりアイコンを選択し、視線を移動させて所望の部分に視線により線を描くことができる。また、かかる操作は、視線以外にもジェスチャによっても行うことができる。
【００７３】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００７４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
頭部装着ディスプレイを装着するユーザのユーザ属性に基づいて、前記頭部装着ディスプレイの表示領域にユーザの指定位置に応じて表示されるポインタのポインタ属性を変更する処理部を備える、情報処理装置。
（２）
前記処理部は、複数のユーザがそれぞれ装着する頭部装着ディスプレイの表示領域に、前記ユーザ間で共有される同一の画像と、前記複数のユーザのうち少なくとも一部のユーザのポインタとを表示させる、前記（１）に記載の情報処理装置。
（３）
前記処理部は、前記ユーザ間のユーザ属性の関係に基づいて、他のユーザのポインタの表示可否が決定される、前記（２）に記載の情報処理装置。
（４）
前記処理部は、前記ユーザ間のユーザ属性の関係に基づいて、他のユーザのポインタの操作可否を決定する、前記（２）または（３）に記載の情報処理装置。
（５）
前記ユーザ間で共有される同一の画像は、医療用画像である、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記ユーザ属性は、ユーザの権限情報である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記ユーザの権限情報は、医療従事者の間での権限情報である、前記（６）に記載の情報処理装置。
（８）
前記ユーザ属性は、生体認証により取得される、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記ユーザ属性は、近距離無線通信により取得される、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記ポインタ属性は、ポインタの表示形式情報である、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記ポインタの表示形式情報は、ポインタの形状又は色に関する情報である、前記（１０）に記載の情報処理装置。
（１２）
前記ユーザの指定位置は、前記ユーザの視線により決定される、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記ユーザの指定位置は、前記ユーザのジェスチャにより決定される、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１４）
頭部装着ディスプレイを装着するユーザのユーザ属性を取得すること、
前記ユーザ属性に基づいて、前記頭部装着ディスプレイの表示領域に、ユーザの指定位置に応じて表示されるポインタのポインタ属性を変更すること、
とを含む、情報処理方法。
（１５）
頭部装着ディスプレイと、
前記頭部装着ディスプレイを装着するユーザのユーザ属性に基づいて、前記頭部装着ディスプレイの表示領域にユーザの指定位置に応じて表示されるポインタのポインタ属性を変更する処理部と、
を備える、情報処理システム。
（１６）
前記頭部装着ディスプレイは視線センサを有する、前記（１５）に記載の情報処理システム。
（１７）
前記頭部装着ディスプレイはジェスチャセンサを有する、前記（１５）または（１６）に記載の情報処理システム。
（１８）
患部を撮像する撮像装置をさらに備える、前記（１５）〜（１７）のいずれか１項に記載の情報処理システム。
【符号の説明】
【００７５】
１        情報処理システム
１０      内視鏡装置
１００    ＨＭＤ
１０２    リモートコントローラ
１１０    ディスプレイポート
１２０    画像生成部
１３２    第１の表示素子
１３４    第２の表示素子
１４０    センサ部
１４２    視線センサ
１４４    虹彩センサ
１４６    ジェスチャセンサ
２００    プロセッサユニット
２１１    画像入力部
２１２    検出情報入力部
２１３    検出情報処理部
２１４    画像処理部
２１５    表示制御部
２１６    出力部
２１７    操作入力部
２１８    設定記憶部
【図１】
2016158000.tif 000003
【図２】
2016158000.tif 000004
【図３】
2016158000.tif 000005
【図４】
2016158000.tif 000006
【図５】
2016158000.tif 000007
【図６】
2016158000.tif 000008
【図７】
2016158000.tif 000009
【図８】
2016158000.tif 000010
【国際調査報告】
2016158000.tif 000011
2016158000.tif 000012
2016158000.tif 000013
2016158000.tif 000014