(57)【要約】【課題】多種多様な医療用装置の情報を一元化すると共に、複数の画像表示装置における表示を制御する。【解決手段】情報処理装置は、複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、取得部により取得された複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と、複数の画像表示装置に対して、生成された提示用情報を出力する提供部とを備える。【選択図】図６
2015188566.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置であって、
複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、
前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と、
複数の画像表示装置に対して、生成された前記提示用情報を出力する提供部と、
を備える、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記生成部は、前記複数の画像表示装置に対して共通する前記提示用情報を生成する第１のモードと、前記複数の画像表示装置にそれぞれ対応する複数の前記提示用情報を生成する第２のモードと、を有する、情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記生成部は、前記第１のモードにおいて、特定の前記画像表示装置の使用者によって選択された前記医療用装置情報を少なくとも含む、共通の前記提示用情報を生成する、情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、さらに、
前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置が前記特定の画像表示装置であるか否かを表す情報と、を関連付けて記憶する装置間関係記憶部を備え、
前記生成部は、前記第１のモードにおいて、前記装置間関係記憶部を用いて前記特定の画像表示装置を識別する、情報処理装置。
【請求項５】
請求項２から請求項４のいずれか一項に記載の情報処理装置であって、
前記生成部は、前記第２のモードにおいて、前記複数の画像表示装置の使用者によってそれぞれ選択された前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成する、情報処理装置。
【請求項６】
請求項２から請求項４のいずれか一項に記載の情報処理装置であって、
前記生成部は、前記第２のモードにおいて、前記使用者のそれぞれの役割に応じた前記医療用装置から取得した前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成する、情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、さらに、
前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置の使用者の役割とを関連付けて記憶する役割記憶部を備え、
前記生成部は、前記第２のモードにおいて、前記役割記憶部を用いて前記使用者の役割を識別する、情報処理装置。
【請求項８】
請求項２から請求項７のいずれか一項に記載の情報処理装置であって、
前記生成部は、前記第２のモードにおいて、さらに、生成された前記複数の提示用情報を結合した結合情報を生成し、
前記提供部は、前記特定の画像表示装置に対して、生成された前記結合情報を出力する、情報処理装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の情報処理装置であって、
前記生成部は、前記提示用情報を生成する際に、前記医療用装置情報に含まれる画像の縦横比を維持したまま、前記画像を拡大または縮小する、情報処理装置。
【請求項１０】
請求項１から請求項９のいずれか一項に記載の情報処理装置であって、
前記情報処理装置には、前記画像表示装置として、使用者が虚像と外景を視認可能な頭部装着型表示装置が接続される、情報処理装置。
【請求項１１】
請求項１０に記載の情報処理装置であって、
前記提供部は、さらに、
前記頭部装着型表示装置から、前記頭部装着型表示装置を装着した状態における使用者の視界方向の画像を取得し、
取得された前記視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、
抽出した前記特徴に基づいて生成部により生成された前記提示用情報を補正し、補正後の前記提示用情報を出力する、情報処理装置。
【請求項１２】
請求項１または請求項２に記載の情報処理装置であって、さらに、
予め定められた工程を表す情報を前記生成部に送信する工程管理部であって、前記取得部により取得された前記複数の医療用装置情報に基づいて、送信する前記工程を変更する工程管理部を備え、
前記生成部は、受信した前記工程を含む前記提示用情報を生成する、情報処理装置。
【請求項１３】
請求項１２に記載の情報処理装置であって、
前記工程管理部は、前記複数の医療用装置情報を繰り返し取得し、最新の前記複数の医療用装置情報に基づいて、前記生成部に送信する前記工程を変更する、情報処理装置。
【請求項１４】
請求項１２または請求項１３に記載の情報処理装置であって、
前記工程管理部は、
複数の前記工程からなる一連の工程であって、予め定められた一連の工程を表す情報を前記生成部に送信し、
前記一連の工程に対して、新たな工程の追加と、前記一連の工程のうちの少なくとも一部の工程の削除と、前記一連の工程のうちの少なくとも一部の工程の置換と、のうちの少なくともいずれかを実施することによって、前記工程を変更する、情報処理装置。
【請求項１５】
請求項１２から請求項１４のいずれか一項に記載の情報処理装置であって、
前記工程管理部は、
複数の前記工程からなる一連の工程であって、予め定められた一連の工程を、一の工程ずつ順次前記生成部へ送信し、
前記一の工程の送信を中止することで前記工程を変更する、情報処理装置。
【請求項１６】
請求項２に従属する請求項１２から請求項１５のいずれか一項に記載の情報処理装置であって、
前記工程管理部は、前記第１のモードにおいて、前記特定の前記画像表示装置の使用者のための前記工程を前記生成部に送信する、情報処理装置。
【請求項１７】
請求項２に従属する請求項１２から請求項１６のいずれか一項に記載の情報処理装置であって、
前記工程管理部は、前記第２のモードにおいて、前記使用者のそれぞれの役割に応じた前記工程を前記生成部に送信する、情報処理装置。
【請求項１８】
情報処理方法であって、
（ａ）複数の医療用装置から取得された情報である複数の医療用装置情報を取得する工程と、
（ｂ）取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する工程と、
（ｃ）複数の画像表示装置に対して、生成された前記提示用情報を出力する工程と、
を備える、情報処理方法。
【請求項１９】
情報処理システムであって、
複数の医療用装置と、
情報処理装置と、
複数の頭部装着型表示装置であって、使用者が虚像と外景を視認可能な頭部装着型表示装置と、
を備え、
前記情報処理装置は、
前記複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と、
前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と、
前記複数の頭部装着型表示装置に対して、生成された前記提示用情報を出力する提供部と、
を備え、
前記頭部装着型表示装置は、
前記情報処理装置から前記提示用情報を取得する提示用情報取得部と、
取得された前記提示用情報を前記虚像として前記頭部装着型表示装置の使用者に視認させる画像表示部と、
を備える、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。
【０００３】
特許文献１には、このような頭部装着型表示装置を用いることで、医療環境における情報の表示を改善するためのシステムが記載されている。特許文献１に記載の技術では、クエリーに基づいて複数の情報源から情報が取得され、取得された情報は、規則に基づきフィルター処理され、眼鏡ヘッドセット式ビューアーの接眼レンズへ投影される。また、特許文献１に記載の技術では、頭部装着型表示装置の装着者の視線に基づいて、固定された大型ディスプレイの表示についての制御権や優先権が決定される。特許文献２には、医療用顔面装着型映像表示装置（頭部装着型表示装置）が記載されている。特許文献２に記載の技術では、内視鏡検査又は内視鏡手術時に内視鏡と共に使用される内視鏡周辺機器の動作状態情報が、頭部装着型表示装置に表示される。特許文献３、４には、頭部装着型表示装置において、拡張現実感技術を応用することで、歯科手術における情報の表示を行うための方法が記載されている。特許文献３、４に記載の技術では、術部の実像に対して、術前イメージやシミュレーション画像等が重畳して表示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０２４９５号公報
【特許文献２】特開２００１−１０４３３１号公報
【特許文献３】特開２０１０−２５９４９７号公報
【特許文献４】特開２０１３−３４７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
医学の進歩と電子機器の進歩により、現在の医療の現場は急速な進化を遂げている。医療の現場では、例えば、心電図、心拍数計、血圧計、パルスオキシメーター、血糖値計、レントゲン、内視鏡のような、多種多様な医療用の装置（以降「医療用装置」と呼ぶ。）が使用されている。このような多種多様な医療用装置の情報を把握して、作業を行うことは、医療の現場に従事する者にとって大きな負担となる。このため、多種多様な医療用装置の情報を一元化することのできるシステムが望まれていた。特許文献１に記載された技術では、複数の情報源（医療用装置）から情報を取得することはできるものの、取得した情報を、複数の頭部装着型表示装置に対して、どのように表示させるかについては何ら考慮されていなかった。また、特許文献２〜４に記載された技術では、対象としている医療用装置が限定されているため、多種多様な医療用装置の情報を一元化することができないという課題があった。
【０００６】
また、このような課題は、頭部装着型表示装置に限らず、例えば頭部装着型表示装置のような画像表示装置に表示させるための情報を生成する情報処理装置全般に共通する課題であった。このように、多種多様な医療用装置の情報を一元化すると共に、複数の画像表示装置における表示を制御することが可能な情報処理装置が望まれていた。そのほか、情報処理装置には、汎用性の向上、利便性の向上、製造コストの低減、信頼性の向上といった、種々の要望があった。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００８】
（１）本発明の一形態によれば、情報処理装置が提供される。この情報処理装置は；複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と；前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と；複数の画像表示装置に対して、生成された前記提示用情報を出力する提供部と、を備える。この形態の情報処理装置によれば、生成部は、取得部により取得された複数の医療用装置情報を用いて提示用情報を生成するため、情報処理装置に接続されている多種多様な医療用装置の情報（医療用装置情報）を一元化することができる。また、提供部は、複数の画像表示装置に対して、生成された提示用情報を出力するため、複数の画像表示装置における表示を制御することができる。この結果、多種多様な医療用装置の情報を一元化すると共に、複数の画像表示装置における表示を制御することが可能な情報処理装置を実現することができる。
【０００９】
（２）上記形態の情報処理装置において；前記生成部は、前記複数の画像表示装置に対して共通する前記提示用情報を生成する第１のモードと、前記複数の画像表示装置にそれぞれ対応する複数の前記提示用情報を生成する第２のモードと、を有していてもよい。この形態の情報処理装置によれば、生成部は、一元化されている医療用装置情報を用いて、複数の画像表示装置に対して共通する提示用情報を生成する第１のモードと、複数の画像表示装置にそれぞれ対応する複数の提示用情報を生成する第２のモードと、を有する。情報処理装置は、生成部におけるこれらのモードを使い分けることによって、複数の画像表示装置における表示を制御することもできる。
【００１０】
（３）上記形態の情報処理装置において；前記生成部は、前記第１のモードにおいて、特定の前記画像表示装置の使用者によって選択された前記医療用装置情報を少なくとも含む、共通の前記提示用情報を生成してもよい。この形態の情報処理装置によれば、生成部は、特定の画像表示装置の使用者によって選択された医療用装置情報を少なくとも含む共通の提示用情報を生成し、提供部は、複数の画像表示装置に対して、生成された共通の提示用情報を出力する。この結果、情報処理装置は、複数の画像表示装置における表示を、特定の画像表示装置の使用者の選択に基づいて制御することが可能となる。
【００１１】
（４）上記形態の情報処理装置では；さらに；前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置が前記特定の画像表示装置であるか否かを表す情報と、を関連付けて記憶する装置間関係記憶部を備え；前記生成部は、前記第１のモードにおいて、前記装置間関係記憶部を用いて前記特定の画像表示装置を識別してもよい。この形態の情報処理装置によれば、生成部は、装置間関係記憶部を用いて簡便に、複数の画像表示装置から特定の画像表示装置を識別することができる。
【００１２】
（５）上記形態の情報処理装置において；前記生成部は、前記第２のモードにおいて、前記複数の画像表示装置の使用者によってそれぞれ選択された取得した前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成してもよい。この形態の情報処理装置によれば、生成部は、複数の画像表示装置の使用者によってそれぞれ選択された医療用装置情報を少なくとも含む、複数の提示用情報を生成し、提供部は、複数の画像表示装置に対して、生成された複数の提示用情報をそれぞれ出力する。この結果、情報処理装置は、複数の画像表示装置における表示を、各画像表示装置の使用者の選択に基づいて別個に制御することが可能となる。
【００１３】
（６）上記形態の情報処理装置において；前記生成部は、前記第２のモードにおいて、前記使用者のそれぞれの役割に応じた前記医療用装置から取得した前記医療用装置情報を少なくとも含む、前記複数の提示用情報を生成してもよい。この形態の情報処理装置によれば、生成部は、使用者のそれぞれの役割に応じた医療用装置から取得した医療用装置情報を少なくとも含む、複数の提示用情報を生成し、提供部は、複数の画像表示装置に対して、生成された複数の提示用情報をそれぞれ出力する。この結果、情報処理装置は、複数の画像表示装置における表示を、各画像表示装置の使用者の役割に応じて別個に制御することが可能となり、画像表示装置の使用者の利便性を向上させることができる。
【００１４】
（７）上記形態の情報処理装置では、さらに；前記複数の画像表示装置を相互に識別するための情報と、当該画像表示装置の使用者の役割とを関連付けて記憶する役割記憶部を備え；前記生成部は、前記第２のモードにおいて、前記役割記憶部を用いて前記使用者の役割を識別してもよい。この形態の情報処理装置によれば、生成部は、役割記憶部を用いて簡便に使用者の役割を識別することができる。
【００１５】
（８）上記形態の情報処理装置において；前記生成部は、前記第２のモードにおいて、さらに、生成された前記複数の提示用情報を結合した結合情報を生成し；前記提供部は、前記特定の画像表示装置に対して、生成された前記結合情報を出力してもよい。この形態の情報処理装置によれば、生成部は、生成された複数の提示用情報を結合した結合情報を生成し、提供部は、特定の画像表示装置に対して生成された結合情報を出力する。この結果、特定の画像表示装置の使用者は、情報処理装置に接続されている複数の画像表示装置において、どのような提示用情報が表示されているのかを知ることができる。この結果、特定の画像表示装置の使用者の利便性を向上させることができる。
【００１６】
（９）上記形態の情報処理装置において；前記生成部は、前記提示用情報を生成する際に、前記医療用装置情報に含まれる画像の縦横比を維持したまま、前記画像を拡大または縮小してもよい。この形態の情報処理装置によれば、生成部は、医療用装置情報に含まれる画像の縦横比を維持したまま、画像を拡大または縮小するため、提示用情報が生成される際に、医療用装置により取得された医療用装置情報に予期しない歪みが生じることを抑制できる。
【００１７】
（１０）上記形態の情報処理装置において；前記情報処理装置には、前記画像表示装置として、使用者が虚像と外景を視認可能な頭部装着型表示装置が接続されてもよい。この形態の情報処理装置によれば、多種多様な医療用装置の情報を一元化すると共に、複数の頭部装着型表示装置における表示を制御することが可能な情報処理装置を実現することができる。
【００１８】
（１１）上記形態の情報処理装置において；前記提供部は、さらに；前記頭部装着型表示装置から、前記頭部装着型表示装置を装着した状態における使用者の視界方向の画像を取得し；取得された前記視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し；抽出した前記特徴に基づいて生成部により生成された前記提示用情報を補正し、補正後の前記提示用情報を出力してもよい。この形態の情報処理装置によれば、提供部は、頭部装着型表示装置の使用者の視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、抽出した特徴に基づいて、生成された提示用情報を補正する。このため、提示用情報に、例えばＣＴ画像、ＭＲＩ画像、レントゲン画像等の不可視情報が含まれる場合において、外景に含まれる物体（例えば、患者の体等）に不可視情報を一致させることができる。この結果、頭部装着型表示装置の使用者の利便性を向上させることができる。さらに、頭部装着型表示装置は、補正後の提示用情報を受信することができるため、頭部装着型表示装置は、受信した提示用情報をそのまま表示すればよい。この結果、頭部装着型表示装置の構成をシンプルにすることができる。
【００１９】
（１２）上記形態の情報処理装置では、さらに；予め定められた工程を表す情報を前記生成部に送信する工程管理部であって、前記取得部により取得された前記複数の医療用装置情報に基づいて、送信する前記工程を変更する工程管理部を備え；前記生成部は、受信した前記工程を含む前記提示用情報を生成してもよい。この形態の情報処理装置によれば、工程管理部は、予め定められた工程を表す情報を生成部に送信し、生成部は、受信した工程を含む提示用情報を生成する。このため、情報処理装置は、予め定められた工程を、情報処理装置に接続されている複数の画像表示装置に表示させることができる。また、工程管理部は、取得部により取得された複数の医療用装置情報に基づいて送信する工程を変更する。このため、情報処理装置は、複数の医療用装置から取得された情報である複数の医療用装置情報に基づいて、複数の画像表示装置に表示させる工程を変更することができる。この結果、医療用装置情報に基づいて予め定められた工程を柔軟に変更し、かつ、かかる工程を画像表示装置の使用者に案内することが可能な情報処理装置を提供することができる。
【００２０】
（１３）上記形態の情報処理装置において；前記工程管理部は、前記複数の医療用装置情報を繰り返し取得し、最新の前記複数の医療用装置情報に基づいて、前記生成部に送信する前記工程を変更してもよい。この形態の情報処理装置によれば、工程管理部は、複数の医療用装置情報を繰り返し取得し、最新の複数の医療用装置情報に基づいて、生成部に送信する工程を変更する。このため、情報処理装置は、複数の医療用装置から取得された情報である複数の医療用装置情報に基づいて、複数の画像表示装置に表示させる工程をリアルタイムに変更することができる。
【００２１】
（１４）上記形態の情報処理装置において；前記工程管理部は；複数の前記工程からなる一連の工程であって、予め定められた一連の工程を表す情報を前記生成部に送信し；前記一連の工程に対して、新たな工程の追加と、前記一連の工程のうちの少なくとも一部の工程の削除と、前記一連の工程のうちの少なくとも一部の工程の置換と、のうちの少なくともいずれかを実施することによって、前記工程を変更してもよい。この形態の情報処理装置によれば、工程管理部は、一連の工程に対して、新たな工程の追加と、一連の工程のうちの少なくとも一部の工程の削除と、一連の工程のうちの少なくとも一部の工程の置換と、のうちの少なくともいずれかを実施することによって、工程を変更することができる。
【００２２】
（１５）上記形態の情報処理装置において；前記工程管理部は；複数の前記工程からなる一連の工程であって、予め定められた一連の工程を、一の工程ずつ順次前記生成部へ送信し；前記一の工程の送信を中止することで前記工程を変更してもよい。この形態の情報処理装置によれば、工程管理部は、工程の送信を中止することで工程を変更することができる。
【００２３】
（１６）上記形態の情報処理装置において；前記工程管理部は、前記第１のモードにおいて、前記特定の前記画像表示装置の使用者のための前記工程を前記生成部に送信してもよい。この形態の情報処理装置によれば、工程管理部は、第１のモードにおいて、特定の画像表示装置の使用者のための工程を生成部に送信する。このため、情報処理装置は、複数の画像表示装置に対して、共通した「特定の画像表示装置の使用者のための工程」を表示させることができる。
【００２４】
（１７）上記形態の情報処理装置において；前記工程管理部は、前記第２のモードにおいて、前記使用者のそれぞれの役割に応じた前記工程を前記生成部に送信してもよい。この形態の情報処理装置によれば、工程管理部は、第２のモードにおいて、使用者のそれぞれの役割に応じた工程を生成部に送信する。このため、情報処理装置は、複数の画像表示装置に対して、個別に「画像表示装置の使用者のそれぞれの役割に応じた工程」を表示させることができる。
【００２５】
（１８）本発明の一形態によれば、情報処理システムが提供される。この情報処理システムは；複数の医療用装置と；情報処理装置と；複数の頭部装着型表示装置であって、使用者が虚像と外景を視認可能な頭部装着型表示装置と、を備え；前記情報処理装置は；前記複数の医療用装置から取得された情報である複数の医療用装置情報を取得する取得部と；前記取得部により取得された前記複数の医療用装置情報の少なくとも一部を含む提示用情報を生成する生成部と；前記複数の頭部装着型表示装置に対して、生成された前記提示用情報を出力する提供部と、を備え；前記頭部装着型表示装置は；前記情報処理装置から前記提示用情報を取得する提示用情報取得部と；取得された前記提示用情報を前記虚像として前記頭部装着型表示装置の使用者に視認させる画像表示部と、を備える。この形態の情報処理システムによれば、多種多様な医療用装置の情報（医療用装置情報）を情報処理装置に一元化すると共に、複数の頭部装着型表示装置における表示を制御することが可能な情報処理システムを実現することができる。
【００２６】
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
【００２７】
例えば、本発明の一形態は、取得部と、生成部と、提供部と、の３つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、取得部を有していてもよく、有していなくてもよい。また、この装置は、生成部を有していてもよく、有していなくてもよい。また、この装置は、提供部を有していてもよく、有していなくてもよい。こうした装置は、例えば情報処理装置として実現できるが、情報処理装置以外の他の装置としても実現可能である。前述した情報処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
【００２８】
なお、本発明は、種々の態様で実現することが可能であり、例えば、情報処理装置、情報処理方法、情報処理システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態における情報処理システムの概略構成を示す説明図である。
【図２】情報処理装置の構成を機能的に示すブロック図である。
【図３】共通映像仕様の一例を示す説明図である。
【図４】管理テーブルの一例を示す説明図である。
【図５】ヘッドマウントディスプレイの構成を機能的に示すブロック図である。
【図６】提示用情報生成処理の手順を示すフローチャートである。
【図７】提示用情報の生成方法について説明するための説明図である。
【図８】提示用情報の生成方法について説明するための説明図である。
【図９】提示用情報の第１の例を示す説明図である。
【図１０】提示用情報の第２の例を示す説明図である。
【図１１】提示用情報の第３の例を示す説明図である。
【図１２】複数のヘッドマウントディスプレイにおいて提示用情報が虚像として表示されている様子を示す説明図である。
【図１３】異なる位置にある複数のヘッドマウントディスプレイにおいて提示用情報が虚像として表示されている様子を示す説明図である。
【図１４】ステップＳ１２２〜Ｓ１３４が２回実行された結果複数のヘッドマウントディスプレイにおいて提示用情報が虚像として表示されている様子を示す説明図である。
【図１５】第２実施形態における情報処理装置の構成を機能的に示すブロック図である。
【図１６】結合情報生成処理の手順を示すフローチャートである。
【図１７】結合情報の生成方法について説明するための説明図である。
【図１８】ヘッドマウントディスプレイにおいて結合情報が虚像として表示されている様子を示す説明図である。
【図１９】第３実施形態における情報処理装置の構成を機能的に示すブロック図である。
【図２０】工程情報の一例を概念的に示す説明図である。
【図２１】緊急対応情報の一例を示す説明図である。
【図２２】工程管理処理の手順を示すフローチャートである。
【図２３】変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。
【発明を実施するための形態】
【００３０】
Ａ．第１実施形態：
Ａ−１．情報処理システムの構成：
図１は、本発明の一実施形態における情報処理システム１０００の概略構成を示す説明図である。情報処理システム１０００は、複数の医療用装置５０１〜５０ｎと、情報処理装置３００と、画像表示装置１００と、を備えている。情報処理システム１０００は、医療の現場において使用されるシステムであり、情報処理装置３００は、複数の医療用装置５０１〜５０ｎから情報を取得して一元化し、画像表示装置１００へ表示させるための提示用情報を生成する。医療用装置５０１〜５０ｎと、画像表示装置１００とは、有線接続または無線接続によって、情報処理装置３００と接続されている。なお、以降では「任意の複数」を表す文字として「ｎ」を用いる。ｎは１以上の整数である。
【００３１】
本実施形態では、医療の現場として、手術室における手術現場を例示するが、情報処理システム１０００は、診察室、処置室、治療室、分娩室等で使用されてもよい。また、本実施形態では、画像表示装置１００として、頭部装着型表示装置を例示するが、画像表示装置１００は、固定型のディスプレイ、携帯可能なディスプレイ、スマートフォン等でもよい。以降、頭部装着型表示装置１００を「ヘッドマウントディスプレイ１００（Head Mounted Display、ＨＭＤ）」とも呼ぶ。また、図１では、１台のヘッドマウントディスプレイ１００を図示しているが、後述する図２のように、複数台のヘッドマウントディスプレイ１００ａ〜１００ｎが情報処理装置３００に接続されていてもよい。
【００３２】
なお、以降の説明において、ヘッドマウントディスプレイ１００ａ〜１００ｎを特に区別せず説明する場合は、単に「ヘッドマウントディスプレイ１００」と呼ぶ。同様に、医療用装置５０１〜５０ｎを特に区別せず説明する場合は、単に「医療用装置５００」と呼ぶ。
【００３３】
医療用装置５０１〜５０ｎは、医療用途で使用される種々の装置である。医療用装置５０１〜５０ｎの例としては、例えば、室内外の静止画および動画を撮影するための可視光カメラ、術部の静止画および動画を撮影するための可視光カメラ、心電図検査装置、手術用タイマー、生体モニター、心拍数計、脈拍計、血圧計、超音波検査装置、パルスオキシメーター、血糖値計、ＣＴ（Computed Tomography、コンピューター断層撮影）画像撮影装置、ＭＲＩ（Magnetic Resonance Imaging、核磁気共鳴画像法）画像撮影装置、レントゲン（Ｘ線）画像撮影装置、透視画像撮影装置、内視鏡画像、サーモグラフィー画像撮影装置等を使用することができる。
【００３４】
Ａ−２．情報処理装置の構成：
図２は、情報処理装置３００の構成を機能的に示すブロック図である。情報処理装置３００は、第１の入出力部３１０と、ＲＯＭ３２０と、ＲＡＭ３３０と、通信インターフェイス３４０と、ＣＰＵ３５０と、外部記憶装置３８０とを備え、各部はバスにより相互に接続されている。
【００３５】
取得部としての第１の入出力部３１０は、複数の第１の入出力部３１１〜３１ｎを備えている。第１の入出力部３１１〜３１ｎは、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、赤外線、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））、無線ＬＡＮ（例えばＩＥＥＥ８０２．１１）、有線ＬＡＮ（例えばＩＥＥＥ８０２．３）などの通信規格に準拠した入出力インターフェイスである。第１の入出力部３１１〜３１ｎは、接続されている医療用装置５０１〜５０ｎから入力される情報をそれぞれ取得する。医療用装置から入力される情報とは、医療用装置により測定または撮像等された情報である。以降では「医療用装置情報」とも呼ぶ。
【００３６】
本実施形態では、第１の入出力部３１１はＤＶＩに準拠し、第１の入出力部３１２はＨＤＭＩに準拠し、第１の入出力部３１３はＨＤＭＩに準拠し、第１の入出力部３１ｎは無線ＬＡＮに準拠した入出力インターフェイスである。図２において、第１の入出力部３１１には、医療用装置５０１と固定式のディスプレイ７００とが接続されている。同様に、第１の入出力部３１２には医療用装置５０２が、第１の入出力部３１３には医療用装置５０３が、第１の入出力部３１ｎには医療用装置５０ｎが、それぞれ接続されている。このように、第１の入出力部３１０は、異なる種類の通信規格に準拠した第１の入出力部３１１〜３１ｎにより構成されている。このため、第１の入出力部３１０には、様々な通信規格に準拠した医療用装置を接続することが可能となり、情報処理装置３００の汎用性を向上させることができる。なお、第１の入出力部３１０は、入力された信号を、例えばディスプレイ７００等の表示装置に対してそのまま出力することもできる。
【００３７】
通信インターフェイス（Ｉ／Ｆ）３４０は、有線ＬＡＮのインターフェイスである。通信インターフェイス３４０は、インターネットＩＮＴの回線を通じて、外部の施設の医師ＰＲと情報処理装置３００とを通信可能に接続するほか、イントラネットを通じて院内ＬＡＮに接続されているデータベースＯＤと情報処理装置３００とを通信可能に接続する。医師ＰＲは、例えば、情報処理装置３００に接続されているヘッドマウントディスプレイ１００の使用者の指導に当たる医師や、外部の専門医等が想定される。データベースＯＤには、手術等の処置の手順を表す手順情報、電子カルテシステム、電子化された学術書等が記憶されている。
【００３８】
ＣＰＵ３５０は、ＲＯＭ３２０に格納されているコンピュータープログラムをＲＡＭ３３０に展開して実行することにより、情報処理装置３００を制御する。また、ＣＰＵ３５０は、生成部３６０、第２の入出力部３７０の機能を実現する。生成部３６０は、後述の提示用情報生成処理を実行することで、ヘッドマウントディスプレイ１００へ表示させるための提示用情報を生成する。本実施形態の生成部３６０は、提示用情報生成処理における処理のモードとして、以下に示す２つのモードを有する。
（１）共通の提示用情報を生成する第１のモード
（２）ヘッドマウントディスプレイ１００ａ〜１００ｎにそれぞれ対応する複数の提示用情報を生成する第２のモード
【００３９】
提供部としての第２の入出力部３７０は、複数の第２の入出力部３７１〜３７ｎを備えている。第２の入出力部３７１〜３７ｎは、第１の入出力部３１０と同様に、様々な通信規格に準拠した入出力インターフェイスである。詳細は第１の入出力部３１０と同様であるため説明を省略する。
【００４０】
本実施形態では、第２の入出力部３７１と第２の入出力部３７２とは無線ＬＡＮに準拠し、第２の入出力部３７３はＵＳＢに準拠し、第２の入出力部３７ｎはＤＶＩに準拠した入出力インターフェイスである。図２において、第２の入出力部３７１には、画像表示装置としてのヘッドマウントディスプレイ１００ａが接続されている。同様に、第２の入出力部３７２にはヘッドマウントディスプレイ１００ｂが、第２の入出力部３７３にはヘッドマウントディスプレイ１００ｃが、第２の入出力部３７ｎにはヘッドマウントディスプレイ１００ｎが、それぞれ接続されている。このように、第２の入出力部３７０は、異なる種類の通信規格に準拠した第２の入出力部３７１〜３７ｎにより構成されている。このため、第２の入出力部３７０には、様々な通信規格に準拠したヘッドマウントディスプレイを接続することが可能となり、情報処理装置３００の汎用性を向上させることができる。
【００４１】
外部記憶装置３８０は、図示しないＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク、フラッシュメモリー等によって構成されている。外部記憶装置３８０は、共通映像仕様３８１と、管理テーブル３８２と、不可視情報記憶部としての不可視情報３８３と、手術の記録３８４と、動作モード３８５とを含む。
【００４２】
図３は、共通映像仕様３８１の一例を示す説明図である。共通映像仕様３８１は、提示用情報の映像信号についての、標準的な仕様を規定するためのテーブルである。共通映像仕様３８１は、提示用情報生成処理において、生成部３６０が提示用情報を生成する際に使用される。
【００４３】
本実施形態の共通映像仕様３８１には、映像信号の仕様として、映像信号に含まれる画像の画素数と、縦横比と、解像度と、圧縮方法と、符号化方法とが含まれている。共通映像仕様３８１は、予め定められて外部記憶装置３８０内に記憶されている。共通映像仕様３８１を定める際は、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００ａ〜１００ｎにおいて採用されている映像信号の仕様を考慮することが好ましい。
【００４４】
図４は、管理テーブル３８２の一例を示す説明図である。役割記憶部および装置間関係記憶部としての管理テーブル３８２は、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００の情報を管理するため、より具体的には、第２の入出力部３７１〜３７ｎにそれぞれ接続されているヘッドマウントディスプレイ１００ａ〜１００ｎの情報を管理するためのテーブルである。管理テーブル３８２は、提示用情報生成処理において生成部３６０が提示用情報を生成する際に使用されるほか、第２の入出力部３７１〜３７ｎがヘッドマウントディスプレイ１００ａ〜１００ｎに対して提示用情報を送信する際にも使用される。
【００４５】
本実施形態の管理テーブル３８２は、識別子と、装置間関係と、役割と、映像仕様とが関連付けられて記憶されている。「識別子」には、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００を相互に識別するための一意な識別子が格納されている。「装置間関係」には、第２の入出力部３７０に接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎの主従関係を表す文字列が格納されている。本実施形態では、１台のヘッドマウントディスプレイ１００を主（マスター）とし、他のヘッドマウントディスプレイ１００を従（スレーブ）とする。「役割」には、識別子によって識別されるヘッドマウントディスプレイ１００の使用者が、医療の現場においてどのような役割を担っているかを表す文字列が格納されている。「映像仕様」には、識別子によって識別されるヘッドマウントディスプレイ１００における映像信号の仕様（映像信号に含まれる画像の画素数、縦横比、解像度、圧縮方法、符号化方法等）のパターンを表す文字列が格納されている。
【００４６】
図４の例では、識別子「１」により識別されるヘッドマウントディスプレイ１００の使用者は「執刀医」であり、当該ヘッドマウントディスプレイ１００の映像仕様は「仕様Ａ」であることがわかる（エントリーＥ０１）。同様に、識別子「ｎ」により識別されるヘッドマウントディスプレイ１００の使用者は「看護師」であり、当該ヘッドマウントディスプレイ１００の映像仕様は「仕様Ｅ」であることがわかる（エントリーＥ０ｎ）。また、図４の例では、識別子「１」により識別されるヘッドマウントディスプレイ１００がマスターであり、他の識別子により識別されるヘッドマウントディスプレイ１００はスレーブであることがわかる（エントリーＥ０１〜Ｅ０ｎ）。
【００４７】
管理テーブル３８２は、予め定められて外部記憶装置３８０に記憶されていてもよいし、情報処理装置３００に対してヘッドマウントディスプレイ１００が接続された際に、初期処理として自動的に生成されもよい。具体的には、例えば、生成部３６０は、第２の入出力部３７０に対するヘッドマウントディスプレイ１００の接続を検出した際に、当該ヘッドマウントディスプレイ１００に対して一意な識別子を付与すると共に、ヘッドマウントディスプレイ１００から、主従（マスター／スレーブ）の指定と、使用者の役割と、映像仕様とを取得する。生成部３６０は、付与した識別子と、主従の指定と、取得した役割と、映像仕様とを管理テーブル３８２に格納する。第２の入出力部３７０に対してヘッドマウントディスプレイ１００ａ〜１００ｎが接続される度に、上記のような初期処理を行うことによって、生成部３６０は管理テーブル３８２を自動的に生成することができる。
【００４８】
管理テーブル３８２のうちの「装置間関係」は、上述のように、ヘッドマウントディスプレイ１００から取得するほか、例えば、以下のような方法で決定されてもよい。
・ヘッドマウントディスプレイ１００から取得した役割に応じて決定する。例えば、生成部３６０は、執刀医のヘッドマウントディスプレイ１００をマスターとして、執刀医以外のヘッドマウントディスプレイ１００をスレーブとする。
・ヘッドマウントディスプレイ１００の現在位置情報を取得し、各ヘッドマウントディスプレイの位置関係に応じて決定する。例えば、生成部３６０は、ヘッドマウントディスプレイ１００の現在位置情報を取得し、手術台の中央に最も近接した位置にあるヘッドマウントディスプレイ１００をマスターとして、他のヘッドマウントディスプレイ１００をスレーブとする。
・ヘッドマウントディスプレイ１００のハードウェア、ソフトウェア構成の相違に基づいて決定する。例えば、生成部３６０は、ヘッドマウントディスプレイ１００の型番を取得し、特定の型番のヘッドマウントディスプレイ１００をマスターとして、他のヘッドマウントディスプレイ１００をスレーブとする。
【００４９】
管理テーブル３８２のうちの「役割」は、上述のように、ヘッドマウントディスプレイ１００から取得するほか、例えば、以下のような方法で決定されてもよい。
・ヘッドマウントディスプレイ１００の現在位置情報に基づいて決定する。例えば、情報処理装置３００の外部記憶装置３８０には、予め、手術室内における設備（手術台、医療用装置５００）のレイアウトと、手術室内における役割ごとのスタッフの立ち位置のレイアウトと、を含むレイアウト情報を記憶しておく。そして、生成部３６０は、ヘッドマウントディスプレイ１００の現在位置情報を取得し、取得した現在位置情報をレイアウト情報と照合することで、当該ヘッドマウントディスプレイ１００の使用者の役割を決定する。
・ヘッドマウントディスプレイ１００の使用者の視界方向の画像（外景画像）に基づいて決定する。生成部３６０は、ヘッドマウントディスプレイ１００から外景画像を取得し、外景画像を画像認識することで、使用者が視認している医療用装置５００の種類、手術室内の設備の種類、患者の体の部分等を特定する。生成部３６０は、特定したこれらの情報に応じて、当該ヘッドマウントディスプレイ１００の使用者の役割を決定する。
【００５０】
図２の不可視情報３８３（不可視情報記憶部）には、物体の外観に現れない情報である不可視情報が記憶されている。不可視情報は、物体の構造を表した画像や文字情報であり、物体が生体である場合、例えば、ＣＴ画像、ＭＲＩ画像、レントゲン（Ｘ線）画像、透視画像、超音波診断画像、内視鏡画像、サーモグラフィー画像、および、これらに付随する文字情報である。不可視情報は、予め撮影されて、不可視情報３８３に記憶されている。
【００５１】
図２の手術の記録３８４は、情報処理装置３００が取得した医療用装置情報と、情報処理装置３００が生成した提示用情報と、取得または生成の日時と、を対応付けて記録するための記録部である。情報処理装置３００が取得した医療用装置情報とは、情報処理装置３００が、第１の入出力部３１１〜３１ｎにそれぞれ接続されている複数の医療用装置５０１〜５０ｎから取得した医療用装置情報を意味する。また、情報処理装置３００が生成した提示用情報とは、提示用情報生成処理において、生成部３６０が生成したすべての提示用情報を意味する。情報処理装置３００が取得、生成した情報の記録は、手術（診察、処置、治療）のログとほぼ同視することができる。従って、このようにすれば、手術等が終了した後において、手術のログを、手術内容の分析、研修、学術等に利用することができる。
【００５２】
図２の動作モード３８５には、生成部３６０の提示用情報生成処理における処理のモード（すなわち、生成部３６０の動作モード）が記憶されている。動作モード３８５の内容は、情報処理装置３００が備える図示しない入力デバイスにより変更可能である。また、ヘッドマウントディスプレイ１００からの変更指示によっても変更可能である。
【００５３】
Ａ−３．頭部装着型表示装置の構成：
図５は、ヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。以降では、ヘッドマウントディスプレイ１００の構成の一例としてヘッドマウントディスプレイ１００ａを例示して説明する。ヘッドマウントディスプレイ１００ａは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置であって、情報処理装置３００から取得した提示用情報を虚像として表示する。ヘッドマウントディスプレイ１００ａは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０とを備えている。画像表示部２０と制御部１０とは、ケーブル４０を介して各種信号の伝送を行う。
【００５４】
Ａ−３−１．制御部の構成：
制御部１０は、例えばタッチパッド、十字キー、フットスイッチ、ジェスチャー、マイクロホン等の入力デバイスに対する操作入力を取得する入力情報取得部１１０と、ＲＯＭやハードディスク等により構成される記憶部１２０と、ヘッドマウントディスプレイ１００ａの各部に電力を供給する電源１３０と、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の所定の無線通信規格に則って他の機器との間で無線通信を行う無線通信部１３２と、現在位置取得部１３４と、ＣＰＵ１４０と、情報処理装置３００や種々の外部機器ＯＡを接続するためのインターフェイス１８０と、送信部（Ｔｘ）５１、５２とを備え、各部は図示しないバスにより相互に接続されている。現在位置取得部１３４は、ＧＰＳ衛星からの信号を受信することにより、ヘッドマウントディスプレイ１００ａの使用者の現在位置を検出し、使用者の現在位置を表す現在位置情報を生成する。なお、現在位置取得部１３４は、複数の基地局の電波を受信し、受信した電波の強弱を判定することによって現在位置情報を生成してもよい。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。インターフェイス１８０は、情報処理装置３００の第１の入出力部３１０と同様に、様々な通信規格に準拠することができる。
【００５５】
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声信号を右イヤホン３２のスピーカーと左イヤホン３４のスピーカーとに対して供給する音声処理部１７０、表示制御部１９０として機能する。画像処理部１６０は、提示用情報取得部としてのインターフェイス１８０や無線通信部１３２を介して入力される提示用情報の映像信号に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、送信部５１、５２と、ケーブル４０とを介して画像表示部２０に供給することで、画像表示部２０における表示を制御する。画像表示部２０に供給するための信号は、周知のアナログ形式やディジタル形式を用いることができる。表示制御部１９０は、画像表示部２０の右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成し、送信部５１、５２を介して送信する。制御信号とは、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に切り替えるための信号である。
【００５６】
Ａ−３−２．画像表示部の構成：
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、画像を表す画像光を生成し射出する右表示駆動部２２および左表示駆動部２４と、画像光を使用者の両眼へ導く右光学像表示部２６および左光学像表示部２８（図２）と、画像取得部としてのカメラ６１と、９軸センサー６６とを含む。
【００５７】
右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ（Liquid Crystal Display）制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含む。右バックライト制御部２０１は、受信部５３を介して入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、入力された映像信号に基づいて右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することで、右ＬＣＤ２４１を透過する光の透過率を変化させ、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、右表示駆動部２２と同様に動作する。
【００５８】
右光学像表示部２６と左光学像表示部２８とは、使用者が画像表示部２０を装着した際に使用者の左右の眼前に位置するように配置されている（図２）。右光学像表示部２６は、光透過性の樹脂材料等によって形成された右導光板２６１を含む。右導光板２６１は、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥへ導く。右導光板２６１には、回折格子を用いても良いし半透過反射膜を用いても良い。左光学像表示部２８は、右光学像表示部２６と同様の構成を有し、右光学像表示部２６と同様に動作する。このようにして、ヘッドマウントディスプレイ１００ａの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。本実施形態のヘッドマウントディスプレイ１００ａの使用者は、視野のうち虚像が表示された部分については、虚像と、虚像の背後の外景とを同時に見ることができる。また、視野のうち虚像が表示されていない部分については、左右の光学像表示部２６、２８を透過して、外景を直接見ることができる。
【００５９】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００ａの使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。なお、頭部の向きを「方位情報」とも呼ぶ。視界画像取得部としてのカメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００ａを装着した状態における使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラである。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。
【００６０】
Ａ−４．提示用情報生成処理：
図６は、提示用情報生成処理の手順を示すフローチャートである。提示用情報生成処理は、ヘッドマウントディスプレイ１００へ表示させるための提示用情報を生成する処理であり、情報処理装置３００（図２）の生成部３６０が実行する。提示用情報生成処理は、共通の提示用情報を生成する第１のモードと、ヘッドマウントディスプレイ１００ａ〜１００ｎにそれぞれ対応する複数の提示用情報を生成する第２のモードと、に分かれている。また、第２のモードにおいて実行される処理は、ステップＳ１２０〜Ｓ１３４から構成される初期処理と、ステップＳ１３６〜Ｓ１４２から構成される個別処理とに大別できる。
【００６１】
生成部３６０は、動作モード３８５に記憶されている内容を参照することで、生成部３６０の動作モードを確認する（ステップＳ１００）。
【００６２】
Ａ−４−１．第１のモード：
動作モードが「第１のモード」である場合（ステップＳ１００：第１のモード）、生成部３６０は、管理テーブル３８２から、マスターであるヘッドマウントディスプレイ１００を検索する（ステップＳ１１０）。具体的には、生成部３６０は、管理テーブル３８２を参照し、「装置間関係」にマスターと記憶されているエントリーを検索し、検索されたエントリーの「識別子」を取得する。
【００６３】
生成部３６０は、マスターであるヘッドマウントディスプレイ１００から情報源の選択要求を取得する（ステップＳ１１２）。具体的には、生成部３６０は、ステップＳ１１０において取得した識別子を有するヘッドマウントディスプレイ１００に対して、情報源の選択要求を送信するよう要求する。ここで、情報源の選択要求とは、例えば以下ａ１〜ａ６に列挙するような要求を意味する。
（ａ１）医療用装置５００によって取得された医療用装置情報の閲覧要求
（ａ２）外部の施設の医師ＰＲとの通話要求
（ａ３）院内データベースＯＤに記録されているデーターの閲覧要求
（ａ４）不可視情報３８３に記録されているデーターの閲覧要求
（ａ５）手術の記録３８４に記録されているデーターの閲覧要求
（ａ６）ヘッドマウントディスプレイ１００の使用者による表示部の視認が困難な医療用装置５００の医療用装置情報の閲覧要求
【００６４】
要求ａ１の場合の情報源は医療用装置５００である。同様に、要求ａ２の場合の情報源は医師ＰＲであり、要求ａ３の場合の情報源はデータベースＯＤであり、要求ａ４の場合の情報源は不可視情報３８３であり、要求ａ５の場合の情報源は手術の記録３８４であり、要求ａ６の場合の情報源は使用者による表示部の視認が困難な医療用装置５００である。ここで、「使用者による表示部の視認が困難な医療用装置５００」とは、例えば、以下のような医療用装置５００の総称である。
・医療用装置５００が使用者の死角にあるために、使用者から表示部（ディスプレイ等）が視認できない、または視認しづらい医療用装置５００。
・医療用装置５００が使用者から離れた場所にあるために、使用者から表示部が視認できない、または視認しづらい医療用装置５００。
・医療用装置５００は使用者の死角でなく、かつ、使用者から近い場所にあるものの、使用者の視線と表示部とが対向していないために、使用者から表示部が視認できない、または視認しづらい医療用装置５００。
【００６５】
上記の要求ａ１〜ａ６は、単独で発行されてもよいし、組み合わせられてもよい。ただし、本実施形態においては、情報源の取得要求には、少なくとも要求ａ１が含まれるものとする。情報源の選択要求は、ヘッドマウントディスプレイ１００の使用者の操作に応じて適宜発行される。
【００６６】
ヘッドマウントディスプレイ１００は、例えば、以下の手順ｂ１〜ｂ５によって、情報処理装置３００に対して情報源の選択要求を送信することができる。
（ｂ１）ヘッドマウントディスプレイ１００の使用者は、ヘッドマウントディスプレイ１００の入力デバイス（タッチパッド、十字キー、フットスイッチ、ジェスチャー、マイクロホン等）を介して、希望する情報源と、情報源内の情報を特定するための情報と、を入力する。入力方法として、マイクロホンを介した音声入力を採用すれば、使用者が手を用いて操作することが困難な医療の現場においてヘッドマウントディスプレイ１００が使用される場合の、使用者の利便性を大きく向上させることができる。なお、要求ａ１、ａ６の場合、「情報源内の情報を特定するための情報」は入力不要である。
（ｂ２）ヘッドマウントディスプレイ１００の入力情報取得部１１０は、使用者の操作入力に応じた信号を取得し、ＯＳ１５０へ送信する。
（ｂ３）ヘッドマウントディスプレイ１００のＯＳ１５０は、情報源の選択要求を生成する。具体的には、要求ａ１の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、手順ｂ１で指定された情報源を特定するための識別子と、を含んだ情報源の選択要求を生成する。要求ａ２〜ａ５の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、手順ｂ１で指定された情報源を特定するための識別子と、情報源内の情報を特定するための情報と、を含んだ情報源の選択要求を生成する。要求ａ６の場合、ＯＳ１５０は、ヘッドマウントディスプレイ１００の識別子と、ヘッドマウントディスプレイ１００の現在位置情報と、方位情報と、を含んだ情報源の選択要求を生成する。なお、この現在位置情報および方位情報は、要求ａ６の「使用者による表示部の視認が困難な医療用装置５００」を特定するために用いられる。
（ｂ４）ヘッドマウントディスプレイ１００のＯＳ１５０は、インターフェイス１８０や無線通信部１３２を介して接続されている情報処理装置３００に対して、手順ｂ３で生成した情報源の選択要求を送信する。
（ｂ５）情報処理装置３００の第２の入出力部３７０は、生成部３６０に対して、受信した情報源の選択要求を送信する。
【００６７】
提示用情報生成処理（図６）のステップＳ１１４において、生成部３６０は、情報源の選択要求に含まれる、情報源を特定するための情報と、情報源内の情報を特定するための情報と、を取得する。さらに、生成部３６０は、情報源を特定するための情報として、現在位置情報および方位情報が挿入されている場合は、当該現在位置情報と方位情報とを、他の全ての医療用装置５００から取得した位置情報と比較して、「使用者による表示部の視認が困難な医療用装置５００」を特定する。なお、ステップＳ１１４において生成部３６０は、現在位置情報および方位情報に対してさらに、ヘッドマウントディスプレイ１００の９軸センサー６６により得られた使用者の頭部の動き（頭部の速度・加速度・角速度・向き・向きの変化）を組み合わせて、「使用者による表示部の視認が困難な医療用装置５００」を特定してもよい。
【００６８】
生成部３６０は、指定（特定）された情報源にアクセスして、指定された情報を取得する。そして、生成部３６０は、取得した情報を用いて、第２の入出力部３７０に接続されている全てのヘッドマウントディスプレイ１００に提供するための、共通の提示用情報を生成する。この共通の提示用情報を「提示用情報ＰＮ＊」とも呼ぶ。生成部３６０は、生成した提示用情報ＰＮ＊を手術の記録３８４に記憶させる（ステップＳ１１６）。
【００６９】
図７は、提示用情報の生成方法について説明するための説明図である。ステップＳ１１６により取得された情報が単数である場合、生成部３６０は、取得された情報ＣＰ１に含まれる画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換することによって、提示用情報ＰＮを生成する（図７（Ａ））。生成部３６０は、この変換にあたって、特に、取得された情報ＣＰ１に含まれる画像の縦横比と、共通映像仕様３８１に規定されている画像の縦横比とが異なる場合、取得された情報ＣＰ１に含まれる画像の縦横比を維持したまま、画像を拡大または縮小する。すると、提示用情報ＰＮの縦方向または横方向に画像のない余白部分（図において斜線で表す）が生じる。
【００７０】
生成部３６０は、余白部分に関して、以下のｃ１、ｃ２のいずれかの手順を実行する。これにより、余白部分がヘッドマウントディスプレイ１００において虚像として表示されて、使用者の視界を遮ることを抑制することができる。
（ｃ１）生成部３６０は、提示用情報ＰＮの余白部分に対して黒色のダミードットデーターを挿入する。
（ｃ２）生成部３６０は、提示用情報ＰＮの余白部分に対して、ヘッドマウントディスプレイ１００の右表示駆動部２２および左表示駆動部２４における画像光生成の有効／無効を切り替えるための信号（Ｅｎａｂｌｅ信号）をＬｏ値（無効を示す値）とする。
【００７１】
このようにすれば、提示用情報ＰＮに含まれる画像の縦横比が変わることがない。情報処理装置３００が使用される医療の現場における画像（例えば、術部の静止画および動画、ＣＴ画像、ＭＲＩ画像、レントゲン画像等）は、使用者が視認する画像の実寸感覚が損なわれないように、医療用装置５００において撮影された画像の縦横比を厳密に維持することが好ましい。その点、ステップＳ１１６により取得された情報ＣＰ１に含まれる画像の縦横比を維持することとすれば、情報源が医療用装置５００である場合に、医療用装置５００により測定または撮像等された医療用装置情報に予期しない歪みが生じることを抑制できる。なお、図７（Ｂ）は、取得された情報ＣＰ１に含まれる画像の縦横比を維持せず、共通映像仕様３８１に規定されている画像の縦横比に合わせて拡大した結果、情報に歪みが生じた提示用情報ＰＮｘを表している。
【００７２】
図８は、提示用情報の生成方法について説明するための説明図である。ステップＳ１１６により取得された情報が複数である場合、生成部３６０は、取得された全ての情報（図１０の例では、医療用装置情報ＣＰ２、ＣＰ３）に含まれる画像が配置された第１の画像を生成する。この際も、生成部３６０は、取得された情報に含まれる画像の縦横比を維持する。また、取得された情報に含まれる画像は、第１の画像の端部に配置されることが好ましい。生成部３６０は、生成した第１の画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換することによって、提示用情報ＰＮを生成する（図８）。なお、生成部３６０は、第１の画像のうち、画像が配置されていない余白部分（図において斜線で表す）について、上述した方法ｃ１またはｃ２のいずれかの手順を実行する。これにより、余白部分がヘッドマウントディスプレイ１００において虚像として表示されて、使用者の視界を遮ることを抑制することができる。
【００７３】
図９は、提示用情報の第１の例を示す説明図である。図９（Ａ）は、情報源の選択要求において、不可視情報３８３に記憶されている患者のレントゲン画像（ＣＰ４）が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。なお、情報源の選択要求において、不可視情報を取得することが可能な医療用装置５００（レントゲン画像撮影装置）が指定された場合にも、図９（Ａ）と同様の提示用情報が生成される。
【００７４】
図９（Ｂ）は、情報源の選択要求において、医療用装置５００としての手術用タイマーと、医療用装置５００としての脈拍計と、医療用装置５００としての生体モニターと、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。提示用情報ＰＮの各端部には、手術用タイマーから取得された現在時刻ＣＰ５および手術開始からの経過時間ＣＰ７と、脈拍計から取得された脈拍の画像ＣＰ６と、生体モニターから取得された心拍数（ＨＲ）と、血圧（ＳＹＳ／ＤＩＡ）と、動脈血酸素飽和度（ＳｐＯ２）との画像ＣＰ８が配置されている。
【００７５】
図１０は、提示用情報の第２の例を示す説明図である。図１０（Ａ）は、情報源の選択要求において、院内データベースＯＤに記憶されている学術書（ＣＰ９）と、院内データベースＯＤに記憶されている手術の手順情報（ＣＰ１０）と、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。図１０（Ｂ）は、情報源の選択要求において、医療用装置５００としての術部の静止画および動画を撮影するための可視光カメラと、外部の施設の医師ＰＲとの通話と、が指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。
【００７６】
図１１は、提示用情報の第３の例を示す説明図である。図１１は、情報源の選択要求において、医療用装置５００としての生体モニターが指定された場合に、生成部３６０によって生成される提示用情報ＰＮの一例である。図１１に示す生体モニターは、第１の入出力部３１０に接続できるインターフェイスを備えていない。しかし、情報処理装置３００が可視光カメラを備える構成とした上で、可視光カメラが生体モニターの画面（ＣＰ１３）を撮影することとすれば、生成部３６０は、第１の入出力部３１０に接続できるインターフェイスを持たない医療用装置からの医療用装置情報を用いて、図１１のように、提示用情報ＰＮを生成することができる。
【００７７】
なお、提示用情報ＰＮの生成に際して、ヘッドマウントディスプレイ１００は、情報源の選択要求において、各情報源における情報の「配置」、「大きさ」、「透過度」等を直接的または間接的に指定してもよい。ここで「直接的に指定する」とは、ヘッドマウントディスプレイ１００が、各情報が配置される座標、大きさ、透過度を示す数値を指定することを意味する。また、「間接的に指定する」とは、例えば、ヘッドマウントディスプレイ１００が、外景を優先させる「外景優先モード」と、画像を優先させる「画像優先モード」等、予め用意された表示モードのうちから所望のモードを指定することを意味する。例えば、外景優先モードの場合、生成部３６０は、図８のように、情報を端部に小さく配置して、画面中央における使用者の視界を妨げない提示用情報ＰＮを生成する。画像優先モードの場合、生成部３６０は、図９（Ａ）のように、情報を画面中央に大きく配置した提示用情報ＰＮを生成する。
【００７８】
提示用情報生成処理（図６）のステップＳ１１８において、生成部３６０は、生成した提示用情報ＰＮ＊を、全ての第２の入出力部３７０（第２の入出力部３７１〜第２の入出力部３７ｎ）へ送信する。第２の入出力部３７１は、受信した提示用情報ＰＮ＊に含まれる画像を、ヘッドマウントディスプレイ１００ａの映像信号の仕様に沿って変換する。なお、この際に、第２の入出力部３７１は管理テーブル３８２の「映像仕様」を参照してもよい。映像仕様の変換後、第２の入出力部３７１は、ヘッドマウントディスプレイ１００ａに対して提示用情報ＰＮ＊を送信する。同様に、第２の入出力部３７２〜第２の入出力部３７ｎは、受信した提示用情報ＰＮ＊に含まれる画像を、ヘッドマウントディスプレイ１００ｂ〜１００ｎの映像信号の仕様に沿ってそれぞれ変換し、変換後の提示用情報ＰＮ＊を、ヘッドマウントディスプレイ１００ｂ〜１００ｎに対してそれぞれ送信する。
【００７９】
図１２は、複数のヘッドマウントディスプレイ１００ａと１００ｂとにおいて、提示用情報ＰＮ＊が虚像として表示されている様子を示す説明図である。第２の入出力部３７１から送信された提示用情報ＰＮ＊を、インターフェイス１８０または無線通信部１３２を介して受信したヘッドマウントディスプレイ１００ａでは、画像処理部１６０による上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００ａの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００ａの使用者は、視野ＶＲに提示用情報ＰＮ＊の虚像ＶＩを視認することができる。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して、手術台に横たわる患者の様子を直接視認することができる（外景ＳＣ）。同様に、第２の入出力部３７２から送信された提示用情報ＰＮ＊を受信したヘッドマウントディスプレイ１００ｂでは、画像処理部１６０による上述の表示処理が行われ、ヘッドマウントディスプレイ１００ｂの使用者は、視野ＶＲに提示用情報ＰＮ＊の虚像ＶＩを視認することができる。図１２の例では、ヘッドマウントディスプレイ１００ａの使用者が視認する虚像ＶＩ（ＰＮ＊）と、ヘッドマウントディスプレイ１００ｂの使用者が視認する虚像ＶＩ（ＰＮ＊）とには、共に、術部の静止画および動画を撮影するための医療用装置５０２から取得された医療用装置情報ＣＰが表示されている。
【００８０】
図１３は、異なる位置にある複数のヘッドマウントディスプレイ１００ａと１００ｂとにおいて、提示用情報ＰＮ＊が虚像として表示されている様子を示す説明図である。情報処理装置３００の第２の入出力部３７０（第２の入出力部３７１〜第２の入出力部３７ｎ）は、図１３に示すように、提示用情報に含まれる画像の向きや大きさを、外景ＳＣに含まれる対象物体の向きや大きさと一致させるフィッティング処理を行ってもよい。対象物体とは、医療の現場においては、例えば患者の体や体の一部である。以降、第２の入出力部３７１を例示して、フィッティング処理について説明する。提示用情報生成処理（図６）のステップＳ１１８において、第２の入出力部３７１は、提示用情報ＰＮ＊に含まれる画像をヘッドマウントディスプレイ１００ａの映像信号の仕様に沿って変換した後、以下の手順ｄ１〜ｄ５に示す処理を行う。
【００８１】
（ｄ１）第２の入出力部３７１は、ヘッドマウントディスプレイ１００ａに対して、カメラ６１を用いた外景画像の撮像を指示し、撮像された外景画像を取得する。
（ｄ２）第２の入出力部３７１は、下記１、２のような画像認識の方法を用いて、外景画像に含まれる対象物体の特徴を抽出する。なお、方法１と２とは、組み合わせてもよい。
１．対象物体のエッジ（特徴）を検出する。
２．対象物体に予め付されたマーカー（特徴）を検出する。なお、物体に付すマーカーは種々の種類のマーカーを使用可能である。例えば、テープ、シール、マジック、レーザーマーカー、マジックテープ（登録商標）等を使用することができる。また、対象物体に付すマーカーの数は任意である。
（ｄ３）第２の入出力部３７１は、受信した提示用情報に含まれる画像を画像認識することで、対象物体の特徴を抽出する。この際、第２の入出力部３７１は、上記１、２と同様の画像認識の方法を使用することができる。
【００８２】
（ｄ４）第２の入出力部３７１は、手順ｄ２で抽出された外景画像の特徴と、手順ｄ３で抽出された提示用情報の特徴と、の位置が一致するように、提示用情報ＰＮ＊に含まれる画像ＣＰを補正する。具体的には、手順ｄ２、ｄ３において方法１を用いた場合、第２の入出力部３７１は、外景画像のエッジと、提示用情報のエッジとの、輪郭や特徴的な部位の位置が一致するように、提示用情報ＰＮ＊に含まれる画像ＣＰに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。ここで、特徴的な部位とは、対象物体が生体である場合、切開された皮膚の輪郭、内蔵の輪郭、関節、四肢の先端、血管、骨等である。一方、手順ｄ２、ｄ３において方法２を用いた場合、第２の入出力部３７１は、外景画像のマーカーと、提示用情報のマーカーと、の位置が一致するように、提示用情報ＰＮ＊に含まれる画像ＣＰに対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。
【００８３】
このようにすれば、第２の入出力部３７０（第２の入出力部３７１〜第２の入出力部３７ｎ）は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の使用者の視界方向の画像を画像認識することで外景に含まれる物体の特徴を抽出し、抽出した特徴に基づいて、生成部３６０により生成された提示用情報を補正する。このため、提示用情報に、例えばＣＴ画像、ＭＲＩ画像、レントゲン画像等の不可視情報が含まれる場合において、外景に含まれる物体（例えば、患者の体等）に不可視情報を一致させることができる。この結果、ヘッドマウントディスプレイ１００の使用者の利便性を向上させることができる。また、上記のフィッティング処理は、特定のヘッドマウントディスプレイ１００に接続されている第２の入出力部３７０において実行されるため、他のヘッドマウントディスプレイ１００に接続されている第２の入出力部３７０に対して処理負荷をかけることがない。さらに、ヘッドマウントディスプレイ１００は、フィッティング処理が施された後の提示用情報を受信することができるため、ヘッドマウントディスプレイ１００の画像処理部１６０は、受信した提示用情報をそのまま表示すればよい。この結果、ヘッドマウントディスプレイ１００の構成をシンプルにすることができる。
【００８４】
以上のように、生成部３６０の動作モードが「第１のモード」である場合、生成部３６０は、管理テーブル３８２の装置間関係が「マスター」であるヘッドマウントディスプレイ１００（すなわち、特定の画像表示装置）の使用者によって選択された医療用装置情報を少なくとも含む、共通の提示用情報ＰＮ＊を生成する。第２の入出力部３７０（提供部）は、第２の入出力部３７１〜３７ｎにそれぞれ接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された共通の提示用情報ＰＮ＊をそれぞれ出力する。この結果、情報処理装置３００は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を、特定のヘッドマウントディスプレイ１００の使用者の選択に基づいて制御することが可能となる。
【００８５】
Ａ−４−２．第２のモード（初期処理）：
提示用情報生成処理（図６）のステップＳ１００において、動作モードが「第２のモード」である場合（ステップＳ１００：第２のモード）、生成部３６０は、提示用情報生成処理において使用する変数ｉに「１」をセットする（ステップＳ１２０）。その後、生成部３６０は、管理テーブル３８２のｉ番目のエントリーを参照する（ステップＳ１２２）。生成部３６０は、管理テーブル３８２のｉ番目のエントリーに格納されている「識別子」と、「役割」とを取得する（ステップＳ１２４）。
【００８６】
なお、以降では、ステップＳ１２４において取得した識別子を有するヘッドマウントディスプレイ１００を「ヘッドマウントディスプレイ１００ｉ」とも呼ぶ。ヘッドマウントディスプレイ１００ｉは、初期処理において、現在処理中であるヘッドマウントディスプレイ１００を指している。例えば、変数ｉ＝１である場合、ヘッドマウントディスプレイ１００ｉは、管理テーブル３８２の１番目のエントリーＥ０１に格納されている、識別子が１である執刀医のヘッドマウントディスプレイ１００ａを指す。
【００８７】
提示用情報生成処理（図６）のステップＳ１２６において、生成部３６０は、ヘッドマウントディスプレイ１００ｉの使用者の役割に応じた医療用装置５００を特定する。具体的には、生成部３６０は、ステップＳ１２４で取得した「役割」を用いて、当該役割を遂行するにあたって、ヘッドマウントディスプレイ１００ｉの使用者がチェックすべき医療用装置５００を特定する。これは、医療の現場での慣例に従って特定される。例えば、役割が執刀医であれば、ＣＴ画像やレントゲン画像等の不可視情報を取得する装置が医療用装置５００として特定され、役割が麻酔科医であれば、血圧計、心電図、気道内圧計、換気量計、カプノグラム、パルスオキシメーターが医療用装置５００として特定される。なお、情報処理装置３００は、役割と、役割に応じて必要な医療用装置５００とを関連付けたテーブルを、予め外部記憶装置３８０に記憶していてもよい。
【００８８】
医療用装置５００を特定後、ステップＳ１２８において生成部３６０は、第１の入出力部３１１〜３１ｎが取得した医療用装置５０１〜５０ｎの医療用装置情報のうち、ステップＳ１２６で特定された医療用装置５００から取得した医療用装置情報を用いて、ヘッドマウントディスプレイ１００ｉへ送信するための提示用情報ＰＮｉを生成する。なお、生成部３６０が提示用情報を生成する方法は、図７および図８で説明した通りである。その後、生成部３６０は、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。
【００８９】
ステップＳ１３０において、生成部３６０は、ステップＳ１２４で生成した提示用情報ＰＮｉを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信する。第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。また、この際、第２の入出力部３７０ｉは、フィッティング処理を実行してもよい。詳細は、ステップＳ１１８で説明した通りである。
【００９０】
図１４は、ステップＳ１２２〜Ｓ１３４が２回実行された結果、複数のヘッドマウントディスプレイ１００ａと１００ｂとにおいて、提示用情報ＰＮｉが虚像として表示されている様子を示す説明図である。インターフェイス１８０または無線通信部１３２を介して提示用情報ＰＮｉを受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００ｉの使用者は、自身の役割に応じた医療用装置５００から取得された医療用装置情報が含まれた提示用情報ＰＮｉの虚像を視認することができる。図１４の例では、ヘッドマウントディスプレイ１００ａの使用者が視認する虚像ＶＩ（ｉ）には、執刀医がチェックすべき医療用装置５００から取得された医療用装置情報ＣＰ４が表示されている。また、ヘッドマウントディスプレイ１００ｂの使用者が視認する虚像ＶＩ（ｉ）には、第１助手がチェックすべき医療用装置５００から取得された医療用装置情報ＣＰ２と、ＣＰ３とが表示されている。
【００９１】
提示用情報生成処理（図６）のステップＳ１３２において、生成部３６０は、変数ｉをインクリメントする。その後、生成部３６０は、変数ｉがｎ以上でないかを判定する（ステップＳ１３４）。変数ｉがｎ未満である（ステップＳ１３４：ＮＯ）ということは、すなわち、第２の入出力部３７０に接続されているヘッドマウントディスプレイ１００のうち、初期処理が終了していないヘッドマウントディスプレイ１００が存在することを意味する。このため、生成部３６０は、処理をステップＳ１２２へ遷移させ、初期処理を継続する。一方、変数ｉがｎ以上である（ステップＳ１３４：ＹＥＳ）ということは、全てのヘッドマウントディスプレイ１００についての初期処理が終了したことを意味する。このため、生成部３６０は、処理をステップＳ１３６の個別処理へ遷移させる。
【００９２】
以上のように、生成部３６０の動作モードが「第２のモード」である場合、生成部３６０は、初期処理のステップＳ１２２〜Ｓ１３４を繰り返し実行することによって、複数のヘッドマウントディスプレイ１００ｉ（１００ａ〜１００ｎ）の使用者のそれぞれの役割に応じた医療用装置５００から取得した医療用装置情報を少なくとも含む、複数の提示用情報ＰＮｉを生成し、第２の入出力部３７０（提供部）は、第２の入出力部３７１〜３７ｎにそれぞれ接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された複数の提示用情報ＰＮｉを順次出力する。この結果、情報処理装置３００は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を、各ヘッドマウントディスプレイ１００の使用者の役割に応じて、別個に制御することが可能となり、ヘッドマウントディスプレイ１００の使用者の利便性を向上させることができる。
【００９３】
Ａ−４−３．第２のモード（個別処理）：
個別処理では、生成部３６０は、ヘッドマウントディスプレイ１００からの要求に基づいて、要求された医療用装置５００から取得した医療用装置情報や、要求された医療用装置５００以外の情報源から取得した情報を含む提示用情報を生成する。
【００９４】
提示用情報生成処理（図６）のステップＳ１３６において、生成部３６０は、ヘッドマウントディスプレイ１００から情報源の選択要求を受信したか否かを判定する。情報源の選択要求とは、ステップＳ１１２において説明した要求ａ１〜ａ６と同様である。情報源の選択要求を受信していない場合（ステップＳ１３６：なし）、生成部３６０は、ステップＳ１３６に処理を遷移させ、情報源の選択要求の受信を待機する。
【００９５】
一方、情報源の選択要求を受信した場合（ステップＳ１３６：あり）、生成部３６０は、情報源の選択要求に含まれるヘッドマウントディスプレイ１００ｉの識別子と、情報源を特定するための情報と、情報源内の情報を特定するための情報と、を取得する（ステップＳ１２８）。さらに、生成部３６０は、情報源を特定するための情報として、現在位置情報および方位情報が挿入されている場合は、当該現在位置情報と方位情報とを、他の全ての医療用装置５００から取得した位置情報と比較して、「使用者による表示部の視認が困難な医療用装置５００」を特定する。ここで、生成部３６０は、ステップＳ１１４と同様に、現在位置情報および方位情報対して、ヘッドマウントディスプレイ１００使用者の頭部の動きを組み合わせてもよい。なお、ヘッドマウントディスプレイ１００ｉとは、情報源の選択要求の発行元であるヘッドマウントディスプレイ１００（すなわち、現在処理中であるヘッドマウントディスプレイ１００）を指す。
【００９６】
ステップＳ１４０において、生成部３６０は、指定された情報源にアクセスして、指定された情報を取得する。そして、生成部３６０は、取得した情報を用いて、ヘッドマウントディスプレイ１００ｉ用の提示用情報ＰＮｉを生成し、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。なお、生成部３６０が提示用情報を生成する方法は、図７および図８で説明した通りである。その後、生成部３６０は、生成した提示用情報ＰＮｉを手術の記録３８４に記憶させる。
【００９７】
ステップＳ１４２において、生成部３６０は、ステップＳ１４０で生成した提示用情報ＰＮｉを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信する。第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。また、この際、第２の入出力部３７０ｉは、フィッティング処理を実行してもよい。詳細は、ステップＳ１１８で説明した通りである。
【００９８】
インターフェイス１８０または無線通信部１３２を介して提示用情報ＰＮｉを受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、情報源の選択要求を送信したヘッドマウントディスプレイ１００ｉの使用者は、情報源の選択要求において指定した情報源から取得された情報が含まれた提示用情報ＰＮｉの虚像を視認することができる。
【００９９】
以上のように、生成部３６０の動作モードが「第２のモード」である場合、生成部３６０は個別処理を実行することによって、複数のヘッドマウントディスプレイ１００ｉ（１００ａ〜１００ｎ）の使用者によってそれぞれ選択された医療用装置情報を少なくとも含む、複数の提示用情報ＰＮｉを生成する。第２の入出力部３７０（提供部）は、第２の入出力部３７１〜３７ｎにそれぞれ接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された複数の提示用情報ＰＮｉを順次出力する。この結果、情報処理装置３００は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を、各ヘッドマウントディスプレイ１００の使用者の選択に基づいて別個に制御することが可能となる。
【０１００】
以上のように、第１実施形態の情報処理装置３００によれば、生成部３６０は、第１の入出力部３１０（取得部、第１の入出力部３１１〜第１の入出力部３１ｎ）により取得された複数の医療用装置情報を用いて提示用情報ＰＮを生成するため、情報処理装置３００の第１の入出力部３１０に接続されている多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の情報（医療用装置情報）を一元化することができる。また、第２の入出力部３７０（提供部）は、複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、生成された提示用情報ＰＮを出力するため、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を制御することができる。この結果、多種多様な医療用装置５００の情報を一元化すると共に、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を制御することが可能な情報処理装置３００を実現することができる。
【０１０１】
さらに、生成部３６０は、一元化されている医療用装置情報から、複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して共通する共通の提示用情報ＰＮ＊を生成する第１のモードと、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにそれぞれ対応する複数の提示用情報ＰＮｉを生成する第２のモードと、を有する。このため、情報処理装置３００は、生成部３６０におけるこれらのモードを使い分けることによって、複数のヘッドマウントディスプレイ１００ａ〜１００ｎにおける表示を制御することもできる。
【０１０２】
以上説明したように、第１実施形態の情報処理システム１０００によれば、多種多様な医療用装置５００（医療用装置５０１〜５０ｎ）の情報（医療用装置情報）を情報処理装置３００に一元化すると共に、複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（頭部装着型表示装置）における表示を制御することが可能な情報処理システム１０００を実現することができる。
【０１０３】
Ａ−５．付加的処理：
なお、提示用情報生成処理（図６）では、さらに、以下のような付加的処理を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。
【０１０４】
Ａ−５−１．付加的処理１：
付加的処理１では、情報処理装置３００は、提示用情報に対する色変換処理を行う。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、ヘッドマウントディスプレイ１００のカメラ６１に外景画像を取得させる。そして、第２の入出力部３７０は、取得された外景画像の明度、コントラスト、彩度、色相に応じて、提示用情報に含まれる画像の視認性を向上させるような色変換処理を実施する。例えば、第２の入出力部３７０は、提示用情報に含まれる画像の色相を、外景画像の色相の補色へと変換する色変換処理を行うことができる。
【０１０５】
このように、付加的処理１によれば、ヘッドマウントディスプレイ１００の使用者に対する虚像ＶＩの視認性をより向上させることができる。
【０１０６】
Ａ−５−２．付加的処理２：
付加的処理２では、情報処理装置３００は、ヘッドマウントディスプレイ１００の使用者の頭の小さなブレに付随する虚像ＶＩの揺れを抑制する、いわゆるスタビライザー機能を実現する。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、所定の時間ごとに、上記手順ｄ１〜ｄ４において説明したフィッティング処理と、提示用情報生成処理のステップＳ１１８、Ｓ１３０、Ｓ１４２の提示用情報の送信と、を繰り返す。これにより、所定の時間ごとに、外景画像の撮影と、提示用情報に含まれる画像の補正および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した提示用情報を虚像ＶＩとして表示させることができる。
【０１０７】
しかし、ヘッドマウントディスプレイ１００の使用者の頭の微小な動きやゆらぎに追従して提示用情報が度々変わることは、かえって使用者の眼精疲労を誘発するおそれや、使用者の集中力を妨げるおそれがある。そこで、第２の入出力部３７０は、さらに、上記手順ｄ１と手順ｄ２との間に、以下の手順ｅ１、ｅ２で示す処理を行ってもよい。
【０１０８】
（ｅ１）第２の入出力部３７０は、手順ｃ１で撮影された外景画像と、前回実行されたフィッティング処理の手順ｄ１で撮影された外景画像との間の、ＲＧＢヒストグラムの変化量を求める。
（ｅ２）第２の入出力部３７０は、手順ｆ１で求めた変化量が所定の閾値を超える場合、手順ｄ２以降の処理を継続する。
【０１０９】
このように、付加的処理２によれば、第２の入出力部３７０は、前回実行されたフィッティング処理における外景画像と、現在実行中のフィッティング処理における外景画像と間の変化量が小さい場合、すなわち、ヘッドマウントディスプレイ１００の使用者の頭の動きが微小である場合は、提示用情報に含まれる画像の補正は行わない。この結果、ヘッドマウントディスプレイ１００の使用者の頭の微小な動きやゆらぎに追従して提示用情報が度々変わることを抑制することができるため、使用者の眼精疲労や集中力低下を抑制することができる。なお、スタビライザー機能のＯＮ／ＯＦＦを使用者によって指定することが可能な構成にしてもよい。
【０１１０】
Ａ−５−３．付加的処理３：
付加的処理３では、情報処理装置３００は、ヘッドマウントディスプレイ１００の画像表示部２０と、使用者の視界方向にある物体との間の距離に応じて、提示用情報に含まれる画像が虚像ＶＩとして表示される大きさを変更する。具体的には、生成部３６０から提示用情報を受信した第２の入出力部３７０は、上記手順ｄ１〜ｄ４において説明したフィッティング処理に代えて、以下の手順ｆ１〜ｆ３に示す処理を行うことができる。なお、本処理を実施する場合、ヘッドマウントディスプレイ１００には、さらに測距センサーを備える構成とする。測距センサーは、反射光によって使用者の視界方向にある物体と画像表示部２０との間の距離を取得するためのセンサーであり、例えば、カメラ６１の近傍に配置することができる。
【０１１１】
（ｆ１）第２の入出力部３７０は、ヘッドマウントディスプレイ１００から、定期的に測距センサーの測定値を取得する。
（ｆ２）第２の入出力部３７０は、取得した測距センサーの測定値に応じて拡大率（または縮小率）を決定する。
（ｆ３）第２の入出力部３７０は、決定した拡大、縮小率を用いて、提示用情報に含まれる画像に対して、拡大、縮小、回転、反転、トリミング、歪みの付与、ノイズの除去の少なくともいずれかの加工を行う。
【０１１２】
このように、付加的処理３によれば、第２の入出力部３７０は、ヘッドマウントディスプレイ１００の使用者の視界方向にある物体と、画像表示部２０との間の距離に応じて、提示用情報が虚像ＶＩとして表示される大きさを変更することができる。このため、ヘッドマウントディスプレイ１００における使用者の利便性を向上させることができる。
【０１１３】
Ｂ．第２実施形態：
本発明の第２実施形態では、生成部３６０が結合情報を生成可能な構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。
【０１１４】
Ｂ−１．情報処理システムの構成：
第２実施形態における情報処理システム１０００ａの概略構成は、図１に示す第１実施形態とほぼ同様である。ただし、第２実施形態の情報処理システム１０００ａは、情報処理装置３００に代えて情報処理装置３００ａを備える。
【０１１５】
Ｂ−２．情報処理装置の構成：
図１５は、第２実施形態における情報処理装置３００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、生成部３６０に代えて生成部３６０ａを備える点である。生成部３６０ａは、動作モードが「第２のモード」である場合に、提示用情報生成処理に並行させて、後述の結合情報生成処理を実行する。結合情報生成処理は、第２の入出力部３７０に接続されている全てのヘッドマウントディスプレイ１００（ヘッドマウントディスプレイ１００ａ〜１００ｎ）の提示用情報を結合した結合情報を生成する処理である。
【０１１６】
Ｂ−３．頭部装着型表示装置の構成：
第２実施形態におけるヘッドマウントディスプレイ１００の概略構成は、図５に示す第１実施形態と同様である。
【０１１７】
Ｂ−４．提示用情報生成処理：
第２実施形態における提示用情報生成処理の手順は、図６に示す第１実施形態と同様である。
【０１１８】
Ｂ−５．付加的処理：
なお、第２実施形態の提示用情報生成処理においても、「Ａ−５−１．付加的処理１」〜「Ａ−５−３．付加的処理３」において説明した、第１実施形態と同様の付加的処理を実行してもよい。
【０１１９】
Ｂ−６．結合情報生成処理：
図１６は、結合情報生成処理の手順を示すフローチャートである。結合情報生成処理は、ヘッドマウントディスプレイ１００へ表示させるための結合情報を生成する処理であり、情報処理装置３００ａ（図１５）の生成部３６０ａが実行する。結合情報生成処理は、提示用情報生成処理（図６）のステップＳ１００において、動作モードが「第２のモード」である場合に（ステップＳ１００：第２のモード）、図６で説明した初期処理と個別処理とに並行して実行される。
【０１２０】
生成部３６０ａは、ヘッドマウントディスプレイ１００から結合情報の要求を受信したか否かを判定する（ステップＳ２００）。ここで、結合情報の要求とは、結合情報の送信を求める旨の要求であり、要求元のヘッドマウントディスプレイ１００の識別子と共に送信される。結合情報の要求を受信していない場合（ステップＳ２００：なし）、生成部３６０ａは、ステップＳ２００に処理を遷移させ、結合情報の要求の受信を待機する。
【０１２１】
一方、結合情報の要求を受信した場合（ステップＳ２００：あり）、生成部３６０ａは、結合情報の要求に含まれる、要求元のヘッドマウントディスプレイ１００ｉの識別子を取得する（ステップＳ２０２）。ここで、ヘッドマウントディスプレイ１００ｉとは、結合情報の要求の発行元であるヘッドマウントディスプレイ１００（すなわち、現在処理中であるヘッドマウントディスプレイ１００）を指す。
【０１２２】
ステップＳ２０４において、生成部３６０ａは、手術の記録３８４にアクセスする。そして、生成部３６０ａは、第２の入出力部３７０に接続されている全てのヘッドマウントディスプレイ１００（ヘッドマウントディスプレイ１００ａ〜１００ｎ）について、生成部３６０ａが生成した最新の提示用情報をそれぞれ取得する。なお、最新の提示用情報であることは、手術の記録３８４において、提示用情報に対応付けられて記憶されている「生成の日時」によって判断することができる。なお、ここでは、要求元のヘッドマウントディスプレイ１００ｉの提示用情報を、取得対象から除外してもよい。生成部３６０ａは、取得した複数の提示用情報を結合して、結合情報を生成する。
【０１２３】
図１７は、結合情報の生成方法について説明するための説明図である。生成部３６０ａは、取得された複数の提示用情報に対して、以下の手順ｇ１〜ｇ４に示した処理を行う。
（ｇ１）生成部３６０ａは、取得された提示用情報の総数と、共通映像仕様３８１に記憶されている解像度とに応じて、提示用情報の縮小率を決定する。
（ｇ２）生成部３６０ａは、手順ｇ１で決定した縮小率で、ｉ番目の提示用情報（提示用情報ＰＮｉ）に含まれる画像を縮小する。
（ｇ３）生成部３６０ａは、手順ｇ２で縮小した画像を、他の画像と重ならない位置にレイヤー配置して上書き保存し、結合情報ＪＮとする。
（ｇ４）生成部３６０ａは、変数ｉをインクリメントし、「ｉ≧取得された提示用情報の総数」が成立するまで、上記手順ｇ２、ｇ３を繰り返す。
（ｇ５）生成部３６０ａは、結合情報ＪＮのうち、提示用情報の画像が配置されていない余白部分（図において斜線で表す）に対して、上記ｃ１、ｃ２で説明したと同様の手順を実行し、ダミードットデーターの挿入か、Ｅｎａｂｌｅ信号の調整を行う。
（ｇ６）生成部３６０ａは、生成された結合情報ＪＮに含まれる画像を、共通映像仕様３８１に規定されている映像信号の仕様に沿って変換する。
【０１２４】
図１７の例には、上記のようにして生成され、６つの提示用情報ＰＮ１〜ＰＮ６が、それぞれ重ならない位置に配置された結合情報ＪＮが例示されている。
【０１２５】
結合情報生成処理（図１６）のステップＳ２０６において、生成部３６０ａは、ステップＳ２０４で生成した結合情報ＪＮを、ヘッドマウントディスプレイ１００ｉが接続されている第２の入出力部３７０ｉへ送信した後、処理をステップＳ２００へ遷移させる。第２の入出力部３７０ｉは、受信した提示用情報ＰＮｉに含まれる画像を、ヘッドマウントディスプレイ１００ｉの映像信号の仕様に沿って変換する。
【０１２６】
図１８は、ヘッドマウントディスプレイ１００ｉにおいて、結合情報ＪＮが虚像として表示されている様子を示す説明図である。第２の入出力部３７０ｉから送信された結合情報ＪＮを、インターフェイス１８０または無線通信部１３２を介して受信したヘッドマウントディスプレイ１００ｉでは、画像処理部１６０による上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００ｉの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００ｉの使用者は、視野ＶＲに結合情報ＪＮの虚像ＶＩを視認することができる。図１８の例では、ヘッドマウントディスプレイ１００ｇの使用者の視野ＶＲにおいて、ヘッドマウントディスプレイ１００ａ〜１００ｆ用の提示用情報ＰＮ１〜６が結合された結合情報ＪＮを表す虚像ＶＩが表示されている。なお、図１８では、紙面の都合上、提示用情報ＰＮ３〜６の図示を省略している。
【０１２７】
以上のように、第２実施形態の生成部３６０ａは、提示用情報生成処理で生成された複数の提示用情報ＰＮｉを結合した結合情報ＪＮを生成し、第２の入出力部３７０（提供部）は、結合情報の要求を発行した特定のヘッドマウントディスプレイ１００ｉ（画像表示装置）に対して、生成された結合情報ＪＮを出力する。この結果、特定のヘッドマウントディスプレイ１００ｉの使用者は、情報処理装置３００に接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）において、どのような提示用情報ＰＮが表示されているのかを知ることができ、特定のヘッドマウントディスプレイ１００ｉの使用者の利便性を向上させることができる。
【０１２８】
Ｃ．第３実施形態：
本発明の第３実施形態では、ヘッドマウントディスプレイの利用者に対して予め定められた一連の工程を案内すると共に、医療用装置情報に基づいて、案内される工程をリアルタイムに変更することが可能な構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。
【０１２９】
Ｃ−１．情報処理システムの構成：
第３実施形態における情報処理システム１０００ｂの概略構成は、図１に示す第２実施形態とほぼ同様である。ただし、第２実施形態の情報処理システム１０００ｂは、情報処理装置３００に代えて情報処理装置３００ｂを備える。
【０１３０】
Ｃ−２．情報処理装置の構成：
図１９は、第３実施形態における情報処理装置３００ｂの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、ＣＰＵ３５０に代えてＣＰＵ３５０ｂを備える点と、外部記憶装置３８０に代えて外部記憶装置３８０ｂを備える点である。ＣＰＵ３５０ｂは、生成部３６０に代えて生成部３６０ｂを備え、さらに、工程管理部３６５を備えている。
【０１３１】
生成部３６０ｂは、実行する提示用情報生成処理の処理内容が、図６に示した第１実施形態とは一部異なる。工程管理部３６５は、生成部３６０が実行する提示用情報生成処理と並行させて、後述の工程管理処理を実行する。工程管理処理は、ヘッドマウントディスプレイ１００の利用者に案内する一連の工程を生成部３６０ｂに送信すると共に、医療用装置情報から推定される患者の状態に応じて当該工程を変更する処理である。
【０１３２】
外部記憶装置３８０ｂは、第１実施形態で説明した各情報に加えてさらに、工程情報３８６と、緊急対応情報３８７と、を備えている。
【０１３３】
図２０は、工程情報３８６の一例を概念的に示す説明図である。本実施形態における工程情報３８６は、種々の手術について、それぞれ、一連の工程が予め記憶されているテーブル（または複数のテーブルから構成されるデータベース）である。工程情報３８６は、工程管理処理において、ヘッドマウントディスプレイ１００の利用者に工程を案内するために参照される。なお、図２０では、図示の便宜上、一の手術のみを例示し、また、具体的な手術名称、術式名、工程の内容については図示を省略している。「手術名称」には、手術を特定するための名称が格納されている。「術式」には、術式を特定するための名称が格納されている。手術には、複数の異なる術式が存在する場合もあるため、手術名称と術式とを組み合わせて、工程を特定する。「工程」には、手術名称および術式によって特定される一連の工程について、その内容が順序立てて格納されている。手術においては、患者の症状や状態に応じて実行される工程が一部異なる場合もあるため、図２０の例では、工程に分岐が存在している。なお、提示用情報生成処理（図６）において、複数の提示用情報を生成する第２のモードを実現する場合、工程情報３８６には、種々の手術について、役割ごとに、それぞれ一連の工程が記憶されているテーブル等を備える構成とする。
【０１３４】
図２１は、緊急対応情報３８７の一例を示す説明図である。本実施形態における緊急対応情報３８７は、術式と、条件と、症状と、緊急対応と、が予め、関連付けられて記憶されている。緊急対応情報３８７は、工程管理処理において、ヘッドマウントディスプレイ１００の利用者に案内する工程を変更するために参照される。「術式」には、術式を特定するための名称が格納されている。術式は、工程情報３８６の「術式」と対応付けるために用いられる。「条件」には、医療用装置情報に対する判断条件が格納されている。「症状」には、医療用装置情報が「条件」に記憶されている条件を満たした場合に、患者に生じていると推定される症状を表す名称が格納されている。「緊急対応」には、当該症状を解消または緩和するための措置が格納されている。
【０１３５】
Ｃ−３．頭部装着型表示装置の構成：
第３実施形態におけるヘッドマウントディスプレイ１００の概略構成は、図５に示す第１実施形態と同様である。
【０１３６】
Ｃ−４．提示用情報生成処理：
第３実施形態における提示用情報生成処理の手順は、以下に説明する点を除いては、図６に示す第１実施形態と同様である。共通の提示用情報を生成する第１のモードである場合の提示用情報生成処理について説明する。図６のステップＳ１１４において生成部３６０ｂは、ヘッドマウントディスプレイ１００から情報源の選択要求として、「（ａ７）手術手順の案内要求」を受信する。その後、生成部３６０ｂは、工程管理部３６５に対して工程管理処理の実行を要求する。なお、要求ａ７は、単独で発行されてもよいし、第１実施形態の要求ａ１〜ａ６と組み合わせられてもよい。ステップＳ１１６において生成部３６０ｂは、工程管理部３６５から工程を受信し、受信した情報を用いて提示用情報ＰＮ＊を生成する。
【０１３７】
複数の提示用情報を生成する第２のモードである場合の提示用情報生成処理について説明する。図６のステップＳ１２６において生成部３６０ｂは、ヘッドマウントディスプレイ１００ｉの使用者の役割を、工程管理部３６５へ送信する。その後、生成部３６０ｂは、工程管理部３６５に対して使用者の役割を送信すると共に、工程管理処理の実行を要求する。ステップＳ１２８において生成部３６０ｂは、工程管理部３６５からヘッドマウントディスプレイ１００ｉの使用者の役割に応じた工程を受信し、受信した情報を用いて提示用情報ＰＮｉを生成する。
【０１３８】
Ｃ−５．付加的処理：
なお、第３実施形態の提示用情報生成処理においても、「Ａ−５−１．付加的処理１」〜「Ａ−５−３．付加的処理３」において説明した、第１実施形態と同様の付加的処理を実行してもよい。
【０１３９】
Ｃ−６．工程管理処理：
図２２は、工程管理処理の手順を示すフローチャートである。工程管理処理は、ヘッドマウントディスプレイ１００の利用者に案内する工程を生成部３６０ｂに送信すると共に、医療用装置情報から推定される患者の状態に応じて当該工程を変更する処理である。
【０１４０】
ステップＳ３００において工程管理部３６５は、工程情報３８６を参照し、予め定められた一連の工程を取得する。ここで、「予め定められた一連の工程」とは、工程情報３８６に記憶されている手術と、術式と、工程との組み合わせのうち、執刀医や他の医師等によって予め定められた一組の一連の工程（図２０、実線枠Ｌ１）を意味する。なお、予め定められた一連の工程は、工程情報３８６に記憶されている一連の工程の途中で終わっていても良い（図２０、破線枠Ｌ２）。例えば、実際に手術を実施し、患者の様子を観察しながら最適な工程を選択することが好ましい場合等は、破線枠Ｌ２のような工程が予定される。
【０１４１】
なお、提示用情報生成処理が第１のモードである場合（換言すれば、生成部３６０ｂから工程管理処理の実行だけを指示されている場合）であって、工程情報３８６に使用者の役割に応じた工程が記憶されている場合、ステップＳ３００において工程管理部３６５は、管理テーブル３８２（図４）の装置間関係が「マスター」であるヘッドマウントディスプレイ１００の使用者の役割用の「予め定められた一連の工程」を取得する。一方、提示用情報生成処理が第２のモードである場合（換言すれば、生成部３６０から使用者の役割と共に工程管理処理の実行を指示されている場合）、ステップＳ３００において工程管理部３６５は、工程情報３８６から、受信した使用者の役割用の「予め定められた一連の工程」を取得する。
【０１４２】
ステップＳ３０２において工程管理部３６５は、ステップＳ３００で取得された一連の工程から、一の工程を取得し、生成部３６０ｂへ送信する。一の工程を受信した生成部３６０ｂは、提示用情報生成処理を介して、当該工程について案内するための提示用情報ＰＮ＊または提示用情報ＰＮｉを生成し、ヘッドマウントディスプレイ１００へ送信する。
【０１４３】
ステップＳ３０４において工程管理部３６５は、患者の状態をチェックする。具体的には、工程管理部３６５は、第１の入出力部３１０（取得部、第１の入出力部３１１〜第１の入出力部３１ｎ）を介して、患者の状態を測定している医療用装置により測定された全ての医療用装置情報を取得する。
【０１４４】
ステップＳ３０６において工程管理部３６５は、患者に急変が生じたか否かを判定する。具体的には、工程管理部３６５は、ステップＳ３０４において受信した全ての医療用装置情報について、医療用装置情報が緊急対応情報３８７に記憶されている「条件」を満たすかを判定する。全ての医療用装置情報について条件を満たさない場合（ステップＳ３０６：ＮＯ）、工程管理部３６５は、処理をステップＳ３１４へ遷移させる。一方、少なくとも１つの医療用装置情報について条件を満たす場合（ステップＳ３０６：ＹＥＳ）、工程管理部３６５は、処理をステップＳ３０８へ遷移させる。
【０１４５】
ステップＳ３０８において工程管理部３６５は、緊急対応情報３８７を参照し、患者の状態に応じた緊急対応を取得する。具体的には、工程管理部３６５は、緊急対応情報３８７のうち、医療用装置情報が「条件」を満たしたエントリーを参照し、当該エントリーの「緊急対応」を参照する。
【０１４６】
ステップＳ３１０において工程管理部３６５は、緊急対応の内容を生成部３６０ｂへ送信する。これは、提示用情報生成処理が第１のモードである場合も、第２のモードである場合も同様である。緊急対応を受信した生成部３６０ｂは、提示用情報生成処理を介して、緊急対応について案内するための提示用情報ＰＮ＊または提示用情報ＰＮｉを生成し、ヘッドマウントディスプレイ１００へ送信する。
【０１４７】
ステップＳ３１２において工程管理部３６５は、患者の状態をチェックする。詳細はステップＳ３０４と同様である。なお、ステップＳ３１０と、ステップＳ３１２との間には、緊急対応によって患者の状態が安定すると想定される程度の時間を空けることが好ましい。
【０１４８】
ステップＳ３１４において工程管理部３６５は、現在案内中の一連の工程が適切であるか否かを判定する。具体的には、工程管理部３６５は、ステップＳ３１２において受信した全ての医療用装置情報について、医療用装置情報が緊急対応情報３８７に記憶されている「条件」を満たすかを判定する。全ての医療用装置情報について条件を満たさない場合（ステップＳ３１４：ＹＥＳ）、工程管理部３６５は、現在案内中の一連の工程は適切であると推定し、処理をステップＳ３０２へ遷移させる。その後、ステップＳ３０２において工程管理部３６５は、ステップＳ３００で取得された一連の工程から、次の工程を取得し、生成部３６０ｂへ送信すると共に、患者の状態をチェックして、上述の処理を繰り返す。
【０１４９】
このように、工程管理部３６５は、複数の医療用装置情報を繰り返し取得し、最新の複数の医療用装置情報に基づいて、生成部に送信する一連の工程を変更する。このため、情報処理装置３００ｂは、複数の医療用装置から取得された情報である複数の医療用装置情報に基づいて、複数のヘッドマウントディスプレイ１００ａ〜１００ｎに表示させる一連の工程をリアルタイムに変更することができる。
【０１５０】
一方、少なくとも１つの医療用装置情報について条件を満たす場合（ステップＳ３０６：ＹＥＳ）、工程管理部３６５は、現在案内中の一連の工程は適切でないと推定し、処理をステップＳ３１６へ遷移させる。ステップＳ３１６において工程管理部３６５は、患者の状態が悪いため、現在案内中の一連の工程は適切でないと推定される旨の案内を、生成部３６０ｂへ送信する。これは、提示用情報生成処理が第１のモードである場合も、第２のモードである場合も同様である。適切でない旨の案内を受信した生成部３６０ｂは、提示用情報生成処理を介して、適切でない旨の案内を実施するための提示用情報ＰＮ＊または提示用情報ＰＮｉを生成し、ヘッドマウントディスプレイ１００へ送信する。その後、工程管理部３６５は、以降の工程の送信を中止し、処理を終了させる。
【０１５１】
なお、ステップＳ３１０において工程管理部３６５は、取得された医療用装置情報に応じた緊急対応を生成部３６０ｂへ送信することで、「予め定められた一連の工程」に対して「新たな工程を追加」することとした。しかし、ステップＳ３１０において工程管理部３６５は、「予め定められた一連の工程」に対する「一部の工程の削除」や、「一部の工程の置換」を実施してもよい。これは、例えば、緊急対応情報３８７の「緊急対応」に対して、削除すべき工程や、置換すべき工程を記憶しておくことで実現可能である。本実施形態では、ステップＳ３１０に例示した新たな工程の追加（または、一部の工程の削除、一部の工程の置換）と、ステップＳ３１６に例示した工程の送信の中止と、を総称して「一連の工程の変更」と呼ぶ。
【０１５２】
以上のように、第３実施形態の情報処理装置３００ｂによれば、工程管理部３６５は、予め定められた一連の工程を表す情報を生成部３６０ｂに送信し、生成部３６０ｂは、受信した工程を含む提示用情報ＰＮ＊、ＰＮｉを生成する。このため、情報処理装置３００ｂは、予め定められた一連の工程を、情報処理装置３００ｂに接続されている複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に表示させることができる。また、工程管理部３６５は、第１の入出力部３１１〜３１ｎ（取得部）により取得された複数の医療用装置情報に基づいて、送信する一連の工程を変更する。このため、情報処理装置３００ｂは、複数の医療用装置から取得された情報である複数の医療用装置情報に基づいて、複数のヘッドマウントディスプレイ１００ａ〜１００ｎに表示させる一連の工程を変更することができる。この結果、医療用装置情報に基づいて予め定められた一連の工程を柔軟に変更し、かつ、かかる工程をヘッドマウントディスプレイ１００ａ〜１００ｎの使用者に案内することが可能な情報処理装置３００ｂを提供することができる。
【０１５３】
さらに、第３実施形態の情報処理装置３００ｂによれば、工程管理部３６５は、第１のモードにおいて、管理テーブル３８２の装置間関係が「マスター」であるヘッドマウントディスプレイ１００（すなわち、特定の画像表示装置）の使用者のための一連の工程を生成部３６０ｂに送信する。このため、情報処理装置３００ｂは第１のモードにおいて、複数のヘッドマウントディスプレイ１００ａ〜１００ｎ（画像表示装置）に対して、共通した「特定の画像表示装置の使用者のための一連の工程」を表示させることができる。また、工程管理部３６５は、第２のモードにおいて、複数のヘッドマウントディスプレイ１００ａ〜１００ｎの使用者のそれぞれの役割に応じた一連の工程を生成部３６０ｂに送信する。このため、情報処理装置３００ｂは第２のモードにおいて、複数のヘッドマウントディスプレイ１００ａ〜１００ｎに対して、個別に「画像表示装置の使用者のそれぞれの役割に応じた一連の工程」を表示させることができる。
【０１５４】
Ｄ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
【０１５５】
・変形例１：
上記実施形態では、情報処理システムの構成について例示した。しかし、情報処理システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、情報処理システムを構成する各装置の追加・削除・変換等を行うことができる。また、情報処理システムを構成する装置のネットワーク構成の変更を行うことができる。
【０１５６】
例えば、情報処理装置の管理テーブル、不可視情報、手術の記録、院内ＬＡＮに接続されているデータベースＯＤに格納されていてもよい。また、データベースＯＤは、院内に限らず、インターネットＩＮＴを介した外部（例えば、院外に設けられているクラウドサーバー等）に設けられていてもよい。
【０１５７】
・変形例２：
上記実施形態では、情報処理装置の構成について例示した。しかし、情報処理装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
【０１５８】
例えば、情報処理装置は、タッチパネル、入力ボタン、キーボード、マウス、マイク、カメラ等、種々の入力デバイスを備えていてもよい。同様に、情報処理装置は、ディスプレイ、インジケーター、手術に関する簡易なログを出力するためのプリンター等、種々の出力デバイスを備えていてもよい。
【０１５９】
例えば、生成部、第２の入出力部（提供部）における各機能は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて実現されてもよい。
【０１６０】
例えば、情報処理装置において、ディスプレイを備える構成とする。その上で、情報処理装置の生成部は、結合情報生成処理において生成した結合情報を、情報処理装置のディスプレイに表示させてもよい。このようにすれば、情報処理装置の近傍に立つ利用者は、全てのヘッドマウントディスプレイ（画像表示装置）における表示内容を一見して把握することができ、便利である。
【０１６１】
・変形例３：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。例えば、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。また、例えば、電源として、一次電池や、燃料電池、太陽電池、熱電池等を採用してもよい。
【０１６２】
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより、ケーブルを廃した態様。
【０１６３】
例えば、入力情報取得部は、上記実施形態に例示した以外の種々の方法を用いて、使用者からの操作入力を取得してもよい。例えば、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。また、例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。また、例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、入力情報取得部は、使用者が手を離すことが困難である医療の現場においても、使用者からの操作入力を容易に取得することができる。
【０１６４】
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
【０１６５】
図２３は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図２３（Ａ）の例の場合、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備え、左光学像表示部２８に代えて左光学像表示部２８ａを備えている。右光学像表示部２６ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め上に配置されている。図２３（Ｂ）の例の場合、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備え、左光学像表示部２８に代えて左光学像表示部２８ｂを備えている。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。
【０１６６】
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、フロントライト方式や反射方式を用いて画像光を射出してもよい。また、例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。
【０１６７】
・変形例４：
上記実施形態では、提示用情報生成処理の一例を示した。しかし、提示用情報生成処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
【０１６８】
例えば、上記実施形態で説明した不可視情報は、２次元的に表現された画像を想定した。しかし、医療用装置として、３次元的な不可視画像を撮影可能な装置が接続されてもよい。また、外部記憶装置に記憶されている不可視情報は、撮像機器を用いて撮像された複数の画像から作成された３次元モデルであってもよい。３次元的に表現された不可視情報を用いる場合、生成部は、提示用情報の生成に先立って、３次元モデルのレンダリングを行う。そして、レンダリング後の画像を用いて、提示用情報を生成する。このようにすれば、様々な方向から、対象物体の外観に現れない情報を視認することができる。
【０１６９】
例えば、第１のモードの提示用情報生成処理において、生成部は、共通の提示用情報を複数生成してもいい。具体的には、例えば、第２の入出力部に接続されているヘッドマウントディスプレイを、ｍ（ｍは１以上の整数）個のグループに分割する。その上で、生成部は、第１のグループに共通の提示用情報・・・第ｍのグループに共通の提示用情報のように、各グループに共通の提示用情報を、複数生成してもよい。
【０１７０】
例えば、第２のモードの提示用情報生成処理（初期処理）において、第２の入出力部に接続されている複数のヘッドマウントディスプレイに関して、変数ｉを用いてシリアルに初期処理をおこなっている。しかし、初期処理は、第２の入出力部に接続されている複数のヘッドマウントディスプレイに関して、並列に実行されてもよい。
【０１７１】
例えば、第２のモードの提示用情報生成処理のうち、初期処理と、個別処理とのうちの、いずれか一方を省略してもよい。また、初期処理は、第２のモードの提示用情報生成処理が開始された直後に実行されなくてもよい。初期処理と同様の処理は、使用者や他のアプリケーションからの要求に応じて、適宜実行されてもよい。
【０１７２】
例えば、第１のモードおよび第２のモードに共通して、提示用情報を受信したヘッドマウントディスプレイでは、使用者の要求に応じて、提示用情報に含まれる画像が虚像ＶＩとして表示される大きさを拡大、縮小してもよい。同様に、ヘッドマウントディスプレイは、使用者の要求に応じて、提示用情報に含まれる画像を非表示としてもよく、提示用情報に含まれる画像に対して色変換を行ってもよい。また、使用者からの要求の入力方法として、マイクロホンを介した音声入力を採用すれば、使用者が手を用いて操作することが困難な医療の現場においてヘッドマウントディスプレイが使用される場合の、使用者の利便性を大きく向上させることができる。
【０１７３】
・変形例５：
上記実施形態では、結合情報生成処理の一例を示した。しかし、結合情報生成処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
【０１７４】
例えば、生成部は、生成する結合情報に対して、提示用情報の縮小画像以外の、他の情報を含ませてもよい。例えば、以下に列挙する情報を含ませてもよい。
・その提示用情報が供給されているヘッドマウントディスプレイを識別するための文字列や画像
・その提示用情報が供給されているヘッドマウントディスプレイの使用者の役職を表す文字列や画像
・医療用装置の医療用装置情報
・院内データベースに記録されているデーター
・不可視情報に記録されているデーター
・不可視情報に記録されているデーター
・表示部の視認が困難な医療用装置の医療用装置情報
【０１７５】
例えば、生成部は、結合情報の要求を、特定のヘッドマウントディスプレイからのみ受け付け可能としてもよい。特定のヘッドマウントディスプレイとは、例えば、マスターであるヘッドマウントディスプレイ、使用者が特定の役割を担っているヘッドマウントディスプレイ等である。
【０１７６】
・変形例６：
上記実施形態では、工程管理処理の一例を示した。しかし、工程管理処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
【０１７７】
例えば、ステップＳ３１０に例示した新たな工程の追加（または、一部の工程の削除、一部の工程の置換）に代えて、または、新たな工程の追加・削除・置換と共に、外部の施設の医師ＰＲ（図１９）との通話を実現することで、医師ＰＲによるセカンドオピニオンを提供可能な構成としてもよい。
【０１７８】
例えば、ステップＳ３１０に例示した新たな工程の追加（または、一部の工程の削除、一部の工程の置換）と、ステップＳ３１６に例示した工程の送信の中止と、は、いずれか一方を省略してもよい。
【０１７９】
例えば、「予め定められた一連の工程」は、執刀医や他の医師等によって決定されるとした。工程管理部は、かかる「予め定められた一連の工程」の候補となるべき一連の工程（必要であれば複数組の一連の工程）を、ヘッドマウントディスプレイの使用者に対して提案する構成としてもよい。この場合、例えば工程管理部は、事前に取得された医療用装置情報に基づいて、工程情報を検索することで、候補を導き出すことができる。
【０１８０】
例えば、工程管理処理は、提示用情報生成処理の第１のモードと、第２のモードとのいずれか一方にのみ対応可能であってもよい。
【０１８１】
・変形例７：
上記実施形態では、共通映像仕様と、管理テーブルと、工程情報と、緊急対応情報との一例を示した。しかし、これらの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールド（項目）の追加、削除、変更を行うことができる。また、管理テーブルは、複数のテーブルに分割して正規化してもよい。
【０１８２】
例えば、管理テーブルには、ヘッドマウントディスプレイを相互に識別するための識別子に代えて、または識別子と共に、ヘッドマウントディスプレイの使用者の声紋が記憶されていてもよい。そうすれば、情報処理装置は、マイクロホンを介して取得した使用者の声紋に基づいて、当該使用者が使用するヘッドマウントディスプレイの装置間関係、役割、映像仕様を取得し、提示用情報生成処理を実行することができる。
【０１８３】
例えば、管理テーブルには、ヘッドマウントディスプレイの識別子に対応付けてさらに、ヘッドマウントディスプレイと情報処理装置との通信に使用するための情報（例えば、ヘッドマウントディスプレイのＩＰアドレス、ＭＡＣアドレス、暗号化鍵等）が記憶されていてもよい。また、管理テーブルには、映像信号の仕様のパターンを表す「映像仕様」に変えて、各ヘッドマウントディスプレイにおいて採用されている実際の映像仕様そのもの（すなわち、共通映像仕様に記憶されている項目と同様の項目）が記憶されていてもよい。
【０１８４】
例えば、管理テーブルは、ヘッドマウントディスプレイの識別子ごとに、装置間関係と、役割と、映像仕様とを記憶することとした。しかし、使用者ごとに「ユーザーＩＤ」を割り当てて、当該ユーザーＩＤごとに、装置間関係と、役割と、映像仕様とを記憶してもよい。
【０１８５】
例えば、緊急対応情報に予め記憶されている「緊急対応」は１通りの対応であるとしたが、緊急対応には、複数通りの対応が記憶されていてもよい。そして、工程管理部は、当該複数通りの対応を画像表示装置の使用者へ案内してもよい。このようにすれば、画像表示装置の使用者は、複数通りの緊急対応から、自分の経験や状況に応じて最適と思われる緊急対応を選択することができる。この結果、情報処理装置における利便性をより向上させることができる。
【０１８６】
・変形例８：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１８７】
１０…制御部
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…ケーブル
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（画像取得部）
１１０…入力情報取得部
１００…ヘッドマウントディスプレイ（画像表示装置、頭部装着型表示装置）
１２０…記憶部
１３０…電源
１４０…ＣＰＵ
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…情報処理装置
３１０…第１の入出力部
３１１〜３１ｎ…第１の入出力部（取得部）
３２０…ＲＯＭ
３３０…ＲＡＭ
３４０…通信インターフェイス
３５０…ＣＰＵ
３６０…生成部
３６５…工程管理部
３７０…第２の入出力部（提供部）
３７１〜３７ｎ…第２の入出力部
３８０…外部記憶装置
３８１…共通映像仕様
３８２…管理テーブル（役割記憶部、装置間関係記憶部）
３８３…不可視情報
３８４…手術の記録
３８５…動作モード
３８６…工程情報
３８７…緊急対応情報
５００…医療用装置
５０１〜５０ｎ…医療用装置
７００…ディスプレイ
１０００…情報処理システム
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＯＤ…データベース
ＶＩ…虚像
ＰＮ…提示用情報
ＪＮ…結合情報
ＶＲ…視野
ＰＲ…医師
ＭＰ１…位置
ＵＰ１…現在位置
ＣＰ１…医療用装置情報
【図１】
2015188566.tif 000003
【図２】
2015188566.tif 000004
【図３】
2015188566.tif 000005
【図４】
2015188566.tif 000006
【図５】
2015188566.tif 000007
【図６】
2015188566.tif 000008
【図７】
2015188566.tif 000009
【図８】
2015188566.tif 000010
【図９】
2015188566.tif 000011
【図１０】
2015188566.tif 000012
【図１１】
2015188566.tif 000013
【図１２】
2015188566.tif 000014
【図１３】
2015188566.tif 000015
【図１４】
2015188566.tif 000016
【図１５】
2015188566.tif 000017
【図１６】
2015188566.tif 000018
【図１７】
2015188566.tif 000019
【図１８】
2015188566.tif 000020
【図１９】
2015188566.tif 000021
【図２０】
2015188566.tif 000022
【図２１】
2015188566.tif 000023
【図２２】
2015188566.tif 000024
【図２３】
2015188566.tif 000025