(57)【要約】【課題】システム利用者のコメントを簡易に共有し、より効果的な利用を実現する技術を提供する。【解決手段】端末装置４は、要求に応じてサーバから配信されるタグ付きデバイス情報及びタグ付きコメント情報に基づき、同一時間に対応づけられる一種類以上のデバイス情報を表示するための主画像データ、コメント情報を主画像中のコメント対象と関連づけて表示するためのコメント表示データを生成する。Ｓ７１０〜Ｓ７２０では、表示画像中のコメント対象を指定する。Ｓ８２０にて入力される、コメント対象に関連付けられたコメント情報と、Ｓ７４０〜Ｓ８００、Ｓ８４０〜Ｓ８９０にて生成される第２タグ情報と関連づけることで、タグ付きコメント情報を生成し、サーバに記憶させる。【選択図】図１３
2020102128.tif 000002
【特許請求の範囲】
【請求項１】
患者の治療に使用される複数の医療用のデバイス（２１）から取得されるデバイス情報に、前記デバイス情報が取得された時刻および前記デバイス情報の種類を表す情報を含んだ第１タグ情報を関連づけた複数のタグ付きデバイス情報、および前記デバイス情報の少なくとも一部をコメント対象とするコメント情報に、前記コメント対象を特定するための情報を含んだ第２タグ情報を関連づけた複数のタグ付きコメント情報が記憶されるサーバ（３）と、
通信ネットワークを介して前記サーバに接続される一つ以上の端末装置（４）と、
を備え、
前記端末装置は、
前記サーバに対して前記タグ付きデバイス情報及び前記タグ付きコメント情報の配信を要求するように構成された配信要求部（４３：Ｓ５２０）と、
前記配信要求部の要求により前記サーバから取得される前記タグ付きデバイス情報から、同一時間に対応づけられる一種類以上の前記デバイス情報を抽出し、抽出した前記デバイス情報を１画面で表示するための画像データである主画像データを生成するように構成された主画像生成部（４３：Ｓ６１０〜Ｓ６３０）と、
前記配信要求部の要求により前記サーバから取得される前記タグ付きコメント情報から、前記主画像データにより表示される画像である主画像中に前記コメント対象が含まれる場合に、当該コメント対象に対応する前記コメント情報を抽出し、抽出した前記コメント情報を前記主画像中の前記コメント対象と関連づけて表示するための表示データであるコメント表示データを生成するように構成された表示生成部（４３：Ｓ６１０〜Ｓ６２０，Ｓ６４０）と、
前記主画像データによって表示される表示画像中の前記コメント対象を指定するように構成された対象指定部（４３：Ｓ７１０〜Ｓ７２０）と、
前記対象指定部により指定された前記コメント対象に関連付けられる情報であるコメント情報を入力するように構成されたコメント入力部（４３：Ｓ８２０）と、
前記コメント入力部により入力された前記コメント情報を、前記対象指定部にて指定された前記コメント対象を特定するための情報を含んだ前記第２タグ情報と関連づけることで、前記タグ付きコメント情報を生成し、前記サーバに記憶させるように構成された情報生成部（４３：Ｓ７４０〜Ｓ８００，Ｓ８４０〜Ｓ８９０）と、
を備える情報共有システム。
【請求項２】
請求項１に記載の情報共有システムであって
前記対象指定部にて指定される前記コメント対象の一つとして、前記コメント表示データによって前記主画像と共に表示されるコメントを含む、
情報共有システム。
【請求項３】
請求項１または請求項２に記載の情報共有システムであって、
前記端末装置は、
前記第２タグ情報に示された情報を用いて表示の対象となる前記コメント情報を絞り込むように構成されたコメント絞込部（４３：Ｓ５７０）を更に備え、
前記表示生成部は、前記コメント絞込部により絞り込まれた前記コメント情報を抽出して前記コメント表示データを生成する
情報共有システム。
【請求項４】
請求項３に記載の情報共有システムであって、
前記第２タグ情報には、前記コメント情報の入力者を特定するための入力者情報が含まれる、
情報共有システム。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の情報共有システムであって、
前記端末装置は、
表示対象となる前記デバイス情報を選択し、表示画像中における前記デバイス情報の配置を指定するように構成されたレイアウト指定部（４３：Ｓ５７０）を更に備え、
前記表示生成部は、前記レイアウト指定部にて表示対象として選択された前記デバイス情報に関する前記コメント情報を表示するためのコメント表示データを生成する
情報共有システム。
【請求項６】
請求項１から請求項５までのいずれか１項に記載の情報共有システムであって、
前記表示生成部は、タイムラインに対応づけて前記コメント情報を表示するための前記コメント表示データを生成する
情報共有システム。
【請求項７】
請求項１から請求項６までのいずれか１項に記載の情報共有システムであって、
前記タグ付きデバイス情報を生成し、前記通信ネットワークを介して前記サーバに提供する一つ以上の情報提供装置を更に備え、
前記第１タグ情報には、前記タグ付きデバイス情報の提供元となった前記情報提供装置を識別するための情報が含まれる
情報共有システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、手術や治療で使用される医療装置から取得した医療情報を共有する技術に関する。
【背景技術】
【０００２】
下記特許文献１には、コミュニケーションサーバを介して接続された複数の端末を使用し、救急患者が治療を受ける病院の担当者と、予め登録された指導的専門医との間のコミュニケーションを実現する救急患者治療支援システムが記載されている。このシステムでは、病院の担当者から指導的専門医に対して、救急患者に関する診断情報を送信し、指導的専門医から病院の担当者に対して治療に関する見解情報（以下、コメント）を送信する。診断情報には、救急患者の患部を撮影した画像、その画像の撮影時刻等が含まれる。見解情報には、端末において入力されたテキストデータが用いられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２７５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の従来技術では、システムの利用者によって共有される診断情報が、患部を撮影した画像程度しかなく、判断に必要な情報が不十分であった。また、リアルタイムでやりとりされるコメントは重要な情報となり得るが、振り返り等のために診断情報を再生したときに、コメントと診断情報との対応関係が不明確なため、コメントを有効利用できなかった。
【０００５】
本開示の１つの局面は、システム利用者のコメントを簡易に共有し、より効果的な利用を実現する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一態様は、情報共有システムであって、サーバ（３）と、一つ以上の端末装置（４）と、を備える。
サーバは、複数のタグ付きデバイス情報、及び複数のタグ付きコメント情報が記憶される。タグ付きデバイス情報は、患者の治療に使用される複数の医療用のデバイス（２１）から取得されるデバイス情報に、デバイス情報が取得された時刻、及びデバイス情報の種類を表す情報を含んだ第１タグ情報を関連づけた情報である。タグ付きコメント情報は、デバイス情報の少なくとも一部をコメント対象とするコメント情報に、コメント対象を特定するための情報を含んだ第２タグ情報を関連づけた情報である。
【０００７】
端末装置は、通信ネットワークを介してサーバに接続される。端末装置は、配信要求部（４３：Ｓ５２０）と、主画像生成部（４３：Ｓ６１０〜Ｓ６３０）と、表示生成部（４３：Ｓ６１０〜Ｓ６２０，Ｓ６４０）と、対象指定部（４３：Ｓ７１０〜Ｓ７２０）と、コメント入力部（４３：Ｓ８２０）と、情報生成部（４３：Ｓ７４０〜Ｓ８００，Ｓ８４０〜Ｓ８９０）と、を備える。
【０００８】
配信要求部は、サーバに対してタグ付きデバイス情報、及びタグ付きコメント情報の配信を要求する。主画像生成部は、配信要求部の要求によりサーバから取得されるタグ付きデバイス情報から、同一時間に対応づけられる一種類以上のデバイス情報を抽出し、抽出したデバイス情報を１画面で表示するための画像データである主画像データを生成する。表示生成部は、主画像データにより表示される画像である主画像中にコメント対象が含まれる場合に、配信要求部の要求によりサーバから取得されるタグ付きコメント情報から、当該コメント対象に対応するコメント情報を抽出する。更に、表示生成部は、抽出したコメント情報を主画像中のコメント対象と関連づけて表示するための表示データであるコメント表示データを生成する。対象指定部は、主画像データによって表示される表示画像中のコメント対象を指定する。コメント入力部は、対象指定部により指定されたコメント対象に関連付けられる情報であるコメント情報を入力する。情報生成部は、コメント入力部により入力されたコメント情報を、対象指定部にて指定されたコメント対象を特定するための情報を含んだ第２タグ情報と関連づけることで、タグ付きコメント情報を生成し、サーバに記憶させる。
【０００９】
このような構成によれば、時間で統合された複数のデバイス情報を、端末装置を介して、任意の閲覧者と共有できるだけでなく、画面に表示された任意のコメント対象に対して様々なコメント情報を残すことができ、そのコメント情報も任意の閲覧者と共有できる。
【００１０】
その結果、閲覧者は、デバイス情報だけからは得ることのできない、有用な情報をコメント情報ら得ることができ、また、コメント情報を利用することで、アドバイスを受けたり、議論をしたりする等、様々なコミュニケーションを簡易に実現できる。
【図面の簡単な説明】
【００１１】
【図１】情報共有システムの構成を表すブロック図である。
【図２】情報共有システムを構成する各部の機能を表す機能ブロック図である。
【図３】タグ付きデバイス情報の構造を示す説明図である。
【図４】タグ付きコメント情報の構造を示す説明図である。
【図５】リスト情報生成処理を表すフローチャートである。
【図６】デバイス情報生成処理を表すフローチャートである。
【図７】配信処理を表すフローチャートである。
【図８】端末処理を表すフローチャートである。
【図９】選択リスト画像を示す説明図である。
【図１０】表示更新処理を表すフローチャートである。
【図１１】表示更新処理において読み出される情報を示す説明図である。
【図１２】主画像のレイアウトの１例を表す説明図である。
【図１３】コメント付与処理を表すフローチャートである。
【図１４】コメント情報の表示例を表す説明図である。
【図１５】コメント情報の表示例を表す説明図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．全体構成］
図１に示す情報共有システム１は、複数の情報提供装置２と、サーバ３と、複数の端末装置４とを備え、これらは通信ネットワーク５を介して互いに接続されている。
【００１３】
情報提供装置２は、例えば、病院毎に設置され、手術や治療に用いる様々な機器から取得されるデバイス情報を時間軸に沿って統合した統合情報を、通信ネットワーク５上のサーバ３に保存する。
【００１４】
端末装置４は、例えば、病院や医科大学など、医者、医療研究者、及び学生等が使用可能な場所に設置される。端末装置４は、情報提供装置２の近くに設置されてもよい。端末装置４は、通信ネットワーク５を介してサーバ３から統合情報を取得し、端末装置４を用いて統合情報を閲覧する利用者間の情報共有、及びコミュニケーションを支援するためのアプリケーションを少なくとも実行する。なお、利用者には、統合情報を提供する提供者も含む。
【００１５】
情報共有システム１は、例えば、手術中におけるリアルタイムな検討やサポートに用いられ、また、手術後における手術解析や教育用途などにも用いられる。
［１−１．情報提供装置］
図１に示すように、情報提供装置２は、デバイス群２１と、提供処理部２３と、入力部２７とを備える。
【００１６】
デバイス群２１は、図２に示すように、複数のデバイス２２Ａ〜２２Ｈを備える。各デバイス２２Ａ〜２２Ｈは、それぞれ、データを生成して提供処理部２３に供給する。以下では、複数のデバイス２２Ａ〜２２Ｈを区別することなく、任意のデバイスを指す場合は、デバイス２２と記す。
【００１７】
デバイス２２は、手術や治療時に使用される医療機器および医療設備等である。具体的には、医療機器として、例えば、生体情報モニタ、呼吸機能モニタ、循環動態モニタ、鎮静モニタ、麻酔器、輸液ポンプ、シリンジ、血液浄化装置、人工心肺装置、補助循環装置等が挙げられる。医療設備として、例えば、手術ナビゲーションシステム（以下、手術ナビ）、ＩＰカメラ、医療ガスシステム、内視鏡、顕微鏡、電気メス、ドリル、超音照射装置等が上げられる。また、デバイスには、空調システム、アイソレーションシステム等が含まれてもよい。
【００１８】
そして、デバイス２２から供給されるデータ（以下、デバイス情報）には、デバイス２２による計測値、デバイス２２から出力される動画や静止画、デバイス２２の使用状況やエラーを含むデバイスの状態、デバイス２２自体の設定値、及びデバイス２２が扱うパラメータに関する設定値等が含まれる。
【００１９】
なお、手術ナビは、手術中における手術器具の３次元位置及び姿勢を取得する装置である。手術器具としては、電気メス及び鉗子の他、顕微鏡等も挙げられる。手術器具の３次元位置及び姿勢を取得する方法として、例えば、以下に示す方法を用いることができる。即ち、予め複数のマーカを手術器具の特定の位置に取り付け、手術が実施される空間において予め規定された基準位置から手術器具における特定の位置までのベクトルを手術器具の３次元位置として特定し、複数のマーカ間の位置関係から姿勢を特定する。また、顕微鏡の焦点を３次元位置として特定してもよい。このとき、ＣＴ、ＭＲＩ等により、患者の患部を予め撮影した３次元画像に対応付けて３次元位置を特定する。ＣＴはComputed Tomographyの略であり、ＭＲＩはMagnetic Resonance Imagingの略である。
【００２０】
図１に戻り、提供処理部２３は、ＣＰＵ２３１と、例えば、ＲＡＭ、ＲＯＭ等の半導体メモリ（以下、メモリ２３２）と、を有するマイクロコンピュータを備える。
提供処理部２３は、機能的には、図２に示すように、複数のプロバイダ２４Ａ〜２４Ｈと、ミドルウェア２５とを備える。以下では、複数のプロバイダ２４Ａ〜２４Ｈを区別することなく任意のプロバイダを指す場合は、プロバイダ２４と記す。
【００２１】
各プロバイダ２４には、それぞれデバイス２２のいずれか一つが接続される。プロバイダ２４は、接続されたデバイス２２との間で情報のやり取りを仲介する。
ミドルウェア２５は、プロバイダ２４に接続される様々なデバイス２２に対して、プログラミング言語や通信プロトコルの違いよらず、統一的なアクセス手段をプロバイダ２４と共に提供する通信インターフェースである。ここでは、ミドルウェア２５として、ＯＲｉＮが用いられる。ＯＲｉＮは、Open Resource interface for the Networkの略である。
【００２２】
また、ミドルウェア２５は、リスト情報およびタグ付きデバイス情報Ｔ＿Ｉｄｖを生成する情報生成機能２５１と、要求に応じて現在時刻を提供する時計機能２５２とを少なくとも有する。
【００２３】
入力部２７は、キーボード、マウス、タッチパネル等のうち少なくとも一つを備え、提供処理部２３に対する指令や情報の入力に用いられる。なお、入力部２７を設ける代わりに、いずれかの端末装置４を介して、提供処理部２３に対する指令を入力するように構成してもよい。
【００２４】
［１−２．サーバ］
サーバ３は、データベース３１と、サーバ処理部３２とを備える。
データベース３１は、ＨＤＤ等によって実現され、図２に示すように、デバイス情報領域３１１、コメント情報領域３１２、及びリスト情報領域３１３を少なくとも有する。デバイス情報領域３１１には、タグ付きデバイス情報Ｔ＿Ｉｄｖが格納され、コメント情報領域３１２には、タグ付きコメント情報Ｔ＿Ｉｃｍが格納され、リスト情報領域３１３には、リスト情報が格納される。また、タグ付きデバイス情報Ｔ＿Ｉｄｖ及びタグ付きコメント情報Ｔ＿Ｉｃｍを総称して統合情報ともいう。
【００２５】
図３に示すように、タグ付きデバイス情報Ｔ＿Ｉｄｖは、第１タグ情報Ｔ１と、デバイス情報Ｉｄｖとを有する。
デバイス情報Ｉｄｖは、手術、治療又は検査（以下、治療等）中に、デバイス群２１に属するいずれかのデバイス２２から取得される情報であり、具体的には、計測値、設定値、及び画像データ等が含まれる。
【００２６】
第１タグ情報Ｔ１は、デバイス情報Ｉｄｖに関する情報であり、事例識別タグＴ１１、事例情報タグＴ１２、時間タグＴ１３、及びデータ種別タグＴ１４が少なくとも含まれる。
【００２７】
事例識別タグＴ１１は、ある患者に対して治療等が施された場合に、いずれかの情報提供装置２において、ある期間の間連続して取得される一連のデバイス情報Ｉｄｖを一意に識別するための識別情報である。事例識別タグＴ１１は、一連のデバイス情報Ｉｄｖの提供元となった情報提供装置２を識別できるように設定されてもよい。
【００２８】
事例情報タグＴ１２は、事例識別タグＴ１１によって識別される治療等に関する情報を示す。具体的には、治療者（例えば、手術であれば執刀医）、治療対象者の年齢や性別、病名、及び術名等が含まれる。これに限らず、後日、教育用途等で使用する際に検索項目となり得る情報が含まれてもよい。
【００２９】
時間タグＴ１３は、デバイス情報Ｉｄｖが取得された時刻（以下、取得時刻）を表す情報である。
データ種別タグＴ１４は、デバイス情報Ｉｄｖの生成元となったデバイス２２を特定するための識別情報を含む。なお、一つのデバイス２２から複数のデバイス情報Ｉｄｖが取得される場合は、いずれのデバイス情報Ｉｄｖであるかを特定するための識別情報も含む。
【００３０】
図４に示すように、タグ付きコメント情報Ｔ＿Ｉｃｍは、第２タグ情報Ｔ２と、コメント情報Ｉｃｍとを有する。
コメント情報Ｉｃｍは、端末装置４を介して入力される情報であり、具体的には、テキストデータ、音声データ、及び画像データのうち少なくとも一つが含まれる。なお、画像データには、手書きの文字や図を表すビットマップデータ等が含まれてもよい。
【００３１】
第２タグ情報Ｔ２は、コメント情報Ｉｃｍに関する情報であり、事例識別タグＴ２１と、コメント識別タグＴ２２と、入力者情報タグＴ２３と、コメント対象タグＴ２４と、時間タグＴ２５と、時間タグＴ２６と、コメント種別タグＴ２７とが少なくとも含まれる。
【００３２】
事例識別タグＴ２１は、第１タグ情報Ｔ１における事例識別タグＴ１１と同様のものであり、コメント情報Ｉｃｍが入力されたときに端末装置４にて表示されていたデバイス情報Ｉｄｖに対応付けられた事例識別タグＴ１１が用いられる。
【００３３】
コメント識別タグＴ２２は、端末装置４から入力されたコメントを、個々に識別するための情報である。この情報は、コメントに対するコメントを可能にするための情報である。
入力者情報タグＴ２３は、コメントを入力した入力者または入力が行われた端末装置４を識別するための情報である。
【００３４】
コメント対象タグＴ２４は、コメントの対象を特定するための情報である。コメント対象には、データ種別タグＴ１４で識別されるデバイス情報Ｉｄｖの全体またはその一部が含まれてもよい。また、コメント対象には、デバイス情報Ｉｄｖを特定しない情報全体（即ち、デバイス情報Ｉｄｖが表示された画面全体）、及びコメント識別タグＴ２２により特定されるコメントが含まれてもよい。デバイス情報Ｉｄｖがデバイス２２による測定値であり、その測定値が数字やグラフで表示される場合、デバイス情報Ｉｄｖの一部とは、表示される数字またはグラフ等が含まれてもよい。
【００３５】
時間タグＴ２５は、コメント対象の取得時刻、即ち、上述の時間タグＴ１３と同様の時刻を表す情報である。
時間タグＴ２６は、コメント情報Ｉｃｍの入力時にコメント対象が指定された時刻を表す情報である。時間タグＴ２６は、統合情報の再生が行われている現在の時刻（以下、再生時刻）を表す。但し、統合情報の再生がリアルタイムで行われている場合、即ち、統合情報の生成と再生とが同時に行われている場合は、時間タグＴ２６は、時間タグＴ２５と同じ値となってもよい。
【００３６】
コメント種別タグＴ２７は、コメント情報Ｉｃｍの形式を表す情報であり、テキストデータ、音声データ、画像データ、音声認識データ、動作解析データ等が含まれる。
リスト情報は、図示は省略するが、事例識別タグＴ１１で識別される一連の統合情報毎に生成され、事例識別タグＴ１１と、事例情報タグＴ１２と、時間情報とを有する。時間情報は、統合情報が過去に生成されたものである場合は、全てを再生した場合に要する時間であり、統合情報がリアルタイムで生成される場合は、生成の開始予定時間、及び終了予定時間である。
【００３７】
図１に戻り、サーバ処理部３２は、ＣＰＵ３２１と、例えば、ＲＡＭ、ＲＯＭ等の半導体メモリ（以下、メモリ３２２）と、を有するマイクロコンピュータを備える。
サーバ処理部３２は、情報提供装置２から提供されるリスト情報及びタグ付きデバイス情報Ｔ＿Ｉｄｖ、並びに端末装置４から提供されるタグ付きコメント情報ＴＩ＿ｃｍをデータベース３１に格納する。また、サーバ処理部３２は、端末装置４からの要求に従って、指定された統合情報を配信するアプリケーション（以下、ＡＰ）である配信ＡＰ３３を少なくとも実行する。配信ＡＰ３３の詳細については後述する。
【００３８】
［１−３．端末装置］
図１に示すように、端末装置４は、表示部４１と、入力部４２と、端末処理部４３とを備える。複数の端末装置４は、いずれも同様の構成を有する。
【００３９】
表示部４１は、例えばタッチパネル方式の液晶ディスプレイであり、ＭＰＲ画像等の３次元画像と生体情報等の測定結果を表す波形データや数値、各種の操作ボタン、各機器の設定値、レイアウト値とを表示可能である。ＭＰＲは、Multi Planar Reconstructionの略である。
【００４０】
入力部４２は、例えば、上述の液晶ディスプレイに設けられたタッチパネル、キーボード、マウス、マイク、カメラ、及びモーションセンサ等の入力機器である。入力部４２、これら入力機器を介した入力操作に対応するテキストデータ、位置データ、音声データ、画像データ等を端末処理部４３に対して出力する。
【００４１】
端末処理部４３は、ＣＰＵ４３１と、例えば、ＲＡＭ、ＲＯＭ等の半導体メモリ（以下、メモリ４３２）と、を有するマイクロコンピュータを備える。端末処理部４３は、サーバ３のデータベース３１に格納される統合情報に関連した１つ以上のアプリケーションを実行する。ここでは、端末処理部４３は、図２に示すように、音声認識ＡＰ４４、動作解析ＡＰ４５、表示更新ＡＰ４６、コメント付与ＡＰ４７、およびレイアウト変更ＡＰ４８を少なくとも実行する。
【００４２】
音声認識ＡＰ４４では、入力部４２を構成する入力機器の一つであるマイクにより取得された利用者の音声に対して、音声認識処理を実行し、認識内容に対応したコマンドまたはテキストデータである音声認識データを生成し、認識対象となった音声と共に出力する。
【００４３】
動作解析ＡＰ４５では、入力部４２を構成する入力機器の一つであるカメラによりユーザの動作（例えば、手、顔、頭等の動作）が撮影された画像を解析する。また、動作解析ＡＰ４５では、解析内容に対応したコマンドまたはテキストデータである動作解析データを生成し、解析対象となった画像と共に出力する。
【００４４】
つまり、端末装置４は、入力部４２と、音声認識ＡＰ４４及び動作解析ＡＰ４５と、を備えることで、非接触での入力操作を実現する。
なお、表示更新ＡＰ４６、コメント付与ＡＰ４７、及びレイアウト変更ＡＰ４８については後述する。
【００４５】
［２．処理］
［２−１．リスト情報生成処理］
提供処理部２３による情報生成機能２５１は、リスト情報生成ＡＰ及びデバイス情報生成ＡＰにより実現される。まず、提供処理部２３が、リスト情報生成ＡＰを実行することで実現されるリスト情報生成処理を、図５のフローチャートを用いて説明する。リスト情報生成処理は、入力部２７を介して、リスト情報を生成する指令が入力されると開始される。
【００４６】
Ｓ１１０では、提供処理部２３は、新たに生成される一連の統合情報（以下、事例）を識別するための識別情報、即ち、事例識別タグＴ１１を生成する。事例識別タグＴ１１は、例えば、情報提供装置２を一意に識別する識別子と、その情報提供装置２において新たな事例が発生する毎に更新される連番との組み合わせであってもよい。
【００４７】
続くＳ１２０では、提供処理部２３は、Ｓ１１０で生成された識別情報によって特定される事例に関して、事例情報タグＴ１２に関する情報と、その事例に関するデバイス情報の取得を開始および終了の予定時刻を表す時間情報とを、入力部２７を介して取得する。
【００４８】
続くＳ１３０では、提供処理部２３は、Ｓ１１０で生成される事例識別タグＴ１１、Ｓ１２０で取得される事例情報タグＴ１２及び時間情報をリスト情報として、このリスト情報をメモリ２３２に記憶すると共に、サーバ３に送信して処理を終了する。
【００４９】
［２−２．デバイス情報生成処理］
提供処理部２３がデバイス情報生成ＡＰを実行することで実現されるデバイス情報生成処理を、図６のフローチャートを用いて説明する。デバイス情報生成処理は、情報提供装置２の入力部２７を介して、事例識別タグＴ１１に用いられる識別情報が指定され、かつ生成開始の指令が入力されると、プロバイダ２４毎に実行される。
【００５０】
Ｓ２１０では、指定された識別情報に対応するリスト情報のうち、事例識別タグＴ１１及び事例情報タグＴ１２を取得する。
続くＳ２２０では、提供処理部２３は、処理対象のプロバイダ２４にデバイス２２が接続されているか否かを判断する。提供処理部２３は、デバイス２２が接続されていないと判断した場合は、同ステップを繰り返すことで待機し、デバイス２２が接続されていると判断した場合は、処理をＳ２３０に移行する。
【００５１】
Ｓ２３０では、提供処理部２３は、プロバイダ２４を介してデバイス２２からデバイス情報Ｉｄｖを取得する。一つのデバイス２２から取得されるデバイス情報Ｉｄｖは、１種類であってもよいし、複数種類であってもよい。
【００５２】
続くＳ２４０では、提供処理部２３は、現在時刻を取得して時間タグＴ１３を生成する。現在時刻は、マイコンが有する時計機能２５２から取得してもよいし、デバイス２２からデバイス情報Ｉｄｖと共に提供されるデバイス情報Ｉｄｖの取得時刻を表す時刻情報を用いてもよい。
【００５３】
続くＳ２５０では、提供処理部２３は、Ｓ２３０で取得されたデバイス情報Ｉｄｖの種類を表すデータ種別タグＴ１４を生成する。データ種別タグＴ１４は、プロバイダ２４に接続されたデバイス２２に応じて、予め用意されたものを用いてもよい。
【００５４】
続くＳ２６０では、提供処理部２３は、第１タグ情報Ｔ１が挿入されたデバイス情報Ｉｄｖであるタグ付きデバイス情報Ｔ＿Ｉｄｖを生成する。なお、第１タグ情報Ｔ１は、上述の処理で取得、生成された事例識別タグＴ１１と、事例情報タグＴ１２と、時間タグＴ１３と、データ種別タグＴ１４とを含む。更に、提供処理部２３は、生成したタグ付きデバイス情報Ｔ＿Ｉｄｖを、情報提供装置２が有するメモリ２３２に記憶すると共に、サーバ３に送信する。
【００５５】
続くＳ２７０では、提供処理部２３は、統合情報の生成を終了するか否かを判断する。具体的には、情報提供装置２は、入力部２７を介して統合情報の生成を終了する旨の指令が入力された場合は、処理を終了し、そのような指令が入力されていない場合は、統合情報の生成を継続するために、処理をＳ２２０に戻す。
【００５６】
［２−２．配信処理］
サーバ処理部３２が配信ＡＰ３３を実行することで実現される配信処理を、図７のフローチャートを用いて説明する。配信処理は、サーバ３が起動すると繰り返し実行される。
【００５７】
Ｓ３１０では、サーバ処理部３２は、情報提供装置２からリスト情報を取得したか否かを判断し、リスト情報を取得していれば処理をＳ３２０に移行し、リスト情報を取得していなければ処理をＳ３４０に移行する。
【００５８】
Ｓ３２０では、サーバ処理部３２は、取得したリスト情報をデータベース３１のリスト情報領域３１３に記憶させる。
続くＳ３３０では、取得したリスト情報を、全ての端末装置４に対して配信して、処理を一旦終了する。なお、リスト情報は、端末装置４からの要求に応じて配信してもよい。
【００５９】
Ｓ３４０では、サーバ処理部３２は、情報提供装置２からタグ付きデバイス情報Ｔ＿Ｉｄｖを取得したか否かを判断し、タグ付きデバイス情報Ｔ＿Ｉｄｖを取得していれば処理をＳ３６０に移行し、タグ付きデバイス情報Ｔ＿Ｉｄｖを取得していなければ処理をＳ３５０に移行する。
【００６０】
Ｓ３５０では、サーバ処理部３２は、端末装置４からタグ付きコメント情報Ｔ＿Ｉｃｍを取得したか否かを判断し、タグ付きコメント情報Ｔ＿Ｉｃｍを取得していれば処理をＳ３６０に移行し、タグ付きコメント情報Ｔ＿Ｉｃｍを取得していなければ、処理をＳ３９０に移行する。
【００６１】
Ｓ３６０では、サーバ処理部３２は、取得したタグ付きデバイス情報Ｔ＿Ｉｄｖまたはタグ付きコメント情報Ｔ＿Ｉｃｍを、データベース３１のデバイス情報領域３１１またはコメント情報領域３１２に保存する。このとき、事例識別タグＴ１１，Ｔ２１にて識別される一連の情報毎に、区分けして保存してもよい。
【００６２】
続くＳ３７０では、サーバ処理部３２は、取得したタグ付きデバイス情報Ｔ＿Ｉｄｖの事例識別タグＴ１１またはタグ付きコメント情報Ｔ＿Ｉｃｍの事例識別タグＴ２１で特定される事例（以下、対象事例）について、リアルタイム配信中であるか否かを判断する。リアルタイム配信とは、対象事例の統合情報を受信すると同時に、その受信した統合情報を端末装置４に配信することを意味する。サーバ処理部３２は、対象事例をリアルタイム配信中であると判断した場合は、処理をＳ３８０に移行し、対象事例をリアルタイム配信中ではないと判断した場合は、処理を一旦終了する。
【００６３】
Ｓ３８０では、サーバ処理部３２は、Ｓ３６０にてデータベース３１に保存されたタグ付きデバイス情報Ｔ＿Ｉｄｖまたはタグ付きコメント情報Ｔ＿Ｉｃｍを、リアルタイム配信の対象となる端末装置４（以下、対象端末）に対して配信して、処理を一旦終了する。
【００６４】
Ｓ３９０では、サーバ処理部３２は、端末装置４から配信要求を受信したか否かを判断し、配信要求を受信していれば処理をＳ４００に移行し、配信要求を受信していなければ処理を一旦終了する。
【００６５】
Ｓ４００では、サーバ処理部３２は、配信要求の要求元となった端末装置４を、対象端末に設定する。
続くＳ４１０では、サーバ処理部３２は、対象事例に関する統合情報をデータベース３１から収集する。具体的には、事例識別タグＴ１１，Ｔ２１の内容が配信要求に示された識別情報と一致する全てのタグ付きデバイス情報Ｔ＿Ｉｄｖ及びタグ付きコメント情報Ｔ＿Ｉｃｍを収集する。但し、リアルタイム配信の要求であり、まだ配信が開始されていない場合は、収集すべき統合情報がデータベース３１に存在しない場合もある。
【００６６】
続くＳ４２０では、Ｓ４１０で収集した情報を、Ｓ４００で設定された対象端末に配信して、処理を一旦終了する。但し、配信要求が、リアルタイム配信の要求である場合は、対象端末に対してリアルタイム配信中であることを表す設定を行う。
【００６７】
［２−３．端末処理］
端末処理部４３が実行する端末処理を、図８のフローチャートを用いて説明する。なお、端末処理部４３は、表示処理とは別に、情報蓄積処理を並列に実行する。情報格納処理は、サーバ３からリスト情報、又は当該端末処理部４３からの配信要求に係る事例についての統合情報を受信すると、メモリ４３２の所定エリアにこれらの情報を格納する処理である。
【００６８】
端末処理は、入力部４２を介して起動を指示する入力があると開始される。
Ｓ５１０では、端末処理部４３は、メモリ４３２に蓄積されたリスト情報に基づいて、表示部４１に選択リスト画面を表示させる。選択リスト画面は、図９に示すように、事例識別タグＴ１１で識別される事例のアイコンを列挙する画面である。アイコンには、各リスト情報の事例情報タグＴ１２の内容の少なくとも一部が表示される。特に、リアルタイム配信が行われるものについては、その開始予定時刻及び終了予定時刻も表示される。なお、選択リスト画面には、事例検索用の表示が行われてもよく、例えば、術式、執刀医、病名等、事例情報タグＴ１２に示される情報を用いて、選択リスト画面に表示される事例を絞り込むことができるように構成されてもよい。
【００６９】
なお、選択リスト画面は、画面上のアイコンを選択することで、事例を選択することができるように構成されている。
続くＳ５２０では、端末処理部４３は、選択リスト画面上でアイコンの選択が検出されると、選択された事例を特定する識別情報（即ち、事例識別タグＴ１１）を示した配信要求を、サーバ３に送信する。
【００７０】
以後、サーバ３からは、配信要求に示された識別情報と一致する事例識別タグＴ１１，Ｔ２１を有した統合情報（以下、要求事例の統合情報）が送信されてくるため、端末処理部４３は、上述の情報格納処理によってメモリ４３２の所定のエリアに要求事例の統合情報を格納する。但し、リアルタイム配信でなければ、要求事例の統合情報は一括して送信され、リアルタイム配信であれば、要求事例について新たな統合情報が生成される毎に送信される。
【００７１】
続くＳ５３０では、端末処理部４３は、要求事例の表示の際に使用するレイアウトを初期化する。ここでレイアウトとは、以下の要素の複合である。（１）表示画面における表示領域をどのように区分するか。（２）区分された各領域に、どの種類のデバイス情報をいくつ同時に表示するか。（３）区分された各領域におけるデバイス情報の表示態様（例えば、画像、数値、グラフ、表等）をどのようにするか。（４）どの種類のコメント情報を表示するか。（５）コメント情報の表示態様（例えば、コメント領域の大きさ、位置等）をどのようにするか。コメント情報は、基本的には、表示対象となるデバイス情報に関するものが表示される。
【００７２】
続くＳ５４０では、端末処理部４３は、表示更新ＡＰ４６を起動する。表示更新ＡＰ４６については後述する。
続くＳ５５０では、端末処理部４３は、入力部４２を介して表示処理を終了させる終了指示が入力されたか否かを判断し、終了指示が入力されていれば処理を終了し、終了指示が入力されていなければ、処理をＳ５６０に移行する。
【００７３】
Ｓ５６０では、端末処理部４３は、入力部４２を介してレイアウトを変更するする変更指示が入力されたか否かを判断し、変更指示が入力されていれば、処理をＳ５７０に移行し、変更指示が入力されていなければ、処理をＳ５８０に移行する。
【００７４】
Ｓ５７０では、端末処理部４３は、レイアウト変更ＡＰ４８を起動して、処理をＳ５５０に戻す。レイアウト変更ＡＰ４８を起動すると、表示部４１にレイアウト設定用画面が表示されるため、端末装置４の利用者は、レイアウト設定用画面を用いてレイアウトの変更を行う。変更されたレイアウトは、メモリ４３２に記憶されると共に、表示更新処理によって、表示部４１での統合情報の表示に反映される。
【００７５】
なお、レイアウトの変更には、第２タグ情報Ｔ２に示された情報を用いて、表示するコメント情報Ｉｃｍを絞り込むことを含む。例えば、特定の入力者によるコメントのみを表示したり、テキストデータのみを表示したりしてもよい。
【００７６】
Ｓ５８０では、端末処理部４３は、入力部４２を介してコメント入力を要求する指示が入力されたか否かを判断し、指示が入力されていれば、処理をＳ５９０に移行し、指示が入力されていなければ、処理をＳ５５０に戻す。
【００７７】
Ｓ５９０では、端末処理部４３は、コメント付与ＡＰ４７を起動して、処理をＳ５５０に戻す。コメント付与ＡＰ４７については後述する。
なお、本処理においてＳ５２０が配信要求部に相当し、Ｓ５７０がコメント絞込部及びレイアウト指定部に相当する。
【００７８】
［２−４．表示更新処理］
先のＳ５４０にて表示更新ＡＰ４６を起動することで実現される表示更新処理を、図１０のフローチャートを用いて説明する。表示更新処理は、一旦開始されると、入力部４２を介して終了指示が入力されるまでの間、予め設定された表示周期で繰り返し実行される。
【００７９】
なお、表示更新処理では、配信要求に応じてサーバ３から提供され、メモリ４３２に格納された要求事例の統合情報に基づき、入力部４２を介して指定される時間Ｓに対応したデバイス情報Ｉｄｖ及びコメント情報Ｉｃｍを表示部４１の表示画面に表示する。但し、静止画を表示する動作モードでは、時間Ｓは、入力部４２からの入力に応じて変更され、動画を表示する動作モードでは、時間Ｓは、入力部４２からの初期値の入力後は、表示周期に合わせて自動的に更新される。
【００８０】
Ｓ６１０では、端末処理部４３は、時間Ｓを取得する。
続くＳ６２０では、端末処理部４３は、メモリ４３２から、表示対象とされている全てのデバイス種別及び全てのコメント種別について、時間Ｓ以前で最新の時刻を表す時間タグＴ１３，Ｔ２５が付与されたデバイス情報Ｉｄｖ及びコメント情報Ｉｃｍを取得する。なお、最新の時刻の探索には、遡ることのできる上限時間が決められていてもよい。
【００８１】
例えば、図１１に示すように、メモリ４３２には、Ａ〜Ｄで識別される４種類のデバイス情報と、ａ，ｃで識別される２種類のコメント情報とが保存されているものとする。図１１では、時間Ｓが９時００分Ｘミリ秒である場合、時および分を省略し、ミリ秒を単位として「Ｘ」と表示される。つまり、図１１における「Ａ」の欄に示す数値の列は、デバイス種別Ａのデバイス情報Ｉｄｖに付与された時間タグＴ１３の内容を示す。
【００８２】
時間Ｓが「１００」である場合、時間Ｓ以前で最新の時間タグＴ１３を有するデバイス情報は、図１１中に丸印で示した通りである。即ち、種類Ａでは時間タグＴ１３が「９７」のデバイス情報である。種類Ｂでは時間タグＴ１３が「１００」のデバイス情報である。種類Ｃでは時間タグＴ１３が「９９」のデバイス情報である。種類Ｄでは時間タグＴ１３が「９８」のデバイス情報である。
【００８３】
また、時間Ｓ以前で最新の時間タグＴ２５を有するコメント情報は、種類ａでは時間タグＴ２５が「９３」のコメント情報である。種類ｃでは、上限時間範囲内に該当するコメント情報が存在しないことを意味する。
【００８４】
続くＳ６３０では、端末処理部４３は、Ｓ６２０で読み出したデバイス情報Ｉｄｖを、その時点で設定されているレイアウトに従って表示させるための画像データである主画像データを生成する。以下では、主画像データによって表示される画像を主画像という。
【００８５】
主画像のレイアウトの一例として、例えば、図１２に示すように、モニタ領域Ａ１、映像領域Ａ２、ナビ画像領域Ａ３、時間領域Ａ４等を有していてもよい。モニタ領域Ａ１は、生体情報をモニタするグラフ等が表示される領域である。モニタ領域Ａ１では、生体情報を数値及びグラフ形式で表示される。映像領域Ａ２は、治療対象をカメラ等で撮影した動画が表示される領域である。ナビ画像領域Ａ３は、手術ナビにより検出される３次元位置が、予め用意された患部の３次元画像と共に表示される領域である。ナビ画像領域Ａ３では、検出位置を含みかつ互いに異なる断面を示す三つの断面画像が三面図形式で表示される。時間領域Ａ４は、統合情報の時系列が存在する時間範囲を時間軸で表現し、その時間軸上で、時間Ｓを表示するための領域である。時間領域Ａ４には、時間軸と共に、イベントの発生時刻を表すバルーン状の表示が行われてもよい。
【００８６】
図１０に戻り、続くＳ６４０では、端末処理部４３は、Ｓ６２０で読み出したコメント情報Ｉｃｍを、主画像と共に表示させるための表示データであるコメント表示データを生成する。以下では、コメント表示データによって表示される表示をコメント表示という。なお、主画像上におけるコメント表示の表示位置及び表示形式は、コメント情報Ｉｃｍのコメント種別、又はコメント対象となるデバイス情報Ｉｄｖのデータ種別に応じて、予め設定されている。なお、コメント表示の表示位置及び表示形式を変更する専用のアプリが存在してもよい。
【００８７】
続くＳ６５０では、端末処理部４３は、Ｓ４３０にて生成された主画像データ及びＳ４４０にて生成されたコメント表示データを、表示用データとして表示部４１に出力することで、主画像とコメント表示とを表示部４１の表示画面に表示させて、処理を一旦終了する。
【００８８】
なお、本処理において、Ｓ６１０〜Ｓ６３０が主画像生成部に相当し、Ｓ６１０〜Ｓ６２０，Ｓ６４０が表示生成部に相当する。
［４−２．コメント付与処理］
先のＳ５９０にてコメント付与ＡＰ４７を起動することで実現されるコメント付与処理を、図１３のフローチャートを用いて説明する。
【００８９】
Ｓ７１０では、端末処理部４３は、入力部４２を介して、表示部４１の画面（以下、表示画面）に表示されている情報全体（以下、「全体」）をコメント対象として指定する全指定入力が行われたか否かを判断する。端末処理部４３は、全指定入力が行われたと判断した場合は、処理をＳ７４０に移行し、全指定入力が行われていないと判断した場合は、処理をＳ７２０に移行する。なお、端末処理部４３は、例えば、図１２に示すイベント追加ボタンＢｅｖがクリックされた場合に、全指定入力が行われたと判断してもよい。
【００９０】
Ｓ７４０では、端末処理部４３は、全指定入力が行われたタイミングに対応した取得時刻を取得して時間タグＴ２５を生成すると共に、当該タイミングに対応した再生時刻を取得して時間タグＴ２６を生成する。なお、取得時刻とは、全指定入力が行われたタイミング以前に表示処理のＳ２１０にて直近で取得された時間Ｓ、または、当該タイミングで表示されているデバイス情報Ｉｄｖに対応づけられた時間タグＴ１３が示す時刻である。また、再生時刻とは、全指定入力が行われたタイミングで、マイコンが有する時計機能から取得される現在時刻である。
【００９１】
続くＳ７５０では、端末処理部４３は、コメント対象が「全体」であることを表すコメント対象タグＴ２４を生成して、処理をＳ８２０に進める。
Ｓ７２０では、端末処理部４３は、入力部４２を介して、表示画面上の位置を示す位置入力が行われたか否かを判断する。位置入力は、表示画面上のタッチパネルによって入力された位置でもよいし、マウスやキーボートによって操作される表示画面に表示されたカーソルが示す位置でもよい。更に、主画像中にナビ画像領域Ａ３が含まれている場合は、そのナビ画像により示されている３次元位置であってもよい。具体的には、三面図のそれぞれに示された、補助線が交差する各画像の中心位置である。端末処理部４３は、位置入力が行われたと判断した場合は、処理をＳ７６０に移行し、位置入力が行われていないと判断した場合は、処理をＳ７１０に移行する。
【００９２】
Ｓ７６０では、端末処理部４３は、入力部４２を介して位置入力が行われたタイミングに対応した取得時刻および再生時刻を取得し、Ｓ７４０での処理と同様に、時間タグＴ２５，Ｔ２６を生成する。
【００９３】
続くＳ７７０では、端末処理部４３は、位置入力によって指定された表示画面上の位置である指定位置が、コメントを表示する領域か否かを判断する。端末処理部４３は、指定位置が、コメントを表示する領域であると判断した場合は、処理をＳ７９０に移行し、指定位置が、コメントを表示する領域ではないと判断した場合は、処理をＳ７８０に移行する。
【００９４】
Ｓ７９０では、端末処理部４３は、指定位置と、その時点でのコメント表示のレイアウトとに基づいて、指定位置に表示されているコメント情報Ｉｃｍが、コメント対象であることを表すコメント対象タグＴ２４を生成して、処理をＳ８２０に進める。このとき、指定位置に表示されているコメント情報Ｉｃｍに対応づけられたコメント識別タグＴ２２の値を、コメント対象タグＴ２４の値としてもよい。
【００９５】
Ｓ７８０では、端末処理部４３は、指定位置に、測定値を表す数字または波形（以下、波形等）が表示されているか否か、即ち、位置入力によって波形等が指定されたか否かを判断する。端末処理部４３は、波形等が指定されていると判断した場合は、処理をＳ８００に移行し、波形等が指定されていないと判断した場合は、処理をＳ８１０に移行する。
【００９６】
Ｓ８００では、端末処理部４３は、位置入力によって指定された波形等が、コメント対象であることを表すコメント対象タグＴ２４を生成して、処理をＳ８２０に進める。
Ｓ８１０では、端末処理部４３は、指定位置と、その時点での主画像のレイアウトとに基づいて、指定位置に表示されているデバイス情報Ｉｄｖの種類を特定する。デバイス情報Ｉｄｖの種類は、そのデバイス情報Ｉｄｖに対応づけられたデータ種別タグＴ１４で表される。更に、その特定されたデバイス情報Ｉｄｖの種類がコメント対象であることを表すコメント対象タグＴ２４を生成して、処理をＳ８２０に進める。
【００９７】
なお、Ｓ８００及びＳ８１０では、コメント対象に割り当てられた表示領域内における相対位置で、指定位置を表した情報を、コメント対象タグＴ２４に含めてもよい。これは、レイアウトが変更された場合に、表示領域内での表示と指定位置との関係が変化しないようにするための情報である。
【００９８】
Ｓ８２０では、端末処理部４３は、入力部４２を介してコメント入力があったか否かを判断し、コメント入力があれば処理をＳ８４０に移行し、コメント入力がなければ、処理をＳ８３０に移行する。
【００９９】
Ｓ８３０では、端末処理部４３は、入力部４２を介してコメント情報入力をキャンセルする指示が入力されたか否かを判断し、キャンセルする指示が入力された場合は処理を終了し、キャンセルする指示の入力がなければ、処理をＳ８２０に戻す。
【０１００】
Ｓ８４０では、端末処理部４３は、再生中の統合情報を特定する事例識別タグＴ１１を取得し、事例識別タグＴ２１を生成する。
続くＳ８５０では、端末処理部４３は、コメント入力に基づいて生成されたコメント情報を一意に識別するための識別情報を生成し、この識別情報を用いてコメント識別タグＴ２２を生成する。
【０１０１】
続くＳ８６０では、端末処理部４３は、コメント入力者を識別する情報を取得し、入力者情報タグＴ２３を生成する。なお、コメント入力者を識別する情報は、入力部４２を介して入力させてもよいし、端末装置４の起動時にユーザに入力させるユーザＩＤ等を用いてもよい。
【０１０２】
続くＳ８７０では、端末処理部４３は、コメント入力に使用された入力機器等から、入力されたコメントの種別を特定して、コメント種別タグＴ２７を生成する。コメントの種別とは、キーボードを介した文字入力、タッチパネルを介した手書き入力、マイクを介した音声入力、カメラを介した画像入力等がある。
【０１０３】
続くＳ８８０では、端末処理部４３は、コメント種別に応じたコメント情報Ｉｃｍを生成する。具体的には、コメント種別が文字入力または手書き入力である場合、入力されたテキストデータまたは画像をそのままコメント情報Ｉｃｍとする。コメント種別が音声入力である場合、音声データだけでなく、音声認識ＡＰ４４を実行することによって生成される音声認識データもコメント情報Ｉｃｍに含める。同様に、コメント種別が画像入力である場合、画像データだけでなく、動作解析ＡＰ４５を実行することによって生成される動作解析データもコメント情報Ｉｃｍに含める。
【０１０４】
続くＳ８９０では、端末処理部４３は、タグ付きコメント情報Ｔ＿Ｉｃｍを生成し、メモリ４３２に記憶された統合情報に追加すると共に、サーバ３に送信して、処理を終了する。なお、タグ付きコメント情報Ｔ＿Ｉｃｍは、Ｓ８８０で生成されるコメント情報Ｉｃｍに、Ｓ７４０、Ｓ７６０で生成される時間タグＴ２５，Ｔ２６と、Ｓ７５０、Ｓ７９０〜Ｓ８１０で生成されるコメント対象タグＴ２４と、Ｓ８４０〜Ｓ８７０で生成される事例識別タグＴ２１、コメント識別タグＴ２２、入力者情報タグＴ２３、及びコメント種別タグＴ２７とを挿入することで生成される。
【０１０５】
なお、メモリ４３２に格納されたタグ付きコメント情報Ｔ＿Ｉｃｍは、繰り返し実行される表示更新処理によって、直ちに表示部４１での表示に反映される。
また、サーバ３に送信されたタグ付きコメント情報Ｔ＿Ｉｃｍは、データベース３１に格納される。また、リアルタイム配信中である場合、このタグ付きコメント情報Ｔ＿Ｉｃｍは、サーバ３から全ての対象端末に配信され、配信された対象端末での表示にも反映される。
【０１０６】
なお、本処理において、Ｓ７１０〜Ｓ７２０が対象指定部に相当し、Ｓ８２０がコメント入力部に相当し、Ｓ７４０〜Ｓ８００、Ｓ８４０〜Ｓ８９０が情報生成部に相当する。
［５．表示例］
ここで、表示更新処理によるコメント情報Ｉｃｍの表示例を、図１４及び図１５を用いて説明する。
【０１０７】
モニタ領域Ａ１に表示された計測値が大きく変化した時に、その計測値が表示された画面上の部位を指で触れる等して位置入力をした後、キーボード等を介してコメント入力をする。すると、図１４中の符号Ｃ１に示すように、コメント対象となるパラメータに関連付けた文字コメント「コメント１」が表示される。
【０１０８】
映像領域Ａ２を指定する位置入力が行われたあと、タッチパネル用の入力ペン等を用いて表示画面上に線図や文字を手書き入力する。すると、図１４中の符号Ｃ２に示すように、コメント対象となる映像領域Ａ２中の画像に、手書き入力した線図や文字がそのまま重畳表示される。
【０１０９】
ナビ画像領域Ａ３にＭＰＲ画像が３面図形式で表示されている状態で、ナビ画像領域Ａ３を指定する操作が行われると、ナビ画像領域Ａ３に表示されたＭＰＲ画像により特定される３次元位置を指定する位置入力が行われたものとされる。そして、その指定された３次元位置に対するコメントの入力が可能となる。この場合、３面図の各中央位置で表される３次元位置がコメント対象となり、図１４中の符号Ｃ３で示す「コメ３」の部分にコメントが表示される。また、３面図の別の位置には、以前にコメント対象として指定された３次元位置を表す黒点に対応づけて、図１４中の符号Ｃ４で示す「コメ４」の部分にコメントが表示される。なお、コメントは、画像に重畳表示されるのではなく、ナビ画像領域Ａ３中で画像のない部分に表示されてもよい。
【０１１０】
全指定入力が行われた場合、例えば、図１５に示すように、表示画面の右隅にコメント表示領域Ｃ５を設定し、このコメント表示領域Ｃ５中にタイムラインＴＬに対応づけてコメントを表示してもよい。また、コメント対象がコメントである場合、図１５中の符号Ｃ５１，Ｃ５２に示すように、コメントを重ねて表示してもよい。また、表示領域Ｃ５中では、デバイス情報の表示される主画面の時間とは独立に、指定された任意の時点を中心とする所定時間範囲のコメントの表示が可能であってもよい。また、表示領域Ｃ５中に表示されたコメントを指定して所定の操作を行うことによって、主画像の表示が、指定されたコメントに関連する内容に切り替わるように構成されてもよい。
【０１１１】
［６．効果］
以上詳述した情報共有システム１によれば、以下の効果を奏する。
（６ａ）手術や治療中にリアルタイムで統合情報の配信、表示を行った場合、端末装置４を介して、任意の関係者と手術や治療の状況等をリアルタイムで共有できる。更に、術中に受けたアドバイスや術中に行った機器の操作や作業の意図、及び術中に気づいたこと等の備忘として、リアルタイムでコメントを残すことができる。
【０１１２】
例えば、端末装置４の表示部４１の表示画面に表示されたデバイス情報に、他の部分とは異なる特徴的な部分が存在する場合、投薬、空調の設定変更、及び患者の姿勢変更など、デバイス情報から読み取ることのできない情報をコメントとして残すことができる。
【０１１３】
（６ｂ）タッチパネル、キーボード、及びマウス等による機器の操作を伴う入力だけでなく、マイクがカメラを通した音声やジェスチャによる非接触でのコメント入力が可能なため、機器の操作を行えない状況にある施術者等のコメントも簡単に残すことができる。
【０１１４】
（６ｃ）手術や治療の振り返りや教育等のために、術後にデバイス情報Ｉｄｖ及びコメント情報Ｉｃｍの表示を行った場合は、閲覧者は、デバイス情報Ｉｄｖだけからは得ることのできない、有用な情報をコメント情報Ｉｃｍから得ることができる。また、このとき、新たなコメントを追加することもできる。
【０１１５】
（６ｄ）コメントを入力する際には、表示画面上の示された個々のデバイス情報Ｉｄｖを指定することができ、その指定されたデバイス情報Ｉｄｖ及び時間と関連づけて、コメント情報Ｉｃｍが表示，再生される。従って、閲覧者は、コメント対象を明確に把握することができる。
【０１１６】
（６ｅ）コメント対象として、画面全体や特定のコメントを選択できるため、この機能を利用することで、閲覧者同士が表示画面上で議論をすることができ、また、その議論内容をコメントとして残すことができる。
【０１１７】
（６ｆ）リスト情報に含まれる事例情報タグＴ１２の情報を利用して、事例を検索したり、タグ付きコメント情報Ｔ＿Ｉｃｍに含まれる入力者情報タグＴ２３の情報を利用して、例えば、特定の人によるコメントのみを抽出して表示したりすることができる。このため、必要な情報を効率よく確認できる。
【０１１８】
［７．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【０１１９】
（７ａ）本開示に記載の提供処理部２３、サーバ処理部３２、端末処理部４３、及びそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の提供処理部２３、サーバ処理部３２、端末処理部４３及びそれらの手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の提供処理部２３、サーバ処理部３２、端末処理部４３及びそれらの手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。提供処理部２３、サーバ処理部３２、及び端末処理部４３に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
【０１２０】
（７ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
【０１２１】
（７ｃ）上述した情報共有システム１の他、当該情報共有システム１を構成する情報提供装置２、サーバ３、及び端末装置４としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体など、種々の形態で本開示を実現することもできる。
【符号の説明】
【０１２２】
１…情報共有システム、２…情報提供装置、３…サーバ、４…端末装置、５…通信ネットワーク、２１…デバイス群、２２Ａ〜２２Ｈ…デバイス、２３…提供処理部、２４Ａ〜２４Ｈ…プロバイダ、２５…ミドルウェア、２７…入力部、３１…データベース、３２…サーバ処理部、４１…表示部、４２…入力部、４３…端末処理部、２３１，３２１，４３１…ＣＰＵ、２３２，３２２，４３２…メモリ、２５１…情報生成機能、２５２…時計機能、３１１…デバイス情報領域、３１２…コメント情報領域、３１３…リスト情報領域、３３…配信ＡＰ、４４…音声認識ＡＰ、４５…動作解析ＡＰ、４６…表示更新ＡＰ、４７…コメント付与ＡＰ、４８…レイアウト変更ＡＰ。
【図１】
2020102128.tif 000003
【図２】
2020102128.tif 000004
【図３】
2020102128.tif 000005
【図４】
2020102128.tif 000006
【図５】
2020102128.tif 000007
【図６】
2020102128.tif 000008
【図７】
2020102128.tif 000009
【図８】
2020102128.tif 000010
【図９】
2020102128.tif 000011
【図１０】
2020102128.tif 000012
【図１１】
2020102128.tif 000013
【図１２】
2020102128.tif 000014
【図１３】
2020102128.tif 000015
【図１４】
2020102128.tif 000016
【図１５】
2020102128.tif 000017