(57)【要約】【課題】患者の所定の部位の撮影画像と、前記撮影画像に重畳させて表示する仮想画像との表示位置を合わせる際に、前記仮想画像の表示位置の補正時間を低減可能な識別標識体を提供する。【解決手段】撮影手段により撮影されると、前記撮影手段により撮影した撮影画像と、対応する仮想画像とを重畳させて表示手段により表示するための識別標識体であって、縫着孔が設けられ、患者の所定の部位に縫い付けて固定される基体と、前記基体に固定され、前記撮影手段により撮影された際、前記表示手段により前記対応する仮想画像を表示させるための識別画像と、を有する識別標識体である。【選択図】図１Ａ
2016077574.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段により撮影されると、前記撮影手段により撮影した撮影画像と、対応する仮想画像とを重畳させて表示手段により表示するための識別標識体であって、
縫着孔が設けられ、患者の所定の部位に縫い付けて固定される基体と、
前記基体に固定され、前記撮影手段により撮影された際、前記表示手段により前記対応する仮想画像を表示させるための識別画像と、を有することを特徴とする識別標識体。
【請求項２】
識別画像が表示された識別表示部品を有し、
前記識別表示部品が、少なくとも１つの突起部を有し、
基体が、前記突起部を嵌め込んで固定する嵌合孔又は溝を有する請求項１に記載の識別標識体。
【請求項３】
基体及び識別表示部品が、生体適合材料により形成され、滅菌可能である請求項１から２のいずれかに記載の識別標識体。
【請求項４】
識別画像が、ＡＲ識別マーカである請求項１から３のいずれかに記載の識別標識体。
【請求項５】
識別画像が表示された識別表示部品の表面が、光を拡散反射させる少なくとも１つの凹部を有する請求項１から４のいずれかに記載の識別標識体。
【請求項６】
手術の際に請求項１から５のいずれかに記載の前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影する撮影手段と、
前記撮影手段により撮影した、前記識別標識体における識別画像を含む撮影画像を表示する表示手段と、
あらかじめ撮影された前記患者の体内における立体的な部位の仮想画像データ毎に対応づけた識別画像の識別画像データを生成する生成手段と、
前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納するデータ格納手段と、
前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別標識体の識別画像を認識し、識別画像データを抽出する抽出手段と、を有し、
前記表示手段が、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の部位の仮想画像を、前記識別標識体の前記識別画像を認識した位置で前記撮影画像に重畳させて表示することを特徴とする医療支援システム。
【請求項７】
患者の部位の断層画像データを取得する断層撮影手段と、
前記断層撮影手段により取得した前記断層画像データに基づいて前記患者の体内における立体的な部位の仮想画像データを生成する仮想画像データ生成手段と、
前記仮想画像データ生成手段により生成された前記仮想画像データをデータ格納手段に格納するために送信する通信手段と、を有する断層撮影装置を含む請求項６に記載の医療支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、識別標識体と、識別標識体を用いた拡張現実技術による医療支援システムに関する。
【背景技術】
【０００２】
従来より、デジタルビデオカメラなどの撮影手段により撮影した撮影画像に、所定の識別画像が含まれていると認識すると、前記識別画像に応じた仮想画像（３次元コンピュータグラフィックス）をリアルタイムで前記撮影画像に重畳させて表示するＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、拡張現実）技術が利用されている。前記ＡＲ技術のひとつとして、例えば、前記識別画像として、ＡＲ識別マーカ（二次元バーコード）を用いる技術がある。この技術では、前記撮影画像に前記ＡＲ識別マーカを認識すると、前記ＡＲ識別マーカに対応づけられた前記仮想画像を、前記撮影画像における前記ＡＲ識別マーカを認識した位置で、前記撮影画像に重畳させて液晶ディスプレイなどの表示手段に表示する。
前記ＡＲ技術を利用して、手術に関する情報をリアルタイムで術者に提供する医療支援装置が既に知られている。
前記医療支援装置では、手術を行う部位そのものではなく、前記部位から離れた位置にあらかじめ貼付された前記ＡＲ識別マーカが前記撮影画像に含まれていると認識すると、前記ＡＲ識別マーカの表示、位置、姿勢、大きさに応じた前記患者の体内における立体的な部位の前記仮想画像を前記撮影画像に重畳させて表示し、手術の際に切断箇所、血管の位置などを術者に示す医療支援装置が提案されている（特許文献１参照）。
しかしながら、前記医療支援装置は、前記ＡＲ識別マーカの表示等に基づいた前記仮想画像を術者に示すことは可能であるが、手術を行う部位から離れた位置に前記ＡＲ識別マーカが貼付されているため、前記部位の血管の位置などを示す前記仮想画像を、前記撮影画像における手術を行う部位の表示位置に合わせて重畳させて表示しようとすると、前記仮想画像の表示位置の補正量が大きくなるため時間がかかるという問題がある。また、前記ＡＲ識別マーカが両面テープで患者の皮膚等に貼付されているため、患者の体液などにより前記ＡＲ識別マーカの貼付位置がずれ、前記仮想画像の表示位置が不安定になりやすく、前記ＡＲ識別マーカの貼付位置がずれる度に前記仮想画像の表示位置を補正する必要がある。これらのことは、一分一秒を争う手術において、患者の生命に関わることになり得るため効果が十分ではない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１３１５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、従来における前記諸問題を解決し、以下の目的を達成することを課題とする。即ち、本発明は、患者の所定の部位の撮影画像と、前記撮影画像に重畳させて表示する仮想画像との表示位置を合わせる際に、前記仮想画像の表示位置の補正時間を低減可能な識別標識体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するための手段は、以下のとおりである。即ち、
＜１＞  撮影手段により撮影されると、前記撮影手段により撮影した撮影画像と、対応する仮想画像とを重畳させて表示手段により表示するための識別標識体であって、
縫着孔が設けられ、患者の所定の部位に縫い付けて固定される基体と、
前記基体に固定され、前記撮影手段により撮影された際、前記表示手段により前記対応する仮想画像を表示させるための識別画像と、を有することを特徴とする識別標識体である。
前記＜１＞に記載の識別標識体においては、前記部位に直接縫い付けられた前記基板に前記識別画像が固定されるため、前記識別画像が前記撮影手段により撮影された際に、前記撮影画像における前記識別画像の位置、即ち、前記撮影画像における前記部位の位置で、前記表示手段により前記対応する前記仮想画像を前記撮影画像に重畳させて表示する。
【０００６】
＜２＞  識別画像が表示された識別表示部品を有し、前記識別表示部品が、少なくとも１つの突起部を有し、基体が、前記突起部を嵌め込んで固定する嵌合孔又は溝を有する前記＜１＞に記載の識別標識体である。
前記＜２＞に記載の識別標識体においては、識別画像が表示された識別表示部品を有し、前記識別表示部品が、少なくとも１つの突起部を有し、基体が、前記突起部を嵌め込んで固定する嵌合孔又は溝を有するため、前記基体が、前記識別画像が表示された前記識別表示部品を固定する。
【０００７】
＜３＞  基体及び識別表示部品が、生体適合材料により形成され、滅菌可能である前記＜１＞から＜２＞のいずれかに記載の識別標識体である。
前記＜３＞に記載の識別標識体においては、基体及び識別表示部品が、生体適合材料により形成され、滅菌可能であるため、患者の所定の部位に前記識別標識体を直接縫い付けることが可能となる。
【０００８】
＜４＞  識別画像が、ＡＲ識別マーカである前記＜１＞から＜３＞のいずれかに記載の識別標識体である。
前記＜４＞に記載の識別標識体においては、識別画像がＡＲ識別マーカであるため、前記撮影手段により撮影された撮影画像に前記ＡＲ識別マーカが含まれていると認識すると、ＡＲ技術が利用可能となる。
【０００９】
＜５＞  識別画像が表示された識別表示部品の表面が、光を拡散反射させる少なくとも１つの凹部を有する前記＜１＞から＜４＞のいずれかに記載の識別標識体である。
前記＜５＞に記載の識別標識体においては、識別画像が表示された識別表示部品の表面が、光を拡散反射させる少なくとも１つの凹部を有するため、前記撮影手段により撮影された際に、表面の光沢で光が正反射することによる前記識別画像の誤認識を防止する。
【００１０】
＜６＞  手術の際に前記＜１＞から＜５＞のいずれかに記載の前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影する撮影手段と、
前記撮影手段により撮影した、前記識別標識体における識別画像を含む撮影画像を表示する表示手段と、
あらかじめ撮影された前記患者の体内における立体的な部位の仮想画像データ毎に対応づけた識別画像の識別画像データを生成する生成手段と、
前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納するデータ格納手段と、
前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別標識体の識別画像を認識し、識別画像データを抽出する抽出手段と、を有し、
前記表示手段が、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の所定の仮想画像を、前記識別標識体の前記識別画像を認識した位置で前記撮影画像に重畳させて表示することを特徴とする医療支援システムである。
前記＜６＞に記載の医療支援システムにおいては、前記識別標識体に加えて、撮影手段と、表示手段と、生成手段と、データ格納手段と、抽出手段と、を有している。手術の前段階において、前記生成手段が、あらかじめ撮影された前記患者の体内における立体的な部位の仮想画像データ毎に対応づけた前記識別画像の識別画像データを生成する。前記データ格納手段が、前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納する。手術の際において、前記撮影手段が、前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影する。前記表示手段が、前記撮影手段により撮影された、前記識別標識体における識別画像を含む撮影画像を表示する。前記抽出手段が、前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別画像を認識し、前記識別画像データを抽出する。すると、前記医療支援システムが、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の所定の部位の仮想画像を、前記識別標識体の前記識別画像を認識した位置で前記撮影画像に重畳させて前記表示手段により表示する。そのため、前記医療支援システムが、前記撮影画像における前記部位に近い位置で前記仮想画像を重畳させて表示する。
【００１１】
＜７＞  患者の部位の断層画像データを取得する断層撮影手段と、前記断層撮影手段により取得した前記断層画像データに基づいて前記患者の体内における立体的な部位の仮想画像データを生成する仮想画像データ生成手段と、前記仮想画像データ生成手段により生成された前記仮想画像データをデータ格納手段に格納するために送信する通信手段と、を有する断層撮影装置を含む請求項６に記載の医療支援システムである。
前記＜７＞に記載の医療支援システムにおいては、患者の部位の断層画像データを取得する断層撮影手段と、前記断層撮影手段により取得した前記断層画像データに基づいて前記患者の体内における立体的な部位の仮想画像データを生成する仮想画像データ生成手段と、前記仮想画像データ生成手段により生成された前記仮想画像データを送信する通信手段とを有する断層撮影装置が、前記仮想画像データをデータ格納手段にあらかじめ格納するために送信する。
【発明の効果】
【００１２】
本発明によると、従来における前記諸問題を解決することができ、患者の所定の部位の撮影画像と、前記撮影画像に重畳させて表示する仮想画像との表示位置を合わせる際に、前記仮想画像の表示位置の補正時間を低減可能な識別標識体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１Ａ】図１Ａは、本発明における識別標識体の一例を示す概略斜視図である。
【図１Ｂ】図１Ｂは、図１Ａで示した識別標識体の概略断面図である。
【図２Ａ】図２Ａは、本発明における識別標識体の他の一例を示す概略斜視図である。
【図２Ｂ】図２Ｂは、図２Ａで示した識別標識体の概略断面図である。
【図３Ａ】図３Ａは、本発明における識別標識体の他の一例を示す概略斜視図である。
【図３Ｂ】図３Ｂは、図３Ａで示した識別標識体の概略断面図である。
【図４Ａ】図４Ａは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図４Ｂ】図４Ｂは、図４Ａで示した識別標識体を上方から見たときの説明図である。
【図５Ａ】図５Ａは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図５Ｂ】図５Ｂは、図５Ａで示した識別標識体を上方から見たときの説明図である。
【図６Ａ】図６Ａは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図６Ｂ】図６Ｂは、図６Ａで示した識別標識体を上方から見たときの説明図である。
【図７Ａ】図７Ａは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。
【図７Ｂ】図７Ｂは、図７Ａで示した識別標識体を上方から見たときの説明図である。
【図８】図８は、本発明における識別標識体を患者の所定の部位から取り外す手順を示す概略断面図である。
【図９】図９は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示す説明図である。
【図１０】図１０は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示すブロック図である。
【図１１】図１１は、本発明における断層撮影装置が仮想画像データを生成して送信する処理の流れを示すフローチャートである。
【図１２】図１２は、本発明における入出力端末装置が識別画像データを生成して仮想画像データとともに格納する処理の流れを示すフローチャートである。
【図１３】図１３は、本発明における入出力端末装置が仮想画像を撮影画像に重畳させて表示する処理の流れを示すフローチャートである。
【図１４Ａ】図１４Ａは、本発明における仮想画像のみを表示した際の画面を示す説明図である。
【図１４Ｂ】図１４Ｂは、本発明における識別標識体及び肝臓を撮影した際の撮影画像を表示した画面を示す説明図である。
【図１４Ｃ】図１４Ｃは、本発明における識別標識体及び肝臓を撮影した際に肝臓の仮想画像を重畳させて表示した画面を示す説明図である。
【発明を実施するための形態】
【００１４】
（識別標識体）
本発明の識別標識体は、識別画像と、識別表示部品と、基体と、を有してなり、更に必要に応じて適宜選択したその他の部材を有していてもよい。
【００１５】
＜識別画像＞
前記識別画像としては、デジタルビデオカメラなどの後述する撮影手段が撮影可能な画像であれば、その形状、大きさなどに特に制限はなく、目的に応じて適宜選択することができる。
前記識別画像の形状としては、前記撮影手段により撮影された撮影画像から、後述する抽出手段が表示、位置、姿勢、大きさを認識し、識別画像データとして抽出可能な形状であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、一般的なＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、拡張現実）識別マーカのような黒い四角で囲われた記号、文字、絵を含む形状、ＱＲコード（登録商標）のような形状などが挙げられる。また、上記のような形状を表すために、例えば、前記識別表示部品の表面にレーザなどを照射して黒く変色させることが挙げられる。
前記識別画像の大きさとしては、手術を妨害しない大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
また、後述する実施例における前記識別画像は、ＡＲ識別マーカであり、ＡＲ技術を利用する際に用いられる。前記ＡＲ技術は、前記撮影画像に前記識別画像が含まれていると認識すると、認識した前記識別画像の表示、位置、姿勢、大きさに対応した仮想画像をリアルタイムで前記撮影画像に重畳させて、液晶表示モニタなどの後述する表示手段に表示するものである。
なお、仮想画像とは、３次元コンピュータグラフィックスのことであり、コンピュータグラフィックスのうち、コンピュータ上で立体空間の情報を生成し、仮想的な３次元の世界を投影したコンピュータグラフィックスのことである。また、仮想画像データとは、前記仮想画像を前記表示手段に表示するための情報である。
本発明においては、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）スキャン装置などの後述する断層撮影装置が、あらかじめ撮影した患者の体の断層画像データに基づいて前記患者の体の部位毎の仮想画像データを生成する。更に後述する生成手段が前記仮想画像データに対応づけられた前記識別画像を生成する。例えば、肝臓の前記仮想画像データに対応づけられた前記識別画像を生成し、手術の際に前記識別画像を肝臓に固定した場合、肝臓に固定された前記識別画像が前記撮影手段により撮影されると、前記表示手段により前記識別画像の位置、姿勢、大きさに応じた肝臓の前記仮想画像を、前記撮影画像における肝臓と近い位置に重畳させて表示する。
また、表示する肝臓の前記仮想画像は、所定の画像処理により血管以外を半透明化することができるため、前記撮影画像における肝臓と、前記撮影画像に重畳させて表示する肝臓の血管以外を半透明化した前記仮想画像との表示位置を合わせることにより、手術で接触不要な血管の位置を視認することができ、より正確な手術が可能となる。
【００１６】
＜識別表示部品＞
前記識別表示部品としては、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができる。
前記識別表示部品の形状としては、前記識別画像の全体を表示することができれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、円形、四角形の略平板形状などが挙げられる。
また、前記識別画像を表示する前記識別表示部品の表面の形状としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、光の正反射による前記識別画像の誤認識を防止するため、サンドブラスト加工などにより光を拡散反射させる少なくとも１つの凹部を有する形状などが挙げられる。
前記識別表示部品の構造としては、前記識別画像の全体を表示可能であり、前記基体に固定可能な構造であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、円形、四角形等の平板状とした構造、又は前記平板状の構造に加えて、前記基体の嵌合孔に嵌め合わせて固定するための突起部を裏面に少なくとも１つ以上設ける構造などが挙げられる。また、前記識別表示部品は、前記基体と着脱可能に固定される構造としてもよい。
前記識別表示部品の大きさとしては、手術を妨害しない大きさであって、前記識別画像の全体が表示できる大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
前記識別表示部品の材質としては、臓器などに接触するため、生体適合材料であって滅菌可能であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、ポリエーテルエーテルケトン（ＰＥＥＫ）、変性ポリフェニレンエーテルなどが挙げられる。
【００１７】
＜基体＞
前記基体としては、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができる。
前記基体の形状としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、円形、四角形の平板形状などが挙げられる。
前記基体の構造としては、前記識別表示部品を固定可能な構造であって、患者の所定の部位に縫い付けるための縫着孔を少なくとも１つ以上有していれば、特に制限はなく、目的に応じて適宜選択することができる。
なお、患者の所定の部位とは、手術を行う必要がある臓器などであり、後述する本実施例では肝臓とする。
また、前記識別表示部品の構造が平板状である場合、前記基体が、前記識別表示部品の全体を枠組みにより固定するようにしてもよい。
更に、例えば、一端に縫合糸が係止されて湾曲している縫合針で患者の所定の部位に刺し通した際、前記部位の表面から露出した縫合糸の間隔と同程度になりやすいことから、前記基体を前記部位に縫い付けることを容易にするため、前記基体に前記縫着孔が少なくとも１つ以上設けられた場合、複数の前記縫着孔のうち少なくともいずれか２つの前記縫着孔の中心の間隔を１．５ｃｍ程度としてもよい。
前記基体の大きさとしては、手術を妨害しない大きさであって、前記識別画像の全体を表示可能な大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
前記基体の材質としては、手術で用いるため、生体適合材料であって滅菌可能であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、ポリエーテルエーテルケトン（ＰＥＥＫ）、変性ポリフェニレンエーテルなどが挙げられる。
なお、前記識別画像を表示する前記識別表示部品と、前記基体とを別個のものとして説明したが、特に制限はなく、目的に応じて適宜選択することができ、前記基体が前記識別画像と縫着孔を有し、前記基体と前記識別表示部品とを一体とした前記識別標識体としてもよい。
【００１８】
（医療支援システム）
本発明の医療支援システムとしては、前記識別標識体に加えて、前記撮影手段と、前記表示手段と、生成手段と、データ格納手段と、抽出手段と、を有してなり、更に必要に応じて適宜選択した、例えば、端末通信手段、制御手段などのその他の部材を有していてもよい。
【００１９】
＜撮影手段＞
前記撮影手段としては、前記識別画像の全体が撮影可能であり、撮影した前記撮影画像を電気信号に変換するものであれば、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができ、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ‐Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ‐Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ等を用いたデジタルビデオカメラ、デジタルビデオカメラ機能を有するタブレット型の端末などが挙げられる。
前記撮影手段の形状としては、特に制限はなく、目的に応じて適宜選択することができる。
前記撮影手段の構造としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、デジタルビデオカメラ自体の構造、又はタブレット型の端末等に組み込まれている構造などが挙げられる。
前記撮影手段の大きさとしては、手術を妨害しない大きさであって、前記識別画像の全体が表示可能な大きさであれば、特に制限はなく、目的に応じて適宜選択することができ、手術を妨害しないように小型であることが望ましい。
前記撮影手段の材質としては、特に制限はなく、目的に応じて適宜選択することができる。
【００２０】
＜表示手段＞
前記表示手段としては、その形状、構造、大きさ、材質などに特に制限はなく、目的に応じて適宜選択することができ、例えば、例えば、液晶ディスプレイ、デジタルビデオカメラ又はタブレット型の端末等に搭載されている液晶ディスプレイ、プロジェクタなどが挙げられる。
前記表示手段の形状としては、特に制限はなく、目的に応じて適宜選択することができる。
前記表示手段の構造としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、液晶表示モニタ自体の構造、デジタルビデオカメラ又はタブレット型の端末等に組み込まれている液晶表示モニタの構造などが挙げられる。
前記表示手段の大きさとしては、手術を妨害しない大きさであって、術者が視認可能な大きさであれば、特に制限はなく、目的に応じて適宜選択することができる。
前記表示手段の材質としては、特に制限はなく、目的に応じて適宜選択することができる。
【００２１】
＜生成手段＞
前記生成手段としては、あらかじめ断層撮影装置により撮影された断層画像データに基づいて生成された前記患者の体内における立体的な部位の仮想画像データ毎に、対応づけた識別画像の識別画像データを生成するものであれば、特に制限はなく、目的に応じて適宜選択することができる。
【００２２】
＜データ格納手段＞
前記データ格納手段としては、前記仮想画像データと、前記生成手段により生成した前記識別画像データとを格納可能であれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、記憶媒体などが挙げられる。
【００２３】
＜抽出手段＞
前記抽出手段としては、前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別標識体の識別画像の表示、位置、姿勢、大きさの情報を前記識別画像データとして抽出可能であれば、特に制限はなく、目的に応じて適宜選択することができる。
【００２４】
＜＜その他の手段＞＞
前記その他の手段としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、端末通信手段、制御手段などが挙げられる。
【００２５】
＜＜端末通信手段＞＞
前記端末通信手段としては、接続されている装置などと通信可能であれば、特に制限はなく、目的に応じて適宜選択することができる。
【００２６】
＜＜制御手段＞＞
前記制御手段としては、記憶媒体などに記憶されているソフトウェアに基づいて各手段を制御するものであれば、特に制限はなく、目的に応じて適宜選択することができる。
【００２７】
（断層撮影装置）
本発明の断層撮影装置としては、断層撮影手段と、仮想画像データ生成手段と、通信手段と、を有してなり、更に必要に応じて適宜選択したその他の部材を有していてもよい。また、本発明の断層撮影装置としては、例えば、ＣＴスキャン装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｓｅ  Ｉｍａｇｉｎｇ）装置などが挙げられる。
【００２８】
＜断層撮影手段＞
前記断層撮影手段としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、Ｘ線、ＭＲＩなどが挙げられる。
【００２９】
＜仮想画像データ生成手段＞
前記仮想画像データ生成手段としては、前記断層撮影手段により取得した断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成可能であれば、特に制限はなく、目的に応じて適宜選択することができる。
【００３０】
＜通信手段＞
前記通信手段としては、接続されている装置などと通信可能であれば、特に制限はなく、目的に応じて適宜選択することができる。
【００３１】
以下、本発明の前記識別標識体、及び前記識別標識体を用いた拡張現実技術による医療支援システムについての説明を行う。
前記識別標識体は、前記識別画像と、前記識別表示部品と、前記基体とを有している。前記基体には、患者の手術を行う部位に縫い付けるための前記縫着孔が設けられている。前記基体が前記縫着孔により前記部位に縫い付けられた後、前記識別画像が表示された識別表示部品が前記基体に固定される。つまり、前記部位に直接縫い付けられた前記基板に前記識別画像が固定されるため、前記撮影手段により前記識別画像が撮影された際に、前記識別画像を認識した位置、即ち、前記撮影画像における前記部位の表示位置で前記表示手段により前記患者の体内における立体的な部位の前記仮想画像を重畳させて表示する。
【００３２】
前記医療支援システムは、前記識別標識体に加えて、前記撮影手段と、前記表示手段と、前記生成手段と、前記データ格納手段と、前記抽出手段と、を有している。
まず、前記生成手段は、撮影された前記患者の体内における立体的な部位の前記仮想画像データ毎に対応づけた前記識別画像の識別画像データを生成する。次に、前記データ格納手段は、前記仮想画像データと、前記生成手段により生成した前記識別画像データとをあらかじめ格納する。手術の際に、前記撮影手段は、前記識別標識体が縫い付けて固定されている患者の所定の部位を撮影し、前記表示手段は、前記撮影手段により撮影された、前記識別標識体における識別画像を含む撮影画像を表示する。すると、前記抽出手段は、前記識別画像を含む前記撮影画像の撮影画像データに基づいて、前記識別画像を認識し、前記識別画像データを抽出する。前記医療支援システムは、前記抽出手段により抽出した前記識別画像データと前記データ格納手段に格納された前記識別画像データとを比較し、前記抽出手段により抽出した前記識別画像データが前記データ格納手段の前記識別画像データのいずれかと一致すると判定した場合、一致する前記データ格納手段の前記識別画像データに対応する前記仮想画像データに基づいた前記患者の体内の立体的な部位の仮想画像を、前記識別標識体の前記識別画像を認識した位置で、前記撮影画像に重畳させて前記表示手段により表示する。
【００３３】
（実施例）
以下、この発明の一実施例につき、図面を参照しながら説明するが、本発明はこの実施例に何ら限定されるものではない。なお、各図面における「１」等の符号は、それぞれ同じものを意味している。
【００３４】
図１Ａは、本発明における識別標識体の一例を示す概略斜視図である。図１Ｂは、図１Ａで示した識別標識体の概略断面図である。
図１Ａ及び図１Ｂにおいて、識別標識体１は、識別画像１１と、識別表示部品１２と、基体２０と、を有している。
【００３５】
識別標識体１は、手術の際に患者の所定の部位に縫い付けられて固定され、識別画像１１を固定するものである。
識別標識体１は、後述する撮影手段１１１により撮影されると、撮影手段１１１により撮影された撮影画像に、後述する断層撮影装置１２０によりあらかじめ撮影された患者の体内における立体的な部位の仮想画像を、撮影画像における識別画像１１を認識した位置で、撮影画像に重畳させて表示するＡＲ技術を利用するときに用いられる。
【００３６】
識別画像１１は、撮影手段１１１により撮影された際、表示手段１１２により前記対応する仮想画像を表示させるためのＡＲ識別マーカである。
【００３７】
識別表示部品１２は、表面に識別画像１１が表示されており、全体が基体２０の枠組み２２に嵌め込まれることにより固定される。また、識別表示部品１２の表面は、識別画像１１が光の正反射により誤認識されないように、光を拡散反射させる少なくとも１つの凹部を有しており、例えば、サンドブラスト加工されることにより微細な凹部が設けられている。
【００３８】
基体２０は、手術の際、患者の所定の部位に縫い付けられて固定される。また、基体２０には、縫い付けられて固定される際に、後述する縫合糸１０１が通される４つの縫着孔２１が設けられている。患者の所定の部位に縫着孔２１により縫合糸１０１で固定された基体２０は、表面に設けられた枠組み２２により識別表示部品１２の全体を嵌め込んで、識別表示部品１２に表示された識別画像１１を患者の所定の部位に固定する。なお、本実施例では、患者の所定の部位を肝臓とする。
また、基体の枠組みが識別表示部品の全体を固定するという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、図２Ａ及び図２Ｂに示すようにすることができる。
【００３９】
図２Ａは、本発明における識別標識体の他の一例を示す概略斜視図である。図２Ｂは、図２Ａで示した識別標識体の概略断面図である。
図２Ａ及び図２Ｂにおいて、識別標識体２は、識別画像１１と、識別表示部品１２と、基体２０とを有している。
識別画像１１は、図１Ａに示した識別画像１１と同様であるため説明を省略する。
【００４０】
識別表示部品１２は、図１Ａに示した識別表示部品１２と同様に、表面に識別画像１１が表示されており、裏面に図２Ｂに示すように少なくとも１つの突起部１３が設けられ、この突起部１３が基体２０に設けられた嵌合孔２３に嵌め込まれることにより固定される。
【００４１】
基体２０には、４つの縫着孔２１が設けられており、この縫着孔２１により患者の所定の部位に縫い付けられて固定される。また、基体２０には、１つの嵌合孔２３が設けられている。この嵌合孔２３には、突起部１３が嵌め込まれて識別表示部品１２を固定する。
なお、基体が識別表示部品の全体又は突起部を嵌め込んで固定するという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、着脱可能に固定することができる。また、嵌合孔に突起部が嵌め込まれて識別表示部品が固定されるという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、貫通している孔ではなく溝とすることができる。更に、図１Ａ及び図１Ｂ並びに図２Ａ及び図２Ｂにおいて、基体に識別画像が表示された識別表示部品の全体又は一部を嵌め込んで固定するという説明をしたが、特に制限はなく、目的に応じて適宜選択することができ、例えば、図３Ａ及び図３Ｂに示すように基体と識別表示部品とを一体にすることができる。
また、識別表示部品１２及び基体２０は、生体適合材料により形成されており、更に滅菌可能である。生体適合材料としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、ポリエーテルエーテルケトン（ＰＥＥＫ）、変性ポリフェニレンエーテルなどが挙げられる。
【００４２】
図３Ａは、本発明における識別標識体の他の一例を示す概略斜視図である。図３Ｂは、図３Ａで示した識別標識体の概略断面図である。
図３Ａ及び図３Ｂにおいて、識別標識体３は、識別画像１１と、縫着孔２１と、を有している。
識別画像１１及び縫着孔２１は、図１Ａに示した識別画像１１及び縫着孔２１と同様であるため説明を省略する。
識別標識体３は、表面に識別画像１１が表示されており、更に縫着孔２１が設けられており、縫着孔２１により患者の所定の部位に縫い付けられて固定される。
【００４３】
次に、図１Ａ及び図１Ｂで示した識別標識体１を、患者の所定の部位としての肝臓に固定する手順の一例について、図４Ａ〜図７Ｂを参照しながら説明する。
図４Ａ、図５Ａ、図６Ａ、図７Ａは、本発明における識別標識体を患者の所定の部位に固定する手順を示す概略断面図である。図４Ｂ、図５Ｂ、図６Ｂ、図７Ｂは、図４Ａ、図５Ａ、図６Ａ、図７Ａで示した識別標識体をそれぞれ上方から見たときの説明図である。
図４Ａ及び図４Ｂにおいて、縫合糸１０１が一端に係止された縫合針１０２を２つ用いて、肝臓３０１に２本の縫合糸１０１が通される。
図５Ａ及び図５Ｂにおいて、基体２０が有する４つの縫着孔２１に２本の縫合糸１０１の両端部がそれぞれ通された状態で、基体２０が肝臓３０１の上面に載置される。
図６Ａ及び図６Ｂにおいて、２本の縫合糸１０１の両端部をそれぞれ結び、肝臓３０１に基体２０を固定する。
図７Ａ及び図７Ｂにおいて、肝臓３０１に固定された基体２０に、識別表示部品１２が嵌め合わされて固定されることにより、肝臓３０１に識別標識体１が固定される。
なお、肝臓３０１から識別標識体１を取り除く際は、図８に示すようにする。
【００４４】
図８は、本発明における識別標識体を患者の所定の部位から取り外す手順を示す概略断面図である。
図８において、識別標識体１の一端を持ち上げて浮かせ、図中矢印Ａで示す方向からメスなどにより縫合糸１０１を切断することにより、肝臓３０１から識別標識体１を取り外すことができる。
【００４５】
次に、識別標識体を用いた拡張現実技術による医療支援システムについて説明する。
図９は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示す説明図である。
図９において、医療支援システム１００は、識別標識体１と、入出力端末装置１１０と、断層撮影装置１２０と、ネットワーク１３０と、を有している。
識別標識体１は、図１Ａ及び図１Ｂで示したものと同様であるので説明を省略する。
【００４６】
入出力端末装置１１０は、例えば、タブレット型の端末などであり、デジタルビデオカメラ機能及び表示機能を有しており、患者の所定の部位を撮影した撮影画像を液晶表示画面に表示可能な端末である。
【００４７】
断層撮影装置１２０は、例えば、ＣＴスキャン装置、ＭＲＩ装置などであり、患者の所定の部位の断層画像データを取得し、取得した断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成するものである。
【００４８】
ネットワーク１３０は、入出力端末装置１１０と断層撮影装置１２０とを通信可能に接続するものであれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、インターネットなどが挙げられる。
【００４９】
図１０は、本発明における識別標識体を用いた拡張現実技術による医療支援システムを示すブロック図である。
図１０において、医療支援システム１００は、識別標識体１と、入出力端末装置１１０と、断層撮影装置１２０と、ネットワーク１３０と、を有している。
【００５０】
入出力端末装置１１０は、撮影手段１１１と、表示手段１１２と、生成手段１１３と、データ格納手段１１４と、抽出手段１１５と、端末通信手段１１６と、制御手段１１７と、を有している。
【００５１】
撮影手段１１１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等を用いたデジタルビデオカメラ、デジタルビデオカメラ機能を有するタブレット型の端末などであり、手術の際に識別標識体１が縫い付けて固定されている患者の所定の部位を撮影する。
【００５２】
表示手段１１２は、例えば、液晶ディスプレイ、デジタルビデオカメラ又はタブレット型の端末等に搭載されている液晶ディスプレイ、プロジェクタなどであり、撮影手段１１１により撮影した撮影画像を表示する。
【００５３】
生成手段１１３は、あらかじめ撮影された患者の体内における立体的な部位の仮想画像データ毎に対応づけた識別画像の識別画像データを生成するものである。
【００５４】
データ格納手段１１４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶媒体であり、断層撮影装置１２０により送信された仮想画像データと、生成手段１１３により生成した識別画像データとを格納する。
【００５５】
抽出手段１１５は、撮影画像の撮影画像データに基づいて、識別標識体の識別画像を認識し、認識した識別画像の表示、位置、姿勢、大きさの情報を含む識別画像データを抽出する。これにより、医療支援システム１００は、抽出手段１１５の識別画像データに応じた種類、位置、姿勢、大きさの患者の体内における立体的な部位の仮想画像を表示手段１１２に表示することができる。
【００５６】
端末通信手段１１６は、断層撮影装置１２０の後述する通信手段１２３と、ネットワーク１３０を介して通信可能に接続されており、断層撮影装置１２０により仮想画像データを受信する。
【００５７】
制御手段１１７は、例えば、ＣＰＵ（Ｃｅｎｔｏｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などであり、記憶媒体などに記憶されているソフトウェアに基づいて各手段を制御するものであれば、特に制限はなく、目的に応じて適宜選択することができる。
【００５８】
このように構成されている入出力端末装置１１０は、抽出手段１１５により抽出した識別画像データとデータ格納手段１１４に格納された識別画像データとを比較し、抽出手段１１５により抽出した識別画像データがデータ格納手段１１４の識別画像データのいずれかと一致すると判定した場合、一致するデータ格納手段１１４の識別画像データに対応する仮想画像データに基づいた患者の所定の部位の仮想画像を、識別標識体１の識別画像１１を認識した位置で撮影画像に重畳させて表示する。
なお、この患者の所定の部位の仮想画像を、識別標識体の識別画像を認識した位置で撮影画像に重畳させて表示する動作は、入出力端末装置が行うと説明したが、特に制限はなく、目的に応じて適宜選択することができ、例えば、制御手段が行うようにしてもよい。
【００５９】
断層撮影装置１２０は、例えば、ＣＴスキャン装置であり、断層撮影手段１２１と、仮想画像データ生成手段１２２と、通信手段１２３と、を有している。
【００６０】
断層撮影手段１２１は、例えば、Ｘ線、ＭＲＩであり、患者の体の断層画像データを取得する。
【００６１】
仮想画像データ生成手段１２２は、断層撮影手段１２１により取得した断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成するものである。
【００６２】
通信手段１２３は、入出力端末装置１１０の端末通信手段１１６と、ネットワーク１３０を介して通信可能に接続されており、仮想画像データ生成手段１２２により生成された仮想画像データをデータ格納手段１１４に格納するために送信する。
【００６３】
次に、断層撮影装置及び入出力端末装置の処理の流れについて説明する。
断層撮影装置１２０が行う仮想画像データを生成して送信する処理を、図１１の本発明における断層撮影装置が仮想画像データを生成して送信する処理の流れを示すフローチャートの図中Ｓで表すステップにしたがって、図１０を参照しながら説明する。
図１１において、断層撮影手段１２１が、患者の体の断層画像データを取得する（Ｓ１１）。仮想画像データ生成手段１２２が、その断層画像データに基づいて患者の体内における立体的な部位の仮想画像データを生成する（Ｓ１２）。通信手段１２３が、仮想画像データ生成手段１２２が生成した仮想画像データを入出力端末装置１１０に送信し（Ｓ１３）、本処理を終了する。
【００６４】
次に、入出力端末装置１１０が行う仮想画像データに基づいて識別画像データを生成し、仮想画像データとともに格納する処理を、図１２の本発明における入出力端末装置が識別画像データを生成して仮想画像データとともに格納する処理の流れを示すフローチャートの図中Ｓで表すステップにしたがって図１０及び図１４Ａを参照しながら説明する。また、図１４Ａは、本発明における仮想画像のみを表示した際の画面を示す説明図である。
図１２において、端末通信手段１１６が患者の体内における立体的な部位の仮想画像データを断層撮影装置１２０から受信する（Ｓ２１）。生成手段１１３が仮想画像データ毎に対応づけた識別画像データを生成する（Ｓ２２）。データ格納手段１１４が仮想画像データ及び識別画像データを格納し（Ｓ２３）、本処理を終了する。
なお、Ｓ２３でデータ格納手段１１４に格納した仮想画像データに基づき、図１４Ａで示すように、肝臓の仮想画像４０１を表示手段１１２に表示した際には、肝臓自体の外形の仮想画像のみならず、肝臓の血管の仮想画像についても表示することができる。
【００６５】
次に、入出力端末装置１１０が行う仮想画像データに基づいて識別画像データを生成し、仮想画像データとともに格納する処理を、図１３の本発明における入出力端末装置が仮想画像を撮影画像に重畳させて表示する処理の流れを示すフローチャートの図中Ｓで表すステップにしたがって図１０、図１４Ｂ、及び図１４Ｃを参照しながら説明する。
また、図１４Ｂは、本発明における識別標識体及び肝臓を撮影した際の撮影画像を表示した画面を示す説明図である。図１４Ｃは、本発明における識別標識体及び肝臓を撮影した際に肝臓の仮想画像を重畳させて表示した画面を示す説明図である。
図１３において、撮影手段１１１が患者の肝臓３０１を撮影する（Ｓ３１）。このとき、抽出手段１１５が肝臓３０１を撮影した撮影画像に識別画像１１が含まれていないと判定するとＳ３１へ処理を移行する。また、図１４Ｂで示すように、抽出手段１１５が肝臓３０１を撮影した撮影画像に識別画像１１が含まれていると認識して判定するとＳ３３へ処理を移行する（Ｓ３２）。撮影画像に識別画像１１が含まれていると認識して判定した場合、抽出手段１１５が識別画像１１を抽出する（Ｓ３３）。入出力端末装置１１０が抽出した識別画像１１と格納した識別画像とが一致するか否かを判定し、一致すると判定すると処理をＳ３５に移行し、一致しないと判定すると処理をＳ３１に移行する（Ｓ３４）。抽出手段１１５が一致すると判定した場合、図１４Ｃに示すように、入出力端末装置１１０が肝臓の仮想画像を肝臓３０１の撮影画像に重畳させて表示し（Ｓ３５）、本処理を終了する。
【産業上の利用可能性】
【００６６】
本発明の識別標識体、及び識別標識体を用いた医療支援システムは、人体等の開腹手術などの医療行為において、本発明の識別標識体を、患者の所定の部位に固定することにより、好適に利用することができる。
【符号の説明】
【００６７】
１          識別標識体
１１        識別画像
１２        識別表示部品
１３        突起部
２０        基体
２１        縫着孔
２２        枠組み
２３        嵌合孔
１００      医療支援システム
１１０      入出力端末装置
１１１      撮影手段
１１２      表示手段
１１３      生成手段
１１４      データ格納手段
１１５      抽出手段
１１６      端末通信手段
１１７      制御手段
１２０      断層撮影装置
１２１      断層撮影手段
１２２      仮想画像データ生成手段
１２３      通信手段
１３０      ネットワーク
２０１      縫合糸
２０２      縫合針
３０１      肝臓
４０１      肝臓の仮想画像
【図１Ａ】
2016077574.tif 000003
【図１Ｂ】
2016077574.tif 000004
【図２Ａ】
2016077574.tif 000005
【図２Ｂ】
2016077574.tif 000006
【図３Ａ】
2016077574.tif 000007
【図３Ｂ】
2016077574.tif 000008
【図４Ａ】
2016077574.tif 000009
【図４Ｂ】
2016077574.tif 000010
【図５Ａ】
2016077574.tif 000011
【図５Ｂ】
2016077574.tif 000012
【図６Ａ】
2016077574.tif 000013
【図６Ｂ】
2016077574.tif 000014
【図７Ａ】
2016077574.tif 000015
【図７Ｂ】
2016077574.tif 000016
【図８】
2016077574.tif 000017
【図９】
2016077574.tif 000018
【図１０】
2016077574.tif 000019
【図１１】
2016077574.tif 000020
【図１２】
2016077574.tif 000021
【図１３】
2016077574.tif 000022
【図１４Ａ】
2016077574.tif 000023
【図１４Ｂ】
2016077574.tif 000024
【図１４Ｃ】
2016077574.tif 000025