情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D022022/2/21

HoloLens 2 を用いた動物外科手術支援 AR システムの試作
嶋田真美子†1栗原一貴†1辻井孝明†2

概要：本稿では，獣医師による動物の外科手術を支援する AR システムを提案する．獣医師は外科手術の際，CT 検査を行うことで，動物の骨格や内臓等の状態を確認し，手術方法を検討することがよくある．本研究では，HoloLens 2を用いることで，術者の視界の中で CT 検査の結果を 3 次元的に確認することのできる AR システムを開発した．CT
検査から得られた患者動物の骨格や内臓等の構造は 3D オブジェクトとして HoloLens 2 上に表示され，動物の体内が透けて見えているかのような状態を作り出す．これによりユーザは手術方法検討の際に 3 次元的に患部を確認することが可能となる．3D オブジェクト操作は，ハンドジェスチャで操作可能なメニューを設置することで行う．2 名の獣医師に本システムを体験していただいたところ，全ての獣医師から，PC 上で CT 画像を確認するという従来の方法よりも使い勝手が良いという意見をいただいた．

1. はじめに獣医師は，動物の骨格や内臓等の体内の状態を確認する
際に CT 検査を行う．CT 検査を行うと，身体の断面を画像データとして得ることができる．その画像データを PC 上で見ることで獣医師は動物の患部の確認を行い，手術方法を検討する．しかし獣医師によると，PC 上で画像を確認するにはいくつかの難点がある．例えば，実際とは異なるサイズでモニタに表示されることからスケール感を掴みづらいといった点や，身体の断面の画像であるため各部位の位置関係を理解しづらいといった点が挙げられる．これらの難点の解決策として，3D プリンタを利用する事例がある．
一方で，獣医師によると，3D プリンタを利用する際の問題点として，粉砕骨折等により骨が散っている症例や，悪性腫瘍等の多数の細かい血管や組織が絡み合っている症例では，3D プリンタによる模型の作成に限界があるということが挙げられる．
本研究では，HoloLens 2 を利用し，CT 画像を現実空間に立体で表示させることのできるシステムを提案する．本システムは，CT 画像をもとに骨格や内蔵等の 3D オブジェク
トを生成し HoloLens 2 上に表示させ，加えてオブジェクトの操作用にメニューを設置することで，メニューを駆使し動物と 3D オブジェクトを重ね合わせ，動物の体内が透けて見えているかのような状態を作り出す（図 1）．実空間に実物大でホログラムとして表示させることで，PC 上で確認する際の難点を克服し，かつ，3D プリンタでの問題点であった複雑な症例への対応も可能となる．

図 1 動物と 3D オブジェクトが重なっている様子
3D プリンタで出力する事例がある．神田らは，3D プリンタで実物大の病変部模型を作成したことが手術計画の際に有効であったことを報告しており，強力なサポートとなり得ることを示唆している[1]．小林らは，実物大のモデルで手術前に確認できることから計画通りに手術を進めやすく，かつ，スタッフ間で手術手順等の共通認識が深まり手術がスムーズに行える等の利点を報告している[2]．Winer らは，3D モデルがあることで事前に正確に手術方法を決めることができ，その結果，手術中の出血や手術にかかる時間が減ることに繋がることを報告している[3]．これらから，実物大のモデルを作成し手術前にそれを利用することは，スケール感や位置関係の理解が進むことにつながり手術方法の検討の際に有効であり，それだけでなく，獣医師や患者動物の負担軽減にもつながるといえる．
一方で，獣医師によると，3D プリンタを利用する際の問題点として，粉砕骨折等により骨が散っている症例や，悪2. 関連研究性腫瘍等の多数の細かい血管や組織が絡み合っている症例

2.1 獣医療での 3D プリンターの活用

では，3D プリンタによる模型の作成に限界があるというこCT 検査の結果から手術方法を検討する際に，従来の PCとが挙げられる．また，Winer らによると，骨の手術を行う上で CT 画像を確認するという方法ではなく，CT 画像を際に 3D プリンタを利用する場合骨以外の要素は除去する†1 津田塾大学†2 りんく動物病院© 2022 Information Processing Society of Japan138

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D022022/2/21

が，実際に手術をする際には骨の周りの軟部組織も考慮し換したものを Unity に取り込み 3D オブジェクトを生成し，なければならない[3]．そのため，より正確に手術方法を事

その 3D オブジェクトに対するバウンディングボックスを前に決めておきたい場合，3D プリンターでは不十分である設置する．そして HoloLens 2 上で本システムを起動すると，といえる．

バウンディングボックスのついた骨格，内臓等の 3D オブ

2.2 人医療での Mixed Reality の活用

ジェクトが目の前に表示される．

人医療においては，手術支援として Mixed Reality（MR）

3.2 インターフェースの活用が進んでおり，特に Holoeyes 株式会社[4]のサービス本研究で実装したシステムは，CT 画像をもとに HoloLensの 1 つの Holoeyes MD が日本国内で有名である[5]．

2 上に動物の骨格や内蔵等の 3D オブジェクトを表示させ，Holoeyes MD は，VR ヘッドマウントディスプレイや透過操作メニューを使用し動物と重ね合わせることで，動物の型複合現実ウェアラブルグラスを通して，CT や MRI 等の体内が透けて見えているかのような状態を作り出す．

検査で得られた画像データをもとに 3D モデルを作成し，3D オブジェクトの周囲にはバウンディングボックスが現実空間に表示するものである[6]．これにより，これまで設置されており，バウンディングボックスの面を掴むとオPC 上で検査結果を確認していたことにより難しかった体ブジェクトの移動，辺を掴むと回転，角を掴むとスケール内の立体構造の把握を，より直感的に行えるようになった

変更が可能である（図 2）．3D オブジェクトに対するその[7]．人医療ではこのようなシステムを，骨や血管等の手術において既に活用されている[8]．また，実際に HoloLens を装着して手術を行った医師らによると，板宮は，HoloLensが重く頭部や首に負担がかかるものの，有用であった 3Dプリンタで出力した 3D モデルと同様に立体構造を把握することができたと述べている[9]．また，志賀らは，HoloLensでナビゲーションを表示させている状態で行った手術の方が，ナビゲーションのない状態よりも手術時間が短縮し，かつ出血量も少なかったと報告している[10]．
以上より，MR の活用が手術支援において有用であることがわかる．しかしこれらの技術は人医療用に開発された

図2

バウンディングボックスものであり，動物医療用に開発されたものは存在しない．
そこで本研究では，動物医療用の MR を活用した手術支援

他の操作を行うためにメニューを用意しており，手のひらシステムの開発に着手した．

を注視することでそのメニューを表示させることが可能と

2.3 生物と骨格を重ねて表示なる（図 3）．操作メニューには表 1 のような 8 つのボタン

生物とその骨格を重ねて表示させるシステムとして，株式会社博報堂アイ・スタジオが開発したスケルギョンというものがある．これは，タブレット等のカメラを魚に向けると，その魚の骨格が魚に合わせて表示されるというシステムである[11]．また，松本らの研究では，まな板の上の魚の位置を HoloLens で認識し，その位置に合わせて骨を表示させるという調理支援コンテンツの開発を行っている[12]．

3. 動物外科手術支援 AR システム
3.1 システム構成
よりリアルに手術方法を検討することができるよう，実空間が見える状態で 3D オブジェクトを表示することのできる MR 環境を用いることとし，HoloLens2 用のシステムとして実装した．実装には Unity と Mixed Reality Toolkit を主に利用した．
システムの操作手順としては，まず，CT 検査後に得られ図 3操作メニューが設置されており，そのうちの「Fine-Tuning」ボタンを選択すると，3D オブジェクトの微調整のためのサブメニューとして，表 2 のような 8 つのボタンが表示される．

た画像データを PC に取り込む．この画像データは DICOM形式であるため，フリーソフトの InVesalius[13]を使用し，骨格や内臓等を STL 形式に変換する．次に，STL 形式に変© 2022 Information Processing Society of Japan139

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

表 1

操作メニューのボタン

1D02
2022/2/21

ジェクトを動物に対して完璧に重ね合わせることは不可能である．しかし獣医師曰く，完璧に重ねることだけを望ん機能でいるのではなく，脇に置いて確認したいこともあるので，

Start

オブジェクトを初期状態（位置，向き，スケール）に戻す．

実際の動物の体勢と 3D オブジェクトの体勢が完全に一致

Set Bookmark

オブジェクトの現在の状態（位置，向き，スケール）を保存する．

Bookmark

オブジェクトを保存した状態に戻す．

Gravity

オブジェクトの重力の有無を切り替えること
で，空中に浮かせたり手術台の上に乗せたりする．

Hand

オブジェクト操作の有無を切り替える（オブジェクトの操作を行いたくない時に Off にする）．

Bone

骨格オブジェクトの有無を切り替える．

また，追加の機能として，手術直前の予行練習ができるOrgan

内臓オブジェクトの有無を切り替える．

ようなシミュレーターとしても利用できるとさらに良いと

Observers

HoloLens 2 の空間認識機能の有無を切り替える．

いう意見をいただいた．例えば，骨折をして骨が散らばっ

Fine-Tuning

オブジェクトの微調整用のサブメニューを開く．ているという症例に対して，その散らばった破片を取り除

ボタン名している必要はないとのことだった．
一方で，ある程度長い時間使い操作に慣れるまでは，オブジェクトを思い通りに動かすことが難しいという意見をいただいた．オブジェクトを掴む，離すといった基本操作を，本システムの使用前に練習する必要があることを示唆された．

いたり正常な位置に戻したりといった練習を本システム上で行いたいとのことだった．

表 2

サブメニューのボタン

5. 今後の展開と課題機能

現在のプロトタイプでは，CT 検査で得られた画像からEnlarge

オブジェクトのスケールをわずかに大きくする．

STL データへの変換は多く手作業を伴うものであるが，そReduceオブジェクトのスケールをわずかに小さくする．

Rotate X

オブジェクトを x 軸を中心に+1°回転させる．

Rotate Y

オブジェクトを y 軸を中心に+1°回転させる．

Rotate Z

オブジェクトを z 軸を中心に+1°回転させる．

ボタン名の自動化に取り組むことが今後の課題の一つである．また，マーカ等を患者動物に装着することにより，3D オブジェク
トの動的な位置合わせも可能かもしれない．
専門家からのコメントにより，HoloLens を使用した経験

Rotate -X

オブジェクトを x 軸を中心に-1°回転させる．

がない人にとっては，オブジェクトを掴む，離すといった

Rotate -Y

オブジェクトを y 軸を中心に-1°回転させる．

基本操作も最初は難しく感じるということが判明したため，

Rotate -Z

オブジェクトを z 軸を中心に-1°回転させる．

本システムにチュートリアル機能を加えることも検討している．本システムを起動した際にチュートリアルが開始し，4. 専門家からのコメント
本システムについて，獣医師 2 名に体験してもらい，コメントをいただいた．まず，CT 検査の結果を立体で確認可能であることに関して，PC 上で確認するという従来の方法よりも患部がわかりやすくて良いという意見をいただいた．
従来の方法だと，身体の断面の画像から骨や血管等のつながりを確認しなければならず大変な作業であり，また理解しにくかった．しかし目の前に立体で表示されれば，血管等の位置関係が一目瞭然であり，手術方法を検討しやすいとのことだった．

オブジェクトを掴む等の操作練習やコツを表示するといった機能があれば，骨格等の 3D オブジェクトを思い通りに動かし，動物に重ね合わせるといった操作をスムーズに行うことができるようになると考える．
また，新たな機能として，本システムにシミュレーション機能を加えることも検討している．現段階では，患部をよりわかりやすく確認することのできるシステムとして手術方法検討の際の利用を想定していたが，今後は，手術方法決定後，手術直前の予行練習も行えるようにしていき，より手術に備えることのできるシステムにしたいと考える．

また，メニューを使用することで様々な機能を利用することができる点も魅力だという意見もいただいた．例えば，手術台の上に乗せている動物にオブジェクトを重ね合わせ謝辞

本研究の調査にご協力頂いたなかね動物病院の獣医師の皆様に，謹んで感謝の意を表する．

た状態で「Bookmark」機能を使えば，その後患部の確認のためにオブジェクトを空中に浮かせ拡大しても元に戻すこ

参考文献とができる点等が便利であったとのことだった．

[1]

本システムは CT 画像を元に 3D オブジェクトを生成しているため，3D オブジェクトの体勢を，CT 画像を撮影した際の体勢から変えることはできない．そのため，3D オブ© 2022 Information Processing Society of Japan

神田鉄平, 佐々木崇了, 前田憲孝, 藤岡透, 長井新, 古本佳代, 古川敏紀. 小動物臨床における 3D プリンターの応用. 日本獣医師会雑誌. 2011, vol. 64, no. 8, p. 640-643.
[2] 小林聡, 森淳和, 安川慎二, 伊澤幸甫, 藤井康一. 前腕変形に対し 3D プリンターモデルをもとに変形矯正を行った犬の 1
例. 日本獣医師会雑誌. 2016, vol. 69, no. 12, p. 747-751.

140情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D022022/2/21[3]

Winer, Jenna N., et al. The Application of 3‐dimensional Printing
for Preoperative Planning in Oral and Maxillofacial Surgery inDogs and Cats. Veterinary Surgery. 2017, vol. 46, no. 7, p. 942951.
[4] “Holoeyes”. https://holoeyes.jp/, (参照 2021-12-20).
[5] 谷口直嗣. 医療 X VR で起業をして社会実装をする. 日本バーチャルリアリティ学会誌. 2019, vol. 24, no. 2, p. 9-15.
[6] “Holoeyes MD”. https://holoeyes.jp/wpcontent/uploads/2021/09/md_catalogue.pdf, (参照 2021-12-20).
[7] 杉本真樹. XR (Extended reality : VR・AR・MR) とテレプレゼ
ンスによる遠隔医療・手術ナビゲーション・ロボット支援技
術. 日本コンピュータ外科学会誌 (Journal of JSCAS). 2020,
vol. 22, no. 3, p. 159-163.
[8] 谷口直嗣. テクノロジースタートアップが描く医療におけるSociety 5.0. 計測と制御. 2018, vol. 57, no. 7, p. 533-537.
[9] 板宮朋基. スマートグラスを用いた複合現実感の手術ナビゲーションへの応用. 日本口腔外科学会雑誌. 2019, vol. 65, no.
2, p. 48-50.
[10] 志賀淑之, 杉本真樹, 安部光洋, 錦見礼央, 保科勇斗, 米岡祐輔, 斎川周, 井上泰, 吉松正, 日下部将史, 亀山周二. 複合現
実 MR, 拡張現実 AR, 仮想現実 VR を応用した泌尿器ナビゲーション手術の検討. Japanese Journal of Endourology. 2018,vol. 31, no. 2, p. 253-259.
[11] ”博報堂アイ・スタジオ、水産流通プラットフォームの構築をてがけるフーディソンと共同で魚の売場活性化に向けた「未来のお魚屋さんプロジェクト」を開始 - 第一弾として魚の骨格を AR で可視化するツール『スケルギョン SEEfood glass -』を開発 -”. https://www.istudio.co.jp/news/2017/09/seefood-glass.html, (参照 2021-12-20).
[12] 松本夏海, 川合康央. 魚の骨格を可視化する調理支援コンテンツの制作. エンタテインメントコンピューティングシンポ
ジウム 2020 論文集. 2020, p. 159-161.
[13] ”InVesalius 3.1.1”. https://invesalius.github.io/, (参照 2021-0608).

© 2022 Information Processing Society of Japan141