WISS 2023

影真似を用いた顕微鏡縫合における器具姿勢学習システム
小島 悠介 ∗五十嵐 健夫 ‡田代 優香 ∗小池 英樹 ∗宮藤 詩緒 ∗清藤 哲史 †金 太一 †概要.
初心者にとって技術の上達や成長を目指す上で手本を真似をすることは重要である．脳神経外科
で行う顕微鏡縫合術は技術を習得するのに約 10000 回の縫合を行う必要があり，技術習得の効率化が課題である．既存のシステムではゲーミフィケーション要素や得点機能をつけることで，10000 回の縫合に対するモチベーションの向上をはかっていた．しかし既存の手法には初心者が躓きやすい針の持ち方に関するフィードバックが存在しない．そこで本論文では手本となる器具姿勢をビデオシースルー型 HMD(ヘッドマウントディスプレイ) に表示し，初心者はその器具姿勢を真似することで針の持ち方を学習可能な器具姿勢学習システムを提案する．本システムでは，ユーザは手本の器具姿勢を視覚的に真似するだけでなく，リアルタイムで推定される手本の器具姿勢とユーザの器具姿勢の類似度という客観的指標を確認することが可能となる．これにより，針の持ち方を効率的に習得することを支援する．

1

はじめに顕微鏡縫合術は脳神経外科において用いられる手術技術の一つで，顕微鏡を用いて約 1mm の脳の組織を縫合する高度な技術である．これまで顕微鏡縫合術を習得するために様々な訓練方法が研究されてきた [1, 2, 3, 4]．ガーゼ縫合と呼ばれる訓練方法は簡単に練習できるため日常的に使われる．しかしこのガーゼ縫合で技術を習得するには約 10000 回の縫合を行う必要があり [1, 2]，時間のかかる作業である．この問題に対し先行研究では [5]，VR HMD を用いた顕微鏡縫合術訓練システムを提案している．
この VR システムを用いて医学的な背景のない学生に対して実験を行ったところ，VR システムがモチベーション向上に寄与することがわかった．しかし実験後のアンケートでは一連のガーゼ縫合の流れのうち，針をガーゼ繊維に通す際の針の持ち方に対するリアルタイムフィードバックの必要性が指摘された．特にガーゼ縫合訓練を始めたての初心者にとっては医師のように適切な器具姿勢でガーゼ縫合を行うことは難しく，正確で素早いガーゼ縫合には, 適切な器具姿勢は非常に重要である．
そこで本論文では，針をガーゼ繊維に通す動作における器具姿勢を，影として表示される手本器具姿勢を真似することで学習できるシステムを提案する．

Copyright is held by the author(s). This paper
is nonrefereed and non-archival. Hence it may later
appear in any journals, conferences, symposia, etc.
∗東京工業大学 情報理工学院†
東京大学 医学部脳神経外科‡
東京大学 大学院情報理工学系研究科

図 1. 影真似の概要．(a) 手本器具姿勢の影が表示されている様子．(b) 影の真似をするようにユーザは針の持ち方を変え，適切な器具姿勢を再現する．

2

提案手法

本システムではガーゼ縫合のうち針をガーゼ繊維に通す動作を 5 つのステップに分けた．図 1(a) に示すように各ステップでは適切な器具姿勢 (手本) を影として HMD に表示する．ユーザは図 1(b) のように影を真似する．システムは影として表示される
手本とユーザの器具姿勢の類似度をリアルタイムで判定し，適切なフィードバックを与える．類似度が高ければ次のステップの影を表示させる．ユーザはリアルタイムで器具姿勢を修正しながら 5 ステップを完了することで，手本のように針を通す訓練が可能となる．

2.1

ハードウェア

図 2 のように，ユーザはビデオシースルー HMD
を通して顕微鏡を覗きながらガーゼ縫合を行う．顕微鏡に付属しているカメラでピンセットや針の動きを撮影し，カメラと有線接続されたトラッキング用
PC でピンセットや針の動きを検知する．HMD 映
像投影用 PC はトラッキング用 PC から UDP 通信で受け取る．この受け取ったトラッキング情報をも

WISS 2023

図 4. 右ピンセットと針の類似度の例．

図 2. システムを使用している様子

図 3. 類似度の算出方法

表 1. セグメンテーション検出精度

クラス名
ピンセット内側
ピンセット外側針

precision
0.9230.970
0.917

recall
0.909
0.940
0.876

map50
0.949
0.967
0.937とに，HMD に映像を表示する．

2.2

ソフトウェアリアルタイムトラッキング :トラッキング用 PC でのリアルタイムトラッキン
グには，独自のセグメンテーションモデルを使用している．先行研究 [5] では器具のバウンディングボッ
クスのみ検知していたが，針の向きを検知するため新たにセグメンテーションモデルを学習させる必要があった．本研究ではガーゼ縫合の動画から 3fpsでサンプリングすることで合計 5000 枚の画像を入手し，ピンセット内側，ピンセット外側，針のラベルでアノテーションを行った．このデータセットに対し左右反転などのオーグメンテーションを施し，YOLOv81 を用いて 200epoch 学習させた．学習結果は表 1 に示す．
類似度 :手本とユーザの器具の類似度の定義を図 3 に示す．
類似度はユーザの器具領域が手本の影と重なった割合をパーセンテージとして算出する．この時，ユーザの器具領域は前章で説明したセグメンテーションモデルの検出結果を使用する．
また，ピンセットの類似度は，画像全体の類似度を算出する手法（手法 1）クロップした画像の類似度を算出する手法（手法 2）の 2 種類の手法で算出し，システムではそれらを適宜使い分けた．手法 1
では画像全体を入力として図 3 に示す方法で類似度を算出する．手法 2 では画像からピンセット部分を
1

https://github.com/ultralytics/ultralytics

図 5. システムフロー．各ステップで HMD を通して顕微鏡を除いた時の見え方クロッピング処理した後，比較画像のサイズをそろえた上で図 3 に示す方法で類似度を算出する．
各手法で算出された類似度の結果を図 4 に示す．
手法 1 では位置の等しさのみが類似度に影響し，手法 2 ではピンセットの形状の等しさのみが類似度に影響する．また，針の領域は画像全体に占めるピクセル数が少なく，位置情報よりも形状の正当性が重要となるため, 針の類似度は手法 2 を用いて算出する．図 4 の下段に手法 2 を用いて針の類似度を算出した結果を示す．この結果から，手法 2 による針の類似度の結果は，位置に関係なく形状で類似度が変化することがわかる.

3システムフロー本システムのシステムフローを図 5 に示す．本システムでは手本を半透過した画像を影として表示する．システムフローは以下の順に進む．(a): ユーザは手本を真似する．(b): ユーザは (a) の器具姿勢を保ったまま，針を通す位置までピンセットを移動させる．(c): ユーザは，針をガーゼ繊維に通す直前の手本を真似する．(d): ユーザは針をガーゼに通す．
(e): ユーザは右ピンセットで繊維に通した針を抜く．

4

まとめ

本論文では針をガーゼ繊維に通す動作における器具姿勢学習システムを提案した．本システムではリアルタイムに器具を検出し，手本との類似度をもとにフィードバックを行う．今後の展望として，本システムのセグメンテーションモデルを用いて，ピンセットの角度など詳細な器具姿勢の評価を行いたい．
さらに，被験者実験による本システムの評価を行いたい．

影真似を用いた顕微鏡縫合における器具姿勢学習システム

謝辞
本研究は JST CREST JPMJCR17A1，JST
CREST JPMJCR17A3，JSPS 科研費 21K17788の助成を受けた．

参考文献[1] T. Inoue, N. Kunii, A. Kumakiri, R. Otani,
A. Tamura, I. Saito, and K. Tsutsumi. The
Role of 10–0 Suturing Training under Desktype
Microscope for the Mastery of Cerebrovascular
Surgery: The Eﬀectiveness of 80,000 Stitches.
Surgery for Cerebral Stroke, 37(4):247–252, 2009.
[2] T. Inoue, K. Tsutsumi, S. Adachi, S. Tanaka,
K. Saito, and N. Kunii.
Eﬀectiveness ofsuturing training with 10-0 nylon under ﬁxed andmaximum magniﬁcation (× 20) using desk typemicroscope. Surgical Neurology, 66(2):183–187,2006.
[3] R. Marian-Magaña, M. V. Sangrador-Deitos,
G. Y. Guinto-Nishimura, D. Ballesteros-Herrera,
G. Cano-Velazquez, O. J. Canela-Calderón,J. Rı́os-Zermeño, J. F. Aragon-Arreola, and J. L.
Gómez-Amador. Microsurgical training throughlaboratory experience: A step-by-step practicalguideline.
Interdisciplinary Neurosurgery,
27:101400, 2022.
[4] M. Takeuchi, N. Hayashi, H. Hamada,
N. Matsumura, H. Nishijo, and S. Endo.
A new training method to improve deep
microsurgical skills using a mannequin
head.
Microsurgery:Oﬃcial Journal ofthe International Microsurgical Society andthe European Federation of Societies forMicrosurgery, 28(3):168–170, 2008.
[5] Y. Tashiro, S. Miyafuji, D.-H. Hwang,S. Kiyofuji, T. Kin, T. Igarashi, and H. Koike.
GAuze-MIcrosuture-FICATION: Gamiﬁcation in
Microsuture Training with Real-Time Feedback.
In Proceedings of the Augmented Humans
International Conference 2023, AHs ’23, p.
15–26, New York, NY, USA, 2023. Association
for Computing Machinery.