WISS 2021

顕微鏡縫合術訓練におけるゲーミフィケーション要素の導入
田代 優香 ∗
Hwang Dong-Hyun∗
松浦 幹人 †金 太一 ‡五十嵐 健夫 †小池 英樹 ∗宮藤 詩緒 ∗清藤 哲史 ‡概要. 脳神経外科の顕微鏡縫合術は習得に時間を必要とする困難な医療技術である．熟練の医師は多忙なため初学者の訓練に長時間付き合うことは不可能であり，初学者は単調な作業を単独で訓練する必要がある．そこで本論文では訓練のモチベーション向上のために，ゲーミフィケーションの要素を取り入れたシステムを提案した．まず，スコア算出の基準となる，手術に必要な技術要素の検出手法の提案と評価を行った．次に器具の可動域を表示することによって正確に動かすことを促進し，縫合の所要時間を前回値や最速値と共に表示することによって訓練への意欲を持てるフィードバックを開発した．

1背景

脳神経外科において，顕微鏡を使用した縫合では1 ミリ前後の組織を縫合する顕微鏡縫合術が必要とされる．この技術は高度であるため習得には約 1 万針練習する必要がある．これは時間にすると約数百時間にも及ぶ [2, 7]．人手不足の医療現場では，熟練者が常に初学者の練習に立ち会うのは困難である．
また，縫合の練習は単調で長期間行う作業であるためモチベーションの維持が求められる．この問題に対し先行研究 [3] では，縫合動画から深層学習によって器具の動きを検出し，縫合フェーズの推定と器具の急激な移動に対して振り返りを促すマーカーを表示する復習アプリケーションを作成した．しかし，復習時の振り返りは練習者の主観によるもので，実際に上達しているかを判断するのは難しいという課題があった．そこで本研究では，モチベーションの向上に効果的であるとされるゲーミフィケーション[1, 4] の要素を取り入れ，システムによる採点や視覚フィードバックを与えることにより，縫合訓練時のモチベーションの向上を図る．

2

提案手法

本論文では顕微鏡縫合術のフィードバックを視覚化するシステムを提案する．この視覚化に使用する，縫合に必要な技術的要素を次の３つとした．(1) 速さの指標として１縫合にかかる時間，(2) 正確性の指標としてピンセットの動く範囲，(3) 丁寧さの指標としてガーゼ全体の動きの大きさ．
縫合の速さは顕微鏡縫合術を習得するために必要なスキルの 1 つである．実際の手術では一般的に血Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
東京工業大学 情報理工学院†
東京大学 大学院情報理工学系研究科‡
東京大学 医学部脳神経外科

図 1. システムの図

流を遮断しても良い安全な時間が 30 分以内と言われている [6]．ただし速度のみを重視し正確性が失われることは良い技術とは言えない．またガーゼ全体が動くということは実際の手術の際に体の組織を必要以上に傷つけることにつながる．そのため，時間と器具の動きの正確性とガーゼ全体の動きの 3 点を検出できるように本システムを設計した．

3実装本研究では事前に録画した動画を使用して，スコアの算出を行うための，縫合に必要な技術的要素の検出を行う．ユーザはピンセット，ハサミ，針，ガーゼ，顕微鏡を使用し縫合を行う．縫合中に顕微鏡に付属している単眼カメラで縫合の様子を撮影した (図1)．また，この論文で使用している動画は脳神経外科の医師によって初級，中級，上級のラベル付けがされている．次に縫合に必要な技術的要素と作成した UI について説明する．

3.1

技術的要素の検出

縫合動画に対し物体検出ネットワークを使用することで器具位置の推定を行い，縫合フェーズの推定を行うことが可能である [3]．本研究では，同様の手法

WISS 2021
表 1. 左器具の動きとガーゼ全体の動きの検出・解析結果

平均
左器具の動きガーゼ全体の動き

初級
中級
上級
初級
中級
上級

分散

初級

解析結果
中級 上級

0.238 0.0283 n.s. **0.244 0.0333
n.s.
0.254 0.0247
0.904
**
**
0.756
n.s.
0.525
n.s.:非有意，*:p<0.05, **:p<0.01

図 2. 作成した UI．a: 結び目の位置を表示．b: ピンセットが範囲から大きく離れている時の赤色表示．c: ピンセットが範囲から小さく離れている時の橙色表示．d: ピンセットが範囲内の時の青色表示．e: 時間とスコアの表示．

で器具の動きや縫合時間の測定を行う．また，ガーゼ全体の動きの検出には位相限定相関法 (Phase OnlyCorrelation, 以下 POC)[5] を用いる．POC は，小さいノイズに影響されることなく画像全体の変化を検出する動作解析手法であるため，器具の細かい動きには反応せずガーゼ全体の動きのみを検出することが可能となる．

3.2

技術的要素の検出結果

初級，中級，上級，各 10 縫合分の縫合動画に対し，3.1 章の検出手法の内，本研究から採用した器具の動き（左器具の動き）とガーゼ全体の動きを検出した結果を表 1 に示す．
左器具の動きについては，クラスカルウォリス
検定では技術レベルによる効果が有意（(2)=10.9,p=0.004<0.01）であり，ウィルコクソンの順位和検定に Bonferroni 補正を加えた事後検定では初級と上級との間で有意な差（p=0.0028<0.01）が確認された．このことから上級者は初級者に比べて，より動画内の中心に近い位置で左器具を扱うことがわかった．また，ガーゼ全体の動きについては，クラスカルウォリス検定では技術レベルによる効果が有意（(2)=72.2, p=3.4e-16 <0.01）であり，ウィルコクソンの順位和検定に Bonferroni 補正を加えた
事後検定では初級と中級（p=9.4e-09<0.01），中級と上級（p=1.7e-14<0.01）それぞれで有意な差が確認された．このことから，上級者になるほど縫合中のガーゼの動きが少なくなることがわかった．

3.3

視覚フィードバックの作成

ユーザの縫合技術の改善を支援するために，検出した技術的要素に基づいて縫合中の動画に視覚的フィードバックを提示した（図 2）．システムが表示するフィードバックは 2 種類ある．1 つ目は針を組織に通した後のフェーズである，糸をピンセットで結ぶフェーズでピンセットの可動範囲を示す円を表示した．2 つ目は 1 縫合終了した後の結果の画面である．結果の画面では縫合の所要時間，前回の所要時間，最短の所要時間，スコア，前回のスコア，最高スコアが表示される．これはゲーミフィケーションのリーダーボードと似た役割を果たすと考えられる．
器具の正確性の観点でユーザのスキルを向上させるために，ピンセットの先端の可動範囲を表示した．
可動範囲は結び目の位置を中心とし，定数の半径とする円を設定した．これにより縫合の結び目の位置から離れずに縫合できる．また，範囲外にピンセットの先が出ると円の色が変化し，範囲内に戻るように促した (図 2b, c, d)．縫合に所要される時間は前回の縫合の時間と最速時間と共に，縫合終了後に表示した (図 2e)．

4

まとめ

本論文では，ゲーミフィケーションに基づいた視覚フィードバック生成するシステムを作成した．縫合に必要な技術的要素を深層学習を用いて検出し，複数の方法で視覚化を行った．また，技術レベルを特徴づける技術的要素を統計解析を通して同定した．
これらの要素はゲーミフィケーションにおけるスコアリングに応用できると考えられる．今後，スコアリングを適用したゲーミフィケーションアプリケーションを実装し，リアルタイムでフィードバック行うためにヘッドマウントディスプレイを使用して可視化することを考えている．

謝辞
本研究は JST CREST JPMJCR17A3 の支援を受けた．

顕微鏡縫合術訓練におけるゲーミフィケーション要素の導入

参考文献[1] B. Huang and K. F. Hew. Do points, badges
and leaderboard increase learning and activity:
A quasi-experiment on the eﬀects of gamiﬁcation.
In 23rd International Conference on Computersin Education, pp. 275–280, 2015.
[2] T. Inoue, K. Tsutsumi, S. Adachi, S. Tanaka,K. Saito, and N. Kunii. Eﬀectiveness of suturing
training with 10-0 nylon under ﬁxed and maximum magniﬁcation (× 20) using desk type microscope． Surgical Neurology，Vol．66, No．2,p. 183–187, 2006.
[3] M. Matsuura, S. Miyafuji, E. Wu, S. Kiyofuji,T. Kin, T. Igarashi, and H. Koike. CV-Based
Analysis for Microscopic Gauze Suturing Training. In Augmented Humans Conference 2021, pp.
169–173, 2021.

未来ビジョン
この論文では，縫合に必要である技術的要素の検出と，器具の可動域の範囲や所要時間をディスプレイに表示することによって縫合訓練のモチベーションの向上を図った．現在のシステムではスコアの算出，縫合訓練中のフィードバックは行っていない．
スコアは，ユーザの客観的な上達の指標になり，モチベーション向上に直結する．そのため本論文の技術的要素の検出の目的はスコア算出のための要素を模索することも含まれていた．器具の動きやガーゼ全体の動きの大きさの[4] D. Siemon and L. Eckardt. Gamiﬁcation ofTeaching in Higher Education. In Gamiﬁcation
Using Game Elements in Serious Contexts, pp.
153–164, 2016.
[5] 小林 孝次, 中島 寛, 青木 川又 政征, 樋口 龍雄.
位相限定相関法の原理とその応用. ITE Technical
Report Vol．20，No．41, pp. 1–6, 1996.
[6] 石川 達哉, 師井 淳太, 玉川 紀之, 武藤 達士, 安井 信之. 練習できないバイパス手術のコツ-上手な「場」の作成やその他のトラブルシューティング-.
脳卒中の外科，Vol．38, No．2, p. 77–82, 2010.
[7] 井上 智弘, 國井 尚人, 熊切 敦, 大谷 亮平, 田村晃, 齋藤 勇, 堤 一生. 脳卒中外科手術技量の継承における卓上型マイクロによる縫合練習の役割: 8万針の効果. 脳卒中の外科，Vol．37, No．4, p.
247–252, 2009.

特徴を抽出することでスコア算出できると推測している．また，縫合訓練中にリアルタイムにフィードバックを行うことで，その場で縫合の改善ができるため縫合訓練の効率が良くなると考えられる．ヘッドマウントディスプレイ
(HMD) を用いることによって，顕微鏡から見える視野とフィードバックの表示を同時に表示できる．これを実現するためには，顕微鏡の左右の目の視野それぞれを HMD の左右の視野に表示し，リアルタイムに器具の検出を行う必要がある．