WISS 2022

リアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練
田代 優香 ∗
金 太一 †

宮藤 詩緒 ∗
五十嵐 健夫 ‡Hwang Dong-Hyun∗
小池 英樹 ∗

清藤 哲史 †

概要. 脳神経外科の顕微鏡縫合術は習得に時間を必要とする難易度の高い医療技術である．熟練の医師は多忙なため初学者の訓練に長時間付き合うことができず，初学者は単調な作業を単独で訓練する必要がある．そこで本研究は訓練のモチベーション向上のためにスコアリングやリアルタイムフィードバックの表示といったゲーミフィケーションの要素を取り入れたシステムを提案した．本研究では顕微鏡付属のカメラから取得した動画から手術に必要な技術的要素を検出し，その要素を用いてスコアを算出する．脳神経外科医によると縫合に必要な要素は速さ，正確さ，丁寧さの 3 つである．これらの技術的要素を深層学習や画像処理を用いて，器具やガーゼを追跡することによって検出する．本システムを用いて 10 人の顕微鏡縫合術初心者に実験を行った．実験の結果，UEQ(User Experience Questionnaire) と SUS(System Usability
Scale) か本システムはモチベーション向上に寄与することがわかった．

1

はじめに

脳神経外科ではバイパス手術やクリッピング術な
どの高度な顕微鏡縫合術が必要とされる [28]．顕微鏡縫合術とは，顕微鏡を覗きながら 1 ミリ前後の組織を縫合する手術である．この顕微鏡縫合術は，縫合対象となる血管の周囲を傷つけないように [7,15]，
また，術後の影響を最小限にするために 20 分から 30分といった短時間で縫合を終わらせるように [14,15]
注意を払う必要のある高度な技術である．そのため脳神経外科では現在においても手術ロボットではな
く直接術具を操作する手術が主流である．
これまで脳神経外科では，実際の手術を見て学ん
だり手術経験を積んだりすることによって顕微鏡縫合術を習得していた．しかし，近年はカテーテルを使用する血管内手術や放射線治療などの代替治療や患者の権利保護のため，若手脳神経外科医が実際の手術から学ぶ機会が減っている．そのため，少ない
手術経験で難易度の高い手術を成功させなくてはな
らない．この事態に対処するため，普段の練習では，実際の手術で用いるフットペダル式の顕微鏡や卓上顕微鏡を用意し，ラットや手羽先，シリコンチュー
ブ，ガーゼなどを縫合対象とする縫合訓練が行われている [25, 27]．なかでもガーゼ縫合は，忙しい労働時間の間でも，短い時間で簡単に行える練習方法
として，脳神経外科医の中でもよく使われる練習である．高度な顕微鏡縫合術を習得するためには，これらの縫合を約 1 万針分，数百時間練習する必要があると言われている [13,14]．しかし，人手不足の医療現場では，熟練者が常に練習に立ち会うのは困難∗

東京工業大学 情報理工学院
東京大学 医学部脳神経外科‡
東京大学 大学院情報理工学系研究科†であるため，練習者はほとんどの時間を個人で練習する必要がある．特に初学者にとっては，自分の成長を測る指標が少ないため，単調な練習を長期間続けるためのモチベーションの維持がより難しくなる．
この課題を解決するために，図 1 に示す顕微鏡縫合術訓練のためのリアルタイムフィードバックシス
テムを提案する．本システムでは深層学習による器具検出や画像処理を用いてユーザの縫合をリアルタイムに分析し，ヘッドマウントディスプレイ (HMD)
を用いて重畳表示によるフィードバックを行う．さらに，ユーザの縫合を採点し，スコアを提供する．これらのリアルタイムフィードバックやスコアリング
といったゲーミフィケーションの技術を顕微鏡縫合に統合することで，ユーザエクスペリエンス (UX)
を向上し，単調な訓練に対するモチベーション維持，効率化を図る．
本論文の貢献は以下の通りである．

• 熟練者の着目点である，「速さ」「正確さ」「丁寧さ」を明確化し，各要素を動画内から検出することを可能とした．
• 可視化を用いたリアルタイムフィードバック
やスコアリングといったゲーミフィケーショ
ンのの要素を取り入れることで，練習者のモ
チベーションの維持を試みた．
• ユーザ実験により，本システムがモチベーショ
ン向上に貢献することを示した．

2
2.1

関連研究
縫合器具や技能の測り方

外科医の技術評価は主観的な評価と臨床結果を用いて行われてきたため，客観性に欠ける問題が挙げられる．これに対し，Doughty ら [4] や Wang ら [26]，
Egi ら [5] はロボットのセンサや，動画から機械学習

WISS 2022

図 1. (a): システム概要．(b) システムを使用している様子．(c) ユーザが装着したヘッドマウントディスプレイに顕微
鏡画像に重畳されたリアルタイムフィードバックが表示される．

を用いて評価するシステムを開発した．彼らのシス
テムでは手術技術の客観的評価を可能にした．しかし，我々がターゲットとしている脳神経外科のガーゼを用いた顕微鏡縫合術訓練である．そのため，ロボット手術ではなく手による手術を行うためセンサ
データを取得できず，訓練動画のデータも少ない．
脳神経外科でも器具の検出と評価をしている例として，Harada ら [8] は実際の医療器具にマーカーなどを装着し縫合技能を客観的かつ定量的に測り，評価する方法を示した．しかし，このシステムでは実際の器具にマーカをつけたり，トラッキングシステ
ムを構築する手間と時間がかかるため，多くの医院で導入することは難しい．
動画内から手術技能の一部を検出する例として，
Sugiyama ら [23] は外科手術における体の内部組織に対する「優しく」扱うこと定量的に測定する方法を提案した．本研究では顕微鏡縫合術に必要な技術的要素としてガーゼの扱いの丁寧さを検出する．

2.2

ゲーミフィケーション

ゲーミフィケーションとは，ゲームの要素を非ゲー
ムに取り入れていることをいう [11]．モチベーショ
ンや学習効率を上げるために，Siemon ら [22] は大学教育のグループ活動におけるゲーミフィケーショ
ンを導入したシステムを提案し，Huang ら [11] やPark ら [20] は個人の学習として修士学生の授業に取り入れた．
医療分野では，Süncksen ら [21] がゲーミフィケー
ションを X 線画像処理トレーニングに取り入れた
VR システムを開発した．彼らのシステムでは VRのコントローラーを用いて仮想空間上の器具を操作できる. しかし，彼らのシステムでは，VR 内の描画と実際の器具に差が生じる，ドメインギャップの問
題が発生する．そこで本システムでは実際の縫合器具を用いることによってドメインギャップを解消し，長時間行う単調な縫合訓練に対するモチベーションの維持のためにゲーミフィケーションを用いる．

2.3

医療における映像の表示方法

医療において臨床現場や訓練における表示方法
として，Ho ら [9] は手術機器から離れていても双眼顕微鏡の映像が立体的に見えるシステム，Chang
ら [3] は球体映像ベース仮想現実を用いた．本研究では HMD を用いて顕微鏡の接眼カメラの画像とフィードバックを重畳表示する．

3

提案手法

本研究ではゲーミフィケーションの要素を導入したリアルタイムフィードバックを行う顕微鏡縫合術
訓練システムを提案する．
提案システムでは, ユーザが図 1 (b) のように
HMD を装着し，顕微鏡と縫合器具を用いて顕微鏡
縫合術訓練を行う．本システムでは，顕微鏡縫合映像を撮影できる顕微鏡カメラを搭載し，カメラの映像から縫合器具や術部の状態をリアルタイムで検出する．検出された器具や術部の情報は，ユーザが装着した HMD 上に図 1 (c) のようにリアルタイムで可視化される．また，縫合終了時に，検出された器具や術部の情報からスコアリングを行うことで，擬似的な客観的評価を行う．本研究では，これらの情報の可視化によるリアルタイムフィードバックや，
スコアリングといったゲーミフィケーションの要素を縫合訓練に取り入れることで，ユーザのモチベー
ション向上 [11, 22] を図る．
本システムを実現するためには，顕微鏡画像上か
ら「技術的要素の検出」を行い，それらを HMD 上に「リアルタイムフィードバック」，さらに「スコアリング」を行う必要がある．以下の章では，各要素に関して詳しく説明を行う．

3.1

技術的要素の検出

これまでの顕微鏡縫合術訓練を単独で行う場合，ユーザは自身の上達を主観的に判断することが困難であった．先行研究での脳神経外科医への聞き取りの結果，顕微鏡縫合術に必要な要素は「速さ」「，正確さ」「，丁寧さ」の 3 点であるとわかった [24]．本研究では，顕微鏡の映像からこれらの要素を自動的に検出し，客観的な評価を行うシステムを実現した．縫合に必要な要素のうち「速さ」については Matsuura
ら [19] で用いられている物体検出ネットワークとフェーズ推定により検出する．本システムでは「正確さ」と「丁寧さ」は深層学習を用いた器具追跡とリアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練

図 2. システム概要とハードウェアのセットアップ．

縫合動画内のオプティカルフローの値から検出する．

3.2

リアルタイムフィードバック

検出された技術的要素を分析し，ユーザにリアル
タイムでフィードバックするには，リアルタイム解
析と重畳表示技術が必要である．本システムでは，
顕微鏡カメラからの映像を 30fps でリアルタイム解
析すると同時に，顕微鏡の接眼部に設置された別カ
メラをから得られた映像を別 PC でプロセッシングすることで，リアルタイム性を保持したまま，図 1(c) のように HMD での重畳表示を行う．この方法では顕微鏡からの映像をそのまま表示するため，マーカーが不要になり，ドメインギャップが解消される．

3.3

スコアリング

客観的な評価として，本研究では顕微鏡映像を用
いて自動採点を行う．初級，中級，上級の顕微鏡縫合動画を複数用意し，各動画から技術的要素を抽出する．各レベルの動画に 30 点，60 点，90 点を付与
し，技術的要素を引数として回帰分析を行い，自動採点を可能にする．

4

実装

本論文では顕微鏡画像からリアルタイムにスコアを算出し，フィードバックするシステムを実装した．
フィードバックは HMD を用いてユーザにリアルタ
イムで表示される．
本研究ではまず技術的要素の検出方法の策定を行う．次にゲーミフィケーションの要素であるスコアの算出方法を実装する．最後に HMD を用いて，縫合動画とフィードバックの重畳表示を行う．

4.1

システムの概要

重畳表示をリアルタイムで行うために，システム
は 2 台の PC，3 台のカメラ，HMD で構成する．図 2に示すように，本システムは顕微鏡カメラから器具
位置推定，フェーズ推定，スコアの計算を行う計算用 PC と HMD の画像処理を行うフィードバック用
PC の 2 台を使用する．単眼顕微鏡カメラを計算用
PC に接続し，1080p，60fps で PC に送信した．顕微鏡の各接眼部に接眼カメラを 2 台設置し，1080p，
60fps で立体視ができるようにした．
図 2 はデータの流れの概要を示している．顕微
鏡カメラからの画像は，器具検出，ガーゼの動きの検出，フェーズ推定のために計算用 PC にストリーミングされた．この PC はこれらの各値を組み合わせてスコアなどのフィードバックデータを生成
し，UDP 経由でフィードバック用 PC に送信する．
フィードバック用 PC は，接眼カメラからの顕微鏡
画像を HMD の左右のディスプレイそれぞれ描画する．フィードバック用 PC から取得したデータをもとに，顕微鏡画像に重ねて視覚的フィードバックを生成する．これらの画像はリアルタイムで HMD に送信される．

4.2

技術的要素の検出

脳神経外科医の意見から熟練の脳神経外科医が重視するポイントは，「速さ」，「正確さ」，「丁寧さ」であることがわかった．顕微鏡の画像からこれらを検出するためには，以下の技術的要素が必要である．

• 速さ: 1 縫合にかかる時間．
• 正確さ: 縫合器具の先端の動く範囲．
• 丁寧さ: ガーゼ全体の動き．
縫合動画に対し深層学習を用いた物体検出ネット
ワーク [19] を使用することで器具位置の推定を行い，縫合フェーズの推定を行うことが可能である．
本研究では，同様の手法で縫合時間や器具の動きの測定を行う．正確さの縫合器具の先端の位置は推定された器具位置のバウンディングボックスの角の座標とする．図 3 (a) の四角形は器具位置の例である．
また，ガーゼ全体の動きの検出には推定された器具
位置にマスクをし，その後オプティカルフロー (OF)を用いて推定を行う．推定された器具位置にマスクをかける理由は，ガーゼ全体の動きの検出時に器具の動きを無視したいからである．図 3 (b), (c) はOF によるガーゼ全体の動きの検出の例である．
初級，中級，上級，各 10 縫合分の縫合動画に対し，左器具の動きとガーゼ全体の動きを検出した結果を述べる．これらの動画は脳神経外科の医師 2 名によって初級，中級，上級のラベル付けされた．左
器具の動きについては，クラスカルウォリス検定では技術レベルによる効果が有意 ( (2) = 10.9, p =0.004 <0.01) であり，ウィルコクソンの順位和検定に Bonferroni 補正を加えた事後検定では初級と上級との間で有意な差（p = 0.0028 <0.01）が確認された．このことから上級者は初級者より動画内の中心に近い位置で左器具を扱うことがわかった．また，ガーゼ全体の動きについては，クラスカルウォ
リス検定では技術レベルによる効果が有意 ( (2) =72.2, p = 3.4e-16 <0.01) であり，ウィルコクソンの順位和検定に Bonferroni 補正を加えた事後検定
では初級と中級 （p = 9.4e-09 <0.01），中級と上WISS 2022

a

b

c

図 3. (a): 器具検出の例． (b), (c): ガーゼ全体の動きの例．(c) の緑線: (b) と (c) の間の OF のベクトル．

表 1. テストデータで学習させた場合のそれぞれの回帰の MAE の大きさ．
Linear

Huber

Ridge

Poisson

8.96

7.88

11.73

10.07

級 （p = 1.7e-14 <0.01）それぞれで有意な差が確認された．これらのことから，上級者になるほど縫合中のガーゼの動きが少なくなることがわかった．

4.3

スコアリング

前節で検出した技術的要素から特徴選択と重回帰分析を用いて擬似スコアリングを算出する．特徴選
択によってスコアに必要とされる技術的要素を選択し，重回帰分析によってそれぞれの技術的要素に掛ける係数を決める．特徴選択に用いたデータは速さの指標として 1 縫合にかかった時間，正確さの指標として左右のピンセットの先端の距離，左右それぞれのピンセットの先端と結び目との距離，丁寧さの指標として OF の値を用いた．正確さと丁寧さのそ
れぞれの指標は平均と標準偏差を用いており，合計で 9 個である．用いるデータは脳神経外科医にいた
だいた縫合動画を使用した．縫合動画は初級，中級，
上級それぞれ 2 動画ずつ，合計 6 動画使用した．重回
帰分析は Linear 回帰 [6]，Huber 回帰 [12]，Ridge
回帰 [10]，Poisson 回帰 [18] の 4 つを使用した．擬
似スコアリングは初級，中級，上級のスコアを 30,
60, 90 として重回帰分析によって算出する．これらの 9 個の特徴量，4 つの回帰手法から最もスコアの
平均絶対誤差 (MAE) が小さくなる特徴量とその個数と回帰手法を選択する．
それぞれの回帰手法で最も小さい MAE の時の特徴量を用いてテストデータで擬似スコアを算出した
結果を表 1 に示す．最も MAE が小さいのは Huber
回帰であり，その時の特徴量は時間，OF の平均，左ピンセットの先端と結び目の距離の標準偏差の 3 つである．これらはそれぞれ，時間は「速さ」，左ピンセットの先端と結び目の距離は「正確さ」，OF は「丁寧さ」を代表したパラメータが選択されており，
本研究で目的とした 3 要素が選択されている．よって，本研究ではこの回帰手法と特徴量を擬似スコア
リングに使用する．決定した回帰手法と特徴量を用いて算出したスコアを図 4 (a) に示すように 1 縫合

後に表示した．

4.4

視覚的フィードバック

ユーザの縫合技術の改善を支援するために，図 4に示すように検出した技術的要素に基づいて縫合中
動画に視覚的フィードバックを提示した．まず速さに対する表示は，図 4 (a) のように，システムは 1
縫合終了後の画面に現在の所要時間が前回と最速の所要時間と共に表示する．システムはスコアも同様に図 4 (a) のように表示する．これによりユーザ自身で過去の記録と比較して振り返ることができ，モ
チベーション向上に繋がることを期待する．次に正確さに対する表示は，図 4 (b), (c) に示すように，器具の先端の位置によって色の変わる円を表示する．
これによりユーザが結び目の位置から離れずに器具を操作することを促す．最後に丁寧さに対する表示は，図. 4 (d), (e) のように，ガーゼ全体が大きく動くほど赤色に近い色で長くなるバーを画面左下に表示する．これにより器具で糸やガーゼを無理に引っ張ってしまったことが視覚的にわかる．

被験者実験

5

本実験はゲーミフィケーションの要素を取り入れた本システムの有用性を評価するために提案システ
ムによってどれだけモチベーションや UX が向上するかを検証する実験を行った．提案システムを表示する条件の表示しない条件の 2 条件での被験者実験
を行った．

5.1

仮説

本実験を通して以下の 3 つの仮説を検証する．

• H1: ゲーミフィケーション要素によってモチベーションが向上する．

• H2: ゲーミフィケーション要素によって練習時間が増える．

• H3: ゲーミフィケーション要素によって UXが向上する．

5.2

実験内容

本システムの対象は縫合初心者である．縫合初心者と医学的背景を持たない学生では長期間の縫合練習に対しるモチベーション維持の難しさは同様と考えられるため，本実験では，医学的背景を持たないリアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練
a

b

c

d

e

図 4. ヘッドマウントディスプレイで見た場合の UI 動作の例．: (a) 時間とスコアが表示された結果画面．(b) ピンセッ
トが範囲内にある場合，円は緑色に変化する．(c) ピンセットが範囲外にある場合，円は赤色に変化する．(d) ガー
ゼ全体が大きく動いていないときは，左下のバーが短くなり，緑色に変化する．(e) ガーゼ全体が大きく動いている
ときは，左下のバーが長くなり，赤色に変化する．

学生を実験参加者とした．参加者は実験を行う大学に通う平均年齢 23.5 歳 (SD = 3.32) の 10 名 (女性
3 名) の学生である．また，HMD を用いた VR の経験は，1 人が経験なし，3 人が年に 1 回程度がそれ未満，2 人が半年に 1 回以上，3 人が月に 1 回以
上，1 人が週に 1 回以上だった．実験 1 時間あたりの参加報酬は 1000 円である．
被験者は図 1 (b) のように HMD を覗いて実験を行う．実験で用いる縫合器具の先端は Matsuura
ら [19] と同様に図 1 (c) のように検出精度を上げる
ために着色されている．実験を行う前に顕微鏡縫合術訓練の事前練習を行った．事前の実験から，初心者であっても安定してくると，3 縫合を 20 分で完了することができるとわかった．そこで，事前練習
では，1 縫合 7 分弱で行えるようになるまで練習してもらい，この事前練習中に VR 酔いを起こした学生や学生自身が上達できないと判断した場合は，実験には参加しないこととした．本実験は被験者内実験であり，各被験者は 1 条件 1 時間ずつ実験を行った．目や手の疲れ，集中力を考慮して練習と 2 条件の実験の間にそれぞれ 2 時間以上空けた．
本研究は以下の 2 つの条件で実験を行った．条件
D: この条件では，提案手法である円，バー，スコア，時間が表示される．円は左ピンセットの先端の位置によって色が変化し，バーはガーゼ全体が動くと長さと色が変化し，スコアと時間は前回値と最高値と共に表示される．条件 N: この条件では円，バー，ス
コア，時間が表示されない．ただし条件間で有利不利が生じないようにするため，最初の数秒間のみ縫合箇所の目標となる円を表示した．
実験の手順は以下である．(1) 条件 N を 1 縫合行う．(2) 無作為に選ばれた条件で飽きると感じるまで最大 1 時間実験を行う．(3) 条件 N で 1 縫合行う．
2 回目の別条件の実験もこの手順で行う．

5.3

評価方法

モチベーション維持や練習効果を調べるために，定量評価として合計の縫合時間とスコアを評価した．定性評価として，UEQ（User Experience
1
User Experience Questionnaire, https://www.ueqonline.org/

Questionnaire） [17]1 と SUS（System Usability
Scale） [2] の 2 つのアンケートを実施した．UEQ
は，モチベーションが評価項目に入っている UX を評価するために使用した．また，SUS はシステムの使いやすさを測定するために使用した．さらに 2 つの条件が終わった後に自由記述のアンケートを行った．このアンケートは 5 段階評価とその理由を記述する質問である．

6

実験結果

定量評価の結果
縫合時間 定量評価の指標でとして合計の縫合時間を測定した．合計の縫合時間は長いほどモチベーションの維持が可能であると言える．図 5 に縫合時間の結果を示す．合計の縫合時間を平均した値はそれぞれ条件 D で 2048 秒，条件 N で 2004 秒だった．合計の縫合時間の分析では条件間で有意差は見られな
かった．そのため，H2 を支持する結果は得られな
かった．また，練習の効果を測るために 1 縫合にかかる時間を計測した．1 縫合にかかる時間は短いほど上級者に近づくと言える．図 6 に実験後の 1 縫合の時間についての結果を示す．平均値は条件 D で234 秒，条件 N で 284 秒だった．実験後の時間についての対応のある t 検定を行ったところ，条件間で有意差は見られなかったが，有意傾向が見られた (p= 7.4e-2 <0.1)．

6.1

スコア 図 7 に条件それぞれにおいての実験前後の縫合のスコアの結果を示す．実験前の平均値は条件
D で-11 点，条件 N で-20 点，実験後の平均値は条件
D で 36 点，条件 N で 22 点だった．ウィルコクソンの符号順位検定を用いた結果，どちらの条件でも実験前後の縫合スコアに有意差があった (条件 D： p =9.3e-3 <0.01, 条件 N： p = 1.3e-2 <0.05)．また，
実験後の縫合のスコアの平均は条件 D で 36.22 点，
条件 N で 22.47 点だった．実験後の縫合のスコアを
条件間で分析したところ有意差は見られなかった．

6.2 定性評価の結果
UEQ の結果を図 8 に示す．UEQ の値が大きほど肯定的な値である．不等分散を仮定した 2 標本のt 検定を行ったところ，この図から見栄え，刺激，ノ
ベルティで有意差があることがわかる (p = 1.7e-2

WISS 2022

図 5. 合計の縫合時間の結果．

図 6. 実験後縫合時間の結果．

図 8. UEQ の結果 (*: p <0.05, **: p <0.01, ***:
p <0.001)．

図 9. アンケートの結果．

<0.05, p = 3.8e-3 <0.01, p = 7.7e-4 <0.001)．また SUS スコアの平均は，条件 D の時に 72.25，条件 N の時に 62.25 だった．Bangor ら [1] の指標を参考にすると，各スコアは条件 D では「ACCEPTABLE」，条件 N では「LOW MARGINAL」である．
以上のことから，本システムは次の縫合への意欲を向上させると考えるため，H1 を支持すると考えられる．また，UEQ の結果から条件 D の方が UXが向上しているため，H3 を支持すると示唆される．
アンケートの結果を図 9 に示す．Q1. では 7 人がStrongly agree に近い 4 と 5 を選択した．Q2. では半数の被験者が Strongly disagree の 1 と 2 を選択した．その 5 人中 4 人が選択した理由として見えにくいという回答をした．Strongly agree である 5 を回答した 3 人全員がバーによってガーゼ全体を動かさないように注意できたと回答した．Q3. では被験者全員が Strongly agree の 4 か 5 を選択した．
アンケートの結果から，大半の初心者にとって円の表示はモチベーション向上に役立ったと推察される．また，バーの存在が縫合の邪魔をすることがな
く，注意に寄与したことがわかる．参加者全員がス

図 7. 実験前後のスコア．

コアの表示がモチベーション向上に役立つと答えた
理由を 2 つ述べる．1 つ目は，現在のスコアと同時に前回のスコアと最高スコアが表示されるため，自分の過去の記録と比較できるからである．2 つ目はピンセットやガーゼの動きと違い，スコアは自分では予想がつきにくいため，スコアがモチベーションに寄与したことがわかる．

7

議論

本論文の提案システムはモチベーション向上のために顕微鏡縫合術訓練にゲーミフィケーションの要素を導入した．
定量評価では仮説 H2 に反して縫合練習時間に有意差がなかった．しかし，UEQ の結果から UX は向上した．特に見栄え，刺激，ノベルティで有意差があった．UEQ の計算ではモチベーションに関する質問肢が刺激の項として計算される 1 ため，提案手法がモチベーション向上に寄与すると言える．
顕微鏡縫合術訓練は本来習得に時間がかかる訓練である．そのため，本提案が長期的なモチベーショ
ン向上に繋がるかどうか，長期の実験を行う必要がある．その際，ユーザごとに表示のカスタマイズが可能な UI を導入することで，長期的なモチベーショ
ン向上 [16] にも対応したい．
また，システムの限界は，HMD の慣れが使いやすさや疲れに大きく影響することである．実験参加者の中には HMD に閉塞感を感じたり酔ってきてしまう人がいた．今回の実験では HMD の慣れの問題を軽くするために顎のせを導入した．ただし，長期的に使う場合，HMD に慣れると考えらえる．

8

まとめ・今後の展望

本論文ではモチベーション向上のため，スコアリ
ングやリアルタイムフィードバックといったゲーミ
フィケーションの要素を顕微鏡縫合術訓練を導入した．提案システムでは顕微鏡縫合術に必要な技術的要素の検出，スコア算出，リアルタイム可視化を行い，実験を通してその有用性を検証した．今後の課題としてモチベーションの向上を評価するために長期的な訓練の実験やユーザによる表示のカスタマイズが考えられる．

リアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練

謝辞[13] T. Inoue, N. Kunii, A. Kumakiri, R. Otani,
A. Tamura, I. Saito, and K. Tsutsumi. The
本研究は JST CREST JPMJCR17A1，JST CREST
Role of 10–0 Suturing Training under Desktype
Microscope for the Mastery of Cerebrovascular
JPMJCR17A3，JSPS 科研費 21K17788 の助成をSurgery: The Eﬀectiveness of 80,000 Stitches.
受けた．
Surgery for Cerebral Stroke, 37(4):247–252,
2009.
参考文献
[14] T. Inoue, K. Tsutsumi, S. Adachi, S. Tanaka,
K. Saito, and N. Kunii. Eﬀectiveness of su[1] A. Bangor, P. Kortum, and J. Miller. Determinturing training with 10-0 nylon under ﬁxed anding What Individual SUS Scores Mean: Adding
maximum magniﬁcation (× 20) using desk typean Adjective Rating Scale. J. Usability Studies,microscope. Surgical Neurology, 66(2):183–187,
4(3):114–123, May 2009.
2006.
[15] T. Ishikawa, J. Moroi, N. Tamakawa, T. Mutoh,[2] J. Brooke. SUS – a quick and dirty usability
and N. Yasui. Technical Tips for Microvascuscale, pp. 189–194. 01 1996.
lar Anastomosis: How We Prepare Appropriate[3] C.-Y. Chang, H.-Y. Sung, J.-L. Guo, B.-Y.
Operative Field and Manage Troubles in Bypass
Chang, and F.-R. Kuo. Eﬀects of spherical
Surgery. Surgery for Cerebral Stroke, 38(2):77–
video-based virtual reality on nursing students
82, 2010.
learning performance in childbirth education[16] I. Kuramoto. An Entertainment-System Frametraining. Interactive Learning Environments,
work for Improving Motivation for Repetitive,
30(3):400–416, 2022.
Dull and Monotonous Activities. In I. Maurtua
ed., Human-Computer Interaction, chapter 18.
[4] H. Doughty, D. Damen, and W. Mayol-Cuevas.
IntechOpen, Rijeka, 2009.
Who’s Better? Who’s Best? Pairwise Deep
Ranking for Skill Determination.
In 2018[17] B. Laugwitz, T. Held, and M. Schrepp. ConIEEE/CVF Conference on Computer Vision
struction and Evaluation of a User Experienceand Pattern Recognition, pp. 6057–6066, 2018.
Questionnaire. Vol. 5298, pp. 63–76, 11 2008.
[5] H. Egi, M. Okajima, M. Yoshimitsu, S. Ikeda,[18] G. S. Maddala. Limited-Dependent and QualY. Miyata, H. Masugami, T. Kawahara, Y. Kuitative Variables in Econometrics. Econometrita, M. Kaneko, and T. Asahara. Objective
ric Society Monographs. Cambridge University
assessment of endoscopic surgical skills by anPress, 1983.
alyzing direction-dependent dexterity using the[19]
M. Matsuura, S. Miyafuji, E. Wu, S. Kiyofuji,Hiroshima University Endoscopic Surgical AsT. Kin, T. Igarashi, and H. Koike. CV-Basedsessment Device (HUESAD). Surgery Today,
Analysis for Microscopic Gauze Suturing Train38(8):705–710, Aug 2008.
ing. In Augmented Humans Conference 2021,
AHs’21, p. 169–173, New York, NY, USA, 2021.
[6] D. A. Freedman. Statistical models: theory and
Association for Computing Machinery.
practice. cambridge university press, 2009.
[20]
J. Park, D. Liu, M. Y. Yi, and R. Santhanam.
[7] D. Haga, H. Uekusa, Y. Node, S. Kubota,
GAMESIT: A gamiﬁed system for information
K. Kondo, and N. Sugo. Surgical Tips for STAtechnology training. Computers & Education,
MCA Bypass from Misato Central General Hos142:103643, 2019.
pital. Surgery for Cerebral Stroke, 49(1):64–69,
2021.
[21] M. Süncksen, H. Bendig, M. Teistler, M. Wagner, O. J. Bott, and K. Dresing. Gamiﬁca[8] K. Harada, A. Morita, Y. Minakawa, Y. M.
tion and virtual reality for teaching mobile x-ray
Baek, S. Sora, N. Sugita, T. Kimura,imaging. In 2018 IEEE 6th International ConR. Tanikawa, T. Ishikawa, and M. Mitsuishi.
ference on Serious Games and Applications forAssessing Microneurosurgical Skill with MedicoHealth (SeGAH), pp. 1–7, 2018.
Engineering Technology. World Neurosurgery,
84(4):964–971, 2015.
[22] D. Siemon and L. Eckardt. Gamiﬁcation ofTeaching in Higher Education, pp. 153–164.
[9] D. K.-h. Ho.
Using smartphone-delivered
Springer International Publishing, Cham, 2017.
stereoscopic vision in microsurgery: a feasibility study. Eye, 33(6):953–956, Jun 2019.
[23] T. Sugiyama, T. Nakamura, Y. Ito, K. Tokairin,
K. Kazumata, N. Nakayama, and K. Houkin.
[10] A. E. Hoerl and R. W. Kennard. Ridge ReA pilot study on measuring tissue motion durgression: Biased Estimation for Nonorthogonal
ing carotid surgery using video-based analyses
Problems. Technometrics, 12(1):55–67, 1970.
for the objective assessment of surgical performance. World Journal of Surgery, 43(9):2309–[11] B. Huang and K. Hew. Do points, badges and2319, 2019.
leaderboard increase learning and activity: A
quasi-experiment on the eﬀects of gamiﬁcation.
[24] Y. Tashiro, M. Matsuura, D.-H. Hwang,
12 2015.
S. Miyafuji, S. Kiyofuji, T. Kin, T. Igarashi, and[12] P. J. Huber. Robust Estimation of a Location
H. Koike. Introducing a Concept of GamiﬁcaParameter. The Annals of Mathematical Statistion to Microscopic Suturing Training. In Augtics, 35(1):73 – 101, 1964.
mented Humans 2022, AHs 2022, p. 294–297,

WISS 2022

New York, NY, USA, 2022. Association for
Computing Machinery.
[25] R. Uranishi, R. Tei, T. Sugimoto, T. Fukuda,
and K. Shinomiya.
Microsurgical Training
Methods for Microvascular Anastomosis in
Our Institute. Surgery for Cerebral Stroke,38(3):153–157, 2010.
[26] Z. Wang and A. Majewicz Fey. Deep learningwith convolutional neural network for objective
skill evaluation in robot-assisted surgery. International Journal of Computer Assisted Radiology and Surgery, 13(12):1959–1970, Dec 2018.
[27] T. Yoshikane, Y. Fujiwara, M. Uchimura,T. Miyazaki, Y. Akiyama, Y. Kimura, and
T. Kagawa. Education in Basic Techniquesof Cerebrovascular Surgery for NeurosurgicalTrainees. Surgery for Cerebral Stroke, 47(1):33–
40, 2019.
[28] 印東 雅大. 顕微鏡手術の技法超入門 - これからの脳神経外科 · 形成外科のための. メディカ出版,
2009.

リアルタイムフィードバックとスコアリングを導入した顕微鏡縫合術訓練

未来ビジョン
本論文が提案するシステムはモチベーション向上のために顕微鏡縫合術訓練にゲーミフィ
ケーションの要素を導入した．我々のシステムをより良いシステムにするために考えらえる
将来像を説明する．実際の顕微鏡縫合術では表示はされないため，スコアの大きさによって表示の有無を変更できるシステムが良いと考えられる．さらに，スコアの計算に用いている
3 つの要素から，ユーザの技術が足りていない箇所のみ表示をすることによってユーザは直すべき場所が明確になり，さらにモチベーショ
ン向上に繋がると考える．我々のシステムのターゲットは初心者であったため，今回の実験
では縫合知識のないユーザが参加者だったが，システムの内容として中級者にも効果があると考えるため，医学知識のある中級者にも効果があるのか確かめたい．
今回のシステムではゲーミフィケーションの要素としてスコアリングやフィードバックを行った．本システムではスコアリングとスコ
アリングに用いた要素のデータを保存することができる．そのため，保存した新たなデー
タをもとにスコアリングの精度を上げていきたい．
本研究ではモチベーション向上を主な目的としてシステムを作成した．これに加えて教師側の指導の効率化に役立つポテンシャルがある．
例えば，普段は学習者が本システムを使って練習を行い，特定の点数に達したら教師にアドバイスをもらう，という練習方法にすれば，初期段階の指導を短縮することができ，効率化につながる．この仕組みはゲーミフィケーショ
ンの要素の 1 つである，訓練者への報酬という役割も果たすと考える．