関西地区

教育システム情報学会 2023年度学生研究発表会

画像認識技術を用いた内視鏡ビデオカメラ操作技術評価システムの開発
Development of evaluation system for endoscopic video camera operationtechniques using image recognition technology
林 龍太郎，稲田 慎，藤江 建朗，布江田 友理
Ryutaro HAYASHI, Shin INADA, Tatsuro FUJIE, Yuri FUEDA
森ノ宮医療大学 保健医療学部 臨床工学科
Department of Medical Engineering, Faculty of Health Sciences
Morinomiya University of Medical Sciences
Email: 2020BME052@morinomiya-u.ac.jp
あらまし：内視鏡ビデオカメラの操作技術を評価するシステムを試作し、臨床工学技士養成校の学生を対象としたアンケート調査を行った。システムの動作速度に関する指摘が多く、今後、改良や新たな機能の追加が必要である。
キーワード：臨床工学技士、内視鏡ビデオカメラ、画像認識

1.

影した動画から文字列を実時間で認識するためのプログラムを開発した。プログラムの開発には、比較的プログラミングが行いやすい Python を用いた。
PaddleOCR を用いることで、画像内にある文字列を囲む長方形の頂点座標を得ることができるが，これらの座標を元に、長方形の角度を文字列の角度として画像内に表示するようにした（図 2）。

研究背景・目的

臨床工学技士法の一部改正と施行により、内視鏡ビデオカメラ操作を担当する臨床工学技士が増加する。しかしながら、内視鏡外科手術に関したトレー
ニングは、鉗子などの基本操作の報告が多く、内視鏡ビデオカメラ操作に対する報告はほとんどない(1),(2)。内視鏡外科手術ではモニター画像表示が必要不可欠である。この画像を用いることで、内視鏡ビデオカメラの操作技術の向上を評価することができるのではないかと考えた。そこで本研究では、画像認識技術を用い、内視鏡外科手術における内視鏡ビデオカメラ操作技術を評価するシステムを試作し、臨床工学技士養成校の学生による評価を行うことを目的とした。

2.

開発したシステムと評価方法

2.1 システム構成開発したシステムは、内視鏡ビデオカメラ、腹腔鏡下手術訓練・縫合練習キット（MedClimber、NewHigh level Laparoscopic trainer ）、ノートパソコン（LENOVO ThinkPad X250）で構成した（図 1）。練習キットの模擬腹腔内には目標として文字列のラベルを配置し、内視鏡ビデオカメラで撮影した動画からリアルタイムで文字列を認識するとともに、文字列を正しく捉えることができているかを評価するた
めに、文字列の角度も表示するものとした（図 2）。
また、撮影範囲の中心を確認することができる十字線を表示することができるようにし、目標を画像の中心に合わせやすくなるようにした（図 3）。
2.2 画像処理プログラム
近年、画像内の文字を認識するための様々な手法が開発されている。本研究では、文字列の認識にPaddleOCR を用いた(3)。PaddleOCR は Baidu により開発された静止画内の文字を認識するためのソフトウェアライブラリである。内視鏡ビデオカメラで撮107

図 1 システム構成
写真手前に腹腔鏡手術・縫合訓練キットおよび内視鏡ビデオカメラ、奥にノートパソコンがある。

図 2 文字列の認識と角度の表示
認識した文字列を長方形で囲み、長方形の水平方向に対する角度（時計回転方向を正）を左上に表示した。

関西地区

教育システム情報学会 2023年度学生研究発表会

図33.

すると、いずれ限界に到達すると考えられる。そのため、システム内のアルゴリズムの改良を行うことやプログラムの開発に C 言語のようなコンパイラ型言語を用いることで、動作速度の高速化を目指す必要があると考えられる。自身の操作に関しては、内視鏡操作を体験したことがない学生が大半で、多くの学生が問題点として指摘したと考えられる。
本研究で試作したシステムを用いることで、内視鏡カメラの操作技術の基本的評価が可能になると考えられる。具体的には、目標となる位置を複数設定し、目標点の文字列を認識し、かつ角度が十分に小さくなるなった時点を目標点に到達したとし、全ての目標点に到達するまでの時間を用いることで操作技術を評価するものである。現時点では、目標点への到達の判断は目視で行う必要があるが、システムの改良により自動化することは可能であると考えられる。
また、学生のように、内視鏡操作の初心者と熟練者を比較した場合、熟練者ではカメラの移動が短時間であるとともに、移動量も少ないことが予想される。これらの評価を行うためには、操作中のカメラの軌跡および移動量を計測する必要がある。この実
現には、内視鏡カメラに位置センサーを取り付け、位置や角度などの経時変化を計測し、可視化する必要がある。

十字線の表示結果

2023 年 8 月の学内模擬病院研修にて、本学臨床工学科の学生（2 年生）を対象とした試作したシステ
ムによる内視鏡業務体験を行った（図 4）。対象となった学生は 19 名であった。システムを試用した学生に対して、改善点および良い点について募集したところ、以下の結果が得られた。
最も大きな問題は遅いシステムの動作であった（17 名）。カメラの動きと画面の表示にタイムラグが生じることがあり、これにより操作性の低下が生じることとなった。また、自身の操作に関して、操作の習熟が必要と感じた学生もみられた（2 名）。さらに、いずれの点も指摘した学生もいた（5 名）。

5.

まとめ

本研究では、画像認識技術を用いて、臨床工学技士養成校の学生や卒業後の臨床工学技士が内視鏡外科手術における内視鏡ビデオカメラ操作技術を評価するシステムを試作した。今後、システムの改良や機能の追加を行い、実際に内視鏡カメラの操作トレーニングに活用できるシステムの完成を目指す。
参考文献
図4

内視鏡業務体験の様子

システムの良い点については、認識した文字を長方形で囲み、長方形の角度を表示すること（1 名）、認識した文字を囲んだ長方形の角度を表示すること（4 名）、十字線を表示すること（2 名）、特になし（12名）であった。

4.

考察

本研究で行った内視鏡業務体験において、体験者から二点の問題が挙げられた。システムの動作速度の問題については、自身の操作と画面に表示される内視鏡カメラの画面との間にタイムラグが生じ、操作性に低下につながっていると考えられた。今後、この問題は解決する必要がある。より動作の速いコンピュータに変更することは一つの方法であるが、今後、システムにさらに機能を追加することを考慮

108(1) Campo, R., Reising C., Belle, Y. V, et al.: “A validmodel for testing and training laparoscopic psychomotorskills”, Gynecol Surg, Vol.7, pp.133-141 (2010)(2) Nilsson, C., Sorensen, J. L., Konge, L., et al.:“Simulation-based camera navigation training inlaparoscopy – a randomized trial”, Sug Endosc, Vol.31,
pp.2131-2139 (2017)(3) PaddleOCR:
https://github.com/PaddlePaddle/PaddleOCR（参照 2024.2.9）