補助事業番号

2023M-289

補助事業名

2023年度 曲面形状ロボットを用いた手術支援ロボットのための情報取得システム開発 補助事業

補助事業者名信州大学 繊維学部 岩本憲泰

１ 研究の概要
多数の安価な小型カメラを搭載した曲面形状ロボットにより，手術支援ロボットの自律度向上を加速させます．手術支援ロボットの自律制御のために，曲面形状ロボットのカメラ映像を用いて多視点，任意視点映像を提供するとともに，曲面形状ロボットが能動的に変形し「良い視点」を提供することを目指しています．本補助事業では，情報取得システムの開発，良い視点位置を探索するアルゴリズムの構築，曲面形状ロボットの変形制御則の構築を実施します．
２ 研究の目的と背景
手術支援ロボットの研究分野では，術者や患者の負担を減らすため，リーダ・フォロワ型のシステムから，自律的に動作するロボットの制御方法に関して注目が集まっています．自動運転技術
では自動車の自律度を示す6段階の指標（自律レベル）が定義されており，これをベースとして手術支援ロボットの自律レベルも定義されています．ヒトだけで手術を行う場合をレベル0とした場合，リーダデバイスの動きから術者の手先の震えを除去してフォロワロボットに伝えるシステムの自律レベルはレベル1に分類されます．腹腔鏡下手術においては，機械学習の性能が飛躍的に進歩したことで，特定のシーンでロボットが自律して動作するレベル2，もしくはそれよりも高いレベルへの取り組みがなされています．
これまでに縫合操作やその補助，組織のカウンタートラクション，カッティングといった手技の自律化の例がありますが，これらは腹腔鏡を通して得られる画像に基づいています．腹腔鏡の高解像度化やステレオ内視鏡を用いた3次元化が認知性能を高める主な方法であり，前者では8K内視鏡が存在し既に高い性能を有していると言えます．ただし，あらゆる場面の手術手順，解剖学，器具などをリアルタイムかつロバストに認知できることが直近の課題とされており，鉗子が重なる場面，鉗子が画面から外れる場面や腹腔鏡が汚れる場面のように死角ができる状況では，冗長でないことから安全性担保には不十分と言えます．術中MRIや術中CTはこの候補と言えるが，装置が大型であるなど欠点も存在します．
本補助事業では，複数のカメラを搭載した曲面状ロボットを情報取得システムとして腹腔内で利用することを考えます．情報取得システムから自律動作する手術ロボットに多方向から撮影した映像，良い視点からの映像を提供することを目指し，死角を削減します．本事業項目では，以下の３項目を実施しました．１．曲面形状ロボット，8つのカメラ，30msecごとにそれらの映像を制御PCへ送信する回路を組み合わせた情報取得システムの開発，２．8つのカメラから得られる映像から任意視点の映像を生成し，所望の映像が得られる（例えば，２本の鉗子がクロスしない）視点位置を探索するアルゴリズムの構築，３．探索アルゴリズムによって得た視点位置姿勢に，カメラ（ロボット上のある点の位置と姿勢）を到達させるための，曲面形状ロボットの変形制御則の構
築．
３ 研究内容http://www.fiber.shinshu-u.ac.jp/iwamoto/research_jka2023.html（１）8つのカメラを搭載した曲面状の情報取得システムに関する研究① 情報取得システムの開発
8台のカメラ映像を可能な限り同時にPCへ伝送することを目的として，図1のマルチカメラシステムを開発しました．本システムはFPGA基板で8個のカメラ画像の結合画像を生成し，PCへ4K映像を送信します．8個のカメラで同一のストップウォッチを撮影し，結合画像をPC側のモニタに表示することで，映像のフレームレートと上記の2点について評価しました．
フレームレートが30 FPSであること，カメラ間の遅延は10 ms程度であることを確認しました．また，カメラ画像取得からモニタ出力までに約230 msの時間を要していました．これは画像を送信するタイミングを調整するうえで生じています．

図1．開発したマルチカメラ映像送信回路

図2．8つのカメラを搭載した曲面形状ロボット

5 個の円柱状に屈曲するアクチュエータを有するドーム状の曲面形状ロボットを試作しました（図 2）．アクチュエータは縦横 57 mm の四角形状であり，それぞれ千鳥状に配置され，角の点で接続されています．ロボット下段の 3 つのアクチュエータは床面に対して平行な方向に屈曲させ，上段 2 つは垂直な方向に屈曲させるよう設計しました．本研究では屈曲させる方法として人工細径筋（s-muscle 社）を採用しました．アクチュエータ 1 個につき人工細径筋 1 個を用いています．各アクチュエータの細径人工筋はチューブを介してシリンジに繋がっており，これを手で加圧することで駆動します．また，8 個のカメラはロボット上で均等な間隔になるよう配置しました．
提案システムのデモ機（図 3）はマルチカメラシステム，曲面形状ロボット，加圧用シリンジ，トレーニングボックス，計算機で構成されます． この装置でトレーニングボックス

内の 2 本の鉗子を撮影しました．撮影された映像の 1 シーンを図 4 にしめしています．8 つのうち 2 つのカメラのキャプチャ画像では鉗子先端がとらえられておらず，その他のカメラでは鉗子先端が写っている状況において，2 つのカメラが取り付けられたアクチュエータを駆動すると画像内に鉗子先端を捉えることができました．これにより開発したシステムが視野を変更する機能を有することを示すことができました．
本システムの有効性を今後効果的に示すために，練習用鉗子とサーボモータ，ロボットアームを組み合わせ，図 5 の鉗子マニピュレータシステムを製作しました．

図3．開発した術野空間情報取得システム

図5．本事業で製作した鉗子マニピュレータ

図4．術野空間情報取得システムで撮影した8つのカメラ映像② 良い視点位置を探索するアルゴリズムの構築
ロボット上のカメラから得られた画像を基に仮想的な視点からみた画像を生成し，ロボット上のどの位置から見ればよい視点映像が得られるかを考えます．そのために，良い視点位置を探索する最適化問題を考え，ある視点画像から鉗子の領域を抽出し，鉗子領域の形状を基に，視点位置最適化に使用する評価関数を設計しました．探索範囲を球面上と設定し，静止した2本の鉗子に対して評価値が最小値をとるような視点を，最急降下法に基づいて求めました．最急降下法の更新則を視点位置が収束するまで繰り返し計算したところ，鉗子領域が交差している開始地点から球面に沿って移動し，接触シーンを経由した後に収束しました．収束地点では2つの領域に分かれた画像を得ました．従って，ある条件を満たす仮想カメラ画像を提供する術野空間情報取得システムを，理論的には実現可能であることがわかりました．
本内容は，計測自動制御学会 システムインテグレーション部門講演会にて１２月１５日に発表されました．
③ 曲面形状ロボットの変形制御則の構築
区分的に平均曲率一定な曲面形状ロボットに対して，アクチュエータ上もしくは受動要素上に制御点を設定した場合の逆運動学アルゴリズムを構築しました．本アルゴリズムは，3次元空間内の指定された位置を入力として，ロボット上の制御点をその点に一致させるよ
うなアクチュエータの幾何形状，平均曲率，伸び率を返します．アクチュエータ上の制御点に対するアルゴリズムは日本機械学会 ロボティクス・メカトロニクス講演会 2023にて，受動要素上の制御点に対するアルゴリズムは日本ロボット学会学術講演会 2023にて発表
しました．
円柱状に屈曲するアクチュエータと布で構成されたロボットに，本アルゴリズムで得た平均曲率を送信するシステムを構築しました（図6）．カメラとARマーカを用いて，3次元空間内の位置を指定し，6つのアクチュエータを有するロボット上の1点が指定された位置と一致するようなアクチュエータの曲率を求める逆運動学を実装しました．

図6．曲面形状ロボットの逆運動学デモンストレーション用システム
４ 本研究が実社会にどう活かされるか―展望鉗子ロボットなどの手術支援ロボットと本事業で開発する情報取得システムを組み合わせることで，手術支援ロボットの自律動作の成功率向上が見込め，その結果，手術時間の短縮，術者と患者の負担の軽減につながると期待できます．
５ 教歴・研究歴の流れにおける今回研究の位置づけ
本事業では，複数のカメラを搭載した曲面形状ロボットが，手術支援ロボットのための情報取得システムとして活用できる可能性を有することを示しました．本研究室では，これまで曲面形状ロボットの運動学理論の研究を進めており，曲面形状ロボットを腹腔鏡下手術における術野空間確保の機構として利用することを初めて提案しています．この術野空間確保機構に，複数のカメラを搭載することで自律動作する鉗子ロボットに有用ではないかと考えたのが，本事業で試作した術野空間情報取得システムです．
６ 本研究にかかわる知財・発表論文等【知財】
発明の名称：術野空間の情報を取得する能動変形システム
発明者：岩本 憲泰
出願人：国立大学法人 信州大学
出願番号：US 63/607,570【国内学術講演会】“手術支援ロボット自律化のための術野空間情報取得システムの提案”，田所聖崇, 黒田善明,佐藤寛之, 丸川可南子, 西川敦, 岩本憲泰, 第24回計測自動制御学会システムインテグレーショ
ン部門講演会(SI2023), 12月15日, 2A2-02, 新潟（https://sice-si.org/si2023/index.php）
７ 補助事業に係る成果物（１）補助事業により作成したもの（２）（１）以外で当事業において作成したもの
８ 事業内容についての問い合わせ先
所属機関名： 信州大学繊維学部（シンシュウダイガク センイガクブ）
住所： 〒386-8567
長野県上田市常田3-15-1 H棟210室

担

当者： 助教 岩本憲泰（イワモト ノリヤス）

担 当 部 署： 機械・ロボット学科（キカイ・ロボットガッカ）
E - m a i l： iwamoto@shinshu-u.ac.jp
ＵＲ

Ｌ： http://www.fiber.shinshu-u.ac.jp/iwamoto/index.html