研究報告2022 目次【研究開発部】

実用化実証事業「次世代医療福祉ロボット」グループ◆ 総括･･････････････････････････････････････････････････････････････････････････････････ 119◆ 拡張現実提示機能を備えた遠隔操作システムにおける仮想物体を介した･･････････････････････ 122

実環境への接触の表現◆ Dynamic programmingマッチングを用いた吸入動作正誤判別････････････････････････････････ 126◆ 業績･･････････････････････････････････････････････････････････････････････････････････ 129

118

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット「次世代医療福祉ロボット」グループ
グループリーダー

下野

誠通【基本構想】
本研究グループでは、平成 28 年度～平成 31 年度に実施した有望シーズ展開事業で得られた研究開発成果を基に、実世界での力触覚の伝送・記録・再現を可能とするリアルハプティクスを援用した様々な医療デバイスの実用化研究を推進することを目的として、令和 2 年度より開始している。特に、力触覚情報を活用することによって高い安全性や新しい診断機能を獲得した高付加価値な医療デバイス、遠隔触診を実現するネットワークシステム技術、革新的な手術支援ロボットなどの開発を行う。そして、産学公連携拠点としての殿町（川崎市川崎区）の研究室において、医療機器を中心とした産業界とも密に連携した共同研究を推進し、開発技術の社会実装へと繋げることを目指す。

1.

2021 年度の研究目的

2. 2021 年度の研究成果(1) ハプティック骨ドリルの開発研究

2021 度は、実用化実証事業「次世代医療福祉ロボッ
ト」研究グループの研究活動二年目にあたり、前年度に引き続いて特に医療デバイスへの応用研究を主軸として本テーマでは、脊椎掘削・切削時のリアルタイム貫通
検知と瞬時自動停止機能を有する安全安心な骨ドリルの研究を推進する。産学公連携拠点としての殿町研究室を本拠地とし、産業界とも密に連携した実用化研究を実施

実用化を目指した研究開発を進めている（図 1）。2021 年度では、昨年度に製作した改良機を用いることで、貫通する。これにより、医療機器メーカー等との協働による開発技術の事業化へと繋げる。

検知アルゴリズムの発展的研究を実施した。
昨年度では、AMED ACT-MS の支援を受けて、脊椎を昨年度まで実施した AMED ACT-MS によって得られた
ハプティック骨ドリルの開発研究の成果を基に、さらな垂直方向に掘削した際の貫通検知及び自動停止の機能検証を達成し、開発アルゴリズムの有効性を確認した。

る性能改善に向けたドリル研究に取り組む。骨ドリル試作機やボーンソー試作機を用いた動物実験を慶應義塾大

2021 年度では、実際の手術動作と同様に、骨の表面に沿ってドリルを水平に移動させながら切削を行った際の、学医学部、同大学 HRC、日本メドトロニック株式会社と協力して実施することで、実用化に向けた非臨床 POC を
段階的に達成する。
脳神経外科用のハプティック鑷子研究については、引き続き動物実験などを実施し、データ収集と有用性評価を行う。
また、鷺沼診療所と連携し、遠隔触診に向けたハプティック超音波プローブの開発研究を継続し、精細な超音波画像の取得支援を行う誘導アルゴリズムの開発研究などを実施する。

(a) ハプティック骨ドリル試作機

慶應義塾大学医学部、薬学部との吸入動作解析に関する研究については、臨床試験によるデータ収集を継続
し、吸入器操作におけるクリティカルエラーの自動診断技術の開発を進める。
さらに、AMED 先進的医療機器・システム等技術開発
事業の研究分担機関として、マイクロサージャリー用シ
ミュレータの開発研究を実施する。実システムを用いたシミュレータ環境を構築すると共に、実験評価まで達成することを目指す。

(b) 貫通検知・自動停止の有用性実証
図 1：ハプティック骨ドリルによる試験

119

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

貫通検知機能についての検証を行った。慶應義塾大学医学部整形外科教室との共同実験において、人の術者により実際の施術と同様に切削を行ったところ、装置が正常に貫通を検知し、自動停止することが十分に可能である
ことが確認された。さらに、本アルゴリズムをボーンソーにも応用したモデルを試作し、模擬骨を用いた試験によって貫通検知・自動停止機能が骨ドリルと同様に十分に機能することを確認した。

図 3：自由度超音波プローブシステム(2) ハプティック鑷子の開発研究(4) 吸入支援デバイスの開発研究

脳神経外科支援用ハプティック鑷子（図 2）の開発研

慶應義塾大学医学部及び同附属病院薬剤部の研究者と共同で、IMU を用いた吸入動作モニタリングデバイスの究では、腫瘍組織と正常組織の剛性計測実験を実施し、新たなバイオマーカーとしての力触覚情報の有用性につ改良開発を行った（図 4）。
2 つの IMU を活用することで、蓋の開閉動作や吸入器

いて検討を深めた。非臨床試験によって、腫瘍組織と正常組織の剛性推定結果に有意な差があることを確認し、の傾け角度を測定可能となるようにし、吸入動作の適切性のより詳細な把握を実現した。また、薬剤充填動作の診断技術への応用性を実証することができた。

不備など、クリティカルエラーを自動判別するためのア
ルゴリズム研究も並行して実施し、動的計画法を応用した手法によって薬剤師と同等の評価精度が得られるとの結果を示すことで、その有用性を確認した。

(a) ハプティック鑷子試作機

図 4：吸入動作モニタリングデバイス(5) マイクロサージャリー用シミュレータの開発研
究(b) ペンホールド型試験機
図 2：脳神経外科支援デバイス

AMED・先進的医療機器・システム等技術開発事業（研究代表機関：慶應義塾大学）の分担研究機関とし(3) ハプティック超音波プローブの開発研究
リアルハプティクスの遠隔触診応用を目指し、超音波て、マイクロサージャリー支援ロボットを用いたトレー
ニングシミュレータの開発研究を実施した（図 5）。ロボ

プローブによる画像データと力触覚データとの統合解析研究を実施している。特に 2021 年度では、3 自由度を有ットに内蔵する各モータの位置情報を基にシミュレータ側のヴァーチャルモデルを同期させ、またシミュレータ

する超音波プローブシステムを試作し（図 3）、画像デー
タと力触覚データのクラスタリングと二次元マッピング側に設定された仮想環境から得られる反力情報をロボット側において出力することで、視覚情報と力触覚情報とによるマニピュレーション誘導アルゴリズムの開発を行った。画像の一致度と接触対象物のインピーダンスの一を提示可能なシミュレータ環境を構築した。
さらに、精密な動作が要求される場面を想定し、力制致度を二つの独立な軸として表現する二次元マップの生成法を考案し、実際の接触状況に関する相対位置をマッ

御に基づいて手先の位置を目標値へと誘導するナビゲー
ションシステムを開発した。実際のマイクロサージャリ

プ上にリアルタイム表示することで、適切な力加減やプローブ操作角度等を誘導することが可能であることを実

ー支援ロボットを用いた検証実験により、手先位置を目標位置へと誘導可能であると共に、手ブレの抑制や、位験的に示した。

置ズレの防止に効果的であることが確認された。

120

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット(a) マイクロサージャリーロボット試作機(b) 構築したシミュレータ環境
図 5：マイクロサージャリーシミュレータ

3.

今後の展望

本研究グループでは、これまでの KISTEC 有望シーズ展開事業で得られた研究成果を発展させる形で、リアル
ハプティクスを援用した様々な医療デバイスの社会実装研究を推進している。医療機器メーカーを中心とした産業界との連携体制の構築、拡張ができてきており、今後も外部資金を活用しながら実用化に向けた開発研究を進めていく予定である。特に 2022 年からは、AMED 医療機器等における先進的研究開発・開発体制強靭化事業に分担研究機関として参画する骨ドリル開発の提案課題が採択されており、この支援を活用して開発技術の実用化を目指す。また、これまでの人間支援ロボットの開発研究を通して得られた動作支援技術や動作評価技術については、今後の様々な機器開発のための要素技術として利活用することができるよう、引き続き地域連携／産学公連携活動を展開していく予定である。

121

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

拡張現実提示機能を備えた遠隔操作システムにおける仮想物体を介した実環境への接触の表現「次世代医療福祉ロボット」グループ
松永 卓也

1. はじめに
マスタ・スレーブ型遠隔操作ロボットは、人間の能力拡張による高難度な作業の支援や危険な作業における人間の安全確保等に有用である。マスタ・スレーブシステ
ムの制御はロボット間における位置情報の伝送で実現可能であるが、より安全で直感的な作業をおこなうためには力触覚情報が必要となる。さらに、ロボット間で伝達される力触覚情報に加えて視覚情報や聴覚情報を活用することで、より高度な人間支援が可能となる。
バイラテラル制御はマスタ・スレーブシステムにおいて力触覚伝達をおこなう制御手法である。加速度制御に

図 1：視覚・力触覚伝達が可能な遠隔操作システム

基づくバイラテラル制御[1]は双方向の位置、力情報の伝送とロバストな加速度制御によって鮮明な力触覚伝達を利用し、(1)式で XD = 0 とすることで位置の追従，(2)式でFC = 0 とすることで作用力と反作用力の大きさの一致を可能とする。バイラテラル制御の制御目標は拡張可能であり、カメラで画像として得られる視覚情報を活用した実現する。さらに、(1)式または(2)式を拡張することで様々な機能をバイラテラル制御に付加することが可能とナビゲーションシステム[2]やモーションキャンセリング
システム[3]、拡張現実（AR: Augmented Reality）提示シなる。
バイラテラル制御における鮮明な力触覚伝達の実現に

ステム[4]が提案されている。

は位置と力の高精度な制御が必要であるため、外乱オブ
ザーバ（DOB: Disturbance Observer）[6]によるロバストな(1) 拡張現実を提示可能な遠隔操作システム

加速度制御をおこなう。また、力センサレスの遠隔操作ロボットを使用するため、力情報の取得には反力推定オ

本研究では、マスタ・スレーブ型遠隔操作ロボットと映像機器を組み合わせた遠隔操作システム（図１）において、仮想環境を介した実環境への接触を拡張現実におブザーバ（RFOB: Reaction Force Observer）[7]を用いる。

いて表現する手法を提案し、遠隔操作システムにおける拡張現実の応用範囲を拡張する[5]。図１のシステムにお(1)-2 視覚情報の提示
エンドエフェクタや環境等を含むスレーブ側視覚情報

いて、バイラテラル制御を実装した遠隔操作ロボットは
リニアモータの 1 自由度の動作で力触覚情報を伝達すの取得にはカメラを使用し、画像処理装置を介してディスプレイに提示する。システムの単純化のため、2 次元る。映像機器はカメラ、画像処理装置、ディスプレイで構成され、2 次元画像として得られる視覚情報の伝送と画像を視覚情報として扱う。画像処理装置では OpenCVによる環境情報抽出や画像加工をおこなう。また、遠隔処理をおこなう。

操作ロボットの制御装置との通信により、視覚情報に応じた力触覚拡張や、力触覚情報に応じた視覚拡張が可能(1)-1 力触覚情報の伝達となる。

1 自由度マスタ・スレーブ型遠隔操作ロボットにおいて、加速度制御に基づくバイラテラル制御[1]の制御目標は次式で与えられる。
𝑿𝑿𝐌𝐌 − 𝑿𝑿𝐒𝐒 = 𝑿𝑿𝐃𝐃

(2) 仮想環境を介した実環境への接触
拡張現実提示機能を備えた遠隔操作システムにおける

(1)
(2)

仮想環境に対する接触動作では、実環境に対する接触動作と同様にスレーブロボットによる仮想環境の移動や変X と F はモータの位置と力であり、下添え字の M、S、D、C はマスタ、スレーブ、差のモード、和のモードを形が可能であり、操作者の視覚および力触覚に提示できる。一方、拡張現実における実環境と仮想環境の接触に表す。ロボット間で双方向に伝送される位置、力情報をは制限が存在する。仮想環境の表現は実環境との位置関係や接触状況に応じた演算により変化させることが可能

𝑭𝑭𝐌𝐌 + 𝑭𝑭𝐒𝐒 = 𝑭𝑭𝐂𝐂

122

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボットである。しかし、仮想環境は実環境に力を加えることが

𝒔𝒔𝟐𝟐 𝑿𝑿𝐤𝐤 = 𝑴𝑴𝐜𝐜 −𝟏𝟏 �𝑭𝑭𝐒𝐒 − 𝑭𝑭𝐭𝐭𝐭𝐭 − 𝒌𝒌𝐜𝐜 𝑿𝑿𝐤𝐤 �

できず、仮想環境との関係性が実環境に変化を与えることが無い。したがって、実環境同士、または仮想環境同(5)

Mc、kc、Fth は仮想慣性、仮想剛性、接触動作の開始を検知するための力の閾値である。

士の接触と同様の表現が困難である。本研究では、かたさが剛性のみで表現される環境について、遠隔操作シス
テムによる仮想環境を介した実環境への接触を視覚および力触覚拡張で擬似的に表現する。

(2)-2 視覚の拡張
カメラで取得した 2 次元画像において、スレーブロボ
ットの代わりに仮想スレーブロボットのエンドエフェク(2)-1 力触覚の拡張

タと仮想環境を AR 画像として提示し、仮想環境を介した実環境への接触で得られる視覚情報を表現する。AR

スレーブ側エンドエフェクタ先端に仮想環境が付加された遠隔操作ロボット（図２）において、バイラテラル

画像の生成には接触動作前の実環境周辺画像とリアルタイム画像を使用する（図３）。

制御の位置の制御目標を拡張し、仮想環境を介した実環境への接触で得られる力触覚情報を表現する。提案手法
ではスレーブロボットの代わりに仮想スレーブロボットを使用して制御系を構築する。そして、実環境への接触
時にバイラテラル制御とコンプライアンス制御を組み合わせた力触覚伝達をおこない、操作者に環境のかたさを提示する。

図 3：仮想スレーブロボットによる視覚拡張
図 2：仮想スレーブロボットによる力触覚拡張

AR 画像に表示される仮想スレーブロボットのエンド
エフェクタと仮想環境はマスタ・スレーブシステムと同スレーブロボットの位置は次式により仮想スレーブロ

期して移動する。画像に表示する仮想環境の長さは次式で得られる。

ボットの位置に変換される。
𝑿𝑿𝐒𝐒𝐒𝐒 = 𝑿𝑿𝐒𝐒𝐒𝐒 − 𝑳𝑳

(3)

𝒑𝒑𝐄𝐄 = 𝑮𝑮𝐩𝐩𝐩𝐩 −𝟏𝟏 (𝑳𝑳 − 𝑿𝑿𝐃𝐃 )L はモータ可動部の移動方向の軸における仮想環境の長さ、下添え字の R と V はそれぞれ実空間と仮想空間を表す。位置の追従を表す(1)式の制御目標は次式となる。
𝑿𝑿𝐌𝐌𝐌𝐌 − 𝑿𝑿𝐒𝐒𝐒𝐒 = 𝑿𝑿𝐃𝐃

(6)

pE は画像座標系における仮想環境の長さを表す。Gpm はモータ座標系から画像座標系への位置情報の変換係数で

(4)

ある。

したがって、仮想環境の先端位置がマスタロボットの位置に追従することを目標とした制御となる。

2. 実験と結果

力触覚伝達下における遠隔操作ロボットの操作は自由動作と接触動作に分けられる。自由動作は環境に非接触

視覚と力触覚の拡張現実提示機能を備えた遠隔操作システム（図４）による接触動作で提案手法の評価をおこなった。

な状態における操作であり、(2)式と(4)式の制御目標を達成することで実行可能である。接触動作では接触した環境の剛性が伝達されるが、従来のバイラテラル制御は仮
想環境の剛性を表現できない。したがって、差のモード(1) 実験方法
マスタ・スレーブシステムを用いて仮想環境を介した実環境に対する押し込み動作をおこない、視覚および力を位置制御からコンプライアンス制御に切り替えること
で仮想環境の剛性を提示する。コンプライアンス制御器

触覚の拡張現実を提示した。スレーブロボットおよび仮想スレーブロボットのエンドエフェクタには赤色の樹脂において次式の加速度𝒔𝒔𝟐𝟐 𝑿𝑿𝐤𝐤 を計算し、差のモードの加速度参照値に加える。

製ロッドを使用した。実環境には緑色のスポンジを用いた。仮想環境は青色のバネとして提示し、画像上で 120

123

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

ピクセルとなる値に長さ L を設定した。提案手法では、御が切り替わったことでマスタロボットと仮想スレーブ

仮想環境の剛性を 500.0 N/m に設定した。提案手法と比較する従来手法では、(1)式、(2)式を制御目標とするバイロボットの位置に差が生じており、コンプライアンス制
御の効果が確認できる。

ラテラル制御を実装し、スレーブロボットの先端に仮想環境を表示した AR 画像を提示した。

(a) 位置応答

図 4：実験機器(2) 実験結果(b) 力応答

視覚拡張の結果を図５に示す。従来手法では(a)のリア

図 6：実験結果（従来手法、力触覚情報）

ルタイム画像を用いて(b)の AR 画像を生成した。仮想環
境は変形せず、実環境に重なって表示された。提案手法
では(c)のリアルタイム画像を用いて(d)の AR 画像を生成した。エンドエフェクタ先端の仮想環境が接触により変形し、同時に実環境も力を加えられたことで変形した。

(a) 位置応答(a) 従来手法加工前画像(b) 従来手法 AR 画像(b) 力応答(c) 提案手法加工前画像

図 7：実験結果（提案手法、力触覚情報）(d) 提案手法 AR 画像

図 5：実験結果（視覚情報）

3.

考察及び今後の展望

提案手法において操作者に提示される剛性 kE は実環境の剛性 kR と仮想環境の剛性 kV の合成により次式で表さ

力触覚拡張の結果を図６、図７に示す。従来手法の結果では仮想環境のみが実環境に接触しているため実環境には力が加わっておらず、自由動作と同じ結果となった

れる。
𝟏𝟏
𝟏𝟏
𝟏𝟏
=
+
𝒌𝒌𝑬𝑬 𝒌𝒌𝑹𝑹 𝒌𝒌𝑽𝑽

ことが確認できる。一方、提案手法の結果では仮想環境
が実環境に接触した際に、実際にはエンドエフェクタが接触しているため力が発生した。また、差のモードの制(7)

kE はマスタロボットにおける位置、力応答、kR はスレー

124

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

ブロボットにおける位置、力応答から推定可能である。
実験結果においてマスタ側の推定剛性は 0.3777 kN/m、ス
レーブ側の推定剛性は 1.420 kN/m であり、(7)式から求められる仮想環境の剛性は 0.5146 kN/m となる。したがって、コンプライアンス制御で設定した仮想環境の剛性が操作者に提示されたことが確認できる。
本研究ではシステムの単純化のために遠隔操作ロボッ
トの動作を 1 自由度に限定し、視覚情報は 2 次元画像としたが、実際には 6 自由度、視覚は 3 次元画像への拡張が必要である。また、エンドエフェクタ、仮想環境、実環境の形状がより複雑となる場合等についても今後の課題として検討が必要である。

【参考文献】
1. W. Iida and K. Ohnishi, Proceedings of the 8th IEEE
International Workshop on Advanced Motion Control, Mar.
2004, pp. 217–222.
2. M. H. Jamaluddin, T. Shimono, and N. Motoi, IEEJ Journalof Industry Applications, vol. 3, no. 3, pp. 227–235, 2014.
3. Y. Nakajima, T. Nozaki, and K. Ohnishi, IEEE Transactions
on Industrial Electronics, vol. 61, no. 7, pp. 3753–3764, Jul.
2014.
4. 松永卓也，下野誠通，大西公平，精密工学会誌，vol.
87, no. 4, pp. 380-387, Apr. 2021.
5. T. Matsunaga, T. Shimono and K. Ohnishi, Proceedings of2021 IEEE 30th International Symposium on Industrial
Electronics, June 2021, pp. 1-6.
6. K. Ohnishi, M. Shibata, and T. Murakami, IEEE/ASME
Transactions on Mechatronics, vol. 1, no. 1, pp. 56–67, Mar.
1996.
7. T. Murakami, F. Yu, and K. Ohnishi, IEEE Transactions on
Industrial Electronics, vol. 40, no. 2, pp. 259–265, Apr.
1993.

125

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

Dynamic programming マッチングを用いた吸入動作正誤判別「次世代医療福祉ロボット」グループ
高野 俊也

1. はじめに気管支喘息及び慢性閉塞性肺疾患の治療には、主に吸入器を用いた吸入薬治療が行われている。効果的な治療には吸入器を正しく、継続的に使用することが重要であるが、約 70%の患者が正しく使用できていないことが知られている[1,2]。その理由として、使用方法の理解不足
や時間経過により正しい使用方法を忘れてしまうこと等が挙げられる。そのため、治療効果が低減し治療の長期化を招いている。
現状、有効的な対策は医師や薬剤師による綿密な対面指導のみである。そのため、指導を行う医師や薬剤師の負担増大が問題となっている。その解決手法として、先行研究では吸入器に各種センサを搭載し、吸入手技をモ
ニタリングする手法が提案されている[3,4]。
本研究では、慣性計測装置(IMU: Inertial measurementunit)を搭載した吸入器により得られた患者の吸入手技の観測データに DP マッチング(DP: Dynamic programming)を

図 1：吸入動作モニタリングデバイス及びセンサ角速度用いることで吸入手技の自動判別を行う手法を提案する。

軸方向
表 1：エリプタの使用手順(1) 慣性計測装置を搭載した吸入動作モニタリングデバ
イス
本研究ではエリプタを用いて検証を行う。エリプタは一般的に使用されているドライパウダー吸入器(DPI: dry
powder inhaler)である。図 1 にエリプタに IMU を搭載した吸入動作モニタリングデバイスを示す。IMU は 3D プ
リンタにより作成したアタッチメント内に搭載し、エリプタの蓋に固定している。IMU は 3 軸の地磁気、加速度、角速度の測定が可能であり、図中の ωx、ωy、ωz は
IMU の角速度の軸方向を示す。吸入動作の観測には角速度を積分して得られた角度情報を用いる。

(2) DP マッチングアルゴリズム
吸入動作の自動正誤判別には予め用意した正常に吸引を行った際の波形(標準波形)に、測定により得られた波表 1 にエリプタの使用手順を示す。手順 1 の蓋を開ける動作及び、手順 3 の薬剤を吸入する動作については

形(入力波形)を重ね合わせることで評価を行う。しかし、吸入動作の速度やタイミングは毎回異なってしまう

IMU の Y、Z 軸の回転角度により観測が可能である。また、息吐き、息止めについては各動作のインターバルかため、そのまま重ね合わせてしまうと、時間軸方向にずれが生じてしまう。そのため、この時間のずれの影響をら観測可能である。図 2 に正常に吸入を行った際の Y、Z
軸角度の波形を示す。このデバイスにより得られた波形取り除く必要がある。その手法として DP マッチングを用いる。DP マッチングは主に筆跡鑑定や音声認識に用いを観測することにより、各手順が適切に行われていたかが判別可能となる。よって、吸入動作の正誤判別が可能

られるアルゴリズムであり、非線形データの伸縮を行う
ことで時間軸のずれを除外し、2 つの波形を重ね合わせ

となる。

126

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

ることが可能となる。

形のサンプル数で割ることで求める。時間正規化距離が小さいほど 2 つの波形が類似していることを表す。DP マ
ッチングではこの時間正規化距離が最小となるように 2つの波形を重ね合わせる。

図 2：正常吸引時波形(標準波形)(a) 患者 A: 正常吸引(b)患者 B: エラー吸引(c)患者 C: 正常吸引(d)患者 D: エラー吸引

図 4 ：臨床試験データ

𝒈𝒈(𝒊𝒊 − 𝟏𝟏, 𝒋𝒋)
𝒈𝒈(𝒊𝒊, 𝒋𝒋) = 𝒅𝒅(𝒊𝒊, 𝒋𝒋) + 𝐦𝐦𝐦𝐦𝐦𝐦 �𝒈𝒈(𝒊𝒊 − 𝟏𝟏, 𝒋𝒋 − 𝟏𝟏)
𝒈𝒈(𝒊𝒊 − 𝟏𝟏, 𝒋𝒋 − 𝟐𝟐)
𝒈𝒈(𝟏𝟏, 𝟏𝟏) = 𝒅𝒅(𝟏𝟏, 𝟏𝟏)

図 3：DP マッチングイメージ

𝑳𝑳(𝒓𝒓, 𝒐𝒐) =式(1)、(2)に標準波形、入力波形の各サンプリングデー
タを表す。
𝒓𝒓(𝒊𝒊) = (𝜽𝜽𝒓𝒓𝒀𝒀 (𝒊𝒊), 𝜽𝜽𝒓𝒓𝒁𝒁 (𝒊𝒊)) (𝟏𝟏 ≤ 𝒊𝒊 ≤ 𝑰𝑰)𝒐𝒐(𝒋𝒋) = (𝜽𝜽𝒐𝒐𝒀𝒀 (𝒋𝒋), 𝜽𝜽𝒐𝒐𝒁𝒁 (𝒋𝒋)) (𝟏𝟏 ≤ 𝒋𝒋 ≤ 𝑱𝑱)
𝒅𝒅(𝒊𝒊, 𝒋𝒋) = �𝒓𝒓𝒊𝒊 − 𝒐𝒐𝒋𝒋 �

2.

(1)
(2)

𝒈𝒈(𝑰𝑰, 𝑱𝑱)
𝑰𝑰

(4)
(5)
(6)

実験と結果
DP マッチングにより測定データから吸入動作の正誤判定が可能か、臨床試験による検証を行った。

(3)(1) 実験方法

I、J は各データのサンプル数を表し、r(i)、o(j)は標準
波形及び入力波形の測定値を表す。θY、θZ は IMU より得

実験にはエリプタを使用している 4 名の入院患者の吸入動作を測定し、薬剤師による目視判定と DP マッチン
グにより得られた時間正規化距離との比較を行った。なられた Y 軸及び Z 軸回転角度を表す。よって式(1)の r(i)は、i 番目のサンプルにおける標準波形の Y、Z 角度を表

お、DP マッチングの標準波形には図 2 の波形を用いてマッチングを行った。また、この臨床試験は共同研究先のす。標準波形と入力波形間の距離は式(3)により表される。2 つの波形間の距離 d(i,j)の合計を小さくすることに慶應義塾大学医学部の倫理委員会の承認を得て実施した(承認番号 20190308)。

より、波形間の時間軸のずれを取り除くことが可能となる。
DP マッチングに用いられる漸化式を式(4)に表す。式(5)は DP マッチングの初期状態を表す。すなわち、2 つ(2) 実験結果
図 4 に 4 名の患者の測定結果を示す。薬剤師の判定では患者 A、C は正常に吸引を行ったが、患者 B、D は吸の波形の初期位置を一致させることを示す。図 3 に DP
マッチングのイメージ図を示す。横軸は標準波形の値を入前の息吐きが不十分であり、正常に吸引が行えていな
いエラー吸引となった。

示し、縦軸は入力波形の値を表している。3 本の線は式(4)の min を表している。もし 2 つの波形が完全に等しい

この各波形に DP マッチングを行った結果を図 5 に示す。また、表 1 に DP マッチングにより求めた時間正規場合、図 2 の線は直線を示す。
また、式(6)は時間正規化距離と呼ばれ、g(I,J)を標準波

化距離の結果を示す。結果から、正常に吸引を行った患

127

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

者 A、C においては時間正規化距離がそれぞれ 5.377、【参考文献】

10.345 と小さい値となったが、エラー吸引を行った患者

1. V. G. Press, V. M. Arora, L. M. Shah, S. L. Lewis, K. Ivy, J.
Charbeneau, S. Badlani, E. Naurekas, A. Mazurek, J. A.
Krishnan, “Misuse of respiratory inhalers in hospitalized
patients with asthma or COPD,” Journal of General Internal
Medicine, Vol. 26, pp. 635–642, 2011.
2. S. Schantz, N. Katajavuori, O. Antikainen, A. Juppo,“Evaluation of dry powder inhalers with a focus on ease ofuse and user preference in inhaler-na¨ıve individuals,”(a) 患者 A: 正常吸引International Journal of Pharmaceutics, Vol. 509, Issues 1–2,
pp. 50–58, Jul. 2016.

(b)患者 B: エラー吸引

3. T.Ezaki, K.Masaki, M.Nishie, H.Nakada, J.Hakamata,
S.Takano, K.Sunata, Y.Akiyama, M.Irie, S.Okuzumi,
T.Tanosaki, H.Kabata, T.Shimono, S.Tsuda, T.Aomori, andK.Fukunaga, “Accelerometer-equipped external attachments
to detect critical errors while using inhalation devices”,
American Thoracic Society 2021 International Conference,(c)患者 C: 正常吸引

ATS2021, May. 2021.
4. D. Baba, S. Uchida, H. Sakoe, “Predictive DP Matching for(d)患者 D: エラー吸引

On-Line Character Recognition,” Ninth International
Conference on Document Analysis and Recognition

図 5：DP マッチング結果(ICDAR 2007), pp. 674–678, 2007.

表 2：時間正規化距離算出結果

B、D においては時間正規化距離が 16.650、27.905 と比較的大きい結果となった。すなわち、時間正規化距離の大小と薬剤師の目視判定結果に相関があることを示している。よって、DP マッチングにより求めた時間正規化距離から正常吸引とエラーを含む吸引動作を識別可能である
ことを示すことができた。

3.

考察及び今後の展望
本研究では DP マッチングアルゴリズムを用いた、吸入動作の自動正誤判別について提案した。臨床試験による実験では、DP マッチングにより求めた時間正規化距離
が薬剤師の目視判定結果と一致した。これにより DP マ
ッチングアルゴリズムは吸入動作の正誤判別に有効であることが実証された。
現状では吸入動作にエラーがあったかどうかのみの判定しか示せていないため、今後はどのようなエラーが発生していたかについて詳細に判別可能なアルゴリズムを構築する。また、pMDI やタービュヘイラーといった他の各種吸入器においても同様に判別可能であることを検
証する。

128

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

業 績【原著論文】

隔操作システム1. 松永卓也，下野誠通，大西公平
画像情報に基づく情報拡張機能を有するバイラテラル

画像ラボ, 32 (10), 11-15 (2021).
4. 下野誠通
力触覚を有する安全安心な整形外科ドリルの開発

遠隔制御システム
精密工学会誌, 87(4) , 380-387 (2021).

国立研究開発法人日本医療研究開発機構 2020 年度研究事業成果集, 16 (2022).

2. 西江美幸，正木克宜，中田英夫，袴田潤，江崎大航，
冨保紗希，笹原広太郎，浅岡雅人，砂田啓英也，秋山勇人，入江美聡，奥隅真一，田野崎貴絵，加畑宏樹，【口頭発表】

富樫信之，高野俊也，下野誠通，津田壮一郎，青森達，福永興壱1. 西江美幸，正木克宜，中田英夫，袴田潤，江崎大航，
冨保紗希，笹原広太郎，浅岡雅人，砂田啓英也，秋山

吸入手技エラー判別用慣性計測装置搭載アタッチメン
トの開発

勇人，入江美聡，奥隅真一，田野崎貴絵，加畑宏樹，富樫信之，高野俊也，下野誠通，津田壮一郎，青森

日本呼吸器学会誌, 10(増刊), 195 (2021).

達，福永興壱
吸入手技エラー判別用慣性計測装置搭載アタッチメン

3. Y. Moritoki, T. Furukawa, J. Sun, M. Yokoyama,T.Shimono,
T. Yamada, S. Nishiwaki, T. Kageyama, J. Fukuda, M.Mukai

トの開発
第 61 回日本呼吸器学会学術講演会, 2021 年 4 月, 東京

and S. Maruo
3D-Printed Micro-Tweezers with a Compliant Mechanism

2. T. Ezaki, K. Masaki, M. Nishie, H. Nakada, J. Hakamata,Designed Using Topology Optimization
Micromachines, 12( 5:579), 10 (2021).

S. Takano, K.Sunata, Y.Akiyama, M.Irie, S.Okuzumi, T.
Tanosaki, H. Kabata, T. Shimono, S. Tsuda, T. Aomori, and4. 三好優輝，下野誠通，大西公平，松永卓也，溝口貴弘，

K. Fukunaga
Accelerometer-equipped external attachments to detect

國分元樹，行形毅，宇井恵美
ハプティック超音波プローブを 用いた力触覚・画像のcritical errors while using inhalation devices
American Thoracic Society 2021 International Conference,

統合利用による二値分類精度の向上
日本ロボット学会誌, 39(8), 83-86 (2021).

2021 年 5 月, オンライン
3. T. Matsunaga, T. Shimono, and K. Ohnishi
A Method to Contact with Real Environment through Virtual

5. S. Takano, T. Shimono, K. Masaki, K. Fukunaga, H. Kabata,
M. Nishie, T. Ezaki, H. Nakada, J. Hakamata, and A.
Hasegawa

Object by Hidden End Effector in Teleoperation with
Augmented Reality

An Inhalation Device with Inertial Measurement Unit for
Monitoring Inhaler TechniqueInternational Symposium on Industrial Electronics, 2021 年
6 月, オンライン

IEEE/ASME Transactions on Mechatronics, 採録決定
4. 下野誠通【総説】

リニアドライブ技術のヘルスケア機器応用
2021 年電気学会産業応用部門大会

1. 下野誠通，溝口貴弘，大西公平

2021 年 8 月, オンライン

遠隔医療に向けたリアルハプティクス
映像メディア学会誌, 75 (3), 330-333 (2021).

5. 土屋萌南，下野誠通
3D 映像の知覚奥行に合わせた遠隔操作のスケーリン

2. 桑原央明，國分元樹，溝口貴弘，下野誠通，大西公平
構造物の内部欠陥を検出する力センサレス打振検査デバイスの開発グ設計法
2021 年電気学会産業応用部門大会

検査技術, 26(6), 13-16 (2021).

2021 年 8 月, オンライン
6. 田村剛，松永卓也，下野誠通，大西公平，臼田慎，河奈裕正

3. 松永卓也，下野誠通，大西公平
映像機器と力触覚装置の連携により情報を拡張する遠129

KISTEC研究報告2022

【研究開発部】次世代医療福祉ロボット

口腔外科手術ロボットの操作支援に向けた 3DCG イン
ターフェースの開発
2021 年電気学会産業応用部門大会
2021 年 8 月, オンライン
7. 下野誠通，松永卓也，高野俊也，大西公平，八木満，
中村雅也
リアルハプティクス技術の整形外科支援応用
第 29 回日本腰痛学会, 2021 年 10 月, 東京
8. 下野誠通
再生細胞医療支援に向けたリアルハプティクス
モノづくり企業のための細胞培養研修, 2021 年 12 月,
オンライン
9. 下野誠通
リアルハプティクスを援用した貫通検知・自動停止機
能を有する骨ドリルの開発
第 16 回 CAOS 研究会，2022 年 3 月，東京
10. A. Hasegawa, T. Shimono, S. Takano, K. Masaki,
H. Nakada, and M. Nishie
Inhaler Motion Evaluation by Weighted DP Matching
The 8th IEEJ International Workshop on Sensing
Actuation, Motion Control, and Optimization,2022 年 3 月,オンライン
11. G. Tamura, T. Matsunaga, T. Shimono, K. Ohnishi, S.
Usuda, and H. Kawana
Development of Operation Support System for Dental
Surgery Robot
The 8th IEEJ International Workshop on Sensing
Actuation, Motion Control, and Optimization
2022 年 3 月, オンライン
12. M. Tsuchiya, and T. Shimono
Scaling Method of Operation Distance Affected by
Perceived Depth During Image Zooming in Bilateral
Teleoperation
The 8th IEEJ International Workshop on Sensing
Actuation, Motion Control, and Optimization,
2022 年 3 月, オンライン

130

KISTEC研究報告2022