立石科学技術振興財団

助成研究成果集(第32号) 2023

研究助成成果報告 研究助成 (S)ジェスチャインタフェースの基盤技術の高度化と臨床評価に関する研究開発
Enhancement of Fundamental Technologies for Gesture Interface and Clinical Evaluation
2208002

研究代表者

産業技術総合研究所
人間情報インタラクション研究部門

共同研究者

東海大学 医学部専門診療学系
リハビリテーション科学
産業技術総合研究所
人工知能研究センター
国立精神・神経医療研究センター
病院 身体リハビリテーション部

主任研究員

依田育士

教 授

水野勝

広

研究チーム長

大西正輝

医 長

西田

大輔

[研究の内容，成果］[研 究 の 目 的]
各種情報機器 (PC や家電等) を使用する際

3 年後の具現化レベルにキーやスイッチ等の利用が困難な重度運動機研究採択のための面接時には，3 年後の具現能障害者をファーストターゲットとし，市販の化レベルを明確に提示する旨を要請され，以下

3D カメラを一般の PC に接続し，開発したソの 3 つを基本として示した。

フトウェアをインストールすることで，残存し・2 基幹病院で 30 名の実用化ている随意性のある身体部位の動きをスイッチ

・個人利用のモデルケース確立

として，情報機器と障害者の融和を促進する・地域病院のモデルケース確立

ジェスチャインタフェースの研究開発を行った。

研究タイトルに，「基盤技術の高度化と臨床

この人間機能拡張，情報機能拡張の研究により，評価」と明記したように，本ファウンドによる障害者の社会参加の増進を図ることが目的であ研究開始時には，基盤となる 9 種のジェスチャる。また，研究は，障害者自身や家族らと協調認識モジュール (頭部，大きなウィンク，舌のしながら社会実装を進め，ジェスチャインタ出し入れ，肩の上下，指折り，膝の開閉，足踏フェースを本当に必要とするユーザを対象に研み，微細な動き，手前のもの) は臨床評価が実究開発を行うことで，健常者にまで利用可能な施可能なレベルには到達していたが，常用利用次世代技術の足がかりとなることを目指して研者が数名の段階からの開始であった (図 1) [1]。

究を実施した。

そして，実際に地域の核となる 3 拠点病院を中心に展開し，多くのユーザに適応することで，そこからフィードバックを得て，認識モジュー
ルの高精度化，高機能化に繋げた。同時に，個人利用のモデルケースと，核となる地域病院の― 19 ―

立石科学技術振興財団

さらに，医王病院においても，同様にワンクモデルケースの両方を確立することを目的に研リックマウスを使えるユーザが，スイッチを複究を進めた。

数 追 加 す る こ と で，PC 上 の ゲ ー ム で あ る
FIFA22 (オンライン対戦型サッカーゲーム)の利用をオンラインで開始し，院内にその輪が拡がるという個人利用モデルが生まれた。これ
は，院内に対象者が 5 名程度はいる拠点病院において複数の患者が適用を並行して始めたことによって，そこにコミュニティが発生し，病院
図1と個人の両方のモデルケースとなった。

9 種の認識モジュール

地域展開と実利用者の獲得
地域の拠点病院として，新潟病院 (新潟県柏崎市)，医王病院 (石川県金沢市)，箱根病院(神奈川県小田原市) の 3 病院で本格的な使用を開始した。この 3 病院は，神経筋疾患患者の地 域 の 拠 点 病 院 と な っ て お り，筋 ジ ス ト ロ
フィーの患者が多く，どの病院も少なくとも 5
図2名以上の患者適応が可能と想定されたからであ

ゲーム操作を説明する本人作成の動画る。
地域病院のモデルケースの確立
個人利用のモデルケースの確立

地域病院の中でも最も先行した新潟病院におこれらの地域病院の展開を通して新潟病院でいては，常用利用者が早い段階から 3 名を超え，は，個人利用のモデルケースと言える典型的な上述のように院内でのジェスチャインタフェーユーザが現れた。そのユーザは，片手と片足をスが拡がりを見せた。この内容を柏崎市の展示使って，ワンクリックマウスを利用している会 [7]で発表した結果，行政の目に留まった。柏

ユーザであった。微細な動きを認識する Slight

崎市と協議を行い，全国初の日常生活用具の指モジュールを適用し，口と頬の僅かな動きを定を受け，令和 5 年度からは，柏崎市では補助使って，2 つのスイッチを利用した。そして，金での無償利用 (カメラ購入) が可能となった。

ワンクリックマウスとの組合せで，多彩なアプまさに，これが目指していた地域病院モデルでリの利用方法を障害者本人が開発していった。

ある。この流れが，今後全国に拡がることを目

具体的には，複数のゲームでの利用 (マリオ指し，多地域での展開を継続している。

カート，あつまれ！どうぶつの森，Minecraftなど) が上げられる。そして，そのゲームへの臨床評価

利用方法の動画を自ら作成し (図 2)，障害者

また，これらの活動を通して，実際の長期利仲間に公開し，病院内で他の人に使い方を指導用患者を対象に，柏崎市，金沢市，熊本市におするに至った。さらに，研究者らに対しても，いて臨床評価を実施した [3-6]。これは，利用開後述のインジケータやプロファイル機能に関し始後 1ヶ月，3ヶ月といった単位で，長期利用て具体的な提案をし，まさに，個人としての利者にインタビューを繰り返し，その利用者の満用方法を確立した [10]。

足度などを調査した。ここでは，単純に機器の― 20 ―

Tateisi Science and Technology Foundation

操作が容易になった，使える機器が増えたといて，実際に利用する過程で発生する問題に対応

う使用感だけでなく，心理面，QOL など，生し続けることで，技術を向上させ続けた。最も活の変化までを含めた聞き取りも行った。最大改良を要したのは，頭部周りを認識する (頭部，の変化は他者との関わり方で，今までにないコウィンク，舌) モジュールであった。これらは，ミュニティが出来る，人に教えることが出来る

そもそも障害者の周囲に，ヘッドレスト，タッという点が本当の効果であったと考えている。

チセンサ，鼻マスクなど頭部内外に認識を妨げ

コロナ禍における社会実装るものが多数存在し，それらの影響を削減するプロジェクト開始である 2020 年 4 月は，本ための工夫が必須であった。また，随意運動の格的にコロナ禍が始まるタイミングと重なり，小さい障害者が多く，動きが小さい故に，より全ての障害者，ならびに病院等への訪問が不可高い精度を求められた。そのために，距離画像能な状況に陥ったが，結果としてこれが幸いすからの頭部の大きさと形状を正確に推定するなることとなった。訪問不可への対応として，全ど，距離画像情報から外乱要因を除去する手法ての必要なソフトウェアをノート PC にインスの工夫を重ねた。また，頭部の向き等の推定にトールし，距離カメラと一緒に利用希望者の元関し，そもそもの基準位置が常に動き続けるとへと送付した。第一段階として，対応する作業いう問題が発生した。これは，既に指の折曲げ療法士等にオンラインでレクチャを行い，第二などでも対応していた問題であったが，ユーザ段階として，そのノート PC をそのまま使っての動きの流れの中で，基準位置を更新し続ける初回の試用を行った。送付したノート PC を利手法を採用した。

用することで，オンラインでの指示であってもスムーズな患者適用が実現出来た。そして，第基盤技術の高度化は以下の 4 点に集約できる。
・3 次元身体形状に基づく外乱要因の除去

三段階として，貸与したカメラをユーザ自身の(ヘッドレスト，各種センサ，鼻マスク，机，PC に付け，ソフトウェアをインストールして，椅子，介助者身体等)試用を 1ヶ月程度行ってもらった。これで，利・特徴量抽出の細部の工夫による精度向上

用可能になったユーザは自分でカメラを購入し・基準位置の動的な連続再更新て利用する最終段階へと進んだ。この方式を日・学習 (キャリブレーション) の簡易化

本中の施設に対して行い，地域 3 病院以外にはこれらを各モジュール単位で，また共通可能

一切訪問することなく，多地域の多数施設へ展な内容は，全モジュールが共通するような形式開を順調に進めることができた。

での改良を継続した。

結果，全国 21 の施設 (病院 11，障害者支援

また，各モジュールを改良するごとに，蓄積施設 5，訪問看護 4，大学 1) での試用を実現したデータを利用して，その認識精度の再評価し，利用者は 30 名を超えた。それら施設の立を行った。その中で，トレードオフの関係にあ地する都道府県数は 13 となった。具現化の目る抽出過剰と抽出不足の 2 種のエラーを常に評標とした利用者人数をこの手法で実現した。さ価した。問題のあった一人のユーザだけに適応

らに海外においては英国の 2 施設で利用がするだけではなく，多くの同様のユーザに適応

2023 年初頭から開始された 。

可能な手法であるかを検証しながら，改良を進[9]めることで，安定した認識精度の実現を目指した。

基盤技術の高度化／認識モジュール
上述の多くの障害者に適応を続けていく過程

各モジュールの基本的な枠組みの変更は無で，9 種の認識モジュールに関しては，幾度とかったが，舌認識モジュールだけは，大幅な改なく改良を行った。ユーザが病院や家庭におい良を実施した。これは，研究当初は，認識を安― 21 ―

立石科学技術振興財団定させるために，舌の出し入れを基本としていが本研究の最大の特徴である。

たが，ユーザが増えるに従い，舌の出し入れの難易度が高いので，口の開閉や，口の周辺の動基盤技術の高度化／周辺インタフェースきで認識させたいという要望が寄せられた。そジェスチャの認識性能が向上，安定化しても，こで，舌の認識に関しては，(口の開閉／舌のユーザの PC 操作等がすぐに容易になるわけで出し入れ／口周辺の動き) の 3 種類に分けて，はない。ユーザが本当に求めているものは，認識を行うこととした。機能的には，口の開閉

PC の中にあるアプリケーション操作，環境制と舌の出し入れは，長押しが可能である。また

御 (家電や電話等の操作)，ゲーム操作を容易健常者であれば，この 2 種は共存することも可に行えることである。そこで，必要となる PC能である 。

内部のインタフェースの開発も行った。

[8]

まず，個々のモジュールに関しては，スイッチとして，単押し，長押しが簡易に使えること

ジェスチャインタフェース研究の本質
本研究の目的は，人の動作の画像認識を行い，が求められている。これはジェスチャに依存し，それを PC 操作等のインタフェースに応用する

9 個の認識モジュール中，基本的に 7 個は長押ことにある。同様な画像認識の研究に関して言し機能が既に実現されていた。一方，2 個 (微えば，2010 年以降の研究トレンドは，共通の細な動き，大きなウィンク) は，瞬間の動きし画像データベースを利用して，その認識精度をか認識できないので，長押しがそもそもできな高めるための認識手法を競う方向に明確に転じい。そこで，この 2 つの動きに関してはトグルた。Deep Learning の大流行以降，さらにその機能を追加し，一度スイッチが入ると，オンの傾向は顕著に強まった。しかし，ここでの課題

まま，もう一度動かすとスイッチオンが解除さは，RGB-D カメラを利用してのジェスチャのれるという実装を行った。

認識精度を高めることと，インタフェースの利また，どのジェスチャを，マウスの左右ク用方法を定式化することが渾然一体化した問題

リックを含むどのキーに割り当てるかという問である。

題に関しては，最初は 10 個のプロファイルをつまり，利用するジェスチャとカメラ位置に用意して，プロファイル毎に設定を行い，自分よって認識精度は全く異なる問題になっている。

で選択する方法を実装した。しかし，最終的にそのために，現実的に利用できるジェスチャをは，アプリ単位で登録し，各アプリの利用時に探しながら，なおかつ，実利用環境を想定して，自動で切り替える方式を実装した。これにより，どのような位置にカメラを配置して利用するのユーザはアプリに応じたキー入力を自動で利用かを決めなければならない。これは，利用可能することできる。

なジェスチャ，その認識方向，その解像度の全さらに，ユーザに対するインタフェースとしてを定義するという問題である。ジェスチャ認て，インジケータの追加を行った。スイッチオ

識の問題設定の自由度を，他に手段のない運動

ン・オフの表示は，今までは表示画像の内部に機能障害者を対象とすることで，初めて問題を色の変化でしか見られなかった。そこで，ス明確化できると考えた。そこで，収集データをイッチの数だけ丸形で単純に表示されたインジ使った実環境で使えるカメラ位置探しと解像度ケータを追加して，スイッチのオンとオフを視探しから始まり，それらを踏まえた上で，適用覚化した。同時に，個々のスイッチ単位で，ス実験を繰り返しながら，認識可能な解像度とそイッチオン時の音の有無を選べるようにした。のカメラ位置，そして利用可能な様々なジェス次に，PC 操作のために，障害者向けの既存チャといったものを定式化していった。この点のアプリへのインタフェースを用意した。具体― 22 ―

Tateisi Science and Technology Foundation

的には，“オペレートナビ”，“Hearty Ladder”， みの) ユーザも対象者として拡がった。このよWindows のオンスクリーンキーボード (OSK)， うなユーザは，既存デバイスによるマウスポイ
ワンキーマウスのための“パット de マウス”

ンタ操作とワンクリック機能に，ジェスチャにに，すぐに接続できるような DLL，あるいはよるスイッチ機能を複数追加することで劇的に既存ツールを利用した接続インタフェースを用操作効率を上げることが分かった。その典型例

意した。

がゲームであった。多くのゲームは，マウス

さ ら に，環 境 制 御 に 関 し て は，“Gesture(ジョイステック) 機能と複数の押しボタンにLink”という環境制御ソフトを独自に開発しよって構成される。この押しボタンの数はゲーた。これは，1〜4 つのスイッチ (ジェスチャ)ムによって異なるが，多くは 3〜4 個程度のボで操作可能なソフトで，市販の赤外線学習リモタンを頻繁に押すことが求められ，1〜2 ボタ

コン“Nature Remo”と組み合わせることで，ンしか押せないユーザは，8〜9 割のゲームを赤外線リモコンを持つ家電操作を実現した。他操作することができない。複数の押しボタンをにも主な機能として，radiko を利用したラジジェスチャで追加すると，5 割程度のゲームがオ聴取，Skype 課金を利用した一般電話番号へ操作可能になった。
また，事務作業例として，録音された議事録の架電等が可能になっている。
最後にゲーム操作に関しては，Windows PCから文字起こしをする障害者の事例があった。

で動作するゲームであれば，そのまま利用可

このユーザは，従来は小型のトラックボールの能である。さらに，市販のゲームインタフェーみ利用可能なところに，頭部と指のジェスチャスである“Titan One”を利用すれば，任天堂で 2 つのスイッチを追加している。トラックの Switch，Sony の PlayStaion，Microsoft のボールを使って走査型オンスクリーンキーボー

Xbox の専用機もそのまま利用可能となっていドによって文字入力を行い，録音再生ソフトを，る。

頭部と指の 2 つのジェスチャで操作した。2 つ

これらの多くは，研究というより開発そのものアプリの操作系統を完全に分離することで，のであったが，もれなく用意することで，ユー文字起こしの作業時間を半減することができた。

ザは自身の PC でのアプリ操作，家電等の環境

つまり，ジェスチャインタフェースの活用方法制御，ゲーム操作がすぐに利用できる。これらとして，既存デバイスの代替だけでなく，既存周辺インタフェースの開発によって，社会実装デバイスと共存，追加によって，操作を拡張すを確実に実現した。

ることが本格的な利用普及の鍵となることが示唆された。

ジェスチャインタフェースの適用方法 (代替と健常者への利用に向けて拡張)
研究当初は，マウスを全く使えない最も重度

このアプリ単位で操作系統を分離してジェスな運動機能障害者を対象者として開始された。

チャインタフェースを利用する方式を，文字起随意で動かせるのは，足のみ，指 1 本のみ，膝こし作業をする健常者に適用する基礎実験を最の開閉のみで，そのジェスチャをスイッチとし終年度後半に開始した。健常者に適したジェスて扱い，PC を操作するという，既存デバイスチャを検討した結果，足踏みモジュールを利用を代替するインタフェースの研究開発としてのすることとした。通常，PC 操作のために手は，スタートであった。しかし，データを収集して常にキーボード入力とマウス操作に使われるこ

対象者を拡張していく過程で，両手を使って，と。さらに，健常者は頭を掻いたり，飲み物を辛うじてマウスを操る (マウスは 1 クリックの飲んだりと，常に上半身のどこかを動かすので，― 23 ―

立石科学技術振興財団

それらの動きを除外し続けなければならない。
その点，下半身は，無意識の動きが少なく操作には好都合であった。そこで，足踏みモジュー
ルに，健常者向けにごく僅かな改良 (足をスイッチ物体に載せたままで動作させる) を施し，実験を開始した。障害者のように作業時間が半[成果の発表，論文など］(発表順)[1]

AAGI ホームページ，

http://gesture-interface.jp/[ 2 ] 依田育士，“ユーザが望むジェスチャをスイッチにするシステム開発，”神経難病リハビリテーショ
ン研究会 第 2 回 WEB セミナー，オンライン (国内)，2021-02-04．

減するかはともかく，2〜3 割程度の削減は，[ 3 ] 中山，伊藤，木下，依田，水野，小林，西田，中村，疲労することなく実現出来ると考え，適用実験

三橋，有明，佐々木，清水，“適応的ジェスチャイを進めている。

ン タ フ ェ ー ス に 関 す る 研 究 ―― 第 4 報 ――，”
LIFE 2020-2021 生活生命支援医療福祉工学系学会
連合大会講演論文集，2021-09．
[ 4 ] 佐々木，清水，有明，佐藤，中村，西田，水野，まとめと今後の展開
本研究は，3 年間を通して，地域病院での社会実装を核として，個人と病院での利用モデルケースを確立した。また，そこでの実際のユーザへの適用を通して，認識モジュールの高精度化と高機能化を繰り返し追求し，実利用に耐えうる認識モジュールを実現した。同時にその過程で，長期利用ユーザを対象に臨床評価を行い，使用感，心理面，QOL など，生活の変化まで“重度運動機能障害者の就労・教育・余暇活動を支援するジェスチャインタフェースの使用例と今後の展望，”第 75 回国立病院総合医学会，オンライン(国内)，2021-10-23．
[ 5 ] 伊藤，中山，木下，依田，水野，“重度運動機能障害者へのジェスチャインタフェースの導入効果に
つ い て，”信 学 技 報 vol. 121, no. 287, WIT2021-32,
pp. 1-6, 2021-12．
[ 6 ] 西田，木下，依田，中山，水野，“神経筋疾患患者における非接触型スイッチシステム ―― ジェス
チャインタフェース ―― の使用感調査：長期使用を含めた聞き取りを行った。特に，ユーザと周による変化，”第 59 回日本リハビリテーション医学

囲のコミュニティの関わり方にまで効果を与え会学術集会論文予稿集，日本リハビリテーション医たことが確認出来た。これらは，ユーザが求め学会，S501，2022-06．

る各種アプリやゲーム，環境制御への接続，さらにはアプリとマニュアルの英語版の用意も行[ 7 ] 国内展示会出展，“＃ 024U イノベーションデイ 2022 in 柏崎，”新潟県柏崎市，2022-06-15．
[ 8 ] I. Yoda, K. Itoh, and T. Nakayama, “Extended

い，どこでもすぐに使える環境を実現することMouth/Tongue Gesture Recognition Module forで，社会実装を大きく進展させることが出来た

People with Severe Motor Dysfunction,” Springer,と考えている。特に新潟病院において，複数ユーザが常用したことで，柏崎市から日常生活用具の指定を受けたことは，目指すべき地域病院の典型的なモデルケースとなった。今後は，Computer Helping People with Special Needs Part I(LNCS 13341), pp, 363-370, 2022-07.
[ 9 ] 国 際 展 示 会 出 展，“Communication Matters2022,” International Society for Augmentative andAlternative Communication (ISAAC), Leeds, UK,2022-09-11/13.

この技術が，さらに教育での利用や，就労支援[10] I. Yoda and M. Kawashima, “Promotion ofに繋がることを目標に，全国の多地域展開を継Gesture Interface for Employment and Education

続する。また，ソフトウェアも技術改良を行い

among People with Motor Dysfunction within real

ながらアップデートを継続するだけでなく，OS のマルチプラットホーム化とユーザビリティの大幅向上のために，WEB ベースの Ver.
2 への移行を予定している。

― 24 ―

users,” Communication Matters 2022, International
Society for Augmentative and Alternative Communication (ISAAC), 2022-09-12, Leeds, UK.
[11] 国内展示会出展，“第 49 回国際福祉機器展 H. C.
R. 2022，”東京ビッグサイト，2022-10-5/7．