一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
WIT2023-5(2023-06)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

画像認識とタッチパネル操作を統合した手指巧緻性計測システムの開発
柏原 優稀†

陳

思楠†

林

敦子†

中村 匡秀†,††† 神戸大学 〒657-8501 神戸市灘区六甲台町 1-1†† 理化学研究所・革新知能統合研究センター 〒103-0027 東京都中央区日本橋 1-4-1
E-mail: †1944377t@stu.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††hayashi@pearl.kobe-u.ac.jp,††††masa-n@cs.kobe-u.ac.jp
あらまし

認知症は現代の日本社会において大きな問題となっている．認知症の診断やリハビリにおいては，手指の運動機能を計測することが重要である．本研究では手指巧緻性を計測するための方法であるタッピング課題の測定を行うための Web アプリの開発を目的とする．我々のキーアイデアは，Web カメラによる手指認識とタッチパネル入
力を組み合わせて，手指運動を計測することである．提案手法では，Web カメラで撮影したライブ画像を，手指認識のライブラリー MediaPipe の hand.js に導入し，手指の 21 個の特徴点が自動的に出力される．それと同時に，我々はタッチパネル操作ボタンを Web 画面に設定する．操作画面のシナリオとして，2 秒間ずつに画面提示した数値や仮名に対応した手指を運動させて，ボタンを押す動作をタッチパネルによる入力で捉える．これにより，多角的な手指運動機能の計測を行うことができることが期待できる．
キーワード

画像認識，タッチパネル操作，手指巧緻性，Web サービス，スマートヘルス

Developing a Finger-Dexterity Measuring System Integrating
Image Recognition and Touch Panel Operation
Yuki KASHIHARA† , Sinan CHEN† , Atsuko HAYASHI† , and Masahide NAKAMURA†,††† Kobe University Rokkodai-cho 1-1，Nada-ku，Kobe，Hyogo 657-8501 Japan†† Riken AIP 1-4-1 Nihon-bashi, Chuo-ku, Tokyo 103-0027 Japan
E-mail: †1944377t@stu.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††hayashi@pearl.kobe-u.ac.jp,††††masa-n@cs.kobe-u.ac.jp
Abstract Dementia has become a signiﬁcant problem in modern Japanese society. In diagnosing and rehabilitating dementia, it is important to measure the motor function of the ﬁngers. This study aims to develop a web
application for measuring the tapping task, which assesses manual dexterity. Our key idea is to combine ﬁnger
recognition using a web camera with touch panel input to measure ﬁnger movements. In our proposed method,
we utilize a live image captured by the web camera and input it into the hand.js library of MediaPipe for ﬁnger
recognition. It automatically outputs 21 feature points of the ﬁngers. Simultaneously, we set up touch panel operation buttons on the web interface. In the scenario of the operation screen, participants must move their ﬁngers
corresponding to the displayed numbers or characters at intervals of 2 seconds and press the buttons using touch
panel input. It allows for comprehensive measurement of ﬁnger motor function. By combining ﬁnger recognition
using a web camera and touch panel input, we expect to measure multifaceted ﬁnger motor function accurately.
Key words Image recognition, Touch panel operation, Finger dexterity, Web service, Smart healthcareう．日本における認知症患者数は今後増加することが予測され1. は じ め にている．このような社会的背景のもとで，認知症に対する医療

近年，日本は高齢化が進んでおり，それにともなう認知症患への関心が高まっている．

者の増加が懸念されている． 認知症とは，記憶力や認知機能認知症によって，認知機能の低下だけでなく，運動機能の低が低下し，日常生活や社会生活に支障をきたしている状態をい下が起こる．特にアルツハイマー型認知症に対しては，運動機- 24 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2023 by IEICE




⛊

࠺






⛊





͐

⛊

ࡅ


⛊



⛊

࠶


⛊

͐
Q

Q

⛊

ࡁ

⛊

図 1 タッピング課題における数値と仮名の提示例

能の低下が顕著に起こることが知られている [1]．手指巧緻性や課題における手指運動を計測する方法が研究されている [5]．磁歩行能力などの運動機能の変化を測定することで，認知症患者

気センサには正確に手指の距離データを計測できる利点があるの早期診断を行うことが研究されている [2]．

が，専用の器具を必要とする点が課題である．タッチパネルを手指巧緻性の低下を発見するための方法として，タッピング利用した計測方法も研究されている [6]．タッチパネル端末を用課題が用いられる．タッピング課題は，実験者が数字などで指いる際の課題として，多くのタッチパネルでは入力をタッチさ示を与え，被験者が指示に応じて適切に指を動かせるかを判定れたかどうかの 2 値で判定し，入力の強さを連続的に判定するする方法である．従来の方法では，紙などで指示を出し，実験

ものは少ないこと，タッチが反応しなかった場合の動きが記録

者が結果を目視で判定する方式で行われていたが，実験者，被に残らないことなどの課題が存在する．また，これらの先行研験者ともに負担が大きいことが課題となっていた．

究は第 1 指と第 2 指のみを対象として評価を行うものであり，タッピング課題の評価を磁気センサやタッチパネルを用いて5 指すべてを対象として評価を行っているわけではない．

自動化する方法が研究されている [3]．しかし，これらの方法は

2. 3 技術的チャレンジ

第 1 指と第 2 指のみに焦点を当てたものであり，5 指全てに対

タッピング課題の定量的な評価を行うという目標に対する現する評価を行ったものは少ない．また，指示を与える部分と入状の課題を列挙する．

1 つ目は，計測した情報の適切な記録が難しいことである．

力部分が独立しているため，アプリケーション上で評価や分析

従来の方法では紙などに書いた数字を提示することで刺激とし，を行うことが難しいという課題点がある．
本研究では，これらの課題点を解決するため，タッピング課

どのように被験者の指が動いたかは目視によって確認するとい

題により手指巧緻性を測定する Web サービスを開発することう方法を用いている．この方法は道具を必要としないが，結果を目的とする．提案サービスは，タッピング課題の実行を簡単

を後から確認することができないこと，計測基準が実験者の主な操作で自動的に行い，結果の記録及び評価を行うものである．

観に依存することなどの問題点が存在する．また，カメラ等の2. 準

映像をそのまま利用することは，被験者のプライバシーの観点

備から望ましくない．タッチパネルを利用した方法は，結果とし

2. 1 タッピング課題てデジタルな情報を記録できるため便利であるが，被験者がう運動機能を定量的に計測するための方法のひとつとして，タッ

まくタッチ出来なかったり，タッチしたが反応しなかった場合

ピング課題がある．タッピング課題は，視覚等による周期的なの指の動きは一切記録できないという問題点がある．

刺激に対して指でパッド等を叩く課題である．提示された刺激

2 つ目は，特別な器具や操作が必要となることが挙げられる．

に対して高速に反応して正確に指を動かせたかを判断すること

前項で示した章 2. 2 の先行研究にて用いられる方法は，手指運で，認知機能及び運動機能を測ることができる [4]．そこで本動の精細なデータを記録することが可能であるが，専用のセン研究で提案する Web サービスで行われるタッピング課題の概サーが必要であることが課題であると考えられる．タッピング

要について述べる．タッピング課題における数値と仮名の提示

課題を実施するうえで，デジタル端末に対する知識を必要とし例は図 1 に示す．タッピング課題を行う前，左右の手指に番号なくても被験者や実験者が操作を行えることが望ましい．また，や文字をそれぞれ割り当てる．次に，Web サービス上で 2 秒装置の準備においても，ただ端末の電源を入れるだけで全てのごとにランダムな番号，文字を提示し，被験者はそれに応じて準備が完了するような単純なものであることが望ましい．

対応する番号の指を動かし，画面の特定の部分をタッチする．

3 つ目は，結果の閲覧および評価を容易に行えるようにする

タッピング課題は提示された番号や文字を即座にタッチする課ことである．タッピング課題の正答率や，指ごとの結果の分布

題 (i.e., normal 課題) と，提示された番号や文字の 1 つ前に提などをわかりやすく可視化することにより，実験者，被験者の示されたものに対応する課題 (i.e., nback 課題) が存在する．

両者が結果を確認し，今後に役立てられるようになることが望2. 2 先 行 研 究

ましい．このためには，データの記録と加工を適切に行う必要

タッピング課題の測定を行う機器についての先行研究がいくがある．

つか存在する．磁気センサを使用した装置を用いてタッピング- 25 -—2—

2. 4 IoT 機器と Web サーバの活用
本研究では，タッピング課題の実施及び評価を Web サービ
スとして行うことを考える．Web サービス認知機能の計測を

Web サービスを用いて行う利点は主に 3 つ挙げられる．
1 つ目の利点は，入力センサとして Internet of Things (IoT)
機器を活用できることである．本研究では手指の認識を行うためのデバイスとして Web カメラ及びタッチパネルを用いる．
ほかに特別な機器や設備を利用しなくて良いため，安価に実施することができる．2 つ目の利点は，Web ブラウザ上にて動作するため操作が簡便になることである．刺激の提示，および計図 2 提案手法の全体アーキテクチャ．

測を 1 つの Web アプリ上にて行うことによって，簡単な操作によって計測および記録を一挙に行うことができる．3 つ目の
利点は，Web サーバを用いて計測結果を管理できることである．Web サーバ上に計測結果を保存しておくことで，計測結果の比較を行うことや，計測結果をほかのサービスへ活用することが容易になると考えられる．

2. 5 タッチパネルによる認識
Web アプリ上でタッピング課題の評価を行うために，タッチ
パネルによる認識を行う．タッチパネルが搭載されたタブレッ
ト型モニタ端末を，ブラウザを動作させるノート PC と接続し，表示画面及び入力端末として利用する．タッチパネルの入力を認識する部分は，HTML 上で実装されるボタンの仕様を利用する．

2. 6 事前学習済みモデルを用いた画像認識技術
本研究で開発した Web アプリでは，Web カメラで撮影した手指の画像を利用する．画像情報から特徴点を抽出し座標データを取得するため，事前学習済みモデルを用いた画像認識技

図 3 実験を実施する際のフローチャート．

術を用いる．事前学習モデルは，公開されている MediaPipe

Hands [7] を活用し，リアルタイムに撮られたライブ画像からつの部分がある．実験実施時のみ被験者が操作し，それ以外の

手指先の 21 特徴点の 2 次元 XY 座標を自動的に出力される．

部分は実験者が操作を行うことを想定している．

3. 提 案 手 法

3. 3 Module 1: 初期画面及び実験実施画面

3. 1 目的とアプローチ

実験を実施する際のフローチャートを図 3 に示す．サービス

3. 3. 1 Module 1-1: ユーザ登録画面

本研究の目的は，タッピング課題の実施を簡便に行い，定量開始時の画面では，実験者は実験を実施するか結果を閲覧する的な計測を行えるようにすることである．この目的を達成するかを選択する．実験を実施する場合は，初めにユーザ名を入力ために必要な要件を以下に列挙する．

し，登録を行う．登録後，画面の遷移は自動的に行われる．結要件 1: 複雑な操作を必要としないこと

果の閲覧の際は，実験実施時に登録したユーザ名を選択し，日被験者側だけでなく，実験の実施者側にとっても，実施時に時を一覧表示する．

複雑な操作を必要とすることはストレスとなり，実験速度や計

3. 3. 2 Module 1-2: 実験実施画面

測精度の低下につながる．そのため，最低限必要なボタン，入ユーザ登録画面にてユーザ名の入力が終了すると，自動的に力欄のみを大きく表示し，操作方法ができるだけわかりやすい

画面が実験実施画面に遷移する．次に，実験者は番号や文字がようにしておく必要がある．

表示される回数や，normal 課題，nback 課題のうちどちらを行

要件 2: 結果をわかりやすく表示すること

うかの情報を設定する．その後，被験者の手がウェブカメラに得られた結果を分析し，見やすい形式で表示することが必要

記録されるように，位置の調整を行う．このとき，Web カメラ

である．表示すべき情報として，与えた刺激と被験者の動作がが手を正しく認識するまで，実験を開始できないようになって一致しているかどうかや，反応にかかった時間などが挙げらいる．これは，手を認識しないまま実験を開始して，結果が記れる．

録されなくなってしまうことを回避するために行った工夫であ3. 2 全体アーキテクチャ

る．手を正しく認識すると，開始ボタンを操作できるようにな提案するサービスの全体アーキテクチャを図 2 に示す．提案

る．開始ボタンを操作すると，タッピング課題が開始される．

サービスには，ユーザ名の登録，実験の実施，結果の閲覧の 3- 26 -—3—

図 5 サービス開始時の画面．

図6

ユーザ名入力部分の画面．

図 4 正誤判定のためのフローチャート．

指定された表示回数を終え，タッピング課題が終了すると，自動的に初期画面へと遷移する．

3. 4 Module 2: 画像認識とタッチパネルによる手指追跡
3. 4. 1 Module 2-1: 画像認識による特徴点のライブ再現
実験の実施中，手指の画像データを Web カメラによって撮
図 7 実験実施画面．

影している．撮影した画像データは，hands.js ライブラリを用いて特徴点だけを抜き出し，座標データとして記録する．座標
点のデータは，画像データと重ねて表示することができるが，タッチパネルの認識データに分けられ，それぞれが保存される

実験時はデフォルトでは非表示になるようにしている．

ようになっている．データベースからデータを取得するための3. 4. 2 Module 2-2: タッチパネル計測のアルゴリズム設計

フォーマットの例を表 1 に示す．

タッチパネル計測は，実験実施画面下部に表示された 10 個

4. 実のボタンを用いて行う．ボタンに手指を載せて，刺激に応じて装

4. 1 利用した技術対応するボタンを指でタッチすることで計測を行う．タッチされたボタンと刺激が正しく対応しているかを Web アプリ側で本研究で提案するサービスは node.js [9] を用いてブラウザ上判定し，結果を表示する際に用いている．与えられた刺激とボで実行するものである．手指の画像データを認識するために，タンが正しく対応しており，かつボタンが複数回置かれていなMediaPipe [10] というフレームワークに含まれる Hands といい場合に限り正しいと判定されるようにしている．正しいと判う機能を使用した．また，記録は MongoDB を用いてデータ定されたなら，ボタンが押されるまでの時間を判定時間としてベースに記録されるようにした．提案サービスにて使用した技記録する．タッチパネルによる入力の正誤判定のアルゴリズム

術やフレームワークの一覧を表 2 に示す．

4. 2 機能の説明と利用時の流れのフローチャートを図 4 に示す．

まず，初期画面において実験者は実験を実施するか，結果を

3. 5 Module 3: 実験結果の閲覧
初期画面から，実験結果の閲覧を行う画面へと移動すること閲覧するかをボタン入力によって選択する．これにより，シナができる．実験実施時に登録したユーザ名を選択することで，リオの分岐が発生する．

そのユーザの行った課題の結果を閲覧することができる．ユー

シナリオ 1: 実験の実施

ザを選択したのち，結果の JSON ファイルを表示することや，

サービス開始時の画面スクリーンショットを図 5 に示す．は正解率の棒グラフや各回の正解率の推移を折れ線グラフとしてじめに，実験者は被験者のユーザ名を入力し，登録を行う．登表示させることができる．

録されたユーザ名は，後で記録を確認するために必要となる．

3. 6 データベースの構築・連携

ユーザ名登録を行う画面のスクリーンショットを図 6 に示す．

計測によって記録されるデータは，MongoDB [8] のデータ

次に，実験者が実験の形式と刺激が提示される回数を指定する．

ベースに送信される．送信データは手指画像認識のデータとその後，被験者の手が正しく認識されていることを確認してか- 27 -—4—

表 1 データベースからデータを取得するためのフォーマットの例

app.get(’/userN=:userN/dbN=:dbN/itemN=:itemN/getAllUpdateTime’app.get(’/userN=:userN/dbN=:dbN/itemN=:itemN/getAllData’
app.get(’/userN=:userN/dbN=:dbN/itemN=:itemN/updateTime=:updateTime/get’

表 2 使用した技術やフレームワークの一覧
名前

バージョン

Google Chrome 113.0.5672.127
Node.js

11.0.0

MongoDB

3.5.9

MediaPipe-

図 9 結果閲覧モードでのユーザ選択画面の例．

図 8 提案サービスで計測される際の様子．

ら，実験者がスタートボタンを押してタッピング課題を行う．
タッピング課題が終了したあと，自動的に画面が初期画面へ遷移し，次の操作が行えるようになる．実験実施画面のスクリー
ンショットを図 7 に示す．また，図 8 に提案サービスで計測される際の様子を示す．
シナリオ 2: 結果の閲覧
結果の閲覧部分では，結果閲覧モードでのユーザ選択画面の例を図 9 に示す．ユーザ名を選択し，ユーザ ID ごとのデータ
一覧を表示することができる．この中から閲覧したいデータを選択することで，JavaScript Object Notation (JSON) 形式の入力データを閲覧することができる．タッチパネルによる入力のデータを記録した JSON ファイルの例を図 10 に示し，手指認識による座標データを記録した JSON ファイルの例を図 11

図 10 タッチパネルの入力データの JSON ファイルの例．

に示す．
シナリオ 3: グラフによる可視化
結果の閲覧において，ユーザ名を選択したあと，グラフ表示のチェックボタンを選択することで，それぞれの計測についての正解率の棒グラフや，正解率の推移の折れ線グラフを表示することができる．複数の計測に対するグラフを選択することで，複数のグラフを並べて比較することができる．グラフを表示する画面のスクリーンショットを図 12 に示す．

4. 3 考よってユーザ名を管理することで，同じ被験者の複数回のタッピング課題の結果を比較することが容易になると考えられる．
現在のサービスの課題点として，結果の出力が JSON 形式で行われるため視認性に欠ける点，画像認識の結果をタッピング課
題の正誤判定と直接結びつけられていない点が挙げられる．
課題点を解決するための方法として，結果をグラフなど見やすい形に表示することで比較を容易にすることや，正解率を大察本研究で提案するサービスによって，実験の実施及び記録を高速に行うことが可能となった．特に，タッチパネルによる入力は実行中に正解判定を行うことができ，記録から正解率を簡単に求めることができるようになった．また，データベースにきくわかりやすく示すことで，重要な結果を認識しやすいようにすることが挙げられる．また，機械学習の技術を利用することで，手指運動認識の結果を結果判定に用いることができるのではないかと考えられる．

- 28 -—5—

像認識をタッピング課題の評価に用いることが挙げられる．これらの改善に加えて，実際に被験者に対する実験を行い，その結果をふまえてサービスを向上させられることが期待できる．
謝辞

本 研 究 の 一 部 は JSPS 科 研 費 JP19H01138,

JP20H05706,

JP20H04014,

JP20K11059,

JP22H03699,

JP19K02973, 若手研究 23K17006，および，神戸大学数理・
データサイエンスセンター学内・学外 DX 推進共同プロジェク
トの研究助成を受けて行われている．
本プロジェクトに多大なるご協力を贈りました神戸大学大学
院保健学研究科・伊島桃花様，工学部・岡本大様，医学部・伊藤啓大郎様，工学部・芝紘希様には深く御礼申し上げます．
文

図 11 手指認識による座標データの JSON ファイルの例．

図 12 結果閲覧モードでの JSON 出力及びグラフ表示の例．

5. ま と め
本研究では，タッピング課題の実施を効率化する Web サー
ビスを提案した．提案サービスでは，タッチパネルによる入力
認識及び画像認識による手指運動の記録を行い，自動的に正解率の算出を行えること，実験の実施や記録が簡単な操作で行えることなどから，実験者，被験者両方にとって負担が少なくなることが期待できる．提案サービスの改善点として，タッピン
グ課題の結果をグラフを用いたより見やすい形式で表示し，画

献[1] A. Kluger, J.G. Gianutsos, J. Golomb, S.H. Ferris, A.E.
George, E. Franssen, and B. Reisberg, “Patterns of motor
impairment in normal aging, mild cognitive decline, andearly alzheimer’disease,” The Journals of Gerontology Series B: Psychological Sciences and Social Sciences, vol.52,
no.1, pp.P28–P39, 1997.
[2] K.E. Kobayashi-Cuya, R. Sakurai, N. Sakuma, H. Suzuki,
M. Yasunaga, S. Ogawa, T. Takebayashi, and Y. Fujiwara,“Hand dexterity, not handgrip strength, is associated withexecutive function in japanese community-dwelling older
adults: a cross-sectional study,” BMC geriatrics, vol.18,
no.1, pp.1–8, 2018.
[3] S. Suzumura, A. Osawa, T. Nagahama, I. Kondo, Y. Sano,and A. Kandori, “Assessment of ﬁnger motor skills in individuals with mild cognitive impairment and patients withalzheimer’s disease: Relationship between ﬁnger-to-thumbtapping and cognitive function,” Japanese Journal of Comprehensive Rehabilitation Science, vol.7, pp.19–28, 2016.
[4] K. Hesseberg, G.G. Tangen, A.H. Pripp, and A. Bergland,“Associations between cognition and hand function in older
people diagnosed with mild cognitive impairment or dementia,” Dementia and Geriatric Cognitive Disorders Extra,
vol.10, no.3, pp.195–204, 2021.
[5] J. Sugioka, S. Suzumura, Y. Kawahara, A. Osawa, N.
Maeda, M. Ito, T. Nagahama, K. Kuno, K. Shiramoto, S.
Kizuka, et al., “Assessment of ﬁnger movement characteristics in dementia patients using a magnetic sensing ﬁnger-tap
device,” Japanese Journal of Comprehensive Rehabilitation
Science, vol.11, pp.91–97, 2020.
[6] S. Makai-Bölöni, E. Thijssen, E.M. vanBrummelen, G.J.
Groeneveld, and R.J. Doll, “Touchscreen-based ﬁnger tapping: Repeatability and conﬁguration eﬀects on tapping
performance,” Plos one, vol.16, no.12, p.e0260783, 2021.
[7] R.K. Veluri, S.R. Sree, A. Vanathi, G. Aparna, and S.P.
Vaidya, “Hand gesture mapping using mediapipe algorithm,” Proceedings of Third International Conference on
Communication, Computing and Electronics Systems: ICCCES 2021Springer, pp.597–614 2022.
[8] K. Saundariya, M. Abirami, K.R. Senthil, D. Prabakaran,
B. Srimathi, and G. Nagarajan, “Webapp service for booking handyman using mongodb, express js, react js, node js,”2021 3rd International Conference on Signal Processing andCommunication (ICPSC)IEEE, pp.180–183 2021.
[9] X. Huang, “Research and application of node. js core technology,” 2020 International Conference on Intelligent Computing and Human-Computer Interaction (ICHCI)IEEE,
pp.1–4 2020.
[10] M. Harris, A.S. Agoes, et al., “Applying hand gesture recognition for user guide application using mediapipe,” 2nd International Seminar of Science and Applied Technology (ISSAT 2021)Atlantis Press, pp.101–108 2021.

- 29 -—6—