一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
WIT2023-6(2023-06)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

高齢者の認知機能予測に向けた手指運動データの特徴分析手法の提案
勢一 隼人†陳思楠†

林敦子†

中村 匡秀†,††† 神戸大学 〒657-8501 神戸市灘区六甲台町 1-1†† 理化学研究所・革新知能統合研究センター 〒103-0027 東京都中央区日本橋 1-4-1
E-mail: †2037119w@stu.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††hayashi@pearl.kobe-u.ac.jp,††††masa-n@cs.kobe-u.ac.jp
あらまし近年，認知機能と手指巧緻性に関係があることが示唆される研究が盛んとなっている．しかしながら，これまでには人間の手指先の全てを対象とした研究は少なく，分析手法は確立されていない．我々の研究グループでは，画像認識とタッチパネル操作を組み合わせる手指運動計測システムを開発している．そこで本研究は，我々は開発したシステムで抽出した手指運動データを利活用し，手指巧緻性に関する分析手法を提案することを目的とする．我々のキーアイデアは，不等間隔な手指運動時系列データに着目し，状態空間モデルを利用して分析することである．提案手法の流れとして，(Step 1) データの読み込みと整理．(Step 2) 座標データの変換．(Step 3) データ特徴の個別比
較．また，ケーススタディでは，2 種類のタッピング課題（i.e., normal 課題と nback 課題）に従って計測されたデータを抽出し，手指運動の反応時間と速度，差分距離，角度という 4 つのパラメータの分析実例を示し，考察を行う．
さらに，関連研究との違いや，本手法の改善すべき点も述べる．これによって，手指巧緻性における新たな指標を確立することが期待でき，高齢者の認知機能が衰退する兆候を早期発見することに繋げられる．
キーワード

認知機能予測，手指運動，時系列データ，状態空間モデル，特徴分析

Proposing a Feature-Analysis Method of Finger-Movement Data for
Predicting Cognitive Function of Elderly People
Hayato SEIICHI† , Sinan CHEN† , Atsuko HAYASHI† , and Masahide NAKAMURA†,††† Kobe University Rokkodai-cho 1-1，Nada-ku，Kobe，Hyogo 657-8501 Japan†† Riken AIP 1-4-1 Nihon-bashi, Chuo-ku, Tokyo 103-0027 Japan
E-mail: †2037119w@stu.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††hayashi@pearl.kobe-u.ac.jp,††††masa-n@cs.kobe-u.ac.jp
Abstract In recent years, a growing body of research has suggested a relationship between cognitive function andmanual dexterity. However, studies on all aspects of human ﬁngertip movements have been limited, and analysis
methods still need to be well-established. Our research group is developing a ﬁnger motion measurement systemthat combines image recognition and touch panel manipulation. Therefore, the purpose of this study is to utilize
the ﬁnger motion data extracted using our developed system and propose an analysis method for assessing manual
dexterity. Our key idea is to focus on irregularly sampled ﬁnger motion time-series data and analyze it using astate-space model. The proposed method follows steps: (Step 1) Data loading and organization. (Step 2) Coordinate data transformation. (Step 3) Individual comparison of data features. In a case study, we extract datameasured according to two types of tapping tasks (i.e., normal task and n-back task). We provide analysis examplesof four parameters: reaction time and speed of ﬁnger motion, the diﬀerence in distance, and angle. We also discuss
the ﬁndings, highlighting the diﬀerences from related studies and identifying areas for improvement in our method.
It expects to establish new indicators for manual dexterity, enabling the early detection of signs of cognitive decline
in older adults.
Key words Cognitive function prediction, Finger movements, Time-series data, State-space model, Feature analysis- 30 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2023 by IEICE

構造を示す．手指運動データはカメラで読み取った動画から，1. は じ め に時事刻々の手指の座標データを取得している．この手指の座標

世界中の人口の高齢化により，認知症など高齢者が患いやすは図 3 のように 21 点ある．図 1 のように，手指運動データにい病気の早期発見・より良い治療法の確立が必要とされている．

ついては，層 2 内には 2 分間の実験データ，つまり，2 秒間の近年，認知機能の指標となりうるものとして手指巧緻性が注目実験データが 75 回分格納されている．層 3 ではその 2 秒間のされており，現在では一般的にペグボード課題の成績で手指巧なかで時々刻々に記録された座標データが格納されている．こ

緻性の評価がなされている．しかし，ペグボード課題による評の座標データの時間間隔は一定ではなく 30〜50[ms] 程度であ価では，指の時々刻々の運動や指ごとの運動に着目することがるので，図のようにデータが 36 個であるとは限らない．層 5できていない．には，0 に右手，1 に左手のデータが格納されており，さらにそこで本稿では，我々は関連研究で提案されている粒度の細それぞれには層 6 のように 21 個の座標のデータが含まれていかい手指運動の時系列データを使った手指巧緻性の評価手法をる．この座標番号は図 3 の座標番号と対応する．タッチパネル

提案することを目的とし，手指巧緻性と認知機能との関係の評

データでは，実験にてタップした指・時刻・反応時間 (i.e., 画価を目指すことをキーアイデアとしている．提案するアプロー

面に記号が表示されてからタップするまでの時間) が格納されチとしては，データを比較したい群に分け，時々刻々の座標ており，手指運動データだけでは明確にできないタップ動作をデータを差分距離・速度・角度といった特徴量に変換し，時系明確にしている．

2. 4 状態空間モデル

列分析をすることで手指運動の特徴を抽出して手指巧緻性の評価をするという流れである．また，ケーススタディとして，筆本稿では，手指運動データに対して状態空間モデル [7] を用者が実際にアプリで取得した 2 通りの実験データを比較して手いた時系列分析を行うことを提案する．状態空間モデルとは，指巧緻性や認知機能の違いをみる．

時系列分析を行う際に使うモデルの一つである．ARIMA モデ

2. 準

ル [8] などと異なり，次のような特徴がある．

備•

ARIMA モデルを含んだ多種多様なモデルを表現することができる．

2. 1 手指巧緻性
手指巧緻性とは，日常生活において発揮される手指機能のことである．手指巧緻性が良いと，手指運動の器用さによって日•分析することができる．

常生活における様々な運動をスムーズに遂行することができる．
近年，日本では少子高齢化により，高齢者の人数が増え続けて不等間隔の時系列データに対して，欠損値の補完なしで•モデルが決まったとき，データの特徴が比較的容易に説明できる．

おり，高齢化による疾患についての十分な理解やその疾患への時系列分析には，一般的に等間隔な時系列データが使用され対処が必要とされている．高齢化による疾患の一つとして認知るが，今回使用するデータは時間間隔が 30〜50[ms] の不等間機能の低下が挙げられる．認知機能と手指巧緻性には関連性が隔な時系列データであるため状態空間モデルを用いた時系列分あるとの報告がなされており [1]，また手指巧緻性は実行機能の析が適している．また，今回の分析の目的は，将来予測ではな低下のリスクがある個人を特定する指標になる可能性があるとく特徴などの知識発見であるため，データの解釈が容易にできも報告がされている [2] [3]．従来の手指巧緻性の評価には，ペる点も好ましい．

グボードの成績や，第 1 指・第 2 指についてのタッピングテス

3. 提 案 手 法

ト [4] が活用されている．

3. 1 目的とキーアイデア

2. 2 技術的な課題
我々は，手指巧緻性を評価する際の課題は 2 つあると考えて

章 2. 2 で述べた課題を改善するために，5 指を対象とした粒いる．1 番目の課題は，データの粒度である．ペグボードによ度の細かい時系列データを分析して手指巧緻性の評価をするこる手指巧緻性の評価 [5] だと，実験 1 回ごとの成績のみがデーとを提案する．また，不等間隔な手指運動時系列データについタとして蓄積されるが，ゲーム中の詳細な手指運動は無視されて，状態空間モデルを用いて分析することをキーアイデアとてしまう．2 番目の課題は，分析対象の指の数である．従来のする．

タッピングテストは，第 1 指および第 2 指を対象に行われてお3. 2 アプローチり，残りの第 3 指〜第 5 指の動きが無視されてしまっている．

本提案手法では，アプローチとして，まず，正解したときの指2. 3 手指運動データの構造のデータを抽出する．不正解のデータは個人差が大きく，複雑

本稿では，関連研究 [6] で計測されているデータを使って分であり，分析が困難であると思われるので除去する．次に，比析手法を提案する．このデータは，画面に表示された記号に応較したいグループに分ける．具体的に次の章で分けて述べる．

3. 3 Step 1: データの読み込みと整理

じて被験者が指を使ってタップすることで得られるデータであり，手指運動データとタッチパネルデータから成っている．ま手指運動データとタッチパネルデータを読み込む．タッチパ

た，被験者の属性，記号の種類，課題に対する成否などによっ

ネルのデータから，どの時点にどの指を使ってタップしたのかて分類も可能である．

がわかるので，それをもとに手指運動データから正解したとき

図 1 に手指運動データの構造，図 2 にタッチパネルデータののデータを抽出する．次に，比較したいグループにデータを分- 31 -—2—

図 1 手指運動データの構造．

図 2 タッチパネルデータの構造．

類する．データの分類の例として以下が挙げられる．
（ 1 ） 健常者と高齢者とに分ける．
（ 2 ） タップした指ごとに分ける．
（ 3 ） 画面に表示された記号ごとに分ける．
（ 4 ） 通常の課題か n-back 課題かで分ける．

3. 4 Step 2: 座標データの変換
図 1 の層 7 のように，手指運動データには xyz 座標が格納されているが，Web カメラや手の傾き具合で x 軸 y 軸 z 軸は変わってしまうために扱いが難しい．この座標データを扱いやすくするための方法として 2 通りの方法が挙げられる．１つ目
は，速度に変換する方法である．時刻 t におけるユークリッド
距離 rt は，時刻 t の座標データ (xt , yt , zt ) と時刻 t − 1 の座標データ (xt−1 , yt−1 , zt−1 ) を用いて，rt =√(xt − xt−1 )2 + (yt − yt−1 )2 + (zt − zt−1 )2(1)のように計算できる．さらに，座標データの時間間隔が一定ではないため，t − 1 から t までの時間間隔 Tt で割ることで速
図 3 手指運動データにおける特徴点の分布．

度 vt をvt =- 32 -rt
Tt

(2)

—3—

図 4 normal 課題の差分距離可視化の例．

図 6 normal 課題の反応時間可視化の例．

図 5 nback 課題の差分距離可視化の例．のように算出し，これを分析に使用する．2 つ目は，角速度ω に変換する方法である．時刻 t において任意の座標 3 点を選
ぶと，2 つのベクトルが得られるので cosθ(t) がわかる．例えば，人差し指の曲がり具合を調べたい場合，座標 6 のベクトル−→→
r6 = (x6 , y6 , z6 ), 座標 7 のベクトル −r7 = (x7 , y7 , z7 ), 座標 8→−→ −→のベクトル −r8 = (x8 , y8 , z8 ) を選ぶ．ベクトル −r→
76 = r7 − r6 ，−−→ −→r→
86 = r8 − r6 を用いて，
cosθ =−−→r→
76 · r86
r76 · r86

図 7 nback 課題の反応時間可視化の例．

(3)と表される．vt と同様に，時間間隔 Tt で割ることで cosθ の変化率がわかり，そこから角速度 ω を求めることができる．

る．画面上に映し出された数字をタップする課題 (i.e., normal課題) のデータと，映し出された一つ前の数字をタップする課
題 (i.e., nback 課題) のデータの 2 通りのデータを抽出して，2

3. 5 Step 3: データ特徴の個別比較
図１の層 3 や層 4 のように，今回扱うデータは時系列データであるが，時間間隔がバラバラである．この場合，時系列分析データの比較を行い，汎用プログラミング言語 Python で出力されたデータ可視化の例を示す．

4. 2 手指運動の差分距離の分析をするときに以下の 2 つのアプローチが考えられる．
（ 1 ） 欠損値を補完する等で得られた等間隔データを時系列分析する．
（ 2 ） 状態空間モデルを活用し，不等間隔なデータのままモ

図 4 図 5 にそれぞれ normal 課題と nback 課題の反応時間の例を示す．アプローチとして，タッチパネルデータから各 2 秒間において，次の 2 つの情報を取り出す．

デルに当てはめて分析をする．
上記の（ 1 ）の場合，欠損値の補完の仕方やどれくらいの間隔でデータを区切るかを別に検討する必要がある．一方，（ 2 ）の方法で分析することを提案する．しかし，自由度が高いモデルであるので，どういうモデルにするかは試行錯誤が必要である．モデル選択方法の例としては，モデルの案をいくつか用意してそれぞれのモデルに対して AIC を求め，それを基準にあてはまりが良いモデルを選択することが挙げられる．

正解であったか不正解であったか．

•

画面上に映し出された記号．

4. 3 手指運動の反応時間と速度の分析
図 6 図 7 にそれぞれ normal 課題と nback 課題の反応時間のの場合，欠損値を補完する必要はなく，区切る間隔については暫定的に 1[ms] 間隔に決めることができるので，まずはこちら•

例を示す．横軸は経過時間を表しており，縦軸は反応時間を表している．また，課題に対して，青点が正解，赤点が不正解していることを表している．normal 課題の方が反応時間のばらつきが激しく，nback 課題より反応時間の平均値が大きいことが見てとれる．また，nback 課題では 120[s] あたりまで反応時間が安定していたものの，140[s] あたりの不正解をピークとして反応時間が不安定になっていることが見てとれる．高齢者が4. ケーススタディ

課題を実施した場合は，不正解の数が多くなったり，反応時間が長かったり，バラツキが大きくなったりする．

4. 1 概要と目的
本章では，筆者が実際にアプリで取得したデータを分析す- 33 -

これら 2 つの情報をもとに，手指運動データから正解のデー—4—

図 10 normal 課題の角度の可視化の例．

図 8 normal 課題の速度の可視化の例．

図 11 nback 課題の角度の可視化の例．
図 9 nback 課題の速度の可視化の例．

ランダムウォークしているデータ）に対して，回帰分析は無力タを取り出す．さらに，正解したときにタップした指の先端ポイントの 2 秒間の座標のデータを取り出す．最後に各 2 秒間だと言うことが知られている．この点においても，回帰分析ではなく時系列分析を行うことに利点があることが挙げられる．のデータを時系列順に結合して速度を求める．この際，不正解

5. お わ り にであった 2 秒間は欠損値となる．こうして求めた速度の時系列データの可視化の例を図 8 と図 9 に示す．nback 課題の方が速度のばらつきが大きく，タップ時と静止時の指の動きのメリハリをつけてタップしていることが見てとれる．

対象に分析を行った．今後の課題として，手の甲付近などその4. 4 手指運動の角度の分析

他のポイントも活用できるかどうかは検討してみる必要があ

章 4. 2 と同様に正解のデータを取り出して，各 2 秒間の角度データを時系列順に結合して，時事刻々の角度を可視化する．
可視化の結果の例を図 10 と図 11 に示す．どちらも 180 度から 160 度，もしくは 20 度付近に角度が分布しているが，正解していてもそこまで指が曲がっていない部分もあり，図からは特徴の違いがあまり見られない．指ごとに分析するなど工夫が必要である．

4. 5 考本論文では，手指巧緻性を時事刻々の手指運動データを時系列分析することで評価することを提案し，指の先端ポイントをる．また，時系列データ分析により長期的な傾向や周期的な傾向に分け，最後に検定によって群間の有意差を確かめたいと考える．さらに，より詳細で定量的な議論をするために，状態空間モデルなどを用いて比較対象ごとにモデルを構築し，モデルの係数を比較する必要である．一方でペグボード課題と本稿で紹介したタッピング課題を同時に実施し，分析で得られた手指巧緻性についての知見の妥当性を検討したいと考える．

察

謝辞

提案した手法の利点は，時事刻々の手指運動の特徴を可視化できることである．ただし，制限として挙げられるのは，状態空間モデルを用いるなど難易度の高い分析をする際には深い統計学の知識やプログラミングによる実装の知識が必要であるこ

み取るという定性的な議論しかできないことである．

JP20H04014,

JP20K11059,

JP22H03699,

JP19K02973, 若手研究 23K17006，および，神戸大学数理・データサイエンスセンター学内・学外 DX 推進共同プロジェク
トの研究助成を受けて行われている．とである．ケーススタディで行った分析の問題点として挙げられるのは，速度や角度をグラフで可視化し，そこから傾向を読本 研 究 の 一 部 は JSPS 科 研 費 JP19H01138,

JP20H05706,

本プロジェクトに多大なるご協力を贈りました神戸大学大学
院保健学研究科・伊島桃花様，工学部・岡本大様，医学部・伊藤啓太郎様，工学部・芝紘希様には深く御礼申し上げます．

4. 6 関 連 研 究文

先行研究 [4] では，指に専用のデバイスをとりつける必要がある一方，Web カメラとタッチパネルがあれば計測を行えることが利点と言える．さらに 5 指全体のデータを取得できることも利点である．今回は指の先端ポイントおよびその周辺の点を対象に分析を行ったが，手の甲付近の点も活用できるかどうかは検討してみる必要がある．誤差が累積していくデータ（e.g.,- 34 -献[1] K. Hesseberg, G.G. Tangen, A.H. Pripp, and A. Bergland,“Associations between cognition and hand function in older
people diagnosed with mild cognitive impairment or dementia,” Dementia and Geriatric Cognitive Disorders Extra,
vol.10, no.3, pp.195–204, 2021.
[2] K.E. Kobayashi-Cuya, R. Sakurai, N. Sakuma, H. Suzuki,
M. Yasunaga, S. Ogawa, T. Takebayashi, and Y. Fujiwara,“Hand dexterity, not handgrip strength, is associated with—5—

[3]

[4]

[5]

[6]

[7]

[8]

executive function in japanese community-dwelling olderadults: a cross-sectional study,” BMC geriatrics, vol.18,
no.1, pp.1–8, 2018.
T. Abe, Y. Soma, N. Kitano, T. Jindo, A. Sato, K. Tsunoda, T. Tsuji, and T. Okura, “Change in hand dexterity
and habitual gait speed reﬂects cognitive decline over timein healthy older adults: a longitudinal study,” Journal ofphysical therapy science, vol.29, no.10, pp.1737–1741, 2017.
S. Suzumura, A. Osawa, T. Nagahama, I. Kondo, Y. Sano,and A. Kandori, “Assessment of ﬁnger motor skills in individuals with mild cognitive impairment and patients withalzheimer’s disease: Relationship between ﬁnger-to-thumbtapping and cognitive function,” Japanese Journal of Comprehensive Rehabilitation Science, vol.7, pp.19–28, 2016.
I. Buard，X. Yang，A. Kaizer，L. Lattanzio，B. Kluger, andR.M. Enoka, “Finger dexterity measured by the grooved
pegboard test indexes parkinson s motor severity in atremor-independent manner，” Journal of Electromyography
and Kinesiology，vol.66，p.102695，2022．
K. Yuki, C. Sinan, H. Atsuko, and N. Masahide, “Developing a ﬁnger-dexterity measuring system integrating image
recognition and touch panel operation,” IEICE TechnicalReport, June 2023. (to appear).
C. Huang and A. Petukhina, “State space models andmarkov switching models,” Applied Time Series Analysis
and Forecasting with Python, pp.257–286, Springer, 2022.
S. Khan and H. Alghulaiakh, “Arima model for accurate
time series stocks forecasting,” International Journal of Advanced Computer Science and Applications, vol.11, no.7,
2020.

- 35 -—6—