算盤学習支援システムのための深度カメラを用いた珠操作の認識
小嵜 泰造1

松田 裕貴1

概要：算盤を用いた数値計算（珠算）は，算盤上の数値の表し方などを理解した上で，正確かつ高速に「珠」を移動させることが求められることから，その能力習得には長期的な繰り返し学習・練習が必要とされる．
最も一般的な珠算能力の習得方法である算盤教室における学習では，指導者が学習者に対して実演することで理解を促したり，学習者の珠操作の観察に基づく苦手な操作を発見したりと，誤操作を減らす指導が中心となっており，スムーズに珠操作を行うという観点については重点が置かれていない．そこで本研究では，特に珠操作における「巧緻性」を高めることに着目した算盤学習支援システムを実現することを目指している．本稿では，指導を行うにあたって必要となる算盤学習者の「珠操作」のイベントを取得するた
めに，深度カメラを用いた指の動作の認識手法を提案する．予備実験として，算盤の基本的な操作である「加算」の操作に関するデータセットを作成し，珠操作の認識モデルを構築した．構築したデータセットを用いて提案手法の性能を評価した結果，Leave-one-session-out 交差検証では 84.4%，Leave-one-person-out
交差検証では 58.6%の認識精度で算盤の珠操作を認識できることを確認した．

Beads Manipulation Recognition Using Depth Camera
for Abacus Learning Support SystemTAIZOU KOZAKI1

1. はじめに算盤（そろばん）は，串で刺した珠を移動させ珠の位置

YUKI MATSUDA1

かしながら，誤操作を減らす指導が中心となっており，スムーズに珠操作を行うという観点については重点が置かれていない．

で数を表現することにより，様々な計算の補助を行う道具

以上の背景から本研究では，特に珠操作における「巧緻である．算盤を用いた数値計算そのものは現代ではあまり性」を高めることに着目した算盤学習支援システムを実現行われなくなっているものの，珠算学習を通じて習得できすることを目指している．著者らはこれまでに，市販の算る能力や効果が注目されている [1], [2], [3], [4], [5], [6]．し盤に AR マーカを枠に貼り付け，書画カメラによって撮影

かし，算盤の数値計算は，算盤上の数値の表し方などを理した俯瞰映像を分析することで，簡易に算盤の盤面を認識解した上で，正確かつ高速に「珠」を移動させることが求する手法を提案している [7]．しかしながら，この手法でめられることから，長期的な繰り返し学習・練習が必要では盤面の状況を逐次推定できるものの，算盤の「操作」がある．

どのように行われたかについては分析ができない．そこで最も一般的な算盤の珠算能力の習得には，算盤教室や学本稿では，指導を行うにあたって必要となる算盤学習者の校教育で学習する方法が存在する．具体的な指導として，「珠操作」のイベントを取得するために，深度カメラを用指導者が学習者に対して実演することで理解を促したり，いた珠操作の認識手法を提案する．予備実験として，4 人学習者の珠操作を観察することで苦手な操作を発見し，誤の実験協力者に算盤の基本的な操作である「加算」の操作操作を減らす指導をするといったことが挙げられる．し1

奈良先端科学技術大学院大学
Nara Institute of Science and Technology

に関する 9 種類の珠操作を 3 セット（1 セット 10 回）実施したデータセットを作成し，指の動作の認識モデルを構築した．構築したモデルを用いて提案手法の性能を評価した結果，Leave-one-session-out 交差検証では 84.4%，

Step0

Step1

Step2

Step3

Leave-one-person-out 交差検証では 58.6%の精度で算盤の珠操作を認識できることを確認した．

深度カメラ

本論文の構成は以下の通りである．まず第２章では，算盤学習支援システムに関する関連研究及び巧緻性のセンシング・向上支援に関する関連研究について述べる．第３章
では，提案手法について説明する．第４章では，提案手法

時系列データをRealSenseで取得

珠操作をしたアクションを時系列データから検出実現に向けて行った予備実験について報告する．第５章で

図 1

巧緻性を評価巧緻性を改善するための指導や解く問題を生成する

システム概要は，提案手法の実現性および今後の課題について述べる．

2. 関連研究搭載した SenStick を用いて剣道の動作を検出・認識する手法を提案している．5 種類の打突動作を検出・認識した本章では，算盤の学習支援システムに及び巧緻性のセン結果，F 値 89.9 %の精度で動作を検出した．Blank[14] ら

シング・向上支援に関する研究について述べるとともに，は，慣性センサを搭載した卓球ラケットにを用いて，10 人

本研究の立ち位置を示す．の卓球初心者とプロの選手から 8 種類の基本ストロークタイプのデータから特徴量を計算し分析を行った．分析結果

2.1 算盤学習支援システムに関する関連研究より，96.7%の精度でストロークタイプを認識できた．伊北川ら [8] は，珠の位置認識と操作手順の重畳表示を用い

藤ら [15] は，加速度センサや角速度センサなどのマルチたそろばん学習支援システムを提案している．算盤学習者

センサを用いて，野球の経験者と初心者の打撃フォームをが実際の算盤を使いながら，計算手順や指使いを視覚情報分析することで，初心者の打撃技術を支援するシステムをとして提示することで．一人で学習するシステムである．

提案している．経験者と初心者の打撃フォームの違いを分

プロジェクタ，LED ライト，カメラを用いたリアルタイム析し，打撃技術を効率的に支援できることを確認した．こで算盤の盤面推定および算盤上に計算支援情報等を重畳表

れらの研究によって提案されたシステムや分析では，セン示することで，学習することができる．新川ら [9] は，そ

サを使用することで人間の動作を認識できるが，算盤を用

ろばん教育における Web 学習支援システムの開発を行っいた巧緻性を高める指の動作を評価する研究は行われていた．フラッシュ暗算ソフトと LMS を用いた成績管理シスない．

テムの Web アプリケーションを開発した．齋藤ら [10] は，携帯電話を利用した学習支援ツールの開発を行った．実際

2.3 本研究の立ち位置の算盤を再現するために，Android のタッチパネルの画面以上を踏まえ我々は，珠操作における「巧緻性」を高め上で珠を指で弾く動作を実現している．また，Android をることに着目した算盤学習支援システムを実現を目指して傾けることで加速度センサが感知し，御破算を行うこともいる．本稿では，指導を行うにあたって必要となる算盤学可能である．Digika 社は，算盤の仕組みタブレットで応用習者の「珠操作」のイベントを検出・識別するために，算した新たな暗算学習指導を提供する「そろタッチ」という盤操作を俯瞰できる位置に設置した深度カメラを用いた指サービスを提供している [11]．タブレット端末上で算盤のの動作の認識手法を提案し，認識性能及び性能評価につい珠操作を行うことによって．実際の算盤を扱うように再現て報告する．

している．これらの研究では，算盤の操作方法や算盤上の算盤の技術向上に向けた巧緻性に関わる研究は行われてい

3. 算盤操作の巧緻性を高める学習支援に向けた珠操作の認識手法ない．

3.1 システム概要

数値の表し方などの学習について着目している．しかし，本研究では，珠操作における「巧緻性」を高めることに2.2 巧緻性のセンシング・向上支援に関する関連研究着目した算盤学習支援システムの実現を目指し，深度カメ

中岡ら [12] は，手指の器用さ（巧緻性）を高めるリハビ

ラを用いて手指の動きをセンシングすることで「巧緻性」リテーションのために，IMU と小型カメラを搭載した箸を評価するとともに，習熟を促す学習支援を提供すること型センサを使用し，様々な形のビーズを運ぶ動作を行うこを目的としている．図 1 に本研究で提案する算盤学習支援とで，患者の巧緻動作を認識する手法を提案している．箸システムの全体像を示し，以下にシステムの流れを示す．

型センサで計測したセンサデータの可視化がリハビリにおStep0 深度カメラを用いて手指の関節座標の時系列デーける経過観察に役立つこと，ビーズを用いた巧緻動作が高い精度で認識可能であることを報告している．鳥越ら [13]は，剣道技術向上支援システムの実現のために，IMU をタを取得する．

Step1 珠操作をしたアクションを機械学習により時系列データから検出する．

16128117106152014191817図 213 945システム構成

3

Step2 検出した珠操作の巧緻性（どれくらいスムーズか）
Step3 巧緻性を向上するための指導や解く問題を生成

210を評価する．
図 3MediaPipe による関節位置の認識の例

表 1

Mediapipe で取得できる手指関節の一覧する．
本稿では，学習支援システムの構築に必要となる「どのような算盤の珠操作を行ったか？」を検出する Step1 に焦ID

対応する体の部位点を当て，珠操作の認識手法を提案する．

0WRIST

12度カメラ（Realsense L515），小型パソコン（Intel NUC）

ID

対応する体の部位

THUMB CMC

11

MIDDLE FINGER DIP

THUMB MCP

12MIDDLE FINGER TIP

3

THUMB IP

13

RING FINGER MCPから構成される．Realsense は算盤を操作する手（主に利4THUMB TIP

14RING FINGER PIPき手）の全体を捉えるために，算盤を固定する手の方向

5INDEX FINGER MCP

15RING FINGER DIP

6INDEX FINGER PIP

16RING FINGER TIP

7INDEX FINGER DIP

17

PINKY MCPすることで珠操作の把握を試みる．また，Realsense の深8

INDEX FINGER TIP

18

PINKY PIP

度情報を用いることで，算盤を操作する手がどの桁を操作

9

MIDDLE FINGER MCP

19

PINKY DIPしているのかの認識を行う．

10MIDDLE FINGER PIP

20

PINKY TIP

システム構成を図 2 に示す．システムは市販の算盤，深（図 2 では向かって左側）に設置し，算盤の真横から撮影

3.2 データ前処理と特徴量抽出
本稿では，深度カメラによって手指の関節座標をセンシングし得られるデータを元に珠操作の認識を行う．まず，

表 2

使用した特徴量の一覧

関数

説明mean(s)Arithmetic meanstd(s)Standard deviation

数式
1 ∑Ns̄ = Ns√ ∑ i=1 i
N1(s− s̄)2σ= Nii=1

手指の関節座標の取得には，Google 社が提供している機械

max(s)

Largest values in arraymaxi (si )学習ライブラリの MediaPipe に含まれる Hand landmark

min(s)

Smallest value in array

detection の機能を用いる．Realsense L515 から得られる

median(s)Median of the arraymini (si )()s N +1 or 12 s N + s N +1
222

映像データに対して MediaPipe を適用し，得られる手指の関節位置の認識結果を図 3 に示す．なお，MediaPipe は2 番の座標と 8 番の座標間の角度である．五つ目は，図 3表 1 に示す 21 個の手指の各関節座標を記録することがでの（e）に示すように，2 番の座標を原点とし，4 番の座標きる．と算盤の枠の角との角度である．

本手法では，これらの関節座標から算盤の操作に関連すRealsense L515 から取得した指の関節座標で計算した関ると考えられる手指の動きを導出し特徴量の一つとする．

節間の角度，算盤と指の関節座標の角度から特徴量を計算

図 4 に計算する角度の場所を示す．関節座標から角度を計する．収集した角度データに対して，機械学習モデルを構算する箇所は 5 か所である．一つ目は，図 3 の（a）に示す築するために，特徴量抽出を行う．表 2 に特徴量のリスト

ように，5 番の座標を原点とし，0 番の座標と 6 番の座標を示す．今回は，平均値，標準偏差，最大値，最小値，中間の角度である．二つ目は，図 3 の（b）に示すように，6央値の 5 種類の特徴量を抽出する．

番の座標を原点とし，5 番の座標と 7 番の座標間の角度で最後に，センシングされた手指の関節座標から計算したある．三つ目は，図 3 の（c）に示すように，7 番の座標を関節間の角度を計算したものを学習データとし，珠操作の原点とし，6 番の座標と 8 番の座標間の角度である．四つ分類を行う機械学習モデルを構築する．

目は，図 3 の（d）に示すように，5 番の座標を原点とし，

（a）

（b ）

（c）

（d）

図 4（e）

関節座標から計算する角度の一覧

図 6Realsense で撮影した映像の例

4.3 性能評価
図 5固定した算盤

性能評価にあたっては，代表的な 6 種類の機械学習アルゴリズム（Support Vector Machine（SVM），Random

4. 予備実験
4.1 実験概要
本実験では，珠操作における「巧緻性」を高めるシステ

Forest（RF），Decision Tree（DT），k-Nearest Neighbor（k-NN），LightGBM，Naive Bayes（NB））を用いて珠操作の認識モデルを構築するとともに，Leave-one-session-out
交差検証および Leave-one-person-out 交差検証を用いた評ムを実現するための予備実験として，Step1 の珠操作の認価を行った．

識について評価を行う．

4.3.1 Leave-one-session-out 交差検証

対象とする珠操作は，算盤の基本的な操作である「加算」

各セッションごとに複数の分類器を使用して，構築したの操作に関する 9 種類の珠操作である．被験者として，20モデルを Leave-one-session-out 交差検証によって評価し代の男女 4 人のデータ収集実験を行った．被験者は 9 種類た．表 3 に 6 種類の機械学習アルゴリズムで学習した際の珠操作を 3 セット（1 セット 10 回ずつ）行い測定データの全てのセッションを平均した認識精度を棒グラフで示しを収集した．得られたデータには，Realsense L515 から得たものを，図 7 に 6 種類の機械学習アルゴリズムで学習られる手指の関節座標で計算した関節座標間の角度，算盤した際の全てのセッションを平均した各動作の認識精度をと手指の関節座標間の角度が含まれる．

示す．表 3 に示すように，全てのセッションを平均した認
識精度が高くなった分類器は LightGBM となり，84.4%と4.2 実験条件
本実験は以下の条件のもとで行う．

なった．図 7 に示すように，5 を加算する珠操作が最も平均認識精度が高くなっていることが分かる．これは，5 を( 1 ) 本実験では，MediaPipe から取得した手指の関節座標加算する珠操作と似た動作が少ないからと考えられる．一から関節間の角度及び関節座標と算盤の角度を計算す方で，1，2，3，4 を加算する珠操作は動きが似ているたる．しかし，それぞれの座標は画面内のピクセル値でめ，平均認識精度が 5 を加算する珠操作より低いと考えらあるため，算盤が動くと求める角度が変わってしまう．

れる．6，7，8，9 を加算する珠操作も同様の理由が考えら

そのため，算盤を固定する必要がある．図 5 に固定しれる．図 8 に一番精度が高かった LightGBM を用いて評た算盤を示す．本実験では，算盤のケースを用いて固価した結果の混同行列を示す．1，2，3，4 を加算する珠操定した．

作および 6，7，8，9 を加算する珠操作で誤認識するケース( 2 ) MediaPipe は最大で二つの手を認識することが可能でが多いことが分かる．以上の結果から，似た動きが少ないある．しかし，本実験では，珠操作を行う手のみを認識

動作に関しては高い精度で認識することが可能だが，似たするため，算盤に添えている手が Realsense から撮影動きが多い動作に関しては認識精度が落ちると言える．

される画面内になるべく入らないように Realsense を4.3.2 Leave-one-person-out 交差検証設置した．図 6 に Realsense で撮影した画面を示す．

各被験者ごとに複数の分類器を使用して，構築したモデル( 3 ) 本実験では，珠操作の認識を行うことを目的としていを Leave-one-person-out 交差検証によって評価した．表 3

るため，Realsense の深度情報を用いた桁の移動の認に 6 種類の機械学習アルゴリズムで学習した際の全ての被識は行わないこととした．

験者を平均した認識精度を棒グラフで示したものを，図 9

表 3
機械学習アルゴリズム

Leave-one-person-out 交差検証

Accuracy

Precision

RecallF-measure

Accuracy

Precision

RecallF-measureRandomForest (RF)

82.9%

83.3%

82.9%

82.6%

57.1%

60.6%

57.1%

51.6%

LightGBM (LGBM)

84.4%

84.9%

84.4%

84.4%

58.6%

60.7%

58.6%

54.2%

Naive Bayes (NB)

69.6%

70.7%

69.6%

69.1%

55.9%

60.3%

55.9%

52.1%

Disition Tree (DT)

69.2%

69.5%

69.2%

68.9%

49.4%

53.7%

49.4%

46.0%

k-Nearest Neighbors (k-NN)

66.3%

67.4%

66.3%

66.3%

39.4%

47.4%

39.4%

35.7%

Support Vector Machine (SVM)

44.3%

47.8%

44.3%

43.3%

34.4%

36.6%

34.4%

31.1%

RFLGBM
DTKNN
SVM
NB

0.8
0.6
0.4
0.20.0
図 7

1.0

0.6
0.4
0.2

1234

56

780.0

9

Leave-one-session-out 交差検証による各機械学習アルゴリズ

図 93456789

Leave-one-person-out 交差検証による各機械学習アルゴリズ

100

20 04 04 00 10 00 08 0
97 55 113
8 9

Ground Truth
6 5 4 3931001688
8071ムの各動作の平均認識精度結果

80604079 1 0 2 790 11 0 1 0
9 100 5 0 0
0 4 115 0 00 0 0 119 10 0 0 0 98
6 1 0 0 12
1 5 4 0 00 0 2 0 0
2 3 4 5 6Prediction

22089211100
6500
1109987

Ground Truth
6 5 4 321ムの各動作の平均認識精度結果

図 8RFLGBM
DTKNN
SVM
NB

0.8Precision

1.0Precision

評価実験の結果

Leave-one-session-out 交差検証

LightGBM を用いた場合の Leave-one-session-out 交差検証の混同行列に 6 種類の機械学習アルゴリズムで学習した際の全ての被験者を平均した各動作の認識精度を示す．表 3 に示すよ

図 106015001410600114641500083020850
900219330 1 150 0 0
4 1 082 1 00 92 140 0 950 0 19
3 0 0
23 0 14 5 6Prediction

25127001569
23075172110001657
2980422180001564
9806040200LightGBM を用いた場合における Leave-one-person-out 交差検証の混同行列

5. おわりにうに，全ての被験者を平均した認識精度が高くなった分類本稿では，算盤学習者の珠操作の「巧緻性」を高めるた

器は LightGBM となり，58.6%となった．図 9 に示すようめに，珠操作の認識手法を提案した．システムを実現するに，Leave-one-session-out 交差検証で評価した時と同様に，ための予備実験として，4 人の被験者に 9 種類の珠操作を5 を加算する珠操作が最も認識精度が高くなっていること3 セット（1 セット 10 回）を行ってもらった．Realsenseが分かる．図 10 に一番精度が高かった LightGBM を用いL515 から得られる関節座標から計算した角度データを用て評価した結果の混同行列を示す．Leave-one-session-out

いて，珠操作の分類を行った．対象とする動作は，算盤の交差検証で評価した時と比べて全体的に認識精度が下がっ

基本的な操作である「加算」の操作に関する 9 種類の珠操ており，認識にばらつきがあることが分かる．原因として，作とした．被験者から得た測定データを基に珠操作を分類

被験者の骨格の違いにより，関節座標から求める角度が異するために，代表的な 6 種類の機械学習アルゴリズムをなることが挙げられる．また，指の動作に個人差があるこ用いて認識精度を Leave-one-session-out 交差検証およびとから認識精度が落ちたと考えられる．

Leave-one-person-out 交差検証で評価した．結果，Leave-one-session-out 交差検証では LightGBM を用いた場合が[13]最も認識精度が高くなり，84.4%で認識できることを確認した．Leave-one-person-out 交差検証も同様に LightGBMを用いた場合が最も認識精度が高くなり 58.6%で認識できることを確認した．

[14]

今後は，実験のデータセットの汎用性を高めるために被験者の人数とセッションの数を増やす．また，算盤学習者の珠操作における「巧緻性」を高めることに着目した算盤学習支援システムの構築を目指す．
謝辞 本研究の一部は，KDDI 財団調査研究助成（2021年度）の助成を受けて行われたものです．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]
[12]

Shizuko Amaiwa and Giyoo Hatano. Eﬀects of abacus
learning on 3rd-graders’ performance in paper-and-pencil
tests of calculation. Japanese Psychological Research,
Vol. 31, pp. 161–168, 1989.
Shizuko Amaiwa. The Eﬀects of Abacus Learning on
Solving Arithmetic Problems: A Comparative Study ofElementary / Junior High School Students at Upper
Level and Inexperienced Students. Journal of the Faculty of Education, Shinshu University, Vol. 96, pp. 145–156, 1999.
Chunjie Wang, Tianyong Xu, Fengji Geng, Yuzheng Hu,Yunqi Wang, Huafeng Liu, and Feiyan Chen. Training on
Abacus-Based Mental Calculation Enhances Visuospatial Working Memory in Children. Journal of Neuroscience, Vol. 39, No. 33, pp. 6439–6448, 2019.
Chunjie Wang. A Review of the Eﬀects of Abacus Training on Cognitive Functions and Neural Systems in Humans. Frontiers in Neuroscience, Vol. 14, No. 913, pp.
1–12, 2020.
Yujie Lu, Mengyi Li, Zhijun Cui, Li Wang, Yuwei Hu,and Xinlin Zhou. Transfer Eﬀects of Abacus Training onCognition. Current Psychology, Vol. 42, pp. 6271–6286,2023.
Yuzheng Hu, Fengji Geng, Lixia Tao, Nantu Hu, Fenglei
Du, Kuang Fu, and Feiyan Chen. Enhanced White Matter Tracts Integrity in Children With Abacus Training.
Human Brain Mapping, Vol. 32, No. 1, pp. 10–21, 2011.
松田裕貴. 書画カメラを用いた珠算行動センシング. 電子情報通信学会技術研究報告, センサネットワークとモバイルインテリジェンス研究会（SeMI）, 第 123 巻, pp.
70–75, 2023.
北川珠莉, 鈴木優. 珠の位置認識と操作手順の重畳表示を用いたそろばん学習支援システム. 情報処理学会インタラクション 2022, pp. 759–762, 2022.
新川晃司, 川崎健志, 澤田一樹, 二石芳裕, 筧宗徳, 渡邉一衛. そろばん教育における Web 学習支援システムの開発.
成蹊大学理工学研究報告, 第 48 巻, pp. 75–79, 2011.
齋藤謙太, 佐々木整, 水野一徳. 携帯電話を利用した学習支援ツールの開発. 情報科学技術フォーラム講演論文集,
第 8 巻, pp. 653–654, 2009.
株式会社 Digika. そろタッチ. https://www.sorotouch.jp/. (accessed 2023-02-10).
中岡黎, 大井一輝, 尾崎麻希, 三崎慎也, 中村優吾, 松田裕貴, 諏訪博彦, 眞野智生, 城戸顕, 安本慶一. 手指の機能障害に対する客観的評価確立に向けた箸型センサを用いた巧緻動作認識手法の検討. 第 39 回社会における AI 研究会（SIG-SAI）, pp. 1–7, 2022.

[15]

Yohei Torigoe, Yugo Nakamura, Manato Fujimoto, Yutaka Arakawa, and Keiichi Yasumoto. Strike Activity
Detection and Recognition Using Inertial Measurement
Unit towards Kendo Skill Improvement Support System.
Sensors and Materials, Vol. 32, No. 2, pp. 651–673, 2020.
Peter Blank, Julian Hoßbach, Dominik Schuldhaus, andBjoern M. Eskoﬁer. Sensor-based stroke detection andstroke type classiﬁcation in table tennis. In Proceedingsof the 2015 ACM International Symposium on Wearable Computers, pp. 123–133, 2015.
伊藤大晃, 後藤佑介. マルチセンサを用いた打撃フォームの分析による野球初心者の打撃技術支援システム. 第 26
回マルチメディア通信と分散処理ワークショップ論文集,
pp. 36–43, 2018.