情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-13
2020/3/9

姿勢推定ライブラリ OpenPose を用いた筆記用具持ち方学習装置の提案
油田 一彌1,a)

岡山 将也1, ,b)

概要：本研究では、書写教育の基本である、筆記用具の持ち方に対する、持ち方指導の効率化、フィードバック方法について考察する。OpenPose を用いることにより、手指関節点の座標を取得し、コサイン類似度を用いて類似度を算出し、手指形状の判別を行う。また、親指、人差し指、中指の判定結果をイラス
トにより可視化し、フィードバックを行う。正しい手指形状の判別、フィードバックを兼ね備えた装置を提案する。

1. はじめに行うことを前提とする。
鉛筆の持ち方は学校教育においてある程度標準化されて現在、学校では様々な用具用材を扱う場面がある。安全いる。[1] [5] （図 1） この持ち方にそって装置の考察を進性、利便性、姿勢を保つ主に３つの理由から誤った持ち方めていく。また、ユーザごとにキャリブレーション処理ををしていれば、持ち方学習が求められる。現行の小中学校

加えることによってそのユーザに応じた、効率的で柔軟なの授業の場面では、鉛筆、筆、ボールペン、カッター、ハ指導を補助するシステムを考案する。

サミ、などをよく使用する。例えば、鉛筆の持ち方では、筆者の経験に基けば、正しい持ち方ができない学生が一定数見受けられた。また、幼い頃から、継続して誤った持ち方を続けていくと、癖がついてしまう学生も多々見受けられる。
小学校低学年では鉛筆を正しく持つことができない児童が多い傾向にある。鉛筆やペンで筆記する際、小学校入学以前の幼児に対して持ち方の指導が難しいため、この問題に直面することが多いと考えられる。そんな中、児童が、楽しく効率的な持ち方学習ができる方法を模索した。問題解
決一つとして、個々人の持ち方を計測し、学習対象者 (以下ユーザと表記) に応じた学習を行う際、指導者の負担を増やすことなく持ち方指導を効率的に行うことができるシステムを作り出せないか考えた。学習の方法により児童の精神状態に悪影響を与えるという話も耳にする。まずは、手軽に楽しく持ち方学習を行うことができるということを

図 1 『しょうがくしゃ 1 ねん』、日本文教出版の鉛筆持ち方についての一部分意識して、開発に取り組んだ。

2. 持ち方学習装置概要
2.1 筆記用具持ち方に関して筆記用具の基本となる鉛筆、ペンに関して持ち方学習を
1a)b)

大阪教育大学
kazuya@gyokusenin.org
sho.edu.human@gmail.com© 2020 Information Processing Society of Japan

2.2 計測手法に関して指の関節座標、筆記用具の角度、筆記速度などの情報を用いて、手指の持ち方の状態を計測する。
計測には次の手順が必要である。

1) キャリブレーション

554

情報処理学会 インタラクション 2020
IPSJ Interaction 2020a) 模範者の補助により、ユーザの正しい持ち方のモデル

2B-13
2020/3/9

2.4 手指状態の異常検知に関してキャリブレーションを終えた後、ユーザに筆記課題を課

値作成b) モデル値を計測装置へ書き込む
2) 筆記作業中持ち方の状態を比較、判定して、持ち方の変化を計測する。(図 4)1)OpenPose を用いて、手指関節座標の検出
2) コサイン類似度を用い、手指の状態をキャリブレーキャリブレーションを行うことで、各々のユーザに対して、効率的で柔軟なトレーニングを行うことができる。

ションデータと比較

3) フィードバックとして手指の状態を可視化「イメージセンサを用いる方法は、ユーザの指の関節の本研究で用いる OpenPose とは、畳み込みニューラル角度を計測する際、物理的に器具を装着することなくできネットワークによって、画像内の人物の姿勢を検出し、画る点が手軽」と高田氏は提唱する。[3]像内の関節位置を求める手法である。OpenPose の続編と上記の点を踏まえて、イメージセンサを用いて画像処理をして手の関節点を検出する手法が発表されており、本論文行う手法を取った。また、画像処理技術に関し、深層学習

ではその手法を用いて手指関節座標の検出を行う。異常検を用いて手指の関節情報を抽出する事が可能な姿勢推定ラ知として用いる関節点は親指、人差し指、中指のそれぞれ

イブラリ OpenPose [6] [7] [8] [13] を使用し、親指、人差しの関節 13 点である。

指、中指の手指関節情報を抽出し、コサイン類似度を用いて異常検知を行う。

取得したデータの評価は、キャリブレーションデータと取得したデータの類似度を求めることで行う。類似度の計算には、コサイン類似度を用いる。コサイン類似度は、22.3 キャリブレーションに関してキャリブレーションに必要なステップは以下の通りである。（図 2）

つのベクトルの角度で類似度を算出する。姿勢推定を援用し、描画学習支援を行う研究 [9] において、OpenPose で得た関節点を用いて、姿勢の類似度をコサイン類似度で求めていたため、本研究でも手指形状の類似度を求める際に利用する。
関節座標から隣り合う関節を結び 12 本のベクトルを作成する。正解データである、モデルの手形状ベクトル pl と取得データであるその時点の手形状ベクトル ql に対して、コサイン類似度をそれぞれのベクトルで求める。i 番目のpl と ql のコサイン類似度を式に示す。
Si = cosθ =⃗(pl ) · ⃗(ql )|⃗(pl )||⃗(ql )|(1)

そして、総合判定に関しては、それぞれのベクトルの類似度 Si を合計し、式 2 で全体の類似度 S を求める。この時、類似度 S は最高点が 100 になるように正規化を行う。
∑11Si × 10
S = i=0(2)1.2
同様に、各指 (親指、人差し指、中指) の類似度に関して、各指に関してのベクトル類似度 Si を合計し、式 3 で各指図 2 キャリブレーションに関するフローチャート

1) ユーザの手指にカメラをセットする
2) 指導者がユーザの持ち方をキャリブレーションする
3) キャリブレーション済みのモデル値を変数に代入の類似度 Fn (F1 , F2 , F3 ) を求める。また、類似度 Fn は最高点が 100 になるように正規化を行う。
∑3
Si × 10
Fn = i=00.4(3)

OpenPose を用いて取得した手指関節座標を画像としてキャリブレーションが成功すれば、あとはそのモデル値出力した図 3 を示す。図 3 はラベル 36 をモデルデータとをユーザの持ち方の状態を判定するのに利用する。手指のし、コサイン類似度を用いて手指形状ラベル 36 と手指形親指、人差し指、中指の関節座標に注目することによって状ラベル 39, 手指形状ラベル 36 と手指形状ラベル 86, 手指値の変化を得る。この値の変化を計測しコサイン類似度を

形状ラベル 36 と手指形状ラベル 97, 手指形状ラベル 86 と用い、手指形状の異常検知を行なっていく。

手指形状ラベル 97 のそれぞれの手指形状を比較するため© 2020 Information Processing Society of Japan555

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-13
2020/3/9

2.5 フィードバックに関して関節座標点のみを抽出した画像を生成した。
表 1 は図 3 の手指形状ラベル 36 を正解データとし、コ児童に対して、楽しく効率的に筆記用具の持ち方学習をサイン類似度を用いて、手指形状ラベル 39、手指形状ラベ行わなければならない。「具体的で体験的な授業のほうがル 86、手指形状ラベル 97 との比較を表している。

児童の感性的認識に働きかける」[12] と下田氏が提唱しているように、児童に対してより具体的で体験的な学習や比較ラベル

表 1 コサイン類似度比較表
36-39
36-86

フィードバックが可能な持ち方学習装置を目指すべきで36-97ある。

全体のコサイン類似度

99.35%

83.6%

78.5%

ユーザに対して具体的で体験的な楽しい、効率的な学習

親指のコサイン類似度

99.54%

94.88%

70.43%

人差し指のコサイン類似度を進めるために、分かりやすいフィードバックが必要不可

99.05%

79.97%

80.31%

中指のコサイン類似度

99.46%

75.97%

84.77%

欠である。2.4 章で述べた手指状態の異常検知を基に検知が行われた際、ユーザに対し、イラスト、キャラクターを用い、その持ち方が良いか悪いかを把握させたい。そのため、ユーザに対し視覚的フィードバックを行う。(図 6、7)
今回は、主に親指、人差し指、中指の三本に焦点を当て、どの指の持ち方が異常であるかを図示する。
また、全ての指が正解または異常であれば、それぞれに応じたキャラクター、イラストを表示する。(図 5)

図 3OpenPose により検出した手指関節座標

図 5

手の状態を図示するイラスト

2.6 デバイスに関して
本研究では、ユーザが楽しく学べるデバイスの製作を目指す。持ち方の状態変化に基づいた可視化を行うために、
有機 EL 小型ディスプレイを搭載し、イラストを表示させた。持ち方解析には手指形状解析用コンピュータ (NVIDIA
図 4 持ち方解析のフローチャートJETSON NANO DEVELOPER KIT を使用) にカメラを接続し、手指関節点を OpenPose を用いて検出する。その後、コサイン類似度を用いてその正誤をイラストにより© 2020 Information Processing Society of Japan556

情報処理学会 インタラクション 2020
IPSJ Interaction 2020表現した。通信機能が標準搭載されたマイコン・ボード(ESP32-WROOM-32) を手指形状解析用コンピュータに接続し、ディスプレイの制御、物理スイッチと Wi-Fi を経由したソフトウェアスイッチによるキャリブレーションの実行、Wi-Fi 通信可能なモバイル端末にキャラクターとイラストの表示を可能にした。

3. まとめ
筆記用具を把持した際、手指の持ち方異常を測定するため、姿勢推定ライブラリ OpenPose を用いた持ち方学習装置を開発し、持ち方の異常検知を行った。「筆記具の角度について記述にばらつきがみられた。このため、図版から前方・側方の角度を測定した。その結果を、表 2 に示す。
前方からの筆記具の角度は平均 21 度で、そのばらつきは比較的少なく、おおよそ 20 度が適切な角度と考えられる。

2B-13
2020/3/9[8]

T. Simon and H. Joo and I. Matthews and Y. Sheikh:
Hand Keypoint Detection in Single Images using Multiview Bootstrapping, CVPR (2017).
[9] 西澤 博大 『姿勢推定を援用した実人物モデルの描画学習支援システム』北陸先端科学技術大学院大学, 先端科学技術研究科［情報科学］(2018,2)[10] 大野祐汰, プリマ オキ ディッキ アルディアンシャー, 伊藤久祥『3 次元人体姿勢推定を実現するための OpenPoseの拡張』「エンタテインメントコンピューティングシンポジウム（EC2017）」(2017,9)[11] 遠藤祐之, 多々良樹, 岡田謙一『手と物体の位置関係を基に把持姿勢を提示する遠隔 MR 協調作業』情報処理学会研究報告 (2013,5)[12] 下田好行『学習意欲向上のための総合的戦略に関する研究−「知を活用する力」に着目した題材、教材・単元開発の枠組みとその実際−』科学研究費補助金基盤研究 (Ｃ) 研究成果中間報告書 (2016,3)[13] 高崎智香子 竹房あつ子 中田秀基 小口正人『姿勢推定ライブラリ OpenPose を用いた機械学習による動作識別手法の検討』DEIM Forum (2019)

一方、側方については、図版においても 57 度から 77 度まで大きなばらつきが見られた。この点については、追って考察をおこなう。」[5] とあるように教科書会社によって持ち方のモデルとなる図版の筆記具の角度が異なっているた
め、現状ではきちんと定量化できない問題がある。
より高精度な異常検知を行うにはどうするべきか、筆記用具の持ち方をどう定量化していくかという問題について考えていく必要がある。手指形状以外にも筆記用具の握る強さなど、無理のない筆記用具の持ち方ができているかどうかを判定することができれば、より発展的な持ち方学習が可能になる。今後は、実験を継続するとともに、手形状のみならず、複数の要素を分析し正しい持ち方を評価、指導できる装置へと発展させてゆきたい。
図 6 装置を使っている様子１

参考文献
[1]
[2]
[3]

[4]

[5]

[6]

[7]

『しょうがくしょしゃ 1 ねん』、日本文教出版
坂東弘司朗、『曲げセンサを用いたグローブセンサの開発』、
高知工科大学大学院工学研究科基盤工学専攻 (2013)
高田峻介、『手袋型デバイスを用いた自然的インターフェースの研究』、神戸市工業高等専門学校専攻科電気電子工業専攻 (2015)
澤田秀之、橋下周司、松島俊明、『運動特徴と形状特徴に基づいたジェスチャー認識と手話認識への応用』情報処理学会論文誌 (1998,5)
押木秀樹、近藤聖子、橋下愛『望ましい筆記具の持ち方とその合理性および検証方法について』書写書道教育研究 17号 (2003,3)
Zhe Cao, Student Member, IEEE, Gines Hidalgo, Student Member, IEEE, Tomas Simon, Shih-En Wei, andYaser Sheikh『OpenPose: Realtime Multi-Person 2D Pose
Estimation using Part Aﬃnity Fields』IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE (2018,12)
Moritz Einfalt, Dan Zecha, Rainer Lienhart, 『Activityconditioned continuous human pose estimation for performance analysis of athletes using the example of swimming』To appear as a conference paper at the 2018
IEEE Winter Conf. on Applications of Computer Vision(2018,12)© 2020 Information Processing Society of Japan

図 7 装置を使っている様子２557