情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-212024/2/28

手の姿勢推定モデルを用いた箸操作時における持ち方分析
廣川 七海1,a)

丁子 雄希2,b)

知名 規人2,c)

宮田 一乘1,d)

概要：箸の正しい持ち方は，文化的な価値観や食育の観点から重要視されている．しかし，実際には正しい箸の持ち方を実践している人は少なく，正しい持ち方の基準は一般的には明確でない．そこで，我々は箸の持ち方を定量的に分析し，正しい持ち方を判定するための手法を提案する．本研究では，手の姿勢推定モデルである MediaPipe を用いて手の姿勢を推定し，色検出によって箸の位置座標を特定する．手指と箸の位置座標の両方を組み合わせ，分析することで，箸の持ち方の客観的な評価が可能であることを示す．

1. はじめに農林水産省が 2023 年 3 月に公表した，食育に関する意
識調査報告書 [1] によると，食文化を受け継ぐことの意義推進基本計画のひとつとして挙げられているように，正しい箸の持ち方は，食育の一環として位置づけられる．子どもたちが適切な箸の持ち方を身に着けることは，文化的な価値観や食育の観点から大切とされている．

について，「郷土料理や伝統料理など，地域や家庭で受け本研究では，箸の持ち方を定量的に分析し，その持ち方継がれてきた料理や味，箸づかいなどの食べ方・作法を受が正しいかどうかを判断する．ユーザが自身の箸の持ち方け継ぐことは大切だと思うか」という問いに対して，箸づを客観的な指標により確認できる環境を提供することで，かいを含む食文化を受け継ぐことが大切だと思うと回答し正しい持ち方を習得するために取り組めると考える．また人は 86.4 ％（「とてもそう思う」が 33.8 ％，「そう思う」

た，明確な指標があることで，箸の持ち方について一貫性が 52.6 ％）と多い．また，井間らが行った，箸の持ち方及のある指導ができると考える．本研究では，箸と手指の両び家庭での教え方等に関する実態調査 [2] によると、調査方の座標値から両者の位置関係を分析することで，箸の持した小学 1 年生 85 名の保護者のうち，児童が正しい箸のち方を評価することにより，明確な分析が可能であること持ち方をしていると回答した人は 45.9 ％だった．しかし，を示す．

井間らが目視で持ち方を確認すると，実際に正しい持ち方をしている人は 30.1 ％で，保護者の判断と大きな差があった．このことから，箸の持ち方が大切だと思っている人が

2. 箸の持ち方
2.1 正しい箸の持ち方多い一方で，正しい箸の持ち方をしている児童は 3 分の 1

本研究での正しい箸の持ち方は，御茶の水書房の「箸の程度であり，その基準自体も一般的には明確でない状況で文化史」[4] に掲載されている箸の正しい持ち方を基準とすあると言える．さらに，箸の持ち方を教える体制が十分にる．正しい持ち方をした際の，二本の箸とそれぞれの指のは整備されていないのではないかと考える．

位置関係は図 1 のようになる．下側の箸は，薬指の爪の横また，第 4 次食育推進基本計画 [3] によると，ユネスコに当て，親指と人差し指の股に挟み込み固定する．上側のの無形文化遺産に登録された「和食：日本人の伝統的な食箸は，中指の爪の横に当て，親指と人差し指で軽く挟み込文化」を継承することが重要とされている．そのための目む．箸を操作する際は，親指を支点として，上箸を上下に標には，「伝統食材をはじめとした地域の食材を生かした動かす．

郷土料理や伝統料理、地域や家庭で受け継がれてきた料理や味、箸使い等の食べ方・作法を受け継ぎ、地域や次世代へ伝えている国民を増やす」ことが掲げられている．食育
12a)
b)
c)
d)

北陸先端科学技術大学院大学
新潟リハビリテーション大学
s2310138@jaist.ac.jp
tyouji@nur.ac.jp
china@nur.ac.jp
miyata@jaist.ac.jp© 2024 Information Processing Society of Japan

2.2 機能性
正しい箸の持ち方は機能面で，以下の研究事例に示すような利点がある．

Shimomura らは，伝統的な箸操作様式が，非利き手の箸操作時にどのような影響を与えるか調査した [5]．親指の先端を支点として上箸が独立に動くペンチモードと，固定274情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-21
2024/2/28

タセットを用いて，提案されたアーキテクチャを評価すると，94.04 ％の精度が得られ，このアーキテクチャによってジェスチャーを高精度に速く検出できることが明らかとなった．

3.2 箸の使い方の習得支援
正しい箸の使い方の習得支援を目的としたいくつかの研究が行われている．
原らは，OpenPose を用いて手の骨格情報を推定し，正しい箸の持ち方と比較した際に異なる部分をユーザにフィードバックすることで，手の動作を把握し，学習できるシステムを作成した [9]．手の姿勢推定には，各関節角におけるコサイン値を利用した．手のイラストに矩形を重畳する表
図 1

箸の正しい持ち方（出典：箸の文化史 p.172）

示により，正しい箸の持ち方との差を確認し，学習することで，箸操作のパフォーマンスが向上した．の支点を持たず，両方の箸の動きが完全には独立していな

Namiki らは，箸の把持姿勢を評価し，その評価を AR 技

いシザーズモードの 2 種類の持ち方で課題を行い，検証し術を用いて表示することでユーザにフィードバックをする

た．5 日間のトレーニングを行った結果，シザーズモードシステムを作成した [10]．カメラの映像と非接触モーショに比べ，ペンチモードは，高い作業パフォーマンスが見らンセンサから，箸の把持姿勢を取得し，正しい姿勢と比較れた．また，ペンチモードについては，筋活動の増加が見する．手の検出には，Leap Motion センサと，カメラ画像られ，運動学習に効果的であることが示された．伝統的なを Tensorﬂow.js と MediaPipe，Handpose を用いている．

正しい箸の持ち方をすることで，効率良く機能的に箸を使リアルタイムでフィードバックを行うことで，正解の持ちうことができる．

方との差を認識でき，箸の持ち方のトレーニングに役に立

3. 関連研究3.1 手のジェスチャー認識
手のジェスチャー認識をするいくつかの手法が提案されている．

Mujahid らは，YOLOv3 および DarkNet-53 を基にした軽量なモデルを提案した [6]．YOLO のアノテーションをつことが示された．
また，箸の持ち方を矯正するための矯正箸が多数存在す
る．矯正箸を用いた反復練習には，一定の効果があり [11]，動作や指に対する負荷が一般の箸とは異なり，指に対する負荷が少ない [12]．しかし，補助用具に頼り使い方を子どもにまかせてしまうことで，一般の箸を使いにくくなる可能性が指摘されている [2]．

用いて，データにラベルをつけ，DarkNet-53 のモデルでそこで本研究では，通常の箸を操作する動画を入力としトレーニングする．カメラで撮影された画像や動画に対応て，箸の持ち方が正しいかどうかを判定する．手の姿勢推し，リアルタイムでの実行が可能である．指で 1 から 5 ま定のための，オープンソースの軽量な事前学習済みモデルでを示すジェスチャーの分類で，98 ％の高い精度が得らである MediaPipe[14] を用いて手の姿勢推定をし，色検出れた．

処理によって箸を検出する．これを組み合わせることで，Zimmermann らは，RGB 画像から手の 3 次元での姿勢推定をするための FreiHAND データセットを紹介している [7]．データセットの偏りをなくすことに注目し，複数箸の持ち方を分類する．

4. 提案手法の視点からみた画像を取得し，記録する．複数視点から見提案手法では，カメラで撮影した箸操作の映像から，箸ることでデータのあいまいさを軽減し，3 次元のアノテーの位置を検出し，手の姿勢を推定する．具体的な手順としションをする．姿勢推定と形状推定のアノテーションがさて，iPad で撮影された箸操作の動画から，MediaPipe をれており，形状推定の教師あり学習に利用できる．

用いて手のランドマークを抽出する．そして色検出によまた，Köpüklü らは，動画からリアルタイムで手のジェり，箸に巻かれたテープを検出し，箸の位置を特定する．

スチャーを認識するためのアーキテクチャを作成した [8]．

手のランドマークが取得できなかった場合や，箸の検出ミルーベンシュタイン距離を評価指標とし，誤分類，複数スがある場合は，前フレームのデータを利用する．得られ検出，検出漏れを同時に測定可能である．ResNeXt-10 のたデータを決定木に適用させる前処理として時系列分析しアーキテクチャを利用し，分類器を Jester データセットでた．それを二値分類することで，その箸の持ち方が正しい事前トレーニングした．EgoGesture と nvGesture のデーかどうかを判定した．処理の流れを図 2 に示す．

© 2024 Information Processing Society of Japan275

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-21
2024/2/28

4.2 使用するデータ
新潟県村上市在住の小学校 1 年生 165 名に協力してもらい収集したデータを用いる．そのうち手のランドマークの欠損値の少ない 163 名分のデータを用いて実験を行う．動画は 10 秒程度で，普段通りの持ち方で箸を開閉する映像が記録されている．2 名の独立した専門家（作業療法士）による目視の一致度から（Fleiss’kappa=0.966)，163 名のうち，正しい持ち方が 60 名，正しくない持ち方が 103 名が含まれる．持ち方を分類した結果の表の一部を表 1 に示
す．型は yokubo らにより提案された 9 タイプ (図 4) に則り，親指，人差し指，中指，薬指，小指に I から V の番号を割り当てて，上箸と下箸をどの指を使って操作しているかに基づいて分類している．正しい箸の持ち方にあたるのは Four Finger の列で，上箸を I，II，III で，下箸を I と IVで操作する持ち方である．完璧またはそれにきわめて類似する持ち方の行は黄色に，操作中に親指が曲がるなど不十分な点があるが，9 タイプに分類した際に正しい持ち方に分類される持ち方の行はオレンジ色に塗りつぶしている．

表 1

図 2

持ち方を分類した表の抜粋

処理の流れ

4.1 実験条件
箸操作の動画を撮影する環境の条件は二つある．一つ目は，白系の背景になるような環境を用意する．本論文の実験では，これにより手の色と背景の色差を大きくし，手を検出しやすくする．机にコピー用紙などを敷き，白色の場所を準備する．二つ目は，箸の両端に色違いのテープを巻く．箸を持ったときに上側になる箸に青色のテープを，下側になる箸に緑色のテープを巻く．青と緑の色領域を抽出して箸の位置を特定する．これらの条件のもとで撮影した映像のキャプチャが図 3 である．実験では，通常照明の室内にて iPad で撮影した映像を用いた．

図 4
図 3

持ち方の分類 [13]

テープを巻いた箸を操作する様子© 2024 Information Processing Society of Japan276

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-212024/2/28

4.3 前処理
MediaPipe により取得できる手のランドマークの座標と，箸の位置座標について，左右の手の向きを揃え，座標変換をする前処理を行う．左利きの場合，画像を反転し，右利きと手の向きを揃える．一時的な欠損値に対処するた
め，値が取得できない場合には前フレームの座標を用いる．
図 6

MediaPipe で取得できるランドマークの位置

4.4 箸の位置特定
色検出を用いて箸の位置を特定する．箸の位置特定には箸の両端に巻き付けたテープの位置を使う．テープの画面上の位置座標をもとに，上下の箸の位置を特定する．HSV色空間の閾値を設定し，画面上の青色領域と緑色領域の重心を結んで箸部分とする．これにより，このテープの位置から箸の位置と姿勢を特定できる．

図 7

取得した手のランドマーク(図 8(a))，中指の第一関節と上箸との垂直距離 (図 8(b))，
中指の指先と下箸との垂直距離 (図 8(c))，中指の指先と薬指の指先との距離 (図 8(d)) を特徴量とし，目視での正解と不正解のラベルを応答として，モデルを作成した．機械学習アルゴリズムには，決定木を用いる．
図 5

箸の検出

4.5 手の姿勢推定
手の姿勢推定には，Google 社により提供されている Me-diaPipe の手の姿勢検出モデルを利用する．手首と各指 4点ずつの合計 21 点のランドマークが取得できる．取得できるランドマークの位置を図 6 に示す．
取得した 21 点のランドマークの座標と，各指の動きが上下の箸の動きのどちらに近いかを観察し，箸の持ち方が正しいかどうかを判断する．時系列分析には，時系列の特徴量のコレクションである catch22[15] の CO f1ecac という指標を用いる．この指標は，時系列データの自己相関のおおまかなスケールを捉えたもので，現在の時点の時系列

図 8

特徴量とする距離データと，それより後の時点の時系列データに相関があるかを示す．得られた特徴量から決定木分析により，正しい作成したモデルを用いて姿勢分類を行う．判定に使用し持ち方かそうでないかの 2 クラス分類を行う．決定木分析

たデータは，21 点のランドマークの座標と上箸の位置座標の際に，正しい持ち方の特徴量には 1 の重みを，ばらつきである．のある正しくない持ち方に対応するため，正しくない持ち方の特徴量には 1.5 の重みを設定している．

学習に使用するデータは，正しい持ち方 60 サンプル，正しくない持ち方 103 サンプルの合計 163 サンプルである．
正しい持ち方のデータ数と正しくない持ち方のデータ数を

4.6 姿勢分類
MediaPipe で取得した 21 点のランドマークの座標と上下の箸の位置座標，人差し指の指先と上箸との垂直距離© 2024 Information Processing Society of Japan

均等にするため，正しい持ち方から抽出した特徴量にわずかに拡大縮小と平行移動の処理を加え，2 倍にデータ拡張した．

277

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-212024/2/28

4.7 実験と結果収集した 163 個のデータに対して学習用と検証用を 7:3の割合で分割し使用した．提案手法での正しい箸の持ち方とそうでない箸の持ち方の分類精度を表 2 に示す．
表 2[8]

判定精度

正解率

適合率

再現率

F値

0.851

0.833

0.882

0.862

[9]

実験の結果，85.1 ％の正解率が得られた．しかし，正しい持ち方ではあるが中指と薬指の分離が不十分である場合[10]には，手と箸の動きが小さく，判定できない．図 9 は判定が上手くいく場合の動画，図 10 は判定が上手くいかない
場合の動画を 0.1 秒毎にキャプチャしたものである．分析
対象の特徴量を増やす点で，箸の持ち方推定のモデルは改良の余地がある．

[11]

5. まとめと展望
本稿では，手の姿勢推定モデルである MediaPipe を用い[12]て手の姿勢を推定し，テープを両端に巻き付けた箸に対して，色検出を用いて画面上の箸の位置座標を特定した．得られた座標から catch22 を用いた時系列分析により特徴量を抽出し，決定木分析を用いて，箸の持ち方が正しいか，[13]そうでないかの二値分類を行った．その結果 85.1 ％の正解率で箸の持ち方を分類でき，持ち方を判断するのに十分な精度が得られた．今後は，正しい持ち方とどのようにず[14]れているのかを直感的に理解できるような情報提示を検討したい．
謝辞

[15]

本研究は JSPS 科研費 JP 23K12694 の助成を受Pose and Shape From Single RGB Images, in 2019
IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), pp. 813-822 (2019).
doi: 10.1109/ICCV.2019.00090
Okan Köpüklü, Ahmet Gunduz, Neslihan Kose, and Gerhard Rigoll. Real-time Hand Gesture Detection and Classiﬁcation Using Convolutional Neural Networks. In 201914th IEEE International Conference on Automatic Face＆ Gesture Recognition (FG 2019). IEEE Press, 1–8(2019). https://doi.org/10.1109/FG.2019.8756576
原慎一朗, 謝浩然, 宮田一乘：骨格情報を用いた箸の正しい使い方の習得支援, 情報処理学会・HCI 研究会, 2021HCI-192, No.4, 1-8 (2021).
Masatsugu Namiki, Mitsunori Makino：A Contactless
Training Support System of Holding Chopsticks by
Posture Estimation of Chopsticks, Hand and Fingers,
Proc. SPIE 11766, International Workshop on Advanced
Imaging Technology (IWAIT) 2021, 1176618 (2021).
https://doi.org/10.1117/12.2591033
松元 まいこ, 大渕 慶史, 坂本 英俊, 原田 博之：610 箸動作における動作解析による熟練度評価, 日本機械学会九州支部講演論文集, 一般社団法人 日本機械学会, 2014.67, 0, 610-1(2014). https://cir.nii.ac.jp/crid/1390282680842155008
10.1299/jsmekyushu.2014.67. 610-1
澤島 秀成, 中川 博敬：食事作業の人間特性計測に関する研究–福祉用箸の利用特性について 奈良県工業技術センター
研究報告 = Report of Nara Prefectural Institute of Industrial Technology, 奈良県工業技術センター, 34, 23-27(2008). https://cir.nii.ac.jp/crid/1522543654962570368
Yuko Kaneko Yokubo, Tetsuo Ota, Katsuyuki Shibata,
Relationship between chopstick manipulation and crosssectional shape in the developmental stages from infancy
to early school age, Applied Ergonomics, Volume 97,(2021). https://doi.org/10.1016/j.apergo.2021.103507.
Hand landmarks detection guide, Solutions, MediaPipe,
https://developers.google.com/mediapipe/solutions/vision/hand landmarker (2023/12/08 参照).
catch22, DynamicsAndNeuralSystems,
https://github.com/DynamicsAndNeuralSystems/
catch22 (2023/12/08 参照).

けたものです.
参考文献
[1]
[2]
[3]
[4]
[5]

[6]

[7]

農林水産省：食育に関する意識調査報告書，(令和 5 年 3月公示).
井間眞理子, 中村恵子：学級における箸の持ち方の指導とその効果，日本食育学会誌, 第 13 巻第 1 号 (2019).
厚生労働省：第 4 次食育推進基本計画，(令和 3 年 3 月公示).
一色八郎：「箸の文化史」, 御茶の水書房, (1991).
Yoshihiro Shimomura, Takeaki Ohsawa, Megumi
Shimura, Yali Xia, Koichi Iwanaga and Tetsuo Katsuura：What is the signiﬁcance of the traditional pinchingmode of holding chopsticks?, J Physiol Anthropol 39, 13(2020). https://doi.org/10.1186/s40101-020-00223-z
Mujahid, Abdullah, Mazhar Javed Awan, Awais Yasin,
Mazin Abed Mohammed, Robertas Damaševičius, Rytis
Maskeliūnas, and Karrar Hameed Abdulkareem：RealTime Hand Gesture Recognition Based on Deep Learning YOLOv3 Model, Applied Sciences 11, no. 9: 4164
(2021). https://doi.org/10.3390/app11094164
Christian Zimmermann, Duygu Ceylan, Jimei Yang,Bryan Russell, Max Argus, Thomas Brox：FreiHAND: A Dataset for Markerless Capture of Hand

© 2024 Information Processing Society of Japan278

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-212024/2/28

図 9

図 10

© 2024 Information Processing Society of Japan

正しい持ち方で正しい持ち方と判定される例

正しい持ち方で正しくない持ち方と判定される例

279