A1-1

技能学習者に対する骨格推定を用いた部位別重畳表示視聴環境の開発
Development of an overlay display viewing environment
using skeletal estimation for skill learners
田中 凌太*1 後藤田 中*1 鈴木 実緒*2 蟹澤 宏剛*2 高井 由佳*3神田 亮*1 神田 かなえ*1 李 セロン*1 林 敏浩*1Ryota TANAKA*1 Naka GOTODA*1 Mio SUZUKI*2 Hirotake KANISAWA*2 Yuka TAKAI*3
Ryo KANDA*1 Kanae KANDA*1 Saerom Lee*1 Toshihiro Hayashi*1*1 香川大学*2 芝浦工業大学*3 大阪産業大学*1 Kagawa University*2 Shibaura Institute of Technology *3 Osaka Sangyo University
Email: s23g211@kagawa-u.ac.jp
あらまし：建築業を例とする技能労働者において必要な対面指導の機会が，職人の高齢化等による指導者の減少により確保が難しくなっている．このことから，視聴教材の作成等の取り組みが行われるようにはなったものの，従来対面指導で得るべき技能上の気づきが不足する可能性がある．そこで本研究では学習者が個人で行う技能学習に対し，対面指導の要素を視聴型の教材に補うことで学習者に気づきの機会を増やすことを目的に，実際の試行動画に対して，骨格推定を用いてオノマトペを重畳し，学習者が注視すべき可能性のある部位を着目させる視聴教材の強化手法を提案し，開発した視聴環境を説明する．
キーワード：技能習得支援，オノマトペ，骨格推定，重畳表示，動画視聴教材

1.

はじめに近年，YouTube 等のビデオ教材の視聴による個人学習形態が普及している．この学習の特徴として，・任意のタイミングで反復的な学習が可能である
・教師不在でも自己で能動的に学習が進められる
上記 2 点が挙げられる．建築業界においても視聴型のデジタル教材は用いられつつある．本研究が対象とする左官業の教材(1)も，指導者の減少という問題に対し，それを伴わない個人学習として期待されている．
しかし，指導者がいない時間帯の学習においては，学習時は自身の技能状態への内省の難しさに煩わされる．従来は対面指導が学習者に気づきを与えることによって補完していたと考えられ，そこで対面指導を個人学習時間帯に用いる視聴教材を強化することでこれを解決することを目指す．
本研究では，対面指導の要素を含む視聴教材を学習者に視聴させることで技能への気づきを促進することを目的に，練習動画に対して，骨格推定を用いてオノマトペを重畳し，学習者が注視したい部位ごとに視聴教材を作成する手法を提案するとともに，視聴環境を開発した．

2.

対面指導要素を有する教育の提案要件

先行研究(2)においては，(A)目標の設定(B)端的な単語の使用(C)リアルタイムでの指摘の 3 つを要件として挙げ，このうち(A)に関して，取り組む試技の継続/変更を促す教授戦略を有する視聴支援システムでは，学習者の技能動作を動的時間短縮法(DTW)で判定し，どのようなオノマトペを重畳すべきかの指標を検討した．このため本稿では(B)の手法とその要件を述べる．
2.1 学習者の技能的な学習シナリオ

図 1 学習シナリオ
図 1 は対面指導と個人学習の学習シナリオであり，対象とする左官業の下塗り作業を例とする．学習者は対面指導フェーズにおいて，例えば技能試行に対して「もっとグッ！と塗って」等と指導者から指導される．この場合，学習者は自身の状態をどのように変化すべきか内省することができる．しかし個人学習フェーズでは，指導者が存在せず，学習者は単独で内省を行うことを示している．ここで個人学習フェーズにおいて指導者が仮に再現されることで，学習者の気づきの回数を増加させることを目指す．
2.2 個人学習フェーズにおける指導対象の要件
対面指導フェーズにおいて，指導者は学習者の状態に合わせて，注視すべき部位や動きを指導する．
一方で，学習者は，個人学習フェーズにおいて，試技を通じて学習をするため，自身が注視すべき身体部位の認識が難しいという問題がある．このため，学習段階に合わせ，学習を行う部位を変化させる必要がある．
2.3 気づきを与えるための対面指導に関する要件学習を始めたばかりの学習者は，個人学習フェー
ズにおいて自身の状態を内省する場合，自身の技能の熟練度や目標とする技能との相対的な差を正確に―1―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31

認識できない．対面指導フェーズにおいては，指導者が指向性や強弱を表現することに用いられるオノマトペにより，学習者が目指すべき状態との相対的な差を示すことにより，学習者は自身の技能の熟練度を把握する．このため，オノマトペを提示することで，学習者の内省を手助けする．

3.

図 2 は，本研究における構成図である．学習者は自身の技能試行について，手持ちの撮影端末を用いて撮影し，これをサーバへと送信する．送信された動画から骨格推定が行われ，抽出された骨格データはシステム内に保有された熟練者データとの差をDTW によって評価され，オノマトペの表現に反映される．

オノマトペを用いた可変的な支援手法

3.1 学習者の成長に即した学習対象の変化
仮に，学習対象に含まれる特定の部位の習熟が十分であると判断される場合，対面指導フェーズにおいては指導者が注視すべき部位を新たに指定する．
ただし，学習者が学習を行う部位を任意で変更できるように実装する．この際，過去の試技情報を学習者に判断材料として提示することにより，次に学習対象とする特定の部位の決定を補助する．
3.2 部位での気づきを促す動作的な意識理解

図 3 左:表示画面構成図 右:オノマトペの動きの例(3)

村主らの研究 から，学習者自身の試技動画をもとに作成された振り返り学習教材を使用した．これに加えて，対面指導フェーズにて使用されるオノマトペを試技動画に重畳して表示することにより，学習者に対面指導で得られる気づきを補う情報を提示する． 具体的には，重畳するオノマトペの位置や動き，大きさ，頻度等を変化させ，試技における技能動作をどのように変化させるかを学習者に意識させる情報であり，学習者自身に最適化した技能動作を理解させる．

図 3（左図）は携帯端末等における表示画面の構成図である．学習する部位は色で分別した例であり，ここでは重畳されるオノマトペはその部位の色に準じた色としている．また，図 3（右図）に示す通り，重畳されるオノマトペは学習者の身体部位の座標に合わせて追従表示や大きさの変更等が行われる．な
お，動画像から推定できない情報への対応として，筋電センサや加速度センサ等との連携拡張も検討している．

4.

5.

部位別重畳表示視聴システム

4.1 本研究で利用するソフトウェア構成
本システムでは，学習者の技能動作を処理するために，VisionPose という姿勢推定 AI エンジンを利用する．これにより，推定された姿勢の熟練者データと比較することで，提示するオノマトペが選択される．今回，熟練者データは測定済みの固定値を用いる．
また，システム拡張性や WEB ブラウザでの視聴が可能な点を加味して今回は Unity を利用し，オノマトペを試技動画に重畳させる．

おわりに

本稿では，学習者自身の試技動画から骨格を推定し，身体部位ごとにオノマトペを重畳した振り返り
動画作成のための環境について説明した．今後は重畳するオノマトペの選定や表示方法，表示頻度等の個人への適応方法について検討する．
謝辞
本研究は（一財）住総研研究助成および JSPS 科研
費 JP21K02744，JSPS 科研費 JP23K02735 の助成を受けたものです．

4.2 オノマトペを重畳した動画の作成

参考文献(1) 国土交通省, 建設技能トレーニングプログラム,
https://kensetsu-shokunin.jp，(参照：2023/05/30)(2) 田中凌太，後藤田中，鈴木実緒，蟹澤宏剛，高井由佳，神田亮，米谷雄介，八重樫理人，林敏浩:“DTW距離を用いた教授戦略切り替え式視聴支援システムの開発”, 信学技報, vol. 122, no. 431, ET2022-85, pp.
161-167, (2023)(3) 村主涼太，後藤田中，神田亮，蟹澤宏剛，米谷雄介，八重樫理人，林 敏浩:“骨格推定を用いた左官技能の可視化に基づく技能教育手法の検討”，電子情報通信学会技術研究報告，vol.121，pp.107-112，(2022)

図 2 システム構成図―2―