B4-1

姿勢推定 AI と VR を活用した姿勢制御スキルの遠隔教育プロセスの提案とその支援システムの構築に向けた基礎的検討
Basic Study towards Development of Distance Education Support System forPosture Control Skills Using Pose Estimation AI and VR
山内 真仁*1, 植松 祐斗*1，米谷雄介*1, 後藤田中*1, 國枝孝之*1, 八重樫理人*1
Naoto YAMAUCHI*1, Yuto UEMATSU*1, Yusuke KOMETANI*1,Naka GOTODA*1, Takayuki KUNIEDA*1, Rihito YAEGASHI*1*1 香川大学*1Kagawa University
Email: s17t281@stu.kagawa-u.ac.jp
あらまし：我々は，建設業従事者の労働安全教育を支援する VR 訓練環境を開発している．先行研究では，注意力を「動機」「認知」「判断」「身体制御」に分類し，「認知」「判断」の教育支援システムを開発した．
本研究では「身体制御」の教育支援システムを開発することを目的とする．先行研究の学習プロセスに基づき学習活動を設計し，それらを実現するための姿勢推定 AI および VR 技術を活用した姿勢可視化シス
テムを提案する．
キーワード：安全教育，労働訓練，注意力，姿勢推定 AI，VR1.

はじめに我が国の労働災害件数は，年々減少傾向にあるが，依然として，毎年およそ 1000 人の労働者が労働災害で亡くなっている(1)．労働災害の死亡事故の多くは，建設業の墜落，転落や挟まれ，巻き込まれ等の，安全に関する不注意，不安全行動が要因となっている．
このことより，建設業における不注意，不安全行動を防止する教育手段の充実が重要であることが分かる(2)．先行研究では，建設現場作業における注意力の評価・訓練に向けた VR 環境の開発をおこなった(3)．本研究では，死亡率が高い建設業における墜落，転落の防止を目的とし，体のバランスに対する注意を喚起する姿勢推定 AI と VR を利用した遠隔教育プ
ロセスの提案とシステム開発に向けた基礎的な技術検討をおこなったので報告する．

2.

姿勢制御スキルの遠隔教育プロセス

先行研究(3)では，注意力を「動機」「認知」「判断」「身体制御」に分類し，「認知」「判断」の教育支援システムを開発した．本研究では「身体制御」の教育支援システムを開発することを目的とする．先行研究の学習プロセスに基づき学習活動を設計し，それらを実現するための姿勢推定 AI および VR 技術を活用した姿勢可視化システムを提案する．学習プロ
セスは「労働作業体験」「行動外化」「知識外化」「行動と知識との差分確認」「行動の裏に隠れている判断の誤りに気付かせる」の 5 段階である．本プロセスに基づき，「身体制御」の学習プロセスを設計する．
(1) 「労働作業体験」のプロセス
教授者と学習者は遠隔地に存在し，同じ仮想空間にアクセスして，模擬的な労働作業を実行する．例

えば，天井の修繕作業などの作業内容を決めて実行する．
(2) 「行動外化」のプロセス
遠隔地にいる教授者と学習者それぞれの労働作業中の姿勢の変化をデータとして取得し，共有データベースに蓄積する．
(3) 「知識外化」のプロセス
遠隔地にいる教授者から学習者にどういう点に気をつけて作業を行ったかを問いかける．学習者は，模擬労働作業体験中に注意した箇所を列挙する．例
えば，体を反らさずに作業をすることや，つま先立ちにならないなどの注意点を列挙する．
(4) 「行動と知識との差分確認」
学習者は，(2)で蓄積された行動データと,自分が列挙した知識とを比較する．このときに教授者の行動データも共有データベースに蓄積されていることから，学習者は自己の行動データと教授者の行動データを重ね合わせて比較することができる．
(5) 「行動の裏に隠れている注意の誤りへの気づき」
学習者は行動と知識との矛盾を見つけ，自ら誤りに気づく．教授者も学習者の誤りを把握し，必要に応じて自分の行動データとも比較するように学習者に促す．学習者は自分の考えを教授者に伝える．教授者は，自分と学習者との違いを強調して伝え，正誤についての判断を学習者におこなわせる．最終的に学習者は自分の知識に対して誤っている箇所について改善点を記録する．最終的に，改善点が妥当であるかの判断は教授者がおこない，誤りが修正されない場合は，直接的に教示をおこなう．

― 155 ―

教育システム情報学会 JSiSE2020
第45回全国大会
2020/9/2-9/4

3.

システム設計以上の学習プロセスを実現するため，システムを設計する．本システムの概要を図１に示す．本システムの利用ステップは２つに分けられる．STEP1 は仮想空間における模擬労働体験であり，STEP2 は，労働作業の振り返りである．模擬労働体験において(1)労働作業体験と(2)行動外化を実行する．労働作業の振り返りにおいて，(3)知識外化(4)行動と知識との差分確認(5)行動の裏に隠れている注意に関する誤りへの気づきの 3 つを実行する．
STEP1 において労働作業中の姿勢の変化がデータベースに蓄積される．データは，労働作業者の名前ごとに分かれて蓄積されていく．STEP2 では，データベースから，蓄積されている教授者と学習者の行動データを取得し，仮想空間上に可視化する．
(3)の知識の外化においては学習者が気をつけている箇所を言語化できない可能性もあるので，チェックリスト形式でアンケートに回答できる機能を提供する．また(5)の改善点の記録については，学習者が外化させた知識に紐づける形で改善点を記録できる機能を提供する．
STEP1
仮想空間内で模擬労働体験

STEP2
労働作業の振り返り(3) 作業中の注意箇所(2) 行動データ

図 2 例：写真から抽出された 2 次元骨格推定デー
タの仮想空間における可視化

5.

おわりに

本研究では，建設現場作業における注意力の評
価・訓練に向けた身体制御に関する注意力の遠隔教育プロセスならびに姿勢推定 AI と VR 技術を活用した支援システムの設計と技術検証をおこなった．本稿では，静止画から 2 次元の骨格推定結果を仮想空間に重畳表示する試行をおこなった．
今後は，模擬労働作業体験をおこなっている学習者をステレオカメラで撮影し，3 次元骨格推定アルゴリズムを利用して抽出した学習者の時系列骨格推定データを仮想空間で再現する機能を開発する．知識を外化するためのアンケート機能や振り返り時の改善点記録機能を併せて構築し，遠隔教育プロセスの実証をおこないたい．

データベース

謝辞
本研究の一部は令和 2 年度 科学研究費補助金 若手研究 (課題番号:20K14084) の補助によるものである．

(4) 自分と他者の行動データ(1) 労働作業体験

図14.

(5) 自己の注意に関する誤りへの気づき

システムの概要とデータの蓄積・活用

行動外化・可視化機能の開発に向けた技術的検討

模擬労働体験は先行研究のシステム(3)を用いる．
本研究では，(2)行動外化と(4)行動の可視化の機能の開発に向けて技術的な検討をおこなった．姿勢の変化を取得するために，姿勢推定 AI を利用する．本
研究では，OpenPose(4)を利用した．
OpenPose を利用することで人の姿勢が骨格モデルデータとして推定される．OpenPose では，認識された人数や各関節の座標などの情報を数値データとして JSON ファイルに出力させることができる．このデータを仮想空間内に可視化する機能の開発に向けて技術的な検証をおこなった．
図２に OpenPose で抽出した骨格モデルデータを仮想空間において可視化した様子を例として示す．
今回は基礎的な検討として 2 次元の骨格推定アルゴリズムを用い，OpenPose のライブラリ(4)に含まれているサンプル画像を用いた．OpenPose により出力された JSON ファイルから各関節の座標データを抽出した．これらの座標を仮想空間にマッピングし，座標の点と点を線で結ぶことによって仮想空間上に骨格モデルを再現することができた．

参考文献(1) 厚生労働省：“平成 29 年労働災害発生状況”，https://www.mhlw.go.jp/file/04-Houdouhappyou-11302000-Roudouk
ijunkyokuanzeneiseibu-Anzenka/0000209094.pdf（参照 2019.06.14）(2) 厚生労働省：“労働災害発生状況”，https://www.mhlw.
go.jp/bunya/roudoukijun/anzeneisei11/rousai-hassei/（参照2019.06.14）“(3) 植松祐斗，後藤田中，國枝孝之，八重樫理人，米谷雄介，「建設現場作業における注意力の評価・訓練に向けた VR 環境の開発“ -他者との比較による学習を支援する仮想建設現場における危険個所登録/共有機能の開発-」，教育システム情報学会“ 2019 年度学生研究発
表会四国地区，pp215-216，2019(4) Gines“ Hidalgo,“ Yaadhav“ Raaj：“OpenPose“ -“ Real-time“
multi-person“ keypoint“ detection“ library“ for“ body,“ face,“ hands,“ and“ foot“ estimation”，https://github.com/CMU-P
erceptual-Computing-Lab/openpose（参照 2020.05.29）― 156 ―