情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1A-13
2023/3/1

3D ディスプレイによる重畳表示機能を用いた技能伝承システムの提案
松宮正太†

村松敦†

鈴木雄介†

概要：近年，高齢化などの影響により，産業現場から熟練技術者が引退し減少すると予想されている．そのため，熟練技術者の持つ技能の伝承が課題となっている．そこで，熟練技術者の見本の動きに対して，自身の動きを重畳して表示する技能伝承システムを提案し，提案システムの評価実験計画について述べる．提案システムでは，自分自身の動きを見本に重畳することで，見本の動きとの差異を分かりやすく提示でき，教育効果の向上が期待できる．また，
3D ディスプレイに出力することにより，奥行き方向の動きの差異を確認することが可能であり，2D 映像と比較して教育効果の向上が期待できる．

1. はじめに
1.1

研究背景・目的に，熟練者の動作との差異を色で表現するようにした．これにより，学習者は，自身の動作と熟練者の動作の差異をより容易に把握することが可能となり，教育効果の向上が近年，高齢化などを背景に産業現場から熟練技術者が引期待できる．

退し，減少すると予想されている．株式会社東京商工リサ

1.2 関連研究ーチは，2021 年に 60 代就業者の 39.2%の後継者が不在で動作教育システムにおいて，学習者自身の動作を見本のあると発表した[1]．これは，定年退職の近い就業者の約 4

動作に重畳表示することで，動作の差異をフィードバック

割の後継者が不在であり，多くの企業が後継者問題を抱えし，教育効果を向上させるシステムの研究は，数多く行わていることを示している．このように，後継者が決定せずれて い る． 2D 映 像 を用 い たシ ステ ム や Head Mountedに，高齢の熟練技術者が引退した場合，技術が引き継がれDisplay (HMD) を用いたものなどのトレーニングシステムずに失われるといった問題がある．そのため，熟練技術者が研究されている．の引退後にも技能伝承を行う仕組みが必要となる．実際の1.2.1 2D 映像による動作教育システム

産業現場では，このような場合，テキストベースのマニュAnderson らは，鏡面にて自身の動きを確認しつつ練習でアルを読む，またはビデオを視聴することによって，熟練き，また見本に対して自身の動きを重畳表示し，見本との技術者の技能を学ぶことが多い．しかし，熟練技術者の技動きの差異をフィードバックするシステム YouMove を開能には言語化しづらいノウハウやコツが存在することが多発した[2]．バレエと抽象的な動きを対象に実験を実施し，く，それらはテキストベースのマニュアルやビデオ映像でビデオによる教育よりも動作の定着率が高いことを示した．

は伝わりにくい．また，一般的には動作を学ぶ際，指導者高橋らは，ダンスの振りを支援するためのインタラクテが対象の動作を提示し，学習者がその動作を模倣することィブシステムを開発した[3]．高橋らのインタラクティブシから始まる．しかし，テキストベースのマニュアルやビデステムでは，見本がなくなったときに，動作できなくなるオ映像での学習では，自身の動作とテキストやビデオで示ことを考慮し，ユーザが動作中には見本を表示しない．振された動作の差異を把握することは難しい．そのため，熟りの練習が終了するとリプレイ動画として，学習者自身の練技術者が対面で指導する場合と比較して，技能伝承に多動きと見本の動きを重畳表示してフィードバックを行うこくの時間が必要となると考えられる．とができる．高橋らはダンスの振りを対象に，DP マッチン

そこで，我々は 3D ディスプレイを使用し，熟練者の動グによる見本との類似度に関するスコアで，提案システム

作に対し，学習者自身の動作を重畳表示できる技能伝承シを評価した．その結果，他の練習方法（鏡像を使用したもステムを開発した．本論では，開発した技能伝承システムのなど）と比較して，早い段階で振りを覚えられると報告を提案することを目的とする．提案システムでは，熟練者した．の動作を裸眼立体視することが可能であり，奥行き方向のこのように，見本の 2D 映像に対し自身の動きを重畳表動作も把握することが可能である．また，モーションキャ示するシステムは，多数存在する．しかし，2D 映像は，奥プチャシステムと組み合わせることで，学習者自身の動作行き方向の感覚をユーザに与えることができない．そのたを熟練者の動作に重畳して表示することが可能となっておめ，奥行き方向の動きの差異を把握することは不可能であり，熟練者の動作との差異を確認することができる．さらる．Anderson らの YouMove[2]では，視点を変更すること†沖電気工業株式会社 イノベーション推進センター© 2023 Information Processing Society of Japan162

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1A-13
2023/3/1

可視化システム

モーションキャプチャシステム
予め計測・保存

読み込み

見本
3Dデータ

熟練者の動作熟練者

リアルタイム
計測・送信

リアルタイム
3Dデータ

受信

重畳
学習者の動作（リアルタイム）

学習者

図 1 提案システムの全体構成図
で，奥行き方向の動きの差異を把握することはできる．しこのように XR 技術を用いた動作の練習・指導システム

かし，そのような機能があるのにも関わらず，ユーザアンは様々なものが提案されている．このようなシステムでは，

ケートでは「奥行き方向の差異が把握しにくい」といった映像を視聴するために，頭部に VR 機器を装着することが声があったと述べた．また，高橋ら[3]も類似した問題意識一般的である．しかし，頭部に装着する VR 機器は，疲労からシステムに複数のカメラを導入することが必要である感や不快感に課題があり，長時間装着することは難しい．と述べている．

Hoang らの Onebody[6]の検証実験では，動作は正確に学習

1.2.2 XR 技術を使用した動作教育システムし実践できるように なったが，ユー ザ アンケートでは

XR (本論では VR・MR・AR の総称として XR を用いる)

Skype によるビデオ指導の方が高く評価された．Hoang ら

技術で見本の動きに対し，自身の動きを重畳してユーザには，この結果について VR によるトレーニングは，VR に慣情報を提示するシステムも研究されている．このようなシれていないことから，ユーザが慣れ親しんでいる Skype のステムでは， HMD を装着することが多い．そのため，ユ評価が高くなったと考察している．Yang らが開発したトレーザに奥行き感覚を与えることができ，2D 映像と比較する

ーニングシステム[7]では，HMD を装着する必要はないが，と動きの差異が分かりやすいといった利点がある．

立体視用の機器を装着する必要がある．

Yang らは，HMD を使用し，一人称視点で見本の動きに対し，自身の動きを重畳表示することができる VR システ

2. 技能伝承システム

ムを開発した[4]．Yang らは，三次元空間上に手先で軌跡を我々は先行研究における課題を踏まえ，裸眼立体視可能描くという単純な動作を学習対象とし，システムの評価実な 3D ディスプレイを利用した技能伝承システムを提案す験を行い，実空間での教育と比較して，教育効果がほぼ変る．提案システムは，裸眼立体視が可能なことから，HMDわらないことを示した．などを装着することなく，ユーザに奥行き感覚を与えるこ

Hoang らは，インストラクターの動きをユーザの HMDとができる．また，提案システムはモーションキャプチャ上に表示し，同時に自身の動きも重畳可能な VR 空間上のシステムと可視化システムの二つのシステムから構成され太極拳遠隔支援トレーニングシステム Onebody を開発した

る．システムの構成図を図１に示す．まず，見本の動きは[5]．Onebody ではユーザに一人称視点の映像を提供するたモーションキャプチャシステムによって，3D データとしてめ，インストラクターと同じ視点をユーザに体験させるこ保存される．そして，学習時には，モーションキャプチャとができる．インストラクターの太極拳の姿勢との誤差でシステムと可視化システムが連携することで，見本に対しシステムを評価した結果，ビデオ映像よりも姿勢の誤差が自身の動きを重畳表示することが可能となる．以下，二つ小さくなり，Onebody の有効性を示した．のシステムについて詳細に述べる．

Han らも腕の重畳表示による一人称映像の太極拳の練習

2.1 モーションキャプチャシステム

システムを開発した[6]．Han らが開発したシステムは，AR本システムは製造現場の技能伝承を主な対象とし，工場技術を用いたシステムであり，実空間上に見本の腕の動き内での使用を想定している．工場内は製造機器などが数多を提示し，自身の腕をそのまま重ね合わせることができる．

く存在し，大規模なモーションキャプチャシステムを導入

Yang らは，溶接作業を対象とし，溶接トーチのガイド用することはできない．よって，我々は小型のセンサを二つ映像に重畳して，学習者のトーチを表示するシステムを開使用してモーションキャプチャを行うシステムを採用した．

発した[7]．このシステムでは，ユーザが NVidia 社製の立体

全身姿勢のモーションキャプチャは Microsoft 社製の視用の機器を装着して，3D 映像を提示することが可能である．

© 2023 Information Processing Society of Japan163

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

リアルアバター
（熟練者）

1A-13
2023/3/1

スティックアバター（学習者）

図 3 技能伝承システムの重畳表示画面

図 2 熟練者の動作再現用アバターと学習者の動きを再現するアバターの外観※

る．また，スティックアバターの周りには，見本のアバタ

Azure Kinect を用いて行う．Azure Kinect によるモーショーの形状に合わせた輪郭線を表示する．これら二つのアバンキャプチャでは，全身の合計 32 関節の位置と関節角度

ターを図 3 に示した画面表示例のように重畳表示することを取得する．Azure Kinect は，全身をキャプチャできる位置で，見本の動きとの差異を分かりやすく表示する．以下，に三脚を用いて設置する．

可視化システムにおける特徴的な機能について詳細に示す．

手先のモーションキャプチャでは Ultraleap 社製の IR170

2.2.1 重畳表示を使用する．IR170 は各手先 22 関節（左右合計 44 関節）可視化システムはモーションキャプチャシステムと組みの位置と関節角度を取得する．IR170 はウェアラブルのセ合わせることで，見本の動きに対しリアルタイムに学習者ンサとし，頭部もしくは頸部に装着する．

自身の動きを重畳表示することができる．可視化システム

これら二つのセンサを用いて合計 76 関節の 3D データをにも通信機能があり，モーションキャプチャシステムから記録することで，全身姿勢の情報に加え，手先の詳細な関は，各関節の推定情報（位置・姿勢など）を受信し，デー節の動きも保存することが可能となる．

タを受信するたびにその情報をもとにアバターの動きを更また、リアルタイムに計測した自分の動きの 3D データ

新する．この重畳表示機能により，見本と自身の動きの差を可視化システムに送信することで、蓄積された手本デー異が明らかになり、容易に把握できるようになった．また，タの動きと、自分自身の動きを重畳して表示することが可

見本の動きの速さを調整，停止することも可能であり，ユ能となる（詳細は後述する）．

ーザがより見本の動作を模倣しやすくなることが期待でき

2.2 可視化システム

る．

可視化システムでは，SONY社製の3DディスプレイELF-

2.2.2 アバターの色の変化

SR1を使用する．ELF-SR1は裸眼立体視が可能なディスプユーザが見本との差異をより把握しやすくするために，レイであり，ユーザの右目と左目に合わせた映像を出力し，見本との動きと比較して色を変化させる機能を導入した．

左右の視差によってユーザに3D映像を提供する．上記モーユーザの動きをリアルタイムで再現するアバター（スティションキャプチャシステムより記録された全身の関節のックアバター）と見本のアバター（リアルアバター）の動3Dデータを読み込み，各関節の関節角度をもとに3Dの人間きを比較し，見本との差異によって，アバターの色を変化アバターとして，キャプチャされた動きを再現できる．まさせることができる．見本に近い動きをすることで青に変た，学習者自身の動きを計測して，見本の動きに重畳して化し，異なった動きをすると赤く変化する．この機能によ自身の動きを確認することができる．熟練者の技術を再現

り，ユーザが見本との動きの差異を色で判断することがでする見本のアバターと学習者の動きを再現するアバターのき，容易に確認することができる．また，奥行きが分かり外観を図2に示す．図2に示したように，今回は見本のアバにくい 2D 映像であっても，色で違いを判断することで，ターは男性の形状をした半透明のリアルアバターとした．

通常の 2D 映像による重畳表示よりも分かりやすく動きのそれに対し，学習者の動きを再現するアバターは関節点を差異を把握できることが期待できる．

球，その間を円柱で表現したスティックアバターとした．
スケール（腕・足の長さ）は，見本のアバターと同一であ※Azure Kinect は、米国 Microsoft Corporation の米国およびその他の国における商標または登録商標です．

© 2023 Information Processing Society of Japan164

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1A-13
2023/3/1

ユーザにとって動きの違いの理解を容易にすることができ
表 1 評価実験における比較対象映像コンテンツの条件

る．

条件No.

映像形式

関節点の色の変化

今後は，3 章で述べたシステム評価実験を実施し，提案

1

2Dなし

システムの評価を行う予定である．評価実験では，アンケ

2

2D

あり

ートやインタビューによるユーザの主観分析，見本と実際

3

3D

なし

43Dありの動きの違いを比較した客観分析で，評価する予定である．
また，動作を定着させる仕組みをシステムに取り入れることも課題として挙げられる．見本の動きに対して，重畳表示を行い，動きの学習をした場合，見本がなくなったと2.2.3 視点変更

きに学習した動作を正確に実践できない可能性がある．よモーションキャプチャシステムでは，人間の動きを 3Dって，見本がなくなった場合にも正確に動作を実践できるデータとして保存，また可視化システムに送信する．そのように，動作を定着させる仕組みを取り入れる必要がある．

ため、リアル、スティック双方のアバターで再現された動きを様々な視点で確認することができる．また，視点を連参考文献続的に切り替えることが可能であり，ユーザの見やすいと[1] “2021 年「後継者不在率」調査”, https://www.tsrnet.co.jp/news/analysis/20211118_01.html (参照 2022-11-22).
[2] Fraser Anderson, Tovi Grossman, justion Matejeka and George
Fitzmaurice, “YouMove: Enhancing Movement training with an
Augmented Reality Mirror”, UIST 2013 - Proceedings of the 26th
Annual ACM Symposium on User Interface Software andTechnology, pp. 311-320, 2013.
[3] 高橋 雅人, 林 貴宏, 尾内 理紀夫, ““振り”の練習を支援す
るインタラクティブシステム“, インタラクション 2004, pp.
97-104.
[4] Ungyeon Yang and Gerard Jounghyun Kim, “Implementation andEvaluation of “Just Follow Me”: An Immersive, VR-Based,
Motion-Training System”, Presence, vol. 11, no. 3, pp. 304-323,
2002.
[5] Thuong N Hoang, Martin Reinoso and Frank Vetere, “Onebody:
Remote Posture Guidance System using First Person View in
Virtual Environment”, Proceedings of the 9th Nordic Conferenceon Human-Computer Interaction, no. 25, pp. 1-10, 2016[6] Ping-Hsuan han, Kuan-Wen Chen, Chen-Hsin Hsieh, Yu-Jie Huangand Yi-Ping Huang, “An-Arm: Augmented Visualization for
Guiding Arm Movement in the First-Person Perspective“,Proceeding of the 7th Augmented Human International Conference,
No. 31, pp. 1-4，.
[7] Ungyeon Yang, Gum A. Lee, Yongwan Kim, Dongsik Jo, Jinsung
Choi and Ki-Hong Kim, “Virtual Reality based Welding Training
Simulator with 3D Multimodal Interaction”, International
Conference on Cyberworlds, pp. 150-154, 2010.

感じる視点で止めることも可能である．本論では，「3D 映像における重畳表示の効果」と「アバターの色の変化」の二点を確認するため，後述する評価実験では視点変更による効果は検証しない．

3. システム評価実験
提案したシステムにおいて，3D 映像による重畳表示とアバターの色の変化が教育効果へ与える影響を確認することを目的として，簡易的な動作を対象として検証実験を行った．実験では，重畳表示が可能な四条件の映像コンテンツで，動作を学習する．学習後は，見本を確認せずに学習した動作を実践する．このときの動作を計測し，見本の動きと比較することで，教育効果の評価を行う．また，各条件の主観評価を目的として，各条件についてアンケートを実施する．実験の結果については後日報告する．
また，実験で比較する四条件の映像コンテンツを表 1 に示す．前述の通り．本実験では，3D 映像による重畳表示とアバターの色の変化が教育効果へ与える影響を確認することを目的とした．そのため，条件 1, 2 間，条件 3, 4 間で比較し，2D 映像と 3D 映像のそれぞれにおけるアバターの色の変化による影響を確認する．また，条件 1, 3 間，条件 2,4 間を比較することで，3D 映像で重畳表示をしたときの教育効果を確認する．

4. 結言
本論では，見本の動きに対し，自身の動きをリアルタイムで重畳表示することのできる技能伝承システムを提案した．提案システムでは，裸眼立体視可能な 3D ディスプレイに出力する．そのため，ユーザに奥行き方向の動作も分かりやすく提示することができるため，見本の動きに対して，より簡単に自身の動きを重ね合わせることができ，教育効果が向上することが期待できる．また，見本の動きとの違いに応じてアバターの色に変化を与えることによって，© 2023 Information Processing Society of Japan165