北信越地区

教育システム情報学会 2020年度学生研究発表会

電子回路学習における回路作成支援のための AR システムの開発
Developing an Augmented Reality System to Support Circuit
Manufacturing in Electronic Circuit Learning
堀口 優*1， 太田 光一*1， 長谷川 忍*1
Suguru HORIGUCHI*1， Koichi OTA*1， Shinobu HASEGAWA*1*1 北陸先端科学技術大学院大学*1Japan Advanced Institute of Science and Technology
Email: s1910191@jaist.ac.jp
あらまし：電子回路学習において，理論を学ぶことと回路を作成することの両方が重要となる．しかし，技術は実際に経験を通じ学ぶことが出来るが，効率良く学べる教材は少ない．そこで，作成技術に主眼を置いた学習支援が必要となる．本研究では，回路作成技術の学習支援を行うために，回路の判別機能と配線ナビゲーション等のコンテンツを実装した拡張現実感(AR)によるシステムを提案する．本稿では，システムの回路状態の判別評価とコンテンツのレビューを行った．
キーワード：電子回路学習，AR，学習支援

1.

2.

はじめに電子回路の設計は，素子の配置や配線の自由度が高い．適切な回路を作成するためには，理論だけでなく，経験や直感も重要であり，実際の電子回路の作成を通じて学ぶ必要がある．しかし，回路作成では，回路の設計に加え，回路に関する知識と配線や誤配線の判別の技術が必要となる．また，一般的な教科書には多くの場合，理論を学習するために必要な内容のみが記されており，経験を通じて学ぶ回路作成技術を効率よく学習できるものがほとんどない．
一方，電子回路学習における回路作成技術のような現実の作業を学習する支援方法の一つとして拡張現実感(AR) が注目されている（1）．AR は，現実空間上へコンピュータ上で生成された 3D オブジェクトや動画等のコンテンツを重ね合わせることで，現実に仮想情報を拡張させたかのように表示する技術である．電子回路学習においても，AR が応用される研究も存在するが，そのいずれもが，理論の学習支援に主眼が置かれており，技術に対する学習支援が行われていない（2）．その一方，回路と回路上の素子の位置情報を利用することで，学習者の作業進捗に合わせたナビゲーションや誤配線箇所のフィードバック等のコンテンツを AR として現実空間上に提示できることから，技術に対する学習支援の効果が期待される．ただし，学習者の進捗に合わせた学習支援には，電子回路の状態を判別する必要がある． その電子回路の状態判別は，回路本体と回路上に存在する素子の検出し，その検出結果から素子の接続状態を推定することで実現できる．しかし，既存の ARライブラリによる検出手法では，素子が小さすぎるという要因から，検出が難しいといった課題がある．
そこで本研究は，電子回路学習における回路作成支援のための AR システムの開発を目的に，回路上の素子の検出精度の向上するための手法の提案，ARシステムの提案と実装を行う．

49

本研究の対象本研究では電子回路学習の初学者を対象にした学習支援システムの開発を行う．そのため，電子回路には，書籍「Arduino をはじめよう」に記された回路を対象とし，機材としてブレッドボードと 9 種類の素子を使用した．

3.

YOLO による素子の検出手法

4.

提案する AR システムYOLOv3（3）は，深層学習を用いた物体検出のアルゴリズムである．YOLOv3 による物体検出は，検出とクラス判別を同時に行うことで，処理を高速化した手法であり，高精度かつリアルタイム向けの物体検出を行うことができる．本研究では，素子の検出手法に YOLOv3 を用いることにした．同時に素子とブレッドボードの穴との一致箇所も検出し，その予測領域の中心点から実際のブレッドボード上での接続状態を推定した（図 1）．素子の検出モデルの学習に使用した画像は，実際に回路上に配置されている素子を各約 5000 枚程度使用した．

システムは Unity を用いて開発し，AR 機能の実装のために，AR ライブラリの一つである Vuforia を使用した．現状の AR システムには，回路上への配線箇所のナビゲーション表示機能， 回路の誤配線のフィードバック機能の提案と実装を行った．
配線箇所のナビゲーション機能は， 直感的な回路作成を支援することを目的に，回路上に次に配置する素子の 3D オブジェクトとその位置を示すマーカーを表示する．また，回路の左上に確認用に完成時の回路画像を表示させる（図 2）．
誤配線のフィードバック機能は，学習者が誤配線した場合，間違いであることと正しい配線位置をフィードバックすることで，学習者がミスのパターンに気付きやすくすることができる（図 3）．

北信越地区

教育システム情報学会 2020年度学生研究発表会

表 1 各素子の検出精度(a) 素子の検出(b) 素子と穴の一致箇所の検出
図 1 YOLOv3 による検出

6.

適合率

再現率

F値

抵抗

0.982

0.860

0.854

スイッチ

0.961

0.949

0.951

光センサ

111LED

10.9780.978

リレー

10.7500.833

FET

10.385

0.619

ダイオード

10.6670.727

温湿度センサ

0.933

0.933

0.938

ジャンパー線

10.779

0.823

実験結果

6.1 実験結果１

各素子に対する検出精度は表 1 のとおりである．
また，すべての素子に対する検出精度は適合率0.985，再現率 0.853，F 値 0.915 となった．この結果から，すべての素子に対して適合率が高いことが分かる．一方で，全体の再現率は適合率と比べ，低くなる結果となった．
6.2 実験結果 2

図 2 配線箇所のナビゲーション

アンケート結果から，AR システムは，紙媒体の学習法より分かりやすさ，学習の行いやすさ，両方の項目で優れているという結果が得られた．また，
AR による位置の表示は，直感的に分かりやすいといった反面，マーカーの表示がぶれて見にくくなることがあったといった意見が得られた．
各機能に使用した UI はそれぞれ分かりやすいという結果が得られた．また，フィードバック機能のUI に，間違えた箇所と正しい箇所のずれた差を表示してほしいなどといった意見が得られた．

7.

図 3 誤配線のフィードバック

おわりに

本研究では，電子回路学習における回路作成支援のための AR システムの開発を目的に，回路上の素子の検出精度の向上するための手法の提案，AR システムの提案と実装を行った．作成した素子の検出モデルは，適合率は十分に高いがといえるが，再現率は高いといえないのが現状である．そのため，さらなる検出精度の向上が今後の課題となる．また，提案した AR システムの機能として，アンケート結果をもとに新たな機能を実装することも今後の課題となる．

5.

評価実験
本研究では，素子の検出精度に関する評価と現段階における AR システムの評価をそれぞれの実験方法で行った．
5.1 素子の検出精度に関する評価実験
素子の検出精度の評価実験では，学習データとは別に用意した実際の回路実験から得た実験用データ
105 枚に対して，素子の検出を行い，その各素子に対する適合率，再現度，F 値を調べた．
5.2 提案した AR システムの評価実験

参考文献(1) 山本翔:“AR/VR の教育・学習支援システムへの利用と課題”，教育システム情報学会誌，Vol. 306, No.2, pp.
49-56（2019）(2) 綿貫啓一, 楓和憲, 武藤雅大,“拡張現実感技術を用いたメカトロニクス教育支援システムの開発”, 工学教
育(J.of JSEE), Vol. 60, No. 6, pp. 99-105 （2012）(3) J. Redmon, S. Divvala, R. Girshick, A. Farhadi, “YouOnly Look Once: Unified Real-Time Object Detection”,
IEEE CVPR, pp. 779-788（2016）

提案した AR システムの評価実験として，被験者に対して，はじめに，開発したシステムを使用し，回路作成を依頼した．その後，学習法の比較のため，紙媒体に記された回路を作成してもらった．
最後に，それぞれの学習方法についての分かりやすさ，学習の行いやすさの比較とシステムの UI に関するアンケートを行った．

50