情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B21
2018/3/5

OCR 技術を活用した電子回路図からAR を利用した三次元水路図への自動変換システムの構築
安達 拓也1

小島 有貴2

濱川 礼3

概要：本論文では OCR 技術を活用した電子回路図から AR を利用した三次元水路図への自動変換システ
ムの構築について述べる. 中学生の教育過程における「電流」単元は苦手かつ興味を惹きにくい単元であることが報告されている. 中学生の「電流」単元の苦手対策として電気を水に変換する指導方法が存在し,効果がある事が実証されている. そこで筆者らは電子回路図から AR を利用した三次元水路図への自動変換システムを作成, 効果の実証を行なった. しかし, 電子回路図から「電圧値」「抵抗値」「電流値」を読み取ることができず手入力になっており完全な自動化は不可能であった. そこで, 本論文では電子回路図から三次元水路図に自動変換する際に必要な電子回路図中の「電圧値」「抵抗値」「電流値」を OCR を利用し取得することで値を入力する煩雑さをも解消するシステムの構築を行なった. また, 本システムの有効性を検証する.

Construction of automatic conversion system from electronic circuit
diagram utilizing OCR technology to 3D waterway diagram using AR
Adachi Takuya1

Kojima Yuki2

Hamakawa Rei3

Abstract: In this paper, we describe an automatic conversion system from electronic circuit diagram utilizing OCR technology to 3D waterway diagram using AR. It is reported that the ”current” unit in theeducational process of junior high school students is a weak and uninteresting unit. There is a teaching
method to convert electricity into water as a measure against the ”current” unit of junior high school students, and it has been demonstrated that it is eﬀective. Therefore, the authors created automatic conversion
system from electronic circuit diagram to 3D waterway diagram using AR, and demonstrated the eﬀect.
However, it was impossible to read ”voltage value”, ”resistance value”, ”current value” from the electronic
circuit diagram and it was manually input and complete automation was impossible. Therefore, in this paper,by acquiring ”voltage value”, ”resistance value”, ”current value” in the electronic circuit diagram necessary
for automatic conversion from electronic circuit diagram to 3-dimensional waterway diagram using OCRvalue We also built a system that eliminates the complication of entering the data. In addition, a verification
experiment was conducted to verify how eﬀective the proposed system.

1. はじめに学生の「電流」単元の苦手対策として「電気」を「水」モデルに変換する指導方法が存在する [2]. これは不可視な「電中学生の教育過程における「電流」単元は苦手かつ興味気」を「水モデル」に変換することで可視化し, 理解促進を惹きにくい単元であることが報告されている. 2003 年のに繋げる指導方法である. そこで筆者らは電子回路図から

国立教育政策研究所の調査によると中学生を対象に行ったAR を利用した三次元水路図への自動変換システムの構築調査では「電流」単元は「よくわからなかった」単元としを行なった [3]. このシステムにより学生の「電流」単元のて全 27 単元中で 2 番目に位置している [1]. このような中理解促進や学習意欲向上に繋がる事が示唆された. しかし,

1
2
3

中京大学情報科学研究科情報科学専攻
中京大学情報理工学部情報システム工学科
中京大学工学部情報工学科© 2018 Information Processing Society of Japan

電子回路図から「電圧値」「抵抗値」「電流値」を読み取ることができず値は手入力になっており完全な自動化は不可

942

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B21
2018/3/5

能であった. そこで本研究では OCR を利用し電子回路図スから検索し, その選手の情報を AR を利用して表示してから「電圧値」「抵抗値」「電流値」を読み取ることで手動いる.

であった「値の入力」を自動で行う. そして三次元水路図へと完全な自動化が可能なシステムを構築し, 本システムの有効性を検証する.

2.3 AR を利用した教育支援システム
AR を利用し, 不可視な事象を可視化する事で教育の効果を向上させる研究がある. Thuong らは理学療法分野にお2. 関連研究

ける教育の効果を向上させるために AR やプロジェクショ

2.1 電気から水への変換

ンマッピングを用いて筋肉や骨格の動きを投影するシステ

電気を水に変換する研究の一つとして倉信らの研究がある [2]. この研究では電気を水に変換する事で電流や電圧,抵抗を視覚的に捉えることが可能な教材を開発している.

ムを開発する事で理学療法分野における学生の理解を深めることに成功している [6].

Sergio らは AR を用いて地質学を学べる実際の砂を利用

この教材を用いて授業実践する事で学習者に対して回路をしたシステムの開発をした. この研究では等高線や水の動流れる電流や各区間に加わる電圧への理解を促す事が可能

きを直感的に遊びながら理解することが可能になった [7].になった事を明らかにしている.

2.4 本システムと関連研究との位置付け
倉信らの研究は「電圧値」と「抵抗値」しか設定できないのに対して本システムでは「電流値」も設定できる. これは中学生対象の参考書 [8] を調査したところ電子回路に関する問題の中で「電流値」を設定しなければならない問図 1

題は 5 割もあるため必須な機能と言える. また, 鈴木らや倉信らが開発した教材

Samantha らの研究は OCR を用いる事でユーザーの負担軽減を図っており結果として, 利便性が向上しているため

2.2 OCR を利用したシステム

本システムでもユーザービリティの向上を目指す. Thuong

OCR を利用する事でユーザーの負担軽減や利便性の向らや Sergio らの研究は AR を利用し, 不可視な事象を可視上を図っている研究がある. 鈴木らは OCR や GPS, デー化する事で教育の効果を向上させているが, 学習内容が理タベースを組み合わせる事でレシートから購買情報を取得

学療法分野や地質学分野であるのに対して本システムは電する際のユーザーの負担軽減を可能にしたシステムを開発気分野である.

している [4]. この研究では, ユーザーの手入力の手間を軽減させるために過去の購買履歴を用いた相互自動補完機能

3. システム利用イメージを提案している. この機能は店名・住所・電話番号は一意

本システムの利用イメージを図 2 に示す. ユーザーが参に対応するという考えのもと OCR を用いて店名のみが読考書の問題を写真撮影すると電子回路図を三次元水路図へみ取られた場合や, GPS を利用して店名を取得する事で購と自動変換するためにシステム内部で画像処理や回路解析,買情報が格納されたデータベースから過去に購入した住所サーバー上で OCR を行う. システム内部やサーバー上のや電話番号を検索し自動で補完する.

処理終了後, ユーザーはマーカーにタブレット端末をかざSamantha らは OCR と AR を組み合わせる事でスポーすだけで三次元水路図を閲覧する事ができる. また, 電圧値

ツを会場で観戦する際に選手の情報を取得可能なシステムや抵抗値を変化させ三次元水路図を動的構築する事で電流を開発した [5]. ユーザーが撮影した写真の画面中央にいる値が変化する機能を搭載した. この機能によってユーザー選手のユニフォームの色と背番号から選手名をデータベーは「電流」の変化についてより深く学習可能になる.

図 2© 2018 Information Processing Society of Japan

システム利用の流れ943

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B21
2018/3/5

4.1 画像処理部

4. システム概要

ユーザーが写真撮影した電子回路図に対して画像処理を本システムは画像処理部, 回路解析部, UI 部から構成さ施す事で「電源」「抵抗」「導線」「電気計器」を検出し, それている. システム概要を図 3 に示す. 本論文では画像処の後「電圧値」「抵抗値」「電流値」の文字認識を行う. ユー理部, UI 部を取り挙げて説明する. 「電源検出部」「抵抗検ザーが撮影した写真の例を図 4 に示す. これは中学生の参出部」「導線検出部」は画像処理を用いて「電源」「抵抗」

考書 [8] で出題されている電子回路図である. 以下で述べ「導線」を検出する. 回路解析部は画像処理部で取得した各る電気計器検出部で利用する全ての閾値は [8] の問題に対素子の座標から回路構築を行い, OCR やユーザーが入力しして画像処理を施した結果から精度が高いものを採用した.

た値を元に回路計算を行う. 「電源検出部」「抵抗検出部」

図 4 に対する問題を下記に示す.

「導線検出部」「回路解析部」の詳細については [3] を参照• この回路全体の抵抗は何 Ω か？

されたい. マーカー認識には Vuforia[9] を利用し, 画像処• 抵抗 R1 にかかっている電圧は何 V か？

理には OpenCV for Unity[10] を利用している.

• 抵抗 R2 にかかっている電圧は何 V か？
• 抵抗 R2 は何 Ω か？
4.1.1 電気計器検出部「電源検出部」「抵抗検出部」「導線検出部」の処理終了
後, ユーザーが写真撮影した電子回路図 (図 4) から「電気計器」を検出する. 本論文で検出する電気計器は「電流計」「電圧計」のみであり, 日本工業規格 [11] で円の中に「A」か「V」と定められているため本節では円形を検出する. 電気計器検出の流れを図 5 に示す.
電気計器検出部ではまず, ノイズ除去のために 2 値化を

図 3 システム概要行う. その後, 確率的ハフ変換を用いて円検出を行った結果が電気計器である.

4.1.2 文字認識部
文字認識部では電子回路図に記載されている「電圧値」「抵抗値」「電流値」を OCR を用いて認識する. 「電圧値」「抵抗値」「電流値」は「電源」「抵抗」「電気計器」の座標の下部に記載されていると仮定する. これは [8] を調査したところ 12 問中, 各素子の上部や下部に値が記述されている問題が（上部：5 問, 下部：4 問, 他：3 問）あるが, [8] の中で最も難しい問題 (図 4) が下部に記載している為, 本論
文では下部に値が記載されているという前提で処理を行う.
上部や他の値の処理は今後の展望として行う. 文字認識の流れを図 6 に示す. ここでの下部とは図 6 の左図中の破線
図 4で構成される四角形を示す. 破線で構成される四角形の中ユーザーが撮影した写真の例

心座標は各々の素子の中心座標から下に 100 ピクセル (閾値 A) ずれた点に存在し, サイズは横に 100 ピクセル (閾値B), 縦に 55 ピクセル (閾値 C) である.

図 5

© 2018 Information Processing Society of Japan

電気計器検出の流れ

944

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B21
2018/3/5

図 6 文字認識の流れ

文字認識部では閾値を一定にするために, 画像を 512 ピ• 電源表示部
電圧値の大小に応じて水路の高さを変化.

クセル× 512 ピクセルにリサイズする. その後, 「電源」「抵抗」「電気計器」の下部, 図 6 の左図中の破線で構成さ• 抵抗表示部
抵抗値の大小に応じて水車の大きさを変化.

れる四角形をトリミングしサーバーへ送信する. そして,サーバー上で OCR を行い文字を Android 端末へと返信す• 水路表示部

る. 第 4.1.1 節では本節で取得した文字の単位が「A」なら電流値の大小を水の流量で表現するために波や魚の泳電流計, 「V」なら電圧計と判別する.

ぐ速さを変化.

4.2.2 入力・ボタン部
入力・ボタン部ではユーザーの入力を受け付ける事で三4.2 UI 部
UI 部は AR 表示部と入力・ボタン部から構成されてお次元水路図に様々な変更を加える事を可能にする. 利用方

り, 回路解析部で得られた回路情報を元に電子回路図を三法と各ボタンの説明を記す. 本システムを起動し, タブレッ

次元水路図へと変換する.

ト端末のカメラをマーカーに向けると初期画面が起動する

4.2.1 AR 表示部（図 7）. 各素子の下部に「電圧値」「抵抗値」「電流値」がAR 表示部では AR を用いて, 電子回路図を三次元水路が手入力を行う. 値の設定方法はポンプや水車をタッチし図へと変換する.

図 7© 2018 Information Processing Society of Japan

記載されておらず, 値が入力されていない場合はユーザー

初期画面

945

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

図 8

図 9

3B21
2018/3/5

電子回路図から三次元水路図へと自動変換した結果の画面

図 8 の電圧値と抵抗値を再設定し, 電圧値と抵抗値から三次元水路図を再構築した結果の画面
ポンプ:30[V], 水車 (左:20[Ω], 右奥:40[Ω], 右手前:10[Ω])上部にあるスライダーの値を変更した後に「値を挿入」ボタンを押す.
そして, 「回路作成」ボタンを押すと三次元水路図が自5. 評価
5.1 AR 教材としての有用性の評価

動構築される（図 8）. ユーザーは図 8 から回路の働きや本システムを利用することにより「電流」単元の理解促各素子の働きを視覚的に学習する事が可能になる. 例えば進に繋がるかどうかを検証するために評価実験を行った.

水流（電流）が並列に分岐する前と合流した後の水流（電まず, 実験参加者である理系の大学生 10 名を本システムを流）の速さは同値になるという事や抵抗が並列に繋がって利用する実験群と利用しない統制群に分けた. 実験群は本いる箇所では抵抗に対して同値の電圧がかかることを視覚システムを用いて 20 分の学習を行った後にテストを行っ的に学ぶ事が可能になる.

た. 統制群は実験開始直後にテストを行った. テストは全

図 8 を作成した後に, 電圧値や抵抗値を再設定し三次元水10 問, 各 1 点で 10 点満点とした.

路図を動的構築する事で電流の変化を視覚的に学ぶ事がで実験群と統制群における点数を比較するために, 平均値きる. 例えばポンプに 30[V], 水車に (左:20[Ω], 右奥:40[Ω],の検定を行なった. それぞれの母平均には正規分布を仮定右手前:10[Ω]) を設定する. そして, 「再構築」ボタンを押した. まず等分散の検定を行なったところ, 表 1 の結果がす事で三次元水路図が変化する（図 9）. ユーザーはこの得られた. そこで, t 検定を有意水準 5%で行なったところ,機能によって二次元では表現できない「電流の変化」を視

t = 0.81, P > 0.05 となり平均点の差は 1.8 あったものの有覚的に見る事が可能になる.

© 2018 Information Processing Society of Japan946

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B21
2018/3/5

意差は見られなかった.

がおらず, 実験群からは「システムを利用したから正答で変数

実験群

統制群

差

データ数550

平均値8.87.0

1.8

標準偏差

1.2

2.0

-0.8

等分散の検定統計量:f
判定

きた」といった声があった. このことから, 本システムの電圧を「高さ」で表現する可視化手法は効果的だったと考えられる.

母平均の差の検定

1.47

統計量:t

P > 0.05
判定
表 1 t 検定結果

0.81
P > 0.05

図 105.2 画像処理の精度に関する評価
5.2.1 各素子の検出率に関する評価
画像処理を用いて電子回路図から各素子の検出率を算出

テストに出した問題の 1 つ

7. 終わりにする. 評価方法はタブレット端末のカメラを使用して撮影

本研究では電気を水に変換し AR を用いて表示する事で,した電子回路図から「電源」「抵抗」「導線」「電気計器」の中学生の「電流」単元の理解促進や学習意欲向上に繋がる検出率を算出する. また, 中学生対象の参考書 [8] に出題さシステムの開発と効果の検証のために評価実験を行なった.

れている 12 問を対象に行なった. 各素子の検出率を表 2 に評価実験の結果から平均点は向上するもののシステム利示す. 電源が一つ未検出, 抵抗が一つ誤検出だった. 電源が用時, 非利用時の成績上昇点数に有意差があるとは認めら未検出だった理由は電源記号が若干小さく縦の線を検出でれなかった.

きなかったためである. 抵抗を誤検出した理由は 5 角形を4 角形と判別してしまう事があったためである.

今後の課題は第 4.1.1 節で述べた, 各素子の上部に記載されている値にも対応する事や中学生を対象に評価実験を行い, 本システムの有用性を調査していく事である.

素子

計測数

正検出

検出率

未検出

誤検出

電源

121191.6%

10

抵抗242395.8%

01

参考文献

導線

2424100%

00[1]1414100%0
表 2 各素子の検出率に関する評価

0

電気計器

[2]

5.2.2 三次元水路図の構築に関する評価
各素子の検出率を利用して三次元水路図の構築が可能な[3]割合を算出する. 三次元水路図を構築する際に必要な「電圧値」「抵抗値」「電流値」の手入力は可能とする. 三次元
水路図を正しく構築するためには各素子が全て正検出であ[4]り, 未検出や誤検出がない必要がある. つまり今回の評価
実験では電子回路図 12 枚中 2 枚に対して, 素子の未検出や[5]誤検出があったため 12 枚中 10 枚 (83.3%) が三次元水路図を正しく構築できる割合となる.

[6]

6. 考察
第 5.1 節の結果から平均点は向上するもののシステム利[7]用時, 非利用時の成績上昇点数に有意差があるとは認められなかった. 有意差があるとは認められなかった要因は実験対象者が理系の大学生であり, 統制群でも平均 7.0 点と[8]れる問題になってしまったことで実験群と差が出なかった事だと考えられる. 今後は中学生を対象に評価実験を行うことで本システムの有効性を調査する. 一方で本システム[9][10]の効果が見られた問題がある. 図 10 は統制群の 5 人中 2 人が間違えた問題である. この問題では実験群は間違えた人© 2018 Information Processing Society of Japan[11]平 成 15 年 度 小 中 学 校 教 育 課 程 実 施 状 況 調 査,http://www.nier.go.jp/kaihatsu/katei_15, 国立教育政策研究所，2003 年.
倉信充人, 塚田真也, 栢野彰秀, 自作「水流モデル」による中学校理科「電流」単元の授業実践, 島根大学教育臨床総合研究,Vol.14, pp.141-155,2015 年.
安達拓也, 小島有貴, 濱川礼, 電子回路図から AR を利用した三次元水路図への自動変換システムの提案. 第 175 回
ヒューマンコンピュータインタラクション研究会，2017 年.
鈴木和希, 堀見宗一郎, 新井イスマイル, 西見信彦, レシー
トログを用いたユーザ行動認識の支援機構, DICOMO，2011 年.
”Samantha Bielli,Christopher G.Harris”,”A mobile augmented reality system
to enhance live sporting events”, IDC,2013.
”Thuong Hoang,Martin Reinoso,Zaher Joukhadar,FrankVetere,David Kelly”,”Augmented Studio: Projection
Mapping on Moving Body for Physiotherapy Education”,
CHI,2017.
”Sergio Alvarez Sanchez,Laura Delgado Martin
Miguel Angel Gimeno Gonzalez,Teresa MartinGarcia,Fernando Almaraz Menendez,Camilo Ruiz”,”Augmentedreality sandbox: a platform for educative experiences”,
TEEM,2016.
くもんの中学基礎がため 100 中 2 理科 第 1 分野編―学習指導要領対応 粒子・エネルギー, くもん出版,2012 年.
Vuforia ,https://developer.vuforia.com/, PTC.
OpenCVforUnity,
https://www.assetstore.unity3d.com/jp/#!/content/21088, EnoxSoftware.
日本工業規格 ,http://www.jisc.go.jp/jis-act/.

947