2022 年度 修士論文

論文題目
小児の口腔ケア習慣向上を目的としたゲーム性のある AR
歯磨き教育システム(AR tooth brushing system with game elements to improveoral care habits of children)

指導教員
舟橋

名古屋工業大学大学院

工学専攻

2021 年度入学

近藤

健司

准教授

情報工学系プログラム

33414053 番

春希

i

目次
第 1 章 はじめに

1

第 2 章 従来のシステム

52.1

システムの構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.2

学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.3

実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

第 3 章 ゲーム性のある歯磨き教育システム

13

3.1

システム全体の流れ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.2

注目領域の検出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.3

注目領域の追跡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.3.1

歯ブラシが口元にある時 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.3.2

歯が完全に隠れた時 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.4

歯磨きの判定と表示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.5

学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

第 4 章 実験

4.1
4.2

動作確認 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
検証実験について . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29
29
29

第 5 章 結び

34

謝辞

35

参考文献

36

発表論文リスト

38

1

第1章

はじめに

虫歯や歯周病は歯垢によって引き起こされる [1]．虫歯は歯垢が歯の表面に長期間付着しているとその部分が酸性に傾いて歯質が脱灰することによって発生する．また，歯周病は歯垢が長期間歯肉に接触すると炎症が起こることで発生する．そして，虫歯や歯周病を防ぐためには歯垢の除去が必要である．しかし，歯垢は口内細菌が複合して歯の表面に付着したもので細菌が粘液を出すため強い粘着性がある．そのためそれを取り除くためには歯を磨く必要がある．歯磨きを通じて口の健康を保つ
ことによって口の中だけではなく全身を健康にすることが期待できる [2]．口をきれいにするためには自分の口の特徴や食べかすやプラークという細菌の塊が残りやす
い部分について理解し，自分に適した清掃道具を使用する必要がある．ところで，虫歯は進行度合いによって C1 ，C2 ，C3 ，C4 という段階がある [3]．C1 は初期の虫歯のことであり，歯の固いエナメル質に存在し自覚症状がほとんどなく，発見することが困難であり，治療を受けても痛みを感じないことが多い．C2 は歯の象牙質に及んだ虫歯で，初期は自覚症状はないが，虫歯が象牙質に進行すると象牙質はエナメ
ル質と比較してやわらかいため急速に歯質の破壊が広まる．また，治療の際は象牙質の深部には歯髄の神経の末端部が存在するので痛みを感じる．C3 は虫歯が歯髄に達した虫歯の状態である．この時に歯髄炎が起きると硬組織に囲まれている歯髄腔の中に歯髄が存在するので炎症による進出物が外部に排出されにくくなり神経を圧迫することで痛みを感じる．C4 は歯冠部の破壊がひどくなり，歯根だけが残っている状態の虫歯である．この状態になると歯根膜炎が起こり，放置すると歯根の先端に化膿した病巣ができる恐れがある．虫歯が与える肉体的な影響として病気の誘発
や噛む力の低下，偏食や小食がある．虫歯が C3 ，C4 の段階になれば歯を支える顎骨に化膿巣が形成され，病巣感染源になり体の抵抗力の低下，過敏性の体質の生成，リウマチ様疾患などを起こす恐れがある．虫歯が発生すると痛みが発生し，噛む力

第1章

はじめに

2

が減少したり，食べにくいものを食べなくなることで幼児の栄養摂取に悪影響を与える恐れがある．
乳歯は永久歯と生え変わることができるが，虫歯を放置していいわけではなく，虫歯は肉体的な影響や精神的な影響を子供に与える恐れがある．文献 [4] によると，幼児期に乳歯が虫歯に浸されると永久歯で虫歯を誘発する原因となる恐れや顎顔面の正常な発展に影響を与える危険がある．精神的な影響として劣等感，情緒不安定な状態になることもある．子供は虫歯が見えるところにあると口を人前で開くことをしないことがあり，それが劣等感につながる恐れがある．虫歯などの異常が歯にあるとその部分を触るようなことが習慣化して集中力を失った精神不安定な人格になることもある．そのため乳歯が生え始めてから歯磨きを始める必要がある．0 歳後半から 1 歳までは父親や母親が幼児用歯ブラシで歯を磨いたり，ガーゼや脱脂綿でふく必要がある．また，清掃性のある果物を与える必要がある．1 歳後半から 3 歳前半ごろの幼児は自分で歯磨きを始めるためのしつけを行う必要がある．この時にも清掃性のある食べ物を与えたり，親の手で歯の清掃を行う必要がある．1 歳後半から 3 歳ごろの幼児には親と一緒に歯磨きを行う必要がある．またこの時，歯磨きを楽しく行わせるようにしつつ奥歯などに注意を払わせる必要がある．3 歳ごろになると子供は自分で歯磨きを行えるようになっているので，歯磨き後に口の中を確認して，うまくできていればほめて子供が歯磨きを自力でするように促す必要がある．処置完了者を含んだ虫歯を持つ者は幼稚園児で 26.49 ％，小学生で 39.04 ％，未処置歯のある者の割合は幼稚園児で 15.42 ％，小学生で 18.42 ％である [5]．この結果から小さな子供にも虫歯の可能性は十分あるということが分かる．
文献 [6] によると，福祉専門学校在籍の 1，2 年生を歯科衛生士科，医療秘書科と栄養士科に分けて歯磨きに対する調査を行ったところ， 「歯周病を意識して歯磨きを行う者」，「齲蝕病（いわゆる虫歯）を意識して歯磨きを行う者」の割合は歯科衛生課の人の方が他学科の人よりも高く，さらに 2 年生は 1 年生の同学科の生徒と比較して割合が高かった．歯科衛生士科の 2 年生という歯磨きに対する教育を長く受けた人が歯磨きをする際に歯周病や齲蝕病に注意をしていることから歯磨きに対す
る教育は歯磨きに対する興味を上昇させると考えられる．歯磨き教育による歯磨きの意欲の向上は小学生にも効果があるのではないだろうか．文献 [7] からは，夏休み

第1章

はじめに

3

前の 7 月に実施した歯磨き教育の影響によって小学生の歯磨き行動の定着状況に向上が見られたが，歯磨き教育を行わなかった 8 月の夏休みを過ごした後の 9 月では低下していることがわかる．子供が歯磨き習慣をつけるためには教職員が歯磨きに対する指導を行うことができない自宅でも歯磨きに対する教育を定期的に行うことが重要である．
ばい菌は肉眼で見ることができず，正しい歯磨きについて学ばせることは困難である．歯垢染色液を使用した歯磨き指導は頻繁に行うには手間がかかる．そのため私は気軽に子供の歯にばい菌を表示させて見せることができれば子供の歯磨きに対する意欲を上昇させられると考えた．私はこれまでに小児の口腔ケア習慣を向上させるための歯磨き教育システムを提案している [8, 9]．このシステムは PC の内蔵カメラから取りこんだ画像に写る子供の歯の汚れやすい部分にばい菌のイラストをリ
アルタイムで表示するシステムである．子供の歯は個人によって様々である．そのため子供の歯の汚れやすい部分の検出に機械学習の結果を利用した．まず機械学習
アルゴリズム YOLO を利用して歯の汚れやすい部分の学習を行った．そしてシステ
ムの利用時には，PC のカメラから顔画像を取り込み，次に画像に写る歯の汚れやすい部分を学習結果を利用して検出し，該当部分にばい菌のイラストをリアルタイ
ムで重畳表示する．なお，ばい菌イラストの表示位置に実際に虫歯や歯垢が存在するわけではない．実際には肉眼で見えないばい菌が歯に存在するから取り除くために歯磨きをやらなければいけないということを子供にもわかりやすく伝え，子供の歯磨きに対する意欲を上昇させることが目的である．
前述の実験システムを実際に児童に利用してもらい，その親と児童にアンケートに答えてもらった．その結果，このシステムは歯磨き教育に効果があることを確認した．しかし，長時間検証実験を行っていると児童の興味は薄れていったようであった．歯磨きをしてもばい菌イラストが消えていかないためのようであった．そこで，
子供が歯ブラシを動かす動作に対応してばい菌のイラストを消去していくことで，子供のシステムに対する興味を高めることができるのではないかと考えた [10]．本
研究では一層の小児口腔ケア習慣向上を目的に，これまでに提案した AR 歯磨き教
育システムを改良する．具体的には，歯ブラシを使った歯磨き動作によりばい菌イ
ラストを消去していくゲーム性を付加する．また一旦ばい菌を消去した歯には再び

第1章

はじめに

4

ばい菌が表示されないようにしなければならない．そのためには，検出した歯ごとに追跡を行う必要もある．加えて，歯ブラシの柄の部分や手で一時的に隠された歯も適切に追跡する必要がある．これまでのシステムとゲーム性を付加した新たなシステムを比較することで有用性を確認する．第 2 章で従来のシステムの構成について，第 3 章で提案するシステムの実現方法について，第 4 章で検証実験について，第5 章で結びについて述べる．

5

第2章

従来のシステム

これまでに小児の口腔ケア習慣を向上するために歯磨き教育システムを提案している．実際には肉眼で見えないばい菌を PC のカメラ画像に写る歯の汚れやすい部分に表示すれば子供が歯磨きを行う理由を実感できるようになり歯磨きの意欲の向上を行うことができると考え，歯磨き教育システムの提案を行った．本章ではこれまで提案した歯磨き教育システムの概要と実験について述べる．

2.1

システムの構成

歯磨き教育システムのためにまず機械学習アルゴリズム YOLOv3 [11] を使用して口と歯の汚れやすい部分について学習を行った．行った学習は以下のとおりである．
学習 1

顔画像から歯の汚れやすい部分を学習

学習 2

口画像から歯の汚れやすい部分を学習

学習 3

顔画像から口を学習

なお，歯の汚れやすい部分というのは「奥歯」，「歯と歯肉の間」，「歯と歯の隙間」，「前歯の裏側」である．詳細は次節で述べる．本システムではまず，PC のカメラか
ら子供の顔画像を取り込む．そして，カメラ画像から学習 3 の結果を用いて口の検出を行う．口が検出された時には学習 2 の結果を利用して口領域から歯の汚れやす
い部分の検出を行う．また，口が検出されなかった際には学習 1 の結果を利用して顔画像から歯の汚れやすい部分の検出を行う．そして歯の汚れやすい部分が検出された際には該当部分にばい菌の表示を行う．なお，この時使用したばい菌のイラス
トは本研究室の先行研究で使用したものである [12]．システムの動作の確認のためにそれぞれの歯の汚れやすい部分に対応した種類のばい菌のイラストを貼り付ける．
ばい菌の大きさが小さくなりすぎることを避けるために，表示するばい菌の大きさ

第2章

従来のシステム6は検出された領域の 2 倍とする．また，表示されるばい菌のイラストが多すぎると口を見ることができなくなる恐れがあるため，歯の汚れやすい部分として検出された部分のうち，同じ種類として検出された部分にはばい菌のイラストがお互いに重ならないようにばい菌のイラストの表示を制限する．なお，明らかに大きすぎる領域が歯の汚れやすい部分として検出された時には誤検知と考えられるので，検出された領域が一定以上の大きさの時には歯の汚れやすい部分の領域ではないと判断し，ばい菌のイラストを重畳表示させないものとする．

2.2

学習

機械学習アルゴリズム YOLOv3 を用いて歯の汚れやすい部分と口について機械学習を行った．この学習を行うに当たってインターネット上の画像や自らカメラで撮影した画像を集めて，学習用画像やテスト用画像を準備した．前節に記した学習 1
では顔が写った 1903 枚の画像を，学習 2 では 1178 枚の口のみが映った画像を，学習 3 では 1520 枚の口が写った画像を使用した．図 2.1 は学習 1 で使用した画像の一つである．そして集めた画像を用いて labelImg [13] というツールを用いてアノテー
ションデータの作成を行った．アノテーションデータにはクラス番号，オブジェク
トの中心の x 座標，オブジェクトの中心の y 座標 ，オブジェクトの幅 ，オブジェク
トの高さがテキストで記されているファイルである．なお，座標と幅と高さは 0〜1の間で正規化されている．学習 1 と学習 2 では歯の汚れやすい部位として「奥歯」，「歯と歯肉の間」，「歯と歯の隙間」，「前歯の裏側」を学習対象としてそれぞれにクラス番号 0〜3 を割り当てた．学習 3 では「口」を学習対象としてクラス番号 0 を割り当てた．図 2.2 はアノテーションデータの作成の様子である．また，図 2.3 は作成したアノテーションデータの一つである．学習 1 と学習 3 で使用した PC の性能は以下のとおりである．

• CPU：Intel(R) Core (TM) i5-6500 CPU @ 3.20GHz• GPU：GeForce GTX 1050
• メモリ：6040MB
学習 2 で使用した PC の性能は以下のとおりである．

第2章

従来のシステム7• CPU：Intel(R) Core (TM) i5-7200 CPU @ 2.50GHz• GPU：Intel(R) HD Graphics Family• メモリ：4176MB
学習用画像数，テスト用画像数，バッチサイズ，エポック数，学習時間は表 2.1 に記述されるとおりで学習を行った．学習を行った結果，表 2.2 に記されている適合率，再現率，f 値を得られた．図 2.4 は歯の汚れやすい部分の検出の様子である

2.3

表 2.1: 学習条件
テスト用画像 バッチサイズ

学習

学習用画像

エポック数

学習時間

学習 1

1523 枚

380 枚

16

330

約 5 時間

学習 2

944 枚

234 枚

8

230

約 27 時間

学習 31216 枚

304 枚

8

80

約 1 時間

学習

表 2.2: 学習結果
適合率 再現率

f値

学習 1

0.249

0.533

0.340

学習 2

0.348

0.649

0.453

学習 3

0.980

0.980

0.980

実験

歯磨き教育システムの動作確認を行った（図 2.5）．歯の汚れやすい部分に適切にばい菌のイラストが表示されるかどうか動作確認を行った．使用した PC の性能は以下のとおりである．

• CPU：Intel(R) Core (TM) i5-7200 CPU @ 2.50GHz• GPU：Intel(R) HD Graphics Family• メモリ：4176MB
適切にばい菌のイラストが歯の汚れやすい部分に表示された (図 2.6)．システムの動作速度は 2.04fps であった．
システムが小児に歯磨きの必要性を学ばせることに有効か確かめるために検証実験を行った (図 2.7)．小学生の子供と保護者に本実験に参加してもらった．この実験

第2章

従来のシステム8

図 2.1: 学習 1 の画像

図 2.2: アノテーションデータの作成第2章

従来のシステム9

図 2.3: アノテーションデータ

図 2.4: 学習 1 の結果による検出第2章

従来のシステム10では最初に保護者に本システムについて説明を行った．その後，保護者に以下の質問を行った．

• 本システムは歯磨き教育に使用できそうか• 改良した方が良い所はあるか
また，子供達に以下の質問を行った．

• これからも歯磨きをしようと感じたか• ばい菌が表示されるシステムは面白かったか
保護者からは本システムは歯磨き教育に使えそうとの感想を得られた．改善点としてばい菌のイラストが表示された顔画像を保存する機能をつけたほうが良いとの意
見をもらった．子供たちからは毎日歯磨きをしようと感じた，自分の歯にばい菌が表示されて面白かったとの感想を得た．このことからシステムが歯磨き教育に有用であると判断できた．

第2章

従来のシステム11

図 2.5: 動作確認の様子

図 2.6: ばい菌の表示

第2章

従来のシステム12

図 2.7: 小学生を対象とした実験の様子

13

第3章

ゲーム性のある歯磨き教育システム

本研究では，従前の研究に引き続き，小児に肉眼では実際に見ることができない
ばい菌を小児の歯にリアルタイムで表示させて見せた上で，さらに小児が歯ブラシの動きに応じてばい菌のイラストを削除していくことで，歯磨きに対する興味をさらに高めて歯磨き習慣をつけさせることを目標とする．歯の汚れやすい部分はこれまでと同様に「奥歯」，「歯と歯肉の間」，「歯と歯の隙間」，「前歯の裏側」とする．以下では，これらの部分の検出や追跡について，歯の検出，歯の追跡と表現する．小児
が歯磨き動作をする時に口を閉じたり，手で口を覆ったりすると歯が隠れてしまう．
その場合には，ばい菌は見えなくなる．すなわちばい菌イラストを重畳表示しない．
これまでは，歯が見えなければ歯の検出は行われず，よってばい菌は表示されない．
再び歯が見えるようになれば，改めて歯を検出して，前章の説明通りに適切に間引いた上で，ばい菌を表示した．しかしこの方法では，ばい菌の間引き表示により必ず同じ歯にばい菌が表示されるとは限らない．また歯磨き動作によりばい菌を削除するにしても，どの歯のばい菌を削除したのか把握できていなければ，歯の再検出処理ののちに再びばい菌を表示してしまう．そこで歯の検出時に，各歯を個別に認識しておき，各歯を追跡して，さらに一時的に歯が隠れた場合にも追跡を維持する必要がある．その上で歯磨き判定を行い，磨き残しのばい菌だけを表示する．

3.1

システム全体の流れ

まず，PC のカメラから顔画像を取り込む (図 3.1)．一度，注目領域として口と鼻，歯を検出（図 3.1 の ¬，図 3.2）したのちに，追跡の初期処理（図 3.1 の ­，図 3.3）を行う．その後，一定時間は追跡処理（図 3.1 の ®，図 3.4）を行いながら，歯磨き
動作判定のための歯ブラシの位置と向きを AR マーカ (図 3.5) により計測（図 3.1 の¯，図 3.6）して，歯磨き判定の結果に従って顔画像にばい菌イラストを重畳表示す

第3章

ゲーム性のある歯磨き教育システム

14

る．誤差の蓄積を防ぐために，一定時間経過後は改めて検出してから追跡を継続する．以下では，各処理の詳細を述べる．

3.2

注目領域の検出以下の通り注目領域として口と鼻，歯の検出を行う (図 3.1 の ¬，図 3.2)．既に口が検出済みでなく次節で説明する追跡が行われていない場合には，口を検出する．
同様に鼻が検出済みでなく次節で説明する追跡が行われていない場合には，鼻を検出する．口と鼻が追跡できている時には口領域から歯の検出を行う．なお，検出された領域の大きさが一定以上であれば誤検知であると扱う．

3.3

注目領域の追跡以下のとおり，注目領域の追跡を開始する（図 3.1 の ­，図 3.3）．追跡は，OpenCVというモジュールを用いて Median Flow [14] を利用する．Median Flow とは追跡対象を囲んだ Bounding box をグリッド上に分割し，それぞれのグリッド内の点をLucas-Kanade Tracker [15] によって追跡し，点の動きを求め，間違っている可能性が高いグリッドを除去して残った点の動きの中央値を得て Bounding box の座標を更新する手法である (図 3.7)．口と鼻は検出後に追跡を開始する．追跡時に座標などを保持しているが，それらの各値を初期値に戻すことを「開始」と表現する．特に，誤認識のあとの再追跡時に必要な処理である．歯の検出の際に，歯が追跡されていない，もしくは以前検出されて追跡されているとは別の種類の歯があった場合には新たに検出された歯の追跡を開始する．追跡されている歯とは別の種類がなかった
場合には以前検出した歯の追跡を継続する．また，同じ種類の歯に重畳表示するばい菌は表示させる際に重ならないように歯の追跡を開始する．検出できた全ての歯を追跡しておき，間引き処理情報を合わせて保持しておき，ばい菌表示の段階で表示非表示を選択することも考えられる．しかし追跡にかかる処理コストを削減する
ために，間引き処理された歯は追跡しない．注目領域の追跡ができていなければ再び注目領域の検出を行う (図 3.8)．

第3章

ゲーム性のある歯磨き教育システム

図 3.1: 歯磨き教育システムの基本部分のフローチャート

15

第3章

ゲーム性のある歯磨き教育システム

図 3.2: 注目領域検出のフローチャート

16

第3章

ゲーム性のある歯磨き教育システム

図 3.3: 注目領域の追跡 1 のフローチャート

17

第3章

ゲーム性のある歯磨き教育システム

図 3.4: 注目領域の追跡 2 のフローチャート

18

第3章

ゲーム性のある歯磨き教育システム

19

また次の通り，注目領域の更新を行う（図 3.1 の ®，図 3.4）．注目領域の追跡を行っている際に顔画像から Median Flow を用いて注目領域の認識を行い，追跡している領域の座標と大きさを得ることをここでは「更新」と表現する．鼻が正常に更新できなかった時には注目領域の追跡を終了し，再びカメラ画像を取り込み，注目領域の検出と追跡を行う．追跡更新ができなかった場合にその旨を記録することを「終了」と表現し，次の追跡再開に備える．ところで，歯が隠れれば歯の追跡を継続できない．しかし，同じ歯は同じ歯として認識できないと，一度，歯磨きにより退治したばい菌が再び復活してしまうことにつながり，ゲーム性を損なってしまう．
そこで歯が隠れた時には歯の座標と大きさを推定することで追跡を継続する．

3.3.1

歯ブラシが口元にある時

まず，歯が見えている時は検出追跡に問題はない．そのため特別な処理は必要ではない．しかし歯ブラシが歯に重なると正常な追跡を行うことができない恐れがある．そのため，歯ブラシのブラシ部分が口領域にあった場合には歯ブラシが口領域に入る以前の鼻，歯と現在の鼻の座標と大きさから現在の歯の座標と大きさを推定することで注目領域の追跡を継続する (図 3.9)．歯ブラシが口領域に入る前の鼻の座
標を (xn ，yn )，大きさを (wn ，hn )，歯の座標を (xt ，yt )，大きさを (wt ，ht )，現在の鼻の座標を (x′n ，yn′ )，大きさを (wn′ ，h′n )，歯の推定座標を (x′t ，yt′ )，推定の大きさを (wt′ ，h′t ) とする．歯の座標と大きさを算出する式は以下のとおりである．

x′t = x′n + wn′ ×

xt − xn
wn

yt − ynwn
w ′ × wt
wt′ = nwn′
h × hth′t = nhnyt′ = yn′ + wn′ ×

(3.1)
(3.2)
(3.3)
(3.4)

第3章

ゲーム性のある歯磨き教育システム

3.3.2

歯が完全に隠れた時

20

口を閉じてしまった時や口自体が手で隠されてしまった時など，歯が完全に隠れてしまった場合には，歯の検出追跡はできない．歯が隠れていなかった時の鼻と口と歯の座標と大きさと現在の鼻の座標と大きさから現在の口と歯の座標と大きさを推定することで注目領域の追跡を継続する (図 3.10)．鼻が隠れることはないと想定している．歯の座標と大きさを算出する式は前節のとおりである．歯が完全に隠れる前の鼻の座標を (xn ，yn )，大きさを (wn ，hn )，口の座標を (xm ，ym )，大きさを(wm ，hm )，現在の鼻の座標を (x′n ，yn′ )，大きさを (wn′ ，h′n )，口の推定座標を (x′m ，′′ym)，推定の大きさを (wm，h′m ) とする．口の座標と大きさを算出する式は以下のとおりである．

xm − xn
wn
ym − yn′ym= yn′ + wn′ ×wn′
w × wm′wm= nwn
h′ × hm
h′m = nhnx′m = x′n + wn′ ×

3.4

(3.5)
(3.6)
(3.7)
(3.8)

歯磨きの判定と表示

本システムでは歯磨きを行ったら追跡している歯に重畳表示するばい菌のイラストを削除する必要がある．そのため，歯にばい菌のイラストを表示させるにあたって表示させるばい菌かどうか判断する必要がある．まず，ばい菌表示予定の領域が歯ブラシのブラシ部分と重なっているかどうか調べる．歯ブラシのブラシ部分がばい菌表示予定の領域と重なっていた際には，その歯に対して歯磨きが行われていると判定し，ばい菌のイラストに対して透過処理を行い，ばい菌表示予定の領域が歯ブラシのブラシと重なった回数を調べる．歯ブラシのブラシ部分がばい菌表示予定の領域に重なった回数が一定以上になった場合には，磨き終わったとして歯からばい菌のイラストを削除し，画面の端にバツ画像と重ねてばい菌のイラストを表示させ

第3章

ゲーム性のある歯磨き教育システム

21

る（図 3.11）．最後に削除したばい菌を除くばい菌のイラストを表示させる．なお，
ばい菌の大きさは追跡された歯の領域の 2 倍の大きさである．表示させるばい菌のイラストは従来の研究で使用したばい菌の種類と同じく 4 種類使用し，表示させる
種類は歯の種類によらず無作為とする．ばい菌の種類を無作為にする理由は様々なばい菌の種類を同時に見せることで子供の興味を引くためである．

3.5

学習

機械学習アルゴリズム YOLO を用いて事前に口と鼻と歯の学習を行う．口と歯の学習結果は従来の研究結果を利用した．そのため，鼻の学習のみを追加で行った (学習 4)．学習を行うに当たってインターネット上の画像を集めて，学習用画像とテスト用画像を準備した．学習では鼻が写った画像を 320 枚使用した．そして前回と同
じく，集めた画像を用いて labelImg というツールを用いてアノテーションデータの作成を行った．学習 4 では「鼻」を学習対象としてクラス番号 0 を割り当てた．学習 4 で使用した PC の性能は以下のとおりである．

• CPU：Intel(R) Core (TM) i5-7200 CPU @ 2.50GHz• GPU：Intel(R) HD Graphics Family• メモリ：4176MB
学習用画像，テスト用画像，バッチサイズ，エポック数，学習時間は表 3.1 に記述されるとおりで学習を行った．学習を行った結果，表 3.2 に記されている適合率，再現率，f 値を得られた．この結果は提案した歯磨き教育システムで使用するために十分である．図 3.12 は鼻の検出の様子である．

学習

学習用画像

学習 4

256 枚

表 3.1: 学習条件
テスト用画像 バッチサイズ

64 枚

エポック数

学習時間

130

約 5 時間4

学習

表 3.2: 学習結果
適合率 再現率

f値

学習 4

0.938

0.946

0.953

第3章

ゲーム性のある歯磨き教育システム

図 3.5: AR マーカー

22

第3章

ゲーム性のある歯磨き教育システム

図 3.6: 歯磨き判定のフローチャート

23

第3章

ゲーム性のある歯磨き教育システム

図 3.7: Median Flow

24

第3章

ゲーム性のある歯磨き教育システム

図 3.8: 注目領域の追跡

25

第3章

ゲーム性のある歯磨き教育システム

図 3.9: 歯が隠れた時の歯の推定

26

第3章

ゲーム性のある歯磨き教育システム

図 3.10: 歯が隠れた時の口の推定

27

第3章

ゲーム性のある歯磨き教育システム

図 3.11: ばい菌の表示

図 3.12: 学習 4 の結果による検出

28

29

第4章

実験

動作確認

4.1

システムの動作の確認を行った (図 4.1)．使用した PC の性能は以下のとおりである．

• CPU：AMD Ryzen 7 5700U with Radeon Graphics 1.80 GHz• GPU：AMD Radeon(TM) Graphics• メモリ：7563MB
システムの動作を確認した結果，システムは正常通り動作し，ばい菌を正常に表示できた (図 4.2)．歯ブラシを一定時間ばい菌のイラストに重ねた時ばい菌のイラストを削除することができ，ばい菌を画面の端にバツ画像と重ねて表示させることができた (図 4.3，4.4，4.5)．手をかざすなどの歯を隠す動作をしても同じ歯を同じ歯として追跡を行い，再びばい菌のイラストを表示することができた (図 4.6，4.7，4.8)．
なお，システムの動作速度は 17.3fps である．システム動作速度は小児の口腔ケア習
慣向上を目的としたゲーム性のある AR 歯磨き教育システムには十分である．

4.2

検証実験について提案したシステムの有用性を確認するために検証実験を行った (図 4.9，4.10，4.11，4.12)．本実験を行う前に実験参加者の小学生の子供一名と彼女の父親にシステムに
従来のシステムと提案したシステムついて説明を行った．そして，父親に従来のシス
テムと提案したシステムを順番に利用して小学生の歯磨き教育を行ってもらい，ア
ンケートに回答してもらった．アンケートは以下のとおりである．
質問 1 父親は本システムが従来のシステムと比較して子供の歯磨き教育に有用であると考えるか

第4章

実験

30

図 4.1: 動作確認の様子

図 4.2: ばい菌の表示

第4章

実験

31

図 4.3: 歯磨き前

図 4.4: 歯磨き中

図 4.5: 歯磨き後

第4章

実験

32

図 4.6: 手をかざす前

図 4.7: 手をかざした時

図 4.8: 手をかざした後

第4章

実験

33

質問 2 小学生は従来のシステムより本システムを使用してみるのを楽しいと感じたか
質問 3 小学生は従来のシステムを使った直後よりも歯磨きを続けようと強く思ったか
それぞれの質問に対する回答は表 4.1 のとおりである．この結果から本システムは歯磨き教育に対して従来のシステムよりも有用である．

図 4.9: 従来システムの検証実験の様子

図 4.10: 従来システムによるばい菌表示

図 4.11: 提案システムの検証実験の様子

図 4.12: 提案システムによるばい菌表示

質問

表 4.1: アンケート結果
結果

質問 1

従来のシステムよりも有用だと思う

質問 2

従来のシステムよりも楽しかった

質問 3

従来のシステム使用時よりも強く感じた

34

第5章

結び

従来のシステムよりも小児の口腔ケア習慣の向上にさらに役立つことを目標に、ゲーム性のある AR 歯磨き教育システムを提案した．実験システムでは，まず，従来同様に歯の上にばい菌イラストを重畳表示できた．さらに，歯ブラシをしばらく
ばい菌のイラストに重ねる歯磨き動作により，ばい菌のイラストを削除することができた．歯が一時的に隠されても，同じ歯を同じ歯として認識させることができた．
すなわち，既に歯磨き動作によりばい菌を消去した歯は，一時的に隠されて再び見えるようになった後でも，ばい菌は消去されたままにできた．システムの有用性を確かめるために従来のシステムと比較検証実験を行った．本システムは従来のシス
テムよりも歯磨き教育に有用であることを確認できた．今後の展望について述べる．
提案したシステムでは歯ブラシの位置推定に AR マーカーを使用している．しかし顔や歯ブラシの位置によってはカメラに映らないことがある．歯ブラシそのものを画像認識するなど別の位置推定方法を考えたい．また幼稚園などの施設において多くの人を対象とした検証実験 を行いたい．その上で長期間の実験を通して子供の虫
歯状況を調べることで，本システムの有用性を確認したい．

35

謝辞

本研究を行うにあたって日ごろからご指導を戴いた名古屋工業大学情報工学部舟橋健司 准教授，伊藤宏隆 助教に深謝する．本研究の検証実験に協力してもらった
実験参加者の親子に感謝する．また，画像の収集に協力してくださった舟橋研究室の皆さんに感謝する．最後に研究の間見守ってくれた家族に感謝する．

36

参考文献

[1] 佐野晴男， 歯無しにならない話 ，Dental Medicine Research 31(3) ：254-257(2011)[2] 松原こずえ， 歯磨きの仕方と健口体操 ，Dental Medicine Research 31(3) ：258-260 (2011)[3] 能美光房， 歯のはなし （改訂版） ，ぎょうせい (1990)[4] 川口陽子， 乳幼児の歯科保健指導の有用性に関する研究―保健所の歯科保健事
業への参加と 3 歳児の齲蝕罹患について― ，口腔病学会雑誌 58 巻 4 号： 650-669(1991)[5] 文部科学省，令和 3 年度学校保健統計調査(2022)[6] 深井穫博，眞木吉信，高江洲義矩， 歯科保健に関する教育が保健行動に及ぼす影響 ，口腔衛生学会雑誌 45 巻 1 号 ： 7-13 (1995)[7] 柏木千怜，池田真理子， 小学校における歯みがき習慣の定着を目指した保健教
育とその評価 ，養護実践学研究 3 巻 1 号 ： 17-26 (2020)[8] 近藤春希， 小児の歯磨き指導効率上昇を目的とした AR ばい菌表示システム ，第 26 回日本バーチャルリアリティ学会大会論文集 ： 1C1-6 (2021)[9] Haruki Kondo，Kenji Funahashi， AR tooth brushing system to promote oral
care habits of children ，NICOGRAPH International 2021 ： 115 (2021)[10] Haruki Kondo，Kenji Funahashi，Shinji Mizuno， AR tooth brushing gameto promote children’s oral care habits through object tracking ，IEEE-GCCE
2022 ： 592-596 (2022)

37[11] Joseph Redmon，Ali Farhadi， YOLOv3： An Incremental Improvement ，arXiv ： 1804.02767 (2018)[12] 島田祥伍，舟橋健司， AR 技術を用いた小児の手指衛生習慣促進のためのばい菌表示システム ，平成 30 年修士論文 (2018)[13] GitHub - tzutalin/labelImg
https://github.com/heartexlabs/labelImg(最終閲覧日 ： 2023 年 1 月 21 日)[14] Zdenek Kalal，Krystian Mikolajczyk，Jiri Matas， Forward-Backward Error:
Automatic Detection of Tracking Failures ，2010 20th International Conference
on Pattern Recognition ： 2756-2759 (2010)[15] Bruce D. Lucas，Takeo Kanad， An Iterative Image Registration Techniquewith an Application to Stereo Vision ，Proceedings of the 7th International
Joint Conference on Artiﬁcial Intelligence ： 674-679 (1981)

38

発表論文リスト

1. 近藤春希， 小児の歯磨き指導効率上昇を目的とした AR ばい菌表示システム ，第 26 回日本バーチャルリアリティ学会大会論文集 ： 1C1-6 (2021)

2. Haruki Kondo，Kenji Funahashi， AR tooth brushing system to promote oral
care habits of children ，NICOGRAPH International 2021 ： 115 (2021)
3. Haruki Kondo，Kenji Funahashi，Shinji Mizuno， AR tooth brushing gameto promote children’s oral care habits through object tracking ，IEEE-GCCE
2022 ： 592-596 (2022)