平成30年度修士論文論文題目AR技術を用いた小児の手指衛生習慣促進のためのばい菌表示システム(AR Germs Display System to Promote Pediatric Hand Hygiene Habits)指導教員舟橋　健司　准教授名古屋工業大学大学院工学研究科情報工学専攻平成29年度入学    29414060番名前島田祥伍
i
手指衛生は感染症を予防する上で最も基本的かつ効果的な方法である．病院などの医療施設内はもちろん,学校や家庭内での日々の手指衛生の意識が重要である.手指衛生とは手指の汚染を除去するために実施する行為であり，具体的には擦式アルコール製剤による手指の擦り，または，石けんと流水による手洗いで行われる．米国のCDC (Centers for Disease Control and Prevention)やAPIC (The Association for Professionals in Infection Control and Epidemiology)，日本環境感染学会などがその重要性を強調しており[1][2][3]，手指衛生に関する教育が重要であるといえる.特に小児期では，健康的な生活のために正しい衛生習慣を，発達に伴い身に着けていく必要がある．保育所保育指針第２版[4]の「健康」の項目において，３歳児では保育士の手助けにより，自分で手洗いや鼻をかむなどして清潔を保つと記述されている．4歳児では自分で鼻をかみ，顔や手を洗うなど，体を清潔にする．５歳児ではうがい，手洗いの意味が分かり，体や身の回りを清潔にする．さらに6歳児では清潔にしておくことが，病気の予防と関係があることが分かり，体や衣服，持ち物などを清潔にすると記述されている．すなわち，年少児，年中児，年長児と成長に伴い，正しい手洗い方法と手指衛生の重要さを理解することが重要である．しかしながら，小児期の手洗いは衛生的な手洗い方法で洗うことがなく，50 %以上が洗い残しがあるという報告[5]や，家庭での食事前に手洗いを毎回行う家庭が46 %という報告[6]もあり，手指衛生に対する意識は十分とは言えない.当研究室ではこれまでに，小児向けのVR手洗い教育システムを提案してきた． [7]このシステムでは，ヘッドマウントディスプレイを介して両手にばい菌のイラストを重畳表示し，システム利用者の手を擦る等の適切なジェスチャーに応じて，表示されたばい菌のイラストを消滅させることで，手洗いの教育を行う。使用者の両手の位置,姿勢の取得は，可搬性を考慮して安価かつ小型なLeap motion[8]を利用した．このシステムを使用し，自身の動きによってばい菌を消滅させる体験を通して，小児は適切な手の洗い方とその重要性を直感的に遊びながら学ぶことができる．あいち小児保健医療総合センターで行った比較実験の結果，このシステムを利用することで，従来の手指衛生教育法よりも効率的に小児に手の洗い方を指導できることが示唆された.ところで，感染症の感染経路の一つとして接触感染が挙げられる．接触感染とは患者周囲の物体表面を介しての間接的な接触で病原体が付着し，その結果，感染が成立するものである．接触感染を予防するには，こまめに手指衛生を行う必要がある．小児に身近な接触感染の経路として，ドアノブ，手すり，幼児用のおもちゃや電気スイッチなどがある．これらのものは一見すると汚れているようには見えないので，実際には汚れているということが小児には理解しにくい．その結果，これらのものを触った後に手を洗うという意識が薄れてしまう問題がある．そこで本研究では，タブレットPCの背面カメラにより撮影される映像において感染経路となりやすい対象物を認識し，ばい菌のイラストを重畳表示することで，小児の衛生意識を向上させるシステムを提案する．実際に目に見えないばい菌をシステムを通して発見，確認する経験により，小児の衛生意識が向上することが期待できる．本研究ではまず，接触感染の経路の認識にARToolKit[9]のマーカー (以下ARマーカー)を用いて，簡易的にシステムを構築し，ばい菌を重畳表示することの有効性を評価する[10].しかしながら，ARマーカーを利用した対象物の認識ではシステムを準備する際にマーカーの貼り付けが必要であり，システムの利用場所が変わればマーカーの再貼りつけ等の手間がかかる．これでは将来的なシステムの普及が期待できないので, ARマーカーを使わずに，機械学習により接触感染の経路となる対象物を画像から直接認識することで，リアルタイムにばい菌のイラストを表示するシステムを構築する.以下本稿では第２章でARマーカーを用いたシステムの実装と評価実験について述べる．第３章では機械学習に関する背景知識について説明した上で，第４章では機械学習を用いたシステムの実装について述べる．最後に第５章で結論と今後の課題について述べる.
目には見えないばい菌を可視化することで，小児の衛生意識が向上することを確かめるために，ARマーカーを用いて簡易的に実験システムを構築した．この章ではシステムの概要と行った実験，その結果について述べる.
2.1 システム概要
構築するシステムでは，小児がタブレットの画面を通してカメラで撮影された室内の様子を観察する.画面内では，接触感染の経路となりそうな対象物に「ばい菌」イラストを表示する．なおこれは，実際に細菌やウイルスにより汚染されているか否かを問わず，可能性の高い対象物を表示箇所として設定している．カメラ画像から接触感染の感染経路を認識するために，ARマーカーを使用する． ARマーカーをドアノブなどの対象物そのものに貼り付けてしまうと，ドアノブ自体が小児から見えにくくなるだけでなく，通常のドア開閉操作にも支障がある．そこで，ARマーカーを対象物から15cm下に貼り付けることにして，ばい菌を重昼表示する対象物の視認性を確保した(図2.1).  ARマーカーの位置に常にばい菌モデルが表示されていると，小児に「ARマーカーがあるからばい菌がいる」と思わせてしまうので，本来の，ばい菌モデルを表示するためのマーカー 1種類に加えて，ばい菌表示用マーカーと類似したダミーのARマーカー３種類を用意する(図2.2). また，システムでは撮影された室内の様子に対して水平線の認識をせずに，加速度センサーも利用せずに，簡易な構成とする．このとき，小児が手に持つタブレットを常に水平に保つなどの制限をしないために，ばい菌は常に上向きに（頭が画面の上部にくるように）表示する．ばい菌イラストは3Dモデル1種類と2Dのイラスト4種類を用意する(図2.3). マーカーを斜め横から観察した時に3Dばい菌モデルの側面を提示することも考えられるが， 2Dイラストの場合は側面の提示はできない．小児に常に正面から観察するなどの制限をしないために，マーカーを斜めから観察した場合にも正面方向からのイラストを表示する．それぞれのモデルにおいて，微小な変化をつけたモデルを用意し，毎フレーム交互に表示することで，動きのあるアニメーションとして表示する(図2.3,  2.4).
2.2 評価実験
構築したシステムを用いて本提案の有効性を検証するための実験を行う．実験は大府市にある「あいち小児医療保健総合センター」と，名古屋市守山区にある「ひまわり幼稚園」の２箇所で行った.
2.2.1 システム有効性の検証実験
構築したシステムの有効性を検証するために，システム使用前後の比較実験を行った(図2.5). 被験者はあいち小児医療保健総合センターに入院している患者９名であり,実験は園内の遊戯室で行った．実験の手順は以下の通りである． 1.室内の12箇所についてばい菌がいると思うところをアンケート用紙に回答してもらう(図2.6) 2.手指衛生指導との位置付けで，構築した実験システムを自由に利用してもらい，室内でばい菌の隠れていそうなところを確認してもらう3. 10分後，同様にばい菌がいると思うところを，無記入の同じ内容のアンケート用紙に回答してもらう(なお，この10分のあいだにVR手洗い教育システム[7]による指導を行った）システム使用前後においてアンケートの正誤を12点満点で評価する．なお，ばい菌モデルの表示箇所は病院内の衛生士の方の意見をもとに決定した.結果を表2.1に示す．全ての被験者について，指導前後で得点が向上した．このことから，目には見えないばい菌の可視化は小児の衛生意識の向上に繋がることが示唆された.
88
2.2.2 　従来指導との比較実験
病院での実験では多くの被験者を集めることができず，従来の指導との比較実験を行うことが難しかった．そこで，名古屋市守山区にあるひまわり幼稚園に協力してもらい，従来の指導，すなわち口頭やイラスト，ビデオなどを利用した手指衛生指導との比較実験を行った(図2.7). 被験者はひまわり幼稚園に通う４歳の園児16名であり，実験は國内の遊戯室で行った．被験者16名を二つのグループに分け，9名は口頭での指導, 7名は構築したシステムを用いての指導を行った．実験の手順は以下の通りである．
それぞれのグループについて，指導前後のアンケートの正誤を13点満点で評価する．ばい菌モデルの表示箇所は病院での実験と同じく，衛生士の方の意見をもとに決定した.実験結果を表2.2と2.3に示す. それぞれのグループで指導前の平均値はほぼ同じであるのに対して，指導後の平均値は構築したシステムで指導を行ったグループの方が1点以上高くなっている．また，被験者からは「意外なところにばい菌がいた」,「手洗いの大切さがわかった」等，衛生知識の向上とともに，手洗いに対して意欲的な意見が得られた．このことから，目には見えないばい菌を可視化することは，従来の指導よりも効率的に小児の衛生知識を向上させることができると言える.
第２章ではARマーカーを用いて接触感染の感染経路になり得る場所を認識し，ばい菌のモデルを表示した．しかし，この方法ではシステムを使用するたびにARマーカーの貼り付け作業が必要であり，手間がかかる．そこで機械学習を用いて接触感染の経路を認識するシステムを構築したい．本章では，次章で述べるシステムにおいて利用した物体検出アルゴリズムYOLOv3[11]ついて述べる.
3.1  YOLOv3の概要
YOLOは入力画像をグリッド分割し，領域ごとにバウンディングボックスとクラス確率を求める物体認識手法の一つである．HOG機能を用いた物体検出のようにバウンディングボックスを動かしながら学習するスライディングウインドウを用いる手法や, R-CNNのような領域候補を用いる手法と違い，画像全体を学習に利用するために対象物体周辺の様子も同時に学習することができる．これにより，背景の誤検出を抑えることができる．また，Faster R-CNNなどの他のアルゴリズムと異なり一つのCNNネットワークで処理が完結しており，処理速度が速いことが特徴である．本研究ではタブレットPCの背面カメラの映像中の物体をリアルタイムに検出する必要があるため，この手法を採用した.
3.2 特徴量抽出
YOLOv3ではまず，darknet53という独自の特徴量抽出器をベースに学習を行う．表3.1にdarknet53のネットワーク構造の詳細を示す．表に示す通り，darknet53では53の畳み込み層で形成されており，畳み込み層とResidual Blockを繰り返す構造となっている.  Residual Blockとはネットワーク構造にショートカットパスを加えることで, 「ある層で求める最適な出力を学習するのではなく，前の層の入力を参照にした残差関数を学習する」ことにより特徴量の学習をしやすくする構造である(図3.1). 本来は複雑である特徴量H(x)が，古い特徴量xに新しく学習した残差F(x)を足し合わせれば求められるので，学習の難易度が落ち，精度の向上につながっている.

3.3 対象物検出
YOLOv3では特徴量の抽出後，入力画像毎に対応するスケールを予測し，入力画像をN ×  Nに分割し，3Dテンソルによって対象物の検出を行う．これにより，様々な大きさの対象物に対応できる．対象物検出の手順を以下に示す(図3.2). (a).入力画像をスケールに応じてN ×  Nの領域に分割(b).領域内の物体のクラス確率Pr(Ci|Obj)を導出(c).領域ごとに予測したバウンディングボックスの信頼度qとパラメータ( x, y, w, h)を計算(d).物体クラス確率と，各バウンディングボックスの信頼度の積により，対象物を検出するバウンディングボックスの信頼度qは
で表される．IOU predは予測したバウンディングボックスの正解との一致度であり，予測したバウンディングボックスをB p ,正解のバウンディングボックスをB 。として以下の式で表される.
パラメータ( x, y)はバウンディングボックスの中心座標であり，( h, w)は高さと幅である．検出するクラスの数をNcとすると，これらの予測はバウンディングボックスの５つのパラメータを３つのスケールで予測するので，Ｎ× Ｎ× [3× (5+ Nc)]の3Dテンソルとして符号化される．すなわちYOLOv3のネットワークは図3.3のようになる．物体クラス確率と各バウンディングボックスの信頼度の積が次式のように閾値Threshold以上なら，そのバウンディングボックスが対象物検出結果となる．
本章では第３章で説明したYOLOv3を用いて接触感染の経路を認識する手順について述べる．また，本研究では機械学習で検出する接触感染の経路を,「ドアノブ」「手すり」「ピアノ」「照明スイッチ」の４クラスとする．
4.1 学習モデルの作成
機械学習を用いて物体認識をするには，認識させたい対象物をコンピューターに学習させる必要がある．この節では学習用データセットの作成と，データセットを使った学習モデルの作成について説明する．
4.1.1　学習用画像の用意
機械学習に必要な画像をインターネット上と学校内での撮影によって１クラスあたり20枚の計80枚用意した．用意した画像1枚につき表4.1に示す範囲でランダムに変換し10枚相当として扱う.
本研究では動画での物体認識を行うため，タブレットPCを持つ手の動きによって認識を行う画像がブレている場合がある．そこで，１クラスあたり200枚の画像それぞれに5 ×  5の平均値フィルタを適用することで画像がブレている場合にも対応する(図4.5).
4.1.2 アノテーションデータの作成
YOLOv3のような画像内の対象物を認識する機械学習には，学習に使用する画像のデータセットの他に，各画像に紐づけられた画像中の認識したい対象物がある領域を,対象物を囲む矩形で表すデータが必要である．このデータをアノテーションデータと呼び，機械学習のアルゴリズムによって形式が異なる．アノテーションデータは画像１枚1枚に対して，矩形を手動で入力する必要があり，作成には様々なツールが存在する.今回はlabelImg[12]というツールを用いる(図4.6).  YOLOv3におけるアノテーションデータはプレーンテキストファイルであり，形式は以下のようになっている. [(クラス番号) (矩形の中心x座標) (矩形の中心y座標) (矩形の幅) (矩形の高さ)]今回認識する対象物は４種類なので，クラス番号は０～３の値とし，座標と幅，高さについては矩形の左上を原点として，0〜1の間に正規化されている．図4.6でのアノテーションデータを図4.7に示す. このアノテーションデータは，クラス番号0 (今回の場合はドアノブ)の物体が，幅と高さが画像全体の半分程度で画像の中央やや下に中心がある矩形の領域内にあることを表している.

4.1.3 データセットを用いた学習
これまでの節で作成したデータセットを用いて，学習モデルを作成する．使用する画像は各クラスにつき400枚の計1600枚であり，そのうち1280枚を学習データ，320枚をテストデータとする．バッチサイズを32，エポック数は30000で学習を行う．学習に使用したPCのスペックを以下に示す. ● CPU: Intel(R) Core(TM) i5-6500 3.20Hz ● GPU: NVIDIA GeForce GTX 1050 3GB ●メモリ: 8192MB学習経過を図4.8に示す．縦軸が損失関数の値，横軸が学習回数である．作成した学習モデルでの静止画の物体検出結果を図4.9に示す．なお，YOLOv3では学習・検出の際に，入力画像を正方形に変形した後に処理を行っている．閾値25 ％では，対象物が映っていない場合の誤認識がないことも確認した(図4.9下段)
4.2 学習モデルを用いたARばい菌表示システム
作成した学習モデルを用いて，タブレットの背面カメラからリアルタイムに対象物を検出し，ばい菌のモデルを表示するシステムを作成する．
4.2.1　ばい菌モデルの表示
ばい菌モデルは第２章で述べた2Dのイラスト４種類を使用し，ARマーカーを用いたシステムと同様に，ばい菌イラストは動きのあるアニメーションとして表示する．本システムではばい菌イラスト４種類を４つの対象物それぞれに割り当て，カメラ画像中に対象物を検出した場合，対象物に対応したばい菌イラストを検出領域の中央に表示する．検出の閾値は静止画での認識と同じく25 ％とするが，稀に対象物が存在しない空間に対して誤検出をすることがある(図4.10). 誤検出する場合は正常な検出(図4.11)と比べて，領域のサイズが大きくなる傾向にあるので，対象物毎に閾値を設けて，検出した領域のサイズが閾値以上の時は，ばい菌イラストの表示を行わないことで誤検出に対応する．また，ばい菌イラストが対象物全体を覆い隠さないようにするために，ばい菌イラストは，一片の長さが「領域の高さの1/2」の正方形にリサイズし表示する．システムの実行速度が分かりやすいように，カメラ画像の左上にフレームレートを表示する.
4.2.2 動作実験
構築したシステムが接触感染の感染経路を正常に検出し，手指衛生教育用のARばい菌表示システムとして機能するかどうか確認した(図4.12)．使用したタブレットPCのスペックを以下に示す. ● CPU: Intel(R) Core(TM) i3-7100 2.40Hz ● GPU: Intel(R) HD Graphics 620 2GB ●メモリ: 4096MBシステムを用いた感染経路の検出結果を図4.13に示す．4つの感染経路に対して，それぞれ別のばい菌のイラストが正しく検出された．また，システムの動作速度は平均5fpsであった.
本研究では小児の手指衛生の意識を向上させるために，接触感染の感染経路にばい菌のイラストを重疊表示する手法を提案した上で，その有効性を評価した．ARマーカーを用いて簡易的に構築したシステムで行った実験では，実際のシステムを小児に使用してもらい，提案した手法が従来の口頭での指導と比べて，効果があることを確認した.また，ARマーカーを用いたシステムでは汎用性に欠けるため，検出速度の速い機械学習のアルゴリズムであるYOLOv3を用いて，ARマーカーを使わずに感染経路の検出を行い，ばい菌イラストを重畳表示するシステムを構築した．実際に「ドアノブ」「手すり」「ピアノ」「照明スイッチ」の４つの感染経路となりやすい対象物について，合計1600枚の画像で学習を行い，学習モデルを作成した．動作実験では，ARマーカー無しでも感染経路の検出が可能であり，事前準備なしにシステムを利用した手指衛生教育が可能であることを確認した.今後の課題として，機械学習に用いる画像をさらに増やしてシステムの汎用性を向上することや，機械学習を用いて構築したシステムの評価実験，一般家庭への導入に向けた携帯端末での実装などが挙げられる.