情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1A-03
2020/3/9

Deep Learning を用いたベビーカー動作予告システムの基礎検討
秋山 和隆1

立花 巧樹1

今井 廉1

呉 健朗2

宮田 章裕1,a)

概要：街中でベビーカー利用者と歩行者・自転車利用者の衝突事故が起こりそうな場面をたびたび見かける．ベビーカー利用者と歩行者・自転車利用者が衝突した場合，ベビーカーが横転して，赤ちゃんの命に関わる事態が生じる可能性がある．この問題を解決するために我々は，ベビーカー利用者が特別な操作をすることなく，ベビーカーの次の動きを予測して通知するシステムを提案・実装してきた．本稿では，既存システムの動作推定の精度を上げるために推定部分を Deep Learning で実装し，既存システムと動作推定の精度を比較する評価実験を行った．実験結果より，Deep Learning を用いることで，既存手法よりも高い精度でベビーカーの動作推定を行えることを示した．

1. はじめに

2.1 システムが自動で移動者自身に注意を行う研究事例
システムが自動で移動者自身に注意を行う研究事例とし街中でベビーカー利用者と歩行者・自転車利用者が衝突ては，[2]，[3]，[4]，[5]，[6] が挙げられる．[2] は，自転車しそうになる場面をたびたび見かける．ベビーカー利用者に複数のセンサを装着し，走行データをリアルタイムで分と歩行者・自転車利用者が衝突した場合，赤ちゃんの命に析して危険な運転が行われていると判定したら，自転車の関わる事故に繋がる可能性がある．この問題を解決するた

運転者に警告を発するシステムである．[3] は，ホール効果

めに我々は，ベビーカー利用者が特別な操作をすることなセンサを自転車のフレームに取り付けて動作データを収集

く，ベビーカーの次の動きを予測して周囲に通知するシス

し，子供が自転車で危険な運転を行うと，ヘルメットに取テムを提案・実装してきた [1]．このシステムは，ベビーり付けられたスピーカーやハンドル部に取り付けられた振カーに取り付けたセンサのセンサデータを元にベビーカー動モーターで自転車走行中の子供に警告を発するシステムの次の動きを SVM で推定し，推定結果に応じて LED をである．[4] は，自転車運転者に注意を行うタイミングを決光らせることでベビーカーの動作を周囲に通知する．本稿定するために，自転車の次の動作を推定しようとする試み

では，ベビーカーの動作予測に Deep Learning を用いるシである．この研究では，自転車運転時に生じる加速度デーステムを提案する．提案コンセプトを実装し，既存手法とタに対し，k 近傍法や SVM などの機械学習手法を用いて提案手法の動作推定精度を評価・比較した．

運転内容を推定している．[5] は車による交通事故の低減

2. 関連研究を試みるためにドライバの眠気発生を検知するシステムである．イヤクリップ型の脈拍センサを用いてドライバに固本研究は，ベビーカー利用者と，その周囲を移動する歩有のスペクトルのピーク値の変化から眠気レベルを算出し行者・自転車利用者との衝突回避を目指すものであり，移てドライバに注意喚起を行う．[6] は事故防止のため，車の動者同士の衝突回避を目指す研究分野に属する．この分野

ハンドル内部に複数の圧力センサを埋め込んだハンドルセの研究事例として，2.1 節でシステムが自動で移動者自身ンサを提案している．ハンドルセンサから得られる圧力値に注意を行う研究事例，2.2 節で周囲に注意を行う研究事によってドライバの生体情報を取得し，把持行動や挙動の例を紹介する．

変化を推定してドライバに注意喚起を行う．

2.2 周囲に注意を行う研究事例
周囲に注意を行う研究事例としては，移動者が手動で行
12a)

日本大学分理学部
日本大学大学院総合基礎科学研究科
miyata.akihiro@acm.org© 2020 Information Processing Society of Japanう研究事例とシステムが自動で行う研究事例がある．2.2.1
項で移動者が手動で行う研究事例，2.2.2 項でシステムが自195

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1A-03
2020/3/9動で行う研究事例を紹介する．

れらを実現するハードウェアがベビーカーの随所に分散

2.2.1 移動者が手動で行う研究事例してしまうと，ユーザが自分のベビーカーに本システムを移動者が手動で周囲に注意を行う研究事例としては，[7]，導入する手間が大きくなってしまう．そこで，我々は，シ[8] が挙げられる．[7] は，自転車利用者が次の行動を周囲ステムを構成するハードウェアを一体型にした．これによに通知するシステムである．このシステムでは，サドル下り，既存のベビーカーに本システムを簡単に導入できる．

部に LED が矢印型に取り付けてある．ユーザはハンドル具体的には，図 1 のようにベビーカーのハンドルカバー上部に設置されたレバー型スイッチを操作することで，LEDに，入力部を実現する圧力センサ・加速度センサ・角速度を点灯させて周囲に移動方向を通知できる．[8] は，指先やセンサ，動作予測部を実現する Raspberry Pi，出力部を実腕が不自然なユーザ向けの自動車用ウインカーシステムで現する LED を配置する．

ある．このシステムでは，ユーザは音声を発することで任意の方向にウインカーを作動させられる．

2.2.2 システムが自動で行う研究事例
システムが自動で周囲に注意を行う研究事例としては，[9]，[10] が挙げられる．[9] は，歩行者と自転車の衝突防止を目的として，スマートフォンに実装されている GPS 情報を利用し，双方の接近が検知された場合にスマートフォンの振動機能を用いて警告を発する仕組みを提案している．

[10] は，ユーザと周囲の歩行者の衝突を回避するためのスーツケース型システム，BBeep を提案している．BBeepは周囲の歩行者の検出及び将来位置の予測結果から，ユー
図 1 システムの全体像

ザと周囲の歩行者の衝突する危険性を予測し，衝突する危険性を持った周囲の歩行者に対して警告音を鳴らす．

3. 研究課題
ベビーカー利用者と歩行者・自転車利用者が衝突した場合，赤ちゃんの命に関わる事故に繋がる可能性がある．この問題を解決するために我々は，ベビーカー利用者が特別な操作をすることなく，SVM を用いてベビーカーの次の動きを予測して周囲に通知するシステムを提案・実装してきた [1]．しかしこのシステムはベビーカーの動作推定の精度が高くなく，ベビーカーの次の動きを正確に通知できないという問題点が存在する．このシステムにおいて，ベビーカーの動作推定の精度を上げることを課題とする．

5.2 入力部
図 2 に示すとおり，入力部は 4 つの圧力センサ，1 つの加速度センサ，1 つの角速度センサからなる．圧力センサ
は，ユーザの手の動きを計測するために，ベビーカー操作時に指先と手のひらが接する部分に配置する．4 つの圧力センサから計 4 次元のデータ (以降，rp・rf・lp・lf) が得られる．加速度センサは，ベビーカーの上下・前後・左右の動きを計測するために用いる．加速度センサからは x・y・z 軸の 3 次元のデータ (以降，ax・ay・az) が得られる．
角速度センサは，ベビーカーの回転運動を計測するために用いる．角速度センサからは x・y・z 軸の 3 次元のデータ

4. 提案手法
既存システムでは，入力部，動作予測部，出力部からなるハードウェアをベビーカーに取り付け，動作予測部では(以降，gx・gy・gz) が得られる．圧力センサ，加速度センサ，角速度センサから計 4 次元のセンサデータを動作予測部に送る．

SVM を用いてベビーカーの動作予測を行っていた．しかし，センサデータからの行動推定の分野において，SVM よりも Deep Learning の方が高精度を達成できることを多くの研究事例が報告している．そこで，本稿では，上記ハードウェア構成は既存システムを踏襲し，推定部に用いる機械学習手法を SVM から Deep Learning に変更することを提案する．

5. 実装
5.1 ハードウェア構成

図 2 システムのセンサ部分

本システムは入力部，動作予測部，出力部からなる．こ© 2020 Information Processing Society of Japan

196

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

5.3 動作予測部

1A-03
2020/3/9い”(Straight)，“2 秒間直進した後，1 秒間右折してくだ

動作予測部は Raspberry Pi からなる．Deep Learningさい”(Right)，“2 秒間直進した後，1 秒間左折してくだにより構築した推定器を用いて入力部から受け取ったセさい”(Left)，“2 秒間直進した後，自然に停止してくださ

ンサデータをリアルタイムに分析し，ベビーカーの次のい”(Stop) の 4 つの動作の中から，いずれかの動作を伝え動きを予測する．具体的には，5 層からなる多クラス分る．

類用のニューラルネットワークを構築する．各層は全結

Step2：実験者は計測者に指示した動作の見本をベビー合しており，Batch normalization で正規化を行っている．

カーを用いて示す．本計測では生後 7 ヶ月の赤ちゃんが乗

オプティマイザは Adam を用い，ハイパーパラメータ最る B 型ベビーカーを採用した．赤ちゃんの重さを再現する

適化には Hyperopt を用いる．訓練計画は Early stopping

ため，生後 7 ヶ月の赤ちゃんの平均的な体重 8kg(2L ペッと Reducing learning rate on plateau で管理する．ニュートボトル 4 本) の重りをベビーカーに乗せて計測を行った．

ラルネットワークの出力である動作ラベルは直進を表す

Step3：計測者は指示された動作を複数回練習する．

Straight，右折を表す Right，左折を表す Left，停止を表す

Step4：計測者は動作データ収集を開始するために取り付

Stop の 4 種類である．

けられたボタンを押し，ボタンを押した後 1.5 秒の間にベビーカーのハンドルを握って直進を始める．その後 3 秒

5.4 出力部
図 2 に示すとおり，出力部は 2 つの LED からなる．こ間，Step1 で指示された通りの動作を行う．

Step5：Step4 を 25 回繰り返す．

れらはハンドルの両端位置に配置することで，ベビーカー

Step6：Step1 に戻り，実験者から指示された動作を Step5の周囲からは見やすく，赤ちゃんからは見えないようにすまで同様に繰り返し，4 つの動作のデータ収集がすべて終る．LED は点灯パターンを変化させることで，ベビーカー了したら計測は終了となる．

利用者の次の動作を周囲に通知する．点灯パターンは，多くの人が日常的に見慣れている自動車のウインカーのものを参考にする．具体的には，Straight のときは点灯させず，Right・Left のときは該当する方向の LED を橙色に点滅させ，Stop のときは両方の LED を赤色に点灯させる挙動とする．

6. 実験
6.1 実験目的システムによるベビーカーの動作推定精度は重要であると考える．動作推定が適切に行われない場合，ベビーカーの次の動作を周囲に正しく通知できず，通知によって衝突事故を回避することができない．本実験では，既存手法である SVM と提案手法である Deep Learning の動作推定精度を比較する．動作ラベルは Straight・Right・Left・Stopの 4 種類である．評価には Precision(適合率)，Recall(再現率)，F 値を用いる．

6.2 データセット
本システムに内蔵されている圧力センサ，加速度センサ，角速度センサを用いて，ベビーカーの動作を計測した．サンプリングレートは 20Hz とした．計測したデータはすべて 3 秒分の固定長に切り出した．この 3 秒分のデータをサンプルと称する．サンプリング中のベビーカーの動作に応じて，各サンプルに教師ラベルを付与した．計測者は 20代の大学生 12 名 (男性 10 名，女性 2 名) である．下記の手順で計測を行い，全体で 1200 件の教師ありサンプルを収集した．

Step1：実 験 者 は 計 測 者 に “3 秒 間 直 進 し て く だ さ© 2020 Information Processing Society of Japan

6.3 実験手順
動作推定対象の計測者以外の対象者のサンプル 1100 件を学習用サンプルとして，推定器を構築する．動作推定対象の計測者のサンプル 100 件をテストデータとして，構築した推定器の Precision・Recall・F 値を算出する．これを計測者 12 人のデータに対してそれぞれ行う．この作業をSVM と Deep Learning で行い，Precision・Recall・F 値を比較する．SVM と Deep Learning で推定器を構築するときの詳しい方法を示す．

6.3.1 SVM による推定器の構築
入力部から取得した 10 次元のセンサデータを元に，推定対象期間における各軸 (rp・rf・lp・lf・ax・ay・az・gx・gy・gz) それぞれの平均値 (計 10 次元) と標準偏差 (計 10次元)，推定対象期間における各軸間 (ax-ay，ay-az，ax-az，gx-gy，gy-gz，gx-gz，rp-lf，lp-rf) それぞれの相関係数 (計8 次元) を算出し，それらを特徴量とする．合計 28 次元の特徴量となる．Hyperopt でハイパーパラメータを最適化した．

6.3.2 Deep Learning による推定器の構築
入力部から取得した 10 次元のセンサデータ (20Hz，3 秒分) を平坦化・結合し，600 次元としてニューラルネットワークに入力する．ネットワークの構造・訓練方法は 5.3
節で述べたとおりである．

6.4 実験結果
SVM と Deep Learning それぞれにおける適合率を図 3，再現率を図 4，F 値を図 5 に示す．

197

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1A-03
2020/3/9

[2]

[3]

図 3

SVM/Deep Learning の推定精度 (Precision，N=12)[4][5]

[6]

[7]
図 4

SVM/Deep Learning の推定精度 (Recall，N=12)

[8]

[9]

[10]
図 5 SVM/Deep Learning の推定精度 (F 値，N=12)

6.5 考察

報処理学会シンポジウム論文集，Vol.2019, pp.1273-1279(2019).
下山直起，安藤輝，山和人，石井貴拓，平山雅之：マルチセンサを用いた走行解析による自転車事故防止システムの検討，情報処理学会研究報告, システムと LSI の設計技術 (SLDM)，Vol.2015-SLDM-170, No.51, pp.1-6 (2015).
Matviienko, A., Ananthanarayan, S., Borojeni, S. S.,
Feld, Y., Heuten, W., and Boll, S.: Augmenting Bicycles
and Helmets with Multimodal Warnings for Children,
Proc. the 20th International Conference on HumanComputer Interaction with Mobile Devices and Services(MobileHCI ’18), pp.15:1-15:13 (2018).
後藤秀信，三浦元喜：加速度センサーを使用した自転車の挙動認識，情報処理学会インタラクション 2014 論文集，
pp.309-312 (2014).
佐野聡，冨森英樹，増田祐太，小田切淳一，加藤秀雄，中野泰彦：脈拍センサを用いた眠気警報システムの開発，マルチメディア、分散協調とモバイルシンポジウム 2014 論文集，Vol.2014, pp.24-29 (2014).
竹内優斗, 今村孝, 章忠, 三宅哲夫：ハンドルセンサを用いた把持行動と把持圧力計測，第 54 回自動制御連合講演会 講演論文集，pp.206-207 (2011).
小田切健太，藤堂洋弥，大橋拓馬，諏訪達也，田崎颯音，
出野雄大，永野幸次郎，林拓武：自転車周辺機器の組込デバイス開発，情報科学研究，No.38, pp.25-32 (2017).
池本涼夏，北園優希：顔方向と音声認識によるウインカー
動作システム，産業応用工学会全国大会 2017 講演論文集，pp.43-44 (2017).
Yoshida, H., Hoshina, A., Nakano, M., and Sugaya, M.:
Collision Detection for Bicycle and Pedestrian Exchange
GPS Location in Smartphone, Adjunct Proc. the 2015
ACM International Joint Conference on Pervasive andUbiquitous Computing and Proc. the 2015 ACM International Symposium on Wearable Computers (UbiComp/ISWC ’15), pp.1583-1586 (2015).
粥川青汰，樋口啓太，Joao Guerreiro, 森島繁生，佐藤洋一，Kris Kitani, 浅川智恵子：BBeep：歩行者との衝突予測に基づく警告音を用いた視覚障害者のための衝突回避支援システム，情報処理学会インタラクション 2019 論文集，pp.1-10 (2019).

SVM を使った場合と比べて，Deep Learning を使った
場合はどのラベルにおいても適合率・再現率・F 値が高い傾向にあり，推定精度が高いと言える．また，どのラベルにおいても，SVM を使った場合と比べて Deep Learningを使った場合は適合率・再現率・F 値それぞれについて最高値と最低値の差が小さく，計測者の違いによる推定精度の差が小さくなっていると言える．

7. おわりに
本稿では，Deep Learning を用いてベビーカー利用時に周囲への動作予告を行うシステムを提案した．既存手法と比較して提案手法の方がベビーカーの動作推定の精度が高いという知見を得た．今後は，LED を光らせることによって本当に周囲の人がベビーカーを避けられるようになるのかを確認する予定である．
参考文献
[1]

立花巧樹, 富永詩音, 大西俊輝, 呉健朗, 宮田章裕：ベビーカー利用時における周囲への動作予告システムの実装，情© 2020 Information Processing Society of Japan198