CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 22 回 画像の認識・理解シンポジウム

レスキュー犬の一人称動画を用いた動作推定
荒木 勇人1,a)

井出 佑汰1

濱田 龍之介2

大野 和則2,3

柳井 啓司1

概要
被災地での災害救助を補助する犬をレスキュー（災害救助）犬といい, カメラなどの計測装置を装備したレスキュー犬をサイバーレスキュー犬と言う. 本研究では, 犬にとりつけたセンサからサイバーレスキュー犬活動の識別を目的とする. 犬一人称動画像と音声を CNN を用いて動作毎に分類する sound/image-based three-stream CNN の提案

図 1

提案手法の概要. 入力画像から複数データを抽出し, それぞれ別のストリームへ入力する. 各ストリームの出力をもとに, 動画のレスキュー犬行動推定結果を最終出力とする.と, 提案手法をマルチクラス推定に用いた実験を行なった.

Sound/image-based three-stream CNN は動画から得られと呼ばれる人間がレスキュー犬の行動を手動でマーキングた静止画像・optical flow 画像・音声を入力とする動画識しており, その情報を消防などの指揮命令者に口頭伝達し別ネットワークである. 本提案手法の有効性を示すため,3ている. このレスキュー犬との共同探索の問題点として, ト

つの入力それぞれ単体とその組み合わせパターン（静止画リアージ（緊急度に従った手当の優先順位付け）のための像単体,optical flow 画像単体, 音声単体, 静止画像+optical

周辺環境情報や, 要救助者情報の不足があげられる. また,flow 画像, 静止画像+音声,optical flow 画像+音声）を用いハンドラーによる記録はどうしても主観的になるので客観た識別との比較実験を行なった. 結果は,51.8%で提案手法性に欠け, さらにそれが口頭伝達されることで正確性がよで最も高い精度が得られた. 推定には, レスキュー犬の訓練り欠落する. 本研究では, レスキュー犬にセンサを装着しの様子を撮影したデータセットを用いた. このデータセッて得られたデータを用いてレスキュー犬の行動推定を目的

トは現在も作成中であり, まだ学習のデータ量が十分とはとする（図 1）. 本研究の具体的なタスクは, 映像だけでな言えない. 一人称視点動画からのマルチクラス推定というく音声などのデータも活用したマルチモーダル情報を用いタスクと, レスキュー犬訓練データセットの複雑さ（激したクラス推定である. これにより, レスキュー犬が今何をしい揺れ, ノイズ, マルチラベル）のあいまったチャレンジンているのか個人の主観に基づくことなく判断することが可

グなタスクであることを踏まえても不十分な結果であり,能となり, トリアージに必要な情報が整理され, 災害救助活今後さらに手法の改良とデータセットの拡充が必要である.

動の効率化が期待される.

1. はじめに

2. 関連研究

被災地での救助活動を行う際に, 人間の補助として訓練動画分類の研究に two-stream CNN [6] がある. これはされたレスキュー犬（災害救助犬）が探査を行う場合があ

動画のフレームとフレームから求まる optical flow 画像をる. レスキュー犬は, 犬としての特性を生かして人間と協個別のネットワークで学習することで動き情報を考慮した力して被災地の探索を行う. がれきの隙間などの狭い空間

動画分類を行っている.

や倒壊した建物など人間には踏破困難な環境でも探査可能

レスキュー犬行動のモニタリングのために, 大野, 濱田らであり, 発達した嗅覚を頼りにした救助活動が可能である.

によって装着型計測・記録装置が開発された [4]. 図 2 にレ

しかし彼らは人間に向けた言語を持たないため, 人間はレスキュー犬に装着可能な軽量な行動計測スーツを示す. こスキュー犬の行動から彼らが収集した情報を理解しなくてれを着用したレスキュー犬はサイバー救助犬とも呼ばれる.

はならない. 現状では, レスキュー犬を指揮するハンドラー

各種センサを用いた計測データを記録し, リアルタイムに映像などのデータを無線配信することが可能である. その123a)

電気通信大学 大学院情報理工学研究科 情報学専攻
東北大学 NICHe
理研 AIParaki-t@mm.inf.uec.ac.jp

ため, レスキュー犬が人の目の及ばない範囲で活動する際にもレスキュー犬の行動やその周辺環境などを把握するのに役立つ.

1

第 22 回 画像の認識・理解シンポジウム

また,Ehsan らによる犬の一人称視点動画からの犬行動予測の研究がある [2]. これは, 犬の行動をモデリングし, 犬が次にどのような道をたどり行動するかを予測している.
しかし, これらの研究は犬の行動のモデリングであり, 犬の周辺環境の推定などは行っていない. また, 入力は動画像のみであり, 音声などのデータは利用していない. レス
キュー犬の課題には, 犬の周辺環境情報や動画像からだけでは判断できない情報の取得が含まれている. 例えばレス
キュー犬は要救助者を発見するとその場で待機し吠え続け

図 2るように訓練されている. このように, 動画像データから装着型計測・記録装置 [4] より引用.

だけではなく, 音声データ, および慣性データ・GPS データなどの情報を複合的に用いてレスキュー犬の状態を判断しなければならない. ただし, 本研究では動画像と音声情報のみの提供をうけたため, これらを入力とした犬の行動推定を行う.
犬一人称の動画像データセットには DogCentric ActivityDataset [3] がある. これは, 背中にカメラを搭載した犬の散歩データセットである. 犬一人称視点動画からの犬行動分類に利用される. しかし, レスキュー犬特有のクラスなどには対応しておらず, 音声データも収録されておらず, シングルクラスで分類されているため本研究では利用しない.

図3

サイバーレスキュー犬訓練データセット see victim クラス（上段）と stop クラス（下段）. 左から静止画像, optical flow 画
像, MFCC スペクトラムで可視化した音声である.

音声に焦点をあてた動画分類の研究には SoundNet [1] がある. 動画から音声と画像を取り出し, 画像を教師データと匂いに執着する, command:ハンドラーからの働きかけがし, 音声は生徒データとして出力が等しくなるように学習ある, eat-drink:飲食する, look at handler:ハンドラーを見している. この手法は音響シーン分類, 物体分類の標準ベンる, run:走る, see victim:要救助者を発見した, shake:体をチマークにおいて教師あり学習の最高精度を達成した. 本

ブルブルと震わせる, sniﬀ:匂いを嗅ぐ, stop:脚を止める,

研究では音声のみからの行動推定は目的としない. しかし,

walk-trot:歩く) あり, その一部を図 3 に示す. 総時間は 57

音声の意味的情報は動画認識に重要であることが明らかに

分 40 秒, 秒間フレーム数は 29.97, 総フレーム数は 103,696されている. SoundNet と two-stream CNN を参考に, 本枚である. 分類クラスそれぞれについて時間範囲を指定す

研究では音声識別ネットワークと two-stream ネットワー

る形で動画にアノテーションがされており, 同時刻に複数クを統合したアーキテクチャを構築した. SoundNet が音のクラスが重なるためマルチラベルデータとして取り扱声波形を入力とするのに対し, 本研究では音声から MFCCう. これを 6fps にサンプリングして整形したものを学習

特徴を抽出してからストリームへの入力とする点で異なっと評価に用いた. クラス毎の出現頻度が 表 1 の値である.ている. 音声と動画像だけでなく, 加速度と速度情報を用表記のためクラス名を簡略した. 各クラス毎に約 100 回かいたマルチモーダルな学習の研究には丹野らの [7] がある.

ら 9000 回のサンプルがあり数値上では十分である. しかこれは, 情報を追加することによっての認識精度の向上やしこれは連続したシーンを含めての数値であり, その実は低下を報告しており, 特に音声によって分類精度が向上す多様性に欠ける中身となっている. 例えば,run クラスはるとされている. マルチモーダルな深層学習という点で本98 サンプルあるが, 独立したシーンとしては 3 シーンにす研究と同様のテーマだが, マルチクラス推定という点で本ぎず, bark,eat-drink,see victim,shake クラスを合わせても研究とは異なっている.

100 シーンに満たない.

3. データセット
学習には, サイバーレスキュー犬訓練データセットを利用した. これは, 訓練されているレスキュー犬に専用の計測スーツを着用させ収集したデータ群である. 東北大学の大フレームの静止画像とその直後のフレームから計算した

optical flow 画像, および前後 15 フレーム分の長さの音声の 3 データをフレーム毎に抽出した.

4. 提案手法

野らからその一部を提供された. 提供されたデータは 7 本

本研究ではレスキュー犬の行動推定のために, 動画像・音からなる動画で, 時間の範囲を指定するように犬行動がラ声のマルチラベル推定を行う. そのため, レスキュー犬訓練ベル付けされている. 犬行動は 11 種 (bark:吠える, cling:

データセットを認識するための sound/image-based three-2

第 22 回 画像の認識・理解シンポジウム

stopwalk343

sniﬀ

2439

shake1127

victimeat

1744

runcommand

出現回数

handlerクラスcling

サイバーレスキュー犬訓練データセット 利用範囲内で計測した出現回数
bark

表 1

2011

981549239771963848764

図 4Sound/image-based three-stream アーキテクチャ. 音声, 静

stream CNN を提案する. これは,two-stream CNN に音声ストリームを加えたモデルである. 静止画像, optical flow 画
像, 音声を別々のストリームへの入力とし, それぞれの出力を元にレスキュー犬の行動を推定する. Sound/image-based

three-stream CNN のアーキテクチャを図 4 に示す.
まず入力となる動画から静止画像のフレーム（Ft ）を取り出し, 直後の Ft+1 間との optical flow 画像（Ot ）を生成する. 次に両画像から同じ構造の 2 つのネットワークを用いて特徴量の抽出を行う. そして対応する音声（At ）からMFCC（Mt ）を求め, 前述とは異なる構造のネットワーク

止画像, optical flow 画像それぞれを入力とする 3 ストリームを用いて（Mt ）スペクトログラムから特徴量の抽出を行う.

からなり, それぞれの出力を結合してクラスを推定している.

最後にこれら 2 つあるいは 3 つの特徴量の組み合わせ毎に結合し, 分類ネットワークでクラス分類を行う. この際に,5. 実験

音声をフレームと同じサイズで切り出すと特徴が著しく失われるため入力音声には Ft の前後 0.5 秒ずつを用いた. 動3 つの入力について, それぞれ単体, 2 つずつの組み合わ画あるいは音声から実際に犬の行動を推定する場合を想定せおよび全てを統合した場合の 8 通りを行った. 画像単体し, 現実的で取り扱いやすい時間としてこれを設定した. 動を入力とした実験では ImageNet を学習した VGG16 の学画長は 31 フレームとし, 中央から切り出した静止画像とそ習済みモデルを用い再学習した. 音声での学習は畳み込みれに対応する直後の optical flow 画像をそれぞれ ImageNet層について 1D と 2D の 2 種類で行った. 畳み込み層の次で学習済みの VGG16 モデルに通し, 畳み込み層の出力を元の差について図 5 に詳細を示す. 出力の向きを合わせる結合した. 動画から切り出した音声は畳み込みを繰り返すために, 提案手法の複数入力には 2D の畳み込みを用いた.と特徴の縦横次元が小さくなるため, 静止画像の畳み込み一人称視点動画像からのマルチ行動推定を行なった先行研の出力と同じサイズになるように調整した. 調整は畳み込究は見つけられなかったため, 既存手法との比較は行なっみで奥行き次元を揃えた後, 同じ特徴をリピートし目的のていない. 表では, クラス毎の精度と全体を合計しての精大きさになるまでコピーして結合した. 分類はフレーム毎度を Jaccard 係数で示している. なお,Jaccard 係数とはに行った. 推定にはクラス毎に SoftMarginLoss を用いた.
入力を x, 出力を y, クラス数を C とすると, マルチクラス

TP
FP + FN + TP

推定の損失関数 SoftMarginLoss は式 1 に定義される. 推で表され,Precision と Recall の両者について F 尺度と比較定クラスが正解なら Σ 内の第 2 項, 不正解なら第 1 項が計してより厳格な値が求まる. レスキュー犬の行動分類にあ算に利用するように設計されており, 推定ラベルによってたり,Precision と Recall を共に重視するためにこの係数を関数が変わる. 本研究では 11 クラスを取り扱うため, 出力採用した. よって, 本研究では Jaccard 係数がより大きいモy は 11 次元のバイナリとする. 閾値=0.5 とし, 閾値以上のデルは精度がより良いと表現する. 結果のまとめを表 2 にクラスを推定クラスとした.

示す. 静止画像, optical flow 画像単体では精度が低く, これらを組合せたもので精度が上昇した. 比較して, 音声単1loss(x, y) = − ∗ Σi {y[i]} ∗ log((1 + exp(−x[i]))−1 ])Cexp(−x[i])+ (1 − y[i]) ∗ log()
1 + exp(−x[i])(1)体では 1D, 2D ともに精度が高かった. 音声と静止画像, 音声と optical flow 画像を組合せた実験では, 音声単体と比較して全体的な精度は低下した. しかし, 静止画像, opticalflow 画像, 音声の 3 つを組合せた提案手法では全体的な精度の上昇が見られ, クラス別で見ても半数以上のクラスの学習は全てにおいて 100 エポック行った. 学習率は 1e-数値が上昇している. 人間が耳で聞いた際にもその特徴を03〜1e-06, バッチサイズは 32〜128 の範囲で学習毎に変え識別しやすい bark, shake クラスにおいては音声単体を 1D制限の中で最も良い精度の結果を評価した.

畳み込み層で学習したものの方が数値が高い. これらから,データセットに対する提案手法の有効性が示された.

3

第 22 回 画像の認識・理解シンポジウム

静止画像

optical flow 画像

音声

cling

commandeat

handlerrunvictim

shake

sniﬀ

stop

walk

全体

各実験結果比較表.

bark

表 2

(1)

◯××

0.244

0.066

0.0

0.024

0.057

0.0

0.204

0.0

0.0

0.588

0.51

0.436

(2)

×

◯

×

0.141

0.0

0.0

0.0

0.017

0.0

0.017

0.0

0.0

0.586

0.476

0.406

(3)

×

×

1D

0.669

0.078

0.22

0.023

0.138

0.0

0.274

0.44

0.502

0.745

0.704

0.512

(4)

×

×

2D

0.563

0.04

0.188

0.001

0.059

0.00.201

0.304

0.524

0.744

0.74

0.512

(5)

◯

◯

×

0.11

0.018

0.043

0.0

0.155

0.0

0.259

0.0

0.426

0.705

0.668

0.435

(6)

◯×

2D

0.662

0.031

0.195

0.018

0.115

0.002

0.308

0.402

0.498

0.726

0.694

0.5

(7)

×

◯

2D

0.667

0.054

0.234

0.014

0.123

0.01

0.223

0.356

0.487

0.759

0.692

0.493

(8)

◯◯

2D

0.577

0.135

0.186

0.066

0.183

0.026

0.433

0.409

0.53

0.779

0.725

0.518

データセットについても本研究で利用した内容は十分ではない. 特に,eat, shake, run クラスなどは圧倒的にデータ量が少ない. クラス毎のデータ数だけでなく, 慣性センサなどから取得される情報の利用も動作推定の精度向上に対
図 5

1D convolution と 2D convolution の詳細. データは同様でも入力の形と処理が異なり, 出力の結果も異なっている.

する効果が期待される. レスキュー犬訓練データの増強は必須課題とも言える.
さらに, 今回は研究の範囲としなかったが実際の現場での利用を想定した場合, レスキュー犬行動動画の入力に対

6. 考察Sound/image-based three-stream CNN の提案と, 提案手法を用いたレスキュー犬の行動推定を行なった. 音声してリアルタイムに結果を出すことも求められる.
参考文献
[1]

データはクラス推定に強力であるものの, 音声・静止画像・optical flow 画像の 3 つのデータにそれぞれ必要な情報が含まれていることがわかった. 提案手法が相対的に最も精[2]度が高かったが, 51.8%と数値では決して高いとは言えな
い. 本研究の目的はレスキュー犬の行動推定という人命のかかったタスクである. ハンドラーの補助的な役割を任せ[3]た運用をこなせるとしても, 実際に現場で判断を任せるにはまだまだ不十分な結果となった.

[4]

精度をより上げるためには, 現在の手法の改良, 新しい手法の取り入れ, データセットの拡張が考えられる. 例えば,人間の一人称視点映像の分類研究で用いられているような動画分類特有の処理を入れるなどの手法を取り入れること[5]で精度の向上が期待できる. [5] で用いられている腕のセグメンテーションネットワークのように, 犬領域を推定する[6]

ようなネットワークは犬動作の推定にも応用でき, これは犬の状態推定への貢献が期待される. ただし, 腕領域とは異なり犬領域のデータセットは確認できていない.
また音声からの特徴抽出について, 音声フレームの長さが実験に対して適しているのかという疑問が残っている.

[7]

Aytar, Y., Vondrick, C. and Torralba, A. A.: Soundnet:
Learning sound representations from unlabeled video, Advances in Neural Information Processing Systems (2016).
Ehsani, K., Bagherinezhad, H., Redmon, J., Mottaghi, R.
and Farhadi, A.: Who Let The Dogs Out? Modeling Dog
Behavior From Visual Data, Proc.of IEEE Computer Vision and Pattern Recognition (2018).
Iwashita, Y., Takamine, A., Kurazume, R. and Ryoo,
M. S.: First-Person Animal Activity Recognition from
Egocentric Videos, Proc.of International Conference on
Pattern Recognition (ICPR), Stockholm, Sweden (2014).
Komori, Y., Fujieda, T., Ohno, K., Suzuki, T. andTadokoro, S.: Detection of Continuous Barking Actions from Search and Rescue Dogs’ Activities Data,Proc.of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 630–635 (2015).
Minghuang, M., Haoqi, F. and Kris, M. K.: GoingDeeper into First-Person Activity Recognition, Proc.ofIEEE Computer Vision and Pattern Recognition (2016).
Simonyan, K. and Zisserman, A.: Two-stream convolutional networks for action recognition in videos, Advancesin Neural Information Processing Systems, pp. 568–576(2014).
丹野良介，小澤 暖，伊藤浩二.：危険運転シーン抽出のためのマルチモーダル深層学習技術，第 11 回データ工学と情報マネジメントに関するフォーラム (DEIM) (2019).

今回は検証しなかったが, 本来は推定に最適なフレーム長を求めるべきである. より適切な音声フレーム長が判断できればより高い精度も期待できる. 音声の特徴抽出方法についても最適と断言するには至っていない. 今回は MFCCスペクトログラムを採用したが,[1] のように波形をそのまま入力する分類手法も存在する. 今回は取り扱わなかったが, 検討の価値があるだろう.

4