CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 22 回 画像の認識・理解シンポジウム

ウミネコ動画の自動分析
井出 佑汰1,a)

水谷友一2,b)

概要

依田 憲2,c)

柳井 啓司1,d)

そこで本研究では、最新の CNN に基づく物体検出の手法 [6] と物体追跡の手法 [7] を組み合わせて用いてウミネコ

近年、計算機の能力向上により深層学習による動画像中の生態観察の自動化を試みた。今回の研究では、ウミネコの物体の検出が容易になってきて自動運転や農業や工場なが巣の周りにいるのかいないのかに限定して実験を行った。

どにもその技術は使われ始めている。現在、生物学者は動物の生態観察を長時間にわたる動画を人の目で見ることで記録付けを行っていて、その作業はかなりの時間を要する。

2. 関連研究2.1 物体検出

そこで本研究では、最新の深層学習に基づく物体検出の手

CNN に基づく物体検出の研究として YOLOv3[6] があ法 [6] と物体追跡の手法 [7] を用いてウミネコの生態観察のる。これまでの物体検出手法である YOLOv2[5] では 19 層自動化を試みた。のモデルであったのにたしてこの論文の手法では層を 53

1. はじめに
近年、計算機の能力向上により深層学習による動画像中の物体の検出が容易になり、世の中に広まりつつある。最層にした。これまでは分類問題に Softmax 関数が使われていたが代わりにロジスティック回帰により分類を行った。
これらの変更により速度は少し低下したものの既存の物体検出手法よりも高い精度での検出が可能になった。

近では、自動車の自動運転に深層学習による物体検出の技術が用いられていてますます注目を浴びている。それだけ

2.2 物体追跡ではなく、農業や工場での品質管理にも利用されていて、CNN に基づく物体追跡の手法として Fast Online Object使用される業界も多方面にわたっている。深層学習を用い

Tracking and Segmentation: A Unifying Approach[7] があた物体検出の代表例としては、SSD[4] や YOLOv3[6] などる。この論文では、既存の CNN に基づく物体追跡の手法があり様々な手法が日々開発されている。本研究で最新のの Siamese-FC の、物体追跡の性能に加えて、セグメンテー

物体検出の手法である YOLOv3[6] を用いて動画中のウミションマスクを生成することを可能にした手法の提案をしネコの検出を行う。YOLOv3[6] は高速かつ高精度での物ている。リアルタイム性を維持したまま VOT2018 で高い体検出が可能となっている。深層学習による手法として物精度を出している。ネットワーク図を図 1 に示す。

体追跡もある。一連の動画の中で特定の物体を追跡するもので、近年では監視カメラや画像認識と合わせて車載カメラにも用いられている。物体追跡の手法の代表例としてHigh Performance Visual Tracking with Siamese Region
Proposal Network[3] や Fast Online Object Tracking andSegmentation: A Unifying Approach[7] がある。本研究では、YOLOv3 で検出したウミネコを追跡する目的として用いる。物体検出の手法と物体追跡の手法を合わせる。
現在、生物学者は動物の生態観察を長時間にわたる動画を実際に人の目で見ることで記録付けを行っている。その

図 1 Fast Online Object Tracking and Segmentation の概要 ([7]より引用)

作業はかなりの時間と労力を要する。

2.3 動物動画解析
12a)
b)
c)
d)

電気通信大学 情報理工学研究科 情報学専攻
名古屋大学 環境学研究科 都市環境学専攻
ide-y@mm.inf.uec.ac.jp
yuichi-san@nagoya-u.jp
yoda.ken@nagoya-u.jp
yanai@cs.uec.ac.jp

動物動画解析の研究として Recognition in Terra Incog-nita[1] がある。この論文では、近年の CNN に基づく手法
は、学習したデータセットと同じ場所のデータに対して活用することで優れた性能が示されるため解析する対象に対1

第 22 回 画像の認識・理解シンポジウムして適切なデータセットを用いることを述べている。この論文の考え方に従い、本研究で用いた物体検出の手法 [6]4. 提案手法のファインチューニングを公開済みのデータセットである動画を解析するにあたり図 2 の状態では各巣 A ∼F の周ImageNet[2] の black-tailed gull を用いずに、水谷らからりにいるウミネコを詳細に記録することができないため、提供された蕪島のウミネコデータセットにて行った。デー

各巣 A ∼F の周りで動画を切り取り解像度を下げてから本タセットの詳細については 3 データセットにて説明する。

研究を行った。

3. データセット
3.1 評価用データセット
本研究で解析するデータは水谷らから提供された定点カメラにて観測された、ウミネコの蕪島での１日 (2015 年 5月 28 日、4:00 ∼ 18:00) の動画である。図 2 に示すように

本研究は以下のような流れになる.

( 1 ) 物体検出手法によるウミネコの検出( 2 ) 検出された記録をもとにして物体追跡

5. 手法の詳細
5.1 物体検出

ウミネコの巣が A ∼F まであり、その周囲をウミネコは行

本研究の物体検出は YOLOv3[6] を水谷らから提供されき来する。本研究では、各巣においてどの時間帯にウミネた学習用データセットでファインチューニングしたものでコが存在したのかを記録することを目的とする。

行う。学習用データセットを評価するときの巣の大きさと同じ解像度の大きさに元の動画を切り取った。さらに、切り取った動画を画像にしてファインチューニングを行った。学習に使用した画像は 4562 枚で検出するクラスは本研究での対象であるウミネコクラスのみとした。

5.2 物体追跡
物体追跡は SiamseMask[7] を用いた。YOLOv3[6] で得られたバウンディングボックスの座標を入力として追跡を行った。物体検出に物体追跡を加えることにより物体検出で検出できなったフレームを補うことができ、精度の向上が見られると考え本手法を用いた。

6. 実験の結果
図 2 水谷らから提供されたデータ (2015 年 5 月 28 日分)

6.1 評価方法
本研究の評価は水谷らから提供された実際のウミネコ観

3.2 学習データセット
学習用データセットとして、蕪島での別の日の 1 日 (2018年 5 月 29 日、6 月 1 日) のものを使用した。また以下の図3 に示すように評価用のデータセットとは異なるアングル察記録を用いて行う。観察記録には評価用のデータセットに対応した観察記録が載っている。評価用データセットに対して本研究の手法を用いて精度を測る。以下図 4 に実際の観察記録の一例を載せる。

から撮影されたものとなっている。

図 4 実際の観察記録

6.2 実験の結果
図 3 水谷らから提供されたデータ (2018 年 5 月 29 日分)

各巣の結果を以下の表 1 に示す

2

第 22 回 画像の認識・理解シンポジウム

7.3 巣 C について

表 1 本手法を用いた正解率 [%]巣ABCDE

F

検出のみ

86.4

45.0

19.0

60.2

52.8

20.6

検出＋追跡

88.6

80.0

29.3

64.1

50.970.6

巣全体が草の中に埋もれているため、ウミネコがいたとしても物体検出器で検出そのものが非常に困難であった。
以下の図 7 の場合、実際には真ん中の白く見えるところにウミネコが存在しているのだが人の目で見ても見落としてしまうくらいには見分けるのが困難であるといえる。巣 B

7. 考察と同様に手前の別の巣のウミネコを検出して追跡してしまうことがあったため、巣の切り取り方を変える必要がある

7.1 巣 A について
ウミネコの体全体がよく映っているため検出そのものがと考えられる。

うまくいっているフレームが多く見受けられた。下の図 5のようにウミネコクラスである確率そのものも高いものになっている。そのため、誤検出も少なかった。検出そのものが上手くいっているため追跡の機能を追加したときに精度が向上した。

図 7 巣 C の様子

7.4 巣 D について
巣 D では以下の図 8 のような誤検出が見られた。学習データの中に雛の画像は用いていないのだが、今回の実験
では、雛もウミネコと認識された。雛を検出するとその後雛を追跡してしまう。そのため、ウミネコの全体像が比較的よく見えていたのにも関わらず精度が高くならなかった
図 5巣 A の様子と考えられる。

7.2 巣 B について巣 B 以下の図 6 のようになっていて他の巣と比べると開けている。そのためウミネコの全体像が見えやすくなっているため検出そのものはうまくいくこともあった。そのため、追跡もうまく機能して精度が向上したと考えられる。
しかしながら巣の手前を他の巣のウミネコが動き回るため、奥にいるウミネコの姿が隠れてしまい検出されないこともあった。追跡をする際に巣の手前を歩いている別の巣のウミネコが対象となってしまうこともあり、動画の切り取り方の工夫が必要であると考えられる。
図 8巣 D での誤検出

7.5 巣 E について草が生い茂っている中に巣があるためウミネコが巣で座っていたとしても検出されないケースや以下の図 9 のよ
うに巣の手前の岩をウミネコと誤検出してしまうフレームが多く見受けられた。誤検出があるとその後の追跡において、本来ウミネコを追跡することを目的にしているのにもかかわらず他の物体を追跡してしまう。そのため検出のみの場合よりも検出と追跡を合わせた手法のほうが低い精度
図 6 巣 B の様子となったと考えられる

3

第 22 回 画像の認識・理解シンポジウム

図 11

図 9

巣 E の誤検出の様子

未検出のフレームを補う様子上：検出のみ 下：検出+追跡8. 今後の課題
本研究では、ウミネコがいるのかいないのかについてのみしか記録することができなかった。全体像が十分に見る

7.6 巣 F についてことのできない場合においての検出率が低く、検出できな

以下の図 10 のように巣 F は草が生い茂っているところ

いことそのものが精度に大きくかかわってくるため、学習に巣があるため、ウミネコそのもの検出が難しくなっていデータを増やすことによりさらなる精度向上が必要である

る。一方で巣 C よりもウミネコの体全体が見えるので巣 Cといえる。巣の切り取り方が検出にどの程度影響を与えるよりも高い精度となった。検出が出来ているフレームがあのかについて検証する必要がある。物体検出と物体追跡のることから追跡の機能が上手く働いた。そのため検出と追手法の組み合わせにより未検出のフレームを減らすことが跡を合わせたところ精度が大幅に向上したと考えられる。

出来た。そのことが今回の観察記録の精度向上につながった。しかし、ウミネコ巣から出て行ってフレームアウトした際の対応について考える必要がある。実際の観察記録では姿勢や転卵なども記録されている。完全な自動分析にするには検出だけでなく、検出と同時に行動も推定するシステムが必要といえる。検出したフレームに対しての動作推定の機能を追加していく必要がある。
参考文献
[1]

[2]
図 10 巣 F の様子[3]

7.7 物体検出と物体追跡を組み合わせた効果について[4]

以下の図 11 はフレームとフレームの間における物体検出器の未検出フレームを物体追跡の手法を組み合わせたことにより補う様子が示されている。青い枠が物体検出によ[5]るもので、緑色の枠が物体追跡によるものとなっている。
最初と最後のフレームでは正しく検出できているにもかか[6]わらず、途中のフレームにおいては検出できないというのは、物体検出のみを使用していると起こることである。物
体追跡の手法を組み合わせることで未検出フレームを減らすことが可能になり、物体検出手法のみの場合よりも正確[7]

Beery, S., Horn, G. V. and Perona, A. P.: Recognition in
Terra Incognita, Proc. of European Conference on Computer Vision (2018).
Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K. andFei-Fei, L.: Imagenet: A large-scale hierarchical imagedatabase, Proc. of IEEE Computer Vision and Pattern
Recognition, Ieee (2009).
Li, B., Yan, J., Wu, W. and Zhu, Z.and Hu, X.: High Performance Visual Tracking with Siamese Region Proposal
Network, Proc. of IEEE Computer Vision and Pattern
Recognition (2018).
Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed,S., Fu, C.-Y. and Berg, A. C.: Ssd: Single shot multibox detector, European conference on computer vision,Springer, pp. 21–37 (2016).
Redmon, J. and Farhadi, A.: YOLO9000: better, faster,stronger, Proc. of IEEE Computer Vision and Pattern
Recognition (2017).
Redmon, J. and Farhadi, A.: Yolov3: An incremental improvement, arXiv preprint arXiv:1804.02767 (2018).
Wang, Q., Zhang, L., Bertinetto, L., Hu, W. and Torr,
P. H.: Fast Online Object Tracking and Segmentation: A
Unifying Approach, Proc. of IEEE Computer Vision andPattern Recognition (2019).

な観察記録を付けることができるといえる。

4