情報処理学会 インタラクション 2017
IPSJ Interaction 20172-405-56
2017/3/2

RACRA: 定点カメラ映像用高速アノテーションツール
白井 良成1,a)

水谷 伸1

岸野 泰恵1

松岡 舞2

北川 忠生2

納谷 太1

概要：定点カメラで撮影した映像に対するラベル付けを高速に実現可能なアノテーションツール，RACRA(Rapid Annotation Creation for Rapid Analysis) を提案する．RACRA は映像中の複数のセグメントに存在する動物体を重畳表示する．ユーザは，この重畳映像を利用して，動物体へのラベル付けを切れ目なく次々と行うことができる．我々は本ツールを，生物の行動を詳細に理解するために撮影した映像へのラベル付けを目的としてデザインした．このような映像へのラベル付けは，生物の微細な差異に関する知識を必要とするため画像処理による自動化が難しく，また，ラベル付けできる人も限られており，大量の映像データの分析は困難であった．RACRA により高速なラベル付けを実現することで，大量の映像データに基づく生物行動理解を促進できると考えている．

RACRA: Rapid Video Annotation Tool for Fixed-Point Camera Images
Yoshinari Shirai1,a)Shin Mizutani1

Yasue Kishino1
Futoshi Naya1

Mai Matsuoka2

Tadao Kitagawa2

Abstract: We have developed a novel video annotation tool called RACRA. RACRA enables users to rapidly
annotate labels into the fixed-point camera images. Overlaying multiple moving objects belonging to diﬀerent segments of the video allows users to keep track of multiple labeling targets at all times. Thus, users
can continuously annotate labels on the video. We have conducted a test using underwater camera images
to improve the RACRA. This paper describes the design and implementation of RACRA, and discuses theeﬀectiveness and limitations of our approach.

1. はじめにルもすでにいくつか公開されている [5], [10]．
しかしながら，より高度な分析を実施しようとすると，動物行動学において，情報科学的な手法を活用して行動

既存の画像処理技術では，その行動を十分に抽出できないの特徴や群れの社会構造に迫る “computational ethology”という課題がある．例えば，自然環境下で撮影された映像が現れつつある [1], [4]. computational ethology では，映では，分析のターゲットとする生物以外にも様々な生物が像中における動物の特定行動数のカウント，動物の軌跡な映り込んでしまう．個体や行動の分類において，色や形，どのデータを動画解析により取得し，そのデータを用いて動きなどを総合的に判断しなければ分類できないような識動物の行動の定量化を行う [4]．動画の撮影と解析を行う

別は，現在の画像処理技術ではまだまだ困難であり，人手ことで，映像を用いなかった場合に比べ，様々な行動のパによるアノテーションが必要となる．

ラメータを定量化することができ，動物の行動に関する客

そこで我々は，画像処理技術とインタラクション技術を観的かつ多様なデータに基づいた動物行動の理解が可能と融合させた，映像解析ツール: RACRA: Rapid Annotation

なる．このような動画解析による行動分析を支援するツー

Creation for Raid Analysis) を作成している．RACRA は，

12a)

日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
NTT Communication Science Labs, NTT Corporation
近畿大学 農学部 環境管理学科
Department of Environmental Management, Faculty of Agriculture, Kindai University
shirai.yoshinari@lab.ntt.co.jp© 2017 Information Processing Society of Japan

画像処理技術によって抽出された映像中の動物体に対する，高速なアノテーション付けを支援する．
本論では，RACRA デザインと実装について述べ，RACRAの可能性について議論する．

584

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-405-56
2017/3/2

2. アノテーションを利用した動物行動分析⫼ᬒ䝉䜾䝯䞁䝖1๓ᬒ䠄≀యA-C)

䝉䜾䝯䞁䝖2๓ᬒ
䠄≀యD, E)䝉䜾䝯䞁䝖3๓ᬒ䠄≀యF, G)䝉䜾䝯䞁䝖4๓ᬒ䠄≀యH, I)

2.1 アノテーションツール

䠊䠊䠊

談話解析の研究領域では，ELAN 等の映像，音声に対するアノテーションを付与するツールが利用されている [12]．
また，画像処理の研究領域でも，Grand Truth データの㔜␚ᫎീ

作成や映像の利用促進を目的として，映像に対するアノテーション（ラベル付け）ツールが提案，構築されている [2], [7], [11]．手作業によるラベル付けは，正確性が高い
反面，ビデオの量が増えれば増えるほど，膨大な時間が必要となる．そこで，いくつかのツールでは，アノテーションにかかる時間と手間を減らすため，画像処理技術を利用

t0t1

䝉䜾䝯䞁䝖1

した半自動アノテーション [2] やクラウドソーシング [11]を用いた負荷分散など機能を実現している．

t2

t3

t4t5

᫬㛫A
BC
D
EFG
䝉䜾䝯䞁䝖2䝉䜾䝯䞁䝖3図 1 重畳映像の作成

Fig. 1 Overlaying multiple segments of the video

しかしながら，これらのツールは，computational ethol-ogy に利用するうえで，以下の課題がある．

らかにすることが狙っている．しかしながら，池にはタナ( 1 ) アノテーションに必要な知識

ゴ以外にもミナミメダカなど数種の魚が生息しており，映高度な行動理解を行うためには，動物やその行動，軌像中に移り込んだ魚がタナゴか否か，また，それが雄か雌跡に対するラベル付けに，専門的な知識が必要となる．

かといった識別は，現在の画像認識技術ではまだまだ困難

専門的知識を持つ人は限られるため，クラウドソーシであり，かつ，ある程度日常的に魚を観察しているものでングなどのアプローチは往々にして利用が難しい．

なければ難しい．

( 2 ) アノテーションに要する時間別（ラベル付け）を自動化することは現在の画像認識

3. RACRA: Rapid Annotation Creation
for Rapid Analysis

技術では困難である．そのため，専門的な知識をもっ専門的知識を持った人が高速にラベル付けできることをた人が手作業で行うこととなるが，映像に対するラベめざし，我々は定点カメラで撮影された映像に対する高ル付け作業は通常映像そのものの時間以上の時間を要

速アノテーションツール，RACRA を現在構築中である．

するため，長時間にわたる映像に対するラベル付けをRACRA のデザイン及び実装について以下に述べる．

高度な行動理解を行うために必要な，個体や行動の識専門知識を持った少数の人で行うのは困難である．
専門知識が必要なわかりやすい事例として雌雄判別が挙げ

3.1 視覚情報処理に着目したインタラクションデザイン

られる．一見してその個体が雄か雌かの判断が難しい生物

RACRA は人間の視覚が並列処理可能なこと [3] に着目は多い．魚であれば，例えばヒレの形などが判断材料となしデザインを行った．RACRA は，まず，背景差分やオブるが，それらを動画中から素早くかつ正確に判別することジェクトトラッキングなどの画像処理を用いて，映像中のは，ある程度の知識を持った人でなければ困難である．同動物体を背景から切り出し，軌跡データを生成する．次に，様に同科，同族内の生物の分類なども素人には往々にして抽出された軌跡データ群を基に，軌跡データが存在する時困難であろう．

区間と，存在しない時区間にセグメンテーションする．そして，あらかじめ指定したセグメント数に基づいて，複数2.2 希少魚生息池における映像の記録
映像を利用した動物行動解析の具体例として，希少魚生のセグメントにおける軌跡映像（背景から分離した静止画像群）を，背景画像に重畳して表示する．

息池モニタリングの取り組みを紹介する．我々は現在，絶3 つのセグメントの重畳例を図 1 に示す．異なる時区間

滅危惧種の魚，ニッポンバラタナゴの産卵行動を理解するの物体 A-G が背景画像と共に重畳され，t0 から t5 の時区ため，センサネットワークを用いた環境モニタリングを実間が t0 から t1 の映像として合成される．ユーザは，この施している [6], [9]．2015 年からは収集した水温や溶存酸異なる時間帯における動物体が重畳された映像に対して，素量などの測定データと産卵行動との関係を明らかにする

ラベル付けしたい個体をクリックする等の方法により，ラため，同タナゴが生息する池に水中カメラを設置し，タナベルを付与していく．ラベル付けされた軌跡映像は合成映

ゴが産卵する貝をターゲットに映像の長時間録画を開始し像中から消滅する．特定のセグメントに属する軌跡映像すている [8]．映像から貝にアプローチするタナゴの雌雄別

べてにラベル付けが終了すると，表示セグメント数を維持個体数等の推移を確認し，水温や溶存酸素量との関係を明するために新たな（時間的に後の）セグメントが重畳され© 2017 Information Processing Society of Japan585

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-405-56
2017/3/2ていく．図 1 においては，例えば，物体 D,E のラベル付けと，背景画像と動物体との位置関係というコンテキストがが終了すると，セグメント 2 のラベル付けがすべて終了し失われる場合がある．現在の実装では，複数枚のフレームたと判定されて，新たにセグメント 4 の物体 H, I が背景の各ピクセルにおける最頻値を用いて背景を動的に生成し，を除いた最奥に重畳される．これにより，ユーザは，絶え重畳するセグメントのもっとも古い時刻に合わせて生成ず複数のラベルリングターゲットを見ながら，高速にアノした背景を合成している．産卵のターゲットとなる貝は，テーションの付与をしていくことが可能となる．

ほとんど動きが無いため背景として表示されるが，まれにゆっくりと動くことがある．貝が動いてしまった場合，別3.2 RACRA の表現と操作
希少魚生息池において撮影した水中カメラ映像を読み込の時間帯のセグメントにおける動物体の位置と貝との位置関係は崩れてしまう．

んだ RACRA のスクリーンショットを図 2 に示す．本ス

ラベル付けをする人は，ラベル付けによって何を確認しクリーンショットでは，時間の異なる 10 のセグメントにたいかという観点から，ラベル付けのし易さとコンテキス属するタナゴやミナミメダカなどの動物体が合成されていトの維持の双方を考慮し，セグメント単位／軌跡データ単る．図 1 下部と同様の表現で，個別の動物体の出現時間が位の重畳の判断，重畳するセグメント数 or 軌跡データ数

それぞれタイムラインビューが表示される．同一セグメンの決定を行う必要がある．個別の動物体にラベルを付けたトに属する動物体は，同色の矩形枠で囲われる．これによいのであれば，軌跡データ単位の重畳でも良いが，動物体り，動物体同士の関係（雄が雌に接近中等）のコンテキス間の相互作用に対してラベルを付けたいのであれば，セグトは維持される．ユーザは，タイムライン下部のパネル上メント単位で重畳を行うべきだろう．

でラベルを指定し特定の矩形をクリックすることで，その動物体に “たなご 雄”，“みなみめだか 雌” といったラベルを素早く付与していくことができる．

4.2 対象となる映像
本稿では魚の撮影を主眼とした水中カメラ映像への適用

現在，ラベル付け操作としては，上記マウスによるク例を紹介したが，RACRA は魚の映像以外にも様々な生物

リックのほか，キーボードショートカットによる操作を実の行動を撮影した映像に利用できる．たとえば，樹液がで現している．重畳される動物体は，現在，映像の先頭に近ている木の幹をターゲットに撮影して，その樹液部に集まいものほど，重ね順の先頭に表示されるように実装している虫を長期間に渡って撮影した映像のラベル付け（ex. “カる．その中でも最も早く出現した動物体には，フォーカス

ブトムシ・オス”，“オオムラサキ・メス” 等）も高速に行うを当てている．ユーザはフォーカスが当たっている動物体ことができるだろう．一方，例えば，蜂の巣映像のように，に対して，あらかじめユーザが登録したラベルに割り当てもともと大量に生物が映り続けているような映像の場合，たキーを入力することで，素早くアノテーションを付与し複数のセグメントを重畳しなくてもすでに映像中にラベルていくことができる．

付けターゲットが常時多数表示されているため，本ツール付与したラベルデータは，ラベル確認ウィンドウで確認の効果は薄いと思われる．

することができる (図 3)．確認ウィンドウでは，ラベル付

また，本稿では computational ethology のツールとしてけした (合成前の) 動画を，ラベルと共に再生できる．ラ

RACRA を位置づけたが，RACRA 自体は定点で撮影されベル付けの対象となった動物体が矩形で囲われ，その中央た様々な映像に利用可能である．たとえば，大学校内を定部に，付与したラベルが表示される．ユーザはラベル確認

点撮影する監視カメラの映像に対するラベル付けや，交差ウィンドウでラベルを確認しながら，ラベルの修正や削除点を監視する映像に対するラベル付けにも利用できる．現を行うことが可能だ．

状の画像認識技術では，人や車の抽出はある程度可能であ

4. 議論
4.1 アノテーションのしやすさとコンテキストの維持
セグメントではなく，軌跡データ単位で重畳を管理し，決まった数の軌跡データを常に重ね合わせていくことも可能である．この場合，合成動画上で表示される動物体の数るものの，人の性別や年齢層，車の車種やメーカーなどのラベル付けはまだまだ困難である．このような場面の状況を詳しく調査するためのツールとしても利用できると考えている．

5. Future Workが常に一定となるため，ユーザは，常に自分が処理してい希少魚生息池で撮影した映像は，日照条件の変化や水のきやすい数の動物体を見ながらラベル付けを行っていくこ

濁り，浮遊藻など，様々な画像処理を困難にする要素が重とができる．しかし，その分，同時に存在した動物体同士なり，RACRA が前提とする動物体の軌跡データ抽出に課の位置関係というコンテキストが損なわれる．

題を抱えている．現在は，単純な閾値に基づく背景差分等

また，コンテキストという観点では，セグメント単位でを利用しているが，今後軌跡データの抽出により高度な画重畳した場合でも，重畳するセグメントが多くなってくる像処理を検討する予定である．また，ターゲットによって© 2017 Information Processing Society of Japan586

情報処理学会 インタラクション 2017
IPSJ Interaction 20172-405-56
2017/3/2

㔜␚ᫎീ䝡䝳䞊

䝍䜲䝮䝷䜲䞁䝡䝳䞊

図 2 RACRA のメインウィンドウ

Fig. 2 RACRA: main window

[2]

[3]

[4]

[5]

図 3 ラベル確認ウィンドウ

Fig. 3 RACRA: label confirmation[6]は，ステレオカメラやサーモカメラを利用し，軌跡データの抽出を簡単にする方法も考えられる．

[7]

一方，誤検出された軌跡データの修正も RACRA の画面上で簡易に実現できないかについても検討している．たと[8]

えば，異なる別々の軌跡と認識されてしまった動物体をマウス操作によって一つの軌跡データとする等のことは実現可能であろう．
[9]

6. おわりに
本稿では，定点カメラで撮影された映像に対する高速なラベル付けを可能とするツール，RACRA について述べた．

[10]
[11]

今後，軌跡データ抽出を改良し，適用事例で述べた水中撮影映像に対するラベル付けを進める予定である．
[12]

参考文献
[1]

Anderson, DJ., Perona, P.: Toward a science of computational ethology, Neuron, 84(1), pp. 18-31, 2014.

© 2017 Information Processing Society of Japan

Bianco, S., Ciocca, G., Napoletano, P., Schettini, R.:
An interactive tool for manual, semi-automatic and automatic video annotation, Computer Vision and Image
Understanding, Vol. 131, pp. 88-99, 2015.
Cockburn, A., Gutwin, C., Alexander, J.: Faster document navigation with space-filling thumbnails. In Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems (CHI ’06), pp. 1-10, 2006.
福永 津嵩, 岩崎 渉: Computational Ethology: バイオイ
ンフォマティクスと動物行動学の融合, 領域融合レビュー,4, e003, 2015.
Fukunaga, T., Kubota, S., Oda, S., Iwasaki, W.: GroupTracker: Video Tracking System for Multiple Animals
under Severe Occlusion. Computational Biology andChemistry, 57, pp. 39-45, 2015.
Kishino, Y., Yanagisawa, Y., Shirai, Y., Mizutani, S.,Naya, F., Kitagawa, T.: A Habitat-monitoring System
for an Endangered Fish Using a Sensor Network, UbiComp/ISWC’15 Adjunct, pp. 133-136, 2015.
Mihalcik,D., Doermann, D.: The design and implementation of viper, Technical Report, University of Maryland, 2003.
水谷 伸，白井 良成，岸野 泰恵，柳沢 豊，大津賀 真之，
北川 忠生，納谷 太: 絶滅危惧の魚の繁殖生態解明に向けたオンライン画像行動解析の予備的検討, マルチメディ
ア，分散，協調とモバイル (DICOMO2016) シンポジウム, pp.572-576, 2016.
坂田 伊織, 岡田 龍也, 杉本 智嗣, 須山 敬之, 柳沢 豊, 岸野 泰恵, 松永 賢一, 北川 忠生: センサネットワークによるニッポンバラタナゴの生息環境のモニタリングシステ
ムの構築, 近畿大学農学部紀要, No.47, pp. 77-85, 2014.
UMATracker, http://ymnk13.github.io/UMATracker/.
Vondrick, C., Patterson, D., Ramanan, D.: Eﬃciently
Scaling Up Crowdsourced Video Annotation, International Journal of Computer Vision (IJCV), 101(1), pp.
184-204, 2012.
Wittenburg, P., Brugman, H., Russel, A., Klassmann,A., Sloetjes, H: ELAN: a Professional Framework forMultimodality Research, Fifth International Conferenceon Language Resources and Evaluation, 2006.

587