新ビジネス創出と円山動物園の機能強化に向けた技術確立のための検討会（第1回）

AIの現状とAIによるエソグラムの自動作成に向けて
山本雅人，飯塚博幸
池田侑一郎（修士課程１年）

北海道大学

大学院情報科学研究科
自律系工学研究室
平成30年1月25日

本日の話題１．AI技術の現状・ディープラーニング(Deep Learning: 深層学習)の衝撃
・ブレークスルーとなった研究などの紹介
２．エソグラム自動作成へ向けて・個体識別と追跡（トラッキング）
・YOLOv2（リアルタイム画像認識）

３．チンパンジー個体識別について
４．オランウータンのトラッキングについて
５．今後の予定，課題，展望

本日の話題１．AI技術の現状・ディープラーニング(Deep Learning: 深層学習)の衝撃
・ブレークスルーとなった研究などの紹介
２．エソグラム自動作成へ向けて・個体識別と追跡（トラッキング）
・YOLOv2（リアルタイム画像認識）

３．チンパンジー個体識別について
４．オランウータンのトラッキングについて
５．今後の予定，課題，展望

本日の話題１．AI技術の現状
・ディープラーニング(Deep Learning: 深層学習)の衝撃
・ブレークスルーとなった研究などの紹介
２．エソグラム自動作成へ向けて・個体識別と追跡（トラッキング）
・YOLOv2（リアルタイム画像認識）

３．チンパンジー個体識別について
４．オランウータンのトラッキングについて
５．今後の予定，課題，展望

エソグラムの自動作成に向けて[チンパンジーの場合]
・画像データから各個体を識別する（個体識別）

・全体の画像から，個体を識別して追跡を行う（トラッキング）・トラッキングデータから行動パターンを予測する（運動量や移動速度などの統計データを収集）
・行動パターンを時間軸に沿って当てはめる（エソグラム）

自動エソグラムの利点

・３６５日２４時間の見守りが可能

・日，月，年の変化など期間による統計
・体調不良・発情期などの検知

個体識別（顔認証）[ iPhoneの顔認証(例) ]・登録したユーザの顔かどうかを判別
・登録時に顔全体のスキャンが必要
・正対して顔を左右に動かして登録[動物の個体識別 ]・自由に動いている中での識別・質の良い多量のデータの入手が困難
・特徴が似ている個体が多い本日の話題１．AI技術の現状
・ディープラーニング(Deep Learning: 深層学習)の衝撃
・ブレークスルーとなった研究などの紹介
２．エソグラム自動作成へ向けて・個体識別と追跡（トラッキング）
・YOLOv2（リアルタイム画像認識）

３．チンパンジー個体識別について
４．オランウータンのトラッキングについて
５．今後の予定，課題，展望

チンパンジーへの応用〜個体識別〜

撮影条件とデータの加工・対象動物： チンパンジー
・個体数： ９頭
・ガラスの外(観覧スペース)から個体を追いながら撮影
・正方形になるように左右をカット
・128 x 128 にリサイズ

128 px

128 pxチンパンジーの個体識別















 

[データの収集（個体を追跡しながら撮影）]加工後のデータ (総数4986枚)
 

28 / 31257

442

659

828

520

425

671

478706

ディープラーニングによる学習
・畳み込み層とプーリング層，全結合層からなる多層の畳み込みニューラルネットワーク(ConvoluEonal Neural Network: CNN) *構造の詳細は省略
・あるチンパンジーの画像を入力し，９頭のチンパンジーのそれぞれである確率を出力
・正解のチンパンジーの出力を１，それ以外を０とするように学習[各チンパンジーである確率を出力]

個体識別の学習結果

損失 (loss) : CNNの出力と正解の出力との誤差
エポック (epock): 学習の繰り返し回数
訓練画像 (train data)：学習するために画像と正解のペアを与えた画像
テスト画像 (test data)：学習する際に使用していない画像（学習したCNNが見たことのない画像を与えて性能を確認する）

個体識別の学習結果
テストデータに対する正解率が最大80%ほど

正解率 (accuracy) : 入力した画像がどの個体かを正解した率（９頭いるので，ランダムに解答した際の期待正解率は約11%)個体識別の結果のまとめ

・個体識別の精度はそれなりに高い・毎フレーム正確に判定する必要はない
・YOLOv2 などへの組み込み

本日の話題１．AI技術の現状
・ディープラーニング(Deep Learning: 深層学習)の衝撃
・ブレークスルーとなった研究などの紹介
２．エソグラム自動作成へ向けて・個体識別と追跡（トラッキング）
・YOLOv2（リアルタイム画像認識）

３．チンパンジー個体識別について
４．オランウータンのトラッキングについて
５．今後の予定，課題，展望

エソグラムの自動作成に向けて[オランウータンの場合]
・画像データから各個体を識別する（個体識別）

・全体の画像から，個体を識別して追跡を行う（トラッキング）・トラッキングデータから行動パターンを予測する（運動量や移動速度などの統計データを収集）
・行動パターンを時間軸に沿って当てはめる（エソグラム）

エソグラムの自動作成に向けて[オランウータンの場合]
・画像データから各個体を識別する（個体識別）

・全体の画像から，個体を識別して追跡を行う（トラッキング）・トラッキングデータから行動パターンを予測する（運動量や移動速度などの統計データを収集）
・行動パターンを時間軸に沿って当てはめる（エソグラム）

オランウータンのトラッキング
・対象動物： オランウータン（ハヤト）・個体数： １頭のみ
12月27日10時から15時まで撮影 10:30-12:30 (2h) 13:30-14:30 (1h) を使用
１秒間に５枚の画像を記録 (5Hz)
カメラ２台を飼育スペース側に設置
両サイドに撮影不可スペース有camera 1  
top view

camera 2

cam1

cam2





ハヤトのトラッキング各位置の滞在時間によるヒートマップ（１時間毎）

10:30 – 11:30

11:30 – 12:30

13:30 – 14:30

各位置の滞在時間（２０分毎）
10:30 – 10:50

11:30 – 11:50

13:30 – 13:50

10:50 – 11:10

11:50 – 12:10

13:50 – 14:10

11:10 – 11:30

12:10 – 12:30

14:10 – 14:30

移動量の短時間変化1 px

10:30 

(h)11:00 移動量の長時間変化
32px20

10:30

 (h)

14:30

オランウータンの課題と展望
・3次元位置の取得
・正確な移動量
・カメラの配置・AIによる行動自動認識とエソグラムの自動生成
・異常検知

本日の話題１．AI技術の現状
・ディープラーニング(Deep Learning: 深層学習)の衝撃
・ブレークスルーとなった研究などの紹介
２．エソグラム自動作成へ向けて・個体識別と追跡（トラッキング）
・YOLOv2（リアルタイム画像認識）

３．チンパンジー個体識別について
４．オランウータンのトラッキングについて
５．今後の予定，課題，展望

今後の予定・展望・オランウータンのトラッキングデータ解析
・チンパンジーのリアルタイム識別・トラッキングデータからの行動パターン予測
・異常行動の検知
・動画を用いた個体識別おわりに

autonomous.jp

お問い合わせ先（山本）masahito@complex.ist.hokudai.ac.jp