・日時：2024年2 月15日 13: 30~15: 55
・発表場所：JST別館大ホール（東京都千代田区五番町7 K's五番町）

遠距離・広域空間の飛翔体を認識する
羽ばたき振動検出アルゴリズム

広島大学

先進理工系科学研究科
助教 島﨑 航平2024年2月15日

1

研究背景

鳥による農作物の収穫被害
経済損失

捕獲トラップ
生体保護

広域なフィールドの飛翔体を効率よくモニタリングし、対策する方法が必要
2

カメラを用いた検出〇×
長距離の鳥類を見た目（アピアランス特徴）で認識困難
取得画像

見た目（アピアランス）ではなく、距離に普遍な動き（ダイナミクス）に着目したい
3

距離に応じた検出の特徴方法

短距離 ( 0~30m )中距離 (30~60m)

長距離 (60m~)• 鮮明なアピアランス• ダイナミクス特徴• ぼやけたアピアランス• ダイナミクス特徴• ダイナミクス特徴

鳥？虫？
飛行機？

距離に影響されず普遍なダイナミクス特徴は存在する
4

異なる距離で撮影された鳥の画像

中距離

遠距離

80×80
50×50
25×25識別に十分な色や形状がある

ぼけた輪郭

アピアランス識別可能

識別困難※上記の画像は4096×904画素@100fpsで撮影されたものをリサイズして表示
5短距離：マイクロフォンによる検出(従来)
音声信号

メリット：
・検出しやすい・識別しやすいデメリット：• 正確な場所が分からない• 葉などの背景のノイズの影響が無視できない

6

短・中距離：画像による検出(従来)アピアランス特徴認識
データセット
機械学習

メリット：
・正確性が高い・複数追跡可能90%

デメリット：• 照明条件の影響が大きい• アピアランス特徴が見えないと認識しにくい

7

長距離：レーダーによる検出(従来)

レーダー波形

メリット：・長距離も検出可能
・複数追跡可能デメリット：• 小型対象の特定が難しい• 地表面等の背景のノイズの影響を受けやすい

8

提案手法

カラス

遠距離で鳥類の運動情報を分析して、鳥の種類を判別する
動画入力

画像処理

特徴抽出

信号処理

周波数分析
9

提案手法
時間
振幅
時間

信号
強度

高速カメラ
フーリエ変換 周波数

高速カメラ

変位信号

周波数解析

羽ばたき周波数に基づく鳥類識別10なぜ高速カメラ？
一般的なカメラ(30 fps)

高速カメラ (100 fps)

連続した変位情報の欠落

解析に十分な連続した変位情報11

フローチャート
高速ビデオ入力

対象検出

信号化

対象追跡

経験的モード分解(EMD)

軌跡の記録

高速フーリエ変換(FFT)

画像処理

信号処理

結果出力

12

画像処理部分
𝐼𝐼

𝐼𝐼𝑡𝑡0

1
𝑡𝑡0 − 𝑇𝑇2

𝐼𝐼 𝑡𝑡0−𝑇𝑇

𝐼𝐼𝑑𝑑1

𝐼𝐼𝑑𝑑2

1.対象と影を含む二値領域をマスク抽出する
𝐼𝐼𝑡𝑡0

𝐼𝐼 𝑡𝑡0−𝑇𝑇

2. 対象の有無に対する背景を抽出する

𝐼𝐼𝑑𝑑1

3. 差分を計算して影を除去する

応用フレーム間差分法
13信号処理部分

T=𝑡𝑡0：重心位置)

T=𝑡𝑡1

元の重心軌道

…

T=𝑡𝑡𝑛𝑛重心変位軌跡の例

信号化

信号化された変位軌跡
14信号処理部分

𝐶𝐶𝐶𝐶𝐶𝐶𝑡𝑡−1

∆𝑥𝑥
∆𝑠𝑠

𝐶𝐶𝐶𝐶𝐶𝐶𝑡𝑡∆𝑦𝑦∆𝑥𝑥信号

加算

変位信号

変位軌跡を変位信号にする

∆𝑦𝑦信号

15

信号処理部分

高周波数
羽ばたき信号

EMD

低周波数

軌跡

固有モード関数(IMF)

飛行軌跡

EMD により、羽ばたき信号と飛行軌跡の成分を分離
16実験環境例

高速カメラ設置

追跡結果

使用したカメラ：DFK 38UX255 解像度：4096×904画素
焦点距離：12.5mm
FPS：100
製造者 ：The Imaging Source (Germany)17

短距離：羽ばたき周波数解析

Peak: 26.35Hz

Peak: 10.53Hz※上記の画像は4096×904画素@100fpsで撮影されたものをリサイズして表示

18

中距離：羽ばたき周波数解析
ID:173

ヒヨドリ

ID:33

ツバメ

※上記の画像は4096×904画素@100fpsで撮影されたものをリサイズして表示

Peak: 14.19Hz

Peak: 11.43Hz

19

中距離：羽ばたき周波数解析（焦点ボケ）

ID:117スズメ
Peak: 22.32Hz※上記の画像は4096×904画素@100fpsで撮影されたものをリサイズして表示

20

中距離・長距離：羽ばたき周波数解析
スズメ
始点終点(リサイズ)
トンビ(リサイズ)※上記の画像は4096×904画素@100fpsで撮影されたものをリサイズして表示

21

その他の飛翔体：スズメバチ検出
実験環境

スズメバチの襲来
数時間後
オオスズメバチ

多数のオオスズメバチ

監視カメラ

ミツバチの死骸

監視カメラ映像

監視カメラROI映像

Speed: x 1 s
Speed: x 100 s
22スズメバチ検出
スズメバチ軌跡

スズメバチ１

スズメバチ２スズメバチ３スズメバチ４スズメバチ５スズメバチ６

スズメバチ７スズメバチ８スズメバチ９スズメバチ１０

スズメバチ１１

スズメバチ１２

低解像度・低フレームレートにおいても12匹のスズメバチ検出を確認

23

スズメバチ検出
スズメバチ襲来の軌跡

24

まとめ結論• 応用フレーム間差分法による鳥類検出• 飛行変位を捉えた羽ばたき情報の信号化• 経験的モード分解法（EMD）による羽ばたき周波数の抽出• 様々な距離に対応した提案手法の有効性を確認• スズメバチ襲来に対する検出可能性の検討
今後の計画• 機械学習による識別手法の確立• 羽ばたき以外のダイナミクス情報を利用した識別精度の向上
25想定される用途• 本技術の特徴を生かすためには、バードストライク等に適用することで飛翔体の種類の識別ができるメリットが大きいと考えられる。
• 上記以外に、薬剤・農薬散布による影響の評価が得られることも期待される。
• また、達成された飛翔体検出に着目すると、ドローンや昆虫といった分野や用途に展開することも可能と思われる。

26

実用化に向けた課題• 現在、2次元の位置情報について検出が可能なところまで開発済み。しかし、3次元空間に対する検出の点が未解決である。
• 今後、飛翔軌跡について実験データを取得し、バードストライクに適用していく場合の条件設定を行っていく。
• 実用化に向けて、個体識別の種類を30種類程度まで向上できるよう技術を確立する必要もあり。
27

企業への期待• 未解決の3次元化については、ステレオ計測の技術により克服できると考えている。
• 飛行シミュレーションの技術を持つ、企業との共同研究を希望。
• また、薬剤散布による忌避状況の評価を開発中の企業、農業分野への展開を考えている企業には、本技術の導入が有効と思われる。

28

本技術に関する知的財産権• 発明の名称 ：画像解析装置、画像解析方法及びプログラム• 出願番号 ：特願2023-137677
• 出願人
：広島大学
• 発明者
：島﨑航平、石井抱、李俊豪
29従来技術とその問題点
既に実用化されているものには、カメラによるAI物体検出等があるが、見かけの特徴による識別のため、木の枝などの遮蔽物がある場合には、誤検出発生
広域撮影等の空間解像度が粗くなる場合には見かけが悪くなり、検出精度が低下等の問題があり、広く利用されるまでには至っていない。

30

新技術の特徴・従来技術との比較• 従来技術の問題点であった、低空間解像度による識別精度を改良することに成功した。
• 従来は空間解像度の点で近距離での使用に限られていたが、数画素程度の対象検出まで性能が向上できたため、より広範囲に適用することが可能となった。
• 本技術の適用により、1台のシステムが複数台のカメラ撮影領域に対応した広範囲をカバーできるため、導入コストが1/2～1/3程度まで削減されることが期待される。

31

産学連携の経歴• 2021年-2024年 日本養蜂協会と共同・受託研究実施• 2021年-2024年 テンパール工業株式会社と共同研究実施• 2022年-2023年 JST Start GAPファンド事業に採択• 2022年-2024年 新川センサテクノロジ株式会
社と共同研究実施• 2023年-2024年 NEDO NEP 「開拓コース」に採択

32

お問い合わせ先
広島大学
産学連携部 産学連携部門
ＴＥＬ ０８２－４２４ － ４３０２
ＦＡＸ ０８２－４２４ － ６１８９e-mail techrd＠hiroshima-u.ac.jp
33