CatteleActivityRecognition-Survey

# 調査目的
研究したい内容として、首輪に取り付けたワイヤレスセンサーと俯瞰動画のマルチモーダルなデータから牛の行動状態を識別したいと考えています。また、この研究においては、現在流行しているTransformerアーキテクチャをモデルとして活用したいと考えています。

俯瞰カメラのみの情報でも十分に精度のあるモデルはあります。
そこでの問題は精密畜産（PLF)です。
行動識別と個体識別を組み合わせることで、俯瞰カメラの情報だけでは得られないストレス情報や健康状態も管理し、人手の足りない畜産分野に貢献したいと考えています。

段階的に研究を進めていきたいと考えており、
一、加速度・動画それぞれで行動・個体識別のベースラインモデルを構築します。
二、加速度・動画を加えたマルチモーダルなモデルを構築します。
三、発情検知・病気の検出・飼料の管理など高度な予測を実現します。
四、モバイルデバイスでも運用できるようモデルの軽量化を考えています。


# 調査内容概略
関連性の高いと判断した計10本の論文を調査した。
時代の流れとして入力データについて、牛に不快感を抱かせてしまう可能性のあるセンサーから俯瞰動画に移行している。
しかし、俯瞰動画では個体識別が問題であり次フレームで牛がどこに行ったのか特定することが難しい。
使用しているモデルは古典的な機械学習手法であるSVM、KNNのほかに深層学習手法ではResNet、YOLO、R-CNNとCNNベースのものが用いられている。
畜産におけるTransformerの適用事例として豚を対象にしたマルチタスク予測の例が一件見つかった。


# 各論文調査内容
# 牛の行動識別と個体識別について
## [1. Cattle Identification and Activity Recognition by Surveillance Camera](https://www.researchgate.net/publication/346266139_Cattle_Identification_and_Activity_Recognition_by_Surveillance_Camera)
### 発行年月
・2020年12月
### 論文概要
- センサーは衝突等で簡単に壊れてしまう
- センサーでは牛の部位の動きを識別できない
- 複数体存在する場合に、画像での体に模様のない牛の部位の識別は難しい
- 俯瞰動画から行動状態を識別する
### I/O、データ概要
- 動画インプット、行動状態アウトプット
- 屋内の3点の監視カメラの動画
- 行動状態は動/静の2値
- 12時間の動画（1時間インターバルの一日分のデータ）でモデルを訓練した
- 検証データは6時間の動画
- アノテーションは1フレーム/2分の頻度で行った
### 処理の流れ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/9218f37a-6177-72d2-525e-552fded2752d.png)
### 結果
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/2bd80931-3b3a-e021-361d-31d5699a242f.png)
### 改善できそうな部分
- 動画のはじめのフレームに牛のIDのアノテーションが必要
> センサーを用いた三点測量で牛のIDのアノテーションすればいいのでは


## [2. An object detection application approach to analyze cattle under camera surveillance](https://centriabulletin.fi/object-detection/)
### 発行年月
2022年4月
### I/O、データ概要
- 入力は屋内監視カメラからの画像一枚（リアルタイムトラッキング）
- 出力は牛の行動状態３種類（睡眠、摂食、立位）
- Yoloモデルは非常に速くリアルタイムトラッキングが可能
### 処理の流れ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/70179e55-1a47-72dc-e3ac-e37f4c9b0b43.png)
### 結果
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/e44ea722-a36b-afd1-fda2-b668fd798244.png)


## [3. A systematic review of machine learning techniques for cattle identification: Datasets, methods and future directions](https://www.sciencedirect.com/science/article/pii/S2589721722000125)
### 発行年月
2022年9月
### 論文概要
- 731件の画像から畜牛飼育での機械学習の適用事例の論文を収集
- SVM、KNN、MLPがよく用いられている
- 表４にDeep Learningでの個体識別の研究まとめ
- Deep LearningではResNet、YOLO、R-CNNが良く用いられている
- 表７に撮影環境について


## [4. Cow detection and tracking system utilizing multi-feature tracking algorithm](https://www.nature.com/articles/s41598-023-44669-4)
### 発行年月
2023年10月
### I/O、データ概要
入力は動画1フレーム
出力は出産する可能性が高い牛を識別
大分県（360 度の魚眼カメラ）と宮崎県の農場（4Kカメラ）
1 時間のビデオのプロセスを約 5 分に短縮しノイズ除去
後続のフレーム内の最も近い検出ボックスの位置を正しい位置とみなす
### 処理の流れ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/9f289a9f-d4f5-eb87-d698-7cf790531ef8.png)
### 結果
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/ed4834a3-2b0d-a5b7-8a7c-fe45cd9c3dd5.png)


## [5. Multiview Monitoring of Individual Cattle Behavior Based on Action Recognition in Closed Barns Using Deep Learning](https://www.mdpi.com/2076-2615/13/12/2020)
### 発行年月
2023年6月
### I/O、データ概要
- 入力は画像シーケンス
- 出力は個体識別
- 部分動作、個人、グループのアクションなどの階層的なグループに分割された15の行動
- 部分動作は、頭を動かす、反芻する、尻尾を振る
- 個人の活動は、歩く、立つ、休む、食べる、寝る、立つ、横になる、身だしなみ
- グループ活動は、喧嘩、餌やり、社交的ななめ合い、マウンティングなど
### 処理の流れ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/1fb07f95-8273-0054-e70c-5ccaf29d2279.png)
### 結果
- YOLOv5xによって95.3％の識別を実現

## [6. Deep Learning-based Cattle Activity Classification Using Joint Time-frequency Data Representation](https://arxiv.org/pdf/2011.03381.pdf)
### 発行年月
2020年11月
### 論文概要
- Table 1にセンサーの研究がまとまっている 
### I/O、データ概要
加速度センサを使用
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/d5f32383-c4a3-e1b9-ea68-0705c260064b.png)
### 処理の流れ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/ff0b206c-8b75-5eec-ced9-b578af5a2542.png)
### 結果
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/093babfe-76ef-b18b-efd7-29039e87bfa9.png)



## [7. Industry 4.0 and Precision Livestock Farming (PLF): An up to Date Overview across Animal Productions](https://www.mdpi.com/1424-8220/22/12/4319)
### 発行年月
2022年6月
### 論文概要
- 精密畜産についてまとめた論文
- 牛における精密畜産の大分
> 識別および追跡システム
> 自動搾乳システム
> 発情検知
> 病気の検出
> 動物のパフォーマンスと飼料の監視


## [8. Livestock Monitoring with Transformer](https://arxiv.org/pdf/2111.00801.pdf)
### 発行年月
2021年11月
### 論文概要
- TransformerベースのモデルSTARFORMERの適用事例
- 屋内カメラで豚の行動と個体の識別
- 行動識別と画像分割同時にモデルをトレーニングする
- COCOデータセットで事前訓練させたResNet-101 DETRモデルを使用
### 処理の流れ
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/030f1fcd-ae7f-0f9d-15f2-d24936706b5f.png)
### 結果
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/c23471b1-359a-b66a-1ac7-30bcf04c1b0c.png)


# マルチモーダルな入力について
## [9. LIGHTWEIGHT TRANSFORMERS FOR HUMAN ACTIVITY RECOGNITION ON MOBILE DEVICES](https://arxiv.org/pdf/2209.11750.pdf)
### 発行年月
2022年9月
### 論文概要
- 加速度×角速度
- ６種類の行動状態を識別（立つ、座る、歩く、自転車、昇、降）
- ２つのモダリティを１モデルに入力することができる
- ５つのベンチマークでSoTAを達成
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/283660b6-968c-d64c-dade-41420c9ebb30.png)


## [10. CLIP: Connecting text and images](https://arxiv.org/pdf/2103.00020.pdf)
### 発行年月
2021年2月
### 論文概要
- CLIPはContrastive Language–Image Pre-training
- 自然言語×画像
- VQAの為、2つの情報から精度を高めるという目的とは異なる
- プロンプトに繊細である
- 抽象的、体系的、複雑なタスクは困難
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3487085/cf282ace-c47d-043f-0996-81209a9fa785.png)