ICT研究開発支援セミナーin九州
令和4年2月4日（金）

高度な画像処理技術やAI技術を活用した研究開発

Thi Thi Zin（ティ ティ ズイン）
宮崎大学 工学教育研究部
情報通信工学プログラム 教授

本日の内容農工連携分野 ICTを活用した牛のモニタリングシステムの開発

医工連携分野 自立生活を支援するための高齢者24時間見守りシステムの開発

2

戦略的情報通信研究開発推進事業（SCOPE）
Strategic Information and Communications R&D Promotion Programme

ICTを活用した牛のモニタリングシステムの開発に関する研究【地域ICT振興型研究開発】
研究代表者名：THI THI ZIN（宮崎大学）
研究分担者 ：小林 郁雄、椎屋 和久、PYKE TIN、堀井 洋一郎（宮崎大学）
濱 裕光（大阪市立大学）
研究開発期間 ：フェーズⅠ：平成２９年度
フェーズⅡ：平成３０年度～平成３１年度

This work is supported in part by SCOPE: Strategic Information and Communications R&D Promotion
Program under Grant No. 172310006.
3ICTを活用した牛のモニタリングシステムの開発
宮崎県は日本有数の農業県⇒宮崎大学では工学部と農学部が連携して研究

農工連携分野で地域課題解決のための新たな取り組み

農学部や酪農系企業と共同で、画像処理技術を畜産分野に応用する研究を行ってきた
ICT Farm Monitoring System
生産者・管理者
生産性の向上・負担の軽減

BCS評価

異常検知

個体識別

発情検知

分娩管理

非接触・非侵襲センサ情報の解析アルゴリズムを独自の手法で応用し、生産者の負担を大幅に軽減しながら家畜の状態を24時間監視できるシステムを開発している4

研究開発の内容及び成果(1) 個体識別： ホルスタイン及び黒毛和牛に対してそれぞれに適した個体識別法を確立した(2) BCS評価： BCSを自動測定する画像解析システムおよび評価モデルを開発し、安定して精度の高いBCS評価法を確立した(3) 分娩監視： 分娩前に特徴的な姿勢変化の頻度の急上昇を検知し、分娩開始時刻の予測を可能とした(4) 発情検知： 乗駕行動を含む複数の発情前兆行動を相補的に用いて高い発情検知率、低い未検知率を達成した
宮崎大学農学部附属住吉フィールドと大分県の大規模酪農家（Ａ牧場）にて開発手法の実証実験

5牛の個体識別

ロータリーパーラー[1] Thi Thi Zin, Cho Nilar Phyo, Pyke Tin, H. Hama and I. Kobayashi, “Image technology based cow identification system using deeplearning”, In Proceedings of the International MultiConference of Engineers and Computer Scientists, Vol. 1, pp. 236-247, Mar. 2018.
[2] 高松聖之、ティティズイン、小林 郁雄、“ホルスタインの白黒模様を用いた個体識別”、電気学会研究会資料(知覚情報 次世代産業システム合同研究会・画像応用および画像処理一般) 2017、pp.1-4

6

ボディコンディションスコア(BCS)
BCSは家畜の体脂肪蓄積の度合いを表し、１から５の数字で評価される「1」は非常に痩せた牛を表し、「5」は非常に太った牛を表す。

BCSの変化は一般的な牛の給餌の量や効率、健康状態を反映する⇒ 定期的なBCS測定を行うことが重要となる
7

提案手法

ボディコンディションスコア(BCS)

牛の腰付近の領域での凹凸形状を数値化できれば、BCSを予測するための特徴量とすることができる

凸包を応用した特徴量

Fconv  (Vconv  V ) / V

Vconv : Volume of convex hull
V : Volume of original cow’s 3D data

元の3次元データ

3次元凸包[3] S. Imamura, Thi Thi Zin, I. Kobayashi, Y. Horii, “Automatic Evaluation of Cow's Body-Condition-Score Using 3D Camera”,
Proceeding of IEEE 6th Global Conf. on Consumer Electronics (GCCE 2017), Nagoya, Japan, pp. 104-105, Oct. 2017.
(Student Paper Award: First Prize)

8ボディコンディションスコア(BCS)
乳牛において乾乳期にBCSの高かった牛は分娩後に急激にBCSが変化し、様々な周産期病の要因になりうる
乾期

BCS

3.8
3.6

泌乳後期

分娩

乾乳期間中にBCSが4以上になった牛
3.4
3.2

泌乳中期

泌乳初期

生産サイクル⁕ BCSの定期的な監視は、生産サイクル全体の変動を追跡するのに役立つ⁕ 泌乳期と乾期に最適なBCSを維持するために牛に細心の注意を払うことは、乳牛の管理にとって唯一の重要な要件である

上記以外の牛3.0
2.8150100150200250300
分娩後日数

分娩後の牛のBCSの推移

家畜改良事業団<http://liaj.lin.gr.jp/japanese/kentei/lns/liaj14009.pdf>⇒定期的な判定を行いBCSの管理をすることが望ましい9ボディコンディションスコア(BCS)
提案するシステムの概要
3Dカメラ

画像の流れ
2025202520254020204025204060

20154060

20156080
15106080
1580

10100
1080

5100
10100120

55100

120020406080

100120120140160

520406080

100

120140120
20406080100120140160160000
20406080100120140160

ロータリーパーラーでの牛の抽出(デモンストレーション)

前処理

1
パラメータ
抽出

BCSの傾向のモニタリング

2
BCSの評価[4] Thi Thi Zin, Pann Thinzar Seint, Pyke Tin, Y. Horii, I. Kobayashi, “Body Condition Score Estimation Based on Regression Analysis
10Using a 3D Camera”, Sensors 2020, 20, 3705. https://doi.org/10.3390/s20133705

ボディコンディションスコア(BCS)
牛の抽出Cow surface 1.21m  Z x , y  2.1m
Z x , y (real depth image)  Background Z x , y  1.21m or Z x , y  2.1m

ロータリーパーラーの牛の画像

牛の領域抽出

距離情報による牛の領域抽出（色は距離を表す）

3次元の牛の画像

画像の位置合わせ11

ボディコンディションスコア(BCS)
特徴抽出
•
•
•
•
•

標準偏差
高さの中央値
平均の高さ
ピークの高さと谷の深さ間の差
凸包の体積

12

分娩監視
Send image data

Sendinformation

Perform cow monitoring
分娩前に特徴的な姿勢変化の頻度の急上昇を検知し、分娩開始時刻の予測を可能とした

分娩開始時刻の予測

Assist cow calving[5] K. Sumi, Swe Zar Maw, Thi Thi Zin, Pyke Tin, I. Kobayashi, Y. Horii, “Activity-Integrated Hidden Markov Model13
to Predict Calving Time”, Animals 2021, 11, 385. https://doi.org/10.3390/ani11020385

分娩室での牛領域検出結果
Camera 1

Camera 3[6] Cho Cho Mar, Thi Thi Zin, “A Hybrid Approach: Image Processing Techniques and Deep Learning Method for Cow Detection and Tracking
System”, The 2022 IEEE 4th Global Conference on Life Sciences and Technologies (LifeTech 2022), Osaka, Japan, 7-9 Mar. 2022. (Accepted)

14

ローカル５G等を活用した 地域課題の解決に向けて
２０２０年２月２１日（総務省）の資料
https://www.kiai.gr.jp/jigyou/h31/PDF/0221p3.pdf

15

ICTを活用した牛のモニタリングシステムの開発• 牛の耳標読み取りシステムの開発
カメラ
PoE

処理用PC

①頭部の検出頭の位置を画像全体から検出

動画の取得

5G タブレット牛舎

1 8 5 9②耳標領域の検出③耳標領域の補正④耳標内の数字抽出と認識処理

頭領域から耳標の領域を抽出

傾いた耳標に対して回転処理を行う

耳標領域から数字のみを1文字ずつ抽出
それぞれの数字に対して認識処理[Reference] Thi Thi Zin, Moe Zet Pwint, Pann Thinzar Seint, Shin Thant, S. Misawa, K. Sumi, K. Yoshida, “Automatic CowLocation Tracking System Using Ear Tag Visual Analysis”, Sensors 2020, 20, 3564. https://doi.org/10.3390/s20123564
16

自立生活を支援するための高齢者24時間見守りシステムの開発

SENSORS誌のトップページに掲載されました
Thi Thi Zin, Ye Htet, Y. Akagi, H. Tamura, K. Kondo, S. Araki, E. Chosa, “Real-Time Action Recognition System for
Elderly People Using Stereo Depth Camera”, Sensors 2021, 21, 5895. https://doi.org/10.3390/s21175895

17

研究背景
高齢化社会の到来
現在、 日本では65歳以上の後期高齢者(以下高齢者)が総人口の29.2%[1]2030年には人口の1/3が高齢者に高齢化社会に伴う課題
一人暮らしの高齢者の増加
介護・医療サービスへの高すぎる需要

人手による高齢者支援の限界
高齢者生活支援のための見守りシステムの構築[1] 総務省統計局：人口推計（（令和2年（2020年）5月確定値、令和2年（2020年）10月概算値）
18（2020年10月20日公表））

18

自立生活を支援するための高齢者24時間見守りシステム

見守りが必要な患者に対して• 深度カメラから得られた距離画像（深度画像）を用いて、高度画像処理技術とAIによる身体・精神機能低下患者の行動見守りシステムの開発に取り組む• 距離画像を用いることで、非接触（対象者の体に触ることなく）だけではなく、プライバシー侵害の少ない効果的な見守りシステムの開発を目指している
本研究で扱う異常事態検知は，自立生活を支援するための高齢者モニタリングシステムの中核技術と言える

19

自立生活を支援するための高齢者24時間見守りシステム
撮影環境（真上から見た部屋）

Elder Care
Center

フレームレート：5fps
解像度：180×320[pixel]

カメラからの距離 (m)車椅子に座っている高齢者

Bed

Sample Depth Image (Camera View)

Intel real sense
IR Projector
Right Imager

RGB Module

Left Imager

３つの部屋の各高齢者に協力してもらい、ステレオDepthカメラを用いて日々の生活を記録した
Institutional Review Board Statement: This protocol was approved by the Ethics Committee of the University of Miyazaki(protocol code O-0451, on 28 January 2019), with a waiver of written informed consent obtained from all participants.
20

自立生活を支援するための高齢者24時間見守りシステム
深度画像のカラー化

人物検出

Hue Colorization

YOLOv5Depth(深度)カメラ

ユーザーインターフェース （UI）
Resident 1 Health Status

Real-time
Monitoring
HourlyAction
Details

特徴量検出

行動認識

Daily

システムフロー図21

自立生活を支援するための高齢者24時間見守りシステム
テストビデオに関する人物検出の結果
テストシーケンス １

テストシーケンス ２

テストシーケンス ３

テストシーケンス:
Room 2, Room 3

22自立生活を支援するための高齢者24時間見守りシステム
人物領域から特徴量抽出及び行動認識
Colorized Depth Image

Cropped Image(person bounding box)

Resized Image(128 x 128)

Outside the room
部屋の外にいる

Depth Image
Sequence

DMA

Histogram
Concatenation

DMH

行動認識

HOGDMA

HOGDMHSVM

ActionLabelsTransitions
遷移行動
Seated in Wheel chair
車椅子に座るStanding
立ち上がっている
Sitting
座っている
Lying Down
横になっている
Receiving Assistance
介助をされている23

自立生活を支援するための高齢者24時間見守りシステム
行動認識
Outside the Room

Sitting

Transition

PersonPersonSeated in the Wheelchair

Lying
PersonPersonPersonStanding
PersonReceiving Assistance

PersonPersonPerson24ご清聴ありがとうございました