第一工科大学研究報告第36号（2024）pp.37-43

肉牛の発情検知のための動画像による姿勢推定方法の調査
渋沢良太

第一工科大学 工学部 情報・AI・データサイエンス学科（〒899-4395 鹿児島県霧島市国分中央 1-10-2）

Investigation of a Posture Estimation Method Using Motion
Images for Detecting Estrus in Beef Cattle
Ryota Shibusawa
1-10-2 Kokubuchuo, Kirishima-City, Kagoshima, 899-4395, Japan

Abstract: In the breeding operations of beef cattle, it is primarily necessary to rear female cows anddetect their estrus behaviors, such as mounting, which the livestock owner must identify. Following
detection, artificial insemination by a professional inseminator is required immediately. Due to thewide range of tasks in livestock farming, it is not always possible to visually monitor estrus behavior
constantly, leading to various estrus detection systems being researched to date. Most of these involve
attaching sensors to the cattle. In contrast, this study proposes a method to detect estrus behavior
based solely on posture estimation from video footage captured by cameras, without the need toattach sensors to the cattle. Initially, this research investigated the extent to which postureestimation of beef cattle is possible using the mm-pose inference engine. The results showed thatbounding box estimation could be achieved with an accuracy of about 93%, and posture estimation
with an accuracy of about 63%.

Key words: Pose estimation, Estrus detection in cattle, Data-driven agriculture, Human-AI collaborative system
1.

はじめに

日本の肉用牛の畜産業において，飼養頭数の変化に比べ，約 30 年間で飼養戸数は約 5 分の1 になっており [1]，業務の効率化が急務になっている (図 1)．近年ではその効率化の手法として，センサによって収集したデータを深層学習等によって分析し，各種の業務における意思決定に役立てるデータドリブン農業が急速に進展している．肉用牛の繁殖業務においても，牛の図 1

肉用牛の飼養戸数と頭数の推移

体に装着した加速度センサのデータの分析によって牛の発情を検知するシステム等が研究されい，すなわち説明可能性が低いことがある．そている．しかし，これらの深層学習を使った分のため，人間の経験や知識による推定とシステ

析に共通する重要な問題点に，システムによるムによる推定を組み合わせることが難しく，後推定のプロセスや根拠が人間には分かりづら者のみに頼りがちになってしまう．しかしシス

第一工科大学研究報告

第36号（2024）

テムによる推定は，特異な例では予期せぬエラーを含んでいることもある．そのため，システムと人の推定を組み合わせられるようにすることで，より正確な意思決定が可能になると考えられる．そこで本研究では，牛の動画像をもとにした姿勢推定に基づき発情検知を行うことで，システムによる検知の正しさを畜主が動画によって確かめられるようなシステムを提案する．そして，まず実際の牛舎での肉牛の動画像を収集し，mm-pose[2] をもとに姿勢推定がどの程度可能であるか検証を行った．
2.

肉牛の繁殖業務と先行研究

2.1

肉牛の繁殖業務

肉牛の生産は主に，(1) 母牛を飼育し，人工授精して子牛を生ませて育てる繁殖と，(2) 繁殖された子牛を購入し，さらに大きく育てる肥育の二つの工程からなる．本研究では，肉用牛の繁殖業務においては大人のオス牛は飼育せず雌牛を飼育する．雌牛は約 20～25 日周期で排卵のため発情する．畜主が自ら雌牛の発情を推定し，直後に人工授精師あるいは獣医師に連絡する．そして定まった種牛の精子をその雌牛に人工受精する．その約 60 日後，獣医が妊娠鑑定する．妊娠鑑定を早く実施してしまうと子牛の流産に繋がる恐れがあるため，通常は 60 日後に行う必要がある．排卵の前には，普段より動きが多くなる，乗駕する，乗駕されるといった発情兆候，発情行動が見られる (図 2)．これらの兆候，行動は約 15～20 時間継続し，それらが終了した後，約 7～12 時間後に排卵される．
生殖器での精子の受精能力保持時間は 20～40時間，卵子の受精能保有時間は約 4～5 時間で

図 2 乗駕および乗駕許容
2.2

先行研究

2.2.1

装着型センサを使用したシステム

先行研究と本研究の位置づけを図 3 に示す．
鍋西らの研究では，牛の歩行回数を計測する牛歩計によって，放し飼い，繋ぎ飼いの飼育方法によらず，発情期に歩行回数が多くなることが示されている [4]．また，歩行回数が少ない繋ぎ飼いの牛の発情をより正確に検知するため，気圧センサ，加速度センサによって牛の起居動作を識別し，起立している時間，横になっている時間を推定するシステムを開発し，その性能を実証している [5]．
株式会社 Farmnote の Farmnote Color[6]は，牛の首に加速度センサ等が内蔵されたデバイスを装着し, 牛の活動，反芻，休息を定量的に計測，提示することが可能である．また，同社の Farmnote Cloud[7] と連携させて，Farmnote Color を装着した全ての牛のデータをクラウドサーバに保存し，牛群の情報を一括管あり，限られた時間内に人工授精する必要がある [3]．したがって雌牛の発情を見逃してしまうと，子牛が生まれるまでの母牛の飼料にかかる費用，人工授精や妊娠鑑定にかかる費用等のコストが余計にかかってしまうことになる．

図 3

先行研究と本研究の位置づけ

渋沢：肉牛の発情検知のための動画像による姿勢推定方法の調査

理，把握することも可能である．デミサス株式

川野らは，ディープラーニングにより牛の乗駕会社の U-motion[8]，株式会社富士通九州シス行動を検知する手法を提案した [14]．川野らのテムズの牛歩 SaaS[9] も，牛に装着する加速度研究では，29 回の乗駕行動の動画像データを使等を計測するセンサとクラウドサーバを連動さい，「乗駕行動」，「一頭」，「複数頭」，「牛が写っせて，同様のサービスを実現している．株式会ていない」のいずれかのアノテーションを付与

社リモートのモバイル牛温恵 [11] では，温度セして学習し，CNN で乗駕行動特徴検出を行い，ンサを用いて発情検知と分娩時における破水のその出力結果をもとに SVM で発情行動検知を検知，畜主への通知とクラウドサーバでのデー行うことで，適合率 80%，再現率 76%で乗駕行タ管理が行える．

動検出が可能であることを示した．また，同じ筆者らも，これまでに，肉用牛の発情の自動認データを使って乗駕行動特徴検出なしで，エン識の手法として最も多く使われている慣性センドツーエンドで学習した場合には，乗駕行動検サ (加速度，角速度センサ) を牛に継続的に装着出が著しく低いことを示している．川野らの研し，発情検知を試みる研究を行った [10]．同セ

究と異なり，本研究では，牛の姿勢推定を行ンサにより発情検知ができうることは確かめらい，牛の姿勢を特徴量として発情検知を行う．

れたが，装着型センサを一頭ずつに装着し定期的にバッテリを充電することは畜主にとって煩3.

姿勢推定による発情検知の方法

わしく，簡便性が低かった．また，発情してい本研究による，肉牛の発情検知方法の概要をない時に，発情時と同等以上にセンサに大きな

図 4 に示す．本研究では，Google NestCam を値が見られ発情を誤認識することがあった．こ使用し，常時カメラで牛を撮影できるようにしれは近くに存在した発情した牛の行動が活発とた．夜間は赤外線撮影モードで撮影した．

なり，強く接触したことが原因である可能性が牛は 1 日のうちの多くを，あまり動かずに過ご高かった．

している．そのため，常時ネットワークカメラで動画を録画し，全ての動画に対して乗駕検知

2.2.2

非接触型センサを使用したシステムを行うのは非効率である．そこで，一般的なフバッテリが不要な RFID タグを用いる研究

レーム間差分法等で，動きのあるシーンのみを[12] もなされているが，動画像と共に発情検知録画し，そのシーンの動画のみを対象に姿勢推をしていないため，牛同士の接触も正しく認識定処理を行う．

し，畜主に分かりやすく提示することはできていない．株式会社コンピュータ総合研究所の
MOH-CAL[13] は，牛にセンサを装着することなく，カメラによって牛の動きを監視し，画像データの解析によって採食，水飲み，横臥状態，異常状態などの判定と歩行量の計測が可能である．1 台のカメラで監視可能な範囲は狭いが，バッテリ交換が不要である点，システムが提示する情報の根拠を画像として人に提示でき，説明可能性が高い点において優れている
が，発情検知については現在開発中の段階である．
図 4 本研究の発情検知方法

第一工科大学研究報告第36号（2024）

動きのあるシーンの抽出は，NestCam の標準機能として搭載されている，モーション検知機能を使って行い，抽出された動画は自動的にクラウドサーバに保存するようにした．
本研究における姿勢推定処理では，PyTorchベースの深層学習ライブラリである
OpenMMLab[15] の，mm-pose[2] を使用した．mm-pose では，様々な学習済みモデルを使用して姿勢推定が可能であり，本研究ではMicrosoft COCO[16] の動物画像データをもとに学習した，ResNet-101 ベースの推論器を使用した．Microsoft COCO には，COCO animal にcow データが含められており，この推論器はこ

図 51 頭の姿勢推定

図 6多頭の姿勢推定の学習データをもとに推論する．また，この推論器はトップダウン型のアプローチで，まず画像中の複数頭いる牛のそれぞれのバウンディングボックスを検出した後，各バウンディングボックス内の牛の姿勢推定を行う．姿勢推定では，顔部 6 点，背中 2 点，各脚の関節 3 点の合計 20 点の特徴点の推定が行われる．図 5,
図 6 に，mm-pose を使って 1 頭の姿勢推定，複数頭の姿勢推定の処理を行った結果の例を示す．また，図 7 に，夜間の赤外線撮影モードで撮影され た動画像に姿勢推定の処理を行った結果の例を示す.
4.

実験

4.1

実験の内容

鹿児島県志布志市の，有限会社花北畜産に協力を頂き，図 8 に示す 4 つの牛舎にカメラを設置し，それぞれの牛舎で牛を斜め上から図 9のように撮影した．2022 年 5 月 6 日から2023 年 1 月 23 日の間，24 時間データを収集し続けた．262 日間で，合計 216 件の乗駕シーンを抽出した動画を収集できた．取得した乗駕データの内訳を表 1 に示す．各牛舎内には，表 1 の 2 列目に示す頭数の牛が存在していた．これらの牛の配置は固定ではなく，人工授精後に別の牛舎に移す等の牛の入れ替えもあった．

図 7

赤外線撮影モードでの姿勢推定

渋沢：肉牛の発情検知のための動画像による姿勢推定方法の調査

人の作業によって乗駕シーンの動画を選出した．
4.2

実験の結果

表 1 に示した全ての動画に，mm-pose の同じ推論器でバウンディングボックスと姿勢推定の処理を行った．動画中の乗駕時に，乗駕している方の牛のバウンディングボックスが正しく推定されている場合を BBOX(バウンディングボックス) 推定成功とみなした．同様に，動画中の乗駕時に，乗駕している方の牛の姿勢が正しく推定されている場合を姿勢推定成功とみなし図 9た．実験の結果を表 2,表 3 に示す．

実験で使用した牛舎

表 2 実験の結果

図 8

牛舎

BBOX 推定成功

姿勢推定成功

No.

カラー

白黒

カラー

白黒

198%

94%

64%

72%

298%

100%62%

70%

3100%

46%75%

46%

487%

100%

58%

100%

全体95%82%63%66%

各牛舎の撮影映像
表 3 カラー・白黒を合わせた実験の結果

表 1

収集した乗駕シーンの動画データの内訳

牛舎

平均No.

頭数

1

2〜62

2〜6

3
4

20〜
30
10〜20

カラー

白黒

撮影

撮影

約 80m26418

約 60m24710

面積約 680m2

16

牛舎 No.

BBOX 推定成功

姿勢推定成功198%66%298%

63%376%62%

488%60%

全体93%63%

13
カラー撮影の場合は，総じてバウンディング

約 160m2453

表 1 において，日中にフルカラー撮影された動画数をカラー撮影の列に，夜間に赤外線撮影された動画数を白黒撮影の列にまとめている．
なお，Google NestCam の標準機能のモーション検知で録画された動画には，乗駕とは関係ないデータも多く含まれているため，本実験ではボックスは正しく認識できていた．最も広い牛舎 No.3 では，赤外線撮影時のバウンディングボックス推定率が 46%と低かった． mm-poseの推論器では，一定以上広い牛舎で，一定以上被写体とカメラの距離が離れている場合，赤外線撮影時のバウンディングボックス推定は難しいと考えられ，1 つの牛舎内に複数のカメラを設置する必要があると考えられる．姿勢推定については，カラー撮影，赤外線撮影の両方とも

第一工科大学研究報告第36号（2024）

成功率が十分に高いとは言えない．最も成功率

姿勢推定がどの程度行えるか調査を行った．バが高い牛舎 No.3 以外は，時間帯によって逆光ウンディングボックス推定の正解率は十分に高下での撮影となっており，これが姿勢推定の成かったが，姿勢推定の正解率は十分ではなく，功率の低さの原因の一つであると考えられる．

さらなるモデルの修正が必要であった．今後，しかし，良い撮影条件下であっても， mm-pose

mm-pose による姿勢推定失敗の原因についてよによる姿勢推定の成功率は，本実験のような牛り詳細な調査，他の先行研究の姿勢推定方法の舎の環境下では 75%程度が最大であると考えら調査を行い，姿勢推定をより高い確度で行えるれる．そのため，mm-pose の別の推論器でも実モデルを研究する．また，データを継続して収験したり，姿勢推定のモデルに対して，学習デ集し，データ数を増やしていく．

ータを追加して追学習させたり，アルゴリズムを改良する必要がある．mm-pose の学習データ謝辞セットである，MicroSoft COCO の animal

本研究は JSPS 科研費 22K05915 の助成を受

cow に含まれている牛の種類は，ホルスタインけたものである.有限会社花北畜産にご協力を頂やジャージーが多く，今回対象とした黒毛和牛いた.ここに 深く感謝の意を表する．のデータはほぼ含まれていないため，追学習によって性能を改善する余地があり得る．
筆者は，予備調査段階において，マウス等の参考文献[1] 農林水産省：確報令和２年畜産統計, 農林水

実験動物の行動解析によく使われる産省 (2020).

DeepLabCut[17] を使用した姿勢推定も試み[2] A. Sengupta, F. Jin, R. Zhang and S. Cao, mm-た．DeepLabCut は，本実験で使った mm-

Pose: Real-Time Human Skeletal Posture Estimationpose のトップダウン型の推論器とは異なり，画Using mmWave Radars and CNNs, IEEE Sensors

像中の全ての特徴点を抽出後，特徴点間のマッ

Journal, vol. 20, no. 17, pp.10032-10044(2020).

チングを行うボトムアップ型のアプローチで実[3] 農研機構畜産草地研究所, 人工授精技術者の装されている．本実験で収集した動画データのための牛人工授精マニュアル－人的要因の見直うち，14 個の動画に対して，mm-pose で推論しに向けた確認メモ集－, 畜産草地研究所技術リされる姿勢の keypoint と同じ部位のアノテー

ポート 15 号 (2014 年).

ションを行った．そして，そのデータをもとに[4] 鍋西久, 中原高士ら, 低コストで普及性が高DeepLabcut で学習し，推論を行ったが，今回い発情発見装置 (牛歩 Lite) の開発, 宮崎県畜産の試行では mm-pose と比較して，うまく姿勢試験場試験研究報告 25推定させることができなかった．特に牛舎は野号, pp.23-26(2013 年)．

外であり，環境光や牛の配置や重なりが多く起[5] 鍋西久, つなぎ飼い式牛舎における ICT をこり，カメラ中に写っている牛の数が大きく変活用した高精度発情検知技術の検討, pp.52-

化するような場合には，DeepLabcut による推61(2019 年).

論は困難であった．

[6] 株式会社ファームノート:Farmnote Color,
https://farmnote.jp/color/,(参照 2024.02.08)

5.

まとめと今後の課題[7] 株式会社ファームノート:Farmnote Cloud,

本研究では，牛にセンサを装着すること無https://farmnote.jp/features/, (参照 2024.02.08)

く，カメラで撮影した動画像のみから牛の姿勢[8] デミサス株式会社:U-motion,推定を行い，それをもとに発情行動を検知する

https://www.desamis.co.jp/service/u-motion-1,方法を提案した．そして，mm-pose で乗駕時の(参照 2024.02.08)

渋沢：肉牛の発情検知のための動画像による姿勢推定方法の調査[9] 株式会社富士通九州システムズ: 牛歩 SaaS,
https://www.fujitsu.com/jp/group/fjj/solutions/industry/agriculture/gyuho/,(参照 2024.02.08)[10] 渋沢良太, 肉牛の発情検知システムに関する基礎的調査, 第一工業大学研究報告, Vol.33,pp.29-32(2021 年).
[11] 株式会社リモート: モバイル牛温恵,
http://www.gyuonkei.jp/, (参照 2021-6-15).
[12] 光和ネットサービス株式会社: ルミログ,
https://iot-device.org/rumilog-kowanet/,(参照 2024.02.08)[13] 株式会社コンピュータ総合研究所:MOHCAL,
https://www.tokyo-cal.co.jp/product/product.html, (参照 2024.02.08)[14] 川野百合子, 斎藤奨, 小川哲司ら, 肉牛の発情検知のための乗駕行動画像データセット構築
におけるクラウドソーシングの活用, 人工知能学会全国大会論文集第 34 回全国大会 (2020 年).
[15] OpenMMLab, https://github.com/open-mmlab,(参照2024.02.08)[16] Lin, TY. et al. Microsoft COCO: Common
Objects in Context. In: Fleet, D., Pajdla, T., Schiele,B., Tuytelaars, T. (eds) Computer Vision – ECCV2014. ECCV 2014. Lecture Notes in Computer
Science, vol 8693, pp.740-755, Springer(2014)[17] Mathis, A., Mamidanna, P., Cury, K.M. et al.,DeepLabCut: markerless pose estimation of userdefined body parts with deep learning. Nature
Neuroscience 21, pp.1281–1289 (2018).