(57)【特許請求の範囲】
【請求項１】
牛の健康状態を推定する健康状態推定装置であって、
前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、
前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部と
を備え、
前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群のうち前記牛のルーメンの近傍の前記牛の体表面の領域であるルーメン領域の３次元座標群に基づいて、当該ルーメンの凹み具合を示す特徴量を抽出し、
前記スコア算出部は、前記特徴量抽出部が抽出した前記ルーメンの凹み具合を示す特徴量に基づいて、前記牛のルーメンフィルスコアを算出する
健康状態推定装置。
【請求項２】
前記特徴量抽出部は、前記ルーメン領域の前記３次元座標群に基づいて、当該ルーメン領域における曲率のヒストグラムを、前記ルーメンの凹み具合を示す特徴量として抽出する
請求項１に記載の健康状態推定装置。
【請求項３】
前記特徴量抽出部は、前記ルーメン領域の前記３次元座標群に基づいて、前記ルーメン領域と当該ルーメン領域に割り当てた所定の平面との間の距離を、前記ルーメンの凹み具合を示す特徴量として抽出する
請求項１に記載の健康状態推定装置。
【請求項４】
前記特徴量抽出部は、前記ルーメン領域の前記３次元座標群に基づいて、前記ルーメン領域を囲む凸包と前記ルーメン領域との間にできる空間の容積を、前記ルーメンの凹み具合を示す特徴量として抽出する
請求項１に記載の健康状態推定装置。
【請求項５】
前記３次元座標取得部は、時系列の前記牛の距離画像から時系列の前記３次元座標群を取得し、
前記特徴量抽出部は、時系列の前記ルーメン領域の３次元座標群に基づいて、前記ルーメンの凹み具合が最大となるときの前記ルーメンの凹み具合を示す特徴量を抽出する
請求項１〜請求項４のいずれか１項に記載の健康状態推定装置。
【請求項６】
牛の健康状態を推定する健康状態推定装置であって、
前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、
前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部と
を備え、
前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の背線を検出し、検出した前記背線に所定の曲線を当てはめることにより得られる当該曲線のパラメータを、前記背線の特徴量として抽出し、
前記スコア算出部は、前記特徴量抽出部が抽出した前記背線の特徴量に基づいて、ＲＢＦ（Radial Basis Function）カーネルを用いたＳＶＭ（Support Vector Machine）を用いて、前記牛のロコモーションスコアを算出する
健康状態推定装置。
【請求項７】
牛の健康状態を推定する健康状態推定装置であって、
前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、
前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部と
を備え、
前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の背線を検出し、検出した前記背線の所定線からの変位量を、前記背線の特徴量として抽出し、
前記スコア算出部は、前記特徴量抽出部が抽出した前記背線の特徴量に基づいて、ＲＢＦ（Radial Basis Function）カーネルを用いたＳＶＭ（Support Vector Machine）を用いて、前記牛のロコモーションスコアを算出する
健康状態推定装置。
【請求項８】
牛の健康状態を推定する健康状態推定装置であって、
前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、
前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部と
を備え、
前記３次元座標取得部は、時系列の前記牛の距離画像から時系列の前記３次元座標群を取得し、
前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の特徴量を抽出する
健康状態推定装置。
【請求項９】
前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩行状態の特徴量を抽出し、
前記スコア算出部は、前記特徴量抽出部が抽出した前記牛の歩行状態の特徴量に基づいて、前記牛のロコモーションスコアを算出する
請求項８に記載の健康状態推定装置。
【請求項１０】
前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩行時における左右方向への傾き度合いのばらつきを示す値を、前記牛の歩行状態の特徴量として抽出する
請求項９に記載の健康状態推定装置。
【請求項１１】
前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩行時における脚の運びを示す値を、前記牛の歩行状態の特徴量として抽出する
請求項９に記載の健康状態推定装置。
【請求項１２】
前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩容特徴量を、前記牛の歩行状態の特徴量として抽出する
請求項９に記載の健康状態推定装置。
【請求項１３】
牛の健康状態を推定する健康状態推定装置であって、
前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、
前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部と
を備え、
前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の体躯の幅または背骨の位置を示す特徴量を抽出し、
前記スコア算出部は、前記特徴量抽出部が抽出した前記牛の体躯の幅または背骨の位置を示す特徴量に基づいて、前記牛の体脂肪の蓄積具合を示すスコアであるボディーコンディションスコアを算出する
健康状態推定装置。
【請求項１４】
牛の健康状態を推定する健康状態推定装置であって、
時系列の前記牛の距離画像から抽出された時系列の当該牛の３次元形状を示す時系列の３次元座標群を取得する３次元座標取得部と、
牛の健康状態を示すロコモーションスコア、ルーメンスフィルスコアおよびボディーコンディションスコアの少なくとも２つのスコアの組み合わせごとに分類された時系列の当該牛の３次元座標群の標準モデルと、前記３次元座標取得部が取得した前記時系列の３次元座標群との対応付けを行うことにより、前記３次元座標取得部が取得した前記時系列の３次元座標群に対応する前記牛のスコアの組み合わせを算出するスコア算出部と
を備える健康状態推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、牛の健康状態を推定する健康状態推定装置に関する。
【背景技術】
【０００２】
従来、牛を対象とした健康管理には、ボディーコンディションスコア、ルーメンフィルスコアおよびロコモーションスコアからなるカウシグナルスコアが用いられている。これらのカウシグナルスコアは、獣医師や酪農家の目視確認によって数値化されているが、診察頻度の問題や日々の多忙な作業の中での酪農家による見落とし等が問題となっており、健康管理の自動化が望まれている。そのような研究として、牛に３軸加速度センサを装着させ、その信号を解析することで蹄病を判定する研究が行われている（非特許文献１参照）。しかしながら、このような装着型センサは、酪農家による取り付けの人的コストが大きく、また、牛にとってもストレスとなることから、望ましくない。【０００３】
そこで、近年、カメラ等の非装着型センサを用いて蹄病診断に有効なロコモーションスコアを推定するための手法が開発されている（非特許文献２参照）。例えば、ＲＧＢカメラを用いた画像解析による手法（非特許文献３、特許文献１参照）が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１７３７３２号公報
【非特許文献】
【０００５】
【非特許文献１】岡田, 小林, 花田, 平沼, 林, 嵐, 千田, 出口, 佐藤, 3軸加速度センサを用いた牛の蹄病診断, 産業動物臨床医学雑誌, Vol. 2, No. 4, pp. 183-188, 2011.
【非特許文献２】A. Schlageter-Tello, E. Bokkers, P. Koerkamp, et al, “Manual and automatic locomotion scoring systems in dairy cows: A review”, Preventive veterinary medicine, Vol. 116, No. 1, pp. 12-25, 2014.
【非特許文献３】A. Poursaberi, C. Bahr, A. Pluk, et al, “Real-time automatic lameness detection based on back posture extraction in dairy cattle: Shape analysis of cow with image processing techniques”, Computers and Electronics in Agriculture, Vol. 74, No. 1, pp. 110-119, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献３に記載の手法は、スコア推定に必要な特徴を手作業で与えており、全自動化は実現されていない。また、非特許文献３および特許文献１に記載の手法は、ＲＧＢカメラで撮像された画像を処理することによりスコア推定を行っているため、正確にスコアを推定するためには、特定の方向から牛を観察することが必要となる。しかし、牛を人間の指示に従わせて特定の位置に静止させるのは困難であり、牛にもストレスを与える。また、カメラに対して牛を特定の位置に静止させるためには、特別な設備等が必要となりコスト面で課題がある。【０００７】
また、正確な牛の位置決めができなかった場合には、スコア推定の精度面でも問題がある。【０００８】
本発明は、このような事情に鑑みてなされたものであり、牛の位置決めを正確に行う必要なく、高精度に牛の健康状態を推定することのできる健康状態推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のある局面に係る健康状態推定装置は、牛の健康状態を推定する健康状態推定装置であって、前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部とを備え、前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群のうち前記牛のルーメンの近傍の前記牛の体表面の領域であるルーメン領域の３次元座標群に基づいて、当該ルーメンの凹み具合を示す特徴量を抽出し、前記スコア算出部は、前記特徴量抽出部が抽出した前記ルーメンの凹み具合を示す特徴量に基づいて、前記牛のルーメンフィルスコアを算出する。【００１１】
なお、本発明は、このような特徴的な処理部を備える健康状態推定装置として実現することができるだけでなく、健康状態推定装置に含まれる特徴的な処理部が実行する処理をステップとする健康状態推定方法として実現することができる。また、健康状態推定装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本発明は、健康状態推定装置の一部又は全部を実現する半導体集積回路として実現したり、健康状態推定装置を含む健康状態推定システムとして実現したりすることもできる。
【発明の効果】
【００１２】
本発明によると、牛の位置決めを正確に行う必要なく、高精度に牛の健康状態を推定することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施の形態１に係る健康状態推定装置の機能的な構成を示すブロック図である。
【図２】図２は、牛の胴体位置および脚の付け根位置を特定する方法を説明するための図である。
【図３】図３は、ルーメン領域を抽出する方法について説明するための図である。
【図４】図４は、ルーメンの凹み具合を示す特徴量を抽出する処理を説明するための図である。
【図５】図５は、牛の背線の抽出方法について説明するための図である。
【図６】図６は、牛の歩行状態の特徴量を抽出する処理を説明するための図である。
【図７】図７は、体躯の幅の特徴量および背骨の位置の特徴量を抽出する処理を説明するための図である。
【図８】図８は、線形回帰モデルの一例を示す図である。
【図９】図９の（ａ）は、３次元座標取得部１１により取得された牛の３次元座標群の一例を示す図であり、（ｂ）は、平均深度特徴を示す図であり、（ｃ）は、シルエット特徴を示す図である。
【図１０】図１０は、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いて、ロコモーションスコアのクラス分類を行った結果を示す図である。
【図１１】図１１は、標準モデルとの照合によるルーメン領域の特定方法について説明するための図である。
【図１２】図１２は、本発明の実施の形態２に係る健康状態推定装置の機能的な構成を示すブロック図である。
【図１３】図１３は、標準モデルデータベースを用いたルーメンフィルスコアおよびロコモーションスコアの算出方法について説明するための図である。
【発明を実施するための形態】
【００１４】
最初に本発明の実施態様を列記して説明する。
【００１７】
（２）上記目的を達成するために、本発明の実施形態に係る健康状態推定装置は、牛の健康状態を推定する健康状態推定装置であって、前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部とを備え、前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群のうち前記牛のルーメンの近傍の前記牛の体表面の領域であるルーメン領域の３次元座標群に基づいて、当該ルーメンの凹み具合を示す特徴量を抽出し、前記スコア算出部は、前記特徴量抽出部が抽出した前記ルーメンの凹み具合を示す特徴量に基づいて、前記牛のルーメンフィルスコアを算出する。
【００１８】
この構成によると、牛の３次元形状を示す３次元座標群から特徴量を抽出し、その特徴量に基づいて牛の健康状態を示すスコアを算出している。３次元座標群は、距離画像から得ることができる。このため、牛の姿勢がカメラに対して多少傾いていたとしても、距離画像から牛の正確な３次元座標を算出することが可能である。よって、牛の位置決めを正確に行う必要なく、高精度に牛の健康状態を推定することができる。また、３次元座標群を用いることにより、ルーメン（牛の第１胃）の凹み具合を特徴量として数値化することができる。このため、ルーメンフィルスコアを正確に算出することができる。
【００１９】
（３）さらに好ましくは、前記特徴量抽出部は、前記ルーメン領域の前記３次元座標群に基づいて、当該ルーメン領域における曲率のヒストグラムを、前記ルーメンの凹み具合を示す特徴量として抽出する。
【００２０】
ルーメン領域が凹んでいない場合には、その領域の曲率は相対的に小さくなるものの、ルーメン領域が凹んでいる場合には、当該曲率は相対的に大きくなる。このため、曲率のヒストグラムをルーメンの凹み具合を示す特徴量として用いることにより、ルーメンフィルスコアを正確に算出することができる。
【００２１】
（４）また、前記特徴量抽出部は、前記ルーメン領域の前記３次元座標群に基づいて、前記ルーメン領域と当該ルーメン領域に割り当てた所定の平面との間の距離を、前記ルーメンの凹み具合を示す特徴量として抽出してもよい。
【００２２】
ルーメン領域が凹んでいない場合には、その領域と上記所定の平面との間の距離は相対的に小さくなるものの、ルーメン領域が凹んでいる場合には、当該距離は相対的に大きくなる。このため、上記距離をルーメンの凹み具合を示す特徴量として用いることにより、ルーメンフィルスコアを正確に算出することができる。
【００２３】
（５）また、前記特徴量抽出部は、前記ルーメン領域の前記３次元座標群に基づいて、前記ルーメン領域を囲む凸包と前記ルーメン領域との間にできる空間の容積を、前記ルーメンの凹み具合を示す特徴量として抽出してもよい。
【００２４】
ルーメン領域が凹んでいない場合には、ルーメン領域を囲む凸包とルーメン領域との間にできる空間の容積は相対的に小さくなるものの、ルーメン領域が凹んでいる場合には、当該容積は相対的に大きくなる。このため、当該容積をルーメンの凹み具合を示す特徴量として用いることにより、ルーメンフィルスコアを正確に算出することができる。
【００２５】
（６）さらに好ましくは、前記３次元座標取得部は、時系列の前記牛の距離画像から時系列の前記３次元座標群を取得し、前記特徴量抽出部は、時系列の前記ルーメン領域の３次元座標群に基づいて、前記ルーメンの凹み具合が最大となるときの前記ルーメンの凹み具合を示す特徴量を抽出する。
【００２６】
この構成によると、時系列の３次元座標群を用いているため、ルーメンの凹み具合が最大となるときの特徴量を抽出することができる。獣医師や酪農家は、ルーメンの凹み具合が最大となった時のルーメン領域の形状に基づいてルーメンフィルスコアを決定していると考えられる。このため、獣医師や酪農家と同じ条件で、ルーメンフィルスコアを算出することができるため、より正確にルーメンフィルスコアを算出することができる。
【００２７】
（７）本発明の他の実施形態に係る健康状態推定装置は、牛の健康状態を推定する健康状態推定装置であって、前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部とを備え、前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の背線を検出し、検出した前記背線に所定の曲線を当てはめることにより得られる当該曲線のパラメータを、前記背線の特徴量として抽出し、前記スコア算出部は、前記特徴量抽出部が抽出した前記背線の特徴量に基づいて、ＲＢＦ（Ｒａｄｉａｌ  Ｂａｓｉｓ  Ｆｕｎｃｔｉｏｎ）カーネルを用いたＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いて、前記牛のロコモーションスコアを算出する。
【００２８】
牛の背線は曲線形状をしている。このため、背線に曲線を当てはめることにより得られる曲線のパラメータを背線の特徴量とすることができる。このため、背線の特徴量に基づいて、ロコモーションスコアを正確に算出することができる。
【００２９】
（８）本発明の他の実施形態に係る健康状態推定装置は、牛の健康状態を推定する健康状態推定装置であって、前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部とを備え、前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の背線を検出し、検出した前記背線の所定線からの変位量を、前記背線の特徴量として抽出し、前記スコア算出部は、前記特徴量抽出部が抽出した前記背線の特徴量に基づいて、ＲＢＦ（Ｒａｄｉａｌ  Ｂａｓｉｓ  Ｆｕｎｃｔｉｏｎ）カーネルを用いたＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）を用いて、前記牛のロコモーションスコアを算出する。
【００３０】
例えば、所定線を直線とすると、背骨が曲がっている牛の場合には、背線も曲がるため、所定線からの変位量が相対的に大きくなる。一方、背骨が曲がっていない牛の場合には、背線もあまり曲がっていないため、当該変位量は相対的に小さくなる。このため、当該変位量を、背線の特徴量として用いることにより、ロコモーションスコアを正確に算出することができる。
【００３１】
（９）本発明の他の実施形態に係る健康状態推定装置は、牛の健康状態を推定する健康状態推定装置であって、前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部とを備え、前記３次元座標取得部は、時系列の前記牛の距離画像から時系列の前記３次元座標群を取得し、前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の特徴量を抽出する。
【００３２】
この構成によると、時系列の３次元座標群は、牛の３次元的な動きを示している。このため、時系列の３次元座標群に基づいた牛の特徴量は、牛の動きを特徴付ける値である。よって、牛の動きに基づいて牛のスコアを算出することができる。このため、牛の動きに関する健康状態を高精度に推定することができる。
【００３３】
（１０）さらに好ましくは、前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩行状態の特徴量を抽出し、前記スコア算出部は、前記特徴量抽出部が抽出した前記牛の歩行状態の特徴量に基づいて、前記牛のロコモーションスコアを算出する。
【００３４】
この構成によると、時系列の３次元座標群を用いることにより、牛の歩行状態を示す特徴量を抽出することができる。このため、当該特徴量に基づいて、牛のロコモーションスコアを正確に算出することができる。
【００３５】
（１１）また、前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩行時における左右方向への傾き度合いのばらつきを示す値を、前記牛の歩行状態の特徴量として抽出してもよい。
【００３６】
この構成によると、例えば、左肩が右肩よりも落ちていて、左に傾きながら歩行していることを特徴量として表すことができる。このため、当該特徴量に基づいて、牛のロコモーションスコアを正確に算出することができる。
【００３７】
（１２）また、前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩行時における脚の運びを示す値を、前記牛の歩行状態の特徴量として抽出してもよい。
【００３８】
この構成によると、例えば、牛の歩幅や、胴体の幅からの脚のはみ出し量などを数値化して特徴量として表すことができる。このため、当該特徴量に基づいて、牛のロコモーションスコアを正確に算出することができる。
【００３９】
（１３）また、前記特徴量抽出部は、時系列の前記３次元座標群に基づいて、前記牛の歩容特徴量を、前記牛の歩行状態の特徴量として抽出してもよい。
【００４０】
この構成によると、牛の歩き方の癖などを歩容特徴量として表すことができる。このため、このような歩容特徴量に基づいて、牛のロコモーションスコアを正確に算出することができる。
【００４１】
（１４）本発明の他の実施形態に係る健康状態推定装置は、牛の健康状態を推定する健康状態推定装置であって、前記牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する３次元座標取得部と、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が抽出した前記特徴量に基づいて、前記牛の健康状態を示すスコアを算出するスコア算出部とを備え、前記特徴量抽出部は、前記３次元座標取得部が取得した前記３次元座標群に基づいて、前記牛の体躯の幅または背骨の位置を示す特徴量を抽出し、前記スコア算出部は、前記特徴量抽出部が抽出した前記牛の体躯の幅または背骨の位置を示す特徴量に基づいて、前記牛の体脂肪の蓄積具合を示すスコアであるボディーコンディションスコアを算出する。
【００４２】
この構成によると、例えば、牛の体躯の最大幅や、体躯に沿った背骨の高さなどを数値化して特徴量として表すことができる。このため、当該特徴量に基づいて、牛のボディーコンディションスコアを正確に算出することができる。
【００４５】
［実施の形態の詳細］
【００４６】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００４７】
（実施の形態１）
【００４８】
以下、乳牛などの牛の健康状態を推定する健康状態推定装置について説明する。つまり、牛の健康状態として、ボディーコンディションスコア、ルーメンフィルスコアおよびロコモーションスコアからなるカウシグナルスコアを算出する健康状態推定装置について説明する。
【００４９】
ボディーコンディションスコアとは、牛の体脂肪の蓄積具合を示すスコアである。ルーメンフィルスコアとは、ルーメン（牛の第１胃）への乾物の充満度を示すスコアである。ロコモーションスコアとは、牛の跛行の程度を示すスコアである。
【００５０】
［健康状態推定装置の構成］
図１は、本発明の実施の形態１に係る健康状態推定装置の機能的な構成を示すブロック図である。
【００５１】
健康状態推定装置１０は、牛の健康状態を推定する装置であって、３次元座標取得部１１と、特徴量抽出部１２と、スコア算出部１３とを備える。
【００５２】
３次元座標取得部１１は、牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する。例えば、ロボット搾乳機やミルキングパーラーといった、牛舎内の牛乳の搾乳機付近であって、牛の左上側方を撮像可能な位置に、距離画像センサが取り付けられているものとする。距離画像センサは、対象物に対して赤外光を照射し、その反射時間から対象物までの距離を計測するセンサである。３次元座標取得部１１は、この距離画像センサが撮像した距離画像から抽出された３次元座標群を取得する。距離画像から３次元座標への変換は距離画像センサが行ってもよいし、健康状態推定装置１０が行ってもよい。なお、３次元座標取得部１１は、３次元座標群の背景差分を行うことにより、牛の３次元座標群を取得することができる。
【００５３】
特徴量抽出部１２は、３次元座標取得部１１が取得した３次元座標群に基づいて、牛の特徴量を抽出する。つまり、特徴量抽出部１２は、以下に示す第１〜第１０特徴量のいずれかの特徴量を抽出する。ここで、第１〜第３特徴量は、牛のルーメンの凹み具合を示す特徴量であり、ルーメンフィルスコアを算出するために用いられる。第４および第５特徴量は、牛の背線の特徴量であり、ロコモーションスコアを算出するために用いられる。第６〜第８特徴量は、牛の歩行状態を示す特徴量であり、ロコモーションスコアを算出するために用いられる。第９および第１０特徴量は、牛の体形を示す特徴量であり、ボディーコンディションスコアを算出するために用いられる。
【００５４】
（第１特徴量）ルーメン領域の局所曲率ヒストグラム
【００５５】
特徴量抽出部１２は、３次元座標取得部１１が取得した３次元座標群のうち牛のルーメンの近傍の牛の体表面の領域であるルーメン領域の３次元座標群に基づいて、当該ルーメンの凹み具合を示す特徴量を抽出する。
【００５６】
まず、特徴量抽出部１２は、３次元座標取得部１１が取得した３次元座標群から牛の胴体位置と脚の付け根位置を特定する。図２は、牛の胴体位置および脚の付け根位置を特定する方法を説明するための図である。図２において、牛の各３次元座標が白色の点で示されている。なお、牛の前後方向がＸ軸、鉛直方向がＹ軸、Ｘ軸およびＹ軸に直交する方向がＺ軸となるように、予め座標変換が行われているものとする。例えば、３次元座標群の主軸方向をＸ軸としてもよい。この座標変換は、特徴量抽出部１２が行ってもよい。
【００５７】
（１）特徴量抽出部１２は、３次元座標群を地面と鉛直の二次元投影面（ＹＺ平面）に投影し、さらにＹ軸に投影する。特徴量抽出部１２は、投影面上の地面からの高さごとに（Ｙ軸沿いに）、投影点数をカウントする（曲線２１）。胴体部においては、投影点数が多くなるため、牛の形状を構成する全点数をＮ、当該高さの投影点数をｐとした場合、
ｐ／Ｎ＞θ      …（式１）
【００５８】
となる高さに胴体が存在するものとする。このとき、θは閾値であり、θは牛の表面積に対する胴体の占める割合、および投影面の高さの分解能に依存して決定される。特徴量抽出部１２は、胴体が存在する高さに含まれる点群の集合を胴体の点群とし、これを含む直方体を胴体領域２２とする。
【００５９】
（２）次に、特徴量抽出部１２は、胴体領域２２として判定された高さより低い位置にある三次元点群を、地表面と等しい面（ＸＺ平面）に投影する（曲線２３）。特徴量抽出部１２は、（１）と同様に閾値処理を行い、脚の存在する領域２４Ａ〜２４Ｃを特定する。特徴量抽出部１２は、それぞれ、胴体の前半分にある領域２４Ａおよび２４Ｂを前脚領域、後ろ半分にある領域２４Ｃを後脚領域とする。
【００６０】
（３）胴体領域２２の下端の高さをＹｂｏｔｔｏｍ、前脚領域に含まれる三次元点群の、ＸＺ投影面上での重心座標を（Ｘｇ，０，Ｚｇ）としたとき、特徴量抽出部１２は、前脚の付け根２５Ａの三次元座標を以下のように算出する。
（Ｘｇ，Ｙｂｏｔｔｏｍ，Ｚｇ）
【００６１】
特徴量抽出部１２は、後脚の付け根２５Ｂの座標も同様に求める。
【００６２】
（４）特徴量抽出部１２は、検出された胴体領域２２と脚の付け根２５Ａおよび２５Ｂとの相対的な位置関係からルーメン周辺の三次元点群（ルーメン領域）を抽出する。図３は、ルーメン領域を抽出する方法について説明するための図である。
【００６３】
特徴量抽出部１２は、胴体領域２２のうち、前後脚の付け根２５Ａおよび２５Ｂ間に含まれる領域２６を抽出する。
【００６４】
特徴量抽出部１２は、脚の付け根の中点のＸ座標をＷｈ、胴体高さの中心のＹ座標をＨｈ、胴体奥行きの中心のＺ座標をＤｈとしたとき、領域２６に含まれる三次元点ｐ＝（ｘｐ，ｙｐ，ｚｐ）のうち、条件ｘｐ＞Ｗｈ∩ｙｐ＞Ｈｈ∩ｚｐ＜Ｄｈを満たす点ｐを、ルーメン領域２７に含まれる点として抽出する。
【００６５】
（５）特徴量抽出部１２は、ルーメン領域２７に含まれる各点について、近傍点群との位置関係から曲率を計算する。例えば、図４（ａ）に示すように各点３２の曲率が算出される。特徴量抽出部１２は、算出された曲率のヒストグラムを生成する。例えば、図４（ｂ）に示すように、横軸が曲率、縦軸が頻度を示すヒストグラムを生成する。
【００６６】
特徴量抽出部１２は、このようにして算出されたルーメン領域２７に含まれる各点３２の曲率のヒストグラムを、当該ルーメンの凹み具合を示す特徴量として抽出する。
【００６７】
（第２特徴量）ルーメン領域の平面との距離
【００６８】
また、特徴量抽出部１２は、ルーメンの凹み具合を示す特徴量として、以下の特徴量を抽出してもよい。
【００６９】
つまり、特徴量抽出部１２は、平面当てはめ法により、ルーメン領域２７に１枚の平面を割り当てる。例えば、最小二乗法を用いて、ルーメン領域２７に含まれる各点との距離の二乗和が最小となる平面を、ルーメン領域２７に当てはめてもよい。
【００７０】
図４（ｃ）を参照して、特徴量抽出部１２は、ルーメン領域２７に含まれる各点３２が、ルーメン領域２７に当てはめられた平面３１の表面および裏面のどちら側にあるかを示すバイナリ特徴、または各点の平面３１からの符号付き距離を算出する。例えば、特徴量抽出部１２は、点３２が平面３１の表面にある場合には１を、裏面にある場合には０を示すバイナリ特徴を、点３２ごとに抽出してもよい。なお、バイナリ特徴が示す値は１および０に限定されるものではない。また、特徴量抽出部１２は、点３２が平面３１の表面に位置する場合には、平面３１との距離を正とし、平面３１の裏面に位置する場合には、平面との距離を負として、符号付き距離を算出してもよい。なお、符号付き距離の正負は逆であってもよい。
【００７１】
特徴量抽出部１２は、抽出されたバイナリ特徴もしくは符号付き距離のヒストグラム、またはバイナリ特徴もしくは符号付き距離の平面３１上の２次元分布を、ルーメンの凹み具合を示す特徴量として抽出する。
【００７２】
（第３特徴量）ルーメン領域の容積特徴量
【００７３】
また、特徴量抽出部１２は、ルーメンの凹み具合を示す特徴量として、以下の特徴量を抽出してもよい。
【００７４】
つまり、図４（ｄ）に示すように、特徴量抽出部１２は、ルーメン領域２７を囲む凸包３３を生成する。この凸包３３は、平面もしくは楕円体の一部で形成される。凸包３３は、公知の３次元凸包の算出方法を用いて算出することができる。
【００７５】
特徴量抽出部１２は、ルーメン領域２７に含まれる３次元座標群と凸包３３の間にできる空間３４の容積を、ルーメンの凹み具合を示す特徴量として抽出する。
【００７６】
なお、第１〜第３特徴量は、ルーメンが最も凹んだ状態において抽出するのが望ましい。このため、特徴量抽出部１２は、時系列のルーメン領域の３次元座標群に基づいて、ルーメンの凹み具合が最大となるときのルーメンの凹み具合を示す特徴量を抽出する。
【００７７】
例えば、図４（ｃ）に示したルーメン領域２７に含まれる各点３２と平面３１との絶対値距離の総和が最大となるときを、ルーメンの凹み具合が最大となるときと定義してもよい。また、図４（ｄ）に示した空間３４の容積が最大となるときを、ルーメンの凹み具合が最大となるときと定義してもよい。獣医師や酪農家は、ルーメンの凹み具合が最大となった時のルーメン領域の形状に基づいてルーメンフィルスコアを決定していると考えられる。このため、獣医師や酪農家と同じ条件で、ルーメンフィルスコアを算出することができるため、より正確にルーメンフィルスコアを算出することができる。
【００７８】
（第４特徴量）背線の曲線パラメータ
【００７９】
特徴量抽出部１２は、３次元座標取得部１１が取得した３次元座標群に基づいて、牛の背線の特徴量を抽出する。
【００８０】
図５は、牛の背線の抽出方法について説明するための図である。
【００８１】
（１）特徴量抽出部１２は、牛の３次元座標群を全てＸＹ平面上に投影する。
【００８２】
（２）特徴量抽出部１２は、前後の脚の付け根２５Ａおよび２５Ｂの三次元座標をＸＹ平面に投影した点を通り、Ｙ軸に平行な直線４１Ａおよび４１Ｂ上の最高点（Ｙ座標が最大となる点）を背線の始点４２Ａおよび終点４２Ｂとする。
【００８３】
（３）特徴量抽出部１２は、以下いずれかの方法で、始点４２Ａと終点４２Ｂをつなぐ背線４３を決定する。
【００８４】
つまり、特徴量抽出部１２は、Ｘ軸にそって、最高点（Ｙ座標が最大となる点）の軌跡を背線４３とする。ここで、最高点を検出する際に、点群の観測ノイズを除去する手法を併用しても良い。
【００８５】
または、特徴量抽出部１２は、最高点よりも十分に高い位置にある直線であって、始点４２Ａおよび終点４２Ｂを結ぶ直線と平行な直線を設定し、設定した直線を初期値として、ａｃｔｉｖｅ  ｃｏｎｔｏｕｒ法を用いて、背線４３を３次元座標群にフィッティングしてもよい。
【００８６】
（４）特徴量抽出部１２は、検出した背線４３に所定の曲線を当てはめることにより得られる当該曲線のパラメータを、背線４３の特徴量として抽出する。
【００８７】
例えば、特徴量抽出部１２は、背線４３に、２次曲線、円、楕円または４次曲線を当てはめ、これらの曲線を表すパラメータを、背線４３の特徴量として抽出する。
【００８８】
また、特徴量抽出部１２は、背線４３に、局所的な２次曲線を当てはめ、局所曲率のヒストグラムを算出し、当該ヒストグラムを背線４３の特徴量として抽出してもよい。
【００８９】
（第５特徴量）背線の直線からの変位
【００９０】
特徴量抽出部１２は、検出した背線４３の所定線からの変位量を、背線の特徴量として抽出してもよい。例えば、背線４３の始点４２Ａおよび終点４２Ｂを結ぶ直線と、背線４３上の各点との間の距離の合計を、当該直線の長さで正規化した値を、背線４３の特徴量として抽出してもよい。背線４３上の各点は、例えば、等間隔に選択してもよい。また、背線４３上の各点の代わりに、背線４３に当てはめられた曲線上の点を用いてもよい。
【００９１】
また、特徴量抽出部１２は、背線４３の長さと、背線４３の始点４２Ａおよび終点４２Ｂを結ぶ直線の長さとの比を、背線４３の特徴量として抽出してもよい。
【００９２】
（第６特徴量）両肩高さの時間変化
【００９３】
特徴量抽出部１２は、時系列の牛の距離画像から時系列の３次元座標群を取得し、時系列の３次元座標群に基づいて、牛の特徴量を抽出してもよい。第６〜第８特徴量では、牛の特徴量として、牛の歩行状態の特徴量を抽出する例について説明する。
【００９４】
特徴量を抽出する前に、特徴量抽出部１２は、牛の全身または胴体の位置が時系列の３次元座標群間で対応付けられるように、３次元座標群の位置合わせを行う。この、３次元座標群の位置合わせは、例えばＩＣＰ（Iterative Closest Point）法やCoherent Point Drift法を用いて行われる。
【００９５】
次に、特徴量抽出部１２は、時系列の３次元座標群に基づいて、牛の歩行時における左右方向への傾き度合いのばらつきを示す値を、牛の歩行状態の特徴量として抽出する。つまり、以下の手法１および手法２のいずれか一方もしくは両方を、牛の歩行状態の特徴量として抽出する。
【００９６】
（手法１）両肩の高さ変化の非均一性を用いる手法
【００９７】
図６（ａ）を参照して、特徴量抽出部１２は、前脚の付け根２５Ａを通り、ＹＺ平面と平行な平面５１で３次元座標群を切断することにより、当該平面５１に含まれる３次元座標群を抽出する。後脚の付け根２５Ｂについても、同様に平面５１に含まれる３次元座標群を抽出する。
【００９８】
図６（ｂ）を参照して、特徴量抽出部１２は、各平面５１について、当該平面５１に属する３次元座標群のうち、背中に属する３次元座標群に直線５３を割り当て、その傾きを計算する。これを、所定数の歩行周期または所定時間にわたって計算する。これにより、図６（ｃ）に示すような横軸が時間、縦軸が傾きを示すグラフが得られる。なお、背中に属する３次元座標群は、例えば、平面５１に属する３次元座標群のうち、Ｙ座標がもっと大きい座標から、Ｙ軸方向に所定距離以内座標群としてもよい。また、直線５３は、例えば、背中に属する３次元座標群との距離の二乗和が最小となる直線としてもよい。
【００９９】
特徴量抽出部１２は、以下の式２により歩行のばらつき尺度を算出し、算出したばらつき尺度を、牛の歩行状態の特徴量とする。
歩行のばらつき尺度＝｜傾きが正である時間−歩行時間の半分の時間｜
…（式２）
【０１００】
（手法２）フーリエ変換による手法
【０１０１】
特徴量抽出部１２は、手法１と同様に、前脚の付け根２５Ａを通る平面５１および後脚の付け根２５Ｂを取る平面５１の各々について、当該平面５１に属する３次元座標群のうち、背中に属する時系列（１周期以上）の３次元座標群を周波数変換（例えば、フーリエ変換）することにより、３次元座標群の上下動の周波数を求める。
【０１０２】
特徴量抽出部１２は、周波数変換に基づいて求められたｉ倍周波数をｆｉとしたとき、以下の式３または式４で示す特徴量を抽出する。式３は、上下動の変化の大きさを示し、式３の値が大きいほど、蹄に問題をかかえていると考えられる。式４は、上下動の変化がsin波に近いかどうかを示し、不均一な歩き方をするほど、式４の値が大きくなる。
【０１０３】
【数１】
0006777948.tif 000002
【０１０４】
（第７特徴量）脚の運び
【０１０５】
特徴量抽出部１２は、時系列の３次元座標群に基づいて、牛の歩行時における脚の運びを示す値を、牛の歩行状態の特徴量として抽出する。
【０１０６】
つまり、特徴量抽出部１２は、地表面（ＸＺ平面）と胴体領域２２の下端との中点の高さに、地表面（ＸＺ平面）に平行なスライス断面を作成し、当該断面に含まれる３次元座標群から、各脚の位置を求める。例えば、当該断面内で３次元座標群のクラスタリングを行い、所定のサイズ以上の領域の位置を各脚の位置としてもよい。
【０１０７】
特徴量抽出部１２は、数歩行周期にわたり、各脚の位置を求め、その軌跡から以下の歩幅または脚の開きの特徴量を計算する。
【０１０８】
つまり、特徴量抽出部１２は、歩行時の前脚と後脚の最短距離を、前脚および後脚の付け根２５Ａおよび２５Ｂ間の距離で、最短距離を正規化した値を歩幅の特徴量として計算する。なお、四肢のそれぞれについて歩幅を算出することのできる場合には、これらを平均した歩幅を計算してもよい。
【０１０９】
また、特徴量抽出部１２は、胴体領域２２のＺ軸方向の最大幅に対して、歩行中の各脚がどれだけ外に飛び出すかを計算する。つまり、特徴量抽出部１２は、四肢のうち、最も飛び出す脚の胴体領域２２の側面からの距離または、各脚の胴体領域２２の側面からの距離の分散を計算し、計算した値を脚の開きの特徴量としてもよい。
【０１１０】
（第８特徴量）歩容特徴
【０１１１】
特徴量抽出部１２は、人物の歩容認証に用いられる歩容特徴量を乳牛について算出し、牛の歩行状態の特徴量とする。本手法は、特定の部位に限らず、全身もしくは各部位に適用することができる。歩容特徴の代表例は以下のａ〜ｄに示すようなものであるが、その他各種歩容特徴を利用可能である。
【０１１２】
ａ：2次元シルエット特徴および、その周波数変換に基づく歩容特徴（例えばGait Energy Image（非特許文献４））
【０１１３】
ｂ：3次元シルエット特徴や、その周波数変換に基づく歩容特徴（例えばDepth-based Gait Feature（非特許文献５））
【０１１４】
ｃ：シルエットを用いない歩容特徴（例えば、局所特徴量ヒストグラムを用いるSpatio-Temporal HOG特徴（非特許文献６））
【０１１５】
ｄ：上記歩容特徴を全身ではなく各部位について計算する方法（例えば非特許文献７）
【０１１６】
【非特許文献４】“Individual recognition using gait energy image.”， J. Han, B. Bhanu, IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(2), pp.316-322, 2006.
【非特許文献５】“Depth-based gait feature representation.”， H. Nakajima, I. Mitsugami, Y. Yagi, IPSJ Trans. on Computer Vision and Applications, vol. 5, pp. 94-98, 2013.
【非特許文献６】“Person re-identification using view-dependent score-level fusion of gait and color features.”， R. Kawai, Y. Makihara, C. Hua, H. Iwama, Y. Yagi, Proc. 21st International Conference on Pattern Recognition (ICPR), pp.2694-2697, 2012.
【非特許文献７】“Clothing-invariant gait identification using part-based clothing categorization and adaptive weight control.”， M. Hossain, Y. Makihara, J. Wang, Y. Yagi, Pattern Recognition, 43(6) pp.2281-2291, 2010.
【０１１７】
なお、特徴量抽出部１２は、歩容特徴として、歩容（歩様）の揺らぎ特徴を用いてもよい。歩行障害のある乳牛の場合、周期間での脚の引きずり方や歩行姿勢の進み具合にばらつきが出ることが考えられる。このことから、特徴量抽出部１２は、以下のｅおよびｆに示すような、周期間での歩容の揺らぎ特徴を算出する。本手法は、特定の部位に限らず、全身もしくは各部位に適用することができる。
【０１１８】
ｅ：周期間での歩容の姿勢（位相）の進行速度のばらつきを、歩容における時間的な揺らぎとして利用する。
【０１１９】
ｆ：周期間でのシルエットの差の平均を、歩容における空間的な揺らぎとして利用する。
【０１２０】
（第９特徴量）体躯の幅の特徴量
【０１２１】
特徴量抽出部１２は、３次元座標取得部１１が取得した３次元座標群に基づいて、牛の体躯の幅を示す特徴量を抽出する。
【０１２２】
図７（ａ）は、図６（ｂ）と同様に、平面５１に属する３次元座標群を示す図である。図７（ａ）に示すようにＹ座標が最大の３次元座標と、Ｚ座標が最小の３次元座標とのＺ軸方向の距離を体躯の幅として抽出する。
【０１２３】
また、特徴量抽出部１２は、牛を後ろから見た時のＹ座標が最大の３次元座標と、Ｚ座標が最小の３次元座標とのＺ軸方向の距離を体躯の幅として抽出してもよい。この時、首および頭部の３次元座標は除いて処理が行われる。
【０１２４】
これにより、従来ＲＧＢカメラによる真上または真後からの撮影が必要であったことと比較し、距離画像センサによる形状計測により、斜め上からの撮影等でも同様の特徴を計算することができる。
【０１２５】
（第１０特徴量）背骨の位置の特徴量
【０１２６】
特徴量抽出部１２は、３次元座標取得部１１が取得した３次元座標群に基づいて、牛の背骨の位置を示す特徴量を抽出する。
【０１２７】
つまり、特徴量抽出部１２は、図５に示した背線の始点４２Ａおよび終点４２Ｂを結ぶ直線に沿って、ＹＺ平面に平行な平面を所定間隔で複数設定する。各平面をスライスと呼ぶこととする。例えば、図７（ａ）に示すように各スライスにおいて、３次元座標群が抽出される。図７（ｂ）を参照して、特徴量抽出部１２は、スライスごとに、当該スライスに含まれる３次元座標群の最高点（Ｙ座標が最大となる点）と、当該最高点から左または右に距離Ｌだけ離れた点との高さの差Ｈｘを算出する。特徴量抽出部１２は、牛の背骨の位置を示す特徴量を、以下のａ〜ｃいずれかの方法で求める。
【０１２８】
ａ：平均を用いる手法
特徴量抽出部１２は、高さの違いを背線全体で平均する。つまり、特徴量抽出部１２は、スライス数をＮｓとしたとき、以下の式５に従い、尺度Ｈｂを算出し、尺度Ｈｂを牛の背骨の位置を示す特徴量とする。
【０１２９】
【数２】
0006777948.tif 000003
【０１３０】
ｂ：ヒストグラムを用いる手法
特徴量抽出部１２は、横軸をＨｘ、縦軸を頻度とするヒストグラムを作成し、当該ヒストグラムを牛の背骨の位置を示す特徴量とする。
【０１３１】
ｃ：変化を特徴量とする手法
特徴量抽出部１２は、Ｘ軸に沿ったスライスの移動によるＨｘの変化の軌跡を特徴量とする。
【０１３２】
再度図１を参照して、スコア算出部１３は、特徴量抽出部１２が算出した第１〜第１０特徴量のいずれかの特徴量に基づいて、ルーメンフィルスコア、ロコモーションスコアまたはボディーコンディションスコアを算出する。
【０１３３】
スコア算出部１３は、各特徴量６０を説明変数とし、スコアを目的変数とした回帰分析により得られる回帰モデルに基づいて、各特徴量に対するスコアを算出する。
【０１３４】
なお、特徴量が固定長次元で表現される場合、特徴量を説明変数とするスコアとの回帰分析が行われる。特に非定常な動きをする牛からの特徴抽出には外れ値や誤差が含まれることから、外れ値の存在を考慮したサポートベクトル回帰や、スコアの推定値に加えて推定誤差も求めることのできるガウス過程回帰を利用することで、頑健なスコア推定を行うことができる。
【０１３５】
また、特徴量が固定長次元とはならない時系列信号である場合には、自己動的時間伸縮などの手法を用いて、固定長次元の特徴量にリサンプリングしてから上記と同様の回帰分析を行う。または、スコアと時系列信号の学習セットに対する動的時間伸縮による照合度をカーネル関数値とみなして、カーネルによる非線形拡張を行ったサポートベクトル回帰やガウス過程回帰等を利用して、スコア推定を行う。
【０１３６】
例えば、スコア算出部１３は、予め学習により得られた線形回帰モデルに基づいて、各特徴量に対するスコアを計算する。
【０１３７】
図８は、線形回帰モデルの一例を示す図である。線形回帰モデル６１は、各特徴量６０を説明変数とし、スコアを目的変数とした回帰分析を行うことにより、事前に算出されているものとする。なお、スコアは獣医師または酪農家により予め付与されたスコアを用いるものとする。これにより、例えば、特徴量６２に対するスコアは、線形回帰モデル６１に基づいて、３．５と算出することができる。スコアを５段階で示す場合には、算出したスコアを四捨五入してもよい。
【０１３８】
このような方法により、スコア算出部１３は、第１〜第３特徴量の少なくとも１つに基づいて、ルーメンフィルスコアを算出する。また、スコア算出部１３は、第４〜第８特徴量の少なくとも１つに基づいて、ロコモーションスコアを算出する。また、スコア算出部１３は、第９および第１０特徴量の少なくとも１つに基づいて、ボディーコンディションスコアを算出する。
【０１３９】
なお、スコア算出部１３は、上記いずれかの特徴量に基づいて、上記いずれかのスコアに対応するクラスに、牛を分類するものであってもよい。例えば、特徴量抽出部１２は、上記いずれかのスコアに基づいて、ロコモーションスコアが１のクラス１と、ロコモーションスコアが２以上のクラス２とのいずれかのクラスに、牛を分類するものであってもよい。
【０１４０】
つまり、本開示において、スコアの算出とは、スコアに対応するクラスへの分類を含むものとする。
【０１４１】
［実験結果］
次に、健康状態推定装置１０を用いたロコモーションスコアの算出についての実験結果について説明する。
【０１４２】
ここでは、特徴量抽出部１２は、３次元座標取得部１１が取得した対象となる牛の３次元座標群から、上述した第８特徴量（歩容特徴）を算出するものとする。具体的には、特徴量抽出部１２は、上述した歩容特徴のうち、２次元シルエット特徴の一つである平均シルエット特徴と、３次元シルエット特徴の一つである平均深度特徴とを算出する。
【０１４３】
また、スコア算出部１３は、ＳＶＭ（Support Vector Machine）を用いて、特徴量抽出部１２が抽出した特徴量を用いて、対象となる牛のロコモーションスコアを１または２以上のいずれかに分類する。
【０１４４】
図９（ａ）は、３次元座標取得部１１により取得された牛の３次元座標群の一例を示す図である。図９（ａ）において、牛の３次元座標が白っぽい色の点で示されている。図９（ａ）は、牛を側方から見た図である。ここでは、３次元座標取得部１１は、牛ごとに、一歩行周期分の３次元座標群を所定のデータベースから取得するものとする。
【０１４５】
特徴量抽出部１２は、図９（ａ）に示した３次元座標群を座標変換することにより、牛の上方に仮想的に設置されたカメラ２１で牛を撮像したと仮定したときの、カメラ２１から牛の背面までの深度データを取得する。特徴量抽出部１２は、一歩行周期分の深度データから、牛の背面各点の平均深度を算出する。図９（ｂ）は、平均深度特徴を示す図であり、図９（ｂ）の中央付近に配置された各画素が牛の背面の各点の平均深度を示している。牛以外の背景部分を除き、点が白いほどカメラ２１からの距離が大きいことを示している。式６は、平均深度を算出するための式である。ここで、μ（ｘ，ｚ）は座標（ｘ，ｚ）の平均深度を示し、ｄｍ（ｘ，ｚ）はｍ枚目の画像の座標（ｘ，ｚ）における深度データを示し、Ｍ（ｘ，ｚ）は一歩行周期分の３次元座標群のうち、座標（ｘ，ｚ）において深度データが観測された３次元座標群の枚数を示す。
【０１４６】
【数３】
0006777948.tif 000004
平均深度特徴によると、背中の丸みを表現することができる。
【０１４７】
また、特徴量抽出部１２は、図９（ａ）に示した３次元座標群を座標変換することにより、牛の上方に仮想的に設置されたカメラ２１で牛を撮像したと仮定したときの、牛のシルエット画像を作成する。特徴量抽出部１２は、一歩行周期分のシルエット画像から、画素ごとに、シルエットの出現確率を算出する。図９（ｃ）は、シルエット特徴を示す図であり、図９（ｃ）の中央付近に配置された各画素が、牛のシルエットの出現確率を示している。牛以外の背景部分を除き、点が白いほどシルエット画像の出現確率が高いことを示している。式７は、シルエットの出現確率を算出するための式である。ここで、Ｐ（ｘ，ｚ）は座標（ｘ，ｚ）におけるシルエットの出現確率を示し、Ｎは一歩行周期分の３次元座標群の枚数を示し、Ｍ（ｘ，ｚ）は、上述した通りである。
【０１４８】
【数４】
0006777948.tif 000005
【０１４９】
スコア算出部１３は、学習済みのＳＶＭを用いて、特徴量抽出部１２が抽出した平均深度特徴またはシルエット特徴を２つのクラスのいずれかに分類する。つまり、スコア算出部１３は、ロコモーションスコアが１のクラス１と、ロコモーションスコアが２以上のクラス２とのいずれかのクラスに分類する。
【０１５０】
なお、ＳＶＭの学習は、酪農家によって付けられたロコモーションスコアと、学習用の３次元座標群から抽出された平均深度特徴または平均シルエット特徴とを用いて行われる。その際、各特徴量は高次元のデータである。このため、学習前に主成分分析を用いた次元圧縮が行われる。次元圧縮済みのデータを、平均深度特徴または平均シルエット特徴として学習が行われ、２クラス分類器としてＳＶＭが得られる。
【０１５１】
図１０は、ＳＶＭを用いて、ロコモーションスコアのクラス分類を行った結果を示す。ここでは、１６頭の牛について合計５２３組の３次元座標群のシーケンスについて分類実験を行った。図１０に示す表の一列目は、クラス分類に用いた特徴量とＳＶＭのカーネルを示している。２列目の「正答率（％）」は、全体的なクラス分類の正答率（％）を示している。３列目の「クラス１に対する正答率（％）」は、クラス１に分類されるべき牛について、クラス１に正しく分類された牛の割合を示している。４列目の「クラス２に対する正答率（％）」は、クラス２に分類されるべき牛について、クラス２に正しく分類された牛の割合を示している。また、図１０に示す表において、太枠は、各列で最も高い正答率を示している。
【０１５２】
この表によると、ＳＶＭのカーネルとして、線形（Linear）カーネルよりもＲＢＦ（Radial Basis Function）カーネルを用いた方が、正答率が高いことが分かる。また、線形カーネルを用いたＳＶＭは分類には不向きであるが、ＲＢＦカーネルを用いたＳＶＭは９０％以上の正答率を示すことが分かる。特に、ＲＢＦカーネルを用いたＳＶＭにより平均シルエット特徴を分類した場合には、１００％近い正答率で分類できることが分かる。
【０１５３】
なお、従来法として非特許文献８に記載の方法がある。従来法では、牛の背中の曲がり具合を特徴としている。具体的には、牛の背骨の位置に楕円をフィッティングし、背骨の位置関係を角度や長さで表現することにより特徴量として用いる。非特許文献８に記載の従来法では、ロコモーションスコアが２以下のクラスと３以上のクラスへの２クラス分類を行い、約９割の精度が得られている。
【０１５４】
【非特許文献８】Viazzi et al., “Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows”, Computers and Electronics in Agriculture, 139-147, 2014.
【０１５５】
従来法で用いる特徴量と類似した平均深度を参考にすると、図１０に示した結果から、従来法では、ロコモーションスコアが２以上のクラス２への分類の正答率は７０％程度であると考えられる。これに対して、上述したように、本実施形態では、特徴量として動きを考慮したシルエット特徴を用いることにより、ロコモーションスコアが２以上のクラス２への分類の正答率は約９７％となる。このため、本実施形態に開示した健康状態推定装置１０によると、高精度にロコモーションスコアによるクラス分類を行うことができることが分かった。
【０１５６】
［実施の形態１の効果］
以上説明したように、実施の形態１に係る健康状態推定装置１０によると、牛の３次元形状を示す３次元座標群から特徴量を抽出し、その特徴量に基づいて牛の健康状態を示すスコアを算出している。３次元座標群は、距離画像から得ることができる。このため、牛の姿勢がカメラに対して多少傾いていたとしても、距離画像から牛の正確な３次元座標を算出することが可能である。よって、牛の位置決めを正確に行う必要なく、高精度に牛の健康状態を推定することができる。
【０１５７】
ルーメン領域が凹んでいない場合には、その領域の曲率は相対的に小さくなるものの、ルーメン領域が凹んでいる場合には、当該曲率は相対的に大きくなる。このため、第１特徴量に示した曲率のヒストグラムをルーメンの凹み具合を示す特徴量として用いることにより、ルーメンフィルスコアを正確に算出することができる。
【０１５８】
また、ルーメン領域が凹んでいない場合には、ルーメン領域とルーメン領域に当てはめた平面との間の距離は相対的に小さくなるものの、ルーメン領域が凹んでいる場合には、当該距離は相対的に大きくなる。このため、第２特徴量に示した上記距離をルーメンの凹み具合を示す特徴量として用いることにより、ルーメンフィルスコアを正確に算出することができる。
【０１５９】
また、ルーメン領域が凹んでいない場合には、第３特徴量に示したルーメン領域を囲む凸包とルーメン領域との間にできる空間の容積は相対的に小さくなるものの、ルーメン領域が凹んでいる場合には、当該容積は相対的に大きくなる。このため、当該容積をルーメンの凹み具合を示す特徴量として用いることにより、ルーメンフィルスコアを正確に算出することができる。
【０１６０】
また、牛の背線は曲線形状をしている。このため、第４特徴量に示したように、背線に曲線を当てはめることにより得られる曲線のパラメータを背線の特徴量とすることができる。これにより、ロコモーションスコアを正確に算出することができる。
【０１６１】
また、背骨が曲がっている牛の場合には、背線も曲がるため、第５特徴量に示した直線からの変位量が相対的に大きくなる。一方、背骨が曲がっていない牛の場合には、背線もあまり曲がっていないため、当該変位量は相対的に小さくなる。このため、第５特徴量を、背線の特徴量として用いることにより、ロコモーションスコアを正確に算出することができる。
【０１６２】
また、第６特徴量を用いることにより、例えば、左肩が右肩よりも落ちていて、左に傾きながら歩行していることを特徴量として表すことができる。このため、第６特徴量に基づいて、牛のロコモーションスコアを正確に算出することができる。
【０１６３】
また、第７特徴量を用いることにより、例えば、牛の歩幅や、胴体の幅からの脚のはみ出し量などを数値化して特徴量として表すことができる。このため、第７特徴量に基づいて、牛のロコモーションスコアを正確に算出することができる。
【０１６４】
また、第８特徴量を用いることにより、牛の歩き方の癖などを歩容特徴量として表すことができる。このため、このような歩容特徴量に基づいて、牛のロコモーションスコアを正確に算出することができる。
【０１６５】
また、第９または第１０特徴量を用いることにより、牛の体躯の最大幅や、体躯に沿った背骨の高さなどを数値化して特徴量として表すことができる。このため、当該特徴量に基づいて、牛のボディーコンディションスコアを正確に算出することができる。
【０１６６】
（実施の形態１の変形例）
次に、実施の形態１の変形例について説明する。
【０１６７】
本変形例は、ルーメン領域や背線などの位置の特定方法が実施の形態１と異なる。つまり、本変形例では、着目する牛の３次元座標群と、予め定められた牛の３次元座標群のモデルとの位置合わせを行うことで、ルーメン領域や背線などの位置を特定する。
【０１６８】
つまり、複数の牛について、３次元座標群が取得されており、これらの複数の牛の３次元座標群がＩＣＰ法やCoherent Point Drift法等を用いて位置合わせされているものとする。また、位置合わせ結果から求められた牛の胴体部分の平均形状が、牛の標準モデルとしてあらかじめ用意されているものとする。さらに、標準モデルにはルーメン領域等に部位情報がタグ付けされているものとする。図１１（ａ）に標準モデルおよびタグ付けされたルーメン領域の一例を示す。
【０１６９】
特徴量抽出部１２は、図１１（ｂ）に示す特徴抽出の対象となる牛の３次元座標群と図１１（ａ）に示す標準モデルとを位置合わせし、標準モデルにタグ付けられたルーメン領域や背線に対応する位置を特定することにより、対象となる牛のルーメン領域や背線などの位置を特定する。
【０１７０】
（実施の形態２）
【０１７１】
実施の形態１では、回帰分析を用いることにより、牛のスコアを算出した。実施の形態２では、スコアごとに用意された標準モデルと、スコア算出の対象となる牛の３次元座標群とを照合することにより、牛のスコアを算出する。
【０１７２】
図１２は、本発明の実施の形態２に係る健康状態推定装置の機能的な構成を示すブロック図である。
【０１７３】
健康状態推定装置１５は、牛の健康状態を推定する装置であって、３次元座標取得部１１と、標準モデル記憶部１６と、スコア算出部１７とを備える。
【０１７４】
３次元座標取得部１１は、実施の形態１と同様に、牛の距離画像から抽出された当該牛の３次元形状を示す３次元座標群を取得する。
【０１７５】
標準モデル記憶部１６は、スコアごとの牛の標準モデルを示す標準モデルデータベースを記憶している記憶装置であり、ＨＤＤ（Hard Disk Drive）やＲＡＭ（Random Access Memory）などの記憶装置により構成される。
【０１７６】
図１３（ａ）は、標準モデルデータベースの一例を示す図である。横軸をロコモーションスコア、縦軸をルーメンフィルスコアとした時の各スコアの組み合わせごとに、標準モデルを記憶している。つまり、複数の牛のそれぞれについて、獣医師または酪農家によりロコモーションスコアおよびルーメンフィルスコアが付与される。ロコモーションスコアおよびルーメンフィルスコアの組み合わせごとに、当該組み合わせのスコアを有する牛の３次元座標群が、ＩＣＰ法やCoherent Point Drift法等を用いて位置合わせされ、位置合わせ結果から求められた牛の胴体部分の平均形状が、牛の標準モデルとしてあらかじめ用意されているものとする。
【０１７７】
スコア算出部１７は、図１３（ｂ）に示すようなスコア算出の対象となる牛の３次元座標群と、図１３（ａ）に示す標準モデルデータベースに含まれる各標準モデルとの位置合わせを行うことにより、対応付けを行う。スコア算出部１７は、位置合わせの結果、対応付けられた距離の残差が最小となる標準モデルを選択し、当該標準モデルに対応するロコモーションスコアおよびルーメンフィルスコアの組み合わせを、対象となる牛のロコモーションスコアおよびルーメンフィルスコアとして算出する。
【０１７８】
なお、図１３（ａ）に示す標準モデルデータベースには、ロコモーションスコアおよびルーメンフィルスコアの組み合わせごとに標準モデルを用意しているが、さらに、ボディーコンディションスコアを加え、ロコモーションスコア、ルーメンフィルスコアおよびボディーコンディションスコアの組み合わせごとに標準モデルを用意してもよい。また、ボディーコンディションスコアとロコモーションスコアまたはルーメンフィルスコアとの組み合わせごとに標準モデルを用意してもよい。
【０１７９】
また、牛の標準モデルは３次元座標群の時系列のデータであってもよい。これにより、牛の歩行状態をより詳細に表現することができる。
【０１８０】
以上説明したように、実施の形態２によると、３次元座標取得部１１が取得した３次元座標群に最も近い標準モデルを、標準モデルデータベースの中から選択することができる。また、選択された標準モデルに対応したスコアを牛のスコアとすることができる。３次元座標群は、距離画像から得ることができる。このため、牛の姿勢がカメラに対して多少傾いていたとしても、距離画像から牛の正確な３次元座標を算出することが可能である。よって、牛の位置決めを正確に行う必要なく、高精度に牛の健康状態を推定することができる。
【０１８１】
上記の健康状態推定装置１０および１５は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されてもよい。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１８２】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。
【０１８３】
また、本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。
【０１８４】
また、上記プログラムに含まれる各ステップは、複数のコンピュータにより実行されてもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０１８５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１８６】
本発明は、牛の健康状態を推定する健康状態推定装置等に適用できる。
【符号の説明】
【０１８７】
１０、１５  健康状態推定装置
１１        ３次元座標取得部
１２        特徴量抽出部
１３、１７  スコア算出部
１６        標準モデル記憶部
【図１】
0006777948.tif 000006
【図２】
0006777948.tif 000007
【図３】
0006777948.tif 000008
【図４】
0006777948.tif 000009
【図５】
0006777948.tif 000010
【図６】
0006777948.tif 000011
【図７】
0006777948.tif 000012
【図８】
0006777948.tif 000013
【図９】
0006777948.tif 000014
【図１０】
0006777948.tif 000015
【図１１】
0006777948.tif 000016
【図１２】
0006777948.tif 000017
【図１３】
0006777948.tif 000018